Acerca del puesto
En este rol de contratista remoto por horas, trabajarás como Líder de Aseguramiento de Calidad (QAL, por sus siglas en inglés) de Ciencias Sociales y Educación para supervisar la calidad, la consistencia y el desempeño de los entrenadores en proyectos de entrenamiento de IA centrados en ciencias sociales, educación y aprendizaje. Revisarás contenido de ciencias sociales/educación generado por IA y el trabajo de entrenadores/QA, evaluarás la calidad de los resultados frente a las directrices del proyecto, proporcionarás retroalimentación escrita precisa y garantizarás que todos los colaboradores sigan los estándares de calidad esperados.
Evaluarás el trabajo en cuanto a precisión conceptual, alfabetización investigativa, idoneidad educativa, contexto social, calidad metodológica, conciencia ética, sensibilidad al sesgo, claridad, formato, seguimiento de instrucciones y adherencia a las rúbricas específicas del proyecto. Detectarás problemas de calidad recurrentes, comunicarás actualizaciones a los entrenadores y QAs, apoyarás la incorporación, mantenerás la documentación y ayudarás a activar a los colaboradores que no están trabajando de manera constante. Este rol requiere una sólida experiencia en ciencias sociales y/o educación, sólidas habilidades de comunicación en inglés, excelente atención al detalle, comunicación estructurada y la capacidad de gestionar flujos de trabajo de calidad en equipos remotos de expertos.
Este rol es con SME Careers, una empresa de servicios de datos de IA en rápido crecimiento y subsidiaria de SuperAnnotate, que entrega datos de entrenamiento para muchas de las empresas de IA y laboratorios de modelos fundacionales más grandes del mundo. Tu liderazgo en calidad de ciencias sociales y educación ayudará directamente a mejorar los principales modelos de IA del mundo al garantizar que los datos de entrenamiento de ciencias sociales y educación sean precisos, matizados, basados en investigación, éticamente conscientes y alineados con las expectativas del cliente.
Qué harás
- Monitoreo de calidad: Revisar por muestreo elementos de ciencias sociales y educación, identificar problemas de calidad, proporcionar retroalimentación continua mediante mensajes directos y escalar problemas recurrentes o críticos.
- Revisión de ciencias sociales y educación: Evaluar explicaciones generadas por IA, contenido de lecciones, resúmenes de ciencias sociales, contenido de métodos de investigación, actividades educativas, elementos de evaluación, orientación de aprendizaje y razonamiento social en cuanto a precisión y matices.
- Comunicación con entrenadores y QA: Actualizar a los entrenadores y QAs en Discord sobre nuevas directrices de elementos, cambios del proyecto, actualizaciones de flujos de trabajo, expectativas de calidad y estándares de revisión específicos de ciencias sociales/educación.
- Gestión de preguntas: Responder a las preguntas de entrenadores/QA de manera clara y oportuna, especialmente en torno a conceptos educativos, objetivos de aprendizaje, métodos de investigación, contexto social, sesgo, idoneidad para estudiantes e interpretación de rúbricas.
- Gestión de activación de entrenadores/QA: Enviar mensajes directos a colaboradores que están inactivos o no trabajando, fomentar la activación, hacer seguimiento y señalar problemas de disponibilidad cuando sea necesario.
- Documentación: Crear y mantener documentación de proyectos de ciencias sociales/educación, incluidos guías de estilo, rastreadores, preguntas frecuentes, notas de calidad, ejemplos, honeypots, tareas de calibración y materiales de incorporación.
- Incorporación y entrenamiento: Programar y realizar llamadas de incorporación/entrenamiento con entrenadores y QAs para explicar las expectativas del proyecto, flujos de trabajo, rúbricas, estándares de calidad y requisitos específicos de ciencias sociales/educación.
- Alineación de calidad: Garantizar que todos los entrenadores y QAs apliquen las directrices de revisión de ciencias sociales y educación de manera consistente y comprendan las actualizaciones a medida que los proyectos evolucionan.
- Revisión de sesgo y ética: Señalar estereotipos, lenguaje estigmatizante, afirmaciones no respaldadas sobre grupos, razonamiento causal débil, andamiaje educativo deficiente o contenido éticamente problemático.
- Mejora de procesos: Identificar brechas de calidad recurrentes, proponer mejoras en los flujos de trabajo y ayudar a construir procesos de QA escalables para proyectos de entrenamiento de IA en ciencias sociales y educación.
Lo que buscamos
- Licenciatura, Maestría, Doctorado, credencial docente o experiencia profesional equivalente en Educación, Sociología, Psicología, Antropología, Ciencias Políticas, Trabajo Social, Política Pública, Psicología Educativa, Estudios Curriculares o un campo relacionado.
- Sólido dominio del idioma inglés para seguir las directrices del proyecto, comunicarse con los equipos y proporcionar retroalimentación escrita clara.
- 3+ años de experiencia en enseñanza, desarrollo curricular, investigación en ciencias sociales, revisión de contenido educativo, diseño instruccional, escritura académica, política social, evaluación estudiantil o flujos de trabajo de revisión relacionados.
- Sólido entendimiento de conceptos de ciencias sociales, teoría educativa, pedagogía, resultados de aprendizaje, diseño de evaluaciones, métodos de investigación, ética, sesgo, cultura, instituciones sociales, desigualdad y razonamiento basado en evidencia.
- Capacidad para evaluar contenido de ciencias sociales/educación frente a rúbricas detalladas e identificar problemas como generalizaciones no respaldadas, estereotipos, afirmaciones causales débiles, diseño instruccional deficiente, encuadre sesgado, metodología defectuosa o contenido educativo inapropiado para la edad.
- Se prefiere familiaridad con áreas como aprendizaje en el aula, evaluación, planificación de lecciones, investigación social, métodos cualitativos/cuantitativos, equidad educativa, desarrollo infantil, ciencia del aprendizaje o estándares curriculares.
- Se prefiere fuertemente experiencia liderando o apoyando equipos remotos de educadores, investigadores, redactores curriculares, revisores, anotadores, entrenadores o QAs.
- Cómodo trabajando en entornos remotos de ritmo rápido utilizando herramientas como Discord, Google Sheets, Google Docs, rastreadores, paneles de control y sistemas de gestión de proyectos.
- Altamente orientado al detalle y organizado, con la capacidad de mantener guías de estilo, preguntas frecuentes, rastreadores, materiales de incorporación, honeypots, tareas de calibración y documentación.
- Experiencia con entrenamiento de IA, anotación de datos, evaluación de LLM, QA de ciencias sociales, QA educativo, revisión curricular o revisión basada en rúbricas es una gran ventaja.