Acerca del puesto
En este rol de contratista remoto por horas, trabajarás como Líder de Aseguramiento de Calidad de Matemáticas (QAL) para supervisar la calidad, la consistencia y el desempeño de los entrenadores en proyectos de entrenamiento de IA en matemáticas. Revisarás contenido matemático generado por IA y el trabajo de entrenadores/QA, evaluarás la calidad de los resultados según las guías del proyecto, brindarás retroalimentación escrita precisa y asegurarás que todos los colaboradores sigan los estándares de calidad esperados.
Evaluarás el trabajo en cuanto a precisión matemática, razonamiento lógico, corrección de cálculos, validez de demostraciones, calidad de la notación, claridad, formato, seguimiento de instrucciones y adherencia a las rúbricas específicas del proyecto. Detectarás problemas de calidad recurrentes, comunicarás actualizaciones a entrenadores y QAs, apoyarás la incorporación, mantenerás la documentación y ayudarás a activar a los colaboradores que no están trabajando de manera constante. Este rol requiere sólida experiencia en matemáticas, fuertes habilidades de comunicación en inglés, excelente atención al detalle, comunicación estructurada y la capacidad de gestionar flujos de trabajo de calidad en equipos técnicos remotos.
Este rol es con SME Careers, una empresa de servicios de datos de IA de rápido crecimiento y subsidiaria de SuperAnnotate, que entrega datos de entrenamiento para muchas de las empresas de IA y laboratorios de modelos fundacionales más grandes del mundo. Tu liderazgo en calidad matemática ayudará directamente a mejorar los principales modelos de IA del mundo al asegurar que los datos de entrenamiento matemático sean precisos, lógicamente sólidos, claramente explicados, bien documentados y alineados con las expectativas del cliente.
El proceso de selección incluye una entrevista con IA, una tarea específica del dominio y una entrevista con un reclutador.
Lo que harás
- Monitoreo de calidad: Revisar por muestreo ítems de matemáticas, identificar problemas de calidad, brindar retroalimentación continua mediante mensajes directos y escalar problemas recurrentes o críticos.
- Revisión matemática: Evaluar explicaciones, demostraciones, derivaciones, cálculos, soluciones de problemas verbales, diagramas/descripciones y razonamiento paso a paso generados por IA en cuanto a corrección y claridad.
- Comunicación con entrenadores y QA: Actualizar a entrenadores y QAs en Discord sobre nuevas guías de ítems, cambios del proyecto, actualizaciones de flujos de trabajo, expectativas de calidad y estándares de revisión específicos de matemáticas.
- Gestión de preguntas: Responder preguntas de entrenadores/QA de manera clara y oportuna, especialmente sobre validez del razonamiento, notación, supuestos, métodos de solución, estructura de demostraciones, formato e interpretación de rúbricas.
- Gestión de activación de entrenadores/QA: Enviar mensajes directos a colaboradores inactivos o que no están trabajando, fomentar la activación, dar seguimiento y señalar problemas de disponibilidad cuando sea necesario.
- Documentación: Crear y mantener documentación de proyectos de matemáticas, incluidos guías de estilo, rastreadores, preguntas frecuentes, notas de calidad, ejemplos, honeypots, tareas de calibración y materiales de incorporación.
- Incorporación y entrenamiento: Programar y realizar llamadas de incorporación/entrenamiento con entrenadores y QAs para explicar las expectativas del proyecto, los flujos de trabajo, las rúbricas, los estándares de calidad y los requisitos de revisión específicos de matemáticas.
- Alineación de calidad: Asegurar que todos los entrenadores y QAs apliquen las guías de matemáticas de manera consistente y comprendan las actualizaciones a medida que evolucionan los proyectos.
- Análisis de patrones de error: Identificar problemas recurrentes como pasos de razonamiento omitidos, simplificaciones inválidas, fórmulas incorrectas, inconsistencias de notación, errores aritméticos o respuestas correctas pero mal justificadas.
- Mejora de procesos: Identificar brechas de calidad recurrentes, proponer mejoras en los flujos de trabajo y ayudar a construir procesos de QA escalables para proyectos de entrenamiento de IA en matemáticas.
Lo que buscamos
- Título de Bachelor’s, Master’s o PhD en Matemáticas, Matemáticas Aplicadas, Estadística, Física, Ingeniería, Ciencias de la Computación, Educación Matemática o un campo cuantitativo estrechamente relacionado.
- Sólido dominio del idioma inglés para seguir las guías del proyecto, comunicarse con los equipos y brindar retroalimentación matemática clara en inglés.
- 3+ años de experiencia profesional en matemáticas, enseñanza, tutoría, investigación, análisis cuantitativo, redacción técnica, desarrollo de currículos, creación de problemas, diseño de evaluaciones o revisión de contenido matemático.
- Sólido entendimiento de temas matemáticos fundamentales como álgebra, geometría, trigonometría, cálculo, álgebra lineal, matemáticas discretas, probabilidad, estadística, teoría de números, combinatoria, ecuaciones diferenciales y demostraciones matemáticas.
- Capacidad para evaluar contenido matemático según rúbricas detalladas e identificar problemas como supuestos incorrectos, razonamiento defectuoso, demostraciones inválidas, errores de cálculo, problemas de notación, pasos faltantes, hechos alucinados o explicaciones incompletas.
- Cómodo revisando tanto explicaciones conceptuales como soluciones paso a paso, incluido si cada paso se deriva lógicamente del anterior.
- Se prefiere familiaridad con herramientas o flujos de trabajo matemáticos como LaTeX, Python, MATLAB, R, WolframAlpha/Mathematica, GeoGebra, Desmos, modelado en hojas de cálculo o herramientas de computación simbólica.
- Se prefiere fuertemente experiencia liderando o apoyando equipos remotos de entrenadores, anotadores, revisores, educadores, redactores técnicos o QAs.
- Cómodo trabajando en entornos remotos de ritmo rápido usando herramientas como Discord, Google Sheets, Google Docs, rastreadores, paneles de control y sistemas de gestión de proyectos.
- Altamente orientado al detalle y organizado, con la capacidad de mantener guías de estilo, preguntas frecuentes, rastreadores, materiales de incorporación, honeypots, tareas de calibración y otra documentación de calidad.
- Experiencia con entrenamiento de IA, anotación de datos, modelos de lenguaje grandes, evaluación de prompts/respuestas, QA de contenido matemático o evaluación de LLM basada en rúbricas es una gran ventaja.
- Fluidez nativa en punyabí