Acerca del puesto
En este rol de contratista remoto por horas, trabajarás como líder de aseguramiento de calidad de ciencia de datos (QAL) para supervisar la calidad, la consistencia y el desempeño de los entrenadores en proyectos de entrenamiento de IA en ciencia de datos. Revisarás contenido de ciencia de datos generado por IA y el trabajo de entrenadores/QA, evaluarás la calidad de los resultados según las pautas del proyecto, proporcionarás retroalimentación escrita precisa y garantizarás que los colaboradores cumplan con los estándares de calidad esperados.
Evaluarás el trabajo en cuanto a precisión estadística, razonamiento de datos, calidad de selección de modelos, corrección del código, reproducibilidad, interpretación de métricas, conciencia del contexto empresarial, claridad, formato, seguimiento de instrucciones y adherencia a las rúbricas específicas del proyecto. Detectarás problemas de calidad recurrentes, comunicarás actualizaciones a los entrenadores y QAs, apoyarás la incorporación, mantenerás la documentación y ayudarás a activar a los colaboradores que no están trabajando de manera constante.
Este rol es con SME Careers, una empresa de servicios de datos de IA en rápido crecimiento y subsidiaria de SuperAnnotate, que proporciona datos de entrenamiento para muchas de las empresas de IA y laboratorios de modelos fundacionales más grandes del mundo. Tu liderazgo en calidad de ciencia de datos ayudará a garantizar que los datos de entrenamiento sean analíticamente sólidos, reproducibles, claramente explicados y alineados con las expectativas del cliente.
El proceso de selección incluye una entrevista con IA, una tarea específica del dominio y una entrevista con un reclutador.
Importante: No hay un proyecto inmediato para este rol; sin embargo, si estás calificado, estarás entre los primeros expertos a los que contactaremos cuando surjan oportunidades relevantes. Esto también te brindará acceso a futuros proyectos disponibles a través de nuestra red de expertos.
Qué harás
- Monitoreo de calidad: Revisar muestras de elementos de ciencia de datos, identificar problemas de calidad, proporcionar retroalimentación a través de mensajes directos y escalar problemas recurrentes o críticos.
- Revisión técnica: Evaluar explicaciones de ciencia de datos generadas por IA, fragmentos de Python/R/SQL, flujos de trabajo de modelado, interpretaciones estadísticas, paneles de control, diseños de experimentos y razonamiento paso a paso.
- Comunicación con entrenadores y QA: Actualizar a los entrenadores/QAs en Discord sobre cambios en las pautas, actualizaciones de flujos de trabajo y expectativas de calidad específicas de ciencia de datos.
- Manejo de preguntas: Responder preguntas sobre supuestos estadísticos, métricas, selección de modelos, fuga de datos, validación, elecciones de codificación, reproducibilidad e interpretación de rúbricas.
- Gestión de activación de entrenadores/QA: Enviar mensajes directos a colaboradores inactivos, fomentar la activación, realizar seguimiento y señalar problemas de disponibilidad.
- Documentación: Crear y mantener guías de estilo de ciencia de datos, rastreadores, preguntas frecuentes, ejemplos, honeypots, tareas de calibración y materiales de incorporación.
- Incorporación y entrenamiento: Programar y realizar llamadas de incorporación/entrenamiento con colaboradores para explicar las expectativas del proyecto, flujos de trabajo, rúbricas y estándares de revisión de ciencia de datos.
- Revisión de riesgos: Señalar resultados de ciencia de datos engañosos, con exceso de confianza, estadísticamente inválidos o no reproducibles.
- Mejora de procesos: Identificar brechas de calidad recurrentes y ayudar a construir procesos de QA escalables.
Lo que buscamos
- Título de Licenciatura, Maestría o Doctorado en Ciencia de Datos, Estadística, Ciencias de la Computación, Aprendizaje Automático, Matemáticas, Economía, Ingeniería o un campo cuantitativo estrechamente relacionado.
- Sólido dominio del inglés para seguir las pautas, comunicarse con los equipos y proporcionar retroalimentación técnica clara.
- 3+ años de experiencia profesional en ciencia de datos, analítica, aprendizaje automático, modelado estadístico, experimentación, ingeniería de datos, revisión técnica o educación en ciencia de datos.
- Comprensión sólida de estadística, probabilidad, limpieza de datos, análisis exploratorio de datos, ingeniería de características, aprendizaje supervisado/no supervisado, evaluación de modelos, experimentación, regresión, clasificación, agrupamiento y métodos de validación.
- Capacidad para evaluar contenido de ciencia de datos según rúbricas detalladas e identificar problemas como fuga de datos, supuestos defectuosos, métricas incorrectas, metodología débil, código no reproducible, bibliotecas/API alucinadas o conclusiones engañosas.
- Se prefiere familiaridad con herramientas como Python, pandas, NumPy, scikit-learn, SQL, Jupyter, matplotlib, R, Spark, Git, MLflow, cuadernos, paneles de control y plataformas en la nube/de datos.
- Se prefiere encarecidamente experiencia liderando o apoyando equipos remotos de entrenadores, anotadores, analistas, científicos de datos, ingenieros, educadores o QAs.
- Cómodo usando Discord, Google Sheets, Google Docs, rastreadores, paneles de control, GitHub y sistemas de gestión de proyectos.
- Altamente organizado y capaz de mantener guías de estilo, rastreadores, preguntas frecuentes, materiales de incorporación, honeypots, tareas de calibración y documentación de calidad.
- Experiencia con entrenamiento de IA, anotación de datos, evaluación de LLM, QA de ciencia de datos o revisión técnica basada en rúbricas es una gran ventaja.