Acerca del puesto
En este puesto de colaborador externo por horas y en remoto, trabajarás como líder de aseguramiento de calidad (QAL) de Python (enfocado en ML) para supervisar la calidad, la consistencia y el desempeño de los entrenadores en proyectos de entrenamiento de IA de aprendizaje automático con Python. Revisarás código Python generado por IA, flujos de trabajo de ML, explicaciones de modelos y el trabajo de entrenadores/QA; evaluarás la calidad de los resultados según las directrices del proyecto; proporcionarás comentarios escritos precisos; y garantizarás que los colaboradores cumplan con los estándares de calidad esperados.
Evaluarás el trabajo en cuanto a la corrección del código, la metodología de aprendizaje automático, la validez estadística, la reproducibilidad, la calidad de la evaluación de modelos, los riesgos de fuga de datos, el uso de paquetes, la precisión de la depuración, la legibilidad, el mantenimiento, el formato, el seguimiento de instrucciones y el cumplimiento de las rúbricas específicas del proyecto. Este puesto requiere una sólida experiencia en Python y ML, habilidades de comunicación en inglés, excelente atención al detalle y la capacidad de gestionar flujos de trabajo de calidad en equipos técnicos remotos.
Este puesto es con SME Careers, una empresa de servicios de datos de IA en rápido crecimiento y subsidiaria de SuperAnnotate, que proporciona datos de entrenamiento para muchas de las empresas de IA y laboratorios de modelos fundacionales más grandes del mundo. Tu liderazgo en calidad de Python ML ayudará a garantizar que los datos de entrenamiento sean precisos, ejecutables, estadísticamente sólidos, reproducibles, estén claramente explicados y estén alineados con las expectativas del cliente.
El proceso de selección incluye una entrevista con IA, una tarea específica del dominio y una entrevista con un reclutador.
Importante: No hay un proyecto inmediato para este puesto; sin embargo, si estás calificado, estarás entre los primeros expertos a los que contactaremos cuando surjan oportunidades relevantes. Esto también te brindará acceso a futuros proyectos disponibles a través de nuestra red de expertos.
Lo que harás
- Monitoreo de calidad: revisar por muestreo elementos de Python ML, identificar problemas de calidad, proporcionar comentarios mediante mensajes directos y escalar problemas recurrentes o críticos.
- Revisión de código y ML: evaluar código Python generado por IA, pipelines de ML, pasos de preprocesamiento de datos, flujos de trabajo de entrenamiento de modelos, lógica de evaluación, respuestas de depuración y explicaciones en cuanto a corrección y reproducibilidad.
- Comunicación con entrenadores y QA: actualizar a los colaboradores en Discord sobre cambios en las directrices, actualizaciones de flujos de trabajo y estándares de revisión específicos de Python/ML.
- Gestión de preguntas: responder a preguntas sobre sintaxis de Python, uso de paquetes, fuga de datos, validación de modelos, métricas, supuestos estadísticos, reproducibilidad, notebooks e interpretación de rúbricas.
- Gestión de la activación de entrenadores/QA: enviar mensajes directos a colaboradores inactivos, fomentar la activación, hacer seguimiento y señalar problemas de disponibilidad.
- Documentación: crear y mantener guías de estilo de Python ML, rastreadores, preguntas frecuentes, ejemplos, honeypots, tareas de calibración y materiales de incorporación.
- Incorporación y entrenamiento: realizar llamadas de incorporación/entrenamiento para colaboradores de Python ML.
- Revisión de riesgos: señalar recomendaciones de Python ML engañosas, demasiado confiadas, estadísticamente inválidas, no reproducibles, inseguras o no listas para producción.
- Mejora de procesos: identificar brechas de calidad recurrentes y crear procesos de QA escalables.
Lo que buscamos
- Título de Bachelor’s, Master’s o PhD en Ciencias de la Computación, Aprendizaje Automático, Ciencia de Datos, Estadística, Matemáticas, Ingeniería o un campo cuantitativo estrechamente relacionado.
- Sólido dominio del inglés para seguir las directrices, comunicarse con los equipos y proporcionar comentarios técnicos claros.
- 3+ años de experiencia profesional en desarrollo de Python, aprendizaje automático, ciencia de datos, ingeniería de ML, evaluación de modelos, ingeniería de investigación, revisión técnica o educación en ML.
- Sólido entendimiento de los fundamentos de Python, como estructuras de datos, funciones, clases, iteradores, comprensiones, manejo de excepciones, entornos virtuales, gestión de paquetes, pruebas y depuración.
- Sólido entendimiento de temas de ML como aprendizaje supervisado/no supervisado, ingeniería de características, divisiones de entrenamiento/prueba, validación cruzada, selección de modelos, fuga de datos, regresión, clasificación, agrupamiento, métricas, sesgo/varianza, regularización y reproducibilidad.
- Capacidad para evaluar contenido de ML según rúbricas detalladas e identificar problemas como metodología defectuosa, métricas incorrectas, fuga de datos, código no reproducible, supuestos inválidos, API alucinadas, conclusiones engañosas o explicaciones incompletas.
- Se prefiere familiaridad con NumPy, pandas, scikit-learn, PyTorch, TensorFlow/Keras, XGBoost/LightGBM, Jupyter, matplotlib, seaborn, MLflow, Hugging Face, SQL, GitHub, Docker y CI/CD.
- Se prefiere encarecidamente experiencia liderando o apoyando equipos remotos de entrenadores, anotadores, revisores, ingenieros, científicos de datos, investigadores de ML, mentores de programación o QA.
- Cómodo trabajando en entornos remotos de ritmo rápido usando Discord, Google Sheets, Google Docs, rastreadores, paneles, GitHub y sistemas de gestión de proyectos.
- Altamente organizado y capaz de mantener guías de estilo, rastreadores, preguntas frecuentes, materiales de incorporación, honeypots, tareas de calibración y documentación de calidad.
- Experiencia con entrenamiento de IA, anotación de datos, evaluación de LLM, QA de código, QA de ML o revisión técnica basada en rúbricas es una gran ventaja.