Acerca del puesto
Anyone AI está reclutando ingenieros/as de Machine Learning con experiencia para un proyecto especializado enfocado en revisar y evaluar desafíos de machine learning utilizados en el entrenamiento y la evaluación de modelos de IA.
El trabajo implica analizar experimentos de ML, conjuntos de datos, métricas y pipelines para determinar si los desafíos son técnicamente sólidos, reproducibles, apropiadamente difíciles y si realmente requieren un razonamiento sólido de machine learning.
En qué trabajarás
Revisarás desafíos de ML que involucran:
- Diseño de experimentos y selección de modelos
- Conjuntos de datos pequeños y sintéticos
- Calidad de datos y preprocesamiento
- Cambio de distribución y contaminación de datos
- Ruido en etiquetas y fuga de características
- Evaluación de modelos y selección de métricas
- Ajuste de hiperparámetros
- Metodología de entrenamiento / validación / prueba
- Reproducibilidad y pipelines deterministas
- Significancia estadística de las mejoras de modelos
Una parte clave del rol es determinar si un desafío realmente recompensa un buen razonamiento de ML, en lugar de ser simplemente resoluble mediante selección de modelos por fuerza bruta o búsquedas grandes de hiperparámetros.
Qué buscamos
- 3+ años de experiencia práctica en machine learning aplicado
- Sólida experiencia con:
- Diseño de experimentos de ML
- Selección de modelos
- Ajuste de hiperparámetros
- Evaluación de modelos
- Preprocesamiento y validación de datos
- Sólido entendimiento de las divisiones de entrenamiento, validación y prueba
- Capacidad para identificar:
- Fuga de datos
- Ruido en etiquetas
- Cambio de distribución
- Correlaciones espurias
- Fuga de características
- Contaminación de datos
- Experiencia evaluando si las mejoras de rendimiento son estadísticamente significativas en lugar de fluctuaciones aleatorias
- Sólido entendimiento de las métricas de evaluación de ML y cuándo son apropiadas las diferentes métricas
- Experiencia depurando cargas de trabajo de ML en entornos de CPU y GPU
- Capacidad para analizar problemas técnicos y proporcionar retroalimentación escrita clara
Deseable
- Experiencia creando o participando en Kaggle, DrivenData o competencias de ML similares
- Experiencia diseñando conjuntos de datos de referencia o desafíos de ML
- Antecedentes en IA centrada en datos o calidad de conjuntos de datos
- Experiencia con generación y validación de datos sintéticos
- Familiaridad con pruebas estadísticas, intervalos de confianza y tamaños del efecto
- Experiencia con pipelines de evaluación de ML, RLHF o evaluación de modelos de IA
- Experiencia desarrollando currículos de ML o evaluaciones técnicas
- Entendimiento de los modos de falla comunes de ML como:
- Aprendizaje por atajos
- Correlaciones espurias
- Ley de Goodhart
- Paradoja de Simpson
- Manipulación de métricas
De qué serás responsable
- Revisar desafíos de ML y determinar si están bien diseñados y son técnicamente resolubles
- Evaluar si los conjuntos de datos contienen señales significativas y aprendibles
- Identificar atajos o artefactos no intencionados en conjuntos de datos sintéticos
- Determinar si las tareas requieren un diagnóstico genuino del problema de ML subyacente
- Revisar métricas de evaluación y umbrales de mejora
- Detectar manipulación de métricas, fuga de datos y fallas en la evaluación
- Verificar la reproducibilidad a través del pipeline completo de datos → modelo → evaluación
- Evaluar si la dificultad del desafío está apropiadamente calibrada
- Proporcionar recomendaciones claras para mejorar, recalibrar o excluir tareas problemáticas
Modalidad
Tipo de trabajo: Remoto Contratación: Consultoría por proyecto, a tiempo parcial Enfoque: Machine learning aplicado, diseño de experimentos, calidad de datos y evaluación de modelos
Este rol es ideal para ingenieros/as de ML que disfrutan depurar experimentos, entender por qué los modelos tienen éxito o fallan, identificar problemas en conjuntos de datos y pipelines de evaluación, y diseñar experimentos rigurosos de machine learning.