Acerca del puesto
Evaluar la calidad, la corrección y la reproducibilidad de las tareas de benchmark de ingeniería de software utilizadas para entrenar y evaluar los modelos de un laboratorio de IA de frontera. Usted evaluará tareas a nivel de repositorio, parches de referencia, arneses de pruebas (test harnesses) y la integridad de la calificación — y proporcionará comentarios escritos claros basados en rúbricas.
Cualificaciones básicas
- 3+ años de ingeniería de software profesional
- Contribución real a código abierto o experiencia como mantenedor (PR fusionados, funciones de committer / mantenedor)
- Gran capacidad para auditar parches de referencia, ejecutores de pruebas y aislamiento con Docker, y para detectar fugas de respuestas / manipulación de recompensas (reward hacking)
- Fluidez en ecosistemas comunes (Python y al menos uno de Java / Go / TypeScript / C++)
Cualificaciones preferidas
- Familiaridad con SWE-Bench (Verified) o benchmarks de repositorios similares
- Historial como mantenedor en proyectos OSS importantes de Python (Django, Flask, scikit-learn, sympy, pytest, etc.)
- Experiencia previa en revisión de código o calificación de tareas