Acerca del puesto
Anyone AI está reclutando ingenieros/as de software con experiencia para un proyecto especializado centrado en revisar y evaluar tareas reales de ingeniería de software derivadas de repositorios de código abierto.
El trabajo consiste en evaluar si las tareas de programación basadas en issues y pull requests reales de GitHub son técnicamente sólidas, reproducibles, están adecuadamente testeadas y son representativas de los tipos de problemas que los ingenieros/as de software profesionales resuelven a diario.
En qué trabajarás
Revisarás tareas de ingeniería de software que incluyen:
- Correcciones de errores e implementaciones de funcionalidades del mundo real
- Repositorios de código abierto y pull requests
- Pruebas unitarias y cobertura de pruebas
- Configuración de repositorios y gestión de dependencias
- Reproducibilidad y configuración del entorno
- Dificultad y complejidad de la tarea
- Cambios de código en múltiples archivos y entre módulos
- Comentarios técnicos y evaluación de calidad
Determinarás si las tareas están claramente especificadas, son técnicamente resolubles, están respaldadas por pruebas suficientes y están libres de problemas como pruebas inestables (flaky tests), dependencias faltantes, requisitos ambiguos o comportamiento específico del entorno.
Qué buscamos
- 3+ años de experiencia profesional en ingeniería de software
- Sólida experiencia trabajando con bases de código grandes y de múltiples archivos
- Experiencia revisando pull requests, depurando problemas y manteniendo código en producción
- Sólido entendimiento de pruebas unitarias y cobertura de pruebas
- Capacidad para evaluar si las pruebas validan correctamente una solución sin restringir innecesariamente los enfoques de implementación
- Experiencia con gestión de dependencias, configuración de entornos y reproducibilidad
- Sólido entendimiento de Git y de los flujos de trabajo de desarrollo basados en GitHub
- Capacidad para analizar problemas técnicos complejos y proporcionar comentarios escritos claros
Deseable
- Contribuciones a proyectos de código abierto o mantenimiento de los mismos
- Experiencia con SWE-Bench, SWE-Bench Verified o benchmarks de programación similares
- Experiencia con proyectos importantes de código abierto en Python como Django, Flask, scikit-learn, SymPy, matplotlib, requests o pytest
- Experiencia con Docker, CI/CD, pip, conda o fijación de dependencias (dependency pinning)
- Conocimiento de fixtures de pruebas, aislamiento de pruebas o pruebas basadas en propiedades
- Experiencia diseñando evaluaciones técnicas o revisando desafíos de programación
- Experiencia con evaluación de IA/ML, curación de datos, RLHF o desarrollo de benchmarks
De qué serás responsable
- Revisar tareas de programación derivadas de issues y pull requests reales de GitHub
- Evaluar si los enunciados del problema y los criterios de éxito son claros y completos
- Evaluar las pruebas unitarias en cuanto a corrección, cobertura y robustez
- Identificar pruebas inestables (flaky tests), dependencias faltantes, conflictos de versiones y problemas de entorno
- Determinar si las tareas pueden reproducirse de forma fiable en distintos entornos
- Evaluar la dificultad y complejidad reales de cada tarea
- Proporcionar recomendaciones claras sobre si las tareas deben aceptarse, mejorarse o excluirse
Modalidad
Tipo de trabajo: Remoto Modalidad: Consultoría a tiempo parcial, basada en proyectos Enfoque: Ingeniería de software, revisión de código abierto, pruebas y evaluación técnica
Este rol encaja muy bien con ingenieros/as con experiencia que disfrutan depurando bases de código complejas, revisando pull requests, trabajando con software de código abierto y evaluando qué hace que un problema de ingeniería de software esté bien diseñado.