Acerca del puesto
Mercor busca ingenieros de software para crear y perfeccionar evaluaciones. Usted convertirá pull requests completados en tareas de ingeniería y utilizará nuestro marco de evaluación interno para múltiples agentes de programación de vanguardia, incluidos Claude Code, Codex y otros.
Trabajamos junto con un equipo de investigación interno y hemos elaborado benchmarks líderes en el sector para comparar el rendimiento de los modelos de lenguaje de gran tamaño de vanguardia.
En este puesto, usted deberá:
- Identificar repositorios con suficiente trabajo sustancial para respaldar evaluaciones exigentes y seleccionar pull requests completados adecuados.
- Investigar cada problema, su solución de referencia y la arquitectura, las pruebas y las convenciones del repositorio.
- Redactar prompts de tareas y crear evaluaciones mediante pruebas automatizadas, comandos de shell y prompts de calificación con LLM.
- Validar las evaluaciones frente a soluciones de referencia e implementaciones deliberadamente defectuosas. Encontrar comprobaciones faltantes, calificaciones incorrectas y criterios que limitan innecesariamente la forma de resolver un problema.
- Ejecutar las evaluaciones repetidamente con múltiples modelos y harnesses. Investigar si los fallos provienen de la solución del agente, del entorno o de la calificación, y establecer que las tareas ponen de manifiesto debilidades significativas en el rendimiento del agente.
- Perfeccionar las evaluaciones mediante pruebas y revisiones repetidas. Documentar los hallazgos y las decisiones de calificación, y trabajar a partir de los comentarios recibidos.
Usted necesitará:
- Sólidos fundamentos de programación y experiencia práctica trabajando en bases de código amplias y complejas. Los lenguajes para los que creamos evaluaciones incluyen TypeScript/JavaScript, Python, Java, Kotlin, Go, Ruby, PHP, C++ y Rust
- La capacidad de comprender código desconocido, investigar comportamientos sutiles y evaluar si diferentes implementaciones resuelven correctamente el mismo problema.
- Experiencia en la redacción de pruebas significativas, incluidos casos límite y cobertura de regresión.
- Atención al detalle y paciencia para la investigación y el perfeccionamiento repetidos.
- Experiencia práctica con herramientas de programación con IA, con el criterio para verificar sus resultados y detectar errores.
- Seguridad en el uso de Git, ejecutores de pruebas y herramientas de CI.
- Comunicación escrita y verbal clara y fluida, con la capacidad de asumir una tarea de forma independiente y plantear preguntas cuando los requisitos sean ambiguos.
La experiencia relevante puede provenir de repositorios de código abierto, privados o empresariales. Es útil conocer un lenguaje o ecosistema en particular; la capacidad de aprender el repositorio y de tomar decisiones de ingeniería sólidas importa más que su popularidad o su historial de contribuciones públicas.
Ofrecemos incorporación al marco de evaluación y comentarios de revisión continuos. Después de la incorporación, se espera que usted se encargue de la selección de tareas, el desarrollo de evaluaciones y la iteración sin instrucciones paso a paso.