Acerca del puesto
Puesto: Ingeniero de software sénior – Evaluación de LLM y validación de repositorios
Sobre los proyectos: estamos creando conjuntos de datos de evaluación y entrenamiento de LLM para entrenar a los LLM a trabajar en problemas realistas de ingeniería de software. Uno de nuestros enfoques, en este proyecto, es crear tareas de SWE verificables basadas en el historial de repositorios públicos con un enfoque sintético y con intervención humana (human-in-the-loop), a la vez que se amplía la cobertura del conjunto de datos a distintos tipos de tareas en cuanto a lenguaje de programación, nivel de dificultad, etc.
Sobre el puesto: Buscamos ingenieros de software con experiencia (nivel de líder técnico) que conozcan repositorios públicos de GitHub de alta calidad y puedan contribuir a este proyecto. Debe tener experiencia trabajando con repositorios bien mantenidos y de uso generalizado con 500+ estrellas. El puesto implica trabajo práctico de ingeniería de software, incluida la automatización de entornos de desarrollo, la clasificación de incidencias (issues) y la evaluación de la cobertura y la calidad de las pruebas
¿Por qué unirse a nosotros? Turing es una de las empresas de IA de más rápido crecimiento del mundo, y acelera el avance y la implementación de sistemas de IA potentes. Estará a la vanguardia de la evaluación de cómo interactúan los LLM con código real, influyendo en el futuro del desarrollo de software asistido por IA. Es una oportunidad única de combinar la ingeniería de software práctica con la investigación en IA.
Cómo es el día a día:
- Analizar y clasificar incidencias de GitHub en bibliotecas de código abierto en tendencia.
- Configurar repositorios de código, incluida la dockerización y la preparación del entorno.
- Evaluar la cobertura y la calidad de las pruebas unitarias.
- Modificar y ejecutar bases de código en local para evaluar el rendimiento de los LLM en escenarios de corrección de errores.
- Colaborar con investigadores para diseñar e identificar repositorios e incidencias que supongan un reto para los LLM.
- Oportunidades de liderar un equipo de ingenieros júnior para colaborar en proyectos.
Habilidades requeridas:
- Sólida experiencia con al menos uno de los siguientes lenguajes: Python, JavaScript, Java, Go, Rust, C/C++, C# o Ruby.
- Dominio de Git, Docker y de la configuración básica de pipelines de software.
- Capacidad para entender y desenvolverse en bases de código complejas.
- Comodidad al ejecutar, modificar y probar proyectos del mundo real en local.
- Se valora la experiencia contribuyendo a proyectos de código abierto o evaluándolos.
Se valora:
- Participación previa en proyectos de investigación o evaluación de LLM.
- Experiencia en la creación o prueba de herramientas para desarrolladores o agentes de automatización.
Ventajas de trabajar como freelance con Turing:
- Trabajo en un entorno totalmente remoto.
- Oportunidad de trabajar en proyectos de IA de vanguardia con las principales empresas de LLM.
Detalles de la oferta:
- Dedicación requerida: 20 horas por semana con cierto solapamiento con el horario PST
- Tipo de contratación: Asignación como contratista (sin cobertura médica ni permisos remunerados)
- Duración del contrato: 3 meses, con fecha de inicio prevista la próxima semana