Acerca del puesto
Sobre los proyectos: estamos creando conjuntos de datos de evaluación y entrenamiento de LLM para entrenar a los LLM a trabajar en problemas realistas de ingeniería de software. Uno de nuestros enfoques, en este proyecto, es crear tareas de SWE verificables basadas en el historial de repositorios públicos con un enfoque sintético y con intervención humana (human-in-the-loop), a la vez que se amplía la cobertura del conjunto de datos a distintos tipos de tareas en cuanto a lenguaje de programación, nivel de dificultad, etc.
Sobre el puesto: Buscamos ingenieros de software con experiencia (nivel de líder técnico) que conozcan repositorios públicos de GitHub de alta calidad y puedan contribuir a este proyecto. El puesto implica trabajo práctico de ingeniería de software, incluida la automatización de entornos de desarrollo, la clasificación de incidencias (issues) y la evaluación de la cobertura y la calidad de las pruebas
¿Por qué unirse a nosotros? Turing es una de las empresas de IA de más rápido crecimiento del mundo, y acelera el avance y la implementación de sistemas de IA potentes. Estará a la vanguardia de la evaluación de cómo interactúan los LLM con código real, influyendo en el futuro del desarrollo de software asistido por IA. Es una oportunidad única de combinar la ingeniería de software práctica con la investigación en IA.
Cómo es el día a día:
- Analizar y clasificar incidencias de GitHub en bibliotecas de código abierto en tendencia.
- Configurar repositorios de código, incluida la dockerización y la preparación del entorno.
- Evaluar la cobertura y la calidad de las pruebas unitarias.
- Modificar y ejecutar bases de código en local para evaluar el rendimiento de los LLM en escenarios de corrección de errores.
- Colaborar con investigadores para diseñar e identificar repositorios e incidencias que supongan un reto para los LLM.
- Oportunidades de liderar un equipo de ingenieros júnior para colaborar en proyectos.
Habilidades requeridas:
- Mínimo 3+ años de experiencia total
- Sólida experiencia con al menos uno de los siguientes lenguajes: C++
- Dominio de Git, Docker y de la configuración básica de pipelines de software.
- Capacidad para entender y desenvolverse en bases de código complejas.
- Comodidad al ejecutar, modificar y probar proyectos del mundo real en local.
- Se valora la experiencia contribuyendo a proyectos de código abierto o evaluándolos.
Se valora:
- Participación previa en proyectos de investigación o evaluación de LLM.
- Experiencia en la creación o prueba de herramientas para desarrolladores o agentes de automatización.
Ventajas de trabajar como freelance con Turing:
- Trabajo en un entorno totalmente remoto.
- Oportunidad de trabajar en proyectos de IA de vanguardia con las principales empresas de LLM.
Detalles de la oferta:
- Dedicación requerida: Al menos 4 horas al día y un mínimo de 20 horas por semana, con 4 horas de solapamiento con el horario PST. (Tenemos 3 opciones de dedicación horaria: 20 h/semana, 30 h/semana o 40 h/semana)
- Tipo de contratación : Asignación como contratista (sin cobertura médica ni permisos remunerados)
- Ubicación : India, Pakistán, Nigeria, Kenia, Egipto, Ghana, Bangladés, Turquía, México
Proceso de evaluación (aproximadamente 75 min) :
- Dos rondas de entrevistas (60 min técnica + 30 min de conversación técnica y cultural)