Acerca del puesto
Acerca de Turing
Turing es una de las empresas de IA de más rápido crecimiento del mundo y acelera el avance y el despliegue de sistemas de IA potentes. Turing ayuda a los principales laboratorios de IA a mejorar las capacidades de razonamiento, resolución de problemas y toma de decisiones de los grandes modelos de lenguaje (LLM) mediante retroalimentación humana, evaluación y datos de entrenamiento de alta calidad.
Descripción del puesto
Buscamos ingenieros de software con experiencia para ayudar a evaluar, comparar y mejorar las capacidades de programación de los modelos de IA de frontera. En este puesto, evaluará código generado por IA, validará soluciones frente a tareas reales de ingeniería de software, identificará problemas de corrección y calidad, y contribuirá al desarrollo de conjuntos de datos de evaluación y benchmarks de alta calidad.
Este puesto es ideal para ingenieros que disfrutan de la revisión de código, la depuración, la resolución de problemas y la aplicación de un sólido criterio de ingeniería de software a escenarios técnicos complejos. Su trabajo contribuirá directamente a medir y mejorar el rendimiento de los sistemas avanzados de programación con IA.
¿Cómo es el día a día?
- Revisar y evaluar el código generado por IA en cuanto a corrección, eficiencia, mantenibilidad y cumplimiento de los requisitos.
- Analizar tareas de ingeniería de software y validar si las soluciones propuestas cumplen los resultados esperados.
- Depurar código, reproducir problemas y verificar correcciones en distintos entornos de programación.
- Evaluar las explicaciones, el razonamiento y los enfoques de implementación generados por el modelo en cuanto a precisión técnica.
- Crear, refinar y mantener conjuntos de datos de evaluación, benchmarks y rúbricas de calificación para tareas de programación.
- Identificar casos límite, modos de fallo y áreas en las que los sistemas de IA tienen dificultades con problemas de ingeniería de software.
- Documentar los hallazgos con claridad y proporcionar retroalimentación estructurada para mejorar la calidad y la coherencia de la evaluación.
- Colaborar con los equipos del proyecto para establecer estándares de calidad y metodologías de evaluación.
Requisitos
- Licenciatura o maestría en Informática, Ingeniería de Software o un campo técnico afín.
- 3+ años de experiencia profesional en ingeniería de software.
- Sólido dominio de uno o más de los siguientes lenguajes: Python, Java, C/C++, Go, Swift, Objective-C, PHP o SQL.
- Sólida comprensión de las estructuras de datos, los algoritmos, los principios de diseño de software y las metodologías de depuración.
- Experiencia en la realización de revisiones de código y en la evaluación de la calidad del código en bases de código de producción o de gran escala.
- Capacidad para analizar problemas técnicos complejos y evaluar la corrección de las soluciones con una supervisión mínima.
- Familiaridad con los sistemas de control de versiones (p. ej., Git) y con los flujos de trabajo modernos de desarrollo de software.
- Sólidas habilidades de comunicación escrita y atención al detalle.
- Se valora la experiencia con anotación de datos de IA/ML, PLN, ingeniería de prompts, evaluación de modelos o proyectos relacionados con LLM.
- Se prefiere firmemente la experiencia en la evaluación de código generado por IA, la creación de benchmarks o la evaluación de la calidad del software.
Ventajas de trabajar como freelance con Turing
- Trabajo en un entorno totalmente remoto.
- Oportunidad de trabajar en proyectos de IA de vanguardia con empresas líderes en LLM.
Detalles de la oferta
- Compromisos requeridos: al menos 4 horas por día y un mínimo de 20 horas por semana, con una superposición de 4 horas con PST.
- Tipo de contratación : asignación como contratista (sin licencia médica ni remunerada)
- Duración del contrato : 1 mes(es); [la fecha de inicio prevista es la próxima semana]
- Ubicación: solo EE. UU.
Proceso de evaluación
- Desafío de programación automatizado en línea para una prueba de Python y Docker (RHLF)