Acerca del puesto
Freelance · Remoto · Norteamérica (solo)
Acerca de Turing
Turing es una de las principales empresas de infraestructura de AGI del mundo y trabaja con laboratorios de IA de vanguardia para acelerar el desarrollo de modelos mediante datos de entrenamiento de alta calidad, evaluaciones y talento de ingeniería.
Detalles de la colaboración
-
Compensación: $100-$150/hora; indique una expectativa concreta de tarifa por hora
-
Disponibilidad: 20-40 horas/semana, con al menos 6 horas al día de solapamiento con la hora del Pacífico
-
Tipo: Contratista independiente
-
Duración: Aproximadamente 3 meses
-
Inicio: Lo antes posible
-
Ubicación: Norteamérica (solo)
Acerca del puesto
Buscamos ingenieros de software con experiencia práctica que ayuden a evaluar y mejorar los modelos de programación de IA.
En lugar de crear principalmente aplicaciones de producción, usted trabajará con agentes de programación en repositorios del mundo real y evaluará la calidad de su trabajo. Revisará el código generado y el comportamiento de los agentes, determinará si las soluciones son técnicamente correctas, identificará los modos de fallo y creará las señales de evaluación y los comentarios que se utilizan para mejorar el rendimiento del modelo.
Piense en el agente de programación como en otro ingeniero cuyo trabajo usted revisa: ¿Entiende la tarea? ¿Eligió el enfoque correcto? ¿El código resultante es correcto, robusto y mantenible? ¿Puede explicar con precisión dónde acertó o falló?
Qué hará
-
Diseñar, perfeccionar e iterar rúbricas y criterios de evaluación para datos de preferencias
-
Revisar y etiquetar datos con un alto nivel de exigencia de calidad, detectando problemas sutiles que otros podrían pasar por alto
-
Crear y mantener canalizaciones e infraestructura que respalden los flujos de generación, recopilación y evaluación de datos
-
Sintetizar los hallazgos del trabajo con datos en informes, actualizaciones y recomendaciones claras para el equipo
-
Colaborar estrechamente con investigadores e ingenieros para traducir el criterio cualitativo en procesos escalables
Qué buscamos
-
5+ años de experiencia práctica en ingeniería de software
-
Sólido dominio de Python, TypeScript/JavaScript, Go u otro lenguaje de producción importante
-
Experiencia trabajando en bases de código reales de gran tamaño
-
Sólidas habilidades de revisión de código y criterio técnico
-
Capacidad para explicar con claridad por qué una implementación es correcta, incorrecta o mejorable
-
Sólida comunicación escrita
-
Experiencia en el uso de LLM modernos o herramientas de programación con IA
Se valora, aunque no es obligatoria, la experiencia en evaluación de LLM, agentes de programación, RLHF, datos de preferencias, diseño de rúbricas o posentrenamiento.
Proceso de evaluación
-
Entrevista con IA (~25 minutos)
-
Ejercicio práctico de evaluación de código/IA (~30 minutos)
-
Entrevista con el responsable de contratación (~20 minutos)
El ejercicio práctico se centra en su capacidad para revisar y evaluar código generado por IA, no en la programación competitiva ni en los acertijos de algoritmos.