Acerca del puesto
Acerca de Turing Turing es una de las empresas de IA de más rápido crecimiento en el mundo, acelerando el avance y el despliegue de sistemas de IA potentes. Estarás a la vanguardia de la evaluación de cómo los LLM interactúan con código real, influyendo en el futuro del desarrollo de software asistido por IA. Esta es una oportunidad única para combinar la ingeniería de software práctica con la investigación en IA.
Acerca del puesto:
Buscamos ingenieros de software con experiencia para apoyar una iniciativa de entrenamiento y evaluación de IA de frontera centrada en mejorar las capacidades de programación de los agentes de IA. En este rol, revisarás y compararás soluciones de programación generadas por IA en tareas reales de ingeniería de software. Analizarás flujos completos de ejecución de los agentes, evaluarás la correctitud, eficiencia, seguridad y calidad general del código, y proporcionarás calificaciones estructuradas y comentarios basados en evidencia para ayudar a mejorar el desarrollo de software asistido por IA.
¿Cómo es el día a día?
- Revisarás tres agentes de programación de IA a los que se les dio la misma solicitud real de un desarrollador.
- Leerás la ejecución completa de cada agente: los comandos que ejecutó, los archivos que modificó, lo que verificó y su mensaje final.
- Luego juzgarás qué ejecución hizo el trabajo mejor.
Para cada tarea tú
- Calificarás cada ejecución en 10 áreas de calidad, como el seguimiento de instrucciones, si el código funciona, eficiencia, seguridad, honestidad y comunicación.
- Darás a cada ejecución una puntuación general de 1 a 5 y clasificarás las tres.
- Escribirás una breve justificación explicando tu clasificación, con evidencia de las ejecuciones.
Habilidades requeridas:
- Mínimo 3+ años de experiencia total
- Sólida experiencia con al menos uno de los siguientes lenguajes: Python, JavaScript/TypeScript, Java, Go, PHP o similares.
- Dominio de comandos de Shell, Git, Docker y configuración básica de pipelines de software.
- Cómodo ejecutando, modificando y probando proyectos del mundo real localmente.
Proceso de evaluación y selección
- Los candidatos deben completar tres tareas de evaluación de práctica como parte del proceso de selección.
- Cada evaluación requiere calificaciones de calidad, puntuaciones generales, clasificaciones comparativas y justificaciones escritas.
- Un revisor evaluará cada tarea en cuanto a precisión técnica, consistencia y calidad del razonamiento.
- Los candidatos serán incorporados solo después de que las tres tareas de práctica hayan sido aprobadas.
IMPORTANTE — POLÍTICA ESTRICTA DE PROHIBICIÓN DE IA
- NO USES CHATGPT NI NINGUNA OTRA HERRAMIENTA DE IA PARA ESCRIBIR TUS JUSTIFICACIONES, EXPLICACIONES O RAZONES DE EVALUACIÓN.
- TODAS LAS JUSTIFICACIONES Y EL RAZONAMIENTO DEBEN SER ESCRITOS INDEPENDIENTEMENTE POR EL CANDIDATO.
- SE VERIFICARÁ EL CUMPLIMIENTO. CUALQUIER USO DE JUSTIFICACIONES O RAZONES GENERADAS POR IA RESULTARÁ EN RECHAZO AUTOMÁTICO.
Beneficios de trabajar como freelance con Turing
- Trabaja en un entorno totalmente remoto.
- Oportunidad de trabajar en proyectos de IA de vanguardia con empresas líderes en LLM.
Detalles de la oferta
- Compromisos requeridos: Al menos 8 horas por día y 40 horas por semana con una superposición de 4 horas con PST.
- Tipo de empleo: asignación como contratista (sin seguro médico/licencia remunerada)
- Duración del contrato: 1 mes; [la fecha de inicio prevista es la próxima semana]
- Modelo de pago: $25 por tarea aprobada
- Ubicación: India, Pakistán, Nigeria, Kenia, Egipto, Ghana, Bangladés, Turquía, México, LA
Proceso de evaluación (aproximadamente 75 min):
- Revisión basada en evaluación