Acerca del puesto
Acerca de Turing Turing es una de las empresas de IA de más rápido crecimiento del mundo, que acelera el avance y el despliegue de sistemas de IA potentes. Estarás a la vanguardia de la evaluación de cómo los LLM interactúan con código real, influyendo en el futuro del desarrollo de software asistido por IA. Esta es una oportunidad única para combinar la ingeniería de software práctica con la investigación en IA.
Acerca del puesto:
Buscamos ingenieros de software con experiencia para apoyar una iniciativa de entrenamiento y evaluación de IA de frontera centrada en mejorar las capacidades de codificación de los agentes de IA. En este puesto, revisarás y compararás soluciones de codificación generadas por IA en tareas de ingeniería de software del mundo real. Analizarás flujos de ejecución completos de los agentes, evaluarás la corrección, eficiencia, seguridad y calidad general del código, y proporcionarás valoraciones estructuradas y comentarios basados en evidencia para ayudar a mejorar el desarrollo de software asistido por IA.
¿Cómo es el día a día:
- Revisarás tres agentes de codificación de IA a los que se les dio la misma solicitud real de un desarrollador.
- Leerás la ejecución completa de cada agente: los comandos que ejecutó, los archivos que modificó, lo que verificó y su mensaje final.
- Luego juzgarás qué ejecución hizo mejor el trabajo.
Para cada tarea deberás
- Valorar cada ejecución en 10 áreas de calidad, como el seguimiento de instrucciones, si el código funciona, la eficiencia, la seguridad, la honestidad y la comunicación.
- Dar a cada ejecución una puntuación global de 1 a 5 y clasificar las tres.
- Escribir una breve justificación explicando tu clasificación, con evidencia de las ejecuciones.
Habilidades requeridas:
- Mínimo 3+ años de experiencia total
- Sólida experiencia con al menos uno de los siguientes lenguajes: Python, JavaScript/TypeScript, Java, Go, PHP o similares.
- Dominio de comandos de Shell, Git, Docker y configuración básica de pipelines de software.
- Cómodo ejecutando, modificando y probando proyectos del mundo real localmente.
Proceso de evaluación y selección
- Los candidatos deben completar tres tareas de evaluación de práctica como parte del proceso de selección.
- Cada evaluación requiere valoraciones de calidad, puntuaciones globales, clasificaciones comparativas y justificaciones escritas.
- Un revisor evaluará cada tarea en cuanto a precisión técnica, consistencia y calidad del razonamiento.
- Los candidatos serán incorporados solo después de que las tres tareas de práctica hayan sido aprobadas.
IMPORTANTE — POLÍTICA ESTRICTA DE NO USO DE IA
- NO USES CHATGPT NI NINGUNA OTRA HERRAMIENTA DE IA PARA ESCRIBIR TUS JUSTIFICACIONES, EXPLICACIONES O RAZONES DE EVALUACIÓN.
- TODAS LAS JUSTIFICACIONES Y EL RAZONAMIENTO DEBEN SER ESCRITOS INDEPENDIENTEMENTE POR EL CANDIDATO.
- SE VERIFICARÁ EL CUMPLIMIENTO. CUALQUIER USO DE JUSTIFICACIONES O RAZONES GENERADAS POR IA RESULTARÁ EN EL RECHAZO AUTOMÁTICO.
Beneficios de trabajar como freelancer con Turing
- Trabaja en un entorno totalmente remoto.
- Oportunidad de trabajar en proyectos de IA de vanguardia con empresas líderes en LLM.
Detalles de la oferta
- Compromisos requeridos: Al menos 8 horas al día y 40 horas a la semana con una superposición de 4 horas con PST.
- Tipo de empleo: asignación como contratista (sin seguro médico/licencia remunerada)
- Duración del contrato: 1 mes; [la fecha de inicio prevista es la próxima semana]
- Modelo de pago: $25 por tarea aprobada
- Ubicación: India, Pakistán, Nigeria, Kenia, Egipto, Ghana, Bangladés, Turquía, México, LA
Proceso de evaluación (aproximadamente 75 min):
- Revisión basada en evaluación