Acerca del puesto
Acerca de Turing: Con sede en San Francisco, California, Turing es el principal acelerador de investigación del mundo para los laboratorios de IA de vanguardia y un socio de confianza de empresas globales que implementan sistemas de IA avanzados. Turing apoya a sus clientes de dos maneras: primero, acelerando la investigación de vanguardia con datos de alta calidad, canalizaciones de entrenamiento avanzadas e investigadores de IA de primer nivel especializados en programación, razonamiento, STEM, multilingüismo, multimodalidad y agentes; y segundo, aplicando esa experiencia para ayudar a las empresas a transformar la IA de una prueba de concepto en inteligencia propia, con sistemas que funcionan de manera fiable, generan un impacto medible e impulsan resultados duraderos en la cuenta de resultados (P&L).
Descripción del puesto
Buscamos un investigador analítico y especialista en red teaming para crear tareas de benchmark de investigación web basadas en evidencia que expongan de forma fiable las debilidades de los modelos de IA más avanzados (SOTA) (p. ej., Claude Opus 5 Max). En este puesto descubrirá datos difíciles de encontrar, construirá en torno a ellos tareas de investigación precisas, las probará directamente con los principales LLM y diagnosticará los mecanismos exactos de fallo en las rutas de búsqueda y razonamiento del modelo.
Su trabajo dará forma directamente a los marcos de evaluación de IA, garantizando que los modelos de vanguardia de próxima generación se prueben frente a escenarios de investigación del mundo real rigurosos y nada triviales.
Requisitos del puesto:
- Experiencia principal: 1+ años en investigación indagatoria, verificación de datos, elaboración de tareas de benchmark de IA, red teaming o revisión de QA técnico.
- Familiaridad con benchmarks: Experiencia demostrada en la elaboración, prueba o revisión de tareas para benchmarks de IA como GAIA, BrowseComp, SimpleQA, SWE-bench, Terminal-Bench o Humanity’s Last Exam (HLE).
- Habilidades analíticas y de OSINT: Habilidades de búsqueda web y de inteligencia de fuentes abiertas (OSINT) de nivel intermedio a avanzado; capacidad para navegar por archivos académicos, registros locales o bases de datos poco conocidas.
- Depuración de trayectorias del modelo: Sólida capacidad analítica para inspeccionar las cadenas de razonamiento del modelo, los registros de búsqueda y la selección de fuentes para diagnosticar las causas raíz de los fallos.
- Redacción precisa: Capacidad para redactar prompts de benchmark claros e inequívocos con claves de respuesta a prueba de errores y basadas en fuentes primarias.
Responsabilidades del puesto:
- Descubrimiento de datos poco conocidos: Investigar a fondo temas de nicho para identificar verdades factuales de referencia que no puedan obtenerse con consultas de búsqueda simples y directas.
- Verificación de fuentes: Verificar rigurosamente los hechos con fuentes primarias o muy fiables, contrastar la existencia de pruebas contradictorias y documentar las URL exactas de las fuentes.
- Construcción de tareas: Redactar tareas de benchmark claras y con respuesta, diseñadas específicamente para exponer las debilidades estructurales de las estrategias de investigación de los modelos.
- Red teaming y pruebas de modelos: Ejecutar las tareas con los modelos SOTA designados para confirmar que desencadenan de forma fiable los fallos previstos del modelo.
- Diagnóstico de fallos y depuración: Rastrear los registros de ejecución del modelo, las trayectorias de búsqueda y los resultados intermedios para determinar exactamente dónde y por qué falló el modelo (distinguiendo las limitaciones genuinas del modelo de los prompts ambiguos).
- Escalado de patrones y revisión: Aplicar patrones de investigación validados que "rompen el modelo" a nuevos dominios y, en el caso de quienes tengan un desempeño sobresaliente, revisar las tareas elaboradas por otros entrenadores.
Muy valorable (cualificaciones preferidas)
- Es imprescindible contar con una licenciatura o un grado superior en un ámbito de ingeniería relevante para este puesto.
- Experiencia previa específica en el diseño de tareas de inyección de prompts o de trampas de razonamiento que pongan en jaque a los modelos SOTA.
- Capacidades avanzadas de OSINT o investigación periodística/académica publicada que demuestre una verificación de fuentes profunda.
- Experiencia en dominios de nicho ricos en registros difíciles de encontrar (p. ej., documentos de gobiernos locales, historia deportiva regional, archivos jurídicos, patentes históricas).
- Experiencia como revisor principal, auditor de benchmarks o responsable de calidad en proyectos de evaluación de IA.
Detalles de la oferta:
- Compromisos requeridos: Hasta 40 horas por semana con 4 horas de superposición con la hora del Pacífico (PST).
- Tipo de contratación: Contratista
- Duración de la colaboración: hasta 4 semanas
Proceso de evaluación -
- Se pedirá a los candidatos que envíen un formulario de interés en el puesto y una evaluación.
- Los talentos confirmados en la evaluación pasarán por evaluación y revisión, y continuarán el proceso en consecuencia.