Acerca del puesto
Acerca de Turing: Con sede en San Francisco, California, Turing es el principal acelerador de investigación del mundo para los laboratorios de IA de vanguardia y un socio de confianza de empresas globales que implementan sistemas de IA avanzados. Turing apoya a sus clientes de dos maneras: primero, acelerando la investigación de vanguardia con datos de alta calidad, canalizaciones de entrenamiento avanzadas e investigadores de IA de primer nivel especializados en programación, razonamiento, STEM, multilingüismo, multimodalidad y agentes; y segundo, aplicando esa experiencia para ayudar a las empresas a transformar la IA de una prueba de concepto en inteligencia propia, con sistemas que funcionan de manera fiable, generan un impacto medible e impulsan resultados duraderos en la cuenta de resultados (P&L).
Sobre el puesto
Buscamos expertos de dominio (SME) altamente cualificados para apoyar la evaluación, las pruebas y la mejora de modelos de lenguaje de gran tamaño (LLM) avanzados. Usted aplicará su experiencia en la materia para evaluar las respuestas generadas por IA, identificar lagunas de conocimiento, diseñar prompts desafiantes y mejorar la exactitud, la fiabilidad y el razonamiento de los modelos.
Responsabilidades principales
- Crear prompts complejos y específicos de un dominio para poner a prueba las capacidades de los LLM.
- Evaluar las respuestas generadas por IA en cuanto a exactitud factual, razonamiento, relevancia y calidad general.
- Identificar errores factuales, incoherencias lógicas, lagunas de conocimiento y puntos débiles del modelo.
- Desarrollar casos de prueba desafiantes y casos límite que pongan de manifiesto las limitaciones del modelo.
- Dar retroalimentación clara, detallada y basada en evidencia para mejorar el desempeño del modelo.
Cualificaciones mínimas
- Maestría o grado superior en un campo relevante.
- Al menos tres años de experiencia profesional, de investigación o docente.
- Excelentes habilidades de comunicación escrita en inglés.
- Sólidas capacidades analíticas y de pensamiento crítico.
- Atención excepcional al detalle.
Cualificaciones preferidas
- Experiencia trabajando con LLM o IA generativa.
- Familiaridad con la ingeniería de prompts, la evaluación de IA o las pruebas de modelos.
- Experiencia en el diseño de prompts desafiantes, la identificación de casos límite o las pruebas de estrés de modelos de IA.
Candidato ideal
El candidato ideal es curioso, meticuloso y tiene un profundo conocimiento de su campo. Disfruta resolviendo problemas complejos, cuestionando supuestos e identificando errores sutiles de hecho o de razonamiento. La experiencia en el diseño de prompts que revelen las limitaciones de los modelos y mejoren el desempeño de la IA será una gran ventaja.