Acerca del puesto
Acerca de Turing:
Con sede en San Francisco, California, Turing es el principal acelerador de investigación del mundo para los laboratorios de IA de vanguardia y un socio de confianza de empresas globales que implementan sistemas de IA avanzados. Turing apoya a sus clientes de dos maneras: primero, acelerando la investigación de vanguardia con datos de alta calidad, canalizaciones de entrenamiento avanzadas e investigadores de IA de primer nivel especializados en programación, razonamiento, STEM, multilingüismo, multimodalidad y agentes; y segundo, aplicando esa experiencia para ayudar a las empresas a transformar la IA de una prueba de concepto en inteligencia propia, con sistemas que funcionan de manera fiable, generan un impacto medible e impulsan resultados duraderos en la cuenta de resultados (P&L).
Descripción del puesto
Buscamos profesionales de Gestión de equipos (Team Management) altamente motivados para apoyar la evaluación y la mejora de modelos de lenguaje de gran tamaño (LLM) de vanguardia. En este puesto analizará datos estructurados, creará prompts desafiantes, evaluará las respuestas generadas por IA en cuanto a exactitud factual y calidad del razonamiento, y aportará retroalimentación respaldada por evidencia para mejorar el desempeño del modelo.
Buscamos profesionales curiosos y meticulosos a quienes les guste resolver problemas complejos y evaluar sistemas de IA. El candidato ideal sabe analizar datos, pensar de forma crítica, validar las respuestas con evidencia y explicar con claridad por qué el resultado de un modelo es correcto o incorrecto. La experiencia trabajando con modelos de IA y creando prompts de evaluación desafiantes es una gran ventaja.
Responsabilidades principales
- Crear prompts desafiantes que evalúen la capacidad de un LLM para recuperar, analizar y razonar sobre datos estructurados.
- Evaluar las respuestas generadas por IA en cuanto a exactitud factual, razonamiento lógico e integridad.
- Identificar fallos del modelo, incoherencias, alucinaciones y lagunas de razonamiento.
- Validar los resultados del modelo con los conjuntos de datos proporcionados y las evidencias de respaldo.
- Documentar los hallazgos con explicaciones claras y basadas en evidencia.
- Seguir de manera constante las directrices de anotación y mantener estándares de alta calidad.
Cualificaciones mínimas
- Maestría o grado superior en cualquier disciplina.
- Mínimo de 3 años de experiencia profesional, de investigación o docente.
- Sólidas habilidades analíticas y de pensamiento crítico.
- Excelentes habilidades de comunicación escrita en inglés.
- Atención excepcional al detalle y capacidad para validar la información con los datos de origen.
Cualificaciones preferidas
- Experiencia trabajando con modelos de lenguaje de gran tamaño (LLM) o IA generativa.
- Familiaridad con la ingeniería de prompts, la evaluación de IA, la anotación de datos o las pruebas de modelos.
- Experiencia trabajando con conjuntos de datos estructurados (CSV, Excel, bases de datos, etc.).
- Capacidad para identificar casos límite y diseñar prompts que pongan de manifiesto las limitaciones del modelo.
Beneficios
- Oportunidad de trabajar en proyectos de IA de vanguardia.
- Remuneración competitiva.
- Horario flexible y entorno de trabajo remoto.
Detalles de la oferta
- Compromisos requeridos: 40, 30 o 20 horas por semana, con al menos 4 horas de superposición con la hora del Pacífico (PST)
- Tipo de contratación: Asignación como contratista (sin cobertura médica ni licencias remuneradas)
- Duración del contrato: 4 semanas
Proceso de evaluación:
- Preselección basada en las cualificaciones y las puntuaciones de la evaluación.