Acerca del puesto
Buscamos un/a Ingeniero/a de Prompts que sea responsable del flujo de trabajo de migración técnica de extremo a extremo para la transición de plantillas a autorateadores LLM. El puesto requiere utilizar herramientas internas del cliente para aprovechar técnicas de ingeniería de prompts con el fin de maximizar el rendimiento del modelo.
Responsabilidades:
-
Utilizar herramientas de Generación Automática de Prompts (APG) para crear prompts de referencia para clústeres complejos de plantillas padre-hijo.
-
Ejecutar y supervisar la herramienta de Optimización Automática de Prompts (APO), revisar los resultados y señalar cuándo la APO alcanza bloqueos o mesetas.
-
Redactar, probar y refinar manualmente prompts para navegar por arquitecturas de plantillas complejas, superar antipatrones y manejar casos límite en los que las herramientas son insuficientes o presentan fallos. Resolver escenarios de casos límite diseñando y refinando prompts manuales.
-
Supervisar las ejecuciones de shadowbot para garantizar que se registren, generen y rastreen suficientes desacuerdos (entre las valoraciones humanas y las del LLM).
-
Ejecutar versiones de prompts contra datos de referencia establecidos para medir continuamente la calidad del autorateador frente a la línea base de la multitud humana, calculando métricas de precisión como las puntuaciones F1, precisión y exhaustividad.
-
Redactar justificaciones técnicas de preparación para el lanzamiento (Documentación de Certificación de Lanzamiento) para la versión final.
Requisito:
-
Competencias lingüísticas: Dominio nativo del francés y fluidez en inglés.
-
Ubicación: Debe residir en Francia.
-
Formación: Título de Grado, Máster o Doctorado en Ciencias de la Computación, Ciencia de Datos, Lingüística Computacional, Interacción Persona-Ordenador (HCI), Ciencia Cognitiva o un campo analítico relacionado.
-
Experiencia en Ingeniería de Prompts e IA: Al menos 4 años de experiencia como Ingeniero/a de Prompts. Experiencia demostrada en el ajuste de Modelos de Lenguaje Grande (LLM) para salidas estrictas y estructuradas, tareas de clasificación complejas, y familiaridad con la cadena de pensamiento y el aprendizaje con pocos ejemplos.
-
Análisis de Datos: Sólida competencia en la identificación de patrones de error, el análisis del rendimiento de modelos y el uso de SQL u otras herramientas de analítica de datos.
-
Agilidad Técnica: Capacidad para aprender y dominar rápidamente herramientas propietarias con supervisión mínima.
-
Comunicación: Excelentes habilidades de comunicación verbal y escrita.
Competencias opcionales / preferidas:
-
Familiaridad con interfaces LLM de nivel empresarial como la API Goose.
-
Experiencia en evaluación de modelos de IA, ciencia de datos, lingüística computacional o ingeniería de software.
-
Experiencia práctica con sistemas de Optimización Automática de Prompts (APO) o flujos de trabajo de ajuste.
-
Experiencia lingüística, incluida la comprensión de la semántica y la lógica.