Acerca del puesto
Buscamos un/a Ingeniero/a de Prompts para ser responsable del flujo de trabajo técnico de migración de extremo a extremo para la transición de plantillas a autorateadores LLM. El puesto requiere usar las herramientas internas del cliente para aprovechar técnicas de ingeniería de prompts para maximizar el rendimiento del modelo.
Responsabilidades:
-
Utilizar herramientas de Generación Automática de Prompts (APG) para crear prompts de referencia para clústeres complejos de plantillas padre-hijo.
-
Ejecutar y supervisar la herramienta de Optimización Automática de Prompts (APO), revisar los resultados y señalar cuándo la APO alcanza bloqueos o mesetas.
-
Redactar, probar y refinar manualmente prompts para navegar arquitecturas complejas de plantillas, superar antipatrones y manejar casos límite en los que las herramientas son insuficientes o están averiadas. Resolver escenarios de casos límite diseñando y refinando prompts manuales.
-
Supervisar las ejecuciones de shadowbot para garantizar que se registren, generen y rastreen suficientes desacuerdos (entre las valoraciones humanas y las del LLM).
-
Ejecutar versiones de prompts contra datos de referencia establecidos para medir continuamente la calidad del autorateador frente a la línea base de la multitud humana, calculando métricas de precisión como puntuaciones F1, precisión y exhaustividad.
-
Redactar justificaciones técnicas de preparación para el lanzamiento (Documentación de Certificación de Lanzamiento) para la versión final.
Requisitos:
-
Competencias lingüísticas: Dominio nativo del neerlandés y fluidez en inglés.
-
Ubicación: Debe residir en los Países Bajos.
-
Formación: Título de Grado, Máster o Doctorado en Ciencias de la Computación, Ciencia de Datos, Lingüística Computacional, Interacción Persona-Ordenador (HCI), Ciencia Cognitiva o un campo analítico relacionado.
-
Ingeniería de Prompts y Experiencia en IA: Al menos 4 años de experiencia como Ingeniero/a de Prompts. Experiencia demostrada en el ajuste de Modelos de Lenguaje Grandes (LLM) para salidas estrictas y estructuradas, tareas complejas de clasificación, y familiaridad con chain-of-thought y few-shot learning.
-
Análisis de Datos: Sólida competencia para identificar patrones de error, analizar el rendimiento del modelo y usar SQL u otras herramientas de análisis de datos.
-
Agilidad Técnica: Capacidad para aprender y dominar rápidamente herramientas propietarias con mínima supervisión.
-
Comunicación: Excelentes habilidades de comunicación verbal y escrita.
Competencias Opcionales / Preferidas:
-
Familiaridad con interfaces LLM de nivel empresarial como la API Goose.
-
Experiencia en evaluación de modelos de IA, ciencia de datos, lingüística computacional o ingeniería de software.
-
Experiencia práctica con sistemas de Optimización Automática de Prompts (APO) o flujos de trabajo de ajuste.
-
Experiencia lingüística, incluida la comprensión de semántica y lógica.