Acerca del puesto
Buscamos un/a Ingeniero/a de Prompts responsable del flujo de trabajo técnico de migración de extremo a extremo para la transición de plantillas a autoraters de LLM. El puesto requiere utilizar las herramientas internas del cliente para aprovechar las técnicas de ingeniería de prompts y maximizar el rendimiento del modelo.
Responsabilidades:
-
Utilizar herramientas de Generación Automática de Prompts (APG) para crear prompts de referencia para clústeres complejos de plantillas padre-hijo.
-
Ejecutar y supervisar la herramienta de Optimización Automática de Prompts (APO), revisar los resultados y señalar cuándo la APO alcanza bloqueos o mesetas.
-
Redactar, probar y refinar manualmente los prompts para navegar por arquitecturas de plantillas complejas, superar anti-patrones y gestionar casos límite en los que las herramientas son insuficientes o no funcionan. Resolver escenarios de casos límite diseñando y refinando prompts manuales.
-
Supervisar las ejecuciones de shadowbot para garantizar que se registren, generen y hagan seguimiento de suficientes desacuerdos (entre las valoraciones humanas y de LLM).
-
Ejecutar versiones de prompts contra datos gold establecidos para medir continuamente la calidad del autorater frente a la línea base de la multitud humana, calculando métricas de precisión como puntuaciones F1, precisión y exhaustividad.
-
Redactar justificaciones técnicas de preparación para el lanzamiento (Documentación de Certificación de Lanzamiento) para la versión final.
Requisitos:
-
Competencias lingüísticas: Fluidez nativa en alemán y fluidez en inglés.
-
Ubicación: Debe residir en Alemania.
-
Formación: Grado, Máster o Doctorado en Ciencias de la Computación, Ciencia de Datos, Lingüística Computacional, Interacción Persona-Ordenador (HCI), Ciencia Cognitiva o un campo analítico relacionado.
-
Ingeniería de Prompts y experiencia en IA: Al menos 4 años de experiencia como Ingeniero/a de Prompts. Experiencia demostrada en el ajuste de Modelos de Lenguaje Grande (LLM) para salidas estrictas y estructuradas, tareas complejas de clasificación, y familiaridad con chain-of-thought y few-shot learning.
-
Análisis de Datos: Gran dominio en la identificación de patrones de error, análisis del rendimiento de modelos y uso de SQL u otras herramientas de analítica de datos.
-
Agilidad técnica: Capacidad para aprender y dominar rápidamente herramientas propietarias con supervisión mínima.
-
Comunicación: Excelentes habilidades de comunicación verbal y escrita.
Competencias opcionales / preferidas:
-
Familiaridad con interfaces LLM de nivel empresarial como la API Goose.
-
Experiencia en evaluación de modelos de IA, ciencia de datos, lingüística computacional o ingeniería de software.
-
Experiencia práctica con sistemas de Optimización Automática de Prompts (APO) o flujos de trabajo de ajuste.
-
Experiencia lingüística, incluida la comprensión de semántica y lógica.