Acerca del puesto
Buscamos un Ingeniero/a de Prompts que sea responsable del flujo de trabajo técnico de migración de extremo a extremo para la transición de plantillas a autorateadores LLM. El puesto requiere utilizar las herramientas internas del cliente para aprovechar las técnicas de ingeniería de prompts para maximizar el rendimiento del modelo.
Responsabilidades:
-
Utilizar herramientas de Generación Automática de Prompts (APG) para crear prompts de referencia para clústeres complejos de plantillas padre-hijo.
-
Ejecutar y supervisar la herramienta de Optimización Automática de Prompts (APO), revisar los resultados y señalar cuándo la APO alcanza bloqueos o mesetas.
-
Redactar, probar y refinar manualmente los prompts para navegar por arquitecturas complejas de plantillas, superar antipatrones y manejar casos límite en los que las herramientas son insuficientes o no funcionan. Resolver escenarios de casos límite diseñando y refinando prompts manuales.
-
Supervisar las ejecuciones de shadowbot para garantizar que se registren, generen y rastreen suficientes desacuerdos (entre las valoraciones humanas y las del LLM).
-
Ejecutar versiones de prompts contra datos de referencia establecidos para medir continuamente la calidad del autorateador frente a la línea base de la multitud humana, calculando métricas de precisión como las puntuaciones F1, precisión y exhaustividad.
-
Redactar justificaciones técnicas de preparación para el lanzamiento (Documentación de Certificación de Lanzamiento) para la versión final.
Requisitos:
-
Competencias lingüísticas: Fluidez nativa en español y fluidez en inglés.
-
Ubicación: Debe residir en España.
-
Formación académica: Título de Grado, Máster o Doctorado en Ciencias de la Computación, Ciencia de Datos, Lingüística Computacional, Interacción Persona-Ordenador (HCI), Ciencia Cognitiva o un campo analítico relacionado.
-
Ingeniería de Prompts y Experiencia en IA: Al menos 4 años de experiencia como Ingeniero/a de Prompts. Experiencia demostrada en el ajuste de Modelos de Lenguaje Grande (LLM) para salidas estrictas y estructuradas, tareas de clasificación complejas, y familiaridad con chain-of-thought y few-shot learning.
-
Análisis de Datos: Sólida competencia en la identificación de patrones de error, el análisis del rendimiento de modelos y el uso de SQL u otras herramientas de análisis de datos.
-
Agilidad Técnica: Capacidad para aprender y dominar rápidamente herramientas propietarias con supervisión mínima.
-
Comunicación: Excelentes habilidades de comunicación verbal y escrita.
Competencias Opcionales / Preferidas:
-
Familiaridad con interfaces LLM de nivel empresarial como la API Goose.
-
Experiencia en evaluación de modelos de IA, ciencia de datos, lingüística computacional o ingeniería de software.
-
Experiencia práctica con sistemas de Optimización Automática de Prompts (APO) o flujos de trabajo de ajuste.
-
Experiencia lingüística, incluida la comprensión de semántica y lógica.