Acerca del puesto
Buscamos un Ingeniero de Prompts responsable del flujo de trabajo técnico de migración de extremo a extremo para la transición de plantillas a autorateadores LLM. El rol requiere utilizar las herramientas internas del cliente para aprovechar las técnicas de ingeniería de prompts y maximizar el rendimiento del modelo.
Responsabilidades:
-
Utilizar herramientas de Generación Automática de Prompts (APG) para crear prompts de referencia para clústeres complejos de plantillas padre-hijo.
-
Ejecutar y supervisar la herramienta de Optimización Automática de Prompts (APO), revisar los resultados y señalar cuándo la APO alcanza bloqueos o mesetas.
-
Redactar, probar y refinar manualmente prompts para navegar arquitecturas complejas de plantillas, superar antipatrones y manejar casos límite donde las herramientas son insuficientes o presentan fallos. Resolver escenarios de casos límite diseñando y refinando prompts manuales.
-
Supervisar las ejecuciones de shadowbot para garantizar que se registren, generen y rastreen suficientes desacuerdos (entre las calificaciones humanas y las del LLM).
-
Ejecutar versiones de prompts contra datos de referencia establecidos para medir continuamente la calidad del autorateador frente a la línea base de la multitud humana, calculando métricas de precisión como puntuaciones F1, precisión y exhaustividad.
-
Redactar justificaciones técnicas de preparación para el lanzamiento (Documentación de Certificación de Lanzamiento) para la versión final.
Requisito:
-
Habilidades lingüísticas: Fluidez nativa en italiano y fluidez en inglés.
-
Ubicación: Debe residir en Italia.
-
Educación: Título de Grado, Máster o Doctorado en Ciencias de la Computación, Ciencia de Datos, Lingüística Computacional, Interacción Persona-Ordenador (HCI), Ciencia Cognitiva o un campo analítico relacionado.
-
Ingeniería de Prompts y Experiencia en IA: Al menos 4 años de experiencia como Ingeniero de Prompts. Experiencia demostrada en el ajuste de Modelos de Lenguaje Grande (LLM) para salidas estrictas y estructuradas, tareas complejas de clasificación, y familiaridad con chain-of-thought y few-shot learning.
-
Análisis de Datos: Sólida competencia en la identificación de patrones de error, análisis del rendimiento del modelo y uso de SQL u otras herramientas de análisis de datos.
-
Agilidad Técnica: Capacidad para aprender y dominar rápidamente herramientas propietarias con supervisión mínima.
-
Comunicación: Excelentes habilidades de comunicación verbal y escrita.
Habilidades Opcionales / Preferidas:
-
Familiaridad con interfaces LLM de nivel empresarial como la API Goose.
-
Experiencia en evaluación de modelos de IA, ciencia de datos, lingüística computacional o ingeniería de software.
-
Experiencia práctica con sistemas de Optimización Automática de Prompts (APO) o flujos de trabajo de ajuste.
-
Experiencia lingüística, incluida la comprensión de semántica y lógica.