À propos du poste
Nous recherchons un Ingénieur prompt chargé du flux de travail de migration technique de bout en bout pour la transition des modèles vers des autorateurs LLM. Le rôle exige d'utiliser les outils internes du client afin d'exploiter les techniques d'ingénierie de prompt pour maximiser les performances du modèle.
Responsabilités :
-
Utiliser les outils de génération automatique de prompts (APG) pour créer des prompts de référence pour des clusters complexes de modèles parent-enfant.
-
Exécuter et superviser l'outil d'optimisation automatique de prompts (APO), examiner les résultats et signaler lorsque l'APO atteint des impasses ou des plateaux.
-
Rédiger, tester et affiner manuellement les prompts pour naviguer dans des architectures de modèles complexes, surmonter les anti-patterns et gérer les cas limites où l'outillage fait défaut ou est défaillant. Résoudre les scénarios de cas limites en concevant et en affinant des prompts manuels.
-
Surveiller les exécutions de shadowbot pour s'assurer que suffisamment de désaccords (entre les évaluations humaines et celles du LLM) sont enregistrés, générés et suivis.
-
Exécuter les versions de prompts sur des données de référence établies pour mesurer en continu la qualité de l'autorateur par rapport à la base de référence de la foule humaine, en calculant des métriques de précision telles que les scores F1, la précision et le rappel.
-
Rédiger les justifications techniques de préparation au lancement (Documentation de certification de lancement) pour la version finale.
Exigences :
-
Compétences linguistiques : Maîtrise native de l'allemand et anglais courant.
-
Localisation : Doit être basé en Allemagne.
-
Formation : Licence, Master ou Doctorat en informatique, science des données, linguistique computationnelle, interaction humain-machine (IHM), sciences cognitives ou dans un domaine analytique connexe.
-
Expertise en ingénierie de prompt et en IA : Au moins 4 ans d'expérience en tant qu'Ingénieur prompt. Expérience avérée dans le réglage de grands modèles de langage (LLM) pour des sorties strictes et structurées, des tâches de classification complexes, et familiarité avec le chaînage de pensée et l'apprentissage few-shot.
-
Analyse de données : Solide maîtrise de l'identification des schémas d'erreurs, de l'analyse des performances des modèles et de l'utilisation de SQL ou d'autres outils d'analyse de données.
-
Agilité technique : Capacité à apprendre et à maîtriser rapidement des outils propriétaires avec une supervision minimale.
-
Communication : Excellentes compétences de communication verbale et écrite.
Compétences optionnelles / préférées :
-
Familiarité avec les interfaces LLM de niveau entreprise comme l'API Goose.
-
Expérience dans l'évaluation de modèles d'IA, la science des données, la linguistique computationnelle ou l'ingénierie logicielle.
-
Expérience pratique avec les systèmes d'optimisation automatique de prompts (APO) ou les flux de travail de réglage.
-
Expertise linguistique, incluant une compréhension de la sémantique et de la logique.