Over de functie
Wij zoeken een Prompt Engineer die verantwoordelijk is voor de end-to-end technische migratieworkflow voor het overzetten van templates naar LLM-autoraters. Voor de rol is het vereist dat de interne tools van de klant worden gebruikt om met prompt-engineeringtechnieken de modelprestaties te maximaliseren.
Verantwoordelijkheden:
-
Gebruik Automatic Prompt Generation (APG)-tools om basisprompts te maken voor complexe ouder-kind-templateclusters.
-
Voer de Automated Prompt Optimization (APO)-tool uit en superviseer deze, beoordeel de outputs en signaleer wanneer de APO deadlocks of plateaus bereikt.
-
Stel handmatig prompts op, test en verfijn ze om complexe template-architecturen te navigeren, anti-patterns te overwinnen en edge cases aan te pakken waar tooling ontbreekt of defect is. Los edge-case-scenario's op door handmatige prompts te ontwerpen en te verfijnen.
-
Monitor shadowbot-runs om te waarborgen dat voldoende disagreements (tussen menselijke en LLM-beoordelingen) worden geregistreerd, gegenereerd en gevolgd.
-
Voer promptversies uit tegen vastgestelde golddata om de kwaliteit van de autorater continu te meten ten opzichte van de menselijke crowd-baseline, en bereken nauwkeurigheidsmetrieken zoals F1-scores, precisie en recall.
-
Stel technische launch-readiness-justificaties op (Launch Certification Documentation) voor de finale.
Vereiste:
-
Taalvaardigheden: Native vloeiendheid in het Spaans en vloeiend in het Engels.
-
Locatie: Moet in Spanje gevestigd zijn.
-
Opleiding: Bachelor-, Master- of Doctoraatdiploma in Computerwetenschappen, Datawetenschappen, Computationele Linguïstiek, Human-Computer Interaction (HCI), Cognitieve Wetenschappen of een gerelateerd analytisch vakgebied.
-
Prompt Engineering & AI-expertise: Minimaal 4 jaar ervaring als Prompt Engineer. Aantoonbare ervaring met het afstemmen van Large Language Models (LLM's) voor strikte, gestructureerde outputs, complexe classificatietaken, en bekendheid met chain-of-thought en few-shot learning.
-
Data-analyse: Sterke vaardigheid in het identificeren van foutpatronen, het analyseren van modelprestaties en het gebruik van SQL of andere data-analysetools.
-
Technische behendigheid: Vermogen om snel en met minimale supervisie propriëtaire tools te leren en onder de knie te krijgen.
-
Communicatie: Uitstekende verbale en schriftelijke communicatievaardigheden.
Optionele / gewenste vaardigheden:
-
Bekendheid met enterprise-grade LLM-interfaces zoals de Goose API.
-
Ervaring in AI-modelevaluatie, datawetenschappen, computationele linguïstiek of software-engineering.
-
Hands-on ervaring met Automated Prompt Optimization (APO)-systemen of tuning-workflows.
-
Linguïstische expertise, inclusief begrip van semantiek en logica.