Über die Stelle
Wir suchen einen Prompt Engineer, der für den End-to-End-Workflow der technischen Migration zur Überführung von Templates in LLM-Autorater verantwortlich ist. Für die Rolle ist es erforderlich, die internen Tools des Kunden zu nutzen, um mit Prompt-Engineering-Techniken die Modellleistung zu maximieren.
Aufgaben:
-
Nutzen Sie Automatic Prompt Generation (APG)-Tools, um Basis-Prompts für komplexe Eltern-Kind-Template-Cluster zu erstellen.
-
Betreiben und überwachen Sie das Automated Prompt Optimization (APO)-Tool, prüfen Sie die Ausgaben und melden Sie, wenn das APO Deadlocks oder Plateaus erreicht.
-
Entwerfen, testen und verfeinern Sie Prompts manuell, um komplexe Template-Architekturen zu navigieren, Anti-Patterns zu überwinden und Edge Cases zu behandeln, bei denen Tooling fehlt oder fehlerhaft ist. Lösen Sie Edge-Case-Szenarien durch das Design und die Verfeinerung manueller Prompts.
-
Überwachen Sie Shadowbot-Läufe, um sicherzustellen, dass ausreichend Disagreements (zwischen menschlichen und LLM-Bewertungen) registriert, generiert und nachverfolgt werden.
-
Führen Sie Prompt-Versionen gegen etablierte Gold-Daten aus, um die Autorater-Qualität kontinuierlich gegen die menschliche Crowd-Baseline zu messen und Genauigkeitsmetriken wie F1-Scores, Precision und Recall zu berechnen.
-
Entwerfen Sie technische Begründungen für die Launch-Bereitschaft (Launch Certification Documentation) für den finalen Launch.
Anforderungen:
-
Sprachkenntnisse: Muttersprachliche Deutschkenntnisse und fließendes Englisch.
-
Standort: Muss in Deutschland ansässig sein.
-
Ausbildung: Bachelor-, Master- oder Doktorgrad in Informatik, Datenwissenschaft, Computerlinguistik, Mensch-Computer-Interaktion (HCI), Kognitionswissenschaft oder einem verwandten analytischen Bereich.
-
Prompt Engineering & KI-Expertise: Mindestens 4 Jahre Erfahrung als Prompt Engineer. Nachgewiesene Erfahrung mit der Abstimmung großer Sprachmodelle (LLMs) für strikte, strukturierte Ausgaben, komplexe Klassifikationsaufgaben und Vertrautheit mit Chain-of-Thought und Few-Shot Learning.
-
Datenanalyse: Ausgeprägte Fähigkeit, Fehlermuster zu identifizieren, Modellleistung zu analysieren und SQL oder andere Datenanalyse-Tools zu verwenden.
-
Technische Agilität: Fähigkeit, proprietäre Tools mit minimaler Aufsicht schnell zu erlernen und zu beherrschen.
-
Kommunikation: Ausgezeichnete mündliche und schriftliche Kommunikationsfähigkeiten.
Optionale / bevorzugte Fähigkeiten:
-
Vertrautheit mit Enterprise-Grade-LLM-Schnittstellen wie der Goose API.
-
Erfahrung in KI-Modellbewertung, Datenwissenschaft, Computerlinguistik oder Softwareentwicklung.
-
Praktische Erfahrung mit Automated Prompt Optimization (APO)-Systemen oder Tuning-Workflows.
-
Sprachliche Expertise, einschließlich eines Verständnisses von Semantik und Logik.