Über die Stelle
Wir suchen einen Prompt Engineer, der für den End-to-End-Workflow der technischen Migration verantwortlich ist, mit dem Vorlagen auf LLM-Autorater umgestellt werden. Die Rolle erfordert die Nutzung der internen Tools des Kunden, um mit Techniken des Prompt Engineering die Modellleistung zu maximieren.
Aufgaben:
-
Nutzen von Automatic Prompt Generation (APG)-Tools, um Basis-Prompts für komplexe Eltern-Kind-Vorlagencluster zu erstellen.
-
Ausführen und Überwachen des Automated Prompt Optimization (APO)-Tools, Prüfen der Ausgaben und Melden, wenn das APO in Deadlocks oder Plateaus gerät.
-
Manuelles Entwerfen, Testen und Verfeinern von Prompts, um komplexe Vorlagenarchitekturen zu bewältigen, Anti-Patterns zu überwinden und Edge Cases zu behandeln, bei denen die Tooling-Unterstützung fehlt oder fehlerhaft ist. Lösen von Edge-Case-Szenarien durch Entwerfen und Verfeinern manueller Prompts.
-
Überwachen von Shadowbot-Läufen, um sicherzustellen, dass ausreichend Disagreements (zwischen menschlichen und LLM-Bewertungen) registriert, generiert und nachverfolgt werden.
-
Ausführen von Prompt-Versionen gegen etablierte Gold-Daten, um die Autorater-Qualität kontinuierlich an der menschlichen Crowd-Baseline zu messen und Genauigkeitsmetriken wie F1-Scores, Precision und Recall zu berechnen.
-
Entwerfen technischer Begründungen für die Launch-Bereitschaft (Launch Certification Documentation) für den finalen Stand.
Anforderungen:
-
Sprachkenntnisse: Muttersprachliche Spanischkenntnisse und fließende Englischkenntnisse.
-
Standort: Muss in Spanien ansässig sein.
-
Ausbildung: Bachelor-, Master- oder Doktorgrad in Informatik, Datenwissenschaft, Computerlinguistik, Human-Computer Interaction (HCI), Kognitionswissenschaft oder einem verwandten analytischen Fachbereich.
-
Prompt Engineering & KI-Expertise: Mindestens 4 Jahre Erfahrung als Prompt Engineer. Nachgewiesene Erfahrung beim Tuning großer Sprachmodelle (LLMs) für strikte, strukturierte Ausgaben und komplexe Klassifikationsaufgaben sowie Vertrautheit mit Chain-of-Thought und Few-Shot Learning.
-
Datenanalyse: Ausgeprägte Fähigkeit, Fehlermuster zu identifizieren, die Modellleistung zu analysieren und SQL oder andere Datenanalyse-Tools zu verwenden.
-
Technische Agilität: Fähigkeit, proprietäre Tools mit minimaler Aufsicht schnell zu erlernen und zu beherrschen.
-
Kommunikation: Ausgezeichnete mündliche und schriftliche Kommunikationsfähigkeiten.
Optionale / bevorzugte Kenntnisse:
-
Vertrautheit mit Enterprise-LLM-Schnittstellen wie der Goose API.
-
Erfahrung in der Bewertung von KI-Modellen, Datenwissenschaft, Computerlinguistik oder Softwareentwicklung.
-
Praktische Erfahrung mit Automated Prompt Optimization (APO)-Systemen oder Tuning-Workflows.
-
Linguistische Expertise, einschließlich eines Verständnisses von Semantik und Logik.