Über die Stelle
Über Turing: Mit Sitz in San Francisco, Kalifornien, ist Turing der weltweit führende Forschungsbeschleuniger für KI-Spitzenlabore und ein vertrauenswürdiger Partner für globale Unternehmen, die fortschrittliche KI-Systeme einsetzen. Turing unterstützt Kunden auf zwei Arten: erstens, indem es die Spitzenforschung mit hochwertigen Daten, fortschrittlichen Trainings-Pipelines sowie führenden KI-Forschern beschleunigt, die auf Programmierung, logisches Denken, MINT, Mehrsprachigkeit, Multimodalität und Agenten spezialisiert sind; und zweitens, indem es diese Expertise anwendet, um Unternehmen dabei zu helfen, KI vom Proof of Concept zu proprietärer Intelligenz weiterzuentwickeln – mit Systemen, die zuverlässig arbeiten, messbare Wirkung erzielen und nachhaltige Ergebnisse in der Gewinn- und Verlustrechnung (P&L) bringen.
Über die Rolle
Wir suchen hochqualifizierte Fachexperten (Subject Matter Experts, SMEs), die die Evaluierung, das Testen und die Verbesserung fortschrittlicher großer Sprachmodelle (LLMs) unterstützen. Sie setzen Ihre Fachexpertise ein, um KI-generierte Antworten zu beurteilen, Wissenslücken zu erkennen, anspruchsvolle Prompts zu entwerfen und die Genauigkeit, Zuverlässigkeit und das logische Schlussfolgern der Modelle zu verbessern.
Wichtigste Aufgaben
- Erstellung komplexer, fachspezifischer Prompts, um die Fähigkeiten von LLMs zu testen.
- Bewertung KI-generierter Antworten auf sachliche Richtigkeit, logisches Schlussfolgern, Relevanz und Gesamtqualität.
- Erkennen von Sachfehlern, logischen Inkonsistenzen, Wissenslücken und Schwächen der Modelle.
- Entwicklung anspruchsvoller Testfälle und Randfälle, die Modellgrenzen aufzeigen.
- Klare, detaillierte und belegbasierte Rückmeldungen zur Verbesserung der Modellleistung.
Mindestqualifikationen
- Masterabschluss oder höher in einem einschlägigen Fachgebiet.
- Mindestens drei Jahre Berufs-, Forschungs- oder Lehrerfahrung.
- Ausgezeichnete schriftliche Kommunikationsfähigkeiten in Englisch.
- Ausgeprägte analytische und kritische Denkfähigkeit.
- Außergewöhnliche Liebe zum Detail.
Bevorzugte Qualifikationen
- Erfahrung im Umgang mit LLMs oder generativer KI.
- Vertrautheit mit Prompt Engineering, KI-Evaluierung oder Modelltests.
- Erfahrung im Entwurf anspruchsvoller Prompts, im Erkennen von Randfällen oder im Stresstest von KI-Modellen.
Ideale Kandidatin bzw. idealer Kandidat
Die ideale Kandidatin bzw. der ideale Kandidat ist neugierig, detailorientiert und verfügt über tiefgehendes Wissen in ihrem bzw. seinem Fachgebiet. Sie bzw. er löst gern komplexe Probleme, hinterfragt Annahmen und erkennt subtile sachliche oder logische Fehler. Erfahrung im Entwurf von Prompts, die Modellgrenzen aufdecken und die KI-Leistung verbessern, ist ein großer Vorteil.