LLM-Annotator - Masterabschluss

Über Turing:

Mit Sitz in San Francisco, Kalifornien, ist Turing der weltweit führende Forschungsbeschleuniger für KI-Spitzenlabore und ein vertrauenswürdiger Partner für globale Unternehmen, die fortschrittliche KI-Systeme einsetzen. Turing unterstützt Kunden auf zwei Arten: erstens, indem es die Spitzenforschung mit hochwertigen Daten, fortschrittlichen Trainings-Pipelines sowie führenden KI-Forschern beschleunigt, die auf Programmierung, logisches Denken, MINT, Mehrsprachigkeit, Multimodalität und Agenten spezialisiert sind; und zweitens, indem es diese Expertise anwendet, um Unternehmen dabei zu helfen, KI vom Proof of Concept zu proprietärer Intelligenz weiterzuentwickeln – mit Systemen, die zuverlässig arbeiten, messbare Wirkung erzielen und nachhaltige Ergebnisse in der Gewinn- und Verlustrechnung (P&L) bringen.

Überblick über die Rolle

Wir suchen hochmotiviertes Teammanagement zur Unterstützung der Evaluierung und Verbesserung modernster großer Sprachmodelle (LLMs). In dieser Rolle analysieren Sie strukturierte Daten, erstellen anspruchsvolle Prompts, bewerten KI-generierte Antworten auf sachliche Richtigkeit und Qualität des logischen Schlussfolgerns und geben belegte Rückmeldungen zur Verbesserung der Modellleistung.

Wir suchen neugierige, detailorientierte Fachkräfte, die Freude daran haben, komplexe Probleme zu lösen und KI-Systeme zu bewerten. Die ideale Kandidatin bzw. der ideale Kandidat kann Daten analysieren, kritisch denken, Antworten anhand von Belegen validieren und klar darlegen, warum die Ausgabe eines Modells richtig oder falsch ist. Erfahrung im Umgang mit KI-Modellen und in der Erstellung anspruchsvoller Evaluierungs-Prompts ist ein großer Vorteil.

Wichtigste Aufgaben

• Erstellung anspruchsvoller Prompts, die die Fähigkeit eines LLM bewerten, strukturierte Daten abzurufen, zu analysieren und darüber zu schlussfolgern.
• Beurteilung KI-generierter Antworten auf sachliche Richtigkeit, logisches Schlussfolgern und Vollständigkeit.
• Erkennen von Modellfehlern, Inkonsistenzen, Halluzinationen und Lücken im logischen Schlussfolgern.
• Validierung von Modellausgaben anhand der bereitgestellten Datensätze und belegenden Nachweise.
• Dokumentation der Ergebnisse mit klaren, belegbasierten Erläuterungen.
• Konsequente Einhaltung der Annotationsrichtlinien und Wahrung hoher Qualitätsstandards.

Mindestqualifikationen

• Masterabschluss oder höher in einer beliebigen Fachrichtung.
• Mindestens 3 Jahre Berufs-, Forschungs- oder Lehrerfahrung.
• Ausgeprägte analytische und kritische Denkfähigkeit.
• Ausgezeichnete schriftliche Kommunikationsfähigkeiten in Englisch.
• Außergewöhnliche Liebe zum Detail und die Fähigkeit, Informationen anhand von Quelldaten zu validieren.

Bevorzugte Qualifikationen

• Erfahrung im Umgang mit großen Sprachmodellen (LLMs) oder generativer KI.
• Vertrautheit mit Prompt Engineering, KI-Evaluierung, Datenannotation oder Modelltests.
• Erfahrung im Umgang mit strukturierten Datensätzen (CSV, Excel, Datenbanken usw.).
• Fähigkeit, Randfälle zu erkennen und Prompts zu entwerfen, die Modellgrenzen aufzeigen.

Vorteile

• Möglichkeit, an Spitzenprojekten im Bereich KI zu arbeiten.
• Wettbewerbsfähige Vergütung.
• Flexible Arbeitszeiten und Remote-Arbeitsumgebung.

Angebotsdetails

• Erforderlicher Einsatz: 40, 30 oder 20 Stunden pro Woche mit mindestens 4 Stunden PST-Überschneidung
• Beschäftigungsart: Auftragnehmer-Einsatz (kein Anspruch auf Krankheits- oder bezahlten Urlaub)
• Vertragsdauer: 4 Wochen

Auswahlverfahren:

• Vorauswahl auf Grundlage der Qualifikationen und der Assessment-Ergebnisse.