Spezialist für KI-Benchmarks und Red-Teaming

Über Turing: Mit Sitz in San Francisco, Kalifornien, ist Turing der weltweit führende Forschungsbeschleuniger für KI-Spitzenlabore und ein vertrauenswürdiger Partner für globale Unternehmen, die fortschrittliche KI-Systeme einsetzen. Turing unterstützt Kunden auf zwei Arten: erstens, indem es die Spitzenforschung mit hochwertigen Daten, fortschrittlichen Trainings-Pipelines sowie führenden KI-Forschern beschleunigt, die auf Programmierung, logisches Denken, MINT, Mehrsprachigkeit, Multimodalität und Agenten spezialisiert sind; und zweitens, indem es diese Expertise anwendet, um Unternehmen dabei zu helfen, KI vom Proof of Concept zu proprietärer Intelligenz weiterzuentwickeln – mit Systemen, die zuverlässig arbeiten, messbare Wirkung erzielen und nachhaltige Ergebnisse in der Gewinn- und Verlustrechnung (P&L) bringen.

Überblick über die Rolle

Wir suchen eine analytische Forscherin bzw. einen analytischen Forscher und Red-Teaming-Spezialisten, die bzw. der belegbasierte Benchmark-Aufgaben zur Web-Recherche entwickelt, welche Schwächen modernster (SOTA) KI-Modelle (z. B. Claude Opus 5 Max) zuverlässig aufdecken. In dieser Rolle entdecken Sie schwer auffindbare Fakten, bauen präzise Rechercheaufgaben darum herum, testen diese direkt an führenden LLMs und diagnostizieren die genauen Fehlermechanismen in den Such- und Denkpfaden des Modells.

Ihre Arbeit prägt unmittelbar KI-Evaluierungsrahmenwerke und stellt sicher, dass die nächste Generation von Spitzenmodellen an anspruchsvollen, nicht trivialen realen Rechercheszenarien getestet wird.

Anforderungen:

• Kernerfahrung: 1+ Jahre in investigativer Recherche, Faktenprüfung, Erstellung von KI-Benchmark-Aufgaben, Red-Teaming oder technischer QA-Prüfung.
• Vertrautheit mit Benchmarks: Nachgewiesene Erfahrung im Erstellen, Testen oder Prüfen von Aufgaben für KI-Benchmarks wie GAIA, BrowseComp, SimpleQA, SWE-bench, Terminal-Bench oder Humanity’s Last Exam (HLE).
• Analytische und OSINT-Fähigkeiten: Fortgeschrittene bis sehr fortgeschrittene Fähigkeiten in der Websuche und in Open Source Intelligence (OSINT); Fähigkeit, sich in akademischen Archiven, lokalen Aufzeichnungen oder entlegenen Datenbanken zurechtzufinden.
• Debugging von Modellverläufen: Ausgeprägte analytische Fähigkeit, Denkketten, Suchprotokolle und die Quellenauswahl des Modells zu untersuchen, um die Grundursachen von Fehlern zu diagnostizieren.
• Präzises Schreiben: Fähigkeit, klare, eindeutige Benchmark-Prompts mit wasserdichten, durch Primärquellen belegten Lösungsschlüsseln zu verfassen.

Aufgaben:

• Entdeckung entlegener Fakten: Tiefgehende Recherche zu Nischenthemen, um sachliche Referenzwahrheiten zu ermitteln, die sich nicht über einfache, direkte Suchanfragen finden lassen.
• Quellenverifizierung: Gründliche Überprüfung von Fakten anhand von Primärquellen oder hochgradig glaubwürdigen Quellen, Gegenprüfung auf widersprüchliche Belege und Dokumentation der genauen Quell-URLs.
• Aufgabenkonstruktion: Entwurf klarer, beantwortbarer Benchmark-Aufgaben, die gezielt strukturelle Schwächen in den Recherchestrategien von Modellen aufdecken.
• Red-Teaming und Modelltests: Ausführung der Aufgaben an bestimmten SOTA-Modellen, um zu bestätigen, dass sie die beabsichtigten Modellfehler zuverlässig auslösen.
• Fehlerdiagnose und Debugging: Nachverfolgung von Modell-Laufprotokollen, Suchverläufen und Zwischenausgaben, um genau festzustellen, wo und warum das Modell versagt hat (Unterscheidung echter Modellgrenzen von mehrdeutigen Prompts).
• Skalierung von Mustern und Prüfung: Anwendung bewährter „modellbrechender“ Rechercheansätze auf neue Fachgebiete und, bei starker Leistung, Prüfung von Aufgaben, die von Trainerkolleginnen und -kollegen erstellt wurden.

Besonders von Vorteil (bevorzugte Qualifikationen)

• Ein Bachelorabschluss oder höher in einem einschlägigen Ingenieurbereich ist für diese Position zwingend erforderlich.
• Frühere Erfahrung speziell im Entwurf von Prompt-Injection- oder Denkfallen-Aufgaben, die SOTA-Modelle zum Scheitern bringen.
• Fortgeschrittene OSINT-Fähigkeiten oder veröffentlichte investigative bzw. akademische Forschung, die tiefgehende Quellenverifizierung belegt.
• Nischen-Fachwissen in Bereichen mit schwer auffindbaren Aufzeichnungen (z. B. Unterlagen lokaler Behörden, regionale Sportgeschichte, Rechtsarchive, historische Patente).
• Erfahrung als leitender Gutachter, Benchmark-Auditor oder Qualitätsverantwortlicher in KI-Evaluierungsprojekten.

Angebotsdetails:

• Erforderlicher Einsatz: Bis zu 40 Stunden pro Woche mit 4 Stunden Überschneidung mit PST.
• Art der Tätigkeit: Auftragnehmer
• Dauer des Einsatzes: bis zu 4 Wochen

Auswahlverfahren -

• Kandidatinnen und Kandidaten müssen ein Formular zum Stellen-Interesse und ein Assessment einreichen.
• Im Assessment ausgewählte Fachkräfte durchlaufen Assessment und Prüfung und gehen entsprechend weiter.