Über die Stelle
Über Turing: Mit Sitz in San Francisco, Kalifornien, ist Turing der weltweit führende Forschungsbeschleuniger für KI-Spitzenlabore und ein vertrauenswürdiger Partner für globale Unternehmen, die fortschrittliche KI-Systeme einsetzen. Turing unterstützt Kunden auf zwei Arten: erstens, indem es die Spitzenforschung mit hochwertigen Daten, fortschrittlichen Trainings-Pipelines sowie führenden KI-Forschern beschleunigt, die auf Programmierung, logisches Denken, MINT, Mehrsprachigkeit, Multimodalität und Agenten spezialisiert sind; und zweitens, indem es diese Expertise anwendet, um Unternehmen dabei zu helfen, KI vom Proof of Concept zu proprietärer Intelligenz weiterzuentwickeln – mit Systemen, die zuverlässig arbeiten, messbare Wirkung erzielen und nachhaltige Ergebnisse in der Gewinn- und Verlustrechnung (P&L) bringen.
Überblick über die Rolle
Wir suchen eine analytische Forscherin bzw. einen analytischen Forscher und Red-Teaming-Spezialisten, die bzw. der belegbasierte Benchmark-Aufgaben zur Web-Recherche entwickelt, welche Schwächen modernster (SOTA) KI-Modelle (z. B. Claude Opus 5 Max) zuverlässig aufdecken. In dieser Rolle entdecken Sie schwer auffindbare Fakten, bauen präzise Rechercheaufgaben darum herum, testen diese direkt an führenden LLMs und diagnostizieren die genauen Fehlermechanismen in den Such- und Denkpfaden des Modells.
Ihre Arbeit prägt unmittelbar KI-Evaluierungsrahmenwerke und stellt sicher, dass die nächste Generation von Spitzenmodellen an anspruchsvollen, nicht trivialen realen Rechercheszenarien getestet wird.
Anforderungen:
- Kernerfahrung: 1+ Jahre in investigativer Recherche, Faktenprüfung, Erstellung von KI-Benchmark-Aufgaben, Red-Teaming oder technischer QA-Prüfung.
- Vertrautheit mit Benchmarks: Nachgewiesene Erfahrung im Erstellen, Testen oder Prüfen von Aufgaben für KI-Benchmarks wie GAIA, BrowseComp, SimpleQA, SWE-bench, Terminal-Bench oder Humanity’s Last Exam (HLE).
- Analytische und OSINT-Fähigkeiten: Fortgeschrittene bis sehr fortgeschrittene Fähigkeiten in der Websuche und in Open Source Intelligence (OSINT); Fähigkeit, sich in akademischen Archiven, lokalen Aufzeichnungen oder entlegenen Datenbanken zurechtzufinden.
- Debugging von Modellverläufen: Ausgeprägte analytische Fähigkeit, Denkketten, Suchprotokolle und die Quellenauswahl des Modells zu untersuchen, um die Grundursachen von Fehlern zu diagnostizieren.
- Präzises Schreiben: Fähigkeit, klare, eindeutige Benchmark-Prompts mit wasserdichten, durch Primärquellen belegten Lösungsschlüsseln zu verfassen.
Aufgaben:
- Entdeckung entlegener Fakten: Tiefgehende Recherche zu Nischenthemen, um sachliche Referenzwahrheiten zu ermitteln, die sich nicht über einfache, direkte Suchanfragen finden lassen.
- Quellenverifizierung: Gründliche Überprüfung von Fakten anhand von Primärquellen oder hochgradig glaubwürdigen Quellen, Gegenprüfung auf widersprüchliche Belege und Dokumentation der genauen Quell-URLs.
- Aufgabenkonstruktion: Entwurf klarer, beantwortbarer Benchmark-Aufgaben, die gezielt strukturelle Schwächen in den Recherchestrategien von Modellen aufdecken.
- Red-Teaming und Modelltests: Ausführung der Aufgaben an bestimmten SOTA-Modellen, um zu bestätigen, dass sie die beabsichtigten Modellfehler zuverlässig auslösen.
- Fehlerdiagnose und Debugging: Nachverfolgung von Modell-Laufprotokollen, Suchverläufen und Zwischenausgaben, um genau festzustellen, wo und warum das Modell versagt hat (Unterscheidung echter Modellgrenzen von mehrdeutigen Prompts).
- Skalierung von Mustern und Prüfung: Anwendung bewährter „modellbrechender“ Rechercheansätze auf neue Fachgebiete und, bei starker Leistung, Prüfung von Aufgaben, die von Trainerkolleginnen und -kollegen erstellt wurden.
Besonders von Vorteil (bevorzugte Qualifikationen)
- Ein Bachelorabschluss oder höher in einem einschlägigen Ingenieurbereich ist für diese Position zwingend erforderlich.
- Frühere Erfahrung speziell im Entwurf von Prompt-Injection- oder Denkfallen-Aufgaben, die SOTA-Modelle zum Scheitern bringen.
- Fortgeschrittene OSINT-Fähigkeiten oder veröffentlichte investigative bzw. akademische Forschung, die tiefgehende Quellenverifizierung belegt.
- Nischen-Fachwissen in Bereichen mit schwer auffindbaren Aufzeichnungen (z. B. Unterlagen lokaler Behörden, regionale Sportgeschichte, Rechtsarchive, historische Patente).
- Erfahrung als leitender Gutachter, Benchmark-Auditor oder Qualitätsverantwortlicher in KI-Evaluierungsprojekten.
Angebotsdetails:
- Erforderlicher Einsatz: Bis zu 40 Stunden pro Woche mit 4 Stunden Überschneidung mit PST.
- Art der Tätigkeit: Auftragnehmer
- Dauer des Einsatzes: bis zu 4 Wochen
Auswahlverfahren -
- Kandidatinnen und Kandidaten müssen ein Formular zum Stellen-Interesse und ein Assessment einreichen.
- Im Assessment ausgewählte Fachkräfte durchlaufen Assessment und Prüfung und gehen entsprechend weiter.