Prüfer für KI-Sicherheits-Annotation

Über Turing

Turing ist ein KI-gestütztes Technologiedienstleistungsunternehmen mit der Mission, die Weiterentwicklung und den Einsatz von AGI zu beschleunigen, indem es die Lücke zwischen globalen Talenten aus 100+ Ländern und den weltweit besten Foundation-LLM-Unternehmen schließt und diese dabei unterstützt, ihre Leistung durch Modellevaluierung, Feintuning, Feedback, Faktentreue und den Umgang mit vielfältigen Daten zu verbessern.

Überblick über die Rolle

Ein US-amerikanisches KI-Unternehmen, das an der Spitze der KI-Forschung steht, sucht einen Team Lead, der ein Team von Business Analysts leitet. Diese Möglichkeit ist auf Fachkräfte zugeschnitten, die Erfahrung in der Führung von Teams haben und daran interessiert sind, die Entwicklung von Lösungen an der Spitze der Technologie zu unterstützen.

Aufgaben

• Prüfung der von Trainern eingereichten Bewertungen auf falsche Anwendung von Richtlinien, unvollständige Begründungen, Abweichungen bei der Bewertung (Scoring Drift), Schemafehler und Inkonsistenzen bei Annotationen.
• Konsequente Anwendung eines detaillierten Rahmenwerks für KI-Sicherheitsrichtlinien bei Prüfaufgaben mit hohem Risiko.
• Erkennen einzelner und systematischer Fehler in von Menschen erstellten Annotationen und schriftlichen Bewertungen.
• Validierung der Vollständigkeit von Annotationen, der Bewertungsgenauigkeit, der Richtlinienkonformität und der Einhaltung der geforderten Schemata.
• Direkte, konstruktive Rückmeldungen an Trainer und Empfehlung von Korrekturmaßnahmen, wenn Qualitätsprobleme festgestellt werden.
• Dokumentation wiederkehrender Fehlermuster und Beitrag zu Initiativen für Qualitätsverbesserung, Kalibrierung und Gutachterschulung.
• Wahrung von Genauigkeit und Konsistenz bei zeitkritischen Bedingungen und im Umgang mit sensiblen Inhalten.

Anforderungen

• Ausgeprägte Liebe zum Detail sowie starke analytische und logische Denkfähigkeiten.
• Nachgewiesene Erfahrung im Erkennen systematischer Fehler in von Menschen erstellten Annotationen, Bewertungen oder schriftlichen Beurteilungen.
• Fähigkeit, detaillierte Richtlinien schnell zu verstehen und konsequent anzuwenden.
• Englisch auf muttersprachlichem Niveau und ausgeprägte schriftliche Kommunikationsfähigkeiten.
• Sicherheit darin, klare, direkte und konstruktive Rückmeldungen zu geben.
• Fundiertes Verständnis des US-amerikanischen kulturellen Kontexts und der Kommunikationsnormen.
• Fähigkeit, eigenständig zu arbeiten, Prioritäten zu managen und unter Zeitdruck Qualität zu wahren.
• Verfügbarkeit für einen Einsatz von 40 Stunden pro Woche; sofortige Verfügbarkeit ist bevorzugt.

Bevorzugte Qualifikationen

• Erfahrung in der Prüfung von KI-Annotationen, in der Qualitätssicherung für Trust & Safety, im Test Engineering, in der Inhaltsmoderation oder in der redaktionellen Faktenprüfung.
• Frühere Erfahrung mit Schemavalidierung, Prüfungen der Richtlinienkonformität, Prüfungen der Vollständigkeit von Annotationen oder Qualitätsaudits.
• Erfahrung im Umgang mit sensiblen Inhalten oder Inhalten mit hohem Risiko.

Wichtiger Hinweis: Dieses Projekt enthält sensible Inhalte zu Themen wie Selbstverletzung, Gewalt und Missbrauch. Es gelten entsprechende Einverständniserklärungen, Unterstützungsangebote und Maßnahmen zum Wohlbefinden.

Vorteile

• Möglichkeit, an Spitzenprojekten im Bereich KI zu arbeiten.
• Wettbewerbsfähige Vergütung.
• Flexible Arbeitszeiten und Remote-Arbeitsumgebung.

Bewerbungsverfahren

• Kandidatinnen und Kandidaten in der engeren Auswahl werden kontaktiert.