Über die Stelle
In dieser stündlichen, Remote-Vertragsrolle arbeiten Sie als Red-Teaming Quality Assurance Lead (QAL), um Qualität, Konsistenz und Trainerleistung in KI-Red-Teaming- und Sicherheitsevaluierungsprojekten zu überwachen. Sie prüfen KI-generierte Sicherheitsevaluierungen, adversariale Prompts, Risikoanalysen und Trainer-/QA-Arbeiten; bewerten die Ausgabequalität anhand von Projektrichtlinien; geben präzises schriftliches Feedback; und stellen sicher, dass alle Mitwirkenden die erwarteten Qualitätsstandards einhalten.
Sie bewerten Arbeiten hinsichtlich Risikoidentifikation, adversarialem Reasoning, Richtlinienbewusstsein, Ausrichtung an Sicherheitstaxonomien, Prompt-Qualität, Szenariorealismus, Abdeckung von Schwachstellen, Klarheit, Formatierung, Befolgung von Anweisungen und Einhaltung projektspezifischer Rubriken. Sie erkennen wiederkehrende Qualitätsprobleme, kommunizieren Updates an Trainer und QAs, unterstützen das Onboarding, pflegen Dokumentationen und helfen dabei, Mitwirkende zu aktivieren, die nicht konsistent arbeiten. Diese Rolle erfordert starkes Urteilsvermögen in KI-Sicherheit/Red-Teaming, starke Englischkommunikationsfähigkeiten, ausgezeichnete Detailgenauigkeit, strukturierte Kommunikation und die Fähigkeit, Qualitätsworkflows über remote arbeitende Expertenteams hinweg zu managen.
Diese Rolle ist bei SME Careers, einem schnell wachsenden Unternehmen für KI-Datendienste und Tochtergesellschaft von SuperAnnotate, das Trainingsdaten für viele der weltweit größten KI-Unternehmen und Foundation-Model-Labs bereitstellt. Ihre Qualitätsführung im Red-Teaming hilft direkt dabei, die weltweit führenden KI-Modelle zu verbessern, indem Sie sicherstellen, dass Sicherheitstrainingsdaten realistisch, nuanciert, richtlinienkonform, gut dokumentiert und nützlich für die Identifizierung von Modellschwachstellen sind.
Der Auswahlprozess umfasst ein KI-Interview, eine domänenspezifische Aufgabe und ein Interview mit einem Recruiter.
Wichtig: Für diese Rolle gibt es derzeit kein unmittelbares Projekt; wenn Sie jedoch qualifiziert sind, gehören Sie zu den ersten Expertinnen und Experten, die wir kontaktieren, wenn relevante Möglichkeiten entstehen. Dies verschafft Ihnen außerdem Zugang zu zukünftigen Projekten, die über unser Expertennetzwerk verfügbar sind.
Was Sie tun werden
- Qualitätsüberwachung: Stichprobenprüfung von Red-Teaming-Elementen, Identifizierung von Qualitätsproblemen, kontinuierliches Feedback über DMs und Eskalation wiederkehrender oder kritischer Probleme.
- Sicherheits- und Red-Team-Review: Bewertung adversarialer Prompts, Modellantworten, Risikoklassifizierungen, Sicherheitsanalysen, Richtlinienerklärungen und Schwachstellenberichten hinsichtlich Genauigkeit, Realismus und Nützlichkeit.
- Kommunikation mit Trainern und QAs: Aktualisierung von Trainern und QAs auf Discord zu neuen Elementrichtlinien, Projektänderungen, Workflow-Updates, Qualitätserwartungen und red-teaming-spezifischen Review-Standards.
- Fragenbearbeitung: Klare und zeitnahe Beantwortung von Fragen von Trainern/QAs, insbesondere zu Risikokategorien, adversarialer Strategie, Richtliniengrenzen, Edge Cases, Schweregrad und Rubrikinterpretation.
- Aktivierungsmanagement für Trainer/QAs: DMs an inaktive oder nicht arbeitende Mitwirkende, Ermutigung zur Aktivierung, Nachverfolgung von Follow-ups und Kennzeichnung von Verfügbarkeitsproblemen bei Bedarf.
- Dokumentation: Erstellung und Pflege von Red-Teaming-Projektdokumentationen, einschließlich Style Guides, Trackern, FAQs, Qualitätsnotizen, Beispielen, Honeypots, Kalibrierungsaufgaben und Onboarding-Materialien.
- Onboarding und Schulung: Planung und Durchführung von Onboarding-/Schulungsgesprächen mit Trainern und QAs, um Projekterwartungen, Workflows, Rubriken, Qualitätsstandards und red-teaming-spezifische Review-Anforderungen zu erklären.
- Qualitätsausrichtung: Sicherstellung, dass alle Trainer und QAs Red-Teaming- und Sicherheitsreview-Richtlinien konsistent anwenden und Updates verstehen, während sich Projekte weiterentwickeln.
- Risikoprüfung: Kennzeichnung unsicherer, minderwertiger, unrealistischer, richtlinieninkonsistenter oder unzureichend dokumentierter Red-Team-Elemente.
- Prozessverbesserung: Identifizierung wiederkehrender Qualitätslücken, Vorschläge für Workflow-Verbesserungen und Unterstützung beim Aufbau skalierbarer QA-Prozesse für KI-Red-Teaming-Projekte.
Was wir suchen
- Bachelor-, Master- oder Berufserfahrung in Informatik, Cybersicherheit, KI-Sicherheit, Trust & Safety, öffentlicher Politik, Psychologie, Linguistik, Recht, Sicherheitsstudien, Risikoanalyse oder einem verwandten Bereich.
- Starkes Verständnis der englischen Sprache, um Projektrichtlinien zu befolgen, mit Teams zu kommunizieren und klares schriftliches Feedback zu geben.
- 3+ Jahre Erfahrung in KI-Sicherheit, Red-Teaming, Cybersicherheit, Trust and Safety, Inhaltsrichtlinien, Risikoanalyse, adversarialem Testen, Modellevaluierung, Content-Moderation oder verwandten Workflows.
- Starkes Verständnis von KI-Risikokategorien, adversarialem Prompting, Jailbreak-Mustern, Taxonomien schädlicher Inhalte, Missbrauchsszenarien, Richtlinieninterpretation, Modellverhalten und Prinzipien der Sicherheitsevaluierung.
- Fähigkeit, Red-Teaming-Inhalte anhand detaillierter Rubriken zu bewerten und Probleme zu identifizieren, wie schwaches adversariales Design, unrealistische Szenarien, schlechte Risikokategorisierung, Fehlinterpretation von Richtlinien, unsichere Ausgaben oder oberflächliches Schwachstellentesten.
- Vertrautheit mit Bereichen wie Prompt-Injection, Social Engineering, Cybersicherheitsmissbrauch, Betrug, Selbstschädigungssicherheit, extremistischen Inhalten, Desinformation, Datenschutzrisiken, illegalem Verhalten, Bias und Modellverweigerungsverhalten ist bevorzugt.
- Erfahrung in der Leitung oder Unterstützung remote arbeitender Teams von Red-Teamern, Reviewern, Richtlinienanalysten, Annotatoren, Forschern oder QAs ist stark bevorzugt.
- Komfortables Arbeiten in schnelllebigen Remote-Umgebungen mit Tools wie Discord, Google Sheets, Google Docs, Trackern, Dashboards und Projektmanagementsystemen.
- Hohe Detailgenauigkeit und Organisation, mit der Fähigkeit, Style Guides, FAQs, Tracker, Onboarding-Materialien, Kalibrierungsaufgaben und Dokumentationen zu pflegen.
- Erfahrung mit KI-Training, LLM-Evaluierung, Sicherheitsevaluierungen, Content-Moderation-QA, Richtlinien-QA oder rubrikbasierter Überprüfung ist ein starkes Plus.