Lead für rechtliche Qualitätssicherung (QAL)

In dieser stundenbasierten Remote-Auftragnehmerrolle arbeiten Sie als Lead für rechtliche Qualitätssicherung (QAL) und überwachen Qualität, Konsistenz und Trainerleistung in rechtlichen KI-Trainingsprojekten. Sie prüfen KI-generierte rechtliche Inhalte sowie die Arbeit von Trainern/QAs, bewerten die Ausgabequalität anhand von Projektrichtlinien, geben präzises schriftliches Feedback und stellen sicher, dass alle Mitwirkenden die erwarteten Qualitätsstandards einhalten.

Sie bewerten Arbeiten hinsichtlich der Qualität rechtlicher Argumentation, der Erkennung von Problemstellungen, des Bewusstseins für Gerichtsbarkeiten, des Umgangs mit Zitaten und Quellen, der Klarheit, des Risikobewusstseins, der Formatierung, der Befolgung von Anweisungen und der Einhaltung projektspezifischer Bewertungsraster. Sie erkennen wiederkehrende Qualitätsprobleme, kommunizieren Updates an Trainer und QAs, unterstützen das Onboarding, pflegen die Dokumentation und helfen dabei, Mitwirkende zu aktivieren, die nicht kontinuierlich arbeiten. Diese Rolle erfordert fundierte rechtliche Expertise, starke Englischkenntnisse in der Kommunikation, ausgezeichnete Detailgenauigkeit, strukturierte Kommunikation und die Fähigkeit, Qualitätsworkflows über remote arbeitende rechtliche Prüfteams hinweg zu steuern.

Diese Rolle ist bei SME Careers angesiedelt, einem schnell wachsenden Unternehmen für KI-Datendienste und Tochterunternehmen von SuperAnnotate, das Trainingsdaten für viele der weltweit größten KI-Unternehmen und Foundation-Model-Labs bereitstellt. Ihre rechtliche Qualitätsführung trägt direkt dazu bei, die weltweit führenden KI-Modelle zu verbessern, indem Sie sicherstellen, dass rechtliche Trainingsdaten korrekt, gut begründet, klar erklärt, angemessen vorsichtig, gut dokumentiert und mit den Erwartungen der Kunden abgestimmt sind.

Der Auswahlprozess umfasst ein KI-Interview, eine domänenspezifische Aufgabe und ein Interview mit einem Recruiter.

Wichtig: Für diese Rolle gibt es derzeit kein unmittelbares Projekt; wenn Sie jedoch qualifiziert sind, gehören Sie zu den ersten Expertinnen und Experten, die wir kontaktieren, sobald sich relevante Möglichkeiten ergeben. Dies verschafft Ihnen außerdem Zugang zu zukünftigen Projekten, die über unser Expertennetzwerk verfügbar sind.

Was Sie tun werden

• Qualitätsüberwachung: Stichprobenartige Prüfung rechtlicher Items, Identifizierung von Qualitätsproblemen, laufendes Feedback über DMs und Eskalation wiederkehrender oder kritischer Probleme.
• Rechtliche Prüfung: Bewertung KI-generierter rechtlicher Erklärungen, Antworten auf rechtliche Recherchen, Vertragsanalysen, Richtlinieninterpretationen, Fallzusammenfassungen, Compliance-Hinweise und Workflows zur Erkennung von Problemstellungen hinsichtlich Genauigkeit, Klarheit und angemessener Vorsicht.
• Kommunikation mit Trainern und QAs: Updates für Trainer und QAs auf Discord zu neuen Item-Richtlinien, Projektänderungen, Workflow-Updates, Qualitätserwartungen und spezifischen Standards für die rechtliche Prüfung.
• Beantwortung von Fragen: Klare und zeitnahe Beantwortung von Fragen von Trainern/QAs, insbesondere zu rechtlicher Argumentation, Gerichtsbarkeit, Zitaten, Quellenqualität, Haftungsausschlüssen, Vertragssprache, Compliance-Interpretation und Anwendung von Bewertungsrastern.
• Verwaltung der Aktivierung von Trainern/QAs: DMs an inaktive oder nicht arbeitende Mitwirkende, Ermutigung zur Aktivierung, Nachverfolgung von Follow-ups und Kennzeichnung von Verfügbarkeitsproblemen bei Bedarf.
• Dokumentation: Erstellung und Pflege rechtlicher Projektdokumentation, einschließlich Style Guides, Trackern, FAQs, Qualitätsnotizen, Beispielen, Honeypots, Kalibrierungsaufgaben und Onboarding-Materialien.
• Onboarding und Schulung: Planung und Durchführung von Onboarding-/Schulungsgesprächen mit Trainern und QAs zur Erläuterung von Projekterwartungen, Workflows, Bewertungsrastern, Qualitätsstandards und rechtsspezifischen Prüfanforderungen.
• Qualitätsabstimmung: Sicherstellung, dass alle Trainer und QAs die Richtlinien für die rechtliche Prüfung konsistent anwenden und Updates verstehen, während sich Projekte weiterentwickeln.
• Risiko- und Sicherheitsprüfung: Kennzeichnung unsicherer, irreführender, übermäßig selbstsicherer oder im Hinblick auf die Gerichtsbarkeit unangemessener rechtlicher Ausgaben, insbesondere wenn der Inhalt als personalisierte Rechtsberatung interpretiert werden könnte.
• Prozessverbesserung: Identifizierung wiederkehrender Qualitätslücken, Vorschlag von Workflow-Verbesserungen und Unterstützung beim Aufbau skalierbarer QA-Prozesse für rechtliche KI-Trainingsprojekte.

Was wir suchen

• Bachelor-Abschluss, JD, LLB, LLM oder gleichwertiger Abschluss in Rechtswissenschaft, Rechtsstudien, Paralegal-Studien, Compliance, öffentlicher Politik oder einem eng verwandten Bereich.
• Fundierte Englischkenntnisse, um Projektrichtlinien zu befolgen, mit Teams zu kommunizieren und klares Feedback zur rechtlichen Prüfung auf Englisch zu geben.
• 3+ Jahre Berufserfahrung in rechtlicher Praxis, rechtlicher Recherche, Vertragsprüfung, Compliance, regulatorischer Analyse, Paralegal-Arbeit, Rechtsabläufen, juristischem Schreiben, juristischer Ausbildung oder verwandten Workflows.
• Fundiertes Verständnis zentraler rechtlicher Konzepte wie rechtliche Argumentation, Erkennung von Problemstellungen, Vertragsauslegung, rechtliche Recherche, Gesetzesauslegung, Fallanalyse, Compliance, Risikobewertung und Standards für juristisches Schreiben.
• Fähigkeit, rechtliche Inhalte anhand detaillierter Bewertungsraster zu bewerten und Probleme zu identifizieren wie nicht gestützte Schlussfolgerungen, halluzinierte Zitate, Nichtübereinstimmung der Gerichtsbarkeit, übermäßig selbstsichere Rechtsberatung, fehlende Vorbehalte, falsche rechtliche Standards, unvollständige Argumentation oder unklare Erklärungen.
• Vertrautheit mit gängigen rechtlichen Workflows oder Tools wie Vertragsprüfung, juristischen Memoranden, Fallzusammenfassungen, regulatorischen Leitlinien, Zitatprüfung, Rechtsdatenbanken, Dokumentenprüfung, Compliance-Checklisten oder Richtlinienanalyse ist von Vorteil.
• Erfahrung in der Leitung oder Unterstützung remote arbeitender Teams von Trainern, Annotatoren, Prüfern, Anwälten, Paralegals, juristischen Redakteuren, Forschern oder QAs ist stark von Vorteil.
• Komfortables Arbeiten in schnelllebigen Remote-Umgebungen mit Tools wie Discord, Google Sheets, Google Docs, Trackern, Dashboards und Projektmanagementsystemen.
• Hohe Detailgenauigkeit und Organisation, mit der Fähigkeit, Style Guides, FAQs, Tracker, Onboarding-Materialien, Honeypots, Kalibrierungsaufgaben und andere Qualitätsdokumentation zu pflegen.
• Erfahrung mit KI-Training, Datenannotation, großen Sprachmodellen, Bewertung von Prompts/Antworten, QA rechtlicher Inhalte oder rasterspezifischer LLM-Bewertung ist ein starkes Plus.