Über die Stelle
In dieser stundenweisen Remote-Vertragsrolle arbeiten Sie als Data Scientist Quality Assurance Lead (QAL) und überwachen Qualität, Konsistenz und Trainerleistung über Data-Science-KI-Trainingsprojekte hinweg. Sie prüfen KI-generierte Data-Science-Inhalte sowie Trainer-/QA-Arbeit, bewerten die Ausgabequalität anhand von Projektrichtlinien, geben präzises schriftliches Feedback und stellen sicher, dass Mitwirkende die erwarteten Qualitätsstandards einhalten.
Sie bewerten Arbeiten hinsichtlich statistischer Genauigkeit, Datenargumentation, Qualität der Modellauswahl, Codekorrektheit, Reproduzierbarkeit, Metrikinterpretation, Geschäftskontextbewusstsein, Klarheit, Formatierung, Befolgung von Anweisungen und Einhaltung projektspezifischer Rubriken. Sie erkennen wiederkehrende Qualitätsprobleme, kommunizieren Updates an Trainer und QAs, unterstützen das Onboarding, pflegen die Dokumentation und helfen dabei, Mitwirkende zu aktivieren, die nicht kontinuierlich arbeiten.
Diese Rolle ist bei SME Careers, einem schnell wachsenden Unternehmen für KI-Datendienste und Tochtergesellschaft von SuperAnnotate, das Trainingsdaten für viele der weltweit größten KI-Unternehmen und Foundation-Model-Labore bereitstellt. Ihre Qualitätsführung im Data Science trägt dazu bei, dass Trainingsdaten analytisch fundiert, reproduzierbar, klar erklärt und mit den Kundenerwartungen abgestimmt sind.
Der Auswahlprozess umfasst ein KI-Interview, eine domänenspezifische Aufgabe und ein Interview mit einem Recruiter.
Wichtig: Für diese Rolle gibt es derzeit kein unmittelbares Projekt; wenn Sie jedoch qualifiziert sind, gehören Sie zu den ersten Expertinnen und Experten, die wir kontaktieren, wenn sich relevante Möglichkeiten ergeben. Dies verschafft Ihnen außerdem Zugang zu zukünftigen Projekten, die über unser Expertennetzwerk verfügbar sind.
Was Sie tun werden
- Qualitätsüberwachung: Stichprobenprüfung von Data-Science-Aufgaben, Identifizierung von Qualitätsproblemen, Feedback per DM und Eskalation wiederkehrender oder kritischer Probleme.
- Technische Prüfung: Bewertung KI-generierter Data-Science-Erklärungen, Python/R/SQL-Snippets, Modellierungsworkflows, statistischer Interpretationen, Dashboards, Experimentdesigns und schrittweiser Argumentation.
- Kommunikation mit Trainern und QAs: Updates für Trainer/QAs auf Discord zu Richtlinienänderungen, Workflow-Updates und datenwissenschaftsspezifischen Qualitätserwartungen.
- Fragenbearbeitung: Beantwortung von Fragen zu statistischen Annahmen, Metriken, Modellauswahl, Datenleckage, Validierung, Coding-Entscheidungen, Reproduzierbarkeit und Rubrikinterpretation.
- Aktivierungsmanagement für Trainer/QAs: DM an inaktive Mitwirkende, Ermutigung zur Aktivierung, Nachverfolgung von Follow-ups und Kennzeichnung von Verfügbarkeitsproblemen.
- Dokumentation: Erstellung und Pflege von Data-Science-Styleguides, Trackern, FAQs, Beispielen, Honeypots, Kalibrierungsaufgaben und Onboarding-Materialien.
- Onboarding und Schulung: Planung und Durchführung von Onboarding-/Schulungsgesprächen mit Mitwirkenden zur Erläuterung von Projekterwartungen, Workflows, Rubriken und Data-Science-Review-Standards.
- Risikoprüfung: Kennzeichnung irreführender, übermäßig selbstsicherer, statistisch ungültiger oder nicht reproduzierbarer Data-Science-Ergebnisse.
- Prozessverbesserung: Identifizierung wiederkehrender Qualitätslücken und Unterstützung beim Aufbau skalierbarer QA-Prozesse.
Was wir suchen
- Bachelor-, Master- oder PhD-Abschluss in Data Science, Statistik, Informatik, Machine Learning, Mathematik, Wirtschaftswissenschaften, Ingenieurwesen oder einem eng verwandten quantitativen Fach.
- Sicheres Englisch, um Richtlinien zu befolgen, mit Teams zu kommunizieren und klares technisches Feedback zu geben.
- 3+ Jahre Berufserfahrung in Data Science, Analytics, Machine Learning, statistischer Modellierung, Experimentierung, Data Engineering, technischer Prüfung oder Data-Science-Ausbildung.
- Fundiertes Verständnis von Statistik, Wahrscheinlichkeit, Datenbereinigung, explorativer Datenanalyse, Feature Engineering, überwachtem/unüberwachtem Lernen, Modellevaluierung, Experimentierung, Regression, Klassifikation, Clustering und Validierungsmethoden.
- Fähigkeit, Data-Science-Inhalte anhand detaillierter Rubriken zu bewerten und Probleme wie Datenleckage, fehlerhafte Annahmen, falsche Metriken, schwache Methodik, nicht reproduzierbaren Code, halluzinierte Bibliotheken/APIs oder irreführende Schlussfolgerungen zu erkennen.
- Vertrautheit mit Tools wie Python, pandas, NumPy, scikit-learn, SQL, Jupyter, matplotlib, R, Spark, Git, MLflow, Notebooks, Dashboards und Cloud-/Datenplattformen ist von Vorteil.
- Erfahrung in der Leitung oder Unterstützung remote arbeitender Teams von Trainern, Annotatoren, Analysten, Data Scientists, Ingenieuren, Lehrkräften oder QAs ist stark von Vorteil.
- Sicherer Umgang mit Discord, Google Sheets, Google Docs, Trackern, Dashboards, GitHub und Projektmanagementsystemen.
- Hoch organisiert und in der Lage, Styleguides, Tracker, FAQs, Onboarding-Materialien, Honeypots, Kalibrierungsaufgaben und Qualitätsdokumentation zu pflegen.
- Erfahrung mit KI-Training, Datenannotation, LLM-Evaluierung, Data-Science-QA oder rubrikbasierter technischer Prüfung ist ein starkes Plus.