Über die Stelle
In dieser stundenweisen Remote-Auftragnehmerrolle arbeiten Sie als Python Quality Assurance Lead (QAL) mit ML-Schwerpunkt, um Qualität, Konsistenz und Trainerleistung in Python-Machine-Learning-KI-Trainingsprojekten zu überwachen. Sie prüfen KI-generierten Python-Code, ML-Workflows, Modellerklärungen sowie Trainer-/QA-Arbeiten; bewerten die Ausgabequalität anhand der Projektrichtlinien; geben präzises schriftliches Feedback; und stellen sicher, dass Mitwirkende die erwarteten Qualitätsstandards einhalten.
Sie bewerten Arbeiten hinsichtlich Codekorrektheit, Machine-Learning-Methodik, statistischer Validität, Reproduzierbarkeit, Qualität der Modellbewertung, Risiken von Data Leakage, Paketnutzung, Debugging-Genauigkeit, Lesbarkeit, Wartbarkeit, Formatierung, Befolgung von Anweisungen und Einhaltung projektspezifischer Rubriken. Diese Rolle erfordert fundierte Python- und ML-Expertise, Englischkommunikationsfähigkeiten, ausgezeichnete Detailgenauigkeit und die Fähigkeit, Qualitäts-Workflows über verteilte technische Teams hinweg zu steuern.
Diese Rolle ist bei SME Careers angesiedelt, einem schnell wachsenden Unternehmen für KI-Datendienste und Tochtergesellschaft von SuperAnnotate, das Trainingsdaten für viele der weltweit größten KI-Unternehmen und Foundation-Model-Labs bereitstellt. Ihre Qualitätsführung im Bereich Python ML trägt dazu bei, dass Trainingsdaten korrekt, ausführbar, statistisch fundiert, reproduzierbar, klar erklärt und mit den Kundenerwartungen abgestimmt sind.
Der Auswahlprozess umfasst ein KI-Interview, eine domänenspezifische Aufgabe und ein Interview mit einem Recruiter.
Wichtig: Für diese Rolle gibt es derzeit kein unmittelbares Projekt; falls Sie jedoch qualifiziert sind, gehören Sie zu den ersten Expertinnen und Experten, die wir bei relevanten Gelegenheiten kontaktieren. Dies bietet Ihnen zudem Zugang zu zukünftigen Projekten, die über unser Expertennetzwerk verfügbar sind.
Ihre Aufgaben
- Qualitätsüberwachung: Stichprobenprüfung von Python-ML-Beiträgen, Identifizierung von Qualitätsproblemen, Feedback über DMs und Eskalation wiederkehrender oder kritischer Probleme.
- Code- und ML-Prüfung: Bewertung KI-generierten Python-Codes, ML-Pipelines, Datenvorverarbeitungsschritte, Modelltrainings-Workflows, Bewertungslogik, Debugging-Antworten und Erklärungen auf Korrektheit und Reproduzierbarkeit.
- Kommunikation mit Trainern und QA: Aktualisierung von Mitwirkenden auf Discord über Richtlinienänderungen, Workflow-Updates und Python/ML-spezifische Prüfstandards.
- Beantwortung von Fragen: Antworten auf Fragen zu Python-Syntax, Paketnutzung, Data Leakage, Modellvalidierung, Metriken, statistischen Annahmen, Reproduzierbarkeit, Notebooks und Rubrikinterpretation.
- Aktivierungsmanagement für Trainer/QA: DMs an inaktive Mitwirkende, Förderung der Aktivierung, Nachverfolgung von Follow-ups und Kennzeichnung von Verfügbarkeitsproblemen.
- Dokumentation: Erstellung und Pflege von Python-ML-Style-Guides, Trackern, FAQs, Beispielen, Honeypots, Kalibrierungsaufgaben und Onboarding-Materialien.
- Onboarding und Schulung: Durchführung von Onboarding-/Schulungsgesprächen für Python-ML-Mitwirkende.
- Risikoprüfung: Kennzeichnung irreführender, übermäßig selbstsicherer, statistisch ungültiger, nicht reproduzierbarer, unsicherer oder nicht produktionsreifer Python-ML-Empfehlungen.
- Prozessverbesserung: Identifizierung wiederkehrender Qualitätslücken und Aufbau skalierbarer QA-Prozesse.
Was wir suchen
- Bachelor-, Master- oder PhD-Abschluss in Informatik, Machine Learning, Datenwissenschaft, Statistik, Mathematik, Ingenieurwesen oder einem eng verwandten quantitativen Fach.
- Fundierte Englischkenntnisse, um Richtlinien zu befolgen, mit Teams zu kommunizieren und klares technisches Feedback zu geben.
- 3+ Jahre Berufserfahrung in Python-Entwicklung, Machine Learning, Datenwissenschaft, ML-Engineering, Modellbewertung, Research Engineering, technischer Prüfung oder ML-Ausbildung.
- Fundiertes Verständnis von Python-Grundlagen wie Datenstrukturen, Funktionen, Klassen, Iteratoren, Comprehensions, Ausnahmebehandlung, virtuellen Umgebungen, Paketverwaltung, Tests und Debugging.
- Fundiertes Verständnis von ML-Themen wie überwachtes/ungesüberwachtes Lernen, Feature Engineering, Train-/Test-Splits, Kreuzvalidierung, Modellauswahl, Data Leakage, Regression, Klassifikation, Clustering, Metriken, Bias/Varianz, Regularisierung und Reproduzierbarkeit.
- Fähigkeit, ML-Inhalte anhand detaillierter Rubriken zu bewerten und Probleme wie fehlerhafte Methodik, falsche Metriken, Data Leakage, nicht reproduzierbaren Code, ungültige Annahmen, halluzinierte APIs, irreführende Schlussfolgerungen oder unvollständige Erklärungen zu identifizieren.
- Vertrautheit mit NumPy, pandas, scikit-learn, PyTorch, TensorFlow/Keras, XGBoost/LightGBM, Jupyter, matplotlib, seaborn, MLflow, Hugging Face, SQL, GitHub, Docker und CI/CD ist von Vorteil.
- Erfahrung in der Leitung oder Unterstützung verteilter Teams von Trainern, Annotatoren, Prüfern, Engineers, Datenwissenschaftlern, ML-Forschern, Coding-Mentoren oder QAs ist stark von Vorteil.
- Komfortables Arbeiten in schnelllebigen Remote-Umgebungen mit Discord, Google Sheets, Google Docs, Trackern, Dashboards, GitHub und Projektmanagementsystemen.
- Hochorganisiert und in der Lage, Style-Guides, Tracker, FAQs, Onboarding-Materialien, Honeypots, Kalibrierungsaufgaben und Qualitätsdokumentation zu pflegen.
- Erfahrung mit KI-Training, Datenannotation, LLM-Bewertung, Code-QA, ML-QA oder rubrikbasierter technischer Prüfung ist ein starkes Plus.