Leiter der Qualitätssicherung Mathematik (QAL)

In dieser stundenbasierten Remote-Auftragnehmerrolle arbeiten Sie als Leiter der Qualitätssicherung Mathematik (QAL) und überwachen Qualität, Konsistenz und Trainerleistung in KI-Trainingsprojekten für Mathematik. Sie prüfen KI-generierte Mathematik-Inhalte sowie die Arbeit von Trainern/QAs, bewerten die Ausgabequalität anhand der Projektrichtlinien, geben präzises schriftliches Feedback und stellen sicher, dass alle Mitwirkenden die erwarteten Qualitätsstandards einhalten.

Sie bewerten Arbeiten hinsichtlich mathematischer Genauigkeit, logischen Schlussfolgerns, Rechenrichtigkeit, Gültigkeit von Beweisen, Notation, Klarheit, Formatierung, Befolgung von Anweisungen und Einhaltung projektspezifischer Bewertungsraster. Sie erkennen wiederkehrende Qualitätsprobleme, kommunizieren Aktualisierungen an Trainer und QAs, unterstützen das Onboarding, pflegen Dokumentationen und helfen dabei, Mitwirkende zu aktivieren, die nicht regelmäßig arbeiten. Diese Rolle erfordert fundierte Mathematikkenntnisse, starke Englischkommunikationsfähigkeiten, ausgezeichnete Detailgenauigkeit, strukturierte Kommunikation und die Fähigkeit, Qualitätsworkflows in dezentralen technischen Teams zu steuern.

Diese Rolle ist bei SME Careers angesiedelt, einem schnell wachsenden Unternehmen für KI-Datendienste und Tochtergesellschaft von SuperAnnotate, das Trainingsdaten für viele der weltweit größten KI-Unternehmen und Foundation-Model-Labs bereitstellt. Ihre Qualitätsführung im Bereich Mathematik trägt direkt dazu bei, die weltweit führenden KI-Modelle zu verbessern, indem Sie sicherstellen, dass Mathematik-Trainingsdaten korrekt, logisch fundiert, klar erklärt, gut dokumentiert und mit den Kundenerwartungen abgestimmt sind.

Der Auswahlprozess umfasst ein KI-Interview, eine domänenspezifische Aufgabe und ein Interview mit einem Recruiter.

Was Sie tun werden

• Qualitätsüberwachung: Stichprobenprüfung von Mathematik-Aufgaben, Identifizierung von Qualitätsproblemen, laufendes Feedback über DMs und Eskalation wiederkehrender oder kritischer Probleme.
• Mathematische Prüfung: Bewertung KI-generierter mathematischer Erklärungen, Beweise, Herleitungen, Berechnungen, Lösungen von Textaufgaben, Diagrammen/Beschreibungen und schrittweiser Schlussfolgerungen auf Korrektheit und Klarheit.
• Kommunikation mit Trainern und QAs: Aktualisierung von Trainern und QAs auf Discord zu neuen Aufgabenrichtlinien, Projektänderungen, Workflow-Updates, Qualitätserwartungen und mathematikspezifischen Prüfstandards.
• Bearbeitung von Fragen: Klare und zeitnahe Beantwortung von Fragen der Trainer/QAs, insbesondere zu Gültigkeit von Schlussfolgerungen, Notation, Annahmen, Lösungsmethoden, Beweisstruktur, Formatierung und Interpretation der Bewertungsraster.
• Verwaltung der Aktivierung von Trainern/QAs: DMs an inaktive oder nicht arbeitende Mitwirkende, Ermutigung zur Aktivierung, Nachverfolgung von Follow-ups und Kennzeichnung von Verfügbarkeitsproblemen bei Bedarf.
• Dokumentation: Erstellung und Pflege von Mathematik-Projektdokumentationen, einschließlich Styleguides, Trackern, FAQs, Qualitätshinweisen, Beispielen, Honeypots, Kalibrierungsaufgaben und Onboarding-Materialien.
• Onboarding und Schulung: Planung und Durchführung von Onboarding-/Schulungsgesprächen mit Trainern und QAs zur Erläuterung von Projekterwartungen, Workflows, Bewertungsrastern, Qualitätsstandards und mathematikspezifischen Prüfanforderungen.
• Qualitätsabstimmung: Sicherstellung, dass alle Trainer und QAs die Mathematik-Richtlinien konsistent anwenden und Aktualisierungen verstehen, während sich Projekte weiterentwickeln.
• Fehlermusteranalyse: Identifizierung wiederkehrender Probleme wie ausgelassene Schlussfolgerungsschritte, ungültige Vereinfachungen, falsche Formeln, Inkonsistenzen in der Notation, Rechenfehler oder Antworten, die korrekt, aber schlecht begründet sind.
• Prozessverbesserung: Identifizierung wiederkehrender Qualitätslücken, Vorschläge zur Workflow-Verbesserung und Unterstützung beim Aufbau skalierbarer QA-Prozesse für KI-Trainingsprojekte im Bereich Mathematik.

Was wir suchen

• Bachelor-, Master- oder PhD-Abschluss in Mathematik, Angewandter Mathematik, Statistik, Physik, Ingenieurwesen, Informatik, Mathematikdidaktik oder einem eng verwandten quantitativen Fach.
• Fundierte Englischkenntnisse, um Projektrichtlinien zu befolgen, mit Teams zu kommunizieren und klares mathematisches Feedback auf Englisch zu geben.
• 3+ Jahre Berufserfahrung in Mathematik, Lehre, Nachhilfe, Forschung, quantitativer Analyse, technischem Schreiben, Lehrplanentwicklung, Aufgabenerstellung, Assessment-Design oder Prüfung von Mathematik-Inhalten.
• Fundiertes Verständnis zentraler Mathematikthemen wie Algebra, Geometrie, Trigonometrie, Analysis, Lineare Algebra, Diskrete Mathematik, Wahrscheinlichkeit, Statistik, Zahlentheorie, Kombinatorik, Differentialgleichungen und mathematische Beweise.
• Fähigkeit, Mathematik-Inhalte anhand detaillierter Bewertungsraster zu bewerten und Probleme zu erkennen wie falsche Annahmen, fehlerhaftes Schlussfolgern, ungültige Beweise, Rechenfehler, Notationsprobleme, fehlende Schritte, halluzinierte Fakten oder unvollständige Erklärungen.
• Sicherheit bei der Prüfung sowohl konzeptioneller Erklärungen als auch schrittweiser Lösungen, einschließlich der Frage, ob jeder Schritt logisch aus dem vorherigen folgt.
• Vertrautheit mit mathematischen Werkzeugen oder Workflows wie LaTeX, Python, MATLAB, R, WolframAlpha/Mathematica, GeoGebra, Desmos, Tabellenkalkulationsmodellierung oder symbolischen Berechnungswerkzeugen ist von Vorteil.
• Erfahrung in der Leitung oder Unterstützung dezentraler Teams aus Trainern, Annotatoren, Prüfern, Lehrkräften, technischen Redakteuren oder QAs ist stark von Vorteil.
• Sicherheit in sich schnell verändernden Remote-Umgebungen mit Tools wie Discord, Google Sheets, Google Docs, Trackern, Dashboards und Projektmanagementsystemen.
• Hohe Detailgenauigkeit und Organisation, mit der Fähigkeit, Styleguides, FAQs, Tracker, Onboarding-Materialien, Honeypots, Kalibrierungsaufgaben und weitere Qualitätsdokumentationen zu pflegen.
• Erfahrung mit KI-Training, Datenannotation, großen Sprachmodellen, Bewertung von Prompts/Antworten, QA von Mathematik-Inhalten oder raterbasierter LLM-Bewertung ist ein starkes Plus.
• Muttersprachliche Kenntnisse in Punjabi