Over de functie
In deze functie als externe contractor op uurbasis werk je als Data Scientist Quality Assurance Lead (QAL) en houd je toezicht op kwaliteit, consistentie en de prestaties van trainers binnen AI-trainingsprojecten voor data science. Je beoordeelt door AI gegenereerde data science-content en het werk van trainers/QA, evalueert de kwaliteit van output aan de hand van projectrichtlijnen, geeft precieze schriftelijke feedback en zorgt ervoor dat bijdragers de verwachte kwaliteitsnormen volgen.
Je beoordeelt werk op statistische nauwkeurigheid, dataredenatie, kwaliteit van modelselectie, correctheid van code, reproduceerbaarheid, interpretatie van metrics, bewustzijn van bedrijfscontext, duidelijkheid, formatting, het volgen van instructies en naleving van projectspecifieke rubrics. Je signaleert terugkerende kwaliteitsproblemen, communiceert updates naar trainers en QA's, ondersteunt onboarding, onderhoudt documentatie en helpt bijdragers die niet consistent werken te activeren.
Deze rol is bij SME Careers, een snelgroeiend AI Data Services-bedrijf en dochteronderneming van SuperAnnotate, dat trainingsdata levert aan veel van 's werelds grootste AI-bedrijven en foundation-model-labs. Jouw leiderschap op het gebied van data science-kwaliteit helpt ervoor te zorgen dat trainingsdata analytisch solide, reproduceerbaar, duidelijk uitgelegd en afgestemd op de verwachtingen van de klant zijn.
Het selectieproces omvat een AI-interview, een domeinspecifieke taak en een interview met een recruiter.
Belangrijk: Er is geen direct project voor deze rol; als je echter gekwalificeerd bent, behoor je tot de eerste experts die we benaderen wanneer zich relevante mogelijkheden voordoen. Dit geeft je ook toegang tot toekomstige projecten die beschikbaar komen via ons expertnetwerk.
Wat je gaat doen
- Kwaliteitsmonitoring: steekproefsgewijs data science-items controleren, kwaliteitsproblemen identificeren, feedback geven via DM's en terugkerende of kritieke problemen escaleren.
- Technische review: door AI gegenereerde data science-uitleg, Python/R/SQL-fragmenten, modelleerworkflows, statistische interpretaties, dashboards, experimentontwerpen en stapsgewijze redeneringen evalueren.
- Communicatie met trainers en QA: trainers/QA's op Discord updaten over wijzigingen in richtlijnen, workflowupdates en data-science-specifieke kwaliteitsverwachtingen.
- Vragen afhandelen: vragen beantwoorden over statistische aannames, metrics, modelselectie, data leakage, validatie, codeerkeuzes, reproduceerbaarheid en rubricinterpretatie.
- Activatiebeheer van trainers/QA: inactieve bijdragers DM'en, aanmoedigen tot activatie, follow-ups bijhouden en beschikbaarheidsproblemen signaleren.
- Documentatie: data science-stijlgidsen, trackers, FAQ's, voorbeelden, honeypots, kalibratietaken en onboardingmaterialen maken en onderhouden.
- Onboarding en training: onboarding-/trainingcalls plannen en uitvoeren met bijdragers om projectverwachtingen, workflows, rubrics en data science-reviewnormen uit te leggen.
- Risicobeoordeling: misleidende, overmoedige, statistisch ongeldige of niet-reproduceerbare data science-output signaleren.
- Procesverbetering: terugkerende kwaliteitshiaten identificeren en helpen bij het opbouwen van schaalbare QA-processen.
Wat we zoeken
- Bachelor-, Master- of PhD-diploma in Data Science, Statistiek, Computer Science, Machine Learning, Wiskunde, Economie, Engineering of een nauw verwant kwantitatief vakgebied.
- Sterke beheersing van Engels om richtlijnen te volgen, met teams te communiceren en duidelijke technische feedback te geven.
- 3+ jaar professionele ervaring in data science, analytics, machine learning, statistische modellering, experimentatie, data engineering, technische review of data science-onderwijs.
- Sterk begrip van statistiek, kansrekening, datacleaning, exploratieve data-analyse, feature engineering, supervised/unsupervised learning, modelevaluatie, experimentatie, regressie, classificatie, clustering en validatiemethoden.
- Vermogen om data science-content te beoordelen aan de hand van gedetailleerde rubrics en problemen te identificeren zoals data leakage, gebrekkige aannames, onjuiste metrics, zwakke methodologie, niet-reproduceerbare code, gehallucineerde libraries/API's of misleidende conclusies.
- Bekendheid met tools zoals Python, pandas, NumPy, scikit-learn, SQL, Jupyter, matplotlib, R, Spark, Git, MLflow, notebooks, dashboards en cloud-/dataplatforms is een pluspunt.
- Ervaring met het leiden of ondersteunen van remote teams van trainers, annotators, analisten, data scientists, engineers, docenten of QA's is sterk gewenst.
- Comfortabel met Discord, Google Sheets, Google Docs, trackers, dashboards, GitHub en projectmanagementsystemen.
- Zeer georganiseerd en in staat om stijlgidsen, trackers, FAQ's, onboardingmaterialen, honeypots, kalibratietaken en kwaliteitsdocumentatie te onderhouden.
- Ervaring met AI-training, data-annotatie, LLM-evaluatie, data science-QA of rubricgebaseerde technische review is een sterk pluspunt.