Over de functie
In deze rol als uurtarief, externe contractant werk je als Economie Kwaliteitsborging Lead (QAL) om kwaliteit, consistentie en prestaties van trainers te bewaken binnen AI-trainingsprojecten gericht op economie. Je beoordeelt door AI gegenereerde economische content en het werk van trainers/QA, evalueert de kwaliteit van output aan de hand van projectrichtlijnen, geeft precieze schriftelijke feedback en zorgt ervoor dat alle bijdragers de verwachte kwaliteitsstandaarden volgen.
Je beoordeelt werk op economische nauwkeurigheid, redenering van het model, aannames, data-interpretatie, correctheid van berekeningen, grafiekinterpretatie, beleidsnuances, helderheid, opmaak, het volgen van instructies en naleving van projectspecifieke rubrics. Je signaleert terugkerende kwaliteitsproblemen, communiceert updates naar trainers en QA's, ondersteunt onboarding, onderhoudt documentatie en helpt bijdragers te activeren die niet consistent werken. Deze rol vereist sterke economische expertise, sterke Engelse communicatieve vaardigheden, uitstekend oog voor detail, gestructureerde communicatie en het vermogen om kwaliteitsworkflows te beheren across externe expertteams.
Deze rol is bij SME Careers, een snelgroeiend AI Data Services-bedrijf en dochteronderneming van SuperAnnotate, dat trainingsdata levert voor veel van 's werelds grootste AI-bedrijven en foundation-model-labs. Jouw leiderschap op het gebied van economische kwaliteit helpt direct om 's werelds toonaangevende AI-modellen te verbeteren door ervoor te zorgen dat economische trainingsdata accuraat, analytisch solide, goed onderbouwd, aannamebewust en afgestemd op de verwachtingen van de klant zijn.
Het selectieproces omvat een AI-interview, een domeinspecifieke taak en een interview met een recruiter.
Belangrijk: Er is momenteel geen direct project voor deze rol; als je echter gekwalificeerd bent, behoor je tot de eerste experts die we benaderen wanneer er relevante mogelijkheden ontstaan. Dit geeft je ook toegang tot toekomstige projecten die beschikbaar zijn via ons expertnetwerk.
Wat je gaat doen
- Kwaliteitsmonitoring: steekproefsgewijs controleren van economische items, kwaliteitsproblemen identificeren, doorlopende feedback geven via DM's en terugkerende of kritieke problemen escaleren.
- Economische beoordeling: evalueren van door AI gegenereerde economische uitleg, berekeningen, grafieken, beleidsanalyses, data-interpretaties en stapsgewijze redeneringen op nauwkeurigheid en helderheid.
- Communicatie met trainers en QA: trainers en QA's op Discord bijpraten over nieuwe itemrichtlijnen, projectwijzigingen, workflow-updates, kwaliteitsverwachtingen en economie-specifieke beoordelingsstandaarden.
- Vragen afhandelen: duidelijk en snel reageren op vragen van trainers/QA, vooral rond economische modellen, aannames, formules, grafieken, causale claims, data-interpretatie en rubricinterpretatie.
- Activeringsbeheer van trainers/QA: bijdragers die inactief zijn of niet werken een DM sturen, activering aanmoedigen, follow-ups bijhouden en beschikbaarheidsproblemen signaleren wanneer nodig.
- Documentatie: economische projectdocumentatie maken en onderhouden, inclusief stijlgidsen, trackers, FAQ's, kwaliteitsnotities, voorbeelden, honeypots, kalibratietaken en onboardingsmaterialen.
- Onboarding en training: onboardings-/trainingsgesprekken plannen en leiden met trainers en QA's om projectverwachtingen, workflows, rubrics, kwaliteitsstandaarden en economie-specifieke beoordelingsvereisten uit te leggen.
- Kwaliteitsafstemming: ervoor zorgen dat alle trainers en QA's de richtlijnen voor economische beoordeling consistent toepassen en updates begrijpen naarmate projecten zich ontwikkelen.
- Risicobeoordeling: signaleren van overmoedige, misleidende, politiek bevooroordeelde, statistisch zwakke of aannamevrije economische claims.
- Procesverbetering: terugkerende kwaliteitshiaten identificeren, workflowverbeteringen voorstellen en helpen bij het opbouwen van schaalbare QA-processen voor economische AI-trainingsprojecten.
Wat we zoeken
- Bachelor-, Master- of PhD-diploma in Economie, Toegepaste Economie, Econometrie, Publiek Beleid, Finance, Statistiek, Wiskunde of een nauw verwant kwantitatief/sociaalwetenschappelijk vakgebied.
- Sterke beheersing van de Engelse taal om projectrichtlijnen te volgen, met teams te communiceren en duidelijke schriftelijke feedback te geven.
- 3+ jaar ervaring in economisch onderzoek, onderwijs, beleidsanalyse, economisch advies, data-analyse, econometrie, contentbeoordeling of aanverwante analytische workflows.
- Sterk begrip van micro-economie, macro-economie, marktstructuren, prikkels, vraag en aanbod, elasticiteit, externaliteiten, monetair/fiscaal beleid, inflatie, werkloosheid, handel, groei en basale econometrische redenering.
- Vermogen om economische content te beoordelen aan de hand van gedetailleerde rubrics en problemen te identificeren zoals onjuiste aannames, gebrekkige causale redenering, verkeerde formules, misleidende grafieken, ongefundeerde beleidsclaims, slechte data-interpretatie of te simplistische conclusies.
- Bekendheid met tools of methoden zoals regressieanalyse, causale inferentie, economische modellering, Excel, R, Python, Stata, openbare datasets, beleidsnota's en academisch economisch schrijven is een pré.
- Ervaring met het leiden of ondersteunen van externe teams van analisten, onderzoekers, reviewers, docenten, annotatoren of QA's is sterk gewenst.
- Comfortabel werken in snel veranderende externe omgevingen met tools zoals Discord, Google Sheets, Google Docs, trackers, dashboards en projectmanagementsystemen.
- Sterk detailgericht en georganiseerd, met het vermogen om stijlgidsen, FAQ's, trackers, onboardingsmaterialen, kalibratietaken en documentatie te onderhouden.
- Ervaring met AI-training, data-annotatie, LLM-evaluatie, economische QA, academische beoordeling of rubricgebaseerde beoordeling is een sterk pluspunt.