Over de functie
In deze taak als externe contractor op uurbasis werk je op afstand als STEM- en technisch subject matter expert (SME) om uitdagende vragen op expertniveau te maken, door AI gegenereerde technische inhoud te evalueren en gedetailleerde rubrieken te ontwerpen die bepalen wat een correct, rigoureus en kwalitatief hoogwaardig antwoord op expertniveau moet bevatten.
Je ontwikkelt problemen binnen je eigen expertisegebied die geavanceerd redeneren testen in plaats van simpelweg feitenkennis. Je identificeert zwakke punten in frontier-AI-modellen, waaronder onjuiste aannames, onvolledige redeneringen, wiskundige of wetenschappelijke fouten, gemiste edge cases en antwoorden die plausibel lijken maar onder deskundige toetsing niet standhouden.
Een belangrijk aandachtspunt in deze rol is rubriekontwerp en rubricering. Je vertaalt complexe technische beoordeling naar duidelijke, specifieke en meetbare evaluatiecriteria, waaronder vereiste concepten, redeneerstappen, acceptabele alternatieve benaderingen, kritieke fouten en overwegingen voor gedeeltelijke toekenning van punten. Je kunt ook rubrieken van andere experts beoordelen en verbeteren.
Deze rol is bij SME Careers, een snelgroeiend AI-datadienstenbedrijf en dochteronderneming van SuperAnnotate, dat trainingsdata levert aan veel van de grootste AI-bedrijven en foundation-model-labs ter wereld. Je technische expertise helpt rechtstreeks de toonaangevende AI-modellen ter wereld te verbeteren door hun redeneringen nauwkeuriger, rigoroser en betrouwbaarder te maken.
Wat je doet
- Technische vragen op expertniveau maken: Ontwikkel moeilijke vragen die echt technisch redeneren testen en zwakke punten in geavanceerde AI-systemen blootleggen.
- Evaluatierubrieken ontwerpen: Schrijf gestructureerde criteria die bepalen wat een correct, rigoureus en volledig antwoord moet bevatten.
- Normen voor gedeeltelijke punten vaststellen: Identificeer essentiële redeneerstappen, acceptabele alternatieven, kleine fouten en kritieke fouten.
- Door AI gegenereerde oplossingen evalueren: Beoordeel outputs op correctheid, kwaliteit van de redenering, volledigheid, methodologie en technische precisie.
- Verborgen redeneerfouten identificeren: Detecteer gevallen waarin een antwoord tot de juiste conclusie komt op basis van ongeldige aannames of gebrekkige logica.
- Rubrieken van collega's beoordelen: Beoordeel criteria van andere experts op technische nauwkeurigheid, duidelijkheid, volledigheid en consistentie van de scoring.
- Referentie-inhoud ontwikkelen: Produceer antwoorden op expertniveau, toelichtingen, beoordelingen en andere inhoud van goudstandaardkwaliteit.
- AI-training ondersteunen: Maak vragen, rubrieken, evaluaties, voorkeursbeoordelingen en paren van referentieantwoorden die geschikt zijn voor RL- en SFT-workflows.
- Technische rigorousheid handhaven: Zorg dat inhoud passende professionele of academische normen binnen de relevante discipline weerspiegelt.
Wat we zoeken
- Bachelor- of hoger diploma in wiskunde, natuurkunde, scheikunde, engineering, computerwetenschappen, statistiek, toegepaste wetenschappen of een andere technische discipline.
- Sterke professionele beheersing van het Engels, minimaal C1, met het vermogen om precieze technische uitleg en evaluatiecriteria te schrijven.
- 3+ jaar professionele, academische, onderzoeks- of industriële ervaring in je opgegeven technische domein.
- Aantoonbare gevorderde expertise in een duidelijk afgebakend technisch vakgebied of specialisatie.
- Vermogen om uitdagende technische vragen te maken die meerstapsredeneringen, domeinexpertise of professioneel oordeel vereisen.
- Sterk vermogen om gedetailleerde evaluatierubrieken te ontwerpen die vereiste redeneringen, correcte methodologie, acceptabele alternatieven, criteria voor gedeeltelijke punten en kritieke fouten definiëren.
- Vermogen om onderscheid te maken tussen een correct eindantwoord en een antwoord dat wordt ondersteund door geldige versus gebrekkige redeneringen.
- Je prettig voelen bij het beoordelen en bekritiseren van rubrieken van andere experts op ambiguïteit, ontbrekende criteria, redundantie, technische onjuistheden of slecht scoringsontwerp.
- Grote aandacht voor detail bij het evalueren van formules, aannames, eenheden, methodologie, edge cases, logische consistentie en technische terminologie.
- Ervaring met het schrijven van examens, academisch beoordelen, peerreview, onderzoeksreview, technische QA, normontwikkeling of assessmentontwerp is sterk gewenst.
- Eerdere ervaring met AI-evaluatie, RLHF, SFT, benchmarking, data-annotatie, promptontwerp of LLM-evaluatie is gewenst.
- Betrouwbaar, zelfstandig en in staat om consistente kwaliteit te leveren in een workflow als externe contractor op uurbasis.