Over de functie
Functietitel: Vakexpert (SME) data science en analytische methodologie
Type functie: Freelancer
Locatie: Op afstand
micro1 schakelt vakexperts (SME's) in data science en analytische methodologie in om expertise bij te dragen aan een project met grote impact van een klant, gericht op geavanceerde analytische pipelines en grote taalmodellen (LLM's). In deze rol past u uw expertise toe om de volgende generatie AI-systemen te helpen trainen. Uw werk bepaalt hoe modellen leren, redeneren en presteren, dankzij hoogwaardige input uit de praktijk. Voorafgaande ervaring met AI is niet vereist — uw vakkennis is wat telt.
Werkzaamheden
- Koppel scenario's voor analyse op schaal en pipeline-integratie aan een vastgestelde taxonomie over belangrijke evaluatiegebieden.
- Schrijf gedetailleerde analytische cases die authentieke implementatiepatronen weerspiegelen, waaronder geautomatiseerde triage, verrijking en analyse op schaal, evenals representatieve faalwijzen in praktijkomgevingen.
- Evalueer en beoordeel antwoorden op basis van criteria zoals omgang met bronnen, redenering, inzicht in beperkingen en praktisch nut.
- Identificeer en signaleer gevallen van overmatige weigering (over-refusal) door modellen die legitieme analytische werkprocessen kunnen belemmeren of de continuïteit van pipelines kunnen verstoren.
- Documenteer uitdagende grensgevallen en opkomende methodologische zorgen en geef bruikbare aanbevelingen voor continue verbetering.
- Lever duidelijke, inzichtelijke schriftelijke en mondelinge feedback die iteratieve, hoogwaardige projectresultaten ondersteunt.
Gewenste kwalificaties
- Aantoonbare ervaring met het integreren van LLM's — zoals GPT-varianten van overheden — in complexe data- of analytische pipelines.
- Bewezen vermogen om analyse op schaal uit te voeren, met inzicht in faalwijzen van automatisering en relevante evaluatiemetrics.
- Staat van dienst in lesgeven, mentoren of technisch leiderschap in data science of verwante analytische disciplines.
- Expertise in het schrijven van duidelijke, beknopte technische documentatie en het overbrengen van complexe concepten via sterk schriftelijk Engels.
- Ervaring met het ontwerp van evaluatiekaders of benchmarksystemen.
- Vertrouwdheid met analytische domeinen in defensie, inlichtingen of overheid wordt zeer gewaardeerd.
- Het vermogen om effectief te opereren in gedistribueerde, internationale projectomgevingen met minimale beperkingen op het gebied van veiligheidsmachtiging (clearance).
Meer informatie over ons werk voor overheid en defensie
Bij micro1 werken wij samen met experts uit overheid en defensie om te evalueren hoe geavanceerde AI-modellen presteren bij taken uit de praktijk.
Onze MissionReport-benchmark beoordeelt door AI gegenereerde militaire en overheidsrapporten en benadrukt het belang van deskundig oordeel, nauwkeurigheid en operationeel inzicht.
Meer informatie: https://www.micro1.ai/benchmark/mission-report