Over de functie
Functietitel: Inlichtingenanalist
Type functie: Contractor
Locatie: Op afstand
micro1 schakelt inlichtingenanalisten in om bij te dragen aan een klantgericht project gericht op het evalueren en bevorderen van de mogelijkheden van kunstmatige intelligentie. In deze rol past u uw expertise toe om de volgende generatie AI-systemen te helpen trainen. Uw werk bepaalt hoe modellen leren, redeneren en presteren, dankzij hoogwaardige input uit de praktijk. Eerdere ervaring met AI is niet vereist — uw domeinkennis is wat telt.
Werkzaamheden
- Ontwikkel analytische cases en koppel ze aan gedefinieerde taxonomieën binnen meerdere evaluatiegebieden, zodat relevante inlichtingenscenario's volledig worden gedekt.
- Schrijf complexe testcases om de prestaties van het model te evalueren op het gebied van bronnengebruik, analytische nauwkeurigheid en genuanceerde uitdrukking van onzekerheid.
- Beoordeel en geef cijfers aan door AI gegenereerde reacties op basis van criteria als redenering, bronnengebruik, erkenning van beperkingen en praktische bruikbaarheid.
- Signaleer en markeer gevallen waarin het model legitieme analytische verkenning overmatig weigert (over-refusal), met duidelijke documentatie en feedback.
- Documenteer randgevallen en analytische meningsverschillen, ter ondersteuning van de continue verbetering van evaluatiemethodologieën.
- Werk samen met projectleiders om procedures voor bronevaluatie en het toekennen van betrouwbaarheidsniveaus te verfijnen.
- Draag inzichten bij om analytische normen te kalibreren en de algehele kwaliteit van benchmarks voor AI-systemen te verbeteren.
Gewenste kwalificaties
- Aantoonbare all-source-analyse-ervaring of diepgaande expertise in een specifieke analytische discipline, bij voorkeur met een achtergrond bij civiele diensten binnen de Intelligence Community (IC).
- Sterke vaardigheid in bronevaluatie, beoordeling van betrouwbaarheidsniveaus en gevestigde analytische normen.
- Ervaring met lesgeven, begeleiden of leiden van analytische reviews, met een staat van dienst in het bevorderen van analytische nauwkeurigheid.
- Uitzonderlijke schriftelijke en mondelinge communicatievaardigheden, met nadruk op duidelijkheid en precisie.
- Het vermogen om genuanceerde modelbeperkingen en over-refusal-scenario's te signaleren en te verwoorden.
- Bekendheid met gestructureerde analytische technieken en normen voor inlichtingen-tradecraft.
- Eerdere deelname aan initiatieven voor AI-evaluatie of modelbeoordeling is een pluspunt.
Meer informatie over ons werk voor overheid en defensie
Bij micro1 werken we samen met experts uit de overheids- en defensiesector om te evalueren hoe geavanceerde AI-modellen presteren bij taken uit de praktijk.
Onze MissionReport-benchmark beoordeelt door AI gegenereerde militaire en overheidsrapporten en benadrukt het belang van deskundig oordeel, nauwkeurigheid en operationeel inzicht.
Meer informatie: https://www.micro1.ai/benchmark/mission-report