Over de functie
Over Turing: Turing is gevestigd in San Francisco, Californië, en is 's werelds toonaangevende onderzoeksversneller voor frontier-AI-labs en een vertrouwde partner voor wereldwijde bedrijven die geavanceerde AI-systemen inzetten. Turing ondersteunt klanten op twee manieren: ten eerste door frontieronderzoek te versnellen met hoogwaardige data, geavanceerde trainingspipelines en topresearchers op het gebied van AI die gespecialiseerd zijn in coderen, redeneren, STEM, meertaligheid, multimodaliteit en agents; en ten tweede door die expertise toe te passen om bedrijven te helpen AI van proof of concept te transformeren naar propriëtaire intelligentie, met systemen die betrouwbaar presteren, meetbare impact opleveren en blijvende resultaten opleveren op de winst-en-verliesrekening.
Functieoverzicht
Wij zoeken een analytische onderzoeker en red-teamingspecialist om op bewijs gebaseerde benchmarktaken voor webonderzoek te bouwen die zwaktes in state-of-the-art (SOTA) AI-modellen (bijv. Claude Opus 5 Max) betrouwbaar blootleggen. In deze functie ontdekt u moeilijk te vinden feiten, bouwt u daaromheen precieze onderzoekstaken, test u die rechtstreeks tegen toonaangevende LLM's en diagnosticeert u de exacte faalmechanismen in de zoek- en redeneerpaden van het model.
Uw werk geeft rechtstreeks vorm aan evaluatiekaders voor AI en zorgt ervoor dat frontiermodellen van de volgende generatie worden getest aan de hand van rigoureuze, niet-triviale onderzoeksscenario's uit de praktijk.
Functievereisten:
- Kernervaring: 1+ jaar in onderzoeksjournalistiek, factchecking, het schrijven van AI-benchmarktaken, red-teaming of technische QA-review.
- Bekendheid met benchmarks: aantoonbare ervaring met het schrijven, testen of beoordelen van taken voor AI-benchmarks zoals GAIA, BrowseComp, SimpleQA, SWE-bench, Terminal-Bench of Humanity’s Last Exam (HLE).
- Analytische vaardigheden en OSINT: gemiddelde tot gevorderde vaardigheden in webzoeken en Open Source Intelligence (OSINT); vermogen om te navigeren in academische archieven, lokale registers of obscure databases.
- Debuggen van modeltrajecten: sterk analytisch vermogen om redeneerketens van modellen, zoeklogs en bronselectie te inspecteren om de hoofdoorzaken van fouten te diagnosticeren.
- Precisie in schrijven: vermogen om duidelijke, ondubbelzinnige benchmarkprompts te schrijven met waterdichte antwoordsleutels op basis van primaire bronnen.
Verantwoordelijkheden:
- Ontdekken van obscure feiten: diepgaand onderzoek doen naar nichethema's om feitelijke ground truths te identificeren die niet met eenvoudige, directe zoekopdrachten te vinden zijn.
- Bronverificatie: feiten rigoureus verifiëren aan de hand van primaire of zeer geloofwaardige bronnen, controleren op tegenstrijdig bewijs en exacte bron-URL's documenteren.
- Taakopbouw: duidelijke, beantwoordbare benchmarktaken opstellen die specifiek zijn ontworpen om structurele zwaktes in onderzoeksstrategieën van modellen bloot te leggen.
- Red-teaming en modeltesten: taken uitvoeren tegen aangewezen SOTA-modellen om te bevestigen dat zij betrouwbaar de beoogde modelfouten veroorzaken.
- Foutdiagnose en debugging: runlogs van modellen, zoektrajecten en tussenliggende output nagaan om precies vast te stellen waar en waarom het model faalde (onderscheid maken tussen echte modelbeperkingen en dubbelzinnige prompts).
- Patronen opschalen en reviewen: gevalideerde "modelbrekende" onderzoekspatronen toepassen op nieuwe domeinen en, bij sterke presteerders, taken beoordelen die door collega-trainers zijn geschreven.
Sterk pluspunt (gewenste kwalificaties)
- Een bachelordiploma of hoger uit een relevant technisch vakgebied is een vereiste voor deze functie.
- Eerdere ervaring specifiek met het ontwerpen van prompt-injectie- of redeneervaltaken die SOTA-modellen breken.
- Geavanceerde OSINT-vaardigheden of gepubliceerd onderzoeksjournalistiek of academisch onderzoekswerk dat diepgaande bronverificatie aantoont.
- Nichedomeinexpertise op gebieden met moeilijk te vinden registers (bijv. dossiers van lokale overheden, regionale sportgeschiedenis, juridische archieven, historische octrooien).
- Ervaring als hoofdreviewer, benchmarkauditor of kwaliteitseigenaar bij AI-evaluatieprojecten.
Details van het aanbod:
- Vereiste inzet: tot 40 uur per week met 4 uur overlap met PST.
- Type samenwerking: contractor
- Duur van de samenwerking: tot 4 weken
Beoordelingsproces -
- Kandidaten moeten een interesseformulier voor de functie en een assessment indienen.
- Talenten die in het assessment worden gefinaliseerd, doorlopen assessment en review en gaan dienovereenkomstig verder.