Over de functie
Over Turing:
Turing is gevestigd in San Francisco, Californië, en is 's werelds toonaangevende onderzoeksversneller voor frontier-AI-labs en een vertrouwde partner voor wereldwijde bedrijven die geavanceerde AI-systemen inzetten. Turing ondersteunt klanten op twee manieren: ten eerste door frontieronderzoek te versnellen met hoogwaardige data, geavanceerde trainingspipelines en topresearchers op het gebied van AI die gespecialiseerd zijn in coderen, redeneren, STEM, meertaligheid, multimodaliteit en agents; en ten tweede door die expertise toe te passen om bedrijven te helpen AI van proof of concept te transformeren naar propriëtaire intelligentie, met systemen die betrouwbaar presteren, meetbare impact opleveren en blijvende resultaten opleveren op de winst-en-verliesrekening.
Functieoverzicht
Wij zoeken zeer gemotiveerd Teammanagement ter ondersteuning van de evaluatie en verbetering van geavanceerde grote taalmodellen (LLM's). In deze functie analyseert u gestructureerde data, maakt u uitdagende prompts, evalueert u door AI gegenereerde antwoorden op feitelijke juistheid en kwaliteit van redenering en geeft u onderbouwde feedback om de prestaties van het model te verbeteren.
Wij zoeken nieuwsgierige, nauwgezette professionals die graag complexe problemen oplossen en AI-systemen evalueren. De ideale kandidaat kan data analyseren, kritisch denken, antwoorden toetsen aan bewijs en duidelijk verwoorden waarom de output van een model juist of onjuist is. Ervaring met het werken met AI-modellen en het maken van uitdagende evaluatieprompts is een groot pluspunt.
Belangrijkste verantwoordelijkheden
- Uitdagende prompts maken die het vermogen van een LLM beoordelen om gestructureerde data op te halen, te analyseren en erover te redeneren.
- Door AI gegenereerde antwoorden beoordelen op feitelijke juistheid, logische redenering en volledigheid.
- Modelfouten, inconsistenties, hallucinaties en hiaten in de redenering identificeren.
- Modeloutput valideren aan de hand van de verstrekte datasets en onderbouwend bewijs.
- Bevindingen documenteren met duidelijke, op bewijs gebaseerde toelichtingen.
- Annotatierichtlijnen consequent volgen en hoge kwaliteitsnormen handhaven.
Minimale kwalificaties
- Masterdiploma of hoger in een willekeurige discipline.
- Minimaal 3 jaar professionele, onderzoeks- of onderwijservaring.
- Sterke analytische en kritische denkvaardigheden.
- Uitstekende schriftelijke communicatievaardigheden in het Engels.
- Uitzonderlijk oog voor detail en het vermogen om informatie te toetsen aan brongegevens.
Gewenste kwalificaties
- Ervaring met het werken met grote taalmodellen (LLM's) of generatieve AI.
- Bekendheid met prompt engineering, AI-evaluatie, data-annotatie of modeltesten.
- Ervaring met het werken met gestructureerde datasets (CSV, Excel, databases, enz.).
- Vermogen om randgevallen te identificeren en prompts te ontwerpen die de beperkingen van modellen blootleggen.
Voordelen
- Mogelijkheid om aan baanbrekende AI-projecten te werken.
- Concurrerende beloning.
- Flexibele werktijden en een remote werkomgeving.
Details van het aanbod
- Vereiste inzet: 40, 30 of 20 uur per week met ten minste 4 uur overlap met PST
- Type dienstverband: opdracht als contractor (geen ziekteverlof of betaald verlof)
- Duur van het contract: 4 weken
Beoordelingsproces:
- Shortlisting op basis van kwalificaties en assessmentscores.