Over de functie
Over Turing: Turing is gevestigd in San Francisco, Californië, en is 's werelds toonaangevende onderzoeksversneller voor frontier-AI-labs en een vertrouwde partner voor wereldwijde bedrijven die geavanceerde AI-systemen inzetten. Turing ondersteunt klanten op twee manieren: ten eerste door frontieronderzoek te versnellen met hoogwaardige data, geavanceerde trainingspipelines en topresearchers op het gebied van AI die gespecialiseerd zijn in coderen, redeneren, STEM, meertaligheid, multimodaliteit en agents; en ten tweede door die expertise toe te passen om bedrijven te helpen AI van proof of concept te transformeren naar propriëtaire intelligentie, met systemen die betrouwbaar presteren, meetbare impact opleveren en blijvende resultaten opleveren op de winst-en-verliesrekening.
Over de functie
Wij zoeken hooggekwalificeerde domeinexperts (SME's) ter ondersteuning van de evaluatie, het testen en de verbetering van geavanceerde grote taalmodellen (LLM's). U past uw vakinhoudelijke expertise toe om door AI gegenereerde antwoorden te beoordelen, kennislacunes te identificeren, uitdagende prompts te ontwerpen en de nauwkeurigheid, betrouwbaarheid en redenering van het model te verbeteren.
Belangrijkste verantwoordelijkheden
- Complexe, domeinspecifieke prompts maken om de mogelijkheden van LLM's te testen.
- Door AI gegenereerde antwoorden evalueren op feitelijke juistheid, redenering, relevantie en algehele kwaliteit.
- Feitelijke fouten, logische inconsistenties, kennislacunes en zwakke punten van het model identificeren.
- Uitdagende testcases en randgevallen ontwikkelen die de beperkingen van het model blootleggen.
- Duidelijke, gedetailleerde en op bewijs gebaseerde feedback geven om de prestaties van het model te verbeteren.
Minimale kwalificaties
- Masterdiploma of hoger in een relevant vakgebied.
- Minimaal drie jaar professionele, onderzoeks- of onderwijservaring.
- Uitstekende schriftelijke communicatievaardigheden in het Engels.
- Sterke analytische en kritische denkvaardigheden.
- Uitzonderlijk oog voor detail.
Gewenste kwalificaties
- Ervaring met het werken met LLM's of generatieve AI.
- Bekendheid met prompt engineering, AI-evaluatie of modeltesten.
- Ervaring met het ontwerpen van uitdagende prompts, het identificeren van randgevallen of het stresstesten van AI-modellen.
Ideale kandidaat
De ideale kandidaat is nieuwsgierig, nauwgezet en heeft diepgaande kennis van zijn of haar vakgebied. Hij of zij lost graag complexe problemen op, stelt aannames ter discussie en herkent subtiele feitelijke fouten of fouten in de redenering. Ervaring met het ontwerpen van prompts die de beperkingen van modellen blootleggen en de AI-prestaties verbeteren is een groot pluspunt.