Over de functie
Over Turing
Turing is een van de snelstgroeiende AI-bedrijven ter wereld en versnelt de ontwikkeling en inzet van krachtige AI-systemen. Turing helpt toonaangevende AI-labs de redeneer-, probleemoplossende en besluitvormingsvaardigheden van grote taalmodellen (LLM's) te verbeteren door middel van hoogwaardige menselijke feedback, evaluatie en trainingsdata.
Overzicht van de functie
Wij zoeken experts in redeneren bij bordspellen om te helpen bij het trainen en evalueren van AI-modellen van de volgende generatie. In deze rol zet u uw expertise op het gebied van bordspellen, spelmechanismen, strategisch redeneren, kansrekening en complexe regelsystemen in om hoogwaardige datasets te creëren, te beoordelen en te evalueren die de prestaties van AI verbeteren.
U werkt aan uitdagende taken met spellogica, besluitvorming, strategische planning, regelinterpretatie en scenario-analyse en helpt frontier-AI-systemen sterkere redeneervaardigheden te ontwikkelen.
Hoe ziet uw dagelijkse werk eruit?
- Op spellen gebaseerde redeneertaken maken en beoordelen die zijn ontworpen om AI-systemen te evalueren.
- Bordspelscenario's, strategische beslisbomen en regelgebaseerde systemen analyseren.
- Door AI gegenereerde antwoorden evalueren op juistheid, consistentie en kwaliteit van de redenering.
- Prompts, beoordelingsrubrics en evaluatierichtlijnen ontwikkelen voor taken rond bordspellen en strategie.
- Logische fouten, regelovertredingen en gebrekkige redeneringen in AI-output identificeren.
- Bijdragen aan het creëren van benchmarks en aan kwaliteitsborgingsprocessen voor AI-evaluatieprojecten.
- Samenwerken met projectteams om de kwaliteit van datasets en evaluatiemethodologieën te verbeteren.
Vereisten
Vereiste kwalificaties
- Bachelordiploma in informatica, wiskunde, cognitiewetenschappen, spelontwerp, filosofie, economie of een verwant analytisch vakgebied.
- 2+ jaar professionele of semiprofessionele ervaring in bordspelontwerp, playtesting, communities voor tafelspellen of verwante op strategie gerichte omgevingen.
- Sterk begrip van logica, probabilistisch redeneren, spelmechanismen en complexe regelsystemen.
- Achtergrond in speltheorie, gedragseconomie, beslissingswetenschap of formele logica.
- Vertrouwdheid met moderne bordspellen, verzamelkaartspellen (TCG's), tabletop-rollenspellen, strategiespellen of competitieve spelsystemen.
- Sterke analytische en probleemoplossende vaardigheden.
- Uitstekende schriftelijke communicatieve vaardigheden.
Gewenste kwalificaties
- Eerdere ervaring met data-annotatie, AI-training, promptengineering, QA, spelontwerp, puzzelontwerp of analyse van regelgebaseerde systemen.
- Ervaring met het maken van beoordelingsrubrics, benchmarkdatasets of kwaliteitsborgingskaders.
- Ervaring met Python, SQL of data-analysetools.
- Ervaring met RLHF-, modelevaluatie-, synthetische datageneratie- of LLM-benchmarkingprojecten.
- Vertrouwdheid met recent uitgebrachte strategie- of tafelspellen en het vermogen om snel nieuwe regelsystemen te leren.
Voordelen van freelancen bij Turing
- Werken in een volledig remote omgeving.
- Mogelijkheid om te werken aan geavanceerde AI-projecten met toonaangevende LLM-bedrijven.
Details van het aanbod
- Vereiste inzet: Ten minste 4 uur per dag en minimaal 20 uur per week, met 4 uur overlap met PST.
- Type samenwerking : Opdracht als contractor (geen medisch/betaald verlof)
- Looptijd van het contract : 2 maanden; [verwachte startdatum is volgende week]
Evaluatieproces
- Take-home-assessment