Over de functie
Over ons Turing is gevestigd in San Francisco, Californië, en is 's werelds toonaangevende onderzoeksversneller voor frontier AI-labs en een vertrouwde partner voor wereldwijde ondernemingen die geavanceerde AI-systemen implementeren. Turing ondersteunt klanten op twee manieren: ten eerste door grensverleggend onderzoek te versnellen met hoogwaardige data, geavanceerde trainingspipelines en top AI-onderzoekers die gespecialiseerd zijn in software-engineering, logisch redeneren, STEM, meertaligheid, multimodaliteit en agents; en ten tweede door die expertise toe te passen om ondernemingen te helpen AI te transformeren van proof of concept naar eigen intelligentie met systemen die betrouwbaar presteren, meetbare impact leveren en blijvende resultaten boeken op de P&L.
Projectoverzicht We zoeken onderzoekers en technische experts van hoog kaliber. Het kern doel van deze rol is het verbeteren van de redeneer- en probleemoplossingscapaciteiten van een target frontier-model door uitdagende benchmarktaken te ontwerpen, valideren en analyseren.
Wat de rol inhoudt:
- Taakontwerp en -ontwikkeling: Ontwerp uitdagende, realistische problemen die als basis dienen voor een model. Problemen moeten worden opgebouwd om specifieke core capability loss-fouten te targeten die in een toonaangevend model zijn geïdentificeerd.
- Contentgeneratie: Integreer de problemen in een Agentic-ontwikkelomgeving en bereid alle benodigde componenten voor met Python, waaronder:
- Gedetailleerde instructies en een overzicht van de vereiste taak.
- Een Golden solution die de instructies volgt.
- De benodigde Environment, inclusief datasets, Python-libraries en metadata.
- Een Test-notebook met unit tests waaraan solutions moeten voldoen.
- Evaluatie en analyse: Evalueer de prestaties van het cross model op de taken.
- Headroom-identificatie: Identificeer taken waarbij het target model niet alle tests haalt, en classificeer de fout specifiek als een logische-redeneerfout.
- Loss-extractie: Analyseer de stappen van de agent (Agent Trajectory) om core capability loss-patronen van het model te observeren en te extraheren.
Vereiste vaardigheden
- Zeer vaardige GitHub-contribuanten.
- Sollicitanten moeten sterke expertise hebben in data science, ML, coderen of een diepe kwantitatieve achtergrond in frontier STEM.
- In staat om betrouwbaar 30+ uur per week beschikbaar te zijn (op weekdagen).
Evaluatieproces
- Het sollicitatieproces duurt ~15 minuten.
- Het afronden van een AI-video-interview is vereist.