Over de functie
Over Turing
Turing is een van de snelstgroeiende AI-bedrijven ter wereld en versnelt de ontwikkeling en inzet van krachtige AI-systemen. Turing helpt toonaangevende AI-labs de redeneer-, probleemoplossende en besluitvormingsvaardigheden van grote taalmodellen (LLM's) te verbeteren door middel van hoogwaardige menselijke feedback, evaluatie en trainingsdata.
Overzicht van de functie
Wij zoeken ervaren Software Engineers om de codeervaardigheden van frontier-AI-modellen te helpen evalueren, benchmarken en verbeteren. In deze rol beoordeelt u door AI gegenereerde code, valideert u oplossingen aan de hand van software-engineeringtaken uit de praktijk, identificeert u problemen met juistheid en kwaliteit en draagt u bij aan de ontwikkeling van hoogwaardige evaluatiedatasets en benchmarks.
Deze functie is ideaal voor engineers die plezier hebben in code review, debugging, probleemoplossing en het toepassen van sterk software-engineeringoordeel op complexe technische scenario's. Uw werk draagt rechtstreeks bij aan het meten en verbeteren van de prestaties van geavanceerde AI-codeersystemen.
Hoe ziet uw dagelijkse werk eruit?
- Door AI gegenereerde code beoordelen en evalueren op juistheid, efficiëntie, onderhoudbaarheid en naleving van de eisen.
- Software-engineeringtaken analyseren en valideren of voorgestelde oplossingen de verwachte resultaten opleveren.
- Code debuggen, problemen reproduceren en oplossingen verifiëren in verschillende programmeeromgevingen.
- Door het model gegenereerde toelichtingen, redeneringen en implementatiebenaderingen beoordelen op technische nauwkeurigheid.
- Evaluatiedatasets, benchmarks en beoordelingsrubrics voor codeertaken maken, verfijnen en onderhouden.
- Randgevallen, faalmodi en gebieden identificeren waar AI-systemen moeite hebben met software-engineeringproblemen.
- Bevindingen duidelijk documenteren en gestructureerde feedback geven om de kwaliteit en consistentie van evaluaties te verbeteren.
- Samenwerken met projectteams om kwaliteitsnormen en evaluatiemethodologieën vast te stellen.
Vereisten
- Bachelor- of masterdiploma in informatica, software engineering of een verwant technisch vakgebied.
- 3+ jaar professionele ervaring in software engineering.
- Zeer goede beheersing van een of meer van de volgende talen: Python, Java, C/C++, Go, Swift, Objective-C, PHP of SQL.
- Sterk begrip van datastructuren, algoritmen, softwareontwerpprincipes en debuggingmethodologieën.
- Ervaring met het uitvoeren van code reviews en het evalueren van codekwaliteit in productie- of grootschalige codebases.
- Vermogen om complexe technische problemen te analyseren en de juistheid van oplossingen te beoordelen met minimaal toezicht.
- Vertrouwdheid met versiebeheersystemen (bijv. Git) en moderne softwareontwikkelworkflows.
- Sterke schriftelijke communicatieve vaardigheden en aandacht voor detail.
- Ervaring met AI/ML-data-annotatie, NLP, promptengineering, modelevaluatie of LLM-gerelateerde projecten is een pluspunt.
- Ervaring met het evalueren van door AI gegenereerde code, het maken van benchmarks of het beoordelen van softwarekwaliteit heeft sterk de voorkeur.
Voordelen van freelancen bij Turing
- Werken in een volledig remote omgeving.
- Mogelijkheid om te werken aan geavanceerde AI-projecten met toonaangevende LLM-bedrijven.
Details van het aanbod
- Vereiste inzet: Ten minste 4 uur per dag en minimaal 20 uur per week, met 4 uur overlap met PST.
- Type samenwerking : Opdracht als contractor (geen medisch/betaald verlof)
- Looptijd van het contract : 1 maand(en); [verwachte startdatum is volgende week]
- Locatie: alleen VS
Evaluatieproces
- Online geautomatiseerde codeeropdracht voor een Python- en Docker-test (RHLF)