Over de functie
Over Turing Turing is een van 's werelds snelstgroeiende AI-bedrijven en versnelt de ontwikkeling en implementatie van krachtige AI-systemen. Je staat aan de frontlinie van het evalueren van hoe LLM's omgaan met echte code en beïnvloedt de toekomst van AI-ondersteunde softwareontwikkeling. Dit is een unieke kans om praktische software-engineering te combineren met AI-onderzoek.
Over de rol:
We zoeken ervaren Software Engineers om een grensverleggend AI-trainings- en evaluatie-initiatief te ondersteunen dat gericht is op het verbeteren van de codeervaardigheden van AI-agenten. In deze rol beoordeel en vergelijk je door AI gegenereerde codeeroplossingen voor realistische software-engineeringtaken. Je analyseert volledige uitvoeringsworkflows van agenten, beoordeelt de correctheid, efficiëntie, veiligheid en algehele kwaliteit van code, en geeft gestructureerde beoordelingen en op bewijs gebaseerde feedback om AI-ondersteunde softwareontwikkeling te helpen verbeteren.
Hoe ziet een werkdag eruit:
- Je beoordeelt drie AI-codeeragenten die elk dezelfde echte ontwikkelaarsaanvraag kregen.
- Je leest de volledige run van elke agent: de commando's die deze uitvoerde, de bestanden die deze wijzigde, wat deze controleerde en het eindbericht.
- Daarna beoordeel je welke run het werk het beste heeft gedaan.
Voor elke taak
- Beoordeel je elke run op 10 kwaliteitsgebieden, zoals het volgen van instructies, of de code werkt, efficiëntie, veiligheid, eerlijkheid en communicatie.
- Geef je elke run een totaalscore van 1 tot 5 en rangschik je de drie.
- Schrijf je een korte onderbouwing waarin je je rangschikking uitlegt, met bewijs uit de runs.
Vereiste vaardigheden:
- Minimaal 3+ jaar totale ervaring
- Sterke ervaring met ten minste één van de volgende talen: Python, JavaScript/TypeScript, Java, Go, PHP of vergelijkbaar.
- Vaardigheid met Shell-commando's, Git, Docker en basisinstallatie van software-pipelines.
- Je voelt je comfortabel met het lokaal uitvoeren, aanpassen en testen van realistische projecten.
Beoordelings- en selectieproces
- Kandidaten moeten drie oefenevaluatietaken voltooien als onderdeel van het selectieproces.
- Elke beoordeling vereist kwaliteitsscores, totaalscores, vergelijkende rangschikkingen en schriftelijke onderbouwingen.
- Een beoordelaar beoordeelt elke taak op technische nauwkeurigheid, consistentie en kwaliteit van de redenering.
- Kandidaten worden pas onboarded nadat alle drie de oefentaken zijn goedgekeurd.
BELANGRIJK — STRIKT GEEN-AI-BELEID
- GEBRUIK GEEN CHATGPT OF ENIG ANDER AI-HULPMIDDEL OM JE EVALUATIEONDERBOUWINGEN, UITLEGGINGEN OF REDENEN TE SCHRIJVEN.
- ALLE ONDERBOUWINGEN EN REDENERINGEN MOETEN ONafhankelijk DOOR DE KANDIDAAT WORDEN GESCHREVEN.
- NALEVING WORDT GE CONTROLEERD. ELK GEBRUIK VAN DOOR AI GEGENEREERDE ONDERBOUWINGEN OF REDENEN LEIDT TOT AUTOMATISCHE AFWIJZING.
Voordelen van freelancen bij Turing
- Werk in een volledig remote omgeving.
- Kans om aan grensverleggende AI-projecten te werken met toonaangevende LLM-bedrijven.
Aanbodsdetails
- Vereiste inzet: Minimaal 8 uur per dag en 40 uur per week met overlap van 4 uur met PST.
- Type dienstverband: Opdracht als contractor (geen medische vergoeding/betaald verlof)
- Duur van het contract: 1 maand; [verwachte startdatum is volgende week]
- Betaalmodel: $25 per goedgekeurde taak
- Locatie: India, Pakistan, Nigeria, Kenia, Egypte, Ghana, Bangladesh, Turkije, Mexico, LA
Evaluatieproces (ongeveer 75 min):
- Beoordeling op basis van assessment