Over de functie
Over Turing Turing is een van de snelst groeiende AI-bedrijven ter wereld en versnelt de vooruitgang en implementatie van krachtige AI-systemen. Je staat aan de frontlinie van het evalueren van hoe LLM's met echte code omgaan, en beïnvloedt de toekomst van AI-ondersteunde softwareontwikkeling. Dit is een unieke kans om praktische software-engineering te combineren met AI-onderzoek.
Over de rol:
We zoeken ervaren software-engineers om een initiatief voor geavanceerde AI-training en -evaluatie te ondersteunen, gericht op het verbeteren van de codeervaardigheden van AI-agenten. In deze rol beoordeel en vergelijk je door AI gegenereerde codeeroplossingen voor praktijkgerichte software-engineeringtaken. Je analyseert volledige uitvoeringsworkflows van agenten, evalueert de correctheid, efficiëntie, veiligheid en algehele kwaliteit van code, en geeft gestructureerde beoordelingen en op bewijs gebaseerde feedback om AI-ondersteunde softwareontwikkeling te helpen verbeteren.
Hoe ziet je dag eruit:
- Je beoordeelt drie AI-codeeragenten die elk dezelfde echte ontwikkelaarsaanvraag kregen.
- Je leest de volledige run van elke agent: de commando's die deze uitvoerde, de bestanden die deze wijzigde, wat deze controleerde en het eindbericht.
- Vervolgens beoordeel je welke run het werk het beste deed.
Voor elke taak
- Beoordeel je elke run op 10 kwaliteitsgebieden, zoals het volgen van instructies, of de code werkt, efficiëntie, veiligheid, eerlijkheid en communicatie.
- Geef je elke run een totaalscore van 1 tot 5 en rangschik je de drie.
- Schrijf je een korte onderbouwing waarin je je rangschikking uitlegt, met bewijs uit de runs.
Vereiste vaardigheden:
- Minimaal 3+ jaar totale ervaring
- Sterke ervaring met ten minste een van de volgende talen: Python, JavaScript/TypeScript, Java, Go, PHP of vergelijkbaar.
- Vaardigheid met shell-commando's, Git, Docker en basisopzet van software-pipelines.
- Je voelt je comfortabel bij het lokaal draaien, aanpassen en testen van praktijkprojecten.
Beoordelings- en selectieproces
- Kandidaten moeten drie oefenevaluatietaken voltooien als onderdeel van het selectieproces.
- Elke beoordeling vereist kwaliteitsscores, totaalscores, vergelijkende rangschikkingen en schriftelijke onderbouwingen.
- Een reviewer beoordeelt elke taak op technische nauwkeurigheid, consistentie en kwaliteit van redenering.
- Kandidaten worden pas onboarded nadat alle drie oefentaken zijn goedgekeurd.
BELANGRIJK — STRIKT GEEN-AI-BELEID
- GEBRUIK GEEN CHATGPT OF ENIG ANDER AI-HULPMIDDEL OM JE EVALUATIEONDERBOUWINGEN, UITLEGGINGEN OF REDENEN TE SCHRIJVEN.
- ALLE ONDERBOUWINGEN EN REDENERINGEN MOETEN ONafhankelijk DOOR DE KANDIDAAT WORDEN GESCHREVEN.
- NALEVING WORDT GEcontroleerd. ELK GEBRUIK VAN DOOR AI GEGENEREERDE ONDERBOUWINGEN OF REDENEN LEIDT TOT AUTOMATISCHE AFWIJZING.
Voordelen van freelancewerken met Turing
- Werk in een volledig remote omgeving.
- Mogelijkheid om aan geavanceerde AI-projecten te werken met toonaangevende LLM-bedrijven.
Aanboddetails
- Vereiste inzet: Minimaal 8 uur per dag en 40 uur per week met een overlap van 4 uur met PST.
- Dienstverband: Opdrachtnemerschap (geen medische/ betaalde verlof)
- Duur van contract: 1 maand; [verwachte startdatum is volgende week]
- Betalingsmodel: $25 per goedgekeurde taak
- Locatie: India, Pakistan, Nigeria, Kenia, Egypte, Ghana, Bangladesh, Turkije, Mexico, LA
Evaluatieproces (ongeveer 75 min) :
- Beoordeling op basis van assessment