Over de functie
Freelance · Remote · Noord-Amerika (alleen)
Over Turing
Turing is een van 's werelds toonaangevende AGI-infrastructuurbedrijven en werkt samen met frontier-AI-labs om modelontwikkeling te versnellen via hoogwaardige trainingsdata, evaluaties en engineeringtalent.
Details van de samenwerking
-
Vergoeding: $100-$150/uur, geef een specifieke verwachting voor het uurtarief aan
-
Beschikbaarheid: 20-40 uur per week, met minimaal 6 uur overlap met Pacific Time per dag
-
Type: zelfstandige opdrachtnemer
-
Duur: ongeveer 3 maanden
-
Start: zo snel mogelijk
-
Locatie: Noord-Amerika (alleen)
Over de functie
We zoeken ervaren, praktijkgerichte software-engineers om AI-codeermodellen te helpen evalueren en verbeteren.
In plaats van voornamelijk productietoepassingen te bouwen, werkt u met codeeragents in echte repositories en beoordeelt u de kwaliteit van hun werk. U beoordeelt gegenereerde code en agentgedrag, bepaalt of oplossingen technisch correct zijn, identificeert faalwijzen en creëert de evaluatiesignalen en feedback waarmee de prestaties van het model worden verbeterd.
Zie de codeeragent als een andere engineer wiens werk u beoordeelt: Begrijpt hij de taak? Heeft hij de juiste aanpak gekozen? Is de resulterende code correct, robuust en onderhoudbaar? Kunt u precies uitleggen waar hij slaagde of faalde?
Wat u gaat doen
-
Rubrics en evaluatiecriteria voor voorkeursdata ontwerpen, verfijnen en itereren
-
Data beoordelen en labelen met een hoge kwaliteitsdrempel, en subtiele problemen opmerken die anderen kunnen missen
-
Pipelines en infrastructuur bouwen en onderhouden die datageneratie-, dataverzamelings- en evaluatieworkflows ondersteunen
-
Bevindingen uit het datawerk samenvatten in heldere verslagen, updates en aanbevelingen voor het team
-
Nauw samenwerken met onderzoekers en engineers om kwalitatief oordeel om te zetten in schaalbare processen
Wat we zoeken
-
5+ jaar praktijkervaring in software engineering
-
Sterke beheersing van Python, TypeScript/JavaScript, Go of een andere belangrijke productietaal
-
Ervaring met het werken in omvangrijke codebases uit de praktijk
-
Sterke vaardigheden in codereview en technisch oordeelsvermogen
-
Het vermogen om duidelijk uit te leggen waarom een implementatie correct, incorrect of voor verbetering vatbaar is
-
Sterke schriftelijke communicatie
-
Ervaring met het gebruik van moderne LLM's of AI-codeertools
Ervaring met LLM-evaluatie, codeeragents, RLHF, voorkeursdata, rubricontwerp of post-training is een pluspunt, maar niet vereist.
Evaluatieproces
-
AI-interview (~25 minuten)
-
Praktische code-/AI-evaluatieoefening (~30 minuten)
-
Interview met de hiring manager (~20 minuten)
De praktische oefening richt zich op uw vermogen om door AI gegenereerde code te beoordelen en te evalueren, niet op competitief programmeren of algoritmepuzzels.