Informazioni sul ruolo
Freelance · Da remoto · Nord America (solo)
Informazioni su Turing
Turing è una delle principali aziende di infrastrutture AGI al mondo e collabora con i laboratori di IA di frontiera per accelerare lo sviluppo dei modelli attraverso dati di addestramento di alta qualità, valutazioni e talenti ingegneristici.
Dettagli dell'incarico
-
Compenso: $100-$150/ora; si prega di indicare una specifica aspettativa di tariffa oraria
-
Disponibilità: 20-40 ore a settimana, con almeno 6 ore al giorno di sovrapposizione con il fuso orario del Pacifico
-
Tipo: collaboratore indipendente (contractor)
-
Durata: circa 3 mesi
-
Inizio: il prima possibile
-
Sede: Nord America (solo)
Informazioni sul ruolo
Cerchiamo ingegneri del software esperti e con un approccio pratico per contribuire a valutare e migliorare i modelli di IA per la programmazione.
Anziché occuparsi principalmente di creare applicazioni di produzione, lavorerà con agenti di programmazione su repository reali e valuterà la qualità del loro lavoro. Rivedrà il codice generato e il comportamento degli agenti, stabilirà se le soluzioni sono tecnicamente corrette, individuerà le modalità di errore e creerà i segnali di valutazione e il feedback utilizzati per migliorare le prestazioni dei modelli.
Consideri l'agente di programmazione come un altro ingegnere di cui sta rivedendo il lavoro: è in grado di comprendere il compito? Ha scelto l'approccio giusto? Il codice risultante è corretto, robusto e manutenibile? È in grado di spiegare con precisione dove ha avuto successo o dove ha fallito?
Cosa farà
-
Progettare, perfezionare e iterare rubriche e criteri di valutazione per i dati di preferenza
-
Rivedere ed etichettare i dati con uno standard di qualità elevato, individuando problemi sottili che altri potrebbero trascurare
-
Creare e mantenere pipeline e infrastrutture a supporto dei flussi di lavoro di generazione, raccolta e valutazione dei dati
-
Sintetizzare i risultati del lavoro sui dati in relazioni, aggiornamenti e raccomandazioni chiari per il team
-
Collaborare a stretto contatto con ricercatori e ingegneri per tradurre il giudizio qualitativo in processi scalabili
Cosa cerchiamo
-
5+ anni di esperienza pratica nell'ingegneria del software
-
Ottima padronanza di Python, TypeScript/JavaScript, Go o di un altro importante linguaggio di produzione
-
Esperienza di lavoro su codebase reali di notevoli dimensioni
-
Solide capacità di code review e giudizio tecnico
-
Capacità di spiegare chiaramente perché un'implementazione è corretta, errata o migliorabile
-
Ottime capacità di comunicazione scritta
-
Esperienza nell'uso di LLM moderni o strumenti di programmazione basati sull'IA
L'esperienza con la valutazione di LLM, agenti di programmazione, RLHF, dati di preferenza, progettazione di rubriche o post-training è un plus, ma non è obbligatoria.
Processo di valutazione
-
Colloquio con IA (~25 minuti)
-
Esercizio pratico di valutazione di codice/IA (~30 minuti)
-
Colloquio con il responsabile delle assunzioni (~20 minuti)
L'esercizio pratico si concentra sulla sua capacità di rivedere e valutare il codice generato dall'IA, non sulla programmazione competitiva né su rompicapi di algoritmi.