Informazioni sul ruolo
Informazioni su Turing
Turing è una delle aziende di AI a più rapida crescita al mondo e accelera lo sviluppo e l'implementazione di sistemi di AI potenti. Turing aiuta i principali laboratori di AI a migliorare le capacità di ragionamento, di problem solving e di processo decisionale dei large language model (LLM) attraverso feedback umani, valutazioni e dati di addestramento di alta qualità.
Panoramica del ruolo
Cerchiamo ingegneri del software esperti che contribuiscano a valutare, misurare con benchmark e migliorare le capacità di programmazione dei modelli di AI di frontiera. In questo ruolo valuterà il codice generato dall'AI, convaliderà le soluzioni rispetto a compiti reali di ingegneria del software, individuerà problemi di correttezza e di qualità e contribuirà allo sviluppo di dataset e benchmark di valutazione di alta qualità.
Questa posizione è ideale per gli ingegneri che amano la revisione del codice, il debugging, il problem solving e l'applicazione di un solido giudizio ingegneristico a scenari tecnici complessi. Il Suo lavoro contribuirà direttamente a misurare e migliorare le prestazioni dei sistemi avanzati di coding basati su AI.
Com'è una giornata tipo?
- Rivedere e valutare il codice generato dall'AI in termini di correttezza, efficienza, manutenibilità e aderenza ai requisiti.
- Analizzare compiti di ingegneria del software e verificare se le soluzioni proposte soddisfano i risultati attesi.
- Eseguire il debug del codice, riprodurre i problemi e verificare le correzioni in diversi ambienti di programmazione.
- Valutare l'accuratezza tecnica delle spiegazioni, dei ragionamenti e degli approcci implementativi generati dal modello.
- Creare, perfezionare e mantenere dataset di valutazione, benchmark e rubric di valutazione per compiti di coding.
- Individuare casi limite, modalità di errore e aree in cui i sistemi di AI hanno difficoltà con i problemi di ingegneria del software.
- Documentare chiaramente i risultati e fornire feedback strutturati per migliorare la qualità e la coerenza delle valutazioni.
- Collaborare con i team di progetto per stabilire standard di qualità e metodologie di valutazione.
Requisiti
- Laurea triennale o magistrale in Informatica, Ingegneria del software o in un campo tecnico affine.
- 3+ anni di esperienza professionale nell'ingegneria del software.
- Ottima padronanza di uno o più dei seguenti linguaggi: Python, Java, C/C++, Go, Swift, Objective-C, PHP o SQL.
- Solida comprensione di strutture dati, algoritmi, principi di progettazione del software e metodologie di debugging.
- Esperienza nell'esecuzione di revisioni del codice e nella valutazione della qualità del codice in codebase di produzione o su larga scala.
- Capacità di analizzare problemi tecnici complessi e di valutare la correttezza delle soluzioni con una supervisione minima.
- Familiarità con i sistemi di controllo di versione (ad es. Git) e con i moderni flussi di lavoro di sviluppo software.
- Solide capacità di comunicazione scritta e attenzione ai dettagli.
- Costituisce un vantaggio l'esperienza con annotazione di dati AI/ML, NLP, prompt engineering, valutazione di modelli o progetti legati agli LLM.
- È fortemente preferita l'esperienza nella valutazione del codice generato dall'AI, nella creazione di benchmark o nella valutazione della qualità del software.
Vantaggi di lavorare come freelance con Turing
- Lavorare in un ambiente completamente remoto.
- Opportunità di lavorare su progetti di AI all'avanguardia con le principali aziende di LLM.
Dettagli dell'offerta
- Impegno richiesto: almeno 4 ore al giorno e minimo 20 ore a settimana, con 4 ore di sovrapposizione con il fuso PST.
- Tipo di rapporto: Incarico come contractor (senza congedo per malattia né permessi retribuiti)
- Durata del contratto: 1 mese; [la data di inizio prevista è la prossima settimana]
- Sede: solo Stati Uniti
Processo di valutazione
- Sfida di coding automatizzata online per Python e test su Docker (RHLF)