Informazioni sul ruolo
Titolo della posizione: Ingegnere del software senior – Valutazione degli LLM e convalida dei repository
Informazioni sui progetti: stiamo costruendo dataset di valutazione e di addestramento per gli LLM, per addestrarli a lavorare su problemi realistici di ingegneria del software. Uno dei nostri approcci, in questo progetto, consiste nel costruire task SWE verificabili basati sulle cronologie di repository pubblici con un approccio sintetico e con l'intervento umano (human-in-the-loop), ampliando al contempo la copertura del dataset a diversi tipi di task in termini di linguaggio di programmazione, livello di difficoltà, ecc.
Informazioni sul ruolo: Cerchiamo ingegneri del software esperti (livello tech lead) che abbiano familiarità con repository GitHub pubblici di alta qualità e che possano contribuire a questo progetto. Dovrebbe avere esperienza di lavoro con repository ben manutenuti e ampiamente utilizzati con 500+ stelle. Il ruolo prevede un lavoro pratico di ingegneria del software, tra cui l'automazione dell'ambiente di sviluppo, il triage delle issue e la valutazione della copertura e della qualità dei test
Perché unirsi a noi? Turing è una delle aziende di IA a più rapida crescita al mondo e accelera lo sviluppo e l'adozione di sistemi di IA potenti. Sarà in prima linea nella valutazione di come gli LLM interagiscono con il codice reale, influenzando il futuro dello sviluppo software assistito dall'IA. È un'opportunità unica per unire l'ingegneria del software pratica alla ricerca sull'IA.
Come si svolge la giornata tipo:
- Analizzare ed eseguire il triage delle issue di GitHub nelle librerie open source di tendenza.
- Impostare e configurare repository di codice, inclusa la dockerizzazione e la configurazione dell'ambiente.
- Valutare la copertura e la qualità degli unit test.
- Modificare ed eseguire localmente codebase per valutare le prestazioni degli LLM in scenari di correzione dei bug.
- Collaborare con i ricercatori per progettare e individuare repository e issue che siano impegnativi per gli LLM.
- Opportunità di guidare un team di ingegneri junior che collaborano ai progetti.
Competenze richieste:
- Solida esperienza con almeno uno dei seguenti linguaggi: Python, JavaScript, Java, Go, Rust, C/C++, C# o Ruby.
- Padronanza di Git, Docker e della configurazione di base delle pipeline software.
- Capacità di comprendere e orientarsi in codebase complesse.
- Capacità di eseguire, modificare e testare con disinvoltura progetti reali in locale.
- Costituisce un vantaggio l'esperienza di contributo a progetti open source o di valutazione degli stessi.
Requisiti graditi:
- Precedente partecipazione a progetti di ricerca o di valutazione sugli LLM.
- Esperienza nella creazione o nel test di strumenti per sviluppatori o di agenti di automazione.
Vantaggi della collaborazione freelance con Turing:
- Lavoro in un ambiente interamente da remoto.
- Opportunità di lavorare a progetti di IA all'avanguardia con le principali aziende di LLM.
Dettagli dell'offerta:
- Impegno richiesto: 20 ore a settimana con una certa sovrapposizione con il fuso orario PST
- Tipo di rapporto: incarico come contractor (senza copertura sanitaria né congedi retribuiti)
- Durata del contratto: 3 mesi con data di inizio prevista la prossima settimana