Sviluppatore Python senior

Informazioni su Turing:

Turing è una delle aziende di IA a più rapida crescita al mondo e accelera lo sviluppo e l'adozione di sistemi di IA potenti.

Turing aiuta i clienti in due modi: collaborando con i principali laboratori di IA del mondo per far progredire le capacità dei modelli di frontiera nel pensiero, nel ragionamento, nella programmazione, nel comportamento agentico, nella multimodalità, nel multilinguismo, nelle discipline STEM e nella conoscenza di frontiera; e sfruttando tale lavoro per costruire sistemi di IA reali che risolvano priorità critiche per le aziende.

Panoramica del ruolo:

Questa posizione fa parte di un progetto con una delle aziende che sviluppano LLM di base (foundational). L'obiettivo è assistere queste aziende nel migliorare i loro Large Language Model.

Uno dei modi in cui aiutiamo queste aziende a migliorare i propri modelli è fornire loro dati proprietari di alta qualità. Questi dati hanno due scopi principali: in primo luogo, come base per il fine-tuning dei loro modelli e, in secondo luogo, come set di valutazione per misurare le prestazioni dei loro modelli o di quelli dei concorrenti.

Ad esempio, per la generazione di dati SFT, potrebbe dover assemblare o ricevere un prompt che contiene codice e domande forniti; fornirà quindi le risposte del modello e scriverà il codice Python corrispondente per risolvere le domande.

Per la generazione di dati RLHF, potrebbe dover creare autonomamente un prompt oppure utilizzarne uno fornito dal cliente, porre domande al modello e valutare gli output generati da due versioni dell'LLM. Confronterà tali output e fornirà un feedback, che verrà poi utilizzato per il fine-tuning dei modelli. Si noti che questo ruolo non prevede la costruzione né il fine-tuning di LLM.

Come si svolge la giornata tipo:

• Progettare, sviluppare e mantenere codice Python efficiente e di alta qualità per addestrare e ottimizzare i modelli di IA.
• Condurre valutazioni (Evals) per misurare le prestazioni dei modelli e analizzare i risultati ai fini del miglioramento continuo.
• Familiarità con i framework e le librerie Python
• Valutare e classificare le risposte dei modelli di IA alle query degli utenti in domini diversi, garantendo l'allineamento ai criteri predefiniti.
• Elaborare spiegazioni e motivazioni complete per le valutazioni, dimostrando ottime capacità di ragionamento e competenza tecnica.
• Guidare le attività di Supervised Fine-Tuning (SFT), inclusa la creazione e la manutenzione di dataset di alta qualità specifici per i task.
• Collaborare con ricercatori e annotatori per eseguire il Reinforcement Learning with Human Feedback (RLHF) e perfezionare i modelli di ricompensa.
• Progettare strategie e processi di valutazione innovativi per migliorare l'allineamento del modello alle esigenze degli utenti e alle linee guida etiche.
• Creare e perfezionare risposte ottimali per migliorare le prestazioni dell'IA, privilegiando chiarezza, pertinenza e accuratezza tecnica.
• Condurre revisioni tra pari approfondite del codice e della documentazione, fornendo feedback costruttivi e individuando le aree di miglioramento.
• Collaborare con team interfunzionali per migliorare le prestazioni dei modelli e contribuire ai miglioramenti del prodotto.
• Esplorare e integrare continuamente nuovi strumenti, tecniche e metodologie per migliorare i processi di addestramento dell'IA.

Requisiti:

• 3+ anni di solida esperienza con il linguaggio di programmazione Python.
• Esperienza in ambito industriale e conoscenza della qualità del codice, della formattazione e delle best practice di sviluppo software
• Esperienza con l'ecosistema di test di Python, inclusi test unitari, di integrazione e basati su proprietà (property-based).
• Conoscenza del multi-threading e della programmazione asincrona in Python.
• Capacità di lavorare con pattern architetturali e di rifattorizzare il codice senza introdurre regressioni.
• Solide capacità di debugging, inclusa la risoluzione di problemi di memoria e di concorrenza.
• Ottima padronanza della comunicazione in inglese, sia parlato sia scritto

Vantaggi della collaborazione freelance con Turing:

• Lavoro in un ambiente interamente da remoto.
• Opportunità di lavorare a progetti di IA all'avanguardia con le principali aziende di LLM.

Dettagli dell'offerta:

• Impegno richiesto: almeno 4 ore al giorno e minimo 20 ore a settimana, con 4 ore di sovrapposizione con il fuso orario PST. (Disponiamo di 3 opzioni di impegno orario: 20 ore/settimana, 30 ore/settimana o 40 ore/settimana)
• Tipo di rapporto: incarico come contractor (senza copertura sanitaria né congedi retribuiti)
• Durata del contratto: 1 mese; [la data di inizio prevista è la prossima settimana]

Processo di valutazione (circa 75 minuti):

• Due round di colloqui (60 min tecnico + 15 min culturale e discussione dell'offerta)