Informazioni sul ruolo
Informazioni su Turing:
Con sede a San Francisco, in California, Turing è il principale acceleratore di ricerca al mondo per i laboratori di IA di frontiera e un partner affidabile per le aziende globali che implementano sistemi di IA avanzati. Turing supporta i clienti in due modi: in primo luogo, accelerando la ricerca di frontiera con dati di alta qualità, pipeline di addestramento avanzate e i migliori ricercatori di IA specializzati in programmazione, ragionamento, STEM, multilinguismo, multimodalità e agenti; in secondo luogo, applicando tale competenza per aiutare le aziende a trasformare l'IA da proof of concept a intelligenza proprietaria, con sistemi che funzionano in modo affidabile, producono un impatto misurabile e generano risultati duraturi sul conto economico (P&L).
Panoramica del ruolo
Cerchiamo figure di Team Management altamente motivate per supportare la valutazione e il miglioramento di Large Language Model (LLM) all'avanguardia. In questo ruolo Lei analizzerà dati strutturati, creerà prompt impegnativi, valuterà le risposte generate dall'IA in termini di accuratezza fattuale e qualità del ragionamento e fornirà un feedback supportato da evidenze per migliorare le prestazioni dei modelli.
Cerchiamo professionisti curiosi e attenti ai dettagli, che amino risolvere problemi complessi e valutare sistemi di IA. Il candidato ideale sa analizzare i dati, pensare in modo critico, convalidare le risposte rispetto alle evidenze e spiegare chiaramente perché l'output di un modello è corretto o errato. Costituisce un forte vantaggio l'esperienza di lavoro con modelli di IA e nella creazione di prompt di valutazione impegnativi.
Responsabilità principali
- Creare prompt impegnativi che valutino la capacità di un LLM di recuperare, analizzare e ragionare su dati strutturati.
- Valutare le risposte generate dall'IA in termini di accuratezza fattuale, ragionamento logico e completezza.
- Individuare errori dei modelli, incoerenze, allucinazioni e lacune di ragionamento.
- Convalidare gli output dei modelli utilizzando i dataset forniti e le evidenze di supporto.
- Documentare i risultati con spiegazioni chiare e basate su evidenze.
- Seguire in modo costante le linee guida di annotazione e mantenere standard di alta qualità.
Qualifiche minime
- Laurea magistrale o titolo superiore in qualsiasi disciplina.
- Minimo 3 anni di esperienza professionale, di ricerca o di insegnamento.
- Solide capacità analitiche e di pensiero critico.
- Eccellenti capacità di comunicazione scritta in lingua inglese.
- Eccezionale attenzione ai dettagli e capacità di convalidare le informazioni rispetto ai dati di origine.
Qualifiche preferenziali
- Esperienza di lavoro con Large Language Model (LLM) o IA generativa.
- Familiarità con prompt engineering, valutazione dell'IA, annotazione dei dati o test dei modelli.
- Esperienza di lavoro con dataset strutturati (CSV, Excel, database, ecc.).
- Capacità di individuare casi limite e di progettare prompt che mettano in luce i limiti dei modelli.
Vantaggi
- Opportunità di lavorare a progetti di IA all'avanguardia.
- Retribuzione competitiva.
- Orari di lavoro flessibili e ambiente di lavoro da remoto.
Dettagli dell'offerta
- Impegno richiesto: 40, 30 o 20 ore a settimana con almeno 4 ore di sovrapposizione con il fuso PST
- Tipo di rapporto: incarico come collaboratore (nessuna copertura medica/ferie retribuite)
- Durata del contratto: 4 settimane
Processo di valutazione:
- Selezione preliminare in base alle qualifiche e ai punteggi della valutazione.