Informazioni sul ruolo
Informazioni su Turing: Con sede a San Francisco, in California, Turing è il principale acceleratore di ricerca al mondo per i laboratori di IA di frontiera e un partner affidabile per le aziende globali che implementano sistemi di IA avanzati. Turing supporta i clienti in due modi: in primo luogo, accelerando la ricerca di frontiera con dati di alta qualità, pipeline di addestramento avanzate e i migliori ricercatori di IA specializzati in programmazione, ragionamento, STEM, multilinguismo, multimodalità e agenti; in secondo luogo, applicando tale competenza per aiutare le aziende a trasformare l'IA da proof of concept a intelligenza proprietaria, con sistemi che funzionano in modo affidabile, producono un impatto misurabile e generano risultati duraturi sul conto economico (P&L).
Informazioni sul ruolo
Cerchiamo professionisti di Team Management altamente qualificati per supportare la valutazione, il test e il miglioramento continuo di Large Language Model (LLM) avanzati.
In questo ruolo Lei applicherà la Sua competenza in leadership di team, gestione delle persone, gestione delle prestazioni, pianificazione della forza lavoro ed esecuzione operativa per valutare le risposte generate dall'IA. Individuerà lacune di conoscenza, progetterà prompt impegnativi tratti dal mondo reale, valuterà il ragionamento dei modelli e contribuirà a migliorare l'accuratezza, l'affidabilità e l'utilità pratica dei sistemi di IA.
Responsabilità principali
- Creare prompt complessi e specifici del dominio per testare le capacità degli LLM.
- Valutare le risposte generate dall'IA in termini di accuratezza fattuale, ragionamento, pertinenza e qualità complessiva.
- Individuare errori fattuali, incoerenze logiche, lacune di conoscenza e punti deboli dei modelli.
- Sviluppare casi di test e casi limite impegnativi che mettano in luce i limiti dei modelli.
- Fornire un feedback chiaro, dettagliato e basato su evidenze per migliorare le prestazioni dei modelli.
Qualifiche minime
- Laurea magistrale o titolo superiore in un campo pertinente.
- Almeno tre anni di esperienza professionale, di ricerca o di insegnamento.
- Eccellenti capacità di comunicazione scritta in lingua inglese.
- Solide capacità analitiche e di pensiero critico.
- Eccezionale attenzione ai dettagli.
Qualifiche preferenziali
- Esperienza di lavoro con LLM o IA generativa.
- Familiarità con prompt engineering, valutazione dell'IA o test dei modelli.
- Esperienza nella progettazione di prompt impegnativi, nell'individuazione di casi limite o nello stress test di modelli di IA.
Candidato ideale
Il candidato ideale è curioso, attento ai dettagli e profondamente competente nel proprio campo. Gli piace risolvere problemi complessi, mettere in discussione le ipotesi e individuare errori sottili di fatto o di ragionamento. L'esperienza nella progettazione di prompt che portano alla luce i limiti dei modelli e migliorano le prestazioni dell'IA costituirà un forte vantaggio.