Informazioni sul ruolo
Informazioni su Turing: Con sede a San Francisco, in California, Turing è il principale acceleratore di ricerca al mondo per i laboratori di IA di frontiera e un partner affidabile per le aziende globali che implementano sistemi di IA avanzati. Turing supporta i clienti in due modi: in primo luogo, accelerando la ricerca di frontiera con dati di alta qualità, pipeline di addestramento avanzate e i migliori ricercatori di IA specializzati in programmazione, ragionamento, STEM, multilinguismo, multimodalità e agenti; in secondo luogo, applicando tale competenza per aiutare le aziende a trasformare l'IA da proof of concept a intelligenza proprietaria, con sistemi che funzionano in modo affidabile, producono un impatto misurabile e generano risultati duraturi sul conto economico (P&L).
Panoramica del ruolo
Cerchiamo un ricercatore analitico e specialista di red teaming per costruire task di benchmark di ricerca web basati su evidenze, che mettano in luce in modo affidabile i punti deboli dei modelli di IA allo stato dell'arte (SOTA) (ad es. Claude Opus 5 Max). In questo ruolo Lei individuerà fatti difficili da far emergere, costruirà attorno ad essi task di ricerca precisi, li testerà direttamente sui principali LLM e diagnosticherà gli esatti meccanismi di errore nei percorsi di ricerca e di ragionamento del modello.
Il Suo lavoro darà direttamente forma ai framework di valutazione dell'IA, garantendo che i modelli di frontiera di prossima generazione siano testati su scenari di ricerca reali rigorosi e non banali.
Requisiti:
- Esperienza principale: 1+ anni in ricerca investigativa, fact-checking, redazione di task per benchmark di IA, red teaming o revisione di QA tecnico.
- Familiarità con i benchmark: comprovata esperienza nella redazione, nel test o nella revisione di task per benchmark di IA come GAIA, BrowseComp, SimpleQA, SWE-bench, Terminal-Bench o Humanity’s Last Exam (HLE).
- Competenze analitiche e OSINT: competenze da intermedie ad avanzate di ricerca web e di Open Source Intelligence (OSINT); capacità di orientarsi in archivi accademici, registri locali o database poco noti.
- Debug delle traiettorie del modello: solida capacità analitica di ispezionare le catene di ragionamento del modello, i log di ricerca e la selezione delle fonti per diagnosticare le cause profonde dell'errore.
- Scrittura di precisione: capacità di redigere prompt di benchmark chiari e privi di ambiguità, con chiavi di risposta a prova di errore basate su fonti primarie.
Responsabilità:
- Individuazione di fatti poco noti: ricercare in profondità argomenti di nicchia per individuare verità fattuali di riferimento (ground truth) che non possono emergere con semplici query di ricerca dirette.
- Verifica delle fonti: verificare rigorosamente i fatti rispetto a fonti primarie o altamente attendibili, controllare incrociando eventuali evidenze contrastanti e documentare gli URL esatti delle fonti.
- Costruzione dei task: redigere task di benchmark chiari e risolvibili, progettati specificamente per mettere in luce i punti deboli strutturali nelle strategie di ricerca dei modelli.
- Red teaming e test dei modelli: eseguire i task sui modelli SOTA designati per confermare che inneschino in modo affidabile i fallimenti previsti dei modelli.
- Diagnosi e debug dei fallimenti: tracciare i log di esecuzione del modello, le traiettorie di ricerca e gli output intermedi per individuare con precisione dove e perché il modello ha fallito (distinguendo i genuini limiti del modello dai prompt ambigui).
- Estensione dei pattern e revisione: applicare i pattern di ricerca "che mettono in crisi i modelli" già convalidati a nuovi domini e, per chi ottiene risultati solidi, rivedere i task redatti da altri trainer.
Titoli preferenziali (qualifiche preferenziali)
- La laurea triennale o superiore in un ambito ingegneristico pertinente è indispensabile per questa posizione.
- Precedente esperienza specifica nella progettazione di task di prompt injection o di trappole di ragionamento che mettono in crisi i modelli SOTA.
- Capacità OSINT avanzate o ricerche investigative/accademiche pubblicate che dimostrino una verifica approfondita delle fonti.
- Competenza di nicchia in ambiti ricchi di documenti difficili da trovare (ad es. atti di amministrazioni locali, storia dello sport regionale, archivi legali, brevetti storici).
- Esperienza come revisore capo, auditor di benchmark o responsabile della qualità in progetti di valutazione dell'IA.
Dettagli dell'offerta:
- Impegno richiesto: fino a 40 ore a settimana con 4 ore di sovrapposizione con il fuso PST.
- Tipo di rapporto: collaboratore
- Durata dell'incarico: fino a 4 settimane
Processo di valutazione -
- I candidati dovranno compilare un modulo di interesse per la posizione e sostenere una valutazione.
- I talenti scelti in esito alla valutazione affronteranno la valutazione e la revisione e proseguiranno di conseguenza.