Informazioni sul ruolo
Chi siamo Con sede a San Francisco, California, Turing è il principale acceleratore di ricerca al mondo per i laboratori di AI all'avanguardia e un partner affidabile per le imprese globali che implementano sistemi di AI avanzati. Turing supporta i clienti in due modi: in primo luogo, accelerando la ricerca all'avanguardia con dati di alta qualità, pipeline di addestramento avanzate e ricercatori AI di primo livello specializzati in ingegneria del software, ragionamento logico, STEM, multilingua, multimodalità e agenti; in secondo luogo, applicando tale competenza per aiutare le imprese a trasformare l'AI da proof of concept in intelligenza proprietaria, con sistemi che funzionano in modo affidabile, producono un impatto misurabile e generano risultati duraturi sul conto economico.
Panoramica del progetto Siamo alla ricerca di ricercatori e esperti tecnici di alto livello. L'obiettivo centrale di questo ruolo è migliorare le capacità di ragionamento e problem-solving di un modello all'avanguardia target, progettando, validando e analizzando compiti di benchmark impegnativi.
Cosa comporta il ruolo:
- Progettazione e sviluppo dei compiti: progettare problemi complessi del mondo reale che fungano da fondamento per un modello. I problemi dovrebbero essere costruiti per mirare a specifiche perdite di capacità core identificate in un modello leader.
- Generazione di contenuti: integrare i problemi in un ambiente di sviluppo agentico, preparando tutti i componenti necessari con Python, tra cui:
- Istruzioni dettagliate e una panoramica del compito richiesto.
- Una soluzione Golden che segua le istruzioni.
- L'ambiente necessario, inclusi dataset, librerie Python e metadati.
- Un notebook di test contenente unit test che le soluzioni devono superare.
- Valutazione e analisi: valutare le prestazioni del modello incrociato sui compiti.
- Identificazione del margine di miglioramento: identificare i compiti in cui il modello target non supera tutti i test, classificando specificamente il fallimento come un fallimento di ragionamento logico.
- Estrazione delle perdite: analizzare i passaggi dell'agente (traiettoria dell'agente) per osservare ed estrarre i pattern di perdita di capacità core dal modello.
Competenze richieste
- Contributori GitHub altamente qualificati.
- I candidati devono possedere una solida competenza in data science, ML, coding o un solido background quantitativo in STEM all'avanguardia.
- Essere in grado di impegnarsi in modo affidabile per 30+ ore a settimana (nei giorni feriali).
Processo di valutazione
- Il processo di candidatura richiede circa 15 minuti.
- È richiesto il completamento di un colloquio video con AI.