Informazioni sul ruolo
Informazioni su Turing
Con sede a San Francisco, in California, Turing è il principale acceleratore di ricerca al mondo per i laboratori di IA di frontiera e un partner di fiducia per le grandi aziende globali che implementano sistemi di IA avanzati. Turing supporta i clienti in due modi: in primo luogo, accelerando la ricerca di frontiera con dati di alta qualità, pipeline di addestramento avanzate e i migliori ricercatori di IA specializzati in programmazione, ragionamento, discipline STEM, multilinguismo, multimodalità e agenti; in secondo luogo, applicando tale competenza per aiutare le aziende a trasformare l'IA da proof of concept a intelligenza proprietaria, con sistemi che funzionano in modo affidabile, producono un impatto misurabile e generano risultati duraturi sul conto economico (P&L)
Panoramica del ruolo
Cerchiamo Data Analyst esperti (MLE Bench) che contribuiscano a progetti di valutazione guidati da benchmark, incentrati su sistemi di machine learning reali. Il ruolo prevede un lavoro analitico pratico con dataset simili a quelli di produzione, metriche e output di ML per contribuire a valutare, diagnosticare e migliorare le prestazioni dei sistemi di IA avanzati.
Il candidato ideale si trova a proprio agio nel lavorare all'intersezione tra analisi dei dati e machine learning, con un solido rigore analitico e la capacità di lavorare con dataset reali e flussi di valutazione dell'ML.
Come si svolge la giornata tipo?
- Analizzare dataset strutturati e non strutturati generati dalle pipeline di addestramento, inferenza e valutazione dell'ML.
- Definire, calcolare e convalidare le metriche utilizzate per valutare le prestazioni e il comportamento dei modelli.
- Esaminare le distribuzioni dei dati, gli output dei modelli, le modalità di errore e i casi limite rilevanti per i task di benchmark.
- Scrivere ed eseguire codice Python e SQL per analizzare i dati, creare report e supportare i flussi di valutazione.
- Convalidare qualità, coerenza e correttezza dei dati nei dataset e negli esperimenti.
- Creare artefatti analitici chiari e ben documentati e flussi di analisi riproducibili.
- Collaborare con ingegneri ML e ricercatori per progettare scenari di valutazione impegnativi e reali per MLE Bench.
Requisiti
- Minimo 3+ anni di esperienza come Data Analyst o come ingegnere con focus sull'analytics.
- Solida padronanza di Python per l'analisi dei dati.
- Solida esperienza con SQL e dataset relazionali.
- Esperienza nell'analisi di output di ML e metriche di valutazione.
- Solida comprensione della statistica e del ragionamento analitico.
- Capacità di lavorare con dataset ampi e complessi e di trarne insight affidabili.
- Esperienza nella scrittura di codice analitico pulito, leggibile e ben documentato.
- Eccellenti capacità di comunicazione in inglese, parlato e scritto.
Vantaggi della collaborazione freelance con Turing
- Lavoro in un ambiente interamente da remoto.
- Opportunità di lavorare a progetti di IA all'avanguardia con le principali aziende di LLM.
Dettagli dell'offerta
- Impegno richiesto: almeno 4 ore al giorno e minimo 20 ore a settimana, con 4 ore di sovrapposizione con il fuso orario PST.
- Tipo di incarico: incarico come contractor (senza copertura sanitaria né congedi retribuiti)
- Durata del contratto: 3 mesi (modificabile in base all'andamento dell'incarico)
- Sede: India, Pakistan, Nigeria, Kenya, Egitto, Ghana, Bangladesh, Turchia, Brasile, Messico
Processo di valutazione
- Colloquio tecnico con sfida di live coding (60 minuti)