Informazioni sul ruolo
Informazioni su Turing: Con sede a San Francisco, in California, Turing è il principale acceleratore di ricerca al mondo per i laboratori di IA di frontiera e un partner di fiducia per le grandi aziende globali che implementano sistemi di IA avanzati. Turing supporta i clienti in due modi: in primo luogo, accelerando la ricerca di frontiera con dati di alta qualità, pipeline di addestramento avanzate e i migliori ricercatori di IA specializzati in programmazione, ragionamento, discipline STEM, multilinguismo, multimodalità e agenti; in secondo luogo, applicando tale competenza per aiutare le aziende a trasformare l'IA da proof of concept a intelligenza proprietaria, con sistemi che funzionano in modo affidabile, producono un impatto misurabile e generano risultati duraturi sul conto economico (P&L).
Panoramica del ruolo:
Cerchiamo valutatori generalisti con sede negli Stati Uniti che partecipino alle Gemini Personalization Evals. In questo ruolo, i valutatori svolgeranno attività di valutazione generalista utilizzando prompt personalizzati progettati per recuperare contesto e dati attraverso le app Google collegate.
Qualifiche principali:
- Sede: Deve avere attualmente sede negli Stati Uniti.
- Collegamento delle app: Deve essere disposto e in grado di collegare le proprie app Google (ad es. Gmail, Google Photos, Google Calendar, Google Drive, ecc.) a Gemini per supportare il recupero dei dati e le valutazioni dei prompt personalizzati.
- Ambito del ruolo: Svolgere attività generaliste di rating e di valutazione, valutando le prestazioni del modello, il recupero del contesto e la qualità delle risposte nelle app collegate.
- Attività dell'account: Utilizzo attivo delle app Google standard, sia Workspace sia consumer, con dati/cronologia personali sufficienti per generare e valutare prompt di recupero.
- Eccezionale pensiero analitico: Capacità di valutare risposte di IA sfumate e di individuare i punti di forza e di debolezza nella qualità della personalizzazione.
- Attenzione ai dettagli: Spiccata capacità di revisionare le risposte generate dall'IA e di individuare problemi o incongruenze sottili.
- Comunicazione: Eccellenti capacità di comunicazione scritta per fornire un feedback di valutazione chiaro e strutturato.
- Autonomia: Automotivazione e capacità di lavorare in autonomia in un ambiente da remoto.
- Dotazione tecnica: Computer desktop o laptop con una connessione internet affidabile.
Descrizione:
In questo ruolo farà parte di un team responsabile della valutazione della qualità delle interazioni personalizzate con l'IA per gli utenti aziendali. Le Sue responsabilità quotidiane includeranno:
- Valutare le risposte generate dall'IA sulla base della Sua cronologia di e-mail professionali e dell'attività del Suo account aziendale.
- Valutare se le risposte siano pertinenti, accurate, utili e personalizzate in modo appropriato.
- Individuare problemi legati a una personalizzazione errata, a ipotesi non supportate o a raccomandazioni non pertinenti.
- Confrontare più risposte dell'IA e stabilire quale offra la migliore esperienza complessiva per l'utente.
- Fornire un feedback di valutazione chiaro, dettagliato e ben motivato a supporto dei miglioramenti del modello.
- Seguire le linee guida del progetto per garantire valutazioni coerenti, accurate e di alta qualità.
- Tutelare la privacy dei dati e rispettare tutti i requisiti di riservatezza del progetto durante l'intero processo di valutazione.
Formazione ed esperienza
- Laurea triennale o esperienza pratica equivalente in qualsiasi ambito.
- È preferibile, ma non obbligatoria, un'esperienza nella valutazione dell'IA, nell'annotazione dei dati, nella revisione dei contenuti, nel controllo qualità o in un ruolo analitico affine.
Dettagli dell'offerta:
- Impegno richiesto: almeno 4 ore al giorno e fino a 40 ore a settimana, con 4 ore di sovrapposizione con il fuso orario PST.
- Tipo di incarico: collaboratore autonomo (contractor)
- Durata dell'incarico: fino a 16 settimane
Processo di valutazione -
- Ai candidati preselezionati verrà inviato un Job Interest Form (modulo di interesse per la posizione).
- I candidati selezionati in via definitiva saranno contattati con le indicazioni sui passaggi successivi, compresi i requisiti relativi al consenso e all'onboarding.
Consenso e conformità:
Deve essere disposto a concedere le autorizzazioni di integrazione delle app necessarie per il progetto e a completare tutti i moduli di consenso standard e gli accordi di non divulgazione.