Valutatori generalisti con account personale (USA)

Informazioni su Turing: Con sede a San Francisco, in California, Turing è il principale acceleratore di ricerca al mondo per i laboratori di IA di frontiera e un partner di fiducia per le grandi aziende globali che implementano sistemi di IA avanzati. Turing supporta i clienti in due modi: in primo luogo, accelerando la ricerca di frontiera con dati di alta qualità, pipeline di addestramento avanzate e i migliori ricercatori di IA specializzati in programmazione, ragionamento, discipline STEM, multilinguismo, multimodalità e agenti; in secondo luogo, applicando tale competenza per aiutare le aziende a trasformare l'IA da proof of concept a intelligenza proprietaria, con sistemi che funzionano in modo affidabile, producono un impatto misurabile e generano risultati duraturi sul conto economico (P&L).

Panoramica del ruolo:

Cerchiamo valutatori generalisti con sede negli Stati Uniti che partecipino alle Gemini Personalization Evals. In questo ruolo, i valutatori svolgeranno attività di valutazione generalista utilizzando prompt personalizzati progettati per recuperare contesto e dati attraverso le app Google collegate.

Qualifiche principali:

• Sede: Deve avere attualmente sede negli Stati Uniti.
• Collegamento delle app: Deve essere disposto e in grado di collegare le proprie app Google (ad es. Gmail, Google Photos, Google Calendar, Google Drive, ecc.) a Gemini per supportare il recupero dei dati e le valutazioni dei prompt personalizzati.
• Ambito del ruolo: Svolgere attività generaliste di rating e di valutazione, valutando le prestazioni del modello, il recupero del contesto e la qualità delle risposte nelle app collegate.
• Attività dell'account: Utilizzo attivo delle app Google standard, sia Workspace sia consumer, con dati/cronologia personali sufficienti per generare e valutare prompt di recupero.
• Eccezionale pensiero analitico: Capacità di valutare risposte di IA sfumate e di individuare i punti di forza e di debolezza nella qualità della personalizzazione.
• Attenzione ai dettagli: Spiccata capacità di revisionare le risposte generate dall'IA e di individuare problemi o incongruenze sottili.
• Comunicazione: Eccellenti capacità di comunicazione scritta per fornire un feedback di valutazione chiaro e strutturato.
• Autonomia: Automotivazione e capacità di lavorare in autonomia in un ambiente da remoto.
• Dotazione tecnica: Computer desktop o laptop con una connessione internet affidabile.

Descrizione:

In questo ruolo farà parte di un team responsabile della valutazione della qualità delle interazioni personalizzate con l'IA per gli utenti aziendali. Le Sue responsabilità quotidiane includeranno:

• Valutare le risposte generate dall'IA sulla base della Sua cronologia di e-mail professionali e dell'attività del Suo account aziendale.
• Valutare se le risposte siano pertinenti, accurate, utili e personalizzate in modo appropriato.
• Individuare problemi legati a una personalizzazione errata, a ipotesi non supportate o a raccomandazioni non pertinenti.
• Confrontare più risposte dell'IA e stabilire quale offra la migliore esperienza complessiva per l'utente.
• Fornire un feedback di valutazione chiaro, dettagliato e ben motivato a supporto dei miglioramenti del modello.
• Seguire le linee guida del progetto per garantire valutazioni coerenti, accurate e di alta qualità.
• Tutelare la privacy dei dati e rispettare tutti i requisiti di riservatezza del progetto durante l'intero processo di valutazione.

Formazione ed esperienza

• Laurea triennale o esperienza pratica equivalente in qualsiasi ambito.
• È preferibile, ma non obbligatoria, un'esperienza nella valutazione dell'IA, nell'annotazione dei dati, nella revisione dei contenuti, nel controllo qualità o in un ruolo analitico affine.

Dettagli dell'offerta:

• Impegno richiesto: almeno 4 ore al giorno e fino a 40 ore a settimana, con 4 ore di sovrapposizione con il fuso orario PST.
• Tipo di incarico: collaboratore autonomo (contractor)
• Durata dell'incarico: fino a 16 settimane

Processo di valutazione -

• Ai candidati preselezionati verrà inviato un Job Interest Form (modulo di interesse per la posizione).
• I candidati selezionati in via definitiva saranno contattati con le indicazioni sui passaggi successivi, compresi i requisiti relativi al consenso e all'onboarding.

Consenso e conformità:

Deve essere disposto a concedere le autorizzazioni di integrazione delle app necessarie per il progetto e a completare tutti i moduli di consenso standard e gli accordi di non divulgazione.