Informazioni sul ruolo
Informazioni su Turing: Con sede a San Francisco, in California, Turing è il principale acceleratore di ricerca al mondo per i laboratori di IA di frontiera e un partner affidabile per le aziende globali che implementano sistemi di IA avanzati. Turing supporta i clienti in due modi: in primo luogo, accelerando la ricerca di frontiera con dati di alta qualità, pipeline di addestramento avanzate e i migliori ricercatori di IA specializzati in programmazione, ragionamento, STEM, multilinguismo, multimodalità e agenti; in secondo luogo, applicando tale competenza per aiutare le aziende a trasformare l'IA da proof of concept a intelligenza proprietaria, con sistemi che funzionano in modo affidabile, producono un impatto misurabile e generano risultati duraturi sul conto economico (P&L).
Panoramica del ruolo:
Cerchiamo valutatori generalisti con sede negli Stati Uniti per partecipare alle Gemini Personalization Evals. In questo ruolo i valutatori svolgeranno un lavoro di valutazione generalista utilizzando prompt personalizzati progettati per recuperare contesto e dati attraverso le app Google collegate.
Qualifiche principali:
- Sede: deve avere attualmente sede negli Stati Uniti.
- Connettività delle app: deve essere disponibile e in grado di collegare le proprie app Google (ad es. Gmail, Google Photos, Google Calendar, Google Drive, ecc.) a Gemini per supportare il recupero dei dati e le valutazioni dei prompt personalizzati.
- Ambito del ruolo: svolgere attività di rating e di valutazione generaliste, valutando le prestazioni del modello, il recupero del contesto e la qualità delle risposte nelle app collegate.
- Attività dell'account: uso attivo delle app Google standard di workspace/consumer, con dati/cronologia personali sufficienti per generare e valutare prompt di recupero.
- Pensiero analitico eccezionale: capacità di valutare risposte di IA sfumate e di individuare punti di forza e di debolezza nella qualità della personalizzazione.
- Attenzione ai dettagli: solida capacità di rivedere le risposte generate dall'IA e di individuare problemi sottili o incoerenze.
- Comunicazione: eccellenti capacità di comunicazione scritta per fornire un feedback di valutazione chiaro e strutturato.
- Autonomia: automotivazione e capacità di lavorare in autonomia in un ambiente remoto.
- Configurazione tecnica: desktop o laptop con connessione a Internet affidabile.
Descrizione:
In questo ruolo farà parte di un team responsabile della valutazione della qualità delle interazioni personalizzate con l'IA per gli utenti aziendali. Le Sue responsabilità quotidiane comprenderanno:
- Valutare le risposte generate dall'IA sulla base della cronologia delle Sue e-mail professionali e dell'attività del Suo account aziendale.
- Valutare se le risposte sono pertinenti, accurate, utili e adeguatamente personalizzate.
- Individuare problemi legati a personalizzazione errata, ipotesi non supportate o raccomandazioni irrilevanti.
- Confrontare più risposte dell'IA e stabilire quale offra la migliore esperienza complessiva per l'utente.
- Fornire un feedback di valutazione chiaro, dettagliato e ben argomentato a supporto dei miglioramenti del modello.
- Seguire le linee guida del progetto per garantire valutazioni coerenti, accurate e di alta qualità.
- Mantenere la privacy dei dati e rispettare tutti i requisiti di riservatezza del progetto durante l'intero processo di valutazione.
Formazione ed esperienza
- Laurea triennale o esperienza pratica equivalente in qualsiasi campo.
- Preferibile, ma non obbligatoria, l'esperienza in valutazione dell'IA, annotazione dei dati, revisione di contenuti, quality assurance o in un ruolo analitico affine.
Dettagli dell'offerta:
- Impegno richiesto: almeno 4 ore al giorno e fino a 40 ore a settimana, con 4 ore di sovrapposizione con il fuso PST.
- Tipo di collaborazione: collaboratore
- Durata dell'incarico: fino a 16 settimane
Processo di valutazione -
- Ai candidati selezionati verrà inviato un modulo di interesse per la posizione.
- I candidati finali selezionati verranno contattati per i passaggi successivi, compresi i requisiti di consenso e di onboarding.
Consenso e conformità:
È necessario essere disponibili a concedere le autorizzazioni di integrazione delle app richieste per il progetto e a completare tutti i moduli di consenso standard e gli accordi di non divulgazione.