Valutatori generalisti con account personale (USA)

Informazioni su Turing: Con sede a San Francisco, in California, Turing è il principale acceleratore di ricerca al mondo per i laboratori di IA di frontiera e un partner affidabile per le aziende globali che implementano sistemi di IA avanzati. Turing supporta i clienti in due modi: in primo luogo, accelerando la ricerca di frontiera con dati di alta qualità, pipeline di addestramento avanzate e i migliori ricercatori di IA specializzati in programmazione, ragionamento, STEM, multilinguismo, multimodalità e agenti; in secondo luogo, applicando tale competenza per aiutare le aziende a trasformare l'IA da proof of concept a intelligenza proprietaria, con sistemi che funzionano in modo affidabile, producono un impatto misurabile e generano risultati duraturi sul conto economico (P&L).

Panoramica del ruolo:

Cerchiamo valutatori generalisti con sede negli Stati Uniti per partecipare alle Gemini Personalization Evals. In questo ruolo i valutatori svolgeranno un lavoro di valutazione generalista utilizzando prompt personalizzati progettati per recuperare contesto e dati attraverso le app Google collegate.

Qualifiche principali:

• Sede: deve avere attualmente sede negli Stati Uniti.
• Connettività delle app: deve essere disponibile e in grado di collegare le proprie app Google (ad es. Gmail, Google Photos, Google Calendar, Google Drive, ecc.) a Gemini per supportare il recupero dei dati e le valutazioni dei prompt personalizzati.
• Ambito del ruolo: svolgere attività di rating e di valutazione generaliste, valutando le prestazioni del modello, il recupero del contesto e la qualità delle risposte nelle app collegate.
• Attività dell'account: uso attivo delle app Google standard di workspace/consumer, con dati/cronologia personali sufficienti per generare e valutare prompt di recupero.
• Pensiero analitico eccezionale: capacità di valutare risposte di IA sfumate e di individuare punti di forza e di debolezza nella qualità della personalizzazione.
• Attenzione ai dettagli: solida capacità di rivedere le risposte generate dall'IA e di individuare problemi sottili o incoerenze.
• Comunicazione: eccellenti capacità di comunicazione scritta per fornire un feedback di valutazione chiaro e strutturato.
• Autonomia: automotivazione e capacità di lavorare in autonomia in un ambiente remoto.
• Configurazione tecnica: desktop o laptop con connessione a Internet affidabile.

Descrizione:

In questo ruolo farà parte di un team responsabile della valutazione della qualità delle interazioni personalizzate con l'IA per gli utenti aziendali. Le Sue responsabilità quotidiane comprenderanno:

• Valutare le risposte generate dall'IA sulla base della cronologia delle Sue e-mail professionali e dell'attività del Suo account aziendale.
• Valutare se le risposte sono pertinenti, accurate, utili e adeguatamente personalizzate.
• Individuare problemi legati a personalizzazione errata, ipotesi non supportate o raccomandazioni irrilevanti.
• Confrontare più risposte dell'IA e stabilire quale offra la migliore esperienza complessiva per l'utente.
• Fornire un feedback di valutazione chiaro, dettagliato e ben argomentato a supporto dei miglioramenti del modello.
• Seguire le linee guida del progetto per garantire valutazioni coerenti, accurate e di alta qualità.
• Mantenere la privacy dei dati e rispettare tutti i requisiti di riservatezza del progetto durante l'intero processo di valutazione.

Formazione ed esperienza

• Laurea triennale o esperienza pratica equivalente in qualsiasi campo.
• Preferibile, ma non obbligatoria, l'esperienza in valutazione dell'IA, annotazione dei dati, revisione di contenuti, quality assurance o in un ruolo analitico affine.

Dettagli dell'offerta:

• Impegno richiesto: almeno 4 ore al giorno e fino a 40 ore a settimana, con 4 ore di sovrapposizione con il fuso PST.
• Tipo di collaborazione: collaboratore
• Durata dell'incarico: fino a 16 settimane

Processo di valutazione -

• Ai candidati selezionati verrà inviato un modulo di interesse per la posizione.
• I candidati finali selezionati verranno contattati per i passaggi successivi, compresi i requisiti di consenso e di onboarding.

Consenso e conformità:

È necessario essere disponibili a concedere le autorizzazioni di integrazione delle app richieste per il progetto e a completare tutti i moduli di consenso standard e gli accordi di non divulgazione.