Informazioni sul ruolo
Informazioni su Turing: Con sede a San Francisco, in California, Turing è il principale acceleratore di ricerca al mondo per i laboratori di IA di frontiera e un partner di fiducia per le grandi aziende globali che implementano sistemi di IA avanzati. Turing supporta i clienti in due modi: in primo luogo, accelerando la ricerca di frontiera con dati di alta qualità, pipeline di addestramento avanzate e i migliori ricercatori di IA specializzati in programmazione, ragionamento, discipline STEM, multilinguismo, multimodalità e agenti; in secondo luogo, applicando tale competenza per aiutare le aziende a trasformare l'IA da proof of concept a intelligenza proprietaria, con sistemi che funzionano in modo affidabile, producono un impatto misurabile e generano risultati duraturi sul conto economico (P&L).
Panoramica del ruolo:
In qualità di AI Quality Analyst, valuterà una nuova funzione di personalizzazione per Gemini. Verificherà quanto bene il modello utilizzi le informazioni provenienti dalle Sue precedenti conversazioni con Gemini, da Gmail, da Google Search e dall'attività su YouTube per rendere le risposte più pertinenti e utili. Questo ruolo richiede una combinazione unica di creatività e rigore analitico. Progetterà attivamente prompt dal punto di vista delle Sue esperienze personali. Utilizzerà poi le Sue capacità analitiche per valutare la qualità delle risposte personalizzate del modello, esaminando dimensioni come Grounding, Integration e Helpfulness.
Qualifiche principali
- Conoscenza del cinese: Capacità di leggere e scrivere in cinese con un elevato livello di comprensione, poiché il cinese è la lingua di riferimento di questo progetto.
- Prompt engineering creativo: Esperienza nella progettazione di prompt iniziali creativi e multi-turno, basati sul contesto personale, per mettere alla prova a fondo le capacità del modello.
- Solida capacità di valutazione: Comprensione dei concetti di personalizzazione, inclusa la capacità di individuare personalizzazioni errate, inferenze scadenti e collegamenti forzati.
- Meticolosa attenzione ai dettagli: Capacità di esaminare le risposte del modello affiancate (Side-by-Side, SxS) e di cogliere differenze sottili di naturalezza e di overnarrating.
- Eccellente comunicazione scritta: Capacità superiore di scrivere motivazioni chiare, concise e strutturate per le classifiche dei modelli, facendo esplicito riferimento a numeri di turno specifici.
- Feedback: Capacità di fornire feedback costruttivi e annotazioni dettagliate.
Descrizione:
- Progettare ed eseguire prompt conversazionali multi-turno (in genere di 1-5 turni) che richiedono all'IA di utilizzare le Sue informazioni ed esperienze personali.
- Analizzare le risposte alla ricerca di problemi di Grounding, assicurandosi che le affermazioni che La riguardano siano supportate da prove e non da inferenze errate o allucinazioni.
- Valutare con rigore e ordinare in classifica due risposte del modello affiancate (SxS) per stabilire quale sia, nel complesso, più utile, facile da usare e piacevole.
- Scrivere motivazioni chiare e difendibili per i Suoi confronti, indicando esplicitamente dove, nella conversazione, si sono verificati problemi o aspetti positivi.
- Estrarre e verificare le "Debug Info" dal modello per confermare che i riepiloghi delle chat e le fonti di dati siano stati utilizzati correttamente.
- Mantenere una rigorosa igiene dei dati eliminando le conversazioni di valutazione, per evitare che inquinino la Sua futura cronologia delle chat.
Formazione ed esperienza
- Laurea triennale o esperienza equivalente in un campo pertinente (ad es. Policy, Diritto, Etica, Linguistica, Giornalismo, Informatica o un campo analitico affine).
- È fortemente preferibile un'esperienza nell'annotazione dei dati, nella valutazione della qualità dell'IA, nella moderazione dei contenuti o in un ruolo affine.
Dettagli dell'offerta:
- Impegno : Richiesto: almeno 4 ore al giorno e fino a 40 ore a settimana, con 4 ore di sovrapposizione con il fuso orario PST.
- Tipo di incarico: collaboratore autonomo (contractor)
- Durata dell'incarico: 3 mesi
- La tariffa offerta per questo progetto è di $15 all'ora.
Processo di valutazione -
- Ai candidati preselezionati verrà inviato un Job Interest Form (modulo di interesse per la posizione).
- Dopo la revisione del profilo verrà condivisa una valutazione (assessment), che dovrà essere completata entro 24 ore.
- In base ai risultati della valutazione, i candidati preselezionati saranno contattati per discutere i requisiti di pre-onboarding.