Informazioni sul ruolo
Informazioni su Turing: Con sede a San Francisco, in California, Turing è il principale acceleratore di ricerca al mondo per i laboratori di IA di frontiera e un partner di fiducia per le grandi aziende globali che implementano sistemi di IA avanzati. Turing supporta i clienti in due modi: in primo luogo, accelerando la ricerca di frontiera con dati di alta qualità, pipeline di addestramento avanzate e i migliori ricercatori di IA specializzati in programmazione, ragionamento, discipline STEM, multilinguismo, multimodalità e agenti; in secondo luogo, applicando tale competenza per aiutare le aziende a trasformare l'IA da proof of concept a intelligenza proprietaria, con sistemi che funzionano in modo affidabile, producono un impatto misurabile e generano risultati duraturi sul conto economico (P&L).
Panoramica del ruolo:
In qualità di AI Quality Analyst, valuterà una nuova funzione di personalizzazione per Gemini. Verificherà quanto bene il modello utilizzi le informazioni provenienti dalle Sue precedenti conversazioni con Gemini, da Gmail, da Google Search e dall'attività su YouTube per rendere le risposte più pertinenti e utili. Questo ruolo richiede una combinazione unica di creatività e rigore analitico. Progetterà attivamente prompt dal punto di vista delle Sue esperienze personali. Utilizzerà poi le Sue capacità analitiche per valutare la qualità delle risposte personalizzate del modello, esaminando dimensioni come Grounding, Integration e Helpfulness.
Qualifiche principali
- Conoscenza del coreano: Capacità di leggere e scrivere in coreano con un elevato livello di comprensione, poiché il coreano è la lingua di riferimento di questo progetto.
- Utilizzo dell'account personale: Disponibilità a utilizzare il proprio account Google personale principale (non un account di test) e ad abilitare le fonti di dati personali per una valutazione autentica.
- Flessibilità di orario: È richiesta la disponibilità a tempo pieno nel proprio fuso orario locale. Stiamo costituendo un team operativo globale con copertura di 24 ore.
- Eccezionale pensiero analitico: Capacità dimostrata di valutare risposte di IA sfumate e ambigue, valutando in particolare la qualità della personalizzazione.
- Prompt engineering creativo: Esperienza nella progettazione di prompt iniziali creativi e multi-turno, basati sul contesto personale, per mettere alla prova a fondo le capacità del modello.
- Solida capacità di valutazione: Comprensione dei concetti di personalizzazione, inclusa la capacità di individuare personalizzazioni errate, inferenze scadenti e collegamenti forzati.
- Meticolosa attenzione ai dettagli: Capacità di esaminare le risposte del modello affiancate (Side-by-Side, SxS) e di cogliere differenze sottili di naturalezza e di overnarrating.
- Eccellente comunicazione scritta: Capacità superiore di scrivere motivazioni chiare, concise e strutturate per le classifiche dei modelli, facendo esplicito riferimento a numeri di turno specifici.
- Feedback: Capacità di fornire feedback costruttivi e annotazioni dettagliate.
- Comunicazione: Eccellenti capacità di comunicazione e di collaborazione.
- Autonomia: Automotivazione e capacità di lavorare in autonomia in un contesto da remoto.
- Dotazione tecnica: Computer desktop/laptop configurato con una buona connessione internet.
Descrizione:
- In questo ruolo farà parte di un team dinamico incentrato sulla valutazione della qualità delle interazioni personalizzate con l'IA. Il Suo lavoro quotidiano prevederà:
- Progettare ed eseguire prompt conversazionali multi-turno (in genere di 1-5 turni) che richiedono all'IA di utilizzare le Sue informazioni ed esperienze personali.
- Valutare le risposte del modello in base alla Sua intenzione espressa nel prompt iniziale, verificando se la personalizzazione sia stata applicata in modo appropriato.
- Analizzare le risposte alla ricerca di problemi di Grounding, assicurandosi che le affermazioni che La riguardano siano supportate da prove e non da inferenze errate o allucinazioni.
- Valutare la qualità dell'Integration per garantire che i dati personali siano inseriti in modo naturale nella risposta, senza un "overnarrating" robotico.
- Valutare con rigore e ordinare in classifica due risposte del modello affiancate (SxS) per stabilire quale sia, nel complesso, più utile, facile da usare e piacevole.
- Scrivere motivazioni chiare e difendibili per i Suoi confronti, indicando esplicitamente dove, nella conversazione, si sono verificati problemi o aspetti positivi.
- Estrarre e verificare le "Debug Info" dal modello per confermare che i riepiloghi delle chat e le fonti di dati siano stati utilizzati correttamente.
- Mantenere una rigorosa igiene dei dati eliminando le conversazioni di valutazione, per evitare che inquinino la Sua futura cronologia delle chat.
Formazione ed esperienza
- Laurea triennale o esperienza equivalente in un campo pertinente (ad es. Policy, Diritto, Etica, Linguistica, Giornalismo, Informatica o un campo analitico affine).
- È fortemente preferibile un'esperienza nell'annotazione dei dati, nella valutazione della qualità dell'IA, nella moderazione dei contenuti o in un ruolo affine.
Dettagli dell'offerta:
- Impegno richiesto: almeno 4 ore al giorno e fino a 40 ore a settimana, con 4 ore di sovrapposizione con il fuso orario PST.
- Tipo di incarico: collaboratore autonomo (contractor)
- Durata dell'incarico: 3 mesi
- La tariffa offerta per questo progetto è di $15 all'ora.
Processo di valutazione -
- Ai candidati preselezionati verrà inviato un Job Interest Form (modulo di interesse per la posizione).
- Dopo la revisione del profilo verrà condivisa una valutazione (assessment), che dovrà essere completata entro 24 ore.
- In base ai risultati della valutazione, i candidati preselezionati saranno contattati per discutere i requisiti di pre-onboarding.