Analista della qualità AI (Personalizzazione) - Olandese

Informazioni su Turing: Con sede a San Francisco, in California, Turing è il principale acceleratore di ricerca al mondo per i laboratori di AI di frontiera e un partner di fiducia per le aziende globali che implementano sistemi di AI avanzati. Turing supporta i propri clienti in due modi: in primo luogo, accelerando la ricerca di frontiera con dati di alta qualità, pipeline di addestramento avanzate e i migliori ricercatori di AI, specializzati in coding, ragionamento, STEM, multilinguismo, multimodalità e agenti; in secondo luogo, applicando tale competenza per aiutare le aziende a trasformare l'AI da proof of concept a intelligenza proprietaria, con sistemi che funzionano in modo affidabile, generano un impatto misurabile e producono risultati duraturi sul P&L.

Panoramica del ruolo:

In qualità di Analista della qualità AI, valuterà una nuova funzione di personalizzazione per Gemini. Valuterà in che misura il modello utilizza le informazioni provenienti dalle Sue passate conversazioni con Gemini, da Gmail, da Google Search e dall'attività su YouTube per rendere le risposte più pertinenti e utili. Questo ruolo richiede una combinazione unica di creatività e rigore analitico. Progetterà attivamente prompt dal punto di vista delle Sue esperienze personali. Utilizzerà poi le Sue competenze analitiche per valutare la qualità delle risposte personalizzate del modello, esaminando dimensioni come Grounding, Integrazione e Utilità.

Qualifiche principali

• Conoscenza dell'olandese: Capacità di leggere e scrivere in olandese con un elevato grado di comp, poiché l'olandese è la lingua di riferimento di questo progetto.
• Utilizzo dell'account personale: Disponibilità a utilizzare il Suo account Google personale principale (non un account di prova) e ad abilitare le fonti di dati personali per una valutazione autentica.
• Flessibilità di orario: È richiesta la disponibilità a tempo pieno nel Suo fuso orario locale. Stiamo costituendo un team operativo globale con copertura di 24 ore.
• Eccezionale pensiero analitico: Capacità dimostrata di valutare risposte AI sfumate e ambigue, valutando in particolare la qualità della personalizzazione.
• Prompt engineering creativo: Esperienza nella progettazione di prompt iniziali creativi e multi-turno, basati sul contesto personale, per mettere alla prova a fondo le capacità del modello.
• Solida capacità di valutazione: Comprensione dei concetti di personalizzazione, inclusa la capacità di individuare personalizzazioni errate, inferenze scadenti e collegamenti forzati.
• Meticolosa attenzione ai dettagli: Capacità di esaminare le risposte del modello affiancate (Side-by-Side, SxS) e di cogliere differenze sottili in termini di naturalezza e di "overnarrating".
• Eccellente comunicazione scritta: Capacità superiore di redigere motivazioni chiare, concise e strutturate per le classifiche dei modelli, facendo riferimento esplicito a numeri di turno specifici.
• Feedback: Capacità di fornire feedback costruttivi e annotazioni dettagliate.
• Comunicazione: Eccellenti capacità di comunicazione e collaborazione.
• Autonomia: Automotivazione e capacità di lavorare in modo indipendente in un contesto remoto.
• Configurazione tecnica: Computer desktop/portatile configurato con una buona connessione a Internet.

Descrizione:

• In questo ruolo farà parte di un team dinamico focalizzato sulla valutazione della qualità delle interazioni personalizzate con l'AI. Il Suo lavoro quotidiano consisterà in:
• Progettare ed eseguire prompt conversazionali multi-turno (tipicamente 1-5 turni) che richiedono all'AI di utilizzare le Sue informazioni ed esperienze personali.
• Valutare le risposte del modello in base alla Sua intenzione espressa nel prompt iniziale, verificando se la personalizzazione sia stata applicata in modo appropriato.
• Analizzare le risposte per individuare problemi di Grounding, assicurandosi che le affermazioni su di Lei siano supportate da prove e non da inferenze errate o allucinazioni.
• Valutare la qualità dell'integrazione, per garantire che i dati personali siano inseriti in modo naturale nella risposta senza un "overnarrating" robotico.
• Valutare con rigore e ordinare in classifica due risposte del modello affiancate (SxS) per stabilire quale sia nel complesso più utile, facile da usare e piacevole.
• Redigere motivazioni chiare e difendibili per i Suoi confronti, facendo riferimento esplicito ai punti della conversazione in cui si sono verificati problemi o aspetti positivi.
• Estrarre e verificare le "Debug Info" del modello per confermare che i riepiloghi delle chat e le fonti di dati siano stati utilizzati correttamente.
• Mantenere una rigorosa igiene dei dati eliminando le conversazioni di valutazione, per evitare che inquinino la Sua futura cronologia delle chat.

Formazione ed esperienza

• Laurea triennale (BS/BA) o esperienza equivalente in un settore pertinente (ad es. Policy, diritto, etica, linguistica, giornalismo, informatica o un altro campo analitico affine).
• È fortemente preferita l'esperienza in annotazione dei dati, valutazione della qualità dell'AI, moderazione dei contenuti o in un ruolo affine.

Dettagli dell'offerta:

• Impegno richiesto: almeno 4 ore al giorno e fino a 40 ore a settimana, con 4 ore di sovrapposizione con il fuso PST.
• Tipo di collaborazione: Contractor (collaboratore autonomo)
• Durata dell'incarico: 1 mese
• La tariffa offerta per questo progetto è di $20 all'ora.

Processo di valutazione -

• Ai candidati preselezionati verrà inviato un modulo di interesse per la posizione (Job Interest Form).
• Dopo la revisione del profilo, verrà condiviso un test di valutazione, da completare entro 24 ore.
• In base ai risultati del test, i candidati preselezionati saranno contattati per discutere i requisiti di pre‑onboarding.