AI Quality Analyst - Engels

Over Turing: Turing is gevestigd in San Francisco, Californië, en is 's werelds toonaangevende onderzoeksversneller voor frontier-AI-labs en een vertrouwde partner voor wereldwijde ondernemingen die geavanceerde AI-systemen inzetten. Turing ondersteunt klanten op twee manieren: ten eerste door frontieronderzoek te versnellen met hoogwaardige data, geavanceerde trainingspipelines en topresearchers op het gebied van AI die gespecialiseerd zijn in coderen, redeneren, STEM, meertaligheid, multimodaliteit en agents; en ten tweede door die expertise toe te passen om ondernemingen te helpen AI te laten uitgroeien van proof of concept tot eigen intelligentie, met systemen die betrouwbaar presteren, meetbare impact leveren en duurzame resultaten opleveren op de P&L.

Overzicht van de functie:

Als AI Quality Analyst evalueert u een nieuwe personalisatiefunctie voor Gemini. U beoordeelt hoe goed het model informatie uit uw eerdere Gemini-gesprekken, Gmail, Google Search en YouTube-activiteit gebruikt om antwoorden relevanter en nuttiger te maken. Voor deze rol is een unieke combinatie van creativiteit en analytische nauwkeurigheid nodig. U ontwerpt actief prompts vanuit uw eigen persoonlijke ervaringen. Vervolgens gebruikt u uw analytische vaardigheden om de kwaliteit van de gepersonaliseerde antwoorden van het model te beoordelen en dimensies te evalueren zoals Grounding, Integration en Helpfulness.

Belangrijkste kwalificaties

• Beheersing van het Engels: Vermogen om te lezen en te schrijven in het Engels met een hoge mate van begrip, aangezien Engels de focustaal van dit project is.
• Gebruik van persoonlijk account: Bereidheid om uw primaire persoonlijke Google-account (geen testaccount) te gebruiken en persoonlijke databronnen in te schakelen voor een authentieke beoordeling.
• Flexibiliteit in planning: Voltijdse beschikbaarheid in uw lokale tijdzone is vereist. Wij bemannen een wereldwijd 24-uurs operationeel team.
• Uitzonderlijk analytisch denkvermogen: Aantoonbaar vermogen om genuanceerde en dubbelzinnige AI-antwoorden te evalueren, met name het beoordelen van de kwaliteit van personalisatie.
• Creatieve promptengineering: Ervaring met het ontwerpen van creatieve startprompts met meerdere beurten, gebaseerd op persoonlijke context, om de mogelijkheden van het model grondig te testen.
• Sterk evaluatievermogen: Begrip van personalisatieconcepten, inclusief het vermogen om onjuiste personalisatie, zwakke gevolgtrekkingen en geforceerde verbanden te herkennen.
• Nauwgezette aandacht voor detail: Het vermogen om Side-by-Side (SxS) modelantwoorden te beoordelen en subtiele verschillen in natuurlijkheid en overnarrating op te merken.
• Uitstekende schriftelijke communicatie: Uitmuntend vermogen om duidelijke, beknopte en gestructureerde onderbouwingen voor modelrangschikkingen te schrijven, waarbij expliciet wordt verwezen naar specifieke beurtnummers.
• Feedback: Vermogen om constructieve feedback en gedetailleerde annotaties te geven.
• Communicatie: Uitstekende communicatie- en samenwerkingsvaardigheden.
• Zelfstandigheid: Zelfgemotiveerd en in staat om zelfstandig in een remote omgeving te werken.
• Technische uitrusting: Desktop of laptop met een goede internetverbinding.

Beschrijving:

• In deze rol maakt u deel uit van een dynamisch team dat zich richt op het evalueren van de kwaliteit van gepersonaliseerde AI-interacties. Uw dagelijkse werk omvat:
• Het ontwerpen en uitvoeren van conversationele prompts met meerdere beurten (doorgaans 1-5 beurten) waarbij de AI uw persoonlijke informatie en ervaringen moet gebruiken.
• Het evalueren van modelantwoorden op basis van uw intentie in de startprompt, waarbij wordt gecontroleerd of de personalisatie op de juiste manier is toegepast.
• Het analyseren van antwoorden op Grounding-problemen, zodat beweringen over u worden onderbouwd met bewijs en niet berusten op gebrekkige gevolgtrekkingen of hallucinaties.
• Het beoordelen van de Integration-kwaliteit, zodat persoonlijke gegevens op natuurlijke wijze in het antwoord worden verwerkt zonder robotachtige "overnarrating".
• Het nauwgezet evalueren en rangschikken (stack-ranking) van twee modelantwoorden naast elkaar (SxS) om te bepalen welk antwoord over het geheel genomen nuttiger, gebruiksvriendelijker en prettiger is.
• Het schrijven van duidelijke, verdedigbare onderbouwingen voor uw vergelijkingen, waarbij expliciet wordt verwezen naar de plek in het gesprek waar problemen of positieve aspecten zich voordeden.
• Het ophalen en verifiëren van "Debug Info" van het model om te bevestigen dat chatsamenvattingen en databronnen correct zijn gebruikt.
• Het handhaven van strikte datahygiëne door evaluatiegesprekken te verwijderen, zodat ze uw toekomstige chatgeschiedenis niet vervuilen.

Opleiding en ervaring

• BS/BA-diploma of gelijkwaardige ervaring op een relevant vakgebied (bijv. beleid, recht, ethiek, taalkunde, journalistiek, informatica of een verwant analytisch vakgebied).
• Ervaring met data-annotatie, kwaliteitsevaluatie van AI, contentmoderatie of een verwante functie heeft sterk de voorkeur.

Details van het aanbod:

• Vereiste inzet: ten minste 4 uur per dag en tot 40 uur per week, met 4 uur overlap met PST.
• Type samenwerking: Contractor
• Duur van de samenwerking: 3 maanden

Evaluatieproces -

• Kandidaten op de shortlist ontvangen een formulier voor functiebelangstelling.
• Na de profielbeoordeling wordt een assessment gedeeld, dat binnen 24 uur moet worden voltooid.
• Op basis van de assessmentresultaten wordt contact opgenomen met kandidaten op de shortlist om de vereisten vóór de onboarding te bespreken.