Over de functie
Over Turing: Turing is gevestigd in San Francisco, Californië, en is 's werelds toonaangevende onderzoeksversneller voor frontier-AI-labs en een vertrouwde partner voor wereldwijde ondernemingen die geavanceerde AI-systemen inzetten. Turing ondersteunt klanten op twee manieren: ten eerste door frontieronderzoek te versnellen met hoogwaardige data, geavanceerde trainingspipelines en topresearchers op het gebied van AI die gespecialiseerd zijn in coderen, redeneren, STEM, meertaligheid, multimodaliteit en agents; en ten tweede door die expertise toe te passen om ondernemingen te helpen AI te laten uitgroeien van proof of concept tot eigen intelligentie, met systemen die betrouwbaar presteren, meetbare impact leveren en duurzame resultaten opleveren op de P&L.
Overzicht van de functie:
Als AI Quality Analyst evalueert u een nieuwe personalisatiefunctie voor Gemini. U beoordeelt hoe goed het model informatie uit uw eerdere Gemini-gesprekken, Gmail, Google Search en YouTube-activiteit gebruikt om antwoorden relevanter en nuttiger te maken. Voor deze rol is een unieke combinatie van creativiteit en analytische nauwkeurigheid nodig. U ontwerpt actief prompts vanuit uw eigen persoonlijke ervaringen. Vervolgens gebruikt u uw analytische vaardigheden om de kwaliteit van de gepersonaliseerde antwoorden van het model te beoordelen en dimensies te evalueren zoals Grounding, Integration en Helpfulness.
Belangrijkste kwalificaties
- Beheersing van het Chinees: Vermogen om te lezen en te schrijven in het Chinees met een hoge mate van begrip, aangezien Chinees de focustaal van dit project is.
- Creatieve promptengineering: Ervaring met het ontwerpen van creatieve startprompts met meerdere beurten, gebaseerd op persoonlijke context, om de mogelijkheden van het model grondig te testen.
- Sterk evaluatievermogen: Begrip van personalisatieconcepten, inclusief het vermogen om onjuiste personalisatie, zwakke gevolgtrekkingen en geforceerde verbanden te herkennen.
- Nauwgezette aandacht voor detail: Het vermogen om Side-by-Side (SxS) modelantwoorden te beoordelen en subtiele verschillen in natuurlijkheid en overnarrating op te merken.
- Uitstekende schriftelijke communicatie: Uitmuntend vermogen om duidelijke, beknopte en gestructureerde onderbouwingen voor modelrangschikkingen te schrijven, waarbij expliciet wordt verwezen naar specifieke beurtnummers.
- Feedback: Vermogen om constructieve feedback en gedetailleerde annotaties te geven.
Beschrijving:
- Het ontwerpen en uitvoeren van conversationele prompts met meerdere beurten (doorgaans 1-5 beurten) waarbij de AI uw persoonlijke informatie en ervaringen moet gebruiken.
- Het analyseren van antwoorden op Grounding-problemen, zodat beweringen over u worden onderbouwd met bewijs en niet berusten op gebrekkige gevolgtrekkingen of hallucinaties.
- Het nauwgezet evalueren en rangschikken (stack-ranking) van twee modelantwoorden naast elkaar (SxS) om te bepalen welk antwoord over het geheel genomen nuttiger, gebruiksvriendelijker en prettiger is.
- Het schrijven van duidelijke, verdedigbare onderbouwingen voor uw vergelijkingen, waarbij expliciet wordt verwezen naar de plek in het gesprek waar problemen of positieve aspecten zich voordeden.
- Het ophalen en verifiëren van "Debug Info" van het model om te bevestigen dat chatsamenvattingen en databronnen correct zijn gebruikt.
- Het handhaven van strikte datahygiëne door evaluatiegesprekken te verwijderen, zodat ze uw toekomstige chatgeschiedenis niet vervuilen.
Opleiding en ervaring
- BS/BA-diploma of gelijkwaardige ervaring op een relevant vakgebied (bijv. beleid, recht, ethiek, taalkunde, journalistiek, informatica of een verwant analytisch vakgebied).
- Ervaring met data-annotatie, kwaliteitsevaluatie van AI, contentmoderatie of een verwante functie heeft sterk de voorkeur.
Details van het aanbod:
- Inzet : Vereist: ten minste 4 uur per dag en tot 40 uur per week, met 4 uur overlap met PST.
- Type samenwerking: Contractor
- Duur van de samenwerking: 3 maanden
- Ons aangeboden tarief voor dit project is $15 per uur.
Evaluatieproces -
- Kandidaten op de shortlist ontvangen een formulier voor functiebelangstelling.
- Na de profielbeoordeling wordt een assessment gedeeld, dat binnen 24 uur moet worden voltooid.
- Op basis van de assessmentresultaten wordt contact opgenomen met kandidaten op de shortlist om de vereisten vóór de onboarding te bespreken.