Over de functie
Over Turing: Turing is gevestigd in San Francisco, Californië, en is de toonaangevende onderzoeksversneller ter wereld voor frontier-AI-labs en een vertrouwde partner voor wereldwijde ondernemingen die geavanceerde AI-systemen inzetten. Turing ondersteunt klanten op twee manieren: ten eerste door frontieronderzoek te versnellen met hoogwaardige data, geavanceerde trainingspipelines en toponderzoekers op het gebied van AI die gespecialiseerd zijn in coderen, redeneren, STEM, meertaligheid, multimodaliteit en agents; en ten tweede door die expertise toe te passen om ondernemingen te helpen AI te transformeren van proof of concept naar eigen intelligentie, met systemen die betrouwbaar presteren, meetbare impact opleveren en duurzame resultaten op de P&L stimuleren.
Overzicht van de functie:
We zoeken generalist raters in de VS om deel te nemen aan Gemini Personalization Evals. In deze functie voeren raters algemene evaluatiewerkzaamheden uit met gepersonaliseerde prompts die zijn ontworpen om context en data op te halen uit gekoppelde Google-apps.
Belangrijkste kwalificaties:
- Locatie: Moet momenteel in de Verenigde Staten gevestigd zijn.
- App-connectiviteit: Moet bereid en in staat zijn om zijn of haar Google-apps (bijv. Gmail, Google Photos, Google Calendar, Google Drive, enz.) aan Gemini te koppelen voor het ophalen van data en het evalueren van gepersonaliseerde prompts.
- Reikwijdte van de functie: Algemene beoordelings- en evaluatietaken uitvoeren en daarbij de prestaties van het model, het ophalen van context en de kwaliteit van de antwoorden in gekoppelde apps beoordelen.
- Accountactiviteit: Actief gebruik van standaard Google Workspace- of consumenten-apps met voldoende persoonlijke data/geschiedenis om prompts voor het ophalen van data te genereren en te evalueren.
- Uitzonderlijk analytisch denkvermogen: Het vermogen om genuanceerde AI-antwoorden te evalueren en sterke en zwakke punten in de kwaliteit van de personalisatie te identificeren.
- Oog voor detail: Sterk vermogen om door AI gegenereerde antwoorden te beoordelen en subtiele problemen of inconsistenties te signaleren.
- Communicatie: Uitstekende schriftelijke communicatievaardigheden om duidelijke en gestructureerde evaluatiefeedback te geven.
- Zelfstandigheid: Zelfmotiverend en in staat om zelfstandig te werken in een remote omgeving.
- Technische setup: Desktop of laptop met een betrouwbare internetverbinding.
Omschrijving:
In deze functie maakt u deel uit van een team dat verantwoordelijk is voor het evalueren van de kwaliteit van gepersonaliseerde AI-interacties voor zakelijke gebruikers. Uw dagelijkse werkzaamheden omvatten:
- Door AI gegenereerde antwoorden evalueren op basis van uw professionele e-mailgeschiedenis en uw zakelijke accountactiviteit.
- Beoordelen of antwoorden relevant, nauwkeurig, behulpzaam en op passende wijze gepersonaliseerd zijn.
- Problemen signaleren met betrekking tot onjuiste personalisatie, ongefundeerde aannames of irrelevante aanbevelingen.
- Meerdere AI-antwoorden vergelijken en bepalen welk antwoord de betere algehele gebruikerservaring biedt.
- Duidelijke, gedetailleerde en goed beargumenteerde evaluatiefeedback geven om modelverbeteringen te ondersteunen.
- De projectrichtlijnen volgen om consistente, nauwkeurige en hoogwaardige evaluaties te waarborgen.
- Gegevensprivacy bewaken en zich gedurende het hele evaluatieproces houden aan alle vertrouwelijkheidsvereisten van het project.
Opleiding en ervaring
- Bachelordiploma of gelijkwaardige praktijkervaring, in een willekeurig vakgebied.
- Ervaring met AI-evaluatie, data-annotatie, contentreview, kwaliteitsborging of een verwante analytische functie heeft de voorkeur, maar is niet vereist.
Details van het aanbod:
- Vereiste inzet: ten minste 4 uur per dag en maximaal 40 uur per week, met 4 uur overlap met PST.
- Type samenwerking: Contractor
- Duur van de samenwerking: tot 16 weken
Evaluatieproces -
- Kandidaten op de shortlist ontvangen een Job Interest Form.
- Geselecteerde kandidaten worden na de definitieve selectie benaderd met de vervolgstappen, waaronder de vereisten voor toestemming en onboarding.
Toestemming en compliance:
U moet bereid zijn de benodigde toestemmingen voor app-integratie te verlenen die voor het project vereist zijn en alle standaardtoestemmingsformulieren en geheimhoudingsovereenkomsten te voltooien.