Over de functie
Over Turing: Turing is gevestigd in San Francisco, Californië, en is 's werelds toonaangevende onderzoeksversneller voor frontier-AI-labs en een vertrouwde partner voor wereldwijde bedrijven die geavanceerde AI-systemen inzetten. Turing ondersteunt klanten op twee manieren: ten eerste door frontieronderzoek te versnellen met hoogwaardige data, geavanceerde trainingspipelines en topresearchers op het gebied van AI die gespecialiseerd zijn in coderen, redeneren, STEM, meertaligheid, multimodaliteit en agents; en ten tweede door die expertise toe te passen om bedrijven te helpen AI van proof of concept te transformeren naar propriëtaire intelligentie, met systemen die betrouwbaar presteren, meetbare impact opleveren en blijvende resultaten opleveren op de winst-en-verliesrekening.
Functieoverzicht:
Wij zoeken in de VS gevestigde generalist raters om deel te nemen aan Gemini Personalization Evals. In deze functie voeren raters generalistisch evaluatiewerk uit met gepersonaliseerde prompts die zijn ontworpen om context en data op te halen uit gekoppelde Google-apps.
Belangrijkste kwalificaties:
- Locatie: moet momenteel in de Verenigde Staten gevestigd zijn.
- Appkoppeling: moet bereid en in staat zijn om zijn of haar Google-apps (bijv. Gmail, Google Foto's, Google Agenda, Google Drive, enz.) aan Gemini te koppelen ter ondersteuning van het ophalen van data en evaluaties van gepersonaliseerde prompts.
- Functieomvang: generalistische beoordelings- en evaluatietaken uitvoeren, waarbij de prestaties van het model, het ophalen van context en de kwaliteit van antwoorden over gekoppelde apps heen worden beoordeeld.
- Accountactiviteit: actief gebruik van standaard Google Workspace-/consumentenapps met voldoende persoonlijke data/geschiedenis om ophaalprompts te genereren en te evalueren.
- Uitzonderlijk analytisch denkvermogen: vermogen om genuanceerde AI-antwoorden te evalueren en sterke en zwakke punten in de kwaliteit van personalisatie te identificeren.
- Oog voor detail: sterk vermogen om door AI gegenereerde antwoorden te beoordelen en subtiele problemen of inconsistenties te herkennen.
- Communicatie: uitstekende schriftelijke communicatievaardigheden om duidelijke en gestructureerde evaluatiefeedback te geven.
- Zelfstandigheid: zelfgemotiveerd en in staat om zelfstandig te werken in een remote omgeving.
- Technische opstelling: desktop of laptop met een betrouwbare internetverbinding.
Beschrijving:
In deze functie maakt u deel uit van een team dat verantwoordelijk is voor het evalueren van de kwaliteit van gepersonaliseerde AI-interacties voor zakelijke gebruikers. Uw dagelijkse werkzaamheden omvatten:
- Door AI gegenereerde antwoorden evalueren op basis van uw professionele e-mailgeschiedenis en activiteit in uw zakelijke account.
- Beoordelen of antwoorden relevant, nauwkeurig, behulpzaam en passend gepersonaliseerd zijn.
- Problemen identificeren die verband houden met onjuiste personalisatie, onvoldoende onderbouwde aannames of irrelevante aanbevelingen.
- Meerdere AI-antwoorden vergelijken en bepalen welk antwoord de betere algehele gebruikerservaring biedt.
- Duidelijke, gedetailleerde en goed beredeneerde evaluatiefeedback geven ter ondersteuning van modelverbeteringen.
- Projectrichtlijnen volgen om consistente, nauwkeurige en hoogwaardige evaluaties te waarborgen.
- Gegevensprivacy waarborgen en alle vertrouwelijkheidseisen van het project naleven gedurende het gehele evaluatieproces.
Opleiding en ervaring
- Bachelordiploma of gelijkwaardige praktijkervaring in een willekeurig vakgebied.
- Ervaring met AI-evaluatie, data-annotatie, contentbeoordeling, kwaliteitsborging of een verwante analytische functie heeft de voorkeur, maar is niet vereist.
Details van het aanbod:
- Vereiste inzet: ten minste 4 uur per dag en tot 40 uur per week, met 4 uur overlap met PST.
- Type samenwerking: contractor
- Duur van de samenwerking: tot 16 weken
Beoordelingsproces -
- Kandidaten op de shortlist ontvangen een interesseformulier voor de functie.
- Definitief geselecteerde kandidaten worden gecontacteerd met de volgende stappen, waaronder toestemmings- en onboardingvereisten.
Toestemming en naleving:
U moet bereid zijn om de benodigde machtigingen voor appintegratie te verlenen die voor het project vereist zijn en alle standaardtoestemmingsformulieren en geheimhoudingsovereenkomsten in te vullen.