Over de functie
Kwaliteitsbeoordelaar – Engels
Help de toekomst van AI vorm te geven door reacties van geavanceerde AI-modellen te beoordelen en te vergelijken.
- Locatie: Op afstand
- Type: Zelfstandig contractor / Deeltijd
- Verbintenis: tot 3 maanden
- Vergoeding: $7-$12/uur
Over de rol
Bij Anyone AI creëren we hoogwaardige trainings- en evaluatiedata voor toonaangevende AI-modellen.
We zoeken experts die vloeiend Engels spreken met sterke schrijfvaardigheden, kritisch denkvermogen en uitgebreide praktijkervaring met het gebruik van grote taalmodellen (LLM's).
In deze rol werk je rechtstreeks met AI-modellen en vergelijk je hun reacties zij aan zij om te bepalen welke het beste voldoet aan de behoeften van de gebruiker. Je beoordelingen en schriftelijke toelichtingen helpen de nauwkeurigheid, bruikbaarheid en betrouwbaarheid van AI-systemen te verbeteren.
Wat je gaat doen
- Met verschillende AI-modellen en tools werken bij een breed scala aan prompts en onderwerpen.
- Twee of meer door AI gegenereerde reacties zij aan zij vergelijken.
- Nauwkeurigheid, bruikbaarheid, het opvolgen van instructies, duidelijkheid en de algehele kwaliteit van reacties beoordelen.
- Gedetailleerde beoordelingsrichtlijnen en meerstaps evaluatieworkflows volgen.
- Duidelijke, goed onderbouwde toelichtingen schrijven ter ondersteuning van je beoordelingsbeslissingen.
- Evaluatiecriteria consistent toepassen across taken.
Wat we zoeken
- Vloeiendheid in Engels, met sterk leesbegrip en sterke schrijfvaardigheden.
- Uitgebreide praktijkervaring met het gebruik van LLM's en het kritisch beoordelen van hun output.
- Sterk analytisch oordeelsvermogen en het vermogen om meerdere dimensies van reactiekwaliteit af te wegen.
- Uitstekende aandacht voor detail en het vermogen om complexe instructies zorgvuldig op te volgen.
- Vermogen om beoordelingsbeslissingen duidelijk en overtuigend toe te lichten.
- Zich comfortabel kunnen afwisselen tussen AI-modellen, tools en meerstaps workflows.
Prettig om te hebben
- Eerdere ervaring met het beoordelen van AI-reacties, data-annotatie of kwaliteitsborging.
- Ervaring met redactie, onderzoek, factchecking of analytisch schrijven.
- Bekendheid met beoordelingsrubrieken en zij-aan-zij vergelijkingstaken.