Over de functie
Projectoverzicht
We zoeken onafhankelijke specialisten op het gebied van audio-evaluatie voor een project voor de evaluatie van AI-benchmarks, waarbij geavanceerde agentische audiomodellen worden beoordeeld. Naarmate AI-modellen steeds vaker complexe workflows in dit domein afhandelen – met name realistische klantondersteuningsscenario's zoals vliegtuigboekingen, financiële dienstverlening en telecommunicatie – is hun nauwkeurigheid volledig afhankelijk van robuuste, door experts opgestelde trainingsgegevens. Het doel van dit project is om autonoom hoogwaardige evaluatietaken te produceren via gesimuleerde interacties, de output van conversationele AI te auditen en schone, betrouwbare datasets te genereren om de modelprestaties te optimaliseren.
Projectopleveringen en -scope
Werk autonoom om complexe evaluatiekaders te ontwerpen en gestructureerde trainingsgegevens te leveren. Verwachte opleveringen zijn onder meer:
- Uitvoering van rollenspelscenario's: Het creëren en uitvoeren van complexe, op rollenspel gebaseerde evaluatiescenario's die realistische klantenservice-interacties simuleren op het gebied van reizen, financiën en technische ondersteuning.
- Auditing van modelprestaties: Het evalueren van de prestaties van AI-modellen aan de hand van gestandaardiseerde kwalitatieve en kwantitatieve meetwaarden, met strikte focus op nauwkeurigheid van taakvoltooiing, natuurlijkheid van gesprekken en audiobegrip.
- Evaluatie van technische meetwaarden: Het beoordelen van de basiskennis van computerprogrammeren van het model, inclusief het begrip van JSON-structuren, functies, methoden en het vermogen om te redeneren over gestructureerde gegevens binnen een ondersteuningscontext.
- Generatie van representatieve datasets: Bijdragen aan de ontwikkeling van diverse, hoogwaardige audiodatasets die de echte verwachtingen van klanten ten aanzien van duidelijkheid, efficiëntie en natuurlijke gespreksflow nauwkeurig weerspiegelen.
Vereiste expertise
Om de opleveringen van dit project met succes te realiseren, moeten contractanten diepgaande branchekennis bezitten om realistische professionele scenario's te creëren. De kernvaardigheden omvatten:
- Aantoonbare professionele expertise in complexe klantenservice, technische probleemoplossing of evaluatie van conversationele AI.
- Moedertaal- of tweetalige vaardigheid in de doeltaal, inclusief vloeiendheid in alle taalvaardigheden (lezen, luisteren, schrijven en spreken), samen met sterke analytische en verbale communicatievaardigheden om met vertrouwen gesimuleerde rollenspellen voor klantenservice uit te voeren.
- Basiskennis van computerprogrammeren, met name een comfortabel begrip van JSON-structuren, functies, methoden en eenvoudige logica.
- Een nauwgezette, detailgerichte aanpak bij het werken met gestructureerde prompts, complexe evaluatierubrieken en technische richtlijnen.
- Vereiste apparatuur: Toegang tot een hoogwaardige microfoon om schone, betrouwbare audio-invoer tijdens stemevaluaties te garanderen.
We bieden een uurtarief van $6 tot $65, waarbij het exacte tarief wordt bepaald na evaluatie van je ervaring, expertise en geografische locatie. De uiteindelijke aanbiedingsbedragen kunnen afwijken van het hierboven vermelde tariefbereik. Als contractant zorg je voor een beveiligde computer en een snelle internetverbinding; door het bedrijf gesponsorde voordelen zoals ziektekostenverzekering en betaald verlof zijn niet van toepassing.
Type samenwerking: Freelance / Onafhankelijke contractant
Type werkplek: Op afstand