Over de functie
Projectoverzicht
Wij zijn op zoek naar onafhankelijke Audio Evaluatie Specialisten voor een AI-benchmark evaluatieproject dat geavanceerde agentische audiomodellen beoordeelt. Naarmate AI-modellen steeds vaker complexe workflows in dit domein afhandelen—met name realistische klantenservice-scenario's zoals vluchtboekingen, financiële diensten en telecommunicatie—is hun nauwkeurigheid volledig afhankelijk van robuuste, door experts samengestelde trainingsdata. Het doel van dit project is om autonoom hoogwaardige evaluatietaken te produceren via gesimuleerde interacties, conversationele AI-outputs te auditen en schone, betrouwbare datasets te genereren om de modelprestaties te optimaliseren.
Projectdeliverables & scope
Werk autonoom om complexe evaluatiekaders te ontwerpen en gestructureerde trainingsdata te leveren. Verwachte deliverables zijn onder meer:
- Uitvoering van rollenspel-scenario's: Het creëren en uitvoeren van complexe, op rollenspel gebaseerde evaluatiescenario's die realistische klantenservice-interacties simuleren binnen de domeinen reizen, financiën en technische ondersteuning.
- Auditing van modelprestaties: Het evalueren van AI-modelprestaties aan de hand van gestandaardiseerde kwalitatieve en kwantitatieve metrieken, met strikte focus op nauwkeurigheid van taakvoltooiing, natuurlijkheid van het gesprek en audio-begrip.
- Evaluatie van technische metrieken: Het beoordelen van de basiskennis van computerprogrammering van het model, inclusief het begrip van JSON-structuren, functies, methoden en het vermogen om te redeneren over gestructureerde data binnen een supportcontext.
- Generatie van representatieve datasets: Bijdragen aan de ontwikkeling van diverse, hoogwaardige audiodatasets die de werkelijke verwachtingen van klanten ten aanzien van duidelijkheid, efficiëntie en natuurlijke gespreksflow accuraat weerspiegelen.
Vereiste expertise
Om de deliverables van dit project succesvol te kunnen vervullen, moeten Contractors diepgaande branchekennis bezitten om realistische professionele scenario's te creëren. De kernvaardigheden omvatten:
- Aantoonbare professionele expertise in complexe klantenondersteuning, technische probleemoplossing of evaluatie van conversationele AI.
- Moedertaal- of tweetalige vaardigheid in de doeltaal, inclusief vloeiendheid in alle taalvaardigheden (lezen, luisteren, schrijven en spreken), samen met sterke analytische en verbale communicatievaardigheden om met vertrouwen gesimuleerde klantenservice-rollenspellen uit te voeren.
- Basiskennis van computerprogrammering, met name een comfortable begrip van JSON-structuren, functies, methoden en eenvoudige logica.
- Een nauwgezette, detailgerichte aanpak bij het werken met gestructureerde prompts, complexe evaluatierubrieken en technische richtlijnen.
- Vereiste apparatuur: Toegang tot een hoogwaardige microfoon om schone, betrouwbare audio-invoer tijdens stemevaluaties te waarborgen.
Wij bieden een salarisbereik van $6 tot $65 per uur, waarbij het exacte tarief wordt bepaald na evaluatie van uw ervaring, expertise en geografische locatie. De uiteindelijke aanbiedingsbedragen kunnen afwijken van het hierboven vermelde salarisbereik. Als contractor zorgt u voor een beveiligde computer en hogesnelheidsinternet; door het bedrijf gesponsorde voordelen zoals ziektekostenverzekering en betaald verlof zijn niet van toepassing.
Type dienstverband: Freelance / Independent Contractor
Werkplektype: Op afstand
Senioriteitsniveau: Mid-Senior Level