Over de functie
Een project gericht op het beoordelen en benchmarken van geavanceerde agentische audiomodellen ten opzichte van toonaangevende systemen. De missie van het programma is om de modelprestaties te evalueren en te optimaliseren voor praktijkgerichte klantenondersteuning. Verantwoordelijkheden
- Het creëren en uitvoeren van op rollenspel gebaseerde evaluatiescenario's die realistische klantenservice-interacties simuleren in meerdere domeinen, waaronder:
- Vluchtboekingen en reisondersteuning
- Financiële diensten
- Telecommunicatie en technische ondersteuning
- Bijdragen aan de ontwikkeling van diverse en representatieve datasets die worden gebruikt om conversationele audio-agenten te beoordelen.
- De modelprestaties evalueren aan de hand van een gestandaardiseerde set kwalitatieve en kwantitatieve metrieken.
- Zorgen dat evaluaties de verwachtingen van echte klanten weerspiegelen op het gebied van duidelijkheid, efficiëntie en een natuurlijke gespreksflow.
Evaluatiemetrieken De modelprestaties worden beoordeeld aan de hand van een combinatie van conversationele, technische en audiospecifieke criteria, waaronder maar niet beperkt tot:
- Nauwkeurigheid en efficiëntie bij taakvoltooiing
- Conversationele natuurlijkheid (toon, flow en samenhang)
- Audiobegrip en responskwaliteit
- Naleving van instructies en contextueel begrip
- Basiskennis van computerprogrammering, waaronder:
- Begrip van JSON-structuren
- Bekendheid met functies en methoden
- Vermogen om te redeneren over gestructureerde data en eenvoudige logica
- Duidelijkheid in technische communicatie bij het oplossen van problemen in ondersteuningsstijl
Technische en apparatuurvereisten
- Sterke verbale communicatievaardigheden in een gesimuleerde klantenondersteuningscontext
- Engelse taalvaardigheid, inclusief vloeiendheid in alle taalvaardigheden: lezen, luisteren, schrijven en spreken.
- Toegang tot een hoogwaardige microfoon om schone, betrouwbare audio-invoer tijdens evaluaties te waarborgen
- Comfort met werken met gestructureerde prompts, evaluatierubrieken en technische richtlijnen
- Apparaat dat audioprogrammatuur kan draaien en grote technische documentatie kan openen
We bieden een uurtarief van $11 tot $30.65, waarbij het exacte tarief wordt bepaald na beoordeling van je ervaring, expertise en geografische locatie. De uiteindelijke aanbiedingsbedragen kunnen afwijken van het hierboven vermelde tariefbereik. Als contractor zorg je zelf voor een beveiligde computer en een snelle internetverbinding; door het bedrijf gesponsorde voordelen zoals ziektekostenverzekering en betaald verlof zijn niet van toepassing.
Dienstverband: Contract Werkplektype: Op afstand Senioriteitsniveau: Mid-Senior Level