Over de functie
Een project gericht op het beoordelen en benchmarken van geavanceerde agentische audiomodellen tegen toonaangevende systemen. De missie van het programma is het evalueren en optimaliseren van modelprestaties voor real-world klantenservice use cases. Verantwoordelijkheden
- Creëer en voer op rollenspel gebaseerde evaluatiescenario's uit die realistische klantenservice-interacties simuleren binnen meerdere domeinen, waaronder:
- Vluchtboekingen en reisondersteuning
- Financiële dienstverlening
- Telecommunicatie en technische ondersteuning
- Draag bij aan de ontwikkeling van diverse en representatieve datasets die worden gebruikt om conversationele audio-agenten te beoordelen.
- Evalueer modelprestaties aan de hand van een gestandaardiseerde set kwalitatieve en kwantitatieve metrics.
- Zorg ervoor dat evaluaties de echte verwachtingen van klanten weerspiegelen op het gebied van duidelijkheid, efficiëntie en natuurlijke gespreksflow.
Evaluatiemetrics Modelprestaties worden beoordeeld met een combinatie van conversationele, technische en audio-specifieke criteria, waaronder maar niet beperkt tot:
- Nauwkeurigheid en efficiëntie bij taakvoltooiing
- Conversationele natuurlijkheid (toon, flow en samenhang)
- Audiobegrip en responskwaliteit
- Naleving van instructies en contextueel begrip
- Basisvaardigheid in computerprogrammering, waaronder:
- Begrip van JSON-structuren
- Bekendheid met functies en methoden
- Vermogen om te redeneren over gestructureerde data en eenvoudige logica
- Duidelijkheid in technische communicatie bij het oplossen van problemen in supportstijl
Technische en apparatuurvereisten
- Sterke verbale communicatievaardigheden in een gesimuleerde klantenservicecontext
- Engelse taalvaardigheid, inclusief vloeiendheid in alle taalvaardigheden: lezen, luisteren, schrijven en spreken.
- Toegang tot een hoogwaardige microfoon om schone, betrouwbare audio-invoer tijdens evaluaties te waarborgen
- Comfort met werken met gestructureerde prompts, evaluatierubrics en technische richtlijnen
- Apparaat dat audiorecordingsoftware kan draaien en grote technische documentatie kan openen
Wij bieden een salarisbereik van $11 tot $30.65 per uur, waarbij het exacte tarief wordt bepaald na beoordeling van je ervaring, expertise en geografische locatie. Definitieve aanbiedingsbedragen kunnen afwijken van het hierboven vermelde salarisbereik. Als contractor zorg je voor een beveiligde computer en een snelle internetverbinding; door het bedrijf gesponsorde voordelen zoals ziektekostenverzekering en PTO zijn niet van toepassing.
Dienstverband: Contract Type werkplek: Remote Senioriteitsniveau: Mid-Senior Level