Über die Stelle
Ein Projekt zur Bewertung und zum Benchmarking fortschrittlicher agentischer Audiomodelle gegenüber führenden Systemen. Die Mission des Programms ist es, die Modellleistung für reale Kundensupport-Anwendungsfälle zu bewerten und zu optimieren. Aufgaben
- Erstellung und Durchführung rollenspielbasierter Bewertungsszenarien, die realistische Kundenservice-Interaktionen in mehreren Domänen simulieren, darunter:
- Flugbuchungen und Reise-Support
- Finanzdienstleistungen
- Telekommunikation und technischer Support
- Beitrag zur Entwicklung vielfältiger und repräsentativer Datensätze, die zur Bewertung konversationeller Audio-Agenten verwendet werden.
- Bewertung der Modellleistung anhand eines standardisierten Satzes qualitativer und quantitativer Metriken.
- Sicherstellung, dass die Bewertungen die realen Kundenerwartungen an Klarheit, Effizienz und natürlichen Gesprächsfluss widerspiegeln.
Bewertungsmetriken Die Modellleistung wird anhand einer Kombination aus konversationellen, technischen und audiospezifischen Kriterien bewertet, darunter unter anderem:
- Genauigkeit und Effizienz der Aufgabenbearbeitung
- Natürlichkeit der Konversation (Ton, Fluss und Kohärenz)
- Audioverständnis und Antwortqualität
- Einhaltung von Anweisungen und kontextuelles Verständnis
- Grundlegende Computerprogrammierkenntnisse, darunter:
- Verständnis von JSON-Strukturen
- Vertrautheit mit Funktionen und Methoden
- Fähigkeit, über strukturierte Daten und einfache Logik zu schlussfolgern
- Klarheit in der technischen Kommunikation bei der Lösung von Problemen im Support-Stil
Technische Anforderungen und Ausstattungsanforderungen
- Ausgeprägte mündliche Kommunikationsfähigkeiten in einem simulierten Kundensupport-Kontext
- Englischkenntnisse einschließlich Fließfähigkeit in allen Sprachfertigkeiten: Lesen, Hören, Schreiben und Sprechen.
- Zugang zu einem hochwertigen Mikrofon, um eine saubere, zuverlässige Audioeingabe während der Bewertungen zu gewährleisten
- Sicherer Umgang mit strukturierten Prompts, Bewertungsrastern und technischen Richtlinien
- Gerät, das Audioaufnahmesoftware ausführen und große technische Dokumentationen öffnen kann
Wir bieten eine Vergütungsspanne von 11 bis 30.65 USD pro Stunde, wobei der genaue Satz nach Bewertung Ihrer Erfahrung, Expertise und geografischen Lage festgelegt wird. Die endgültigen Angebotsbeträge können von der oben genannten Vergütungsspanne abweichen. Als Auftragnehmer stellen Sie einen sicheren Computer und Hochgeschwindigkeitsinternet bereit; vom Unternehmen getragene Leistungen wie Krankenversicherung und bezahlter Urlaub gelten nicht.
Beschäftigungsart: Vertrag Arbeitsumgebung: Remote Senioritätsstufe: Mid-Senior-Level