Über die Stelle
Ein Projekt zur Bewertung und zum Benchmarking fortgeschrittener agentischer Audio-Modelle im Vergleich zu führenden Systemen. Das Ziel des Programms ist es, die Modellleistung für praxisnahe Kundensupport-Anwendungsfälle zu bewerten und zu optimieren. Aufgaben
- Erstellung und Durchführung rollenspielbasierter Bewertungsszenarien, die realistische Kundenservice-Interaktionen in verschiedenen Bereichen simulieren, darunter:
- Flugbuchungen und Reise-Support
- Finanzdienstleistungen
- Telekommunikation und technischer Support
- Mitwirkung an der Entwicklung vielfältiger und repräsentativer Datensätze zur Bewertung konversationeller Audio-Agenten.
- Bewertung der Modellleistung anhand eines standardisierten Sets qualitativer und quantitativer Metriken.
- Sicherstellung, dass die Bewertungen die Erwartungen echter Kunden an Klarheit, Effizienz und natürlichen Gesprächsfluss widerspiegeln.
Bewertungsmetriken Die Modellleistung wird anhand einer Kombination aus konversationellen, technischen und audiospezifischen Kriterien bewertet, darunter unter anderem:
- Genauigkeit und Effizienz der Aufgabenbewältigung
- Natürlichkeit der Konversation (Ton, Fluss und Kohärenz)
- Audioverständnis und Antwortqualität
- Einhaltung von Anweisungen und kontextuelles Verständnis
- Grundlegende Programmierkenntnisse, darunter:
- Verständnis von JSON-Strukturen
- Vertrautheit mit Funktionen und Methoden
- Fähigkeit, über strukturierte Daten und einfache Logik zu reflektieren
- Klarheit in der technischen Kommunikation bei supportorientierter Problemlösung
Technische Anforderungen und Ausstattung
- Ausgeprägte mündliche Kommunikationsfähigkeiten in einem simulierten Kundensupport-Kontext
- Englischkenntnisse einschließlich Fließfähigkeit in allen Sprachfertigkeiten: Lesen, Hören, Schreiben und Sprechen.
- Zugang zu einem hochwertigen Mikrofon für eine saubere, zuverlässige Audioeingabe während der Bewertungen
- Sicherer Umgang mit strukturierten Prompts, Bewertungsrubriken und technischen Richtlinien
- Gerät, das Audioaufnahmesoftware ausführen und umfangreiche technische Dokumentationen öffnen kann
Wir bieten eine Vergütungsspanne von $11 bis $30.65 pro Stunde, wobei der genaue Satz nach Bewertung Ihrer Erfahrung, Expertise und Ihres geografischen Standorts festgelegt wird. Die endgültigen Angebotsbeträge können von der oben genannten Vergütungsspanne abweichen. Als Auftragnehmer stellen Sie einen sicheren Computer und Highspeed-Internet zur Verfügung; firmengesponserte Leistungen wie Krankenversicherung und bezahlter Urlaub gelten nicht.
Beschäftigungsart: Vertrag Arbeitsplatztyp: Remote Senioritätslevel: Mid-Senior-Level