Über die Stelle
Projektübersicht
Wir suchen unabhängige Audio-Evaluierungs-Spezialisten für ein KI-Benchmark-Evaluierungsprojekt zur Bewertung fortgeschrittener agentischer Audiomodelle. Da KI-Modelle zunehmend komplexe Arbeitsabläufe in diesem Bereich bewältigen – insbesondere realistische Kundensupport-Szenarien wie Flugbuchungen, Finanzdienstleistungen und Telekommunikation – hängt ihre Genauigkeit vollständig von robusten, von Experten erstellten Trainingsdaten ab. Das Ziel dieses Projekts ist es, autonom hochwertige Evaluierungsaufgaben durch simulierte Interaktionen zu erstellen, die Ausgaben konversationeller KI zu prüfen und saubere, zuverlässige Datensätze zur Optimierung der Modellleistung zu generieren.
Projektlieferungen & Umfang
Eigenständiges Arbeiten zur Konzeption komplexer Evaluierungsframeworks und Bereitstellung strukturierter Trainingsdaten. Zu den erwarteten Lieferungen gehören:
- Durchführung von Rollenspiel-Szenarien: Erstellung und Durchführung komplexer, auf Rollenspielen basierender Evaluierungsszenarien, die realistische Kundenservice-Interaktionen in den Bereichen Reisen, Finanzen und technischer Support simulieren.
- Prüfung der Modellleistung: Bewertung der KI-Modellleistung anhand standardisierter qualitativer und quantitativer Metriken mit striktem Fokus auf die Genauigkeit der Aufgabenausführung, die Natürlichkeit der Konversation und das Audioverständnis.
- Bewertung technischer Metriken: Beurteilung der grundlegenden Programmierkenntnisse des Modells, einschließlich seines Verständnisses von JSON-Strukturen, Funktionen, Methoden und seiner Fähigkeit, über strukturierte Daten im Support-Kontext zu schlussfolgern.
- Erstellung repräsentativer Datensätze: Beitrag zur Entwicklung vielfältiger, hochwertiger Audiodatensätze, die die realen Kundenerwartungen an Klarheit, Effizienz und natürlichen Gesprächsfluss genau widerspiegeln.
Erforderliche Fachkenntnisse
Um die Lieferungen dieses Projekts erfolgreich zu erfüllen, müssen Auftragnehmer über fundierte Branchenkenntnisse verfügen, um realistische professionelle Szenarien zu gestalten. Die Kernkompetenzen umfassen:
- Nachweisbare berufliche Expertise in komplexem Kundensupport, technischer Fehlerbehebung oder der Evaluierung konversationeller KI.
- Muttersprachliche oder zweisprachige Kenntnisse in der Zielsprache, einschließlich Fließfähigkeit in allen Sprachfertigkeiten (Lesen, Hören, Schreiben und Sprechen), sowie starke analytische und verbale Kommunikationsfähigkeiten, um simulierte Kundensupport-Rollenspiele souverän durchzuführen.
- Grundlegende Programmierkenntnisse, insbesondere ein sicheres Verständnis von JSON-Strukturen, Funktionen, Methoden und einfacher Logik.
- Eine akribische, detailorientierte Arbeitsweise mit strukturierten Prompts, komplexen Bewertungsrubriken und technischen Richtlinien.
- Erforderliche Ausstattung: Zugang zu einem hochwertigen Mikrofon, um bei Sprachbewertungen eine saubere, zuverlässige Audioeingabe zu gewährleisten.
Wir bieten eine Vergütungsspanne von $6 bis $65 pro Stunde, wobei der genaue Satz nach Bewertung Ihrer Erfahrung, Expertise und geografischen Lage festgelegt wird. Die endgültigen Angebotsbeträge können von der oben genannten Vergütungsspanne abweichen. Als Auftragnehmer stellen Sie einen sicheren Computer und eine Hochgeschwindigkeits-Internetverbindung; firmengesponserte Leistungen wie Krankenversicherung und bezahlter Urlaub gelten nicht.
Vertragsart: Freelance / Unabhängiger Auftragnehmer
Arbeitsplatzart: Remote
Senioritätsstufe: Mid-Senior-Level