Über die Stelle
Projektübersicht
Wir suchen unabhängige Audio-Evaluationsspezialisten für ein KI-Benchmark-Evaluierungsprojekt zur Bewertung fortschrittlicher agentischer Audiomodelle. Da KI-Modelle zunehmend komplexe Workflows in diesem Bereich bewältigen – insbesondere realistische Kundensupport-Szenarien wie Flugbuchungen, Finanzdienstleistungen und Telekommunikation – hängt ihre Genauigkeit vollständig von robusten, von Experten erstellten Trainingsdaten ab. Das Ziel dieses Projekts ist es, eigenständig hochwertige Evaluierungsaufgaben durch simulierte Interaktionen zu erstellen, Gesprächs-KI-Ausgaben zu prüfen und saubere, zuverlässige Datensätze zu generieren, um die Modellleistung zu optimieren.
Projektlieferungen & Umfang
Eigenständiges Arbeiten zur Gestaltung komplexer Evaluierungsframeworks und Bereitstellung strukturierter Trainingsdaten. Zu den erwarteten Lieferungen gehören:
- Durchführung von Rollenspiel-Szenarien: Erstellung und Durchführung komplexer, rollenspielbasierter Evaluierungsszenarien, die realistische Kundenservice-Interaktionen in den Bereichen Reisen, Finanzen und technischer Support simulieren.
- Prüfung der Modellleistung: Bewertung der KI-Modellleistung anhand standardisierter qualitativer und quantitativer Metriken, mit striktem Fokus auf die Genauigkeit der Aufgabenausführung, die Natürlichkeit der Konversation und das Audioverständnis.
- Bewertung technischer Metriken: Beurteilung der grundlegenden Programmierkompetenz des Modells, einschließlich seines Verständnisses von JSON-Strukturen, Funktionen, Methoden und seiner Fähigkeit, über strukturierte Daten im Support-Kontext zu schlussfolgern.
- Erstellung repräsentativer Datensätze: Beitrag zur Entwicklung vielfältiger, hochwertiger Audiodatensätze, die die realen Kundenerwartungen an Klarheit, Effizienz und natürlichen Gesprächsfluss genau widerspiegeln.
Erforderliche Expertise
Um die Lieferungen dieses Projekts erfolgreich zu erfüllen, müssen Auftragnehmer über fundiertes Branchenwissen verfügen, um realistische professionelle Szenarien zu gestalten. Die Kernkompetenzen umfassen:
- Nachweisbare berufliche Expertise in komplexem Kundensupport, technischer Fehlerbehebung oder der Evaluierung von Gesprächs-KI.
- Muttersprachliche oder zweisprachige Kenntnisse in der Zielsprache, einschließlich Fließfähigkeit in allen Sprachfertigkeiten (Lesen, Hören, Schreiben und Sprechen), sowie ausgeprägte analytische und verbale Kommunikationsfähigkeiten, um simulierte Kundensupport-Rollenspiele souverän durchzuführen.
- Grundlegende Programmierkompetenz, insbesondere ein sicheres Verständnis von JSON-Strukturen, Funktionen, Methoden und einfacher Logik.
- Eine sorgfältige, detailorientierte Arbeitsweise mit strukturierten Prompts, komplexen Bewertungsrubriken und technischen Richtlinien.
- Erforderliche Ausstattung: Zugang zu einem hochwertigen Mikrofon, um bei Sprachbewertungen eine saubere, zuverlässige Audioeingabe zu gewährleisten.
Wir bieten eine Vergütungsspanne von $6 bis $65 pro Stunde, wobei der genaue Satz nach Bewertung Ihrer Erfahrung, Expertise und Ihres geografischen Standorts festgelegt wird. Die endgültigen Angebotsbeträge können von der oben genannten Vergütungsspanne abweichen. Als Auftragnehmer stellen Sie einen sicheren Computer und Hochgeschwindigkeitsinternet bereit; firmensponsorierte Leistungen wie Krankenversicherung und bezahlter Urlaub gelten nicht.
Art der Anstellung: Freelance / Unabhängiger Auftragnehmer
Arbeitsort: Remote
Senioritätslevel: Mittleres bis höheres Level