Über die Stelle
Projektübersicht
Wir suchen unabhängige Audio-Evaluations-Spezialisten für ein KI-Benchmark-Evaluierungsprojekt zur Bewertung fortschrittlicher agentischer Audiomodelle. Da KI-Modelle in diesem Bereich zunehmend komplexe Workflows bewältigen – insbesondere realistische Kundensupport-Szenarien wie Flugbuchungen, Finanzdienstleistungen und Telekommunikation – hängt ihre Genauigkeit vollständig von robusten, von Experten erstellten Trainingsdaten ab. Ziel dieses Projekts ist es, eigenständig hochwertige Evaluierungsaufgaben durch simulierte Interaktionen zu erstellen, die Ausgaben konversationeller KI zu prüfen und saubere, zuverlässige Datensätze zur Optimierung der Modellleistung zu generieren.
Projektliefergegenstände & Umfang
Eigenständiges Arbeiten zur Gestaltung komplexer Evaluierungsframeworks und Bereitstellung strukturierter Trainingsdaten. Zu den erwarteten Liefergegenständen gehören:
- Durchführung von Rollenspiel-Szenarien: Erstellung und Durchführung komplexer, auf Rollenspielen basierender Evaluierungsszenarien, die realistische Kundenservice-Interaktionen in den Bereichen Reisen, Finanzen und technischer Support simulieren.
- Prüfung der Modellleistung: Bewertung der KI-Modellleistung anhand standardisierter qualitativer und quantitativer Metriken mit striktem Fokus auf die Genauigkeit der Aufgabenerfüllung, die Natürlichkeit der Konversation und das Audioverständnis.
- Bewertung technischer Metriken: Beurteilung der grundlegenden Programmierkenntnisse des Modells, einschließlich seines Verständnisses von JSON-Strukturen, Funktionen, Methoden und seiner Fähigkeit, über strukturierte Daten im Support-Kontext zu schlussfolgern.
- Generierung repräsentativer Datensätze: Beitrag zur Entwicklung vielfältiger, hochwertiger Audiodatensätze, die die realen Kundenerwartungen an Klarheit, Effizienz und natürlichen Gesprächsfluss genau widerspiegeln.
Erforderliche Expertise
Um die Liefergegenstände dieses Projekts erfolgreich zu erfüllen, müssen Auftragnehmer über fundierte Branchenkenntnisse verfügen, um realistische professionelle Szenarien zu gestalten. Die Kernkompetenzen umfassen:
- Nachweisbare berufliche Expertise in komplexem Kundensupport, technischer Fehlerbehebung oder der Evaluierung konversationeller KI.
- Muttersprachliche oder zweisprachige Kenntnisse in der Zielsprache, einschließlich Fließfähigkeit in allen Sprachfertigkeiten (Lesen, Hören, Schreiben und Sprechen), sowie starke analytische und verbale Kommunikationsfähigkeiten, um simulierte Kundensupport-Rollenspiele sicher durchzuführen.
- Grundlegende Programmierkenntnisse, insbesondere ein sicheres Verständnis von JSON-Strukturen, Funktionen, Methoden und einfacher Logik.
- Eine sorgfältige, detailorientierte Arbeitsweise mit strukturierten Prompts, komplexen Bewertungsrubriken und technischen Richtlinien.
- Erforderliche Ausstattung: Zugang zu einem hochwertigen Mikrofon, um bei Sprachbewertungen eine saubere, zuverlässige Audioeingabe zu gewährleisten.
Wir bieten eine Vergütung von 6 bis 65 USD pro Stunde, wobei der genaue Satz nach Bewertung Ihrer Erfahrung, Expertise und Ihres geografischen Standorts festgelegt wird. Die endgültigen Angebotsbeträge können von der oben angegebenen Vergütungsspanne abweichen. Als Auftragnehmer stellen Sie einen sicheren Computer und Hochgeschwindigkeitsinternet; firmengesponserte Leistungen wie Krankenversicherung und bezahlter Urlaub gelten nicht.
Beschäftigungsart: Freelance / Unabhängiger Auftragnehmer
Arbeitsplatztyp: Remote