À propos du poste
Aperçu du projet
Nous recherchons des spécialistes indépendants en évaluation audio pour un projet d'évaluation de benchmark d'IA portant sur des modèles audio agentiques avancés. À mesure que les modèles d'IA gèrent des flux de travail complexes dans ce domaine — notamment des scénarios réels de support client comme la réservation de vols, les services financiers et les télécommunications — leur précision repose entièrement sur des données d'entraînement robustes et conçues par des experts. L'objectif de ce projet est de produire de manière autonome des tâches d'évaluation de haute qualité grâce à des interactions simulées, d'auditer les sorties d'IA conversationnelle et de générer des jeux de données propres et fiables afin d'optimiser les performances des modèles.
Livrables et périmètre du projet
Opérer de manière autonome pour concevoir des cadres d'évaluation complexes et fournir des données d'entraînement structurées. Les livrables attendus comprennent :
- Exécution de scénarios de jeu de rôle : créer et exécuter des scénarios d'évaluation complexes basés sur le jeu de rôle qui simulent des interactions réalistes de service client dans les domaines du voyage, de la finance et du support technique.
- Audit des performances des modèles : évaluer les performances des modèles d'IA selon des métriques qualitatives et quantitatives standardisées, en se concentrant strictement sur l'exactitude d'achèvement des tâches, le naturel de la conversation et la compréhension audio.
- Évaluation des métriques techniques : évaluer les connaissances de base du modèle en programmation informatique, y compris sa compréhension des structures JSON, des fonctions, des méthodes et sa capacité à raisonner sur des données structurées dans un contexte de support.
- Génération de jeux de données représentatifs : contribuer au développement de jeux de données audio diversifiés et de haute qualité qui reflètent fidèlement les attentes réelles des clients en matière de clarté, d'efficacité et de fluidité naturelle de la conversation.
Expertise requise
Pour accomplir avec succès les livrables de ce projet, les sous-traitants doivent posséder une connaissance approfondie du secteur afin de concevoir des scénarios professionnels réalistes. Les compétences de base comprennent :
- Une expertise professionnelle démontrable dans le support client complexe, le dépannage technique ou l'évaluation d'IA conversationnelle.
- Une maîtrise native ou bilingue de la langue cible, y compris la fluidité dans toutes les compétences linguistiques (lecture, écoute, écriture et expression orale), ainsi que de solides compétences analytiques et de communication verbale pour mener avec assurance des jeux de rôle simulés de support client.
- Des connaissances de base en programmation informatique, en particulier une compréhension aisée des structures JSON, des fonctions, des méthodes et de la logique simple.
- Une approche méticuleuse et soucieuse du détail dans le travail avec des invites structurées, des grilles d'évaluation complexes et des directives techniques.
- Équipement requis : accès à un microphone de haute qualité pour garantir une entrée audio propre et fiable lors des évaluations vocales.
Nous proposons une fourchette de rémunération de 6 à 65 $ par heure, le taux exact étant déterminé après évaluation de votre expérience, de votre expertise et de votre situation géographique. Les montants des offres finales peuvent varier par rapport à la fourchette de rémunération indiquée ci-dessus. En tant que sous-traitant, vous devrez fournir un ordinateur sécurisé et un accès Internet haut débit ; les avantages parrainés par l'entreprise tels que l'assurance santé et les congés payés ne s'appliquent pas.
Type d'engagement : Freelance / Sous-traitant indépendant
Type de lieu de travail : À distance