À propos du poste
Aperçu du projet
Nous recherchons des spécialistes indépendants en évaluation audio pour un projet d'évaluation de benchmarks d'IA portant sur des modèles audio agentiques avancés. À mesure que les modèles d'IA prennent en charge des flux de travail complexes dans ce domaine — en particulier des scénarios réels de support client comme les réservations de vols, les services financiers et les télécommunications — leur exactitude repose entièrement sur des données d'entraînement robustes, élaborées par des experts. L'objectif de ce projet est de produire de manière autonome des tâches d'évaluation de haute qualité au moyen d'interactions simulées, d'auditer les sorties d'IA conversationnelle et de générer des jeux de données propres et fiables afin d'optimiser les performances des modèles.
Livrables et périmètre du projet
Travailler de manière autonome pour concevoir des cadres d'évaluation complexes et fournir des données d'entraînement structurées. Les livrables attendus comprennent :
- Exécution de scénarios de jeu de rôle : créer et exécuter des scénarios d'évaluation complexes basés sur le jeu de rôle, simulant des interactions réalistes de service client dans les domaines du voyage, de la finance et du support technique.
- Audit des performances des modèles : évaluer les performances des modèles d'IA selon des métriques qualitatives et quantitatives standardisées, en se concentrant strictement sur l'exactitude d'achèvement des tâches, le naturel conversationnel et la compréhension audio.
- Évaluation des métriques techniques : évaluer les notions de base de programmation informatique du modèle, y compris sa compréhension des structures JSON, des fonctions, des méthodes et sa capacité à raisonner sur des données structurées dans un contexte de support.
- Génération de jeux de données représentatifs : contribuer au développement de jeux de données audio diversifiés et de haute qualité qui reflètent fidèlement les attentes réelles des clients en matière de clarté, d'efficacité et de fluidité conversationnelle naturelle.
Expertise requise
Pour mener à bien les livrables de ce projet, les prestataires doivent posséder une connaissance approfondie du secteur afin de concevoir des scénarios professionnels réalistes. Les compétences essentielles comprennent :
- Une expertise professionnelle démontrable dans le support client complexe, le dépannage technique ou l'évaluation d'IA conversationnelle.
- Une maîtrise native ou bilingue de la langue cible, y compris la fluidité dans toutes les compétences linguistiques (lecture, écoute, écriture et expression orale), ainsi que de solides compétences analytiques et de communication verbale pour mener avec assurance des jeux de rôle simulés de support client.
- Des notions de base en programmation informatique, en particulier une compréhension aisée des structures JSON, des fonctions, des méthodes et d'une logique simple.
- Une approche méticuleuse et soucieuse du détail dans le travail avec des invites structurées, des grilles d'évaluation complexes et des directives techniques.
- Équipement requis : accès à un microphone de haute qualité pour garantir une entrée audio propre et fiable lors des évaluations vocales.
Nous proposons une fourchette de rémunération de 6 à 65 $ par heure, le taux exact étant déterminé après évaluation de votre expérience, de votre expertise et de votre situation géographique. Les montants des offres finales peuvent varier par rapport à la fourchette de rémunération indiquée ci-dessus. En tant que prestataire, vous fournirez un ordinateur sécurisé et une connexion Internet à haut débit ; les avantages parrainés par l'entreprise tels que l'assurance santé et les congés payés ne s'appliquent pas.
Type d'engagement : Freelance / Prestataire indépendant
Type de lieu de travail : À distance