À propos du poste
Un projet dédié à l'évaluation et au benchmarking de modèles audio agentiques avancés par rapport aux systèmes leaders. La mission du programme est d'évaluer et d'optimiser les performances des modèles pour des cas d'usage réels de support client. Responsabilités
- Créer et exécuter des scénarios d'évaluation basés sur le jeu de rôle qui simulent des interactions réalistes de service client dans plusieurs domaines, notamment :
- Réservations de vols et support voyage
- Services financiers
- Télécommunications et support technique
- Contribuer au développement d'ensembles de données diversifiés et représentatifs utilisés pour évaluer les agents audio conversationnels.
- Évaluer les performances des modèles selon un ensemble standardisé de métriques qualitatives et quantitatives.
- Veiller à ce que les évaluations reflètent les attentes réelles des clients en matière de clarté, d'efficacité et de fluidité conversationnelle naturelle.
Métriques d'évaluation Les performances des modèles sont évaluées à l'aide d'une combinaison de critères conversationnels, techniques et spécifiques à l'audio, incluant notamment :
- Précision et efficacité de l'accomplissement des tâches
- Naturalité conversationnelle (ton, fluidité et cohérence)
- Compréhension audio et qualité des réponses
- Respect des instructions et compréhension contextuelle
- Notions de base en programmation informatique, notamment :
- Compréhension des structures JSON
- Familiarité avec les fonctions et méthodes
- Capacité à raisonner sur des données structurées et une logique simple
- Clarté de la communication technique lors de la résolution de problèmes de type support
Exigences techniques et matérielles
- Solides compétences en communication verbale dans un contexte simulé de support client
- Maîtrise de l'anglais, y compris la fluidité dans toutes les compétences linguistiques : lecture, écoute, écriture et expression orale.
- Accès à un microphone de haute qualité pour garantir une entrée audio claire et fiable pendant les évaluations
- Aisance à travailler avec des prompts structurés, des grilles d'évaluation et des directives techniques
- Appareil capable d'exécuter un logiciel d'enregistrement audio et d'ouvrir de volumineux documents techniques
Nous proposons une fourchette de rémunération de 11 $ à 30.65 $ par heure, le taux exact étant déterminé après évaluation de votre expérience, de votre expertise et de votre situation géographique. Les montants finaux de l'offre peuvent varier par rapport à la fourchette de rémunération indiquée ci-dessus. En tant que prestataire, vous fournirez un ordinateur sécurisé et une connexion Internet à haut débit ; les avantages parrainés par l'entreprise tels que l'assurance santé et les congés payés ne s'appliquent pas.
Type d'emploi : Contrat Type de lieu de travail : À distance Niveau de séniorité : Niveau intermédiaire à confirmé