À propos du poste
Intitulé du poste : Formateur d'IA senior
Type de contrat : Prestataire indépendant, à distance
Lieu : Amérique du Nord et Allemagne.
micro1 fait appel à des formateurs d'IA seniors pour collaborer à un projet mené pour un client, qui vise à améliorer la qualité des systèmes d'IA grâce à un entraînement et à une évaluation de modèles de niveau expert. Dans ce rôle, vous mettrez votre expertise de généraliste et votre expérience pratique des produits d'IA au service de l'entraînement des systèmes d'IA de nouvelle génération. Votre travail déterminera la manière dont les modèles apprennent, raisonnent et fonctionnent, grâce à des contributions concrètes de haute qualité.
Responsabilités principales :
- Évaluer les performances des outils de chat et de recherche d'IA dans des conditions standardisées et reproductibles.
- Appliquer des directives de notation détaillées pour évaluer, classer et annoter avec exactitude les réponses des modèles, en fournissant des retours structurés qui améliorent les performances du modèle.
- Rédiger, affiner et soumettre à des tests de résistance des prompts qui sondent les capacités du modèle, en garantissant la couverture de scénarios variés, de cas limites et d'intentions d'utilisateur.
- Vérifier la cohérence et l'exactitude des évaluations, en corrigeant les écarts entre les notes et la grille ou les directives sous-jacentes.
- Utiliser des outils et des plateformes d'entraînement d'IA pour consigner les constats et soumettre des jeux de données d'évaluation conformément aux normes et aux jalons du projet.
- Collaborer avec les formateurs et les contributeurs du projet pour lever les ambiguïtés, affiner les directives et garantir la cohérence des évaluations au sein de l'équipe.
- Participer à des revues de qualité continues, en intégrant les retours pour maintenir des normes rigoureuses d'entraînement et d'annotation.
Compétences et qualifications requises :
- Souci du détail et exactitude exceptionnels dans l'examen et l'évaluation de contenus générés par l'IA.
- Solides compétences de communication écrite et orale pour une collaboration efficace, le reporting et des points d'avancement rapides sur les progrès et les difficultés.
- Capacités démontrées de gestion du temps et d'auto-organisation pour une participation autonome à un projet à distance.
- État d'esprit analytique et orienté résolution de problèmes, avec une approche proactive pour surmonter les difficultés d'évaluation.
Qualifications souhaitées :
- Expérience avérée de l'entraînement de modèles d'IA, du RLHF, de l'étiquetage de données ou de projets d'évaluation similaires centrés sur les données.
- Connaissance des produits et outils d'IA, y compris l'ingénierie de prompts et la compréhension des comportements et des limites des modèles.
- Expérience de la rédaction de grilles d'évaluation, de la notation de productions de modèles ou de la revue de réponses d'IA du point de vue de l'exactitude, de l'utilité et de la sécurité.
- Parcours en entraînement d'IA, en préparation de données d'apprentissage automatique ou en projets axés sur les LLM (fortement préféré).