Responsable de l'assurance qualité en histoire (QAL)

Dans ce rôle de sous-traitant horaire et à distance, vous travaillerez en tant que Responsable de l'assurance qualité en histoire (QAL) pour superviser la qualité, la cohérence et la performance des entraîneurs sur des projets d'entraînement d'IA axés sur l'histoire. Vous examinerez le contenu historique généré par l'IA ainsi que le travail des entraîneurs et de l'assurance qualité, évaluerez la qualité des productions par rapport aux directives du projet, fournirez des retours écrits précis et veillerez à ce que tous les contributeurs respectent les normes de qualité attendues.

Vous évaluerez le travail sous l'angle de l'exactitude historique, de la chronologie, de la conscience des sources, de la causalité, du contexte, des nuances régionales et culturelles, de la qualité de l'interprétation, de la clarté, du formatage, du respect des instructions et de l'adhésion aux grilles d'évaluation spécifiques au projet. Vous repérerez les problèmes de qualité récurrents, communiquerez les mises à jour aux entraîneurs et aux agents d'assurance qualité, soutiendrez l'intégration, tiendrez à jour la documentation et aiderez à activer les contributeurs qui ne travaillent pas de manière régulière. Ce rôle exige une solide expertise en histoire, d'excellentes compétences de communication en anglais, un sens aigu du détail, une communication structurée et la capacité de gérer des flux de travail qualité au sein d'équipes d'experts à distance.

Ce rôle s'inscrit chez SME Careers, une entreprise de services de données d'IA en forte croissance et filiale de SuperAnnotate, qui fournit des données d'entraînement à nombre des plus grandes entreprises d'IA et laboratoires de modèles fondamentaux au monde. Votre leadership en qualité historique contribuera directement à améliorer les meilleurs modèles d'IA au monde en veillant à ce que les données d'entraînement en histoire soient exactes, contextualisées, équilibrées, bien expliquées, bien documentées et alignées sur les attentes des clients.

Le processus de sélection comprend un entretien par IA, une tâche spécifique au domaine et un entretien avec un recruteur.

Important : Il n'y a pas de projet immédiat pour ce rôle ; toutefois, si vous êtes qualifié, vous ferez partie des premiers experts que nous contacterons lorsque des opportunités pertinentes se présenteront. Cela vous donnera également accès à de futurs projets disponibles via notre réseau d'experts.

Ce que vous ferez

• Suivi de la qualité : effectuer des contrôles ponctuels des éléments d'histoire, identifier les problèmes de qualité, fournir des retours continus par messages privés et signaler les problèmes récurrents ou critiques.
• Révision historique : évaluer les explications historiques, chronologies, comparaisons, résumés, réponses fondées sur des sources et raisonnements générés par l'IA sous l'angle de l'exactitude, du contexte, de l'équilibre et de la clarté.
• Communication avec les entraîneurs et l'assurance qualité : informer les entraîneurs et les agents d'assurance qualité sur Discord des nouvelles directives relatives aux éléments, des changements de projet, des mises à jour des flux de travail, des attentes en matière de qualité et des normes de révision spécifiques à l'histoire.
• Traitement des questions : répondre clairement et rapidement aux questions des entraîneurs et des agents d'assurance qualité, notamment en ce qui concerne la chronologie, le contexte historique, l'interprétation des sources, les interprétations contestées, les biais, les nuances régionales et l'interprétation des grilles d'évaluation.
• Gestion de l'activation des entraîneurs et de l'assurance qualité : envoyer des messages privés aux contributeurs inactifs ou qui ne travaillent pas, encourager l'activation, suivre les relances et signaler les problèmes de disponibilité lorsque nécessaire.
• Documentation : créer et tenir à jour la documentation des projets d'histoire, y compris les guides de style, les tableaux de suivi, les FAQ, les notes de qualité, les exemples, les tâches pièges, les tâches de calibration et les supports d'intégration.
• Intégration et entraînement : planifier et animer des appels d'intégration et d'entraînement avec les entraîneurs et les agents d'assurance qualité pour expliquer les attentes du projet, les flux de travail, les grilles d'évaluation, les normes de qualité et les exigences de révision spécifiques à l'histoire.
• Alignement qualité : veiller à ce que tous les entraîneurs et agents d'assurance qualité appliquent de manière cohérente les directives de révision historique et comprennent les mises à jour à mesure que les projets évoluent.
• Révision des risques et des biais : signaler les affirmations historiques trompeuses, excessivement assurées, biaisées, culturellement insensibles, anachroniques ou mal sourcées.
• Amélioration des processus : identifier les lacunes de qualité récurrentes, proposer des améliorations des flux de travail et aider à mettre en place des processus d'assurance qualité évolutifs pour les projets d'entraînement d'IA en histoire.

Ce que nous recherchons

• Licence, master ou doctorat en histoire, lettres classiques, études régionales, archéologie, histoire politique, histoire culturelle, relations internationales, sciences humaines ou dans un domaine étroitement apparenté.
• Solide maîtrise de la langue anglaise pour suivre les directives du projet, communiquer avec les équipes et fournir des retours écrits clairs.
• 3+ ans d'expérience en recherche historique, enseignement, rédaction, édition, évaluation académique, travail en musée ou en archives, développement de programmes ou flux de travail similaires en sciences humaines.
• Solide compréhension des méthodes historiques, de la chronologie, des sources primaires et secondaires, de l'historiographie, de la causalité, de la continuité et du changement, du contexte régional et de l'interprétation fondée sur des preuves.
• Capacité à évaluer un contenu historique par rapport à des grilles d'évaluation détaillées et à identifier des problèmes tels que l'anachronisme, une chronologie incorrecte, des affirmations non étayées, une simplification excessive, un cadrage biaisé, des citations fabriquées ou des explications causales trompeuses.
• La familiarité avec une ou plusieurs spécialisations historiques telles que l'histoire ancienne, l'histoire médiévale, l'histoire moderne, l'histoire mondiale, l'histoire militaire, l'histoire intellectuelle, l'histoire sociale, l'histoire économique, l'histoire coloniale et postcoloniale ou l'histoire régionale est préférée.
• Une expérience de direction ou de soutien d'équipes à distance de chercheurs, rédacteurs, réviseurs, éducateurs, annotateurs ou agents d'assurance qualité est fortement préférée.
• À l'aise dans des environnements à distance en évolution rapide utilisant des outils tels que Discord, Google Sheets, Google Docs, des tableaux de suivi, des tableaux de bord et des systèmes de gestion de projet.
• Très soucieux du détail et organisé, avec la capacité de tenir à jour des guides de style, des FAQ, des tableaux de suivi, des supports d'intégration, des tâches de calibration et de la documentation.
• Une expérience de l'entraînement d'IA, de l'annotation de données, de l'évaluation de LLM, de l'assurance qualité académique, de la vérification des faits ou de la révision fondée sur des grilles d'évaluation est un atout majeur.