À propos du poste
Dans ce rôle de contractuel à distance rémunéré à l'heure, vous travaillerez en tant que Responsable de l'assurance qualité (QAL) en sciences sociales et éducation pour superviser la qualité, la cohérence et la performance des formateurs sur des projets d'entraînement d'IA axés sur les sciences sociales, l'éducation et l'apprentissage. Vous examinerez le contenu en sciences sociales/éducation généré par l'IA ainsi que le travail des formateurs/QA, évaluerez la qualité des productions par rapport aux directives du projet, fournirez des retours écrits précis et veillerez à ce que tous les contributeurs respectent les normes de qualité attendues.
Vous évaluerez le travail sous l'angle de l'exactitude conceptuelle, de la littératie en recherche, de la pertinence éducative, du contexte social, de la qualité méthodologique, de la conscience éthique, de la sensibilité aux biais, de la clarté, du formatage, du respect des instructions et de l'adhésion aux grilles d'évaluation spécifiques au projet. Vous repérerez les problèmes de qualité récurrents, communiquerez les mises à jour aux formateurs et aux QA, soutiendrez l'intégration, tiendrez la documentation et aiderez à activer les contributeurs qui ne travaillent pas de manière régulière. Ce rôle exige une solide expertise en sciences sociales et/ou en éducation, de fortes compétences de communication en anglais, un excellent souci du détail, une communication structurée et la capacité de gérer des flux de travail qualité au sein d'équipes d'experts à distance.
Ce rôle est au sein de SME Careers, une entreprise de services de données pour l'IA en forte croissance et filiale de SuperAnnotate, qui fournit des données d'entraînement à bon nombre des plus grandes entreprises d'IA et laboratoires de modèles de fondation au monde. Votre leadership qualité en sciences sociales et éducation contribuera directement à améliorer les meilleurs modèles d'IA au monde en veillant à ce que les données d'entraînement en sciences sociales et éducation soient exactes, nuancées, fondées sur la recherche, éthiquement conscientes et alignées sur les attentes des clients.
Ce que vous ferez
- Suivi de la qualité : effectuer des contrôles ponctuels des éléments en sciences sociales et éducation, identifier les problèmes de qualité, fournir des retours continus par messages privés et escalader les problèmes récurrents ou critiques.
- Révision en sciences sociales et éducation : évaluer les explications générées par l'IA, le contenu des leçons, les résumés en sciences sociales, le contenu sur les méthodes de recherche, les activités éducatives, les items d'évaluation, les conseils d'apprentissage et le raisonnement social pour leur exactitude et leur nuance.
- Communication avec les formateurs et les QA : informer les formateurs et les QA sur Discord des nouvelles directives relatives aux items, des changements de projet, des mises à jour des flux de travail, des attentes de qualité et des normes de révision spécifiques aux sciences sociales/éducation.
- Traitement des questions : répondre clairement et rapidement aux questions des formateurs/QA, notamment sur les concepts éducatifs, les objectifs d'apprentissage, les méthodes de recherche, le contexte social, les biais, la pertinence pour les étudiants et l'interprétation des grilles d'évaluation.
- Gestion de l'activation des formateurs/QA : envoyer des messages privés aux contributeurs inactifs ou ne travaillant pas, encourager l'activation, suivre les relances et signaler les problèmes de disponibilité lorsque nécessaire.
- Documentation : créer et tenir la documentation des projets de sciences sociales/éducation, y compris les guides de style, les tableaux de suivi, les FAQ, les notes de qualité, les exemples, les honeypots, les tâches de calibration et les supports d'intégration.
- Intégration et entraînement : planifier et animer des appels d'intégration/entraînement avec les formateurs et les QA pour expliquer les attentes du projet, les flux de travail, les grilles d'évaluation, les normes de qualité et les exigences spécifiques aux sciences sociales/éducation.
- Alignement qualité : veiller à ce que tous les formateurs et QA appliquent de manière cohérente les directives de révision en sciences sociales et éducation et comprennent les mises à jour à mesure que les projets évoluent.
- Révision des biais et de l'éthique : signaler les stéréotypes, le langage stigmatisant, les affirmations non étayées sur des groupes, le raisonnement causal faible, l'étayage pédagogique insuffisant ou le contenu éthiquement problématique.
- Amélioration des processus : identifier les lacunes de qualité récurrentes, proposer des améliorations des flux de travail et aider à mettre en place des processus QA évolutifs pour les projets d'entraînement d'IA en sciences sociales et éducation.
Ce que nous recherchons
- Licence, master, doctorat, certification d'enseignement ou expérience professionnelle équivalente en éducation, sociologie, psychologie, anthropologie, sciences politiques, travail social, politiques publiques, psychologie de l'éducation, études curriculaires ou dans un domaine connexe.
- Maîtrise solide de la langue anglaise pour suivre les directives du projet, communiquer avec les équipes et fournir des retours écrits clairs.
- 3+ années d'expérience en enseignement, développement de programmes, recherche en sciences sociales, révision de contenu éducatif, conception pédagogique, rédaction académique, politique sociale, évaluation des étudiants ou flux de travail de révision connexes.
- Solide compréhension des concepts en sciences sociales, de la théorie de l'éducation, de la pédagogie, des résultats d'apprentissage, de la conception des évaluations, des méthodes de recherche, de l'éthique, des biais, de la culture, des institutions sociales, des inégalités et du raisonnement fondé sur des preuves.
- Capacité à évaluer le contenu en sciences sociales/éducation par rapport à des grilles d'évaluation détaillées et à identifier des problèmes tels que des généralisations non étayées, des stéréotypes, des affirmations causales faibles, une conception pédagogique médiocre, un cadrage biaisé, une méthodologie défaillante ou un contenu éducatif inadapté à l'âge.
- Une familiarité avec des domaines tels que l'apprentissage en classe, l'évaluation, la planification de leçons, la recherche sociale, les méthodes qualitatives/quantitatives, l'équité éducative, le développement de l'enfant, les sciences de l'apprentissage ou les normes curriculaires est préférée.
- Une expérience de direction ou de soutien d'équipes à distance d'éducateurs, de chercheurs, de rédacteurs de programmes, de réviseurs, d'annotateurs, de formateurs ou de QA est fortement préférée.
- À l'aise de travailler dans des environnements à distance en évolution rapide avec des outils tels que Discord, Google Sheets, Google Docs, des tableaux de suivi, des tableaux de bord et des systèmes de gestion de projet.
- Très soucieux du détail et organisé, avec la capacité de tenir des guides de style, des FAQ, des tableaux de suivi, des supports d'intégration, des honeypots, des tâches de calibration et de la documentation.
- Une expérience en entraînement d'IA, annotation de données, évaluation de LLM, QA en sciences sociales, QA éducative, révision de programmes ou révision basée sur des grilles d'évaluation est un atout majeur.