Responsable de l'assurance qualité en sociologie (QAL)

Dans ce rôle de sous-traitant horaire et à distance, vous travaillerez en tant que Responsable de l'assurance qualité en sociologie (QAL) pour superviser la qualité, la cohérence et la performance des entraîneurs sur des projets d'entraînement de l'IA axés sur la sociologie. Vous examinerez le contenu sociologique généré par l'IA ainsi que le travail des entraîneurs/QA, évaluerez la qualité des résultats par rapport aux directives du projet, fournirez des retours écrits précis et veillerez à ce que tous les contributeurs respectent les normes de qualité attendues.

Vous évaluerez le travail sur le plan de l'exactitude sociologique, de l'application théorique, de la maîtrise de la recherche, du contexte social, de la rigueur méthodologique, de la conscience éthique, de la sensibilité aux biais, de la clarté, du formatage, du respect des instructions et de l'adhésion aux grilles d'évaluation propres au projet. Vous repérerez les problèmes de qualité récurrents, communiquerez les mises à jour aux entraîneurs et aux QA, soutiendrez l'intégration, tiendrez à jour la documentation et aiderez à activer les contributeurs qui ne travaillent pas de manière régulière. Ce rôle exige une solide expertise en sociologie, de solides compétences de communication en anglais, une excellente attention aux détails, une communication structurée et la capacité de gérer des flux de travail qualité au sein d'équipes d'experts à distance.

Ce rôle est au sein de SME Careers, une entreprise de services de données IA en pleine croissance et filiale de SuperAnnotate, qui fournit des données d'entraînement à bon nombre des plus grandes entreprises d'IA et laboratoires de modèles de fondation au monde. Votre leadership en matière de qualité en sociologie contribuera directement à améliorer les meilleurs modèles d'IA au monde en veillant à ce que les données d'entraînement en sociologie soient exactes, nuancées, éthiquement conscientes, fondées sur la recherche et alignées sur les attentes des clients.

Le processus de sélection comprend un entretien avec l'IA, une tâche spécifique au domaine et un entretien avec un recruteur.

Important : Il n'y a pas de projet immédiat pour ce rôle ; toutefois, si vous êtes qualifié, vous ferez partie des premiers experts que nous contacterons lorsque des opportunités pertinentes se présenteront. Cela vous donnera également accès à de futurs projets disponibles via notre réseau d'experts.

Ce que vous ferez

• Suivi de la qualité : effectuer des contrôles ponctuels des éléments de sociologie, identifier les problèmes de qualité, fournir des retours continus par messages privés et escalader les problèmes récurrents ou critiques.
• Révision en sociologie : évaluer les explications sociologiques, les applications théoriques, les résumés de recherche, les discussions sur les politiques sociales, les interprétations démographiques et les raisonnements générés par l'IA pour en vérifier l'exactitude et la nuance.
• Communication avec les entraîneurs et les QA : informer les entraîneurs et les QA sur Discord des nouvelles directives relatives aux éléments, des changements de projet, des mises à jour des flux de travail, des attentes en matière de qualité et des normes de révision spécifiques à la sociologie.
• Gestion des questions : répondre clairement et rapidement aux questions des entraîneurs/QA, en particulier sur les concepts sociologiques, la théorie sociale, les méthodes de recherche, les inégalités, la culture, l'éthique, les biais et l'interprétation des grilles d'évaluation.
• Gestion de l'activation des entraîneurs/QA : envoyer des messages privés aux contributeurs inactifs ou qui ne travaillent pas, encourager l'activation, suivre les relances et signaler les problèmes de disponibilité lorsque nécessaire.
• Documentation : créer et tenir à jour la documentation des projets de sociologie, y compris les guides de style, les tableaux de suivi, les FAQ, les notes de qualité, les exemples, les honeypots, les tâches de calibration et les supports d'intégration.
• Intégration et entraînement : planifier et animer des appels d'intégration/d'entraînement avec les entraîneurs et les QA pour expliquer les attentes du projet, les flux de travail, les grilles d'évaluation, les normes de qualité et les exigences de révision spécifiques à la sociologie.
• Alignement qualité : veiller à ce que tous les entraîneurs et QA appliquent les directives de révision en sociologie de manière cohérente et comprennent les mises à jour à mesure que les projets évoluent.
• Révision des biais et de l'éthique : signaler les stéréotypes, le langage stigmatisant, les affirmations non étayées sur des groupes sociaux, le raisonnement causal faible ou l'analyse sociale éthiquement problématique.
• Amélioration des processus : identifier les lacunes de qualité récurrentes, proposer des améliorations des flux de travail et aider à mettre en place des processus QA évolutifs pour les projets d'entraînement de l'IA en sociologie.

Ce que nous recherchons

• Licence, master ou doctorat en sociologie, sciences sociales, recherche sociale, démographie, criminologie, études de genre, études ethniques, politiques publiques, anthropologie ou un domaine étroitement lié.
• Solide maîtrise de la langue anglaise pour suivre les directives du projet, communiquer avec les équipes et fournir des retours écrits clairs.
• 3+ ans d'expérience en recherche sociologique, enseignement, analyse des politiques sociales, recherche qualitative/quantitative, rédaction académique, révision en sciences sociales, recherche communautaire ou flux de travail connexes.
• Solide compréhension de la théorie sociologique, des institutions sociales, des inégalités, de la stratification, de la race/ethnicité, du genre, de la classe, de la culture, de la déviance, des organisations, du changement social, de la démographie et des méthodes de recherche.
• Capacité à évaluer le contenu sociologique par rapport à des grilles d'évaluation détaillées et à identifier des problèmes tels que des généralisations non étayées, des stéréotypes, des défauts méthodologiques, des affirmations causales faibles, une simplification excessive, un cadrage biaisé ou une utilisation inexacte des concepts sociologiques.
• Une familiarité avec des domaines tels que la recherche par enquête, les entretiens, l'ethnographie, l'analyse statistique, les politiques sociales, la sociologie urbaine, la sociologie de la famille, l'éducation, les disparités en matière de santé, le travail/organisations ou la criminologie est préférée.
• Une expérience de direction ou de soutien d'équipes à distance de chercheurs, d'éducateurs, d'analystes, de réviseurs, d'annotateurs ou de QA est fortement préférée.
• À l'aise pour travailler dans des environnements à distance au rythme soutenu, avec des outils tels que Discord, Google Sheets, Google Docs, des tableaux de suivi, des tableaux de bord et des systèmes de gestion de projet.
• Très soucieux du détail et organisé, avec la capacité de tenir à jour des guides de style, des FAQ, des tableaux de suivi, des supports d'intégration, des tâches de calibration et de la documentation.
• Une expérience en entraînement de l'IA, annotation de données, évaluation de LLM, QA en sciences sociales, révision académique ou révision basée sur des grilles d'évaluation est un atout majeur.