Responsable de l'assurance qualité en mathématiques (QAL)

Dans ce rôle de sous-traitant horaire et à distance, vous travaillerez en tant que Responsable de l'assurance qualité en mathématiques (QAL) pour superviser la qualité, la cohérence et la performance des entraîneurs sur les projets d'entraînement de l'IA en mathématiques. Vous examinerez le contenu mathématique généré par l'IA ainsi que le travail des entraîneurs/de l'AQ, évaluerez la qualité des productions par rapport aux directives du projet, fournirez des retours écrits précis et veillerez à ce que tous les contributeurs respectent les normes de qualité attendues.

Vous évaluerez le travail sur le plan de l'exactitude mathématique, du raisonnement logique, de la justesse des calculs, de la validité des preuves, de la qualité de la notation, de la clarté, du formatage, du respect des consignes et de l'adhésion aux grilles d'évaluation propres au projet. Vous repérerez les problèmes de qualité récurrents, communiquerez les mises à jour aux entraîneurs et aux AQ, soutiendrez l'intégration, tiendrez la documentation à jour et aiderez à activer les contributeurs qui ne travaillent pas de manière régulière. Ce rôle exige une solide expertise en mathématiques, de bonnes compétences de communication en anglais, une excellente attention aux détails, une communication structurée et la capacité de gérer des flux de travail qualité au sein d'équipes techniques à distance.

Ce rôle s'inscrit chez SME Careers, une entreprise de services de données pour l'IA en forte croissance et filiale de SuperAnnotate, qui fournit des données d'entraînement à nombre des plus grandes entreprises d'IA et laboratoires de modèles de fondation au monde. Votre leadership en qualité mathématique contribuera directement à améliorer les meilleurs modèles d'IA au monde en veillant à ce que les données d'entraînement mathématiques soient exactes, logiquement solides, clairement expliquées, bien documentées et alignées sur les attentes des clients.

Le processus de sélection comprend un entretien avec l'IA, une tâche spécifique au domaine et un entretien avec un recruteur.

Ce que vous ferez

• Suivi de la qualité : effectuer des contrôles ponctuels des éléments mathématiques, identifier les problèmes de qualité, fournir des retours continus par messages privés et faire remonter les problèmes récurrents ou critiques.
• Révision mathématique : évaluer les explications, preuves, dérivations, calculs, solutions de problèmes écrits, diagrammes/descriptions et raisonnements étape par étape générés par l'IA pour en vérifier l'exactitude et la clarté.
• Communication avec les entraîneurs et les AQ : informer les entraîneurs et les AQ sur Discord des nouvelles directives relatives aux éléments, des changements de projet, des mises à jour des flux de travail, des attentes de qualité et des normes de révision propres aux mathématiques.
• Traitement des questions : répondre clairement et rapidement aux questions des entraîneurs et des AQ, notamment sur la validité du raisonnement, la notation, les hypothèses, les méthodes de résolution, la structure des preuves, le formatage et l'interprétation des grilles d'évaluation.
• Gestion de l'activation des entraîneurs et des AQ : envoyer des messages privés aux contributeurs inactifs ou qui ne travaillent pas, encourager leur activation, assurer le suivi et signaler les problèmes de disponibilité lorsque nécessaire.
• Documentation : créer et tenir à jour la documentation des projets de mathématiques, notamment les guides de style, les tableaux de suivi, les FAQ, les notes de qualité, les exemples, les honeypots, les tâches de calibration et les supports d'intégration.
• Intégration et entraînement : planifier et animer des appels d'intégration/d'entraînement avec les entraîneurs et les AQ pour expliquer les attentes du projet, les flux de travail, les grilles d'évaluation, les normes de qualité et les exigences de révision propres aux mathématiques.
• Alignement de la qualité : veiller à ce que tous les entraîneurs et AQ appliquent les directives mathématiques de manière cohérente et comprennent les mises à jour à mesure que les projets évoluent.
• Analyse des schémas d'erreurs : identifier les problèmes récurrents tels que des étapes de raisonnement omises, des simplifications invalides, des formules erronées, des incohérences de notation, des erreurs d'arithmétique ou des réponses correctes mais mal justifiées.
• Amélioration des processus : identifier les lacunes de qualité récurrentes, proposer des améliorations des flux de travail et contribuer à mettre en place des processus d'AQ évolutifs pour les projets d'entraînement de l'IA en mathématiques.

Ce que nous recherchons

• Licence, master ou doctorat en mathématiques, mathématiques appliquées, statistiques, physique, ingénierie, informatique, didactique des mathématiques ou dans un domaine quantitatif étroitement lié.
• Solide maîtrise de l'anglais pour suivre les directives du projet, communiquer avec les équipes et fournir des retours mathématiques clairs en anglais.
• 3 ans et plus d'expérience professionnelle en mathématiques, enseignement, tutorat, recherche, analyse quantitative, rédaction technique, développement de programmes, création de problèmes, conception d'évaluations ou révision de contenu mathématique.
• Solide compréhension des thèmes mathématiques fondamentaux tels que l'algèbre, la géométrie, la trigonométrie, le calcul différentiel et intégral, l'algèbre linéaire, les mathématiques discrètes, les probabilités, les statistiques, la théorie des nombres, la combinatoire, les équations différentielles et les preuves mathématiques.
• Capacité à évaluer un contenu mathématique par rapport à des grilles d'évaluation détaillées et à identifier des problèmes tels que des hypothèses incorrectes, un raisonnement vicié, des preuves invalides, des erreurs de calcul, des problèmes de notation, des étapes manquantes, des faits hallucinés ou des explications incomplètes.
• À l'aise pour réviser à la fois des explications conceptuelles et des solutions étape par étape, y compris pour vérifier si chaque étape découle logiquement de la précédente.
• Une familiarité avec des outils ou flux de travail mathématiques tels que LaTeX, Python, MATLAB, R, WolframAlpha/Mathematica, GeoGebra, Desmos, la modélisation par tableur ou des outils de calcul symbolique est préférée.
• Une expérience de direction ou de soutien d'équipes à distance d'entraîneurs, d'annotateurs, de réviseurs, d'éducateurs, de rédacteurs techniques ou d'AQ est fortement préférée.
• À l'aise pour travailler dans des environnements à distance en évolution rapide, avec des outils tels que Discord, Google Sheets, Google Docs, des tableaux de suivi, des tableaux de bord et des systèmes de gestion de projet.
• Très soucieux du détail et organisé, avec la capacité de tenir à jour des guides de style, des FAQ, des tableaux de suivi, des supports d'intégration, des honeypots, des tâches de calibration et d'autres documents de qualité.
• Une expérience de l'entraînement de l'IA, de l'annotation de données, des grands modèles de langage, de l'évaluation des invites/réponses, de l'AQ de contenu mathématique ou de l'évaluation des LLM fondée sur des grilles d'évaluation est un atout majeur.
• Maîtrise native du pendjabi