À propos du poste
Dans ce rôle de contractant à distance rémunéré à l'heure, vous travaillerez en tant que Data Scientist Quality Assurance Lead (QAL) pour superviser la qualité, la cohérence et la performance des formateurs sur les projets d'entraînement IA en science des données. Vous examinerez le contenu en science des données généré par l'IA ainsi que le travail des formateurs/QA, évaluerez la qualité des résultats par rapport aux directives du projet, fournirez des retours écrits précis et veillerez à ce que les contributeurs respectent les normes de qualité attendues.
Vous évaluerez le travail pour l'exactitude statistique, le raisonnement sur les données, la qualité de la sélection de modèles, la justesse du code, la reproductibilité, l'interprétation des métriques, la conscience du contexte métier, la clarté, le formatage, le respect des instructions et l'adhésion aux rubriques spécifiques au projet. Vous repérerez les problèmes de qualité récurrents, communiquerez les mises à jour aux formateurs et aux QA, soutiendrez l'intégration, maintindrez la documentation et aiderez à activer les contributeurs qui ne travaillent pas de manière régulière.
Ce rôle est chez SME Careers, une entreprise de services de données IA en forte croissance et filiale de SuperAnnotate, qui fournit des données d'entraînement à nombre des plus grandes entreprises d'IA et laboratoires de modèles de fondation au monde. Votre leadership en qualité de la science des données aidera à garantir que les données d'entraînement sont analytiquement solides, reproductibles, clairement expliquées et alignées sur les attentes des clients.
Le processus de sélection comprend un entretien IA, une tâche spécifique au domaine et un entretien avec un recruteur.
Important : Il n'y a pas de projet immédiat pour ce rôle ; toutefois, si vous êtes qualifié, vous ferez partie des premiers experts que nous contacterons lorsque des opportunités pertinentes se présenteront. Cela vous donnera également accès à de futurs projets disponibles via notre réseau d'experts.
Ce que vous ferez
- Suivi de la qualité : effectuer des contrôles ponctuels des éléments de science des données, identifier les problèmes de qualité, fournir des retours par messages privés et escalader les problèmes récurrents ou critiques.
- Revue technique : évaluer les explications en science des données générées par l'IA, les extraits Python/R/SQL, les workflows de modélisation, les interprétations statistiques, les tableaux de bord, les conceptions d'expériences et le raisonnement étape par étape.
- Communication avec les formateurs et les QA : informer les formateurs/QA sur Discord des changements de directives, des mises à jour de workflow et des attentes de qualité spécifiques à la science des données.
- Gestion des questions : répondre aux questions concernant les hypothèses statistiques, les métriques, la sélection de modèles, la fuite de données, la validation, les choix de codage, la reproductibilité et l'interprétation des rubriques.
- Gestion de l'activation des formateurs/QA : envoyer des messages privés aux contributeurs inactifs, encourager l'activation, suivre les relances et signaler les problèmes de disponibilité.
- Documentation : créer et maintenir des guides de style en science des données, des tableaux de suivi, des FAQ, des exemples, des honeypots, des tâches de calibration et des supports d'intégration.
- Intégration et entraînement : planifier et animer des appels d'intégration/d'entraînement avec les contributeurs pour expliquer les attentes du projet, les workflows, les rubriques et les normes de revue en science des données.
- Revue des risques : signaler les résultats en science des données trompeurs, trop confiants, statistiquement invalides ou non reproductibles.
- Amélioration des processus : identifier les lacunes de qualité récurrentes et aider à construire des processus QA évolutifs.
Ce que nous recherchons
- Licence, master ou doctorat en science des données, statistiques, informatique, apprentissage automatique, mathématiques, économie, ingénierie ou un domaine quantitatif étroitement lié.
- Maîtrise solide de l'anglais pour suivre les directives, communiquer avec les équipes et fournir des retours techniques clairs.
- 3+ années d'expérience professionnelle en science des données, analytique, apprentissage automatique, modélisation statistique, expérimentation, ingénierie des données, revue technique ou enseignement de la science des données.
- Forte compréhension des statistiques, des probabilités, du nettoyage des données, de l'analyse exploratoire des données, de l'ingénierie des caractéristiques, de l'apprentissage supervisé/non supervisé, de l'évaluation de modèles, de l'expérimentation, de la régression, de la classification, du clustering et des méthodes de validation.
- Capacité à évaluer le contenu en science des données par rapport à des rubriques détaillées et à identifier des problèmes tels que la fuite de données, des hypothèses erronées, des métriques incorrectes, une méthodologie faible, du code non reproductible, des bibliothèques/API hallucinées ou des conclusions trompeuses.
- La familiarité avec des outils tels que Python, pandas, NumPy, scikit-learn, SQL, Jupyter, matplotlib, R, Spark, Git, MLflow, les notebooks, les tableaux de bord et les plateformes cloud/de données est préférée.
- Une expérience de direction ou de soutien d'équipes à distance de formateurs, annotateurs, analystes, data scientists, ingénieurs, pédagogues ou QA est fortement préférée.
- À l'aise avec Discord, Google Sheets, Google Docs, les tableaux de suivi, les tableaux de bord, GitHub et les systèmes de gestion de projet.
- Très organisé et capable de maintenir des guides de style, des tableaux de suivi, des FAQ, des supports d'intégration, des honeypots, des tâches de calibration et de la documentation qualité.
- Une expérience en entraînement IA, annotation de données, évaluation de LLM, QA en science des données ou revue technique basée sur des rubriques est un atout majeur.