Responsable d'équipe Python (orienté ML)

Dans ce rôle de contractuel à distance rémunéré à l'heure, vous travaillerez en tant que Responsable de l'assurance qualité Python (orienté ML) (QAL) pour superviser la qualité, la cohérence et la performance des entraîneurs sur les projets d'entraînement de modèles d'IA en machine learning Python. Vous examinerez le code Python généré par l'IA, les workflows ML, les explications de modèles et le travail des entraîneurs/QA ; vous évaluerez la qualité des sorties par rapport aux directives du projet ; vous fournirez des retours écrits précis ; et vous vous assurerez que les contributeurs respectent les normes de qualité attendues.

Vous évaluerez le travail pour la justesse du code, la méthodologie de machine learning, la validité statistique, la reproductibilité, la qualité de l'évaluation des modèles, les risques de fuite de données, l'utilisation des packages, la précision du débogage, la lisibilité, la maintenabilité, le formatage, le respect des instructions et l'adhésion aux grilles d'évaluation spécifiques au projet. Ce rôle exige une solide expertise en Python et ML, des compétences de communication en anglais, une excellente attention aux détails et la capacité à gérer des workflows de qualité au sein d'équipes techniques à distance.

Ce rôle est au sein de SME Careers, une entreprise de services de données IA en forte croissance et filiale de SuperAnnotate, qui fournit des données d'entraînement à nombre des plus grandes entreprises d'IA et laboratoires de modèles de fondation au monde. Votre leadership en qualité ML Python contribuera à garantir que les données d'entraînement sont exactes, exécutables, statistiquement solides, reproductibles, clairement expliquées et alignées sur les attentes des clients.

Le processus de sélection comprend un entretien IA, une tâche spécifique au domaine et un entretien avec un recruteur.

Important : Il n'y a pas de projet immédiat pour ce rôle ; toutefois, si vous êtes qualifié, vous ferez partie des premiers experts que nous contacterons lorsque des opportunités pertinentes se présenteront. Cela vous donnera également accès à de futurs projets disponibles via notre réseau d'experts.

Ce que vous ferez

• Suivi de la qualité : effectuer des contrôles ponctuels sur les éléments Python ML, identifier les problèmes de qualité, fournir des retours par messages privés et escalader les problèmes récurrents ou critiques.
• Revue de code et ML : évaluer le code Python généré par l'IA, les pipelines ML, les étapes de prétraitement des données, les workflows d'entraînement de modèles, la logique d'évaluation, les réponses de débogage et les explications pour leur justesse et leur reproductibilité.
• Communication avec les entraîneurs et le QA : informer les contributeurs sur Discord des changements de directives, des mises à jour de workflow et des normes de revue spécifiques à Python/ML.
• Gestion des questions : répondre aux questions sur la syntaxe Python, l'utilisation des packages, la fuite de données, la validation des modèles, les métriques, les hypothèses statistiques, la reproductibilité, les notebooks et l'interprétation des grilles d'évaluation.
• Gestion de l'activation des entraîneurs/QA : envoyer des messages privés aux contributeurs inactifs, encourager l'activation, suivre les relances et signaler les problèmes de disponibilité.
• Documentation : créer et maintenir des guides de style Python ML, des trackers, des FAQ, des exemples, des honeypots, des tâches de calibration et des supports d'intégration.
• Intégration et entraînement : animer des appels d'intégration/entraînement pour les contributeurs Python ML.
• Revue des risques : signaler les recommandations Python ML trompeuses, trop confiantes, statistiquement invalides, non reproductibles, non sécurisées ou non prêtes pour la production.
• Amélioration des processus : identifier les lacunes de qualité récurrentes et mettre en place des processus QA évolutifs.

Ce que nous recherchons

• Licence, master ou doctorat en informatique, machine learning, science des données, statistiques, mathématiques, ingénierie ou un domaine quantitatif étroitement lié.
• Solide maîtrise de l'anglais pour suivre les directives, communiquer avec les équipes et fournir des retours techniques clairs.
• 3+ ans d'expérience professionnelle en développement Python, machine learning, science des données, ingénierie ML, évaluation de modèles, ingénierie de recherche, revue technique ou enseignement du ML.
• Solide compréhension des fondamentaux de Python tels que les structures de données, les fonctions, les classes, les itérateurs, les compréhensions, la gestion des exceptions, les environnements virtuels, la gestion des packages, les tests et le débogage.
• Solide compréhension des sujets ML tels que l'apprentissage supervisé/non supervisé, l'ingénierie des caractéristiques, les divisions entraînement/test, la validation croisée, la sélection de modèles, la fuite de données, la régression, la classification, le clustering, les métriques, le biais/variance, la régularisation et la reproductibilité.
• Capacité à évaluer le contenu ML par rapport à des grilles d'évaluation détaillées et à identifier des problèmes tels qu'une méthodologie défaillante, des métriques erronées, une fuite de données, du code non reproductible, des hypothèses invalides, des API hallucinées, des conclusions trompeuses ou des explications incomplètes.
• Familiarité avec NumPy, pandas, scikit-learn, PyTorch, TensorFlow/Keras, XGBoost/LightGBM, Jupyter, matplotlib, seaborn, MLflow, Hugging Face, SQL, GitHub, Docker et CI/CD est préférée.
• Expérience de la direction ou du soutien d'équipes à distance d'entraîneurs, d'annotateurs, de réviseurs, d'ingénieurs, de data scientists, de chercheurs ML, de mentors en programmation ou de QA est fortement préférée.
• À l'aise pour travailler dans des environnements à distance en évolution rapide en utilisant Discord, Google Sheets, Google Docs, des trackers, des tableaux de bord, GitHub et des systèmes de gestion de projet.
• Très organisé et capable de maintenir des guides de style, des trackers, des FAQ, des supports d'intégration, des honeypots, des tâches de calibration et de la documentation qualité.
• Expérience en entraînement d'IA, annotation de données, évaluation de LLM, QA de code, QA de ML ou revue technique basée sur des grilles d'évaluation est un atout majeur.