À propos du poste
Anyone AI recrute des ingénieurs en Machine Learning expérimentés pour un projet spécialisé axé sur l'examen et l'évaluation des défis d'apprentissage automatique utilisés dans l'entraînement et l'évaluation des modèles d'IA.
Le travail consiste à analyser des expériences ML, des jeux de données, des métriques et des pipelines afin de déterminer si les défis sont techniquement solides, reproductibles, d'une difficulté appropriée et s'ils exigent véritablement un raisonnement solide en machine learning.
Ce sur quoi vous travaillerez
Vous examinerez des défis ML portant sur :
- La conception d'expériences et la sélection de modèles
- Les petits jeux de données et les jeux de données synthétiques
- La qualité des données et le prétraitement
- Le décalage de distribution et la contamination des données
- Le bruit dans les étiquettes et la fuite de caractéristiques
- L'évaluation des modèles et la sélection des métriques
- Le réglage des hyperparamètres
- La méthodologie d'entraînement / validation / test
- La reproductibilité et les pipelines déterministes
- La signification statistique des améliorations de modèles
Un élément clé du rôle consiste à déterminer si un défi récompense réellement un bon raisonnement ML, plutôt que d'être simplement résoluble par une sélection de modèles par force brute ou de vastes recherches d'hyperparamètres.
Ce que nous recherchons
- 3+ ans d'expérience pratique en machine learning appliqué
- Une solide expérience en :
- Conception d'expériences ML
- Sélection de modèles
- Réglage des hyperparamètres
- Évaluation des modèles
- Prétraitement et validation des données
- Une forte compréhension des découpages entraînement, validation et test
- La capacité à identifier :
- La fuite de données
- Le bruit dans les étiquettes
- Le décalage de distribution
- Les corrélations fallacieuses
- La fuite de caractéristiques
- La contamination des données
- Une expérience consistant à évaluer si les améliorations de performance sont statistiquement significatives plutôt que des fluctuations aléatoires
- Une forte compréhension des métriques d'évaluation ML et des cas où différentes métriques sont appropriées
- Une expérience de débogage de charges de travail ML sur des environnements CPU et GPU
- La capacité à analyser des problèmes techniques et à fournir des retours écrits clairs
Atouts appréciés
- Une expérience de création ou de participation à des compétitions ML de type Kaggle, DrivenData ou similaires
- Une expérience de conception de jeux de données de référence ou de défis ML
- Un parcours en IA centrée sur les données ou en qualité des jeux de données
- Une expérience en génération et validation de données synthétiques
- Une familiarité avec les tests statistiques, les intervalles de confiance et les tailles d'effet
- Une expérience avec les pipelines d'évaluation ML, le RLHF ou l'évaluation de modèles d'IA
- Une expérience de développement de cursus ML ou d'évaluations techniques
- Une compréhension des modes de défaillance ML courants tels que :
- L'apprentissage par raccourci
- Les corrélations fallacieuses
- La loi de Goodhart
- Le paradoxe de Simpson
- Le jeu sur les métriques
Ce dont vous serez responsable
- Examiner les défis ML et déterminer s'ils sont bien conçus et techniquement solubles
- Évaluer si les jeux de données contiennent des signaux significatifs et apprenables
- Identifier les raccourcis ou artefacts involontaires dans les jeux de données synthétiques
- Déterminer si les tâches exigent un véritable diagnostic du problème ML sous-jacent
- Examiner les métriques d'évaluation et les seuils d'amélioration
- Détecter le jeu sur les métriques, la fuite de données et les failles d'évaluation
- Vérifier la reproductibilité sur l'ensemble du pipeline données → modèle → évaluation
- Évaluer si la difficulté du défi est correctement calibrée
- Fournir des recommandations claires pour améliorer, recalibrer ou exclure les tâches problématiques
Engagement
Type de travail : À distance Engagement : Conseil à temps partiel, basé sur des projets Focus : Machine learning appliqué, conception d'expériences, qualité des données et évaluation de modèles
Ce rôle convient parfaitement aux ingénieurs ML qui aiment déboguer des expériences, comprendre pourquoi les modèles réussissent ou échouent, identifier des problèmes dans les jeux de données et les pipelines d'évaluation, et concevoir des expériences rigoureuses en machine learning.