MLE Bench – Analyste de données

À propos de Turing

Basée à San Francisco, en Californie, Turing est le principal accélérateur de recherche au monde pour les laboratoires d’IA de pointe et un partenaire de confiance pour les entreprises internationales qui déploient des systèmes d’IA avancés. Turing accompagne ses clients de deux manières : d’abord, en accélérant la recherche de pointe grâce à des données de haute qualité, à des pipelines d’entraînement avancés, ainsi qu’à des chercheurs en IA de premier plan spécialisés dans le code, le raisonnement, les STEM, le multilinguisme, la multimodalité et les agents ; ensuite, en appliquant cette expertise pour aider les entreprises à faire passer l’IA du stade de preuve de concept à une intelligence propriétaire, grâce à des systèmes qui fonctionnent de manière fiable, produisent un impact mesurable et génèrent des résultats durables sur le compte de résultat (P&L)

Présentation du poste

Nous recherchons des analystes de données expérimentés (MLE Bench) pour contribuer à des projets d’évaluation fondés sur des benchmarks et centrés sur des systèmes de machine learning réels. Ce poste implique un travail analytique pratique sur des jeux de données proches de la production, des métriques et des sorties de ML, afin d’aider à évaluer, diagnostiquer et améliorer les performances de systèmes d’IA avancés.

Le candidat idéal est à l’aise à l’intersection de l’analyse de données et du machine learning, fait preuve d’une grande rigueur analytique et sait travailler avec des jeux de données réels et des workflows d’évaluation de ML.

À quoi ressemble le quotidien ?

• Analyser des jeux de données structurés et non structurés issus des pipelines d’entraînement, d’inférence et d’évaluation de ML.
• Définir, calculer et valider les métriques utilisées pour évaluer les performances et le comportement des modèles.
• Étudier les distributions de données, les sorties des modèles, les modes de défaillance et les cas limites pertinents pour les tâches de benchmark.
• Écrire et exécuter du code Python et SQL pour analyser des données, produire des rapports et appuyer les workflows d’évaluation.
• Valider la qualité, la cohérence et l’exactitude des données à travers les jeux de données et les expériences.
• Créer des livrables analytiques clairs et bien documentés ainsi que des workflows d’analyse reproductibles.
• Collaborer avec des ingénieurs ML et des chercheurs pour concevoir des scénarios d’évaluation exigeants et réalistes pour MLE Bench.

Exigences

• Minimum de 3+ ans d’expérience en tant qu’analyste de données ou qu’ingénieur orienté analytique.
• Excellente maîtrise de Python pour l’analyse de données.
• Solide expérience de SQL et des jeux de données relationnels.
• Expérience de l’analyse des sorties de ML et des métriques d’évaluation.
• Solide compréhension des statistiques et du raisonnement analytique.
• Capacité à travailler avec des jeux de données volumineux et complexes et à en tirer des enseignements fiables.
• Expérience de l’écriture de code analytique propre, lisible et bien documenté.
• Excellentes compétences de communication en anglais, à l’oral comme à l’écrit.

Avantages du travail en freelance avec Turing

• Travail dans un environnement entièrement à distance.
• Possibilité de travailler sur des projets d’IA de pointe avec des entreprises leaders dans le domaine des LLM.

Détails de l’offre

• Engagement requis : au moins 4 heures par jour et un minimum de 20 heures par semaine, avec un chevauchement de 4 heures avec le fuseau PST.
• Type de collaboration : mission en tant que prestataire indépendant (sans couverture médicale ni congés payés)
• Durée du contrat : 3 mois (ajustable selon l’engagement)
• Localisation : Inde, Pakistan, Nigéria, Kenya, Égypte, Ghana, Bangladesh, Turquie, Brésil, Mexique

Processus d’évaluation

• Entretien technique avec défi de code en direct (60 min)