À propos du poste
À propos de Turing : Basée à San Francisco, en Californie, Turing est le principal accélérateur de recherche au monde pour les laboratoires d’IA de pointe et un partenaire de confiance pour les entreprises du monde entier qui déploient des systèmes d’IA avancés. Turing accompagne ses clients de deux manières : d’une part, en accélérant la recherche de pointe grâce à des données de haute qualité, à des pipelines d’entraînement avancés et à des chercheurs en IA de premier plan spécialisés dans le codage, le raisonnement, les STEM, le multilinguisme, la multimodalité et les agents ; d’autre part, en appliquant cette expertise pour aider les entreprises à faire passer l’IA du stade de preuve de concept à celui d’intelligence propriétaire, avec des systèmes qui fonctionnent de manière fiable, produisent un impact mesurable et génèrent des résultats durables sur le compte de résultat (P&L).
Aperçu du poste
Nous recherchons un chercheur analytique et spécialiste du red-teaming pour concevoir des tâches de benchmark de recherche web fondées sur des preuves, qui mettent systématiquement en évidence les faiblesses des modèles d’IA à l’état de l’art (SOTA) (par ex. Claude Opus 5 Max). Dans ce rôle, vous découvrirez des faits difficiles à faire remonter, construirez autour d’eux des tâches de recherche précises, les testerez directement sur les principaux LLM et diagnostiquerez les mécanismes exacts de défaillance dans les parcours de recherche et de raisonnement du modèle.
Votre travail façonnera directement les cadres d’évaluation de l’IA, en veillant à ce que les modèles de pointe de nouvelle génération soient testés sur des scénarios de recherche réels rigoureux et non triviaux.
Exigences du poste :
- Expérience de base : 1+ années en recherche d’investigation, vérification des faits, rédaction de tâches de benchmark d’IA, red-teaming ou revue QA technique.
- Connaissance des benchmarks : expérience avérée de la rédaction, du test ou de la revue de tâches pour des benchmarks d’IA tels que GAIA, BrowseComp, SimpleQA, SWE-bench, Terminal-Bench ou Humanity’s Last Exam (HLE).
- Compétences analytiques et OSINT : compétences intermédiaires à avancées en recherche web et en renseignement d’origine sources ouvertes (OSINT) ; capacité à naviguer dans des archives universitaires, des registres locaux ou des bases de données obscures.
- Débogage de trajectoires de modèles : solide capacité d’analyse pour inspecter les chaînes de raisonnement des modèles, les journaux de recherche et la sélection des sources afin de diagnostiquer les causes profondes des échecs.
- Rédaction précise : capacité à rédiger des prompts de benchmark clairs et non ambigus, accompagnés de corrigés irréprochables fondés sur des sources primaires.
Responsabilités du poste :
- Découverte de faits obscurs : effectuer des recherches approfondies sur des sujets de niche afin d’identifier des vérités factuelles qui ne peuvent pas être obtenues par de simples requêtes de recherche directes.
- Vérification des sources : vérifier rigoureusement les faits auprès de sources primaires ou hautement crédibles, recouper les éléments contradictoires et documenter les URL exactes des sources.
- Construction des tâches : rédiger des tâches de benchmark claires et auxquelles on peut répondre, conçues spécifiquement pour exposer les faiblesses structurelles des stratégies de recherche des modèles.
- Red-teaming et test de modèles : exécuter les tâches sur des modèles SOTA désignés afin de confirmer qu’elles déclenchent systématiquement les défaillances visées.
- Diagnostic et débogage des défaillances : retracer les journaux d’exécution des modèles, les trajectoires de recherche et les sorties intermédiaires pour déterminer précisément où et pourquoi le modèle a échoué (en distinguant les véritables limites du modèle des prompts ambigus).
- Déploiement des schémas et revue : appliquer des schémas de recherche « qui mettent les modèles en échec » validés à de nouveaux domaines et, pour les profils les plus performants, relire les tâches rédigées par d’autres formateurs.
Gros atouts (qualifications souhaitées)
- Un diplôme de licence ou supérieur dans un domaine d’ingénierie pertinent est indispensable pour ce poste.
- Expérience préalable de la conception spécifique de tâches d’injection de prompt ou de pièges de raisonnement qui mettent en échec les modèles SOTA.
- Capacités OSINT avancées ou travaux de recherche d’investigation/universitaires publiés démontrant une vérification approfondie des sources.
- Expertise dans des domaines de niche riches en documents difficiles à trouver (par ex. dossiers d’administrations locales, histoire du sport régional, archives juridiques, brevets historiques).
- Expérience en tant que relecteur principal, auditeur de benchmarks ou responsable qualité dans des projets d’évaluation d’IA.
Détails de l’offre :
- Engagements requis : jusqu’à 40 heures par semaine, avec 4 heures de chevauchement avec le fuseau PST.
- Type de mission : prestataire
- Durée de la mission : jusqu’à 4 semaines
Processus d’évaluation -
- Les candidats devront soumettre un formulaire d’intérêt pour le poste et une évaluation.
- Les talents retenus à l’issue de l’évaluation passeront par une évaluation, une revue et poursuivront en conséquence.