À propos du poste
À propos de nous Basée à San Francisco, en Californie, Turing est le principal accélérateur de recherche au monde pour les laboratoires d'IA de pointe et un partenaire de confiance pour les entreprises mondiales qui déploient des systèmes d'IA avancés. Turing accompagne ses clients de deux manières : premièrement, en accélérant la recherche de pointe grâce à des données de haute qualité, des pipelines d'entraînement avancés, ainsi que des chercheurs de premier plan en IA spécialisés dans l'ingénierie logicielle, le raisonnement logique, les STEM, le multilinguisme, la multimodalité et les agents ; et deuxièmement, en appliquant cette expertise pour aider les entreprises à transformer l'IA d'une preuve de concept en une intelligence propriétaire, avec des systèmes qui fonctionnent de manière fiable, produisent un impact mesurable et génèrent des résultats durables sur le compte de résultat.
Aperçu du projet Nous recherchons des chercheurs et des experts techniques de haut calibre. L'objectif principal de ce rôle est d'améliorer les capacités de raisonnement et de résolution de problèmes d'un modèle de pointe cible en concevant, validant et analysant des tâches de benchmark exigeantes.
Ce que le rôle implique :
- Conception et développement de tâches : Concevoir des problèmes exigeants et issus du monde réel qui servent de fondation à un modèle. Les problèmes doivent être construits pour cibler des défaillances spécifiques de perte de capacités fondamentales identifiées dans un modèle de premier plan.
- Génération de contenu : Intégrer les problèmes dans un environnement de développement agentique, en préparant tous les composants nécessaires avec Python, notamment :
- Des instructions détaillées et un aperçu de la tâche requise.
- Une solution de référence qui suit les instructions.
- L'environnement nécessaire, y compris les jeux de données, les bibliothèques Python et les métadonnées.
- Un notebook de test contenant des tests unitaires que les solutions doivent réussir.
- Évaluation et analyse : Évaluer la performance du modèle croisé sur les tâches.
- Identification de la marge de progression : Identifier les tâches pour lesquelles le modèle cible ne réussit pas tous les tests, en classant spécifiquement l'échec comme un échec de raisonnement logique.
- Extraction des pertes : Analyser les étapes de l'agent (trajectoire de l'agent) pour observer et extraire les schémas de perte de capacités fondamentales du modèle.
Compétences requises
- Contributeurs GitHub hautement qualifiés.
- Les candidats doivent posséder une solide expertise en science des données, ML, codage, ou une solide formation quantitative en STEM de pointe.
- Capacité à s'engager de manière fiable pour 30+ heures par semaine (les jours de semaine).
Processus d'évaluation
- Le processus de candidature prend environ 15 minutes.
- La réalisation d'un entretien vidéo par IA est requise.