À propos du poste
À propos de Turing : Basée à San Francisco, en Californie, Turing est le principal accélérateur de recherche au monde pour les laboratoires d’IA de pointe et un partenaire de confiance pour les entreprises du monde entier qui déploient des systèmes d’IA avancés. Turing accompagne ses clients de deux manières : d’une part, en accélérant la recherche de pointe grâce à des données de haute qualité, à des pipelines d’entraînement avancés et à des chercheurs en IA de premier plan spécialisés dans le codage, le raisonnement, les STEM, le multilinguisme, la multimodalité et les agents ; d’autre part, en appliquant cette expertise pour aider les entreprises à faire passer l’IA du stade de preuve de concept à celui d’intelligence propriétaire, avec des systèmes qui fonctionnent de manière fiable, produisent un impact mesurable et génèrent des résultats durables sur le compte de résultat (P&L).
À propos du poste
Nous recherchons des professionnels de la gestion d’équipe hautement qualifiés pour soutenir l’évaluation, le test et l’amélioration continue de grands modèles de langage (LLM) avancés.
Dans ce rôle, vous mettrez votre expertise en leadership d’équipe, en gestion des personnes, en gestion de la performance, en planification des effectifs et en exécution opérationnelle au service de l’évaluation des réponses générées par l’IA. Vous identifierez les lacunes de connaissances, concevrez des prompts exigeants inspirés de situations réelles, évaluerez le raisonnement des modèles et contribuerez à améliorer l’exactitude, la fiabilité et l’utilité pratique des systèmes d’IA.
Principales responsabilités
- Créer des prompts complexes, propres à un domaine, pour tester les capacités des LLM.
- Évaluer l’exactitude factuelle, le raisonnement, la pertinence et la qualité globale des réponses générées par l’IA.
- Identifier les erreurs factuelles, les incohérences logiques, les lacunes de connaissances et les faiblesses des modèles.
- Développer des cas de test exigeants et des cas limites qui mettent en évidence les limites des modèles.
- Fournir des retours clairs, détaillés et fondés sur des preuves pour améliorer les performances du modèle.
Qualifications minimales
- Master ou diplôme supérieur dans un domaine pertinent.
- Au moins trois ans d’expérience professionnelle, de recherche ou d’enseignement.
- Excellentes compétences de communication écrite en anglais.
- Solides capacités d’analyse et d’esprit critique.
- Sens du détail exceptionnel.
Qualifications souhaitées
- Expérience de travail avec des LLM ou l’IA générative.
- Connaissance de l’ingénierie de prompts, de l’évaluation d’IA ou du test de modèles.
- Expérience de la conception de prompts exigeants, de l’identification de cas limites ou des tests de résistance de modèles d’IA.
Candidat idéal
Le candidat idéal est curieux, rigoureux et possède une connaissance approfondie de son domaine. Il aime résoudre des problèmes complexes, remettre en question les hypothèses et repérer des erreurs factuelles ou de raisonnement subtiles. Une expérience de la conception de prompts qui révèlent les limites des modèles et améliorent les performances de l’IA sera un atout important.