Annotateur LLM - Master

À propos de Turing :

Basée à San Francisco, en Californie, Turing est le principal accélérateur de recherche au monde pour les laboratoires d’IA de pointe et un partenaire de confiance pour les entreprises du monde entier qui déploient des systèmes d’IA avancés. Turing accompagne ses clients de deux manières : d’une part, en accélérant la recherche de pointe grâce à des données de haute qualité, à des pipelines d’entraînement avancés et à des chercheurs en IA de premier plan spécialisés dans le codage, le raisonnement, les STEM, le multilinguisme, la multimodalité et les agents ; d’autre part, en appliquant cette expertise pour aider les entreprises à faire passer l’IA du stade de preuve de concept à celui d’intelligence propriétaire, avec des systèmes qui fonctionnent de manière fiable, produisent un impact mesurable et génèrent des résultats durables sur le compte de résultat (P&L).

Aperçu du poste

Nous recherchons des profils très motivés en gestion d’équipe pour soutenir l’évaluation et l’amélioration de grands modèles de langage (LLM) de pointe. Dans ce rôle, vous analyserez des données structurées, créerez des prompts exigeants, évaluerez l’exactitude factuelle et la qualité du raisonnement des réponses générées par l’IA, et fournirez des retours étayés par des preuves afin d’améliorer les performances du modèle.

Nous recherchons des professionnels curieux et rigoureux, qui aiment résoudre des problèmes complexes et évaluer des systèmes d’IA. Le candidat idéal sait analyser des données, faire preuve d’esprit critique, valider des réponses à l’aune de preuves et expliquer clairement pourquoi la production d’un modèle est correcte ou incorrecte. Une expérience de travail avec des modèles d’IA et de création de prompts d’évaluation exigeants est un atout important.

Principales responsabilités

• Créer des prompts exigeants qui évaluent la capacité d’un LLM à récupérer, analyser et raisonner sur des données structurées.
• Évaluer l’exactitude factuelle, le raisonnement logique et l’exhaustivité des réponses générées par l’IA.
• Identifier les défaillances des modèles, les incohérences, les hallucinations et les lacunes de raisonnement.
• Valider les productions du modèle à l’aide des jeux de données fournis et d’éléments de preuve à l’appui.
• Documenter les constats avec des explications claires et fondées sur des preuves.
• Suivre systématiquement les directives d’annotation et maintenir des normes de qualité élevées.

Qualifications minimales

• Master ou diplôme supérieur, dans n’importe quelle discipline.
• Au moins 3 années d’expérience professionnelle, de recherche ou d’enseignement.
• Solides compétences d’analyse et d’esprit critique.
• Excellentes compétences de communication écrite en anglais.
• Sens du détail exceptionnel et capacité à valider des informations par rapport aux données sources.

Qualifications souhaitées

• Expérience de travail avec des grands modèles de langage (LLM) ou l’IA générative.
• Connaissance de l’ingénierie de prompts, de l’évaluation d’IA, de l’annotation de données ou du test de modèles.
• Expérience de travail avec des jeux de données structurés (CSV, Excel, bases de données, etc.).
• Capacité à identifier les cas limites et à concevoir des prompts qui mettent en évidence les limites des modèles.

Avantages

• Possibilité de travailler sur des projets d’IA de pointe.
• Rémunération compétitive.
• Horaires de travail flexibles et environnement de travail à distance.

Détails de l’offre

• Engagements requis : 40, 30 ou 20 heures par semaine, avec au moins 4 heures de chevauchement avec le fuseau PST
• Type d’emploi : mission en tant que prestataire (sans congés maladie ni congés payés)
• Durée du contrat : 4 semaines

Processus d’évaluation :

• Présélection sur la base des qualifications et des résultats de l’évaluation.