Expert en raisonnement sur les jeux de société (entraînement et évaluation d’IA)

À propos de Turing

Turing est l’une des entreprises d’IA à la croissance la plus rapide au monde, qui accélère le progrès et le déploiement de systèmes d’IA puissants. Turing aide les principaux laboratoires d’IA à améliorer les capacités de raisonnement, de résolution de problèmes et de prise de décision des grands modèles de langage (LLM) grâce à des retours humains, des évaluations et des données d’entraînement de haute qualité.

Présentation du poste

Nous recherchons des experts en raisonnement sur les jeux de société pour contribuer à l’entraînement et à l’évaluation de modèles d’IA de nouvelle génération. Dans ce rôle, vous mettrez à profit votre expertise des jeux de société, des mécaniques de jeu, du raisonnement stratégique, des probabilités et des systèmes de règles complexes pour créer, examiner et évaluer des jeux de données de haute qualité qui améliorent les performances de l’IA.

Vous travaillerez sur des tâches exigeantes portant sur la logique de jeu, la prise de décision, la planification stratégique, l’interprétation des règles et l’analyse de scénarios, afin d’aider les systèmes d’IA de pointe à développer de meilleures capacités de raisonnement.

À quoi ressemble le quotidien ?

• Créer et examiner des tâches de raisonnement fondées sur des jeux, conçues pour évaluer des systèmes d’IA.
• Analyser des scénarios de jeux de société, des arbres de décision stratégiques et des systèmes fondés sur des règles.
• Évaluer les réponses générées par l’IA quant à leur exactitude, leur cohérence et la qualité du raisonnement.
• Élaborer des prompts, des grilles d’évaluation et des directives d’évaluation pour des tâches centrées sur les jeux de société et la stratégie.
• Repérer les erreurs logiques, les violations de règles et les raisonnements erronés dans les sorties de l’IA.
• Contribuer à la création de benchmarks et aux processus d’assurance qualité pour des projets d’évaluation de l’IA.
• Collaborer avec les équipes projet pour améliorer la qualité des jeux de données et les méthodologies d’évaluation.

Exigences

Qualifications requises

• Licence en informatique, en mathématiques, en sciences cognitives, en conception de jeux, en philosophie, en économie ou dans un domaine analytique connexe.
• 2+ ans d’expérience professionnelle ou semi-professionnelle en conception de jeux de société, en playtesting, dans des communautés de jeux de plateau ou dans des environnements connexes axés sur la stratégie.
• Solide compréhension de la logique, du raisonnement probabiliste, des mécaniques de jeu et des systèmes de règles complexes.
• Formation en théorie des jeux, en économie comportementale, en science de la décision ou en logique formelle.
• Familiarité avec les jeux de société modernes, les jeux de cartes à collectionner (TCG), les jeux de rôle sur table, les jeux de stratégie ou les systèmes de jeu compétitifs.
• Solides compétences analytiques et de résolution de problèmes.
• Excellentes compétences de communication écrite.

Qualifications souhaitées

• Expérience préalable en annotation de données, en entraînement d’IA, en ingénierie de prompts, en assurance qualité, en conception de jeux, en conception de puzzles ou en analyse de systèmes fondés sur des règles.
• Expérience de la création de grilles d’évaluation, de jeux de données de référence ou de cadres d’assurance qualité.
• Expérience de Python, de SQL ou d’outils d’analyse de données.
• Expérience de projets de RLHF, d’évaluation de modèles, de génération de données synthétiques ou de benchmarking de LLM.
• Familiarité avec des jeux de stratégie ou de plateau récemment sortis et capacité à apprendre rapidement de nouveaux systèmes de règles.

Avantages du travail en freelance avec Turing

• Travail dans un environnement entièrement à distance.
• Possibilité de travailler sur des projets d’IA de pointe avec des entreprises leaders dans le domaine des LLM.

Détails de l’offre

• Engagement requis : au moins 4 heures par jour et un minimum de 20 heures par semaine, avec un chevauchement de 4 heures avec le fuseau PST.
• Type de collaboration : mission en tant que prestataire indépendant (sans couverture médicale ni congés payés)
• Durée du contrat : 2 mois ; [date de début prévue : la semaine prochaine]

Processus d’évaluation

• Évaluation à réaliser à domicile