À propos du poste
Dans ce rôle de contractant à distance rémunéré à l’heure, vous travaillerez en tant qu’expert du sujet (SME) STEM et technique pour créer des questions difficiles de niveau expert, évaluer du contenu technique généré par IA et concevoir des grilles d’évaluation détaillées définissant ce que doit contenir une réponse correcte, rigoureuse et de qualité experte.
Vous développerez des problèmes dans votre domaine d’expertise qui testent un raisonnement avancé plutôt qu’une simple restitution factuelle. Vous identifierez les faiblesses des modèles d’IA de pointe, notamment les hypothèses incorrectes, les raisonnements incomplets, les erreurs mathématiques ou scientifiques, les cas limites manqués et les réponses qui semblent plausibles mais échouent à un examen expert.
Un axe majeur de ce rôle est la conception et la rédaction de grilles d’évaluation. Vous traduirez un jugement technique complexe en critères d’évaluation clairs, spécifiques et mesurables, incluant les concepts requis, les étapes de raisonnement, les approches alternatives acceptables, les erreurs critiques et les considérations de crédit partiel. Vous pourrez également critiquer et améliorer les grilles d’évaluation élaborées par d’autres experts.
Ce rôle est au sein de SME Careers, une entreprise de services de données pour l’IA en forte croissance et filiale de SuperAnnotate, qui fournit des données d’entraînement à nombre des plus grandes entreprises d’IA et laboratoires de modèles de fondation au monde. Votre expertise technique contribue directement à améliorer les principaux modèles d’IA mondiaux en rendant leur raisonnement plus précis, rigoureux et fiable.
Ce que vous ferez
- Créer des questions techniques de niveau expert : développer des questions difficiles qui testent un véritable raisonnement technique et exposent les faiblesses des systèmes d’IA avancés.
- Concevoir des grilles d’évaluation : rédiger des critères structurés définissant ce que doit contenir une réponse correcte, rigoureuse et complète.
- Définir des standards de crédit partiel : identifier les étapes de raisonnement essentielles, les alternatives acceptables, les erreurs mineures et les échecs critiques.
- Évaluer des solutions générées par IA : apprécier les sorties selon leur exactitude, la qualité du raisonnement, leur exhaustivité, leur méthodologie et leur précision technique.
- Identifier des erreurs de raisonnement cachées : détecter les cas où une réponse atteint la bonne conclusion en s’appuyant sur des hypothèses invalides ou une logique défaillante.
- Critiquer les grilles d’évaluation des pairs : examiner les critères d’autres experts sous l’angle de l’exactitude technique, de la clarté, de l’exhaustivité et de la cohérence de la notation.
- Développer du contenu de référence : produire des réponses d’expert, des explications, des critiques et d’autres contenus de référence.
- Soutenir l’entraînement de l’IA : créer des questions, des grilles d’évaluation, des évaluations, des jugements de préférence et des paires de réponses de référence adaptés aux workflows RL et SFT.
- Maintenir la rigueur technique : veiller à ce que le contenu reflète les normes professionnelles ou académiques appropriées dans la discipline concernée.
Ce que nous recherchons
- Licence ou diplôme supérieur en mathématiques, physique, chimie, ingénierie, informatique, statistiques, sciences appliquées ou une autre discipline technique.
- Solide maîtrise professionnelle de l’anglais, minimum C1, avec la capacité de rédiger des explications techniques précises et des critères d’évaluation.
- 3+ ans d’expérience professionnelle, académique, de recherche ou industrielle dans votre domaine technique déclaré.
- Expertise avancée démontrée dans un domaine ou une spécialisation technique clairement défini.
- Capacité à créer des questions techniques difficiles exigeant un raisonnement en plusieurs étapes, une expertise du domaine ou un jugement professionnel.
- Forte capacité à concevoir des grilles d’évaluation détaillées définissant le raisonnement requis, la méthodologie correcte, les alternatives acceptables, les critères de crédit partiel et les erreurs critiques.
- Capacité à distinguer une réponse finale correcte d’une réponse étayée par un raisonnement valide ou défaillant.
- À l’aise pour examiner et critiquer les grilles d’évaluation d’autres experts afin de repérer les ambiguïtés, critères manquants, redondances, inexactitudes techniques ou défauts de conception de la notation.
- Grand souci du détail lors de l’évaluation de formules, hypothèses, unités, méthodologies, cas limites, cohérence logique et terminologie technique.
- Une expérience en rédaction d’examens, notation académique, évaluation par les pairs, revue de recherche, assurance qualité technique, développement de normes ou conception d’évaluations est fortement appréciée.
- Une expérience préalable en évaluation d’IA, RLHF, SFT, benchmarking, annotation de données, conception de prompts ou évaluation de LLM est appréciée.
- Fiable, autonome et capable de fournir une qualité constante dans un cadre de travail de contractant à distance rémunéré à l’heure.