À propos du poste
Dans ce rôle de contractant à distance rémunéré à l'heure, vous travaillerez en tant qu'expert en la matière (SME) dans le domaine de la santé pour créer des questions exigeantes de niveau expert en santé, évaluer du contenu clinique généré par IA et concevoir des grilles d'évaluation de haute qualité définissant ce que devrait contenir une réponse exacte, complète et professionnellement appropriée.
Vous utiliserez votre expertise clinique ou professionnelle pour identifier les domaines dans lesquels les modèles d'IA de pointe peuvent fournir des réponses incomplètes, inexactes, mal raisonnées, trop confiantes ou cliniquement inadéquates. Vous rédigerez des questions spécialisées dans votre domaine, élaborerez des critères de notation détaillés, critiquerez les grilles d'évaluation créées par d'autres professionnels de la santé et fournirez une rétroaction écrite précise.
Un axe majeur de ce rôle est la conception de grilles d'évaluation et l'évaluation par des experts. Vous définirez les concepts cliniques essentiels, les étapes de raisonnement, les mises en garde pertinentes, les approches alternatives acceptables, les omissions significatives et les erreurs critiques qui distinguent les réponses superficielles des réponses de niveau expert.
Ce rôle s'inscrit chez SME Careers, une entreprise de services de données pour l'IA en forte croissance et filiale de SuperAnnotate, qui fournit des données d'entraînement à nombre des plus grandes entreprises d'IA et laboratoires de modèles de base au monde. Votre expertise en santé contribue directement à améliorer les meilleurs modèles d'IA au monde en rendant leurs réponses plus exactes, cliniquement appropriées, rigoureuses et fiables.
Ce que vous ferez
- Créer des questions expertes en santé : élaborer des questions spécialisées capables de révéler les limites des systèmes d'IA avancés.
- Concevoir des grilles d'évaluation détaillées : définir les composantes requises pour une réponse exacte, complète et cliniquement appropriée.
- Identifier les critères essentiels : distinguer le raisonnement clinique essentiel des informations complémentaires.
- Évaluer les réponses de l'IA : apprécier les sorties des modèles sur le plan de l'exactitude factuelle, du raisonnement, de la sécurité, de l'exhaustivité et de la qualité professionnelle.
- Identifier les défaillances subtiles : détecter les considérations manquantes, les hypothèses non étayées, la certitude inappropriée et les omissions cliniquement importantes.
- Critiquer les grilles d'évaluation de pairs : identifier l'ambiguïté, la redondance, les attentes incorrectes, les critères manquants ou une mauvaise conception de la notation.
- Élaborer des réponses de référence : produire des exemples experts, des explications, des critiques et du contenu de référence.
- Soutenir l'entraînement de l'IA : générer des questions, des grilles d'évaluation, des évaluations, des critiques et des paires de réponses de référence pour les flux de travail RL et SFT.
- Maintenir la qualité clinique : veiller à ce que le contenu reflète une terminologie appropriée, un raisonnement professionnel et un jugement fondé sur les données probantes.
Ce que nous recherchons
- Diplôme professionnel, licence, accréditation ou qualification reconnue en médecine, dentisterie, pharmacie, soins infirmiers ou une autre discipline de la santé.
- Forte maîtrise professionnelle de l'anglais, minimum C1.
- 3+ ans d'expérience professionnelle ou clinique ; les professionnels de niveau senior et spécialiste sont fortement privilégiés.
- Expertise démontrée dans une spécialité ou sous-spécialité clairement définie.
- Capacité à élaborer des questions cliniques ou professionnelles exigeantes nécessitant une véritable expertise et un jugement nuancé.
- Solide capacité à rédiger des grilles d'évaluation détaillées définissant les faits requis, les étapes de raisonnement, les mises en garde, les alternatives acceptables et les erreurs cliniques critiques.
- Capacité à distinguer les omissions mineures des erreurs qui affectent matériellement la qualité ou la sécurité clinique.
- À l'aise pour examiner et critiquer les grilles d'évaluation créées par d'autres professionnels de la santé.
- Capacité à évaluer les sorties de l'IA sur le plan de l'exactitude, de l'exhaustivité, de la qualité du raisonnement, de la sécurité, de la calibration et de la pertinence clinique.
- Une expérience en éducation médicale, rédaction d'examens, évaluation des compétences, lignes directrices cliniques, enseignement, revue par les pairs ou assurance qualité est fortement privilégiée.
- Une expérience préalable en évaluation de l'IA, RLHF, SFT, annotation de données, évaluation comparative de modèles ou notation fondée sur des grilles d'évaluation est privilégiée.
- Fiable, autonome et capable de produire un travail écrit cohérent.