À propos du poste
Dans ce rôle de sous-traitant horaire à distance, vous travaillerez en tant qu'expert en la matière (SME) en juridique et conformité pour créer des questions professionnelles exigeantes, évaluer du contenu juridique et réglementaire généré par IA, et concevoir des rubriques de haute qualité définissant ce que devrait contenir une réponse complète, bien raisonnée et professionnellement appropriée.
Vous développerez des tâches impliquant l'analyse juridique, l'interprétation réglementaire, la conformité, l'identification des points litigieux, l'évaluation des risques, l'interprétation des politiques, les contrats, la confidentialité, la réglementation financière, les questions d'emploi, la conformité des entreprises ou des domaines connexes selon votre spécialisation.
Vous évaluerez si les réponses générées par IA identifient les points pertinents, appliquent les règles ou normes appropriées, reconnaissent les exceptions, distinguent les faits des hypothèses, traitent les risques pertinents et évitent les conclusions non étayées.
Une composante majeure de ce rôle est la rédaction de rubriques et la conception d'évaluations. Vous traduirez un jugement juridique ou réglementaire nuancé en critères structurés couvrant l'identification des points, les normes applicables, la qualité de l'analyse, l'exhaustivité, les exceptions, les considérations juridictionnelles, le risque et le raisonnement professionnel.
Ce rôle s'inscrit chez SME Careers, une entreprise de services de données IA en forte croissance et filiale de SuperAnnotate, fournissant des données d'entraînement à nombre des plus grandes entreprises mondiales d'IA et laboratoires de modèles de fondation. Votre expertise contribue directement à améliorer les meilleurs modèles d'IA au monde en rendant leurs productions juridiques et de conformité plus précises, rigoureuses et professionnellement fiables.
Ce que vous ferez
- Créer des tâches juridiques et de conformité : développer des scénarios réalistes et difficiles nécessitant une analyse experte et un jugement professionnel.
- Concevoir des rubriques détaillées : définir les points pertinents, les règles, les normes, les étapes analytiques, les exceptions, les risques et les erreurs critiques.
- Évaluer les analyses générées par IA : apprécier les réponses quant à leur exactitude, leur exhaustivité, la qualité du raisonnement, leur pertinence et leur rigueur professionnelle.
- Examiner l'identification des points litigieux : déterminer si le modèle identifie les considérations juridiques ou réglementaires déterminantes.
- Évaluer la qualité du raisonnement : identifier les conclusions non étayées, l'application incorrecte des règles, les exceptions manquantes et les hypothèses erronées.
- Critiquer les rubriques des pairs : examiner les rubriques pour repérer les points manquants, l'ambiguïté, la redondance, la subjectivité excessive ou des attentes juridiques inexactes.
- Élaborer du contenu de référence : créer des analyses de haute qualité, des cadres de réponse, des critiques et des exemples de référence.
- Soutenir l'entraînement de l'IA : produire des questions, des rubriques, des évaluations, des données de préférence et des paires de réponses de référence pour les workflows RL et SFT.
- Maintenir la qualité professionnelle : veiller à ce que le contenu distingue de manière appropriée l'analyse factuelle, l'interprétation juridique, le jugement professionnel et l'incertitude.
Ce que nous recherchons
- JD, LLB, LLM, diplôme en droit, qualification en conformité ou expérience professionnelle équivalente pertinente pour la spécialité indiquée.
- Une qualification juridique professionnelle ou une admission au barreau est fortement préférée pour les rôles axés sur les avocats.
- Forte maîtrise professionnelle de l'anglais, minimum C1.
- 3+ années d'expérience professionnelle en droit, conformité réglementaire, recherche juridique, politiques, risques, confidentialité, conformité financière, contrats ou un domaine connexe.
- Expertise démontrée dans un domaine juridique, réglementaire ou de conformité clairement défini.
- Capacité à créer des scénarios professionnels exigeants nécessitant l'identification des points litigieux, l'interprétation, l'analyse et le jugement.
- Forte capacité à concevoir des rubriques définissant les points requis, les normes applicables, les étapes de raisonnement, les exceptions pertinentes, les risques et les omissions critiques.
- Capacité à distinguer les interprétations juridiques alternatives légitimes d'une analyse objectivement déficiente.
- À l'aise pour examiner et critiquer les rubriques élaborées par d'autres experts juridiques ou de conformité.
- Fort souci du détail lors de l'évaluation de la terminologie, des hypothèses factuelles, de la juridiction, de l'autorité, des exceptions, du caractère significatif et des conclusions.
- Une expérience en enseignement juridique, rédaction d'examens, évaluation par les pairs, édition juridique, assurance qualité, rédaction de politiques, tests de conformité ou révision de supervision est fortement préférée.
- Une expérience préalable en évaluation d'IA, IA juridique, annotation de données, RLHF, évaluation comparative de modèles ou notation basée sur des rubriques est préférée.