Lead en assurance qualité juridique (QAL)

Dans ce rôle de contractant horaire et à distance, vous travaillerez en tant que Lead en assurance qualité juridique (QAL) pour superviser la qualité, la cohérence et la performance des entraîneurs sur les projets d'entraînement d'IA juridique. Vous examinerez le contenu juridique généré par l'IA ainsi que le travail des entraîneurs/QA, évaluerez la qualité des résultats par rapport aux directives du projet, fournirez des retours écrits précis et veillerez à ce que tous les contributeurs respectent les normes de qualité attendues.

Vous évaluerez le travail en fonction de la qualité du raisonnement juridique, de la détection des problèmes, de la conscience juridictionnelle, de la gestion des citations et des sources, de la clarté, de la conscience des risques, du formatage, du respect des instructions et de l'adhésion aux rubriques spécifiques au projet. Vous repérerez les problèmes de qualité récurrents, communiquerez les mises à jour aux entraîneurs et aux QA, soutiendrez l'intégration, tiendrez la documentation et aiderez à activer les contributeurs qui ne travaillent pas de manière régulière. Ce rôle exige une solide expertise juridique, de solides compétences en communication en anglais, une excellente attention aux détails, une communication structurée et la capacité de gérer des flux de travail qualité au sein d'équipes de révision juridique à distance.

Ce rôle est au sein de SME Careers, une entreprise de services de données d'IA en pleine croissance et filiale de SuperAnnotate, qui fournit des données d'entraînement à nombre des plus grandes entreprises d'IA et laboratoires de modèles de fondation au monde. Votre leadership en qualité juridique contribuera directement à améliorer les principaux modèles d'IA mondiaux en veillant à ce que les données d'entraînement juridique soient exactes, bien raisonnées, clairement expliquées, convenablement prudentes, bien documentées et alignées sur les attentes des clients.

Le processus de sélection comprend un entretien avec l'IA, une tâche spécifique au domaine et un entretien avec un recruteur.

Important : Il n'y a pas de projet immédiat pour ce rôle ; toutefois, si vous êtes qualifié, vous ferez partie des premiers experts que nous contacterons lorsque des opportunités pertinentes se présenteront. Cela vous donnera également accès à de futurs projets disponibles via notre réseau d'experts.

Ce que vous ferez

• Suivi de la qualité : effectuer des contrôles ponctuels des éléments juridiques, identifier les problèmes de qualité, fournir des retours continus via des messages privés et escalader les problèmes récurrents ou critiques.
• Révision juridique : évaluer les explications juridiques générées par l'IA, les réponses de recherche juridique, les analyses de contrats, les interprétations de politiques, les résumés de jurisprudence, les conseils de conformité et les flux de travail de détection des problèmes pour leur exactitude, leur clarté et leur prudence appropriée.
• Communication avec les entraîneurs et les QA : informer les entraîneurs et les QA sur Discord des nouvelles directives relatives aux éléments, des changements de projet, des mises à jour des flux de travail, des attentes en matière de qualité et des normes spécifiques à la révision juridique.
• Gestion des questions : répondre clairement et rapidement aux questions des entraîneurs/QA, notamment en ce qui concerne le raisonnement juridique, la juridiction, les citations, la qualité des sources, les avertissements, le langage contractuel, l'interprétation de la conformité et l'application des rubriques.
• Gestion de l'activation des entraîneurs/QA : envoyer des messages privés aux contributeurs inactifs ou qui ne travaillent pas, encourager l'activation, suivre les relances et signaler les problèmes de disponibilité si nécessaire.
• Documentation : créer et tenir à jour la documentation des projets juridiques, y compris les guides de style, les tableaux de suivi, les FAQ, les notes de qualité, les exemples, les pots de miel, les tâches de calibration et les supports d'intégration.
• Intégration et entraînement : planifier et animer des appels d'intégration/entraînement avec les entraîneurs et les QA pour expliquer les attentes du projet, les flux de travail, les rubriques, les normes de qualité et les exigences de révision spécifiques au juridique.
• Alignement de la qualité : veiller à ce que tous les entraîneurs et QA appliquent les directives de révision juridique de manière cohérente et comprennent les mises à jour au fur et à mesure de l'évolution des projets.
• Révision des risques et de la sécurité : signaler les résultats juridiques dangereux, trompeurs, trop confiants ou inappropriés sur le plan juridictionnel, en particulier lorsque le contenu pourrait être interprété comme un conseil juridique personnalisé.
• Amélioration des processus : identifier les lacunes de qualité récurrentes, proposer des améliorations des flux de travail et aider à mettre en place des processus QA évolutifs pour les projets d'entraînement d'IA juridique.

Ce que nous recherchons

• Licence, JD, LLB, LLM ou diplôme équivalent en droit, études juridiques, études de paralégal, conformité, politique publique ou domaine étroitement lié.
• Solide maîtrise de la langue anglaise pour suivre les directives du projet, communiquer avec les équipes et fournir des retours clairs de révision juridique en anglais.
• 3+ ans d'expérience professionnelle dans la pratique juridique, la recherche juridique, la révision de contrats, la conformité, l'analyse réglementaire, le travail de paralégal, les opérations juridiques, la rédaction juridique, l'enseignement juridique ou des flux de travail connexes.
• Solide compréhension des concepts juridiques fondamentaux tels que le raisonnement juridique, la détection des problèmes, l'interprétation des contrats, la recherche juridique, l'interprétation des lois, l'analyse de jurisprudence, la conformité, l'évaluation des risques et les normes de rédaction juridique.
• Capacité à évaluer le contenu juridique par rapport à des rubriques détaillées et à identifier des problèmes tels que des conclusions non étayées, des citations hallucinées, des inadéquations juridictionnelles, des conseils juridiques trop confiants, des mises en garde manquantes, des normes juridiques incorrectes, un raisonnement incomplet ou des explications peu claires.
• Familiarité avec les flux de travail ou outils juridiques courants tels que la révision de contrats, les notes juridiques, les résumés de jurisprudence, les orientations réglementaires, la vérification des citations, les bases de données juridiques, la revue de documents, les listes de contrôle de conformité ou l'analyse de politiques est préférée.
• Expérience de la direction ou du soutien d'équipes à distance d'entraîneurs, d'annotateurs, de réviseurs, d'avocats, de paralégaux, de rédacteurs juridiques, de chercheurs ou de QA est fortement préférée.
• À l'aise pour travailler dans des environnements à distance en évolution rapide utilisant des outils tels que Discord, Google Sheets, Google Docs, des tableaux de suivi, des tableaux de bord et des systèmes de gestion de projet.
• Très soucieux du détail et organisé, avec la capacité de tenir des guides de style, des FAQ, des tableaux de suivi, des supports d'intégration, des pots de miel, des tâches de calibration et d'autres documents de qualité.
• Expérience de l'entraînement d'IA, de l'annotation de données, des grands modèles de langage, de l'évaluation d'invites/réponses, de la QA de contenu juridique ou de l'évaluation de LLM basée sur des rubriques est un atout majeur.