法務・コンプライアンス専門家 – ルーブリック設計

この時間制・リモートの契約ポジションでは、法務・コンプライアンスの主題専門家（SME）として、難易度の高い専門的質問を作成し、AIが生成した法務・規制コンテンツを評価し、完全で論理的に筋の通った、専門的に適切な回答が何を含むべきかを定義する高品質なルーブリックを設計していただきます。

専門分野に応じて、法的分析、規制の解釈、コンプライアンス、争点の発見、リスク評価、ポリシーの解釈、契約、プライバシー、金融規制、雇用問題、企業コンプライアンス、または関連分野を含むタスクを開発していただきます。

AIが生成した回答が、関連する争点を特定しているか、適切な規則や基準を適用しているか、例外を認識しているか、事実と仮定を区別しているか、関連するリスクに対処しているか、根拠のない結論を避けているかを評価していただきます。

この役割の主要な要素は、ルーブリックの作成と評価設計です。微妙な法的または規制的判断を、争点の特定、適用される基準、分析の質、完全性、例外、管轄上の考慮事項、リスク、専門的推論を網羅する構造化された評価基準に落とし込んでいただきます。

この役割は、急成長中のAIデータサービス企業であり、SuperAnnotateの子会社であるSME Careersに所属します。世界最大級のAI企業や基盤モデルラボの多くに学習データを提供しています。あなたの専門知識は、法務・コンプライアンスに関する出力をより正確で厳密かつ専門的に信頼できるものにすることで、世界を代表するAIモデルの改善に直接貢献します。

業務内容

• 法務・コンプライアンスのタスクを作成する：専門家の分析と専門的判断を必要とする、現実的で困難なシナリオを開発する。
• 詳細なルーブリックを設計する：関連する争点、規則、基準、分析手順、例外、リスク、重大な誤りを定義する。
• AIが生成した分析を評価する：回答の正確性、完全性、推論の質、関連性、専門的厳密性を評価する。
• 争点の発見をレビューする：モデルが重要な法的または規制的考慮事項を特定しているかを判断する。
• 推論の質を評価する：根拠のない結論、規則の誤った適用、見落とされた例外、誤った仮定を特定する。
• 他の専門家のルーブリックを批評する：不足している争点、曖昧さ、冗長性、過度な主観性、不正確な法的期待についてルーブリックをレビューする。
• 参照コンテンツを開発する：高品質な分析、回答フレームワーク、批評、ゴールドスタンダードの例を作成する。
• AIトレーニングを支援する：RLおよびSFTワークフロー向けの質問、ルーブリック、評価、選好データ、参照回答ペアを作成する。
• 専門的品質を維持する：コンテンツが事実分析、法的解釈、専門的判断、不確実性を適切に区別していることを確保する。

求める人材

• JD、LLB、LLM、法学学位、コンプライアンス資格、または記載された専門分野に関連する同等の専門的経歴。
• 弁護士向けの役割では、専門的な法務資格または弁護士登録が強く望ましい。
• 英語の高い professional proficiency、最低C1。
• 法律、規制コンプライアンス、法務調査、ポリシー、リスク、プライバシー、金融コンプライアンス、契約、または関連分野での3年以上の専門的経験。
• 明確に定義された法務、規制、またはコンプライアンス領域における実証された専門知識。
• 争点の発見、解釈、分析、判断を必要とする困難な専門的シナリオを作成する能力。
• 必要な争点、適用される基準、推論手順、関連する例外、リスク、重大な欠落を定義するルーブリックを設計する強い能力。
• 正当な代替の法的解釈と、客観的に不十分な分析を区別する能力。
• 他の法務またはコンプライアンス専門家が作成したルーブリックをレビューし批評することに抵抗がない。
• 用語、事実の仮定、管轄、権限、例外、重要性、結論を評価する際の強い細部への注意力。
• 法教育、試験作成、ピアレビュー、法務編集、品質保証、ポリシー作成、コンプライアンステスト、または監督レビューの経験が強く望ましい。
• AI評価、法務AI、データアノテーション、RLHF、モデルベンチマーク、またはルーブリックに基づくスコアリングの経験があることが望ましい。