关于此职位
在这个按小时计酬的远程承包商岗位中，您将作为法律与合规领域主题专家（SME），创建具有挑战性的专业问题、评估 AI 生成的法律和监管内容，并设计高质量评分标准，以界定完整、论证充分且符合专业要求的回答应包含哪些内容。
您将根据自身专长，设计涉及法律分析、监管解读、合规、问题识别、风险评估、政策解读、合同、隐私、金融监管、雇佣事务、企业合规或相关领域的任务。
您将评估 AI 生成的回答是否识别相关议题、适用适当的规则或标准、识别例外情形、区分事实与假设、处理相关风险，并避免缺乏支持的结论。
本岗位的一项主要工作是撰写评分标准和设计评估方案。您将把细致入微的法律或监管判断转化为结构化标准，涵盖问题识别、适用标准、分析质量、完整性、例外情形、司法管辖区考量、风险以及专业推理。
本岗位隶属于 SME Careers，这是一家快速增长的 AI 数据服务公司，也是 SuperAnnotate 的子公司，为全球许多最大的 AI 公司和基础模型实验室提供训练数据。您的专业知识将直接帮助改进全球顶尖的 AI 模型，使其法律与合规输出更准确、更严谨、更具专业可靠性。
您将做什么
- 创建法律与合规任务：设计需要专家分析和专业判断的真实、困难场景。
- 设计详细评分标准：界定相关议题、规则、标准、分析步骤、例外情形、风险和关键错误。
- 评估 AI 生成的分析：评估回答的准确性、完整性、推理质量、相关性和专业严谨性。
- 审查问题识别：判断模型是否识别出重要法律或监管考量。
- 评估推理质量：识别缺乏支持的结论、规则适用错误、遗漏的例外情形和错误假设。
- 评审同行评分标准：审查评分标准是否遗漏问题、含糊不清、冗余、过于主观或法律预期不准确。
- 开发参考内容：创建高质量分析、答案框架、评审意见和黄金标准示例。
- 支持 AI 训练：为 RL 和 SFT 工作流生成问题、评分标准、评估、偏好数据和参考答案对。
- 保持专业质量：确保内容恰当区分事实分析、法律解释、专业判断和不确定性。
我们在寻找什么
- 与所述专业相关的 JD、LLB、LLM、法律学位、合规资格或同等专业背景。
- 对于以律师为重点的岗位，强烈优先考虑具备专业法律资格或律师执业资格。
- 英语具备较强专业熟练度，至少 C1。
- 在法律、监管合规、法律研究、政策、风险、隐私、金融合规、合同或相关领域拥有 3 年以上专业经验。
- 在明确界定的法律、监管或合规领域具有经证明的专长。
- 能够创建需要问题识别、解释、分析和判断的具有挑战性的专业场景。
- 具备较强的能力来设计评分标准，界定必需议题、适用标准、推理步骤、相关例外情形、风险和关键遗漏。
- 能够区分合理的替代性法律解释与客观上有缺陷的分析。
- 乐于审查和评审其他法律或合规专家制定的评分标准。
- 在评估术语、事实假设、司法管辖区、权威依据、例外情形、重要性和结论时注重细节。
- 强烈优先考虑具有法律教育、考试命题、同行评审、法律编辑、质量保证、政策起草、合规测试或监督审查经验者。
- 优先考虑具有 AI 评估、法律 AI、数据标注、RLHF、模型基准测试或基于评分标准的评分经验者。