关于此职位
在这个按小时计酬的远程承包商职位中,你将担任法律质量保证负责人(QAL),负责监督法律 AI 训练项目的质量、一致性和训练师表现。你将审查 AI 生成的法律内容和训练师/QA 的工作,依据项目指南评估输出质量,提供精确的书面反馈,并确保所有贡献者遵循预期的质量标准。
你将评估工作在以下方面的表现:法律推理质量、问题识别、法域意识、引文与来源处理、清晰度、风险意识、格式、指令遵循以及对项目特定评分标准的遵守情况。你将发现反复出现的质量问题,向训练师和 QA 传达更新,支持入职引导,维护文档,并帮助激活那些工作不稳定的贡献者。该职位要求具备扎实的法律专业知识、较强的英语沟通能力、出色的注重细节能力、结构化沟通能力,以及跨远程法律审查团队管理质量工作流的能力。
该职位隶属于 SME Careers,这是一家快速发展的 AI 数据服务公司,也是 SuperAnnotate 的子公司,为众多全球最大的 AI 公司和基础模型实验室提供训练数据。你的法律质量领导工作将直接帮助改进全球顶尖的 AI 模型,确保法律训练数据准确、推理严谨、解释清晰、审慎适度、文档完备,并符合客户期望。
选拔流程包括一次 AI 面试、一项领域特定任务,以及与招聘人员的一次面试。
重要提示: 该职位目前没有立即启动的项目;不过,如果你符合条件,当相关机会出现时,你将成为我们首批联系的专家之一。这还将使你能够通过我们的专家网络获得未来可用的项目。
你将做什么
- 质量监控:抽查法律条目,识别质量问题,通过私信提供持续反馈,并上报反复出现或严重的问题。
- 法律审查:评估 AI 生成的法律解释、法律研究回答、合同分析、政策解读、案件摘要、合规指导以及问题识别工作流在准确性、清晰度和审慎适度方面的表现。
- 训练师与 QA 沟通:在 Discord 上向训练师和 QA 更新有关新条目指南、项目变更、工作流更新、质量期望以及法律审查特定标准的信息。
- 问题处理:清晰、及时地回应训练师/QA 的问题,尤其是围绕法律推理、法域、引文、来源质量、免责声明、合同语言、合规解读和评分标准应用的问题。
- 训练师/QA 激活管理:向不活跃或未工作的贡献者发送私信,鼓励其激活,跟踪后续跟进情况,并在需要时标记可用性问题。
- 文档:创建并维护法律项目文档,包括风格指南、跟踪表、常见问题解答、质量说明、示例、蜜罐、校准任务和入职材料。
- 入职引导与训练:安排并主持与训练师和 QA 的入职/训练通话,解释项目期望、工作流、评分标准、质量标准以及法律特定的审查要求。
- 质量对齐:确保所有训练师和 QA 一致地应用法律审查指南,并随着项目发展理解各项更新。
- 风险与安全审查:标记不安全、误导性、过度自信或法域上不适当的法律输出,尤其是在内容可能被解读为个性化法律建议的情况下。
- 流程改进:识别反复出现的质量差距,提出工作流改进建议,并帮助为法律 AI 训练项目构建可扩展的 QA 流程。
我们在寻找
- 法律、法律研究、律师助理研究、合规、公共政策或密切相关领域的学士学位、JD、LLB、LLM 或同等学位。
- 较强的英语语言能力,能够遵循项目指南、与团队沟通,并用英语提供清晰的法律审查反馈。
- 3 年以上在法律实践、法律研究、合同审查、合规、监管分析、律师助理工作、法律运营、法律写作、法律教育或相关工作流方面的专业经验。
- 对核心法律概念有深入理解,例如法律推理、问题识别、合同解释、法律研究、成文法解释、案件分析、合规、风险评估和法律写作标准。
- 能够依据详细评分标准评估法律内容,并识别诸如无依据的结论、虚构的引文、法域不匹配、过度自信的法律建议、缺失的警示说明、错误的法律标准、不完整的推理或含糊解释等问题。
- 熟悉常见的法律工作流或工具(如合同审查、法律备忘录、案件摘要、监管指导、引文核查、法律数据库、文档审查、合规清单或政策分析)者优先。
- 具有领导或支持由训练师、标注员、审查员、律师、律师助理、法律写作者、研究人员或 QA 组成的远程团队的经验者强烈优先。
- 能够适应快速变化的远程环境,并使用 Discord、Google Sheets、Google Docs、跟踪表、仪表板和项目管理系统等工具。
- 高度注重细节且有条理,能够维护风格指南、常见问题解答、跟踪表、入职材料、蜜罐、校准任务和其他质量文档。
- 具有 AI 训练、数据标注、大型语言模型、提示/回复评估、法律内容 QA 或基于评分标准的 LLM 评估经验者优先。