关于此职位
在这个按小时计酬的远程承包商岗位中,你将担任红队质量保证负责人(QAL),负责监督 AI 红队和安全评估项目的质量、一致性以及训练师表现。你将审核 AI 生成的安全评估、对抗性提示、风险分析以及训练师/QA 的工作;依据项目指南评估输出质量;提供精确的书面反馈;并确保所有贡献者遵循预期的质量标准。
你将评估工作在风险识别、对抗性推理、政策意识、安全分类体系一致性、提示质量、场景真实感、漏洞覆盖范围、清晰度、格式、指令遵循以及项目特定评分标准遵循方面的表现。你将发现反复出现的质量问题,向训练师和 QA 传达更新,支持入职培训,维护文档,并帮助激活未能持续工作的贡献者。该岗位要求具备出色的 AI 安全/红队判断力、出色的英语沟通能力、卓越的细节关注能力、结构化沟通能力,以及在远程专家团队中管理质量工作流的能力。
该岗位隶属于 SME Careers,这是一家快速成长的 AI 数据服务公司,也是 SuperAnnotate 的子公司,为全球许多最大的 AI 公司和基础模型实验室提供训练数据。你的红队质量领导工作将直接帮助改进全球顶尖的 AI 模型,确保安全训练数据真实、细致、符合政策、记录完善,并有助于识别模型漏洞。
选拔流程包括一次 AI 面试、一项领域特定任务,以及与招聘人员的一次面试。
重要提示: 该岗位目前没有立即可启动的项目;但是,如果你符合条件,当相关机会出现时,你将成为我们最早联系的专家之一。这也将为你提供通过我们的专家网络参与未来项目的机会。
你将做什么
- 质量监控:抽查红队条目,识别质量问题,通过私信提供持续反馈,并上报反复出现或关键的问题。
- 安全与红队审核:评估对抗性提示、模型响应、风险分类、安全分析、政策解释和漏洞报告的准确性、真实感和实用性。
- 训练师与 QA 沟通:在 Discord 上向训练师和 QA 更新新条目指南、项目变更、工作流更新、质量预期以及红队特定的审核标准。
- 问题处理:清晰、及时地回复训练师/QA 的问题,尤其是围绕风险类别、对抗策略、政策边界、边缘案例、严重程度和评分标准解释的问题。
- 训练师/QA 激活管理:私信不活跃或未开展工作的贡献者,鼓励其激活,跟踪后续跟进,并在需要时标记可用性问题。
- 文档:创建并维护红队项目文档,包括风格指南、跟踪表、FAQ、质量说明、示例、蜜罐、校准任务和入职材料。
- 入职与培训:安排并主持与训练师和 QA 的入职/培训电话会议,说明项目预期、工作流、评分标准、质量标准和红队特定的审核要求。
- 质量对齐:确保所有训练师和 QA 一致应用红队和安全审核指南,并随着项目演进了了解更新内容。
- 风险审核:标记不安全、低质量、不真实、不符合政策或记录不足的红队条目。
- 流程改进:识别反复出现的质量差距,提出工作流改进建议,并帮助为 AI 红队项目构建可扩展的 QA 流程。
我们在寻找
- 计算机科学、网络安全、AI 安全、信任与安全、公共政策、心理学、语言学、法律、安全研究、风险分析或相关领域的学士、硕士或专业经验。
- 具备较强的英语语言能力,以遵循项目指南、与团队沟通并提供清晰的书面反馈。
- 3 年以上 AI 安全、红队、网络安全、信任与安全、内容政策、风险分析、对抗性测试、模型评估、内容审核或相关工作流的经验。
- 深入理解 AI 风险类别、对抗性提示、越狱模式、有害内容分类体系、滥用场景、政策解释、模型行为和安全评估原则。
- 能够依据详细评分标准评估红队内容,并识别诸如对抗设计薄弱、场景不真实、风险分类不当、政策误解、不安全输出或漏洞测试流于表面等问题。
- 熟悉提示注入、社会工程、网络安全滥用、欺诈、自残安全、极端主义内容、错误信息、隐私风险、非法行为、偏见和模型拒绝行为等领域者优先。
- 有领导或支持远程红队人员、审核人员、政策分析师、标注人员、研究人员或 QA 团队经验者强烈优先。
- 能适应快节奏的远程环境,使用 Discord、Google Sheets、Google Docs、跟踪表、仪表板和项目管理系统等工具。
- 高度注重细节且有条理,能够维护风格指南、FAQ、跟踪表、入职材料、校准任务和文档。
- 具备 AI 训练、LLM 评估、安全评估、内容审核 QA、政策 QA 或基于评分标准的审核经验者优先。