关于此职位
在这个按小时计酬的远程承包岗位中,您将担任历史质量保证负责人(QAL),负责监督以历史为重点的 AI 训练项目的质量、一致性以及训练员表现。您将审核 AI 生成的历史内容和训练员/QA 的工作,依据项目指南评估产出质量,提供精确的书面反馈,并确保所有贡献者遵循预期的质量标准。
您将评估工作在历史准确性、时间顺序、来源意识、因果关系、背景、区域与文化细微差别、解释质量、清晰度、格式、指令遵循以及对项目专属评分标准的遵守情况等方面的表现。您将发现反复出现的质量问题,向训练员和 QA 传达更新,支持入职培训,维护文档,并帮助激活工作不稳定的贡献者。该岗位要求具备扎实的历史专业能力、较强的英语沟通能力、出色的细节关注能力、结构化沟通能力,以及在远程专家团队中管理质量工作流的能力。
该岗位隶属于 SME Careers,这是一家快速发展的 AI 数据服务公司,也是 SuperAnnotate 的子公司,为众多全球最大的 AI 公司和基础模型实验室提供训练数据。您的历史质量领导工作将直接帮助改进全球顶尖的 AI 模型,确保历史训练数据准确、有背景、平衡、解释充分、文档完善,并符合客户期望。
选拔流程包括一次 AI 面试、一项领域特定任务,以及与招聘人员的一次面试。
重要: 该岗位目前没有立即启动的项目;不过,如果您符合条件,当相关机会出现时,您将是我们首批联系的专家之一。这还将让您有机会参与通过我们的专家网络提供的未来项目。
您将做什么
- 质量监控:抽查历史条目,识别质量问题,通过私信提供持续反馈,并上报反复出现或严重的问题。
- 历史审核:评估 AI 生成的历史解释、时间线、比较、摘要、基于来源的回答和推理在准确性、背景、平衡性和清晰度方面的表现。
- 训练员与 QA 沟通:在 Discord 上向训练员和 QA 更新新条目指南、项目变更、工作流更新、质量期望以及历史专属审核标准。
- 问题处理:清晰、及时地回复训练员/QA 的问题,尤其是围绕时间顺序、历史背景、来源解读、有争议的解释、偏见、区域细微差别和评分标准解读的问题。
- 训练员/QA 激活管理:向不活跃或未工作的贡献者发送私信,鼓励其激活,跟踪后续跟进,并在需要时标记可用性问题。
- 文档:创建并维护历史项目文档,包括风格指南、跟踪表、常见问题、质量备注、示例、蜜罐、校准任务和入职材料。
- 入职与训练:安排并主持与训练员和 QA 的入职/训练电话会议,说明项目期望、工作流、评分标准、质量标准和历史专属审核要求。
- 质量对齐:确保所有训练员和 QA 一致应用历史审核指南,并随着项目演进理解更新内容。
- 风险与偏见审核:标记具有误导性、过度自信、有偏见、文化上不敏感、时代错置或来源不佳的历史主张。
- 流程改进:识别反复出现的质量缺口,提出工作流改进建议,并帮助为历史 AI 训练项目构建可扩展的 QA 流程。
我们寻找的条件
- 历史学、古典学、区域研究、考古学、政治史、文化史、国际关系、人文学科或密切相关领域的学士、硕士或博士学位。
- 具备较强的英语语言能力,以遵循项目指南、与团队沟通并提供清晰的书面反馈。
- 3 年以上历史研究、教学、写作、编辑、学术审核、博物馆/档案工作、课程开发或相关人文学科工作流方面的经验。
- 深入理解历史方法、时间顺序、一手与二手来源、史学史、因果关系、延续/变迁、区域背景以及基于证据的解释。
- 能够依据详细评分标准评估历史内容,并识别时代错置、时间顺序错误、无依据的主张、过度简化、有偏见的框架、伪造引用或误导性因果解释等问题。
- 熟悉一个或多个历史专业方向者优先,如古代史、中世纪史、现代史、世界史、军事史、思想史、社会史、经济史、殖民/后殖民史或区域史。
- 具有领导或支持研究人员、写作者、审核者、教育工作者、标注员或 QA 远程团队的经验者强烈优先。
- 能够适应快速变化的远程环境,使用 Discord、Google Sheets、Google Docs、跟踪表、仪表板和项目管理系统等工具。
- 高度注重细节且有条理,能够维护风格指南、常见问题、跟踪表、入职材料、校准任务和文档。
- 具有 AI 训练、数据标注、LLM 评估、学术 QA、事实核查或基于评分标准的审核经验者优先。