关于此职位
在这个按小时计酬的远程承包职位中,你将担任政治学质量保证负责人(QAL),负责监督政治学AI训练项目的质量、一致性和训练员表现。你将审核AI生成的政治学内容和训练员/QA的工作,按照项目指南评估产出质量,提供精确的书面反馈,并确保所有贡献者遵循预期的质量标准。
你将评估工作在概念准确性、制度知识、比较语境、政治理论准确性、政策推理、来源意识、偏见敏感性、清晰度、格式、指令遵循以及对项目特定评分标准的遵守情况等方面的表现。你将发现反复出现的质量问题,向训练员和QA传达更新信息,支持入职引导,维护文档,并帮助激活工作不稳定的贡献者。该职位要求具备扎实的政治学专业知识、较强的英语沟通能力、出色的细节关注能力、结构化沟通能力,以及在远程专家团队中管理质量工作流的能力。
该职位隶属于SME Careers,这是一家快速发展的AI数据服务公司,也是SuperAnnotate的子公司,为全球许多最大的AI公司和基础模型实验室提供训练数据。你的政治学质量领导工作将通过确保政治学训练数据准确、平衡、语境充分、分析严谨并符合客户期望,直接帮助改进全球顶尖的AI模型。
筛选流程包括一次AI面试、一项领域特定任务以及与招聘人员的一次面试。
重要提示: 该职位目前没有立即启动的项目;但是,如果你符合条件,当相关机会出现时,你将成为我们首批联系的专家之一。这还将使你能够访问通过我们的专家网络提供的未来项目。
你的工作内容
- 质量监控:抽查政治学条目,识别质量问题,通过私信提供持续反馈,并上报反复出现或关键的问题。
- 政治学审核:评估AI生成的政治学解释、比较分析、政策摘要、政治理论讨论、制度描述和推理的准确性与平衡性。
- 训练员与QA沟通:在Discord上向训练员和QA更新新条目指南、项目变更、工作流更新、质量期望以及政治学特定的审核标准。
- 问题处理:清晰、及时地回复训练员/QA的问题,尤其是涉及制度、比较政治、公共政策、政治理论、国际关系、偏见和评分标准解读的问题。
- 训练员/QA激活管理:向不活跃或未工作的贡献者发送私信,鼓励其激活,跟踪后续跟进,并在需要时标记可用性问题。
- 文档:创建并维护政治学项目文档,包括风格指南、跟踪表、常见问题解答、质量说明、示例、蜜罐、校准任务和入职材料。
- 入职引导与训练:安排并主持与训练员和QA的入职/训练电话会议,说明项目期望、工作流、评分标准、质量标准和政学特定的审核要求。
- 质量对齐:确保所有训练员和QA一致应用政治学审核指南,并随着项目演进理解更新内容。
- 偏见与风险审核:标记具有误导性、意识形态片面、缺乏支持、过时、政治煽动性或语境不当的论断。
- 流程改进:识别反复出现的质量差距,提出工作流改进建议,并帮助为政治学AI训练项目构建可扩展的QA流程。
我们期望的人选
- 政治学、国际关系、公共政策、政府、政治理论、安全研究、法律、社会学、经济学或密切相关社会科学领域的学士、硕士或博士学位。
- 较强的英语语言能力,能够遵循项目指南、与团队沟通并提供清晰的书面反馈。
- 3年以上政治学研究、教学、政策分析、公共事务、国际关系、政治写作、学术审核或相关分析工作流的经验。
- 对政治制度、比较政治、国际关系、公共政策、政治理论、选举制度、治理、国家能力、公民社会和政治行为有深入理解。
- 能够根据详细的评分标准评估政治学内容,并识别过度简化、意识形态偏见、缺乏支持的论断、错误的制度描述、误导性因果推理或薄弱的比较分析等问题。
- 熟悉民主与威权主义、政治经济学、公共行政、宪政制度、选举政治、冲突研究、国际组织、政策评估或调查研究等领域者优先。
- 有领导或支持由分析师、研究人员、审核人员、教育工作者、标注人员或QA组成的远程团队的经验者强烈优先。
- 能够适应快节奏的远程环境,使用Discord、Google Sheets、Google Docs、跟踪表、仪表板和项目管理系统等工具。
- 高度注重细节且有条理,能够维护风格指南、常见问题解答、跟踪表、入职材料、校准任务和文档。
- 有AI训练、数据标注、LLM评估、政策QA、学术审核、事实核查或基于评分标准的审核经验者优先。