关于此职位
在这个按小时计酬的远程承包职位中,您将担任社会学质量保证负责人(QAL),负责监督以社会学为重点的 AI 训练项目中的质量、一致性和训练员表现。您将审查 AI 生成的社会学内容和训练员/QA 的工作,依据项目指南评估产出质量,提供精确的书面反馈,并确保所有贡献者遵循预期的质量标准。
您将评估工作在以下方面的表现:社会学准确性、理论应用、研究素养、社会背景、方法严谨性、伦理意识、偏见敏感性、清晰度、格式、指令遵循以及对项目特定评分标准的遵守情况。您将发现反复出现的质量问题,向训练员和 QA 传达更新,支持入职引导,维护文档,并帮助激活未能持续工作的贡献者。该职位要求具备扎实的社会学专业知识、较强的英语沟通能力、出色的注重细节能力、有条理的沟通方式,以及在远程专家团队中管理质量工作流程的能力。
该职位隶属于 SME Careers,这是一家快速增长的 AI 数据服务公司,也是 SuperAnnotate 的子公司,为众多全球最大的 AI 公司和基础模型实验室提供训练数据。您在社会学质量方面的领导工作将直接帮助改进全球顶尖的 AI 模型,确保社会学训练数据准确、细致、具有伦理意识、以研究为依据,并符合客户期望。
选拔流程包括 AI 面试、领域特定任务以及与招聘人员的面试。
重要提示: 该职位目前没有立即启动的项目;但是,如果您符合条件,当相关机会出现时,您将是我们首批联系的专家之一。这还将使您能够接触通过我们专家网络提供的未来项目。
您将做什么
- 质量监控:抽查社会学条目,识别质量问题,通过私信提供持续反馈,并上报反复出现或关键的问题。
- 社会学审查:评估 AI 生成的社会学解释、理论应用、研究摘要、社会政策讨论、人口统计解读和推理的准确性与细致程度。
- 训练员和 QA 沟通:在 Discord 上向训练员和 QA 更新新条目指南、项目变更、工作流程更新、质量期望以及社会学特定的审查标准。
- 问题处理:清晰、及时地回应训练员/QA 的问题,尤其是围绕社会学概念、社会理论、研究方法、不平等、文化、伦理、偏见和评分标准解读的问题。
- 训练员/QA 激活管理:向不活跃或未工作的贡献者发送私信,鼓励其激活,跟踪后续跟进,并在需要时标记可用性问题。
- 文档:创建并维护社会学项目文档,包括风格指南、跟踪表、常见问题解答、质量说明、示例、蜜罐、校准任务和入职材料。
- 入职引导与训练:安排并主持与训练员和 QA 的入职引导/训练通话,说明项目期望、工作流程、评分标准、质量标准以及社会学特定的审查要求。
- 质量对齐:确保所有训练员和 QA 一致应用社会学审查指南,并了解项目演进过程中的更新。
- 偏见与伦理审查:标记刻板印象、污名化语言、关于社会群体的无依据主张、薄弱的因果推理或存在伦理问题的社会分析。
- 流程改进:识别反复出现的质量差距,提出工作流程改进建议,并帮助为社会学的 AI 训练项目建立可扩展的 QA 流程。
我们寻找的候选人
- 社会学、社会科学、社会研究、人口学、犯罪学、性别研究、族裔研究、公共政策、人类学或密切相关领域的学士、硕士或博士学位。
- 具备较强的英语能力,能够遵循项目指南、与团队沟通并提供清晰的书面反馈。
- 3 年以上社会学研究、教学、社会政策分析、定性/定量研究、学术写作、社会科学审查、社区研究或相关工作流程的经验。
- 深入理解社会学理论、社会制度、不平等、分层、种族/族裔、性别、阶级、文化、越轨、组织、社会变迁、人口学和 research methods。
- 能够依据详细的评分标准评估社会学内容,并识别诸如无依据的概括、刻板印象、方法论缺陷、薄弱的因果主张、过度简化、有偏见的框架或社会学概念使用不准确等问题。
- 熟悉调查研究、访谈、民族志、统计分析、社会政策、城市社会学、家庭社会学、教育、健康差距、工作/组织或犯罪学等领域者优先。
- 有领导或支持由研究人员、教育工作者、分析师、审查员、标注员或 QA 组成的远程团队的经验者强烈优先。
- 能够适应快节奏的远程环境,使用 Discord、Google Sheets、Google Docs、跟踪表、仪表板和项目管理系统等工具。
- 高度重视细节且有条理,能够维护风格指南、常见问题解答、跟踪表、入职材料、校准任务和文档。
- 具有 AI 训练、数据标注、LLM 评估、社会科学 QA、学术审查或基于评分标准的审查经验者优先。