关于此职位
在这个按小时计酬的远程承包职位中，您将担任社会科学与教育质量保证负责人（QAL），负责监督社会科学、教育及以学习为重点的AI训练项目的质量、一致性以及培训师表现。您将审核AI生成的社会科学/教育内容以及培训师/QA的工作，依据项目指南评估输出质量，提供精确的书面反馈，并确保所有贡献者遵循预期的质量标准。
您将评估工作的概念准确性、研究素养、教育适宜性、社会背景、方法论质量、伦理意识、偏见敏感性、清晰度、格式、指令遵循情况以及对项目特定评分标准的遵守程度。您将发现反复出现的质量问题，向培训师和QA传达更新，支持入职培训，维护文档，并帮助激活那些工作不稳定的贡献者。该职位要求具备扎实的社会科学和/或教育专业知识、出色的英语沟通能力、卓越的细节关注能力、结构化沟通能力，以及在远程专家团队中管理质量工作流的能力。
该职位隶属于SME Careers，这是一家快速成长的AI数据服务公司，也是SuperAnnotate的子公司，为全球许多最大的AI公司和基础模型实验室提供训练数据。您在社会科学与教育质量方面的领导工作将直接帮助改进世界顶尖的AI模型，确保社会科学与教育训练数据准确、细致、以研究为依据、具备伦理意识，并与客户期望保持一致。
您将做什么
- 质量监控：抽查社会科学和教育条目，识别质量问题，通过私信提供持续反馈，并上报反复出现或关键的问题。
- 社会科学与教育审核：评估AI生成的解释、课程内容、社会科学摘要、研究方法内容、教育活动、评估条目、学习指导和社会推理的准确性与细致程度。
- 培训师与QA沟通：在Discord上向培训师和QA传达新的条目指南、项目变更、工作流更新、质量期望以及社会科学/教育特定的审核标准。
- 问题处理：清晰、及时地回应培训师/QA的问题，尤其是围绕教育概念、学习目标、研究方法、社会背景、偏见、学生适宜性和评分标准解读的问题。
- 培训师/QA激活管理：向不活跃或未工作的贡献者发送私信，鼓励其激活，跟踪后续跟进，并在需要时标记可用性问题。
- 文档：创建并维护社会科学/教育项目文档，包括风格指南、跟踪表、常见问题解答、质量说明、示例、蜜罐、校准任务和入职材料。
- 入职与训练：安排并主持与培训师和QA的入职/训练电话会议，解释项目期望、工作流、评分标准、质量标准以及社会科学/教育特定要求。
- 质量对齐：确保所有培训师和QA一致应用社会科学与教育审核指南，并随着项目演进理解更新内容。
- 偏见与伦理审核：标记刻板印象、污名化语言、关于群体的无依据主张、薄弱的因果推理、糟糕的教育支架设计或存在伦理问题的内容。
- 流程改进：识别反复出现的质量缺口，提出工作流改进建议，并帮助为社会科学与教育AI训练项目构建可扩展的QA流程。
我们在寻找什么
- 教育学、社会学、心理学、人类学、政治学、社会工作、公共政策、教育心理学、课程研究或相关领域的学士、硕士、博士学位、教学资格证书或同等专业经验。
- 具备扎实的英语能力，能够遵循项目指南、与团队沟通并提供清晰的书面反馈。
- 3年以上教学、课程开发、社会科学研究、教育内容审核、教学设计、学术写作、社会政策、学生评估或相关审核工作流方面的经验。
- 深入理解社会科学概念、教育理论、教学法、学习成果、评估设计、研究方法、伦理、偏见、文化、社会制度、不平等以及循证推理。
- 能够依据详细的评分标准评估社会科学/教育内容，并识别诸如无依据的泛化、刻板印象、薄弱的因果主张、糟糕的教学设计、有偏见的框架、有缺陷的方法论或年龄不适宜的教育内容等问题。
- 熟悉课堂学习、评估、课程规划、社会研究、定性/定量方法、教育公平、儿童发展、学习科学或课程标准等领域者优先。
- 具有领导或支持由教育工作者、研究人员、课程编写者、审核员、标注员、培训师或QA组成的远程团队的经验者强烈优先。
- 能够适应快速变化的远程环境，使用Discord、Google Sheets、Google Docs、跟踪表、仪表板和项目管理系统等工具。
- 高度注重细节且有条理，能够维护风格指南、常见问题解答、跟踪表、入职材料、蜜罐、校准任务和文档。
- 具有AI训练、数据标注、LLM评估、社会科学QA、教育QA、课程审核或基于评分标准的审核经验者强烈优先。