关于此职位
在这个按小时计酬的远程承包商岗位中,你将担任数据科学家质量保证负责人(QAL),负责监督数据科学 AI 训练项目中的质量、一致性和训练师表现。你将审阅 AI 生成的数据科学内容以及训练师/QA 的工作,依据项目指南评估输出质量,提供精确的书面反馈,并确保贡献者遵循预期的质量标准。
你将评估工作在统计准确性、数据推理、模型选择质量、代码正确性、可复现性、指标解读、业务背景意识、清晰度、格式、指令遵循以及项目特定评分标准的遵守情况方面的表现。你将发现反复出现的质量问题,向训练师和 QA 传达更新,支持入职引导,维护文档,并帮助激活工作不稳定的贡献者。
该岗位隶属于 SME Careers,这是一家快速成长的 AI 数据服务公司,也是 SuperAnnotate 的子公司,为全球许多大型 AI 公司和基础模型实验室提供训练数据。你的数据科学质量领导工作将有助于确保训练数据在分析上合理、可复现、解释清晰,并符合客户期望。
选拔流程包括 AI 面试、领域特定任务以及与招聘人员的面试。
重要提示: 该岗位目前没有立即启动的项目;但是,如果你符合条件,当相关机会出现时,你将成为我们首批联系的专家之一。这还将为你提供通过我们的专家网络获取未来项目的机会。
你的工作内容
- 质量监控:抽查数据科学条目,识别质量问题,通过私信提供反馈,并上报反复出现或关键的问题。
- 技术审阅:评估 AI 生成的数据科学解释、Python/R/SQL 代码片段、建模工作流、统计解读、仪表板、实验设计和逐步推理。
- 训练师与 QA 沟通:在 Discord 上向训练师/QA 更新指南变更、工作流更新以及数据科学特定的质量期望。
- 问题处理:回应围绕统计假设、指标、模型选择、数据泄漏、验证、编码选择、可复现性和评分标准解读的问题。
- 训练师/QA 激活管理:私信不活跃的贡献者,鼓励其激活,跟踪后续跟进,并标记可用性问题。
- 文档:创建并维护数据科学风格指南、跟踪表、FAQ、示例、蜜罐、校准任务和入职材料。
- 入职引导与训练:安排并主持与贡献者的入职/训练会议,说明项目期望、工作流、评分标准和数据科学审阅标准。
- 风险审阅:标记具有误导性、过度自信、统计上无效或不可复现的数据科学输出。
- 流程改进:识别反复出现的质量差距,并帮助构建可扩展的 QA 流程。
我们寻找的条件
- 数据科学、统计学、计算机科学、机器学习、数学、经济学、工程或密切相关的定量领域的学士、硕士或博士学位。
- 具备较强的英语能力,能够遵循指南、与团队沟通并提供清晰的技术反馈。
- 3 年以上在数据科学、分析、机器学习、统计建模、实验、数据工程、技术审阅或数据科学教育方面的专业经验。
- 深入理解统计学、概率、数据清洗、探索性数据分析、特征工程、监督/无监督学习、模型评估、实验、回归、分类、聚类和验证方法。
- 能够依据详细的评分标准评估数据科学内容,并识别诸如数据泄漏、错误假设、指标不当、方法薄弱、代码不可复现、虚构的库/API 或误导性结论等问题。
- 熟悉 Python、pandas、NumPy、scikit-learn、SQL、Jupyter、matplotlib、R、Spark、Git、MLflow、notebook、仪表板和云/数据平台等工具者优先。
- 具有领导或支持由训练师、标注员、分析师、数据科学家、工程师、教育工作者或 QA 组成的远程团队的经验者强烈优先。
- 能够熟练使用 Discord、Google Sheets、Google Docs、跟踪表、仪表板、GitHub 和项目管理系统。
- 高度有条理,能够维护风格指南、跟踪表、FAQ、入职材料、蜜罐、校准任务和质量文档。
- 具有 AI 训练、数据标注、LLM 评估、数据科学 QA 或基于评分标准的技术审阅经验者强烈优先。