关于此职位
在这个按小时计酬的远程承包职位中，您将担任 Python（侧重机器学习）质量保证负责人（QAL），负责监督 Python 机器学习 AI 训练项目中的质量、一致性和训练员表现。您将审查 AI 生成的 Python 代码、机器学习工作流、模型解释以及训练员/QA 的工作；依据项目指南评估输出质量；提供精确的书面反馈；并确保贡献者遵循预期的质量标准。
您将评估工作的代码正确性、机器学习方法论、统计有效性、可复现性、模型评估质量、数据泄漏风险、软件包使用、调试准确性、可读性、可维护性、格式、指令遵循情况以及对项目特定评分标准的遵守情况。该职位要求具备扎实的 Python 和机器学习专业知识、英语沟通能力、出色的注重细节能力，以及在远程技术团队中管理质量工作流的能力。
该职位隶属于 SME Careers，这是一家快速成长的 AI 数据服务公司，也是 SuperAnnotate 的子公司，为全球许多最大的 AI 公司和基础模型实验室提供训练数据。您的 Python 机器学习质量领导工作将有助于确保训练数据准确、可执行、统计上合理、可复现、解释清晰，并符合客户期望。
选拔流程包括一次 AI 面试、一项领域特定任务以及与招聘人员的面试。
重要提示： 该职位目前没有立即可用的项目；但是，如果您符合条件，当相关机会出现时，您将是我们首批联系的专家之一。这还将使您能够访问通过我们的专家网络提供的未来项目。
您的工作内容
- 质量监控：抽查 Python 机器学习项目条目，识别质量问题，通过私信提供反馈，并上报反复出现或严重的问题。
- 代码和机器学习审查：评估 AI 生成的 Python 代码、机器学习流水线、数据预处理步骤、模型训练工作流、评估逻辑、调试响应和解释的正确性和可复现性。
- 训练员和 QA 沟通：在 Discord 上向贡献者通报指南变更、工作流更新以及 Python/机器学习特定的审查标准。
- 问题处理：回应有关 Python 语法、软件包使用、数据泄漏、模型验证、指标、统计假设、可复现性、notebook 和评分标准解读的问题。
- 训练员/QA 激活管理：私信不活跃的贡献者，鼓励其激活，跟踪后续跟进，并标记可用性问题。
- 文档：创建并维护 Python 机器学习风格指南、跟踪表、FAQ、示例、蜜罐任务、校准任务和入职材料。
- 入职和培训：为 Python 机器学习贡献者举办入职/培训电话会议。
- 风险审查：标记具有误导性、过度自信、统计上无效、不可复现、不安全或未达到生产就绪状态的 Python 机器学习建议。
- 流程改进：识别反复出现的质量差距，并构建可扩展的 QA 流程。
我们寻找的条件
- 计算机科学、机器学习、数据科学、统计学、数学、工程或密切相关定量领域的学士、硕士或博士学位。
- 具备较强的英语能力，能够遵循指南、与团队沟通并提供清晰的技术反馈。
- 在 Python 开发、机器学习、数据科学、机器学习工程、模型评估、研究工程、技术审查或机器学习教育方面拥有 3 年以上专业经验。
- 深入理解 Python 基础知识，如数据结构、函数、类、迭代器、推导式、异常处理、虚拟环境、包管理、测试和调试。
- 深入理解机器学习主题，如监督/无监督学习、特征工程、训练/测试划分、交叉验证、模型选择、数据泄漏、回归、分类、聚类、指标、偏差/方差、正则化和可复现性。
- 能够依据详细评分标准评估机器学习内容，并识别诸如方法论缺陷、指标错误、数据泄漏、代码不可复现、假设无效、API 幻觉、结论误导或解释不完整等问题。
- 熟悉 NumPy、pandas、scikit-learn、PyTorch、TensorFlow/Keras、XGBoost/LightGBM、Jupyter、matplotlib、seaborn、MLflow、Hugging Face、SQL、GitHub、Docker 和 CI/CD 者优先。
- 具有领导或支持由训练员、标注员、审查员、工程师、数据科学家、机器学习研究人员、编程导师或 QA 组成的远程团队的经验者强烈优先。
- 能够适应使用 Discord、Google Sheets、Google Docs、跟踪表、仪表板、GitHub 和项目管理系统的快节奏远程工作环境。
- 高度有条理，能够维护风格指南、跟踪表、FAQ、入职材料、蜜罐任务、校准任务和质量文档。
- 具有 AI 训练、数据标注、LLM 评估、代码 QA、机器学习 QA 或基于评分标准的技术审查经验者优先。