关于此职位
Anyone AI 正在为一个专注于审查和评估用于 AI 模型训练与评估的机器学习挑战赛的专项项目招募有经验的机器学习工程师。
工作内容包括分析机器学习实验、数据集、指标和流水线，以判断这些挑战赛在技术上是否合理、是否可复现、难度是否恰当，以及是否真正需要扎实的机器学习推理能力。
你将负责的工作
你将审查涉及以下内容的机器学习挑战赛：
- 实验设计与模型选择
- 小型数据集与合成数据集
- 数据质量与预处理
- 分布偏移与数据污染
- 标签噪声与特征泄漏
- 模型评估与指标选择
- 超参数调优
- 训练 / 验证 / 测试方法论
- 可复现性与确定性流水线
- 模型提升的统计显著性
该角色的一个关键部分是判断一个挑战赛是否真正奖励良好的机器学习推理，而不是仅仅通过暴力模型选择或大规模超参数搜索就能解决。
我们期望的候选人
- 3 年以上实际应用机器学习经验
- 在以下方面有丰富经验：
- 机器学习实验设计
- 模型选择
- 超参数调优
- 模型评估
- 数据预处理与验证
- 深入理解训练集、验证集和测试集的划分
- 能够识别：
- 数据泄漏
- 标签噪声
- 分布偏移
- 虚假相关
- 特征泄漏
- 数据污染
- 有评估性能提升是否具有统计意义而非随机波动的经验
- 深入理解机器学习评估指标以及不同指标的适用场景
- 有在 CPU 和 GPU 环境中调试机器学习工作负载的经验
- 能够分析技术问题并提供清晰的书面反馈
加分项
- 有创建或参加 Kaggle、DrivenData 或类似机器学习竞赛的经验
- 有设计基准数据集或机器学习挑战赛的经验
- 具备以数据为中心的 AI 或数据集质量方面的背景
- 有合成数据生成与验证的经验
- 熟悉统计检验、置信区间和效应量
- 有机器学习评估流水线、RLHF 或 AI 模型评估的经验
- 有开发机器学习课程或技术评估的经验
- 了解常见的机器学习失败模式，例如：
- 捷径学习
- 虚假相关
- 古德哈特定律
- 辛普森悖论
- 指标博弈
你的职责
- 审查机器学习挑战赛，判断其设计是否良好且在技术上可解决
- 评估数据集是否包含有意义且可学习的信号
- 识别合成数据集中非预期的捷径或人为痕迹
- 判断任务是否需要真正诊断底层机器学习问题
- 审查评估指标和改进阈值
- 发现指标博弈、数据泄漏和评估缺陷
- 验证从数据 → 模型 → 评估的完整流水线的可复现性
- 评估挑战赛难度是否得到适当校准
- 就改进、重新校准或排除有问题的任务提供明确建议
合作方式
工作类型：远程 合作形式：兼职、项目制咨询 重点：应用机器学习、实验设计、数据质量和模型评估
该角色非常适合那些喜欢调试实验、理解模型成功或失败的原因、识别数据集和评估流水线中的问题，并设计严谨机器学习实验的机器学习工程师。