关于此职位
评估用于训练和评估前沿 AI 实验室模型的软件工程基准测试任务的质量、正确性和可复现性。您将评估仓库级任务、参考补丁、测试框架（test harness）以及评分的完整性，并提供清晰的、基于评分标准的书面反馈。
基本资格要求
- 拥有 3 年以上专业软件工程经验
- 有真实的开源贡献或维护者经验（已合并的 PR、committer / 维护者角色）
- 具备出色的审核参考补丁、测试运行器和 Docker 隔离的能力，并能检测答案泄漏/奖励作弊（reward hacking）
- 熟练掌握常见生态系统（Python 以及 Java / Go / TypeScript / C++ 中的至少一种）
优先资格
- 熟悉 SWE-Bench (Verified) 或类似的仓库基准测试
- 有主流 Python 开源项目（Django、Flask、scikit-learn、sympy、pytest 等）的维护者经历
- 曾有代码审查或任务评分经验