关于此职位
Mercor 正在招聘软件工程师，负责构建和完善评估。您将把已完成的拉取请求（pull request）转化为工程任务，并使用我们的内部评估框架对多个前沿编码智能体（包括 Claude Code、Codex 等）进行评估。
我们与内部研究团队紧密合作，已推出行业领先的基准测试，用于比较前沿大语言模型的性能。
在该职位中，您将：
- 找出具有足够实质性工作量、能够支持高难度评估的代码仓库，并挑选合适的已完成 PR。
- 研究每个问题及其参考解决方案，以及代码仓库的架构、测试和规范。
- 编写任务提示词，并使用自动化测试、shell 命令和 LLM 评分提示词构建评估。
- 对照参考解决方案和刻意设置缺陷的实现来验证评估。找出缺失的检查、错误的评分，以及不必要地限制问题解决方式的标准。
- 在多个模型和测试框架上反复运行评估。调查失败源自智能体的解决方案、环境还是评分，并确认这些任务能够暴露智能体性能中有意义的弱点。
- 通过反复测试和评审来完善评估。记录发现和评分决策，并处理反馈意见。
您需要具备：
- 扎实的编程基础，以及在大型复杂代码库中工作的实践经验。我们为以下语言创建评估：TypeScript/JavaScript、Python、Java、Kotlin、Go、Ruby、PHP、C++ 和 Rust
- 能够理解不熟悉的代码、研究细微的行为，并判断不同的实现是否都正确地解决了同一个问题。
- 具有编写有意义测试的经验，包括边界情况和回归覆盖。
- 注重细节，并有耐心进行反复的调查和完善。
- 具有使用 AI 编码工具的实践经验，并能够凭借判断力核实其输出、发现错误。
- 熟练使用 Git、测试运行器和 CI 工具。
- 具备清晰、流畅的书面和口头沟通能力，能够独立负责任务，并在需求不明确时提出问题。
相关经验可来自开源、私有或企业代码仓库。熟悉特定的语言或生态系统会有帮助；但相比其流行程度或您的公开贡献记录，更重要的是能够学习该代码仓库并做出合理的工程判断。
我们提供评估框架的入职培训和持续的评审反馈。入职培训结束后，您需要在没有逐步指导的情况下，自主负责任务选择、评估开发和迭代。