关于此职位
职位名称：高级软件工程师 – LLM 评估与仓库验证
关于项目：我们正在构建 LLM 评估和训练数据集，用于训练 LLM 处理真实的软件工程问题。在本项目中，我们的方法之一是以合成方式、结合人在回路，基于公开仓库的历史记录构建可验证的 SWE 任务；同时在编程语言、难度级别等方面，将数据集覆盖范围扩展到不同类型的任务。
关于该职位：我们正在寻找经验丰富的软件工程师（技术负责人级别），他们熟悉高质量的公开 GitHub 仓库，并能为本项目做出贡献。该职位涉及实际的软件工程工作，包括开发环境自动化、问题分类处理（issue triage），以及评估测试覆盖率和质量
为什么加入我们？Turing 是全球增长最快的 AI 公司之一，致力于加速强大 AI 系统的发展与部署。您将站在评估 LLM 如何与真实代码交互的最前沿，影响 AI 辅助软件开发的未来。这是一个将实用软件工程与 AI 研究相结合的难得机会。
日常工作内容：
- 分析并分类处理热门开源库中的 GitHub 问题。
- 搭建和配置代码仓库，包括 Docker 化和环境设置。
- 评估单元测试的覆盖率和质量。
- 在本地修改并运行代码库，以评估 LLM 在缺陷修复场景中的表现。
- 与研究人员合作，设计并识别对 LLM 具有挑战性的仓库和问题。
- 有机会带领初级工程师团队协作完成项目。
所需技能：
- 总体经验至少 3+ 年
- 至少精通以下语言之一：Go
- 熟练使用 Git、Docker，并掌握基本的软件流水线搭建。
- 能够理解并梳理复杂的代码库。
- 能够自如地在本地运行、修改和测试真实世界的项目。
- 有参与或评估开源项目的经验者优先。
加分项：
- 曾参与 LLM 研究或评估项目。
- 有构建或测试开发者工具或自动化智能体的经验。
与 Turing 合作做自由职业者的福利：
- 在完全远程的环境中工作。
- 有机会与领先的 LLM 公司合作，参与前沿 AI 项目。
录用详情：
- 投入要求：每天至少 4 小时，每周至少 20 小时，与 PST 有 4 小时的重叠时间。（我们提供 3 种投入时间选项：每周 20 小时、每周 30 小时或每周 40 小时）
- 用工类型：合同工任务（不含医疗/带薪假期）
- 地点：印度、巴基斯坦、尼日利亚、肯尼亚、埃及、加纳、孟加拉国、土耳其、墨西哥
评估流程（约 75 分钟）：
- 两轮面试（60 分钟技术面试 + 30 分钟技术与文化讨论）