关于此职位
关于 Turing Turing 是全球增长最快的 AI 公司之一，致力于加速强大 AI 系统的进步与部署。你将站在评估 LLM 如何与真实代码交互的最前沿，影响 AI 辅助软件开发的未来。这是一个将实用软件工程与 AI 研究相结合的独特机会。
关于该职位：
我们正在寻找经验丰富的软件工程师，支持一项前沿 AI 训练与评估计划，该计划专注于提升 AI 智能体的编码能力。 在该职位中，你将审查并比较 AI 生成的在真实软件工程任务中的编码解决方案。你将分析完整的智能体执行工作流，评估代码的正确性、效率、安全性和整体质量，并提供结构化评分和基于证据的反馈，以帮助改进 AI 辅助软件开发。
日常工作是什么样的：
- 你将审查三个 AI 编码智能体，它们各自收到了同一个真实开发者请求。
- 你阅读每个智能体的完整运行记录：它运行的命令、更改的文件、检查的内容及其最终消息。
- 然后你判断哪次运行完成得最好。
对于每项任务，你
- 根据 10 个质量维度对每次运行进行评分，例如是否遵循指令、代码是否有效、效率、安全性、诚实性和沟通。
- 为每次运行给出从 1 到 5 的总体评分，并对三者进行排名。
- 撰写简短的理由说明来解释你的排名，并附上来自运行记录的证据。
所需技能：
- 至少 3 年以上整体经验
- 至少熟练掌握以下语言之一：Python、JavaScript/TypeScript、Java、Go、PHP 或类似语言。
- 熟练使用 Shell 命令、Git、Docker 以及基本的软件流水线设置。
- 能够在本地运行、修改和测试真实项目。
评估与选拔流程
- 候选人必须完成三个练习评估任务，作为选拔流程的一部分。
- 每项评估均要求提供质量评分、总体评分、比较排名和书面理由。
- 评审员将评估每项任务的技术准确性、一致性和推理质量。
- 只有在三个练习任务全部获批后，候选人才会被录用。
重要 — 严格禁止使用 AI 政策
- 不得使用 CHATGPT 或任何其他 AI 工具来撰写你的评估理由、解释或原因。
- 所有理由和推理必须由候选人独立撰写。
- 将检查合规性。任何使用 AI 生成的理由或原因都将导致自动拒绝。
与 Turing 自由职业的福利
- 在完全远程的环境中工作。
- 有机会与领先的 LLM 公司合作开展前沿 AI 项目。
录用详情
- 所需投入：每天至少 8 小时，每周至少 40 小时，并与 PST 有 4 小时的重叠时间。
- 雇佣类型：承包商任务（无医疗/带薪休假）
- 合同期限：1 个月；[预计开始日期为下周]
- 付款模式：每个获批任务 $25
- 地点：印度、巴基斯坦、尼日利亚、肯尼亚、埃及、加纳、孟加拉国、土耳其、墨西哥、洛杉矶
评估流程（约 75 分钟）：
- 基于评估的审查