关于此职位
关于 Turing Turing 是全球增长最快的 AI 公司之一，致力于加速强大 AI 系统的进步与部署。你将站在评估 LLM 如何与真实代码交互的最前沿，影响 AI 辅助软件开发的未来。这是一个将实际软件工程与 AI 研究相结合的独特机会。
关于该职位：
我们正在寻找经验丰富的软件工程师，以支持一项前沿 AI 训练与评估计划，该计划专注于提升 AI 智能体的编码能力。 在此职位中，你将针对真实世界的软件工程任务，审查并比较 AI 生成的编码解决方案。你将分析完整的智能体执行工作流，评估代码的正确性、效率、安全性和整体质量，并提供结构化评分和基于证据的反馈，以帮助改进 AI 辅助软件开发。
日常工作是什么样的：
- 你将审查三个 AI 编码智能体，它们各自收到了相同的真实开发者请求。
- 你阅读每个智能体的完整运行记录：它运行的命令、更改的文件、检查的内容及其最终消息。
- 然后你判断哪个运行完成得最好。
对于每项任务，你将
- 按 10 个质量领域对每次运行进行评分，例如是否遵循指令、代码是否可用、效率、安全性、诚实性和沟通。
- 为每次运行给出 1 到 5 的总体评分，并对三者进行排名。
- 撰写简短的理由说明来解释你的排名，并提供来自运行记录的证据。
所需技能：
- 至少 3 年以上总体经验
- 至少精通以下语言之一：Python、JavaScript/TypeScript、Java、Go、PHP 或类似语言。
- 熟练掌握 Shell 命令、Git、Docker 以及基本软件流水线搭建。
- 能够自在地在本地运行、修改和测试真实世界项目。
评估与筛选流程
- 候选人必须完成三项练习评估任务，作为筛选流程的一部分。
- 每项评估都需要质量评分、总体评分、比较排名和书面理由说明。
- 评审员将评估每项任务的技术准确性、一致性和推理质量。
- 只有在三项练习任务全部通过后，候选人才会入职。
重要 — 严格禁止使用 AI 政策
- 不得使用 CHATGPT 或任何其他 AI 工具撰写你的评估理由、解释或原因。
- 所有理由和推理必须由候选人独立撰写。
- 将检查合规性。任何使用 AI 生成的理由或原因都将导致自动拒绝。
与 Turing 自由职业的福利
- 在完全远程的环境中工作。
- 有机会与领先的 LLM 公司合作开展前沿 AI 项目。
录用详情
- 所需投入：每天至少 8 小时，每周至少 40 小时，并与 PST 重叠 4 小时。
- 雇佣类型：承包商任务（无医疗/带薪休假）
- 合同期限：1 个月；[预计开始日期为下周]
- 付款模式：每个获批任务 $25
- 地点：印度、巴基斯坦、尼日利亚、肯尼亚、埃及、加纳、孟加拉国、土耳其、墨西哥、洛杉矶
评估流程（约 75 分钟）：
- 基于评估的审查