关于此职位
关于我们 Turing 总部位于加利福尼亚州旧金山，是全球领先的前沿 AI 实验室研究加速器，也是部署先进 AI 系统的全球企业值得信赖的合作伙伴。Turing 通过两种方式支持客户：第一，以高质量数据、先进训练流水线以及专注于软件工程、逻辑推理、STEM、多语言、多模态和智能体的顶尖 AI 研究人员来加速前沿研究；第二，运用这些专业知识帮助企业将 AI 从概念验证转化为专有智能，其系统运行可靠、带来可衡量的影响，并在损益表上产生持久成果。
项目概述 我们正在寻找高水平的研究人员和技术专家。本角色的核心目标是通过设计、验证和分析具有挑战性的基准任务，提升目标前沿模型的推理和问题解决能力。
角色职责：
- 任务设计与开发：设计具有挑战性的真实世界问题，作为模型的基础。问题应针对在领先模型中发现的具体核心能力缺失故障来构建。
- 内容生成：将问题集成到智能体开发环境中，使用 Python 准备所有必要组件，包括：
- 详细说明和所需任务概述。
- 遵循说明的金标准解决方案。
- 必要的环境，包括数据集、Python 库和元数据。
- 包含解决方案必须通过的单元测试的测试 notebook。
- 评估与分析：评估跨模型在任务上的表现。
- 余量识别：识别目标模型未能通过所有测试的任务，特别是将失败归类为逻辑推理失败。
- 损失提取：分析智能体的步骤（智能体轨迹），以观察并提取模型的核心能力损失模式。
所需技能
- 高水平的 GitHub 贡献者。
- 申请人必须在数据科学、机器学习、编码方面具备雄厚专业知识，或在前沿 STEM 领域具备深厚的定量背景。
- 能够每周（工作日）可靠投入 30 小时以上。
评估流程
- 申请流程大约需要 15 分钟。
- 必须完成 AI 视频面试。