关于此职位
关于 Turing：
Turing 总部位于加利福尼亚州旧金山，是面向前沿 AI 实验室的全球领先研究加速器，也是部署先进 AI 系统的全球企业值得信赖的合作伙伴。Turing 通过两种方式为客户提供支持：第一，借助高质量的数据、先进的训练流水线，以及专注于编码、推理、STEM、多语言、多模态和智能体的顶尖 AI 研究人员，加速前沿研究；第二，运用这些专业能力，帮助企业将 AI 从概念验证转变为专有智能，使系统运行可靠、带来可衡量的影响，并在损益表（P&L）上取得持久的成果。
职位概述
我们正在寻找积极性很高的团队管理人员，支持前沿大语言模型（LLM）的评估与改进。在此职位上，您将分析结构化数据、创建具有挑战性的提示词、评估 AI 生成回答的事实准确性和推理质量，并提供有证据支持的反馈以提升模型表现。
我们正在寻找富有好奇心、注重细节、乐于解决复杂问题并评估 AI 系统的专业人士。理想的候选人能够分析数据、进行批判性思考、对照证据验证回答，并清晰地阐明模型的输出为何正确或错误。有使用 AI 模型和创建具有挑战性的评估提示词的经验者将具有显著优势。
主要职责
- 创建具有挑战性的提示词，评估 LLM 对结构化数据进行检索、分析和推理的能力。
- 评估 AI 生成回答的事实准确性、逻辑推理和完整性。
- 识别模型的失败、不一致、幻觉和推理漏洞。
- 利用所提供的数据集和佐证依据验证模型输出。
- 以清晰、基于证据的说明记录发现。
- 始终遵循标注指南并保持高质量标准。
最低资格
- 任何学科的硕士或以上学位。
- 至少 3 年的专业、研究或教学经验。
- 具备出色的分析和批判性思维能力。
- 具备出色的英语书面沟通能力。
- 对细节极为关注，并能够对照源数据验证信息。
优先资格
- 有使用大语言模型（LLM）或生成式 AI 的经验。
- 熟悉提示词工程、AI 评估、数据标注或模型测试。
- 有处理结构化数据集（CSV、Excel、数据库等）的经验。
- 能够识别边界情况，并设计能暴露模型局限性的提示词。
福利
- 有机会参与前沿 AI 项目。
- 具有竞争力的薪酬。
- 灵活的工作时间和远程工作环境。
录用详情
- 承诺要求：每周 40、30 或 20 小时，并与太平洋标准时间（PST）至少有 4 小时的重叠
- 雇佣类型：承包商派遣（不含医疗/带薪假期）
- 合同期限：4 周
评估流程：
- 根据资历和评估得分进行初步筛选。