关于此职位
关于 Turing： Turing 总部位于加利福尼亚州旧金山，是面向前沿 AI 实验室的全球领先研究加速器，也是部署先进 AI 系统的全球企业值得信赖的合作伙伴。Turing 通过两种方式为客户提供支持：第一，借助高质量的数据、先进的训练流水线，以及专注于编码、推理、STEM、多语言、多模态和智能体的顶尖 AI 研究人员，加速前沿研究；第二，运用这些专业能力，帮助企业将 AI 从概念验证转变为专有智能，使系统运行可靠、带来可衡量的影响，并在损益表（P&L）上取得持久的成果。
关于该职位
我们正在寻找高素质的团队管理专业人士，支持先进大语言模型（LLM）的评估、测试和持续改进。
在此职位上，您将运用您在团队领导、人员管理、绩效管理、人力规划和运营执行方面的专业知识来评估 AI 生成的回答。您将识别知识空白、设计具有挑战性的真实世界提示词、评估模型推理，并帮助提高 AI 系统的准确性、可靠性和实际效用。
主要职责
- 创建复杂的、特定领域的提示词，以测试 LLM 的能力。
- 评估 AI 生成回答的事实准确性、推理、相关性和整体质量。
- 识别事实错误、逻辑不一致、知识空白和模型弱点。
- 开发能暴露模型局限性的、具有挑战性的测试用例和边界用例。
- 提供清晰、详细且基于证据的反馈，以提升模型表现。
最低资格
- 相关领域的硕士或以上学位。
- 至少三年的专业、研究或教学经验。
- 具备出色的英语书面沟通能力。
- 具备出色的分析和批判性思维能力。
- 对细节极为关注。
优先资格
- 有使用 LLM 或生成式 AI 的经验。
- 熟悉提示词工程、AI 评估或模型测试。
- 有设计具有挑战性的提示词、识别边界情况或对 AI 模型进行压力测试的经验。
理想候选人
理想的候选人富有好奇心、注重细节，并且在其领域内拥有深厚的专业知识。他们乐于解决复杂问题、质疑假设，并发现细微的事实或推理错误。有设计能够揭示模型局限性并提升 AI 表现的提示词的经验者将具有显著优势。