turing · 科学

AI 基准测试与红队测试专家

Turing

未列明报酬远程未说明地点要求

此职位由自动翻译生成。申请由原平台处理;申请前请核实其原始要求。 查看原始页面

关于此职位

关于 Turing: Turing 总部位于加利福尼亚州旧金山,是面向前沿 AI 实验室的全球领先研究加速器,也是部署先进 AI 系统的全球企业值得信赖的合作伙伴。Turing 通过两种方式为客户提供支持:第一,借助高质量的数据、先进的训练流水线,以及专注于编码、推理、STEM、多语言、多模态和智能体的顶尖 AI 研究人员,加速前沿研究;第二,运用这些专业能力,帮助企业将 AI 从概念验证转变为专有智能,使系统运行可靠、带来可衡量的影响,并在损益表(P&L)上取得持久的成果。

职位概述

我们正在寻找一位具备分析能力的研究员兼红队测试(red-teaming)专家,构建基于证据的网络调研基准任务,可靠地暴露最先进(SOTA)AI 模型(如 Claude Opus 5 Max)的弱点。在此职位上,您将发掘难以发现的事实,围绕这些事实构建精确的调研任务,直接针对领先的 LLM 进行测试,并诊断模型搜索和推理路径中确切的失败机制。

您的工作将直接塑造 AI 评估框架,确保下一代前沿模型接受严格、非平凡的真实世界调研场景的检验。

工作要求:

  • 核心经验:在调查研究、事实核查、AI 基准任务编写、红队测试或技术 QA 审核方面有 1+ 年经验。
  • 基准熟悉度:有为 GAIA、BrowseComp、SimpleQA、SWE-bench、Terminal-Bench 或 Humanity’s Last Exam(HLE)等 AI 基准编写、测试或审核任务的实际经验。
  • 分析与 OSINT 技能:具备中高级的网络搜索和开源情报(OSINT)技能;能够查阅学术档案、地方记录或冷门数据库。
  • 模型轨迹调试:具备出色的分析能力,能够检查模型的推理链、搜索日志和来源选择,以诊断失败的根本原因。
  • 精确写作:能够撰写清晰、无歧义的基准提示词,并配以无懈可击、来自一手来源的标准答案。

工作职责:

  • 冷门事实发掘:深入研究小众主题,找出无法通过简单直接的搜索查询发现的事实基准。
  • 来源核实:对照一手或高度可信的来源严格核实事实,交叉检查是否存在相互矛盾的证据,并记录确切的来源网址。
  • 任务构建:起草清晰、可回答的基准任务,专门用于暴露模型调研策略中的结构性弱点。
  • 红队测试与模型测试:针对指定的 SOTA 模型执行任务,确认这些任务能可靠地触发预期的模型失败。
  • 失败诊断与调试:追踪模型运行日志、搜索轨迹和中间输出,准确找出模型在何处以及为何失败(区分真正的模型局限与含糊不清的提示词)。
  • 模式推广与审核:将经过验证的“攻破模型”调研模式应用于新领域,并对表现出色者,审核同行训练师编写的任务。

加分项(优先资格)

  • 该职位必须具备相关工程领域的学士或以上学位。
  • 有专门设计能攻破 SOTA 模型的提示词注入或推理陷阱任务的经验。
  • 具备高级 OSINT 能力,或有已发表的调查/学术研究成果,能体现深入的来源核实。
  • 在记录难以查找的领域具有小众专长(如地方政府备案文件、地区体育史、法律档案、历史专利)。
  • 有在 AI 评估项目中担任首席审核员、基准审计员或质量负责人的经验。

录用详情:

  • 承诺要求:每周最多 40 小时,并与太平洋标准时间(PST)有 4 小时的重叠。
  • 合作类型:承包商
  • 合作时长:最长 4 周

评估流程 -

  • 候选人需提交职位意向表和评估测试。
  • 评估测试中最终入选的人才将经过评估、审核,并相应地进入后续环节。

技能

LLM质量管理QA
此领域的更多职位 →