关于此职位
关于 Turing: Turing 总部位于美国加利福尼亚州旧金山,是全球领先的前沿 AI 实验室研究加速器,也是全球企业部署先进 AI 系统的可信赖合作伙伴。Turing 通过两种方式为客户提供支持:其一,凭借高质量的数据、先进的训练流水线,以及专注于编程、推理、STEM、多语言、多模态和智能体的顶尖 AI 研究人员,加速前沿研究;其二,运用这些专业能力,帮助企业将 AI 从概念验证转变为专有智能,让系统可靠运行、产生可衡量的影响,并为损益表带来持久成效。
职位概述:
我们正在寻找常驻美国的通用评估员,参与 Gemini 个性化评估。在该职位中,评估员将使用个性化提示词开展通用评估工作,这些提示词旨在跨已连接的 Google 应用检索上下文和数据。
主要资质:
- 所在地:目前必须常驻美国。
- 应用连接:必须愿意并能够将自己的 Google 应用(例如 Gmail、Google 相册、Google 日历、Google 云端硬盘等)连接到 Gemini,以支持数据检索和个性化提示词评估。
- 职责范围:执行通用评分和评估任务,评估模型在各已连接应用中的表现、上下文检索能力和回复质量。
- 账户活跃度:积极使用标准的 Google 工作区/消费者应用,并拥有足够的个人数据/历史记录,用于生成和评估检索类提示词。
- 出色的分析思维:能够评估细致入微的 AI 回复,并识别个性化质量方面的优势与不足。
- 注重细节:善于审核 AI 生成的回复,并发现细微的问题或不一致之处。
- 沟通能力:具备出色的书面沟通能力,能够提供清晰、有条理的评估反馈。
- 独立性:积极主动,能够在远程环境中独立工作。
- 技术配置:配备台式机或笔记本电脑,并拥有稳定的互联网连接。
职位描述:
在该职位中,您将加入一个团队,负责评估面向企业用户的个性化 AI 交互质量。您的日常职责包括:
- 根据您的职业电子邮件历史记录和企业账户活动,评估 AI 生成的回复。
- 评估回复是否相关、准确、有帮助,以及个性化是否恰当。
- 识别与错误的个性化、缺乏依据的假设或不相关的推荐有关的问题。
- 比较多个 AI 回复,并判断哪一个能提供更好的整体用户体验。
- 提供清晰、详细且论证充分的评估反馈,以支持模型改进。
- 遵循项目指南,确保评估一致、准确且高质量。
- 在整个评估过程中保护数据隐私,并遵守项目的所有保密要求。
学历与经验
- 任何专业的学士学位或同等实践经验。
- 具有 AI 评估、数据标注、内容审核、质量保证或相关分析类岗位的经验者优先,但并非必需。
录用详情:
- 投入要求:每天至少 4 小时,每周最多 40 小时,与 PST 有 4 小时的重叠时间。
- 合作类型:合同工
- 合作时长:最长 16 周
评估流程 -
- 入围的候选人将收到职位意向表。
- 最终入选的候选人将收到后续步骤的通知,包括同意书和入职要求。
同意与合规:
必须愿意授予项目所需的应用集成权限,并完成所有标准的同意书和保密协议。