关于此职位
关于 Turing： Turing 总部位于加利福尼亚州旧金山，是面向前沿 AI 实验室的全球领先研究加速器，也是部署先进 AI 系统的全球企业值得信赖的合作伙伴。Turing 通过两种方式为客户提供支持：第一，借助高质量的数据、先进的训练流水线，以及专注于编码、推理、STEM、多语言、多模态和智能体的顶尖 AI 研究人员，加速前沿研究；第二，运用这些专业能力，帮助企业将 AI 从概念验证转变为专有智能，使系统运行可靠、带来可衡量的影响，并在损益表（P&L）上取得持久的成果。
职位概述：
我们正在寻找常驻美国的通用评估员，参与 Gemini 个性化评估（Gemini Personalization Evals）。在此职位上，评估员将使用旨在跨已连接的 Google 应用检索上下文和数据的个性化提示词，执行通用评估工作。
主要资格：
- 地点：必须目前常驻美国。
- 应用连接：必须愿意并能够将其 Google 应用（如 Gmail、Google Photos、Google Calendar、Google Drive 等）连接到 Gemini，以支持数据检索和个性化提示词评估。
- 职责范围：执行通用评分和评估任务，评估模型在各已连接应用中的表现、上下文检索和回答质量。
- 账户活跃度：积极使用标准 Google 工作区/消费级应用，并拥有足够的个人数据/历史记录，以生成和评估检索提示词。
- 卓越的分析思维：能够评估细微差别的 AI 回答，并找出个性化质量方面的优缺点。
- 注重细节：具备出色的能力审阅 AI 生成的回答，并发现细微的问题或不一致之处。
- 沟通能力：具备出色的书面沟通能力，能够提供清晰且有条理的评估反馈。
- 独立性：积极主动，能够在远程环境中独立工作。
- 技术配置：配备台式机或笔记本电脑，并有可靠的网络连接。
描述：
在此职位上，您将成为一个团队的一员，负责评估面向企业用户的个性化 AI 交互的质量。您的日常职责包括：
- 根据您的职业邮件历史和企业账户活动，评估 AI 生成的回答。
- 评估回答是否相关、准确、有帮助且个性化程度恰当。
- 识别与错误的个性化、缺乏依据的假设或不相关的推荐有关的问题。
- 比较多个 AI 回答，并判断哪个能提供更好的整体用户体验。
- 提供清晰、详细且论证充分的评估反馈，以支持模型改进。
- 遵循项目指南，确保评估一致、准确且高质量。
- 在整个评估过程中保护数据隐私，并遵守所有项目保密要求。
学历与经验
- 任何领域的学士学位或同等的实践经验。
- 有 AI 评估、数据标注、内容审核、质量保证或相关分析类职位经验者优先，但非必须。
录用详情：
- 承诺要求：每天至少 4 小时，每周最多 40 小时，并与太平洋标准时间（PST）有 4 小时的重叠。
- 合作类型：承包商
- 合作时长：最长 16 周
评估流程 -
- 入围的候选人将收到一份职位意向表。
- 最终入选的候选人将收到后续步骤的通知，包括同意书和入职要求。
同意与合规：
必须愿意授予项目所需的应用集成权限，并完成所有标准同意书和保密协议。