关于此职位
关于 Turing： Turing 总部位于美国加利福尼亚州旧金山，是全球领先的前沿 AI 实验室研究加速器，也是为部署先进 AI 系统的全球企业提供支持的值得信赖的合作伙伴。Turing 通过两种方式为客户提供支持：第一，通过高质量数据、先进的训练流水线，以及专注于编码、推理、STEM、多语言能力、多模态和智能体的顶尖 AI 研究人员，加速前沿研究；第二，运用这些专业能力，帮助企业将 AI 从概念验证转变为专有智能，使系统可靠运行、产生可衡量的影响，并在损益表（P&L）上带来持久的成果。
职位概述：
作为 AI 质量分析师，您将评估 Gemini 的一项全新个性化功能。您将评估模型在多大程度上利用您过往的 Gemini 对话、Gmail、Google 搜索和 YouTube 活动中的信息，使回复更相关、更有帮助。该职位需要将创造力与分析严谨性独特地结合起来。您将从自身个人经历的角度主动设计提示词，然后运用您的分析能力评估模型个性化回复的质量，评估维度包括依据性（Grounding）、融合度（Integration）和有用性（Helpfulness）。
关键资质
- 荷兰语能力：能够以高度的理解力读写荷兰语，因为荷兰语是本项目的重点语言。
- 个人账户使用：愿意使用您的主要个人 Google 账户（而非测试账户）并启用个人数据源，以进行真实的评估。
- 时间灵活性：需要在您所在时区全职投入。我们正在组建一支全球性的 24 小时运营团队。
- 出色的分析性思维：能够评估细微且含糊不清的 AI 回复，尤其是评估个性化质量。
- 创造性提示词工程：有基于个人背景设计创造性多轮起始提示词的经验，以全面测试模型的能力。
- 出色的评估敏锐度：理解个性化概念，包括能够识别错误的个性化、糟糕的推断和牵强的关联。
- 一丝不苟的细节意识：能够审阅并排对比（Side-by-Side，SxS）的模型回复，并发现自然度和过度叙述（overnarrating）方面的细微差异。
- 出色的书面沟通：具备卓越的能力，能为模型排名撰写清晰、简洁、结构化的依据，并明确引用具体的轮次编号。
- 反馈：能够提供建设性反馈和详细标注。
- 沟通：出色的沟通与协作能力。
- 独立性：积极主动，能够在远程环境中独立工作。
- 技术配置：配备台式机/笔记本电脑，并具备良好的网络连接。
描述：
- 在此职位中，您将成为一支充满活力的团队的一员，专注于评估个性化 AI 交互的质量。您的日常工作将包括：
- 设计并执行多轮对话提示词（通常为 1-5 轮），要求 AI 利用您的个人信息和经历。
- 根据您在起始提示词中的意图评估模型回复，检查个性化是否得到恰当应用。
- 分析回复中的依据性（Grounding）问题，确保有关您的说法有证据支持，而不是有缺陷的推断或幻觉。
- 评估融合度（Integration）质量，确保个人数据自然地融入回复，而不会出现生硬的“过度叙述（overnarrating）”。
- 严格评估两个模型回复并进行并排（SxS）排序，以判断哪个整体上更有帮助、更易用、更令人愉快。
- 为您的比较撰写清晰、站得住脚的依据，明确引用对话中出现问题或亮点的位置。
- 从模型中提取并核实“调试信息（Debug Info）”，以确认聊天摘要和数据源已被正确使用。
- 通过删除评估对话来严格保持数据整洁，避免它们污染您日后的聊天记录。
教育背景与经验
- 相关领域（例如政策、法律、伦理、语言学、新闻学、计算机科学或相关分析领域）的 BS/BA 学士学位，或同等经验。
- 具备数据标注、AI 质量评估、内容审核或相关岗位经验者将被优先考虑。
录用详情：
- 所需投入：每天至少 4 小时，每周最多 40 小时，并与 PST 有 4 小时的重叠。
- 合作类型：合同工
- 合作时长：1 个月
- 我们为该项目提供的薪酬为每小时 $20。
评估流程 -
- 入围的候选人将收到一份职位意向表。
- 简历审核后，将分享一项测评，必须在 24 小时内完成。
- 根据测评结果，入围的候选人将被联系，以讨论入职前的准备要求。