关于此职位
在这个按小时计酬的远程承包职位中，您将作为 STEM 与技术主题专家（SME），创建具有挑战性的专家级问题，评估 AI 生成的技术内容，并设计详细的评分标准，以界定正确、严谨且达到专家水准的答案应包含哪些内容。
您将在自己的专业领域内开发问题，以测试高级推理能力，而非简单的事实回忆。您将识别前沿 AI 模型中的弱点，包括错误假设、不完整的推理、数学或科学错误、被遗漏的边界情况，以及看似合理但在专家审查下不成立的答案。
该职位的一大重点是评分标准设计与撰写。您将把复杂的技术判断转化为清晰、具体且可衡量的评估标准，包括必需概念、推理步骤、可接受的替代方法、关键错误以及部分给分的考量。您也可能对其他专家制定的评分标准进行批评和改进。
该职位隶属于 SME Careers，这是一家快速成长的 AI 数据服务公司，也是 SuperAnnotate 的子公司，为众多全球最大的 AI 公司和基础模型实验室提供训练数据。您的技术专长将直接帮助改进全球顶尖的 AI 模型，使其推理更加准确、严谨和可靠。
您的工作内容
- 创建专家级技术问题：开发能够测试真正技术推理能力并暴露高级 AI 系统弱点的难题。
- 设计评估评分标准：撰写结构化标准，界定正确、严谨且完整的回答必须包含哪些内容。
- 定义部分给分标准：识别关键推理步骤、可接受的替代方案、轻微错误和关键失败。
- 评估 AI 生成的解答：从正确性、推理质量、完整性、方法和技术精确度方面评估输出。
- 识别隐藏的推理错误：发现答案通过无效假设或有缺陷逻辑得出正确结论的情况。
- 批评同行评分标准：审查其他专家的标准在技术准确性、清晰度、完整性和评分一致性方面的问题。
- 开发参考内容：产出专家答案、解释、批评意见及其他黄金标准内容。
- 支持 AI 训练：创建适用于 RL 和 SFT 工作流的问题、评分标准、评估、偏好判断和参考答案对。
- 保持技术严谨性：确保内容符合相关学科内适当的专业或学术标准。
我们期望的人选
- 拥有数学、物理、化学、工程、计算机科学、统计学、应用科学或其他技术学科的学士或更高学位。
- 具备较强的英语专业能力，最低 C1，能够撰写精确的技术解释和评估标准。
- 在所述技术领域拥有 3 年以上的专业、学术、研究或行业经验。
- 在明确界定的技术领域或专业方向展现出高级专长。
- 能够创建需要多步推理、领域专长或专业判断的具有挑战性的技术问题。
- 具备较强能力设计详细的评估评分标准，界定必需的推理、正确方法、可接受的替代方案、部分给分标准和关键错误。
- 能够区分正确的最终答案与由有效推理支持的答案，以及由有缺陷推理支持的答案。
- 能够自如地审查和批评其他专家的评分标准，指出歧义、缺失标准、冗余、技术不准确或评分设计不佳等问题。
- 在评估公式、假设、单位、方法、边界情况、逻辑一致性和技术术语时高度注重细节。
- 具有考试命题、学术评分、同行评审、研究评审、技术 QA、标准制定或评估设计经验者优先。
- 具有 AI 评估、RLHF、SFT、基准测试、数据标注、提示设计或 LLM 评估经验者优先。
- 可靠、自主性强，能够在按小时计酬的远程承包工作流程中持续交付高质量成果。