关于此职位
在这个按小时计酬的远程承包岗位中，您将作为医疗保健主题专家（SME），编写具有挑战性的专家级医疗保健问题，评估 AI 生成的临床内容，并设计高质量评分标准，界定准确、完整且符合专业规范的答案应包含哪些内容。
您将运用临床或专业专长，识别前沿 AI 模型可能给出不完整、不准确、推理薄弱、过度自信或临床不充分回答的领域。您将在自己的领域内编写专业问题，制定详细评分标准，评审其他医疗保健专业人员创建的评分标准，并提供精确的书面反馈。
本岗位的核心工作是评分标准设计与专家评估。您将界定关键临床概念、推理步骤、相关注意事项、可接受的替代方法、重大遗漏以及关键错误，以区分浅层回答与专家级回答。
本岗位隶属于 SME Careers，这是一家快速成长的 AI 数据服务公司，也是 SuperAnnotate 的子公司，为全球许多最大的 AI 公司和基础模型实验室提供训练数据。您的医疗保健专长将直接帮助改进全球顶尖 AI 模型，使其回答更准确、更符合临床规范、更严谨、更可靠。
您将做什么
- 编写专家级医疗保健问题：开发能够暴露先进 AI 系统局限性的专业问题。
- 设计详细评分标准：界定准确、完整且符合临床规范的答案所需包含的要素。
- 识别关键标准：区分必要的临床推理与补充信息。
- 评估 AI 回答：从事实准确性、推理、安全性、完整性和专业质量方面评估模型输出。
- 识别细微失误：发现缺失的考量、缺乏支持的假设、不恰当的确定性以及临床上重要的遗漏。
- 评审同行评分标准：识别歧义、冗余、错误预期、缺失标准或评分设计不佳的问题。
- 编写参考答案：产出专家示例、解释、评审意见和黄金标准内容。
- 支持 AI 训练：为 RL 和 SFT 工作流生成问题、评分标准、评估、评审意见和参考答案配对。
- 维护临床质量：确保内容体现恰当的术语、专业推理和循证判断。
我们期望的人选
- 在医学、牙科、药学、护理或其他医疗保健学科拥有专业学位、执照、资格证书或受认可的资质。
- 具备较强的英语专业熟练度，最低 C1。
- 3 年以上专业或临床经验；强烈优先考虑高级和专家级专业人员。
- 在明确界定的专业或亚专业中展现出专业知识。
- 能够编写具有挑战性的临床或专业问题，这些问题需要真正的专业知识和细致判断。
- 具备较强的能力，能够编写详细评估评分标准，界定必需事实、推理步骤、注意事项、可接受的替代方案以及关键临床错误。
- 能够区分轻微遗漏与对临床质量或安全有实质性影响的错误。
- 能够自如地审阅和评审其他医疗保健专业人员创建的评分标准。
- 能够评估 AI 输出的准确性、完整性、推理质量、安全性、校准和临床相关性。
- 强烈优先考虑具备医学教育、考试命题、能力评估、临床指南、教学、同行评审或质量保证经验者。
- 优先考虑具备 AI 评估、RLHF、SFT、数据标注、模型基准测试或基于评分标准的打分经验者。
- 可靠、自主性强，能够持续产出稳定的书面成果。