关于此职位
关于 Turing:
Turing 是全球发展最快的 AI 公司之一,致力于加速强大 AI 系统的进步与部署。
Turing 通过两种方式帮助客户:与全球领先的 AI 实验室合作,提升前沿模型在思考、推理、编码、智能体行为、多模态、多语言、STEM 和前沿知识方面的能力;并利用这些工作成果构建真实世界的 AI 系统,为企业解决关键任务优先事项。
职位概述:
我们正在寻找经验丰富的物理学专家,带领一个训练师小组为 Terminal Bench Science 构建贴近真实的、基于终端的科学任务。您将审核训练师所产出的每一项任务的物理正确性、可复现性和评分器可靠性,并指导训练师持续交付高质量、具有挑战性的任务。 .
您将负责的工作:
- 全流程审核训练师的任务,包括任务陈述、数据集、仿真输入、环境、参考解答和自动化测试。
- 核实任务反映真实的物理学工作流程,并需要真正的多步骤推理。
- 检查工具、库和依赖项是否已固定,以及结果是否可复现。
- 验证量纲一致性、单位制和约定、守恒定律、对称性、积分器能量漂移、收敛性以及不确定度的统计处理。
- 确保容差反映合理的随机和数值波动,同时不接受物理上不正确的结果。
- 确保评分器验证的是可观测量、拟合参数、不确定度或物理不变量,而非格式。
- 确保任务无法通过硬编码输出或绕过计算来投机取巧。
- 提供清晰、可执行的书面反馈,并跟踪修订直至结案。
- 负责训练师的入职引导并提供指导。
- 分配工作,跟踪质量和产出,并上报障碍。
- 维护小组文档,涵盖指南、反复出现的问题和范例任务。
我们期望的人选:
- 物理学领域的博士学位、博士后经历或同等水平的高级经验。
- 具有扎实的 Python、C/C++、Julia 或 Fortran 编程能力,并熟练使用 Linux。
- 有计算物理学、仿真或物理数据分析方面的实践经验。
- 有审核代码、分析或研究成果的实际经验。
- 有指导或带领小型技术或研究团队的经验。
- 具备出色的书面沟通能力,能够提供精准、建设性的反馈
优先资格:
- 熟悉 QuTiP、Qiskit、Kwant、ITensor、ROOT、Geant4、Astropy、Dedalus、MEEP 或类似工具。
- 熟悉 Docker、Git、CI 系统和自动化测试。
- 有设计基准测试或基于仿真的评估的经验。
加分项:
- 有评估 AI 编码智能体或终端智能体的经验。
- 有在设有正式内部评审流程的大型合作项目中工作的经验。
- 有 AI 训练或评估项目方面的经验。
录用详情:
- 承诺要求:每天至少 4 小时,每周至少 40 小时,并与太平洋标准时间(PST)有 4 小时的重叠。
- 雇佣类型:承包商派遣(不含医疗/带薪假期)
- 合同期限:4 周 [预计开始日期为下周]