关于此职位
关于 Turing：
Turing 是全球增长最快的 AI 公司之一，致力于加速强大 AI 系统的发展与部署。
Turing 通过两种方式帮助客户：与全球领先的 AI 实验室合作，提升前沿模型在思考、推理、编程、智能体行为、多模态、多语言、STEM 以及前沿知识方面的能力；并利用这些成果构建真实世界的 AI 系统，解决企业的关键任务优先事项。
职位概述：
该职位隶属于与一家基础 LLM 公司合作的项目。项目目标是协助这些基础 LLM 公司增强其大语言模型。
我们帮助这些公司改进模型的方式之一，是为其提供高质量的专有数据。这些数据有两个主要用途：其一，作为微调模型的基础；其二，作为评估集，用于对其模型或竞争对手模型的性能进行基准测试。
例如，在生成 SFT 数据时，您可能需要整理或获得一个包含所提供代码和问题的提示词，然后提供模型回复，并编写相应的 Python 代码来解决这些问题。
在生成 RLHF 数据时，您可能需要自己创建提示词或使用客户提供的提示词，向模型提问，并评估两个版本的 LLM 所生成的输出。您将比较这些输出并提供反馈，这些反馈随后会用于微调模型。请注意，该职位不涉及构建或微调 LLM。
日常工作内容：
- 设计、开发并维护高效、高质量的 Python 代码，用于训练和优化 AI 模型。
- 开展评估（Evals），对模型性能进行基准测试，并分析结果以实现持续改进。
- 熟悉 Python 框架和库
- 评估并排序 AI 模型对各个领域用户查询的回复，确保符合预先设定的标准。
- 为评估撰写全面的解释和理由，展现出色的推理能力和技术专长。
- 主导监督微调（SFT）工作，包括创建和维护高质量的、针对特定任务的数据集。
- 与研究人员和标注员协作，执行基于人类反馈的强化学习（RLHF）并优化奖励模型。
- 设计创新的评估策略和流程，以改进模型与用户需求及伦理准则的一致性。
- 创建并优化最佳回复，以提升 AI 性能，注重清晰度、相关性和技术准确性。
- 对代码和文档进行全面的同行评审，提供建设性反馈并找出需要改进的方面。
- 与跨职能团队协作，提升模型性能并为产品改进做出贡献。
- 持续探索并整合新的工具、技术和方法，以改进 AI 训练流程。
要求：
- 拥有 3+ 年扎实的 Python 编程语言经验。
- 具备行业经验，并了解代码质量、格式规范以及软件开发的最佳实践
- 熟悉 Python 的测试生态系统，包括单元测试、集成测试和基于属性的测试。
- 了解 Python 中的多线程和异步编程。
- 能够运用架构模式并重构代码，同时不引入回归问题。
- 具备出色的调试能力，包括修复内存和并发问题。
- 英语口语和书面沟通能力流利
与 Turing 合作做自由职业者的福利：
- 在完全远程的环境中工作。
- 有机会与领先的 LLM 公司合作，参与前沿 AI 项目。
录用详情：
- 投入要求：每天至少 4 小时，每周至少 20 小时，与 PST 有 4 小时的重叠时间。（我们提供 3 种投入时间选项：每周 20 小时、每周 30 小时或每周 40 小时）
- 合作类型：合同工任务（不含医疗/带薪假期）
- 合同期限：1 个月；[预计下周开始]
评估流程（约 75 分钟）：
- 两轮面试（60 分钟技术面试 + 15 分钟文化面试及录用讨论）