关于此职位
我们正在寻找经验丰富的机器学习研究人员，要求在视觉和语言领域具有端到端训练和改进深度学习模型的实践经验。您将研究范围明确的、经验性的、开放式的机器学习研究问题。
职责
- 从零开始训练图像分类器和生成式图像模型，并对开放权重语言模型进行微调。
- 在有限的数据、算力和模型规模预算下发挥最大效用。
- 使模型具备鲁棒性——既能抵御对抗性输入，也能应对对抗性对话。
- 压缩模型，以满足严格的规模和延迟限制，同时不牺牲准确率。
- 诊断并解决训练问题。
任职要求
我们正在寻找在以下一个或多个领域具有深厚专业知识的候选人：
对抗鲁棒性
具有以下方面的经验：
- 图像分类器的对抗训练（例如基于 PGD 的训练、TRADES）。
- 在标准威胁模型（例如 L∞ 攻击、AutoAttack）下评估鲁棒准确率，并避免梯度掩蔽的陷阱。
- 管理鲁棒性与准确率之间的权衡以及鲁棒过拟合。
高效计算机视觉
具有以下方面的经验：
- 端到端训练图像分类器，尤其是用于细粒度识别（大量视觉上相似的类别，每类样本很少）。
- 模型压缩：量化、剪枝，以及从大型教师模型到小型学生模型的知识蒸馏。
- 在严格的规模或延迟预算下部署模型（设备端、边缘或嵌入式环境）。
生成式图像建模
具有以下方面的经验：
- 从零开始训练图像生成模型：扩散模型、GAN、VAE 或基于流的模型。
- 针对 FID 等样本质量指标进行迭代。
- 能够以较少的参数量快速训练出优质生成器的训练效率技巧。
LLM 后训练与行为鲁棒性
在以下一个或多个方面具有实践经验：
- 开放权重语言模型的监督微调和偏好优化（DPO、RLHF、RLAIF），包括通过合成生成、噪声或弱监督以及拒绝采样来构建自己的数据集。
- 塑造多轮对话行为：抵御说服与谄媚、校准的置信度，以及知道何时接受纠正。
- 对齐式微调，在改变特定行为的同时保留通用能力。
多语言预训练
具有以下方面的经验：
- 从零开始训练多语言或低资源语言模型。
- 跨文字系统和类型学上多样化语言的分词器设计。
- 在数据受限的情况下平衡各语言之间高度不均衡的数据（采样温度、跨语言迁移）。
其他感兴趣的领域
具有以下任一方面的经验者优先：
- 扩展定律和训练效率研究。
- 课程学习和数据排序。
- 模型评估：基准构建、污染控制、统计上可靠的比较。
- 不确定性估计和模型校准。
- 用于提升鲁棒性的数据增强和合成数据。
一般任职资格
- 3 年及以上机器学习研究经验（博士研究经历计入该要求）。
- 具有 PyTorch、JAX、TensorFlow 或类似机器学习框架的丰富经验。
- 拥有排名前 100 的大学学位、在 FAANG 或同等 AI 公司的工作经历，或通过论文发表或有影响力的开源贡献体现的同等研究成果。
加入理由
- 从事前沿的机器学习研究。
- 与领先的 AI 研究人员合作完成具有挑战性、高影响力的项目。
- 灵活的、基于项目的工作，并提供有竞争力的报酬。