关于此职位
关于 Turing
Turing 是全球增长最快的 AI 公司之一，致力于加速强大 AI 系统的发展与部署。Turing 通过高质量的人类反馈、评估和训练数据，帮助领先的 AI 实验室提升大语言模型（LLM）的推理、问题解决和决策能力。
职位概述
我们正在寻找经验丰富的软件工程师，协助评估、基准测试并提升前沿 AI 模型的编码能力。在此职位中，您将评估 AI 生成的代码，针对真实世界的软件工程任务验证解决方案，识别正确性和质量问题，并为开发高质量的评估数据集和基准做出贡献。
该职位非常适合喜欢代码评审、调试、问题解决，并善于在复杂技术场景中运用出色软件工程判断力的工程师。您的工作将直接有助于衡量并提升先进 AI 编码系统的性能。
日常工作是什么样的？
- 审阅并评估 AI 生成的代码的正确性、效率、可维护性以及对需求的符合程度。
- 分析软件工程任务，并验证所提出的解决方案是否达到预期结果。
- 调试代码、复现问题，并在不同的编程环境中验证修复。
- 评估模型生成的解释、推理和实现方式的技术准确性。
- 创建、完善并维护用于编码任务的评估数据集、基准和评分标准。
- 识别边缘案例、失败模式，以及 AI 系统在软件工程问题上表现欠佳的领域。
- 清晰记录发现，并提供结构化反馈，以提升评估质量和一致性。
- 与项目团队协作，建立质量标准和评估方法。
要求
- 计算机科学、软件工程或相关技术领域的学士或硕士学位。
- 3+ 年专业软件工程经验。
- 精通以下一种或多种语言：Python、Java、C/C++、Go、Swift、Objective-C、PHP 或 SQL。
- 对数据结构、算法、软件设计原则和调试方法有深入理解。
- 有在生产环境或大规模代码库中执行代码评审和评估代码质量的经验。
- 能够在极少监督下分析复杂的技术问题并评估解决方案的正确性。
- 熟悉版本控制系统（例如 Git）和现代软件开发工作流。
- 出色的书面沟通能力和对细节的关注。
- 有 AI/ML 数据标注、NLP、提示词工程、模型评估或 LLM 相关项目经验者优先。
- 具有评估 AI 生成代码、创建基准或软件质量评估方面的经验者非常优先。
与 Turing 合作的自由职业福利
- 完全远程的工作环境。
- 有机会与领先的 LLM 公司合作参与前沿 AI 项目。
录用详情
- 所需投入：每天至少 4 小时，每周至少 20 小时，并与 PST 有 4 小时的重叠。
- 合作类型：合同工任务（无医疗/带薪休假）
- 合同期限：1 个月；[预计开始日期为下周]
- 地点：仅限美国
评估流程
- 针对 Python 和 Docker 测试（RHLF）的在线自动化编码挑战