직무 소개
Mercor는 평가(evaluation)를 구축하고 개선할 소프트웨어 엔지니어를 찾고 있습니다. 귀하는 완료된 풀 리퀘스트(pull request)를 엔지니어링 과제로 전환하고, 자체 평가 프레임워크를 Claude Code, Codex 등을 포함한 여러 최첨단 코딩 에이전트에 사용하게 됩니다.
저희는 사내 연구팀과 함께 일하며, 최첨단 대규모 언어 모델의 성능을 비교하는 업계 선도적인 벤치마크를 만들어 왔습니다.
이 직무에서 귀하는 다음 업무를 수행합니다.
- 까다로운 평가를 뒷받침할 만큼 충분히 실질적인 작업이 있는 리포지토리를 식별하고, 적합한 완료된 PR을 선정합니다.
- 각 문제, 그에 대한 참조 솔루션, 그리고 리포지토리의 아키텍처, 테스트, 컨벤션을 조사합니다.
- 과제 프롬프트를 작성하고, 자동화된 테스트, 셸 명령, LLM 채점 프롬프트를 사용하여 평가를 구축합니다.
- 참조 솔루션 및 의도적으로 결함을 넣은 구현에 대해 평가를 검증합니다. 누락된 검사, 잘못된 채점, 문제를 해결하는 방식을 불필요하게 제약하는 기준을 찾아냅니다.
- 여러 모델과 하니스(harness)에 걸쳐 평가를 반복 실행합니다. 실패의 원인이 에이전트의 솔루션, 환경, 채점 중 어디에 있는지 조사하고, 과제가 에이전트 성능의 의미 있는 약점을 드러내는지 확인합니다.
- 반복적인 테스트와 검토를 통해 평가를 개선합니다. 발견한 사항과 채점 결정을 문서화하고, 피드백을 반영하여 작업합니다.
다음 역량이 필요합니다.
- 탄탄한 프로그래밍 기초와 대규모의 복잡한 코드베이스에서 일해 본 실무 경험. 저희가 평가를 만드는 언어에는 TypeScript/JavaScript, Python, Java, Kotlin, Go, Ruby, PHP, C++, Rust가 포함됩니다.
- 낯선 코드를 이해하고, 미묘한 동작을 조사하며, 서로 다른 구현이 동일한 문제를 올바르게 해결하는지 평가할 수 있는 능력.
- 엣지 케이스와 회귀(regression) 커버리지를 포함하여 의미 있는 테스트를 작성한 경험.
- 세부 사항에 대한 주의력과 반복적인 조사 및 개선 작업을 견디는 인내심.
- AI 코딩 도구를 실무에서 사용한 경험, 그리고 그 결과물을 검증하고 오류를 잡아내는 판단력.
- Git, 테스트 러너, CI 도구를 자신 있게 사용하는 능력.
- 명확하고 유창한 서면 및 구두 커뮤니케이션 능력, 그리고 요구 사항이 모호할 때는 질문을 제기하면서도 과제를 독립적으로 책임질 수 있는 능력.
관련 경험은 오픈 소스, 비공개 또는 기업용 리포지토리에서 쌓은 것이어도 됩니다. 특정 언어나 생태계에 익숙하면 도움이 됩니다. 다만 해당 리포지토리의 대중적 인지도나 귀하의 공개 기여 이력보다는, 리포지토리를 파악하고 타당한 엔지니어링 판단을 내릴 수 있는 능력이 더 중요합니다.
저희는 평가 프레임워크에 대한 온보딩과 지속적인 검토 피드백을 제공합니다. 온보딩 이후에는 단계별 지시 없이 과제 선정, 평가 개발, 반복 개선을 직접 책임지실 것으로 기대합니다.