この求人について
Mercorは、評価(エバリュエーション)の構築と改善を担うソフトウェアエンジニアを募集しています。完了済みのプルリクエストをエンジニアリングタスクに変換し、社内の評価フレームワークを、Claude CodeやCodexなどを含む複数の最先端コーディングエージェントに対して使用します。
当社は社内のリサーチチームと連携して業務を進めており、最先端の大規模言語モデルの性能を比較する、業界をリードするベンチマークを作成してきました。
このポジションでは、次の業務を担当します。
- 難易度の高い評価を支えられるだけの実質的な作業量があるリポジトリを特定し、適切な完了済みPRを選定する。
- 各問題、その参照解答、およびリポジトリのアーキテクチャ、テスト、規約を調査する。
- タスクのプロンプトを作成し、自動テスト、シェルコマンド、LLM採点用プロンプトを用いて評価を構築する。
- 参照解答や意図的に欠陥を含ませた実装に対して評価を検証する。不足しているチェック、誤った採点、問題の解き方を不必要に制約してしまう基準を見つけ出す。
- 複数のモデルおよびハーネスにわたって評価を繰り返し実行する。失敗の原因がエージェントの解答、環境、採点のいずれにあるのかを調査し、タスクがエージェントの性能における意味のある弱点を浮き彫りにしていることを立証する。
- 繰り返しのテストとレビューを通じて評価を改善する。調査結果や採点上の判断を文書化し、フィードバックに対応する。
必要な要件は次のとおりです。
- プログラミングの確かな基礎と、大規模で複雑なコードベースでの実務経験。評価の作成対象となる言語には、TypeScript/JavaScript、Python、Java、Kotlin、Go、Ruby、PHP、C++、Rustが含まれます。
- 見慣れないコードを理解し、微妙な挙動を調査し、異なる実装が同じ問題を正しく解決しているかどうかを判断できる能力。
- エッジケースやリグレッションのカバレッジを含め、意味のあるテストを書いた経験。
- 細部への注意力と、調査や改善を繰り返し行う粘り強さ。
- AIコーディングツールの実務での使用経験、およびその出力を検証し誤りを見つけるための判断力。
- Git、テストランナー、CIツールを自信をもって使いこなせること。
- 明確で流暢な文章および口頭でのコミュニケーション能力、ならびに要件が曖昧な場合には質問を挙げつつ、タスクを自律的に担える能力。
関連する経験は、オープンソース、プライベート、またはエンタープライズのリポジトリのいずれで得たものでも構いません。特定の言語やエコシステムへの精通は役立ちますが、リポジトリを理解し、適切なエンジニアリング上の判断を下せる能力のほうが、その人気度や公開されたコントリビューション履歴よりも重要です。
評価フレームワークのオンボーディングと、継続的なレビューフィードバックを提供します。オンボーディング後は、手取り足取りの指示なしに、タスクの選定、評価の開発、改善の繰り返しを自ら担うことが求められます。