この求人について
最先端のAIラボのモデルのトレーニングと評価に使用される、ソフトウェアエンジニアリングのベンチマークタスクの品質、正確性、再現性を評価していただきます。リポジトリレベルのタスク、参照パッチ、テストハーネス、採点の完全性を評価し、ルーブリックに基づいた明確な書面フィードバックを提供します。
必須の資格・経験
- プロとしてのソフトウェアエンジニアリング経験が3年以上
- 実際のオープンソースへの貢献またはメンテナーとしての経験（マージされたPR、コミッター／メンテナーの役割）
- 参照パッチ、テストランナー、Dockerの分離を監査し、解答のリーク／報酬ハッキングを検出できる高い能力
- 一般的なエコシステムに精通していること（Python、およびJava／Go／TypeScript／C++のうち少なくとも1つ）
歓迎される資格・経験
- SWE-Bench（Verified）または同様のリポジトリベンチマークへの精通
- 主要なPythonのOSS（Django、Flask、scikit-learn、sympy、pytestなど）でのメンテナーとしての経歴
- コードレビューまたはタスク採点の経験