この求人について
フリーランス · リモート · 北米（のみ）
Turingについて
Turingは、世界有数のAGIインフラ企業の一つであり、フロンティアAIラボと協力して、高品質なトレーニングデータ、評価、エンジニアリング人材を通じてモデル開発を加速しています。
契約の詳細
-
報酬：$100-$150/時間。希望する具体的な時給額をお知らせください
-
稼働可能時間：週20-40時間、うち1日あたり最低6時間は太平洋時間と重なること
-
形態：独立した業務委託契約者
-
期間：約3か月
-
開始：できるだけ早く
-
勤務地：北米（のみ）
役割について
AIコーディングモデルの評価と改善を支援する、経験豊富で実践的なソフトウェアエンジニアを募集しています。
本番アプリケーションの構築が主な業務ではなく、実際のリポジトリ全体でコーディングエージェントを扱い、その作業の質を評価していただきます。生成されたコードとエージェントの挙動をレビューし、解決策が技術的に正しいかどうかを判断し、失敗モードを特定し、モデルの性能向上に使われる評価シグナルとフィードバックを作成します。
コーディングエージェントを、あなたがその仕事をレビューするもう一人のエンジニアだと考えてください。タスクを理解できているか。適切なアプローチを選んだか。生成されたコードは正確で、堅牢で、保守しやすいか。どこで成功し、どこで失敗したかを正確に説明できるか。
業務内容
-
選好データ向けのルーブリックと評価基準を設計・改良し、反復的に改善する
-
高い品質基準でデータをレビューしラベル付けし、他の人が見落としかねない微妙な問題を見つける
-
データの生成、収集、評価のワークフローを支えるパイプラインとインフラを構築・保守する
-
データ作業から得られた知見を、チーム向けの明確な文書、アップデート、提言にまとめる
-
研究者やエンジニアと緊密に連携し、定性的な判断をスケーラブルなプロセスに落とし込む
求める人物像
-
5年以上の実務でのソフトウェアエンジニアリング経験
-
Python、TypeScript/JavaScript、Go、またはその他の主要な本番用言語に関する高い習熟度
-
大規模な実世界のコードベースでの業務経験
-
優れたコードレビュースキルと技術的判断力
-
実装が正しい、誤っている、または改善できる理由を明確に説明できること
-
優れた文章によるコミュニケーション能力
-
最新のLLMまたはAIコーディングツールの使用経験
LLMの評価、コーディングエージェント、RLHF、選好データ、ルーブリック設計、またはポストトレーニングの経験があれば歓迎しますが、必須ではありません。
選考プロセス
-
AI面接（約25分）
-
実践的なコード／AI評価の課題（約30分）
-
採用マネージャーとの面接（約20分）
実践課題では、競技プログラミングやアルゴリズムパズルではなく、AIが生成したコードをレビューし評価する能力を重視します。