トップGitHubコントリビューター – エージェント型レビュープロジェクト

会社概要 カリフォルニア州サンフランシスコに拠点を置くTuringは、フロンティアAIラボ向けの世界有数の研究アクセラレーターであり、高度なAIシステムを導入するグローバル企業にとって信頼できるパートナーです。Turingはお客様を2つの方法で支援しています。第一に、高品質なデータ、高度なトレーニングパイプライン、そしてソフトウェアエンジニアリング、論理的推論、STEM、多言語、マルチモーダル、エージェントを専門とするトップAI研究者によるフロンティア研究を加速させること。第二に、その専門知識を活かして企業がAIを概念実証から独自のインテリジェンスへと変革できるよう支援し、信頼性高く動作し、測定可能なインパクトをもたらし、損益計算書に持続的な成果を生み出すシステムを提供することです。

プロジェクト概要 私たちは高水準の研究者および技術専門家を募集しています。この役割の核心的な目的は、難易度の高いベンチマークタスクを設計・検証・分析することにより、対象となるフロンティアモデルの推論および問題解決能力を向上させることです。

役割の内容：

• タスクの設計と開発：モデルの基盤となる、難易度が高く現実世界に即した問題を設計する。問題は、主要モデルで特定された特定の中核能力損失の失敗を対象とするように構築する必要があります。
• コンテンツ生成：問題をエージェント型開発環境に統合し、Pythonを用いて必要なすべてのコンポーネントを準備する。これには以下が含まれます：

• 詳細な指示と必要なタスクの概要。
• 指示に従うゴールデンソリューション。
• データセット、Pythonライブラリ、メタデータを含む必要な環境。
• ソリューションが合格しなければならないユニットテストを含むテストノートブック。

• 評価と分析：クロスモデルのタスクにおけるパフォーマンスを評価する。
• ヘッドルームの特定：対象モデルがすべてのテストに合格できないタスクを特定し、その失敗を特に論理的推論の失敗として分類する。
• 損失の抽出：エージェントのステップ（エージェントトラジェクトリ）を分析し、モデルから中核能力損失のパターンを観察・抽出する。

必須スキル

• 高度なスキルを持つGitHubコントリビューター。
• 応募者は、データサイエンス、ML、コーディング、またはフロンティアSTEMにおける深い定量的バックグラウンドのいずれかにおいて強い専門性を有していること。
• 週30時間以上（平日）、安定的に従事できること。

評価プロセス

• 応募プロセスには約15分かかります。
• AIビデオ面接の完了が必須です。