この求人について
Turingについて： カリフォルニア州サンフランシスコに拠点を置くTuringは、最先端のAIラボにとって世界をリードするリサーチアクセラレーターであり、高度なAIシステムを導入するグローバル企業にとって信頼できるパートナーです。Turingは2つの方法でお客様を支援しています。1つ目は、高品質なデータ、高度なトレーニングパイプライン、そしてコーディング、推論、STEM、多言語対応、マルチモーダリティ、エージェントを専門とするトップAI研究者によって、最先端の研究を加速させること。2つ目は、その専門知識を活用し、企業がAIを概念実証から独自のインテリジェンスへと発展させ、確実に機能し、測定可能な成果をもたらし、損益計算書（P&L）に持続的な成果をもたらすシステムを実現できるよう支援することです。
役割の概要
最先端（SOTA）のAIモデル（例：Claude Opus 5 Max）の弱点を確実に露呈させる、エビデンスに基づくウェブリサーチのベンチマークタスクを構築する、分析力のある研究者でレッドチーミングのスペシャリストを募集しています。この役割では、見つけにくい事実を発掘し、それらを軸に精密なリサーチタスクを構築し、主要なLLMに対して直接テストし、モデルの検索と推論の経路における失敗のメカニズムを正確に診断していただきます。
あなたの仕事は、AI評価フレームワークを直接形作り、次世代の最先端モデルが、厳密で自明ではない実世界のリサーチシナリオに対してテストされることを確実にします。
応募要件：
- コア経験：調査リサーチ、ファクトチェック、AIベンチマークのタスク作成、レッドチーミング、または技術的なQAレビューでの 1 年以上の経験。
- ベンチマークへの精通：GAIA、BrowseComp、SimpleQA、SWE-bench、Terminal-Bench、Humanity’s Last Exam（HLE）などのAIベンチマークのタスクを、作成、テスト、またはレビューした実績。
- 分析力とOSINTスキル：中級から上級のウェブ検索およびオープンソースインテリジェンス（OSINT）のスキル。学術アーカイブ、地域の記録、あまり知られていないデータベースを探索できる能力。
- モデルの軌跡のデバッグ：モデルの推論の連鎖、検索ログ、情報源の選択を調べ、失敗の根本原因を診断する高い分析力。
- 精密な文章力：揺るぎない一次情報に基づく正解キーを備えた、明確で曖昧さのないベンチマークプロンプトを作成する能力。
職務内容：
- 無名の事実の発掘：ニッチなテーマを深く調べ、単純で直接的な検索クエリでは見つけられない事実上の正解を特定する。
- 情報源の検証：事実を一次情報または信頼性の高い情報源に照らして厳密に検証し、矛盾するエビデンスがないかを相互確認し、正確な情報源のURLを文書化する。
- タスクの構築：モデルのリサーチ戦略の構造的な弱点を露呈させることを特に目的とした、明確で回答可能なベンチマークタスクを作成する。
- レッドチーミングとモデルのテスト：指定されたSOTAモデルに対してタスクを実行し、意図したモデルの失敗が確実に引き起こされることを確認する。
- 失敗の診断とデバッグ：モデルの実行ログ、検索の軌跡、中間出力をたどり、モデルがどこで、なぜ失敗したのかを正確に特定する（モデル本来の限界と、曖昧なプロンプトを区別する）。
- パターンの展開とレビュー：検証済みの「モデルを破る」リサーチパターンを新しい分野に適用し、優れた成果を出している場合は、他のトレーナーが作成したタスクをレビューする。
あれば大きな強み（歓迎される資格）
- このポジションでは、関連する工学分野の学士号以上が必須です。
- SOTAモデルを破るプロンプトインジェクションまたは推論の罠のタスクを、特に設計した経験。
- 高度なOSINTの能力、または深い情報源の検証を示す、発表済みの調査研究・学術研究。
- 見つけにくい記録が豊富な分野（例：地方自治体の提出書類、地域のスポーツ史、法律関連のアーカイブ、歴史的な特許）におけるニッチな専門知識。
- AI評価プロジェクトで、リードレビュアー、ベンチマーク監査担当、または品質責任者を務めた経験。
契約条件：
- 必要な稼働：週最大 40 時間で、太平洋時間（PST）と 4 時間の重複があること。
- 契約形態：業務委託
- 契約期間：最大 4 週間
選考プロセス -
- 候補者は、求人への関心フォームとアセスメントを提出する必要があります。
- アセスメントで最終選考に残った人材は、アセスメントとレビューを経て、それに応じて次のステップに進みます。