この求人について
Turingについて： カリフォルニア州サンフランシスコに拠点を置くTuringは、最先端のAIラボにとって世界をリードするリサーチアクセラレーターであり、高度なAIシステムを導入するグローバル企業にとって信頼できるパートナーです。Turingは2つの方法でお客様を支援しています。1つ目は、高品質なデータ、高度なトレーニングパイプライン、そしてコーディング、推論、STEM、多言語対応、マルチモーダリティ、エージェントを専門とするトップAI研究者によって、最先端の研究を加速させること。2つ目は、その専門知識を活用し、企業がAIを概念実証から独自のインテリジェンスへと発展させ、確実に機能し、測定可能な成果をもたらし、損益計算書（P&L）に持続的な成果をもたらすシステムを実現できるよう支援することです。
役割について
高度な大規模言語モデル（LLM）の評価、テスト、継続的な改善を支援する、高い資格を持つチームマネジメントの専門家を募集しています。
この役割では、チームリーダーシップ、ピープルマネジメント、パフォーマンスマネジメント、人員計画、オペレーションの実行に関する専門知識を活かして、AIが生成した回答を評価していただきます。知識の欠落を特定し、難易度の高い実世界のプロンプトを設計し、モデルの推論を評価し、AIシステムの正確性、信頼性、実用性の向上に貢献します。
主な責任
- LLMの能力をテストするための、複雑で分野特化のプロンプトを作成する。
- AIが生成した回答を、事実の正確性、推論、関連性、全体的な品質の観点で評価する。
- 事実の誤り、論理的な不整合、知識の欠落、モデルの弱点を特定する。
- モデルの限界を露呈させる、難易度の高いテストケースとエッジケースを開発する。
- モデルの性能を向上させるため、明確で詳細な、エビデンスに基づくフィードバックを提供する。
最低限の資格
- 関連分野の修士号以上。
- 実務、研究、または教育の経験が最低3年。
- 優れた英語の文章コミュニケーション能力。
- 優れた分析力と批判的思考力。
- 細部への卓越した注意力。
歓迎される資格
- LLMまたは生成AIを扱った経験。
- プロンプトエンジニアリング、AI評価、またはモデルテストに関する知識。
- 難易度の高いプロンプトの設計、エッジケースの特定、またはAIモデルのストレステストの経験。
理想的な候補者
理想的な候補者は、好奇心旺盛で、細部まで気を配れ、ご自身の分野に深い知見をお持ちの方です。複雑な問題を解決し、前提を問い直し、微妙な事実上または推論上の誤りを見つけることを楽しめる方を求めています。モデルの限界を明らかにし、AIの性能を向上させるプロンプトを設計した経験は、大きな強みになります。