この求人について
Turingについて：
カリフォルニア州サンフランシスコに拠点を置くTuringは、最先端のAIラボにとって世界をリードするリサーチアクセラレーターであり、高度なAIシステムを導入するグローバル企業にとって信頼できるパートナーです。Turingは2つの方法でお客様を支援しています。1つ目は、高品質なデータ、高度なトレーニングパイプライン、そしてコーディング、推論、STEM、多言語対応、マルチモーダリティ、エージェントを専門とするトップAI研究者によって、最先端の研究を加速させること。2つ目は、その専門知識を活用し、企業がAIを概念実証から独自のインテリジェンスへと発展させ、確実に機能し、測定可能な成果をもたらし、損益計算書（P&L）に持続的な成果をもたらすシステムを実現できるよう支援することです。
役割の概要
最先端の大規模言語モデル（LLM）の評価と改善を支援する、意欲の高いチームマネジメント人材を募集しています。この役割では、構造化データを分析し、難易度の高いプロンプトを作成し、AIが生成した回答の事実の正確性と推論の質を評価し、モデルの性能を向上させるためのエビデンスに裏付けられたフィードバックを提供していただきます。
複雑な問題を解決し、AIシステムを評価することを楽しめる、好奇心旺盛で細部まで気を配れる専門家を求めています。理想的な候補者は、データを分析し、批判的に考え、エビデンスに照らして回答を検証し、モデルの出力がなぜ正しいのか、あるいは誤っているのかを明確に説明できる方です。AIモデルを扱った経験や、難易度の高い評価用プロンプトを作成した経験は、大きな強みになります。
主な責任
- LLMが構造化データを検索、分析し、それに基づいて推論する能力を評価する、難易度の高いプロンプトを作成する。
- AIが生成した回答を、事実の正確性、論理的推論、網羅性の観点で評価する。
- モデルの失敗、不整合、ハルシネーション、推論の欠落を特定する。
- 提供されたデータセットと裏付けとなるエビデンスを用いて、モデルの出力を検証する。
- 調査結果を、エビデンスに基づく明確な説明とともに文書化する。
- アノテーションガイドラインを一貫して守り、高い品質基準を維持する。
最低限の資格
- 分野を問わず、修士号以上。
- 実務、研究、または教育の経験が最低 3 年。
- 優れた分析力と批判的思考力。
- 優れた英語の文章コミュニケーション能力。
- 細部への卓越した注意力と、元データに照らして情報を検証する能力。
歓迎される資格
- 大規模言語モデル（LLM）または生成AIを扱った経験。
- プロンプトエンジニアリング、AI評価、データアノテーション、またはモデルテストに関する知識。
- 構造化データセット（CSV、Excel、データベースなど）を扱った経験。
- エッジケースを特定し、モデルの限界を露呈させるプロンプトを設計する能力。
特典
- 最先端のAIプロジェクトに携わる機会。
- 競争力のある報酬。
- 柔軟な勤務時間とリモートワーク環境。
契約条件
- 必要な稼働：週 40、30、または 20 時間で、太平洋時間（PST）と最低 4 時間の重複があること
- 雇用形態：契約業務（医療保険／有給休暇なし）
- 契約期間：4 週間
選考プロセス：
- 資格とアセスメントのスコアに基づくショートリスト選出。