この求人について
Turingについて： Turingはカリフォルニア州サンフランシスコに拠点を置く、フロンティアAIラボ向けの世界有数のリサーチアクセラレーターであり、高度なAIシステムを導入するグローバル企業の信頼できるパートナーです。Turingは2つの方法でお客様を支援しています。1つ目は、高品質なデータ、高度なトレーニングパイプライン、そしてコーディング、推論、STEM、多言語対応、マルチモーダリティ、エージェントを専門とするトップクラスのAI研究者によって、最先端の研究を加速すること。2つ目は、その専門知識を活かして、企業がAIをプルーフ・オブ・コンセプトから独自のインテリジェンスへと発展させ、確実に動作し、測定可能な効果をもたらし、P&Lに持続的な成果をもたらすシステムを実現できるよう支援することです。
職務概要：
AI品質アナリストとして、Geminiの新しいパーソナライゼーション機能を評価します。モデルが、過去のGeminiでの会話、Gmail、Google検索、YouTubeのアクティビティからの情報をどの程度うまく活用して、回答をより関連性が高く役立つものにしているかを評価します。このポジションには、創造性と分析の厳密さのユニークな組み合わせが求められます。ご自身の個人的な経験の観点から、能動的にプロンプトを設計します。その後、分析スキルを用いて、モデルのパーソナライズされた回答の品質を、グラウンディング（Grounding）、統合（Integration）、有用性（Helpfulness）などの観点から評価します。
主な応募要件
- ベトナム語力：本プロジェクトの対象言語はベトナム語であるため、高い理解力をもってベトナム語を読み書きできること。
- 個人アカウントの利用：本物の評価を行うため、メインで使用している個人のGoogleアカウント（テスト用アカウントではないもの）を使用し、個人データソースを有効にする意思があること。
- スケジュールの柔軟性：現地のタイムゾーンでのフルタイムの稼働が必要です。当社は、グローバルな24時間体制のオペレーションチームを編成しています。
- 卓越した分析的思考力：ニュアンスがあり曖昧なAIの回答を評価し、特にパーソナライゼーションの品質を評価できる能力を示せること。
- 創造的なプロンプトエンジニアリング：モデルの能力を徹底的にテストするため、個人的な文脈に基づく創造的な複数ターンの出発プロンプトを設計した経験。
- 優れた評価の洞察力：誤ったパーソナライゼーション、不適切な推論、無理やりな関連付けを特定する能力を含む、パーソナライゼーションの概念に関する理解。
- 細部への細心の注意力：サイドバイサイド（SxS）のモデル回答をレビューし、自然さや過剰な語り（overnarrating）のわずかな違いを見抜く能力。
- 優れた文章コミュニケーション力：特定のターン番号を明示しながら、モデルのランキングについて明確で簡潔かつ構造化された根拠を書く卓越した能力。
- フィードバック：建設的なフィードバックと詳細なアノテーションを提供できる能力。
- コミュニケーション：優れたコミュニケーション力と協調性。
- 自立性：自発的に行動でき、リモート環境で自律的に作業できること。
- 技術環境：良好なインターネット接続環境を備えたデスクトップPCまたはノートPC。
詳細：
- このポジションでは、パーソナライズされたAIとのやり取りの品質評価に取り組む、ダイナミックなチームの一員となります。日々の業務には次のようなものが含まれます。
- AIにご自身の個人情報や経験を活用させる、複数ターンの会話型プロンプト（通常は1-5ターン）を設計し、実行する。
- 出発プロンプトでのご自身の意図に基づいてモデルの回答を評価し、パーソナライゼーションが適切に適用されたかを確認する。
- 回答にグラウンディングの問題がないかを分析し、ご自身に関する主張が、欠陥のある推論やハルシネーションではなく、根拠に裏付けられていることを確認する。
- 統合の品質を評価し、個人データが、ロボット的な「過剰な語り（overnarrating）」にならず、回答に自然に織り込まれていることを確認する。
- 2つのモデル回答をサイドバイサイド（SxS）で厳密に評価して順位付けし、全体としてどちらがより役立ち、使いやすく、楽しいかを判断する。
- 比較について、会話のどこで問題点や良い点が生じたかを明示しながら、明確で妥当性のある根拠を書く。
- モデルから「Debug Info」を抽出して検証し、チャットの要約とデータソースが適切に活用されていたことを確認する。
- 評価用の会話を削除して、今後のチャット履歴が汚染されないようにし、厳格なデータ衛生を維持する。
学歴・経験
- 関連分野（例：政策、法律、倫理学、言語学、ジャーナリズム、コンピュータサイエンス、または関連する分析分野）の学士号（BS/BA）、または同等の経験。
- データアノテーション、AI品質評価、コンテンツモデレーション、または関連する職務の経験が強く望まれます。
募集条件：
- 必要なコミットメント：1日あたり最低4時間、週あたり最大40時間、PSTとの重複時間は4時間。
- 契約形態：業務委託
- 契約期間：3か月
- 本プロジェクトの提示報酬は時給$15です。
選考プロセス -
- 絞り込まれた候補者には、求人関心フォーム（Job Interest Form）をお送りします。
- プロフィールのレビュー後、アセスメントが共有されます。これは24時間以内に完了する必要があります。
- アセスメントの結果に基づき、絞り込まれた候補者には、オンボーディング前の要件について話し合うためにご連絡します。