この求人について
この時間給・リモートの契約職では、STEM・技術分野の主題専門家（SME）として、専門家レベルの難易度の高い問題を作成し、AIが生成した技術コンテンツを評価し、正確で厳密かつ専門家品質の回答に何が含まれるべきかを定義する詳細なルーブリックを設計していただきます。
ご自身の専門分野において、単純な事実の記憶ではなく高度な推論を試す問題を開発していただきます。最先端AIモデルの弱点を特定していただきます。これには、誤った前提、不完全な推論、数学的または科学的な誤り、見落とされたエッジケース、もっともらしく見えても専門家の精査に耐えない回答などが含まれます。
この職務の主要な焦点は、ルーブリックの設計と作成です。複雑な技術的判断を、明確で具体的かつ測定可能な評価基準に変換していただきます。これには、必須概念、推論ステップ、許容される代替アプローチ、致命的な誤り、部分点の考慮事項などが含まれます。他の専門家が作成したルーブリックを批評し、改善していただく場合もあります。
この職務は、急成長中のAIデータサービス企業であり、SuperAnnotateの子会社であるSME Careersにて行われます。同社は世界最大級のAI企業や基盤モデル研究所の多くにトレーニングデータを提供しています。あなたの技術的専門性は、世界有数のAIモデルの推論をより正確で厳密かつ信頼性の高いものにすることで、その改善に直接貢献します。
業務内容
- 専門家レベルの技術問題の作成：真の技術的推論を試し、高度なAIシステムの弱点を明らかにする難易度の高い問題を開発する。
- 評価ルーブリックの設計：正確で厳密かつ完全な回答に何が含まれるべきかを定義する構造化された基準を作成する。
- 部分点基準の定義：必須の推論ステップ、許容される代替案、軽微な誤り、致命的な失敗を特定する。
- AI生成ソリューションの評価：出力の正確性、推論の質、完全性、方法論、技術的正確性を評価する。
- 隠れた推論エラーを特定：無効な前提や欠陥のある論理を用いて正しい結論に達している回答を検出する。
- 他の専門家のルーブリックを批評：他の専門家の基準について、技術的正確性、明確性、完全性、採点の一貫性をレビューする。
- 参照コンテンツの作成：専門家の回答、解説、批評、その他のゴールドスタンダードなコンテンツを作成する。
- AIトレーニングの支援：RLおよびSFTワークフローに適した質問、ルーブリック、評価、選好判断、参照回答ペアを作成する。
- 技術的厳密性の維持：コンテンツが関連する分野における適切な専門的または学術的基準を反映していることを確保する。
求める人物像
- 数学、物理学、化学、工学、コンピュータサイエンス、統計学、応用科学、その他の技術分野における学士号以上。
- 英語の高い職業的熟達度（最低C1）。正確な技術的説明や評価基準を作成できる能力。
- 申請する技術領域における3年以上の専門的、学術的、研究的、または業界的な経験。
- 明確に定義された技術分野または専門分野における高度な専門性の実証。
- 多段階の推論、分野の専門知識、または専門的判断を必要とする難易度の高い技術問題を作成できる能力。
- 必須の推論、正しい方法論、許容される代替案、部分点基準、致命的な誤りを定義する詳細な評価ルーブリックを設計する高い能力。
- 正しい最終回答と、有効な推論に支えられた回答か欠陥のある推論に支えられた回答かを区別できる能力。
- 他の専門家のルーブリックについて、曖昧さ、不足している基準、冗長性、技術的不正確さ、不適切な採点設計をレビューし批評することに抵抗がないこと。
- 数式、前提、単位、方法論、エッジケース、論理的一貫性、技術用語を評価する際の高い細部への注意力。
- 試験問題作成、学術採点、ピアレビュー、研究レビュー、技術QA、標準策定、または評価設計の経験を強く優先。
- AI評価、RLHF、SFT、ベンチマーキング、データアノテーション、プロンプト設計、またはLLM評価の経験を優先。
- 信頼性が高く、自立的で、時間給・リモートの契約ワークフローにおいて一貫した品質を提供できること。