医療専門家 – ルーブリック設計

この時間給・リモートのコントラクター職では、医療分野の主題専門家（SME）として、専門家レベルの難易度の高い医療問題を作成し、AIが生成した臨床コンテンツを評価し、正確で完全かつ専門的に適切な回答が満たすべき内容を定義する高品質なルーブリックを設計していただきます。

臨床または専門分野の知見を活かし、最先端のAIモデルが不完全、不正確、論理が不十分、過度に自信過剰、または臨床的に不十分な回答を提示する可能性がある領域を特定していただきます。ご自身の分野における専門的な問題を作成し、詳細な採点基準を策定し、他の医療専門家が作成したルーブリックを批評し、的確な文章によるフィードバックを提供していただきます。

この役割の主な焦点は、ルーブリック設計と専門家による評価です。不可欠な臨床概念、推論のステップ、関連する注意事項、許容される代替アプローチ、重大な欠落、および表面的な回答と専門家レベルの回答を分ける重大な誤りを定義していただきます。

この役割は、急成長中のAIデータサービス企業でありSuperAnnotateの子会社であるSME Careersでのものです。同社は世界最大級のAI企業や基盤モデル研究所の多くにトレーニングデータを提供しています。あなたの医療分野の専門知識は、世界有数のAIモデルの回答をより正確で、臨床的に適切で、厳密かつ信頼性の高いものにすることで、それらの改善に直接貢献します。

業務内容

• 専門家レベルの医療問題を作成する：高度なAIシステムの限界を明らかにできる専門的な問題を開発します。
• 詳細なルーブリックを設計する：正確で完全かつ臨床的に適切な回答に必要な構成要素を定義します。
• 重要な評価基準を特定する：不可欠な臨床推論と補足情報を区別します。
• AIの回答を評価する：モデルの出力を事実の正確性、推論、安全性、完全性、専門的品質の観点から評価します。
• 微妙な失敗を特定する：見落とされた考慮事項、裏付けのない仮定、不適切な確信、臨床的に重要な欠落を検出します。
• 同僚のルーブリックを批評する：曖昧さ、冗長性、誤った期待、不足している基準、不適切な採点設計を特定します。
• 模範解答を作成する：専門家による例、説明、批評、ゴールドスタンダードのコンテンツを作成します。
• AIトレーニングを支援する：RLおよびSFTワークフロー向けに、問題、ルーブリック、評価、批評、模範解答のペアを生成します。
• 臨床品質を維持する：コンテンツが適切な用語、専門的な推論、エビデンスを踏まえた判断を反映していることを確認します。

求める人物像

• 医学、歯学、薬学、看護学、その他の医療分野における専門学位、免許、資格、または公認の認定資格。
• 英語における高度な専門的熟達度、最低C1。
• 3年以上の専門的または臨床的経験。シニアおよびスペシャリストレベルの専門家を強く優遇します。
• 明確に定義された専門分野またはサブスペシャリティにおける実証された専門知識。
• 真の専門知識と微妙な判断を要する、難易度の高い臨床的または専門的な問題を開発する能力。
• 必要な事実、推論のステップ、注意事項、許容される代替案、重大な臨床的誤りを定義する詳細な評価ルーブリックを作成する高い能力。
• 軽微な欠落と、臨床品質や安全性に実質的な影響を与える誤りを区別する能力。
• 他の医療専門家が作成したルーブリックをレビューし批評することに抵抗がないこと。
• AIの出力を正確性、完全性、推論の質、安全性、キャリブレーション、臨床的関連性の観点から評価する能力。
• 医学教育、試験問題作成、コンピテンシー評価、診療ガイドライン、教育、ピアレビュー、品質保証の経験を強く優遇します。
• AI評価、RLHF、SFT、データアノテーション、モデルベンチマーク、ルーブリックベースの採点の経験があると望ましいです。
• 信頼でき、自律的に行動でき、一貫した文章を作成できる方。