この求人について
この時間給・リモートのコントラクター職では、社会科学・教育品質保証リード(QAL)として、社会科学・教育・学習に焦点を当てたAIトレーニングプロジェクト全体にわたり、品質、一貫性、トレーナーのパフォーマンスを監督します。AIが生成した社会科学・教育コンテンツやトレーナー・QAの作業をレビューし、プロジェクトガイドラインに対する成果物品質を評価し、的確な書面フィードバックを提供し、すべての貢献者が期待される品質基準に従うことを確実にします。
作業内容は、概念的正確性、リサーチリテラシー、教育的適切性、社会的文脈、方法論の品質、倫理的意識、バイアスへの感受性、明瞭さ、フォーマット、指示への準拠、プロジェクト固有のルーブリックへの適合について評価します。繰り返し発生する品質問題を特定し、トレーナーやQAに更新情報を伝え、オンボーディングを支援し、ドキュメントを維持し、安定的に作業していない貢献者の稼働化を支援します。この役割には、社会科学および/または教育学における強い専門性、優れた英語コミュニケーション能力、細部への卓越した注意力、構造化されたコミュニケーション、リモートの専門家チーム全体で品質ワークフローを管理する能力が求められます。
この役割はSME Careersに所属します。SME Careersは急成長中のAIデータサービス企業であり、SuperAnnotateの子会社で、世界最大級のAI企業や基盤モデルラボにトレーニングデータを提供しています。あなたの社会科学・教育における品質リーダーシップは、社会科学・教育のトレーニングデータが正確で、ニュアンスに富み、研究に基づき、倫理的に配慮され、クライアントの期待に沿うことを確実にすることで、世界を代表するAIモデルの改善に直接貢献します。
職務内容
- 品質モニタリング:社会科学・教育項目を抜き取り検査し、品質問題を特定し、DMを通じて継続的なフィードバックを提供し、繰り返し発生する問題や重大な問題をエスカレーションします。
- 社会科学・教育レビュー:AIが生成した説明、レッスンコンテンツ、社会科学の要約、研究方法論コンテンツ、教育活動、評価項目、学習ガイダンス、社会的推論について、正確性とニュアンスを評価します。
- トレーナー・QAとのコミュニケーション:新しい項目ガイドライン、プロジェクトの変更、ワークフローの更新、品質への期待、社会科学・教育固有のレビュー基準について、DiscordでトレーナーやQAに更新情報を伝えます。
- 質問対応:トレーナー・QAからの質問に明確かつ迅速に回答します。特に教育概念、学習目標、研究方法、社会的文脈、バイアス、学生への適切性、ルーブリックの解釈に関する質問に対応します。
- トレーナー・QAの稼働化管理:非アクティブまたは作業していない貢献者にDMを送り、稼働化を促し、フォローアップを追跡し、必要に応じて稼働可能性の問題を報告します。
- ドキュメント管理:スタイルガイド、トラッカー、FAQ、品質ノート、例、ハニーポット、キャリブレーションタスク、オンボーディング資料など、社会科学・教育プロジェクトのドキュメントを作成・維持します。
- オンボーディングとトレーニング:トレーナーやQAとのオンボーディング/トレーニングコールを設定・実施し、プロジェクトの期待事項、ワークフロー、ルーブリック、品質基準、社会科学・教育固有の要件を説明します。
- 品質の整合:すべてのトレーナーとQAが社会科学・教育のレビューガイドラインを一貫して適用し、プロジェクトの進展に伴う更新を理解することを確実にします。
- バイアス・倫理レビュー:ステレオタイプ化、スティグマ化する表現、集団に関する根拠のない主張、弱い因果推論、不十分な教育的足場づくり、倫理的に問題のあるコンテンツを報告します。
- プロセス改善:繰り返し発生する品質ギャップを特定し、ワークフローの改善を提案し、社会科学・教育AIトレーニングプロジェクト向けのスケーラブルなQAプロセスの構築を支援します。
求める人物像
- 教育学、社会学、心理学、人類学、政治学、ソーシャルワーク、公共政策、教育心理学、カリキュラム研究、または関連分野における学士、修士、博士、教員免許、または同等の専門経験。
- プロジェクトガイドラインに従い、チームとコミュニケーションを取り、明確な書面フィードバックを提供するための強い英語力。
- 教育、カリキュラム開発、社会科学研究、教育コンテンツレビュー、インストラクショナルデザイン、学術執筆、社会政策、学生評価、または関連するレビューワークフローにおける3年以上の経験。
- 社会科学の概念、教育理論、教授法、学習成果、評価設計、研究方法、倫理、バイアス、文化、社会制度、不平等、証拠に基づく推論についての深い理解。
- 詳細なルーブリックに照らして社会科学・教育コンテンツを評価し、根拠のない一般化、ステレオタイプ化、弱い因果的主張、不十分なインストラクショナルデザイン、偏ったフレーミング、欠陥のある方法論、年齢に不適切な教育コンテンツなどの問題を特定する能力。
- 教室学習、評価、授業計画、社会調査、質的/量的手法、教育の公平性、子どもの発達、学習科学、カリキュラム基準などの領域への習熟が望ましい。
- 教育者、研究者、カリキュラム作成者、レビュアー、アノテーター、トレーナー、QAからなるリモートチームを率いた、または支援した経験が強く望ましい。
- Discord、Googleスプレッドシート、Googleドキュメント、トラッカー、ダッシュボード、プロジェクト管理システムなどのツールを使用し、動きの速いリモート環境で働くことに抵抗がない。
- 細部への注意力と組織力が非常に高く、スタイルガイド、FAQ、トラッカー、オンボーディング資料、ハニーポット、キャリブレーションタスク、ドキュメントを維持する能力。
- AIトレーニング、データアノテーション、LLM評価、社会科学QA、教育QA、カリキュラムレビュー、ルーブリックベースのレビューに関する経験は大きなプラス。