レッドチーミング品質保証リード（QAL）

この時間給・リモートのコントラクター職では、レッドチーミング品質保証リード（QAL）として、AIレッドチーミングおよび安全性評価プロジェクト全体にわたり、品質、一貫性、トレーナーのパフォーマンスを監督します。AIが生成した安全性評価、敵対的プロンプト、リスク分析、トレーナー/QAの作業をレビューし、プロジェクトガイドラインに対する成果物品質を評価し、的確な書面フィードバックを提供し、すべての貢献者が期待される品質基準に従うことを確保します。

リスク識別、敵対的推論、ポリシー認識、安全性タクソノミーの整合性、プロンプト品質、シナリオの現実性、脆弱性のカバレッジ、明瞭性、フォーマット、指示遵守、プロジェクト固有のルーブリックへの準拠について作業を評価します。繰り返し発生する品質問題を特定し、トレーナーやQAに更新を伝え、オンボーディングを支援し、ドキュメントを維持し、一貫して作業していない貢献者の稼働を促します。この役割には、AI安全性/レッドチーミングに関する強い判断力、強い英語コミュニケーション能力、卓越した細部への注意力、構造化されたコミュニケーション、およびリモートの専門家チーム全体で品質ワークフローを管理する能力が必要です。

この役割は、急成長中のAIデータサービス企業でありSuperAnnotateの子会社であるSME Careersに所属します。同社は世界最大級のAI企業や基盤モデルラボの多くにトレーニングデータを提供しています。あなたのレッドチーミング品質に関するリーダーシップは、安全性トレーニングデータが現実的で、ニュアンスに富み、ポリシーに整合し、十分に文書化され、モデルの脆弱性を特定するのに有用であることを確保することで、世界最高水準のAIモデルの改善に直接貢献します。

選考プロセスは、AI面接、ドメイン固有のタスク、リクルーターとの面接で構成されます。

重要： この役割には現時点で具体的なプロジェクトはありません。ただし、資格を満たしている場合、関連する機会が生じた際に当社が最初に連絡する専門家の一人となります。これにより、専門家ネットワークを通じて利用可能な将来のプロジェクトにもアクセスできるようになります。

業務内容

• 品質モニタリング：レッドチーミング項目を抜き取り検査し、品質問題を特定し、DMを通じて継続的なフィードバックを提供し、繰り返し発生する問題や重大な問題をエスカレーションします。
• 安全性およびレッドチームレビュー：敵対的プロンプト、モデル応答、リスク分類、安全性分析、ポリシー説明、脆弱性レポートを正確性、現実性、有用性の観点から評価します。
• トレーナーおよびQAとのコミュニケーション：Discord上でトレーナーやQAに対し、新しい項目ガイドライン、プロジェクトの変更、ワークフローの更新、品質への期待、レッドチーミング固有のレビュー基準について更新情報を伝えます。
• 質問対応：トレーナー/QAからの質問に明確かつ迅速に回答します。特にリスクカテゴリ、敵対的戦略、ポリシーの境界、エッジケース、重大度、ルーブリックの解釈に関する質問に対応します。
• トレーナー/QAの稼働管理：非アクティブまたは作業していない貢献者にDMを送り、稼働を促し、フォローアップを追跡し、必要に応じて稼働可能性の問題を報告します。
• ドキュメント作成：スタイルガイド、トラッカー、FAQ、品質ノート、例、ハニーポット、キャリブレーションタスク、オンボーディング資料を含むレッドチーミングプロジェクトのドキュメントを作成・維持します。
• オンボーディングとトレーニング：トレーナーやQAとのオンボーディング/トレーニングコールを設定・実施し、プロジェクトの期待事項、ワークフロー、ルーブリック、品質基準、レッドチーミング固有のレビュー要件を説明します。
• 品質の整合：すべてのトレーナーとQAがレッドチーミングおよび安全性レビューのガイドラインを一貫して適用し、プロジェクトの進展に伴う更新を理解することを確保します。
• リスクレビュー：安全でない、低品質、非現実的、ポリシーに不整合、または文書化が不十分なレッドチーム項目を報告します。
• プロセス改善：繰り返し発生する品質ギャップを特定し、ワークフロー改善を提案し、AIレッドチーミングプロジェクト向けのスケーラブルなQAプロセスの構築を支援します。

求める人物像

• コンピュータサイエンス、サイバーセキュリティ、AI安全性、トラスト＆セーフティ、公共政策、心理学、言語学、法律、安全保障研究、リスク分析、または関連分野における学士号、修士号、または実務経験。
• プロジェクトガイドラインを理解し、チームとコミュニケーションを取り、明確な書面フィードバックを提供するための強い英語力。
• AI安全性、レッドチーミング、サイバーセキュリティ、トラスト＆セーフティ、コンテンツポリシー、リスク分析、敵対的テスト、モデル評価、コンテンツモデレーション、または関連ワークフローにおける3年以上の経験。
• AIリスクカテゴリ、敵対的プロンプティング、ジェイルブレイクパターン、有害コンテンツのタクソノミー、悪用シナリオ、ポリシー解釈、モデル行動、安全性評価の原則に関する強い理解。
• 詳細なルーブリックに対してレッドチーミングコンテンツを評価し、弱い敵対的設計、非現実的なシナリオ、不適切なリスク分類、ポリシーの誤解釈、安全でない出力、表面的な脆弱性テストといった問題を特定する能力。
• プロンプトインジェクション、ソーシャルエンジニアリング、サイバーセキュリティの悪用、詐欺、自傷の安全性、過激派コンテンツ、誤情報、プライバシーリスク、違法行為、バイアス、モデルの拒否行動といった領域への知見が望ましい。
• レッドチーマー、レビュアー、ポリシーアナリスト、アノテーター、研究者、QAのリモートチームを率いた、または支援した経験が強く望ましい。
• Discord、Google Sheets、Google Docs、トラッカー、ダッシュボード、プロジェクト管理システムなどのツールを使用し、動きの速いリモート環境で快適に働けること。
• 細部への注意力と組織力が非常に高く、スタイルガイド、FAQ、トラッカー、オンボーディング資料、キャリブレーションタスク、ドキュメントを維持する能力。
• AIトレーニング、LLM評価、安全性評価、コンテンツモデレーションQA、ポリシーQA、またはルーブリックベースのレビュー経験は大きなプラス。