この求人について
この時間単位のリモートコントラクター職では、データサイエンティスト品質保証リード（QAL）として、データサイエンスAIトレーニングプロジェクト全体の品質、一貫性、トレーナーのパフォーマンスを監督します。AIが生成したデータサイエンスコンテンツやトレーナー/QAの作業をレビューし、プロジェクトガイドラインに対する成果物品質を評価し、正確な書面フィードバックを提供し、貢献者が期待される品質基準に従っていることを確認します。
統計的正確性、データ推論、モデル選択の品質、コードの正確性、再現性、指標の解釈、ビジネス文脈への配慮、明確さ、フォーマット、指示への準拠、プロジェクト固有のルーブリックへの適合性について作業を評価します。繰り返し発生する品質問題を特定し、トレーナーやQAに更新を伝え、オンボーディングを支援し、ドキュメントを維持し、一貫して作業していない貢献者のアクティベーションを支援します。
この役割は、急成長中のAIデータサービス企業であり、SuperAnnotateの子会社であるSME Careersに所属し、世界最大級のAI企業や基盤モデル研究所にトレーニングデータを提供しています。あなたのデータサイエンス品質リーダーシップは、トレーニングデータが分析的に健全で、再現可能で、明確に説明され、クライアントの期待に沿っていることを確保するのに役立ちます。
選考プロセスには、AI面接、ドメイン固有のタスク、リクルーターとの面接が含まれます。
重要： この役割には即時のプロジェクトはありませんが、資格を満たしている場合、関連する機会が生じた際に最初に連絡する専門家の一人となります。これにより、専門家ネットワークを通じて利用可能な将来のプロジェクトへのアクセスも提供されます。
業務内容
- 品質モニタリング：データサイエンス項目をスポットチェックし、品質問題を特定し、DMを通じてフィードバックを提供し、繰り返し発生する問題や重大な問題をエスカレーションします。
- 技術レビュー：AIが生成したデータサイエンスの説明、Python/R/SQLスニペット、モデリングワークフロー、統計的解釈、ダッシュボード、実験設計、ステップバイステップの推論を評価します。
- トレーナーおよびQAとのコミュニケーション：Discordでトレーナー/QAにガイドラインの変更、ワークフローの更新、データサイエンス固有の品質期待について伝えます。
- 質問対応：統計的仮定、指標、モデル選択、データリーケージ、検証、コーディングの選択、再現性、ルーブリックの解釈に関する質問に回答します。
- トレーナー/QAアクティベーション管理：非アクティブな貢献者にDMを送り、アクティベーションを促し、フォローアップを追跡し、可用性の問題をフラグします。
- ドキュメント作成：データサイエンスのスタイルガイド、トラッカー、FAQ、例、ハニーポット、キャリブレーションタスク、オンボーディング資料を作成および維持します。
- オンボーディングとトレーニング：貢献者とのオンボーディング/トレーニングコールをスケジュールし実施して、プロジェクトの期待、ワークフロー、ルーブリック、データサイエンスレビュー基準を説明します。
- リスクレビュー：誤解を招く、過度に自信過剰な、統計的に無効な、または再現不可能なデータサイエンスの成果物をフラグします。
- プロセス改善：繰り返し発生する品質ギャップを特定し、スケーラブルなQAプロセスの構築を支援します。
求める人物像
- データサイエンス、統計学、計算機科学、機械学習、数学、経済学、工学、または密接に関連する定量分野の学士号、修士号、または博士号。
- ガイドラインを理解し、チームとコミュニケーションを取り、明確な技術的フィードバックを提供するための強い英語力。
- データサイエンス、分析、機械学習、統計モデリング、実験、データエンジニアリング、技術レビュー、またはデータサイエンス教育における3年以上の実務経験。
- 統計学、確率、データクリーニング、探索的データ分析、特徴量エンジニアリング、教師あり/教師なし学習、モデル評価、実験、回帰、分類、クラスタリング、検証手法に関する強い理解。
- 詳細なルーブリックに対してデータサイエンスコンテンツを評価し、データリーケージ、欠陥のある仮定、不正確な指標、弱い方法論、再現不可能なコード、ハルシネーションされたライブラリ/API、誤解を招く結論などの問題を特定する能力。
- Python、pandas、NumPy、scikit-learn、SQL、Jupyter、matplotlib、R、Spark、Git、MLflow、ノートブック、ダッシュボード、クラウド/データプラットフォームなどのツールへの習熟が望ましい。
- トレーナー、アノテーター、アナリスト、データサイエンティスト、エンジニア、教育者、またはQAのリモートチームをリードまたはサポートした経験が強く望ましい。
- Discord、Googleスプレッドシート、Googleドキュメント、トラッカー、ダッシュボード、GitHub、プロジェクト管理システムの使用に慣れていること。
- 高い組織力があり、スタイルガイド、トラッカー、FAQ、オンボーディング資料、ハニーポット、キャリブレーションタスク、品質ドキュメントを維持できること。
- AIトレーニング、データアノテーション、LLM評価、データサイエンスQA、またはルーブリックベースの技術レビューの経験は大きなプラス。