この求人について
この時間給・リモートのコントラクター職では、Python（ML特化）品質保証リード（QAL）として、Python機械学習AIトレーニングプロジェクト全体の品質、一貫性、トレーナーのパフォーマンスを監督します。AIが生成したPythonコード、MLワークフロー、モデルの説明、トレーナー/QAの作業をレビューし、プロジェクトガイドラインに照らして出力品質を評価し、的確な文書フィードバックを提供し、コントリビューターが期待される品質基準に従うことを確保します。
コードの正確性、機械学習の方法論、統計的妥当性、再現性、モデル評価の品質、データリークのリスク、パッケージの使用、デバッグの正確性、可読性、保守性、フォーマット、指示への準拠、プロジェクト固有のルーブリックへの準拠について作業を評価します。この役割には、強力なPythonおよびMLの専門知識、英語のコミュニケーションスキル、卓越した細部への注意力、リモートの技術チーム全体で品質ワークフローを管理する能力が必要です。
この役割は、急成長中のAIデータサービス企業であり、SuperAnnotateの子会社であるSME Careersに属し、世界最大級のAI企業や基盤モデルラボの多くにトレーニングデータを提供しています。あなたのPython ML品質リーダーシップは、トレーニングデータが正確で、実行可能で、統計的に健全で、再現可能で、明確に説明され、クライアントの期待に沿っていることを確保するのに役立ちます。
選考プロセスは、AI面接、ドメイン固有のタスク、リクルーターとの面接で構成されます。
重要： この役割には当面のプロジェクトはありません。ただし、資格を満たしている場合、関連する機会が生じた際に最初に連絡する専門家の一人となります。これにより、当社の専門家ネットワークを通じて利用可能な将来のプロジェクトにもアクセスできるようになります。
業務内容
- 品質モニタリング：Python ML項目をスポットチェックし、品質問題を特定し、DMを通じてフィードバックを提供し、繰り返し発生する問題や重大な問題をエスカレーションします。
- コードとMLのレビュー：AIが生成したPythonコード、MLパイプライン、データ前処理ステップ、モデルトレーニングワークフロー、評価ロジック、デバッグ応答、説明を正確性と再現性について評価します。
- トレーナーとQAのコミュニケーション：Discordでコントリビューターにガイドラインの変更、ワークフローの更新、Python/ML固有のレビュー基準について最新情報を伝えます。
- 質問対応：Pythonの構文、パッケージの使用、データリーク、モデル検証、メトリクス、統計的仮定、再現性、ノートブック、ルーブリックの解釈に関する質問に回答します。
- トレーナー/QAのアクティベーション管理：非アクティブなコントリビューターにDMを送り、アクティベーションを促し、フォローアップを追跡し、可用性の問題をフラグします。
- ドキュメント作成：Python MLスタイルガイド、トラッカー、FAQ、例、ハニーポット、キャリブレーションタスク、オンボーディング資料を作成および維持します。
- オンボーディングとトレーニング：Python MLコントリビューター向けのオンボーディング/トレーニングコールを実施します。
- リスクレビュー：誤解を招く、過度に自信過剰な、統計的に無効な、再現不可能な、安全でない、または本番環境に対応していないPython MLの推奨事項をフラグします。
- プロセス改善：繰り返し発生する品質ギャップを特定し、スケーラブルなQAプロセスを構築します。
求める人物像
- コンピュータサイエンス、機械学習、データサイエンス、統計学、数学、工学、または密接に関連する定量的分野の学士号、修士号、または博士号。
- ガイドラインに従い、チームとコミュニケーションを取り、明確な技術的フィードバックを提供するための強力な英語力。
- Python開発、機械学習、データサイエンス、MLエンジニアリング、モデル評価、リサーチエンジニアリング、技術レビュー、またはML教育における3年以上の実務経験。
- データ構造、関数、クラス、イテレータ、内包表記、例外処理、仮想環境、パッケージ管理、テスト、デバッグなど、Pythonの基礎に関する強力な理解。
- 教師あり/教師なし学習、特徴量エンジニアリング、訓練/テスト分割、交差検証、モデル選択、データリーク、回帰、分類、クラスタリング、メトリクス、バイアス/分散、正則化、再現性など、MLのトピックに関する強力な理解。
- 詳細なルーブリックに照らしてMLコンテンツを評価し、欠陥のある方法論、誤ったメトリクス、データリーク、再現不可能なコード、無効な仮定、ハルシネーションされたAPI、誤解を招く結論、不完全な説明などの問題を特定する能力。
- NumPy、pandas、scikit-learn、PyTorch、TensorFlow/Keras、XGBoost/LightGBM、Jupyter、matplotlib、seaborn、MLflow、Hugging Face、SQL、GitHub、Docker、CI/CDに精通していることが望ましい。
- トレーナー、アノテーター、レビュアー、エンジニア、データサイエンティスト、ML研究者、コーディングメンター、またはQAのリモートチームを率いた、または支援した経験が強く望ましい。
- Discord、Google Sheets、Google Docs、トラッカー、ダッシュボード、GitHub、プロジェクト管理システムを使用した、動きの速いリモート環境での作業に抵抗がないこと。
- 非常に整理整頓されており、スタイルガイド、トラッカー、FAQ、オンボーディング資料、ハニーポット、キャリブレーションタスク、品質ドキュメントを維持できること。
- AIトレーニング、データアノテーション、LLM評価、コードQA、ML QA、またはルーブリックベースの技術レビューの経験は大きなプラス。