この求人について
Anyone AIは、AIモデルのトレーニングと評価で使用される機械学習チャレンジのレビューと評価に焦点を当てた専門プロジェクトのために、経験豊富な機械学習エンジニアを募集しています。
業務は、ML実験、データセット、指標、パイプラインを分析し、チャレンジが技術的に妥当で、再現可能で、適切な難易度であり、本当に強力な機械学習の推論を必要とするかどうかを判断することを含みます。
担当する業務
以下の要素を含むMLチャレンジをレビューします：
- 実験設計とモデル選択
- 小規模および合成データセット
- データ品質と前処理
- 分布シフトとデータ汚染
- ラベルノイズと特徴量リーケージ
- モデル評価と指標選択
- ハイパーパラメータチューニング
- トレイン / バリデーション / テストの方法論
- 再現性と決定論的パイプライン
- モデル改善の統計的有意性
この役割の重要な部分は、チャレンジが優れたML推論を実際に報いるのか、それとも単に総当たり的なモデル選択や大規模なハイパーパラメータ探索によって解けるだけなのかを判断することです。
求める人物像
- 実務応用機械学習の経験3年以上
- 以下の分野における強い経験：
- ML実験設計
- モデル選択
- ハイパーパラメータチューニング
- モデル評価
- データ前処理と検証
- トレイン、バリデーション、テスト分割に関する深い理解
- 以下を特定する能力：
- データリーケージ
- ラベルノイズ
- 分布シフト
- 偽の相関
- 特徴量リーケージ
- データ汚染
- 性能改善がランダムな変動ではなく統計的に意味があるかどうかを評価した経験
- ML評価指標と、さまざまな指標がいつ適切であるかに関する深い理解
- CPUおよびGPU環境全体でMLワークロードをデバッグした経験
- 技術的な問題を分析し、明確な書面フィードバックを提供する能力
歓迎するスキル
- Kaggle、DrivenData、または同様のMLコンペティションの作成または参加経験
- ベンチマークデータセットやMLチャレンジの設計経験
- データ中心型AIまたはデータセット品質のバックグラウンド
- 合成データの生成と検証の経験
- 統計的検定、信頼区間、効果量に関する知識
- ML評価パイプライン、RLHF、またはAIモデル評価の経験
- MLカリキュラムや技術評価の開発経験
- 以下のような一般的なMLの失敗モードの理解：
- ショートカット学習
- 偽の相関
- グッドハートの法則
- シンプソンのパラドックス
- 指標ゲーミング
担当する責任
- MLチャレンジをレビューし、適切に設計され、技術的に解決可能かどうかを判断する
- データセットに意味のある学習可能なシグナルが含まれているかを評価する
- 合成データセット内の意図しないショートカットやアーティファクトを特定する
- タスクが基礎となるML問題の真の診断を必要とするかどうかを判断する
- 評価指標と改善しきい値をレビューする
- 指標ゲーミング、データリーケージ、評価の欠陥を検出する
- 完全なデータ → モデル → 評価のパイプライン全体で再現性を検証する
- チャレンジの難易度が適切に調整されているかを評価する
- 問題のあるタスクの改善、再調整、または除外に関する明確な推奨事項を提供する
契約形態
勤務形態：リモート 契約：パートタイム、プロジェクトベースのコンサルティング フォーカス：応用機械学習、実験設計、データ品質、モデル評価
この役割は、実験のデバッグ、モデルが成功または失敗する理由の理解、データセットや評価パイプラインの問題の特定、厳密な機械学習実験の設計を楽しむMLエンジニアに最適です。