この求人について
視覚と言語の両方にわたり、ディープラーニングモデルをエンドツーエンドで学習・改善した実務経験を持つ、経験豊富な機械学習研究者を探しています。範囲が適切に定められた、実証的でオープンエンドな機械学習研究課題に取り組んでいただきます。
業務内容
- 画像分類モデルと画像生成モデルをゼロから学習し、オープンウェイトの言語モデルをファインチューニングする。
- 限られたデータ、計算資源、モデルサイズの予算から、最大限の成果を引き出す。
- 敵対的な入力に対しても、敵対的な会話に対しても、モデルを頑健にする。
- 精度を犠牲にすることなく、厳しいサイズおよびレイテンシの制約を満たすようにモデルを圧縮する。
- 学習上の問題を診断し、解決する。
応募要件
以下の分野の1つ以上において、高い専門性を持つ候補者を探しています。
敵対的ロバスト性
次の経験:
- 画像分類モデルの敵対的学習(例:PGDベースの学習、TRADES)。
- 標準的な脅威モデル(例:L∞攻撃、AutoAttack)の下でのロバスト精度の評価、および勾配マスキングの落とし穴の回避。
- ロバスト性と精度のトレードオフ、およびロバストオーバーフィッティングの管理。
効率的なコンピュータビジョン
次の経験:
- 画像分類モデルのエンドツーエンドでの学習。特にきめ細かな認識(視覚的に似たクラスが多数あり、クラスあたりのサンプルが少ない)。
- モデル圧縮:量子化、枝刈り、大規模な教師モデルから小規模な生徒モデルへの知識蒸留。
- 厳しいサイズまたはレイテンシの予算の下でのモデルのデプロイ(オンデバイス、エッジ、組み込み環境)。
生成画像モデリング
次の経験:
- 画像生成モデルのゼロからの学習:拡散モデル、GAN、VAE、またはフローベースのモデル。
- FIDなどのサンプル品質指標を指標とした反復的な改善。
- 優れた生成モデルを、少ないパラメータ数で素早く得るための学習効率化の工夫。
LLMのポストトレーニングと行動面のロバスト性
次のうち1つ以上の実務経験:
- オープンウェイトの言語モデルの教師ありファインチューニングと選好最適化(DPO、RLHF、RLAIF)。合成データ生成、ノイズありまたは弱い教師、棄却サンプリングによる独自データセットの構築を含む。
- 複数ターンにわたる会話上の振る舞いの形成:説得や迎合への耐性、較正された確信度、訂正を受け入れるべきタイミングの見極め。
- 一般的な能力を維持しつつ特定の振る舞いを変える、アラインメント系のファインチューニング。
多言語の事前学習
次の経験:
- 多言語モデルまたは低リソース言語のモデルのゼロからの学習。
- 複数の文字体系や類型的に多様な言語にまたがるトークナイザの設計。
- データが制約された状況での、言語ごとに大きく偏ったデータのバランス調整(サンプリング温度、言語間転移)。
その他の関心分野
以下のいずれかの経験があれば歓迎します。
- スケーリング則と学習効率の研究。
- カリキュラム学習とデータの順序付け。
- モデル評価:ベンチマークの構築、汚染の管理、統計的に妥当な比較。
- 不確実性の推定とモデルの較正。
- ロバスト性のためのデータ拡張と合成データ。
一般的な応募資格
- 機械学習研究の経験が3年以上(博士課程での研究もこの要件に含まれます)。
- PyTorch、JAX、TensorFlow、または同様のMLフレームワークの豊富な経験。
- トップ100の大学の学位、FAANGまたは同等のAI企業での経験、もしくは論文発表やインパクトのあるオープンソースへの貢献を通じた同等の研究実績。
参画のメリット
- 最先端の機械学習研究に携わる。
- 挑戦的でインパクトの大きいプロジェクトで、第一線のAI研究者と協力する。
- 競争力のある報酬で、柔軟なプロジェクトベースの働き方。