À propos du poste
Nous recherchons des chercheurs en apprentissage automatique expérimentés, ayant une expérience concrète de l'entraînement et de l'amélioration de bout en bout de modèles d'apprentissage profond, en vision comme en langage. Vous travaillerez sur des problèmes de recherche empiriques en apprentissage automatique, ouverts mais bien délimités.
Responsabilités
- Entraîner de zéro des classifieurs d'images et des modèles génératifs d'images, et affiner des modèles de langage à poids ouverts.
- Tirer le meilleur parti de budgets limités en données, en calcul et en taille de modèle.
- Rendre les modèles robustes, à la fois face aux entrées adversariales et aux conversations adversariales.
- Compresser les modèles pour respecter des contraintes strictes de taille et de latence sans sacrifier la précision.
- Diagnostiquer et résoudre les problèmes d'entraînement.
Exigences
Nous recherchons des candidats possédant une solide expertise dans un ou plusieurs des domaines suivants :
Robustesse adversariale
Expérience de :
- L'entraînement adversarial de classifieurs d'images (p. ex. entraînement basé sur PGD, TRADES).
- L'évaluation de la précision robuste selon des modèles de menace standards (p. ex. attaques L∞, AutoAttack) en évitant les pièges du masquage de gradient.
- La gestion du compromis robustesse–précision et du surapprentissage robuste.
Vision par ordinateur efficace
Expérience de :
- L'entraînement de bout en bout de classifieurs d'images, en particulier pour la reconnaissance fine (nombreuses classes visuellement similaires, peu d'exemples par classe).
- La compression de modèles : quantification, élagage et distillation de connaissances de grands modèles enseignants vers de petits modèles élèves.
- Le déploiement de modèles sous des budgets stricts de taille ou de latence (sur appareil, en périphérie ou en environnement embarqué).
Modélisation générative d'images
Expérience de :
- L'entraînement de zéro de modèles génératifs d'images : modèles de diffusion, GAN, VAE ou modèles à flux.
- L'itération à partir de métriques de qualité d'échantillons telles que le FID.
- Les astuces d'efficacité d'entraînement qui produisent rapidement de bons générateurs avec un faible nombre de paramètres.
Post-entraînement des LLM et robustesse comportementale
Expérience concrète d'un ou plusieurs des éléments suivants :
- Affinage supervisé et optimisation des préférences (DPO, RLHF, RLAIF) de modèles de langage à poids ouverts, y compris la constitution de vos propres jeux de données par génération synthétique, supervision bruitée ou faible, et échantillonnage par rejet.
- Façonner le comportement conversationnel sur plusieurs tours : résistance à la persuasion et à la complaisance, confiance calibrée, et capacité à savoir quand accepter des corrections.
- Affinage de type alignement qui modifie un comportement précis tout en préservant la capacité générale.
Pré-entraînement multilingue
Expérience de :
- L'entraînement de zéro de modèles multilingues ou de langues peu dotées en ressources.
- La conception de tokeniseurs pour des écritures et des langues typologiquement diverses.
- L'équilibrage de données très inégales selon les langues (températures d'échantillonnage, transfert translingue) dans des régimes où les données sont limitées.
Autres domaines d'intérêt
Une expérience dans l'un des domaines suivants est un atout :
- Lois d'échelle et recherche sur l'efficacité de l'entraînement.
- Apprentissage par curriculum et ordonnancement des données.
- Évaluation de modèles : construction de benchmarks, contrôle de la contamination, comparaisons statistiquement rigoureuses.
- Estimation de l'incertitude et calibration des modèles.
- Augmentation de données et données synthétiques pour la robustesse.
Qualifications générales
- 3 ans ou plus d'expérience en recherche en apprentissage automatique (la recherche doctorale est prise en compte pour cette exigence).
- Solide expérience de PyTorch, JAX, TensorFlow ou de frameworks d'apprentissage automatique similaires.
- Diplôme d'une université figurant parmi les 100 meilleures, expérience dans une entreprise FAANG ou une entreprise d'IA comparable, ou parcours de recherche équivalent attesté par des publications ou des contributions open source marquantes.
Pourquoi nous rejoindre
- Travailler sur de la recherche de pointe en apprentissage automatique.
- Collaborer avec des chercheurs en IA de premier plan sur des projets exigeants et à fort impact.
- Travail flexible, par projet, avec une rémunération compétitive.