À propos du poste
Évaluez la qualité, la justesse et la reproductibilité de tâches de benchmark en génie logiciel utilisées pour entraîner et évaluer les modèles d'un laboratoire d'IA de pointe. Vous évaluerez des tâches au niveau du dépôt, des correctifs de référence, des harnais de test et l'intégrité de la notation — et fournirez des retours écrits clairs, fondés sur une grille d'évaluation.
Qualifications de base
- Au moins 3 ans d'ingénierie logicielle professionnelle
- Contribution réelle à l'open source ou expérience de mainteneur (PR fusionnées, rôles de committer / mainteneur)
- Forte capacité à auditer des correctifs de référence, des exécuteurs de tests et l'isolation Docker, et à détecter les fuites de réponses / le détournement de récompense (reward hacking)
- Aisance dans les écosystèmes courants (Python et au moins l'un de Java / Go / TypeScript / C++)
Qualifications souhaitées
- Connaissance de SWE-Bench (Verified) ou de benchmarks de dépôts similaires
- Parcours de mainteneur sur de grands projets OSS Python (Django, Flask, scikit-learn, sympy, pytest, etc.)
- Expérience préalable de la relecture de code ou de la notation de tâches