À propos du poste
Intitulé du poste : Ingénieur logiciel senior – Évaluation de LLM et validation de dépôts
À propos des projets : nous construisons des jeux de données d’évaluation et d’entraînement de LLM afin d’entraîner les LLM à traiter des problèmes réalistes d’ingénierie logicielle. L’une de nos approches, dans ce projet, consiste à construire des tâches SWE vérifiables à partir de l’historique de dépôts publics, selon une approche synthétique avec intervention humaine (human-in-the-loop) ; tout en élargissant la couverture du jeu de données à différents types de tâches en termes de langage de programmation, de niveau de difficulté, etc.
À propos du poste : nous recherchons des ingénieurs logiciels expérimentés (niveau tech lead) qui connaissent bien les dépôts GitHub publics de haute qualité et peuvent contribuer à ce projet. Ce poste implique un travail d’ingénierie logicielle concret, notamment l’automatisation des environnements de développement, le tri des tickets (issues) et l’évaluation de la couverture et de la qualité des tests
Pourquoi nous rejoindre ? Turing est l’une des entreprises d’IA à la croissance la plus rapide au monde, qui accélère le développement et le déploiement de systèmes d’IA puissants. Vous serez à l’avant-garde de l’évaluation de la manière dont les LLM interagissent avec du code réel, en influençant l’avenir du développement logiciel assisté par l’IA. C’est une occasion unique d’allier ingénierie logicielle pratique et recherche en IA.
À quoi ressemble le quotidien :
- Analyser et trier les issues GitHub de bibliothèques open source populaires.
- Mettre en place et configurer des dépôts de code, y compris la dockerisation et la configuration de l’environnement.
- Évaluer la couverture et la qualité des tests unitaires.
- Modifier et exécuter des bases de code en local pour évaluer les performances des LLM dans des scénarios de correction de bugs.
- Collaborer avec des chercheurs pour concevoir et identifier des dépôts et des issues qui constituent un défi pour les LLM.
- Possibilité d’encadrer une équipe d’ingénieurs juniors afin de collaborer sur des projets.
Compétences requises :
- Au minimum 3 ans d’expérience globale ou plus
- Solide expérience d’au moins l’un des langages suivants : Rust
- Maîtrise de Git, de Docker et de la mise en place de pipelines logiciels de base.
- Capacité à comprendre et à parcourir des bases de code complexes.
- À l’aise pour exécuter, modifier et tester localement des projets réels.
- Une expérience de contribution à des projets open source ou d’évaluation de tels projets est un plus.
Atouts :
- Participation antérieure à des projets de recherche ou d’évaluation de LLM.
- Expérience de la création ou du test d’outils pour développeurs ou d’agents d’automatisation.
Avantages du freelancing avec Turing :
- Travail dans un environnement entièrement à distance.
- Possibilité de travailler sur des projets d’IA de pointe avec des entreprises de LLM de premier plan.
Détails de l’offre :
- Engagement requis : au moins 4 heures par jour et au minimum 20 heures par semaine, avec 4 heures de chevauchement avec le fuseau PST. (Nous proposons 3 options d’engagement horaire : 20 h/semaine, 30 h/semaine ou 40 h/semaine)
- Type de contrat : mission en tant que contractuel indépendant (sans couverture santé ni congés payés)
- Durée du contrat : 3 mois ; [date de début prévue la semaine prochaine]
- Lieu : Inde, Pakistan, Nigeria, Kenya, Égypte, Ghana, Bangladesh, Turquie, Mexique
Processus d’évaluation (environ 75 min) :
- Deux tours d’entretiens (60 min technique + 30 min discussion technique et culturelle)