Ingénieur logiciel – Évaluation de code par l’IA et benchmarking (candidats des États-Unis uniquement)

À propos de Turing

Turing est l’une des entreprises d’IA à la croissance la plus rapide au monde, qui accélère le progrès et le déploiement de systèmes d’IA puissants. Turing aide les principaux laboratoires d’IA à améliorer les capacités de raisonnement, de résolution de problèmes et de prise de décision des grands modèles de langage (LLM) grâce à des retours humains, des évaluations et des données d’entraînement de haute qualité.

Présentation du poste

Nous recherchons des ingénieurs logiciels expérimentés pour contribuer à l’évaluation, au benchmarking et à l’amélioration des capacités de programmation des modèles d’IA de pointe. Dans ce rôle, vous évaluerez du code généré par l’IA, validerez des solutions au regard de tâches concrètes d’ingénierie logicielle, identifierez les problèmes d’exactitude et de qualité, et contribuerez à l’élaboration de jeux de données d’évaluation et de benchmarks de haute qualité.

Ce poste convient parfaitement aux ingénieurs qui apprécient la revue de code, le débogage, la résolution de problèmes et l’exercice d’un solide jugement d’ingénierie logicielle face à des scénarios techniques complexes. Votre travail contribuera directement à mesurer et à améliorer les performances de systèmes avancés de programmation par IA.

À quoi ressemble le quotidien ?

• Examiner et évaluer le code généré par l’IA quant à son exactitude, son efficacité, sa maintenabilité et sa conformité aux exigences.
• Analyser des tâches d’ingénierie logicielle et vérifier si les solutions proposées atteignent les résultats attendus.
• Déboguer du code, reproduire des problèmes et vérifier les correctifs dans différents environnements de programmation.
• Évaluer l’exactitude technique des explications, des raisonnements et des approches d’implémentation générés par le modèle.
• Créer, affiner et maintenir des jeux de données d’évaluation, des benchmarks et des grilles de notation pour des tâches de programmation.
• Identifier les cas limites, les modes de défaillance et les domaines dans lesquels les systèmes d’IA peinent face à des problèmes d’ingénierie logicielle.
• Documenter clairement les constats et fournir un feedback structuré afin d’améliorer la qualité et la cohérence des évaluations.
• Collaborer avec les équipes projet pour établir des normes de qualité et des méthodologies d’évaluation.

Exigences

• Licence ou Master en informatique, en génie logiciel ou dans un domaine technique connexe.
• 3+ ans d’expérience professionnelle en ingénierie logicielle.
• Excellente maîtrise d’un ou de plusieurs des langages suivants : Python, Java, C/C++, Go, Swift, Objective-C, PHP ou SQL.
• Solide compréhension des structures de données, des algorithmes, des principes de conception logicielle et des méthodologies de débogage.
• Expérience de la réalisation de revues de code et de l’évaluation de la qualité du code dans des bases de code de production ou à grande échelle.
• Capacité à analyser des problèmes techniques complexes et à évaluer l’exactitude des solutions avec un minimum de supervision.
• Familiarité avec les systèmes de gestion de versions (par ex. Git) et les workflows modernes de développement logiciel.
• Solides compétences de communication écrite et souci du détail.
• Une expérience de l’annotation de données IA/ML, du NLP, de l’ingénierie de prompts, de l’évaluation de modèles ou de projets liés aux LLM est un atout.
• Une expérience de l’évaluation de code généré par l’IA, de la création de benchmarks ou de l’évaluation de la qualité logicielle est fortement souhaitée.

Avantages du travail en freelance avec Turing

• Travail dans un environnement entièrement à distance.
• Possibilité de travailler sur des projets d’IA de pointe avec des entreprises leaders dans le domaine des LLM.

Détails de l’offre

• Engagement requis : au moins 4 heures par jour et un minimum de 20 heures par semaine, avec un chevauchement de 4 heures avec le fuseau PST.
• Type de collaboration : mission en tant que prestataire indépendant (sans couverture médicale ni congés payés)
• Durée du contrat : 1 mois ; [date de début prévue : la semaine prochaine]
• Localisation : États-Unis uniquement

Processus d’évaluation

• Défi de code automatisé en ligne pour un test Python et Docker (RHLF)