Développeur Python senior

À propos de Turing :

Turing est l’une des entreprises d’IA à la croissance la plus rapide au monde, qui accélère le développement et le déploiement de systèmes d’IA puissants.

Turing aide ses clients de deux manières : en travaillant avec les principaux laboratoires d’IA du monde pour faire progresser les capacités des modèles de pointe en matière de réflexion, de raisonnement, de codage, de comportement agentique, de multimodalité, de multilinguisme, de STEM et de connaissances de pointe ; et en exploitant ce travail pour concevoir des systèmes d’IA concrets qui répondent aux priorités critiques des entreprises.

Présentation du poste :

Ce poste s’inscrit dans un projet mené avec l’une des entreprises de LLM de référence. L’objectif est d’aider ces entreprises de LLM de référence à améliorer leurs grands modèles de langage.

L’une des façons dont nous aidons ces entreprises à améliorer leurs modèles consiste à leur fournir des données propriétaires de haute qualité. Ces données servent deux objectifs principaux : d’une part, de base pour le fine-tuning de leurs modèles et, d’autre part, de jeu d’évaluation pour comparer les performances de leurs modèles ou de ceux de la concurrence.

Par exemple, pour la génération de données SFT, vous pourrez avoir à constituer ou à recevoir un prompt contenant du code et des questions fournis ; vous fournirez ensuite les réponses du modèle et écrirez le code Python correspondant pour résoudre les questions.

Pour la génération de données RLHF, vous pourrez avoir à créer vous-même un prompt ou à utiliser celui fourni par le client, à poser des questions au modèle et à évaluer les sorties générées par deux versions du LLM. Vous comparerez ces sorties et fournirez des retours, qui serviront ensuite à affiner les modèles. Veuillez noter que ce poste n’implique pas de construire ni d’affiner des LLM.

À quoi ressemble le quotidien :

• Concevoir, développer et maintenir un code Python efficace et de haute qualité pour entraîner et optimiser des modèles d’IA.
• Mener des évaluations (Evals) pour comparer les performances des modèles et analyser les résultats en vue d’une amélioration continue.
• Connaissance des frameworks et bibliothèques Python
• Évaluer et classer les réponses de modèles d’IA à des requêtes d’utilisateurs dans des domaines variés, en veillant à leur conformité à des critères prédéfinis.
• Rédiger des explications et des justifications complètes pour les évaluations, en démontrant un excellent raisonnement et une expertise technique.
• Piloter les travaux de fine-tuning supervisé (SFT), y compris la création et la maintenance de jeux de données de haute qualité propres à chaque tâche.
• Collaborer avec les chercheurs et les annotateurs pour mettre en œuvre l’apprentissage par renforcement à partir de retours humains (RLHF) et affiner les modèles de récompense.
• Concevoir des stratégies et des processus d’évaluation innovants pour améliorer l’alignement du modèle sur les besoins des utilisateurs et les lignes directrices éthiques.
• Créer et affiner des réponses optimales pour améliorer les performances de l’IA, en privilégiant la clarté, la pertinence et l’exactitude technique.
• Réaliser des revues par les pairs approfondies du code et de la documentation, en fournissant des retours constructifs et en identifiant les axes d’amélioration.
• Collaborer avec des équipes transverses pour améliorer les performances des modèles et contribuer à l’amélioration des produits.
• Explorer et intégrer en continu de nouveaux outils, techniques et méthodologies pour améliorer les processus d’entraînement de l’IA.

Exigences :

• 3 ans ou plus de solide expérience du langage de programmation Python.
• Expérience en entreprise et connaissance de la qualité du code, de sa mise en forme et des bonnes pratiques de développement logiciel
• Expérience de l’écosystème de tests de Python, y compris les tests unitaires, d’intégration et basés sur les propriétés.
• Connaissance du multithreading et de la programmation asynchrone en Python.
• Capacité à travailler avec des patrons d’architecture et à refactoriser du code sans introduire de régressions.
• Solides compétences en débogage, y compris la correction de problèmes de mémoire et de concurrence.
• Maîtrise de l’anglais, à l’oral comme à l’écrit

Avantages du freelancing avec Turing :

• Travail dans un environnement entièrement à distance.
• Possibilité de travailler sur des projets d’IA de pointe avec des entreprises de LLM de premier plan.

Détails de l’offre :

• Engagement requis : au moins 4 heures par jour et au minimum 20 heures par semaine, avec 4 heures de chevauchement avec le fuseau PST. (Nous proposons 3 options d’engagement horaire : 20 h/semaine, 30 h/semaine ou 40 h/semaine)
• Type de contrat : mission en tant que contractuel indépendant (sans couverture santé ni congés payés)
• Durée du contrat : 1 mois ; [date de début prévue la semaine prochaine]

Processus d’évaluation (environ 75 min) :

• Deux tours d’entretiens (60 min technique + 15 min culturel et discussion de l’offre)