À propos du poste
Freelance · À distance · Amérique du Nord (uniquement)
À propos de Turing
Turing est l’une des principales entreprises d’infrastructure AGI au monde, qui travaille avec des laboratoires d’IA de pointe pour accélérer le développement de modèles grâce à des données d’entraînement de haute qualité, à des évaluations et à des talents en ingénierie.
Détails de la mission
-
Rémunération : $100-$150/heure ; veuillez indiquer vos prétentions de taux horaire précises
-
Disponibilité : 20-40 heures/semaine, avec au moins 6 heures de chevauchement avec l’heure du Pacifique par jour
-
Type : prestataire indépendant
-
Durée : environ 3 mois
-
Début : dès que possible
-
Lieu : Amérique du Nord (uniquement)
À propos du poste
Nous recherchons des ingénieurs logiciels expérimentés et opérationnels pour contribuer à l’évaluation et à l’amélioration de modèles d’IA de codage.
Plutôt que de développer principalement des applications de production, vous travaillerez avec des agents de codage sur des dépôts réels et évaluerez la qualité de leur travail. Vous examinerez le code généré et le comportement des agents, déterminerez si les solutions sont techniquement correctes, identifierez les modes de défaillance et créerez les signaux d’évaluation et les retours utilisés pour améliorer les performances du modèle.
Considérez l’agent de codage comme un autre ingénieur dont vous relisez le travail : comprend-il la tâche ? A-t-il choisi la bonne approche ? Le code obtenu est-il correct, robuste et maintenable ? Pouvez-vous expliquer précisément où il a réussi ou échoué ?
Vos missions
-
Concevoir, affiner et faire évoluer des grilles d’évaluation et des critères d’évaluation pour les données de préférence
-
Examiner et étiqueter des données avec un niveau d’exigence élevé, en repérant des problèmes subtils que d’autres pourraient négliger
-
Construire et maintenir les pipelines et l’infrastructure qui soutiennent les workflows de génération, de collecte et d’évaluation de données
-
Synthétiser les conclusions du travail sur les données en comptes rendus, points d’avancement et recommandations clairs pour l’équipe
-
Collaborer étroitement avec les chercheurs et les ingénieurs pour traduire le jugement qualitatif en processus évolutifs
Ce que nous recherchons
-
5+ ans d’expérience pratique en ingénierie logicielle
-
Excellente maîtrise de Python, de TypeScript/JavaScript, de Go ou d’un autre langage majeur de production
-
Expérience de travail sur des bases de code réelles et substantielles
-
Solides compétences en revue de code et bon jugement technique
-
Capacité à expliquer clairement pourquoi une implémentation est correcte, incorrecte ou pourrait être améliorée
-
Solides compétences de communication écrite
-
Expérience de l’utilisation de LLM modernes ou d’outils de codage par IA
Une expérience de l’évaluation de LLM, des agents de codage, du RLHF, des données de préférence, de la conception de grilles d’évaluation ou du post-training est un plus, mais n’est pas obligatoire.
Processus d’évaluation
-
Entretien avec une IA (~25 minutes)
-
Exercice pratique d’évaluation de code/d’IA (~30 minutes)
-
Entretien avec le responsable du recrutement (~20 minutes)
L’exercice pratique porte sur votre capacité à examiner et à évaluer du code généré par l’IA, et non sur la programmation compétitive ni sur des casse-tête algorithmiques.