Évaluateur de modèles – IA/ML

À propos de Turing Turing est l’une des entreprises d’IA à la croissance la plus rapide au monde, accélérant l’avancement et le déploiement de systèmes d’IA puissants. Vous serez à la pointe de l’évaluation de la façon dont les LLM interagissent avec du code réel, influençant l’avenir du développement logiciel assisté par IA. C’est une occasion unique de combiner ingénierie logicielle pratique et recherche en IA.

À propos du poste :

Nous recherchons des ingénieurs logiciels expérimentés pour soutenir une initiative de formation et d’évaluation d’IA de pointe visant à améliorer les capacités de codage des agents d’IA. Dans ce rôle, vous examinerez et comparerez des solutions de codage générées par IA sur des tâches réelles d’ingénierie logicielle. Vous analyserez des flux d’exécution complets d’agents, évaluerez l’exactitude, l’efficacité, la sécurité et la qualité globale du code, et fournirez des notations structurées et des retours fondés sur des preuves pour aider à améliorer le développement logiciel assisté par IA.

À quoi ressemble le quotidien :

• Vous examinerez trois agents de codage IA auxquels on a donné la même demande réelle d’un développeur.
• Vous lirez l’exécution complète de chaque agent : les commandes qu’il a exécutées, les fichiers qu’il a modifiés, ce qu’il a vérifié et son message final.
• Ensuite, vous jugerez quelle exécution a le mieux fait le travail.

Pour chaque tâche, vous

• Notez chaque exécution sur 10 domaines de qualité, tels que le respect des instructions, le fonctionnement du code, l’efficacité, la sécurité, l’honnêteté et la communication.
• Attribuez à chaque exécution une note globale de 1 à 5 et classez les trois.
• Rédigez une courte justification expliquant votre classement, avec des preuves tirées des exécutions.

Compétences requises :

• Au moins 3+ années d’expérience globale
• Solide expérience avec au moins l’un des langages suivants : Python, JavaScript/TypeScript, Java, Go, PHP ou similaire.
• Maîtrise des commandes Shell, de Git, de Docker et de la configuration de base d’un pipeline logiciel.
• À l’aise pour exécuter, modifier et tester des projets réels localement.

Processus d’évaluation et de sélection

• Les candidats doivent réaliser trois tâches d’évaluation pratiques dans le cadre du processus de sélection.
• Chaque évaluation exige des notations de qualité, des scores globaux, des classements comparatifs et des justifications écrites.
• Un évaluateur examinera chaque tâche pour en vérifier l’exactitude technique, la cohérence et la qualité du raisonnement.
• Les candidats ne seront intégrés qu’après l’approbation des trois tâches pratiques.

IMPORTANT — POLITIQUE STRICTE D’INTERDICTION DE L’IA

• N’UTILISEZ PAS CHATGPT NI AUCUN AUTRE OUTIL D’IA POUR RÉDIGER VOS JUSTIFICATIONS, EXPLICATIONS OU RAISONS D’ÉVALUATION.
• TOUTES LES JUSTIFICATIONS ET TOUS LES RAISONNEMENTS DOIVENT ÊTRE RÉDIGÉS INDÉPENDAMMENT PAR LE CANDIDAT.
• LA CONFORMITÉ SERA VÉRIFIÉE. TOUT RECOURS À DES JUSTIFICATIONS OU RAISONS GÉNÉRÉES PAR IA ENTRAÎNERA UN REJET AUTOMATIQUE.

Avantages du freelancing avec Turing

• Travail dans un environnement entièrement à distance.
• Possibilité de travailler sur des projets d’IA de pointe avec les principales entreprises de LLM.

Détails de l’offre

• Engagements requis : au moins 8 heures par jour et 40 heures par semaine, avec un chevauchement de 4 heures avec PST.
• Type d’emploi : mission de sous-traitance (pas de couverture médicale/congés payés)
• Durée du contrat : 1 mois ; [la date de début prévue est la semaine prochaine]
• Modèle de rémunération : $25 par tâche approuvée
• Lieu : Inde, Pakistan, Nigeria, Kenya, Égypte, Ghana, Bangladesh, Turquie, Mexique, LA

Processus d’évaluation (environ 75 min) :

• Revue basée sur une évaluation