Ingénieur appliqué, rôle Évaluations

Mercor recherche des ingénieurs logiciel pour concevoir et affiner des évaluations. Vous transformerez des pull requests terminées en tâches d'ingénierie et utiliserez notre framework d'évaluation interne sur plusieurs agents de codage de pointe, dont Claude Code, Codex et d'autres.

Nous travaillons aux côtés d'une équipe de recherche interne et avons produit des benchmarks de référence du secteur pour comparer les performances des grands modèles de langage de pointe.

Dans ce rôle, vous allez :

• Identifier les dépôts comportant suffisamment de travail substantiel pour soutenir des évaluations exigeantes, et sélectionner des PR terminées appropriées.

• Étudier chaque problème, sa solution de référence, ainsi que l'architecture, les tests et les conventions du dépôt.

• Rédiger des prompts de tâches et concevoir des évaluations à l'aide de tests automatisés, de commandes shell et de prompts de notation par LLM.

• Valider les évaluations par rapport aux solutions de référence et à des implémentations volontairement défectueuses. Repérer les vérifications manquantes, les notes incorrectes et les critères qui limitent inutilement la manière dont un problème peut être résolu.

• Exécuter les évaluations à plusieurs reprises sur plusieurs modèles et harnesses. Déterminer si les échecs proviennent de la solution de l'agent, de l'environnement ou de la notation, et établir que les tâches mettent en évidence des faiblesses significatives dans les performances de l'agent.

• Affiner les évaluations par des tests et des revues répétés. Documenter les constats et les décisions de notation, et traiter les retours.

Vous aurez besoin de :

• De solides bases en programmation et une expérience pratique du travail sur des bases de code volumineuses et complexes. Les langages pour lesquels nous créons des évaluations comprennent TypeScript/JavaScript, Python, Java, Kotlin, Go, Ruby, PHP, C++ et Rust

• La capacité à comprendre du code inconnu, à analyser des comportements subtils et à déterminer si différentes implémentations résolvent correctement le même problème.

• Une expérience de l'écriture de tests pertinents, y compris les cas limites et la couverture de non-régression.

• Le sens du détail et la patience nécessaire pour des investigations et des affinements répétés.

• Une expérience pratique des outils de codage par IA, avec le discernement nécessaire pour vérifier leurs résultats et repérer les erreurs.

• Une aisance avec Git, les exécuteurs de tests et les outils de CI.

• Une communication écrite et orale claire et fluide, avec la capacité de prendre en charge une tâche de manière autonome tout en posant des questions lorsque les exigences sont ambiguës.

Une expérience pertinente peut provenir de dépôts open source, privés ou d'entreprise. La familiarité avec un langage ou un écosystème particulier est utile ; la capacité à s'approprier le dépôt et à porter des jugements d'ingénierie solides compte davantage que sa popularité ou votre historique de contributions publiques.

Nous assurons l'intégration au framework d'évaluation ainsi que des retours de revue continus. Après l'intégration, vous devrez prendre en charge la sélection des tâches, le développement des évaluations et les itérations sans directives pas à pas.