Über die Stelle
Mercor sucht Software Engineers, die Evaluierungen entwickeln und verfeinern. Sie wandeln abgeschlossene Pull Requests in Engineering-Aufgaben um und nutzen unser internes Evaluierungs-Framework für mehrere führende Coding-Agenten (Frontier-Agenten), darunter Claude Code, Codex und weitere.
Wir arbeiten mit einem internen Forschungsteam zusammen und haben branchenführende Benchmarks entwickelt, um die Leistung führender Frontier Large Language Models zu vergleichen.
In dieser Rolle werden Sie Folgendes tun:
- Repositories mit ausreichend substanzieller Arbeit identifizieren, die anspruchsvolle Evaluierungen ermöglichen, und geeignete abgeschlossene PRs auswählen.
- Jedes Problem, die zugehörige Referenzlösung sowie die Architektur, die Tests und die Konventionen des Repositorys untersuchen.
- Aufgaben-Prompts schreiben und Evaluierungen mithilfe automatisierter Tests, Shell-Befehle und LLM-Bewertungs-Prompts erstellen.
- Evaluierungen anhand von Referenzlösungen und absichtlich fehlerhaften Implementierungen validieren. Fehlende Prüfungen, falsche Bewertungen und Kriterien finden, die die Art und Weise, wie ein Problem gelöst werden kann, unnötig einschränken.
- Evaluierungen wiederholt mit mehreren Modellen und Harnesses ausführen. Untersuchen, ob Fehlschläge auf die Lösung des Agenten, die Umgebung oder die Bewertung zurückgehen, und sicherstellen, dass die Aufgaben aussagekräftige Schwächen in der Leistung des Agenten aufzeigen.
- Evaluierungen durch wiederholtes Testen und Review verfeinern. Erkenntnisse und Bewertungsentscheidungen dokumentieren und Feedback einarbeiten.
Sie benötigen:
- Fundierte Programmiergrundlagen und praktische Erfahrung in der Arbeit mit umfangreichen und komplexen Codebasen. Zu den Sprachen, für die wir Evals erstellen, gehören TypeScript/JavaScript, Python, Java, Kotlin, Go, Ruby, PHP, C++ und Rust
- Die Fähigkeit, unbekannten Code zu verstehen, subtiles Verhalten zu untersuchen und zu beurteilen, ob verschiedene Implementierungen dasselbe Problem korrekt lösen.
- Erfahrung im Schreiben aussagekräftiger Tests, einschließlich Randfällen und Regressionsabdeckung.
- Sorgfalt und Geduld für wiederholte Untersuchungen und Verfeinerungen.
- Praktische Erfahrung im Einsatz von KI-Coding-Tools sowie das Urteilsvermögen, deren Ergebnisse zu überprüfen und Fehler zu erkennen.
- Sicherer Umgang mit Git, Test-Runnern und CI-Tooling.
- Klare und flüssige schriftliche und mündliche Kommunikation sowie die Fähigkeit, eine Aufgabe eigenständig zu verantworten und dabei Fragen zu stellen, wenn Anforderungen mehrdeutig sind.
Relevante Erfahrung kann aus Open-Source-, privaten oder Unternehmens-Repositories stammen. Vertrautheit mit einer bestimmten Sprache oder einem bestimmten Ökosystem ist hilfreich; die Fähigkeit, sich in das Repository einzuarbeiten und fundierte technische Entscheidungen zu treffen, ist wichtiger als dessen Popularität oder Ihre öffentliche Beitragshistorie.
Wir bieten ein Onboarding in das Evaluierungs-Framework sowie fortlaufendes Review-Feedback. Nach dem Onboarding wird von Ihnen erwartet, dass Sie Aufgabenauswahl, Entwicklung von Evaluierungen und Iteration ohne schrittweise Anleitung eigenverantwortlich übernehmen.