Über die Stelle
Evaluieren Sie die Qualität, Korrektheit und Reproduzierbarkeit von Benchmark-Aufgaben im Software Engineering, die zum Training und zur Evaluierung der Modelle eines Frontier-KI-Labors verwendet werden. Sie beurteilen Aufgaben auf Repository-Ebene, Referenz-Patches, Test-Harnesses und die Integrität der Bewertung — und geben klares, rubrikbasiertes schriftliches Feedback.
Grundlegende Qualifikationen
- 3+ Jahre professionelles Software Engineering
- Echte Open-Source-Beiträge oder Maintainer-Erfahrung (gemergte PRs, Committer-/Maintainer-Rollen)
- Ausgeprägte Fähigkeit, Referenz-Patches, Test-Runner und Docker-Isolation zu auditieren und Antwort-Leakage / Reward Hacking zu erkennen
- Sicherer Umgang mit gängigen Ökosystemen (Python und mindestens eines von Java / Go / TypeScript / C++)
Bevorzugte Qualifikationen
- Vertrautheit mit SWE-Bench (Verified) oder ähnlichen Repository-Benchmarks
- Maintainer-Historie bei großen Python-OSS-Projekten (Django, Flask, scikit-learn, sympy, pytest usw.)
- Frühere Erfahrung im Code-Review oder in der Aufgabenbewertung