Over de functie
Evalueer de kwaliteit, juistheid en reproduceerbaarheid van benchmarktaken voor software-engineering die worden gebruikt om de modellen van een frontier-AI-lab te trainen en te evalueren. U beoordeelt taken op repositoryniveau, referentiepatches, testharnassen en integriteit van de beoordeling — en geeft duidelijke, op rubrics gebaseerde schriftelijke feedback.
Basiskwalificaties
- 3+ jaar professionele software-engineering
- Echte open-sourcebijdragen of ervaring als maintainer (gemergede PR's, rollen als committer / maintainer)
- Sterk vermogen om referentiepatches, testrunners en Docker-isolatie te auditen en antwoordlekken / reward hacking op te sporen
- Vlotte beheersing van gangbare ecosystemen (Python en ten minste een van Java / Go / TypeScript / C++)
Gewenste kwalificaties
- Vertrouwdheid met SWE-Bench (Verified) of vergelijkbare repositorybenchmarks
- Staat van dienst als maintainer van grote Python-OSS-projecten (Django, Flask, scikit-learn, sympy, pytest, enz.)
- Eerdere ervaring met codereview of het beoordelen van taken