mercor · Ingegneria del software

Auditor di task SWE-Bench

Mercor

$70–$90/oraSede del lavoro: Remote — Stati UnitiDa remotoSolo residenti negli Stati Uniti

Questo annuncio è stato tradotto automaticamente. La piattaforma originale gestisce le candidature; verifica i requisiti originali prima di candidarti. Visualizza pagina originale

Informazioni sul ruolo

Valuterà la qualità, la correttezza e la riproducibilità dei task di benchmark di ingegneria del software utilizzati per addestrare e valutare i modelli di un laboratorio di IA di frontiera. Esaminerà task a livello di repository, patch di riferimento, harness di test e integrità della valutazione — e fornirà un riscontro scritto chiaro, basato su rubriche.

Qualifiche di base

  • Almeno 3 anni di ingegneria del software professionale
  • Contributi open source reali o esperienza come maintainer (PR integrate, ruoli di committer / maintainer)
  • Solida capacità di verificare patch di riferimento, test runner e isolamento Docker, e di individuare fughe di risposte (answer leakage) / reward hacking
  • Padronanza degli ecosistemi più diffusi (Python e almeno uno tra Java / Go / TypeScript / C++)

Qualifiche preferenziali

  • Familiarità con SWE-Bench (Verified) o benchmark simili a livello di repository
  • Esperienza pregressa come maintainer di importanti progetti OSS Python (Django, Flask, scikit-learn, sympy, pytest, ecc.)
  • Precedente esperienza di code review o di valutazione di task
Altre offerte in questa specializzazione →