Auditor di task SWE-Bench

$70–$90/ora USDMercorSede del lavoro: Remote — Stati UnitiDa remotoSolo residenti negli Stati Uniti

Questo annuncio è stato tradotto automaticamente. La piattaforma originale gestisce le candidature; verifica i requisiti originali prima di candidarti. Visualizza pagina originale

In breve

Valuti task di benchmark di ingegneria del software usati per l'addestramento e la valutazione dei modelli di un laboratorio di IA frontier, verificando task a livello di repository, patch di riferimento, test harness e integrità della valutazione, con feedback scritto basato su rubric. Servono 3+ anni di ingegneria del software professionale e reale esperienza di contributo o maintainer open source.

Riassunto scritto dall’IA a partire dall’annuncio originale.

Informazioni sul ruolo

Valuterà la qualità, la correttezza e la riproducibilità dei task di benchmark di ingegneria del software utilizzati per addestrare e valutare i modelli di un laboratorio di IA di frontiera. Esaminerà task a livello di repository, patch di riferimento, harness di test e integrità della valutazione — e fornirà un riscontro scritto chiaro, basato su rubriche.

Qualifiche di base

  • Almeno 3 anni di ingegneria del software professionale
  • Contributi open source reali o esperienza come maintainer (PR integrate, ruoli di committer / maintainer)
  • Solida capacità di verificare patch di riferimento, test runner e isolamento Docker, e di individuare fughe di risposte (answer leakage) / reward hacking
  • Padronanza degli ecosistemi più diffusi (Python e almeno uno tra Java / Go / TypeScript / C++)

Qualifiche preferenziali

  • Familiarità con SWE-Bench (Verified) o benchmark simili a livello di repository
  • Esperienza pregressa come maintainer di importanti progetti OSS Python (Django, Flask, scikit-learn, sympy, pytest, ecc.)
  • Precedente esperienza di code review o di valutazione di task
Paesi dei candidati
Solo residenti negli Stati Uniti

L’annuncio richiede la residenza negli Stati Uniti. Verifica eventuali altri requisiti nell’annuncio originale.

Posti disponibili dichiarati
3
Modalità di lavoro
Da remoto
Sede di lavoro indicata
Remote — Stati Uniti
Pubblicazione originale
2026-08-28
Ultimo controllo

Come si colloca questo compenso

Ingegneria del software: compenso orario tipico su ogni piattaforma, novembre 2026.

Questo ruolo $70–$90/ora USDTipico su Mercor $85/ora USDTipico su tutte le piattaforme $63/ora USD

  • MercorQuesta piattaforma$85/ora USD37 ruoliMetà centrale dei ruoli: $65–$110/ora USD
  • micro1$80/ora USD40 ruoliMetà centrale dei ruoli: $65–$91/ora USD
  • Alignerr$63/ora USD132 ruoliMetà centrale dei ruoli: $60–$75/ora USD
  • Meridial$37/ora USD48 ruoliMetà centrale dei ruoli: $36–$37/ora USD
  • SME Careers$60/ora USD52 ruoliMetà centrale dei ruoli: $24–$70/ora USD
  • Handshake AI$78/ora USD12 ruoliMetà centrale dei ruoli: $73–$121/ora USD
  • Alpheva$205/ora USD7 ruoliMetà centrale dei ruoli: $189–$225/ora USD
  • Anyone AI$63/ora USD78 ruoliMetà centrale dei ruoli: $63–$63/ora USD

Basato su 407 ruoli pagati a ore pubblicati a novembre 2026. Le tariffe a task e a progetto non sono incluse. Ogni piattaforma stabilisce il proprio compenso.

Altre offerte in questa specializzazione →