Auditor de tareas de SWE-Bench

$70–$90/hora USDMercorUbicación del puesto: Remote — United StatesRemotoSolo residentes de Estados Unidos

Esta oferta se ha traducido automáticamente. La plataforma original gestiona las solicitudes; revisa sus requisitos originales antes de postularte. Ver página original

De un vistazo

Evalúas tareas de benchmark de ingeniería de software usadas para el entrenamiento y la evaluación de modelos de un laboratorio de IA, auditando tareas a nivel de repositorio, parches de referencia, arneses de test e integridad de la calificación, con retroalimentación escrita basada en rúbrica. Requiere 3+ años de ingeniería de software profesional y experiencia real de contribución o mantenimiento en open source.

Resumen redactado por IA a partir de la oferta original.

Acerca del puesto

Evaluar la calidad, la corrección y la reproducibilidad de las tareas de benchmark de ingeniería de software utilizadas para entrenar y evaluar los modelos de un laboratorio de IA de frontera. Usted evaluará tareas a nivel de repositorio, parches de referencia, arneses de pruebas (test harnesses) y la integridad de la calificación — y proporcionará comentarios escritos claros basados en rúbricas.

Cualificaciones básicas

  • 3+ años de ingeniería de software profesional
  • Contribución real a código abierto o experiencia como mantenedor (PR fusionados, funciones de committer / mantenedor)
  • Gran capacidad para auditar parches de referencia, ejecutores de pruebas y aislamiento con Docker, y para detectar fugas de respuestas / manipulación de recompensas (reward hacking)
  • Fluidez en ecosistemas comunes (Python y al menos uno de Java / Go / TypeScript / C++)

Cualificaciones preferidas

  • Familiaridad con SWE-Bench (Verified) o benchmarks de repositorios similares
  • Historial como mantenedor en proyectos OSS importantes de Python (Django, Flask, scikit-learn, sympy, pytest, etc.)
  • Experiencia previa en revisión de código o calificación de tareas
Países de los candidatos
Solo residentes de Estados Unidos

La oferta exige que los candidatos residan en Estados Unidos. Revisa los requisitos adicionales en la oferta original.

Vacantes anunciadas
3
Modalidad de trabajo
Remoto
Ubicación anunciada del puesto
Remote — United States
Publicación original
2026-08-28
Última comprobación

Cómo se compara esta remuneración

Ingeniería de software: pago por hora típico en cada plataforma, noviembre de 2026.

Este puesto $70–$90/hora USDTípico en Mercor $85/hora USDTípico en todas las plataformas $63/hora USD

  • MercorEsta plataforma$85/hora USD37 puestosMitad central de los puestos: $65–$110/hora USD
  • micro1$80/hora USD40 puestosMitad central de los puestos: $65–$91/hora USD
  • Alignerr$63/hora USD132 puestosMitad central de los puestos: $60–$75/hora USD
  • Meridial$37/hora USD48 puestosMitad central de los puestos: $36–$37/hora USD
  • SME Careers$60/hora USD52 puestosMitad central de los puestos: $24–$70/hora USD
  • Handshake AI$78/hora USD12 puestosMitad central de los puestos: $73–$121/hora USD
  • Alpheva$205/hora USD7 puestosMitad central de los puestos: $189–$225/hora USD
  • Anyone AI$63/hora USD78 puestosMitad central de los puestos: $63–$63/hora USD

Basado en 407 puestos con pago por hora publicados en noviembre de 2026. No incluye tarifas por tarea ni por proyecto. Cada plataforma fija su propio pago.

Más empleos en esta especialidad →