Acerca del puesto
¿Eres un experto en QA de IA con ganas de dar forma al futuro de la IA? Los modelos de lenguaje a gran escala están evolucionando de chatbots ingeniosos a plataformas de nivel empresarial. Con datos de evaluación rigurosos, la IA del mañana podrá democratizar una educación de primer nivel, mantenerse al día con la investigación de vanguardia y optimizar los flujos de trabajo de equipos en todo el mundo. Esa calidad comienza contigo: necesitamos tu experiencia para reforzar el razonamiento y la fiabilidad de los modelos.
Buscamos entrenadores de QA de IA que vivan y respiren la evaluación de modelos, la seguridad de LLM, la robustez de prompts, el aseguramiento de la calidad de datos, las pruebas multilingües y específicas de dominio, la verificación de fundamentación y las comprobaciones de cumplimiento/preparación. Pondrás a prueba modelos de lenguaje avanzados en tareas como detección de alucinaciones, consistencia fáctica, resistencia a la inyección de prompts y a los jailbreaks, auditorías de sesgo/equidad, fiabilidad de la cadena de razonamiento, corrección del uso de herramientas, fidelidad de la recuperación aumentada y validación de flujos de trabajo de extremo a extremo, documentando cada modo de fallo para que podamos elevar el listón.
En un día típico, conversarás con el modelo sobre escenarios del mundo real y prompts de evaluación, verificarás la exactitud fáctica y la solidez lógica, diseñarás y ejecutarás planes de prueba y suites de regresión, crearás rúbricas claras y criterios de aprobado/reprobado, capturarás trazas de error reproducibles con hipótesis de causa raíz y sugerirás mejoras en la ingeniería de prompts, las barreras de protección y las métricas de evaluación (por ejemplo, precisión/recall, fidelidad, toxicidad y SLOs de latencia). También colaborarás en red-teaming adversarial, automatización (Python/SQL) y paneles de control para seguir los deltas de calidad a lo largo del tiempo.
Lo ideal es un título de grado, máster o doctorado en informática, ciencia de datos, lingüística computacional, estadística o un campo relacionado; haber entregado QA para sistemas de ML/IA, experiencia en seguridad/red-team, frameworks de automatización de pruebas (por ejemplo, PyTest) y trabajo práctico con herramientas de evaluación de LLM (por ejemplo, OpenAI Evals, evaluadores de RAG, W&B) indican idoneidad. Las habilidades que destacan incluyen: diseño de rúbricas de evaluación, pruebas adversariales/red-teaming, pruebas de regresión a escala, auditoría de sesgo/equidad, verificación de fundamentación, ingeniería de prompts y de prompts de sistema, automatización de pruebas (Python/SQL) y reporte de bugs de alta señal. Es esencial una comunicación clara y metacognitiva—"mostrar tu trabajo".
¿Listo para convertir tu experiencia en QA en la columna vertebral de calidad de la IA del mañana? Solicita hoy y empieza a enseñar al modelo que enseñará al mundo.
Ofrecemos un rango de pago de $6 a $65 por hora, con la tarifa exacta determinada tras evaluar tu experiencia, conocimientos y ubicación geográfica. Los importes finales de la oferta pueden variar respecto al rango de pago indicado anteriormente. Como contratista, deberás disponer de un ordenador seguro e internet de alta velocidad; los beneficios patrocinados por la empresa, como el seguro de salud y las vacaciones pagadas (PTO), no aplican.
Tipo de empleo: Contrato Tipo de lugar de trabajo: Remoto Nivel de seniority: Nivel intermedio-senior