Acerca del puesto
Evaluador de calidad – Inglés
Ayuda a moldear el futuro de la IA evaluando y comparando respuestas de modelos avanzados de IA.
- Ubicación: Remoto
- Tipo: Contratista independiente / Medio tiempo
- Compromiso: hasta 3 meses
- Compensación: $7-$12/hora
Sobre el puesto
En Anyone AI, creamos datos de entrenamiento y evaluación de alta calidad para modelos de IA de vanguardia.
Buscamos expertos con fluidez en inglés, sólidas habilidades de redacción, pensamiento crítico y amplia experiencia práctica en el uso de modelos de lenguaje grandes (LLM).
En este puesto, interactuarás directamente con modelos de IA y compararás sus respuestas en paralelo para determinar cuál satisface mejor las necesidades del usuario. Tus evaluaciones y explicaciones escritas ayudarán a mejorar la precisión, utilidad y fiabilidad de los sistemas de IA.
Qué harás
- Interactuar con diferentes modelos y herramientas de IA en una amplia variedad de indicaciones y temas.
- Comparar en paralelo dos o más respuestas generadas por IA.
- Evaluar la precisión, utilidad, seguimiento de instrucciones, claridad y calidad general de las respuestas.
- Seguir guías de calificación detalladas y flujos de trabajo de evaluación de varios pasos.
- Redactar explicaciones claras y bien razonadas que respalden tus decisiones de evaluación.
- Aplicar los criterios de evaluación de manera consistente en todas las tareas.
Qué buscamos
- Fluidez en inglés, con sólida comprensión lectora y habilidades de redacción.
- Amplia experiencia práctica en el uso de LLM y en la evaluación crítica de sus resultados.
- Sólido criterio analítico y capacidad para ponderar múltiples dimensiones de la calidad de las respuestas.
- Excelente atención al detalle y capacidad para seguir instrucciones complejas con cuidado.
- Capacidad para explicar las decisiones de evaluación de forma clara y convincente.
- Comodidad para alternar entre modelos de IA, herramientas y flujos de trabajo de varios pasos.
Deseable
- Experiencia previa en evaluación de respuestas de IA, anotación de datos o aseguramiento de la calidad.
- Experiencia en edición, investigación, verificación de hechos o redacción analítica.
- Familiaridad con rúbricas de evaluación y tareas de comparación en paralelo.