Acerca del puesto
Evaluador de calidad – Inglés
Ayuda a moldear el futuro de la IA evaluando y comparando respuestas de modelos de IA avanzados.
- Ubicación: Remoto
- Tipo: Contratista independiente / Tiempo parcial
- Compromiso: hasta 3 meses
- Compensación: $7-$12/hora
Sobre el puesto
En Anyone AI, creamos datos de entrenamiento y evaluación de alta calidad para modelos de IA de vanguardia.
Buscamos expertos con fluidez en inglés, sólidas habilidades de escritura, pensamiento crítico y amplia experiencia práctica en el uso de modelos de lenguaje grandes (LLM).
En este puesto, interactuarás directamente con modelos de IA y compararás sus respuestas en paralelo para determinar cuál satisface mejor las necesidades del usuario. Tus evaluaciones y explicaciones escritas ayudarán a mejorar la precisión, la utilidad y la fiabilidad de los sistemas de IA.
Qué harás
- Interactuar con distintos modelos y herramientas de IA en una amplia variedad de prompts y temas.
- Comparar dos o más respuestas generadas por IA en paralelo.
- Evaluar la precisión, la utilidad, el seguimiento de instrucciones, la claridad y la calidad general de las respuestas.
- Seguir guías de calificación detalladas y flujos de trabajo de evaluación de varios pasos.
- Escribir explicaciones claras y bien razonadas que respalden tus decisiones de evaluación.
- Aplicar los criterios de evaluación de forma consistente en todas las tareas.
Qué buscamos
- Fluidez en inglés, con sólida comprensión lectora y habilidades de escritura.
- Amplia experiencia práctica en el uso de LLM y en la evaluación crítica de sus resultados.
- Sólido juicio analítico y capacidad para sopesar múltiples dimensiones de la calidad de las respuestas.
- Excelente atención al detalle y capacidad para seguir instrucciones complejas con cuidado.
- Capacidad para explicar las decisiones de evaluación de forma clara y convincente.
- Comodidad para alternar entre modelos de IA, herramientas y flujos de trabajo de varios pasos.
Deseable
- Experiencia previa en evaluación de respuestas de IA, anotación de datos o aseguramiento de la calidad.
- Experiencia en edición, investigación, verificación de hechos o redacción analítica.
- Familiaridad con rúbricas de evaluación y tareas de comparación en paralelo.