Acerca del puesto
Descripción general del proyecto
Estamos buscando Especialistas independientes en Evaluaciones de Audio para un proyecto de evaluación de referencia de IA que evalúa modelos avanzados de audio agénticos. A medida que los modelos de IA manejan cada vez más flujos de trabajo complejos en este ámbito —específicamente escenarios reales de atención al cliente como reservas de vuelos, servicios financieros y telecomunicaciones—, su precisión depende completamente de datos de entrenamiento sólidos y elaborados por expertos. El objetivo de este proyecto es producir de forma autónoma tareas de evaluación de alta calidad mediante interacciones simuladas, auditar las salidas de IA conversacional y generar conjuntos de datos limpios y fiables para optimizar el rendimiento de los modelos.
Entregables y alcance del proyecto
Operar de forma autónoma para diseñar marcos de evaluación complejos y proporcionar datos de entrenamiento estructurados. Los entregables esperados incluyen:
- Ejecución de escenarios de juego de rol: Crear y ejecutar escenarios de evaluación complejos basados en juego de rol que simulen interacciones realistas de servicio al cliente en los ámbitos de viajes, finanzas y soporte técnico.
- Auditoría del rendimiento del modelo: Evaluar el rendimiento de los modelos de IA según métricas cualitativas y cuantitativas estandarizadas, centrándose estrictamente en la precisión de finalización de tareas, la naturalidad conversacional y la comprensión de audio.
- Evaluación de métricas técnicas: Evaluar la alfabetización básica en programación informática del modelo, incluida su comprensión de estructuras JSON, funciones, métodos y su capacidad para razonar sobre datos estructurados dentro de un contexto de soporte.
- Generación de conjuntos de datos representativos: Contribuir al desarrollo de conjuntos de datos de audio diversos y de alta calidad que reflejen con precisión las expectativas reales de los clientes en cuanto a claridad, eficiencia y flujo conversacional natural.
Experiencia requerida
Para cumplir con éxito los entregables de este proyecto, los contratistas deben poseer un profundo conocimiento del sector para elaborar escenarios profesionales realistas. El conjunto de habilidades principales incluye:
- Experiencia profesional demostrable en soporte al cliente complejo, resolución de problemas técnicos o evaluación de IA conversacional.
- Dominio nativo o bilingüe del idioma objetivo, incluida fluidez en todas las habilidades lingüísticas (lectura, escucha, escritura y expresión oral), junto con sólidas habilidades analíticas y de comunicación verbal para realizar con confianza juegos de rol simulados de soporte al cliente.
- Alfabetización básica en programación informática, específicamente una comprensión cómoda de estructuras JSON, funciones, métodos y lógica simple.
- Un enfoque meticuloso y orientado al detalle al trabajar con prompts estructurados, rúbricas de evaluación complejas y directrices técnicas.
- Equipo requerido: Acceso a un micrófono de alta calidad para garantizar una entrada de audio limpia y fiable durante las evaluaciones de voz.
Ofrecemos un rango de pago de $6 a $65 por hora, con la tarifa exacta determinada tras evaluar su experiencia, conocimientos y ubicación geográfica. Los importes finales de la oferta pueden variar respecto al rango de pago indicado anteriormente. Como contratista, deberá disponer de un ordenador seguro e internet de alta velocidad; los beneficios patrocinados por la empresa, como el seguro médico y las vacaciones remuneradas, no se aplican.
Tipo de contratación: Freelance / Contratista independiente
Tipo de puesto: Remoto