Acerca del puesto
Descripción General del Proyecto
Estamos buscando Especialistas independientes en Evaluación de Audio para un proyecto de evaluación de benchmarks de IA que evalúa modelos avanzados de audio agénticos. A medida que los modelos de IA manejan cada vez más flujos de trabajo complejos en este dominio—específicamente escenarios reales de atención al cliente como reservas de vuelos, servicios financieros y telecomunicaciones—su precisión depende enteramente de datos de entrenamiento robustos y elaborados por expertos. El objetivo de este proyecto es producir de forma autónoma tareas de evaluación de alta calidad mediante interacciones simuladas, auditar las salidas de IA conversacional y generar conjuntos de datos limpios y fiables para optimizar el rendimiento del modelo.
Entregables y Alcance del Proyecto
Operar de forma autónoma para diseñar marcos de evaluación complejos y proporcionar datos de entrenamiento estructurados. Los entregables esperados incluyen:
- Ejecución de escenarios de juego de rol: Crear y ejecutar escenarios de evaluación complejos basados en juego de rol que simulen interacciones realistas de servicio al cliente en los dominios de viajes, finanzas y soporte técnico.
- Auditoría del rendimiento del modelo: Evaluar el rendimiento de los modelos de IA según métricas cualitativas y cuantitativas estandarizadas, centrándose estrictamente en la precisión de finalización de tareas, la naturalidad conversacional y la comprensión de audio.
- Evaluación de métricas técnicas: Evaluar la alfabetización básica en programación informática del modelo, incluida su comprensión de estructuras JSON, funciones, métodos y su capacidad para razonar sobre datos estructurados dentro de un contexto de soporte.
- Generación de conjuntos de datos representativos: Contribuir al desarrollo de conjuntos de datos de audio diversos y de alta calidad que reflejen con precisión las expectativas reales de los clientes en cuanto a claridad, eficiencia y flujo conversacional natural.
Experiencia Requerida
Para cumplir con éxito los entregables de este proyecto, los Contratistas deben poseer un profundo conocimiento del sector para elaborar escenarios profesionales realistas. El conjunto de competencias principales incluye:
- Experiencia profesional demostrable en soporte al cliente complejo, resolución de problemas técnicos o evaluación de IA conversacional.
- Dominio nativo o bilingüe del idioma objetivo, incluida fluidez en todas las destrezas lingüísticas (lectura, escucha, escritura y habla), junto con sólidas habilidades analíticas y de comunicación verbal para realizar con confianza juegos de rol simulados de soporte al cliente.
- Alfabetización básica en programación informática, específicamente una comprensión cómoda de estructuras JSON, funciones, métodos y lógica simple.
- Un enfoque meticuloso y orientado al detalle para trabajar con prompts estructurados, rúbricas de evaluación complejas y directrices técnicas.
- Equipo requerido: Acceso a un micrófono de alta calidad para garantizar una entrada de audio limpia y fiable durante las evaluaciones de voz.
Ofrecemos un rango de pago de $6 a $65 por hora, con la tarifa exacta determinada tras evaluar tu experiencia, conocimientos y ubicación geográfica. Los montos de la oferta final pueden variar respecto al rango de pago indicado anteriormente. Como contratista, deberás disponer de un ordenador seguro e internet de alta velocidad; los beneficios patrocinados por la empresa, como el seguro de salud y las vacaciones pagadas (PTO), no aplican.
Tipo de Contratación: Freelance / Contratista Independiente
Tipo de Lugar de Trabajo: Remoto
Nivel de Antigüedad: Nivel Medio-Alto