Informazioni sul ruolo
Un progetto dedicato alla valutazione e al benchmarking di modelli audio agentici avanzati rispetto ai principali sistemi. La missione del programma è valutare e ottimizzare le prestazioni dei modelli per casi d'uso reali di assistenza clienti. Responsabilità
- Creare ed eseguire scenari di valutazione basati su role-play che simulano interazioni realistiche di assistenza clienti in più domini, tra cui:
- Prenotazioni di voli e supporto viaggi
- Servizi finanziari
- Telecomunicazioni e supporto tecnico
- Contribuire allo sviluppo di dataset diversificati e rappresentativi utilizzati per valutare agenti audio conversazionali.
- Valutare le prestazioni dei modelli rispetto a un set standardizzato di metriche qualitative e quantitative.
- Garantire che le valutazioni riflettano le aspettative reali dei clienti in termini di chiarezza, efficienza e naturalezza del flusso conversazionale.
Metriche di valutazione Le prestazioni dei modelli vengono valutate utilizzando una combinazione di criteri conversazionali, tecnici e specifici dell'audio, tra cui, a titolo esemplificativo:
- Accuratezza ed efficienza nel completamento delle attività
- Naturalezza della conversazione (tono, flusso e coerenza)
- Comprensione audio e qualità delle risposte
- Aderenza alle istruzioni e comprensione del contesto
- Conoscenze di base di programmazione informatica, tra cui:
- Comprensione delle strutture JSON
- Familiarità con funzioni e metodi
- Capacità di ragionare su dati strutturati e logica semplice
- Chiarezza nella comunicazione tecnica nella gestione di problem-solving in stile supporto
Requisiti tecnici e strumentali
- Forti capacità di comunicazione verbale in un contesto simulato di assistenza clienti
- Padronanza dell'inglese, inclusa la fluidità in tutte le abilità linguistiche: lettura, ascolto, scrittura e parlato.
- Accesso a un microfono di alta qualità per garantire un input audio pulito e affidabile durante le valutazioni
- Comfort nel lavorare con prompt strutturati, rubriche di valutazione e linee guida tecniche
- Dispositivo in grado di eseguire software di registrazione audio e aprire documentazione tecnica di grandi dimensioni
Offriamo una fascia retributiva da $11 a $30.65 all'ora, con la tariffa esatta determinata dopo la valutazione della tua esperienza, competenza e posizione geografica. Gli importi finali dell'offerta possono variare rispetto alla fascia retributiva indicata sopra. In qualità di collaboratore, dovrai fornire un computer sicuro e internet ad alta velocità; i benefit sponsorizzati dall'azienda, come l'assicurazione sanitaria e i permessi retribuiti, non si applicano.
Tipo di impiego: Contratto Tipo di sede di lavoro: Remoto Livello di seniority: Livello intermedio-senior