Informazioni sul ruolo
Un progetto dedicato alla valutazione e al benchmarking di modelli audio agentici avanzati rispetto ai sistemi leader. La missione del programma è valutare e ottimizzare le prestazioni dei modelli per casi d'uso reali di assistenza clienti. Responsabilità
- Creare ed eseguire scenari di valutazione basati su role-play che simulano interazioni realistiche di servizio clienti in più ambiti, tra cui:
- Prenotazioni di voli e assistenza viaggi
- Servizi finanziari
- Telecomunicazioni e supporto tecnico
- Contribuire allo sviluppo di dataset diversificati e rappresentativi utilizzati per valutare agenti audio conversazionali.
- Valutare le prestazioni dei modelli secondo un insieme standardizzato di metriche qualitative e quantitative.
- Garantire che le valutazioni riflettano le aspettative reali dei clienti in termini di chiarezza, efficienza e fluidità conversazionale naturale.
Metriche di valutazione Le prestazioni dei modelli vengono valutate utilizzando una combinazione di criteri conversazionali, tecnici e specifici per l'audio, tra cui, a titolo esemplificativo:
- Accuratezza ed efficienza nel completamento delle attività
- Naturalità conversazionale (tono, fluidità e coerenza)
- Comprensione audio e qualità delle risposte
- Aderenza alle istruzioni e comprensione del contesto
- Alfabetizzazione di base in programmazione informatica, tra cui:
- Comprensione delle strutture JSON
- Familiarità con funzioni e metodi
- Capacità di ragionare su dati strutturati e logica semplice
- Chiarezza nella comunicazione tecnica durante la risoluzione di problemi in stile supporto
Requisiti tecnici e attrezzatura
- Forti capacità di comunicazione verbale in un contesto simulato di assistenza clienti
- Padronanza dell'inglese, inclusa fluidità in tutte le abilità linguistiche: lettura, ascolto, scrittura e parlato.
- Accesso a un microfono di alta qualità per garantire un input audio pulito e affidabile durante le valutazioni
- Comfort nel lavorare con prompt strutturati, rubriche di valutazione e linee guida tecniche
- Dispositivo in grado di eseguire software di registrazione audio e aprire documentazione tecnica di grandi dimensioni
Offriamo una fascia retributiva da $11 a $30.65 all'ora, con la tariffa esatta determinata dopo la valutazione della tua esperienza, competenza e posizione geografica. Gli importi finali dell'offerta possono variare rispetto alla fascia retributiva sopra indicata. Come collaboratore, dovrai fornire un computer sicuro e una connessione internet ad alta velocità; i benefit sponsorizzati dall'azienda, come assicurazione sanitaria e ferie retribuite, non si applicano.
Tipo di impiego: Contratto Tipo di luogo di lavoro: Da remoto Livello di seniority: Livello medio-senior