직무 소개
고급 에이전틱 오디오 모델을 선도적인 시스템과 비교하여 평가하고 벤치마킹하는 데 전념하는 프로젝트입니다. 이 프로그램의 목표는 실제 고객 지원 사용 사례에서 모델 성능을 평가하고 최적화하는 것입니다. 주요 업무
- 다음을 포함한 여러 도메인에서 실제 고객 서비스 상호작용을 시뮬레이션하는 역할극 기반 평가 시나리오를 만들고 실행합니다:
- 항공권 예약 및 여행 지원
- 금융 서비스
- 통신 및 기술 지원
- 대화형 오디오 에이전트를 평가하는 데 사용되는 다양하고 대표성 있는 데이터셋 개발에 기여합니다.
- 표준화된 정성적 및 정량적 지표 세트를 기준으로 모델 성능을 평가합니다.
- 평가가 명확성, 효율성, 자연스러운 대화 흐름에 대한 실제 고객 기대를 반영하도록 보장합니다.
평가 지표 모델 성능은 대화, 기술, 오디오 특화 기준을 조합하여 평가하며, 다음을 포함하되 이에 국한되지 않습니다:
- 작업 완료 정확도 및 효율성
- 대화의 자연스러움(어조, 흐름, 일관성)
- 오디오 이해 및 응답 품질
- 지시 준수 및 맥락 이해
- 기본 컴퓨터 프로그래밍 리터러시, 포함:
- JSON 구조 이해
- 함수와 메서드에 대한 친숙함
- 구조화된 데이터와 간단한 로직에 대해 추론하는 능력
- 지원 스타일의 문제 해결을 처리할 때 기술적 의사소통의 명확성
기술 및 장비 요구 사항
- 시뮬레이션된 고객 지원 맥락에서 강력한 구두 의사소통 능력
- 읽기, 듣기, 쓰기, 말하기 등 모든 언어 능력에 유창한 영어 능숙도.
- 평가 중 깨끗하고 신뢰할 수 있는 오디오 입력을 보장하기 위한 고품질 마이크 접근성
- 구조화된 프롬프트, 평가 루브릭, 기술 지침을 다루는 데 편안함
- 오디오 녹음 소프트웨어를 실행하고 대용량 기술 문서를 열 수 있는 기기
시간당 $11~$30.65의 급여 범위를 제공하며, 정확한 요율은 귀하의 경험, 전문성, 지리적 위치를 평가한 후 결정됩니다. 최종 제안 금액은 위에 명시된 급여 범위와 다를 수 있습니다. 계약자로서 귀하는 안전한 컴퓨터와 고속 인터넷을 제공해야 하며, 건강 보험 및 유급 휴가(PTO)와 같은 회사 지원 혜택은 적용되지 않습니다.
고용 형태: 계약직 근무 환경 유형: 원격 직급: 중간-시니어 레벨