この求人について
高度なエージェント型オーディオモデルを主要システムと比較して評価・ベンチマークするためのプロジェクトです。本プログラムの使命は、実際のカスタマーサポートユースケースにおけるモデルのパフォーマンスを評価・最適化することです。 職務内容
- 複数の領域にわたる現実的なカスタマーサービス対応をシミュレートする、ロールプレイベースの評価シナリオを作成・実行する。対象領域は以下を含む：
- 航空券予約および旅行サポート
- 金融サービス
- 通信およびテクニカルサポート
- 会話型オーディオエージェントの評価に使用する、多様で代表的なデータセットの開発に貢献する。
- 標準化された定性的・定量的指標のセットに基づいてモデルのパフォーマンスを評価する。
- 評価が、明確さ、効率性、自然な会話の流れに関する実際の顧客の期待を反映していることを確保する。
評価指標 モデルのパフォーマンスは、会話・技術・オーディオ固有の基準を組み合わせて評価され、以下を含むがこれらに限定されない：
- タスク完了の正確性と効率性
- 会話の自然さ（トーン、流れ、一貫性）
- オーディオの理解度と応答品質
- 指示への準拠と文脈理解
- 基本的なコンピュータプログラミングのリテラシー。以下を含む：
- JSON構造の理解
- 関数とメソッドへの習熟
- 構造化データと簡単なロジックについて推論する能力
- サポート形式の問題解決を行う際の技術的コミュニケーションの明確さ
技術・設備要件
- シミュレートされたカスタマーサポートの文脈における強い口頭コミュニケーション能力
- 読む・聞く・書く・話すのすべての言語スキルにわたる流暢さを含む英語能力。
- 評価中にクリーンで信頼性の高いオーディオ入力を確保するための高品質マイクへのアクセス
- 構造化されたプロンプト、評価ルーブリック、技術ガイドラインを扱うことへの抵抗がないこと
- 音声録音ソフトウェアを実行し、大規模な技術文書を開くことができるデバイス
報酬は時給$11～$30.65の範囲で、正確なレートはあなたの経験、専門性、地理的な所在地を評価した後に決定されます。最終的なオファー額は上記の報酬範囲と異なる場合があります。契約者として、安全なコンピュータと高速インターネットをご用意いただく必要があります。健康保険や有給休暇などの会社が提供する福利厚生は適用されません。
雇用形態：契約 勤務形態：リモート シニアリティレベル：ミドル～シニアレベル