AIスコアリングのベストプラクティス
このガイドでは、Genesys Cloud Quality Management で効果的な AI スコア評価フォームを作成するためのベスト プラクティスについて説明します。会話の記録に基づいて、すべての質問が明確、客観的、かつ測定可能であることを保証するのに役立ちます。
AI スコアリングは、会話の記録と提供された評価フォームのみからやり取りを評価します。
次のようなメタデータは使用しません。
- キューまたはルーティングパス
- タイムスタンプまたは期間
- プラットフォームまたはシステムのメトリクス
AI スコアリングは、口調、態度、または推測された意味ではなく、言われたこと（または書かれたこと）のみに焦点を当てます。
する
- 書く客観的でトランスクリプトに基づいた質問。
- 提供する明確なヘルプテキスト測定可能な基準をもって。
- 使用一貫した用語（例：「エージェント」と「顧客」）。
- 記入する完全な文章。
- AI のスコアリング結果に基づいて質問を継続的に改善します。
しないでください
- 聞く主観的質問（例えば、「エージェントは礼儀正しかったですか？」）
- 使用曖昧な速記（例：「挨拶プロトコル」）。
- トランスクリプトでは表示されないコンテキストを想定します。
- について質問する口調や感情AIが推論できないもの。
AI モデルは意図を推測できません。トランスクリプト内に直接的かつ測定可能な証拠を見つけなければなりません。
| 主要原則 | 詳細 | なぜこれが役立つのか | 質問例とヘルプテキスト | 悪い例 |
|---|---|---|---|---|
| トランスクリプトのみの証拠にアンカー | 会話テキストから確認できる内容のみ質問してください。 | 質問を測定可能に保ち、誤った仮定を防止します。 | 質問：エージェントは「こんにちは」「こんにちは」「おはようございます」などの標準的なフレーズを使用して顧客に挨拶しましたか? | エージェントは顧客に挨拶するとき、フレンドリーな口調でしたか? |
| 行動を二元的または具体的にする | はい/いいえまたは定義された複数選択の回答を使用します。 | スコアリングの曖昧さを軽減します。 | ヘルプテキスト:はい = エージェントは標準フレーズを使用して顧客に挨拶しました。いいえ = エージェントが挨拶しなかったか、不明瞭な表現を使用しました。 | エージェントは適切に挨拶しましたか? |
| 完全な文章を使う | 省略表現や部分的な表現は避けてください。 | AIは完全な文章をより正確に解釈します。 | 質問：エージェントは、アカウントの詳細を提供する前に顧客の身元を確認しましたか? | 「本人確認」 |
| 範囲と境界を定義する | 何が重要で何が重要でないかを説明します。 | 誤分類や誤検出を防止します。 | ヘルプテキスト:カウント「生年月日を確認していただけますか？」検証に関連しない限り、「お名前は何ですか？」という質問はカウントしないでください。 | エージェントは顧客を確認しましたか? |
| 感情的ではなく、観察可能なものにする | 見えるものや読めるものに焦点を当てます。 | 評価の一貫性を保ちます。 | 質問：エージェントは「申し訳ございません」や「承知しました」などのフレーズを使用して顧客の問題を認識しましたか? | エージェントは共感力がありましたか? |
| 用語を標準化する | フォーム全体で同じ単語を使用します。 | モデルの一貫性が向上します。 | 常に「エージェント」と「顧客」を使用してください。 | 「担当者」、「顧客」、「関係者」を混同する |
| トランスクリプトの例を提供する | 短い Yes/No の例を含めます。 | AI が現実世界の言い回しを認識するのに役立ちます。 | はい：「その料金は返金します。」 いいえ：「調べてみます。」 | — |
| それぞれの質問に焦点を絞る | 質問ごとに 1 つの動作のみをテストします。 | 混合結果を回避します。 | 質問1:エージェントは顧客に挨拶しましたか? 質問2:エージェントは本人確認をしましたか? | エージェントは顧客に挨拶しましたかそして最初に本人確認をしますか? |
| 言い回しのバリエーションを予測する | 正確な言葉ではなく、柔軟性を重視して書きましょう。 | 見逃された試合を減らします。 | 「エージェントは、少なくとも 1 つの認証情報 (生年月日、電話番号、口座番号など) を使用して本人確認を行いましたか?」 | 「担当者は口座番号を尋ねましたか？」 |
| ビジネス目標に合わせた質問 | 各質問を CX、コンプライアンス、または効率に結び付けます。 | 評価を有意義なものにします。 | 「エージェントは必須の開示を提供しましたか？」 | 「エージェントは世間話をしましたか？」 |
各質問には、以下を定義する短くて測定可能なヘルプテキスト（500文字以下）を含める必要があります。何が「はい」か「いいえ」か、例が含まれており、エッジケースが明確にされています。
例: よく書かれた質問とヘルプテキスト
意図:アカウント固有の詳細を提供する前に、顧客の身元を確認してください。
質問： エージェントは、アカウント固有の詳細情報を提供する前に顧客の身元を確認しましたか?
ヘルプテキスト: エージェントは少なくとも 1 つの認証情報 (アカウント番号、生年月日、電話番号、注文 ID など) を確認する必要があります。
- はい：エージェントは続行する前に資格情報を確認しました。
- いいえ：エージェントは関係のない質問を飛ばしたり、質問したりしました。
トランスクリプトの例
| ✅ | お客様：「請求情報を更新する必要があります。」 エージェント:「口座番号の下4桁を確認していただけますか？」 |
| ❌ | お客様：「請求情報を更新する必要があります。」 エージェント:「はい、新しい住所は何ですか？」 |
- AI スコアリング レポートを毎月確認し、信頼性の低い質問を特定します。
- 業界の表現を反映する例を追加します (例: ヘルスケアと小売業)。
- 人間の評価者を AI が使用するのと同じ定義に合わせます。
- AI が結果を誤分類した場合に、質問とヘルプ テキストを調整します。
| エラーの種類 | 発生した場合 | 解決方法 |
|---|---|---|
| レート制限エラー | エージェントあたりの AI スコアリング リクエストの 1 日あたりの制限数 50 件に達しました。 | 評価を分散したり、再試行を減らしたり、クォータの増加をリクエストしたりします。 |
| 重複評価エラー | 同じ評価者 ID と会話を持つフォームがすでに存在します。 | 提出前に既存の評価を確認してください。再レビューには別のフォームまたは評価者 ID を使用してください。 |
| 処理失敗エラー | 質問の設計が曖昧または複雑すぎます。 | トランスクリプトのみの測定可能な行動を使用して質問を書き直します。 |
| 質問に対する信頼度が低い | 曖昧または主観的な表現のため、AI は不確実です。 | 言葉遣いを明確にし、例を追加し、用語を標準化します。 |
AIスコアリングプレイブック – 10問のエージェント評価サンプルフォーム
このサンプル評価フォームでは、主要なサービスの基礎 (コンプライアンス、共感、効率など) を、AI スコアリングに最適化された客観的なトランスクリプトベースの質問にまとめています。各質問は、一貫した表現と測定可能な基準を使用して、観察可能な 1 つの行動を測定するように設計されています。
このフォームは、客観的なトランスクリプトベースの評価基準を示しています。
質問：
エージェントは会話の始めに「こんにちは」「こんにちは」「おはようございます」などの標準的な挨拶を使用して顧客に挨拶しましたか?
回答オプション:
はい / いいえ
ヘルプテキスト:
エージェントは丁寧な挨拶から始める必要があります。許容される挨拶には、「こんにちは」「こんにちは」「おはようございます」または同等の表現が含まれます。
トランスクリプトの例:
お客様「アカウントに関してサポートが必要です。」
エージェント:"おはよう！ABCサポートにお電話いただきありがとうございます。」
→ AIは「はい」とマークする
質問：
エージェントは、アカウント固有の問題に対処する前に顧客の身元を確認しましたか?
回答オプション:
はい / いいえ
ヘルプテキスト:
エージェントは、続行する前に、生年月日、アカウント ID、電話番号など、少なくとも 1 つの顧客認証情報を確認する必要があります。
トランスクリプトの例:
お客様「請求先住所を更新したいです。」
エージェント:「口座番号の下4桁を確認していただけますか？」
→ AIは「はい」とマークする
質問：
エージェントは、顧客が中断することなく話を終えられるようにしましたか?
回答オプション:
はい / いいえ
ヘルプテキスト:
エージェントが顧客の話を途中で遮ると、中断が発生します。顧客が作業を終えた後に説明を求めることは許容されます。
トランスクリプトの例:
お客様「問題は…」
エージェント:「そこまでにさせてください…」
→ AIマークNo
質問：
エージェントは会話中に顧客の名前を少なくとも 1 回使用しましたか?
回答オプション:
はい / いいえ
ヘルプテキスト:
顧客の名前を使用すると、やり取りがパーソナライズされます。AI は、記録または会話で提供された名前が言及されたかどうかを確認します。
トランスクリプトの例:
お客様「マリアです。注文に関してお手伝いが必要です。」
エージェント:「ありがとう、マリア。ご注文を確認させていただきます。
→ AIは「はい」とマークする
質問：
エージェントは解決に進む前に顧客の問題を認識しましたか?
回答オプション:
はい / いいえ
ヘルプテキスト:
エージェントが「わかります」「そのようなことがあって申し訳ありません」「大変ご迷惑をおかけしていることと思います」などの言葉で問題を認めると、共感が示されます。AI は解決前に確認を求めます。
トランスクリプトの例:
お客様「高額な料金を請求されました。」
エージェント:「それは残念ですね。一緒に請求書を確認しましょう。」
→ AIは「はい」とマークする
質問：
エージェントは、払い戻し、交換、トラブルシューティングの指示など、明確な解決手順を提供しましたか?
回答オプション:
はい / いいえ
ヘルプテキスト:
解決には、具体的なアクション (払い戻し、交換、または技術的な手順) を含める必要があります。明確な次のステップを伴わない一般的な謝罪は無効です。
トランスクリプトの例:
エージェント:「交換品の注文を処理いたしました。2日以内に到着する予定です。」
→ AIは「はい」とマークする
質問：
エージェントは、連絡先、必要な情報、予想される応答時間など、エスカレーションのプロセスを明確に説明しましたか?
回答オプション:
はい / いいえ
ヘルプテキスト:
完全なエスカレーションには以下が含まれます:
-
次の連絡先
-
必要な情報
-
回答の予想期間
トランスクリプトの例:
エージェント:「この問題が続くようであれば、レベル 2 にエスカレートします。ケースIDが必要になりますので、24時間以内に返信いたします。」
→ AIは「はい」とマークする
質問：
エージェントは、必須の開示事項またはコンプライアンス ステートメント (条件、免責事項、法的要件など) を遵守しましたか?
回答オプション:
はい / いいえ
ヘルプテキスト:
コンプライアンス ステートメントは業界によって異なり、必要な開示、免責事項、または法的通知が含まれる場合があります。AI はトランスクリプト内でこれらの特定のフレーズをチェックします。
トランスクリプトの例:
エージェント:「セキュリティ上の理由から、まず本人確認を行わない限りアカウントの詳細を提供することはできません。」
→ AIは「はい」とマークする
質問：
エージェントは、不必要な沈黙や説明のない長い沈黙を避けましたか?
回答オプション:
はい / いいえ
ヘルプテキスト:
15 秒を超える沈黙は、顧客に説明されている場合のみ許容されます（例:「確認中ですが、しばらくお待ちください」）。
トランスクリプトの例:
エージェント:「アカウントの詳細を表示するまで少々お待ちください。」[10秒間の沈黙]
→ AIは「はい」とマークする
質問：
エージェントは会話を終了する前に顧客満足度を確認したり、次のステップをまとめたりしましたか?
回答オプション:
はい / いいえ
ヘルプテキスト:
終了する前に、エージェントは解決策を確認するか、次の手順を明確に要約する必要があります。これにより完了が証明され、顧客の理解が確保されます。
トランスクリプトの例:
エージェント:「パスワードをリセットしました。」ログインできることを確認できますか？」
→ AIは「はい」とマークする
