エージェントのパフォーマンスを把握したいチームにとって、これは切実な問題です。意図せず保存してしまったデータを蓄積することなく、必要なインサイトを得るにはどうすればよいのでしょうか？
答えは、オブザーバビリティプラットフォームが提供するコントロールによって異なります。Pendoのアプローチをご紹介します。
データを保存する場合、エージェントごとに何を編集するかを制御できます
PII編集機能を提供するほとんどのツールは、アカウント全体に1つのルールセットを適用します。しかし、請求に関する問い合わせを処理するカスタマーサポートボットと社内オンボーディングアシスタントではデータ要件が異なるため、一方を過剰に保護するか、もう一方の保護が不十分になるかのどちらかになってしまいます。
この問題を解決するため、Pendoは編集コントロールのスコープを エージェント ごとに設定しています。AIエージェント管理者およびPendo管理者は、エンジニアリングチームを介さずに、製品内で直接、各エージェントに対して14の機密データカテゴリのうちどれを編集するかを設定できます。対象カテゴリは以下のとおりです：
- 氏名
- メールアドレス
- 電話番号
- 住所
- 日付
- 社会保障番号（SSN）
- 国民ID
- 納税者番号
- クレジット／デビットカード情報
- 銀行口座情報
- 請求書
- 金額
- ユーザー名
- IPアドレス
14項目すべてがデフォルトで有効になっているため、アカウントは初日から利用可能な最も厳格な設定で開始されます。セットアップは不要です。その後、各エージェントの実際のユースケースに合わせてチームが調整できます。
コンテンツが編集された場合、ユーザーはConversationsおよびPromptsで [NAME]、[EMAIL] などの定型プレースホルダーを確認できます。これにより、元の値を公開することなく、会話の内容を理解しやすい状態に保てます。
すべてがデフォルトで保護されています
プライバシー管理がオプトイン方式のツールとは異なり、Pendoはデフォルトで14のリダクションカテゴリをすべて有効にしています。エージェントを追加した瞬間から、アカウントは利用可能な最も厳格な設定で開始されるため、誰かが有効にする設定を検討している間にデータが公開されるセットアップ期間がありません。
その後の管理はお客様次第です。最も機密性の高いやり取りを処理するエージェントの設定を厳しくしたり、デフォルト設定がチームに必要以上のコンテキストを削除してしまう場合は緩めたりすることができます。いずれの場合も、各エージェントに対して意図的に選択してデプロイする設定です。
生の会話データを保存する必要はありません（近日公開予定）
チームによっては、生の会話データがそもそも保存されること自体が障壁となっている場合があります。また、プロンプトデータが個々の訪問者に紐付けられることを許可できないチームもあります。これまで、そのようなチームはAgent Analyticsを使用できませんでした。
ゼロデイリテンションにより、Pendoはプロンプトとレスポンスを集計メトリクス、ユースケース、および問題点に処理した後、生のコンテンツを削除します。データ保管リスクを負うことなく、Agent Analyticsの全体像を把握できます。
訪問者の匿名化は、チームに第二の管理レイヤーを提供します。Agent Analyticsで訪問者IDを匿名化することで、会話データを個々のユーザーに追跡できないようにします。Pendo内の他の場所にある訪問者IDは変更されません。どちらもオプトイン方式で、エージェントのタグ付け時に設定します。
インサイトとデータ保護はトレードオフではありません
AIエージェントのパフォーマンスを測定するには生の会話データを保持する必要があるという前提は正しくありません。それはプラットフォームによって異なります。
カスタムリダクションにより、チームはエンジニアリングなしで、エージェントごとに保存される内容と機密コンテンツのラベル付け方法を管理できます。ゼロデイリテンションと訪問者の匿名化は、生のデータ保存が選択肢にない場合に対応します。
これらを組み合わせることで、組織のデータ管理方法に合わせてAgent Analyticsを簡単に機能させるよう設計されています。
