イントロダクション
課題
エージェントが間違いを犯すとき #
あなたのアシスタントが公開された翌日に、ある患者がこのような投稿をしたとします。
「新しいAIアシスタントに薬について質問したら、処方箋に記載された用量の 2倍 を服用するように言われました。これは小さなミスではありません。危険です。医師に確認しなければ、そのアドバイスに従っていたかもしれません。」
インフラストラクチャは正常でした。APIは 200 OK を返しました。レイテンシも問題ありませんでした。すべての従来のシグナルはシステムが正常に動作していることを示していましたが、エージェントは人に害を与える可能性のある回答を生成しました。 これがエージェントAIの信頼性ギャップです 。インフラストラクチャやAPMモニタリングだけでは検知できません。
エージェントシステムは新しいリスクをもたらします。
- 予測不能な推論: エージェントが予期しないパスを選択します。
- ハルシネーション: データに基づいていない、確信に満ちた回答を返します。
- ツール選択エラー: エージェントが間違ったツールを呼び出したり、正しいツールに間違った引数を渡したりします。
- コストの急増: 暴走ループや過大なプロンプトが静かにトークンを消費します。
- 機密データの漏洩: エージェントがアクセスすべきでないデータを公開したり、それに基づいて行動したりします。
Splunk Agent Observabilityが提供するもの #
Splunk Agent ObservabilityはGalileoを搭載しており、開発から本番まで、エージェントのライフサイクル全体にわたってそのギャップを埋めるために構築されています。
3つの主要機能
- 正確な評価: 高精度のevalとすぐに使えるエバリュエーターおよびカスタムエバリュエーターで、エージェント、出力、RAGの品質を評価します。「この回答は良いか？」を追跡可能な数値に変えます。
- 即座の可視化: ログからの推測ではなく、複雑なマルチステップのエージェントワークフロー全体でエラーの根本原因を確認できます。
- ランタイムガードレール: ハルシネーション、プロンプトインジェクション、安全性違反をエンドユーザーに届く前にブロックまたは修正します。
このワークショップの残りの部分では、Careful Health Providerアシスタントにこれら3つすべてを適用し、あの恐ろしいソーシャル投稿を検知、測定、防止、ガバナンスできる問題に変えていきます。
アシスタントは患者に用量の2倍を服用するよう伝えましたが、インフラストラクチャとAPMのすべてのシグナルは正常でした。なぜ従来のモニタリングでは検知できなかったのでしょうか？