Signalsで新たな問題を発見する

Signalsの確認

5 minutes

注意

このセクションの手順は、ワークショップの講師が実施するのを観察してください。ご自身では実行しないでください。

エージェントストリームのSignalsを生成し、プラットフォームに問題のトレンドを表示させます。

Exercise Signalsの確認
1

Signalsの生成

Galileoコンソール（https://console.multitenant.galileocloud.io、 workshop org）で、プロジェクト / default エージェントストリームを開き、 Signals ボタンをクリックします。

Generate Signals

このエージェントストリーム内のTraceを分析してSignalsを生成するまで、少し時間がかかります。

2

Signalsの確認

エージェントストリームに対していくつかのSignalsが生成されたことが確認できます（具体的なSignalsはエージェントストリームごとに異なります）。

Signals overview

3

Signalを開いてコンテキストを確認する

Signalを選択し、そのアクション可能なコンテキストを確認します。パターンの内容、発生理由、推奨される次のステップが表示されます。

例えば、Database Metadata Leakage Risk というSignalをクリックします。

Signal detail

このSignalは、get_patient_info ツールの出力に生のSQLクエリ、データベースソース、テーブル名が含まれており、LLMがこのメタデータをそのまま返した場合にエンドユーザーに漏洩する可能性があることを説明しています。

問題を修正するための推奨アクションとして、ツールの出力からデータベースメタデータ（SQLクエリ、テーブル名、ソース情報）をLLMに返す前に除去することが提案されています。

4

関連するTraceに移動する

Signalから、View Affected Spans in Table ボタンをクリックすることで、パターンを構成する特定のTraceに移動できます。

Signal to traces

これにより、「繰り返し発生する問題がある」から「その背後にある正確なリクエストはこれだ」まで、数クリックで到達できます。これはまさにSignalsが実現するように設計されたターゲットを絞った修正です。

これが重要な理由

Signalsがなければ、この種の分析はエンジニアがインシデント後にTraceを手動で調査することを意味し、数週間かかることもあります。Signalsはそれを数分に短縮し、インシデントになる前に問題を検出します。

Signalsは前の章で有効にしたEvaluatorsをどのように補完しますか？

ここをクリックして回答を表示

Evaluatorsは、測定対象として選択した 既知の 品質次元（例: Context Adherence）をスコアリングします。Signalsは、Evaluatorを作成していない 未知の 繰り返し発生する障害パターン（計画ループ、ツールエラー、ルーティング障害）を自動的に検出します。両方を組み合わせることで、予想していた問題と予想していなかった問題の両方をカバーできます。

特定のSignalから新しいEvaluatorを作成するオプションもあり、将来同じ問題が再発した際に追跡して適切なアクションを取ることができます。