Signalsで新たな問題を発見する
Evaluatorは、測定すべきだと分かっている問題を検出します。しかし、エージェントシステムは予期しない方法で障害を起こします。たとえば、計画ループ、ルーティングの失敗、ツールエラーなどです。Signals はそのような 未知の未知 を自動的に発見します。
ペルソナ
Careful Health Providerの AIエンジニア として、あらゆる障害モードに対してEvaluatorを定義することはできません。また、すべてのトレースを読む時間もありません。プラットフォームが「ここに問題のあるパターンがあり、次に何をすべきか」を能動的に教えてくれる必要があります。
Signals は本番トレースから繰り返し発生する障害パターンを自動的に検出し、実行可能なコンテキストを提供します。何が 問題だったか、なぜ 発生したか、次に何をすべきか を示し、数週間かかるインシデント後の分析を数分間の的確な修復作業に変えます。
Signalsが検出するもの
Signalsはトレースを分析し、以下のようなパターンを検出します。
- Planning loops: エージェントが収束せずに繰り返し処理を続ける。
- Tool errors: ツール呼び出しの失敗または誤用。
- Hallucinations: 根拠のない、または捏造されたコンテンツ。
- Routing failures: エージェントが誤ったパスを選択する。
…その他、定義しようと思いつかなかった新たなパターンも含みます。
コンソールでSignalsの探索を続けます。