ランタイムでガードレールを適用する

15 minutes

観測、測定、テストは不可欠ですが、回答が患者に害を与える可能性がある場合は、その場で対処 する必要があります。ガードレール（エージェントコントロール）はランタイムで各ステップを評価し、ブロック するか、エージェントを安全な応答へ 誘導 します。

ペルソナ

Careful Health Providerの AIエンジニア として、アシスタントが根拠のない医療アドバイスを生成し、機密性の高い削除ツールを呼び出すのを確認しました。検出だけでは不十分です。エージェントをオフラインにすることなく、本番環境で危険な削除を 停止 し、安全でない回答を リダイレクト する必要があります。

Agent Controlはすべてのエージェントを監視する単一の見張り塔です。 ランタイムの ブロックと誘導 でコントロールポリシーを適用し、再デプロイやエージェントのオフライン化なしに、望ましくない動作を 数秒で 停止するポリシー変更をプッシュできます。

ブロック vs. 誘導

  • ブロック: ステップが完全に拒否されます。アプリでは ControlViolationError として表示され、ユーザーには安全な「このアクションはブロックされました」というメッセージが表示されます。取り消し不可能な患者レコードの削除に使用します。
  • 誘導: ステップがガイダンス付きで修正のために差し戻されます。アプリでは ControlSteerError として表示され、エージェントは諦める前に誘導ガイダンスを使用してリトライします。ユーザーを完全に拒否するのではなく、安全でない医療回答を安全なものにリダイレクトするために使用します。

作業場所

この章では ~/workshop/healthcare-assistant/4-app-with-controls で作業します。計装済みアプリをベースに、Agent Control SDK、設定、および @control デコレーター付きステップを追加します。フォルダーは完成した状態で提供されるため、この章のリファレンスとしても使用できます。

サブセクションに進み、Agent Controlの追加、コントロールの定義、ブロックと誘導のテストを行います。