Evaluatorの有効化

Agent StreamでEvaluatorを有効にする

5 minutes

Evaluatorは agent stream に設定されるため、新しいTraceが到着するたびに自動的にスコアリングされます。ここでは、ヘルスケアアシスタントに重要な組み込みEvaluatorのセットを有効にします。

Exercise 組み込みEvaluatorを有効にする
1

Agent streamの設定を開く

Galileoコンソール（https://console.multitenant.galileocloud.io、workshop org）でプロジェクトを開き、default agent streamを選択します。

Configure Evaluators ボタンをクリックして、Evaluatorの設定を開きます。

Agent stream evaluators configuration

2

必要なEvaluatorを有効にする

agent streamで以下の組み込みEvaluatorを有効にします。

  • Context Adherence: 回答が取得された医療コンテンツに基づいているか確認します（「用量を2倍にする」タイプのハルシネーションを検出します）
  • Correctness: 回答が事実として正しいか確認します

Agent stream enable evaluators

設定を保存します。これ以降、このagent streamの新しいTraceは自動的にスコアリングされます。

3

変更を適用する

Apply をクリックして変更を適用します。すでにキャプチャされたTraceに対してEvaluatorを実行するオプションがあります。デフォルトオプションの Last 1 day を選択します。

Compute metrics

Compute ボタンをクリックして、既存のTraceに対してEvaluatorを実行します。

Traceを1つずつスコアリングするのではなく、agent stream でEvaluatorを有効にするのはなぜですか？

ここをクリックして回答を表示
agent streamのEvaluatorは すべての新しいTraceに自動的に適用 されるため、手動のスポットチェックではなく、継続的かつスケーラブルな評価が可能になります。Lunaの低コストなスコアリングと組み合わせることで、少数のサンプルではなくすべてのトラフィックを評価できます。