1. 前のステップで作成したIngest Pipelineの設定ページに戻ります。

2. 生のKubernetes Auditログからメトリクスにディメンションを追加するには、パイプライン用に作成したSPL2クエリの logs_to_metrics 部分を以下に置き換えて更新します：

| logs_to_metrics name="k8s_audit_UNIQUE_FIELD" metrictype="counter" value=1 time=_time dimensions={"level": _raw.level, "response_status": _raw.responseStatus.code, "namespace": _raw.objectRef.namespace, "resource": _raw.objectRef.resource, "user": _raw.user.username, "action": _raw.verb}

更新されたパイプラインは以下のようになります：

/*A valid SPL2 statement for a pipeline must start with "$pipeline", and include "from $source" and "into $destination".*/
/* Import logs_to_metrics */
import logs_to_metrics from /splunk/ingest/commands
$pipeline =
| from $source
| thru [
        //define the metric name, type, and value for the Kubernetes Events
        //
        // REPLACE UNIQUE_FIELD WITH YOUR INITIALS
        //
        | logs_to_metrics name="k8s_audit_UNIQUE_FIELD" metrictype="counter" value=1 time=_time dimensions={"level": _raw.level, "response_status": _raw.responseStatus.code, "namespace": _raw.objectRef.namespace, "resource": _raw.objectRef.resource, "user": _raw.user.username, "action": _raw.verb}
        | into $metrics_destination
    ]
| eval index = "kube_logs"
| into $destination;

3. 右上隅の Preview ボタン をクリックするか、CTRL+Enter（MacではCMD+Enter）を押します。Previewing $pipeline ドロップダウンから $metrics_destination を選択します。Splunk Observability Cloudに送信されるメトリクスのプレビューが表示されていることを確認します。

4. プレビューテーブルのdimensions列にディメンションが表示されていることを確認します。テーブルをクリックすると、dimensionsオブジェクト全体を表示できます。

5. 右上隅の Save pipeline ボタン をクリックします。「You are editing an active pipeline」モーダルで Save をクリックします。

1. 前のセクションで作成したチャートを閉じた場合は、右上隅の + アイコン → Chart をクリックして、新しいチャートを作成します。

2. 新しく作成したチャートの Plot Editor で、メトリクス名フィールドに k8s_audit* と入力します。ここでワイルドカードを使用して、取り込まれているすべてのメトリクスを表示できるようにします。

3. 1つから多くのメトリクスへの変化に注目してください。これは、パイプラインを更新してディメンションを含めた時点からの変化です。このメトリクスが利用可能になったので、アクションにエラーが関連付けられているかどうかを示すようにチャートを調整しましょう。

まず、response_status フィールドで利用可能なHTTPレスポンスコードを使用して、成功しなかったKubernetesイベントのみにフィルタリングします。レスポンスコードが 409（競合を示す、たとえばすでに存在するリソースを作成しようとした場合）または 503（リクエストに対してAPIが応答しなかった場合）のイベントのみが必要です。

4. チャートのプロットエディタで Add filter をクリックし、フィールドに response_status を使用し、値として 409.0 と 503.0 を選択します。

次に、resource、action、および response status でグループ化されたイベントの総数を計算する関数をチャートに追加します。これにより、どのアクションと関連するリソースにエラーがあったかを正確に確認できます。これで、成功しなかったKubernetesイベントのみを見ています。

5. Add analytics → Sum → Sum:Aggregation をクリックし、Group by フィールドに resource、action、および response_status を追加します。

6. 上部のボタンにあるチャートタイプを使用して、チャートを heatmap に変更します。Plot editor の隣にある Chart options をクリックします。Group by セクションで response_status を選択し、次に action を選択します。Color threshold を Auto から Fixed に変更します。青い + button をクリックして、別のしきい値を追加します。Down arrow を Yellow に、Middle を orange に変更します。Up arrow は red のままにします。middle threshold に 5 を、upper threshold に 20 を入力します。

7. チャートの右上隅にある青い Save as… ボタンをクリックします。チャートの名前を入力します（例：Kubernetes Audit Logs - Conflicts and Failures）。

8. Choose a dashboard で New dashboard を選択します。

9. 後で簡単に見つけられるように、イニシャルを含むダッシュボード名を入力します。Save をクリックします。

10. 作成した新しいダッシュボードが選択されていることを確認し、Ok をクリックします。

これで、作成したチャートを含む新しいKubernetes Audit Eventsダッシュボードに移動するはずです。Kubernetesクラスターで実行されているアプリケーションからのアプリケーションエラーとレスポンスタイム、またはpod phase、podメモリ使用率などの他のKubernetesメトリクスなど、環境内の他のメトリクスから新しいチャートを追加できます。これにより、クラスターイベントからアプリケーションの健全性まで、Kubernetes環境の相関ビューが得られます。

チャートの可視化ボックスの右上にある3つのドット ... を使用して、このチャートのコピーを作成します。

UIの右上にある + アイコンを使用して、作業中の同じダッシュボードに貼り付けます。

貼り付けたチャートをクリックして、可視化を Column チャートに変更します。

SUMを resource、namespace のみに変更します（フィルターは問題のあるコードのみにフィルタリングします）。

Chart optionsでタイトルを Kubernetes Audit Logs - Conflicts by Namespace に変更します。

Save をクリックして閉じます。

Conflicts by Namespaceチャートで、小さなベルアイコンをクリックし、New detector from chartを選択します。

名前を選択し、Create alert rule をクリックします。

Alert conditionで Static Threshold をクリックし、Proceed to Alert Settings をクリックします。

Threshold に 20 を入力します。

このアラートの受信者は選択しないので、Activate をクリックし、Activate Alert Rule と Save を選択します。

右上の Save を最後にもう一度クリックして、ディテクターを保存します。

ダッシュボードに戻ると、チャートに関連付けられたディテクターが、チャート上の点灯したベルアイコンで示されているのが確認できます。

時系列メトリクスがSplunk Observability Cloudデータストアに取り込まれたので、Splunk Cloudでこれらの時系列メトリクスを簡単に可視化できます！

Splunk Cloudインスタンスで Dashboards に移動し、Create New Dashboard を選択します。

ダッシュボードのタイトル、権限、Dashboard Studio を選択し、任意のLayout Modeを選択します。 Create をクリックします。

Dashboard Studioでチャートアイコンをクリックし、Column を選択します。

Select data source で Create splunk observability cloud metric search を選択します。

新しいデータソースの名前を選択し、Search for metric or metadata の下にある Content Import リンクをクリックします。

チャートのURLをコピーして Content URL フィールドに貼り付けます。

Import をクリックします。

チャートのサイズをダッシュボードに合わせて調整します。

チャートの Configuration の右側にある Interactions を展開し、Add Interaction をクリックします。

Splunk ObservabilityのダッシュボードからURLをコピーします。

On click で Link to custom URL を選択し、ソースデータに簡単に戻れるようにSplunk Observability CloudのダッシュボードのURLを追加します。 また、使いやすいナビゲーションのために Open in new tab を選択します。

右上の Save をクリックしてダッシュボードを保存します。

チャートのColumnまたは名前をハイライトしてクリックします。

Splunk Observabilityに戻ることが通知されます。Continue をクリックします。

これで、Splunk Cloudから対応するSplunk Observabilityダッシュボードに戻りました。