1. Splunk Showイベントの詳細に記載されている Ingest Processor Cloud Stack URLを開きます。

2. Connection infoで Stack URL リンクをクリックして、Splunk Cloudスタックを開きます。

3. admin ユーザー名とパスワードを使用してSplunk Cloudにログインします。

4. ログイン後、プロンプトが表示されたら、利用規約に同意して OK をクリックします。

5. Splunk Showイベントの詳細に戻り、Ingest Processor SCS Tenantを選択します。

6. Console URL をクリックして Ingest Processor SCS Tenant にアクセスします。

1. Splunk Showワークショップの詳細に記載されているURLを使用して、Ingest Processor Cloud Stack インスタンスを開きます。

2. Apps → Search and Reporting に移動します。

3. 検索バーに、以下のSPL検索文字列を入力します。

### Replace USER_ID with the User ID provided in your Splunk Show instance information
index=main sourcetype="kube:apiserver:audit:USER_ID"

4. Enter を押すか、緑色の虫眼鏡をクリックして検索を実行します。

1. Splunk Showイベントで提供された接続情報を使用して、Ingest Processor SCS Tenant を開きます。

2. Splunk Data Managementコンソールから Pipelines → New pipeline → Ingest Processor pipeline を選択します。

3. Ingest Processor設定ページの Get started ステップで、Blank Pipeline を選択し、Next をクリックします。

4. Ingest Processor設定ページの Define your pipeline’s partition ステップで、Partition by sourcetype を選択します。= equals Operatorを選択し、値として kube:apiserver:audit:USER_ID を入力します（USER_IDを割り当てられたUser IDに置き換えてください）。Apply をクリックします。

5. Next をクリックします。

6. Ingest Processor設定ページの Add sample data ステップで、Capture new snapshot を選択します。Snapshot nameに k8s_audit_USER_ID と入力し（USER_IDを割り当てられたUser IDに置き換えてください）、Capture をクリックします。

7. 新しく作成したスナップショット（k8s_audit_USER_ID）が選択されていることを確認し、Next をクリックします。

8. Ingest Processor設定ページの Select a metrics destination ステップで、show_o11y_org を選択します。Next をクリックします。

9. Ingest Processor設定ページの Select a data destination ステップで、splunk_indexer を選択します。Specify how you want your events to be routed to an index の下で、Default を選択します。Done をクリックします。

10. Pipeline search field で、デフォルトの検索を以下に置き換えます。

/*A valid SPL2 statement for a pipeline must start with "$pipeline", and include "from $source" and "into $destination".*/
/* Import logs_to_metrics */
import logs_to_metrics from /splunk/ingest/commands
$pipeline =
| from $source
| thru [
        //define the metric name, type, and value for the Kubernetes Events
        //
        // REPLACE UNIQUE_FIELD WITH YOUR INITIALS
        //
        | logs_to_metrics name="k8s_audit_UNIQUE_FIELD" metrictype="counter" value=1 time=_time
        | into $metrics_destination
    ]
| eval index = "kube_logs"
| into $destination;

11. 右上隅の Preview ボタン をクリックするか、CTRL+Enter（MacではCMD+Enter）を押します。Previewing $pipeline ドロップダウンから $metrics_destination を選択します。Splunk Observability Cloudに送信されるメトリクスのプレビューが表示されていることを確認します。

12. 右上隅の Save pipeline ボタン をクリックします。パイプライン名に Kubernetes Audit Logs2Metrics USER_ID と入力し、Save をクリックします。

13. 保存をクリックすると、新しく作成したパイプラインを適用するかどうか尋ねられます。Yes, apply をクリックします。

1. ワークショップ用に招待された Splunk Observability Cloud 組織にログインします。右上隅の + アイコン → Chart をクリックして、新しいチャートを作成します。

2. 新しく作成したチャートの Plot Editor で、Ingest Pipeline の設定時に使用したメトリクス名を入力します。

1. 前のステップで作成したIngest Pipelineの設定ページに戻ります。

2. 生のKubernetes Auditログからメトリクスにディメンションを追加するには、パイプライン用に作成したSPL2クエリの logs_to_metrics 部分を以下に置き換えて更新します：

| logs_to_metrics name="k8s_audit_UNIQUE_FIELD" metrictype="counter" value=1 time=_time dimensions={"level": _raw.level, "response_status": _raw.responseStatus.code, "namespace": _raw.objectRef.namespace, "resource": _raw.objectRef.resource, "user": _raw.user.username, "action": _raw.verb}

更新されたパイプラインは以下のようになります：

/*A valid SPL2 statement for a pipeline must start with "$pipeline", and include "from $source" and "into $destination".*/
/* Import logs_to_metrics */
import logs_to_metrics from /splunk/ingest/commands
$pipeline =
| from $source
| thru [
        //define the metric name, type, and value for the Kubernetes Events
        //
        // REPLACE UNIQUE_FIELD WITH YOUR INITIALS
        //
        | logs_to_metrics name="k8s_audit_UNIQUE_FIELD" metrictype="counter" value=1 time=_time dimensions={"level": _raw.level, "response_status": _raw.responseStatus.code, "namespace": _raw.objectRef.namespace, "resource": _raw.objectRef.resource, "user": _raw.user.username, "action": _raw.verb}
        | into $metrics_destination
    ]
| eval index = "kube_logs"
| into $destination;

3. 右上隅の Preview ボタン をクリックするか、CTRL+Enter（MacではCMD+Enter）を押します。Previewing $pipeline ドロップダウンから $metrics_destination を選択します。Splunk Observability Cloudに送信されるメトリクスのプレビューが表示されていることを確認します。

4. プレビューテーブルのdimensions列にディメンションが表示されていることを確認します。テーブルをクリックすると、dimensionsオブジェクト全体を表示できます。

5. 右上隅の Save pipeline ボタン をクリックします。「You are editing an active pipeline」モーダルで Save をクリックします。

1. 前のセクションで作成したチャートを閉じた場合は、右上隅の + アイコン → Chart をクリックして、新しいチャートを作成します。

2. 新しく作成したチャートの Plot Editor で、メトリクス名フィールドに k8s_audit* と入力します。ここでワイルドカードを使用して、取り込まれているすべてのメトリクスを表示できるようにします。

3. 1つから多くのメトリクスへの変化に注目してください。これは、パイプラインを更新してディメンションを含めた時点からの変化です。このメトリクスが利用可能になったので、アクションにエラーが関連付けられているかどうかを示すようにチャートを調整しましょう。

まず、response_status フィールドで利用可能なHTTPレスポンスコードを使用して、成功しなかったKubernetesイベントのみにフィルタリングします。レスポンスコードが 409（競合を示す、たとえばすでに存在するリソースを作成しようとした場合）または 503（リクエストに対してAPIが応答しなかった場合）のイベントのみが必要です。

4. チャートのプロットエディタで Add filter をクリックし、フィールドに response_status を使用し、値として 409.0 と 503.0 を選択します。

次に、resource、action、および response status でグループ化されたイベントの総数を計算する関数をチャートに追加します。これにより、どのアクションと関連するリソースにエラーがあったかを正確に確認できます。これで、成功しなかったKubernetesイベントのみを見ています。

5. Add analytics → Sum → Sum:Aggregation をクリックし、Group by フィールドに resource、action、および response_status を追加します。

6. 上部のボタンにあるチャートタイプを使用して、チャートを heatmap に変更します。Plot editor の隣にある Chart options をクリックします。Group by セクションで response_status を選択し、次に action を選択します。Color threshold を Auto から Fixed に変更します。青い + button をクリックして、別のしきい値を追加します。Down arrow を Yellow に、Middle を orange に変更します。Up arrow は red のままにします。middle threshold に 5 を、upper threshold に 20 を入力します。

7. チャートの右上隅にある青い Save as… ボタンをクリックします。チャートの名前を入力します（例：Kubernetes Audit Logs - Conflicts and Failures）。

8. Choose a dashboard で New dashboard を選択します。

9. 後で簡単に見つけられるように、イニシャルを含むダッシュボード名を入力します。Save をクリックします。

10. 作成した新しいダッシュボードが選択されていることを確認し、Ok をクリックします。

これで、作成したチャートを含む新しいKubernetes Audit Eventsダッシュボードに移動するはずです。Kubernetesクラスターで実行されているアプリケーションからのアプリケーションエラーとレスポンスタイム、またはpod phase、podメモリ使用率などの他のKubernetesメトリクスなど、環境内の他のメトリクスから新しいチャートを追加できます。これにより、クラスターイベントからアプリケーションの健全性まで、Kubernetes環境の相関ビューが得られます。

チャートの可視化ボックスの右上にある3つのドット ... を使用して、このチャートのコピーを作成します。

UIの右上にある + アイコンを使用して、作業中の同じダッシュボードに貼り付けます。

貼り付けたチャートをクリックして、可視化を Column チャートに変更します。

SUMを resource、namespace のみに変更します（フィルターは問題のあるコードのみにフィルタリングします）。

Chart optionsでタイトルを Kubernetes Audit Logs - Conflicts by Namespace に変更します。

Save をクリックして閉じます。

Conflicts by Namespaceチャートで、小さなベルアイコンをクリックし、New detector from chartを選択します。

名前を選択し、Create alert rule をクリックします。

Alert conditionで Static Threshold をクリックし、Proceed to Alert Settings をクリックします。

Threshold に 20 を入力します。

このアラートの受信者は選択しないので、Activate をクリックし、Activate Alert Rule と Save を選択します。

右上の Save を最後にもう一度クリックして、ディテクターを保存します。

ダッシュボードに戻ると、チャートに関連付けられたディテクターが、チャート上の点灯したベルアイコンで示されているのが確認できます。

時系列メトリクスがSplunk Observability Cloudデータストアに取り込まれたので、Splunk Cloudでこれらの時系列メトリクスを簡単に可視化できます！

Splunk Cloudインスタンスで Dashboards に移動し、Create New Dashboard を選択します。

ダッシュボードのタイトル、権限、Dashboard Studio を選択し、任意のLayout Modeを選択します。 Create をクリックします。

Dashboard Studioでチャートアイコンをクリックし、Column を選択します。

Select data source で Create splunk observability cloud metric search を選択します。

新しいデータソースの名前を選択し、Search for metric or metadata の下にある Content Import リンクをクリックします。

チャートのURLをコピーして Content URL フィールドに貼り付けます。

Import をクリックします。

チャートのサイズをダッシュボードに合わせて調整します。

チャートの Configuration の右側にある Interactions を展開し、Add Interaction をクリックします。

Splunk ObservabilityのダッシュボードからURLをコピーします。

On click で Link to custom URL を選択し、ソースデータに簡単に戻れるようにSplunk Observability CloudのダッシュボードのURLを追加します。 また、使いやすいナビゲーションのために Open in new tab を選択します。

右上の Save をクリックしてダッシュボードを保存します。

チャートのColumnまたは名前をハイライトしてクリックします。

Splunk Observabilityに戻ることが通知されます。Continue をクリックします。

これで、Splunk Cloudから対応するSplunk Observabilityダッシュボードに戻りました。