Kubernetes 監査イベントメトリクスの可視化

1. 前のセクションで作成したチャートを閉じた場合は、右上の + アイコン → Chart をクリックして新しいチャートを作成します。

2. 新しく作成したチャートの Plot Editor で、メトリクス名フィールドに k8s_audit* と入力します。ここではワイルドカードを使用して、取り込まれているすべてのメトリクスを確認できるようにします。

3. メトリクスが1つから複数に変化したことに注目してください。これは、パイプラインを更新してディメンションを含めた時点での変化です。このメトリクスが利用可能になったので、アクションにエラーが関連付けられているかどうかを確認できるようにチャートを調整しましょう。

まず、response_status フィールドで利用可能な HTTP レスポンスコードを使用して、成功しなかった Kubernetes イベントのみにフィルタリングします。レスポンスコードが 409（コンフリクトを示す。例えば、既に存在するリソースを作成しようとした場合）または 503（リクエストに対して API が応答しなかったことを示す）のイベントのみを対象とします。

4. チャートの Plot Editor で Add filter をクリックし、フィールドに response_status を使用し、値として 409.0 と 503.0 を選択します。

次に、resource、action、response status でグループ化されたイベントの合計数を計算する関数をチャートに追加します。これにより、どのアクションと関連リソースにエラーがあったかを正確に確認できます。これで、成功しなかった Kubernetes イベントのみを表示しています。

5. Add analytics → Sum → Sum:Aggregation をクリックし、Group by フィールドに resource、action、response_status を追加します。

6. 上部のボタンにあるチャートタイプを使用して、チャートを heatmap に変更します。Plot editor の隣にある Chart options をクリックします。Group by セクションで response_status、次に action を選択します。Color threshold を Auto から Fixed に変更します。青い + button をクリックして別のしきい値を追加します。下矢印を Yellow、中間を orange に変更します。上矢印は red のままにします。中間しきい値に 5、上限しきい値に 20 を入力します。

7. チャートの右上にある青い Save as…

8. Choose a dashboard で New dashboard を選択します。

9. 後で簡単に見つけられるように、イニシャルを含むダッシュボード名を入力します。Save をクリックします。

10. 作成した新しいダッシュボードが選択されていることを確認し、Ok をクリックします。

これで、作成したチャートが含まれる新しい Kubernetes Audit Events ダッシュボードに移動します。環境内の他のメトリクスから新しいチャートを追加できます。例えば、Kubernetes クラスター上で実行されているアプリケーションのエラーやレスポンスタイム、Pod フェーズ、Pod メモリ使用率などの他の Kubernetes メトリクスを追加して、クラスターイベントからアプリケーションの状態まで、Kubernetes 環境の相関ビューを構築できます。

チャートのビジュアライゼーションボックスの右上にある三点リーダー ... を使用して、このチャートのコピーを作成します。

UI の右上にある + アイコンを使用して、作業中の同じダッシュボードに貼り付けます。

貼り付けたチャートをクリックし、ビジュアライゼーションを Column チャートに変更します。

SUM を resource、namespace のみに変更します（フィルターにより問題のあるコードのみに絞り込まれています）。

Chart options でタイトルを Kubernetes Audit Logs - Conflicts by Namespace に変更します。

Save をクリックして閉じます。

Conflicts by Namespace チャートで小さなベルアイコンをクリックし、New detector from chart を選択します。

名前を入力し、Create alert rule をクリックします。

Alert condition で Static Threshold をクリックし、Proceed to Alert Settings をクリックします。

Threshold に 20 を入力します。

このアラートの受信者は選択しないので、Activate をクリックし、Activate Alert Rule と Save を選択します。

右上の Save を最後にもう一度クリックして、ディテクターを保存します。

ダッシュボードに戻ると、チャートに関連付けられたディテクターが、チャート上の点灯したベルアイコンで示されていることが確認できます。

時系列メトリクスが Splunk Observability Cloud のデータストアに取り込まれたので、これらの時系列メトリクスを Splunk Cloud で簡単に可視化できます。

Splunk Cloud インスタンスで Dashboards に移動し、Create New Dashboard を選択します。

Dashboard のタイトル、権限、Dashboard Studio を選択し、任意の Layout Mode を選びます。 Create をクリックします。

Dashboard Studio でチャートアイコンをクリックし、Column を選択します。

Select data source で Create splunk observability cloud metric search を選択します。

新しいデータソースの名前を入力し、Search for metric or metadata の下にある Content Import リンクをクリックします。

チャートの URL をコピーして Content URL フィールドに貼り付けます。

Import をクリックします。

チャートのサイズをダッシュボードに合わせて調整します。

チャートの Configuration の右側にある Interactions を展開し、Add Interaction をクリックします。

Splunk Observability のダッシュボードから URL をコピーします。

On click で Link to custom URL を選択し、ソースデータに簡単に戻れるように Splunk Observability Cloud のダッシュボードの URL を追加します。 また、ナビゲーションを便利にするために Open in new tab を選択します。

右上の Save をクリックしてダッシュボードを保存します。

チャート内のカラムまたは名前をハイライトしてクリックします。

Splunk Observability に戻ることが通知されます。Continue をクリックします。

これで、Splunk Cloud から対応する Splunk Observability ダッシュボードに戻ることができました。