パイプラインの更新とメトリクスの可視化
Kubernetes 監査イベントメトリクスの可視化
ディメンションの追加、メトリクスの集約、ノイズの多い auditID ディメンションの削除が完了したので、集約されたメトリクスを使用して、さまざまな Kubernetes アクションの健全性を示すチャートを作成します。
演習: Kubernetes 監査イベントメトリクスの可視化
1. 右上隅の + アイコン → Chart をクリックして、新しいチャートを作成します。Plot Editor でメトリクス名フィールドに k8s_audit_UNIQUE_ID.without.auditID.agg と入力します。このチャートでは新しく作成した集約メトリクスを使用していることに注目してください。
クリーンで低カーディナリティのメトリクスが利用可能になったので、アクションにエラーが関連付けられているかどうかを表示するようにチャートを調整しましょう。
まず、response_status フィールドで利用可能な HTTP レスポンスコードを使用して、成功しなかった Kubernetes イベントのみにフィルタリングします。レスポンスコードが 409（コンフリクトを示します。例えば、既に存在するリソースを作成しようとした場合）または 503（リクエストに対して API が応答しなかったことを示します）のイベントのみを対象とします。
2. チャートのプロットエディタで Add filter をクリックし、フィールドに response_status を使用し、値として 409.0 と 503.0 を選択します。
次に、resource、action、response status でグループ化されたイベントの合計数を計算する関数をチャートに追加します。これにより、どのアクションと関連リソースにエラーがあったかを正確に確認できます。これで、成功しなかった Kubernetes イベントのみを表示しています。
3. Add analytics → Sum → Sum:Aggregation をクリックし、Group by フィールドに resource、action、response_status を追加します。
4. 上部のボタンにあるチャートタイプを使用して、チャートを heatmap に変更します。Plot editor の横にある Chart options をクリックします。Group by セクションで response_status、次に action を選択します。Color threshold を Auto から Fixed に変更します。青い + button をクリックして別のしきい値を追加します。Down arrow を Yellow に、Middle を orange に変更します。Up arrow は red のままにします。中間しきい値に 1、上限しきい値に 5 cpm を入力します。
5. チャートの右上隅にある青い Save as…
6. Choose a dashboard で New dashboard を選択します。
7. 後で簡単に見つけられるように、イニシャルを含むダッシュボード名を入力します。Save をクリックします。
8. 作成した新しいダッシュボードが選択されていることを確認し、Ok をクリックします。
作成したチャートを含む新しい Kubernetes Audit Events ダッシュボードが表示されます。環境内の他のメトリクスから新しいチャートを追加できます。例えば、Kubernetes クラスター上で実行されているアプリケーションのエラーやレスポンスタイム、Pod フェーズや Pod メモリ使用率などの他の Kubernetes メトリクスを追加して、クラスターイベントからアプリケーションの健全性まで、Kubernetes 環境の相関ビューを得ることができます。
チャートのビジュアライゼーションボックスの右上にある三点リーダー ... を使用して、このチャートのコピーを作成します。
UI の右上にある + アイコンを使用して、作業中の同じダッシュボードに貼り付けます。
貼り付けたチャートをクリックし、ビジュアライゼーションを Column チャートに変更します。
SUM を resource、namespace のみに変更します（フィルターにより問題のあるコードのみに絞り込まれています）。
Chart options でタイトルを Kubernetes Audit Logs - Conflicts by Namespace に変更します。
Save をクリックして閉じます。
オプション演習: Kubernetes 監査ログに基づくディテクターの作成
Conflicts by Namespace チャートで小さなベルアイコンをクリックし、New detector from chart を選択します。
名前を選択し、Create alert rule をクリックします。
Alert condition で Static Threshold をクリックし、Proceed to Alert Settings をクリックします。
Threshold に 20 を入力します。
このアラートの受信者は選択しないので、Activate をクリックし、Activate Alert Rule を選択して Save をクリックします。
右上の Save を最後にもう一度クリックして、ディテクターを保存します。
ダッシュボードに戻ると、チャートに関連付けられたディテクターが、チャート上の点灯したベルアイコンで示されていることが確認できます。
オプション演習: Splunk Cloud - Dashboard Studio で時系列データを可視化する
時系列メトリクスが Splunk Observability Cloud のデータストアに取り込まれたので、Splunk Cloud でこれらの時系列メトリクスを簡単に可視化できます。
Splunk Cloud インスタンスで Dashboards に移動し、Create New Dashboard を選択します。
Dashboard のタイトル、権限、Dashboard Studio を選択し、任意の Layout Mode を選択します。 Create をクリックします。
Dashboard Studio でチャートアイコンをクリックし、Column を選択します。
Select data source で Create splunk observability cloud metric search を選択します。
新しいデータソースの名前を選択し、Search for metric or metadata の下にある Content Import リンクをクリックします。
チャートの URL をコピーして Content URL フィールドに貼り付けます。
Import をクリックします。
チャートをダッシュボードに合わせてサイズ調整します。
チャートの Configuration の右側にある Interactions を展開し、Add Interaction をクリックします。
Splunk Observability のダッシュボードから URL をコピーします。
On click で Link to custom URL を選択し、ソースデータに簡単にナビゲートできるように Splunk Observability Cloud のダッシュボードの URL を追加します。 また、ナビゲーションを便利にするために Open in new tab を選択します。
右上の Save をクリックして Dashboard を保存します。
チャート内のカラムまたは名前をハイライトしてクリックします。
Splunk Observability に戻ることが通知されます。Continue をクリックします。
Splunk Cloud から対応する Splunk Observability ダッシュボードに戻ることができました。