Ingest Pipeline の作成

シナリオ概要

このシナリオでは、組織のSplunk Enterprise Cloud環境の管理を担当するSplunk管理者の役割を担います。最近、社内のアプリケーションチームと協力して、重要なマイクロサービスアプリケーションを監視するために、OpenTelemetryを使用してSplunk APMとInfrastructure MonitoringでKubernetes環境を計装しました。

Kubernetes環境からのログも収集され、Splunk Enterprise Cloudに送信されています。これらのログには以下が含まれます：

Podログ（アプリケーションログ）
Kubernetes Events
Kubernetes Clusterログ
- Control Plane Nodeログ
- Worker Nodeログ
- Auditログ

Splunk管理者として、収集しているデータが最適化されていることを確認し、可能な限り効率的な方法で分析できるようにしたいと考えています。このアプローチを採用することで、トラブルシューティングが加速され、ライセンスの効率的な利用が確保されます。

これを達成する1つの方法は、Ingest Processorを使用して充実したログをメトリクスに変換し、それらのメトリクスの宛先としてSplunk Observability Cloudを使用することです。これにより、ログの収集がより効率的になるだけでなく、新しく作成されたメトリクスをSplunk Observabilityで使用できるようになり、Splunk APMデータ（トレース）やSplunk Infrastructure Monitoringデータと相関させて、追加のトラブルシューティングコンテキストを提供できます。Splunk Observability Cloudはストリーミングメトリクスパイプラインを使用しているため、メトリクスに対してリアルタイムでアラートを設定でき、問題の特定を高速化できます。さらに、Metrics Pipeline Management機能を使用して、集約、不要なフィールドの削除、重要度の低いまたは不要なメトリクスのアーカイブによってデータをさらに最適化できます。

次のステップでは、Kubernetes AuditログをObservability Cloudに送信されるメトリクスに変換するIngest Processor Pipelineを作成します。

Splunk Cloud へのログイン

このセクションでは、Kubernetes AuditログをSplunk Observability Cloudワークショップ組織に送信されるメトリクスに変換するIngest Pipelineを作成します。開始する前に、Splunk Showイベントの詳細に記載されているSplunk CloudおよびIngest Processor SCS Tenant環境にアクセスする必要があります。

前提条件: Splunk Enterprise Cloudへのログイン

1. Splunk Showイベントの詳細に記載されている Ingest Processor Cloud Stack URLを開きます。

2. Connection infoで Stack URL リンクをクリックして、Splunk Cloudスタックを開きます。

3. admin ユーザー名とパスワードを使用してSplunk Cloudにログインします。

4. ログイン後、プロンプトが表示されたら、利用規約に同意して OK をクリックします。

5. Splunk Showイベントの詳細に戻り、Ingest Processor SCS Tenantを選択します。

6. Console URL をクリックして Ingest Processor SCS Tenant にアクセスします。

Note

Single Sign-On (SSO) Splunk Data Managementサービス（‘SCS Tenant’）とSplunk Cloud環境の間でSingle Sign-on (SSO) が設定されているため、すでにSplunk Cloudスタックにログインしている場合は、Splunk Data Managementサービスにも自動的にログインされます。認証情報の入力を求められた場合は、Splunk ShowイベントのSplunk Cloud Stackに記載されている認証情報を使用してください（‘Splunk Cloud Stack’ セクションに記載されています）。

Kubernetes Audit ログの確認

このセクションでは、収集されているKubernetes Auditログを確認します。イベントが非常に充実していることがわかります。これにより、チャート作成が非効率になる可能性があります。これに対処するために、Ingest ProcessorでIngest Pipelineを作成し、これらのイベントをSplunk Observability Cloudに送信されるメトリクスに変換します。これにより、イベントをより効率的にチャート化し、Splunk Observability Cloudのリアルタイムストリーミングメトリクスを活用できるようになります。

演習: Ingest Pipelineの作成

1. Splunk Showワークショップの詳細に記載されているURLを使用して、Ingest Processor Cloud Stack インスタンスを開きます。

2. Apps → Search and Reporting に移動します。

3. 検索バーに、以下のSPL検索文字列を入力します。

Note

USER_ID をSplunk Showインスタンス情報に記載されているUser IDに置き換えてください。

### Replace USER_ID with the User ID provided in your Splunk Show instance information
index=main sourcetype="kube:apiserver:audit:USER_ID"

4. Enter を押すか、緑色の虫眼鏡をクリックして検索を実行します。

Note

これで、環境のKubernetes Auditログが表示されるはずです。イベントがかなり充実していることに注目してください。利用可能なフィールドを探索し、どの情報がメトリクスとディメンションの良い候補になるか考え始めてください。自問してください：どのフィールドをチャート化したいか、それらのフィールドをどのようにフィルタリング、グループ化、または分割したいか？

Ingest Pipeline の作成

このセクションでは、Kubernetes AuditログをSplunk Observability Cloudワークショップ組織に送信されるメトリクスに変換するIngest Pipelineを作成します。

演習: Ingest Pipelineの作成

1. Splunk Showイベントで提供された接続情報を使用して、Ingest Processor SCS Tenant を開きます。

Note

Ingest Processor SCS Tenant を開いた際、ウェルカムページに移動した場合は、Splunk Cloud Platform の下にある Launch をクリックして、Ingest Pipelineを設定するData Managementページに移動してください。

2. Splunk Data Managementコンソールから Pipelines → New pipeline → Ingest Processor pipeline を選択します。

3. Ingest Processor設定ページの Get started ステップで、Blank Pipeline を選択し、Next をクリックします。

4. Ingest Processor設定ページの Define your pipeline’s partition ステップで、Partition by sourcetype を選択します。= equals Operatorを選択し、値として kube:apiserver:audit:USER_ID を入力します（USER_IDを割り当てられたUser IDに置き換えてください）。Apply をクリックします。

5. Next をクリックします。

6. Ingest Processor設定ページの Add sample data ステップで、Capture new snapshot を選択します。Snapshot nameに k8s_audit_USER_ID と入力し（USER_IDを割り当てられたUser IDに置き換えてください）、Capture をクリックします。

7. 新しく作成したスナップショット（k8s_audit_USER_ID）が選択されていることを確認し、Next をクリックします。

8. Ingest Processor設定ページの Select a metrics destination ステップで、show_o11y_org を選択します。Next をクリックします。

9. Ingest Processor設定ページの Select a data destination ステップで、splunk_indexer を選択します。Specify how you want your events to be routed to an index の下で、Default を選択します。Done をクリックします。

10. Pipeline search field で、デフォルトの検索を以下に置き換えます。

Note

メトリクス名の UNIQUE_FIELD を、Observability Cloud でメトリクスを識別するために使用する一意の値（イニシャルなど）に置き換えてください。

/*A valid SPL2 statement for a pipeline must start with "$pipeline", and include "from $source" and "into $destination".*/
/* Import logs_to_metrics */
import logs_to_metrics from /splunk/ingest/commands
$pipeline =
| from $source
| thru [
        //define the metric name, type, and value for the Kubernetes Events
        //
        // REPLACE UNIQUE_FIELD WITH YOUR INITIALS
        //
        | logs_to_metrics name="k8s_audit_UNIQUE_FIELD" metrictype="counter" value=1 time=_time
        | into $metrics_destination
    ]
| eval index = "kube_logs"
| into $destination;

SPL2が初めてですか？

SPL2クエリが行っていることの内訳は以下の通りです：

まず、Kubernetesイベントをメトリクスに変換するために使用される組み込みの logs_to_metrics コマンドをインポートしています。
右側に表示されている、kube:apiserver:audit sourcetypeからの任意のイベントであるソースデータを使用しています。
次に、thru コマンドを使用して、ソースデータセットを次のコマンド（この場合は logs_to_metrics）に書き込みます。
メトリクス名（k8s_audit）、メトリクスタイプ（counter）、値、タイムスタンプがすべてメトリクスに提供されていることがわかります。イベントが発生した回数をカウントしたいため、このメトリクスには値として1を使用しています。
次に、into $metrics_destintation コマンドを使用してメトリクスの宛先を選択します。これはSplunk Observability Cloud組織です。
最後に、生のログイベントを別の宛先（この場合は別のインデックス）に送信できるため、アクセスが必要になった場合に保持されます。

11. 右上隅の Preview ボタンをクリックするか、CTRL+Enter（MacではCMD+Enter）を押します。Previewing $pipeline ドロップダウンから $metrics_destination を選択します。Splunk Observability Cloudに送信されるメトリクスのプレビューが表示されていることを確認します。

12. 右上隅の Save pipeline ボタンをクリックします。パイプライン名に Kubernetes Audit Logs2Metrics USER_ID と入力し、Save をクリックします。

13. 保存をクリックすると、新しく作成したパイプラインを適用するかどうか尋ねられます。Yes, apply をクリックします。

Note

Ingest Pipelineは現在Splunk Observability Cloudにメトリクスを送信しているはずです。次のセクションで再び使用するため、このタブを開いたままにしておいてください。

次のステップでは、Splunk Observability Cloudで作成したメトリクスを表示して、パイプラインが動作していることを確認します。

Observability Cloud でのメトリクス確認

Kubernetes Auditログをメトリクスに変換してSplunk Observability Cloudに送信するIngest Pipelineが設定されたので、メトリクスが利用可能になっているはずです。メトリクスが収集されていることを確認するには、以下の手順を完了してください：

演習: Splunk Observability Cloudでのメトリクス確認

1. ワークショップ用に招待された Splunk Observability Cloud 組織にログインします。右上隅の + アイコン → Chart をクリックして、新しいチャートを作成します。

2. 新しく作成したチャートの Plot Editor で、Ingest Pipeline の設定時に使用したメトリクス名を入力します。

Info

Ingest Pipelineで作成したメトリクスが表示されるはずです。次のセクションで再び使用するため、このタブを開いたままにしておいてください。

次のステップでは、Ingest Pipelineを更新してメトリクスにディメンションを追加し、アラートとトラブルシューティングのための追加コンテキストを得られるようにします。

Ingest Pipeline の作成

シナリオ概要

3. Ingest Pipeline の作成のサブセクション

Splunk Cloud へのログイン

Kubernetes Audit ログの確認

Ingest Pipeline の作成

Observability Cloud でのメトリクス確認