このセクションには、ワークショップ主催者がワークショップをセットアップするために実行する手順が含まれています：
AWSアカウントにOpenShiftをデプロイするには、まずAWSコンソールを使用してRed Hat OpenShiftサービスを有効にする必要があります。
次に、AWSアカウントをRed Hatアカウントに接続する手順に従ってください。
Red Hatクラスターをデプロイするために使用するEC2インスタンスをプロビジョニングしましょう。これにより、Mac OSでROSAコマンドラインインターフェースを実行する際の制限を回避できます。
このワークショップの作成時にはUbuntu 24.04 LTSを使用したt3.xlargeインスタンスタイプを使用しましたが、より小さなインスタンスタイプも使用できます。
インスタンスが起動したら、sshで接続してください。
GitHubリポジトリをEC2インスタンスにクローンします：
以下の手順は、AWSにOpenShiftクラスターをデプロイする前に必要です。
最初に行う必要があるのは、Red Hatのアカウントを作成することです。こちらのフォームに記入して作成できます。
以前プロビジョニングしたEC2インスタンスにAWS CLIをインストールするには、以下のコマンドを実行します：
以下のコマンドを使用して、正常にインストールされたことを確認します：
以下のような結果が返されるはずです：
お好みの方法でAWSアカウントにログインしてください。ガイダンスについてはドキュメントを参照してください。例えば、aws configureコマンドを実行してログインできます。
aws ec2 describe-instancesなどのコマンドを実行して、正常にログインできていることを確認してください。
次に、以下のコマンドでアカウントIDを確認します：
ELB (Elastic Load Balancing)のサービスロールが存在するかどうかを確認します：
ロールが存在しない場合は、以下のコマンドを実行して作成します：
デプロイにはROSAコマンドラインインターフェース (CLI)を使用します。手順はRed Hatドキュメントに基づいています。
お使いのオペレーティングシステム用のROSA CLIの最新リリースはこちらからダウンロードできます。
または、以下のコマンドを使用してCLIバイナリをEC2インスタンスに直接ダウンロードすることもできます：
コンテンツを解凍します：
結果のファイル(rosa)をパスに含まれている場所に移動します。例えば：
以下のコマンドを実行してRed Hatアカウントにログインし、コマンド出力の指示に従ってください：
以下のコマンドを使用して、OpenShift CLIバイナリをEC2インスタンスに直接ダウンロードできます：
コンテンツを解凍します：
結果のファイル(ocとkubectl)をパスに含まれている場所に移動します。例えば：
以下のコマンドを使用して、必要なアカウント全体のロールとポリシーを作成します：
OpenShiftクラスターをデプロイするために、Hosted Control Plane (HCP)デプロイオプションを使用します。これを行うには、以下のコマンドを使用してAWSアカウントに新しいVPCを作成する必要があります：
注意: リージョンを環境に合わせて更新してください。
重要: このコマンドの結果として作成されたサブネットIDをメモしておいてください。クラスターを作成する際に必要になります。また、ネットワークを削除する場合に後で必要になるCloudFormationスタック名もメモしておいてください。
注意: デフォルトでは、各AWSリージョンはElastic IPアドレスが5つに制限されています。「The maximum number of addresses has been reached.」というエラーが発生した場合は、AWSに連絡してこの制限の引き上げをリクエストするか、ROSA用のVPCを作成するために別のAWSリージョンを選択する必要があります。
Red Hat OpenShift Service on AWSクラスターを作成する前に、以下のコマンドでOpenID Connect (OIDC)設定を作成しましょう：
重要: 作成されたoidc-provider idをメモしておいてください。
ROSA CLIを使用してOpenShiftクラスターをデプロイします。
まず、いくつかの環境変数を設定する必要があります：
注意: EXPORTコマンドを実行する前に、サブネットIDとOIDC IDを入力してください。
以下のコマンドを使用して、OIDC設定用のオペレーターロールを作成します：
注意: プロンプトが表示されたら、デフォルト値をそのまま使用してください。
次に、以下のようにしてクラスターを作成できます：
g5.4xlargeインスタンスタイプを指定していることに注意してください。これには、このワークショップの後半で使用するNVIDIA GPUが含まれています。このインスタンスタイプは比較的高価で、執筆時点で1時間あたり約$1.64であり、2つのレプリカをリクエストしているため、クラスターの実行時間に注意してください。コストはすぐに蓄積されます。
クラスターの準備ができたかどうかを確認するには、以下を実行します：
クラスターのインストールログを監視するには、以下を実行します：
以下のコマンドを使用して、oc CLIをOpenShiftクラスターに接続します：
注意:
rosa describe cluster -c $CLUSTER_NAMEコマンドを実行し、結果のAPI Server URLを以下のコマンドに代入してから実行してください。例えば、サーバー名はhttps://api.rosa-test.aaa.bb.openshiftapps.com:443のようになります。
クラスターに接続したら、ノードが起動して実行されていることを確認します：
NVIDIA GPU Operator は、Kubernetesクラスター内でGPUをプロビジョニングするために必要なすべてのNVIDIAソフトウェアコンポーネントのデプロイ、設定、管理を自動化するKubernetes Operatorです。
NVIDIA NIM Operator は、このワークショップで以前作成したOpenShiftクラスターなどのKubernetes環境でLLMをデプロイするために使用されます。
このワークショップのセクションでは、OpenShiftクラスターにNVIDIA GPUとNIM Operatorの両方をデプロイするために必要な手順を説明します。
LLMをダウンロードしてNVIDIA NIM Operatorを使用してデプロイするには、NVIDIA GPU CLOUD (NGC)アカウントが必要です。こちらから登録してアカウントを作成できます。
NVIDIA Developer Programに登録すると、このワークショップの後半でLLMをデプロイするために使用するNVIDIA NIMにアクセスできます。
NGCのNVIDIAサブスクリプションリストにNVIDIA Developer Programが表示されていることを確認してください：
NGCウェブサイトにログインしたら、画面右上のユーザーアカウントアイコンをクリックし、Setupを選択します。
次に、Generate API Keyをクリックし、手順に従ってください。キーがNGC CatalogとSecrets Managerサービスに関連付けられていることを確認してください。
生成されたキーは安全な場所に保存してください。このワークショップの後半で使用します。
NGC APIキーの生成に関する詳細については、NVIDIAドキュメントを参照してください。
このセクションの手順は、CLIを使用したNFD Operatorのインストールに基づいています。
以下のスクリプトを実行して、Node Feature Discovery Operatorをインストールします：
Operatorのデプロイが成功したことを確認するには、以下を実行します：
このセクションの手順は、CLIを使用したNodeFeatureDiscovery CRの作成に基づいています。
以下のスクリプトを実行して、Node Feature Discovery CRを作成します：
このセクションの手順は、OpenShiftへのNVIDIA GPU Operatorのインストールに基づいています。
以下のスクリプトを実行して、NVIDIA GPU Operatorをインストールします：
インストールプランが作成されるまで待ちます：
以下のコマンドでインストールプランを承認します：
このセクションの手順は、CLIを使用したクラスターポリシーの作成に基づいています。
以下のコマンドを使用して、NVIDIA GPU Operatorが正常にインストールされたことを確認します：
このセクションの手順は、GitHubリリースからのインストールに基づいています。
プラットフォーム情報を設定します：
お使いのプラットフォーム用のバイナリをダウンロードします：
keyserver.ubuntu.comからoperator-sdkリリースのGPGキーをインポートします：
チェックサムファイルとその署名をダウンロードし、署名を検証します：
以下のような出力が表示されるはずです：
チェックサムが一致することを確認します：
以下のような出力が表示されるはずです：
このセクションの手順は、NGC CLIインストールに基づいています。
Download CLIをクリックしてバイナリを含むzipファイルをダウンロードし、権限のあるディレクトリにzipファイルを転送してから解凍してバイナリを実行します。また、実行権限のあるディレクトリに移動し、以下のコマンドを実行することで、コマンドラインからダウンロード、解凍、インストールを行うこともできます：
ダウンロード中にファイルが破損していないことを確認するために、バイナリのmd5ハッシュを確認します：
ダウンロード中にファイルが破損していないことを確認するために、バイナリのSHA256ハッシュを確認します。以下のコマンドを実行します：
リソースのリリースノートにも記載されている以下の値と比較してください：
値を確認した後、NGC CLIバイナリを実行可能にし、現在のディレクトリをパスに追加します：
コマンドを実行できるように、NGC CLIを設定する必要があります。
以下のコマンドを入力し、プロンプトが表示されたらAPIキーを入力してください：
NGC APIキーを含む環境変数を定義します：
このセクションの手順は、operator-sdkを使用したRed Hat OpenShiftへのNIM Operatorのインストール（開発専用）に基づいています。
以下のスクリプトを実行して、NIM Operatorをインストールします：
コントローラーPodが実行されていることを確認します：
このセクションでは、NVIDIA NIM Operatorを使用して、2つのLarge Language ModelsをOpenShiftクラスターにデプロイします。
NVIDIA NGCからコンテナイメージをダウンロードするためのDockerレジストリSecretを追加します：
モデルプーラーコンテナがNVIDIA NGCからモデルをダウンロードするために使用する汎用Secretを追加します：
以下のコマンドを実行して、NIMCacheとNIMServiceを作成します：
Persistent Volumeが作成され、Persistent Volume Claimが正常にバインドされたことを確認します：
注意: これには数分かかる場合があります
NIMCacheがReadyであることを確認します：
NIMServiceがReadyであることを確認します：
LLMが期待通りに動作していることを確認しましょう。
curlコマンドにアクセスできるPodを起動します：
次に、以下のコマンドを実行してLLMにプロンプトを送信します：
また、クラスターにembeddingsモデルをデプロイします。これは、このワークショップの後半でRetrieval Augmented Generation (RAG)を実装するために使用されます。
以下のコマンドを実行して、embeddingsモデルをデプロイします：
NIMServiceがReadyであることを確認します：
embeddingsモデルが期待通りに動作していることを確認しましょう。
curlコマンドにアクセスできるPodを起動します：
次に、以下のコマンドを実行してLLMにプロンプトを送信します：
このセクションでは、ワークショップの各参加者用にユーザーを作成し、それぞれに Namespace とリソースクォータを割り当てます。
参加者の認証情報を含む HTPasswd ファイルを作成し、ROSA が管理する HTPasswd IdP をカスタムのものに置き換えます。
cluster-admin ユーザーを再作成し、再度ログインします。
各ユーザーに自分の Namespace のみへのアクセス権を付与します。
注意: 以下のようなエラーが表示された場合、安全に無視できます。
ローカルマシンからログインをテストするには、OpenShift CLI をインストールする必要があります。
MacOS の場合、Homebrew パッケージマネージャーを使用して OpenShift CLI をインストールできます。
その他のインストールオプションについては、OpenShift のドキュメントを参照してください。
ローカルマシンからワークショップユーザーの1人としてログインしてみます。
以下のように表示されるはずです。
ワークショップユーザーアカウントから LLM にアクセスできることを確認します。
curl コマンドを使用できる Pod を起動します。
次に、以下のコマンドを実行して LLM にプロンプトを送信します。
このセクションでは、clusterReceiver のみを有効にした OpenTelemetry Collector をインストールします（ワークショップ参加者は自分の Namespace に独自のエージェントをインストールします）。 次に、この Collector のインストールによって作成された ClusterRole を、各ワークショップ参加者の Namespace にバインドします。
まず、Collector 用の新しいプロジェクトを作成し、そのプロジェクトに切り替えます。
Splunk OpenTelemetry Collector for Kubernetes の Helm チャートリポジトリを追加します。
リポジトリが最新であることを確認します。
./admin-otel-collector/admin-otel-collector-values.yaml ファイルを確認します。このファイルを使用して OpenTelemetry Collector をインストールします。
Collector のデータ送信先となる Splunk 環境を設定するための環境変数を設定します。
次に、以下のコマンドを使用して Collector をインストールします。
以下のコマンドを実行して、すべての Collector Pod が実行中であることを確認します。
また、各 Namespace の ServiceAccount に SecurityContextConstraint（SCC）を付与する必要があります。
このステップでは、OpenShift クラスターにベクターデータベースをデプロイし、ワークショップ参加者が使用するテストデータを投入します。
このワークショップでは、オープンソースのベクターデータベースである Weaviate をデプロイします。
まず、Weaviate の Helm チャートを含む Weaviate Helm リポジトリを追加します。
weaviate/weaviate-values.yaml ファイルには、Weaviate ベクターデータベースのデプロイに使用する設定が含まれています。
Weaviate が Prometheus receiverでスクレイピングできるメトリクスを公開するように、以下の環境変数を TRUE に設定しています。
追加のカスタマイズオプションについては、Weaviate のドキュメントを参照してください。
新しい Namespace を作成します。
以下のコマンドを実行して、Weaviate が特権コンテナを実行できるようにします。
注意: この方法は本番環境では推奨されません。
次に、Weaviate をデプロイします。
Weaviate が起動したので、ワークショップでカスタムアプリケーションと共に使用するデータを追加します。
この作業に使用するアプリケーションは、LangChain Playbook for NeMo Retriever Text Embedding NIM に基づいています。
./load-embeddings/k8s-job.yaml の設定に従い、NVIDIA H200 Tensor Core GPU のデータシートをベクターデータベースにロードします。
このドキュメントには、大規模言語モデルが学習していない NVIDIA H200 GPU に関する情報が含まれています。ワークショップの次のパートでは、ベクターデータベースにロードされたこのドキュメントのコンテキストを使用して、LLM が質問に回答するアプリケーションを構築します。
OpenShift クラスターに Kubernetes Job をデプロイしてエンベディングをロードします。 このプロセスが1回だけ実行されるようにするために、Pod ではなく Kubernetes Job を使用します。
注意: エンベディングを Weaviate にロードする Python アプリケーションの Docker イメージをビルドするために、以下のコマンドを実行しました。
このステップでは、Portworx メトリクスエンドポイントを模倣する Python サービスをデプロイします。 これはワークショップで Pure Storage のモニタリングを設定する際に使用します。
以下のコマンドを実行して、Portworx メトリクスエンドポイントサービスをデプロイします。
Portworx メトリクスエンドポイントが期待通りに動作していることを確認します。
curl コマンドを使用できる Pod を起動します。
次に、以下のコマンドを実行してエンドポイントにリクエストを送信します。
ワークショップが完了したら、このセクションの手順に従って OpenShift クラスターをアンインストールします。
以下のコマンドを実行して、クラスター ID、クラスター固有の Operator ロールの Amazon Resource Names（ARN）、および OIDC プロバイダーのエンドポイント URL を取得します。
以下のコマンドを使用してクラスターを削除します。
クラスター固有の Operator IAM ロールを削除します。
注意: プロンプトが表示されたら、デフォルト値をそのまま受け入れてください。
OIDC プロバイダーを削除します。
注意: プロンプトが表示されたら、デフォルト値をそのまま受け入れてください。
ネットワークを削除します。
注意: 以下のコマンドを実行する前に、ネットワークの作成に使用した CloudFormation スタックの名前を追加してください。
AWS アカウントから Red Hat OpenShift Service を完全に削除したい場合は、OpenShift のドキュメントを参照してください。