今回、弊社のLabに、初めてLiqid Stackがインストールされました。その時の流れをダイジェスト版として、こちらで紹介させて頂きます。このLiqid Stackのコアであるコンポーザブル・ディスアグリゲーテッド・インフラストラクチャ（CDI）については、以前、紹介させて頂きましたこちらのコラムをご参照頂けます。

第１部：LIQID コンポーザブル・ディスアグリゲーテッド・インフラストラクチャー(CDI)について
第２部：LIQID CDIの動的再構成を試してみました
第３部：LIQID Matrix のユーザーインターフェイスについて
LIQID CDIのサーバーとGPUの接続柔軟性・拡張性について

LIQID Stackのインストール【ダイジェスト】
Liqid Stackをインストールした手順を【前編】と【後編】に分けてご紹介致します。

【前編】
1.インストール準備
・インストール構成について
・設置機器概要
・ケーブルへのラベリング
・設置スペース＆電源
2.ラックへの設置
・設置の流れ
3.電源投入
・電源投入シーケンス
4.初期設定
・TUIメニュー


【後編】
5.電源投入からの使用開始
　・電源投入
6.Liqid Matrix WebUIの操作
　・Liqid Matrixソフトウェア（Command Center）の操作

【前編】

1.インストール準備

・インストール構成について

今回、弊社のLabにインストールされましたLiqid Stackは、最小構成であるSmartStack8をベースに行われました。LiqidのCDIにおいては、SmartStackと呼ばれる、Liqid社で検証済みの構成が用意されています。
SmartStackのデータシート（日本語）には、以下の２つの技術仕様表が記載されています。

  Liqid SmartStack 4410 シリーズ技術仕様
  Liqid SmartStack 4408 シリーズ技術仕様

Liqid SmartStack 4410 シリーズは、LiqidのPCIe拡張シャーシGen4 PCIe 10 Slotを使用、
Liqid SmartStack 4408 シリーズは、LiqidのPCIe拡張シャーシGen4 PCIe 8 Slotを使用、
ご使用されたいPCIeデバイスの数などによって、SmartStackシリーズから、お選びいただけます。今回は、最小構成のSmartStack8をベースに、以下の機器構成で準備が進められました。

Liqid Director(Liqid CDI 管理ノード)　    １U 　　 x1　　
Liqid 24ポートPCIeファブリックスイッチ　１U　　 x1
Liqid PCIe拡張シャーシ(8Slot)　  　　　 4U　   x1
ホストサーバー                   2U　　 x2

また、PCIe拡張シャーシ内に実装するPCIeデバイスは、以下を使用しました。

 PCIeデバイス： NVIDIA GPU Tesla T4
         LIQID LQD3000 （PCIe AIC NVMe SSD）

今回のインストールでは、以下のホストサーバーが使用されました。

 ホストサーバー：Dell PowerEdge R7615

・設置機器概要

Liqid Director
Liqid DirectorはLiqid CDIの管理ノードであり、Liqid Matrixソフトウェアがインストールされており、操作用PCのブラウザから、このDirectorにログインし、WebUI上で操作を行います。

PCIeファブリックスイッチ（FX-9424）
Liqid PCIeファブリックスイッチは、24ポート製品と48ポート製品があります。今回は24ポート製品（FX-9424）を使用しました。

PCIe拡張シャーシ (EX-4408)
このPCIe拡張シャーシには、Liqid CDIでPCIeデバイスをリソースとしてPool化するデバイスをインストールします。重量と発熱がStack内で一番想定されますので、ラック内の一番下に設置しました。

GPUなどのPCIeデバイスを、このPCIe拡張シャーシにインストールする際には、フロント側にある2か所のネジを外し、カバーを開けます。

PCIe拡張シャーシの前面にFANが３つ実装されており（写真の下側）、その後方（写真上側）に8つのGen4 PCIe Slotがあります。以下はNVIDIA GPU T4を2基、LIQID LQD3000 （PCIe AIC NVMe SSD）を１枚インストールした時の写真です。

・ケーブルへのラベリング

MiniSASHDケーブルへのラベリング
配線の際に、どの機器のどのポートには、どの機器のどのポートからのケーブルを挿す、という事が決まっていますので、挿し間違いがないように、以下のようにラベリングを行いました。

・設置スペース＆電源

今回の構成では10U分のスペースとなりますが、IPMIの使用も含まれますので、Ethernet Switch(1U)を加え、合計11U分のスペースのため、20Uのラックに設置しました。また、電源は導入機器に相応しく200Vの給電系を用意しました。

2.ラックへの設置

・設置の流れ

今回使用致しました20Uラックには、全部で6台の機器がインストールされますので、ラックの一番下から、以下の流れで、ラック内に設置しました。

　　・PCIe拡張シャーシをラック内一番下に設置
　　・ラック棚をPCIe拡張シャーシの上に設置
　　・PCIeファブリックスイッチをラック棚の上に設置
　　・PCIe拡張シャーシとPCIeファブリックスイッチの配線
　　・DirectorをPCIeファブリックスイッチの上に設置
　　・Director、PCIeファブリックスイッチ、PCIe拡張シャーシの配線
　　・ホストサーバーにLiqid HBAを実装
　　・ホストサーバーをラック内に設置
　　・ホストサーバーとPCIeファブリックスイッチの配線
　　・Ethernet Switchをラック内一番上に設置：Director、ホストサーバー（IPMI、Ethernet interface）を接続

ラック前面と後方からの写真です。
　　

3.電源投入

・電源投入シーケンス

Liqid Stackは、電源の投入シーケンスが決まっています。ラック内に設置した下の機器から以下の順番となります。それぞれの電源投入は１分程待ち順番に行います。この電源シーケンスを行うのに、PDUを使用するか、手動（電源ケーブルを順番に電源タップにさしていく）で行うか、どちらの方法でも実施可能です。今回は手動での電源投入にしました。

PCIe拡張シャーシ→PCIeファブリックスイッチ→Director→ホストサーバー

4.初期設定

・TUIメニュー

Liqid Stackの使用開始にあたり、初期設定が必要となりますが、Liqid DirectorのTUIメニューで行います。このTUIメニューへのアクセス方法は、以下の２つです。

　－モニターとキーボードをDirectorに接続し、直接TUIにログイン
　－DirectorのIPアドレスが分かっている時は、ターミナルソフトからDirectorへリモートログイン

TUIにログインすると、以下の画面が表示され、DirectorのIPアドレス設定、時刻設定、ホストサーバーのIPMI情報設定等、初期設定に必要なメニューが用意されています。

初期設定を終えた後、使用するPCIeデバイスをPCIe拡張シャーシに入れるため、電源投入時とは逆の順番で電源を落としました。

ホストサーバー→Director→PCIeファブリックスイッチ→PCIe拡張シャーシ

今回は、NVIDIA GPU T4を2基、LQD3000を1枚をPCIe拡張シャーシにインストールしました。