技術コラム

LIQID

LIQID Stackのインストール【ダイジェスト】【後編】

LIQID Stackのインストール【ダイジェスト】【後編】

ここでは、LIQID Stackのインストール【ダイジェスト】【後編】になります。


【後編】
5.電源投入からの使用開始
 ・電源投入
6.Liqid Matrix WebUIの操作
 ・Liqid Matrixソフトウェア(Command Center)の操作


【後編】

5.電源投入からの使用開始

・電源投入

Liqid Stackの電源シーケンスに沿い、Liqid Stackを起動します。

Liqid PCIe拡張シャーシ(EX-4408)
   ↓(60秒待つ、PSUのLEDが緑色に点灯を確認)
 Liqid PCIeファブリックスイッチ(FX-9424)
   ↓(60秒待つ、PSUのLEDが緑色に点灯を確認)
 Liqid Director
   ↓(PSUのLEDが緑色に点灯を確認, WebUIにログイン出来る事を確認)
 ホストサーバー
  (PSUのLEDが正常に起動を示している事を確認し、IPMIへのアクセスを確認)

電源投入後の写真です。
LiqidStack_On

6.Liqid Matrix WebUIの操作

・Liqid Matrixソフトウェア(Command Center)の操作

電源投入後のLiqid Matrixへのログインでは、以下の画面が表示されました。
左側に1つのFabricが表示されており、その右側にアイコンが青く表示されているのがCPU、GPU、SSDです。このCPUの横に表示されている数字の4は、このFabricに4台までのホストサーバーが接続出来る事を意味しています。その右側にある、GPUとSSDは、PCIe拡張シャーシに実装されている数になります。GPUが2、SSDが4と表示されていますが、LQD3000は1枚のPCIe AIC(Add-In-Card)で、オンボードのPCIeスイッチを介して4枚のSSDが実装されており、1枚のLQD3000しか挿していませんが、4つのSSDが表示されています。もしLQD4500を1枚挿していたら、8枚のSSDが1枚のAICに実装されていますので、ここの表示が8となります。
Liqid UI 1A

このファブリックに登録されているリソースを使用するグループを作成し、そのグループで使用するホストサーバー(WebUI上ではMachineと表示されています)として、PCIeファブリックスイッチに接続されているホストサーバーを2台登録すると、以下のように表示されました。Group1というグループに2台のホストサーバーが接続され、Pool化されているPCIeデバイスの数が、Group1の欄にFree Poolとして表示されています。
ホストサーバーの表示の色が、上は青色に、下は緑色に表示されていますが、上のホストサーバーは電源がOFFの状態。下のホストサーバーは、電源がONの状態を示しています。Liqid DirectorとホストサーバーはIPMIで接続されていますので、ホストサーバーの電源ON/OFFは、このWebUIから行う事が出来ます。

Liqid UI 2

・Compose/Disaggregate
Free poolにあるPCIeデバイスをCompose/Disaggregateする時には、対象となるホストサーバーをクリックし、そのサブメニューから行いました。+/-のアイコンがありますので、そのアイコンから、Free PoolからComposeする時には、対象となるPCIeデバイスの(+)プラスアイコンをクリック、もしホストサーバーに割り当てられているPCIeデバイスをDisaggregateしたい際には、対象となるPCIeデバイスの(ー)マイナスアイコンをクリックし、Compose/Disaggregateの操作を行いました。

Compose/DisaggregateによるPCIeデバイスの接続構成変更を行う際に、(+)プラスアイコンによるCompose、(ー)マイナスアイコンによるDisaggregateの操作後には、REPROGRAMボタンをクリックすることにより、その接続構成変更が適用され、Compose/Disaggregateするための操作はこれだけです。

このように、同様のメニューでDisaggregateを行いこのサーバーへのPCIeデバイスの接続を解除する時は(ー)マイナスアイコンをクリックし、Poolに戻します。そして、またPool化されているPCIeデバイスの(+)プラスアイコンをクリックし、CPU2_Host2(Machine2)にGPUとSSDをComposeしますと、いとも簡単に、Machine1に接続したGPUとSSDがMachine2に再構成されます。
Liqid UI9

Machine2にはUbuntuがインストールされていますので、それぞれコマンドでSSDとGPUが見えているか確認してみました。
ComposeされているSSDはコマンドnvme list で以下のように確認出来ました。
command dnvme

また、ComposeされているGPU T4も、nvidia-smiコマンドで、以下のように確認出来ました。(GPUのドライバはインストール済み)
command nvidia-smi

また、1Uサーバーに6基のGPU T4を、このLiqid CDIで接続構成しますと、以下のようにnvidia-smiコマンドで6基のGPUが表示されました。
1U server with 6 GPUs

従来では、高価なGPUなどのPCIeデバイスを複数サーバーで使用したい時は、作業スペースを用意し、サーバーの電源を落とし、サーバーのカバーをはずし、PCIeスロットから対象のPCIeデバイスを抜き、そして、異なるサーバーも同様に電源を落としてからカバーを外し、対象サーバーのPCIeスロットに挿す、等の労力が常に必要となりますが、LiqidのCDIでは、接続されているサーバーのH/W変更作業はなく、今まで出来なかったGPUなどのPCIeデバイスの接続構成変更が容易に行えるようになったり、サーバーの筐体に依存しないPCIeデバイス接続構成が可能となる事が実感できました。