LIQID CDI – コンポーザブルCXLメモリソリューション
LIQID
（概説）LIQID CDI コンポーザブル・ディスアグリゲーテッド・ソリューション
LIQID CDI コンポーザブルGPU & コンポーザブルCXLメモリ
LIQID社は米国コロラドに本社を置く、コンポーザブル・ディスアグリゲーテッド・インフラストラクチャー（以後、CDI）のリーディングサプライヤです。
AI開発で欠かすことのできない大規模言語モデルは非常に大きな計算機リソースを必要とします。この要求を十分満足できる組織は少なく、国家予算レベルの投資や、また潤沢な資金を持つハイパースケーラと呼ばれる少数の企業がこぞって先鞭をつけました。ここで言う計算機リソースとは、簡潔に言えばサーバです。一般的に、マザーボードにCPU、DRAM、SSDあるいはGPUや外部接続のための各種ネットワークカードなどのコンポーネントを搭載するコンピュータ・システムをベアメタルサーバと呼びますが、これに何らかのOSやソフトウェアを搭載してサーバとして稼働させます。
従来、大規模な計算が必要な場合、コンピュータを疎結合したり密結合したりすることで必要な計算資源を確保してきました。昨今主流であったのはインフィニバンドや高速イーサネットで多数のサーバをネットワーク接続するサーバ・クラスターであります。しかし、従来のこのコンピュータ・アーキテクチャでは、現在発展している生成AI開発を支えきれなくなる懸念が出てきています。その懸念とは、一つにはエネルギー問題、具体的には、電力と熱の問題であり（熱は電力消費の結果であるので、源は電力である）、また、それ以外のいくつかの意味での効率の問題があります。
近年その存在が身近になってきているメガ・データセンターですが、内部には膨大な数のサーバが収容されています。このサーバの計算能力を用いて生成AIをはじめ各種AI関連のワークロード処理が行われているわけですが、それらサーバ一台一台に給電するための膨大な電力が必要です。そして電力消費をすれば、必然熱が発生します。これらを低減するための施策が急務であり、その施策の一つがコンピュータ・アーキテクチャの変革であります。
生成AIの計算処理は大半がサーバに搭載されるGPUで行われますが、サーバにはこのGPUの他に、多数のコンポーネントも搭載されており、例えそれらの使用率が低くても搭載されている限りは給電しなければならず、実に非効率であります。であるならば、これら非効率なコンポーネントをサーバから抜き出し集約し（プール化）、使いたいときに使いたい量の計算機リソースを効率よく動作させるアーキテクチャを考案すれば良いのではないか？という発想です。
CDIによるGPUプーリング イメージ図
この発想にはもう一つ別の文脈もあります。通常、データセンターに導入するサーバはまず要求仕様が検討され、その仕様に応じてサーバ筐体内部に搭載する各コンポーネント（CPU, DRAM, SSD, GPU, NIC等）の仕様・容量・数量が内定し、筐体のサイズ等と合わせて最終構成が決まります。ところが実際に使い始めてみると、導入したサーバ仕様が過剰であったり、逆に不足であったりすることがままあります。折角多額の投資をして導入したサーバ群ですが、しかし、だからと言って、一旦サーバに搭載したコンポーネントは簡単には変更（移設）することはできません。また、サーバの使用率は個々に高低あり、折角給電していても使用されていない個体もあります。
これらの課題を解決する有力な候補となるのが、ディスアグリゲーテッド・コンピューティングと呼ばれるアーキテクチャであり、ここで紹介するLIQID CDI (Composable Disaggregated Infrastructure) はその最先端のソリューション製品です。CDIを簡潔に定義すると、サーバに搭載されているデバイス(GPU, NIC, SSD, DRAM等）をプールとして外部集約し、ネットワーク接続されたサーバ間で動的にタイムシェアする技術、となります。
現在、LIQID CDIはGPU等のPCIeデバイスを対象とするラインナップ製品（コンポーザブルGPU）と、新たに標準化が進んでいるCXLメモリを対象とするラインアップ（コンポーザブルCXLメモリ）の大きく二つに分かれ、それぞれ以下のタブで概説しています。
また、具体的な製品ラインナップとしては以下の三種類をご提供いたします。詳細は弊社ホームページの各製品ページをご参照ください。
＜LIQID CDI コンポーザブルGPU＞*GPU以外のPCIeデバイスもサポート対象
・LIQID CDI PCIe Gen4 : PCIe Gen4デバイスをサポートする製品群
・LIQID CDI PCIe Gen5：PCIe Gen5デバイス（最新のNvidia GPUなど）をサポートする製品群
＜LIQID CDI コンポーザブルCXLメモリ＞
・LIQID CDI CXL 2.0：CXLメモリ（CXL2.0）をサポートする製品群
CDIが可能にするGPUプールとメモリプール イメージ図
AI開発で欠かすことのできない大規模言語モデルは非常に大きな計算機リソースを必要とします。この要求を十分満足できる組織は少なく、国家予算レベルの投資や、また潤沢な資金を持つハイパースケーラと呼ばれる少数の企業がこぞって先鞭をつけました。ここで言う計算機リソースとは、簡潔に言えばサーバです。一般的に、マザーボードにCPU、DRAM、SSDあるいはGPUや外部接続のための各種ネットワークカードなどのコンポーネントを搭載するコンピュータ・システムをベアメタルサーバと呼びますが、これに何らかのOSやソフトウェアを搭載してサーバとして稼働させます。
従来、大規模な計算が必要な場合、コンピュータを疎結合したり密結合したりすることで必要な計算資源を確保してきました。昨今主流であったのはインフィニバンドや高速イーサネットで多数のサーバをネットワーク接続するサーバ・クラスターであります。しかし、従来のこのコンピュータ・アーキテクチャでは、現在発展している生成AI開発を支えきれなくなる懸念が出てきています。その懸念とは、一つにはエネルギー問題、具体的には、電力と熱の問題であり（熱は電力消費の結果であるので、源は電力である）、また、それ以外のいくつかの意味での効率の問題があります。
近年その存在が身近になってきているメガ・データセンターですが、内部には膨大な数のサーバが収容されています。このサーバの計算能力を用いて生成AIをはじめ各種AI関連のワークロード処理が行われているわけですが、それらサーバ一台一台に給電するための膨大な電力が必要です。そして電力消費をすれば、必然熱が発生します。これらを低減するための施策が急務であり、その施策の一つがコンピュータ・アーキテクチャの変革であります。
生成AIの計算処理は大半がサーバに搭載されるGPUで行われますが、サーバにはこのGPUの他に、多数のコンポーネントも搭載されており、例えそれらの使用率が低くても搭載されている限りは給電しなければならず、実に非効率であります。であるならば、これら非効率なコンポーネントをサーバから抜き出し集約し（プール化）、使いたいときに使いたい量の計算機リソースを効率よく動作させるアーキテクチャを考案すれば良いのではないか？という発想です。
CDIによるGPUプーリング イメージ図
この発想にはもう一つ別の文脈もあります。通常、データセンターに導入するサーバはまず要求仕様が検討され、その仕様に応じてサーバ筐体内部に搭載する各コンポーネント（CPU, DRAM, SSD, GPU, NIC等）の仕様・容量・数量が内定し、筐体のサイズ等と合わせて最終構成が決まります。ところが実際に使い始めてみると、導入したサーバ仕様が過剰であったり、逆に不足であったりすることがままあります。折角多額の投資をして導入したサーバ群ですが、しかし、だからと言って、一旦サーバに搭載したコンポーネントは簡単には変更（移設）することはできません。また、サーバの使用率は個々に高低あり、折角給電していても使用されていない個体もあります。
これらの課題を解決する有力な候補となるのが、ディスアグリゲーテッド・コンピューティングと呼ばれるアーキテクチャであり、ここで紹介するLIQID CDI (Composable Disaggregated Infrastructure) はその最先端のソリューション製品です。CDIを簡潔に定義すると、サーバに搭載されているデバイス(GPU, NIC, SSD, DRAM等）をプールとして外部集約し、ネットワーク接続されたサーバ間で動的にタイムシェアする技術、となります。
現在、LIQID CDIはGPU等のPCIeデバイスを対象とするラインナップ製品（コンポーザブルGPU）と、新たに標準化が進んでいるCXLメモリを対象とするラインアップ（コンポーザブルCXLメモリ）の大きく二つに分かれ、それぞれ以下のタブで概説しています。
また、具体的な製品ラインナップとしては以下の三種類をご提供いたします。詳細は弊社ホームページの各製品ページをご参照ください。
＜LIQID CDI コンポーザブルGPU＞*GPU以外のPCIeデバイスもサポート対象
・LIQID CDI PCIe Gen4 : PCIe Gen4デバイスをサポートする製品群
・LIQID CDI PCIe Gen5：PCIe Gen5デバイス（最新のNvidia GPUなど）をサポートする製品群
＜LIQID CDI コンポーザブルCXLメモリ＞
・LIQID CDI CXL 2.0：CXLメモリ（CXL2.0）をサポートする製品群
CDIが可能にするGPUプールとメモリプール イメージ図
LIQID CDIシステム・コンセプト
LIQID CDIは、ホスト・サーバに搭載されているPCIeデバイス（GPU, SSD, NICなど。今日ではCXLメモリも含まれる）を別途用意する専用シャーシ（LIQID製拡張シャーシ）に移設・外部集約化することで、ホスト・サーバ間で共用（タイムシェア）することを可能にします。ホスト・サーバおよび拡張シャーシはPCIeファブリックスイッチを介して接続され、それらすべてを統合管理するLIQID Matrix管理ソフトウェアによりプール化されているPCIeデバイスをオンデマンドでホスト・サーバに割り当て（コンポーズ）即時に希望の仕様のベアメタル・サーバを構成できます。（以下、システム構成概念図）
LIQID CDIシステムの基本的なビルディング・ブロック（構成機器）は以下となります。 ・LIQID ディレクタ : LIQID Matrixソフトウェアを実装し、LIQID CDIの管理ノードになります。LIQID Matrixソフトウェアへは操作用PCのブラウザから管理用ネットワークを介してアクセスし、各種設定及び動的再構成を操作します。
・LIQID ToR PCIeファブリック・スイッチ : プール化されるPCIeデバイス及びホストは、このスイッチを介して接続されます。
・LIQID 拡張シャーシ : プール化されるPCIeデバイス(GPU, SSD, NIC, FPGA, CXLメモリ)をこの拡張シャーシにインストールし、Liqid PCIeファブリック・スイッチに接続します。
・ホスト・サーバ：このホストはお客様にご用意いただくホストになります。このホスト１台につき、１枚のLIQID HBAをインストールして頂き、そのHBAとLiqid PCIeファブリック・スイッチを接続して頂きます。
LIQID Matrixソフトウェアにより、LIQID 拡張シャーシに実装されているプールPCIeデバイスとホストがシームレスに動的再構成され接続されます。
LIQID CDIシステム 基本トポロジー
下図では、ホスト・サーバ 5台、PCIeデバイスを搭載するLiqid拡張シャーシ 3台をPCIeファブリック・スイッチを介して接続するトポロジー・イメージになっています。LIQID Matrixソフトウェアの動的再構成により、必要なPCIeデバイスを必要な数量だけ対象のホスト・サーバに割り当てて頂く事が出来ます。
GPU共用基盤（GPUオンデマンド）
CDI（コンポーザブル・ディスアグリゲーテッド・インフラストラクチャー）とは？ CDIとはコンポーザブル・ディスアグリゲーテッド・インフラストラクチャーの略で、GPUなどのPCIeデバイスをサーバー間で動的かつ瞬時に共用する技術製品です（コンセプトについては、隣の”概要”タブにて紹介しておりますのでご参照ください）。
LIQID CDIはこのコンセプトを実現し、サーバ間でGPUをタイムシェアする”GPU共用基盤"を構築します。GPUを各サーバに搭載せず共有デバイス化するために専用の「拡張シャーシ」にまとめて導入し（プール化）、拡張シャーシと各サーバとをPCIeネットワークで接続します。LIQID Matrix管理ソフトウェアによるGUI操作により必要なGPUをプールから選択し、対象のサーバにアタッチ（コンポーズ）、使用後はデタッチしてプールに戻します。これにより共用資源であるGPUをサーバはオンデマンドで利用でき（特定のサーバの固定資源としない）、ニーズに合わせて柔軟かつ瞬時にサーバーの構成変更を行うことができます。基本的なシステム構成イメージを二例、以下に示します。一つは1台のサーバに20枚のGPUをコンポーズしている例、もう一つは20枚のGPUを3台のサーバで共用するGPU共用基盤の例です。
サーバとGPUの分離：分散インフラストラクチャ
ネットワークと言えば、イーサネットやインフィニバンドなどをイメージすることが多いのですが、LIQID CDIではPCIeファブリック・ネットワークを用いています。PCIeバスをサーバー筐体外部に延長し、PCIeスイッチを介して相互に接続します。これによりGPUをサーバから離れたところに設置することができ、距離があるにもかかわらず、拡張シャーシ内のPCIeデバイスをあたかもサーバー内部に存するかのように扱えます。
メモリ共用基盤
LIQID CDI製品の拡張：GPUに加えてメモリ（CXLメモリ）も共有可能に
第一世代のLIQID CDIはGPUなどのPCIeデバイスをプール化して、そこから必要なデバイスを動的にコンポーズしてベアメタルサーバを再構成できる製品として知られていました。このCDI製品を正常進化させ、動的再構成の対象としてDRAM(CXLメモリ)を加えた業界最先端の製品（LIQID CDI CXL2.0対応製品）をご紹介します。1. CXLにより広がるメモリ実装方法の選択肢
CXLメモリは従来のマザーボード上のメモリスロットではなく、PCIeインタフェースを介して実装するメモリです。CXL標準では、下図のような三つのメモリ実装方法が想定されています。
Ⅰ. 単純メモリ拡張
ホスト・サーバ単体のメモリ容量を拡張する方法です。CXLメモリをサーバ筐体内部に直接実装するか、CXLメモリを専用筐体のようなシャーシに搭載しPCIeファブリックネットワークを介してホスト・サーバと接続する方法があります。
Ⅱ. メモリ・プール
複数のホスト・サーバ間でCXLメモリを共有（タイムシェア）する方法です。CXLメモリの容量をブロック（チャンク）化して、その単位で各ホストに割り当てます。基本的に、ホスト間で同時に同じメモリ・ブロック（チャンク）を共有することはしません。 ホスト・サーバとCXLメモリ（が搭載されている専用筐体）の間はPCIeファブリックネットワークで接続します。
Ⅲ. メモリ・シェア
上のメモリ・プールと似ていますが、こちらはタイムシェアではなくメモリ領域のデータを複数のホスト・サーバで共有する方法です。ホストとCXLメモリの接続方法（トポロジー）はプールと基本的に同じです。
2. LIQID CDI CXL2.0対応製品によるメモリ実装の実例
上図で簡単に示した新しいメモリ（CXLメモリ）実装方法がLIQID製品ではどのようにインプリメントされるのか紹介します。 まずLIQID CDI CXL対応製品のベースとなっているLIQID CDI(コンポーザブル・ディスアグリゲーテッド・インフラストラクチャ)製品の概念構成図が以下です。
LIQID CDI製品は、GPUなどのPCIeデバイスをLIQID社専用筐体（拡張シャーシ）に導入し（プール化）、PCIeファブリック・ネットワークを介して接続した複数のホスト間で共有（タイムシェア）できるようにする技術製品です。LIQID CDI CXL2.0対応製品は、極単純化して言うと、このLIQID CDIシステムのPCIeデバイス・プールにCXLメモリを追加してコンポーズ対象にすることを可能にした製品と言えます。
LIQID CDI製品は下図のような機器で構成されます LIQID CDI製品構成機器：
a) Matrixソフトウエア：CDIのすべてを司る管理ソフトウェア（専用Director上で動作）
b) PCIeファブリック・スイッチ：ホストと拡張シャーシを接続するためのスイッチ
c) 拡張シャーシ：GPUなどPCIeデバイスを導入するためのシャーシ
d) HBA(ホストバスアダプター)：ホストに搭載してPCIeファブリックに接続するためのHBA
※システム構成要素としてはCXL2.0対応製品もほぼ同様です（但し、論理的にはPCIeファブリックとCXLファブリックの違いがあります）
LIQID CDI CXL2.0対応製品の具体的な実装方法
Ⅰ. LIQID CXL製品による「単純メモリ拡張」
メモリの実装方法「単純メモリ拡張」はLIQID CXL製品を用いると下図のようになります。
左側はCXLメモリデバイスをホスト・サーバ内部に導入する場合です。右側はホスト・サーバ内部にCXLメモリを導入するのではなく、別に用意したメモリ拡張シャーシにCXLメモリを導入し、CXLファブリック（物理層はPCIe）を介してホスト・サーバと接続する場合です。このメモリ拡張シャーシを使用する場合、ホスト・サーバ内部の従来のDIMM容量に加えて、最大20TBのCXLメモリを実装することが可能です。
Ⅱ. LIQID CXL製品による「メモリ・プール」
同じく前項で紹介した「メモリ・プール」のLIQID製品による実現概念図を以下に示します。
メモリ拡張シャーシには、PCIeスイッチコントローラが内蔵されており、そのホストポートを介してホスト・サーバとCXLファブリック（PCIe物理層）接続します。
メモリ拡張シャーシは最大20TBのCXLメモリを搭載することが可能で、これらのCXLメモリをLIQID Matrix管理ソフトウェアにより一定のサイズのチャンクにブロック化して、ホスト・サーバに割り当て可能にします。「メモリ・プール」は、このブロック化されたチャンクの集合体です。個々のメモリ・ブロックは一時点で一台のホスト・サーバにのみ割り当てられ、使用後は再びプールに戻すことで再利用可能になります。
Ⅲ. LIQID CDI CXL製品による「メモリ・シェア」
前項の「メモリ・プール」とシステムのトポロジーは類似です。複数のホストがCXLファブリック（PCIe物理層）を介してCXLメモリを搭載しているメモリ拡張シャーシに接続されます（「メモリ・プール」と実現概念図共有）。
「メモリ・シェア」が「メモリ・プール」と大きく異なる点は、同じメモリ領域（同じメモリアドレス領域）にストアされているデータを、複数のホストが直接共有・アクセスすることができるという点です。もちろんデータのコヒーレンシを担保しなければなりませんので、CXL2.0世代では別途ファイルシステムを被せるなどの工夫をしたデプロイが必要になります。
「メモリ・プール」、「メモリ・シェア」の共有型のメモリ実装方法は、異なるホスト・サーバ上のCPU間だけではなく、GPUとCPU間、GPUとGPU間などのデータ共有にも今後道が開かれていくことが期待されています。