（以下はLIQID社ホームページに掲載されたブログの弊社和訳です：AI Is Outpacing Server Memory： Why Composable CXL Is Essential）

金融サービスやヘルスケア、小売、製造業、公共部門に至るまで、ほぼすべてのエンタープライズ分野でAIの導入が加速しています。しかし、生成AI、エージェント型AI、RAGパイプラインの導入を急ぐ中、性能・精度・コストに静かに影響を与えている根本的な制約があります。それがサーバーメモリの容量です。

多くのエンタープライズ向けサーバーは、最大でも 1～2TBのDRAM しか搭載できません。一方、次世代AIを支えるモデルやデータは、十分な性能を発揮するために 数十TBから数百TBのメモリ を必要としています。これは理論上の問題ではなく、すでに企業が現実的に構築できるAIシステムの限界に影響しています。

LIQIDでは、AIインフラチームとの会話の中で、このギャップを日々目の当たりにしています。GPUはよく注目されますが、実際には DRAMこそが急速に真のボトルネック となっているのです。そして、メモリの割り当て、共有、拡張の仕組みを根本的に変えない限り、企業全体のAIプロジェクトは期待通りの成果を上げるのは難しいでしょう。

メモリ不足は、エンタープライズAIにとって深刻な脅威となりつつあります。しかし、Composable CXLメモリは、データセンターのコスト構造や本番運用での信頼性を踏まえた、画期的な解決策を提供します。

避けられない現実：AIワークロードはサーバー内DRAM容量の限界を超えつつある

エンタープライズAIチームは、予想以上に早くメモリの限界に直面しています。その背景にはいくつかの要因があります。

1. モデルサイズの成長は線形ではなく指数的
   LLM（大規模言語モデル）やマルチモーダルモデルは、年々パラメータ数が10倍のペースで増加しています。小規模から中規模のモデルでさえ、学習にはテラバイト単位、推論の高速化には数百ギガバイトのメモリが必要です。
2. コンテキストウィンドウ*が劇的に拡大
   企業は、推論の精度向上や要約、複数ドキュメントの分析に対応するため、10万～100万トークン以上のウィンドウサイズを持つモデルを求めています。これに伴い、KVキャッシュ**の容量もテラバイト単位に拡大しています。
3. RAGパイプラインには膨大なインメモリデータが必要
   最新のRAG（Retrieval-Augmented Generation）実装では、埋め込み、メタデータ、インデックス構造、ワーキングセットをDRAM上に保持し、低レイテンシSLA***を達成しています。データセットは四半期ごとに20～40％増加するため、2TBのシステムでもすぐに容量不足になります。
4. GPUとCPUのバランスが崩壊
   H200、RTX Pro 6000、Gaudi 3などの最新GPUは、驚異的な速度でトークンを処理できます。しかし、それは大容量メモリプールへの高速アクセスがある場合に限られます。十分なDRAMがなければ、GPUは計算中に停止してしまいます。

その結果？
ほとんどのエンタープライズAIチームが直面している「計算能力は豊富にあるものの、その計算を効率的に動かすためのメモリが不足している」という状況です。

DRAM不足がもたらす隠れたコスト

DRAMが制約要因になると、組織は単なる性能低下以上の問題に直面します。AI導入を大きく妨げる、連鎖的な運用面・財務面の課題が発生します。

メモリ制約によるサーバーの過剰増設
利用可能なメモリを増やすために、追加のCPUが不要にもかかわらず、チームは丸ごと追加サーバーを購入することがよくあります。これにより予算が浪費され、データセンターの設置面積が増加し、ソフトウェアライセンスの継続的なコストも膨らみます。

レイテンシ増大によるSLAの未達
AIワークロードがDRAMに収まらず、NVMeやHDDに退避すると、特にリアルタイムデータ取得を必要とする推論やRAGワークフローで、レイテンシが100倍～10,000倍に跳ね上がります。

GPUの利用率低下
GPUはデータ不足の際、次のようなふるまいになります：

バッチサイズの縮小
スループットの低下
トークンあたりのコスト増加
少ない処理で電力消費が増加

メモリ制約による開発スピードの低下
本来注力したい新しいAI機能の開発ではなく、メモリ制約による調整や最適化にチームの過剰な時間を費やされてしまいます。
成功したパイロットプロジェクトが本番環境で拡張できない課題
多くの企業は印象的なPOCを成功させますが、データがメモリに収まらない規模に拡大するとシステムが破綻します。
これに心当たりがあるなら、あなたは一人ではありません。
業界全体が、従来のサーバー中心のDRAMアーキテクチャでは克服できない「メモリの壁」に直面しています。

Composable CXLメモリ：メモリ制約に直面するAIへの革新的な突破口

CXLは、データセンターでのメモリの使用方法を根本から変えます。
従来のようにメモリを各サーバーに固定するのではなく、CXLではDRAMをサーバーから分離し、プール化し、超低レイテンシで複数のサーバー間で共有できるようにします。
LIQIDのComposable CXLメモリプラットフォームは、これをさらに進化させ、ソフトウェアでメモリの割り当てを自動化。AIチームが必要なときに必要なだけのメモリを割り当てられるようにします。

主な機能：
1. サーバー１台で10～100TBのメモリ拡張を実現
Composable CXLメモリを使えば、サーバーはDIMMスロットの制限に縛られません。サーバーをカスタマイズ・交換することなく、メモリを独立して数十TBから数百TBまで拡張できます。
これにより、次が可能になります：

・大規模なRAGデータセットの処理
・大量の埋め込みストアの保持
・高コンテキストのLLM推論
・データベースワークロードの高速化

2. クラスター全体でのメモリプール化と共有
従来は、ノードAに1TB、ノードBに2TBといった形でメモリが遊休状態になっていました。CXLでは、共有プールから必要なメモリを動的に割り当てることができます。
これにより、静的環境で一般的な30～40％のDRAM利用率に対し、ほぼ100％近い効率でメモリを活用出来るようになります。

3. サブマイクロ秒レイテンシ
CXLメモリはNVMeよりも桁違いに高速で動作します。直接CXLリンクを使う場合、レイテンシは約200～300ナノ秒、スイッチング経由でも約1マイクロ秒に抑えられます。これによりGPUは常に必要なデータを途切れなく受取り、高速処理を維持出来ます。

4. アプリケーションの書き換えは不要
LIQIDのMatrixソフトウェアプラットフォームでは、メモリプールがOSから通常のメモリとして認識されます。そのため、アプリケーション側から見ると、単に「使用可能なDRAMが増えた」ように見るだけです。これは、既存のワークロードを書き換えたり、ソフトウェアをアップグレードする事が難しいエンタープライズAIチームにとって重要なポイントです。

5. 圧倒的なTCO効果
メモリをコンピュートから切り離して拡張できるため、企業は次のような項目で、インフラのコスト削減を行えます：

・サーバー購入コスト
・ソフトウェアライセンス（50～75％削減されるケースも）
・電力と冷却コスト
・ラックの占有面積

特にメモリ使用量の多いワークロードでは、このようなコスト削減効果がそのままTCOの大きな削減に繋がります。

エンタープライズAIリーダーへの示唆

多くの企業で、AIに対する期待と、サーバーのメモリ容量という現実とのギャップは四半期ごとに広がり続けています。メモリを拡張するための新しいアプローチがなければ、AIチームは高額なアーキテクチャの調整に追われ、結果として、AIが本来もたらすはずの価値を十分に引き出せないかもしれません。

Composable CXLメモリは、この流れを根本から変えます。これにより、エンタープライズAIリーダーは次のようなことを実現出来るようになります：
・インフラを書き換えることなく、より大規模なモデルを構築
・推論とRAGの性能を大幅に向上
・インフラ構成の複雑さを軽減
・高価なGPUリソースを最大限に活用
・より大規模なデータセットを扱える環境を実現
・レイテンシおよびスループットのSLAを達成
・TCOを大幅に削減
・既存サーバーの利用期間を延長
・チーム間でメモリ割り当てを標準化
・次のAIの波に備え、データセンターを将来対応可能にする

その結果、CXLベースのコンポーザブルメモリを採用した企業では、AIワークロード全体で以下の成果を上げています：
・トランザクション処理速度が最大60％向上
・P95レイテンシが40％低減
・VM密度が4倍に増加
・TCOが67％削減

結び：AIの勝者を決めるのはコンピュートではなくメモリ

企業がAIをコア業務プロセスに深く組み込んでいく中で、メモリをいかに迅速かつ効率的に拡張出来るかが、引き出せる価値の大きさを左右します。
Composable CXLメモリは単なる最適化のためのレイヤーではありません。
現代のAI要件に即したメモリ拡張を実現するための、アーキテクチャの本質的な転換です。
AIモデルが四半期ごとに進化し、データが時間単位で増え続ける世界において、この柔軟性はもはや「選択肢」ではありません。
AIを成功に導くための基盤そのものです。

注
*コンテキストウィンドウとは、AIモデルが一度に「覚えておける・参照できる文章や情報の量」のこと。
**KVキャッシュとは、Key-Value Cache：推論高速化のための文脈情報のキャッシュのこと。
***低レイテンシSLAとは、レイテンシの低いSLA（Service Level Agreement）サービス品質保証のこと。