(以下はLIQID社ホームページに掲載されたブログの弊社抄訳です):
Your AI Budget Is on Fire. Your Hardware Lit the Match

ウォール・ストリート・ジャーナル（WSJ）誌は、多くの企業がわずか3か月で年間のAI予算を使い果たし、AI関連の請求額が2倍、3倍に跳ね上がったケースもあると5月末に報じています。Uberでは、AIエージェントの年間予算が3月時点で底をつき、ある大手金融機関では従業員によるトークン消費が月数十万ドルに達し、ちょっとした雑談にまで最上位モデルが使われていた事例も報告されました。同誌によれば、現在多くの経営陣が、社内でのAI利用制限に追われています。

しかし、AIの利用制限は根本的な解決策ではありません。

問題の本質は「チームがどれだけAIを使ったか」ではなく、「既存のインフラが、1トークンをいかに非効率に生成しているか」にあります。

トークンは、データセンターにおける「新たな通貨」

現代のデータセンターは「電力を投入してトークンを出荷する工場」へと変貌しました。NVIDIAのジェンスン・フアンCEOも決算説明会で「1ワットあたりの推論トークン数がプロバイダーの収益性に直結する」と述べています。

従来の計算コスト（FLOPS/ドル）は単なる「インプット指標」に過ぎません。AI事業を利益が出る形でスケールさせられるかを左右する唯一の「アウトプット指標」、それこそが 1トークンあたりのコスト（Cost per Token） です。

企業にとって深刻なのは、GPUのアイドル状態（遊休状態）が利益率を悪化させるという現実です。現在、企業におけるGPUの平均稼働率はわずか5%程度にとどまっており、VentureBeat誌では「4,010億ドル規模のインフラ問題」と呼ばれ、全体で数千億ドル規模のインフラが無駄に放置されていると言われています。企業はハードウェアの費用を100%支払っていながら、その成果のごく一部しか回収できていません。

なぜAIエージェントが従来の予算モデルを破綻させるのか

従来のチャットボットは「人間が質問し、モデルが1回答を返して終了」というシンプルなモデルでした。しかし、自律的に動作するAIエージェントは、1つのタスク処理においてモデルの呼び出しを何十回・何百回と連鎖させ、ステップごとにこれまでの全文脈（コンテキスト）を繰り返し読み直します。そのため、生成されるトークン量は人間ユーザーの最大100倍に達します。

ここで大きなコスト障壁となるのが、「コンテキストの再計算」です。

クラウドAPI（例：Anthropicの料金体系など）では、キャッシュされた入力トークンが100万トークンあたり0.50ドルであるのに対し、キャッシュされていないトークンは100万トークンあたり5.00ドルと、10倍もの価格差が生じます。 インフラ側に十分な大容量メモリと柔軟性がない場合、同じコンテキストをステップごとに何度も「再計算」することになり、請求額の大部分がこの無駄な再計算コストへ変わってしまいます。

インフラ側からの解決策

経営陣との議論において「現場にAIの利用制限を通達しました」という対応は根本解決になりません。真に必要なのは、インフラの刷新によって1トークンあたりのコストを極限まで下げることです。経営陣に提示すべき「3つの数値」として以下が考えられます。

1つ目：1トークンあたりの総コストを60〜75%削減

・GPU稼働率の飛躍的向上: 単一サーバー内に固定された構造を脱し、リソースをフル活用することが不可欠です。これを実現するには、必要に応じてGPUを各サーバーへ柔軟・動的に割り当てられるコンポーザブルGPUが極めて有効な解決策となります。

・コンテキスト再計算の排除: 高額なコストがかかる再計算を防止するには、大容量メモリにコンテキストをキャッシュする必要があります。しかし、全てのサーバーのメモリを増設する事はコスト面・運用効率面において現実的ではありません。そのため、必要な時だけ大容量メモリを割り当てられるコンポーザブルメモリが有効な対策となります。

・バッチサイズの拡大による一括処理効率の向上: メモリ容量の制限を解除してバッチサイズを拡大することで、一括処理効率を向上させます。この対策においても、ワークロードに応じて必要な場所に必要なメモリ容量を即座に確保できるコンポーザブルメモリの活用が有効です。

2つ目：オンプレミス構築のコスト回収期間をわずか4〜6か月に短縮

・GPU稼働率を60%以上で安定運用できれば、生成量に応じて増え続けるクラウドAPIの従量課金よりも、自社インフラ（オンプレミス）で生成する方がはるかに安くなります。GPUの稼働率を上げるために、リソース要求に応じてGPUを柔軟に割り当てられるコンポーザブルGPUの導入が鍵となります。

・投資回収後のトークン生成コストは、実質的に「電力コスト」と「機器の減価償却費」のみとなり、利益率が劇的に向上します。

3つ目：GPU1ドルあたりのトークン生成量が4〜16倍に向上

・最新GPUは前世代と比較して「1時間あたりのレンタル料」や「本体価格」が約2倍高価と言われています。

・しかし処理速度が圧倒的なため、「100万トークンあたりのコスト」で見ると35分の1まで安くなります。

・つまり、経済性を決める計算式の分母はハードウェアの価格ではなく実際に生み出された処理量になります。

自社データセンターへの応用:

・クラウドAPIの定価やGPU本体の市場価格自体を変えることはできません。しかし、自社インフラにおける「GPU稼働率」を引き上げることにより、自力で1トークンあたりの生成単価を大幅に引き下げることが可能です。

その解決をもたらすメカニズムが「コンポーザビリティ」

これまで挙げた課題を解決するための一つのアプローチとして、先に挙げたコンポーザブルメモリ、コンポーザブルGPUの導入があります。いずれもAIインフラであるハードウェア資源の共用（プーリング）を目的したものでLIQID社が提供する CDI(Composable Disaggregated Infrastructure)により実現することが可能です。GPUやメモリをファブリックレベルでプール化し、動的に割り当てることで、具体的に以下のメリットをもたらします。

・GPUの動的割り当て: ワークロードが必要とするときだけGPUを即時に割り当て、処理が終われば次のジョブへ回すことで、GPU稼働率を一桁%から最大化します。

・最大100TBの超巨大メモリプール: AIエージェントの膨大なコンテキストを高速なメモリ上にキャッシュし続けられます。これにより、10倍のコストがかかっていた「無駄な再計算」を「安価なメモリ再利用」へと転換します。

・既存サーバーの資産活用: LIQIDは新たなサーバー本体を売り込むものではありません。Dell、Cisco、HPE、富士通など、既に導入済みの既存サーバー群を活かすソフトウェアおよびファブリック層として機能します。

・実測値としての圧倒的パフォーマンス: 従来の固定型システム構成と比較して、LIQID導入環境では「1ワットあたりのトークン生成量が2倍」、「1ドルあたりのトークン生成量が5倍」に跳ね上がります。

今四半期に取り組むべき課題

エンタープライズAIの次のフェーズで勝者となるのは、トークンの利用を制限する企業ではありません。競合他社よりも安く大量にトークンを生産できるインフラを構築した企業です。従量課金による費用高騰を抑え、GPU稼働率の向上と、コンテキスト再計算の低減を実現するために、LIQID CDIは、ハードウェアの構成概念を変革し、貴社の「トークノミクス（トークン経済性）」をインフラ側から根本的に最適化するお手伝いをいたします。