NVIDIA DGX Spark

デスクトップ AI コンピューティングの必要性
生成 AI モデルの規模と複雑さの増大により、ローカルシステムでの開発作業は困難を極めています。大規模モデルのローカルでのプロトタイピング、チューニング、推論には、大量のメモリと高度なコンピューティング性能が必要です。企業、ソフトウェアプロバイダー、政府機関、スタートアップ企業、そして研究者が AI 開発に注力するにつれ、AIコ ンピューティングリソースの必要性は高まり続けています。

デスク上の 200B パラメータモデル
NVIDIA DGX™ Spark は、 AI の構築と実行のためにゼロから設計された新しいクラスのコンピューターです。NVIDIA GB10 Grace Blackwell スーパーチップを搭載し、NVIDIA Grace Blackwell アーキテクチャをベースとする NVIDIA DGX Spark は、最大 1000 TOPS の AI パフォーマンスを実現し、大規模な AI ワークロードを強力にサポートします。128 GB の統合システムメモリにより、開発者は最大 2000 億個のパラメータを持つモデルの実験、微調整、推論を行うことができます。さらに、NVIDIA ConnectX™ ネットワークにより、2 台の NVIDIA DGX Spark スーパーコンピューターを接続することで、最大 4050 億個のパラメータを持つモデルでの推論が可能になります。

開発者に使い慣れたエクスペリエンスを提供するために、NVIDIA DGX Spark は、産業用 AIファクトリーを支えるのと同じソフトウェア アーキテクチャを採用しています。Ubuntu Linux で最新の NVIDIA AI ソフトウェア スタックが事前構成された NVIDIA DGX OS と、NVIDIA NIM™ および NVIDIA Blueprints への開発者プログラム アクセスを使用することで、開発者は Pytorch、Jupyter、Ollama などの一般的なツールを使用して NVIDIA DGX Spark 上でプロトタイプ作成、微調整、推論を行い、データセンターやクラウドにシームレスに展開できます。

NVIDIA DGX Spark はコンパクトなパッケージで圧倒的なパフォーマンスと機能を提供することで、開発者、研究者、データ サイエンティスト、学生が生成 AI の限界を押し広げ続けることを可能にします。

NVIDIA Grace Blackwellをベースに構築
NVIDIA DGX Spark の中核を成すのは、デスクトップ フォーム ファクター向けに最適化された NVIDIA Grace Blackwell アーキテクチャをベースにした新しい NVIDIA GB10 Grace Blackwell スーパーチップです。GB10 は、第 5 世代 Tensor コアと FP4 サポートを備えた強力な NVIDIA Blackwell GPU を搭載し、最大 1000 TOPS の AI コンピューティングを実現します。GB10 は、高性能な Grace 20 コア Arm CPU を搭載し、データの前処理とオーケストレーションを強化し、モデル チューニングとリアルタイム推論を高速化します。GB10 スーパーチップは、NVLink™-C2C を使用することで、PCIe Gen 5 の 5 倍の帯域幅を備えた CPU+GPU コヒーレント メモリ モデルを提供します。

大規模パラメータ AI モデルの操作

NVIDIA DGX Spark ソフトウェアスタック

128GB の統合システムメモリと FP4 データフォーマットのサポートを備えた NVIDIA DGX Spark は、最大200Bのパラメータを持つ AI モデルをサポートし、AI開発者はデスクトップ上で大規模モデルのプロトタイプ作成、ファインチューニング、推論を行うことができます。NVIDIA ConnectX ネットワークテクノロジを内蔵しているため、2台の NVIDIA DGX Spark システムを接続し、Llama 3.1 405B などのさらに大規模なモデルで作業できます。

ローカルで開発し、大規模にどこにでも展開
NVIDIA DGX Spark は、組織や開発者にプロトタイプモデルのための強力かつ経済的な実験環境を提供し、クラスター環境の貴重なコンピューティングリソースを解放して、実稼働モデルのトレーニングと展開により適した環境を実現します。NVIDIA AI プラットフォームのソフトウェア アーキテクチャを活用することで、NVIDIA DGX Spark ユーザーは、コード変更をほとんど必要とせずに、デスクトップから DGX Cloud や高速クラウド、データセンター インフラストラクチャにモデルをシームレスに移行できるため、プロトタイプの作成、ファインチューニング、反復処理がこれまで以上に容易になります。