AIを支えるストレージソリューション

キオクシアは、長年にわたってAIに関する研究開発を行っています。

大規模言語モデルと検索を組み合わせたシステムを構築・評価する仕組みに関する研究成果を発表しています。

2022年末に登場し、世界的な注目を集めたLLM（Large Language Model：大規模言語モデル）は、学習と推論の分野で、テクノロジーを駆使したビジネスを展開している企業、いわゆるテック大手企業による一大ムーブメントを引き起こし、生成AIの黎明期をけん引しました。LLMが提供するサービスはさまざまなビジネスモデル、産業、そして社会に浸透すると期待されています。

推論のさらなる発展に向け、推論の効果を最大化するための新たなアプローチとしてRAG（Retrieval-Augmented Generation：検索拡張生成）と呼ばれる技術が登場しています。

生成AIシステムでは学習においても推論においても高価なGPUを使用します。生成AI処理に必要な大量のデータを揮発性のDRAMのみでまかなうことは困難なため、不揮発性のストレージデバイスから、学習用のデータ供給、推論時のRAG用のデータ参照、生成されたデータの保存といったデータ処理が必要です。

この時ストレージデバイスに求められる重要な条件は、高価なGPUをサポートするうえでGPUの稼働率を最大化するとともに、大きな電力・スペース効率を実現することです。この条件を満たすデバイスがSSDです。大容量といえばハードディスク（HDD）が思い浮かびますが、メディアの回転待ちや読み書きのヘッドの移動という機械的な構造上の制約があり、SSDに比べ100倍以上の読み書き遅延や、電力効率にも影響を及ぼします。今後ますます進む大容量化を支えながら、高性能なGPUの処理効率を最大化するという観点では、SSDはAIサービスのストレージを支えていく重要なデバイスなのです。

LLMは、翻訳、文書要約やプランニングなど多様な分野で活用されるようになり、業務効率化や生産性向上を目的として多くの企業で既に利用が始まっています。

一方で、LLMが保有する知識は学習時に利用したデータに限定され、最新の情報や企業の機密情報・非公開情報などに基づく質問や指示に対しては正しい結果を生成することができません。これは幻覚（ハルシネーション）と呼ばれ、LLMの課題の一つです。

この課題を「LLMの外部に用意した知識データ」を用いて解決するのがRAGです。RAGでは、ベクトルデータベースと呼ばれるベクトルの類似度に基づいたデータ検索機能（ベクトル探索）を備えたデータベースソフトウェアを利用します。多くの企業がRAGに注目する最大の理由は、非公開の情報を活用しながら、LLMの高い性能を引き出せる点です。

RAGにおいて、知識データの中から問い合わせのベクトルに最も近いベクトルと対応するデータを見つけ出そうとした場合、数百次元から数千次元もの高次元ベクトル同士の類似度を計算することになります。これは、最新のAIサーバー計算機でも負荷がかかる大変な処理です。このため、近似最近傍（ANN：Approximate Nearest Neighbor）探索と呼ばれる、比較するベクトルを一部に絞り込むようなインデックスを用い、近似解を求める方式が一般的です。

このANN探索には、DRAMベースのHNSW（Hierarchical Navigable Small World）方式、多くをストレージベースとしたMicrosoft社が開発したDiskANN方式など、さまざまな方式があります。ベクトルとインデックスをDRAMに展開するHNSW方式が多く利用されていますが、扱えるベクトル数、つまり知識の量がサーバーのDRAMサイズに制限されるため、大量の知識を基にしたRAGシステムを構築する足かせとなります。

キオクシアは、特に大きな成長が見込まれている生成AI市場でSSDをさらに活用する重要なストレージ技術として、新たな方式のストレージ（SSD）ベースである「KIOXIA AiSAQ™」の研究開発を進めています。 

KIOXIA AiSAQ™は、All-in-Storage ANNS with Product Quantizationの略で、その名が示す通り、データの特徴を量子化した情報（PQデータ）を「オールインストレージ（すべてをストレージ）」に移行させ、RAGにおけるベクトル探索処理を行うためのANN探索の検索アルゴリズムを最適化するソフトウェアです。キオクシアは、このソフトウェアをオープンソースとして公開し、より高品質な生成AIアプリケーションの実現に寄与します。

通常、ベクトル探索を効率化するためにインデックス化されたデータはDRAM上に配置されますが、KIOXIA AiSAQ™はインデックス化されたデータをSSDに配置する技術です。

精度の高い回答（クエリ）には、RAGに使われるベクトルデータベースのサイズが更にスケールアウトしていくと予測されています。DRAMベース方式では、データベースサイズが大きくなるほど、膨大なDRAMが必要になります（左グラフ）。また、性能という観点でも、最適化されたストレージ（SSD）ベースの探索により、DRAMベース方式の探索よりも回答（クエリ）の精度と回答時間が上回ることが確認されています。

この革新的な技術は、RAGに使われる高価なDRAMに替えて、比較的安価なSSDのみを使用しつつ、性能を損なうことなくANNSを実現できる点で有望と言えます。