小データサイズランダム読み出し向けのXL-FLASH™によるDRAM代替：グラフ処理への適用例

グラフ処理は、SNSでのリコメンデーションやフェイクニュース検知に用いるソーシャルネットワーク解析、コンピュータネットワーク解析さらにゲノム解析など様々な用途で活用されている最も重要なデータ処理の一つです。ビッグデータを扱う現代においては、扱うグラフサイズが非常に大規模となってきています。グラフサイズが大きくDRAMに収まらない場合、SSDを活用する方法が知られています。しかし、数バイトから数百バイトの細かい粒度でのランダム読み出しが多数含まれるグラフ処理アルゴリズムは、従来のSSDでは高速に処理することができませんでした。例えば、単にSSDを仮想メモリーとして用いるとDRAMアクセスの約1/100の速度に、さらに、ソフトウェアでアクセスを最適化しても約1/10の速度となってしまします。我々は高速なフラッシュメモリ(XL-FLASH™) ^[1]を用いるとともに新しいアクセス方式を開発し、全てのデータをDRAMに収めるのと同等の速度を達成しました。これにより、超大容量で高速なグラフ処理をDRAMより低コストのフラッシュメモリで実現可能となります。この成果はVery Large Data Base VLDB2021で発表されました^[2]。

以下に技術詳細を記載します。

当社で開発している低レイテンシフラッシュメモリ XL-FLASH™を適用し、従来の SSD より一桁多いランダム読み出しアクセス性能を実現したドライブ(図１)を用います。

XL-FLASH™ を用いることで、1 秒あたりに処理できるランダム読み出しアクセス数が、従来の SSD より一桁多くなり高速な処理が可能となります。しかし、アクセス数が増えることにより、アクセスリクエスト発行・完了確認のためのCPU処理時間の割合が増えるため、1 アクセスあたりのリクエスト発行・完了確認のCPU処理時間を低減することが重要となります。そのために私たちは、2つの技術を用いたCPUのリクエスト処理時間を低減するアクセス方式を開発しました。1つ目は、既存の SSD のインタフェースである NVMe™ IFプロトコルのCPU処理時間を低減するプロトコルです (図２)。そして2つ目は、XL-FLASH™のデータ読み出しを待つ間に CPUが他の処理をするための切り替え時間(コンテキスト切替時間)を低減する方式です。これらにより、1アクセスあたり10ns未満のCPU負荷で読み出しアクセスを処理できます(図３)。

これらの大規模グラフ処理への適用評価のため、グラフデータの大部分をXL-FLASH™上に置いた場合と、全てのデータをDRAM上に置いた場合との２つの環境での実行時間を比較しました(図４)。その結果、典型的なグラフ処理である、グラフ上の幅優先探索(BFS)などの処理において、両者は同等な時間で実行可能であることを示しました。また、XL-FLASH™を用いたシステムは DRAMでは保持できないくらい大きなグラフサイズにおいても、大幅に実行時間が増えることなく処理ができます。本結果は、提案するアクセス方式をグラフ処理に適用した一例ですが、大規模なデータに対してランダムアクセスを行うグラフ処理以外のアプリケーションに対しても適用可能であると考えています。