事前学習済み言語AIを追加学習なしで文書検索に用いる技術の開発

2023年5月17日

当社では、検索を使ったAIの研究開発に取り組んでいます*¹。そのうちの1つである、文書検索に関する研究成果を紹介します。

文書検索は、ストレージ等に収められた大量の文書の中から、ユーザの質問に関連する文書を見つけ出すタスクです（図1）。近年、言語に特化した深層学習モデルである「事前学習済み*²言語モデル」は、文書検索のための追加学習*³を行うことで、文書検索器として機能することが知られています。しかし、深層学習を用いたこのような文書検索方法にも、様々な課題があることが分かってきました。
たとえば「XXさんはどこで生まれたの？」のような、質問中の人名（この例では「XX」さん）や地名のような「固有表現」を主要な手掛かりとする検索が苦手であることが判明しています^[1]。この課題に関して、これまでは主に「文書検索のための追加学習方法を工夫する」という方向性で解決が試みられてきました。

それに対して私たちは、「事前学習済み言語モデルを追加学習せずに用いることで文書検索の精度を改善する」という、従来とは真逆の発想に至りました。言語モデルの事前学習では、文書検索のための追加学習の時よりずっと大きなデータ量の文書群が使われます。このため、言語モデルは事前学習によって固有表現に関する豊富な知識を持つことができるはずです。その言語モデルに文書検索のための追加学習を行ってしまうと、せっかく持っていた知識を忘れてしまい*⁴、本来の強みをかえって失ってしまうと考えたのです。しかし、事前学習済み言語モデルを追加学習せずそのまま文書検索に利用する方法は、今まで明らかではありませんでした。

私たちは、事前学習済み言語モデルを追加学習せずにそのまま利用する文書検索手法を発見しました（図2）。言語モデルは、質問と文書から取り出された固有表現を、それらが元あった文章の文脈を反映させた埋め込み表現（ベクトル）にするためのエンコーダとして用いられます。従来手法では質問用と文書用の2つの言語モデルをエンコーダとして追加学習する必要がありましたが（図3）、私たちの手法では質問用と文書用に言語モデルを区別する必要がなく、たった1つの言語モデルで文書検索ができることも特徴です。

この手法の検索性能を、計24の関係性（生誕地、出身校など）からなる、固有表現が主要な手掛かりとなる文書検索データセット^[1]で評価しました。その結果、提案手法は最先端の文書検索器(74.5％)に近い検索精度(67.1％)を達成し、また計24の関係性のうち2つにおいて、過去最高の性能を達成することが分かりました^[2,3]。既存手法では、例えば医療などのある特定の分野で機能する文書検索器を構築するためには、その分野での検索に特化した追加学習を行うためのデータセットを構築する必要がありました。一方で私たちの手法は、その分野の文書で事前学習された言語モデルさえあれば、追加でデータセットを構築することなく、文書検索ができる可能性を示しています。