Please select your location and preferred language where available.
「NVIDIA、KIOXIAの開発トップが語る AIの未来!」前編
「TEZUKA2020」プロジェクトが提示したAI×人間のコラボレーションの可能性
2022年03月31日
「TEZUKA2020」は、AI技術と人間のマンガ家のコラボレーションによる手塚治虫の新作マンガの制作に挑むプロジェクト。キオクシアのブランドキャンペーン「#世界新記憶」第1弾として企画された。手塚治虫のマンガを元データとしてAIが学習することで、キャラクター原案とプロットをAIが自動生成。それを人間のマンガ家がブラッシュアップして新作マンガを完成させた。今回は技術サイドの主要メンバーである、キオクシアの折原良平とNVIDIAの井﨑武士氏による対談を敢行した。
AIが生み出す手塚治虫のマンガ「TEZUKA2020」
日本を代表するマンガ家、手塚治虫がもし今生きていたらどんな作品を生み出すのだろうか——。そんな“妄想”をきっかけに始まった前代未聞のプロジェクト「TEZUKA2020」は、AI×人間のコラボレーションというかたちでリアルな作品として世の中に出ることとなった。まずはこのプロジェクトを率いたキオクシア・折原良平が振り返る。
折原:「TEZUKA2020」は、私たちキオクシアが業務で使用しているAI技術をPRするためにスタートした企画です。立ち上げの10月から半年間ほどでできることを考えたときに、ちょうど2月9日が手塚治虫先生の命日で「マンガの日」だということを知りまして、マンガで何か発表できればインパクトがあるなと思い、プロジェクトがスタートしました。
主要メンバーは東京大学次世代知能科学研究センターの松原仁先生、慶應義塾大学理工学部管理工学科の栗原聡先生、はこだて未来大学の迎山和司先生、それから手塚治虫先生の息子さんである手塚眞さんを含む手塚プロダクションの方々などが入っています。私がプロジェクトリーダーを務めまして、キオクシアのエンジニアも多く参加しています。
──結果的にAI×人間のコラボレーションというかたちになりましたが、どんな経緯があったのでしょうか。
折原:「いまのAIに何ができるのか」を討論したところ、現状ではAIが商業クオリティのマンガを作るのは難しいので、AIと人間のコラボレーションにしようという話になりました。コラボレーションのかたちにもいろいろありますが、AIがマンガのプロットと、ベースになるキャラクターデザインを提供し、それを人間のマンガ家がマンガにするというコラボレーションになりました。実際にやってみるとプロットは比較的スムーズに進みましたが、キャラクターデザインのほうが難航しました。
──どうやって手塚作品をAIに学習させていったのでしょうか。
折原:最初は大量の顔画像を切り出し、それを訓練データとして取り込み、GAN(Generative Adversarial Network=敵対的生成ネットワーク)で新しいキャラクターを作りました。これが思ったよりもうまくいかなかった。一から手塚治虫先生のマンガデータでキャラクターを作り始めるよりも、あらかじめ顔であることがわかるようなモデルをベースにし、そこに転移学習という、いわゆる上書きのような学習をさせればうまくいくのではないかと、キオクシアのエンジニアがアイデアを出しました。このエンジニアがAIの専門家ではないところも面白い点で、結局、このアプローチがうまくいきました。
そこからアニメのキャラクターの顔を大量に学習させようと試みましたが、マンガ家さんから「それは手塚治虫先生の画風を再現しているのではなく、アニメーターの作風を再現してしまっているのではないか」という非常に的を射たコメントをいただきました。そこで実写の人間の顔を学習したモデルをベースに、手塚治虫先生のデータを使って転移学習させました。手塚治虫先生本人もリアルな人間の顔を見て、そこからインスピレーションを得てキャラクターを作っていたはずですから、このアプローチなら理念としての問題は発生しません。それでNVIDIAさんの人間の顔の学習済みのモデルを使わせていただきたいとお願いしたのが、NVIDIAさんが参加された経緯です。
井﨑:そうですね。栗原先生から弊社のStyleGANを使用したいと最初にご連絡をいただきました。これは光栄なことだと思いました。私も『鉄腕アトム』から『ブラック・ジャック』まで、幼い頃から見てきましたから。そこにNVIDIAの技術が使えるのは非常に面白いなと感じました。当時、AIのなかでも創造的な作業を行えるGANが流行っていて、日本の文化であるマンガにも使えるのは、日本独自のカルチャーの目線でしたから、ぜひやらせてもらいたいと本社にかけあいました。
──NVIDIAは具体的にどのように関わったのでしょうか。
井﨑:NVIDIAのStyleGANはGitHubでソースコードが公開されていて、誰でも試していただけるようになっています。栗原先生もその公開されているStyleGANのアルゴリズムを今回の「TEZUKA2020」のプロジェクトに適用されています。オープンソースのコミュニティですから、実際にNVIDIAとキオクシアのエンジニア同士で話をしなくてもコミュニケーションが可能です。
折原:GitHubは不具合を報告したり、やりとりも見ることができますね。
井﨑:今そうしたオープンソースのコミュニティが生かされていると思います。
──プロジェクトを通して学んだことは?
折原:個人的には炎上しなくて良かったなと思うのですが(笑)、悪い評判もなかったことに驚きました。最終的に形にしていただいたマンガ家さんたちが非常に優秀だったことも大きいです。「TEZUKA2020」はつまるところ、手塚治虫先生を再現するわけではなくて、「手塚治虫先生が作ったようなマンガを作る」という“人格”に踏み込まないで済んだのが良かったのだと思っています。
井﨑:技術面では日本のマンガというカルチャーの中に最新テクノロジーが入ることで、より創造性を拡張することに貢献できたことが大きな成果だと思っています。また、折原さんがおっしゃるように市場で普通に受け入れてもらえたところがあり、「AIって、こういったところに使えるんだ」と、AIが一般化、大衆化したような印象を受けました。今回は人間とAIの協調作業で、AIは人間の使う“道具”なので「人間がいかにして使うか」というひとつの事例を示したのかなと思っています。
──AIと人間の協働でつくる点で難しかった点はありますか。
井﨑:AIが作り出したキャラクターはそのまま使えるものではなく、やはり人間による手直しは必要です。ただその元となるキャラクターは、複数の候補から、少し影があるような印象を抱かせるようなものが主人公に選ばれたのですが、 最終的には人間が取捨選択して選び、キャラクターに仕上げるという、この点が協調作業で非常に面白い事例だと感じました。
折原:プロットに関しては、実は全然駄目なプロットもたくさんあったのですが、それを手塚眞さんが非常に上手に読み解いてくれました。「これは一見矛盾しているけれど、こういうふうに考えれば物語として成り立つ」と。AIの出力は、点でパンパンッと飛んでいるのですが、手塚さんがそれをうまく線でつないでくれるんです。その結果、物語として面白くなる。そういう作業を前提にすると、点は実は近くに寄っているよりは、ある程度離れたところに点を打ったほうが面白くなるんですよね。
プロジェクトを始めたときに、みんな口には出さないけれど疑問に思っていたことが、仮にこのプロジェクトがうまくいったとして、「何をもって手塚治虫先生の画風を学習したことになるのか」ということです。少なくともぼくはスタート時にはわかっていなかったです。最後は手塚プロの方々に見ていただいてエンドースしてもらえばいいのかなという、“滑り止め”はあるかなと思っていました。
──“手塚らしさ”の定義づけは難しいですね。
折原:実は、今回訓練データとして使ったのは、すべての手塚治虫のキャラクターではなく、一部のキャラクターなんです。なぜ一部かというと、切り出しが大変という技術的な問題もありますが、それよりも、アトムとかブラック・ジャックのようなあまりにも特徴が強いキャラクターを入れてしまうと、それに引っ張られて学習が難しくなるかもしれないと思ったからです。
そうすると、アニメーションの中に訓練データに入っていないキャラクターが出てくるんです。それでマンガ家さんが「あ、面白いのが出てくるね」と仰っていて、それを聞いて「あ、これで画風を学習できたといっていいんじゃないかな」と思いました。
井﨑:私たちのStyleGANのDemo事例では、セレブの顔をたくさん学習させて、いかにもセレブっぽい人の写真を出力する、ということをやっています。今回は学習済みのモデルから転移学習で手塚治虫先生のキャラクターを入れて学習されたんだと思うのですが、AIから出力される画像を見ると、素人目に見ても、「ああ、手塚治虫先生、こんな絵描きそうだな」と思えるんです。目の眼光の鋭さなど、人間の意思の強さが的確に表現されている。GANは学習データの中から似たような、でも学習データにはない絵を出してくるのが特徴ですが、「手塚治虫先生っぽい」ものが見えてくるのは面白いなと感じました。
──これまでも作家が何らかの理由で続く作品を描けなくなってしまうケースもありましたが、同時にファンの「次の話が読みたい」という声は絶えません。今後、AIがクリエイティブ面で関わっていくうえで必要な点は何でしょうか。
井﨑:これは結構難しいですよね。ファンの方はやはり先生が描いた作品だから受け入れている。AIは結局それを真似ているわけで、それを先生の作品として受け入れるのは非常に難しい。まず作家の方がエンドースするのはたぶん一つのやり方だと思います。それを続編として見るか、AIが作った創造物として別の楽しみ方をするのか、そういう提案をしていくことのほうが重要かなと思います。
今後、メタバースでのエンタメが増えてくると思うので、アバターが活躍して、そこでいろいろなコミュニケーションが発生し、場合によってはそこで金銭的なやりとりも行われるし、商業活動も行われます。そういうものを受け入れられるかどうか。本人の代わりであることを受け入れて、別の楽しみ方をするという考え方が浸透すれば、こういったエンタメシーンでも受け入れられてくるのかなという気はします。
掲載している内容とプロフィールは取材当時のものです(2022年2月)