手塚作品のキャラクターをAIで生み出す前代未聞のプロジェクトに挑む

手塚作品のなかに登場する、個性豊かなキャラクターたち。彼らに匹敵するようなキャラクターデザインを生み出すためには、まず手塚治虫らしいキャラクターとは何かをAIに学習させる必要があった。そのため、山ほどある手塚作品のなかからキャラクターを抽出し、AIに学習させたが、「はじめは思ったようにことは進まなかった」と、手塚 眞氏は言う。

「いちばん最初に出てきた画像は顔にすらなっていなくて、僕らから見たらただの模様でしかありませんでした。今思えば、漫画の画を学習させるだけで、いきなりAIに手塚治虫のキャラクターを描かせようっていうのは無理がありすぎたのでしょう」

さらに、プロジェクトチームはキャラクターの持つ個性にも注目。手塚漫画の主人公をシンプルに分析してみると、2つのパターンに分かれることが分かった。

「ひとつは天才的な主人公パターン。とても力が強かったり、賢かったり。例えば、アトムは100万馬力のスーパーロボットだし、ブラックジャックは天才外科医です。もうひとつは、特殊な能力を持っていない普通の人たち。この主人公たちは、特殊な事件に巻き込まれても努力を重ねることで優秀な人間へと成長し、事件を解決へと導いていきます」

なかでも「TEZUKA 2020」に求められていたのは、前者の天才的な力を持ったキャラクター。その属性に当てはまりそうなデザインのキャラクターをAIが生み出せるのか、というのも課題だったという。

「スーパーマンみたいに何でも出来る人が、何でも出来そうな見た目ではおもしろくありません。だから、見た目は真逆で、もっとも能力がなさそうに見えるキャラクターがよかったんです。仕事もできない、もしかしたら住むところもないような人間がいたとして、そのキャラクターが活躍するっていうのは、すごく手塚作品らしいと思うんです」

さまざまな試行錯誤を経て、AIの精度が向上するなかで、とても驚かされたことがあったと眞氏は振り返る。

「AIには学習させていないのに、ある日、既存のキャラクターと非常によく似たキャラクターが生成されるようになったんです。弟子やアシスタントではなく、明らかに手塚治虫本人が描いたようなキャラクターがいくつも出てきたことには驚きました。AIの可能性をすごく実感させられた出来事でしたね」

今回、手塚プロダクションを代表するプロジェクトリーダーとして、「TEZUKA 2020」に携わった石渡正人氏。AIに学習させる資料の提供から、出版社との交渉、漫画制作に至るまで、計画を予定通りに進行するための要となった石渡氏の目に、このプロジェクトはどのように映ったのか。

「人とAIが力を合わせて、漫画を描く。この前人未到のプロジェクトに対するメンバーの士気の高さに、まず驚かされました。自分たちが新しい時代をつくるんだという想いをひしひしと感じて、いつの間にか僕自身も熱中していましたね」

そんな石渡氏に手塚治虫らしいキャラクターについて尋ねてみたところ、意外な答えが返ってきた。

「実は“手塚治虫らしさ”について聞かれると、少し困ってしまうんです。というのも、手塚は1946年のデビューから43年間絶えず執筆活動を続けており、発表する媒体も幼年誌から一般雑誌まで実にさまざまでした。僕も仕事柄、有名なキャラクターの集合絵の依頼を受けることがあるのですが、線の太さやタッチ、プロポーションなどが大きく異なるので、とてもひとりの作家が描いたようには見えません」

「時代、ジャンル、対象層のどこを切り取るかで、違った手塚治虫が存在する」と石渡氏は説明を加える。

「アトムにしても、ロボットだから身体が成長することはないのに、17年間の連載中にプロポーションが変わっているんですよ。これは、手塚治虫への過去のインタビュー記事にも残っているのですが、時流に合わせてアトムの頭身を変えていたそうです。ただ、どの時代においても、キャラクターを描く線の美しさだけは変わりません。直線であろうと、曲線であろうと、スピード感をもって迷うことなく終点まで引き切る。それが手塚治虫の持つ最大の特徴でしょう」

その一端は、今回のプロジェクトでも垣間見ることができた。アトムが人とロボットの共存を願っていたように、人とAIが互いに得意不得意を補完しながら漫画を描くことができたら。そんな空想をしてみると、未来がさらにおもしろいものに感じるという。

「AIについて世の中ではいろんなことが言われています。でも、うまく付き合うことができたらより良い作品づくりができるようになると思うんです。だからこれから先が、より楽しみになりました。AIが本当のパートナーになる日。僕はそんな日が来るのを待っています」

迎山教授は、人間に代わってコンピューターに絵を描かせる研究を公立はこだて未来大学で行っている。

「私の研究を突き詰めていくと、コンピューターに置き換えられないものが残ると思うんです。それこそが、人間にしかできない“創造的なこと”であり、それを知るために現在も研究を続けています」

そんな迎山教授に一任されたのは、手塚プロから託された手塚治虫の原稿データを認識器でコマや吹き出しなどに振り分け、AIに学習させることだった。

「AIに機械学習をさせるためには、最初に顔というものが何であるかを教えなければいけません。しかも、手塚先生の描いたキャラクターはデフォルメされたものなので、これまで人間の顔を識別するために使っていた認識器では対応することができませんでした。結果として、自分たちで使えそうな絵を選んでいくことになったのですが、一つ二つではなく、下手したら1万単位の顔を用意する必要があります。これを学生と一緒に集めるところから作業はスタートしました」

作業は熾烈を極めた。まず『ブラック・ジャック』『火の鳥』『鉄腕アトム』といった作品から顔の画像を一つずつ抽出していくことにしたが、おそろしく膨大な時間が必要となった。この作業がひと段落すると、続いて他の作品にも着手することに。

「機械の融通の利かなさに苦労しましたね（笑）。手塚作品以外のキャラクターの顔や実在する人物の顔もAIに学習させたり、同じキャラクターでも左右を反転させて覚えさせたりといった試行錯誤を繰り返しました」

AIが導き出す画像の精度向上に向けて、さまざまな角度から挑んできた迎山教授。今回のプロジェクトに参画した感想について、次のようにコメントする。

「将来、AIが漫画を描けるようになったとしても、人間の創造性がゼロになるとは思っていません。なぜなら、漫画には作り手だけでなく、読み手がいるから。漫画はこれまでの歴史のなかで、新たな擬音や吹き出しの表現などを生み出してきましたが、それも読み手が受け入れないと定着しないんですね。今回のプロジェクトでも、それと同じようなことが起こる気がするんです。どこまでをAIが担って、どこまでを人が担うのか。そのスタンダードがいつか生まれると思います。もしかしたら1万年先になるかもしれませんが、そのときに人間の創造性がどうなっているのか楽しみです」

今回のプロジェクトにおいては、いかにして絵とシナリオから、AIが手塚らしさを学習するためのデータを抽出するか。また、そのデータを使い、手塚らしさを学習したAIに対して、どのように新しいプロットや絵を生成させるのかが技術チームに課された役割だった。当初、キャラクター画像の生成については､既存の技術を応用する戦略を採用したが､さまざまな難問に突き当たったという。

「今回の画像生成に使ったAIは、膨大な数の顔画像を入力することで“顔”という特徴を学習し､世の中にはないけれども極めてリアルな人間の顔を生成することができる、というものです。そのAIに対して、まずはシンプルに手塚治虫が描いたキャラクターだけを学習させていきました。AIに漫画のモノクロの線画を生成させるという取り組み自体が、恐らく初めての試みだと思います。僕らとしても未知のチャレンジでした」

その結果だけを言えば、思い描いたとおりのキャラクターを生成できなかったわけだが、栗原教授は「想定内だった」という。

「最初からキレイな顔の画像が生成できると思っていませんでしたね。ただ、顔のようでいて顔じゃないものなんだけれど、そこには確かに手塚らしさは出ていたと思うんです。当初はそれを人間が汲み取ってキャラクターに仕上げていくというゴールもあるだろうとは思っていました」

手塚漫画にはキャラクターの正面カットが極端に少なかったため、手塚治虫らしさを学ばせるには、やはり限界があったともいう。

「とはいえ、人間の顔であればかなり完成度の高いものを生成できるAIを使っているのだから、もう少し顔らしいものを作らないとマズイ……という空気感があったのも事実です（笑）。そこで､キオクシアさんの協力の下､転移学習という技術を用いて､何十万人という人間の顔のデータで学習したAIが獲得した顔の特徴のデータを利用することにしたのです」

この発想によってプロジェクトが再び前へと動き出すことになるのだが、そこに至るまでには長い道のりがあった。

「かなり色々と試行錯誤をした紆余曲折の結果として､転移学習を使うことに至った過程は､今思うとおもしろい展開ではありましたね」

手塚漫画のキャラクターを学習した初期のAIは、チームメンバーが期待するようなキャラクターを生成することができずにいた。プロジェクトチームはAIへのフィードバックを繰り返して改善を図ったが、ブレイクスルーとなったのが「転移学習」を導入するという発想の転換だった。そもそも転移学習とはどういった技術なのか？

「簡単に言うと二段階で学習するということ。当初行っていた、AIに手塚漫画だけを学ばせるのは一段階の学習。それを、そもそも漫画は人間の顔を二次元化したものなのだから、人間の顔の構造を実写画像で先に学ばせてから、手塚漫画を学ばせてみよう、ということをやったんです」と語るのはこの技術を提唱したキオクシアの国松敦。

本来であれば、手塚漫画のデータだけを何十万枚も学習させるのがいちばん良い方法であると思われた。しかし、手塚漫画には正面から描いた顔がほとんどないことなど、学習に適したデータが想定よりも少なかったことで、上手くキャラクターが生成できないという状態から抜け出せずにいた。

そこで国松は、手塚漫画データ以外からの転移学習を提案。深夜の研究室で熱い議論が交わされたが、「上手くいかないだろう」という意見の方が多かったという。しかし、バックアッププランの重要性を含めて説明し、推し進めた。

「大きいプロジェクトになればなるほど、そうした想定外のことはつきもの。だからこそ、メインの軸とは別にプランB、プランCのバックアップを用意しておくことが大切なんですね。無駄になってしまうかもしれないですが、世界で初めてチャレンジしているのですから、当然です。もちろん、保険を掛けすぎて保険金貧乏になってしまっては本末転倒ですが（笑）。私たちキオクシアは開発のプロフェッショナルです。だからこそ、うまくいかなかったときのためのバックアッププランも考えておこう、という感覚が染みついていたのかもしれませんね」

転移学習の導入により“手塚らしいキャラクター”が生成できるようになったことで、プロジェクトは大きく動き出す。実はこの時、実写画像だけでなくアニメやイラストの顔からの転移学習も試みたという。品質や安定性は良好だったのだが、手塚治虫が実際の人の顔を見てキャラクターイメージを作成していたという事実を重要視し、採用しなかったという。

「長い間進展がなかったタイミングでもあったので、素直に驚きました。でも、こういった地道な一歩の積み重ねが、将来の技術に繋がっていくと信じています。さらにはその技術が漫画やアニメといった日本を代表するカルチャーを後押しできる日が来ると、素晴らしいですよね」

足踏み状態だったプロジェクトを、再び前に進ませた転移学習。ターニングポイントとなったこのアイデアが、実際にはどのように行われたのか。そして、その先に試みたもう一つのチャレンジとは何だったのか？

「まず転移学習ですが、当初は私もうまくいくか疑問を持っていました。というのも、リアルな人間とデフォルメされた漫画の顔では、情報量に圧倒的な差がありますから。例えば、人間の頬には肌の色があり、その色の濃淡や印影といった情報が含まれていますが、漫画ではただ真っ白いだけです。それは情報が何もないことと同じなので、AIとしては顔のどの部位なのかが判別しにくい状態になってしまうはずなんですね」と実務を担当したキオクシアの中島 篤は振り返る。

しかし、予想に反して結果は上手くいった。その理由をいろいろと推測したものの「結局、わからないんですよ……」という中島。AIがどんな計算をしているのか、流れを一つひとつ追っていくことは可能だ。だが、なぜ上手くキャラクターが生成できたのかについては、意外にも解明できていないという。

上手くいったことは事実だが、ひとつ懸念点があったという。ストーリーに合うキャラクターが生成されるかどうか、だ。すでにストーリーの大枠は決まっており、“目力のあるキャラクター”が求められていたが、なかなか理想的なものが生成されずにいた。

「そこで試みたのが、“転移学習から生まれたキャラクターたちの個性を掛け合わせる”という方法です。この方法を用いることで、キャラクターの特徴を別のキャラクターに反映することが可能になりました。具体的には、任意のキャラクターの目だけを他のキャラクターの目に寄せたり、二つのキャラクターを足して割ったような、中間的なキャラクターを生み出すというようなことです」

今回『ぱいどん』に登場する主要なキャラクターの原案は、すべてAIが生み出した。中島はそこに、漫画の未来を垣間見たという。

「いつになるかはわかりませんが、AIだけで漫画が作れるようになる未来は、きっと来ると思います。例えば、気に入らない展開があれば、そこをAIと連携を図りながらストーリーを共に創り上げていく。そんな漫画の作り方が、当たり前になっているかもしれませんね」

掲載している内容とプロフィールは取材当時のものです（2020年02月）