写真1枚を入力すれば、バーチャルな旅行体験ができるという研究を紹介しましょう。コンピュータグラフィックスの専門家、金森由博先生は、行ってみたい憧れの地を楽しめるバーチャル旅行を実現しました。最新の人工知能の計算法を駆使したCG技術の最前線に迫ります。
最新CG技術を駆使 あなたの写真一枚でバーチャル旅行
自然な画像は陰影がポイント
コロナ禍で外出自粛が続いたとき、うちの奥さん、「旅行に行きたいな」と言いました。パリとかローマとかシンガポールとか行けたらいいんだけけど、お金がない。私はすてきな解決策をひらめきました。バーチャル旅行にすればいいんじゃないか！？
「バーチャル旅行のイメージは下図のような感じです。背景と人物の見た目を変えることによって、あたかも旅行しているような雰囲気を味わうことができます。
でも、単純に背景に人物を合成すると、背景の光の当たり方と、人物の見た目が合ってないので、不自然に見えます。人物の陰影を調整する必要があると考えました。
人物の陰影を調整すると、下の映像のような感じになります。先ほどに比べてだいぶ見た目が良くなっているので、自然かなと思います。これで陰影が大事だってことはわかりました。
この陰影というものは、そもそもどうやって決まるのかというと、3つ要素があります。
1つは形状です。例えば人の形ですね。2つ目が質感。あの人の肌がツヤツヤしているとか、服がごわごわしているとか、そういった質感を表しています。3つ目の要素に光源があります。こういった3つが揃うと陰影が決まります。
深層学習で陰影を計算
陰影の計算は、映像を自然に見せる3つの要素（光源、質感、形状）の積分で求められ、コンピュータではベクトルの内積として計算できます。私は、この3つの要素を入力し、深層学習と呼ばれる人工知能の数学モデルを使う方法を用いました。
こうして得られた質感とこの形状の情報、さらにこの新しいロケ地でどんな光が差し込んできているかという光原の情報を加えてあげることで、ロケ地でこの人がどのように見えるのかっていうのを再現することができました。
こんな技術ができたので、奥さん、喜んでくれるかなと思ったら、まだダメだとお怒りです。うちの研究室のタジマくんという学生が、もっと改良しましょうと言ってくれました。
技術の改良の第1弾は、わかりにくいですが被写体の人物の実写感を少し改善しました。さらに最新版では、影や光沢のところを強化しました。これでずいぶん再現度が高まりました。
新CG技術でバーチャル観光を楽しもう
その後、タジマくんは、学会の出張先で観光したいなと思っているけど、忙しくて観光できません。それで、改良した技術を使ってバーチャル観光を楽しんでいます。
このバーチャル観光の様子を見ると、光沢に照らされた顔の表情や、影が落ちている服の質感がそれらしくなっているのがわかるかと思います。
こういった具合にCG技術が進んでいくと、バーチャル旅行の写真をSNSにアップロードして楽しむなんてことができるようになるかと思います。
◆先生は研究テーマをどのように見つけたのでしょうか。
企業とのお話で、「お客さんの写真に服の写真を重ねて、仮想的に試着できるようにしよう」という研究をやっていたのですが、単に服の写真を重ねただけでは、人物の陰影と服の陰影が揃わず、不自然な見た目になることがわかりました。そこで、そもそも陰影がどうやって生じるのかという原理に立ち返り、陰影を変更できる技術の開発に取り組みました。陰影は、質感、形状、光源の3つの要素の積分で求められます。写真からこの3つの要素を分解し、得られた質感と形状、そして新たな光源の要素を用いて再構成することによって、陰影をそれらしく合成できる技術を開発しました。
◆先生の研究室の卒業生は、どんな仕事についていますか。
CGの研究室ということで、ゲームに興味を持って研究室に入ってきて、ゲーム会社に就職する学生が半分くらいいます。普通にIT企業に就職する人も多く、中には研究の面白さに目覚めて企業の研究者や大学教員になった人もいます。
