エレクトロニックデュオ・Empire Of The Sun、MV『Way To Go』

—　今回技術的なチャレンジがあったのではないかと思いますが、どういったことを試みましたか？
 

北畠
今回はフォトスキャン、フェイシャルキャプチャ、モーションキャプチャ、ブルーバック撮影という、複数の要素を組み合わせた制作でした。そのため制作には、各プロセスを正確に処理する必要がありました。さらに、EOTSがツアー中で、スケジュールがかなりタイトでした。それぞれのステップを正確かつ迅速に処理して、短納期で仕上げることが今回の一番のチャレンジだったと思います。特にフェイシャル、モーションキャプチャについては、ツークンさんに今回のプロジェクト用に、リグのセットアップをカスタマイズしてもらい、社内の制作フローをシームレスに繋げられるようにしました。そのプロセス全体のスピードと、精度のバランスを両立できたことは、ツークンさんとのパートナーシップを結べたからこそ、実現できたものですね。

浅井
僕は、大きく2つのポイントがありました。1つは、表情の3Dスキャニング、表情のトラッキング、実写の顔とコンポジット。2つめは、頭部とボディーの人物、撮影用のカメラポジションのトラッキング、全身のコンポジットです。予算も期間と同様に限られていたので、当初はコンポジットなしで、顔だけのアニメーションを予定していました。ですが、EOTSの世界観をより表現したい、もっと面白いものを作りたいという想いが強く、結果的に全身まで入れることを決断しました。ツークンさんはもちろん、コンポジットを担当してくれたjittoさんなど、皆さんのご理解とご協力があり、何とかクオリティーを落とさず、MVを完成させることができました。
 

—　プロダクションのプロセスを教えてください。
 

北畠
『Way To Go』は複数のプロセスを経て、完成した作品です。特にイレギュラーだったのは、まず初めにLAのスタジオで、顔のフォトスキャン撮影を行ったことですね。僕たちはLAには行かず、ツークンさんとPCの画面越しに、リモートで適切なポーズのディレクションをしていました。

浅井
数十台の光学カメラで撮影した画像を解析し、3Dモデルを作る方法でスキャンしました。この方法だと、顔の表面の毛穴など、細かい凹凸まで再現することができます。大きなメリットは、同時にテクスチャが取得でき、モデルデータとテクスチャとのズレがないことです。
ちなみにフェイスマッピングでは、テクスチャはフォトグラファーが後から撮影したものを、手動で貼り合わせて作っていたため、小さなズレがあります。ただ、表現のフェイズで考えると、どちらも一長一短です。フォトグラファーが撮影したものは、ライティングや表情のタイミングなど、「表現としてのクオリティー」が高くなります。フェイスマッピングでは、とても重要なクリエイティブ要素になりました。
 

北畠
LAで撮影したデータは、ツークンさんにリトポロジーとディスプレイスマップ、テクスチャを作成してもらい、リグ入れをしてもらいました。それを一旦WOWに納品してもらい、WOWチームでビジュアルの開発と、アニメーションテストを行いました。そして、撮影のためにEOTSの2人に来日してもらい、ツークンさんのスタジオで午前中はフェイシャルキャプチャ、午後はモーションキャプチャを含めた実写撮影を行いました。
 

浅井
メイキング映像に登場していますが、数十台の「VICON」というセンサーを使い、表情のトラッキングを行いました。400個にもおよぶマーカーを顔に貼って、微妙な表情な動きをトラッキング。それらを顔の3Dモデルに流し込みます。そうすることで、生き生きとしたリアルなCGの表情アニメーションが出来上がります。ちなみに400個のマーカーは、ETOSの2人に横になってもらい、数人がかりで数時間掛けて貼りましたが、本当に大変でしたね…（笑）。
 

北畠
撮影終了後は、ツークンさんにキャプチャデータをリグに流し込んでもらい、頭のモーションはFBXのボーンアニメーションで、顔の表情アニメーションはAlembicで出力してもらいました。その後WOWチームで、2つのデータを事前にもらっていたリグにマージして、本番用のエフェクトとアニメーションを作成しました。
 

浅井
次に、CG素材の頭部と表情を、実写で撮影した本人たちに合成するプロセスがあります。これを実現するためには、「CGの頭部と表情」と「実写映像の頭部」のサイズや位置、回転角度がぴったりと合う必要があります。そのため、カメラとアーティストの頭部に、モーションキャプチャのクラスター化したマーカーを貼って、モーションキャプチャを行います。原理としては、CG内のカメラと、CG内の頭部オブジェクトに、このセンサーで取得したポジションと角度を流し込めば、同じ状態が再現されることになります。実際には、センサーで取得したデータには誤差が含まれるので、モーションキャプチャ後にデータ処理を行い、ノイズを除去したり、ズレを補正したり、地道で遠大な作業が待っています。
顔の表情トラッキングというのは、実はかなり難しい問題なんです。人間の顔は、一瞬たりとも同じ表情をしていないので、かなり厳密にスキャニングとトラッキングをしても、実写の人間の顔とは一致しません。そこに、カメラ位置や距離のズレもあると、さらにコンポジットは困難になります。
 

—　メイキングで顔のマーカーがスゴイことになっていましたが、ETOSの二人の反応は？
 

北畠
二人は「Cool」って言っていましたが、ちょっとあのボツボツは見ているこっちが鳥肌立ちましたね。スタッフの方が、恐れおののいていました（笑）。
 

—　制作進行の仕方も変わっていたとお聞きしましたが、詳しくお聞かせください。
 

浅井
スタッフはそれぞれ、LA（Luke・マネージャー）、シドニー（Nick・レーベル・ディレクター）、東京（WOW・ツークン研究所など）に点在していたため、ファーストコンタクトから完パケまでのコミュニケーションを、appear.inで行いました。ETOSチームと直接会ったのは、日本に来日した2日間のみ。日本での撮影以外はデータのやりとりも含めて、インターネットでのみ、コミュニケーションを完結させました。
今回の作品は、アーティストの実体をデータとしてバーチャル化し、それをネット上で共有することで制作しました。同時に制作のプロセスも、インターネットによって国を超えて、コミュニケーションする方法で進めました。あらゆるものが、どんどんバーチャル化していく時代を体感しましたね。
 

—　今回の作品を通して感じたことなどは？
 

北畠
ツークン研究所さんと同じくらい、jittoさんには非常にお世話になりました。撮影計画からコンポジットまでを見ていただき、要所要所でアドバイスをもらいながら進めることができたお陰で、複雑なプロセスを滞りなく進めることができました。オンラインとグレーディングについても引き受けてくださったので、作品全体のクオリティーがぐっと上がりました。
 

浅井
今回のチャンレンジは、「既存の表現方法や技術を塗り替えた」という意識はなく、遅れを少し取り戻せたくらいの感覚でいます。ハリウッド映画のVFXでは、もっともっとすごいことを普通にやっているので…。日本ではまだまだ遅れをとっているところを頑張ってみた、といったところです。これからも、もっともっと進化していきたいですね。