先端映像表現技術論第4回 プロジェクションマッピングとカメラマップ

プロジェクションマッピングとは何か?

映像を平面や立体物に投影することによって立像が作られることを指します。

古くは、スクリーンプロセスと呼ばれるフロントプロジェクション、リアプロジェクションなどの投影法があります。

スクリーンプロセス

人物や模型などの後ろに映画と同様に投射用のスクリーンを立て、そこに映像を投影する。映像を正面(フロント)側からもしくは後方(リア)側から投影するかによってフロントプロジェクション、リアプロジェクションと呼ばれる。特撮映画、SFXの手法として過去には使われていたが、クロマキー合成、デジタル合成が普及した中で用いられなくなった。

http://blogs.yahoo.co.jp/bell_mino/581236.html より引用

 

古いテレビドラマや映画では用いられているリアプレジェクション
バットマンTVシリーズから

クルマの後方の景色はスクリーンプロセス(リアプロジェクション)によって投影された実写です。合成と言えば合成ですが、生で合成する手法です。

リアプロジェクション用スクリーンの紹介

新宿スバルビル解体に伴ってイベント リアプロジェクションマッピング

プロジェクションマッピングの原理と特徴

近年はアートやイベントの一環として用いられるようになって来ています。

その特徴は

立体物を投影スクリーンとみなして、立体の輪郭や形状をなぞることや逆に形状を無視する事によりさまざまな視覚的錯覚や錯視を生み出します。イリュージョンとかフェイクと言われるのもそのためです。

プロジェクションマッピングを正確に行なうためには3次元的な形状を把握するする必要があります。

また、大がかりなプロジェクションマッピングはその視聴場所を考慮しなければなりません。視聴場所によっては正しい結果を得ることが出来ない場合もあります。またそのことはAnamorphic Illusion錯視を考えることにもつながります。

Anamorphic Illusion 歪視および錯視の実例
プロジェクションマッピングの実例を上げながら解説していきたいと思います。

 

平面へのマッピング

まずは一番基本的なプロジェクションマッピングです。平面の壁が立体的に浮き出たり、壁からオブジェが飛び出してきます。観客はGCで作られたパースや立体感を擬似的に体感してあたかもそこに立体物が存在するかのように錯覚します。

2面もしくは3面へのマッピング

オブジェへのマッピング
単純な椅子やビンなど、最近は人間の体へPM

建物や巨大壁面へのマッピング

パフォーマンスマッピング
ライブの人間との絡みやミュージシャンのパフォーマンスとしてのPM

複雑な立体物や動く物へのPM
動いているものをトラッキング(追尾)してその位置座標に映像を投影するもの
ピンポン球へのPM

人間の顔に小さなマーカーを貼り、顔の位置と向きを検出してPMしたもの

元SMAPの香取くん草彅くんが登場する同じsmap Face Hacking

FACE HACKING REAL-TIME FACE TRACKING 3D PROJECTION MAPPING By Nobumichi Asa in Vimeo Staff Picks on Vimeo from MultiMediaMike on Vimeo.

原宿にあるレストランで限定公開されたディナータイムテーブルの上で行われるPM。可愛い小人たちが食事やデザートをサーブしてくれる。作ったのはドイツのアートチームSkullmapping。

最新PM事情
カメラの視点を考慮してそのアングルに対して正確なパースの映像を提供するもの

『BOX』
工作用機械と映像を組合わせたもの。コンピュータ制御により正確な同期が実現しています。

NHK紅白歌合戦でのperfumeのパフォーマンスなどもそれにあたる

投影した映像を正確に貼り付けたり、歪みを補正するために、台形補正=キーストーン(KeyStone)やマッピング(Mapping)を行うソフトやツールが用いられる。主なソフトとして次のようなものがある。

・リアルタイムビデオマッピング、スイッチングソフト
MadMapper(Mac マッピングアプリ)
modul8(Mac リアルタイムVJ・スイッチングアプリ)
ArKaos(Win/Mac リアルタイムVJ・スイッチングアプリ)
VPT(Mac/Windows マッピング・スイッチングアプリ)
Rezolume
・映像合成エフェクト制作用ソフト
Adobe AfterEffectsなど

・3DCGソフト
Adobe photoshop 2D画像の制作・編集・イフェクトの定番アプリ
Maya、3dsMax、Cinema4D、Blenderなど3DCGソフト

一般財団法人 プロジェクションマッピング協会
http://www.projection-mapping.jp/

さて、
プロジェクションマッピングを理解した上で今度はカメラマッピングの話をしていきます。

『Camera Mapping』

カメラマッピングとはCGのカメラの位置から見た画像(写真)をCGで作成した簡単なモデルにカメラと同じパースで投影すること。それによりカメラから見た映像と同じ風景を見ることができ、別のカメラを仕立てて視点を移動するとパースが疑似的に変化する。これにより、視点移動の中で立体的な奥行きを表現することができる。

カメラマッピング Camera Mapping

カメラマッピングという手法は業界では非常にポピュラーですが、学ぶ側からすると意外と知る機会やきっかけが少ないことかもしれません。ですが、カメラマッピングを知ることによって表現の幅や時間や作業効率を劇的に短縮することが出来るものです。ほとんどの3DCGソフトで実現できますので自分の扱えるソフトでどのように行うのか調べておくと良いかと思います。

Box Camera Mapping

Digital Camera Mapping Breakdown

Camera Mapping with Maya & Nuke – Chernobyl (2017)

カメラマッピングとは?

プロジェクションマッピング“は最近よく見かけたりすると思います。壁や建物に対してプロジェクターを用いて映像を投影することで不思議な空間や錯視を利用した映像表現をするものです。カメラマッピングは同じようにカメラ(ライト)から映像を投影することでオブジェクト(レイヤー)に映像(静止画)をマッピング(貼り付け)します。

古くはマットペインティングというガラスに直接絵の具で絵を描いてカメラの前に置いてそのまま背景や合成素材を撮影することがありました。また、スクリーンプロセスと呼ばれるフィルムやビデオの投影プロジェクターに背景などを映し出す手法もありました。カメラマッピングはデジタル技術を応用した新しいマットペインティングスクリーンプロセスと呼ぶことが出来るかもしれません。

ほとんどの3DCGソフト(MAYA,3dsMAX,Cinema4D,Blenderなど)やNuke(Objectは他のソフトからインポート)、AfterEffects(簡単な平面)でも可能です。

Autodesk Maya Camera Projection

Matte Painting from still image (3D camera projection) – Nuke

初期のカメラマッピング(パースマッピング)はいくつかアニメの作品の中で見ることが出来ます。
初期の頃は、地面、キャラクター、背景それぞれをプレート(板)状のポリゴンに貼付けて立体的に見せたものでした。
パースの遠近感を出すために、本来は一枚に描く背景を手前と奥のレイヤーに切り分け、それぞれをプレートに貼付けてAfterEffectsのような合成ソフトかCGソフト上で動かしていきました。
大友克洋『メモリーズ 大砲の街』(1995)や川崎博嗣『スプリガン』(1998)に見ることが出来ます。共にアニメーション制作は4°C
メモリーズ 大砲の街冒頭の廊下シーン


スプリガン 橋本晋治パートラストカットがパースマップ

カメラの主観移動としてはそれなりにごまかす事が出来て効果的な手法であるが、一方で
地面との接地するモノ(キャラクターや木など)ではプレートがバレてしまう恐れがある。

After Effectsのカメラマッピング

After Effectsでも簡単な平面構成のオブジェクトに対してカメラマッピングをすることが出来ます。これはライトの影を落とす=シャドウマッピングを応用しています。シャドウマップのテクスチャーの代わりに映像を投影することでカメラマッピングを実現しています。

2D to 3D Projection mapping Tutorial for Adobe After Effects

どんな時に有効か?メリット

一枚の写真(画像)からカメラの動きや立体感、奥行き感を出す

複雑な建物、街並み、山などの景観を写真から、あるいは写真や画像のコラージュ(合成したもの)から同じようにカメラの動きや立体感、奥行き感を出す

奥行き情報(デプスマップ)を持つことが可能なのでフォグや合成レイヤーを挟み込むことが可能

3D立体映像(Stereoscopic)などの複数の視点(視差)を持つ映像に応用も可能
特にNukeは通常撮影した映像の3D立体視化(2D to 3DConversion)の作成によく使われている

3DConversion Stereoscopicプロダクション
StereoD
Prime Focus

ここでは映画『グラビティゼロGravity』のStereoScopics (2D3DConversion)のMakingを見てみましょう。

デメリットや注意点は

カメラマッピングの注意点は、あくまであるカメラからプロジェクション(投影)した映像をマッピング(貼り付けて)しているので裏側や影になっている部分には映像がないということです。ですので、カメラが回り込み過ぎるとバレが生じていまいます。また、映り込み、ハイライト、陰影などもすべてテクスチャーに依存しまうのでカメラの動きの中でやはり違和感が出る場合があります。その点に充分注意して扱う必要があります。

応用例として
タイムスライス的な時間軸の操作をする例をご紹介しよう
これは、一枚の写真をレイヤーで切り出して
時間軸を延ばしてみたものです
タイムスライス自体は多視点のカメラを用意しなければならず
準備もコストもそれなりにかかります
ですが、タイムスライス上でそれほど視点移動が大きくない場合には
この手法でも充分結果を出すことが出来ます。


PDF