超初心者向け解説です。
わけもわからず「やってみたい!」という場合に
何が必要になるか書いてみます。
(プロの方は対象ではないので読み飛ばしてください)
作業の流れを大雑把に書くと下記のとおりです。
どのソフトを用いてもほぼ同じです。
①実写動画をカメラトラッキングソフトで解析
②解析結果のカメラ動作を各種CGアプリ用の形式でエクスポート(スクリプト等で出力される)
③CGアプリで②を読み込んでCGアプリ上で実写のカメラ動作を再現
④実写とCGモデルを合成
では、各手順で何が必要になるか説明します。
あたりまえですがこれがいります。
映像のフォーマットはカメラトラッキングソフトが何をサポートしているかよります。
Voodooの場合はビデオ画像を連番画像(tga形式)に変換しておく必要があります。
(変換ソフトの紹介は省略します)
初心者がよくやるのですが、
映像は、必ずカメラ位置を「移動」撮影してください。立ち位置を変えずに自分中心にパンしただけの映像は
視差がないため3D解析できません。
また、できれば露出・ピントは固定にしましょう。合成時に困るからです。
あと、初心者はズームも使っては駄目です。特殊なトラッキング操作が必要です。
誰でも持っているカメラとして携帯電話の動画撮影機能が挙げられますが、
CMOS方式の携帯電話カメラは「動体歪み」という欠点を持っているため、
手持ち撮影した動画は、トラッキング解析には不向きですので注意しましょう。
注)最近のビデオカメラはCMOSが多いです。激しくカメラを振ったりしなければ大抵は問題ありません。
iPhone4にはリアルタイムに手ぶれ補正できるアプリが出たようです。
iPhone用手ぶれ補正ソフトStedyCam
CG作成用の3Dモデリング・レンダリングソフトです。
ピンキリですがフリーならばBlenderを使う人が多いようです。
プロ用ならばMaya、3dsMAX、LightWave等が有名です。
カメラトラッキングソフトによってエクスポートできるCGアプリケーションがまちまちなので注意が必要です
Blender+Voodooの組み合わせの作例はこんな感じです。

SynthEyesの場合はcarraraなんかにも対応しています。
Voodooのma出力をcarrara用にコンバートするコンバータなんかもあるようです。
V2C
安価なものは下記
Voodoo:フリー
VooCAT:1.5万程度
SynthEyes:4万程度
boujou:200万程度(プロ用)
SynthEyesは安価ながら映画やCMにも使用されています。
Maya付属のMaya LiveやBlenderのtrunk版(Tomato Branchがマージされた)などもありますが、今のところ機能は少なめです。
Maya 2011からはAutodesk MatchMoverがバンドルされており、こちらは高機能です。
CGアプリ上で背景をトラッキング対象の動画に指定してCGごとレンダリングしてしまう方法もありますが、
通常はCGのみをアルファ付きTgaファイルで書き出し、別の合成用のアプリケーションで背景動画と合わせる方法を取ります。
AfterEffectsが用いられることが多いですが、AfterEffectsに近い機能を持ったフリーソフトではJahshaka等があります。
Jahshaka日本語解説サイト

CGソフトのコンポジット機能やコンポジットソフトを使うのも良いでしょう。ただし、グレインマッチングに未対応のものが多いので、工夫が必要です。
実際にやってみると、「CGは実写の動きにマッチしたけどなんか嘘っぽい」という壁にすぐにぶつかります。
実写に対してCGが浮いていてなじんでいないからです。
下記に、さらにクオリティを上げるのに必要な要素を書きます。
CGのモデリングよりも照明やレンダリングが重要になります。
TOPページの作例は、3dsMAXでCGを作成し、Vrayという外部レンダラーによるGI(グローバルイルミネーション)で
レンダリングされています。照明もスカイライトが用いられています。
実写の照明とCGの照明をできるだけ合わせる必要があります。
さらにリアルな照明を行うにはHDRIを用いた照明を行います。

CGの色味と実写の色味を合わせます。
AfterEffectsなんかが使われます。
実写のCGの色味を合わせます
ビデオのホワイトバランス調整のようなものです。
あと、CGの黒は(R.G.B)=(0.0.0)の真っ黒ですが、
実写は大抵完全な黒の部分などないので黒の部分でCGが浮きます。

ビデオはインターレース方式とプログレッシブ方式があり、インターレース方式の映像はアップにするとジャギーがあります。
CGにはインターレースのようなジャギーは無いため、やはりCGが浮いてしまいます。
AviUtl、TMPGEncといった有名なエンコードソフトにはインターレース解除の設定項目がついています。

実写背景のグレインとCGのグレインをマッチさせます。
AfterEffectsには「グレインエフェクト」機能があります。
グレインマッチングの作業の様子
http://provideocoalition.com/index.php/motiongraphicsvizfx/story/grain_matching/P0/
以上、まだ書きかけですw。
2011-11-09
2011-05-05
2010-12-10
2010-11-07
2010-10-27
2010-10-22
2009-11-23