Building Meshes from Tracker Positions

Building Meshes from Tracker Positions　

トラッカーポジションからのメッシュ作成

 

訳者注）簡単に手順を記載すると、

①パースペクティブビューに移動

②右クリックしてLock to current camera（カレントのカメラにロック　Key：L）　映像が出る

③メッシュ（ポリゴン）化したいトラッカーを選択3つ以上（右クリックLasso Trackers （投げ縄選択）が便利）

④トラッカー選択状態で右クリックしてMesh Operations/Convert to Mesh（メッシュ操作→メッシュへコンバート）

　トラッカーに丸いマークが付きメッシュになります。

⑤再度右クリックしてMesh Operations/Triangulate（トライアングル化）　ポリゴン が貼られます。

⑥再度右クリックしてSet as Edit Mesh（編集メッシュとしてセット）　

objとしてエクスポートすることでCGアプリにもっていくことができます。

 

ポリゴン化は以上でOKですが、カメラマッピングも実施できます。

⑦再度右クリックしてTexturing/Frozen Front Projection（テクスチャ→フロントプロジェクションを固定）

Frozen Front Projectionの場合はそのフレームの映像が固定でマッピング

Texturing/Rolling Front Projection.を選んだ場合は動画をマッピングされます。

モデルが厳密ならば3Dでバレ消しができそうです。

 

（以下本文）

It can be useful to be able to build a mesh from the solved tracker positions. Meshes can serve to catch or cast shadows, act as front-projection targets, etc. in your compositing or animation package, and these applications can be previewed within SynthEyes. The perspective window allows you to do so. You may want to increase the mesh density with the Track menu'sAdd many trackers dialog, rapidly creating additional trackers after an initial auto-track and solve has been performed.

At any time, SynthEyes can have an Edit Mesh, which is different than a normally-selected mesh object. The Edit Mesh has its vertices and facets exposed for editing.

If, in the perspective view, you select a cylinder, for example, and hit clickSet as Edit Meshon the right-click menu, you’ll see the vertices. Right-click the Lasso Vertices mode and lasso-select some vertices, then right-click Mesh Operations/Delete selected faces, and you’ve knocked a hole in the cylinder. Right-click the Navigate mode.

トラッカー位置からのメッシュ構築
解析されたトラッカー位置からメッシュを構築することは、役に立つことがありえます。
メッシュは合成することまたはアニメーション・パッケージでキャッチまたはキャストに影、フロント・プロジェクション・ターゲットとしての行為、その他を役目を果たすことができます、そして、これらのアプリケーションはSynthEyes.の中で内覧されることができます
パースペクティブ・ウインドウは、そうするのを許可します。
トラックmenu'sAdd多数トラッカー・ダイアログでメッシュ密度を上昇させたいかもしれません、最初のオートトラッキングと解析が実行されたあと、速く追加されたトラッカーを作製する。
いつでも、SynthEyesは編集メッシュを持つことができます。そして、それは通常選択されたメッシュ・オブジェクトとは異なります。
編集メッシュは、編集のために露出するその頂点と側面を持ちます。
パースペクティブ・ビューで、たとえば、シリンダーを選択して、編集MeshonとしてのclickSetに右クリック・メニューをぶつけるならば、fllは頂点を見ます。
投げ縄頂点モードを右クリックして、一部の頂点を投げ縄選択してください、そして、右クリック・メッシュ・オペレーション/Deleteは顔を選択しました、そして、穴をシリンダーにあけました。
右クリック・ナビゲート・モード。

Example: Ground Reconstruction

Next, with the solvedflyover_auto.snishot open and the perspective window open, right-clickLock to current camera(keyboard: L), click anywhere to deselect everything, then right-click Set Edit Mesh andMesh Operations/Convert to Mesh. All the trackers now are vertices in a new edit mesh. (If you had selected a group of trackers, only those trackers would have been converted.) Rewind to the beginning of the shot (shift-A), and right-clickMesh Operations/Triangulate. Right click unlock from camera. Click one of the vertices (not trackers) near the center, then control-middle-drag to rotate around the new mesh. Note that the triangulation occurs with respect to a particular point of view; a top-down view is preferable to a side-on one which will probably have an interdigitated structure rather than what you likely want.

Lock the view back to the camera. Click on the tracker mesh to select it. Select the 3-D control panel and click Catch Shadows. Select Cylinder as the object-creation type on the 3-D panel, and create a cylinder in the middle of the mesh object (it will be created on the ground plane). You will see the shadow on the tracker mesh. Use the cylinder's handles to drag it around and the shadow will move across the mesh appropriately. For more fun, right-click Place mode and move the cylinder around on the mesh.

In your 3-D application, you will probably want to subdivide the mesh to a smoother form, unless you already have many trackers. A smoother mesh will prevent shadows from showing sharp bends due to the underlying mesh.

例：
次に、開いた解析されたflyover_auto.sniショットと開いたパースペクティブ・ウインドウで、正常なカレント・カメラにclickLockな地面再建（キーボード：メッシュへのL)、どこでもすべてをはずすクリック、そして右クリック・セットされた編集メッシュandMeshオペレーション/コンバート。
すべてのトラッカーは、さて新しい編集メッシュの頂点です。
（一団のトラッカーを選択したならば、それらのトラッカーだけは変わったでしょう。）ショットを開始することに巻き戻ります（shift-A）、そして、右クリックMesh Operations/Triangulate。
正常なクリックは、カメラからロックを外します。
センターの近くの頂点（トラッカーでない）の1つ、そして新しいメッシュのまわりを回転する調節-中央の-ドラッグをクリックしてください。
三角測量が特定の見解に関して起こることに注意が必要です;
トップダウン・ビューは、多分、たぶん望むものよりもむしろinterdigitatedされた構造を持つだろう側面の1つより好ましいです。
カメラへビューをロックしてください。
それを選択するために、トラッカー・メッシュをクリックしてください。
３Ｄの調節パネルを選択して、キャッチ影をクリックしてください。
３Ｄのパネルのオブジェクト-作成タイプとしてシリンダーを選択してください、そして、メッシュ・オブジェクト（それは、地面平面でつくられます）の最中にシリンダーを作製してください。
トラッカーの影がかみ合うのを見ます。
それをまわりに引くために、シリンダーのハンドルを使用してください、そして、影は適切にメッシュを横切ります。
より多くの楽しみのために、プレース・モードを右クリックして、メッシュの上にシリンダーをまわりに動かしてください。
３Ｄのアプリケーションでは、すでに多くのトラッカーを持たない限り、多分よりスムーズな形にメッシュを再分割したいでしょう。
よりスムーズなメッシュは、下にあるメッシュのために影に対して示している鋭い曲がり角を妨げます。

Front Projection

Next, with the cylinder casting an interesting shadow on an irregular surface, right-clickTexturing/Rolling Front Projection. The mesh apparently disappears, but the irregular shadow remains. This continues even if you scrub through the shot.

In short, the image has been “front projected” onto the mesh, so that it appears invisible. But, it continues to serve as a shadow catcher.

In this “Rolling Front Projection” mode, new U,V coordinates are being calculated on each frame to match the camera angle, and the current image is being projected, ensuring invisibility.

Alternatively, the “Frozen Front Projection” mode calculates U,V coordinates only once, when the mode is applied. Furthermore, the image from that frame continues to be applied for the rest of the frames as well. This kind of configuration is often used for 3-D Fix-It applications where a good frame is used to patch up some other ones, where a truck drives by, for example.

Because the image is projected onto a 3-D surface, some parallax can be developed as the shot evolves, often hiding the essentially 2-D nature of the fix. If the mesh geometry is accurate enough, this amounts to texture-mapping it with a live frame.

Furthermore, the U,V coordinates of the mesh can be exported and used in other animation software, along with the source-image frame as a texture, in the rare event it does not support camera mapping.

フロント・プロジェクション
次に、面白い影を不規則な表面に投げかけているシリンダーで、テクスチャリング/回転フロント・プロジェクションを右クリックしてください。
メッシュは明らかに消えます、しかし、不規則な影は残ります。
たとえショットを通してゆするとしても、これは続けます。
要するに、イメージはメッシュの上の「計画される正面」でした、そのため、それは見えなく見えます。
しかし、影キャッチャーの役目を果たは続けます。
この「回転フロント・プロジェクション」モードでは、新しいU,V座標はカメラアングルにマッチするために各々のフレームで計算されています、そして、カレント・イメージは投影されています。そして、不可視性を確実にします。
あるいは、モードが適用されられるとき、「凍結したフロント・プロジェクション」モードは一度だけU,V座標を計算します。
さらに、そのフレームからのイメージは、同様にフレームの残りの間適用されられるために続けます。
たとえば、トラックが運転できる所で、この種の構成が良いフレームが一部の他のものを修復するのに用いられる３Ｄの簡単な修理のアプリケーションのためにたいてい使われます。
イメージが３Ｄの表面に投影されるので、ショットが発展して、一部の視差は生じられることができます、たいていフィックスの基本的に２次元の性質を隠す。
メッシュ・ジオメトリーが十分に正確であるならば、これはライブ・フレームにそれをテクスチャー・マップするようになります。
さらにまた、メッシュのU,V座標はエクスポートされることができます、そして、他のアニメーション・ソフトウェアで使われて、テクスチャーとしてのソース画像フレームに加えて、珍しいイベントではそれはカメラ・マッピングをサポートしません。

Changing Camera Path

If you have a well-chosen grid of trackers, you may be able to fly another camera along a similar camera path to the original, with the original imagery re-projected onto the mesh, to produce a new view. Usually you will have to model some parts of the scene fairly carefully, however.

トラッカーの精選されたグリッドを持つならば、新しいビューをもたらすために、メッシュの上へ再投影されるオリジナル・イメージで、オリジナルものへの類似したカメラ・パスに沿ってもう一つのカメラを飛ばすことができるかもしれません。
通常、しかし、かなり慎重にシーンの一部の部分をモデル化しなければなりません。

Practical Details

In practice, you will want to exercise much finer control over the building of the mesh. The mesh built from the flyover trackers winds up with a lot of bumpiness due to the trees and sparsity of sampling. SynthEyes provides tools for building models more selectively.

 The convert-to-mesh and triangulate tools operate only on selected trackers or vertices, respectively. Usually you will want to select only a subset of the trackers to triangulate. After doing so, you may find that you want to take out some facets and re-triangulate them differently to better reflect the actual world geometry or your planned use.

You can accomplish that by deleting the offending facets (after selecting them by selecting all their vertices), and then selectively re-triangulating.

Often an outlying tracker may need to be removed from the mesh, for example, the top of a phone pole that creates a “tent” in an otherwise mostly flat landscape. You can select that vertex, and right-clickRemove and Repair. Removed vertices are not deleted, to give you the opportunity to reconnect them. Use the Delete Unused Vertices operation to finally remove them.

Long triangles cause display problems in all animation packages, as interpolation across them does not work accurately. SynthEyes allows you to subdivide facets by placing a vertex at center, and converting the facet to three new ones, or subdivide the edges by putting a vertex at the center of each edge and converting each facet to four new ones.

Of course, there may not necessarily be a tracker where you need one to accurately present the geometry. Even if you used auto-tracking, and theAdd many trackersdialog, you will probably want to add additional supervised trackers for particular locations. Use Convert to Mesh to add them to the existing edit mesh.

Also, you can add vertices directly using the Add Vertices tool, or move them around with the move tool. Both of these rely on the grid to establish the basic positioning, typically using the Grid menu's Align to Trackers/Vertices option. You can then add vertices on the grid, move them along it, or move them perpendicular to it by shift-dragging. You can move multiple vertices by lasso-selecting them, or shift-clicking them from Move mode.

After we get into object tracking, you will see that you can use the mesh construction process to generate starting points for object modeling efforts as well.

実用的な詳細
実際には、メッシュを構築することの上に非常により美しい調節を用いたいです。
低空飛行トラッカーから構築されるメッシュは、サンプリングの木とまばらのために多くの凸凹でゆるみます。
SynthEyesは、ツールをより選択的にモデルを構築するために提供します。
コンバート-メッシュに、トライアングル・ツールは、選択されたトラッカーまたは頂点でだけ、それぞれ作用します。
通常、三角にするトラッカーのサブセットだけを選択したいです。
そうした後に、一部の側面を取り出して、よりよく実際のワールド・ジオメトリーまたは計画的な使用法を反映するために違ってそれらを再三角にしたいとわかるかもしれません。
問題のある側面（すべてのそれらの頂点を選択することによってそれらを選択した後に）を削除して、それから、選択的にre-triangulatingすることによって、それを達成することができます。
たいてい、外部のトラッカーは、メッシュ（たとえば、それ以外は主に、平らな景色で「テント」をつくる電話柱の上部）から取り外される必要があるかもしれません。
その頂点と正しいclickRemoveを選択することができます、そして、修復してください。
それらを再接続するチャンスを与えるために、取り除かれた頂点は、削除されません。
最終的にそれらを取り除くために、Delete使っていない頂点オペレーションを使ってください。
それらの中の挿入が正確に働かないで、長い三角形はすべてのアニメーション・パッケージでディスプレイ問題を引き起こします。
SynthEyesは、センターで頂点を配置して、側面を3つの新しいものに変えることによって側面を再分割するか、各々の端の中央に頂点を置いて、各々の側面を4つの新しいものに変えることによって端を再分割するのを許可します。
もちろん、正確に幾何学を提示するために1つを必要とするトラッカーが、必ずしもいるというわけではないかもしれません。
たとえオート・トラッキングとtheAdd多くのtrackersdialogを使ったとしても、多分特定の位置のために追加された手動トラッカーを加えたいでしょう。
それらを既存の編集メッシュに加えるために、メッシュにコンバートを使ってください。
また、直接追加頂点ツールを使用している頂点を加えることができるか、動きツールでそれらをまわりに動かすことができます。
これらの両方とも基本的な位置決めを行うために格子に頼ります、一般的に格子メニューのものを用いて、トラッカー/頂点オプションに整列してください。
それから格子の上に頂点を加えることができるか、それに沿ってそれらを動かすことができるか、シフトをドラッグすることによって、それら垂直をそれの方へ動かすことができます。
それらを投げ縄選択するか、移動モードからそれらをシフトクリックすることによって、複数の頂点を動かすことができます。
トラッキングしているオブジェクトに入ったあと、同様に効果をモデル化しているオブジェクトのためにスタートしているポイントを生成するためにメッシュ建設プロセスを使用することができるのを見ます。

Depth Maps

With a mesh constructed from the tracker positions, you can generate a depth map or movie to feed to 3-D compositing applications.

Once you have completed tracking and created the mesh, open the perspective window and begin creating a Preview Movie. Select the Depth channel to be written and select an output file name and format, either an OpenEXR or BMP file sequence (BMPs are OK on a Mac). Unless the output is OpenEXR, you must turn off the RGB data.

Click Start, and the depth map sequence will be produced. Note that you may need to manipulate it in your compositing application if that application interprets the depth data differently.

デプス・マップ
トラッカー位置からメッシュを造って、アプリケーションを３Ｄに合成することにフィードバックするデプス・マップまたはムービーを生成することができます。
一旦トラッキングを完了して、メッシュを作製するならば、パースペクティブ・ウインドウを開けて、プレビュー・ムービーを作成し始めてください。
デプス・チャンネルを書かれるのに選択して、出力ファイル名とフォーマット（OpenEXRかBMPファイル・シーケンス（BMPは、マッキントッシュの上でＯＫです））を選択してください。
出力がOpenEXRでない限り、RGBデータをオフにする必要があります。
スタートをクリックしてください、そして、デプス・マップ・シーケンスはもたらされます。
そのアプリケーションが違ってデプス・データを解釈するならば、合成しているアプリケーションでそれを操作する必要あるかもしれないことに注意が必要です。