Japanese/English
自然景観映像のレイヤー化に基づく仮想空間の構築手法
概要
実際の風景を撮影した映像を用いて写実的な3次元ＣＧを生成することができれば、
視点を自由に変更して撮影された風景を楽しむことが可能になる。
しかし、樹木や山などを含む自然環境を3次元ＣＧの生成対象とした場合、それらのテクスチャや形状が複雑なため、
精密にモデリングを行なうことは容易ではない。
本研究では、単眼ビデオカメラで撮影した自然景観の映像から実写に基づいた自然景観を立体的に提示することを目的とする。
そこで本研究ではカメラを平行移動して撮影した映像から距離情報を保持したレイヤー構造を生成し、
それらを距離に応じて提示するという手法を提案する。
本手法により、撮影したときの時間軸にとらわれずに、自由な視点で撮影した風景を鑑賞することができる。
レイヤー化
距離に応じた提示手法
はじめに
そこで本研究では、単眼ビデオカメラ1台で撮影した自然景観映像を用いて
インタラクティブに視点位置や視線方向を変更できる自然景観ＣＧを生成することを目的とする。
提案手法
レイヤー化
単眼ビデオカメラを平行に移動させて撮影したフレーム間での各物体の見かけの移動量を求め、
求めた移動量と実際の奥行きと対応付けることによって物体の奥行き情報を取得する。
ここで求めた奥行き情報は、視点変化に応じた自然景観の提示を行なうために用いられる。
以下では奥行き情報を求めて画像を分割する手法について説明する。
カメラを撮像面に対して平行に移動させながら風景を撮影すると、
得られる映像における風景はカメラの移動方向とは反対に動いているかのように表示される。
この時、カメラの近くに存在する物体ほどカメラの移動に伴ってその位置が大きく変化していき、
カメラからの距離が遠くなるにつれてカメラの移動による位置の変化の度合いは小さくなっていく。
つまり、各物体からカメラまでの実際の距離の違いは、
映像における各物体の移動量の違いである、と言うことができる。
よって、撮影した映像での各画素の物体の移動量を求めることによって、その風景内にある物体のカメラからの距離の違いを計測し、
距離別のレイヤー画像を生成できると考えられる。
この移動量を求める方法として映像の各フレーム間のオプティカルフローを計算した。
本手法においてはカメラの移動方向と同じ方向の移動量のみを利用した。
そして、レイヤーに分割するためにオプティカルフローを計算して求めた移動量に対して閾値を設定し、
映像の各フレームをそれぞれの領域ごとに分け、距離に応じたレイヤー画像を生成した。
本研究では、比較的遠い距離に存在する山や空などを含む自然景観映像を入力画像としているので、
移動量が取得できなかったりオプティカルフローの計算に誤差が生じたりする場合がある。
そこで本手法では、移動量と色情報を組み合わせることで入力画像に対して網羅的に奥行き情報を付加してレイヤー画像を生成する。
距離に応じた提示手法
レイヤー化によって得られた各レイヤー画像に対して、カメラからの距離に応じた提示方法を適用する。
カメラからの距離が近いと見なされるレイヤーでは、視点変化による見え方の変化が大きいため、擬似中心射影で表現されると仮定する。
擬似中心射影では、視界内の物体は視点が変化すると大きさが変化したり側面が見えたりするため、各フレームのレイヤー画像を合成して表示する。
擬似中心射影のモデル
物体の各点を焦点と物体の重心を結ぶ直線に平行に投影面に正射影してから、画像平面に中心射影する
逆に、カメラからの距離が遠いと見なされるレイヤーでは、視点変化による見え方の変化が小さいため、弱中心射影で表現される仮定する。
弱中心射影では、視界内の物体は視点が変化すると大きさだけが変化するため、各フレームのレイヤー画像からパノラマ画像を生成して表示する。
弱中心射影のモデル
物体の各点を物体の重心を通り画像平面に平行な投影面に正射影してから、画像平面に中心射影する
実験結果
実写映像の各フレームをレイヤー化した結果を下の図に表す。なお、撮影にはＤＶカメラを使用した。
カメラからの距離が最も近いレイヤーには、最もカメラに近い木と生垣の領域が分離・表示されている。2番目に近いレイヤーでは、主に最もカメラに近い木以外の木の領域が分離され、その次のレイヤーでは建物の領域が分離されている。そして、最もカメラからの距離が遠いレイヤーとして空となる領域が分離されているのがわかる。これから、距離に応じたレイヤー分割がなされていることが確認できる。
以上のレイヤー画像を用いて、新しい視点から見える自然景観をレンダリングした結果を以下に示す。
基準画像
|
視点と視線を右に移動したときの画像
|
詳しくは修論をご覧ください。
DOWNLOAD
視線を変化したときの動画例…MPG形式。約5MB
修論…PDF形式。約5MB
BACK
