全方位画像生成方法、画像生成装置およびプログラム
【課題】複数の画像から奥行きのあるシーンの全方位画像を生成する。
【解決手段】複数の画像から奥行きのあるシーンの全方位画像を生成する全方位画像生成方法であって、複数の視点位置から被写体を撮像した画像を取得するステップと、取得したそれぞれの画像を予め定義した複数のレイヤ面に投影するステップと、画像が投影されたレイヤ面上における被写体の色情報または輝度情報とを算出するステップと、取得した画像上の被写体の点をレイヤ面上に投影した画像の点との類似度を求めることにより、レイヤ面上の各点における被写体の存在確率を表す信頼度を算出するステップと、信頼度に基づき、被写体の信頼度が最も高いレイヤを中心として複数のレイヤを選択するステップと、選択されたレイヤ面上における被写体の色情報または輝度情報と信頼度情報に基づき、奥行きのあるシーンの全方位画像を生成するステップとを有する。
【解決手段】複数の画像から奥行きのあるシーンの全方位画像を生成する全方位画像生成方法であって、複数の視点位置から被写体を撮像した画像を取得するステップと、取得したそれぞれの画像を予め定義した複数のレイヤ面に投影するステップと、画像が投影されたレイヤ面上における被写体の色情報または輝度情報とを算出するステップと、取得した画像上の被写体の点をレイヤ面上に投影した画像の点との類似度を求めることにより、レイヤ面上の各点における被写体の存在確率を表す信頼度を算出するステップと、信頼度に基づき、被写体の信頼度が最も高いレイヤを中心として複数のレイヤを選択するステップと、選択されたレイヤ面上における被写体の色情報または輝度情報と信頼度情報に基づき、奥行きのあるシーンの全方位画像を生成するステップとを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
全方位画像生成方法、画像生成装置およびプログラムに係り、特に、互いに重なりあうように方向を変えて撮像した複数の画像から、任意の視点を中心とした全方位画像を生成する技術に関する。
【背景技術】
【０００２】
カメラの近くに人物などの被写体が存在する奥行きのあるシーンの全方位画像を複数の画像から生成する場合において、複数の画像を連続的に合成するためには、画像間の見え方の違い、すなわち、被写体の奥行き情報（３次元情報）を考慮して合成する必要がある。
【０００３】
しかし、２次元の画像から奥行き情報（３次元情報）を推定することは難しく、様々な奥行き推定手法が提案されている。その１つに、撮像したシーンを多層のレイヤとして表現し、レイヤ上に被写体が存在する位置を信頼度として表すことで、高品質な３次元画像を生成する方法がある（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第４０５２３３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の方法にあっては、被写体の奥行きに曖昧さを持たせているため、推定が良好な画素にも不要な情報が付加され、生成画像の品質が劣化するという問題がある。また、被写体をカバーするレイヤ数が多くなると、メモリなどの計算機リソースを多く消費すると同時に、計算時間が増加するという問題もある。
【０００６】
本発明は、このような事情に鑑みてなされたもので、互いに重なり合うように撮像した画像から、全方位画像を生成する際に、計算機リソースを節約しつつ、適切に画像を生成することができる全方位画像生成方法、画像生成装置およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、複数の画像から被写体の全方位画像を生成する全方位画像生成方法であって、複数の視点位置から被写体を撮像した画像を取得する画像取得ステップと、前記取得したそれぞれの画像を予め定義した複数のレイヤ面に投影する画像投影ステップと、前記画像が投影された前記レイヤ面上における前記被写体の色情報または輝度情報とを算出する色輝度情報算出ステップと、前記画像取得ステップによる取得した画像上の被写体の点を前記レイヤ面上に投影した画像の点との類似度を求めることにより、前記レイヤ面上の各点における被写体の存在確率を表す信頼度を算出する信頼度算出ステップと、前記信頼度に基づき、前記被写体の信頼度が最も高い前記レイヤを中心として複数のレイヤを選択するレイヤ選択ステップと、前記選択されたレイヤ面上における前記被写体の色情報または輝度情報と信頼度情報に基づき、前記被写体の全方位画像を生成する画像生成ステップとを有することを特徴とする。
【０００８】
本発明は、複数の画像から被写体の全方位画像を生成する全方位画像生成方法であって、複数の視点位置から被写体を撮像した画像を取得する画像取得ステップと、前記取得したそれぞれの画像を予め定義した複数のレイヤ面に投影する画像投影ステップと、前記画像が投影された前記レイヤ面上における前記被写体の色情報または輝度情報とを算出する色輝度情報算出ステップと、前記画像取得ステップによる取得した画像上の被写体の領域内の代表点を抽出する領域・代表点検出ステップと、前記画像取得ステップによる取得した画像上の被写体の点を前記レイヤ面上に投影した画像の点との類似度を求めることにより、前記レイヤ面上の各点における被写体の存在確率を表す信頼度を算出する信頼度算出ステップと、前記代表点の信頼度に基づき、前記領域において、前記被写体の信頼度が高い前記レイヤ範囲を選択するレイヤ選択ステップと、前記選択されたレイヤ面上における前記被写体の色情報または輝度情報と信頼度情報に基づき、前記被写体の全方位画像を生成する画像生成ステップとを有することを特徴とする。
【０００９】
本発明は、複数の画像から被写体の全方位画像を生成する全方位画像生成方法であって、複数の視点位置から被写体を撮像した画像を取得する画像取得ステップと、前記取得したそれぞれの画像を予め定義した複数のレイヤ面に投影する画像投影ステップと、前記画像が投影された前記レイヤ面上における前記被写体の色情報または輝度情報とを算出する色輝度情報算出ステップと、前記画像取得ステップによる取得した画像上の被写体の点を前記レイヤ面上に投影した画像の点との類似度を求めることにより、前記レイヤ面上の各点における被写体の存在確率を表す信頼度を算出する信頼度算出ステップと、前記信頼度に基づき、前記被写体の信頼度が所定値以上である前記レイヤを選択するレイヤ選択ステップと、前記選択されたレイヤ面上における前記被写体の色情報または輝度情報と信頼度情報に基づき、前記被写体の全方位画像を生成する画像生成ステップとを有し、前記レイヤ選択ステップは、前記被写体の信頼度が所定値を満たさない場合は、前記信頼度算出ステップの信頼度とすることを特徴とする。
【００１０】
本発明は、複数の画像から被写体の全方位画像を生成する全方位画像生成方法であって、複数の視点位置から被写体を撮像した画像を取得する画像取得ステップと、前記取得したそれぞれの画像を予め定義した複数のレイヤ面に投影する画像投影ステップと、前記画像が投影された前記レイヤ面上における前記被写体の色情報または輝度情報とを算出する色輝度情報算出ステップと、前記画像取得ステップによる取得した画像上の被写体の領域内の代表点を抽出する領域・代表点検出ステップと、前記画像取得ステップによる取得した画像上の被写体の点を前記レイヤ面上に投影した画像の点との類似度を求めることにより、前記レイヤ面上の各点における被写体の存在確率を表す信頼度を算出する信頼度算出ステップと、前記代表点の信頼度に基づき、前記被写体の信頼度が最も高い前記レイヤが変化した場合のみに、前記信頼度に基づき複数のレイヤを選択するレイヤ選択ステップと、前記選択されたレイヤ面上における前記被写体の色情報または輝度情報と信頼度情報に基づき、前記被写体の全方位画像を生成する画像生成ステップとを有することを特徴とする。
【００１１】
本発明は、複数の画像から被写体の全方位画像を生成する全方位画像生成方法であって、複数の視点位置から被写体を撮像した画像を取得する画像取得ステップと、前記取得したそれぞれの画像を予め定義した複数のレイヤ面に投影する画像投影ステップと、前記画像が投影された前記レイヤ面上における前記被写体の色情報または輝度情報とを算出する色輝度情報算出ステップと、前記被写体の位置が変化する領域において、前記画像取得ステップによる取得した画像上の被写体の点を前記レイヤ面上に投影した画像の点との類似度を求めることにより、前記レイヤ面上の各点における被写体の存在確率を表す信頼度を算出する信頼度算出ステップと、前記信頼度に基づき複数のレイヤを選択するレイヤ選択ステップと、前記選択されたレイヤ面上における前記被写体の色情報または輝度情報と信頼度情報に基づき、前記被写体の全方位画像を生成する画像生成ステップとを有し、前記信頼度算出ステップは、前記被写体の位置が変化しない領域には、取得した画像の各フレームの信頼度は初期フレームで算出した前記信頼度とすることを特徴とする。
【００１２】
本発明は、複数の画像から被写体の全方位画像を生成する画像生成装置であって、複数の視点位置から被写体を撮像した画像を取得する画像取得手段と、前記取得したそれぞれの画像を予め定義した複数のレイヤ面に投影する画像投影手段と、前記画像が投影された前記レイヤ面上における前記被写体の色情報または輝度情報とを算出する色輝度情報算出手段と、前記画像取得手段による取得した画像上の被写体の点を前記レイヤ面上に投影した画像の点との類似度を求めることにより、前記レイヤ面上の各点における被写体の存在確率を表す信頼度を算出する信頼度算出手段と、前記信頼度に基づき、前記被写体の存在確率が最も高い前記レイヤを中心として複数のレイヤを選択するレイヤ選択手段と、前記選択されたレイヤ面上における前記被写体の色情報または輝度情報と信頼度情報に基づき、前記被写体の全方位画像を生成する画像生成手段とを備えることを特徴とする。
【００１３】
本発明は、複数の画像から被写体の全方位画像を生成する画像生成装置上のコンピュータに、全方位画像を生成させる全方位画像生成プログラムであって、複数の視点位置から被写体を撮像した画像を取得する画像取得ステップと、前記取得したそれぞれの画像を予め定義した複数のレイヤ面に投影する画像投影ステップと、前記画像が投影された前記レイヤ面上における前記被写体の色情報または輝度情報とを算出する色輝度情報算出ステップと、前記画像取得ステップによる取得した画像上の被写体の点を前記レイヤ面上に投影し画像の点との類似度を求めることにより、前記レイヤ面上の各点における被写体の存在確率を表す信頼度を算出する信頼度算出ステップと、前記信頼度に基づき、前記被写体の存在確率が最も高い前記レイヤを中心として複数のレイヤを選択するレイヤ選択ステップと、前記選択されたレイヤ面上における前記被写体の色情報または輝度情報と信頼度情報に基づき、前記被写体の全方位画像を生成する画像生成ステップとを前記コンピュータに行わせることを特徴とする。
【発明の効果】
【００１４】
本発明によれば、互いに重なり合うように撮像した画像から、任意の視点の位置から撮像した全方位画像を生成する際に、計算機リソースを節約しつつ、適切に画像を生成することが可能になるという効果が得られる。
【図面の簡単な説明】
【００１５】
【図１】本発明の一実施形態の構成を示すブロック図である。
【図２】図１に示す装置の動作を示すフローチャートである。
【図３】図１に示すカメラ１の配置関係を示す説明図である。
【図４】第１の実施形態における信頼度の補正の様子を示す説明図である。
【図５】第２の実施形態での処理手順を示すフローチャートである。
【図６】第２の実施形態における信頼度の補正の様子を示す説明図である。
【図７】第３の実施形態における信頼度の補正の様子を示す説明図である。
【図８】第４の実施形態での処理手順を示すフローチャートである。
【図９】第５の実施形態における領域分割の様子を示す説明図である。
【発明を実施するための形態】
【００１６】
＜第１の実施形態＞
以下、図面を参照して、本発明の第１の実施形態による画像生成装置を説明する。図１は同実施形態の構成を示すブロック図である。この図において、符号１は、被写体Ａの画像を撮像するカメラであり、撮像した画像をデジタルの画像データとして出力する。なお、カメラ１は、アナログ信号を出力するカメラであり、アナログ信号をデジタルデータに変換して出力するものであってもよい。符号２は、コンピュータ装置によって構成し、カメラ１から出力する複数の画像データを入力し、被写体Ａの全方位画像を生成して出力する画像処理部である。符号３は、作業者が入力操作を行う入力部である。符号４は、画像の表示を行う表示部である。
【００１７】
符号５は、被写体Ａの全方位の画像をカメラ１によって撮像するために、カメラ１の視点を移動させるカメラ移動部であり、アクチュエータなどによって構成する。符号６は、画像処理部２からの指示に基づき、カメラ移動部５の移動量を制御するカメラ位置制御部である。なお、図１においては、カメラ移動部５によってカメラ１の視点を移動させる構成を示したが、被写体Ａを移動できる場合は、被写体Ａの向きを制御することにより、被写体Ａの全方位からの画像を撮像する構成であってもよい。また、予め多数のカメラを被写体の周囲に配置しておき、それぞれのカメラにおいて撮像した画像の画像データを画像処理部に入力する構成であってもよい。
【００１８】
次に、図３を参照して、カメラ１の配置関係について説明する。図３において、カメラ１の集合をＣｉ（ｉ∈Ｎ）、カメラ１により撮像された元画像Ｉｉ（ｍ）とする。ここで、Ｎは自然数の有限集合を表す。また、ｍは画像ｉの左上を原点とした画像座標系における画像の画素の位置を表している。
【００１９】
次に、図２を参照して、図１に示す画像処理部２の処理動作を説明する。まず、画像処理部２は、カメラ位置制御部６に指示を出して、カメラ１を移動させて、複数の視点位置から、被写体Ａを撮像した画像Ｉｉ（ｍ）（ｉ∈Ｎ）を取得する（ステップＳ１）。このとき、全ての領域において、少なくとも２枚以上の画像が重なるように撮像して得られた画像データを取得する。
【００２０】
次に、画像処理部２は、全方位画像の基準となる視点位置に仮想カメラＣｖを設定し、仮想カメラＣｖから奥行き方向に多層レイヤＬｊ（ｍ）（ｊ∈Ｍ）を設定する。ここで、Ｍは自然数の有限集合を表す。このとき、レイヤの形状は、被写体Ａの表現方法によって、平面、円筒面、球面など適切なものを選択する。次に、各レイヤに画像Ｉｉ（ｍ）を投影する（ステップＳ２）。レイヤの形状が平面の場合、画像ＩｉからレイヤＬｊへの変換は、射影変換となり、一般的にホモグラフィと呼ばれる行列によって対応付けられる。すなわち、カメラＣｉの画像Ｉｉ上の点ｍから、投影面Ｌｊを介した画像Ｉｐｒｏｊｉｊ上の点ｍｖへの変換は、（１）式、（２）式によって表される。
【００２１】
【数１】
【００２２】
ここで、画像ｉの左上を原点とした画像座標系における、画像の画素の位置をｍ＝［ｕ，ｖ］ｔと表した場合において、ｍ〜［ｕ，ｖ，１］ｔ（〜はｍの頭に付く）は拡張ベクトルを表す。またＲｖ←i，ｔｖ←ｉは、カメラＣｉのカメラ座標系から仮想カメラ座標系に変換する回転行列と並進ベクトル、Ａｖは仮想カメラの内部行列、ＡｉはカメラＣｉの内部行列を表す。
【００２３】
なお、カメラの内部行列、外部行列は、公知のキャリブレーション手法により求められているものとする。キャリブレーション手法として、「Ｔｓａｉの方法」や「Ｚｈａｎｇの方法」を用いることができる。ｄｊは、仮想カメラ座標系の原点からレイヤＬｊまでの距離、ｎは平面レイヤの正規ベクトルを表す。なお、レイヤの形状が平面の場合、画像Ｉｉの特徴点と対応関係から、ホモグラフィ行列Ｈｖ←ｉｊを求めることも可能である。
【００２４】
次に、画像処理部２は、レイヤ上の各点における被写体の色情報または輝度情報を表す色マップを算出する（ステップＳ３）。色マップＩｃｏｌｏｒｊは、ステップＳ２で各レイヤに投影した画像をブレンディングすることによって、（３）式によって生成する。
【００２５】
【数２】
【００２６】
重み係数ｗｉｊ（ｍ）の代表的な例としては、各画像の寄与が均等であるとして、（４）式のように設定することができる。
【００２７】
【数３】
【００２８】
ここで、Ｎum（）は引数として集合を取り、その要素数を返す関数とする。また、重み係数ｗｉｊ（ｍ）は、画像の位置関係により重みづけを設定することもできる。例えば、位置関係を角度によって表した場合、重み係数は（５）式により計算する。
【００２９】
【数４】
【００３０】
ここで、φｉｊ（ｍ）は画像Ｉｉ（ｍ）を撮像したカメラＣｉの中心とレイヤ上の点ｍを結ぶ直線と、全方位画像の中心とレイヤ上の点ｍを結ぶ直線がなす角を表す。また、εは分母が０になるのを防ぐための微小値である。
【００３１】
次に、画像処理部２は、レイヤ上の各点における被写体の存在確率を表す信頼度マップを算出する（ステップＳ４）。信頼度マップＩｐｒｏｂｊは、各レイヤ上に被写体が存在する確率を表し、この値が大きいほどその位置に被写体が存在する可能性が高いことを表す。具体的には、信頼度マップＩｐｒｏｂｊ上の点に対応する画像Ｉｉの点、すなわち、投影画像Ｉｐｒｏｊｉｊ上の点との類似度Ｓｊによって（６）式により求める。
【００３２】
【数５】
【００３３】
類似度Ｓｊ（ｍ）は、レイヤ上の点に対応する投影画像上の点ｍとの類似度を表すものであり、対応点の画素値、および、近傍の画素値によって計算される。例えば、画素値の相関値を用いて、（７）式、（８）式によって求める。
【００３４】
【数６】
【００３５】
ここで、Ｂは画素ｍの近傍領域を表し、画像の特性に応じて決められる値である。εは分母が０になるのを防ぐための微小値、ｎは相関値のピークを調整するためのパラメータである。
【００３６】
次に、画像処理部２は、ステップＳ４において算出された信頼度マップＩｐｒｏｂｊの情報から被写体が存在する可能性が高いレイヤを選択する。シーン全体を表現するために必要なレイヤ数に対して、レイヤ上の点ｍが存在する可能性のあるレイヤ数は少なく、それ以外のレイヤでの推定誤差が合成品質を低下させる。ここでは、図４に示すように、レイヤ上の点ｍごとに、被写体Ａが存在する可能性が高いレイヤ付近の情報を採用する。レイヤを手前から奥に（あるいはその逆に奥から手前）走査していき、信頼度Ｉｐｒｏｂｊ（ｍ）が最大となるレイヤ付近の複数のレイヤの値を採用し、それ以外のレイヤの値を０とする（（９）式、（１０）式、（１１）式）。
【００３７】
【数７】
【００３８】
ここで、αは選択するレイヤ数を表し、０以上の整数値をとる。α＝０の場合は、選択するレイヤは１枚のみで、これはデプスマップと同義である。α≠０の場合は、信頼度が最大となるレイヤを中心に複数のレイヤを選択する。この処理をレイヤ上の全ての点に施した後、信頼度マップＩｐｒｏｂｊの情報を（１２）式により再正規化する（ステップＳ５）。
【００３９】
【数８】
【００４０】
次に、画像処理部２は、各レイヤにおいてステップＳ５で求めた被写体が存在する可能性を表す信頼度マップＩｐｒｏｂ‘ｊ（ｍ）と、ステップＳ３で求めた被写体の色情報または輝度情報を表す色マップＩｃｏｌｏｒｊ（ｍ）をブレンディングし、全レイヤの情報を加算することによって、全方位画像Ｉｖ（ｍ）を（１３）式により生成する（ステップＳ６）。
【００４１】
【数９】
【００４２】
＜第２の実施形態＞
次に、本発明の第２の実施形態による画像生成装置を説明する。前述したステップＳ５において、第１の実施形態では、レイヤ上の点ごとに信頼度を採用するレイヤを決定したが、画素毎に処理を行うため計算機負荷が高い。そこで、元画像から被写体の領域を検出した後、その領域の代表的な点が存在する範囲のレイヤの信頼度を採用する。なお、複数の被写体が存在する場合は、被写体ごとに領域を分割し、各領域で最適なレイヤの範囲を決定する。
【００４３】
本実施形態における処理動作を図５に示す。図５において、図２に示す処理動作と同一の部分には同一の符号を付し、その説明を省略する。まず、元画像から画像間で共通に存在する被写体Ａの領域ｆ（ｆ∈Ｆ）を検出する（ステップＳ７）。ここで、Ｆは領域の集合である。被写体Ａの検出方法としては、例えば、背景差分を用いる方法、既知の背景色との色の違いを用いる方法、被写体の形状や色に仮定をおき、一致する領域を探す方法などが適用可能である。続いて、被写体Ａの領域から画像間で共通に存在する複数の代表的な点を抽出する（ステップＳ８）。代表的な点の決定方法としては、例えば、複数のエッジが交差する点を用いる方法、色合いが急峻に変化する点を用いる方法、テクスチャが変化する点を用いる方法などが適用可能である。そして、元画像の代表的な点を(１)式、(２)式を用いて、最前レイヤ（あるいは最後レイヤ）から順番に手前から奥に(あるいはその逆に奥から手前)に投影した点ｍfk（ｋ∈Ｐ）に対して、信頼度Ｉｐｒｏｂｊ（ｍfk）が最大となるレイヤｌｋを探索する（ステップＳ５ａ；（１４）式）。ここで、Ｐは代表点を識別するためのインデクスの集合である。
【００４４】
【数１０】
【００４５】
図６に示すように、被写体Ａは、ｍｉｎｋ∈ｐｌｋ＜ｊ＜ｍａｘｋ∈ｐｌｋの間に存在する可能性が高いため、被写体Ａが存在する領域fの全ての点において、この範囲のレイヤの値は採用し、それ以外のレイヤの値を０とする（（１５）式、（１６）式）。
【００４６】
【数１１】
【００４７】
この処理を元画像から抽出された全ての領域に施した後、信頼度マップＩｐｒｏｂｊの情報を（１７）式により再正規化する（ステップＳ５ｂ）。なお、元画像から抽出されなかった被写体以外の領域については、ステップＳ４において算出した信頼度の値を採用する。
【００４８】
【数１２】
【００４９】
＜第３の実施形態＞
次に、本発明の第３の実施形態による画像生成装置を説明する。第１の実施形態および第２の実施形態においては、信頼度が最大値となるレイヤを中心に複数レイヤの信頼度の値を採用したが、信頼度のピークが複数ある場合や、信頼度のピークがない場合には、最大値を判定することが困難である。そこで、第３の実施形態では、図７に示すように、レイヤ上の点mについて手前から奥に（あるいはその逆に奥から手前）走査し、閾値Ｔh以上の信頼度が1レイヤ以上ある場合は、閾値Thとなるレイヤの情報を採用する（（１８）式、（１９）式）。レイヤ上の点mについて手前から奥に（あるいはその逆に奥から手前）走査し、閾値Th以上の信頼度を満たすレイヤがない場合は、ステップＳ４の信頼度の値とする。
【００５０】
【数１３】
【００５１】
この処理を全領域に施した後、信頼度マップＩｐｒｏｂｊの情報を（２０）式により再正規化する。
【００５２】
【数１４】
【００５３】
＜第４の実施形態＞
次に、本発明の第４の実施形態による画像生成装置を説明する。第４の実施形態では、映像の各フレームに対して、信頼度を採用するレイヤを決定するのは、計算機負荷が大きいため、被写体の位置が大きく変動した場合のみ、ステップＳ５の処理を施す。
【００５４】
本実施形態における処理動作を図８に示す。図８において、図２に示す処理動作と同一の部分には同一の符号を付し、その説明を省略する。まず、元画像から被写体の領域を検出する（ステップＳ７）。被写体の検出方法としては、例えば、背景差分を用いる方法、既知の背景色との色の違いを用いる方法、被写体の形状や色に仮定をおき、一致する領域を探す方法などを適用できる。続いて、被写体の領域から複数の代表的な点を抽出する（ステップＳ８）。代表的な点の決定方法としては、例えば、複数のエッジが交差する点を用いる方法、色合いが急峻に変化する点を用いる方法、テクスチャが変化する点を用いる方法などを適用できる。そして、元画像の代表的な点を(１)式、(２)式を用いて、最前レイヤ（あるいは最後レイヤ）から順番に手前から奥に(あるいはその逆に奥から手前)に投影した点ｍfk（ｋ∈Ｐ）に対して、信頼度Ｉｐｒｏｂｊ（ｍｋ）が最大となるレイヤ位置を記憶する。前フレームのレイヤ位置と、信頼度が最大となるレイヤ位置との差がβ以上となったとき、ステップＳ５ｃ、Ｓ５ｄの処理を施す。βはフレーム間でのレイヤ位置の変化幅を表すパラメータであり、被写体の動き量に応じて決められる値である。ステップＳ５は、第１、第２、第３の実施形態のうち、適切な処理を選択すればよい。
なお、被写体Ａは奥行き方向以外にも移動するため、被写体の領域検出、および、代表点の抽出は繰り返し実施する。被写体の領域、および、代表点が前フレームから変化した場合は、それらの値を記憶し、信頼度を補正する領域を変更する。
【００５５】
＜第５の実施形態＞
次に、本発明の第５の実施形態による画像生成装置を説明する。第５の実施形態では、映像の各フレームに対して、信頼度を採用するレイヤを決定するのは、計算機負荷が大きいため、図９に示すように、被写体が存在し奥行きが変動する領域と、静物体のみで奥行きが変動しない領域に分割し、ステップＳ４において、前者の領域は毎フレーム、後者の領域は初回フレームのみ信頼度を計算する。ステップＳ５は、第１、第２、第３の実施形態のうち、適切な処理を選択すればよい。
【００５６】
以上説明したように、被写体Ａが３次元空間中の各点に存在する確率を表す信頼度の情報のうち、信頼度の低い、すなわち、奥行きの推定精度の低い情報を補正することによって、生成画像の品質劣化を解決することができる。また、被写体およびシーンごとに必要なレイヤのみを計算することによって、メモリなどの計算機リソースと処理時間を削減することができる。
【００５７】
なお、図１における画像処理部２の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより全方位画像生成処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００５８】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【産業上の利用可能性】
【００５９】
互いに重なりあうように方向を変えて撮像した複数の画像から、任意の視点を中心とした全方位画像を生成することが不可欠な用途にも適用できる。
【符号の説明】
【００６０】
Ａ・・・被写体、１・・・カメラ、２・・・画像処理部、３・・・入力部、４・・・表示部、５・・・カメラ移動部、６・・・カメラ位置制御部、７・・・画像取得部
【技術分野】
【０００１】
全方位画像生成方法、画像生成装置およびプログラムに係り、特に、互いに重なりあうように方向を変えて撮像した複数の画像から、任意の視点を中心とした全方位画像を生成する技術に関する。
【背景技術】
【０００２】
カメラの近くに人物などの被写体が存在する奥行きのあるシーンの全方位画像を複数の画像から生成する場合において、複数の画像を連続的に合成するためには、画像間の見え方の違い、すなわち、被写体の奥行き情報（３次元情報）を考慮して合成する必要がある。
【０００３】
しかし、２次元の画像から奥行き情報（３次元情報）を推定することは難しく、様々な奥行き推定手法が提案されている。その１つに、撮像したシーンを多層のレイヤとして表現し、レイヤ上に被写体が存在する位置を信頼度として表すことで、高品質な３次元画像を生成する方法がある（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第４０５２３３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の方法にあっては、被写体の奥行きに曖昧さを持たせているため、推定が良好な画素にも不要な情報が付加され、生成画像の品質が劣化するという問題がある。また、被写体をカバーするレイヤ数が多くなると、メモリなどの計算機リソースを多く消費すると同時に、計算時間が増加するという問題もある。
【０００６】
本発明は、このような事情に鑑みてなされたもので、互いに重なり合うように撮像した画像から、全方位画像を生成する際に、計算機リソースを節約しつつ、適切に画像を生成することができる全方位画像生成方法、画像生成装置およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、複数の画像から被写体の全方位画像を生成する全方位画像生成方法であって、複数の視点位置から被写体を撮像した画像を取得する画像取得ステップと、前記取得したそれぞれの画像を予め定義した複数のレイヤ面に投影する画像投影ステップと、前記画像が投影された前記レイヤ面上における前記被写体の色情報または輝度情報とを算出する色輝度情報算出ステップと、前記画像取得ステップによる取得した画像上の被写体の点を前記レイヤ面上に投影した画像の点との類似度を求めることにより、前記レイヤ面上の各点における被写体の存在確率を表す信頼度を算出する信頼度算出ステップと、前記信頼度に基づき、前記被写体の信頼度が最も高い前記レイヤを中心として複数のレイヤを選択するレイヤ選択ステップと、前記選択されたレイヤ面上における前記被写体の色情報または輝度情報と信頼度情報に基づき、前記被写体の全方位画像を生成する画像生成ステップとを有することを特徴とする。
【０００８】
本発明は、複数の画像から被写体の全方位画像を生成する全方位画像生成方法であって、複数の視点位置から被写体を撮像した画像を取得する画像取得ステップと、前記取得したそれぞれの画像を予め定義した複数のレイヤ面に投影する画像投影ステップと、前記画像が投影された前記レイヤ面上における前記被写体の色情報または輝度情報とを算出する色輝度情報算出ステップと、前記画像取得ステップによる取得した画像上の被写体の領域内の代表点を抽出する領域・代表点検出ステップと、前記画像取得ステップによる取得した画像上の被写体の点を前記レイヤ面上に投影した画像の点との類似度を求めることにより、前記レイヤ面上の各点における被写体の存在確率を表す信頼度を算出する信頼度算出ステップと、前記代表点の信頼度に基づき、前記領域において、前記被写体の信頼度が高い前記レイヤ範囲を選択するレイヤ選択ステップと、前記選択されたレイヤ面上における前記被写体の色情報または輝度情報と信頼度情報に基づき、前記被写体の全方位画像を生成する画像生成ステップとを有することを特徴とする。
【０００９】
本発明は、複数の画像から被写体の全方位画像を生成する全方位画像生成方法であって、複数の視点位置から被写体を撮像した画像を取得する画像取得ステップと、前記取得したそれぞれの画像を予め定義した複数のレイヤ面に投影する画像投影ステップと、前記画像が投影された前記レイヤ面上における前記被写体の色情報または輝度情報とを算出する色輝度情報算出ステップと、前記画像取得ステップによる取得した画像上の被写体の点を前記レイヤ面上に投影した画像の点との類似度を求めることにより、前記レイヤ面上の各点における被写体の存在確率を表す信頼度を算出する信頼度算出ステップと、前記信頼度に基づき、前記被写体の信頼度が所定値以上である前記レイヤを選択するレイヤ選択ステップと、前記選択されたレイヤ面上における前記被写体の色情報または輝度情報と信頼度情報に基づき、前記被写体の全方位画像を生成する画像生成ステップとを有し、前記レイヤ選択ステップは、前記被写体の信頼度が所定値を満たさない場合は、前記信頼度算出ステップの信頼度とすることを特徴とする。
【００１０】
本発明は、複数の画像から被写体の全方位画像を生成する全方位画像生成方法であって、複数の視点位置から被写体を撮像した画像を取得する画像取得ステップと、前記取得したそれぞれの画像を予め定義した複数のレイヤ面に投影する画像投影ステップと、前記画像が投影された前記レイヤ面上における前記被写体の色情報または輝度情報とを算出する色輝度情報算出ステップと、前記画像取得ステップによる取得した画像上の被写体の領域内の代表点を抽出する領域・代表点検出ステップと、前記画像取得ステップによる取得した画像上の被写体の点を前記レイヤ面上に投影した画像の点との類似度を求めることにより、前記レイヤ面上の各点における被写体の存在確率を表す信頼度を算出する信頼度算出ステップと、前記代表点の信頼度に基づき、前記被写体の信頼度が最も高い前記レイヤが変化した場合のみに、前記信頼度に基づき複数のレイヤを選択するレイヤ選択ステップと、前記選択されたレイヤ面上における前記被写体の色情報または輝度情報と信頼度情報に基づき、前記被写体の全方位画像を生成する画像生成ステップとを有することを特徴とする。
【００１１】
本発明は、複数の画像から被写体の全方位画像を生成する全方位画像生成方法であって、複数の視点位置から被写体を撮像した画像を取得する画像取得ステップと、前記取得したそれぞれの画像を予め定義した複数のレイヤ面に投影する画像投影ステップと、前記画像が投影された前記レイヤ面上における前記被写体の色情報または輝度情報とを算出する色輝度情報算出ステップと、前記被写体の位置が変化する領域において、前記画像取得ステップによる取得した画像上の被写体の点を前記レイヤ面上に投影した画像の点との類似度を求めることにより、前記レイヤ面上の各点における被写体の存在確率を表す信頼度を算出する信頼度算出ステップと、前記信頼度に基づき複数のレイヤを選択するレイヤ選択ステップと、前記選択されたレイヤ面上における前記被写体の色情報または輝度情報と信頼度情報に基づき、前記被写体の全方位画像を生成する画像生成ステップとを有し、前記信頼度算出ステップは、前記被写体の位置が変化しない領域には、取得した画像の各フレームの信頼度は初期フレームで算出した前記信頼度とすることを特徴とする。
【００１２】
本発明は、複数の画像から被写体の全方位画像を生成する画像生成装置であって、複数の視点位置から被写体を撮像した画像を取得する画像取得手段と、前記取得したそれぞれの画像を予め定義した複数のレイヤ面に投影する画像投影手段と、前記画像が投影された前記レイヤ面上における前記被写体の色情報または輝度情報とを算出する色輝度情報算出手段と、前記画像取得手段による取得した画像上の被写体の点を前記レイヤ面上に投影した画像の点との類似度を求めることにより、前記レイヤ面上の各点における被写体の存在確率を表す信頼度を算出する信頼度算出手段と、前記信頼度に基づき、前記被写体の存在確率が最も高い前記レイヤを中心として複数のレイヤを選択するレイヤ選択手段と、前記選択されたレイヤ面上における前記被写体の色情報または輝度情報と信頼度情報に基づき、前記被写体の全方位画像を生成する画像生成手段とを備えることを特徴とする。
【００１３】
本発明は、複数の画像から被写体の全方位画像を生成する画像生成装置上のコンピュータに、全方位画像を生成させる全方位画像生成プログラムであって、複数の視点位置から被写体を撮像した画像を取得する画像取得ステップと、前記取得したそれぞれの画像を予め定義した複数のレイヤ面に投影する画像投影ステップと、前記画像が投影された前記レイヤ面上における前記被写体の色情報または輝度情報とを算出する色輝度情報算出ステップと、前記画像取得ステップによる取得した画像上の被写体の点を前記レイヤ面上に投影し画像の点との類似度を求めることにより、前記レイヤ面上の各点における被写体の存在確率を表す信頼度を算出する信頼度算出ステップと、前記信頼度に基づき、前記被写体の存在確率が最も高い前記レイヤを中心として複数のレイヤを選択するレイヤ選択ステップと、前記選択されたレイヤ面上における前記被写体の色情報または輝度情報と信頼度情報に基づき、前記被写体の全方位画像を生成する画像生成ステップとを前記コンピュータに行わせることを特徴とする。
【発明の効果】
【００１４】
本発明によれば、互いに重なり合うように撮像した画像から、任意の視点の位置から撮像した全方位画像を生成する際に、計算機リソースを節約しつつ、適切に画像を生成することが可能になるという効果が得られる。
【図面の簡単な説明】
【００１５】
【図１】本発明の一実施形態の構成を示すブロック図である。
【図２】図１に示す装置の動作を示すフローチャートである。
【図３】図１に示すカメラ１の配置関係を示す説明図である。
【図４】第１の実施形態における信頼度の補正の様子を示す説明図である。
【図５】第２の実施形態での処理手順を示すフローチャートである。
【図６】第２の実施形態における信頼度の補正の様子を示す説明図である。
【図７】第３の実施形態における信頼度の補正の様子を示す説明図である。
【図８】第４の実施形態での処理手順を示すフローチャートである。
【図９】第５の実施形態における領域分割の様子を示す説明図である。
【発明を実施するための形態】
【００１６】
＜第１の実施形態＞
以下、図面を参照して、本発明の第１の実施形態による画像生成装置を説明する。図１は同実施形態の構成を示すブロック図である。この図において、符号１は、被写体Ａの画像を撮像するカメラであり、撮像した画像をデジタルの画像データとして出力する。なお、カメラ１は、アナログ信号を出力するカメラであり、アナログ信号をデジタルデータに変換して出力するものであってもよい。符号２は、コンピュータ装置によって構成し、カメラ１から出力する複数の画像データを入力し、被写体Ａの全方位画像を生成して出力する画像処理部である。符号３は、作業者が入力操作を行う入力部である。符号４は、画像の表示を行う表示部である。
【００１７】
符号５は、被写体Ａの全方位の画像をカメラ１によって撮像するために、カメラ１の視点を移動させるカメラ移動部であり、アクチュエータなどによって構成する。符号６は、画像処理部２からの指示に基づき、カメラ移動部５の移動量を制御するカメラ位置制御部である。なお、図１においては、カメラ移動部５によってカメラ１の視点を移動させる構成を示したが、被写体Ａを移動できる場合は、被写体Ａの向きを制御することにより、被写体Ａの全方位からの画像を撮像する構成であってもよい。また、予め多数のカメラを被写体の周囲に配置しておき、それぞれのカメラにおいて撮像した画像の画像データを画像処理部に入力する構成であってもよい。
【００１８】
次に、図３を参照して、カメラ１の配置関係について説明する。図３において、カメラ１の集合をＣｉ（ｉ∈Ｎ）、カメラ１により撮像された元画像Ｉｉ（ｍ）とする。ここで、Ｎは自然数の有限集合を表す。また、ｍは画像ｉの左上を原点とした画像座標系における画像の画素の位置を表している。
【００１９】
次に、図２を参照して、図１に示す画像処理部２の処理動作を説明する。まず、画像処理部２は、カメラ位置制御部６に指示を出して、カメラ１を移動させて、複数の視点位置から、被写体Ａを撮像した画像Ｉｉ（ｍ）（ｉ∈Ｎ）を取得する（ステップＳ１）。このとき、全ての領域において、少なくとも２枚以上の画像が重なるように撮像して得られた画像データを取得する。
【００２０】
次に、画像処理部２は、全方位画像の基準となる視点位置に仮想カメラＣｖを設定し、仮想カメラＣｖから奥行き方向に多層レイヤＬｊ（ｍ）（ｊ∈Ｍ）を設定する。ここで、Ｍは自然数の有限集合を表す。このとき、レイヤの形状は、被写体Ａの表現方法によって、平面、円筒面、球面など適切なものを選択する。次に、各レイヤに画像Ｉｉ（ｍ）を投影する（ステップＳ２）。レイヤの形状が平面の場合、画像ＩｉからレイヤＬｊへの変換は、射影変換となり、一般的にホモグラフィと呼ばれる行列によって対応付けられる。すなわち、カメラＣｉの画像Ｉｉ上の点ｍから、投影面Ｌｊを介した画像Ｉｐｒｏｊｉｊ上の点ｍｖへの変換は、（１）式、（２）式によって表される。
【００２１】
【数１】
【００２２】
ここで、画像ｉの左上を原点とした画像座標系における、画像の画素の位置をｍ＝［ｕ，ｖ］ｔと表した場合において、ｍ〜［ｕ，ｖ，１］ｔ（〜はｍの頭に付く）は拡張ベクトルを表す。またＲｖ←i，ｔｖ←ｉは、カメラＣｉのカメラ座標系から仮想カメラ座標系に変換する回転行列と並進ベクトル、Ａｖは仮想カメラの内部行列、ＡｉはカメラＣｉの内部行列を表す。
【００２３】
なお、カメラの内部行列、外部行列は、公知のキャリブレーション手法により求められているものとする。キャリブレーション手法として、「Ｔｓａｉの方法」や「Ｚｈａｎｇの方法」を用いることができる。ｄｊは、仮想カメラ座標系の原点からレイヤＬｊまでの距離、ｎは平面レイヤの正規ベクトルを表す。なお、レイヤの形状が平面の場合、画像Ｉｉの特徴点と対応関係から、ホモグラフィ行列Ｈｖ←ｉｊを求めることも可能である。
【００２４】
次に、画像処理部２は、レイヤ上の各点における被写体の色情報または輝度情報を表す色マップを算出する（ステップＳ３）。色マップＩｃｏｌｏｒｊは、ステップＳ２で各レイヤに投影した画像をブレンディングすることによって、（３）式によって生成する。
【００２５】
【数２】
【００２６】
重み係数ｗｉｊ（ｍ）の代表的な例としては、各画像の寄与が均等であるとして、（４）式のように設定することができる。
【００２７】
【数３】
【００２８】
ここで、Ｎum（）は引数として集合を取り、その要素数を返す関数とする。また、重み係数ｗｉｊ（ｍ）は、画像の位置関係により重みづけを設定することもできる。例えば、位置関係を角度によって表した場合、重み係数は（５）式により計算する。
【００２９】
【数４】
【００３０】
ここで、φｉｊ（ｍ）は画像Ｉｉ（ｍ）を撮像したカメラＣｉの中心とレイヤ上の点ｍを結ぶ直線と、全方位画像の中心とレイヤ上の点ｍを結ぶ直線がなす角を表す。また、εは分母が０になるのを防ぐための微小値である。
【００３１】
次に、画像処理部２は、レイヤ上の各点における被写体の存在確率を表す信頼度マップを算出する（ステップＳ４）。信頼度マップＩｐｒｏｂｊは、各レイヤ上に被写体が存在する確率を表し、この値が大きいほどその位置に被写体が存在する可能性が高いことを表す。具体的には、信頼度マップＩｐｒｏｂｊ上の点に対応する画像Ｉｉの点、すなわち、投影画像Ｉｐｒｏｊｉｊ上の点との類似度Ｓｊによって（６）式により求める。
【００３２】
【数５】
【００３３】
類似度Ｓｊ（ｍ）は、レイヤ上の点に対応する投影画像上の点ｍとの類似度を表すものであり、対応点の画素値、および、近傍の画素値によって計算される。例えば、画素値の相関値を用いて、（７）式、（８）式によって求める。
【００３４】
【数６】
【００３５】
ここで、Ｂは画素ｍの近傍領域を表し、画像の特性に応じて決められる値である。εは分母が０になるのを防ぐための微小値、ｎは相関値のピークを調整するためのパラメータである。
【００３６】
次に、画像処理部２は、ステップＳ４において算出された信頼度マップＩｐｒｏｂｊの情報から被写体が存在する可能性が高いレイヤを選択する。シーン全体を表現するために必要なレイヤ数に対して、レイヤ上の点ｍが存在する可能性のあるレイヤ数は少なく、それ以外のレイヤでの推定誤差が合成品質を低下させる。ここでは、図４に示すように、レイヤ上の点ｍごとに、被写体Ａが存在する可能性が高いレイヤ付近の情報を採用する。レイヤを手前から奥に（あるいはその逆に奥から手前）走査していき、信頼度Ｉｐｒｏｂｊ（ｍ）が最大となるレイヤ付近の複数のレイヤの値を採用し、それ以外のレイヤの値を０とする（（９）式、（１０）式、（１１）式）。
【００３７】
【数７】
【００３８】
ここで、αは選択するレイヤ数を表し、０以上の整数値をとる。α＝０の場合は、選択するレイヤは１枚のみで、これはデプスマップと同義である。α≠０の場合は、信頼度が最大となるレイヤを中心に複数のレイヤを選択する。この処理をレイヤ上の全ての点に施した後、信頼度マップＩｐｒｏｂｊの情報を（１２）式により再正規化する（ステップＳ５）。
【００３９】
【数８】
【００４０】
次に、画像処理部２は、各レイヤにおいてステップＳ５で求めた被写体が存在する可能性を表す信頼度マップＩｐｒｏｂ‘ｊ（ｍ）と、ステップＳ３で求めた被写体の色情報または輝度情報を表す色マップＩｃｏｌｏｒｊ（ｍ）をブレンディングし、全レイヤの情報を加算することによって、全方位画像Ｉｖ（ｍ）を（１３）式により生成する（ステップＳ６）。
【００４１】
【数９】
【００４２】
＜第２の実施形態＞
次に、本発明の第２の実施形態による画像生成装置を説明する。前述したステップＳ５において、第１の実施形態では、レイヤ上の点ごとに信頼度を採用するレイヤを決定したが、画素毎に処理を行うため計算機負荷が高い。そこで、元画像から被写体の領域を検出した後、その領域の代表的な点が存在する範囲のレイヤの信頼度を採用する。なお、複数の被写体が存在する場合は、被写体ごとに領域を分割し、各領域で最適なレイヤの範囲を決定する。
【００４３】
本実施形態における処理動作を図５に示す。図５において、図２に示す処理動作と同一の部分には同一の符号を付し、その説明を省略する。まず、元画像から画像間で共通に存在する被写体Ａの領域ｆ（ｆ∈Ｆ）を検出する（ステップＳ７）。ここで、Ｆは領域の集合である。被写体Ａの検出方法としては、例えば、背景差分を用いる方法、既知の背景色との色の違いを用いる方法、被写体の形状や色に仮定をおき、一致する領域を探す方法などが適用可能である。続いて、被写体Ａの領域から画像間で共通に存在する複数の代表的な点を抽出する（ステップＳ８）。代表的な点の決定方法としては、例えば、複数のエッジが交差する点を用いる方法、色合いが急峻に変化する点を用いる方法、テクスチャが変化する点を用いる方法などが適用可能である。そして、元画像の代表的な点を(１)式、(２)式を用いて、最前レイヤ（あるいは最後レイヤ）から順番に手前から奥に(あるいはその逆に奥から手前)に投影した点ｍfk（ｋ∈Ｐ）に対して、信頼度Ｉｐｒｏｂｊ（ｍfk）が最大となるレイヤｌｋを探索する（ステップＳ５ａ；（１４）式）。ここで、Ｐは代表点を識別するためのインデクスの集合である。
【００４４】
【数１０】
【００４５】
図６に示すように、被写体Ａは、ｍｉｎｋ∈ｐｌｋ＜ｊ＜ｍａｘｋ∈ｐｌｋの間に存在する可能性が高いため、被写体Ａが存在する領域fの全ての点において、この範囲のレイヤの値は採用し、それ以外のレイヤの値を０とする（（１５）式、（１６）式）。
【００４６】
【数１１】
【００４７】
この処理を元画像から抽出された全ての領域に施した後、信頼度マップＩｐｒｏｂｊの情報を（１７）式により再正規化する（ステップＳ５ｂ）。なお、元画像から抽出されなかった被写体以外の領域については、ステップＳ４において算出した信頼度の値を採用する。
【００４８】
【数１２】
【００４９】
＜第３の実施形態＞
次に、本発明の第３の実施形態による画像生成装置を説明する。第１の実施形態および第２の実施形態においては、信頼度が最大値となるレイヤを中心に複数レイヤの信頼度の値を採用したが、信頼度のピークが複数ある場合や、信頼度のピークがない場合には、最大値を判定することが困難である。そこで、第３の実施形態では、図７に示すように、レイヤ上の点mについて手前から奥に（あるいはその逆に奥から手前）走査し、閾値Ｔh以上の信頼度が1レイヤ以上ある場合は、閾値Thとなるレイヤの情報を採用する（（１８）式、（１９）式）。レイヤ上の点mについて手前から奥に（あるいはその逆に奥から手前）走査し、閾値Th以上の信頼度を満たすレイヤがない場合は、ステップＳ４の信頼度の値とする。
【００５０】
【数１３】
【００５１】
この処理を全領域に施した後、信頼度マップＩｐｒｏｂｊの情報を（２０）式により再正規化する。
【００５２】
【数１４】
【００５３】
＜第４の実施形態＞
次に、本発明の第４の実施形態による画像生成装置を説明する。第４の実施形態では、映像の各フレームに対して、信頼度を採用するレイヤを決定するのは、計算機負荷が大きいため、被写体の位置が大きく変動した場合のみ、ステップＳ５の処理を施す。
【００５４】
本実施形態における処理動作を図８に示す。図８において、図２に示す処理動作と同一の部分には同一の符号を付し、その説明を省略する。まず、元画像から被写体の領域を検出する（ステップＳ７）。被写体の検出方法としては、例えば、背景差分を用いる方法、既知の背景色との色の違いを用いる方法、被写体の形状や色に仮定をおき、一致する領域を探す方法などを適用できる。続いて、被写体の領域から複数の代表的な点を抽出する（ステップＳ８）。代表的な点の決定方法としては、例えば、複数のエッジが交差する点を用いる方法、色合いが急峻に変化する点を用いる方法、テクスチャが変化する点を用いる方法などを適用できる。そして、元画像の代表的な点を(１)式、(２)式を用いて、最前レイヤ（あるいは最後レイヤ）から順番に手前から奥に(あるいはその逆に奥から手前)に投影した点ｍfk（ｋ∈Ｐ）に対して、信頼度Ｉｐｒｏｂｊ（ｍｋ）が最大となるレイヤ位置を記憶する。前フレームのレイヤ位置と、信頼度が最大となるレイヤ位置との差がβ以上となったとき、ステップＳ５ｃ、Ｓ５ｄの処理を施す。βはフレーム間でのレイヤ位置の変化幅を表すパラメータであり、被写体の動き量に応じて決められる値である。ステップＳ５は、第１、第２、第３の実施形態のうち、適切な処理を選択すればよい。
なお、被写体Ａは奥行き方向以外にも移動するため、被写体の領域検出、および、代表点の抽出は繰り返し実施する。被写体の領域、および、代表点が前フレームから変化した場合は、それらの値を記憶し、信頼度を補正する領域を変更する。
【００５５】
＜第５の実施形態＞
次に、本発明の第５の実施形態による画像生成装置を説明する。第５の実施形態では、映像の各フレームに対して、信頼度を採用するレイヤを決定するのは、計算機負荷が大きいため、図９に示すように、被写体が存在し奥行きが変動する領域と、静物体のみで奥行きが変動しない領域に分割し、ステップＳ４において、前者の領域は毎フレーム、後者の領域は初回フレームのみ信頼度を計算する。ステップＳ５は、第１、第２、第３の実施形態のうち、適切な処理を選択すればよい。
【００５６】
以上説明したように、被写体Ａが３次元空間中の各点に存在する確率を表す信頼度の情報のうち、信頼度の低い、すなわち、奥行きの推定精度の低い情報を補正することによって、生成画像の品質劣化を解決することができる。また、被写体およびシーンごとに必要なレイヤのみを計算することによって、メモリなどの計算機リソースと処理時間を削減することができる。
【００５７】
なお、図１における画像処理部２の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより全方位画像生成処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００５８】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【産業上の利用可能性】
【００５９】
互いに重なりあうように方向を変えて撮像した複数の画像から、任意の視点を中心とした全方位画像を生成することが不可欠な用途にも適用できる。
【符号の説明】
【００６０】
Ａ・・・被写体、１・・・カメラ、２・・・画像処理部、３・・・入力部、４・・・表示部、５・・・カメラ移動部、６・・・カメラ位置制御部、７・・・画像取得部
【特許請求の範囲】
【請求項１】
複数の画像から被写体の全方位画像を生成する全方位画像生成方法であって、
複数の視点位置から被写体を撮像した画像を取得する画像取得ステップと、
前記取得したそれぞれの画像を予め定義した複数のレイヤ面に投影する画像投影ステップと、
前記画像が投影された前記レイヤ面上における前記被写体の色情報または輝度情報を算出する色輝度情報算出ステップと、
前記画像取得ステップによる取得した画像上の被写体の点を前記レイヤ面上に投影した画像の点との類似度を求めることにより、前記レイヤ面上の各点における被写体の存在確率を表す信頼度を算出する信頼度算出ステップと、
前記信頼度に基づき、前記被写体の信頼度が最も高い前記レイヤを中心として複数のレイヤを選択するレイヤ選択ステップと、
前記選択されたレイヤ面上における前記被写体の色情報または輝度情報と信頼度情報に基づき、前記被写体の全方位画像を生成する画像生成ステップと
を有することを特徴とする全方位画像生成方法。
【請求項２】
複数の画像から被写体の全方位画像を生成する全方位画像生成方法であって、
複数の視点位置から被写体を撮像した画像を取得する画像取得ステップと、
前記取得したそれぞれの画像を予め定義した複数のレイヤ面に投影する画像投影ステップと、
前記画像が投影された前記レイヤ面上における前記被写体の色情報または輝度情報を算出する色輝度情報算出ステップと、
前記画像取得ステップによる取得した画像上の被写体の領域内の代表点を抽出する領域・代表点検出ステップと、
前記画像取得ステップによる取得した画像上の被写体の点を前記レイヤ面上に投影した画像の点との類似度を求めることにより、前記レイヤ面上の各点における被写体の存在確率を表す信頼度を算出する信頼度算出ステップと、 前記信頼度に基づき、前記領域において、前記被写体の信頼度が高い前記レイヤ範囲を選択するレイヤ選択ステップと、
前記選択されたレイヤ面上における前記被写体の色情報または輝度情報と信頼度情報に基づき、前記被写体の全方位画像を生成する画像生成ステップと
を有することを特徴とする全方位画像生成方法。
【請求項３】
複数の画像から被写体の全方位画像を生成する全方位画像生成方法であって、
複数の視点位置から被写体を撮像した画像を取得する画像取得ステップと、
前記取得したそれぞれの画像を予め定義した複数のレイヤ面に投影する画像投影ステップと、
前記画像が投影された前記レイヤ面上における前記被写体の色情報または輝度情報を算出する色輝度情報算出ステップと、
前記画像取得ステップによる取得した画像上の被写体の点を前記レイヤ面上に投影した画像の点との類似度を求めることにより、前記レイヤ面上の各点における被写体の存在確率を表す信頼度を算出する信頼度算出ステップと、
前記信頼度に基づき、前記被写体の信頼度が所定値以上である前記レイヤを選択するレイヤ選択ステップと、
前記選択されたレイヤ面上における前記被写体の色情報または輝度情報と信頼度情報に基づき、前記被写体の全方位画像を生成する画像生成ステップとを有し、
前記レイヤ選択ステップは、前記被写体の信頼度が所定値を満たさない場合は、前記信頼度算出ステップの信頼度とすることを 特徴とする全方位画像生成方法。
【請求項４】
複数の画像から被写体の全方位画像を生成する全方位画像生成方法であって、
複数の視点位置から被写体を撮像した画像を取得する画像取得ステップと、
前記取得したそれぞれの画像を予め定義した複数のレイヤ面に投影する画像投影ステップと、
前記画像が投影された前記レイヤ面上における前記被写体の色情報または輝度情報を算出する色輝度情報算出ステップと、
前記画像取得ステップによる取得した画像上の被写体の領域内の代表点を抽出する領域・代表点検出ステップと、
前記画像取得ステップによる取得した画像上の被写体の点を前記レイヤ面上に投影した画像の点との類似度を求めることにより、前記レイヤ面上の各点における被写体の存在確率を表す信頼度を算出する信頼度算出ステップと、
前記代表点の信頼度に基づき、前記被写体の信頼度が最も高い前記レイヤが変化した場合のみに、前記信頼度に基づき複数のレイヤを選択するレイヤ選択ステップと、
前記選択されたレイヤ面上における前記被写体の色情報または輝度情報と信頼度情報に基づき、前記被写体の全方位画像を生成する画像生成ステップと
を有することを特徴とする全方位画像生成方法。
【請求項５】
複数の画像から被写体の全方位画像を生成する全方位画像生成方法であって、
複数の視点位置から被写体を撮像した画像を取得する画像取得ステップと、
前記取得したそれぞれの画像を予め定義した複数のレイヤ面に投影する画像投影ステップと、
前記画像が投影された前記レイヤ面上における前記被写体の色情報または輝度情報を算出する色輝度情報算出ステップと、
前記被写体の位置が変化する領域において、前記画像取得ステップによる取得した画像上の被写体の点を前記レイヤ面上に投影した画像の点との類似度を求めることにより、前記レイヤ面上の各点における被写体の信頼度を表す信頼度を算出する信頼度算出ステップと、
前記信頼度に基づき、前記信頼度に基づき複数のレイヤを選択するレイヤ選択ステップと、
前記選択されたレイヤ面上における前記被写体の色情報または輝度情報と信頼度情報に基づき、前記被写体の全方位画像を生成する画像生成ステップとを有し、
前記信頼度算出ステップは、前記被写体の位置が変化しない領域には、取得した画像の各フレームの信頼度は初期フレームで算出した信頼度とすることを特徴とする全方位画像生成方法。
【請求項６】
複数の画像から被写体の全方位画像を生成する画像生成装置であって、
複数の視点位置から被写体を撮像した画像を取得する画像取得手段と、
前記取得したそれぞれの画像を予め定義した複数のレイヤ面に投影する画像投影手段と、
前記画像が投影された前記レイヤ面上における前記被写体の色情報または輝度情報を算出する色輝度情報算出手段と、
前記画像取得手段による取得した画像上の被写体の点を前記レイヤ面上に投影した画像の点との類似度を求めることにより、前記レイヤ面上の各点における被写体の存在確率を表す信頼度を算出する信頼度算出手段と、
前記信頼度に基づき、前記被写体の信頼度が最も高い前記レイヤを中心として複数のレイヤを選択するレイヤ選択手段と、
前記選択されたレイヤ面上における前記被写体の色情報または輝度情報と信頼度情報に基づき、前記被写体の全方位画像を生成する画像生成手段と
を備えることを特徴とする画像生成装置。
【請求項７】
複数の画像から被写体の全方位画像を生成する画像生成装置上のコンピュータに、全方位画像を生成させる全方位画像生成プログラムであって、
複数の視点位置から被写体を撮像した画像を取得する画像取得ステップと、
前記取得したそれぞれの画像を予め定義した複数のレイヤ面に投影する画像投影ステップと、
前記画像が投影された前記レイヤ面上における前記被写体の色情報または輝度情報を算出する色輝度情報算出ステップと、
前記画像取得ステップによる取得した画像上の被写体の点を前記レイヤ面上に投影した画像の点との類似度を求めることにより、前記レイヤ面上の各点における被写体の存在確率を表す信頼度を算出する信頼度算出ステップと、
前記信頼度に基づき、前記被写体の存在確率が最も高い前記レイヤを中心として複数のレイヤを選択するレイヤ選択ステップと、
前記選択されたレイヤ面上における前記被写体の色情報または輝度情報と信頼度情報に基づき、前記被写体の全方位画像を生成する画像生成ステップと
を前記コンピュータに行わせることを特徴とする全方位画像生成プログラム。
【請求項１】
複数の画像から被写体の全方位画像を生成する全方位画像生成方法であって、
複数の視点位置から被写体を撮像した画像を取得する画像取得ステップと、
前記取得したそれぞれの画像を予め定義した複数のレイヤ面に投影する画像投影ステップと、
前記画像が投影された前記レイヤ面上における前記被写体の色情報または輝度情報を算出する色輝度情報算出ステップと、
前記画像取得ステップによる取得した画像上の被写体の点を前記レイヤ面上に投影した画像の点との類似度を求めることにより、前記レイヤ面上の各点における被写体の存在確率を表す信頼度を算出する信頼度算出ステップと、
前記信頼度に基づき、前記被写体の信頼度が最も高い前記レイヤを中心として複数のレイヤを選択するレイヤ選択ステップと、
前記選択されたレイヤ面上における前記被写体の色情報または輝度情報と信頼度情報に基づき、前記被写体の全方位画像を生成する画像生成ステップと
を有することを特徴とする全方位画像生成方法。
【請求項２】
複数の画像から被写体の全方位画像を生成する全方位画像生成方法であって、
複数の視点位置から被写体を撮像した画像を取得する画像取得ステップと、
前記取得したそれぞれの画像を予め定義した複数のレイヤ面に投影する画像投影ステップと、
前記画像が投影された前記レイヤ面上における前記被写体の色情報または輝度情報を算出する色輝度情報算出ステップと、
前記画像取得ステップによる取得した画像上の被写体の領域内の代表点を抽出する領域・代表点検出ステップと、
前記画像取得ステップによる取得した画像上の被写体の点を前記レイヤ面上に投影した画像の点との類似度を求めることにより、前記レイヤ面上の各点における被写体の存在確率を表す信頼度を算出する信頼度算出ステップと、 前記信頼度に基づき、前記領域において、前記被写体の信頼度が高い前記レイヤ範囲を選択するレイヤ選択ステップと、
前記選択されたレイヤ面上における前記被写体の色情報または輝度情報と信頼度情報に基づき、前記被写体の全方位画像を生成する画像生成ステップと
を有することを特徴とする全方位画像生成方法。
【請求項３】
複数の画像から被写体の全方位画像を生成する全方位画像生成方法であって、
複数の視点位置から被写体を撮像した画像を取得する画像取得ステップと、
前記取得したそれぞれの画像を予め定義した複数のレイヤ面に投影する画像投影ステップと、
前記画像が投影された前記レイヤ面上における前記被写体の色情報または輝度情報を算出する色輝度情報算出ステップと、
前記画像取得ステップによる取得した画像上の被写体の点を前記レイヤ面上に投影した画像の点との類似度を求めることにより、前記レイヤ面上の各点における被写体の存在確率を表す信頼度を算出する信頼度算出ステップと、
前記信頼度に基づき、前記被写体の信頼度が所定値以上である前記レイヤを選択するレイヤ選択ステップと、
前記選択されたレイヤ面上における前記被写体の色情報または輝度情報と信頼度情報に基づき、前記被写体の全方位画像を生成する画像生成ステップとを有し、
前記レイヤ選択ステップは、前記被写体の信頼度が所定値を満たさない場合は、前記信頼度算出ステップの信頼度とすることを 特徴とする全方位画像生成方法。
【請求項４】
複数の画像から被写体の全方位画像を生成する全方位画像生成方法であって、
複数の視点位置から被写体を撮像した画像を取得する画像取得ステップと、
前記取得したそれぞれの画像を予め定義した複数のレイヤ面に投影する画像投影ステップと、
前記画像が投影された前記レイヤ面上における前記被写体の色情報または輝度情報を算出する色輝度情報算出ステップと、
前記画像取得ステップによる取得した画像上の被写体の領域内の代表点を抽出する領域・代表点検出ステップと、
前記画像取得ステップによる取得した画像上の被写体の点を前記レイヤ面上に投影した画像の点との類似度を求めることにより、前記レイヤ面上の各点における被写体の存在確率を表す信頼度を算出する信頼度算出ステップと、
前記代表点の信頼度に基づき、前記被写体の信頼度が最も高い前記レイヤが変化した場合のみに、前記信頼度に基づき複数のレイヤを選択するレイヤ選択ステップと、
前記選択されたレイヤ面上における前記被写体の色情報または輝度情報と信頼度情報に基づき、前記被写体の全方位画像を生成する画像生成ステップと
を有することを特徴とする全方位画像生成方法。
【請求項５】
複数の画像から被写体の全方位画像を生成する全方位画像生成方法であって、
複数の視点位置から被写体を撮像した画像を取得する画像取得ステップと、
前記取得したそれぞれの画像を予め定義した複数のレイヤ面に投影する画像投影ステップと、
前記画像が投影された前記レイヤ面上における前記被写体の色情報または輝度情報を算出する色輝度情報算出ステップと、
前記被写体の位置が変化する領域において、前記画像取得ステップによる取得した画像上の被写体の点を前記レイヤ面上に投影した画像の点との類似度を求めることにより、前記レイヤ面上の各点における被写体の信頼度を表す信頼度を算出する信頼度算出ステップと、
前記信頼度に基づき、前記信頼度に基づき複数のレイヤを選択するレイヤ選択ステップと、
前記選択されたレイヤ面上における前記被写体の色情報または輝度情報と信頼度情報に基づき、前記被写体の全方位画像を生成する画像生成ステップとを有し、
前記信頼度算出ステップは、前記被写体の位置が変化しない領域には、取得した画像の各フレームの信頼度は初期フレームで算出した信頼度とすることを特徴とする全方位画像生成方法。
【請求項６】
複数の画像から被写体の全方位画像を生成する画像生成装置であって、
複数の視点位置から被写体を撮像した画像を取得する画像取得手段と、
前記取得したそれぞれの画像を予め定義した複数のレイヤ面に投影する画像投影手段と、
前記画像が投影された前記レイヤ面上における前記被写体の色情報または輝度情報を算出する色輝度情報算出手段と、
前記画像取得手段による取得した画像上の被写体の点を前記レイヤ面上に投影した画像の点との類似度を求めることにより、前記レイヤ面上の各点における被写体の存在確率を表す信頼度を算出する信頼度算出手段と、
前記信頼度に基づき、前記被写体の信頼度が最も高い前記レイヤを中心として複数のレイヤを選択するレイヤ選択手段と、
前記選択されたレイヤ面上における前記被写体の色情報または輝度情報と信頼度情報に基づき、前記被写体の全方位画像を生成する画像生成手段と
を備えることを特徴とする画像生成装置。
【請求項７】
複数の画像から被写体の全方位画像を生成する画像生成装置上のコンピュータに、全方位画像を生成させる全方位画像生成プログラムであって、
複数の視点位置から被写体を撮像した画像を取得する画像取得ステップと、
前記取得したそれぞれの画像を予め定義した複数のレイヤ面に投影する画像投影ステップと、
前記画像が投影された前記レイヤ面上における前記被写体の色情報または輝度情報を算出する色輝度情報算出ステップと、
前記画像取得ステップによる取得した画像上の被写体の点を前記レイヤ面上に投影した画像の点との類似度を求めることにより、前記レイヤ面上の各点における被写体の存在確率を表す信頼度を算出する信頼度算出ステップと、
前記信頼度に基づき、前記被写体の存在確率が最も高い前記レイヤを中心として複数のレイヤを選択するレイヤ選択ステップと、
前記選択されたレイヤ面上における前記被写体の色情報または輝度情報と信頼度情報に基づき、前記被写体の全方位画像を生成する画像生成ステップと
を前記コンピュータに行わせることを特徴とする全方位画像生成プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１２−１７３８５８（Ｐ２０１２−１７３８５８Ａ）
【公開日】平成２４年９月１０日（２０１２．９．１０）
【国際特許分類】
【出願番号】特願２０１１−３３４０２（Ｐ２０１１−３３４０２）
【出願日】平成２３年２月１８日（２０１１．２．１８）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２４年９月１０日（２０１２．９．１０）
【国際特許分類】
【出願日】平成２３年２月１８日（２０１１．２．１８）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]