立体画像生成装置、立体画像生成方法、プログラム、および記録媒体
【課題】消失点位置を推定できる場合は、消失点に基づいて画像の奥行モデルを生成し、消失点位置を推定できない場合は、顕著度に基づいて画像の奥行モデルを生成することにより、より自然な奥行感のある立体画像を生成可能とする。
【解決手段】立体画像生成装置１は、処理対象画像から消失点を推定する消失点推定部２０と、消失点推定部２０により消失点が推定できたか否かに基づいて異なる奥行モデルを生成する奥行モデル生成部３０と、奥行モデル生成部３０により生成した奥行モデルと処理対象画像と想定視聴条件情報とに基づいて、右眼提示画像と左眼提示画像を生成する視点画像生成部４０とを備える。奥行モデル生成部３０は、消失点推定部２０により消失点が推定できた場合、消失点に基づいて奥行モデルを生成し、また、消失点推定部２０により消失点が推定できなかった場合、処理対象画像内の各画素の顕著度に基づいて奥行モデルを生成する。
【解決手段】立体画像生成装置１は、処理対象画像から消失点を推定する消失点推定部２０と、消失点推定部２０により消失点が推定できたか否かに基づいて異なる奥行モデルを生成する奥行モデル生成部３０と、奥行モデル生成部３０により生成した奥行モデルと処理対象画像と想定視聴条件情報とに基づいて、右眼提示画像と左眼提示画像を生成する視点画像生成部４０とを備える。奥行モデル生成部３０は、消失点推定部２０により消失点が推定できた場合、消失点に基づいて奥行モデルを生成し、また、消失点推定部２０により消失点が推定できなかった場合、処理対象画像内の各画素の顕著度に基づいて奥行モデルを生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、２Ｄ画像に対して両眼立体情報を付加し、３Ｄ画像を生成する立体画像生成装置、立体画像生成方法、プログラム、及び記録媒体に関する。
【背景技術】
【０００２】
近年、３ＤＴＶ（3D Television）の普及と３Ｄデジタル放送の開始により、家庭において３Ｄ映像を視聴する環境が整いつつある。しかし、３Ｄ映像の再生環境の整備に伴い、３Ｄ映像のコンテンツ不足が指摘されている。こうしたコンテンツ不足の解消へのアプローチとして、２Ｄ画像に対して人工的に両眼立体情報を付加し、３Ｄ画像を生成する２Ｄ／３Ｄ変換（2D to 3D conversion）が注目されている。
【０００３】
２Ｄ／３Ｄ変換を実現する手法として、例えば、特許文献１に示す手法が知られている。この特許文献１には、基本となる３種類の画像の奥行値を示す基本奥行モデルを備え、入力画像のパターンによって、３種類の基本奥行モデルの合成比を変えて、入力画像の奥行モデルを生成し、生成した奥行モデルと入力画像とから、左眼／右眼へ提示する画像を生成する立体画像生成装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第４２１４９７６号明細書（特開２００５−１５１５３４号公報）
【非特許文献】
【０００５】
【非特許文献１】J. Shi and C. Tomasi, “Good Features to Track,” 9th IEEE Conference on Computer Vision and Pattern Recognition, June 1994
【非特許文献２】B. D. Lucas and T. Kanade, “An iterative image registration technique with an application to stereo vision,” Proceedings of the 1981 DARPA Imaging Understanding Workshop (pp.121-130), 1981
【非特許文献３】ＣＧ−ＡＲＴＳ協会，ディジタル画像処理 第２版，2009
【非特許文献４】太田登 著, 色彩工学 第２版, 東京電機大学出版局，2001
【非特許文献５】L. Itti, C. Koch, E. Niebur, “A Model of Saliency-Based Visual Attention for Rapid Scene Analysis,” IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 20, No.11, pp.1254-1259, Nov 1998.
【非特許文献６】A. Telea, “An image inpainting technique based on the fast marching method,” Journal of Graphics Tools 9 (2004), pp.25-36.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に開示されている立体画像生成装置では、想定した基本奥行モデルに合致しない画像の奥行モデルを表現することが困難である。例えば、画面外に消失点がある場合、３種類の基本奥行モデルの合成比を変更しても表現することができないという問題がある。このため、自然な奥行感のある立体映像を生成することができなかった。
【０００７】
本発明は、上述のような問題点を解決するためになされたものであって、幾何的な奥行手掛かりにより消失点位置を推定できる場合は、消失点に基づいて画像の奥行モデルを生成し、幾何的な奥行手掛かりにより消失点位置を推定できない場合は、人の視覚特性に基づいた画像内の誘目性を表す顕著度に基づいて画像の奥行モデルを生成することにより、より自然な奥行感のある立体画像を生成可能とする立体画像生成装置、立体画像生成方法、プログラム、及び記録媒体を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明の第１の技術手段は、２Ｄ画像に両眼立体情報を付加し、３Ｄ画像を生成する立体画像生成装置であって、処理対象画像から消失点を推定する消失点推定手段と、該消失点推定手段により消失点が推定できたか否かに基づいて異なる奥行モデルを生成する奥行モデル生成手段と、該奥行モデル生成手段により生成した奥行モデルと前記処理対象画像と想定視聴条件情報とに基づいて、右眼提示画像と左眼提示画像を生成する視点画像生成手段とを備え、前記奥行モデル生成手段は、前記消失点推定手段により消失点が推定できた場合、前記消失点に基づいて奥行モデルを生成し、また、前記消失点推定手段により消失点が推定できなかった場合、前記処理対象画像内の各画素の顕著度に基づいて奥行モデルを生成することを特徴としたものである。
【０００９】
第２の技術手段は、第１の技術手段において、処理対象画像から所定の画像サイズの縮小画像を生成する縮小画像生成手段を備え、前記縮小画像を、前記消失点推定手段と前記奥行モデル生成手段の入力とし、該奥行モデル生成手段により生成した前記縮小画像の奥行モデルから前記処理対象画像と同一画像サイズの拡大奥行モデルを生成する拡大奥行モデル生成手段を備えることを特徴としたものである。
【００１０】
第３の技術手段は、第１の技術手段において、前記奥行モデル生成手段により生成した処理対象画像の奥行モデルを空間方向に平滑化し、該空間方向に平滑化された前記処理対象画像の奥行モデルと、該処理対象画像よりも過去の比較対象画像の時空間方向に平滑化された奥行モデルとに基づいて、前記処理対象画像の奥行モデルを時間方向に平滑化し、前記処理対象画像の時空間方向に平滑化された奥行モデルを生成する時空間方向平滑化手段を備えることを特徴としたものである。
【００１１】
第４の技術手段は、第１〜第３のいずれか１の技術手段において、前記想定視聴条件情報は、前記３Ｄ画像を表示するディスプレイの画素ピッチ、該ディスプレイの画像サイズ、視聴者から前記ディスプレイまでの距離、前記３Ｄ画像の奥行量を表す視差範囲、左右の仮想視点間の距離である基線長を含むことを特徴としたものである。
【００１２】
第５の技術手段は、第１〜第４のいずれか１の技術手段において、前記処理対象画像内の各画素の顕著度は、注目画素とその周辺画素との色差が大きい箇所、あるいは、注目画素と画像全体との色差が大きい箇所、あるいは、注目画素を含む局所領域とその周辺領域との色差が大きい箇所ほど高く算出されることを特徴としたものである。
【００１３】
第６の技術手段は、第５の技術手段において、前記奥行モデル生成手段は、前記消失点推定手段により消失点が推定できなかった場合、前記処理対象画像内の各画素の顕著度が高い箇所が手前側になるように奥行モデルを生成することを特徴としたものである。
【００１４】
第７の技術手段は、第１〜第６のいずれか１の技術手段において、前記消失点推定手段は、前記処理対象画像内の直線情報から該処理対象画像の消失点を推定するフレーム内消失点推定手段と、前記処理対象画像と該処理対象画像よりも過去の比較対象画像と該比較対象画像における消失点の位置とに基づいて、前記処理対象画像の消失点を推定するフレーム間消失点推定手段とを備えたことを特徴としたものである。
【００１５】
第８の技術手段は、第７の技術手段において、前記処理対象画像と前記比較対象画像との間でシーンチェンジがあったか否かを検出するシーンチェンジ検出手段を備え、該シーンチェンジ検出手段によりシーンチェンジが検出された場合、前記フレーム内消失点推定手段が選択され、前記シーンチェンジ検出手段によりシーンチェンジが検出されない場合、前記フレーム間消失点推定手段が選択されることを特徴としたものである。
【００１６】
第９の技術手段は、第８の技術手段において、前記比較対象画像の消失点の位置を含む消失点情報を記憶する記憶手段を備え、該記憶手段に前記比較対象画像の消失点情報が記憶されている場合、前記フレーム間消失点推定手段が選択され、前記記憶手段に前記比較対象画像の消失点情報が記憶されていない場合、前記フレーム内消失点推定手段が選択されることを特徴としたものである。
【００１７】
第１０の技術手段は、第７〜第９のいずれか１の技術手段において、前記比較対象画像は、前記処理対象画像の１つ前の画像であることを特徴としたものである。
【００１８】
第１１の技術手段は、２Ｄ画像に両眼立体情報を付加し、３Ｄ画像を生成する立体画像生成装置による立体画像生成方法であって、前記立体画像生成装置が、処理対象画像から消失点を推定する消失点推定ステップと、該消失点推定ステップにて消失点が推定できたか否かに基づいて異なる奥行モデルを生成する奥行モデル生成ステップと、該奥行モデル生成ステップにて生成した奥行モデルと前記処理対象画像と想定視聴条件情報とに基づいて、右眼提示画像と左眼提示画像を生成する視点画像生成ステップとを備え、前記奥行モデル生成ステップは、前記消失点推定ステップにて消失点が推定できた場合、前記消失点に基づいて奥行モデルを生成し、また、前記消失点推定ステップにて消失点が推定できなかった場合、前記処理対象画像内の各画素の顕著度に基づいて奥行モデルを生成することを特徴としたものである。
【００１９】
第１２の技術手段は、コンピュータに、第１１の技術手段における立体画像生成方法を実行させるためのプログラムである。
【００２０】
第１３の技術手段は、第１２の技術手段におけるプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【発明の効果】
【００２１】
本発明によれば、幾何的な奥行手掛かりにより消失点位置を推定できる場合は、消失点に基づいて画像の奥行モデルを生成することにより、幾何的な奥行手掛かりによる奥行感を強調した立体画像を生成することができる。
また、本発明によれば、幾何的な奥行手掛かりにより消失点位置を推定できない場合は、人の視覚特性に基づいた画像内の誘目性を表す顕著度から画像の奥行モデルを生成することにより、人の注目する部分の奥行感を強調した立体画像を生成することができる。
【図面の簡単な説明】
【００２２】
【図１】本発明の実施形態に係る立体画像生成装置の構成例を示すブロック図である。
【図２】本発明の実施形態に係る立体画像生成装置のフレーム単位の動作例を説明するためのフロー図である。
【図３】輝度ヒストグラムに基づくシーンチェンジ検出の概略図である。
【図４】本発明の実施形態に係るシーンチェンジ検出部の構成例を示すブロック図である。
【図５】本発明の実施形態に係るシーンチェンジ検出部の動作例を説明するためのフロー図である。
【図６】本発明の実施形態に係る消失点推定部の構成例を示すブロック図である。
【図７】本発明の実施形態に係る消失点推定部の動作例を説明するためのフロー図である。
【図８】本発明の実施形態に係るフレーム内消失点推定部の動作例を説明するためのフロー図である。
【図９】図８のフローに対応した画像の一例を示す図である。
【図１０】ハフ変換による直線検出を説明するための概略図である。
【図１１】本発明の実施形態に係るフレーム間消失点推定部の動作例を説明するためのフロー図である。
【図１２】図１１のフローに対応した画像の一例を示す図である。
【図１３】同一シーン内において、フレーム内消失点推定手段、フレーム間消失点推定手段の適用される範囲の一例を示す図である。
【図１４】本発明の実施形態に係る奥行モデル生成部の構成例を示すブロック図である。
【図１５】本発明の実施形態に係る奥行モデル生成部の動作例を説明するためのフロー図である。
【図１６】本発明の実施形態に係る画面内に消失点がある場合の基本奥行モデルの一例を示す図である。
【図１７】本発明の実施形態に係る画面外に消失点がある場合の基本奥行モデルの一例を示す図である。
【図１８】本発明の実施形態に係る消失点に基づいた奥行モデルを求める過程の一例を示す図である。
【図１９】本発明の実施形態に係る顕著度に基づいた奥行モデルを求める過程の一例を示す図である。
【図２０】視点画像を生成するためのカメラ（視点）配置の俯瞰図である。
【図２１】本発明の実施形態に係る視点画像生成部の構成例を示すブロック図である。
【図２２】本発明の実施形態に係る視点画像生成部の動作例を説明するためのフロー図である。
【図２３】本発明の実施形態に係る視点画像を生成する過程の一例を示す図である。
【図２４】交差方向、及び開散方向の視差ベクトルを示す図である。
【図２５】本発明の実施形態に係る奥行モデル生成部の変形例を示すブロック図である。
【図２６】本発明の実施形態に係る奥行モデル生成部の変形例における顕著度に基づく奥行モデル作成手段の動作例を説明するためのフロー図である。
【図２７】本発明の実施形態に係る顕著度に基づいた奥行モデル（変形例）を求める過程の一例を示す図である。
【図２８】本発明の実施形態に係る顕著度に基づいた奥行モデル（変形例）において、基準となる奥行モデルの変形例の一例と対応する奥行モデルの一例を示す図である。
【図２９】本発明の実施形態に係る立体画像生成装置（第一の変形例）の構成例を示すブロック図である。
【図３０】本発明の実施形態に係る立体画像生成装置（第の一変形例）のフレーム単位の動作例を説明するためのフロー図である。
【図３１】本発明の実施形態に係る立体画像生成装置（第二の変形例）の構成例を示すブロック図である。
【図３２】本発明の実施形態に係る立体画像生成装置（第二の変形例）のフレーム単位の動作例を説明するためのフロー図である。
【図３３】本発明の実施形態に係る時空間方向平滑化部の構成例を示すブロック図である。
【図３４】本発明の実施形態に係る時空間方向平滑化部の動作例を説明するためのフロー図である。
【発明を実施するための形態】
【００２３】
以下、図面を参照しながら本発明の実施形態について詳しく説明する。なお、図面において同じ機能を有する部分については同じ符号を付し、繰り返しの説明は省略する。
図１は、本発明に係る立体画像生成装置の概略構成例を示すブロック図である。図中、１は立体画像生成装置を示す。立体画像生成装置１は、シーンチェンジ検出部１０、消失点推定部２０、奥行モデル生成部３０、及び視点画像生成部４０を備えている。また、図２は、本発明に係る立体画像生成装置１のフレーム単位の動作例を説明するためのフロー図である。
【００２４】
図２において、まず、図１の立体画像生成装置１は、入力された時刻ｔの画像（以降、処理対象画像Ｆ（ｔ）ともいう）をシーンチェンジ検出部１０、消失点推定部２０、奥行モデル生成部３０、及び視点画像生成部４０へ出力する（図２のステップＳ１１）。
【００２５】
（シーンチェンジ検出部１０について）
図１のシーンチェンジ検出部１０は、本発明のシーンチェンジ検出手段に相当し、入力された処理対象画像Ｆ（ｔ）と、処理対象画像Ｆ（ｔ）より一つ前に入力された画像（以降、比較対象画像Ｆ（ｔ−１）ともいう）から所定の画像特徴量を算出し、算出した画像特徴量の類似度を比較して、時系列に連続する画像の区分点（シーンチェンジ）を検出し、処理対象画像Ｆ（ｔ）においてシーンチェンジの有無を表すシーンチェンジ情報Ｓ（ｔ）を消失点推定部２０、および奥行モデル生成部３０へ出力する（図２のステップＳ１２）。ここで、所定の画像特徴量の一例として、画像の輝度値の出現頻度を表す輝度ヒストグラムに基づくシーンチェンジ検出について図３〜図５に基づき説明する。
【００２６】
図３に示すように、輝度ヒストグラムに基づくシーンチェンジ検出は、処理対象画像Ｆ（ｔ）と比較対象画像Ｆ（ｔ−１）からそれぞれの輝度ヒストグラムＨＬ（ｔ）とＨＬ（ｔ−１）を算出し、算出した輝度ヒストグラムの類似度ｄ（ＨＬ（ｔ）, ＨＬ（ｔ−１））と所定の閾値とを比較して、処理対象画像Ｆ（ｔ）においてシーンチェンジの有無を判定するというものである。
【００２７】
図４に示すように、シーンチェンジ検出部１０は、輝度ヒストグラム生成部１０１、バッファ１０２、ヒストグラム類似度算出部１０３、およびシーンチェンジ判定部１０４で構成されている。図５は、シーンチェンジ検出部１０の動作例を説明するためのフロー図である。図５において、図４の輝度ヒストグラム生成部１０１は、入力された処理対象画像Ｆ（ｔ）から輝度情報を取得し、取得した輝度情報から輝度値の出現頻度を表す輝度ヒストグラムＨＬ（ｔ）を算出し、その算出結果（輝度ヒストグラムＨＬ（ｔ））をバッファ１０２、ヒストグラム類似度算出部１０３へ出力する（図５のステップＳ２１）。
【００２８】
図４のバッファ１０２は、処理対象画像Ｆ（ｔ）の１つ後の画像Ｆ（ｔ＋１）におけるシーンチェンジ検出のために、処理対象画像Ｆ（ｔ）の輝度ヒストグラムＨＬ（ｔ）を記憶する（図５のステップＳ２２）。図４のヒストグラム類似度算出部１０３は、入力された処理対象画像Ｆ（ｔ）の輝度ヒストグラムＨＬ（ｔ）と、バッファ１０２より読みだした比較対象画像Ｆ（ｔ−１）の輝度ヒストグラムＨＬ（ｔ−１）から類似度ｄ（ＨＬ（ｔ）, ＨＬ（ｔ−１））を式（１）により算出し、その算出結果をシーンチェンジ判定部１０４へ出力する（図５のステップＳ２３）。
【００２９】
【数１】
【００３０】
ここで、式（１）において、Ｗは画像の１ライン毎のピクセル数を表し、Ｈは画像のライン数を表し、ｖは輝度値を表し、Ｖは輝度値の階調数を表し、ＨＬ（ｖ｜ｔ）は時刻ｔにおける画像Ｆ（ｔ）上の輝度値ｖの出現頻度を表す。また、式（１）において、類似度ｄ（ＨＬ（ｔ）, ＨＬ（ｔ−１））のとる値の範囲は０〜２となり、値が０に近いほどヒストグラムの形状が似ており、値が２に近いほどヒストグラムの形状が異なることを表す。
【００３１】
図４のシーンチェンジ判定部１０４は、入力されたヒストグラムの類似度ｄ（ＨＬ（ｔ）, ＨＬ（ｔ−１））と、所定の閾値ｄｔｈとで閾値判定を行い、式（２）により処理対象画像Ｆ（ｔ）においてシーンチェンジの有無を表すシーンチェンジ情報Ｓ（ｔ）を設定し、外部へ出力する（図５のステップＳ２４）。
【００３２】
【数２】
【００３３】
つまり、シーンチェンジ判定部１０４は、類似度ｄ（ＨＬ（ｔ）, ＨＬ（ｔ−１））が閾値ｄｔｈより小さい場合、シーンチェンジが無いと判定し、シーンチェンジ情報Ｓ（ｔ）に「０」を設定する。それ以外の場合は、シーンチェンジが有ると判定し、シーンチェンジ情報Ｓ（ｔ）に「１」を設定する。
【００３４】
以上、シーンチェンジ検出部１０によれば、処理対象画像Ｆ（ｔ）と、比較対象画像Ｆ（ｔ−１）から所定の画像特徴量を算出し、算出した画像特徴量の類似度を比較することで、時系列に連続する画像の区分点（シーンチェンジ）を検出することができる。
【００３５】
（消失点推定部２０について）
図１に戻って、消失点推定部２０は、本発明の消失点推定手段に相当し、入力された処理対象画像Ｆ（ｔ）のシーンチェンジ情報Ｓ（ｔ）と、消失点推定部２０の内部で記憶している一つ前の消失点情報ＶＰ（ｔ−１）に基づいて消失点の推定手段（画像内の直線から消失点位置を推定するフレーム内消失点推定手段、画像間の特徴点の対応関係と前フレームの消失点位置から現フレームにおける消失点位置を推定するフレーム間消失点推定手段）を選択し、選択した消失点推定手段により入力された処理対象画像Ｆ（ｔ）から消失点の位置を推定して、その結果を記述した消失点情報ＶＰ（ｔ）を奥行モデル生成部３０へ出力する（図２のステップＳ１３）。ここで「消失点」とは、３次元空間において平行な２直線を平面に射影（投影）すると、それらの線が必ず１点に収束する点のことである。
【００３６】
続いて、本実施形態における消失点推定部２０について詳細に説明する。図６に示すように、消失点推定部２０は、切替部２０１，切替部２０２、フレーム内消失点推定部２１、フレーム間消失点推定部２２、バッファ２０３、およびバッファ２０４で構成されている。また、図６のフレーム内消失点推定部２１は、エッジ検出部２１１、直線検出部２１２、および消失点同定部２１３で構成されている。このフレーム内消失点推定部２１は、本発明のフレーム内消失点推定手段に相当し、処理対象画像Ｆ（ｔ）内の直線情報から処理対象画像Ｆ（ｔ）の消失点を推定する。また、図６のフレーム間消失点推定部２２は、特徴点検出部２２１、対応点算出部２２２、変換行列算出部２２３、および消失点位置算出部２２４で構成されている。このフレーム間消失点推定部２２は、本発明のフレーム間消失点推定手段に相当し、処理対象画像Ｆ（ｔ）と処理対象画像Ｆ（ｔ）よりも過去の比較対象画像Ｆ（ｔ−１）と比較対象画像Ｆ（ｔ−１）における消失点の位置とに基づいて、処理対象画像Ｆ（ｔ）の消失点を推定する。図７は、消失点推定部２０の動作例を説明するためのフロー図である。
【００３７】
図７において、図６の消失点推定部２０は、入力されたシーンチェンジ情報Ｓ（ｔ）、およびバッファ２０４より読み出した一つ前の消失点情報ＶＰ（ｔ−１）に基づいて消失点推定手段を選択する（図７のステップＳ３１）。具体的には、シーンチェンジが有る場合（「Ｓ（ｔ）＝１」）、もしくは、消失点情報ＶＰ（ｔ−１）が、前フレームに消失点が無いことを示す場合、つまり、消失点情報ＶＰ（ｔ−１）が「vp_num=0」の場合（図７のステップＳ３１においてＹｅｓ）、図６の切替部２０１は画像の入力先を、図６の切替部２０２は消失点情報の出力元を、フレーム内消失点推定部２１へそれぞれ切り替え（図７のステップＳ３２）、その後、フレーム内消失点推定部２１は、画像内の直線から消失点位置を推定し、その結果（消失点情報ＶＰ（ｔ））を出力する（図７のステップＳ３３）。
【００３８】
（フレーム内消失点推定部２１について）
ここで、フレーム内消失点推定部２１について詳細に説明する。図８は、フレーム内消失点推定部２１の動作例を説明するためのフロー図である。図９は、図８のフローに対応した画像例を示す図である。図８のステップＳ３３１において、図６のエッジ検出部２１１は、入力された処理対象画像Ｆ（ｔ）（図９（Ａ）を参照）から直線検出に用いるエッジ点情報Ｅｄｇｅ（ｔ）を算出する。具体的には、まず、色成分（例えば、ＲＧＢ（Ｒｅｄ（赤）、Ｇｒｅｅｎ（緑）、Ｂｌｕｅ（青）））毎に微分オペレータを適用し、ｘ方向、ｙ方向における各色成分ｉの勾配ベクトルＧｉ（ｘ，ｙ｜ｔ）＝（ΔＧｉｘ（ｔ）, ΔＧｉｙ（ｔ））（ｉ＝１，２，３）を算出する。なお、ｉ＝１、２、３は、それぞれ、Ｒ成分、Ｇ成分、Ｂ成分である。
【００３９】
続いて、エッジ検出部２１１は、式（３）の演算を、座標（ｘ，ｙ）の画素毎に行うことで、エッジ強度Ｅ（ｘ，ｙ｜ｔ）を算出する。
【００４０】
【数３】
【００４１】
続いて、エッジ検出部２１１は、式（４）の演算を、座標（ｘ，ｙ）の画素毎に行うことで、エッジ強度Ｅ（ｘ，ｙ｜ｔ）から局所的にエッジ強度が極大値となる座標をエッジ点として抽出し、その結果を記述したエッジ点情報Ｅｄｇｅ（ｔ）を直線検出部２１２へ出力する。
【００４２】
【数４】
【００４３】
つまり、エッジ検出部２１１は、座標（ｘ，ｙ）を中心とした窓サイズＷ１×Ｗ２の範囲内で、エッジ強度Ｅ（ｘ，ｙ｜ｔ）が極大値となる場合（Ｌｏｃａｌ Ｍａｘｉｍａ）、エッジ点Ｅｄｇｅ（ｘ，ｙ｜ｔ）に「１」、それ以外はエッジ点Ｅｄｇｅ（ｘ，ｙ｜ｔ）に「０」を設定する。ここで、Ｗ１はｘ方向の窓のサイズ、Ｗ２はｙ方向の窓のサイズを表す。
【００４４】
図８のステップＳ３３２に進んで、図６の直線検出部２１２は、入力されたエッジ点情報Ｅｄｇｅ（ｔ）にハフ変換を適用して直線情報Ｌ（ｔ）（図９（Ｂ）を参照）を取得する。ここで、ハフ変換による直線検出に関して図１０に基づいて説明する。なお、図１０（Ａ）において、ある直線Ｌ上にある特徴点Ａ，Ｂ，Ｃを、エッジ検出部２１１において得られた「Ｅｄｇｅ（ｘ，ｙ|ｔ）＝１」となるエッジ点とする。まず、ハフ変換では、図１０（Ａ）に示す画像空間上の直線Ｌを極座標表現（ρ、θ）を用いて表現する。ρは画像空間の原点から直線Ｌへ引いた垂線の距離を表し、θはその垂線が画像空間のｘ軸となす角度を表す。なお、ρの範囲はρ≧０であり、θの範囲は０≦θ<２πである。
【００４５】
図１０（Ａ）の画像空間上にある特徴点Ａ，Ｂ，Ｃを通過する直線Ｌは、パラメータ（ρ0,θ0）を用いて式（５）によって表される。
【００４６】
【数５】
【００４７】
また、特徴点Ａ，Ｂ，Ｃをそれぞれ通過する直線群は、パラメータ空間へ写像すると、図１０（Ｂ）においてパラメータ空間上の曲線ａ，曲線ｂ，曲線ｃとして表現される。つまり、パラメータ空間上で、曲線ａ、曲線ｂ、曲線ｃの交点（ρ0,θ0）が、特徴点Ａ，Ｂ，Ｃを通過する直線Ｌとして検出される。
【００４８】
以上のように「Ｅｄｇｅ(ｘ，ｙ|ｔ)＝１」となるエッジ点に対して、ハフ変換を適用し、パラメータ空間上で所定の閾値以上の曲線が交差し、かつ交差数の多い順にＮＬ個の極座標（ρｓ，θｓ）（ｓ＝１，・・・，ＮＬ）を直線Ｌｓとして抽出し、その極座標（ρｓ，θｓ）を記述したデータを直線情報Ｌ（ｔ）とする。なお、ＮＬの範囲は０≦ＮＬ≦ＮＬｍａｘである。ここで、ＮＬｍａｘは抽出する直線数の上限値を表す所定の定数である。また、上記直線抽出の条件を満たさず、直線が検出されない場合は、ＮＬ＝０となる。
【００４９】
再び図８に戻って、図６の消失点同定部２１３は、入力された直線情報Ｌ（ｔ）から直線数ＮＬを取得し、直線数ＮＬと所定の閾値と大小関係を比較し、ステップＳ３３４〜ステップＳ３３５の処理によって消失点の位置推定を行うか否かを決定する（ステップＳ３３３）。直線数ＮＬが閾値ＴｈＬ（≧２）より小さい場合（または以下の場合）（ステップＳ３３３においてＮｏ）、消失点の推定に十分な幾何的な奥行手掛かりが無いと判定し、ステップＳ３３６へ進む。また、直線数ＮＬが閾値ＴｈＬ（≧２）以上の場合（または大きい場合）（ステップＳ３３３においてＹｅｓ）、消失点同定部２１３は、消失点の推定に十分な幾何的な奥行手掛かりがあると判定し、入力された直線情報Ｌ（ｔ）から、直線を表す角度θに関して式（６）、式（７）の条件を満たす直線Ｌｉ(ｉ=1,・・・, ＮＬ)と直線Ｌｊ (ｊ=1,・・・, ＮＬ)を選び、その交点Ｐｉｊ(ｉ≠ｊ）を式（８）の行列演算によって算出し、交点情報を取得する（ステップＳ３３４）。なお、直線の交点を求める際に、一度選んだ直線Ｌｉと直線Ｌｊ同士の重複演算はしないものとする。なお、式（６）の条件は選んだ二直線が平行でないことを表し、式（７）の条件は水平方向（｜θ−π｜≒π／２）近傍、及び垂直方向（｜θ−π｜≒０、または｜θ−π｜≒π）近傍の直線でないことを表す。
【００５０】
【数６】
【数７】
【数８】
【００５１】
続いて、消失点同定部２１３は、取得した直線の交点Ｐｉｊの分布モデルを、式（９）に示すＫｃ個のガウス分布の混合モデルＧＭＭ（Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ）を用いて表されると仮定し、ＥＭ（Ｅｘｐｅｃｔａｔｉｏｎ−Ｍａｘｉｍｉｚａｔｉｏｎ）アルゴリズムによって、分布モデルのパラメータ（ｗｉ，μｉ,Σｉ）（ｉ＝１，・・・，Ｋｃ）を取得し、消失点の位置を決定する（ステップＳ３３５）。
【００５２】
【数９】
【００５３】
なお、式（９）において、Ｐ（ｘ）は、ベクトルｘ（交点Ｐｉｊの座標）が出現する確率を表す。Ｋｃはクラス数（ガウス分布の個数）を表し、ｗｉはクラスｉのガウス分布の重み係数を表し、重み係数の総和は１となる。また、μｉはクラスｉの平均ベクトル（クラスｉの重心座標）を表し、Σｉはクラスｉの共分散行列を表し、Ｄはベクトルｘの次元数を表す。式（９）中のＮ（ｘ｜μｉ,Σｉ）は、クラスｉのガウス分布（正規分布）を表し、平均ベクトルμｉ、共分散行列Σｉを用いて表現される。つまり、消失点同定部２１３は、重み係数ｗｉが大きい上位Ｎ（≧１）クラスの分布の平均ベクトルμｉ（重心座標）を、消失点位置と定める。以降、簡単化のため、消失点の数をＮ＝１として説明するが、これに限定されるものではない。
【００５４】
続いて、消失点同定部２１３は、ステップＳ３３３またはステップＳ３３５の結果に基づいて、図９（Ｃ）に示すように消失点情報ＶＰ（ｔ）を設定する（ステップＳ３３６）。なお、消失点情報ＶＰ（ｔ）は、例えば、表１のデータとして表現される。
【００５５】
【表１】
【００５６】
表１において、消失点情報ＶＰ（ｔ）は、時刻ｔ（又は、画像のフレームに付した番号（フレーム番号）でもよい）を表す「vp_time」、検出した消失点の数を表す「vp_num」、及び検出したn個の消失点の位置「vp_pos[n]」を表すリストによって示される。
【００５７】
再び図７のステップＳ３１に戻って、シーンチェンジが無く（「Ｓ（ｔ）＝０」）、かつ、消失点情報ＶＰ（ｔ−１）が、前フレームに消失点が有ることを示す場合（消失点情報ＶＰ（ｔ−１）の「vp_num>0」）（ステップＳ３１においてＮｏ）、図６の切替部２０１は画像の入力先を、図６の切替部２０２は消失点情報の出力元を、フレーム間消失点推定部２２へそれぞれ切り替え（ステップＳ３４）、その後、フレーム間消失点推定部２２は、入力された処理対象画像Ｆ（ｔ）とバッファ２０３で記憶した１つ前の画像Ｆ（ｔ−１）から画像間の特徴点の対応関係を求め、その対応関係と、一つ前の消失点情報ＶＰ（ｔ−１）より処理対象画像Ｆ（ｔ）における消失点位置を推定し、その結果（消失点情報ＶＰ（ｔ））を出力する（ステップＳ３５）。すなわち、消失点推定部２０は、比較対象画像Ｆ（ｔ−１）の消失点の位置を含む消失点情報ＶＰ（ｔ−１）を記憶する記憶手段（図６のバッファ２０４）を備え、前フレームに消失点が有るか否かは、この記憶手段に前フレームの消失点情報ＶＰ（ｔ−１）が記憶されており、この消失点情報ＶＰ（ｔ−１）が「vp_num>0」であるか否かで判定される。
【００５８】
（フレーム間消失点推定部２２について）
ここで、フレーム間消失点推定部２２の詳細について説明する。図１１は、フレーム間消失点推定部２２の動作例を説明するためのフロー図である。また、図１２は、図１１のフローに対応した画像例を示す図である。図１１のステップＳ３５１において、図６の特徴点検出部２２１は、図１２（Ａ）に示すように、入力された処理対象画像Ｆ（ｔ）と一つ前の画像Ｆ（ｔ−１）との画像間の対応関係を求めるために用いるＮＫ個の特徴点Ｋｓ（ｓ＝１，・・・，ＮＫ）を検出し、その特徴点Ｋｓの座標（ｘKs,t，ｙKs,t）を記述した特徴点情報Ｋ（ｔ）を図６の対応点算出部２２２へ出力する（ステップＳ３５１）。
【００５９】
なお、特徴点とは、画素間の色や輝度の変化等に基づいて被写体のエッジの一部や頂点として抽出される点である。例えば、画素（ｘ，ｙ）を中心とした局所領域Ｓの範囲内のｘ方向、ｙ方向の輝度の勾配ベクトルＧｉ（ｘ，ｙ）(ｉ＝ｘ，ｙ)を用いて表される二次モーメント行列Ａ（式（１０））の第一固有値λ１、及び第二固有値λ２を求め、式（１１）に示す条件を満たす画素（ｘ，ｙ）を特徴点として検出する。
【００６０】
【数１０】
【数１１】
【００６１】
つまり、二次モーメント行列Ａの第一固有値λ１、及び第二固有値λ２のうち小さい方の固有値が所定の閾値λｔｈより大きい（または以上）場合に特徴点とするものである(例えば、非特許文献１を参照)。なお、式（１０）において係数ｗ（ｕ，ｖ）は、画素（ｘ，ｙ）からｘ方向にｕ，ｙ方向にｖだけ離れた画素（ｘ＋ｕ，ｙ＋ｖ）に関する重み係数を表し、例えば、式（１２）の条件を満たすように定めた、局所領域Ｓの範囲内の２次ガウス分布の値を正規化した値を用いる。
【００６２】
【数１２】
【００６３】
図１１のステップＳ３５２に進んで、図６の対応点算出部２２２は、図１２（Ｂ）に示すように、入力された処理対象画像Ｆ（ｔ）と、バッファ２０３より読み出した一つ前の画像Ｆ（ｔ−１）と、ステップＳ３５１で取得した処理対象画像Ｆ（ｔ）の特徴点情報Ｋ（ｔ）とに基づいて、処理対象画像Ｆ（ｔ）の各特徴点Ｋｓ（ｓ＝１，・・・，ＮＫ）が一つ前の画像Ｆ（ｔ−１）上にある位置（xKs,t -1，yKs,t -1）をオプティカルフローにより算出し、その特徴点Ｋｓの時刻ｔ，時刻ｔ−１における位置を記述した対応点情報Ｑ（ｔ，ｔ−１）を図６の変換行列算出部２２３へ出力する（ステップＳ３５２）。
【００６４】
なお、処理対象画像Ｆ（ｔ）の各特徴点Ｋｓが一つ前の画像Ｆ（ｔ−１）上にある位置（xKs,t-1，yKs,t-1）は、例えば、式（１３）に示す勾配法によるオプティカルフローの拘束条件を（xKs,t-1，yKs,t-1）について解くことで取得できる（例えば、非特許文献２を参照）。
【００６５】
【数１３】
【００６６】
ここで、式（１３）において、Ｇｉ（ｘ，ｙ｜ｔ）（ｉ＝ｘ，ｙ，ｔ）は画像Ｆ（ｔ）の輝度に関するｘ方向、ｙ方向、ｔ方向（時間方向）の勾配ベクトルを表し、Ｓは特徴点Ｋｓを中心とする所定サイズの局所領域を表す。
【００６７】
図１１のステップＳ３５３に進んで、図６の変換行列算出部２２３は、ステップＳ３５２で取得した対応点情報Ｑ（ｔ，ｔ−１）から、特徴点Ｋｓ（ｓ＝１，・・・，ＮＫ）を一つ前の画像Ｆ（ｔ−１）上の位置から、処理対象画像Ｆ（ｔ）上の位置へ射影する変換行列Ｈを算出し、その変換行列Ｈを記述した情報を図６の消失点位置算出部２２４へ出力する（ステップＳ３５３）。なお、２枚の画像間（Ｆ（ｔ），Ｆ（ｔ−１））の対応関係は、変換行列Ｈを用いて式（１４）で表すことができる（例えば、非特許文献３を参照）。この式（１４）において、記号「〜」は同値関係を表し、定数倍の違いを許して等しいことを意味する。
【００６８】
【数１４】
【００６９】
また、変換行列Ｈは、一般的な変換を表現することができるため、射影変換と呼ばれる。ここで、画像間の対応関係を平行移動として表現できると仮定すると、式（１４）は、式（１５）として表現される。
【００７０】
【数１５】
【００７１】
式（１５）中の係数ｔｘ、ｔｙはそれぞれｘ方向、ｙ方向への移動量を表す。また、画像間の対応関係を平行移動、回転、拡大・縮小を含めたアフィン変換として表現できると仮定すると、式（１４）は、式（１６）として表現される。
【００７２】
【数１６】
【００７３】
式（１６）中の係数ａ，ｂ，ｃ，ｄは拡大・縮小、及び回転を表し、係数ｔｘ、ｔｙは式（１５）と同様である。なお、式（１４）、式（１５）、式（１６）における変換行列Ｈの各係数ｈｉｊ（ｉ，ｊ＝１，２，３）は、各変換モデルの拘束条件と対応点情報Ｑ（ｔ，ｔ−１）から導かれる連立方程式を最小二乗法により解くことで算出する。なお、十分な対応点数が無く、変換行列Ｈを算出できない場合は、所定の変換行列Ｈ０を用いる。
【００７４】
図１１のステップＳ３５４に進んで、図６の消失点位置算出部２２４は、「時刻ｔにおける消失点の位置は、一つ前の画像Ｆ（ｔ−１）上の消失点位置を、図６の変換行列算出部２２３で算出した変換行列Ｈを用いて、処理対象画像Ｆ（ｔ）上へ射影した位置にある」と仮定して、時刻ｔの消失点位置を算出し（ステップ３５４）、その結果に基づいて消失点情報ＶＰ（ｔ）を設定する（ステップＳ３５５）。画像Ｆ（ｔ−１）上の消失点を変換行列Ｈにより画像Ｆ（ｔ）上に射影したときの画像例を図１２（Ｃ）に示す。
【００７５】
再び図７のステップＳ３６に戻って、図６のバッファ２０３は、１つ前の画像Ｆ（ｔ−１）を削除し、入力された処理対象画像Ｆ（ｔ）を記憶する。また、図６のバッファ２０４は、１つ前の消失点情報ＶＰ（ｔ−１）を削除し、フレーム内消失点推定部２１、または、フレーム間消失点推定部２２より入力された消失点情報ＶＰ（ｔ）を記憶して、処理対象画像Ｆ（ｔ）における消失点推定の処理を終了する（ステップＳ３６）。
【００７６】
以上、本実施形態の消失点推定部２０によれば、図１３に示すように、同一シーン（空間方向、時間方向に相関のある時系列画像群）において、先頭フレームＦ（ｔ０）から同一シーン内で最初に消失点が検出されるフレームＦ（ｔ０＋ｋ−１）までは、フレーム内消失点推定手段（フレーム内消失点推定部２１）により消失点を推定し、同一シーン内で最初に消失点が検出されるフレームＦ（ｔ０＋ｋ−１）の次フレームＦ（ｔ０＋ｋ）から同一シーン内の最終フレームＦ（ｔ０＋Ｎ）までは、フレーム間消失点推定手段（フレーム間消失点推定部２２）により消失点を推定するため、フレーム単位にフレーム内消失点推定手段により消失点を推定する場合と比べて、カメラワークにロバストでかつ、消失点の揺れを抑制し安定した消失点の推定が可能となる。
【００７７】
（奥行モデル生成部３０について）
再び図２に戻って、図１の奥行モデル生成部３０は、本発明の奥行モデル生成手段に相当し、消失点推定部２０により消失点が推定できたか否かに基づいて異なる奥行モデルを生成する。つまり、奥行モデル生成部３０は、消失点情報ＶＰ（ｔ）に基づいて、奥行モデルの作成手段（消失点位置から奥行モデルを作成する第１の奥行モデル作成手段、人の視覚特性に基づいた画像内の誘目性を表す顕著度から奥行モデルを作成する第２の奥行モデル作成手段）を選択し、選択した奥行モデル作成手段により、処理対象画像Ｆ（ｔ）における各画素の奥行値を設定し、各画素の奥行値を表す奥行モデルＤ（ｔ）を視点画像生成部４０へ出力する（図２のステップＳ１４）。
【００７８】
続いて、本実施形態における奥行モデル生成部３０について詳細に説明する。図１４に示すように、奥行モデル生成部３０は、切替部３０１、切替部３０２、領域分割部３０３、距離算出部３０４、顕著度算出部３０５、および奥行値設定部３０６で構成されている。図１５は、奥行モデル生成部３０の動作例を説明するためのフロー図である。
【００７９】
図１５において、図１４の奥行モデル生成部３０は、入力された消失点情報ＶＰ（ｔ）に基づいて奥行モデル作成手段を選択する（ステップＳ４１）。つまり、現フレームに消失点が有る場合（消失点情報ＶＰ（ｔ）の「vp_num>0」）（ステップＳ４１においてＹｅｓ）、図１４の切替部３０１は画像の入力先を領域分割部３０３へ、図１４の切替部３０２は奥行値設定部３０６へ入力するデータの出力元を距離算出部３０４へそれぞれ切り替え、消失点に基づく第１の奥行モデル作成手段が選択される（ステップＳ４２）。
【００８０】
ステップＳ４３に進んで、図１４の距離算出部３０４は、消失点情報ＶＰ（ｔ）の消失点の座標と各画素の座標との距離Ｄｉｓｔ（ｘ，ｙ）を算出し、その結果を記述した距離情報Ｄｉｓｔ（ｔ）を奥行値設定部３０６へ出力する（ステップＳ４３）。具体的には、消失点の座標と各画素の座標との距離Ｄｉｓｔ（ｘ，ｙ）は、式（１７）、式（１８）、式（１９）のいずれかに基づいて算出される。なお、式（１７）、式（１８）、式（１９）中のΔｘ、Δｙはそれぞれ各画素と消失点とのｘ方向の距離、ｙ方向の距離を表す。
【００８１】
【数１７】
【数１８】
【数１９】
【００８２】
ここで、画面内に消失点ＶＰがある場合の、それぞれ式（１７）、式（１８）、式（１９）に基づく距離情報Ｄｉｓｔ（ｔ）の一例を図１６に示す。図１６（Ａ）は、画面内に消失点ＶＰがある一例を表す。図１６（Ｂ）のＢＤ１ａは式（１７）、図１６（Ｃ）のＢＤ１ｂは式（１８）、図１６（Ｄ）のＢＤ１ｃは式（１９）に基づく距離情報Ｄｉｓｔ（ｔ）を表している。また、画面外に消失点ＶＰがある場合の、それぞれ式（１７）、式（１８）、式（１９）に基づく距離情報Ｄｉｓｔ（ｔ）の一例を図１７に示す。図１７（Ａ）は、画面外に消失点ＶＰがある一例を表す。図１７（Ｂ）のＢＤ２ａは式（１７）、図１７（Ｃ）のＢＤ２ｂは式（１８）、図１７（Ｄ）のＢＤ２ｃは式（１９）に基づく距離情報Ｄｉｓｔ（ｔ）を表している。なお、図１６及び図１７において。白い部分が最も近く、黒くなるにつれて遠くなるものとする。
【００８３】
ステップＳ４４に進んで、図１４の領域分割部３０３は、処理対象画像Ｆ（ｔ）を領域分割（クラスタリング）により、特徴量が類似する（特徴量の値が予め定めた範囲内となる）複数の画素の集合（領域；クラス）に分割する。例えば、領域分割部３０３は、特徴量空間でのクラスタリングにより画像を複数の領域へ分割する。特徴量空間によるクラスタリングとは、画像空間の各画素を特徴量空間（例えば、色、エッジ、動きベクトル）に写像し、その特徴量空間においてＫ-ｍｅａｎｓ法、Ｍｅａｎ-Ｓｈｉｆｔ法、又はＫ最近傍探索法（近似Ｋ最近傍探索法）などの手法により行うクラスタリングである。特徴量空間でのクラスタリング処理の終了後、各領域の代表値となる画素値（例えば平均値）により、そのクラス内の画素について、元の画像空間における画素値を置き換え、各領域に対して領域を識別するラベルを各領域内の全画素に付与し、その結果を記述した領域情報Ｒ（ｔ）を奥行値設定部３０６へ出力する（ステップＳ４４）。
【００８４】
ステップＳ４５に進んで、図１４の奥行値設定部３０６は、入力された距離情報Ｄｉｓｔ（ｔ）と領域情報Ｒ（ｔ）に基づいて、各画素の奥行値を設定する。具体的には、式（２０）に示すように、領域情報Ｒ（ｔ）が示す各領域内にある画素の距離Ｄｉｓｔ（ｘ，ｙ）の平均値をスケーリングし、基準となる奥行値Ｄｂａｓｅ（ｘ，ｙ）だけシフトした値を各画素の奥行値Ｄ（ｘ，ｙ）として設定する（ステップＳ４５）。
【００８５】
【数２０】
【００８６】
なお、式（２０）において、Ｄｍａｘは奥行値の上限値、Ｄｍｉｎは奥行値の下限値、Ｄｉｓｔｍａｘは距離情報Ｄｉｓｔ（ｔ）の最大値、Ｄｉｓｔｍｉｎは距離情報Ｄｉｓｔ（ｔ）の最小値、Ｄｂａｓｅ（ｘ，ｙ）は各画素の奥行値の基準値（最遠景とする奥行値）を調整するための所定の定数である。ここで、消失点に基づいた奥行モデルの一例を図１８に示す。図１８において、画像Ａは処理対象画像Ｆ（ｔ）の一例を表し、画像Ｂは領域分割部３０３において求めた処理対象画像Ｆ（ｔ）の領域分割結果（領域分割情報Ｒ（ｔ））の一例を表し、画像Ｃは処理対象画像Ｆ（ｔ）の消失点ＶＰの一例を表し、画像Ｄは距離算出部３０４において求めた処理対象画像Ｆ（ｔ）の距離情報Ｄｉｓｔ（ｔ）の一例を表し、画像Ｅは奥行値設定部３０６において、画像Ｂの領域分割情報Ｒ（ｔ）と画像Ｄの距離情報Ｄｉｓｔ（ｔ）に基づいて求めた奥行モデルの一例である。図１８の画像Ｅにおいて、明るい部分が手前であることを表し、暗い部分が奥であることを表す。
【００８７】
再び図１５のステップＳ４１に戻って、現フレームに消失点が無い場合（消失点情報ＶＰ（ｔ）の「vp_num=0」）（ステップＳ４１においてＮｏ）、図１４の切替部３０１は画像の入力先を顕著度算出部３０５へ、図１４の切替部３０２は奥行値設定部３０６へ入力するデータの出力元を顕著度算出部３０５へそれぞれ切り替え、顕著度に基づく奥行モデル作成手段が選択される（ステップＳ４６）。
【００８８】
図１４の顕著度算出部３０５は、入力された処理対象画像Ｆ（ｔ）から、人の視覚特性に基づいた画像内の誘目性を表す顕著度Ｍ（ｔ）を算出する（ステップＳ４７）。人が注目しやすい部分の例としては、注目画素とその周辺画素との色差が大きい箇所（局所的な色差）、注目する画素と画像全体との色差が大きい箇所、あるいは注目画素を含む局所領域とその周辺領域との色差が大きい箇所（大局的な色差）がある。色差とは、色の知覚的な相違を定量的に表したものであり、色差を評価する色空間として、均等色空間（uniform color space）であるＣＩＥＬＡＢ色空間（ＣＩＥ １９７６ Ｌ＊ａ＊ｂ＊空間ともいう）を用いる。人の視覚特性に基づき、式（２１）により各画素の顕著度Ｍ（ｘ，ｙ）を算出する。
【００８９】
【数２１】
【数２２】
【数２３】
【００９０】
ここで、式（２１）において、ΔＥｌｏｃａｌは局所的な色差を表し、ΔＥｇｌｏｂａｌは大局的な色差を表し、係数α、βは所定の重み係数を表す。つまり、式（２１）は顕著度を局所的な色差と大局的な色差との線形和によって表わしている。なお、局所的な色差ΔＥｌｏｃａｌは式（２２）、大局的な色差ΔＥｇｌｏｂａｌは式（２３）によって算出される。また、式（２２）、式（２３）において、Ｌ＊は明度指数、ａ＊は赤−緑の知覚色度、ｂ＊は黄−青の知覚色度を表す。なお、色差を評価する色空間は、ＣＩＥＬＵＶ色空間（ＣＩＥ １９７６ Ｌ＊ｕ＊ｖ＊色空間ともいう）を用いてもよい。なお、式（２２）中の係数ｗ（ｕ，ｖ）は、式（１２）と同一であるため、説明を省略する。
【００９１】
ステップＳ４８に進んで、図１４の奥行値設定部３０６は、入力された顕著度Ｍ（ｔ）に基づいて、式（２４）の演算により各画素の奥行値を設定し、その結果を記述した奥行モデルＤ（ｔ）を出力する（ステップＳ４８）。
【００９２】
【数２４】
【００９３】
式（２４）において、Ｄｍａｘは奥行値の上限値、Ｄｍｉｎは奥行値の下限値、Ｍｍａｘは顕著度Ｍ（ｔ）の最大値、Ｍｍｉｎは顕著度Ｍ（ｔ）の最小値、Ｄｂａｓｅ（ｘ，ｙ）は各画素の奥行値の基準値（最遠景とする奥行値）を調整するための所定の定数である。つまり、式（２４）により各画素の顕著度Ｍ（ｘ，ｙ）をスケーリングし、基準となる奥行値Ｄｂａｓｅ（ｘ，ｙ）だけシフトした値を各画素の奥行値Ｄ（ｘ，ｙ）として設定する。ここで、顕著度に基づいた奥行モデルの一例を図１９に示す。図１９において、画像Ａは処理対象画像Ｆ（ｔ）の一例を表し、画像Ｂは顕著度算出部３０５において求めた処理対象画像Ｆ（ｔ）の顕著度Ｍ（ｔ）の一例を表し、画像Ｃは基準となる奥行モデル（Ｄｂａｓｅ）の一例を表し、画像Ｄは奥行値設定部３０６において、画像Ｃの奥行モデル（Ｄｂａｓｅ）に画像Ｂの顕著度Ｍ（ｔ）を合成して作成した奥行モデルの一例である。
【００９４】
図１９の画像Ｂにおいて、明るい部分（白）が人の注目しやすい部分（誘目性が高い）を表し、暗い部分（黒）が人の注目しにくい部分（誘目性が低い）を表す。また、図１９の画像Ｄにおいて、明るい部分が手前であることを表し、暗い部分が奥であることを表す。図１９の画像Ｄに示すように、顕著度に基づく奥行モデル作成手段は、基準となる奥行の面上（Ｄｂａｓｅ）に、スケーリングした顕著度を重畳し、注目する領域とその周辺領域との相対的な奥行の違いを強調することによって、疑似的な奥行感を知覚させるものである。
【００９５】
顕著度に基づいて奥行モデルを生成する場合には、基準となる奥行の面上に、顕著度の高い（誘目性が高い）部分の奥行が手前側に、顕著度の低い（誘目性が低い）部分の奥行が奥側となるように設定する。これにより、注目する領域とその周辺領域との相対的な奥行の違いが強調され、擬似的な奥行感を知覚させることができる。換言すれば、注目領域の顕著度が周辺領域の顕著度よりも高い場合には、周辺領域に対して相対的に奥行が手前になるように設定される。また、注目領域の顕著度が周辺領域の顕著度と同等の場合には、相対的に同じ奥行になるように設定される。また、注目領域の顕著度が周辺領域の顕著度よりも低い場合には、周辺領域に対して相対的に奥行が奥になるように設定される。
【００９６】
以上のように、奥行モデル生成部３０によれば、幾何的な奥行手掛かりにより消失点位置を推定できる場合は、消失点に基づいて画像の奥行モデルを作成することで、幾何的な奥行手掛かりのによる奥行感を強調する奥行モデルを作成することができる。また、幾何的な奥行手掛かりにより消失点位置を推定できない場合は、人の視覚特性に基づいた画像内の誘目性を表す顕著度から画像の奥行モデルを作成することで、人の注目する部分の奥行感を強調する奥行モデルを作成することができる。
【００９７】
（視点画像生成部４０について）
再び図２に戻って、図１の視点画像生成部４０は、本発明の視点画像生成手段に相当し、予め設定された想定視聴条件情報に基づいて、奥行モデルＤ（ｔ）が表す各画素の奥行値から、基準画像Ｆ（ｔ）（入力画像；処理対象画像）上の各画素と視点画像Ｆｉ（ｔ）（ｉ＝ｌ，ｒ；Ｆｒ：右眼提示画像、Ｆｌ：左眼提示画像）上の対応する画素までのずれ量を表す視差ベクトル（シフト量）を算出し、基準画像Ｆ（ｔ）上の画素と、対応する算出した視差ベクトルに基づいて、各視点画像Ｆｉ（ｔ）（ｉ＝ｌ，ｒ）を生成する（ステップＳ１５）。
【００９８】
ここで、「想定視聴条件情報」とは、視聴者に提示する立体画像（左眼提示画像、右眼提示画像）を生成するための情報であり、立体画像を表示するディスプレイの画素ピッチ（画素間距離）μ、ディスプレイの画像サイズ、視聴者と立体画像を表示するディスプレイまでの距離（想定視距離）ｆ、立体画像の奥行量を表す視差範囲（視差ベクトルの範囲）、基線長ｔ（視点画像Ｆｒ（ｔ）の仮想右視点Ｃｒと視点画像Ｆｌ（ｔ）の仮想左視点Ｃｌ間の距離）を表す。
【００９９】
この想定視聴条件情報に基づいた視点画像を生成するためのカメラ（視点）配置の一例の俯瞰図を図２０に示す。図２０の例では、平行法による立体画像の撮影を想定し、仮想右視点Ｃｒ上のカメラと仮想左視点Ｃｌ上のカメラが基準視点Ｃｃ上のカメラとｘ軸方向に平行に配置され、それぞれのカメラは３次元空間上にある注目点Ｐを観測しているとする。また基準視点Ｃｃの画像面Ｉｃ上に投影された注目点Ｐの位置をＸｃ、仮想左視点Ｃｌの画像面Ｉｌ上に投影された注目点Ｐの位置をＸｌ、仮想右視点Ｃｒの画像面Ｉｒ上に投影された注目点Ｐの位置をＸｒとする。図２０において、各視点と対応する画像面までの距離（焦点距離、あるいは視距離）ｆ、視点から注目点Ｐまでのｚ方向の距離Ｚ、基準視点Ｃｃと各仮想視点（Ｃｒ，Ｃｌ）までのｘ方向の距離ｔ／２を用いて各画像面上に投影された注目点Ｐの位置ＸｌとＸｃ，ＸｒとＸｃの幾何的な関係は、それぞれ式（２５）、（２６）によって表される。
【０１００】
【数２５】
【数２６】
【０１０１】
以上から、基準画像Ｆ（ｔ）上の画素と視点画像Ｆｉ（ｔ）（ｉ＝ｌ，ｒ）上の対応する画素までのずれ量を表す視差ベクトル（シフト量）ｄｉ（ｉ＝ｌ，ｒ）は、式（２５）、（２６）を変形した式（２７）、（２８）によって導出される。
【０１０２】
【数２７】
【数２８】
【０１０３】
なお、式（２７）、（２８）中の変数μは、画素ピッチを表す。つまり、基準画像Ｆ（ｔ）と相対奥行値である奥行モデルＤ（ｔ）と奥行モデルＤ（ｔ）を絶対奥行値Ｚへ変換する関数（Ｚ＝ｚ（Ｄ（ｔ）））が与えられれば、式（２７）、式（２８）に基づいて、各視点画像Ｆｉ（ｔ）（ｉ＝ｌ，ｒ）を生成することができる。
【０１０４】
以下では、上記考え方に基づき視点画像生成部４０について説明する。図２１は、視点画像生成部４０の構成例を示すブロック図である。また、図２２は、視点画像生成部４０の動作例を説明するためのフロー図である。また、図２３は、視点画像生成部４０における視点画像の生成例を説明するための図である。まず、図２１に示すように、視点画像生成部４０は、視差ベクトル算出部４０１、テクスチャシフト部４０２、ギャップフィリング部（オクルージョン補償部ともいう）４０３、及びフローティングウィンドウ重畳部４０４で構成されている。
【０１０５】
図２２において、図２１の視差ベクトル算出部４０１は、入力された想定視聴条件情報と奥行モデルＤ（ｔ）と奥行モデルＤ（ｔ）を絶対奥行値へ変換する関数（Ｚ＝ｚ（Ｄ（ｔ）））とに基づいて、式（２７）、式（２８）から基準画像Ｆ（ｔ）上の各画素と各視点画像Ｆｉ（ｔ）上の対応する画素までの視差ベクトルｄｉ（ｉ＝ｌ，ｒ）を算出し、その結果をテクスチャシフト部４０２へ出力する（図２２のステップＳ５１）。なお、視差ベクトルの算出方法は、式（２７）、式（２８）に基づいて各画素の視差ベクトルを算出するほかに、図２３（Ｂ）のＬＵＴに示すように、予め想定視聴条件情報に基づいて設定した奥行値（相対奥行値）から視差ベクトルを導くルックアップテーブルを用いて算出してもよい。ここで、図２３（Ｂ）中の視差ベクトル（シフト量）の開散方向、交差方向について図２４を用いて説明する。図２４において、ある注目点をＰとし、右眼から見てディスプレイ面に投影される注目点ＰをＰｒ、左眼から見てディスプレイ面に投影される注目点ＰをＰｌとする。このとき、開散方向の視差ベクトルは、図２４の（Ａ）に示すように、ある注目点Ｐは、ディスプレイ面の後方に位置し、ディスプレイ面上のＰｒからＰｌへの視差ベクトル、あるいはＰｌからＰｒへの視差ベクトルの値が正となる場合である。同様に、交差方向の視差ベクトルは、図２４の（Ｂ）に示すように、ある注目点Ｐはディスプレイ面の前方に位置し、ディスプレイ面上のＰｒからＰｌへの視差ベクトル、あるいはＰｌからＰｒへの視差ベクトルの値が負となる場合である。また、視差ベクトルの値がゼロの場合は、注目点Ｐはディスプレイ面上に位置する。
【０１０６】
続いて、図２１のテクスチャシフト部４０２は、基準画像Ｆ（ｔ）の各画素（ｘ，ｙ）を、対応する視差ベクトルｄｉ（ｉ＝ｌ，ｒ）に基づいて、各視点画像Ｆｉ（ｔ）（ｉ＝ｌ，ｒ）と対応する画素（ｕ，ｖ）の画素値として設定し、生成した視点画像をギャップフィリング部４０３へ出力する（図２２のステップＳ５２）。なお、画素値を設定するときは、視差ベクトルの値が開散方向側（例えば、図２３（Ｂ）のＬＵＴ上のｄ２）の値を有する画素からテクスチャシフトを行う。
【０１０７】
例えば、図２３（Ａ）において、基準画像ｉＦ、奥行モデルｉＤより仮想左視点の視点画像Ｆｌ（ｔ）（左眼提示画像）を生成する場合を考える。なお、奥行モデルｉＤは、白部分の奥行値がＤ１であり、黒部分の奥行値がＤ２で表されるとする。このとき、図２３（Ｂ）のＬＵＴに基づいてテクスチャシフトを行うと、まず、図２３（Ａ）の奥行値Ｄ２を有するレイヤＬ２の各画素を開散方向へｄ２だけシフトする。その後、図２３（Ａ）の奥行値Ｄ１を有するレイヤＬ１の各画素を交差方向へｄ１だけシフトすると、画面の左端／右端に位置しない欠損領域Ｇｓ１と画面の左端／右端に位置する欠損領域Ｇｌ１を有する視点画像ｏＦ１が得られる。ここで、欠損領域（オクルージョン領域）とは、図２３（Ａ）の視点画像ｏＦ１において、それぞれ基準画像上に対応する画素がないため、画素値が設定されていない領域を表す。
【０１０８】
続いて、図２１のギャップフィリング部４０３は、入力された視点画像Ｆｉ（ｔ）（ｉ＝ｌ，ｒ）において、画面端に位置しない欠損領域（例えば、図２３（Ａ）の視点画像ｏＦ１のＧｓ１）の画素を、欠損領域周辺に位置する画素群から補間し、補間後の視点画像Ｆｉ（ｔ）（ｉ＝ｌ，ｒ）をフローティングウィンドウ重畳部４０４へ出力する（図２２のステップＳ５３）。なお、欠損領域の画素の補間方法は、例えば、線形補間、メディアンフィルタ、もしくは公知の画像修復方法（例えば、非特許文献６参照）を用いる。
【０１０９】
続いて、フローティングウィンドウ重畳部４０４は、入力された視点画像Ｆｉ（ｔ）（ｉ＝ｌ，ｒ）の両方のうち、画面端に位置する欠損領域（例えば、図２３（Ａ）の視点画像ｏＦ１のＧｌ１）において、欠損領域の幅の最大値Ｗ１を取得する。続いて、それぞれの視点画像の右端、左端へ幅Ｗ２（＝αＷ１）のフローティングウィンドウ（黒帯）を挿入し、その結果を出力する（図２２のステップＳ５４）。なお、Ｗ２は、Ｗ１を所定の定数αでスケーリングした値である。また、フローティングウィンドウ挿入後の視点画像は、例えば図２３（Ａ）の視点画像ｏＦ２である。図２３（Ａ）の視点画像ｏＦ２では、画面の左端、及び右端にフローティングウィンドウｆｗ１、ｆｗ２がそれぞれ挿入されている。なお、フローティングウィンドウを挿入する理由は、左眼／右眼に提示される画像において、ある対象の位置や形状などが極端に異なる場合（例えば、生成した視点画像において画面の左端／右端に位置する欠損領域）、一つの対象として両眼視することができないことが原因で発生する左右の網膜像を交互に知覚する視野闘争を抑制するためである。
【０１１０】
このように、本実施形態によれば、幾何的な奥行手掛かりにより消失点位置を推定できる場合は、消失点に基づいて画像の奥行モデルを生成することにより、幾何的な奥行手掛かりによる奥行感を強調した立体画像を生成することができる。また、幾何的な奥行手掛かりにより消失点位置を推定できない場合は、人の視覚特性に基づいた画像内の誘目性を表す顕著度から画像の奥行モデルを生成することにより、人の注目する部分の奥行感を強調した立体画像を生成することができる。
【０１１１】
（奥行モデル生成部３０の変形例（奥行モデル生成部３０ａ））
上記実施形態において、奥行モデル生成部３０では、顕著度に基づく奥行モデル作成手段の一例として、式（２４）により各画素の顕著度Ｍ（ｘ，ｙ）をスケーリングし、基準となる奥行値Ｄｂａｓｅ（ｘ，ｙ）だけシフトした値を各画素の奥行値Ｄ（ｘ，ｙ）として設定する場合について説明したが、本発明はこれに限定されない。例えば、奥行モデル生成部３０を、図２５に示すように切替部３０１を取り除き、画像Ｆ（ｔ）が領域分割部３０３、顕著度算出部３０５へ入力されるように構成を変更してもよい。つまり、奥行モデル生成部３０ａは、切替部３０２、領域分割部３０３、距離算出部３０４、顕著度算出部３０５、および奥行値設定部３０６で構成される。
【０１１２】
この場合の顕著度に基づく奥行モデル作成手段の動作例について、図２５に基づいて説明する。なお、消失点に基づく奥行モデル作成手段の動作は、図１５のステップＳ４２〜Ｓ４５と同一の処理のため、ここでの説明を省略する。
【０１１３】
まず、図２５の顕著度算出部３０５は、図１５のステップＳ４７と同様の処理によって、処理対象画像Ｆ（ｔ）より顕著度Ｍ（ｔ）を算出し、その結果を奥行値設定部３０６へ出力する（図２６のステップＳ４７′）。続いて、図２５の領域分割部３０３は、図１５のステップＳ４４と同様の処理によって、処理対象画像Ｆ（ｔ）を領域分割し、その結果を記述した領域情報Ｒ（ｔ）を奥行値設定部３０６へ出力する（図２６のステップＳ４８′）。
【０１１４】
その後、図２５の奥行値設定部３０６は、入力された顕著度Ｍ（ｔ）と領域情報Ｒ（ｔ）に基づいて、式（２９）に示すように、領域情報Ｒ（ｔ）が示す各領域内にある画素の顕著度Ｍ（ｘ，ｙ）の平均値をスケーリングし、基準となる奥行値Ｄｂａｓｅ（ｘ，ｙ）だけシフトした値を各画素の奥行値Ｄ（ｘ，ｙ）として設定する（図２６のステップＳ４９′）。
【０１１５】
【数２９】
【０１１６】
なお、式（２９）において、Ｄｍａｘは奥行値の上限値、Ｄｍｉｎは奥行値の下限値、Ｍｍａｘは顕著度Ｍ（ｔ）の最大値、Ｍｍｉｎは顕著度Ｍ（ｔ）の最小値、Ｄｂａｓｅ（ｘ，ｙ）は各画素の奥行値の基準値（最遠景とする奥行値）を調整するための所定の定数である。ここで、変形例における顕著度に基づいた奥行モデルの一例を図２７に示す。図２７において、画像Ａは処理対象画像Ｆ（ｔ）の一例を表し、画像Ｂは領域分割部３０３において求めた処理対象画像Ｆ（ｔ）の領域分割結果（領域情報Ｍ（ｔ））の一例を表し、画像Ｃは顕著度算出部３０５において求めた処理対象画像Ｆ（ｔ）の顕著度Ｍ（ｔ）を表し、画像Ｄは基準となる奥行モデル（Ｄｂａｓｅ）の一例を表し、画像Ｅは奥行値設定部３０６において、画像Ｂの領域情報Ｒ（ｔ）と画像Ｃの顕著度Ｍ（ｔ）と画像Ｄの基準となる奥行モデル（Ｄｂａｓｅ）に基づいて求めた奥行モデルの一例である。図２７の画像Ｃにおいて、明るい部分（白）が人の注目しやすい部分（誘目性が高い）を表し、暗い部分（黒）が人の注目しにくい部分（誘目性が低い）を表す。また、図２７の画像Ｅにおいて、明るい部分が手前であることを表し、暗い部分が奥であることを表す。なお、基準となる奥行モデル（Ｄｂａｓｅ）に関して、図２７の画像Ｄでは、同一の奥行値をもつ平面を一例として挙げたが、これに限定されない。例えば、下記の式（３０）に示す平面方程式を予め定めて、各画素の座標（ｘ，ｙ）によって基準となる奥行値Ｄｂａｓｅ（ｘ，ｙ）を設定してもよい。式（３０）によって表される基準となる奥行モデルの一例を図２８の画像Ａに示す。図２８の画像Ａは、奥行が下端に近いほど手前となり上端に近いほど奥となるように式（３０）の係数ａ，ｂ，ｃを設定した基準となる奥行モデルである。図２８の画像Ａを、図２５の画像Ｄの代わりに入力した場合に作成される奥行モデルＤ（ｔ）の結果を図２８の画像Ｂに示す。
【０１１７】
【数３０】
【０１１８】
以上のように奥行モデル生成部３０ａは、幾何的な奥行手掛かりにより消失点位置を推定できない場合は、人の視覚特性に基づいた画像内の誘目性を表す顕著度と、画像の領域分割結果（領域情報）に基づいて、領域毎に均一の奥行値を設定することで、奥行の前後関係の誤りを抑制した奥行モデルを生成することができる。
【０１１９】
（シーンチェンジ検出部１０の変形例）
上記実施形態において、シーンチェンジ検出部１０では、シーンチェンジ検出に用いる画像特徴量として、輝度ヒストグラムを用いる場合について説明したが、本発明はこれに限定されない。例えば、輝度ヒストグラムの代わりに、各色成分の出現頻度を表すカラーヒストグラム、フレーム間差分の平均誤差、動きベクトルの分布を画像特徴量として用いてもよい。
【０１２０】
（エッジ検出部２１１の変形例）
上記実施形態において、エッジ検出部２１１では、画像空間において局所的にエッジ強度が極大となる点（Ｌｏｃａｌ Ｍａｘｉｍａ）をエッジ点として抽出するエッジ検出について説明したが、本発明はこれに限られない。例えば、Ｃａｎｎｙ Ｅｄｇｅ ｄｅｔｅｃｔｉｏｎなどの公知のエッジ検出手法を用いてもよい。また、微分オペレータ（エッジ検出器）として、ソーベルフィルタ（Ｓｏｂｅｌ ｆｉｌｔｅｒ）、プリューウィットフィルタ（Ｐｒｅｗｉｔｔ ｆｉｌｔｅｒ）、ＬｏＧフィルタ（Ｌａｐｒａｃｉａｎ ｏｆ Ｇａｕｓｓｉａｎ）、ＤｏＧフィルタ（Ｄｉｆｆｅｒｅｎｃｅ ｏｆ Ｇａｕｓｓｉａｎ）、などの公知の手法を用いてもよい。
【０１２１】
（消失点同定部２１３の変形例）
上記実施形態において、消失点同定部２１３では、混合モデルに用いる分布モデルとしてガウス分布を用いる場合について説明したが、本発明はこれに限られない。例えば、分布モデルには指数型分布族（ラプラス分布、ベータ分布、ベルヌーイ分布など）を用いてもよい。また、消失点同定部２１３は、混合モデルに用いるクラス数Ｋｃを予め定めた値とし、次の一例のように値を決定してもよい。消失点同定部２１３は、クラス数Ｋｃに予め定めたクラス数Ｋｃ′を設定し、Ｋ-ｍｅａｎｓ法により、クラスタリングを行う。その後、消失点同定部２１３は、クラス間距離が所定閾値以下（または未満）を満たすクラスＣｉとクラスＣｊがある場合は、クラスＣｉとクラスＣｊとを併合して、新たなクラスＣｋ′とする処理を行う。消失点同定部２１３は、この処理を、クラス数が一定値へ収束するまで繰り返すことにより、クラス数Ｋｃ（≦Ｋｃ′）を決定する。なお、消失点同定部２１３が交点の分布モデルの推定に用いる手法は、混合モデルなどのパラメトリックの推定手法に限定されず、Ｍｅａｎ−ｓｈｉｆｔ法、Ｋ−ｍｅａｎｓ法、Ｋ最近傍探索法（近似Ｋ最近傍探索法）などのノンパラメトリックの推定手法であってもよい。
【０１２２】
（領域分割部３０３の変形例）
上記実施形態において、領域分割部３０３では、特徴量空間でのクラスタリングを行う場合について説明したが、本発明はこれに限らず、画像空間でのクラスタリングを行ってもよい。画像空間でのクラスタリングとは、特徴量空間に写像せず、元の画像空間において、画素間、または領域を構成する画素群（領域）間の類似度を基に、領域分割を実施する手法である。例えば、領域分割部３０３は、（ａ）画素結合法、（ｂ）領域成長法（Ｒｅｇｉｏｎ Ｇｒｏｗｉｎｇ法ともいう）、（ｃ）領域分割統合法（Ｓｐｌｉｔ＆Ｍｅｒｇｅ法ともいう）の手法により、画像空間でのクラスタリングを行ってもよい。
【０１２３】
（顕著度算出部３０５の変形例）
上記実施形態において、顕著度算出部３０５が局所的な色差および大局的な色差に基づいて顕著度を算出する場合について説明したが、本発明はこれに限定されず、局所的な色差（式（２１）中の第一項ΔＥｌｏｃａｌ）、または、大局的な色差（式（２１）中の第二項ΔＥｇｌｏｂａｌ）のいずれか一方の指標に基づいて顕著度を算出してもよい。また、赤−緑の知覚色度ａ＊、黄−青の知覚色度ｂ＊を用いずに、明度指数であるＬ＊のみを用いて色差を算出してもよい。この場合は、人の視覚特性において、明るさの対比（コントラスト差）が大きい箇所が誘目性の高いことを表す。また、局所的な色差ΔＥｌｏｃａｌ、および大局的な色差ΔＥｇｌｏｂａｌは、ＣＩＥ方式に基づいて明度の差ΔＬ＊、クロマの差ΔＣ＊、色相の差ΔＨ＊を用いて、それぞれ式（３１）、式（３２）によって求めてもよい（例えば、非特許文献４を参照）。
【０１２４】
【数３１】
【数３２】
【０１２５】
なお、式（３１）の係数ｗ（ｕ，ｖ）は、式（１２）と同一である。また、式（３１）および式（３２）中の係数ｌ、ｃ、ｈは所定の重み係数である。また、顕著度の求め方は、色差に限定されず、色差、エッジ勾配、動きベクトルなど複数の画像特徴量に基づいて顕著度を算出してもよい（例えば、非特許文献５を参照）。
【０１２６】
（立体画像生成装置１の第一の変形例）
上記実施形態において、立体画像生成装置１のシーンチェンジ検出部１０、消失点推定部２０、及び奥行モデル生成部３０で入出力の画像サイズは、入力画像Ｆ（ｔ）と同一の画像サイズと仮定して説明してきたが、これに限定されない。例えば、演算量の低減、メモリサイズの低減を図るために、シーンチェンジ検出部１０、消失点推定部２０、及び奥行モデル生成部３０に入力する画像を、予め所定の画像サイズへ縮小し、奥行モデル生成部３０より出力される奥行モデルを入力画像サイズへ拡大する処理を追加して実施してもよい。つまり、立体画像生成装置１の第一の変形例（立体画像生成装置２）は、図２９に示すように、縮小処理部５０、シーンチェンジ検出部１０、消失点推定部２０、奥行モデル生成部３０、拡大処理部６０、視点画像生成部４０によって構成される。縮小処理部５０は、本発明の縮小画像生成手段に相当し、入力画像Ｆ（ｔ）から所定の画像サイズの縮小画像を生成する。そして、生成された縮小画像は、消失点推定部２０と奥行モデル生成部３０に入力される。拡大処理部６０は、本発明の拡大奥行モデル生成手段に相当し、奥行モデル生成部３０により生成された縮小画像の奥行モデルから入力画像Ｆ（ｔ）と同一画像サイズの拡大奥行モデルを生成する。
【０１２７】
上記立体画像生成装置２の動作例について、図３０に基づいて説明する。なお、図２９のシーンチェンジ検出部１０、消失点推定部２０、奥行モデル生成部３０、及び視点画像生成部４０の各動作（図３０のステップＳ６３、ステップＳ６４、ステップＳ６５、ステップＳ６７）はそれぞれ前述の図１に示した立体画像生成装置１のシーンチェンジ検出部１０、消失点推定部２０、奥行モデル推定部３０、及び視点画像生成部４０の各動作（前述の図２のステップＳ１２、ステップＳ１３、ステップＳ１４、ステップＳ１５）と同一であるため説明を省略する。
【０１２８】
図３０において、まず、図２９の立体画像生成装置２は、入力された時刻ｔの画像を縮小処理部５０、及び視点画像生成部４０へ出力する（図３０のステップＳ６１）。
【０１２９】
図２９の縮小処理部５０は、入力された処理対象画像Ｆ（ｔ）を予め定められた画像サイズへ縮小し、縮小画像Ｆｄ（ｔ）をシーンチェンジ検出部１０、消失点推定部２０、及び奥行モデル生成部３０へ出力する（図３０のステップＳ６２）。なお、画像の縮小は、例えば、ニアレストネイバ法、バイリニア法、バイキュービック法のいずれかの方法を用いて行う。
【０１３０】
図２９の拡大処理部６０は、入力された奥行モデルＤ（ｔ）を入力画像Ｆ（ｔ）の画像サイズへ拡大し、拡大奥行モデルＤｕ（ｔ）を視点画像生成部４０へ出力する（図３０のステップＳ６６）。なお、奥行モデルの拡大は、例えば、ニアレストネイバ法、バイリニア法、バイキュービック法のいずれかを用いて行う。
【０１３１】
上記立体画像生成装置２によれば、入力画像より小さい画像サイズの縮小画像を用いてシーンチェンジ検出処理、消失点推定処理、奥行モデル生成処理を行うため、図１の立体画像生成装置１に比べて、メモリサイズの低減、演算量の低減を図ることができる。
【０１３２】
（立体画像生成装置１の第二の変形例）
上記実施形態において、立体画像生成装置１では、幾何的な奥行手掛かりにより消失点位置を推定できる場合は、消失点に基づき画像の奥行モデルを生成し、幾何的な奥行手掛かりにより消失点位置を推定できない場合は、人の視覚特性に基づいた画像内の誘目性を表す顕著度に基づいて画像の奥行モデルを生成している。そのため、奥行モデル生成手段が切り替わる前後のフレームにおいて、時間方向に奥行モデルが異なるため、視差（奥行）の変化が大きくなると考えられる。また、同様にシーンチェンジが発生する前後のフレームにおいても、時間方向に奥行モデルが異なるため、視差（奥行）の変化が大きくなると考えられる。そこで、立体画像生成装置１の第二の変形例（図３１の立体画像生成装置３）では、時間方向の視差の変化を低減するために、奥行モデルを時空間方向に平滑化する時空間方向平滑化部７０を、奥行モデル生成部３０と視点画像生成部４０の間に設ける。つまり、立体画像生成装置３は、図３１に示すように、シーンチェンジ検出部１０、消失点推定部２０、奥行モデル生成部３０、時空間方向平滑化部７０、及び視点画像生成部４０によって構成される。この時空間方向平滑化部７０は、本発明の時空間方向平滑化手段に相当し、図３２に示すように、空間方向平滑化部７０１、時間方向平滑化部７０２、及びバッファ７０３によって構成される。時空間方向平滑部７０は、奥行モデル生成部３０により生成した処理対象画像Ｆ（ｔ）の奥行モデルＤ（ｔ）を空間方向に平滑化し、空間方向に平滑化された画像Ｆ（ｔ）の奥行モデルＤｓ（ｔ）と、画像Ｆ（ｔ）よりも過去の比較対象画像Ｆ（ｔ−１）の時空間方向に平滑化された奥行モデルＤｔ（ｔ−１）とに基づいて、画像Ｆ（ｔ）の奥行モデルＤｓ（ｔ）を時間方向に平滑化し、画像Ｆ（ｔ）の時空間方向に平滑化された奥行モデルＤｔ（ｔ）を生成する。
【０１３３】
上記立体画像生成装置３の動作例について、図３３、図３４に基づいて説明する。なお、図３１のシーンチェンジ検出部１０、消失点推定部２０、奥行モデル生成部３０、及び視点画像生成部４０の各動作（図３３のステップＳ７２、ステップＳ７３、ステップＳ７４、ステップＳ７６）はそれぞれ前述の図１に示した立体画像生成装置１のシーンチェンジ検出部１０、消失点推定部２０、奥行モデル推定部３０、及び視点画像生成部４０の各動作（前述の図２のステップＳ１２、ステップＳ１３、ステップＳ１４、ステップＳ１５）と同一であるため説明を省略する。
【０１３４】
（時空間方向平滑化部７０について）
図３１の時空間方向平滑化部７０は、入力された処理対象画像Ｆ（ｔ）の奥行モデルＤ（ｔ）に関して、時空間方向に平滑化処理を行い、その結果（平滑化奥行モデルＤｔ（ｔ）を出力する（図３３のステップＳ７５）。
【０１３５】
具体的には、図３２の空間方向平滑部７０１は、水平方向、垂直方向、または垂直方向、水平方向の順に１次元の平滑化フィルタにより空間方向に奥行モデルＤ（ｔ）を平滑化し、その結果（奥行モデルＤｓ（ｔ））を時間方向平滑部７０２へ出力する（図３４のステップＳ８１）。なお、１次元の平滑化フィルタは、例えば、１次元のガウシアンフィルタを用いる。
【０１３６】
図３２の時間方向平滑部７０２は、入力された空間方向に平滑化された奥行モデルＤｓ（ｔ）と、バッファ７０３に記憶された前フレームの平滑化奥行モデルＤｔ（ｔ−１）とに基づいて、下記の式（３３）により平滑化奥行モデルＤｔ（ｔ）を生成し、その結果をバッファ７０３、及び外部へ出力する（図３４のステップＳ８２）。なお、式（３３）中の係数αは、０〜１の間の所定の値である。
【０１３７】
【数３３】
【０１３８】
図３２のバッファ７０３は、前フレームの平滑化奥行モデルＤｔ（ｔ−１）を削除し、入力された現フレームの平滑化奥行モデルＤｔ（ｔ）を記憶する（図３４のステップＳ８３）。
【０１３９】
上記立体画像生成装置３によれば、時空間方向に奥行モデルを平滑化することにより、奥行モデル生成手段が切り替わる前後のフレーム、及びシーンチェンジが発生する前後のフレームにおいて、視差（奥行）の変化を低減することができる。
【０１４０】
以上、本発明に係る立体画像生成装置の各実施形態を中心に説明してきたが、本発明は、立体画像生成装置１による立体画像生成方法の形態とすることもできる。また、この立体画像生成方法をコンピュータに実行させるためのプログラムの形態としてもよい。
【０１４１】
つまり、上述した実施形態における立体画像生成装置１の一部をコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、立体画像生成装置１に内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【０１４２】
また、上述した実施形態における立体画像生成装置１の一部、または全部を、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現しても良い。立体画像生成装置１の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化しても良い。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。
【０１４３】
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
【符号の説明】
【０１４４】
１、２、３…立体画像生成装置、１０…シーンチェンジ検出部、２０…消失点推定部、２１…フレーム内消失点推定部、２２…フレーム間消失点推定部、３０…奥行モデル生成部、４０…視点画像生成部、５０…縮小処理部、６０…拡大処理部、７０…時空間方向平滑化部、１０１…輝度ヒストグラム生成部、１０２，２０３，２０４、７０３…バッファ、１０３…ヒストグラム類似度算出部、１０４…シーンチェンジ判定部、２０１，２０２，３０１，３０２…切替部、２１１…エッジ検出部、２１２…直線検出部、２１３…消失点同定部、２２１…特徴点検出部、２２２…対応点算出部、２２３…変換行列算出部、２２４…消失点位置算出部、３０３…領域分割部、３０４…距離算出部、３０５…顕著度算出部、３０６…奥行値設定部、４０１…視差ベクトル算出部、４０２…テクスチャシフト部、４０３…ギャップフィリング部、４０４…フローティングウィンドウ重畳部、７０１…空間方向平滑部、７０２…時間方向平滑化部。
【技術分野】
【０００１】
本発明は、２Ｄ画像に対して両眼立体情報を付加し、３Ｄ画像を生成する立体画像生成装置、立体画像生成方法、プログラム、及び記録媒体に関する。
【背景技術】
【０００２】
近年、３ＤＴＶ（3D Television）の普及と３Ｄデジタル放送の開始により、家庭において３Ｄ映像を視聴する環境が整いつつある。しかし、３Ｄ映像の再生環境の整備に伴い、３Ｄ映像のコンテンツ不足が指摘されている。こうしたコンテンツ不足の解消へのアプローチとして、２Ｄ画像に対して人工的に両眼立体情報を付加し、３Ｄ画像を生成する２Ｄ／３Ｄ変換（2D to 3D conversion）が注目されている。
【０００３】
２Ｄ／３Ｄ変換を実現する手法として、例えば、特許文献１に示す手法が知られている。この特許文献１には、基本となる３種類の画像の奥行値を示す基本奥行モデルを備え、入力画像のパターンによって、３種類の基本奥行モデルの合成比を変えて、入力画像の奥行モデルを生成し、生成した奥行モデルと入力画像とから、左眼／右眼へ提示する画像を生成する立体画像生成装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第４２１４９７６号明細書（特開２００５−１５１５３４号公報）
【非特許文献】
【０００５】
【非特許文献１】J. Shi and C. Tomasi, “Good Features to Track,” 9th IEEE Conference on Computer Vision and Pattern Recognition, June 1994
【非特許文献２】B. D. Lucas and T. Kanade, “An iterative image registration technique with an application to stereo vision,” Proceedings of the 1981 DARPA Imaging Understanding Workshop (pp.121-130), 1981
【非特許文献３】ＣＧ−ＡＲＴＳ協会，ディジタル画像処理 第２版，2009
【非特許文献４】太田登 著, 色彩工学 第２版, 東京電機大学出版局，2001
【非特許文献５】L. Itti, C. Koch, E. Niebur, “A Model of Saliency-Based Visual Attention for Rapid Scene Analysis,” IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 20, No.11, pp.1254-1259, Nov 1998.
【非特許文献６】A. Telea, “An image inpainting technique based on the fast marching method,” Journal of Graphics Tools 9 (2004), pp.25-36.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に開示されている立体画像生成装置では、想定した基本奥行モデルに合致しない画像の奥行モデルを表現することが困難である。例えば、画面外に消失点がある場合、３種類の基本奥行モデルの合成比を変更しても表現することができないという問題がある。このため、自然な奥行感のある立体映像を生成することができなかった。
【０００７】
本発明は、上述のような問題点を解決するためになされたものであって、幾何的な奥行手掛かりにより消失点位置を推定できる場合は、消失点に基づいて画像の奥行モデルを生成し、幾何的な奥行手掛かりにより消失点位置を推定できない場合は、人の視覚特性に基づいた画像内の誘目性を表す顕著度に基づいて画像の奥行モデルを生成することにより、より自然な奥行感のある立体画像を生成可能とする立体画像生成装置、立体画像生成方法、プログラム、及び記録媒体を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明の第１の技術手段は、２Ｄ画像に両眼立体情報を付加し、３Ｄ画像を生成する立体画像生成装置であって、処理対象画像から消失点を推定する消失点推定手段と、該消失点推定手段により消失点が推定できたか否かに基づいて異なる奥行モデルを生成する奥行モデル生成手段と、該奥行モデル生成手段により生成した奥行モデルと前記処理対象画像と想定視聴条件情報とに基づいて、右眼提示画像と左眼提示画像を生成する視点画像生成手段とを備え、前記奥行モデル生成手段は、前記消失点推定手段により消失点が推定できた場合、前記消失点に基づいて奥行モデルを生成し、また、前記消失点推定手段により消失点が推定できなかった場合、前記処理対象画像内の各画素の顕著度に基づいて奥行モデルを生成することを特徴としたものである。
【０００９】
第２の技術手段は、第１の技術手段において、処理対象画像から所定の画像サイズの縮小画像を生成する縮小画像生成手段を備え、前記縮小画像を、前記消失点推定手段と前記奥行モデル生成手段の入力とし、該奥行モデル生成手段により生成した前記縮小画像の奥行モデルから前記処理対象画像と同一画像サイズの拡大奥行モデルを生成する拡大奥行モデル生成手段を備えることを特徴としたものである。
【００１０】
第３の技術手段は、第１の技術手段において、前記奥行モデル生成手段により生成した処理対象画像の奥行モデルを空間方向に平滑化し、該空間方向に平滑化された前記処理対象画像の奥行モデルと、該処理対象画像よりも過去の比較対象画像の時空間方向に平滑化された奥行モデルとに基づいて、前記処理対象画像の奥行モデルを時間方向に平滑化し、前記処理対象画像の時空間方向に平滑化された奥行モデルを生成する時空間方向平滑化手段を備えることを特徴としたものである。
【００１１】
第４の技術手段は、第１〜第３のいずれか１の技術手段において、前記想定視聴条件情報は、前記３Ｄ画像を表示するディスプレイの画素ピッチ、該ディスプレイの画像サイズ、視聴者から前記ディスプレイまでの距離、前記３Ｄ画像の奥行量を表す視差範囲、左右の仮想視点間の距離である基線長を含むことを特徴としたものである。
【００１２】
第５の技術手段は、第１〜第４のいずれか１の技術手段において、前記処理対象画像内の各画素の顕著度は、注目画素とその周辺画素との色差が大きい箇所、あるいは、注目画素と画像全体との色差が大きい箇所、あるいは、注目画素を含む局所領域とその周辺領域との色差が大きい箇所ほど高く算出されることを特徴としたものである。
【００１３】
第６の技術手段は、第５の技術手段において、前記奥行モデル生成手段は、前記消失点推定手段により消失点が推定できなかった場合、前記処理対象画像内の各画素の顕著度が高い箇所が手前側になるように奥行モデルを生成することを特徴としたものである。
【００１４】
第７の技術手段は、第１〜第６のいずれか１の技術手段において、前記消失点推定手段は、前記処理対象画像内の直線情報から該処理対象画像の消失点を推定するフレーム内消失点推定手段と、前記処理対象画像と該処理対象画像よりも過去の比較対象画像と該比較対象画像における消失点の位置とに基づいて、前記処理対象画像の消失点を推定するフレーム間消失点推定手段とを備えたことを特徴としたものである。
【００１５】
第８の技術手段は、第７の技術手段において、前記処理対象画像と前記比較対象画像との間でシーンチェンジがあったか否かを検出するシーンチェンジ検出手段を備え、該シーンチェンジ検出手段によりシーンチェンジが検出された場合、前記フレーム内消失点推定手段が選択され、前記シーンチェンジ検出手段によりシーンチェンジが検出されない場合、前記フレーム間消失点推定手段が選択されることを特徴としたものである。
【００１６】
第９の技術手段は、第８の技術手段において、前記比較対象画像の消失点の位置を含む消失点情報を記憶する記憶手段を備え、該記憶手段に前記比較対象画像の消失点情報が記憶されている場合、前記フレーム間消失点推定手段が選択され、前記記憶手段に前記比較対象画像の消失点情報が記憶されていない場合、前記フレーム内消失点推定手段が選択されることを特徴としたものである。
【００１７】
第１０の技術手段は、第７〜第９のいずれか１の技術手段において、前記比較対象画像は、前記処理対象画像の１つ前の画像であることを特徴としたものである。
【００１８】
第１１の技術手段は、２Ｄ画像に両眼立体情報を付加し、３Ｄ画像を生成する立体画像生成装置による立体画像生成方法であって、前記立体画像生成装置が、処理対象画像から消失点を推定する消失点推定ステップと、該消失点推定ステップにて消失点が推定できたか否かに基づいて異なる奥行モデルを生成する奥行モデル生成ステップと、該奥行モデル生成ステップにて生成した奥行モデルと前記処理対象画像と想定視聴条件情報とに基づいて、右眼提示画像と左眼提示画像を生成する視点画像生成ステップとを備え、前記奥行モデル生成ステップは、前記消失点推定ステップにて消失点が推定できた場合、前記消失点に基づいて奥行モデルを生成し、また、前記消失点推定ステップにて消失点が推定できなかった場合、前記処理対象画像内の各画素の顕著度に基づいて奥行モデルを生成することを特徴としたものである。
【００１９】
第１２の技術手段は、コンピュータに、第１１の技術手段における立体画像生成方法を実行させるためのプログラムである。
【００２０】
第１３の技術手段は、第１２の技術手段におけるプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【発明の効果】
【００２１】
本発明によれば、幾何的な奥行手掛かりにより消失点位置を推定できる場合は、消失点に基づいて画像の奥行モデルを生成することにより、幾何的な奥行手掛かりによる奥行感を強調した立体画像を生成することができる。
また、本発明によれば、幾何的な奥行手掛かりにより消失点位置を推定できない場合は、人の視覚特性に基づいた画像内の誘目性を表す顕著度から画像の奥行モデルを生成することにより、人の注目する部分の奥行感を強調した立体画像を生成することができる。
【図面の簡単な説明】
【００２２】
【図１】本発明の実施形態に係る立体画像生成装置の構成例を示すブロック図である。
【図２】本発明の実施形態に係る立体画像生成装置のフレーム単位の動作例を説明するためのフロー図である。
【図３】輝度ヒストグラムに基づくシーンチェンジ検出の概略図である。
【図４】本発明の実施形態に係るシーンチェンジ検出部の構成例を示すブロック図である。
【図５】本発明の実施形態に係るシーンチェンジ検出部の動作例を説明するためのフロー図である。
【図６】本発明の実施形態に係る消失点推定部の構成例を示すブロック図である。
【図７】本発明の実施形態に係る消失点推定部の動作例を説明するためのフロー図である。
【図８】本発明の実施形態に係るフレーム内消失点推定部の動作例を説明するためのフロー図である。
【図９】図８のフローに対応した画像の一例を示す図である。
【図１０】ハフ変換による直線検出を説明するための概略図である。
【図１１】本発明の実施形態に係るフレーム間消失点推定部の動作例を説明するためのフロー図である。
【図１２】図１１のフローに対応した画像の一例を示す図である。
【図１３】同一シーン内において、フレーム内消失点推定手段、フレーム間消失点推定手段の適用される範囲の一例を示す図である。
【図１４】本発明の実施形態に係る奥行モデル生成部の構成例を示すブロック図である。
【図１５】本発明の実施形態に係る奥行モデル生成部の動作例を説明するためのフロー図である。
【図１６】本発明の実施形態に係る画面内に消失点がある場合の基本奥行モデルの一例を示す図である。
【図１７】本発明の実施形態に係る画面外に消失点がある場合の基本奥行モデルの一例を示す図である。
【図１８】本発明の実施形態に係る消失点に基づいた奥行モデルを求める過程の一例を示す図である。
【図１９】本発明の実施形態に係る顕著度に基づいた奥行モデルを求める過程の一例を示す図である。
【図２０】視点画像を生成するためのカメラ（視点）配置の俯瞰図である。
【図２１】本発明の実施形態に係る視点画像生成部の構成例を示すブロック図である。
【図２２】本発明の実施形態に係る視点画像生成部の動作例を説明するためのフロー図である。
【図２３】本発明の実施形態に係る視点画像を生成する過程の一例を示す図である。
【図２４】交差方向、及び開散方向の視差ベクトルを示す図である。
【図２５】本発明の実施形態に係る奥行モデル生成部の変形例を示すブロック図である。
【図２６】本発明の実施形態に係る奥行モデル生成部の変形例における顕著度に基づく奥行モデル作成手段の動作例を説明するためのフロー図である。
【図２７】本発明の実施形態に係る顕著度に基づいた奥行モデル（変形例）を求める過程の一例を示す図である。
【図２８】本発明の実施形態に係る顕著度に基づいた奥行モデル（変形例）において、基準となる奥行モデルの変形例の一例と対応する奥行モデルの一例を示す図である。
【図２９】本発明の実施形態に係る立体画像生成装置（第一の変形例）の構成例を示すブロック図である。
【図３０】本発明の実施形態に係る立体画像生成装置（第の一変形例）のフレーム単位の動作例を説明するためのフロー図である。
【図３１】本発明の実施形態に係る立体画像生成装置（第二の変形例）の構成例を示すブロック図である。
【図３２】本発明の実施形態に係る立体画像生成装置（第二の変形例）のフレーム単位の動作例を説明するためのフロー図である。
【図３３】本発明の実施形態に係る時空間方向平滑化部の構成例を示すブロック図である。
【図３４】本発明の実施形態に係る時空間方向平滑化部の動作例を説明するためのフロー図である。
【発明を実施するための形態】
【００２３】
以下、図面を参照しながら本発明の実施形態について詳しく説明する。なお、図面において同じ機能を有する部分については同じ符号を付し、繰り返しの説明は省略する。
図１は、本発明に係る立体画像生成装置の概略構成例を示すブロック図である。図中、１は立体画像生成装置を示す。立体画像生成装置１は、シーンチェンジ検出部１０、消失点推定部２０、奥行モデル生成部３０、及び視点画像生成部４０を備えている。また、図２は、本発明に係る立体画像生成装置１のフレーム単位の動作例を説明するためのフロー図である。
【００２４】
図２において、まず、図１の立体画像生成装置１は、入力された時刻ｔの画像（以降、処理対象画像Ｆ（ｔ）ともいう）をシーンチェンジ検出部１０、消失点推定部２０、奥行モデル生成部３０、及び視点画像生成部４０へ出力する（図２のステップＳ１１）。
【００２５】
（シーンチェンジ検出部１０について）
図１のシーンチェンジ検出部１０は、本発明のシーンチェンジ検出手段に相当し、入力された処理対象画像Ｆ（ｔ）と、処理対象画像Ｆ（ｔ）より一つ前に入力された画像（以降、比較対象画像Ｆ（ｔ−１）ともいう）から所定の画像特徴量を算出し、算出した画像特徴量の類似度を比較して、時系列に連続する画像の区分点（シーンチェンジ）を検出し、処理対象画像Ｆ（ｔ）においてシーンチェンジの有無を表すシーンチェンジ情報Ｓ（ｔ）を消失点推定部２０、および奥行モデル生成部３０へ出力する（図２のステップＳ１２）。ここで、所定の画像特徴量の一例として、画像の輝度値の出現頻度を表す輝度ヒストグラムに基づくシーンチェンジ検出について図３〜図５に基づき説明する。
【００２６】
図３に示すように、輝度ヒストグラムに基づくシーンチェンジ検出は、処理対象画像Ｆ（ｔ）と比較対象画像Ｆ（ｔ−１）からそれぞれの輝度ヒストグラムＨＬ（ｔ）とＨＬ（ｔ−１）を算出し、算出した輝度ヒストグラムの類似度ｄ（ＨＬ（ｔ）, ＨＬ（ｔ−１））と所定の閾値とを比較して、処理対象画像Ｆ（ｔ）においてシーンチェンジの有無を判定するというものである。
【００２７】
図４に示すように、シーンチェンジ検出部１０は、輝度ヒストグラム生成部１０１、バッファ１０２、ヒストグラム類似度算出部１０３、およびシーンチェンジ判定部１０４で構成されている。図５は、シーンチェンジ検出部１０の動作例を説明するためのフロー図である。図５において、図４の輝度ヒストグラム生成部１０１は、入力された処理対象画像Ｆ（ｔ）から輝度情報を取得し、取得した輝度情報から輝度値の出現頻度を表す輝度ヒストグラムＨＬ（ｔ）を算出し、その算出結果（輝度ヒストグラムＨＬ（ｔ））をバッファ１０２、ヒストグラム類似度算出部１０３へ出力する（図５のステップＳ２１）。
【００２８】
図４のバッファ１０２は、処理対象画像Ｆ（ｔ）の１つ後の画像Ｆ（ｔ＋１）におけるシーンチェンジ検出のために、処理対象画像Ｆ（ｔ）の輝度ヒストグラムＨＬ（ｔ）を記憶する（図５のステップＳ２２）。図４のヒストグラム類似度算出部１０３は、入力された処理対象画像Ｆ（ｔ）の輝度ヒストグラムＨＬ（ｔ）と、バッファ１０２より読みだした比較対象画像Ｆ（ｔ−１）の輝度ヒストグラムＨＬ（ｔ−１）から類似度ｄ（ＨＬ（ｔ）, ＨＬ（ｔ−１））を式（１）により算出し、その算出結果をシーンチェンジ判定部１０４へ出力する（図５のステップＳ２３）。
【００２９】
【数１】
【００３０】
ここで、式（１）において、Ｗは画像の１ライン毎のピクセル数を表し、Ｈは画像のライン数を表し、ｖは輝度値を表し、Ｖは輝度値の階調数を表し、ＨＬ（ｖ｜ｔ）は時刻ｔにおける画像Ｆ（ｔ）上の輝度値ｖの出現頻度を表す。また、式（１）において、類似度ｄ（ＨＬ（ｔ）, ＨＬ（ｔ−１））のとる値の範囲は０〜２となり、値が０に近いほどヒストグラムの形状が似ており、値が２に近いほどヒストグラムの形状が異なることを表す。
【００３１】
図４のシーンチェンジ判定部１０４は、入力されたヒストグラムの類似度ｄ（ＨＬ（ｔ）, ＨＬ（ｔ−１））と、所定の閾値ｄｔｈとで閾値判定を行い、式（２）により処理対象画像Ｆ（ｔ）においてシーンチェンジの有無を表すシーンチェンジ情報Ｓ（ｔ）を設定し、外部へ出力する（図５のステップＳ２４）。
【００３２】
【数２】
【００３３】
つまり、シーンチェンジ判定部１０４は、類似度ｄ（ＨＬ（ｔ）, ＨＬ（ｔ−１））が閾値ｄｔｈより小さい場合、シーンチェンジが無いと判定し、シーンチェンジ情報Ｓ（ｔ）に「０」を設定する。それ以外の場合は、シーンチェンジが有ると判定し、シーンチェンジ情報Ｓ（ｔ）に「１」を設定する。
【００３４】
以上、シーンチェンジ検出部１０によれば、処理対象画像Ｆ（ｔ）と、比較対象画像Ｆ（ｔ−１）から所定の画像特徴量を算出し、算出した画像特徴量の類似度を比較することで、時系列に連続する画像の区分点（シーンチェンジ）を検出することができる。
【００３５】
（消失点推定部２０について）
図１に戻って、消失点推定部２０は、本発明の消失点推定手段に相当し、入力された処理対象画像Ｆ（ｔ）のシーンチェンジ情報Ｓ（ｔ）と、消失点推定部２０の内部で記憶している一つ前の消失点情報ＶＰ（ｔ−１）に基づいて消失点の推定手段（画像内の直線から消失点位置を推定するフレーム内消失点推定手段、画像間の特徴点の対応関係と前フレームの消失点位置から現フレームにおける消失点位置を推定するフレーム間消失点推定手段）を選択し、選択した消失点推定手段により入力された処理対象画像Ｆ（ｔ）から消失点の位置を推定して、その結果を記述した消失点情報ＶＰ（ｔ）を奥行モデル生成部３０へ出力する（図２のステップＳ１３）。ここで「消失点」とは、３次元空間において平行な２直線を平面に射影（投影）すると、それらの線が必ず１点に収束する点のことである。
【００３６】
続いて、本実施形態における消失点推定部２０について詳細に説明する。図６に示すように、消失点推定部２０は、切替部２０１，切替部２０２、フレーム内消失点推定部２１、フレーム間消失点推定部２２、バッファ２０３、およびバッファ２０４で構成されている。また、図６のフレーム内消失点推定部２１は、エッジ検出部２１１、直線検出部２１２、および消失点同定部２１３で構成されている。このフレーム内消失点推定部２１は、本発明のフレーム内消失点推定手段に相当し、処理対象画像Ｆ（ｔ）内の直線情報から処理対象画像Ｆ（ｔ）の消失点を推定する。また、図６のフレーム間消失点推定部２２は、特徴点検出部２２１、対応点算出部２２２、変換行列算出部２２３、および消失点位置算出部２２４で構成されている。このフレーム間消失点推定部２２は、本発明のフレーム間消失点推定手段に相当し、処理対象画像Ｆ（ｔ）と処理対象画像Ｆ（ｔ）よりも過去の比較対象画像Ｆ（ｔ−１）と比較対象画像Ｆ（ｔ−１）における消失点の位置とに基づいて、処理対象画像Ｆ（ｔ）の消失点を推定する。図７は、消失点推定部２０の動作例を説明するためのフロー図である。
【００３７】
図７において、図６の消失点推定部２０は、入力されたシーンチェンジ情報Ｓ（ｔ）、およびバッファ２０４より読み出した一つ前の消失点情報ＶＰ（ｔ−１）に基づいて消失点推定手段を選択する（図７のステップＳ３１）。具体的には、シーンチェンジが有る場合（「Ｓ（ｔ）＝１」）、もしくは、消失点情報ＶＰ（ｔ−１）が、前フレームに消失点が無いことを示す場合、つまり、消失点情報ＶＰ（ｔ−１）が「vp_num=0」の場合（図７のステップＳ３１においてＹｅｓ）、図６の切替部２０１は画像の入力先を、図６の切替部２０２は消失点情報の出力元を、フレーム内消失点推定部２１へそれぞれ切り替え（図７のステップＳ３２）、その後、フレーム内消失点推定部２１は、画像内の直線から消失点位置を推定し、その結果（消失点情報ＶＰ（ｔ））を出力する（図７のステップＳ３３）。
【００３８】
（フレーム内消失点推定部２１について）
ここで、フレーム内消失点推定部２１について詳細に説明する。図８は、フレーム内消失点推定部２１の動作例を説明するためのフロー図である。図９は、図８のフローに対応した画像例を示す図である。図８のステップＳ３３１において、図６のエッジ検出部２１１は、入力された処理対象画像Ｆ（ｔ）（図９（Ａ）を参照）から直線検出に用いるエッジ点情報Ｅｄｇｅ（ｔ）を算出する。具体的には、まず、色成分（例えば、ＲＧＢ（Ｒｅｄ（赤）、Ｇｒｅｅｎ（緑）、Ｂｌｕｅ（青）））毎に微分オペレータを適用し、ｘ方向、ｙ方向における各色成分ｉの勾配ベクトルＧｉ（ｘ，ｙ｜ｔ）＝（ΔＧｉｘ（ｔ）, ΔＧｉｙ（ｔ））（ｉ＝１，２，３）を算出する。なお、ｉ＝１、２、３は、それぞれ、Ｒ成分、Ｇ成分、Ｂ成分である。
【００３９】
続いて、エッジ検出部２１１は、式（３）の演算を、座標（ｘ，ｙ）の画素毎に行うことで、エッジ強度Ｅ（ｘ，ｙ｜ｔ）を算出する。
【００４０】
【数３】
【００４１】
続いて、エッジ検出部２１１は、式（４）の演算を、座標（ｘ，ｙ）の画素毎に行うことで、エッジ強度Ｅ（ｘ，ｙ｜ｔ）から局所的にエッジ強度が極大値となる座標をエッジ点として抽出し、その結果を記述したエッジ点情報Ｅｄｇｅ（ｔ）を直線検出部２１２へ出力する。
【００４２】
【数４】
【００４３】
つまり、エッジ検出部２１１は、座標（ｘ，ｙ）を中心とした窓サイズＷ１×Ｗ２の範囲内で、エッジ強度Ｅ（ｘ，ｙ｜ｔ）が極大値となる場合（Ｌｏｃａｌ Ｍａｘｉｍａ）、エッジ点Ｅｄｇｅ（ｘ，ｙ｜ｔ）に「１」、それ以外はエッジ点Ｅｄｇｅ（ｘ，ｙ｜ｔ）に「０」を設定する。ここで、Ｗ１はｘ方向の窓のサイズ、Ｗ２はｙ方向の窓のサイズを表す。
【００４４】
図８のステップＳ３３２に進んで、図６の直線検出部２１２は、入力されたエッジ点情報Ｅｄｇｅ（ｔ）にハフ変換を適用して直線情報Ｌ（ｔ）（図９（Ｂ）を参照）を取得する。ここで、ハフ変換による直線検出に関して図１０に基づいて説明する。なお、図１０（Ａ）において、ある直線Ｌ上にある特徴点Ａ，Ｂ，Ｃを、エッジ検出部２１１において得られた「Ｅｄｇｅ（ｘ，ｙ|ｔ）＝１」となるエッジ点とする。まず、ハフ変換では、図１０（Ａ）に示す画像空間上の直線Ｌを極座標表現（ρ、θ）を用いて表現する。ρは画像空間の原点から直線Ｌへ引いた垂線の距離を表し、θはその垂線が画像空間のｘ軸となす角度を表す。なお、ρの範囲はρ≧０であり、θの範囲は０≦θ<２πである。
【００４５】
図１０（Ａ）の画像空間上にある特徴点Ａ，Ｂ，Ｃを通過する直線Ｌは、パラメータ（ρ0,θ0）を用いて式（５）によって表される。
【００４６】
【数５】
【００４７】
また、特徴点Ａ，Ｂ，Ｃをそれぞれ通過する直線群は、パラメータ空間へ写像すると、図１０（Ｂ）においてパラメータ空間上の曲線ａ，曲線ｂ，曲線ｃとして表現される。つまり、パラメータ空間上で、曲線ａ、曲線ｂ、曲線ｃの交点（ρ0,θ0）が、特徴点Ａ，Ｂ，Ｃを通過する直線Ｌとして検出される。
【００４８】
以上のように「Ｅｄｇｅ(ｘ，ｙ|ｔ)＝１」となるエッジ点に対して、ハフ変換を適用し、パラメータ空間上で所定の閾値以上の曲線が交差し、かつ交差数の多い順にＮＬ個の極座標（ρｓ，θｓ）（ｓ＝１，・・・，ＮＬ）を直線Ｌｓとして抽出し、その極座標（ρｓ，θｓ）を記述したデータを直線情報Ｌ（ｔ）とする。なお、ＮＬの範囲は０≦ＮＬ≦ＮＬｍａｘである。ここで、ＮＬｍａｘは抽出する直線数の上限値を表す所定の定数である。また、上記直線抽出の条件を満たさず、直線が検出されない場合は、ＮＬ＝０となる。
【００４９】
再び図８に戻って、図６の消失点同定部２１３は、入力された直線情報Ｌ（ｔ）から直線数ＮＬを取得し、直線数ＮＬと所定の閾値と大小関係を比較し、ステップＳ３３４〜ステップＳ３３５の処理によって消失点の位置推定を行うか否かを決定する（ステップＳ３３３）。直線数ＮＬが閾値ＴｈＬ（≧２）より小さい場合（または以下の場合）（ステップＳ３３３においてＮｏ）、消失点の推定に十分な幾何的な奥行手掛かりが無いと判定し、ステップＳ３３６へ進む。また、直線数ＮＬが閾値ＴｈＬ（≧２）以上の場合（または大きい場合）（ステップＳ３３３においてＹｅｓ）、消失点同定部２１３は、消失点の推定に十分な幾何的な奥行手掛かりがあると判定し、入力された直線情報Ｌ（ｔ）から、直線を表す角度θに関して式（６）、式（７）の条件を満たす直線Ｌｉ(ｉ=1,・・・, ＮＬ)と直線Ｌｊ (ｊ=1,・・・, ＮＬ)を選び、その交点Ｐｉｊ(ｉ≠ｊ）を式（８）の行列演算によって算出し、交点情報を取得する（ステップＳ３３４）。なお、直線の交点を求める際に、一度選んだ直線Ｌｉと直線Ｌｊ同士の重複演算はしないものとする。なお、式（６）の条件は選んだ二直線が平行でないことを表し、式（７）の条件は水平方向（｜θ−π｜≒π／２）近傍、及び垂直方向（｜θ−π｜≒０、または｜θ−π｜≒π）近傍の直線でないことを表す。
【００５０】
【数６】
【数７】
【数８】
【００５１】
続いて、消失点同定部２１３は、取得した直線の交点Ｐｉｊの分布モデルを、式（９）に示すＫｃ個のガウス分布の混合モデルＧＭＭ（Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ）を用いて表されると仮定し、ＥＭ（Ｅｘｐｅｃｔａｔｉｏｎ−Ｍａｘｉｍｉｚａｔｉｏｎ）アルゴリズムによって、分布モデルのパラメータ（ｗｉ，μｉ,Σｉ）（ｉ＝１，・・・，Ｋｃ）を取得し、消失点の位置を決定する（ステップＳ３３５）。
【００５２】
【数９】
【００５３】
なお、式（９）において、Ｐ（ｘ）は、ベクトルｘ（交点Ｐｉｊの座標）が出現する確率を表す。Ｋｃはクラス数（ガウス分布の個数）を表し、ｗｉはクラスｉのガウス分布の重み係数を表し、重み係数の総和は１となる。また、μｉはクラスｉの平均ベクトル（クラスｉの重心座標）を表し、Σｉはクラスｉの共分散行列を表し、Ｄはベクトルｘの次元数を表す。式（９）中のＮ（ｘ｜μｉ,Σｉ）は、クラスｉのガウス分布（正規分布）を表し、平均ベクトルμｉ、共分散行列Σｉを用いて表現される。つまり、消失点同定部２１３は、重み係数ｗｉが大きい上位Ｎ（≧１）クラスの分布の平均ベクトルμｉ（重心座標）を、消失点位置と定める。以降、簡単化のため、消失点の数をＮ＝１として説明するが、これに限定されるものではない。
【００５４】
続いて、消失点同定部２１３は、ステップＳ３３３またはステップＳ３３５の結果に基づいて、図９（Ｃ）に示すように消失点情報ＶＰ（ｔ）を設定する（ステップＳ３３６）。なお、消失点情報ＶＰ（ｔ）は、例えば、表１のデータとして表現される。
【００５５】
【表１】
【００５６】
表１において、消失点情報ＶＰ（ｔ）は、時刻ｔ（又は、画像のフレームに付した番号（フレーム番号）でもよい）を表す「vp_time」、検出した消失点の数を表す「vp_num」、及び検出したn個の消失点の位置「vp_pos[n]」を表すリストによって示される。
【００５７】
再び図７のステップＳ３１に戻って、シーンチェンジが無く（「Ｓ（ｔ）＝０」）、かつ、消失点情報ＶＰ（ｔ−１）が、前フレームに消失点が有ることを示す場合（消失点情報ＶＰ（ｔ−１）の「vp_num>0」）（ステップＳ３１においてＮｏ）、図６の切替部２０１は画像の入力先を、図６の切替部２０２は消失点情報の出力元を、フレーム間消失点推定部２２へそれぞれ切り替え（ステップＳ３４）、その後、フレーム間消失点推定部２２は、入力された処理対象画像Ｆ（ｔ）とバッファ２０３で記憶した１つ前の画像Ｆ（ｔ−１）から画像間の特徴点の対応関係を求め、その対応関係と、一つ前の消失点情報ＶＰ（ｔ−１）より処理対象画像Ｆ（ｔ）における消失点位置を推定し、その結果（消失点情報ＶＰ（ｔ））を出力する（ステップＳ３５）。すなわち、消失点推定部２０は、比較対象画像Ｆ（ｔ−１）の消失点の位置を含む消失点情報ＶＰ（ｔ−１）を記憶する記憶手段（図６のバッファ２０４）を備え、前フレームに消失点が有るか否かは、この記憶手段に前フレームの消失点情報ＶＰ（ｔ−１）が記憶されており、この消失点情報ＶＰ（ｔ−１）が「vp_num>0」であるか否かで判定される。
【００５８】
（フレーム間消失点推定部２２について）
ここで、フレーム間消失点推定部２２の詳細について説明する。図１１は、フレーム間消失点推定部２２の動作例を説明するためのフロー図である。また、図１２は、図１１のフローに対応した画像例を示す図である。図１１のステップＳ３５１において、図６の特徴点検出部２２１は、図１２（Ａ）に示すように、入力された処理対象画像Ｆ（ｔ）と一つ前の画像Ｆ（ｔ−１）との画像間の対応関係を求めるために用いるＮＫ個の特徴点Ｋｓ（ｓ＝１，・・・，ＮＫ）を検出し、その特徴点Ｋｓの座標（ｘKs,t，ｙKs,t）を記述した特徴点情報Ｋ（ｔ）を図６の対応点算出部２２２へ出力する（ステップＳ３５１）。
【００５９】
なお、特徴点とは、画素間の色や輝度の変化等に基づいて被写体のエッジの一部や頂点として抽出される点である。例えば、画素（ｘ，ｙ）を中心とした局所領域Ｓの範囲内のｘ方向、ｙ方向の輝度の勾配ベクトルＧｉ（ｘ，ｙ）(ｉ＝ｘ，ｙ)を用いて表される二次モーメント行列Ａ（式（１０））の第一固有値λ１、及び第二固有値λ２を求め、式（１１）に示す条件を満たす画素（ｘ，ｙ）を特徴点として検出する。
【００６０】
【数１０】
【数１１】
【００６１】
つまり、二次モーメント行列Ａの第一固有値λ１、及び第二固有値λ２のうち小さい方の固有値が所定の閾値λｔｈより大きい（または以上）場合に特徴点とするものである(例えば、非特許文献１を参照)。なお、式（１０）において係数ｗ（ｕ，ｖ）は、画素（ｘ，ｙ）からｘ方向にｕ，ｙ方向にｖだけ離れた画素（ｘ＋ｕ，ｙ＋ｖ）に関する重み係数を表し、例えば、式（１２）の条件を満たすように定めた、局所領域Ｓの範囲内の２次ガウス分布の値を正規化した値を用いる。
【００６２】
【数１２】
【００６３】
図１１のステップＳ３５２に進んで、図６の対応点算出部２２２は、図１２（Ｂ）に示すように、入力された処理対象画像Ｆ（ｔ）と、バッファ２０３より読み出した一つ前の画像Ｆ（ｔ−１）と、ステップＳ３５１で取得した処理対象画像Ｆ（ｔ）の特徴点情報Ｋ（ｔ）とに基づいて、処理対象画像Ｆ（ｔ）の各特徴点Ｋｓ（ｓ＝１，・・・，ＮＫ）が一つ前の画像Ｆ（ｔ−１）上にある位置（xKs,t -1，yKs,t -1）をオプティカルフローにより算出し、その特徴点Ｋｓの時刻ｔ，時刻ｔ−１における位置を記述した対応点情報Ｑ（ｔ，ｔ−１）を図６の変換行列算出部２２３へ出力する（ステップＳ３５２）。
【００６４】
なお、処理対象画像Ｆ（ｔ）の各特徴点Ｋｓが一つ前の画像Ｆ（ｔ−１）上にある位置（xKs,t-1，yKs,t-1）は、例えば、式（１３）に示す勾配法によるオプティカルフローの拘束条件を（xKs,t-1，yKs,t-1）について解くことで取得できる（例えば、非特許文献２を参照）。
【００６５】
【数１３】
【００６６】
ここで、式（１３）において、Ｇｉ（ｘ，ｙ｜ｔ）（ｉ＝ｘ，ｙ，ｔ）は画像Ｆ（ｔ）の輝度に関するｘ方向、ｙ方向、ｔ方向（時間方向）の勾配ベクトルを表し、Ｓは特徴点Ｋｓを中心とする所定サイズの局所領域を表す。
【００６７】
図１１のステップＳ３５３に進んで、図６の変換行列算出部２２３は、ステップＳ３５２で取得した対応点情報Ｑ（ｔ，ｔ−１）から、特徴点Ｋｓ（ｓ＝１，・・・，ＮＫ）を一つ前の画像Ｆ（ｔ−１）上の位置から、処理対象画像Ｆ（ｔ）上の位置へ射影する変換行列Ｈを算出し、その変換行列Ｈを記述した情報を図６の消失点位置算出部２２４へ出力する（ステップＳ３５３）。なお、２枚の画像間（Ｆ（ｔ），Ｆ（ｔ−１））の対応関係は、変換行列Ｈを用いて式（１４）で表すことができる（例えば、非特許文献３を参照）。この式（１４）において、記号「〜」は同値関係を表し、定数倍の違いを許して等しいことを意味する。
【００６８】
【数１４】
【００６９】
また、変換行列Ｈは、一般的な変換を表現することができるため、射影変換と呼ばれる。ここで、画像間の対応関係を平行移動として表現できると仮定すると、式（１４）は、式（１５）として表現される。
【００７０】
【数１５】
【００７１】
式（１５）中の係数ｔｘ、ｔｙはそれぞれｘ方向、ｙ方向への移動量を表す。また、画像間の対応関係を平行移動、回転、拡大・縮小を含めたアフィン変換として表現できると仮定すると、式（１４）は、式（１６）として表現される。
【００７２】
【数１６】
【００７３】
式（１６）中の係数ａ，ｂ，ｃ，ｄは拡大・縮小、及び回転を表し、係数ｔｘ、ｔｙは式（１５）と同様である。なお、式（１４）、式（１５）、式（１６）における変換行列Ｈの各係数ｈｉｊ（ｉ，ｊ＝１，２，３）は、各変換モデルの拘束条件と対応点情報Ｑ（ｔ，ｔ−１）から導かれる連立方程式を最小二乗法により解くことで算出する。なお、十分な対応点数が無く、変換行列Ｈを算出できない場合は、所定の変換行列Ｈ０を用いる。
【００７４】
図１１のステップＳ３５４に進んで、図６の消失点位置算出部２２４は、「時刻ｔにおける消失点の位置は、一つ前の画像Ｆ（ｔ−１）上の消失点位置を、図６の変換行列算出部２２３で算出した変換行列Ｈを用いて、処理対象画像Ｆ（ｔ）上へ射影した位置にある」と仮定して、時刻ｔの消失点位置を算出し（ステップ３５４）、その結果に基づいて消失点情報ＶＰ（ｔ）を設定する（ステップＳ３５５）。画像Ｆ（ｔ−１）上の消失点を変換行列Ｈにより画像Ｆ（ｔ）上に射影したときの画像例を図１２（Ｃ）に示す。
【００７５】
再び図７のステップＳ３６に戻って、図６のバッファ２０３は、１つ前の画像Ｆ（ｔ−１）を削除し、入力された処理対象画像Ｆ（ｔ）を記憶する。また、図６のバッファ２０４は、１つ前の消失点情報ＶＰ（ｔ−１）を削除し、フレーム内消失点推定部２１、または、フレーム間消失点推定部２２より入力された消失点情報ＶＰ（ｔ）を記憶して、処理対象画像Ｆ（ｔ）における消失点推定の処理を終了する（ステップＳ３６）。
【００７６】
以上、本実施形態の消失点推定部２０によれば、図１３に示すように、同一シーン（空間方向、時間方向に相関のある時系列画像群）において、先頭フレームＦ（ｔ０）から同一シーン内で最初に消失点が検出されるフレームＦ（ｔ０＋ｋ−１）までは、フレーム内消失点推定手段（フレーム内消失点推定部２１）により消失点を推定し、同一シーン内で最初に消失点が検出されるフレームＦ（ｔ０＋ｋ−１）の次フレームＦ（ｔ０＋ｋ）から同一シーン内の最終フレームＦ（ｔ０＋Ｎ）までは、フレーム間消失点推定手段（フレーム間消失点推定部２２）により消失点を推定するため、フレーム単位にフレーム内消失点推定手段により消失点を推定する場合と比べて、カメラワークにロバストでかつ、消失点の揺れを抑制し安定した消失点の推定が可能となる。
【００７７】
（奥行モデル生成部３０について）
再び図２に戻って、図１の奥行モデル生成部３０は、本発明の奥行モデル生成手段に相当し、消失点推定部２０により消失点が推定できたか否かに基づいて異なる奥行モデルを生成する。つまり、奥行モデル生成部３０は、消失点情報ＶＰ（ｔ）に基づいて、奥行モデルの作成手段（消失点位置から奥行モデルを作成する第１の奥行モデル作成手段、人の視覚特性に基づいた画像内の誘目性を表す顕著度から奥行モデルを作成する第２の奥行モデル作成手段）を選択し、選択した奥行モデル作成手段により、処理対象画像Ｆ（ｔ）における各画素の奥行値を設定し、各画素の奥行値を表す奥行モデルＤ（ｔ）を視点画像生成部４０へ出力する（図２のステップＳ１４）。
【００７８】
続いて、本実施形態における奥行モデル生成部３０について詳細に説明する。図１４に示すように、奥行モデル生成部３０は、切替部３０１、切替部３０２、領域分割部３０３、距離算出部３０４、顕著度算出部３０５、および奥行値設定部３０６で構成されている。図１５は、奥行モデル生成部３０の動作例を説明するためのフロー図である。
【００７９】
図１５において、図１４の奥行モデル生成部３０は、入力された消失点情報ＶＰ（ｔ）に基づいて奥行モデル作成手段を選択する（ステップＳ４１）。つまり、現フレームに消失点が有る場合（消失点情報ＶＰ（ｔ）の「vp_num>0」）（ステップＳ４１においてＹｅｓ）、図１４の切替部３０１は画像の入力先を領域分割部３０３へ、図１４の切替部３０２は奥行値設定部３０６へ入力するデータの出力元を距離算出部３０４へそれぞれ切り替え、消失点に基づく第１の奥行モデル作成手段が選択される（ステップＳ４２）。
【００８０】
ステップＳ４３に進んで、図１４の距離算出部３０４は、消失点情報ＶＰ（ｔ）の消失点の座標と各画素の座標との距離Ｄｉｓｔ（ｘ，ｙ）を算出し、その結果を記述した距離情報Ｄｉｓｔ（ｔ）を奥行値設定部３０６へ出力する（ステップＳ４３）。具体的には、消失点の座標と各画素の座標との距離Ｄｉｓｔ（ｘ，ｙ）は、式（１７）、式（１８）、式（１９）のいずれかに基づいて算出される。なお、式（１７）、式（１８）、式（１９）中のΔｘ、Δｙはそれぞれ各画素と消失点とのｘ方向の距離、ｙ方向の距離を表す。
【００８１】
【数１７】
【数１８】
【数１９】
【００８２】
ここで、画面内に消失点ＶＰがある場合の、それぞれ式（１７）、式（１８）、式（１９）に基づく距離情報Ｄｉｓｔ（ｔ）の一例を図１６に示す。図１６（Ａ）は、画面内に消失点ＶＰがある一例を表す。図１６（Ｂ）のＢＤ１ａは式（１７）、図１６（Ｃ）のＢＤ１ｂは式（１８）、図１６（Ｄ）のＢＤ１ｃは式（１９）に基づく距離情報Ｄｉｓｔ（ｔ）を表している。また、画面外に消失点ＶＰがある場合の、それぞれ式（１７）、式（１８）、式（１９）に基づく距離情報Ｄｉｓｔ（ｔ）の一例を図１７に示す。図１７（Ａ）は、画面外に消失点ＶＰがある一例を表す。図１７（Ｂ）のＢＤ２ａは式（１７）、図１７（Ｃ）のＢＤ２ｂは式（１８）、図１７（Ｄ）のＢＤ２ｃは式（１９）に基づく距離情報Ｄｉｓｔ（ｔ）を表している。なお、図１６及び図１７において。白い部分が最も近く、黒くなるにつれて遠くなるものとする。
【００８３】
ステップＳ４４に進んで、図１４の領域分割部３０３は、処理対象画像Ｆ（ｔ）を領域分割（クラスタリング）により、特徴量が類似する（特徴量の値が予め定めた範囲内となる）複数の画素の集合（領域；クラス）に分割する。例えば、領域分割部３０３は、特徴量空間でのクラスタリングにより画像を複数の領域へ分割する。特徴量空間によるクラスタリングとは、画像空間の各画素を特徴量空間（例えば、色、エッジ、動きベクトル）に写像し、その特徴量空間においてＫ-ｍｅａｎｓ法、Ｍｅａｎ-Ｓｈｉｆｔ法、又はＫ最近傍探索法（近似Ｋ最近傍探索法）などの手法により行うクラスタリングである。特徴量空間でのクラスタリング処理の終了後、各領域の代表値となる画素値（例えば平均値）により、そのクラス内の画素について、元の画像空間における画素値を置き換え、各領域に対して領域を識別するラベルを各領域内の全画素に付与し、その結果を記述した領域情報Ｒ（ｔ）を奥行値設定部３０６へ出力する（ステップＳ４４）。
【００８４】
ステップＳ４５に進んで、図１４の奥行値設定部３０６は、入力された距離情報Ｄｉｓｔ（ｔ）と領域情報Ｒ（ｔ）に基づいて、各画素の奥行値を設定する。具体的には、式（２０）に示すように、領域情報Ｒ（ｔ）が示す各領域内にある画素の距離Ｄｉｓｔ（ｘ，ｙ）の平均値をスケーリングし、基準となる奥行値Ｄｂａｓｅ（ｘ，ｙ）だけシフトした値を各画素の奥行値Ｄ（ｘ，ｙ）として設定する（ステップＳ４５）。
【００８５】
【数２０】
【００８６】
なお、式（２０）において、Ｄｍａｘは奥行値の上限値、Ｄｍｉｎは奥行値の下限値、Ｄｉｓｔｍａｘは距離情報Ｄｉｓｔ（ｔ）の最大値、Ｄｉｓｔｍｉｎは距離情報Ｄｉｓｔ（ｔ）の最小値、Ｄｂａｓｅ（ｘ，ｙ）は各画素の奥行値の基準値（最遠景とする奥行値）を調整するための所定の定数である。ここで、消失点に基づいた奥行モデルの一例を図１８に示す。図１８において、画像Ａは処理対象画像Ｆ（ｔ）の一例を表し、画像Ｂは領域分割部３０３において求めた処理対象画像Ｆ（ｔ）の領域分割結果（領域分割情報Ｒ（ｔ））の一例を表し、画像Ｃは処理対象画像Ｆ（ｔ）の消失点ＶＰの一例を表し、画像Ｄは距離算出部３０４において求めた処理対象画像Ｆ（ｔ）の距離情報Ｄｉｓｔ（ｔ）の一例を表し、画像Ｅは奥行値設定部３０６において、画像Ｂの領域分割情報Ｒ（ｔ）と画像Ｄの距離情報Ｄｉｓｔ（ｔ）に基づいて求めた奥行モデルの一例である。図１８の画像Ｅにおいて、明るい部分が手前であることを表し、暗い部分が奥であることを表す。
【００８７】
再び図１５のステップＳ４１に戻って、現フレームに消失点が無い場合（消失点情報ＶＰ（ｔ）の「vp_num=0」）（ステップＳ４１においてＮｏ）、図１４の切替部３０１は画像の入力先を顕著度算出部３０５へ、図１４の切替部３０２は奥行値設定部３０６へ入力するデータの出力元を顕著度算出部３０５へそれぞれ切り替え、顕著度に基づく奥行モデル作成手段が選択される（ステップＳ４６）。
【００８８】
図１４の顕著度算出部３０５は、入力された処理対象画像Ｆ（ｔ）から、人の視覚特性に基づいた画像内の誘目性を表す顕著度Ｍ（ｔ）を算出する（ステップＳ４７）。人が注目しやすい部分の例としては、注目画素とその周辺画素との色差が大きい箇所（局所的な色差）、注目する画素と画像全体との色差が大きい箇所、あるいは注目画素を含む局所領域とその周辺領域との色差が大きい箇所（大局的な色差）がある。色差とは、色の知覚的な相違を定量的に表したものであり、色差を評価する色空間として、均等色空間（uniform color space）であるＣＩＥＬＡＢ色空間（ＣＩＥ １９７６ Ｌ＊ａ＊ｂ＊空間ともいう）を用いる。人の視覚特性に基づき、式（２１）により各画素の顕著度Ｍ（ｘ，ｙ）を算出する。
【００８９】
【数２１】
【数２２】
【数２３】
【００９０】
ここで、式（２１）において、ΔＥｌｏｃａｌは局所的な色差を表し、ΔＥｇｌｏｂａｌは大局的な色差を表し、係数α、βは所定の重み係数を表す。つまり、式（２１）は顕著度を局所的な色差と大局的な色差との線形和によって表わしている。なお、局所的な色差ΔＥｌｏｃａｌは式（２２）、大局的な色差ΔＥｇｌｏｂａｌは式（２３）によって算出される。また、式（２２）、式（２３）において、Ｌ＊は明度指数、ａ＊は赤−緑の知覚色度、ｂ＊は黄−青の知覚色度を表す。なお、色差を評価する色空間は、ＣＩＥＬＵＶ色空間（ＣＩＥ １９７６ Ｌ＊ｕ＊ｖ＊色空間ともいう）を用いてもよい。なお、式（２２）中の係数ｗ（ｕ，ｖ）は、式（１２）と同一であるため、説明を省略する。
【００９１】
ステップＳ４８に進んで、図１４の奥行値設定部３０６は、入力された顕著度Ｍ（ｔ）に基づいて、式（２４）の演算により各画素の奥行値を設定し、その結果を記述した奥行モデルＤ（ｔ）を出力する（ステップＳ４８）。
【００９２】
【数２４】
【００９３】
式（２４）において、Ｄｍａｘは奥行値の上限値、Ｄｍｉｎは奥行値の下限値、Ｍｍａｘは顕著度Ｍ（ｔ）の最大値、Ｍｍｉｎは顕著度Ｍ（ｔ）の最小値、Ｄｂａｓｅ（ｘ，ｙ）は各画素の奥行値の基準値（最遠景とする奥行値）を調整するための所定の定数である。つまり、式（２４）により各画素の顕著度Ｍ（ｘ，ｙ）をスケーリングし、基準となる奥行値Ｄｂａｓｅ（ｘ，ｙ）だけシフトした値を各画素の奥行値Ｄ（ｘ，ｙ）として設定する。ここで、顕著度に基づいた奥行モデルの一例を図１９に示す。図１９において、画像Ａは処理対象画像Ｆ（ｔ）の一例を表し、画像Ｂは顕著度算出部３０５において求めた処理対象画像Ｆ（ｔ）の顕著度Ｍ（ｔ）の一例を表し、画像Ｃは基準となる奥行モデル（Ｄｂａｓｅ）の一例を表し、画像Ｄは奥行値設定部３０６において、画像Ｃの奥行モデル（Ｄｂａｓｅ）に画像Ｂの顕著度Ｍ（ｔ）を合成して作成した奥行モデルの一例である。
【００９４】
図１９の画像Ｂにおいて、明るい部分（白）が人の注目しやすい部分（誘目性が高い）を表し、暗い部分（黒）が人の注目しにくい部分（誘目性が低い）を表す。また、図１９の画像Ｄにおいて、明るい部分が手前であることを表し、暗い部分が奥であることを表す。図１９の画像Ｄに示すように、顕著度に基づく奥行モデル作成手段は、基準となる奥行の面上（Ｄｂａｓｅ）に、スケーリングした顕著度を重畳し、注目する領域とその周辺領域との相対的な奥行の違いを強調することによって、疑似的な奥行感を知覚させるものである。
【００９５】
顕著度に基づいて奥行モデルを生成する場合には、基準となる奥行の面上に、顕著度の高い（誘目性が高い）部分の奥行が手前側に、顕著度の低い（誘目性が低い）部分の奥行が奥側となるように設定する。これにより、注目する領域とその周辺領域との相対的な奥行の違いが強調され、擬似的な奥行感を知覚させることができる。換言すれば、注目領域の顕著度が周辺領域の顕著度よりも高い場合には、周辺領域に対して相対的に奥行が手前になるように設定される。また、注目領域の顕著度が周辺領域の顕著度と同等の場合には、相対的に同じ奥行になるように設定される。また、注目領域の顕著度が周辺領域の顕著度よりも低い場合には、周辺領域に対して相対的に奥行が奥になるように設定される。
【００９６】
以上のように、奥行モデル生成部３０によれば、幾何的な奥行手掛かりにより消失点位置を推定できる場合は、消失点に基づいて画像の奥行モデルを作成することで、幾何的な奥行手掛かりのによる奥行感を強調する奥行モデルを作成することができる。また、幾何的な奥行手掛かりにより消失点位置を推定できない場合は、人の視覚特性に基づいた画像内の誘目性を表す顕著度から画像の奥行モデルを作成することで、人の注目する部分の奥行感を強調する奥行モデルを作成することができる。
【００９７】
（視点画像生成部４０について）
再び図２に戻って、図１の視点画像生成部４０は、本発明の視点画像生成手段に相当し、予め設定された想定視聴条件情報に基づいて、奥行モデルＤ（ｔ）が表す各画素の奥行値から、基準画像Ｆ（ｔ）（入力画像；処理対象画像）上の各画素と視点画像Ｆｉ（ｔ）（ｉ＝ｌ，ｒ；Ｆｒ：右眼提示画像、Ｆｌ：左眼提示画像）上の対応する画素までのずれ量を表す視差ベクトル（シフト量）を算出し、基準画像Ｆ（ｔ）上の画素と、対応する算出した視差ベクトルに基づいて、各視点画像Ｆｉ（ｔ）（ｉ＝ｌ，ｒ）を生成する（ステップＳ１５）。
【００９８】
ここで、「想定視聴条件情報」とは、視聴者に提示する立体画像（左眼提示画像、右眼提示画像）を生成するための情報であり、立体画像を表示するディスプレイの画素ピッチ（画素間距離）μ、ディスプレイの画像サイズ、視聴者と立体画像を表示するディスプレイまでの距離（想定視距離）ｆ、立体画像の奥行量を表す視差範囲（視差ベクトルの範囲）、基線長ｔ（視点画像Ｆｒ（ｔ）の仮想右視点Ｃｒと視点画像Ｆｌ（ｔ）の仮想左視点Ｃｌ間の距離）を表す。
【００９９】
この想定視聴条件情報に基づいた視点画像を生成するためのカメラ（視点）配置の一例の俯瞰図を図２０に示す。図２０の例では、平行法による立体画像の撮影を想定し、仮想右視点Ｃｒ上のカメラと仮想左視点Ｃｌ上のカメラが基準視点Ｃｃ上のカメラとｘ軸方向に平行に配置され、それぞれのカメラは３次元空間上にある注目点Ｐを観測しているとする。また基準視点Ｃｃの画像面Ｉｃ上に投影された注目点Ｐの位置をＸｃ、仮想左視点Ｃｌの画像面Ｉｌ上に投影された注目点Ｐの位置をＸｌ、仮想右視点Ｃｒの画像面Ｉｒ上に投影された注目点Ｐの位置をＸｒとする。図２０において、各視点と対応する画像面までの距離（焦点距離、あるいは視距離）ｆ、視点から注目点Ｐまでのｚ方向の距離Ｚ、基準視点Ｃｃと各仮想視点（Ｃｒ，Ｃｌ）までのｘ方向の距離ｔ／２を用いて各画像面上に投影された注目点Ｐの位置ＸｌとＸｃ，ＸｒとＸｃの幾何的な関係は、それぞれ式（２５）、（２６）によって表される。
【０１００】
【数２５】
【数２６】
【０１０１】
以上から、基準画像Ｆ（ｔ）上の画素と視点画像Ｆｉ（ｔ）（ｉ＝ｌ，ｒ）上の対応する画素までのずれ量を表す視差ベクトル（シフト量）ｄｉ（ｉ＝ｌ，ｒ）は、式（２５）、（２６）を変形した式（２７）、（２８）によって導出される。
【０１０２】
【数２７】
【数２８】
【０１０３】
なお、式（２７）、（２８）中の変数μは、画素ピッチを表す。つまり、基準画像Ｆ（ｔ）と相対奥行値である奥行モデルＤ（ｔ）と奥行モデルＤ（ｔ）を絶対奥行値Ｚへ変換する関数（Ｚ＝ｚ（Ｄ（ｔ）））が与えられれば、式（２７）、式（２８）に基づいて、各視点画像Ｆｉ（ｔ）（ｉ＝ｌ，ｒ）を生成することができる。
【０１０４】
以下では、上記考え方に基づき視点画像生成部４０について説明する。図２１は、視点画像生成部４０の構成例を示すブロック図である。また、図２２は、視点画像生成部４０の動作例を説明するためのフロー図である。また、図２３は、視点画像生成部４０における視点画像の生成例を説明するための図である。まず、図２１に示すように、視点画像生成部４０は、視差ベクトル算出部４０１、テクスチャシフト部４０２、ギャップフィリング部（オクルージョン補償部ともいう）４０３、及びフローティングウィンドウ重畳部４０４で構成されている。
【０１０５】
図２２において、図２１の視差ベクトル算出部４０１は、入力された想定視聴条件情報と奥行モデルＤ（ｔ）と奥行モデルＤ（ｔ）を絶対奥行値へ変換する関数（Ｚ＝ｚ（Ｄ（ｔ）））とに基づいて、式（２７）、式（２８）から基準画像Ｆ（ｔ）上の各画素と各視点画像Ｆｉ（ｔ）上の対応する画素までの視差ベクトルｄｉ（ｉ＝ｌ，ｒ）を算出し、その結果をテクスチャシフト部４０２へ出力する（図２２のステップＳ５１）。なお、視差ベクトルの算出方法は、式（２７）、式（２８）に基づいて各画素の視差ベクトルを算出するほかに、図２３（Ｂ）のＬＵＴに示すように、予め想定視聴条件情報に基づいて設定した奥行値（相対奥行値）から視差ベクトルを導くルックアップテーブルを用いて算出してもよい。ここで、図２３（Ｂ）中の視差ベクトル（シフト量）の開散方向、交差方向について図２４を用いて説明する。図２４において、ある注目点をＰとし、右眼から見てディスプレイ面に投影される注目点ＰをＰｒ、左眼から見てディスプレイ面に投影される注目点ＰをＰｌとする。このとき、開散方向の視差ベクトルは、図２４の（Ａ）に示すように、ある注目点Ｐは、ディスプレイ面の後方に位置し、ディスプレイ面上のＰｒからＰｌへの視差ベクトル、あるいはＰｌからＰｒへの視差ベクトルの値が正となる場合である。同様に、交差方向の視差ベクトルは、図２４の（Ｂ）に示すように、ある注目点Ｐはディスプレイ面の前方に位置し、ディスプレイ面上のＰｒからＰｌへの視差ベクトル、あるいはＰｌからＰｒへの視差ベクトルの値が負となる場合である。また、視差ベクトルの値がゼロの場合は、注目点Ｐはディスプレイ面上に位置する。
【０１０６】
続いて、図２１のテクスチャシフト部４０２は、基準画像Ｆ（ｔ）の各画素（ｘ，ｙ）を、対応する視差ベクトルｄｉ（ｉ＝ｌ，ｒ）に基づいて、各視点画像Ｆｉ（ｔ）（ｉ＝ｌ，ｒ）と対応する画素（ｕ，ｖ）の画素値として設定し、生成した視点画像をギャップフィリング部４０３へ出力する（図２２のステップＳ５２）。なお、画素値を設定するときは、視差ベクトルの値が開散方向側（例えば、図２３（Ｂ）のＬＵＴ上のｄ２）の値を有する画素からテクスチャシフトを行う。
【０１０７】
例えば、図２３（Ａ）において、基準画像ｉＦ、奥行モデルｉＤより仮想左視点の視点画像Ｆｌ（ｔ）（左眼提示画像）を生成する場合を考える。なお、奥行モデルｉＤは、白部分の奥行値がＤ１であり、黒部分の奥行値がＤ２で表されるとする。このとき、図２３（Ｂ）のＬＵＴに基づいてテクスチャシフトを行うと、まず、図２３（Ａ）の奥行値Ｄ２を有するレイヤＬ２の各画素を開散方向へｄ２だけシフトする。その後、図２３（Ａ）の奥行値Ｄ１を有するレイヤＬ１の各画素を交差方向へｄ１だけシフトすると、画面の左端／右端に位置しない欠損領域Ｇｓ１と画面の左端／右端に位置する欠損領域Ｇｌ１を有する視点画像ｏＦ１が得られる。ここで、欠損領域（オクルージョン領域）とは、図２３（Ａ）の視点画像ｏＦ１において、それぞれ基準画像上に対応する画素がないため、画素値が設定されていない領域を表す。
【０１０８】
続いて、図２１のギャップフィリング部４０３は、入力された視点画像Ｆｉ（ｔ）（ｉ＝ｌ，ｒ）において、画面端に位置しない欠損領域（例えば、図２３（Ａ）の視点画像ｏＦ１のＧｓ１）の画素を、欠損領域周辺に位置する画素群から補間し、補間後の視点画像Ｆｉ（ｔ）（ｉ＝ｌ，ｒ）をフローティングウィンドウ重畳部４０４へ出力する（図２２のステップＳ５３）。なお、欠損領域の画素の補間方法は、例えば、線形補間、メディアンフィルタ、もしくは公知の画像修復方法（例えば、非特許文献６参照）を用いる。
【０１０９】
続いて、フローティングウィンドウ重畳部４０４は、入力された視点画像Ｆｉ（ｔ）（ｉ＝ｌ，ｒ）の両方のうち、画面端に位置する欠損領域（例えば、図２３（Ａ）の視点画像ｏＦ１のＧｌ１）において、欠損領域の幅の最大値Ｗ１を取得する。続いて、それぞれの視点画像の右端、左端へ幅Ｗ２（＝αＷ１）のフローティングウィンドウ（黒帯）を挿入し、その結果を出力する（図２２のステップＳ５４）。なお、Ｗ２は、Ｗ１を所定の定数αでスケーリングした値である。また、フローティングウィンドウ挿入後の視点画像は、例えば図２３（Ａ）の視点画像ｏＦ２である。図２３（Ａ）の視点画像ｏＦ２では、画面の左端、及び右端にフローティングウィンドウｆｗ１、ｆｗ２がそれぞれ挿入されている。なお、フローティングウィンドウを挿入する理由は、左眼／右眼に提示される画像において、ある対象の位置や形状などが極端に異なる場合（例えば、生成した視点画像において画面の左端／右端に位置する欠損領域）、一つの対象として両眼視することができないことが原因で発生する左右の網膜像を交互に知覚する視野闘争を抑制するためである。
【０１１０】
このように、本実施形態によれば、幾何的な奥行手掛かりにより消失点位置を推定できる場合は、消失点に基づいて画像の奥行モデルを生成することにより、幾何的な奥行手掛かりによる奥行感を強調した立体画像を生成することができる。また、幾何的な奥行手掛かりにより消失点位置を推定できない場合は、人の視覚特性に基づいた画像内の誘目性を表す顕著度から画像の奥行モデルを生成することにより、人の注目する部分の奥行感を強調した立体画像を生成することができる。
【０１１１】
（奥行モデル生成部３０の変形例（奥行モデル生成部３０ａ））
上記実施形態において、奥行モデル生成部３０では、顕著度に基づく奥行モデル作成手段の一例として、式（２４）により各画素の顕著度Ｍ（ｘ，ｙ）をスケーリングし、基準となる奥行値Ｄｂａｓｅ（ｘ，ｙ）だけシフトした値を各画素の奥行値Ｄ（ｘ，ｙ）として設定する場合について説明したが、本発明はこれに限定されない。例えば、奥行モデル生成部３０を、図２５に示すように切替部３０１を取り除き、画像Ｆ（ｔ）が領域分割部３０３、顕著度算出部３０５へ入力されるように構成を変更してもよい。つまり、奥行モデル生成部３０ａは、切替部３０２、領域分割部３０３、距離算出部３０４、顕著度算出部３０５、および奥行値設定部３０６で構成される。
【０１１２】
この場合の顕著度に基づく奥行モデル作成手段の動作例について、図２５に基づいて説明する。なお、消失点に基づく奥行モデル作成手段の動作は、図１５のステップＳ４２〜Ｓ４５と同一の処理のため、ここでの説明を省略する。
【０１１３】
まず、図２５の顕著度算出部３０５は、図１５のステップＳ４７と同様の処理によって、処理対象画像Ｆ（ｔ）より顕著度Ｍ（ｔ）を算出し、その結果を奥行値設定部３０６へ出力する（図２６のステップＳ４７′）。続いて、図２５の領域分割部３０３は、図１５のステップＳ４４と同様の処理によって、処理対象画像Ｆ（ｔ）を領域分割し、その結果を記述した領域情報Ｒ（ｔ）を奥行値設定部３０６へ出力する（図２６のステップＳ４８′）。
【０１１４】
その後、図２５の奥行値設定部３０６は、入力された顕著度Ｍ（ｔ）と領域情報Ｒ（ｔ）に基づいて、式（２９）に示すように、領域情報Ｒ（ｔ）が示す各領域内にある画素の顕著度Ｍ（ｘ，ｙ）の平均値をスケーリングし、基準となる奥行値Ｄｂａｓｅ（ｘ，ｙ）だけシフトした値を各画素の奥行値Ｄ（ｘ，ｙ）として設定する（図２６のステップＳ４９′）。
【０１１５】
【数２９】
【０１１６】
なお、式（２９）において、Ｄｍａｘは奥行値の上限値、Ｄｍｉｎは奥行値の下限値、Ｍｍａｘは顕著度Ｍ（ｔ）の最大値、Ｍｍｉｎは顕著度Ｍ（ｔ）の最小値、Ｄｂａｓｅ（ｘ，ｙ）は各画素の奥行値の基準値（最遠景とする奥行値）を調整するための所定の定数である。ここで、変形例における顕著度に基づいた奥行モデルの一例を図２７に示す。図２７において、画像Ａは処理対象画像Ｆ（ｔ）の一例を表し、画像Ｂは領域分割部３０３において求めた処理対象画像Ｆ（ｔ）の領域分割結果（領域情報Ｍ（ｔ））の一例を表し、画像Ｃは顕著度算出部３０５において求めた処理対象画像Ｆ（ｔ）の顕著度Ｍ（ｔ）を表し、画像Ｄは基準となる奥行モデル（Ｄｂａｓｅ）の一例を表し、画像Ｅは奥行値設定部３０６において、画像Ｂの領域情報Ｒ（ｔ）と画像Ｃの顕著度Ｍ（ｔ）と画像Ｄの基準となる奥行モデル（Ｄｂａｓｅ）に基づいて求めた奥行モデルの一例である。図２７の画像Ｃにおいて、明るい部分（白）が人の注目しやすい部分（誘目性が高い）を表し、暗い部分（黒）が人の注目しにくい部分（誘目性が低い）を表す。また、図２７の画像Ｅにおいて、明るい部分が手前であることを表し、暗い部分が奥であることを表す。なお、基準となる奥行モデル（Ｄｂａｓｅ）に関して、図２７の画像Ｄでは、同一の奥行値をもつ平面を一例として挙げたが、これに限定されない。例えば、下記の式（３０）に示す平面方程式を予め定めて、各画素の座標（ｘ，ｙ）によって基準となる奥行値Ｄｂａｓｅ（ｘ，ｙ）を設定してもよい。式（３０）によって表される基準となる奥行モデルの一例を図２８の画像Ａに示す。図２８の画像Ａは、奥行が下端に近いほど手前となり上端に近いほど奥となるように式（３０）の係数ａ，ｂ，ｃを設定した基準となる奥行モデルである。図２８の画像Ａを、図２５の画像Ｄの代わりに入力した場合に作成される奥行モデルＤ（ｔ）の結果を図２８の画像Ｂに示す。
【０１１７】
【数３０】
【０１１８】
以上のように奥行モデル生成部３０ａは、幾何的な奥行手掛かりにより消失点位置を推定できない場合は、人の視覚特性に基づいた画像内の誘目性を表す顕著度と、画像の領域分割結果（領域情報）に基づいて、領域毎に均一の奥行値を設定することで、奥行の前後関係の誤りを抑制した奥行モデルを生成することができる。
【０１１９】
（シーンチェンジ検出部１０の変形例）
上記実施形態において、シーンチェンジ検出部１０では、シーンチェンジ検出に用いる画像特徴量として、輝度ヒストグラムを用いる場合について説明したが、本発明はこれに限定されない。例えば、輝度ヒストグラムの代わりに、各色成分の出現頻度を表すカラーヒストグラム、フレーム間差分の平均誤差、動きベクトルの分布を画像特徴量として用いてもよい。
【０１２０】
（エッジ検出部２１１の変形例）
上記実施形態において、エッジ検出部２１１では、画像空間において局所的にエッジ強度が極大となる点（Ｌｏｃａｌ Ｍａｘｉｍａ）をエッジ点として抽出するエッジ検出について説明したが、本発明はこれに限られない。例えば、Ｃａｎｎｙ Ｅｄｇｅ ｄｅｔｅｃｔｉｏｎなどの公知のエッジ検出手法を用いてもよい。また、微分オペレータ（エッジ検出器）として、ソーベルフィルタ（Ｓｏｂｅｌ ｆｉｌｔｅｒ）、プリューウィットフィルタ（Ｐｒｅｗｉｔｔ ｆｉｌｔｅｒ）、ＬｏＧフィルタ（Ｌａｐｒａｃｉａｎ ｏｆ Ｇａｕｓｓｉａｎ）、ＤｏＧフィルタ（Ｄｉｆｆｅｒｅｎｃｅ ｏｆ Ｇａｕｓｓｉａｎ）、などの公知の手法を用いてもよい。
【０１２１】
（消失点同定部２１３の変形例）
上記実施形態において、消失点同定部２１３では、混合モデルに用いる分布モデルとしてガウス分布を用いる場合について説明したが、本発明はこれに限られない。例えば、分布モデルには指数型分布族（ラプラス分布、ベータ分布、ベルヌーイ分布など）を用いてもよい。また、消失点同定部２１３は、混合モデルに用いるクラス数Ｋｃを予め定めた値とし、次の一例のように値を決定してもよい。消失点同定部２１３は、クラス数Ｋｃに予め定めたクラス数Ｋｃ′を設定し、Ｋ-ｍｅａｎｓ法により、クラスタリングを行う。その後、消失点同定部２１３は、クラス間距離が所定閾値以下（または未満）を満たすクラスＣｉとクラスＣｊがある場合は、クラスＣｉとクラスＣｊとを併合して、新たなクラスＣｋ′とする処理を行う。消失点同定部２１３は、この処理を、クラス数が一定値へ収束するまで繰り返すことにより、クラス数Ｋｃ（≦Ｋｃ′）を決定する。なお、消失点同定部２１３が交点の分布モデルの推定に用いる手法は、混合モデルなどのパラメトリックの推定手法に限定されず、Ｍｅａｎ−ｓｈｉｆｔ法、Ｋ−ｍｅａｎｓ法、Ｋ最近傍探索法（近似Ｋ最近傍探索法）などのノンパラメトリックの推定手法であってもよい。
【０１２２】
（領域分割部３０３の変形例）
上記実施形態において、領域分割部３０３では、特徴量空間でのクラスタリングを行う場合について説明したが、本発明はこれに限らず、画像空間でのクラスタリングを行ってもよい。画像空間でのクラスタリングとは、特徴量空間に写像せず、元の画像空間において、画素間、または領域を構成する画素群（領域）間の類似度を基に、領域分割を実施する手法である。例えば、領域分割部３０３は、（ａ）画素結合法、（ｂ）領域成長法（Ｒｅｇｉｏｎ Ｇｒｏｗｉｎｇ法ともいう）、（ｃ）領域分割統合法（Ｓｐｌｉｔ＆Ｍｅｒｇｅ法ともいう）の手法により、画像空間でのクラスタリングを行ってもよい。
【０１２３】
（顕著度算出部３０５の変形例）
上記実施形態において、顕著度算出部３０５が局所的な色差および大局的な色差に基づいて顕著度を算出する場合について説明したが、本発明はこれに限定されず、局所的な色差（式（２１）中の第一項ΔＥｌｏｃａｌ）、または、大局的な色差（式（２１）中の第二項ΔＥｇｌｏｂａｌ）のいずれか一方の指標に基づいて顕著度を算出してもよい。また、赤−緑の知覚色度ａ＊、黄−青の知覚色度ｂ＊を用いずに、明度指数であるＬ＊のみを用いて色差を算出してもよい。この場合は、人の視覚特性において、明るさの対比（コントラスト差）が大きい箇所が誘目性の高いことを表す。また、局所的な色差ΔＥｌｏｃａｌ、および大局的な色差ΔＥｇｌｏｂａｌは、ＣＩＥ方式に基づいて明度の差ΔＬ＊、クロマの差ΔＣ＊、色相の差ΔＨ＊を用いて、それぞれ式（３１）、式（３２）によって求めてもよい（例えば、非特許文献４を参照）。
【０１２４】
【数３１】
【数３２】
【０１２５】
なお、式（３１）の係数ｗ（ｕ，ｖ）は、式（１２）と同一である。また、式（３１）および式（３２）中の係数ｌ、ｃ、ｈは所定の重み係数である。また、顕著度の求め方は、色差に限定されず、色差、エッジ勾配、動きベクトルなど複数の画像特徴量に基づいて顕著度を算出してもよい（例えば、非特許文献５を参照）。
【０１２６】
（立体画像生成装置１の第一の変形例）
上記実施形態において、立体画像生成装置１のシーンチェンジ検出部１０、消失点推定部２０、及び奥行モデル生成部３０で入出力の画像サイズは、入力画像Ｆ（ｔ）と同一の画像サイズと仮定して説明してきたが、これに限定されない。例えば、演算量の低減、メモリサイズの低減を図るために、シーンチェンジ検出部１０、消失点推定部２０、及び奥行モデル生成部３０に入力する画像を、予め所定の画像サイズへ縮小し、奥行モデル生成部３０より出力される奥行モデルを入力画像サイズへ拡大する処理を追加して実施してもよい。つまり、立体画像生成装置１の第一の変形例（立体画像生成装置２）は、図２９に示すように、縮小処理部５０、シーンチェンジ検出部１０、消失点推定部２０、奥行モデル生成部３０、拡大処理部６０、視点画像生成部４０によって構成される。縮小処理部５０は、本発明の縮小画像生成手段に相当し、入力画像Ｆ（ｔ）から所定の画像サイズの縮小画像を生成する。そして、生成された縮小画像は、消失点推定部２０と奥行モデル生成部３０に入力される。拡大処理部６０は、本発明の拡大奥行モデル生成手段に相当し、奥行モデル生成部３０により生成された縮小画像の奥行モデルから入力画像Ｆ（ｔ）と同一画像サイズの拡大奥行モデルを生成する。
【０１２７】
上記立体画像生成装置２の動作例について、図３０に基づいて説明する。なお、図２９のシーンチェンジ検出部１０、消失点推定部２０、奥行モデル生成部３０、及び視点画像生成部４０の各動作（図３０のステップＳ６３、ステップＳ６４、ステップＳ６５、ステップＳ６７）はそれぞれ前述の図１に示した立体画像生成装置１のシーンチェンジ検出部１０、消失点推定部２０、奥行モデル推定部３０、及び視点画像生成部４０の各動作（前述の図２のステップＳ１２、ステップＳ１３、ステップＳ１４、ステップＳ１５）と同一であるため説明を省略する。
【０１２８】
図３０において、まず、図２９の立体画像生成装置２は、入力された時刻ｔの画像を縮小処理部５０、及び視点画像生成部４０へ出力する（図３０のステップＳ６１）。
【０１２９】
図２９の縮小処理部５０は、入力された処理対象画像Ｆ（ｔ）を予め定められた画像サイズへ縮小し、縮小画像Ｆｄ（ｔ）をシーンチェンジ検出部１０、消失点推定部２０、及び奥行モデル生成部３０へ出力する（図３０のステップＳ６２）。なお、画像の縮小は、例えば、ニアレストネイバ法、バイリニア法、バイキュービック法のいずれかの方法を用いて行う。
【０１３０】
図２９の拡大処理部６０は、入力された奥行モデルＤ（ｔ）を入力画像Ｆ（ｔ）の画像サイズへ拡大し、拡大奥行モデルＤｕ（ｔ）を視点画像生成部４０へ出力する（図３０のステップＳ６６）。なお、奥行モデルの拡大は、例えば、ニアレストネイバ法、バイリニア法、バイキュービック法のいずれかを用いて行う。
【０１３１】
上記立体画像生成装置２によれば、入力画像より小さい画像サイズの縮小画像を用いてシーンチェンジ検出処理、消失点推定処理、奥行モデル生成処理を行うため、図１の立体画像生成装置１に比べて、メモリサイズの低減、演算量の低減を図ることができる。
【０１３２】
（立体画像生成装置１の第二の変形例）
上記実施形態において、立体画像生成装置１では、幾何的な奥行手掛かりにより消失点位置を推定できる場合は、消失点に基づき画像の奥行モデルを生成し、幾何的な奥行手掛かりにより消失点位置を推定できない場合は、人の視覚特性に基づいた画像内の誘目性を表す顕著度に基づいて画像の奥行モデルを生成している。そのため、奥行モデル生成手段が切り替わる前後のフレームにおいて、時間方向に奥行モデルが異なるため、視差（奥行）の変化が大きくなると考えられる。また、同様にシーンチェンジが発生する前後のフレームにおいても、時間方向に奥行モデルが異なるため、視差（奥行）の変化が大きくなると考えられる。そこで、立体画像生成装置１の第二の変形例（図３１の立体画像生成装置３）では、時間方向の視差の変化を低減するために、奥行モデルを時空間方向に平滑化する時空間方向平滑化部７０を、奥行モデル生成部３０と視点画像生成部４０の間に設ける。つまり、立体画像生成装置３は、図３１に示すように、シーンチェンジ検出部１０、消失点推定部２０、奥行モデル生成部３０、時空間方向平滑化部７０、及び視点画像生成部４０によって構成される。この時空間方向平滑化部７０は、本発明の時空間方向平滑化手段に相当し、図３２に示すように、空間方向平滑化部７０１、時間方向平滑化部７０２、及びバッファ７０３によって構成される。時空間方向平滑部７０は、奥行モデル生成部３０により生成した処理対象画像Ｆ（ｔ）の奥行モデルＤ（ｔ）を空間方向に平滑化し、空間方向に平滑化された画像Ｆ（ｔ）の奥行モデルＤｓ（ｔ）と、画像Ｆ（ｔ）よりも過去の比較対象画像Ｆ（ｔ−１）の時空間方向に平滑化された奥行モデルＤｔ（ｔ−１）とに基づいて、画像Ｆ（ｔ）の奥行モデルＤｓ（ｔ）を時間方向に平滑化し、画像Ｆ（ｔ）の時空間方向に平滑化された奥行モデルＤｔ（ｔ）を生成する。
【０１３３】
上記立体画像生成装置３の動作例について、図３３、図３４に基づいて説明する。なお、図３１のシーンチェンジ検出部１０、消失点推定部２０、奥行モデル生成部３０、及び視点画像生成部４０の各動作（図３３のステップＳ７２、ステップＳ７３、ステップＳ７４、ステップＳ７６）はそれぞれ前述の図１に示した立体画像生成装置１のシーンチェンジ検出部１０、消失点推定部２０、奥行モデル推定部３０、及び視点画像生成部４０の各動作（前述の図２のステップＳ１２、ステップＳ１３、ステップＳ１４、ステップＳ１５）と同一であるため説明を省略する。
【０１３４】
（時空間方向平滑化部７０について）
図３１の時空間方向平滑化部７０は、入力された処理対象画像Ｆ（ｔ）の奥行モデルＤ（ｔ）に関して、時空間方向に平滑化処理を行い、その結果（平滑化奥行モデルＤｔ（ｔ）を出力する（図３３のステップＳ７５）。
【０１３５】
具体的には、図３２の空間方向平滑部７０１は、水平方向、垂直方向、または垂直方向、水平方向の順に１次元の平滑化フィルタにより空間方向に奥行モデルＤ（ｔ）を平滑化し、その結果（奥行モデルＤｓ（ｔ））を時間方向平滑部７０２へ出力する（図３４のステップＳ８１）。なお、１次元の平滑化フィルタは、例えば、１次元のガウシアンフィルタを用いる。
【０１３６】
図３２の時間方向平滑部７０２は、入力された空間方向に平滑化された奥行モデルＤｓ（ｔ）と、バッファ７０３に記憶された前フレームの平滑化奥行モデルＤｔ（ｔ−１）とに基づいて、下記の式（３３）により平滑化奥行モデルＤｔ（ｔ）を生成し、その結果をバッファ７０３、及び外部へ出力する（図３４のステップＳ８２）。なお、式（３３）中の係数αは、０〜１の間の所定の値である。
【０１３７】
【数３３】
【０１３８】
図３２のバッファ７０３は、前フレームの平滑化奥行モデルＤｔ（ｔ−１）を削除し、入力された現フレームの平滑化奥行モデルＤｔ（ｔ）を記憶する（図３４のステップＳ８３）。
【０１３９】
上記立体画像生成装置３によれば、時空間方向に奥行モデルを平滑化することにより、奥行モデル生成手段が切り替わる前後のフレーム、及びシーンチェンジが発生する前後のフレームにおいて、視差（奥行）の変化を低減することができる。
【０１４０】
以上、本発明に係る立体画像生成装置の各実施形態を中心に説明してきたが、本発明は、立体画像生成装置１による立体画像生成方法の形態とすることもできる。また、この立体画像生成方法をコンピュータに実行させるためのプログラムの形態としてもよい。
【０１４１】
つまり、上述した実施形態における立体画像生成装置１の一部をコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、立体画像生成装置１に内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【０１４２】
また、上述した実施形態における立体画像生成装置１の一部、または全部を、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現しても良い。立体画像生成装置１の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化しても良い。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。
【０１４３】
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
【符号の説明】
【０１４４】
１、２、３…立体画像生成装置、１０…シーンチェンジ検出部、２０…消失点推定部、２１…フレーム内消失点推定部、２２…フレーム間消失点推定部、３０…奥行モデル生成部、４０…視点画像生成部、５０…縮小処理部、６０…拡大処理部、７０…時空間方向平滑化部、１０１…輝度ヒストグラム生成部、１０２，２０３，２０４、７０３…バッファ、１０３…ヒストグラム類似度算出部、１０４…シーンチェンジ判定部、２０１，２０２，３０１，３０２…切替部、２１１…エッジ検出部、２１２…直線検出部、２１３…消失点同定部、２２１…特徴点検出部、２２２…対応点算出部、２２３…変換行列算出部、２２４…消失点位置算出部、３０３…領域分割部、３０４…距離算出部、３０５…顕著度算出部、３０６…奥行値設定部、４０１…視差ベクトル算出部、４０２…テクスチャシフト部、４０３…ギャップフィリング部、４０４…フローティングウィンドウ重畳部、７０１…空間方向平滑部、７０２…時間方向平滑化部。
【特許請求の範囲】
【請求項１】
２Ｄ画像に両眼立体情報を付加し、３Ｄ画像を生成する立体画像生成装置であって、
処理対象画像から消失点を推定する消失点推定手段と、
該消失点推定手段により消失点が推定できたか否かに基づいて異なる奥行モデルを生成する奥行モデル生成手段と、
該奥行モデル生成手段により生成した奥行モデルと前記処理対象画像と想定視聴条件情報とに基づいて、右眼提示画像と左眼提示画像を生成する視点画像生成手段とを備え、
前記奥行モデル生成手段は、前記消失点推定手段により消失点が推定できた場合、前記消失点に基づいて奥行モデルを生成し、また、前記消失点推定手段により消失点が推定できなかった場合、前記処理対象画像内の各画素の顕著度に基づいて奥行モデルを生成することを特徴とする立体画像生成装置。
【請求項２】
処理対象画像から所定の画像サイズの縮小画像を生成する縮小画像生成手段を備え、
前記縮小画像を、前記消失点推定手段と前記奥行モデル生成手段の入力とし、該奥行モデル生成手段により生成した前記縮小画像の奥行モデルから前記処理対象画像と同一画像サイズの拡大奥行モデルを生成する拡大奥行モデル生成手段を備えることを特徴とする請求項１に記載の立体画像生成装置。
【請求項３】
前記奥行モデル生成手段により生成した処理対象画像の奥行モデルを空間方向に平滑化し、該空間方向に平滑化された前記処理対象画像の奥行モデルと、該処理対象画像よりも過去の比較対象画像の時空間方向に平滑化された奥行モデルとに基づいて、前記処理対象画像の奥行モデルを時間方向に平滑化し、前記処理対象画像の時空間方向に平滑化された奥行モデルを生成する時空間方向平滑化手段を備えることを特徴とする請求項１に記載の立体画像生成装置。
【請求項４】
前記想定視聴条件情報は、前記３Ｄ画像を表示するディスプレイの画素ピッチ、該ディスプレイの画像サイズ、視聴者から前記ディスプレイまでの距離、前記３Ｄ画像の奥行量を表す視差範囲、左右の仮想視点間の距離である基線長を含むことを特徴とする請求項１〜３のいずれか１項に記載の立体画像生成装置。
【請求項５】
前記処理対象画像内の各画素の顕著度は、注目画素とその周辺画素との色差が大きい箇所、あるいは、注目画素と画像全体との色差が大きい箇所、あるいは、注目画素を含む局所領域とその周辺領域との色差が大きい箇所ほど高く算出されることを特徴とする請求項１〜４のいずれか１項に記載の立体画像生成装置。
【請求項６】
前記奥行モデル生成手段は、前記消失点推定手段により消失点が推定できなかった場合、前記処理対象画像内の各画素の顕著度が高い箇所が手前側になるように奥行モデルを生成することを特徴とする請求項５に記載の立体画像生成装置。
【請求項７】
前記消失点推定手段は、前記処理対象画像内の直線情報から該処理対象画像の消失点を推定するフレーム内消失点推定手段と、前記処理対象画像と該処理対象画像よりも過去の比較対象画像と該比較対象画像における消失点の位置とに基づいて、前記処理対象画像の消失点を推定するフレーム間消失点推定手段とを備えることを特徴とする請求項１〜６のいずれか１項に記載の立体画像生成装置。
【請求項８】
前記処理対象画像と前記比較対象画像との間でシーンチェンジがあったか否かを検出するシーンチェンジ検出手段を備え、該シーンチェンジ検出手段によりシーンチェンジが検出された場合、前記フレーム内消失点推定手段が選択され、前記シーンチェンジ検出手段によりシーンチェンジが検出されない場合、前記フレーム間消失点推定手段が選択されることを特徴とする請求項７に記載の立体画像生成装置。
【請求項９】
前記比較対象画像の消失点の位置を含む消失点情報を記憶する記憶手段を備え、該記憶手段に前記比較対象画像の消失点情報が記憶されている場合、前記フレーム間消失点推定手段が選択され、前記記憶手段に前記比較対象画像の消失点情報が記憶されていない場合、前記フレーム内消失点推定手段が選択されることを特徴とする請求項８に記載の立体画像生成装置。
【請求項１０】
前記比較対象画像は、前記処理対象画像の１つ前の画像であることを特徴とする請求項７〜９のいずれか1項に記載の立体画像生成装置。
【請求項１１】
２Ｄ画像に両眼立体情報を付加し、３Ｄ画像を生成する立体画像生成装置による立体画像生成方法であって、
前記立体画像生成装置が、処理対象画像から消失点を推定する消失点推定ステップと、
該消失点推定ステップにて消失点が推定できたか否かに基づいて異なる奥行モデルを生成する奥行モデル生成ステップと、
該奥行モデル生成ステップにて生成した奥行モデルと前記処理対象画像と想定視聴条件情報とに基づいて、右眼提示画像と左眼提示画像を生成する視点画像生成ステップとを備え、
前記奥行モデル生成ステップは、前記消失点推定ステップにて消失点が推定できた場合、前記消失点に基づいて奥行モデルを生成し、また、前記消失点推定ステップにて消失点が推定できなかった場合、前記処理対象画像内の各画素の顕著度に基づいて奥行モデルを生成することを特徴とする立体画像生成方法。
【請求項１２】
コンピュータに、請求項１１に記載の立体画像生成方法を実行させるためのプログラム。
【請求項１３】
請求項１２に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１】
２Ｄ画像に両眼立体情報を付加し、３Ｄ画像を生成する立体画像生成装置であって、
処理対象画像から消失点を推定する消失点推定手段と、
該消失点推定手段により消失点が推定できたか否かに基づいて異なる奥行モデルを生成する奥行モデル生成手段と、
該奥行モデル生成手段により生成した奥行モデルと前記処理対象画像と想定視聴条件情報とに基づいて、右眼提示画像と左眼提示画像を生成する視点画像生成手段とを備え、
前記奥行モデル生成手段は、前記消失点推定手段により消失点が推定できた場合、前記消失点に基づいて奥行モデルを生成し、また、前記消失点推定手段により消失点が推定できなかった場合、前記処理対象画像内の各画素の顕著度に基づいて奥行モデルを生成することを特徴とする立体画像生成装置。
【請求項２】
処理対象画像から所定の画像サイズの縮小画像を生成する縮小画像生成手段を備え、
前記縮小画像を、前記消失点推定手段と前記奥行モデル生成手段の入力とし、該奥行モデル生成手段により生成した前記縮小画像の奥行モデルから前記処理対象画像と同一画像サイズの拡大奥行モデルを生成する拡大奥行モデル生成手段を備えることを特徴とする請求項１に記載の立体画像生成装置。
【請求項３】
前記奥行モデル生成手段により生成した処理対象画像の奥行モデルを空間方向に平滑化し、該空間方向に平滑化された前記処理対象画像の奥行モデルと、該処理対象画像よりも過去の比較対象画像の時空間方向に平滑化された奥行モデルとに基づいて、前記処理対象画像の奥行モデルを時間方向に平滑化し、前記処理対象画像の時空間方向に平滑化された奥行モデルを生成する時空間方向平滑化手段を備えることを特徴とする請求項１に記載の立体画像生成装置。
【請求項４】
前記想定視聴条件情報は、前記３Ｄ画像を表示するディスプレイの画素ピッチ、該ディスプレイの画像サイズ、視聴者から前記ディスプレイまでの距離、前記３Ｄ画像の奥行量を表す視差範囲、左右の仮想視点間の距離である基線長を含むことを特徴とする請求項１〜３のいずれか１項に記載の立体画像生成装置。
【請求項５】
前記処理対象画像内の各画素の顕著度は、注目画素とその周辺画素との色差が大きい箇所、あるいは、注目画素と画像全体との色差が大きい箇所、あるいは、注目画素を含む局所領域とその周辺領域との色差が大きい箇所ほど高く算出されることを特徴とする請求項１〜４のいずれか１項に記載の立体画像生成装置。
【請求項６】
前記奥行モデル生成手段は、前記消失点推定手段により消失点が推定できなかった場合、前記処理対象画像内の各画素の顕著度が高い箇所が手前側になるように奥行モデルを生成することを特徴とする請求項５に記載の立体画像生成装置。
【請求項７】
前記消失点推定手段は、前記処理対象画像内の直線情報から該処理対象画像の消失点を推定するフレーム内消失点推定手段と、前記処理対象画像と該処理対象画像よりも過去の比較対象画像と該比較対象画像における消失点の位置とに基づいて、前記処理対象画像の消失点を推定するフレーム間消失点推定手段とを備えることを特徴とする請求項１〜６のいずれか１項に記載の立体画像生成装置。
【請求項８】
前記処理対象画像と前記比較対象画像との間でシーンチェンジがあったか否かを検出するシーンチェンジ検出手段を備え、該シーンチェンジ検出手段によりシーンチェンジが検出された場合、前記フレーム内消失点推定手段が選択され、前記シーンチェンジ検出手段によりシーンチェンジが検出されない場合、前記フレーム間消失点推定手段が選択されることを特徴とする請求項７に記載の立体画像生成装置。
【請求項９】
前記比較対象画像の消失点の位置を含む消失点情報を記憶する記憶手段を備え、該記憶手段に前記比較対象画像の消失点情報が記憶されている場合、前記フレーム間消失点推定手段が選択され、前記記憶手段に前記比較対象画像の消失点情報が記憶されていない場合、前記フレーム内消失点推定手段が選択されることを特徴とする請求項８に記載の立体画像生成装置。
【請求項１０】
前記比較対象画像は、前記処理対象画像の１つ前の画像であることを特徴とする請求項７〜９のいずれか1項に記載の立体画像生成装置。
【請求項１１】
２Ｄ画像に両眼立体情報を付加し、３Ｄ画像を生成する立体画像生成装置による立体画像生成方法であって、
前記立体画像生成装置が、処理対象画像から消失点を推定する消失点推定ステップと、
該消失点推定ステップにて消失点が推定できたか否かに基づいて異なる奥行モデルを生成する奥行モデル生成ステップと、
該奥行モデル生成ステップにて生成した奥行モデルと前記処理対象画像と想定視聴条件情報とに基づいて、右眼提示画像と左眼提示画像を生成する視点画像生成ステップとを備え、
前記奥行モデル生成ステップは、前記消失点推定ステップにて消失点が推定できた場合、前記消失点に基づいて奥行モデルを生成し、また、前記消失点推定ステップにて消失点が推定できなかった場合、前記処理対象画像内の各画素の顕著度に基づいて奥行モデルを生成することを特徴とする立体画像生成方法。
【請求項１２】
コンピュータに、請求項１１に記載の立体画像生成方法を実行させるためのプログラム。
【請求項１３】
請求項１２に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【公開番号】特開２０１３−５０２５（Ｐ２０１３−５０２５Ａ）
【公開日】平成２５年１月７日（２０１３．１．７）
【国際特許分類】
【出願番号】特願２０１１−１３１２５５（Ｐ２０１１−１３１２５５）
【出願日】平成２３年６月１３日（２０１１．６．１３）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成２５年１月７日（２０１３．１．７）
【国際特許分類】
【出願日】平成２３年６月１３日（２０１１．６．１３）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]