視差推定装置およびそのプログラム
【課題】本発明は、視差の推定精度の低下を抑制する視差推定装置を提供する。
【解決手段】視差推定装置１は、正規化相互相関で算出した類似度にコサイン逆関数を適用して第１の重み係数を乗じた誤差関数を用いてデータ項を生成するデータ項生成手段１１と、スムーズ項生成手段１２と、ブロック間でメッセージを伝搬するメッセージ伝搬手段１３と、視差候補決定手段１４と、正規化相互相関で算出した類似度にコサイン逆関数を適用して第１の重み係数より大きな第２の重み係数を乗じた誤差関数を用いてデータ項を生成するデータ項生成手段２１と、スムーズ項生成手段２２と、画素間でメッセージを伝搬するメッセージ伝搬手段２３と、メッセージ伝搬手段２３が更新した下位階層におけるエネルギーが最小となる視差であって、視差候補決定手段１４から入力された視差候補に含まれる視差を視差情報として決定する視差決定手段２４と、を備える。
【解決手段】視差推定装置１は、正規化相互相関で算出した類似度にコサイン逆関数を適用して第１の重み係数を乗じた誤差関数を用いてデータ項を生成するデータ項生成手段１１と、スムーズ項生成手段１２と、ブロック間でメッセージを伝搬するメッセージ伝搬手段１３と、視差候補決定手段１４と、正規化相互相関で算出した類似度にコサイン逆関数を適用して第１の重み係数より大きな第２の重み係数を乗じた誤差関数を用いてデータ項を生成するデータ項生成手段２１と、スムーズ項生成手段２２と、画素間でメッセージを伝搬するメッセージ伝搬手段２３と、メッセージ伝搬手段２３が更新した下位階層におけるエネルギーが最小となる視差であって、視差候補決定手段１４から入力された視差候補に含まれる視差を視差情報として決定する視差決定手段２４と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、信頼度伝搬法により、ステレオ画像の各画素の視差を示す視差情報を決定する視差推定装置およびそのプログラムに関する。
【背景技術】
【０００２】
例えば、３次元立体モデルを生成する際、ステレオ画像の各画素の視差を推定する視差推定技術が広く用いられている。この視差推定技術としては、例えば、ステレオ画像間で類似度を求めるブロックマッチングが知られている。また、類似度の計算方法としては、例えば、差の二乗和を求めるＳＳＤ（Sum of Squared Difference）、差の絶対和を求めるＳＡＤ(Sum of Absolute Difference)、および、正規化相互相関を求めるＺＮＣＣ(Zero-mean Normalized Cross-Correlation)が知られている（例えば、非特許文献１）。
【０００３】
また、視差推定技術としては、視差情報にマルコフランダムフィールドモデルを仮定し、ステレオ画像間のデータ項とスムーズ項とで構成されるエネルギーを最小化することにより、ノイズが少なく滑らかな視差情報を生成する信頼度伝搬法も知られている（例えば、非特許文献２）。ここで、データ項はステレオ画像間の類似度であり、スムーズ項は視差の不連続性を表す。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】ディジタル画像処理、ＣＧ−Ａｒｔｓ協会、２００６年、ｐ２０２−ｐ２０４
【非特許文献２】Pedro F.Felzenszwalb，Daniel P.Huttenlocher:Efficient Belief Propagation for Early Vision.CVPR(1)2004:261‐268
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、この信頼度伝搬法では、撮影カメラの個体差や撮影環境によってステレオ画像間に輝度差が生じた場合、視差の推定精度が低下するという問題がある。例えば、図１４（ａ）のコート面に表示された「２０」という模様を、２台の撮影カメラでステレオ画像として撮影した場合を考える。ここで、図１４（ａ）の下方向に配置された１台目の撮影カメラが、図１４（ｂ）に示す画像を撮影したとする。この場合、図１４（ｂ）の画像において、「２０」という模様の輝度ヒストグラムは、図１４（ｃ）に示すようになる。一方、図１４（ａ）の斜め下方向に配置された２台目の撮影カメラが、図１４（ｄ）に示す画像を撮影したとする。この場合、図１４（ｄ）の画像において、「２０」という模様の輝度ヒストグラムは、図１４（ｅ）に示すようになる。なお、図１４（ｂ），（ｄ）では、照明光が強くなる程、濃い色を付している。また、図１４（ｃ），（ｅ）では、縦軸が輝度値であり、横軸がその輝度値を有する画素数を示す。
【０００６】
ここで、２台の撮影カメラは、それぞれから見て、「２０」という模様に対する照明光のあたり方が異なる撮影環境にある。このため、図１４（ｃ）および図１４（ｅ）に示すように、ステレオ画像間の輝度ヒストグラムは、大きく異なる。この場合、図１４（ａ）の「２０」という模様について、図１４（ｂ），（ｃ）のステレオ画像から視差を推定することが困難である。この輝度差により視差の推定精度が低下する問題は、撮影カメラのレベル調整を十分に行っても解消することが難しい。
【０００７】
そこで、本発明は、前記した問題を解決し、視差の推定精度の低下を抑制する視差推定装置およびそのプログラムを提供することを課題とする。
【課題を解決するための手段】
【０００８】
前記した課題を解決するため、本願第１発明に係る視差推定装置は、ステレオ画像間の類似度を示すデータ項と視差の連続性を示すスムーズ項とを含むエネルギーを最小化する手法により、前記ステレオ画像の画素ごとの視差を示す視差情報を決定する視差推定装置であって、上位階層データ項生成手段と、上位階層スムーズ項生成手段と、上位階層エネルギー伝搬手段と、視差候補決定手段と、下位階層データ項生成手段と、下位階層スムーズ項生成手段と、下位階層エネルギー伝搬手段と、視差決定手段と、を備えることを特徴とする。
【０００９】
かかる構成によれば、視差推定装置は、上位階層データ項生成手段によって、前記ステレオ画像が入力されると共に、正規化相互相関で算出した前記類似度にコサイン逆関数を適用した誤差関数を用いて、入力された前記ステレオ画像からデータ項を生成する。ここで、正規化相互相関で算出した類似度にコサイン逆関数を適用することで、視差推定装置は、エネルギーの最小値を見つけやすいエネルギー分布を得ることができる。そして、視差推定装置は、上位階層スムーズ項生成手段で、所定の生成式によってスムーズ項を生成する。
【００１０】
また、視差推定装置は、上位階層エネルギー伝搬手段によって、前記上位階層データ項生成手段が生成したデータ項と前記上位階層スムーズ項生成手段が生成したスムーズ項とを含む前記画素ごとのエネルギーが集合したエネルギー集合を生成し、当該エネルギー集合を複数の画素で構成されるブロックに分割し、処理対象の前記ブロックの移動と、当該処理対象のブロックに対する所定の生成式によって生成したエネルギーの伝搬とを繰り返して、前記ブロックごとにエネルギーを更新する。そして、視差推定装置は、視差候補決定手段によって、前記上位階層エネルギー伝搬手段が更新したブロックごとのエネルギーが最小となる視差を前記ブロックの視差として決定し、当該ブロックの視差を当該ブロックに含まれる画素に割り当てて当該画素ごとの視差候補として出力する。つまり、視差推定装置は、１つのブロックを１つの画素とみなしてエネルギーの伝搬を行う。
【００１１】
また、視差推定装置は、下位階層データ項生成手段によって、前記ステレオ画像が入力されると共に、前記正規化相互相関で算出した前記類似度にコサイン逆関数を適用した誤差関数を用いて、入力された前記ステレオ画像からデータ項を生成する。ここで、正規化相互相関で算出した類似度にコサイン逆関数を適用することで、視差推定装置は、エネルギーの最小値を見つけやすいエネルギー分布を得ることができる。そして、視差推定装置は、下位階層スムーズ項生成手段で、所定の生成式によってスムーズ項を生成する。
【００１２】
また、視差推定装置は、下位階層エネルギー伝搬手段によって、前記下位階層データ項生成手段が生成したデータ項と前記下位階層スムーズ項生成手段が生成したスムーズ項とを含む前記画素ごとのエネルギーが集合したエネルギー集合を生成し、当該エネルギー集合内における画素間で、所定の生成式によって生成したエネルギーを伝搬して、前記画素ごとにエネルギーを更新する。そして、視差推定装置は、視差決定手段によって、前記下位階層エネルギー伝搬手段が更新した画素ごとのエネルギーが最小となる視差であって、前記視差候補決定手段から入力された視差候補に含まれる視差を前記視差情報として決定する。
【００１３】
つまり、視差推定装置は、ブロックの階層（上位階層）で画像全体のおおまかな視差（視差候補）を求め、画素の階層（下位階層）で被写体の輪郭を重視した視差を求める。そして、視差推定装置は、上位階層の視差候補に含まれる下位階層の視差を視差情報として決定することで、上位階層と下位階層との視差推定結果を統合する。
【００１４】
また、本願第２発明に係る視差推定装置は、前記上位階層データ項生成手段が、予め設定した第１の重み係数をさらに乗じた前記誤差関数を用いて、前記入力されたステレオ画像から前記データ項を生成し、前記下位階層データ項生成手段が、前記第１の重み係数より大きな第２の重み係数をさらに乗じた前記誤差関数を用いて、前記入力されたステレオ画像から前記データ項を生成することを特徴とする。
【００１５】
ここで、例えば、信頼度伝搬法では、重み係数を大きくすると、被写体の輪郭が判別し易くなる代わりにノイズが多くなり、重み係数を小さくすると、被写体の輪郭がぼやける代わりにノイズが少なくなる。このように、信頼度伝搬法では、１つの重み係数を適切な値に設定することが難しい。このため、視差推定装置は、ブロックの階層（上位階層）で、第１の重み係数を小さな値に設定して画像全体のおおまかな視差（視差候補）を求め、画素の階層（下位階層）で、第２の重み係数を大きな値に設定して被写体の輪郭を重視した視差を求める。
【００１６】
また、前記した課題を解決するため、本願第３発明に係る視差推定装置は、ステレオ画像間の類似度を示すデータ項と視差の連続性を示すスムーズ項とを含むエネルギーを最小化する手法により、前記ステレオ画像の画素ごとの視差を示す視差情報を決定する視差推定装置であって、上位階層データ項生成手段と、上位階層スムーズ項生成手段と、上位階層エネルギー伝搬手段と、視差候補決定手段と、下位階層データ項生成手段と、下位階層スムーズ項生成手段と、下位階層エネルギー伝搬手段と、視差決定手段と、を備えることを特徴とする。
【００１７】
かかる構成によれば、視差推定装置は、上位階層データ項生成手段によって、前記ステレオ画像が入力されると共に、入力された前記ステレオ画像から誤差関数を用いてデータ項を生成する。また、視差推定装置は、上位階層スムーズ項生成手段で、所定の生成式によってスムーズ項を生成する。
【００１８】
また、視差推定装置は、上位階層エネルギー伝搬手段によって、前記上位階層データ項生成手段が生成したデータ項と前記上位階層スムーズ項生成手段が生成したスムーズ項とを含む前記画素ごとのエネルギーが集合したエネルギー集合を生成し、当該エネルギー集合を複数の画素で構成されるブロックに分割し、処理対象の前記ブロックの移動と、当該処理対象のブロックに対する所定の生成式によって生成したエネルギーの伝搬とを繰り返して、前記ブロックごとにエネルギーを更新する。そして、視差推定装置は、視差候補決定手段によって、前記上位階層エネルギー伝搬手段が更新したブロックごとのエネルギーが最小となる視差を前記ブロックの視差として決定し、当該ブロックの視差を当該ブロックに含まれる画素に割り当てて当該画素ごとの視差候補として出力する。つまり、視差推定装置は、１つのブロックを１つの画素とみなしてエネルギーの伝搬を行う。
【００１９】
また、視差推定装置は、下位階層データ項生成手段によって、前記ステレオ画像が入力されると共に、入力された前記ステレオ画像から誤差関数を用いてデータ項を生成する。そして、視差推定装置は、下位階層スムーズ項生成手段で、所定の生成式によってスムーズ項を生成する。
【００２０】
また、視差推定装置は、下位階層エネルギー伝搬手段によって、前記下位階層データ項生成手段が生成したデータ項と前記下位階層スムーズ項生成手段が生成したスムーズ項とを含む前記画素ごとのエネルギーが集合したエネルギー集合を生成し、当該エネルギー集合内における画素間で、所定の生成式によって生成したエネルギーを伝搬して、前記画素ごとにエネルギーを更新する。そして、視差推定装置は、視差決定手段によって、前記下位階層エネルギー伝搬手段が更新した画素ごとのエネルギーが最小となる視差であって、前記視差候補決定手段から入力された視差候補に含まれる視差を前記視差情報として決定する。
【００２１】
つまり、視差推定装置は、ブロックの階層（上位階層）で画像全体のおおまかな視差（視差候補）を求め、画素の階層（下位階層）で被写体の輪郭を重視した視差を求める。そして、視差推定装置は、上位階層の視差候補に含まれる下位階層の視差を視差情報として決定することで、上位階層と下位階層との視差推定結果を統合する。
【００２２】
また、前記した課題を解決するため、本願第４発明に係る視差推定装置は、ステレオ画像間の類似度を示すデータ項と視差の連続性を示すスムーズ項とを含むエネルギーを最小化する手法により、前記ステレオ画像の画素ごとの視差を示す視差情報を決定する視差推定装置であって、データ項生成手段と、スムーズ項生成手段と、エネルギー伝搬手段と、視差決定手段と、を備えることを特徴とする。
【００２３】
かかる構成によれば、視差推定装置は、データ項生成手段によって、前記ステレオ画像が入力されると共に、前記正規化相互相関で算出した前記類似度にコサイン逆関数を適用した誤差関数を用いて、入力された前記ステレオ画像からデータ項を生成する。ここで、正規化相互相関で算出した類似度にコサイン逆関数を適用することで、視差推定装置は、エネルギーの最小値を見つけやすいエネルギー分布を得ることができる。また、視差推定装置は、スムーズ項生成手段で、所定の生成式によってスムーズ項を生成する。
【００２４】
また、視差推定装置は、エネルギー伝搬手段によって、前記データ項生成手段が生成したデータ項と前記スムーズ項生成手段が生成したスムーズ項とを含む前記画素ごとのエネルギーが集合したエネルギー集合を生成し、当該エネルギー集合内における画素間で、所定の生成式によって生成したエネルギーを伝搬して、前記画素ごとにエネルギーを更新する。そして、視差推定装置は、視差決定手段によって、前記エネルギー伝搬手段が更新した画素ごとのエネルギーが最小となる視差を前記視差情報として推定する。
【００２５】
また、本願第１発明〜本願第４発明に係る視差推定装置は、コンピュータを、前記した各手段として機能させる視差推定プログラムによって実現することが好ましい。
【発明の効果】
【００２６】
本発明は、以下のような優れた効果を奏する。
本願第１発明は、エネルギーの最小値を見つけやすいエネルギー分布を得ることができると共に、画像全体のおおまかな視差を求めた上位階層の視差推定結果と、被写体の輪郭を重視して視差を求めた下位階層の視差推定結果とを統合する。これによって、本願第１発明は、ステレオ画像間に輝度差が生じた場合でも、その輝度差に起因する視差推定の誤差を少なくでき、視差の推定精度の低下を抑制することができる。
【００２７】
本願第２発明は、信頼度伝搬法において、ステレオ画像間に輝度差が生じた場合でも、その輝度差に起因する視差推定の誤差を少なくでき、視差の推定精度の低下を抑制することができる。
【００２８】
本願第３発明は、画像全体のおおまかな視差を求めた上位階層の視差推定結果と、被写体の輪郭を重視して視差を求めた下位階層の視差推定結果とを統合する。これによって、本願第３発明は、ステレオ画像間に輝度差が生じた場合でも、その輝度差に起因する視差推定の誤差を少なくでき、視差の推定精度の低下を抑制することができる。
【００２９】
本願第４発明は、エネルギーの最小値を見つけやすいエネルギー分布を得ることができる。これによって、本願第４発明は、ステレオ画像間に輝度差が生じた場合でも、その輝度差に起因する視差推定の誤差を少なくでき、視差の推定精度の低下を抑制することができる。
【図面の簡単な説明】
【００３０】
【図１】本発明での信頼度伝搬法による視差推定を説明する説明図である。
【図２】本発明での信頼度伝搬法による視差推定の手順を示すフローチャートである。
【図３】本発明の第１実施形態に係る視差推定装置の構成を示すブロック図である。
【図４】本発明における上位階層（ブロック）を説明する説明図である。
【図５】本発明における下位階層（画素）を説明する説明図である。
【図６】図３の視差推定装置によるテンプレートマッチングを説明する説明図である。
【図７】本発明における上位階層でのメッセージの伝搬を説明する説明図である。
【図８】本発明における上位階層の移動を説明する説明図であり、（ａ）は初期位置の図であり、（ｂ）は（ａ）から１画素だけ水平方向に移動した図であり、（ｃ）は（ｂ）から１画素だけ水平方向に移動した図であり、（ｄ）は（ａ）から１画素だけ垂直方向に移動した図である。
【図９】図３の視差推定装置による視差の決定を説明する説明図である。
【図１０】図３の視差推定装置の動作を示すフローチャートである。
【図１１】本発明の第３実施形態に係る視差推定装置の構成を示すブロック図である。
【図１２】本発明の実施例を説明する画像であり、（ａ）は従来の信頼度伝搬法による視差画像であり、（ｂ）は本発明による視差画像である。
【図１３】本発明の実施例を説明する画像であり、輝度を徐々に低下させた際のステレオ画像（Ｌ画像、Ｒ画像）と、従来の信頼度伝搬法による視差画像と、本発明による視差画像とである。
【図１４】従来の信頼度伝搬法による視差推定の際、輝度差により視差の推定精度が低下する問題を説明する図であり、（ａ）はコート面を示す図であり、（ｂ）は１台目の撮影カメラでコート面の模様を撮影した図であり、（ｃ）は（ｂ）の模様部分の輝度ヒストグラムであり、（ｄ）は２台目の撮影カメラでコート面の模様を撮影した図であり、（ｅ）は（ｄ）の模様部分の輝度ヒストグラムである。
【発明を実施するための形態】
【００３１】
（本発明の概略：信頼度伝搬法による視差推定）
本発明の各実施形態では、データ項とスムーズ項とを含むエネルギーを最小化する手法として、信頼度伝搬法を用いている。そこで、最初に、本発明における信頼度伝搬法の概略を説明する。
この信頼度伝搬法（ＢＰ法：Belief Propagation法）は、視差情報にマルコフランダムフィールド（ＭＲＦ：Markov Random Field）モデルを仮定し、ステレオ画像のブロック間のデータ項とスムーズ項とで構成されるエネルギーを最小化することにより、ノイズが少なく滑らかな視差情報を生成するものである。ここで、信頼度伝搬法は、図１に示すように、処理の対象となる画素の近傍画素から、メッセージと呼ばれる各画素にどの視差が割り当てられるかという確率に関するエネルギーを受け取り、それらからメッセージ（エネルギー）を更新して近傍画素に伝搬させる。そして、信頼度伝搬法は、この処理を画像内の全ての画素に対して繰り返し行うことで各画素の視差情報を求める。
【００３２】
ここで、図１では、枠（白塗四角形）が画素を示し、矢印ｍが画素間のメッセージ（エネルギー）の流れを示している。また、図１に示すように、画素を縦横に配列したものをエネルギー集合と呼ぶ。さらに、文字「ｓ」が付された画素ｓは、メッセージの伝搬元となる画素を示し、文字「ｐ」が付された画素ｐは、処理対象の画素を示し、文字「ｑ」が付された画素ｑは、メッセージの伝搬先となる隣接画素を示す。なお、図１では、説明を簡易にするために、一部符号のみを図示した。
【００３３】
図２を参照し、信頼度伝搬法による視差推定の手順を説明する。
図２に示すように、信頼度伝搬法では、メッセージの生成に必要なデータ項を生成する（ステップＳ１）。ここで、データ項を生成する誤差関数は、様々のものがあるが、ＲＳＳＤ（Root Sum of Squared Difference）で生成する場合、下記の式（１）となる。
【００３４】
【数１】
【００３５】
ここで、ｆｐは画素ｐの視差値、ｆｑは画素ｑの視差値、Ｒ（ｐ）は画素ｐを中心としたブロック内の画素集合、Ｉはブロック画像の画素値、Ｉ´は処理対象画像の画素値、λは誤差関数の重み付けを表す。例えば、視差値ｆｐは、２枚のステレオ画像をテンプレートマッチングした際の画素ｐのずれ量から求めることができる（視差値ｆｑも同様）。また、ｉは水平方向の画素位置、ｊは垂直方向の画素位置である。
【００３６】
続いて、信頼度伝搬法では、下記の式（２）で表されるスムーズ関数でスムーズ項を生成する（ステップＳ２）。このスムーズ関数は、視差情報の滑らかさ（例えば、ノイズの少なさ）を示す関数である。
【００３７】
【数２】
【００３８】
そして、信頼度伝搬法では、下記の式（３）で表される生成式によって、メッセージを生成し、このメッセージの伝搬を行う（ステップＳ３）。
【００３９】
【数３】
【００４０】
ここで、ｍｉｎは最小値を取得する関数、ｍはメッセージ、ｔは反復回数、Ｎ（ｐ）/ｑは画素ｑ以外で画素ｐへメッセージを渡す近傍画素の集合、ｓはその近傍画素の要素画素を表す。この式（３）は、漸化式になっており、受け取ったメッセージをもとにメッセージを更新する処理を繰り返し行うことを示す。そして、信頼度伝搬法では、このメッセージの伝搬を全画素で行う。
【００４１】
予め設定したＴ回まで反復したとき、画素ｑの視差に関するエネルギーは、下記の式（４）で表すことができる。そして、信頼度伝搬法では、この式（４）で表されるエネルギーｂｑが最小になる視差値ｆｑを各画素の最終的な視差として決定する（ステップＳ４）。
【００４２】
【数４】
【００４３】
以下、本発明の各実施形態について、適宜図面を参照しながら詳細に説明する。なお、各実施形態において、同一の機能を有する手段には同一の符号を付し、説明を省略した。
【００４４】
（第１実施形態）
［視差推定装置の構成］
図３を参照し、本発明の第１実施形態に係る視差推定装置１の構成について説明する。図３に示すように、視差推定装置１は、ステレオ画像間の類似度を示すデータ項と視差の連続性を示すスムーズ項とを含むエネルギーを最小化する信頼度伝搬法により、ステレオ画像の視差を示す視差情報を推定するものである。第１実施形態では、視差推定装置１は、上位階層（ブロックの階層）および下位階層（画素の階層）という２つの階層でそれぞれ信頼度伝搬法による視差推定を行うため、上位階層処理部１０と、下位階層処理部２０とを備える。
【００４５】
ここで、図４および図５を参照し、ブロックの階層と、画素の階層とをそれぞれ説明する。この上位階層ＵＢは、図１のエネルギー集合における複数の画素で構成されたブロックである。図４の例では、上位階層ＵＢは、縦横３つの画素で構成されるブロックとなる。そして、上位階層処理部１０は、１つの上位階層ＵＢを１つの画素とみなして、信頼度伝搬法による視差推定を行う。なお、図４のエネルギー集合では、枠（白塗四角形）がエネルギー集合内の画素を示し、破線が上位階層ＵＢを示している。また、図４では、説明を簡易にするために、一部符号のみを図示した。
【００４６】
また、下位階層ＬＢは、図５に示すように、図１のエネルギー集合における画素のそれぞれである。つまり、下位階層処理部２０は、図１の信頼度伝搬法と同様、画素間でメッセージを伝搬させて、視差推定を行うことになる。なお、図５のエネルギー集合では、枠（白塗四角形）がエネルギー集合内の画素を示し、破線が下位階層ＬＢを示している。また、図５では、説明を簡易にするために、一部符号のみを図示した。
【００４７】
以下、図３に戻り、視差推定装置１の構成について説明を続ける。
上位階層処理部１０は、画像全体のおおまかな視差を求めるべく、上位階層での視差推定を行うものであり、データ項生成手段（上位階層データ項生成手段）１１と、スムーズ項生成手段（上位階層スムーズ項生成手段）１２と、メッセージ伝搬手段（上位階層エネルギー伝搬手段）１３と、視差候補決定手段１４とを備える。
【００４８】
データ項生成手段１１は、ステレオ画像（Ｌ画像、Ｒ画像）が入力されると共に、後記する誤差関数を用いて、入力されたステレオ画像からデータ項を生成する。まず、データ項生成手段１１は、入力されたステレオ画像に対してテンプレートマッチングを行って画素ごとにずれ（視差）を算出する。具体的には、図６に示すように、データ項生成手段１１は、Ｌ画像（ブロック画像）から所定サイズのテンプレートＴＰを抜き出す。そして、データ項生成手段１１は、抜き出したテンプレートＴＰをＲ画像（処理対象画像）全体で移動させながら、それぞれの位置で類似度を求める。このとき、データ項生成手段１１は、テンプレートＴＰをＲ画像の左端から水平方向に移動させながらテンプレートマッチングを行う（ラスタスキャン）。
【００４９】
ここで、データ項生成手段１１は、正規化相互相関（ＺＮＣＣ）で類似度を算出する。つまり、データ項生成手段１１は、ステレオ画像の類似度を下記の式（５）を用いて算出する。
【００５０】
【数５】
【００５１】
ここで、Ｉはブロック画像のテンプレート内の画素値の平均値、Ｉ´は処理対象画像のテンプレート内の画素値の平均値である。
【００５２】
そして、データ項生成手段１１は、この類似度にコサイン逆関数を適用する誤差関数によって、この類似度をブロック画像および処理対象画像双方のベクトルのなす角に変換し、データ項を生成する。つまり、データ項生成手段１１は、下記の式（６）および式（７）で表される誤差関数によりデータ項を生成する。このとき、データ項生成手段１１は、上位階層での処理を行うところ、式（７）で表される上位階層ごとの誤差関数を用いる。このとき、上位階層で画像全体のおおまかな視差を求めるため、データ項生成手段１１は、後記するデータ項生成手段２１よりも、式（６）における重み付けを小さく設定する（例えば、λ＝５）。その後、データ項生成手段１１は、生成したデータ項をメッセージ伝搬手段１３に出力する。
【００５３】
【数６】
【００５４】
【数７】
【００５５】
ここで、ｐ´は処理対象の上位階層（ブロック）であり、Ｂ（ｐ）は画素ｐを中心とするε×εの上位階層（ブロック）内の画素集合である。
【００５６】
スムーズ項生成手段１２は、所定の生成式によってスムーズ項を生成する。ここで、スムーズ項生成手段１２は、下記の式（８）で表される上位階層ごとのスムーズ関数を用いて、スムーズ項を生成する。そして、スムーズ項生成手段１２は、生成したスムーズ項をメッセージ伝搬手段１３に出力する。
【００５７】
【数８】
【００５８】
ここで、ｑ´は上位階層ｐ´のメッセージ伝搬先となる上位階層（ブロック）、εは上位階層（ブロック）境界の画素数である。つまり、εは、上位階層（ブロック）の縦横一辺あたりの画素数である。
【００５９】
ここで、マルコフランダムフィールドおよびスムーズ項について補足する。このマルコフランダムフィールドは、画像で互いに隣接する画素の色、輝度や視差が似ていることを示すモデルである。そして、スムーズ項は、このマルコフランダムフィールドを踏まえた視差の連続性に関する関数であり、各画素に視差を割り当てた際、互いに隣接する画素の視差が同じであればエネルギーが小さく、異なればエネルギーが大きくなる。例えば、マルコフランダムフィールドでは、ある画素の視差値が１で、その隣接画素の視差値が１である場合、エネルギーは０となる。また、ある画素の視差値が１で、その画素に隣接する画素の視差値が２である場合、例えば、エネルギーは１となる。さらに、ある画素の視差値が１で、その隣接画素の視差値が１０である場合、例えば、エネルギーは９となる。つまり、信頼度伝搬法において、エネルギーが最小となる視差が最終的な視差情報となることを考慮すれば、このマルコフランダムフィールドにより、互いに隣接する画素は、同じような視差値になり易くなる。
【００６０】
メッセージ伝搬手段１３は、データ項生成手段１１からデータ項が入力され、スムーズ項生成手段１２からスムーズ項が入力される。そして、メッセージ伝搬手段１３は、図１と同様に、これらデータ項およびスムーズ項を含むエネルギーが集合したエネルギー集合を生成する。例えば、メッセージ伝搬手段１３は、画像における画素位置に対応した位置に画素ごとのエネルギーを配置することで、エネルギー集合を生成する。
【００６１】
そして、メッセージ伝搬手段１３は、このエネルギー集合を予め設定した数の画素（例えば、縦横にε個の画素）で構成される上位階層に分割し、処理対象の上位階層の移動と、処理対象の上位階層に対するメッセージの伝搬とを繰り返して、上位階層ごとにエネルギーを更新する。言い換えるなら、メッセージ伝搬手段１３は、前記した式（３）において、１つの上位階層を１つの画素とみなして、上位階層間でメッセージの伝搬を行う。なお、移動とは、エネルギー集合内において、処理対象の上位階層を水平方向および垂直方向に所定の回数移動させることであり、その詳細は後記する。
【００６２】
視差候補決定手段１４は、メッセージ伝搬手段１３が更新した、上位階層ごとのエネルギーが最小となる視差を上位階層の視差として決定する。つまり、視差候補決定手段１４は、前記した式（４）において、１つの上位階層を１つの画素とみなして、上位階層の視差を決定する。そして、視差候補決定手段１４は、決定した上位階層の視差をこの上位階層に含まれる各画素に割り当てて、画素ごとの視差候補として後記する視差決定手段２４に出力する。
【００６３】
＜上位階層でのメッセージの伝搬および視差候補の決定＞
以下、図７，図８を参照し、メッセージ伝搬手段１３および視差候補決定手段１４を詳細に説明する（適宜図３参照）。なお、図７，図８のエネルギー集合では、枠（白塗四角形）が画素を示し、矢印ｍがメッセージの流れを示し、破線が上位階層ＵＢ（ＵＢ１〜５）を示している。また、図７，図８では、説明を簡易にするために、一部符号のみを図示した。
【００６４】
例えば、図７に示すように、メッセージ伝搬手段１３は、メッセージの伝搬元である上位階層ＵＢ１〜ＵＢ３から、処理対象の上位階層ＵＢ４にメッセージを受け渡す。また、上位階層ＵＢ４において、メッセージ伝搬手段１３が、受け取ったメッセージで、上位階層ＵＢ４のエネルギーを更新する共に、上位階層ＵＢ４から、メッセージの伝搬先である上位階層ＵＢ５にメッセージを受け渡す。このとき、視差候補決定手段１４は、処理対象の上位階層ＵＢ４について、エネルギーが最小となる視差をこの上位階層ＵＢ４の視差として決定する。そして、視差候補決定手段１４は、この上位階層ＵＢ４の視差を、上位階層ＵＢ４に含まれる全ての画素の視差とする。
【００６５】
また、メッセージ伝搬手段１３および視差候補決定手段１４は、処理対象の上位階層ＵＢを移動させながら、前記した処理を繰り返す。具体的には、メッセージ伝搬手段１３および視差候補決定手段１４は、図８（ａ）に示す初期位置において、処理対象の上位階層ＵＢの視差を決定する。そして、メッセージ伝搬手段１３は、図８（ｂ）に示すように、図８（ａ）に示す初期位置から処理対象の上位階層ＵＢを水平方向に１つの画素だけ移動させ、この位置での視差を決定する。さらに、メッセージ伝搬手段１３は、図８（ｃ）に示すように、図８（ｂ）に示す位置から処理対象の上位階層ＵＢを水平方向に１つの画素だけ移動させ、この位置での視差を決定する。このように、メッセージ伝搬手段１３は、処理対象の上位階層ＵＢを初期位置から水平方向に移動させながらの処理を、ε回行う。
【００６６】
次に、図８（ｄ）に示すように、メッセージ伝搬手段１３は、図８（ａ）に示す初期位置から処理対象の上位階層ＵＢを垂直方向に１つの画素だけ移動させ、この位置での視差を決定する。そして、メッセージ伝搬手段１３は、図８（ｄ）の位置から上位階層ＵＢを水平方向に移動させながらそれぞれの位置で視差を決定する。このように、メッセージ伝搬手段１３は、ε行の処理が完了するまで視差の決定を繰り返す。その結果、各画素には、処理を繰り返した回数（つまり、ε×ε回、図７の例では９回）だけの視差（視差値）が割り当てられる。従って、視差候補決定手段１４は、割り当てられた視差（視差値）のそれぞれを、画素ごとの視差候補として視差決定手段２４に出力する。
【００６７】
なお、エネルギー集合の周辺に位置する画素は、中心側に位置する画素よりも視差（視差候補）の数が少ない場合がある。例えば、左上等の４隅に位置する画素は、処理対象の上位階層ＵＢに１回しか含まれないため、視差（視差候補）が１個となる。また、例えば、最上列左側２行目の画素は、処理対象の上位階層ＵＢに２回しか含まれないため、視差（視差候補）が２個となる。
【００６８】
以下、図３に戻り、視差推定装置１の構成について説明を続ける。
下位階層処理部２０は、被写体の輪郭を重視して視差を求めるべく、下位階層（下位ブロック）での視差推定を行うものであり、データ項生成手段（下位階層データ項生成手段）２１と、スムーズ項生成手段（下位階層スムーズ項生成手段）２２と、メッセージ伝搬手段（下位階層エネルギー伝搬手段）２３と、視差決定手段２４とを備える。
【００６９】
データ項生成手段２１は、ステレオ画像（Ｌ画像、Ｒ画像）が入力されると共に、データ項生成手段１１と同様に、入力されたステレオ画像からデータ項を生成する。つまり、データ項生成手段２１は、前記した式（５）でステレオ画像の類似度を求め、前記した式（６）で表される誤差関数を用いてデータ項を生成する。このとき、下位階層では被写体の輪郭を重視して視差を求めるため、データ項生成手段２１は、前記したデータ項生成手段１１よりも、式（６）における重み付けを大きくする（例えば、λ＝１５）。そして、データ項生成手段２１は、生成したデータ項を後記するメッセージ伝搬手段２３に出力する。
【００７０】
スムーズ項生成手段２２は、所定の生成式によってスムーズ項を生成する。つまり、スムーズ項生成手段２２は、前記した式（２）で表されるスムーズ関数を用いて、スムーズ項を生成する。そして、スムーズ項生成手段２２は、生成したスムーズ項をメッセージ伝搬手段２３に出力する。
【００７１】
メッセージ伝搬手段２３は、データ項生成手段２１からデータ項が入力され、スムーズ項生成手段２２からスムーズ項が入力される。そして、メッセージ伝搬手段２３は、これらデータ項およびスムーズ項を含むエネルギーが集合したエネルギー集合を生成する。この場合、メッセージ伝搬手段２３は、前記した式（３）を用いて、メッセージを生成する。そして、メッセージ伝搬手段２３は、このエネルギー集合内の下位階層間でメッセージを伝搬させて、下位階層におけるエネルギーを更新する。
【００７２】
視差決定手段２４は、メッセージ伝搬手段２３が更新した、下位階層におけるエネルギーが最小となる視差を下位階層の視差として決定する。つまり、視差決定手段２４は、前記した式（４）が最小となる視差を下位階層の視差として決定する。そして、視差決定手段２４は、視差候補決定手段１４から入力された視差候補（上位階層の視差）の中に含まれる下位階層の視差を、画素ごとの視差情報として推定する。
【００７３】
以下、図９を参照し、視差情報の推定について説明する。
この図９では、図左側が被写体Ｏｂであり、被写体Ｏｂの輪郭Ｅｇを太線で図示した。従って、図９右側が、被写体Ｏｂ以外の背景部分となる。さらに、図９では、画素のそれぞれを破線の枠（四角形）で図示した。
また、上位階層の一辺あたりの画素数が３画素（ε＝３）であるとして説明する。言い換えるなら、各画素の視差候補が３×３＝９個存在することになる。
【００７４】
まず、輪郭Ｅｇから離れた被写体Ｏｂに対応する画素（下位階層）α１について考える。ここで、この画素α１は、その近隣画素と殆ど同じ視差になることから、視差候補決定手段１４が出力する視差候補の種類が少なくなる（又は１種類）。ここで、例えば、視差候補決定手段１４が、画素α１の視差候補を「４，４，３，４，４，４，４，３，４」という９個、つまり、「３，４」という２種類の視差候補を出力したとする。このとき、画素α１の視差値が「４」であれば、視差決定手段２４は、画素α１の視差情報を２種類の視差候補「３，４」に含まれる「４」とする。
【００７５】
次に、輪郭Ｅｇの近くにある被写体Ｏｂに対応する画素（下位階層）α２について考える。この画素α２は、被写体Ｏｂの視差および背景部分の視差のそれぞれが視差候補となることから、視差候補決定手段１４が出力する視差候補の種類が多くなる。ここで、例えば、視差候補決定手段１４が、画素α２の視差候補を「１，２，２，１，３，４，４，３，４」という９個、つまり、「１，２，３，４」という４種類の値の視差候補を出力したとする。このとき、画素α２（下位階層）の視差値が「４」であれば、視差決定手段２４は、画素α２の視差情報を４種類の視差候補「１，２，３，４」に含まれる「４」とする。
【００７６】
さらに、輪郭Ｅｇの近くにある背景部分に対応する画素（下位階層）α３について考える。ここで、例えば、視差候補決定手段１４が、画素α３の視差候補を「１，２，８，１，３，１，１，２，１」という９個の視差候補を出力したとする。通常、背景部分よりも被写体Ｏｂが手前側に位置することから、背景部分に対応する画素α３は、その視差値が、被写体Ｏｂに対応する画素α１，α２より小さくなる。しかし、この画素α３で、ステレオ画像の輝度差により、視差候補に「８」というノイズが混入したとする。この場合でも、画素α３（下位階層）の視差値が「２」であれば、視差決定手段２４は、画素α３の視差情報を視差候補に含まれる「２」とし、「８」というノイズを視差情報とすることがない。このようにして、視差決定手段２４は、画素ごとに上位階層の視差推定結果と下位階層の視差推定結果とを統合し、輝度差による視差推定の精度の低下を抑制する。
【００７７】
［視差推定装置の動作］
以下、図１０を参照し、視差推定装置１の動作について説明する（適宜図３参照）。
視差推定装置１は、データ項生成手段１１によって、上位階層についてデータ項を生成する（ステップＳ１１）。つまり、データ項生成手段１１は、入力されたステレオ画像に対してテンプレートマッチングを行い、前記した式（５）でステレオ画像の類似度を求め、前記した式（６）および式（７）で表される誤差関数によりデータ項を生成する。
【００７８】
また、視差推定装置１は、スムーズ項生成手段１２によって、上位階層についてスムーズ項を生成する（ステップＳ１２）。つまり、スムーズ項生成手段１２は、前記した式（８）で表されるスムーズ関数を用いて、スムーズ項を生成する。
【００７９】
また、視差推定装置１は、メッセージ伝搬手段１３によって、上位階層についてメッセージの伝搬を行う（ステップＳ１３）。つまり、メッセージ伝搬手段１３は、エネルギー集合を生成し、このエネルギー集合内における上位階層の移動と、上位階層でのメッセージの伝搬とを繰り返して、上位階層におけるエネルギーを更新する。
【００８０】
また、視差推定装置１は、視差候補決定手段１４によって、視差候補（上位階層の視差）を決定する（ステップＳ１４）。つまり、視差候補決定手段１４は、上位階層におけるエネルギーが最小となる視差を上位階層の視差として決定し、これを上位階層に含まれる画素に割り当てて画素ごとの視差候補とする。
【００８１】
また、視差推定装置１は、データ項生成手段２１によって、下位階層についてデータ項を生成する（ステップＳ１５）。つまり、データ項生成手段２１は、入力されたステレオ画像に対してテンプレートマッチングを行い、前記した式（５）でステレオ画像の類似度を求め、前記した式（６）で表される誤差関数を用いてデータ項を生成する。
【００８２】
また、視差推定装置１は、スムーズ項生成手段２２によって、下位階層についてスムーズ項を生成する（ステップＳ１６）。つまり、スムーズ項生成手段２２は、前記した式（２）で表されるスムーズ関数を用いて、スムーズ項を生成する。
【００８３】
また、視差推定装置１は、メッセージ伝搬手段２３によって、下位階層についてメッセージの伝搬を行う（ステップＳ１７）。つまり、メッセージ伝搬手段２３は、エネルギー集合を生成し、このエネルギー集合内における下位階層（画素）間でメッセージを伝搬させ、下位階層におけるエネルギーを更新する。
【００８４】
また、視差推定装置１は、視差決定手段２４によって、視差を決定する（ステップＳ１８）。つまり、視差決定手段２４は、下位階層におけるエネルギーが最小となる視差を下位階層の視差として決定する。そして、視差決定手段２４は、視差候補（上位階層の視差）の中に含まれる下位階層の視差を画素ごとの視差情報として決定する。
【００８５】
以上のように、本発明の第１実施形態に係る視差推定装置１は、正規化相互相関で算出した類似度にコサイン逆関数を適用することで（式（５）および式（６）参照）、エネルギーの最小値を見つけやすいエネルギー分布を得ることができる。また、視差推定装置１は、上位階層処理部１０によって、式（６）のλ（第１の重み係数）を小さな値として画像全体のおおまかな視差を求める。また、視差推定装置１は、下位階層処理部２０によって、式（６）のλ（第２の重み係数）を大きな値として被写体の輪郭を重視した視差を求める。そして、視差推定装置１は、上位階層の視差候補に含まれる下位階層の視差を視差情報として推定することで、上位階層と下位階層との視差推定結果を統合する。これによって、視差推定装置１は、ステレオ画像間に輝度差が生じた場合でも、その輝度差に起因する視差推定の誤差を少なくでき、視差の推定精度の低下を抑制することができる。
【００８６】
なお、第１実施形態では、データ項およびスムーズ項と記載して説明したが、信頼度伝搬法では、データ項およびスムーズ項のそれぞれをエネルギーと呼ぶ場合がある。この場合でも、本発明の第１実施形態に係る視差推定装置１を適用できることは言うまでもない。
【００８７】
なお、第１実施形態では、上位階層処理部１０と、下位階層処理部２０とを備えることとして説明したが、これに限定されない。例えば、本発明は、図３のデータ項生成手段１１，２１の機能を有する１つの手段によって上位階層および下位階層のデータ項を生成し、スムーズ項生成手段１２，２２の機能を有する１つの手段によって上位階層および下位階層のスムーズ項を生成してもよい。そして、本発明は、メッセージ伝搬手段１３，２３の機能を有する１つの手段によって上位階層および下位階層でのメッセージの伝搬を行い、視差候補決定手段１４および視差決定手段２４の機能を有する１つの手段によって、最終的に画素ごとに視差を決定してもよい。
【００８８】
（第２実施形態）
［視差推定装置の構成］
以下、図３に戻り、本発明の第２実施形態に係る視差推定装置１Ａについて、第１実施形態と異なる点を説明する。第２実施形態では、データ項生成手段１１およびデータ項生成手段２１が用いる誤差関数が、第１実施形態と異なる。
【００８９】
データ項生成手段１１は、前記した式（６），式（７）以外の誤差関数、例えば、式（１）を用いて、データ項を生成する。
データ項生成手段２１は、データ項生成手段１１と同様、前記した式（６），式（７）以外の誤差関数、例えば、式（１）を用いて、データ項を生成する。
なお、これら以外の各手段は、第１実施形態と同様のものであるため、説明を省略する。
【００９０】
［視差推定装置の動作］
以下、図１０を参照し、視差推定装置１Ａの動作について、第１実施形態と異なる点を説明する（適宜図３参照）。
【００９１】
視差推定装置１Ａは、データ項生成手段１１によって、例えば、前記した式（１）で表される誤差関数を用いて、上位階層についてデータ項を生成する（ステップＳ１１）。
また、視差推定装置１Ａは、データ項生成手段２１によって、例えば、前記した式（１）で表される誤差関数を用いて、下位階層についてデータ項を生成する（ステップＳ１５）。
なお、これら以外の各ステップは、第１実施形態と同様のものであるため、説明を省略する。
【００９２】
以上のように、本発明の第２実施形態に係る視差推定装置１Ａは、上位階層の視差候補に含まれる下位階層の視差を視差情報として推定することで、上位階層と下位階層との視差推定結果を統合する。これによって、視差推定装置１Ａは、第１実施形態と同様に、ステレオ画像間に輝度差が生じた場合でも、その輝度差に起因する視差推定の誤差を少なくでき、視差の推定精度の低下を抑制することができる。
【００９３】
なお、第２実施形態では、誤差関数が式（１）に限定されない。例えば、本発明の第２実施形態に係る視差推定装置１は、ＳＡＤによる誤差関数を用いてもよい。
【００９４】
（第３実施形態）
［視差推定装置の構成］
以下、図１１を参照し、本発明の第３実施形態に係る視差推定装置１Ｂについて、第１実施形態と異なる点を説明する。第３実施形態では、視差候補（上位階層の視差）を求めない点が、第１実施形態と異なる。このため、視差推定装置１Ｂは、図１１に示すように、データ項生成手段３１と、スムーズ項生成手段３２と、メッセージ伝搬手段（エネルギー伝搬手段）３３と、視差決定手段３４とを備える。
【００９５】
データ項生成手段３１は、ステレオ画像（Ｌ画像、Ｒ画像）が入力されると共に、データ項生成手段２１と同様に、入力されたステレオ画像からデータ項を生成する。つまり、データ項生成手段２１は、前記した式（５）でステレオ画像の類似度を求め、前記した式（６）で表される誤差関数を用いてデータ項を生成する。そして、データ項生成手段３１は、生成したデータ項を後記するメッセージ伝搬手段３３に出力する。
【００９６】
スムーズ項生成手段３２は、所定の生成式によってスムーズ項を生成する。つまり、スムーズ項生成手段３２は、前記した式（２）で表されるスムーズ関数を用いて、スムーズ項を生成する。そして、スムーズ項生成手段３２は、生成したスムーズ項をメッセージ伝搬手段３３に出力する。
【００９７】
メッセージ伝搬手段３３は、データ項生成手段３１からデータ項が入力され、スムーズ項生成手段３２からスムーズ項が入力される。そして、メッセージ伝搬手段３３は、これらデータ項およびスムーズ項を含むエネルギーが集合したエネルギー集合を生成する。この場合、メッセージ伝搬手段３３は、前記した式（３）を用いて、メッセージを生成する。そして、メッセージ伝搬手段３３は、このエネルギー集合内における画素間でメッセージを伝搬させて、画素ごとにエネルギーを更新する。
【００９８】
視差決定手段３４は、メッセージ伝搬手段３３が更新した画素ごとのエネルギーが最小となる視差を画素ごとの視差情報として推定する。つまり、視差決定手段３４は、前記した式（４）が最小となる視差を視差情報として推定する。
【００９９】
［視差推定装置の動作］
以下、図２に戻り、視差推定装置１Ｂの動作について説明する（適宜図１１参照）。
まず、視差推定装置１Ｂは、データ項生成手段３１によって、データ項を生成する（ステップＳ１）。つまり、データ項生成手段３１は、入力されたステレオ画像に対してテンプレートマッチングを行い、前記した式（５）でステレオ画像の類似度を求め、前記した式（６）で表される誤差関数を用いてデータ項を生成する。
【０１００】
また、視差推定装置１Ｂは、スムーズ項生成手段３２によって、所定の生成式によってスムーズ項を生成する（ステップＳ２）。つまり、スムーズ項生成手段３２は、前記した式（２）で表されるスムーズ関数を用いて、スムーズ項を生成する。
【０１０１】
また、視差推定装置１Ｂは、メッセージ伝搬手段３３によって、画素間でメッセージの伝搬を行う（ステップＳ３）。つまり、メッセージ伝搬手段３３は、エネルギー集合を生成し、このエネルギー集合内における画素間でメッセージを伝搬させてエネルギーを更新する。
【０１０２】
また、視差推定装置１Ｂは、視差決定手段３４によって、視差を決定する（ステップＳ４）。つまり、視差決定手段３４は、エネルギーが最小となる視差を視差情報として推定する。
【０１０３】
以上のように、本発明の第３実施形態に係る視差推定装置１Ｂは、正規化相互相関で算出した類似度にコサイン逆関数を適用することで（式（５）および式（６）参照）、エネルギーの最小値を見つけやすいエネルギー分布を得ることができる。これによって、視差推定装置１Ｂは、第１，２実施形態と同様に、ステレオ画像間に輝度差が生じた場合でも、その輝度差に起因する視差推定の誤差を少なくでき、視差の推定精度の低下を抑制することができる。
【０１０４】
なお、各実施形態では、データ項とスムーズ項とを含むエネルギーを最小化する手法の一例として信頼度伝搬法を説明したが、本発明は、これに限定されない。本発明では、この手法として、例えば、ビタビアルゴリズムを用いることもできる。
【０１０５】
なお、各実施形態では、本発明に係る視差推定装置を独立した装置として説明したが、本発明では、一般的なコンピュータを、前記した各手段として機能させる視差推定プログラムによっても実現することもできる。この視差推定プログラムは、通信回線を介して配布しても良く、ＣＤ−ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布しても良い。
【実施例】
【０１０６】
以下、実施例として、本発明の効果について説明する。
図３の視差推定装置１を用いて、ステレオ画像の視差推定を行った。また、比較対象として、同一のステレオ画像について、誤差関数に正規化相互相関を用いた従来の信頼度伝搬法により視差推定を行った。そして、それぞれが出力する視差情報から、各画素の視差が大きいほど輝度が高く、視差が小さいほど輝度が低くなる視差画像を生成した。
【０１０７】
図１２(ａ)に示すように、従来の信頼度伝搬法は、その視差画像において、被写体の輪郭が不鮮明な箇所が点在する。一方、図１２(ｂ)に示すように、本発明は、その視差画像において、被写体の輪郭が鮮明になっている。この結果から、本発明は、従来技術に比べて有効であることが確認できる。
【０１０８】
また、従来の信頼度伝搬法および本発明のそれぞれについて、ステレオ画像間に輝度差が生じた場合、視差の推定精度がどの程度低下するか実験した。具体的には、ステレオ画像の一方(Ｒ画像)の輝度を徐々に低下させながら、従来の信頼度伝搬法および本発明のそれぞれで視差推定を行って視差画像を生成した。そして、図１３に、輝度を徐々に低下させた際のステレオ画像（Ｌ画像、Ｒ画像）、従来の信頼度伝搬法による視差画像（従来技術）、および、本発明による視差画像（実施例）を示した。
【０１０９】
なお、図１３では、従来技術において、Ｍ＝１、Ｎ＝１、λ＝０．０７、および、Ｔ＝１０とした。ここで、Ｍは上位階層の縦方向の画素数、Ｎは上位階層の横方向の画素数である。また、実施例の上位階層において、Ｍ＝３、Ｎ＝３，λ＝５、ε＝３、および、Ｔ＝１０とした。さらに、実施例の下位階層において、Ｍ＝３、Ｎ＝３，λ＝１５、および、Ｔ＝１０とした。
【０１１０】
従来の信頼度伝搬法で輝度を１％低下させた場合、その視差画像は、被写体の輪郭のくずれが目立つようになる。そして、従来の信頼度伝搬法で輝度を３％低下させた場合、その視差画像は、被写体の輪郭が大きく崩れるようになる。さらに、従来の信頼度伝搬法で輝度を１０％低下させた場合、その視差画像において、被写体の輪郭を判別することが不可能となる。このことから、従来の信頼度伝搬法では、ステレオ画像間の輝度差が大きくなるほど、視差の推定精度が大きく低下していることがわかる。
【０１１１】
一方、本発明では、輝度を１％から１０％までの間で低下させても、被写体の輪郭に大きな崩れは見られない。このことから、本発明は、ステレオ画像間の輝度差が大きくなっても、視差の推定精度の低下を十分に抑制できると考えられる。従って、本発明は、例えば、屋外などの撮影環境が整っていない場所で撮影した多視点カメラ画像にも適用することができる。より具体的には、本発明は、例えば、スポーツのあるシーンを多視点カメラで撮影し、撮影映像に視差推定を行うことで、シーンの３次元立体モデルを生成に応用することができる。
【符号の説明】
【０１１２】
１ 視差推定装置
１Ａ 視差推定装置
１Ｂ 視差推定装置
１０ 上位階層処理部
１１ データ項生成手段（上位階層データ項生成手段）
１２ スムーズ項生成手段（上位階層スムーズ項生成手段）
１３ メッセージ伝搬手段（上位階層エネルギー伝搬手段）
１４ 視差候補決定手段
２０ 下位階層処理部
２１ データ項生成手段（下位階層データ項生成手段）
２２ スムーズ項生成手段（下位階層スムーズ項生成手段）
２３ メッセージ伝搬手段（下位階層エネルギー伝搬手段）
２４ 視差決定手段
３１ データ項生成手段
３２ スムーズ項生成手段
３３ メッセージ伝搬手段（エネルギー伝搬手段）
３４ 視差決定手段
【技術分野】
【０００１】
本発明は、信頼度伝搬法により、ステレオ画像の各画素の視差を示す視差情報を決定する視差推定装置およびそのプログラムに関する。
【背景技術】
【０００２】
例えば、３次元立体モデルを生成する際、ステレオ画像の各画素の視差を推定する視差推定技術が広く用いられている。この視差推定技術としては、例えば、ステレオ画像間で類似度を求めるブロックマッチングが知られている。また、類似度の計算方法としては、例えば、差の二乗和を求めるＳＳＤ（Sum of Squared Difference）、差の絶対和を求めるＳＡＤ(Sum of Absolute Difference)、および、正規化相互相関を求めるＺＮＣＣ(Zero-mean Normalized Cross-Correlation)が知られている（例えば、非特許文献１）。
【０００３】
また、視差推定技術としては、視差情報にマルコフランダムフィールドモデルを仮定し、ステレオ画像間のデータ項とスムーズ項とで構成されるエネルギーを最小化することにより、ノイズが少なく滑らかな視差情報を生成する信頼度伝搬法も知られている（例えば、非特許文献２）。ここで、データ項はステレオ画像間の類似度であり、スムーズ項は視差の不連続性を表す。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】ディジタル画像処理、ＣＧ−Ａｒｔｓ協会、２００６年、ｐ２０２−ｐ２０４
【非特許文献２】Pedro F.Felzenszwalb，Daniel P.Huttenlocher:Efficient Belief Propagation for Early Vision.CVPR(1)2004:261‐268
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、この信頼度伝搬法では、撮影カメラの個体差や撮影環境によってステレオ画像間に輝度差が生じた場合、視差の推定精度が低下するという問題がある。例えば、図１４（ａ）のコート面に表示された「２０」という模様を、２台の撮影カメラでステレオ画像として撮影した場合を考える。ここで、図１４（ａ）の下方向に配置された１台目の撮影カメラが、図１４（ｂ）に示す画像を撮影したとする。この場合、図１４（ｂ）の画像において、「２０」という模様の輝度ヒストグラムは、図１４（ｃ）に示すようになる。一方、図１４（ａ）の斜め下方向に配置された２台目の撮影カメラが、図１４（ｄ）に示す画像を撮影したとする。この場合、図１４（ｄ）の画像において、「２０」という模様の輝度ヒストグラムは、図１４（ｅ）に示すようになる。なお、図１４（ｂ），（ｄ）では、照明光が強くなる程、濃い色を付している。また、図１４（ｃ），（ｅ）では、縦軸が輝度値であり、横軸がその輝度値を有する画素数を示す。
【０００６】
ここで、２台の撮影カメラは、それぞれから見て、「２０」という模様に対する照明光のあたり方が異なる撮影環境にある。このため、図１４（ｃ）および図１４（ｅ）に示すように、ステレオ画像間の輝度ヒストグラムは、大きく異なる。この場合、図１４（ａ）の「２０」という模様について、図１４（ｂ），（ｃ）のステレオ画像から視差を推定することが困難である。この輝度差により視差の推定精度が低下する問題は、撮影カメラのレベル調整を十分に行っても解消することが難しい。
【０００７】
そこで、本発明は、前記した問題を解決し、視差の推定精度の低下を抑制する視差推定装置およびそのプログラムを提供することを課題とする。
【課題を解決するための手段】
【０００８】
前記した課題を解決するため、本願第１発明に係る視差推定装置は、ステレオ画像間の類似度を示すデータ項と視差の連続性を示すスムーズ項とを含むエネルギーを最小化する手法により、前記ステレオ画像の画素ごとの視差を示す視差情報を決定する視差推定装置であって、上位階層データ項生成手段と、上位階層スムーズ項生成手段と、上位階層エネルギー伝搬手段と、視差候補決定手段と、下位階層データ項生成手段と、下位階層スムーズ項生成手段と、下位階層エネルギー伝搬手段と、視差決定手段と、を備えることを特徴とする。
【０００９】
かかる構成によれば、視差推定装置は、上位階層データ項生成手段によって、前記ステレオ画像が入力されると共に、正規化相互相関で算出した前記類似度にコサイン逆関数を適用した誤差関数を用いて、入力された前記ステレオ画像からデータ項を生成する。ここで、正規化相互相関で算出した類似度にコサイン逆関数を適用することで、視差推定装置は、エネルギーの最小値を見つけやすいエネルギー分布を得ることができる。そして、視差推定装置は、上位階層スムーズ項生成手段で、所定の生成式によってスムーズ項を生成する。
【００１０】
また、視差推定装置は、上位階層エネルギー伝搬手段によって、前記上位階層データ項生成手段が生成したデータ項と前記上位階層スムーズ項生成手段が生成したスムーズ項とを含む前記画素ごとのエネルギーが集合したエネルギー集合を生成し、当該エネルギー集合を複数の画素で構成されるブロックに分割し、処理対象の前記ブロックの移動と、当該処理対象のブロックに対する所定の生成式によって生成したエネルギーの伝搬とを繰り返して、前記ブロックごとにエネルギーを更新する。そして、視差推定装置は、視差候補決定手段によって、前記上位階層エネルギー伝搬手段が更新したブロックごとのエネルギーが最小となる視差を前記ブロックの視差として決定し、当該ブロックの視差を当該ブロックに含まれる画素に割り当てて当該画素ごとの視差候補として出力する。つまり、視差推定装置は、１つのブロックを１つの画素とみなしてエネルギーの伝搬を行う。
【００１１】
また、視差推定装置は、下位階層データ項生成手段によって、前記ステレオ画像が入力されると共に、前記正規化相互相関で算出した前記類似度にコサイン逆関数を適用した誤差関数を用いて、入力された前記ステレオ画像からデータ項を生成する。ここで、正規化相互相関で算出した類似度にコサイン逆関数を適用することで、視差推定装置は、エネルギーの最小値を見つけやすいエネルギー分布を得ることができる。そして、視差推定装置は、下位階層スムーズ項生成手段で、所定の生成式によってスムーズ項を生成する。
【００１２】
また、視差推定装置は、下位階層エネルギー伝搬手段によって、前記下位階層データ項生成手段が生成したデータ項と前記下位階層スムーズ項生成手段が生成したスムーズ項とを含む前記画素ごとのエネルギーが集合したエネルギー集合を生成し、当該エネルギー集合内における画素間で、所定の生成式によって生成したエネルギーを伝搬して、前記画素ごとにエネルギーを更新する。そして、視差推定装置は、視差決定手段によって、前記下位階層エネルギー伝搬手段が更新した画素ごとのエネルギーが最小となる視差であって、前記視差候補決定手段から入力された視差候補に含まれる視差を前記視差情報として決定する。
【００１３】
つまり、視差推定装置は、ブロックの階層（上位階層）で画像全体のおおまかな視差（視差候補）を求め、画素の階層（下位階層）で被写体の輪郭を重視した視差を求める。そして、視差推定装置は、上位階層の視差候補に含まれる下位階層の視差を視差情報として決定することで、上位階層と下位階層との視差推定結果を統合する。
【００１４】
また、本願第２発明に係る視差推定装置は、前記上位階層データ項生成手段が、予め設定した第１の重み係数をさらに乗じた前記誤差関数を用いて、前記入力されたステレオ画像から前記データ項を生成し、前記下位階層データ項生成手段が、前記第１の重み係数より大きな第２の重み係数をさらに乗じた前記誤差関数を用いて、前記入力されたステレオ画像から前記データ項を生成することを特徴とする。
【００１５】
ここで、例えば、信頼度伝搬法では、重み係数を大きくすると、被写体の輪郭が判別し易くなる代わりにノイズが多くなり、重み係数を小さくすると、被写体の輪郭がぼやける代わりにノイズが少なくなる。このように、信頼度伝搬法では、１つの重み係数を適切な値に設定することが難しい。このため、視差推定装置は、ブロックの階層（上位階層）で、第１の重み係数を小さな値に設定して画像全体のおおまかな視差（視差候補）を求め、画素の階層（下位階層）で、第２の重み係数を大きな値に設定して被写体の輪郭を重視した視差を求める。
【００１６】
また、前記した課題を解決するため、本願第３発明に係る視差推定装置は、ステレオ画像間の類似度を示すデータ項と視差の連続性を示すスムーズ項とを含むエネルギーを最小化する手法により、前記ステレオ画像の画素ごとの視差を示す視差情報を決定する視差推定装置であって、上位階層データ項生成手段と、上位階層スムーズ項生成手段と、上位階層エネルギー伝搬手段と、視差候補決定手段と、下位階層データ項生成手段と、下位階層スムーズ項生成手段と、下位階層エネルギー伝搬手段と、視差決定手段と、を備えることを特徴とする。
【００１７】
かかる構成によれば、視差推定装置は、上位階層データ項生成手段によって、前記ステレオ画像が入力されると共に、入力された前記ステレオ画像から誤差関数を用いてデータ項を生成する。また、視差推定装置は、上位階層スムーズ項生成手段で、所定の生成式によってスムーズ項を生成する。
【００１８】
また、視差推定装置は、上位階層エネルギー伝搬手段によって、前記上位階層データ項生成手段が生成したデータ項と前記上位階層スムーズ項生成手段が生成したスムーズ項とを含む前記画素ごとのエネルギーが集合したエネルギー集合を生成し、当該エネルギー集合を複数の画素で構成されるブロックに分割し、処理対象の前記ブロックの移動と、当該処理対象のブロックに対する所定の生成式によって生成したエネルギーの伝搬とを繰り返して、前記ブロックごとにエネルギーを更新する。そして、視差推定装置は、視差候補決定手段によって、前記上位階層エネルギー伝搬手段が更新したブロックごとのエネルギーが最小となる視差を前記ブロックの視差として決定し、当該ブロックの視差を当該ブロックに含まれる画素に割り当てて当該画素ごとの視差候補として出力する。つまり、視差推定装置は、１つのブロックを１つの画素とみなしてエネルギーの伝搬を行う。
【００１９】
また、視差推定装置は、下位階層データ項生成手段によって、前記ステレオ画像が入力されると共に、入力された前記ステレオ画像から誤差関数を用いてデータ項を生成する。そして、視差推定装置は、下位階層スムーズ項生成手段で、所定の生成式によってスムーズ項を生成する。
【００２０】
また、視差推定装置は、下位階層エネルギー伝搬手段によって、前記下位階層データ項生成手段が生成したデータ項と前記下位階層スムーズ項生成手段が生成したスムーズ項とを含む前記画素ごとのエネルギーが集合したエネルギー集合を生成し、当該エネルギー集合内における画素間で、所定の生成式によって生成したエネルギーを伝搬して、前記画素ごとにエネルギーを更新する。そして、視差推定装置は、視差決定手段によって、前記下位階層エネルギー伝搬手段が更新した画素ごとのエネルギーが最小となる視差であって、前記視差候補決定手段から入力された視差候補に含まれる視差を前記視差情報として決定する。
【００２１】
つまり、視差推定装置は、ブロックの階層（上位階層）で画像全体のおおまかな視差（視差候補）を求め、画素の階層（下位階層）で被写体の輪郭を重視した視差を求める。そして、視差推定装置は、上位階層の視差候補に含まれる下位階層の視差を視差情報として決定することで、上位階層と下位階層との視差推定結果を統合する。
【００２２】
また、前記した課題を解決するため、本願第４発明に係る視差推定装置は、ステレオ画像間の類似度を示すデータ項と視差の連続性を示すスムーズ項とを含むエネルギーを最小化する手法により、前記ステレオ画像の画素ごとの視差を示す視差情報を決定する視差推定装置であって、データ項生成手段と、スムーズ項生成手段と、エネルギー伝搬手段と、視差決定手段と、を備えることを特徴とする。
【００２３】
かかる構成によれば、視差推定装置は、データ項生成手段によって、前記ステレオ画像が入力されると共に、前記正規化相互相関で算出した前記類似度にコサイン逆関数を適用した誤差関数を用いて、入力された前記ステレオ画像からデータ項を生成する。ここで、正規化相互相関で算出した類似度にコサイン逆関数を適用することで、視差推定装置は、エネルギーの最小値を見つけやすいエネルギー分布を得ることができる。また、視差推定装置は、スムーズ項生成手段で、所定の生成式によってスムーズ項を生成する。
【００２４】
また、視差推定装置は、エネルギー伝搬手段によって、前記データ項生成手段が生成したデータ項と前記スムーズ項生成手段が生成したスムーズ項とを含む前記画素ごとのエネルギーが集合したエネルギー集合を生成し、当該エネルギー集合内における画素間で、所定の生成式によって生成したエネルギーを伝搬して、前記画素ごとにエネルギーを更新する。そして、視差推定装置は、視差決定手段によって、前記エネルギー伝搬手段が更新した画素ごとのエネルギーが最小となる視差を前記視差情報として推定する。
【００２５】
また、本願第１発明〜本願第４発明に係る視差推定装置は、コンピュータを、前記した各手段として機能させる視差推定プログラムによって実現することが好ましい。
【発明の効果】
【００２６】
本発明は、以下のような優れた効果を奏する。
本願第１発明は、エネルギーの最小値を見つけやすいエネルギー分布を得ることができると共に、画像全体のおおまかな視差を求めた上位階層の視差推定結果と、被写体の輪郭を重視して視差を求めた下位階層の視差推定結果とを統合する。これによって、本願第１発明は、ステレオ画像間に輝度差が生じた場合でも、その輝度差に起因する視差推定の誤差を少なくでき、視差の推定精度の低下を抑制することができる。
【００２７】
本願第２発明は、信頼度伝搬法において、ステレオ画像間に輝度差が生じた場合でも、その輝度差に起因する視差推定の誤差を少なくでき、視差の推定精度の低下を抑制することができる。
【００２８】
本願第３発明は、画像全体のおおまかな視差を求めた上位階層の視差推定結果と、被写体の輪郭を重視して視差を求めた下位階層の視差推定結果とを統合する。これによって、本願第３発明は、ステレオ画像間に輝度差が生じた場合でも、その輝度差に起因する視差推定の誤差を少なくでき、視差の推定精度の低下を抑制することができる。
【００２９】
本願第４発明は、エネルギーの最小値を見つけやすいエネルギー分布を得ることができる。これによって、本願第４発明は、ステレオ画像間に輝度差が生じた場合でも、その輝度差に起因する視差推定の誤差を少なくでき、視差の推定精度の低下を抑制することができる。
【図面の簡単な説明】
【００３０】
【図１】本発明での信頼度伝搬法による視差推定を説明する説明図である。
【図２】本発明での信頼度伝搬法による視差推定の手順を示すフローチャートである。
【図３】本発明の第１実施形態に係る視差推定装置の構成を示すブロック図である。
【図４】本発明における上位階層（ブロック）を説明する説明図である。
【図５】本発明における下位階層（画素）を説明する説明図である。
【図６】図３の視差推定装置によるテンプレートマッチングを説明する説明図である。
【図７】本発明における上位階層でのメッセージの伝搬を説明する説明図である。
【図８】本発明における上位階層の移動を説明する説明図であり、（ａ）は初期位置の図であり、（ｂ）は（ａ）から１画素だけ水平方向に移動した図であり、（ｃ）は（ｂ）から１画素だけ水平方向に移動した図であり、（ｄ）は（ａ）から１画素だけ垂直方向に移動した図である。
【図９】図３の視差推定装置による視差の決定を説明する説明図である。
【図１０】図３の視差推定装置の動作を示すフローチャートである。
【図１１】本発明の第３実施形態に係る視差推定装置の構成を示すブロック図である。
【図１２】本発明の実施例を説明する画像であり、（ａ）は従来の信頼度伝搬法による視差画像であり、（ｂ）は本発明による視差画像である。
【図１３】本発明の実施例を説明する画像であり、輝度を徐々に低下させた際のステレオ画像（Ｌ画像、Ｒ画像）と、従来の信頼度伝搬法による視差画像と、本発明による視差画像とである。
【図１４】従来の信頼度伝搬法による視差推定の際、輝度差により視差の推定精度が低下する問題を説明する図であり、（ａ）はコート面を示す図であり、（ｂ）は１台目の撮影カメラでコート面の模様を撮影した図であり、（ｃ）は（ｂ）の模様部分の輝度ヒストグラムであり、（ｄ）は２台目の撮影カメラでコート面の模様を撮影した図であり、（ｅ）は（ｄ）の模様部分の輝度ヒストグラムである。
【発明を実施するための形態】
【００３１】
（本発明の概略：信頼度伝搬法による視差推定）
本発明の各実施形態では、データ項とスムーズ項とを含むエネルギーを最小化する手法として、信頼度伝搬法を用いている。そこで、最初に、本発明における信頼度伝搬法の概略を説明する。
この信頼度伝搬法（ＢＰ法：Belief Propagation法）は、視差情報にマルコフランダムフィールド（ＭＲＦ：Markov Random Field）モデルを仮定し、ステレオ画像のブロック間のデータ項とスムーズ項とで構成されるエネルギーを最小化することにより、ノイズが少なく滑らかな視差情報を生成するものである。ここで、信頼度伝搬法は、図１に示すように、処理の対象となる画素の近傍画素から、メッセージと呼ばれる各画素にどの視差が割り当てられるかという確率に関するエネルギーを受け取り、それらからメッセージ（エネルギー）を更新して近傍画素に伝搬させる。そして、信頼度伝搬法は、この処理を画像内の全ての画素に対して繰り返し行うことで各画素の視差情報を求める。
【００３２】
ここで、図１では、枠（白塗四角形）が画素を示し、矢印ｍが画素間のメッセージ（エネルギー）の流れを示している。また、図１に示すように、画素を縦横に配列したものをエネルギー集合と呼ぶ。さらに、文字「ｓ」が付された画素ｓは、メッセージの伝搬元となる画素を示し、文字「ｐ」が付された画素ｐは、処理対象の画素を示し、文字「ｑ」が付された画素ｑは、メッセージの伝搬先となる隣接画素を示す。なお、図１では、説明を簡易にするために、一部符号のみを図示した。
【００３３】
図２を参照し、信頼度伝搬法による視差推定の手順を説明する。
図２に示すように、信頼度伝搬法では、メッセージの生成に必要なデータ項を生成する（ステップＳ１）。ここで、データ項を生成する誤差関数は、様々のものがあるが、ＲＳＳＤ（Root Sum of Squared Difference）で生成する場合、下記の式（１）となる。
【００３４】
【数１】
【００３５】
ここで、ｆｐは画素ｐの視差値、ｆｑは画素ｑの視差値、Ｒ（ｐ）は画素ｐを中心としたブロック内の画素集合、Ｉはブロック画像の画素値、Ｉ´は処理対象画像の画素値、λは誤差関数の重み付けを表す。例えば、視差値ｆｐは、２枚のステレオ画像をテンプレートマッチングした際の画素ｐのずれ量から求めることができる（視差値ｆｑも同様）。また、ｉは水平方向の画素位置、ｊは垂直方向の画素位置である。
【００３６】
続いて、信頼度伝搬法では、下記の式（２）で表されるスムーズ関数でスムーズ項を生成する（ステップＳ２）。このスムーズ関数は、視差情報の滑らかさ（例えば、ノイズの少なさ）を示す関数である。
【００３７】
【数２】
【００３８】
そして、信頼度伝搬法では、下記の式（３）で表される生成式によって、メッセージを生成し、このメッセージの伝搬を行う（ステップＳ３）。
【００３９】
【数３】
【００４０】
ここで、ｍｉｎは最小値を取得する関数、ｍはメッセージ、ｔは反復回数、Ｎ（ｐ）/ｑは画素ｑ以外で画素ｐへメッセージを渡す近傍画素の集合、ｓはその近傍画素の要素画素を表す。この式（３）は、漸化式になっており、受け取ったメッセージをもとにメッセージを更新する処理を繰り返し行うことを示す。そして、信頼度伝搬法では、このメッセージの伝搬を全画素で行う。
【００４１】
予め設定したＴ回まで反復したとき、画素ｑの視差に関するエネルギーは、下記の式（４）で表すことができる。そして、信頼度伝搬法では、この式（４）で表されるエネルギーｂｑが最小になる視差値ｆｑを各画素の最終的な視差として決定する（ステップＳ４）。
【００４２】
【数４】
【００４３】
以下、本発明の各実施形態について、適宜図面を参照しながら詳細に説明する。なお、各実施形態において、同一の機能を有する手段には同一の符号を付し、説明を省略した。
【００４４】
（第１実施形態）
［視差推定装置の構成］
図３を参照し、本発明の第１実施形態に係る視差推定装置１の構成について説明する。図３に示すように、視差推定装置１は、ステレオ画像間の類似度を示すデータ項と視差の連続性を示すスムーズ項とを含むエネルギーを最小化する信頼度伝搬法により、ステレオ画像の視差を示す視差情報を推定するものである。第１実施形態では、視差推定装置１は、上位階層（ブロックの階層）および下位階層（画素の階層）という２つの階層でそれぞれ信頼度伝搬法による視差推定を行うため、上位階層処理部１０と、下位階層処理部２０とを備える。
【００４５】
ここで、図４および図５を参照し、ブロックの階層と、画素の階層とをそれぞれ説明する。この上位階層ＵＢは、図１のエネルギー集合における複数の画素で構成されたブロックである。図４の例では、上位階層ＵＢは、縦横３つの画素で構成されるブロックとなる。そして、上位階層処理部１０は、１つの上位階層ＵＢを１つの画素とみなして、信頼度伝搬法による視差推定を行う。なお、図４のエネルギー集合では、枠（白塗四角形）がエネルギー集合内の画素を示し、破線が上位階層ＵＢを示している。また、図４では、説明を簡易にするために、一部符号のみを図示した。
【００４６】
また、下位階層ＬＢは、図５に示すように、図１のエネルギー集合における画素のそれぞれである。つまり、下位階層処理部２０は、図１の信頼度伝搬法と同様、画素間でメッセージを伝搬させて、視差推定を行うことになる。なお、図５のエネルギー集合では、枠（白塗四角形）がエネルギー集合内の画素を示し、破線が下位階層ＬＢを示している。また、図５では、説明を簡易にするために、一部符号のみを図示した。
【００４７】
以下、図３に戻り、視差推定装置１の構成について説明を続ける。
上位階層処理部１０は、画像全体のおおまかな視差を求めるべく、上位階層での視差推定を行うものであり、データ項生成手段（上位階層データ項生成手段）１１と、スムーズ項生成手段（上位階層スムーズ項生成手段）１２と、メッセージ伝搬手段（上位階層エネルギー伝搬手段）１３と、視差候補決定手段１４とを備える。
【００４８】
データ項生成手段１１は、ステレオ画像（Ｌ画像、Ｒ画像）が入力されると共に、後記する誤差関数を用いて、入力されたステレオ画像からデータ項を生成する。まず、データ項生成手段１１は、入力されたステレオ画像に対してテンプレートマッチングを行って画素ごとにずれ（視差）を算出する。具体的には、図６に示すように、データ項生成手段１１は、Ｌ画像（ブロック画像）から所定サイズのテンプレートＴＰを抜き出す。そして、データ項生成手段１１は、抜き出したテンプレートＴＰをＲ画像（処理対象画像）全体で移動させながら、それぞれの位置で類似度を求める。このとき、データ項生成手段１１は、テンプレートＴＰをＲ画像の左端から水平方向に移動させながらテンプレートマッチングを行う（ラスタスキャン）。
【００４９】
ここで、データ項生成手段１１は、正規化相互相関（ＺＮＣＣ）で類似度を算出する。つまり、データ項生成手段１１は、ステレオ画像の類似度を下記の式（５）を用いて算出する。
【００５０】
【数５】
【００５１】
ここで、Ｉはブロック画像のテンプレート内の画素値の平均値、Ｉ´は処理対象画像のテンプレート内の画素値の平均値である。
【００５２】
そして、データ項生成手段１１は、この類似度にコサイン逆関数を適用する誤差関数によって、この類似度をブロック画像および処理対象画像双方のベクトルのなす角に変換し、データ項を生成する。つまり、データ項生成手段１１は、下記の式（６）および式（７）で表される誤差関数によりデータ項を生成する。このとき、データ項生成手段１１は、上位階層での処理を行うところ、式（７）で表される上位階層ごとの誤差関数を用いる。このとき、上位階層で画像全体のおおまかな視差を求めるため、データ項生成手段１１は、後記するデータ項生成手段２１よりも、式（６）における重み付けを小さく設定する（例えば、λ＝５）。その後、データ項生成手段１１は、生成したデータ項をメッセージ伝搬手段１３に出力する。
【００５３】
【数６】
【００５４】
【数７】
【００５５】
ここで、ｐ´は処理対象の上位階層（ブロック）であり、Ｂ（ｐ）は画素ｐを中心とするε×εの上位階層（ブロック）内の画素集合である。
【００５６】
スムーズ項生成手段１２は、所定の生成式によってスムーズ項を生成する。ここで、スムーズ項生成手段１２は、下記の式（８）で表される上位階層ごとのスムーズ関数を用いて、スムーズ項を生成する。そして、スムーズ項生成手段１２は、生成したスムーズ項をメッセージ伝搬手段１３に出力する。
【００５７】
【数８】
【００５８】
ここで、ｑ´は上位階層ｐ´のメッセージ伝搬先となる上位階層（ブロック）、εは上位階層（ブロック）境界の画素数である。つまり、εは、上位階層（ブロック）の縦横一辺あたりの画素数である。
【００５９】
ここで、マルコフランダムフィールドおよびスムーズ項について補足する。このマルコフランダムフィールドは、画像で互いに隣接する画素の色、輝度や視差が似ていることを示すモデルである。そして、スムーズ項は、このマルコフランダムフィールドを踏まえた視差の連続性に関する関数であり、各画素に視差を割り当てた際、互いに隣接する画素の視差が同じであればエネルギーが小さく、異なればエネルギーが大きくなる。例えば、マルコフランダムフィールドでは、ある画素の視差値が１で、その隣接画素の視差値が１である場合、エネルギーは０となる。また、ある画素の視差値が１で、その画素に隣接する画素の視差値が２である場合、例えば、エネルギーは１となる。さらに、ある画素の視差値が１で、その隣接画素の視差値が１０である場合、例えば、エネルギーは９となる。つまり、信頼度伝搬法において、エネルギーが最小となる視差が最終的な視差情報となることを考慮すれば、このマルコフランダムフィールドにより、互いに隣接する画素は、同じような視差値になり易くなる。
【００６０】
メッセージ伝搬手段１３は、データ項生成手段１１からデータ項が入力され、スムーズ項生成手段１２からスムーズ項が入力される。そして、メッセージ伝搬手段１３は、図１と同様に、これらデータ項およびスムーズ項を含むエネルギーが集合したエネルギー集合を生成する。例えば、メッセージ伝搬手段１３は、画像における画素位置に対応した位置に画素ごとのエネルギーを配置することで、エネルギー集合を生成する。
【００６１】
そして、メッセージ伝搬手段１３は、このエネルギー集合を予め設定した数の画素（例えば、縦横にε個の画素）で構成される上位階層に分割し、処理対象の上位階層の移動と、処理対象の上位階層に対するメッセージの伝搬とを繰り返して、上位階層ごとにエネルギーを更新する。言い換えるなら、メッセージ伝搬手段１３は、前記した式（３）において、１つの上位階層を１つの画素とみなして、上位階層間でメッセージの伝搬を行う。なお、移動とは、エネルギー集合内において、処理対象の上位階層を水平方向および垂直方向に所定の回数移動させることであり、その詳細は後記する。
【００６２】
視差候補決定手段１４は、メッセージ伝搬手段１３が更新した、上位階層ごとのエネルギーが最小となる視差を上位階層の視差として決定する。つまり、視差候補決定手段１４は、前記した式（４）において、１つの上位階層を１つの画素とみなして、上位階層の視差を決定する。そして、視差候補決定手段１４は、決定した上位階層の視差をこの上位階層に含まれる各画素に割り当てて、画素ごとの視差候補として後記する視差決定手段２４に出力する。
【００６３】
＜上位階層でのメッセージの伝搬および視差候補の決定＞
以下、図７，図８を参照し、メッセージ伝搬手段１３および視差候補決定手段１４を詳細に説明する（適宜図３参照）。なお、図７，図８のエネルギー集合では、枠（白塗四角形）が画素を示し、矢印ｍがメッセージの流れを示し、破線が上位階層ＵＢ（ＵＢ１〜５）を示している。また、図７，図８では、説明を簡易にするために、一部符号のみを図示した。
【００６４】
例えば、図７に示すように、メッセージ伝搬手段１３は、メッセージの伝搬元である上位階層ＵＢ１〜ＵＢ３から、処理対象の上位階層ＵＢ４にメッセージを受け渡す。また、上位階層ＵＢ４において、メッセージ伝搬手段１３が、受け取ったメッセージで、上位階層ＵＢ４のエネルギーを更新する共に、上位階層ＵＢ４から、メッセージの伝搬先である上位階層ＵＢ５にメッセージを受け渡す。このとき、視差候補決定手段１４は、処理対象の上位階層ＵＢ４について、エネルギーが最小となる視差をこの上位階層ＵＢ４の視差として決定する。そして、視差候補決定手段１４は、この上位階層ＵＢ４の視差を、上位階層ＵＢ４に含まれる全ての画素の視差とする。
【００６５】
また、メッセージ伝搬手段１３および視差候補決定手段１４は、処理対象の上位階層ＵＢを移動させながら、前記した処理を繰り返す。具体的には、メッセージ伝搬手段１３および視差候補決定手段１４は、図８（ａ）に示す初期位置において、処理対象の上位階層ＵＢの視差を決定する。そして、メッセージ伝搬手段１３は、図８（ｂ）に示すように、図８（ａ）に示す初期位置から処理対象の上位階層ＵＢを水平方向に１つの画素だけ移動させ、この位置での視差を決定する。さらに、メッセージ伝搬手段１３は、図８（ｃ）に示すように、図８（ｂ）に示す位置から処理対象の上位階層ＵＢを水平方向に１つの画素だけ移動させ、この位置での視差を決定する。このように、メッセージ伝搬手段１３は、処理対象の上位階層ＵＢを初期位置から水平方向に移動させながらの処理を、ε回行う。
【００６６】
次に、図８（ｄ）に示すように、メッセージ伝搬手段１３は、図８（ａ）に示す初期位置から処理対象の上位階層ＵＢを垂直方向に１つの画素だけ移動させ、この位置での視差を決定する。そして、メッセージ伝搬手段１３は、図８（ｄ）の位置から上位階層ＵＢを水平方向に移動させながらそれぞれの位置で視差を決定する。このように、メッセージ伝搬手段１３は、ε行の処理が完了するまで視差の決定を繰り返す。その結果、各画素には、処理を繰り返した回数（つまり、ε×ε回、図７の例では９回）だけの視差（視差値）が割り当てられる。従って、視差候補決定手段１４は、割り当てられた視差（視差値）のそれぞれを、画素ごとの視差候補として視差決定手段２４に出力する。
【００６７】
なお、エネルギー集合の周辺に位置する画素は、中心側に位置する画素よりも視差（視差候補）の数が少ない場合がある。例えば、左上等の４隅に位置する画素は、処理対象の上位階層ＵＢに１回しか含まれないため、視差（視差候補）が１個となる。また、例えば、最上列左側２行目の画素は、処理対象の上位階層ＵＢに２回しか含まれないため、視差（視差候補）が２個となる。
【００６８】
以下、図３に戻り、視差推定装置１の構成について説明を続ける。
下位階層処理部２０は、被写体の輪郭を重視して視差を求めるべく、下位階層（下位ブロック）での視差推定を行うものであり、データ項生成手段（下位階層データ項生成手段）２１と、スムーズ項生成手段（下位階層スムーズ項生成手段）２２と、メッセージ伝搬手段（下位階層エネルギー伝搬手段）２３と、視差決定手段２４とを備える。
【００６９】
データ項生成手段２１は、ステレオ画像（Ｌ画像、Ｒ画像）が入力されると共に、データ項生成手段１１と同様に、入力されたステレオ画像からデータ項を生成する。つまり、データ項生成手段２１は、前記した式（５）でステレオ画像の類似度を求め、前記した式（６）で表される誤差関数を用いてデータ項を生成する。このとき、下位階層では被写体の輪郭を重視して視差を求めるため、データ項生成手段２１は、前記したデータ項生成手段１１よりも、式（６）における重み付けを大きくする（例えば、λ＝１５）。そして、データ項生成手段２１は、生成したデータ項を後記するメッセージ伝搬手段２３に出力する。
【００７０】
スムーズ項生成手段２２は、所定の生成式によってスムーズ項を生成する。つまり、スムーズ項生成手段２２は、前記した式（２）で表されるスムーズ関数を用いて、スムーズ項を生成する。そして、スムーズ項生成手段２２は、生成したスムーズ項をメッセージ伝搬手段２３に出力する。
【００７１】
メッセージ伝搬手段２３は、データ項生成手段２１からデータ項が入力され、スムーズ項生成手段２２からスムーズ項が入力される。そして、メッセージ伝搬手段２３は、これらデータ項およびスムーズ項を含むエネルギーが集合したエネルギー集合を生成する。この場合、メッセージ伝搬手段２３は、前記した式（３）を用いて、メッセージを生成する。そして、メッセージ伝搬手段２３は、このエネルギー集合内の下位階層間でメッセージを伝搬させて、下位階層におけるエネルギーを更新する。
【００７２】
視差決定手段２４は、メッセージ伝搬手段２３が更新した、下位階層におけるエネルギーが最小となる視差を下位階層の視差として決定する。つまり、視差決定手段２４は、前記した式（４）が最小となる視差を下位階層の視差として決定する。そして、視差決定手段２４は、視差候補決定手段１４から入力された視差候補（上位階層の視差）の中に含まれる下位階層の視差を、画素ごとの視差情報として推定する。
【００７３】
以下、図９を参照し、視差情報の推定について説明する。
この図９では、図左側が被写体Ｏｂであり、被写体Ｏｂの輪郭Ｅｇを太線で図示した。従って、図９右側が、被写体Ｏｂ以外の背景部分となる。さらに、図９では、画素のそれぞれを破線の枠（四角形）で図示した。
また、上位階層の一辺あたりの画素数が３画素（ε＝３）であるとして説明する。言い換えるなら、各画素の視差候補が３×３＝９個存在することになる。
【００７４】
まず、輪郭Ｅｇから離れた被写体Ｏｂに対応する画素（下位階層）α１について考える。ここで、この画素α１は、その近隣画素と殆ど同じ視差になることから、視差候補決定手段１４が出力する視差候補の種類が少なくなる（又は１種類）。ここで、例えば、視差候補決定手段１４が、画素α１の視差候補を「４，４，３，４，４，４，４，３，４」という９個、つまり、「３，４」という２種類の視差候補を出力したとする。このとき、画素α１の視差値が「４」であれば、視差決定手段２４は、画素α１の視差情報を２種類の視差候補「３，４」に含まれる「４」とする。
【００７５】
次に、輪郭Ｅｇの近くにある被写体Ｏｂに対応する画素（下位階層）α２について考える。この画素α２は、被写体Ｏｂの視差および背景部分の視差のそれぞれが視差候補となることから、視差候補決定手段１４が出力する視差候補の種類が多くなる。ここで、例えば、視差候補決定手段１４が、画素α２の視差候補を「１，２，２，１，３，４，４，３，４」という９個、つまり、「１，２，３，４」という４種類の値の視差候補を出力したとする。このとき、画素α２（下位階層）の視差値が「４」であれば、視差決定手段２４は、画素α２の視差情報を４種類の視差候補「１，２，３，４」に含まれる「４」とする。
【００７６】
さらに、輪郭Ｅｇの近くにある背景部分に対応する画素（下位階層）α３について考える。ここで、例えば、視差候補決定手段１４が、画素α３の視差候補を「１，２，８，１，３，１，１，２，１」という９個の視差候補を出力したとする。通常、背景部分よりも被写体Ｏｂが手前側に位置することから、背景部分に対応する画素α３は、その視差値が、被写体Ｏｂに対応する画素α１，α２より小さくなる。しかし、この画素α３で、ステレオ画像の輝度差により、視差候補に「８」というノイズが混入したとする。この場合でも、画素α３（下位階層）の視差値が「２」であれば、視差決定手段２４は、画素α３の視差情報を視差候補に含まれる「２」とし、「８」というノイズを視差情報とすることがない。このようにして、視差決定手段２４は、画素ごとに上位階層の視差推定結果と下位階層の視差推定結果とを統合し、輝度差による視差推定の精度の低下を抑制する。
【００７７】
［視差推定装置の動作］
以下、図１０を参照し、視差推定装置１の動作について説明する（適宜図３参照）。
視差推定装置１は、データ項生成手段１１によって、上位階層についてデータ項を生成する（ステップＳ１１）。つまり、データ項生成手段１１は、入力されたステレオ画像に対してテンプレートマッチングを行い、前記した式（５）でステレオ画像の類似度を求め、前記した式（６）および式（７）で表される誤差関数によりデータ項を生成する。
【００７８】
また、視差推定装置１は、スムーズ項生成手段１２によって、上位階層についてスムーズ項を生成する（ステップＳ１２）。つまり、スムーズ項生成手段１２は、前記した式（８）で表されるスムーズ関数を用いて、スムーズ項を生成する。
【００７９】
また、視差推定装置１は、メッセージ伝搬手段１３によって、上位階層についてメッセージの伝搬を行う（ステップＳ１３）。つまり、メッセージ伝搬手段１３は、エネルギー集合を生成し、このエネルギー集合内における上位階層の移動と、上位階層でのメッセージの伝搬とを繰り返して、上位階層におけるエネルギーを更新する。
【００８０】
また、視差推定装置１は、視差候補決定手段１４によって、視差候補（上位階層の視差）を決定する（ステップＳ１４）。つまり、視差候補決定手段１４は、上位階層におけるエネルギーが最小となる視差を上位階層の視差として決定し、これを上位階層に含まれる画素に割り当てて画素ごとの視差候補とする。
【００８１】
また、視差推定装置１は、データ項生成手段２１によって、下位階層についてデータ項を生成する（ステップＳ１５）。つまり、データ項生成手段２１は、入力されたステレオ画像に対してテンプレートマッチングを行い、前記した式（５）でステレオ画像の類似度を求め、前記した式（６）で表される誤差関数を用いてデータ項を生成する。
【００８２】
また、視差推定装置１は、スムーズ項生成手段２２によって、下位階層についてスムーズ項を生成する（ステップＳ１６）。つまり、スムーズ項生成手段２２は、前記した式（２）で表されるスムーズ関数を用いて、スムーズ項を生成する。
【００８３】
また、視差推定装置１は、メッセージ伝搬手段２３によって、下位階層についてメッセージの伝搬を行う（ステップＳ１７）。つまり、メッセージ伝搬手段２３は、エネルギー集合を生成し、このエネルギー集合内における下位階層（画素）間でメッセージを伝搬させ、下位階層におけるエネルギーを更新する。
【００８４】
また、視差推定装置１は、視差決定手段２４によって、視差を決定する（ステップＳ１８）。つまり、視差決定手段２４は、下位階層におけるエネルギーが最小となる視差を下位階層の視差として決定する。そして、視差決定手段２４は、視差候補（上位階層の視差）の中に含まれる下位階層の視差を画素ごとの視差情報として決定する。
【００８５】
以上のように、本発明の第１実施形態に係る視差推定装置１は、正規化相互相関で算出した類似度にコサイン逆関数を適用することで（式（５）および式（６）参照）、エネルギーの最小値を見つけやすいエネルギー分布を得ることができる。また、視差推定装置１は、上位階層処理部１０によって、式（６）のλ（第１の重み係数）を小さな値として画像全体のおおまかな視差を求める。また、視差推定装置１は、下位階層処理部２０によって、式（６）のλ（第２の重み係数）を大きな値として被写体の輪郭を重視した視差を求める。そして、視差推定装置１は、上位階層の視差候補に含まれる下位階層の視差を視差情報として推定することで、上位階層と下位階層との視差推定結果を統合する。これによって、視差推定装置１は、ステレオ画像間に輝度差が生じた場合でも、その輝度差に起因する視差推定の誤差を少なくでき、視差の推定精度の低下を抑制することができる。
【００８６】
なお、第１実施形態では、データ項およびスムーズ項と記載して説明したが、信頼度伝搬法では、データ項およびスムーズ項のそれぞれをエネルギーと呼ぶ場合がある。この場合でも、本発明の第１実施形態に係る視差推定装置１を適用できることは言うまでもない。
【００８７】
なお、第１実施形態では、上位階層処理部１０と、下位階層処理部２０とを備えることとして説明したが、これに限定されない。例えば、本発明は、図３のデータ項生成手段１１，２１の機能を有する１つの手段によって上位階層および下位階層のデータ項を生成し、スムーズ項生成手段１２，２２の機能を有する１つの手段によって上位階層および下位階層のスムーズ項を生成してもよい。そして、本発明は、メッセージ伝搬手段１３，２３の機能を有する１つの手段によって上位階層および下位階層でのメッセージの伝搬を行い、視差候補決定手段１４および視差決定手段２４の機能を有する１つの手段によって、最終的に画素ごとに視差を決定してもよい。
【００８８】
（第２実施形態）
［視差推定装置の構成］
以下、図３に戻り、本発明の第２実施形態に係る視差推定装置１Ａについて、第１実施形態と異なる点を説明する。第２実施形態では、データ項生成手段１１およびデータ項生成手段２１が用いる誤差関数が、第１実施形態と異なる。
【００８９】
データ項生成手段１１は、前記した式（６），式（７）以外の誤差関数、例えば、式（１）を用いて、データ項を生成する。
データ項生成手段２１は、データ項生成手段１１と同様、前記した式（６），式（７）以外の誤差関数、例えば、式（１）を用いて、データ項を生成する。
なお、これら以外の各手段は、第１実施形態と同様のものであるため、説明を省略する。
【００９０】
［視差推定装置の動作］
以下、図１０を参照し、視差推定装置１Ａの動作について、第１実施形態と異なる点を説明する（適宜図３参照）。
【００９１】
視差推定装置１Ａは、データ項生成手段１１によって、例えば、前記した式（１）で表される誤差関数を用いて、上位階層についてデータ項を生成する（ステップＳ１１）。
また、視差推定装置１Ａは、データ項生成手段２１によって、例えば、前記した式（１）で表される誤差関数を用いて、下位階層についてデータ項を生成する（ステップＳ１５）。
なお、これら以外の各ステップは、第１実施形態と同様のものであるため、説明を省略する。
【００９２】
以上のように、本発明の第２実施形態に係る視差推定装置１Ａは、上位階層の視差候補に含まれる下位階層の視差を視差情報として推定することで、上位階層と下位階層との視差推定結果を統合する。これによって、視差推定装置１Ａは、第１実施形態と同様に、ステレオ画像間に輝度差が生じた場合でも、その輝度差に起因する視差推定の誤差を少なくでき、視差の推定精度の低下を抑制することができる。
【００９３】
なお、第２実施形態では、誤差関数が式（１）に限定されない。例えば、本発明の第２実施形態に係る視差推定装置１は、ＳＡＤによる誤差関数を用いてもよい。
【００９４】
（第３実施形態）
［視差推定装置の構成］
以下、図１１を参照し、本発明の第３実施形態に係る視差推定装置１Ｂについて、第１実施形態と異なる点を説明する。第３実施形態では、視差候補（上位階層の視差）を求めない点が、第１実施形態と異なる。このため、視差推定装置１Ｂは、図１１に示すように、データ項生成手段３１と、スムーズ項生成手段３２と、メッセージ伝搬手段（エネルギー伝搬手段）３３と、視差決定手段３４とを備える。
【００９５】
データ項生成手段３１は、ステレオ画像（Ｌ画像、Ｒ画像）が入力されると共に、データ項生成手段２１と同様に、入力されたステレオ画像からデータ項を生成する。つまり、データ項生成手段２１は、前記した式（５）でステレオ画像の類似度を求め、前記した式（６）で表される誤差関数を用いてデータ項を生成する。そして、データ項生成手段３１は、生成したデータ項を後記するメッセージ伝搬手段３３に出力する。
【００９６】
スムーズ項生成手段３２は、所定の生成式によってスムーズ項を生成する。つまり、スムーズ項生成手段３２は、前記した式（２）で表されるスムーズ関数を用いて、スムーズ項を生成する。そして、スムーズ項生成手段３２は、生成したスムーズ項をメッセージ伝搬手段３３に出力する。
【００９７】
メッセージ伝搬手段３３は、データ項生成手段３１からデータ項が入力され、スムーズ項生成手段３２からスムーズ項が入力される。そして、メッセージ伝搬手段３３は、これらデータ項およびスムーズ項を含むエネルギーが集合したエネルギー集合を生成する。この場合、メッセージ伝搬手段３３は、前記した式（３）を用いて、メッセージを生成する。そして、メッセージ伝搬手段３３は、このエネルギー集合内における画素間でメッセージを伝搬させて、画素ごとにエネルギーを更新する。
【００９８】
視差決定手段３４は、メッセージ伝搬手段３３が更新した画素ごとのエネルギーが最小となる視差を画素ごとの視差情報として推定する。つまり、視差決定手段３４は、前記した式（４）が最小となる視差を視差情報として推定する。
【００９９】
［視差推定装置の動作］
以下、図２に戻り、視差推定装置１Ｂの動作について説明する（適宜図１１参照）。
まず、視差推定装置１Ｂは、データ項生成手段３１によって、データ項を生成する（ステップＳ１）。つまり、データ項生成手段３１は、入力されたステレオ画像に対してテンプレートマッチングを行い、前記した式（５）でステレオ画像の類似度を求め、前記した式（６）で表される誤差関数を用いてデータ項を生成する。
【０１００】
また、視差推定装置１Ｂは、スムーズ項生成手段３２によって、所定の生成式によってスムーズ項を生成する（ステップＳ２）。つまり、スムーズ項生成手段３２は、前記した式（２）で表されるスムーズ関数を用いて、スムーズ項を生成する。
【０１０１】
また、視差推定装置１Ｂは、メッセージ伝搬手段３３によって、画素間でメッセージの伝搬を行う（ステップＳ３）。つまり、メッセージ伝搬手段３３は、エネルギー集合を生成し、このエネルギー集合内における画素間でメッセージを伝搬させてエネルギーを更新する。
【０１０２】
また、視差推定装置１Ｂは、視差決定手段３４によって、視差を決定する（ステップＳ４）。つまり、視差決定手段３４は、エネルギーが最小となる視差を視差情報として推定する。
【０１０３】
以上のように、本発明の第３実施形態に係る視差推定装置１Ｂは、正規化相互相関で算出した類似度にコサイン逆関数を適用することで（式（５）および式（６）参照）、エネルギーの最小値を見つけやすいエネルギー分布を得ることができる。これによって、視差推定装置１Ｂは、第１，２実施形態と同様に、ステレオ画像間に輝度差が生じた場合でも、その輝度差に起因する視差推定の誤差を少なくでき、視差の推定精度の低下を抑制することができる。
【０１０４】
なお、各実施形態では、データ項とスムーズ項とを含むエネルギーを最小化する手法の一例として信頼度伝搬法を説明したが、本発明は、これに限定されない。本発明では、この手法として、例えば、ビタビアルゴリズムを用いることもできる。
【０１０５】
なお、各実施形態では、本発明に係る視差推定装置を独立した装置として説明したが、本発明では、一般的なコンピュータを、前記した各手段として機能させる視差推定プログラムによっても実現することもできる。この視差推定プログラムは、通信回線を介して配布しても良く、ＣＤ−ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布しても良い。
【実施例】
【０１０６】
以下、実施例として、本発明の効果について説明する。
図３の視差推定装置１を用いて、ステレオ画像の視差推定を行った。また、比較対象として、同一のステレオ画像について、誤差関数に正規化相互相関を用いた従来の信頼度伝搬法により視差推定を行った。そして、それぞれが出力する視差情報から、各画素の視差が大きいほど輝度が高く、視差が小さいほど輝度が低くなる視差画像を生成した。
【０１０７】
図１２(ａ)に示すように、従来の信頼度伝搬法は、その視差画像において、被写体の輪郭が不鮮明な箇所が点在する。一方、図１２(ｂ)に示すように、本発明は、その視差画像において、被写体の輪郭が鮮明になっている。この結果から、本発明は、従来技術に比べて有効であることが確認できる。
【０１０８】
また、従来の信頼度伝搬法および本発明のそれぞれについて、ステレオ画像間に輝度差が生じた場合、視差の推定精度がどの程度低下するか実験した。具体的には、ステレオ画像の一方(Ｒ画像)の輝度を徐々に低下させながら、従来の信頼度伝搬法および本発明のそれぞれで視差推定を行って視差画像を生成した。そして、図１３に、輝度を徐々に低下させた際のステレオ画像（Ｌ画像、Ｒ画像）、従来の信頼度伝搬法による視差画像（従来技術）、および、本発明による視差画像（実施例）を示した。
【０１０９】
なお、図１３では、従来技術において、Ｍ＝１、Ｎ＝１、λ＝０．０７、および、Ｔ＝１０とした。ここで、Ｍは上位階層の縦方向の画素数、Ｎは上位階層の横方向の画素数である。また、実施例の上位階層において、Ｍ＝３、Ｎ＝３，λ＝５、ε＝３、および、Ｔ＝１０とした。さらに、実施例の下位階層において、Ｍ＝３、Ｎ＝３，λ＝１５、および、Ｔ＝１０とした。
【０１１０】
従来の信頼度伝搬法で輝度を１％低下させた場合、その視差画像は、被写体の輪郭のくずれが目立つようになる。そして、従来の信頼度伝搬法で輝度を３％低下させた場合、その視差画像は、被写体の輪郭が大きく崩れるようになる。さらに、従来の信頼度伝搬法で輝度を１０％低下させた場合、その視差画像において、被写体の輪郭を判別することが不可能となる。このことから、従来の信頼度伝搬法では、ステレオ画像間の輝度差が大きくなるほど、視差の推定精度が大きく低下していることがわかる。
【０１１１】
一方、本発明では、輝度を１％から１０％までの間で低下させても、被写体の輪郭に大きな崩れは見られない。このことから、本発明は、ステレオ画像間の輝度差が大きくなっても、視差の推定精度の低下を十分に抑制できると考えられる。従って、本発明は、例えば、屋外などの撮影環境が整っていない場所で撮影した多視点カメラ画像にも適用することができる。より具体的には、本発明は、例えば、スポーツのあるシーンを多視点カメラで撮影し、撮影映像に視差推定を行うことで、シーンの３次元立体モデルを生成に応用することができる。
【符号の説明】
【０１１２】
１ 視差推定装置
１Ａ 視差推定装置
１Ｂ 視差推定装置
１０ 上位階層処理部
１１ データ項生成手段（上位階層データ項生成手段）
１２ スムーズ項生成手段（上位階層スムーズ項生成手段）
１３ メッセージ伝搬手段（上位階層エネルギー伝搬手段）
１４ 視差候補決定手段
２０ 下位階層処理部
２１ データ項生成手段（下位階層データ項生成手段）
２２ スムーズ項生成手段（下位階層スムーズ項生成手段）
２３ メッセージ伝搬手段（下位階層エネルギー伝搬手段）
２４ 視差決定手段
３１ データ項生成手段
３２ スムーズ項生成手段
３３ メッセージ伝搬手段（エネルギー伝搬手段）
３４ 視差決定手段
【特許請求の範囲】
【請求項１】
ステレオ画像間の類似度を示すデータ項と視差の連続性を示すスムーズ項とを含むエネルギーを最小化する手法により、前記ステレオ画像の画素ごとの視差を示す視差情報を決定する視差推定装置であって、
前記ステレオ画像が入力されると共に、正規化相互相関で算出した前記類似度にコサイン逆関数を適用した誤差関数を用いて、入力された前記ステレオ画像からデータ項を生成する上位階層データ項生成手段と、
所定の生成式によってスムーズ項を生成する上位階層スムーズ項生成手段と、
前記上位階層データ項生成手段が生成したデータ項と前記上位階層スムーズ項生成手段が生成したスムーズ項とを含む前記画素ごとのエネルギーが集合したエネルギー集合を生成し、当該エネルギー集合を複数の画素で構成されるブロックに分割し、処理対象の前記ブロックの移動と、当該処理対象のブロックに対する所定の生成式によって生成したエネルギーの伝搬とを繰り返して、前記ブロックごとにエネルギーを更新する上位階層エネルギー伝搬手段と、
前記上位階層エネルギー伝搬手段が更新したブロックごとのエネルギーが最小となる視差を前記ブロックの視差として決定し、当該ブロックの視差を当該ブロックに含まれる画素に割り当てて当該画素ごとの視差候補として出力する視差候補決定手段と、
前記ステレオ画像が入力されると共に、前記正規化相互相関で算出した前記類似度にコサイン逆関数を適用した誤差関数を用いて、入力された前記ステレオ画像からデータ項を生成する下位階層データ項生成手段と、
所定の生成式によってスムーズ項を生成する下位階層スムーズ項生成手段と、
前記下位階層データ項生成手段が生成したデータ項と前記下位階層スムーズ項生成手段が生成したスムーズ項とを含む前記画素ごとのエネルギーが集合したエネルギー集合を生成し、当該エネルギー集合内における画素間で、所定の生成式によって生成したエネルギーを伝搬して、前記画素ごとにエネルギーを更新する下位階層エネルギー伝搬手段と、
前記下位階層エネルギー伝搬手段が更新した画素ごとのエネルギーが最小となる視差であって、前記視差候補決定手段から入力された視差候補に含まれる視差を前記視差情報として決定する視差決定手段と、
を備えることを特徴とする視差推定装置。
【請求項２】
前記上位階層データ項生成手段は、予め設定した第１の重み係数をさらに乗じた前記誤差関数を用いて、前記入力されたステレオ画像から前記データ項を生成し、
前記下位階層データ項生成手段は、前記第１の重み係数より大きな第２の重み係数をさらに乗じた前記誤差関数を用いて、前記入力されたステレオ画像から前記データ項を生成することを特徴とする請求項１に記載の視差推定装置。
【請求項３】
ステレオ画像間の類似度を示すデータ項と視差の連続性を示すスムーズ項とを含むエネルギーを最小化する手法により、前記ステレオ画像の画素ごとの視差を示す視差情報を決定する視差推定装置であって、
前記ステレオ画像が入力されると共に、入力された前記ステレオ画像から誤差関数を用いてデータ項を生成する上位階層データ項生成手段と、
所定の生成式によってスムーズ項を生成する上位階層スムーズ項生成手段と、
前記上位階層データ項生成手段が生成したデータ項と前記上位階層スムーズ項生成手段が生成したスムーズ項とを含む前記画素ごとのエネルギーが集合したエネルギー集合を生成し、当該エネルギー集合を複数の画素で構成されるブロックに分割し、処理対象の前記ブロックの移動と、当該処理対象のブロックに対する所定の生成式によって生成したエネルギーの伝搬とを繰り返して、前記ブロックごとにエネルギーを更新する上位階層エネルギー伝搬手段と、
前記上位階層エネルギー伝搬手段が更新したブロックごとのエネルギーが最小となる視差を前記ブロックの視差として決定し、当該ブロックの視差を当該ブロックに含まれる画素に割り当てて当該画素ごとの視差候補として出力する視差候補決定手段と、
前記ステレオ画像が入力されると共に、入力された前記ステレオ画像から誤差関数を用いてデータ項を生成する下位階層データ項生成手段と、
所定の生成式によってスムーズ項を生成する下位階層スムーズ項生成手段と、
前記下位階層データ項生成手段が生成したデータ項と前記下位階層スムーズ項生成手段が生成したスムーズ項とを含む前記画素ごとのエネルギーが集合したエネルギー集合を生成し、当該エネルギー集合内における画素間で、所定の生成式によって生成したエネルギーを伝搬して、前記画素ごとにエネルギーを更新する下位階層エネルギー伝搬手段と、
前記下位階層エネルギー伝搬手段が更新した画素ごとのエネルギーが最小となる視差であって、前記視差候補決定手段から入力された視差候補に含まれる視差を前記視差情報として決定する視差決定手段と、
を備えることを特徴とする視差推定装置。
【請求項４】
ステレオ画像間の類似度を示すデータ項と視差の連続性を示すスムーズ項とを含むエネルギーを最小化する手法により、前記ステレオ画像の画素ごとの視差を示す視差情報を決定する視差推定装置であって、
前記ステレオ画像が入力されると共に、前記正規化相互相関で算出した前記類似度にコサイン逆関数を適用した誤差関数を用いて、入力された前記ステレオ画像からデータ項を生成するデータ項生成手段と、
所定の生成式によってスムーズ項を生成するスムーズ項生成手段と、
前記データ項生成手段が生成したデータ項と前記スムーズ項生成手段が生成したスムーズ項とを含む前記画素ごとのエネルギーが集合したエネルギー集合を生成し、当該エネルギー集合内における画素間で、所定の生成式によって生成したエネルギーを伝搬して、前記画素ごとにエネルギーを更新するエネルギー伝搬手段と、
前記エネルギー伝搬手段が更新した画素ごとのエネルギーが最小となる視差を前記視差情報として決定する視差決定手段と、
を備えることを特徴とする視差推定装置。
【請求項５】
ステレオ画像間の類似度を示すデータ項と視差の連続性を示すスムーズ項とを含むエネルギーを最小化する手法により、前記ステレオ画像の画素ごとの視差を示す視差情報を決定するために、コンピュータを、
前記ステレオ画像が入力されると共に、正規化相互相関で算出した前記類似度にコサイン逆関数を適用した誤差関数を用いて、入力された前記ステレオ画像からデータ項を生成する上位階層データ項生成手段、
所定の生成式によってスムーズ項を生成する上位階層スムーズ項生成手段、
前記上位階層データ項生成手段が生成したデータ項と前記上位階層スムーズ項生成手段が生成したスムーズ項とを含む前記画素ごとのエネルギーが集合したエネルギー集合を生成し、当該エネルギー集合を複数の画素で構成されるブロックに分割し、処理対象の前記ブロックの移動と、当該処理対象のブロックに対する所定の生成式によって生成したエネルギーの伝搬とを繰り返して、前記ブロックごとにエネルギーを更新する上位階層エネルギー伝搬手段、
前記上位階層エネルギー伝搬手段が更新したブロックごとのエネルギーが最小となる視差を前記ブロックの視差として決定し、当該ブロックの視差を当該ブロックに含まれる画素に割り当てて当該画素ごとの視差候補として出力する視差候補決定手段、
前記ステレオ画像が入力されると共に、前記正規化相互相関で算出した前記類似度にコサイン逆関数を適用した誤差関数を用いて、入力された前記ステレオ画像からデータ項を生成する下位階層データ項生成手段、
所定の生成式によってスムーズ項を生成する下位階層スムーズ項生成手段、
前記下位階層データ項生成手段が生成したデータ項と前記下位階層スムーズ項生成手段が生成したスムーズ項とを含む前記画素ごとのエネルギーが集合したエネルギー集合を生成し、当該エネルギー集合内における画素間で、所定の生成式によって生成したエネルギーを伝搬して、前記画素ごとのエネルギーを更新する下位階層エネルギー伝搬手段、
前記下位階層エネルギー伝搬手段が更新した画素ごとのエネルギーが最小となる視差であって、前記視差候補決定手段から入力された視差候補に含まれる視差を前記視差情報として決定する視差決定手段、
として機能させるための視差推定プログラム。
【請求項６】
前記上位階層データ項生成手段は、予め設定した第１の重み係数をさらに乗じた前記誤差関数を用いて、前記入力されたステレオ画像から前記データ項を生成し、
前記下位階層データ項生成手段は、前記第１の重み係数より大きな第２の重み係数をさらに乗じた前記誤差関数を用いて、前記入力されたステレオ画像から前記データ項を生成することを特徴とする請求項５に記載の視差推定プログラム。
【請求項７】
ステレオ画像間の類似度を示すデータ項と視差の連続性を示すスムーズ項とを含むエネルギーを最小化する手法により、前記ステレオ画像の画素ごとの視差を示す視差情報を決定するために、コンピュータを、
前記ステレオ画像が入力されると共に、入力された前記ステレオ画像から誤差関数を用いてデータ項を生成する上位階層データ項生成手段、
所定の生成式によってスムーズ項を生成する上位階層スムーズ項生成手段、
前記上位階層データ項生成手段が生成したデータ項と前記上位階層スムーズ項生成手段が生成したスムーズ項とを含む前記画素ごとのエネルギーが集合したエネルギー集合を生成し、当該エネルギー集合を複数の画素で構成されるブロックに分割し、処理対象の前記ブロックの移動と、当該処理対象のブロックに対する所定の生成式によって生成したエネルギーの伝搬とを繰り返して、前記ブロックごとにエネルギーを更新する上位階層エネルギー伝搬手段、
前記上位階層エネルギー伝搬手段が更新したブロックごとのエネルギーが最小となる視差を前記ブロックの視差として決定し、当該ブロックの視差を当該ブロックに含まれる画素に割り当てて当該画素ごとの視差候補として出力する視差候補決定手段、
前記ステレオ画像が入力されると共に、入力された前記ステレオ画像から誤差関数を用いてデータ項を生成する下位階層データ項生成手段、
所定の生成式によってスムーズ項を生成する下位階層スムーズ項生成手段、
前記下位階層データ項生成手段が生成したデータ項と前記下位階層スムーズ項生成手段が生成したスムーズ項とを含む前記画素ごとのエネルギーが集合したエネルギー集合を生成し、当該エネルギー集合内における画素間で、所定の生成式によって生成したエネルギーを伝搬して、前記画素ごとにエネルギーを更新する下位階層エネルギー伝搬手段、
前記下位階層エネルギー伝搬手段が更新した画素ごとのエネルギーが最小となる視差であって、前記視差候補決定手段から入力された視差候補に含まれる視差を前記視差情報として決定する視差決定手段、
として機能させるための視差推定プログラム。
【請求項８】
ステレオ画像間の類似度を示すデータ項と視差の連続性を示すスムーズ項とを含むエネルギーを最小化する手法により、前記ステレオ画像の画素ごとの視差を示す視差情報を決定するために、コンピュータを、
前記ステレオ画像が入力されると共に、前記正規化相互相関で算出した前記類似度にコサイン逆関数を適用した誤差関数を用いて、入力された前記ステレオ画像からデータ項を生成するデータ項生成手段、
所定の生成式によってスムーズ項を生成するスムーズ項生成手段、
前記データ項生成手段が生成したデータ項と前記スムーズ項生成手段が生成したスムーズ項とを含む前記画素ごとのエネルギーが集合したエネルギー集合を生成し、当該エネルギー集合内における画素間で、所定の生成式によって生成したエネルギーを伝搬して、前記画素ごとのエネルギーを更新するエネルギー伝搬手段、
前記エネルギー伝搬手段が更新した画素ごとのエネルギーが最小となる視差を前記視差情報として決定する視差決定手段、
として機能させるための視差推定プログラム。
【請求項１】
ステレオ画像間の類似度を示すデータ項と視差の連続性を示すスムーズ項とを含むエネルギーを最小化する手法により、前記ステレオ画像の画素ごとの視差を示す視差情報を決定する視差推定装置であって、
前記ステレオ画像が入力されると共に、正規化相互相関で算出した前記類似度にコサイン逆関数を適用した誤差関数を用いて、入力された前記ステレオ画像からデータ項を生成する上位階層データ項生成手段と、
所定の生成式によってスムーズ項を生成する上位階層スムーズ項生成手段と、
前記上位階層データ項生成手段が生成したデータ項と前記上位階層スムーズ項生成手段が生成したスムーズ項とを含む前記画素ごとのエネルギーが集合したエネルギー集合を生成し、当該エネルギー集合を複数の画素で構成されるブロックに分割し、処理対象の前記ブロックの移動と、当該処理対象のブロックに対する所定の生成式によって生成したエネルギーの伝搬とを繰り返して、前記ブロックごとにエネルギーを更新する上位階層エネルギー伝搬手段と、
前記上位階層エネルギー伝搬手段が更新したブロックごとのエネルギーが最小となる視差を前記ブロックの視差として決定し、当該ブロックの視差を当該ブロックに含まれる画素に割り当てて当該画素ごとの視差候補として出力する視差候補決定手段と、
前記ステレオ画像が入力されると共に、前記正規化相互相関で算出した前記類似度にコサイン逆関数を適用した誤差関数を用いて、入力された前記ステレオ画像からデータ項を生成する下位階層データ項生成手段と、
所定の生成式によってスムーズ項を生成する下位階層スムーズ項生成手段と、
前記下位階層データ項生成手段が生成したデータ項と前記下位階層スムーズ項生成手段が生成したスムーズ項とを含む前記画素ごとのエネルギーが集合したエネルギー集合を生成し、当該エネルギー集合内における画素間で、所定の生成式によって生成したエネルギーを伝搬して、前記画素ごとにエネルギーを更新する下位階層エネルギー伝搬手段と、
前記下位階層エネルギー伝搬手段が更新した画素ごとのエネルギーが最小となる視差であって、前記視差候補決定手段から入力された視差候補に含まれる視差を前記視差情報として決定する視差決定手段と、
を備えることを特徴とする視差推定装置。
【請求項２】
前記上位階層データ項生成手段は、予め設定した第１の重み係数をさらに乗じた前記誤差関数を用いて、前記入力されたステレオ画像から前記データ項を生成し、
前記下位階層データ項生成手段は、前記第１の重み係数より大きな第２の重み係数をさらに乗じた前記誤差関数を用いて、前記入力されたステレオ画像から前記データ項を生成することを特徴とする請求項１に記載の視差推定装置。
【請求項３】
ステレオ画像間の類似度を示すデータ項と視差の連続性を示すスムーズ項とを含むエネルギーを最小化する手法により、前記ステレオ画像の画素ごとの視差を示す視差情報を決定する視差推定装置であって、
前記ステレオ画像が入力されると共に、入力された前記ステレオ画像から誤差関数を用いてデータ項を生成する上位階層データ項生成手段と、
所定の生成式によってスムーズ項を生成する上位階層スムーズ項生成手段と、
前記上位階層データ項生成手段が生成したデータ項と前記上位階層スムーズ項生成手段が生成したスムーズ項とを含む前記画素ごとのエネルギーが集合したエネルギー集合を生成し、当該エネルギー集合を複数の画素で構成されるブロックに分割し、処理対象の前記ブロックの移動と、当該処理対象のブロックに対する所定の生成式によって生成したエネルギーの伝搬とを繰り返して、前記ブロックごとにエネルギーを更新する上位階層エネルギー伝搬手段と、
前記上位階層エネルギー伝搬手段が更新したブロックごとのエネルギーが最小となる視差を前記ブロックの視差として決定し、当該ブロックの視差を当該ブロックに含まれる画素に割り当てて当該画素ごとの視差候補として出力する視差候補決定手段と、
前記ステレオ画像が入力されると共に、入力された前記ステレオ画像から誤差関数を用いてデータ項を生成する下位階層データ項生成手段と、
所定の生成式によってスムーズ項を生成する下位階層スムーズ項生成手段と、
前記下位階層データ項生成手段が生成したデータ項と前記下位階層スムーズ項生成手段が生成したスムーズ項とを含む前記画素ごとのエネルギーが集合したエネルギー集合を生成し、当該エネルギー集合内における画素間で、所定の生成式によって生成したエネルギーを伝搬して、前記画素ごとにエネルギーを更新する下位階層エネルギー伝搬手段と、
前記下位階層エネルギー伝搬手段が更新した画素ごとのエネルギーが最小となる視差であって、前記視差候補決定手段から入力された視差候補に含まれる視差を前記視差情報として決定する視差決定手段と、
を備えることを特徴とする視差推定装置。
【請求項４】
ステレオ画像間の類似度を示すデータ項と視差の連続性を示すスムーズ項とを含むエネルギーを最小化する手法により、前記ステレオ画像の画素ごとの視差を示す視差情報を決定する視差推定装置であって、
前記ステレオ画像が入力されると共に、前記正規化相互相関で算出した前記類似度にコサイン逆関数を適用した誤差関数を用いて、入力された前記ステレオ画像からデータ項を生成するデータ項生成手段と、
所定の生成式によってスムーズ項を生成するスムーズ項生成手段と、
前記データ項生成手段が生成したデータ項と前記スムーズ項生成手段が生成したスムーズ項とを含む前記画素ごとのエネルギーが集合したエネルギー集合を生成し、当該エネルギー集合内における画素間で、所定の生成式によって生成したエネルギーを伝搬して、前記画素ごとにエネルギーを更新するエネルギー伝搬手段と、
前記エネルギー伝搬手段が更新した画素ごとのエネルギーが最小となる視差を前記視差情報として決定する視差決定手段と、
を備えることを特徴とする視差推定装置。
【請求項５】
ステレオ画像間の類似度を示すデータ項と視差の連続性を示すスムーズ項とを含むエネルギーを最小化する手法により、前記ステレオ画像の画素ごとの視差を示す視差情報を決定するために、コンピュータを、
前記ステレオ画像が入力されると共に、正規化相互相関で算出した前記類似度にコサイン逆関数を適用した誤差関数を用いて、入力された前記ステレオ画像からデータ項を生成する上位階層データ項生成手段、
所定の生成式によってスムーズ項を生成する上位階層スムーズ項生成手段、
前記上位階層データ項生成手段が生成したデータ項と前記上位階層スムーズ項生成手段が生成したスムーズ項とを含む前記画素ごとのエネルギーが集合したエネルギー集合を生成し、当該エネルギー集合を複数の画素で構成されるブロックに分割し、処理対象の前記ブロックの移動と、当該処理対象のブロックに対する所定の生成式によって生成したエネルギーの伝搬とを繰り返して、前記ブロックごとにエネルギーを更新する上位階層エネルギー伝搬手段、
前記上位階層エネルギー伝搬手段が更新したブロックごとのエネルギーが最小となる視差を前記ブロックの視差として決定し、当該ブロックの視差を当該ブロックに含まれる画素に割り当てて当該画素ごとの視差候補として出力する視差候補決定手段、
前記ステレオ画像が入力されると共に、前記正規化相互相関で算出した前記類似度にコサイン逆関数を適用した誤差関数を用いて、入力された前記ステレオ画像からデータ項を生成する下位階層データ項生成手段、
所定の生成式によってスムーズ項を生成する下位階層スムーズ項生成手段、
前記下位階層データ項生成手段が生成したデータ項と前記下位階層スムーズ項生成手段が生成したスムーズ項とを含む前記画素ごとのエネルギーが集合したエネルギー集合を生成し、当該エネルギー集合内における画素間で、所定の生成式によって生成したエネルギーを伝搬して、前記画素ごとのエネルギーを更新する下位階層エネルギー伝搬手段、
前記下位階層エネルギー伝搬手段が更新した画素ごとのエネルギーが最小となる視差であって、前記視差候補決定手段から入力された視差候補に含まれる視差を前記視差情報として決定する視差決定手段、
として機能させるための視差推定プログラム。
【請求項６】
前記上位階層データ項生成手段は、予め設定した第１の重み係数をさらに乗じた前記誤差関数を用いて、前記入力されたステレオ画像から前記データ項を生成し、
前記下位階層データ項生成手段は、前記第１の重み係数より大きな第２の重み係数をさらに乗じた前記誤差関数を用いて、前記入力されたステレオ画像から前記データ項を生成することを特徴とする請求項５に記載の視差推定プログラム。
【請求項７】
ステレオ画像間の類似度を示すデータ項と視差の連続性を示すスムーズ項とを含むエネルギーを最小化する手法により、前記ステレオ画像の画素ごとの視差を示す視差情報を決定するために、コンピュータを、
前記ステレオ画像が入力されると共に、入力された前記ステレオ画像から誤差関数を用いてデータ項を生成する上位階層データ項生成手段、
所定の生成式によってスムーズ項を生成する上位階層スムーズ項生成手段、
前記上位階層データ項生成手段が生成したデータ項と前記上位階層スムーズ項生成手段が生成したスムーズ項とを含む前記画素ごとのエネルギーが集合したエネルギー集合を生成し、当該エネルギー集合を複数の画素で構成されるブロックに分割し、処理対象の前記ブロックの移動と、当該処理対象のブロックに対する所定の生成式によって生成したエネルギーの伝搬とを繰り返して、前記ブロックごとにエネルギーを更新する上位階層エネルギー伝搬手段、
前記上位階層エネルギー伝搬手段が更新したブロックごとのエネルギーが最小となる視差を前記ブロックの視差として決定し、当該ブロックの視差を当該ブロックに含まれる画素に割り当てて当該画素ごとの視差候補として出力する視差候補決定手段、
前記ステレオ画像が入力されると共に、入力された前記ステレオ画像から誤差関数を用いてデータ項を生成する下位階層データ項生成手段、
所定の生成式によってスムーズ項を生成する下位階層スムーズ項生成手段、
前記下位階層データ項生成手段が生成したデータ項と前記下位階層スムーズ項生成手段が生成したスムーズ項とを含む前記画素ごとのエネルギーが集合したエネルギー集合を生成し、当該エネルギー集合内における画素間で、所定の生成式によって生成したエネルギーを伝搬して、前記画素ごとにエネルギーを更新する下位階層エネルギー伝搬手段、
前記下位階層エネルギー伝搬手段が更新した画素ごとのエネルギーが最小となる視差であって、前記視差候補決定手段から入力された視差候補に含まれる視差を前記視差情報として決定する視差決定手段、
として機能させるための視差推定プログラム。
【請求項８】
ステレオ画像間の類似度を示すデータ項と視差の連続性を示すスムーズ項とを含むエネルギーを最小化する手法により、前記ステレオ画像の画素ごとの視差を示す視差情報を決定するために、コンピュータを、
前記ステレオ画像が入力されると共に、前記正規化相互相関で算出した前記類似度にコサイン逆関数を適用した誤差関数を用いて、入力された前記ステレオ画像からデータ項を生成するデータ項生成手段、
所定の生成式によってスムーズ項を生成するスムーズ項生成手段、
前記データ項生成手段が生成したデータ項と前記スムーズ項生成手段が生成したスムーズ項とを含む前記画素ごとのエネルギーが集合したエネルギー集合を生成し、当該エネルギー集合内における画素間で、所定の生成式によって生成したエネルギーを伝搬して、前記画素ごとのエネルギーを更新するエネルギー伝搬手段、
前記エネルギー伝搬手段が更新した画素ごとのエネルギーが最小となる視差を前記視差情報として決定する視差決定手段、
として機能させるための視差推定プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１４】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１４】
【図１２】
【図１３】
【公開番号】特開２０１１−１８０６７５（Ｐ２０１１−１８０６７５Ａ）
【公開日】平成２３年９月１５日（２０１１．９．１５）
【国際特許分類】
【出願番号】特願２０１０−４２１０９（Ｐ２０１０−４２１０９）
【出願日】平成２２年２月２６日（２０１０．２．２６）
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成２１年度、総務省、情報通信研究機構「革新的な三次元映像技術による超臨場感コミュニケーション技術の研究開発」委託事業、産業技術力強化法第１９条の適用を受ける特許出願
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
【公開日】平成２３年９月１５日（２０１１．９．１５）
【国際特許分類】
【出願日】平成２２年２月２６日（２０１０．２．２６）
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成２１年度、総務省、情報通信研究機構「革新的な三次元映像技術による超臨場感コミュニケーション技術の研究開発」委託事業、産業技術力強化法第１９条の適用を受ける特許出願
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
[ Back to top ]