距離指標情報推定装置及びそのプログラム
【課題】本発明は、精度が高い距離情報を生成できる距離情報推定装置を提供する。
【解決手段】距離情報推定装置１は、ステレオ画像の類似度である誤差関数を計算する誤差関数計算部１０と、距離の連続性を示すスムーズ関数を計算するスムーズ関数計算部１１と、基準画像における隣接画素間の色情報の差分絶対値が色情報閾値Ｔｃ以下であるか否かによって、隣接画素間でメッセージを伝搬できるか否かを判定するメッセージ伝搬制限判定部１２と、誤差関数とスムーズ関数とを含むメッセージを生成・伝搬するメッセージ生成・伝搬部１３と、メッセージの評価関数を計算する評価関数計算部１４と、評価関数が最小となる距離を、距離情報として推定する距離推定部１５とを備える。
【解決手段】距離情報推定装置１は、ステレオ画像の類似度である誤差関数を計算する誤差関数計算部１０と、距離の連続性を示すスムーズ関数を計算するスムーズ関数計算部１１と、基準画像における隣接画素間の色情報の差分絶対値が色情報閾値Ｔｃ以下であるか否かによって、隣接画素間でメッセージを伝搬できるか否かを判定するメッセージ伝搬制限判定部１２と、誤差関数とスムーズ関数とを含むメッセージを生成・伝搬するメッセージ生成・伝搬部１３と、メッセージの評価関数を計算する評価関数計算部１４と、評価関数が最小となる距離を、距離情報として推定する距離推定部１５とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ステレオ画像間の誤差関数と奥行き方向への距離又は視差である距離指標の連続性を示すスムーズ関数とで規定される確率に関するエネルギーを最小化する手法により、ステレオ画像の一方である基準画像の画素ごとの距離指標を示す距離指標情報を推定する距離指標情報推定装置及びそのプログラムに関する。
【背景技術】
【０００２】
例えば、３次元立体モデルを生成する際、ステレオ画像の各画素の視差により距離を推定する距離推定技術が広く用いられている。この距離推定技術では、例えば、ステレオ画像間で類似度を求めるブロックマッチングが用いられている。また、類似度の計算方法としては、例えば、差の二乗和を求めるＳＳＤ（Sum of Squared Difference）、差の絶対和を求めるＳＡＤ(Sum of Absolute Difference)、および、正規化相互相関を求めるＺＮＣＣ(Zero-mean Normalized Cross-Correlation)が知られている（例えば、非特許文献１）。
【０００３】
また、距離推定技術としては、マルコフランダムフィールドモデルを仮定し、ステレオ画像間のデータ項とスムーズ項とで構成されるエネルギーを最小化することにより、ノイズが少なく滑らかな距離情報（距離画像）を生成する信頼度伝搬法も知られている（例えば、非特許文献２）。ここで、データ項はステレオ画像間の類似度を表し、スムーズ項は距離の不連続性を表す。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】ディジタル画像処理、ＣＧ−Ａｒｔｓ協会、２００６年、ｐ２０２−ｐ２０４
【非特許文献２】Pedro F.Felzenszwalb，Daniel P.Huttenlocher:Efficient Belief Propagation for Early Vision.CVPR(1)2004:261‐268
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、従来の信頼度伝搬法では、生成した距離画像において、被写体の輪郭が膨張することが多い。この場合、精度が高い距離情報を得るために、この膨張を抑制して、被写体の輪郭を鮮鋭化する必要がある。
【０００６】
そこで、本発明は、前記した問題を解決し、精度が高い距離指標情報を生成できる距離指標情報推定装置およびそのプログラムを提供することを課題とする。
【課題を解決するための手段】
【０００７】
前記した課題に鑑みて、本願第１発明に係る距離指標情報推定装置は、ステレオ画像間の誤差関数と奥行き方向への距離又は視差である距離指標の連続性を示すスムーズ関数とで規定される確率に関するエネルギーを最小化する手法により、ステレオ画像の一方である基準画像の画素ごとの距離指標を示す距離指標情報を推定する距離指標情報推定装置であって、誤差関数計算部と、スムーズ関数計算部と、エネルギー伝搬判定部と、エネルギー伝搬部と、評価関数計算部と、距離指標推定部とを備えることを特徴とする。
【０００８】
かかる構成によれば、距離指標情報推定装置は、誤差関数計算部によって、ステレオ画像が入力されると共に、予め設定された距離指標候補ごとに、入力されたステレオ画像の類似度である誤差関数を計算する。そして、距離指標情報推定装置は、スムーズ関数計算部によって、距離指標候補ごとに、マルコフランダムフィールドにおける隣接画素間の距離指標候補の差分絶対値であるスムーズ関数を計算する。
【０００９】
また、距離指標情報推定装置は、エネルギー伝搬判定部によって、基準画像における隣接画素間の色情報の差分絶対値が予め設定された色情報閾値以下であるか否かによって、エネルギーを伝搬できるか否かを判定する。例えば、エネルギー伝搬判定部は、被写体と背景との境界のように隣接画素間で色が大きく異なる場合、エネルギーの伝搬を制限すると判定する。
【００１０】
また、距離指標情報推定装置は、エネルギー伝搬部によって、誤差関数計算部で計算した誤差関数とスムーズ関数計算部で計算したスムーズ関数とを含むエネルギーが集合したエネルギー集合を生成し、エネルギー集合内でエネルギーを伝搬できると判定された隣接画素間で、所定の漸化式によってエネルギーを生成して伝搬することで、距離指標候補及び画素ごとのエネルギーを更新する。つまり、エネルギー伝搬部は、隣接画素間で色が大きく異なる場合、エネルギーの伝搬を制限する。
【００１１】
また、距離指標情報推定装置は、評価関数計算部によって、エネルギー伝搬部で更新されたエネルギーを示す評価関数を計算する。そして、距離指標情報推定装置は、距離指標推定部によって、距離指標候補のうち、評価関数計算部で計算された評価関数が最小となる距離指標を、距離指標情報として推定する。
【００１２】
また、本願第２発明に係る距離指標情報推定装置は、エネルギー伝搬判定部が、エネルギー伝搬元の画素と処理対象画素との色情報の差分絶対値が色情報閾値以下であるか否かによって、エネルギー伝搬元の画素と処理対象画素との間でエネルギーを伝搬できるか否かを判定することを特徴とする。
かかる構成によれば、距離指標情報推定装置は、エネルギー伝搬元の画素と処理対象画素との間で色が大きく異なる場合、エネルギーの伝搬を制限する。
【００１３】
また、本願第３発明に係る距離指標情報推定装置は、エネルギー伝搬判定部が、エネルギー伝搬先の画素と処理対象画素との色情報の差分絶対値が色情報閾値以下であるか否かによって、エネルギー伝搬先の画素と処理対象画素との間でエネルギーを伝搬できるか否かを判定することを特徴とする。
かかる構成によれば、距離指標情報推定装置は、エネルギー伝搬先の画素と処理対象画素との間で色が大きく異なる場合、エネルギーの伝搬を制限する。
【００１４】
また、本願第４発明に係る距離指標情報推定装置は、誤差関数計算部が、基準画像における処理対象画素と、ステレオ画像の他方である参照画像で処理対象画素に対応する対応画素との色情報の差分絶対値を求め、差分絶対値を予め設定した原色数で除算して重み付ける誤差関数を計算することを特徴とする。
かかる構成によれば、距離指標情報推定装置は、被写体の輪郭を鮮鋭化して、精度が高い距離指標情報を推定することができる。
【００１５】
また、本願第５発明に係る距離指標情報推定装置は、エネルギー伝搬判定部が、誤差関数の重み付けが小さいほど、色情報閾値が小さな値で予め設定されたことを特徴とする。
ここで、色情報閾値を小さな値に設定してメッセージ伝搬を強く制限した場合、相対的にスムーズ関数よりも誤差関数の影響が大きくなる。従って、距離指標情報推定装置は、誤差関数の重み付けが小さいほど、色情報閾値を小さな値で設定して、スムーズ関数と誤差関数とのバランスを保つ。
【００１６】
また、本願第６発明に係る距離指標情報推定装置は、距離指標推定部が、距離指標情報にノイズ除去処理を施すノイズ除去手段をさらに備えることを特徴とする。
かかる構成によれば、距離指標情報推定装置は、ノイズが除去された滑らかな距離指標情報を生成することができる。
【００１７】
なお、本願第１発明に係る距離指標情報推定装置は、一般的なコンピュータを、誤差関数計算部、スムーズ関数計算部、エネルギー伝搬判定部、エネルギー伝搬部、評価関数計算部及び距離指標推定部として動作させる距離指標情報推定プログラムによって実現することもできる。このプログラムは、通信回線を介して配布しても良く、ＣＤ−ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布しても良い。
【発明の効果】
【００１８】
本発明は、以下のような優れた効果を奏する。
本願第１発明によれば、例えば、被写体と背景との境界のように隣接画素間で色が大きく異なる場合、エネルギーの伝搬を制限するため、被写体の輪郭の膨張を抑制できる。これによって、本願第１発明によれば、被写体の輪郭を鮮鋭化して、精度が高い距離指標情報を生成することができる。
【００１９】
本願第２発明によれば、エネルギー伝搬元の画素と処理対象画素との間で色が大きく異なる場合、エネルギーの伝搬を制限するため、精度が高い距離指標情報を生成することができる。
本願第３発明によれば、エネルギー伝搬先の画素と処理対象画素との間で色が大きく異なる場合、エネルギーの伝搬を制限するため、精度が高い距離指標情報を生成することができる。
【００２０】
本願第４発明によれば、被写体の輪郭をより鮮鋭化して、精度が高い距離指標情報を生成することができる。
本願第５発明によれば、誤差関数の重み付けが小さいほど、色情報閾値が小さな値で設定するため、スムーズ関数と誤差関数とのバランスを保って、滑らかな距離指標情報を生成することができる。
本願第６発明によれば、ノイズを除去して、より滑らかな距離指標情報を生成することができる。
【図面の簡単な説明】
【００２１】
【図１】本発明において、信頼度伝搬法による距離推定を説明する説明図である。
【図２】本発明において、信頼度伝搬法による距離推定の手順を示すフローチャートである。
【図３】本発明の第１実施形態に係る距離情報推定装置の構成を示すブロック図である。
【図４】図３の距離情報推定装置において、距離候補ごとの誤差関数及びスムーズ関数の計算を説明する説明図である。
【図５】図３の距離情報推定装置において、距離候補ごとのメッセージの伝搬を説明する説明図である。
【図６】図３の距離情報推定装置において、距離候補ごとのメッセージの伝搬を説明する説明図である。
【図７】本発明の第１実施形態において、（ａ）はメッセージ伝搬元の画素から処理対象の画素へのメッセージ伝搬が制限されるときの説明図であり、（ｂ）は処理対象の画素からメッセージ伝搬先の画素へのメッセージ伝搬が制限されるときの説明図である。
【図８】本発明の第１実施形態において、（ａ）及び（ｂ）はメッセージ伝搬が制限されないときの説明図である。
【図９】図３の距離情報推定装置の動作を示すフローチャートである。
【図１０】本発明の第２実施形態に係る距離情報推定装置の構成を示すブロック図である。
【図１１】本発明の第２実施形態において、（ａ）はオクルージョンに起因する推定エラーが生じていない画素のエネルギー分布を示すグラフであり、（ｂ）はオクルージョンに起因する推定エラーが生じた画素のエネルギー分布を示すグラフである。
【図１２】本発明の第２実施形態において、（ａ）はテクスチャに起因する推定エラーが生じていない画素のエネルギー分布を示すグラフであり、（ｂ）はテクスチャに起因する推定エラーが生じた画素のエネルギー分布を示すグラフである。
【図１３】図１０の距離情報推定装置の動作を示すフローチャートである。
【図１４】本発明の第３実施形態に係る距離情報推定装置の構成を示すブロック図である。
【図１５】図１４の距離情報推定装置において、オクルージョンに起因する推定エラーの抑制を説明する説明図である。
【図１６】図１４の距離情報推定装置において、オクルージョンに起因する推定エラーの抑制を説明する説明図である。
【図１７】図１４の距離情報推定装置の動作を示すフローチャートである。
【図１８】本発明の実施例において、（ａ）は基準画像であり（ｂ）は従来の信頼度伝搬法で生成した距離画像であり、（ｃ）は距離情報推定装置で生成した距離画像である。
【図１９】本発明の実施例において、（ａ）は基準画像であり（ｂ）は従来の信頼度伝搬法で生成した距離画像であり、（ｃ）は距離情報推定装置で生成した距離画像である。
【図２０】本発明の実施例において、（ａ）は基準画像であり、（ｂ）は、色情報閾値及び重み係数が大きいときの距離画像であり、（ｃ）は色情報閾値及び重み係数が小さいときの距離画像である。
【発明を実施するための形態】
【００２２】
（本発明の概略：信頼度伝搬法による距離推定）
本発明の各実施形態では、ステレオ画像間の誤差関数と距離指標の連続性を示すスムーズ関数とで規定されるエネルギーを最小化する手法として、信頼度伝搬法を用いている。そこで、最初に、本発明の実施形態における信頼度伝搬法の概略を説明する。
【００２３】
なお、以後の各実施形態では、請求項に記載の距離指標が、奥行き方向への距離（奥行き）であることとして説明する。つまり、請求項に記載の距離指標情報として、画素ごとの距離を示す距離情報を推定することになる。
【００２４】
この信頼度伝搬法（ＢＰ法：Belief Propagation法）は、距離情報にマルコフランダムフィールド（ＭＲＦ：Markov Random Field）モデルを仮定し、ステレオ画像間の誤差関数とスムーズ関数とで構成（規定）されるエネルギーを最小化することにより、ノイズが少なく滑らかな距離情報を生成するものである。ここで、信頼度伝搬法は、図１に示すように、処理対象となる画素ｐの隣接画素ｓから、メッセージと呼ばれる各画素にどの距離が割り当てられるかという確率に関するエネルギーｍを受け取り、それらからメッセージを更新して隣接画素ｑに伝搬させる。そして、信頼度伝搬法は、この処理を画像内の全ての画素に対して繰り返し行うことで各画素の距離情報を求める。
なお、請求項に記載のエネルギーが、信頼度伝搬法ではメッセージとなる。
【００２５】
ここで、図１では、枠（白塗四角形）が基準画像の画素に対応し、矢印ｍが画素間のメッセージ（エネルギー）の伝搬を示している。また、図１に示すように、このメッセージを伝搬する画素がノードとして縦横に配列されたグラフをエネルギー集合（メッセージ集合）と呼ぶ。さらに、文字「ｓ」が付された画素ｓは、メッセージの伝搬元となる画素を示し、文字「ｐ」が付された画素ｐは、処理対象の画素を示し、文字「ｑ」が付された隣接画素ｑは、メッセージの伝搬先となる隣接画素を示す。なお、図１では、説明を簡易にするために、一部符号のみを図示した。
【００２６】
図２を参照し、信頼度伝搬法による距離推定の手順を説明する。
図２に示すように、信頼度伝搬法では、メッセージの生成に必要な画素間の誤差関数Ｄｐ（ｆｐ）（以後、「誤差関数Ｄｐ」）を計算する（ステップＳ１）。本発明において、誤差関数に、ＳＳＤ、ＳＡＤ、ＺＮＣＣ等の類似度が利用可能であり、ここでは、ステレオ画像の対応画素間で色情報の差分絶対値により類似度を示す式（１）を利用する。この式（１）によれば、画素単位で類似度を計算するため、被写体の輪郭を鮮鋭化することができる。
【００２７】
【数１】
【００２８】
ここで、ｐは処理対象の画素、ｆｐは画素ｐの距離候補、ｃは色情報、ｒ，ｇ，ｂはＲＧＢ値、ｄｐは距離候補ｆｐに対応する視差、Ｉｃはステレオ画像の一方である基準画像での画素値、Ｉｃ´はステレオ画像の他方である参照画像での画素値、λｄａｔａは重み係数を表わす。
なお、距離候補（距離指標候補）とは、任意の範囲内で予め設定された距離の候補のことである（図４等参照）。
【００２９】
すなわち、式（１）は、基準画像Ｉｃにおける処理対象の画素ｐの色情報Ｉｃ（ｐ）と、参照画像Ｉｃ´における対応画素（ｐ＋ｄｐ）の色情報Ｉｃ´（ｐ＋ｄｐ）との差分絶対値を予め設定された原色数（例えば、３）で除算して、重み係数λｄａｔａで重み付けることを示す。この対応画素（ｐ＋ｄｐ）とは、参照画像Ｉｃ´において、処理対象の画素ｐに対応する画素のことである。
【００３０】
また、式（１）において、視差の逆数にステレオカメラの間隔（ベースライン）を乗算して距離が計算できることを利用して、距離候補ｆｐから視差ｄｐを逆算できる。このベースラインは、例えば、ＯｐｅｎＣＶ等のカメラキャリブレーションで求めることができる（URL「http://opencv.jp/」）。
【００３１】
続いて、信頼度伝搬法では、下記の式（２）に示すように、距離候補ｆｐと、画素ｑの距離候補ｆｑとの差分絶対値｜ｆｐ−ｆｑ｜で定義されるスムーズ関数Ｖ（ｆｐ−ｆｑ）（以後、「スムーズ関数Ｖ」）の計算を行う（ステップＳ２）。このスムーズ関数Ｖは、距離情報の滑らかさ（例えば、ノイズの少なさ）、言い換えるなら、距離の連続性を示す。ここで、ｑは画素ｐのメッセージ伝搬先となる隣接画素である。
【００３２】
【数２】
【００３３】
そして、信頼度伝搬法では、下記の式（３）で規定される生成式によって、メッセージを生成して伝搬する（ステップＳ３）。
【００３４】
【数３】
【００３５】
ｍはメッセージ、ｔは反復回数、Ｎ（ｐ）＼ｑは画素ｐへメッセージを渡す画素ｑ以外の４近傍の画素集合、ｓはその画素集合の要素画素、ｍｉｎは最小値を返す関数である。この式（３）は、漸化式になっており、受け取ったメッセージをもとにメッセージを更新する処理を繰り返し行うことを示す。例えば、信頼度伝搬法では、ラスタスキャンを行うように処理対象画素ｐを移動させながら、その処理対象画素ｐでメッセージを更新することで、メッセージの伝搬を全画素で行う。
【００３６】
全画素についてメッセージの更新処理を、予め設定したＴ回（例えば、１０回）まで反復したとする。この場合、画素ｑの距離候補ｆｑに関する評価関数ｂｑ（ｆｑ）（以後、「評価関数ｂｑ」）は、下記の式（４）で表すことができる。そして、信頼度伝搬法では、この評価関数ｂｑが最小になる距離候補ｆｑを、各画素の最終的な距離として推定する（ステップＳ４）。
【００３７】
【数４】
【００３８】
（第１実施形態）
［距離情報推定装置の構成］
以下、本発明の各実施形態について、適宜図面を参照しながら詳細に説明する。なお、各実施形態において、同一の機能を有する手段には同一の符号を付し、説明を省略した。
【００３９】
図３を参照し、本発明の第１実施形態に係る距離情報推定装置（距離指標情報推定装置）１の構成について説明する。
距離情報推定装置１は、信頼度伝搬法により距離情報を推定すると共に、前記した信頼度伝搬法において、隣接画素間で色が大きく異なるときにメッセージの伝搬を制限する。
【００４０】
図３に示すように、距離情報推定装置１は、誤差関数計算部１０と、スムーズ関数計算部１１と、メッセージ伝搬制限判定部（エネルギー伝搬判定部）１２と、メッセージ生成・伝搬部（エネルギー伝搬部）１３と、評価関数計算部１４と、距離推定部（距離指標推定部）１５とを備える。
【００４１】
距離情報推定装置１は、左カメラＣＬ及び右カメラＣＲ（ステレオカメラ）から、被写体（不図示）を撮影したステレオ画像が入力される。
この左カメラＣＬ及び右カメラＣＲは、静止画や動画を撮影可能な撮影カメラであり、図３に示すように、一定間隔だけ離して配置される。ここでは、左カメラＣＬ及び右カメラＣＲのうち左カメラＣＬを基準カメラとし、左カメラＣＬの撮影画像を基準画像とし、右カメラＣＲの撮影画像を参照画像とする。
【００４２】
誤差関数計算部１０は、ステレオ画像が入力されると共に、距離候補ごとに、入力されたステレオ画像の類似度である誤差関数Ｄｐを計算するものである。この誤差関数計算部１０は、前記した式（１）を用いて、図４に示すように画素ｓ，ｐ，ｑについて、距離候補ごとの誤差関数Ｄｐを計算する。そして、誤差関数計算部１０は、計算した誤差関数Ｄｐをメッセージ生成・伝搬部１３に出力する。
【００４３】
本実施形態では、距離候補ｆｓ，ｆｐ，ｆｑがそれぞれ、図４に示すように、０，１，・・・，Ｋ，・・・，Ｎ−１の範囲内で予め設定されたこととして説明する（但し、Ｋ，Ｎは、Ｋ＜Ｎ−１を満たす整数）。
なお、図４では、文字ｓ，ｐ，ｑを付した四辺形が画素ｓ，ｐ，ｑである。
【００４４】
スムーズ関数計算部１１は、距離候補ごとに、スムーズ関数Ｖを計算するものである。このスムーズ関数計算部１１は、図４に示すように、画素ｐの距離候補ｆｐ（０〜Ｎ−１）と、画素ｑの距離候補ｆｑ（０〜Ｎ−１）との全組み合わせについて、前記した式（２）を用いて、スムーズ関数Ｖを計算する。そして、スムーズ関数計算部１１は、計算したスムーズ関数Ｖをメッセージ生成・伝搬部１３に出力する。
【００４５】
ここで、マルコフランダムフィールドおよびスムーズ関数Ｖについて補足する。このマルコフランダムフィールドは、基準画像で互いに隣接する画素の色、輝度や距離が似ていることを示すモデルである。そして、スムーズ関数Ｖは、このマルコフランダムフィールドを踏まえた距離の連続性に関する関数であり、基準画像の各画素に距離候補を割り当てた際、互いに隣接する画素の距離候補が同じであればエネルギーが小さく、異なればエネルギーが大きくなる。例えば、マルコフランダムフィールドでは、ある画素の距離候補が１で、その隣接画素の距離候補が１である場合、エネルギーは０となる。また、ある画素の距離候補が１で、その画素に隣接する画素の距離候補が２である場合、例えば、エネルギーは１となる。さらに、ある画素の距離候補が１で、その隣接画素の距離候補が１０である場合、例えば、エネルギーは９となる。つまり、信頼度伝搬法において、エネルギーが最小となる距離候補が最終的な距離となることを考慮すれば、このマルコフランダムフィールドにより、互いに隣接する画素は、同じような距離になり易くなる。
【００４６】
メッセージ伝搬制限判定部（エネルギー伝搬判定部）１２は、基準画像における隣接画素間の色情報の差分絶対値が予め設定された色情報閾値Ｔｃ以下であるか否かによって、メッセージを伝搬できるか否かを判定するものである。
【００４７】
このメッセージ伝搬制限判定部１２は、メッセージの伝搬の制限を判定するために、隣接画素間の色情報の差分絶対値に関する色情報閾値Ｔｃが予め設定される。このとき、色情報閾値Ｔｃの値が小さくなってメッセージ伝搬の制限が強くなると、重み係数λｄａｔａの値も小さくなってスムーズ関数の影響が大きくなるように、色情報閾値Ｔｃ及び重み係数λｄａｔａを予め設定することが好ましい。
【００４８】
また、メッセージ伝搬制限判定部１２は、メッセージ伝搬元の画素ｓと処理対象の画素ｐとの色情報の差分絶対値が色情報閾値Ｔｃ以下であるか否かによって、メッセージ伝搬元の画素ｓと処理対象の画素ｐとの間でメッセージを伝搬できるか否かを判定する。具体的には、メッセージ伝搬制限判定部１２は、下記の式（５）に示すように、画素ｓ，ｐの色情報の差分絶対値と色情報閾値Ｔｃとを比較することにより、メッセージ伝搬元の重み係数λｓ，ｐを計算する。
【００４９】
【数５】
【００５０】
ここで、メッセージ伝搬制限判定部１２は、式（５）に示すように、画素ｓ，ｐの色情報の差分絶対値が色情報閾値Ｔｃ以下の場合、画素ｓ，ｐ間でメッセージを伝搬できると判定し、重み係数λｓ，ｐを１として計算する。一方、メッセージ伝搬制限判定部１２は、画素ｓ，ｐの色情報の差分絶対値が色情報閾値Ｔｃを超える場合、画素ｓ，ｐ間でメッセージを伝搬できないと判定し、重み係数λｓ，ｐを０として計算する。そして、メッセージ伝搬制限判定部１２は、計算した重み係数λｓ，ｐをメッセージ生成・伝搬部１３に出力する。
【００５１】
また、メッセージ伝搬制限判定部１２は、メッセージ伝搬先の画素ｑと処理対象の画素ｐとの色情報の差分絶対値が色情報閾値Ｔｃ以下であるか否かによって、メッセージ伝搬先の画素ｑと処理対象の画素ｐとの間でメッセージを伝搬できるか否かを判定する。具体的には、メッセージ伝搬制限判定部１２は、下記の式（６）に示すように、画素ｐ，ｑの色情報の差分絶対値と色情報閾値Ｔｃとを比較することにより、メッセージ伝搬先の重み係数λｐ，ｑを計算する。
【００５２】
【数６】
【００５３】
ここで、メッセージ伝搬制限判定部１２は、式（６）に示すように、画素ｐ，ｑの色情報の差分絶対値が色情報閾値Ｔｃ以下の場合、画素ｐ，ｑ間でメッセージを伝搬できると判定し、重み係数λｐ，ｑを１として計算する。一方、メッセージ伝搬制限判定部１２は、画素ｐ，ｑの色情報の差分絶対値が色情報閾値Ｔｃを超える場合、画素ｐ，ｑ間でメッセージを伝搬できないと判定し、重み係数λｐ，ｑを０として計算する。そして、メッセージ伝搬制限判定部１２は、計算した重み係数λｐ，ｑを評価関数計算部１４に出力する。
【００５４】
メッセージ生成・伝搬部（エネルギー伝搬部）１３は、誤差関数計算部１０で計算された誤差関数Ｄｐと、スムーズ関数計算部１１で計算されたスムーズ関数Ｖと、メッセージ伝搬制限判定部１２で計算された重み係数λｓ，ｐとが入力される。そして、メッセージ生成・伝搬部１３は、図１と同様に、これら誤差関数Ｄｐおよびスムーズ関数Ｖを含むメッセージが集合したエネルギー集合を生成するものである。
【００５５】
具体的には、メッセージ生成・伝搬部１３は、基準画像の画素位置に対応した位置に画素ごとのメッセージを配置することで、エネルギー集合をモデル化（生成）する。
次に、メッセージ生成・伝搬部１３は、下記の式（７）を用いて、エネルギー集合内における隣接画素間で、メッセージを生成して伝搬することで、画素ごとのメッセージを更新する。まず、メッセージ生成・伝搬部１３は、図５，図６に示すように、画素ｓにおいて、距離候補ｆｓ（０〜Ｎ−１）のメッセージｍｓ（０）〜ｍｓ（Ｎ−１）を生成して、画素ｓから画素ｐに伝搬させる。次に、メッセージ生成・伝搬部１３は、画素ｐにおいて、距離候補ｆｐ（０〜Ｎ−１）のメッセージｍｐ→ｑ（０）〜ｍｐ→ｑ（Ｎ−１）を生成して、画素ｐから画素ｑに伝搬させる。
【００５６】
【数７】
【００５７】
このとき、メッセージ生成・伝搬部１３は、式（７）に示すように、画素ｐ，ｑの色情報の差分絶対値と色情報閾値Ｔｃとを比較して、メッセージを伝搬するか又は制限するかを判定する。具体的には、メッセージ生成・伝搬部１３は、画素ｐ，ｑの色情報の差分絶対値が色情報閾値Ｔｃ以下の場合、画素ｐから画素ｑへのメッセージを伝搬させる。一方、メッセージ生成・伝搬部１３は、色情報の差分絶対値が色情報閾値Ｔｃを超える場合、画素ｐから画素ｑへメッセージを伝搬させない。
【００５８】
図７，図８を参照して、メッセージの伝搬の制限について詳細に説明する（適宜図３参照）。この図７，図８では、図１と同様のエネルギー集合において、枠（白塗四角形）が明るい色の画素であり、ハッチングされた枠が暗い色の画素である。ここでは、明るい色の画素と暗い色の画素との色情報の差分絶対値が色情報閾値Ｔｃを超えることとして説明する。
【００５９】
例えば、被写体と背景との境界といったように、隣接画素間で色が大きく異なる場合を考える。図７（ａ）に示すように、画素ｓ，ｐで色が大きく異なる場合、距離情報推定装置１は、前記した式（５）よりメッセージ伝搬元の重み係数λｓ，ｐを０として、これら２画素ｓ、ｐでのメッセージ伝搬を制限する。また、図７（ｂ）に示すように、画素ｐ，ｑで色が大きく異なる場合、距離情報推定装置１は、前記した式（６）よりメッセージ伝搬先の重み係数λｐ，ｑを０として、これら２画素ｐ、ｑでのメッセージ伝搬を制限する。
【００６０】
一方、図８（ａ）に示すように画素ｓ，ｐ，ｑの全てが明るい色、又は、図８（ｂ）に示すように画素ｓ，ｐ，ｑの全てが暗い色の場合、距離情報推定装置１は、前記した式（５）及び式（６）より重み係数λｓ，ｐ，λｐ，ｑを１として、画素ｓ，ｐ，ｑ間でメッセージを伝搬させる。
【００６１】
つまり、距離情報推定装置１では、メッセージ伝搬元の重み係数λｓ，ｐの値によって、画素ｓから画素ｐへのメッセージ伝搬を制御し、メッセージ伝搬先の重み係数λｐ，ｑの値によって、画素ｐから画素ｑへのメッセージ伝搬を制御する。
【００６２】
評価関数計算部１４は、メッセージ伝搬制限判定部１２で計算された重み係数λｐ，ｑが入力さる。そして、評価関数計算部１４は、下記の式（８）を用いて、メッセージ生成・伝搬部１３で更新されたメッセージを示す評価関数ｂｑを計算するものである。そして、評価関数計算部１４は、計算した評価関数ｂｑを距離推定部１５に出力する。
【００６３】
【数８】
【００６４】
距離推定部（距離指標推定部）１５は、評価関数計算部１４で計算された評価関数ｂｑが入力される。そして、距離推定部１５は、距離候補ｆｑのうち、この評価関数ｂｑが最小となる距離候補ｆｑを、距離情報として推定するものである。すなわち、距離推定部１５は、前記した式（８）の評価関数ｂｑが最小となる距離候補ｆｑを、基準画像の画素ｑの最終的な距離情報として推定する。
【００６５】
また、距離推定部１５は、ノイズ除去フィルタ（ノイズ除去手段）１５ａを備える。
このノイズ除去フィルタ１５ａは、距離推定部１５が推定した距離情報（距離画像）にメディアンフィルタ等のノイズ除去処理を施すものである。このようにして、ノイズの影響が少ない滑らかな距離情報を推定することができる。
【００６６】
ここでは、距離推定部１５は、距離情報として、画素の距離が手前側である程、その画素の輝度が高く、画素の距離が奥側である程、その画素の輝度が低くなる距離画像を生成して出力する。この距離画像は、例えば、被写体の３次元立体モデルの生成に利用できる。
【００６７】
［距離情報推定装置の動作］
図９を参照し、距離情報推定装置１の動作について説明する（適宜図３参照）。
距離情報推定装置１は、誤差関数計算部１０によって、距離候補ごとに、誤差関数Ｄｐを計算する。つまり、誤差関数計算部１０は、前記した式（１）を用いて、距離候補ごとの誤差関数Ｄｐを計算する（ステップＳ１０）。
【００６８】
距離情報推定装置１は、スムーズ関数計算部１１によって、距離候補ごとに、スムーズ関数Ｖを計算する。つまり、スムーズ関数計算部１１は、前記した式（２）を用いて、スムーズ関数Ｖを計算する（ステップＳ１１）。
【００６９】
距離情報推定装置１は、メッセージ伝搬制限判定部１２によって、隣接画素間の色情報の差分絶対値が色情報閾値Ｔｃ以下であるか否かによって、隣接画素間でメッセージを伝搬できるか否かを判定する。具体的には、メッセージ伝搬制限判定部１２は、前記した式（５）に示すように、画素ｓ，ｐの色情報の差分絶対値と色情報閾値Ｔｃとを比較することにより、画素ｓ，ｐ間におけるメッセージ伝搬の判定結果として、メッセージ伝搬元の重み係数λｓ，ｐを計算する。さらに、メッセージ伝搬制限判定部１２は、前記した式（６）に示すように、画素ｐ，ｑの色情報の差分絶対値と色情報閾値Ｔｃとを比較することにより、画素ｐ，ｑ間におけるメッセージ伝搬の判定結果として、メッセージ伝搬先の重み係数λｐ，ｑを計算する（ステップＳ１２）。
【００７０】
距離情報推定装置１は、メッセージ生成・伝搬部１３によって、図１と同様にエネルギー集合を生成する。そして、メッセージ生成・伝搬部１３は、前記した式（７）を用いて、エネルギー集合内における隣接画素間で、メッセージを生成して伝搬する（ステップＳ１３）。
【００７１】
距離情報推定装置１は、評価関数計算部１４によって、前記した式（４）を用いて、距離候補ごとに評価関数ｂｑを計算する（ステップＳ１４）。そして、距離情報推定装置１は、距離推定部１５によって、距離候補のうち、この評価関数ｂｑが最小となる距離を、距離情報として推定する（ステップＳ１５）。
【００７２】
以上のように、本発明の第１実施形態に係る距離情報推定装置１は、隣接画素間の色情報の差分絶対値が大きいときにメッセージの伝搬を制限する。これによって、距離情報推定装置１は、被写体の膨張を抑制してその輪郭を鮮鋭化し、精度が高い距離情報を生成することができる。
【００７３】
（第２実施形態）
［距離情報推定装置の構成］
図１０を参照し、本発明の第２実施形態に係る距離情報推定装置１Ｂの構成について、第１実施形態と異なる点を説明する。
距離情報推定装置１Ｂは、この距離情報の信頼度を示す評価値を計算すると共に、この評価値によって、距離情報の推定エラーが生じたか否かを判定する点が、第１実施形態と異なる。
【００７４】
本実施形態では、距離情報推定装置１Ｂは、評価値として、オクルージョンに起因する推定エラーを判定するための評価値Ｏｑ（オクルージョン評価値、以後「評価値Ｏ」）と、テクスチャに起因する推定エラーを判定するための評価値Ｋｑ（テクスチャ評価値、以後「評価値Ｋ」）とを計算する。そして、距離情報推定装置１Ｂは、評価値Ｏ及び評価値Ｋを用いて、距離情報の推定エラーとして、オクルージョンに起因する推定エラーと、テクスチャに起因する推定エラーとを判定することとする。
【００７５】
ここで、テクスチャに起因する推定エラーとは、例えば、ステレオ画像でのテクスチャがない領域（テクスチャレス領域）において、マッチング精度が低下して、距離情報の推定エラーが生じることである。
【００７６】
図１０に示すように、距離情報推定装置１Ｂは、誤差関数計算部１０Ｂと、スムーズ関数計算部１１Ｂと、メッセージ伝搬制限判定部１２と、メッセージ生成・伝搬部１３と、評価関数計算部１４と、距離推定部１５と、評価値計算部１６と、オクルージョン領域判定部（オクルージョン推定エラー判定部）１８と、無テクスチャ領域判定部（テクスチャ推定エラー判定部）２０とを備える。
【００７７】
誤差関数計算部１０Ｂは、ステレオ画像が入力されると共に、距離候補ごとに、予め設定された誤差関数閾値Ｔｄａｔａ以下となるように、誤差関数Ｄｐを計算するものである。この誤差関数計算部１０Ｂは、下記の式（９）及び式（１０）を用いて、画素及び距離候補ごとの誤差関数Ｄｐを計算する。
ここで、ｉｆは、後段の条件式を満たす場合、前段に記述した値を出力する関数である。
【００７８】
【数９】
【００７９】
【数１０】
【００８０】
このとき、誤差関数計算部１０Ｂは、式（１０）に示すように、誤差関数Ｄｐの値が誤差関数閾値Ｔｄａｔａを超えないように、トランケーションを行っている。具体的には、誤差関数計算部１０Ｂは、誤差関数Ｄｐの値が誤差関数閾値Ｔｄａｔａを超える場合、誤差関数閾値Ｔｄａｔａを誤差関数Ｄｐの値としてメッセージ生成・伝搬部１３に出力する。その一方、誤差関数計算部１０Ｂは、誤差関数Ｄｐの値が誤差関数閾値Ｔｄａｔａ以下の場合、メッセージ生成・伝搬部１３に誤差関数Ｄｐの値をそのまま出力する。
【００８１】
スムーズ関数計算部１１Ｂは、距離候補ごとに、予め設定されたスムーズ関数閾値Ｔｓｍｏｏｔｈ以下となるように、スムーズ関数Ｖを計算するものである。このスムーズ関数計算部１１Ｂは、下記の式（１１）を用いて、画素及び距離候補ごとにスムーズ関数Ｖを計算する。
【００８２】
【数１１】
【００８３】
このとき、スムーズ関数計算部１１Ｂは、式（１１）に示すように、スムーズ関数Ｖの値がスムーズ関数閾値Ｔｓｍｏｏｔｈを超えないように、トランケーションを行っている。具体的には、スムーズ関数計算部１１Ｂは、スムーズ関数Ｖの値がスムーズ関数閾値Ｔｓｍｏｏｔｈを超える場合、スムーズ関数閾値Ｔｓｍｏｏｔｈをスムーズ関数Ｖの値としてメッセージ生成・伝搬部１３に出力する。その一方、スムーズ関数計算部１１Ｂは、スムーズ関数Ｖの値がスムーズ関数閾値Ｔｓｍｏｏｔｈ以下の場合、メッセージ生成・伝搬部１３にスムーズ関数Ｖの値をそのまま出力する。
【００８４】
メッセージ伝搬制限判定部１２と、メッセージ生成・伝搬部１３と、評価関数計算部１４と、距離推定部１５とは、図３の各手段と同様であるため、詳細な説明を省略する。
【００８５】
評価値計算部１６は、評価関数ｂｑにおけるエネルギー分布の形状により、評価値を求めるものであり、評価値Ｏ計算部（オクルージョン評価値計算部）１７と、評価値Ｋ計算部（テクスチャ評価値計算部）１９とを備える。
【００８６】
評価値Ｏ計算部（オクルージョン評価値計算部）１７は、評価関数計算部１４で計算された評価関数ｂｑが入力される。この評価関数ｂｑは、基準画像の各画素について、距離候補ｆｑごとのメッセージを示す情報、つまり、距離候補ｆｑとメッセージとを対応付けたエネルギー分布（メッセージ分布）と言える。
【００８７】
具体的には、評価値Ｏ計算部１７は、メッセージが最も高くなる最大値とメッセージが最も低くなる最小値との差分をこの最大値で除算することで、評価値Ｏを計算するものである。具体的には、評価値Ｏ計算部１７は、下記の式（１２）を用いて評価値Ｏを計算して、オクルージョン領域判定部１８に出力する。
【００８８】
【数１２】
【００８９】
ここで、ｍａｘは、最大値を返す関数である。従って、ｍａｘ（ｂｑ（ｆｑ））は、画素ｑにおけるメッセージの最大値を示す。また、ｍｉｎ（ｂｑ（ｆｑ））は、画素ｑにおけるメッセージの最小値を示す。
【００９０】
オクルージョン領域判定部（オクルージョン推定エラー判定部）１８は、評価値Ｏ計算部１７から評価値Ｏが入力される。そして、オクルージョン領域判定部１８は、この評価値Ｏが予め設定されたオクルージョン閾値Ｔｏ以下であるか否かを判定し、評価値Ｏがオクルージョン閾値Ｔｏ以下の場合、オクルージョンに起因する推定エラーが生じたと判定するものである。
【００９１】
ここで、オクルージョンに起因する推定エラーが生じていない画素では、図１１（ａ）のエネルギー分布のように、メッセージの最大値ｍａｘと最小値ｍｉｎとの差分ΔＥＯが、大きくなる。一方、オクルージョンに起因する推定エラーが生じた画素では、図１１（ｂ）のエネルギー分布のように、差分ΔＥＯが図１１（ａ）よりも小さくなる。
【００９２】
また、図１１の差分ΔＥＯは、式（１２）の分子であることから、評価値Ｏに比例する。つまり、オクルージョン領域判定部１８は、評価値Ｏが、オクルージョンに起因する推定エラーが生じた画素で、オクルージョンに起因する推定エラーが生じていない画素よりも小さくなる性質を利用して、オクルージョンに起因する推定エラーを判定している。そして、オクルージョン領域判定部１８は、評価値Ｏがオクルージョン閾値Ｔｏ以下と判定された画素領域をオクルージョン領域として出力する。このオクルージョン領域は、例えば、被写体の３次元立体モデルを生成する際、オクルージョンに起因する推定エラーが生じた領域を把握するために利用できる。
なお、オクルージョン領域判定部１８は、評価値Ｏが閾値Ｔｏを超える場合、オクルージョンに起因する推定エラーが生じていないと判定することは言うまでもない。
【００９３】
評価値Ｋ計算部（テクスチャ評価値計算部）１９は、評価関数計算部１４で計算された評価関数ｂｑが入力される。そして、評価値Ｋ計算部１９は、基準画像の各画素について、この評価関数ｂｑにおけるエネルギー分布の尖度を評価値Ｋとして計算するものである。
【００９４】
具体的には、評価値Ｋ計算部１９は、下記の式（９）に示すように、距離候補ｆｑの個数ｎｆ（例えば、０〜Ｎ−１までの合計Ｎ個）と、メッセージと、メッセージの平均値ｂｑ￣と，メッセージの標準偏差σ（ｂｑ）とに基づいて、評価値Ｋを計算する。そして、評価値Ｋ計算部１９は、計算した評価値Ｋを、無テクスチャ領域判定部２０に出力する。
【００９５】
【数１３】
【００９６】
無テクスチャ領域判定部（テクスチャ推定エラー判定部）２０は、評価値Ｋ計算部１９から評価値Ｋが入力される。そして、無テクスチャ領域判定部２０は、この評価値Ｋが予め設定されたテクスチャ閾値ＴＫ以下であるか否かを判定し、評価値Ｋがテクスチャ閾値ＴＫ以下の場合、テクスチャに起因する推定エラーが生じたと判定するものである。
【００９７】
ここで、テクスチャに起因する推定エラーが生じていない画素では、図１２（ａ）に示すように、エネルギー分布が尖っており、その尖度を示す評価値Ｋが大きくなる。一方、テクスチャに起因する推定エラーが生じた画素では、図１２（ｂ）に示すように、エネルギー分布が尖っておらず、評価値Ｋが図１２（ａ）よりも小さくなる。
【００９８】
この尖度（Kurtosis)は、エネルギー分布の尖り具合を示すものであり、正規分布と比べて、以下のような特徴がある。すなわち、尖度が大きくなるほど、鋭いピークと長い尾とを有するエネルギー分布になる（図１２（ａ）参照）。その一方、尖度が小さくなるほど、より丸みがかったピークと短い尾とを有するエネルギー分布になる（図１２（ｂ）参照）。
なお、尾とは、図１２において、トランケーションによって形成される、メッセージの上限となる平坦部である。
【００９９】
つまり、無テクスチャ領域判定部２０は、評価値Ｋが、テクスチャに起因する推定エラーが生じた画素で、テクスチャに起因する推定エラーが生じていない画素よりも小さくなる性質を利用して、テクスチャに起因する推定エラーを判定している。そして、無テクスチャ領域判定部２０は、評価値Ｋがテクスチャ閾値ＴＫ以下と判定された画素領域を無テクスチャ領域として出力する。このオクルージョン領域は、例えば、被写体の３次元立体モデルを生成する際、テクスチャに起因する推定エラーが生じた領域を把握するために利用できる。
なお、無テクスチャ領域判定部２０は、評価値Ｋがテクスチャ閾値ＴＫを超える場合、テクスチャに起因する推定エラーが生じていないと判定することは言うまでもない。
【０１００】
［距離情報推定装置の動作］
図１３を参照し、距離情報推定装置１Ｂの動作について説明する（適宜図１０参照）。
距離情報推定装置１Ｂは、誤差関数計算部１０Ｂによって、距離候補ごとに、誤差関数閾値Ｔｄａｔａ以下となるように誤差関数Ｄｐを計算する。つまり、誤差関数計算部１０Ｂは、前記した式（９）及び式（１０）を用いて、誤差関数Ｄｐを計算して、トランケーションを行う（ステップＳ２０）。
【０１０１】
距離情報推定装置１Ｂは、スムーズ関数計算部１１Ｂによって、距離候補ごとに、スムーズ関数閾値Ｔｓｍｏｏｔｈ以下となるように、スムーズ関数Ｖを計算する。つまり、スムーズ関数計算部１１Ｂは、前記した式（１１）を用いて、スムーズ関数Ｖを計算して、トランケーションを行う（ステップＳ２１）。
【０１０２】
ステップＳ２２〜Ｓ２５の処理は、図９のステップＳ１２〜Ｓ１５と同様のため、説明を省略する。
【０１０３】
距離情報推定装置１Ｂは、評価値Ｏ計算部１７によって、評価値Ｏを計算する。つまり、評価値Ｏ計算部１７は、前記した式（１２）に示すように、メッセージの最大値とメッセージの最小値との差分をこの最大値で除算することで、評価値Ｏを計算する（ステップＳ２６）。
【０１０４】
距離情報推定装置１Ｂは、オクルージョン領域判定部１８によって、評価値Ｏがオクルージョン閾値Ｔｏ以下であるか否かを判定し、評価値Ｏがオクルージョン閾値Ｔｏ以下の場合、オクルージョンに起因する推定エラーが生じたと判定する。（ステップＳ２７）。
【０１０５】
距離情報推定装置１Ｂは、評価値Ｋ計算部１９によって、エネルギー分布の尖度である評価値Ｋを計算する。つまり、評価値Ｋ計算部１９は、前記した式（１３）に示すように、距離候補の個数ｎｆと、メッセージと、メッセージの平均値ｂｑ￣と、メッセージの標準偏差σ（ｂｑ）とに基づいて、評価値Ｋを計算する（ステップＳ２８）。
【０１０６】
距離情報推定装置１Ｂは、無テクスチャ領域判定部２０によって、評価値Ｋがテクスチャ閾値ＴＫ以下であるか否かを判定し、評価値Ｋがテクスチャ閾値ＴＫ以下の場合、テクスチャに起因する推定エラーが生じたと判定する（ステップＳ２９）。
【０１０７】
以上のように、本発明の第２実施形態に係る距離情報推定装置１Ｂは、メッセージの最小値だけでなくメッセージの最大値も考慮して評価値Ｏを計算すると共に、エネルギー分布の尖度である評価値Ｋを計算する。そして、距離情報推定装置１Ｂは、オクルージョンやテクスチャに起因する推定エラーが生じた画素で、評価値Ｏ及び評価値Ｋが小さくなる性質を利用して、これら推定エラーを判定する。これによって、距離情報推定装置１Ｂは、オクルージョン及びテクスチャに起因する推定エラーの判定精度を向上させて、これら推定エラーが生じた領域を正確に提示することができる。
【０１０８】
さらに、距離情報推定装置１Ｂは、図１１，図１２に示すように、トランケーションによって、メッセージに上限が設けられるため、評価関数ｂｑのばらつきが一定範囲に収まって、距離情報の精度を向上させることができる。
【０１０９】
（第３実施形態）
［距離情報推定装置の構成］
図１４を参照し、本発明の第３実施形態に係る距離情報推定装置１Ｃの構成について、第２実施形態と異なる点を説明する。この距離情報推定装置１Ｃは、オクルージョン及びテクスチャに起因する推定エラーを抑制する点が、第２実施形態と異なる。このため、距離情報推定装置１Ｃは、テクスチャ推定エラー抑制部２１をさらに備える。
【０１１０】
図１４に示すように、距離情報推定装置１Ｃは、左カメラＣＬ及び中央カメラＣＣの撮影画像である左ステレオ画像と、右カメラＣＲ及び中央カメラＣＣの撮影画像である右ステレオ画像とが入力される。
【０１１１】
この中央カメラＣＣは、左カメラＣＬ及び右カメラＣＲと同様、静止画や動画を撮影可能な撮影カメラである。また、左カメラＣＬ及び右カメラＣＲは、それぞれ、中央カメラＣＣから一定間隔離して左右に配置される。ここでは、中央カメラＣＣを基準カメラとし、中央カメラＣＣの撮影画像を基準画像とし、左カメラＣＬ及び右カメラＣＲの撮影画像を参照画像とする。
【０１１２】
誤差関数計算部１０Ｂと、スムーズ関数計算部１１Ｂと、メッセージ生成・伝搬部１３と、評価関数計算部１４と、距離推定部１５とは、左ステレオ画像及び右ステレオ画像それぞれの処理を行う以外、図１０の各手段と同様であるため、詳細な説明を省略する。
【０１１３】
ここで、後記するオクルージョンに起因する推定エラーの抑制には、左ステレオ画像及び右ステレオ画像の両方（以下、「両ステレオ画像」）から求めた評価関数ｂｑが必要になる。このため、評価関数計算部１４は、両ステレオ画像から求めた評価関数ｂｑを評価値Ｏ計算部１７Ｃに出力する。さらに、距離推定部１５は、両ステレオ画像から求めた距離情報（距離画像）を、評価値Ｏ計算部１７Ｃに出力する。
【０１１４】
一方、後記するテクスチャに起因する推定エラーの抑制には、左ステレオ画像及び右ステレオ画像の何れか一方から求めた評価関数ｂｑがあればよい。従って、評価関数計算部１４は、左ステレオ画像から求めた評価関数ｂｑを、評価値Ｋ計算部１９に出力する。
【０１１５】
評価値Ｏ計算部１７Ｃは、両ステレオ画像から評価値Ｏを計算して、オクルージョン領域判定部１８に出力する。また、評価値Ｏ計算部１７Ｃは、両ステレオ画像から計算した評価値Ｏと、両ステレオ画像の距離情報とを用いて、オクルージョンに起因する推定エラーを抑制する。
なお、評価値Ｏの計算は、図１０の評価値Ｏ計算部１７と同様のため、説明を省略する。
【０１１６】
具体的には、評価値Ｏ計算部１７Ｃは、基準画像の各画素について、左ステレオ画像から計算した評価値Ｏと、右ステレオ画像から計算した評価値Ｏとを比較する。この比較結果に基づいて、評価値Ｏ計算部１７Ｃは、両ステレオ画像の距離情報のうち、評価値Ｏが大きい側の距離情報を、その画素の距離情報として、テクスチャ推定エラー抑制部２１に出力する。すなわち、評価値Ｏ計算部１７Ｃは、オクルージョンに起因する推定エラーが生じた画素で評価値Ｏが小さくなることを利用して、距離推定部１５で生成された両ステレオ画像の距離情報を、この推定エラーを抑制した１つの距離情報に統合する。
【０１１７】
オクルージョン領域判定部１８は、図３と同様、両ステレオ画像のオクルージョン領域を出力するため、詳細な説明を省略する。
なお、このオクルージョン領域は、オクルージョンに起因する推定エラーの抑制に必要ではなく、参考情報として提示される。
【０１１８】
評価値Ｋ計算部１９は、図３と同様、左ステレオ画像についての評価値Ｋを計算するため、詳細な説明を省略する。
無テクスチャ領域判定部２０は、図３と同様、左ステレオ画像についての無テクスチャ領域を生成して、テクスチャ推定エラー抑制部２１に出力する。
【０１１９】
テクスチャ推定エラー抑制部２１は、評価値Ｏ計算部１７Ｃから距離情報が入力され、無テクスチャ領域判定部２０から無テクスチャ領域が入力される。そして、テクスチャ推定エラー抑制部２１は、この無テクスチャ領域を用いて、この距離情報から、テクスチャに起因する推定エラーを抑制するものである。
【０１２０】
図１５，図１６を参照して、テクスチャに起因する推定エラーの抑制について説明する（適宜図１０参照）。
説明を簡易にするため、図１５に示すように、土俵Ａの上で二人の被写体（力士）Ｏ１，Ｏ２が取組を行っている例で説明する。この場合、図１４の中央カメラＣＣは、土俵Ａの正面中央に位置し、取組を行っている被写体Ｏ１，Ｏ２の側面方向（図１５の矢印方向）から基準画像Ｐを撮影したこととする。
【０１２１】
なお、図１５では、基準画像Ｐに含まれない土俵Ａと被写体Ｏ１，Ｏ２との一部を破線で図示した。また、図１５では、基準画像Ｐのうち、土俵Ａの奥側地面となる背景Ｂの領域が無テクスチャ領域ＴＸであり、ハッチングで図示した。この例では、テクスチャ推定エラー抑制部２１は、図１５のハッチング部分に対して、テクスチャに起因する推定エラーの抑制処理を行うことになる。
【０１２２】
ここで、中央カメラＣＣと、土俵Ａと、被写体Ｏ１，Ｏ２とを上側より見ると、これらの位置関係は、図１６のようになる。図１６では、土俵Ａ及び被写体Ｏ１，Ｏ２を破線で図示すると共に、後記する距離Ｄを一転鎖線で図示した。また、図１５のハッチング部分（無テクスチャ領域ＴＸ）は、球表面の一部を切り取った曲面形状になる（図１６の吹き出し）。
【０１２３】
まず、テクスチャ推定エラー抑制部２１は、左カメラＣＬと、中央カメラＣＣと、右カメラＣＲとの光軸ＬＡが交わる光軸交点ＣＥを、カメラキャリブレーションにより計算する。ここで、テクスチャ推定エラー抑制部２１は、全てのカメラから光軸交点ＣＥを求める必要がなく、基準画像を撮影する中央カメラＣＣが含まれていればよい。つまり、テクスチャ推定エラー抑制部２１は、中央カメラＣＣと左カメラＣＬとの組、又は、中央カメラＣＣと右カメラＣＲとの一方の組から、光軸交点ＣＥを求めてもよい。
【０１２４】
次に、テクスチャ推定エラー抑制部２１は、予め設定された半径ｒの仮想球ＶＣを、光軸交点ＣＥを中心に生成する。ここで、テクスチャ推定エラー抑制部２１は、全ての被写体（例えば、土俵Ａ、被写体Ｏ１，Ｏ２）が仮想球ＶＣに含まれるように、半径ｒが予め設定されている。そして、テクスチャ推定エラー抑制部２１は、中央カメラＣＣから仮想球ＶＣの奥側表面までの距離Ｄを計算し、この距離Ｄを、無テクスチャ領域ＴＸ内の各画素の距離情報として割り当てる。
【０１２５】
すなわち、無テクスチャ領域ＴＸ内の各画素の距離情報は、下記の計算式を用いて割り当てることができる。まず、テクスチャ推定エラー抑制部２１は、下記の（１４）及び式（１５）の連立方程式により、仮想球ＶＣと中央カメラＣＣの光軸ＬＡとの交点（Ｘ，Ｙ，Ｚ）を計算する。
【０１２６】
【数１４】
【０１２７】
【数１５】
【０１２８】
前記した式（１４）は、仮想球ＶＣを表した方程式である。ここで、ａ，ｂ，ｃが仮想球ＶＣの中心の世界座標（光軸交点ＣＥの世界座標）であり、ｒが仮想球ＶＣの半径である。
前記した式（１５）は、中央カメラＣＣの光学主点と無テクスチャ領域ＴＸ内の各画素とを通過する直線を表した方程式である。ここで、ｅ，ｇ，ｉが無テクスチャ領域ＴＸ内の各画の世界座標と光学主点の世界座標とにより計算される傾き（既知）であり、ｆ，ｈ，ｊが光学主点の世界座標（既知）である。
【０１２９】
そして、テクスチャ推定エラー抑制部２１は、下記の（１６）により、中央カメラＣＣから仮想球ＶＣの奥側表面までの距離Ｄを計算する。ここで、ｚは仮想球ＶＣの奥側表面までの距離Ｄであり、ｉ，ｊは基準画像の座標（既知）であり、Ａはカメラキャリブレーションにより計算される内部パラメータ（既知）であり、Ｒはカメラキャリブレーションにより計算される回転行列（既知）であり、Ｕはカメラキャリブレーションにより計算される並進行列（既知）である。
【０１３０】
【数１６】
【０１３１】
［距離情報推定装置の動作］
図１７を参照し、距離情報推定装置１Ｃの動作について説明する（適宜図１４参照）。
ステップＳ３０〜Ｓ３５の処理は、図１３のステップＳ２０〜Ｓ２５と同様のため、説明を省略する。
【０１３２】
距離情報推定装置１Ｃは、評価値Ｏ計算部１７Ｃによって、無テクスチャ領域及び距離情報を用いて、オクルージョンに起因する推定エラーを抑制する。つまり、評価値Ｏ計算部１７Ｃは、両ステレオ画像から評価値Ｏを計算し、これら評価値Ｏを比較して、評価値Ｏが大きい側のステレオ画像から生成した距離情報を、基準画像での各画素の距離情報として出力する（ステップＳ３６）。
【０１３３】
ステップＳ３７〜Ｓ３９の処理は、図１３のステップＳ２７〜Ｓ２９と同様のため、説明を省略する。
【０１３４】
距離情報推定装置１Ｃは、テクスチャ推定エラー抑制部２１によって、無テクスチャ領域を用いて、距離情報から、テクスチャに起因する推定エラーを抑制する。つまり、テクスチャ推定エラー抑制部２１は、左カメラＣＬと、中央カメラＣＣと、右カメラＣＲとの光軸交点ＣＥをカメラキャリブレーションにより計算する。そして、テクスチャ推定エラー抑制部２１は、半径ｒの仮想球ＶＣを、光軸交点ＣＥを中心に生成する。さらに、テクスチャ推定エラー抑制部２１は、中央カメラＣＣから仮想球ＶＣの奥側表面までの距離Ｄを計算して、無テクスチャ領域ＴＸ内の各画素の距離情報として割り当てる（ステップＳ４０）。
【０１３５】
以上のように、本発明の第３実施形態に係る距離情報推定装置１Ｃは、オクルージョン及びテクスチャに起因する推定エラーを抑制して、精度が高い距離情報を生成することができる。この距離情報を用いれば、例えば、奥行き感が高い、インテグラルフォトグラフィ（ＩＰ）方式の立体映像を生成することができる。
【０１３６】
なお、各実施形態では、誤差関数とスムーズ関数とで規定される確率に関するエネルギーを最小化する手法の一例として信頼度伝搬法を説明したが、本発明は、これに限定されない。本発明では、この手法として、例えば、ビタビアルゴリズムを用いることもできる。
【０１３７】
なお、各実施形態では、距離指標情報として距離情報を推定することとして説明したが、本発明は、これに限定されない。つまり、本発明は、前記した距離候補を視差候補に置き換えれば、視差情報を推定する視差情報推定装置を実現することができる。
【０１３８】
なお、各実施形態では、評価値として評価値Ｋ，Ｏを計算することとして説明したが、本発明は、これに限定されない。
また、各実施形態では、評価値Ｋ，Ｏの両方を計算することとして説明したが、本発明は、評価値Ｋ，Ｏの何れか一方のみを計算してもよい。この場合、本発明は、テクスチャ又はオクルージョンに起因する推定エラーの何れか一方だけを抑制してもよい。
【実施例】
【０１３９】
以下、本発明の実施例として、膨張を抑制する実験の結果について説明する。
本実施例では、図３の距離情報推定装置１を用いて実験を行った。図１８（ａ）は、この実験で使用した基準画像である。また、図１８（ｂ）は、比較対象として、従来の信頼度伝搬法で生成した距離画像である。そして、図１８（ｃ）は、距離情報推定装置１が生成した距離画像である。
【０１４０】
図１８（ｂ）及び図１８（ｃ）を対比すると、図１８（ｃ）の距離画像は、被写体の輪郭の膨張が抑制されて、被写体が鮮明化されている。特に、丸部分において、被写体の輪郭が著しく鮮明化されている。
【０１４１】
図１９（ａ）は、この実験で使用した別の基準画像である。また、図１９（ｂ）は、本実施例の比較対象として、従来の信頼度伝搬法で生成した距離画像である。そして、図１９（ｃ）は、距離情報推定装置１が生成した距離画像である。
【０１４２】
図１９（ｂ）の距離画像では、被写体（力士及び審判）がひとまわり膨張している。一方、図１９（ｃ）の距離画像では、被写体の膨張が抑制され、基準画像と同様、正確な被写体の輪郭が表現されている。
【０１４３】
さらに、色情報閾値Ｔｃ及び重み係数λｄａｔａの値を変更して実験を行った。図２０（ａ）は、この実験で使用した基準画像である。また、図２０（ｂ）は、色情報閾値Ｔｃ＝３２、重み係数λｄａｔａ＝０．０７に設定したときの距離画像である。さらに、図２０（ｃ）は、色情報閾値Ｔｃ＝２０、重み係数λｄａｔａ＝０．０３に設定したときの距離画像である。
【０１４４】
図２０（ｂ）及び図２０（ｃ）を対比すると、特に、丸部分において、被写体の輪郭が著しく鮮明化されていることがわかる。以上より、重み係数λｄａｔａ及び色情報閾値Ｔｃの値をより小さくする、つまり、スムーズ関数の影響を大きくし、メッセージ伝搬を強く制限することで、距離画像をより滑らかにすると共に、被写体の輪郭を鮮鋭化して、距離推定の精度を向上させることができる。
【符号の説明】
【０１４５】
１，１Ｂ，１Ｃ 距離情報推定装置
１０，１０Ｂ 誤差関数計算部
１１，１１Ｂ スムーズ関数計算部
１２ メッセージ伝搬制限判定部（エネルギー伝搬判定部）
１３ メッセージ生成・伝搬部（エネルギー伝搬部）
１４ 評価関数計算部
１５ 距離推定部（距離指標推定部）
１５ａ ノイズ除去フィルタ（ノイズ除去手段）
１６ 評価値計算部
１７，１７Ｃ 評価値Ｏ計算部（オクルージョン評価値計算部）
１８ オクルージョン領域判定部（オクルージョン推定エラー判定部）
１９ 評価値Ｋ計算部（テクスチャ評価値計算部）
２０ 無テクスチャ領域判定部（テクスチャ推定エラー判定部）
２１ テクスチャ推定エラー抑制部
【技術分野】
【０００１】
本発明は、ステレオ画像間の誤差関数と奥行き方向への距離又は視差である距離指標の連続性を示すスムーズ関数とで規定される確率に関するエネルギーを最小化する手法により、ステレオ画像の一方である基準画像の画素ごとの距離指標を示す距離指標情報を推定する距離指標情報推定装置及びそのプログラムに関する。
【背景技術】
【０００２】
例えば、３次元立体モデルを生成する際、ステレオ画像の各画素の視差により距離を推定する距離推定技術が広く用いられている。この距離推定技術では、例えば、ステレオ画像間で類似度を求めるブロックマッチングが用いられている。また、類似度の計算方法としては、例えば、差の二乗和を求めるＳＳＤ（Sum of Squared Difference）、差の絶対和を求めるＳＡＤ(Sum of Absolute Difference)、および、正規化相互相関を求めるＺＮＣＣ(Zero-mean Normalized Cross-Correlation)が知られている（例えば、非特許文献１）。
【０００３】
また、距離推定技術としては、マルコフランダムフィールドモデルを仮定し、ステレオ画像間のデータ項とスムーズ項とで構成されるエネルギーを最小化することにより、ノイズが少なく滑らかな距離情報（距離画像）を生成する信頼度伝搬法も知られている（例えば、非特許文献２）。ここで、データ項はステレオ画像間の類似度を表し、スムーズ項は距離の不連続性を表す。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】ディジタル画像処理、ＣＧ−Ａｒｔｓ協会、２００６年、ｐ２０２−ｐ２０４
【非特許文献２】Pedro F.Felzenszwalb，Daniel P.Huttenlocher:Efficient Belief Propagation for Early Vision.CVPR(1)2004:261‐268
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、従来の信頼度伝搬法では、生成した距離画像において、被写体の輪郭が膨張することが多い。この場合、精度が高い距離情報を得るために、この膨張を抑制して、被写体の輪郭を鮮鋭化する必要がある。
【０００６】
そこで、本発明は、前記した問題を解決し、精度が高い距離指標情報を生成できる距離指標情報推定装置およびそのプログラムを提供することを課題とする。
【課題を解決するための手段】
【０００７】
前記した課題に鑑みて、本願第１発明に係る距離指標情報推定装置は、ステレオ画像間の誤差関数と奥行き方向への距離又は視差である距離指標の連続性を示すスムーズ関数とで規定される確率に関するエネルギーを最小化する手法により、ステレオ画像の一方である基準画像の画素ごとの距離指標を示す距離指標情報を推定する距離指標情報推定装置であって、誤差関数計算部と、スムーズ関数計算部と、エネルギー伝搬判定部と、エネルギー伝搬部と、評価関数計算部と、距離指標推定部とを備えることを特徴とする。
【０００８】
かかる構成によれば、距離指標情報推定装置は、誤差関数計算部によって、ステレオ画像が入力されると共に、予め設定された距離指標候補ごとに、入力されたステレオ画像の類似度である誤差関数を計算する。そして、距離指標情報推定装置は、スムーズ関数計算部によって、距離指標候補ごとに、マルコフランダムフィールドにおける隣接画素間の距離指標候補の差分絶対値であるスムーズ関数を計算する。
【０００９】
また、距離指標情報推定装置は、エネルギー伝搬判定部によって、基準画像における隣接画素間の色情報の差分絶対値が予め設定された色情報閾値以下であるか否かによって、エネルギーを伝搬できるか否かを判定する。例えば、エネルギー伝搬判定部は、被写体と背景との境界のように隣接画素間で色が大きく異なる場合、エネルギーの伝搬を制限すると判定する。
【００１０】
また、距離指標情報推定装置は、エネルギー伝搬部によって、誤差関数計算部で計算した誤差関数とスムーズ関数計算部で計算したスムーズ関数とを含むエネルギーが集合したエネルギー集合を生成し、エネルギー集合内でエネルギーを伝搬できると判定された隣接画素間で、所定の漸化式によってエネルギーを生成して伝搬することで、距離指標候補及び画素ごとのエネルギーを更新する。つまり、エネルギー伝搬部は、隣接画素間で色が大きく異なる場合、エネルギーの伝搬を制限する。
【００１１】
また、距離指標情報推定装置は、評価関数計算部によって、エネルギー伝搬部で更新されたエネルギーを示す評価関数を計算する。そして、距離指標情報推定装置は、距離指標推定部によって、距離指標候補のうち、評価関数計算部で計算された評価関数が最小となる距離指標を、距離指標情報として推定する。
【００１２】
また、本願第２発明に係る距離指標情報推定装置は、エネルギー伝搬判定部が、エネルギー伝搬元の画素と処理対象画素との色情報の差分絶対値が色情報閾値以下であるか否かによって、エネルギー伝搬元の画素と処理対象画素との間でエネルギーを伝搬できるか否かを判定することを特徴とする。
かかる構成によれば、距離指標情報推定装置は、エネルギー伝搬元の画素と処理対象画素との間で色が大きく異なる場合、エネルギーの伝搬を制限する。
【００１３】
また、本願第３発明に係る距離指標情報推定装置は、エネルギー伝搬判定部が、エネルギー伝搬先の画素と処理対象画素との色情報の差分絶対値が色情報閾値以下であるか否かによって、エネルギー伝搬先の画素と処理対象画素との間でエネルギーを伝搬できるか否かを判定することを特徴とする。
かかる構成によれば、距離指標情報推定装置は、エネルギー伝搬先の画素と処理対象画素との間で色が大きく異なる場合、エネルギーの伝搬を制限する。
【００１４】
また、本願第４発明に係る距離指標情報推定装置は、誤差関数計算部が、基準画像における処理対象画素と、ステレオ画像の他方である参照画像で処理対象画素に対応する対応画素との色情報の差分絶対値を求め、差分絶対値を予め設定した原色数で除算して重み付ける誤差関数を計算することを特徴とする。
かかる構成によれば、距離指標情報推定装置は、被写体の輪郭を鮮鋭化して、精度が高い距離指標情報を推定することができる。
【００１５】
また、本願第５発明に係る距離指標情報推定装置は、エネルギー伝搬判定部が、誤差関数の重み付けが小さいほど、色情報閾値が小さな値で予め設定されたことを特徴とする。
ここで、色情報閾値を小さな値に設定してメッセージ伝搬を強く制限した場合、相対的にスムーズ関数よりも誤差関数の影響が大きくなる。従って、距離指標情報推定装置は、誤差関数の重み付けが小さいほど、色情報閾値を小さな値で設定して、スムーズ関数と誤差関数とのバランスを保つ。
【００１６】
また、本願第６発明に係る距離指標情報推定装置は、距離指標推定部が、距離指標情報にノイズ除去処理を施すノイズ除去手段をさらに備えることを特徴とする。
かかる構成によれば、距離指標情報推定装置は、ノイズが除去された滑らかな距離指標情報を生成することができる。
【００１７】
なお、本願第１発明に係る距離指標情報推定装置は、一般的なコンピュータを、誤差関数計算部、スムーズ関数計算部、エネルギー伝搬判定部、エネルギー伝搬部、評価関数計算部及び距離指標推定部として動作させる距離指標情報推定プログラムによって実現することもできる。このプログラムは、通信回線を介して配布しても良く、ＣＤ−ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布しても良い。
【発明の効果】
【００１８】
本発明は、以下のような優れた効果を奏する。
本願第１発明によれば、例えば、被写体と背景との境界のように隣接画素間で色が大きく異なる場合、エネルギーの伝搬を制限するため、被写体の輪郭の膨張を抑制できる。これによって、本願第１発明によれば、被写体の輪郭を鮮鋭化して、精度が高い距離指標情報を生成することができる。
【００１９】
本願第２発明によれば、エネルギー伝搬元の画素と処理対象画素との間で色が大きく異なる場合、エネルギーの伝搬を制限するため、精度が高い距離指標情報を生成することができる。
本願第３発明によれば、エネルギー伝搬先の画素と処理対象画素との間で色が大きく異なる場合、エネルギーの伝搬を制限するため、精度が高い距離指標情報を生成することができる。
【００２０】
本願第４発明によれば、被写体の輪郭をより鮮鋭化して、精度が高い距離指標情報を生成することができる。
本願第５発明によれば、誤差関数の重み付けが小さいほど、色情報閾値が小さな値で設定するため、スムーズ関数と誤差関数とのバランスを保って、滑らかな距離指標情報を生成することができる。
本願第６発明によれば、ノイズを除去して、より滑らかな距離指標情報を生成することができる。
【図面の簡単な説明】
【００２１】
【図１】本発明において、信頼度伝搬法による距離推定を説明する説明図である。
【図２】本発明において、信頼度伝搬法による距離推定の手順を示すフローチャートである。
【図３】本発明の第１実施形態に係る距離情報推定装置の構成を示すブロック図である。
【図４】図３の距離情報推定装置において、距離候補ごとの誤差関数及びスムーズ関数の計算を説明する説明図である。
【図５】図３の距離情報推定装置において、距離候補ごとのメッセージの伝搬を説明する説明図である。
【図６】図３の距離情報推定装置において、距離候補ごとのメッセージの伝搬を説明する説明図である。
【図７】本発明の第１実施形態において、（ａ）はメッセージ伝搬元の画素から処理対象の画素へのメッセージ伝搬が制限されるときの説明図であり、（ｂ）は処理対象の画素からメッセージ伝搬先の画素へのメッセージ伝搬が制限されるときの説明図である。
【図８】本発明の第１実施形態において、（ａ）及び（ｂ）はメッセージ伝搬が制限されないときの説明図である。
【図９】図３の距離情報推定装置の動作を示すフローチャートである。
【図１０】本発明の第２実施形態に係る距離情報推定装置の構成を示すブロック図である。
【図１１】本発明の第２実施形態において、（ａ）はオクルージョンに起因する推定エラーが生じていない画素のエネルギー分布を示すグラフであり、（ｂ）はオクルージョンに起因する推定エラーが生じた画素のエネルギー分布を示すグラフである。
【図１２】本発明の第２実施形態において、（ａ）はテクスチャに起因する推定エラーが生じていない画素のエネルギー分布を示すグラフであり、（ｂ）はテクスチャに起因する推定エラーが生じた画素のエネルギー分布を示すグラフである。
【図１３】図１０の距離情報推定装置の動作を示すフローチャートである。
【図１４】本発明の第３実施形態に係る距離情報推定装置の構成を示すブロック図である。
【図１５】図１４の距離情報推定装置において、オクルージョンに起因する推定エラーの抑制を説明する説明図である。
【図１６】図１４の距離情報推定装置において、オクルージョンに起因する推定エラーの抑制を説明する説明図である。
【図１７】図１４の距離情報推定装置の動作を示すフローチャートである。
【図１８】本発明の実施例において、（ａ）は基準画像であり（ｂ）は従来の信頼度伝搬法で生成した距離画像であり、（ｃ）は距離情報推定装置で生成した距離画像である。
【図１９】本発明の実施例において、（ａ）は基準画像であり（ｂ）は従来の信頼度伝搬法で生成した距離画像であり、（ｃ）は距離情報推定装置で生成した距離画像である。
【図２０】本発明の実施例において、（ａ）は基準画像であり、（ｂ）は、色情報閾値及び重み係数が大きいときの距離画像であり、（ｃ）は色情報閾値及び重み係数が小さいときの距離画像である。
【発明を実施するための形態】
【００２２】
（本発明の概略：信頼度伝搬法による距離推定）
本発明の各実施形態では、ステレオ画像間の誤差関数と距離指標の連続性を示すスムーズ関数とで規定されるエネルギーを最小化する手法として、信頼度伝搬法を用いている。そこで、最初に、本発明の実施形態における信頼度伝搬法の概略を説明する。
【００２３】
なお、以後の各実施形態では、請求項に記載の距離指標が、奥行き方向への距離（奥行き）であることとして説明する。つまり、請求項に記載の距離指標情報として、画素ごとの距離を示す距離情報を推定することになる。
【００２４】
この信頼度伝搬法（ＢＰ法：Belief Propagation法）は、距離情報にマルコフランダムフィールド（ＭＲＦ：Markov Random Field）モデルを仮定し、ステレオ画像間の誤差関数とスムーズ関数とで構成（規定）されるエネルギーを最小化することにより、ノイズが少なく滑らかな距離情報を生成するものである。ここで、信頼度伝搬法は、図１に示すように、処理対象となる画素ｐの隣接画素ｓから、メッセージと呼ばれる各画素にどの距離が割り当てられるかという確率に関するエネルギーｍを受け取り、それらからメッセージを更新して隣接画素ｑに伝搬させる。そして、信頼度伝搬法は、この処理を画像内の全ての画素に対して繰り返し行うことで各画素の距離情報を求める。
なお、請求項に記載のエネルギーが、信頼度伝搬法ではメッセージとなる。
【００２５】
ここで、図１では、枠（白塗四角形）が基準画像の画素に対応し、矢印ｍが画素間のメッセージ（エネルギー）の伝搬を示している。また、図１に示すように、このメッセージを伝搬する画素がノードとして縦横に配列されたグラフをエネルギー集合（メッセージ集合）と呼ぶ。さらに、文字「ｓ」が付された画素ｓは、メッセージの伝搬元となる画素を示し、文字「ｐ」が付された画素ｐは、処理対象の画素を示し、文字「ｑ」が付された隣接画素ｑは、メッセージの伝搬先となる隣接画素を示す。なお、図１では、説明を簡易にするために、一部符号のみを図示した。
【００２６】
図２を参照し、信頼度伝搬法による距離推定の手順を説明する。
図２に示すように、信頼度伝搬法では、メッセージの生成に必要な画素間の誤差関数Ｄｐ（ｆｐ）（以後、「誤差関数Ｄｐ」）を計算する（ステップＳ１）。本発明において、誤差関数に、ＳＳＤ、ＳＡＤ、ＺＮＣＣ等の類似度が利用可能であり、ここでは、ステレオ画像の対応画素間で色情報の差分絶対値により類似度を示す式（１）を利用する。この式（１）によれば、画素単位で類似度を計算するため、被写体の輪郭を鮮鋭化することができる。
【００２７】
【数１】
【００２８】
ここで、ｐは処理対象の画素、ｆｐは画素ｐの距離候補、ｃは色情報、ｒ，ｇ，ｂはＲＧＢ値、ｄｐは距離候補ｆｐに対応する視差、Ｉｃはステレオ画像の一方である基準画像での画素値、Ｉｃ´はステレオ画像の他方である参照画像での画素値、λｄａｔａは重み係数を表わす。
なお、距離候補（距離指標候補）とは、任意の範囲内で予め設定された距離の候補のことである（図４等参照）。
【００２９】
すなわち、式（１）は、基準画像Ｉｃにおける処理対象の画素ｐの色情報Ｉｃ（ｐ）と、参照画像Ｉｃ´における対応画素（ｐ＋ｄｐ）の色情報Ｉｃ´（ｐ＋ｄｐ）との差分絶対値を予め設定された原色数（例えば、３）で除算して、重み係数λｄａｔａで重み付けることを示す。この対応画素（ｐ＋ｄｐ）とは、参照画像Ｉｃ´において、処理対象の画素ｐに対応する画素のことである。
【００３０】
また、式（１）において、視差の逆数にステレオカメラの間隔（ベースライン）を乗算して距離が計算できることを利用して、距離候補ｆｐから視差ｄｐを逆算できる。このベースラインは、例えば、ＯｐｅｎＣＶ等のカメラキャリブレーションで求めることができる（URL「http://opencv.jp/」）。
【００３１】
続いて、信頼度伝搬法では、下記の式（２）に示すように、距離候補ｆｐと、画素ｑの距離候補ｆｑとの差分絶対値｜ｆｐ−ｆｑ｜で定義されるスムーズ関数Ｖ（ｆｐ−ｆｑ）（以後、「スムーズ関数Ｖ」）の計算を行う（ステップＳ２）。このスムーズ関数Ｖは、距離情報の滑らかさ（例えば、ノイズの少なさ）、言い換えるなら、距離の連続性を示す。ここで、ｑは画素ｐのメッセージ伝搬先となる隣接画素である。
【００３２】
【数２】
【００３３】
そして、信頼度伝搬法では、下記の式（３）で規定される生成式によって、メッセージを生成して伝搬する（ステップＳ３）。
【００３４】
【数３】
【００３５】
ｍはメッセージ、ｔは反復回数、Ｎ（ｐ）＼ｑは画素ｐへメッセージを渡す画素ｑ以外の４近傍の画素集合、ｓはその画素集合の要素画素、ｍｉｎは最小値を返す関数である。この式（３）は、漸化式になっており、受け取ったメッセージをもとにメッセージを更新する処理を繰り返し行うことを示す。例えば、信頼度伝搬法では、ラスタスキャンを行うように処理対象画素ｐを移動させながら、その処理対象画素ｐでメッセージを更新することで、メッセージの伝搬を全画素で行う。
【００３６】
全画素についてメッセージの更新処理を、予め設定したＴ回（例えば、１０回）まで反復したとする。この場合、画素ｑの距離候補ｆｑに関する評価関数ｂｑ（ｆｑ）（以後、「評価関数ｂｑ」）は、下記の式（４）で表すことができる。そして、信頼度伝搬法では、この評価関数ｂｑが最小になる距離候補ｆｑを、各画素の最終的な距離として推定する（ステップＳ４）。
【００３７】
【数４】
【００３８】
（第１実施形態）
［距離情報推定装置の構成］
以下、本発明の各実施形態について、適宜図面を参照しながら詳細に説明する。なお、各実施形態において、同一の機能を有する手段には同一の符号を付し、説明を省略した。
【００３９】
図３を参照し、本発明の第１実施形態に係る距離情報推定装置（距離指標情報推定装置）１の構成について説明する。
距離情報推定装置１は、信頼度伝搬法により距離情報を推定すると共に、前記した信頼度伝搬法において、隣接画素間で色が大きく異なるときにメッセージの伝搬を制限する。
【００４０】
図３に示すように、距離情報推定装置１は、誤差関数計算部１０と、スムーズ関数計算部１１と、メッセージ伝搬制限判定部（エネルギー伝搬判定部）１２と、メッセージ生成・伝搬部（エネルギー伝搬部）１３と、評価関数計算部１４と、距離推定部（距離指標推定部）１５とを備える。
【００４１】
距離情報推定装置１は、左カメラＣＬ及び右カメラＣＲ（ステレオカメラ）から、被写体（不図示）を撮影したステレオ画像が入力される。
この左カメラＣＬ及び右カメラＣＲは、静止画や動画を撮影可能な撮影カメラであり、図３に示すように、一定間隔だけ離して配置される。ここでは、左カメラＣＬ及び右カメラＣＲのうち左カメラＣＬを基準カメラとし、左カメラＣＬの撮影画像を基準画像とし、右カメラＣＲの撮影画像を参照画像とする。
【００４２】
誤差関数計算部１０は、ステレオ画像が入力されると共に、距離候補ごとに、入力されたステレオ画像の類似度である誤差関数Ｄｐを計算するものである。この誤差関数計算部１０は、前記した式（１）を用いて、図４に示すように画素ｓ，ｐ，ｑについて、距離候補ごとの誤差関数Ｄｐを計算する。そして、誤差関数計算部１０は、計算した誤差関数Ｄｐをメッセージ生成・伝搬部１３に出力する。
【００４３】
本実施形態では、距離候補ｆｓ，ｆｐ，ｆｑがそれぞれ、図４に示すように、０，１，・・・，Ｋ，・・・，Ｎ−１の範囲内で予め設定されたこととして説明する（但し、Ｋ，Ｎは、Ｋ＜Ｎ−１を満たす整数）。
なお、図４では、文字ｓ，ｐ，ｑを付した四辺形が画素ｓ，ｐ，ｑである。
【００４４】
スムーズ関数計算部１１は、距離候補ごとに、スムーズ関数Ｖを計算するものである。このスムーズ関数計算部１１は、図４に示すように、画素ｐの距離候補ｆｐ（０〜Ｎ−１）と、画素ｑの距離候補ｆｑ（０〜Ｎ−１）との全組み合わせについて、前記した式（２）を用いて、スムーズ関数Ｖを計算する。そして、スムーズ関数計算部１１は、計算したスムーズ関数Ｖをメッセージ生成・伝搬部１３に出力する。
【００４５】
ここで、マルコフランダムフィールドおよびスムーズ関数Ｖについて補足する。このマルコフランダムフィールドは、基準画像で互いに隣接する画素の色、輝度や距離が似ていることを示すモデルである。そして、スムーズ関数Ｖは、このマルコフランダムフィールドを踏まえた距離の連続性に関する関数であり、基準画像の各画素に距離候補を割り当てた際、互いに隣接する画素の距離候補が同じであればエネルギーが小さく、異なればエネルギーが大きくなる。例えば、マルコフランダムフィールドでは、ある画素の距離候補が１で、その隣接画素の距離候補が１である場合、エネルギーは０となる。また、ある画素の距離候補が１で、その画素に隣接する画素の距離候補が２である場合、例えば、エネルギーは１となる。さらに、ある画素の距離候補が１で、その隣接画素の距離候補が１０である場合、例えば、エネルギーは９となる。つまり、信頼度伝搬法において、エネルギーが最小となる距離候補が最終的な距離となることを考慮すれば、このマルコフランダムフィールドにより、互いに隣接する画素は、同じような距離になり易くなる。
【００４６】
メッセージ伝搬制限判定部（エネルギー伝搬判定部）１２は、基準画像における隣接画素間の色情報の差分絶対値が予め設定された色情報閾値Ｔｃ以下であるか否かによって、メッセージを伝搬できるか否かを判定するものである。
【００４７】
このメッセージ伝搬制限判定部１２は、メッセージの伝搬の制限を判定するために、隣接画素間の色情報の差分絶対値に関する色情報閾値Ｔｃが予め設定される。このとき、色情報閾値Ｔｃの値が小さくなってメッセージ伝搬の制限が強くなると、重み係数λｄａｔａの値も小さくなってスムーズ関数の影響が大きくなるように、色情報閾値Ｔｃ及び重み係数λｄａｔａを予め設定することが好ましい。
【００４８】
また、メッセージ伝搬制限判定部１２は、メッセージ伝搬元の画素ｓと処理対象の画素ｐとの色情報の差分絶対値が色情報閾値Ｔｃ以下であるか否かによって、メッセージ伝搬元の画素ｓと処理対象の画素ｐとの間でメッセージを伝搬できるか否かを判定する。具体的には、メッセージ伝搬制限判定部１２は、下記の式（５）に示すように、画素ｓ，ｐの色情報の差分絶対値と色情報閾値Ｔｃとを比較することにより、メッセージ伝搬元の重み係数λｓ，ｐを計算する。
【００４９】
【数５】
【００５０】
ここで、メッセージ伝搬制限判定部１２は、式（５）に示すように、画素ｓ，ｐの色情報の差分絶対値が色情報閾値Ｔｃ以下の場合、画素ｓ，ｐ間でメッセージを伝搬できると判定し、重み係数λｓ，ｐを１として計算する。一方、メッセージ伝搬制限判定部１２は、画素ｓ，ｐの色情報の差分絶対値が色情報閾値Ｔｃを超える場合、画素ｓ，ｐ間でメッセージを伝搬できないと判定し、重み係数λｓ，ｐを０として計算する。そして、メッセージ伝搬制限判定部１２は、計算した重み係数λｓ，ｐをメッセージ生成・伝搬部１３に出力する。
【００５１】
また、メッセージ伝搬制限判定部１２は、メッセージ伝搬先の画素ｑと処理対象の画素ｐとの色情報の差分絶対値が色情報閾値Ｔｃ以下であるか否かによって、メッセージ伝搬先の画素ｑと処理対象の画素ｐとの間でメッセージを伝搬できるか否かを判定する。具体的には、メッセージ伝搬制限判定部１２は、下記の式（６）に示すように、画素ｐ，ｑの色情報の差分絶対値と色情報閾値Ｔｃとを比較することにより、メッセージ伝搬先の重み係数λｐ，ｑを計算する。
【００５２】
【数６】
【００５３】
ここで、メッセージ伝搬制限判定部１２は、式（６）に示すように、画素ｐ，ｑの色情報の差分絶対値が色情報閾値Ｔｃ以下の場合、画素ｐ，ｑ間でメッセージを伝搬できると判定し、重み係数λｐ，ｑを１として計算する。一方、メッセージ伝搬制限判定部１２は、画素ｐ，ｑの色情報の差分絶対値が色情報閾値Ｔｃを超える場合、画素ｐ，ｑ間でメッセージを伝搬できないと判定し、重み係数λｐ，ｑを０として計算する。そして、メッセージ伝搬制限判定部１２は、計算した重み係数λｐ，ｑを評価関数計算部１４に出力する。
【００５４】
メッセージ生成・伝搬部（エネルギー伝搬部）１３は、誤差関数計算部１０で計算された誤差関数Ｄｐと、スムーズ関数計算部１１で計算されたスムーズ関数Ｖと、メッセージ伝搬制限判定部１２で計算された重み係数λｓ，ｐとが入力される。そして、メッセージ生成・伝搬部１３は、図１と同様に、これら誤差関数Ｄｐおよびスムーズ関数Ｖを含むメッセージが集合したエネルギー集合を生成するものである。
【００５５】
具体的には、メッセージ生成・伝搬部１３は、基準画像の画素位置に対応した位置に画素ごとのメッセージを配置することで、エネルギー集合をモデル化（生成）する。
次に、メッセージ生成・伝搬部１３は、下記の式（７）を用いて、エネルギー集合内における隣接画素間で、メッセージを生成して伝搬することで、画素ごとのメッセージを更新する。まず、メッセージ生成・伝搬部１３は、図５，図６に示すように、画素ｓにおいて、距離候補ｆｓ（０〜Ｎ−１）のメッセージｍｓ（０）〜ｍｓ（Ｎ−１）を生成して、画素ｓから画素ｐに伝搬させる。次に、メッセージ生成・伝搬部１３は、画素ｐにおいて、距離候補ｆｐ（０〜Ｎ−１）のメッセージｍｐ→ｑ（０）〜ｍｐ→ｑ（Ｎ−１）を生成して、画素ｐから画素ｑに伝搬させる。
【００５６】
【数７】
【００５７】
このとき、メッセージ生成・伝搬部１３は、式（７）に示すように、画素ｐ，ｑの色情報の差分絶対値と色情報閾値Ｔｃとを比較して、メッセージを伝搬するか又は制限するかを判定する。具体的には、メッセージ生成・伝搬部１３は、画素ｐ，ｑの色情報の差分絶対値が色情報閾値Ｔｃ以下の場合、画素ｐから画素ｑへのメッセージを伝搬させる。一方、メッセージ生成・伝搬部１３は、色情報の差分絶対値が色情報閾値Ｔｃを超える場合、画素ｐから画素ｑへメッセージを伝搬させない。
【００５８】
図７，図８を参照して、メッセージの伝搬の制限について詳細に説明する（適宜図３参照）。この図７，図８では、図１と同様のエネルギー集合において、枠（白塗四角形）が明るい色の画素であり、ハッチングされた枠が暗い色の画素である。ここでは、明るい色の画素と暗い色の画素との色情報の差分絶対値が色情報閾値Ｔｃを超えることとして説明する。
【００５９】
例えば、被写体と背景との境界といったように、隣接画素間で色が大きく異なる場合を考える。図７（ａ）に示すように、画素ｓ，ｐで色が大きく異なる場合、距離情報推定装置１は、前記した式（５）よりメッセージ伝搬元の重み係数λｓ，ｐを０として、これら２画素ｓ、ｐでのメッセージ伝搬を制限する。また、図７（ｂ）に示すように、画素ｐ，ｑで色が大きく異なる場合、距離情報推定装置１は、前記した式（６）よりメッセージ伝搬先の重み係数λｐ，ｑを０として、これら２画素ｐ、ｑでのメッセージ伝搬を制限する。
【００６０】
一方、図８（ａ）に示すように画素ｓ，ｐ，ｑの全てが明るい色、又は、図８（ｂ）に示すように画素ｓ，ｐ，ｑの全てが暗い色の場合、距離情報推定装置１は、前記した式（５）及び式（６）より重み係数λｓ，ｐ，λｐ，ｑを１として、画素ｓ，ｐ，ｑ間でメッセージを伝搬させる。
【００６１】
つまり、距離情報推定装置１では、メッセージ伝搬元の重み係数λｓ，ｐの値によって、画素ｓから画素ｐへのメッセージ伝搬を制御し、メッセージ伝搬先の重み係数λｐ，ｑの値によって、画素ｐから画素ｑへのメッセージ伝搬を制御する。
【００６２】
評価関数計算部１４は、メッセージ伝搬制限判定部１２で計算された重み係数λｐ，ｑが入力さる。そして、評価関数計算部１４は、下記の式（８）を用いて、メッセージ生成・伝搬部１３で更新されたメッセージを示す評価関数ｂｑを計算するものである。そして、評価関数計算部１４は、計算した評価関数ｂｑを距離推定部１５に出力する。
【００６３】
【数８】
【００６４】
距離推定部（距離指標推定部）１５は、評価関数計算部１４で計算された評価関数ｂｑが入力される。そして、距離推定部１５は、距離候補ｆｑのうち、この評価関数ｂｑが最小となる距離候補ｆｑを、距離情報として推定するものである。すなわち、距離推定部１５は、前記した式（８）の評価関数ｂｑが最小となる距離候補ｆｑを、基準画像の画素ｑの最終的な距離情報として推定する。
【００６５】
また、距離推定部１５は、ノイズ除去フィルタ（ノイズ除去手段）１５ａを備える。
このノイズ除去フィルタ１５ａは、距離推定部１５が推定した距離情報（距離画像）にメディアンフィルタ等のノイズ除去処理を施すものである。このようにして、ノイズの影響が少ない滑らかな距離情報を推定することができる。
【００６６】
ここでは、距離推定部１５は、距離情報として、画素の距離が手前側である程、その画素の輝度が高く、画素の距離が奥側である程、その画素の輝度が低くなる距離画像を生成して出力する。この距離画像は、例えば、被写体の３次元立体モデルの生成に利用できる。
【００６７】
［距離情報推定装置の動作］
図９を参照し、距離情報推定装置１の動作について説明する（適宜図３参照）。
距離情報推定装置１は、誤差関数計算部１０によって、距離候補ごとに、誤差関数Ｄｐを計算する。つまり、誤差関数計算部１０は、前記した式（１）を用いて、距離候補ごとの誤差関数Ｄｐを計算する（ステップＳ１０）。
【００６８】
距離情報推定装置１は、スムーズ関数計算部１１によって、距離候補ごとに、スムーズ関数Ｖを計算する。つまり、スムーズ関数計算部１１は、前記した式（２）を用いて、スムーズ関数Ｖを計算する（ステップＳ１１）。
【００６９】
距離情報推定装置１は、メッセージ伝搬制限判定部１２によって、隣接画素間の色情報の差分絶対値が色情報閾値Ｔｃ以下であるか否かによって、隣接画素間でメッセージを伝搬できるか否かを判定する。具体的には、メッセージ伝搬制限判定部１２は、前記した式（５）に示すように、画素ｓ，ｐの色情報の差分絶対値と色情報閾値Ｔｃとを比較することにより、画素ｓ，ｐ間におけるメッセージ伝搬の判定結果として、メッセージ伝搬元の重み係数λｓ，ｐを計算する。さらに、メッセージ伝搬制限判定部１２は、前記した式（６）に示すように、画素ｐ，ｑの色情報の差分絶対値と色情報閾値Ｔｃとを比較することにより、画素ｐ，ｑ間におけるメッセージ伝搬の判定結果として、メッセージ伝搬先の重み係数λｐ，ｑを計算する（ステップＳ１２）。
【００７０】
距離情報推定装置１は、メッセージ生成・伝搬部１３によって、図１と同様にエネルギー集合を生成する。そして、メッセージ生成・伝搬部１３は、前記した式（７）を用いて、エネルギー集合内における隣接画素間で、メッセージを生成して伝搬する（ステップＳ１３）。
【００７１】
距離情報推定装置１は、評価関数計算部１４によって、前記した式（４）を用いて、距離候補ごとに評価関数ｂｑを計算する（ステップＳ１４）。そして、距離情報推定装置１は、距離推定部１５によって、距離候補のうち、この評価関数ｂｑが最小となる距離を、距離情報として推定する（ステップＳ１５）。
【００７２】
以上のように、本発明の第１実施形態に係る距離情報推定装置１は、隣接画素間の色情報の差分絶対値が大きいときにメッセージの伝搬を制限する。これによって、距離情報推定装置１は、被写体の膨張を抑制してその輪郭を鮮鋭化し、精度が高い距離情報を生成することができる。
【００７３】
（第２実施形態）
［距離情報推定装置の構成］
図１０を参照し、本発明の第２実施形態に係る距離情報推定装置１Ｂの構成について、第１実施形態と異なる点を説明する。
距離情報推定装置１Ｂは、この距離情報の信頼度を示す評価値を計算すると共に、この評価値によって、距離情報の推定エラーが生じたか否かを判定する点が、第１実施形態と異なる。
【００７４】
本実施形態では、距離情報推定装置１Ｂは、評価値として、オクルージョンに起因する推定エラーを判定するための評価値Ｏｑ（オクルージョン評価値、以後「評価値Ｏ」）と、テクスチャに起因する推定エラーを判定するための評価値Ｋｑ（テクスチャ評価値、以後「評価値Ｋ」）とを計算する。そして、距離情報推定装置１Ｂは、評価値Ｏ及び評価値Ｋを用いて、距離情報の推定エラーとして、オクルージョンに起因する推定エラーと、テクスチャに起因する推定エラーとを判定することとする。
【００７５】
ここで、テクスチャに起因する推定エラーとは、例えば、ステレオ画像でのテクスチャがない領域（テクスチャレス領域）において、マッチング精度が低下して、距離情報の推定エラーが生じることである。
【００７６】
図１０に示すように、距離情報推定装置１Ｂは、誤差関数計算部１０Ｂと、スムーズ関数計算部１１Ｂと、メッセージ伝搬制限判定部１２と、メッセージ生成・伝搬部１３と、評価関数計算部１４と、距離推定部１５と、評価値計算部１６と、オクルージョン領域判定部（オクルージョン推定エラー判定部）１８と、無テクスチャ領域判定部（テクスチャ推定エラー判定部）２０とを備える。
【００７７】
誤差関数計算部１０Ｂは、ステレオ画像が入力されると共に、距離候補ごとに、予め設定された誤差関数閾値Ｔｄａｔａ以下となるように、誤差関数Ｄｐを計算するものである。この誤差関数計算部１０Ｂは、下記の式（９）及び式（１０）を用いて、画素及び距離候補ごとの誤差関数Ｄｐを計算する。
ここで、ｉｆは、後段の条件式を満たす場合、前段に記述した値を出力する関数である。
【００７８】
【数９】
【００７９】
【数１０】
【００８０】
このとき、誤差関数計算部１０Ｂは、式（１０）に示すように、誤差関数Ｄｐの値が誤差関数閾値Ｔｄａｔａを超えないように、トランケーションを行っている。具体的には、誤差関数計算部１０Ｂは、誤差関数Ｄｐの値が誤差関数閾値Ｔｄａｔａを超える場合、誤差関数閾値Ｔｄａｔａを誤差関数Ｄｐの値としてメッセージ生成・伝搬部１３に出力する。その一方、誤差関数計算部１０Ｂは、誤差関数Ｄｐの値が誤差関数閾値Ｔｄａｔａ以下の場合、メッセージ生成・伝搬部１３に誤差関数Ｄｐの値をそのまま出力する。
【００８１】
スムーズ関数計算部１１Ｂは、距離候補ごとに、予め設定されたスムーズ関数閾値Ｔｓｍｏｏｔｈ以下となるように、スムーズ関数Ｖを計算するものである。このスムーズ関数計算部１１Ｂは、下記の式（１１）を用いて、画素及び距離候補ごとにスムーズ関数Ｖを計算する。
【００８２】
【数１１】
【００８３】
このとき、スムーズ関数計算部１１Ｂは、式（１１）に示すように、スムーズ関数Ｖの値がスムーズ関数閾値Ｔｓｍｏｏｔｈを超えないように、トランケーションを行っている。具体的には、スムーズ関数計算部１１Ｂは、スムーズ関数Ｖの値がスムーズ関数閾値Ｔｓｍｏｏｔｈを超える場合、スムーズ関数閾値Ｔｓｍｏｏｔｈをスムーズ関数Ｖの値としてメッセージ生成・伝搬部１３に出力する。その一方、スムーズ関数計算部１１Ｂは、スムーズ関数Ｖの値がスムーズ関数閾値Ｔｓｍｏｏｔｈ以下の場合、メッセージ生成・伝搬部１３にスムーズ関数Ｖの値をそのまま出力する。
【００８４】
メッセージ伝搬制限判定部１２と、メッセージ生成・伝搬部１３と、評価関数計算部１４と、距離推定部１５とは、図３の各手段と同様であるため、詳細な説明を省略する。
【００８５】
評価値計算部１６は、評価関数ｂｑにおけるエネルギー分布の形状により、評価値を求めるものであり、評価値Ｏ計算部（オクルージョン評価値計算部）１７と、評価値Ｋ計算部（テクスチャ評価値計算部）１９とを備える。
【００８６】
評価値Ｏ計算部（オクルージョン評価値計算部）１７は、評価関数計算部１４で計算された評価関数ｂｑが入力される。この評価関数ｂｑは、基準画像の各画素について、距離候補ｆｑごとのメッセージを示す情報、つまり、距離候補ｆｑとメッセージとを対応付けたエネルギー分布（メッセージ分布）と言える。
【００８７】
具体的には、評価値Ｏ計算部１７は、メッセージが最も高くなる最大値とメッセージが最も低くなる最小値との差分をこの最大値で除算することで、評価値Ｏを計算するものである。具体的には、評価値Ｏ計算部１７は、下記の式（１２）を用いて評価値Ｏを計算して、オクルージョン領域判定部１８に出力する。
【００８８】
【数１２】
【００８９】
ここで、ｍａｘは、最大値を返す関数である。従って、ｍａｘ（ｂｑ（ｆｑ））は、画素ｑにおけるメッセージの最大値を示す。また、ｍｉｎ（ｂｑ（ｆｑ））は、画素ｑにおけるメッセージの最小値を示す。
【００９０】
オクルージョン領域判定部（オクルージョン推定エラー判定部）１８は、評価値Ｏ計算部１７から評価値Ｏが入力される。そして、オクルージョン領域判定部１８は、この評価値Ｏが予め設定されたオクルージョン閾値Ｔｏ以下であるか否かを判定し、評価値Ｏがオクルージョン閾値Ｔｏ以下の場合、オクルージョンに起因する推定エラーが生じたと判定するものである。
【００９１】
ここで、オクルージョンに起因する推定エラーが生じていない画素では、図１１（ａ）のエネルギー分布のように、メッセージの最大値ｍａｘと最小値ｍｉｎとの差分ΔＥＯが、大きくなる。一方、オクルージョンに起因する推定エラーが生じた画素では、図１１（ｂ）のエネルギー分布のように、差分ΔＥＯが図１１（ａ）よりも小さくなる。
【００９２】
また、図１１の差分ΔＥＯは、式（１２）の分子であることから、評価値Ｏに比例する。つまり、オクルージョン領域判定部１８は、評価値Ｏが、オクルージョンに起因する推定エラーが生じた画素で、オクルージョンに起因する推定エラーが生じていない画素よりも小さくなる性質を利用して、オクルージョンに起因する推定エラーを判定している。そして、オクルージョン領域判定部１８は、評価値Ｏがオクルージョン閾値Ｔｏ以下と判定された画素領域をオクルージョン領域として出力する。このオクルージョン領域は、例えば、被写体の３次元立体モデルを生成する際、オクルージョンに起因する推定エラーが生じた領域を把握するために利用できる。
なお、オクルージョン領域判定部１８は、評価値Ｏが閾値Ｔｏを超える場合、オクルージョンに起因する推定エラーが生じていないと判定することは言うまでもない。
【００９３】
評価値Ｋ計算部（テクスチャ評価値計算部）１９は、評価関数計算部１４で計算された評価関数ｂｑが入力される。そして、評価値Ｋ計算部１９は、基準画像の各画素について、この評価関数ｂｑにおけるエネルギー分布の尖度を評価値Ｋとして計算するものである。
【００９４】
具体的には、評価値Ｋ計算部１９は、下記の式（９）に示すように、距離候補ｆｑの個数ｎｆ（例えば、０〜Ｎ−１までの合計Ｎ個）と、メッセージと、メッセージの平均値ｂｑ￣と，メッセージの標準偏差σ（ｂｑ）とに基づいて、評価値Ｋを計算する。そして、評価値Ｋ計算部１９は、計算した評価値Ｋを、無テクスチャ領域判定部２０に出力する。
【００９５】
【数１３】
【００９６】
無テクスチャ領域判定部（テクスチャ推定エラー判定部）２０は、評価値Ｋ計算部１９から評価値Ｋが入力される。そして、無テクスチャ領域判定部２０は、この評価値Ｋが予め設定されたテクスチャ閾値ＴＫ以下であるか否かを判定し、評価値Ｋがテクスチャ閾値ＴＫ以下の場合、テクスチャに起因する推定エラーが生じたと判定するものである。
【００９７】
ここで、テクスチャに起因する推定エラーが生じていない画素では、図１２（ａ）に示すように、エネルギー分布が尖っており、その尖度を示す評価値Ｋが大きくなる。一方、テクスチャに起因する推定エラーが生じた画素では、図１２（ｂ）に示すように、エネルギー分布が尖っておらず、評価値Ｋが図１２（ａ）よりも小さくなる。
【００９８】
この尖度（Kurtosis)は、エネルギー分布の尖り具合を示すものであり、正規分布と比べて、以下のような特徴がある。すなわち、尖度が大きくなるほど、鋭いピークと長い尾とを有するエネルギー分布になる（図１２（ａ）参照）。その一方、尖度が小さくなるほど、より丸みがかったピークと短い尾とを有するエネルギー分布になる（図１２（ｂ）参照）。
なお、尾とは、図１２において、トランケーションによって形成される、メッセージの上限となる平坦部である。
【００９９】
つまり、無テクスチャ領域判定部２０は、評価値Ｋが、テクスチャに起因する推定エラーが生じた画素で、テクスチャに起因する推定エラーが生じていない画素よりも小さくなる性質を利用して、テクスチャに起因する推定エラーを判定している。そして、無テクスチャ領域判定部２０は、評価値Ｋがテクスチャ閾値ＴＫ以下と判定された画素領域を無テクスチャ領域として出力する。このオクルージョン領域は、例えば、被写体の３次元立体モデルを生成する際、テクスチャに起因する推定エラーが生じた領域を把握するために利用できる。
なお、無テクスチャ領域判定部２０は、評価値Ｋがテクスチャ閾値ＴＫを超える場合、テクスチャに起因する推定エラーが生じていないと判定することは言うまでもない。
【０１００】
［距離情報推定装置の動作］
図１３を参照し、距離情報推定装置１Ｂの動作について説明する（適宜図１０参照）。
距離情報推定装置１Ｂは、誤差関数計算部１０Ｂによって、距離候補ごとに、誤差関数閾値Ｔｄａｔａ以下となるように誤差関数Ｄｐを計算する。つまり、誤差関数計算部１０Ｂは、前記した式（９）及び式（１０）を用いて、誤差関数Ｄｐを計算して、トランケーションを行う（ステップＳ２０）。
【０１０１】
距離情報推定装置１Ｂは、スムーズ関数計算部１１Ｂによって、距離候補ごとに、スムーズ関数閾値Ｔｓｍｏｏｔｈ以下となるように、スムーズ関数Ｖを計算する。つまり、スムーズ関数計算部１１Ｂは、前記した式（１１）を用いて、スムーズ関数Ｖを計算して、トランケーションを行う（ステップＳ２１）。
【０１０２】
ステップＳ２２〜Ｓ２５の処理は、図９のステップＳ１２〜Ｓ１５と同様のため、説明を省略する。
【０１０３】
距離情報推定装置１Ｂは、評価値Ｏ計算部１７によって、評価値Ｏを計算する。つまり、評価値Ｏ計算部１７は、前記した式（１２）に示すように、メッセージの最大値とメッセージの最小値との差分をこの最大値で除算することで、評価値Ｏを計算する（ステップＳ２６）。
【０１０４】
距離情報推定装置１Ｂは、オクルージョン領域判定部１８によって、評価値Ｏがオクルージョン閾値Ｔｏ以下であるか否かを判定し、評価値Ｏがオクルージョン閾値Ｔｏ以下の場合、オクルージョンに起因する推定エラーが生じたと判定する。（ステップＳ２７）。
【０１０５】
距離情報推定装置１Ｂは、評価値Ｋ計算部１９によって、エネルギー分布の尖度である評価値Ｋを計算する。つまり、評価値Ｋ計算部１９は、前記した式（１３）に示すように、距離候補の個数ｎｆと、メッセージと、メッセージの平均値ｂｑ￣と、メッセージの標準偏差σ（ｂｑ）とに基づいて、評価値Ｋを計算する（ステップＳ２８）。
【０１０６】
距離情報推定装置１Ｂは、無テクスチャ領域判定部２０によって、評価値Ｋがテクスチャ閾値ＴＫ以下であるか否かを判定し、評価値Ｋがテクスチャ閾値ＴＫ以下の場合、テクスチャに起因する推定エラーが生じたと判定する（ステップＳ２９）。
【０１０７】
以上のように、本発明の第２実施形態に係る距離情報推定装置１Ｂは、メッセージの最小値だけでなくメッセージの最大値も考慮して評価値Ｏを計算すると共に、エネルギー分布の尖度である評価値Ｋを計算する。そして、距離情報推定装置１Ｂは、オクルージョンやテクスチャに起因する推定エラーが生じた画素で、評価値Ｏ及び評価値Ｋが小さくなる性質を利用して、これら推定エラーを判定する。これによって、距離情報推定装置１Ｂは、オクルージョン及びテクスチャに起因する推定エラーの判定精度を向上させて、これら推定エラーが生じた領域を正確に提示することができる。
【０１０８】
さらに、距離情報推定装置１Ｂは、図１１，図１２に示すように、トランケーションによって、メッセージに上限が設けられるため、評価関数ｂｑのばらつきが一定範囲に収まって、距離情報の精度を向上させることができる。
【０１０９】
（第３実施形態）
［距離情報推定装置の構成］
図１４を参照し、本発明の第３実施形態に係る距離情報推定装置１Ｃの構成について、第２実施形態と異なる点を説明する。この距離情報推定装置１Ｃは、オクルージョン及びテクスチャに起因する推定エラーを抑制する点が、第２実施形態と異なる。このため、距離情報推定装置１Ｃは、テクスチャ推定エラー抑制部２１をさらに備える。
【０１１０】
図１４に示すように、距離情報推定装置１Ｃは、左カメラＣＬ及び中央カメラＣＣの撮影画像である左ステレオ画像と、右カメラＣＲ及び中央カメラＣＣの撮影画像である右ステレオ画像とが入力される。
【０１１１】
この中央カメラＣＣは、左カメラＣＬ及び右カメラＣＲと同様、静止画や動画を撮影可能な撮影カメラである。また、左カメラＣＬ及び右カメラＣＲは、それぞれ、中央カメラＣＣから一定間隔離して左右に配置される。ここでは、中央カメラＣＣを基準カメラとし、中央カメラＣＣの撮影画像を基準画像とし、左カメラＣＬ及び右カメラＣＲの撮影画像を参照画像とする。
【０１１２】
誤差関数計算部１０Ｂと、スムーズ関数計算部１１Ｂと、メッセージ生成・伝搬部１３と、評価関数計算部１４と、距離推定部１５とは、左ステレオ画像及び右ステレオ画像それぞれの処理を行う以外、図１０の各手段と同様であるため、詳細な説明を省略する。
【０１１３】
ここで、後記するオクルージョンに起因する推定エラーの抑制には、左ステレオ画像及び右ステレオ画像の両方（以下、「両ステレオ画像」）から求めた評価関数ｂｑが必要になる。このため、評価関数計算部１４は、両ステレオ画像から求めた評価関数ｂｑを評価値Ｏ計算部１７Ｃに出力する。さらに、距離推定部１５は、両ステレオ画像から求めた距離情報（距離画像）を、評価値Ｏ計算部１７Ｃに出力する。
【０１１４】
一方、後記するテクスチャに起因する推定エラーの抑制には、左ステレオ画像及び右ステレオ画像の何れか一方から求めた評価関数ｂｑがあればよい。従って、評価関数計算部１４は、左ステレオ画像から求めた評価関数ｂｑを、評価値Ｋ計算部１９に出力する。
【０１１５】
評価値Ｏ計算部１７Ｃは、両ステレオ画像から評価値Ｏを計算して、オクルージョン領域判定部１８に出力する。また、評価値Ｏ計算部１７Ｃは、両ステレオ画像から計算した評価値Ｏと、両ステレオ画像の距離情報とを用いて、オクルージョンに起因する推定エラーを抑制する。
なお、評価値Ｏの計算は、図１０の評価値Ｏ計算部１７と同様のため、説明を省略する。
【０１１６】
具体的には、評価値Ｏ計算部１７Ｃは、基準画像の各画素について、左ステレオ画像から計算した評価値Ｏと、右ステレオ画像から計算した評価値Ｏとを比較する。この比較結果に基づいて、評価値Ｏ計算部１７Ｃは、両ステレオ画像の距離情報のうち、評価値Ｏが大きい側の距離情報を、その画素の距離情報として、テクスチャ推定エラー抑制部２１に出力する。すなわち、評価値Ｏ計算部１７Ｃは、オクルージョンに起因する推定エラーが生じた画素で評価値Ｏが小さくなることを利用して、距離推定部１５で生成された両ステレオ画像の距離情報を、この推定エラーを抑制した１つの距離情報に統合する。
【０１１７】
オクルージョン領域判定部１８は、図３と同様、両ステレオ画像のオクルージョン領域を出力するため、詳細な説明を省略する。
なお、このオクルージョン領域は、オクルージョンに起因する推定エラーの抑制に必要ではなく、参考情報として提示される。
【０１１８】
評価値Ｋ計算部１９は、図３と同様、左ステレオ画像についての評価値Ｋを計算するため、詳細な説明を省略する。
無テクスチャ領域判定部２０は、図３と同様、左ステレオ画像についての無テクスチャ領域を生成して、テクスチャ推定エラー抑制部２１に出力する。
【０１１９】
テクスチャ推定エラー抑制部２１は、評価値Ｏ計算部１７Ｃから距離情報が入力され、無テクスチャ領域判定部２０から無テクスチャ領域が入力される。そして、テクスチャ推定エラー抑制部２１は、この無テクスチャ領域を用いて、この距離情報から、テクスチャに起因する推定エラーを抑制するものである。
【０１２０】
図１５，図１６を参照して、テクスチャに起因する推定エラーの抑制について説明する（適宜図１０参照）。
説明を簡易にするため、図１５に示すように、土俵Ａの上で二人の被写体（力士）Ｏ１，Ｏ２が取組を行っている例で説明する。この場合、図１４の中央カメラＣＣは、土俵Ａの正面中央に位置し、取組を行っている被写体Ｏ１，Ｏ２の側面方向（図１５の矢印方向）から基準画像Ｐを撮影したこととする。
【０１２１】
なお、図１５では、基準画像Ｐに含まれない土俵Ａと被写体Ｏ１，Ｏ２との一部を破線で図示した。また、図１５では、基準画像Ｐのうち、土俵Ａの奥側地面となる背景Ｂの領域が無テクスチャ領域ＴＸであり、ハッチングで図示した。この例では、テクスチャ推定エラー抑制部２１は、図１５のハッチング部分に対して、テクスチャに起因する推定エラーの抑制処理を行うことになる。
【０１２２】
ここで、中央カメラＣＣと、土俵Ａと、被写体Ｏ１，Ｏ２とを上側より見ると、これらの位置関係は、図１６のようになる。図１６では、土俵Ａ及び被写体Ｏ１，Ｏ２を破線で図示すると共に、後記する距離Ｄを一転鎖線で図示した。また、図１５のハッチング部分（無テクスチャ領域ＴＸ）は、球表面の一部を切り取った曲面形状になる（図１６の吹き出し）。
【０１２３】
まず、テクスチャ推定エラー抑制部２１は、左カメラＣＬと、中央カメラＣＣと、右カメラＣＲとの光軸ＬＡが交わる光軸交点ＣＥを、カメラキャリブレーションにより計算する。ここで、テクスチャ推定エラー抑制部２１は、全てのカメラから光軸交点ＣＥを求める必要がなく、基準画像を撮影する中央カメラＣＣが含まれていればよい。つまり、テクスチャ推定エラー抑制部２１は、中央カメラＣＣと左カメラＣＬとの組、又は、中央カメラＣＣと右カメラＣＲとの一方の組から、光軸交点ＣＥを求めてもよい。
【０１２４】
次に、テクスチャ推定エラー抑制部２１は、予め設定された半径ｒの仮想球ＶＣを、光軸交点ＣＥを中心に生成する。ここで、テクスチャ推定エラー抑制部２１は、全ての被写体（例えば、土俵Ａ、被写体Ｏ１，Ｏ２）が仮想球ＶＣに含まれるように、半径ｒが予め設定されている。そして、テクスチャ推定エラー抑制部２１は、中央カメラＣＣから仮想球ＶＣの奥側表面までの距離Ｄを計算し、この距離Ｄを、無テクスチャ領域ＴＸ内の各画素の距離情報として割り当てる。
【０１２５】
すなわち、無テクスチャ領域ＴＸ内の各画素の距離情報は、下記の計算式を用いて割り当てることができる。まず、テクスチャ推定エラー抑制部２１は、下記の（１４）及び式（１５）の連立方程式により、仮想球ＶＣと中央カメラＣＣの光軸ＬＡとの交点（Ｘ，Ｙ，Ｚ）を計算する。
【０１２６】
【数１４】
【０１２７】
【数１５】
【０１２８】
前記した式（１４）は、仮想球ＶＣを表した方程式である。ここで、ａ，ｂ，ｃが仮想球ＶＣの中心の世界座標（光軸交点ＣＥの世界座標）であり、ｒが仮想球ＶＣの半径である。
前記した式（１５）は、中央カメラＣＣの光学主点と無テクスチャ領域ＴＸ内の各画素とを通過する直線を表した方程式である。ここで、ｅ，ｇ，ｉが無テクスチャ領域ＴＸ内の各画の世界座標と光学主点の世界座標とにより計算される傾き（既知）であり、ｆ，ｈ，ｊが光学主点の世界座標（既知）である。
【０１２９】
そして、テクスチャ推定エラー抑制部２１は、下記の（１６）により、中央カメラＣＣから仮想球ＶＣの奥側表面までの距離Ｄを計算する。ここで、ｚは仮想球ＶＣの奥側表面までの距離Ｄであり、ｉ，ｊは基準画像の座標（既知）であり、Ａはカメラキャリブレーションにより計算される内部パラメータ（既知）であり、Ｒはカメラキャリブレーションにより計算される回転行列（既知）であり、Ｕはカメラキャリブレーションにより計算される並進行列（既知）である。
【０１３０】
【数１６】
【０１３１】
［距離情報推定装置の動作］
図１７を参照し、距離情報推定装置１Ｃの動作について説明する（適宜図１４参照）。
ステップＳ３０〜Ｓ３５の処理は、図１３のステップＳ２０〜Ｓ２５と同様のため、説明を省略する。
【０１３２】
距離情報推定装置１Ｃは、評価値Ｏ計算部１７Ｃによって、無テクスチャ領域及び距離情報を用いて、オクルージョンに起因する推定エラーを抑制する。つまり、評価値Ｏ計算部１７Ｃは、両ステレオ画像から評価値Ｏを計算し、これら評価値Ｏを比較して、評価値Ｏが大きい側のステレオ画像から生成した距離情報を、基準画像での各画素の距離情報として出力する（ステップＳ３６）。
【０１３３】
ステップＳ３７〜Ｓ３９の処理は、図１３のステップＳ２７〜Ｓ２９と同様のため、説明を省略する。
【０１３４】
距離情報推定装置１Ｃは、テクスチャ推定エラー抑制部２１によって、無テクスチャ領域を用いて、距離情報から、テクスチャに起因する推定エラーを抑制する。つまり、テクスチャ推定エラー抑制部２１は、左カメラＣＬと、中央カメラＣＣと、右カメラＣＲとの光軸交点ＣＥをカメラキャリブレーションにより計算する。そして、テクスチャ推定エラー抑制部２１は、半径ｒの仮想球ＶＣを、光軸交点ＣＥを中心に生成する。さらに、テクスチャ推定エラー抑制部２１は、中央カメラＣＣから仮想球ＶＣの奥側表面までの距離Ｄを計算して、無テクスチャ領域ＴＸ内の各画素の距離情報として割り当てる（ステップＳ４０）。
【０１３５】
以上のように、本発明の第３実施形態に係る距離情報推定装置１Ｃは、オクルージョン及びテクスチャに起因する推定エラーを抑制して、精度が高い距離情報を生成することができる。この距離情報を用いれば、例えば、奥行き感が高い、インテグラルフォトグラフィ（ＩＰ）方式の立体映像を生成することができる。
【０１３６】
なお、各実施形態では、誤差関数とスムーズ関数とで規定される確率に関するエネルギーを最小化する手法の一例として信頼度伝搬法を説明したが、本発明は、これに限定されない。本発明では、この手法として、例えば、ビタビアルゴリズムを用いることもできる。
【０１３７】
なお、各実施形態では、距離指標情報として距離情報を推定することとして説明したが、本発明は、これに限定されない。つまり、本発明は、前記した距離候補を視差候補に置き換えれば、視差情報を推定する視差情報推定装置を実現することができる。
【０１３８】
なお、各実施形態では、評価値として評価値Ｋ，Ｏを計算することとして説明したが、本発明は、これに限定されない。
また、各実施形態では、評価値Ｋ，Ｏの両方を計算することとして説明したが、本発明は、評価値Ｋ，Ｏの何れか一方のみを計算してもよい。この場合、本発明は、テクスチャ又はオクルージョンに起因する推定エラーの何れか一方だけを抑制してもよい。
【実施例】
【０１３９】
以下、本発明の実施例として、膨張を抑制する実験の結果について説明する。
本実施例では、図３の距離情報推定装置１を用いて実験を行った。図１８（ａ）は、この実験で使用した基準画像である。また、図１８（ｂ）は、比較対象として、従来の信頼度伝搬法で生成した距離画像である。そして、図１８（ｃ）は、距離情報推定装置１が生成した距離画像である。
【０１４０】
図１８（ｂ）及び図１８（ｃ）を対比すると、図１８（ｃ）の距離画像は、被写体の輪郭の膨張が抑制されて、被写体が鮮明化されている。特に、丸部分において、被写体の輪郭が著しく鮮明化されている。
【０１４１】
図１９（ａ）は、この実験で使用した別の基準画像である。また、図１９（ｂ）は、本実施例の比較対象として、従来の信頼度伝搬法で生成した距離画像である。そして、図１９（ｃ）は、距離情報推定装置１が生成した距離画像である。
【０１４２】
図１９（ｂ）の距離画像では、被写体（力士及び審判）がひとまわり膨張している。一方、図１９（ｃ）の距離画像では、被写体の膨張が抑制され、基準画像と同様、正確な被写体の輪郭が表現されている。
【０１４３】
さらに、色情報閾値Ｔｃ及び重み係数λｄａｔａの値を変更して実験を行った。図２０（ａ）は、この実験で使用した基準画像である。また、図２０（ｂ）は、色情報閾値Ｔｃ＝３２、重み係数λｄａｔａ＝０．０７に設定したときの距離画像である。さらに、図２０（ｃ）は、色情報閾値Ｔｃ＝２０、重み係数λｄａｔａ＝０．０３に設定したときの距離画像である。
【０１４４】
図２０（ｂ）及び図２０（ｃ）を対比すると、特に、丸部分において、被写体の輪郭が著しく鮮明化されていることがわかる。以上より、重み係数λｄａｔａ及び色情報閾値Ｔｃの値をより小さくする、つまり、スムーズ関数の影響を大きくし、メッセージ伝搬を強く制限することで、距離画像をより滑らかにすると共に、被写体の輪郭を鮮鋭化して、距離推定の精度を向上させることができる。
【符号の説明】
【０１４５】
１，１Ｂ，１Ｃ 距離情報推定装置
１０，１０Ｂ 誤差関数計算部
１１，１１Ｂ スムーズ関数計算部
１２ メッセージ伝搬制限判定部（エネルギー伝搬判定部）
１３ メッセージ生成・伝搬部（エネルギー伝搬部）
１４ 評価関数計算部
１５ 距離推定部（距離指標推定部）
１５ａ ノイズ除去フィルタ（ノイズ除去手段）
１６ 評価値計算部
１７，１７Ｃ 評価値Ｏ計算部（オクルージョン評価値計算部）
１８ オクルージョン領域判定部（オクルージョン推定エラー判定部）
１９ 評価値Ｋ計算部（テクスチャ評価値計算部）
２０ 無テクスチャ領域判定部（テクスチャ推定エラー判定部）
２１ テクスチャ推定エラー抑制部
【特許請求の範囲】
【請求項１】
ステレオ画像間の誤差関数と奥行き方向への距離又は視差である距離指標の連続性を示すスムーズ関数とで規定される確率に関するエネルギーを最小化する手法により、前記ステレオ画像の一方である基準画像の画素ごとの前記距離指標を示す距離指標情報を推定する距離指標情報推定装置であって、
前記ステレオ画像が入力されると共に、予め設定された距離指標候補ごとに、入力された前記ステレオ画像の類似度である前記誤差関数を計算する誤差関数計算部と、
前記距離指標候補ごとに、マルコフランダムフィールドにおける隣接画素間の前記距離指標候補の差分絶対値である前記スムーズ関数を計算するスムーズ関数計算部と、
前記基準画像における隣接画素間の色情報の差分絶対値が予め設定された色情報閾値以下であるか否かによって、前記エネルギーを伝搬できるか否かを判定するエネルギー伝搬判定部と、
前記誤差関数計算部で計算した誤差関数と前記スムーズ関数計算部で計算したスムーズ関数とを含む前記エネルギーが集合したエネルギー集合を生成し、当該エネルギー集合内で前記エネルギーを伝搬できると判定された隣接画素間で、所定の漸化式によって前記エネルギーを生成して伝搬することで、前記距離指標候補及び前記画素ごとのエネルギーを更新するエネルギー伝搬部と、
前記エネルギー伝搬部で更新されたエネルギーを示す評価関数を計算する評価関数計算部と、
前記距離指標候補のうち、前記評価関数計算部で計算された評価関数が最小となる距離指標を、前記距離指標情報として推定する距離指標推定部と、
を備えることを特徴とする距離指標情報推定装置。
【請求項２】
前記エネルギー伝搬判定部は、エネルギー伝搬元の画素と処理対象画素との色情報の差分絶対値が前記色情報閾値以下であるか否かによって、前記エネルギー伝搬元の画素と当該処理対象画素との間で前記エネルギーを伝搬できるか否かを判定することを特徴とする請求項１に記載の距離指標情報推定装置。
【請求項３】
前記エネルギー伝搬判定部は、エネルギー伝搬先の画素と処理対象画素との色情報の差分絶対値が前記色情報閾値以下であるか否かによって、前記エネルギー伝搬先の画素と当該処理対象画素との間で前記エネルギーを伝搬できるか否かを判定することを特徴とする請求項１又は請求項２に記載の距離指標情報推定装置。
【請求項４】
前記誤差関数計算部は、前記基準画像における処理対象画素と、前記ステレオ画像の他方である参照画像で前記処理対象画素に対応する対応画素との色情報の差分絶対値を求め、当該差分絶対値を予め設定した原色数で除算して重み付ける前記誤差関数を計算することを特徴とする請求項１から請求項３の何れか一項に記載の距離指標情報推定装置。
【請求項５】
前記エネルギー伝搬判定部は、前記誤差関数の重み付けが小さいほど、前記色情報閾値が小さな値で予め設定されたことを特徴とする請求項４に記載の距離指標情報推定装置。
【請求項６】
前記距離指標推定部は、前記距離指標情報にノイズ除去処理を施すノイズ除去手段、
をさらに備えることを特徴とする請求項１から請求項５の何れか一項に記載の距離指標情報推定装置。
【請求項７】
ステレオ画像間の誤差関数と奥行き方向への距離又は視差である距離指標の連続性を示すスムーズ関数とで規定される確率に関するエネルギーを最小化する手法により、前記ステレオ画像の一方である基準画像の画素ごとの前記距離指標を示す距離指標情報を推定するために、コンピュータを、
前記ステレオ画像が入力されると共に、予め設定された距離指標候補ごとに、入力された前記ステレオ画像の類似度である前記誤差関数を計算する誤差関数計算部、
前記距離指標候補ごとに、マルコフランダムフィールドにおける隣接画素間での前記距離指標候補の差分絶対値である前記スムーズ関数を計算するスムーズ関数計算部、
前記基準画像における隣接画素間の色情報の差分絶対値が予め設定された色情報閾値以下であるか否かによって、前記エネルギーを伝搬できるか否かを判定するエネルギー伝搬判定部、
前記誤差関数計算部で計算した誤差関数と前記スムーズ関数計算部で計算したスムーズ関数とを含む前記エネルギーが集合したエネルギー集合を生成し、当該エネルギー集合内で前記エネルギーを伝搬できると判定された隣接画素間で、所定の漸化式によって前記エネルギーを生成して伝搬することで、前記距離指標候補及び前記画素ごとのエネルギーを更新するエネルギー伝搬部、
前記エネルギー伝搬部で更新されたエネルギーを示す評価関数を計算する評価関数計算部、
前記距離指標候補のうち、前記評価関数計算部で計算された評価関数が最小となる距離指標を、前記距離指標情報として推定する距離指標推定部、
として機能させるための距離指標情報推定プログラム。
【請求項１】
ステレオ画像間の誤差関数と奥行き方向への距離又は視差である距離指標の連続性を示すスムーズ関数とで規定される確率に関するエネルギーを最小化する手法により、前記ステレオ画像の一方である基準画像の画素ごとの前記距離指標を示す距離指標情報を推定する距離指標情報推定装置であって、
前記ステレオ画像が入力されると共に、予め設定された距離指標候補ごとに、入力された前記ステレオ画像の類似度である前記誤差関数を計算する誤差関数計算部と、
前記距離指標候補ごとに、マルコフランダムフィールドにおける隣接画素間の前記距離指標候補の差分絶対値である前記スムーズ関数を計算するスムーズ関数計算部と、
前記基準画像における隣接画素間の色情報の差分絶対値が予め設定された色情報閾値以下であるか否かによって、前記エネルギーを伝搬できるか否かを判定するエネルギー伝搬判定部と、
前記誤差関数計算部で計算した誤差関数と前記スムーズ関数計算部で計算したスムーズ関数とを含む前記エネルギーが集合したエネルギー集合を生成し、当該エネルギー集合内で前記エネルギーを伝搬できると判定された隣接画素間で、所定の漸化式によって前記エネルギーを生成して伝搬することで、前記距離指標候補及び前記画素ごとのエネルギーを更新するエネルギー伝搬部と、
前記エネルギー伝搬部で更新されたエネルギーを示す評価関数を計算する評価関数計算部と、
前記距離指標候補のうち、前記評価関数計算部で計算された評価関数が最小となる距離指標を、前記距離指標情報として推定する距離指標推定部と、
を備えることを特徴とする距離指標情報推定装置。
【請求項２】
前記エネルギー伝搬判定部は、エネルギー伝搬元の画素と処理対象画素との色情報の差分絶対値が前記色情報閾値以下であるか否かによって、前記エネルギー伝搬元の画素と当該処理対象画素との間で前記エネルギーを伝搬できるか否かを判定することを特徴とする請求項１に記載の距離指標情報推定装置。
【請求項３】
前記エネルギー伝搬判定部は、エネルギー伝搬先の画素と処理対象画素との色情報の差分絶対値が前記色情報閾値以下であるか否かによって、前記エネルギー伝搬先の画素と当該処理対象画素との間で前記エネルギーを伝搬できるか否かを判定することを特徴とする請求項１又は請求項２に記載の距離指標情報推定装置。
【請求項４】
前記誤差関数計算部は、前記基準画像における処理対象画素と、前記ステレオ画像の他方である参照画像で前記処理対象画素に対応する対応画素との色情報の差分絶対値を求め、当該差分絶対値を予め設定した原色数で除算して重み付ける前記誤差関数を計算することを特徴とする請求項１から請求項３の何れか一項に記載の距離指標情報推定装置。
【請求項５】
前記エネルギー伝搬判定部は、前記誤差関数の重み付けが小さいほど、前記色情報閾値が小さな値で予め設定されたことを特徴とする請求項４に記載の距離指標情報推定装置。
【請求項６】
前記距離指標推定部は、前記距離指標情報にノイズ除去処理を施すノイズ除去手段、
をさらに備えることを特徴とする請求項１から請求項５の何れか一項に記載の距離指標情報推定装置。
【請求項７】
ステレオ画像間の誤差関数と奥行き方向への距離又は視差である距離指標の連続性を示すスムーズ関数とで規定される確率に関するエネルギーを最小化する手法により、前記ステレオ画像の一方である基準画像の画素ごとの前記距離指標を示す距離指標情報を推定するために、コンピュータを、
前記ステレオ画像が入力されると共に、予め設定された距離指標候補ごとに、入力された前記ステレオ画像の類似度である前記誤差関数を計算する誤差関数計算部、
前記距離指標候補ごとに、マルコフランダムフィールドにおける隣接画素間での前記距離指標候補の差分絶対値である前記スムーズ関数を計算するスムーズ関数計算部、
前記基準画像における隣接画素間の色情報の差分絶対値が予め設定された色情報閾値以下であるか否かによって、前記エネルギーを伝搬できるか否かを判定するエネルギー伝搬判定部、
前記誤差関数計算部で計算した誤差関数と前記スムーズ関数計算部で計算したスムーズ関数とを含む前記エネルギーが集合したエネルギー集合を生成し、当該エネルギー集合内で前記エネルギーを伝搬できると判定された隣接画素間で、所定の漸化式によって前記エネルギーを生成して伝搬することで、前記距離指標候補及び前記画素ごとのエネルギーを更新するエネルギー伝搬部、
前記エネルギー伝搬部で更新されたエネルギーを示す評価関数を計算する評価関数計算部、
前記距離指標候補のうち、前記評価関数計算部で計算された評価関数が最小となる距離指標を、前記距離指標情報として推定する距離指標推定部、
として機能させるための距離指標情報推定プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【公開番号】特開２０１３−７６６２１（Ｐ２０１３−７６６２１Ａ）
【公開日】平成２５年４月２５日（２０１３．４．２５）
【国際特許分類】
【出願番号】特願２０１１−２１６２３９（Ｐ２０１１−２１６２３９）
【出願日】平成２３年９月３０日（２０１１．９．３０）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り （１）社団法人映像情報メディア学会から２０１１年８月１日に発行された刊行物「映像情報メディア学会２０１１年年次大会講演予稿集」において発表 （２）社団法人映像情報メディア学会が２０１１年８月２４日〜２６日に開催した「２０１１年映像情報メディア学会年次大会」において２０１１年８月２４日に文書をもって発表
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成２３年度、総務省、情報通信研究機構「革新的な三次元映像技術による超臨場感コミュニケーション技術の研究開発」委託事業、産業技術力強化法第１９条の適用を受ける特許出願
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
【公開日】平成２５年４月２５日（２０１３．４．２５）
【国際特許分類】
【出願日】平成２３年９月３０日（２０１１．９．３０）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り （１）社団法人映像情報メディア学会から２０１１年８月１日に発行された刊行物「映像情報メディア学会２０１１年年次大会講演予稿集」において発表 （２）社団法人映像情報メディア学会が２０１１年８月２４日〜２６日に開催した「２０１１年映像情報メディア学会年次大会」において２０１１年８月２４日に文書をもって発表
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成２３年度、総務省、情報通信研究機構「革新的な三次元映像技術による超臨場感コミュニケーション技術の研究開発」委託事業、産業技術力強化法第１９条の適用を受ける特許出願
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
[ Back to top ]