距離指標情報推定装置及びそのプログラム
【課題】本発明は、距離情報の客観的な信頼度である評価値を提示できる距離情報推定装置を提供する。
【解決手段】距離情報推定装置１は、ステレオ画像の類似度である誤差関数を計算する誤差関数計算部１０と、距離の連続性を示すスムーズ関数を計算するスムーズ関数計算部１１と、誤差関数とスムーズ関数とを含むメッセージを生成・伝搬するメッセージ生成・伝搬部１２と、メッセージの評価関数を計算する評価関数計算部１３と、評価関数が最小となる距離を距離情報として推定する距離推定部１４と、距離情報の信頼度を示す評価値を計算する評価値計算部１５と、オクルージョンに起因する推定エラーが生じた領域を判定するオクルージョン領域判定部１７と、テクスチャに起因する推定エラーが生じた領域を判定する無テクスチャ領域判定部１９とを備える。
【解決手段】距離情報推定装置１は、ステレオ画像の類似度である誤差関数を計算する誤差関数計算部１０と、距離の連続性を示すスムーズ関数を計算するスムーズ関数計算部１１と、誤差関数とスムーズ関数とを含むメッセージを生成・伝搬するメッセージ生成・伝搬部１２と、メッセージの評価関数を計算する評価関数計算部１３と、評価関数が最小となる距離を距離情報として推定する距離推定部１４と、距離情報の信頼度を示す評価値を計算する評価値計算部１５と、オクルージョンに起因する推定エラーが生じた領域を判定するオクルージョン領域判定部１７と、テクスチャに起因する推定エラーが生じた領域を判定する無テクスチャ領域判定部１９とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ステレオ画像間の誤差関数と奥行き方向への距離又は視差である距離指標の連続性を示すスムーズ関数とで規定される確率に関するエネルギーを最小化する手法により、ステレオ画像の一方である基準画像の画素ごとの距離指標を示す距離指標情報を推定すると共に、距離指標情報の信頼度を示す評価値を計算する距離指標情報推定装及びそのプログラムに関する。
【背景技術】
【０００２】
例えば、３次元立体モデルを生成する際、ステレオ画像の各画素の視差により距離を推定する距離推定技術が広く用いられている。この距離推定技術では、例えば、ステレオ画像間で類似度を求めるブロックマッチングが用いられている。また、類似度の計算方法としては、例えば、差の二乗和を求めるＳＳＤ（Sum of Squared Difference）、差の絶対和を求めるＳＡＤ(Sum of Absolute Difference)、及び、正規化相互相関を求めるＺＮＣＣ(Zero-mean Normalized Cross-Correlation)が知られている（例えば、非特許文献１）。
【０００３】
また、距離推定技術としては、マルコフランダムフィールドモデルを仮定し、ステレオ画像間のデータ項とスムーズ項とで構成されるエネルギーを最小化することにより、ノイズが少なく滑らかな距離情報（距離画像）を生成する信頼度伝搬法も知られている（例えば、非特許文献２）。ここで、データ項はステレオ画像間の類似度を表し、スムーズ項は距離の不連続性を表す。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】ディジタル画像処理、ＣＧ−Ａｒｔｓ協会、２００６年、ｐ２０２−ｐ２０４
【非特許文献２】Pedro F.Felzenszwalb，Daniel P.Huttenlocher:Efficient Belief Propagation for Early Vision.CVPR(1)2004:261‐268
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、従来の距離推定技術では、ステレオ画像にオクルージョンが生じた領域やテクスチャが無い領域が含まれる場合、これらに起因して、距離情報の推定結果にエラーが生じることが多い。この場合、精度が高い距離情報を得るために、これら推定エラーが生じた領域に対して、これら推定エラーの抑制処理を施す必要がある。この推定エラーの抑制処理の可否を判定するために、推定された距離情報の客観的な信頼度を提示することが強く要望されている。
【０００６】
そこで、本発明は、前記した問題を解決し、距離指標情報の客観的な信頼度である評価値を提示できる距離指標情報推定装置及びそのプログラムを提供することを課題とする。
【課題を解決するための手段】
【０００７】
前記した課題に鑑みて、本願第１発明に係る距離指標情報推定装置は、ステレオ画像間の誤差関数と奥行き方向への距離又は視差である距離指標の連続性を示すスムーズ関数とで規定される確率に関するエネルギーを最小化する手法により、ステレオ画像の一方である基準画像の画素ごとの距離指標を示す距離指標情報を推定すると共に、距離指標情報の信頼度を示す評価値を計算する距離指標情報推定装置であって、誤差関数計算部と、スムーズ関数計算部と、エネルギー伝搬部と、評価関数計算部と、距離指標推定部と、評価値計算部とを備えることを特徴とする。
【０００８】
かかる構成によれば、距離指標情報推定装置は、誤差関数計算部によって、ステレオ画像が入力されると共に、予め設定された距離指標候補ごとに、予め設定された誤差関数閾値以下となるように、入力されたステレオ画像の類似度である誤差関数を計算する。つまり、誤差関数計算部は、誤差関数の値が誤差関数閾値を超えないように、トランケーションを行う。
【０００９】
また、距離指標情報推定装置は、スムーズ関数計算部によって、距離指標候補ごとに、予め設定されたスムーズ関数閾値以下となるように、マルコフランダムフィールドにおける隣接画素間の距離指標候補の差分絶対値であるスムーズ関数を計算する。つまり、スムーズ関数計算部は、スムーズ関数の値がスムーズ関数閾値を超えないようにトランケーションを行う。
【００１０】
また、距離指標情報推定装置は、エネルギー伝搬部によって、誤差関数計算部で計算した誤差関数とスムーズ関数計算部で計算したスムーズ関数とを含むエネルギーが集合したエネルギー集合を生成し、当該エネルギー集合内における隣接画素間で、所定の漸化式によってエネルギーを生成して伝搬させることで、距離指標候補及び画素ごとのエネルギーを更新する。
【００１１】
また、距離指標情報推定装置は、評価関数計算部によって、エネルギー伝搬部で更新されたエネルギーを示す評価関数を計算する。そして、距離指標情報推定装置は、距離指標推定部によって、距離指標候補のうち、評価関数計算部で計算された評価関数が最小となる距離指標を、距離指標情報として推定する。ここで、前記したトランケーションでエネルギーに上限が設けられるため、評価関数のばらつきが一定範囲に収まって、距離指標情報の精度が向上する。
【００１２】
また、距離指標情報推定装置は、評価値計算部によって、少なくとも、評価関数におけるエネルギー分布の形状により、評価値を求める。この評価値は、エネルギーの最小値だけでなく、エネルギーの最大値も考慮したエネルギー分布の形状により計算されるため、その精度が向上し、距離指標情報の客観的な信頼度を示す情報となる。
なお、評価値計算部は、エネルギー分布の形状以外、例えば、エネルギー分布の尖度により評価値を求めてもよい。
【００１３】
なお、本発明において、距離指標とは、奥行き方向への距離（奥行き）、又は、この距離の指標となる視差のことである。つまり、距離指標情報推定装置は、距離指標情報として、画素ごとの距離を示す距離情報、又は、画素ごとの視差を示す視差情報を推定する。
【００１４】
また、本願第２発明に係る距離指標情報推定装置は、評価値計算部が、エネルギーが最も高くなる最大値とエネルギーが最も低くなる最小値との差分を最大値で除算することで、評価値として、オクルージョンに起因する推定エラーを判定するためのオクルージョン評価値を計算するオクルージョン評価値計算部、をさらに備えることを特徴とする。
【００１５】
かかる構成によれば、距離指標情報推定装置は、エネルギーの最小値だけでなくエネルギーの最大値も考慮してオクルージョン評価値を計算するため、オクルージョン評価値の精度を向上させることができる。
【００１６】
また、本願第３発明に係る距離指標情報推定装置は、距離指標情報推定装置が、所定位置に配置された中央カメラと、中央カメラの左右に配置された左カメラ及び右カメラとの撮影画像が入力され、オクルージョン評価値計算部が、中央カメラ及び左カメラの撮影画像である左ステレオ画像と、中央カメラ及び右カメラの撮影画像である右ステレオ画像とについて、オクルージョン評価値をそれぞれ計算すると共に、左ステレオ画像と右ステレオ画像とのオクルージョン評価値を比較し、オクルージョン評価値が大きい側のステレオ画像から求められた距離指標を、中央カメラの撮影画像での各画素の距離指標情報として出力することを特徴とする。
【００１７】
かかる構成によれば、距離指標情報推定装置は、オクルージョン評価値がオクルージョンに起因する推定エラーが生じた画素で小さくなる性質を利用して、オクルージョンに起因する推定エラーを抑制する。
【００１８】
また、本願第４発明に係る距離指標情報推定装置は、オクルージョン評価値計算部で計算されたオクルージョン評価値が予め設定されたオクルージョン閾値以下であるか否かを判定し、オクルージョン評価値がオクルージョン閾値以下の場合、オクルージョンに起因する推定エラーが生じたと判定するオクルージョン推定エラー判定部、をさらに備えることを特徴とする。
【００１９】
かかる構成によれば、距離指標情報推定装置は、オクルージョン評価値がオクルージョンに起因する推定エラーが生じた画素で小さくなる性質を利用して、オクルージョンに起因する推定エラーを判定する。
【００２０】
また、本願第５発明に係る距離指標情報推定装置は、誤差関数計算部が、基準画像における処理対象画素と、ステレオ画像の他方である参照画像で処理対象画素に対応する対応画素との色情報の差分絶対値を求め、差分絶対値を予め設定した原色数で除算して重み付ける誤差関数を計算することを特徴とする。
かかる構成によれば、距離指標情報推定装置は、被写体の輪郭を鮮鋭化して、精度が高い距離指標情報を推定することができる。
【００２１】
また、本願第６発明に係る距離指標情報推定装置は、評価値計算部が、エネルギー分布の尖度を、テクスチャに起因する推定エラーを判定するための評価値であるテクスチャ評価値として計算するテクスチャ評価値計算部、をさらに備えることを特徴とする。
【００２２】
かかる構成によれば、距離指標情報推定装置は、エネルギー分布の尖り具合である尖度を考慮してテクスチャ評価値を計算するため、テクスチャ評価値の精度を向上させることができる。
【００２３】
また、本願第７発明に係る距離指標情報推定装置は、隣接画素間の色情報の差分絶対値が予め設定された色情報閾値以下であるか否かによって、隣接画素間でエネルギーを伝搬できるか否かを判定するエネルギー伝搬判定部をさらに備え、エネルギー伝搬部が、エネルギー集合内でエネルギーを伝搬できると判定された隣接画素間でエネルギーを更新することを特徴とする。
かかる構成によれば、距離指標情報推定装置は、例えば、被写体と背景との境界のように隣接画素間で色が大きく異なる場合、エネルギーの伝搬を制限する。
【００２４】
なお、本願第１発明に係る距離指標情報推定装置は、一般的なコンピュータを、誤差関数計算部、スムーズ関数計算部、エネルギー伝搬部、評価関数計算部、距離指標推定部及び評価値計算部として動作させる距離指標情報推定プログラムによって実現することもできる。このプログラムは、通信回線を介して配布しても良く、ＣＤ−ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布しても良い。
【発明の効果】
【００２５】
本発明は、以下のような優れた効果を奏する。
本願第１発明によれば、前記したトランケーションでエネルギーに上限が設けられるため、評価関数のばらつきが一定範囲に収まって、距離指標情報の精度を向上させることができる。さらに、本願第１発明によれば、エネルギーの最小値だけでなく、エネルギーの最大値も考慮したエネルギー分布の形状により評価値を計算するため、評価値の精度を向上させ、距離指標情報の客観的な信頼度として評価値を提示することができる。
【００２６】
本願第２発明によれば、エネルギーの最小値だけでなくエネルギーの最大値も考慮してオクルージョン評価値を計算するため、オクルージョン評価値の精度を向上させることができる。
【００２７】
本願第３発明によれば、オクルージョン評価値がオクルージョンに起因する推定エラーが生じた画素で小さくなる性質を利用して、オクルージョンに起因する推定エラーを正確に抑制することができる。
【００２８】
本願第４発明によれば、オクルージョン評価値がオクルージョンに起因する推定エラーが生じた画素で小さくなる性質を利用して、オクルージョンに起因する推定エラーを正確に判定することができる。
【００２９】
本願第５発明によれば、被写体の輪郭を鮮鋭化して、精度が高い距離指標情報を推定することができる。
本願第６発明によれば、エネルギー分布の尖り具合である尖度を考慮してテクスチャ評価値を計算するため、テクスチャ評価値の精度を向上させることができる。
【００３０】
本願第７発明によれば、隣接画素間で色が大きく異なる場合、エネルギーの伝搬を制限するため、被写体の輪郭の膨張を抑制できる。これによって、本願第７発明によれば、被写体の輪郭を鮮鋭化して、精度が高い距離指標情報を生成することができる。
【図面の簡単な説明】
【００３１】
【図１】本発明において、信頼度伝搬法による距離推定を説明する説明図である。
【図２】本発明において、信頼度伝搬法による距離推定の手順を示すフローチャートである。
【図３】本発明の第１実施形態に係る距離情報推定装置の構成を示すブロック図である。
【図４】図３の距離情報推定装置において、距離候補ごとの誤差関数及びスムーズ関数の計算を説明する説明図である。
【図５】図３の距離情報推定装置において、距離候補ごとのメッセージの伝搬を説明する説明図である。
【図６】図３の距離情報推定装置において、距離候補ごとのメッセージの伝搬を説明する説明図である。
【図７】本発明の第１実施形態において、（ａ）はオクルージョンに起因する推定エラーが生じていない画素のエネルギー分布を示すグラフであり、（ｂ）はオクルージョンに起因する推定エラーが生じた画素のエネルギー分布を示すグラフである。
【図８】本発明の第１実施形態において、（ａ）はテクスチャに起因する推定エラーが生じていない画素のエネルギー分布を示すグラフであり、（ｂ）はテクスチャに起因する推定エラーが生じた画素のエネルギー分布を示すグラフである。
【図９】図３の距離情報推定装置の動作を示すフローチャートである。
【図１０】本発明の第２実施形態に係る距離情報推定装置の構成を示すブロック図である。
【図１１】図１０の距離情報推定装置において、オクルージョンに起因する推定エラーの抑制を説明する説明図である。
【図１２】図１０の距離情報推定装置において、オクルージョンに起因する推定エラーの抑制を説明する説明図である。
【図１３】図１０の距離情報推定装置の動作を示すフローチャートである。
【図１４】本発明の第３実施形態に係る距離情報推定装置の構成を示すブロック図である。
【図１５】本発明の第３実施形態において、（ａ）はメッセージ伝搬元の画素から処理対象の画素へのメッセージ伝搬が制限されるときの説明図であり、（ｂ）は処理対象の画素からメッセージ伝搬先の画素へのメッセージ伝搬が制限されるときの説明図である。
【図１６】本発明の第３実施形態において、（ａ）及び（ｂ）はメッセージ伝搬が制限されないときの説明図である。
【図１７】図１４の距離情報推定装置の動作を示すフローチャートである。
【図１８】本発明の変形例１に係る距離情報推定装置の構成を示すブロック図である。
【図１９】本発明の実施例において、（ａ）は左カメラが撮影した基準画像であり、（ｂ）は右カメラが撮影した参照画像である。
【図２０】本発明の実施例において、（ａ）は距離画像であり、（ｂ）は（ａ）の距離画像からオクルージョン領域を出力した結果を示す画像である。
【図２１】本発明の実施例において、（ａ）はオクルージョンに起因する推定エラーを抑制した後の距離画像であり、（ｂ）は（ａ）の距離画像から無テクスチャ領域を出力した結果を示す画像である。
【発明を実施するための形態】
【００３２】
（本発明の概略：信頼度伝搬法による距離推定）
本発明の各実施形態では、ステレオ画像間の誤差関数と距離指標の連続性を示すスムーズ関数とで規定されるエネルギーを最小化する手法として、信頼度伝搬法を用いている。そこで、最初に、本発明の実施形態における信頼度伝搬法の概略を説明する。
【００３３】
なお、以後の各実施形態では、請求項に記載の距離指標が、奥行き方向への距離（奥行き）であることとして説明する。つまり、請求項に記載の距離指標情報として、画素ごとの距離を示す距離情報を推定することになる。
【００３４】
この信頼度伝搬法（ＢＰ法：Belief Propagation法）は、距離情報にマルコフランダムフィールド（ＭＲＦ：Markov Random Field）モデルを仮定し、ステレオ画像間の誤差関数とスムーズ関数とで構成（規定）されるエネルギーを最小化することにより、ノイズが少なく滑らかな距離情報を生成するものである。ここで、信頼度伝搬法は、図１に示すように、処理対象となる画素ｐの隣接画素ｓから、メッセージと呼ばれる各画素にどの距離が割り当てられるかという確率に関するエネルギーｍを受け取り、それらからメッセージを更新して隣接画素ｑに伝搬させる。そして、信頼度伝搬法は、この処理を画像内の全ての画素に対して繰り返し行うことで各画素の距離情報を求める。
なお、請求項に記載のエネルギーが、信頼度伝搬法ではメッセージとなる。
【００３５】
ここで、図１では、枠（白塗四角形）が基準画像の画素に対応し、矢印ｍが画素間のメッセージ（エネルギー）の伝搬を示している。また、図１に示すように、このメッセージを伝搬する画素がノードとして縦横に配列されたグラフをエネルギー集合（メッセージ集合）と呼ぶ。さらに、文字「ｓ」が付された画素ｓは、メッセージの伝搬元となる隣接画素を示し、文字「ｐ」が付された画素ｐは、処理対象の画素を示し、文字「ｑ」が付された画素ｑは、メッセージの伝搬先となる隣接画素を示す。なお、図１では、説明を簡易にするために、一部符号のみを図示した。
【００３６】
図２を参照し、信頼度伝搬法による距離推定の手順を説明する。
図２に示すように、信頼度伝搬法では、メッセージの生成に必要な画素間の誤差関数Ｄｐ（ｆｐ）（以後、「誤差関数Ｄｐ」）を計算する（ステップＳ１）。本発明において、誤差関数に、ＳＳＤ、ＳＡＤ、ＺＮＣＣ等の類似度が利用可能であり、ここでは、ステレオ画像の対応画素間で色情報の差分絶対値により類似度を示す式（１）を利用する。この式（１）によれば、画素単位で類似度を計算するため、被写体の輪郭を鮮鋭化することができる。
【００３７】
【数１】
【００３８】
ここで、ｐは処理対象の画素、ｆｐは画素ｐの距離候補、ｃは色情報、ｒ，ｇ，ｂはＲＧＢ値、ｄｐは距離候補ｆｐに対応する視差、Ｉｃはステレオ画像の一方である基準画像での画素値、Ｉｃ´はステレオ画像の他方である参照画像での画素値、λｄａｔａは重み係数を表わす。
なお、距離候補（距離指標候補）とは、任意の範囲内で予め設定された距離の候補のことである（図４等参照）。
【００３９】
すなわち、式（１）は、基準画像Ｉｃにおける処理対象の画素ｐの色情報Ｉｃ（ｐ）と、参照画像Ｉｃ´における対応画素（ｐ＋ｄｐ）の色情報Ｉｃ´（ｐ＋ｄｐ）との差分絶対値を予め設定された原色数（例えば、３）で除算して、重み係数λｄａｔａで重み付けることを示す。この対応画素（ｐ＋ｄｐ）とは、参照画像Ｉｃ´において、処理対象の画素ｐに対応する画素のことである。
【００４０】
また、式（１）において、視差の逆数にステレオカメラの間隔（ベースライン）を乗算して距離が計算できることを利用して、距離候補ｆｐから視差ｄｐを逆算できる。このベースラインは、例えば、ＯｐｅｎＣＶ等のカメラキャリブレーションで求めることができる（URL「http://opencv.jp/」）。
【００４１】
続いて、信頼度伝搬法では、下記の式（２）に示すように、距離候補ｆｐと、画素ｑの距離候補ｆｑとの差分絶対値｜ｆｐ−ｆｑ｜で定義されるスムーズ関数Ｖ（ｆｐ−ｆｑ）（以後、「スムーズ関数Ｖ」）の計算を行う（ステップＳ２）。このスムーズ関数Ｖは、距離情報の滑らかさ（例えば、ノイズの少なさ）、言い換えるなら、距離の連続性を示す。ここで、ｑは画素ｐのメッセージ伝搬先となる隣接画素である。
【００４２】
【数２】
【００４３】
そして、信頼度伝搬法では、下記の式（３）で規定される生成式によって、メッセージを生成して伝搬する（ステップＳ３）。
【００４４】
【数３】
【００４５】
ｍはメッセージ、ｔは反復回数、Ｎ（ｐ）＼ｑは画素ｐへメッセージを渡す画素ｑ以外の４近傍の画素集合、ｓはその画素集合の要素画素、ｍｉｎは最小値を返す関数である。この式（３）は、漸化式になっており、受け取ったメッセージをもとにメッセージを更新する処理を繰り返し行うことを示す。例えば、信頼度伝搬法では、ラスタスキャンを行うように処理対象画素ｐを移動させながら、その処理対象画素ｐでメッセージを更新することで、メッセージの伝搬を全画素で行う。
【００４６】
全画素についてメッセージの更新処理を、予め設定したＴ回（例えば、１０回）まで反復したとする。この場合、画素ｑの距離候補ｆｑに関する評価関数ｂｑ（ｆｑ）（以後、「評価関数ｂｑ」）は、下記の式（４）で表すことができる。そして、信頼度伝搬法では、この評価関数ｂｑが最小になる距離候補ｆｑを、各画素の最終的な距離として推定する（ステップＳ４）。
【００４７】
【数４】
【００４８】
（第１実施形態）
［距離情報推定装置の構成］
以下、本発明の各実施形態について、適宜図面を参照しながら詳細に説明する。なお、各実施形態において、同一の機能を有する手段には同一の符号を付し、説明を省略した。
【００４９】
図３を参照し、本発明の第１実施形態に係る距離情報推定装置（距離指標情報推定装置）１の構成について説明する。
距離情報推定装置１は、信頼度伝搬法により距離情報を推定して、この距離情報の信頼度を示す評価値を計算すると共に、この評価値によって、距離情報の推定エラーが生じたか否かを判定するものである。
【００５０】
図３に示すように、距離情報推定装置１は、誤差関数計算部１０と、スムーズ関数計算部１１と、メッセージ生成・伝搬部（エネルギー伝搬部）１２と、評価関数計算部１３と、距離推定部（距離指標推定部）１４と、評価値計算部１５と、オクルージョン領域判定部（オクルージョン推定エラー判定部）１７と、無テクスチャ領域判定部（テクスチャ推定エラー判定部）１９とを備える。
【００５１】
本実施形態では、距離情報推定装置１は、評価値として、オクルージョンに起因する推定エラーを判定するための評価値Ｏｑ（オクルージョン評価値、以後「評価値Ｏ」）と、テクスチャに起因する推定エラーを判定するための評価値Ｋｑ（テクスチャ評価値、以後「評価値Ｋ」）とを計算する。そして、距離情報推定装置１は、評価値Ｏ及び評価値Ｋを用いて、距離情報の推定エラーとして、オクルージョンに起因する推定エラーと、テクスチャに起因する推定エラーとを判定することとする。
【００５２】
テクスチャに起因する推定エラーとは、例えば、ステレオ画像でのテクスチャが存在しない領域（テクスチャレス領域）において、マッチング精度が低下して、距離情報の推定エラーが生じることである。
【００５３】
距離情報推定装置１は、左カメラＣＬ及び右カメラＣＲ（ステレオカメラ）から、被写体（不図示）を撮影したステレオ画像（基準画像及び参照画像）が入力される。
この左カメラＣＬ及び右カメラＣＲは、静止画や動画を撮影可能な撮影カメラであり、図３に示すように、一定間隔（ベースライン）だけ離して配置される。ここで、例えば、左カメラＣＬ及び右カメラＣＲのうち左カメラＣＬを基準カメラとし、左カメラＣＬの撮影画像を基準画像とし、右カメラＣＲの撮影画像を参照画像とする。
【００５４】
誤差関数計算部１０は、ステレオ画像が入力されると共に、距離候補ごとに、予め設定された誤差関数閾値Ｔｄａｔａ以下となるように、入力されたステレオ画像の類似度である誤差関数Ｄｐを計算するものである。この誤差関数計算部１０は、下記の式（５）及び式（６）を用いて、図４に示すように画素ｓ，ｐ，ｑについて、距離候補ごとの誤差関数Ｄｐを計算する。
ここで、ｉｆは、後段の条件式を満たす場合、前段に記述した値を出力する関数である。
【００５５】
【数５】
【００５６】
【数６】
【００５７】
本実施形態では、距離候補ｆｓ，ｆｐ，ｆｑがそれぞれ、図４に示すように、０，１，・・・，Ｋ，・・・，Ｎ−１の範囲内で予め設定されたこととして説明する（但し、Ｋ，Ｎは、Ｋ＜Ｎ−１を満たす整数）。
なお、図４では、文字ｓ，ｐ，ｑを付した四辺形が画素ｓ，ｐ，ｑである。
【００５８】
このとき、誤差関数計算部１０は、式（６）に示すように、誤差関数Ｄｐの値が誤差関数閾値Ｔｄａｔａを超えないように、トランケーションを行っている。具体的には、誤差関数計算部１０は、誤差関数Ｄｐの値が誤差関数閾値Ｔｄａｔａを超える場合、誤差関数閾値Ｔｄａｔａを誤差関数Ｄｐの値としてメッセージ生成・伝搬部１２に出力する。その一方、誤差関数計算部１０は、誤差関数Ｄｐの値が誤差関数閾値Ｔｄａｔａ以下の場合、メッセージ生成・伝搬部１２に誤差関数Ｄｐの値をそのまま出力する。
【００５９】
スムーズ関数計算部１１は、距離候補ごとに、予め設定されたスムーズ関数閾値Ｔｓｍｏｏｔｈ以下となるように、スムーズ関数Ｖを計算するものである。このスムーズ関数計算部１１は、図４に示すように、画素ｐの距離候補ｆｐ（０〜Ｎ−１）と、画素ｑの距離候補ｆｑ（０〜Ｎ−１）との全組み合わせについて、下記の式（７）を用いて、スムーズ関数Ｖを計算する。
【００６０】
【数７】
【００６１】
このとき、スムーズ関数計算部１１は、式（７）に示すように、スムーズ関数Ｖの値がスムーズ関数閾値Ｔｓｍｏｏｔｈを超えないように、トランケーションを行っている。具体的には、スムーズ関数計算部１１は、スムーズ関数Ｖの値がスムーズ関数閾値Ｔｓｍｏｏｔｈを超える場合、スムーズ関数閾値Ｔｓｍｏｏｔｈをスムーズ関数Ｖの値としてメッセージ生成・伝搬部１２に出力する。その一方、スムーズ関数計算部１１は、スムーズ関数Ｖの値がスムーズ関数閾値Ｔｓｍｏｏｔｈ以下の場合、メッセージ生成・伝搬部１２にスムーズ関数Ｖの値をそのまま出力する。
【００６２】
ここで、マルコフランダムフィールドおよびスムーズ関数Ｖについて補足する。このマルコフランダムフィールドは、基準画像で互いに隣接する画素の色、輝度や距離が似ていることを示すモデルである。そして、スムーズ関数Ｖは、このマルコフランダムフィールドを踏まえた距離の連続性に関する関数であり、基準画像の各画素に距離候補を割り当てた際、互いに隣接する画素の距離候補が同じであればエネルギーが小さく、異なればエネルギーが大きくなる。例えば、マルコフランダムフィールドでは、ある画素の距離候補が１で、その隣接画素の距離候補が１である場合、エネルギーは０となる。また、ある画素の距離候補が１で、その画素に隣接する画素の距離候補が２である場合、例えば、エネルギーは１となる。さらに、ある画素の距離候補が１で、その隣接画素の距離候補が１０である場合、例えば、エネルギーは９となる。つまり、信頼度伝搬法において、エネルギーが最小となる距離候補が最終的な距離となることを考慮すれば、このマルコフランダムフィールドにより、互いに隣接する画素は、同じような距離になり易くなる。
【００６３】
メッセージ生成・伝搬部（エネルギー伝搬部）１２は、誤差関数計算部１０で計算された誤差関数Ｄｐと、スムーズ関数計算部１１で計算されたスムーズ関数Ｖとが入力される。そして、メッセージ生成・伝搬部１２は、図１と同様に、これら誤差関数Ｄｐおよびスムーズ関数Ｖを含むメッセージが集合したエネルギー集合を生成するものである。
【００６４】
具体的には、メッセージ生成・伝搬部１２は、基準画像の画素位置に対応した位置に画素ごとのメッセージを配置することで、エネルギー集合をモデル化（生成）する。
次に、メッセージ生成・伝搬部１２は、前記した式（３）を用いて、エネルギー集合内における隣接画素間で、メッセージを生成して伝搬することで、画素ごとのメッセージを更新する。まず、メッセージ生成・伝搬部１２は、図５，図６に示すように、画素ｓにおいて、距離候補ｆｓ（０〜Ｎ−１）のメッセージｍｓ（０）〜ｍｓ（Ｎ−１）を生成して、画素ｓから画素ｐに伝搬させる。次に、メッセージ生成・伝搬部１２は、画素ｐにおいて、距離候補ｆｐ（０〜Ｎ−１）のメッセージｍｐ→ｑ（０）〜ｍｐ→ｑ（Ｎ−１）を生成して、画素ｐから画素ｑに伝搬させる。
【００６５】
評価関数計算部１３は、前記した式（４）を用いて、メッセージ生成・伝搬部１２で更新されたメッセージを示す評価関数ｂｑを計算するものである。そして、評価関数計算部１３は、計算した評価関数ｂｑを、距離推定部１４と、評価値Ｏ計算部１６と、評価値Ｋ計算部１８とに出力する。
【００６６】
距離推定部（距離指標推定部）１４は、評価関数計算部１３で計算された評価関数ｂｑが入力される。そして、距離推定部１４は、距離候補ｆｑのうち、この評価関数ｂｑが最小となる距離候補ｆｑを、距離情報として推定するものである。すなわち、距離推定部１４は、前記した式（４）の評価関数ｂｑが最小となる距離候補ｆｑを、基準画像の画素ｑの最終的な距離情報として推定する。
【００６７】
ここでは、距離推定部１４は、距離情報として、画素の距離が手前側である程、その画素の輝度が高く、画素の距離が奥側である程、その画素の輝度が低くなる距離画像を生成して出力する。この距離画像は、例えば、被写体の３次元立体モデルの生成に利用できる。
【００６８】
評価値計算部１５は、評価関数ｂｑにおけるエネルギー分布の形状により、評価値を求めるものであり、評価値Ｏ計算部（オクルージョン評価値計算部）１６と、評価値Ｋ計算部（テクスチャ評価値計算部）１８とを備える。
【００６９】
評価値Ｏ計算部（オクルージョン評価値計算部）１６は、評価関数計算部１３で計算された評価関数ｂｑが入力される。この評価関数ｂｑは、基準画像の各画素について、距離候補ｆｑごとのメッセージを示す情報、つまり、距離候補ｆｑとメッセージとを対応付けたエネルギー分布（メッセージ分布）と言える。
【００７０】
具体的には、評価値Ｏ計算部１６は、メッセージが最も高くなる最大値とメッセージが最も低くなる最小値との差分をこの最大値で除算することで、評価値Ｏを計算するものである。具体的には、評価値Ｏ計算部１６は、下記の式（８）を用いて評価値Ｏを計算して、オクルージョン領域判定部１７に出力する。
【００７１】
【数８】
【００７２】
ここで、ｍａｘは、最大値を返す関数である。従って、ｍａｘ（ｂｑ（ｆｑ））は、画素ｑにおけるメッセージの最大値を示す。また、ｍｉｎ（ｂｑ（ｆｑ））は、画素ｑにおけるメッセージの最小値を示す。
【００７３】
オクルージョン領域判定部（オクルージョン推定エラー判定部）１７は、評価値Ｏ計算部１６から評価値Ｏが入力される。そして、オクルージョン領域判定部１７は、この評価値Ｏが予め設定されたオクルージョン閾値Ｔｏ以下であるか否かを判定し、評価値Ｏがオクルージョン閾値Ｔｏ以下の場合、オクルージョンに起因する推定エラーが生じたと判定するものである。
【００７４】
ここで、オクルージョンに起因する推定エラーが生じていない画素では、図７（ａ）のエネルギー分布のように、メッセージの最大値ｍａｘと最小値ｍｉｎとの差分ΔＥＯが、大きくなる。一方、オクルージョンに起因する推定エラーが生じた画素では、図７（ｂ）のエネルギー分布のように、差分ΔＥＯが図７（ａ）よりも小さくなる。
【００７５】
また、図７の差分ΔＥＯは、式（８）の分子であることから、評価値Ｏに比例する。つまり、オクルージョン領域判定部１７は、評価値Ｏが、オクルージョンに起因する推定エラーが生じた画素で、オクルージョンに起因する推定エラーが生じていない画素よりも小さくなる性質を利用して、オクルージョンに起因する推定エラーを判定している。そして、オクルージョン領域判定部１７は、評価値Ｏがオクルージョン閾値Ｔｏ以下と判定された画素領域をオクルージョン領域として出力する。このオクルージョン領域は、例えば、被写体の３次元立体モデルを生成する際、オクルージョンに起因する推定エラーが生じた領域を把握するために利用できる。
なお、オクルージョン領域判定部１７は、評価値Ｏが閾値Ｔｏを超える場合、オクルージョンに起因する推定エラーが生じていないと判定することは言うまでもない。
【００７６】
評価値Ｋ計算部（テクスチャ評価値計算部）１８は、評価関数計算部１３で計算された評価関数ｂｑが入力される。そして、評価値Ｋ計算部１８は、基準画像の各画素について、このエネルギー分布の尖度を評価値Ｋとして計算するものである。
【００７７】
具体的には、評価値Ｋ計算部１８は、下記の式（９）に示すように、距離候補ｆｑの個数ｎｆ（例えば、０〜Ｎ−１までの合計Ｎ個）と、メッセージと、メッセージの平均値ｂｑ￣と，メッセージの標準偏差σ（ｂｑ）とに基づいて、評価値Ｋを計算する。そして、評価値Ｋ計算部１８は、計算した評価値Ｋを、無テクスチャ領域判定部１９に出力する。
【００７８】
【数９】
【００７９】
無テクスチャ領域判定部（テクスチャ推定エラー判定部）１９は、評価値Ｋ計算部１８から、評価値Ｋが入力される。そして、無テクスチャ領域判定部１９は、この評価値Ｋが予め設定されたテクスチャ閾値ＴＫ以下であるか否かを判定し、評価値Ｋがテクスチャ閾値ＴＫ以下の場合、テクスチャに起因する推定エラーが生じたと判定するものである。
【００８０】
ここで、テクスチャに起因する推定エラーが生じていない画素では、図８（ａ）に示すように、エネルギー分布が尖っており、その尖度を示す評価値Ｋが大きくなる。一方、テクスチャに起因する推定エラーが生じた画素では、図８（ｂ）に示すように、エネルギー分布が尖っておらず、評価値Ｋが図８（ａ）よりも小さくなる。
【００８１】
この尖度（Kurtosis)は、エネルギー分布の尖り具合を示すものであり、正規分布と比べて、以下のような特徴がある。すなわち、尖度が大きくなるほど、鋭いピークと長い尾とを有するエネルギー分布になる（図８（ａ）参照）。その一方、尖度が小さくなるほど、より丸みがかったピークと短い尾とを有するエネルギー分布になる（図８（ｂ）参照）。
なお、尾とは、図８において、トランケーションによって形成される、メッセージの上限となる平坦部である。
【００８２】
つまり、無テクスチャ領域判定部１９は、評価値Ｋが、テクスチャに起因する推定エラーが生じた画素で、テクスチャに起因する推定エラーが生じていない画素よりも小さくなる性質を利用して、テクスチャに起因する推定エラーを判定している。そして、無テクスチャ領域判定部１９は、評価値Ｋがテクスチャ閾値ＴＫ以下と判定された画素領域を無テクスチャ領域として出力する。このオクルージョン領域は、例えば、被写体の３次元立体モデルを生成する際、テクスチャに起因する推定エラーが生じた領域を把握するために利用できる。
なお、無テクスチャ領域判定部１９は、評価値Ｋがテクスチャ閾値ＴＫを超える場合、テクスチャに起因する推定エラーが生じていないと判定することは言うまでもない。
【００８３】
［距離情報推定装置の動作］
図９を参照し、距離情報推定装置１の動作について説明する（適宜図３参照）。
距離情報推定装置１は、誤差関数計算部１０によって、距離候補ごとに、誤差関数閾値Ｔｄａｔａ以下となるように誤差関数Ｄｐを計算する。つまり、誤差関数計算部１０は、前記した式（５）及び式（６）を用いて、誤差関数Ｄｐを計算して、トランケーションを行う（ステップＳ１０）。
【００８４】
距離情報推定装置１は、スムーズ関数計算部１１によって、距離候補ごとに、スムーズ関数閾値Ｔｓｍｏｏｔｈ以下となるように、スムーズ関数Ｖを計算する。つまり、スムーズ関数計算部１１は、前記した式（７）を用いて、スムーズ関数Ｖを計算して、トランケーションを行う（ステップＳ１１）。
【００８５】
距離情報推定装置１は、メッセージ生成・伝搬部１２によって、図１と同様にエネルギー集合を生成する。そして、メッセージ生成・伝搬部１２は、前記した式（３）を用いて、エネルギー集合内における隣接画素間で、メッセージを生成して伝搬する（ステップＳ１２）。
【００８６】
距離情報推定装置１は、評価関数計算部１３によって、前記した式（４）を用いて、距離候補ごとに評価関数ｂｑを計算する（ステップＳ１３）。そして、距離情報推定装置１は、距離推定部１４によって、距離候補のうち、この評価関数ｂｑが最小となる距離を、距離情報として推定する（ステップＳ１４）。
【００８７】
距離情報推定装置１は、評価値Ｏ計算部１６によって、評価値Ｏを計算する。つまり、評価値Ｏ計算部１６は、前記した式（８）を用いて、メッセージの最大値とメッセージの最小値との差分をこの最大値で除算することで、評価値Ｏを計算する（ステップＳ１５）。
【００８８】
距離情報推定装置１は、オクルージョン領域判定部１７によって、評価値Ｏがオクルージョン閾値Ｔｏ以下であるか否かを判定し、評価値Ｏがオクルージョン閾値Ｔｏ以下の場合、オクルージョンに起因する推定エラーが生じたと判定する。（ステップＳ１６）。
【００８９】
距離情報推定装置１は、評価値Ｋ計算部１８によって、エネルギー分布の尖度である評価値Ｋを計算する。つまり、評価値Ｋ計算部１８は、前記した式（９）に示すように、距離候補の個数ｎｆと、メッセージと、メッセージの平均値ｂｑ￣と、メッセージの標準偏差σ（ｂｑ）とに基づいて、評価値Ｋを計算する（ステップＳ１７）。
【００９０】
距離情報推定装置１は、無テクスチャ領域判定部１９によって、評価値Ｋがテクスチャ閾値ＴＫ以下であるか否かを判定し、評価値Ｋがテクスチャ閾値ＴＫ以下の場合、テクスチャに起因する推定エラーが生じたと判定する（ステップＳ１８）。
【００９１】
以上のように、本発明の第１実施形態に係る距離情報推定装置１は、メッセージの最小値だけでなくメッセージの最大値も考慮して評価値Ｏを計算すると共に、エネルギー分布の尖度である評価値Ｋを計算する。そして、距離情報推定装置１は、オクルージョンやテクスチャに起因する推定エラーが生じた画素で、評価値Ｏ及び評価値Ｋが小さくなる性質を利用して、これら推定エラーを判定する。これによって、距離情報推定装置１は、オクルージョン及びテクスチャに起因する推定エラーの判定精度を向上させて、これら推定エラーが生じた領域を正確に提示することができる。
【００９２】
さらに、距離情報推定装置１は、図７，図８に示すように、トランケーションによって、メッセージの上限が設けられるため、評価関数ｂｑのばらつきが一定範囲に収まって、距離情報の精度を向上させることができる。
【００９３】
（第２実施形態）
［距離情報推定装置の構成］
図１０を参照し、本発明の第２実施形態に係る距離情報推定装置１Ｂの構成について、第１実施形態と異なる点を説明する。この距離情報推定装置１Ｂは、オクルージョン及びテクスチャに起因する推定エラーを抑制する点が、第１実施形態と異なる。このため、距離情報推定装置１Ｂは、テクスチャ推定エラー抑制部２０をさらに備える。
【００９４】
図１０に示すように、距離情報推定装置１Ｂは、左カメラＣＬ及び中央カメラＣＣの撮影画像である左ステレオ画像と、右カメラＣＲ及び中央カメラＣＣの撮影画像である右ステレオ画像とが入力される。
【００９５】
この中央カメラＣＣは、左カメラＣＬ及び右カメラＣＲと同様、静止画や動画を撮影可能な撮影カメラである。また、左カメラＣＬ及び右カメラＣＲは、それぞれ、中央カメラＣＣから一定間隔離して左右に配置される。ここでは、中央カメラＣＣを基準カメラとし、中央カメラＣＣの撮影画像を基準画像とし、左カメラＣＬ及び右カメラＣＲの撮影画像を参照画像とする。
【００９６】
誤差関数計算部１０と、スムーズ関数計算部１１と、メッセージ生成・伝搬部１２と、評価関数計算部１３と、距離推定部１４とは、左ステレオ画像及び右ステレオ画像それぞれの処理を行う以外、図３の各手段と同様であるため、詳細な説明を省略する。
【００９７】
ここで、後記するオクルージョンに起因する推定エラーの抑制には、左ステレオ画像及び右ステレオ画像の両方（以下、「両ステレオ画像」）から求めた評価関数ｂｑが必要になる。このため、評価関数計算部１３は、両ステレオ画像から求めた評価関数ｂｑを評価値Ｏ計算部１６Ｂに出力する。さらに、距離推定部１４は、両ステレオ画像から求めた距離情報（距離画像）を、評価値Ｏ計算部１６Ｂに出力する。
【００９８】
一方、後記するテクスチャに起因する推定エラーの抑制には、左ステレオ画像及び右ステレオ画像の何れか一方から求めた評価関数ｂｑがあればよい。従って、評価関数計算部１３は、左ステレオ画像から求めた評価関数ｂｑを、評価値Ｋ計算部１８に出力する。
【００９９】
評価値Ｏ計算部１６Ｂは、両ステレオ画像から評価値Ｏを計算して、オクルージョン領域判定部１７に出力する。また、評価値Ｏ計算部１６Ｂは、両ステレオ画像から計算した評価値Ｏと、両ステレオ画像の距離情報とを用いて、オクルージョンに起因する推定エラーを抑制する。
なお、評価値Ｏの計算は、図３の評価値Ｏ計算部１６と同様のため、説明を省略する。
【０１００】
具体的には、評価値Ｏ計算部１６Ｂは、基準画像の各画素について、左ステレオ画像から計算した評価値Ｏと、右ステレオ画像から計算した評価値Ｏとを比較する。この比較結果に基づいて、評価値Ｏ計算部１６Ｂは、両ステレオ画像の距離情報のうち、評価値Ｏが大きい側の距離情報を、その画素の距離情報として、テクスチャ推定エラー抑制部２０に出力する。すなわち、評価値Ｏ計算部１６Ｂは、オクルージョンに起因する推定エラーが生じた画素で評価値Ｏが小さくなることを利用して、距離推定部１４で生成された両ステレオ画像の距離情報を、この推定エラーを抑制した１つの距離情報に統合する。
【０１０１】
オクルージョン領域判定部１７は、図３と同様、両ステレオ画像のオクルージョン領域を出力するため、詳細な説明を省略する。
なお、このオクルージョン領域は、オクルージョンに起因する推定エラーの抑制に必要ではなく、参考情報として提示される。
【０１０２】
評価値Ｋ計算部１８は、図３と同様、左ステレオ画像についての評価値Ｋを計算するため、詳細な説明を省略する。
無テクスチャ領域判定部１９は、図３と同様、左ステレオ画像についての無テクスチャ領域を生成して、テクスチャ推定エラー抑制部２０に出力する。
【０１０３】
テクスチャ推定エラー抑制部２０は、評価値Ｏ計算部１６Ｂから距離情報が入力され、無テクスチャ領域判定部１９から無テクスチャ領域が入力される。そして、テクスチャ推定エラー抑制部２０は、この無テクスチャ領域を用いて、この距離情報から、テクスチャに起因する推定エラーを抑制するものである。
【０１０４】
図１１，図１２を参照して、テクスチャに起因する推定エラーの抑制について説明する（適宜図１０参照）。
説明を簡易にするため、図１１に示すように、土俵Ａの上で二人の被写体（力士）Ｏ１，Ｏ２が取組を行っている例をあげて説明する。この場合、図１０の中央カメラＣＣは、土俵Ａの正面中央に位置し、取組を行っている被写体Ｏ１，Ｏ２の側面方向（図１１の矢印方向）から基準画像Ｐを撮影したこととする。
【０１０５】
なお、図１１では、基準画像Ｐに含まれない土俵Ａと被写体Ｏ１，Ｏ２との一部を破線で図示した。また、図１１では、基準画像Ｐのうち、土俵Ａの奥側地面となる背景Ｂの領域が無テクスチャ領域ＴＸであり、ハッチングで図示した。この例では、テクスチャ推定エラー抑制部２０は、図１１のハッチング部分に対して、テクスチャに起因する推定エラーの抑制処理を行うことになる。
【０１０６】
ここで、中央カメラＣＣと、土俵Ａと、被写体Ｏ１，Ｏ２とを上側より見ると、これらの位置関係は、図１２のようになる。図１２では、土俵Ａ及び被写体Ｏ１，Ｏ２を破線で図示すると共に、後記する距離Ｄを一転鎖線で図示した。また、図１１のハッチング部分（無テクスチャ領域ＴＸ）は、球表面の一部を切り取った曲面形状になる（図１２の吹き出し）。
【０１０７】
まず、テクスチャ推定エラー抑制部２０は、左カメラＣＬと、中央カメラＣＣと、右カメラＣＲとの光軸ＬＡが交わる光軸交点ＣＥを、カメラキャリブレーションにより計算する。ここで、テクスチャ推定エラー抑制部２０は、全てのカメラで光軸交点ＣＥを求める必要がなく、基準画像を撮影する中央カメラＣＣが含まれていればよい。つまり、テクスチャ推定エラー抑制部２０は、中央カメラＣＣと左カメラＣＬとの組、又は、中央カメラＣＣと右カメラＣＲとの一方の組から、光軸交点ＣＥを求めてもよい。
【０１０８】
次に、テクスチャ推定エラー抑制部２０は、予め設定された半径ｒの仮想球ＶＣを、光軸交点ＣＥを中心に生成する。ここで、テクスチャ推定エラー抑制部２０は、全ての被写体（例えば、土俵Ａ、被写体Ｏ１，Ｏ２）が仮想球ＶＣに含まれるように、半径ｒが予め設定されている。そして、テクスチャ推定エラー抑制部２０は、中央カメラＣＣから仮想球ＶＣの奥側表面までの距離Ｄを計算し、この距離Ｄを、無テクスチャ領域ＴＸ内の各画素の距離情報として割り当てる。
【０１０９】
すなわち、無テクスチャ領域ＴＸ内の各画素の距離情報は、下記の計算式を用いて割り当てることができる。まず、テクスチャ推定エラー抑制部２０は、下記の（１０）及び式（１１）の連立方程式により、仮想球ＶＣと中央カメラＣＣの光軸ＬＡとの交点（Ｘ，Ｙ，Ｚ）を計算する。
【０１１０】
【数１０】
【０１１１】
【数１１】
【０１１２】
前記した式（１０）は、仮想球ＶＣを表した方程式である。ここで、ａ，ｂ，ｃが仮想球ＶＣの中心の世界座標（光軸交点ＣＥの世界座標）であり、ｒが仮想球ＶＣの半径である。
前記した式（１１）は、中央カメラＣＣの光学主点と無テクスチャ領域ＴＸ内の各画素とを通過する直線を表した方程式である。ここで、ｅ，ｇ，ｉが無テクスチャ領域ＴＸ内の各画の世界座標と光学主点の世界座標とにより計算される傾き（既知）であり、ｆ，ｈ，ｊが光学主点の世界座標（既知）である。
【０１１３】
そして、テクスチャ推定エラー抑制部２０は、下記の（１２）により、中央カメラＣＣから仮想球ＶＣの奥側表面までの距離Ｄを計算する。ここで、ｚは仮想球ＶＣの奥側表面までの距離Ｄであり、ｉ，ｊは基準画像の座標（既知）であり、Ａはカメラキャリブレーションにより計算される内部パラメータ（既知）であり、Ｒはカメラキャリブレーションにより計算される回転行列（既知）であり、Ｕはカメラキャリブレーションにより計算される並進行列（既知）である。
【０１１４】
【数１２】
【０１１５】
［距離情報推定装置の動作］
図１３を参照し、距離情報推定装置１Ｂの動作について説明する（適宜図１０参照）。
ステップＳ２０〜Ｓ２４の処理は、図９のステップＳ１０〜Ｓ１４と同様のため、説明を省略する。
【０１１６】
距離情報推定装置１Ｂは、評価値Ｏ計算部１６Ｂによって、無テクスチャ領域及び距離情報を用いて、オクルージョンに起因する推定エラーを抑制する。つまり、評価値Ｏ計算部１６Ｂは、両ステレオ画像から評価値Ｏを計算し、これら評価値Ｏを比較して、評価値Ｏが大きい側のステレオ画像から生成した距離情報を、基準画像での各画素の距離情報として出力する（ステップＳ２５）。
【０１１７】
ステップＳ２６〜Ｓ２８の処理は、図９のステップＳ１６〜Ｓ１８と同様のため、説明を省略する。
【０１１８】
距離情報推定装置１Ｂは、テクスチャ推定エラー抑制部２０によって、無テクスチャ領域を用いて、距離情報から、テクスチャに起因する推定エラーを抑制する。つまり、テクスチャ推定エラー抑制部２０は、左カメラＣＬと、中央カメラＣＣと、右カメラＣＲとの光軸交点ＣＥをカメラキャリブレーションにより計算する。そして、テクスチャ推定エラー抑制部２０は、半径ｒの仮想球ＶＣを、光軸交点ＣＥを中心に生成する。さらに、テクスチャ推定エラー抑制部２０は、中央カメラＣＣから仮想球ＶＣの奥側表面までの距離Ｄを計算して、無テクスチャ領域ＴＸ内の各画素の距離情報として割り当てる（ステップＳ２９）。
【０１１９】
以上のように、本発明の第２実施形態に係る距離情報推定装置１Ｂは、オクルージョン及びテクスチャに起因する推定エラーを抑制して、精度が高い距離情報を生成することができる。この距離情報を用いれば、例えば、奥行き感が高い、インテグラルフォトグラフィ（ＩＰ）方式の立体映像を生成することができる。
【０１２０】
（第３実施形態）
［距離情報推定装置の構成］
図１４を参照し、本発明の第３実施形態に係る距離情報推定装置１Ｃの構成について、第１実施形態と異なる点を説明する。この距離情報推定装置１Ｃは、メッセージ伝搬の際、隣接画素間で色が大きく異なるときにその伝搬を制限する点が、第１実施形態と異なる。このため、距離情報推定装置１Ｃは、メッセージ伝搬制限判定部（エネルギー伝搬判定部）２１をさらに備える。
【０１２１】
ここで、誤差関数計算部１０と、スムーズ関数計算部１１と、評価値計算部１５と、オクルージョン領域判定部１７と、無テクスチャ領域判定部１９とは、図３の各手段と同様であるため、詳細な説明を省略する。
【０１２２】
メッセージ伝搬制限判定部（エネルギー伝搬判定部）２１は、基準画像における隣接画素間の色情報の差分絶対値が予め設定された色情報閾値Ｔｃ以下であるか否かによって、隣接画素間でメッセージを伝搬できるか否かを判定するものである。
【０１２３】
このメッセージ伝搬制限判定部２１は、メッセージの伝搬の制限を判定するために、隣接画素間の色情報の差分絶対値に関する色情報閾値Ｔｃが予め設定される。このとき、色情報閾値Ｔｃの値が小さくなってメッセージ伝搬の制限が強くなると、重み係数λｄａｔａの値も小さくなってスムーズ関数の影響が大きくなるように、色情報閾値Ｔｃ及び重み係数λｄａｔａを予め設定することが好ましい。
【０１２４】
また、メッセージ伝搬制限判定部２１は、メッセージ伝搬元の画素ｓと処理対象の画素ｐとの色情報の差分絶対値が色情報閾値Ｔｃ以下であるか否かによって、メッセージ伝搬元の画素ｓと処理対象の画素ｐとの間でメッセージを伝搬できるか否かを判定する。具体的には、メッセージ伝搬制限判定部２１は、下記の式（１３）に示すように、画素ｓ，ｐの色情報の差分絶対値と色情報閾値Ｔｃとを比較することにより、メッセージ伝搬元の重み係数λｓ，ｐを計算する。
【０１２５】
【数１３】
【０１２６】
ここで、メッセージ伝搬制限判定部２１は、式（１３）に示すように、画素ｓ，ｐの色情報の差分絶対値が色情報閾値Ｔｃ以下の場合、画素ｓ，ｐ間でメッセージを伝搬できると判定し、重み係数λｓ，ｐを１として計算する。一方、メッセージ伝搬制限判定部２１は、画素ｓ，ｐの色情報の差分絶対値が色情報閾値Ｔｃを超える場合、画素ｓ，ｐ間でメッセージを伝搬できないと判定し、重み係数λｓ，ｐを０として計算する。そして、メッセージ伝搬制限判定部２１は、計算した重み係数λｓ，ｐをメッセージ生成・伝搬部１２Ｃに出力する。
【０１２７】
また、メッセージ伝搬制限判定部２１は、メッセージ伝搬先の画素ｑと処理対象の画素ｐとの色情報の差分絶対値が色情報閾値Ｔｃ以下であるか否かによって、メッセージ伝搬先の画素ｑと処理対象の画素ｐとの間でメッセージを伝搬できるか否かを判定する。具体的には、メッセージ伝搬制限判定部２１は、下記の式（１４）に示すように、画素ｐ，ｑの色情報の差分絶対値と色情報閾値Ｔｃとを比較することにより、メッセージ伝搬先の重み係数λｐ，ｑを計算する。
【０１２８】
【数１４】
【０１２９】
ここで、メッセージ伝搬制限判定部２１は、式（１４）に示すように、画素ｐ，ｑの色情報の差分絶対値が色情報閾値Ｔｃ以下の場合、画素ｐ，ｑ間でメッセージを伝搬できると判定し、重み係数λｐ，ｑを１として計算する。一方、メッセージ伝搬制限判定部２１は、画素ｐ，ｑの色情報の差分絶対値が色情報閾値Ｔｃを超える場合、画素ｐ，ｑ間でメッセージを伝搬できないと判定し、重み係数λｐ，ｑを０として計算する。そして、メッセージ伝搬制限判定部２１は、計算した重み係数λｐ，ｑを評価関数計算部１３Ｃに出力する。
【０１３０】
メッセージ生成・伝搬部１２Ｃは、メッセージ伝搬制限判定部２１からメッセージ伝搬元の重み係数λｓ，ｐが入力される。そして、メッセージ生成・伝搬部１２Ｃは、下記の式（１５）を用いて、メッセージを生成して伝搬する。
【０１３１】
【数１５】
【０１３２】
このとき、メッセージ生成・伝搬部１２Ｃは、式（１５）に示すように、画素ｐ，ｑの色情報の差分絶対値と色情報閾値Ｔｃとを比較して、メッセージを伝搬するか又は制限するかを判定する。具体的には、メッセージ生成・伝搬部１２Ｃは、画素ｐ，ｑの色情報の差分絶対値が色情報閾値Ｔｃ以下の場合、画素ｐから画素ｑへのメッセージを伝搬させる。一方、メッセージ生成・伝搬部１２Ｃは、色情報の差分絶対値が色情報閾値Ｔｃを超える場合、画素ｐから画素ｑへメッセージを伝搬させない。
【０１３３】
図１５，図１６を参照して、メッセージの伝搬の制限について詳細に説明する（適宜図１４参照）。この図１５，図１６では、図１と同様のエネルギー集合において、枠（白塗四角形）が明るい色の画素であり、ハッチングされた枠が暗い色の画素である。ここでは、明るい色の画素と暗い色の画素との色情報の差分絶対値が色情報閾値Ｔｃを超えることとして説明する。
【０１３４】
例えば、被写体と背景との境界といったように、隣接画素間で色が大きく異なる場合を考える。図１５（ａ）に示すように、画素ｓ，ｐで色が大きく異なる場合、距離情報推定装置１Ｃは、前記した式（１３）よりメッセージ伝搬元の重み係数λｓ，ｐを０として、これら２画素ｓ、ｐでのメッセージ伝搬を制限する。また、図１５（ｂ）に示すように、画素ｐ，ｑで色が大きく異なる場合、距離情報推定装置１Ｃは、前記した式（１４）よりメッセージ伝搬先の重み係数λｐ，ｑを０として、これら２画素ｐ、ｑでのメッセージ伝搬を制限する。
【０１３５】
一方、図１６（ａ）に示すように画素ｓ，ｐ，ｑの全てが明るい色、又は、図１６（ｂ）に示すように画素ｓ，ｐ，ｑの全てが暗い色の場合、距離情報推定装置１Ｃは、前記した式（１３）及び式（１４）より重み係数λｓ，ｐ，λｐ，ｑを１として、画素ｓ，ｐ，ｑ間でメッセージを伝搬する。
【０１３６】
つまり、距離情報推定装置１Ｃでは、メッセージ伝搬元の重み係数λｓ，ｐの値によって、画素ｓから画素ｐへのメッセージ伝搬を制御し、メッセージ伝搬先の重み係数λｐ，ｑの値によって、画素ｐから画素ｑへのメッセージ伝搬を制御する。
【０１３７】
評価関数計算部１３Ｃは、メッセージ伝搬制限判定部２１で計算された重み係数λｐ，ｑが入力され、下記の式（１６）で定義される評価関数ｂｑを計算する。そして、評価関数計算部１３Ｃは、計算した評価関数ｂｑを、距離推定部１４Ｃと、評価値Ｏ計算部１６と、評価値Ｋ計算部１８とに出力する。
【０１３８】
【数１６】
【０１３９】
距離推定部１４Ｃは、図３の距離推定部１４と同様、距離情報を推定する。
また、距離推定部１４Ｃは、ノイズ除去フィルタ１４ａを備える。このノイズ除去フィルタ１４ａは、距離推定部１４Ｃが推定した距離情報（距離画像）にメディアンフィルタ等のノイズ除去処理を施すものである。このようにして、ノイズの影響が少ない滑らかな距離情報を推定することができる。
【０１４０】
［距離情報推定装置の動作］
図１７を参照し、距離情報推定装置１Ｃの動作について説明する（適宜図１４参照）。
ステップＳ３０，Ｓ３１の処理は、図９のステップＳ１０〜Ｓ１１と同様のため、説明を省略する。
【０１４１】
距離情報推定装置１Ｃは、メッセージ伝搬制限判定部２１によって、隣接画素間の色情報の差分絶対値が色情報閾値Ｔｃ以下であるか否かによって、隣接画素間でメッセージを伝搬できるか否かを判定する。具体的には、メッセージ伝搬制限判定部２１は、前記した式（１３）に示すように、画素ｓ，ｐの色情報の差分絶対値と色情報閾値Ｔｃとを比較することにより、画素ｓ，ｐ間におけるメッセージ伝搬の判定結果として、メッセージ伝搬元の重み係数λｓ，ｐを計算する。さらに、メッセージ伝搬制限判定部２１は、前記した式（１４）に示すように、画素ｐ，ｑの色情報の差分絶対値と色情報閾値Ｔｃとを比較することにより、画素ｐ，ｑ間におけるメッセージ伝搬の判定結果として、メッセージ伝搬先の重み係数λｐ，ｑを計算する（ステップＳ３２）。
【０１４２】
距離情報推定装置１Ｃは、メッセージ生成・伝搬部１２Ｃによって、前記した式（１５）を用いて、メッセージを生成して伝搬する（ステップＳ３３）。
距離情報推定装置１Ｃは、評価関数計算部１３Ｃによって、前記した式（１６）で定義される評価関数ｂｑを計算する（ステップＳ３４）。
なお、ステップＳ３５〜Ｓ３９の処理は、図９のステップＳ１４〜Ｓ２８と同様のため、説明を省略する。
【０１４３】
以上のように、本発明の第３実施形態に係る距離情報推定装置１Ｃは、隣接画素間の色情報の差分絶対値が大きいときにメッセージの伝搬を制限する。これによって、距離情報推定装置１Ｃは、被写体の膨張を抑制して被写体の輪郭を鮮鋭化し、精度が高い距離情報を生成することができる。
【０１４４】
なお、各実施形態では、誤差関数とスムーズ関数とで規定される確率に関するエネルギーを最小化する手法の一例として信頼度伝搬法を説明したが、本発明は、これに限定されない。本発明では、この手法として、例えば、ビタビアルゴリズムを用いることもできる。
【０１４５】
なお、各実施形態では、距離指標情報として距離情報を推定することとして説明したが、本発明は、これに限定されない。つまり、本発明は、前記した距離候補を視差候補に置き換えれば、視差情報を推定する視差情報推定装置を実現することができる。
【０１４６】
なお、各実施形態では、評価値として評価値Ｋ，Ｏを計算することとして説明したが、本発明は、これに限定されない。
また、各実施形態では、評価値Ｋ，Ｏの両方を計算することとして説明したが、本発明は、評価値Ｋ，Ｏの何れか一方のみを計算してもよい。この場合、本発明は、テクスチャ又はオクルージョンに起因する推定エラーの何れか一方だけを抑制してもよい。
【０１４７】
（変形例１）
以下、図１８を参照して、本発明の変形例１に係る距離情報推定装置１Ｄについて説明する。
図１８に示すように、距離情報推定装置１Ｄは、図１０の距離情報推定装置１Ｂに、図１４のメッセージ伝搬制限判定部２１を付加したものである。従って、距離情報推定装置１Ｄは、オクルージョン及びテクスチャに起因する推定エラーを抑制すると共に被写体の膨張を抑制し、精度が高い距離情報を生成することができる。
なお、図１８の各手段は、図１０，図１４と同様であるため、詳細な説明を省略する。
【実施例】
【０１４８】
以下、本発明の実施例として、推定エラーの判定精度を実験した結果について説明する。
本実施例では、図３の距離情報推定装置１を用いて実験を行った。また、この距離情報推定装置１に入力するステレオ画像として、力士（被写体）の取組を撮影した画像を準備した。左カメラＣＬが撮影した基準画像を図１９（ａ）に示し、右カメラＣＲが撮影した参照画像を図１９（ｂ）に示す。このとき、左カメラＣＬ及び右カメラＣＲは、互いに２メートルだけ離した。また、左カメラＣＬから被写体までの距離が２５メートルであり、距離候補を２センチメートルごとに設定した。さらに、λｄａｔａを０．０７、誤差関数閾値Ｔｄａｔａを１５、スムーズ関数閾値Ｔｓｍｏｏｔｈを１．７に設定した。
【０１４９】
図１９のステレオ画像から、距離情報推定装置１が生成した距離画像を図２０（ａ）に示す。図２０（ａ）の距離画像には、オクルージョンに起因する推定エラーを生じた領域を赤色で図示した。また、テクスチャに起因する推定エラーを生じた領域を青色で図示した。
【０１５０】
図２０（ａ）の距離画像から、距離情報推定装置１が、評価値Ｏを用いてオクルージョン領域を出力した結果を、図２０（ｂ）に示す。図２０（ｂ）の画像において、輝度値の低い領域がオクルージョンに起因する推定エラー領域が生じた領域（オクルージョン領域）であり、図２０（ａ）の赤色領域とほとんど一致している。このことより、距離情報推定装置１は、オクルージョンに起因する推定エラーの判定精度が高いことが分かる。
【０１５１】
また、図２０（ａ）の距離画像に対し、距離情報推定装置１が、オクルージョンに起因する推定エラーの抑制処理を行った。この推定エラーを抑制した後の距離画像を図２１（ａ）に示す。ここで、図２１（ａ）の距離画像にも、図２０（ａ）と同様に赤色と、青色とを図示した。
【０１５２】
そして、図２１（ａ）の距離画像から、距離情報推定装置１が、評価値Ｋを用いて無テクスチャ領域を出力した結果を、図２１（ｂ）に示す。図２１（ｂ）の画像において、輝度値の低い領域がテクスチャに起因する推定エラー領域が生じた領域（例えば、土俵奥の地面）であり、図２１（ａ）の青色領域とほとんど一致している。このことより、距離情報推定装置１は、テクスチャに起因する推定エラーの判定精度が高いことが分かる。
【符号の説明】
【０１５３】
１，１Ｂ，１Ｃ，１Ｄ 距離情報推定装置（距離指標情報推定装置）
１０ 誤差関数計算部
１１ スムーズ関数計算部
１２，１２Ｃ メッセージ生成・伝搬部（エネルギー伝搬部）
１３，１３Ｃ 評価関数計算部
１４，１４Ｃ 距離推定部（距離指標推定部）
１４ａ ノイズ除去フィルタ
１５ 評価値計算部
１６，１６Ｂ 評価値Ｏ計算部
１７ オクルージョン領域判定部（オクルージョン推定エラー判定部）
１８ 評価値Ｋ計算部
１９ 無テクスチャ領域判定部（テクスチャ推定エラー判定部）
２０ テクスチャ推定エラー抑制部
２１ メッセージ伝搬制限判定部（エネルギー伝搬判定部）
【技術分野】
【０００１】
本発明は、ステレオ画像間の誤差関数と奥行き方向への距離又は視差である距離指標の連続性を示すスムーズ関数とで規定される確率に関するエネルギーを最小化する手法により、ステレオ画像の一方である基準画像の画素ごとの距離指標を示す距離指標情報を推定すると共に、距離指標情報の信頼度を示す評価値を計算する距離指標情報推定装及びそのプログラムに関する。
【背景技術】
【０００２】
例えば、３次元立体モデルを生成する際、ステレオ画像の各画素の視差により距離を推定する距離推定技術が広く用いられている。この距離推定技術では、例えば、ステレオ画像間で類似度を求めるブロックマッチングが用いられている。また、類似度の計算方法としては、例えば、差の二乗和を求めるＳＳＤ（Sum of Squared Difference）、差の絶対和を求めるＳＡＤ(Sum of Absolute Difference)、及び、正規化相互相関を求めるＺＮＣＣ(Zero-mean Normalized Cross-Correlation)が知られている（例えば、非特許文献１）。
【０００３】
また、距離推定技術としては、マルコフランダムフィールドモデルを仮定し、ステレオ画像間のデータ項とスムーズ項とで構成されるエネルギーを最小化することにより、ノイズが少なく滑らかな距離情報（距離画像）を生成する信頼度伝搬法も知られている（例えば、非特許文献２）。ここで、データ項はステレオ画像間の類似度を表し、スムーズ項は距離の不連続性を表す。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】ディジタル画像処理、ＣＧ−Ａｒｔｓ協会、２００６年、ｐ２０２−ｐ２０４
【非特許文献２】Pedro F.Felzenszwalb，Daniel P.Huttenlocher:Efficient Belief Propagation for Early Vision.CVPR(1)2004:261‐268
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、従来の距離推定技術では、ステレオ画像にオクルージョンが生じた領域やテクスチャが無い領域が含まれる場合、これらに起因して、距離情報の推定結果にエラーが生じることが多い。この場合、精度が高い距離情報を得るために、これら推定エラーが生じた領域に対して、これら推定エラーの抑制処理を施す必要がある。この推定エラーの抑制処理の可否を判定するために、推定された距離情報の客観的な信頼度を提示することが強く要望されている。
【０００６】
そこで、本発明は、前記した問題を解決し、距離指標情報の客観的な信頼度である評価値を提示できる距離指標情報推定装置及びそのプログラムを提供することを課題とする。
【課題を解決するための手段】
【０００７】
前記した課題に鑑みて、本願第１発明に係る距離指標情報推定装置は、ステレオ画像間の誤差関数と奥行き方向への距離又は視差である距離指標の連続性を示すスムーズ関数とで規定される確率に関するエネルギーを最小化する手法により、ステレオ画像の一方である基準画像の画素ごとの距離指標を示す距離指標情報を推定すると共に、距離指標情報の信頼度を示す評価値を計算する距離指標情報推定装置であって、誤差関数計算部と、スムーズ関数計算部と、エネルギー伝搬部と、評価関数計算部と、距離指標推定部と、評価値計算部とを備えることを特徴とする。
【０００８】
かかる構成によれば、距離指標情報推定装置は、誤差関数計算部によって、ステレオ画像が入力されると共に、予め設定された距離指標候補ごとに、予め設定された誤差関数閾値以下となるように、入力されたステレオ画像の類似度である誤差関数を計算する。つまり、誤差関数計算部は、誤差関数の値が誤差関数閾値を超えないように、トランケーションを行う。
【０００９】
また、距離指標情報推定装置は、スムーズ関数計算部によって、距離指標候補ごとに、予め設定されたスムーズ関数閾値以下となるように、マルコフランダムフィールドにおける隣接画素間の距離指標候補の差分絶対値であるスムーズ関数を計算する。つまり、スムーズ関数計算部は、スムーズ関数の値がスムーズ関数閾値を超えないようにトランケーションを行う。
【００１０】
また、距離指標情報推定装置は、エネルギー伝搬部によって、誤差関数計算部で計算した誤差関数とスムーズ関数計算部で計算したスムーズ関数とを含むエネルギーが集合したエネルギー集合を生成し、当該エネルギー集合内における隣接画素間で、所定の漸化式によってエネルギーを生成して伝搬させることで、距離指標候補及び画素ごとのエネルギーを更新する。
【００１１】
また、距離指標情報推定装置は、評価関数計算部によって、エネルギー伝搬部で更新されたエネルギーを示す評価関数を計算する。そして、距離指標情報推定装置は、距離指標推定部によって、距離指標候補のうち、評価関数計算部で計算された評価関数が最小となる距離指標を、距離指標情報として推定する。ここで、前記したトランケーションでエネルギーに上限が設けられるため、評価関数のばらつきが一定範囲に収まって、距離指標情報の精度が向上する。
【００１２】
また、距離指標情報推定装置は、評価値計算部によって、少なくとも、評価関数におけるエネルギー分布の形状により、評価値を求める。この評価値は、エネルギーの最小値だけでなく、エネルギーの最大値も考慮したエネルギー分布の形状により計算されるため、その精度が向上し、距離指標情報の客観的な信頼度を示す情報となる。
なお、評価値計算部は、エネルギー分布の形状以外、例えば、エネルギー分布の尖度により評価値を求めてもよい。
【００１３】
なお、本発明において、距離指標とは、奥行き方向への距離（奥行き）、又は、この距離の指標となる視差のことである。つまり、距離指標情報推定装置は、距離指標情報として、画素ごとの距離を示す距離情報、又は、画素ごとの視差を示す視差情報を推定する。
【００１４】
また、本願第２発明に係る距離指標情報推定装置は、評価値計算部が、エネルギーが最も高くなる最大値とエネルギーが最も低くなる最小値との差分を最大値で除算することで、評価値として、オクルージョンに起因する推定エラーを判定するためのオクルージョン評価値を計算するオクルージョン評価値計算部、をさらに備えることを特徴とする。
【００１５】
かかる構成によれば、距離指標情報推定装置は、エネルギーの最小値だけでなくエネルギーの最大値も考慮してオクルージョン評価値を計算するため、オクルージョン評価値の精度を向上させることができる。
【００１６】
また、本願第３発明に係る距離指標情報推定装置は、距離指標情報推定装置が、所定位置に配置された中央カメラと、中央カメラの左右に配置された左カメラ及び右カメラとの撮影画像が入力され、オクルージョン評価値計算部が、中央カメラ及び左カメラの撮影画像である左ステレオ画像と、中央カメラ及び右カメラの撮影画像である右ステレオ画像とについて、オクルージョン評価値をそれぞれ計算すると共に、左ステレオ画像と右ステレオ画像とのオクルージョン評価値を比較し、オクルージョン評価値が大きい側のステレオ画像から求められた距離指標を、中央カメラの撮影画像での各画素の距離指標情報として出力することを特徴とする。
【００１７】
かかる構成によれば、距離指標情報推定装置は、オクルージョン評価値がオクルージョンに起因する推定エラーが生じた画素で小さくなる性質を利用して、オクルージョンに起因する推定エラーを抑制する。
【００１８】
また、本願第４発明に係る距離指標情報推定装置は、オクルージョン評価値計算部で計算されたオクルージョン評価値が予め設定されたオクルージョン閾値以下であるか否かを判定し、オクルージョン評価値がオクルージョン閾値以下の場合、オクルージョンに起因する推定エラーが生じたと判定するオクルージョン推定エラー判定部、をさらに備えることを特徴とする。
【００１９】
かかる構成によれば、距離指標情報推定装置は、オクルージョン評価値がオクルージョンに起因する推定エラーが生じた画素で小さくなる性質を利用して、オクルージョンに起因する推定エラーを判定する。
【００２０】
また、本願第５発明に係る距離指標情報推定装置は、誤差関数計算部が、基準画像における処理対象画素と、ステレオ画像の他方である参照画像で処理対象画素に対応する対応画素との色情報の差分絶対値を求め、差分絶対値を予め設定した原色数で除算して重み付ける誤差関数を計算することを特徴とする。
かかる構成によれば、距離指標情報推定装置は、被写体の輪郭を鮮鋭化して、精度が高い距離指標情報を推定することができる。
【００２１】
また、本願第６発明に係る距離指標情報推定装置は、評価値計算部が、エネルギー分布の尖度を、テクスチャに起因する推定エラーを判定するための評価値であるテクスチャ評価値として計算するテクスチャ評価値計算部、をさらに備えることを特徴とする。
【００２２】
かかる構成によれば、距離指標情報推定装置は、エネルギー分布の尖り具合である尖度を考慮してテクスチャ評価値を計算するため、テクスチャ評価値の精度を向上させることができる。
【００２３】
また、本願第７発明に係る距離指標情報推定装置は、隣接画素間の色情報の差分絶対値が予め設定された色情報閾値以下であるか否かによって、隣接画素間でエネルギーを伝搬できるか否かを判定するエネルギー伝搬判定部をさらに備え、エネルギー伝搬部が、エネルギー集合内でエネルギーを伝搬できると判定された隣接画素間でエネルギーを更新することを特徴とする。
かかる構成によれば、距離指標情報推定装置は、例えば、被写体と背景との境界のように隣接画素間で色が大きく異なる場合、エネルギーの伝搬を制限する。
【００２４】
なお、本願第１発明に係る距離指標情報推定装置は、一般的なコンピュータを、誤差関数計算部、スムーズ関数計算部、エネルギー伝搬部、評価関数計算部、距離指標推定部及び評価値計算部として動作させる距離指標情報推定プログラムによって実現することもできる。このプログラムは、通信回線を介して配布しても良く、ＣＤ−ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布しても良い。
【発明の効果】
【００２５】
本発明は、以下のような優れた効果を奏する。
本願第１発明によれば、前記したトランケーションでエネルギーに上限が設けられるため、評価関数のばらつきが一定範囲に収まって、距離指標情報の精度を向上させることができる。さらに、本願第１発明によれば、エネルギーの最小値だけでなく、エネルギーの最大値も考慮したエネルギー分布の形状により評価値を計算するため、評価値の精度を向上させ、距離指標情報の客観的な信頼度として評価値を提示することができる。
【００２６】
本願第２発明によれば、エネルギーの最小値だけでなくエネルギーの最大値も考慮してオクルージョン評価値を計算するため、オクルージョン評価値の精度を向上させることができる。
【００２７】
本願第３発明によれば、オクルージョン評価値がオクルージョンに起因する推定エラーが生じた画素で小さくなる性質を利用して、オクルージョンに起因する推定エラーを正確に抑制することができる。
【００２８】
本願第４発明によれば、オクルージョン評価値がオクルージョンに起因する推定エラーが生じた画素で小さくなる性質を利用して、オクルージョンに起因する推定エラーを正確に判定することができる。
【００２９】
本願第５発明によれば、被写体の輪郭を鮮鋭化して、精度が高い距離指標情報を推定することができる。
本願第６発明によれば、エネルギー分布の尖り具合である尖度を考慮してテクスチャ評価値を計算するため、テクスチャ評価値の精度を向上させることができる。
【００３０】
本願第７発明によれば、隣接画素間で色が大きく異なる場合、エネルギーの伝搬を制限するため、被写体の輪郭の膨張を抑制できる。これによって、本願第７発明によれば、被写体の輪郭を鮮鋭化して、精度が高い距離指標情報を生成することができる。
【図面の簡単な説明】
【００３１】
【図１】本発明において、信頼度伝搬法による距離推定を説明する説明図である。
【図２】本発明において、信頼度伝搬法による距離推定の手順を示すフローチャートである。
【図３】本発明の第１実施形態に係る距離情報推定装置の構成を示すブロック図である。
【図４】図３の距離情報推定装置において、距離候補ごとの誤差関数及びスムーズ関数の計算を説明する説明図である。
【図５】図３の距離情報推定装置において、距離候補ごとのメッセージの伝搬を説明する説明図である。
【図６】図３の距離情報推定装置において、距離候補ごとのメッセージの伝搬を説明する説明図である。
【図７】本発明の第１実施形態において、（ａ）はオクルージョンに起因する推定エラーが生じていない画素のエネルギー分布を示すグラフであり、（ｂ）はオクルージョンに起因する推定エラーが生じた画素のエネルギー分布を示すグラフである。
【図８】本発明の第１実施形態において、（ａ）はテクスチャに起因する推定エラーが生じていない画素のエネルギー分布を示すグラフであり、（ｂ）はテクスチャに起因する推定エラーが生じた画素のエネルギー分布を示すグラフである。
【図９】図３の距離情報推定装置の動作を示すフローチャートである。
【図１０】本発明の第２実施形態に係る距離情報推定装置の構成を示すブロック図である。
【図１１】図１０の距離情報推定装置において、オクルージョンに起因する推定エラーの抑制を説明する説明図である。
【図１２】図１０の距離情報推定装置において、オクルージョンに起因する推定エラーの抑制を説明する説明図である。
【図１３】図１０の距離情報推定装置の動作を示すフローチャートである。
【図１４】本発明の第３実施形態に係る距離情報推定装置の構成を示すブロック図である。
【図１５】本発明の第３実施形態において、（ａ）はメッセージ伝搬元の画素から処理対象の画素へのメッセージ伝搬が制限されるときの説明図であり、（ｂ）は処理対象の画素からメッセージ伝搬先の画素へのメッセージ伝搬が制限されるときの説明図である。
【図１６】本発明の第３実施形態において、（ａ）及び（ｂ）はメッセージ伝搬が制限されないときの説明図である。
【図１７】図１４の距離情報推定装置の動作を示すフローチャートである。
【図１８】本発明の変形例１に係る距離情報推定装置の構成を示すブロック図である。
【図１９】本発明の実施例において、（ａ）は左カメラが撮影した基準画像であり、（ｂ）は右カメラが撮影した参照画像である。
【図２０】本発明の実施例において、（ａ）は距離画像であり、（ｂ）は（ａ）の距離画像からオクルージョン領域を出力した結果を示す画像である。
【図２１】本発明の実施例において、（ａ）はオクルージョンに起因する推定エラーを抑制した後の距離画像であり、（ｂ）は（ａ）の距離画像から無テクスチャ領域を出力した結果を示す画像である。
【発明を実施するための形態】
【００３２】
（本発明の概略：信頼度伝搬法による距離推定）
本発明の各実施形態では、ステレオ画像間の誤差関数と距離指標の連続性を示すスムーズ関数とで規定されるエネルギーを最小化する手法として、信頼度伝搬法を用いている。そこで、最初に、本発明の実施形態における信頼度伝搬法の概略を説明する。
【００３３】
なお、以後の各実施形態では、請求項に記載の距離指標が、奥行き方向への距離（奥行き）であることとして説明する。つまり、請求項に記載の距離指標情報として、画素ごとの距離を示す距離情報を推定することになる。
【００３４】
この信頼度伝搬法（ＢＰ法：Belief Propagation法）は、距離情報にマルコフランダムフィールド（ＭＲＦ：Markov Random Field）モデルを仮定し、ステレオ画像間の誤差関数とスムーズ関数とで構成（規定）されるエネルギーを最小化することにより、ノイズが少なく滑らかな距離情報を生成するものである。ここで、信頼度伝搬法は、図１に示すように、処理対象となる画素ｐの隣接画素ｓから、メッセージと呼ばれる各画素にどの距離が割り当てられるかという確率に関するエネルギーｍを受け取り、それらからメッセージを更新して隣接画素ｑに伝搬させる。そして、信頼度伝搬法は、この処理を画像内の全ての画素に対して繰り返し行うことで各画素の距離情報を求める。
なお、請求項に記載のエネルギーが、信頼度伝搬法ではメッセージとなる。
【００３５】
ここで、図１では、枠（白塗四角形）が基準画像の画素に対応し、矢印ｍが画素間のメッセージ（エネルギー）の伝搬を示している。また、図１に示すように、このメッセージを伝搬する画素がノードとして縦横に配列されたグラフをエネルギー集合（メッセージ集合）と呼ぶ。さらに、文字「ｓ」が付された画素ｓは、メッセージの伝搬元となる隣接画素を示し、文字「ｐ」が付された画素ｐは、処理対象の画素を示し、文字「ｑ」が付された画素ｑは、メッセージの伝搬先となる隣接画素を示す。なお、図１では、説明を簡易にするために、一部符号のみを図示した。
【００３６】
図２を参照し、信頼度伝搬法による距離推定の手順を説明する。
図２に示すように、信頼度伝搬法では、メッセージの生成に必要な画素間の誤差関数Ｄｐ（ｆｐ）（以後、「誤差関数Ｄｐ」）を計算する（ステップＳ１）。本発明において、誤差関数に、ＳＳＤ、ＳＡＤ、ＺＮＣＣ等の類似度が利用可能であり、ここでは、ステレオ画像の対応画素間で色情報の差分絶対値により類似度を示す式（１）を利用する。この式（１）によれば、画素単位で類似度を計算するため、被写体の輪郭を鮮鋭化することができる。
【００３７】
【数１】
【００３８】
ここで、ｐは処理対象の画素、ｆｐは画素ｐの距離候補、ｃは色情報、ｒ，ｇ，ｂはＲＧＢ値、ｄｐは距離候補ｆｐに対応する視差、Ｉｃはステレオ画像の一方である基準画像での画素値、Ｉｃ´はステレオ画像の他方である参照画像での画素値、λｄａｔａは重み係数を表わす。
なお、距離候補（距離指標候補）とは、任意の範囲内で予め設定された距離の候補のことである（図４等参照）。
【００３９】
すなわち、式（１）は、基準画像Ｉｃにおける処理対象の画素ｐの色情報Ｉｃ（ｐ）と、参照画像Ｉｃ´における対応画素（ｐ＋ｄｐ）の色情報Ｉｃ´（ｐ＋ｄｐ）との差分絶対値を予め設定された原色数（例えば、３）で除算して、重み係数λｄａｔａで重み付けることを示す。この対応画素（ｐ＋ｄｐ）とは、参照画像Ｉｃ´において、処理対象の画素ｐに対応する画素のことである。
【００４０】
また、式（１）において、視差の逆数にステレオカメラの間隔（ベースライン）を乗算して距離が計算できることを利用して、距離候補ｆｐから視差ｄｐを逆算できる。このベースラインは、例えば、ＯｐｅｎＣＶ等のカメラキャリブレーションで求めることができる（URL「http://opencv.jp/」）。
【００４１】
続いて、信頼度伝搬法では、下記の式（２）に示すように、距離候補ｆｐと、画素ｑの距離候補ｆｑとの差分絶対値｜ｆｐ−ｆｑ｜で定義されるスムーズ関数Ｖ（ｆｐ−ｆｑ）（以後、「スムーズ関数Ｖ」）の計算を行う（ステップＳ２）。このスムーズ関数Ｖは、距離情報の滑らかさ（例えば、ノイズの少なさ）、言い換えるなら、距離の連続性を示す。ここで、ｑは画素ｐのメッセージ伝搬先となる隣接画素である。
【００４２】
【数２】
【００４３】
そして、信頼度伝搬法では、下記の式（３）で規定される生成式によって、メッセージを生成して伝搬する（ステップＳ３）。
【００４４】
【数３】
【００４５】
ｍはメッセージ、ｔは反復回数、Ｎ（ｐ）＼ｑは画素ｐへメッセージを渡す画素ｑ以外の４近傍の画素集合、ｓはその画素集合の要素画素、ｍｉｎは最小値を返す関数である。この式（３）は、漸化式になっており、受け取ったメッセージをもとにメッセージを更新する処理を繰り返し行うことを示す。例えば、信頼度伝搬法では、ラスタスキャンを行うように処理対象画素ｐを移動させながら、その処理対象画素ｐでメッセージを更新することで、メッセージの伝搬を全画素で行う。
【００４６】
全画素についてメッセージの更新処理を、予め設定したＴ回（例えば、１０回）まで反復したとする。この場合、画素ｑの距離候補ｆｑに関する評価関数ｂｑ（ｆｑ）（以後、「評価関数ｂｑ」）は、下記の式（４）で表すことができる。そして、信頼度伝搬法では、この評価関数ｂｑが最小になる距離候補ｆｑを、各画素の最終的な距離として推定する（ステップＳ４）。
【００４７】
【数４】
【００４８】
（第１実施形態）
［距離情報推定装置の構成］
以下、本発明の各実施形態について、適宜図面を参照しながら詳細に説明する。なお、各実施形態において、同一の機能を有する手段には同一の符号を付し、説明を省略した。
【００４９】
図３を参照し、本発明の第１実施形態に係る距離情報推定装置（距離指標情報推定装置）１の構成について説明する。
距離情報推定装置１は、信頼度伝搬法により距離情報を推定して、この距離情報の信頼度を示す評価値を計算すると共に、この評価値によって、距離情報の推定エラーが生じたか否かを判定するものである。
【００５０】
図３に示すように、距離情報推定装置１は、誤差関数計算部１０と、スムーズ関数計算部１１と、メッセージ生成・伝搬部（エネルギー伝搬部）１２と、評価関数計算部１３と、距離推定部（距離指標推定部）１４と、評価値計算部１５と、オクルージョン領域判定部（オクルージョン推定エラー判定部）１７と、無テクスチャ領域判定部（テクスチャ推定エラー判定部）１９とを備える。
【００５１】
本実施形態では、距離情報推定装置１は、評価値として、オクルージョンに起因する推定エラーを判定するための評価値Ｏｑ（オクルージョン評価値、以後「評価値Ｏ」）と、テクスチャに起因する推定エラーを判定するための評価値Ｋｑ（テクスチャ評価値、以後「評価値Ｋ」）とを計算する。そして、距離情報推定装置１は、評価値Ｏ及び評価値Ｋを用いて、距離情報の推定エラーとして、オクルージョンに起因する推定エラーと、テクスチャに起因する推定エラーとを判定することとする。
【００５２】
テクスチャに起因する推定エラーとは、例えば、ステレオ画像でのテクスチャが存在しない領域（テクスチャレス領域）において、マッチング精度が低下して、距離情報の推定エラーが生じることである。
【００５３】
距離情報推定装置１は、左カメラＣＬ及び右カメラＣＲ（ステレオカメラ）から、被写体（不図示）を撮影したステレオ画像（基準画像及び参照画像）が入力される。
この左カメラＣＬ及び右カメラＣＲは、静止画や動画を撮影可能な撮影カメラであり、図３に示すように、一定間隔（ベースライン）だけ離して配置される。ここで、例えば、左カメラＣＬ及び右カメラＣＲのうち左カメラＣＬを基準カメラとし、左カメラＣＬの撮影画像を基準画像とし、右カメラＣＲの撮影画像を参照画像とする。
【００５４】
誤差関数計算部１０は、ステレオ画像が入力されると共に、距離候補ごとに、予め設定された誤差関数閾値Ｔｄａｔａ以下となるように、入力されたステレオ画像の類似度である誤差関数Ｄｐを計算するものである。この誤差関数計算部１０は、下記の式（５）及び式（６）を用いて、図４に示すように画素ｓ，ｐ，ｑについて、距離候補ごとの誤差関数Ｄｐを計算する。
ここで、ｉｆは、後段の条件式を満たす場合、前段に記述した値を出力する関数である。
【００５５】
【数５】
【００５６】
【数６】
【００５７】
本実施形態では、距離候補ｆｓ，ｆｐ，ｆｑがそれぞれ、図４に示すように、０，１，・・・，Ｋ，・・・，Ｎ−１の範囲内で予め設定されたこととして説明する（但し、Ｋ，Ｎは、Ｋ＜Ｎ−１を満たす整数）。
なお、図４では、文字ｓ，ｐ，ｑを付した四辺形が画素ｓ，ｐ，ｑである。
【００５８】
このとき、誤差関数計算部１０は、式（６）に示すように、誤差関数Ｄｐの値が誤差関数閾値Ｔｄａｔａを超えないように、トランケーションを行っている。具体的には、誤差関数計算部１０は、誤差関数Ｄｐの値が誤差関数閾値Ｔｄａｔａを超える場合、誤差関数閾値Ｔｄａｔａを誤差関数Ｄｐの値としてメッセージ生成・伝搬部１２に出力する。その一方、誤差関数計算部１０は、誤差関数Ｄｐの値が誤差関数閾値Ｔｄａｔａ以下の場合、メッセージ生成・伝搬部１２に誤差関数Ｄｐの値をそのまま出力する。
【００５９】
スムーズ関数計算部１１は、距離候補ごとに、予め設定されたスムーズ関数閾値Ｔｓｍｏｏｔｈ以下となるように、スムーズ関数Ｖを計算するものである。このスムーズ関数計算部１１は、図４に示すように、画素ｐの距離候補ｆｐ（０〜Ｎ−１）と、画素ｑの距離候補ｆｑ（０〜Ｎ−１）との全組み合わせについて、下記の式（７）を用いて、スムーズ関数Ｖを計算する。
【００６０】
【数７】
【００６１】
このとき、スムーズ関数計算部１１は、式（７）に示すように、スムーズ関数Ｖの値がスムーズ関数閾値Ｔｓｍｏｏｔｈを超えないように、トランケーションを行っている。具体的には、スムーズ関数計算部１１は、スムーズ関数Ｖの値がスムーズ関数閾値Ｔｓｍｏｏｔｈを超える場合、スムーズ関数閾値Ｔｓｍｏｏｔｈをスムーズ関数Ｖの値としてメッセージ生成・伝搬部１２に出力する。その一方、スムーズ関数計算部１１は、スムーズ関数Ｖの値がスムーズ関数閾値Ｔｓｍｏｏｔｈ以下の場合、メッセージ生成・伝搬部１２にスムーズ関数Ｖの値をそのまま出力する。
【００６２】
ここで、マルコフランダムフィールドおよびスムーズ関数Ｖについて補足する。このマルコフランダムフィールドは、基準画像で互いに隣接する画素の色、輝度や距離が似ていることを示すモデルである。そして、スムーズ関数Ｖは、このマルコフランダムフィールドを踏まえた距離の連続性に関する関数であり、基準画像の各画素に距離候補を割り当てた際、互いに隣接する画素の距離候補が同じであればエネルギーが小さく、異なればエネルギーが大きくなる。例えば、マルコフランダムフィールドでは、ある画素の距離候補が１で、その隣接画素の距離候補が１である場合、エネルギーは０となる。また、ある画素の距離候補が１で、その画素に隣接する画素の距離候補が２である場合、例えば、エネルギーは１となる。さらに、ある画素の距離候補が１で、その隣接画素の距離候補が１０である場合、例えば、エネルギーは９となる。つまり、信頼度伝搬法において、エネルギーが最小となる距離候補が最終的な距離となることを考慮すれば、このマルコフランダムフィールドにより、互いに隣接する画素は、同じような距離になり易くなる。
【００６３】
メッセージ生成・伝搬部（エネルギー伝搬部）１２は、誤差関数計算部１０で計算された誤差関数Ｄｐと、スムーズ関数計算部１１で計算されたスムーズ関数Ｖとが入力される。そして、メッセージ生成・伝搬部１２は、図１と同様に、これら誤差関数Ｄｐおよびスムーズ関数Ｖを含むメッセージが集合したエネルギー集合を生成するものである。
【００６４】
具体的には、メッセージ生成・伝搬部１２は、基準画像の画素位置に対応した位置に画素ごとのメッセージを配置することで、エネルギー集合をモデル化（生成）する。
次に、メッセージ生成・伝搬部１２は、前記した式（３）を用いて、エネルギー集合内における隣接画素間で、メッセージを生成して伝搬することで、画素ごとのメッセージを更新する。まず、メッセージ生成・伝搬部１２は、図５，図６に示すように、画素ｓにおいて、距離候補ｆｓ（０〜Ｎ−１）のメッセージｍｓ（０）〜ｍｓ（Ｎ−１）を生成して、画素ｓから画素ｐに伝搬させる。次に、メッセージ生成・伝搬部１２は、画素ｐにおいて、距離候補ｆｐ（０〜Ｎ−１）のメッセージｍｐ→ｑ（０）〜ｍｐ→ｑ（Ｎ−１）を生成して、画素ｐから画素ｑに伝搬させる。
【００６５】
評価関数計算部１３は、前記した式（４）を用いて、メッセージ生成・伝搬部１２で更新されたメッセージを示す評価関数ｂｑを計算するものである。そして、評価関数計算部１３は、計算した評価関数ｂｑを、距離推定部１４と、評価値Ｏ計算部１６と、評価値Ｋ計算部１８とに出力する。
【００６６】
距離推定部（距離指標推定部）１４は、評価関数計算部１３で計算された評価関数ｂｑが入力される。そして、距離推定部１４は、距離候補ｆｑのうち、この評価関数ｂｑが最小となる距離候補ｆｑを、距離情報として推定するものである。すなわち、距離推定部１４は、前記した式（４）の評価関数ｂｑが最小となる距離候補ｆｑを、基準画像の画素ｑの最終的な距離情報として推定する。
【００６７】
ここでは、距離推定部１４は、距離情報として、画素の距離が手前側である程、その画素の輝度が高く、画素の距離が奥側である程、その画素の輝度が低くなる距離画像を生成して出力する。この距離画像は、例えば、被写体の３次元立体モデルの生成に利用できる。
【００６８】
評価値計算部１５は、評価関数ｂｑにおけるエネルギー分布の形状により、評価値を求めるものであり、評価値Ｏ計算部（オクルージョン評価値計算部）１６と、評価値Ｋ計算部（テクスチャ評価値計算部）１８とを備える。
【００６９】
評価値Ｏ計算部（オクルージョン評価値計算部）１６は、評価関数計算部１３で計算された評価関数ｂｑが入力される。この評価関数ｂｑは、基準画像の各画素について、距離候補ｆｑごとのメッセージを示す情報、つまり、距離候補ｆｑとメッセージとを対応付けたエネルギー分布（メッセージ分布）と言える。
【００７０】
具体的には、評価値Ｏ計算部１６は、メッセージが最も高くなる最大値とメッセージが最も低くなる最小値との差分をこの最大値で除算することで、評価値Ｏを計算するものである。具体的には、評価値Ｏ計算部１６は、下記の式（８）を用いて評価値Ｏを計算して、オクルージョン領域判定部１７に出力する。
【００７１】
【数８】
【００７２】
ここで、ｍａｘは、最大値を返す関数である。従って、ｍａｘ（ｂｑ（ｆｑ））は、画素ｑにおけるメッセージの最大値を示す。また、ｍｉｎ（ｂｑ（ｆｑ））は、画素ｑにおけるメッセージの最小値を示す。
【００７３】
オクルージョン領域判定部（オクルージョン推定エラー判定部）１７は、評価値Ｏ計算部１６から評価値Ｏが入力される。そして、オクルージョン領域判定部１７は、この評価値Ｏが予め設定されたオクルージョン閾値Ｔｏ以下であるか否かを判定し、評価値Ｏがオクルージョン閾値Ｔｏ以下の場合、オクルージョンに起因する推定エラーが生じたと判定するものである。
【００７４】
ここで、オクルージョンに起因する推定エラーが生じていない画素では、図７（ａ）のエネルギー分布のように、メッセージの最大値ｍａｘと最小値ｍｉｎとの差分ΔＥＯが、大きくなる。一方、オクルージョンに起因する推定エラーが生じた画素では、図７（ｂ）のエネルギー分布のように、差分ΔＥＯが図７（ａ）よりも小さくなる。
【００７５】
また、図７の差分ΔＥＯは、式（８）の分子であることから、評価値Ｏに比例する。つまり、オクルージョン領域判定部１７は、評価値Ｏが、オクルージョンに起因する推定エラーが生じた画素で、オクルージョンに起因する推定エラーが生じていない画素よりも小さくなる性質を利用して、オクルージョンに起因する推定エラーを判定している。そして、オクルージョン領域判定部１７は、評価値Ｏがオクルージョン閾値Ｔｏ以下と判定された画素領域をオクルージョン領域として出力する。このオクルージョン領域は、例えば、被写体の３次元立体モデルを生成する際、オクルージョンに起因する推定エラーが生じた領域を把握するために利用できる。
なお、オクルージョン領域判定部１７は、評価値Ｏが閾値Ｔｏを超える場合、オクルージョンに起因する推定エラーが生じていないと判定することは言うまでもない。
【００７６】
評価値Ｋ計算部（テクスチャ評価値計算部）１８は、評価関数計算部１３で計算された評価関数ｂｑが入力される。そして、評価値Ｋ計算部１８は、基準画像の各画素について、このエネルギー分布の尖度を評価値Ｋとして計算するものである。
【００７７】
具体的には、評価値Ｋ計算部１８は、下記の式（９）に示すように、距離候補ｆｑの個数ｎｆ（例えば、０〜Ｎ−１までの合計Ｎ個）と、メッセージと、メッセージの平均値ｂｑ￣と，メッセージの標準偏差σ（ｂｑ）とに基づいて、評価値Ｋを計算する。そして、評価値Ｋ計算部１８は、計算した評価値Ｋを、無テクスチャ領域判定部１９に出力する。
【００７８】
【数９】
【００７９】
無テクスチャ領域判定部（テクスチャ推定エラー判定部）１９は、評価値Ｋ計算部１８から、評価値Ｋが入力される。そして、無テクスチャ領域判定部１９は、この評価値Ｋが予め設定されたテクスチャ閾値ＴＫ以下であるか否かを判定し、評価値Ｋがテクスチャ閾値ＴＫ以下の場合、テクスチャに起因する推定エラーが生じたと判定するものである。
【００８０】
ここで、テクスチャに起因する推定エラーが生じていない画素では、図８（ａ）に示すように、エネルギー分布が尖っており、その尖度を示す評価値Ｋが大きくなる。一方、テクスチャに起因する推定エラーが生じた画素では、図８（ｂ）に示すように、エネルギー分布が尖っておらず、評価値Ｋが図８（ａ）よりも小さくなる。
【００８１】
この尖度（Kurtosis)は、エネルギー分布の尖り具合を示すものであり、正規分布と比べて、以下のような特徴がある。すなわち、尖度が大きくなるほど、鋭いピークと長い尾とを有するエネルギー分布になる（図８（ａ）参照）。その一方、尖度が小さくなるほど、より丸みがかったピークと短い尾とを有するエネルギー分布になる（図８（ｂ）参照）。
なお、尾とは、図８において、トランケーションによって形成される、メッセージの上限となる平坦部である。
【００８２】
つまり、無テクスチャ領域判定部１９は、評価値Ｋが、テクスチャに起因する推定エラーが生じた画素で、テクスチャに起因する推定エラーが生じていない画素よりも小さくなる性質を利用して、テクスチャに起因する推定エラーを判定している。そして、無テクスチャ領域判定部１９は、評価値Ｋがテクスチャ閾値ＴＫ以下と判定された画素領域を無テクスチャ領域として出力する。このオクルージョン領域は、例えば、被写体の３次元立体モデルを生成する際、テクスチャに起因する推定エラーが生じた領域を把握するために利用できる。
なお、無テクスチャ領域判定部１９は、評価値Ｋがテクスチャ閾値ＴＫを超える場合、テクスチャに起因する推定エラーが生じていないと判定することは言うまでもない。
【００８３】
［距離情報推定装置の動作］
図９を参照し、距離情報推定装置１の動作について説明する（適宜図３参照）。
距離情報推定装置１は、誤差関数計算部１０によって、距離候補ごとに、誤差関数閾値Ｔｄａｔａ以下となるように誤差関数Ｄｐを計算する。つまり、誤差関数計算部１０は、前記した式（５）及び式（６）を用いて、誤差関数Ｄｐを計算して、トランケーションを行う（ステップＳ１０）。
【００８４】
距離情報推定装置１は、スムーズ関数計算部１１によって、距離候補ごとに、スムーズ関数閾値Ｔｓｍｏｏｔｈ以下となるように、スムーズ関数Ｖを計算する。つまり、スムーズ関数計算部１１は、前記した式（７）を用いて、スムーズ関数Ｖを計算して、トランケーションを行う（ステップＳ１１）。
【００８５】
距離情報推定装置１は、メッセージ生成・伝搬部１２によって、図１と同様にエネルギー集合を生成する。そして、メッセージ生成・伝搬部１２は、前記した式（３）を用いて、エネルギー集合内における隣接画素間で、メッセージを生成して伝搬する（ステップＳ１２）。
【００８６】
距離情報推定装置１は、評価関数計算部１３によって、前記した式（４）を用いて、距離候補ごとに評価関数ｂｑを計算する（ステップＳ１３）。そして、距離情報推定装置１は、距離推定部１４によって、距離候補のうち、この評価関数ｂｑが最小となる距離を、距離情報として推定する（ステップＳ１４）。
【００８７】
距離情報推定装置１は、評価値Ｏ計算部１６によって、評価値Ｏを計算する。つまり、評価値Ｏ計算部１６は、前記した式（８）を用いて、メッセージの最大値とメッセージの最小値との差分をこの最大値で除算することで、評価値Ｏを計算する（ステップＳ１５）。
【００８８】
距離情報推定装置１は、オクルージョン領域判定部１７によって、評価値Ｏがオクルージョン閾値Ｔｏ以下であるか否かを判定し、評価値Ｏがオクルージョン閾値Ｔｏ以下の場合、オクルージョンに起因する推定エラーが生じたと判定する。（ステップＳ１６）。
【００８９】
距離情報推定装置１は、評価値Ｋ計算部１８によって、エネルギー分布の尖度である評価値Ｋを計算する。つまり、評価値Ｋ計算部１８は、前記した式（９）に示すように、距離候補の個数ｎｆと、メッセージと、メッセージの平均値ｂｑ￣と、メッセージの標準偏差σ（ｂｑ）とに基づいて、評価値Ｋを計算する（ステップＳ１７）。
【００９０】
距離情報推定装置１は、無テクスチャ領域判定部１９によって、評価値Ｋがテクスチャ閾値ＴＫ以下であるか否かを判定し、評価値Ｋがテクスチャ閾値ＴＫ以下の場合、テクスチャに起因する推定エラーが生じたと判定する（ステップＳ１８）。
【００９１】
以上のように、本発明の第１実施形態に係る距離情報推定装置１は、メッセージの最小値だけでなくメッセージの最大値も考慮して評価値Ｏを計算すると共に、エネルギー分布の尖度である評価値Ｋを計算する。そして、距離情報推定装置１は、オクルージョンやテクスチャに起因する推定エラーが生じた画素で、評価値Ｏ及び評価値Ｋが小さくなる性質を利用して、これら推定エラーを判定する。これによって、距離情報推定装置１は、オクルージョン及びテクスチャに起因する推定エラーの判定精度を向上させて、これら推定エラーが生じた領域を正確に提示することができる。
【００９２】
さらに、距離情報推定装置１は、図７，図８に示すように、トランケーションによって、メッセージの上限が設けられるため、評価関数ｂｑのばらつきが一定範囲に収まって、距離情報の精度を向上させることができる。
【００９３】
（第２実施形態）
［距離情報推定装置の構成］
図１０を参照し、本発明の第２実施形態に係る距離情報推定装置１Ｂの構成について、第１実施形態と異なる点を説明する。この距離情報推定装置１Ｂは、オクルージョン及びテクスチャに起因する推定エラーを抑制する点が、第１実施形態と異なる。このため、距離情報推定装置１Ｂは、テクスチャ推定エラー抑制部２０をさらに備える。
【００９４】
図１０に示すように、距離情報推定装置１Ｂは、左カメラＣＬ及び中央カメラＣＣの撮影画像である左ステレオ画像と、右カメラＣＲ及び中央カメラＣＣの撮影画像である右ステレオ画像とが入力される。
【００９５】
この中央カメラＣＣは、左カメラＣＬ及び右カメラＣＲと同様、静止画や動画を撮影可能な撮影カメラである。また、左カメラＣＬ及び右カメラＣＲは、それぞれ、中央カメラＣＣから一定間隔離して左右に配置される。ここでは、中央カメラＣＣを基準カメラとし、中央カメラＣＣの撮影画像を基準画像とし、左カメラＣＬ及び右カメラＣＲの撮影画像を参照画像とする。
【００９６】
誤差関数計算部１０と、スムーズ関数計算部１１と、メッセージ生成・伝搬部１２と、評価関数計算部１３と、距離推定部１４とは、左ステレオ画像及び右ステレオ画像それぞれの処理を行う以外、図３の各手段と同様であるため、詳細な説明を省略する。
【００９７】
ここで、後記するオクルージョンに起因する推定エラーの抑制には、左ステレオ画像及び右ステレオ画像の両方（以下、「両ステレオ画像」）から求めた評価関数ｂｑが必要になる。このため、評価関数計算部１３は、両ステレオ画像から求めた評価関数ｂｑを評価値Ｏ計算部１６Ｂに出力する。さらに、距離推定部１４は、両ステレオ画像から求めた距離情報（距離画像）を、評価値Ｏ計算部１６Ｂに出力する。
【００９８】
一方、後記するテクスチャに起因する推定エラーの抑制には、左ステレオ画像及び右ステレオ画像の何れか一方から求めた評価関数ｂｑがあればよい。従って、評価関数計算部１３は、左ステレオ画像から求めた評価関数ｂｑを、評価値Ｋ計算部１８に出力する。
【００９９】
評価値Ｏ計算部１６Ｂは、両ステレオ画像から評価値Ｏを計算して、オクルージョン領域判定部１７に出力する。また、評価値Ｏ計算部１６Ｂは、両ステレオ画像から計算した評価値Ｏと、両ステレオ画像の距離情報とを用いて、オクルージョンに起因する推定エラーを抑制する。
なお、評価値Ｏの計算は、図３の評価値Ｏ計算部１６と同様のため、説明を省略する。
【０１００】
具体的には、評価値Ｏ計算部１６Ｂは、基準画像の各画素について、左ステレオ画像から計算した評価値Ｏと、右ステレオ画像から計算した評価値Ｏとを比較する。この比較結果に基づいて、評価値Ｏ計算部１６Ｂは、両ステレオ画像の距離情報のうち、評価値Ｏが大きい側の距離情報を、その画素の距離情報として、テクスチャ推定エラー抑制部２０に出力する。すなわち、評価値Ｏ計算部１６Ｂは、オクルージョンに起因する推定エラーが生じた画素で評価値Ｏが小さくなることを利用して、距離推定部１４で生成された両ステレオ画像の距離情報を、この推定エラーを抑制した１つの距離情報に統合する。
【０１０１】
オクルージョン領域判定部１７は、図３と同様、両ステレオ画像のオクルージョン領域を出力するため、詳細な説明を省略する。
なお、このオクルージョン領域は、オクルージョンに起因する推定エラーの抑制に必要ではなく、参考情報として提示される。
【０１０２】
評価値Ｋ計算部１８は、図３と同様、左ステレオ画像についての評価値Ｋを計算するため、詳細な説明を省略する。
無テクスチャ領域判定部１９は、図３と同様、左ステレオ画像についての無テクスチャ領域を生成して、テクスチャ推定エラー抑制部２０に出力する。
【０１０３】
テクスチャ推定エラー抑制部２０は、評価値Ｏ計算部１６Ｂから距離情報が入力され、無テクスチャ領域判定部１９から無テクスチャ領域が入力される。そして、テクスチャ推定エラー抑制部２０は、この無テクスチャ領域を用いて、この距離情報から、テクスチャに起因する推定エラーを抑制するものである。
【０１０４】
図１１，図１２を参照して、テクスチャに起因する推定エラーの抑制について説明する（適宜図１０参照）。
説明を簡易にするため、図１１に示すように、土俵Ａの上で二人の被写体（力士）Ｏ１，Ｏ２が取組を行っている例をあげて説明する。この場合、図１０の中央カメラＣＣは、土俵Ａの正面中央に位置し、取組を行っている被写体Ｏ１，Ｏ２の側面方向（図１１の矢印方向）から基準画像Ｐを撮影したこととする。
【０１０５】
なお、図１１では、基準画像Ｐに含まれない土俵Ａと被写体Ｏ１，Ｏ２との一部を破線で図示した。また、図１１では、基準画像Ｐのうち、土俵Ａの奥側地面となる背景Ｂの領域が無テクスチャ領域ＴＸであり、ハッチングで図示した。この例では、テクスチャ推定エラー抑制部２０は、図１１のハッチング部分に対して、テクスチャに起因する推定エラーの抑制処理を行うことになる。
【０１０６】
ここで、中央カメラＣＣと、土俵Ａと、被写体Ｏ１，Ｏ２とを上側より見ると、これらの位置関係は、図１２のようになる。図１２では、土俵Ａ及び被写体Ｏ１，Ｏ２を破線で図示すると共に、後記する距離Ｄを一転鎖線で図示した。また、図１１のハッチング部分（無テクスチャ領域ＴＸ）は、球表面の一部を切り取った曲面形状になる（図１２の吹き出し）。
【０１０７】
まず、テクスチャ推定エラー抑制部２０は、左カメラＣＬと、中央カメラＣＣと、右カメラＣＲとの光軸ＬＡが交わる光軸交点ＣＥを、カメラキャリブレーションにより計算する。ここで、テクスチャ推定エラー抑制部２０は、全てのカメラで光軸交点ＣＥを求める必要がなく、基準画像を撮影する中央カメラＣＣが含まれていればよい。つまり、テクスチャ推定エラー抑制部２０は、中央カメラＣＣと左カメラＣＬとの組、又は、中央カメラＣＣと右カメラＣＲとの一方の組から、光軸交点ＣＥを求めてもよい。
【０１０８】
次に、テクスチャ推定エラー抑制部２０は、予め設定された半径ｒの仮想球ＶＣを、光軸交点ＣＥを中心に生成する。ここで、テクスチャ推定エラー抑制部２０は、全ての被写体（例えば、土俵Ａ、被写体Ｏ１，Ｏ２）が仮想球ＶＣに含まれるように、半径ｒが予め設定されている。そして、テクスチャ推定エラー抑制部２０は、中央カメラＣＣから仮想球ＶＣの奥側表面までの距離Ｄを計算し、この距離Ｄを、無テクスチャ領域ＴＸ内の各画素の距離情報として割り当てる。
【０１０９】
すなわち、無テクスチャ領域ＴＸ内の各画素の距離情報は、下記の計算式を用いて割り当てることができる。まず、テクスチャ推定エラー抑制部２０は、下記の（１０）及び式（１１）の連立方程式により、仮想球ＶＣと中央カメラＣＣの光軸ＬＡとの交点（Ｘ，Ｙ，Ｚ）を計算する。
【０１１０】
【数１０】
【０１１１】
【数１１】
【０１１２】
前記した式（１０）は、仮想球ＶＣを表した方程式である。ここで、ａ，ｂ，ｃが仮想球ＶＣの中心の世界座標（光軸交点ＣＥの世界座標）であり、ｒが仮想球ＶＣの半径である。
前記した式（１１）は、中央カメラＣＣの光学主点と無テクスチャ領域ＴＸ内の各画素とを通過する直線を表した方程式である。ここで、ｅ，ｇ，ｉが無テクスチャ領域ＴＸ内の各画の世界座標と光学主点の世界座標とにより計算される傾き（既知）であり、ｆ，ｈ，ｊが光学主点の世界座標（既知）である。
【０１１３】
そして、テクスチャ推定エラー抑制部２０は、下記の（１２）により、中央カメラＣＣから仮想球ＶＣの奥側表面までの距離Ｄを計算する。ここで、ｚは仮想球ＶＣの奥側表面までの距離Ｄであり、ｉ，ｊは基準画像の座標（既知）であり、Ａはカメラキャリブレーションにより計算される内部パラメータ（既知）であり、Ｒはカメラキャリブレーションにより計算される回転行列（既知）であり、Ｕはカメラキャリブレーションにより計算される並進行列（既知）である。
【０１１４】
【数１２】
【０１１５】
［距離情報推定装置の動作］
図１３を参照し、距離情報推定装置１Ｂの動作について説明する（適宜図１０参照）。
ステップＳ２０〜Ｓ２４の処理は、図９のステップＳ１０〜Ｓ１４と同様のため、説明を省略する。
【０１１６】
距離情報推定装置１Ｂは、評価値Ｏ計算部１６Ｂによって、無テクスチャ領域及び距離情報を用いて、オクルージョンに起因する推定エラーを抑制する。つまり、評価値Ｏ計算部１６Ｂは、両ステレオ画像から評価値Ｏを計算し、これら評価値Ｏを比較して、評価値Ｏが大きい側のステレオ画像から生成した距離情報を、基準画像での各画素の距離情報として出力する（ステップＳ２５）。
【０１１７】
ステップＳ２６〜Ｓ２８の処理は、図９のステップＳ１６〜Ｓ１８と同様のため、説明を省略する。
【０１１８】
距離情報推定装置１Ｂは、テクスチャ推定エラー抑制部２０によって、無テクスチャ領域を用いて、距離情報から、テクスチャに起因する推定エラーを抑制する。つまり、テクスチャ推定エラー抑制部２０は、左カメラＣＬと、中央カメラＣＣと、右カメラＣＲとの光軸交点ＣＥをカメラキャリブレーションにより計算する。そして、テクスチャ推定エラー抑制部２０は、半径ｒの仮想球ＶＣを、光軸交点ＣＥを中心に生成する。さらに、テクスチャ推定エラー抑制部２０は、中央カメラＣＣから仮想球ＶＣの奥側表面までの距離Ｄを計算して、無テクスチャ領域ＴＸ内の各画素の距離情報として割り当てる（ステップＳ２９）。
【０１１９】
以上のように、本発明の第２実施形態に係る距離情報推定装置１Ｂは、オクルージョン及びテクスチャに起因する推定エラーを抑制して、精度が高い距離情報を生成することができる。この距離情報を用いれば、例えば、奥行き感が高い、インテグラルフォトグラフィ（ＩＰ）方式の立体映像を生成することができる。
【０１２０】
（第３実施形態）
［距離情報推定装置の構成］
図１４を参照し、本発明の第３実施形態に係る距離情報推定装置１Ｃの構成について、第１実施形態と異なる点を説明する。この距離情報推定装置１Ｃは、メッセージ伝搬の際、隣接画素間で色が大きく異なるときにその伝搬を制限する点が、第１実施形態と異なる。このため、距離情報推定装置１Ｃは、メッセージ伝搬制限判定部（エネルギー伝搬判定部）２１をさらに備える。
【０１２１】
ここで、誤差関数計算部１０と、スムーズ関数計算部１１と、評価値計算部１５と、オクルージョン領域判定部１７と、無テクスチャ領域判定部１９とは、図３の各手段と同様であるため、詳細な説明を省略する。
【０１２２】
メッセージ伝搬制限判定部（エネルギー伝搬判定部）２１は、基準画像における隣接画素間の色情報の差分絶対値が予め設定された色情報閾値Ｔｃ以下であるか否かによって、隣接画素間でメッセージを伝搬できるか否かを判定するものである。
【０１２３】
このメッセージ伝搬制限判定部２１は、メッセージの伝搬の制限を判定するために、隣接画素間の色情報の差分絶対値に関する色情報閾値Ｔｃが予め設定される。このとき、色情報閾値Ｔｃの値が小さくなってメッセージ伝搬の制限が強くなると、重み係数λｄａｔａの値も小さくなってスムーズ関数の影響が大きくなるように、色情報閾値Ｔｃ及び重み係数λｄａｔａを予め設定することが好ましい。
【０１２４】
また、メッセージ伝搬制限判定部２１は、メッセージ伝搬元の画素ｓと処理対象の画素ｐとの色情報の差分絶対値が色情報閾値Ｔｃ以下であるか否かによって、メッセージ伝搬元の画素ｓと処理対象の画素ｐとの間でメッセージを伝搬できるか否かを判定する。具体的には、メッセージ伝搬制限判定部２１は、下記の式（１３）に示すように、画素ｓ，ｐの色情報の差分絶対値と色情報閾値Ｔｃとを比較することにより、メッセージ伝搬元の重み係数λｓ，ｐを計算する。
【０１２５】
【数１３】
【０１２６】
ここで、メッセージ伝搬制限判定部２１は、式（１３）に示すように、画素ｓ，ｐの色情報の差分絶対値が色情報閾値Ｔｃ以下の場合、画素ｓ，ｐ間でメッセージを伝搬できると判定し、重み係数λｓ，ｐを１として計算する。一方、メッセージ伝搬制限判定部２１は、画素ｓ，ｐの色情報の差分絶対値が色情報閾値Ｔｃを超える場合、画素ｓ，ｐ間でメッセージを伝搬できないと判定し、重み係数λｓ，ｐを０として計算する。そして、メッセージ伝搬制限判定部２１は、計算した重み係数λｓ，ｐをメッセージ生成・伝搬部１２Ｃに出力する。
【０１２７】
また、メッセージ伝搬制限判定部２１は、メッセージ伝搬先の画素ｑと処理対象の画素ｐとの色情報の差分絶対値が色情報閾値Ｔｃ以下であるか否かによって、メッセージ伝搬先の画素ｑと処理対象の画素ｐとの間でメッセージを伝搬できるか否かを判定する。具体的には、メッセージ伝搬制限判定部２１は、下記の式（１４）に示すように、画素ｐ，ｑの色情報の差分絶対値と色情報閾値Ｔｃとを比較することにより、メッセージ伝搬先の重み係数λｐ，ｑを計算する。
【０１２８】
【数１４】
【０１２９】
ここで、メッセージ伝搬制限判定部２１は、式（１４）に示すように、画素ｐ，ｑの色情報の差分絶対値が色情報閾値Ｔｃ以下の場合、画素ｐ，ｑ間でメッセージを伝搬できると判定し、重み係数λｐ，ｑを１として計算する。一方、メッセージ伝搬制限判定部２１は、画素ｐ，ｑの色情報の差分絶対値が色情報閾値Ｔｃを超える場合、画素ｐ，ｑ間でメッセージを伝搬できないと判定し、重み係数λｐ，ｑを０として計算する。そして、メッセージ伝搬制限判定部２１は、計算した重み係数λｐ，ｑを評価関数計算部１３Ｃに出力する。
【０１３０】
メッセージ生成・伝搬部１２Ｃは、メッセージ伝搬制限判定部２１からメッセージ伝搬元の重み係数λｓ，ｐが入力される。そして、メッセージ生成・伝搬部１２Ｃは、下記の式（１５）を用いて、メッセージを生成して伝搬する。
【０１３１】
【数１５】
【０１３２】
このとき、メッセージ生成・伝搬部１２Ｃは、式（１５）に示すように、画素ｐ，ｑの色情報の差分絶対値と色情報閾値Ｔｃとを比較して、メッセージを伝搬するか又は制限するかを判定する。具体的には、メッセージ生成・伝搬部１２Ｃは、画素ｐ，ｑの色情報の差分絶対値が色情報閾値Ｔｃ以下の場合、画素ｐから画素ｑへのメッセージを伝搬させる。一方、メッセージ生成・伝搬部１２Ｃは、色情報の差分絶対値が色情報閾値Ｔｃを超える場合、画素ｐから画素ｑへメッセージを伝搬させない。
【０１３３】
図１５，図１６を参照して、メッセージの伝搬の制限について詳細に説明する（適宜図１４参照）。この図１５，図１６では、図１と同様のエネルギー集合において、枠（白塗四角形）が明るい色の画素であり、ハッチングされた枠が暗い色の画素である。ここでは、明るい色の画素と暗い色の画素との色情報の差分絶対値が色情報閾値Ｔｃを超えることとして説明する。
【０１３４】
例えば、被写体と背景との境界といったように、隣接画素間で色が大きく異なる場合を考える。図１５（ａ）に示すように、画素ｓ，ｐで色が大きく異なる場合、距離情報推定装置１Ｃは、前記した式（１３）よりメッセージ伝搬元の重み係数λｓ，ｐを０として、これら２画素ｓ、ｐでのメッセージ伝搬を制限する。また、図１５（ｂ）に示すように、画素ｐ，ｑで色が大きく異なる場合、距離情報推定装置１Ｃは、前記した式（１４）よりメッセージ伝搬先の重み係数λｐ，ｑを０として、これら２画素ｐ、ｑでのメッセージ伝搬を制限する。
【０１３５】
一方、図１６（ａ）に示すように画素ｓ，ｐ，ｑの全てが明るい色、又は、図１６（ｂ）に示すように画素ｓ，ｐ，ｑの全てが暗い色の場合、距離情報推定装置１Ｃは、前記した式（１３）及び式（１４）より重み係数λｓ，ｐ，λｐ，ｑを１として、画素ｓ，ｐ，ｑ間でメッセージを伝搬する。
【０１３６】
つまり、距離情報推定装置１Ｃでは、メッセージ伝搬元の重み係数λｓ，ｐの値によって、画素ｓから画素ｐへのメッセージ伝搬を制御し、メッセージ伝搬先の重み係数λｐ，ｑの値によって、画素ｐから画素ｑへのメッセージ伝搬を制御する。
【０１３７】
評価関数計算部１３Ｃは、メッセージ伝搬制限判定部２１で計算された重み係数λｐ，ｑが入力され、下記の式（１６）で定義される評価関数ｂｑを計算する。そして、評価関数計算部１３Ｃは、計算した評価関数ｂｑを、距離推定部１４Ｃと、評価値Ｏ計算部１６と、評価値Ｋ計算部１８とに出力する。
【０１３８】
【数１６】
【０１３９】
距離推定部１４Ｃは、図３の距離推定部１４と同様、距離情報を推定する。
また、距離推定部１４Ｃは、ノイズ除去フィルタ１４ａを備える。このノイズ除去フィルタ１４ａは、距離推定部１４Ｃが推定した距離情報（距離画像）にメディアンフィルタ等のノイズ除去処理を施すものである。このようにして、ノイズの影響が少ない滑らかな距離情報を推定することができる。
【０１４０】
［距離情報推定装置の動作］
図１７を参照し、距離情報推定装置１Ｃの動作について説明する（適宜図１４参照）。
ステップＳ３０，Ｓ３１の処理は、図９のステップＳ１０〜Ｓ１１と同様のため、説明を省略する。
【０１４１】
距離情報推定装置１Ｃは、メッセージ伝搬制限判定部２１によって、隣接画素間の色情報の差分絶対値が色情報閾値Ｔｃ以下であるか否かによって、隣接画素間でメッセージを伝搬できるか否かを判定する。具体的には、メッセージ伝搬制限判定部２１は、前記した式（１３）に示すように、画素ｓ，ｐの色情報の差分絶対値と色情報閾値Ｔｃとを比較することにより、画素ｓ，ｐ間におけるメッセージ伝搬の判定結果として、メッセージ伝搬元の重み係数λｓ，ｐを計算する。さらに、メッセージ伝搬制限判定部２１は、前記した式（１４）に示すように、画素ｐ，ｑの色情報の差分絶対値と色情報閾値Ｔｃとを比較することにより、画素ｐ，ｑ間におけるメッセージ伝搬の判定結果として、メッセージ伝搬先の重み係数λｐ，ｑを計算する（ステップＳ３２）。
【０１４２】
距離情報推定装置１Ｃは、メッセージ生成・伝搬部１２Ｃによって、前記した式（１５）を用いて、メッセージを生成して伝搬する（ステップＳ３３）。
距離情報推定装置１Ｃは、評価関数計算部１３Ｃによって、前記した式（１６）で定義される評価関数ｂｑを計算する（ステップＳ３４）。
なお、ステップＳ３５〜Ｓ３９の処理は、図９のステップＳ１４〜Ｓ２８と同様のため、説明を省略する。
【０１４３】
以上のように、本発明の第３実施形態に係る距離情報推定装置１Ｃは、隣接画素間の色情報の差分絶対値が大きいときにメッセージの伝搬を制限する。これによって、距離情報推定装置１Ｃは、被写体の膨張を抑制して被写体の輪郭を鮮鋭化し、精度が高い距離情報を生成することができる。
【０１４４】
なお、各実施形態では、誤差関数とスムーズ関数とで規定される確率に関するエネルギーを最小化する手法の一例として信頼度伝搬法を説明したが、本発明は、これに限定されない。本発明では、この手法として、例えば、ビタビアルゴリズムを用いることもできる。
【０１４５】
なお、各実施形態では、距離指標情報として距離情報を推定することとして説明したが、本発明は、これに限定されない。つまり、本発明は、前記した距離候補を視差候補に置き換えれば、視差情報を推定する視差情報推定装置を実現することができる。
【０１４６】
なお、各実施形態では、評価値として評価値Ｋ，Ｏを計算することとして説明したが、本発明は、これに限定されない。
また、各実施形態では、評価値Ｋ，Ｏの両方を計算することとして説明したが、本発明は、評価値Ｋ，Ｏの何れか一方のみを計算してもよい。この場合、本発明は、テクスチャ又はオクルージョンに起因する推定エラーの何れか一方だけを抑制してもよい。
【０１４７】
（変形例１）
以下、図１８を参照して、本発明の変形例１に係る距離情報推定装置１Ｄについて説明する。
図１８に示すように、距離情報推定装置１Ｄは、図１０の距離情報推定装置１Ｂに、図１４のメッセージ伝搬制限判定部２１を付加したものである。従って、距離情報推定装置１Ｄは、オクルージョン及びテクスチャに起因する推定エラーを抑制すると共に被写体の膨張を抑制し、精度が高い距離情報を生成することができる。
なお、図１８の各手段は、図１０，図１４と同様であるため、詳細な説明を省略する。
【実施例】
【０１４８】
以下、本発明の実施例として、推定エラーの判定精度を実験した結果について説明する。
本実施例では、図３の距離情報推定装置１を用いて実験を行った。また、この距離情報推定装置１に入力するステレオ画像として、力士（被写体）の取組を撮影した画像を準備した。左カメラＣＬが撮影した基準画像を図１９（ａ）に示し、右カメラＣＲが撮影した参照画像を図１９（ｂ）に示す。このとき、左カメラＣＬ及び右カメラＣＲは、互いに２メートルだけ離した。また、左カメラＣＬから被写体までの距離が２５メートルであり、距離候補を２センチメートルごとに設定した。さらに、λｄａｔａを０．０７、誤差関数閾値Ｔｄａｔａを１５、スムーズ関数閾値Ｔｓｍｏｏｔｈを１．７に設定した。
【０１４９】
図１９のステレオ画像から、距離情報推定装置１が生成した距離画像を図２０（ａ）に示す。図２０（ａ）の距離画像には、オクルージョンに起因する推定エラーを生じた領域を赤色で図示した。また、テクスチャに起因する推定エラーを生じた領域を青色で図示した。
【０１５０】
図２０（ａ）の距離画像から、距離情報推定装置１が、評価値Ｏを用いてオクルージョン領域を出力した結果を、図２０（ｂ）に示す。図２０（ｂ）の画像において、輝度値の低い領域がオクルージョンに起因する推定エラー領域が生じた領域（オクルージョン領域）であり、図２０（ａ）の赤色領域とほとんど一致している。このことより、距離情報推定装置１は、オクルージョンに起因する推定エラーの判定精度が高いことが分かる。
【０１５１】
また、図２０（ａ）の距離画像に対し、距離情報推定装置１が、オクルージョンに起因する推定エラーの抑制処理を行った。この推定エラーを抑制した後の距離画像を図２１（ａ）に示す。ここで、図２１（ａ）の距離画像にも、図２０（ａ）と同様に赤色と、青色とを図示した。
【０１５２】
そして、図２１（ａ）の距離画像から、距離情報推定装置１が、評価値Ｋを用いて無テクスチャ領域を出力した結果を、図２１（ｂ）に示す。図２１（ｂ）の画像において、輝度値の低い領域がテクスチャに起因する推定エラー領域が生じた領域（例えば、土俵奥の地面）であり、図２１（ａ）の青色領域とほとんど一致している。このことより、距離情報推定装置１は、テクスチャに起因する推定エラーの判定精度が高いことが分かる。
【符号の説明】
【０１５３】
１，１Ｂ，１Ｃ，１Ｄ 距離情報推定装置（距離指標情報推定装置）
１０ 誤差関数計算部
１１ スムーズ関数計算部
１２，１２Ｃ メッセージ生成・伝搬部（エネルギー伝搬部）
１３，１３Ｃ 評価関数計算部
１４，１４Ｃ 距離推定部（距離指標推定部）
１４ａ ノイズ除去フィルタ
１５ 評価値計算部
１６，１６Ｂ 評価値Ｏ計算部
１７ オクルージョン領域判定部（オクルージョン推定エラー判定部）
１８ 評価値Ｋ計算部
１９ 無テクスチャ領域判定部（テクスチャ推定エラー判定部）
２０ テクスチャ推定エラー抑制部
２１ メッセージ伝搬制限判定部（エネルギー伝搬判定部）
【特許請求の範囲】
【請求項１】
ステレオ画像間の誤差関数と奥行き方向への距離又は視差である距離指標の連続性を示すスムーズ関数とで規定される確率に関するエネルギーを最小化する手法により、前記ステレオ画像の一方である基準画像の画素ごとの前記距離指標を示す距離指標情報を推定すると共に、前記距離指標情報の信頼度を示す評価値を計算する距離指標情報推定装置であって、
前記ステレオ画像が入力されると共に、予め設定された距離指標候補ごとに、予め設定された誤差関数閾値以下となるように、入力された前記ステレオ画像の類似度である前記誤差関数を計算する誤差関数計算部と、
前記距離指標候補ごとに、予め設定されたスムーズ関数閾値以下となるように、マルコフランダムフィールドにおける隣接画素間の前記距離指標候補の差分絶対値である前記スムーズ関数を計算するスムーズ関数計算部と、
前記誤差関数計算部で計算した誤差関数と前記スムーズ関数計算部で計算したスムーズ関数とを含む前記エネルギーが集合したエネルギー集合を生成し、当該エネルギー集合内における隣接画素間で、所定の漸化式によって前記エネルギーを生成して伝搬させることで、前記距離指標候補及び前記画素ごとの前記エネルギーを更新するエネルギー伝搬部と、
前記エネルギー伝搬部で更新されたエネルギーを示す評価関数を計算する評価関数計算部と、
前記距離指標候補のうち、前記評価関数計算部で計算された評価関数が最小となる距離指標を、前記距離指標情報として推定する距離指標推定部と、
少なくとも、前記評価関数におけるエネルギー分布の形状により、前記評価値を求める評価値計算部と、
を備えることを特徴とする距離指標情報推定装置。
【請求項２】
前記評価値計算部は、
前記エネルギーが最も高くなる最大値と前記エネルギーが最も低くなる最小値との差分を前記最大値で除算することで、前記評価値として、オクルージョンに起因する推定エラーを判定するためのオクルージョン評価値を計算するオクルージョン評価値計算部、
をさらに備えることを特徴とする請求項１に記載の距離指標情報推定装置。
【請求項３】
前記距離指標情報推定装置は、所定位置に配置された中央カメラと、前記中央カメラの左右に配置された左カメラ及び右カメラとの撮影画像が入力され、
前記オクルージョン評価値計算部は、
前記中央カメラ及び前記左カメラの前記撮影画像である左ステレオ画像と、前記中央カメラ及び前記右カメラの前記撮影画像である右ステレオ画像とについて、前記オクルージョン評価値をそれぞれ計算すると共に、
前記左ステレオ画像と前記右ステレオ画像との前記オクルージョン評価値を比較し、当該オクルージョン評価値が大きい側のステレオ画像から求められた距離指標を、前記中央カメラの撮影画像での各画素の前記距離指標情報として出力する
ことを特徴とする請求項２に記載の距離指標情報推定装置。
【請求項４】
前記オクルージョン評価値計算部で計算されたオクルージョン評価値が予め設定されたオクルージョン閾値以下であるか否かを判定し、当該オクルージョン評価値が当該オクルージョン閾値以下の場合、前記オクルージョンに起因する推定エラーが生じたと判定するオクルージョン推定エラー判定部、
をさらに備えることを特徴とする請求項２又は請求項３に記載の距離指標情報推定装置。
【請求項５】
前記誤差関数計算部は、前記基準画像における処理対象画素と、前記ステレオ画像の他方である参照画像で前記処理対象画素に対応する対応画素との色情報の差分絶対値を求め、当該差分絶対値を予め設定した原色数で除算して重み付ける前記誤差関数を計算することを特徴とする請求項１から請求項４の何れか一項に記載の距離指標情報推定装置。
【請求項６】
前記評価値計算部は、
前記エネルギー分布の尖度を、テクスチャに起因する推定エラーを判定するための前記評価値であるテクスチャ評価値として計算するテクスチャ評価値計算部、
をさらに備えることを特徴とする請求項１から請求項５の何れか一項に記載の距離指標情報推定装置。
【請求項７】
前記隣接画素間の色情報の差分絶対値が予め設定された色情報閾値以下であるか否かによって、前記隣接画素間で前記エネルギーを伝搬できるか否かを判定するエネルギー伝搬判定部をさらに備え、
前記エネルギー伝搬部は、前記エネルギー集合内で前記エネルギーを伝搬できると判定された隣接画素間で前記エネルギーを更新する
ことを特徴とする請求項１から請求項６の何れか一項に記載の距離指標情報推定装置。
【請求項８】
ステレオ画像間の誤差関数と奥行き方向への距離又は視差である距離指標の連続性を示すスムーズ関数とで規定される確率に関するエネルギーを最小化する手法により、前記ステレオ画像の一方である基準画像の画素ごとの前記距離指標を示す距離指標情報を推定すると共に、前記距離指標情報の信頼度を示す評価値を計算するために、コンピュータを、
前記ステレオ画像が入力されると共に、予め設定された距離指標候補ごとに、予め設定された誤差関数閾値以下となるように、入力された前記ステレオ画像の類似度である前記誤差関数を計算する誤差関数計算部、
前記距離指標候補ごとに、予め設定されたスムーズ関数閾値以下となるように、マルコフランダムフィールドにおける隣接画素間の前記距離指標候補の差分絶対値である前記スムーズ関数を計算するスムーズ関数計算部、
前記誤差関数計算部で計算した誤差関数と前記スムーズ関数計算部で計算したスムーズ関数とを含む前記エネルギーが集合したエネルギー集合を生成し、当該エネルギー集合内における隣接画素間で、所定の漸化式によって前記エネルギーを生成して伝搬させることで、前記距離指標候補及び前記画素ごとの前記エネルギーを更新するエネルギー伝搬部、
前記エネルギー伝搬部で更新されたエネルギーを示す評価関数を計算する評価関数計算部、
前記距離指標候補のうち、前記評価関数計算部で計算された評価関数が最小となる距離指標を、前記距離指標情報として推定する距離指標推定部、
少なくとも、前記評価関数におけるエネルギー分布の形状により、前記評価値を求める評価値計算部、
として機能させるための距離指標情報推定プログラム。
【請求項１】
ステレオ画像間の誤差関数と奥行き方向への距離又は視差である距離指標の連続性を示すスムーズ関数とで規定される確率に関するエネルギーを最小化する手法により、前記ステレオ画像の一方である基準画像の画素ごとの前記距離指標を示す距離指標情報を推定すると共に、前記距離指標情報の信頼度を示す評価値を計算する距離指標情報推定装置であって、
前記ステレオ画像が入力されると共に、予め設定された距離指標候補ごとに、予め設定された誤差関数閾値以下となるように、入力された前記ステレオ画像の類似度である前記誤差関数を計算する誤差関数計算部と、
前記距離指標候補ごとに、予め設定されたスムーズ関数閾値以下となるように、マルコフランダムフィールドにおける隣接画素間の前記距離指標候補の差分絶対値である前記スムーズ関数を計算するスムーズ関数計算部と、
前記誤差関数計算部で計算した誤差関数と前記スムーズ関数計算部で計算したスムーズ関数とを含む前記エネルギーが集合したエネルギー集合を生成し、当該エネルギー集合内における隣接画素間で、所定の漸化式によって前記エネルギーを生成して伝搬させることで、前記距離指標候補及び前記画素ごとの前記エネルギーを更新するエネルギー伝搬部と、
前記エネルギー伝搬部で更新されたエネルギーを示す評価関数を計算する評価関数計算部と、
前記距離指標候補のうち、前記評価関数計算部で計算された評価関数が最小となる距離指標を、前記距離指標情報として推定する距離指標推定部と、
少なくとも、前記評価関数におけるエネルギー分布の形状により、前記評価値を求める評価値計算部と、
を備えることを特徴とする距離指標情報推定装置。
【請求項２】
前記評価値計算部は、
前記エネルギーが最も高くなる最大値と前記エネルギーが最も低くなる最小値との差分を前記最大値で除算することで、前記評価値として、オクルージョンに起因する推定エラーを判定するためのオクルージョン評価値を計算するオクルージョン評価値計算部、
をさらに備えることを特徴とする請求項１に記載の距離指標情報推定装置。
【請求項３】
前記距離指標情報推定装置は、所定位置に配置された中央カメラと、前記中央カメラの左右に配置された左カメラ及び右カメラとの撮影画像が入力され、
前記オクルージョン評価値計算部は、
前記中央カメラ及び前記左カメラの前記撮影画像である左ステレオ画像と、前記中央カメラ及び前記右カメラの前記撮影画像である右ステレオ画像とについて、前記オクルージョン評価値をそれぞれ計算すると共に、
前記左ステレオ画像と前記右ステレオ画像との前記オクルージョン評価値を比較し、当該オクルージョン評価値が大きい側のステレオ画像から求められた距離指標を、前記中央カメラの撮影画像での各画素の前記距離指標情報として出力する
ことを特徴とする請求項２に記載の距離指標情報推定装置。
【請求項４】
前記オクルージョン評価値計算部で計算されたオクルージョン評価値が予め設定されたオクルージョン閾値以下であるか否かを判定し、当該オクルージョン評価値が当該オクルージョン閾値以下の場合、前記オクルージョンに起因する推定エラーが生じたと判定するオクルージョン推定エラー判定部、
をさらに備えることを特徴とする請求項２又は請求項３に記載の距離指標情報推定装置。
【請求項５】
前記誤差関数計算部は、前記基準画像における処理対象画素と、前記ステレオ画像の他方である参照画像で前記処理対象画素に対応する対応画素との色情報の差分絶対値を求め、当該差分絶対値を予め設定した原色数で除算して重み付ける前記誤差関数を計算することを特徴とする請求項１から請求項４の何れか一項に記載の距離指標情報推定装置。
【請求項６】
前記評価値計算部は、
前記エネルギー分布の尖度を、テクスチャに起因する推定エラーを判定するための前記評価値であるテクスチャ評価値として計算するテクスチャ評価値計算部、
をさらに備えることを特徴とする請求項１から請求項５の何れか一項に記載の距離指標情報推定装置。
【請求項７】
前記隣接画素間の色情報の差分絶対値が予め設定された色情報閾値以下であるか否かによって、前記隣接画素間で前記エネルギーを伝搬できるか否かを判定するエネルギー伝搬判定部をさらに備え、
前記エネルギー伝搬部は、前記エネルギー集合内で前記エネルギーを伝搬できると判定された隣接画素間で前記エネルギーを更新する
ことを特徴とする請求項１から請求項６の何れか一項に記載の距離指標情報推定装置。
【請求項８】
ステレオ画像間の誤差関数と奥行き方向への距離又は視差である距離指標の連続性を示すスムーズ関数とで規定される確率に関するエネルギーを最小化する手法により、前記ステレオ画像の一方である基準画像の画素ごとの前記距離指標を示す距離指標情報を推定すると共に、前記距離指標情報の信頼度を示す評価値を計算するために、コンピュータを、
前記ステレオ画像が入力されると共に、予め設定された距離指標候補ごとに、予め設定された誤差関数閾値以下となるように、入力された前記ステレオ画像の類似度である前記誤差関数を計算する誤差関数計算部、
前記距離指標候補ごとに、予め設定されたスムーズ関数閾値以下となるように、マルコフランダムフィールドにおける隣接画素間の前記距離指標候補の差分絶対値である前記スムーズ関数を計算するスムーズ関数計算部、
前記誤差関数計算部で計算した誤差関数と前記スムーズ関数計算部で計算したスムーズ関数とを含む前記エネルギーが集合したエネルギー集合を生成し、当該エネルギー集合内における隣接画素間で、所定の漸化式によって前記エネルギーを生成して伝搬させることで、前記距離指標候補及び前記画素ごとの前記エネルギーを更新するエネルギー伝搬部、
前記エネルギー伝搬部で更新されたエネルギーを示す評価関数を計算する評価関数計算部、
前記距離指標候補のうち、前記評価関数計算部で計算された評価関数が最小となる距離指標を、前記距離指標情報として推定する距離指標推定部、
少なくとも、前記評価関数におけるエネルギー分布の形状により、前記評価値を求める評価値計算部、
として機能させるための距離指標情報推定プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【公開番号】特開２０１３−７７１３１（Ｐ２０１３−７７１３１Ａ）
【公開日】平成２５年４月２５日（２０１３．４．２５）
【国際特許分類】
【出願番号】特願２０１１−２１６２３７（Ｐ２０１１−２１６２３７）
【出願日】平成２３年９月３０日（２０１１．９．３０）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り （１）社団法人映像情報メディア学会から２０１１年８月１日に発行された刊行物「映像情報メディア学会２０１１年年次大会講演予稿集」において発表 （２）社団法人映像情報メディア学会が２０１１年８月２４日〜２６日に開催した「２０１１年映像情報メディア学会年次大会」において２０１１年８月２４日に文書をもって発表
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成２３年度、総務省、情報通信研究機構「革新的な三次元映像技術による超臨場感コミュニケーション技術の研究開発」委託事業、産業技術力強化法第１９条の適用を受ける特許出願
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
【公開日】平成２５年４月２５日（２０１３．４．２５）
【国際特許分類】
【出願日】平成２３年９月３０日（２０１１．９．３０）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り （１）社団法人映像情報メディア学会から２０１１年８月１日に発行された刊行物「映像情報メディア学会２０１１年年次大会講演予稿集」において発表 （２）社団法人映像情報メディア学会が２０１１年８月２４日〜２６日に開催した「２０１１年映像情報メディア学会年次大会」において２０１１年８月２４日に文書をもって発表
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成２３年度、総務省、情報通信研究機構「革新的な三次元映像技術による超臨場感コミュニケーション技術の研究開発」委託事業、産業技術力強化法第１９条の適用を受ける特許出願
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
[ Back to top ]