奥行推定装置、奥行推定方法および奥行推定プログラム
【課題】本発明は、被写体が一様なテクスチャを持つため対応点が複数存在する場合や、一部の色が異なる被写体の場合であっても、偽マッチングおよびオクルージョンの有無を正しく判定し、奥行値の誤推定を低減する奥行推定装置を提供する。
【解決手段】奥行推定装置１は、映像入力手段１０と、対応画素差分値を演算する対応画素差分演算手段２０と、近傍画素の画素値を出力する近傍画素値出力手段３０と、近傍画素の奥行値を出力する近傍奥行値出力手段４０と、近傍画素の奥行値に対応する近傍奥行対応画素値を出力する近傍奥行対応画素値出力手段５０と、最小差分値または平均差分値を選択差分値として決定する差分値決定手段６０と、平滑化を行う平滑化手段８０と、平滑化差分値の全画素での和が最小となる仮定奥行値を、基準映像の各画素の奥行値とする奥行値決定手段９０とを備える。
【解決手段】奥行推定装置１は、映像入力手段１０と、対応画素差分値を演算する対応画素差分演算手段２０と、近傍画素の画素値を出力する近傍画素値出力手段３０と、近傍画素の奥行値を出力する近傍奥行値出力手段４０と、近傍画素の奥行値に対応する近傍奥行対応画素値を出力する近傍奥行対応画素値出力手段５０と、最小差分値または平均差分値を選択差分値として決定する差分値決定手段６０と、平滑化を行う平滑化手段８０と、平滑化差分値の全画素での和が最小となる仮定奥行値を、基準映像の各画素の奥行値とする奥行値決定手段９０とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のカメラで被写体を撮影した映像から、多視点映像用の被写体の奥行値を推定する奥行推定装置、奥行推定方法および奥行推定プログラムに関する。
【背景技術】
【０００２】
近年、複数のカメラで同一の被写体を撮影した複数の映像（多視点映像）を用いて、立体映像や自由視点映像を生成、符号化する研究が進められている。これらの立体映像や自由視点映像を生成、符号化する技術では、基本的に、複数のカメラで被写体を撮影したカメラ映像の視差量を利用することで、被写体までの奥行値を求めている（特許文献１等参照）。
【０００３】
この特許文献１には、図２０に示すように、複数のカメラ（Ｃ１，Ｃ２，Ｃ３）で撮影された視差方向に異なるカメラ映像を、時間方向に符号化する技術が開示されている。
この符号化の際に、特許文献１に記載されている発明は、複数のカメラ（Ｃ１，Ｃ２，Ｃ３）で撮影されたカメラ映像（Ｆ１，Ｆ２，Ｆ３）間で、映像内の被写体の奥行値を仮定し、基準となるカメラ（例えば、Ｃ２）で撮影されたカメラ映像（Ｆ２）内のブロックに含まれる画素値と、カメラの位置関係と奥行値とから定まる他のカメラ（例えば、Ｃ１，Ｃ３）で撮影されたカメラ映像（Ｆ１，Ｆ３）内の対応ブロックに含まれる画素値との差分絶対値が最小となる奥行値を求めている。
【０００４】
このように、従来の手法は、複数のカメラ映像において、複数の仮定した奥行値に対応する画素値の差分絶対値が最小となる画素が、それぞれのカメラ映像の対応する画素であり、また、そのときの仮定した奥行値が当該画素の奥行値であると推定していた。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−３６８００号公報（段落〔０１１８〕〜〔０１１２〕）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
前記したように、複数のカメラ映像において、複数の仮定した奥行値に対応する画素値の差分絶対値が最小となる画素を探索し、当該画素の奥行値を推定する手法では、以下に示す問題がある。
例えば、被写体の重なりによって、複数のカメラ映像間で対応点が存在しない場合や、画素値の変化が少ない一様な被写体において、複数のカメラ映像間に、画素値が近似する複数の誤った対応点が存在する場合がある。これらの場合、従来の手法では、単に、画素値の差分絶対値が最小となる画素を探索するため、誤った対応点を探索（偽マッチング）してしまう場合がある。さらに、従来の手法では、被写体のテクスチャが一様な場合には誤った対応点を探索（偽マッチング）することがあり、一部の色が異なる被写体の場合にはオクルージョンの有無を誤って判定することがある。
【０００７】
本発明は、このような問題点に鑑みてなされたものであり、複数のカメラ映像間で対応点が存在しない場合、一様な被写体で複数のカメラ映像間における対応点が複数存在する場合であっても、奥行値の誤推定を低減することが可能な奥行推定装置、奥行推定方法および奥行推定プログラムを提供することを課題とする。
さらに、本発明は、被写体のテクスチャが一様な場合や、一部の色が異なる被写体の場合であっても、奥行値の誤推定を低減することが可能な奥行推定装置、奥行推定方法および奥行推定プログラムを提供することを課題とする。
【課題を解決するための手段】
【０００８】
本発明は、前記課題を解決するために創案されたものであり、まず、本願第１発明に係る奥行推定装置は、予め定めた位置に複数配列したカメラで同一の被写体を撮影した複数のカメラ映像から、前記被写体の奥行きを示す奥行値を推定する奥行推定装置であって、映像入力手段と、対応画素差分演算手段と、近傍画素値出力手段と、近傍奥行対応画素値出力手段と、差分値決定手段と、記憶手段と、平滑化手段と、奥行値決定手段と、近傍奥行値出力手段とを備える構成とした。
【０００９】
かかる構成において、奥行推定装置は、映像入力手段によって、前記複数配列した前記カメラの何れかにおいて、予め定めた基準カメラで前記被写体を撮影した基準映像と、前記基準カメラ以外の隣接カメラで前記被写体を撮影した複数の隣接映像とを入力する。この隣接映像は、基準映像からの視差を計測するための映像であり、例えば、基準カメラに対して左右に位置する２台の隣接カメラで撮影された映像である。
【００１０】
そして、奥行推定装置は、対応画素差分演算手段によって、前記奥行値を仮定した仮定奥行値および前記基準映像の注目画素ごとに、前記注目画素の画素値と、当該注目画素の前記仮定奥行値の視差に対応する画素位置にある前記複数の隣接映像の対応画素の画素値との差分絶対値である対応画素差分値を演算する。この仮定奥行値は、基準映像の画素に対応する被写体の奥行値を仮定した値であって、例えば、最小視差（“０”）から最大視差までの値とする。この対応画素差分演算手段によって、基準映像の注目画素の画素値と、隣接映像の仮定奥行値に対応した対応画素値との差分絶対値が算出される。なお、この差分絶対値（隣接映像の対応画素差分値）は、その値が小さい程、仮定奥行値が実際の被写体において同一の対応点を指し示している可能性が高いと言える。
【００１１】
そして、奥行推定装置は、近傍画素値出力手段によって、前記映像入力手段に入力された基準映像において、前記基準映像の注目画素の画素値と、予め定めた近傍画素数だけ前記注目画素から左右に離れた画素位置にある近傍画素の画素値とを出力する。さらに、奥行推定装置は、近傍奥行対応画素値出力手段によって、前記仮定奥行値および前記注目画素ごとに、前記基準映像に対して左右の隣接映像から、前記近傍画素の奥行値の視差に対応する画素位置にある近傍奥行対応画素の画素値を出力する。
【００１２】
そして、奥行推定装置は、差分値決定手段によって、前記仮定奥行値および前記注目画素ごとに、前記対応画素差分値の平均値である平均差分値と、前記対応画素差分値の最小値である最小差分値を求め、前記注目画素の画素値と前記近傍画素の画素値と前記近傍画素の奥行値と前記近傍奥行対応画素の画素値とに基づいて、前記最小差分値または前記平均差分値の何れかを、予め定めた条件により選択差分値として決定する。さらに、奥行推定装置は、記憶手段によって、前記差分値決定手段で決定した選択差分値を前記仮定奥行値と前記基準映像の画素位置とに対応付けて記憶する。
【００１３】
なお、正しい奥行値に対する選択差分値であれば、その値は小さくなり、ノイズ等によって、ある隣接映像の対応画素差分値が誤った値をとった場合であっても、複数の対応画素差分値を平均化することで、全体として選択差分値が小さくなる。
また、奥行推定装置は、オクルージョンが有ることで、ある対応画素差分値が大きな値となった場合や、一様な被写体のために対応点が複数ある場合であっても、予め定めた条件により、平均差分値と最小差分値とから、最適な値を選択する。つまり、奥行推定装置は、最小差分値、すなわち、オクルージョンが無い側の差分値を、選択差分値として選択する。
【００１４】
ここで、被写体のテクスチャが一様な場合や、一部の色が異なる被写体の場合、注目画素と同一の基準映像から取得した近傍画素の画素値や奥行値を利用するだけでは、奥行値の推定精度が低くなってしまう。このため、奥行推定装置は、隣接画像から取得した近傍奥行対応画素を利用する。
【００１５】
そして、奥行推定装置は、平滑化手段によって、前記注目画素ごとに、当該注目画素の選択差分値に、当該注目画素に隣接する画素の選択差分値が最小となる仮定奥行値と前記注目画素の選択差分値が最小となる仮定奥行値との差分を重み付け加算することで、前記選択差分値を平滑化した平滑化差分値を演算すると共に、前記平滑化差分値の総和である平滑化評価値を演算する。
これによって、基準映像の全画素で平滑化手段が平滑化を施すため、奥行値が同じ被写体の中では滑らかに変化するようになり、奥行値の誤推定が低減される。
【００１６】
そして、奥行推定装置は、奥行値決定手段によって、前記記憶手段に記憶された選択差分値に対応する仮定奥行値を当該仮定奥行値と異なる奥行値が仮定された第２仮定奥行値に代えることで前記平滑化評価値に相当する再計算評価値を演算し、当該再計算評価値が前記平滑化手段によって演算された平滑化評価値未満の場合、前記第２仮定奥行値を前記基準映像の各画素の奥行値として決定し、当該再計算評価値が前記平滑化評価値未満でない場合、前記記憶手段に記憶された選択差分値に対応する仮定奥行値を前記基準映像の各画素の奥行値として決定する。この第２仮定奥行値は、仮定奥行値と同様、基準映像の画素に対応する被写体の奥行値を仮定した値であって、例えば、最小視差量（“０”）から最大視差量までの値とする。
つまり、奥行値決定手段は、既に算出した仮定奥行値の他に、平滑化評価値が最小となる第２仮定奥行値が存在するかを再度演算し、この第２仮定奥行値が存在する場合には第２仮定奥行値を仮定奥行値として決定する。これによって、仮定奥行値がより正確になる。
【００１７】
また、本願第２発明に係る奥行推定装置は、前記差分値決定手段が、前記近傍画素同士の奥行値の差分絶対値が予め定めた第１の閾値以下の場合、または、前記近傍画素同士の画素値の差分絶対値が予め定めた第２の閾値以下の場合、前記平均差分値を前記選択差分値として決定することを特徴とする。
【００１８】
かかる構成において、奥行推定装置は、差分値決定手段によって、近傍画素の画素値や奥行値の差が小さい場合、注目画素の近傍に前景と背景との境界がないと判定し、平均差分値を選択差分値として選択する。これによって、奥行推定装置は、より正しい選択差分値を選択することができる。
【００１９】
また、本願第３発明に係る奥行推定装置は、前記差分値決定手段が、前記近傍画素同士の奥行値の差分絶対値が予め定めた第１の閾値を超え、かつ、前記近傍画素同士の画素値の差分絶対値が予め定めた第２の閾値を越える場合、前記基準映像に対する左右の隣接映像のそれぞれから、前記近傍奥行対応画素の画素値と前記注目画素の画素値との差分絶対値を演算すると共に、左右の前記近傍画素のうち小さい方の奥行値を有する側の前記近傍奥行対応画素の画素値と前記注目画素の画素値との差分絶対値が、当該小さい方と反対側の前記近傍奥行対応画素の画素値と前記注目画素の画素値との差分絶対値より小さい場合、前記最小差分値を前記選択差分値として決定することを特徴とする。
【００２０】
かかる構成において、奥行推定装置は、差分値決定手段によって、注目画素の画素値が、反対側の近傍奥行対応画素の画素値より、背景がある側の近傍奥行対応画素の画素値に近い場合、オクルージョンが有ると判定し、最小差分値を選択差分値として選択する。これによって、奥行推定装置は、より正しい選択差分値を選択することができる。
【００２１】
また、本願第４発明に係る奥行推定装置は、前記差分値決定手段が、前記近傍画素同士の奥行値の差分絶対値が予め定めた第１の閾値を超え、かつ、前記近傍画素同士の画素値の差分絶対値が予め定めた第２の閾値を越える場合、前記基準映像に対する左右の隣接映像のそれぞれから、前記近傍奥行対応画素の画素値と前記注目画素の画素値との差分絶対値を演算すると共に、左右の前記近傍画素のうち小さい方の奥行値を有する側の前記近傍奥行対応画素の画素値と前記注目画素の画素値との差分絶対値が、当該小さい方と反対側の前記近傍奥行対応画素の画素値と前記注目画素の画素値との差分絶対値より小さくない場合、前記平均差分値を前記選択差分値として決定することを特徴とする。
【００２２】
かかる構成において、奥行推定装置は、差分値決定手段によって、注目画素の画素値が、背景がある側の近傍奥行対応画素の画素値より、反対側の近傍奥行対応画素の画素値に近い場合、オクルージョンが無いと判定し、平均差分値を選択差分値として選択する。これによって、奥行推定装置は、より正しい選択差分値を選択することができる。
【００２３】
また、本願第５発明に係る奥行推定装置は、前記差分値決定手段が、前記奥行値の推定回数が１回目の場合、前記平均差分値を前記選択差分値として決定し、前記奥行値の推定回数が２回目以降の場合、前記予め定めた条件により前記選択差分値を決定することを特徴とする。
【００２４】
かかる構成において、奥行推定装置は、１回目の奥行推定では、平均差分値を選択差分値として決定することで、偽マッチングを防止して、テクスチャが一様の被写体であっても正しい奥行値を推定する。そして、奥行推定装置は、得られた奥行値を用いて２回目以降の奥行推定を行うことで、オクルージョンの有無を正確に判定することができる。
【００２５】
また、本願第６発明に係る奥行推定装置は、前記対応画素差分演算手段が、前記基準映像の左右に位置する隣接映像から前記対応画素が外れる場合、前記基準映像に対して、前記対応画素が外れる側の隣接画像に反対側の隣接映像と、当該反対側の隣接映像にさらに隣接する隣接映像とにおいて、前記対応画素の画素値の差分絶対値を前記対応画素差分値として演算することを特徴とする。
【００２６】
かかる構成において、奥行推定装置は、対応画素差分演算手段によって、基準映像内の注目画素に対応する対応画素が映像内にある２つの隣接映像を用いて、対応画素差分値を演算する。これによって、奥行推定装置は、偽マッチングを防止することができる。
【００２７】
また、本願第７発明に係る奥行推定装置は、前記近傍奥行値出力手段が、前記近傍画素同士の奥行値の差分絶対値が予め定めた閾値（第１の閾値）以下の場合、前記近傍画素数を半分とし、前記注目画素から当該近傍画素数だけ左右に離れた画素位置の近傍画素の奥行値を出力することを特徴とする。
【００２８】
かかる構成において、奥行推定装置は、大きな視差量を持つために基準映像内では遠くに離れた被写体であっても、オクルージョンの有無を判定すると共に、オクルージョンが無いと判定された場合であっても、近傍画素までの距離を半分にして、隣接映像でのオクルージョンの有無を再度判定することになる。これによって、奥行推定装置は、左右の幅が狭い被写体（例えば、柱）であっても、隣接映像でのオクルージョンの有無を正しく判定することができる。
【００２９】
また、本願第８発明に係る奥行推定方法は、予め定めた位置に複数配列したカメラで同一の被写体を撮影した複数のカメラ映像から、前記被写体の奥行きを示す奥行値を推定する奥行推定方法であって、映像入力ステップと、対応画素差分演算ステップと、差分値決定ステップと、平滑化ステップと、奥行値決定ステップとを備え、差分値決定ステップが、近傍画素値出力ステップと、近傍奥行値出力ステップと、近傍奥行対応画素値出力ステップとを備える手順とした。
【００３０】
かかる手順において、奥行推定方法は、映像入力ステップにおいて、映像入力手段が、前記複数配列した前記カメラの何れかにおいて、予め定めた基準カメラで前記被写体を撮影した基準映像と、前記基準カメラ以外の隣接カメラで前記被写体を撮影した複数の隣接映像とを入力する。そして、奥行推定方法は、対応画素差分演算ステップにおいて、対応画素差分演算手段が、前記奥行値を仮定した仮定奥行値および前記基準映像の注目画素ごとに、前記注目画素の画素値と、当該注目画素の前記仮定奥行値の視差に対応する画素位置にある前記複数の隣接映像の対応画素の画素値との差分絶対値である対応画素差分値を演算する。
【００３１】
そして、奥行推定方法は、差分値決定ステップにおいて、差分値決定手段が、前記仮定奥行値および前記注目画素ごとに、前記対応画素差分値の平均値である平均差分値と、前記対応画素差分値の最小値である最小差分値を求め、前記注目画素の画素値と前記近傍画素の画素値と前記近傍画素の奥行値と前記近傍奥行対応画素の画素値とに基づいて、前記最小差分値または前記平均差分値の何れかを、予め定めた条件により選択差分値として決定して、当該選択差分値を前記仮定奥行値と前記基準映像の画素位置とに対応付けて記憶手段に書き込む。
【００３２】
そして、奥行推定方法は、平滑化ステップにおいて、平滑化手段が、前記注目画素ごとに、当該注目画素の選択差分値に、当該注目画素に隣接する画素の選択差分値が最小となる仮定奥行値と前記注目画素の選択差分値が最小となる仮定奥行値との差分を重み付け加算することで、前記選択差分値を平滑化した平滑化差分値を演算すると共に、前記平滑化差分値の総和である平滑化評価値を演算する。
【００３３】
そして、奥行推定方法は、奥行値決定ステップにおいて、奥行値決定手段が、前記記憶手段に記憶された選択差分値に対応する仮定奥行値を当該仮定奥行値と異なる奥行値が仮定された第２仮定奥行値に代えることで前記平滑化評価値に相当する再計算評価値を演算し、当該再計算評価値が前記平滑化手段によって演算された平滑化評価値未満の場合、前記第２仮定奥行値を前記基準映像の各画素の奥行値として決定し、当該再計算評価値が前記平滑化評価値未満でない場合、前記記憶手段に記憶された選択差分値に対応する仮定奥行値を前記基準映像の各画素の奥行値として決定する。
【００３４】
そして、奥行推定方法は、近傍奥行値出力ステップにおいて、近傍奥行値出力手段が、前記近傍画素の奥行値を出力する。さらに、奥行推定方法は、近傍画素値出力ステップにおいて、近傍画素値出力手段が、前記基準映像における前記基準映像の注目画素の画素値と、予め定めた近傍画素数だけ前記注目画素から左右に離れた画素位置にある近傍画素の画素値とを出力する。
【００３５】
そして、奥行推定方法は、近傍奥行対応画素値出力ステップにおいて、近傍奥行対応画素値出力手段が、前記仮定奥行値および前記注目画素ごとに、前記基準映像に対して左右の隣接映像から、前記近傍画素の奥行値の視差に対応する画素位置にある近傍奥行対応画素の画素値を出力する。
【００３６】
また、本願第９発明に係る奥行推定プログラムは、予め定めた位置に複数配列したカメラで同一の被写体を撮影した複数のカメラ映像から、前記被写体の奥行きを示す奥行値を推定するために、コンピュータを、映像入力手段、対応画素差分演算手段、近傍画素値出力手段、近傍奥行対応画素値出力手段、差分値決定手段、平滑化手段、奥行値決定手段、近傍奥行値出力手段として機能させる構成とした。
【００３７】
かかる構成において、奥行推定プログラムは、映像入力手段によって、前記複数配列した前記カメラの何れかにおいて、予め定めた基準カメラで前記被写体を撮影した基準映像と、前記基準カメラ以外の隣接カメラで前記被写体を撮影した複数の隣接映像とを入力する。そして、奥行推定プログラムは、対応画素差分演算手段によって、前記奥行値を仮定した仮定奥行値および前記基準映像の注目画素ごとに、前記注目画素の画素値と、当該注目画素の前記仮定奥行値の視差に対応する画素位置にある前記複数の隣接映像の対応画素の画素値との差分絶対値である対応画素差分値を演算する。
【００３８】
そして、奥行推定プログラムは、近傍画素値出力手段によって、前記映像入力手段に入力された基準映像において、当該基準映像の注目画素の画素値と、予め定めた近傍画素数だけ前記注目画素から左右に離れた画素位置にある近傍画素の画素値とを出力する。さらに、奥行推定プログラムは、近傍奥行対応画素値出力手段によって、前記仮定奥行値および前記注目画素ごとに、前記基準映像に対して左右の隣接映像から、前記近傍画素の奥行値の視差に対応する画素位置にある近傍奥行対応画素の画素値を出力する。
【００３９】
そして、奥行推定プログラムは、差分値決定手段によって、前記仮定奥行値および前記注目画素ごとに、前記対応画素差分値の平均値である平均差分値と、前記対応画素差分値の最小値である最小差分値を求め、前記注目画素の画素値と前記近傍画素の画素値と前記近傍画素の奥行値と前記近傍奥行対応画素の画素値とに基づいて、前記最小差分値または前記平均差分値の何れかを、予め定めた条件により選択差分値として決定して、当該選択差分値を前記仮定奥行値と前記基準映像の画素位置とに対応付けて記憶手段に書き込む。
【００４０】
そして、奥行推定プログラムは、平滑化手段によって、前記注目画素ごとに、当該注目画素の選択差分値に、当該注目画素に隣接する画素の選択差分値が最小となる仮定奥行値と前記注目画素の選択差分値が最小となる仮定奥行値との差分を重み付け加算することで、前記選択差分値を平滑化した平滑化差分値を演算すると共に、前記平滑化差分値の総和である平滑化評価値を演算して、当該平滑化差分値を前記仮定奥行値と前記基準映像の画素位置とに対応付けて記憶手段に書き込む。
【００４１】
そして、奥行推定プログラムは、奥行値決定手段によって、前記記憶手段に記憶された選択差分値に対応する仮定奥行値を当該仮定奥行値と異なる奥行値が仮定された第２仮定奥行値に代えることで前記平滑化評価値に相当する再計算評価値を演算し、当該再計算評価値が前記平滑化手段によって演算された平滑化評価値未満の場合、前記第２仮定奥行値を前記基準映像の各画素の奥行値として決定し、当該再計算評価値が前記平滑化評価値未満でない場合、前記記憶手段に記憶された選択差分値に対応する仮定奥行値を前記基準映像の各画素の奥行値として決定する。さらに、奥行推定プログラムは、近傍奥行値出力手段によって、前記奥行値決定手段から基準映像の各画素の奥行値が入力されると共に、前記近傍画素の奥行値を前記近傍奥行対応画素値出力手段および前記差分値決定手段に出力する。
【発明の効果】
【００４２】
本発明は、以下に示す優れた効果を奏するものである。
本願第１，８，９発明によれば、一部の色が異なる被写体にオクルージョンが有る場合であっても、注目画素の画素値と近傍奥行対応画素の画素値との比較によって、被写体の色の違いにかかわらず、オクルージョンの有無を判定する。オクルージョンが有ると判定された場合、本願第１，８，９発明によれば、最小差分値、すなわち、オクルージョンが無い側の差分値を、選択差分値として正しく選択できる。
【００４３】
また、本願第１，８，９発明によれば、テクスチャが一様な被写体のために偽マッチングが生じる場合であっても、注目画素の画素値と近傍奥行対応画素の画素値との比較によって、オクルージョンの有無を判定する。オクルージョンが無いと判定された場合、本願第１，８，９発明によれば、偽マッチングを防止するため、平均差分値を選択差分値として選択する。このように、正しい選択差分値を選択できるため、本願第１，８，９発明によれば、奥行値の誤推定を低減することができる。
【００４４】
本願第２発明によれば、注目画素が被写体の境界付近になく、オクルージョンが無い場合、平均差分値を選択差分値として選択することにより、偽マッチングを防止する。これによって、本願第２発明によれば、より正しい選択差分値を選択し、奥行値の推定精度をより向上させることができる。
【００４５】
本願第３発明によれば、左右の対応画素でオクルージョンが有る場合、左右の差分絶対値のうち、オクルージョンが無い側の選択差分値を選択する。これによって、本願第３発明によれば、正しい選択差分値を選択し、奥行値の推定精度をより向上させることができる。
【００４６】
本願第４発明によれば、注目画素が被写体の境界付近にあっても、隣接映像でオクルージョンが無い場合、平均差分値を選択差分値として選択することにより、偽マッチングを防止する。これによって、本願第３発明によれば、正しい選択差分値を選択し、奥行値の推定精度をより向上させることができる。
【００４７】
本願第５発明によれば、１回目の奥行推定では、平均差分値を選択することで、偽マッチングを防止して、テクスチャが一様の被写体であっても正しい奥行値を推定できる。さらに、本願第５発明によれば、この推定した奥行値を用いて、２回目以降の奥行推定を行うことで、オクルージョンの有無を正確に判定することができ、奥行値の推定精度をより向上させることができる。
【００４８】
本願第６発明によれば、注目画素が基準映像の端に位置して、左右の隣接映像から対応画素が外れる場合であっても、対応画素が外れない別の隣接映像を用いて、対応画素の差分絶対値を演算する。これによって、本願第６発明によれば、偽マッチングを防止し、奥行値の推定精度をより向上させることができる。
【００４９】
本願第７発明によれば、非常に大きな視差を持つ被写体であっても、隣接映像でオクルージョンが有る可能性のある画素位置での近傍奥行対応画素の画素値を調べるので、オクルージョンの有無を正しく判定できる。また、本願第７発明によれば、幅の細い被写体であっても、隣接画素までの距離を変えてオクルージョンの有無を判定するので、この被写体を見逃すことが少ない。このように、本願第７発明によれば、オクルージョンの有無を正しく判定すると共に、非常に大きな視差を持つ被写体を見逃すことが少なく、奥行値の推定精度をより向上させることができる。
【図面の簡単な説明】
【００５０】
【図１】本発明の第１実施形態に係る奥行推定システムの構成を示すブロック図である。
【図２】本発明の第１実施形態に係る奥行推定装置の構成を示すブロック図である。
【図３】本発明において、オクルージョンが有るが仮定奥行値が正しい場合において、注目画素と左右の対応画素との関係を説明するための説明図である。
【図４】本発明において、対応画素が左右の隣接映像から外れる場合を説明するための説明図である。
【図５】本発明において、注目画素と近傍画素との関係を説明するための説明図である。
【図６】本発明において、近傍画素の奥行値を説明するための説明図である。
【図７】本発明において、近傍画素の奥行値に対応する近傍奥行対応画素を説明するための説明図である。
【図８】図２の奥行推定装置の全体動作を示すフローチャートである。
【図９】図２の奥行推定装置の対応画素差分演算動作を示すフローチャートである。
【図１０】図２の奥行推定装置の差分値決定動作を示すフローチャーである。
【図１１】図２の奥行推定装置の近傍奥行値出力動作を示すフローチャーである。
【図１２】図２の奥行推定装置の差分値選択動作を示すフローチャーである。
【図１３】図２の奥行推定装置の近傍画素値出力動作を示すフローチャーである。
【図１４】図２の奥行推定装置の近傍奥行対応画素値出力動作を示すフローチャーである。
【図１５】図２の奥行推定装置の平滑化動作を示すフローチャートである。
【図１６】図２の奥行推定装置の奥行値決定動作を示すフローチャートである。
【図１７】本発明の第２実施形態に係る奥行推定システムの構成を示すブロック図である。
【図１８】本発明の第２実施形態に係る奥行推定装置の構成を示すブロック図である。
【図１９】図１８の奥行推定装置の対応画素差分演算動作を示すフローチャートである。
【図２０】従来の奥行推定手法を説明するための説明図である。
【発明を実施するための形態】
【００５１】
以下、本発明の各実施形態について、適宜図面を参照しながら詳細に説明する。なお、各実施形態において、同一の機能を有する手段には同一の符号を付し、説明を省略した。
【００５２】
（第１実施形態）
［奥行推定システムの全体構成］
以下、本発明の第１実施形態について図面を参照して説明する。
図１を参照して、本発明の第１実施形態に係る奥行推定装置１を含んだ奥行推定システムＳの全体構成について説明する。奥行推定システムＳは、複数配列したカメラＣＭで被写体Ｔを撮影した多視点映像から、被写体Ｔの奥行値Ｄ（図２参照）を推定した奥行映像ＦＺを生成するものである。図１に示した奥行推定システムＳは、カメラＣＭ（ＣＬＬ，ＣＬ，ＣＣ，ＣＲ，ＣＲＲ）と、奥行推定装置１とを備えている。なお、複数のカメラＣＬＬ，ＣＬ，ＣＣ，ＣＲ，ＣＲＲをまとめて、カメラＣＭと記載する。
【００５３】
カメラＣＭは、被写体Ｔを撮影する一般的な撮影装置である。ここでは、水平方向の視差に応じて奥行値Ｄを生成することとし、視差の基準となるカメラ（基準カメラ）ＣＣに対し、水平方向に予め定めた距離Ｌだけ互いに等間隔で離間して、カメラ（隣接カメラ）ＣＬＬ，ＣＬ，ＣＲ，ＣＲＲを平行に配置している。このカメラＣＭ（ＣＬＬ，ＣＬ，ＣＣ，ＣＲ，ＣＲＲ）で撮影された映像（ＦＬＬ，ＦＬ，ＦＣ，ＦＲ，ＦＲＲ）は、奥行推定装置１に入力される。
なお、この距離Ｌは、奥行値Ｄと視差量とが対応可能な範囲であれば、その距離は任意である。また、被写体Ｔは、例えば、背景Ａおよび前景Ｂを含んでいる。
【００５４】
カメラＣＣは、視差の基準となる映像（基準映像ＦＣ）を撮影するものである。また、カメラＣＬ，ＣＲは、それぞれカメラＣＣの左右に配置されたカメラであって、基準映像ＦＣとの視差を求めるための映像（隣接映像ＦＬ，ＦＲ）を撮影するものである。さらに、カメラＣＲＲは、カメラＣＲの右に配置されたカメラであって、隣接映像ＦＬに代わって対応画素を求めるための隣接映像ＦＲＲを撮影するものである。さらに、カメラＣＬＬは、カメラＣＬの左に配置されたカメラであって、隣接映像ＦＲに代わって対応画素を求めるための隣接映像ＦＬＬを撮影するものである。
【００５５】
なお、垂直方向の視差に応じて奥行値Ｄを生成する場合であれば、カメラＣＭの配置は、垂直方向に離間させて配置すればよい。
また、カメラＣＭが撮影する映像（ＦＬＬ，ＦＬ，ＦＣ，ＦＲ，ＦＲＲ）は、静止画であっても動画であっても構わない。動画である場合、カメラＣＭは、互いにフレーム同期を行うことで、順次、静止画のフレーム画像として奥行推定装置１に入力されることとする。あるいは、フレーム画像ごとにタイムコードを付加し、奥行推定装置１で同期をとることとしてもよい。
【００５６】
奥行推定装置１は、予め定めた位置に複数配列したカメラで同一の被写体を撮影した複数のカメラ映像から、被写体Ｔの奥行きを示す奥行値を推定するものである。ここでは、奥行推定装置１は、水平方向に配列したカメラＣＭ（ＣＬＬ，ＣＬ，ＣＣ，ＣＲ，ＣＲＲ）で被写体Ｔを撮影したカメラ映像（ＦＬＬ，ＦＬ，ＦＣ，ＦＲ，ＦＲＲ）から、被写体Ｔの奥行きを示す奥行値Ｄを推定する。なお、ここでは、奥行推定装置１は、奥行値Ｄを、映像の各画素値に対応付けることで奥行映像ＦＺを生成することとする。
【００５７】
［奥行推定装置の構成］
図２を参照して、本発明の第１実施形態に係る奥行推定装置１の構成について説明する（適宜図１参照）。図２に示すように、奥行推定装置１は、映像入力手段１０と、対応画素差分演算手段２０と、近傍画素値出力手段３０と、近傍奥行値出力手段４０と、近傍奥行対応画素値出力手段５０と、差分値決定手段６０と、記憶手段７０と、平滑化手段８０と、奥行値決定手段９０とを備える。
【００５８】
映像入力手段１０は、カメラＣＭで撮影された複数のカメラ映像を入力するものである。ここでは、映像入力手段１０は、予め定めた基準カメラＣＣで撮影した基準映像ＦＣと、隣接カメラＣＬＬ，ＣＬ，ＣＲ，ＣＲＲで撮影した隣接映像ＦＬＬ，ＦＬ，ＦＲ，ＦＲＲとを入力する。
この映像入力手段１０で入力した各映像（ＦＬＬ，ＦＬ，ＦＣ，ＦＲ，ＦＲＲ）は、図示を省略したメモリに記憶され、後記する対応画素差分演算手段２０、近傍画素値出力手段３０、および、近傍奥行対応画素値出力手段５０によって参照されるものとする。
【００５９】
ここで、注目画素ＰＣにオクルージョンが有る場合の基準映像ＦＣと左右の隣接映像ＦＬ，ＦＲの見え方について説明を補足する。図３に示すように、注目画素ＰＣが、右側の前景Ｂに接近した背景Ａの上にある場合、基準映像ＦＣと隣接映像ＦＬでは注目点ＰＣが見える。その一方、隣接映像ＦＲでは，前景Ｂに隠れて注目点ＰＣが見えず、代わりに前景Ｂ上の対応点ＰＲが見えている。従って、左側の対応画素ＰＬと注目画素ＰＣとの対応画素差分値（マッチング誤差）を選択すれば、正しい対応画素差分値を取得できる。その一方、右側の対応画素ＰＲの対応画素差分値を選択した場合、または、左右の対応画素差分値の平均値を選択した場合、誤った対応画素差分値を取得することになり、奥行値を誤推定してしまう。そこで、奥行推定装置１は、注目画素ＰＣの左右近傍の奥行値と画素値とを調べ、注目画素ＰＣにオクルージョンの有無を判定することにより、マッチング誤差を正しく選択する。
【００６０】
以下、図２に戻り、奥行推定装置の構成の説明を続ける（適宜、図３参照）。
対応画素差分演算手段２０は、仮定奥行値ｄ（図３参照）および注目画素ＰＣごとに、基準映像ＦＣの注目画素ＰＣの画素値と、当該注目画素ＰＣの仮定奥行値ｄの視差に対応する隣接映像ＦＬ，ＦＲの対応画素ＰＬ，ＰＲ（図３参照）の画素値との差分絶対値である隣接映像の対応画素差分値ＥＣＬ，ＥＣＲを演算するものである。ここで、隣接映像の対応画素差分値ＥＣＬは、基準映像ＦＣと隣接映像ＦＬとの間で演算された差分絶対値であり、隣接映像の対応画素差分値ＥＣＲは、基準映像ＦＣと隣接映像ＦＲとの間で演算された差分絶対値である。
【００６１】
なお、画素値の差分絶対値は、カメラ映像（ＦＬ，ＦＣ，ＦＲ）が、輝度（輝度値）と色差信号（色差値）との各要素で構成される場合、当該画素の輝度値の差分絶対値と、色差値の差分絶対値とを加算平均した値とする。このとき、色差値の差分絶対値に任意の係数を掛けて、色成分の重みを調整することとしてもよい。
また、画素値の差分絶対値は、カメラ映像（ＦＬ，ＦＣ，ＦＲ）が、ＲＧＢのカラー信号で構成される場合、カラー信号の要素であるＲ値の差分絶対値と、Ｇ値の差分絶対値と、Ｂ値の差分絶対値とを加算平均した値とする。
【００６２】
また、仮定奥行値ｄは、被写体Ｔの奥行値Ｄを仮に設定する値であって、最小視差量から最大視差量ＤＭに対応する奥行値Ｄまでの値をとる。例えば、奥行値Ｄを８ビットのデータで表す場合、仮定奥行値ｄは、“０”（最小視差量）〜“２５５”（最大視差量）の範囲の値をとる。また、ここでは、対応画素差分演算手段２０は、最小視差量（例えば、“０”）から最大視差量（例えば、“２５５”）に対応する奥行値Ｄまで、順次、仮定奥行値ｄを設定し、当該仮定奥行値ｄの視差に対応する対応画素と間の画素値の差分を対応画素差分値として演算する。また、ここでは、奥行値Ｄの単位と画素間の視差の単位とを同一とし、奥行値Ｄが“１”増加することで、１画素ずつ視差が増加することとする。
【００６３】
対応画素差分演算手段２０は、基準映像ＦＣの（ｘ，ｙ）座標（注目画素ＰＣ）における画素値をＰＣ（ｘ，ｙ）、基準映像ＦＣの（ｘ，ｙ）座標の仮定奥行値ｄに対応する隣接映像ＦＬの（ｘ＋ｄ，ｙ）座標（対応画素ＰＬ）の画素値をＰＬ（ｘ＋ｄ，ｙ）、隣接映像ＦＲの（ｘ−ｄ，ｙ）座標（対応画素ＰＲ）の画素値をＰＲ（ｘ−ｄ，ｙ）としたとき、以下の（１）式によって、対応画素差分値ＥＣＬ（ｄ，ｘ，ｙ），ＥＣＲ（ｄ，ｘ，ｙ）を算出する。なお、「｜｜」は、絶対値を示す。
ＥＣＬ（ｄ，ｘ，ｙ）＝｜ＰＬ（ｘ＋ｄ，ｙ）−ＰＣ（ｘ，ｙ）｜
ＥＣＲ（ｄ，ｘ，ｙ）＝｜ＰＲ（ｘ−ｄ，ｙ）−ＰＣ（ｘ，ｙ）｜ …（１）式
【００６４】
ここで、図４を参照し、隣接映像ＦＬから対応画素ＰＬが外れる場合、対応画素差分値ＥＣＬ，ＥＣＲの演算方法について説明する（適宜図２参照）。図４に示すように、隣接映像ＦＬから対応画素ＰＬが外れてしまうと、左側の対応画素差分値ＥＣＬが求まらず、右側の対応画素差分値ＥＣＲのみを用いて、奥行値を推定しなければならない。このとき，注目画素ＰＣの近傍に存在する被写体Ｔが一様なテクスチャの場合、対応画素差分値ＥＣＲは、どの仮定奥行値ｄでも近似した値となってしまい、正しい奥行値を推定できない。この場合、基準映像ＦＣに対して、対応画素ＰＬが外れた側の隣接映像ＦＬと反対側の右の隣接映像ＦＲ，FＲＲでは、対応画素ＰＲ，ＰＲＲが外れないと考えられる。そこで、対応画素差分演算手段２０は、これら隣接映像ＦＲ，FＲＲの対応画素ＰＲ，ＰＲＲを用いて、対応画素差分値ＥＣＬ，ＥＣＲを算出する。
【００６５】
まず、対応画素差分演算手段２０は、隣接映像ＦＬ，ＦＲから対応画素ＰＬ，ＰＲが外れていないか否かを判定する。具体的には、対応画素差分演算手段２０は、注目画素ＰＣのｘ座標値を仮定奥行値ｄだけ左に移動させた対応画素ＰＲの画素位置（ｘ−ｄ）が、０以上であるか否かを判定する。つまり、対応画素差分演算手段２０は、以下の（２）式によって、対応画素ＰＲが隣接映像ＦＲから外れていないか否かを判定する。
ｘ−ｄ≧０ …（２）式
【００６６】
また、対応画素差分演算手段２０は、注目画素ＰＣのｘ座標値を仮定奥行値ｄだけ右に移動させた対応画素ＰＬの画素位置（ｘ＋ｄ）が、予め設定した映像幅（例えば、１９２０ピクセル）未満であるか否かを判定する。つまり、対応画素差分演算手段２０は、以下の（３）式によって、対応画素ＰＬが隣接映像ＦＬから外れていないか否かを判定する。
ｘ＋ｄ＜映像幅 …（３）式
【００６７】
図４の例では、隣接映像ＦＬから対応画素ＰＬが外れているため、（３）式を満たさない。この場合、対応画素差分演算手段２０は、以下の（４）式によって、対応画素差分値ＥＣＬ，ＥＣＲを演算する。
ＥＣＬ（ｄ，ｘ，ｙ）＝｜ＰＲＲ（ｘ−２ｄ，ｙ）−ＰＣ（ｘ，ｙ）｜
ＥＣＲ（ｄ，ｘ，ｙ）＝｜ＰＲ（ｘ−ｄ，ｙ）−ＰＣ（ｘ，ｙ）｜ …（４）式
【００６８】
図示を省略したが、右隣接映像ＦＲから対応画素ＰＲが外れる場合、（２）式を満たさない。この場合、対応画素差分演算手段２０は、以下の（５）式によって、対応画素差分値ＥＣＬ，ＥＣＲを演算する。
ＥＣＬ（ｄ，ｘ，ｙ）＝｜ＰＬ（ｘ＋ｄ，ｙ）−ＰＣ（ｘ，ｙ）｜
ＥＣＲ（ｄ，ｘ，ｙ）＝｜ＰＬＬ（ｘ＋２ｄ，ｙ）−ＰＣ（ｘ，ｙ）｜ …（５）式
【００６９】
また、対応画素差分演算手段２０は、隣接映像ＦＬ，ＦＲから対応画素ＰＬ，ＰＲが外れていない場合、すなわち、（２）式および（３）式を両方満たす場合、（１）式によって対応画素差分値ＥＣＬ，ＥＣＲを算出する。これによって、奥行推定装置１は、隣接映像ＦＬ，ＦＲから対応画素ＰＬ，ＰＲが外れる場合でも、反対側の２つの隣接映像ＦＲ，ＦＲＲ，ＦＬ，ＦＬＬを用いて、対応画素差分値ＥＣＬ，ＥＣＲを算出することができ、奥行値の誤推定を低減することができる。
【００７０】
そして、対応画素差分演算手段２０は、仮定奥行値ｄ（最小視差量〜最大視差量）ごとの対応画素差分値ＥＣＬ，ＥＣＲを差分値決定手段６０に出力する。なお、対応画素差分演算手段２０は、演算対象となる注目画素ＰＣの画素位置（ｘ，ｙ）および仮定奥行値ｄを順次更新して、対応画素差分値ＥＣＬ，ＥＣＲを演算する。
【００７１】
以下、図５を参照して、近傍画素値出力手段３０を説明する（適宜図２参照）。
近傍画素値出力手段３０は、映像入力手段１０から基準映像ＦＣを入力し、以下の（６）式によって、注目画素ＰＣ（ｘ，ｙ）の画素値ＰＣと、注目画素ＰＣ（ｘ，ｙ）から近傍画素数ｓだけ左に離れた画素位置ＰＣ（ｘ−ｓ，ｙ）にある近傍画素の画素値ＰＳＬと、注目画素ＰＣ（ｘ，ｙ）から近傍画素数ｓだけ右に離れた画素位置ＰＣ（ｘ＋ｓ，ｙ）にある近傍画素の画素値ＰＳＲとを取得する。
ＰＣ＝ＰＣ（ｘ，ｙ）
ＰＳＬ＝ＰＣ（ｘ−ｓ，ｙ）
ＰＳＲ＝ＰＣ（ｘ＋ｓ，ｙ） …（６）式
【００７２】
そして、近傍画素値出力手段３０は、注目画素ＰＣ（ｘ，ｙ）の画素値ＰＣと、画素位置ＰＣ（ｘ−ｓ，ｙ）にある近傍画素の画素値ＰＳＬと、画素位置ＰＣ（ｘ＋ｓ，ｙ）にある近傍画素の画素値ＰＳＲとを、差分値決定手段６０に出力する。
【００７３】
なお、注目画素ＰＣとは、基準映像ＦＣにおいて奥行値Ｄを推定する対象となっている画素である。
また、近傍画素ＰＳＬおよび近傍画素ＰＳＲは、図５に示すように、注目画素ＰＣを中心として、半径が近傍画素数ｓの円周上に位置する画素である。この近傍画素数ｓは、例えば、正しくオクルージョンの有無が判定できるように、初期値として最大視差量ＤＭに対応する画素数を設定する。なお、以後の各図では、左側の近傍画素を左近傍画素と図示し、右側の近傍画素を右近傍画素と図示することがある。
【００７４】
以下、図６を参照して、近傍奥行値出力手段４０を説明する。（適宜図２参照）。
近傍奥行値出力手段４０は、後記する奥行値決定手段９０から各画素の奥行値Ｄ（ｘ，ｙ）が入力され、以下の（７）式によって、注目画素ＰＣから近傍画素数ｓだけ左に離れた近傍画素ＰＳＬの奥行値ＤＬ＝Ｄ(ｘ−ｓ，ｙ)と、注目画素ＰＣから近傍画素数ｓだけ右に離れた近傍画素ＰＳＲの奥行値Ｄ＝ＤＲ(ｘ＋ｓ，ｙ)とを取得するものである。なお、以後の各図では、近傍画素の奥行値を近傍奥行値と図示し、左側の近傍画素の奥行値を左近傍奥行値と図示し、右側の近傍画素の奥行値を右近傍奥行値と図示することがある。
ＤＬ＝Ｄ(ｘ−ｓ，ｙ)
ＤＲ＝Ｄ(ｘ＋ｓ，ｙ) …（７）式
【００７５】
また、近傍奥行値出力手段４０は、以下の（８）式によって、左奥行値ＤＬと右奥行値ＤＲとの差分絶対値｜ＤＬ−ＤＲ|が、所定の閾値ｔｈ１を超えるか否かを判定する。なお、閾値ｔｈ１は、最大視差量ＤＭ（例えば、“２５５”）から最小視差量（例えば、“０”）を引いた値に所定の係数（例えば、“０．２”）を掛けた値として予め設定する。
｜ＤＬ−ＤＲ|＞ｔｈ１ …（８）式
【００７６】
差分絶対値｜ＤＬ−ＤＲ|が閾値ｔｈ１を超えない場合、近傍奥行値出力手段４０は、以下の（９）式のように近傍画素数ｓを半分にして、前記した（７）式より、近傍画素ＰＳＬの奥行値ＤＬ＝Ｄ(ｘ−ｓ，ｙ)と、近傍画素ＰＳＲの奥行値ＤＲ＝Ｄ(ｘ＋ｓ，ｙ)とを再度取得する。なお、（９）式では、“＝”は、右辺の値で左辺の値を置き換えることを意味する。
ｓ＝ｓ／２ …（９）式
【００７７】
そして、近傍奥行値出力手段４０は、取得した近傍画素ＰＳＬの奥行値ＤＬ＝Ｄ(ｘ−ｓ，ｙ)と、近傍画素ＰＳＲの奥行値ＤＲ＝Ｄ(ｘ＋ｓ，ｙ)とを、近傍奥行対応画素値出力手段５０および差分値決定手段６０に出力する。このように、最大視差量ＤＭだけ離れた画素位置の奥行値を求めることで、奥行推定装置１は、隣接映像ＦＬ，ＦＲでオクルージョンが有る可能性がある前景Ａを正しく判定することができる。つまり、差分値決定手段６０は、最大視差量ＤＭを近傍画素数ｓの初期値として用いるので、オクルージョンが有る可能性のある被写体Ｔを見逃すことがない。さらに、近傍画素数ｓを半分にして、奥行値を再度求めることで、奥行推定装置１は、判定が困難であった幅が狭い前景Ａであっても、オクルージョンの有無を判定することができる。
【００７８】
なお、１回目の奥行推定では、奥行値Ｄが求められないことになる。この場合、奥行推定装置１は、全ての画素の奥行値Ｄを初期値（例えば、“０”）に予め設定する。つまり、１回目の奥行推定を行う場合、近傍奥行値出力手段４０は、この初期値を奥行値ＤＬ，ＤＲとして近傍奥行対応画素値出力手段５０および差分値決定手段６０に出力する。一方、２回目以降の奥行推定では、近傍奥行値出力手段４０は、前回の奥行推定で求めた各画素の奥行値Ｄが奥行値決定手段９０から入力されるので、正しい近傍画素ＰＳＬの奥行値ＤＬと、正しい近傍画素ＰＳＲの奥行値ＤＲとを出力できる。
【００７９】
以下、図７を参照して、近傍奥行対応画素値出力手段５０について説明する（適宜図２参照）。なお、以後の各図では、左側の近傍奥行対応画素を左近傍奥行対応画素と図示し、右側の近傍奥行対応画素を右奥行対応画素と図示することがある。
【００８０】
近傍奥行対応画素値出力手段５０は、映像入力手段１０から基準映像ＦＣおよび隣接映像ＦＬ，ＦＲが入力され、近傍奥行値出力手段４０から近傍画素ＰＳＬの奥行値ＤＬおよび近傍画素ＰＳＲの奥行値ＤＲが入力される。そして、近傍奥行対応画素値出力手段５０は、以下の（１０）式によって、左右の隣接映像ＦＬ，ＦＲから、奥行値ＤＬの視差に対応する画素位置にある近傍奥行対応画素ＰＬ(ｘ＋ＤＬ，ｙ)，ＰＲ(ｘ−ＤＬ，ｙ)の画素値ＰＬＤＬ，ＰＲＤＬを算出する。また、近傍奥行対応画素値出力手段５０は、（１０）式によって、左右の隣接映像ＦＬ，ＦＲから、奥行値ＤＲの視差に対応する画素位置にある近傍奥行対応画素ＰＬ(ｘ＋ＤＲ，ｙ)，ＰＲ(ｘ−ＤＲ，ｙ)の画素値ＰＬＤＲ，ＰＲＤＲを算出する。
ＰＬＤＬ＝ＰＬ(ｘ＋ＤＬ，ｙ)
ＰＬＤＲ＝ＰＬ(ｘ＋ＤＲ，ｙ)
ＰＲＤＬ＝ＰＲ(ｘ−ＤＬ，ｙ)
ＰＲＤＲ＝ＰＲ(ｘ−ＤＲ，ｙ) …（１０）式
【００８１】
そして、近傍奥行対応画素値出力手段５０は、近傍奥行対応画素ＰＬ(ｘ＋ＤＬ，ｙ)，ＰＲ(ｘ−ＤＬ，ｙ)の画素値ＰＬＤＬ，ＰＲＤＬと、近傍奥行対応画素ＰＬ(ｘ＋ＤＲ，ｙ)，ＰＲ(ｘ−ＤＲ，ｙ)の画素値ＰＬＤＲ，ＰＲＤＲとを差分値決定手段６０に出力する。
【００８２】
以下、図２に戻り、奥行推定装置１の構成について説明を続ける。
差分値決定手段６０は、基準映像ＦＣの注目画素ＰＣおよび仮定奥行値ｄごとに、最小差分値Ｅｍと平均差分値Ｅａとを求めるものである。そして、差分値決定手段６０は、求めた最小差分値Ｅｍ、または平均差分値Ｅａの何れかを、予め設定された条件により選択差分値として決定する。
【００８３】
ここでは、差分値決定手段６０は、平均差分値演算手段６０ａと、最小差分値選択手段６０ｂと、差分値選択手段６０ｃと、を備えている。
【００８４】
平均差分値演算手段６０ａは、基準映像ＦＣの注目画素ＰＣおよび仮定奥行値ｄごとに、対応画素差分演算手段２０から入力された対応画素差分値ＥＣＬ，ＥＣＲの平均値（平均差分値Ｅａ）を演算するものである。
すなわち、平均差分値演算手段６０ａは、以下の（１１）によって、基準映像ＦＣの（ｘ，ｙ）座標の仮定奥行値ｄに対応する平均差分値Ｅａ（ｄ，ｘ，ｙ）を算出する。
Ｅａ（ｄ，ｘ，ｙ）＝｛ＥＣＬ（ｄ，ｘ，ｙ）＋ＥＣＲ（ｄ，ｘ，ｙ）｝／２
…（１１）式
【００８５】
そして、平均差分値演算手段６０ａは、演算により求めた仮定奥行値ｄ（“０”〜最大視差量）ごとの平均差分値Ｅａを、差分値選択手段６０ｃに出力する。
【００８６】
最小差分値選択手段６０ｂは、基準映像ＦＣの注目画素ＰＣおよび仮定奥行値ｄごとに、対応画素差分演算手段２０から入力された対応画素差分値ＥＣＬ，ＥＣＲのうちで、値が小さい方（最小差分値Ｅｍ）を選択するものである。
すなわち、最小差分値選択手段６０ｂは、以下の（１２）式によって、基準映像ＦＣの（ｘ，ｙ）座標の仮定奥行値ｄに対応する隣接映像の対応画素差分値ＥＣＬ（ｄ，ｘ，ｙ）と、隣接映像の対応画素差分値ＥＣＲ（ｄ，ｘ，ｙ）とを比較し、値が小さい方を最小差分値Ｅｍとして選択する。なお、式（１２）において、ｍｉｎは、“｛｝”内に記述された対応画素差分値ＥＣＬ，ＥＣＲのうち、値が小さい方を選択する関数である。
Ｅｍ（ｄ，ｘ，ｙ）＝ｍｉｎ｛ＥＣＬ（ｄ，ｘ，ｙ），ＥＣＲ（ｄ，ｘ，ｙ）｝
…（１２）式
【００８７】
そして、最小差分値選択手段６０ｂは、選択した仮定奥行値ｄ（“０”〜最大視差量）ごとの最小差分値Ｅｍを、差分値選択手段６０ｃに出力する。
【００８８】
差分値選択手段６０ｃは、基準映像ＦＣの注目画素ＰＣおよび仮定奥行値ｄごとに、近傍画素値出力手段３０から入力された注目画素ＰＣ（ｘ，ｙ）の画素値ＰＣと、画素位置ＰＣ（ｘ−ｓ，ｙ）にある近傍画素の画素値ＰＳＬと、画素位置ＰＣ（ｘ＋ｓ，ｙ）にある近傍画素の画素値ＰＳＲと、近傍奥行値出力手段４０から入力された近傍画素ＰＳＬの奥行値ＤＬと、近傍画素ＰＳＲの奥行値ＤＲと，近傍奥行対応画素値出力手段５０から入力された近傍奥行対応画素の画素値ＰＬＤＬ，ＰＲＤＬ，ＰＬＤＲ，ＰＲＤＲとに基づいて、最小差分値選択手段６０ｂから入力された最小差分値Ｅｍ、または平均差分値演算手段６０ａから入力された平均差分値Ｅａの何れかを、選択差分値Ｅとして選択するものである。
【００８９】
まず、差分値選択手段６０ｃは、奥行値Ｄを推定した回数を示す奥行推定回数ｎが１回目であるか、２回目以降であるかを判定する。奥行推定回数ｎが１回目の場合（ｎ＝１）、差分値選択手段６０ｃは、以下の（１３）式によって、平均差分値Ｅａ（ｄ，ｘ，ｙ)を選択差分値Ｅ（ｄ，ｘ，ｙ)として選択する。
Ｅ（ｄ，ｘ，ｙ）＝Ｅａ（ｄ，ｘ，ｙ） …（１３）式
【００９０】
奥行推定回数ｎが２回目以降の場合（ｎ≧２）、差分値選択手段６０ｃは、以下の（１４）式によって、左右の近傍画素の奥行値ＤＬ，ＤＲの差分絶対値｜ＤＬ−ＤＲ|が閾値ｔｈ１を超え、かつ、左右の近傍画素ＰＳＬ，ＰＳＲの画素値の差分絶対値ＥＬＲが閾値ｔｈ２を超えるか否かを判定する。なお、閾値ｔｈ２は、最大画素値（例えば、“２５５”）に所定の係数（例えば、“０．１”）を掛けた値として予め設定する。
｜ＤＬ−ＤＲ｜＞ｔｈ１ ＡＮＤ
ＥＬＲ＝｜ＰＳＬ−ＰＳＲ｜＞ｔｈ２ …（１４）式
【００９１】
（１４）式が成立しない場合、注目画素ＰＣの左右近傍に被写体Ｔの境界（つまり、背景Ａと前景Ｂとの境界がない可能性が高い。この場合、差分値選択手段６０ｃは、前記した（１３）式によって、平均差分値Ｅｍ（ｄ，ｘ，ｙ)を選択差分値Ｅ（ｄ，ｘ，ｙ)として選択し、この選択差分値Ｅ（ｄ，ｘ，ｙ)を記憶手段７０に書き込む。
【００９２】
（１４）式が成立する場合、注目画素ＰＣの左右近傍に奥行値と画素値とが大きく異なる被写体Ｔが存在する可能性が高いため、オクルージョンの有無を調べる必要がある。この場合、差分値選択手段６０ｃは、以下の（１５）式によって、奥行値ＤＬが奥行値ＤＲ以上であるか否かを判定することにより、左右どちら側に奥行値が小さくなる背景Ａがあるかを判定する。
ＤＬ≧ＤＲ …（１５）式
【００９３】
（１５）式が成立する場合（奥行値ＤＬが奥行値ＤＲ以上の場合）、注目画素ＰＣの左側に前景Ｂがあり、右側に背景Ａがある可能性が高い。この場合、差分値選択手段６０ｃは、注目画素ＰＣが背景Ａ上であるかまたは前景Ｂ上であるか判定する。ここで、注目画素ＰＣが背景Ａ上であれば、左側の隣接映像ＦＬでオクルージョンが有り、対応画素ＰＬの画素値と注目画素ＰＣの画素値とが大きく異なる。その一方、右側の隣接映像ＦＲではオクルージョンは無く、対応画素ＰＲの画素値と注目画素ＰＣの画素値とが近い値となる。そこで、差分値選択手段６０ｃは、以下の（１６）式によって、左右の隣接映像ＦＬ，ＦＲにおいて、注目画素ＰＣを背景Ａ側の奥行値ＤＲに相当する画素数だけ左右に移動させた近傍奥行対応画素の画素値ＰＬＤＲ，ＰＲＤＲと、注目画素の画素値ＰＣとの差分絶対値ＥＬＤＲ，ＥＲＤＲを算出する。
ＥＬＤＲ＝｜ＰＬＤＲ−ＰＣ｜
ＥＲＤＲ＝｜ＰＲＤＲ−ＰＣ｜ …（１６）式
【００９４】
そして、差分値選択手段６０ｃは、以下の（１７）式によって、差分絶対値ＥＬＤＲが差分絶対値ＥＲＤＲを超えたか否かを判定する。
ＥＬＤＲ＞ＥＲＤＲ …（１７）式
【００９５】
（１７）式が成立する場合（差分絶対値ＥＬＤＲが差分絶対値ＥＲＤＲを超える場合）、左側の隣接映像ＦＬでオクルージョンが有ると言える。この場合、差分値選択手段６０ｃは、以下の（１８）式によって、最小差分値Ｅｍ（ｄ，ｘ，ｙ)を選択差分値Ｅ（ｄ，ｘ，ｙ)として選択する。
Ｅ（ｄ，ｘ，ｙ）＝Ｅｍ（ｄ，ｘ，ｙ） …（１８）式
【００９６】
このように、注目画素ＰＣが背景Ａと同じ奥行にあると仮定して、左右の隣接映像ＦＬ，ＦＲで注目画素ＰＣの見え方を調べることで、オクルージョンの有無を判定する。このとき、奥行推定装置１は、注目画素ＰＣに対応する近傍奥行対応画素ＰＬＤＲ，ＰＲＤＲを判定に用いるので、一部の色が異なる被写体Ｔの場合でも、正しくオクルージョンの有無を判定できる。また、奥行推定装置１は、仮定奥行値ｄに対応した対応画素ＰＬ，ＰＲを判定に用いないため、仮定奥行値ｄが正しくない場合でも、正しくオクルージョンの有無を判定できる。
【００９７】
（１７）式が成立しない場合（差分絶対値ＥＬＤＲが差分絶対値ＥＲＤＲを超えない場合）、オクルージョンが無いと言える。この場合、差分値選択手段６０ｃは、偽マッチングを防止するため、前記（１３）式によって、平均差分値Ｅａ（ｄ，ｘ，ｙ)を選択差分値Ｅ（ｄ，ｘ，ｙ)として選択する。
【００９８】
（１５）式が成立しない場合（奥行値ＤＬが奥行値ＤＲ以上でない場合）、注目画素ＰＣの左側に背景Ａがあり、右側に前景Ｂがあることになる。この場合、差分値選択手段６０ｃは、以下の（１９）式によって、左右の隣接映像ＦＬ，ＦＲにおいて、注目画素ＰＣを背景Ａ側の奥行値ＤＬに相当する画素数だけ左右に移動させた近傍奥行対応画素の画素値ＰＬＤＬ，ＰＲＤＬと、注目画素の画素値ＰＣとの差分絶対値ＥＬＤＬ，ＥＲＤＬを算出する。
ＥＬＤＬ＝｜ＰＬＤＬ−ＰＣ｜
ＥＲＤＬ＝｜ＰＲＤＬ−ＰＣ｜ …（１９）式
【００９９】
そして、差分値選択手段６０ｃは、以下の（２０）式によって、差分絶対値ＥＲＤＬが差分絶対値ＥＬＤＬを超えたか否かを判定する。
ＥＬＤＬ＜ＥＲＤＬ …（２０）式
【０１００】
（２０）式が成立する場合（差分絶対値ＥＲＤＬが差分絶対値ＥＬＤＬを超える場合）、右側の隣接映像ＦＲでオクルージョンが有ると言える。この場合、差分値選択手段６０ｃは、前記した（１８）式によって、最小差分値Ｅｍ（ｄ，ｘ，ｙ)を選択差分値Ｅ（ｄ，ｘ，ｙ)として選択する。
【０１０１】
（２０）式が成立しない場合（差分絶対値ＥＲＤＬが差分絶対値ＥＬＤＬを超えない場合）、オクルージョンが無いと言える。この場合、差分値選択手段６０ｃは、偽マッチングを防止するため、前記した（１３）式によって、平均差分値Ｅａ（ｄ，ｘ，ｙ)を選択差分値Ｅ（ｄ，ｘ，ｙ)として選択する。
【０１０２】
その後、差分値決定手段６０は、選択した選択差分値Ｅ（ｄ，ｘ，ｙ)を、仮定奥行値ｄと基準映像ＦＣの画素位置（ｘ，ｙ)に対応付けて記憶手段７０に書き込む。また、差分値決定手段６０は、基準映像ＦＣの全ての画素位置において、仮定奥行値ｄごとの選択差分値Ｅ（ｄ，ｘ，ｙ)を記憶手段７０に書き込んだ後に、書き込み完了を平滑化手段８０に通知する。
【０１０３】
以上説明したように、差分値決定手段６０は、１回目の奥行推定では、常に平均差分値Ｅａを選択差分値Ｅとして選択することで、仮定奥行値ｄが正しくない場合の偽マッチングを防ぐことができる。
【０１０４】
１回目の奥行推定では平均差分値Ｅａしか選択しないので、オクルージョンが有る部分において、差分値決定手段６０が奥行値を誤推定している可能性がある。そこで、２回目以降の奥行推定では、差分値決定手段６０は、オクルージョンが有る部分から離れた位置で推定された近傍画素ＰＳＬ，ＰＳＲの奥行値ＤＬ，ＤＲを用いて、オクルージョンの有無を正しく判定する。さらに、差分値決定手段６０は、オクルージョンが有る部分では、最小差分値Ｅｍを選択差分値Ｅとして選択することで、１回目の奥行値の誤推定を修正する。これによって、奥行推定装置１は、後記する奥行値決定手段９０において、正しい奥行値Ｄが推定される確率を高くすることができる。
【０１０５】
さらに、差分値決定手段６０は、注目画素ＰＣが前景Ｂであるか背景Ａであるかを、近傍画素ＰＳＬ，ＰＳＲの画素値によって判定せずに、左右の隣接映像ＦＬ，ＦＲにおいて、近傍奥行対応画素ＰＬＤＲ，ＰＲＤＲ，ＰＬＤＬ，ＰＲＤＬによって判定する。これによって、奥行推定装置１は、一部の色が異なる被写体Ｔの場合でも、注目画素ＰＣが前景Ｂまたは背景Ａのどちらであるかを判定できるので、正しい奥行値Ｄが推定される確率を高くすることができる。
【０１０６】
記憶手段７０は、差分値決定手段６０が選択した選択差分値Ｅ（ｄ，ｘ，ｙ)を、仮定奥行値ｄと基準映像の画素位置（ｘ，ｙ）とに対応付けて記憶するものである。また、記憶手段７０は、後記する平滑化手段８０が平滑化した平滑化差分値Ｅｖ（ｄ，ｘ，ｙ)を、仮定奥行値ｄと基準映像の画素位置（ｘ，ｙ）とに対応付けて記憶する。例えば、記憶手段７０は、磁気メモリや半導体メモリ等の一般的な記憶媒体である。
【０１０７】
平滑化手段８０は、当該画素位置における選択差分値を平滑化するものである。まず、平滑化手段８０は、基準映像ＦＣの注目画素ＰＣ（画素位置（ｘ，ｙ））ごとに、以下の（２１）式によって、注目画素ＰＣの選択差分値Ｅ（ｄ，ｘ，ｙ）が最小となる仮定奥行値ｄを算出する。そして、平滑化手段８０は、その仮定奥行値ｄを、その画素の奥行値Ｄｘ，ｙとする。
Ｄｘ，ｙ＝Ｄ（ｘ，ｙ）＝ｍｉｎ｛Ｅ（ｄ，ｘ，ｙ）｝ …（２１）式
【０１０８】
なお、（２１）式に示すように、選択差分値Ｅ（ｄ，ｘ，ｙ）は、画素位置（ｘ，ｙ）および仮定奥行値ｄの関数である。従って、ｍｉｎは、画素位置（ｘ，ｙ）ごとに、選択差分値Ｅ（ｄ，ｘ，ｙ）が最小となる仮定奥行値ｄを選択して返す関数である。そして、この関数ｍｉｎの戻り値Ｄ（ｘ，ｙ）をＤｘ，ｙと簡易に記述する。
【０１０９】
次に、平滑化手段８０は、前記した（２１）式によって、注目画素ＰＣと同様、注目画素ＰＣに隣接する画素位置（ｘ＋１，ｙ），（ｘ，ｙ＋１）の隣接画素の選択差分値が最小となる仮定奥行値Ｄｘ＋１，ｙ、Ｄｘ，ｙ＋１を算出する。
【０１１０】
そして、平滑化手段８０は、（２２）式によって、注目画素ＰＣの選択差分値Ｅ（Ｄｘ，ｙ,ｘ，ｙ）に、仮定奥行値Ｄｘ＋１，ｙ、Ｄｘ，ｙ＋１と奥行値Ｄｘ，ｙとの差分を重み付け加算することで、選択差分値Ｅ（Ｄｘ，ｙ，ｘ，ｙ）を平滑化した平滑化差分値Ｅｖ（Ｄｘ，ｙ，ｘ，ｙ）を算出する。
Ｅｖ（Ｄｘ，ｙ，ｘ，ｙ）＝Ｅ（Ｄｘ，ｙ，ｘ，ｙ）
＋Ｗ｛｜Ｄｘ＋１，ｙ−Ｄｘ，ｙ｜＋｜Ｄｘ，ｙ＋１−Ｄｘ，ｙ｜｝ …（２２）式
【０１１１】
なお、（２２）式において、平滑化係数Ｗは、任意の値（例えば、“２”）に手動で設定する。このとき、平滑化係数Ｗの値を大きくする程、選択差分値Ｅが滑らかになるが、被写体Ｔの境界部分の奥行値を誤推定する可能性が高くなる。このため、平滑化係数Ｗは、適切な値に設定することが好ましい。さらに、図示を省略した入力手段を介して、外部から平滑化係数Ｗを入力してもよい。
【０１１２】
そして、平滑化手段８０は、以下の（２３）式によって、画素位置（ｘ，ｙ）ごとの平滑化差分値Ｅｖ（Ｄｘ，ｙ，ｘ，ｙ）を基準映像ＦＣの全画素で総和することで、平滑化評価値Ｅｖを算出する。
Ｅｖ＝Σｘ，ｙＥｖ（Ｄｘ，ｙ，ｘ，ｙ） …（２３）式
【０１１３】
その後、平滑化手段８０は、平滑化した平滑化差分値Ｅｖ（Ｄｘ，ｙ，ｘ，ｙ)を、仮定奥行値ｄと基準映像ＦＣの画素位置（ｘ，ｙ）に対応付けて記憶手段７０に書き込む。また、平滑化手段８０は、基準映像ＦＣの全ての画素位置において、仮定奥行値ｄごとの平滑化差分値Ｅｖ（Ｄｘ，ｙ，ｘ，ｙ)を記憶手段７０に書き込んだ後に、平滑化完了を奥行値決定手段９０に通知する。
【０１１４】
以上のように、平滑化手段８０は、当該画素位置（ｘ，ｙ）における選択差分値Ｅ（Ｄｘ，ｙ，ｘ，ｙ）を平滑化して、平滑化差分値Ｅｖ（Ｄｘ，ｙ，ｘ，ｙ）を算出できる。これによって、奥行推定装置１は、隣接する画素間において、選択差分値Ｅ（Ｄｘ，ｙ，ｘ，ｙ）が最小となる奥行値Ｄｘ，ｙが、オクルージョンまたは偽マッチング等によって互いに異なる場合であっても、滑らかな奥行値を推定することができる。
【０１１５】
なお、平滑化手段８０は、差分値決定手段６０から、基準映像ＦＣの全ての画素位置において、全ての仮定奥行値ｄの選択差分値を書き込んだ旨（書き込み完了）を通知されることで動作を開始する。
【０１１６】
奥行値決定手段９０は、以下の（２４）式および（２５）式によって、第２仮定奥行値Ｄ’（以後、奥行値Ｄ’）を最小視差量から最大視差まで変えながら、基準映像ＦＣの画素位置（ｕ，ｖ）ごとに、画素位置（ｕ，ｖ）に対応付けて記憶手段７０に記憶されている選択差分値Ｅ（Ｄ’，ｕ，ｖ）について、再計算評価値Ｅｖ’を算出する。なお、この再計算評価値Ｅｖ’は、平滑化手段８０が平滑化した奥行値Ｄｕ，ｖを奥行値Ｄ’に代えた平滑化評価値Ｅｖに相当する。
Ｅｖ’（Ｄ’，ｕ，ｖ）＝Ｅ（Ｄ’，ｕ，ｖ）＋Ｗ｛｜Ｄｕ＋１，ｖ−Ｄ’｜
＋｜Ｄｕ，ｖ＋１−Ｄ’｜｝ …（２４）式
Ｅｖ’＝Σｘ，ｙ，Ｄu,v→Ｄ’Ｅｖ（Ｄｘ，ｙ，ｘ，ｙ） …（２５）式
【０１１７】
すなわち、奥行値決定手段９０は、前記した（２４）式によって、奥行値Ｄ’および注目画素ＰＣ（画素位置（ｕ，ｖ））ごとに、選択差分値Ｅ（Ｄ’，ｕ，ｖ）に、注目画素ＰＣに隣接する隣接画素の奥行値Ｄｕ＋１，ｖ，Ｄｕ，ｖ＋１と、奥行値Ｄ’との差分を重み付け加算することで、再計算差分値Ｅｖ’（Ｄ’，ｕ，ｖ）を算出する。そして、奥行値決定手段９０は、前記した（２５）式によって、選択差分値Ｅ（Ｄｘ，ｙ，ｘ，ｙ）の座標（ｕ，ｖ）での奥行値Ｄｘ，ｙを奥行値Ｄ’に置き換えたときの平滑化差分値Ｅｖ（Ｄｘ，ｙ，ｘ，ｙ)を基準映像ＦＣの全画素で総和することで、再計算評価値Ｅｖ’を算出する。
【０１１８】
なお、奥行値Ｄｕ，ｖから奥行値Ｄ’に代えると、座標（ｕ，ｖ）における平滑化差分値Ｅｖ（Ｄ’，ｕ，ｖ）の値が代わる他、隣接画素での平滑化評価値Ｅｖの平滑化項である奥行値の差も変わる。そこで、（２４）式で算出した再計算差分値Ｅｖ’（Ｄ’，ｕ，ｖ）を総和するのでなく、平滑化差分値Ｅｖ（Ｄｘ，ｙ，ｘ，ｙ)を総和する（２５）式を採用し、計算式が複雑になり過ぎることを防止した。
【０１１９】
そして、奥行値決定手段９０は、以下の（２６）式によって、再計算評価値Ｅｖ’が平滑化評価値Ｅｖ未満であるか否かを判定する。
Ｅｖ’＜Ｅｖ …（２６）式
【０１２０】
再計算評価値Ｅｖ’が平滑化評価値Ｅｖ未満の場合、奥行値決定手段９０は、以下の（２７）式によって、平滑化評価値Ｅｖの値を再計算評価値Ｅｖ’の値で置き換えると共に、画素位置（ｕ，ｖ）の奥行値Ｄｕ，ｖの値を奥行値Ｄ’の値で置き換える。なお、（２７）式では、“＝”は、右辺の値で左辺の値を置き換えることを意味する。
Ｅｖ＝Ｅｖ’
Ｄｕ，ｖ＝Ｄ’ …（２７）式
【０１２１】
一方、再計算評価値Ｅｖ’が平滑化評価値Ｅｖ未満でない場合、奥行値決定手段９０は、（２７）式による置き換えを行わない。なお、奥行値決定手段９０は、平滑化手段８０から、選択差分値の平滑化が完了した旨（平滑化完了）を通知されることで動作を開始するものとする。
【０１２２】
このように、奥行値決定手段９０は、奥行値Ｄ’を０から最大視差まで順に変えながら、基準映像ＦＣの全画素における平滑化評価値Ｅｖが小さくなるように、各画素位置（ｕ，ｖ）の奥行値Ｄｕ，ｖを代えることで、最適な奥行値Ｄｕ，ｖを得ることができる。そして、奥行値決定手段９０は、画素位置（ｕ，ｖ）ごとの奥行値Ｄｕ，ｖを示す奥行映像ＦＺを出力する。また、奥行値決定手段９０は、基準映像ＦＣの画素位置（ｕ，ｖ）ごとの奥行値Ｄｕ，ｖを、基準映像ＦＣの各画素の奥行値Ｄとして近傍奥行値出力手段４０に出力する。
【０１２３】
なお、奥行値Ｄ’は、仮定奥行値ｄと同様、被写体Ｔの奥行値Ｄを仮定する値であって、最小視差量から最大視差量までの値をとる。例えば、奥行値Ｄを８ビットのデータで表す場合、奥行値Ｄ’は、“０”〜“２５５”の範囲の値をとる。
【０１２４】
以上説明したように、奥行推定装置１は、選択差分値を指標として、被写体Ｔの奥行値Ｄを推定することができる。
なお、奥行推定装置１は、１回目の奥行推定で決定した奥行値Ｄを用いて、２回目以降の奥行推定を行う。そして、奥行推定装置１は、奥行推定を繰返上限回数Ｎ回だけ繰り返した後に得られた奥行値Ｄから奥行映像ＦＺを生成してもよい。なお、繰返上限回数Ｎは、奥行推定回数ｎの上限を示しており、任意の値に手動で設定される。
【０１２５】
［奥行推定装置の動作］
以下、図８〜図１６を参照して、図２の奥行推定装置１の動作について説明する（適宜図２参照）。ここでは、図８を参照して、奥行推定装置１の全体動作について説明し、詳細な説明については、図９〜図１６を参照して説明を行うことにする。
【０１２６】
＜全体動作＞
図８を参照して、奥行推定装置１の全体動作について説明する。
奥行推定装置１は、奥行推定回数ｎ＝１とし、全ての画素の奥行値Ｄ＝０として、初期設定を行う。そして、奥行推定装置１は、映像入力手段１０によって、一直線上に等間隔で水平に配置したカメラＣＭ（基準カメラＣＣ、隣接カメラＣＬＬ，ＣＬ，ＣＲ，ＣＲＲ）より、同一の被写体Ｔを撮影したカメラ映像（基準映像ＦＣ，隣接映像ＦＬL，ＦＬ，ＦＲ，ＦＲＲ）を入力する（ステップＳ１）。
【０１２７】
奥行推定装置１は、注目画素ＰＣのｙ座標値およびｘ座標値を０に初期化し（ステップＳ２，Ｓ３)、仮定奥行値ｄを０に初期化する（ステップＳ４）。
【０１２８】
奥行推定装置１は、対応画素差分演算手段２０によって、基準映像ＦＣの注目画素ＰＣの画素値と、当該注目画素ＰＣの仮定奥行値ｄの視差に対応する隣接映像ＦＬ，ＦＲの対応画素ＰＬ，ＰＲの画素値との差分絶対値である隣接映像の対応画素差分値ＥＣＬ，ＥＣＲを演算する（ステップＳ５；対応画素差分演算動作）。このステップＳ５の動作については、説明を後記する。
【０１２９】
奥行推定装置１は、差分値決定手段６０によって、最小差分値Ｅｍまたは平均差分値Ｅａの何れかを選択差分値として決定する（ステップＳ６；差分値決定動作）。このステップＳ６の動作については、説明を後記する。
【０１３０】
奥行推定装置１は、変数である仮定奥行値ｄ、カメラ映像のｘ座標値、ｙ座標値を順次加算（インクリメント）する。その後、奥行推定装置１は、仮定奥行値ｄについては最大視差量になるまでステップＳ５，Ｓ６の動作を繰り返し（ステップＳ７，Ｓ８）、ｘ座標値については映像幅になるまでステップＳ４〜Ｓ６の動作を繰り返し（ステップＳ９，Ｓ１０）、ｙ座標値については映像高になるまでステップＳ３〜Ｓ６の動作を繰り返す（ステップＳ１１，Ｓ１２）。なお、映像高は、映像幅と同様、任意の値に手動で設定される（例えば、１０８０ピクセル）。
【０１３１】
奥行推定装置１は、平滑化手段８０によって、基準映像ＦＣの全ての画素位置（ｘ，ｙ）ごとに、仮定奥行値ｄに対応して記憶された選択差分値Ｅ（ｄ，ｘ，ｙ）を隣接画素の奥行値で平滑化する（ステップＳ１３；平滑化動作）。このステップＳ１３の動作については、説明を後記する。
【０１３２】
奥行推定装置１は、奥行値決定手段９０によって、基準映像ＦＣ全体で、画素位置（ｘ，ｙ）ごとの平滑化差分値の和が最小となる奥行値Ｄ（ｘ，ｙ）の組を探索して、基準映像ＦＣの全ての画素位置について奥行値Ｄを決定する（ステップＳ１４；奥行値決定動作）。このステップＳ１４の動作については、説明を後記する。
【０１３３】
奥行推定装置１は、奥行推定回数ｎが繰返上限回数Ｎ未満であるか否かを判定する（ステップＳ１５）。奥行推定回数ｎが繰返上限回数Ｎ未満の場合（ステップＳ１５でＹｅｓ）、奥行推定装置１は、ステップＳ１６の処理に進む。この場合、奥行推定装置１は、奥行推定回数ｎをインクリメントし（ステップＳ１６）、ステップＳ２の処理に戻る。
【０１３４】
一方、奥行推定回数ｎが繰返上限回数Ｎ未満でない場合（ステップＳ１５でＮｏ）、奥行推定装置１は、奥行値決定手段９０によって、画素位置ごとの奥行値Ｄを示す奥行映像ＦＺを出力し（ステップＳ１７）、動作を終了する。以上のように、奥行推定装置１は、ステップＳ１〜Ｓ１７の処理によって、複数のカメラ映像から、被写体Ｔの奥行きを示す奥行値Ｄを推定することができる。
【０１３５】
＜対応画素差分演算動作＞
図９を参照して、対応画素差分演算動作（図８のステップＳ５）について詳細に説明する。
【０１３６】
対応画素差分演算手段２０は、前記した（２）式によって、対応画素ＰＲが隣接映像ＦＲから外れていないか否かを判定する（ステップＳ５０）。対応画素ＰＲが隣接映像ＦＲから外れていない場合（ステップＳ５０でＹｅｓ）、対応画素差分演算手段２０は、ステップＳ５１の処理に進む。一方、対応画素ＰＲが隣接映像ＦＲから外れている場合（ステップＳ５０でＮｏ）、対応画素差分演算手段２０は、ステップＳ５４の処理に進む。
【０１３７】
対応画素差分演算手段２０は、前記した（３）式によって、対応画素ＰＬが隣接映像ＦＬから外れていないか否かを判定する（ステップＳ５１）。対応画素ＰＬが隣接映像ＦＬから外れていない場合（ステップＳ５１でＹｅｓ）、対応画素差分演算手段２０は、ステップＳ５２の処理に進む。一方、対応画素ＰＬが隣接映像ＦＬから外れている場合（ステップＳ５１でＮｏ）、対応画素差分演算手段２０は、ステップＳ５３の処理に進む。
【０１３８】
対応画素差分演算手段２０は、前記した（１）式によって、左右の隣接映像ＦＬ，ＦＲで仮定奥行値ｄだけ右もしくは左に移動した対応画素ＰＬ，ＰＲの画素値ＰＬ（ｘ＋ｄ，ｙ），ＰＲ（ｘ−ｄ，ｙ）と、注目画素ＰＣの画素値ＰＣ（ｘ，ｙ）との対応画素差分値ＥＣＬ（ｄ，ｘ，ｙ），ＥＣＲ（ｄ，ｘ，ｙ）を算出する（ステップＳ５２）。
【０１３９】
対応画素差分演算手段２０は、前記した（４）式によって、右側の隣接映像ＦＲ，ＦＲＲで仮定奥行値ｄだけ左に移動した対応画素ＰＲＲ，ＰＲの画素値ＰＲＲ（ｘ−２ｄ，ｙ），ＰＲ(ｘ−ｄ，ｙ）との対応画素差分値ＥＣＬ（ｄ，ｘ，ｙ），ＥＣＲ（ｄ，ｘ，ｙ）を算出する（ステップＳ５３）。
【０１４０】
対応画素差分演算手段２０は、前記した（５）式によって、左の隣接映像ＦＬ，ＦＬＬで仮定奥行値ｄだけ右に移動した対応画素ＰＬ，ＰＬＬの画素値ＰＬ（ｘ＋ｄ，ｙ），ＰＬＬ(ｘ＋２ｄ，ｙ）との対応画素差分値ＥＣＬ（ｄ，ｘ，ｙ），ＥＣＲ（ｄ，ｘ，ｙ）を算出する（ステップＳ５４）。
【０１４１】
すなわち、対応画素差分演算手段２０は、対応画素ＰＬ，ＰＲが左右の隣接映像ＦＬ，ＦＲ内にある場合、左右の隣接映像ＦＬ，ＦＲを用いて、対応画素差分値ＥＣＬ，ＥＣＲを算出する。また、隣接映像ＦＬ，ＦＲの一方から対応画素が外れる場合、対応画素差分演算手段２０は、対応画素が外れた側の隣接画像と反対側の２つの隣接映像（右側の隣接映像ＦＲ，FＲＲまたは左の隣接映像ＦＬ，ＦＬＬ）を用いて、対応画素差分値ＥＣＬ，ＥＣＲを算出する。これによって、奥行推定装置１は、２つの対応画素差分値ＥＣＬ，ＥＣＲから最適な選択差分値を決定することができ、正しい奥行値を推定することができる。
【０１４２】
＜差分値決定動作＞
図１０を参照して、差分値決定動作（図８のステップＳ６）について詳細に説明する（適宜図２参照）。
【０１４３】
差分値決定手段６０は、差分値選択手段６０ｃによって、奥行推定回数ｎが１回目であるか、２回目以降であるかを判定する（ステップＳ６０）。奥行推定回数ｎが１回目の場合（ステップＳ６０でＹｅｓ）、差分値決定手段６０は、ステップＳ６１の処理に進む。一方、奥行推定回数ｎが２回目以降の場合（ステップＳ６０でＮｏ）、差分値決定手段６０は、ステップＳ６２の処理に進む。
【０１４４】
差分値決定手段６０は、平均差分値演算手段６０ａによって、前記した（１１）式で平均差分値Ｅａ（ｄ，ｘ，ｙ)を算出する。そして、差分値決定手段６０は、差分値選択手段６０ｃによって、前記した（１３）式のように、平均差分値Ｅａを選択差分値Ｅとして選択する（ステップＳ６１）。
【０１４５】
差分値決定手段６０は、近傍奥行値出力手段４０から、近傍画素ＰＳＬ，ＰＳＲの奥行値ＤＬ、ＤＲを取得する（ステップＳ６２；近傍奥行値出力動作）。このステップＳ６２の動作については、説明を後記する。
【０１４６】
差分値決定手段６０は、差分値選択手段６０ｃによって、最小差分値Ｅｍまたは平均差分値Ｅａの何れかを、予め設定された条件に基づいて、選択差分値Ｅとして選択する（ステップＳ６３；差分値選択動作）。このステップＳ６３の動作については、説明を後記する。
【０１４７】
＜近傍奥行値出力動作＞
図１１を参照して、近傍奥行値出力手動作（図１０のステップＳ６２）について詳細に説明する（適宜図２参照）。
【０１４８】
近傍奥行値出力手段４０は、近傍画素数ｓを最大視差量ＤＭに設定する（ステップＳ６２０）。そして、近傍奥行値出力手段４０は、前記した（７）式によって、左右の近傍画素ＰＳＬ，ＰＳＲの奥行値ＤＬ，ＤＲを取得する（ステップＳ６２１)。
【０１４９】
近傍奥行値出力手段４０は、前記した（８）式によって、左奥行値ＤＬと右奥行値ＤＲとの差分絶対値｜ＤＬ−ＤＲ|が閾値ｔｈ１を超えるか否かを判定する（ステップＳ６２２)。差分絶対値｜ＤＬ−ＤＲ|が閾値ｔｈ１を超える場合（ステップＳ６２２でＹｅｓ）、近傍奥行値出力手段４０は、処理を終了する。一方、差分絶対値｜ＤＬ−ＤＲ|が閾値ｔｈ１を超えない場合（ステップＳ６２２でＮｏ）、近傍奥行値出力手段４０は、ステップＳ６２３の処理に進む。
【０１５０】
近傍奥行値出力手段４０は、前記した（９）式によって、近傍画素数ｓを半分する（ステップＳ６２３）。そして、近傍奥行値出力手段４０は、前記した（７）式によって、近傍画素数ｓが半分となった近傍画素ＰＳＬ，ＰＳＲの奥行値ＤＬ，ＤＲを取得する（ステップＳ６２４)。
【０１５１】
＜差分値選択動作＞
図１２を参照して、差分値選択動作（図１０のステップＳ６３）について詳細に説明する（適宜図２参照）。なお、以後の各図では、近傍画素の画素値を近傍画素値と図示することがある。
【０１５２】
差分値選択手段６０ｃは、近傍画素値出力手段３０から、注目画素ＰＣの画素値と、近傍画素ＰＳＬ，ＰＳＲの画素値とを取得する（ステップＳ６３０；近傍画素値出力動作）。このステップＳ６３０の動作については、説明を後記する。
【０１５３】
差分値選択手段６０ｃは、前記した（１４）式によって、左右の近傍画素ＰＳＬ，ＰＳＲの画素値の差分絶対値ＥＬＲを算出し（ステップＳ６３１）、差分絶対値｜ＤＬ−ＤＲ|が閾値ｔｈ１を超え、かつ、差分絶対値ＥＬＲが閾値ｔｈ２を超えるか否かを判定する（ステップＳ６３２）。
【０１５４】
差分絶対値｜ＤＬ−ＤＲ|が閾値ｔｈ１を超え、かつ、差分絶対値ＥＬＲが閾値ｔｈ２を超える場合（ステップＳ６３２でＹｅｓ）、差分値選択手段６０ｃは、ステップＳ６３３の処理に進む。一方、差分絶対値｜ＤＬ−ＤＲ|が閾値ｔｈ１を超えない場合、または、差分絶対値ＥＬＲが閾値ｔｈ２を超えない場合（ステップＳ６３２でＮｏ）、差分値選択手段６０ｃは、ステップＳ６３９の処理に進む。
【０１５５】
差分値選択手段６０ｃは、近傍奥行対応画素値出力手段５０から、奥行値ＤＬの視差に対応する画素位置にある近傍奥行対応画素の画素値ＰＬＤＬ，ＰＲＤＬと、奥行値ＤＲの視差に対応する画素位置にある近傍奥行対応画素の画素値ＰＬＤＲ，ＰＲＤＲとを取得する（ステップＳ６３３；近傍奥行対応画素値出力動作）。このステップＳ６３３の動作については、説明を後記する。
【０１５６】
差分値選択手段６０ｃは、前記した（１６）式によって、左右の隣接映像ＦＬ，ＦＲにおいて、注目画素ＰＣを背景Ａ側の奥行値ＤＲに相当する画素数だけ左右に移動させた近傍奥行対応画素の画素値ＰＬＤＲ，ＰＲＤＲと、注目画素の画素値ＰＣとの差分絶対値ＥＬＤＲ，ＥＲＤＲを算出する。そして、差分値選択手段６０ｃは、前記した（１９）式によって、左右の隣接映像ＦＬ，ＦＲにおいて、注目画素ＰＣを背景Ａ側の奥行値ＤＬに相当する画素数だけ左右に移動させた近傍奥行対応画素の画素値ＰＬＤＬ，ＰＲＤＬと、注目画素ＰＣとの画素値の差分絶対値ＥＬＤＬ，ＥＲＤＬを算出する（ステップＳ６３４）。
【０１５７】
差分値選択手段６０ｃは、前記した（１５）式によって、奥行値ＤＬが奥行値ＤＲ以上であるか否かを判定することにより、左右どちら側に奥行値が小さくなる背景Ａがあるかを判定する（ステップＳ６３５）。奥行値ＤＬが奥行値ＤＲ以上の場合（ステップＳ６３５でＹｅｓ）、差分値選択手段６０ｃは、ステップＳ６３６の処理に進む。一方、奥行値ＤＬが奥行値ＤＲ以上でない場合（ステップＳ６３５でＮｏ）、差分値選択手段６０ｃは、ステップＳ６３７の処理に進む。
【０１５８】
差分値選択手段６０ｃは、前記した（１７）式によって、差分絶対値ＥＬＤＲが差分絶対値ＥＲＤＲを超えたか否かを判定することにより、左側の隣接映像ＦＬでオクルージョンの有無を判定する（ステップＳ６３６）。差分絶対値ＥＬＤＲが差分絶対値ＥＲＤＲを超える場合（ステップＳ６３６でＹｅｓ）、差分値選択手段６０ｃは、ステップＳ６３８の処理に進む。一方、差分絶対値ＥＬＤＲが差分絶対値ＥＲＤＲを超えない場合（ステップＳ６３６でＮｏ）、差分値選択手段６０ｃは、ステップＳ６３９の処理に進む。
【０１５９】
差分値選択手段６０ｃは、前記した（２０）式によって、差分絶対値ＥＲＤＬが差分絶対値ＥＬＤＬを超えたか否かを判定することにより、右側の隣接映像ＦＲでオクルージョンの有無を判定する（ステップＳ６３７）。差分絶対値ＥＲＤＬが差分絶対値ＥＬＤＬを超える場合（ステップＳ６３７でＹｅｓ）、差分値選択手段６０ｃは、ステップＳ６３８の処理に進む。一方、差分絶対値ＥＲＤＬが差分絶対値ＥＬＤＬを超えない場合（ステップＳ６３７でＮｏ）、差分値選択手段６０ｃは、ステップＳ６３９の処理に進む。
【０１６０】
差分値選択手段６０ｃは、前記した（１２）式および（１８）式によって、最小差分値選択手段６０ｂが算出した最小差分値Ｅｍ（ｄ，ｘ，ｙ)を選択差分値Ｅ（ｄ，ｘ，ｙ)として選択する（ステップ６３８）。
【０１６１】
差分値選択手段６０ｃは、前記した（１１）式および（１３）式によって、平均差分値演算手段６０ａが算出した平均差分値Ｅａ（ｄ，ｘ，ｙ)を選択差分値Ｅ（ｄ，ｘ，ｙ)として選択する（ステップ６３９）。
【０１６２】
以上のように、差分値選択手段６０ｃは、ステップＳ６３０〜Ｓ６３９の処理によって、基準映像の画素位置（ｘ，ｙ）ごとに、複数の仮定奥行値ｄ（“０”〜最大視差量）に対応した選択差分値Ｅ（ｄ，ｘ，ｙ)を選択することができる。
【０１６３】
＜近傍画素値出力動作＞
図１３を参照して、近傍画素値出力手動作（図１２のステップＳ６３０）について詳細に説明する（適宜図２参照）。
【０１６４】
近傍画素値出力手段３０は、前記した（６）式によって、注目画素ＰＣ（ｘ，ｙ）の画素値ＰＣと、注目画素ＰＣ（ｘ，ｙ）から近傍画素数ｓだけ左に離れた画素位置ＰＣ（ｘ−ｓ，ｙ）にある近傍画素の画素値ＰＳＬと、注目画素ＰＣ（ｘ，ｙ）から近傍画素数ｓだけ右に離れた画素位置ＰＣ（ｘ＋ｓ，ｙ）にある近傍画素の画素値ＰＳＲとを取得する（ステップＳ６３００）。
【０１６５】
＜近傍奥行対応画素値出力動作＞
図１４を参照して、近傍奥行対応画素値出力手動作（図１２のステップＳ６３３）について詳細に説明する。
【０１６６】
近傍奥行対応画素値出力手段５０は、前記した（１０）式によって、左右の隣接映像ＦＬ，ＦＲから、奥行値ＤＬの視差に対応する画素位置にある近傍奥行対応画素ＰＬ(ｘ＋ＤＬ，ｙ)，ＰＲ(ｘ−ＤＬ，ｙ)の画素値ＰＬＤＬ，ＰＲＤＬを算出する。そして、近傍奥行対応画素値出力手段５０は、前記した（１０）式によって、左右の隣接映像ＦＬ，ＦＲから、奥行値ＤＲの視差に対応する画素位置にある近傍奥行対応画素ＰＬ(ｘ＋ＤＲ，ｙ)，ＰＲ(ｘ−ＤＲ，ｙ)の画素値ＰＬＤＲ，ＰＲＤＲを算出する（ステップＳ６３３０）。
【０１６７】
＜平滑化動作＞
図１５を参照して、平滑化動作（図８のステップＳ１３）の動作について詳細に説明する。
【０１６８】
平滑化手段８０は、変数として、カメラ映像（基準映像ＦＣ）のｘ座標値およびｙ座標値を初期化（ｘ＝０、ｙ＝０）する（ステップＳ１３０，Ｓ１３１）。
【０１６９】
平滑化手段８０は、前記した（２１）式によって、基準映像ＦＣの注目画素ＰＣ（画素位置（ｘ，ｙ））ごとに、注目画素ＰＣの選択差分値Ｅ（ｄ,ｘ，ｙ）が最小となる仮定奥行値ｄを算出する。そして、平滑化手段８０は、その仮定奥行値ｄを，その画素の奥行値Ｄｘ，ｙとする（ステップＳ１３２）。
【０１７０】
平滑化手段８０は、変数であるカメラ映像のｘ座標値、ｙ座標値を順次加算（インクリメント）する。その後、平滑化手段８０は、ｘ座標値については映像幅になるまでステップＳ１３２の動作を繰り返し（ステップＳ１３３，Ｓ１３４）、ｙ座標値については映像高になるまでステップＳ１３１，Ｓ１３２の動作を繰り返す（ステップＳ１３５，Ｓ１３６）。
【０１７１】
平滑化手段８０は、前記した（２１）式によって、注目画素ＰＣに隣接する画素位置（ｘ＋１，ｙ），（ｘ，ｙ＋１）の隣接画素の選択差分値が最小となる仮定奥行値Ｄｘ＋１，ｙ、Ｄｘ，ｙ＋１を算出する。そして、平滑化手段８０は、（２２）式によって、注目画素ＰＣの選択差分値Ｅ（Ｄｘ，ｙ，ｘ，ｙ）に、仮定奥行値Ｄｘ＋１，ｙ、Ｄｘ，ｙ＋１と奥行値Ｄｘ，ｙとの差分を重み付け加算することで、選択差分値Ｅ（Ｄｘ，ｙ，ｘ，ｙ）を平滑化した平滑化差分値Ｅｖ（Ｄｘ，ｙ，ｘ，ｙ）を算出する（ステップＳ１３７）。
【０１７２】
平滑化手段８０は、前記した（２３）式によって、画素位置（ｘ，ｙ）ごとの平滑化差分値Ｅｖ（Ｄｘ，ｙ，ｘ，ｙ）を基準映像ＦＣの全画素で総和することで、平滑化評価値Ｅｖを算出する（ステップＳ１３８）。
【０１７３】
＜奥行値決定動作＞
図１６を参照して、奥行値決定動作（図８のステップＳ１４）の動作について詳細に説明する。
【０１７４】
奥行値決定手段９０は、全ての画素の奥行値（第２仮定奥行値）Ｄ’を初期化し（Ｓ１４０）、注目画素ＰＣのｖ座標値およびｕ座標値を０に初期化する（ステップＳ１４１，Ｓ１４２)。
【０１７５】
奥行値決定手段９０は、前記した（２４）式および（２５）式によって、第２の仮定奥行値Ｄ’を最小視差量から最大視差量まで変えながら、基準映像ＦＣの画素位置（ｕ，ｖ）ごとに、画素位置（ｕ，ｖ）に対応付けて記憶手段７０に記憶されている選択差分値Ｅ（Ｄ’，ｕ，ｖ）について、平滑化手段８０が平滑化した奥行値Ｄｕ，ｖを奥行値Ｄ’に代えた再計算評価値Ｅｖ’を算出する（ステップＳ１４３）。
【０１７６】
奥行値決定手段９０は、前記した（２６）式によって、再計算評価値Ｅｖ’が平滑化評価値Ｅｖ未満であるか否かを判定する（ステップＳ１４４）。再計算評価値Ｅｖ’が平滑化評価値Ｅｖ未満の場合（ステップＳ１４４でＹｅｓ）、奥行値決定手段９０は、ステップＳ１４５の処理に進む。一方、再計算評価値Ｅｖ’が平滑化評価値Ｅｖ未満でない場合（ステップＳ１４４でＮｏ）、奥行値決定手段９０は、ステップＳ１４６の処理に進む。
【０１７７】
奥行値決定手段９０は、前記した（２７）式によって、平滑化評価値Ｅｖの値を再計算評価値Ｅｖ’の値で置き換えると共に、画素位置（ｕ，ｖ）の奥行値Ｄｕ，ｖの値を奥行値Ｄ’の値で置き換える（ステップＳ１４５）。
【０１７８】
奥行値決定手段９０は、変数である奥行値Ｄ’、ｕ座標値、ｖ座標値を順次加算（インクリメント）する。その後、奥行値決定手段９０は、ｕ座標値については映像幅になるまでステップＳ１４３〜Ｓ１４５の動作を繰り返し（ステップＳ１４６，Ｓ１４７）、ｖ座標値については映像高になるまでステップＳ１４２〜Ｓ１４５の動作を繰り返し（ステップＳ１４８，Ｓ１４９）、奥行値Ｄ’については最大視差量になるまでステップＳ１４１〜Ｓ１４５の動作を繰り返す（ステップＳ１５０，Ｓ１５１）。
【０１７９】
以上のように、奥行推定装置１は、オクルージョンの有無にかかわらず、注目画素の画素値と、近傍画素の画素値と、近傍画素の奥行値と、この近傍画素の奥行値に対応する近傍奥行対応画素の画素値とに基づいて、平均差分値または最小差分値の何れか最適な方を選択する。これによって、奥行推定装置１は、隣接映像で偽マッチングが発生している場合、平均差分値を選択することにより、より正しい選択差分値から奥行値Ｄを推定でき、オクルージョンが有る場合、そのときの奥行値Ｄを推定対象から除くことができる。すなわち、奥行推定装置１は、正確な奥行値Ｄを推定することができる。
【０１８０】
第１実施形態では、図１に示すように、５つの映像（ＦＬＬ，ＦＬ，ＦＣ，ＦＲ，ＦＲＲ）が奥行推定装置１に入力されることとして説明したが、映像の数はこれに限定されない。以下、第２実施形態として、３つの映像（ＦＬ，ＦＣ，ＦＲＲ）から被写体Ｔの奥行値Ｄを推定する奥行推定システムＳＢについて説明する。
【０１８１】
（第２実施形態）
［奥行推定システムの全体構成］
図１７を参照して、本発明の第２実施形態に係る奥行推定装置１Ｂを含んだ奥行推定システムＳＢの全体構成について、第１実施形態と異なる点を説明する。
【０１８２】
図１７に示すように、奥行推定システムＳＢは、カメラＣＭ（ＣＬ，ＣＣ，ＣＲ）と、奥行推定装置１Ｂとを備えている。すなわち、奥行推定システムＳＢでは、カメラＣＬ，ＣＲが、カメラＣＣを左右から挟むように配置されている。そして、カメラＣＭ（ＣＬ，ＣＣ，ＣＲ）で撮影した映像（ＦＬ，ＦＣ，ＦＲＲ）が、奥行推定装置１Ｂに入力される。
【０１８３】
［奥行推定装置の構成］
図１８を参照して、奥行推定装置１Ｂの構成について、第１実施形態と異なる点を説明する（適宜図１７参照）。
【０１８４】
奥行推定装置１Ｂは、水平方向に配列したカメラＣＭ（ＣＬ，ＣＣ，ＣＲ）で被写体Ｔを撮影したカメラ映像（ＦＬ，ＦＣ，ＦＲ）から、被写体Ｔの奥行きを示す奥行値Ｄを推定する。このため、奥行推定装置１Ｂは、映像入力手段１０Ｂと、対応画素差分演算手段２０Ｂと、近傍画素値出力手段３０と、近傍奥行値出力手段４０と、近傍奥行対応画素値出力手段５０と、差分値決定手段６０と、記憶手段７０と、平滑化手段８０と、奥行値決定手段９０とを備える。
【０１８５】
映像入力手段１０Ｂは、カメラＣＭで撮影された複数のカメラ映像を入力するものである。ここでは、映像入力手段１０Ｂは、基準カメラＣＣで撮影した基準映像ＦＣと、隣接カメラＣＬ，ＣＲで撮影した隣接映像ＦＬ，ＦＲとを入力する。
この映像入力手段１０Ｂで入力した各映像（ＦＬ，ＦＣ，ＦＲ）は、図示を省略したメモリに記憶され、後記する対応画素差分演算手段２０Ｂ、近傍画素値出力手段３０、および、近傍奥行対応画素値出力手段５０によって参照されるものとする。
【０１８６】
対応画素差分演算手段２０Ｂは、前記した（２）式によって、対応画素ＰＲが隣接映像ＦＲから外れていないか否かを判定すると共に、前記した（３）式によって、対応画素ＰＬが隣接映像ＦＬから外れていないか否かを判定する。そして、対応画素差分演算手段２０Ｂは、隣接映像ＦＬ，ＦＲから対応画素ＰＬ，ＰＲが外れていない場合、すなわち、（２）式および（３）式を両方満たす場合、前記した（１）式によって対応画素差分値ＥＣＬ，ＥＣＲを算出する。
【０１８７】
右隣接映像ＦＲから対応画素ＰＲが外れる場合、すなわち、（２）式を満たさない場合、対応画素差分演算手段２０Ｂは、以下の（２８）式によって、対応画素差分ＥＣＲを最大視差量（例えば、“２５５”）として算出する。
ＥＣＬ（ｄ，ｘ，ｙ）＝｜ＰＬ（ｘ＋ｄ，ｙ）−ＰＣ（ｘ，ｙ）｜
ＥＣＲ（ｄ，ｘ，ｙ）＝２５５ …（２８）式
【０１８８】
隣接映像ＦＬから対応画素ＰＬが外れる場合、すなわち、（３）式を満たさない場合、対応画素差分演算手段２０Ｂは、以下の（２９）式によって、対応画素差分値ＥＣＬを最大視差量（例えば、“２５５”）として算出する。
ＥＣＬ（ｄ，ｘ，ｙ）＝２５５
ＥＣＲ（ｄ，ｘ，ｙ）＝｜ＰＲ（ｘ−ｄ，ｙ）−ＰＣ（ｘ，ｙ）｜ …（２９）式
【０１８９】
［奥行推定装置の動作］
図１９を参照して、奥行推定装置１Ｂの動作として、対応画素差分演算動作（図８のステップＳ５）を説明する（適宜図１８参照）。なお、図１９のステップＳ５０〜Ｓ５２の処理は、図９の各処理と同様のため、説明を省略する。
【０１９０】
対応画素差分演算手段２０Ｂは、対応画素ＰＬが隣接映像ＦＬから外れている場合（ステップＳ５１でＮｏ）、前記した（２９）式によって、対応画素差分値ＥＣＬを最大視差量として算出する（ステップＳ５３’）。
【０１９１】
対応画素差分演算手段２０Ｂは、対応画素ＰＲが隣接映像ＦＲから外れている場合（ステップＳ５０でＮｏ）前記した（２８）式によって、対応画素差分値ＥＣＲを最大視差量として算出する（ステップＳ５４’）。
【０１９２】
以上のように、本発明の第２実施形態に係る奥行推定装置１Ｂは、３つの映像（ＦＬ，ＦＣ，ＦＲ）から、被写体Ｔの奥行値Ｄを推定することができる。従って、奥行推定装置１Ｂは、第１実施形態と同様、奥行値の誤推定を低減することができる。
【０１９３】
本発明の第２実施形態に係る奥行推定装置１Ｂの構成および動作について説明したが、本発明は、この実施形態に限定されるものではない。以下、本発明の種々の変形例について説明する。
【０１９４】
（変形例１：カメラ配置間隔の変形例）
第２実施形態では、被写体を撮影するカメラの設置間隔を等間隔としたが、異なるカメラ間隔としてもよい。
この場合、対応画素差分演算手段２０Ｂは、それぞれの隣接映像ＦＬ，ＦＲについて、基準カメラＣＣからのカメラ間隔ごとに、基準映像ＦＣの画素から、視差に対応する画素の位置をそれぞれ求め、当該画素の画素値と、基準映像ＦＣの画素の画素値との差分絶対値を演算すればよい。例えば、本実施形態では、奥行値Ｄの単位と画素間の視差の単位とを同一とし、奥行値Ｄが“１”増加することで、１画素ずつ視差が増加することとしたが、この場合、図１７に示したカメラＣＣ，ＣＲ間の距離が、カメラＣＣ，ＣＬ間の距離の２倍であったとすると、対応画素差分演算手段２０Ｂは、前記（１）式の代わりに、以下の（３０）式により差分絶対値を算出すればよい。
ＥＣＬ（ｄ，ｘ，ｙ）＝｜ＰＬ（ｘ＋ｄ，ｙ）−ＰＣ（ｘ，ｙ）｜
ＥＣＲ（ｄ，ｘ，ｙ）＝｜ＰＲ（ｘ−２ｄ，ｙ）−ＰＣ（ｘ，ｙ）｜ …（３０）式
これによって、奥行推定システム（図１７）のカメラ配置の自由度を高めることができる。
【０１９５】
（変形例２：対応画素差分演算手段の変形例）
また、第２実施形態では、対応画素差分演算手段２０Ｂが、基準映像ＦＣの各画素の画素値と、当該画素の仮定奥行値ｄの視差に対応する隣接映像ＦＬ，ＦＲの各画素の画素値との差分絶対値を演算することとしたが、この差分絶対値は、対応する画素のみでなく、対応画素を中心とするブロック内の画素値の差分絶対値の重み付け平均値を用いることとしてもよい。例えば、対応画素差分演算手段２０Ｂは、前記（１）式の対応画素差分値ＥＣＬ（ｄ，ｘ，ｙ）を、以下の（３１）式により算出する。
ＥＣＬ（ｄ，ｘ，ｙ）＝｜ＰＬ（ｘ＋ｄ，ｙ）−ＰＣ（ｘ，ｙ）｜×１／２
＋｜ＰＬ（ｘ＋ｄ＋１，ｙ）−ＰＣ（ｘ＋１，ｙ）｜×１／８
＋｜ＰＬ（ｘ＋ｄ−１，ｙ）−ＰＣ（ｘ−１，ｙ）｜×１／８
＋｜ＰＬ（ｘ＋ｄ，ｙ＋１）−ＰＣ（ｘ，ｙ＋１）｜×１／８
＋｜ＰＬ（ｘ＋ｄ，ｙ−１）−ＰＣ（ｘ，ｙ−１）｜×１／８
…（３１）式
これによって、ノイズ等によって発生する差分絶対値の誤差を低減することができる。
【０１９６】
（変形例３：差分値選択手段の変形例）
また、各実施形態では、平均差分値演算手段６０ａが平均差分値Ｅａを算出し、最小差分値選択手段６０ｂが最小差分値Ｅｍを算出することとして説明したが、本発明は、これに限定されない。例えば、本発明では、差分値選択手段６０ｃが、平均差分値Ｅａおよび最小差分値Ｅｍを算出してもよい。
【０１９７】
（変形例４：差分値選択手段の変形例）
また、各実施形態では、差分値選択手段６０ｃが、前記した（１７）式および（２０）式を用いることとして説明したが、本発明は、これに限定されない。例えば、本発明では、差分値選択手段６０ｃが、予め任意の値に設定した倍率ｋを用いてもよい。
【０１９８】
具体的には、差分値選択手段６０ｃは、前記した（１７）の右辺に倍率ｋを掛けてから、差分絶対値ＥＬＤＲが差分絶対値ＥＲＤＲを超えたか否かを判定する（（３２式）参照）。
ＥＬＤＲ＞ｋ×ＥＲＤＲ …（３２）式
【０１９９】
また、差分値選択手段６０ｃは、前記した（２０）式の左辺に倍率ｋを掛けてから、差分絶対値ＥＲＤＬが差分絶対値ＥＬＤＬを超えたか否かを判定する（（３３式）参照）。
ＥＬＤＬ×ｋ＜ＥＲＤＬ …（３３）式
これによって、差分値選択手段６０ｃは、オクルージョンの有無をより正確に判定できる。
【０２００】
（変形例５：差分値選択動作の変形例）
また、各実施形態では、差分値選択動作（図１２参照）において、差分絶対値ＥＬＤＲ，ＥＲＤＲ，ＥＬＤＬ，ＥＲＤＬを算出してから（ステップＳ６３４）、ステップＳ６３５以後の処理を実行することとして説明したが、本発明は、これに限定されない。ここで、差分値選択手段６０ｃが、差分値選択動作において、ステップＳ６３３までの処理を実行した場合を考える。
【０２０１】
この場合、差分値選択手段６０ｃは、ステップＳ６３５の処理と同様、前記した（１５）式によって、奥行値ＤＬが奥行値ＤＲ以上であるか否かを判定する。（１５）式が成立する場合、差分値選択手段６０ｃは、前記した（１６）式によって、近傍奥行対応画素ＰＬＤＲ，ＰＲＤＲの画素値と、注目画素ＰＣの画素値の差分絶対値ＥＬＤＲ，ＥＲＤＲを算出する。そして、差分値選択手段６０ｃは、ステップＳ６３６以後の処理を実行する。
【０２０２】
一方、（１５）式が成立しない場合、差分値選択手段６０ｃは、前記した（１９）式によって、近傍奥行対応画素ＰＬＤＬ，ＰＲＤＬの画素値と、注目画素ＰＣの画素値の差分絶対値ＥＬＤＬ，ＥＲＤＬを算出する。
【０２０３】
このように、差分値選択手段６０ｃは、奥行値ＤＬ，ＤＲの大小判定を行ってから、その判定結果に応じて、差分絶対値ＥＬＤＲ，ＥＲＤＲまたは差分絶対値ＥＬＤＬ，ＥＲＤＬを算出してもよい。
【０２０４】
なお、各実施形態では、本発明に係る奥行推定装置を独立した装置として説明したが、これに限定されない。例えば、本発明では、一般的なコンピュータのハードウェア資源を、奥行推定装置の各手段として協調動作させる奥行推定プログラムによって実現することができる。また、この奥行推定プログラムは、通信回線を介して配布したり、ＣＤ−ＲＯＭ等の記録媒体に記録して配布したりすることも可能である。
【符号の説明】
【０２０５】
１，１Ｂ 奥行推定装置
１０，１０Ｂ 映像入力手段
２０，２０Ｂ 対応画素差分演算手段
３０ 近傍画素値出力手段
４０ 近傍奥行値出力手段
５０ 近傍奥行対応画素値出力手段
６０ 差分値決定手段
６０ａ 平均差分値演算手段
６０ｂ 最小差分値選択手段
６０ｃ 差分値選択手段
７０ 記憶手段
８０ 平滑化手段
９０ 奥行値決定手段
【技術分野】
【０００１】
本発明は、複数のカメラで被写体を撮影した映像から、多視点映像用の被写体の奥行値を推定する奥行推定装置、奥行推定方法および奥行推定プログラムに関する。
【背景技術】
【０００２】
近年、複数のカメラで同一の被写体を撮影した複数の映像（多視点映像）を用いて、立体映像や自由視点映像を生成、符号化する研究が進められている。これらの立体映像や自由視点映像を生成、符号化する技術では、基本的に、複数のカメラで被写体を撮影したカメラ映像の視差量を利用することで、被写体までの奥行値を求めている（特許文献１等参照）。
【０００３】
この特許文献１には、図２０に示すように、複数のカメラ（Ｃ１，Ｃ２，Ｃ３）で撮影された視差方向に異なるカメラ映像を、時間方向に符号化する技術が開示されている。
この符号化の際に、特許文献１に記載されている発明は、複数のカメラ（Ｃ１，Ｃ２，Ｃ３）で撮影されたカメラ映像（Ｆ１，Ｆ２，Ｆ３）間で、映像内の被写体の奥行値を仮定し、基準となるカメラ（例えば、Ｃ２）で撮影されたカメラ映像（Ｆ２）内のブロックに含まれる画素値と、カメラの位置関係と奥行値とから定まる他のカメラ（例えば、Ｃ１，Ｃ３）で撮影されたカメラ映像（Ｆ１，Ｆ３）内の対応ブロックに含まれる画素値との差分絶対値が最小となる奥行値を求めている。
【０００４】
このように、従来の手法は、複数のカメラ映像において、複数の仮定した奥行値に対応する画素値の差分絶対値が最小となる画素が、それぞれのカメラ映像の対応する画素であり、また、そのときの仮定した奥行値が当該画素の奥行値であると推定していた。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−３６８００号公報（段落〔０１１８〕〜〔０１１２〕）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
前記したように、複数のカメラ映像において、複数の仮定した奥行値に対応する画素値の差分絶対値が最小となる画素を探索し、当該画素の奥行値を推定する手法では、以下に示す問題がある。
例えば、被写体の重なりによって、複数のカメラ映像間で対応点が存在しない場合や、画素値の変化が少ない一様な被写体において、複数のカメラ映像間に、画素値が近似する複数の誤った対応点が存在する場合がある。これらの場合、従来の手法では、単に、画素値の差分絶対値が最小となる画素を探索するため、誤った対応点を探索（偽マッチング）してしまう場合がある。さらに、従来の手法では、被写体のテクスチャが一様な場合には誤った対応点を探索（偽マッチング）することがあり、一部の色が異なる被写体の場合にはオクルージョンの有無を誤って判定することがある。
【０００７】
本発明は、このような問題点に鑑みてなされたものであり、複数のカメラ映像間で対応点が存在しない場合、一様な被写体で複数のカメラ映像間における対応点が複数存在する場合であっても、奥行値の誤推定を低減することが可能な奥行推定装置、奥行推定方法および奥行推定プログラムを提供することを課題とする。
さらに、本発明は、被写体のテクスチャが一様な場合や、一部の色が異なる被写体の場合であっても、奥行値の誤推定を低減することが可能な奥行推定装置、奥行推定方法および奥行推定プログラムを提供することを課題とする。
【課題を解決するための手段】
【０００８】
本発明は、前記課題を解決するために創案されたものであり、まず、本願第１発明に係る奥行推定装置は、予め定めた位置に複数配列したカメラで同一の被写体を撮影した複数のカメラ映像から、前記被写体の奥行きを示す奥行値を推定する奥行推定装置であって、映像入力手段と、対応画素差分演算手段と、近傍画素値出力手段と、近傍奥行対応画素値出力手段と、差分値決定手段と、記憶手段と、平滑化手段と、奥行値決定手段と、近傍奥行値出力手段とを備える構成とした。
【０００９】
かかる構成において、奥行推定装置は、映像入力手段によって、前記複数配列した前記カメラの何れかにおいて、予め定めた基準カメラで前記被写体を撮影した基準映像と、前記基準カメラ以外の隣接カメラで前記被写体を撮影した複数の隣接映像とを入力する。この隣接映像は、基準映像からの視差を計測するための映像であり、例えば、基準カメラに対して左右に位置する２台の隣接カメラで撮影された映像である。
【００１０】
そして、奥行推定装置は、対応画素差分演算手段によって、前記奥行値を仮定した仮定奥行値および前記基準映像の注目画素ごとに、前記注目画素の画素値と、当該注目画素の前記仮定奥行値の視差に対応する画素位置にある前記複数の隣接映像の対応画素の画素値との差分絶対値である対応画素差分値を演算する。この仮定奥行値は、基準映像の画素に対応する被写体の奥行値を仮定した値であって、例えば、最小視差（“０”）から最大視差までの値とする。この対応画素差分演算手段によって、基準映像の注目画素の画素値と、隣接映像の仮定奥行値に対応した対応画素値との差分絶対値が算出される。なお、この差分絶対値（隣接映像の対応画素差分値）は、その値が小さい程、仮定奥行値が実際の被写体において同一の対応点を指し示している可能性が高いと言える。
【００１１】
そして、奥行推定装置は、近傍画素値出力手段によって、前記映像入力手段に入力された基準映像において、前記基準映像の注目画素の画素値と、予め定めた近傍画素数だけ前記注目画素から左右に離れた画素位置にある近傍画素の画素値とを出力する。さらに、奥行推定装置は、近傍奥行対応画素値出力手段によって、前記仮定奥行値および前記注目画素ごとに、前記基準映像に対して左右の隣接映像から、前記近傍画素の奥行値の視差に対応する画素位置にある近傍奥行対応画素の画素値を出力する。
【００１２】
そして、奥行推定装置は、差分値決定手段によって、前記仮定奥行値および前記注目画素ごとに、前記対応画素差分値の平均値である平均差分値と、前記対応画素差分値の最小値である最小差分値を求め、前記注目画素の画素値と前記近傍画素の画素値と前記近傍画素の奥行値と前記近傍奥行対応画素の画素値とに基づいて、前記最小差分値または前記平均差分値の何れかを、予め定めた条件により選択差分値として決定する。さらに、奥行推定装置は、記憶手段によって、前記差分値決定手段で決定した選択差分値を前記仮定奥行値と前記基準映像の画素位置とに対応付けて記憶する。
【００１３】
なお、正しい奥行値に対する選択差分値であれば、その値は小さくなり、ノイズ等によって、ある隣接映像の対応画素差分値が誤った値をとった場合であっても、複数の対応画素差分値を平均化することで、全体として選択差分値が小さくなる。
また、奥行推定装置は、オクルージョンが有ることで、ある対応画素差分値が大きな値となった場合や、一様な被写体のために対応点が複数ある場合であっても、予め定めた条件により、平均差分値と最小差分値とから、最適な値を選択する。つまり、奥行推定装置は、最小差分値、すなわち、オクルージョンが無い側の差分値を、選択差分値として選択する。
【００１４】
ここで、被写体のテクスチャが一様な場合や、一部の色が異なる被写体の場合、注目画素と同一の基準映像から取得した近傍画素の画素値や奥行値を利用するだけでは、奥行値の推定精度が低くなってしまう。このため、奥行推定装置は、隣接画像から取得した近傍奥行対応画素を利用する。
【００１５】
そして、奥行推定装置は、平滑化手段によって、前記注目画素ごとに、当該注目画素の選択差分値に、当該注目画素に隣接する画素の選択差分値が最小となる仮定奥行値と前記注目画素の選択差分値が最小となる仮定奥行値との差分を重み付け加算することで、前記選択差分値を平滑化した平滑化差分値を演算すると共に、前記平滑化差分値の総和である平滑化評価値を演算する。
これによって、基準映像の全画素で平滑化手段が平滑化を施すため、奥行値が同じ被写体の中では滑らかに変化するようになり、奥行値の誤推定が低減される。
【００１６】
そして、奥行推定装置は、奥行値決定手段によって、前記記憶手段に記憶された選択差分値に対応する仮定奥行値を当該仮定奥行値と異なる奥行値が仮定された第２仮定奥行値に代えることで前記平滑化評価値に相当する再計算評価値を演算し、当該再計算評価値が前記平滑化手段によって演算された平滑化評価値未満の場合、前記第２仮定奥行値を前記基準映像の各画素の奥行値として決定し、当該再計算評価値が前記平滑化評価値未満でない場合、前記記憶手段に記憶された選択差分値に対応する仮定奥行値を前記基準映像の各画素の奥行値として決定する。この第２仮定奥行値は、仮定奥行値と同様、基準映像の画素に対応する被写体の奥行値を仮定した値であって、例えば、最小視差量（“０”）から最大視差量までの値とする。
つまり、奥行値決定手段は、既に算出した仮定奥行値の他に、平滑化評価値が最小となる第２仮定奥行値が存在するかを再度演算し、この第２仮定奥行値が存在する場合には第２仮定奥行値を仮定奥行値として決定する。これによって、仮定奥行値がより正確になる。
【００１７】
また、本願第２発明に係る奥行推定装置は、前記差分値決定手段が、前記近傍画素同士の奥行値の差分絶対値が予め定めた第１の閾値以下の場合、または、前記近傍画素同士の画素値の差分絶対値が予め定めた第２の閾値以下の場合、前記平均差分値を前記選択差分値として決定することを特徴とする。
【００１８】
かかる構成において、奥行推定装置は、差分値決定手段によって、近傍画素の画素値や奥行値の差が小さい場合、注目画素の近傍に前景と背景との境界がないと判定し、平均差分値を選択差分値として選択する。これによって、奥行推定装置は、より正しい選択差分値を選択することができる。
【００１９】
また、本願第３発明に係る奥行推定装置は、前記差分値決定手段が、前記近傍画素同士の奥行値の差分絶対値が予め定めた第１の閾値を超え、かつ、前記近傍画素同士の画素値の差分絶対値が予め定めた第２の閾値を越える場合、前記基準映像に対する左右の隣接映像のそれぞれから、前記近傍奥行対応画素の画素値と前記注目画素の画素値との差分絶対値を演算すると共に、左右の前記近傍画素のうち小さい方の奥行値を有する側の前記近傍奥行対応画素の画素値と前記注目画素の画素値との差分絶対値が、当該小さい方と反対側の前記近傍奥行対応画素の画素値と前記注目画素の画素値との差分絶対値より小さい場合、前記最小差分値を前記選択差分値として決定することを特徴とする。
【００２０】
かかる構成において、奥行推定装置は、差分値決定手段によって、注目画素の画素値が、反対側の近傍奥行対応画素の画素値より、背景がある側の近傍奥行対応画素の画素値に近い場合、オクルージョンが有ると判定し、最小差分値を選択差分値として選択する。これによって、奥行推定装置は、より正しい選択差分値を選択することができる。
【００２１】
また、本願第４発明に係る奥行推定装置は、前記差分値決定手段が、前記近傍画素同士の奥行値の差分絶対値が予め定めた第１の閾値を超え、かつ、前記近傍画素同士の画素値の差分絶対値が予め定めた第２の閾値を越える場合、前記基準映像に対する左右の隣接映像のそれぞれから、前記近傍奥行対応画素の画素値と前記注目画素の画素値との差分絶対値を演算すると共に、左右の前記近傍画素のうち小さい方の奥行値を有する側の前記近傍奥行対応画素の画素値と前記注目画素の画素値との差分絶対値が、当該小さい方と反対側の前記近傍奥行対応画素の画素値と前記注目画素の画素値との差分絶対値より小さくない場合、前記平均差分値を前記選択差分値として決定することを特徴とする。
【００２２】
かかる構成において、奥行推定装置は、差分値決定手段によって、注目画素の画素値が、背景がある側の近傍奥行対応画素の画素値より、反対側の近傍奥行対応画素の画素値に近い場合、オクルージョンが無いと判定し、平均差分値を選択差分値として選択する。これによって、奥行推定装置は、より正しい選択差分値を選択することができる。
【００２３】
また、本願第５発明に係る奥行推定装置は、前記差分値決定手段が、前記奥行値の推定回数が１回目の場合、前記平均差分値を前記選択差分値として決定し、前記奥行値の推定回数が２回目以降の場合、前記予め定めた条件により前記選択差分値を決定することを特徴とする。
【００２４】
かかる構成において、奥行推定装置は、１回目の奥行推定では、平均差分値を選択差分値として決定することで、偽マッチングを防止して、テクスチャが一様の被写体であっても正しい奥行値を推定する。そして、奥行推定装置は、得られた奥行値を用いて２回目以降の奥行推定を行うことで、オクルージョンの有無を正確に判定することができる。
【００２５】
また、本願第６発明に係る奥行推定装置は、前記対応画素差分演算手段が、前記基準映像の左右に位置する隣接映像から前記対応画素が外れる場合、前記基準映像に対して、前記対応画素が外れる側の隣接画像に反対側の隣接映像と、当該反対側の隣接映像にさらに隣接する隣接映像とにおいて、前記対応画素の画素値の差分絶対値を前記対応画素差分値として演算することを特徴とする。
【００２６】
かかる構成において、奥行推定装置は、対応画素差分演算手段によって、基準映像内の注目画素に対応する対応画素が映像内にある２つの隣接映像を用いて、対応画素差分値を演算する。これによって、奥行推定装置は、偽マッチングを防止することができる。
【００２７】
また、本願第７発明に係る奥行推定装置は、前記近傍奥行値出力手段が、前記近傍画素同士の奥行値の差分絶対値が予め定めた閾値（第１の閾値）以下の場合、前記近傍画素数を半分とし、前記注目画素から当該近傍画素数だけ左右に離れた画素位置の近傍画素の奥行値を出力することを特徴とする。
【００２８】
かかる構成において、奥行推定装置は、大きな視差量を持つために基準映像内では遠くに離れた被写体であっても、オクルージョンの有無を判定すると共に、オクルージョンが無いと判定された場合であっても、近傍画素までの距離を半分にして、隣接映像でのオクルージョンの有無を再度判定することになる。これによって、奥行推定装置は、左右の幅が狭い被写体（例えば、柱）であっても、隣接映像でのオクルージョンの有無を正しく判定することができる。
【００２９】
また、本願第８発明に係る奥行推定方法は、予め定めた位置に複数配列したカメラで同一の被写体を撮影した複数のカメラ映像から、前記被写体の奥行きを示す奥行値を推定する奥行推定方法であって、映像入力ステップと、対応画素差分演算ステップと、差分値決定ステップと、平滑化ステップと、奥行値決定ステップとを備え、差分値決定ステップが、近傍画素値出力ステップと、近傍奥行値出力ステップと、近傍奥行対応画素値出力ステップとを備える手順とした。
【００３０】
かかる手順において、奥行推定方法は、映像入力ステップにおいて、映像入力手段が、前記複数配列した前記カメラの何れかにおいて、予め定めた基準カメラで前記被写体を撮影した基準映像と、前記基準カメラ以外の隣接カメラで前記被写体を撮影した複数の隣接映像とを入力する。そして、奥行推定方法は、対応画素差分演算ステップにおいて、対応画素差分演算手段が、前記奥行値を仮定した仮定奥行値および前記基準映像の注目画素ごとに、前記注目画素の画素値と、当該注目画素の前記仮定奥行値の視差に対応する画素位置にある前記複数の隣接映像の対応画素の画素値との差分絶対値である対応画素差分値を演算する。
【００３１】
そして、奥行推定方法は、差分値決定ステップにおいて、差分値決定手段が、前記仮定奥行値および前記注目画素ごとに、前記対応画素差分値の平均値である平均差分値と、前記対応画素差分値の最小値である最小差分値を求め、前記注目画素の画素値と前記近傍画素の画素値と前記近傍画素の奥行値と前記近傍奥行対応画素の画素値とに基づいて、前記最小差分値または前記平均差分値の何れかを、予め定めた条件により選択差分値として決定して、当該選択差分値を前記仮定奥行値と前記基準映像の画素位置とに対応付けて記憶手段に書き込む。
【００３２】
そして、奥行推定方法は、平滑化ステップにおいて、平滑化手段が、前記注目画素ごとに、当該注目画素の選択差分値に、当該注目画素に隣接する画素の選択差分値が最小となる仮定奥行値と前記注目画素の選択差分値が最小となる仮定奥行値との差分を重み付け加算することで、前記選択差分値を平滑化した平滑化差分値を演算すると共に、前記平滑化差分値の総和である平滑化評価値を演算する。
【００３３】
そして、奥行推定方法は、奥行値決定ステップにおいて、奥行値決定手段が、前記記憶手段に記憶された選択差分値に対応する仮定奥行値を当該仮定奥行値と異なる奥行値が仮定された第２仮定奥行値に代えることで前記平滑化評価値に相当する再計算評価値を演算し、当該再計算評価値が前記平滑化手段によって演算された平滑化評価値未満の場合、前記第２仮定奥行値を前記基準映像の各画素の奥行値として決定し、当該再計算評価値が前記平滑化評価値未満でない場合、前記記憶手段に記憶された選択差分値に対応する仮定奥行値を前記基準映像の各画素の奥行値として決定する。
【００３４】
そして、奥行推定方法は、近傍奥行値出力ステップにおいて、近傍奥行値出力手段が、前記近傍画素の奥行値を出力する。さらに、奥行推定方法は、近傍画素値出力ステップにおいて、近傍画素値出力手段が、前記基準映像における前記基準映像の注目画素の画素値と、予め定めた近傍画素数だけ前記注目画素から左右に離れた画素位置にある近傍画素の画素値とを出力する。
【００３５】
そして、奥行推定方法は、近傍奥行対応画素値出力ステップにおいて、近傍奥行対応画素値出力手段が、前記仮定奥行値および前記注目画素ごとに、前記基準映像に対して左右の隣接映像から、前記近傍画素の奥行値の視差に対応する画素位置にある近傍奥行対応画素の画素値を出力する。
【００３６】
また、本願第９発明に係る奥行推定プログラムは、予め定めた位置に複数配列したカメラで同一の被写体を撮影した複数のカメラ映像から、前記被写体の奥行きを示す奥行値を推定するために、コンピュータを、映像入力手段、対応画素差分演算手段、近傍画素値出力手段、近傍奥行対応画素値出力手段、差分値決定手段、平滑化手段、奥行値決定手段、近傍奥行値出力手段として機能させる構成とした。
【００３７】
かかる構成において、奥行推定プログラムは、映像入力手段によって、前記複数配列した前記カメラの何れかにおいて、予め定めた基準カメラで前記被写体を撮影した基準映像と、前記基準カメラ以外の隣接カメラで前記被写体を撮影した複数の隣接映像とを入力する。そして、奥行推定プログラムは、対応画素差分演算手段によって、前記奥行値を仮定した仮定奥行値および前記基準映像の注目画素ごとに、前記注目画素の画素値と、当該注目画素の前記仮定奥行値の視差に対応する画素位置にある前記複数の隣接映像の対応画素の画素値との差分絶対値である対応画素差分値を演算する。
【００３８】
そして、奥行推定プログラムは、近傍画素値出力手段によって、前記映像入力手段に入力された基準映像において、当該基準映像の注目画素の画素値と、予め定めた近傍画素数だけ前記注目画素から左右に離れた画素位置にある近傍画素の画素値とを出力する。さらに、奥行推定プログラムは、近傍奥行対応画素値出力手段によって、前記仮定奥行値および前記注目画素ごとに、前記基準映像に対して左右の隣接映像から、前記近傍画素の奥行値の視差に対応する画素位置にある近傍奥行対応画素の画素値を出力する。
【００３９】
そして、奥行推定プログラムは、差分値決定手段によって、前記仮定奥行値および前記注目画素ごとに、前記対応画素差分値の平均値である平均差分値と、前記対応画素差分値の最小値である最小差分値を求め、前記注目画素の画素値と前記近傍画素の画素値と前記近傍画素の奥行値と前記近傍奥行対応画素の画素値とに基づいて、前記最小差分値または前記平均差分値の何れかを、予め定めた条件により選択差分値として決定して、当該選択差分値を前記仮定奥行値と前記基準映像の画素位置とに対応付けて記憶手段に書き込む。
【００４０】
そして、奥行推定プログラムは、平滑化手段によって、前記注目画素ごとに、当該注目画素の選択差分値に、当該注目画素に隣接する画素の選択差分値が最小となる仮定奥行値と前記注目画素の選択差分値が最小となる仮定奥行値との差分を重み付け加算することで、前記選択差分値を平滑化した平滑化差分値を演算すると共に、前記平滑化差分値の総和である平滑化評価値を演算して、当該平滑化差分値を前記仮定奥行値と前記基準映像の画素位置とに対応付けて記憶手段に書き込む。
【００４１】
そして、奥行推定プログラムは、奥行値決定手段によって、前記記憶手段に記憶された選択差分値に対応する仮定奥行値を当該仮定奥行値と異なる奥行値が仮定された第２仮定奥行値に代えることで前記平滑化評価値に相当する再計算評価値を演算し、当該再計算評価値が前記平滑化手段によって演算された平滑化評価値未満の場合、前記第２仮定奥行値を前記基準映像の各画素の奥行値として決定し、当該再計算評価値が前記平滑化評価値未満でない場合、前記記憶手段に記憶された選択差分値に対応する仮定奥行値を前記基準映像の各画素の奥行値として決定する。さらに、奥行推定プログラムは、近傍奥行値出力手段によって、前記奥行値決定手段から基準映像の各画素の奥行値が入力されると共に、前記近傍画素の奥行値を前記近傍奥行対応画素値出力手段および前記差分値決定手段に出力する。
【発明の効果】
【００４２】
本発明は、以下に示す優れた効果を奏するものである。
本願第１，８，９発明によれば、一部の色が異なる被写体にオクルージョンが有る場合であっても、注目画素の画素値と近傍奥行対応画素の画素値との比較によって、被写体の色の違いにかかわらず、オクルージョンの有無を判定する。オクルージョンが有ると判定された場合、本願第１，８，９発明によれば、最小差分値、すなわち、オクルージョンが無い側の差分値を、選択差分値として正しく選択できる。
【００４３】
また、本願第１，８，９発明によれば、テクスチャが一様な被写体のために偽マッチングが生じる場合であっても、注目画素の画素値と近傍奥行対応画素の画素値との比較によって、オクルージョンの有無を判定する。オクルージョンが無いと判定された場合、本願第１，８，９発明によれば、偽マッチングを防止するため、平均差分値を選択差分値として選択する。このように、正しい選択差分値を選択できるため、本願第１，８，９発明によれば、奥行値の誤推定を低減することができる。
【００４４】
本願第２発明によれば、注目画素が被写体の境界付近になく、オクルージョンが無い場合、平均差分値を選択差分値として選択することにより、偽マッチングを防止する。これによって、本願第２発明によれば、より正しい選択差分値を選択し、奥行値の推定精度をより向上させることができる。
【００４５】
本願第３発明によれば、左右の対応画素でオクルージョンが有る場合、左右の差分絶対値のうち、オクルージョンが無い側の選択差分値を選択する。これによって、本願第３発明によれば、正しい選択差分値を選択し、奥行値の推定精度をより向上させることができる。
【００４６】
本願第４発明によれば、注目画素が被写体の境界付近にあっても、隣接映像でオクルージョンが無い場合、平均差分値を選択差分値として選択することにより、偽マッチングを防止する。これによって、本願第３発明によれば、正しい選択差分値を選択し、奥行値の推定精度をより向上させることができる。
【００４７】
本願第５発明によれば、１回目の奥行推定では、平均差分値を選択することで、偽マッチングを防止して、テクスチャが一様の被写体であっても正しい奥行値を推定できる。さらに、本願第５発明によれば、この推定した奥行値を用いて、２回目以降の奥行推定を行うことで、オクルージョンの有無を正確に判定することができ、奥行値の推定精度をより向上させることができる。
【００４８】
本願第６発明によれば、注目画素が基準映像の端に位置して、左右の隣接映像から対応画素が外れる場合であっても、対応画素が外れない別の隣接映像を用いて、対応画素の差分絶対値を演算する。これによって、本願第６発明によれば、偽マッチングを防止し、奥行値の推定精度をより向上させることができる。
【００４９】
本願第７発明によれば、非常に大きな視差を持つ被写体であっても、隣接映像でオクルージョンが有る可能性のある画素位置での近傍奥行対応画素の画素値を調べるので、オクルージョンの有無を正しく判定できる。また、本願第７発明によれば、幅の細い被写体であっても、隣接画素までの距離を変えてオクルージョンの有無を判定するので、この被写体を見逃すことが少ない。このように、本願第７発明によれば、オクルージョンの有無を正しく判定すると共に、非常に大きな視差を持つ被写体を見逃すことが少なく、奥行値の推定精度をより向上させることができる。
【図面の簡単な説明】
【００５０】
【図１】本発明の第１実施形態に係る奥行推定システムの構成を示すブロック図である。
【図２】本発明の第１実施形態に係る奥行推定装置の構成を示すブロック図である。
【図３】本発明において、オクルージョンが有るが仮定奥行値が正しい場合において、注目画素と左右の対応画素との関係を説明するための説明図である。
【図４】本発明において、対応画素が左右の隣接映像から外れる場合を説明するための説明図である。
【図５】本発明において、注目画素と近傍画素との関係を説明するための説明図である。
【図６】本発明において、近傍画素の奥行値を説明するための説明図である。
【図７】本発明において、近傍画素の奥行値に対応する近傍奥行対応画素を説明するための説明図である。
【図８】図２の奥行推定装置の全体動作を示すフローチャートである。
【図９】図２の奥行推定装置の対応画素差分演算動作を示すフローチャートである。
【図１０】図２の奥行推定装置の差分値決定動作を示すフローチャーである。
【図１１】図２の奥行推定装置の近傍奥行値出力動作を示すフローチャーである。
【図１２】図２の奥行推定装置の差分値選択動作を示すフローチャーである。
【図１３】図２の奥行推定装置の近傍画素値出力動作を示すフローチャーである。
【図１４】図２の奥行推定装置の近傍奥行対応画素値出力動作を示すフローチャーである。
【図１５】図２の奥行推定装置の平滑化動作を示すフローチャートである。
【図１６】図２の奥行推定装置の奥行値決定動作を示すフローチャートである。
【図１７】本発明の第２実施形態に係る奥行推定システムの構成を示すブロック図である。
【図１８】本発明の第２実施形態に係る奥行推定装置の構成を示すブロック図である。
【図１９】図１８の奥行推定装置の対応画素差分演算動作を示すフローチャートである。
【図２０】従来の奥行推定手法を説明するための説明図である。
【発明を実施するための形態】
【００５１】
以下、本発明の各実施形態について、適宜図面を参照しながら詳細に説明する。なお、各実施形態において、同一の機能を有する手段には同一の符号を付し、説明を省略した。
【００５２】
（第１実施形態）
［奥行推定システムの全体構成］
以下、本発明の第１実施形態について図面を参照して説明する。
図１を参照して、本発明の第１実施形態に係る奥行推定装置１を含んだ奥行推定システムＳの全体構成について説明する。奥行推定システムＳは、複数配列したカメラＣＭで被写体Ｔを撮影した多視点映像から、被写体Ｔの奥行値Ｄ（図２参照）を推定した奥行映像ＦＺを生成するものである。図１に示した奥行推定システムＳは、カメラＣＭ（ＣＬＬ，ＣＬ，ＣＣ，ＣＲ，ＣＲＲ）と、奥行推定装置１とを備えている。なお、複数のカメラＣＬＬ，ＣＬ，ＣＣ，ＣＲ，ＣＲＲをまとめて、カメラＣＭと記載する。
【００５３】
カメラＣＭは、被写体Ｔを撮影する一般的な撮影装置である。ここでは、水平方向の視差に応じて奥行値Ｄを生成することとし、視差の基準となるカメラ（基準カメラ）ＣＣに対し、水平方向に予め定めた距離Ｌだけ互いに等間隔で離間して、カメラ（隣接カメラ）ＣＬＬ，ＣＬ，ＣＲ，ＣＲＲを平行に配置している。このカメラＣＭ（ＣＬＬ，ＣＬ，ＣＣ，ＣＲ，ＣＲＲ）で撮影された映像（ＦＬＬ，ＦＬ，ＦＣ，ＦＲ，ＦＲＲ）は、奥行推定装置１に入力される。
なお、この距離Ｌは、奥行値Ｄと視差量とが対応可能な範囲であれば、その距離は任意である。また、被写体Ｔは、例えば、背景Ａおよび前景Ｂを含んでいる。
【００５４】
カメラＣＣは、視差の基準となる映像（基準映像ＦＣ）を撮影するものである。また、カメラＣＬ，ＣＲは、それぞれカメラＣＣの左右に配置されたカメラであって、基準映像ＦＣとの視差を求めるための映像（隣接映像ＦＬ，ＦＲ）を撮影するものである。さらに、カメラＣＲＲは、カメラＣＲの右に配置されたカメラであって、隣接映像ＦＬに代わって対応画素を求めるための隣接映像ＦＲＲを撮影するものである。さらに、カメラＣＬＬは、カメラＣＬの左に配置されたカメラであって、隣接映像ＦＲに代わって対応画素を求めるための隣接映像ＦＬＬを撮影するものである。
【００５５】
なお、垂直方向の視差に応じて奥行値Ｄを生成する場合であれば、カメラＣＭの配置は、垂直方向に離間させて配置すればよい。
また、カメラＣＭが撮影する映像（ＦＬＬ，ＦＬ，ＦＣ，ＦＲ，ＦＲＲ）は、静止画であっても動画であっても構わない。動画である場合、カメラＣＭは、互いにフレーム同期を行うことで、順次、静止画のフレーム画像として奥行推定装置１に入力されることとする。あるいは、フレーム画像ごとにタイムコードを付加し、奥行推定装置１で同期をとることとしてもよい。
【００５６】
奥行推定装置１は、予め定めた位置に複数配列したカメラで同一の被写体を撮影した複数のカメラ映像から、被写体Ｔの奥行きを示す奥行値を推定するものである。ここでは、奥行推定装置１は、水平方向に配列したカメラＣＭ（ＣＬＬ，ＣＬ，ＣＣ，ＣＲ，ＣＲＲ）で被写体Ｔを撮影したカメラ映像（ＦＬＬ，ＦＬ，ＦＣ，ＦＲ，ＦＲＲ）から、被写体Ｔの奥行きを示す奥行値Ｄを推定する。なお、ここでは、奥行推定装置１は、奥行値Ｄを、映像の各画素値に対応付けることで奥行映像ＦＺを生成することとする。
【００５７】
［奥行推定装置の構成］
図２を参照して、本発明の第１実施形態に係る奥行推定装置１の構成について説明する（適宜図１参照）。図２に示すように、奥行推定装置１は、映像入力手段１０と、対応画素差分演算手段２０と、近傍画素値出力手段３０と、近傍奥行値出力手段４０と、近傍奥行対応画素値出力手段５０と、差分値決定手段６０と、記憶手段７０と、平滑化手段８０と、奥行値決定手段９０とを備える。
【００５８】
映像入力手段１０は、カメラＣＭで撮影された複数のカメラ映像を入力するものである。ここでは、映像入力手段１０は、予め定めた基準カメラＣＣで撮影した基準映像ＦＣと、隣接カメラＣＬＬ，ＣＬ，ＣＲ，ＣＲＲで撮影した隣接映像ＦＬＬ，ＦＬ，ＦＲ，ＦＲＲとを入力する。
この映像入力手段１０で入力した各映像（ＦＬＬ，ＦＬ，ＦＣ，ＦＲ，ＦＲＲ）は、図示を省略したメモリに記憶され、後記する対応画素差分演算手段２０、近傍画素値出力手段３０、および、近傍奥行対応画素値出力手段５０によって参照されるものとする。
【００５９】
ここで、注目画素ＰＣにオクルージョンが有る場合の基準映像ＦＣと左右の隣接映像ＦＬ，ＦＲの見え方について説明を補足する。図３に示すように、注目画素ＰＣが、右側の前景Ｂに接近した背景Ａの上にある場合、基準映像ＦＣと隣接映像ＦＬでは注目点ＰＣが見える。その一方、隣接映像ＦＲでは，前景Ｂに隠れて注目点ＰＣが見えず、代わりに前景Ｂ上の対応点ＰＲが見えている。従って、左側の対応画素ＰＬと注目画素ＰＣとの対応画素差分値（マッチング誤差）を選択すれば、正しい対応画素差分値を取得できる。その一方、右側の対応画素ＰＲの対応画素差分値を選択した場合、または、左右の対応画素差分値の平均値を選択した場合、誤った対応画素差分値を取得することになり、奥行値を誤推定してしまう。そこで、奥行推定装置１は、注目画素ＰＣの左右近傍の奥行値と画素値とを調べ、注目画素ＰＣにオクルージョンの有無を判定することにより、マッチング誤差を正しく選択する。
【００６０】
以下、図２に戻り、奥行推定装置の構成の説明を続ける（適宜、図３参照）。
対応画素差分演算手段２０は、仮定奥行値ｄ（図３参照）および注目画素ＰＣごとに、基準映像ＦＣの注目画素ＰＣの画素値と、当該注目画素ＰＣの仮定奥行値ｄの視差に対応する隣接映像ＦＬ，ＦＲの対応画素ＰＬ，ＰＲ（図３参照）の画素値との差分絶対値である隣接映像の対応画素差分値ＥＣＬ，ＥＣＲを演算するものである。ここで、隣接映像の対応画素差分値ＥＣＬは、基準映像ＦＣと隣接映像ＦＬとの間で演算された差分絶対値であり、隣接映像の対応画素差分値ＥＣＲは、基準映像ＦＣと隣接映像ＦＲとの間で演算された差分絶対値である。
【００６１】
なお、画素値の差分絶対値は、カメラ映像（ＦＬ，ＦＣ，ＦＲ）が、輝度（輝度値）と色差信号（色差値）との各要素で構成される場合、当該画素の輝度値の差分絶対値と、色差値の差分絶対値とを加算平均した値とする。このとき、色差値の差分絶対値に任意の係数を掛けて、色成分の重みを調整することとしてもよい。
また、画素値の差分絶対値は、カメラ映像（ＦＬ，ＦＣ，ＦＲ）が、ＲＧＢのカラー信号で構成される場合、カラー信号の要素であるＲ値の差分絶対値と、Ｇ値の差分絶対値と、Ｂ値の差分絶対値とを加算平均した値とする。
【００６２】
また、仮定奥行値ｄは、被写体Ｔの奥行値Ｄを仮に設定する値であって、最小視差量から最大視差量ＤＭに対応する奥行値Ｄまでの値をとる。例えば、奥行値Ｄを８ビットのデータで表す場合、仮定奥行値ｄは、“０”（最小視差量）〜“２５５”（最大視差量）の範囲の値をとる。また、ここでは、対応画素差分演算手段２０は、最小視差量（例えば、“０”）から最大視差量（例えば、“２５５”）に対応する奥行値Ｄまで、順次、仮定奥行値ｄを設定し、当該仮定奥行値ｄの視差に対応する対応画素と間の画素値の差分を対応画素差分値として演算する。また、ここでは、奥行値Ｄの単位と画素間の視差の単位とを同一とし、奥行値Ｄが“１”増加することで、１画素ずつ視差が増加することとする。
【００６３】
対応画素差分演算手段２０は、基準映像ＦＣの（ｘ，ｙ）座標（注目画素ＰＣ）における画素値をＰＣ（ｘ，ｙ）、基準映像ＦＣの（ｘ，ｙ）座標の仮定奥行値ｄに対応する隣接映像ＦＬの（ｘ＋ｄ，ｙ）座標（対応画素ＰＬ）の画素値をＰＬ（ｘ＋ｄ，ｙ）、隣接映像ＦＲの（ｘ−ｄ，ｙ）座標（対応画素ＰＲ）の画素値をＰＲ（ｘ−ｄ，ｙ）としたとき、以下の（１）式によって、対応画素差分値ＥＣＬ（ｄ，ｘ，ｙ），ＥＣＲ（ｄ，ｘ，ｙ）を算出する。なお、「｜｜」は、絶対値を示す。
ＥＣＬ（ｄ，ｘ，ｙ）＝｜ＰＬ（ｘ＋ｄ，ｙ）−ＰＣ（ｘ，ｙ）｜
ＥＣＲ（ｄ，ｘ，ｙ）＝｜ＰＲ（ｘ−ｄ，ｙ）−ＰＣ（ｘ，ｙ）｜ …（１）式
【００６４】
ここで、図４を参照し、隣接映像ＦＬから対応画素ＰＬが外れる場合、対応画素差分値ＥＣＬ，ＥＣＲの演算方法について説明する（適宜図２参照）。図４に示すように、隣接映像ＦＬから対応画素ＰＬが外れてしまうと、左側の対応画素差分値ＥＣＬが求まらず、右側の対応画素差分値ＥＣＲのみを用いて、奥行値を推定しなければならない。このとき，注目画素ＰＣの近傍に存在する被写体Ｔが一様なテクスチャの場合、対応画素差分値ＥＣＲは、どの仮定奥行値ｄでも近似した値となってしまい、正しい奥行値を推定できない。この場合、基準映像ＦＣに対して、対応画素ＰＬが外れた側の隣接映像ＦＬと反対側の右の隣接映像ＦＲ，FＲＲでは、対応画素ＰＲ，ＰＲＲが外れないと考えられる。そこで、対応画素差分演算手段２０は、これら隣接映像ＦＲ，FＲＲの対応画素ＰＲ，ＰＲＲを用いて、対応画素差分値ＥＣＬ，ＥＣＲを算出する。
【００６５】
まず、対応画素差分演算手段２０は、隣接映像ＦＬ，ＦＲから対応画素ＰＬ，ＰＲが外れていないか否かを判定する。具体的には、対応画素差分演算手段２０は、注目画素ＰＣのｘ座標値を仮定奥行値ｄだけ左に移動させた対応画素ＰＲの画素位置（ｘ−ｄ）が、０以上であるか否かを判定する。つまり、対応画素差分演算手段２０は、以下の（２）式によって、対応画素ＰＲが隣接映像ＦＲから外れていないか否かを判定する。
ｘ−ｄ≧０ …（２）式
【００６６】
また、対応画素差分演算手段２０は、注目画素ＰＣのｘ座標値を仮定奥行値ｄだけ右に移動させた対応画素ＰＬの画素位置（ｘ＋ｄ）が、予め設定した映像幅（例えば、１９２０ピクセル）未満であるか否かを判定する。つまり、対応画素差分演算手段２０は、以下の（３）式によって、対応画素ＰＬが隣接映像ＦＬから外れていないか否かを判定する。
ｘ＋ｄ＜映像幅 …（３）式
【００６７】
図４の例では、隣接映像ＦＬから対応画素ＰＬが外れているため、（３）式を満たさない。この場合、対応画素差分演算手段２０は、以下の（４）式によって、対応画素差分値ＥＣＬ，ＥＣＲを演算する。
ＥＣＬ（ｄ，ｘ，ｙ）＝｜ＰＲＲ（ｘ−２ｄ，ｙ）−ＰＣ（ｘ，ｙ）｜
ＥＣＲ（ｄ，ｘ，ｙ）＝｜ＰＲ（ｘ−ｄ，ｙ）−ＰＣ（ｘ，ｙ）｜ …（４）式
【００６８】
図示を省略したが、右隣接映像ＦＲから対応画素ＰＲが外れる場合、（２）式を満たさない。この場合、対応画素差分演算手段２０は、以下の（５）式によって、対応画素差分値ＥＣＬ，ＥＣＲを演算する。
ＥＣＬ（ｄ，ｘ，ｙ）＝｜ＰＬ（ｘ＋ｄ，ｙ）−ＰＣ（ｘ，ｙ）｜
ＥＣＲ（ｄ，ｘ，ｙ）＝｜ＰＬＬ（ｘ＋２ｄ，ｙ）−ＰＣ（ｘ，ｙ）｜ …（５）式
【００６９】
また、対応画素差分演算手段２０は、隣接映像ＦＬ，ＦＲから対応画素ＰＬ，ＰＲが外れていない場合、すなわち、（２）式および（３）式を両方満たす場合、（１）式によって対応画素差分値ＥＣＬ，ＥＣＲを算出する。これによって、奥行推定装置１は、隣接映像ＦＬ，ＦＲから対応画素ＰＬ，ＰＲが外れる場合でも、反対側の２つの隣接映像ＦＲ，ＦＲＲ，ＦＬ，ＦＬＬを用いて、対応画素差分値ＥＣＬ，ＥＣＲを算出することができ、奥行値の誤推定を低減することができる。
【００７０】
そして、対応画素差分演算手段２０は、仮定奥行値ｄ（最小視差量〜最大視差量）ごとの対応画素差分値ＥＣＬ，ＥＣＲを差分値決定手段６０に出力する。なお、対応画素差分演算手段２０は、演算対象となる注目画素ＰＣの画素位置（ｘ，ｙ）および仮定奥行値ｄを順次更新して、対応画素差分値ＥＣＬ，ＥＣＲを演算する。
【００７１】
以下、図５を参照して、近傍画素値出力手段３０を説明する（適宜図２参照）。
近傍画素値出力手段３０は、映像入力手段１０から基準映像ＦＣを入力し、以下の（６）式によって、注目画素ＰＣ（ｘ，ｙ）の画素値ＰＣと、注目画素ＰＣ（ｘ，ｙ）から近傍画素数ｓだけ左に離れた画素位置ＰＣ（ｘ−ｓ，ｙ）にある近傍画素の画素値ＰＳＬと、注目画素ＰＣ（ｘ，ｙ）から近傍画素数ｓだけ右に離れた画素位置ＰＣ（ｘ＋ｓ，ｙ）にある近傍画素の画素値ＰＳＲとを取得する。
ＰＣ＝ＰＣ（ｘ，ｙ）
ＰＳＬ＝ＰＣ（ｘ−ｓ，ｙ）
ＰＳＲ＝ＰＣ（ｘ＋ｓ，ｙ） …（６）式
【００７２】
そして、近傍画素値出力手段３０は、注目画素ＰＣ（ｘ，ｙ）の画素値ＰＣと、画素位置ＰＣ（ｘ−ｓ，ｙ）にある近傍画素の画素値ＰＳＬと、画素位置ＰＣ（ｘ＋ｓ，ｙ）にある近傍画素の画素値ＰＳＲとを、差分値決定手段６０に出力する。
【００７３】
なお、注目画素ＰＣとは、基準映像ＦＣにおいて奥行値Ｄを推定する対象となっている画素である。
また、近傍画素ＰＳＬおよび近傍画素ＰＳＲは、図５に示すように、注目画素ＰＣを中心として、半径が近傍画素数ｓの円周上に位置する画素である。この近傍画素数ｓは、例えば、正しくオクルージョンの有無が判定できるように、初期値として最大視差量ＤＭに対応する画素数を設定する。なお、以後の各図では、左側の近傍画素を左近傍画素と図示し、右側の近傍画素を右近傍画素と図示することがある。
【００７４】
以下、図６を参照して、近傍奥行値出力手段４０を説明する。（適宜図２参照）。
近傍奥行値出力手段４０は、後記する奥行値決定手段９０から各画素の奥行値Ｄ（ｘ，ｙ）が入力され、以下の（７）式によって、注目画素ＰＣから近傍画素数ｓだけ左に離れた近傍画素ＰＳＬの奥行値ＤＬ＝Ｄ(ｘ−ｓ，ｙ)と、注目画素ＰＣから近傍画素数ｓだけ右に離れた近傍画素ＰＳＲの奥行値Ｄ＝ＤＲ(ｘ＋ｓ，ｙ)とを取得するものである。なお、以後の各図では、近傍画素の奥行値を近傍奥行値と図示し、左側の近傍画素の奥行値を左近傍奥行値と図示し、右側の近傍画素の奥行値を右近傍奥行値と図示することがある。
ＤＬ＝Ｄ(ｘ−ｓ，ｙ)
ＤＲ＝Ｄ(ｘ＋ｓ，ｙ) …（７）式
【００７５】
また、近傍奥行値出力手段４０は、以下の（８）式によって、左奥行値ＤＬと右奥行値ＤＲとの差分絶対値｜ＤＬ−ＤＲ|が、所定の閾値ｔｈ１を超えるか否かを判定する。なお、閾値ｔｈ１は、最大視差量ＤＭ（例えば、“２５５”）から最小視差量（例えば、“０”）を引いた値に所定の係数（例えば、“０．２”）を掛けた値として予め設定する。
｜ＤＬ−ＤＲ|＞ｔｈ１ …（８）式
【００７６】
差分絶対値｜ＤＬ−ＤＲ|が閾値ｔｈ１を超えない場合、近傍奥行値出力手段４０は、以下の（９）式のように近傍画素数ｓを半分にして、前記した（７）式より、近傍画素ＰＳＬの奥行値ＤＬ＝Ｄ(ｘ−ｓ，ｙ)と、近傍画素ＰＳＲの奥行値ＤＲ＝Ｄ(ｘ＋ｓ，ｙ)とを再度取得する。なお、（９）式では、“＝”は、右辺の値で左辺の値を置き換えることを意味する。
ｓ＝ｓ／２ …（９）式
【００７７】
そして、近傍奥行値出力手段４０は、取得した近傍画素ＰＳＬの奥行値ＤＬ＝Ｄ(ｘ−ｓ，ｙ)と、近傍画素ＰＳＲの奥行値ＤＲ＝Ｄ(ｘ＋ｓ，ｙ)とを、近傍奥行対応画素値出力手段５０および差分値決定手段６０に出力する。このように、最大視差量ＤＭだけ離れた画素位置の奥行値を求めることで、奥行推定装置１は、隣接映像ＦＬ，ＦＲでオクルージョンが有る可能性がある前景Ａを正しく判定することができる。つまり、差分値決定手段６０は、最大視差量ＤＭを近傍画素数ｓの初期値として用いるので、オクルージョンが有る可能性のある被写体Ｔを見逃すことがない。さらに、近傍画素数ｓを半分にして、奥行値を再度求めることで、奥行推定装置１は、判定が困難であった幅が狭い前景Ａであっても、オクルージョンの有無を判定することができる。
【００７８】
なお、１回目の奥行推定では、奥行値Ｄが求められないことになる。この場合、奥行推定装置１は、全ての画素の奥行値Ｄを初期値（例えば、“０”）に予め設定する。つまり、１回目の奥行推定を行う場合、近傍奥行値出力手段４０は、この初期値を奥行値ＤＬ，ＤＲとして近傍奥行対応画素値出力手段５０および差分値決定手段６０に出力する。一方、２回目以降の奥行推定では、近傍奥行値出力手段４０は、前回の奥行推定で求めた各画素の奥行値Ｄが奥行値決定手段９０から入力されるので、正しい近傍画素ＰＳＬの奥行値ＤＬと、正しい近傍画素ＰＳＲの奥行値ＤＲとを出力できる。
【００７９】
以下、図７を参照して、近傍奥行対応画素値出力手段５０について説明する（適宜図２参照）。なお、以後の各図では、左側の近傍奥行対応画素を左近傍奥行対応画素と図示し、右側の近傍奥行対応画素を右奥行対応画素と図示することがある。
【００８０】
近傍奥行対応画素値出力手段５０は、映像入力手段１０から基準映像ＦＣおよび隣接映像ＦＬ，ＦＲが入力され、近傍奥行値出力手段４０から近傍画素ＰＳＬの奥行値ＤＬおよび近傍画素ＰＳＲの奥行値ＤＲが入力される。そして、近傍奥行対応画素値出力手段５０は、以下の（１０）式によって、左右の隣接映像ＦＬ，ＦＲから、奥行値ＤＬの視差に対応する画素位置にある近傍奥行対応画素ＰＬ(ｘ＋ＤＬ，ｙ)，ＰＲ(ｘ−ＤＬ，ｙ)の画素値ＰＬＤＬ，ＰＲＤＬを算出する。また、近傍奥行対応画素値出力手段５０は、（１０）式によって、左右の隣接映像ＦＬ，ＦＲから、奥行値ＤＲの視差に対応する画素位置にある近傍奥行対応画素ＰＬ(ｘ＋ＤＲ，ｙ)，ＰＲ(ｘ−ＤＲ，ｙ)の画素値ＰＬＤＲ，ＰＲＤＲを算出する。
ＰＬＤＬ＝ＰＬ(ｘ＋ＤＬ，ｙ)
ＰＬＤＲ＝ＰＬ(ｘ＋ＤＲ，ｙ)
ＰＲＤＬ＝ＰＲ(ｘ−ＤＬ，ｙ)
ＰＲＤＲ＝ＰＲ(ｘ−ＤＲ，ｙ) …（１０）式
【００８１】
そして、近傍奥行対応画素値出力手段５０は、近傍奥行対応画素ＰＬ(ｘ＋ＤＬ，ｙ)，ＰＲ(ｘ−ＤＬ，ｙ)の画素値ＰＬＤＬ，ＰＲＤＬと、近傍奥行対応画素ＰＬ(ｘ＋ＤＲ，ｙ)，ＰＲ(ｘ−ＤＲ，ｙ)の画素値ＰＬＤＲ，ＰＲＤＲとを差分値決定手段６０に出力する。
【００８２】
以下、図２に戻り、奥行推定装置１の構成について説明を続ける。
差分値決定手段６０は、基準映像ＦＣの注目画素ＰＣおよび仮定奥行値ｄごとに、最小差分値Ｅｍと平均差分値Ｅａとを求めるものである。そして、差分値決定手段６０は、求めた最小差分値Ｅｍ、または平均差分値Ｅａの何れかを、予め設定された条件により選択差分値として決定する。
【００８３】
ここでは、差分値決定手段６０は、平均差分値演算手段６０ａと、最小差分値選択手段６０ｂと、差分値選択手段６０ｃと、を備えている。
【００８４】
平均差分値演算手段６０ａは、基準映像ＦＣの注目画素ＰＣおよび仮定奥行値ｄごとに、対応画素差分演算手段２０から入力された対応画素差分値ＥＣＬ，ＥＣＲの平均値（平均差分値Ｅａ）を演算するものである。
すなわち、平均差分値演算手段６０ａは、以下の（１１）によって、基準映像ＦＣの（ｘ，ｙ）座標の仮定奥行値ｄに対応する平均差分値Ｅａ（ｄ，ｘ，ｙ）を算出する。
Ｅａ（ｄ，ｘ，ｙ）＝｛ＥＣＬ（ｄ，ｘ，ｙ）＋ＥＣＲ（ｄ，ｘ，ｙ）｝／２
…（１１）式
【００８５】
そして、平均差分値演算手段６０ａは、演算により求めた仮定奥行値ｄ（“０”〜最大視差量）ごとの平均差分値Ｅａを、差分値選択手段６０ｃに出力する。
【００８６】
最小差分値選択手段６０ｂは、基準映像ＦＣの注目画素ＰＣおよび仮定奥行値ｄごとに、対応画素差分演算手段２０から入力された対応画素差分値ＥＣＬ，ＥＣＲのうちで、値が小さい方（最小差分値Ｅｍ）を選択するものである。
すなわち、最小差分値選択手段６０ｂは、以下の（１２）式によって、基準映像ＦＣの（ｘ，ｙ）座標の仮定奥行値ｄに対応する隣接映像の対応画素差分値ＥＣＬ（ｄ，ｘ，ｙ）と、隣接映像の対応画素差分値ＥＣＲ（ｄ，ｘ，ｙ）とを比較し、値が小さい方を最小差分値Ｅｍとして選択する。なお、式（１２）において、ｍｉｎは、“｛｝”内に記述された対応画素差分値ＥＣＬ，ＥＣＲのうち、値が小さい方を選択する関数である。
Ｅｍ（ｄ，ｘ，ｙ）＝ｍｉｎ｛ＥＣＬ（ｄ，ｘ，ｙ），ＥＣＲ（ｄ，ｘ，ｙ）｝
…（１２）式
【００８７】
そして、最小差分値選択手段６０ｂは、選択した仮定奥行値ｄ（“０”〜最大視差量）ごとの最小差分値Ｅｍを、差分値選択手段６０ｃに出力する。
【００８８】
差分値選択手段６０ｃは、基準映像ＦＣの注目画素ＰＣおよび仮定奥行値ｄごとに、近傍画素値出力手段３０から入力された注目画素ＰＣ（ｘ，ｙ）の画素値ＰＣと、画素位置ＰＣ（ｘ−ｓ，ｙ）にある近傍画素の画素値ＰＳＬと、画素位置ＰＣ（ｘ＋ｓ，ｙ）にある近傍画素の画素値ＰＳＲと、近傍奥行値出力手段４０から入力された近傍画素ＰＳＬの奥行値ＤＬと、近傍画素ＰＳＲの奥行値ＤＲと，近傍奥行対応画素値出力手段５０から入力された近傍奥行対応画素の画素値ＰＬＤＬ，ＰＲＤＬ，ＰＬＤＲ，ＰＲＤＲとに基づいて、最小差分値選択手段６０ｂから入力された最小差分値Ｅｍ、または平均差分値演算手段６０ａから入力された平均差分値Ｅａの何れかを、選択差分値Ｅとして選択するものである。
【００８９】
まず、差分値選択手段６０ｃは、奥行値Ｄを推定した回数を示す奥行推定回数ｎが１回目であるか、２回目以降であるかを判定する。奥行推定回数ｎが１回目の場合（ｎ＝１）、差分値選択手段６０ｃは、以下の（１３）式によって、平均差分値Ｅａ（ｄ，ｘ，ｙ)を選択差分値Ｅ（ｄ，ｘ，ｙ)として選択する。
Ｅ（ｄ，ｘ，ｙ）＝Ｅａ（ｄ，ｘ，ｙ） …（１３）式
【００９０】
奥行推定回数ｎが２回目以降の場合（ｎ≧２）、差分値選択手段６０ｃは、以下の（１４）式によって、左右の近傍画素の奥行値ＤＬ，ＤＲの差分絶対値｜ＤＬ−ＤＲ|が閾値ｔｈ１を超え、かつ、左右の近傍画素ＰＳＬ，ＰＳＲの画素値の差分絶対値ＥＬＲが閾値ｔｈ２を超えるか否かを判定する。なお、閾値ｔｈ２は、最大画素値（例えば、“２５５”）に所定の係数（例えば、“０．１”）を掛けた値として予め設定する。
｜ＤＬ−ＤＲ｜＞ｔｈ１ ＡＮＤ
ＥＬＲ＝｜ＰＳＬ−ＰＳＲ｜＞ｔｈ２ …（１４）式
【００９１】
（１４）式が成立しない場合、注目画素ＰＣの左右近傍に被写体Ｔの境界（つまり、背景Ａと前景Ｂとの境界がない可能性が高い。この場合、差分値選択手段６０ｃは、前記した（１３）式によって、平均差分値Ｅｍ（ｄ，ｘ，ｙ)を選択差分値Ｅ（ｄ，ｘ，ｙ)として選択し、この選択差分値Ｅ（ｄ，ｘ，ｙ)を記憶手段７０に書き込む。
【００９２】
（１４）式が成立する場合、注目画素ＰＣの左右近傍に奥行値と画素値とが大きく異なる被写体Ｔが存在する可能性が高いため、オクルージョンの有無を調べる必要がある。この場合、差分値選択手段６０ｃは、以下の（１５）式によって、奥行値ＤＬが奥行値ＤＲ以上であるか否かを判定することにより、左右どちら側に奥行値が小さくなる背景Ａがあるかを判定する。
ＤＬ≧ＤＲ …（１５）式
【００９３】
（１５）式が成立する場合（奥行値ＤＬが奥行値ＤＲ以上の場合）、注目画素ＰＣの左側に前景Ｂがあり、右側に背景Ａがある可能性が高い。この場合、差分値選択手段６０ｃは、注目画素ＰＣが背景Ａ上であるかまたは前景Ｂ上であるか判定する。ここで、注目画素ＰＣが背景Ａ上であれば、左側の隣接映像ＦＬでオクルージョンが有り、対応画素ＰＬの画素値と注目画素ＰＣの画素値とが大きく異なる。その一方、右側の隣接映像ＦＲではオクルージョンは無く、対応画素ＰＲの画素値と注目画素ＰＣの画素値とが近い値となる。そこで、差分値選択手段６０ｃは、以下の（１６）式によって、左右の隣接映像ＦＬ，ＦＲにおいて、注目画素ＰＣを背景Ａ側の奥行値ＤＲに相当する画素数だけ左右に移動させた近傍奥行対応画素の画素値ＰＬＤＲ，ＰＲＤＲと、注目画素の画素値ＰＣとの差分絶対値ＥＬＤＲ，ＥＲＤＲを算出する。
ＥＬＤＲ＝｜ＰＬＤＲ−ＰＣ｜
ＥＲＤＲ＝｜ＰＲＤＲ−ＰＣ｜ …（１６）式
【００９４】
そして、差分値選択手段６０ｃは、以下の（１７）式によって、差分絶対値ＥＬＤＲが差分絶対値ＥＲＤＲを超えたか否かを判定する。
ＥＬＤＲ＞ＥＲＤＲ …（１７）式
【００９５】
（１７）式が成立する場合（差分絶対値ＥＬＤＲが差分絶対値ＥＲＤＲを超える場合）、左側の隣接映像ＦＬでオクルージョンが有ると言える。この場合、差分値選択手段６０ｃは、以下の（１８）式によって、最小差分値Ｅｍ（ｄ，ｘ，ｙ)を選択差分値Ｅ（ｄ，ｘ，ｙ)として選択する。
Ｅ（ｄ，ｘ，ｙ）＝Ｅｍ（ｄ，ｘ，ｙ） …（１８）式
【００９６】
このように、注目画素ＰＣが背景Ａと同じ奥行にあると仮定して、左右の隣接映像ＦＬ，ＦＲで注目画素ＰＣの見え方を調べることで、オクルージョンの有無を判定する。このとき、奥行推定装置１は、注目画素ＰＣに対応する近傍奥行対応画素ＰＬＤＲ，ＰＲＤＲを判定に用いるので、一部の色が異なる被写体Ｔの場合でも、正しくオクルージョンの有無を判定できる。また、奥行推定装置１は、仮定奥行値ｄに対応した対応画素ＰＬ，ＰＲを判定に用いないため、仮定奥行値ｄが正しくない場合でも、正しくオクルージョンの有無を判定できる。
【００９７】
（１７）式が成立しない場合（差分絶対値ＥＬＤＲが差分絶対値ＥＲＤＲを超えない場合）、オクルージョンが無いと言える。この場合、差分値選択手段６０ｃは、偽マッチングを防止するため、前記（１３）式によって、平均差分値Ｅａ（ｄ，ｘ，ｙ)を選択差分値Ｅ（ｄ，ｘ，ｙ)として選択する。
【００９８】
（１５）式が成立しない場合（奥行値ＤＬが奥行値ＤＲ以上でない場合）、注目画素ＰＣの左側に背景Ａがあり、右側に前景Ｂがあることになる。この場合、差分値選択手段６０ｃは、以下の（１９）式によって、左右の隣接映像ＦＬ，ＦＲにおいて、注目画素ＰＣを背景Ａ側の奥行値ＤＬに相当する画素数だけ左右に移動させた近傍奥行対応画素の画素値ＰＬＤＬ，ＰＲＤＬと、注目画素の画素値ＰＣとの差分絶対値ＥＬＤＬ，ＥＲＤＬを算出する。
ＥＬＤＬ＝｜ＰＬＤＬ−ＰＣ｜
ＥＲＤＬ＝｜ＰＲＤＬ−ＰＣ｜ …（１９）式
【００９９】
そして、差分値選択手段６０ｃは、以下の（２０）式によって、差分絶対値ＥＲＤＬが差分絶対値ＥＬＤＬを超えたか否かを判定する。
ＥＬＤＬ＜ＥＲＤＬ …（２０）式
【０１００】
（２０）式が成立する場合（差分絶対値ＥＲＤＬが差分絶対値ＥＬＤＬを超える場合）、右側の隣接映像ＦＲでオクルージョンが有ると言える。この場合、差分値選択手段６０ｃは、前記した（１８）式によって、最小差分値Ｅｍ（ｄ，ｘ，ｙ)を選択差分値Ｅ（ｄ，ｘ，ｙ)として選択する。
【０１０１】
（２０）式が成立しない場合（差分絶対値ＥＲＤＬが差分絶対値ＥＬＤＬを超えない場合）、オクルージョンが無いと言える。この場合、差分値選択手段６０ｃは、偽マッチングを防止するため、前記した（１３）式によって、平均差分値Ｅａ（ｄ，ｘ，ｙ)を選択差分値Ｅ（ｄ，ｘ，ｙ)として選択する。
【０１０２】
その後、差分値決定手段６０は、選択した選択差分値Ｅ（ｄ，ｘ，ｙ)を、仮定奥行値ｄと基準映像ＦＣの画素位置（ｘ，ｙ)に対応付けて記憶手段７０に書き込む。また、差分値決定手段６０は、基準映像ＦＣの全ての画素位置において、仮定奥行値ｄごとの選択差分値Ｅ（ｄ，ｘ，ｙ)を記憶手段７０に書き込んだ後に、書き込み完了を平滑化手段８０に通知する。
【０１０３】
以上説明したように、差分値決定手段６０は、１回目の奥行推定では、常に平均差分値Ｅａを選択差分値Ｅとして選択することで、仮定奥行値ｄが正しくない場合の偽マッチングを防ぐことができる。
【０１０４】
１回目の奥行推定では平均差分値Ｅａしか選択しないので、オクルージョンが有る部分において、差分値決定手段６０が奥行値を誤推定している可能性がある。そこで、２回目以降の奥行推定では、差分値決定手段６０は、オクルージョンが有る部分から離れた位置で推定された近傍画素ＰＳＬ，ＰＳＲの奥行値ＤＬ，ＤＲを用いて、オクルージョンの有無を正しく判定する。さらに、差分値決定手段６０は、オクルージョンが有る部分では、最小差分値Ｅｍを選択差分値Ｅとして選択することで、１回目の奥行値の誤推定を修正する。これによって、奥行推定装置１は、後記する奥行値決定手段９０において、正しい奥行値Ｄが推定される確率を高くすることができる。
【０１０５】
さらに、差分値決定手段６０は、注目画素ＰＣが前景Ｂであるか背景Ａであるかを、近傍画素ＰＳＬ，ＰＳＲの画素値によって判定せずに、左右の隣接映像ＦＬ，ＦＲにおいて、近傍奥行対応画素ＰＬＤＲ，ＰＲＤＲ，ＰＬＤＬ，ＰＲＤＬによって判定する。これによって、奥行推定装置１は、一部の色が異なる被写体Ｔの場合でも、注目画素ＰＣが前景Ｂまたは背景Ａのどちらであるかを判定できるので、正しい奥行値Ｄが推定される確率を高くすることができる。
【０１０６】
記憶手段７０は、差分値決定手段６０が選択した選択差分値Ｅ（ｄ，ｘ，ｙ)を、仮定奥行値ｄと基準映像の画素位置（ｘ，ｙ）とに対応付けて記憶するものである。また、記憶手段７０は、後記する平滑化手段８０が平滑化した平滑化差分値Ｅｖ（ｄ，ｘ，ｙ)を、仮定奥行値ｄと基準映像の画素位置（ｘ，ｙ）とに対応付けて記憶する。例えば、記憶手段７０は、磁気メモリや半導体メモリ等の一般的な記憶媒体である。
【０１０７】
平滑化手段８０は、当該画素位置における選択差分値を平滑化するものである。まず、平滑化手段８０は、基準映像ＦＣの注目画素ＰＣ（画素位置（ｘ，ｙ））ごとに、以下の（２１）式によって、注目画素ＰＣの選択差分値Ｅ（ｄ，ｘ，ｙ）が最小となる仮定奥行値ｄを算出する。そして、平滑化手段８０は、その仮定奥行値ｄを、その画素の奥行値Ｄｘ，ｙとする。
Ｄｘ，ｙ＝Ｄ（ｘ，ｙ）＝ｍｉｎ｛Ｅ（ｄ，ｘ，ｙ）｝ …（２１）式
【０１０８】
なお、（２１）式に示すように、選択差分値Ｅ（ｄ，ｘ，ｙ）は、画素位置（ｘ，ｙ）および仮定奥行値ｄの関数である。従って、ｍｉｎは、画素位置（ｘ，ｙ）ごとに、選択差分値Ｅ（ｄ，ｘ，ｙ）が最小となる仮定奥行値ｄを選択して返す関数である。そして、この関数ｍｉｎの戻り値Ｄ（ｘ，ｙ）をＤｘ，ｙと簡易に記述する。
【０１０９】
次に、平滑化手段８０は、前記した（２１）式によって、注目画素ＰＣと同様、注目画素ＰＣに隣接する画素位置（ｘ＋１，ｙ），（ｘ，ｙ＋１）の隣接画素の選択差分値が最小となる仮定奥行値Ｄｘ＋１，ｙ、Ｄｘ，ｙ＋１を算出する。
【０１１０】
そして、平滑化手段８０は、（２２）式によって、注目画素ＰＣの選択差分値Ｅ（Ｄｘ，ｙ,ｘ，ｙ）に、仮定奥行値Ｄｘ＋１，ｙ、Ｄｘ，ｙ＋１と奥行値Ｄｘ，ｙとの差分を重み付け加算することで、選択差分値Ｅ（Ｄｘ，ｙ，ｘ，ｙ）を平滑化した平滑化差分値Ｅｖ（Ｄｘ，ｙ，ｘ，ｙ）を算出する。
Ｅｖ（Ｄｘ，ｙ，ｘ，ｙ）＝Ｅ（Ｄｘ，ｙ，ｘ，ｙ）
＋Ｗ｛｜Ｄｘ＋１，ｙ−Ｄｘ，ｙ｜＋｜Ｄｘ，ｙ＋１−Ｄｘ，ｙ｜｝ …（２２）式
【０１１１】
なお、（２２）式において、平滑化係数Ｗは、任意の値（例えば、“２”）に手動で設定する。このとき、平滑化係数Ｗの値を大きくする程、選択差分値Ｅが滑らかになるが、被写体Ｔの境界部分の奥行値を誤推定する可能性が高くなる。このため、平滑化係数Ｗは、適切な値に設定することが好ましい。さらに、図示を省略した入力手段を介して、外部から平滑化係数Ｗを入力してもよい。
【０１１２】
そして、平滑化手段８０は、以下の（２３）式によって、画素位置（ｘ，ｙ）ごとの平滑化差分値Ｅｖ（Ｄｘ，ｙ，ｘ，ｙ）を基準映像ＦＣの全画素で総和することで、平滑化評価値Ｅｖを算出する。
Ｅｖ＝Σｘ，ｙＥｖ（Ｄｘ，ｙ，ｘ，ｙ） …（２３）式
【０１１３】
その後、平滑化手段８０は、平滑化した平滑化差分値Ｅｖ（Ｄｘ，ｙ，ｘ，ｙ)を、仮定奥行値ｄと基準映像ＦＣの画素位置（ｘ，ｙ）に対応付けて記憶手段７０に書き込む。また、平滑化手段８０は、基準映像ＦＣの全ての画素位置において、仮定奥行値ｄごとの平滑化差分値Ｅｖ（Ｄｘ，ｙ，ｘ，ｙ)を記憶手段７０に書き込んだ後に、平滑化完了を奥行値決定手段９０に通知する。
【０１１４】
以上のように、平滑化手段８０は、当該画素位置（ｘ，ｙ）における選択差分値Ｅ（Ｄｘ，ｙ，ｘ，ｙ）を平滑化して、平滑化差分値Ｅｖ（Ｄｘ，ｙ，ｘ，ｙ）を算出できる。これによって、奥行推定装置１は、隣接する画素間において、選択差分値Ｅ（Ｄｘ，ｙ，ｘ，ｙ）が最小となる奥行値Ｄｘ，ｙが、オクルージョンまたは偽マッチング等によって互いに異なる場合であっても、滑らかな奥行値を推定することができる。
【０１１５】
なお、平滑化手段８０は、差分値決定手段６０から、基準映像ＦＣの全ての画素位置において、全ての仮定奥行値ｄの選択差分値を書き込んだ旨（書き込み完了）を通知されることで動作を開始する。
【０１１６】
奥行値決定手段９０は、以下の（２４）式および（２５）式によって、第２仮定奥行値Ｄ’（以後、奥行値Ｄ’）を最小視差量から最大視差まで変えながら、基準映像ＦＣの画素位置（ｕ，ｖ）ごとに、画素位置（ｕ，ｖ）に対応付けて記憶手段７０に記憶されている選択差分値Ｅ（Ｄ’，ｕ，ｖ）について、再計算評価値Ｅｖ’を算出する。なお、この再計算評価値Ｅｖ’は、平滑化手段８０が平滑化した奥行値Ｄｕ，ｖを奥行値Ｄ’に代えた平滑化評価値Ｅｖに相当する。
Ｅｖ’（Ｄ’，ｕ，ｖ）＝Ｅ（Ｄ’，ｕ，ｖ）＋Ｗ｛｜Ｄｕ＋１，ｖ−Ｄ’｜
＋｜Ｄｕ，ｖ＋１−Ｄ’｜｝ …（２４）式
Ｅｖ’＝Σｘ，ｙ，Ｄu,v→Ｄ’Ｅｖ（Ｄｘ，ｙ，ｘ，ｙ） …（２５）式
【０１１７】
すなわち、奥行値決定手段９０は、前記した（２４）式によって、奥行値Ｄ’および注目画素ＰＣ（画素位置（ｕ，ｖ））ごとに、選択差分値Ｅ（Ｄ’，ｕ，ｖ）に、注目画素ＰＣに隣接する隣接画素の奥行値Ｄｕ＋１，ｖ，Ｄｕ，ｖ＋１と、奥行値Ｄ’との差分を重み付け加算することで、再計算差分値Ｅｖ’（Ｄ’，ｕ，ｖ）を算出する。そして、奥行値決定手段９０は、前記した（２５）式によって、選択差分値Ｅ（Ｄｘ，ｙ，ｘ，ｙ）の座標（ｕ，ｖ）での奥行値Ｄｘ，ｙを奥行値Ｄ’に置き換えたときの平滑化差分値Ｅｖ（Ｄｘ，ｙ，ｘ，ｙ)を基準映像ＦＣの全画素で総和することで、再計算評価値Ｅｖ’を算出する。
【０１１８】
なお、奥行値Ｄｕ，ｖから奥行値Ｄ’に代えると、座標（ｕ，ｖ）における平滑化差分値Ｅｖ（Ｄ’，ｕ，ｖ）の値が代わる他、隣接画素での平滑化評価値Ｅｖの平滑化項である奥行値の差も変わる。そこで、（２４）式で算出した再計算差分値Ｅｖ’（Ｄ’，ｕ，ｖ）を総和するのでなく、平滑化差分値Ｅｖ（Ｄｘ，ｙ，ｘ，ｙ)を総和する（２５）式を採用し、計算式が複雑になり過ぎることを防止した。
【０１１９】
そして、奥行値決定手段９０は、以下の（２６）式によって、再計算評価値Ｅｖ’が平滑化評価値Ｅｖ未満であるか否かを判定する。
Ｅｖ’＜Ｅｖ …（２６）式
【０１２０】
再計算評価値Ｅｖ’が平滑化評価値Ｅｖ未満の場合、奥行値決定手段９０は、以下の（２７）式によって、平滑化評価値Ｅｖの値を再計算評価値Ｅｖ’の値で置き換えると共に、画素位置（ｕ，ｖ）の奥行値Ｄｕ，ｖの値を奥行値Ｄ’の値で置き換える。なお、（２７）式では、“＝”は、右辺の値で左辺の値を置き換えることを意味する。
Ｅｖ＝Ｅｖ’
Ｄｕ，ｖ＝Ｄ’ …（２７）式
【０１２１】
一方、再計算評価値Ｅｖ’が平滑化評価値Ｅｖ未満でない場合、奥行値決定手段９０は、（２７）式による置き換えを行わない。なお、奥行値決定手段９０は、平滑化手段８０から、選択差分値の平滑化が完了した旨（平滑化完了）を通知されることで動作を開始するものとする。
【０１２２】
このように、奥行値決定手段９０は、奥行値Ｄ’を０から最大視差まで順に変えながら、基準映像ＦＣの全画素における平滑化評価値Ｅｖが小さくなるように、各画素位置（ｕ，ｖ）の奥行値Ｄｕ，ｖを代えることで、最適な奥行値Ｄｕ，ｖを得ることができる。そして、奥行値決定手段９０は、画素位置（ｕ，ｖ）ごとの奥行値Ｄｕ，ｖを示す奥行映像ＦＺを出力する。また、奥行値決定手段９０は、基準映像ＦＣの画素位置（ｕ，ｖ）ごとの奥行値Ｄｕ，ｖを、基準映像ＦＣの各画素の奥行値Ｄとして近傍奥行値出力手段４０に出力する。
【０１２３】
なお、奥行値Ｄ’は、仮定奥行値ｄと同様、被写体Ｔの奥行値Ｄを仮定する値であって、最小視差量から最大視差量までの値をとる。例えば、奥行値Ｄを８ビットのデータで表す場合、奥行値Ｄ’は、“０”〜“２５５”の範囲の値をとる。
【０１２４】
以上説明したように、奥行推定装置１は、選択差分値を指標として、被写体Ｔの奥行値Ｄを推定することができる。
なお、奥行推定装置１は、１回目の奥行推定で決定した奥行値Ｄを用いて、２回目以降の奥行推定を行う。そして、奥行推定装置１は、奥行推定を繰返上限回数Ｎ回だけ繰り返した後に得られた奥行値Ｄから奥行映像ＦＺを生成してもよい。なお、繰返上限回数Ｎは、奥行推定回数ｎの上限を示しており、任意の値に手動で設定される。
【０１２５】
［奥行推定装置の動作］
以下、図８〜図１６を参照して、図２の奥行推定装置１の動作について説明する（適宜図２参照）。ここでは、図８を参照して、奥行推定装置１の全体動作について説明し、詳細な説明については、図９〜図１６を参照して説明を行うことにする。
【０１２６】
＜全体動作＞
図８を参照して、奥行推定装置１の全体動作について説明する。
奥行推定装置１は、奥行推定回数ｎ＝１とし、全ての画素の奥行値Ｄ＝０として、初期設定を行う。そして、奥行推定装置１は、映像入力手段１０によって、一直線上に等間隔で水平に配置したカメラＣＭ（基準カメラＣＣ、隣接カメラＣＬＬ，ＣＬ，ＣＲ，ＣＲＲ）より、同一の被写体Ｔを撮影したカメラ映像（基準映像ＦＣ，隣接映像ＦＬL，ＦＬ，ＦＲ，ＦＲＲ）を入力する（ステップＳ１）。
【０１２７】
奥行推定装置１は、注目画素ＰＣのｙ座標値およびｘ座標値を０に初期化し（ステップＳ２，Ｓ３)、仮定奥行値ｄを０に初期化する（ステップＳ４）。
【０１２８】
奥行推定装置１は、対応画素差分演算手段２０によって、基準映像ＦＣの注目画素ＰＣの画素値と、当該注目画素ＰＣの仮定奥行値ｄの視差に対応する隣接映像ＦＬ，ＦＲの対応画素ＰＬ，ＰＲの画素値との差分絶対値である隣接映像の対応画素差分値ＥＣＬ，ＥＣＲを演算する（ステップＳ５；対応画素差分演算動作）。このステップＳ５の動作については、説明を後記する。
【０１２９】
奥行推定装置１は、差分値決定手段６０によって、最小差分値Ｅｍまたは平均差分値Ｅａの何れかを選択差分値として決定する（ステップＳ６；差分値決定動作）。このステップＳ６の動作については、説明を後記する。
【０１３０】
奥行推定装置１は、変数である仮定奥行値ｄ、カメラ映像のｘ座標値、ｙ座標値を順次加算（インクリメント）する。その後、奥行推定装置１は、仮定奥行値ｄについては最大視差量になるまでステップＳ５，Ｓ６の動作を繰り返し（ステップＳ７，Ｓ８）、ｘ座標値については映像幅になるまでステップＳ４〜Ｓ６の動作を繰り返し（ステップＳ９，Ｓ１０）、ｙ座標値については映像高になるまでステップＳ３〜Ｓ６の動作を繰り返す（ステップＳ１１，Ｓ１２）。なお、映像高は、映像幅と同様、任意の値に手動で設定される（例えば、１０８０ピクセル）。
【０１３１】
奥行推定装置１は、平滑化手段８０によって、基準映像ＦＣの全ての画素位置（ｘ，ｙ）ごとに、仮定奥行値ｄに対応して記憶された選択差分値Ｅ（ｄ，ｘ，ｙ）を隣接画素の奥行値で平滑化する（ステップＳ１３；平滑化動作）。このステップＳ１３の動作については、説明を後記する。
【０１３２】
奥行推定装置１は、奥行値決定手段９０によって、基準映像ＦＣ全体で、画素位置（ｘ，ｙ）ごとの平滑化差分値の和が最小となる奥行値Ｄ（ｘ，ｙ）の組を探索して、基準映像ＦＣの全ての画素位置について奥行値Ｄを決定する（ステップＳ１４；奥行値決定動作）。このステップＳ１４の動作については、説明を後記する。
【０１３３】
奥行推定装置１は、奥行推定回数ｎが繰返上限回数Ｎ未満であるか否かを判定する（ステップＳ１５）。奥行推定回数ｎが繰返上限回数Ｎ未満の場合（ステップＳ１５でＹｅｓ）、奥行推定装置１は、ステップＳ１６の処理に進む。この場合、奥行推定装置１は、奥行推定回数ｎをインクリメントし（ステップＳ１６）、ステップＳ２の処理に戻る。
【０１３４】
一方、奥行推定回数ｎが繰返上限回数Ｎ未満でない場合（ステップＳ１５でＮｏ）、奥行推定装置１は、奥行値決定手段９０によって、画素位置ごとの奥行値Ｄを示す奥行映像ＦＺを出力し（ステップＳ１７）、動作を終了する。以上のように、奥行推定装置１は、ステップＳ１〜Ｓ１７の処理によって、複数のカメラ映像から、被写体Ｔの奥行きを示す奥行値Ｄを推定することができる。
【０１３５】
＜対応画素差分演算動作＞
図９を参照して、対応画素差分演算動作（図８のステップＳ５）について詳細に説明する。
【０１３６】
対応画素差分演算手段２０は、前記した（２）式によって、対応画素ＰＲが隣接映像ＦＲから外れていないか否かを判定する（ステップＳ５０）。対応画素ＰＲが隣接映像ＦＲから外れていない場合（ステップＳ５０でＹｅｓ）、対応画素差分演算手段２０は、ステップＳ５１の処理に進む。一方、対応画素ＰＲが隣接映像ＦＲから外れている場合（ステップＳ５０でＮｏ）、対応画素差分演算手段２０は、ステップＳ５４の処理に進む。
【０１３７】
対応画素差分演算手段２０は、前記した（３）式によって、対応画素ＰＬが隣接映像ＦＬから外れていないか否かを判定する（ステップＳ５１）。対応画素ＰＬが隣接映像ＦＬから外れていない場合（ステップＳ５１でＹｅｓ）、対応画素差分演算手段２０は、ステップＳ５２の処理に進む。一方、対応画素ＰＬが隣接映像ＦＬから外れている場合（ステップＳ５１でＮｏ）、対応画素差分演算手段２０は、ステップＳ５３の処理に進む。
【０１３８】
対応画素差分演算手段２０は、前記した（１）式によって、左右の隣接映像ＦＬ，ＦＲで仮定奥行値ｄだけ右もしくは左に移動した対応画素ＰＬ，ＰＲの画素値ＰＬ（ｘ＋ｄ，ｙ），ＰＲ（ｘ−ｄ，ｙ）と、注目画素ＰＣの画素値ＰＣ（ｘ，ｙ）との対応画素差分値ＥＣＬ（ｄ，ｘ，ｙ），ＥＣＲ（ｄ，ｘ，ｙ）を算出する（ステップＳ５２）。
【０１３９】
対応画素差分演算手段２０は、前記した（４）式によって、右側の隣接映像ＦＲ，ＦＲＲで仮定奥行値ｄだけ左に移動した対応画素ＰＲＲ，ＰＲの画素値ＰＲＲ（ｘ−２ｄ，ｙ），ＰＲ(ｘ−ｄ，ｙ）との対応画素差分値ＥＣＬ（ｄ，ｘ，ｙ），ＥＣＲ（ｄ，ｘ，ｙ）を算出する（ステップＳ５３）。
【０１４０】
対応画素差分演算手段２０は、前記した（５）式によって、左の隣接映像ＦＬ，ＦＬＬで仮定奥行値ｄだけ右に移動した対応画素ＰＬ，ＰＬＬの画素値ＰＬ（ｘ＋ｄ，ｙ），ＰＬＬ(ｘ＋２ｄ，ｙ）との対応画素差分値ＥＣＬ（ｄ，ｘ，ｙ），ＥＣＲ（ｄ，ｘ，ｙ）を算出する（ステップＳ５４）。
【０１４１】
すなわち、対応画素差分演算手段２０は、対応画素ＰＬ，ＰＲが左右の隣接映像ＦＬ，ＦＲ内にある場合、左右の隣接映像ＦＬ，ＦＲを用いて、対応画素差分値ＥＣＬ，ＥＣＲを算出する。また、隣接映像ＦＬ，ＦＲの一方から対応画素が外れる場合、対応画素差分演算手段２０は、対応画素が外れた側の隣接画像と反対側の２つの隣接映像（右側の隣接映像ＦＲ，FＲＲまたは左の隣接映像ＦＬ，ＦＬＬ）を用いて、対応画素差分値ＥＣＬ，ＥＣＲを算出する。これによって、奥行推定装置１は、２つの対応画素差分値ＥＣＬ，ＥＣＲから最適な選択差分値を決定することができ、正しい奥行値を推定することができる。
【０１４２】
＜差分値決定動作＞
図１０を参照して、差分値決定動作（図８のステップＳ６）について詳細に説明する（適宜図２参照）。
【０１４３】
差分値決定手段６０は、差分値選択手段６０ｃによって、奥行推定回数ｎが１回目であるか、２回目以降であるかを判定する（ステップＳ６０）。奥行推定回数ｎが１回目の場合（ステップＳ６０でＹｅｓ）、差分値決定手段６０は、ステップＳ６１の処理に進む。一方、奥行推定回数ｎが２回目以降の場合（ステップＳ６０でＮｏ）、差分値決定手段６０は、ステップＳ６２の処理に進む。
【０１４４】
差分値決定手段６０は、平均差分値演算手段６０ａによって、前記した（１１）式で平均差分値Ｅａ（ｄ，ｘ，ｙ)を算出する。そして、差分値決定手段６０は、差分値選択手段６０ｃによって、前記した（１３）式のように、平均差分値Ｅａを選択差分値Ｅとして選択する（ステップＳ６１）。
【０１４５】
差分値決定手段６０は、近傍奥行値出力手段４０から、近傍画素ＰＳＬ，ＰＳＲの奥行値ＤＬ、ＤＲを取得する（ステップＳ６２；近傍奥行値出力動作）。このステップＳ６２の動作については、説明を後記する。
【０１４６】
差分値決定手段６０は、差分値選択手段６０ｃによって、最小差分値Ｅｍまたは平均差分値Ｅａの何れかを、予め設定された条件に基づいて、選択差分値Ｅとして選択する（ステップＳ６３；差分値選択動作）。このステップＳ６３の動作については、説明を後記する。
【０１４７】
＜近傍奥行値出力動作＞
図１１を参照して、近傍奥行値出力手動作（図１０のステップＳ６２）について詳細に説明する（適宜図２参照）。
【０１４８】
近傍奥行値出力手段４０は、近傍画素数ｓを最大視差量ＤＭに設定する（ステップＳ６２０）。そして、近傍奥行値出力手段４０は、前記した（７）式によって、左右の近傍画素ＰＳＬ，ＰＳＲの奥行値ＤＬ，ＤＲを取得する（ステップＳ６２１)。
【０１４９】
近傍奥行値出力手段４０は、前記した（８）式によって、左奥行値ＤＬと右奥行値ＤＲとの差分絶対値｜ＤＬ−ＤＲ|が閾値ｔｈ１を超えるか否かを判定する（ステップＳ６２２)。差分絶対値｜ＤＬ−ＤＲ|が閾値ｔｈ１を超える場合（ステップＳ６２２でＹｅｓ）、近傍奥行値出力手段４０は、処理を終了する。一方、差分絶対値｜ＤＬ−ＤＲ|が閾値ｔｈ１を超えない場合（ステップＳ６２２でＮｏ）、近傍奥行値出力手段４０は、ステップＳ６２３の処理に進む。
【０１５０】
近傍奥行値出力手段４０は、前記した（９）式によって、近傍画素数ｓを半分する（ステップＳ６２３）。そして、近傍奥行値出力手段４０は、前記した（７）式によって、近傍画素数ｓが半分となった近傍画素ＰＳＬ，ＰＳＲの奥行値ＤＬ，ＤＲを取得する（ステップＳ６２４)。
【０１５１】
＜差分値選択動作＞
図１２を参照して、差分値選択動作（図１０のステップＳ６３）について詳細に説明する（適宜図２参照）。なお、以後の各図では、近傍画素の画素値を近傍画素値と図示することがある。
【０１５２】
差分値選択手段６０ｃは、近傍画素値出力手段３０から、注目画素ＰＣの画素値と、近傍画素ＰＳＬ，ＰＳＲの画素値とを取得する（ステップＳ６３０；近傍画素値出力動作）。このステップＳ６３０の動作については、説明を後記する。
【０１５３】
差分値選択手段６０ｃは、前記した（１４）式によって、左右の近傍画素ＰＳＬ，ＰＳＲの画素値の差分絶対値ＥＬＲを算出し（ステップＳ６３１）、差分絶対値｜ＤＬ−ＤＲ|が閾値ｔｈ１を超え、かつ、差分絶対値ＥＬＲが閾値ｔｈ２を超えるか否かを判定する（ステップＳ６３２）。
【０１５４】
差分絶対値｜ＤＬ−ＤＲ|が閾値ｔｈ１を超え、かつ、差分絶対値ＥＬＲが閾値ｔｈ２を超える場合（ステップＳ６３２でＹｅｓ）、差分値選択手段６０ｃは、ステップＳ６３３の処理に進む。一方、差分絶対値｜ＤＬ−ＤＲ|が閾値ｔｈ１を超えない場合、または、差分絶対値ＥＬＲが閾値ｔｈ２を超えない場合（ステップＳ６３２でＮｏ）、差分値選択手段６０ｃは、ステップＳ６３９の処理に進む。
【０１５５】
差分値選択手段６０ｃは、近傍奥行対応画素値出力手段５０から、奥行値ＤＬの視差に対応する画素位置にある近傍奥行対応画素の画素値ＰＬＤＬ，ＰＲＤＬと、奥行値ＤＲの視差に対応する画素位置にある近傍奥行対応画素の画素値ＰＬＤＲ，ＰＲＤＲとを取得する（ステップＳ６３３；近傍奥行対応画素値出力動作）。このステップＳ６３３の動作については、説明を後記する。
【０１５６】
差分値選択手段６０ｃは、前記した（１６）式によって、左右の隣接映像ＦＬ，ＦＲにおいて、注目画素ＰＣを背景Ａ側の奥行値ＤＲに相当する画素数だけ左右に移動させた近傍奥行対応画素の画素値ＰＬＤＲ，ＰＲＤＲと、注目画素の画素値ＰＣとの差分絶対値ＥＬＤＲ，ＥＲＤＲを算出する。そして、差分値選択手段６０ｃは、前記した（１９）式によって、左右の隣接映像ＦＬ，ＦＲにおいて、注目画素ＰＣを背景Ａ側の奥行値ＤＬに相当する画素数だけ左右に移動させた近傍奥行対応画素の画素値ＰＬＤＬ，ＰＲＤＬと、注目画素ＰＣとの画素値の差分絶対値ＥＬＤＬ，ＥＲＤＬを算出する（ステップＳ６３４）。
【０１５７】
差分値選択手段６０ｃは、前記した（１５）式によって、奥行値ＤＬが奥行値ＤＲ以上であるか否かを判定することにより、左右どちら側に奥行値が小さくなる背景Ａがあるかを判定する（ステップＳ６３５）。奥行値ＤＬが奥行値ＤＲ以上の場合（ステップＳ６３５でＹｅｓ）、差分値選択手段６０ｃは、ステップＳ６３６の処理に進む。一方、奥行値ＤＬが奥行値ＤＲ以上でない場合（ステップＳ６３５でＮｏ）、差分値選択手段６０ｃは、ステップＳ６３７の処理に進む。
【０１５８】
差分値選択手段６０ｃは、前記した（１７）式によって、差分絶対値ＥＬＤＲが差分絶対値ＥＲＤＲを超えたか否かを判定することにより、左側の隣接映像ＦＬでオクルージョンの有無を判定する（ステップＳ６３６）。差分絶対値ＥＬＤＲが差分絶対値ＥＲＤＲを超える場合（ステップＳ６３６でＹｅｓ）、差分値選択手段６０ｃは、ステップＳ６３８の処理に進む。一方、差分絶対値ＥＬＤＲが差分絶対値ＥＲＤＲを超えない場合（ステップＳ６３６でＮｏ）、差分値選択手段６０ｃは、ステップＳ６３９の処理に進む。
【０１５９】
差分値選択手段６０ｃは、前記した（２０）式によって、差分絶対値ＥＲＤＬが差分絶対値ＥＬＤＬを超えたか否かを判定することにより、右側の隣接映像ＦＲでオクルージョンの有無を判定する（ステップＳ６３７）。差分絶対値ＥＲＤＬが差分絶対値ＥＬＤＬを超える場合（ステップＳ６３７でＹｅｓ）、差分値選択手段６０ｃは、ステップＳ６３８の処理に進む。一方、差分絶対値ＥＲＤＬが差分絶対値ＥＬＤＬを超えない場合（ステップＳ６３７でＮｏ）、差分値選択手段６０ｃは、ステップＳ６３９の処理に進む。
【０１６０】
差分値選択手段６０ｃは、前記した（１２）式および（１８）式によって、最小差分値選択手段６０ｂが算出した最小差分値Ｅｍ（ｄ，ｘ，ｙ)を選択差分値Ｅ（ｄ，ｘ，ｙ)として選択する（ステップ６３８）。
【０１６１】
差分値選択手段６０ｃは、前記した（１１）式および（１３）式によって、平均差分値演算手段６０ａが算出した平均差分値Ｅａ（ｄ，ｘ，ｙ)を選択差分値Ｅ（ｄ，ｘ，ｙ)として選択する（ステップ６３９）。
【０１６２】
以上のように、差分値選択手段６０ｃは、ステップＳ６３０〜Ｓ６３９の処理によって、基準映像の画素位置（ｘ，ｙ）ごとに、複数の仮定奥行値ｄ（“０”〜最大視差量）に対応した選択差分値Ｅ（ｄ，ｘ，ｙ)を選択することができる。
【０１６３】
＜近傍画素値出力動作＞
図１３を参照して、近傍画素値出力手動作（図１２のステップＳ６３０）について詳細に説明する（適宜図２参照）。
【０１６４】
近傍画素値出力手段３０は、前記した（６）式によって、注目画素ＰＣ（ｘ，ｙ）の画素値ＰＣと、注目画素ＰＣ（ｘ，ｙ）から近傍画素数ｓだけ左に離れた画素位置ＰＣ（ｘ−ｓ，ｙ）にある近傍画素の画素値ＰＳＬと、注目画素ＰＣ（ｘ，ｙ）から近傍画素数ｓだけ右に離れた画素位置ＰＣ（ｘ＋ｓ，ｙ）にある近傍画素の画素値ＰＳＲとを取得する（ステップＳ６３００）。
【０１６５】
＜近傍奥行対応画素値出力動作＞
図１４を参照して、近傍奥行対応画素値出力手動作（図１２のステップＳ６３３）について詳細に説明する。
【０１６６】
近傍奥行対応画素値出力手段５０は、前記した（１０）式によって、左右の隣接映像ＦＬ，ＦＲから、奥行値ＤＬの視差に対応する画素位置にある近傍奥行対応画素ＰＬ(ｘ＋ＤＬ，ｙ)，ＰＲ(ｘ−ＤＬ，ｙ)の画素値ＰＬＤＬ，ＰＲＤＬを算出する。そして、近傍奥行対応画素値出力手段５０は、前記した（１０）式によって、左右の隣接映像ＦＬ，ＦＲから、奥行値ＤＲの視差に対応する画素位置にある近傍奥行対応画素ＰＬ(ｘ＋ＤＲ，ｙ)，ＰＲ(ｘ−ＤＲ，ｙ)の画素値ＰＬＤＲ，ＰＲＤＲを算出する（ステップＳ６３３０）。
【０１６７】
＜平滑化動作＞
図１５を参照して、平滑化動作（図８のステップＳ１３）の動作について詳細に説明する。
【０１６８】
平滑化手段８０は、変数として、カメラ映像（基準映像ＦＣ）のｘ座標値およびｙ座標値を初期化（ｘ＝０、ｙ＝０）する（ステップＳ１３０，Ｓ１３１）。
【０１６９】
平滑化手段８０は、前記した（２１）式によって、基準映像ＦＣの注目画素ＰＣ（画素位置（ｘ，ｙ））ごとに、注目画素ＰＣの選択差分値Ｅ（ｄ,ｘ，ｙ）が最小となる仮定奥行値ｄを算出する。そして、平滑化手段８０は、その仮定奥行値ｄを，その画素の奥行値Ｄｘ，ｙとする（ステップＳ１３２）。
【０１７０】
平滑化手段８０は、変数であるカメラ映像のｘ座標値、ｙ座標値を順次加算（インクリメント）する。その後、平滑化手段８０は、ｘ座標値については映像幅になるまでステップＳ１３２の動作を繰り返し（ステップＳ１３３，Ｓ１３４）、ｙ座標値については映像高になるまでステップＳ１３１，Ｓ１３２の動作を繰り返す（ステップＳ１３５，Ｓ１３６）。
【０１７１】
平滑化手段８０は、前記した（２１）式によって、注目画素ＰＣに隣接する画素位置（ｘ＋１，ｙ），（ｘ，ｙ＋１）の隣接画素の選択差分値が最小となる仮定奥行値Ｄｘ＋１，ｙ、Ｄｘ，ｙ＋１を算出する。そして、平滑化手段８０は、（２２）式によって、注目画素ＰＣの選択差分値Ｅ（Ｄｘ，ｙ，ｘ，ｙ）に、仮定奥行値Ｄｘ＋１，ｙ、Ｄｘ，ｙ＋１と奥行値Ｄｘ，ｙとの差分を重み付け加算することで、選択差分値Ｅ（Ｄｘ，ｙ，ｘ，ｙ）を平滑化した平滑化差分値Ｅｖ（Ｄｘ，ｙ，ｘ，ｙ）を算出する（ステップＳ１３７）。
【０１７２】
平滑化手段８０は、前記した（２３）式によって、画素位置（ｘ，ｙ）ごとの平滑化差分値Ｅｖ（Ｄｘ，ｙ，ｘ，ｙ）を基準映像ＦＣの全画素で総和することで、平滑化評価値Ｅｖを算出する（ステップＳ１３８）。
【０１７３】
＜奥行値決定動作＞
図１６を参照して、奥行値決定動作（図８のステップＳ１４）の動作について詳細に説明する。
【０１７４】
奥行値決定手段９０は、全ての画素の奥行値（第２仮定奥行値）Ｄ’を初期化し（Ｓ１４０）、注目画素ＰＣのｖ座標値およびｕ座標値を０に初期化する（ステップＳ１４１，Ｓ１４２)。
【０１７５】
奥行値決定手段９０は、前記した（２４）式および（２５）式によって、第２の仮定奥行値Ｄ’を最小視差量から最大視差量まで変えながら、基準映像ＦＣの画素位置（ｕ，ｖ）ごとに、画素位置（ｕ，ｖ）に対応付けて記憶手段７０に記憶されている選択差分値Ｅ（Ｄ’，ｕ，ｖ）について、平滑化手段８０が平滑化した奥行値Ｄｕ，ｖを奥行値Ｄ’に代えた再計算評価値Ｅｖ’を算出する（ステップＳ１４３）。
【０１７６】
奥行値決定手段９０は、前記した（２６）式によって、再計算評価値Ｅｖ’が平滑化評価値Ｅｖ未満であるか否かを判定する（ステップＳ１４４）。再計算評価値Ｅｖ’が平滑化評価値Ｅｖ未満の場合（ステップＳ１４４でＹｅｓ）、奥行値決定手段９０は、ステップＳ１４５の処理に進む。一方、再計算評価値Ｅｖ’が平滑化評価値Ｅｖ未満でない場合（ステップＳ１４４でＮｏ）、奥行値決定手段９０は、ステップＳ１４６の処理に進む。
【０１７７】
奥行値決定手段９０は、前記した（２７）式によって、平滑化評価値Ｅｖの値を再計算評価値Ｅｖ’の値で置き換えると共に、画素位置（ｕ，ｖ）の奥行値Ｄｕ，ｖの値を奥行値Ｄ’の値で置き換える（ステップＳ１４５）。
【０１７８】
奥行値決定手段９０は、変数である奥行値Ｄ’、ｕ座標値、ｖ座標値を順次加算（インクリメント）する。その後、奥行値決定手段９０は、ｕ座標値については映像幅になるまでステップＳ１４３〜Ｓ１４５の動作を繰り返し（ステップＳ１４６，Ｓ１４７）、ｖ座標値については映像高になるまでステップＳ１４２〜Ｓ１４５の動作を繰り返し（ステップＳ１４８，Ｓ１４９）、奥行値Ｄ’については最大視差量になるまでステップＳ１４１〜Ｓ１４５の動作を繰り返す（ステップＳ１５０，Ｓ１５１）。
【０１７９】
以上のように、奥行推定装置１は、オクルージョンの有無にかかわらず、注目画素の画素値と、近傍画素の画素値と、近傍画素の奥行値と、この近傍画素の奥行値に対応する近傍奥行対応画素の画素値とに基づいて、平均差分値または最小差分値の何れか最適な方を選択する。これによって、奥行推定装置１は、隣接映像で偽マッチングが発生している場合、平均差分値を選択することにより、より正しい選択差分値から奥行値Ｄを推定でき、オクルージョンが有る場合、そのときの奥行値Ｄを推定対象から除くことができる。すなわち、奥行推定装置１は、正確な奥行値Ｄを推定することができる。
【０１８０】
第１実施形態では、図１に示すように、５つの映像（ＦＬＬ，ＦＬ，ＦＣ，ＦＲ，ＦＲＲ）が奥行推定装置１に入力されることとして説明したが、映像の数はこれに限定されない。以下、第２実施形態として、３つの映像（ＦＬ，ＦＣ，ＦＲＲ）から被写体Ｔの奥行値Ｄを推定する奥行推定システムＳＢについて説明する。
【０１８１】
（第２実施形態）
［奥行推定システムの全体構成］
図１７を参照して、本発明の第２実施形態に係る奥行推定装置１Ｂを含んだ奥行推定システムＳＢの全体構成について、第１実施形態と異なる点を説明する。
【０１８２】
図１７に示すように、奥行推定システムＳＢは、カメラＣＭ（ＣＬ，ＣＣ，ＣＲ）と、奥行推定装置１Ｂとを備えている。すなわち、奥行推定システムＳＢでは、カメラＣＬ，ＣＲが、カメラＣＣを左右から挟むように配置されている。そして、カメラＣＭ（ＣＬ，ＣＣ，ＣＲ）で撮影した映像（ＦＬ，ＦＣ，ＦＲＲ）が、奥行推定装置１Ｂに入力される。
【０１８３】
［奥行推定装置の構成］
図１８を参照して、奥行推定装置１Ｂの構成について、第１実施形態と異なる点を説明する（適宜図１７参照）。
【０１８４】
奥行推定装置１Ｂは、水平方向に配列したカメラＣＭ（ＣＬ，ＣＣ，ＣＲ）で被写体Ｔを撮影したカメラ映像（ＦＬ，ＦＣ，ＦＲ）から、被写体Ｔの奥行きを示す奥行値Ｄを推定する。このため、奥行推定装置１Ｂは、映像入力手段１０Ｂと、対応画素差分演算手段２０Ｂと、近傍画素値出力手段３０と、近傍奥行値出力手段４０と、近傍奥行対応画素値出力手段５０と、差分値決定手段６０と、記憶手段７０と、平滑化手段８０と、奥行値決定手段９０とを備える。
【０１８５】
映像入力手段１０Ｂは、カメラＣＭで撮影された複数のカメラ映像を入力するものである。ここでは、映像入力手段１０Ｂは、基準カメラＣＣで撮影した基準映像ＦＣと、隣接カメラＣＬ，ＣＲで撮影した隣接映像ＦＬ，ＦＲとを入力する。
この映像入力手段１０Ｂで入力した各映像（ＦＬ，ＦＣ，ＦＲ）は、図示を省略したメモリに記憶され、後記する対応画素差分演算手段２０Ｂ、近傍画素値出力手段３０、および、近傍奥行対応画素値出力手段５０によって参照されるものとする。
【０１８６】
対応画素差分演算手段２０Ｂは、前記した（２）式によって、対応画素ＰＲが隣接映像ＦＲから外れていないか否かを判定すると共に、前記した（３）式によって、対応画素ＰＬが隣接映像ＦＬから外れていないか否かを判定する。そして、対応画素差分演算手段２０Ｂは、隣接映像ＦＬ，ＦＲから対応画素ＰＬ，ＰＲが外れていない場合、すなわち、（２）式および（３）式を両方満たす場合、前記した（１）式によって対応画素差分値ＥＣＬ，ＥＣＲを算出する。
【０１８７】
右隣接映像ＦＲから対応画素ＰＲが外れる場合、すなわち、（２）式を満たさない場合、対応画素差分演算手段２０Ｂは、以下の（２８）式によって、対応画素差分ＥＣＲを最大視差量（例えば、“２５５”）として算出する。
ＥＣＬ（ｄ，ｘ，ｙ）＝｜ＰＬ（ｘ＋ｄ，ｙ）−ＰＣ（ｘ，ｙ）｜
ＥＣＲ（ｄ，ｘ，ｙ）＝２５５ …（２８）式
【０１８８】
隣接映像ＦＬから対応画素ＰＬが外れる場合、すなわち、（３）式を満たさない場合、対応画素差分演算手段２０Ｂは、以下の（２９）式によって、対応画素差分値ＥＣＬを最大視差量（例えば、“２５５”）として算出する。
ＥＣＬ（ｄ，ｘ，ｙ）＝２５５
ＥＣＲ（ｄ，ｘ，ｙ）＝｜ＰＲ（ｘ−ｄ，ｙ）−ＰＣ（ｘ，ｙ）｜ …（２９）式
【０１８９】
［奥行推定装置の動作］
図１９を参照して、奥行推定装置１Ｂの動作として、対応画素差分演算動作（図８のステップＳ５）を説明する（適宜図１８参照）。なお、図１９のステップＳ５０〜Ｓ５２の処理は、図９の各処理と同様のため、説明を省略する。
【０１９０】
対応画素差分演算手段２０Ｂは、対応画素ＰＬが隣接映像ＦＬから外れている場合（ステップＳ５１でＮｏ）、前記した（２９）式によって、対応画素差分値ＥＣＬを最大視差量として算出する（ステップＳ５３’）。
【０１９１】
対応画素差分演算手段２０Ｂは、対応画素ＰＲが隣接映像ＦＲから外れている場合（ステップＳ５０でＮｏ）前記した（２８）式によって、対応画素差分値ＥＣＲを最大視差量として算出する（ステップＳ５４’）。
【０１９２】
以上のように、本発明の第２実施形態に係る奥行推定装置１Ｂは、３つの映像（ＦＬ，ＦＣ，ＦＲ）から、被写体Ｔの奥行値Ｄを推定することができる。従って、奥行推定装置１Ｂは、第１実施形態と同様、奥行値の誤推定を低減することができる。
【０１９３】
本発明の第２実施形態に係る奥行推定装置１Ｂの構成および動作について説明したが、本発明は、この実施形態に限定されるものではない。以下、本発明の種々の変形例について説明する。
【０１９４】
（変形例１：カメラ配置間隔の変形例）
第２実施形態では、被写体を撮影するカメラの設置間隔を等間隔としたが、異なるカメラ間隔としてもよい。
この場合、対応画素差分演算手段２０Ｂは、それぞれの隣接映像ＦＬ，ＦＲについて、基準カメラＣＣからのカメラ間隔ごとに、基準映像ＦＣの画素から、視差に対応する画素の位置をそれぞれ求め、当該画素の画素値と、基準映像ＦＣの画素の画素値との差分絶対値を演算すればよい。例えば、本実施形態では、奥行値Ｄの単位と画素間の視差の単位とを同一とし、奥行値Ｄが“１”増加することで、１画素ずつ視差が増加することとしたが、この場合、図１７に示したカメラＣＣ，ＣＲ間の距離が、カメラＣＣ，ＣＬ間の距離の２倍であったとすると、対応画素差分演算手段２０Ｂは、前記（１）式の代わりに、以下の（３０）式により差分絶対値を算出すればよい。
ＥＣＬ（ｄ，ｘ，ｙ）＝｜ＰＬ（ｘ＋ｄ，ｙ）−ＰＣ（ｘ，ｙ）｜
ＥＣＲ（ｄ，ｘ，ｙ）＝｜ＰＲ（ｘ−２ｄ，ｙ）−ＰＣ（ｘ，ｙ）｜ …（３０）式
これによって、奥行推定システム（図１７）のカメラ配置の自由度を高めることができる。
【０１９５】
（変形例２：対応画素差分演算手段の変形例）
また、第２実施形態では、対応画素差分演算手段２０Ｂが、基準映像ＦＣの各画素の画素値と、当該画素の仮定奥行値ｄの視差に対応する隣接映像ＦＬ，ＦＲの各画素の画素値との差分絶対値を演算することとしたが、この差分絶対値は、対応する画素のみでなく、対応画素を中心とするブロック内の画素値の差分絶対値の重み付け平均値を用いることとしてもよい。例えば、対応画素差分演算手段２０Ｂは、前記（１）式の対応画素差分値ＥＣＬ（ｄ，ｘ，ｙ）を、以下の（３１）式により算出する。
ＥＣＬ（ｄ，ｘ，ｙ）＝｜ＰＬ（ｘ＋ｄ，ｙ）−ＰＣ（ｘ，ｙ）｜×１／２
＋｜ＰＬ（ｘ＋ｄ＋１，ｙ）−ＰＣ（ｘ＋１，ｙ）｜×１／８
＋｜ＰＬ（ｘ＋ｄ−１，ｙ）−ＰＣ（ｘ−１，ｙ）｜×１／８
＋｜ＰＬ（ｘ＋ｄ，ｙ＋１）−ＰＣ（ｘ，ｙ＋１）｜×１／８
＋｜ＰＬ（ｘ＋ｄ，ｙ−１）−ＰＣ（ｘ，ｙ−１）｜×１／８
…（３１）式
これによって、ノイズ等によって発生する差分絶対値の誤差を低減することができる。
【０１９６】
（変形例３：差分値選択手段の変形例）
また、各実施形態では、平均差分値演算手段６０ａが平均差分値Ｅａを算出し、最小差分値選択手段６０ｂが最小差分値Ｅｍを算出することとして説明したが、本発明は、これに限定されない。例えば、本発明では、差分値選択手段６０ｃが、平均差分値Ｅａおよび最小差分値Ｅｍを算出してもよい。
【０１９７】
（変形例４：差分値選択手段の変形例）
また、各実施形態では、差分値選択手段６０ｃが、前記した（１７）式および（２０）式を用いることとして説明したが、本発明は、これに限定されない。例えば、本発明では、差分値選択手段６０ｃが、予め任意の値に設定した倍率ｋを用いてもよい。
【０１９８】
具体的には、差分値選択手段６０ｃは、前記した（１７）の右辺に倍率ｋを掛けてから、差分絶対値ＥＬＤＲが差分絶対値ＥＲＤＲを超えたか否かを判定する（（３２式）参照）。
ＥＬＤＲ＞ｋ×ＥＲＤＲ …（３２）式
【０１９９】
また、差分値選択手段６０ｃは、前記した（２０）式の左辺に倍率ｋを掛けてから、差分絶対値ＥＲＤＬが差分絶対値ＥＬＤＬを超えたか否かを判定する（（３３式）参照）。
ＥＬＤＬ×ｋ＜ＥＲＤＬ …（３３）式
これによって、差分値選択手段６０ｃは、オクルージョンの有無をより正確に判定できる。
【０２００】
（変形例５：差分値選択動作の変形例）
また、各実施形態では、差分値選択動作（図１２参照）において、差分絶対値ＥＬＤＲ，ＥＲＤＲ，ＥＬＤＬ，ＥＲＤＬを算出してから（ステップＳ６３４）、ステップＳ６３５以後の処理を実行することとして説明したが、本発明は、これに限定されない。ここで、差分値選択手段６０ｃが、差分値選択動作において、ステップＳ６３３までの処理を実行した場合を考える。
【０２０１】
この場合、差分値選択手段６０ｃは、ステップＳ６３５の処理と同様、前記した（１５）式によって、奥行値ＤＬが奥行値ＤＲ以上であるか否かを判定する。（１５）式が成立する場合、差分値選択手段６０ｃは、前記した（１６）式によって、近傍奥行対応画素ＰＬＤＲ，ＰＲＤＲの画素値と、注目画素ＰＣの画素値の差分絶対値ＥＬＤＲ，ＥＲＤＲを算出する。そして、差分値選択手段６０ｃは、ステップＳ６３６以後の処理を実行する。
【０２０２】
一方、（１５）式が成立しない場合、差分値選択手段６０ｃは、前記した（１９）式によって、近傍奥行対応画素ＰＬＤＬ，ＰＲＤＬの画素値と、注目画素ＰＣの画素値の差分絶対値ＥＬＤＬ，ＥＲＤＬを算出する。
【０２０３】
このように、差分値選択手段６０ｃは、奥行値ＤＬ，ＤＲの大小判定を行ってから、その判定結果に応じて、差分絶対値ＥＬＤＲ，ＥＲＤＲまたは差分絶対値ＥＬＤＬ，ＥＲＤＬを算出してもよい。
【０２０４】
なお、各実施形態では、本発明に係る奥行推定装置を独立した装置として説明したが、これに限定されない。例えば、本発明では、一般的なコンピュータのハードウェア資源を、奥行推定装置の各手段として協調動作させる奥行推定プログラムによって実現することができる。また、この奥行推定プログラムは、通信回線を介して配布したり、ＣＤ−ＲＯＭ等の記録媒体に記録して配布したりすることも可能である。
【符号の説明】
【０２０５】
１，１Ｂ 奥行推定装置
１０，１０Ｂ 映像入力手段
２０，２０Ｂ 対応画素差分演算手段
３０ 近傍画素値出力手段
４０ 近傍奥行値出力手段
５０ 近傍奥行対応画素値出力手段
６０ 差分値決定手段
６０ａ 平均差分値演算手段
６０ｂ 最小差分値選択手段
６０ｃ 差分値選択手段
７０ 記憶手段
８０ 平滑化手段
９０ 奥行値決定手段
【特許請求の範囲】
【請求項１】
予め定めた位置に複数配列したカメラで同一の被写体を撮影した複数のカメラ映像から、前記被写体の奥行きを示す奥行値を推定する奥行推定装置であって、
前記複数配列した前記カメラの何れかにおいて、予め定めた基準カメラで前記被写体を撮影した基準映像と、前記基準カメラ以外の隣接カメラで前記被写体を撮影した複数の隣接映像とを入力する映像入力手段と、
前記奥行値を仮定した仮定奥行値および前記基準映像の注目画素ごとに、前記注目画素の画素値と、当該注目画素の前記仮定奥行値の視差に対応する画素位置にある前記複数の隣接映像の対応画素の画素値との差分絶対値である対応画素差分値を演算する対応画素差分演算手段と、
前記映像入力手段に入力された基準映像において、前記基準映像の注目画素の画素値と、予め定めた近傍画素数だけ前記注目画素から左右に離れた画素位置にある近傍画素の画素値とを出力する近傍画素値出力手段と、
前記仮定奥行値および前記注目画素ごとに、前記基準映像に対して左右の隣接映像から、前記近傍画素の奥行値の視差に対応する画素位置にある近傍奥行対応画素の画素値を出力する近傍奥行対応画素値出力手段と、
前記仮定奥行値および前記注目画素ごとに、前記対応画素差分値の平均値である平均差分値と、前記対応画素差分値の最小値である最小差分値を求め、前記注目画素の画素値と前記近傍画素の画素値と前記近傍画素の奥行値と前記近傍奥行対応画素の画素値とに基づいて、前記最小差分値または前記平均差分値の何れかを、予め定めた条件により選択差分値として決定する差分値決定手段と、
前記差分値決定手段で決定した選択差分値を前記仮定奥行値と前記基準映像の画素位置とに対応付けて記憶する記憶手段と、
前記注目画素ごとに、当該注目画素の選択差分値に、当該注目画素に隣接する画素の選択差分値が最小となる仮定奥行値と前記注目画素の選択差分値が最小となる仮定奥行値との差分を重み付け加算することで、前記選択差分値を平滑化した平滑化差分値を演算すると共に、前記平滑化差分値の総和である平滑化評価値を演算する平滑化手段と、
前記記憶手段に記憶された選択差分値に対応する仮定奥行値を当該仮定奥行値と異なる奥行値が仮定された第２仮定奥行値に代えることで前記平滑化評価値に相当する再計算評価値を演算し、当該再計算評価値が前記平滑化手段によって演算された平滑化評価値未満の場合、前記第２仮定奥行値を前記基準映像の各画素の奥行値として決定し、当該再計算評価値が前記平滑化評価値未満でない場合、前記記憶手段に記憶された選択差分値に対応する仮定奥行値を前記基準映像の各画素の奥行値として決定する奥行値決定手段と、
前記奥行値決定手段から基準映像の各画素の奥行値が入力されると共に、前記近傍画素の奥行値を前記近傍奥行対応画素値出力手段および前記差分値決定手段に出力する近傍奥行値出力手段と、
を備えることを特徴とする奥行推定装置。
【請求項２】
前記差分値決定手段は、前記近傍画素同士の奥行値の差分絶対値が予め定めた第１の閾値以下の場合、または、前記近傍画素同士の画素値の差分絶対値が予め定めた第２の閾値以下の場合、前記平均差分値を前記選択差分値として決定することを特徴とする請求項１に記載の奥行推定装置。
【請求項３】
前記差分値決定手段は、前記近傍画素同士の奥行値の差分絶対値が予め定めた第１の閾値を超え、かつ、前記近傍画素同士の画素値の差分絶対値が予め定めた第２の閾値を越える場合、前記基準映像に対する左右の隣接映像のそれぞれから、前記近傍奥行対応画素の画素値と前記注目画素の画素値との差分絶対値を演算すると共に、
左右の前記近傍画素のうち小さい方の奥行値を有する側の前記近傍奥行対応画素の画素値と前記注目画素の画素値との差分絶対値が、当該小さい方と反対側の前記近傍奥行対応画素の画素値と前記注目画素の画素値との差分絶対値より小さい場合、前記最小差分値を前記選択差分値として決定することを特徴とする請求項１に記載の奥行推定装置。
【請求項４】
前記差分値決定手段は、前記近傍画素同士の奥行値の差分絶対値が予め定めた第１の閾値を超え、かつ、前記近傍画素同士の画素値の差分絶対値が予め定めた第２の閾値を越える場合、前記基準映像に対する左右の隣接映像のそれぞれから、前記近傍奥行対応画素の画素値と前記注目画素の画素値との差分絶対値を演算すると共に、
左右の前記近傍画素のうち小さい方の奥行値を有する側の前記近傍奥行対応画素の画素値と前記注目画素の画素値との差分絶対値が、当該小さい方と反対側の前記近傍奥行対応画素の画素値と前記注目画素の画素値との差分絶対値より小さくない場合、前記平均差分値を前記選択差分値として決定することを特徴とする請求項１に記載の奥行推定装置。
【請求項５】
前記差分値決定手段は、前記奥行値の推定回数が１回目の場合、前記平均差分値を前記選択差分値として決定し、
前記奥行値の推定回数が２回目以降の場合、前記予め定めた条件により前記選択差分値を決定することを特徴とする請求項１に記載の奥行推定装置。
【請求項６】
前記対応画素差分演算手段は、前記基準映像の左右に位置する隣接映像から前記対応画素が外れる場合、前記基準映像に対して、前記対応画素が外れる側の隣接画像に反対側の隣接映像と、当該反対側の隣接映像にさらに隣接する隣接映像とにおいて、前記対応画素の画素値の差分絶対値を前記対応画素差分値として演算することを特徴とする請求項１から請求項５の何れか一項に記載の奥行推定装置。
【請求項７】
前記近傍奥行値出力手段は、前記近傍画素同士の奥行値の差分絶対値が予め定めた閾値以下の場合、前記近傍画素数を半分とし、前記注目画素から当該近傍画素数だけ左右に離れた画素位置の近傍画素の奥行値を出力することを特徴とする請求項１から請求項６の何れか一項に記載の奥行推定装置。
【請求項８】
予め定めた位置に複数配列したカメラで同一の被写体を撮影した複数のカメラ映像から、前記被写体の奥行きを示す奥行値を推定する奥行推定方法であって、
映像入力手段が、前記複数配列した前記カメラの何れかにおいて、予め定めた基準カメラで前記被写体を撮影した基準映像と、前記基準カメラ以外の隣接カメラで前記被写体を撮影した複数の隣接映像とを入力する映像入力ステップと、
対応画素差分演算手段が、前記奥行値を仮定した仮定奥行値および前記基準映像の注目画素ごとに、前記注目画素の画素値と、当該注目画素の前記仮定奥行値の視差に対応する画素位置にある前記複数の隣接映像の対応画素の画素値との差分絶対値である対応画素差分値を演算する対応画素差分演算ステップと、
差分値決定手段が、前記仮定奥行値および前記注目画素ごとに、前記対応画素差分値の平均値である平均差分値と、前記対応画素差分値の最小値である最小差分値を求め、前記注目画素の画素値と前記近傍画素の画素値と前記近傍画素の奥行値と前記近傍奥行対応画素の画素値とに基づいて、前記最小差分値または前記平均差分値の何れかを、予め定めた条件により選択差分値として決定して、当該選択差分値を前記仮定奥行値と前記基準映像の画素位置とに対応付けて記憶手段に書き込む差分値決定ステップと、
平滑化手段が、前記注目画素ごとに、当該注目画素の選択差分値に、当該注目画素に隣接する画素の選択差分値が最小となる仮定奥行値と前記注目画素の選択差分値が最小となる仮定奥行値との差分を重み付け加算することで、前記選択差分値を平滑化した平滑化差分値を演算すると共に、前記平滑化差分値の総和である平滑化評価値を演算する平滑化ステップと、
奥行値決定手段が、前記記憶手段に記憶された選択差分値に対応する仮定奥行値を当該仮定奥行値と異なる奥行値が仮定された第２仮定奥行値に代えることで前記平滑化評価値に相当する再計算評価値を演算し、当該再計算評価値が前記平滑化手段によって演算された平滑化評価値未満の場合、前記第２仮定奥行値を前記基準映像の各画素の奥行値として決定し、当該再計算評価値が前記平滑化評価値未満でない場合、前記記憶手段に記憶された選択差分値に対応する仮定奥行値を前記基準映像の各画素の奥行値として決定する奥行値決定ステップと、を備え、
前記差分値決定ステップは、
近傍奥行値出力手段が、前記近傍画素の奥行値を出力する近傍奥行値出力ステップと、
近傍画素値出力手段が、前記基準映像において、前記基準映像の注目画素の画素値と、予め定めた近傍画素数だけ前記注目画素から左右に離れた画素位置にある近傍画素の画素値とを出力する近傍画素値出力ステップと、
近傍奥行対応画素値出力手段が、前記仮定奥行値および前記注目画素ごとに、前記基準映像に対して左右の隣接映像から、前記近傍画素の奥行値の視差に対応する画素位置にある近傍奥行対応画素の画素値を出力する近傍奥行対応画素値出力ステップと、
を備えることを特徴とする奥行推定方法。
【請求項９】
予め定めた位置に複数配列したカメラで同一の被写体を撮影した複数のカメラ映像から、前記被写体の奥行きを示す奥行値を推定するために、コンピュータを、
前記複数配列した前記カメラの何れかにおいて、予め定めた基準カメラで前記被写体を撮影した基準映像と、前記基準カメラ以外の隣接カメラで前記被写体を撮影した複数の隣接映像とを入力する映像入力手段、
前記奥行値を仮定した仮定奥行値および前記基準映像の注目画素ごとに、前記注目画素の画素値と、当該注目画素の前記仮定奥行値の視差に対応する画素位置にある前記複数の隣接映像の対応画素の画素値との差分絶対値である対応画素差分値を演算する対応画素差分演算手段、
前記映像入力手段に入力された基準映像において、前記基準映像の注目画素の画素値と、予め定めた近傍画素数だけ前記注目画素から左右に離れた画素位置にある近傍画素の画素値とを出力する近傍画素値出力手段、
前記仮定奥行値および前記注目画素ごとに、前記基準映像に対して左右の隣接映像から、前記近傍画素の奥行値の視差に対応する画素位置にある近傍奥行対応画素の画素値を出力する近傍奥行対応画素値出力手段、
前記仮定奥行値および前記注目画素ごとに、前記対応画素差分値の平均値である平均差分値と、前記対応画素差分値の最小値である最小差分値を求め、前記注目画素の画素値と前記近傍画素の画素値と前記近傍画素の奥行値と前記近傍奥行対応画素の画素値とに基づいて、前記最小差分値または前記平均差分値の何れかを、予め定めた条件により選択差分値として決定して、当該選択差分値を前記仮定奥行値と前記基準映像の画素位置とに対応付けて記憶手段に書き込む差分値決定手段、
前記注目画素ごとに、当該注目画素の選択差分値に、当該注目画素に隣接する画素の選択差分値が最小となる仮定奥行値と前記注目画素の選択差分値が最小となる仮定奥行値との差分を重み付け加算することで、前記選択差分値を平滑化した平滑化差分値を演算すると共に、前記平滑化差分値の総和である平滑化評価値を演算する平滑化手段、
前記記憶手段に記憶された選択差分値に対応する仮定奥行値を当該仮定奥行値と異なる奥行値が仮定された第２仮定奥行値に代えることで前記平滑化評価値に相当する再計算評価値を演算し、当該再計算評価値が前記平滑化手段によって演算された平滑化評価値未満の場合、前記第２仮定奥行値を前記基準映像の各画素の奥行値として決定し、当該再計算評価値が前記平滑化評価値未満でない場合、前記記憶手段に記憶された選択差分値に対応する仮定奥行値を前記基準映像の各画素の奥行値として決定する奥行値決定手段、
前記奥行値決定手段から基準映像の各画素の奥行値が入力されると共に、前記近傍画素の奥行値を前記近傍奥行対応画素値出力手段および前記差分値決定手段に出力する近傍奥行値出力手段、
として機能させるための奥行推定プログラム。
【請求項１】
予め定めた位置に複数配列したカメラで同一の被写体を撮影した複数のカメラ映像から、前記被写体の奥行きを示す奥行値を推定する奥行推定装置であって、
前記複数配列した前記カメラの何れかにおいて、予め定めた基準カメラで前記被写体を撮影した基準映像と、前記基準カメラ以外の隣接カメラで前記被写体を撮影した複数の隣接映像とを入力する映像入力手段と、
前記奥行値を仮定した仮定奥行値および前記基準映像の注目画素ごとに、前記注目画素の画素値と、当該注目画素の前記仮定奥行値の視差に対応する画素位置にある前記複数の隣接映像の対応画素の画素値との差分絶対値である対応画素差分値を演算する対応画素差分演算手段と、
前記映像入力手段に入力された基準映像において、前記基準映像の注目画素の画素値と、予め定めた近傍画素数だけ前記注目画素から左右に離れた画素位置にある近傍画素の画素値とを出力する近傍画素値出力手段と、
前記仮定奥行値および前記注目画素ごとに、前記基準映像に対して左右の隣接映像から、前記近傍画素の奥行値の視差に対応する画素位置にある近傍奥行対応画素の画素値を出力する近傍奥行対応画素値出力手段と、
前記仮定奥行値および前記注目画素ごとに、前記対応画素差分値の平均値である平均差分値と、前記対応画素差分値の最小値である最小差分値を求め、前記注目画素の画素値と前記近傍画素の画素値と前記近傍画素の奥行値と前記近傍奥行対応画素の画素値とに基づいて、前記最小差分値または前記平均差分値の何れかを、予め定めた条件により選択差分値として決定する差分値決定手段と、
前記差分値決定手段で決定した選択差分値を前記仮定奥行値と前記基準映像の画素位置とに対応付けて記憶する記憶手段と、
前記注目画素ごとに、当該注目画素の選択差分値に、当該注目画素に隣接する画素の選択差分値が最小となる仮定奥行値と前記注目画素の選択差分値が最小となる仮定奥行値との差分を重み付け加算することで、前記選択差分値を平滑化した平滑化差分値を演算すると共に、前記平滑化差分値の総和である平滑化評価値を演算する平滑化手段と、
前記記憶手段に記憶された選択差分値に対応する仮定奥行値を当該仮定奥行値と異なる奥行値が仮定された第２仮定奥行値に代えることで前記平滑化評価値に相当する再計算評価値を演算し、当該再計算評価値が前記平滑化手段によって演算された平滑化評価値未満の場合、前記第２仮定奥行値を前記基準映像の各画素の奥行値として決定し、当該再計算評価値が前記平滑化評価値未満でない場合、前記記憶手段に記憶された選択差分値に対応する仮定奥行値を前記基準映像の各画素の奥行値として決定する奥行値決定手段と、
前記奥行値決定手段から基準映像の各画素の奥行値が入力されると共に、前記近傍画素の奥行値を前記近傍奥行対応画素値出力手段および前記差分値決定手段に出力する近傍奥行値出力手段と、
を備えることを特徴とする奥行推定装置。
【請求項２】
前記差分値決定手段は、前記近傍画素同士の奥行値の差分絶対値が予め定めた第１の閾値以下の場合、または、前記近傍画素同士の画素値の差分絶対値が予め定めた第２の閾値以下の場合、前記平均差分値を前記選択差分値として決定することを特徴とする請求項１に記載の奥行推定装置。
【請求項３】
前記差分値決定手段は、前記近傍画素同士の奥行値の差分絶対値が予め定めた第１の閾値を超え、かつ、前記近傍画素同士の画素値の差分絶対値が予め定めた第２の閾値を越える場合、前記基準映像に対する左右の隣接映像のそれぞれから、前記近傍奥行対応画素の画素値と前記注目画素の画素値との差分絶対値を演算すると共に、
左右の前記近傍画素のうち小さい方の奥行値を有する側の前記近傍奥行対応画素の画素値と前記注目画素の画素値との差分絶対値が、当該小さい方と反対側の前記近傍奥行対応画素の画素値と前記注目画素の画素値との差分絶対値より小さい場合、前記最小差分値を前記選択差分値として決定することを特徴とする請求項１に記載の奥行推定装置。
【請求項４】
前記差分値決定手段は、前記近傍画素同士の奥行値の差分絶対値が予め定めた第１の閾値を超え、かつ、前記近傍画素同士の画素値の差分絶対値が予め定めた第２の閾値を越える場合、前記基準映像に対する左右の隣接映像のそれぞれから、前記近傍奥行対応画素の画素値と前記注目画素の画素値との差分絶対値を演算すると共に、
左右の前記近傍画素のうち小さい方の奥行値を有する側の前記近傍奥行対応画素の画素値と前記注目画素の画素値との差分絶対値が、当該小さい方と反対側の前記近傍奥行対応画素の画素値と前記注目画素の画素値との差分絶対値より小さくない場合、前記平均差分値を前記選択差分値として決定することを特徴とする請求項１に記載の奥行推定装置。
【請求項５】
前記差分値決定手段は、前記奥行値の推定回数が１回目の場合、前記平均差分値を前記選択差分値として決定し、
前記奥行値の推定回数が２回目以降の場合、前記予め定めた条件により前記選択差分値を決定することを特徴とする請求項１に記載の奥行推定装置。
【請求項６】
前記対応画素差分演算手段は、前記基準映像の左右に位置する隣接映像から前記対応画素が外れる場合、前記基準映像に対して、前記対応画素が外れる側の隣接画像に反対側の隣接映像と、当該反対側の隣接映像にさらに隣接する隣接映像とにおいて、前記対応画素の画素値の差分絶対値を前記対応画素差分値として演算することを特徴とする請求項１から請求項５の何れか一項に記載の奥行推定装置。
【請求項７】
前記近傍奥行値出力手段は、前記近傍画素同士の奥行値の差分絶対値が予め定めた閾値以下の場合、前記近傍画素数を半分とし、前記注目画素から当該近傍画素数だけ左右に離れた画素位置の近傍画素の奥行値を出力することを特徴とする請求項１から請求項６の何れか一項に記載の奥行推定装置。
【請求項８】
予め定めた位置に複数配列したカメラで同一の被写体を撮影した複数のカメラ映像から、前記被写体の奥行きを示す奥行値を推定する奥行推定方法であって、
映像入力手段が、前記複数配列した前記カメラの何れかにおいて、予め定めた基準カメラで前記被写体を撮影した基準映像と、前記基準カメラ以外の隣接カメラで前記被写体を撮影した複数の隣接映像とを入力する映像入力ステップと、
対応画素差分演算手段が、前記奥行値を仮定した仮定奥行値および前記基準映像の注目画素ごとに、前記注目画素の画素値と、当該注目画素の前記仮定奥行値の視差に対応する画素位置にある前記複数の隣接映像の対応画素の画素値との差分絶対値である対応画素差分値を演算する対応画素差分演算ステップと、
差分値決定手段が、前記仮定奥行値および前記注目画素ごとに、前記対応画素差分値の平均値である平均差分値と、前記対応画素差分値の最小値である最小差分値を求め、前記注目画素の画素値と前記近傍画素の画素値と前記近傍画素の奥行値と前記近傍奥行対応画素の画素値とに基づいて、前記最小差分値または前記平均差分値の何れかを、予め定めた条件により選択差分値として決定して、当該選択差分値を前記仮定奥行値と前記基準映像の画素位置とに対応付けて記憶手段に書き込む差分値決定ステップと、
平滑化手段が、前記注目画素ごとに、当該注目画素の選択差分値に、当該注目画素に隣接する画素の選択差分値が最小となる仮定奥行値と前記注目画素の選択差分値が最小となる仮定奥行値との差分を重み付け加算することで、前記選択差分値を平滑化した平滑化差分値を演算すると共に、前記平滑化差分値の総和である平滑化評価値を演算する平滑化ステップと、
奥行値決定手段が、前記記憶手段に記憶された選択差分値に対応する仮定奥行値を当該仮定奥行値と異なる奥行値が仮定された第２仮定奥行値に代えることで前記平滑化評価値に相当する再計算評価値を演算し、当該再計算評価値が前記平滑化手段によって演算された平滑化評価値未満の場合、前記第２仮定奥行値を前記基準映像の各画素の奥行値として決定し、当該再計算評価値が前記平滑化評価値未満でない場合、前記記憶手段に記憶された選択差分値に対応する仮定奥行値を前記基準映像の各画素の奥行値として決定する奥行値決定ステップと、を備え、
前記差分値決定ステップは、
近傍奥行値出力手段が、前記近傍画素の奥行値を出力する近傍奥行値出力ステップと、
近傍画素値出力手段が、前記基準映像において、前記基準映像の注目画素の画素値と、予め定めた近傍画素数だけ前記注目画素から左右に離れた画素位置にある近傍画素の画素値とを出力する近傍画素値出力ステップと、
近傍奥行対応画素値出力手段が、前記仮定奥行値および前記注目画素ごとに、前記基準映像に対して左右の隣接映像から、前記近傍画素の奥行値の視差に対応する画素位置にある近傍奥行対応画素の画素値を出力する近傍奥行対応画素値出力ステップと、
を備えることを特徴とする奥行推定方法。
【請求項９】
予め定めた位置に複数配列したカメラで同一の被写体を撮影した複数のカメラ映像から、前記被写体の奥行きを示す奥行値を推定するために、コンピュータを、
前記複数配列した前記カメラの何れかにおいて、予め定めた基準カメラで前記被写体を撮影した基準映像と、前記基準カメラ以外の隣接カメラで前記被写体を撮影した複数の隣接映像とを入力する映像入力手段、
前記奥行値を仮定した仮定奥行値および前記基準映像の注目画素ごとに、前記注目画素の画素値と、当該注目画素の前記仮定奥行値の視差に対応する画素位置にある前記複数の隣接映像の対応画素の画素値との差分絶対値である対応画素差分値を演算する対応画素差分演算手段、
前記映像入力手段に入力された基準映像において、前記基準映像の注目画素の画素値と、予め定めた近傍画素数だけ前記注目画素から左右に離れた画素位置にある近傍画素の画素値とを出力する近傍画素値出力手段、
前記仮定奥行値および前記注目画素ごとに、前記基準映像に対して左右の隣接映像から、前記近傍画素の奥行値の視差に対応する画素位置にある近傍奥行対応画素の画素値を出力する近傍奥行対応画素値出力手段、
前記仮定奥行値および前記注目画素ごとに、前記対応画素差分値の平均値である平均差分値と、前記対応画素差分値の最小値である最小差分値を求め、前記注目画素の画素値と前記近傍画素の画素値と前記近傍画素の奥行値と前記近傍奥行対応画素の画素値とに基づいて、前記最小差分値または前記平均差分値の何れかを、予め定めた条件により選択差分値として決定して、当該選択差分値を前記仮定奥行値と前記基準映像の画素位置とに対応付けて記憶手段に書き込む差分値決定手段、
前記注目画素ごとに、当該注目画素の選択差分値に、当該注目画素に隣接する画素の選択差分値が最小となる仮定奥行値と前記注目画素の選択差分値が最小となる仮定奥行値との差分を重み付け加算することで、前記選択差分値を平滑化した平滑化差分値を演算すると共に、前記平滑化差分値の総和である平滑化評価値を演算する平滑化手段、
前記記憶手段に記憶された選択差分値に対応する仮定奥行値を当該仮定奥行値と異なる奥行値が仮定された第２仮定奥行値に代えることで前記平滑化評価値に相当する再計算評価値を演算し、当該再計算評価値が前記平滑化手段によって演算された平滑化評価値未満の場合、前記第２仮定奥行値を前記基準映像の各画素の奥行値として決定し、当該再計算評価値が前記平滑化評価値未満でない場合、前記記憶手段に記憶された選択差分値に対応する仮定奥行値を前記基準映像の各画素の奥行値として決定する奥行値決定手段、
前記奥行値決定手段から基準映像の各画素の奥行値が入力されると共に、前記近傍画素の奥行値を前記近傍奥行対応画素値出力手段および前記差分値決定手段に出力する近傍奥行値出力手段、
として機能させるための奥行推定プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【公開番号】特開２０１２−７３８１３（Ｐ２０１２−７３８１３Ａ）
【公開日】平成２４年４月１２日（２０１２．４．１２）
【国際特許分類】
【出願番号】特願２０１０−２１８０９２（Ｐ２０１０−２１８０９２）
【出願日】平成２２年９月２９日（２０１０．９．２９）
【出願人】（３０１０２２４７１）独立行政法人情報通信研究機構 (1,071)
【Ｆターム（参考）】
【公開日】平成２４年４月１２日（２０１２．４．１２）
【国際特許分類】
【出願日】平成２２年９月２９日（２０１０．９．２９）
【出願人】（３０１０２２４７１）独立行政法人情報通信研究機構 (1,071)
【Ｆターム（参考）】
[ Back to top ]