多視点画像奥行値抽出装置、その方法およびそのプログラム
【課題】被写体を撮影した複数の撮影画像から、被写体の多視点画像用の奥行値を精度よく抽出する多視点画像奥行値抽出装置を提供する。
【解決手段】多視点画像奥行値抽出装置１は、複数の撮影画像をブロックに分割するブロック分割手段１０と、対象ブロックごとに、当該対象ブロックが属する撮影画像を撮影したカメラに隣接したカメラが撮影した複数の参照撮影画像で画像特徴の類似度が最も高い類似画像領域を探索するブロック探索手段２０と、類似画像領域の位置と対象ブロックの位置との差分の平均値を算出し、対象ブロックにおける視差量とする視差量算出手段３０と、撮影画像ごとに、平均化された視差量を、カメラの焦点距離およびカメラ間の距離に基づいて、対象ブロックに対応する被写体の奥行値に変換する奥行値変換手段４０と、を備える。
【解決手段】多視点画像奥行値抽出装置１は、複数の撮影画像をブロックに分割するブロック分割手段１０と、対象ブロックごとに、当該対象ブロックが属する撮影画像を撮影したカメラに隣接したカメラが撮影した複数の参照撮影画像で画像特徴の類似度が最も高い類似画像領域を探索するブロック探索手段２０と、類似画像領域の位置と対象ブロックの位置との差分の平均値を算出し、対象ブロックにおける視差量とする視差量算出手段３０と、撮影画像ごとに、平均化された視差量を、カメラの焦点距離およびカメラ間の距離に基づいて、対象ブロックに対応する被写体の奥行値に変換する奥行値変換手段４０と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のカメラで同一の被写体を撮影した複数の撮影画像から、被写体の多視点画像（多視点映像）用の奥行値を抽出する技術に関する。
【背景技術】
【０００２】
近年、複数のカメラで同一の被写体を撮影した複数の撮影画像（多視点画像）を用いて、立体映像や自由視点映像を生成する技術が種々開示されている（例えば、特許文献１参照）。これらの立体映像や自由視点映像を生成する技術では、基本的に、複数のカメラで撮影した撮影画像の視差量を利用することで、被写体までの奥行値を求めている。
【０００３】
また、この撮影画像の視差量を求めるには、撮影画像を所定の大きさのブロック単位で類似するブロックを撮影画像間で探索（ブロックマッチング）し、そのブロック間の距離を視差量とすることが一般的である（例えば、特許文献２参照）。このブロックマッチングによって視差を求める手法によれば、図７に示すように、水平に配置した２台のカメラ（Ｃ１，Ｃ２）で撮影した画像Ｍ１と、画像Ｍ２との間で、ブロックマッチングにより対応する領域を探索し、その差分を視差量（視差ベクトル）Ｂとして算出する。
【０００４】
ここで、視差量Ｂは、カメラＣ１で撮影された被写体の部分を示すブロック位置Ｔ１と、カメラＣ２で撮影された同じ被写体の部分を示すブロック位置Ｔ２に対応する、カメラＣ１での被写体の部分を示すブロック位置Ｔ１（この位置は、カメラＣ２ではＴＸ）との相対的なズレ量となる。すなわち、図７に示すように、カメラＣ１とカメラＣ２との距離をＬ、カメラＣ１，Ｃ２の焦点距離をｆ、カメラＣ１，Ｃ２から被写体Ｓまでの距離（奥行値）をＤとし、カメラＣ１，Ｃ２間の距離Ｌに対して相対的に（Ｌ−Ｘ）：Ｘの位置に被写体Ｓが存在していたとすると、一般的な三角測量の原理から、視差量Ｂは、以下の（１）式により求められる。
Ｂ＝ｆ（Ｌ−Ｘ）／Ｄ＋ｆＸ／Ｄ＝ｆＬ／Ｄ …（１）式
【０００５】
この視差量Ｂは、ブロックＴ１の視差量であるとともに、ブロックＴ２の視差量でもある。この（１）式から、カメラＣ１，Ｃ２から被写体Ｓまでの距離（奥行値）Ｄは、以下の（２）式により求められる。
Ｄ＝ｆＬ／Ｂ …（２）式
このように、従来、被写体の奥行値を求めるには、複数の撮影画像において、所定のブロックごとに視差量を求め、奥行値に変換する手法が一般的である。
【特許文献１】特開２００３−２８４０９７号公報
【特許文献１】特開平１０−１９１３９３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
前記した従来技術において、複数のカメラで撮影した撮影画像間でブロックマッチングにより視差量を求める手法では、カメラごとに被写体の見え方が大きく異なる場合、被写体に似た部分が撮影画像内に存在していた場合等で、誤ったブロックを探索してしまい、間違った視差量を抽出してしまうという問題がある。
【０００７】
さらに、従来技術において、複数の撮影画像は、異なるカメラで撮影したものであるため、ブロックマッチングによっても対応点が完全に一致することはなく、視差量やそれによって求められる奥行値には多くの誤差が含まれているという問題がある。
【０００８】
本発明は、以上のような課題を解決するためになされたものであり、対応点が一致していないブロックであっても、誤差を軽減し、被写体を撮影した複数の撮影画像から、被写体の多視点画像用の奥行値を精度よく抽出することを可能にした多視点画像奥行値抽出装置、その方法およびそのプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、前記目的を達成するために創案されたものであり、まず、請求項１に記載の多視点画像奥行値抽出装置は、複数配列したカメラで同一の被写体を撮影した複数の撮影画像から、前記被写体の多視点画像用の奥行値を抽出する多視点画像奥行値抽出装置であって、ブロック分割手段と、ブロック探索手段と、差分算出手段と、平均視差量算出手段と、奥行値変換手段と、を備える構成とした。
【００１０】
かかる構成において、多視点画像奥行値抽出装置は、ブロック分割手段によって、複数の撮影画像を予め定めた大きさ（例えば、１６×１６画素）のブロックに分割する。このブロックの大きさは、奥行値を抽出する基準となるものであって、どの程度の解像度で奥行値を抽出するかによって、任意に定めることができる。
【００１１】
そして、多視点画像奥行値抽出装置は、ブロック探索手段によって、奥行値を抽出する対象となる対象ブロックごとに、当該対象ブロックが属する撮影画像を撮影したカメラに隣接したカメラが撮影した複数の参照撮影画像において、画像特徴の類似度が最も高い類似画像領域を探索する。これによって、対象ブロックに対応する領域が参照撮影画像において探索されることになる。
【００１２】
そして、多視点画像奥行値抽出装置は、差分算出手段によって、類似画像領域の位置と対象ブロックの位置との差分を算出する。さらに、多視点画像奥行値抽出装置は、平均視差量算出手段によって、差分算出手段で算出された参照撮影画像分ごとの差分の平均値を算出し、対象ブロックにおける視差量とする。これによって、対象ブロックの視差量が、参照撮影画像分ごとに平均化され、誤差が分散されることになる。
【００１３】
そして、多視点画像奥行値抽出装置は、奥行値変換手段によって、平均視差量算出手段で算出された視差量を、予め定められたカメラの焦点距離およびカメラ間の距離に基づいて、対象ブロックに対応する被写体の奥行値に変換する。この視差量から奥行値への変換は、前記した（２）式の演算により行うことができる。
【００１４】
また、請求項２に記載の多視点画像奥行値抽出装置は、請求項１に記載の多視点画像奥行値抽出装置において、平均視差量算出手段が、平均値を算出する値から、対象ブロックとの類似度が予め定めた値よりも低い類似画像領域に対応する差分を除外して、視差量を求めることを特徴とする。
【００１５】
かかる構成において、多視点画像奥行値抽出装置は、類似画像領域と対象ブロックとの類似度が低くなった場合、平均値を算出するための値から除外することで、誤差の少ない視差量を求めることができる。
【００１６】
さらに、請求項３に記載の多視点画像奥行値抽出装置は、請求項１または請求項２に記載の多視点画像奥行値抽出装置において、周辺ブロック特定手段と、類似画像領域奥行値算出手段と、平均奥行値算出手段と、をさらに備える構成とした。
【００１７】
かかる構成において、多視点画像奥行値抽出装置は、周辺ブロック特定手段によって、複数の参照撮影画像において、類似画像領域が跨ったブロックを周辺ブロックとして特定する。そして、多視点画像奥行値抽出装置は、類似画像領域奥行値算出手段によって、周辺ブロック特定手段で特定された周辺ブロックに対応する奥行値の平均値を算出し、当該類似画像領域に対応する奥行値とする。これによって、対象ブロックに類似する類似画像領域に対応する奥行値が、周辺ブロックの奥行値で平均化され、誤差が分散されることになる。
【００１８】
そして、多視点画像奥行値抽出装置は、平均奥行値算出手段によって、類似画像領域奥行値算出手段で算出された奥行値と対象ブロックの奥行値との平均値を算出し、当該対象ブロックの奥行値とする。これによって、対象ブロックの奥行値は、参照撮影画像の類似画像領域の奥行値との間で平均化され、誤差が分散されることになる。
【００１９】
また、請求項４に記載の多視点画像奥行値抽出装置は、請求項３に記載の多視点画像奥行値抽出装置において、類似画像領域奥行値算出手段が、周辺ブロックに対応する奥行値の平均値を算出する際に、周辺ブロックに当該平均値に対して予め定めた差分よりも差が大きい奥行値が対応していた場合に、当該奥行値を除外して平均値を再度算出することを特徴とする。
【００２０】
かかる構成において、類似画像領域奥行値算出手段は、周辺ブロックのうちで、奥行値が大きく異なった周辺ブロックを除外して平均値が算出されることになる。
【００２１】
さらに、請求項５に記載の多視点画像奥行値抽出装置は、請求項３または請求項４に記載の多視点画像奥行値抽出装置において、平均奥行値算出手段が、類似画像領域奥行値算出手段で算出された奥行値と対象ブロックの奥行値との平均値を算出する際に、類似画像領域奥行値算出手段で算出された奥行値から、当該平均値に対して予め定めた差分よりも差が大きい奥行値を除外して平均値を再度算出することを特徴とする。
【００２２】
かかる構成において、多視点画像奥行値抽出装置は、類似画像領域のうちで、奥行値が大きく異なった類似画像領域を除外して平均値が算出されることになる。
【００２３】
また、請求項６に記載の多視点画像奥行値抽出方法は、複数配列したカメラで同一の被写体を撮影した複数の撮影画像から、前記被写体の多視点画像用の奥行値を抽出する多視点画像奥行値抽出方法であって、ブロック分割ステップと、ブロック探索ステップと、差分算出ステップと、平均視差量算出ステップと、奥行値変換ステップと、を含む手順とした。
【００２４】
かかる手順において、多視点画像奥行値抽出方法は、ブロック分割ステップで、複数の撮影画像を予め定めた大きさのブロックに分割する。そして、多視点画像奥行値抽出方法は、ブロック探索ステップで、奥行値を抽出する対象となる対象ブロックごとに、当該対象ブロックが属する撮影画像を撮影したカメラに隣接したカメラが撮影した複数の参照撮影画像において、画像特徴の類似度が最も高い類似画像領域を探索する。
【００２５】
そして、多視点画像奥行値抽出方法は、差分算出ステップで、類似画像領域の位置と対象ブロックの位置との差分を算出する。さらに、多視点画像奥行値抽出方法は、平均視差量算出ステップで、差分算出ステップで算出された参照撮影画像分ごとの差分の平均値を算出し、対象ブロックにおける視差量とする。その後、多視点画像奥行値抽出方法は、奥行値変換ステップで、平均視差量算出ステップで算出された視差量を、予め定められたカメラの焦点距離およびカメラ間の距離に基づいて、対象ブロックに対応する被写体の奥行値に変換する。
【００２６】
さらに、請求項７に記載の多視点画像奥行値抽出方法は、請求項６に記載の多視点画像奥行値抽出方法において、奥行値変換ステップの後に、周辺ブロック特定ステップと、類似画像領域奥行値算出ステップと、平均奥行値算出ステップと、をさらに含む手順とした。
【００２７】
かかる手順において、多視点画像奥行値抽出方法は、周辺ブロック特定ステップで、複数の参照撮影画像において、前記類似画像領域が跨ったブロックを周辺ブロックとして特定する。そして、多視点画像奥行値抽出方法は、類似画像領域奥行値算出ステップで、周辺ブロック特定ステップで特定された周辺ブロックに対応する奥行値の平均値を算出し、当該類似画像領域に対応する奥行値とする。
【００２８】
そして、多視点画像奥行値抽出方法は、平均奥行値算出ステップで、類似画像領域奥行値算出ステップで算出された奥行値と対象ブロックの奥行値との平均値を算出し、当該対象ブロックの奥行値とする。
【００２９】
また、請求項８に記載の多視点画像奥行値抽出プログラムは、複数配列したカメラで同一の被写体を撮影した複数の撮影画像から、前記被写体の多視点画像用の奥行値を抽出するために、コンピュータを、ブロック分割手段、ブロック探索手段、差分算出手段、平均視差量算出手段、奥行値変換手段、として機能させる構成とした。
【００３０】
かかる構成において、多視点画像奥行値抽出プログラムは、ブロック分割手段によって、複数の撮影画像を予め定めた大きさのブロックに分割する。そして、多視点画像奥行値抽出プログラムは、ブロック探索手段によって、奥行値を抽出する対象となる対象ブロックごとに、当該対象ブロックが属する撮影画像を撮影したカメラに隣接したカメラが撮影した複数の参照撮影画像において、画像特徴の類似度が最も高い類似画像領域を探索する。
【００３１】
そして、多視点画像奥行値抽出プログラムは、差分算出手段によって、類似画像領域の位置と対象ブロックの位置との差分を算出する。さらに、多視点画像奥行値抽出プログラムは、平均視差量算出手段によって、差分算出手段で算出された参照撮影画像分ごとの差分の平均値を算出し、対象ブロックにおける視差量とする。そして、多視点画像奥行値抽出プログラムは、奥行値変換手段によって、平均視差量算出手段で算出された視差量を、予め定められたカメラの焦点距離およびカメラ間の距離に基づいて、対象ブロックに対応する被写体の奥行値に変換する。
【００３２】
さらに、請求項９に記載の多視点画像奥行値抽出プログラムは、請求項８に記載の多視点画像奥行値抽出プログラムにおいて、コンピュータを、周辺ブロック特定手段、類似画像領域奥行値算出手段、平均奥行値算出手段、としてさらに機能させる構成とした。
【００３３】
かかる構成において、多視点画像奥行値抽出プログラムは、周辺ブロック特定手段によって、複数の参照撮影画像において、類似画像領域が跨ったブロックを周辺ブロックとして特定する。そして、多視点画像奥行値抽出プログラムは、類似画像領域奥行値算出手段によって、周辺ブロック特定手段で特定された周辺ブロックに対応する奥行値の平均値を算出し、当該類似画像領域に対応する奥行値とする。
【００３４】
そして、多視点画像奥行値抽出プログラムは、平均奥行値算出手段によって、類似画像領域奥行値算出手段で算出された奥行値と対象ブロックの奥行値との平均値を算出し、当該対象ブロックの奥行値とする。
【発明の効果】
【００３５】
本発明は、以下に示す優れた効果を奏するものである。
請求項１，６，８に記載の発明によれば、隣接するカメラが撮影した画像間で視差量を平均化することができるため、対応点が完全に一致していないブロックであっても、ブロックマッチングの誤差が分散し軽減されることになる。これによって、本発明は、誤差が軽減された視差量から奥行値を求めることができ、被写体を撮影した複数の撮影画像から、被写体の多視点画像用の奥行値を精度よく抽出することができる。
【００３６】
請求項２に記載の発明によれば、類似度が大きく異なる類似画像領域の視差量を除外することができ、オクルージョンが発生している場合であっても、対象ブロックの視差量を精度よく算出することができる。
【００３７】
請求項３，７，９に記載の発明によれば、類似画像領域の奥行値を周辺ブロックに対応付けられた奥行値で平均化することができるため、類似画像領域の奥行値を、誤差を軽減させて求めることができる。これによって、本発明は、誤差が軽減された類似画像領域の奥行値から対象ブロックの奥行値を補正するため、対象ブロックの奥行値の精度を高めることができる。
【００３８】
請求項４に記載の発明によれば、奥行値が大きく異なる周辺ブロックの奥行値を除外することができ、周辺ブロック内にオクルージョンが発生している場合であっても、類似画像領域の奥行値を精度よく算出することができる。これによって、対象ブロックの奥行値の精度を高めることができる。
【００３９】
請求項５に記載の発明によれば、周辺ブロックにオクルージョンが複数発生し、類似画像領域に誤った奥行値が算出された場合であっても、誤った奥行値を持つ参照撮影画像を除外して対象ブロックの奥行値を算出することができる。これによって、撮影画像に複数のオクルージョンが発生している場合であっても、対象ブロックの奥行値を精度よく抽出することができる。
【発明を実施するための最良の形態】
【００４０】
以下、本発明の実施の形態について図面を参照して説明する。
［第１実施形態：多視点画像奥行値抽出装置の構成］
まず、図１を参照して、本発明の第１実施形態に係る多視点画像奥行値抽出装置の構成について説明する。図１は、本発明の第１実施形態に係る多視点画像奥行値抽出装置の全体構成を示すブロック図である。
【００４１】
多視点画像奥行値抽出装置１は、複数配列したカメラで同一の被写体を撮影した複数の撮影画像から、被写体の多視点画像用の奥行値を抽出するものである。なお、多視点画像奥行値抽出装置１は、外部に複数（３台以上）のカメラＣ（…，ＣＮ−１，ＣＮ，ＣＮ＋１，…）を接続し、カメラＣから入力される複数の撮影画像を用いて被写体の奥行値を求めることとする。
【００４２】
このカメラＣは、撮影した画像をフレーム単位で多視点画像奥行値抽出装置１に出力する。なお、カメラＣの配置は、カメラＣから被写体Ｓまでの距離が隣接するカメラ同士でほぼ等しければその配置を限定するものではない。例えば、立体映像を生成するために使用する多視点画像の奥行値を抽出する場合であれば、被写体Ｓに対向して水平方向に等間隔で一直線上にカメラＣを配置すればよい。また、例えば、自由視点映像を生成するために使用する多視点画像の奥行値を抽出する場合であれば、被写体Ｓを中心に等間隔で円環上にカメラＣを配置すればよい。ここでは、被写体Ｓに対向して水平方向に等間隔で一直線上にカメラＣを配置した例で説明を行うこととする。
【００４３】
以下、多視点画像奥行値抽出装置１の各構成について説明する。ここでは、多視点画像奥行値抽出装置１は、ブロック分割手段１０と、ブロック探索手段２０と、視差量算出手段３０と、奥行値変換手段４０とを備える。
【００４４】
ブロック分割手段１０は、カメラＣで撮影された複数の撮影画像を、撮影画像ごとに予め定めた大きさのブロックに分割するものである。このブロックは、撮影画像間で類似する領域を探索（ブロックマッチング）する際の基準となるもので、例えば、１６×１６画素の大きさとする。また、このブロックは、被写体Ｓの奥行値を算出する基準でもある。なお、ここでは、ブロック分割手段１０は、図示を省略したメモリ等の記憶手段にカメラＣ（…，ＣＮ−１，ＣＮ，ＣＮ＋１，…）から入力した画像をフレーム単位で蓄積して、ブロックの位置、大きさをブロック探索手段２０に出力することとする。
【００４５】
ブロック探索手段２０は、ブロック分割手段１０で分割されたブロック単位で、奥行値を抽出する対象となる対象ブロックが属する撮影画像（以下、基準撮影画像という）を撮影したカメラ（例えばカメラＣＮ）に隣接したカメラ（例えばカメラＣＮ−１，ＣＮ＋１）が撮影した複数の撮影画像（以下、参照撮影画像という）において、参照撮影画像ごとに対象ブロックとの画像特徴の類似度が最も高い類似画像領域を探索するものである。ここでは、ブロック探索手段２０は、比較対象領域選択手段２１と、類似度算出手段２２と、類似画像領域決定手段２３とを備える。
【００４６】
比較対象領域選択手段２１は、基準撮影画像内の奥行値を抽出する対象となる対象ブロックごとに、参照撮影画像内において、対象ブロックと画像特徴を比較するための領域（比較対象領域）を順次選択するものである。ここでは、比較対象領域選択手段２１は、参照撮影画像内における対象ブロックと同じ画像位置のブロックの近傍領域を選択範囲とし、当該選択範囲内で、対象ブロックと同じ大きさの領域を順次ずらし、比較対象領域を順次選択していく。また、比較対象領域選択手段２１は、選択した比較対象領域を、順次、類似度算出手段２２に出力する。
【００４７】
ここで、比較対象領域選択手段２１が選択を行うブロックの近傍領域は、例えば、当該ブロックの上下左右に数ブロック程度拡張した領域である。このように、選択範囲を近傍領域に限定することで、参照撮影画像内で誤ったブロックを探索することを防止することができるとともに、演算量を抑えることができる。
【００４８】
類似度算出手段２２は、対象ブロックごとに、当該対象ブロックと、比較対象領域選択手段２１で順次選択された比較対象領域との類似度を算出するものである。ここでは、類似度算出手段２２は、画像特徴に基づいて、対象ブロックと比較対象領域との類似度を算出することとし、例えば、対象ブロックと比較対象領域とで、色ベクトルの距離が近いほど類似度を高い値に設定することとする。なお、画像の類似度は、一般的な指標を用いればよく、色ベクトル以外にも、色ヒストグラム、輝度等、あるいは、それらの組み合わせを用いてもよい。また、距離には、ブロック内の画素ごとの値の差の絶対値や２乗したものを加算した値を用いることができる。この類似度算出手段２２で算出された類似度は、類似画像領域決定手段２３に出力される。
【００４９】
類似画像領域決定手段２３は、類似度算出手段２２で算出された類似度に基づいて、対象ブロックに類似する領域（類似画像領域）を決定するものである。ここでは、類似画像領域決定手段２３は、対象ブロックごとに、参照撮影画像における最も類似度の高い比較対象領域を類似画像領域に決定する。また、類似画像領域決定手段２３は、対象ブロックの位置、類似画像領域の位置および類似度を、視差量算出手段３０に出力する。
このように、ブロック探索手段２０を構成することで、対象ブロックごとに、隣接したカメラＣで撮影された参照撮影画像における類似画像領域が探索されることになる。
【００５０】
視差量算出手段３０は、対象ブロックごとに、当該対象ブロックの位置と、ブロック探索手段２０で探索された対象ブロックに対応する類似画像領域の位置との差に基づいて、当該対象ブロックにおける視差量を算出するものである。ここでは、視差量算出手段３０は、差分算出手段３１と、平均視差量算出手段３２とを備える。
【００５１】
差分算出手段３１は、対象ブロックの位置と類似画像領域の位置との差分を算出するものである。ここでは、差分算出手段３１は、対象ブロックを基準に、参照撮影画像ごとの差分を算出することとする。この差分算出手段３１で算出された差分は、平均視差量算出手段３２に出力される。
【００５２】
平均視差量算出手段３２は、差分算出手段３１で算出された差分の平均値を、対象ブロックにおける視差量として算出するものである。このように、複数の視差量を平均化することで、１つの視差量に誤差が含まれている場合であっても、誤差が分散され視差量の精度を増すことができる。
【００５３】
また、平均視差量算出手段３２は、視差量の平均値を算出する際に、平均値を算出する対象となる参照撮影画像の類似画像領域の類似度が、予め定めた値よりも低い場合、当該類似画像領域の位置と対象ブロックの位置との差分を、平均値を算出する値から除外することとする。このように、類似度の低い類似画像領域を、視差量を求める対象から除外することで、例えば、あるカメラＣにおいて撮影されていない領域（オクルージョン領域）が存在する場合、当該カメラＣが撮影したオクルージョン領域を、視差量を求める対象から除外することができ、正確な視差量を求めることが可能になる。
【００５４】
なお、カメラＣが等間隔に配置されていない場合、平均視差量算出手段３２は、カメラＣ間の距離に応じた比で視差量を正規化してから平均値を算出することとする。また、この場合、平均視差量算出手段３２は、対象ブロックに、予め定めた標準カメラ間隔での視差量を対応付けることとする。
【００５５】
奥行値変換手段４０は、撮影画像ごとに、視差量算出手段３０で算出された視差量を、予め定められたカメラＣの焦点距離およびカメラＣ間の距離に基づいて、対象ブロックに対応する被写体の奥行値に変換するものである。すなわち、奥行値変換手段４０は、カメラ間の距離をＬ、カメラＣの焦点距離をｆとしたとき、以下の（３）式により、撮影画像の対象ブロックに対応付けて算出された視差量Ｂを、当該対象ブロックにおける被写体Ｓの奥行値Ｄに変換する。
Ｄ＝ｆＬ／Ｂ …（３）式
このように、奥行値変換手段４０は、複数の撮影画像内のブロックごとに、被写体の奥行値を対応付けることができる。
【００５６】
以上説明したように多視点画像奥行値抽出装置１を構成することで、多視点画像奥行値抽出装置１は、複数配列したカメラで同一の被写体を撮影した複数の撮影画像から、被写体の多視点画像用の奥行値を抽出することができる。また、多視点画像奥行値抽出装置１は、ブロックごとの視差量を、基準撮影画像と複数の参照撮影画像との視差量の平均値により算出するため、誤差を分散させ、奥行値の精度を高めることができる。さらに、多視点画像奥行値抽出装置１は、平均処理によって視差量を算出する際に、ブロック間の類似度が予め定めた値よりも低いものを平均処理の対象から除外するため、オクルージョンが発生したブロックの影響を受けることなく、精度よく奥行値を求めることができる。
【００５７】
なお、多視点画像奥行値抽出装置１は、一般的なコンピュータを、前記した各手段として機能させる多視点画像奥行値抽出プログラムによって動作させることができる。また、この多視点画像奥行値抽出プログラムは、通信回線を介して配布したり、ＣＤ−ＲＯＭ等の記録媒体に記録して配布したりすることも可能である。
【００５８】
［第１実施形態：多視点画像奥行値抽出装置の動作］
次に、図２を参照（構成については適宜図１参照）して、本発明の第１実施形態に係る多視点画像奥行値抽出装置の動作について説明する。図２は、本発明の第１実施形態に係る多視点画像奥行値抽出装置の動作を示すフローチャートである。
【００５９】
（ブロック分割ステップ）
まず、多視点画像奥行値抽出装置１は、ブロック分割手段１０によって、カメラＣで撮影された複数の撮影画像を、撮影画像ごとに予め定めた大きさのブロックに分割する（ステップＳ１）。
【００６０】
（ブロック探索ステップ）
そして、多視点画像奥行値抽出装置１は、ブロック探索手段２０によって、１つの撮影画像を基準撮影画像とし、当該基準撮影画像を撮影したカメラ（例えばカメラＣＮ）に隣接したカメラ（例えばカメラＣＮ−１，ＣＮ＋１）が撮影した複数の参照撮影画像において、基準撮影画像内のブロックごとに、画像特徴の類似度が最も高い類似画像領域を探索する。
【００６１】
具体的には、多視点画像奥行値抽出装置１は、ブロック探索手段２０の比較対象領域選択手段２１によって、参照撮影画像内において、基準撮影画像内の奥行値を抽出する対象となるブロック（対象ブロック）と画像特徴を比較するための領域（比較対象領域）を選択し、ブロック探索手段２０の類似度算出手段２２によって、対象ブロックと比較対象領域との類似度を算出する（ステップＳ２）。
【００６２】
ここで、多視点画像奥行値抽出装置１は、ブロック探索手段２０の比較対象領域選択手段２１が対象ブロックに対応する領域の近傍領域のすべてについて比較対象領域を選択していない場合（ステップＳ３でＮｏ）、比較対象領域選択手段２１が比較対象領域を変更し（ステップＳ４）、ステップＳ２に戻って動作を継続する。
【００６３】
一方、比較対象領域選択手段２１が対象ブロックに対応する領域の近傍領域のすべてについて比較対象領域を選択した場合（ステップＳ３でＹｅｓ）、ブロック探索手段２０の類似画像領域決定手段２３によって、ステップＳ２で算出された類似度が最も高い比較対象領域を類似画像領域に決定する（ステップＳ５）。
【００６４】
ここで、多視点画像奥行値抽出装置１は、ブロック探索手段２０がすべての参照撮影画像について類似画像領域を決定していない場合（ステップＳ６でＮｏ）、類似撮影画像を変更し（ステップＳ７）、ステップＳ２に戻って動作を継続する。
【００６５】
（視差量算出ステップ）
一方、ブロック探索手段２０がすべての参照撮影画像について類似画像領域を決定した場合（ステップＳ６でＹｅｓ）、多視点画像奥行値抽出装置１は、視差量算出手段３０によって、対象ブロックにおける視差量を算出する。
【００６６】
具体的には、多視点画像奥行値抽出装置１は、視差量算出手段３０の差分算出手段３１によって、対象ブロックの位置と、ステップＳ５で決定された複数の類似画像領域の位置との差分を算出する（ステップＳ８；差分算出ステップ）。
【００６７】
そして、多視点画像奥行値抽出装置１は、視差量算出手段３０の平均視差量算出手段３２によって、ステップＳ８で算出された差分の平均値を、対象ブロックにおける視差量として算出する（ステップＳ９；平均視差量算出ステップ）。なお、このとき、平均視差量算出手段３２は、類似画像領域における対象ブロックとの類似度が、予め定めた値よりも低い場合、当該類似画像領域の位置と対象ブロックの位置との差分を、平均値を算出する値から除外する。
【００６８】
（奥行値変換ステップ）
その後、多視点画像奥行値抽出装置１は、奥行値変換手段４０によって、ステップＳ９で算出された視差量を、予め定められたカメラＣの焦点距離およびカメラＣ間の距離に基づいて、対象ブロックに対応する被写体の奥行値に変換する（ステップＳ１０）。
【００６９】
そして、基準撮影画像内のすべてのブロックについて奥行値が得られていない場合（ステップＳ１１でＮｏ）、多視点画像奥行値抽出装置１は、基準撮影画像内の対象ブロックを変更し（ステップＳ１２）、ステップＳ２に戻って動作を継続する。
【００７０】
一方、基準撮影画像内のすべてのブロックについて奥行値が得られ（ステップＳ１１でＹｅｓ）、他の撮影画像について奥行値が得られていない場合（ステップＳ１３でＮｏ）、多視点画像奥行値抽出装置１は、基準撮影画像を他の撮影画像に変更し（ステップＳ１４）、ステップＳ２に戻って動作を継続する。
そして、すべての撮影画像において奥行値が算出された場合（ステップＳ１３でＹｅｓ）、多視点画像奥行値抽出装置１は、動作を終了する。
【００７１】
なお、カメラＣが動画像カメラである場合、多視点画像奥行値抽出装置１は、順次フレーム画像単位で画像を入力し、前記動作を繰り返し実行することとする。これによって、多視点画像奥行値抽出装置１は、動画像映像においても、フレーム単位で奥行値を抽出することができる。
【００７２】
以上の動作によって、多視点画像奥行値抽出装置１は、複数配列したカメラで同一の被写体を撮影した複数の撮影画像から、被写体の多視点画像用の奥行値を抽出することができる。
【００７３】
〔多視点画像奥行値抽出装置１の具体的動作例〕
次に、図３を参照（構成については適宜図１参照）して、本発明の第１実施形態に係る多視点画像奥行値抽出装置の具体的な動作例について説明する。図３は、本発明の第１実施形態に係る多視点画像奥行値抽出装置の動作を視覚的に説明するための模式図である。
【００７４】
図３（ａ）は、被写体Ｓを複数のカメラＣ（…，ＣＮ−１，ＣＮ，ＣＮ＋１，…）で撮影した撮影画像のうち、３台のカメラＣＮ−１，ＣＮ，ＣＮ＋１が撮影した撮影画像ＭＮ−１，ＭＮ，ＭＮ＋１の内容を示している。
【００７５】
まず、多視点画像奥行値抽出装置１は、ブロック分割手段１０によって、各撮影画像ＭＮ−１，ＭＮ，ＭＮ＋１を予め定めた大きさのブロックに分割する。なお、図３では、一例として各画像を９個のブロックに分割した例を示している。
【００７６】
そして、多視点画像奥行値抽出装置１は、ブロック探索手段２０によって、１つの撮影画像を基準撮影画像（ここではＭＮ）、その基準撮影画像を撮影したカメラに隣接したカメラが撮影した撮影画像を参照撮影画像（ここではＭＮ−１，ＭＮ＋１）として、基準撮影画像ＭＮ内の対象ブロックＴＮに類似する領域（類似画像領域）を、参照撮影画像ＭＮ−１，ＭＮ＋１内で探索する。なお、図３（ａ）では、参照撮影画像ＭＮ−１において類似画像領域ＲＮ−１、参照撮影画像ＭＮ＋１において類似画像領域ＲＮ＋１が、対象ブロックＴＮに類似する領域として探索された状態を示している。
【００７７】
そして、多視点画像奥行値抽出装置１は、視差量算出手段３０によって、対象ブロックＴＮの位置と、類似画像領域ＲＮ−１，ＲＮ＋１の位置との差分（ここでは、ＢＮ−１，ＢＮ＋１）の平均値を当該対象ブロックＴＮの視差量（（ＢＮ−１＋ＢＮ＋１）／２）とする。なお、対象ブロックＴＮに類似するブロックに、類似画像領域ＲＮ＋１のように、オクルージョンが発生している場合（ここでは、対応するブロックの一部が円柱で隠されている）、対象ブロックＴＮと、類似画像領域ＲＮ＋１との類似度が低くなる。この場合、視差量算出手段３０は、類似画像領域ＲＮ−１との視差量ＢＮ−１を、対象ブロックＴＮの視差量として採用する。
【００７８】
そして、多視点画像奥行値抽出装置１は、基準撮影画像ＭＮ内において、順次、対象ブロックＴＮを変更して、基準撮影画像ＭＮ内のすべてのブロックについて視差量を算出する。そして、多視点画像奥行値抽出装置１は、奥行値変換手段４０によって、ブロックごとに算出された視差量を奥行値に変換する（前記（３）式参照）。これによって、多視点画像奥行値抽出装置１は、基準撮影画像ＭＮ内のブロックごとに奥行値を抽出することができる。
【００７９】
さらに、多視点画像奥行値抽出装置１は、図３（ｂ）に示すように、基準撮影画像を他の撮影画像に変更し、同様の動作を行う。なお、図３（ｂ）では、カメラＣＮ−１が撮影した撮影画像ＭＮ−１を基準撮影画像に変更した例を示している。このように、基準撮影画像を順次変更することで、すべての撮影画像内のブロックごとに奥行値を抽出することができる。
【００８０】
以上説明したように、多視点画像奥行値抽出装置１は、隣接したカメラで撮影した参照撮影画像の類似画像領域の位置と、対象ブロックの位置との差分を平均処理することで視差量を求めるため、撮影したカメラが異なることで対応点が異なる場合であっても、視差量の誤差が減少する。これによって、精度よく奥行値を抽出することができる。
【００８１】
［第２実施形態：多視点画像奥行値抽出装置の構成］
次に、図４を参照して、本発明の第２実施形態に係る多視点画像奥行値抽出装置の構成について説明する。図４は、本発明の第２実施形態に係る多視点画像奥行値抽出装置の全体構成を示すブロック図である。
【００８２】
図４に示すように、多視点画像奥行値抽出装置１Ｂは、ブロック分割手段１０と、ブロック探索手段２０と、視差量算出手段３０と、奥行値変換手段４０と、奥行値補正手段５０とを備える。奥行値補正手段５０以外の構成は、図１で説明した多視点画像奥行値抽出装置１と同様の構成であるため、同一の符号を付し説明を省略する。
【００８３】
多視点画像奥行値抽出装置１Ｂは、図１で説明した多視点画像奥行値抽出装置１と同様に、複数配列したカメラで同一の被写体を撮影した複数の撮影画像から、被写体の多視点画像用の奥行値を抽出するものである。以下、多視点画像奥行値抽出装置１と異なる構成である奥行値補正手段５０について詳細に説明する。
【００８４】
奥行値補正手段５０は、奥行値変換手段４０で変換されたブロックごとの奥行値を、当該ブロックを撮影したカメラ以外のカメラで撮影した撮影画像（参照撮影画像）を参照して補正するものである。ここでは、奥行値補正手段５０は、周辺ブロック特定手段５１と、類似画像領域奥行値算出手段５２と、平均奥行値算出手段５３とを備える。
【００８５】
周辺ブロック特定手段５１は、複数の参照撮影画像において、類似画像領域が跨ったブロックを周辺ブロックとして特定するものである。この周辺ブロック特定手段５１は、対象ブロックに対応する参照撮影画像内のブロック（対応ブロック）の位置を対象ブロックと対応ブロックとの視差量分だけずらすことで、参照撮影画像における対象ブロックに類似する類似画像領域の位置を求め、この類似画像領域が跨った周辺ブロックを特定することとする。
【００８６】
例えば、周辺ブロック特定手段５１は、対象ブロックの奥行値がＤ（＝ｆＬ／Ｂ〔前記（３）式参照〕）である場合に、対応ブロックの位置を、以下の（４）式に示より逆変換することで視差量Ｂを求め、対応ブロックを視差量Ｂだけずらすことで類似画像領域の位置を特定する。
Ｂ＝ｆＬ／Ｄ …（４）式
【００８７】
そして、周辺ブロック特定手段５１は、類似画像領域の周辺のブロックを類似画像領域奥行値算出手段５２に出力する。なお、カメラＣが等間隔に配置されていない場合、周辺ブロック特定手段５１は、対象ブロックに対応付けられた標準カメラ間隔での視差量を当該カメラ間隔での視差量に変換した値に基づいて、類似画像領域の位置を特定することとする。
【００８８】
また、ここでは、周辺ブロック特定手段５１は、対象ブロックの位置に対応する参照撮影画像のブロック（対応ブロック）を視差量分ずらすことで類似画像領域の位置を特定したが、ブロック探索手段２０の類似画像領域決定手段２３で決定された類似画像領域の位置を記憶手段（図示せず）に保持しておき、利用することとしてもよい。
【００８９】
類似画像領域奥行値算出手段５２は、参照撮影画像において、周辺ブロック特定手段５１で特定されたブロック（周辺ブロック）に対応する奥行値の平均値を算出し、当該類似画像領域に対応する奥行値とするものである。
【００９０】
この類似画像領域奥行値算出手段５２は、類似画像領域の奥行値を、類似画像領域が跨った周辺ブロックに対応する奥行値の平均値を算出することで求めるため、各ブロックに対応する奥行値に誤差が含まれている場合であっても、その誤差が分散され、精度の高い奥行値を求めることができる。
【００９１】
なお、類似画像領域奥行値算出手段５２は、類似画像領域の奥行値と、当該奥行値を算出するために使用した各周辺ブロックの奥行値との差が、予め定めた値よりも大きい奥行値を有する周辺ブロックについては、その奥行値の値を除外して再度平均値を算出し、類似画像領域の奥行値とすることが望ましい。これによって、類似画像領域奥行値算出手段５２は、類似画像領域が跨った周辺ブロックでオクルージョンが発生し、正しい奥行値が対応していない場合に、当該オクルージョンが発生した周辺ブロックの奥行値を除外して平均値を求めるため、さらに精度の高い類似画像領域の奥行値を求めることができる。
このように求められた対象ブロックごとに対応する複数の類似画像領域の奥行値は、平均奥行値算出手段５３に出力される。
【００９２】
平均奥行値算出手段５３は、類似画像領域奥行値算出手段５２で算出された対象ブロックに対応する複数の類似画像領域の奥行値と、当該対象ブロックの奥行値との平均値を算出し、当該対象ブロックの奥行値とするものである。このように、類似する複数のブロックに対応している奥行値を平均化することで、奥行値に誤差が含まれている場合であっても、その誤差が分散化され、精度の高い奥行値を求めることができる。
【００９３】
なお、平均奥行値算出手段５３は、類似画像領域の奥行値との平均により求めた対象ブロックの奥行値と、当該類似画像領域の奥行値との差が、予め定めた値よりも大きい奥行値を有する類似画像領域については、その類似画像領域の奥行値の値を含む参照撮影画像を除外して再度平均値を算出し、対象ブロックの奥行値とすることが望ましい。これによって、平均奥行値算出手段５３は、類似画像領域奥行値算出手段５２が、類似画像領域に複数のオクルージョンが発生し、類似画像領域に誤った奥行値を対応付けた場合であっても、当該誤った奥行値を含む参照撮影画像を除外して平均値を求めるため、さらに精度の高い類似画像領域の奥行値を求めることができる。
【００９４】
このように、奥行値補正手段５０は、参照撮影画像内の類似画像領域が跨ったブロックの奥行値を平均化することで類似画像領域の奥行値を算出し、対象ブロックごとの奥行値を複数の参照撮影画像の類似画像領域の奥行値で平均化することで、対象ブロックの奥行値を補正する。これによって、奥行値補正手段５０は、奥行値変換手段４０で変換された対象ブロックの奥行値の誤差が発生している場合であっても、誤差分散により奥行値の精度を高めることができる。
【００９５】
なお、奥行値補正手段５０は、対象ブロックの奥行値を補正するための類似画像領域を含む参照撮影画像の数は特に限定するものではない。例えば、奥行値補正手段５０は、基準撮影画像を撮影したカメラの両隣のカメラが撮影した２枚の参照撮影画像内の２つの類似画像領域の奥行値を使用して対象ブロックの奥行値を補正することとしてよいし、さらに参照撮影画像を増やして、３枚以上の参照撮影画像の類似画像領域を使用して対象ブロックの奥行値を補正することとしてよい。
【００９６】
以上説明したように多視点画像奥行値抽出装置１Ｂを構成することで、多視点画像奥行値抽出装置１Ｂは、複数配列したカメラで同一の被写体を撮影した複数の撮影画像から、被写体の多視点画像用の奥行値を抽出することができる。また、多視点画像奥行値抽出装置１Ｂは、複数のカメラで撮影した撮影画像から、対象ブロックに類似するブロックの奥行値を平均化処理するため、複数のオクルージョンが発生する場合であっても、精度よく奥行値を求めることができる。
【００９７】
なお、多視点画像奥行値抽出装置１Ｂは、一般的なコンピュータを、前記した各手段として機能させる多視点画像奥行値抽出プログラムによって動作させることができる。また、この多視点画像奥行値抽出プログラムは、通信回線を介して配布したり、ＣＤ−ＲＯＭ等の記録媒体に記録して配布したりすることも可能である。
【００９８】
［第２実施形態：多視点画像奥行値抽出装置の動作］
次に、図５を参照（構成については適宜図４参照）して、本発明の第２実施形態に係る多視点画像奥行値抽出装置の動作について説明する。図５は、本発明の第２実施形態に係る多視点画像奥行値抽出装置の動作を示すフローチャートである。なお、図５のステップＳ１〜Ｓ１４の動作は、図２で説明した多視点画像奥行値抽出装置１（図１）の動作と同様であるため、説明を省略する。ここでは、ステップＳ１４の動作後について説明を行う。
【００９９】
（奥行値補正ステップ）
ステップＳ１４の動作後、多視点画像奥行値抽出装置１Ｂは、奥行値補正手段５０によって、奥行値変換手段４０で変換されたブロックごとの奥行値を、当該ブロックを撮影したカメラ以外のカメラで撮影した撮影画像（参照撮影画像）を参照して補正する。
【０１００】
具体的には、多視点画像奥行値抽出装置１Ｂは、奥行値補正手段５０の周辺ブロック特定手段５１によって、複数の参照撮影画像において、類似画像領域が跨ったブロックを周辺ブロックとして特定する（ステップＳ１５；周辺ブロック特定ステップ）。
【０１０１】
そして、多視点画像奥行値抽出装置１Ｂは、奥行値補正手段５０の類似画像領域奥行値算出手段５２によって、ステップＳ１５で特定された類似画像領域が跨った参照撮影画像内の周辺ブロックに対応する奥行値の平均値を算出し、当該類似画像領域に対応する奥行値とする（ステップＳ１６；類似画像領域奥行値算出ステップ）。
【０１０２】
なお、類似画像領域の奥行値の平均値と、当該平均値を算出するために使用した各周辺ブロックの奥行値との差が、予め定めた値（閾値）よりも大きい周辺ブロックの奥行値が存在していた場合（ステップＳ１７でＹｅｓ）、類似画像領域奥行値算出手段５２は、その差が大きかった周辺ブロックの奥行値を除いて再度平均値を算出し、類似画像領域に対応する奥行値とする（ステップＳ１８）。そして、動作をステップＳ１９に進める。
【０１０３】
一方、類似画像領域の奥行値の平均値と、当該平均値を算出するために使用した各周辺ブロックの奥行値との差が、予め定めた値（閾値）以下である場合（ステップＳ１７でＮｏ）、多視点画像奥行値抽出装置１Ｂは、奥行値補正手段５０の平均奥行値算出手段５３によって、ステップＳ１６またはステップＳ１８で算出された対象ブロックに対応する複数の参照撮影画像の類似画像領域の奥行値と、当該対象ブロックの奥行値との平均値を算出し、当該対象ブロックの奥行値とする（ステップＳ１９；平均奥行値算出ステップ）。
【０１０４】
なお、ステップＳ１９で算出された平均値と、当該平均値を算出するために使用した類似画像領域の奥行値との差が、予め定めた値（閾値）よりも大きい類似画像領域の奥行値を含む参照撮影画像が存在していた場合（ステップＳ２０でＹｅｓ）、平均奥行値算出手段５３は、その差が大きかった類似画像領域の奥行値を含む参照撮影画像を除いて再度平均値を算出し、対象ブロックに対応する奥行値とする（ステップＳ２１）。
【０１０５】
そして、基準撮影画像内のすべてのブロックについて奥行値の補正値が得られていない場合（ステップＳ２２でＮｏ）、多視点画像奥行値抽出装置１Ｂは、基準撮影画像内の対象ブロックを変更し（ステップＳ２３）、ステップＳ１５に戻って動作を継続する。
【０１０６】
一方、基準撮影画像内のすべてのブロックについて奥行値の補正値が得られ（ステップＳ２２でＹｅｓ）、他の撮影画像について奥行値の補正値が得られていない場合（ステップＳ２４でＮｏ）、多視点画像奥行値抽出装置１Ｂは、基準撮影画像を他の撮影画像に変更し（ステップＳ２５）、ステップＳ１５に戻って動作を継続する。
そして、すべての撮影画像において奥行値の補正値が算出された場合（ステップＳ２４でＹｅｓ）、多視点画像奥行値抽出装置１Ｂは、動作を終了する。
【０１０７】
以上の動作によって、多視点画像奥行値抽出装置１Ｂは、図２で説明した多視点画像奥行値抽出装置１が抽出したブロックの奥行値を、参照撮影画像の類似画像領域を参照して補正することができ、さらに精度よくブロックの奥行値を抽出することができる。
【０１０８】
〔多視点画像奥行値抽出装置１Ｂの具体的動作例〕
次に、図６を参照（構成については適宜図４参照）して、本発明の第２実施形態に係る多視点画像奥行値抽出装置の具体的な動作例について説明する。図６は、本発明の第２実施形態に係る多視点画像奥行値抽出装置の動作を視覚的に説明するための模式図である。なお、図３で説明したブロックごとの奥行値を抽出する動作については、多視点画像奥行値抽出装置１Ｂにおいても同様であり、ここでは、当該ブロックの奥行値を補正する動作についてのみ説明を行う。
【０１０９】
図６では、被写体Ｓを複数のカメラＣ（…，ＣＮ−１，ＣＮ，ＣＮ＋１，…）で撮影した撮影画像のうち、３台のカメラＣＮ−１，ＣＮ，ＣＮ＋１が撮影した撮影画像ＭＮ−１，ＭＮ，ＭＮ＋１の内容を示している。また、ＭＮを基準撮影画像、ＭＮ−１，ＭＮ＋１を参照撮影画像としている。
【０１１０】
まず、多視点画像奥行値抽出装置１Ｂは、奥行値補正手段５０の周辺ブロック特定手段５１によって、基準撮影画像ＭＮ内の対象ブロックＴＮに対応付けられている奥行値を視差量に基づいて逆変換することで、参照撮影画像ＭＮ−１，ＭＮ＋１内で類似画像領域の位置を特定する。ここでは、参照撮影画像ＭＮ−１，ＭＮ＋１内で、対象ブロックＴＮに対応する類似画像領域ＲＮ−１，ＲＮ＋１が特定された状態を示している。さらに、周辺ブロック特定手段５１は、参照撮影画像ＭＮ−１，ＭＮ＋１内でそれぞれ類似画像領域ＲＮ−１，ＲＮ＋１が跨っているブロック（周辺ブロック）を特定する。
【０１１１】
そして、多視点画像奥行値抽出装置１Ｂは、奥行値補正手段５０の類似画像領域奥行値算出手段５２によって、周辺ブロックに対応する奥行値の平均値を、類似画像領域ＲＮ−１，ＲＮ＋１の奥行値として算出する。
【０１１２】
ここでは、参照撮影画像ＭＮ−１内で類似画像領域ＲＮ−１が跨った周辺ブロックがＴ１〜Ｔ４で、参照撮影画像ＭＮ＋１内で類似画像領域ＲＮ＋１が跨った周辺ブロックがＴ５〜Ｔ８であることを示している。なお、周辺ブロックＴ１〜Ｔ８には、それぞれ奥行値Ｄ１〜Ｄ８が対応付けられているものとする。そして、類似画像領域奥行値算出手段５２は、類似画像領域ＲＮ−１の奥行値Ｄａを、周辺ブロックＴ１〜Ｔ４の奥行値の平均値（（Ｄ１＋Ｄ２＋Ｄ３＋Ｄ４）／４）として算出し、類似画像領域ＲＮ＋１の奥行値Ｄｂを、周辺ブロックＴ５〜Ｔ８の奥行値の平均値（（Ｄ５＋Ｄ６＋Ｄ７＋Ｄ８）／４）として算出する。
【０１１３】
なお、類似画像領域奥行値算出手段５２は、例えば、参照撮影画像ＭＮ＋１内の周辺ブロックＴ７に示すように、オクルージョンの発生（ここでは、対応するブロックの一部が円柱で隠されている）等によって、周辺ブロックＴ７の奥行値が、類似画像領域ＲＮ＋１の奥行値Ｄｂに対して、予め定めた値よりも差が大きい場合、周辺ブロックＴ７の奥行値を除外して、類似画像領域ＲＮ＋１の奥行値Ｄｂを、周辺ブロックＴ５，Ｔ６，Ｔ８の奥行値の平均値（（Ｄ５＋Ｄ６＋Ｄ８）／３）として算出する。
【０１１４】
そして、多視点画像奥行値抽出装置１Ｂは、奥行値補正手段５０の平均奥行値算出手段５３によって、類似画像領域ＲＮ−１の奥行値Ｄａと、類似画像領域ＲＮ＋１の奥行値Ｄｂと、対象ブロックＴＮの奥行値Ｄとの平均値（（Ｄａ＋Ｄｂ＋Ｄ）／３）を算出し、対象ブロックＴＮの奥行値Ｄを補正する。なお、類似画像領域ＲＮ−１，ＲＮ＋１の奥行値Ｄａ，Ｄｂが、平均値として算出された対象ブロックＴＮの奥行値Ｄに対して、予め定めた値よりも差が大きい場合、その類似画像領域の奥行値を除外して再度平均値を求めることが望ましい。
【０１１５】
以上説明したように、多視点画像奥行値抽出装置１Ｂは、対象ブロックの奥行値を、他の参照撮影画像の類似画像領域の奥行値との平均値で補正するため、撮影したカメラが異なることで対応点が異なる場合であっても、奥行値の誤差が減少し、精度よく奥行値を抽出することができる。
【図面の簡単な説明】
【０１１６】
【図１】本発明の第１実施形態に係る多視点画像奥行値抽出装置の全体構成を示すブロック図である。
【図２】本発明の第１実施形態に係る多視点画像奥行値抽出装置の動作を示すフローチャートである。
【図３】本発明の第１実施形態に係る多視点画像奥行値抽出装置の動作を視覚的に説明するための模式図である。
【図４】本発明の第２実施形態に係る多視点画像奥行値抽出装置の全体構成を示すブロック図である。
【図５】本発明の第２実施形態に係る多視点画像奥行値抽出装置の動作を示すフローチャートである。
【図６】本発明の第２実施形態に係る多視点画像奥行値抽出装置の動作を視覚的に説明するための模式図である。
【図７】従来のブロックマッチングによって視差を求める手法を説明するための説明図である。
【符号の説明】
【０１１７】
１、１Ｂ 多視点画像奥行値抽出装置
１０ ブロック分割手段
２０ ブロック探索手段
２１ 比較対象領域選択手段
２２ 類似度算出手段
２３ 類似画像領域決定手段
３０ 視差量算出手段
３１ 差分算出手段
３２ 平均視差量算出手段
４０ 奥行値変換手段
５０ 奥行値補正手段
５１ 周辺ブロック特定手段
５２ 類似画像領域奥行値算出手段
５３ 平均奥行値算出手段
【技術分野】
【０００１】
本発明は、複数のカメラで同一の被写体を撮影した複数の撮影画像から、被写体の多視点画像（多視点映像）用の奥行値を抽出する技術に関する。
【背景技術】
【０００２】
近年、複数のカメラで同一の被写体を撮影した複数の撮影画像（多視点画像）を用いて、立体映像や自由視点映像を生成する技術が種々開示されている（例えば、特許文献１参照）。これらの立体映像や自由視点映像を生成する技術では、基本的に、複数のカメラで撮影した撮影画像の視差量を利用することで、被写体までの奥行値を求めている。
【０００３】
また、この撮影画像の視差量を求めるには、撮影画像を所定の大きさのブロック単位で類似するブロックを撮影画像間で探索（ブロックマッチング）し、そのブロック間の距離を視差量とすることが一般的である（例えば、特許文献２参照）。このブロックマッチングによって視差を求める手法によれば、図７に示すように、水平に配置した２台のカメラ（Ｃ１，Ｃ２）で撮影した画像Ｍ１と、画像Ｍ２との間で、ブロックマッチングにより対応する領域を探索し、その差分を視差量（視差ベクトル）Ｂとして算出する。
【０００４】
ここで、視差量Ｂは、カメラＣ１で撮影された被写体の部分を示すブロック位置Ｔ１と、カメラＣ２で撮影された同じ被写体の部分を示すブロック位置Ｔ２に対応する、カメラＣ１での被写体の部分を示すブロック位置Ｔ１（この位置は、カメラＣ２ではＴＸ）との相対的なズレ量となる。すなわち、図７に示すように、カメラＣ１とカメラＣ２との距離をＬ、カメラＣ１，Ｃ２の焦点距離をｆ、カメラＣ１，Ｃ２から被写体Ｓまでの距離（奥行値）をＤとし、カメラＣ１，Ｃ２間の距離Ｌに対して相対的に（Ｌ−Ｘ）：Ｘの位置に被写体Ｓが存在していたとすると、一般的な三角測量の原理から、視差量Ｂは、以下の（１）式により求められる。
Ｂ＝ｆ（Ｌ−Ｘ）／Ｄ＋ｆＸ／Ｄ＝ｆＬ／Ｄ …（１）式
【０００５】
この視差量Ｂは、ブロックＴ１の視差量であるとともに、ブロックＴ２の視差量でもある。この（１）式から、カメラＣ１，Ｃ２から被写体Ｓまでの距離（奥行値）Ｄは、以下の（２）式により求められる。
Ｄ＝ｆＬ／Ｂ …（２）式
このように、従来、被写体の奥行値を求めるには、複数の撮影画像において、所定のブロックごとに視差量を求め、奥行値に変換する手法が一般的である。
【特許文献１】特開２００３−２８４０９７号公報
【特許文献１】特開平１０−１９１３９３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
前記した従来技術において、複数のカメラで撮影した撮影画像間でブロックマッチングにより視差量を求める手法では、カメラごとに被写体の見え方が大きく異なる場合、被写体に似た部分が撮影画像内に存在していた場合等で、誤ったブロックを探索してしまい、間違った視差量を抽出してしまうという問題がある。
【０００７】
さらに、従来技術において、複数の撮影画像は、異なるカメラで撮影したものであるため、ブロックマッチングによっても対応点が完全に一致することはなく、視差量やそれによって求められる奥行値には多くの誤差が含まれているという問題がある。
【０００８】
本発明は、以上のような課題を解決するためになされたものであり、対応点が一致していないブロックであっても、誤差を軽減し、被写体を撮影した複数の撮影画像から、被写体の多視点画像用の奥行値を精度よく抽出することを可能にした多視点画像奥行値抽出装置、その方法およびそのプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、前記目的を達成するために創案されたものであり、まず、請求項１に記載の多視点画像奥行値抽出装置は、複数配列したカメラで同一の被写体を撮影した複数の撮影画像から、前記被写体の多視点画像用の奥行値を抽出する多視点画像奥行値抽出装置であって、ブロック分割手段と、ブロック探索手段と、差分算出手段と、平均視差量算出手段と、奥行値変換手段と、を備える構成とした。
【００１０】
かかる構成において、多視点画像奥行値抽出装置は、ブロック分割手段によって、複数の撮影画像を予め定めた大きさ（例えば、１６×１６画素）のブロックに分割する。このブロックの大きさは、奥行値を抽出する基準となるものであって、どの程度の解像度で奥行値を抽出するかによって、任意に定めることができる。
【００１１】
そして、多視点画像奥行値抽出装置は、ブロック探索手段によって、奥行値を抽出する対象となる対象ブロックごとに、当該対象ブロックが属する撮影画像を撮影したカメラに隣接したカメラが撮影した複数の参照撮影画像において、画像特徴の類似度が最も高い類似画像領域を探索する。これによって、対象ブロックに対応する領域が参照撮影画像において探索されることになる。
【００１２】
そして、多視点画像奥行値抽出装置は、差分算出手段によって、類似画像領域の位置と対象ブロックの位置との差分を算出する。さらに、多視点画像奥行値抽出装置は、平均視差量算出手段によって、差分算出手段で算出された参照撮影画像分ごとの差分の平均値を算出し、対象ブロックにおける視差量とする。これによって、対象ブロックの視差量が、参照撮影画像分ごとに平均化され、誤差が分散されることになる。
【００１３】
そして、多視点画像奥行値抽出装置は、奥行値変換手段によって、平均視差量算出手段で算出された視差量を、予め定められたカメラの焦点距離およびカメラ間の距離に基づいて、対象ブロックに対応する被写体の奥行値に変換する。この視差量から奥行値への変換は、前記した（２）式の演算により行うことができる。
【００１４】
また、請求項２に記載の多視点画像奥行値抽出装置は、請求項１に記載の多視点画像奥行値抽出装置において、平均視差量算出手段が、平均値を算出する値から、対象ブロックとの類似度が予め定めた値よりも低い類似画像領域に対応する差分を除外して、視差量を求めることを特徴とする。
【００１５】
かかる構成において、多視点画像奥行値抽出装置は、類似画像領域と対象ブロックとの類似度が低くなった場合、平均値を算出するための値から除外することで、誤差の少ない視差量を求めることができる。
【００１６】
さらに、請求項３に記載の多視点画像奥行値抽出装置は、請求項１または請求項２に記載の多視点画像奥行値抽出装置において、周辺ブロック特定手段と、類似画像領域奥行値算出手段と、平均奥行値算出手段と、をさらに備える構成とした。
【００１７】
かかる構成において、多視点画像奥行値抽出装置は、周辺ブロック特定手段によって、複数の参照撮影画像において、類似画像領域が跨ったブロックを周辺ブロックとして特定する。そして、多視点画像奥行値抽出装置は、類似画像領域奥行値算出手段によって、周辺ブロック特定手段で特定された周辺ブロックに対応する奥行値の平均値を算出し、当該類似画像領域に対応する奥行値とする。これによって、対象ブロックに類似する類似画像領域に対応する奥行値が、周辺ブロックの奥行値で平均化され、誤差が分散されることになる。
【００１８】
そして、多視点画像奥行値抽出装置は、平均奥行値算出手段によって、類似画像領域奥行値算出手段で算出された奥行値と対象ブロックの奥行値との平均値を算出し、当該対象ブロックの奥行値とする。これによって、対象ブロックの奥行値は、参照撮影画像の類似画像領域の奥行値との間で平均化され、誤差が分散されることになる。
【００１９】
また、請求項４に記載の多視点画像奥行値抽出装置は、請求項３に記載の多視点画像奥行値抽出装置において、類似画像領域奥行値算出手段が、周辺ブロックに対応する奥行値の平均値を算出する際に、周辺ブロックに当該平均値に対して予め定めた差分よりも差が大きい奥行値が対応していた場合に、当該奥行値を除外して平均値を再度算出することを特徴とする。
【００２０】
かかる構成において、類似画像領域奥行値算出手段は、周辺ブロックのうちで、奥行値が大きく異なった周辺ブロックを除外して平均値が算出されることになる。
【００２１】
さらに、請求項５に記載の多視点画像奥行値抽出装置は、請求項３または請求項４に記載の多視点画像奥行値抽出装置において、平均奥行値算出手段が、類似画像領域奥行値算出手段で算出された奥行値と対象ブロックの奥行値との平均値を算出する際に、類似画像領域奥行値算出手段で算出された奥行値から、当該平均値に対して予め定めた差分よりも差が大きい奥行値を除外して平均値を再度算出することを特徴とする。
【００２２】
かかる構成において、多視点画像奥行値抽出装置は、類似画像領域のうちで、奥行値が大きく異なった類似画像領域を除外して平均値が算出されることになる。
【００２３】
また、請求項６に記載の多視点画像奥行値抽出方法は、複数配列したカメラで同一の被写体を撮影した複数の撮影画像から、前記被写体の多視点画像用の奥行値を抽出する多視点画像奥行値抽出方法であって、ブロック分割ステップと、ブロック探索ステップと、差分算出ステップと、平均視差量算出ステップと、奥行値変換ステップと、を含む手順とした。
【００２４】
かかる手順において、多視点画像奥行値抽出方法は、ブロック分割ステップで、複数の撮影画像を予め定めた大きさのブロックに分割する。そして、多視点画像奥行値抽出方法は、ブロック探索ステップで、奥行値を抽出する対象となる対象ブロックごとに、当該対象ブロックが属する撮影画像を撮影したカメラに隣接したカメラが撮影した複数の参照撮影画像において、画像特徴の類似度が最も高い類似画像領域を探索する。
【００２５】
そして、多視点画像奥行値抽出方法は、差分算出ステップで、類似画像領域の位置と対象ブロックの位置との差分を算出する。さらに、多視点画像奥行値抽出方法は、平均視差量算出ステップで、差分算出ステップで算出された参照撮影画像分ごとの差分の平均値を算出し、対象ブロックにおける視差量とする。その後、多視点画像奥行値抽出方法は、奥行値変換ステップで、平均視差量算出ステップで算出された視差量を、予め定められたカメラの焦点距離およびカメラ間の距離に基づいて、対象ブロックに対応する被写体の奥行値に変換する。
【００２６】
さらに、請求項７に記載の多視点画像奥行値抽出方法は、請求項６に記載の多視点画像奥行値抽出方法において、奥行値変換ステップの後に、周辺ブロック特定ステップと、類似画像領域奥行値算出ステップと、平均奥行値算出ステップと、をさらに含む手順とした。
【００２７】
かかる手順において、多視点画像奥行値抽出方法は、周辺ブロック特定ステップで、複数の参照撮影画像において、前記類似画像領域が跨ったブロックを周辺ブロックとして特定する。そして、多視点画像奥行値抽出方法は、類似画像領域奥行値算出ステップで、周辺ブロック特定ステップで特定された周辺ブロックに対応する奥行値の平均値を算出し、当該類似画像領域に対応する奥行値とする。
【００２８】
そして、多視点画像奥行値抽出方法は、平均奥行値算出ステップで、類似画像領域奥行値算出ステップで算出された奥行値と対象ブロックの奥行値との平均値を算出し、当該対象ブロックの奥行値とする。
【００２９】
また、請求項８に記載の多視点画像奥行値抽出プログラムは、複数配列したカメラで同一の被写体を撮影した複数の撮影画像から、前記被写体の多視点画像用の奥行値を抽出するために、コンピュータを、ブロック分割手段、ブロック探索手段、差分算出手段、平均視差量算出手段、奥行値変換手段、として機能させる構成とした。
【００３０】
かかる構成において、多視点画像奥行値抽出プログラムは、ブロック分割手段によって、複数の撮影画像を予め定めた大きさのブロックに分割する。そして、多視点画像奥行値抽出プログラムは、ブロック探索手段によって、奥行値を抽出する対象となる対象ブロックごとに、当該対象ブロックが属する撮影画像を撮影したカメラに隣接したカメラが撮影した複数の参照撮影画像において、画像特徴の類似度が最も高い類似画像領域を探索する。
【００３１】
そして、多視点画像奥行値抽出プログラムは、差分算出手段によって、類似画像領域の位置と対象ブロックの位置との差分を算出する。さらに、多視点画像奥行値抽出プログラムは、平均視差量算出手段によって、差分算出手段で算出された参照撮影画像分ごとの差分の平均値を算出し、対象ブロックにおける視差量とする。そして、多視点画像奥行値抽出プログラムは、奥行値変換手段によって、平均視差量算出手段で算出された視差量を、予め定められたカメラの焦点距離およびカメラ間の距離に基づいて、対象ブロックに対応する被写体の奥行値に変換する。
【００３２】
さらに、請求項９に記載の多視点画像奥行値抽出プログラムは、請求項８に記載の多視点画像奥行値抽出プログラムにおいて、コンピュータを、周辺ブロック特定手段、類似画像領域奥行値算出手段、平均奥行値算出手段、としてさらに機能させる構成とした。
【００３３】
かかる構成において、多視点画像奥行値抽出プログラムは、周辺ブロック特定手段によって、複数の参照撮影画像において、類似画像領域が跨ったブロックを周辺ブロックとして特定する。そして、多視点画像奥行値抽出プログラムは、類似画像領域奥行値算出手段によって、周辺ブロック特定手段で特定された周辺ブロックに対応する奥行値の平均値を算出し、当該類似画像領域に対応する奥行値とする。
【００３４】
そして、多視点画像奥行値抽出プログラムは、平均奥行値算出手段によって、類似画像領域奥行値算出手段で算出された奥行値と対象ブロックの奥行値との平均値を算出し、当該対象ブロックの奥行値とする。
【発明の効果】
【００３５】
本発明は、以下に示す優れた効果を奏するものである。
請求項１，６，８に記載の発明によれば、隣接するカメラが撮影した画像間で視差量を平均化することができるため、対応点が完全に一致していないブロックであっても、ブロックマッチングの誤差が分散し軽減されることになる。これによって、本発明は、誤差が軽減された視差量から奥行値を求めることができ、被写体を撮影した複数の撮影画像から、被写体の多視点画像用の奥行値を精度よく抽出することができる。
【００３６】
請求項２に記載の発明によれば、類似度が大きく異なる類似画像領域の視差量を除外することができ、オクルージョンが発生している場合であっても、対象ブロックの視差量を精度よく算出することができる。
【００３７】
請求項３，７，９に記載の発明によれば、類似画像領域の奥行値を周辺ブロックに対応付けられた奥行値で平均化することができるため、類似画像領域の奥行値を、誤差を軽減させて求めることができる。これによって、本発明は、誤差が軽減された類似画像領域の奥行値から対象ブロックの奥行値を補正するため、対象ブロックの奥行値の精度を高めることができる。
【００３８】
請求項４に記載の発明によれば、奥行値が大きく異なる周辺ブロックの奥行値を除外することができ、周辺ブロック内にオクルージョンが発生している場合であっても、類似画像領域の奥行値を精度よく算出することができる。これによって、対象ブロックの奥行値の精度を高めることができる。
【００３９】
請求項５に記載の発明によれば、周辺ブロックにオクルージョンが複数発生し、類似画像領域に誤った奥行値が算出された場合であっても、誤った奥行値を持つ参照撮影画像を除外して対象ブロックの奥行値を算出することができる。これによって、撮影画像に複数のオクルージョンが発生している場合であっても、対象ブロックの奥行値を精度よく抽出することができる。
【発明を実施するための最良の形態】
【００４０】
以下、本発明の実施の形態について図面を参照して説明する。
［第１実施形態：多視点画像奥行値抽出装置の構成］
まず、図１を参照して、本発明の第１実施形態に係る多視点画像奥行値抽出装置の構成について説明する。図１は、本発明の第１実施形態に係る多視点画像奥行値抽出装置の全体構成を示すブロック図である。
【００４１】
多視点画像奥行値抽出装置１は、複数配列したカメラで同一の被写体を撮影した複数の撮影画像から、被写体の多視点画像用の奥行値を抽出するものである。なお、多視点画像奥行値抽出装置１は、外部に複数（３台以上）のカメラＣ（…，ＣＮ−１，ＣＮ，ＣＮ＋１，…）を接続し、カメラＣから入力される複数の撮影画像を用いて被写体の奥行値を求めることとする。
【００４２】
このカメラＣは、撮影した画像をフレーム単位で多視点画像奥行値抽出装置１に出力する。なお、カメラＣの配置は、カメラＣから被写体Ｓまでの距離が隣接するカメラ同士でほぼ等しければその配置を限定するものではない。例えば、立体映像を生成するために使用する多視点画像の奥行値を抽出する場合であれば、被写体Ｓに対向して水平方向に等間隔で一直線上にカメラＣを配置すればよい。また、例えば、自由視点映像を生成するために使用する多視点画像の奥行値を抽出する場合であれば、被写体Ｓを中心に等間隔で円環上にカメラＣを配置すればよい。ここでは、被写体Ｓに対向して水平方向に等間隔で一直線上にカメラＣを配置した例で説明を行うこととする。
【００４３】
以下、多視点画像奥行値抽出装置１の各構成について説明する。ここでは、多視点画像奥行値抽出装置１は、ブロック分割手段１０と、ブロック探索手段２０と、視差量算出手段３０と、奥行値変換手段４０とを備える。
【００４４】
ブロック分割手段１０は、カメラＣで撮影された複数の撮影画像を、撮影画像ごとに予め定めた大きさのブロックに分割するものである。このブロックは、撮影画像間で類似する領域を探索（ブロックマッチング）する際の基準となるもので、例えば、１６×１６画素の大きさとする。また、このブロックは、被写体Ｓの奥行値を算出する基準でもある。なお、ここでは、ブロック分割手段１０は、図示を省略したメモリ等の記憶手段にカメラＣ（…，ＣＮ−１，ＣＮ，ＣＮ＋１，…）から入力した画像をフレーム単位で蓄積して、ブロックの位置、大きさをブロック探索手段２０に出力することとする。
【００４５】
ブロック探索手段２０は、ブロック分割手段１０で分割されたブロック単位で、奥行値を抽出する対象となる対象ブロックが属する撮影画像（以下、基準撮影画像という）を撮影したカメラ（例えばカメラＣＮ）に隣接したカメラ（例えばカメラＣＮ−１，ＣＮ＋１）が撮影した複数の撮影画像（以下、参照撮影画像という）において、参照撮影画像ごとに対象ブロックとの画像特徴の類似度が最も高い類似画像領域を探索するものである。ここでは、ブロック探索手段２０は、比較対象領域選択手段２１と、類似度算出手段２２と、類似画像領域決定手段２３とを備える。
【００４６】
比較対象領域選択手段２１は、基準撮影画像内の奥行値を抽出する対象となる対象ブロックごとに、参照撮影画像内において、対象ブロックと画像特徴を比較するための領域（比較対象領域）を順次選択するものである。ここでは、比較対象領域選択手段２１は、参照撮影画像内における対象ブロックと同じ画像位置のブロックの近傍領域を選択範囲とし、当該選択範囲内で、対象ブロックと同じ大きさの領域を順次ずらし、比較対象領域を順次選択していく。また、比較対象領域選択手段２１は、選択した比較対象領域を、順次、類似度算出手段２２に出力する。
【００４７】
ここで、比較対象領域選択手段２１が選択を行うブロックの近傍領域は、例えば、当該ブロックの上下左右に数ブロック程度拡張した領域である。このように、選択範囲を近傍領域に限定することで、参照撮影画像内で誤ったブロックを探索することを防止することができるとともに、演算量を抑えることができる。
【００４８】
類似度算出手段２２は、対象ブロックごとに、当該対象ブロックと、比較対象領域選択手段２１で順次選択された比較対象領域との類似度を算出するものである。ここでは、類似度算出手段２２は、画像特徴に基づいて、対象ブロックと比較対象領域との類似度を算出することとし、例えば、対象ブロックと比較対象領域とで、色ベクトルの距離が近いほど類似度を高い値に設定することとする。なお、画像の類似度は、一般的な指標を用いればよく、色ベクトル以外にも、色ヒストグラム、輝度等、あるいは、それらの組み合わせを用いてもよい。また、距離には、ブロック内の画素ごとの値の差の絶対値や２乗したものを加算した値を用いることができる。この類似度算出手段２２で算出された類似度は、類似画像領域決定手段２３に出力される。
【００４９】
類似画像領域決定手段２３は、類似度算出手段２２で算出された類似度に基づいて、対象ブロックに類似する領域（類似画像領域）を決定するものである。ここでは、類似画像領域決定手段２３は、対象ブロックごとに、参照撮影画像における最も類似度の高い比較対象領域を類似画像領域に決定する。また、類似画像領域決定手段２３は、対象ブロックの位置、類似画像領域の位置および類似度を、視差量算出手段３０に出力する。
このように、ブロック探索手段２０を構成することで、対象ブロックごとに、隣接したカメラＣで撮影された参照撮影画像における類似画像領域が探索されることになる。
【００５０】
視差量算出手段３０は、対象ブロックごとに、当該対象ブロックの位置と、ブロック探索手段２０で探索された対象ブロックに対応する類似画像領域の位置との差に基づいて、当該対象ブロックにおける視差量を算出するものである。ここでは、視差量算出手段３０は、差分算出手段３１と、平均視差量算出手段３２とを備える。
【００５１】
差分算出手段３１は、対象ブロックの位置と類似画像領域の位置との差分を算出するものである。ここでは、差分算出手段３１は、対象ブロックを基準に、参照撮影画像ごとの差分を算出することとする。この差分算出手段３１で算出された差分は、平均視差量算出手段３２に出力される。
【００５２】
平均視差量算出手段３２は、差分算出手段３１で算出された差分の平均値を、対象ブロックにおける視差量として算出するものである。このように、複数の視差量を平均化することで、１つの視差量に誤差が含まれている場合であっても、誤差が分散され視差量の精度を増すことができる。
【００５３】
また、平均視差量算出手段３２は、視差量の平均値を算出する際に、平均値を算出する対象となる参照撮影画像の類似画像領域の類似度が、予め定めた値よりも低い場合、当該類似画像領域の位置と対象ブロックの位置との差分を、平均値を算出する値から除外することとする。このように、類似度の低い類似画像領域を、視差量を求める対象から除外することで、例えば、あるカメラＣにおいて撮影されていない領域（オクルージョン領域）が存在する場合、当該カメラＣが撮影したオクルージョン領域を、視差量を求める対象から除外することができ、正確な視差量を求めることが可能になる。
【００５４】
なお、カメラＣが等間隔に配置されていない場合、平均視差量算出手段３２は、カメラＣ間の距離に応じた比で視差量を正規化してから平均値を算出することとする。また、この場合、平均視差量算出手段３２は、対象ブロックに、予め定めた標準カメラ間隔での視差量を対応付けることとする。
【００５５】
奥行値変換手段４０は、撮影画像ごとに、視差量算出手段３０で算出された視差量を、予め定められたカメラＣの焦点距離およびカメラＣ間の距離に基づいて、対象ブロックに対応する被写体の奥行値に変換するものである。すなわち、奥行値変換手段４０は、カメラ間の距離をＬ、カメラＣの焦点距離をｆとしたとき、以下の（３）式により、撮影画像の対象ブロックに対応付けて算出された視差量Ｂを、当該対象ブロックにおける被写体Ｓの奥行値Ｄに変換する。
Ｄ＝ｆＬ／Ｂ …（３）式
このように、奥行値変換手段４０は、複数の撮影画像内のブロックごとに、被写体の奥行値を対応付けることができる。
【００５６】
以上説明したように多視点画像奥行値抽出装置１を構成することで、多視点画像奥行値抽出装置１は、複数配列したカメラで同一の被写体を撮影した複数の撮影画像から、被写体の多視点画像用の奥行値を抽出することができる。また、多視点画像奥行値抽出装置１は、ブロックごとの視差量を、基準撮影画像と複数の参照撮影画像との視差量の平均値により算出するため、誤差を分散させ、奥行値の精度を高めることができる。さらに、多視点画像奥行値抽出装置１は、平均処理によって視差量を算出する際に、ブロック間の類似度が予め定めた値よりも低いものを平均処理の対象から除外するため、オクルージョンが発生したブロックの影響を受けることなく、精度よく奥行値を求めることができる。
【００５７】
なお、多視点画像奥行値抽出装置１は、一般的なコンピュータを、前記した各手段として機能させる多視点画像奥行値抽出プログラムによって動作させることができる。また、この多視点画像奥行値抽出プログラムは、通信回線を介して配布したり、ＣＤ−ＲＯＭ等の記録媒体に記録して配布したりすることも可能である。
【００５８】
［第１実施形態：多視点画像奥行値抽出装置の動作］
次に、図２を参照（構成については適宜図１参照）して、本発明の第１実施形態に係る多視点画像奥行値抽出装置の動作について説明する。図２は、本発明の第１実施形態に係る多視点画像奥行値抽出装置の動作を示すフローチャートである。
【００５９】
（ブロック分割ステップ）
まず、多視点画像奥行値抽出装置１は、ブロック分割手段１０によって、カメラＣで撮影された複数の撮影画像を、撮影画像ごとに予め定めた大きさのブロックに分割する（ステップＳ１）。
【００６０】
（ブロック探索ステップ）
そして、多視点画像奥行値抽出装置１は、ブロック探索手段２０によって、１つの撮影画像を基準撮影画像とし、当該基準撮影画像を撮影したカメラ（例えばカメラＣＮ）に隣接したカメラ（例えばカメラＣＮ−１，ＣＮ＋１）が撮影した複数の参照撮影画像において、基準撮影画像内のブロックごとに、画像特徴の類似度が最も高い類似画像領域を探索する。
【００６１】
具体的には、多視点画像奥行値抽出装置１は、ブロック探索手段２０の比較対象領域選択手段２１によって、参照撮影画像内において、基準撮影画像内の奥行値を抽出する対象となるブロック（対象ブロック）と画像特徴を比較するための領域（比較対象領域）を選択し、ブロック探索手段２０の類似度算出手段２２によって、対象ブロックと比較対象領域との類似度を算出する（ステップＳ２）。
【００６２】
ここで、多視点画像奥行値抽出装置１は、ブロック探索手段２０の比較対象領域選択手段２１が対象ブロックに対応する領域の近傍領域のすべてについて比較対象領域を選択していない場合（ステップＳ３でＮｏ）、比較対象領域選択手段２１が比較対象領域を変更し（ステップＳ４）、ステップＳ２に戻って動作を継続する。
【００６３】
一方、比較対象領域選択手段２１が対象ブロックに対応する領域の近傍領域のすべてについて比較対象領域を選択した場合（ステップＳ３でＹｅｓ）、ブロック探索手段２０の類似画像領域決定手段２３によって、ステップＳ２で算出された類似度が最も高い比較対象領域を類似画像領域に決定する（ステップＳ５）。
【００６４】
ここで、多視点画像奥行値抽出装置１は、ブロック探索手段２０がすべての参照撮影画像について類似画像領域を決定していない場合（ステップＳ６でＮｏ）、類似撮影画像を変更し（ステップＳ７）、ステップＳ２に戻って動作を継続する。
【００６５】
（視差量算出ステップ）
一方、ブロック探索手段２０がすべての参照撮影画像について類似画像領域を決定した場合（ステップＳ６でＹｅｓ）、多視点画像奥行値抽出装置１は、視差量算出手段３０によって、対象ブロックにおける視差量を算出する。
【００６６】
具体的には、多視点画像奥行値抽出装置１は、視差量算出手段３０の差分算出手段３１によって、対象ブロックの位置と、ステップＳ５で決定された複数の類似画像領域の位置との差分を算出する（ステップＳ８；差分算出ステップ）。
【００６７】
そして、多視点画像奥行値抽出装置１は、視差量算出手段３０の平均視差量算出手段３２によって、ステップＳ８で算出された差分の平均値を、対象ブロックにおける視差量として算出する（ステップＳ９；平均視差量算出ステップ）。なお、このとき、平均視差量算出手段３２は、類似画像領域における対象ブロックとの類似度が、予め定めた値よりも低い場合、当該類似画像領域の位置と対象ブロックの位置との差分を、平均値を算出する値から除外する。
【００６８】
（奥行値変換ステップ）
その後、多視点画像奥行値抽出装置１は、奥行値変換手段４０によって、ステップＳ９で算出された視差量を、予め定められたカメラＣの焦点距離およびカメラＣ間の距離に基づいて、対象ブロックに対応する被写体の奥行値に変換する（ステップＳ１０）。
【００６９】
そして、基準撮影画像内のすべてのブロックについて奥行値が得られていない場合（ステップＳ１１でＮｏ）、多視点画像奥行値抽出装置１は、基準撮影画像内の対象ブロックを変更し（ステップＳ１２）、ステップＳ２に戻って動作を継続する。
【００７０】
一方、基準撮影画像内のすべてのブロックについて奥行値が得られ（ステップＳ１１でＹｅｓ）、他の撮影画像について奥行値が得られていない場合（ステップＳ１３でＮｏ）、多視点画像奥行値抽出装置１は、基準撮影画像を他の撮影画像に変更し（ステップＳ１４）、ステップＳ２に戻って動作を継続する。
そして、すべての撮影画像において奥行値が算出された場合（ステップＳ１３でＹｅｓ）、多視点画像奥行値抽出装置１は、動作を終了する。
【００７１】
なお、カメラＣが動画像カメラである場合、多視点画像奥行値抽出装置１は、順次フレーム画像単位で画像を入力し、前記動作を繰り返し実行することとする。これによって、多視点画像奥行値抽出装置１は、動画像映像においても、フレーム単位で奥行値を抽出することができる。
【００７２】
以上の動作によって、多視点画像奥行値抽出装置１は、複数配列したカメラで同一の被写体を撮影した複数の撮影画像から、被写体の多視点画像用の奥行値を抽出することができる。
【００７３】
〔多視点画像奥行値抽出装置１の具体的動作例〕
次に、図３を参照（構成については適宜図１参照）して、本発明の第１実施形態に係る多視点画像奥行値抽出装置の具体的な動作例について説明する。図３は、本発明の第１実施形態に係る多視点画像奥行値抽出装置の動作を視覚的に説明するための模式図である。
【００７４】
図３（ａ）は、被写体Ｓを複数のカメラＣ（…，ＣＮ−１，ＣＮ，ＣＮ＋１，…）で撮影した撮影画像のうち、３台のカメラＣＮ−１，ＣＮ，ＣＮ＋１が撮影した撮影画像ＭＮ−１，ＭＮ，ＭＮ＋１の内容を示している。
【００７５】
まず、多視点画像奥行値抽出装置１は、ブロック分割手段１０によって、各撮影画像ＭＮ−１，ＭＮ，ＭＮ＋１を予め定めた大きさのブロックに分割する。なお、図３では、一例として各画像を９個のブロックに分割した例を示している。
【００７６】
そして、多視点画像奥行値抽出装置１は、ブロック探索手段２０によって、１つの撮影画像を基準撮影画像（ここではＭＮ）、その基準撮影画像を撮影したカメラに隣接したカメラが撮影した撮影画像を参照撮影画像（ここではＭＮ−１，ＭＮ＋１）として、基準撮影画像ＭＮ内の対象ブロックＴＮに類似する領域（類似画像領域）を、参照撮影画像ＭＮ−１，ＭＮ＋１内で探索する。なお、図３（ａ）では、参照撮影画像ＭＮ−１において類似画像領域ＲＮ−１、参照撮影画像ＭＮ＋１において類似画像領域ＲＮ＋１が、対象ブロックＴＮに類似する領域として探索された状態を示している。
【００７７】
そして、多視点画像奥行値抽出装置１は、視差量算出手段３０によって、対象ブロックＴＮの位置と、類似画像領域ＲＮ−１，ＲＮ＋１の位置との差分（ここでは、ＢＮ−１，ＢＮ＋１）の平均値を当該対象ブロックＴＮの視差量（（ＢＮ−１＋ＢＮ＋１）／２）とする。なお、対象ブロックＴＮに類似するブロックに、類似画像領域ＲＮ＋１のように、オクルージョンが発生している場合（ここでは、対応するブロックの一部が円柱で隠されている）、対象ブロックＴＮと、類似画像領域ＲＮ＋１との類似度が低くなる。この場合、視差量算出手段３０は、類似画像領域ＲＮ−１との視差量ＢＮ−１を、対象ブロックＴＮの視差量として採用する。
【００７８】
そして、多視点画像奥行値抽出装置１は、基準撮影画像ＭＮ内において、順次、対象ブロックＴＮを変更して、基準撮影画像ＭＮ内のすべてのブロックについて視差量を算出する。そして、多視点画像奥行値抽出装置１は、奥行値変換手段４０によって、ブロックごとに算出された視差量を奥行値に変換する（前記（３）式参照）。これによって、多視点画像奥行値抽出装置１は、基準撮影画像ＭＮ内のブロックごとに奥行値を抽出することができる。
【００７９】
さらに、多視点画像奥行値抽出装置１は、図３（ｂ）に示すように、基準撮影画像を他の撮影画像に変更し、同様の動作を行う。なお、図３（ｂ）では、カメラＣＮ−１が撮影した撮影画像ＭＮ−１を基準撮影画像に変更した例を示している。このように、基準撮影画像を順次変更することで、すべての撮影画像内のブロックごとに奥行値を抽出することができる。
【００８０】
以上説明したように、多視点画像奥行値抽出装置１は、隣接したカメラで撮影した参照撮影画像の類似画像領域の位置と、対象ブロックの位置との差分を平均処理することで視差量を求めるため、撮影したカメラが異なることで対応点が異なる場合であっても、視差量の誤差が減少する。これによって、精度よく奥行値を抽出することができる。
【００８１】
［第２実施形態：多視点画像奥行値抽出装置の構成］
次に、図４を参照して、本発明の第２実施形態に係る多視点画像奥行値抽出装置の構成について説明する。図４は、本発明の第２実施形態に係る多視点画像奥行値抽出装置の全体構成を示すブロック図である。
【００８２】
図４に示すように、多視点画像奥行値抽出装置１Ｂは、ブロック分割手段１０と、ブロック探索手段２０と、視差量算出手段３０と、奥行値変換手段４０と、奥行値補正手段５０とを備える。奥行値補正手段５０以外の構成は、図１で説明した多視点画像奥行値抽出装置１と同様の構成であるため、同一の符号を付し説明を省略する。
【００８３】
多視点画像奥行値抽出装置１Ｂは、図１で説明した多視点画像奥行値抽出装置１と同様に、複数配列したカメラで同一の被写体を撮影した複数の撮影画像から、被写体の多視点画像用の奥行値を抽出するものである。以下、多視点画像奥行値抽出装置１と異なる構成である奥行値補正手段５０について詳細に説明する。
【００８４】
奥行値補正手段５０は、奥行値変換手段４０で変換されたブロックごとの奥行値を、当該ブロックを撮影したカメラ以外のカメラで撮影した撮影画像（参照撮影画像）を参照して補正するものである。ここでは、奥行値補正手段５０は、周辺ブロック特定手段５１と、類似画像領域奥行値算出手段５２と、平均奥行値算出手段５３とを備える。
【００８５】
周辺ブロック特定手段５１は、複数の参照撮影画像において、類似画像領域が跨ったブロックを周辺ブロックとして特定するものである。この周辺ブロック特定手段５１は、対象ブロックに対応する参照撮影画像内のブロック（対応ブロック）の位置を対象ブロックと対応ブロックとの視差量分だけずらすことで、参照撮影画像における対象ブロックに類似する類似画像領域の位置を求め、この類似画像領域が跨った周辺ブロックを特定することとする。
【００８６】
例えば、周辺ブロック特定手段５１は、対象ブロックの奥行値がＤ（＝ｆＬ／Ｂ〔前記（３）式参照〕）である場合に、対応ブロックの位置を、以下の（４）式に示より逆変換することで視差量Ｂを求め、対応ブロックを視差量Ｂだけずらすことで類似画像領域の位置を特定する。
Ｂ＝ｆＬ／Ｄ …（４）式
【００８７】
そして、周辺ブロック特定手段５１は、類似画像領域の周辺のブロックを類似画像領域奥行値算出手段５２に出力する。なお、カメラＣが等間隔に配置されていない場合、周辺ブロック特定手段５１は、対象ブロックに対応付けられた標準カメラ間隔での視差量を当該カメラ間隔での視差量に変換した値に基づいて、類似画像領域の位置を特定することとする。
【００８８】
また、ここでは、周辺ブロック特定手段５１は、対象ブロックの位置に対応する参照撮影画像のブロック（対応ブロック）を視差量分ずらすことで類似画像領域の位置を特定したが、ブロック探索手段２０の類似画像領域決定手段２３で決定された類似画像領域の位置を記憶手段（図示せず）に保持しておき、利用することとしてもよい。
【００８９】
類似画像領域奥行値算出手段５２は、参照撮影画像において、周辺ブロック特定手段５１で特定されたブロック（周辺ブロック）に対応する奥行値の平均値を算出し、当該類似画像領域に対応する奥行値とするものである。
【００９０】
この類似画像領域奥行値算出手段５２は、類似画像領域の奥行値を、類似画像領域が跨った周辺ブロックに対応する奥行値の平均値を算出することで求めるため、各ブロックに対応する奥行値に誤差が含まれている場合であっても、その誤差が分散され、精度の高い奥行値を求めることができる。
【００９１】
なお、類似画像領域奥行値算出手段５２は、類似画像領域の奥行値と、当該奥行値を算出するために使用した各周辺ブロックの奥行値との差が、予め定めた値よりも大きい奥行値を有する周辺ブロックについては、その奥行値の値を除外して再度平均値を算出し、類似画像領域の奥行値とすることが望ましい。これによって、類似画像領域奥行値算出手段５２は、類似画像領域が跨った周辺ブロックでオクルージョンが発生し、正しい奥行値が対応していない場合に、当該オクルージョンが発生した周辺ブロックの奥行値を除外して平均値を求めるため、さらに精度の高い類似画像領域の奥行値を求めることができる。
このように求められた対象ブロックごとに対応する複数の類似画像領域の奥行値は、平均奥行値算出手段５３に出力される。
【００９２】
平均奥行値算出手段５３は、類似画像領域奥行値算出手段５２で算出された対象ブロックに対応する複数の類似画像領域の奥行値と、当該対象ブロックの奥行値との平均値を算出し、当該対象ブロックの奥行値とするものである。このように、類似する複数のブロックに対応している奥行値を平均化することで、奥行値に誤差が含まれている場合であっても、その誤差が分散化され、精度の高い奥行値を求めることができる。
【００９３】
なお、平均奥行値算出手段５３は、類似画像領域の奥行値との平均により求めた対象ブロックの奥行値と、当該類似画像領域の奥行値との差が、予め定めた値よりも大きい奥行値を有する類似画像領域については、その類似画像領域の奥行値の値を含む参照撮影画像を除外して再度平均値を算出し、対象ブロックの奥行値とすることが望ましい。これによって、平均奥行値算出手段５３は、類似画像領域奥行値算出手段５２が、類似画像領域に複数のオクルージョンが発生し、類似画像領域に誤った奥行値を対応付けた場合であっても、当該誤った奥行値を含む参照撮影画像を除外して平均値を求めるため、さらに精度の高い類似画像領域の奥行値を求めることができる。
【００９４】
このように、奥行値補正手段５０は、参照撮影画像内の類似画像領域が跨ったブロックの奥行値を平均化することで類似画像領域の奥行値を算出し、対象ブロックごとの奥行値を複数の参照撮影画像の類似画像領域の奥行値で平均化することで、対象ブロックの奥行値を補正する。これによって、奥行値補正手段５０は、奥行値変換手段４０で変換された対象ブロックの奥行値の誤差が発生している場合であっても、誤差分散により奥行値の精度を高めることができる。
【００９５】
なお、奥行値補正手段５０は、対象ブロックの奥行値を補正するための類似画像領域を含む参照撮影画像の数は特に限定するものではない。例えば、奥行値補正手段５０は、基準撮影画像を撮影したカメラの両隣のカメラが撮影した２枚の参照撮影画像内の２つの類似画像領域の奥行値を使用して対象ブロックの奥行値を補正することとしてよいし、さらに参照撮影画像を増やして、３枚以上の参照撮影画像の類似画像領域を使用して対象ブロックの奥行値を補正することとしてよい。
【００９６】
以上説明したように多視点画像奥行値抽出装置１Ｂを構成することで、多視点画像奥行値抽出装置１Ｂは、複数配列したカメラで同一の被写体を撮影した複数の撮影画像から、被写体の多視点画像用の奥行値を抽出することができる。また、多視点画像奥行値抽出装置１Ｂは、複数のカメラで撮影した撮影画像から、対象ブロックに類似するブロックの奥行値を平均化処理するため、複数のオクルージョンが発生する場合であっても、精度よく奥行値を求めることができる。
【００９７】
なお、多視点画像奥行値抽出装置１Ｂは、一般的なコンピュータを、前記した各手段として機能させる多視点画像奥行値抽出プログラムによって動作させることができる。また、この多視点画像奥行値抽出プログラムは、通信回線を介して配布したり、ＣＤ−ＲＯＭ等の記録媒体に記録して配布したりすることも可能である。
【００９８】
［第２実施形態：多視点画像奥行値抽出装置の動作］
次に、図５を参照（構成については適宜図４参照）して、本発明の第２実施形態に係る多視点画像奥行値抽出装置の動作について説明する。図５は、本発明の第２実施形態に係る多視点画像奥行値抽出装置の動作を示すフローチャートである。なお、図５のステップＳ１〜Ｓ１４の動作は、図２で説明した多視点画像奥行値抽出装置１（図１）の動作と同様であるため、説明を省略する。ここでは、ステップＳ１４の動作後について説明を行う。
【００９９】
（奥行値補正ステップ）
ステップＳ１４の動作後、多視点画像奥行値抽出装置１Ｂは、奥行値補正手段５０によって、奥行値変換手段４０で変換されたブロックごとの奥行値を、当該ブロックを撮影したカメラ以外のカメラで撮影した撮影画像（参照撮影画像）を参照して補正する。
【０１００】
具体的には、多視点画像奥行値抽出装置１Ｂは、奥行値補正手段５０の周辺ブロック特定手段５１によって、複数の参照撮影画像において、類似画像領域が跨ったブロックを周辺ブロックとして特定する（ステップＳ１５；周辺ブロック特定ステップ）。
【０１０１】
そして、多視点画像奥行値抽出装置１Ｂは、奥行値補正手段５０の類似画像領域奥行値算出手段５２によって、ステップＳ１５で特定された類似画像領域が跨った参照撮影画像内の周辺ブロックに対応する奥行値の平均値を算出し、当該類似画像領域に対応する奥行値とする（ステップＳ１６；類似画像領域奥行値算出ステップ）。
【０１０２】
なお、類似画像領域の奥行値の平均値と、当該平均値を算出するために使用した各周辺ブロックの奥行値との差が、予め定めた値（閾値）よりも大きい周辺ブロックの奥行値が存在していた場合（ステップＳ１７でＹｅｓ）、類似画像領域奥行値算出手段５２は、その差が大きかった周辺ブロックの奥行値を除いて再度平均値を算出し、類似画像領域に対応する奥行値とする（ステップＳ１８）。そして、動作をステップＳ１９に進める。
【０１０３】
一方、類似画像領域の奥行値の平均値と、当該平均値を算出するために使用した各周辺ブロックの奥行値との差が、予め定めた値（閾値）以下である場合（ステップＳ１７でＮｏ）、多視点画像奥行値抽出装置１Ｂは、奥行値補正手段５０の平均奥行値算出手段５３によって、ステップＳ１６またはステップＳ１８で算出された対象ブロックに対応する複数の参照撮影画像の類似画像領域の奥行値と、当該対象ブロックの奥行値との平均値を算出し、当該対象ブロックの奥行値とする（ステップＳ１９；平均奥行値算出ステップ）。
【０１０４】
なお、ステップＳ１９で算出された平均値と、当該平均値を算出するために使用した類似画像領域の奥行値との差が、予め定めた値（閾値）よりも大きい類似画像領域の奥行値を含む参照撮影画像が存在していた場合（ステップＳ２０でＹｅｓ）、平均奥行値算出手段５３は、その差が大きかった類似画像領域の奥行値を含む参照撮影画像を除いて再度平均値を算出し、対象ブロックに対応する奥行値とする（ステップＳ２１）。
【０１０５】
そして、基準撮影画像内のすべてのブロックについて奥行値の補正値が得られていない場合（ステップＳ２２でＮｏ）、多視点画像奥行値抽出装置１Ｂは、基準撮影画像内の対象ブロックを変更し（ステップＳ２３）、ステップＳ１５に戻って動作を継続する。
【０１０６】
一方、基準撮影画像内のすべてのブロックについて奥行値の補正値が得られ（ステップＳ２２でＹｅｓ）、他の撮影画像について奥行値の補正値が得られていない場合（ステップＳ２４でＮｏ）、多視点画像奥行値抽出装置１Ｂは、基準撮影画像を他の撮影画像に変更し（ステップＳ２５）、ステップＳ１５に戻って動作を継続する。
そして、すべての撮影画像において奥行値の補正値が算出された場合（ステップＳ２４でＹｅｓ）、多視点画像奥行値抽出装置１Ｂは、動作を終了する。
【０１０７】
以上の動作によって、多視点画像奥行値抽出装置１Ｂは、図２で説明した多視点画像奥行値抽出装置１が抽出したブロックの奥行値を、参照撮影画像の類似画像領域を参照して補正することができ、さらに精度よくブロックの奥行値を抽出することができる。
【０１０８】
〔多視点画像奥行値抽出装置１Ｂの具体的動作例〕
次に、図６を参照（構成については適宜図４参照）して、本発明の第２実施形態に係る多視点画像奥行値抽出装置の具体的な動作例について説明する。図６は、本発明の第２実施形態に係る多視点画像奥行値抽出装置の動作を視覚的に説明するための模式図である。なお、図３で説明したブロックごとの奥行値を抽出する動作については、多視点画像奥行値抽出装置１Ｂにおいても同様であり、ここでは、当該ブロックの奥行値を補正する動作についてのみ説明を行う。
【０１０９】
図６では、被写体Ｓを複数のカメラＣ（…，ＣＮ−１，ＣＮ，ＣＮ＋１，…）で撮影した撮影画像のうち、３台のカメラＣＮ−１，ＣＮ，ＣＮ＋１が撮影した撮影画像ＭＮ−１，ＭＮ，ＭＮ＋１の内容を示している。また、ＭＮを基準撮影画像、ＭＮ−１，ＭＮ＋１を参照撮影画像としている。
【０１１０】
まず、多視点画像奥行値抽出装置１Ｂは、奥行値補正手段５０の周辺ブロック特定手段５１によって、基準撮影画像ＭＮ内の対象ブロックＴＮに対応付けられている奥行値を視差量に基づいて逆変換することで、参照撮影画像ＭＮ−１，ＭＮ＋１内で類似画像領域の位置を特定する。ここでは、参照撮影画像ＭＮ−１，ＭＮ＋１内で、対象ブロックＴＮに対応する類似画像領域ＲＮ−１，ＲＮ＋１が特定された状態を示している。さらに、周辺ブロック特定手段５１は、参照撮影画像ＭＮ−１，ＭＮ＋１内でそれぞれ類似画像領域ＲＮ−１，ＲＮ＋１が跨っているブロック（周辺ブロック）を特定する。
【０１１１】
そして、多視点画像奥行値抽出装置１Ｂは、奥行値補正手段５０の類似画像領域奥行値算出手段５２によって、周辺ブロックに対応する奥行値の平均値を、類似画像領域ＲＮ−１，ＲＮ＋１の奥行値として算出する。
【０１１２】
ここでは、参照撮影画像ＭＮ−１内で類似画像領域ＲＮ−１が跨った周辺ブロックがＴ１〜Ｔ４で、参照撮影画像ＭＮ＋１内で類似画像領域ＲＮ＋１が跨った周辺ブロックがＴ５〜Ｔ８であることを示している。なお、周辺ブロックＴ１〜Ｔ８には、それぞれ奥行値Ｄ１〜Ｄ８が対応付けられているものとする。そして、類似画像領域奥行値算出手段５２は、類似画像領域ＲＮ−１の奥行値Ｄａを、周辺ブロックＴ１〜Ｔ４の奥行値の平均値（（Ｄ１＋Ｄ２＋Ｄ３＋Ｄ４）／４）として算出し、類似画像領域ＲＮ＋１の奥行値Ｄｂを、周辺ブロックＴ５〜Ｔ８の奥行値の平均値（（Ｄ５＋Ｄ６＋Ｄ７＋Ｄ８）／４）として算出する。
【０１１３】
なお、類似画像領域奥行値算出手段５２は、例えば、参照撮影画像ＭＮ＋１内の周辺ブロックＴ７に示すように、オクルージョンの発生（ここでは、対応するブロックの一部が円柱で隠されている）等によって、周辺ブロックＴ７の奥行値が、類似画像領域ＲＮ＋１の奥行値Ｄｂに対して、予め定めた値よりも差が大きい場合、周辺ブロックＴ７の奥行値を除外して、類似画像領域ＲＮ＋１の奥行値Ｄｂを、周辺ブロックＴ５，Ｔ６，Ｔ８の奥行値の平均値（（Ｄ５＋Ｄ６＋Ｄ８）／３）として算出する。
【０１１４】
そして、多視点画像奥行値抽出装置１Ｂは、奥行値補正手段５０の平均奥行値算出手段５３によって、類似画像領域ＲＮ−１の奥行値Ｄａと、類似画像領域ＲＮ＋１の奥行値Ｄｂと、対象ブロックＴＮの奥行値Ｄとの平均値（（Ｄａ＋Ｄｂ＋Ｄ）／３）を算出し、対象ブロックＴＮの奥行値Ｄを補正する。なお、類似画像領域ＲＮ−１，ＲＮ＋１の奥行値Ｄａ，Ｄｂが、平均値として算出された対象ブロックＴＮの奥行値Ｄに対して、予め定めた値よりも差が大きい場合、その類似画像領域の奥行値を除外して再度平均値を求めることが望ましい。
【０１１５】
以上説明したように、多視点画像奥行値抽出装置１Ｂは、対象ブロックの奥行値を、他の参照撮影画像の類似画像領域の奥行値との平均値で補正するため、撮影したカメラが異なることで対応点が異なる場合であっても、奥行値の誤差が減少し、精度よく奥行値を抽出することができる。
【図面の簡単な説明】
【０１１６】
【図１】本発明の第１実施形態に係る多視点画像奥行値抽出装置の全体構成を示すブロック図である。
【図２】本発明の第１実施形態に係る多視点画像奥行値抽出装置の動作を示すフローチャートである。
【図３】本発明の第１実施形態に係る多視点画像奥行値抽出装置の動作を視覚的に説明するための模式図である。
【図４】本発明の第２実施形態に係る多視点画像奥行値抽出装置の全体構成を示すブロック図である。
【図５】本発明の第２実施形態に係る多視点画像奥行値抽出装置の動作を示すフローチャートである。
【図６】本発明の第２実施形態に係る多視点画像奥行値抽出装置の動作を視覚的に説明するための模式図である。
【図７】従来のブロックマッチングによって視差を求める手法を説明するための説明図である。
【符号の説明】
【０１１７】
１、１Ｂ 多視点画像奥行値抽出装置
１０ ブロック分割手段
２０ ブロック探索手段
２１ 比較対象領域選択手段
２２ 類似度算出手段
２３ 類似画像領域決定手段
３０ 視差量算出手段
３１ 差分算出手段
３２ 平均視差量算出手段
４０ 奥行値変換手段
５０ 奥行値補正手段
５１ 周辺ブロック特定手段
５２ 類似画像領域奥行値算出手段
５３ 平均奥行値算出手段
【特許請求の範囲】
【請求項１】
複数配列したカメラで同一の被写体を撮影した複数の撮影画像から、前記被写体の多視点画像用の奥行値を抽出する多視点画像奥行値抽出装置であって、
前記複数の撮影画像を予め定めた大きさのブロックに分割するブロック分割手段と、
このブロック分割手段で分割された撮影画像の前記奥行値を抽出する対象となる対象ブロックごとに、当該対象ブロックが属する撮影画像を撮影したカメラに隣接したカメラが撮影した複数の参照撮影画像において、画像特徴の類似度が最も高い類似画像領域を探索するブロック探索手段と、
このブロック探索手段で探索された類似画像領域の位置と前記対象ブロックの位置との差分を算出する差分算出手段と、
この差分算出手段で算出された前記参照撮影画像分ごとの差分の平均値を算出し、前記対象ブロックにおける視差量とする平均視差量算出手段と、
前記撮影画像ごとに、前記平均視差量算出手段で算出された視差量を、予め定められた前記カメラの焦点距離および前記カメラ間の距離に基づいて、前記対象ブロックに対応する前記被写体の奥行値に変換する奥行値変換手段と、
を備えることを特徴とする多視点画像奥行値抽出装置。
【請求項２】
前記平均視差量算出手段は、
前記平均値を算出する値から、前記対象ブロックとの類似度が予め定めた値よりも低い類似画像領域に対応する差分を除外して、前記視差量を求めることを特徴とする請求項１に記載の多視点画像奥行値抽出装置。
【請求項３】
複数の前記参照撮影画像において、前記類似画像領域が跨ったブロックを周辺ブロックとして特定する周辺ブロック特定手段と、
この周辺ブロック特定手段で特定された周辺ブロックに対応する前記奥行値の平均値を算出し、当該類似画像領域に対応する奥行値とする類似画像領域奥行値算出手段と、
この類似画像領域奥行値算出手段で算出された奥行値と前記対象ブロックの奥行値との平均値を算出し、当該対象ブロックの奥行値とする平均奥行値算出手段と、
をさらに備えることを特徴とする請求項１または請求項２に記載の多視点画像奥行値抽出装置。
【請求項４】
前記類似画像領域奥行値算出手段は、
前記周辺ブロックに対応する奥行値の平均値を算出する際に、前記周辺ブロックに当該平均値に対して予め定めた差分よりも差が大きい奥行値が対応していた場合に、当該奥行値を除外して平均値を再度算出することを特徴とする請求項３に記載の多視点画像奥行値抽出装置。
【請求項５】
前記平均奥行値算出手段は、
前記類似画像領域奥行値算出手段で算出された奥行値と前記対象ブロックの奥行値との平均値を算出する際に、前記類似画像領域奥行値算出手段で算出された奥行値から、当該平均値に対して予め定めた差分よりも差が大きい奥行値を除外して平均値を再度算出することを特徴とする請求項３または請求項４に記載の多視点画像奥行値抽出装置。
【請求項６】
複数配列したカメラで同一の被写体を撮影した複数の撮影画像から、前記被写体の多視点画像用の奥行値を抽出する多視点画像奥行値抽出方法であって、
前記複数の撮影画像を予め定めた大きさのブロックに分割するブロック分割ステップと、
このブロック分割ステップで分割された撮影画像の前記奥行値を抽出する対象となる対象ブロックごとに、当該対象ブロックが属する撮影画像を撮影したカメラに隣接したカメラが撮影した複数の参照撮影画像において、画像特徴の類似度が最も高い類似画像領域を探索するブロック探索ステップと、
このブロック探索ステップで探索された類似画像領域の位置と前記対象ブロックの位置との差分を算出する差分算出ステップと、
この差分算出ステップで算出された前記参照撮影画像分ごとの差分の平均値を算出し、前記対象ブロックにおける視差量とする平均視差量算出ステップと、
前記撮影画像ごとに、前記平均視差量算出ステップで算出された視差量を、予め定められた前記カメラの焦点距離および前記カメラ間の距離に基づいて、前記対象ブロックに対応する前記被写体の奥行値に変換する奥行値変換ステップと、
を含むことを特徴とする多視点画像奥行値抽出方法。
【請求項７】
前記奥行値変換ステップの後に、
複数の前記参照撮影画像において、前記類似画像領域が跨ったブロックを周辺ブロックとして特定する周辺ブロック特定ステップと、
この周辺ブロック特定ステップで特定された周辺ブロックに対応する前記奥行値の平均値を算出し、当該類似画像領域に対応する奥行値とする類似画像領域奥行値算出ステップと、
この類似画像領域奥行値算出ステップで算出された奥行値と前記対象ブロックの奥行値との平均値を算出し、当該対象ブロックの奥行値とする平均奥行値算出ステップと、
をさらに含むことを特徴とする請求項６に記載の多視点画像奥行値抽出方法。
【請求項８】
複数配列したカメラで同一の被写体を撮影した複数の撮影画像から、前記被写体の多視点画像用の奥行値を抽出するために、コンピュータを、
前記複数の撮影画像を予め定めた大きさのブロックに分割するブロック分割手段、
このブロック分割手段で分割された撮影画像の前記奥行値を抽出する対象となる対象ブロックごとに、当該対象ブロックが属する撮影画像を撮影したカメラに隣接したカメラが撮影した複数の参照撮影画像において、画像特徴の類似度が最も高い類似画像領域を探索するブロック探索手段、
このブロック探索手段で探索された類似画像領域の位置と前記対象ブロックの位置との差分を算出する差分算出手段、
この差分算出手段で算出された前記参照撮影画像分ごとの差分の平均値を算出し、前記対象ブロックにおける視差量とする平均視差量算出手段、
前記撮影画像ごとに、前記平均視差量算出手段で算出された視差量を、予め定められた前記カメラの焦点距離および前記カメラ間の距離に基づいて、前記対象ブロックに対応する前記被写体の奥行値に変換する奥行値変換手段、
として機能させることを特徴とする多視点画像奥行値抽出プログラム。
【請求項９】
前記コンピュータを、
複数の前記参照撮影画像において、前記類似画像領域が跨ったブロックを周辺ブロックとして特定する周辺ブロック特定手段、
この周辺ブロック特定手段で特定された周辺ブロックに対応する前記奥行値の平均値を算出し、当該類似画像領域に対応する奥行値とする類似画像領域奥行値算出手段、
この類似画像領域奥行値算出手段で算出された奥行値と前記対象ブロックの奥行値との平均値を算出し、当該対象ブロックの奥行値とする平均奥行値算出手段、
としてさらに機能させることを特徴とする請求項８に記載の多視点画像奥行値抽出プログラム。
【請求項１】
複数配列したカメラで同一の被写体を撮影した複数の撮影画像から、前記被写体の多視点画像用の奥行値を抽出する多視点画像奥行値抽出装置であって、
前記複数の撮影画像を予め定めた大きさのブロックに分割するブロック分割手段と、
このブロック分割手段で分割された撮影画像の前記奥行値を抽出する対象となる対象ブロックごとに、当該対象ブロックが属する撮影画像を撮影したカメラに隣接したカメラが撮影した複数の参照撮影画像において、画像特徴の類似度が最も高い類似画像領域を探索するブロック探索手段と、
このブロック探索手段で探索された類似画像領域の位置と前記対象ブロックの位置との差分を算出する差分算出手段と、
この差分算出手段で算出された前記参照撮影画像分ごとの差分の平均値を算出し、前記対象ブロックにおける視差量とする平均視差量算出手段と、
前記撮影画像ごとに、前記平均視差量算出手段で算出された視差量を、予め定められた前記カメラの焦点距離および前記カメラ間の距離に基づいて、前記対象ブロックに対応する前記被写体の奥行値に変換する奥行値変換手段と、
を備えることを特徴とする多視点画像奥行値抽出装置。
【請求項２】
前記平均視差量算出手段は、
前記平均値を算出する値から、前記対象ブロックとの類似度が予め定めた値よりも低い類似画像領域に対応する差分を除外して、前記視差量を求めることを特徴とする請求項１に記載の多視点画像奥行値抽出装置。
【請求項３】
複数の前記参照撮影画像において、前記類似画像領域が跨ったブロックを周辺ブロックとして特定する周辺ブロック特定手段と、
この周辺ブロック特定手段で特定された周辺ブロックに対応する前記奥行値の平均値を算出し、当該類似画像領域に対応する奥行値とする類似画像領域奥行値算出手段と、
この類似画像領域奥行値算出手段で算出された奥行値と前記対象ブロックの奥行値との平均値を算出し、当該対象ブロックの奥行値とする平均奥行値算出手段と、
をさらに備えることを特徴とする請求項１または請求項２に記載の多視点画像奥行値抽出装置。
【請求項４】
前記類似画像領域奥行値算出手段は、
前記周辺ブロックに対応する奥行値の平均値を算出する際に、前記周辺ブロックに当該平均値に対して予め定めた差分よりも差が大きい奥行値が対応していた場合に、当該奥行値を除外して平均値を再度算出することを特徴とする請求項３に記載の多視点画像奥行値抽出装置。
【請求項５】
前記平均奥行値算出手段は、
前記類似画像領域奥行値算出手段で算出された奥行値と前記対象ブロックの奥行値との平均値を算出する際に、前記類似画像領域奥行値算出手段で算出された奥行値から、当該平均値に対して予め定めた差分よりも差が大きい奥行値を除外して平均値を再度算出することを特徴とする請求項３または請求項４に記載の多視点画像奥行値抽出装置。
【請求項６】
複数配列したカメラで同一の被写体を撮影した複数の撮影画像から、前記被写体の多視点画像用の奥行値を抽出する多視点画像奥行値抽出方法であって、
前記複数の撮影画像を予め定めた大きさのブロックに分割するブロック分割ステップと、
このブロック分割ステップで分割された撮影画像の前記奥行値を抽出する対象となる対象ブロックごとに、当該対象ブロックが属する撮影画像を撮影したカメラに隣接したカメラが撮影した複数の参照撮影画像において、画像特徴の類似度が最も高い類似画像領域を探索するブロック探索ステップと、
このブロック探索ステップで探索された類似画像領域の位置と前記対象ブロックの位置との差分を算出する差分算出ステップと、
この差分算出ステップで算出された前記参照撮影画像分ごとの差分の平均値を算出し、前記対象ブロックにおける視差量とする平均視差量算出ステップと、
前記撮影画像ごとに、前記平均視差量算出ステップで算出された視差量を、予め定められた前記カメラの焦点距離および前記カメラ間の距離に基づいて、前記対象ブロックに対応する前記被写体の奥行値に変換する奥行値変換ステップと、
を含むことを特徴とする多視点画像奥行値抽出方法。
【請求項７】
前記奥行値変換ステップの後に、
複数の前記参照撮影画像において、前記類似画像領域が跨ったブロックを周辺ブロックとして特定する周辺ブロック特定ステップと、
この周辺ブロック特定ステップで特定された周辺ブロックに対応する前記奥行値の平均値を算出し、当該類似画像領域に対応する奥行値とする類似画像領域奥行値算出ステップと、
この類似画像領域奥行値算出ステップで算出された奥行値と前記対象ブロックの奥行値との平均値を算出し、当該対象ブロックの奥行値とする平均奥行値算出ステップと、
をさらに含むことを特徴とする請求項６に記載の多視点画像奥行値抽出方法。
【請求項８】
複数配列したカメラで同一の被写体を撮影した複数の撮影画像から、前記被写体の多視点画像用の奥行値を抽出するために、コンピュータを、
前記複数の撮影画像を予め定めた大きさのブロックに分割するブロック分割手段、
このブロック分割手段で分割された撮影画像の前記奥行値を抽出する対象となる対象ブロックごとに、当該対象ブロックが属する撮影画像を撮影したカメラに隣接したカメラが撮影した複数の参照撮影画像において、画像特徴の類似度が最も高い類似画像領域を探索するブロック探索手段、
このブロック探索手段で探索された類似画像領域の位置と前記対象ブロックの位置との差分を算出する差分算出手段、
この差分算出手段で算出された前記参照撮影画像分ごとの差分の平均値を算出し、前記対象ブロックにおける視差量とする平均視差量算出手段、
前記撮影画像ごとに、前記平均視差量算出手段で算出された視差量を、予め定められた前記カメラの焦点距離および前記カメラ間の距離に基づいて、前記対象ブロックに対応する前記被写体の奥行値に変換する奥行値変換手段、
として機能させることを特徴とする多視点画像奥行値抽出プログラム。
【請求項９】
前記コンピュータを、
複数の前記参照撮影画像において、前記類似画像領域が跨ったブロックを周辺ブロックとして特定する周辺ブロック特定手段、
この周辺ブロック特定手段で特定された周辺ブロックに対応する前記奥行値の平均値を算出し、当該類似画像領域に対応する奥行値とする類似画像領域奥行値算出手段、
この類似画像領域奥行値算出手段で算出された奥行値と前記対象ブロックの奥行値との平均値を算出し、当該対象ブロックの奥行値とする平均奥行値算出手段、
としてさらに機能させることを特徴とする請求項８に記載の多視点画像奥行値抽出プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２００９−１４６０３４（Ｐ２００９−１４６０３４Ａ）
【公開日】平成２１年７月２日（２００９．７．２）
【国際特許分類】
【出願番号】特願２００７−３２０７６９（Ｐ２００７−３２０７６９）
【出願日】平成１９年１２月１２日（２００７．１２．１２）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り （１） 社団法人映像情報メディア学会から、２００７年６月２９日に発行された「映像情報メディア学会技術報告」において予稿集として発表 （２） 社団法人映像情報メディア学会が２００７年６月２９日に開催した「映像情報メディア学会技術報告」において発表
【出願人】（３０１０２２４７１）独立行政法人情報通信研究機構 (1,071)
【Ｆターム（参考）】
【公開日】平成２１年７月２日（２００９．７．２）
【国際特許分類】
【出願日】平成１９年１２月１２日（２００７．１２．１２）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り （１） 社団法人映像情報メディア学会から、２００７年６月２９日に発行された「映像情報メディア学会技術報告」において予稿集として発表 （２） 社団法人映像情報メディア学会が２００７年６月２９日に開催した「映像情報メディア学会技術報告」において発表
【出願人】（３０１０２２４７１）独立行政法人情報通信研究機構 (1,071)
【Ｆターム（参考）】
[ Back to top ]