撮像装置、測距装置及び視差算出方法
【課題】微小な視差を高精度に算出するとともに、視差演算のための回路規模の増大を抑制することができる撮像装置などを提供する。
【解決手段】基準撮像系及び参照撮像系により生成された基準画像及び参照画像において、光軸位置をそれぞれ取得し、基準撮像系が有するレンズの光軸中心に近づく向きへ、参照画像の光軸位置から所定画素数移動した位置と、基準画像の光軸位置とが、同一の座標値となるように基準画像及び参照画像の平面座標を設定する画像切出部１４１と、設定された座標に基づいて、基準画像の一部領域と参照画像の一部領域との画像の評価値を算出し、算出された評価値から仮視差を算出する視差演算部１４２と、算出された仮視差から所定画素数を減算した視差を算出する視差補正部１４３とを備える。
【解決手段】基準撮像系及び参照撮像系により生成された基準画像及び参照画像において、光軸位置をそれぞれ取得し、基準撮像系が有するレンズの光軸中心に近づく向きへ、参照画像の光軸位置から所定画素数移動した位置と、基準画像の光軸位置とが、同一の座標値となるように基準画像及び参照画像の平面座標を設定する画像切出部１４１と、設定された座標に基づいて、基準画像の一部領域と参照画像の一部領域との画像の評価値を算出し、算出された評価値から仮視差を算出する視差演算部１４２と、算出された仮視差から所定画素数を減算した視差を算出する視差補正部１４３とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の撮像系を有し、当該撮像系間において生じる視差を算出する撮像装置及び視差算出方法、並びに、算出された視差から被写体までの距離を測定する測距装置に関し、特に微小な視差を高精度に算出することができる撮像装置、視差算出方法、測距装置に関する。
【背景技術】
【０００２】
複数の視点間の視差の計測が可能な従来の撮像装置として、特許文献１の撮像装置がある。特許文献１の撮像装置は、複数の視点の画像情報を用いて、視点間の視差を計測する。特許文献１の撮像装置は、１つの視点の画像情報を基準画像として扱い、他の視点の画像情報を参照画像として扱う。そして、特許文献１の撮像装置は、基準画像に対する参照画像の画像特徴の類似度を求める。そして、特許文献１の撮像装置は、この類似度を最小とするずらし量ｄの類似度ｈ（ｄ）と、前後のずらし量（ｄ−１及びｄ＋１）の類似度（ｈ（ｄ−１）及びｈ（ｄ＋１））とを利用して、下記式（１）のように、一画素より細かい分解能で視差ｄ’を求める。
【０００３】
【数１】
【０００４】
ここで、０以上のずらし量の類似度のみを演算する一般的な撮像装置は、類似度が最小となるずらし量が０の場合、最小の類似度を与えるずらし量の前のずらし量ｄ−１での類似度ｈ（−１）を求めることができない。そのため、一般的な撮像装置は、式（１）の演算を実施できないため、一画素より細かい分解能で視差ｄ’を求めることができない。
【０００５】
そこで、特許文献１の撮像装置は、ずらし量を−１から予め設定された正値まで変化させ、変化させたずらし量のそれぞれにおける類似度を求める。これにより、特許文献１の撮像装置は、類似度を最小とするずらし量ｄが０の場合でも、最小の類似度を与えるずらし量の前のずらし量ｄ−１での類似度ｈ（−１）を求めることができる。そのため、特許文献１の撮像装置は、式（１）を用いて一画素より細かい分解能で視差ｄ’を求めることができる。すなわち、特許文献１の撮像装置は、視差が０付近であっても細かい分解能で視差ｄ’を求めることができる。
【特許文献１】特開２００３−３４６１３０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に記載された従来の撮像装置は、負数（−１）のずらし量を用いて視差演算をする必要があるため、演算が複雑になるとともに、演算を実現するための回路規模が大きくなるという問題があった。
【０００７】
そこで、本発明は、上記問題に鑑みなされたもので、微小な視差を高精度で算出するとともに、視差演算のための回路規模の増大を抑制することができる撮像装置などを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明に係る撮像装置は、レンズと前記レンズに対応する撮像領域とを有する、基準撮像系と一つ以上の参照撮像系とを備え、同一の被写体を撮像したときの前記基準撮像系と前記参照撮像系との間に生じる視差を算出する撮像装置であって、前記基準撮像系及び前記参照撮像系により生成された基準画像及び参照画像において、前記基準撮像系及び前記参照撮像系がそれぞれ有する前記レンズの光軸中心に対応する位置である光軸位置をそれぞれ取得する光軸位置取得手段と、前記基準撮像系及び前記参照撮像系がそれぞれ有する前記レンズの光軸中心を互いに結ぶ直線の方向である基線方向のうち前記基準撮像系が有するレンズの光軸中心に近づく向きへ前記参照画像の光軸位置から所定画素数移動した位置と、前記基準画像の光軸位置とが、同一の座標値となるように前記基準画像及び前記参照画像の平面座標を設定する座標設定手段と、前記座標設定手段により設定された座標に基づいて、前記基準画像の一部領域と前記参照画像の一部領域との画像の類似度合いを表す評価値を算出し、算出された評価値から仮視差を算出する仮視差演算手段と、前記仮視差演算手段により算出された仮視差から前記所定画素数を減算することにより、前記基準撮像系と前記参照撮像系との間に生じる視差を算出する視差算出手段とを備えることを特徴とする。具体的には、前記仮視差演算手段は、前記基準画像の一部の領域である基準ブロックを選択する基準ブロック選択手段と、前記基準ブロックを示す座標値と同一の座標値で示される前記参照画像の一部の領域から、前記基線方向のうち前記基準撮像系の有するレンズの光軸中心から遠ざかる方へ、所定のずらし量ごとにずらしていった領域を参照ブロックとして選択し、選択した参照ブロックごとに前記基準ブロックとの前記評価値を算出する評価値算出手段と、算出された前記評価値のうち複数の評価値に基づく補間式を用いて、類似度合いが最大となるずらし量を前記仮視差として算出する仮視差算出手段とを有することを特徴とする。
【０００９】
これにより、負数のずらし量を用いることなく微小な視差を高精度に算出できるので、微小な視差を高精度に算出するとともに、視差演算のための回路規模の増大を抑制することが可能となる。
【００１０】
また、前記座標設定手段は、前記基線方向のうち前記基準撮像系が有するレンズの光軸中心に近づく向きへ、前記参照画像の光軸位置から一画素移動した位置と、前記基準画像の光軸位置とが、同一の座標値となるように、前記平面座標を設定することが好ましい。
【００１１】
これにより、参照画像を一画素だけ大きくするだけでよいので、視差演算において使用する記憶領域などの増大による回路規模の増大を抑制することが可能となる。
【００１２】
また、前記参照画像は、前記基準画像と比べて、前記基線方向のうち前記基準撮像系の有するレンズの光軸中心に近づく向きへ、前記所定画素数だけ大きな画像であることが好ましい。
【００１３】
これにより、参照ブロックを選択する際に、参照ブロックが選択可能か否かを確認する必要がないため、視差演算を簡易にすることができ、視差演算のための回路規模の増大を抑制することが可能となる。
【００１４】
また、本発明に係る測距装置は、レンズと前記レンズに対応する撮像領域とを有する、基準撮像系と一つ以上の参照撮像系とを備え、同一の被写体を撮像したときの前記基準撮像系と前記参照撮像系との間に生じる視差に基づいて、前記被写体までの距離を算出する測距装置であって、前記基準撮像系及び前記参照撮像系により生成された基準画像及び参照画像において、前記基準撮像系及び前記参照撮像系がそれぞれ有する前記レンズの光軸中心に対応する位置である光軸位置をそれぞれ取得する光軸位置取得手段と、前記基準撮像系及び前記参照撮像系がそれぞれ有する前記レンズの光軸中心を互いに結ぶ直線の方向である基線方向のうち前記基準撮像系が有するレンズの光軸中心に近づく向きへ前記参照画像の光軸位置から所定画素数移動した位置と、前記基準画像の光軸位置とが、同一の座標値となるように前記基準画像及び前記参照画像の平面座標を設定する座標設定手段と、前記座標設定手段により設定された座標に基づいて、前記基準画像の一部領域と前記参照画像の一部領域との画像の類似度合いを表す評価値を算出し、算出された評価値から仮視差を算出する仮視差演算手段と、前記仮視差演算手段により算出された仮視差から前記所定画素数を減算することにより、前記基準撮像系と前記参照撮像系との間に生じる視差を算出する視差算出手段と、前記視差算出手段により算出された視差を用いて、前記被写体までの距離を算出する距離算出手段とを備えることを特徴とする。
【００１５】
これにより、微小な視差の算出精度の向上に伴う遠方の距離の高精度化を実現するとともに、距離演算のための回路規模の増大を抑制することができる。
【００１６】
なお、本発明は、このような撮像装置として実現することができるだけでなく、このような撮像装置が備える特徴的な手段をステップとする視差算出方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができる。
【発明の効果】
【００１７】
本発明によれば、２つ以上撮像系を備え、同一の被写体を撮像したときの各撮像系間に生じる視差を算出する撮像装置などにおいて、負数のずらし量を用いた視差演算が不要となるので、微小な視差の算出を高精度で行うとともに、視差演算のための回路規模の増大を抑制することが可能となる。
【発明を実施するための最良の形態】
【００１８】
以下、本発明の好ましい実施の形態を、図面を参照しながら説明する。
【００１９】
（実施の形態１）
図１は、本発明の実施の形態１に係る測距装置１０１の構成を示す断面図である。図１に示すように、測距装置１０１は、回路部１２０と、その回路部１２０の上方に設けられたレンズモジュール部１１０とを備えている。
【００２０】
レンズモジュール部１１０は、円筒状の鏡筒１１１と、その鏡筒１１１の開口を覆う上部カバーガラス１１２と、その上部カバーガラス１１２の下方であって鏡筒１１１の内部に設けられたレンズアレイ１１３とを有している。また、回路部１２０は、基板１２１と、その基板１２１上に設けられたパッケージ１２２と、撮像素子１２３と、パッケージカバーガラス１２４と、半導体回路素子であるシステムＬＳＩ（以下、ＳＬＳＩと記す）１２５とを有している。
【００２１】
鏡筒１１１は、上述のとおり円筒状であって、その内壁面は光の乱反射を防止するためにつやが消された黒で着色されている。また、鏡筒１１１は、樹脂を射出成形することにより形成される。
【００２２】
上部カバーガラス１１２は、円盤状であり、光学ガラス材或いは透明樹脂などから形成され、鏡筒１１１の上部の内壁に接着剤などを用いて固着される。また、上部カバーガラス１１２の表面には、摩擦などによる損傷を防止するための保護膜と、入射光の反射を防止するための反射防止膜とが設けられている。
【００２３】
図２は、本発明の実施の形態１に係る測距装置１０１のレンズアレイ１１３の構成を示す平面図である。図２に示すように、レンズアレイ１１３は、略円盤状であり、光学ガラス材、透明樹脂などから形成される。また、レンズアレイ１１３には、円形の第１のレンズ部１１３ａ、第２のレンズ部１１３ｂ、第３のレンズ部１１３ｃ、及び第４のレンズ部１１３ｄが、２行２列の碁盤目状に配設されている。
【００２４】
ここで、第１〜第４のレンズ部１１３ａ〜１１３ｄの配列方向に沿って、図２に示すようにｘ軸及びｙ軸を設定する。第１のレンズ部１１３ａ、第２のレンズ部１１３ｂ、第３のレンズ部１１３ｃ、及び第４のレンズ部１１３ｄにおいて、被写体側から入射した光は、撮像素子１２３側へ射出され、撮像素子１２３上に４つの像が結像される。
【００２５】
また、図２に示すように、各レンズ部は、レンズ中心である、光軸中心１１４ａ、光軸中心１１４ｂ、光軸中心１１４ｃ及び光軸中心１１４ｄを有する。そして、光軸中心１１４ａと、光軸中心１１４ｂ、光軸中心１１４ｃ及び光軸中心１１４ｄとをそれぞれ結ぶ直線の方向を各レンズ間における基線方向という。
【００２６】
なお、図２に示すように、第１のレンズ部１１３ａの光軸中心１１４ａ及び第２のレンズ部１１３ｂの光軸中心１１４ｂは、ｘ軸方向ではＤｘだけ離れており、かつ、ｙ軸方向では一致する。第１のレンズ部１１３ａの光軸中心１１４ａ及び第３のレンズ部１１３ｃの光軸中心１１４ｃは、ｘ軸方向では一致しており、かつ、ｙ軸方向ではＤｙだけ離れている。第３のレンズ部１１３ｃの光軸中心１１４ｃ及び第４のレンズ部１１３ｄの光軸中心１１４ｄは、ｘ軸方向ではＤｘだけ離れており、かつ、ｙ軸方向は一致する。第４のレンズ部１１３ｄの光軸中心１１４ｄ及び第１のレンズ部１１３ａの光軸中心１１４ａは、ｘ軸方向ではＤｘだけ離れており、かつ、ｙ軸方向ではＤｙだけ離れている。以下、実施の形態１の係る測距装置１０１において、ＤｘとＤｙとは等しいものとする。
【００２７】
図１に示す測距装置１０１の各構成部の説明に戻る。
基板１２１は、樹脂基板から構成され、上面に鏡筒１１１がその底面を接して接着剤などを用いて固着される。このようにして、測距装置１０１では、レンズモジュール部１１０と回路部１２０とが固定される。
【００２８】
パッケージ１２２は、金属端子部を有する樹脂からなり、鏡筒１１１の内側において、基板１２１の上面にその金属端子部が半田づけ等されて固着される。
【００２９】
撮像素子１２３は、ＣＣＤセンサ或いはＣＭＯＳセンサのような固体撮像素子であり、その受光面が第１のレンズ部１１３ａ、第２のレンズ部１１３ｂ、第３のレンズ部１１３ｃ、及び第４のレンズ部１１３ｄの光軸と略垂直になるようにして配置される。撮像素子１２３の各端子は、パッケージ１２２の内側の底部の金属端子にワイヤーボンディングにより金線１２７で接続され、基板１２１を介して、ＳＬＳＩ１２５と電気的に接続される。撮像素子１２３の受光面に、第１のレンズ部１１３ａ、第２のレンズ部１１３ｂ、第３のレンズ部１１３ｃ、及び第４のレンズ部１１３ｄから射出された光がそれぞれ結像し、その光の情報がフォトダイオードにより電気信号へ変換される。そして、その電気信号がＳＬＳＩ１２５に転送される。
【００３０】
図３は、本発明の実施の形態１に係る測距装置１０１の回路部１２０の構成を示す平面図である。パッケージカバーガラス１２４は、平板状であり、透明樹脂により形成され、パッケージ１２２の上面に接着などにより固着される。なお、図３においては、便宜上、パッケージカバーガラス１２４を透して見える撮像素子１２３などの記載は省略する。
【００３１】
ＳＬＳＩ１２５は、後述の方法により、撮像素子１２３から入力された電気信号を用いて、各種演算を行う。また、ＳＬＳＩ１２５は、上位ＣＰＵと通信を行い、外部に画像情報、距離情報などを出力する。なお、ＳＬＳＩ１２５は、電源（例えば３．３Ｖ）とグランド（例えば、０Ｖ）とに接続される。
【００３２】
図４は、本発明の実施の形態１に係る測距装置１０１の撮像素子の構成を示す平面図である。図４に示すように、撮像素子１２３は、第１の撮像領域１２３ａ、第２の撮像領域１２３ｂ、第３の撮像領域１２３ｃ、及び第４の撮像領域１２３ｄを含んで構成されている。これらの第１〜第４の撮像領域１２３ａ〜１２３ｄは、それぞれの受光面が、第１〜第４のレンズ部１１３ａ〜１１３ｄの光軸と略垂直になるようにして２行２列で配置される。これらの第１〜第４の撮像領域１２３ａ〜１２３ｄにて撮像信号が生成される。
【００３３】
なお、本実施の形態１においては、第１のレンズ部１１３ａ及び第１の撮像領域１２３ａが基準撮像系である。また、第２のレンズ部１１３ｂ及び第２の撮像領域１２３ｂ、第３のレンズ部１１３ｃ及び第３の撮像領域１２３ｃ、並びに第４のレンズ部１１３ｄ及び第４の撮像領域１２３ｄが参照撮像系である。
【００３４】
次に、被写体距離と視差との関係を説明する。本発明の実施の形態１に係る測距装置１０１は、４つのレンズ部（第１のレンズ部１１３ａ、第２のレンズ部１１３ｂ、第３のレンズ部１１３ｃ、及び第４のレンズ部１１３ｄ）を有するため、４つのレンズ部がそれぞれ形成する４つの物体像の相対的位置が、被写体距離に応じて変化する。
【００３５】
図５は、本発明の実施の形態１に係る測距装置１０１において、無限遠にある物体を撮像したときの物体像の位置を説明するための図である。図５においては、簡単のため、レンズアレイ１１３において、第１のレンズ部１１３ａ、及び第２のレンズ部１１３ｂのみを記す。無限遠にある物体１０からの光の第１のレンズ部１１３ａへの代表的な入射光Ｌ１と、無限遠にある物体１０からの光の第２のレンズ部１１３ｂへの代表的な入射光Ｌ２とは平行である（ここで、図５において、物体１０は２つ描画されているが、単一の物体である。無限遠の物体１０を有限な紙面上に描画できない。そのため、図５において、入射光Ｌ１と入射光Ｌ２とが平行であることを明示するために、２つの位置の無限遠にある物体１０を描画している）。このため、第１のレンズ部１１３ａの光軸中心１１４ａと第２のレンズ部１１３ｂの光軸中心１１４ｂとの間の距離と、撮像素子１２３上の物体像１１ａが結像される位置と物体像１１ｂが結像される位置との間の距離とは等しい。すなわち、視差はない。
【００３６】
図６は、本発明の実施の形態１に係る測距装置１０１において、有限距離の位置にある物体を撮像したときの物体像の位置を説明するための図である。図６において、簡単のため、レンズアレイ１１３において、第１のレンズ部１１３ａ、及び第２のレンズ部１１３ｂのみを記す。有限距離の位置にある物体１２からの光の第１のレンズ部１１３ａへの代表的な入射光Ｌ１と、有限距離の位置にある物体１２からの光の第２のレンズ部１１３ｂへの代表的な入射光Ｌ２とは平行ではない。したがって、第１のレンズ部１１３ａの光軸中心１１４ａと第２のレンズ部１１３ｂの光軸中心１１４ｂとの間の距離に比べて、撮像素子１２３上の物体像１３ａが結像される位置と物体像１３ｂが結像される位置との間の距離は長い。すなわち、視差がある。
【００３７】
ここで、第１のレンズ部１１３ａの主点から物体像１２までの距離（被写体距離）をＡ、第１のレンズ部１１３ａと第２のレンズ部１１３ｂとの光軸間距離をＤ、レンズ部１１３ａ，１１３ｂの焦点距離をｆとする。この場合、図６の直角を挟む２辺の長さがＡ、Ｄの直角三角形と、直角を挟む２辺の長さがｆ、Δの直角三角形とが相似である。したがって、視差値Δは、焦点距離ｆ、光軸間距離Ｄ及び被写体距離Ａを用いて、下記式（２）のように表される。
【００３８】
【数２】
【００３９】
その他のレンズ部についても同様の関係が成立する。このように、被写体距離に応じて４つのレンズ部１１３ａ、１１３ｂ、１１３ｃ、１１３ｄがそれぞれ形成する４つの物体像の相対的位置が変化する。例えば、被写体距離Ａが小さくなると、視差値Δが大きくなる。そこで、下記式（３）のように、式（２）を被写体距離Ａについて解くことにより、視差値Δから被写体距離Ａを求めることができる。
【００４０】
【数３】
【００４１】
次に、本発明の実施の形態１に係る測距装置１０１の機能構成を説明する。図７は、本発明の実施の形態１に係る測距装置１０１の機能構成を示すブロック図である。ＳＬＳＩ１２５は、システム制御部１３１、撮像素子駆動部１３２、撮像信号入力部１３３、入出力部１３４、画像切出部１４１、視差演算部１４２、視差補正部１４３、失敗検知部１４４、及び距離演算部１４５を有する。
【００４２】
システム制御部１３１は、ＣＰＵ（中央演算処理装置：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ロジック回路などから構成され、ＳＬＳＩ１２５の全体を制御する。
【００４３】
撮像素子駆動部１３２は、ロジック回路などから構成され、システム制御部１３１の命令により電子シャッター或いは撮像素子１２３を駆動するための信号を発生し、この信号に応じた電圧を撮像素子１２３に印加する。
【００４４】
撮像信号入力部１３３は、直列に接続された、ＣＤＳ回路（相関二重サンプリング回路：Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ Ｃｉｒｃｕｉｔ）、ＡＧＣ（自動利得制御器：Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌｌｅｒ）、及びＡＤＣ（アナログ／デジタル変換器：Ａｎａｌｏｇ Ｄｉｇｉｔａｌ Ｃｏｎｖｅｒｔｅｒ）から構成される。
【００４５】
具体的には、撮像信号入力部１３３は、撮像素子１２３から電気信号を取得し、取得した電気信号の固定ノイズを、ＣＤＳ回路により除去する。さらに、撮像信号入力部１３３は、固定ノイズが除去された電気信号のゲインを、ＡＧＣにより調整する。さらに、撮像信号入力部１３３は、ゲインが調整された電気信号を、ＡＤＣによりアナログ信号からデジタル信号に変換する。このように、撮像信号入力部１３３は、撮像素子１２３から取得した電気信号を用いて、デジタル信号である撮像信号Ｉ０を生成する。
【００４６】
入出力部１３４は、外部機器からの入力の受付け、及び、距離演算部１４５が算出した距離情報などの外部機器への出力を行う。
【００４７】
画像切出部１４１は、光軸位置取得手段の一例であり、撮像信号入力部１３３により生成された撮像信号Ｉ０における、基準画像である第１の撮像信号Ｉ１並びに参照画像である第２の撮像信号Ｉ２、第３の撮像信号Ｉ３、及び第４の撮像信号Ｉ４の光軸位置を取得する。
【００４８】
ここで、光軸位置とは、各レンズの光軸中心に対応する画像内の位置であり、レンズの光軸中心を通り撮像素子１２３の撮像面に垂直な線（光軸）が撮像面と交差する位置である。この光軸位置は、各撮像系をキャリブレーションすることにより、あらかじめ算出されている。そして、光軸位置を特定するための情報は、例えば、図示していない記憶部に格納されている。
【００４９】
また、画像切出部１４１は、取得した第１の撮像信号Ｉ１の光軸位置が画像の中心となるように、第１の撮像信号Ｉ１を撮像信号Ｉ０から切り出す。さらに、画像切出部１４１は、第１の撮像信号Ｉ１と比べて、光軸中心１１４ａと光軸中心１１４ｂとを結ぶ直線の方向（基線方向）のうちレンズ部１１３ａの光軸中心１１４ａに近づく向きへ、第２の撮像信号Ｉ２の光軸位置からの距離が一画素だけ大きな画像となるように第２の撮像信号Ｉ２を、撮像信号Ｉ０から切り出す。また、画像切出部１４１は、第３の撮像信号Ｉ３及び第４の撮像信号Ｉ４も、第２の撮像信号Ｉ２と同様に、撮像信号Ｉ０から切り出す。
【００５０】
また、画像切出部１４１は、座標設定手段の一例でもあり、基線方向のうちレンズ部１１３ａの光軸中心１１４ａに近づく向きへ、第２の撮像信号Ｉ２の光軸位置から一画素移動した位置と、第１の撮像信号の光軸位置とが、同一の座標値となるように第１の撮像信号Ｉ１及び第２の撮像信号Ｉ２のｘｙ座標を設定する。さらに、画像切出部１４１は、第３の撮像信号Ｉ３及び第４の撮像信号Ｉ４についても、第２の撮像信号Ｉ２と同様にｘｙ座標を設定する。
【００５１】
ここで、ｘｙ座標は、平面座標の一例であり、ｘ座標及びｙ座標により平面上の位置が特定できる座標である。
【００５２】
なお、第２の撮像信号Ｉ２の光軸位置から移動させる画素数である一画素は一例であり、本発明に係る測距装置は、一画素より大きな画素数だけ移動した位置と基準画像の光軸位置とが対応するようにｘｙ座標を設定してもよい。この場合、画像切出部１４１は、一画素より大きな画素数だけ大きな画像となるように、第２の撮像信号Ｉ２、第３の撮像信号Ｉ３及び第４の撮像信号Ｉ４を、撮像信号Ｉ０から切り出す。
【００５３】
視差演算部１４２は、仮視差演算手段の一例であり、画像切出部１４１により設定された座標に基づいて、第１の撮像信号Ｉ１の一部領域と第２の撮像信号Ｉ２の一部領域との画像の類似度合いを表す評価値を算出し、算出された評価値から仮視差を算出する。
【００５４】
詳細には、視差演算部１４２は、基準ブロック選択手段の一例であり、第１の撮像信号Ｉ１の一部の領域である基準ブロックを選択する。
【００５５】
また、視差演算部１４２は、評価値算出手段の一例であり、基準ブロックを示す座標値と同一の座標値で示される第２の撮像信号Ｉ２の一部の領域から、基線方向のうち光軸中心１１４ａから遠ざかる向きへ、所定のずらし量ごとにずらしていった領域を参照ブロックとして選択し、選択した参照ブロックごとに、基準ブロックとの評価値を算出する。
【００５６】
また、視差演算部１４２は、仮視差算出手段の一例であり、算出された前記評価値のうち複数の評価値に基づく補間式を用いて、類似度合いが最大となるずらし量を仮視差として算出する。
【００５７】
さらに、視差演算部１４２は、第３の撮像信号Ｉ３及び第４の撮像信号Ｉ４についても、第２の撮像信号Ｉ２と同様に類似度合いが最大となるずらし量を算出する。そして、視差演算部１４２は、算出されたずらし量の中で、最も評価値の類似度合いが最大となるずらし量を仮視差として特定する。
【００５８】
視差補正部１４３は、視差算出手段の一例であり、仮視差から一画素を減算することにより、第１の撮像信号Ｉ１と、第２の撮像信号Ｉ２、第３の撮像信号Ｉ３又は第４の撮像信号Ｉ４との間に生じている視差を算出する。
【００５９】
失敗検知部１４４は、視差判定手段の一例であり、視差補正部１４３により算出された視差が負数であるか否かを判定する。
【００６０】
また、失敗検知部１４４は、失敗情報出力手段の一例でもあり、視差判定手段において負数であると判定された場合、視差演算が失敗したことを示す失敗情報を出力する。
【００６１】
距離演算部１４５は、距離算出手段の一例であり、視差補正部１４３により算出された視差を用いて、被写体までの距離を算出する。
【００６２】
次に、以上のように構成された本実施の形態における測距装置１０１の基本的な動作について説明する。
【００６３】
図８は、本発明の実施の形態１に係る測距装置１０１の動作を示すフローチャートである。ＳＬＳＩ１２５のシステム制御部１３１により、測距装置１０１は、このフローチャートのとおりに動作される。
【００６４】
測距装置１０１は、例えば、上位ＣＰＵ（図示せず）が、入出力部１３４を介し、測距装置１０１に動作の開始を命令することにより、動作を開始する。
【００６５】
動作を開始すると、撮像信号入力部１３３は、撮像素子１２３から入力された電気信号を、撮像信号Ｉ０へ変換する。そして、撮像信号入力部１３３は、撮像信号Ｉ０を画像切出部１４１及び入出力部１３４へ出力する（ステップＳ１０２０）。具体的には、撮像信号入力部１３３は、ｘ方向の画素数がＨ０画素であり、ｙ方向の画素数がＶ０画素である撮像信号Ｉ０（ｘ，ｙ）を、Ｉ０（０，０）（（ｘ，ｙ）＝（０，０））、Ｉ０（１，０）、Ｉ０（２，０）、・・・、Ｉ０（Ｈ０−２，Ｖ０−１）、Ｉ０（Ｈ０−１，Ｖ０−１）の順に出力する。
【００６６】
次に、画像切出部１４１は、入力された撮像信号Ｉ０から基準画像及び参照画像を切り出す（ステップＳ１１００）。具体的には、画像切出部１４１は、例えば記憶部に格納された光軸位置を特定するための情報を取得する。そして、画像切出部１４１は、取得した光軸位置を特定するため情報を用いて、撮像信号Ｉ０から、基準画像である第１の撮像信号Ｉ１並びに参照画像である、第２の撮像信号Ｉ２、第３の撮像信号Ｉ３、及び第４の撮像信号Ｉ４を作成する。
【００６７】
次に、画像切出部１４１は、基準画像及び参照画像に対してｘｙ座標を設定する（ステップＳ１１５０）。このｘｙ座標は、基線方向のうち基準撮像系が有するレンズの光軸中心に近づく向きへ、参照画像の光軸位置から所定画素数移動した位置と、基準画像の光軸位置とが、同一の座標値となるように設定された座標である。そして、画像切出部１４１は、基準画像である第１の撮像信号Ｉ１並びに参照画像である、第２の撮像信号Ｉ２、第３の撮像信号Ｉ３、及び第４の撮像信号Ｉ４を出力する。
【００６８】
以下に、ステップＳ１１００及びステップＳ１１５０における画像切出部１４１の処理を、図９を用いて、さらに詳しく説明する。
【００６９】
図９は、本発明の実施の形態１に係る測距装置１０１の撮像信号の切り出し位置を説明するための図である。図９において、座標（ｘｃ１，ｙｃ１）、座標（ｘｃ２，ｙｃ２）、座標（ｘｃ３，ｙｃ３）、及び座標（ｘｃ４，ｙｃ４）は、それぞれ、撮像信号Ｉ０における第１のレンズ部１１３ａ、第２のレンズ部１１３ｂ、第３のレンズ部１１３ｃ、及び第４のレンズ部１１３ｄの光軸中心に対応する位置（光軸位置）の座標である。
【００７０】
画像切出部１４１は、中心が第１のレンズ部１１３ａの光軸中心に対応する位置（光軸位置）の座標（ｘｃ１，ｙｃ１）となり、かつ、大きさがｘ方向の画素数がＨ１画素、ｙ方向の画素数がＶ１画素となるように、第１の撮像信号Ｉ１を撮像信号Ｉ０から切り出す。すなわち、画像切出部１４１は、下記式（４）〜式（６）のように、ｘ方向の画素数がＨ１画素、ｙ方向の画素数がＶ１画素となる第１の撮像信号Ｉ１を切り出す。さらに、画像切出部１４１は、下記式（４）〜式（６）に示すように、切出した第１の撮像信号Ｉ１に対して、原点が座標（ｘ０１，ｙ０１）となるように、ｘｙ座標を設定する。
【００７１】
【数４】
【００７２】
また、画像切出部１４１は、中心が第２のレンズ部１１３ｂの光軸中心１１４ｂに対応する位置（光軸位置）の座標（ｘｃ２，ｙｃ２）となり、かつ、その大きさがｘ方向の画素数がＨ１画素、ｙ方向の画素数がＶ１画素となる領域より、ｘ方向（基線方向）において、負の向き（レンズ部１１３ａの光軸中心１１４ａへ近づく向き）に一画素だけ、正の向きに（レンズ部１１３ａの光軸中心１１４ａから遠ざかる向き）にＳＢ画素だけ大きい領域となるように、第２の撮像信号Ｉ２を撮像信号Ｉ０から切り出す。すなわち、画像切出部１４１は、下記式（７）〜式（１１）のように、ｘ方向の画素数がＨ２画素及びｙ方向の画素数がＶ２画素となる第２の撮像信号Ｉ２を切り出す。
【００７３】
さらに、画像切出部１４１は、切り出した第２の撮像信号Ｉ２に対して、原点の座標が座標（ｘ０２，ｙ０２）となるように、ｘｙ座標を設定する。つまり、画像切出部１４１は、基線方向のうちレンズ部１１３ａの光軸中心１１４ａに近づく向きへ、第２の撮像信号Ｉ２の光軸位置（ｘｃ２，ｙｃ２）から一画素移動した位置（ｘｃ２−１，ｙｃ２）と、第１の撮像信号の光軸位置（ｘｃ１，ｙｃ１）とが、同一の座標値となるようにｘｙ座標を設定する。
【００７４】
【数５】
【００７５】
また、画像切出部１４１は、中心が第３のレンズ部１１３ｃの光軸中心１１４ｃに対応する位置（光軸位置）の座標（ｘｃ３，ｙｃ３）となり、かつ、大きさがｘ方向の画素数がＨ１画素、ｙ方向の画素数がＶ１画素となる領域より、ｙ方向（基線方向）において、負の向き（レンズ部１１３ａの光軸中心１１４ａへ近づく向き）に一画素だけ、正の向き（レンズ部１１３ａの光軸中心１１４ａから遠ざかる向き）にＳＢ画素だけ大きい領域となるように、第３の撮像信号Ｉ３を撮像信号Ｉ０から切り出す。すなわち、画像切出部１４１は、下記式（１２）〜式（１６）のように、ｘ方向の画素数がＨ３画素及びｙ方向の画素数がＶ３画素となる第３の撮像信号Ｉ３を切り出す。
【００７６】
さらに、画像切出部１４１は、切り出した第３の撮像信号Ｉ３に対して、原点の座標が座標（ｘ０３，ｙ０３）となるように、ｘｙ座標を設定する。つまり、画像切出部１４１は、基線方向のうちレンズ部１１３ａの光軸中心１１４ａに近づく向きへ、第３の撮像信号Ｉ３の光軸位置（ｘｃ３，ｙｃ３）から一画素移動した位置（ｘｃ３，ｙｃ３−１）と、第１の撮像信号の光軸位置（ｘｃ１，ｙｃ１）とが、同一の座標値となるようにｘｙ座標を設定する。
【００７７】
【数６】
【００７８】
また、画像切出部１４１は、中心が第４のレンズ部１１３ｄの光軸中心１１４ｄに対応する位置（光軸位置）の座標（ｘｃ４，ｙｃ４）となり、かつ、大きさがｘ方向の画素数がＨ１画素、ｙ方向の画素数がＶ１画素となる領域より、ｘ方向において、負の向きに一画素だけ、正の向きにＳＢ画素だけ、ｙ方向において、負の向きに一画素だけ、正の向きにＳＢ画素だけ大きい領域となるように、第４の撮像信号Ｉ４を撮像信号Ｉ０から切り出す。すなわち、画像切出部１４１は、第１の撮像信号Ｉ１と比べて、ｘ軸を−４５度回転させた方向（基線方向）のレンズ部１１３ａの光軸中心１１４ａへ近づく向きに２の平方根の画素分だけ大きい領域となるように、第４の撮像信号Ｉ４を撮像信号Ｉ０から切り出す。つまり、下記式（１７）〜式（２１）のように、ｘ方向の画素数がＨ４画素及びｙ方向の画素数がＶ４画素となる第４の撮像信号Ｉ４を切り出す。
【００７９】
さらに、画像切出部１４１は、切り出した第４の撮像信号Ｉ４に対して、原点の座標が座標（ｘ０４，ｙ０４）となるように、ｘｙ座標を設定する。つまり、画像切出部１４１は、基線方向のうちレンズ部１１３ａの光軸中心１１４ａに近づく向きへ、第４の撮像信号Ｉ４の光軸位置（ｘｃ４，ｙｃ４）から一画素移動した位置（ｘｃ４−１，ｙｃ４−１）と、第１の撮像信号の光軸位置（ｘｃ１，ｙｃ１）とが、同一の座標値となるようにｘｙ座標を設定する。
【００８０】
【数７】
【００８１】
図８のフローチャートの説明に戻る。
次に、視差演算部１４２、視差補正部１４３及び距離演算部１４５は、距離の演算を実行する（ステップＳ１２００）。
【００８２】
以下に、図１０を用いて、ステップＳ１２００の処理の詳細について説明する。図１０は、本発明の実施の形態１に係る測距装置１０１の距離演算に関する動作を示すフローチャートである。図１０のフローチャートは、図８におけるステップＳ１２００の処理の詳細を示す。
【００８３】
まず、視差演算部１４２は、撮像信号Ｉ１の一部の画像領域である基準ブロックを選択する（ステップＳ１２２０）。
【００８４】
ここで、ステップＳ１２２０において、視差演算部１４２が選択する基準ブロックの詳細を、図１１を用いて説明する。図１１は、本発明の実施の形態１に係る測距装置１０１において、視差演算部１４２が選択する基準ブロックを説明するための図である。図１１に示すように、視差演算部１４２により選択される基準ブロックは、第１の撮像信号Ｉ１上において、ｘ方向の画素数がＨＢ画素、ｙ方向の画素数がＶＢ画素となる画像である。ステップＳ１１５０（図８）が実行された後、初めてこのステップＳ１２２０を実行されるときは、視差演算部１４２は、ブロックの中心が（ＨＢ／２，ＶＢ／２）の基準ブロックを選択する。以後、このステップＳ１２２０が実行されるときは、視差演算部１４２は、ブロックの中心を右側に順に一画素ずつずらした基準ブロックを選択する。なお、図１１において右端のブロック（中心が（Ｈ１−ＨＢ／２、０）、（Ｈ１−ＨＢ／２，１）、・・・のブロック）を視差演算部１４２が選択した場合、次は、一画素下の行の左端のブロック（中心が（ＨＢ／２，１）、（ＨＢ／２，２）、・・・のブロック）を視差演算部１４２は基準ブロックとして選択する。すなわち、視差演算部１４２は、インデックス（ｉ，ｊ）を設定し、中心が（ｉ，ｊ）、ｘ方向の画素数がＨＢ画素、ｙ方向の画素数がＶＢ画素のブロックを基準ブロックとして選択する。インデックス（ｉ，ｊ）において、ステップＳ１１５０（図８）が実行された後、視差演算部１４２が初めてこのステップＳ１２２０の処理を実行するときに、インデックス（ｉ，ｊ）を（ＨＢ／２，ＶＢ／２）に初期化する。そして、初期化以後、視差演算部１４２がステップＳ１２２０の処理を実行する度に、視差演算部１４２は、ｉを１ずつ大きくする。前回のｉがＨ１−ＨＢ／２のとき、視差演算部１４２は、ｉを０にし、ｊを１だけ大きくする。
【００８５】
図１０のフローチャートの説明に戻る。
次に、視差演算部１４２は、基準画像である第１の撮像信号Ｉ１と、参照画像である第２の撮像信号Ｉ２、第３の撮像信号Ｉ３、及び第４の撮像信号Ｉ４と、を用いて、基準画像上の各画素における視差Δ（仮視差）を演算し、演算した視差Δ（仮視差）を出力する（ステップＳ１２３０）。この視差Δ（仮視差）の演算において、視差演算部１４２は、まず、第１の撮像信号Ｉ１と第２の撮像信号Ｉ２とにおける、視差（仮視差）と視差信頼度とを演算する。
【００８６】
以下に、第１の撮像信号Ｉ１と第２の撮像信号Ｉ２とにおける、視差（仮視差）と視差信頼度との演算について、詳細に説明する。視差演算部１４２は、最初に、第１の撮像信号Ｉ１と第２の撮像信号Ｉ２との視差評価値Ｒ１２（ｋｘ）を演算する。ここで、ｋｘは基準ブロックと同一の座標値となる参照画像の一部領域に対して、参照ブロックをどれだけずらして選択するかを示すずらし量である。視差演算部１４２は、ｋｘを、ｋｘ＝０、１、２、・・・、ＳＢ＋１のように変化させる。
【００８７】
図１２は、本発明の実施の形態１に係る測距装置１０１において、第１の撮像信号Ｉ１と第２の撮像信号Ｉ２とを利用したときの視差演算における視差評価値の演算領域を説明するための図である。
【００８８】
基準ブロックＩ１ｂで示される領域は、第１の撮像信号Ｉ１において、インデックス（ｉ，ｊ）で示されるブロックである。すなわち、基準ブロックＩ１ｂは、第１の撮像信号Ｉ１において、中心の座標が（ｉ，ｊ）、ｘ方向の画素数がＨＢ画素、ｙ方向の画素数がＶＢ画素であるブロックである。
【００８９】
また、参照ブロックＩ２ｂで示される領域は、第２の撮像信号Ｉ２において、基準ブロックＩ１ｂの座標値と同一となる座標値のブロックから、ｘ方向にｋｘだけずれた領域のブロックである。すなわち、参照ブロックＩ２ｂは、第２の撮像信号Ｉ２において、中心の座標が（ｉ＋ｋｘ，ｊ）、ｘ方向の画素数がＨＢ画素、ｙ方向の画素数がＶＢ画素であるブロックである。
【００９０】
ここで、視差演算部１４２は、ずらし量ｋｘを０からＳＢ＋１まで変化させた場合（ｋｘ＝０からＳＢ＋１）について、下記式（２２）に示される絶対値差分総和（ＳＡＤ：Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅｓ）を演算する。ここで、視差演算部１４２は、演算したＳＡＤを視差評価値Ｒ１２（ｋｘ）として扱う。すなわち、視差演算部１４２は、第１の撮像信号Ｉ１を基準画像とし、第２の撮像信号Ｉ２を参照画像として、視差評価値Ｒ１２（ｋｘ）を演算する。
【００９１】
式（２２）において、ΣΣは、インデックス（ｉ，ｊ）で示されるブロック内の各画素の総和を示す。つまり、式（２２）において、ｘはｉ−ＨＢ／２からｉ＋ＨＢ／２−１まで変化し、ｙはｊ−ＶＢ／２からｊ＋ＶＢ／２−１まで変化する。
【００９２】
【数８】
【００９３】
この視差評価値Ｒ１２（ｋｘ）は、第１の撮像信号Ｉ１においてインデックス（ｉ，ｊ）で示される中心座標（ｉ，ｊ）の基準ブロックの画像と、第２の撮像信号Ｉ２においてインデックス（ｉ，ｊ）で示される中心座標（ｉ，ｊ）のブロックからｘ方向にｋｘだけずれた領域の参照ブロックの画像とが、どれだけ相関があるか（類似しているか）を示し、値が小さいほど相関が大きい（類似度合いが大きい）ことを示す。
【００９４】
図１３は、本発明の実施の形態１に係る測距装置１０１の第１の撮像信号Ｉ１と第２の撮像信号Ｉ２を利用したときの視差演算における、ずらし量と視差評価値との関係を説明する図である。図１３に示すように、視差評価値Ｒ１２（ｋｘ）はずらし量ｋｘの値によって変化し、ずらし量ｋｘ＝Δのときに視差評価値Ｒ１２（ｋｘ）は極小値となる。つまり、第１の撮像信号Ｉ１においてインデックス（ｉ，ｊ）で示される中心座標（ｉ，ｊ）の基準ブロックに対して、第２の撮像信号Ｉ２においてインデックス（ｉ，ｊ）で示される中心座標（ｉ，ｊ）のブロックからｘ方向にずらし量Δだけずれた領域の参照ブロックが最も相関が高い（最も類似度合いが大きい）ブロックである。そこで、視差演算部１４２は、インデックス（ｉ，ｊ）で示されるブロックにおける第１の撮像信号Ｉ１と第２の撮像信号Ｉ２との視差評価値Ｒ１２（ｋｘ）が最小値となるずらし量をずらし量Δと特定する。
【００９５】
さらに、視差演算部１４２は、下記式（２３）のように、等角フィッティングの補間式を利用してｘｙ座標における視差値Δ１２（ｉ，ｊ）（仮視差）を算出する。その結果、視差演算部１４２は、ずらし量単位（一画素）未満の分解能で視差（仮視差）を求めることが可能となる。
【００９６】
また、視差演算部１４２は、下記式（２４）のように、視差評価値Ｒ１２（Δ）を用いて、座標（ｉ，ｊ）における第１の撮像信号Ｉ１と第２の撮像信号Ｉ２との視差信頼度Ｃ１２（ｉ，ｊ）を算出する。
【００９７】
【数９】
【００９８】
次に、視差演算部１４２は、第１の撮像信号Ｉ１と第３の撮像信号Ｉ３との視差（仮視差）及び視差信頼度も上記と同様に求める。ただし、視差演算部１４２は、第３の撮像信号Ｉ３において参照ブロックをずらす方向を、第１のレンズ部１１３ａの光軸中心と第３のレンズ部１１３ｃの光軸中心とを結ぶ直線の方向であるｙ方向に変更する。また、ずらし量はｋｙとする。
【００９９】
具体的には、視差演算部１４２は、下記式（２５）のように、インデックス（ｉ，ｊ）で示されるブロックにおける第１の撮像信号Ｉ１と第３の撮像信号Ｉ３との視差評価値Ｒ１３（ｋｙ）を求める。すなわち、視差演算部１４２は、第１の撮像信号Ｉ１を基準画像として扱うとともに、第３の撮像信号Ｉ３を参照画像として扱うことにより、視差評価値Ｒ１３（ｋｙ）を演算する。そして、視差演算部１４２は、視差評価値Ｒ１３（ｋｙ）が最小値となるずらし量Δを特定する。さらに、視差演算部１４２は、下記式（２６）のように、等角フィッティングの補間式を利用して、座標（ｉ，ｊ）における第１の撮像信号Ｉ１と第３の撮像信号Ｉ３とのｘｙ座標における視差値Δ１３（ｉ，ｊ）（仮視差）を算出する。また、視差演算部１４２は、下記式（２７）のように、視差評価値Ｒ１３（Δ）を用いて、座標（ｉ，ｊ）における第１の撮像信号Ｉ１と第３の撮像信号Ｉ３との視差信頼度Ｃ１３（ｉ，ｊ）を算出する。
【０１００】
【数１０】
【０１０１】
次に、視差演算部１４２は、第１の撮像信号Ｉ１と第４の撮像信号Ｉ４との視差（仮視差）及び視差信頼度も上記と同様に求める。ただし、視差演算部１４２は、第４の撮像信号Ｉ４において参照ブロックをずらす方向を斜め方向（第１のレンズ部１１３ａの光軸中心１１４ａと第４のレンズ部１１３ｄの光軸中心１１４ｄとを結ぶ直線の方向）に変更する。また、ずらし量はｘ方向にｋｘ、ｙ方向にｋｘとする。
【０１０２】
具体的には、視差演算部１４２は、下記式（２８）のように、インデックス（ｉ，ｊ）で示されるブロックにおける第１の撮像信号Ｉ１と第４の撮像信号Ｉ４との視差評価値Ｒ１４（ｋｘ）を求める。すなわち、視差演算部１４２は、第１の撮像信号Ｉ１を基準画像として扱うとともに、第４の撮像信号Ｉ４を参照画像として扱うことにより、視差評価値Ｒ１４（ｋｘ）を演算する。そして、視差演算部１４２は、視差評価値Ｒ１４（ｋｘ）が最小値を与えるずらし量Δを特定する。さらに、視差演算部１４２は、下記式（２９）のように、等角フィッティングの補間式を利用して、座標（ｉ，ｊ）における第１の撮像信号Ｉ１と第４の撮像信号Ｉ４とのｘｙ座標における視差値Δ１４（ｉ，ｊ）（仮視差）を算出する。また、視差演算部１４２は、下記式（３０）のように、視差評価値Ｒ１４（Δ）を用いて、座標（ｉ，ｊ）における第１の撮像信号Ｉ１と第４の撮像信号Ｉ４との視差信頼度Ｃ１４（ｉ，ｊ）を算出する。
【０１０３】
【数１１】
【０１０４】
そして、視差演算部１４２は、上記３つの視差信頼度を比較することにより、最も信頼できる視差値（仮視差）を選択する。すなわち、視差演算部１４２は、下記式（３１）のように、３つの視差信頼度Ｃ１２（ｉ，ｊ）、Ｃ１３（ｉ，ｊ）、及びＣ１４（ｉ，ｊ）を比較することにより、最も値が小さい視差信頼度に対応する視差値（仮視差）を選択する。例えば、視差信頼度Ｃ１２（ｉ，ｊ）が最も小さな値であるとき、視差演算部１４２は、視差値Δ１２（ｉ，ｊ）を座標（ｉ，ｊ）における視差値Δ（ｉ，ｊ）（仮視差）として選択する。また、例えば、視差信頼度Ｃ１３（ｉ，ｊ）が最も小さな値であるとき、視差値Δ１３（ｉ，ｊ）を座標（ｉ，ｊ）における視差値Δ（ｉ，ｊ）（仮視差）として選択する。また、例えば、視差信頼度Ｃ１４（ｉ，ｊ）が最も小さな値であるとき、視差値Δ１４（ｉ，ｊ）を座標（ｉ，ｊ）における視差値Δ（ｉ，ｊ）（仮視差）として選択する。
【０１０５】
なお、本実施の形態１では、視差演算部１４２は、視差信頼度（Ｃ１２、Ｃ１３、Ｃ１４）を、絶対値差分総和（式（２２）、式（２５）、式（２８））を用いて算出したが、例えば、正規化相関係数を用いて算出してもよい。この場合、視差演算部１４２は、最も値が大きい視差信頼度が最も信頼できる視差信頼度となるので、最も値が大きい視差信頼度に対応する視差値（仮視差）を選択する。
【０１０６】
【数１２】
【０１０７】
図１０のフローチャートの説明に戻る。
次に、視差補正部１４３は、視差演算部１４２が算出した視差値Δ（仮視差）の補正を行い、補正後の視差値である補正後視差値を出力する。
【０１０８】
図９に示すように、基準画像である第１の撮像信号Ｉ１において、光軸中心１１４ａに対応する位置（光軸位置）の座標（ｘｃ１，ｙｃ１）と原点の座標（ｘ０１，ｙ０１）との差は、（Ｈ１／２，Ｖ１／２）である。一方、参照画像である第２の撮像信号Ｉ２において、光軸中心１１４ｂに対応する位置（光軸位置）の座標（ｘｃ２，ｙｃ２）と原点の座標（ｘ０２，ｙ０２）との差は、（Ｈ１／２＋１，Ｖ１／２）である。すなわち、第２の撮像信号Ｉ２（参照画像）における光軸位置の座標値は、第１の撮像信号Ｉ１（基準画像）における光軸位置の座標値に比べて、ｘ方向（基準撮像系と参照撮像系の光軸中心を結ぶ直線の方向）の負の向き（基準撮像系の光軸中心へ近づく向き）に一画素だけ大きい。そのため、視差値Δ（ｉ，ｊ）（仮視差）は、本来の視差に対して一画素分だけ大きい。
【０１０９】
また、参照画像である第３の撮像信号Ｉ３において、光軸中心１１４ｃに対応する位置（光軸位置）の座標（ｘｃ３，ｙｃ３）と原点の座標（ｘ０３，ｙ０３）との差は、（Ｈ１／２，Ｖ１／２＋１）である。すなわち、第３の撮像信号Ｉ３（参照画像）における光軸位置の座標値は、第１の撮像信号Ｉ１（基準画像）における光軸位置の座標値に比べて、ｙ方向（基準撮像系と参照撮像系の光軸中心を結ぶ直線の方向）の負の向き（基準撮像系の光軸中心へ近づく向き）に一画素だけ大きい。そのため、視差値Δ（ｉ，ｊ）（仮視差）は、本来の視差に対して一画素分だけ大きい。
【０１１０】
また、参照画像である第４の撮像信号Ｉ４において、光軸中心１１４ｄに対応する位置（光軸位置）の座標（ｘｃ４，ｙｃ４）と原点の座標（ｘ０４，ｙ０４）との差は、（Ｈ１／２＋１，Ｖ１／２＋１）である。すなわち、第４の撮像信号Ｉ４（参照画像）における光軸位置の座標値は、第１の撮像信号Ｉ１（基準画像）における光軸位置の座標値に比べて、ｘ軸を−４５度回転させた方向（基準撮像系と参照撮像系の光軸中心を結ぶ直線の方向）の負の向き（基準撮像系の光軸中心へ近づく向き）に一画素だけ大きい。つまり、第４の撮像信号Ｉ４（参照画像）における光軸位置の座標値は、第１の撮像信号Ｉ１（基準画像）における光軸位置の座標値に比べて、ｘ方向の負の向きに一画素だけ、ｙ方向の負の向きに一画素だけ大きい。そのため、視差値Δ（ｉ，ｊ）（仮視差）は、本来の視差に対して、一画素分だけ大きい。
【０１１１】
ここで、所定方向に一画素大きいとは、当該所定方向の直線上に、周期的に画素の中心が現れる場合の、一周期分の距離大きいことを意味する。
【０１１２】
このように、視差演算部１４２が算出した視差値Δは、本来の視差に比べて大きくなるため、視差補正部１４３は、視差値Δ（仮視差）を補正することにより本来の視差を算出する。例えば、視差値Δ１２（ｉ，ｊ）、視差値Δ１３（ｉ，ｊ）、あるいは視差値Δ１４（ｉ，ｊ）が視差値Δ（仮視差）として選択されている場合には、下記式（３２）のように、視差補正部１４３は、座標（ｉ，ｊ）における視差値Δ（ｉ，ｊ）から一画素だけ減算することにより、座標（ｉ，ｊ）における本来の視差値である補正後視差値Δａ（ｉ，ｊ）を算出する。
【０１１３】
【数１３】
【０１１４】
次に、失敗検知部１４４は、視差補正部１４３により補正された視差値を用いて、視差演算の失敗を検知する。そして、失敗が検知された場合、失敗検知部１４４は、失敗フラッグＤＤＥの値を１としたうえで出力する。
【０１１５】
図５に示すように、被写体距離が無限遠のときに視差は最も小さな値０となるので、視差値が負数となることはない。そのため、視差補正部１４３により補正された視差値が負数となるとき、失敗検知部１４４は、視差演算が失敗したと判断する。具体的には、下記式（３３）のように、失敗検知部１４４は、座標（ｉ，ｊ）における補正後視差値Δａ（ｉ，ｊ）が０以上のとき、失敗フラッグＤＤＥを０（ＤＤＥ＝０）に設定する。一方、失敗検知部１４４は、座標（ｉ，ｊ）における補正後視差値Δａ（ｉ，ｊ）が０より小さいとき、失敗フラッグＤＤＥを１（ＤＤＥ＝１）に設定する。なお、この失敗の原因として、撮像信号へのノイズの重畳などが考えられる。
【０１１６】
【数１４】
【０１１７】
次に、距離演算部１４５は、補正後視差値Δａと失敗フラッグＤＤＥとを用いて距離の演算を行う。そして、距離演算部１４５は、演算した距離データＤＩＳを出力する（ステップＳ１２６０）。具体的には、距離演算部１４５は、式（３）へ、視差補正部１４３により算出された補正後視差値Δａ（ｉ，ｊ）などを代入することにより、距離データＤＩＳ（ｉ，ｊ）を算出する。つまり、距離演算部１４５は、下記式（３４）のように、距離データＤＩＳ（ｉ，ｊ）を算出する。
【０１１８】
なお、失敗フラッグＤＤＥ（ｉ，ｊ）が０のときは、視差が正しく求められているため、距離演算部１４５は上記演算を行う。一方、失敗フラッグＤＤＥ（ｉ，ｊ）が１のときは、視差が正しく求められていないため、距離演算部１４５は上記演算を行わない。例えば、距離演算部１４５は、距離データＤＩＳ（ｉ，ｊ）を０と設定する。
【０１１９】
式（３４）において、ｆは焦点距離、Ｄｘはｘ方向の光軸間距離、ｐは撮像素子１２３の受光素子の間隔である。また、式（３４）では、補正後視差値Δａが画素単位であるため、補正後視差値Δａにｐを乗ずることにより、補正後視差値Δａが焦点距離ｆなどと同一の単位系となるように変換されている。
【０１２０】
【数１５】
【０１２１】
次に、距離演算部１４５は、基準画像内のすべてのブロックが選択されたか否かを判定する（ステップＳ１２７０）。ここで、すべてのブロックが選択されていたとき（インデックス（ｉ，ｊ）が（Ｈ１−ＨＢ／２，Ｖ１−ＶＢ／２）であるとき）（ステップＳ１２７０のＹｅｓ）、図８のステップＳ１９１０の処理が実行される。一方、すべてのブロックが選択されていないとき（インデックス（ｉ，ｊ）が（Ｈ１−ＨＢ／２，Ｖ１−ＶＢ／２）でないとき）（ステップＳ１２７０のＮｏ）、再び、ステップＳ１２２０の処理が実行される。すなわち、ステップＳ１２２０において、インデックス（ｉ，ｊ）が（ＨＢ／２，ＶＢ／２）に初期化され、ｉをＨＢ／２からＨ１−ＨＢ／２まで、ｊをＶＢ／２からＶ１−ＶＢ／２まで変化させつつ、ステップＳ１２３０、ステップＳ１２４０、ステップＳ１２５０、及びステップＳ１２６０の動作が繰り返される。
【０１２２】
図８のフローチャートの説明に戻る。
入出力部１３４は、画像データ、距離データ、及び失敗情報データを測距装置１０１の外部に出力する（ステップＳ１９１０）。具体的には、入出力部１３４は、画像データとして、撮像信号Ｉ０或いは第１の撮像信号Ｉ１を出力する。また、入出力部１３４は、距離データとして、距離データＤＩＳを出力する。また、入出力部１３４は、失敗情報データとして、失敗フラッグＤＤＥを出力する。
【０１２３】
システム制御部１３１は、動作を終了するかどうかを判断する（ステップＳ１９２０）。例えば、システム制御部１３１は、入出力部１３４を介し、上位ＣＰＵ（図示せず）と通信することにより、動作を終了するかどうかの命令を要求する。そして、システム制御部１３１が上位ＣＰＵから終了命令を受信した場合（ステップＳ１９２０のＹｅｓ）、処理を終了する。一方、システム制御部１３１が上位ＣＰＵから終了命令を受信しない場合（ステップＳ１９２０のＮｏ）、ステップＳ１０２０の処理が実行される。すなわち、システム制御部１３１が上位ＣＰＵから終了命令を受信しない限り、ステップＳ１０２０、ステップＳ１１００、ステップＳ１１５０、ステップＳ１２００、及びステップＳ１９１０の処理が繰り返される。
【０１２４】
実施の形態１に係る測距装置１０１は、以上のように構成されて動作することにより、以下の効果を奏する。
【０１２５】
まず、図１４（ａ）〜（ｄ）を用いて、実施の形態１に係る測距装置１０１の効果を説明する。図１４（ａ）〜（ｄ）は、実施の形態１に係る測距装置１０１による効果を説明するための図である。
【０１２６】
図１４（ａ）及び図１４（ｂ）に示すように、基準画像である第１の撮像信号Ｉ１と参照画像である第２の撮像信号Ｉ２との視差が微小である場合に、一般的な測距装置は、基準ブロックと同一の位置（各光軸位置から同一の距離及び方向の位置）から選択する参照ブロックをずらしていくので、ずらし量の最小値（０）で視差評価値Ｒ１２（ｋｘ）が最小となる。そのため、一般的な測距装置は、視差が微小である場合（視差評価値の最小となるずらし量が０である場合）、最小となる視差評価値のずらし量より小さなずらし量における視差評価値を利用した補間関数により、視差の分解能及び精度を高めることができない。
【０１２７】
これに対し、図１４（ｄ）の点線の垂直軸で示すように、従来の測距装置（例えば、特許文献１の撮像装置）は、負数のずらし量まで視差評価値Ｒ１２（ｋｘ）を演算することにより、補間関数を用いて視差の分解能及び精度を高めることができる。しかし、従来の測距装置は、ずらし量を負数とする必要があるため、視差演算を実行するための回路の規模が大きくなる。
【０１２８】
そこで、図１４（ｄ）の実線の垂直軸で示すように、本実施の形態１に係る測距装置１０１は、基準ブロックより一画素小さな位置から選択する参照ブロックをずらしていく。その結果、本実施の形態１に係る測距装置１０１は、ずらし量が常に正数となるので、微小な視差における視差の分解能及び精度を高めるとともに、視差演算のための回路規模の増大を抑制することが可能となる。
【０１２９】
さらに、本実施の形態１に係る測距装置１０１は、基線方向のうち基準撮像系が有するレンズであるレンズ部１１３ａの光軸中心１１４ａに近づく向きへ、参照画像の光軸位置から一画素移動した位置と、基準画像の光軸位置とが同一の座標となるように、ｘｙ座標を設定する。したがって、測距装置１０１は、基準ブロックの座標値と同一の座標値から参照ブロックをずらしながら、視差評価値Ｒ１２（ｋｘ）を演算するだけで、ずらし量を常に正数とすることが可能となる。そして、測距装置１０１は、一般的な測距装置による視差演算と同様の視差演算を行った後に、得られた視差（仮視差）から一画素減算するだけで、微小な視差における視差の分解能及び精度を高めることが可能となる。すなわち、測距装置１０１は、一般的な測距装置の視差演算をほとんどそのまま流用することができるので、視差演算のための回路規模の増大を抑制することが可能となる。
【０１３０】
また、図１４（ｃ）に示すように、本実施の形態１に係る測距装置１０１では、参照画像は、基準画像と比べて、レンズ部１１３ａの光軸中心１１４ａに近づく向きへ一画素大きい。したがって、測距装置１０１では、基準画像のすべての画素に対して、同一の位置（各光軸位置から同一の距離及び方向の位置）より、基線方向のうちレンズ部１１３ａの光軸中心１１４ａに近づく向きへ一画素移動した位置の参照画像が存在する。したがって、測距装置１０１は、参照ブロックを選択する際に、参照ブロックが選択可能か否かを確認する必要がないため、視差演算を簡易にすることができ、視差演算のための回路規模の増大を抑制することが可能となる。また、測距装置１０１は、基準画像の全領域について、視差を高精度に算出することも可能となる。また、測距装置１０１は、参照画像を一画素だけ大きくするだけでよいので、視差演算において使用する記憶領域などの増大による回路規模の増大を抑えることができる。
【０１３１】
なお、本実施の形態１に係る測距装置１０１は、上述のように視差演算が簡易になることから、視差演算の速度を向上させるという効果も期待できる。
【０１３２】
以下に、上述の効果をさらに具体的に説明する。
一般的な撮像装置は、図１４（ａ）及び図１４（ｂ）に示すように、基準画像である第１の撮像信号Ｉ１及び参照画像である第２の撮像信号Ｉ２において、光軸位置からｘ方向（基線方向）の負の向き（レンズ部１１３ａの光軸中心１１４ａに近づく向き）の画素数が同一のとき、視差評価値Ｒ１２（ｋｘ）（ＳＡＤ）を最小とするずらし量Δとその前後のずらし量（ずらし量Δ−１、ずらし量Δ＋１）とにおける視差評価値Ｒ１２（Δ−１）、Ｒ１２（Δ）、及びＲ１２（Δ＋１）を用いて、分解能が一画素未満の視差Δ１２（ｉ，ｊ）を求める。そして、一般的な撮像装置は、式（３２）のような視差の補正を行わず、この視差Δ１２（ｉ，ｊ）に基づき距離演算する。そのため、図１４（ａ）及び図１４（ｂ）に示すように、一般的な撮像装置は、左端のブロック（図１１において、インデックスが（ＨＢ／２，０）、（ＨＢ／２，１）、・・・、（ＨＢ／２，ＶＢ／２）で示されるブロック）において、視差が０付近で視差評価値Ｒ１２（ｋｘ）（ＳＡＤ）を最小とするずらし量Δが０のとき、ずらし量Δ−１の視差評価値Ｒ１２（Δ−１）を演算することができない（ずらし量−１の視差評価値Ｒ１２（−１）を演算することができない）。そのため、一般的な撮像装置は、基準画像の左端のブロックでは、式（２３）を用いて一画素未満の分解能の視差を求めることができない。
【０１３３】
一方、実施の形態１に係る測距装置１０１では、図１４（ｃ）に示すように、基準画像である第１の撮像信号Ｉ１と比較して、参照画像である第２の撮像信号Ｉ２は、光軸中心からｘ方向（基線方向）の負の向き（レンズ部１１３ａの光軸中心１１４ａに近づく向き）に一画素だけ大きい画素数を持つ。そして、測距装置１０１は、式（２３）のように、視差評価値Ｒ１２（ｋｘ）（ＳＡＤ）を最小とするずらし量Δとその前後のずらし量（ずらし量Δ−１及びずらし量Δ＋１）とにおける視差評価値Ｒ１２（Δ−１）、Ｒ１２（Δ）、及びＲ１２（Δ＋１）を用いて、分解能が一画素未満の視差Δ１２（ｉ，ｊ）（仮視差）を求める。そして、測距装置１０１は、式（３２）のように、求めた視差Δ１２（ｉ，ｊ）（仮視差）から一画素を減算することにより、視差Δ１２ａ（ｉ，ｊ）を求める。そして、測距装置１０１は、このようにして求めた視差Δ１２ａ（ｉ，ｊ）に基づき距離演算する。そのため、測距装置１０１は、図１４（ｃ）及び図１４（ｄ）に示すように、左端のブロック（図１１において、インデックスが（ＨＢ／２，０）、（ＨＢ／２，１）、・・・、（ＨＢ／２，ＶＢ／２）で示されるブロック）において、視差が０付近で視差評価値Ｒ１２（ｋｘ）（ＳＡＤ）を最小とするずらし量Δが１のとき、ずらし量Δ−１の視差評価値Ｒ１２（Δ−１）を演算する（ずらし量０の視差評価値Ｒ１２（０）を演算する）ことができる。それゆえ、測距装置１０１は、視差値Δ（ｉ，ｊ）を求めることができ、視差を１だけ減算する補正を行い視差値Δａ（ｉ，ｊ）を求める。そして、このようにして求めた視差値Δａ（ｉ，ｊ）は０付近である。すなわち、測距装置１０１は、基準画像の左端のブロック（図１１において、インデックスが（ＨＢ／２，０）、（ＨＢ／２，１）、・・・、（ＨＢ／２，ＶＢ／２）で示されるブロック）においても、視差０付近で一画素未満の高分解能な視差を求めることができる。それゆえ、測距装置１０１は、遠方での高精度な測距を実現する。すなわち、測距装置１０１は、広い画像領域で、遠方での高精度な測距を実現する。
【０１３４】
また、実施の形態１に係る測距装置１０１において、０以上のずらし量のみが必要であり、負のずらし量が不要となる。そのため、測距装置１０１は、式（２２）の参照画像の座標の計算において、負数を考慮する必要がなく、符号ビットを省略できる。つまり、測距装置１０１は、その省略可能な符号ビットの分だけ回路規模或いは処理時間を縮小できるので、低コストであり、かつ、遠方を高精度に測距することができる測距装置を実現する。
【０１３５】
また、ずらし量に負数を導入すると、測距装置は、ずらし量が負数のとき、この負数に対応した参照画像があるかどうかを逐次検証する必要がある。その結果、その検証に要するロジックの分だけ回路規模或いは処理時間が増大する。実施の形態１に係る測距装置１０１は、ずらし量を０以上に限定するため、上記の検証が不要となり、その分だけ回路規模或いは処理時間を縮小でき、低コストに遠方を高精度に測距できる測距装置を実現する。
【０１３６】
また、実施の形態１に係る測距装置１０１では、図９に示すように、基準画像である第１の撮像信号Ｉ１と比較し、参照画像である第２の撮像信号Ｉ２は、光軸位置からｘ方向（基線方向）の負の向き（光軸中心１１４ａに近づく向き）に一画素だけ大きい画素数を持つ。また、測距装置１０１では、第２の撮像信号Ｉ２は、光軸位置からｘ方向（光軸方向）の正の向き（光軸中心１１４ａから遠ざかる向き）にＳＢ画素だけ大きい画素数を持つ。すなわち、測距装置１０１は、基準画像の左端のブロック（図１１において、インデックスが（ＨＢ／２，０）、（ＨＢ／２，１）、・・・、（ＨＢ／２，ＶＢ／２）で示されるブロック）、及び基準画像の右端のブロック（図１１において、インデックスが（Ｈ１−ＨＢ／２，０）、（Ｈ１−ＨＢ／２，１）、・・・、（Ｈ１−ＨＢ／２，ＶＢ／２）で示されるブロック）においても、視差評価値Ｒ１２（ｋｘ）（ＳＡＤ）を演算することができる。仮に、ずらし量を−１或いはＳＢ＋２とすると、測距装置は参照画像にない座標を参照するため、視差評価値Ｒ１２（ｋｘ）を演算できない。実施の形態１に係る測距装置１０１は、参照画像である第２の撮像信号Ｉ２用に、必要最小限の画素数を持ち、必要最小限の記憶容量のみを持つため、低コストであり、かつ、遠方を高精度に測距できる測距装置を実現する。また、ずらし量に対応した参照画像があるかどうかを逐次検証する必要ない。そのため、その分だけ回路規模或いは処理時間を縮小でき、低コストに遠方を高精度に測距できる測距装置を実現する。
【０１３７】
なお、本発明は、本実施の形態１の測距装置１０１が備える、距離演算部１４５以外の構成部を備える撮像装置として実現することもできる。さらに、本発明は、このような撮像装置を備える、三次元位置測定装置或いは画像合成装置として実現することもできる。
【０１３８】
（実施の形態２）
次に、本発明の実施の形態２に係る撮像システムについて説明する。本発明の実施の形態２に係る撮像システムは、本発明の実施の形態１に係る測距装置１０１を利用したものである。以下、本発明の実施の形態２に係る撮像システムについて、図面を参照しながら説明する。
【０１３９】
図１５は、本発明の実施の形態２に係る撮像システム２０２の構成を示すブロック図である。本発明の実施の形態２に係る撮像システム２０２は、測距装置１０１、撮像システム制御部２０３、及び画像認識部２０４を有する。
【０１４０】
撮像システム制御部２０３は、ＣＰＵなどから構成され、撮像システム２０２の全体を制御する。
【０１４１】
測距装置１０１は、本発明の実施の形態１に記述された測距装置であり、撮像システム制御部２０３の命令によって制御され、画像データＩ１（ここでは第１の撮像信号Ｉ１とする）、距離データＤＩＳ、及び失敗情報データＤＤＥを出力する。
【０１４２】
画像認識部２０４は、ＣＰＵなどから構成される。画像認識部２０４は、失敗情報データＤＤＥに基づき、画像データＩ１と失敗でない箇所の距離データＤＩＳとを利用して各種画像認識を行う。例えば、画像認識部２０４は、顔面を撮影したとき、画像データＩ１と距離データＤＩＳとを用いて顔向きを判断するにあたり、失敗箇所の距離データは無視する。
【０１４３】
このように、本発明の実施の形態２に係る撮像システムによれば、実施の形態１と同様に、広い画像領域で、遠方での高精度な測距を実現する。
【０１４４】
また、本発明の実施の形態２に係る撮像システムによれば、失敗情報データＤＤＥに基づき、画像データＩ１と失敗でない箇所の距離データＤＩＳとを利用して各種画像認識を行うことにより、認識精度を向上できる。
【０１４５】
以上、本発明に係る測距装置について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したもの、異なる実施の形態における構成要素を組み合わせて構築される形態なども、本発明の範囲内に含まれる。
【０１４６】
例えば、実施の形態１に係る測距装置１０１は、式（２２）、式（２５）、及び式（２８）のように視差評価値としてＳＡＤを用いたが、本発明に係る測距装置は、式（２２）を下記式（３５）のように変形した、二乗和（ＳＳＤ：Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅｓ）を用いてもよい。なお、本発明に係る測距装置は、式（２５）、式（２８）の演算においても、同様に二乗和を用いてもよい。
【０１４７】
【数１６】
【０１４８】
また、実施の形態１に係る測距装置１０１は、式（２３）、式（２６）、式（２９）のように、等角フィッティングの補間式を利用することにより一画素未満の分解能の視差を求めたが、本発明に係る測距装置は、式（２３）を下記式（３６）のように変形した、パラボラフィッティングの補間式を用いて一画素未満の分解能の視差を求めてもよい。なお、本発明に係る測距装置は、式（２６）、式（２９）の演算においても、同様にパラボラフィッティングの補間式を用いてもよい。
【０１４９】
【数１７】
【０１５０】
また、実施の形態１の係る測距装置１０１において、式（２２）、式（２５）、式（２８）のように都度ブロック内の総和を演算したが、本発明に係る測距装置は、式（２２）を下記式（３７）のように変形し、再帰的に演算してもよい。なお、本発明に係る測距装置は、式（２５）、式（２８）の演算においても、同様に再帰的に演算してもよい。
【０１５１】
【数１８】
【０１５２】
また、実施の形態１に係る測距装置１０１が備えるレンズアレイ１１３において、各レンズ部間の距離であるＤｘとＤｙは等しい。しかしながら、本発明に係る測距装置はこのようなレンズアレイを備える測距装置に限定されるわけではない。つまり、本発明に係る測距装置は、ＤｘとＤｙとが異なっていてもよい。この場合、測距装置は、ＤｘとＤｙとが異なることによる処理の変更が必要となる。例えば、測距装置は、中心が第４のレンズ部１１３ｄの光軸中心１１４ｄに対応する位置（光軸位置）の座標（ｘｃ４，ｙｃ４）となり、かつ、大きさがｘ方向の画素数がＨ１画素、ｙ方向の画素数がＶ１画素となる領域より、ｘ方向の負の向きに一画素だけ、正の向きにＳＢ画素だけ、ｙ方向の負の向きにＤｙ／Ｄｘ画素だけ、正の向きにＳＢ＊Ｄｙ／Ｄｘ画素だけ大きい領域となるように、第４の撮像信号Ｉ４を撮像信号Ｉ０から切り出す。すなわち、測距装置は、下記式（３８）及び式（３９）のように、切り出した第４の撮像信号Ｉ４に対して原点の座標が座標（ｘ０４，ｙ０４）となるようにｘｙ座標を設定する。その結果、測距装置において、第４の撮像信号Ｉ４の大きさは、下記式（４０）及び式（４１）のように、ｘ方向の画素数がＨ４と、ｙ方向の画素数Ｖ４となる。なお、測距装置は、式（４１）において、Ｖ４を整数にするために、適宜切り上げなどの処理を行ってもよい。また、測距装置は、下記式（４２）のように、ずらす方向を第１のレンズ部１１３ａの光軸中心１１４ａと第４のレンズ部１１３ｄの光軸中心１１４ｄとを結ぶ直線に一致させる。ここで、測距装置は、座標が小数点となる箇所のブロックについて、適宜、線形補間を用いて画像（例えば、輝度値）を求める。また、測距装置は、視差信頼度Ｃ１３（ｉ，ｊ）が最も小さいとき、ｘ方向の視差に合わせるために、下記式（４３）のように、視差Δ１３（ｉ，ｊ）にＤｘ／Ｄｙを乗じ、下記式（４４）のように、視差Δ（ｉ，ｊ）にＤｙ／Ｄｘを乗じる。
【０１５３】
【数１９】
【０１５４】
また、実施の形態１に係る測距装置１０１において、レンズアレイ１１３は略円形に成型されているが、本発明に係る測距装置は、このようなレンズアレイを備える測距装置に限定されない。図１６Ａ及び図１６Ｂは、実施の形態１の変形例に係る測距装置のレンズアレイの構成を示す平面図である。図１６Ａに示すレンズアレイ３０１のように、本発明に係る測距装置が備えるレンズアレイは長方形状に成型されてもよい。さらに、図１６Ｂに示すレンズアレイ３０２のように、本発明に係る測距装置が備えるレンズアレイは、その端面等に平面方向に伸びる突起等が設けられていてもよい。このように、レンズアレイが略円形でなくても、レンズ部はほぼ等方に膨張するため、変形例に係る測距装置は、実施の形態１の測距装置１０１と同様の効果を得ることができる。
【０１５５】
また、実施の形態１に係る測距装置１０１において、レンズアレイ１１３は４つのレンズ部を有していたが、本発明に係る測距装置は、このようなレンズアレイを備える測距装置に限定されない。本発明に係る測距装置において、レンズアレイが有するレンズ部の数が異なっていてもよい。図１７Ａ及び図１７Ｂは、実施の形態１の変形例に係る測距装置のレンズアレイの構成を示す平面図である。図１７Ａに示すレンズアレイ３０３のように、本発明に係る測距装置は、２つのレンズ部を持つものでもよい。また、図１７Ｂに示すレンズアレイ３０４のように、本発明に係る測距装置は、９つのレンズ部を持つものでもよい。
【０１５６】
さらに、本発明は、このような撮像装置或いは測距装置の特徴的な構成部が行う処理を実行する視差算出方法及び測距方法として実現したり、それらの方法をコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。
【産業上の利用可能性】
【０１５７】
本発明に係る撮像装置及び測距装置は、微小な視差を高精度に算出するとともに、回路規模の増大を抑制した小型の撮像装置及び測距装置であるため、カメラ機能を備えた携帯型電話機、デジタルスチルカメラ、車載用カメラ、監視用カメラ、三次元計測器、及び立体画像入力カメラ等に有用である。
【図面の簡単な説明】
【０１５８】
【図１】本発明の実施の形態１に係る測距装置の構成を示す断面図である。
【図２】本発明の実施の形態１に係る測距装置のレンズアレイの構成を示す平面図である。
【図３】本発明の実施の形態１に係る測距装置の回路部の構成を示す平面図である。
【図４】本発明の実施の形態１に係る測距装置の撮像素子の構成を示す平面図である。
【図５】本発明の実施の形態１に係る測距装置において、無限遠にある物体を撮像したときの物体像の視差を説明するための図である。
【図６】本発明の実施の形態１に係る測距装置において、有限距離の位置にある物体を撮像したときの物体像の視差を説明するための図である。
【図７】本発明の実施の形態１に係る測距装置の構成を示すブロック図である。
【図８】本発明の実施の形態１に係る測距装置の動作を示すフローチャートである。
【図９】本発明の実施の形態１に係る測距装置の撮像信号の切り出し位置を説明するための図である。
【図１０】本発明の実施の形態１に係る測距装置の距離演算の動作を示すフローチャートである。
【図１１】本発明の実施の形態１に係る測距装置において、ブロックを説明するための図である。
【図１２】本発明の実施の形態１に係る測距装置において、第１の撮像信号と第２の撮像信号を利用したときの視差演算における視差評価値の演算領域を説明するための図である。
【図１３】本発明の実施の形態１に係る測距装置の第１の撮像信号と第２の撮像信号を利用したときの視差演算におけるずらし量と視差評価値との関係を説明するための図である。
【図１４】（ａ）〜（ｄ）実施の形態１に係る測距装置による効果を説明するための図である。
【図１５】本発明の実施の形態２に係る撮像システムの構成を示すブロック図である。
【図１６Ａ】実施の形態１の変形例に係る測距装置のレンズアレイの構成を示す平面図である。
【図１６Ｂ】実施の形態１の変形例に係る測距装置のレンズアレイの構成を示す平面図である。
【図１７Ａ】実施の形態１の変形例に係る測距装置のレンズアレイの構成を示す平面図である。
【図１７Ｂ】実施の形態１の変形例に係る測距装置のレンズアレイの構成を示す平面図である。
【符号の説明】
【０１５９】
１０１ 測距装置
１１０ レンズモジュール部
１１１ 鏡筒
１１２ カバーガラス
１１３ レンズアレイ
１２０ 回路部
１２１ 基板
１２２ パッケージ
１２３ 撮像素子
１２４ パッケージカバーガラス
１２５ ＳＬＳＩ
１２７ 金線
１３１ システム制御部
１３２ 撮像素子駆動部
１３３ 撮像信号入力部
１３４ 入出力部
１４１ 画像切出部
１４２ 視差演算部
１４３ 視差補正部
１４４ 失敗検知部
１４５ 距離演算部
２０２ 撮像システム
２０３ 撮像システム制御部
２０４ 画像認識部
【技術分野】
【０００１】
本発明は、複数の撮像系を有し、当該撮像系間において生じる視差を算出する撮像装置及び視差算出方法、並びに、算出された視差から被写体までの距離を測定する測距装置に関し、特に微小な視差を高精度に算出することができる撮像装置、視差算出方法、測距装置に関する。
【背景技術】
【０００２】
複数の視点間の視差の計測が可能な従来の撮像装置として、特許文献１の撮像装置がある。特許文献１の撮像装置は、複数の視点の画像情報を用いて、視点間の視差を計測する。特許文献１の撮像装置は、１つの視点の画像情報を基準画像として扱い、他の視点の画像情報を参照画像として扱う。そして、特許文献１の撮像装置は、基準画像に対する参照画像の画像特徴の類似度を求める。そして、特許文献１の撮像装置は、この類似度を最小とするずらし量ｄの類似度ｈ（ｄ）と、前後のずらし量（ｄ−１及びｄ＋１）の類似度（ｈ（ｄ−１）及びｈ（ｄ＋１））とを利用して、下記式（１）のように、一画素より細かい分解能で視差ｄ’を求める。
【０００３】
【数１】
【０００４】
ここで、０以上のずらし量の類似度のみを演算する一般的な撮像装置は、類似度が最小となるずらし量が０の場合、最小の類似度を与えるずらし量の前のずらし量ｄ−１での類似度ｈ（−１）を求めることができない。そのため、一般的な撮像装置は、式（１）の演算を実施できないため、一画素より細かい分解能で視差ｄ’を求めることができない。
【０００５】
そこで、特許文献１の撮像装置は、ずらし量を−１から予め設定された正値まで変化させ、変化させたずらし量のそれぞれにおける類似度を求める。これにより、特許文献１の撮像装置は、類似度を最小とするずらし量ｄが０の場合でも、最小の類似度を与えるずらし量の前のずらし量ｄ−１での類似度ｈ（−１）を求めることができる。そのため、特許文献１の撮像装置は、式（１）を用いて一画素より細かい分解能で視差ｄ’を求めることができる。すなわち、特許文献１の撮像装置は、視差が０付近であっても細かい分解能で視差ｄ’を求めることができる。
【特許文献１】特開２００３−３４６１３０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に記載された従来の撮像装置は、負数（−１）のずらし量を用いて視差演算をする必要があるため、演算が複雑になるとともに、演算を実現するための回路規模が大きくなるという問題があった。
【０００７】
そこで、本発明は、上記問題に鑑みなされたもので、微小な視差を高精度で算出するとともに、視差演算のための回路規模の増大を抑制することができる撮像装置などを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明に係る撮像装置は、レンズと前記レンズに対応する撮像領域とを有する、基準撮像系と一つ以上の参照撮像系とを備え、同一の被写体を撮像したときの前記基準撮像系と前記参照撮像系との間に生じる視差を算出する撮像装置であって、前記基準撮像系及び前記参照撮像系により生成された基準画像及び参照画像において、前記基準撮像系及び前記参照撮像系がそれぞれ有する前記レンズの光軸中心に対応する位置である光軸位置をそれぞれ取得する光軸位置取得手段と、前記基準撮像系及び前記参照撮像系がそれぞれ有する前記レンズの光軸中心を互いに結ぶ直線の方向である基線方向のうち前記基準撮像系が有するレンズの光軸中心に近づく向きへ前記参照画像の光軸位置から所定画素数移動した位置と、前記基準画像の光軸位置とが、同一の座標値となるように前記基準画像及び前記参照画像の平面座標を設定する座標設定手段と、前記座標設定手段により設定された座標に基づいて、前記基準画像の一部領域と前記参照画像の一部領域との画像の類似度合いを表す評価値を算出し、算出された評価値から仮視差を算出する仮視差演算手段と、前記仮視差演算手段により算出された仮視差から前記所定画素数を減算することにより、前記基準撮像系と前記参照撮像系との間に生じる視差を算出する視差算出手段とを備えることを特徴とする。具体的には、前記仮視差演算手段は、前記基準画像の一部の領域である基準ブロックを選択する基準ブロック選択手段と、前記基準ブロックを示す座標値と同一の座標値で示される前記参照画像の一部の領域から、前記基線方向のうち前記基準撮像系の有するレンズの光軸中心から遠ざかる方へ、所定のずらし量ごとにずらしていった領域を参照ブロックとして選択し、選択した参照ブロックごとに前記基準ブロックとの前記評価値を算出する評価値算出手段と、算出された前記評価値のうち複数の評価値に基づく補間式を用いて、類似度合いが最大となるずらし量を前記仮視差として算出する仮視差算出手段とを有することを特徴とする。
【０００９】
これにより、負数のずらし量を用いることなく微小な視差を高精度に算出できるので、微小な視差を高精度に算出するとともに、視差演算のための回路規模の増大を抑制することが可能となる。
【００１０】
また、前記座標設定手段は、前記基線方向のうち前記基準撮像系が有するレンズの光軸中心に近づく向きへ、前記参照画像の光軸位置から一画素移動した位置と、前記基準画像の光軸位置とが、同一の座標値となるように、前記平面座標を設定することが好ましい。
【００１１】
これにより、参照画像を一画素だけ大きくするだけでよいので、視差演算において使用する記憶領域などの増大による回路規模の増大を抑制することが可能となる。
【００１２】
また、前記参照画像は、前記基準画像と比べて、前記基線方向のうち前記基準撮像系の有するレンズの光軸中心に近づく向きへ、前記所定画素数だけ大きな画像であることが好ましい。
【００１３】
これにより、参照ブロックを選択する際に、参照ブロックが選択可能か否かを確認する必要がないため、視差演算を簡易にすることができ、視差演算のための回路規模の増大を抑制することが可能となる。
【００１４】
また、本発明に係る測距装置は、レンズと前記レンズに対応する撮像領域とを有する、基準撮像系と一つ以上の参照撮像系とを備え、同一の被写体を撮像したときの前記基準撮像系と前記参照撮像系との間に生じる視差に基づいて、前記被写体までの距離を算出する測距装置であって、前記基準撮像系及び前記参照撮像系により生成された基準画像及び参照画像において、前記基準撮像系及び前記参照撮像系がそれぞれ有する前記レンズの光軸中心に対応する位置である光軸位置をそれぞれ取得する光軸位置取得手段と、前記基準撮像系及び前記参照撮像系がそれぞれ有する前記レンズの光軸中心を互いに結ぶ直線の方向である基線方向のうち前記基準撮像系が有するレンズの光軸中心に近づく向きへ前記参照画像の光軸位置から所定画素数移動した位置と、前記基準画像の光軸位置とが、同一の座標値となるように前記基準画像及び前記参照画像の平面座標を設定する座標設定手段と、前記座標設定手段により設定された座標に基づいて、前記基準画像の一部領域と前記参照画像の一部領域との画像の類似度合いを表す評価値を算出し、算出された評価値から仮視差を算出する仮視差演算手段と、前記仮視差演算手段により算出された仮視差から前記所定画素数を減算することにより、前記基準撮像系と前記参照撮像系との間に生じる視差を算出する視差算出手段と、前記視差算出手段により算出された視差を用いて、前記被写体までの距離を算出する距離算出手段とを備えることを特徴とする。
【００１５】
これにより、微小な視差の算出精度の向上に伴う遠方の距離の高精度化を実現するとともに、距離演算のための回路規模の増大を抑制することができる。
【００１６】
なお、本発明は、このような撮像装置として実現することができるだけでなく、このような撮像装置が備える特徴的な手段をステップとする視差算出方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができる。
【発明の効果】
【００１７】
本発明によれば、２つ以上撮像系を備え、同一の被写体を撮像したときの各撮像系間に生じる視差を算出する撮像装置などにおいて、負数のずらし量を用いた視差演算が不要となるので、微小な視差の算出を高精度で行うとともに、視差演算のための回路規模の増大を抑制することが可能となる。
【発明を実施するための最良の形態】
【００１８】
以下、本発明の好ましい実施の形態を、図面を参照しながら説明する。
【００１９】
（実施の形態１）
図１は、本発明の実施の形態１に係る測距装置１０１の構成を示す断面図である。図１に示すように、測距装置１０１は、回路部１２０と、その回路部１２０の上方に設けられたレンズモジュール部１１０とを備えている。
【００２０】
レンズモジュール部１１０は、円筒状の鏡筒１１１と、その鏡筒１１１の開口を覆う上部カバーガラス１１２と、その上部カバーガラス１１２の下方であって鏡筒１１１の内部に設けられたレンズアレイ１１３とを有している。また、回路部１２０は、基板１２１と、その基板１２１上に設けられたパッケージ１２２と、撮像素子１２３と、パッケージカバーガラス１２４と、半導体回路素子であるシステムＬＳＩ（以下、ＳＬＳＩと記す）１２５とを有している。
【００２１】
鏡筒１１１は、上述のとおり円筒状であって、その内壁面は光の乱反射を防止するためにつやが消された黒で着色されている。また、鏡筒１１１は、樹脂を射出成形することにより形成される。
【００２２】
上部カバーガラス１１２は、円盤状であり、光学ガラス材或いは透明樹脂などから形成され、鏡筒１１１の上部の内壁に接着剤などを用いて固着される。また、上部カバーガラス１１２の表面には、摩擦などによる損傷を防止するための保護膜と、入射光の反射を防止するための反射防止膜とが設けられている。
【００２３】
図２は、本発明の実施の形態１に係る測距装置１０１のレンズアレイ１１３の構成を示す平面図である。図２に示すように、レンズアレイ１１３は、略円盤状であり、光学ガラス材、透明樹脂などから形成される。また、レンズアレイ１１３には、円形の第１のレンズ部１１３ａ、第２のレンズ部１１３ｂ、第３のレンズ部１１３ｃ、及び第４のレンズ部１１３ｄが、２行２列の碁盤目状に配設されている。
【００２４】
ここで、第１〜第４のレンズ部１１３ａ〜１１３ｄの配列方向に沿って、図２に示すようにｘ軸及びｙ軸を設定する。第１のレンズ部１１３ａ、第２のレンズ部１１３ｂ、第３のレンズ部１１３ｃ、及び第４のレンズ部１１３ｄにおいて、被写体側から入射した光は、撮像素子１２３側へ射出され、撮像素子１２３上に４つの像が結像される。
【００２５】
また、図２に示すように、各レンズ部は、レンズ中心である、光軸中心１１４ａ、光軸中心１１４ｂ、光軸中心１１４ｃ及び光軸中心１１４ｄを有する。そして、光軸中心１１４ａと、光軸中心１１４ｂ、光軸中心１１４ｃ及び光軸中心１１４ｄとをそれぞれ結ぶ直線の方向を各レンズ間における基線方向という。
【００２６】
なお、図２に示すように、第１のレンズ部１１３ａの光軸中心１１４ａ及び第２のレンズ部１１３ｂの光軸中心１１４ｂは、ｘ軸方向ではＤｘだけ離れており、かつ、ｙ軸方向では一致する。第１のレンズ部１１３ａの光軸中心１１４ａ及び第３のレンズ部１１３ｃの光軸中心１１４ｃは、ｘ軸方向では一致しており、かつ、ｙ軸方向ではＤｙだけ離れている。第３のレンズ部１１３ｃの光軸中心１１４ｃ及び第４のレンズ部１１３ｄの光軸中心１１４ｄは、ｘ軸方向ではＤｘだけ離れており、かつ、ｙ軸方向は一致する。第４のレンズ部１１３ｄの光軸中心１１４ｄ及び第１のレンズ部１１３ａの光軸中心１１４ａは、ｘ軸方向ではＤｘだけ離れており、かつ、ｙ軸方向ではＤｙだけ離れている。以下、実施の形態１の係る測距装置１０１において、ＤｘとＤｙとは等しいものとする。
【００２７】
図１に示す測距装置１０１の各構成部の説明に戻る。
基板１２１は、樹脂基板から構成され、上面に鏡筒１１１がその底面を接して接着剤などを用いて固着される。このようにして、測距装置１０１では、レンズモジュール部１１０と回路部１２０とが固定される。
【００２８】
パッケージ１２２は、金属端子部を有する樹脂からなり、鏡筒１１１の内側において、基板１２１の上面にその金属端子部が半田づけ等されて固着される。
【００２９】
撮像素子１２３は、ＣＣＤセンサ或いはＣＭＯＳセンサのような固体撮像素子であり、その受光面が第１のレンズ部１１３ａ、第２のレンズ部１１３ｂ、第３のレンズ部１１３ｃ、及び第４のレンズ部１１３ｄの光軸と略垂直になるようにして配置される。撮像素子１２３の各端子は、パッケージ１２２の内側の底部の金属端子にワイヤーボンディングにより金線１２７で接続され、基板１２１を介して、ＳＬＳＩ１２５と電気的に接続される。撮像素子１２３の受光面に、第１のレンズ部１１３ａ、第２のレンズ部１１３ｂ、第３のレンズ部１１３ｃ、及び第４のレンズ部１１３ｄから射出された光がそれぞれ結像し、その光の情報がフォトダイオードにより電気信号へ変換される。そして、その電気信号がＳＬＳＩ１２５に転送される。
【００３０】
図３は、本発明の実施の形態１に係る測距装置１０１の回路部１２０の構成を示す平面図である。パッケージカバーガラス１２４は、平板状であり、透明樹脂により形成され、パッケージ１２２の上面に接着などにより固着される。なお、図３においては、便宜上、パッケージカバーガラス１２４を透して見える撮像素子１２３などの記載は省略する。
【００３１】
ＳＬＳＩ１２５は、後述の方法により、撮像素子１２３から入力された電気信号を用いて、各種演算を行う。また、ＳＬＳＩ１２５は、上位ＣＰＵと通信を行い、外部に画像情報、距離情報などを出力する。なお、ＳＬＳＩ１２５は、電源（例えば３．３Ｖ）とグランド（例えば、０Ｖ）とに接続される。
【００３２】
図４は、本発明の実施の形態１に係る測距装置１０１の撮像素子の構成を示す平面図である。図４に示すように、撮像素子１２３は、第１の撮像領域１２３ａ、第２の撮像領域１２３ｂ、第３の撮像領域１２３ｃ、及び第４の撮像領域１２３ｄを含んで構成されている。これらの第１〜第４の撮像領域１２３ａ〜１２３ｄは、それぞれの受光面が、第１〜第４のレンズ部１１３ａ〜１１３ｄの光軸と略垂直になるようにして２行２列で配置される。これらの第１〜第４の撮像領域１２３ａ〜１２３ｄにて撮像信号が生成される。
【００３３】
なお、本実施の形態１においては、第１のレンズ部１１３ａ及び第１の撮像領域１２３ａが基準撮像系である。また、第２のレンズ部１１３ｂ及び第２の撮像領域１２３ｂ、第３のレンズ部１１３ｃ及び第３の撮像領域１２３ｃ、並びに第４のレンズ部１１３ｄ及び第４の撮像領域１２３ｄが参照撮像系である。
【００３４】
次に、被写体距離と視差との関係を説明する。本発明の実施の形態１に係る測距装置１０１は、４つのレンズ部（第１のレンズ部１１３ａ、第２のレンズ部１１３ｂ、第３のレンズ部１１３ｃ、及び第４のレンズ部１１３ｄ）を有するため、４つのレンズ部がそれぞれ形成する４つの物体像の相対的位置が、被写体距離に応じて変化する。
【００３５】
図５は、本発明の実施の形態１に係る測距装置１０１において、無限遠にある物体を撮像したときの物体像の位置を説明するための図である。図５においては、簡単のため、レンズアレイ１１３において、第１のレンズ部１１３ａ、及び第２のレンズ部１１３ｂのみを記す。無限遠にある物体１０からの光の第１のレンズ部１１３ａへの代表的な入射光Ｌ１と、無限遠にある物体１０からの光の第２のレンズ部１１３ｂへの代表的な入射光Ｌ２とは平行である（ここで、図５において、物体１０は２つ描画されているが、単一の物体である。無限遠の物体１０を有限な紙面上に描画できない。そのため、図５において、入射光Ｌ１と入射光Ｌ２とが平行であることを明示するために、２つの位置の無限遠にある物体１０を描画している）。このため、第１のレンズ部１１３ａの光軸中心１１４ａと第２のレンズ部１１３ｂの光軸中心１１４ｂとの間の距離と、撮像素子１２３上の物体像１１ａが結像される位置と物体像１１ｂが結像される位置との間の距離とは等しい。すなわち、視差はない。
【００３６】
図６は、本発明の実施の形態１に係る測距装置１０１において、有限距離の位置にある物体を撮像したときの物体像の位置を説明するための図である。図６において、簡単のため、レンズアレイ１１３において、第１のレンズ部１１３ａ、及び第２のレンズ部１１３ｂのみを記す。有限距離の位置にある物体１２からの光の第１のレンズ部１１３ａへの代表的な入射光Ｌ１と、有限距離の位置にある物体１２からの光の第２のレンズ部１１３ｂへの代表的な入射光Ｌ２とは平行ではない。したがって、第１のレンズ部１１３ａの光軸中心１１４ａと第２のレンズ部１１３ｂの光軸中心１１４ｂとの間の距離に比べて、撮像素子１２３上の物体像１３ａが結像される位置と物体像１３ｂが結像される位置との間の距離は長い。すなわち、視差がある。
【００３７】
ここで、第１のレンズ部１１３ａの主点から物体像１２までの距離（被写体距離）をＡ、第１のレンズ部１１３ａと第２のレンズ部１１３ｂとの光軸間距離をＤ、レンズ部１１３ａ，１１３ｂの焦点距離をｆとする。この場合、図６の直角を挟む２辺の長さがＡ、Ｄの直角三角形と、直角を挟む２辺の長さがｆ、Δの直角三角形とが相似である。したがって、視差値Δは、焦点距離ｆ、光軸間距離Ｄ及び被写体距離Ａを用いて、下記式（２）のように表される。
【００３８】
【数２】
【００３９】
その他のレンズ部についても同様の関係が成立する。このように、被写体距離に応じて４つのレンズ部１１３ａ、１１３ｂ、１１３ｃ、１１３ｄがそれぞれ形成する４つの物体像の相対的位置が変化する。例えば、被写体距離Ａが小さくなると、視差値Δが大きくなる。そこで、下記式（３）のように、式（２）を被写体距離Ａについて解くことにより、視差値Δから被写体距離Ａを求めることができる。
【００４０】
【数３】
【００４１】
次に、本発明の実施の形態１に係る測距装置１０１の機能構成を説明する。図７は、本発明の実施の形態１に係る測距装置１０１の機能構成を示すブロック図である。ＳＬＳＩ１２５は、システム制御部１３１、撮像素子駆動部１３２、撮像信号入力部１３３、入出力部１３４、画像切出部１４１、視差演算部１４２、視差補正部１４３、失敗検知部１４４、及び距離演算部１４５を有する。
【００４２】
システム制御部１３１は、ＣＰＵ（中央演算処理装置：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ロジック回路などから構成され、ＳＬＳＩ１２５の全体を制御する。
【００４３】
撮像素子駆動部１３２は、ロジック回路などから構成され、システム制御部１３１の命令により電子シャッター或いは撮像素子１２３を駆動するための信号を発生し、この信号に応じた電圧を撮像素子１２３に印加する。
【００４４】
撮像信号入力部１３３は、直列に接続された、ＣＤＳ回路（相関二重サンプリング回路：Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ Ｃｉｒｃｕｉｔ）、ＡＧＣ（自動利得制御器：Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌｌｅｒ）、及びＡＤＣ（アナログ／デジタル変換器：Ａｎａｌｏｇ Ｄｉｇｉｔａｌ Ｃｏｎｖｅｒｔｅｒ）から構成される。
【００４５】
具体的には、撮像信号入力部１３３は、撮像素子１２３から電気信号を取得し、取得した電気信号の固定ノイズを、ＣＤＳ回路により除去する。さらに、撮像信号入力部１３３は、固定ノイズが除去された電気信号のゲインを、ＡＧＣにより調整する。さらに、撮像信号入力部１３３は、ゲインが調整された電気信号を、ＡＤＣによりアナログ信号からデジタル信号に変換する。このように、撮像信号入力部１３３は、撮像素子１２３から取得した電気信号を用いて、デジタル信号である撮像信号Ｉ０を生成する。
【００４６】
入出力部１３４は、外部機器からの入力の受付け、及び、距離演算部１４５が算出した距離情報などの外部機器への出力を行う。
【００４７】
画像切出部１４１は、光軸位置取得手段の一例であり、撮像信号入力部１３３により生成された撮像信号Ｉ０における、基準画像である第１の撮像信号Ｉ１並びに参照画像である第２の撮像信号Ｉ２、第３の撮像信号Ｉ３、及び第４の撮像信号Ｉ４の光軸位置を取得する。
【００４８】
ここで、光軸位置とは、各レンズの光軸中心に対応する画像内の位置であり、レンズの光軸中心を通り撮像素子１２３の撮像面に垂直な線（光軸）が撮像面と交差する位置である。この光軸位置は、各撮像系をキャリブレーションすることにより、あらかじめ算出されている。そして、光軸位置を特定するための情報は、例えば、図示していない記憶部に格納されている。
【００４９】
また、画像切出部１４１は、取得した第１の撮像信号Ｉ１の光軸位置が画像の中心となるように、第１の撮像信号Ｉ１を撮像信号Ｉ０から切り出す。さらに、画像切出部１４１は、第１の撮像信号Ｉ１と比べて、光軸中心１１４ａと光軸中心１１４ｂとを結ぶ直線の方向（基線方向）のうちレンズ部１１３ａの光軸中心１１４ａに近づく向きへ、第２の撮像信号Ｉ２の光軸位置からの距離が一画素だけ大きな画像となるように第２の撮像信号Ｉ２を、撮像信号Ｉ０から切り出す。また、画像切出部１４１は、第３の撮像信号Ｉ３及び第４の撮像信号Ｉ４も、第２の撮像信号Ｉ２と同様に、撮像信号Ｉ０から切り出す。
【００５０】
また、画像切出部１４１は、座標設定手段の一例でもあり、基線方向のうちレンズ部１１３ａの光軸中心１１４ａに近づく向きへ、第２の撮像信号Ｉ２の光軸位置から一画素移動した位置と、第１の撮像信号の光軸位置とが、同一の座標値となるように第１の撮像信号Ｉ１及び第２の撮像信号Ｉ２のｘｙ座標を設定する。さらに、画像切出部１４１は、第３の撮像信号Ｉ３及び第４の撮像信号Ｉ４についても、第２の撮像信号Ｉ２と同様にｘｙ座標を設定する。
【００５１】
ここで、ｘｙ座標は、平面座標の一例であり、ｘ座標及びｙ座標により平面上の位置が特定できる座標である。
【００５２】
なお、第２の撮像信号Ｉ２の光軸位置から移動させる画素数である一画素は一例であり、本発明に係る測距装置は、一画素より大きな画素数だけ移動した位置と基準画像の光軸位置とが対応するようにｘｙ座標を設定してもよい。この場合、画像切出部１４１は、一画素より大きな画素数だけ大きな画像となるように、第２の撮像信号Ｉ２、第３の撮像信号Ｉ３及び第４の撮像信号Ｉ４を、撮像信号Ｉ０から切り出す。
【００５３】
視差演算部１４２は、仮視差演算手段の一例であり、画像切出部１４１により設定された座標に基づいて、第１の撮像信号Ｉ１の一部領域と第２の撮像信号Ｉ２の一部領域との画像の類似度合いを表す評価値を算出し、算出された評価値から仮視差を算出する。
【００５４】
詳細には、視差演算部１４２は、基準ブロック選択手段の一例であり、第１の撮像信号Ｉ１の一部の領域である基準ブロックを選択する。
【００５５】
また、視差演算部１４２は、評価値算出手段の一例であり、基準ブロックを示す座標値と同一の座標値で示される第２の撮像信号Ｉ２の一部の領域から、基線方向のうち光軸中心１１４ａから遠ざかる向きへ、所定のずらし量ごとにずらしていった領域を参照ブロックとして選択し、選択した参照ブロックごとに、基準ブロックとの評価値を算出する。
【００５６】
また、視差演算部１４２は、仮視差算出手段の一例であり、算出された前記評価値のうち複数の評価値に基づく補間式を用いて、類似度合いが最大となるずらし量を仮視差として算出する。
【００５７】
さらに、視差演算部１４２は、第３の撮像信号Ｉ３及び第４の撮像信号Ｉ４についても、第２の撮像信号Ｉ２と同様に類似度合いが最大となるずらし量を算出する。そして、視差演算部１４２は、算出されたずらし量の中で、最も評価値の類似度合いが最大となるずらし量を仮視差として特定する。
【００５８】
視差補正部１４３は、視差算出手段の一例であり、仮視差から一画素を減算することにより、第１の撮像信号Ｉ１と、第２の撮像信号Ｉ２、第３の撮像信号Ｉ３又は第４の撮像信号Ｉ４との間に生じている視差を算出する。
【００５９】
失敗検知部１４４は、視差判定手段の一例であり、視差補正部１４３により算出された視差が負数であるか否かを判定する。
【００６０】
また、失敗検知部１４４は、失敗情報出力手段の一例でもあり、視差判定手段において負数であると判定された場合、視差演算が失敗したことを示す失敗情報を出力する。
【００６１】
距離演算部１４５は、距離算出手段の一例であり、視差補正部１４３により算出された視差を用いて、被写体までの距離を算出する。
【００６２】
次に、以上のように構成された本実施の形態における測距装置１０１の基本的な動作について説明する。
【００６３】
図８は、本発明の実施の形態１に係る測距装置１０１の動作を示すフローチャートである。ＳＬＳＩ１２５のシステム制御部１３１により、測距装置１０１は、このフローチャートのとおりに動作される。
【００６４】
測距装置１０１は、例えば、上位ＣＰＵ（図示せず）が、入出力部１３４を介し、測距装置１０１に動作の開始を命令することにより、動作を開始する。
【００６５】
動作を開始すると、撮像信号入力部１３３は、撮像素子１２３から入力された電気信号を、撮像信号Ｉ０へ変換する。そして、撮像信号入力部１３３は、撮像信号Ｉ０を画像切出部１４１及び入出力部１３４へ出力する（ステップＳ１０２０）。具体的には、撮像信号入力部１３３は、ｘ方向の画素数がＨ０画素であり、ｙ方向の画素数がＶ０画素である撮像信号Ｉ０（ｘ，ｙ）を、Ｉ０（０，０）（（ｘ，ｙ）＝（０，０））、Ｉ０（１，０）、Ｉ０（２，０）、・・・、Ｉ０（Ｈ０−２，Ｖ０−１）、Ｉ０（Ｈ０−１，Ｖ０−１）の順に出力する。
【００６６】
次に、画像切出部１４１は、入力された撮像信号Ｉ０から基準画像及び参照画像を切り出す（ステップＳ１１００）。具体的には、画像切出部１４１は、例えば記憶部に格納された光軸位置を特定するための情報を取得する。そして、画像切出部１４１は、取得した光軸位置を特定するため情報を用いて、撮像信号Ｉ０から、基準画像である第１の撮像信号Ｉ１並びに参照画像である、第２の撮像信号Ｉ２、第３の撮像信号Ｉ３、及び第４の撮像信号Ｉ４を作成する。
【００６７】
次に、画像切出部１４１は、基準画像及び参照画像に対してｘｙ座標を設定する（ステップＳ１１５０）。このｘｙ座標は、基線方向のうち基準撮像系が有するレンズの光軸中心に近づく向きへ、参照画像の光軸位置から所定画素数移動した位置と、基準画像の光軸位置とが、同一の座標値となるように設定された座標である。そして、画像切出部１４１は、基準画像である第１の撮像信号Ｉ１並びに参照画像である、第２の撮像信号Ｉ２、第３の撮像信号Ｉ３、及び第４の撮像信号Ｉ４を出力する。
【００６８】
以下に、ステップＳ１１００及びステップＳ１１５０における画像切出部１４１の処理を、図９を用いて、さらに詳しく説明する。
【００６９】
図９は、本発明の実施の形態１に係る測距装置１０１の撮像信号の切り出し位置を説明するための図である。図９において、座標（ｘｃ１，ｙｃ１）、座標（ｘｃ２，ｙｃ２）、座標（ｘｃ３，ｙｃ３）、及び座標（ｘｃ４，ｙｃ４）は、それぞれ、撮像信号Ｉ０における第１のレンズ部１１３ａ、第２のレンズ部１１３ｂ、第３のレンズ部１１３ｃ、及び第４のレンズ部１１３ｄの光軸中心に対応する位置（光軸位置）の座標である。
【００７０】
画像切出部１４１は、中心が第１のレンズ部１１３ａの光軸中心に対応する位置（光軸位置）の座標（ｘｃ１，ｙｃ１）となり、かつ、大きさがｘ方向の画素数がＨ１画素、ｙ方向の画素数がＶ１画素となるように、第１の撮像信号Ｉ１を撮像信号Ｉ０から切り出す。すなわち、画像切出部１４１は、下記式（４）〜式（６）のように、ｘ方向の画素数がＨ１画素、ｙ方向の画素数がＶ１画素となる第１の撮像信号Ｉ１を切り出す。さらに、画像切出部１４１は、下記式（４）〜式（６）に示すように、切出した第１の撮像信号Ｉ１に対して、原点が座標（ｘ０１，ｙ０１）となるように、ｘｙ座標を設定する。
【００７１】
【数４】
【００７２】
また、画像切出部１４１は、中心が第２のレンズ部１１３ｂの光軸中心１１４ｂに対応する位置（光軸位置）の座標（ｘｃ２，ｙｃ２）となり、かつ、その大きさがｘ方向の画素数がＨ１画素、ｙ方向の画素数がＶ１画素となる領域より、ｘ方向（基線方向）において、負の向き（レンズ部１１３ａの光軸中心１１４ａへ近づく向き）に一画素だけ、正の向きに（レンズ部１１３ａの光軸中心１１４ａから遠ざかる向き）にＳＢ画素だけ大きい領域となるように、第２の撮像信号Ｉ２を撮像信号Ｉ０から切り出す。すなわち、画像切出部１４１は、下記式（７）〜式（１１）のように、ｘ方向の画素数がＨ２画素及びｙ方向の画素数がＶ２画素となる第２の撮像信号Ｉ２を切り出す。
【００７３】
さらに、画像切出部１４１は、切り出した第２の撮像信号Ｉ２に対して、原点の座標が座標（ｘ０２，ｙ０２）となるように、ｘｙ座標を設定する。つまり、画像切出部１４１は、基線方向のうちレンズ部１１３ａの光軸中心１１４ａに近づく向きへ、第２の撮像信号Ｉ２の光軸位置（ｘｃ２，ｙｃ２）から一画素移動した位置（ｘｃ２−１，ｙｃ２）と、第１の撮像信号の光軸位置（ｘｃ１，ｙｃ１）とが、同一の座標値となるようにｘｙ座標を設定する。
【００７４】
【数５】
【００７５】
また、画像切出部１４１は、中心が第３のレンズ部１１３ｃの光軸中心１１４ｃに対応する位置（光軸位置）の座標（ｘｃ３，ｙｃ３）となり、かつ、大きさがｘ方向の画素数がＨ１画素、ｙ方向の画素数がＶ１画素となる領域より、ｙ方向（基線方向）において、負の向き（レンズ部１１３ａの光軸中心１１４ａへ近づく向き）に一画素だけ、正の向き（レンズ部１１３ａの光軸中心１１４ａから遠ざかる向き）にＳＢ画素だけ大きい領域となるように、第３の撮像信号Ｉ３を撮像信号Ｉ０から切り出す。すなわち、画像切出部１４１は、下記式（１２）〜式（１６）のように、ｘ方向の画素数がＨ３画素及びｙ方向の画素数がＶ３画素となる第３の撮像信号Ｉ３を切り出す。
【００７６】
さらに、画像切出部１４１は、切り出した第３の撮像信号Ｉ３に対して、原点の座標が座標（ｘ０３，ｙ０３）となるように、ｘｙ座標を設定する。つまり、画像切出部１４１は、基線方向のうちレンズ部１１３ａの光軸中心１１４ａに近づく向きへ、第３の撮像信号Ｉ３の光軸位置（ｘｃ３，ｙｃ３）から一画素移動した位置（ｘｃ３，ｙｃ３−１）と、第１の撮像信号の光軸位置（ｘｃ１，ｙｃ１）とが、同一の座標値となるようにｘｙ座標を設定する。
【００７７】
【数６】
【００７８】
また、画像切出部１４１は、中心が第４のレンズ部１１３ｄの光軸中心１１４ｄに対応する位置（光軸位置）の座標（ｘｃ４，ｙｃ４）となり、かつ、大きさがｘ方向の画素数がＨ１画素、ｙ方向の画素数がＶ１画素となる領域より、ｘ方向において、負の向きに一画素だけ、正の向きにＳＢ画素だけ、ｙ方向において、負の向きに一画素だけ、正の向きにＳＢ画素だけ大きい領域となるように、第４の撮像信号Ｉ４を撮像信号Ｉ０から切り出す。すなわち、画像切出部１４１は、第１の撮像信号Ｉ１と比べて、ｘ軸を−４５度回転させた方向（基線方向）のレンズ部１１３ａの光軸中心１１４ａへ近づく向きに２の平方根の画素分だけ大きい領域となるように、第４の撮像信号Ｉ４を撮像信号Ｉ０から切り出す。つまり、下記式（１７）〜式（２１）のように、ｘ方向の画素数がＨ４画素及びｙ方向の画素数がＶ４画素となる第４の撮像信号Ｉ４を切り出す。
【００７９】
さらに、画像切出部１４１は、切り出した第４の撮像信号Ｉ４に対して、原点の座標が座標（ｘ０４，ｙ０４）となるように、ｘｙ座標を設定する。つまり、画像切出部１４１は、基線方向のうちレンズ部１１３ａの光軸中心１１４ａに近づく向きへ、第４の撮像信号Ｉ４の光軸位置（ｘｃ４，ｙｃ４）から一画素移動した位置（ｘｃ４−１，ｙｃ４−１）と、第１の撮像信号の光軸位置（ｘｃ１，ｙｃ１）とが、同一の座標値となるようにｘｙ座標を設定する。
【００８０】
【数７】
【００８１】
図８のフローチャートの説明に戻る。
次に、視差演算部１４２、視差補正部１４３及び距離演算部１４５は、距離の演算を実行する（ステップＳ１２００）。
【００８２】
以下に、図１０を用いて、ステップＳ１２００の処理の詳細について説明する。図１０は、本発明の実施の形態１に係る測距装置１０１の距離演算に関する動作を示すフローチャートである。図１０のフローチャートは、図８におけるステップＳ１２００の処理の詳細を示す。
【００８３】
まず、視差演算部１４２は、撮像信号Ｉ１の一部の画像領域である基準ブロックを選択する（ステップＳ１２２０）。
【００８４】
ここで、ステップＳ１２２０において、視差演算部１４２が選択する基準ブロックの詳細を、図１１を用いて説明する。図１１は、本発明の実施の形態１に係る測距装置１０１において、視差演算部１４２が選択する基準ブロックを説明するための図である。図１１に示すように、視差演算部１４２により選択される基準ブロックは、第１の撮像信号Ｉ１上において、ｘ方向の画素数がＨＢ画素、ｙ方向の画素数がＶＢ画素となる画像である。ステップＳ１１５０（図８）が実行された後、初めてこのステップＳ１２２０を実行されるときは、視差演算部１４２は、ブロックの中心が（ＨＢ／２，ＶＢ／２）の基準ブロックを選択する。以後、このステップＳ１２２０が実行されるときは、視差演算部１４２は、ブロックの中心を右側に順に一画素ずつずらした基準ブロックを選択する。なお、図１１において右端のブロック（中心が（Ｈ１−ＨＢ／２、０）、（Ｈ１−ＨＢ／２，１）、・・・のブロック）を視差演算部１４２が選択した場合、次は、一画素下の行の左端のブロック（中心が（ＨＢ／２，１）、（ＨＢ／２，２）、・・・のブロック）を視差演算部１４２は基準ブロックとして選択する。すなわち、視差演算部１４２は、インデックス（ｉ，ｊ）を設定し、中心が（ｉ，ｊ）、ｘ方向の画素数がＨＢ画素、ｙ方向の画素数がＶＢ画素のブロックを基準ブロックとして選択する。インデックス（ｉ，ｊ）において、ステップＳ１１５０（図８）が実行された後、視差演算部１４２が初めてこのステップＳ１２２０の処理を実行するときに、インデックス（ｉ，ｊ）を（ＨＢ／２，ＶＢ／２）に初期化する。そして、初期化以後、視差演算部１４２がステップＳ１２２０の処理を実行する度に、視差演算部１４２は、ｉを１ずつ大きくする。前回のｉがＨ１−ＨＢ／２のとき、視差演算部１４２は、ｉを０にし、ｊを１だけ大きくする。
【００８５】
図１０のフローチャートの説明に戻る。
次に、視差演算部１４２は、基準画像である第１の撮像信号Ｉ１と、参照画像である第２の撮像信号Ｉ２、第３の撮像信号Ｉ３、及び第４の撮像信号Ｉ４と、を用いて、基準画像上の各画素における視差Δ（仮視差）を演算し、演算した視差Δ（仮視差）を出力する（ステップＳ１２３０）。この視差Δ（仮視差）の演算において、視差演算部１４２は、まず、第１の撮像信号Ｉ１と第２の撮像信号Ｉ２とにおける、視差（仮視差）と視差信頼度とを演算する。
【００８６】
以下に、第１の撮像信号Ｉ１と第２の撮像信号Ｉ２とにおける、視差（仮視差）と視差信頼度との演算について、詳細に説明する。視差演算部１４２は、最初に、第１の撮像信号Ｉ１と第２の撮像信号Ｉ２との視差評価値Ｒ１２（ｋｘ）を演算する。ここで、ｋｘは基準ブロックと同一の座標値となる参照画像の一部領域に対して、参照ブロックをどれだけずらして選択するかを示すずらし量である。視差演算部１４２は、ｋｘを、ｋｘ＝０、１、２、・・・、ＳＢ＋１のように変化させる。
【００８７】
図１２は、本発明の実施の形態１に係る測距装置１０１において、第１の撮像信号Ｉ１と第２の撮像信号Ｉ２とを利用したときの視差演算における視差評価値の演算領域を説明するための図である。
【００８８】
基準ブロックＩ１ｂで示される領域は、第１の撮像信号Ｉ１において、インデックス（ｉ，ｊ）で示されるブロックである。すなわち、基準ブロックＩ１ｂは、第１の撮像信号Ｉ１において、中心の座標が（ｉ，ｊ）、ｘ方向の画素数がＨＢ画素、ｙ方向の画素数がＶＢ画素であるブロックである。
【００８９】
また、参照ブロックＩ２ｂで示される領域は、第２の撮像信号Ｉ２において、基準ブロックＩ１ｂの座標値と同一となる座標値のブロックから、ｘ方向にｋｘだけずれた領域のブロックである。すなわち、参照ブロックＩ２ｂは、第２の撮像信号Ｉ２において、中心の座標が（ｉ＋ｋｘ，ｊ）、ｘ方向の画素数がＨＢ画素、ｙ方向の画素数がＶＢ画素であるブロックである。
【００９０】
ここで、視差演算部１４２は、ずらし量ｋｘを０からＳＢ＋１まで変化させた場合（ｋｘ＝０からＳＢ＋１）について、下記式（２２）に示される絶対値差分総和（ＳＡＤ：Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅｓ）を演算する。ここで、視差演算部１４２は、演算したＳＡＤを視差評価値Ｒ１２（ｋｘ）として扱う。すなわち、視差演算部１４２は、第１の撮像信号Ｉ１を基準画像とし、第２の撮像信号Ｉ２を参照画像として、視差評価値Ｒ１２（ｋｘ）を演算する。
【００９１】
式（２２）において、ΣΣは、インデックス（ｉ，ｊ）で示されるブロック内の各画素の総和を示す。つまり、式（２２）において、ｘはｉ−ＨＢ／２からｉ＋ＨＢ／２−１まで変化し、ｙはｊ−ＶＢ／２からｊ＋ＶＢ／２−１まで変化する。
【００９２】
【数８】
【００９３】
この視差評価値Ｒ１２（ｋｘ）は、第１の撮像信号Ｉ１においてインデックス（ｉ，ｊ）で示される中心座標（ｉ，ｊ）の基準ブロックの画像と、第２の撮像信号Ｉ２においてインデックス（ｉ，ｊ）で示される中心座標（ｉ，ｊ）のブロックからｘ方向にｋｘだけずれた領域の参照ブロックの画像とが、どれだけ相関があるか（類似しているか）を示し、値が小さいほど相関が大きい（類似度合いが大きい）ことを示す。
【００９４】
図１３は、本発明の実施の形態１に係る測距装置１０１の第１の撮像信号Ｉ１と第２の撮像信号Ｉ２を利用したときの視差演算における、ずらし量と視差評価値との関係を説明する図である。図１３に示すように、視差評価値Ｒ１２（ｋｘ）はずらし量ｋｘの値によって変化し、ずらし量ｋｘ＝Δのときに視差評価値Ｒ１２（ｋｘ）は極小値となる。つまり、第１の撮像信号Ｉ１においてインデックス（ｉ，ｊ）で示される中心座標（ｉ，ｊ）の基準ブロックに対して、第２の撮像信号Ｉ２においてインデックス（ｉ，ｊ）で示される中心座標（ｉ，ｊ）のブロックからｘ方向にずらし量Δだけずれた領域の参照ブロックが最も相関が高い（最も類似度合いが大きい）ブロックである。そこで、視差演算部１４２は、インデックス（ｉ，ｊ）で示されるブロックにおける第１の撮像信号Ｉ１と第２の撮像信号Ｉ２との視差評価値Ｒ１２（ｋｘ）が最小値となるずらし量をずらし量Δと特定する。
【００９５】
さらに、視差演算部１４２は、下記式（２３）のように、等角フィッティングの補間式を利用してｘｙ座標における視差値Δ１２（ｉ，ｊ）（仮視差）を算出する。その結果、視差演算部１４２は、ずらし量単位（一画素）未満の分解能で視差（仮視差）を求めることが可能となる。
【００９６】
また、視差演算部１４２は、下記式（２４）のように、視差評価値Ｒ１２（Δ）を用いて、座標（ｉ，ｊ）における第１の撮像信号Ｉ１と第２の撮像信号Ｉ２との視差信頼度Ｃ１２（ｉ，ｊ）を算出する。
【００９７】
【数９】
【００９８】
次に、視差演算部１４２は、第１の撮像信号Ｉ１と第３の撮像信号Ｉ３との視差（仮視差）及び視差信頼度も上記と同様に求める。ただし、視差演算部１４２は、第３の撮像信号Ｉ３において参照ブロックをずらす方向を、第１のレンズ部１１３ａの光軸中心と第３のレンズ部１１３ｃの光軸中心とを結ぶ直線の方向であるｙ方向に変更する。また、ずらし量はｋｙとする。
【００９９】
具体的には、視差演算部１４２は、下記式（２５）のように、インデックス（ｉ，ｊ）で示されるブロックにおける第１の撮像信号Ｉ１と第３の撮像信号Ｉ３との視差評価値Ｒ１３（ｋｙ）を求める。すなわち、視差演算部１４２は、第１の撮像信号Ｉ１を基準画像として扱うとともに、第３の撮像信号Ｉ３を参照画像として扱うことにより、視差評価値Ｒ１３（ｋｙ）を演算する。そして、視差演算部１４２は、視差評価値Ｒ１３（ｋｙ）が最小値となるずらし量Δを特定する。さらに、視差演算部１４２は、下記式（２６）のように、等角フィッティングの補間式を利用して、座標（ｉ，ｊ）における第１の撮像信号Ｉ１と第３の撮像信号Ｉ３とのｘｙ座標における視差値Δ１３（ｉ，ｊ）（仮視差）を算出する。また、視差演算部１４２は、下記式（２７）のように、視差評価値Ｒ１３（Δ）を用いて、座標（ｉ，ｊ）における第１の撮像信号Ｉ１と第３の撮像信号Ｉ３との視差信頼度Ｃ１３（ｉ，ｊ）を算出する。
【０１００】
【数１０】
【０１０１】
次に、視差演算部１４２は、第１の撮像信号Ｉ１と第４の撮像信号Ｉ４との視差（仮視差）及び視差信頼度も上記と同様に求める。ただし、視差演算部１４２は、第４の撮像信号Ｉ４において参照ブロックをずらす方向を斜め方向（第１のレンズ部１１３ａの光軸中心１１４ａと第４のレンズ部１１３ｄの光軸中心１１４ｄとを結ぶ直線の方向）に変更する。また、ずらし量はｘ方向にｋｘ、ｙ方向にｋｘとする。
【０１０２】
具体的には、視差演算部１４２は、下記式（２８）のように、インデックス（ｉ，ｊ）で示されるブロックにおける第１の撮像信号Ｉ１と第４の撮像信号Ｉ４との視差評価値Ｒ１４（ｋｘ）を求める。すなわち、視差演算部１４２は、第１の撮像信号Ｉ１を基準画像として扱うとともに、第４の撮像信号Ｉ４を参照画像として扱うことにより、視差評価値Ｒ１４（ｋｘ）を演算する。そして、視差演算部１４２は、視差評価値Ｒ１４（ｋｘ）が最小値を与えるずらし量Δを特定する。さらに、視差演算部１４２は、下記式（２９）のように、等角フィッティングの補間式を利用して、座標（ｉ，ｊ）における第１の撮像信号Ｉ１と第４の撮像信号Ｉ４とのｘｙ座標における視差値Δ１４（ｉ，ｊ）（仮視差）を算出する。また、視差演算部１４２は、下記式（３０）のように、視差評価値Ｒ１４（Δ）を用いて、座標（ｉ，ｊ）における第１の撮像信号Ｉ１と第４の撮像信号Ｉ４との視差信頼度Ｃ１４（ｉ，ｊ）を算出する。
【０１０３】
【数１１】
【０１０４】
そして、視差演算部１４２は、上記３つの視差信頼度を比較することにより、最も信頼できる視差値（仮視差）を選択する。すなわち、視差演算部１４２は、下記式（３１）のように、３つの視差信頼度Ｃ１２（ｉ，ｊ）、Ｃ１３（ｉ，ｊ）、及びＣ１４（ｉ，ｊ）を比較することにより、最も値が小さい視差信頼度に対応する視差値（仮視差）を選択する。例えば、視差信頼度Ｃ１２（ｉ，ｊ）が最も小さな値であるとき、視差演算部１４２は、視差値Δ１２（ｉ，ｊ）を座標（ｉ，ｊ）における視差値Δ（ｉ，ｊ）（仮視差）として選択する。また、例えば、視差信頼度Ｃ１３（ｉ，ｊ）が最も小さな値であるとき、視差値Δ１３（ｉ，ｊ）を座標（ｉ，ｊ）における視差値Δ（ｉ，ｊ）（仮視差）として選択する。また、例えば、視差信頼度Ｃ１４（ｉ，ｊ）が最も小さな値であるとき、視差値Δ１４（ｉ，ｊ）を座標（ｉ，ｊ）における視差値Δ（ｉ，ｊ）（仮視差）として選択する。
【０１０５】
なお、本実施の形態１では、視差演算部１４２は、視差信頼度（Ｃ１２、Ｃ１３、Ｃ１４）を、絶対値差分総和（式（２２）、式（２５）、式（２８））を用いて算出したが、例えば、正規化相関係数を用いて算出してもよい。この場合、視差演算部１４２は、最も値が大きい視差信頼度が最も信頼できる視差信頼度となるので、最も値が大きい視差信頼度に対応する視差値（仮視差）を選択する。
【０１０６】
【数１２】
【０１０７】
図１０のフローチャートの説明に戻る。
次に、視差補正部１４３は、視差演算部１４２が算出した視差値Δ（仮視差）の補正を行い、補正後の視差値である補正後視差値を出力する。
【０１０８】
図９に示すように、基準画像である第１の撮像信号Ｉ１において、光軸中心１１４ａに対応する位置（光軸位置）の座標（ｘｃ１，ｙｃ１）と原点の座標（ｘ０１，ｙ０１）との差は、（Ｈ１／２，Ｖ１／２）である。一方、参照画像である第２の撮像信号Ｉ２において、光軸中心１１４ｂに対応する位置（光軸位置）の座標（ｘｃ２，ｙｃ２）と原点の座標（ｘ０２，ｙ０２）との差は、（Ｈ１／２＋１，Ｖ１／２）である。すなわち、第２の撮像信号Ｉ２（参照画像）における光軸位置の座標値は、第１の撮像信号Ｉ１（基準画像）における光軸位置の座標値に比べて、ｘ方向（基準撮像系と参照撮像系の光軸中心を結ぶ直線の方向）の負の向き（基準撮像系の光軸中心へ近づく向き）に一画素だけ大きい。そのため、視差値Δ（ｉ，ｊ）（仮視差）は、本来の視差に対して一画素分だけ大きい。
【０１０９】
また、参照画像である第３の撮像信号Ｉ３において、光軸中心１１４ｃに対応する位置（光軸位置）の座標（ｘｃ３，ｙｃ３）と原点の座標（ｘ０３，ｙ０３）との差は、（Ｈ１／２，Ｖ１／２＋１）である。すなわち、第３の撮像信号Ｉ３（参照画像）における光軸位置の座標値は、第１の撮像信号Ｉ１（基準画像）における光軸位置の座標値に比べて、ｙ方向（基準撮像系と参照撮像系の光軸中心を結ぶ直線の方向）の負の向き（基準撮像系の光軸中心へ近づく向き）に一画素だけ大きい。そのため、視差値Δ（ｉ，ｊ）（仮視差）は、本来の視差に対して一画素分だけ大きい。
【０１１０】
また、参照画像である第４の撮像信号Ｉ４において、光軸中心１１４ｄに対応する位置（光軸位置）の座標（ｘｃ４，ｙｃ４）と原点の座標（ｘ０４，ｙ０４）との差は、（Ｈ１／２＋１，Ｖ１／２＋１）である。すなわち、第４の撮像信号Ｉ４（参照画像）における光軸位置の座標値は、第１の撮像信号Ｉ１（基準画像）における光軸位置の座標値に比べて、ｘ軸を−４５度回転させた方向（基準撮像系と参照撮像系の光軸中心を結ぶ直線の方向）の負の向き（基準撮像系の光軸中心へ近づく向き）に一画素だけ大きい。つまり、第４の撮像信号Ｉ４（参照画像）における光軸位置の座標値は、第１の撮像信号Ｉ１（基準画像）における光軸位置の座標値に比べて、ｘ方向の負の向きに一画素だけ、ｙ方向の負の向きに一画素だけ大きい。そのため、視差値Δ（ｉ，ｊ）（仮視差）は、本来の視差に対して、一画素分だけ大きい。
【０１１１】
ここで、所定方向に一画素大きいとは、当該所定方向の直線上に、周期的に画素の中心が現れる場合の、一周期分の距離大きいことを意味する。
【０１１２】
このように、視差演算部１４２が算出した視差値Δは、本来の視差に比べて大きくなるため、視差補正部１４３は、視差値Δ（仮視差）を補正することにより本来の視差を算出する。例えば、視差値Δ１２（ｉ，ｊ）、視差値Δ１３（ｉ，ｊ）、あるいは視差値Δ１４（ｉ，ｊ）が視差値Δ（仮視差）として選択されている場合には、下記式（３２）のように、視差補正部１４３は、座標（ｉ，ｊ）における視差値Δ（ｉ，ｊ）から一画素だけ減算することにより、座標（ｉ，ｊ）における本来の視差値である補正後視差値Δａ（ｉ，ｊ）を算出する。
【０１１３】
【数１３】
【０１１４】
次に、失敗検知部１４４は、視差補正部１４３により補正された視差値を用いて、視差演算の失敗を検知する。そして、失敗が検知された場合、失敗検知部１４４は、失敗フラッグＤＤＥの値を１としたうえで出力する。
【０１１５】
図５に示すように、被写体距離が無限遠のときに視差は最も小さな値０となるので、視差値が負数となることはない。そのため、視差補正部１４３により補正された視差値が負数となるとき、失敗検知部１４４は、視差演算が失敗したと判断する。具体的には、下記式（３３）のように、失敗検知部１４４は、座標（ｉ，ｊ）における補正後視差値Δａ（ｉ，ｊ）が０以上のとき、失敗フラッグＤＤＥを０（ＤＤＥ＝０）に設定する。一方、失敗検知部１４４は、座標（ｉ，ｊ）における補正後視差値Δａ（ｉ，ｊ）が０より小さいとき、失敗フラッグＤＤＥを１（ＤＤＥ＝１）に設定する。なお、この失敗の原因として、撮像信号へのノイズの重畳などが考えられる。
【０１１６】
【数１４】
【０１１７】
次に、距離演算部１４５は、補正後視差値Δａと失敗フラッグＤＤＥとを用いて距離の演算を行う。そして、距離演算部１４５は、演算した距離データＤＩＳを出力する（ステップＳ１２６０）。具体的には、距離演算部１４５は、式（３）へ、視差補正部１４３により算出された補正後視差値Δａ（ｉ，ｊ）などを代入することにより、距離データＤＩＳ（ｉ，ｊ）を算出する。つまり、距離演算部１４５は、下記式（３４）のように、距離データＤＩＳ（ｉ，ｊ）を算出する。
【０１１８】
なお、失敗フラッグＤＤＥ（ｉ，ｊ）が０のときは、視差が正しく求められているため、距離演算部１４５は上記演算を行う。一方、失敗フラッグＤＤＥ（ｉ，ｊ）が１のときは、視差が正しく求められていないため、距離演算部１４５は上記演算を行わない。例えば、距離演算部１４５は、距離データＤＩＳ（ｉ，ｊ）を０と設定する。
【０１１９】
式（３４）において、ｆは焦点距離、Ｄｘはｘ方向の光軸間距離、ｐは撮像素子１２３の受光素子の間隔である。また、式（３４）では、補正後視差値Δａが画素単位であるため、補正後視差値Δａにｐを乗ずることにより、補正後視差値Δａが焦点距離ｆなどと同一の単位系となるように変換されている。
【０１２０】
【数１５】
【０１２１】
次に、距離演算部１４５は、基準画像内のすべてのブロックが選択されたか否かを判定する（ステップＳ１２７０）。ここで、すべてのブロックが選択されていたとき（インデックス（ｉ，ｊ）が（Ｈ１−ＨＢ／２，Ｖ１−ＶＢ／２）であるとき）（ステップＳ１２７０のＹｅｓ）、図８のステップＳ１９１０の処理が実行される。一方、すべてのブロックが選択されていないとき（インデックス（ｉ，ｊ）が（Ｈ１−ＨＢ／２，Ｖ１−ＶＢ／２）でないとき）（ステップＳ１２７０のＮｏ）、再び、ステップＳ１２２０の処理が実行される。すなわち、ステップＳ１２２０において、インデックス（ｉ，ｊ）が（ＨＢ／２，ＶＢ／２）に初期化され、ｉをＨＢ／２からＨ１−ＨＢ／２まで、ｊをＶＢ／２からＶ１−ＶＢ／２まで変化させつつ、ステップＳ１２３０、ステップＳ１２４０、ステップＳ１２５０、及びステップＳ１２６０の動作が繰り返される。
【０１２２】
図８のフローチャートの説明に戻る。
入出力部１３４は、画像データ、距離データ、及び失敗情報データを測距装置１０１の外部に出力する（ステップＳ１９１０）。具体的には、入出力部１３４は、画像データとして、撮像信号Ｉ０或いは第１の撮像信号Ｉ１を出力する。また、入出力部１３４は、距離データとして、距離データＤＩＳを出力する。また、入出力部１３４は、失敗情報データとして、失敗フラッグＤＤＥを出力する。
【０１２３】
システム制御部１３１は、動作を終了するかどうかを判断する（ステップＳ１９２０）。例えば、システム制御部１３１は、入出力部１３４を介し、上位ＣＰＵ（図示せず）と通信することにより、動作を終了するかどうかの命令を要求する。そして、システム制御部１３１が上位ＣＰＵから終了命令を受信した場合（ステップＳ１９２０のＹｅｓ）、処理を終了する。一方、システム制御部１３１が上位ＣＰＵから終了命令を受信しない場合（ステップＳ１９２０のＮｏ）、ステップＳ１０２０の処理が実行される。すなわち、システム制御部１３１が上位ＣＰＵから終了命令を受信しない限り、ステップＳ１０２０、ステップＳ１１００、ステップＳ１１５０、ステップＳ１２００、及びステップＳ１９１０の処理が繰り返される。
【０１２４】
実施の形態１に係る測距装置１０１は、以上のように構成されて動作することにより、以下の効果を奏する。
【０１２５】
まず、図１４（ａ）〜（ｄ）を用いて、実施の形態１に係る測距装置１０１の効果を説明する。図１４（ａ）〜（ｄ）は、実施の形態１に係る測距装置１０１による効果を説明するための図である。
【０１２６】
図１４（ａ）及び図１４（ｂ）に示すように、基準画像である第１の撮像信号Ｉ１と参照画像である第２の撮像信号Ｉ２との視差が微小である場合に、一般的な測距装置は、基準ブロックと同一の位置（各光軸位置から同一の距離及び方向の位置）から選択する参照ブロックをずらしていくので、ずらし量の最小値（０）で視差評価値Ｒ１２（ｋｘ）が最小となる。そのため、一般的な測距装置は、視差が微小である場合（視差評価値の最小となるずらし量が０である場合）、最小となる視差評価値のずらし量より小さなずらし量における視差評価値を利用した補間関数により、視差の分解能及び精度を高めることができない。
【０１２７】
これに対し、図１４（ｄ）の点線の垂直軸で示すように、従来の測距装置（例えば、特許文献１の撮像装置）は、負数のずらし量まで視差評価値Ｒ１２（ｋｘ）を演算することにより、補間関数を用いて視差の分解能及び精度を高めることができる。しかし、従来の測距装置は、ずらし量を負数とする必要があるため、視差演算を実行するための回路の規模が大きくなる。
【０１２８】
そこで、図１４（ｄ）の実線の垂直軸で示すように、本実施の形態１に係る測距装置１０１は、基準ブロックより一画素小さな位置から選択する参照ブロックをずらしていく。その結果、本実施の形態１に係る測距装置１０１は、ずらし量が常に正数となるので、微小な視差における視差の分解能及び精度を高めるとともに、視差演算のための回路規模の増大を抑制することが可能となる。
【０１２９】
さらに、本実施の形態１に係る測距装置１０１は、基線方向のうち基準撮像系が有するレンズであるレンズ部１１３ａの光軸中心１１４ａに近づく向きへ、参照画像の光軸位置から一画素移動した位置と、基準画像の光軸位置とが同一の座標となるように、ｘｙ座標を設定する。したがって、測距装置１０１は、基準ブロックの座標値と同一の座標値から参照ブロックをずらしながら、視差評価値Ｒ１２（ｋｘ）を演算するだけで、ずらし量を常に正数とすることが可能となる。そして、測距装置１０１は、一般的な測距装置による視差演算と同様の視差演算を行った後に、得られた視差（仮視差）から一画素減算するだけで、微小な視差における視差の分解能及び精度を高めることが可能となる。すなわち、測距装置１０１は、一般的な測距装置の視差演算をほとんどそのまま流用することができるので、視差演算のための回路規模の増大を抑制することが可能となる。
【０１３０】
また、図１４（ｃ）に示すように、本実施の形態１に係る測距装置１０１では、参照画像は、基準画像と比べて、レンズ部１１３ａの光軸中心１１４ａに近づく向きへ一画素大きい。したがって、測距装置１０１では、基準画像のすべての画素に対して、同一の位置（各光軸位置から同一の距離及び方向の位置）より、基線方向のうちレンズ部１１３ａの光軸中心１１４ａに近づく向きへ一画素移動した位置の参照画像が存在する。したがって、測距装置１０１は、参照ブロックを選択する際に、参照ブロックが選択可能か否かを確認する必要がないため、視差演算を簡易にすることができ、視差演算のための回路規模の増大を抑制することが可能となる。また、測距装置１０１は、基準画像の全領域について、視差を高精度に算出することも可能となる。また、測距装置１０１は、参照画像を一画素だけ大きくするだけでよいので、視差演算において使用する記憶領域などの増大による回路規模の増大を抑えることができる。
【０１３１】
なお、本実施の形態１に係る測距装置１０１は、上述のように視差演算が簡易になることから、視差演算の速度を向上させるという効果も期待できる。
【０１３２】
以下に、上述の効果をさらに具体的に説明する。
一般的な撮像装置は、図１４（ａ）及び図１４（ｂ）に示すように、基準画像である第１の撮像信号Ｉ１及び参照画像である第２の撮像信号Ｉ２において、光軸位置からｘ方向（基線方向）の負の向き（レンズ部１１３ａの光軸中心１１４ａに近づく向き）の画素数が同一のとき、視差評価値Ｒ１２（ｋｘ）（ＳＡＤ）を最小とするずらし量Δとその前後のずらし量（ずらし量Δ−１、ずらし量Δ＋１）とにおける視差評価値Ｒ１２（Δ−１）、Ｒ１２（Δ）、及びＲ１２（Δ＋１）を用いて、分解能が一画素未満の視差Δ１２（ｉ，ｊ）を求める。そして、一般的な撮像装置は、式（３２）のような視差の補正を行わず、この視差Δ１２（ｉ，ｊ）に基づき距離演算する。そのため、図１４（ａ）及び図１４（ｂ）に示すように、一般的な撮像装置は、左端のブロック（図１１において、インデックスが（ＨＢ／２，０）、（ＨＢ／２，１）、・・・、（ＨＢ／２，ＶＢ／２）で示されるブロック）において、視差が０付近で視差評価値Ｒ１２（ｋｘ）（ＳＡＤ）を最小とするずらし量Δが０のとき、ずらし量Δ−１の視差評価値Ｒ１２（Δ−１）を演算することができない（ずらし量−１の視差評価値Ｒ１２（−１）を演算することができない）。そのため、一般的な撮像装置は、基準画像の左端のブロックでは、式（２３）を用いて一画素未満の分解能の視差を求めることができない。
【０１３３】
一方、実施の形態１に係る測距装置１０１では、図１４（ｃ）に示すように、基準画像である第１の撮像信号Ｉ１と比較して、参照画像である第２の撮像信号Ｉ２は、光軸中心からｘ方向（基線方向）の負の向き（レンズ部１１３ａの光軸中心１１４ａに近づく向き）に一画素だけ大きい画素数を持つ。そして、測距装置１０１は、式（２３）のように、視差評価値Ｒ１２（ｋｘ）（ＳＡＤ）を最小とするずらし量Δとその前後のずらし量（ずらし量Δ−１及びずらし量Δ＋１）とにおける視差評価値Ｒ１２（Δ−１）、Ｒ１２（Δ）、及びＲ１２（Δ＋１）を用いて、分解能が一画素未満の視差Δ１２（ｉ，ｊ）（仮視差）を求める。そして、測距装置１０１は、式（３２）のように、求めた視差Δ１２（ｉ，ｊ）（仮視差）から一画素を減算することにより、視差Δ１２ａ（ｉ，ｊ）を求める。そして、測距装置１０１は、このようにして求めた視差Δ１２ａ（ｉ，ｊ）に基づき距離演算する。そのため、測距装置１０１は、図１４（ｃ）及び図１４（ｄ）に示すように、左端のブロック（図１１において、インデックスが（ＨＢ／２，０）、（ＨＢ／２，１）、・・・、（ＨＢ／２，ＶＢ／２）で示されるブロック）において、視差が０付近で視差評価値Ｒ１２（ｋｘ）（ＳＡＤ）を最小とするずらし量Δが１のとき、ずらし量Δ−１の視差評価値Ｒ１２（Δ−１）を演算する（ずらし量０の視差評価値Ｒ１２（０）を演算する）ことができる。それゆえ、測距装置１０１は、視差値Δ（ｉ，ｊ）を求めることができ、視差を１だけ減算する補正を行い視差値Δａ（ｉ，ｊ）を求める。そして、このようにして求めた視差値Δａ（ｉ，ｊ）は０付近である。すなわち、測距装置１０１は、基準画像の左端のブロック（図１１において、インデックスが（ＨＢ／２，０）、（ＨＢ／２，１）、・・・、（ＨＢ／２，ＶＢ／２）で示されるブロック）においても、視差０付近で一画素未満の高分解能な視差を求めることができる。それゆえ、測距装置１０１は、遠方での高精度な測距を実現する。すなわち、測距装置１０１は、広い画像領域で、遠方での高精度な測距を実現する。
【０１３４】
また、実施の形態１に係る測距装置１０１において、０以上のずらし量のみが必要であり、負のずらし量が不要となる。そのため、測距装置１０１は、式（２２）の参照画像の座標の計算において、負数を考慮する必要がなく、符号ビットを省略できる。つまり、測距装置１０１は、その省略可能な符号ビットの分だけ回路規模或いは処理時間を縮小できるので、低コストであり、かつ、遠方を高精度に測距することができる測距装置を実現する。
【０１３５】
また、ずらし量に負数を導入すると、測距装置は、ずらし量が負数のとき、この負数に対応した参照画像があるかどうかを逐次検証する必要がある。その結果、その検証に要するロジックの分だけ回路規模或いは処理時間が増大する。実施の形態１に係る測距装置１０１は、ずらし量を０以上に限定するため、上記の検証が不要となり、その分だけ回路規模或いは処理時間を縮小でき、低コストに遠方を高精度に測距できる測距装置を実現する。
【０１３６】
また、実施の形態１に係る測距装置１０１では、図９に示すように、基準画像である第１の撮像信号Ｉ１と比較し、参照画像である第２の撮像信号Ｉ２は、光軸位置からｘ方向（基線方向）の負の向き（光軸中心１１４ａに近づく向き）に一画素だけ大きい画素数を持つ。また、測距装置１０１では、第２の撮像信号Ｉ２は、光軸位置からｘ方向（光軸方向）の正の向き（光軸中心１１４ａから遠ざかる向き）にＳＢ画素だけ大きい画素数を持つ。すなわち、測距装置１０１は、基準画像の左端のブロック（図１１において、インデックスが（ＨＢ／２，０）、（ＨＢ／２，１）、・・・、（ＨＢ／２，ＶＢ／２）で示されるブロック）、及び基準画像の右端のブロック（図１１において、インデックスが（Ｈ１−ＨＢ／２，０）、（Ｈ１−ＨＢ／２，１）、・・・、（Ｈ１−ＨＢ／２，ＶＢ／２）で示されるブロック）においても、視差評価値Ｒ１２（ｋｘ）（ＳＡＤ）を演算することができる。仮に、ずらし量を−１或いはＳＢ＋２とすると、測距装置は参照画像にない座標を参照するため、視差評価値Ｒ１２（ｋｘ）を演算できない。実施の形態１に係る測距装置１０１は、参照画像である第２の撮像信号Ｉ２用に、必要最小限の画素数を持ち、必要最小限の記憶容量のみを持つため、低コストであり、かつ、遠方を高精度に測距できる測距装置を実現する。また、ずらし量に対応した参照画像があるかどうかを逐次検証する必要ない。そのため、その分だけ回路規模或いは処理時間を縮小でき、低コストに遠方を高精度に測距できる測距装置を実現する。
【０１３７】
なお、本発明は、本実施の形態１の測距装置１０１が備える、距離演算部１４５以外の構成部を備える撮像装置として実現することもできる。さらに、本発明は、このような撮像装置を備える、三次元位置測定装置或いは画像合成装置として実現することもできる。
【０１３８】
（実施の形態２）
次に、本発明の実施の形態２に係る撮像システムについて説明する。本発明の実施の形態２に係る撮像システムは、本発明の実施の形態１に係る測距装置１０１を利用したものである。以下、本発明の実施の形態２に係る撮像システムについて、図面を参照しながら説明する。
【０１３９】
図１５は、本発明の実施の形態２に係る撮像システム２０２の構成を示すブロック図である。本発明の実施の形態２に係る撮像システム２０２は、測距装置１０１、撮像システム制御部２０３、及び画像認識部２０４を有する。
【０１４０】
撮像システム制御部２０３は、ＣＰＵなどから構成され、撮像システム２０２の全体を制御する。
【０１４１】
測距装置１０１は、本発明の実施の形態１に記述された測距装置であり、撮像システム制御部２０３の命令によって制御され、画像データＩ１（ここでは第１の撮像信号Ｉ１とする）、距離データＤＩＳ、及び失敗情報データＤＤＥを出力する。
【０１４２】
画像認識部２０４は、ＣＰＵなどから構成される。画像認識部２０４は、失敗情報データＤＤＥに基づき、画像データＩ１と失敗でない箇所の距離データＤＩＳとを利用して各種画像認識を行う。例えば、画像認識部２０４は、顔面を撮影したとき、画像データＩ１と距離データＤＩＳとを用いて顔向きを判断するにあたり、失敗箇所の距離データは無視する。
【０１４３】
このように、本発明の実施の形態２に係る撮像システムによれば、実施の形態１と同様に、広い画像領域で、遠方での高精度な測距を実現する。
【０１４４】
また、本発明の実施の形態２に係る撮像システムによれば、失敗情報データＤＤＥに基づき、画像データＩ１と失敗でない箇所の距離データＤＩＳとを利用して各種画像認識を行うことにより、認識精度を向上できる。
【０１４５】
以上、本発明に係る測距装置について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したもの、異なる実施の形態における構成要素を組み合わせて構築される形態なども、本発明の範囲内に含まれる。
【０１４６】
例えば、実施の形態１に係る測距装置１０１は、式（２２）、式（２５）、及び式（２８）のように視差評価値としてＳＡＤを用いたが、本発明に係る測距装置は、式（２２）を下記式（３５）のように変形した、二乗和（ＳＳＤ：Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅｓ）を用いてもよい。なお、本発明に係る測距装置は、式（２５）、式（２８）の演算においても、同様に二乗和を用いてもよい。
【０１４７】
【数１６】
【０１４８】
また、実施の形態１に係る測距装置１０１は、式（２３）、式（２６）、式（２９）のように、等角フィッティングの補間式を利用することにより一画素未満の分解能の視差を求めたが、本発明に係る測距装置は、式（２３）を下記式（３６）のように変形した、パラボラフィッティングの補間式を用いて一画素未満の分解能の視差を求めてもよい。なお、本発明に係る測距装置は、式（２６）、式（２９）の演算においても、同様にパラボラフィッティングの補間式を用いてもよい。
【０１４９】
【数１７】
【０１５０】
また、実施の形態１の係る測距装置１０１において、式（２２）、式（２５）、式（２８）のように都度ブロック内の総和を演算したが、本発明に係る測距装置は、式（２２）を下記式（３７）のように変形し、再帰的に演算してもよい。なお、本発明に係る測距装置は、式（２５）、式（２８）の演算においても、同様に再帰的に演算してもよい。
【０１５１】
【数１８】
【０１５２】
また、実施の形態１に係る測距装置１０１が備えるレンズアレイ１１３において、各レンズ部間の距離であるＤｘとＤｙは等しい。しかしながら、本発明に係る測距装置はこのようなレンズアレイを備える測距装置に限定されるわけではない。つまり、本発明に係る測距装置は、ＤｘとＤｙとが異なっていてもよい。この場合、測距装置は、ＤｘとＤｙとが異なることによる処理の変更が必要となる。例えば、測距装置は、中心が第４のレンズ部１１３ｄの光軸中心１１４ｄに対応する位置（光軸位置）の座標（ｘｃ４，ｙｃ４）となり、かつ、大きさがｘ方向の画素数がＨ１画素、ｙ方向の画素数がＶ１画素となる領域より、ｘ方向の負の向きに一画素だけ、正の向きにＳＢ画素だけ、ｙ方向の負の向きにＤｙ／Ｄｘ画素だけ、正の向きにＳＢ＊Ｄｙ／Ｄｘ画素だけ大きい領域となるように、第４の撮像信号Ｉ４を撮像信号Ｉ０から切り出す。すなわち、測距装置は、下記式（３８）及び式（３９）のように、切り出した第４の撮像信号Ｉ４に対して原点の座標が座標（ｘ０４，ｙ０４）となるようにｘｙ座標を設定する。その結果、測距装置において、第４の撮像信号Ｉ４の大きさは、下記式（４０）及び式（４１）のように、ｘ方向の画素数がＨ４と、ｙ方向の画素数Ｖ４となる。なお、測距装置は、式（４１）において、Ｖ４を整数にするために、適宜切り上げなどの処理を行ってもよい。また、測距装置は、下記式（４２）のように、ずらす方向を第１のレンズ部１１３ａの光軸中心１１４ａと第４のレンズ部１１３ｄの光軸中心１１４ｄとを結ぶ直線に一致させる。ここで、測距装置は、座標が小数点となる箇所のブロックについて、適宜、線形補間を用いて画像（例えば、輝度値）を求める。また、測距装置は、視差信頼度Ｃ１３（ｉ，ｊ）が最も小さいとき、ｘ方向の視差に合わせるために、下記式（４３）のように、視差Δ１３（ｉ，ｊ）にＤｘ／Ｄｙを乗じ、下記式（４４）のように、視差Δ（ｉ，ｊ）にＤｙ／Ｄｘを乗じる。
【０１５３】
【数１９】
【０１５４】
また、実施の形態１に係る測距装置１０１において、レンズアレイ１１３は略円形に成型されているが、本発明に係る測距装置は、このようなレンズアレイを備える測距装置に限定されない。図１６Ａ及び図１６Ｂは、実施の形態１の変形例に係る測距装置のレンズアレイの構成を示す平面図である。図１６Ａに示すレンズアレイ３０１のように、本発明に係る測距装置が備えるレンズアレイは長方形状に成型されてもよい。さらに、図１６Ｂに示すレンズアレイ３０２のように、本発明に係る測距装置が備えるレンズアレイは、その端面等に平面方向に伸びる突起等が設けられていてもよい。このように、レンズアレイが略円形でなくても、レンズ部はほぼ等方に膨張するため、変形例に係る測距装置は、実施の形態１の測距装置１０１と同様の効果を得ることができる。
【０１５５】
また、実施の形態１に係る測距装置１０１において、レンズアレイ１１３は４つのレンズ部を有していたが、本発明に係る測距装置は、このようなレンズアレイを備える測距装置に限定されない。本発明に係る測距装置において、レンズアレイが有するレンズ部の数が異なっていてもよい。図１７Ａ及び図１７Ｂは、実施の形態１の変形例に係る測距装置のレンズアレイの構成を示す平面図である。図１７Ａに示すレンズアレイ３０３のように、本発明に係る測距装置は、２つのレンズ部を持つものでもよい。また、図１７Ｂに示すレンズアレイ３０４のように、本発明に係る測距装置は、９つのレンズ部を持つものでもよい。
【０１５６】
さらに、本発明は、このような撮像装置或いは測距装置の特徴的な構成部が行う処理を実行する視差算出方法及び測距方法として実現したり、それらの方法をコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。
【産業上の利用可能性】
【０１５７】
本発明に係る撮像装置及び測距装置は、微小な視差を高精度に算出するとともに、回路規模の増大を抑制した小型の撮像装置及び測距装置であるため、カメラ機能を備えた携帯型電話機、デジタルスチルカメラ、車載用カメラ、監視用カメラ、三次元計測器、及び立体画像入力カメラ等に有用である。
【図面の簡単な説明】
【０１５８】
【図１】本発明の実施の形態１に係る測距装置の構成を示す断面図である。
【図２】本発明の実施の形態１に係る測距装置のレンズアレイの構成を示す平面図である。
【図３】本発明の実施の形態１に係る測距装置の回路部の構成を示す平面図である。
【図４】本発明の実施の形態１に係る測距装置の撮像素子の構成を示す平面図である。
【図５】本発明の実施の形態１に係る測距装置において、無限遠にある物体を撮像したときの物体像の視差を説明するための図である。
【図６】本発明の実施の形態１に係る測距装置において、有限距離の位置にある物体を撮像したときの物体像の視差を説明するための図である。
【図７】本発明の実施の形態１に係る測距装置の構成を示すブロック図である。
【図８】本発明の実施の形態１に係る測距装置の動作を示すフローチャートである。
【図９】本発明の実施の形態１に係る測距装置の撮像信号の切り出し位置を説明するための図である。
【図１０】本発明の実施の形態１に係る測距装置の距離演算の動作を示すフローチャートである。
【図１１】本発明の実施の形態１に係る測距装置において、ブロックを説明するための図である。
【図１２】本発明の実施の形態１に係る測距装置において、第１の撮像信号と第２の撮像信号を利用したときの視差演算における視差評価値の演算領域を説明するための図である。
【図１３】本発明の実施の形態１に係る測距装置の第１の撮像信号と第２の撮像信号を利用したときの視差演算におけるずらし量と視差評価値との関係を説明するための図である。
【図１４】（ａ）〜（ｄ）実施の形態１に係る測距装置による効果を説明するための図である。
【図１５】本発明の実施の形態２に係る撮像システムの構成を示すブロック図である。
【図１６Ａ】実施の形態１の変形例に係る測距装置のレンズアレイの構成を示す平面図である。
【図１６Ｂ】実施の形態１の変形例に係る測距装置のレンズアレイの構成を示す平面図である。
【図１７Ａ】実施の形態１の変形例に係る測距装置のレンズアレイの構成を示す平面図である。
【図１７Ｂ】実施の形態１の変形例に係る測距装置のレンズアレイの構成を示す平面図である。
【符号の説明】
【０１５９】
１０１ 測距装置
１１０ レンズモジュール部
１１１ 鏡筒
１１２ カバーガラス
１１３ レンズアレイ
１２０ 回路部
１２１ 基板
１２２ パッケージ
１２３ 撮像素子
１２４ パッケージカバーガラス
１２５ ＳＬＳＩ
１２７ 金線
１３１ システム制御部
１３２ 撮像素子駆動部
１３３ 撮像信号入力部
１３４ 入出力部
１４１ 画像切出部
１４２ 視差演算部
１４３ 視差補正部
１４４ 失敗検知部
１４５ 距離演算部
２０２ 撮像システム
２０３ 撮像システム制御部
２０４ 画像認識部
【特許請求の範囲】
【請求項１】
レンズと前記レンズに対応する撮像領域とを有する、基準撮像系と一つ以上の参照撮像系とを備え、同一の被写体を撮像したときの前記基準撮像系と前記参照撮像系との間に生じる視差を算出する撮像装置であって、
前記基準撮像系及び前記参照撮像系により生成された基準画像及び参照画像において、前記基準撮像系及び前記参照撮像系がそれぞれ有する前記レンズの光軸中心に対応する位置である光軸位置をそれぞれ取得する光軸位置取得手段と、
前記基準撮像系及び前記参照撮像系がそれぞれ有する前記レンズの光軸中心を互いに結ぶ直線の方向である基線方向のうち前記基準撮像系が有するレンズの光軸中心に近づく向きへ前記参照画像の光軸位置から所定画素数移動した位置と、前記基準画像の光軸位置とが、同一の座標値となるように前記基準画像及び前記参照画像の平面座標を設定する座標設定手段と、
前記座標設定手段により設定された座標に基づいて、前記基準画像の一部領域と前記参照画像の一部領域との画像の類似度合いを表す評価値を算出し、算出された評価値から仮視差を算出する仮視差演算手段と、
前記仮視差演算手段により算出された仮視差から前記所定画素数を減算することにより、前記基準撮像系と前記参照撮像系との間に生じる視差を算出する視差算出手段とを備える
撮像装置。
【請求項２】
前記仮視差演算手段は、
前記基準画像の一部の領域である基準ブロックを選択する基準ブロック選択手段と、
前記基準ブロックを示す座標値と同一の座標値で示される前記参照画像の一部の領域から、前記基線方向のうち前記基準撮像系の有するレンズの光軸中心から遠ざかる方へ、所定のずらし量ごとにずらしていった領域を参照ブロックとして選択し、選択した参照ブロックごとに前記基準ブロックとの前記評価値を算出する評価値算出手段と、
算出された前記評価値のうち複数の評価値に基づく補間式を用いて、類似度合いが最大となるずらし量を前記仮視差として算出する仮視差算出手段とを有する
請求項１に記載の撮像装置。
【請求項３】
前記座標設定手段は、前記基線方向のうち前記基準撮像系が有するレンズの光軸中心に近づく向きへ、前記参照画像の光軸位置から一画素移動した位置と、前記基準画像の光軸位置とが、同一の座標値となるように、前記平面座標を設定する
請求項２に記載の撮像装置。
【請求項４】
前記参照画像は、前記基準画像と比べて、前記基線方向のうち前記基準撮像系の有するレンズの光軸中心に近づく向きへ、前記所定画素数だけ大きな画像である
請求項１に記載の撮像装置。
【請求項５】
前記撮像装置は、さらに、
前記視差算出手段により算出された視差が負数であるか否かを判定する視差判定手段と、
前記視差判定手段により負数であると判定された場合、視差演算が失敗したことを示す失敗情報を出力する失敗情報出力手段とを備える
請求項１に記載の撮像装置。
【請求項６】
レンズと前記レンズに対応する撮像領域とを有する、基準撮像系と一つ以上の参照撮像系とを備え、同一の被写体を撮像したときの前記基準撮像系と前記参照撮像系との間に生じる視差に基づいて、前記被写体までの距離を算出する測距装置であって、
前記基準撮像系及び前記参照撮像系により生成された基準画像及び参照画像において、前記基準撮像系及び前記参照撮像系がそれぞれ有する前記レンズの光軸中心に対応する位置である光軸位置をそれぞれ取得する光軸位置取得手段と、
前記基準撮像系及び前記参照撮像系がそれぞれ有する前記レンズの光軸中心を互いに結ぶ直線の方向である基線方向のうち前記基準撮像系が有するレンズの光軸中心に近づく向きへ前記参照画像の光軸位置から所定画素数移動した位置と、前記基準画像の光軸位置とが、同一の座標値となるように前記基準画像及び前記参照画像の平面座標を設定する座標設定手段と、
前記座標設定手段により設定された座標に基づいて、前記基準画像の一部領域と前記参照画像の一部領域との画像の類似度合いを表す評価値を算出し、算出された評価値から仮視差を算出する仮視差演算手段と、
前記仮視差演算手段により算出された仮視差から前記所定画素数を減算することにより、前記基準撮像系と前記参照撮像系との間に生じる視差を算出する視差算出手段と、
前記視差算出手段により算出された視差を用いて、前記被写体までの距離を算出する距離算出手段とを備える
測距装置。
【請求項７】
レンズと前記レンズに対応する撮像領域とを有する、基準撮像系と一つ以上の参照撮像系とを備える撮像装置において同一の被写体を撮像したときの、前記基準撮像系と前記参照撮像系との間に生じる視差を算出する視差算出方法であって、
前記基準撮像系及び前記参照撮像系により生成された基準画像及び参照画像において、前記基準撮像系及び前記参照撮像系がそれぞれ有する前記レンズの光軸中心に対応する位置である光軸位置をそれぞれ取得する光軸位置取得ステップと、
前記基準撮像系及び前記参照撮像系がそれぞれ有する前記レンズの光軸中心を互いに結ぶ直線の方向である基線方向のうち前記基準撮像系が有するレンズの光軸中心に近づく向きへ前記参照画像の光軸位置から所定画素数移動した位置と、前記基準画像の光軸位置とが、同一の座標値となるように前記基準画像及び前記参照画像の平面座標を設定する座標設定ステップと、
前記座標設定ステップにおいて設定された座標に基づいて、前記基準画像の一部領域と前記参照画像の一部領域との画像の類似度合いを表す評価値を算出し、算出された評価値から仮視差を算出する仮視差演算ステップと、
前記仮視差演算ステップにおいて算出された仮視差から前記所定画素数を減算することにより、前記基準撮像系と前記参照撮像系との間に生じる視差を算出する視差算出ステップとを含む
視差算出方法。
【請求項８】
レンズと前記レンズに対応する撮像領域とを有する、基準撮像系と一つ以上の参照撮像系とを備える撮像装置において同一の被写体を撮像したときの、前記基準撮像系と前記参照撮像系との間に生じる視差を算出するプログラムであって、
前記基準撮像系及び前記参照撮像系により生成された基準画像及び参照画像において、前記基準撮像系及び前記参照撮像系がそれぞれ有する前記レンズの光軸中心に対応する位置である光軸位置をそれぞれ取得する光軸位置取得ステップと、
前記基準撮像系及び前記参照撮像系がそれぞれ有する前記レンズの光軸中心を互いに結ぶ直線の方向である基線方向のうち前記基準撮像系が有するレンズの光軸中心に近づく向きへ前記参照画像の光軸位置から所定画素数移動した位置と、前記基準画像の光軸位置とが、同一の座標値となるように前記基準画像及び前記参照画像の平面座標を設定する座標設定ステップと、
前記座標設定ステップにおいて設定された座標に基づいて、前記基準画像の一部領域と前記参照画像の一部領域との画像の類似度合いを表す評価値を算出し、算出された評価値から仮視差を算出する仮視差演算ステップと、
前記仮視差演算ステップにおいて算出された仮視差から前記所定画素数を減算することにより、前記基準撮像系と前記参照撮像系との間に生じる視差を算出する視差算出ステップとをコンピュータに実行させる
プログラム。
【請求項１】
レンズと前記レンズに対応する撮像領域とを有する、基準撮像系と一つ以上の参照撮像系とを備え、同一の被写体を撮像したときの前記基準撮像系と前記参照撮像系との間に生じる視差を算出する撮像装置であって、
前記基準撮像系及び前記参照撮像系により生成された基準画像及び参照画像において、前記基準撮像系及び前記参照撮像系がそれぞれ有する前記レンズの光軸中心に対応する位置である光軸位置をそれぞれ取得する光軸位置取得手段と、
前記基準撮像系及び前記参照撮像系がそれぞれ有する前記レンズの光軸中心を互いに結ぶ直線の方向である基線方向のうち前記基準撮像系が有するレンズの光軸中心に近づく向きへ前記参照画像の光軸位置から所定画素数移動した位置と、前記基準画像の光軸位置とが、同一の座標値となるように前記基準画像及び前記参照画像の平面座標を設定する座標設定手段と、
前記座標設定手段により設定された座標に基づいて、前記基準画像の一部領域と前記参照画像の一部領域との画像の類似度合いを表す評価値を算出し、算出された評価値から仮視差を算出する仮視差演算手段と、
前記仮視差演算手段により算出された仮視差から前記所定画素数を減算することにより、前記基準撮像系と前記参照撮像系との間に生じる視差を算出する視差算出手段とを備える
撮像装置。
【請求項２】
前記仮視差演算手段は、
前記基準画像の一部の領域である基準ブロックを選択する基準ブロック選択手段と、
前記基準ブロックを示す座標値と同一の座標値で示される前記参照画像の一部の領域から、前記基線方向のうち前記基準撮像系の有するレンズの光軸中心から遠ざかる方へ、所定のずらし量ごとにずらしていった領域を参照ブロックとして選択し、選択した参照ブロックごとに前記基準ブロックとの前記評価値を算出する評価値算出手段と、
算出された前記評価値のうち複数の評価値に基づく補間式を用いて、類似度合いが最大となるずらし量を前記仮視差として算出する仮視差算出手段とを有する
請求項１に記載の撮像装置。
【請求項３】
前記座標設定手段は、前記基線方向のうち前記基準撮像系が有するレンズの光軸中心に近づく向きへ、前記参照画像の光軸位置から一画素移動した位置と、前記基準画像の光軸位置とが、同一の座標値となるように、前記平面座標を設定する
請求項２に記載の撮像装置。
【請求項４】
前記参照画像は、前記基準画像と比べて、前記基線方向のうち前記基準撮像系の有するレンズの光軸中心に近づく向きへ、前記所定画素数だけ大きな画像である
請求項１に記載の撮像装置。
【請求項５】
前記撮像装置は、さらに、
前記視差算出手段により算出された視差が負数であるか否かを判定する視差判定手段と、
前記視差判定手段により負数であると判定された場合、視差演算が失敗したことを示す失敗情報を出力する失敗情報出力手段とを備える
請求項１に記載の撮像装置。
【請求項６】
レンズと前記レンズに対応する撮像領域とを有する、基準撮像系と一つ以上の参照撮像系とを備え、同一の被写体を撮像したときの前記基準撮像系と前記参照撮像系との間に生じる視差に基づいて、前記被写体までの距離を算出する測距装置であって、
前記基準撮像系及び前記参照撮像系により生成された基準画像及び参照画像において、前記基準撮像系及び前記参照撮像系がそれぞれ有する前記レンズの光軸中心に対応する位置である光軸位置をそれぞれ取得する光軸位置取得手段と、
前記基準撮像系及び前記参照撮像系がそれぞれ有する前記レンズの光軸中心を互いに結ぶ直線の方向である基線方向のうち前記基準撮像系が有するレンズの光軸中心に近づく向きへ前記参照画像の光軸位置から所定画素数移動した位置と、前記基準画像の光軸位置とが、同一の座標値となるように前記基準画像及び前記参照画像の平面座標を設定する座標設定手段と、
前記座標設定手段により設定された座標に基づいて、前記基準画像の一部領域と前記参照画像の一部領域との画像の類似度合いを表す評価値を算出し、算出された評価値から仮視差を算出する仮視差演算手段と、
前記仮視差演算手段により算出された仮視差から前記所定画素数を減算することにより、前記基準撮像系と前記参照撮像系との間に生じる視差を算出する視差算出手段と、
前記視差算出手段により算出された視差を用いて、前記被写体までの距離を算出する距離算出手段とを備える
測距装置。
【請求項７】
レンズと前記レンズに対応する撮像領域とを有する、基準撮像系と一つ以上の参照撮像系とを備える撮像装置において同一の被写体を撮像したときの、前記基準撮像系と前記参照撮像系との間に生じる視差を算出する視差算出方法であって、
前記基準撮像系及び前記参照撮像系により生成された基準画像及び参照画像において、前記基準撮像系及び前記参照撮像系がそれぞれ有する前記レンズの光軸中心に対応する位置である光軸位置をそれぞれ取得する光軸位置取得ステップと、
前記基準撮像系及び前記参照撮像系がそれぞれ有する前記レンズの光軸中心を互いに結ぶ直線の方向である基線方向のうち前記基準撮像系が有するレンズの光軸中心に近づく向きへ前記参照画像の光軸位置から所定画素数移動した位置と、前記基準画像の光軸位置とが、同一の座標値となるように前記基準画像及び前記参照画像の平面座標を設定する座標設定ステップと、
前記座標設定ステップにおいて設定された座標に基づいて、前記基準画像の一部領域と前記参照画像の一部領域との画像の類似度合いを表す評価値を算出し、算出された評価値から仮視差を算出する仮視差演算ステップと、
前記仮視差演算ステップにおいて算出された仮視差から前記所定画素数を減算することにより、前記基準撮像系と前記参照撮像系との間に生じる視差を算出する視差算出ステップとを含む
視差算出方法。
【請求項８】
レンズと前記レンズに対応する撮像領域とを有する、基準撮像系と一つ以上の参照撮像系とを備える撮像装置において同一の被写体を撮像したときの、前記基準撮像系と前記参照撮像系との間に生じる視差を算出するプログラムであって、
前記基準撮像系及び前記参照撮像系により生成された基準画像及び参照画像において、前記基準撮像系及び前記参照撮像系がそれぞれ有する前記レンズの光軸中心に対応する位置である光軸位置をそれぞれ取得する光軸位置取得ステップと、
前記基準撮像系及び前記参照撮像系がそれぞれ有する前記レンズの光軸中心を互いに結ぶ直線の方向である基線方向のうち前記基準撮像系が有するレンズの光軸中心に近づく向きへ前記参照画像の光軸位置から所定画素数移動した位置と、前記基準画像の光軸位置とが、同一の座標値となるように前記基準画像及び前記参照画像の平面座標を設定する座標設定ステップと、
前記座標設定ステップにおいて設定された座標に基づいて、前記基準画像の一部領域と前記参照画像の一部領域との画像の類似度合いを表す評価値を算出し、算出された評価値から仮視差を算出する仮視差演算ステップと、
前記仮視差演算ステップにおいて算出された仮視差から前記所定画素数を減算することにより、前記基準撮像系と前記参照撮像系との間に生じる視差を算出する視差算出ステップとをコンピュータに実行させる
プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６Ａ】
【図１６Ｂ】
【図１７Ａ】
【図１７Ｂ】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６Ａ】
【図１６Ｂ】
【図１７Ａ】
【図１７Ｂ】
【公開番号】特開２０１０−２２８０（Ｐ２０１０−２２８０Ａ）
【公開日】平成２２年１月７日（２０１０．１．７）
【国際特許分類】
【出願番号】特願２００８−１６０９４１（Ｐ２００８−１６０９４１）
【出願日】平成２０年６月１９日（２００８．６．１９）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２２年１月７日（２０１０．１．７）
【国際特許分類】
【出願日】平成２０年６月１９日（２００８．６．１９）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]