撮像装置
【課題】基準画像または比較画像の出力に対して遅れることなく、対象物までの距離を基準画像および比較画像からリアルタイムで求めることができる撮像装置を提供する。
【解決手段】マッチング処理部４０は、２つの各撮像部から順次入力される第１および第２の画素データ間の差分を合計した差分積算値を入力ラインごとに算出する第１の処理部４４０と、２つの各撮像部からｎライン遅延して順次入力される第１および第２の画素データ間の差分を合計した差分積算値を入力ラインごとに算出する第２の処理部４５０と、第１のライン処理部４４０で求めた積算値を垂直方向に積算した値から第２のライン処理部４５０で求めた積算値を垂直方向に積算した値を引いたＳＡＤを求める差分絶対値和算出部４６０とを備え、ＳＡＤに基づいて基準画像中の照合エリアに対応する対象エリアを求める。
【解決手段】マッチング処理部４０は、２つの各撮像部から順次入力される第１および第２の画素データ間の差分を合計した差分積算値を入力ラインごとに算出する第１の処理部４４０と、２つの各撮像部からｎライン遅延して順次入力される第１および第２の画素データ間の差分を合計した差分積算値を入力ラインごとに算出する第２の処理部４５０と、第１のライン処理部４４０で求めた積算値を垂直方向に積算した値から第２のライン処理部４５０で求めた積算値を垂直方向に積算した値を引いたＳＡＤを求める差分絶対値和算出部４６０とを備え、ＳＡＤに基づいて基準画像中の照合エリアに対応する対象エリアを求める。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えばステレオカメラにより互いに同期して撮像された２つの画像から、対象物までの距離を算出する撮像装置に関する。
【背景技術】
【０００２】
従来から、カメラから被写体までの距離情報を取得する方法として、ステレオ法が広く知られている。このステレオ法に基づいた距離取得の処理では、処理対象の基準となる画像（基準画像）と、処理を行う際に比較される画像（比較画像）の２つの画像を用いる。ステレオ法を採用した撮像装置では、カメラにより基準画像および比較画像を撮像した後に、基準画像の各画素が比較画像のどの位置に対応するかを解析して、この解析結果に基づいて両画像に映る像のずれ（視差）と、基準画像および比較画像を撮像したカメラの物理的な関係とに基づいて、カメラと被写体との間の距離を算出する。
【０００３】
基準画像の各画素が比較画像のどの位置に対応するかの解析には、マッチング処理が一般的に用いられている。マッチング処理では、基準画像から所定画素数（例えばｍ×ｎ画素、ｍ：画素データの入力ライン方向の画素数、ｎ：入力ライン方向に対して垂直方向の画素数）の画素ブロックを切り出すとともに、比較画像中の探索範囲内で切り出し位置をずらしながら、基準画像の画素ブロックと同じサイズ（ｍ×ｎ画素）の画素ブロックを比較画像から切り出して、基準画像および比較画像から切り出された両画素ブロック間のマッチング誤差を求め、マッチング誤差が最小となる画素ブロックの位置を対応点として関連付ける。このようなマッチング処理を適用したブロックマッチング装置が特許文献１に開示されている。また、同じようにマッチング処理を適用した視差ベクトル検出装置が特許文献２に開示されている。
【特許文献１】特開２００２−３５２２４１号公報
【特許文献２】特開２００２−３５４５０３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１等に記載された従来のマッチング処理では、基準画像の画像ブロックおよび比較画像の画像ブロックの間のマッチング誤差を算出するために、基準画像および比較画像のそれぞれから画素ブロックを切り出す必要がある。また、画像ブロックを切り出す際に基準画像および比較画像を一時的にメモリに記憶しておく必要があり、この記憶処理に時間がかかってしまう。このため、マッチング処理が、画像を撮像した時間から大きく遅れて行われることがあった。
【０００５】
更に、比較画像から画像ブロックを切り出す際には、比較画像中の探索範囲内で切り出し位置をずらしながら行うため、比較画像を一時的に記憶するメモリへのアクセスが多くなり、このために画像ブロックの切り出しの処理時間が増大し、また、メモリバス帯域の圧迫などを招いてしまっていた。
【０００６】
本発明は、上記従来の問題を解決するためになされたもので、基準画像または比較画像の出力に対して遅れることなく、対象物までの距離を基準画像および比較画像からリアルタイムで求めることができる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る撮像装置は、被写体を撮像して、基準画像を生成する基準画像撮像部と、被写体を撮像して、前記基準画像と同期して比較画像を生成する比較画像撮像部と、前記基準画像撮像部により生成された前記基準画像中のｍ×ｎ画素（ｍは画素データの入力ライン方向の画素数、ｎは入力ライン方向に対して垂直方向の画素数）からなる所定の照合エリアに対応する前記比較画像中のエリアを対応エリアとして求めるマッチング処理部と、前記マッチング処理部により求められた前記対応エリアと前記照合エリアとの位置関係に基づいて、前記照合エリアに映る対象物までの距離を算出する距離算出部とを有する撮像装置であって、前記マッチング処理部は、前記基準画像撮像部から入力される第１の画素データおよび前記比較画像撮像部から入力される第２の画像データを入力ラインごとに処理する処理部であって、前記基準画像撮像部から順次入力される第１の画像データのうちで前記照合エリアに対応する画素の画素データと、前記比較画像撮像部から順次入力される第２の画素データとの差分を求め、求めた差分を合計して前記入力ラインにおける差分積算値を算出する処理を、前記第１の画素データに対する前記第２の画素データの遅延量を変えて行い、該遅延量ごとに差分積算値を算出する第１のライン処理部と、前記基準画像撮像部からｎライン遅延して入力される第１の画素データおよび前記比較画像撮像部からｎライン遅延して入力される第２の画素データを入力ラインごとに処理する処理部であって、前記基準画像撮像部から順次入力される第１の画素データのうちで前記照合エリアに対応する画素の画素データと、前記比較画像撮像部から順次入力される第２の画素データとの差分を求め、求めた差分を合計して前記入力ラインにおける差分積算値を算出する処理を、前記第１の画素データに対する前記第２の画素データの遅延量を変えて行い、該遅延量ごとに差分積算値を算出する第２のライン処理部と、前記第１のライン処理部により算出された差分積算値を前記垂直方向に積算した積算値から前記第２のライン処理部により算出された差分積算値を前記垂直方向に積算した積算値を引いた差分絶対値和を算出する処理を前記遅延量ごとに行う差分絶対値和算出部と、を備え、前記差分絶対値和算出部により算出される前記差分絶対値和に基づいて前記比較画像の中から前記対応エリアを求める構成を有している。
【０００８】
この構成により、第１のライン処理部にて、基準画像の照合エリアにおける一のライン上の画素と比較画像の同じライン上の画素との差分絶対値を求める処理を、比較画像の方を遅延させながら行うことにより、入力ラインにおける差分絶対値を、比較画像の遅延量に応じて複数求めることができる。第１のライン処理部にて求めた差分絶対値を第１〜第ｎラインまで足し合わせることにより、比較画像の遅延量ごとの照合エリアの差分絶対値和を求めることができる。第１のライン処理部における差分絶対値を第１〜第（ｎ＋１）ライン以上足し合わせると、照合エリア（ｍ×ｎ画素）を超えてしまう。本発明では、第２のライン処理部は、第１のライン処理部と同じ処理を、ｎライン遅延した信号について行う。これにより、例えば、第１のライン処理部にて第（ｎ＋１）ラインの差分絶対値を求めるタイミングで、第２のライン処理部では第１ラインの差分絶対値を求める。そして、差分絶対値和算出部は、第１のライン処理部により算出された差分積算値を積算した値から第２のライン処理部により算出された差分積算値を積算した値を引いた値を差分絶対値和として算出するので、常に、ｎライン分を合計した差分絶対値和を求めることができる。例えば、上記の例では、第１〜第（ｎ＋１）ラインの差分絶対値の積算値から、第１ラインの差分絶対値を引いた値を算出することにより、第２〜第（ｎ＋１）ラインの差分絶対値和が求まる。このように本発明では、第１および第２のライン処理部にて順次入力される第１の画素データおよび第２の画素データを処理することによって、例えば特許文献１等に記載の従来のマッチング処理のように、基準画像および比較画像から画像を切り出す処理を行う必要がなく、さらに切り出し処理のためのメモリを必要とすることなく、照合エリアに対応する対応エリアをリアルタイムに求めることができる。また、このようにして求めた対応エリアと照合エリアの位置関係に基づいて、照合エリアに映る対象物までの距離を算出するので、基準画像または比較画像を表示部などに出力する通常の画像処理と同じ速さで、第１の画素データと第２の画素データとを処理でき、これにより、通常の画像信号を処理する場合と同じ速度および分解能で距離情報を得ることができる。この結果、本発明では、基準画像または比較画像の出力に対して遅れることなく、対象物までの距離を基準画像および比較画像からリアルタイムで求めることができる。
【０００９】
本発明に係る撮像装置において、基準画像撮像部および比較画像撮像部は、一のカメラの撮像領域を分割することにより構成されている。これにより、２つの撮像部を１つのカメラで構成することができ、撮像装置の構成を簡素とすることができ、製造コストを低減することができる。
【発明の効果】
【００１０】
本発明は、第１および第２のライン処理部にて順次入力される第１の画素データおよび第２の画素データを処理することによって、基準画像または比較画像の出力に対して遅れることなく、対象物までの距離を基準画像および比較画像からリアルタイムで求めることができるという優れた効果を有する。
【発明を実施するための最良の形態】
【００１１】
（第１の実施の形態）
以下、本発明の第１の実施の形態に係る撮像装置１０００について、図面を用いて説明する。
図１は撮像装置１０００のマッチング処理部４０の構成を詳細に示す図であり、図２は撮像装置１０００の全体の構成を示す図である。以下の説明では、最初に撮像装置１０００の全体構成を図２に基づいて説明し、次にマッチング処理部４０の構成を図１に基づいて説明する。
【００１２】
図２に示されるように、撮像装置１０００は、撮像部１０と、基準画像用信号処理部２０と、比較画像用信号処理部３０と、マッチング処理部４０と、距離算出部５０とを備えている。
【００１３】
撮像部１０は、一対の撮像素子として、基準画像用撮像素子１１および比較画像用撮像素子１２を備えており、これら２つの撮像素子１１、１２からなるステレオカメラを構成する。基準画像用撮像素子１１および比較画像用撮像素子１２は、所定の間隔を空けて設置されている。基準画像用撮像素子１１および比較画像用撮像素子１２は、被写体を同時に撮像することができるように構成されている。
【００１４】
基準画像用撮像素子１１は、被写体を撮像して、マッチング処理部４０による処理の基準となる基準画像を生成する。比較画像用撮像素子１２は、被写体を撮像して、基準画像と同期して、マッチング処理部４０による処理で基準画像と比較するための比較画像を生成する。基準画像の画素データの入力ライン方向（走査方向）と比較画像の画素データの入力ライン方向（走査方向）は同じである。また、基準画像および比較画像は、例えば撮像装置１０００の初期設定の際のテストパターンによる調整によって、垂直方向において互いに対応するように設定される。テストパターンによる調整は、例えば、後述の基準画像用信号処理部２０または比較画像用信号処理部３０により行われる。本発明の基準画像撮像部は基準画像用撮像素子１１に相当し、本発明の比較画像撮像部は比較画像用撮像素子１２に相当する。また、基準画像用撮像素子１１は第１の画素データを順次出力し、比較画像用撮像素子１２は第１の画素データの出力に同期して第２の画素データを順次出力する。
【００１５】
基準画像用信号処理部２０は、基準画像用撮像素子１１により生成された基準画像に対して、例えばＮＴＳＣ（National Television Standards Committee）などに対応した信号処理を行う。同様に、比較画像用信号処理部３０は、比較画像用撮像素子１２により生成された比較画像に対して、例えばＮＴＳＣなどに対応した信号処理を行う。
【００１６】
マッチング処理部４０は、後で詳細に説明するように、基準画像中の所定の照合エリアに相関の高い比較画像中のエリアを対応エリアとして求める。マッチング処理部４０には、第１の画素データが基準画像用撮像素子１１から基準画像用信号処理部２０を介して順次入力され、第２の画素データが比較画像用撮像素子１２から比較画像用信号処理部３０を介して順次入力される。マッチング処理部４０に画素データが順次入力され、マッチング処理部４０にて下記の処理が行われることにより、結果として、上記所定の照合エリアは基準画像中を一定の間隔で順次移動し、最終的には照合エリアの移動範囲は基準画像の全領域に及ぶ。
【００１７】
距離算出部５０は、マッチング処理部４０により求められる対応エリアと照合エリアとの位置関係に基づいて、対応エリアおよび照合エリアの間のずれ量を算出し、このずれ量と、基準画像用撮像素子１１および比較画像用撮像素子１２の物理的関係とを用いて、照合エリアに映る対象物までの距離を算出し、これを距離情報として出力する。このとき、距離算出部５０は、基準画像中を順次移動する全ての照合エリアについて、対応エリアと照合エリアの間のずれ量を算出し、照合エリアの各々に映る対象物までの距離を算出する。
【００１８】
撮像装置１０００は、例えば、基準画像用信号処理部２０により出力される画像信号に対して、距離算出部５０により算出された距離に応じた処理を行い、この処理結果から得られる画像を表示部などに表示する。これにより、被写体中の対象物と撮像装置１０００との間の距離に応じた画像を撮像装置１０００の使用者に提供することができる。なお、撮像装置１０００は、基準画像用信号処理部２０ではなく比較画像用信号処理部３０により出力される画像信号に対して、上記算出距離に応じた処理を行い、処理後の画像を表示部などに表示してもよい。
【００１９】
次に、マッチング処理部４０について説明するが、具体的な構成および動作を説明する前に、まず、図３に基づいて、基準画像および比較画像の構成を説明する。
【００２０】
図３（ａ）および図３（ｂ）は、マッチング処理部４０にて比較される基準画像および比較画像の例を示す図である。マッチング処理部４０は、基準画像７００中の照合エリア７１０ａ（図３（ａ）参照）と、比較画像８００中の複数の被照合エリア８１０ａ〜８１０Ｓ（図３（ｂ）参照）との相関の高さとして、例えば差分絶対値和（Sum of Absolute：ＳＡＤと称する）を求め、求めた結果に基づいて複数の被照合エリア８１０ａ〜８１０Ｓのうちの１つを対応エリアとして求める。なお、図３（ａ）および図３（ｂ）は、マッチング処理部４０にて行う処理を概念的に示したものであり、本実施の形態では、図３（ａ）および図３（ｂ）に示す各エリアを基準画像あるいは比較画像から切り出す処理を行うわけではない。
【００２１】
照合エリア７１０ａは、基準画像７００中の複数の画素から構成されている。被照合エリア８１０ａは、比較画像８００中の複数の画素から構成されており、照合エリア７１０ａの形状に対応している。ここでは、照合エリア７１０ａおよび被照合エリア８１０ａの大きさをｍ×ｎ画素（ｍは画素データの入力ライン方向（走査方向）の画素数、ｎは入力ライン方向に対して垂直方向の画素数）とする。また、上述の通り、撮像装置１０００の初期設定の段階で、基準画像７００および比較画像８００は垂直方向において互いに対応するように調整されているので、照合エリア７１０ａおよび被照合エリア８１０ａも垂直方向において互いに対応している。
【００２２】
複数の被照合エリア８１０ａ〜８１０Ｓの各々は、比較画像８００の探索範囲をＳとした場合の各被照合エリアの位置を示している。比較画像８００の探索範囲Ｓは、第１の画素データに対する第２の画素データの最大遅延量に対応する。ここでは、被照合エリア８１０ｂ〜８１０Ｓは、被照合エリア８１０ａを入力ライン方向に１画素ずつ、順次遅延させた際の領域を示している。すなわち、被照合エリア８１０ｂは被照合エリア８１０ａを入力ライン方向に１画素分遅延させた際の領域、被照合エリア８１０ｃは被照合エリア８１０ａを入力ライン方向に２画素分遅延させた際の領域・・・、被照合エリアＳは被照合エリア８１０ａを入力ライン方向に（Ｓ−１）画素分遅延させた際の領域となる。
【００２３】
なお、被照合エリア８１０ｂ〜８１０Ｓは被照合エリア８１０ａを１画素ずつ入力ライン方向に遅延させた領域であると説明したが、被照合エリア８１０ｂ〜８１０Ｓは被照合エリア８１０ａを１画素に限らず所定の画素ずつ入力ライン方向に遅延させた領域であってもよい。また、被照合エリア８１０ｂ〜８１０Ｓは被照合エリア８１０ａと同様に照合エリア７１０ａと垂直方向で対応する。
【００２４】
次に、マッチング処理部４０の構成および動作について図に基づいて説明する。
図１に示されるように、マッチング処理部４０は、画素遅延部４１０と、基準画像用ライン遅延部４２０と、比較画像用ライン遅延部４３０と、第１のライン処理部４４０と、第２のライン処理部４５０と、差分絶対値和算出部４６０とを備えている。
【００２５】
画素遅延部４１０は、第１の画素データが第１のライン処理部４４０に入力するタイミングを、第２の画素データが第１のライン処理部４４０に入力するタイミングに対して、遅らせる処理を行う。
【００２６】
基準画像用ライン遅延部４２０は、基準画像用信号処理部２０にて信号処理された第１の画素データを垂直方向にｎライン分遅らせる処理をする。同様に、比較画像用ライン遅延部４３０は、比較画像用信号処理部３０にて信号処理された第２の画素データを垂直方向にｎライン分遅らせる処理をする。基準画像用ライン遅延部４２０および比較画像用ライン遅延部４３０により処理がなされた各画素データは、第２のライン処理部４５０に順次入力される。なお、ｎラインは照合エリア７１０ａおよび被照合エリア８１０ａ〜８１０Ｓの垂直方向の画素数ｎに対応している。
【００２７】
次に、第１のライン処理部４４０、第２のライン処理部４５０および差分絶対値和算出部４６０の構成および動作について説明する。最初に、図４を用いて概略を説明し、概略説明後に図１を用いて具体的な回路構成を説明する。以下では、説明の便宜上、まず、図１に示す回路構成の囲み部分Ａに対応する回路の機能について説明する。後で詳細に回路構成の説明をする通り、図１の囲み部分Ａには、第１のライン処理部４４０の差分絶対値算出部４４２１、差分絶対値積算部４４３１が含まれ、第２のライン処理部４５０の差分絶対値算出部４５２１、差分絶対値積算部４５３１が含まれ、差分絶対値和算出部４６０の単位差分絶対値和算出部４６０１が含まれている。
【００２８】
図４（ａ）および図４（ｂ）は、差分絶対値和算出部４６０の機能および動作の概略を説明するための図である。図４（ａ）はｎラインの画素が入力する以前、図４（ｂ）は（ｎ＋ｘ）ラインの画素が入力された後の照合エリアのＳＡＤを示している。
【００２９】
差分絶対値算出部４４２１は、基準画像用撮像素子１１から基準画像用信号処理部２０を介して順次入力される第１の画素データと、比較画像用撮像素子１２から比較画像用信号処理部３０を介して順次入力される第２の画素データとの差分を、画素データが入力される都度計算する。そして、差分絶対値積算部４４３１は、照合エリアに対応する範囲についてｍ個分の差分データを加算し、照合エリアの１ラインにおける差分積算値を算出する。例えば、第１のラインの画素データが入力されたときには、差分絶対値積算部４４３１は、図４（ａ）における「１」で示す範囲にある各画素と、これらと同期して入力された比較画像の各画素との各差分データを加算して差分積算値をライン毎に算出する。
【００３０】
差分絶対値算出部４５２１および差分絶対値積算部４５３１は、順次入力される第１の画素データおよび第２の画素データに対して、差分絶対値算出部４４２１および差分絶対値積算部４４３１と同じ処理を行い、差分積算値積算部４５３１は最終的に照合エリアの１ラインにおける差分積算値を算出する。ただし、差分絶対値算出部４５２１に入力される第１の画素データおよび第２の画素データは、差分絶対値算出部４４２１に入力される第１の画素データおよび第２の画素データに対してｎライン分遅延した画素データである。従って、差分絶対値積算部４５３１は、差分絶対値積算部４４３１よりｎライン分遅れた差分積算値をライン毎に求める。なお、図１に示されるように、差分絶対値積算部４４３１および差分絶対値積算部４５３１は、ｍ個分の差分データをラッチして積算する機能を有する。差分絶対値積算部４４３１および差分絶対値算出部４５３１には、走査方向に従って順次画素データが入力されるので、結果的に、照合エリアを走査方向に移動させた際の差分積算値が順次算出される。
【００３１】
単位差分絶対値和算出部４６０１は、差分絶対値積算部４４３１でライン毎に求めた差分積算値を垂直方向に積算した積算値から、差分絶対値積算部４５３１でライン毎に求めた差分積算値を垂直方向に積算した積算値を引いた値を、ＳＡＤとして求める。ｎラインの画素が入力される以前には、差分絶対値積算部４５３１は、差分積算値の値を出力しないので、図４（ａ）に示すように、差分絶対値積算部４４３１でライン毎に求めた差分積算値が順次加算されていく。そして、第１ラインから第ｎラインまでの全ての差分積算値が加算されたときに、第１〜第ｎラインからなる照合エリアのＳＡＤが求められる。
【００３２】
（ｎ＋１）ライン以降の画素が入力されるようになると、図４（ｂ）に示すように、差分絶対値積算部４４３１は、第１ラインから第（ｎ＋ｘ）ラインまでのライン毎の差分積算値をそれぞれ算出する。一方、差分絶対値算出部４５２１には、ｎライン遅れた画素が入力される。ここで、差分絶対値算出部４４２１に第（ｎ＋ｘ）ラインまで画素データが入力されたときには、差分絶対値算出部４５２１には、第ｘラインまでの画素データが入力され、差分絶対値積算部４５３１は、第１〜第ｘラインまでのライン毎の差分積算値をそれぞれ算出する。そして、単位差分絶対値和算出部４６０１は、差分絶対値積算部４４３１で求めた第１ラインから第（ｎ＋ｘ）ラインまでのライン毎の差分積算値を垂直方向に（ｎ＋ｘ）ライン分積算した積算値から、差分絶対値積算部４５３１で求めた第１〜第ｘラインまでのライン毎の差分積算値を垂直方向にｘライン分積算した積算値を引いた値をＳＡＤとして求める。従って、単位差分絶対値和算出部４６０１は、図４（ｂ）に示すように、第（ｘ＋１）〜（ｎ＋ｘ）ラインからなる照合エリアのＳＡＤを求めることができる。
【００３３】
以上に説明した処理を行うことにより、結果として、図１に示す回路の囲み部分Ａでは、照合エリアを垂直方向に順次移動させた際のＳＡＤを求めることになる。また、上述したとおり、両ライン処理部４４０、４５０が、加算するｍ個分の差分データを走査方向に移動させながら差分積算値を算出するので、結果的に、照合エリアを走査方向にも順次移動させた際のＳＡＤも求められる。以上の説明では、囲み部分Ａについてだけ説明したが、囲み部分Ａの右側にある各回路も上記と同じ処理を行う回路である。図１に見られるように、各回路において比較画像の画素データの入力側にラッチがある。各回路は、比較画像の画素データを少しずつ遅延させている。つまり、これらの各回路は、図３（ｂ）に示すように比較画像をライン方向に遅延させて、上記と同じ処理を行うための回路である。これにより、比較画像をずらして、基準画像の照合エリアと比較画像とのＳＡＤを求める。以上、図１、図４を用いて、第１のライン処理部４４０、第２のライン処理部４５０および差分絶対値和算出部４６０の機能および動作の概略を説明した。
【００３４】
マッチング処理部４０は、差分絶対値和算出部４６０にて求めた複数のＳＡＤに基づいて、複数の被照合エリア８１０ａ〜８１０Ｓのうちの１つを対応エリアとして求める。例えば、マッチング処理部４０は、複数のＳＡＤの中から最小値を求め、ＳＡＤの最小値に対応するエリアを対応エリアとして求める。また、ＳＡＤの最小値に対応するエリアと、これの前後に対応するエリアとの関係などから、最終的な対応エリアを求めてもよい。これにより、マッチング処理部４０は、照合エリア７１０ａに相関の高い被照合エリアを比較画像８００の中から対応エリアとして特定して求めることができる。このとき、マッチング処理部４０は、第１の画素データに対する第２の画素データの遅延量を求めて、求めた遅延量に基づいて、複数の被照合エリア８１０ａ〜８１０Ｓの中から対応エリアを求める。
【００３５】
次に、図１に戻って、上述した第１のライン処理部４４０、第２のライン処理部４５０および差分絶対値和算出部４６０の機能および動作を実現するための詳細な構成について説明する。
【００３６】
図１に示されるように、第１のライン処理部４４０は、画素保持部４４１と、差分絶対値算出部群４４２と、差分絶対値積算部群４４３とを備えている。画素保持部４４１は、比較画像の探索範囲Ｓとした場合において、（Ｓ−１）個のラッチ４４１１を備えている。各ラッチ４４１１には、比較画像用撮像素子１２から比較画像用信号処理部３０を介して入力される第２の画素データが順次保持される。
【００３７】
差分絶対値算出部群４４２は、Ｓ個の差分絶対値算出部４４２１から構成される。各差分絶対値算出部４４２１は、減算器４４２１ａと絶対値算出部（ＡＢＳと称する）４４２１ｂとから構成される。各差分絶対値算出部４４２１は、第１の画素データに対する第２の画素データの遅延量に応じて、画素遅延部４１０から順次入力される第１の画素データと、比較画像用撮像素子１２から比較画像用信号処理部３０を介して順次入力される第２の画素データとの間の差分絶対値を算出する。Ｓ個の差分絶対値算出部４４２１は、第１の画素データに対する第２の画素データの遅延量に対応して、それぞれ設けられている。
【００３８】
各減算器４４２１ａは、画素遅延部４１０から出力される第１の画素データと、比較画像用撮像素子１２から比較画像用信号処理部３０を介して入力される第２の画素データとの間の差分値を算出する。なお、図１の右から（Ｓ−１）番目までの各減算器４４２１ａには、画素保持部４４１内の各ラッチ４４１１に保持された第２の画素データが入力される。各ＡＢＳ４４２１ｂは、各減算器４４２１ａにより算出された差分値の絶対値を算出する。
【００３９】
差分絶対値積算部群４４３は、Ｓ個の差分絶対値積算部４４３１を備えている。各差分絶対値積算部４４３１は、ｍラッチ４４３１ａと、減算器４４３１ｂと、加算器４４３１ｃと、ラッチ４４３１ｄを備えている。各差分絶対値積算部４４３１は、第１の画素データに対する第２の画素データの遅延量に応じて、各差分絶対値算出部４４２１により算出され順次入力される差分絶対値をｍ個分積算して順次出力する。
【００４０】
ｍラッチ４４３１ａは、ＡＢＳ４４２１ｂから順次入力されるｍ個の差分絶対値を保持しつつ、差分絶対値の入力に伴って保持中の差分絶対値を順番に１つずつ出力する。減算器４４３１ｂは、ラッチ４４３１ｄの出力からｍラッチ４４３１ａの出力を差し引く。加算器４４３１ｃは、減算器４４３１ｂの出力と、ＡＢＳ４４２１ｂから入力される差分絶対値とを加算する。ラッチ４４３１ｄには、加算器４４３１ｃの出力が保持される。
【００４１】
各ラッチ４４３１ｄには、当該ラッチ４４３１ｄの出力からｍラッチ４４３１ａの出力を差し引いた差分値に、ＡＢＳ４４２１ｄから入力される差分絶対値を加算した結果が照合エリアの１ラインにおける差分積算値として保持される。各差分絶対値積算部４４３１は、各ラッチ４４３１ｄに保持された差分積算値を差分絶対値和算出部４６０へ出力する。
【００４２】
図１に示されるように、第２のライン処理部４５０は、画素保持部４５１と、差分絶対値算出部群４５２と、差分絶対値積算部群４５３とを備えている。第２のライン処理部４５０の各部の構成は、第１のライン処理部４４０の各部の構成と同一である。第２のライン処理部４５０の各部４５１、４５１１、４５２、４５２１ａ〜ｂ、４５３、４５３１、４５３１ａ〜ｃは、第１のライン処理部４４０の各部４４１、４４１１、４４２、４４２１ａ〜ｂ、４４３、４４３１、４４３１ａ〜ｃにそれぞれ対応する。
【００４３】
画素保持部４５１の各ラッチ４５１１には、比較画像用ライン遅延部４３０により遅延処理が行われた第２の画素データが順次保持される。各差分絶対値算出部４５２１は、第１の画素データに対する第２の画素データの遅延量に応じて、基準画像用ライン遅延部４２０により遅延処理が行われた第１の画素データと、比較画像用ライン遅延部４３０により遅延処理が行われた第２の画素データとの間の差分絶対値を算出する。
【００４４】
各差分絶対値積算部４５３１は、差分絶対値積算部４４３１と同様に、第１の画素データに対する第２の画素データの遅延量に応じて、各差分絶対値算出部４５２１により算出され順次入力される差分絶対値をｍ個分積算して、照合エリアの１ラインにおける差分積算値を算出し、差分絶対値和算出部４６０へ出力する。
【００４５】
差分絶対値和算出部４６０は、Ｓ個の単位差分絶対値和算出部４６０１を備えている。各差分絶対値和算出部４６０１は、加算器４６０１ａと、減算器４６０１ｂと、ラインメモリ４６０１ｃとを備えている。各差分絶対値和算出部４６０１は、第１の画素データに対する第２の画素データの遅延量に応じて、第１のライン処理部４４０でライン毎に求めた差分積算値を垂直方向に積算した積算値から、第２のライン処理部４５０でライン毎に求めた差分積算値を垂直方向に積算した積算値を引いた値を、ＳＡＤとして算出する。
【００４６】
加算器４６０１ａは、第１のライン処理部４４０から入力される差分積算値と、減算器４６０１ｂの出力とを加算して、これをラインメモリ４６０１ｃに出力する。また、各加算器４６０１ａの出力を各差分絶対値和算出部４６０１の出力とする。各減算器４６０１ｂは、ラインメモリ４６０１ｃの出力から、第２のライン処理部４５０から入力される差分積算値を差し引いた差分値を算出し、この差分値を加算器４６０１ａに入力する。ラインメモリ４６０１ｃは、順次入力される加算器４６０１ａの出力を加算して、この加算結果を記憶する。
【００４７】
以上、第１のライン処理部４４０、第２のライン処理部４５０および差分絶対値和算出部４６０の機能および動作を実現するための詳細な構成について説明した。
【００４８】
次に、本発明の第１の実施の形態の撮像装置１０００の動作について、図に基づいて説明する。
図２において、まず、撮像部１０の基準画像用撮像素子１１により生成された基準画像が、基準画像用信号処理部２０による信号処理を経て、マッチング処理部４０に入力される。同様に、撮像部１０の比較画像用撮像素子１２により撮像された比較画像が、基準画像用信号処理部３０による信号処理を経て、マッチング処理部４０に入力される。このとき、基準画像と比較画像は、互いに同期し、垂直方向において互いに対応している。そして、マッチング処理部４０には、基準画像用撮像素子１１から第１の画素データが入力され、比較画像用撮像素子１２から第２の画素データが入力される。
【００４９】
次に、マッチング処理部４０は、基準画像７００中の所定の照合エリア７１０ａに対応する比較画像８００中のエリアを、複数の被照合エリア８１０ａ〜８１０Ｓの中から対応エリアとして求める。マッチング処理部４０には、基準画像用撮像素子１１から基準画像用信号処理部２０を介して第１の画素データが順次入力され、比較画像用撮像素子１２から比較画像用信号処理部３０を介して第２の画素データが順次入力される。マッチング処理部４０に第１の画素データが順次入力することにより、結果として、上記所定の照合エリアは基準画像中を一定の間隔で順次移動し、最終的には照合エリアの移動範囲は基準画像の全領域に及ぶ。以下、マッチング処理について詳しく説明する。
【００５０】
図１において、画素遅延部４１０は、第１の画素データが第１のライン処理部４４０に入力するタイミングを、第２の画素データが第１のライン処理部４４０に入力するタイミングに対して、遅らせる処理を行う。画素遅延部４１０により処理がなされた第１の画素データは、第１のライン処理部４４０に順次入力されるとともに、基準画像用ライン遅延部４２０を介して第２のライン処理部４５０に入力される。
【００５１】
基準画像用ライン遅延部４２０は、基準画像用信号処理部２０にて信号処理された第１の画素データを垂直方向にｎライン分遅らせる処理をする。同様に、比較画像用ライン遅延部４３０は比較画像用信号処理部３０にて信号処理された第２の画素データを垂直方向にｎライン分遅らせる処理をする。基準画像用ライン遅延部４２０および比較画像用ライン遅延部４３０により処理がなされた各画素データは、第２のライン処理部４５０に順次入力される。
【００５２】
次に、第１のライン処理４４０は、基準画像用撮像素子１１から順次入力される第１の画素データと、比較画像用撮像素子１２から順次入力される第２の画素データとの差分を、画素データが入力される都度計算する。具体的には、第１のライン処理部４４０は、基準画像用撮像素子１１から順次入力される第１の画素データのうちで照合エリア７１０ａに対応する画素の画素データと、比較画像用撮像素子１２から順次入力される第２の画素データとの差分を求め、この差分を合計して照合エリアの１ラインにおける差分積算値をライン毎に算出する。
【００５３】
同様にして、第２のライン処理４５０は、基準画像用撮像素子１１からｎライン遅延して順次入力される第１の画素データと、比較画像用撮像素子１２からｎライン遅延して順次入力される第２の画素データとに対して、第１のライン処理部４４０と同様の処理を行い、照合エリアの１ラインにおける差分積算値をライン毎に算出する。この結果、第２のライン処理部４５０は、第１のライン処理部４４０よりｎライン分遅れた差分積算値を算出する。
【００５４】
次に、差分絶対値和算出部４６０は、Ｓ個の単位差分絶対値和算出部４６０１の各々にて、第１のライン処理部４４０から入力されるライン毎の差分積算値を垂直方向に積算した積算値から、第２のライン処理部４５０から入力されるライン毎の差分積算値を垂直方向に積算した積算値を引いた値を、ＳＡＤ[１]、ＳＡＤ[２]、・・・、ＳＡＤ[Ｓ]として算出する。
【００５５】
そして、マッチング処理部４０は、複数のＳＡＤに基づいて、第１の画素データに対する第２の画素データの遅延量を算出し、算出された遅延量に基づいて、比較画像８００中のＳ個の被照合エリア８１０ａ〜８１０Ｓの中から対応エリアを求める。
【００５６】
次に、距離算出部５０は、マッチング処理部４０により求められる対応エリアと照合エリア７１０ａとの位置関係に基づいて、照合エリア７１０ａおよび対応エリアの間のずれ量を算出し、このずれ量と、基準画像用撮像素子１１および比較画像用撮像素子１２の物理的関係とを用いて、照合エリアに映る対象物までの距離を算出し、これを距離情報として出力する。
【００５７】
以上のように、マッチング処理部４０に画素データが順次入力することにより、結果として、所定の照合エリアは基準画像中を一定の間隔で順次移動し、最終的には照合エリアの移動範囲は基準画像の全領域に及ぶ。
【００５８】
次に、撮像装置１０００は、例えば、基準画像用信号処理部２０により出力される画像信号に対して、距離算出部５０により算出された距離に応じた処理を行い、この処理結果から得られる画像を表示部などに表示する。これにより、被写体中の対象物と撮像装置１０００との間の距離に応じた画像を撮像装置１０００の使用者に提供することができる。
【００５９】
このようにして、第１のライン処理部４４０にて、基準画像の照合エリアにおける一のライン上の画素と比較画像の同じライン上の画素との差分絶対値を求める処理を、比較画像の方を遅延させながら行うことにより、入力ラインにおける差分積算値を、比較画像の遅延量に応じて複数求めることができる。第１のライン処理部４４０にて求めた差分積算値を第１〜第ｎラインまで足し合わせることにより、比較画像の遅延量ごとの照合エリアの差分絶対値和を求めることができる。第１のライン処理部４４０における差分積算値を第１〜第（ｎ＋１）まで足し合わせると、照合エリア（ｍ×ｎ画素）を超えてしまう。
【００６０】
本発明では、第２のライン処理部４５０は、第１のライン処理部４４０と同じ処理を、ｎライン遅延した信号について行う。これにより、例えば、第１のライン処理部４４０にて第（ｎ＋１）ラインの差分積算値を求めるタイミングで、第２のライン処理部４５０では第１ラインの差分積算値を求める。そして、差分絶対値和算出部４６０は、第１のライン処理部４４０により算出された差分積算値を積算した値から、第２のライン処理部４５０により算出された差分積算値を積算した値を引いた値を算出するので、常に、ｎライン分を合計した差分絶対値和を求めることができる。
【００６１】
以上の通り、本発明の第１の実施の形態の撮像装置１０００によれば、第１および第２のライン処理部４４０、４５０にて順次入力される第１の画素データおよび第２の画素データを処理することによって、例えば特許文献１等に記載の従来のマッチング処理のように、基準画像および比較画像から画像を切り出す処理を行う必要がなく、さらに切り出し処理のためのメモリを必要とすることなく、照合エリアに対応する対応エリアをリアルタイムで求めることができる。
【００６２】
また、このようにして求めた対応エリアと照合エリア７１０ａの位置関係に基づいて、照合エリアに映る対象物までの距離を算出するので、基準画像７００または比較画像８００を表示部に出力する通常の画像処理と同じ速さで、第１の画素データと第２の画素データとを処理することができ、これにより、通常の画像信号を処理する場合と同じ速度および分解能で距離情報を得ることができる。
【００６３】
この結果、本発明は、第１および第２のライン処理部４４０、４５０にて順次入力される第１の画素データおよび第２の画素データを処理することによって、基準画像７００または比較画像８００の出力に対して遅れることなく、対象物までの距離を基準画像７００および比較画像８００からリアルタイムで求めることができる。また、例えば特許文献１等に記載の従来のマッチング処理のように、基準画像および比較画像から画像を切り出す処理を行う必要がないので、切り出し処理のための特殊なメモリ操作に必要なハードウェアを無くすことができ、撮像装置１０００をより簡単な構成とすることができる。
【００６４】
また、本発明の第１の実施の形態の撮像装置１０００によれば、撮像部１０は、被写体を撮像する２つの撮像素子１１、１２を備え、２つの撮像素子１１、１２のうち、一方の撮像素子１１が基準画像７００を生成し、他方の撮像素子１２が比較画像８００を生成する構成を有している。このように、基準画像７００および比較画像８００を簡単に生成することができる。
【００６５】
（第２の実施の形態）
以下、本発明の第２の実施の形態に係る撮像装置１００１について、図面を用いて説明する。図５は、本発明の第２の実施の形態における撮像装置１００１の構成を示すブロック図である。
【００６６】
本発明の第１の実施の形態の撮像装置１０００と第２の実施の形態の撮像装置１００１とを図２および図５に基づいて比較する。第１の実施の形態の撮像装置１０００では、撮像部１０は２つの撮像素子１１、１２を備えているのに対して、第２の実施の形態の撮像装置１００１では、撮像部１０ａが単体の撮像素子１３により構成されている点で相違する。
【００６７】
また、第１の実施の形態の撮像装置１０００では、２つの撮像素子１１、１２に対応して、２つの信号処理部２０、３０を備えているのに対して、第２の実施の形態の撮像装置１００１では、単体の撮像素子１３に対応して、１つの信号処理部２０ａを備えている点で相違する。
【００６８】
図５に示されるように、撮像装置１００１は、撮像部１０ａと、信号処理部２０ａと、マッチング処理部４０と、距離算出部５０とを備えている。図５において、第１の実施の形態の撮像装置１０００の各部と共通する構成については、同一の符号を付している。
【００６９】
撮像部１０ａは、単体の撮像素子１３により構成されている。撮像素子１３の撮像面には、被写体を撮像するための画像領域が設けられている。この画像領域は、基準画像用撮像領域１３ａと比較画像用撮像領域１３ｂの２つの画像領域に分割されている。また、この２つの撮像領域１３ａ、１３ｂに対向して２つのレンズ（不図示）が設置されている。撮像素子１３は、被写体を撮像することにより、各レンズにより集光された被写体の像を基準画像用撮像領域１３ａおよび比較画像用撮像領域１３ｂのそれぞれに結像する。なお、本発明のカメラは撮像素子１３に相当する。また、本発明の基準画像用撮像部は、撮像素子１３の基準画像用撮像領域１３ａに対応した部分に相当し、本発明の比較画像用撮像部は、撮像素子１３の比較画像用撮像領域１３ｂに対応した部分に相当する。
【００７０】
撮像素子１３は、基準画像用撮像領域１３ａ内に結像された被写体の像から得られる被写体画像から基準画像を生成し、比較画像用撮像領域１３ｂ内に結像された被写体の像から得られる被写体画像から比較画像を生成する。なお、撮像素子１３は基準画像および比較画像が結合した画像を信号処理部２０ａに入力する。第１の実施の形態と同様に、基準画像はマッチング処理部４０による処理の基準となる画像であり、比較画像はマッチング処理部４０による処理で基準画像と比較するための画像である。
【００７１】
信号処理部２０ａは、撮像素子１３から入力される結合画像に対して、例えばＮＴＳＣなどに対応した信号処理を行い、信号処理後に結合画像を基準画像と比較画像の２つに分割する処理を行う。なお、分割された基準画像および比較画像は、撮像素子１３ａにより同時に撮影されているので、互いに同期しており、走査方向も互いに等しい。また、撮像装置１００１の初期設定時などにおいて、分割された基準画像および比較画像は、垂直方向で対応するように調整される。そして、マッチング処理部４０には、撮像素子１３の基準画像用撮像領域１３ａから第１の画素データが、撮像素子１３の比較画像用撮像領域１３ｂから第２の画素データが、それぞれ入力される。
【００７２】
次に、本発明の第２の実施の形態の撮像装置１００１全体の動作について、図に基づいて説明する。
図５において、まず、基準画像および比較画像の結合画像が撮像部１３により撮像され、信号処理部２０ａに入力される。信号処理部２０ａは、結合画像に対して所定の信号処理を行い、基準画像と比較画像の２つに分割する。そして、マッチング処理部４０には、撮像素子１３の基準画像用撮像領域１３ａから第１の画素データが、撮像素子１３の比較画像用撮像領域１３ｂから第２の画素データが、それぞれ入力される。
【００７３】
マッチング処理部４０は、第１の実施の形態の説明と同様に、第１および第２のライン処理部４４０、４５０にて、第１の画素データおよび第２の画素データ間の差分を合計した差分積算値を入力ラインごとにそれぞれ求める。また、差分絶対値和算出部４６０にて、第１のライン処理部４４０によりライン毎に算出された差分積算値を垂直方向に積算した積算値から第２のライン処理部４５０によりライン毎に算出された差分積算値を垂直方向に積算した積算値を引いた値であるＳＡＤを、第１の画素データに対する第２の画素データの遅延量ごとに算出する。さらに、マッチング処理部４０は、複数のＳＡＤに基づいて遅延量を求め、この遅延量に基づいて基準画像７００の照合エリア７１０ａに対応するエリアを比較画像の中から対応エリアとして特定して求める。距離算出部５０も、第１の実施の形態の説明と同様に、マッチング処理部４０により求められる対象エリアと照合エリア７１０ａとの位置関係に基づいて、照合エリアに映る対象物までの距離を算出し、これを距離情報として出力する。
【００７４】
このような本発明の第２の実施の形態の撮像装置１００１によれば、基準画像撮像部および比較画像撮像部は、一の撮像素子１３の撮像領域を基準画像用撮像領域１３ａと比較画像用撮像領域１３ｂとに分割することにより構成されている。これにより、２つの撮像部を１つの撮像素子１３で構成することができ、撮像装置１００１の構成を簡素とすることができ、製造コストを低減することができる。また、基準画像７００および比較画像８００は、互いに同じ撮像素子１３の撮像面で生成されるので、基準画像７００および比較画像８００の間で入力ラインの関係が共通する画像信号を簡単に得ることができる。このため、基準画像７００および比較画像８００の間で、画像信号の同期処理などの調整処理を簡略化することができ、更には製造コストやメンテナンスコストを低減することができる。
【００７５】
以上、本発明の実施の形態を例示により説明したが、本発明の範囲はこれらに限定されるものではなく、請求項に記載された範囲内において目的に応じて変更・変形することが可能である。
【産業上の利用可能性】
【００７６】
以上のように、本発明は、基準画像または比較画像の出力に対して遅れることなく、対象物までの距離を基準画像および比較画像からリアルタイムで求めることができるという効果を有し、例えばステレオカメラにより互いに同期して撮像された２つの画像から、対象物までの距離を算出する撮像装置に有用である。
【図面の簡単な説明】
【００７７】
【図１】本発明の第１の実施の形態における撮像装置のマッチング処理部の構成を示すブロック図
【図２】本発明の第１の実施の形態における撮像装置の構成を示すブロック図
【図３】（ａ） マッチング処理に用いる基準画像の例を示す図 （ｂ） マッチング処理に用いる比較画像の例を示す図
【図４】（ａ） 差分絶対値和算出部の機能および動作の概略を説明するための図 （ｂ） 差分絶対値和算出部の機能および動作の概略を説明するための図
【図５】本発明の第２の実施の形態における撮像装置の構成を示すブロック図
【符号の説明】
【００７８】
１０、１０ａ 撮像部
１１ 基準画像用撮像素子
１２ 比較画像用撮像素子
１３ 撮像素子
１３ａ 基準画像用撮像領域
１３ｂ 比較画像用撮像領域
２０ 基準画像用信号処理部
２０ａ 信号処理部
３０ 比較画像用信号処理部
４０ マッチング処理部
４１０ 画素遅延部
４２０ 基準画像用ライン遅延部
４３０ 比較画像用ライン遅延部
４４０ 第１のライン処理部
４４１ 画素保持部
４４２ 差分絶対値算出部群
４４２１ 差分絶対値算出部
４４３ 差分絶対値積算部群
４４３１ 差分絶対値積算部
４５０ 第２のライン処理部
４５１ 画素保持部
４５２ 差分絶対値算出部群
４５２１ 差分絶対値算出部
４５３ 差分絶対値積算部群
４５３１ 差分絶対値積算部
４６０ 差分絶対値和算出部
４６０１ 単位差分絶対値和算出部
５０ 距離算出部
１０００、１００１ 撮像装置
【技術分野】
【０００１】
本発明は、例えばステレオカメラにより互いに同期して撮像された２つの画像から、対象物までの距離を算出する撮像装置に関する。
【背景技術】
【０００２】
従来から、カメラから被写体までの距離情報を取得する方法として、ステレオ法が広く知られている。このステレオ法に基づいた距離取得の処理では、処理対象の基準となる画像（基準画像）と、処理を行う際に比較される画像（比較画像）の２つの画像を用いる。ステレオ法を採用した撮像装置では、カメラにより基準画像および比較画像を撮像した後に、基準画像の各画素が比較画像のどの位置に対応するかを解析して、この解析結果に基づいて両画像に映る像のずれ（視差）と、基準画像および比較画像を撮像したカメラの物理的な関係とに基づいて、カメラと被写体との間の距離を算出する。
【０００３】
基準画像の各画素が比較画像のどの位置に対応するかの解析には、マッチング処理が一般的に用いられている。マッチング処理では、基準画像から所定画素数（例えばｍ×ｎ画素、ｍ：画素データの入力ライン方向の画素数、ｎ：入力ライン方向に対して垂直方向の画素数）の画素ブロックを切り出すとともに、比較画像中の探索範囲内で切り出し位置をずらしながら、基準画像の画素ブロックと同じサイズ（ｍ×ｎ画素）の画素ブロックを比較画像から切り出して、基準画像および比較画像から切り出された両画素ブロック間のマッチング誤差を求め、マッチング誤差が最小となる画素ブロックの位置を対応点として関連付ける。このようなマッチング処理を適用したブロックマッチング装置が特許文献１に開示されている。また、同じようにマッチング処理を適用した視差ベクトル検出装置が特許文献２に開示されている。
【特許文献１】特開２００２−３５２２４１号公報
【特許文献２】特開２００２−３５４５０３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１等に記載された従来のマッチング処理では、基準画像の画像ブロックおよび比較画像の画像ブロックの間のマッチング誤差を算出するために、基準画像および比較画像のそれぞれから画素ブロックを切り出す必要がある。また、画像ブロックを切り出す際に基準画像および比較画像を一時的にメモリに記憶しておく必要があり、この記憶処理に時間がかかってしまう。このため、マッチング処理が、画像を撮像した時間から大きく遅れて行われることがあった。
【０００５】
更に、比較画像から画像ブロックを切り出す際には、比較画像中の探索範囲内で切り出し位置をずらしながら行うため、比較画像を一時的に記憶するメモリへのアクセスが多くなり、このために画像ブロックの切り出しの処理時間が増大し、また、メモリバス帯域の圧迫などを招いてしまっていた。
【０００６】
本発明は、上記従来の問題を解決するためになされたもので、基準画像または比較画像の出力に対して遅れることなく、対象物までの距離を基準画像および比較画像からリアルタイムで求めることができる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る撮像装置は、被写体を撮像して、基準画像を生成する基準画像撮像部と、被写体を撮像して、前記基準画像と同期して比較画像を生成する比較画像撮像部と、前記基準画像撮像部により生成された前記基準画像中のｍ×ｎ画素（ｍは画素データの入力ライン方向の画素数、ｎは入力ライン方向に対して垂直方向の画素数）からなる所定の照合エリアに対応する前記比較画像中のエリアを対応エリアとして求めるマッチング処理部と、前記マッチング処理部により求められた前記対応エリアと前記照合エリアとの位置関係に基づいて、前記照合エリアに映る対象物までの距離を算出する距離算出部とを有する撮像装置であって、前記マッチング処理部は、前記基準画像撮像部から入力される第１の画素データおよび前記比較画像撮像部から入力される第２の画像データを入力ラインごとに処理する処理部であって、前記基準画像撮像部から順次入力される第１の画像データのうちで前記照合エリアに対応する画素の画素データと、前記比較画像撮像部から順次入力される第２の画素データとの差分を求め、求めた差分を合計して前記入力ラインにおける差分積算値を算出する処理を、前記第１の画素データに対する前記第２の画素データの遅延量を変えて行い、該遅延量ごとに差分積算値を算出する第１のライン処理部と、前記基準画像撮像部からｎライン遅延して入力される第１の画素データおよび前記比較画像撮像部からｎライン遅延して入力される第２の画素データを入力ラインごとに処理する処理部であって、前記基準画像撮像部から順次入力される第１の画素データのうちで前記照合エリアに対応する画素の画素データと、前記比較画像撮像部から順次入力される第２の画素データとの差分を求め、求めた差分を合計して前記入力ラインにおける差分積算値を算出する処理を、前記第１の画素データに対する前記第２の画素データの遅延量を変えて行い、該遅延量ごとに差分積算値を算出する第２のライン処理部と、前記第１のライン処理部により算出された差分積算値を前記垂直方向に積算した積算値から前記第２のライン処理部により算出された差分積算値を前記垂直方向に積算した積算値を引いた差分絶対値和を算出する処理を前記遅延量ごとに行う差分絶対値和算出部と、を備え、前記差分絶対値和算出部により算出される前記差分絶対値和に基づいて前記比較画像の中から前記対応エリアを求める構成を有している。
【０００８】
この構成により、第１のライン処理部にて、基準画像の照合エリアにおける一のライン上の画素と比較画像の同じライン上の画素との差分絶対値を求める処理を、比較画像の方を遅延させながら行うことにより、入力ラインにおける差分絶対値を、比較画像の遅延量に応じて複数求めることができる。第１のライン処理部にて求めた差分絶対値を第１〜第ｎラインまで足し合わせることにより、比較画像の遅延量ごとの照合エリアの差分絶対値和を求めることができる。第１のライン処理部における差分絶対値を第１〜第（ｎ＋１）ライン以上足し合わせると、照合エリア（ｍ×ｎ画素）を超えてしまう。本発明では、第２のライン処理部は、第１のライン処理部と同じ処理を、ｎライン遅延した信号について行う。これにより、例えば、第１のライン処理部にて第（ｎ＋１）ラインの差分絶対値を求めるタイミングで、第２のライン処理部では第１ラインの差分絶対値を求める。そして、差分絶対値和算出部は、第１のライン処理部により算出された差分積算値を積算した値から第２のライン処理部により算出された差分積算値を積算した値を引いた値を差分絶対値和として算出するので、常に、ｎライン分を合計した差分絶対値和を求めることができる。例えば、上記の例では、第１〜第（ｎ＋１）ラインの差分絶対値の積算値から、第１ラインの差分絶対値を引いた値を算出することにより、第２〜第（ｎ＋１）ラインの差分絶対値和が求まる。このように本発明では、第１および第２のライン処理部にて順次入力される第１の画素データおよび第２の画素データを処理することによって、例えば特許文献１等に記載の従来のマッチング処理のように、基準画像および比較画像から画像を切り出す処理を行う必要がなく、さらに切り出し処理のためのメモリを必要とすることなく、照合エリアに対応する対応エリアをリアルタイムに求めることができる。また、このようにして求めた対応エリアと照合エリアの位置関係に基づいて、照合エリアに映る対象物までの距離を算出するので、基準画像または比較画像を表示部などに出力する通常の画像処理と同じ速さで、第１の画素データと第２の画素データとを処理でき、これにより、通常の画像信号を処理する場合と同じ速度および分解能で距離情報を得ることができる。この結果、本発明では、基準画像または比較画像の出力に対して遅れることなく、対象物までの距離を基準画像および比較画像からリアルタイムで求めることができる。
【０００９】
本発明に係る撮像装置において、基準画像撮像部および比較画像撮像部は、一のカメラの撮像領域を分割することにより構成されている。これにより、２つの撮像部を１つのカメラで構成することができ、撮像装置の構成を簡素とすることができ、製造コストを低減することができる。
【発明の効果】
【００１０】
本発明は、第１および第２のライン処理部にて順次入力される第１の画素データおよび第２の画素データを処理することによって、基準画像または比較画像の出力に対して遅れることなく、対象物までの距離を基準画像および比較画像からリアルタイムで求めることができるという優れた効果を有する。
【発明を実施するための最良の形態】
【００１１】
（第１の実施の形態）
以下、本発明の第１の実施の形態に係る撮像装置１０００について、図面を用いて説明する。
図１は撮像装置１０００のマッチング処理部４０の構成を詳細に示す図であり、図２は撮像装置１０００の全体の構成を示す図である。以下の説明では、最初に撮像装置１０００の全体構成を図２に基づいて説明し、次にマッチング処理部４０の構成を図１に基づいて説明する。
【００１２】
図２に示されるように、撮像装置１０００は、撮像部１０と、基準画像用信号処理部２０と、比較画像用信号処理部３０と、マッチング処理部４０と、距離算出部５０とを備えている。
【００１３】
撮像部１０は、一対の撮像素子として、基準画像用撮像素子１１および比較画像用撮像素子１２を備えており、これら２つの撮像素子１１、１２からなるステレオカメラを構成する。基準画像用撮像素子１１および比較画像用撮像素子１２は、所定の間隔を空けて設置されている。基準画像用撮像素子１１および比較画像用撮像素子１２は、被写体を同時に撮像することができるように構成されている。
【００１４】
基準画像用撮像素子１１は、被写体を撮像して、マッチング処理部４０による処理の基準となる基準画像を生成する。比較画像用撮像素子１２は、被写体を撮像して、基準画像と同期して、マッチング処理部４０による処理で基準画像と比較するための比較画像を生成する。基準画像の画素データの入力ライン方向（走査方向）と比較画像の画素データの入力ライン方向（走査方向）は同じである。また、基準画像および比較画像は、例えば撮像装置１０００の初期設定の際のテストパターンによる調整によって、垂直方向において互いに対応するように設定される。テストパターンによる調整は、例えば、後述の基準画像用信号処理部２０または比較画像用信号処理部３０により行われる。本発明の基準画像撮像部は基準画像用撮像素子１１に相当し、本発明の比較画像撮像部は比較画像用撮像素子１２に相当する。また、基準画像用撮像素子１１は第１の画素データを順次出力し、比較画像用撮像素子１２は第１の画素データの出力に同期して第２の画素データを順次出力する。
【００１５】
基準画像用信号処理部２０は、基準画像用撮像素子１１により生成された基準画像に対して、例えばＮＴＳＣ（National Television Standards Committee）などに対応した信号処理を行う。同様に、比較画像用信号処理部３０は、比較画像用撮像素子１２により生成された比較画像に対して、例えばＮＴＳＣなどに対応した信号処理を行う。
【００１６】
マッチング処理部４０は、後で詳細に説明するように、基準画像中の所定の照合エリアに相関の高い比較画像中のエリアを対応エリアとして求める。マッチング処理部４０には、第１の画素データが基準画像用撮像素子１１から基準画像用信号処理部２０を介して順次入力され、第２の画素データが比較画像用撮像素子１２から比較画像用信号処理部３０を介して順次入力される。マッチング処理部４０に画素データが順次入力され、マッチング処理部４０にて下記の処理が行われることにより、結果として、上記所定の照合エリアは基準画像中を一定の間隔で順次移動し、最終的には照合エリアの移動範囲は基準画像の全領域に及ぶ。
【００１７】
距離算出部５０は、マッチング処理部４０により求められる対応エリアと照合エリアとの位置関係に基づいて、対応エリアおよび照合エリアの間のずれ量を算出し、このずれ量と、基準画像用撮像素子１１および比較画像用撮像素子１２の物理的関係とを用いて、照合エリアに映る対象物までの距離を算出し、これを距離情報として出力する。このとき、距離算出部５０は、基準画像中を順次移動する全ての照合エリアについて、対応エリアと照合エリアの間のずれ量を算出し、照合エリアの各々に映る対象物までの距離を算出する。
【００１８】
撮像装置１０００は、例えば、基準画像用信号処理部２０により出力される画像信号に対して、距離算出部５０により算出された距離に応じた処理を行い、この処理結果から得られる画像を表示部などに表示する。これにより、被写体中の対象物と撮像装置１０００との間の距離に応じた画像を撮像装置１０００の使用者に提供することができる。なお、撮像装置１０００は、基準画像用信号処理部２０ではなく比較画像用信号処理部３０により出力される画像信号に対して、上記算出距離に応じた処理を行い、処理後の画像を表示部などに表示してもよい。
【００１９】
次に、マッチング処理部４０について説明するが、具体的な構成および動作を説明する前に、まず、図３に基づいて、基準画像および比較画像の構成を説明する。
【００２０】
図３（ａ）および図３（ｂ）は、マッチング処理部４０にて比較される基準画像および比較画像の例を示す図である。マッチング処理部４０は、基準画像７００中の照合エリア７１０ａ（図３（ａ）参照）と、比較画像８００中の複数の被照合エリア８１０ａ〜８１０Ｓ（図３（ｂ）参照）との相関の高さとして、例えば差分絶対値和（Sum of Absolute：ＳＡＤと称する）を求め、求めた結果に基づいて複数の被照合エリア８１０ａ〜８１０Ｓのうちの１つを対応エリアとして求める。なお、図３（ａ）および図３（ｂ）は、マッチング処理部４０にて行う処理を概念的に示したものであり、本実施の形態では、図３（ａ）および図３（ｂ）に示す各エリアを基準画像あるいは比較画像から切り出す処理を行うわけではない。
【００２１】
照合エリア７１０ａは、基準画像７００中の複数の画素から構成されている。被照合エリア８１０ａは、比較画像８００中の複数の画素から構成されており、照合エリア７１０ａの形状に対応している。ここでは、照合エリア７１０ａおよび被照合エリア８１０ａの大きさをｍ×ｎ画素（ｍは画素データの入力ライン方向（走査方向）の画素数、ｎは入力ライン方向に対して垂直方向の画素数）とする。また、上述の通り、撮像装置１０００の初期設定の段階で、基準画像７００および比較画像８００は垂直方向において互いに対応するように調整されているので、照合エリア７１０ａおよび被照合エリア８１０ａも垂直方向において互いに対応している。
【００２２】
複数の被照合エリア８１０ａ〜８１０Ｓの各々は、比較画像８００の探索範囲をＳとした場合の各被照合エリアの位置を示している。比較画像８００の探索範囲Ｓは、第１の画素データに対する第２の画素データの最大遅延量に対応する。ここでは、被照合エリア８１０ｂ〜８１０Ｓは、被照合エリア８１０ａを入力ライン方向に１画素ずつ、順次遅延させた際の領域を示している。すなわち、被照合エリア８１０ｂは被照合エリア８１０ａを入力ライン方向に１画素分遅延させた際の領域、被照合エリア８１０ｃは被照合エリア８１０ａを入力ライン方向に２画素分遅延させた際の領域・・・、被照合エリアＳは被照合エリア８１０ａを入力ライン方向に（Ｓ−１）画素分遅延させた際の領域となる。
【００２３】
なお、被照合エリア８１０ｂ〜８１０Ｓは被照合エリア８１０ａを１画素ずつ入力ライン方向に遅延させた領域であると説明したが、被照合エリア８１０ｂ〜８１０Ｓは被照合エリア８１０ａを１画素に限らず所定の画素ずつ入力ライン方向に遅延させた領域であってもよい。また、被照合エリア８１０ｂ〜８１０Ｓは被照合エリア８１０ａと同様に照合エリア７１０ａと垂直方向で対応する。
【００２４】
次に、マッチング処理部４０の構成および動作について図に基づいて説明する。
図１に示されるように、マッチング処理部４０は、画素遅延部４１０と、基準画像用ライン遅延部４２０と、比較画像用ライン遅延部４３０と、第１のライン処理部４４０と、第２のライン処理部４５０と、差分絶対値和算出部４６０とを備えている。
【００２５】
画素遅延部４１０は、第１の画素データが第１のライン処理部４４０に入力するタイミングを、第２の画素データが第１のライン処理部４４０に入力するタイミングに対して、遅らせる処理を行う。
【００２６】
基準画像用ライン遅延部４２０は、基準画像用信号処理部２０にて信号処理された第１の画素データを垂直方向にｎライン分遅らせる処理をする。同様に、比較画像用ライン遅延部４３０は、比較画像用信号処理部３０にて信号処理された第２の画素データを垂直方向にｎライン分遅らせる処理をする。基準画像用ライン遅延部４２０および比較画像用ライン遅延部４３０により処理がなされた各画素データは、第２のライン処理部４５０に順次入力される。なお、ｎラインは照合エリア７１０ａおよび被照合エリア８１０ａ〜８１０Ｓの垂直方向の画素数ｎに対応している。
【００２７】
次に、第１のライン処理部４４０、第２のライン処理部４５０および差分絶対値和算出部４６０の構成および動作について説明する。最初に、図４を用いて概略を説明し、概略説明後に図１を用いて具体的な回路構成を説明する。以下では、説明の便宜上、まず、図１に示す回路構成の囲み部分Ａに対応する回路の機能について説明する。後で詳細に回路構成の説明をする通り、図１の囲み部分Ａには、第１のライン処理部４４０の差分絶対値算出部４４２１、差分絶対値積算部４４３１が含まれ、第２のライン処理部４５０の差分絶対値算出部４５２１、差分絶対値積算部４５３１が含まれ、差分絶対値和算出部４６０の単位差分絶対値和算出部４６０１が含まれている。
【００２８】
図４（ａ）および図４（ｂ）は、差分絶対値和算出部４６０の機能および動作の概略を説明するための図である。図４（ａ）はｎラインの画素が入力する以前、図４（ｂ）は（ｎ＋ｘ）ラインの画素が入力された後の照合エリアのＳＡＤを示している。
【００２９】
差分絶対値算出部４４２１は、基準画像用撮像素子１１から基準画像用信号処理部２０を介して順次入力される第１の画素データと、比較画像用撮像素子１２から比較画像用信号処理部３０を介して順次入力される第２の画素データとの差分を、画素データが入力される都度計算する。そして、差分絶対値積算部４４３１は、照合エリアに対応する範囲についてｍ個分の差分データを加算し、照合エリアの１ラインにおける差分積算値を算出する。例えば、第１のラインの画素データが入力されたときには、差分絶対値積算部４４３１は、図４（ａ）における「１」で示す範囲にある各画素と、これらと同期して入力された比較画像の各画素との各差分データを加算して差分積算値をライン毎に算出する。
【００３０】
差分絶対値算出部４５２１および差分絶対値積算部４５３１は、順次入力される第１の画素データおよび第２の画素データに対して、差分絶対値算出部４４２１および差分絶対値積算部４４３１と同じ処理を行い、差分積算値積算部４５３１は最終的に照合エリアの１ラインにおける差分積算値を算出する。ただし、差分絶対値算出部４５２１に入力される第１の画素データおよび第２の画素データは、差分絶対値算出部４４２１に入力される第１の画素データおよび第２の画素データに対してｎライン分遅延した画素データである。従って、差分絶対値積算部４５３１は、差分絶対値積算部４４３１よりｎライン分遅れた差分積算値をライン毎に求める。なお、図１に示されるように、差分絶対値積算部４４３１および差分絶対値積算部４５３１は、ｍ個分の差分データをラッチして積算する機能を有する。差分絶対値積算部４４３１および差分絶対値算出部４５３１には、走査方向に従って順次画素データが入力されるので、結果的に、照合エリアを走査方向に移動させた際の差分積算値が順次算出される。
【００３１】
単位差分絶対値和算出部４６０１は、差分絶対値積算部４４３１でライン毎に求めた差分積算値を垂直方向に積算した積算値から、差分絶対値積算部４５３１でライン毎に求めた差分積算値を垂直方向に積算した積算値を引いた値を、ＳＡＤとして求める。ｎラインの画素が入力される以前には、差分絶対値積算部４５３１は、差分積算値の値を出力しないので、図４（ａ）に示すように、差分絶対値積算部４４３１でライン毎に求めた差分積算値が順次加算されていく。そして、第１ラインから第ｎラインまでの全ての差分積算値が加算されたときに、第１〜第ｎラインからなる照合エリアのＳＡＤが求められる。
【００３２】
（ｎ＋１）ライン以降の画素が入力されるようになると、図４（ｂ）に示すように、差分絶対値積算部４４３１は、第１ラインから第（ｎ＋ｘ）ラインまでのライン毎の差分積算値をそれぞれ算出する。一方、差分絶対値算出部４５２１には、ｎライン遅れた画素が入力される。ここで、差分絶対値算出部４４２１に第（ｎ＋ｘ）ラインまで画素データが入力されたときには、差分絶対値算出部４５２１には、第ｘラインまでの画素データが入力され、差分絶対値積算部４５３１は、第１〜第ｘラインまでのライン毎の差分積算値をそれぞれ算出する。そして、単位差分絶対値和算出部４６０１は、差分絶対値積算部４４３１で求めた第１ラインから第（ｎ＋ｘ）ラインまでのライン毎の差分積算値を垂直方向に（ｎ＋ｘ）ライン分積算した積算値から、差分絶対値積算部４５３１で求めた第１〜第ｘラインまでのライン毎の差分積算値を垂直方向にｘライン分積算した積算値を引いた値をＳＡＤとして求める。従って、単位差分絶対値和算出部４６０１は、図４（ｂ）に示すように、第（ｘ＋１）〜（ｎ＋ｘ）ラインからなる照合エリアのＳＡＤを求めることができる。
【００３３】
以上に説明した処理を行うことにより、結果として、図１に示す回路の囲み部分Ａでは、照合エリアを垂直方向に順次移動させた際のＳＡＤを求めることになる。また、上述したとおり、両ライン処理部４４０、４５０が、加算するｍ個分の差分データを走査方向に移動させながら差分積算値を算出するので、結果的に、照合エリアを走査方向にも順次移動させた際のＳＡＤも求められる。以上の説明では、囲み部分Ａについてだけ説明したが、囲み部分Ａの右側にある各回路も上記と同じ処理を行う回路である。図１に見られるように、各回路において比較画像の画素データの入力側にラッチがある。各回路は、比較画像の画素データを少しずつ遅延させている。つまり、これらの各回路は、図３（ｂ）に示すように比較画像をライン方向に遅延させて、上記と同じ処理を行うための回路である。これにより、比較画像をずらして、基準画像の照合エリアと比較画像とのＳＡＤを求める。以上、図１、図４を用いて、第１のライン処理部４４０、第２のライン処理部４５０および差分絶対値和算出部４６０の機能および動作の概略を説明した。
【００３４】
マッチング処理部４０は、差分絶対値和算出部４６０にて求めた複数のＳＡＤに基づいて、複数の被照合エリア８１０ａ〜８１０Ｓのうちの１つを対応エリアとして求める。例えば、マッチング処理部４０は、複数のＳＡＤの中から最小値を求め、ＳＡＤの最小値に対応するエリアを対応エリアとして求める。また、ＳＡＤの最小値に対応するエリアと、これの前後に対応するエリアとの関係などから、最終的な対応エリアを求めてもよい。これにより、マッチング処理部４０は、照合エリア７１０ａに相関の高い被照合エリアを比較画像８００の中から対応エリアとして特定して求めることができる。このとき、マッチング処理部４０は、第１の画素データに対する第２の画素データの遅延量を求めて、求めた遅延量に基づいて、複数の被照合エリア８１０ａ〜８１０Ｓの中から対応エリアを求める。
【００３５】
次に、図１に戻って、上述した第１のライン処理部４４０、第２のライン処理部４５０および差分絶対値和算出部４６０の機能および動作を実現するための詳細な構成について説明する。
【００３６】
図１に示されるように、第１のライン処理部４４０は、画素保持部４４１と、差分絶対値算出部群４４２と、差分絶対値積算部群４４３とを備えている。画素保持部４４１は、比較画像の探索範囲Ｓとした場合において、（Ｓ−１）個のラッチ４４１１を備えている。各ラッチ４４１１には、比較画像用撮像素子１２から比較画像用信号処理部３０を介して入力される第２の画素データが順次保持される。
【００３７】
差分絶対値算出部群４４２は、Ｓ個の差分絶対値算出部４４２１から構成される。各差分絶対値算出部４４２１は、減算器４４２１ａと絶対値算出部（ＡＢＳと称する）４４２１ｂとから構成される。各差分絶対値算出部４４２１は、第１の画素データに対する第２の画素データの遅延量に応じて、画素遅延部４１０から順次入力される第１の画素データと、比較画像用撮像素子１２から比較画像用信号処理部３０を介して順次入力される第２の画素データとの間の差分絶対値を算出する。Ｓ個の差分絶対値算出部４４２１は、第１の画素データに対する第２の画素データの遅延量に対応して、それぞれ設けられている。
【００３８】
各減算器４４２１ａは、画素遅延部４１０から出力される第１の画素データと、比較画像用撮像素子１２から比較画像用信号処理部３０を介して入力される第２の画素データとの間の差分値を算出する。なお、図１の右から（Ｓ−１）番目までの各減算器４４２１ａには、画素保持部４４１内の各ラッチ４４１１に保持された第２の画素データが入力される。各ＡＢＳ４４２１ｂは、各減算器４４２１ａにより算出された差分値の絶対値を算出する。
【００３９】
差分絶対値積算部群４４３は、Ｓ個の差分絶対値積算部４４３１を備えている。各差分絶対値積算部４４３１は、ｍラッチ４４３１ａと、減算器４４３１ｂと、加算器４４３１ｃと、ラッチ４４３１ｄを備えている。各差分絶対値積算部４４３１は、第１の画素データに対する第２の画素データの遅延量に応じて、各差分絶対値算出部４４２１により算出され順次入力される差分絶対値をｍ個分積算して順次出力する。
【００４０】
ｍラッチ４４３１ａは、ＡＢＳ４４２１ｂから順次入力されるｍ個の差分絶対値を保持しつつ、差分絶対値の入力に伴って保持中の差分絶対値を順番に１つずつ出力する。減算器４４３１ｂは、ラッチ４４３１ｄの出力からｍラッチ４４３１ａの出力を差し引く。加算器４４３１ｃは、減算器４４３１ｂの出力と、ＡＢＳ４４２１ｂから入力される差分絶対値とを加算する。ラッチ４４３１ｄには、加算器４４３１ｃの出力が保持される。
【００４１】
各ラッチ４４３１ｄには、当該ラッチ４４３１ｄの出力からｍラッチ４４３１ａの出力を差し引いた差分値に、ＡＢＳ４４２１ｄから入力される差分絶対値を加算した結果が照合エリアの１ラインにおける差分積算値として保持される。各差分絶対値積算部４４３１は、各ラッチ４４３１ｄに保持された差分積算値を差分絶対値和算出部４６０へ出力する。
【００４２】
図１に示されるように、第２のライン処理部４５０は、画素保持部４５１と、差分絶対値算出部群４５２と、差分絶対値積算部群４５３とを備えている。第２のライン処理部４５０の各部の構成は、第１のライン処理部４４０の各部の構成と同一である。第２のライン処理部４５０の各部４５１、４５１１、４５２、４５２１ａ〜ｂ、４５３、４５３１、４５３１ａ〜ｃは、第１のライン処理部４４０の各部４４１、４４１１、４４２、４４２１ａ〜ｂ、４４３、４４３１、４４３１ａ〜ｃにそれぞれ対応する。
【００４３】
画素保持部４５１の各ラッチ４５１１には、比較画像用ライン遅延部４３０により遅延処理が行われた第２の画素データが順次保持される。各差分絶対値算出部４５２１は、第１の画素データに対する第２の画素データの遅延量に応じて、基準画像用ライン遅延部４２０により遅延処理が行われた第１の画素データと、比較画像用ライン遅延部４３０により遅延処理が行われた第２の画素データとの間の差分絶対値を算出する。
【００４４】
各差分絶対値積算部４５３１は、差分絶対値積算部４４３１と同様に、第１の画素データに対する第２の画素データの遅延量に応じて、各差分絶対値算出部４５２１により算出され順次入力される差分絶対値をｍ個分積算して、照合エリアの１ラインにおける差分積算値を算出し、差分絶対値和算出部４６０へ出力する。
【００４５】
差分絶対値和算出部４６０は、Ｓ個の単位差分絶対値和算出部４６０１を備えている。各差分絶対値和算出部４６０１は、加算器４６０１ａと、減算器４６０１ｂと、ラインメモリ４６０１ｃとを備えている。各差分絶対値和算出部４６０１は、第１の画素データに対する第２の画素データの遅延量に応じて、第１のライン処理部４４０でライン毎に求めた差分積算値を垂直方向に積算した積算値から、第２のライン処理部４５０でライン毎に求めた差分積算値を垂直方向に積算した積算値を引いた値を、ＳＡＤとして算出する。
【００４６】
加算器４６０１ａは、第１のライン処理部４４０から入力される差分積算値と、減算器４６０１ｂの出力とを加算して、これをラインメモリ４６０１ｃに出力する。また、各加算器４６０１ａの出力を各差分絶対値和算出部４６０１の出力とする。各減算器４６０１ｂは、ラインメモリ４６０１ｃの出力から、第２のライン処理部４５０から入力される差分積算値を差し引いた差分値を算出し、この差分値を加算器４６０１ａに入力する。ラインメモリ４６０１ｃは、順次入力される加算器４６０１ａの出力を加算して、この加算結果を記憶する。
【００４７】
以上、第１のライン処理部４４０、第２のライン処理部４５０および差分絶対値和算出部４６０の機能および動作を実現するための詳細な構成について説明した。
【００４８】
次に、本発明の第１の実施の形態の撮像装置１０００の動作について、図に基づいて説明する。
図２において、まず、撮像部１０の基準画像用撮像素子１１により生成された基準画像が、基準画像用信号処理部２０による信号処理を経て、マッチング処理部４０に入力される。同様に、撮像部１０の比較画像用撮像素子１２により撮像された比較画像が、基準画像用信号処理部３０による信号処理を経て、マッチング処理部４０に入力される。このとき、基準画像と比較画像は、互いに同期し、垂直方向において互いに対応している。そして、マッチング処理部４０には、基準画像用撮像素子１１から第１の画素データが入力され、比較画像用撮像素子１２から第２の画素データが入力される。
【００４９】
次に、マッチング処理部４０は、基準画像７００中の所定の照合エリア７１０ａに対応する比較画像８００中のエリアを、複数の被照合エリア８１０ａ〜８１０Ｓの中から対応エリアとして求める。マッチング処理部４０には、基準画像用撮像素子１１から基準画像用信号処理部２０を介して第１の画素データが順次入力され、比較画像用撮像素子１２から比較画像用信号処理部３０を介して第２の画素データが順次入力される。マッチング処理部４０に第１の画素データが順次入力することにより、結果として、上記所定の照合エリアは基準画像中を一定の間隔で順次移動し、最終的には照合エリアの移動範囲は基準画像の全領域に及ぶ。以下、マッチング処理について詳しく説明する。
【００５０】
図１において、画素遅延部４１０は、第１の画素データが第１のライン処理部４４０に入力するタイミングを、第２の画素データが第１のライン処理部４４０に入力するタイミングに対して、遅らせる処理を行う。画素遅延部４１０により処理がなされた第１の画素データは、第１のライン処理部４４０に順次入力されるとともに、基準画像用ライン遅延部４２０を介して第２のライン処理部４５０に入力される。
【００５１】
基準画像用ライン遅延部４２０は、基準画像用信号処理部２０にて信号処理された第１の画素データを垂直方向にｎライン分遅らせる処理をする。同様に、比較画像用ライン遅延部４３０は比較画像用信号処理部３０にて信号処理された第２の画素データを垂直方向にｎライン分遅らせる処理をする。基準画像用ライン遅延部４２０および比較画像用ライン遅延部４３０により処理がなされた各画素データは、第２のライン処理部４５０に順次入力される。
【００５２】
次に、第１のライン処理４４０は、基準画像用撮像素子１１から順次入力される第１の画素データと、比較画像用撮像素子１２から順次入力される第２の画素データとの差分を、画素データが入力される都度計算する。具体的には、第１のライン処理部４４０は、基準画像用撮像素子１１から順次入力される第１の画素データのうちで照合エリア７１０ａに対応する画素の画素データと、比較画像用撮像素子１２から順次入力される第２の画素データとの差分を求め、この差分を合計して照合エリアの１ラインにおける差分積算値をライン毎に算出する。
【００５３】
同様にして、第２のライン処理４５０は、基準画像用撮像素子１１からｎライン遅延して順次入力される第１の画素データと、比較画像用撮像素子１２からｎライン遅延して順次入力される第２の画素データとに対して、第１のライン処理部４４０と同様の処理を行い、照合エリアの１ラインにおける差分積算値をライン毎に算出する。この結果、第２のライン処理部４５０は、第１のライン処理部４４０よりｎライン分遅れた差分積算値を算出する。
【００５４】
次に、差分絶対値和算出部４６０は、Ｓ個の単位差分絶対値和算出部４６０１の各々にて、第１のライン処理部４４０から入力されるライン毎の差分積算値を垂直方向に積算した積算値から、第２のライン処理部４５０から入力されるライン毎の差分積算値を垂直方向に積算した積算値を引いた値を、ＳＡＤ[１]、ＳＡＤ[２]、・・・、ＳＡＤ[Ｓ]として算出する。
【００５５】
そして、マッチング処理部４０は、複数のＳＡＤに基づいて、第１の画素データに対する第２の画素データの遅延量を算出し、算出された遅延量に基づいて、比較画像８００中のＳ個の被照合エリア８１０ａ〜８１０Ｓの中から対応エリアを求める。
【００５６】
次に、距離算出部５０は、マッチング処理部４０により求められる対応エリアと照合エリア７１０ａとの位置関係に基づいて、照合エリア７１０ａおよび対応エリアの間のずれ量を算出し、このずれ量と、基準画像用撮像素子１１および比較画像用撮像素子１２の物理的関係とを用いて、照合エリアに映る対象物までの距離を算出し、これを距離情報として出力する。
【００５７】
以上のように、マッチング処理部４０に画素データが順次入力することにより、結果として、所定の照合エリアは基準画像中を一定の間隔で順次移動し、最終的には照合エリアの移動範囲は基準画像の全領域に及ぶ。
【００５８】
次に、撮像装置１０００は、例えば、基準画像用信号処理部２０により出力される画像信号に対して、距離算出部５０により算出された距離に応じた処理を行い、この処理結果から得られる画像を表示部などに表示する。これにより、被写体中の対象物と撮像装置１０００との間の距離に応じた画像を撮像装置１０００の使用者に提供することができる。
【００５９】
このようにして、第１のライン処理部４４０にて、基準画像の照合エリアにおける一のライン上の画素と比較画像の同じライン上の画素との差分絶対値を求める処理を、比較画像の方を遅延させながら行うことにより、入力ラインにおける差分積算値を、比較画像の遅延量に応じて複数求めることができる。第１のライン処理部４４０にて求めた差分積算値を第１〜第ｎラインまで足し合わせることにより、比較画像の遅延量ごとの照合エリアの差分絶対値和を求めることができる。第１のライン処理部４４０における差分積算値を第１〜第（ｎ＋１）まで足し合わせると、照合エリア（ｍ×ｎ画素）を超えてしまう。
【００６０】
本発明では、第２のライン処理部４５０は、第１のライン処理部４４０と同じ処理を、ｎライン遅延した信号について行う。これにより、例えば、第１のライン処理部４４０にて第（ｎ＋１）ラインの差分積算値を求めるタイミングで、第２のライン処理部４５０では第１ラインの差分積算値を求める。そして、差分絶対値和算出部４６０は、第１のライン処理部４４０により算出された差分積算値を積算した値から、第２のライン処理部４５０により算出された差分積算値を積算した値を引いた値を算出するので、常に、ｎライン分を合計した差分絶対値和を求めることができる。
【００６１】
以上の通り、本発明の第１の実施の形態の撮像装置１０００によれば、第１および第２のライン処理部４４０、４５０にて順次入力される第１の画素データおよび第２の画素データを処理することによって、例えば特許文献１等に記載の従来のマッチング処理のように、基準画像および比較画像から画像を切り出す処理を行う必要がなく、さらに切り出し処理のためのメモリを必要とすることなく、照合エリアに対応する対応エリアをリアルタイムで求めることができる。
【００６２】
また、このようにして求めた対応エリアと照合エリア７１０ａの位置関係に基づいて、照合エリアに映る対象物までの距離を算出するので、基準画像７００または比較画像８００を表示部に出力する通常の画像処理と同じ速さで、第１の画素データと第２の画素データとを処理することができ、これにより、通常の画像信号を処理する場合と同じ速度および分解能で距離情報を得ることができる。
【００６３】
この結果、本発明は、第１および第２のライン処理部４４０、４５０にて順次入力される第１の画素データおよび第２の画素データを処理することによって、基準画像７００または比較画像８００の出力に対して遅れることなく、対象物までの距離を基準画像７００および比較画像８００からリアルタイムで求めることができる。また、例えば特許文献１等に記載の従来のマッチング処理のように、基準画像および比較画像から画像を切り出す処理を行う必要がないので、切り出し処理のための特殊なメモリ操作に必要なハードウェアを無くすことができ、撮像装置１０００をより簡単な構成とすることができる。
【００６４】
また、本発明の第１の実施の形態の撮像装置１０００によれば、撮像部１０は、被写体を撮像する２つの撮像素子１１、１２を備え、２つの撮像素子１１、１２のうち、一方の撮像素子１１が基準画像７００を生成し、他方の撮像素子１２が比較画像８００を生成する構成を有している。このように、基準画像７００および比較画像８００を簡単に生成することができる。
【００６５】
（第２の実施の形態）
以下、本発明の第２の実施の形態に係る撮像装置１００１について、図面を用いて説明する。図５は、本発明の第２の実施の形態における撮像装置１００１の構成を示すブロック図である。
【００６６】
本発明の第１の実施の形態の撮像装置１０００と第２の実施の形態の撮像装置１００１とを図２および図５に基づいて比較する。第１の実施の形態の撮像装置１０００では、撮像部１０は２つの撮像素子１１、１２を備えているのに対して、第２の実施の形態の撮像装置１００１では、撮像部１０ａが単体の撮像素子１３により構成されている点で相違する。
【００６７】
また、第１の実施の形態の撮像装置１０００では、２つの撮像素子１１、１２に対応して、２つの信号処理部２０、３０を備えているのに対して、第２の実施の形態の撮像装置１００１では、単体の撮像素子１３に対応して、１つの信号処理部２０ａを備えている点で相違する。
【００６８】
図５に示されるように、撮像装置１００１は、撮像部１０ａと、信号処理部２０ａと、マッチング処理部４０と、距離算出部５０とを備えている。図５において、第１の実施の形態の撮像装置１０００の各部と共通する構成については、同一の符号を付している。
【００６９】
撮像部１０ａは、単体の撮像素子１３により構成されている。撮像素子１３の撮像面には、被写体を撮像するための画像領域が設けられている。この画像領域は、基準画像用撮像領域１３ａと比較画像用撮像領域１３ｂの２つの画像領域に分割されている。また、この２つの撮像領域１３ａ、１３ｂに対向して２つのレンズ（不図示）が設置されている。撮像素子１３は、被写体を撮像することにより、各レンズにより集光された被写体の像を基準画像用撮像領域１３ａおよび比較画像用撮像領域１３ｂのそれぞれに結像する。なお、本発明のカメラは撮像素子１３に相当する。また、本発明の基準画像用撮像部は、撮像素子１３の基準画像用撮像領域１３ａに対応した部分に相当し、本発明の比較画像用撮像部は、撮像素子１３の比較画像用撮像領域１３ｂに対応した部分に相当する。
【００７０】
撮像素子１３は、基準画像用撮像領域１３ａ内に結像された被写体の像から得られる被写体画像から基準画像を生成し、比較画像用撮像領域１３ｂ内に結像された被写体の像から得られる被写体画像から比較画像を生成する。なお、撮像素子１３は基準画像および比較画像が結合した画像を信号処理部２０ａに入力する。第１の実施の形態と同様に、基準画像はマッチング処理部４０による処理の基準となる画像であり、比較画像はマッチング処理部４０による処理で基準画像と比較するための画像である。
【００７１】
信号処理部２０ａは、撮像素子１３から入力される結合画像に対して、例えばＮＴＳＣなどに対応した信号処理を行い、信号処理後に結合画像を基準画像と比較画像の２つに分割する処理を行う。なお、分割された基準画像および比較画像は、撮像素子１３ａにより同時に撮影されているので、互いに同期しており、走査方向も互いに等しい。また、撮像装置１００１の初期設定時などにおいて、分割された基準画像および比較画像は、垂直方向で対応するように調整される。そして、マッチング処理部４０には、撮像素子１３の基準画像用撮像領域１３ａから第１の画素データが、撮像素子１３の比較画像用撮像領域１３ｂから第２の画素データが、それぞれ入力される。
【００７２】
次に、本発明の第２の実施の形態の撮像装置１００１全体の動作について、図に基づいて説明する。
図５において、まず、基準画像および比較画像の結合画像が撮像部１３により撮像され、信号処理部２０ａに入力される。信号処理部２０ａは、結合画像に対して所定の信号処理を行い、基準画像と比較画像の２つに分割する。そして、マッチング処理部４０には、撮像素子１３の基準画像用撮像領域１３ａから第１の画素データが、撮像素子１３の比較画像用撮像領域１３ｂから第２の画素データが、それぞれ入力される。
【００７３】
マッチング処理部４０は、第１の実施の形態の説明と同様に、第１および第２のライン処理部４４０、４５０にて、第１の画素データおよび第２の画素データ間の差分を合計した差分積算値を入力ラインごとにそれぞれ求める。また、差分絶対値和算出部４６０にて、第１のライン処理部４４０によりライン毎に算出された差分積算値を垂直方向に積算した積算値から第２のライン処理部４５０によりライン毎に算出された差分積算値を垂直方向に積算した積算値を引いた値であるＳＡＤを、第１の画素データに対する第２の画素データの遅延量ごとに算出する。さらに、マッチング処理部４０は、複数のＳＡＤに基づいて遅延量を求め、この遅延量に基づいて基準画像７００の照合エリア７１０ａに対応するエリアを比較画像の中から対応エリアとして特定して求める。距離算出部５０も、第１の実施の形態の説明と同様に、マッチング処理部４０により求められる対象エリアと照合エリア７１０ａとの位置関係に基づいて、照合エリアに映る対象物までの距離を算出し、これを距離情報として出力する。
【００７４】
このような本発明の第２の実施の形態の撮像装置１００１によれば、基準画像撮像部および比較画像撮像部は、一の撮像素子１３の撮像領域を基準画像用撮像領域１３ａと比較画像用撮像領域１３ｂとに分割することにより構成されている。これにより、２つの撮像部を１つの撮像素子１３で構成することができ、撮像装置１００１の構成を簡素とすることができ、製造コストを低減することができる。また、基準画像７００および比較画像８００は、互いに同じ撮像素子１３の撮像面で生成されるので、基準画像７００および比較画像８００の間で入力ラインの関係が共通する画像信号を簡単に得ることができる。このため、基準画像７００および比較画像８００の間で、画像信号の同期処理などの調整処理を簡略化することができ、更には製造コストやメンテナンスコストを低減することができる。
【００７５】
以上、本発明の実施の形態を例示により説明したが、本発明の範囲はこれらに限定されるものではなく、請求項に記載された範囲内において目的に応じて変更・変形することが可能である。
【産業上の利用可能性】
【００７６】
以上のように、本発明は、基準画像または比較画像の出力に対して遅れることなく、対象物までの距離を基準画像および比較画像からリアルタイムで求めることができるという効果を有し、例えばステレオカメラにより互いに同期して撮像された２つの画像から、対象物までの距離を算出する撮像装置に有用である。
【図面の簡単な説明】
【００７７】
【図１】本発明の第１の実施の形態における撮像装置のマッチング処理部の構成を示すブロック図
【図２】本発明の第１の実施の形態における撮像装置の構成を示すブロック図
【図３】（ａ） マッチング処理に用いる基準画像の例を示す図 （ｂ） マッチング処理に用いる比較画像の例を示す図
【図４】（ａ） 差分絶対値和算出部の機能および動作の概略を説明するための図 （ｂ） 差分絶対値和算出部の機能および動作の概略を説明するための図
【図５】本発明の第２の実施の形態における撮像装置の構成を示すブロック図
【符号の説明】
【００７８】
１０、１０ａ 撮像部
１１ 基準画像用撮像素子
１２ 比較画像用撮像素子
１３ 撮像素子
１３ａ 基準画像用撮像領域
１３ｂ 比較画像用撮像領域
２０ 基準画像用信号処理部
２０ａ 信号処理部
３０ 比較画像用信号処理部
４０ マッチング処理部
４１０ 画素遅延部
４２０ 基準画像用ライン遅延部
４３０ 比較画像用ライン遅延部
４４０ 第１のライン処理部
４４１ 画素保持部
４４２ 差分絶対値算出部群
４４２１ 差分絶対値算出部
４４３ 差分絶対値積算部群
４４３１ 差分絶対値積算部
４５０ 第２のライン処理部
４５１ 画素保持部
４５２ 差分絶対値算出部群
４５２１ 差分絶対値算出部
４５３ 差分絶対値積算部群
４５３１ 差分絶対値積算部
４６０ 差分絶対値和算出部
４６０１ 単位差分絶対値和算出部
５０ 距離算出部
１０００、１００１ 撮像装置
【特許請求の範囲】
【請求項１】
被写体を撮像して、基準画像を生成する基準画像撮像部と、
被写体を撮像して、前記基準画像と同期して比較画像を生成する比較画像撮像部と、
前記基準画像撮像部により生成された前記基準画像中のｍ×ｎ画素（ｍは画素データの入力ライン方向の画素数、ｎは入力ライン方向に対して垂直方向の画素数）からなる所定の照合エリアに対応する前記比較画像中のエリアを対応エリアとして求めるマッチング処理部と、
前記マッチング処理部により求められた前記対応エリアと前記照合エリアとの位置関係に基づいて、前記照合エリアに映る対象物までの距離を算出する距離算出部とを有する撮像装置であって、
前記マッチング処理部は、
前記基準画像撮像部から入力される第１の画素データおよび前記比較画像撮像部から入力される第２の画像データを入力ラインごとに処理する処理部であって、前記基準画像撮像部から順次入力される第１の画像データのうちで前記照合エリアに対応する画素の画素データと、前記比較画像撮像部から順次入力される第２の画素データとの差分を求め、求めた差分を合計して前記入力ラインにおける差分積算値を算出する処理を、前記第１の画素データに対する前記第２の画素データの遅延量を変えて行い、該遅延量ごとに差分積算値を算出する第１のライン処理部と、
前記基準画像撮像部からｎライン遅延して入力される第１の画素データおよび前記比較画像撮像部からｎライン遅延して入力される第２の画素データを入力ラインごとに処理する処理部であって、前記基準画像撮像部から順次入力される第１の画素データのうちで前記照合エリアに対応する画素の画素データと、前記比較画像撮像部から順次入力される第２の画素データとの差分を求め、求めた差分を合計して前記入力ラインにおける差分積算値を算出する処理を、前記第１の画素データに対する前記第２の画素データの遅延量を変えて行い、該遅延量ごとに差分積算値を算出する第２のライン処理部と、
前記第１のライン処理部により算出された差分積算値を前記垂直方向に積算した積算値から前記第２のライン処理部により算出された差分積算値を前記垂直方向に積算した積算値を引いた差分絶対値和を算出する処理を前記遅延量ごとに行う差分絶対値和算出部と、
を備え、
前記差分絶対値和算出部により算出される差分絶対値和に基づいて前記比較画像の中から前記対応エリアを求めることを特徴とする撮像装置。
【請求項２】
前記基準画像撮像部および前記比較画像撮像部は、一のカメラの撮像領域を分割することにより構成されていることを特徴とする請求項１に記載の撮像装置。
【請求項１】
被写体を撮像して、基準画像を生成する基準画像撮像部と、
被写体を撮像して、前記基準画像と同期して比較画像を生成する比較画像撮像部と、
前記基準画像撮像部により生成された前記基準画像中のｍ×ｎ画素（ｍは画素データの入力ライン方向の画素数、ｎは入力ライン方向に対して垂直方向の画素数）からなる所定の照合エリアに対応する前記比較画像中のエリアを対応エリアとして求めるマッチング処理部と、
前記マッチング処理部により求められた前記対応エリアと前記照合エリアとの位置関係に基づいて、前記照合エリアに映る対象物までの距離を算出する距離算出部とを有する撮像装置であって、
前記マッチング処理部は、
前記基準画像撮像部から入力される第１の画素データおよび前記比較画像撮像部から入力される第２の画像データを入力ラインごとに処理する処理部であって、前記基準画像撮像部から順次入力される第１の画像データのうちで前記照合エリアに対応する画素の画素データと、前記比較画像撮像部から順次入力される第２の画素データとの差分を求め、求めた差分を合計して前記入力ラインにおける差分積算値を算出する処理を、前記第１の画素データに対する前記第２の画素データの遅延量を変えて行い、該遅延量ごとに差分積算値を算出する第１のライン処理部と、
前記基準画像撮像部からｎライン遅延して入力される第１の画素データおよび前記比較画像撮像部からｎライン遅延して入力される第２の画素データを入力ラインごとに処理する処理部であって、前記基準画像撮像部から順次入力される第１の画素データのうちで前記照合エリアに対応する画素の画素データと、前記比較画像撮像部から順次入力される第２の画素データとの差分を求め、求めた差分を合計して前記入力ラインにおける差分積算値を算出する処理を、前記第１の画素データに対する前記第２の画素データの遅延量を変えて行い、該遅延量ごとに差分積算値を算出する第２のライン処理部と、
前記第１のライン処理部により算出された差分積算値を前記垂直方向に積算した積算値から前記第２のライン処理部により算出された差分積算値を前記垂直方向に積算した積算値を引いた差分絶対値和を算出する処理を前記遅延量ごとに行う差分絶対値和算出部と、
を備え、
前記差分絶対値和算出部により算出される差分絶対値和に基づいて前記比較画像の中から前記対応エリアを求めることを特徴とする撮像装置。
【請求項２】
前記基準画像撮像部および前記比較画像撮像部は、一のカメラの撮像領域を分割することにより構成されていることを特徴とする請求項１に記載の撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１０−１３０３０８（Ｐ２０１０−１３０３０８Ａ）
【公開日】平成２２年６月１０日（２０１０．６．１０）
【国際特許分類】
【出願番号】特願２００８−３０２４６９（Ｐ２００８−３０２４６９）
【出願日】平成２０年１１月２７日（２００８．１１．２７）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２２年６月１０日（２０１０．６．１０）
【国際特許分類】
【出願日】平成２０年１１月２７日（２００８．１１．２７）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]