画像処理装置および画像処理方法
【課題】高密度の視差情報の導出を安価な低処理能力の計算機で実現する。
【解決手段】画像処理装置１２０は、現在より過去における１または複数回分の視差を示す視差情報を保持するデータ保持部１５２と、光軸を異にして撮像された２つの画像データを取得する画像取得部１５０と、２つの画像データのうち予め定められたいずれか一方の画像データの任意の画像位置における基準部分画像に対応する、他方の画像データの対応部分画像の探索範囲を、任意の画像位置に関連付けて保持された過去における視差情報に示された視差に基づいて決定する探索範囲決定部１６０と、決定された他方の画像データの探索範囲から対応部分画像を探索する部分画像探索部１６２と、任意の画像位置と探索された対応部分画像の画像位置とから視差を導出し、視差を示す視差情報を、任意の画像位置に関連付けてデータ保持部に保持させる視差導出部１６４とを備える。
【解決手段】画像処理装置１２０は、現在より過去における１または複数回分の視差を示す視差情報を保持するデータ保持部１５２と、光軸を異にして撮像された２つの画像データを取得する画像取得部１５０と、２つの画像データのうち予め定められたいずれか一方の画像データの任意の画像位置における基準部分画像に対応する、他方の画像データの対応部分画像の探索範囲を、任意の画像位置に関連付けて保持された過去における視差情報に示された視差に基づいて決定する探索範囲決定部１６０と、決定された他方の画像データの探索範囲から対応部分画像を探索する部分画像探索部１６２と、任意の画像位置と探索された対応部分画像の画像位置とから視差を導出し、視差を示す視差情報を、任意の画像位置に関連付けてデータ保持部に保持させる視差導出部１６４とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ステレオ法により２つの画像データにおける画像間の視差を導出する画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
所定の位置から対象物の位置までの距離を求める方法として、三角測量法を用いた方法が考えられる。例えば、異なる位置に配置された２台の撮像装置（カメラ）を準備し、２台の撮像装置でそれぞれの光軸を平行に配して対象物を撮像し、撮像された一対の画像データから、共通する部分画像を探索し、その部分画像の画像間における視差を算出し、さらに各撮像装置の焦点距離や光軸間の距離（基線長）等といった撮像装置のパラメータを用いて、三角測量法の原理により視差から３次元情報を求めることができる。この計測技術はステレオ法と呼ばれ、様々な分野で３次元情報を活かした応用提案がなされている。
【０００３】
例えば、ステレオ法を用いて３次元情報を生成する車両用距離検出装置において、異なる方向から複数枚の画像を撮像し、その距離分布を利用することで、画像内の様々な対象物の３次元位置を同時に検出する技術が開示されている（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平５−１１４０９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ステレオ法においては、まず、撮像された２つの画像データのうち一方の画像データを基準にして、任意の画像位置における部分画像に対応する部分画像（対応部分画像）を他方の画像データから探索し、任意の画像位置と、その探索した対応部分画像の画像位置との視差を計算する。このような対応部分画像の探索では、他方の画像データから任意の部分画像を抽出して一方の画像データの部分画像と比較する処理を、他方の画像データで抽出しうる全ての部分画像に関して行うため処理負荷が膨大なものとなり、処理速度の低下を招くおそれがある。
【０００６】
そこで、画像データ中のエッジ等の特徴点や一部の小領域のみを測定対象として処理負荷を低減することが考えられるが、それにより得られる視差情報は密度の粗いものとなってしまう。これに対して、特許文献１に記載の技術では、高速なハードウェア回路によって処理速度の低下を防ぐ一方、高密度の視差情報を算出可能としている。しかしながら、このような専用のハードウェアを採用すると、汎用のＣＰＵを使用する場合と比較して開発を含めた初期コストが増大し、量産効果を期待できない少量生産を前提とした製品には導入できないといった問題があった。
【０００７】
本発明は、このような課題に鑑み、対応部分画像を探索する処理負荷を低減することで、高密度の視差情報の導出を安価な低処理能力の計算機で実現可能な画像処理装置および画像処理方法を提供することを目的としている。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、光軸を異にして撮像された２つの画像データにおける画像間の視差を導出する本発明の画像処理装置は、導出された、現在より過去における１または複数回分の視差を示す視差情報を保持するデータ保持部と、２つの画像データを取得する画像取得部と、２つの画像データのいずれか一方の画像データの任意の画像位置における部分画像である基準部分画像に対応する、他方の画像データの部分画像である対応部分画像の探索範囲を、任意の画像位置に関連付けて保持された過去における１または複数回分の視差情報に示された視差に基づいて決定する探索範囲決定部と、決定された他方の画像データの探索範囲から対応部分画像を探索する部分画像探索部と、任意の画像位置と探索された対応部分画像の画像位置とから視差を導出し、視差を示す視差情報を、任意の画像位置に関連付けてデータ保持部に保持させる視差導出部とを備えることを特徴とする。
【０００９】
探索範囲決定部は、他方の画像データにおける任意の画像位置から１回前の視差だけ離隔した位置の近傍を探索範囲としてもよい。
【００１０】
探索範囲決定部は、過去における複数回分の視差の変化量と増減方向に基づいて今回の視差を推定し、他方の画像データにおける任意の画像位置から推定した視差だけ離隔した位置の近傍を探索範囲としてもよい。
【００１１】
上記課題を解決するために、光軸を異にして撮像された２つの画像データにおける画像間の視差を導出する本発明の画像処理方法は、２つの画像データを取得し、２つの画像データのいずれか一方の画像データの任意の画像位置における部分画像である基準部分画像に対応する、他方の画像データの部分画像である対応部分画像の探索範囲を、任意の画像位置に関連付けて保持された過去における１または複数回分の視差情報に示された視差に基づいて決定し、決定した他方の画像データの探索範囲から対応部分画像を探索し、任意の画像位置と探索した対応部分画像の画像位置とから視差を導出し、視差を示す視差情報を、任意の画像位置に関連付けて保持させることを特徴とする。
【発明の効果】
【００１２】
本発明では、対応部分画像を探索する処理負荷を低減することで、高密度の視差情報の導出を安価な低処理能力の計算機で実現可能となる。
【図面の簡単な説明】
【００１３】
【図１】画像処理システムの接続関係を示したブロック図である。
【図２】画像処理装置の概略的な機能を示した機能ブロック図である。
【図３】探索範囲決定部の動作を説明するための説明図である。
【図４】探索範囲決定部の他の動作を説明するための説明図である。
【図５】部分画像探索部の動作を説明するための説明図である。
【図６】画像処理方法の全体的な流れを示したフローチャートである。
【発明を実施するための形態】
【００１４】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
【００１５】
（画像処理システム１００）
図１は、画像処理システム１００の接続関係を示したブロック図である。画像処理システム１００は、複数（本実施形態では２つ）の撮像装置１１０と、画像処理装置１２０とを含んで構成される。撮像装置１１０は、視差を求める対象物を撮像し、画像データを生成する。本実施形態においては、複数の撮像装置１１０を準備し、複数の撮像装置１１０の光軸１１２は、それぞれ同一平面上に含まれ略平行に配される。画像処理装置１２０は、２つの撮像装置１１０に接続され、２つの撮像装置１１０それぞれから画像データを取得し、その画像データ間の視差を導出する。
【００１６】
ステレオ法においては、２つの撮像装置１１０で生成された２つの画像データに共通して映し出されている対象物の視差を求め、三角測量法を用いることで、その対象物の撮像装置１１０からの距離を導出することができる。したがって、画像データに映し出されている全ての部分画像について、対応する部分画像との視差を導出することで、対象物の３次元情報（ｘ座標、ｙ座標、ｚ座標）を取得することができる。こうして、対象物の３次元形状を把握したり、撮像装置１１０に一番近い対象物がどれであるか把握したり、その対象物に向かって進行した場合における対象物と接触するまでの時間を導出したりすることが可能となる。
【００１７】
画像データ内の全ての部分画像の視差を得るためには、まず、撮像された２つの画像データのうち一方の画像データを基準にして（以下、単に基準画像データと言う。）、基準画像データに基づく画像（以下、単に基準画像と言う。）における任意の画像位置の部分画像（以下、単に基準部分画像と言う。）に対応する部分画像（以下、単に対応部分画像と言う。）を他方の画像データ（以下、単に探索画像データと言う。）に基づく画像（以下、単に探索画像と言う。）から探索し、任意の画像位置と対応部分画像の画像位置との視差を計算する。しかし、このような対応部分画像の探索は、処理負荷が膨大になるという問題を伴っていた。そこで、本実施形態の画像処理装置１２０では、対応部分画像を探索する処理負荷を低減することで、高密度の視差情報の導出を安価な低処理能力の計算機で実現することを目的としている。以下、かかる画像処理装置１２０の構成を説明し、その後で画像処理方法の処理の流れを詳述する。
【００１８】
（画像処理装置１２０）
図２は、画像処理装置１２０の概略的な機能を示した機能ブロック図である。図２に示すように、画像処理装置１２０は、画像取得部１５０と、データ保持部１５２と、中央制御部１５４とを含んで構成される。本実施形態における画像処理装置１２０は、理解を容易にするため、撮像装置１１０と別体に構成しているが、撮像装置１１０と一体的に構成することもできる。
【００１９】
画像取得部１５０は、２つの撮像装置１１０それぞれから画像データを例えば１／６０秒毎に連続して取得する。
【００２０】
データ保持部１５２は、ＲＡＭ、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）等で構成され、画像取得部１５０で取得された２つの画像データや、後述する視差導出部１６４で導出された現在より過去における１または複数回分の視差を示す視差情報の他、以下に示す各機能部の処理に必要な情報を一時的に保持する。また、視差情報は、ＦＩＦＯ（First In First Out）によって常に過去における所定回数分のみ保持され、新たな視差の保持に伴って保持しきれなくなった最古の視差は破棄される。
【００２１】
中央制御部１５４は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路により、画像処理装置１２０全体を管理および制御する。また、本実施形態において、中央制御部１５４は、探索範囲決定部１６０、部分画像探索部１６２、視差導出部１６４としても機能する。
【００２２】
上述したように、基準画像データに基づく基準画像の任意の画像位置における基準部分画像に対応する対応部分画像を、探索画像データに基づく探索画像全ての範囲から探索すると処理負荷が膨大になる。ここで、２つの画像データにおける視差の特性に着目すると、視差は対象物と撮像装置１１０との距離に応じて変化するが、画像取得部１５０は、画像データを例えば１／６０秒毎に連続して取得しているので、現在取得した２つの画像データの視差が前回取得した画像データの視差と大きく隔たることはない。そこで、本実施形態では、前回の視差に基づいて、その探索範囲を絞ることで処理負荷を低減する。ここでは、探索範囲決定部１６０がその機能を担う。
【００２３】
探索範囲決定部１６０は、データ保持部１５２に保持された過去における１または複数回分の視差情報に示された視差に基づいて、２つの画像データのうち予め定められたいずれか一方の画像データを基準画像データとして設定し、基準画像データに基づく基準画像の任意の画像位置における基準部分画像に対応する対応部分画像の、探索画像における探索範囲を決定する。
【００２４】
図３は、探索範囲決定部１６０の動作を説明するための説明図である。例えば、図３に示した１回前の２つの画像２００、２０２において、基準画像２００の任意の画像位置２０４における基準部分画像２０６ａに対して、探索画像２０２の対応部分画像２０６ｂが対応していたとする。ここで、任意の画像位置２０４は、基準画像を所定の大きさ（例えば３×３画素分）に分割したものの１つの位置である。このとき後述する視差導出部１６４は、任意の画像位置２０４と対応部分画像２０６ｂの画像位置とから視差を導出し、任意の画像位置２０４にその視差を示す視差情報を関連付けてデータ保持部１５２に保持させる。
【００２５】
そして、画像取得部１５０が次の画像データを取得すると、基準画像２００の任意の画像位置２０４における基準部分画像２０６ａが示す対象物は前回と同じ対象物のものであり、また、その対象物の視差も大凡同じ位置に生じるであろうという前提の下、探索範囲決定部１６０は、今回の視差も前回の視差同様の位置に生じると推定する。したがって、探索範囲決定部１６０は、探索画像における任意の画像位置２０４から１回前の視差（前回値）だけ離隔した画像位置の近傍、例えば、画像位置±所定の画素数を対応部分画像２０６ｂの探索範囲とする。そして、後述する部分画像探索部１６２は、探索画像における探索範囲決定部１６０が決定した探索範囲から対応部分画像を探索する。ここでは、このような探索を基準画像全体に対して行う、即ち、分割された複数の画像位置２０４全てについて行うが、以下では、理解を容易にするため、任意の１の画像位置２０４に対して対応部分画像２０６ｂを探索する例を挙げている。
【００２６】
このとき、探索範囲の大きさは、対象物と撮像装置１１０との相対距離の変化に伴って視差が変化し得る範囲、例えば、対象物の撮像装置１１０方向の速度等に基づいて決定される。また、探索範囲の大きさとして、想定される最大の変化範囲を設定したり、探索範囲を視差導出部１６４が導出した視差の平均値や偏差に基づいてリアルタイムに更新してもよい。ただし、探索範囲は、後述するように画像データの水平方向（アスペクト比を有する画像データの長手方向：横方向）にのみ決定すればよく、垂直方向（アスペクト比を有する画像データの短手方向：縦方向）に設ける必要はない。これはステレオ法による計測において垂直方向の視差が生じないからである。
【００２７】
かかる１回前の視差を参照して今回の視差とする構成により、基準部分画像２０６ａに対応する対応部分画像２０６ｂを他方の画像データ全てから探索しなくとも、絞られた狭い探索範囲から探索することができるので、処理負荷を著しく低減することが可能となる。
【００２８】
また、基準画像の任意の画像位置２０４における基準部分画像２０６ａが示す対象物は前回と同じ対象物のものであり、また、その対象物の視差も過去複数回の変化率に応じた位置に生じるであろうという前提の下、探索範囲決定部１６０は、過去における複数回分の視差の変化量と増減方向に基づいて今回の視差を推定し、探索画像における基準部分画像２０６ａの位置から推定した視差だけ離隔した位置の近傍を対応部分画像２０６ｂの探索範囲とすることもできる。
【００２９】
例えば、対象物が移動していたり、撮像装置１１０が移動することで対象物と撮像装置１１０との相対距離が変化している場合、２つの画像間における対象物の視差も時々刻々と変化する。ここでは、探索範囲決定部１６０が、その移動による視差の変化を、過去における複数回分の視差の変化量と増減方向とに基づいて推定する。以下では、視差を示す視差情報の数を３回（即ち、データ保持部１５２に保持される視差情報の上限値が３つ）として説明するが、探索範囲決定部１６０で用いる視差１５０の数は、かかる３に限らず２以上であればよい。
【００３０】
図４は、探索範囲決定部１６０の他の動作を説明するための説明図である。特に図４（ａ）は平均値を用いる場合を、図４（ｂ）は差分値を用いる場合を、図４（ｃ）は変化率を用いる場合を示している。ここで、探索範囲決定部１６０は、過去３回分の視差２１０（図４（ａ）（ｂ）（ｃ）中、ａ、ｂ、ｃそれぞれの値Ａ、Ｂ、Ｃ）に基づいて今回の視差２１２を推定している。
【００３１】
探索範囲決定部１６０は、例えば、図４（ａ）のように過去３回分の平均値（Ａ＋Ｂ＋Ｃ）／３を求め、今回の視差もその平均値近傍に生じると推定し、任意の画像位置２０４から平均値分離隔した位置の近傍を対応部分画像２０６ｂの探索範囲とする。視差は画像の水平方向にしか生じないので、視差の増減方向は水平方向の一方を正とした正負の符号（＋−）で示すことができる。
【００３２】
また、探索範囲決定部１６０は、図４（ｂ）のように差分値を用いることもできる。探索範囲決定部１６０は、まず、過去３回分の視差２１０のそれぞれ時間方向に隣接する視差２１０同士の差分値（（Ｂ−Ａ）および（Ｃ−Ｂ））を求め、その平均値（（Ｂ−Ａ）＋（Ｃ−Ｂ））／２＝（Ｃ−Ａ）／２を一番導出時期が近い視差２１０（ここではＣ）に加算して今回の視差２１２を推定する。
【００３３】
このように差分値を用いることで、平均値を用いる場合同様、対象物と撮像装置１１０との相対的な位置変化をある程度加味することが可能となり、視差の推定精度が向上するので、探索範囲の大きさを狭め、部分画像探索部１６２の処理負荷をさらに低減することが可能となる。また、時間方向の画像データ間の対象物と撮像装置１１０との相対位置の変化が大きい等、視差が連続的に大小一方向に変化し続けたり、その変化方向が偏っている場合に、その変化に追従した適切な視差２１２を推定することが可能となる。
【００３４】
さらに、探索範囲決定部１６０は、図４（ｃ）のように変化率を用いることもできる。探索範囲決定部１６０は、まず、過去３回分の視差２１０のそれぞれ時間方向に隣接する視差１５０同士の変化率（Ｂ／ＡおよびＣ／Ｂ）を求め、その平均値を（Ｂ／Ａ＋Ｃ／Ｂ）／２を一番導出時期が近い視差２１０（ここではＣ）に乗算して今回の視差２１２を推定する。
【００３５】
このように変化率を用いることで、平均値を用いる場合同様、対象物と撮像装置１１０との相対的な位置変化をある程度加味することが可能となり、視差の推定精度が向上するので、探索範囲の大きさを狭め、部分画像探索部１６２の処理負荷をさらに低減することが可能となる。また、差分値を用いる場合同様、時間方向の画像データ間の対象物と撮像装置１１０との相対位置の変化が大きい等、視差が連続的に大小一方向に変化し続けたり、その変化方向が偏っている場合に、その変化に追従した適切な視差２１２を推定することが可能となる。
【００３６】
ところで、２つの画像間の対象物の視差の大きさは、対象物と撮像装置１１０との距離に反比例するので、視差の変化率も、距離の変化率に反比例する。したがって、対象物が撮像装置１１０に近づいている場合、それが等速度であったとしても視差の変化率は漸増することとなり、遠のいていると漸減することとなる。探索範囲決定部１６０は、上記のように変化率を用いて視差を推定することで、対象物と撮像装置１１０との位置関係の変化に応じた探索範囲を適切に決定することが可能となる。
【００３７】
また、上述した平均値、差分値、変化率のいずれを用いる場合においても、対象物の視差の推定値を実際の計算で求めなくとも、過去複数回の視差の組み合わせに対応した１の推定値を抽出することができるテーブルを設けることもできる。かかるテーブルを設ける構成により、探索範囲決定部１６０の処理負荷も軽減することが可能となる。
【００３８】
部分画像探索部１６２は、基準画像内の全ての画像位置に対し、探索範囲決定部１６０によって決定された探索画像の探索範囲から対応部分画像を探索する。部分画像の大きさは１または複数の画素とすることができるが、ここでは、任意の画像位置を示す１の画素と、その画素に隣接する８方向の画素を含む３×３画素のブロックとする。また、マッチングには、基準部分画像と探索範囲から抽出された基準部分画像と同じ大きさ（３×３画素）の抽出部分画像とのそれぞれの画素の輝度値（Ｙ色差信号）の差分をとるＳＡＤ（Sum of Absolute Difference）や、差分を２乗して用いるＳＳＤ（Sum of Squared intensity Difference）、各画素の輝度値から平均値を引いた分散値の類似度をとるＮＣＣ（Normalized Cross Correlation）等を用いてもよい。
【００３９】
図５は、部分画像探索部１６２の動作を説明するための説明図である。ここでは、画素の座標を図５中、直交する矢印で示したｘ、ｙ座標を用いて表している。探索範囲決定部１６０が、基準画像２００の任意の画像位置２０４（画像位置２０４における図５中水平方向左端かつ垂直方向上端の座標が（ｘｂ、ｙｂ）であるとする。）から所定の視差（推定値）だけ離隔した画像位置２３０（画像位置２３０における図５中水平方向左端かつ垂直方向上端の座標は（ｘｃ、ｙｂ）となる。）を中心として図５中実線で囲んだ探索範囲２３２を設定したとする。
【００４０】
部分画像探索部１６２は、探索範囲２３２の開始端（ｘ座標は（ｘｓ））から任意の画像位置２０４における基準部分画像２０６ａと大きさの等しい抽出部分画像２３４（このとき抽出部分画像２３４における図５中水平方向左端かつ垂直方向上端の座標は（ｘｓ、ｙｂ）となる。）を抽出し、例えばＳＡＤを用いて基準部分画像２０６ａの輝度値と抽出部分画像２３４の輝度値との差分を計算する。続いて、探索範囲２３２内で抽出部分画像２３４の位置を所定距離（例えば１画素分）図５中水平方向右側に移動し（ｘ座標をインクリメントし）、探索範囲２３２の終了端（このとき抽出部分画像２３４における図５中水平方向左端かつ垂直方向上端の座標は（ｘｅ、ｙｂ）となる。）に達するまで両者の輝度値の差分を導出する処理を繰り返す。
【００４１】
上述したように、ステレオ法では、視差が水平方向にしか生じないので、部分画像探索部１６２は、対応部分画像２０６ｂの探索を任意の画像位置２０４から視差分離隔した画像位置２３０の水平方向にのみ行えばよい。また、探索範囲決定部１６０により、さらにその探索範囲２３２は小領域に絞られるので、部分画像探索部１６２は、基準部分画像２０６ａの水平方向かつ小領域のみを探索すれば足りることとなる。こうして、部分画像探索部１６２の処理負荷を著しく低減することが可能となる。
【００４２】
部分画像探索部１６２は、基準部分画像２０６ａの輝度値と、抽出部分画像２３４の輝度値との差分が最も小さくなる抽出部分画像２３４を対応部分画像２０６ｂの候補とする。ここで、候補の評価値が所定の閾値を越えていた場合には、その候補を、そのまま正式な対応部分画像２０６ｂとして認定し、視差導出部１６４に送信する。
【００４３】
また、候補の評価値が所定の閾値に至っていない場合、図５中破線で囲んだ、対応部分画像２０６ｂが出現可能な水平方向の最大範囲２３６に探索範囲を拡張して、再度、基準部分画像２０６ａの輝度値と、抽出部分画像２３４の輝度値との差分を判定する。このとき、既に計算をし終えている探索範囲２３２を抽出対象から排除する。対応部分画像２０６ｂが出現可能な水平方向の最大範囲２３６は、任意の画像位置２０４に相当する位置から図５中水平方向左側に所定の画素ずれた範囲である。かかる２つの端部のうち、任意の画像位置２０４は、対象物が無限遠にあったとした場合に視差が０になる位置を示し、所定の画素は、対象物と撮像装置１１０との想定される最小距離から計算できる。こうして、部分画像探索部１６２の処理負荷を著しく低減しつつ、探索範囲２３２から基準部分画像２０６ａに対応する対応部分画像２０６ｂを迅速に抽出することができる。
【００４４】
ただし、同一の対象物であっても、光軸が異なることで光の反射光や影が異なり、２つの画像間の部分画像が完全に一致するとは限らない。しかし、本実施形態は輝度値の一致を判定せず、輝度値の差分が最小であり、かつ評価値が所定の閾値を超えているか否かによって対応部分画像２０６ｂを抽出しているので、多少の輝度の違いを許容することができる。
【００４５】
また、ここでは、対応部分画像を輝度値が近似していること（差分が小さいこと）によって判定しているが、輝度値に代えて、または加えて画像に関する他の様々なパラメータを採用することができるのは言うまでもない。
【００４６】
視差導出部１６４は、任意の画像位置２０４と探索範囲決定部１６０により探索された対応部分画像２０６ｂの画像位置とから視差を導出し、その視差を示す視差情報を、任意の画像位置２０４に関連付けてデータ保持部１５２に保持させる。ここまでの処理を、基準画像を分割した全ての画像位置について行う。
【００４７】
以上、説明した画像処理装置１２０では、対応部分画像２０６ｂを探索する処理負荷を低減し、高密度の視差情報の導出を安価な低処理能力の計算機で実現する。また、高い処理能力を有する計算機をそのまま用いる場合、処理負荷の低減に伴って消費電力を削減することができ、また、余った処理能力で対象物の追従性能の向上を図ることも可能となる。
【００４８】
また、コンピュータを、画像処理装置１２０として機能させるプログラムや当該プログラムを記録した、コンピュータで読み取り可能なフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＣＤ、ＤＶＤ、ＢＤ等の記憶媒体も提供される。ここで、プログラムは、任意の言語や記述方法にて記述されたデータ処理手段をいう。
【００４９】
（画像処理方法）
次に、上述した画像処理装置１２０を用いて、光軸を異にして撮像された２つの画像データにおける画像間の視差を導出する画像処理方法を説明する。図６は、画像処理方法の全体的な流れを示したフローチャートである。かかる画像処理方法は、画像データの生成タイミングと同期した割り込み処理として動作する。
【００５０】
まず、画像処理装置１２０の画像取得部１５０は、撮像装置１１０で生成された２つの画像データを取得し（Ｓ３００）、探索範囲決定部１６０は、２つの画像データのうち予め定められたいずれか一方の画像データを基準画像データとし、基準画像データに基づく基準画像を分割した複数の画像位置から、順次１の画像位置２０４を取り出し、処理対象として特定する（Ｓ３０２）。
【００５１】
続いて、探索範囲決定部１６０は、特定した画像位置２０４における基準部分画像２０６ａに対応する対応部分画像２０６ｂの探索範囲２３２を、任意の画像位置２０４に関連付けてデータ保持部１５２に保持された過去における１または複数回分の視差情報に示された視差に基づいて決定する（Ｓ３０４）。
【００５２】
部分画像探索部１６２は、探索範囲決定部１６０で決定された探索画像データの探索範囲２３２の開始端から抽出部分画像２３４を順次抽出し（Ｓ３０６）、任意の画像位置２０４における基準部分画像２０６ａとＳＡＤによるマッチングを行う（Ｓ３０８）。そして、部分画像探索部１６２は、抽出部分画像２３４が探索範囲２３２の終了端に達したか否か判定し（Ｓ３１０）、達していなければ（Ｓ３１０におけるＮＯ）、抽出部分画像抽出ステップＳ３０６からを繰り返し、終了端に達すると（Ｓ３１０におけるＹＥＳ）、複数の抽出部分画像２３４から、輝度値の差分が最小であり、かつ評価値が所定の閾値を超えている１の対応部分画像２０６ｂを特定する（Ｓ３１２）。このとき評価値が所定の閾値に至っていない場合、部分画像探索部１６２は、対応部分画像２０６ｂが出現可能な水平方向の最大範囲２３６に探索範囲を拡張して、再度、対応部分画像２０６ｂを探索する。こうして対応部分画像２０６ｂが探索される。
【００５３】
次に、視差導出部１６４は、任意の画像位置２０４と探索された対応部分画像２０６ｂの画像位置とから視差を導出する（Ｓ３１４）。導出された視差により、三角測量法を用いて、その対象物の撮像装置１１０からの距離を導出することができる。また、応用として、対象物の３次元情報（ｘ座標、ｙ座標、ｚ座標）を取得したり、対象物の３次元形状を把握したり、撮像装置１１０に一番近い対象物がどれであるか把握したり、その対象物に向かって進行した場合における対象物と接触するまでの時間を導出したりすることが可能となる。
【００５４】
視差導出部１６４は、導出した視差を示す視差情報を、次回の探索範囲２３２を決定するために、任意の画像位置２０４に関連付けてデータ保持部１５２に保持させる（Ｓ３１６）。ここで、基準画像内の全ての画像位置に関して当該視差導出処理が完了したか否か判定され（Ｓ３１８）、完了していなければ（Ｓ３１８におけるＮＯ）、新たな画像位置２０４を取り出して視差導出処理を繰り返し、完了していれば（Ｓ３１８におけるＹＥＳ）、当該画像処理方法を終了する。
【００５５】
かかる画像処理方法を用いても、対応部分画像を探索する処理負荷を低減することで、高密度の視差情報の導出を安価な低処理能力の計算機で実現可能となる。
【００５６】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【００５７】
なお、本明細書の画像処理方法の各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。
【産業上の利用可能性】
【００５８】
本発明は、ステレオ法により２つの画像データにおける画像間の視差を導出する画像処理装置および画像処理方法に利用することができる。
【符号の説明】
【００５９】
１１０ …撮像装置
１２０ …画像処理装置
１５０ …画像取得部
１５２ …データ保持部
１６０ …探索範囲決定部
１６２ …部分画像探索部
１６４ …視差導出部
【技術分野】
【０００１】
本発明は、ステレオ法により２つの画像データにおける画像間の視差を導出する画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
所定の位置から対象物の位置までの距離を求める方法として、三角測量法を用いた方法が考えられる。例えば、異なる位置に配置された２台の撮像装置（カメラ）を準備し、２台の撮像装置でそれぞれの光軸を平行に配して対象物を撮像し、撮像された一対の画像データから、共通する部分画像を探索し、その部分画像の画像間における視差を算出し、さらに各撮像装置の焦点距離や光軸間の距離（基線長）等といった撮像装置のパラメータを用いて、三角測量法の原理により視差から３次元情報を求めることができる。この計測技術はステレオ法と呼ばれ、様々な分野で３次元情報を活かした応用提案がなされている。
【０００３】
例えば、ステレオ法を用いて３次元情報を生成する車両用距離検出装置において、異なる方向から複数枚の画像を撮像し、その距離分布を利用することで、画像内の様々な対象物の３次元位置を同時に検出する技術が開示されている（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平５−１１４０９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ステレオ法においては、まず、撮像された２つの画像データのうち一方の画像データを基準にして、任意の画像位置における部分画像に対応する部分画像（対応部分画像）を他方の画像データから探索し、任意の画像位置と、その探索した対応部分画像の画像位置との視差を計算する。このような対応部分画像の探索では、他方の画像データから任意の部分画像を抽出して一方の画像データの部分画像と比較する処理を、他方の画像データで抽出しうる全ての部分画像に関して行うため処理負荷が膨大なものとなり、処理速度の低下を招くおそれがある。
【０００６】
そこで、画像データ中のエッジ等の特徴点や一部の小領域のみを測定対象として処理負荷を低減することが考えられるが、それにより得られる視差情報は密度の粗いものとなってしまう。これに対して、特許文献１に記載の技術では、高速なハードウェア回路によって処理速度の低下を防ぐ一方、高密度の視差情報を算出可能としている。しかしながら、このような専用のハードウェアを採用すると、汎用のＣＰＵを使用する場合と比較して開発を含めた初期コストが増大し、量産効果を期待できない少量生産を前提とした製品には導入できないといった問題があった。
【０００７】
本発明は、このような課題に鑑み、対応部分画像を探索する処理負荷を低減することで、高密度の視差情報の導出を安価な低処理能力の計算機で実現可能な画像処理装置および画像処理方法を提供することを目的としている。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、光軸を異にして撮像された２つの画像データにおける画像間の視差を導出する本発明の画像処理装置は、導出された、現在より過去における１または複数回分の視差を示す視差情報を保持するデータ保持部と、２つの画像データを取得する画像取得部と、２つの画像データのいずれか一方の画像データの任意の画像位置における部分画像である基準部分画像に対応する、他方の画像データの部分画像である対応部分画像の探索範囲を、任意の画像位置に関連付けて保持された過去における１または複数回分の視差情報に示された視差に基づいて決定する探索範囲決定部と、決定された他方の画像データの探索範囲から対応部分画像を探索する部分画像探索部と、任意の画像位置と探索された対応部分画像の画像位置とから視差を導出し、視差を示す視差情報を、任意の画像位置に関連付けてデータ保持部に保持させる視差導出部とを備えることを特徴とする。
【０００９】
探索範囲決定部は、他方の画像データにおける任意の画像位置から１回前の視差だけ離隔した位置の近傍を探索範囲としてもよい。
【００１０】
探索範囲決定部は、過去における複数回分の視差の変化量と増減方向に基づいて今回の視差を推定し、他方の画像データにおける任意の画像位置から推定した視差だけ離隔した位置の近傍を探索範囲としてもよい。
【００１１】
上記課題を解決するために、光軸を異にして撮像された２つの画像データにおける画像間の視差を導出する本発明の画像処理方法は、２つの画像データを取得し、２つの画像データのいずれか一方の画像データの任意の画像位置における部分画像である基準部分画像に対応する、他方の画像データの部分画像である対応部分画像の探索範囲を、任意の画像位置に関連付けて保持された過去における１または複数回分の視差情報に示された視差に基づいて決定し、決定した他方の画像データの探索範囲から対応部分画像を探索し、任意の画像位置と探索した対応部分画像の画像位置とから視差を導出し、視差を示す視差情報を、任意の画像位置に関連付けて保持させることを特徴とする。
【発明の効果】
【００１２】
本発明では、対応部分画像を探索する処理負荷を低減することで、高密度の視差情報の導出を安価な低処理能力の計算機で実現可能となる。
【図面の簡単な説明】
【００１３】
【図１】画像処理システムの接続関係を示したブロック図である。
【図２】画像処理装置の概略的な機能を示した機能ブロック図である。
【図３】探索範囲決定部の動作を説明するための説明図である。
【図４】探索範囲決定部の他の動作を説明するための説明図である。
【図５】部分画像探索部の動作を説明するための説明図である。
【図６】画像処理方法の全体的な流れを示したフローチャートである。
【発明を実施するための形態】
【００１４】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
【００１５】
（画像処理システム１００）
図１は、画像処理システム１００の接続関係を示したブロック図である。画像処理システム１００は、複数（本実施形態では２つ）の撮像装置１１０と、画像処理装置１２０とを含んで構成される。撮像装置１１０は、視差を求める対象物を撮像し、画像データを生成する。本実施形態においては、複数の撮像装置１１０を準備し、複数の撮像装置１１０の光軸１１２は、それぞれ同一平面上に含まれ略平行に配される。画像処理装置１２０は、２つの撮像装置１１０に接続され、２つの撮像装置１１０それぞれから画像データを取得し、その画像データ間の視差を導出する。
【００１６】
ステレオ法においては、２つの撮像装置１１０で生成された２つの画像データに共通して映し出されている対象物の視差を求め、三角測量法を用いることで、その対象物の撮像装置１１０からの距離を導出することができる。したがって、画像データに映し出されている全ての部分画像について、対応する部分画像との視差を導出することで、対象物の３次元情報（ｘ座標、ｙ座標、ｚ座標）を取得することができる。こうして、対象物の３次元形状を把握したり、撮像装置１１０に一番近い対象物がどれであるか把握したり、その対象物に向かって進行した場合における対象物と接触するまでの時間を導出したりすることが可能となる。
【００１７】
画像データ内の全ての部分画像の視差を得るためには、まず、撮像された２つの画像データのうち一方の画像データを基準にして（以下、単に基準画像データと言う。）、基準画像データに基づく画像（以下、単に基準画像と言う。）における任意の画像位置の部分画像（以下、単に基準部分画像と言う。）に対応する部分画像（以下、単に対応部分画像と言う。）を他方の画像データ（以下、単に探索画像データと言う。）に基づく画像（以下、単に探索画像と言う。）から探索し、任意の画像位置と対応部分画像の画像位置との視差を計算する。しかし、このような対応部分画像の探索は、処理負荷が膨大になるという問題を伴っていた。そこで、本実施形態の画像処理装置１２０では、対応部分画像を探索する処理負荷を低減することで、高密度の視差情報の導出を安価な低処理能力の計算機で実現することを目的としている。以下、かかる画像処理装置１２０の構成を説明し、その後で画像処理方法の処理の流れを詳述する。
【００１８】
（画像処理装置１２０）
図２は、画像処理装置１２０の概略的な機能を示した機能ブロック図である。図２に示すように、画像処理装置１２０は、画像取得部１５０と、データ保持部１５２と、中央制御部１５４とを含んで構成される。本実施形態における画像処理装置１２０は、理解を容易にするため、撮像装置１１０と別体に構成しているが、撮像装置１１０と一体的に構成することもできる。
【００１９】
画像取得部１５０は、２つの撮像装置１１０それぞれから画像データを例えば１／６０秒毎に連続して取得する。
【００２０】
データ保持部１５２は、ＲＡＭ、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）等で構成され、画像取得部１５０で取得された２つの画像データや、後述する視差導出部１６４で導出された現在より過去における１または複数回分の視差を示す視差情報の他、以下に示す各機能部の処理に必要な情報を一時的に保持する。また、視差情報は、ＦＩＦＯ（First In First Out）によって常に過去における所定回数分のみ保持され、新たな視差の保持に伴って保持しきれなくなった最古の視差は破棄される。
【００２１】
中央制御部１５４は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路により、画像処理装置１２０全体を管理および制御する。また、本実施形態において、中央制御部１５４は、探索範囲決定部１６０、部分画像探索部１６２、視差導出部１６４としても機能する。
【００２２】
上述したように、基準画像データに基づく基準画像の任意の画像位置における基準部分画像に対応する対応部分画像を、探索画像データに基づく探索画像全ての範囲から探索すると処理負荷が膨大になる。ここで、２つの画像データにおける視差の特性に着目すると、視差は対象物と撮像装置１１０との距離に応じて変化するが、画像取得部１５０は、画像データを例えば１／６０秒毎に連続して取得しているので、現在取得した２つの画像データの視差が前回取得した画像データの視差と大きく隔たることはない。そこで、本実施形態では、前回の視差に基づいて、その探索範囲を絞ることで処理負荷を低減する。ここでは、探索範囲決定部１６０がその機能を担う。
【００２３】
探索範囲決定部１６０は、データ保持部１５２に保持された過去における１または複数回分の視差情報に示された視差に基づいて、２つの画像データのうち予め定められたいずれか一方の画像データを基準画像データとして設定し、基準画像データに基づく基準画像の任意の画像位置における基準部分画像に対応する対応部分画像の、探索画像における探索範囲を決定する。
【００２４】
図３は、探索範囲決定部１６０の動作を説明するための説明図である。例えば、図３に示した１回前の２つの画像２００、２０２において、基準画像２００の任意の画像位置２０４における基準部分画像２０６ａに対して、探索画像２０２の対応部分画像２０６ｂが対応していたとする。ここで、任意の画像位置２０４は、基準画像を所定の大きさ（例えば３×３画素分）に分割したものの１つの位置である。このとき後述する視差導出部１６４は、任意の画像位置２０４と対応部分画像２０６ｂの画像位置とから視差を導出し、任意の画像位置２０４にその視差を示す視差情報を関連付けてデータ保持部１５２に保持させる。
【００２５】
そして、画像取得部１５０が次の画像データを取得すると、基準画像２００の任意の画像位置２０４における基準部分画像２０６ａが示す対象物は前回と同じ対象物のものであり、また、その対象物の視差も大凡同じ位置に生じるであろうという前提の下、探索範囲決定部１６０は、今回の視差も前回の視差同様の位置に生じると推定する。したがって、探索範囲決定部１６０は、探索画像における任意の画像位置２０４から１回前の視差（前回値）だけ離隔した画像位置の近傍、例えば、画像位置±所定の画素数を対応部分画像２０６ｂの探索範囲とする。そして、後述する部分画像探索部１６２は、探索画像における探索範囲決定部１６０が決定した探索範囲から対応部分画像を探索する。ここでは、このような探索を基準画像全体に対して行う、即ち、分割された複数の画像位置２０４全てについて行うが、以下では、理解を容易にするため、任意の１の画像位置２０４に対して対応部分画像２０６ｂを探索する例を挙げている。
【００２６】
このとき、探索範囲の大きさは、対象物と撮像装置１１０との相対距離の変化に伴って視差が変化し得る範囲、例えば、対象物の撮像装置１１０方向の速度等に基づいて決定される。また、探索範囲の大きさとして、想定される最大の変化範囲を設定したり、探索範囲を視差導出部１６４が導出した視差の平均値や偏差に基づいてリアルタイムに更新してもよい。ただし、探索範囲は、後述するように画像データの水平方向（アスペクト比を有する画像データの長手方向：横方向）にのみ決定すればよく、垂直方向（アスペクト比を有する画像データの短手方向：縦方向）に設ける必要はない。これはステレオ法による計測において垂直方向の視差が生じないからである。
【００２７】
かかる１回前の視差を参照して今回の視差とする構成により、基準部分画像２０６ａに対応する対応部分画像２０６ｂを他方の画像データ全てから探索しなくとも、絞られた狭い探索範囲から探索することができるので、処理負荷を著しく低減することが可能となる。
【００２８】
また、基準画像の任意の画像位置２０４における基準部分画像２０６ａが示す対象物は前回と同じ対象物のものであり、また、その対象物の視差も過去複数回の変化率に応じた位置に生じるであろうという前提の下、探索範囲決定部１６０は、過去における複数回分の視差の変化量と増減方向に基づいて今回の視差を推定し、探索画像における基準部分画像２０６ａの位置から推定した視差だけ離隔した位置の近傍を対応部分画像２０６ｂの探索範囲とすることもできる。
【００２９】
例えば、対象物が移動していたり、撮像装置１１０が移動することで対象物と撮像装置１１０との相対距離が変化している場合、２つの画像間における対象物の視差も時々刻々と変化する。ここでは、探索範囲決定部１６０が、その移動による視差の変化を、過去における複数回分の視差の変化量と増減方向とに基づいて推定する。以下では、視差を示す視差情報の数を３回（即ち、データ保持部１５２に保持される視差情報の上限値が３つ）として説明するが、探索範囲決定部１６０で用いる視差１５０の数は、かかる３に限らず２以上であればよい。
【００３０】
図４は、探索範囲決定部１６０の他の動作を説明するための説明図である。特に図４（ａ）は平均値を用いる場合を、図４（ｂ）は差分値を用いる場合を、図４（ｃ）は変化率を用いる場合を示している。ここで、探索範囲決定部１６０は、過去３回分の視差２１０（図４（ａ）（ｂ）（ｃ）中、ａ、ｂ、ｃそれぞれの値Ａ、Ｂ、Ｃ）に基づいて今回の視差２１２を推定している。
【００３１】
探索範囲決定部１６０は、例えば、図４（ａ）のように過去３回分の平均値（Ａ＋Ｂ＋Ｃ）／３を求め、今回の視差もその平均値近傍に生じると推定し、任意の画像位置２０４から平均値分離隔した位置の近傍を対応部分画像２０６ｂの探索範囲とする。視差は画像の水平方向にしか生じないので、視差の増減方向は水平方向の一方を正とした正負の符号（＋−）で示すことができる。
【００３２】
また、探索範囲決定部１６０は、図４（ｂ）のように差分値を用いることもできる。探索範囲決定部１６０は、まず、過去３回分の視差２１０のそれぞれ時間方向に隣接する視差２１０同士の差分値（（Ｂ−Ａ）および（Ｃ−Ｂ））を求め、その平均値（（Ｂ−Ａ）＋（Ｃ−Ｂ））／２＝（Ｃ−Ａ）／２を一番導出時期が近い視差２１０（ここではＣ）に加算して今回の視差２１２を推定する。
【００３３】
このように差分値を用いることで、平均値を用いる場合同様、対象物と撮像装置１１０との相対的な位置変化をある程度加味することが可能となり、視差の推定精度が向上するので、探索範囲の大きさを狭め、部分画像探索部１６２の処理負荷をさらに低減することが可能となる。また、時間方向の画像データ間の対象物と撮像装置１１０との相対位置の変化が大きい等、視差が連続的に大小一方向に変化し続けたり、その変化方向が偏っている場合に、その変化に追従した適切な視差２１２を推定することが可能となる。
【００３４】
さらに、探索範囲決定部１６０は、図４（ｃ）のように変化率を用いることもできる。探索範囲決定部１６０は、まず、過去３回分の視差２１０のそれぞれ時間方向に隣接する視差１５０同士の変化率（Ｂ／ＡおよびＣ／Ｂ）を求め、その平均値を（Ｂ／Ａ＋Ｃ／Ｂ）／２を一番導出時期が近い視差２１０（ここではＣ）に乗算して今回の視差２１２を推定する。
【００３５】
このように変化率を用いることで、平均値を用いる場合同様、対象物と撮像装置１１０との相対的な位置変化をある程度加味することが可能となり、視差の推定精度が向上するので、探索範囲の大きさを狭め、部分画像探索部１６２の処理負荷をさらに低減することが可能となる。また、差分値を用いる場合同様、時間方向の画像データ間の対象物と撮像装置１１０との相対位置の変化が大きい等、視差が連続的に大小一方向に変化し続けたり、その変化方向が偏っている場合に、その変化に追従した適切な視差２１２を推定することが可能となる。
【００３６】
ところで、２つの画像間の対象物の視差の大きさは、対象物と撮像装置１１０との距離に反比例するので、視差の変化率も、距離の変化率に反比例する。したがって、対象物が撮像装置１１０に近づいている場合、それが等速度であったとしても視差の変化率は漸増することとなり、遠のいていると漸減することとなる。探索範囲決定部１６０は、上記のように変化率を用いて視差を推定することで、対象物と撮像装置１１０との位置関係の変化に応じた探索範囲を適切に決定することが可能となる。
【００３７】
また、上述した平均値、差分値、変化率のいずれを用いる場合においても、対象物の視差の推定値を実際の計算で求めなくとも、過去複数回の視差の組み合わせに対応した１の推定値を抽出することができるテーブルを設けることもできる。かかるテーブルを設ける構成により、探索範囲決定部１６０の処理負荷も軽減することが可能となる。
【００３８】
部分画像探索部１６２は、基準画像内の全ての画像位置に対し、探索範囲決定部１６０によって決定された探索画像の探索範囲から対応部分画像を探索する。部分画像の大きさは１または複数の画素とすることができるが、ここでは、任意の画像位置を示す１の画素と、その画素に隣接する８方向の画素を含む３×３画素のブロックとする。また、マッチングには、基準部分画像と探索範囲から抽出された基準部分画像と同じ大きさ（３×３画素）の抽出部分画像とのそれぞれの画素の輝度値（Ｙ色差信号）の差分をとるＳＡＤ（Sum of Absolute Difference）や、差分を２乗して用いるＳＳＤ（Sum of Squared intensity Difference）、各画素の輝度値から平均値を引いた分散値の類似度をとるＮＣＣ（Normalized Cross Correlation）等を用いてもよい。
【００３９】
図５は、部分画像探索部１６２の動作を説明するための説明図である。ここでは、画素の座標を図５中、直交する矢印で示したｘ、ｙ座標を用いて表している。探索範囲決定部１６０が、基準画像２００の任意の画像位置２０４（画像位置２０４における図５中水平方向左端かつ垂直方向上端の座標が（ｘｂ、ｙｂ）であるとする。）から所定の視差（推定値）だけ離隔した画像位置２３０（画像位置２３０における図５中水平方向左端かつ垂直方向上端の座標は（ｘｃ、ｙｂ）となる。）を中心として図５中実線で囲んだ探索範囲２３２を設定したとする。
【００４０】
部分画像探索部１６２は、探索範囲２３２の開始端（ｘ座標は（ｘｓ））から任意の画像位置２０４における基準部分画像２０６ａと大きさの等しい抽出部分画像２３４（このとき抽出部分画像２３４における図５中水平方向左端かつ垂直方向上端の座標は（ｘｓ、ｙｂ）となる。）を抽出し、例えばＳＡＤを用いて基準部分画像２０６ａの輝度値と抽出部分画像２３４の輝度値との差分を計算する。続いて、探索範囲２３２内で抽出部分画像２３４の位置を所定距離（例えば１画素分）図５中水平方向右側に移動し（ｘ座標をインクリメントし）、探索範囲２３２の終了端（このとき抽出部分画像２３４における図５中水平方向左端かつ垂直方向上端の座標は（ｘｅ、ｙｂ）となる。）に達するまで両者の輝度値の差分を導出する処理を繰り返す。
【００４１】
上述したように、ステレオ法では、視差が水平方向にしか生じないので、部分画像探索部１６２は、対応部分画像２０６ｂの探索を任意の画像位置２０４から視差分離隔した画像位置２３０の水平方向にのみ行えばよい。また、探索範囲決定部１６０により、さらにその探索範囲２３２は小領域に絞られるので、部分画像探索部１６２は、基準部分画像２０６ａの水平方向かつ小領域のみを探索すれば足りることとなる。こうして、部分画像探索部１６２の処理負荷を著しく低減することが可能となる。
【００４２】
部分画像探索部１６２は、基準部分画像２０６ａの輝度値と、抽出部分画像２３４の輝度値との差分が最も小さくなる抽出部分画像２３４を対応部分画像２０６ｂの候補とする。ここで、候補の評価値が所定の閾値を越えていた場合には、その候補を、そのまま正式な対応部分画像２０６ｂとして認定し、視差導出部１６４に送信する。
【００４３】
また、候補の評価値が所定の閾値に至っていない場合、図５中破線で囲んだ、対応部分画像２０６ｂが出現可能な水平方向の最大範囲２３６に探索範囲を拡張して、再度、基準部分画像２０６ａの輝度値と、抽出部分画像２３４の輝度値との差分を判定する。このとき、既に計算をし終えている探索範囲２３２を抽出対象から排除する。対応部分画像２０６ｂが出現可能な水平方向の最大範囲２３６は、任意の画像位置２０４に相当する位置から図５中水平方向左側に所定の画素ずれた範囲である。かかる２つの端部のうち、任意の画像位置２０４は、対象物が無限遠にあったとした場合に視差が０になる位置を示し、所定の画素は、対象物と撮像装置１１０との想定される最小距離から計算できる。こうして、部分画像探索部１６２の処理負荷を著しく低減しつつ、探索範囲２３２から基準部分画像２０６ａに対応する対応部分画像２０６ｂを迅速に抽出することができる。
【００４４】
ただし、同一の対象物であっても、光軸が異なることで光の反射光や影が異なり、２つの画像間の部分画像が完全に一致するとは限らない。しかし、本実施形態は輝度値の一致を判定せず、輝度値の差分が最小であり、かつ評価値が所定の閾値を超えているか否かによって対応部分画像２０６ｂを抽出しているので、多少の輝度の違いを許容することができる。
【００４５】
また、ここでは、対応部分画像を輝度値が近似していること（差分が小さいこと）によって判定しているが、輝度値に代えて、または加えて画像に関する他の様々なパラメータを採用することができるのは言うまでもない。
【００４６】
視差導出部１６４は、任意の画像位置２０４と探索範囲決定部１６０により探索された対応部分画像２０６ｂの画像位置とから視差を導出し、その視差を示す視差情報を、任意の画像位置２０４に関連付けてデータ保持部１５２に保持させる。ここまでの処理を、基準画像を分割した全ての画像位置について行う。
【００４７】
以上、説明した画像処理装置１２０では、対応部分画像２０６ｂを探索する処理負荷を低減し、高密度の視差情報の導出を安価な低処理能力の計算機で実現する。また、高い処理能力を有する計算機をそのまま用いる場合、処理負荷の低減に伴って消費電力を削減することができ、また、余った処理能力で対象物の追従性能の向上を図ることも可能となる。
【００４８】
また、コンピュータを、画像処理装置１２０として機能させるプログラムや当該プログラムを記録した、コンピュータで読み取り可能なフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＣＤ、ＤＶＤ、ＢＤ等の記憶媒体も提供される。ここで、プログラムは、任意の言語や記述方法にて記述されたデータ処理手段をいう。
【００４９】
（画像処理方法）
次に、上述した画像処理装置１２０を用いて、光軸を異にして撮像された２つの画像データにおける画像間の視差を導出する画像処理方法を説明する。図６は、画像処理方法の全体的な流れを示したフローチャートである。かかる画像処理方法は、画像データの生成タイミングと同期した割り込み処理として動作する。
【００５０】
まず、画像処理装置１２０の画像取得部１５０は、撮像装置１１０で生成された２つの画像データを取得し（Ｓ３００）、探索範囲決定部１６０は、２つの画像データのうち予め定められたいずれか一方の画像データを基準画像データとし、基準画像データに基づく基準画像を分割した複数の画像位置から、順次１の画像位置２０４を取り出し、処理対象として特定する（Ｓ３０２）。
【００５１】
続いて、探索範囲決定部１６０は、特定した画像位置２０４における基準部分画像２０６ａに対応する対応部分画像２０６ｂの探索範囲２３２を、任意の画像位置２０４に関連付けてデータ保持部１５２に保持された過去における１または複数回分の視差情報に示された視差に基づいて決定する（Ｓ３０４）。
【００５２】
部分画像探索部１６２は、探索範囲決定部１６０で決定された探索画像データの探索範囲２３２の開始端から抽出部分画像２３４を順次抽出し（Ｓ３０６）、任意の画像位置２０４における基準部分画像２０６ａとＳＡＤによるマッチングを行う（Ｓ３０８）。そして、部分画像探索部１６２は、抽出部分画像２３４が探索範囲２３２の終了端に達したか否か判定し（Ｓ３１０）、達していなければ（Ｓ３１０におけるＮＯ）、抽出部分画像抽出ステップＳ３０６からを繰り返し、終了端に達すると（Ｓ３１０におけるＹＥＳ）、複数の抽出部分画像２３４から、輝度値の差分が最小であり、かつ評価値が所定の閾値を超えている１の対応部分画像２０６ｂを特定する（Ｓ３１２）。このとき評価値が所定の閾値に至っていない場合、部分画像探索部１６２は、対応部分画像２０６ｂが出現可能な水平方向の最大範囲２３６に探索範囲を拡張して、再度、対応部分画像２０６ｂを探索する。こうして対応部分画像２０６ｂが探索される。
【００５３】
次に、視差導出部１６４は、任意の画像位置２０４と探索された対応部分画像２０６ｂの画像位置とから視差を導出する（Ｓ３１４）。導出された視差により、三角測量法を用いて、その対象物の撮像装置１１０からの距離を導出することができる。また、応用として、対象物の３次元情報（ｘ座標、ｙ座標、ｚ座標）を取得したり、対象物の３次元形状を把握したり、撮像装置１１０に一番近い対象物がどれであるか把握したり、その対象物に向かって進行した場合における対象物と接触するまでの時間を導出したりすることが可能となる。
【００５４】
視差導出部１６４は、導出した視差を示す視差情報を、次回の探索範囲２３２を決定するために、任意の画像位置２０４に関連付けてデータ保持部１５２に保持させる（Ｓ３１６）。ここで、基準画像内の全ての画像位置に関して当該視差導出処理が完了したか否か判定され（Ｓ３１８）、完了していなければ（Ｓ３１８におけるＮＯ）、新たな画像位置２０４を取り出して視差導出処理を繰り返し、完了していれば（Ｓ３１８におけるＹＥＳ）、当該画像処理方法を終了する。
【００５５】
かかる画像処理方法を用いても、対応部分画像を探索する処理負荷を低減することで、高密度の視差情報の導出を安価な低処理能力の計算機で実現可能となる。
【００５６】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【００５７】
なお、本明細書の画像処理方法の各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。
【産業上の利用可能性】
【００５８】
本発明は、ステレオ法により２つの画像データにおける画像間の視差を導出する画像処理装置および画像処理方法に利用することができる。
【符号の説明】
【００５９】
１１０ …撮像装置
１２０ …画像処理装置
１５０ …画像取得部
１５２ …データ保持部
１６０ …探索範囲決定部
１６２ …部分画像探索部
１６４ …視差導出部
【特許請求の範囲】
【請求項１】
光軸を異にして撮像された２つの画像データにおける画像間の視差を導出する画像処理装置であって、
導出された、現在より過去における１または複数回分の前記視差を示す視差情報を保持するデータ保持部と、
前記２つの画像データを取得する画像取得部と、
前記２つの画像データのうち予め定められたいずれか一方の画像データの任意の画像位置における部分画像である基準部分画像に対応する、他方の画像データの部分画像である対応部分画像の探索範囲を、前記任意の画像位置に関連付けて保持された前記過去における１または複数回分の視差情報に示された視差に基づいて決定する探索範囲決定部と、
決定された前記他方の画像データの探索範囲から前記対応部分画像を探索する部分画像探索部と、
前記任意の画像位置と探索された前記対応部分画像の画像位置とから視差を導出し、前記視差を示す視差情報を、前記任意の画像位置に関連付けて前記データ保持部に保持させる視差導出部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記探索範囲決定部は、前記他方の画像データにおける前記任意の画像位置から１回前の前記視差だけ離隔した位置の近傍を前記探索範囲とすることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記探索範囲決定部は、過去における複数回分の視差の変化量と増減方向に基づいて今回の視差を推定し、前記他方の画像データにおける前記任意の画像位置から推定した前記視差だけ離隔した位置の近傍を前記探索範囲とすることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
光軸を異にして撮像された２つの画像データにおける画像間の視差を導出する画像処理方法であって、
前記２つの画像データを取得し、
前記２つの画像データのうち予め定められたいずれか一方の画像データの任意の画像位置における部分画像である基準部分画像に対応する、他方の画像データの部分画像である対応部分画像の探索範囲を、前記任意の画像位置に関連付けて保持された現在より過去における１または複数回分の視差情報に示された視差に基づいて決定し、
決定した前記他方の画像データの探索範囲から前記対応部分画像を探索し、
前記任意の画像位置と探索した前記対応部分画像の画像位置とから視差を導出し、
前記視差を示す視差情報を、前記任意の画像位置に関連付けて保持させることを特徴とする画像処理方法。
【請求項１】
光軸を異にして撮像された２つの画像データにおける画像間の視差を導出する画像処理装置であって、
導出された、現在より過去における１または複数回分の前記視差を示す視差情報を保持するデータ保持部と、
前記２つの画像データを取得する画像取得部と、
前記２つの画像データのうち予め定められたいずれか一方の画像データの任意の画像位置における部分画像である基準部分画像に対応する、他方の画像データの部分画像である対応部分画像の探索範囲を、前記任意の画像位置に関連付けて保持された前記過去における１または複数回分の視差情報に示された視差に基づいて決定する探索範囲決定部と、
決定された前記他方の画像データの探索範囲から前記対応部分画像を探索する部分画像探索部と、
前記任意の画像位置と探索された前記対応部分画像の画像位置とから視差を導出し、前記視差を示す視差情報を、前記任意の画像位置に関連付けて前記データ保持部に保持させる視差導出部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記探索範囲決定部は、前記他方の画像データにおける前記任意の画像位置から１回前の前記視差だけ離隔した位置の近傍を前記探索範囲とすることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記探索範囲決定部は、過去における複数回分の視差の変化量と増減方向に基づいて今回の視差を推定し、前記他方の画像データにおける前記任意の画像位置から推定した前記視差だけ離隔した位置の近傍を前記探索範囲とすることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
光軸を異にして撮像された２つの画像データにおける画像間の視差を導出する画像処理方法であって、
前記２つの画像データを取得し、
前記２つの画像データのうち予め定められたいずれか一方の画像データの任意の画像位置における部分画像である基準部分画像に対応する、他方の画像データの部分画像である対応部分画像の探索範囲を、前記任意の画像位置に関連付けて保持された現在より過去における１または複数回分の視差情報に示された視差に基づいて決定し、
決定した前記他方の画像データの探索範囲から前記対応部分画像を探索し、
前記任意の画像位置と探索した前記対応部分画像の画像位置とから視差を導出し、
前記視差を示す視差情報を、前記任意の画像位置に関連付けて保持させることを特徴とする画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１２−１３２７９０（Ｐ２０１２−１３２７９０Ａ）
【公開日】平成２４年７月１２日（２０１２．７．１２）
【国際特許分類】
【出願番号】特願２０１０−２８５２８０（Ｐ２０１０−２８５２８０）
【出願日】平成２２年１２月２２日（２０１０．１２．２２）
【出願人】（３０８０３６４０２）株式会社ＪＶＣケンウッド (1,152)
【Ｆターム（参考）】
【公開日】平成２４年７月１２日（２０１２．７．１２）
【国際特許分類】
【出願日】平成２２年１２月２２日（２０１０．１２．２２）
【出願人】（３０８０３６４０２）株式会社ＪＶＣケンウッド (1,152)
【Ｆターム（参考）】
[ Back to top ]