画像処理装置、画像処理方法、および画像処理用プログラム
【課題】撮像する画像に含まれる情報を多面的かつ効率的に処理し得る画像処理装置、画像処理方法、および画像処理用プログラムを提供する。
【解決手段】移動体に搭載され、所定の視野を撮像して画像を生成する撮像手段と、前記撮像手段の撮像位置から前記画像を構成する各構成点までの距離を算出する距離算出手段と、前記画像に対して処理対象となる処理領域を設定する処理領域設定手段と、前記処理領域設定手段で設定した処理領域に対し、前記撮像位置からの距離帯域に応じた画像処理を行う画像処理手段と、を備える。
【解決手段】移動体に搭載され、所定の視野を撮像して画像を生成する撮像手段と、前記撮像手段の撮像位置から前記画像を構成する各構成点までの距離を算出する距離算出手段と、前記画像に対して処理対象となる処理領域を設定する処理領域設定手段と、前記処理領域設定手段で設定した処理領域に対し、前記撮像位置からの距離帯域に応じた画像処理を行う画像処理手段と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、所定の視野を撮像して生成する画像に対して画像処理を施す画像処理装置、画像処理方法、および画像処理用プログラムに関するものである。
【背景技術】
【０００２】
従来から、自動車等の車両の走行時に、進行方向の道路の路面状況を検知する目的で、車両の進行方向を撮像し、この撮像した画像に対して所定の対象物の認識を行う技術が知られている（例えば、特許文献１を参照）。この技術では、撮像した画像を用いて、自車両が走行する道路上にある白線等の走行路区分線や中央分離帯等の走行路区分帯の認識を行う。
【０００３】
【特許文献１】特許第３２９０３１８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した従来技術では、処理内容が白線などの認識に特化されているため、撮像する画像に含まれるさまざまな情報を多面的に処理することができなかった。
【０００５】
また、白線等を認識する際に、自車両から白線が引かれている路面までの距離に関わらず同じ認識処理を行うため、必ずしも効率的ではなかった。
【０００６】
本発明は、上記に鑑みてなされたものであり、撮像する画像に含まれる情報を多面的かつ効率的に処理し得る画像処理装置、画像処理方法、および画像処理用プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決し、目的を達成するために、請求項１記載の発明に係る画像処理装置は、移動体に搭載され、所定の視野を撮像して画像を生成する撮像手段と、前記撮像手段の撮像位置から撮像対象までの距離を算出する距離算出手段と、前記画像に対して処理対象となる処理領域を設定する処理領域設定手段と、前記処理領域設定手段で設定した処理領域に対し、前記撮像位置からの距離帯域に応じた画像処理を行う画像処理手段と、を備えたことを特徴とする。
【０００８】
請求項２記載の発明は、請求項１記載の発明において、前記処理領域設定手段で設定した処理領域ごとに所定の対象物の検知を行う対象物検知手段をさらに備えたことを特徴とする。
【０００９】
請求項３記載の発明は、請求項１または２記載の発明において、前記画像処理手段が有する距離分解能は、全ての処理領域に対して略同一であることを特徴とする。
【００１０】
請求項４記載の発明は、請求項２または３記載の発明において、所定の対象物の形状パターンを画素点単位で表現する複数のテンプレートを記憶する記憶手段をさらに備え、前記対象物検知手段は、前記処理領域内で検知する物体のパターンを前記複数のテンプレートのいずれかと比較して両者の相関を求め、この求めた相関に基づいて所定の対象物の検知を行うことを特徴とする。
【００１１】
請求項５記載の発明は、請求項４記載の発明において、前記複数のテンプレートは、それぞれ略同一のデータ量を有することを特徴とする。
【００１２】
請求項６記載の発明は、請求項１〜５のいずれか一項記載の発明において、前記撮像手段は、一対の撮像光学系と、前記一対の撮像光学系が出力する光信号を電気信号に変換する一対の撮像素子と、を有することを特徴とする。
【００１３】
請求項７記載の発明は、請求項１〜５のいずれか一項記載の発明において、前記撮像手段は、撮像光学系および当該撮像光学系が出力する光信号を電気信号に変換する撮像素子を備える撮像装置と、前記撮像光学系の前方に設けられ、光を複数の部位で受光し、当該複数の部位が各々受光した光を前記撮像光学系に導くステレオアダプタと、を有することを特徴とする。
【００１４】
請求項８記載の発明は、請求項６または７記載の発明において、前記画像処理手段は、前記撮像手段が出力する一対の画像のうち基準とする画像の画素点に対応する他方の画像の画素点を探索するに際して、前記撮像位置からの距離帯域に応じて探索する画素点のピッチを変更することを特徴とする。
【００１５】
請求項９記載の発明は、請求項１〜８のいずれか一項記載の発明において、前記処理領域設定手段は、前記移動体が移動する状況または前記移動体が移動する周囲の状況に基づいて処理領域を設定することを特徴とする。
【００１６】
請求項１０記載の発明は、請求項１〜９のいずれか一項記載の発明において、前記移動体は車両であることを特徴とする。
【００１７】
請求項１１記載の発明は、移動体に搭載され、所定の視野を撮像する撮像手段によって生成される画像に対して画像処理を施す画像処理方法であって、前記撮像手段の撮像位置から撮像対象までの距離を算出する距離算出ステップと、前記画像に対して処理対象となる処理領域を設定する処理領域設定ステップと、前記処理領域設定ステップで設定した処理領域に対し、前記撮像位置からの距離帯域に応じた画像処理を行う画像処理ステップと、を有することを特徴とする。
【００１８】
請求項１２記載の発明は、移動体に搭載され、所定の視野を撮像する撮像手段によって生成される画像に対して画像処理を施すため、コンピュータに、前記撮像手段の撮像位置から撮像対象までの距離を算出する距離算出ステップと、前記画像に対して処理対象となる処理領域を設定する処理領域設定ステップと、前記処理領域設定ステップで設定した処理領域に対し、前記撮像位置からの距離帯域に応じた画像処理を行う画像処理ステップと、を実行させることを特徴とする。
【発明の効果】
【００１９】
本発明によれば、撮像する画像に含まれる情報を多面的かつ効率的に処理し得る画像処理装置、画像処理方法、および画像処理用プログラムを提供することができる。
【発明を実施するための最良の形態】
【００２０】
以下、添付図面を参照して本発明の実施の形態を説明する。図１は、本発明の一実施の形態に係る画像処理装置の構成を示すブロック図である。同図に示す画像処理装置１は電子的な装置（コンピュータ）であり、移動体、特に四輪自動車等の車両に搭載され、所定の視野を撮像する撮像部１０、この撮像部１０が生成した画像を解析する画像解析部２０、画像処理装置１の動作制御を行う制御部３０、画像や文字等の情報を表示出力する出力部４０、および各種データを記憶する記憶部５０を有する。
【００２１】
撮像部１０は、複眼のステレオカメラによって実現され、右カメラ１１ａと左カメラ１１ｂとを備える。このうち、右カメラ１１ａは、所定の視野角から入射する光を集光するレンズ１２ａ、このレンズ１２ａを透過した光を検知して電気信号（アナログ信号）に変換するＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子１３ａ、この撮像素子１３ａが出力するアナログ信号をデジタル信号に変換するＡ／Ｄ変換部１４ａ、および画像データを一時的に数メモリ分蓄積するフレームメモリ１５ａを有する。他方、左カメラ１１ｂも、右カメラ１１ａと同様の構成を有する。すなわち、左カメラ１１ｂは、レンズ１２ｂ、撮像素子１３ｂ、Ａ／Ｄ変換部１４ｂ、およびフレームメモリ１５ｂを有する。
【００２２】
撮像部１０が有する一対の撮像光学系としてのレンズ１２ａおよび１２ｂは、焦点距離が等しく（この値をｆとする）、光軸間の距離すなわち基線長がＬだけ離れた位置に配置される。また、撮像素子１３ａおよび１３ｂは、レンズ１２ａおよび１２ｂからそれぞれ焦点距離ｆだけ離れた位置に配置される。なお、レンズ１２ａおよび１２ｂは、通常は複数のレンズを組み合わせることによって構成されるが、図１では記載を簡単にするために１枚のレンズを用いた場合を示している。
【００２３】
画像解析部２０は、撮像部１０が撮像する画像内に含まれる対象物までの撮像部１０からの距離を算出する距離算出部２１、撮像した画像内で画像処理の対象となる処理領域を設定する処理領域設定部２２、および処理領域設定部２２で設定した処理領域内で所定の対象物の検知を含む画像処理を行う画像処理部２３を有する。また、画像解析部２０は、後述する各種処理を行う上で必要な種々のパラメータを算出する機能（キャリブレーション機能）と、画像を生成する際に必要に応じて補正処理（レクティフィケーション処理）を行う機能とを備える。
【００２４】
制御部３０は、演算および制御機能を有するＣＰＵ（Central Processing Unit）等によって実現され、後述する記憶部５０が記憶、格納する画像処理用プログラムを読み出すことによって、撮像部１０や画像解析部２０の各種動作処理の制御を行う。
【００２５】
出力部４０は、画像や文字情報等を表示出力するものであり、液晶ディスプレイ、プラズマディスプレイ、または有機ＥＬ（Electroluminescence）ディスプレイ等によって実現される。また、出力部４０として、音声情報を外部に出力するスピーカをさらに設けることもできる。
【００２６】
記憶部５０は、所定のＯＳ（Operation System）を起動するプログラムや画像処理用プログラム等が予め記憶されたＲＯＭ（Read Only Memory）と、各処理の演算パラメータやデータ等を記憶するＲＡＭ（Random Access Memory）とを用いて実現される。この記憶部５０は、撮像部１０において撮像した画像データ５１、画像データ５１に含まれる撮像対象までの距離を含む距離情報５２、処理領域設定部２２で画像に処理領域を設定するために必要な距離帯域の情報を含む処理領域設定情報５３、および画像中の物体認識の際に用いるさまざまな物体（車両、人物、路面、白線、標識等）の形状パターンを画素点単位で表現したテンプレート５４を記憶、格納する。
【００２７】
なお、上述した画像処理用プログラムは、ハードディスク、フレキシブルディスク、ＣＤ−ＲＯＭ，ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ±Ｒ、ＤＶＤ±ＲＷ、ＤＶＤ−ＲＡＭ、ＭＯディスク、ＰＣカード、ｘＤピクチャーカード、スマートメディア等のコンピュータ読み取り可能な記録媒体に記録して広く流通させることも可能である。
【００２８】
以上の構成を有する画像処理装置１が実行する画像処理方法について、図２に示すフローチャートを参照して詳細に説明する。まず撮像部１０が、所定の視野を撮像して画像を生成する撮像処理を行う（ステップＳ１）。撮像部１０の右カメラ１１ａおよび左カメラ１１ｂでは、制御部３０の制御のもと、レンズ１２ａおよび１２ｂをそれぞれ用いて所定の視野角に含まれる領域から光を集光する。
【００２９】
レンズ１２ａおよび１２ｂが集光した光は、撮像素子１３ａおよび１３ｂの面上にそれぞれ結像して電気信号（アナログ信号）に変換される。撮像素子１３ａおよび１３ｂが出力するアナログ信号は、Ａ／Ｄ変換部１４ａおよび１４ｂでそれぞれデジタル信号に変換され、この変換されたデジタル信号の各々を、フレームメモリ１５ａおよび１５ｂが一時的に格納する。フレームメモリ１５ａおよび１５ｂがそれぞれ一時的に格納したデジタル信号は、所定時間経過後、画像解析部２０に送出される。
【００３０】
ステップＳ１の撮像処理の後、距離算出部２１は、撮像した画像内に含まれる撮像対象までの距離を画素点ごとに算出する（ステップＳ３）。距離算出部２１は、まず左右のカメラ座標系を用いて撮像した視野内の全ての画素点または一部の画素点の座標値を算出する。その後、距離算出部２１は、算出した画素点の座標値（ｘ，ｙ，ｚ）を用いて車両最前面から撮像された点までの距離Ｒを算出する。ここで、カメラ座標系における車両最前面の位置は、予め実測しておく必要がある。その後、距離算出部２１は、算出した全ての画素点または一部の画素点の座標値（ｘ，ｙ，ｚ）および距離Ｒを記憶部５０に格納する。
【００３１】
図３は、複眼のステレオカメラで撮像した画像データに基づく距離算出を概念的に示す説明図である。同図においては、右カメラ１１ａの光軸ｚaと左カメラ１１ｂの光軸ｚbが平行な場合を示している。この場合、左カメラ固有の座標系（左カメラ座標系）に対応する左画像領域Ｉbの点Ａbに対応する点が、右カメラ固有の座標系（右カメラ座標系）に対応する右画像領域Ｉa内の直線αE（エピポーラ線）上に存在しており、距離算出部２１における対応点探索によって撮像対象の一つである所望の点Ａの座標値（ｘ,ｙ,ｚ）を二つのカメラ座標系における座標値から求めることができる。なお、図３では左カメラ１１ｂを基準として、右カメラ１１ａにおける対応点を探索する場合を図示しているが、これとは反対に右カメラ１１ａを基準とすることもできる。
【００３２】
対応点探索によって三次元を再構成する場合には、基準とする方の画像を通過する任意の直線上に位置する画素点が、他方の画像においても同一直線上に位置することが望ましい（エピポーラ拘束条件）。しかし、このエピポーラ拘束条件は常に満足されているとは限らず、例えば図４に示す場合、基準とする左画像領域Ｉbの点Ａbに対応する右画像領域Ｉaの点は直線αA上に存在する一方、左画像領域Ｉbの点Ｂbに対応する右画像領域Ｉaの点は直線αB上に存在する。
【００３３】
このようにエピポーラ拘束条件が満足されない場合には、探索範囲を絞り切ることができず、対応点を探索する際の計算量が膨大になってしまう。そのような場合には、画像解析部２０が、予め左右のカメラ座標系を正規化してエピポーラ拘束条件を満足するような状態に変換する処理（レクティフィケーション処理）を行う。図５は、このレクティフィケーション処理後の左右画像領域の対応関係を示す説明図である。この図５に示すようにエピポーラ拘束条件が満足されていれば、探索範囲をエピポーラ線αEに絞って探索することができるので、対応点探索に要する計算量を少なくすることができる。
【００３４】
ここで対応点探索法の一例を説明する。まず、基準とする左画像領域Ｉbにおいて、注目する画素点近傍に局所領域を設け、この局所領域と同様の領域を右画像領域Ｉaの対応するエピポーラ線αE上に設ける。そして、右画像領域Ｉaの局所領域をエピポーラ線αE上で走査しながら、左画像領域Ｉbの局所領域との類似度が最も高い局所領域を探索する。この探索の結果、類似度が最も高い局所領域の中心点を左画像領域Ｉbの画素点の対応点とする。
【００３５】
この対応点探索の際に用いる類似度として、局所領域内の画素点間の差の絶対値の和（ＳＡＤ：Sum of Absolute Difference）、局所領域内の画素点間の差の２乗和（ＳＳＤ：Sum of Squared Difference）、または局所領域内の画素点間の正規化相互相関（ＮＣＣ：Normalized Cross Correlation）を適用することができる。これらのうち、ＳＡＤまたはＳＳＤを適用する場合には、最小値をとる点を類似度が最も高い点とする一方、ＮＣＣを適用する場合には、最大値をとる点を類似度が最も高い点とする。
【００３６】
ところで、距離算出部２１の距離算出能力は計算時間を増加するにつれて向上する。このため、例えば距離算出部２１が繰り返し法によって測距精度が向上する処理を行う場合、繰り返しの初期の段階で撮像対象までの距離が近い場合にはその段階で距離算出を中止する一方、繰り返しの初期の段階で撮像対象までの距離が遠い場合には所定の精度が得られるまで距離算出処理を繰り返す。
【００３７】
なお、撮像部１０で生成した画像データに距離算出部２１で生成した距離等の情報を重畳することによって距離画像を生成してもよい。図６は、出力部４０における距離画像の表示出力例を示す図である。同図に示す距離画像３０１は、濃淡の度合いによって撮像部１０からの距離が表現されており、遠方ほど濃く表示されている。
【００３８】
ステップＳ３に続いて、処理領域設定部２２が、画像に対して画像処理部２３の処理対象となる処理領域を設定する（ステップＳ５）。この処理領域の設定の際には、処理領域設定部２２が記憶部５０内の処理領域設定情報５３を参照する。図７は、処理領域の一設定例を示す図である。同図に示す表示画像４０１は、先行する車両Ｃが走行する領域を処理領域ｄ１として設定した場合を示している。
【００３９】
図８は、処理領域の別な設定例を示す図である。同図に示す表示画像４０２は、上述した表示画像４０１の場合と同様、先行する車両Ｃが走行する領域のうち処理領域ｄ１よりも遠方を処理領域ｄ２として設定した場合に対応する。この処理領域ｄ２は、例えば自車両が高速で走行しているときのように、先行車両をできるだけ早く検知する必要がある場合に好適である。このように、処理領域設定部２２が自車両の走行状況（移動状況）や自車両の周囲の状況（路面状況、天候、空の明るさ等）を検知した結果に基づいて処理領域を適宜変更するようにすれば、後述する画像処理をより効率的に実現することができる。
【００４０】
図９は、処理領域のさらに別な設定例を示す図である。同図に示す表示画像４０３においては、先行する車両Ｃを検知するための処理領域ｄ３と信号機Ｓｉｇを検知するための処理領域ｄ４が同時に設定されている。例えば自車両が時速４０ｋｍ程度で走行する場合、先行する車両Ｃは５０ｍ程度前方を走行している時点で認識する必要があるのに対し、信号機Ｓｉｇは１００ｍ程度前方に存在する時点で認識する方が好ましい。このため、処理領域ｄ３と処理領域ｄ４は異なる距離帯域に属しており、撮像位置からの距離が相対的に遠い距離帯域に属する処理領域ｄ４の方が小さい面積で設定される。
【００４１】
なお、上述した図７〜図９では、各処理領域内に検知対象となる車両Ｃまたは信号機Ｓｉｇが該当する処理領域内に存在している場合を示しているが、これは説明の便宜上のものであり、処理領域設定部２２が処理領域を設定する時点でそれらの検知対象物が画像内に存在しているとは限らない。
【００４２】
以上のように処理領域を設定した後、画像処理部２３は、設定された処理領域ごとに所定の画像処理を行う（ステップＳ７）。以下、具体的な画像処理の内容を説明する。画像処理部２３は、処理領域内で所定の対象物の検知を行う。この意味で、画像処理部２３は対象物検知手段の機能を有する。対象物を検知する際には、記憶部５０のテンプレート５４内に格納されているさまざまな物体の形状パターン（車両、人物、路面、白線、標識、信号機等）と撮像部１０で撮像された画像内のパターンを比較して両者の相関を調べる（テンプレートマッチング）。このテンプレートマッチングの結果、該当するパターンを検知した場合には、その検知した対象物に応じた処理を行う。
【００４３】
この実施の形態においては、テンプレートマッチングによって物体を認識するとき、処理領域がどの距離帯域に属するかによらず、テンプレートのデータ量を略同一としておく。例えば、上述した処理領域ｄ１とｄ２のうち相対的に近距離帯域に属する処理領域ｄ１での検知に用いる車両のテンプレートは、処理領域の面積が相対的に大きいため画素点も多くデータ量が大きい。そこで、処理領域ｄ１での車両検知に用いるテンプレートの画素点を間引くなどしてそのテンプレートのデータ量を小さくすることにより、処理領域ｄ２で用いる車両のテンプレートのデータ量とほぼ同じにする。この結果、各処理領域におけるテンプレートマッチングに費やされる処理時間も同程度となり、撮像位置から処理領域までの距離（帯域）によらずに効率よく画像処理を行うことができる。
【００４４】
なお、テンプレートのデータ量を変更する代わりに、テンプレートマッチングを行う際の対応点探索時の画素点のピッチを変更してもよい。この場合、撮像位置からの距離が相対的に近い方の距離帯域に属する処理領域ｄ１に対しては、対応点探索を行う画素点のピッチを大きくして一部の画素点を探索対象から除外し、相対的に広い面積を有する処理領域内を効率的に処理する。他方、撮像位置からの距離が相対的に遠い方の距離帯域に属する処理領域ｄ２に対しては、１画素あたりの距離分解能が低いので、対応点探索を行う画素点のピッチの中間位置を適宜補間するサブピクセル処理を行うことによって距離分解能を向上させる。これにより、全ての処理領域に対する画像処理部２３の距離分解能が距離帯域によらずに略同一となり、処理領域ごとの画像処理に要する負荷（処理時間を含む）を略同一とすることができるので、効率的な画像処理を実現することが可能となる。
【００４５】
画像処理部２３は、テンプレートマッチングを行って処理領域内に車両や信号機などの所定の対象物を検知したとき、その検知内容に応じた処理をさらに行う。例えば、処理領域ｄ１、ｄ２、またはｄ３内で先行する車両Ｃを検知したときには、その車両Ｃまでの距離に応じて警告メッセージを表示画像内に出力したり、出力部４０から音声を出力することによって注意を喚起する。処理領域ｄ４内で信号機Ｓｉｇを検知したときにも、出力部４０からの文字または音声によるメッセージの出力を行う。なお、画像処理部２３が色抽出の機能を有する場合には、例えば表示画像４０３中で信号機Ｓｉｇで発光している色に応じたメッセージ（例えば赤信号の時には「ブレーキをかけて下さい」というメッセージ）を画面上に出力または音声等で出力するようにしてもよい。
【００４６】
なお、ここで説明した画像処理の内容はあくまでも一例に過ぎない。例えば、車両や信号機以外に白線、人物、障害物、走行路区分帯を検知してもよいし、空の色や輝度、天候などを検知してもよい。また、検知した後の処理も上述したものに限られるわけではない。さらには、設定した処理領域において対象物検知以外の画像処理を行ってもよい。
【００４７】
以上説明した本発明の一実施の形態によれば、車両に搭載され、所定の視野を撮像して画像を生成する撮像部と、この撮像部の撮像位置から撮像対象までの距離を算出する距離算出部と、画像に対して処理対象となる処理領域を設定する処理領域設定部と、この処理領域設定部で設定した処理領域に対し、撮像位置からの距離帯域に応じた画像処理を行う画像処理部とを備えることにより、撮像する画像に含まれる情報を多面的かつ効率的に処理することが可能になる。
【００４８】
図１０は、この実施の形態の一変形例に係る画像処理装置の撮像部の構成を示す図である。同図に示す撮像部１１０は、単眼の撮像装置であるカメラ１１１に対してステレオアダプタ１１６を装着したものである。カメラ１１１の構成は、右カメラ１１ａや左カメラ１１ｂと同じであり、レンズ１１２、撮像素子１１３、Ａ／Ｄ変換部１１４、およびフレームメモリ１１５を有する。ステレオアダプタ１１６は、被写体から入射する光を受光する二つの受光部位である受光ミラー１１７ａおよび１１７ｂと、これらの受光ミラー１１７ａおよび１１７ｂによって反射されてくる光をカメラ１１１の撮像光学系であるレンズ１１２に導く導光ミラー１１８ａおよび１１８ｂとを有する。
【００４９】
このような構成を有する撮像部１１０は、異なる二つの視点からの画像を結像して出力するため、ステレオカメラである撮像部１０と同等の機能を有する。したがって、この一変形例によれば、上記一実施の形態と同様に、撮像する画像内に含まれるさまざまな情報を多面的に処理することができる。また、この一変形によれば、ステレオ画像撮影用ではない一般のカメラを用いて簡単にステレオ画像を撮影することができる。
【００５０】
ここまで、本発明の好ましい一実施の形態を詳述してきたが、本発明はこの実施の形態によってのみ限定されるものではない。例えば、画像認識の方法として、上述したテンプレートマッチング以外にも、撮像対象の距離情報に基づいて所定の対象物のセグメントを求めてもよいし、テクスチャやエッジ抽出による領域分割法や、クラスタ分析に基づく統計的パターン認識法等を用いて対象物の検知、認識を行ってもよい。そして、これらの画像認識手法を用いる場合にも、画像処理に要する負荷が全ての処理領域に対して略同一となるような制御を適宜行う。
【００５１】
また、撮像部として単眼のカメラを用い、シェイプフロムフォーカス（shape from focus）、シェイプフロムデフォーカス（shape from defocus）、シェイプフロムモーション（shape from motion）、シェイプフロムシェーディング（shape from shading）等の三次元再構成技術を適用することによって画像の各構成点までの距離を算出することもできる。
【００５２】
この撮像部として、より多眼のステレオカメラ、例えば３眼ステレオカメラや４眼ステレオカメラを用いることもできる。これらの３眼または４眼ステレオカメラを用いると、三次元再構成処理などにおいて、より信頼度が高く、安定した処理結果が得られる（例えば、富田文明,「高機能３次元視覚システムVVV」, 情報処理学会誌「情報処理」, Vol. 42, No. 4, pp. 370-375 (2001). 等を参照）。特に、複数のカメラが二方向の基線長を持つようにすると、より複雑なシーンでの３次元再構成が可能になることが知られている。また、一つの基線長方向にカメラを複数台配置するマルチベースライン方式のステレオカメラを実現することができ、より高精度のステレオ計測が可能となる。
【００５３】
なお、撮像手段として、各種カメラに加えてレーダ等の測距装置を併用することも可能である。これにより、通常のカメラよりも精度の高いレーダ測定値を利用することができ、測距点の解像度を一段と向上させることができる。
【００５４】
本発明に係る画像処理装置は、四輪自動車以外の車両、例えば電動車椅子等に搭載することが可能である。また、車両以外にも、人、ロボット等の移動体に搭載することもできる。
【００５５】
このように、本発明は、ここでは記載していないさまざまな実施の形態等を含みうるものであり、特許請求の範囲により特定される技術的事項を逸脱しない範囲内において種々の設計変更等を施すことが可能である。
【図面の簡単な説明】
【００５６】
【図１】本発明の一実施の形態に係る画像処理装置の構成を示すブロック図である。
【図２】本発明の一実施の形態に係る画像処理方法の概要を示すフローチャートである。
【図３】ステレオカメラで撮像した画像データに基づく距離算出を概念的に示す説明図である。
【図４】レクティフィケーション処理前の左右画像領域の対応を示す説明図である。
【図５】レクティフィケーション処理後の左右画像領域の対応を示す説明図である。
【図６】距離画像の出力例を示す図である。
【図７】処理領域の一設定例を示す図である。
【図８】処理領域の別な設定例を示す図である。
【図９】処理領域のさらに別な設定例を示す図である。
【図１０】本発明の一実施の形態の変形例に係る画像処理装置の撮像部の構成を示す図である。
【符号の説明】
【００５７】
１ 画像処理装置
１０、１１０ 撮像部
１１ａ 右カメラ
１１ｂ 左カメラ
１２ａ、１２ｂ、１１２ レンズ
１３ａ、１３ｂ、１１３ 撮像素子
１４ａ、１４ｂ、１１４ Ａ／Ｄ変換部
１５ａ、１５ｂ、１１５ フレームメモリ
２０ 画像解析部
２１ 距離算出部
２２ 処理領域設定部
２３ 画像処理部
３０ 制御部
３１ 距離帯域判定部
４０ 出力部
５０ 記憶部
５１ 画像データ
５２ 距離情報
５３ 処理領域設定情報
５４ テンプレート
１１１ カメラ
１１６ ステレオアダプタ
１１７ａ、１１７ｂ 受光ミラー
１１８ａ、１１８ｂ 導光ミラー
３０１ 距離画像
４０１、４０２、４０３ 表示画像
ｄ１、ｄ２、ｄ３、ｄ４ 処理領域
Ｃ 車両
Ｓｉｇ 信号機
【技術分野】
【０００１】
本発明は、所定の視野を撮像して生成する画像に対して画像処理を施す画像処理装置、画像処理方法、および画像処理用プログラムに関するものである。
【背景技術】
【０００２】
従来から、自動車等の車両の走行時に、進行方向の道路の路面状況を検知する目的で、車両の進行方向を撮像し、この撮像した画像に対して所定の対象物の認識を行う技術が知られている（例えば、特許文献１を参照）。この技術では、撮像した画像を用いて、自車両が走行する道路上にある白線等の走行路区分線や中央分離帯等の走行路区分帯の認識を行う。
【０００３】
【特許文献１】特許第３２９０３１８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した従来技術では、処理内容が白線などの認識に特化されているため、撮像する画像に含まれるさまざまな情報を多面的に処理することができなかった。
【０００５】
また、白線等を認識する際に、自車両から白線が引かれている路面までの距離に関わらず同じ認識処理を行うため、必ずしも効率的ではなかった。
【０００６】
本発明は、上記に鑑みてなされたものであり、撮像する画像に含まれる情報を多面的かつ効率的に処理し得る画像処理装置、画像処理方法、および画像処理用プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決し、目的を達成するために、請求項１記載の発明に係る画像処理装置は、移動体に搭載され、所定の視野を撮像して画像を生成する撮像手段と、前記撮像手段の撮像位置から撮像対象までの距離を算出する距離算出手段と、前記画像に対して処理対象となる処理領域を設定する処理領域設定手段と、前記処理領域設定手段で設定した処理領域に対し、前記撮像位置からの距離帯域に応じた画像処理を行う画像処理手段と、を備えたことを特徴とする。
【０００８】
請求項２記載の発明は、請求項１記載の発明において、前記処理領域設定手段で設定した処理領域ごとに所定の対象物の検知を行う対象物検知手段をさらに備えたことを特徴とする。
【０００９】
請求項３記載の発明は、請求項１または２記載の発明において、前記画像処理手段が有する距離分解能は、全ての処理領域に対して略同一であることを特徴とする。
【００１０】
請求項４記載の発明は、請求項２または３記載の発明において、所定の対象物の形状パターンを画素点単位で表現する複数のテンプレートを記憶する記憶手段をさらに備え、前記対象物検知手段は、前記処理領域内で検知する物体のパターンを前記複数のテンプレートのいずれかと比較して両者の相関を求め、この求めた相関に基づいて所定の対象物の検知を行うことを特徴とする。
【００１１】
請求項５記載の発明は、請求項４記載の発明において、前記複数のテンプレートは、それぞれ略同一のデータ量を有することを特徴とする。
【００１２】
請求項６記載の発明は、請求項１〜５のいずれか一項記載の発明において、前記撮像手段は、一対の撮像光学系と、前記一対の撮像光学系が出力する光信号を電気信号に変換する一対の撮像素子と、を有することを特徴とする。
【００１３】
請求項７記載の発明は、請求項１〜５のいずれか一項記載の発明において、前記撮像手段は、撮像光学系および当該撮像光学系が出力する光信号を電気信号に変換する撮像素子を備える撮像装置と、前記撮像光学系の前方に設けられ、光を複数の部位で受光し、当該複数の部位が各々受光した光を前記撮像光学系に導くステレオアダプタと、を有することを特徴とする。
【００１４】
請求項８記載の発明は、請求項６または７記載の発明において、前記画像処理手段は、前記撮像手段が出力する一対の画像のうち基準とする画像の画素点に対応する他方の画像の画素点を探索するに際して、前記撮像位置からの距離帯域に応じて探索する画素点のピッチを変更することを特徴とする。
【００１５】
請求項９記載の発明は、請求項１〜８のいずれか一項記載の発明において、前記処理領域設定手段は、前記移動体が移動する状況または前記移動体が移動する周囲の状況に基づいて処理領域を設定することを特徴とする。
【００１６】
請求項１０記載の発明は、請求項１〜９のいずれか一項記載の発明において、前記移動体は車両であることを特徴とする。
【００１７】
請求項１１記載の発明は、移動体に搭載され、所定の視野を撮像する撮像手段によって生成される画像に対して画像処理を施す画像処理方法であって、前記撮像手段の撮像位置から撮像対象までの距離を算出する距離算出ステップと、前記画像に対して処理対象となる処理領域を設定する処理領域設定ステップと、前記処理領域設定ステップで設定した処理領域に対し、前記撮像位置からの距離帯域に応じた画像処理を行う画像処理ステップと、を有することを特徴とする。
【００１８】
請求項１２記載の発明は、移動体に搭載され、所定の視野を撮像する撮像手段によって生成される画像に対して画像処理を施すため、コンピュータに、前記撮像手段の撮像位置から撮像対象までの距離を算出する距離算出ステップと、前記画像に対して処理対象となる処理領域を設定する処理領域設定ステップと、前記処理領域設定ステップで設定した処理領域に対し、前記撮像位置からの距離帯域に応じた画像処理を行う画像処理ステップと、を実行させることを特徴とする。
【発明の効果】
【００１９】
本発明によれば、撮像する画像に含まれる情報を多面的かつ効率的に処理し得る画像処理装置、画像処理方法、および画像処理用プログラムを提供することができる。
【発明を実施するための最良の形態】
【００２０】
以下、添付図面を参照して本発明の実施の形態を説明する。図１は、本発明の一実施の形態に係る画像処理装置の構成を示すブロック図である。同図に示す画像処理装置１は電子的な装置（コンピュータ）であり、移動体、特に四輪自動車等の車両に搭載され、所定の視野を撮像する撮像部１０、この撮像部１０が生成した画像を解析する画像解析部２０、画像処理装置１の動作制御を行う制御部３０、画像や文字等の情報を表示出力する出力部４０、および各種データを記憶する記憶部５０を有する。
【００２１】
撮像部１０は、複眼のステレオカメラによって実現され、右カメラ１１ａと左カメラ１１ｂとを備える。このうち、右カメラ１１ａは、所定の視野角から入射する光を集光するレンズ１２ａ、このレンズ１２ａを透過した光を検知して電気信号（アナログ信号）に変換するＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子１３ａ、この撮像素子１３ａが出力するアナログ信号をデジタル信号に変換するＡ／Ｄ変換部１４ａ、および画像データを一時的に数メモリ分蓄積するフレームメモリ１５ａを有する。他方、左カメラ１１ｂも、右カメラ１１ａと同様の構成を有する。すなわち、左カメラ１１ｂは、レンズ１２ｂ、撮像素子１３ｂ、Ａ／Ｄ変換部１４ｂ、およびフレームメモリ１５ｂを有する。
【００２２】
撮像部１０が有する一対の撮像光学系としてのレンズ１２ａおよび１２ｂは、焦点距離が等しく（この値をｆとする）、光軸間の距離すなわち基線長がＬだけ離れた位置に配置される。また、撮像素子１３ａおよび１３ｂは、レンズ１２ａおよび１２ｂからそれぞれ焦点距離ｆだけ離れた位置に配置される。なお、レンズ１２ａおよび１２ｂは、通常は複数のレンズを組み合わせることによって構成されるが、図１では記載を簡単にするために１枚のレンズを用いた場合を示している。
【００２３】
画像解析部２０は、撮像部１０が撮像する画像内に含まれる対象物までの撮像部１０からの距離を算出する距離算出部２１、撮像した画像内で画像処理の対象となる処理領域を設定する処理領域設定部２２、および処理領域設定部２２で設定した処理領域内で所定の対象物の検知を含む画像処理を行う画像処理部２３を有する。また、画像解析部２０は、後述する各種処理を行う上で必要な種々のパラメータを算出する機能（キャリブレーション機能）と、画像を生成する際に必要に応じて補正処理（レクティフィケーション処理）を行う機能とを備える。
【００２４】
制御部３０は、演算および制御機能を有するＣＰＵ（Central Processing Unit）等によって実現され、後述する記憶部５０が記憶、格納する画像処理用プログラムを読み出すことによって、撮像部１０や画像解析部２０の各種動作処理の制御を行う。
【００２５】
出力部４０は、画像や文字情報等を表示出力するものであり、液晶ディスプレイ、プラズマディスプレイ、または有機ＥＬ（Electroluminescence）ディスプレイ等によって実現される。また、出力部４０として、音声情報を外部に出力するスピーカをさらに設けることもできる。
【００２６】
記憶部５０は、所定のＯＳ（Operation System）を起動するプログラムや画像処理用プログラム等が予め記憶されたＲＯＭ（Read Only Memory）と、各処理の演算パラメータやデータ等を記憶するＲＡＭ（Random Access Memory）とを用いて実現される。この記憶部５０は、撮像部１０において撮像した画像データ５１、画像データ５１に含まれる撮像対象までの距離を含む距離情報５２、処理領域設定部２２で画像に処理領域を設定するために必要な距離帯域の情報を含む処理領域設定情報５３、および画像中の物体認識の際に用いるさまざまな物体（車両、人物、路面、白線、標識等）の形状パターンを画素点単位で表現したテンプレート５４を記憶、格納する。
【００２７】
なお、上述した画像処理用プログラムは、ハードディスク、フレキシブルディスク、ＣＤ−ＲＯＭ，ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ±Ｒ、ＤＶＤ±ＲＷ、ＤＶＤ−ＲＡＭ、ＭＯディスク、ＰＣカード、ｘＤピクチャーカード、スマートメディア等のコンピュータ読み取り可能な記録媒体に記録して広く流通させることも可能である。
【００２８】
以上の構成を有する画像処理装置１が実行する画像処理方法について、図２に示すフローチャートを参照して詳細に説明する。まず撮像部１０が、所定の視野を撮像して画像を生成する撮像処理を行う（ステップＳ１）。撮像部１０の右カメラ１１ａおよび左カメラ１１ｂでは、制御部３０の制御のもと、レンズ１２ａおよび１２ｂをそれぞれ用いて所定の視野角に含まれる領域から光を集光する。
【００２９】
レンズ１２ａおよび１２ｂが集光した光は、撮像素子１３ａおよび１３ｂの面上にそれぞれ結像して電気信号（アナログ信号）に変換される。撮像素子１３ａおよび１３ｂが出力するアナログ信号は、Ａ／Ｄ変換部１４ａおよび１４ｂでそれぞれデジタル信号に変換され、この変換されたデジタル信号の各々を、フレームメモリ１５ａおよび１５ｂが一時的に格納する。フレームメモリ１５ａおよび１５ｂがそれぞれ一時的に格納したデジタル信号は、所定時間経過後、画像解析部２０に送出される。
【００３０】
ステップＳ１の撮像処理の後、距離算出部２１は、撮像した画像内に含まれる撮像対象までの距離を画素点ごとに算出する（ステップＳ３）。距離算出部２１は、まず左右のカメラ座標系を用いて撮像した視野内の全ての画素点または一部の画素点の座標値を算出する。その後、距離算出部２１は、算出した画素点の座標値（ｘ，ｙ，ｚ）を用いて車両最前面から撮像された点までの距離Ｒを算出する。ここで、カメラ座標系における車両最前面の位置は、予め実測しておく必要がある。その後、距離算出部２１は、算出した全ての画素点または一部の画素点の座標値（ｘ，ｙ，ｚ）および距離Ｒを記憶部５０に格納する。
【００３１】
図３は、複眼のステレオカメラで撮像した画像データに基づく距離算出を概念的に示す説明図である。同図においては、右カメラ１１ａの光軸ｚaと左カメラ１１ｂの光軸ｚbが平行な場合を示している。この場合、左カメラ固有の座標系（左カメラ座標系）に対応する左画像領域Ｉbの点Ａbに対応する点が、右カメラ固有の座標系（右カメラ座標系）に対応する右画像領域Ｉa内の直線αE（エピポーラ線）上に存在しており、距離算出部２１における対応点探索によって撮像対象の一つである所望の点Ａの座標値（ｘ,ｙ,ｚ）を二つのカメラ座標系における座標値から求めることができる。なお、図３では左カメラ１１ｂを基準として、右カメラ１１ａにおける対応点を探索する場合を図示しているが、これとは反対に右カメラ１１ａを基準とすることもできる。
【００３２】
対応点探索によって三次元を再構成する場合には、基準とする方の画像を通過する任意の直線上に位置する画素点が、他方の画像においても同一直線上に位置することが望ましい（エピポーラ拘束条件）。しかし、このエピポーラ拘束条件は常に満足されているとは限らず、例えば図４に示す場合、基準とする左画像領域Ｉbの点Ａbに対応する右画像領域Ｉaの点は直線αA上に存在する一方、左画像領域Ｉbの点Ｂbに対応する右画像領域Ｉaの点は直線αB上に存在する。
【００３３】
このようにエピポーラ拘束条件が満足されない場合には、探索範囲を絞り切ることができず、対応点を探索する際の計算量が膨大になってしまう。そのような場合には、画像解析部２０が、予め左右のカメラ座標系を正規化してエピポーラ拘束条件を満足するような状態に変換する処理（レクティフィケーション処理）を行う。図５は、このレクティフィケーション処理後の左右画像領域の対応関係を示す説明図である。この図５に示すようにエピポーラ拘束条件が満足されていれば、探索範囲をエピポーラ線αEに絞って探索することができるので、対応点探索に要する計算量を少なくすることができる。
【００３４】
ここで対応点探索法の一例を説明する。まず、基準とする左画像領域Ｉbにおいて、注目する画素点近傍に局所領域を設け、この局所領域と同様の領域を右画像領域Ｉaの対応するエピポーラ線αE上に設ける。そして、右画像領域Ｉaの局所領域をエピポーラ線αE上で走査しながら、左画像領域Ｉbの局所領域との類似度が最も高い局所領域を探索する。この探索の結果、類似度が最も高い局所領域の中心点を左画像領域Ｉbの画素点の対応点とする。
【００３５】
この対応点探索の際に用いる類似度として、局所領域内の画素点間の差の絶対値の和（ＳＡＤ：Sum of Absolute Difference）、局所領域内の画素点間の差の２乗和（ＳＳＤ：Sum of Squared Difference）、または局所領域内の画素点間の正規化相互相関（ＮＣＣ：Normalized Cross Correlation）を適用することができる。これらのうち、ＳＡＤまたはＳＳＤを適用する場合には、最小値をとる点を類似度が最も高い点とする一方、ＮＣＣを適用する場合には、最大値をとる点を類似度が最も高い点とする。
【００３６】
ところで、距離算出部２１の距離算出能力は計算時間を増加するにつれて向上する。このため、例えば距離算出部２１が繰り返し法によって測距精度が向上する処理を行う場合、繰り返しの初期の段階で撮像対象までの距離が近い場合にはその段階で距離算出を中止する一方、繰り返しの初期の段階で撮像対象までの距離が遠い場合には所定の精度が得られるまで距離算出処理を繰り返す。
【００３７】
なお、撮像部１０で生成した画像データに距離算出部２１で生成した距離等の情報を重畳することによって距離画像を生成してもよい。図６は、出力部４０における距離画像の表示出力例を示す図である。同図に示す距離画像３０１は、濃淡の度合いによって撮像部１０からの距離が表現されており、遠方ほど濃く表示されている。
【００３８】
ステップＳ３に続いて、処理領域設定部２２が、画像に対して画像処理部２３の処理対象となる処理領域を設定する（ステップＳ５）。この処理領域の設定の際には、処理領域設定部２２が記憶部５０内の処理領域設定情報５３を参照する。図７は、処理領域の一設定例を示す図である。同図に示す表示画像４０１は、先行する車両Ｃが走行する領域を処理領域ｄ１として設定した場合を示している。
【００３９】
図８は、処理領域の別な設定例を示す図である。同図に示す表示画像４０２は、上述した表示画像４０１の場合と同様、先行する車両Ｃが走行する領域のうち処理領域ｄ１よりも遠方を処理領域ｄ２として設定した場合に対応する。この処理領域ｄ２は、例えば自車両が高速で走行しているときのように、先行車両をできるだけ早く検知する必要がある場合に好適である。このように、処理領域設定部２２が自車両の走行状況（移動状況）や自車両の周囲の状況（路面状況、天候、空の明るさ等）を検知した結果に基づいて処理領域を適宜変更するようにすれば、後述する画像処理をより効率的に実現することができる。
【００４０】
図９は、処理領域のさらに別な設定例を示す図である。同図に示す表示画像４０３においては、先行する車両Ｃを検知するための処理領域ｄ３と信号機Ｓｉｇを検知するための処理領域ｄ４が同時に設定されている。例えば自車両が時速４０ｋｍ程度で走行する場合、先行する車両Ｃは５０ｍ程度前方を走行している時点で認識する必要があるのに対し、信号機Ｓｉｇは１００ｍ程度前方に存在する時点で認識する方が好ましい。このため、処理領域ｄ３と処理領域ｄ４は異なる距離帯域に属しており、撮像位置からの距離が相対的に遠い距離帯域に属する処理領域ｄ４の方が小さい面積で設定される。
【００４１】
なお、上述した図７〜図９では、各処理領域内に検知対象となる車両Ｃまたは信号機Ｓｉｇが該当する処理領域内に存在している場合を示しているが、これは説明の便宜上のものであり、処理領域設定部２２が処理領域を設定する時点でそれらの検知対象物が画像内に存在しているとは限らない。
【００４２】
以上のように処理領域を設定した後、画像処理部２３は、設定された処理領域ごとに所定の画像処理を行う（ステップＳ７）。以下、具体的な画像処理の内容を説明する。画像処理部２３は、処理領域内で所定の対象物の検知を行う。この意味で、画像処理部２３は対象物検知手段の機能を有する。対象物を検知する際には、記憶部５０のテンプレート５４内に格納されているさまざまな物体の形状パターン（車両、人物、路面、白線、標識、信号機等）と撮像部１０で撮像された画像内のパターンを比較して両者の相関を調べる（テンプレートマッチング）。このテンプレートマッチングの結果、該当するパターンを検知した場合には、その検知した対象物に応じた処理を行う。
【００４３】
この実施の形態においては、テンプレートマッチングによって物体を認識するとき、処理領域がどの距離帯域に属するかによらず、テンプレートのデータ量を略同一としておく。例えば、上述した処理領域ｄ１とｄ２のうち相対的に近距離帯域に属する処理領域ｄ１での検知に用いる車両のテンプレートは、処理領域の面積が相対的に大きいため画素点も多くデータ量が大きい。そこで、処理領域ｄ１での車両検知に用いるテンプレートの画素点を間引くなどしてそのテンプレートのデータ量を小さくすることにより、処理領域ｄ２で用いる車両のテンプレートのデータ量とほぼ同じにする。この結果、各処理領域におけるテンプレートマッチングに費やされる処理時間も同程度となり、撮像位置から処理領域までの距離（帯域）によらずに効率よく画像処理を行うことができる。
【００４４】
なお、テンプレートのデータ量を変更する代わりに、テンプレートマッチングを行う際の対応点探索時の画素点のピッチを変更してもよい。この場合、撮像位置からの距離が相対的に近い方の距離帯域に属する処理領域ｄ１に対しては、対応点探索を行う画素点のピッチを大きくして一部の画素点を探索対象から除外し、相対的に広い面積を有する処理領域内を効率的に処理する。他方、撮像位置からの距離が相対的に遠い方の距離帯域に属する処理領域ｄ２に対しては、１画素あたりの距離分解能が低いので、対応点探索を行う画素点のピッチの中間位置を適宜補間するサブピクセル処理を行うことによって距離分解能を向上させる。これにより、全ての処理領域に対する画像処理部２３の距離分解能が距離帯域によらずに略同一となり、処理領域ごとの画像処理に要する負荷（処理時間を含む）を略同一とすることができるので、効率的な画像処理を実現することが可能となる。
【００４５】
画像処理部２３は、テンプレートマッチングを行って処理領域内に車両や信号機などの所定の対象物を検知したとき、その検知内容に応じた処理をさらに行う。例えば、処理領域ｄ１、ｄ２、またはｄ３内で先行する車両Ｃを検知したときには、その車両Ｃまでの距離に応じて警告メッセージを表示画像内に出力したり、出力部４０から音声を出力することによって注意を喚起する。処理領域ｄ４内で信号機Ｓｉｇを検知したときにも、出力部４０からの文字または音声によるメッセージの出力を行う。なお、画像処理部２３が色抽出の機能を有する場合には、例えば表示画像４０３中で信号機Ｓｉｇで発光している色に応じたメッセージ（例えば赤信号の時には「ブレーキをかけて下さい」というメッセージ）を画面上に出力または音声等で出力するようにしてもよい。
【００４６】
なお、ここで説明した画像処理の内容はあくまでも一例に過ぎない。例えば、車両や信号機以外に白線、人物、障害物、走行路区分帯を検知してもよいし、空の色や輝度、天候などを検知してもよい。また、検知した後の処理も上述したものに限られるわけではない。さらには、設定した処理領域において対象物検知以外の画像処理を行ってもよい。
【００４７】
以上説明した本発明の一実施の形態によれば、車両に搭載され、所定の視野を撮像して画像を生成する撮像部と、この撮像部の撮像位置から撮像対象までの距離を算出する距離算出部と、画像に対して処理対象となる処理領域を設定する処理領域設定部と、この処理領域設定部で設定した処理領域に対し、撮像位置からの距離帯域に応じた画像処理を行う画像処理部とを備えることにより、撮像する画像に含まれる情報を多面的かつ効率的に処理することが可能になる。
【００４８】
図１０は、この実施の形態の一変形例に係る画像処理装置の撮像部の構成を示す図である。同図に示す撮像部１１０は、単眼の撮像装置であるカメラ１１１に対してステレオアダプタ１１６を装着したものである。カメラ１１１の構成は、右カメラ１１ａや左カメラ１１ｂと同じであり、レンズ１１２、撮像素子１１３、Ａ／Ｄ変換部１１４、およびフレームメモリ１１５を有する。ステレオアダプタ１１６は、被写体から入射する光を受光する二つの受光部位である受光ミラー１１７ａおよび１１７ｂと、これらの受光ミラー１１７ａおよび１１７ｂによって反射されてくる光をカメラ１１１の撮像光学系であるレンズ１１２に導く導光ミラー１１８ａおよび１１８ｂとを有する。
【００４９】
このような構成を有する撮像部１１０は、異なる二つの視点からの画像を結像して出力するため、ステレオカメラである撮像部１０と同等の機能を有する。したがって、この一変形例によれば、上記一実施の形態と同様に、撮像する画像内に含まれるさまざまな情報を多面的に処理することができる。また、この一変形によれば、ステレオ画像撮影用ではない一般のカメラを用いて簡単にステレオ画像を撮影することができる。
【００５０】
ここまで、本発明の好ましい一実施の形態を詳述してきたが、本発明はこの実施の形態によってのみ限定されるものではない。例えば、画像認識の方法として、上述したテンプレートマッチング以外にも、撮像対象の距離情報に基づいて所定の対象物のセグメントを求めてもよいし、テクスチャやエッジ抽出による領域分割法や、クラスタ分析に基づく統計的パターン認識法等を用いて対象物の検知、認識を行ってもよい。そして、これらの画像認識手法を用いる場合にも、画像処理に要する負荷が全ての処理領域に対して略同一となるような制御を適宜行う。
【００５１】
また、撮像部として単眼のカメラを用い、シェイプフロムフォーカス（shape from focus）、シェイプフロムデフォーカス（shape from defocus）、シェイプフロムモーション（shape from motion）、シェイプフロムシェーディング（shape from shading）等の三次元再構成技術を適用することによって画像の各構成点までの距離を算出することもできる。
【００５２】
この撮像部として、より多眼のステレオカメラ、例えば３眼ステレオカメラや４眼ステレオカメラを用いることもできる。これらの３眼または４眼ステレオカメラを用いると、三次元再構成処理などにおいて、より信頼度が高く、安定した処理結果が得られる（例えば、富田文明,「高機能３次元視覚システムVVV」, 情報処理学会誌「情報処理」, Vol. 42, No. 4, pp. 370-375 (2001). 等を参照）。特に、複数のカメラが二方向の基線長を持つようにすると、より複雑なシーンでの３次元再構成が可能になることが知られている。また、一つの基線長方向にカメラを複数台配置するマルチベースライン方式のステレオカメラを実現することができ、より高精度のステレオ計測が可能となる。
【００５３】
なお、撮像手段として、各種カメラに加えてレーダ等の測距装置を併用することも可能である。これにより、通常のカメラよりも精度の高いレーダ測定値を利用することができ、測距点の解像度を一段と向上させることができる。
【００５４】
本発明に係る画像処理装置は、四輪自動車以外の車両、例えば電動車椅子等に搭載することが可能である。また、車両以外にも、人、ロボット等の移動体に搭載することもできる。
【００５５】
このように、本発明は、ここでは記載していないさまざまな実施の形態等を含みうるものであり、特許請求の範囲により特定される技術的事項を逸脱しない範囲内において種々の設計変更等を施すことが可能である。
【図面の簡単な説明】
【００５６】
【図１】本発明の一実施の形態に係る画像処理装置の構成を示すブロック図である。
【図２】本発明の一実施の形態に係る画像処理方法の概要を示すフローチャートである。
【図３】ステレオカメラで撮像した画像データに基づく距離算出を概念的に示す説明図である。
【図４】レクティフィケーション処理前の左右画像領域の対応を示す説明図である。
【図５】レクティフィケーション処理後の左右画像領域の対応を示す説明図である。
【図６】距離画像の出力例を示す図である。
【図７】処理領域の一設定例を示す図である。
【図８】処理領域の別な設定例を示す図である。
【図９】処理領域のさらに別な設定例を示す図である。
【図１０】本発明の一実施の形態の変形例に係る画像処理装置の撮像部の構成を示す図である。
【符号の説明】
【００５７】
１ 画像処理装置
１０、１１０ 撮像部
１１ａ 右カメラ
１１ｂ 左カメラ
１２ａ、１２ｂ、１１２ レンズ
１３ａ、１３ｂ、１１３ 撮像素子
１４ａ、１４ｂ、１１４ Ａ／Ｄ変換部
１５ａ、１５ｂ、１１５ フレームメモリ
２０ 画像解析部
２１ 距離算出部
２２ 処理領域設定部
２３ 画像処理部
３０ 制御部
３１ 距離帯域判定部
４０ 出力部
５０ 記憶部
５１ 画像データ
５２ 距離情報
５３ 処理領域設定情報
５４ テンプレート
１１１ カメラ
１１６ ステレオアダプタ
１１７ａ、１１７ｂ 受光ミラー
１１８ａ、１１８ｂ 導光ミラー
３０１ 距離画像
４０１、４０２、４０３ 表示画像
ｄ１、ｄ２、ｄ３、ｄ４ 処理領域
Ｃ 車両
Ｓｉｇ 信号機
【特許請求の範囲】
【請求項１】
移動体に搭載され、所定の視野を撮像して画像を生成する撮像手段と、
前記撮像手段の撮像位置から撮像対象までの距離を算出する距離算出手段と、
前記画像に対して処理対象となる処理領域を設定する処理領域設定手段と、
前記処理領域設定手段で設定した処理領域に対し、前記撮像位置からの距離帯域に応じた画像処理を行う画像処理手段と、
を備えたことを特徴とする画像処理装置。
【請求項２】
前記処理領域設定手段で設定した処理領域ごとに所定の対象物の検知を行う対象物検知手段をさらに備えたことを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記画像処理手段が有する距離分解能は、全ての処理領域に対して略同一であることを特徴とする請求項１または２記載の画像処理装置。
【請求項４】
所定の対象物の形状パターンを画素点単位で表現する複数のテンプレートを記憶する記憶手段をさらに備え、
前記対象物検知手段は、
前記処理領域内で検知する物体のパターンを前記複数のテンプレートのいずれかと比較して両者の相関を求め、この求めた相関に基づいて所定の対象物の検知を行うことを特徴とする請求項２または３記載の画像処理装置。
【請求項５】
前記複数のテンプレートは、それぞれ略同一のデータ量を有することを特徴とする請求項４記載の画像処理装置。
【請求項６】
前記撮像手段は、
一対の撮像光学系と、
前記一対の撮像光学系が出力する光信号を電気信号に変換する一対の撮像素子と、
を有することを特徴とする請求項１〜５のいずれか一項記載の画像処理装置。
【請求項７】
前記撮像手段は、
撮像光学系および当該撮像光学系が出力する光信号を電気信号に変換する撮像素子を備える撮像装置と、
前記撮像光学系の前方に設けられ、光を複数の部位で受光し、当該複数の部位が各々受光した光を前記撮像光学系に導くステレオアダプタと、
を有することを特徴とする請求項１〜５のいずれか一項記載の画像処理装置。
【請求項８】
前記画像処理手段は、
前記撮像手段が出力する一対の画像のうち基準とする画像の画素点に対応する他方の画像の画素点を探索するに際して、前記撮像位置からの距離帯域に応じて探索する画素点のピッチを変更することを特徴とする請求項６または７記載の画像処理装置。
【請求項９】
前記処理領域設定手段は、
前記移動体が移動する状況または前記移動体が移動する周囲の状況に基づいて処理領域を設定することを特徴とする請求項１〜８のいずれか一項記載の画像処理装置。
【請求項１０】
前記移動体は車両であることを特徴とする請求項１〜９のいずれか一項記載の画像処理装置。
【請求項１１】
移動体に搭載され、所定の視野を撮像する撮像手段によって生成される画像に対して画像処理を施す画像処理方法であって、
前記撮像手段の撮像位置から撮像対象までの距離を算出する距離算出ステップと、
前記画像に対して処理対象となる処理領域を設定する処理領域設定ステップと、
前記処理領域設定ステップで設定した処理領域に対し、前記撮像位置からの距離帯域に応じた画像処理を行う画像処理ステップと、
を有することを特徴とする画像処理方法。
【請求項１２】
移動体に搭載され、所定の視野を撮像する撮像手段によって生成される画像に対して画像処理を施すため、コンピュータに、
前記撮像手段の撮像位置から撮像対象までの距離を算出する距離算出ステップと、
前記画像に対して処理対象となる処理領域を設定する処理領域設定ステップと、
前記処理領域設定ステップで設定した処理領域に対し、前記撮像位置からの距離帯域に応じた画像処理を行う画像処理ステップと、
を実行させることを特徴とする画像処理用プログラム。
【請求項１】
移動体に搭載され、所定の視野を撮像して画像を生成する撮像手段と、
前記撮像手段の撮像位置から撮像対象までの距離を算出する距離算出手段と、
前記画像に対して処理対象となる処理領域を設定する処理領域設定手段と、
前記処理領域設定手段で設定した処理領域に対し、前記撮像位置からの距離帯域に応じた画像処理を行う画像処理手段と、
を備えたことを特徴とする画像処理装置。
【請求項２】
前記処理領域設定手段で設定した処理領域ごとに所定の対象物の検知を行う対象物検知手段をさらに備えたことを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記画像処理手段が有する距離分解能は、全ての処理領域に対して略同一であることを特徴とする請求項１または２記載の画像処理装置。
【請求項４】
所定の対象物の形状パターンを画素点単位で表現する複数のテンプレートを記憶する記憶手段をさらに備え、
前記対象物検知手段は、
前記処理領域内で検知する物体のパターンを前記複数のテンプレートのいずれかと比較して両者の相関を求め、この求めた相関に基づいて所定の対象物の検知を行うことを特徴とする請求項２または３記載の画像処理装置。
【請求項５】
前記複数のテンプレートは、それぞれ略同一のデータ量を有することを特徴とする請求項４記載の画像処理装置。
【請求項６】
前記撮像手段は、
一対の撮像光学系と、
前記一対の撮像光学系が出力する光信号を電気信号に変換する一対の撮像素子と、
を有することを特徴とする請求項１〜５のいずれか一項記載の画像処理装置。
【請求項７】
前記撮像手段は、
撮像光学系および当該撮像光学系が出力する光信号を電気信号に変換する撮像素子を備える撮像装置と、
前記撮像光学系の前方に設けられ、光を複数の部位で受光し、当該複数の部位が各々受光した光を前記撮像光学系に導くステレオアダプタと、
を有することを特徴とする請求項１〜５のいずれか一項記載の画像処理装置。
【請求項８】
前記画像処理手段は、
前記撮像手段が出力する一対の画像のうち基準とする画像の画素点に対応する他方の画像の画素点を探索するに際して、前記撮像位置からの距離帯域に応じて探索する画素点のピッチを変更することを特徴とする請求項６または７記載の画像処理装置。
【請求項９】
前記処理領域設定手段は、
前記移動体が移動する状況または前記移動体が移動する周囲の状況に基づいて処理領域を設定することを特徴とする請求項１〜８のいずれか一項記載の画像処理装置。
【請求項１０】
前記移動体は車両であることを特徴とする請求項１〜９のいずれか一項記載の画像処理装置。
【請求項１１】
移動体に搭載され、所定の視野を撮像する撮像手段によって生成される画像に対して画像処理を施す画像処理方法であって、
前記撮像手段の撮像位置から撮像対象までの距離を算出する距離算出ステップと、
前記画像に対して処理対象となる処理領域を設定する処理領域設定ステップと、
前記処理領域設定ステップで設定した処理領域に対し、前記撮像位置からの距離帯域に応じた画像処理を行う画像処理ステップと、
を有することを特徴とする画像処理方法。
【請求項１２】
移動体に搭載され、所定の視野を撮像する撮像手段によって生成される画像に対して画像処理を施すため、コンピュータに、
前記撮像手段の撮像位置から撮像対象までの距離を算出する距離算出ステップと、
前記画像に対して処理対象となる処理領域を設定する処理領域設定ステップと、
前記処理領域設定ステップで設定した処理領域に対し、前記撮像位置からの距離帯域に応じた画像処理を行う画像処理ステップと、
を実行させることを特徴とする画像処理用プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２００６−３１８０６１（Ｐ２００６−３１８０６１Ａ）
【公開日】平成１８年１１月２４日（２００６．１１．２４）
【国際特許分類】
【出願番号】特願２００５−１３７８５１（Ｐ２００５−１３７８５１）
【出願日】平成１７年５月１０日（２００５．５．１０）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成１８年１１月２４日（２００６．１１．２４）
【国際特許分類】
【出願日】平成１７年５月１０日（２００５．５．１０）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]