画像処理装置、画像処理方法、および画像処理用プログラム
【課題】撮像する画像内に含まれるさまざまな情報を多面的かつ効率的に処理し得る画像処理装置、画像処理方法、および画像処理用プログラムを提供する。
【解決手段】移動体に搭載され、所定の視野を撮像して画像を生成する撮像手段と、前記移動体の移動状況を検知する移動状況検知手段と、前記移動状況検知手段で検知した前記移動体の移動状況に応じて、前記視野全域を和集合とする複数の閉領域を前記画像に対して設定する閉領域設定手段と、前記閉領域設定手段で設定した閉領域ごとに所定の画像処理を行う画像処理手段と、を備える。
【解決手段】移動体に搭載され、所定の視野を撮像して画像を生成する撮像手段と、前記移動体の移動状況を検知する移動状況検知手段と、前記移動状況検知手段で検知した前記移動体の移動状況に応じて、前記視野全域を和集合とする複数の閉領域を前記画像に対して設定する閉領域設定手段と、前記閉領域設定手段で設定した閉領域ごとに所定の画像処理を行う画像処理手段と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、所定の視野を撮像して生成する画像に対して画像処理を施す画像処理装置、画像処理方法、および画像処理用プログラムに関する。
【背景技術】
【０００２】
従来から、自動車等の車両の走行時に、進行方向の道路の路面状況を検知する目的で、車両の進行方向を撮像し、この撮像した画像に対して所定の対象物の認識を行う技術が知られている（例えば、特許文献１を参照）。この技術では、撮像した画像を用いて、自車両が走行する道路上にある白線等の走行路区分線や中央分離帯等の走行路区分帯の認識を行う。
【０００３】
【特許文献１】特許第３２９０３１８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した従来技術では、処理内容が白線などの認識に特化されているため、撮像する画像に含まれるさまざまな情報を多面的に処理することができなかった。
【０００５】
本発明は、上記に鑑みてなされたものであり、撮像する画像に含まれるさまざまな情報を多面的に処理し得る画像処理装置、画像処理方法、および画像処理用プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、請求項１記載の発明は、移動体に搭載され、所定の視野を撮像して画像を生成する撮像手段と、前記移動体の移動状況を検知する移動状況検知手段と、前記移動状況検知手段で検知した前記移動体の移動状況に応じて、前記視野全域を和集合とする複数の閉領域を前記画像に対して設定する閉領域設定手段と、前記閉領域設定手段で設定した閉領域ごとに所定の画像処理を行う画像処理手段と、を備えたことを特徴とする。
【０００７】
請求項２記載の発明は、請求項１記載の発明において、前記移動体の移動状況は、前記移動体自身の移動に係る現在状況および前記移動体が移動する周囲の現在状況のうち少なくともいずれかを含むことを特徴とする。
【０００８】
請求項３記載の発明は、請求項１または２記載の発明において、前記閉領域設定手段で設定した閉領域ごとに所定の対象物の検知を行う対象物検知手段をさらに備えたことを特徴とする。
【０００９】
請求項４記載の発明は、請求項１〜３のいずれか一項記載の発明において、前記画像処理手段で行う画像処理に適用する画像処理手法を前記閉領域設定手段で設定した閉領域ごとに変更する処理変更手段をさらに備えたことを特徴とする。
【００１０】
請求項５記載の発明は、請求項１〜４のいずれか一項記載の発明において、前記撮像手段は、一対の撮像光学系と、前記一対の撮像光学系の各々が出力する光信号を電気信号に変換する一対の撮像素子と、を有することを特徴とする。
【００１１】
請求項６記載の発明は、請求項１〜４のいずれか一項記載の発明において、前記撮像手段は、撮像光学系および当該撮像光学系が出力する光信号を電気信号に変換する撮像素子を備える撮像装置と、前記撮像光学系の前方に設けられ、光を複数の部位で受光し、当該複数の部位が各々受光した光を前記撮像光学系に導くステレオアダプタと、を有することを特徴とする。
【００１２】
請求項７記載の発明は、請求項１〜６のいずれか一項記載の発明において、前記移動体は車両であることを特徴とする。
【００１３】
請求項８記載の発明は、移動体に搭載され、所定の視野を撮像する撮像手段によって生成される画像に対して画像処理を施す画像処理方法であって、前記移動体の移動状況を検知する移動状況検知ステップと、前記移動状況検知ステップで検知した前記移動体の移動状況に応じて、前記視野全域を和集合とする複数の閉領域を設定する閉領域設定ステップと、前記閉領域設定ステップで設定した閉領域ごとに所定の画像処理を行う画像処理ステップと、を有することを特徴とする。
【００１４】
請求項９記載の発明は、移動体に搭載され、所定の視野を撮像する撮像手段によって生成される画像に対して画像処理を施すため、コンピュータに、前記移動体の移動状況を検知する移動状況検知ステップと、前記移動状況検知ステップで検知した前記移動体の移動状況に応じて、前記視野全域を和集合とする複数の閉領域を設定する閉領域設定ステップと、前記閉領域設定ステップで設定した閉領域ごとに所定の画像処理を行う画像処理ステップと、を実行させることを特徴とする。
【発明の効果】
【００１５】
本発明によれば、撮像する画像に含まれるさまざまな情報を多面的に処理し得る画像処理装置、画像処理方法、および画像処理用プログラムを提供することができる。
【発明を実施するための最良の形態】
【００１６】
以下、添付図面を参照して本発明の実施の形態を説明する。図１は、本発明の一実施の形態に係る画像処理装置の構成を示すブロック図である。同図に示す画像処理装置１は電子的な装置（コンピュータ）であり、移動体、特に四輪自動車等の車両に搭載され、所定の視野を撮像する撮像部１０、この撮像部１０が生成した画像を解析する画像解析部２０、画像処理装置１の動作制御を行う制御部３０、画像や文字等の情報を表示出力する出力部４０、各種データを記憶する記憶部５０、および車両の移動状況を検知する移動状況検知部６０を有する。
【００１７】
撮像部１０は、複眼のステレオカメラによって実現され、右カメラ１１ａと左カメラ１１ｂとを備える。このうち、右カメラ１１ａは、所定の視野角から入射する光を集光するレンズ１２ａ、このレンズ１２ａを透過した光を検知して電気信号（アナログ信号）に変換するＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子１３ａ、この撮像素子１３ａが出力するアナログ信号をデジタル信号に変換するＡ／Ｄ変換部１４ａ、および画像データを一時的に数メモリ分蓄積するフレームメモリ１５ａを有する。他方、左カメラ１１ｂも、右カメラ１１ａと同様の構成を有する。すなわち、左カメラ１１ｂは、レンズ１２ｂ、撮像素子１３ｂ、Ａ／Ｄ変換部１４ｂ、およびフレームメモリ１５ｂを有する。
【００１８】
撮像部１０が有する一対の撮像光学系としてのレンズ１２ａおよび１２ｂは、焦点距離が等しく（この値をｆとする）、光軸間の距離すなわち基線長がＬだけ離れた位置に配置される。また、撮像素子１３ａおよび１３ｂは、レンズ１２ａおよび１２ｂからそれぞれ焦点距離ｆだけ離れた位置に配置される。なお、レンズ１２ａおよび１２ｂは、通常は複数のレンズを組み合わせることによって構成されるが、図１では記載を簡単にするために１枚のレンズを用いた場合を示している。
【００１９】
画像解析部２０は、撮像部１０が撮像した画像をもとに三次元を再構成して三次元情報を生成する三次元再構成部２１、この三次元再構成部２１で生成した三次元情報の全域を和集合とする複数の閉領域を設定する閉領域設定部２２、およびこの閉領域設定部２２で設定した閉領域ごとに所定の画像処理を行う画像処理部２３を有する。また、画像解析部２０は、後述する各種処理を行う上で必要な種々のパラメータを算出する機能（キャリブレーション機能）と、三次元情報を生成する際、必要に応じて補正処理（レクティフィケーション処理）を行う機能を備える。
【００２０】
制御部３０は、演算および制御機能を有するＣＰＵ（Central Processing Unit）等によって実現され、後述する記憶部５０が記憶、格納する画像処理用プログラムを読み出すことによって、撮像部１０や画像解析部２０の各種動作処理の制御を行う。
【００２１】
出力部４０は、画像や文字情報等を表示出力するものであり、液晶ディスプレイ、プラズマディスプレイ、または有機ＥＬ（Electroluminescence）ディスプレイ等によって実現される。また、出力部４０として、音声情報を外部に出力するスピーカをさらに設けることもできる。
【００２２】
記憶部５０は、所定のＯＳ（Operation System）を起動するプログラムや画像処理用プログラム等が予め記憶されたＲＯＭ（Read Only Memory）と、各処理の演算パラメータやデータ等を記憶するＲＡＭ（Random Access Memory）とを用いて実現される。この記憶部５０は、撮像部１０において撮像した画像データ５１、閉領域設定部２２で画像に閉領域を設定するために必要な閉領域設定情報５２、閉領域ごとに行う画像処理の処理内容５３、および画像中の物体認識の際に用いるさまざまな物体（車両、人物、路面、白線、標識等）のパターンを画素点単位で表現したテンプレート５４をそれぞれ記憶、格納する。
【００２３】
なお、上述した画像処理用プログラムは、ハードディスク、フレキシブルディスク、ＣＤ−ＲＯＭ，ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ±Ｒ、ＤＶＤ±ＲＷ、ＤＶＤ−ＲＡＭ、ＭＯディスク、ＰＣカード、ｘＤピクチャーカード、スマートメディア等のコンピュータ読み取り可能な記録媒体に記録して広く流通させることも可能である。
【００２４】
移動状況検知部６０は、さまざまな種類のセンサによって実現され、車両自身の移動に係る現在状況や車両が移動している周囲の現在状況を検知する。このうち、車両自身の移動に係る現在状況として検知対象となるものは、車両の位置・速度・加速度、車体の振動状況、車両の操舵軸の操舵角、車両に設けられるサスペンションのピッチやロール等である。また、車両が移動している周囲の現在状況として検知対象となるものは、路面状況、周囲に存在するさまざまな物体の大きさやその物体までの距離、雨滴の有無、輝度等である。移動状況検知部６０は、これらの情報のうちの少なくとも一つを用いることによって車両の移動状況を検知する。
【００２５】
以上の構成を有する画像処理装置１が実行する画像処理方法について、図２に示すフローチャートを参照して詳細に説明する。まず、撮像部１０が、所定の視野を撮像して画像を生成する撮像処理を行う（ステップＳ１）。撮像部１０の右カメラ１１ａおよび左カメラ１１ｂでは、制御部３０の制御のもと、レンズ１２ａおよび１２ｂをそれぞれ用いて所定の視野角に含まれる領域から光を集光する。
【００２６】
図３は、複眼のステレオカメラによる撮像処理を概念的に示す説明図である。同図では、右カメラ１１ａの光軸ｚaと左カメラ１１ｂの光軸ｚbが平行な場合を示している。この場合、左カメラ固有の座標系（左カメラ座標系）に対応する左画像領域Ｉbの点Ａbに対応する点が、右カメラ固有の座標系（右カメラ座標系）に対応する右画像領域Ｉa内の直線αE（エピポーラ線）上に存在している。なお、図３では左カメラ１１ｂを基準として、右カメラ１１ａにおける対応点を探索する場合を図示しているが、これとは反対に右カメラ１１ａを基準とすることもできる。
【００２７】
レンズ１２ａおよび１２ｂが集光した光は、撮像素子１３ａおよび１３ｂの面上にそれぞれ結像して電気信号（アナログ信号）に変換される。撮像素子１３ａおよび１３ｂが出力するアナログ信号は、Ａ／Ｄ変換部１４ａおよび１４ｂでそれぞれデジタル信号に変換され、この変換されたデジタル信号の各々を、フレームメモリ１５ａおよび１５ｂが一時的に格納する。フレームメモリ１５ａおよび１５ｂがそれぞれ一時的に格納したデジタル信号は、所定時間経過後、画像解析部２０に送出される。
【００２８】
デジタル信号を受け取った画像解析部２０では、三次元再構成部２１で三次元情報の生成を行う（ステップＳ３）。ここでの三次元情報生成処理では、まず左右のカメラ座標系における座標値の算出と、座標値間の対応付け（対応点探索）とを行う。この対応点探索によって三次元を再構成する場合には、基準とする方の画像を通過する任意の直線上に位置する画素点が、他方の画像においても同一直線上に位置することが望ましい（エピポーラ拘束条件）。しかし、このエピポーラ拘束条件は常に満足されているとは限らず、例えば図４に示す場合、基準とする左画像領域Ｉbの点Ａbに対応する右画像領域Ｉaの点は直線αA上に存在する一方、左画像領域Ｉbの点Ｂbに対応する右画像領域Ｉaの点は直線αB上に存在する。
【００２９】
このようにエピポーラ拘束条件が満足されない場合には、探索範囲を絞り切ることができず、対応点を探索する際の計算量が膨大になってしまう。そのような場合には、画像解析部２０が、予め左右のカメラ座標系を正規化して、エピポーラ拘束条件を満足するような状態に変換する処理（レクティフィケーション処理）を行う。図５は、このレクティフィケーション処理後の左右画像領域の対応関係を示すものである。この図５に示すようにエピポーラ拘束条件が満足されていれば、探索範囲をエピポーラ線αEに絞って探索することができるので、対応点探索に要する計算量を少なくすることができる。
【００３０】
ここで対応点探索法の一例を説明する。まず、基準とする左画像領域Ｉbにおいて、注目する画素点近傍に局所領域を設け、この局所領域と同様の領域を右画像領域Ｉaの対応するエピポーラ線αE上に設ける。そして、右画像領域Ｉaの局所領域をエピポーラ線αE上で走査しながら、左画像領域Ｉbの局所領域との類似度が最も高い局所領域を探索する。この探索の結果、類似度が最も高い局所領域の中心点を左画像領域Ｉbの画素点の対応点とする。
【００３１】
この対応点探索の際に用いる類似度として、局所領域内の画素点間の差の絶対値の和（ＳＡＤ：Sum of Absolute Difference）、局所領域内の画素点間の差の２乗和（ＳＳＤ：Sum of Squared Difference）、または局所領域内の画素点間の正規化相互相関（ＮＣＣ：Normalized Cross Correlation）を適用することができる。これらのうち、ＳＡＤまたはＳＳＤを適用する場合には、最小値をとる点を類似度が最も高い点とする一方、ＮＣＣを適用する場合には、最大値をとる点を類似度が最も高い点とする。
【００３２】
なお、ステップＳ３の後、三次元再構成部２１において、そのステップＳ３で算出した座標値（ｘ，ｙ，ｚ）を用いて移動体の最前面から撮像された点までの距離Ｒを算出してもよい。ここで、カメラ座標系における車両最前面の位置は、予め実測しておく必要がある。この距離Ｒを算出した場合は、撮像部１０によって得られた画像に前記距離Ｒを重畳した距離画像を生成することも可能である。図６は、出力部４０における距離画像の表示出力例を示す図である。同図に示す距離画像３０１は、濃淡の度合いによって撮像部１０からの距離を表現しており、遠方ほど濃く表示されている。なお、算出した視野構成点の全ての座標値（ｘ，ｙ，ｚ）および距離Ｒは、対応する画像と関連付けて記憶部５０に格納される。
【００３３】
上述した撮像部１０および三次元再構成部２１における処理（ステップＳ１およびＳ３）と並行して、移動状況検知部６０は車両の移動状況の検知を行う（ステップＳ５）。この移動状況の検知結果は、閉領域設定部２２における閉領域の設定処理に反映される。より具体的には、移動状況の検知結果を受け取った制御部３０が、記憶部５０に格納されている閉領域設定情報５２を参照し、その検知結果に応じた閉領域の設定に関する制御信号を画像解析部２０内の閉領域設定部２２に送出する。閉領域設定情報５２は、移動状況の検知結果と閉領域の設定モードとを対応付ける情報を有する。ここで閉領域の設定モードは、車両の移動状況に応じて撮影することが予想される画像パターンと、その画像パターンに対して行うべき処理内容とに応じて予め設定されるものである。
【００３４】
制御部３０からの制御信号を受信した閉領域設定部２２は、撮像部１０で撮像された画像に対して閉領域の設定を行う（ステップＳ７）。図７は、このステップにおける閉領域の設定モードの一例を示す図である。同図に示す設定モード４０１は、移動状況検知部６０において、自車両がある速度で直進しており、路面も直進状態が続くことを検知した場合の閉領域の設定例である。
【００３５】
設定モード４０１の具体的な構成は、中央部に長方形の閉領域ｄ１が設けられ、この閉領域ｄ１の境界をなす各辺を一つの底辺に有するとともに、画面の境界線（周縁）を他方の底辺とする等脚台形状の閉領域ｄ２、ｄ３、ｄ４、およびｄ５が閉領域ｄ１の周囲に設けられる。車両が直進する場合、閉領域ｄ１には先行車両が撮影されて映し出されることが多い。また、閉領域ｄ１よりも上方に位置する閉領域ｄ２には、信号の他、空や太陽や雲が映し出されることが多い。閉領域ｄ１の側方に位置する、閉領域ｄ３およびｄ５には、路肩に設置される道路標識、側壁、並行して隣のレーンを走行する車両や対向車両等が映し出されることが多い。さらに、閉領域ｄ１の下方に位置する閉領域ｄ４では、車両が進行する路面が映し出される可能性が高い。このように、分割された５つの閉領域には、車両が直進するという移動状況を反映する特徴的な物体がそれぞれ映し出される可能性が高い。そこで、閉領域ごとにそれら特徴的な物体を検知することにより、多面的な画像処理を実現することができる。
【００３６】
他の閉領域の設定例を説明する。図８は、図７と同様に直進状態がしばらく続くが、車両の速さが図７に示す設定モード４０１よりも大きい状況下（例えば自動車専用道路走行時）における閉領域の設定例を示す図である。この図８に示す設定モード４０２が選択される状況においては、自車両と先行車両との車間距離が、図７に示す設定モード４０１を適用する状況よりも大きい可能性が高い。このため、中央に位置する閉領域ｄ１は、設定モード４０２よりも小さく設けられる。
【００３７】
図９は、移動状況検知部６０が、例えば操舵軸の操舵角の回転を計測することによって車両が左側に曲がりつつある状況を検知した場合の閉領域の設定例を示す図である。同図に示す設定モード４０３では、車両検知用の閉領域ｄ１も、設定モード４０１に比べて水平方向左側に移動している。これは、左に曲がるカーブを走行するときには、同じ走行レーンを走行する先行車両が画面の左側に映し出される可能性が高いからである。なお、閉領域ｄ１の面積が設定モード４０１の閉領域ｄ１の面積と略同一なのは、設定モード４０３における車両の走行速度が設定モード４０１の車両の走行速度と略同一の場合を想定しているためである。また、車両が右に曲がるカーブを走行する場合には、この設定モード４０１と左右が逆になり、設定モード４０１と比較して閉領域ｄ１が水平方向右側に移動する。
【００３８】
図１０は、例えば車両が鉛直方向下向きに凸な斜面上を直進する場合の閉領域の設定例を示す図である。同図に示す設定モード４０４では、先行車両を画像の上部で検知する可能性が高いので、車両検知用の閉領域ｄ１が設定モード４０１に比べて画面上部に配置される。なお、車両が鉛直方向上向きに凸な斜面上を直進する場合には、設定モード４０４を上下逆にした状態、すなわち設定モード４０１に比べて閉領域ｄ１が下側に配置される状態となる。
【００３９】
ところで、上述した閉領域の設定モード以外にも、画像処理装置１を搭載する車両の移動形態等に応じてさまざまな設定モードを適用することが可能である。例えば、区分する閉領域の数は５つに限られるわけではない。また、全ての閉領域の和集合をとることによって視野全域を網羅することができれば、隣接する閉領域が交わりを有してもよい。
【００４０】
以上のように閉領域が設定された後、画像処理部２３は、制御部３０の制御のもと、処理内容５３を記憶部５０から読み出し、この読み出した処理内容５３にしたがってステップＳ７で設定した閉領域ごとに所定の画像処理を行う（ステップＳ９）。図１１は、ステップＳ７で設定した閉領域ごとに行うべき画像処理の処理内容を示す説明図である。同図に示す対応表７１は、閉領域と処理内容の対応を表しており、具体的な処理内容として、所定の対象物の検知と、その対象物を検知した場合に行うべき処理とを示している。ここで各対象物を検知する際には、記憶部５０のテンプレート５４に予め記憶しておいた物体のパターンと、撮像部１０で撮像された画像内のパターンを比較して両者の相関を調べる（テンプレートマッチング）。このテンプレートマッチングの結果、該当するパターンを検知した場合には、その検知した対象物に応じた処理を行う。したがって、画像処理部２３は、閉領域ごとの対象物の検知を行う対象物検知手段の機能を備える。
【００４１】
図１１の対応表７１に記載されている処理内容を具体的に説明する。まず、閉領域ｄ１に対しては、先行車両または人物の検知を行う。ここでのパターンは車両（または人物）の大きさを含むので、仮に閉領域ｄ１の内部に遠方に存在する車両の小さい像が入ってきても、その段階では対象物であるとは認識されず、所定距離近づいたときの車両の大きさに相当するテンプレートに一致した時点で初めて車両として検知される。
【００４２】
図１２は、閉領域ｄ１において先行車両を検知した場合の出力部４０の表示例を示す図である。同図に示す表示画像５０１では、撮像部１０で撮像された画像に設定した閉領域を重ねて表示するとともに、閉領域ｄ１に危険とみなし得る大きさの車両が検知されたため、画像の下部に「ブレーキをかけてください」という警告メッセージを出力している。この警告メッセージの出力に合わせて、例えば警告音を発生させたり、表示と同様のメッセージを音声で出力することもできる。なお、閉領域ｄ１で人物（または路上に存在することが想定される障害物）を検知した場合には、ブレーキの作動を促すか、あるいは回避を促す警告を出力してもよい。
【００４３】
閉領域ｄ２では、信号の検知を行う。図１３に示す表示画像５０２は、所定の閉領域ｄ２で信号を検知し、画面上の信号を囲む位置に注意喚起のウィンドウを設けるとともに、「信号あります」という注意喚起のメッセージを表示した場合を示している。信号を検知するとともに信号の色を検知し、例えば信号が赤の場合には、ブレーキの準備を促すようなメッセージを出力することも可能である。ところで、図１１に示す場合、閉領域ｄ２では空の色、輝度、雲の量などの検知も同時に行う。この検知の結果、例えば閉領域ｄ２で雲を多く検知した場合には、進行方向が徐々に暗くなってくると判断し、自車両のライト点灯を促すメッセージを表示する。空の状況判断として、雨粒を検知してワイパーの作動を促すメッセージを表示出力するようにしてもよい。なお、移動状況検知部６０が、空の色、輝度、雲の量などの検知を行ってもよい。この場合には、移動状況検知部６０が対象物検知手段の一部の機能を担う。
【００４４】
閉領域ｄ３およびｄ５では、路肩に設けられる道路標識の種別等の認識や側壁の検知を行う。図１４に示す表示画像５０３では、閉領域ｄ３で検知した標識を矢印で指示し、標識の内容（「追越禁止区間です」等）を画像の下部に表示している。なお、標識の内容まで識別することが困難な場合には、例えば標識がある旨の表示のみを行うようにしてもよい。また、側壁を検知した場合には、その側壁との距離が一定値よりも近づいたときに警告メッセージや警告音を発する。ところで、閉領域ｄ３およびｄ５には隣の走行レーンを走行する車両が映し出される可能性が高いので、これらの車両検知を行うようにしてもよい。
【００４５】
閉領域ｄ４では、路面および路面上の白線の検知を行うことによって自車両の進路の状況（例えば、路面の曲がり具合や路面上の凍結の有無）や走行レーンを把握する。加えて、白線以外の走行路区分帯（黄線等）の認識、把握を行ってもよい。図１５は、閉領域ｄ４で検知した路面が左に曲がるカーブを描いていると認識した場合の画像処理結果を示す図である。同図に示す表示画像５０４では、左に曲がる矢印を閉領域ｄ４中に表示するとともに、「左カーブです」というメッセージを画像の下部に表示出力している。この場合、自車両が走行レーンを逸脱しつつあることを白線等の検知によって認識したときには、その旨の警告をメッセージで出力したり警告音を発生したりしてもよい。
【００４６】
ここまで、画像内において一つの画像処理を施す場合について主に説明したが、閉領域ごとの画像処理を並列的に行うことも勿論可能である。この場合には、所定時間ずつ閉領域ごとの情報を切替えて表示したり、緊急の表示が必要な閉領域を最優先で表示できるようにしておく。また、図１２〜図１５では、閉領域の境界線を表示画像で明示していたが、この境界線を明示して表示しなくてもよい。
【００４７】
以上説明した本発明の一実施の形態によれば、撮像した画像を、自車両の移動状況をふまえた閉領域に区分し、この区分した閉領域ごとに所定の画像処理を行うことにより、撮像する画像に含まれるさまざまな情報を多面的かつ効率的に処理することが可能となる。
【００４８】
特に、この実施の形態によれば、閉領域の構成を車両の走行状況に応じて最適化することができ、その現状に即した最適な画像処理を施すことが可能となる。
【００４９】
図１６は、この実施の形態の一変形例に係る画像処理装置の撮像部の構成を示す図である。同図に示す撮像部１１０は、単眼の撮像装置であるカメラ１１１に対してステレオアダプタ１１６を装着したものである。カメラ１１１の構成は、右カメラ１１ａや左カメラ１１ｂと同じであり、レンズ１１２、撮像素子１１３、Ａ／Ｄ変換部１１４、およびフレームメモリ１１５を有する。ステレオアダプタ１１６は、被写体から入射する光を受光する二つの受光部位である受光ミラー１１７ａおよび１１７ｂと、これらの受光ミラー１１７ａおよび１１７ｂによって反射されてくる光をカメラ１１１の撮像光学系であるレンズ１１２に導く導光ミラー１１８ａおよび１１８ｂとを有する。
【００５０】
このような構成を有する撮像部１１０は、異なる二つの視点からの画像を結像して出力するため、ステレオカメラである撮像部１０と同等の機能を有する。したがって、この一変形例によれば、上記一実施の形態と同様に、撮像する画像に含まれるさまざまな情報を多面的に処理することができる。また、この一変形例によれば、ステレオ画像撮影用ではない一般のカメラを用いて簡単にステレオ画像を撮影することができる。
【００５１】
以上、本発明の好ましい一実施の形態を詳述してきたが、本発明はこの実施の形態によってのみ限定されるものではない。例えば、本発明に係る画像処理装置に、閉領域ごとに処理内容の変更を行う処理変更手段をさらに具備させてもよい。この処理変更手段を用いることにより、例えば空の検知結果から把握できる天候や昼夜の区別に応じて各閉領域の処理内容の変更を行ったりすることが可能となる。
【００５２】
また、本発明に係る画像処理装置に入力手段を設けることにより、処理内容や閉領域の設定方法を利用者が自在に設定できる構成にしてもよい。
【００５３】
さらに、撮像部として単眼のカメラを用い、シェイプフロムフォーカス（shape from focus）、シェイプフロムデフォーカス（shape from defocus）、シェイプフロムモーション（shape from motion）、シェイプフロムシェーディング（shape from shading）等の三次元再構成技術を適用することによって画像の各構成点までの距離を算出することもできる。
【００５４】
この撮像部として、より多眼のステレオカメラ、例えば３眼ステレオカメラや４眼ステレオカメラを用いることもできる。これらの３眼または４眼ステレオカメラを用いると、三次元再構成処理などにおいて、より信頼度が高く、安定した処理結果が得られる（例えば、富田文明, 「高機能３次元視覚システムVVV」, 情報処理学会誌「情報処理」, Vol. 42, No. 4, pp. 370-375 (2001). 等を参照）。特に、複数のカメラが二方向の基線長を持つようにすると、より複雑なシーンでの３次元再構成が可能になることが知られている。また、一つの基線長方向にカメラを複数台配置するマルチベースライン方式のステレオカメラを実現することができ、より高精度のステレオ計測が可能となる。
【００５５】
ところで、撮像手段として、各種カメラに加えてレーダ等の測距装置を併用することも可能である。これにより、通常のカメラよりも精度の高いレーダ測定値を利用することができ、測距点の解像度を一段と向上させることができる。
【００５６】
なお、画像認識の手法として、上述したテンプレートマッチング以外にも、エッジ抽出による領域分割法や、クラスタ分析に基づく統計的パターン認識法等、通常よく用いられる物体認識手法を適用することができる。
【００５７】
本発明に係る画像処理装置は、四輪自動車以外の車両、例えば電動車椅子等に搭載することが可能である。また、車両以外にも、人、ロボット等の移動体に搭載することもできる。
【００５８】
このように、本発明は、ここでは記載していないさまざまな実施の形態等を含みうるものであり、特許請求の範囲により特定される技術的事項を逸脱しない範囲内において種々の設計変更等を施すことが可能である。
【図面の簡単な説明】
【００５９】
【図１】本発明の一実施の形態に係る画像処理装置の構成を示すブロック図である。
【図２】本発明の一実施の形態に係る画像処理方法の概要を示すフローチャートである。
【図３】ステレオカメラを用いた撮像処理を概念的に示す説明図である。
【図４】レクティフィケーション処理前の左右画像領域の対応を示す説明図である。
【図５】レクティフィケーション処理後の左右画像領域の対応を示す説明図である。
【図６】距離画像の出力例を示す図である。
【図７】車両が直進して走行するときの閉領域の設定例を示す図である。
【図８】車両が高速で直進時の閉領域の設定例を示す図である。
【図９】車両が左にカーブしながら走行するときの閉領域の設定例を示す図である。
【図１０】車両が斜面を直進して走行するときの閉領域の設定例を示す図である。
【図１１】閉領域ごとに行う画像処理の処理内容を示す説明図である。
【図１２】車両検知に関する画像処理を行った場合の表示例を示す図である。
【図１３】信号検知に関する画像処理を行った場合の表示例を示す図である。
【図１４】標識検知に関する画像処理を行った場合の表示例を示す図である。
【図１５】路面検知に関する画像処理を行った場合の表示例を示す図である。
【図１６】本発明の一実施の形態の変形例に係る画像処理装置の撮像部の構成を示す図である。
【符号の説明】
【００６０】
１ 画像処理装置
１０、１１０ 撮像部
１１ａ 右カメラ
１１ｂ 左カメラ
１２ａ、１２ｂ、１１２ レンズ
１３ａ、１３ｂ、１１３ 撮像素子
１４ａ、１４ｂ、１１４ Ａ／Ｄ変換部
１５ａ、１５ｂ、１１５ フレームメモリ
２０ 画像解析部
２１ 三次元再構成部
２２ 閉領域設定部
２３ 画像処理部
３０ 制御部
４０ 出力部
５０ 記憶部
５１ 画像データ
５２ 閉領域設定情報
５３ 処理内容
５４ テンプレート
６０ 移動状況検知部
１１１ カメラ
１１６ ステレオアダプタ
１１７ａ、１１７ｂ 受光ミラー
１１８ａ、１１８ｂ 導光ミラー
３０１ 距離画像
４０１、４０２、４０３、４０４ 設定モード
５０１、５０２、５０３、５０４ 表示画像
ｄ１、ｄ２、ｄ３、ｄ４ 閉領域
【技術分野】
【０００１】
本発明は、所定の視野を撮像して生成する画像に対して画像処理を施す画像処理装置、画像処理方法、および画像処理用プログラムに関する。
【背景技術】
【０００２】
従来から、自動車等の車両の走行時に、進行方向の道路の路面状況を検知する目的で、車両の進行方向を撮像し、この撮像した画像に対して所定の対象物の認識を行う技術が知られている（例えば、特許文献１を参照）。この技術では、撮像した画像を用いて、自車両が走行する道路上にある白線等の走行路区分線や中央分離帯等の走行路区分帯の認識を行う。
【０００３】
【特許文献１】特許第３２９０３１８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した従来技術では、処理内容が白線などの認識に特化されているため、撮像する画像に含まれるさまざまな情報を多面的に処理することができなかった。
【０００５】
本発明は、上記に鑑みてなされたものであり、撮像する画像に含まれるさまざまな情報を多面的に処理し得る画像処理装置、画像処理方法、および画像処理用プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、請求項１記載の発明は、移動体に搭載され、所定の視野を撮像して画像を生成する撮像手段と、前記移動体の移動状況を検知する移動状況検知手段と、前記移動状況検知手段で検知した前記移動体の移動状況に応じて、前記視野全域を和集合とする複数の閉領域を前記画像に対して設定する閉領域設定手段と、前記閉領域設定手段で設定した閉領域ごとに所定の画像処理を行う画像処理手段と、を備えたことを特徴とする。
【０００７】
請求項２記載の発明は、請求項１記載の発明において、前記移動体の移動状況は、前記移動体自身の移動に係る現在状況および前記移動体が移動する周囲の現在状況のうち少なくともいずれかを含むことを特徴とする。
【０００８】
請求項３記載の発明は、請求項１または２記載の発明において、前記閉領域設定手段で設定した閉領域ごとに所定の対象物の検知を行う対象物検知手段をさらに備えたことを特徴とする。
【０００９】
請求項４記載の発明は、請求項１〜３のいずれか一項記載の発明において、前記画像処理手段で行う画像処理に適用する画像処理手法を前記閉領域設定手段で設定した閉領域ごとに変更する処理変更手段をさらに備えたことを特徴とする。
【００１０】
請求項５記載の発明は、請求項１〜４のいずれか一項記載の発明において、前記撮像手段は、一対の撮像光学系と、前記一対の撮像光学系の各々が出力する光信号を電気信号に変換する一対の撮像素子と、を有することを特徴とする。
【００１１】
請求項６記載の発明は、請求項１〜４のいずれか一項記載の発明において、前記撮像手段は、撮像光学系および当該撮像光学系が出力する光信号を電気信号に変換する撮像素子を備える撮像装置と、前記撮像光学系の前方に設けられ、光を複数の部位で受光し、当該複数の部位が各々受光した光を前記撮像光学系に導くステレオアダプタと、を有することを特徴とする。
【００１２】
請求項７記載の発明は、請求項１〜６のいずれか一項記載の発明において、前記移動体は車両であることを特徴とする。
【００１３】
請求項８記載の発明は、移動体に搭載され、所定の視野を撮像する撮像手段によって生成される画像に対して画像処理を施す画像処理方法であって、前記移動体の移動状況を検知する移動状況検知ステップと、前記移動状況検知ステップで検知した前記移動体の移動状況に応じて、前記視野全域を和集合とする複数の閉領域を設定する閉領域設定ステップと、前記閉領域設定ステップで設定した閉領域ごとに所定の画像処理を行う画像処理ステップと、を有することを特徴とする。
【００１４】
請求項９記載の発明は、移動体に搭載され、所定の視野を撮像する撮像手段によって生成される画像に対して画像処理を施すため、コンピュータに、前記移動体の移動状況を検知する移動状況検知ステップと、前記移動状況検知ステップで検知した前記移動体の移動状況に応じて、前記視野全域を和集合とする複数の閉領域を設定する閉領域設定ステップと、前記閉領域設定ステップで設定した閉領域ごとに所定の画像処理を行う画像処理ステップと、を実行させることを特徴とする。
【発明の効果】
【００１５】
本発明によれば、撮像する画像に含まれるさまざまな情報を多面的に処理し得る画像処理装置、画像処理方法、および画像処理用プログラムを提供することができる。
【発明を実施するための最良の形態】
【００１６】
以下、添付図面を参照して本発明の実施の形態を説明する。図１は、本発明の一実施の形態に係る画像処理装置の構成を示すブロック図である。同図に示す画像処理装置１は電子的な装置（コンピュータ）であり、移動体、特に四輪自動車等の車両に搭載され、所定の視野を撮像する撮像部１０、この撮像部１０が生成した画像を解析する画像解析部２０、画像処理装置１の動作制御を行う制御部３０、画像や文字等の情報を表示出力する出力部４０、各種データを記憶する記憶部５０、および車両の移動状況を検知する移動状況検知部６０を有する。
【００１７】
撮像部１０は、複眼のステレオカメラによって実現され、右カメラ１１ａと左カメラ１１ｂとを備える。このうち、右カメラ１１ａは、所定の視野角から入射する光を集光するレンズ１２ａ、このレンズ１２ａを透過した光を検知して電気信号（アナログ信号）に変換するＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子１３ａ、この撮像素子１３ａが出力するアナログ信号をデジタル信号に変換するＡ／Ｄ変換部１４ａ、および画像データを一時的に数メモリ分蓄積するフレームメモリ１５ａを有する。他方、左カメラ１１ｂも、右カメラ１１ａと同様の構成を有する。すなわち、左カメラ１１ｂは、レンズ１２ｂ、撮像素子１３ｂ、Ａ／Ｄ変換部１４ｂ、およびフレームメモリ１５ｂを有する。
【００１８】
撮像部１０が有する一対の撮像光学系としてのレンズ１２ａおよび１２ｂは、焦点距離が等しく（この値をｆとする）、光軸間の距離すなわち基線長がＬだけ離れた位置に配置される。また、撮像素子１３ａおよび１３ｂは、レンズ１２ａおよび１２ｂからそれぞれ焦点距離ｆだけ離れた位置に配置される。なお、レンズ１２ａおよび１２ｂは、通常は複数のレンズを組み合わせることによって構成されるが、図１では記載を簡単にするために１枚のレンズを用いた場合を示している。
【００１９】
画像解析部２０は、撮像部１０が撮像した画像をもとに三次元を再構成して三次元情報を生成する三次元再構成部２１、この三次元再構成部２１で生成した三次元情報の全域を和集合とする複数の閉領域を設定する閉領域設定部２２、およびこの閉領域設定部２２で設定した閉領域ごとに所定の画像処理を行う画像処理部２３を有する。また、画像解析部２０は、後述する各種処理を行う上で必要な種々のパラメータを算出する機能（キャリブレーション機能）と、三次元情報を生成する際、必要に応じて補正処理（レクティフィケーション処理）を行う機能を備える。
【００２０】
制御部３０は、演算および制御機能を有するＣＰＵ（Central Processing Unit）等によって実現され、後述する記憶部５０が記憶、格納する画像処理用プログラムを読み出すことによって、撮像部１０や画像解析部２０の各種動作処理の制御を行う。
【００２１】
出力部４０は、画像や文字情報等を表示出力するものであり、液晶ディスプレイ、プラズマディスプレイ、または有機ＥＬ（Electroluminescence）ディスプレイ等によって実現される。また、出力部４０として、音声情報を外部に出力するスピーカをさらに設けることもできる。
【００２２】
記憶部５０は、所定のＯＳ（Operation System）を起動するプログラムや画像処理用プログラム等が予め記憶されたＲＯＭ（Read Only Memory）と、各処理の演算パラメータやデータ等を記憶するＲＡＭ（Random Access Memory）とを用いて実現される。この記憶部５０は、撮像部１０において撮像した画像データ５１、閉領域設定部２２で画像に閉領域を設定するために必要な閉領域設定情報５２、閉領域ごとに行う画像処理の処理内容５３、および画像中の物体認識の際に用いるさまざまな物体（車両、人物、路面、白線、標識等）のパターンを画素点単位で表現したテンプレート５４をそれぞれ記憶、格納する。
【００２３】
なお、上述した画像処理用プログラムは、ハードディスク、フレキシブルディスク、ＣＤ−ＲＯＭ，ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ±Ｒ、ＤＶＤ±ＲＷ、ＤＶＤ−ＲＡＭ、ＭＯディスク、ＰＣカード、ｘＤピクチャーカード、スマートメディア等のコンピュータ読み取り可能な記録媒体に記録して広く流通させることも可能である。
【００２４】
移動状況検知部６０は、さまざまな種類のセンサによって実現され、車両自身の移動に係る現在状況や車両が移動している周囲の現在状況を検知する。このうち、車両自身の移動に係る現在状況として検知対象となるものは、車両の位置・速度・加速度、車体の振動状況、車両の操舵軸の操舵角、車両に設けられるサスペンションのピッチやロール等である。また、車両が移動している周囲の現在状況として検知対象となるものは、路面状況、周囲に存在するさまざまな物体の大きさやその物体までの距離、雨滴の有無、輝度等である。移動状況検知部６０は、これらの情報のうちの少なくとも一つを用いることによって車両の移動状況を検知する。
【００２５】
以上の構成を有する画像処理装置１が実行する画像処理方法について、図２に示すフローチャートを参照して詳細に説明する。まず、撮像部１０が、所定の視野を撮像して画像を生成する撮像処理を行う（ステップＳ１）。撮像部１０の右カメラ１１ａおよび左カメラ１１ｂでは、制御部３０の制御のもと、レンズ１２ａおよび１２ｂをそれぞれ用いて所定の視野角に含まれる領域から光を集光する。
【００２６】
図３は、複眼のステレオカメラによる撮像処理を概念的に示す説明図である。同図では、右カメラ１１ａの光軸ｚaと左カメラ１１ｂの光軸ｚbが平行な場合を示している。この場合、左カメラ固有の座標系（左カメラ座標系）に対応する左画像領域Ｉbの点Ａbに対応する点が、右カメラ固有の座標系（右カメラ座標系）に対応する右画像領域Ｉa内の直線αE（エピポーラ線）上に存在している。なお、図３では左カメラ１１ｂを基準として、右カメラ１１ａにおける対応点を探索する場合を図示しているが、これとは反対に右カメラ１１ａを基準とすることもできる。
【００２７】
レンズ１２ａおよび１２ｂが集光した光は、撮像素子１３ａおよび１３ｂの面上にそれぞれ結像して電気信号（アナログ信号）に変換される。撮像素子１３ａおよび１３ｂが出力するアナログ信号は、Ａ／Ｄ変換部１４ａおよび１４ｂでそれぞれデジタル信号に変換され、この変換されたデジタル信号の各々を、フレームメモリ１５ａおよび１５ｂが一時的に格納する。フレームメモリ１５ａおよび１５ｂがそれぞれ一時的に格納したデジタル信号は、所定時間経過後、画像解析部２０に送出される。
【００２８】
デジタル信号を受け取った画像解析部２０では、三次元再構成部２１で三次元情報の生成を行う（ステップＳ３）。ここでの三次元情報生成処理では、まず左右のカメラ座標系における座標値の算出と、座標値間の対応付け（対応点探索）とを行う。この対応点探索によって三次元を再構成する場合には、基準とする方の画像を通過する任意の直線上に位置する画素点が、他方の画像においても同一直線上に位置することが望ましい（エピポーラ拘束条件）。しかし、このエピポーラ拘束条件は常に満足されているとは限らず、例えば図４に示す場合、基準とする左画像領域Ｉbの点Ａbに対応する右画像領域Ｉaの点は直線αA上に存在する一方、左画像領域Ｉbの点Ｂbに対応する右画像領域Ｉaの点は直線αB上に存在する。
【００２９】
このようにエピポーラ拘束条件が満足されない場合には、探索範囲を絞り切ることができず、対応点を探索する際の計算量が膨大になってしまう。そのような場合には、画像解析部２０が、予め左右のカメラ座標系を正規化して、エピポーラ拘束条件を満足するような状態に変換する処理（レクティフィケーション処理）を行う。図５は、このレクティフィケーション処理後の左右画像領域の対応関係を示すものである。この図５に示すようにエピポーラ拘束条件が満足されていれば、探索範囲をエピポーラ線αEに絞って探索することができるので、対応点探索に要する計算量を少なくすることができる。
【００３０】
ここで対応点探索法の一例を説明する。まず、基準とする左画像領域Ｉbにおいて、注目する画素点近傍に局所領域を設け、この局所領域と同様の領域を右画像領域Ｉaの対応するエピポーラ線αE上に設ける。そして、右画像領域Ｉaの局所領域をエピポーラ線αE上で走査しながら、左画像領域Ｉbの局所領域との類似度が最も高い局所領域を探索する。この探索の結果、類似度が最も高い局所領域の中心点を左画像領域Ｉbの画素点の対応点とする。
【００３１】
この対応点探索の際に用いる類似度として、局所領域内の画素点間の差の絶対値の和（ＳＡＤ：Sum of Absolute Difference）、局所領域内の画素点間の差の２乗和（ＳＳＤ：Sum of Squared Difference）、または局所領域内の画素点間の正規化相互相関（ＮＣＣ：Normalized Cross Correlation）を適用することができる。これらのうち、ＳＡＤまたはＳＳＤを適用する場合には、最小値をとる点を類似度が最も高い点とする一方、ＮＣＣを適用する場合には、最大値をとる点を類似度が最も高い点とする。
【００３２】
なお、ステップＳ３の後、三次元再構成部２１において、そのステップＳ３で算出した座標値（ｘ，ｙ，ｚ）を用いて移動体の最前面から撮像された点までの距離Ｒを算出してもよい。ここで、カメラ座標系における車両最前面の位置は、予め実測しておく必要がある。この距離Ｒを算出した場合は、撮像部１０によって得られた画像に前記距離Ｒを重畳した距離画像を生成することも可能である。図６は、出力部４０における距離画像の表示出力例を示す図である。同図に示す距離画像３０１は、濃淡の度合いによって撮像部１０からの距離を表現しており、遠方ほど濃く表示されている。なお、算出した視野構成点の全ての座標値（ｘ，ｙ，ｚ）および距離Ｒは、対応する画像と関連付けて記憶部５０に格納される。
【００３３】
上述した撮像部１０および三次元再構成部２１における処理（ステップＳ１およびＳ３）と並行して、移動状況検知部６０は車両の移動状況の検知を行う（ステップＳ５）。この移動状況の検知結果は、閉領域設定部２２における閉領域の設定処理に反映される。より具体的には、移動状況の検知結果を受け取った制御部３０が、記憶部５０に格納されている閉領域設定情報５２を参照し、その検知結果に応じた閉領域の設定に関する制御信号を画像解析部２０内の閉領域設定部２２に送出する。閉領域設定情報５２は、移動状況の検知結果と閉領域の設定モードとを対応付ける情報を有する。ここで閉領域の設定モードは、車両の移動状況に応じて撮影することが予想される画像パターンと、その画像パターンに対して行うべき処理内容とに応じて予め設定されるものである。
【００３４】
制御部３０からの制御信号を受信した閉領域設定部２２は、撮像部１０で撮像された画像に対して閉領域の設定を行う（ステップＳ７）。図７は、このステップにおける閉領域の設定モードの一例を示す図である。同図に示す設定モード４０１は、移動状況検知部６０において、自車両がある速度で直進しており、路面も直進状態が続くことを検知した場合の閉領域の設定例である。
【００３５】
設定モード４０１の具体的な構成は、中央部に長方形の閉領域ｄ１が設けられ、この閉領域ｄ１の境界をなす各辺を一つの底辺に有するとともに、画面の境界線（周縁）を他方の底辺とする等脚台形状の閉領域ｄ２、ｄ３、ｄ４、およびｄ５が閉領域ｄ１の周囲に設けられる。車両が直進する場合、閉領域ｄ１には先行車両が撮影されて映し出されることが多い。また、閉領域ｄ１よりも上方に位置する閉領域ｄ２には、信号の他、空や太陽や雲が映し出されることが多い。閉領域ｄ１の側方に位置する、閉領域ｄ３およびｄ５には、路肩に設置される道路標識、側壁、並行して隣のレーンを走行する車両や対向車両等が映し出されることが多い。さらに、閉領域ｄ１の下方に位置する閉領域ｄ４では、車両が進行する路面が映し出される可能性が高い。このように、分割された５つの閉領域には、車両が直進するという移動状況を反映する特徴的な物体がそれぞれ映し出される可能性が高い。そこで、閉領域ごとにそれら特徴的な物体を検知することにより、多面的な画像処理を実現することができる。
【００３６】
他の閉領域の設定例を説明する。図８は、図７と同様に直進状態がしばらく続くが、車両の速さが図７に示す設定モード４０１よりも大きい状況下（例えば自動車専用道路走行時）における閉領域の設定例を示す図である。この図８に示す設定モード４０２が選択される状況においては、自車両と先行車両との車間距離が、図７に示す設定モード４０１を適用する状況よりも大きい可能性が高い。このため、中央に位置する閉領域ｄ１は、設定モード４０２よりも小さく設けられる。
【００３７】
図９は、移動状況検知部６０が、例えば操舵軸の操舵角の回転を計測することによって車両が左側に曲がりつつある状況を検知した場合の閉領域の設定例を示す図である。同図に示す設定モード４０３では、車両検知用の閉領域ｄ１も、設定モード４０１に比べて水平方向左側に移動している。これは、左に曲がるカーブを走行するときには、同じ走行レーンを走行する先行車両が画面の左側に映し出される可能性が高いからである。なお、閉領域ｄ１の面積が設定モード４０１の閉領域ｄ１の面積と略同一なのは、設定モード４０３における車両の走行速度が設定モード４０１の車両の走行速度と略同一の場合を想定しているためである。また、車両が右に曲がるカーブを走行する場合には、この設定モード４０１と左右が逆になり、設定モード４０１と比較して閉領域ｄ１が水平方向右側に移動する。
【００３８】
図１０は、例えば車両が鉛直方向下向きに凸な斜面上を直進する場合の閉領域の設定例を示す図である。同図に示す設定モード４０４では、先行車両を画像の上部で検知する可能性が高いので、車両検知用の閉領域ｄ１が設定モード４０１に比べて画面上部に配置される。なお、車両が鉛直方向上向きに凸な斜面上を直進する場合には、設定モード４０４を上下逆にした状態、すなわち設定モード４０１に比べて閉領域ｄ１が下側に配置される状態となる。
【００３９】
ところで、上述した閉領域の設定モード以外にも、画像処理装置１を搭載する車両の移動形態等に応じてさまざまな設定モードを適用することが可能である。例えば、区分する閉領域の数は５つに限られるわけではない。また、全ての閉領域の和集合をとることによって視野全域を網羅することができれば、隣接する閉領域が交わりを有してもよい。
【００４０】
以上のように閉領域が設定された後、画像処理部２３は、制御部３０の制御のもと、処理内容５３を記憶部５０から読み出し、この読み出した処理内容５３にしたがってステップＳ７で設定した閉領域ごとに所定の画像処理を行う（ステップＳ９）。図１１は、ステップＳ７で設定した閉領域ごとに行うべき画像処理の処理内容を示す説明図である。同図に示す対応表７１は、閉領域と処理内容の対応を表しており、具体的な処理内容として、所定の対象物の検知と、その対象物を検知した場合に行うべき処理とを示している。ここで各対象物を検知する際には、記憶部５０のテンプレート５４に予め記憶しておいた物体のパターンと、撮像部１０で撮像された画像内のパターンを比較して両者の相関を調べる（テンプレートマッチング）。このテンプレートマッチングの結果、該当するパターンを検知した場合には、その検知した対象物に応じた処理を行う。したがって、画像処理部２３は、閉領域ごとの対象物の検知を行う対象物検知手段の機能を備える。
【００４１】
図１１の対応表７１に記載されている処理内容を具体的に説明する。まず、閉領域ｄ１に対しては、先行車両または人物の検知を行う。ここでのパターンは車両（または人物）の大きさを含むので、仮に閉領域ｄ１の内部に遠方に存在する車両の小さい像が入ってきても、その段階では対象物であるとは認識されず、所定距離近づいたときの車両の大きさに相当するテンプレートに一致した時点で初めて車両として検知される。
【００４２】
図１２は、閉領域ｄ１において先行車両を検知した場合の出力部４０の表示例を示す図である。同図に示す表示画像５０１では、撮像部１０で撮像された画像に設定した閉領域を重ねて表示するとともに、閉領域ｄ１に危険とみなし得る大きさの車両が検知されたため、画像の下部に「ブレーキをかけてください」という警告メッセージを出力している。この警告メッセージの出力に合わせて、例えば警告音を発生させたり、表示と同様のメッセージを音声で出力することもできる。なお、閉領域ｄ１で人物（または路上に存在することが想定される障害物）を検知した場合には、ブレーキの作動を促すか、あるいは回避を促す警告を出力してもよい。
【００４３】
閉領域ｄ２では、信号の検知を行う。図１３に示す表示画像５０２は、所定の閉領域ｄ２で信号を検知し、画面上の信号を囲む位置に注意喚起のウィンドウを設けるとともに、「信号あります」という注意喚起のメッセージを表示した場合を示している。信号を検知するとともに信号の色を検知し、例えば信号が赤の場合には、ブレーキの準備を促すようなメッセージを出力することも可能である。ところで、図１１に示す場合、閉領域ｄ２では空の色、輝度、雲の量などの検知も同時に行う。この検知の結果、例えば閉領域ｄ２で雲を多く検知した場合には、進行方向が徐々に暗くなってくると判断し、自車両のライト点灯を促すメッセージを表示する。空の状況判断として、雨粒を検知してワイパーの作動を促すメッセージを表示出力するようにしてもよい。なお、移動状況検知部６０が、空の色、輝度、雲の量などの検知を行ってもよい。この場合には、移動状況検知部６０が対象物検知手段の一部の機能を担う。
【００４４】
閉領域ｄ３およびｄ５では、路肩に設けられる道路標識の種別等の認識や側壁の検知を行う。図１４に示す表示画像５０３では、閉領域ｄ３で検知した標識を矢印で指示し、標識の内容（「追越禁止区間です」等）を画像の下部に表示している。なお、標識の内容まで識別することが困難な場合には、例えば標識がある旨の表示のみを行うようにしてもよい。また、側壁を検知した場合には、その側壁との距離が一定値よりも近づいたときに警告メッセージや警告音を発する。ところで、閉領域ｄ３およびｄ５には隣の走行レーンを走行する車両が映し出される可能性が高いので、これらの車両検知を行うようにしてもよい。
【００４５】
閉領域ｄ４では、路面および路面上の白線の検知を行うことによって自車両の進路の状況（例えば、路面の曲がり具合や路面上の凍結の有無）や走行レーンを把握する。加えて、白線以外の走行路区分帯（黄線等）の認識、把握を行ってもよい。図１５は、閉領域ｄ４で検知した路面が左に曲がるカーブを描いていると認識した場合の画像処理結果を示す図である。同図に示す表示画像５０４では、左に曲がる矢印を閉領域ｄ４中に表示するとともに、「左カーブです」というメッセージを画像の下部に表示出力している。この場合、自車両が走行レーンを逸脱しつつあることを白線等の検知によって認識したときには、その旨の警告をメッセージで出力したり警告音を発生したりしてもよい。
【００４６】
ここまで、画像内において一つの画像処理を施す場合について主に説明したが、閉領域ごとの画像処理を並列的に行うことも勿論可能である。この場合には、所定時間ずつ閉領域ごとの情報を切替えて表示したり、緊急の表示が必要な閉領域を最優先で表示できるようにしておく。また、図１２〜図１５では、閉領域の境界線を表示画像で明示していたが、この境界線を明示して表示しなくてもよい。
【００４７】
以上説明した本発明の一実施の形態によれば、撮像した画像を、自車両の移動状況をふまえた閉領域に区分し、この区分した閉領域ごとに所定の画像処理を行うことにより、撮像する画像に含まれるさまざまな情報を多面的かつ効率的に処理することが可能となる。
【００４８】
特に、この実施の形態によれば、閉領域の構成を車両の走行状況に応じて最適化することができ、その現状に即した最適な画像処理を施すことが可能となる。
【００４９】
図１６は、この実施の形態の一変形例に係る画像処理装置の撮像部の構成を示す図である。同図に示す撮像部１１０は、単眼の撮像装置であるカメラ１１１に対してステレオアダプタ１１６を装着したものである。カメラ１１１の構成は、右カメラ１１ａや左カメラ１１ｂと同じであり、レンズ１１２、撮像素子１１３、Ａ／Ｄ変換部１１４、およびフレームメモリ１１５を有する。ステレオアダプタ１１６は、被写体から入射する光を受光する二つの受光部位である受光ミラー１１７ａおよび１１７ｂと、これらの受光ミラー１１７ａおよび１１７ｂによって反射されてくる光をカメラ１１１の撮像光学系であるレンズ１１２に導く導光ミラー１１８ａおよび１１８ｂとを有する。
【００５０】
このような構成を有する撮像部１１０は、異なる二つの視点からの画像を結像して出力するため、ステレオカメラである撮像部１０と同等の機能を有する。したがって、この一変形例によれば、上記一実施の形態と同様に、撮像する画像に含まれるさまざまな情報を多面的に処理することができる。また、この一変形例によれば、ステレオ画像撮影用ではない一般のカメラを用いて簡単にステレオ画像を撮影することができる。
【００５１】
以上、本発明の好ましい一実施の形態を詳述してきたが、本発明はこの実施の形態によってのみ限定されるものではない。例えば、本発明に係る画像処理装置に、閉領域ごとに処理内容の変更を行う処理変更手段をさらに具備させてもよい。この処理変更手段を用いることにより、例えば空の検知結果から把握できる天候や昼夜の区別に応じて各閉領域の処理内容の変更を行ったりすることが可能となる。
【００５２】
また、本発明に係る画像処理装置に入力手段を設けることにより、処理内容や閉領域の設定方法を利用者が自在に設定できる構成にしてもよい。
【００５３】
さらに、撮像部として単眼のカメラを用い、シェイプフロムフォーカス（shape from focus）、シェイプフロムデフォーカス（shape from defocus）、シェイプフロムモーション（shape from motion）、シェイプフロムシェーディング（shape from shading）等の三次元再構成技術を適用することによって画像の各構成点までの距離を算出することもできる。
【００５４】
この撮像部として、より多眼のステレオカメラ、例えば３眼ステレオカメラや４眼ステレオカメラを用いることもできる。これらの３眼または４眼ステレオカメラを用いると、三次元再構成処理などにおいて、より信頼度が高く、安定した処理結果が得られる（例えば、富田文明, 「高機能３次元視覚システムVVV」, 情報処理学会誌「情報処理」, Vol. 42, No. 4, pp. 370-375 (2001). 等を参照）。特に、複数のカメラが二方向の基線長を持つようにすると、より複雑なシーンでの３次元再構成が可能になることが知られている。また、一つの基線長方向にカメラを複数台配置するマルチベースライン方式のステレオカメラを実現することができ、より高精度のステレオ計測が可能となる。
【００５５】
ところで、撮像手段として、各種カメラに加えてレーダ等の測距装置を併用することも可能である。これにより、通常のカメラよりも精度の高いレーダ測定値を利用することができ、測距点の解像度を一段と向上させることができる。
【００５６】
なお、画像認識の手法として、上述したテンプレートマッチング以外にも、エッジ抽出による領域分割法や、クラスタ分析に基づく統計的パターン認識法等、通常よく用いられる物体認識手法を適用することができる。
【００５７】
本発明に係る画像処理装置は、四輪自動車以外の車両、例えば電動車椅子等に搭載することが可能である。また、車両以外にも、人、ロボット等の移動体に搭載することもできる。
【００５８】
このように、本発明は、ここでは記載していないさまざまな実施の形態等を含みうるものであり、特許請求の範囲により特定される技術的事項を逸脱しない範囲内において種々の設計変更等を施すことが可能である。
【図面の簡単な説明】
【００５９】
【図１】本発明の一実施の形態に係る画像処理装置の構成を示すブロック図である。
【図２】本発明の一実施の形態に係る画像処理方法の概要を示すフローチャートである。
【図３】ステレオカメラを用いた撮像処理を概念的に示す説明図である。
【図４】レクティフィケーション処理前の左右画像領域の対応を示す説明図である。
【図５】レクティフィケーション処理後の左右画像領域の対応を示す説明図である。
【図６】距離画像の出力例を示す図である。
【図７】車両が直進して走行するときの閉領域の設定例を示す図である。
【図８】車両が高速で直進時の閉領域の設定例を示す図である。
【図９】車両が左にカーブしながら走行するときの閉領域の設定例を示す図である。
【図１０】車両が斜面を直進して走行するときの閉領域の設定例を示す図である。
【図１１】閉領域ごとに行う画像処理の処理内容を示す説明図である。
【図１２】車両検知に関する画像処理を行った場合の表示例を示す図である。
【図１３】信号検知に関する画像処理を行った場合の表示例を示す図である。
【図１４】標識検知に関する画像処理を行った場合の表示例を示す図である。
【図１５】路面検知に関する画像処理を行った場合の表示例を示す図である。
【図１６】本発明の一実施の形態の変形例に係る画像処理装置の撮像部の構成を示す図である。
【符号の説明】
【００６０】
１ 画像処理装置
１０、１１０ 撮像部
１１ａ 右カメラ
１１ｂ 左カメラ
１２ａ、１２ｂ、１１２ レンズ
１３ａ、１３ｂ、１１３ 撮像素子
１４ａ、１４ｂ、１１４ Ａ／Ｄ変換部
１５ａ、１５ｂ、１１５ フレームメモリ
２０ 画像解析部
２１ 三次元再構成部
２２ 閉領域設定部
２３ 画像処理部
３０ 制御部
４０ 出力部
５０ 記憶部
５１ 画像データ
５２ 閉領域設定情報
５３ 処理内容
５４ テンプレート
６０ 移動状況検知部
１１１ カメラ
１１６ ステレオアダプタ
１１７ａ、１１７ｂ 受光ミラー
１１８ａ、１１８ｂ 導光ミラー
３０１ 距離画像
４０１、４０２、４０３、４０４ 設定モード
５０１、５０２、５０３、５０４ 表示画像
ｄ１、ｄ２、ｄ３、ｄ４ 閉領域
【特許請求の範囲】
【請求項１】
移動体に搭載され、所定の視野を撮像して画像を生成する撮像手段と、
前記移動体の移動状況を検知する移動状況検知手段と、
前記移動状況検知手段で検知した前記移動体の移動状況に応じて、前記視野全域を和集合とする複数の閉領域を前記画像に対して設定する閉領域設定手段と、
前記閉領域設定手段で設定した閉領域ごとに所定の画像処理を行う画像処理手段と、
を備えたことを特徴とする画像処理装置。
【請求項２】
前記移動体の移動状況は、
前記移動体自身の移動に係る現在状況および前記移動体が移動する周囲の現在状況のうち少なくともいずれかを含むことを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記閉領域設定手段で設定した閉領域ごとに所定の対象物の検知を行う対象物検知手段をさらに備えたことを特徴とする請求項１または２記載の画像処理装置。
【請求項４】
前記画像処理手段で行う画像処理に適用する画像処理手法を前記閉領域設定手段で設定した閉領域ごとに変更する処理変更手段をさらに備えたことを特徴とする請求項１〜３のいずれか一項記載の画像処理装置。
【請求項５】
前記撮像手段は、
一対の撮像光学系と、
前記一対の撮像光学系の各々が出力する光信号を電気信号に変換する一対の撮像素子と、
を有することを特徴とする請求項１〜４のいずれか一項記載の画像処理装置。
【請求項６】
前記撮像手段は、
撮像光学系および当該撮像光学系が出力する光信号を電気信号に変換する撮像素子を備える撮像装置と、
前記撮像光学系の前方に設けられ、光を複数の部位で受光し、当該複数の部位が各々受光した光を前記撮像光学系に導くステレオアダプタと、
を有することを特徴とする請求項１〜４のいずれか一項記載の画像処理装置。
【請求項７】
前記移動体は車両であることを特徴とする請求項１〜６のいずれか一項記載の画像処理装置。
【請求項８】
移動体に搭載され、所定の視野を撮像する撮像手段によって生成される画像に対して画像処理を施す画像処理方法であって、
前記移動体の移動状況を検知する移動状況検知ステップと、
前記移動状況検知ステップで検知した前記移動体の移動状況に応じて、前記視野全域を和集合とする複数の閉領域を設定する閉領域設定ステップと、
前記閉領域設定ステップで設定した閉領域ごとに所定の画像処理を行う画像処理ステップと、
を有することを特徴とする画像処理方法。
【請求項９】
移動体に搭載され、所定の視野を撮像する撮像手段によって生成される画像に対して画像処理を施すため、コンピュータに、
前記移動体の移動状況を検知する移動状況検知ステップと、
前記移動状況検知ステップで検知した前記移動体の移動状況に応じて、前記視野全域を和集合とする複数の閉領域を設定する閉領域設定ステップと、
前記閉領域設定ステップで設定した閉領域ごとに所定の画像処理を行う画像処理ステップと、
を実行させることを特徴とする画像処理用プログラム。
【請求項１】
移動体に搭載され、所定の視野を撮像して画像を生成する撮像手段と、
前記移動体の移動状況を検知する移動状況検知手段と、
前記移動状況検知手段で検知した前記移動体の移動状況に応じて、前記視野全域を和集合とする複数の閉領域を前記画像に対して設定する閉領域設定手段と、
前記閉領域設定手段で設定した閉領域ごとに所定の画像処理を行う画像処理手段と、
を備えたことを特徴とする画像処理装置。
【請求項２】
前記移動体の移動状況は、
前記移動体自身の移動に係る現在状況および前記移動体が移動する周囲の現在状況のうち少なくともいずれかを含むことを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記閉領域設定手段で設定した閉領域ごとに所定の対象物の検知を行う対象物検知手段をさらに備えたことを特徴とする請求項１または２記載の画像処理装置。
【請求項４】
前記画像処理手段で行う画像処理に適用する画像処理手法を前記閉領域設定手段で設定した閉領域ごとに変更する処理変更手段をさらに備えたことを特徴とする請求項１〜３のいずれか一項記載の画像処理装置。
【請求項５】
前記撮像手段は、
一対の撮像光学系と、
前記一対の撮像光学系の各々が出力する光信号を電気信号に変換する一対の撮像素子と、
を有することを特徴とする請求項１〜４のいずれか一項記載の画像処理装置。
【請求項６】
前記撮像手段は、
撮像光学系および当該撮像光学系が出力する光信号を電気信号に変換する撮像素子を備える撮像装置と、
前記撮像光学系の前方に設けられ、光を複数の部位で受光し、当該複数の部位が各々受光した光を前記撮像光学系に導くステレオアダプタと、
を有することを特徴とする請求項１〜４のいずれか一項記載の画像処理装置。
【請求項７】
前記移動体は車両であることを特徴とする請求項１〜６のいずれか一項記載の画像処理装置。
【請求項８】
移動体に搭載され、所定の視野を撮像する撮像手段によって生成される画像に対して画像処理を施す画像処理方法であって、
前記移動体の移動状況を検知する移動状況検知ステップと、
前記移動状況検知ステップで検知した前記移動体の移動状況に応じて、前記視野全域を和集合とする複数の閉領域を設定する閉領域設定ステップと、
前記閉領域設定ステップで設定した閉領域ごとに所定の画像処理を行う画像処理ステップと、
を有することを特徴とする画像処理方法。
【請求項９】
移動体に搭載され、所定の視野を撮像する撮像手段によって生成される画像に対して画像処理を施すため、コンピュータに、
前記移動体の移動状況を検知する移動状況検知ステップと、
前記移動状況検知ステップで検知した前記移動体の移動状況に応じて、前記視野全域を和集合とする複数の閉領域を設定する閉領域設定ステップと、
前記閉領域設定ステップで設定した閉領域ごとに所定の画像処理を行う画像処理ステップと、
を実行させることを特徴とする画像処理用プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２００６−３１７１９３（Ｐ２００６−３１７１９３Ａ）
【公開日】平成１８年１１月２４日（２００６．１１．２４）
【国際特許分類】
【出願番号】特願２００５−１３７８４９（Ｐ２００５−１３７８４９）
【出願日】平成１７年５月１０日（２００５．５．１０）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成１８年１１月２４日（２００６．１１．２４）
【国際特許分類】
【出願日】平成１７年５月１０日（２００５．５．１０）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]