画像処理装置
【課題】 特別な装置を用いることなく、飛び出しが発生する可能性のある箇所を検知することが可能な画像処理装置を提供する。
【解決手段】 画像処理装置１は、車両前方を撮像するカメラ１０と、画像処理ＥＣＵ２０とを備えている。画像処理ＥＣＵ２０には、カメラ１０により撮像された撮像画像中において、注目点を設定する注目点設定部２１と、注目点と消失点とを結ぶ直線上であってかつ該注目点の周囲に位置する周囲点を設定する周囲点設定部２２と、注目点の特徴量と周囲点の特徴量とを比較して注目点と周囲点との実空間における奥行きの不連続性を判定することにより、飛び出しが発生する可能性のある隙間を検知する不連続性判定部２４が構築されている。
【解決手段】 画像処理装置１は、車両前方を撮像するカメラ１０と、画像処理ＥＣＵ２０とを備えている。画像処理ＥＣＵ２０には、カメラ１０により撮像された撮像画像中において、注目点を設定する注目点設定部２１と、注目点と消失点とを結ぶ直線上であってかつ該注目点の周囲に位置する周囲点を設定する周囲点設定部２２と、注目点の特徴量と周囲点の特徴量とを比較して注目点と周囲点との実空間における奥行きの不連続性を判定することにより、飛び出しが発生する可能性のある隙間を検知する不連続性判定部２４が構築されている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関する。
【背景技術】
【０００２】
車両運転者の認知・判断行動を支援することによって安全性を向上させることを目的とし、車両前方での物体の飛び出しを検出する装置が研究・開発されている。このような装置として、特許文献１には、自車両の進行先の撮像画像を取得し、この撮像画像中に実空間上に仮想的に固定された検出領域を設定して、設定された検出領域におけるオプティカルフローを算出し、そのオプティカルフローに基づいて飛び出し物体を検出する飛び出し物体検出装置が開示されている。
【０００３】
一方、移動方向や移動速度等の移動状態を検出してその検出情報を無線通信によって交換することができる装置を備えた歩行者や他車両からその検出情報を取得することにより、自車両の移動方向に存在する歩行者や他車両の飛び出しを予測する技術も知られている。
【特許文献１】特開２００６−７２４３９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ここで、上述した飛び出し検出装置によれば、実際に飛び出してきた物体を検出することはできる。しかしながら、既に飛び出してきている物体を検出できたとしても、その時点からでは、とることのできる対応策が限られてしまうおそれがある。一方、上述した歩行者や他車両の飛び出しを予測する技術を実現するためには、自車両の移動方向に存在する歩行者や他車両が、移動状態を検出する各種センサや通信端末などの特別な装置を備えている必要がある。
【０００５】
本発明は、上記問題点を解消する為になされたものであり、特別な装置を用いることなく、飛び出しが発生する可能性のある箇所を検知することが可能な画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明に係る画像処理装置は、車両前方を撮像する撮像手段と、撮像手段により撮像された撮像画像中において、注目点を設定する注目点設定手段と、注目点設定手段により設定された注目点の周囲に位置する周囲点を設定する周囲点設定手段と、注目点の特徴量と周囲点の特徴量とを比較することにより、注目点と周囲点との実空間における不連続性を判定する判定手段とを備えることを特徴とする。
【０００７】
本発明に係る画像処理装置によれば、撮像画像中の注目点とその周囲に位置する周囲点とについて特徴量の比較が行われることにより、注目点及び周囲点それぞれに対応する実空間での２点間の不連続性が判定される。その結果、特別な装置を用いることなく、２点間の不連続性に関する判定結果に基づいて、運転者から見えていない物体が飛び出してくる可能性がある道路に面した（奥行きが不連続になる）隙間を検知することが可能となる。
【０００８】
本発明に係る画像処理装置では、周囲点設定手段が、撮像画像中の消失点を求めるとともに、注目点と消失点とを結ぶ直線上に周囲点を設定することが好ましい。
【０００９】
歩行者や他車両などは道路面に対して平行に移動するため、通常、物体が飛び出してくる隙間は、道路面に沿って存在する。本発明に係る画像処理装置によれば、注目点と比較される周囲点が、注目点と消失点とを結ぶ直線上に設定される。このことは、注目点に対して、道路面と平行な位置関係にある点が周囲点として設定されることを意味する。そのため、実空間で物体が飛び出してくる可能性が高い隙間、すなわち道路面に沿って存在する隙間を適切に検知することが可能となる。
【００１０】
また、本発明に係る画像処理装置では、注目点設定手段が、撮像画像の略縦方向に複数の注目点を設定し、周囲点設定手段が、複数の注目点それぞれに対応する複数の周囲点を設定し、連続性判定手段が、複数の注目点それぞれの特徴量と、複数の周囲点それぞれの特徴量とを比較することにより、実空間における不連続性を判定することが好ましい。
【００１１】
上述したように、物体が飛び出してくる隙間は道路面に沿って存在する。また、その隙間を形成する壁等は、道路面から略鉛直方向に形成されていることが多い。本発明に係る画像処理装置では、撮像画像の略縦方向、すなわち実空間の略鉛直方向に複数の注目点を設定するとともに、該複数の注目点それぞれに対応する複数の周囲点が設定され、これらの注目点と周囲点との間で特徴量が比較されることにより、実空間での不連続性が判定される。そのため、隙間を形成する壁面等の縁に沿って、実空間での不連続性を判定することができ、物体が飛び出してくる可能性が高い隙間の検知精度を向上することが可能となる。
【００１２】
本発明に係る画像処理装置では、注目点の特徴量及び周囲点の特徴量として、輝度、オプティカルフロー、又は３次元座標を用いることが好ましい。
【００１３】
注目点と周囲点との間で奥行きが不連続である場合には、奥行きが連続している場合と比較して、注目点と周囲点の撮像画像上での輝度、オプティカルフローや３次元座標の値が大きく変化する。本発明に係る画像処理装置によれば、比較する特徴量として、輝度、オプティカルフロー、又は３次元座標を用いることにより、注目点と周囲点との奥行きが不連続であるか否かを適切に判定することが可能となる。
【発明の効果】
【００１４】
本発明によれば、注目点の特徴量と周囲点の特徴量とを比較することにより、注目点と周囲点との実空間における奥行きの不連続性を判定する構成としたので、特別な装置を必要とすることなく、飛び出しが発生する可能性のある箇所を検知することが可能となる。
【発明を実施するための最良の形態】
【００１５】
以下、図面を参照して本発明の好適な実施形態について詳細に説明する。図中、同一又は相当部分には同一符号を用いることとする。
【００１６】
まず、図１を用いて、実施形態に係る画像処理装置１の構成について説明する。図１は画像処理装置１の構成を示すブロック図である。
【００１７】
画像処理装置１は、車両に搭載され、車両前方を撮像するとともに、その撮像画像中に含まれる２点間（又は２以上の複数点間）の奥行き方向の不連続性を判定することにより、車両前方に存在する、物体が飛び出してくる可能性のある道路に面した隙間を検知するものである。そのために、画像処理装置１は、車両前方のシーンを撮像するカメラ１０、及び画像処理ＥＣＵ（Electronic Control Unit）２０を備えている。
【００１８】
カメラ１０は、画像処理装置１が搭載された車両に取り付けられ、車両前方のシーンを撮像する。カメラ１０は、例えば、ルームミラーの背面等に車両前方に向けて取り付けられている。カメラ１０では、一定時間（例えば、１／３０秒）毎に画像を撮像し、各フレームの画像情報を画像信号として画像処理ＥＣＵ２０に出力する。すなわち、カメラ１０は、特許請求の範囲に記載の撮像手段として機能する。
【００１９】
画像処理ＥＣＵ２０は、演算を行うマイクロプロセッサ、マイクロプロセッサに各処理を実行させるためのプログラム等を記憶するＲＯＭ、演算結果などの各種データを記憶するＲＡＭ及びバッテリによってその記憶内容が保持されるバックアップＲＡＭ等により構成されている。
【００２０】
画像処理ＥＣＵ２０では、ＲＯＭ等に記憶されたプログラムが実行されることにより、注目点設定部２１、周囲点設定部２２、特徴量抽出部２３、及び不連続性判定部２４が機能的に構築される。ここで、注目点設定部２１は特許請求の範囲に記載の注目点設定手段に相当し、周囲点設定部２２は周囲点設定手段に相当する。また、特徴量抽出部２３及び不連続性判定部２４は判定手段に相当する。
【００２１】
注目点設定部２１は、カメラ１０により撮像された撮像画像中に注目点を設定する。ここで、注目点とは、撮像画像中で飛び出しが有り得るか否かを確認すべき点である。事前情報から実空間で飛び出しがありそうな領域が予め判明しており、その実空間に対応した撮像画像中の領域が分かっている場合には、その領域に含まれる点を注目点として設定する。一方、事前情報が何もない場合には、撮像画像中の全画素を注目点として設定する。また、撮像画像中の色が急激に変化している領域に含まれる点、例えば撮像画像が白黒画像であれば輝度が急激に変化している領域に含まれる点、カラー画像であれば色そのものが大きく変化している領域に含まれる点を注目点として設定してもよい。なお、設定する注目点の数は、１であっても複数であってもよい。ただし、注目点を複数設定する場合には、撮像画像の略縦方向に複数の注目点を設定することが好ましい。
【００２２】
周囲点設定部２２は、撮像画像中の消失点を求めるとともに、注目点設定部２１により設定された注目点の周囲であって、該注目点と消失点とを結ぶ直線上に位置する点を周囲点として設定する。したがって、注目点が複数設定されているときには、それに対応して、周囲点も複数設定される。
【００２３】
特徴量抽出部２３は、注目点及び周囲点の特徴量、例えば、注目点と周囲点の撮像画像中の輝度、オプティカルフロー、及び／又は３次元座標を取得する。
【００２４】
不連続性判定部２４は、特徴量抽出部２３で取得された注目点の特徴量と周囲点の特徴量とを比較することにより、注目点と周囲点との実空間における奥行き方向の不連続性を判定する。すなわち、注目点の特徴量と周囲点の特徴量とが所定値以上異なっている場合には、奥行きが不連続になる隙間があると判定される。一方、注目点の特徴量と周囲点の特徴量との偏差が所定値未満であるときには、注目点と周囲点とは奥行き方向に連続している（すなわち、隙間が存在しない）と判定される。そして、不連続性判定部２４は、道路面に沿った隙間が検知された場合、該隙間を飛び出し領域として特定し、その結果を出力する。
【００２５】
次に、図２を用いて、画像処理装置１の動作について説明する。図２は、画像処理装置１による飛び出し領域判定処理の処理手順を示すフローチャートである。この処理は、画像処理ＥＣＵ２０によって行われるものであり、画像処理ＥＣＵ２０の電源がオンされてからオフされるまでの間、所定のタイミングで繰り返し実行される。
【００２６】
ステップＳ１００では、カメラ１０により撮像された車両前方の撮像画像が読み込まれる。続いて、ステップＳ１０２では、ステップＳ１００で読み込まれた撮像画像中の注目点が設定される。注目点の設定方法については上述したとおりであるので、ここでは重複する説明を省略する。
【００２７】
続くステップＳ１０４では、ステップＳ１０２で設定された注目点に対応した周囲点が設定される。ここでは、撮像画像中の消失点を求めるとともに、注目点の周囲であって、該注目点と消失点とを結ぶ直線上に位置する点を周囲点として設定する。ここで、図３，図４を参照しつつ、さらに具体的に周囲点の設定方法について説明する。図３は、周囲点の設定方法を説明するための撮像画像の一例である。また、図４は、図３に示される撮像画像に対応した実空間を上方から見た鳥瞰図である。
【００２８】
図３に示される撮像画像において、飛び出しが起こり得る領域は楕円で囲まれた領域、すなわち壁が途切れている領域である。ここで、壁が途切れている領域とは、図４で示されるように、道路境界線に沿った方向（奥行き方向）で壁の連続性を評価したときに、壁が不連続になっている箇所である。そこで、図３に示された撮像画像から壁の不連続性を判定するには、撮像画像中の各点と道路境界線が作る道路消失点ＤＰとを結ぶ直線上の画素間で不連続性を判定することによって実現することができる。よって、ここでは、注目点ＡＰと消失点ＤＰとを結ぶ直線Ｌ上に位置する点を、注目点ＡＰが不連続点となるか否かを評価するための周囲点ＣＰとして設定した。
【００２９】
続いてステップＳ１０６において、注目点及び周囲点の特徴量、例えば、注目点と周囲点の撮像画像中の輝度、オプティカルフロー、及び／又は３次元座標が取得される。ここで、特徴量として輝度値を用いる場合には、各点の輝度値が撮像画像中の画素から抽出される。特徴量としてオプティカルフローを用いるときには、各点のオプティカルフローが撮像画像から抽出される。なお、オプティカルフローの抽出には公知の技術を用いることができる（例えば「B.Horn and B.Schunck. Determining optical flow. ArtificialIntelligence, 17:185-203, 1981.」参照）。また、特徴量として３次元座標を利用する場合には、各点の３次元座標が取得される。なお、３次元座標の取得には公知の技術を用いることができる（例えば「徐剛 ３次元ビジョン 共立出版 Ｐ９５」参照）。
【００３０】
次に、ステップＳ１０８では、ステップＳ１０６で取得された注目点の特徴量（例えば輝度など）と周囲点の特徴量（例えば輝度など）との比較結果に応じて、注目点・周囲点間の連続性／不連続性が判定される。ここで、注目点の特徴量と周囲点の特徴量との差の絶対値が所定のしきい値未満の場合には注目点と周囲点とは奥行き方向に連続していると判定することができる。一方、注目点の特徴量と周囲点の特徴量との差の絶対値が所定のしきい値以上のときには注目点と周囲点とは奥行き方向に連続していない（すなわち不連続である）と判定することができる。
【００３１】
また、周囲点の特徴量に基づいて、周囲点の特徴量を生成する母分布を推定するとともに、注目点の特徴量がその母分布から生成される確率を計算し、その確率が所定のしきい値未満の場合には注目点と周囲点とは不連続であると判定し、その確率が所定のしきい値以上のときには注目点と周囲点とは連続していると判定するようにしてもよい。なお、母分布の推定や、注目点の特徴量がその母分布から生成される確率の算出は、公知の技術を用いることができる（例えば「石井健一郎、上田修功、前田英作、村瀬洋 著、わかりやすいパターン認識、オーム社、Ｐ４９〜５５参照）。
【００３２】
続くステップＳ１１０では、ステップＳ１０８で判定された判定結果に基づいて、飛び出し領域の特定が行われる。ここでは、ステップＳ１０８で不連続であると判定された注目点（又は周囲点）が、所定のしきい値以上連続して存在しているか否かに応じて、不連続線、すなわち飛び出し領域であるか否かが判定される。ここで、不連続であると判定された注目点が所定のしきい値以上連続して存在している場合には、飛び出し領域であると判定される。一方、不連続であると判定された注目点が所定のしきい値以上連続して存在していないときには、飛び出し領域とは判定されない。これは、検出ノイズを除去して、判定結果の信頼性を向上させるためである。
【００３３】
以上のように、本実施形態によれば、撮像画像中の注目点とその周囲に位置する周囲点とについて特徴量の比較が行われることにより、注目点及び周囲点それぞれに対応する実空間での２点間の奥行きの不連続性が判定される。その結果、特別な装置を用いることなく、２点間の奥行きの不連続性に関する判定結果に基づいて、物体が飛び出してくる可能性がある道路に面した（奥行きが不連続になる）隙間を検知することが可能となる。
【００３４】
歩行者や他車両などは道路面に対して平行に移動するため、通常、物体が飛び出してくる隙間は、道路面に沿って存在する。本実施形態によれば、注目点と比較される周囲点が、注目点と消失点とを結ぶ直線上に設定される。そのため、実空間で物体が飛び出してくる可能性が高い隙間、すなわち道路面に沿って存在する隙間を適切に検知することが可能となる。
【００３５】
上述したように、物体が飛び出してくる隙間を形成する壁等は、道路面から略鉛直方向に形成されていることが多い。ここで、本実施形態では、不連続であると判定された注目点が所定のしきい値以上連続して存在している場合に、飛び出し領域であると判定される。すなわち、隙間を形成する壁面等の縁に沿って、実空間での不連続性が判定されるため、物体が飛び出してくる可能性が高い隙間の検知精度を向上することが可能となる。
【００３６】
注目点と周囲点との間で奥行きが不連続である場合には、奥行きが連続している場合と比較して、注目点と周囲点の撮像画像上での輝度、オプティカルフローや３次元座標の値が大きく変化する。本実施形態によれば、比較する特徴量として、輝度、オプティカルフロー、及び／又は３次元座標を用いることにより、注目点と周囲点との奥行きが不連続であるか否かを適切に判定することが可能となる。
【００３７】
以上、本発明の実施の形態について説明したが、本発明は、上記実施形態に限定されるものではなく種々の変形が可能である。
【図面の簡単な説明】
【００３８】
【図１】実施形態に係る画像処理装置の構成を示すブロック図である。
【図２】実施形態に係る画像処理装置による飛び出し領域判定処理の処理手順を示すフローチャートである。
【図３】周囲点の設定方法を説明するための撮像画像の一例である。
【図４】図３に示される撮像画像に対応した実空間を上方から見た鳥瞰図である。
【符号の説明】
【００３９】
１…画像処理装置、１０…カメラ、２０…画像処理ＥＣＵ、２１…注目点設定部、２２…周囲点設定部、２３…特徴量抽出部、２４…不連続性判定部。
【技術分野】
【０００１】
本発明は、画像処理装置に関する。
【背景技術】
【０００２】
車両運転者の認知・判断行動を支援することによって安全性を向上させることを目的とし、車両前方での物体の飛び出しを検出する装置が研究・開発されている。このような装置として、特許文献１には、自車両の進行先の撮像画像を取得し、この撮像画像中に実空間上に仮想的に固定された検出領域を設定して、設定された検出領域におけるオプティカルフローを算出し、そのオプティカルフローに基づいて飛び出し物体を検出する飛び出し物体検出装置が開示されている。
【０００３】
一方、移動方向や移動速度等の移動状態を検出してその検出情報を無線通信によって交換することができる装置を備えた歩行者や他車両からその検出情報を取得することにより、自車両の移動方向に存在する歩行者や他車両の飛び出しを予測する技術も知られている。
【特許文献１】特開２００６−７２４３９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ここで、上述した飛び出し検出装置によれば、実際に飛び出してきた物体を検出することはできる。しかしながら、既に飛び出してきている物体を検出できたとしても、その時点からでは、とることのできる対応策が限られてしまうおそれがある。一方、上述した歩行者や他車両の飛び出しを予測する技術を実現するためには、自車両の移動方向に存在する歩行者や他車両が、移動状態を検出する各種センサや通信端末などの特別な装置を備えている必要がある。
【０００５】
本発明は、上記問題点を解消する為になされたものであり、特別な装置を用いることなく、飛び出しが発生する可能性のある箇所を検知することが可能な画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明に係る画像処理装置は、車両前方を撮像する撮像手段と、撮像手段により撮像された撮像画像中において、注目点を設定する注目点設定手段と、注目点設定手段により設定された注目点の周囲に位置する周囲点を設定する周囲点設定手段と、注目点の特徴量と周囲点の特徴量とを比較することにより、注目点と周囲点との実空間における不連続性を判定する判定手段とを備えることを特徴とする。
【０００７】
本発明に係る画像処理装置によれば、撮像画像中の注目点とその周囲に位置する周囲点とについて特徴量の比較が行われることにより、注目点及び周囲点それぞれに対応する実空間での２点間の不連続性が判定される。その結果、特別な装置を用いることなく、２点間の不連続性に関する判定結果に基づいて、運転者から見えていない物体が飛び出してくる可能性がある道路に面した（奥行きが不連続になる）隙間を検知することが可能となる。
【０００８】
本発明に係る画像処理装置では、周囲点設定手段が、撮像画像中の消失点を求めるとともに、注目点と消失点とを結ぶ直線上に周囲点を設定することが好ましい。
【０００９】
歩行者や他車両などは道路面に対して平行に移動するため、通常、物体が飛び出してくる隙間は、道路面に沿って存在する。本発明に係る画像処理装置によれば、注目点と比較される周囲点が、注目点と消失点とを結ぶ直線上に設定される。このことは、注目点に対して、道路面と平行な位置関係にある点が周囲点として設定されることを意味する。そのため、実空間で物体が飛び出してくる可能性が高い隙間、すなわち道路面に沿って存在する隙間を適切に検知することが可能となる。
【００１０】
また、本発明に係る画像処理装置では、注目点設定手段が、撮像画像の略縦方向に複数の注目点を設定し、周囲点設定手段が、複数の注目点それぞれに対応する複数の周囲点を設定し、連続性判定手段が、複数の注目点それぞれの特徴量と、複数の周囲点それぞれの特徴量とを比較することにより、実空間における不連続性を判定することが好ましい。
【００１１】
上述したように、物体が飛び出してくる隙間は道路面に沿って存在する。また、その隙間を形成する壁等は、道路面から略鉛直方向に形成されていることが多い。本発明に係る画像処理装置では、撮像画像の略縦方向、すなわち実空間の略鉛直方向に複数の注目点を設定するとともに、該複数の注目点それぞれに対応する複数の周囲点が設定され、これらの注目点と周囲点との間で特徴量が比較されることにより、実空間での不連続性が判定される。そのため、隙間を形成する壁面等の縁に沿って、実空間での不連続性を判定することができ、物体が飛び出してくる可能性が高い隙間の検知精度を向上することが可能となる。
【００１２】
本発明に係る画像処理装置では、注目点の特徴量及び周囲点の特徴量として、輝度、オプティカルフロー、又は３次元座標を用いることが好ましい。
【００１３】
注目点と周囲点との間で奥行きが不連続である場合には、奥行きが連続している場合と比較して、注目点と周囲点の撮像画像上での輝度、オプティカルフローや３次元座標の値が大きく変化する。本発明に係る画像処理装置によれば、比較する特徴量として、輝度、オプティカルフロー、又は３次元座標を用いることにより、注目点と周囲点との奥行きが不連続であるか否かを適切に判定することが可能となる。
【発明の効果】
【００１４】
本発明によれば、注目点の特徴量と周囲点の特徴量とを比較することにより、注目点と周囲点との実空間における奥行きの不連続性を判定する構成としたので、特別な装置を必要とすることなく、飛び出しが発生する可能性のある箇所を検知することが可能となる。
【発明を実施するための最良の形態】
【００１５】
以下、図面を参照して本発明の好適な実施形態について詳細に説明する。図中、同一又は相当部分には同一符号を用いることとする。
【００１６】
まず、図１を用いて、実施形態に係る画像処理装置１の構成について説明する。図１は画像処理装置１の構成を示すブロック図である。
【００１７】
画像処理装置１は、車両に搭載され、車両前方を撮像するとともに、その撮像画像中に含まれる２点間（又は２以上の複数点間）の奥行き方向の不連続性を判定することにより、車両前方に存在する、物体が飛び出してくる可能性のある道路に面した隙間を検知するものである。そのために、画像処理装置１は、車両前方のシーンを撮像するカメラ１０、及び画像処理ＥＣＵ（Electronic Control Unit）２０を備えている。
【００１８】
カメラ１０は、画像処理装置１が搭載された車両に取り付けられ、車両前方のシーンを撮像する。カメラ１０は、例えば、ルームミラーの背面等に車両前方に向けて取り付けられている。カメラ１０では、一定時間（例えば、１／３０秒）毎に画像を撮像し、各フレームの画像情報を画像信号として画像処理ＥＣＵ２０に出力する。すなわち、カメラ１０は、特許請求の範囲に記載の撮像手段として機能する。
【００１９】
画像処理ＥＣＵ２０は、演算を行うマイクロプロセッサ、マイクロプロセッサに各処理を実行させるためのプログラム等を記憶するＲＯＭ、演算結果などの各種データを記憶するＲＡＭ及びバッテリによってその記憶内容が保持されるバックアップＲＡＭ等により構成されている。
【００２０】
画像処理ＥＣＵ２０では、ＲＯＭ等に記憶されたプログラムが実行されることにより、注目点設定部２１、周囲点設定部２２、特徴量抽出部２３、及び不連続性判定部２４が機能的に構築される。ここで、注目点設定部２１は特許請求の範囲に記載の注目点設定手段に相当し、周囲点設定部２２は周囲点設定手段に相当する。また、特徴量抽出部２３及び不連続性判定部２４は判定手段に相当する。
【００２１】
注目点設定部２１は、カメラ１０により撮像された撮像画像中に注目点を設定する。ここで、注目点とは、撮像画像中で飛び出しが有り得るか否かを確認すべき点である。事前情報から実空間で飛び出しがありそうな領域が予め判明しており、その実空間に対応した撮像画像中の領域が分かっている場合には、その領域に含まれる点を注目点として設定する。一方、事前情報が何もない場合には、撮像画像中の全画素を注目点として設定する。また、撮像画像中の色が急激に変化している領域に含まれる点、例えば撮像画像が白黒画像であれば輝度が急激に変化している領域に含まれる点、カラー画像であれば色そのものが大きく変化している領域に含まれる点を注目点として設定してもよい。なお、設定する注目点の数は、１であっても複数であってもよい。ただし、注目点を複数設定する場合には、撮像画像の略縦方向に複数の注目点を設定することが好ましい。
【００２２】
周囲点設定部２２は、撮像画像中の消失点を求めるとともに、注目点設定部２１により設定された注目点の周囲であって、該注目点と消失点とを結ぶ直線上に位置する点を周囲点として設定する。したがって、注目点が複数設定されているときには、それに対応して、周囲点も複数設定される。
【００２３】
特徴量抽出部２３は、注目点及び周囲点の特徴量、例えば、注目点と周囲点の撮像画像中の輝度、オプティカルフロー、及び／又は３次元座標を取得する。
【００２４】
不連続性判定部２４は、特徴量抽出部２３で取得された注目点の特徴量と周囲点の特徴量とを比較することにより、注目点と周囲点との実空間における奥行き方向の不連続性を判定する。すなわち、注目点の特徴量と周囲点の特徴量とが所定値以上異なっている場合には、奥行きが不連続になる隙間があると判定される。一方、注目点の特徴量と周囲点の特徴量との偏差が所定値未満であるときには、注目点と周囲点とは奥行き方向に連続している（すなわち、隙間が存在しない）と判定される。そして、不連続性判定部２４は、道路面に沿った隙間が検知された場合、該隙間を飛び出し領域として特定し、その結果を出力する。
【００２５】
次に、図２を用いて、画像処理装置１の動作について説明する。図２は、画像処理装置１による飛び出し領域判定処理の処理手順を示すフローチャートである。この処理は、画像処理ＥＣＵ２０によって行われるものであり、画像処理ＥＣＵ２０の電源がオンされてからオフされるまでの間、所定のタイミングで繰り返し実行される。
【００２６】
ステップＳ１００では、カメラ１０により撮像された車両前方の撮像画像が読み込まれる。続いて、ステップＳ１０２では、ステップＳ１００で読み込まれた撮像画像中の注目点が設定される。注目点の設定方法については上述したとおりであるので、ここでは重複する説明を省略する。
【００２７】
続くステップＳ１０４では、ステップＳ１０２で設定された注目点に対応した周囲点が設定される。ここでは、撮像画像中の消失点を求めるとともに、注目点の周囲であって、該注目点と消失点とを結ぶ直線上に位置する点を周囲点として設定する。ここで、図３，図４を参照しつつ、さらに具体的に周囲点の設定方法について説明する。図３は、周囲点の設定方法を説明するための撮像画像の一例である。また、図４は、図３に示される撮像画像に対応した実空間を上方から見た鳥瞰図である。
【００２８】
図３に示される撮像画像において、飛び出しが起こり得る領域は楕円で囲まれた領域、すなわち壁が途切れている領域である。ここで、壁が途切れている領域とは、図４で示されるように、道路境界線に沿った方向（奥行き方向）で壁の連続性を評価したときに、壁が不連続になっている箇所である。そこで、図３に示された撮像画像から壁の不連続性を判定するには、撮像画像中の各点と道路境界線が作る道路消失点ＤＰとを結ぶ直線上の画素間で不連続性を判定することによって実現することができる。よって、ここでは、注目点ＡＰと消失点ＤＰとを結ぶ直線Ｌ上に位置する点を、注目点ＡＰが不連続点となるか否かを評価するための周囲点ＣＰとして設定した。
【００２９】
続いてステップＳ１０６において、注目点及び周囲点の特徴量、例えば、注目点と周囲点の撮像画像中の輝度、オプティカルフロー、及び／又は３次元座標が取得される。ここで、特徴量として輝度値を用いる場合には、各点の輝度値が撮像画像中の画素から抽出される。特徴量としてオプティカルフローを用いるときには、各点のオプティカルフローが撮像画像から抽出される。なお、オプティカルフローの抽出には公知の技術を用いることができる（例えば「B.Horn and B.Schunck. Determining optical flow. ArtificialIntelligence, 17:185-203, 1981.」参照）。また、特徴量として３次元座標を利用する場合には、各点の３次元座標が取得される。なお、３次元座標の取得には公知の技術を用いることができる（例えば「徐剛 ３次元ビジョン 共立出版 Ｐ９５」参照）。
【００３０】
次に、ステップＳ１０８では、ステップＳ１０６で取得された注目点の特徴量（例えば輝度など）と周囲点の特徴量（例えば輝度など）との比較結果に応じて、注目点・周囲点間の連続性／不連続性が判定される。ここで、注目点の特徴量と周囲点の特徴量との差の絶対値が所定のしきい値未満の場合には注目点と周囲点とは奥行き方向に連続していると判定することができる。一方、注目点の特徴量と周囲点の特徴量との差の絶対値が所定のしきい値以上のときには注目点と周囲点とは奥行き方向に連続していない（すなわち不連続である）と判定することができる。
【００３１】
また、周囲点の特徴量に基づいて、周囲点の特徴量を生成する母分布を推定するとともに、注目点の特徴量がその母分布から生成される確率を計算し、その確率が所定のしきい値未満の場合には注目点と周囲点とは不連続であると判定し、その確率が所定のしきい値以上のときには注目点と周囲点とは連続していると判定するようにしてもよい。なお、母分布の推定や、注目点の特徴量がその母分布から生成される確率の算出は、公知の技術を用いることができる（例えば「石井健一郎、上田修功、前田英作、村瀬洋 著、わかりやすいパターン認識、オーム社、Ｐ４９〜５５参照）。
【００３２】
続くステップＳ１１０では、ステップＳ１０８で判定された判定結果に基づいて、飛び出し領域の特定が行われる。ここでは、ステップＳ１０８で不連続であると判定された注目点（又は周囲点）が、所定のしきい値以上連続して存在しているか否かに応じて、不連続線、すなわち飛び出し領域であるか否かが判定される。ここで、不連続であると判定された注目点が所定のしきい値以上連続して存在している場合には、飛び出し領域であると判定される。一方、不連続であると判定された注目点が所定のしきい値以上連続して存在していないときには、飛び出し領域とは判定されない。これは、検出ノイズを除去して、判定結果の信頼性を向上させるためである。
【００３３】
以上のように、本実施形態によれば、撮像画像中の注目点とその周囲に位置する周囲点とについて特徴量の比較が行われることにより、注目点及び周囲点それぞれに対応する実空間での２点間の奥行きの不連続性が判定される。その結果、特別な装置を用いることなく、２点間の奥行きの不連続性に関する判定結果に基づいて、物体が飛び出してくる可能性がある道路に面した（奥行きが不連続になる）隙間を検知することが可能となる。
【００３４】
歩行者や他車両などは道路面に対して平行に移動するため、通常、物体が飛び出してくる隙間は、道路面に沿って存在する。本実施形態によれば、注目点と比較される周囲点が、注目点と消失点とを結ぶ直線上に設定される。そのため、実空間で物体が飛び出してくる可能性が高い隙間、すなわち道路面に沿って存在する隙間を適切に検知することが可能となる。
【００３５】
上述したように、物体が飛び出してくる隙間を形成する壁等は、道路面から略鉛直方向に形成されていることが多い。ここで、本実施形態では、不連続であると判定された注目点が所定のしきい値以上連続して存在している場合に、飛び出し領域であると判定される。すなわち、隙間を形成する壁面等の縁に沿って、実空間での不連続性が判定されるため、物体が飛び出してくる可能性が高い隙間の検知精度を向上することが可能となる。
【００３６】
注目点と周囲点との間で奥行きが不連続である場合には、奥行きが連続している場合と比較して、注目点と周囲点の撮像画像上での輝度、オプティカルフローや３次元座標の値が大きく変化する。本実施形態によれば、比較する特徴量として、輝度、オプティカルフロー、及び／又は３次元座標を用いることにより、注目点と周囲点との奥行きが不連続であるか否かを適切に判定することが可能となる。
【００３７】
以上、本発明の実施の形態について説明したが、本発明は、上記実施形態に限定されるものではなく種々の変形が可能である。
【図面の簡単な説明】
【００３８】
【図１】実施形態に係る画像処理装置の構成を示すブロック図である。
【図２】実施形態に係る画像処理装置による飛び出し領域判定処理の処理手順を示すフローチャートである。
【図３】周囲点の設定方法を説明するための撮像画像の一例である。
【図４】図３に示される撮像画像に対応した実空間を上方から見た鳥瞰図である。
【符号の説明】
【００３９】
１…画像処理装置、１０…カメラ、２０…画像処理ＥＣＵ、２１…注目点設定部、２２…周囲点設定部、２３…特徴量抽出部、２４…不連続性判定部。
【特許請求の範囲】
【請求項１】
車両前方を撮像する撮像手段と、
前記撮像手段により撮像された撮像画像中において、注目点を設定する注目点設定手段と、
前記注目点設定手段により設定された前記注目点の周囲に位置する周囲点を設定する周囲点設定手段と、
前記注目点の特徴量と前記周囲点の特徴量とを比較することにより、前記注目点と前記周囲点との実空間における不連続性を判定する判定手段と、を備えることを特徴とする画像処理装置。
【請求項２】
前記周囲点設定手段は、前記撮像画像中の消失点を求めるとともに、前記注目点と前記消失点とを結ぶ直線上に前記周囲点を設定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記注目点設定手段は、前記撮像画像の略縦方向に複数の注目点を設定し、
前記周囲点設定手段は、前記複数の注目点それぞれに対応する複数の周囲点を設定し、
前記判定手段は、前記複数の注目点それぞれの特徴量と、前記複数の周囲点それぞれの特徴量とを比較することにより、実空間における不連続性を判定することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記注目点の特徴量及び前記周囲点の特徴量は、輝度、オプティカルフロー、又は３次元座標であることを特徴とする請求項１〜３のいずれか１項に記載の画像処理装置。
【請求項１】
車両前方を撮像する撮像手段と、
前記撮像手段により撮像された撮像画像中において、注目点を設定する注目点設定手段と、
前記注目点設定手段により設定された前記注目点の周囲に位置する周囲点を設定する周囲点設定手段と、
前記注目点の特徴量と前記周囲点の特徴量とを比較することにより、前記注目点と前記周囲点との実空間における不連続性を判定する判定手段と、を備えることを特徴とする画像処理装置。
【請求項２】
前記周囲点設定手段は、前記撮像画像中の消失点を求めるとともに、前記注目点と前記消失点とを結ぶ直線上に前記周囲点を設定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記注目点設定手段は、前記撮像画像の略縦方向に複数の注目点を設定し、
前記周囲点設定手段は、前記複数の注目点それぞれに対応する複数の周囲点を設定し、
前記判定手段は、前記複数の注目点それぞれの特徴量と、前記複数の周囲点それぞれの特徴量とを比較することにより、実空間における不連続性を判定することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記注目点の特徴量及び前記周囲点の特徴量は、輝度、オプティカルフロー、又は３次元座標であることを特徴とする請求項１〜３のいずれか１項に記載の画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２００８−２５７３９９（Ｐ２００８−２５７３９９Ａ）
【公開日】平成２０年１０月２３日（２００８．１０．２３）
【国際特許分類】
【出願番号】特願２００７−９７７００（Ｐ２００７−９７７００）
【出願日】平成１９年４月３日（２００７．４．３）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
【公開日】平成２０年１０月２３日（２００８．１０．２３）
【国際特許分類】
【出願日】平成１９年４月３日（２００７．４．３）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
[ Back to top ]