画像認識装置および画像認識処理方法
【課題】より認識処理の処理負荷の低減を図る。
【解決手段】車速センサ２０、舵角センサ２１、ヨーレートセンサ２２などの車載センサやナビゲーション装置２３から車両の移動状態を特定するための情報を取得し（Ｓ１０２）、車載カメラ１０の撮影画像に含まれる所望の物体の位置および大きさから車両と所望の物体との相対位置を推定するとともに、車両の移動状態を特定するための情報に基づいて、後に入力される車両周辺の撮影画像中に所望の物体が位置する認識領域を推定し（Ｓ１０６）、推定された認識領域を探索対象として画像認識処理を行う（Ｓ１１２）。
【解決手段】車速センサ２０、舵角センサ２１、ヨーレートセンサ２２などの車載センサやナビゲーション装置２３から車両の移動状態を特定するための情報を取得し（Ｓ１０２）、車載カメラ１０の撮影画像に含まれる所望の物体の位置および大きさから車両と所望の物体との相対位置を推定するとともに、車両の移動状態を特定するための情報に基づいて、後に入力される車両周辺の撮影画像中に所望の物体が位置する認識領域を推定し（Ｓ１０６）、推定された認識領域を探索対象として画像認識処理を行う（Ｓ１１２）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に取り付けられたカメラより入力される車両周辺の撮影画像から所望の物体を画像認識する画像認識装置および画像認識処理方法に関する。
【背景技術】
【０００２】
従来、この種の画像認識装置は、カメラから入力される撮影画像全体を探索領域として所望の物体を画像認識するようになっている。しかし、このように撮影画像全体を探索領域として画像認識処理を行う場合、所望の物体の存在する可能性の低い領域まで繰り返し探索することになるため、制御部の処理負荷が大きくなり、また、誤認識する可能性も高くなる。
【０００３】
そこで、自車前方のレーダ探索結果から自車前方の撮影画像に含まれた各物標の領域を検出し、各領域の画像につき、自車の走行状態から予測した自車の推定進路に最も近いものからの順で、かつ、自車に近いものからの順に、優先順位が高い画像に選択し、画像認識処理の優先順位を決定することにより、全ての領域の画像に認識処理を施すことなく、重要度（注視度）の高いものから順に選択して画像認識処理を施すようにしたものがある（例えば、特許文献１参照）。
【特許文献１】特開２００６−１６３８７９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１に記載された装置は、自車の走行に伴って撮影画像中の物標の位置にずれが生じると、認識処理の対象領域に物標が含まれなくなってしまうことが考えられるため、認識処理の探索領域を比較的大きく設定して認識処理を実施する必要があるといった問題がある。
【０００５】
本発明は上記問題に鑑みたもので、より認識処理の処理負荷の低減を図ることを目的とする。
【課題を解決するための手段】
【０００６】
本発明の第１の特徴は、車両に取り付けられたカメラより入力される車両周辺の撮影画像から所望の物体を画像認識する画像認識装置であって、車両の移動状態を特定するための情報を取得する情報取得手段と、車両と所望の物体との相対位置を推定し、この推定した相対位置および情報取得手段により取得された車両の移動状態を特定するための情報に基づいて、後に入力される車両周辺の撮影画像中に所望の物体が位置する認識領域を推定する領域推定手段と、領域推定手段により推定された認識領域を探索対象として画像認識処理を行う画像認識処理手段と、を備えたことである。
【０００７】
このような構成では、車両と所望の物体との相対位置を推定し、この推定した相対位置および車両の移動状態を特定するための情報に基づいて、後に入力される車両周辺の撮影画像中に所望の物体が位置する認識領域を推定し、この推定された認識領域を探索対象として画像認識処理が行われるので、探索対象の領域を狭域化することができ、より認識処理の処理負荷の低減を図ることができる。
【０００８】
また、本発明の第２の特徴は、領域推定手段が、車両周辺の撮影画像に含まれる所望の物体の位置および大きさに基づいて車両と所望の物体との相対位置を推定することである。
【０００９】
このように、車両周辺の撮影画像に含まれる所望の物体の位置および大きさに基づいて車両と所望の物体との相対位置を推定することができる。
【００１０】
また、本発明の第３の特徴は、領域推定手段が、ナビゲーション装置から入力される車両の現在位置および現在位置周辺の地図情報に基づいて車両と所望の物体との相対位置を推定することである。
【００１１】
このように、ナビゲーション装置から入力される車両の現在位置および現在位置周辺の地図情報に基づいて車両と所望の物体との相対位置を推定することができる。
【００１２】
また、本発明の第４の特徴は、領域推定手段が、推定した所望の物体の相対位置、過去に推定した所望の物体の相対位置および情報取得手段により取得された車両の移動状態を特定するための情報に基づいて、所望の物体の移動量を推定し、後に入力される車両周辺の撮影画像中に所望の物体が位置する認識領域を推定することである。
【００１３】
このような構成では、推定した所望の物体の相対位置、過去に推定した所望の物体の相対位置および情報取得手段により取得された車両の移動状態を特定するための情報に基づいて所望の物体の移動量が推定され、後に入力される車両周辺の撮影画像中に所望の物体が位置する認識領域を推定されるので、車両だけでなく所望の物体が移動していても、後に入力される車両周辺の撮影画像中に所望の物体が位置する認識領域をより正確に推定することが可能である。
【００１４】
また、本発明の第５の特徴は、車両からの距離に応じて異なる領域を第１の探索処理と、該第１の探索処理と異なる第２の探索処理のいずれかにより交互に探索処理を実施するように探索処理のタイミングを決定するとともに、領域推定手段により認識領域が推定されたことを判定した場合、毎回、認識領域を対象として探索処理を実施するように探索処理のタイミングを決定する探索処理決定手段を備え、画像認識処理手段は、カメラより入力される車両周辺の撮影画像に対し、探索処理決定手段により決定されたタイミングに従って探索処理を実施し、画像認識処理を行うことである。
【００１５】
このような構成では、車両からの距離に応じて異なる領域を第１の探索処理と、該第１の探索処理と異なる第２の探索処理のいずれかにより交互に探索処理を実施するように探索処理のタイミングが決定され、このタイミングに従って探索処理が実施される。更に、認識領域が推定されたことを判定した場合には、毎回、この認識領域を対象として探索処理を実施するように探索処理のタイミングが決定され、このタイミングに従って探索処理が実施されるので、車両からの距離に応じて異なる各領域に対して毎回探索処理を実施する場合と比較して処理負荷を低減することが可能である。
【００１６】
また、本発明の第６の特徴は、情報取得手段により取得された車両の移動状態を特定するための情報の信頼度を評価する信頼度評価手段を備え、領域推定手段は、信頼度評価手段により評価された信頼度に基づき車両の移動状態を特定するための情報から信頼性の高い情報を選択的に利用して、認識領域を推定することである。
【００１７】
このような構成では、車両の移動状態を特定するための情報の信頼度に基づいて車両の移動状態を特定するための情報から信頼性の高い情報を選択的に利用して、認識領域が推定されるので、車両の移動状態を特定するための情報の信頼度を考慮することなく認識領域を推定する場合と比較して、より正確に認識領域を推定することが可能である。
【００１８】
また、本発明の第７の特徴は、車両に取り付けられたカメラより入力される車両周辺の撮影画像から所望の物体を画像認識する画像認識処理方法であって、車両の移動状態を特定するための情報を取得し、車両と所望の物体との相対位置を推定し、この推定した相対位置および取得した車両の移動状態を特定するための情報に基づいて、後に入力される車両周辺の撮影画像中に所望の物体が位置する領域を推定し、この推定した認識領域を探索対象として画像認識処理を行うことである。
【００１９】
この第７の特徴は、本発明の第１の特徴である画像認識装置を画像認識処理方法として記載したものである。本発明は、物の発明としてだけでなく、このような方法の発明としても把握することができ、第１の特徴と同様の効果を得ることができる。
【発明を実施するための最良の形態】
【００２０】
本発明の一実施形態に係る画像認識装置の構成を図１に示す。本画像認識装置１は、車載カメラ１０および制御部１１を備えた構成となっている。画像認識装置１は、車載カメラ１０から入力される車両前方の撮影画像から、信号機、標識、歩行者、自転車、自動車等の所望の物体を画像認識し、車両前方の撮影画像とともに認識結果を表示装置３０へ出力する。なお、表示装置３０の表示画面には、撮影画像中の所望の物体の位置に矩形の枠が重ねて強調表示されるようになっている。
【００２１】
車載カメラ１０は、車両のルームミラーの近傍の天井に取り付けられ、車両前方を撮影した撮影画像を周期的に制御部１１へ出力する。本実施形態では、車載カメラ１０から１秒間に３０フレームの撮影画像が出力される。
【００２２】
制御部１１は、ＣＰＵ、メモリ、Ｉ／Ｏ等を備えたコンピュータとして構成されており、ＣＰＵはメモリに記憶されたプログラムに従って各種処理を実施する。
【００２３】
制御部１１には、車両の速度に応じた車速信号を出力する車速センサ２０、車両のステアリングの操作に応じた操舵角信号を出力する舵角センサ２１、車両の角速度に応じた信号を出力するヨーレートセンサ２２などの車載センサから各種検出信号が入力される。
【００２４】
制御部１１は、車速センサ２０、舵角センサ２１、ヨーレートセンサ２２などの車載センサから入力される各種信号に基づいて車両の移動状態を特定する。例えば、車速センサ２０から入力される車速信号から車両が停車中であるか、低速走行中であるか、高速走行中であるかを特定することが可能である。また、舵角センサ２１から操舵角信号から車両が左に旋回中であるか、直進中であるか、右に旋回中であるかを特定することが可能である。また、ヨーレートセンサ２２からの信号から車両の旋回方向を特定することが可能である。
【００２５】
また、制御部１１には、ナビゲーション装置２３から各種情報が入力される。なお、図中には示されてないが、ナビゲーション装置２３には、車速センサ２０から車速信号が入力され、また、ヨーレートセンサ２２から車両の角速度に応じた信号が入力される。
【００２６】
ナビゲーション装置２３は、図示しないＧＰＳ受信機、車速センサ２０およびヨーレートセンサ２２から入力される各種信号に基づいて自車位置を特定するとともに、自車位置の履歴から自車の移動状態を表す情報（車速情報、走行方向情報など）を特定し、自車位置情報および自車の移動状態を表す情報を制御部１１へ送出する。また、ナビゲーション装置２３は、地図データを参照して自車位置周辺の道路形状や道路上の構造物等を示す情報を制御部１１へ送出するようになっている。
【００２７】
制御部１１のメモリには、車速センサ２０から入力される車速信号、舵角センサ２１から入力される操舵角信号、ヨーレートセンサ２２から入力される信号、ナビゲーション装置２３から入力される自車位置情報、車速情報、走行方向情報などの各種情報についての信頼度が記憶されている。
【００２８】
例えば、車速センサから入力される車速信号の精度がナビゲーション装置２３から入力される車速情報の精度と比較して高い場合、車速センサから入力される車速信号の信頼度の方がナビゲーション装置２３から入力される車速情報の信頼度よりも高くなるように制御部１１のメモリに記憶されている。
【００２９】
制御部１１は、この信頼度に基づいて、各車載センサから入力される信号およびナビゲーション装置２３から入力される情報を評価し、信頼性の高い情報を選択的に利用して各種処理を実施する。
【００３０】
また、本実施形態における制御部１１のメモリには、例えば、信号機、標識、歩行者、自転車、自動車等、様々な物体を様々な方向（前後左右）から見た辞書パターンが記憶されている。制御部１１は、撮影画像の探索領域中に、これらの辞書パターンを画素単位で表現したテンプレートを移動しながら重ね、撮影画像とテンプレートの画素対応の相関を調べるパターンマッチングにより物体の認識を行う。
【００３１】
次に、図２に従って、本画像認識装置１の制御部１１の処理について説明する。ユーザの操作に応じて車両のイグニッションスイッチがオンすると、画像認識装置１は動作状態となり、制御部１１は、図２に示す処理を実施する。
【００３２】
まず、撮影画像の取り込みを行う（Ｓ１００）。具体的には、車載カメラ１０
から入力される車両前方の撮影画像を一時的にメモリに記憶する。
【００３３】
次に、車載センサ２０〜２２およびナビゲーション装置２３から車両の状態を特定するための情報を取得する（Ｓ１０２）。具体的には、車速センサ２０、舵角センサ２１、ヨーレートセンサ２２などの車載センサから入力される各種信号と、ナビゲーション装置２３から入力される自車位置情報、車速情報、走行方向情報などの各種情報を取得する。
【００３４】
次に、Ｓ１０２にて取得した各種情報の信頼度を評価する（Ｓ１０４）。具体的には、制御部１１のメモリから各情報の信頼度を読み出し、Ｓ１０２にて取得した各種情報に対する信頼度を決定する。
【００３５】
次に、認識空間モデル推定処理を行う（Ｓ１０６）。この認識空間モデル推定処理は、車両と所望の物体との相対位置を推定するとともに、車両の移動状態を特定するための情報に基づいて、後に入力される車両周辺の撮影画像中に所望の物体が位置する領域（以下、認識領域という）を推定する処理である。
【００３６】
本実施形態では、車両周辺の撮影画像に含まれる所望の物体の位置および大きさに基づいて車両周辺の空間モデルを構築し、車両と所望の物体との相対位置を推定する。
【００３７】
図３（ａ）〜（ｃ）は、車両周辺の撮影画像に歩行者が映し出された様子を示した図である。図３（ａ）に示すように、車両周辺の撮影画像の右側に歩行者Ａが大きく映し出されている場合、この歩行者Ａは車両前方の右側の近傍に存在すると推定することができる。また、図３（ｂ）に示すように、車両周辺の撮影画像の左側に歩行者Ｂが中程度の大きさで映し出されている場合、この歩行者Ｂは車両前方の左側の中距離程度の場所に存在すると推定することができる。また、図３（ｃ）に示すように、車両周辺の撮影画像の中央に歩行者Ｃが小さく映し出されている場合、この歩行者Ｃは車両前方の中央の遠方に存在すると推定することができる。
【００３８】
図４に、図３（ａ）〜（ｃ）に示された歩行者Ａ〜Ｃと車両の位置関係を示す。（ａ）は、車両と歩行者Ａ〜Ｃを側方から見た図、（ｂ）は、車両と歩行者Ａ〜Ｃを鉛直方向から見下ろした図である。図３（ａ）〜（ｃ）に示された歩行者Ａ〜Ｃは、図４（ａ）、（ｂ）に示す空間モデルにおける歩行者Ａ〜Ｃとして表すことができる。
【００３９】
このように、車両周辺の撮影画像に含まれる所望の物体の位置および大きさに基づいて、図４（ａ）、（ｂ）に示すような空間モデルを構築し、車両と所望の物体との相対位置（距離、方向）を推定し、メモリに記憶する。
【００４０】
そして、Ｓ１０４にて評価された信頼度に基づいて、Ｓ１０２にて取得された車両の状態を特定するための情報から、この認識空間モデル推定処理にて利用する情報を選択する。例えば、上記したように車速を表す情報として車速センサ２０から入力される車速信号とナビゲーション装置２３から入力される車速情報とが存在し、車速センサ２０から入力される車速信号の方がナビゲーション装置２３から入力される車速情報よりも信頼度が高いと評価された場合、車速センサ２０から入力される車速信号を選択する。
【００４１】
このようにして選択された車両の状態を特定するための情報と、推定した車両と所望の物体との相対位置に基づいて、後に入力される車両周辺の撮影画像中に所望の物体が位置する認識領域を推定する。
【００４２】
例えば、図３（ｂ）に示したように車両前方の左側の中距離程度の場所に歩行者Ｂが存在すると推定された状態で、車速センサ２０から一定の車速で前進していることを示す車速信号が入力され、かつ、舵角センサ２１からステアリングが左側に一定量操作されたことを示す操舵角信号が入力された場合、すなわち、車両が一定の車速で歩行者に近づきながら左に旋回している場合、後に入力される車両周辺の撮影画像中に歩行者Ｂが位置する認識領域は、図５の歩行者Ｂ’を囲む点線領域に示すように、右側に移動し、かつ、大きくなるものと推定する。
【００４３】
この領域の推定は、計算によって求めることができるが、実験により収集したデータを利用して求めてもよい。なお、計算によって求める場合には、車速信号、舵角信号などの車両の移動状態を特定するための情報、車載カメラ１０の取り付け高さ、車載カメラ１０の取り付け角度等のカメラ取り付けパラメータ、撮影画像の入力周期、撮影画像の解像度等から求めることができる。
【００４４】
また、優先的に認識すべき物体の優先順位が高くなるように、推定した認識領域に対して優先度を付与する。本実施形態では、歩行者の優先順位が最も高くなるように、推定した認識領域に対して優先度を付与する。
【００４５】
次に、探索領域を決定する（Ｓ１０８）。具体的には、Ｓ１０６の認識空間モデル推定処理にて推定された認識領域を探索領域として決定する。
【００４６】
次に、探索処理を決定する（Ｓ１１０）。本実施形態では、次のＳ１１２にて、自車からの距離に応じて異なる探索処理を実施する。具体的には、自車からの距離に応じて探索領域を、近傍領域、中距離領域、遠方領域の３つの領域に分割し、領域毎に撮影画像から抽出する探索領域の大きさおよび辞書パターンを変更して探索処理を実施する。また、領域毎に異なるタイミングで探索処理を実施する。
【００４７】
ここで、図６を参照して、本実施形態における探索処理のタイミングについて説明する。図６（ａ）〜（ｃ）は、それぞれＴ番目、Ｔ＋１番目、Ｔ＋２番目の画像フレームに対する探索処理の様子を示したものである。
【００４８】
本実施形態では、図６（ａ）に示すように、自車からの距離に応じて、近傍領域、中距離領域、遠方領域の３つの領域に分割し、近傍領域に対しては毎回探索処理を実施し、中距離領域と遠方領域に対しては交互に探索処理を実施するように探索処理のタイミングを決定する。ただし、探索処理を実施しない領域であっても、先のＳ１０６の認識空間モデル推定処理にて推定された車両と所望の物体との相対距離からその領域に所望の物体が存在すると判定した場合には、探索処理を実施するように探索処理のタイミングを決定する。
【００４９】
図６（ａ）に示すように、Ｔ番目の画像フレームでは、近傍領域と中距離領域（図中、斜線部）に対して探索処理を実施するように探索処理のタイミングを決定する。
【００５０】
また、図６（ｂ）に示すように、Ｔ＋１番目の画像フレームでは、近傍領域と遠方領域（図中、斜線部）に対して探索処理を実施するように探索処理のタイミングを決定する。ただし、先のＳ１０６の認識空間モデル推定処理にて推定された車両と所望の物体（図中の例では、歩行者）との相対距離から中距離領域に所望の物体が存在すると判定した場合には、中距離領域であっても認識空間モデル推定処理にて推定された認識領域に対する探索処理も実施するように探索処理のタイミングを決定する。
【００５１】
また、図６（ｃ）に示すように、Ｔ＋２番目の画像フレームでは、再度、近傍領域と中距離領域（図中、斜線部）に対して探索処理を実施するように探索処理のタイミングを決定する。ただし、図に示すように、先のＳ１０６の認識空間モデル推定処理にて推定された車両と所望の物体（図中の例では、歩行者）との相対距離から遠方領域に所望の物体が存在すると判定された場合には、遠方領域であっても認識空間モデル推定処理にて推定された認識領域に対する探索処理も実施するように探索処理のタイミングを決定する。
【００５２】
次に、物体認識処理を実施する（Ｓ１１２）。具体的には、車載カメラ１０より入力される車両周辺の撮影画像に対し、Ｓ１００にて決定された探索処理のタイミングに従って、領域別に撮影画像から抽出する探索領域の大きさおよび辞書パターンを変更して探索処理を実施して画像認識を行う。なお、Ｓ１０６の認識空間モデル推定処理にて付与された優先度に基づいて優先順位の高い探索対象の領域を優先的に探索する。
【００５３】
図７に、図６（ａ）〜（ｃ）に示した各画像フレームの探索領域およびテンプレートを示す。図７（ａ）は、Ｔ番目の画像フレームのテンプレートおよび探索領域を示す図、図７（ｂ）は、Ｔ＋１番目の画像フレームのテンプレートおよび探索領域を示す図、図７（ｃ）は、Ｔ＋２番目のテンプレートおよび探索領域を示す図である。
【００５４】
図７（ａ）には、近傍領域のテンプレートＤ１と探索領域Ｓ１および中距離領域のテンプレートＤ２と探索領域Ｓ２が示されている。Ｔ番目の画像フレームでは、図に示すようなテンプレートを用いて図に示す探索領域を対象として画像認識処理を実施する。
【００５５】
また、図７（ｂ）には、近傍領域のテンプレートＤ１と探索領域Ｓ１、中距離領域のテンプレートＤ２と探索領域Ｓ２、遠方領域のテンプレートＤ３と探索領域Ｓ３が示されている。Ｔ＋１番目の画像フレームでは、図に示すようなテンプレートを用いて図に示す探索領域を対象として画像認識処理を実施する。
【００５６】
また、図７（ｃ）には、近傍領域の探索領域Ｓ１と辞書パターンＤ１、中距離領域の探索領域Ｓ２と辞書パターンＤ２、遠方領域の探索領域Ｓ３と辞書パターンＤ３が示されている。Ｔ＋２番目の画像フレームでは、図に示すようなテンプレートを用いて図に示す探索領域を対象として画像認識処理を実施する。
【００５７】
このように、図７（ａ）〜（ｃ）に示した探索領域を対象とし、Ｓ１１０にて決定された探索処理のタイミングに従って領域別に探索処理を実施して画像認識処理を行う。
【００５８】
次に、認識物体識別処理を実施する（Ｓ１１４）。具体的には、Ｓ１１２にて画像認識された物体と過去の認識結果を比較して、画像認識された物体が誤認識されていないか否か等の識別を行い、認識した物体の最終決定を行う。
【００５９】
次に、認識結果を出力する（Ｓ１１６）。具体的には、車両前方の撮影画像とともに、Ｓ１１４にて最終決定された物体の認識結果（物体が何であるかを表す情報、物体が移動物であるか静止物であるかを表す情報、物体が移動物である場合にはその速度、方向、大きさ、自車との相対位置（距離、方向））、撮影画像中の物体を囲む矩形の枠線を表す情報など）を表示装置３０へ出力する。なお、表示装置３０の表示画面には、撮影画像中の所望の物体の位置に矩形の枠が重ねて強調表示される。
【００６０】
このように認識結果を出力すると、Ｓ１００へ戻り、上記した処理を繰り返し実施する。
【００６１】
上記した構成によれば、車両と所望の物体との相対位置を推定し、この推定した相対位置および車両の移動状態を特定するための情報に基づいて、後に入力される車両周辺の撮影画像中に所望の物体が位置する認識領域を推定し、この推定された認識領域を探索対象として画像認識処理が行われるので、背景技術の特許文献１に記載された装置と比較して、探索対象の領域を狭域化することができ、より認識処理の処理負荷の低減を図ることができる。
【００６２】
また、車両周辺の撮影画像に含まれる所望の物体の位置および大きさに基づいて車両と所望の物体との相対位置を推定することができる。したがって、背景技術の特許文献１に記載したようなレーダ探索装置を車両に搭載することなく、車両と所望の物体との相対位置を推定することができる。
【００６３】
また、車両からの距離に応じて中距離領域と遠方領域に対して交互に探索処理を実施するように探索処理のタイミングが決定され、このタイミングに従って探索処理が実施される。更に、認識領域が推定されたことを判定した場合には、毎回、この認識領域を対象として探索処理を実施するように探索処理のタイミングが決定され、このタイミングに従って探索処理が実施されるので、中距離領域と遠方領域に対して毎回探索処理を実施する場合と比較して処理負荷を低減することが可能である。
【００６４】
また、メモリに記憶された信頼度に基づいて車両の移動状態を特定するための情報の信頼度を評価し、車両の移動状態を特定するための情報から信頼性の高い情報を選択的に利用して、認識領域が推定されるので、車両の移動状態を特定するための情報の信頼度を考慮することなく認識領域を推定する場合と比較して、より正確に認識領域を推定することが可能である。
【００６５】
また、認識空間モデル推定処理において、優先的に認識すべき物体の優先順位が高くなるように、推定した領域に対して優先度を付与し、物体認識処理では、この優先度に基づいて優先順位の高い探索対象の領域を優先的に探索するので、優先順位が高くなるように優先度が付与された探索対象の領域を優先的に探索することができる。
【００６６】
なお、本発明は上記実施形態に限定されるものではなく、本発明の趣旨に基づいて種々なる形態で実施することができる。
【００６７】
例えば、上記実施形態では、車両前方の撮影画像から所望の物体を画像認識する例を示したが、車両前方の撮影画像に限定されるものではなく、例えば、車両後方や車両側方の撮影画像から所望の物体を画像認識するようにしてもよい。
【００６８】
また、上記実施形態では、撮影画像に含まれる所望の物体の位置および大きさに基づいて所望の物体との相対位置を推定する例を示したが、例えば、ナビゲーション装置から入力される車両の現在位置および自車位置周辺の道路形状や道路上の構造物等を示す情報に基づいて自車と道路上の構造物との相対位置を推定するようにしてもよい。例えば、ナビゲーション装置から入力される情報に基づいて走行先の道路が左にカーブしていることを判定した場合には、自車が道路に沿って左に旋回するものとして車両と所望の物体との相対位置を推定することができる。また、ナビゲーション装置から入力される情報に基づいて自車前方の路側に所望の物体（例えば、標識）が設置されていることを判定した場合には、自車前方の路側に設置された所望の物体の位置と自車位置から自車と所望の物体の相対位置を推定することができる。また、車両周辺の物体を検出する測定距離レーダを備え、この測定距離レーダを用いて所望の物体との相対位置を推定するようにしてもよい。
【００６９】
また、上記実施形態では、認識空間モデル推定処理において、所望の物体が移動することを考慮することなく、後に入力される車両周辺の撮影画像中に所望の物体が位置する認識領域を推定する例を示したが、例えば、推定した所望の物体の相対位置と、過去に推定した所望の物体の相対位置および車両の移動状態を特定するための情報に基づいて、所望の物体の移動量（移動速度、移動方向）を推定し、後に入力される車両周辺の撮影画像中に所望の物体が位置する認識領域を推定してもよい。この場合、車両だけでなく所望の物体が移動していても、後に入力される車両周辺の撮影画像中に所望の物体が位置する認識領域をより正確に推定することが可能である。
【００７０】
また、上記実施形態では、車両の走行に伴う振動による画像のぶれに対する対策を実施していないが、例えば、車両に搭載されたヨーレートセンサ２２から入力される信号や加速度センサから入力される信号に基づいて車両の振動を検出し、車両の振動が検出された場合に、車載カメラ１０の画像ぶれを補正する処理を実施してもよい。
【００７１】
なお、上記実施形態における構成と特許請求の範囲の構成との対応関係について説明すると、Ｓ１０２が情報取得手段に相当し、Ｓ１０６が領域推定手段に相当し、Ｓ１１２が画像認識処理手段に相当し、Ｓ１０４が信頼度評価手段に相当する。
【図面の簡単な説明】
【００７２】
【図１】本発明の一実施形態に係る画像認識装置の構成を示す図である。
【図２】本画像認識装置の制御部の処理を示すフローチャートである。
【図３】車両周辺の撮影画像から車両と所望の物体との相対位置を推定する処理について説明するための図である。
【図４】図３に示された歩行者Ａ〜Ｃと車両の位置関係を示す図である。
【図５】認識空間モデル推定処理について説明するための図である。
【図６】探索処理の決定について説明するための図である。
【図７】画像フレームの探索領域と辞書パターンについて説明するための図である。
【符号の説明】
【００７３】
１…画像認識装置、１０…車載カメラ、１１…制御部、２０…車速センサ、
２１…舵角センサ、２２…ヨーレートセンサ、２３…ナビゲーション装置、
３０…表示装置。
【技術分野】
【０００１】
本発明は、車両に取り付けられたカメラより入力される車両周辺の撮影画像から所望の物体を画像認識する画像認識装置および画像認識処理方法に関する。
【背景技術】
【０００２】
従来、この種の画像認識装置は、カメラから入力される撮影画像全体を探索領域として所望の物体を画像認識するようになっている。しかし、このように撮影画像全体を探索領域として画像認識処理を行う場合、所望の物体の存在する可能性の低い領域まで繰り返し探索することになるため、制御部の処理負荷が大きくなり、また、誤認識する可能性も高くなる。
【０００３】
そこで、自車前方のレーダ探索結果から自車前方の撮影画像に含まれた各物標の領域を検出し、各領域の画像につき、自車の走行状態から予測した自車の推定進路に最も近いものからの順で、かつ、自車に近いものからの順に、優先順位が高い画像に選択し、画像認識処理の優先順位を決定することにより、全ての領域の画像に認識処理を施すことなく、重要度（注視度）の高いものから順に選択して画像認識処理を施すようにしたものがある（例えば、特許文献１参照）。
【特許文献１】特開２００６−１６３８７９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１に記載された装置は、自車の走行に伴って撮影画像中の物標の位置にずれが生じると、認識処理の対象領域に物標が含まれなくなってしまうことが考えられるため、認識処理の探索領域を比較的大きく設定して認識処理を実施する必要があるといった問題がある。
【０００５】
本発明は上記問題に鑑みたもので、より認識処理の処理負荷の低減を図ることを目的とする。
【課題を解決するための手段】
【０００６】
本発明の第１の特徴は、車両に取り付けられたカメラより入力される車両周辺の撮影画像から所望の物体を画像認識する画像認識装置であって、車両の移動状態を特定するための情報を取得する情報取得手段と、車両と所望の物体との相対位置を推定し、この推定した相対位置および情報取得手段により取得された車両の移動状態を特定するための情報に基づいて、後に入力される車両周辺の撮影画像中に所望の物体が位置する認識領域を推定する領域推定手段と、領域推定手段により推定された認識領域を探索対象として画像認識処理を行う画像認識処理手段と、を備えたことである。
【０００７】
このような構成では、車両と所望の物体との相対位置を推定し、この推定した相対位置および車両の移動状態を特定するための情報に基づいて、後に入力される車両周辺の撮影画像中に所望の物体が位置する認識領域を推定し、この推定された認識領域を探索対象として画像認識処理が行われるので、探索対象の領域を狭域化することができ、より認識処理の処理負荷の低減を図ることができる。
【０００８】
また、本発明の第２の特徴は、領域推定手段が、車両周辺の撮影画像に含まれる所望の物体の位置および大きさに基づいて車両と所望の物体との相対位置を推定することである。
【０００９】
このように、車両周辺の撮影画像に含まれる所望の物体の位置および大きさに基づいて車両と所望の物体との相対位置を推定することができる。
【００１０】
また、本発明の第３の特徴は、領域推定手段が、ナビゲーション装置から入力される車両の現在位置および現在位置周辺の地図情報に基づいて車両と所望の物体との相対位置を推定することである。
【００１１】
このように、ナビゲーション装置から入力される車両の現在位置および現在位置周辺の地図情報に基づいて車両と所望の物体との相対位置を推定することができる。
【００１２】
また、本発明の第４の特徴は、領域推定手段が、推定した所望の物体の相対位置、過去に推定した所望の物体の相対位置および情報取得手段により取得された車両の移動状態を特定するための情報に基づいて、所望の物体の移動量を推定し、後に入力される車両周辺の撮影画像中に所望の物体が位置する認識領域を推定することである。
【００１３】
このような構成では、推定した所望の物体の相対位置、過去に推定した所望の物体の相対位置および情報取得手段により取得された車両の移動状態を特定するための情報に基づいて所望の物体の移動量が推定され、後に入力される車両周辺の撮影画像中に所望の物体が位置する認識領域を推定されるので、車両だけでなく所望の物体が移動していても、後に入力される車両周辺の撮影画像中に所望の物体が位置する認識領域をより正確に推定することが可能である。
【００１４】
また、本発明の第５の特徴は、車両からの距離に応じて異なる領域を第１の探索処理と、該第１の探索処理と異なる第２の探索処理のいずれかにより交互に探索処理を実施するように探索処理のタイミングを決定するとともに、領域推定手段により認識領域が推定されたことを判定した場合、毎回、認識領域を対象として探索処理を実施するように探索処理のタイミングを決定する探索処理決定手段を備え、画像認識処理手段は、カメラより入力される車両周辺の撮影画像に対し、探索処理決定手段により決定されたタイミングに従って探索処理を実施し、画像認識処理を行うことである。
【００１５】
このような構成では、車両からの距離に応じて異なる領域を第１の探索処理と、該第１の探索処理と異なる第２の探索処理のいずれかにより交互に探索処理を実施するように探索処理のタイミングが決定され、このタイミングに従って探索処理が実施される。更に、認識領域が推定されたことを判定した場合には、毎回、この認識領域を対象として探索処理を実施するように探索処理のタイミングが決定され、このタイミングに従って探索処理が実施されるので、車両からの距離に応じて異なる各領域に対して毎回探索処理を実施する場合と比較して処理負荷を低減することが可能である。
【００１６】
また、本発明の第６の特徴は、情報取得手段により取得された車両の移動状態を特定するための情報の信頼度を評価する信頼度評価手段を備え、領域推定手段は、信頼度評価手段により評価された信頼度に基づき車両の移動状態を特定するための情報から信頼性の高い情報を選択的に利用して、認識領域を推定することである。
【００１７】
このような構成では、車両の移動状態を特定するための情報の信頼度に基づいて車両の移動状態を特定するための情報から信頼性の高い情報を選択的に利用して、認識領域が推定されるので、車両の移動状態を特定するための情報の信頼度を考慮することなく認識領域を推定する場合と比較して、より正確に認識領域を推定することが可能である。
【００１８】
また、本発明の第７の特徴は、車両に取り付けられたカメラより入力される車両周辺の撮影画像から所望の物体を画像認識する画像認識処理方法であって、車両の移動状態を特定するための情報を取得し、車両と所望の物体との相対位置を推定し、この推定した相対位置および取得した車両の移動状態を特定するための情報に基づいて、後に入力される車両周辺の撮影画像中に所望の物体が位置する領域を推定し、この推定した認識領域を探索対象として画像認識処理を行うことである。
【００１９】
この第７の特徴は、本発明の第１の特徴である画像認識装置を画像認識処理方法として記載したものである。本発明は、物の発明としてだけでなく、このような方法の発明としても把握することができ、第１の特徴と同様の効果を得ることができる。
【発明を実施するための最良の形態】
【００２０】
本発明の一実施形態に係る画像認識装置の構成を図１に示す。本画像認識装置１は、車載カメラ１０および制御部１１を備えた構成となっている。画像認識装置１は、車載カメラ１０から入力される車両前方の撮影画像から、信号機、標識、歩行者、自転車、自動車等の所望の物体を画像認識し、車両前方の撮影画像とともに認識結果を表示装置３０へ出力する。なお、表示装置３０の表示画面には、撮影画像中の所望の物体の位置に矩形の枠が重ねて強調表示されるようになっている。
【００２１】
車載カメラ１０は、車両のルームミラーの近傍の天井に取り付けられ、車両前方を撮影した撮影画像を周期的に制御部１１へ出力する。本実施形態では、車載カメラ１０から１秒間に３０フレームの撮影画像が出力される。
【００２２】
制御部１１は、ＣＰＵ、メモリ、Ｉ／Ｏ等を備えたコンピュータとして構成されており、ＣＰＵはメモリに記憶されたプログラムに従って各種処理を実施する。
【００２３】
制御部１１には、車両の速度に応じた車速信号を出力する車速センサ２０、車両のステアリングの操作に応じた操舵角信号を出力する舵角センサ２１、車両の角速度に応じた信号を出力するヨーレートセンサ２２などの車載センサから各種検出信号が入力される。
【００２４】
制御部１１は、車速センサ２０、舵角センサ２１、ヨーレートセンサ２２などの車載センサから入力される各種信号に基づいて車両の移動状態を特定する。例えば、車速センサ２０から入力される車速信号から車両が停車中であるか、低速走行中であるか、高速走行中であるかを特定することが可能である。また、舵角センサ２１から操舵角信号から車両が左に旋回中であるか、直進中であるか、右に旋回中であるかを特定することが可能である。また、ヨーレートセンサ２２からの信号から車両の旋回方向を特定することが可能である。
【００２５】
また、制御部１１には、ナビゲーション装置２３から各種情報が入力される。なお、図中には示されてないが、ナビゲーション装置２３には、車速センサ２０から車速信号が入力され、また、ヨーレートセンサ２２から車両の角速度に応じた信号が入力される。
【００２６】
ナビゲーション装置２３は、図示しないＧＰＳ受信機、車速センサ２０およびヨーレートセンサ２２から入力される各種信号に基づいて自車位置を特定するとともに、自車位置の履歴から自車の移動状態を表す情報（車速情報、走行方向情報など）を特定し、自車位置情報および自車の移動状態を表す情報を制御部１１へ送出する。また、ナビゲーション装置２３は、地図データを参照して自車位置周辺の道路形状や道路上の構造物等を示す情報を制御部１１へ送出するようになっている。
【００２７】
制御部１１のメモリには、車速センサ２０から入力される車速信号、舵角センサ２１から入力される操舵角信号、ヨーレートセンサ２２から入力される信号、ナビゲーション装置２３から入力される自車位置情報、車速情報、走行方向情報などの各種情報についての信頼度が記憶されている。
【００２８】
例えば、車速センサから入力される車速信号の精度がナビゲーション装置２３から入力される車速情報の精度と比較して高い場合、車速センサから入力される車速信号の信頼度の方がナビゲーション装置２３から入力される車速情報の信頼度よりも高くなるように制御部１１のメモリに記憶されている。
【００２９】
制御部１１は、この信頼度に基づいて、各車載センサから入力される信号およびナビゲーション装置２３から入力される情報を評価し、信頼性の高い情報を選択的に利用して各種処理を実施する。
【００３０】
また、本実施形態における制御部１１のメモリには、例えば、信号機、標識、歩行者、自転車、自動車等、様々な物体を様々な方向（前後左右）から見た辞書パターンが記憶されている。制御部１１は、撮影画像の探索領域中に、これらの辞書パターンを画素単位で表現したテンプレートを移動しながら重ね、撮影画像とテンプレートの画素対応の相関を調べるパターンマッチングにより物体の認識を行う。
【００３１】
次に、図２に従って、本画像認識装置１の制御部１１の処理について説明する。ユーザの操作に応じて車両のイグニッションスイッチがオンすると、画像認識装置１は動作状態となり、制御部１１は、図２に示す処理を実施する。
【００３２】
まず、撮影画像の取り込みを行う（Ｓ１００）。具体的には、車載カメラ１０
から入力される車両前方の撮影画像を一時的にメモリに記憶する。
【００３３】
次に、車載センサ２０〜２２およびナビゲーション装置２３から車両の状態を特定するための情報を取得する（Ｓ１０２）。具体的には、車速センサ２０、舵角センサ２１、ヨーレートセンサ２２などの車載センサから入力される各種信号と、ナビゲーション装置２３から入力される自車位置情報、車速情報、走行方向情報などの各種情報を取得する。
【００３４】
次に、Ｓ１０２にて取得した各種情報の信頼度を評価する（Ｓ１０４）。具体的には、制御部１１のメモリから各情報の信頼度を読み出し、Ｓ１０２にて取得した各種情報に対する信頼度を決定する。
【００３５】
次に、認識空間モデル推定処理を行う（Ｓ１０６）。この認識空間モデル推定処理は、車両と所望の物体との相対位置を推定するとともに、車両の移動状態を特定するための情報に基づいて、後に入力される車両周辺の撮影画像中に所望の物体が位置する領域（以下、認識領域という）を推定する処理である。
【００３６】
本実施形態では、車両周辺の撮影画像に含まれる所望の物体の位置および大きさに基づいて車両周辺の空間モデルを構築し、車両と所望の物体との相対位置を推定する。
【００３７】
図３（ａ）〜（ｃ）は、車両周辺の撮影画像に歩行者が映し出された様子を示した図である。図３（ａ）に示すように、車両周辺の撮影画像の右側に歩行者Ａが大きく映し出されている場合、この歩行者Ａは車両前方の右側の近傍に存在すると推定することができる。また、図３（ｂ）に示すように、車両周辺の撮影画像の左側に歩行者Ｂが中程度の大きさで映し出されている場合、この歩行者Ｂは車両前方の左側の中距離程度の場所に存在すると推定することができる。また、図３（ｃ）に示すように、車両周辺の撮影画像の中央に歩行者Ｃが小さく映し出されている場合、この歩行者Ｃは車両前方の中央の遠方に存在すると推定することができる。
【００３８】
図４に、図３（ａ）〜（ｃ）に示された歩行者Ａ〜Ｃと車両の位置関係を示す。（ａ）は、車両と歩行者Ａ〜Ｃを側方から見た図、（ｂ）は、車両と歩行者Ａ〜Ｃを鉛直方向から見下ろした図である。図３（ａ）〜（ｃ）に示された歩行者Ａ〜Ｃは、図４（ａ）、（ｂ）に示す空間モデルにおける歩行者Ａ〜Ｃとして表すことができる。
【００３９】
このように、車両周辺の撮影画像に含まれる所望の物体の位置および大きさに基づいて、図４（ａ）、（ｂ）に示すような空間モデルを構築し、車両と所望の物体との相対位置（距離、方向）を推定し、メモリに記憶する。
【００４０】
そして、Ｓ１０４にて評価された信頼度に基づいて、Ｓ１０２にて取得された車両の状態を特定するための情報から、この認識空間モデル推定処理にて利用する情報を選択する。例えば、上記したように車速を表す情報として車速センサ２０から入力される車速信号とナビゲーション装置２３から入力される車速情報とが存在し、車速センサ２０から入力される車速信号の方がナビゲーション装置２３から入力される車速情報よりも信頼度が高いと評価された場合、車速センサ２０から入力される車速信号を選択する。
【００４１】
このようにして選択された車両の状態を特定するための情報と、推定した車両と所望の物体との相対位置に基づいて、後に入力される車両周辺の撮影画像中に所望の物体が位置する認識領域を推定する。
【００４２】
例えば、図３（ｂ）に示したように車両前方の左側の中距離程度の場所に歩行者Ｂが存在すると推定された状態で、車速センサ２０から一定の車速で前進していることを示す車速信号が入力され、かつ、舵角センサ２１からステアリングが左側に一定量操作されたことを示す操舵角信号が入力された場合、すなわち、車両が一定の車速で歩行者に近づきながら左に旋回している場合、後に入力される車両周辺の撮影画像中に歩行者Ｂが位置する認識領域は、図５の歩行者Ｂ’を囲む点線領域に示すように、右側に移動し、かつ、大きくなるものと推定する。
【００４３】
この領域の推定は、計算によって求めることができるが、実験により収集したデータを利用して求めてもよい。なお、計算によって求める場合には、車速信号、舵角信号などの車両の移動状態を特定するための情報、車載カメラ１０の取り付け高さ、車載カメラ１０の取り付け角度等のカメラ取り付けパラメータ、撮影画像の入力周期、撮影画像の解像度等から求めることができる。
【００４４】
また、優先的に認識すべき物体の優先順位が高くなるように、推定した認識領域に対して優先度を付与する。本実施形態では、歩行者の優先順位が最も高くなるように、推定した認識領域に対して優先度を付与する。
【００４５】
次に、探索領域を決定する（Ｓ１０８）。具体的には、Ｓ１０６の認識空間モデル推定処理にて推定された認識領域を探索領域として決定する。
【００４６】
次に、探索処理を決定する（Ｓ１１０）。本実施形態では、次のＳ１１２にて、自車からの距離に応じて異なる探索処理を実施する。具体的には、自車からの距離に応じて探索領域を、近傍領域、中距離領域、遠方領域の３つの領域に分割し、領域毎に撮影画像から抽出する探索領域の大きさおよび辞書パターンを変更して探索処理を実施する。また、領域毎に異なるタイミングで探索処理を実施する。
【００４７】
ここで、図６を参照して、本実施形態における探索処理のタイミングについて説明する。図６（ａ）〜（ｃ）は、それぞれＴ番目、Ｔ＋１番目、Ｔ＋２番目の画像フレームに対する探索処理の様子を示したものである。
【００４８】
本実施形態では、図６（ａ）に示すように、自車からの距離に応じて、近傍領域、中距離領域、遠方領域の３つの領域に分割し、近傍領域に対しては毎回探索処理を実施し、中距離領域と遠方領域に対しては交互に探索処理を実施するように探索処理のタイミングを決定する。ただし、探索処理を実施しない領域であっても、先のＳ１０６の認識空間モデル推定処理にて推定された車両と所望の物体との相対距離からその領域に所望の物体が存在すると判定した場合には、探索処理を実施するように探索処理のタイミングを決定する。
【００４９】
図６（ａ）に示すように、Ｔ番目の画像フレームでは、近傍領域と中距離領域（図中、斜線部）に対して探索処理を実施するように探索処理のタイミングを決定する。
【００５０】
また、図６（ｂ）に示すように、Ｔ＋１番目の画像フレームでは、近傍領域と遠方領域（図中、斜線部）に対して探索処理を実施するように探索処理のタイミングを決定する。ただし、先のＳ１０６の認識空間モデル推定処理にて推定された車両と所望の物体（図中の例では、歩行者）との相対距離から中距離領域に所望の物体が存在すると判定した場合には、中距離領域であっても認識空間モデル推定処理にて推定された認識領域に対する探索処理も実施するように探索処理のタイミングを決定する。
【００５１】
また、図６（ｃ）に示すように、Ｔ＋２番目の画像フレームでは、再度、近傍領域と中距離領域（図中、斜線部）に対して探索処理を実施するように探索処理のタイミングを決定する。ただし、図に示すように、先のＳ１０６の認識空間モデル推定処理にて推定された車両と所望の物体（図中の例では、歩行者）との相対距離から遠方領域に所望の物体が存在すると判定された場合には、遠方領域であっても認識空間モデル推定処理にて推定された認識領域に対する探索処理も実施するように探索処理のタイミングを決定する。
【００５２】
次に、物体認識処理を実施する（Ｓ１１２）。具体的には、車載カメラ１０より入力される車両周辺の撮影画像に対し、Ｓ１００にて決定された探索処理のタイミングに従って、領域別に撮影画像から抽出する探索領域の大きさおよび辞書パターンを変更して探索処理を実施して画像認識を行う。なお、Ｓ１０６の認識空間モデル推定処理にて付与された優先度に基づいて優先順位の高い探索対象の領域を優先的に探索する。
【００５３】
図７に、図６（ａ）〜（ｃ）に示した各画像フレームの探索領域およびテンプレートを示す。図７（ａ）は、Ｔ番目の画像フレームのテンプレートおよび探索領域を示す図、図７（ｂ）は、Ｔ＋１番目の画像フレームのテンプレートおよび探索領域を示す図、図７（ｃ）は、Ｔ＋２番目のテンプレートおよび探索領域を示す図である。
【００５４】
図７（ａ）には、近傍領域のテンプレートＤ１と探索領域Ｓ１および中距離領域のテンプレートＤ２と探索領域Ｓ２が示されている。Ｔ番目の画像フレームでは、図に示すようなテンプレートを用いて図に示す探索領域を対象として画像認識処理を実施する。
【００５５】
また、図７（ｂ）には、近傍領域のテンプレートＤ１と探索領域Ｓ１、中距離領域のテンプレートＤ２と探索領域Ｓ２、遠方領域のテンプレートＤ３と探索領域Ｓ３が示されている。Ｔ＋１番目の画像フレームでは、図に示すようなテンプレートを用いて図に示す探索領域を対象として画像認識処理を実施する。
【００５６】
また、図７（ｃ）には、近傍領域の探索領域Ｓ１と辞書パターンＤ１、中距離領域の探索領域Ｓ２と辞書パターンＤ２、遠方領域の探索領域Ｓ３と辞書パターンＤ３が示されている。Ｔ＋２番目の画像フレームでは、図に示すようなテンプレートを用いて図に示す探索領域を対象として画像認識処理を実施する。
【００５７】
このように、図７（ａ）〜（ｃ）に示した探索領域を対象とし、Ｓ１１０にて決定された探索処理のタイミングに従って領域別に探索処理を実施して画像認識処理を行う。
【００５８】
次に、認識物体識別処理を実施する（Ｓ１１４）。具体的には、Ｓ１１２にて画像認識された物体と過去の認識結果を比較して、画像認識された物体が誤認識されていないか否か等の識別を行い、認識した物体の最終決定を行う。
【００５９】
次に、認識結果を出力する（Ｓ１１６）。具体的には、車両前方の撮影画像とともに、Ｓ１１４にて最終決定された物体の認識結果（物体が何であるかを表す情報、物体が移動物であるか静止物であるかを表す情報、物体が移動物である場合にはその速度、方向、大きさ、自車との相対位置（距離、方向））、撮影画像中の物体を囲む矩形の枠線を表す情報など）を表示装置３０へ出力する。なお、表示装置３０の表示画面には、撮影画像中の所望の物体の位置に矩形の枠が重ねて強調表示される。
【００６０】
このように認識結果を出力すると、Ｓ１００へ戻り、上記した処理を繰り返し実施する。
【００６１】
上記した構成によれば、車両と所望の物体との相対位置を推定し、この推定した相対位置および車両の移動状態を特定するための情報に基づいて、後に入力される車両周辺の撮影画像中に所望の物体が位置する認識領域を推定し、この推定された認識領域を探索対象として画像認識処理が行われるので、背景技術の特許文献１に記載された装置と比較して、探索対象の領域を狭域化することができ、より認識処理の処理負荷の低減を図ることができる。
【００６２】
また、車両周辺の撮影画像に含まれる所望の物体の位置および大きさに基づいて車両と所望の物体との相対位置を推定することができる。したがって、背景技術の特許文献１に記載したようなレーダ探索装置を車両に搭載することなく、車両と所望の物体との相対位置を推定することができる。
【００６３】
また、車両からの距離に応じて中距離領域と遠方領域に対して交互に探索処理を実施するように探索処理のタイミングが決定され、このタイミングに従って探索処理が実施される。更に、認識領域が推定されたことを判定した場合には、毎回、この認識領域を対象として探索処理を実施するように探索処理のタイミングが決定され、このタイミングに従って探索処理が実施されるので、中距離領域と遠方領域に対して毎回探索処理を実施する場合と比較して処理負荷を低減することが可能である。
【００６４】
また、メモリに記憶された信頼度に基づいて車両の移動状態を特定するための情報の信頼度を評価し、車両の移動状態を特定するための情報から信頼性の高い情報を選択的に利用して、認識領域が推定されるので、車両の移動状態を特定するための情報の信頼度を考慮することなく認識領域を推定する場合と比較して、より正確に認識領域を推定することが可能である。
【００６５】
また、認識空間モデル推定処理において、優先的に認識すべき物体の優先順位が高くなるように、推定した領域に対して優先度を付与し、物体認識処理では、この優先度に基づいて優先順位の高い探索対象の領域を優先的に探索するので、優先順位が高くなるように優先度が付与された探索対象の領域を優先的に探索することができる。
【００６６】
なお、本発明は上記実施形態に限定されるものではなく、本発明の趣旨に基づいて種々なる形態で実施することができる。
【００６７】
例えば、上記実施形態では、車両前方の撮影画像から所望の物体を画像認識する例を示したが、車両前方の撮影画像に限定されるものではなく、例えば、車両後方や車両側方の撮影画像から所望の物体を画像認識するようにしてもよい。
【００６８】
また、上記実施形態では、撮影画像に含まれる所望の物体の位置および大きさに基づいて所望の物体との相対位置を推定する例を示したが、例えば、ナビゲーション装置から入力される車両の現在位置および自車位置周辺の道路形状や道路上の構造物等を示す情報に基づいて自車と道路上の構造物との相対位置を推定するようにしてもよい。例えば、ナビゲーション装置から入力される情報に基づいて走行先の道路が左にカーブしていることを判定した場合には、自車が道路に沿って左に旋回するものとして車両と所望の物体との相対位置を推定することができる。また、ナビゲーション装置から入力される情報に基づいて自車前方の路側に所望の物体（例えば、標識）が設置されていることを判定した場合には、自車前方の路側に設置された所望の物体の位置と自車位置から自車と所望の物体の相対位置を推定することができる。また、車両周辺の物体を検出する測定距離レーダを備え、この測定距離レーダを用いて所望の物体との相対位置を推定するようにしてもよい。
【００６９】
また、上記実施形態では、認識空間モデル推定処理において、所望の物体が移動することを考慮することなく、後に入力される車両周辺の撮影画像中に所望の物体が位置する認識領域を推定する例を示したが、例えば、推定した所望の物体の相対位置と、過去に推定した所望の物体の相対位置および車両の移動状態を特定するための情報に基づいて、所望の物体の移動量（移動速度、移動方向）を推定し、後に入力される車両周辺の撮影画像中に所望の物体が位置する認識領域を推定してもよい。この場合、車両だけでなく所望の物体が移動していても、後に入力される車両周辺の撮影画像中に所望の物体が位置する認識領域をより正確に推定することが可能である。
【００７０】
また、上記実施形態では、車両の走行に伴う振動による画像のぶれに対する対策を実施していないが、例えば、車両に搭載されたヨーレートセンサ２２から入力される信号や加速度センサから入力される信号に基づいて車両の振動を検出し、車両の振動が検出された場合に、車載カメラ１０の画像ぶれを補正する処理を実施してもよい。
【００７１】
なお、上記実施形態における構成と特許請求の範囲の構成との対応関係について説明すると、Ｓ１０２が情報取得手段に相当し、Ｓ１０６が領域推定手段に相当し、Ｓ１１２が画像認識処理手段に相当し、Ｓ１０４が信頼度評価手段に相当する。
【図面の簡単な説明】
【００７２】
【図１】本発明の一実施形態に係る画像認識装置の構成を示す図である。
【図２】本画像認識装置の制御部の処理を示すフローチャートである。
【図３】車両周辺の撮影画像から車両と所望の物体との相対位置を推定する処理について説明するための図である。
【図４】図３に示された歩行者Ａ〜Ｃと車両の位置関係を示す図である。
【図５】認識空間モデル推定処理について説明するための図である。
【図６】探索処理の決定について説明するための図である。
【図７】画像フレームの探索領域と辞書パターンについて説明するための図である。
【符号の説明】
【００７３】
１…画像認識装置、１０…車載カメラ、１１…制御部、２０…車速センサ、
２１…舵角センサ、２２…ヨーレートセンサ、２３…ナビゲーション装置、
３０…表示装置。
【特許請求の範囲】
【請求項１】
車両に取り付けられたカメラより入力される車両周辺の撮影画像から所望の物体を画像認識する画像認識装置であって、
前記車両の移動状態を特定するための情報を取得する情報取得手段と、
前記車両と前記所望の物体との相対位置を推定し、この推定した相対位置および前記情報取得手段により取得された前記車両の移動状態を特定するための情報に基づいて、後に入力される前記車両周辺の撮影画像中に前記所望の物体が位置する領域（以下、認識領域という）を推定する領域推定手段と、
前記領域推定手段により推定された前記認識領域を探索対象として画像認識処理を行う画像認識処理手段と、を備えたことを特徴とする画像認識装置。
【請求項２】
前記領域推定手段は、前記車両周辺の撮影画像に含まれる前記所望の物体の位置および大きさに基づいて前記車両と前記所望の物体との相対位置を推定することを特徴とする請求項１に記載の画像認識装置。
【請求項３】
前記領域推定手段は、ナビゲーション装置から入力される前記車両の現在位置および現在位置周辺の地図情報に基づいて前記車両と前記所望の物体との相対位置を推定することを特徴とする請求項１に記載の画像認識装置。
【請求項４】
前記領域推定手段は、推定した前記所望の物体の相対位置、過去に推定した前記所望の物体の相対位置および前記情報取得手段により取得された前記車両の移動状態を特定するための情報に基づいて前記所望の物体の移動量を推定し、後に入力される前記車両周辺の撮影画像中に前記所望の物体が位置する前記認識領域を推定することを特徴とする請求項１ないし３のいずれか１つに記載の画像認識装置。
【請求項５】
前記車両からの距離に応じて異なる領域を第１の探索処理と、該第１の探索処理と異なる第２の探索処理のいずれかにより交互に探索処理を実施するように探索処理のタイミングを決定するとともに、前記領域推定手段により前記認識領域が推定されたことを判定した場合、毎回、前記認識領域を対象として探索処理を実施するように探索処理のタイミングを決定する探索処理決定手段を備え、
前記画像認識処理手段は、前記カメラより入力される車両周辺の撮影画像に対し、前記探索処理決定手段により決定されたタイミングに従って探索処理を実施し、画像認識処理を行うことを特徴とする請求項１ないし４のいずれか１つに記載の画像認識装置。
【請求項６】
前記情報取得手段により取得された前記車両の移動状態を特定するための情報の信頼度を評価する信頼度評価手段を備え、
前記領域推定手段は、前記信頼度評価手段により評価された前記信頼度に基づき前記車両の移動状態を特定するための情報から信頼性の高い情報を選択的に利用して、前記認識領域を推定することを特徴とする請求項１ないし５のいずれか１つに記載の画像認識装置。
【請求項７】
車両に取り付けられたカメラより入力される車両周辺の撮影画像から所望の物体を画像認識する画像認識処理方法であって、
前記車両の移動状態を特定するための情報を取得し、
前記車両と前記所望の物体との相対位置を推定し、この推定した相対位置および取得した前記車両の移動状態を特定するための情報に基づいて、後に入力される前記車両周辺の撮影画像中に前記所望の物体が位置する領域を推定し、
この推定した前記認識領域を探索対象として画像認識処理を行うことを特徴とする画像認識処理方法。
【請求項１】
車両に取り付けられたカメラより入力される車両周辺の撮影画像から所望の物体を画像認識する画像認識装置であって、
前記車両の移動状態を特定するための情報を取得する情報取得手段と、
前記車両と前記所望の物体との相対位置を推定し、この推定した相対位置および前記情報取得手段により取得された前記車両の移動状態を特定するための情報に基づいて、後に入力される前記車両周辺の撮影画像中に前記所望の物体が位置する領域（以下、認識領域という）を推定する領域推定手段と、
前記領域推定手段により推定された前記認識領域を探索対象として画像認識処理を行う画像認識処理手段と、を備えたことを特徴とする画像認識装置。
【請求項２】
前記領域推定手段は、前記車両周辺の撮影画像に含まれる前記所望の物体の位置および大きさに基づいて前記車両と前記所望の物体との相対位置を推定することを特徴とする請求項１に記載の画像認識装置。
【請求項３】
前記領域推定手段は、ナビゲーション装置から入力される前記車両の現在位置および現在位置周辺の地図情報に基づいて前記車両と前記所望の物体との相対位置を推定することを特徴とする請求項１に記載の画像認識装置。
【請求項４】
前記領域推定手段は、推定した前記所望の物体の相対位置、過去に推定した前記所望の物体の相対位置および前記情報取得手段により取得された前記車両の移動状態を特定するための情報に基づいて前記所望の物体の移動量を推定し、後に入力される前記車両周辺の撮影画像中に前記所望の物体が位置する前記認識領域を推定することを特徴とする請求項１ないし３のいずれか１つに記載の画像認識装置。
【請求項５】
前記車両からの距離に応じて異なる領域を第１の探索処理と、該第１の探索処理と異なる第２の探索処理のいずれかにより交互に探索処理を実施するように探索処理のタイミングを決定するとともに、前記領域推定手段により前記認識領域が推定されたことを判定した場合、毎回、前記認識領域を対象として探索処理を実施するように探索処理のタイミングを決定する探索処理決定手段を備え、
前記画像認識処理手段は、前記カメラより入力される車両周辺の撮影画像に対し、前記探索処理決定手段により決定されたタイミングに従って探索処理を実施し、画像認識処理を行うことを特徴とする請求項１ないし４のいずれか１つに記載の画像認識装置。
【請求項６】
前記情報取得手段により取得された前記車両の移動状態を特定するための情報の信頼度を評価する信頼度評価手段を備え、
前記領域推定手段は、前記信頼度評価手段により評価された前記信頼度に基づき前記車両の移動状態を特定するための情報から信頼性の高い情報を選択的に利用して、前記認識領域を推定することを特徴とする請求項１ないし５のいずれか１つに記載の画像認識装置。
【請求項７】
車両に取り付けられたカメラより入力される車両周辺の撮影画像から所望の物体を画像認識する画像認識処理方法であって、
前記車両の移動状態を特定するための情報を取得し、
前記車両と前記所望の物体との相対位置を推定し、この推定した相対位置および取得した前記車両の移動状態を特定するための情報に基づいて、後に入力される前記車両周辺の撮影画像中に前記所望の物体が位置する領域を推定し、
この推定した前記認識領域を探索対象として画像認識処理を行うことを特徴とする画像認識処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２００９−９２０９（Ｐ２００９−９２０９Ａ）
【公開日】平成２１年１月１５日（２００９．１．１５）
【国際特許分類】
【出願番号】特願２００７−１６７６１１（Ｐ２００７−１６７６１１）
【出願日】平成１９年６月２６日（２００７．６．２６）
【出願人】（０００００４６９５）株式会社日本自動車部品総合研究所 (1,981)
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
【公開日】平成２１年１月１５日（２００９．１．１５）
【国際特許分類】
【出願日】平成１９年６月２６日（２００７．６．２６）
【出願人】（０００００４６９５）株式会社日本自動車部品総合研究所 (1,981)
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
[ Back to top ]