画像認識装置、画像認識方法および画像認識プログラム
【課題】物体の認識を精度良く行うことができる画像認識装置を提供する。
【解決手段】画像認識装置１は、画像に対して３Ｄ解析手法による物体認識を行う３Ｄ解析手法による物体認識部１３と、前記画像に対してパターン認識による物体認識を行うパターン認識による物体認識部１４と、を備え、前記３Ｄ解析手法による物体認識部１３により得られる３Ｄ解析手法による物体認識の結果と前記パターン認識による物体認識部１４により得られるパターン認識による物体認識の結果に基づいて最終ターゲットの認識結果を得る、ことを特徴とする。
【解決手段】画像認識装置１は、画像に対して３Ｄ解析手法による物体認識を行う３Ｄ解析手法による物体認識部１３と、前記画像に対してパターン認識による物体認識を行うパターン認識による物体認識部１４と、を備え、前記３Ｄ解析手法による物体認識部１３により得られる３Ｄ解析手法による物体認識の結果と前記パターン認識による物体認識部１４により得られるパターン認識による物体認識の結果に基づいて最終ターゲットの認識結果を得る、ことを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像認識装置、画像認識方法および画像認識プログラムに関する。
【背景技術】
【０００２】
近年、車両の運転支援装置や予防安全装置として、車間距離制御装置（ＡＣＣ：Ａｄａｐｔｉｖｅ Ｃｒｕｉｓｅ Ｃｏｎｔｒｏｌ）や前方衝突警報装置（ＦＣＷ：Ｆｏｒｗａｒｄ Ｃｏｌｌｉｓｉｏｎ Ｗａｒｎｉｎｇ）や歩行者衝突警報装置などが開発されている。このような装置では、レーダ等を用いずに、車載カメラのみによる簡易な装置の実現が期待されている。また、車載用の装置は、コストが重視されるため、ステレオカメラではなく、単眼カメラによる装置が求められている。
【０００３】
単眼カメラでは、ステレオカメラによる方式に比べて物体の距離や相対速度を容易に推定することができず、ＴＴＣ（Ｔｉｍｅ Ｔｏ Ｃｏｌｌｉｓｉｏｎ）の算出も困難であるため、例えば、車載の単眼カメラから得られる時系列画像を用いて走行環境の３次元構造を推定し、物体の検知を行う方式が考えられている。これは、３Ｄ（３次元）の解析手法である（例えば、非特許文献１参照。）。
【０００４】
非特許文献１で開示された技術の方式では、今回画像サイクル（ｔ）と前回画像サイクル（ｔ−１）の画像から特徴点を抽出し、オプティカルフロー等の手法により、自車両の運動を推定し、特徴点の三次元位置計算、路面領域の検出を行った後、移動物体の領域の検出を行う。
【０００５】
３Ｄ解析手法に対する他の手法として、物体の形状をあらかじめ学習しておき、検出したい物体のパターンを識別する手法（パターン認識の手法）がある。このような手法では、近年、ＨＯＧ（Ｈｉｓｔｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）特徴量やＨａａｒ−ｌｉｋｅ特徴量等の特徴量と、ＡｄａＢｏｏｓｔ（Ａｄａｐｔｉｖｅ Ｂｏｏｓｔｉｎｇ）やＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）等の認識アルゴリズムを組み合わせた方式が主流となっている。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】山口、加藤、二宮、「車載単眼カメラによる車両前方の障害物検出」、社団法人 情報処理学会 研究報告、２００５年１１月１８日、２００５−ＣＶＩＭ−１５１（１０）、ｐ．６９−７６
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、前記した３Ｄ解析手法による認識では、中・近距離での性能は良いが、画像の消失点付近を含む比較的遠距離の物体については、特徴点は抽出できるものの、物体の形状を認識する精度が大幅に劣化してしまう。従って、前記した３Ｄ解析手法による認識では、ＡＣＣやＦＣＷへの適用は困難であった。
【０００８】
一方、前記したパターン認識では、時系列画像処理を織り込むことによって距離と相対速度を算出することも可能ではあるが、その精度と信頼度が前記した３Ｄ解析手法に対して大幅に劣るため、車載用の装置に適応するには困難であり、工夫が求められていた。
【０００９】
本発明は、このような事情を考慮して為されたものであり、物体の認識を精度良く行うことができる画像認識装置、画像認識方法および画像認識プログラムを提供することを目的としている。
【課題を解決するための手段】
【００１０】
（１）上述した課題を解決するために、本発明に係る画像認識装置は、画像に対して３Ｄ解析手法による物体認識を行う３Ｄ解析手法による物体認識部と、前記画像に対してパターン認識による物体認識を行うパターン認識による物体認識部と、を備え、前記３Ｄ解析手法による物体認識部により得られる３Ｄ解析手法による物体認識の結果と前記パターン認識による物体認識部により得られるパターン認識による物体認識の結果に基づいて最終ターゲットの認識結果を得る、ことを特徴とする。
【００１１】
（２）本発明は、（１）に記載の画像認識装置において、前記３Ｄ解析手法による物体認識部により得られた３Ｄ解析手法による物体認識の結果と前記パターン認識による物体認識部により得られたパターン認識による物体認識の結果に基づいて、ＡＮＤ論理により、最終ターゲットの認識結果を得る最終ターゲット認識部を備える、ことを特徴とする。
【００１２】
（３）本発明は、（１）に記載の画像認識装置において、前記３Ｄ解析手法による物体認識部により得られた３Ｄ解析手法による物体認識の結果と前記パターン認識による物体認識部により得られたパターン認識による物体認識の結果に基づいて、ＯＲ論理により、最終ターゲットの認識結果を得る最終ターゲット認識部を備える、ことを特徴とする。
【００１３】
（４）本発明は、（１）から（３）のいずれか１つに記載の画像認識装置において、前記パターン認識による物体認識部は、前記３Ｄ解析手法による物体認識部により検出した特徴点とオプティカルフローのうちの一方または両方に基づいて、座標のスキャン領域を決定する、ことを特徴とする。
【００１４】
（５）本発明は、（１）から（３）のいずれか１つに記載の画像認識装置において、前記パターン認識による物体認識部は、前記３Ｄ解析手法による物体認識部により得られた３Ｄ解析手法による物体認識の結果に基づいて、座標のスキャン領域を決定する、ことを特徴とする。
【００１５】
（６）本発明は、（１）から（３）のいずれか１つに記載の画像認識装置において、前記パターン認識による物体認識部は、前記３Ｄ解析手法による物体認識部により検出した特徴点とオプティカルフローのうちの一方または両方に基づいて、認識対象の物体の識別を行う、ことを特徴とする。
【００１６】
（７）本発明は、（６）に記載の画像認識装置において、前記パターン認識による物体認識部は、前記３Ｄ解析手法による物体認識部により検出した特徴点とオプティカルフローのうちの一方または両方に基づいて、認識対象の物体が映っている可能性が高いと推定される領域について、物体を認識し易くするように、パターン認識による物体認識において用いられる閾値を変更して、認識対象の物体の識別を行う、ことを特徴とする。
【００１７】
（８）本発明は、（１）から（３）のいずれか１つに記載の画像認識装置において、前記パターン認識による物体認識部は、前記３Ｄ解析手法による物体認識部により得られた３Ｄ解析手法による物体認識の結果に基づいて、認識対象の物体の識別を行う、ことを特徴とする。
【００１８】
（９）本発明は、（８）に記載の画像認識装置において、前記パターン認識による物体認識部は、前記３Ｄ解析手法による物体認識部により得られた３Ｄ解析手法による物体認識の結果に基づいて、認識対象の物体が映っている可能性が高いと推定される領域について、物体を認識し易くするように、パターン認識による物体認識において用いられる閾値を変更して、認識対象の物体の識別を行う、ことを特徴とする。
【００１９】
（１０）本発明は、（１）に記載の画像認識装置において、前記３Ｄ解析手法による物体認識部は、前記パターン認識による物体認識部により得られたパターン認識による物体認識の結果に基づいて、特徴点またはオプティカルフローのうちの一方または両方を検出する、ことを特徴とする。
【００２０】
（１１）本発明は、（１０）に記載の画像認識装置において、前記３Ｄ解析手法による物体認識部により得られた３Ｄ解析手法による物体認識の結果に基づいて最終ターゲットの認識結果を得る最終ターゲット認識部を備える、ことを特徴とする。
【００２１】
（１２）本発明は、（１）に記載の画像認識装置において、前記３Ｄ解析手法による物体認識部は、前記パターン認識による物体認識部により得られたパターン認識による物体認識の結果に基づいて、認識対象の物体の識別を行う、ことを特徴とする。
【００２２】
（１３）本発明は、（１）から（１２）のいずれか１つに記載の画像認識装置において、車載用の画像認識装置であり、画像を撮像するカメラを備え、前記３Ｄ解析手法による物体認識部および前記パターン認識による物体認識部は、前記カメラにより撮像される画像に対して物体認識を行う、ことを特徴とする。
【００２３】
（１４）上述した課題を解決するために、本発明に係る画像認識方法は、３Ｄ解析手法による物体認識部が、画像に対して３Ｄ解析手法による物体認識を行い、パターン認識による物体認識部が、前記画像に対してパターン認識による物体認識を行い、前記３Ｄ解析手法による物体認識部により得られる３Ｄ解析手法による物体認識の結果と前記パターン認識による物体認識部により得られるパターン認識による物体認識の結果に基づいて最終ターゲットの認識結果を得る、ことを特徴とする。
【００２４】
（１５）上述した課題を解決するために、本発明に係る画像認識プログラムは、３Ｄ解析手法による物体認識部により得られる３Ｄ解析手法による物体認識の結果とパターン認識による物体認識部により得られるパターン認識による物体認識の結果に基づいて最終ターゲットの認識結果を得るために、３Ｄ解析手法による物体認識部が、画像に対して３Ｄ解析手法による物体認識を行う手順と、パターン認識による物体認識部が、前記画像に対してパターン認識による物体認識を行う手順と、をコンピュータに実行させるためのものである。
【発明の効果】
【００２５】
以上説明したように、本発明によれば、物体の認識を精度良く行うことができる画像認識装置、画像認識方法および画像認識プログラムを提供することが可能になる。
【図面の簡単な説明】
【００２６】
【図１】本発明の第１実施形態および第２実施形態に係る画像認識装置の構成を示すブロック図である。
【図２】パターン認識による物体認識部の構成を示すブロック図である。
【図３】３Ｄ解析手法による物体認識とパターン認識による物体認識との組み合わせにより物体認識の性能を向上させることが望まれる領域の例を示す図である。
【図４】本発明の第３実施形態に係る画像認識装置の構成を示すブロック図である。
【図５】本発明の第４実施形態に係る画像認識装置の構成を示すブロック図である。
【図６】本発明の第５実施形態に係る画像認識装置の構成を示すブロック図である。
【図７】本発明の第６実施形態に係る画像認識装置の構成を示すブロック図である。
【図８】本発明の第７実施形態に係る画像認識装置の構成を示すブロック図である。
【図９】３Ｄ解析手法の処理の手順の一例を示す図である。
【図１０】パターン認識による物体認識部のより詳細な構成を示すブロック図である。
【図１１】積分画像を説明するための図である。
【発明を実施するための形態】
【００２７】
以下の実施形態では、車両（自己の車両）に搭載される車載用の画像認識装置を例として示す。そして、以下の実施形態に係る画像認識装置は、車両の前方の画像を撮像する単眼カメラを備え、当該単眼カメラにより撮像した画像における物体を認識する装置として動作する。
【００２８】
［第１実施形態］
図１は、本発明の第１実施形態に係る画像認識装置１の構成を示すブロック図である。
本実施形態に係る画像認識装置１は、単眼カメラ１１と、画像取得部１２と、３Ｄ解析手法による物体認識部１３と、パターン認識による物体認識部１４と、最終ターゲット認識部１５と、距離・ＴＴＣ確定部１６と、トラッキング部１７と、衝突警報部１８と、ＡＣＣ制御部１９と、を備える。
【００２９】
本実施形態では、単眼カメラ１１は、画像認識装置１が搭載される車両の前方の画像を撮像する位置に設けられる。
【００３０】
本実施形態に係る画像認識装置１において行われる動作の例を示す。
単眼カメラ１１は、画像を撮像し、撮像した画像を画像取得部１２に出力する。
画像取得部１２は、単眼カメラ１１から入力された画像を取得し、取得した画像のデータを３Ｄ解析手法による物体認識部１３とパターン認識による物体認識部１４のそれぞれに出力する。
ここで、画像取得部１２は、例えば、取得した画像のデータを一時的に記憶する記憶部を有する。
【００３１】
３Ｄ解析手法による物体認識部１３は、画像取得部１２から入力された画像のデータについて、３Ｄ解析手法による物体認識の処理を行い、この物体認識の処理の結果を最終ターゲット認識部１５に出力する。
本実施形態では、３Ｄ解析手法による物体認識部１３は、画像取得部１２から入力された画像のデータについて、その画像の中で、車両が映っていると推定される画像領域を認識し、その画像領域を特定する情報を物体認識の処理の結果として最終ターゲット認識部１５に出力する。全体の画像中の画像領域は、例えば、水平（横）方向の座標値と垂直（縦）方向の座標値からなる座標の情報を用いて表現することができる。
ここで、３Ｄ解析手法による物体認識部１３では、処理の誤差によって、車両以外のものが映っている画像領域を、車両が映っている画像領域として誤認識することが生じ得る。
【００３２】
なお、本実施形態では、３Ｄ解析手法による物体認識部１３において、画像中に映っている移動物体（時間の流れとともに移動する物体であり、静止物体ではないもの）を検出し、検出した移動物体が映っている画像領域を、車両が映っていると推定される画像領域として認識する構成を示す。他の例として、３Ｄ解析手法による物体認識部１３において、車両が映っていると推定される画像領域を特定するための特徴となる情報を設定しておき、その特徴となる情報に一致または類似する物体が映っている画像領域を、車両が映っていると推定される画像領域（静止車両も含む）として認識する構成を用いることも可能である。
【００３３】
パターン認識による物体認識部１４は、画像取得部１２から入力された画像のデータについて、パターン認識による物体認識の処理を行い、この物体認識の処理の結果を最終ターゲット認識部１５に出力する。
本実施形態では、パターン認識による物体認識部１４は、車両の画像のパターン（学習結果による、弱識別器のパラメータ等）をメモリに記憶しており、画像取得部１２から入力された画像のデータについて、その画像の中で、メモリに記憶された車両の画像のパターンと同一または類似するものが映っていると推定される画像領域を認識し、その画像領域を特定する情報を物体認識の処理の結果として最終ターゲット認識部１５に出力する。全体の画像中の画像領域は、例えば、水平（横）方向の座標値と垂直（縦）方向の座標値からなる座標の情報を用いて表現することができる。
ここで、パターン認識による物体認識部１４では、処理の誤差によって、車両以外のものが映っている画像領域を、車両が映っている画像領域として誤認識することが生じ得る。
【００３４】
最終ターゲット認識部１５は、３Ｄ解析手法による物体認識部１３から入力された物体認識の処理の結果（本実施形態では、車両が映っていると推定される画像領域を特定する情報）と、パターン認識による物体認識部１４から入力された物体認識の処理の結果（本実施形態では、車両が映っていると推定される画像領域を特定する情報）について、これら２つの物体認識の処理の結果において、認識対象の物体（本実施形態では、車両）であると特定した画像領域（座標の領域）が一致する（重なる）部分を、最終的なターゲットの領域であると認識し、認識した最終的なターゲットの領域を特定する情報を距離・ＴＴＣ確定部１６に出力する。
【００３５】
具体例として、最終ターゲット認識部１５は、３Ｄ解析手法による物体認識部１３から入力された物体認識の処理の結果（本実施形態では、車両が映っていると推定される画像領域を特定する情報）と、パターン認識による物体認識部１４から入力された物体認識の処理の結果（本実施形態では、車両が映っていると推定される画像領域を特定する情報）について、ＡＮＤ論理の処理を行うことによって、これら２つの一致部分（重複部分）を検出し、その一致部分を、最終的なターゲットの領域であると認識する。
【００３６】
ここで、本実施形態では、全体の画像に認識対象の物体（本実施形態では、車両）が複数映っている場合には、３Ｄ解析手法による物体認識部１３やパターン認識による物体認識部１４はそれぞれの物体について物体認識の処理を行い、最終ターゲット認識部１５はそれぞれの物体について最終ターゲットの認識の処理を行う。
【００３７】
距離・ＴＴＣ確定部１６は、最終ターゲット認識部１５から入力された最終的なターゲットの領域を特定する情報に基づいて、それぞれの最終的なターゲット（本実施形態では、車両）ごとに、距離とＴＴＣを算出して確定し、確定した距離とＴＴＣの情報をトラッキング部１７に出力する。なお、本実施形態では、距離・ＴＴＣ確定部１６は、それぞれの最終的なターゲットの領域を特定する情報と、確定した距離とＴＴＣの情報との組をトラッキング部１７に出力する。
【００３８】
ここで、最終的なターゲットごとの距離とＴＴＣは、例えば、距離・ＴＴＣ確定部１６により算出する構成が用いられてもよく、あるいは、他の例として、３Ｄ解析手法による物体認識部１３またはパターン認識による物体認識部１４により算出して、算出した最終的なターゲットごとの距離とＴＴＣの情報を最終ターゲット認識部１５を介して距離・ＴＴＣ確定部１６に出力し、距離・ＴＴＣ確定部１６が入力された最終的なターゲットごとの距離とＴＴＣの情報により最終的なターゲットごとの距離とＴＴＣを確定する構成が用いられてもよい。
なお、最終的なターゲットごとの距離とＴＴＣは、例えば、３Ｄ解析手法による物体認識部１３により得られた物体認識の処理の結果を用いて算出することができ、他の例として、パターン認識による物体認識部１４により得られた物体認識の処理の結果を用いて算出されてもよく、さらに他の例として、これら両方の物体認識の処理の結果を用いて算出されてもよい。
【００３９】
トラッキング部１７は、距離・ＴＴＣ確定部１６から入力された情報に基づいて、トラッキングの処理を行い、衝突警報部１８とＡＣＣ制御部１９のそれぞれに各制御に必要な情報を出力する。本実施形態では、トラッキング部１７は、例えば、最終的なターゲットごとのＴＴＣの情報を衝突警報部１８に出力し、また、トラッキングの処理の結果の情報や、最終的なターゲットごとの距離や相対速度（自己の車両と最終的なターゲットとの距離や相対速度）の情報をＡＣＣ制御部１９に出力する。
【００４０】
ここで、最終的なターゲットごとの相対速度は、例えば、トラッキング部１７により算出され、他の例として、ＡＣＣ制御部１９などで算出されてもよい。
なお、トラッキング部１７は、時系列画像のトラッキングの処理を行う場合に、例えば、制御サイクルの時系列フィルタ処理で、過去制御サイクルとの結果で最終的な判定を行う。
【００４１】
衝突警報部１８は、トラッキング部１７から入力された情報に基づいて、ＴＴＣの計算結果により、最終的なターゲット（本実施形態では、他の車両）との衝突の可能性があると判断した場合には、その旨を自己の車両の乗員に警報する（ＦＣＷアプリケーション）。
【００４２】
ＡＣＣ制御部１９は、トラッキング部１７から入力された情報に基づいて、最終的なターゲット（本実施形態では、他の車両）との距離と相対速度の情報を用いて、前走車との車間距離の制御を行う。
【００４３】
ここで、本実施形態では、３Ｄ解析手法による物体認識部１３およびパターン認識による物体認識部１４が車両が映っていると推定される画像領域を認識し、最終ターゲット認識部１５が車両が映っていると推定される画像領域について最終的なターゲットの領域を認識する構成を示したが、他の例として、車両以外の種々なものが物体認識の対象（ターゲット）とされてもよく、例えば、二輪車や歩行者などが物体認識の対象（ターゲット）とされてもよく、また、車両と二輪車といったように２つ以上のものが物体認識の対象（ターゲット）とされてもよい。３Ｄ解析手法による物体認識部１３およびパターン認識による物体認識部１４には、例えば、あらかじめ、物体認識の対象（ターゲット）とするものを特定するための条件が設定され、その条件に基づいて物体認識の対象（ターゲット）が特定される。
【００４４】
次に、３Ｄ解析手法による物体認識部１３により行われる処理の例を示す。
図９は、３Ｄ解析手法の処理の手順の一例を示す図である。ここでは、各処理の概略を説明する。
なお、この処理の手順は、非特許文献１に記載されたものを引用しており、詳細については非特許文献１に記載されている。
【００４５】
３Ｄ解析手法による物体認識部１３は、画像取得部１２から入力される画像について、時間的に連続する２枚の画像を取得する（ステップＳ１）。時間的に連続する２枚の画像は、例えば、時刻ｔの画像と、時刻ｔ＋１の画像となる。
次に、３Ｄ解析手法による物体認識部１３は、特徴点を検出し、オプティカルフローを計算する（ステップＳ２）。
【００４６】
次に、３Ｄ解析手法による物体認識部１３は、自車両（自己の車両）の運動を推定する（ステップＳ３）。この処理では、一時刻前に検出された路面領域の情報と移動物体領域の情報が用いられる（ステップＳ８）。
次に、３Ｄ解析手法による物体認識部１３は、特徴点の三次元位置を計算する（ステップＳ４）。
【００４７】
次に、３Ｄ解析手法による物体認識部１３は、路面領域を検出する（ステップＳ５）。この処理では、一時刻前に検出された路面領域の情報と移動物体領域の情報が用いられる（ステップＳ８）。
次に、３Ｄ解析手法による物体認識部１３は、移動物体領域を検出する（ステップＳ６）。
そして、３Ｄ解析手法による物体認識部１３は、検出した移動物体（本実施形態では、車両であると推定される移動物体）をターゲットとして認識する（ステップＳ７）。
【００４８】
なお、３Ｄ解析手法による物体認識部１３により行われる処理としては、他の種々な３Ｄ解析手法による物体認識の処理が用いられてもよい。
また、本実施形態では、動きベクトルとして、オプティカルフローを用いる場合を示すが、他の種々なものが用いられてもよい。
【００４９】
次に、パターン認識による物体認識部１４の構成例を示す。
図２は、パターン認識による物体認識部１４の構成例を示すブロック図である。
本実施形態に係るパターン認識による物体認識部１４は、勾配積分画像算出部１０１と、座標スキャン部１０２と、特徴量ベクトル算出部１０３と、識別部１０４と、を備える。
【００５０】
ここで、本実施形態に係るパターン認識による物体認識部１４では、特徴量として、ＨＯＧ特徴量を用いている。他の例として、特徴量として、Ｈａａｒ−ｌｉｋｅ特徴量やＥｄｇｅｌｅｔ特徴量等の他の種々な特徴量が用いられてもよい。
また、本実施形態に係るパターン認識による物体認識部１４では、識別部１０４において、ＡｄａＢｏｏｓｔの認識アルゴリズムを用いている。他の例として、認識アルゴリズムとして、Ｒｅａｌ ＡｄａＢｏｏｓｔやＳＶＭ等の他の種々な認識アルゴリズムやその改良アルゴリズムが用いられてもよい。
【００５１】
パターン認識による物体認識部１４において行われる動作の例を示す。
なお、ＨＯＧ特徴量やＡｄａＢｏｏｓｔの認識アルゴリズムとしては、それぞれ、公知の技術を利用することができ、本実施形態では、詳しい説明は省略する。
【００５２】
パターン認識による物体認識部１４に入力された画像は、勾配積分画像算出部１０１に入力される。
勾配積分画像算出部１０１は、入力された画像について、全画像に対して勾配強度と勾配方向を算出し、それぞれの勾配方向の勾配強度に対して積分画像を算出し、ヒストグラムを計算する。勾配積分画像算出部１０１は、この計算結果の情報を座標スキャン部１０２に出力する。
なお、本実施形態では、元の全画像に対して勾配強度と勾配方向を算出するが、他の例として、ピラミッド画像により解像度を下げた画像にも適用可能である。
【００５３】
座標スキャン部１０２は、勾配積分画像算出部１０１から入力された情報に基づいて、全画像の中であらかじめ設定した任意の座標領域に対して、前記した勾配方向の勾配強度を算出する。座標スキャン部１０２は、この算出結果の情報を特徴量ベクトル算出部１０３に出力する。
【００５４】
ここで、本実施形態では、勾配積分画像算出部１０１によりあらかじめ算出しておいた積分画像があるため、座標スキャン部１０２により任意のウインドウ（枠）の積分値を容易に算出することができる。
なお、他の例として、このような積分画像を使用しない構成が用いられてもよい。
【００５５】
特徴量ベクトル算出部１０３は、座標スキャン部１０２から入力された情報に基づいて、ＨＯＧ特徴量としての特徴ベクトル化を行う。特徴量ベクトル算出部１０３は、この結果の情報（特徴量ベクトルの情報）を識別部１０４に出力する。
識別部１０４は、特徴量ベクトル算出部１０３から入力された情報に基づいて、ＡｄａＢｏｏｓｔによる識別の処理を行い、あらかじめターゲットとしている物体（本実施形態では、あらかじめ用意された車両の画像のパターンに合致する物体）を認識する。識別部１０４は、この物体認識の処理の結果を出力する。
識別部１０４から出力された物体認識の処理の結果は、パターン認識による物体認識部１４から出力されて、最終ターゲット認識部１５に入力される。
なお、識別部１０４と最終ターゲット認識部１５との間にクラスタリング部を設けてミーンシフト等のクラスタリングを行ってもよい。
【００５６】
図１０は、パターン認識による物体認識部１４のより詳細な構成を示すブロック図である。
図１０は、勾配積分画像算出部１０１と、特徴量ベクトル算出部１０３について、詳しい構成例を示してある。
勾配積分画像算出部１０１は、勾配強度検出部３０１と、勾配方向検出部３０２と、勾配方向ごとの勾配強度の積分部３０３と、を備える。
特徴量ベクトル算出部１０３は、セル単位の積分値算出部３１１と、ブロック正規化部３１２と、特徴量ベクトル算出処理部３１３と、を備える。
【００５７】
勾配積分画像算出部１０１において行われる動作の例を示す。
勾配積分画像算出部１０１に入力された画像は、勾配強度検出部３０１に入力される。
勾配強度検出部３０１は、入力された画像に基づいて、各ピクセル（ｕ，ｖ）における画素値（例えば、輝度値）の勾配強度ｍ（ｕ，ｖ）を検出する。勾配強度検出部３０１は、入力された画像および検出した勾配強度ｍ（ｕ，ｖ）を勾配方向検出部３０２に出力する。
ここで、ｕとｖは、直交座標平面上における画素（ピクセル）の位置を表すための座標の縦軸方向の値と横軸方向の値である。
【００５８】
勾配方向検出部３０２は、勾配強度検出部３０１から画像および勾配強度ｍ（ｕ，ｖ）を入力し、入力した画像に基づいて各ピクセル（ｕ，ｖ）における勾配方向ｑ（ｕ，ｖ）を検出する。勾配方向検出部３０２は、入力した勾配強度ｍ（ｕ，ｖ）および検出した勾配方向ｑ（ｕ，ｖ）を勾配方向ごとの勾配強度の積分部３０３に出力する。
【００５９】
勾配方向ごとの勾配強度の積分部３０３は、勾配方向検出部３０２から入力された勾配強度ｍ（ｕ，ｖ）および勾配方向ｑ（ｕ，ｖ）に基づいて、勾配方向ごとに勾配強度の積分を行う。勾配方向ごとの勾配強度の積分部３０３は、この積分の結果により得られる情報を出力する。
勾配方向ごとの勾配強度の積分部３０３から出力された情報は、勾配積分画像算出部１０１による計算結果の情報として当該勾配積分画像算出部１０１から出力されて、座標スキャン部１０２に入力される。
【００６０】
座標スキャン部１０２は、全画像領域またはその中の所望の比較的大きい領域内を、特定の座標領域（ウインドウ）をスライド（ウインドウサイズのスケールも可変して、順次スライドする）しながら、次の特徴量ベクトル算出部１０３で算出するウインドウを選択する。
【００６１】
特徴量ベクトル算出部１０３において行われる動作の例を示す。
座標スキャン部１０２から特徴量ベクトル算出部１０３に入力された情報は、セル単位の積分値算出部３１１に入力される。
セル単位の積分値算出部３１１は、入力された情報に基づいて、勾配方向ごとの勾配強度について、セル単位の積分値を算出する。セル単位の積分値算出部３１１は、算出したセル単位の積分値をブロック正規化部３１２に出力する。
【００６２】
ブロック正規化部３１２は、セル単位の積分値算出部３１１から入力されたセル単位の積分値について、ブロック単位で、正規化を行う。ブロック正規化部３１２は、この正規化の結果の情報を特徴量ベクトル算出処理部３１３に出力する。
特徴量ベクトル算出処理部３１３は、ブロック正規化部３１２から入力された情報に基づいて、特徴量ベクトル（本実施形態では、ＨＯＧ特徴量のベクトル）を算出する。特徴量ベクトル算出処理部３１３は、算出した特徴量ベクトルの情報を出力する。
特徴量ベクトル算出処理部３１３から出力された情報は、特徴量ベクトル算出部１０３から出力されて、識別部１０４に入力される。
【００６３】
ここで、本実施形態では、１つのセルは座標スキャンするウインドウの１／１６のサイズから構成されており、１つのブロックは３セル（縦）×３セル（横）の領域から構成されている。
なお、セルの大きさや、ブロックの大きさとしては、それぞれ、他の種々な構成が用いられてもよい。
【００６４】
ここで、積分画像について説明しておく。積分画像は、一般に知られた技術であり、ここでは、その概略を説明する。
図１１は、積分画像を説明するための図である。
図１１において、画像の左上を画素の座標の基準位置（０，０）として、座標（ｕ、ｖ）を考える。また、座標（ｕ，ｖ）における画像の画素値をｉ（ｕ，ｖ）とする。
ｓ（ｕ，ｖ）を行の画素の総和（縦方向の総和）とし、ｉｉ（ｕ，ｖ）を列のｓ（ｕ，ｖ）の総和（横方向の総和）とする。このｉｉ（ｕ，ｖ）が積分画像となる。
このとき、次の式（１）、式（２）が表される。ここで、ｓ（−１，ｖ）＝０とし、ｉｉ（ｕ，−１）＝０とする。
【００６５】
ｓ（ｕ，ｖ）＝ｓ（ｕ−１，ｖ）＋ｉ（ｕ，ｖ） ・・・（１）
【００６６】
ｉｉ（ｕ，ｖ）＝ｉｉ（ｕ，ｖ−１）＋ｓ（ｕ、ｖ） ・・・（２）
【００６７】
このとき、一例として、図１１に示される第４領域における画素値の和Ｓ（４）を求める場合には、式（３）により算出することができる。
【００６８】
Ｓ（４）＝ｉｉ（ｕ，ｖ）−ｉｉ（ｕ，ｖ−Ｑ１）−ｉｉ（ｕ−Ｐ１，ｖ）＋ｉｉ（ｕ−Ｐ１，ｖ−Ｑ１） ・・・（３）
【００６９】
本実施形態では、このような積分画像ｉｉ（ｕ，ｖ）を使用することで、演算を容易化することが可能である。
【００７０】
次に、３Ｄ解析手法による物体認識部１３により行われる３Ｄ解析手法による物体認識とパターン認識による物体認識部１４により行われるパターン認識による物体認識との組み合わせについて説明する。
図３は、３Ｄ解析手法による物体認識とパターン認識による物体認識との組み合わせにより物体認識の性能を向上させることが望まれる領域の例を示す図である。
図３に示される画像１００１では、道路上に車両が走行している。そして、３Ｄ解析手法による物体認識とパターン認識による物体認識との組み合わせにより物体認識の性能を向上させることが望まれる領域として、縦方向の辺よりも横方向の辺の方が長い矩形の枠１００２の領域が示されている。
【００７１】
この枠１００２の領域は、３Ｄ解析手法による物体認識の単体ではターゲット（本実施形態では、車両）以外の物体を誤認識する可能性がある領域であり、且つ、パターン認識による物体認識の単体でもターゲット（本実施形態では、車両）以外の物体を誤認識する可能性がある領域である。
従って、このような互いの認識性能がある場合には、本実施形態のように、最終的なターゲットと認識するために、最終ターゲット認識部１５によりＡＮＤ論理での認識を行うことが効果的である。このように最終的なターゲットと認識する論理（本実施形態では、ＡＮＤ論理）は、３Ｄ解析手法による物体認識とパターン認識による物体認識との互いの判定性能に依存して定めたものである。
【００７２】
なお、このような、３Ｄ解析手法による物体認識とパターン認識による物体認識との組み合わせにより物体認識の性能を向上させることが望まれる領域は、例えば、道路の状況などによって、変動する。
図３に示される例では、道路がほぼ直進方向にあるが、大きいカーブでの前走車を認識することが必要であることから、横長の枠１００２の領域を設定している。
ここで、枠１００２の領域は、例えば、画像１００１における座標の値を用いて表すことができる。
【００７３】
以上のように、本実施形態に係る画像認識装置１は、３Ｄ解析手法による物体認識の結果と、パターン認識による物体認識の結果とで、画像中においてＡＮＤ論理が成立した座標領域の物体を最終的にターゲット（目標と定めた物体）であると判断する。
従って、本実施形態に係る画像認識装置１によれば、物体の認識を精度良く行うことができ、ターゲットとする物体の検出に好適な装置を提供することができる。例えば、本実施形態に係る画像認識装置１によれば、画像の消失点付近を含む比較的遠距離にある物体の形状を認識する精度が大幅に向上するため、前方衝突警報装置（ＦＣＷ）に適用することができ、さらに、特に遠距離での認識が必要な車間距離制御装置（ＡＣＣ）への適用が可能となる効果を有する。
【００７４】
なお、一般的に、３Ｄ解析手法による物体認識では、遠距離にある物体の認識は不得手であると考えられるが、本実施形態では、パターン認識による物体認識を併用することで、遠距離にある物体の認識についても、精度を向上させている。
【００７５】
［第２実施形態］
本実施形態に係る画像認識装置１ａの概略的な構成は、図１に示される第１実施形態に係る画像認識装置１の構成と同様であるため、以下では、図１に示される構成および各構成部の符号を利用して説明する。
なお、以下では、第１実施形態に係る画像認識装置１とは異なる点について詳しく説明する。
【００７６】
本実施形態に係る画像認識装置１ａでは、主に、最終ターゲット認識部１５の構成および動作が、第１実施形態の場合とは異なっている。
本実施形態では、最終ターゲット認識部１５は、ＯＲ論理を用いて認識を行う。
具体的には、最終ターゲット認識部１５は、３Ｄ解析手法による物体認識部１３から入力された物体認識の処理の結果（本実施形態では、車両が映っていると推定される画像領域を特定する情報）と、パターン認識による物体認識部１４から入力された物体認識の処理の結果（本実施形態では、車両が映っていると推定される画像領域を特定する情報）について、これら２つの物体認識の処理の結果において、認識対象の物体（本実施形態では、車両）であると特定した何れかまたは一致する画像領域（座標の領域）の部分を、最終的なターゲットの領域であると認識し、認識した最終的なターゲットの領域を特定する情報を距離・ＴＴＣ確定部１６に出力する。
【００７７】
具体例として、最終ターゲット認識部１５は、３Ｄ解析手法による物体認識部１３から入力された物体認識の処理の結果（本実施形態では、車両が映っていると推定される画像領域を特定する情報）と、パターン認識による物体認識部１４から入力された物体認識の処理の結果（本実施形態では、車両が映っていると推定される画像領域を特定する情報）について、ＯＲ論理の処理を行うことによって、最終的なターゲットの領域であると認識する。
【００７８】
ここで、本実施形態では、全体の画像に認識対象の物体（本実施形態では、車両）が複数映っている場合には、３Ｄ解析手法による物体認識部１３やパターン認識による物体認識部１４はそれぞれの物体について物体認識の処理を行い、最終ターゲット認識部１５はそれぞれの物体について最終ターゲットの認識の処理を行う。
【００７９】
次に、３Ｄ解析手法による物体認識部１３により行われる３Ｄ解析手法による物体認識とパターン認識による物体認識部１４により行われるパターン認識による物体認識との組み合わせについて説明する。
第１実施形態において参照した図３には、３Ｄ解析手法による物体認識とパターン認識による物体認識との組み合わせにより物体認識の性能を向上させることが望まれる領域として、矩形の枠１００２の領域が示されている。
【００８０】
この枠１００２の領域は、３Ｄ解析手法による物体認識の単体ではターゲット（本実施形態では、車両）を認識することができない可能性がある領域であり、且つ、パターン認識による物体認識でもターゲット（本実施形態では、車両）を認識することができない可能性がある領域である。
従って、このような互いの認識性能がある場合には、本実施形態のように、最終的なターゲットと認識するために、最終ターゲット認識部１５によりＯＲ論理での認識を行うことが効果的である。このように最終的なターゲットと認識する論理（本実施形態では、ＯＲ論理）は、３Ｄ解析手法による物体認識とパターン認識による物体認識との互いの判定性能に依存して定めたものである。
【００８１】
以上のように、本実施形態に係る画像認識装置１ａは、３Ｄ解析手法による物体認識の結果と、パターン認識による物体認識の結果とで、画像中においてＯＲ論理が成立した座標領域の物体を最終的にターゲット（目標と定めた物体）であると判断する。
従って、本実施形態に係る画像認識装置１ａによれば、物体の認識を精度良く行うことができ、ターゲットとする物体の検出に好適な装置を提供することができる。例えば、本実施形態に係る画像認識装置１ａによれば、画像の消失点付近を含む比較的遠距離にある物体の形状を認識する精度が大幅に向上するため、前方衝突警報装置（ＦＣＷ）に適用することができ、さらに、特に遠距離での認識が必要な車間距離制御装置（ＡＣＣ）への適用が可能となる効果を有する。
【００８２】
ここで、最終ターゲット認識部１５により行われる動作として、第１実施形態ではＡＮＤ論理の動作を示し、第２実施形態ではＯＲ論理の動作を示したが、他の動作が用いられてもよい。
ＡＮＤ論理の一例として、最終ターゲット認識部１５は、３Ｄ解析手法による物体認識部１３から入力された物体認識の処理の結果（本実施形態では、車両が映っていると推定される画像領域を特定する情報）と、パターン認識による物体認識部１４から入力された物体認識の処理の結果（本実施形態では、車両が映っていると推定される画像領域を特定する情報）について、これら２つの物体認識の処理の結果において、認識対象の物体（本実施形態では、車両）であると特定した画像領域（座標の領域）の重複部分（オーバーラップする部分）が所定の割合（例えば、５０％など）以上である場合に、あらかじめ定められたいずれか一方の物体認識の処理の結果を最終的なターゲットの領域であると認識し、認識した最終的なターゲットの領域を特定する情報を距離・ＴＴＣ確定部１６に出力する、といった構成を用いることができる。
【００８３】
［第３実施形態］
図４は、本発明の第３実施形態に係る画像認識装置２の構成を示すブロック図である。
本実施形態に係る画像認識装置２は、単眼カメラ１１と、画像取得部１２と、３Ｄ解析手法による物体認識部２１と、パターン認識による物体認識部２２と、最終ターゲット認識部１５と、距離・ＴＴＣ確定部１６と、トラッキング部１７と、衝突警報部１８と、ＡＣＣ制御部１９と、を備える。
【００８４】
ここで、本実施形態に係る画像認識装置２の構成や動作は、３Ｄ解析手法による物体認識部２１とパターン認識による物体認識部２２に関する構成や動作を除いて、図１に示される第１実施形態に係る画像認識装置１の構成（ＡＮＤ論理を用いる構成）、または、第２実施形態に係る画像認識装置１ａの構成（ＯＲ論理を用いる構成）と同様である。
このため、図４では、第１実施形態または第２実施形態と同様な構成部については、同一の符号を付してある。以下では、第１実施形態に係る画像認識装置１または第２実施形態に係る画像認識装置１ａとは異なる点について詳しく説明する。
【００８５】
３Ｄ解析手法による物体認識部２１は、特徴点・オプティカルフロー検出部１１１と、自車に対する相対距離検出部１１２と、クラスタリング部１１３と、を備える。
パターン認識による物体認識部２２は、勾配積分画像算出部１２１と、座標スキャン部１２２と、特徴量ベクトル算出部１２３と、識別部１２４と、を備える。座標スキャン部１２２は、座標のスキャン領域決定部１２６を備える。
【００８６】
３Ｄ解析手法による物体認識部２１において行われる動作の例を示す。
画像取得部１２から３Ｄ解析手法による物体認識部２１に入力された画像は、特徴点・オプティカルフロー検出部１１１に入力される。
この入力画像は、特徴点・オプティカルフロー検出部１１１、自車に対する相対距離検出部１１２、クラスタリング部１１３により、順に処理されて、その処理の結果がクラスタリング部１１３から出力される。
クラスタリング部１１３から出力された処理の結果は、３Ｄ解析手法による物体認識の処理の結果として、３Ｄ解析手法による物体認識部２１から出力されて、最終ターゲット認識部１５に入力される。
【００８７】
ここで、本実施形態では、３Ｄ解析手法による物体認識部２１において、図９に示されるのと同様な３Ｄ解析手法の処理の手順による処理を行う。
本実施形態では、一例として、特徴点・オプティカルフロー検出部１１１がステップＳ１〜ステップＳ２の処理を実行し、自車に対する相対距離検出部１１２がステップＳ３〜ステップＳ６の処理を実行し、クラスタリング部１１３がステップＳ７の処理を実行する。
【００８８】
さらに、本実施形態では、特徴点・オプティカルフロー検出部１１１は、検出した特徴点の情報と、検出（本実施形態では、計算）したオプティカルフローの情報を座標スキャン部１２２に出力する。
【００８９】
パターン認識による物体認識部２２において行われる動作の例を示す。
画像取得部１２からパターン認識による物体認識部２２に入力された画像は、勾配積分画像算出部１２１に入力される。
この入力画像は、勾配積分画像算出部１２１、座標スキャン部１２２、特徴量ベクトル算出部１２３、識別部１２４により、順に処理されて、その処理の結果が識別部１２４から出力される。
識別部１２４から出力された処理の結果は、パターン認識による物体認識の処理の結果として、パターン認識による物体認識部２２から出力されて、最終ターゲット認識部１５に入力される。
【００９０】
ここで、本実施形態では、パターン認識による物体認識部２２に備えられた勾配積分画像算出部１２１と、座標スキャン部１２２と、特徴量ベクトル算出部１２３と、識別部１２４によって、概略的には、それぞれ、図２に示される勾配積分画像算出部１０１と、座標スキャン部１０２と、特徴量ベクトル算出部１０３と、識別部１０４と同様な動作を行う。
【００９１】
さらに、本実施形態では、特徴点・オプティカルフロー検出部１１１から出力された特徴点の情報と、オプティカルフローの情報が、座標スキャン部１２２に入力される。座標スキャン部１２２に入力された特徴点の情報とオプティカルフローの情報は、座標のスキャン領域決定部１２６に入力される。
【００９２】
座標のスキャン領域決定部１２６は、入力された特徴点の情報とオプティカルフローの情報のうちの一方または両方に基づいて、座標スキャン部１２２において座標スキャンする領域を決定する。本実施形態では、このようにして決定される座標スキャン部１２２において座標スキャンする領域は、パターン認識を行う領域となる。
【００９３】
本実施形態では、座標スキャン部１２２は、勾配積分画像算出部１２１から入力された情報に基づいて、全画像の中で、座標のスキャン領域決定部１２６により決定された座標スキャンする領域（座標領域）に対して、勾配方向の勾配強度を算出する。座標スキャン部１２２は、この算出結果の情報を特徴量ベクトル算出部１２３に出力する。
【００９４】
ここで、座標のスキャン領域決定部１２６は、例えば、入力された特徴点の情報とオプティカルフローの情報のうちの一方または両方に基づいて、座標スキャン部１２２において座標スキャンする領域として、全画像中において、認識対象の物体（本実施形態では、車両）が映っている可能性が高いと推定される領域を決定する。
【００９５】
特徴点の情報を優先してパターン認識の座標スキャンの領域を決定する手法の一例として、特徴点が密集する領域を検出し、その密集する領域のサイズを包含する広めの領域を、座標スキャン部１２２において座標スキャンする領域として決定することができる。
【００９６】
特徴点の情報を優先してパターン認識の座標スキャンの領域を決定する手法の他の一例として、座標のスキャン領域決定部１２６は、特徴点が多い方が認識対象の物体が映っている可能性が高いという推定に基づいて、全画像をあらかじめ設定された複数に分割した領域（分割領域）を想定し、各分割領域内に存在する特徴点の数を算出し、算出した特徴点の数があらかじめ設定された値（閾値）より多い分割領域のみを、座標スキャン部１２２において座標スキャンする領域として決定することができる。
【００９７】
なお、この閾値としては、一例として、２以上の値を設定する。
他の一例として、この閾値として、１を設定することもできる。この場合、座標のスキャン領域決定部１２６は、全画像をあらかじめ設定された複数に分割した領域（分割領域）を想定し、１つでも特徴点が抽出された分割領域のみを、座標スキャン部１２２において座標スキャンする領域として決定することができる。
【００９８】
オプティカルフローの情報を優先してパターン認識の座標スキャンの領域を決定する手法の一例として、座標のスキャン領域決定部１２６は、オプティカルフローにより定められる変化量（例えば、勾配の強度）の平均値が大きい方が認識対象の物体が映っている可能性が高いという推定に基づいて、全画像をあらかじめ設定された複数に分割した領域（分割領域）を想定し、各分割領域内に存在する１つ以上のオプティカルフローにより定められる変化量の平均値を算出し、算出した平均値があらかじめ設定された値（閾値）より大きい分割領域のみを、座標スキャン部１２２において座標スキャンする領域として決定することができる。
【００９９】
また、オプティカルフローの情報を優先してパターン認識の座標スキャンの領域を決定する手法の他の一例として、座標のスキャン領域決定部１２６は、全画像をあらかじめ設定された複数に分割した領域（分割領域）を想定し、あらかじめ設定された値（閾値）より大きいオプティカルフローが１つでも抽出された分割領域のみを、座標スキャン部１２２において座標スキャンする領域として決定することができる。
【０１００】
また、特徴点の情報やオプティカルフローの情報を優先してパターン認識の座標スキャンの領域を決定する手法の一例として、座標のスキャン領域決定部１２６は、特徴点に関する条件（例えば、上記したもの等、１つ以上の条件）を満たし、且つ、オプティカルフローに関する条件（例えば、上記したもの等、１つ以上の条件）を満たす分割領域のみを、座標スキャン部１２２において座標スキャンする領域として決定することができる。
【０１０１】
また、特徴点の情報やオプティカルフローの情報を優先してパターン認識の座標スキャンの領域を決定する手法の他の一例として、座標のスキャン領域決定部１２６は、特徴点に関する条件（例えば、上記したもの等、１つ以上の条件）またはオプティカルフローに関する条件（例えば、上記したもの等、１つ以上の条件）のうちの少なくとも１つの条件を満たす分割領域（これらの全ての条件を満たす分割領域も含む）のみを、座標スキャン部１２２において座標スキャンする領域として決定することができる。
【０１０２】
また、以上のようにして特徴点の情報とオプティカルフローの情報のうちの一方または両方を優先してパターン認識の座標スキャンの領域を決定する手法では、例えば、座標のスキャン領域決定部１２６は、以上のようにして特徴点の情報とオプティカルフローの情報のうちの一方または両方に基づいて決定した領域のみを座標スキャン部１２２において座標スキャンする領域とする構成以外に、以上のようにして特徴点の情報とオプティカルフローの情報のうちの一方または両方に基づいて決定した領域とともに、他の任意の手法により決定した領域についても、座標スキャン部１２２において座標スキャンする領域とする、こともできる。
【０１０３】
次に、座標のスキャン領域決定部１２６について、他の例を示す。
他の例に係る座標のスキャン領域決定部１２６は、入力された特徴点の情報とオプティカルフローの情報のうちの一方または両方に基づいて、座標スキャン部１２２において座標スキャンする領域の重要度を決定する。本実施形態では、このようにして決定される座標スキャン部１２２において座標スキャンする領域の重要度は、パターン認識を行う領域の重要度として使用される。
【０１０４】
本実施形態では、座標スキャン部１２２は、勾配積分画像算出部１２１から入力された情報に基づいて、例えば全画像の中であらかじめ設定した任意の座標領域に対して、他の例に係る座標のスキャン領域決定部１２６により決定された座標スキャンする領域（座標領域）の重要度を考慮して、勾配方向の勾配強度を算出する。座標スキャン部１２２は、この算出結果の情報を特徴量ベクトル算出部１２３に出力する。
【０１０５】
ここで、他の例に係る座標のスキャン領域決定部１２６は、例えば、入力された特徴点の情報とオプティカルフローの情報のうちの一方または両方に基づいて、座標スキャン部１２２において座標スキャンする領域の重要度として、全画像中において認識対象の物体が映っている可能性が高いと推定される領域の重要度を高い重要度とするように決定する。
【０１０６】
特徴点の情報とオプティカルフローの情報のうちの一方または両方を重要視してパターン認識の座標スキャンの領域の重要度を決定する手法の一例として、他の例に係る座標のスキャン領域決定部１２６は、上記のように特徴点の情報とオプティカルフローの情報のうちの一方または両方を優先してパターン認識の座標スキャンの領域を決定する手法により決定された分割領域については、特徴量に関する情報（例えば、勾配強度など）を算出するときの重み付け（重要度）を大きくすることができる。具体例として、他の例に係る座標のスキャン領域決定部１２６は、上記のように特徴点の情報とオプティカルフローの情報のうちの一方または両方を優先してパターン認識の座標スキャンの領域を決定する手法により決定された分割領域については、他の分割領域と比べて、得られた特徴量に関する値（例えば、勾配強度など）にあらかじめ設定された値（例えば、１より大きい値）を乗算することができ、つまり、このような分割領域においては、他の分割領域と比べて、小さい特徴量に関する値であっても、より特徴量が大きいとみなす。
【０１０７】
特徴点の情報とオプティカルフローの情報のうちの一方または両方を重要視してパターン認識の座標スキャンの領域の重要度を決定する手法の他の一例として、他の例に係る座標のスキャン領域決定部１２６は、上記のように特徴点の情報とオプティカルフローの情報のうちの一方または両方を優先してパターン認識の座標スキャンの領域を決定する手法により決定された分割領域については、他の分割領域と比べて、特徴量に関する情報（例えば、勾配強度など）を算出するときの分解能を細かくすることができる。具体例として、他の例に係る座標のスキャン領域決定部１２６は、上記のように特徴点の情報とオプティカルフローの情報のうちの一方または両方を優先してパターン認識の座標スキャンの領域を決定する手法により決定された分割領域については、あらかじめ設定された比較的細かい分解能でスライド（移動）させてスキャンし、他の分割領域については、あらかじめ設定された比較的粗い分解能でスライド（移動）させてスキャンすることができる。
【０１０８】
以上のように、本実施形態に係る画像認識装置２では、３Ｄ解析手法による物体認識部２１の特徴点・オプティカルフロー検出部１１１により得られた情報が、パターン認識による物体認識部２２の座標のスキャン領域決定部１２６（上記した他の例に係る座標のスキャン領域決定部１２６でもよい）に伝えられて利用される構成となっている。
従って、本実施形態に係る画像認識装置２によれば、物体の認識を精度良く行うことができ、ターゲットとする物体の検出に好適な装置を提供することができる。例えば、本実施形態に係る画像認識装置２によれば、３Ｄ解析手法による物体認識において得られた特徴点の情報または動きベクトル（本実施形態では、オプティカルフロー）の情報に基づく座標領域を優先してまたは重要視して、パターン認識を行う画像において座標をスキャンする領域に関する設定を行うことができる。これにより、例えば、パターン認識の座標スキャン時の処理負荷を軽減することが可能である。
【０１０９】
［第４実施形態］
図５は、本発明の第４実施形態に係る画像認識装置３の構成を示すブロック図である。
本実施形態に係る画像認識装置３は、単眼カメラ１１と、画像取得部１２と、３Ｄ解析手法による物体認識部３１と、パターン認識による物体認識部３２と、最終ターゲット認識部１５と、距離・ＴＴＣ確定部１６と、トラッキング部１７と、衝突警報部１８と、ＡＣＣ制御部１９と、を備える。
【０１１０】
ここで、本実施形態に係る画像認識装置３の構成や動作は、３Ｄ解析手法による物体認識部３１とパターン認識による物体認識部３２に関する構成や動作を除いて、図１に示される第１実施形態に係る画像認識装置１の構成（ＡＮＤ論理を用いる構成）、または、第２実施形態に係る画像認識装置１ａの構成（ＯＲ論理を用いる構成）と同様である。
このため、図５では、第１実施形態または第２実施形態と同様な構成部については、同一の符号を付してある。以下では、第１実施形態に係る画像認識装置１または第２実施形態に係る画像認識装置１ａとは異なる点について詳しく説明する。
【０１１１】
３Ｄ解析手法による物体認識部３１は、特徴点・オプティカルフロー検出部１３１と、自車に対する相対距離検出部１３２と、クラスタリング部１３３と、を備える。
パターン認識による物体認識部３２は、座標のスキャン領域決定部１４１と、勾配積分画像算出部１４２と、特徴量ベクトル算出部１４３と、識別部１４４と、を備える。
【０１１２】
３Ｄ解析手法による物体認識部３１において行われる動作の例を示す。
画像取得部１２から３Ｄ解析手法による物体認識部３１に入力された画像は、特徴点・オプティカルフロー検出部１３１に入力される。
この入力画像は、特徴点・オプティカルフロー検出部１３１、自車に対する相対距離検出部１３２、クラスタリング部１３３により、順に処理されて、その処理の結果がクラスタリング部１３３から出力される。
クラスタリング部１３３から出力された処理の結果は、３Ｄ解析手法による物体認識の処理の結果として、３Ｄ解析手法による物体認識部３１から出力されて、最終ターゲット認識部１５に入力される。
【０１１３】
ここで、本実施形態では、３Ｄ解析手法による物体認識部３１において、図９に示されるのと同様な３Ｄ解析手法の処理の手順による処理を行う。
本実施形態では、一例として、特徴点・オプティカルフロー検出部１３１がステップＳ１〜ステップＳ２の処理を実行し、自車に対する相対距離検出部１３２がステップＳ３〜ステップＳ６の処理を実行し、クラスタリング部１３３がステップＳ７の処理を実行する。
【０１１４】
さらに、本実施形態では、クラスタリング部１３３は、検出された移動物体（本実施形態では、車両であると推定される移動物体）をターゲットとして認識した結果に基づいて、物体認識の処理の結果（本実施形態では、車両が映っていると推定される画像領域を特定する情報）を座標のスキャン領域決定部１４１に出力する。
【０１１５】
パターン認識による物体認識部３２において行われる動作の例を示す。
画像取得部１２からパターン認識による物体認識部３２に入力された画像は、座標のスキャン領域決定部１４１に入力される。
この入力画像は、座標のスキャン領域決定部１４１、勾配積分画像算出部１４２、特徴量ベクトル算出部１４３、識別部１４４により、順に処理されて、その処理の結果が識別部１４４から出力される。
識別部１４４から出力された処理の結果は、パターン認識による物体認識の処理の結果として、パターン認識による物体認識部３２から出力されて、最終ターゲット認識部１５に入力される。
【０１１６】
ここで、本実施形態では、クラスタリング部１３３から出力された物体認識の処理の結果（本実施形態では、車両が映っていると推定される画像領域を特定する情報）が、座標のスキャン領域決定部１４１に入力される。
【０１１７】
座標のスキャン領域決定部１４１は、入力された画像について、クラスタリング部１３３から入力された物体認識の処理の結果に基づいて、座標スキャンする領域を決定する。一例として、座標スキャンする領域は、クラスタリング部１３３から入力された物体の領域よりも広めの領域とする。座標のスキャン領域決定部１４１は、決定した座標スキャンする領域を特定する情報および入力された画像を勾配積分画像算出部１４２に出力する。本実施形態では、このようにして決定される座標スキャンする領域は、パターン認識を行う領域となる。
【０１１８】
勾配積分画像算出部１４２は、座標のスキャン領域決定部１４１から入力された画像について、座標のスキャン領域決定部１４１から入力された情報により特定される座標スキャンする領域（座標領域）の画像に対して、勾配強度と勾配方向を算出し、それぞれの勾配方向の勾配強度に対して積分画像を算出し、ヒストグラムを計算する。勾配積分画像算出部１４２は、この計算結果の情報を特徴量ベクトル算出部１４３に出力する。
【０１１９】
特徴量ベクトル算出部１４３は、勾配積分画像算出部１４２から入力された情報に基づいて、ＨＯＧ特徴量としての特徴ベクトル化を行う。特徴量ベクトル算出部１４３は、この結果の情報を識別部１４４に出力する。
識別部１４４は、特徴量ベクトル算出部１４３から入力された情報に基づいて、ＡｄａＢｏｏｓｔによる識別の処理を行い、あらかじめターゲットとしている物体（本実施形態では、あらかじめ用意された車両の画像のパターンに合致する物体）を認識する。識別部１４４は、この物体認識の処理の結果を出力する。
【０１２０】
なお、本実施形態では、パターン認識による物体認識部３２において、座標のスキャン領域決定部１４１により座標のスキャン領域を決定した後に、勾配積分画像算出部１４２により勾配積分画像を算出する構成としてあり、この構成によって、例えば、第３実施形態に係る図４に示されるように、パターン認識による物体認識部２２において、勾配積分画像算出部１２１による処理を行った後に、座標のスキャン領域決定部１２６による処理を行う構成と、全体としては同様な処理を実現している。
【０１２１】
ここで、座標のスキャン領域決定部１４１は、例えば、クラスタリング部１３３から入力された物体認識の処理の結果（本実施形態では、車両が映っていると推定される画像領域を特定する情報）に基づいて、座標スキャンする領域として、全画像中において、認識対象の物体（本実施形態では、車両）が映っていると推定される領域を決定する。
【０１２２】
３Ｄ解析手法による物体認識の処理の結果を優先してパターン認識の座標スキャンの領域を決定する手法の一例として、座標のスキャン領域決定部１４１は、３Ｄ解析手法による物体認識の処理の結果に基づいて、３Ｄ解析手法による物体認識によって認識対象の物体が映っていると判定された領域（判定領域）のみを、座標スキャンする領域として決定することができる。
【０１２３】
また、３Ｄ解析手法による物体認識の処理の結果を優先してパターン認識の座標スキャンの領域を決定する手法の他の一例として、座標のスキャン領域決定部１４１は、全画像をあらかじめ設定された複数に分割した領域（分割領域）を想定し、３Ｄ解析手法による物体認識の処理の結果に基づいて、３Ｄ解析手法による物体認識によって認識対象の物体が映っていると判定された領域を含む分割領域のみを、座標スキャンする領域として決定することができる。
【０１２４】
また、以上のようにして３Ｄ解析手法による物体認識の処理の結果を優先してパターン認識の座標スキャンの領域を決定する手法では、例えば、座標のスキャン領域決定部１４１は、以上のようにして３Ｄ解析手法による物体認識の処理の結果に基づいて決定した領域のみを座標スキャンする領域とする構成以外に、以上のようにして３Ｄ解析手法による物体認識の処理の結果に基づいて決定した領域とともに、他の任意の手法により決定した領域についても、座標スキャンする領域とする、こともできる。
【０１２５】
次に、座標のスキャン領域決定部１４１について、他の例を示す。
他の例に係る座標のスキャン領域決定部１４１は、クラスタリング部１３３から入力された物体認識の処理の結果（本実施形態では、車両が映っていると推定される画像領域を特定する情報）に基づいて、座標スキャンする領域の重要度を決定する。そして、他の例に係る座標のスキャン領域決定部１４１は、決定した座標スキャンする領域の重要度の情報を勾配積分画像算出部１４２に出力する。本実施形態では、このようにして決定される座標スキャンする領域の重要度は、パターン認識を行う領域の重要度として使用される。
【０１２６】
本実施形態では、勾配積分画像算出部１４２は、他の例に係る座標のスキャン領域決定部１４１から入力された情報に基づいて、例えば全画像の中であらかじめ設定した任意の座標領域に対して、他の例に係る座標のスキャン領域決定部１４１により決定された座標スキャンする領域（座標領域）の重要度を考慮して、勾配方向の勾配強度を算出する。勾配積分画像算出部１４２は、この算出結果の情報を特徴量ベクトル算出部１４３に出力する。
【０１２７】
ここで、他の例に係る座標のスキャン領域決定部１４１は、例えば、クラスタリング部１３３から入力された物体認識の処理の結果（本実施形態では、車両が映っていると推定される画像領域を特定する情報）に基づいて、座標スキャンする領域の重要度として、全画像中において、認識対象の物体（本実施形態では、車両）が映っていると推定される領域の重要度を高い重要度とするように決定する。
【０１２８】
３Ｄ解析手法による物体認識の処理の結果を重要視してパターン認識の座標スキャンの領域の重要度を決定する手法の一例として、他の例に係る座標のスキャン領域決定部１４１は、上記のように３Ｄ解析手法による物体認識の処理の結果を優先してパターン認識の座標スキャンの領域を決定する手法により決定された領域（判定領域または分割領域）については、特徴量に関する情報（例えば、勾配強度など）を算出するときの重み付け（重要度）を大きくすることができる。この場合、具体例として、勾配積分画像算出部１４２は、上記のように３Ｄ解析手法による物体認識の処理の結果を優先してパターン認識の座標スキャンの領域を決定する手法により決定された領域（判定領域または分割領域）については、他の領域と比べて、得られた特徴量に関する値（例えば、勾配強度など）にあらかじめ設定された値（例えば、１より大きい値）を乗算することができ、つまり、このような領域（判定領域または分割領域）においては、他の領域と比べて、小さい特徴量に関する値であっても、より特徴量が大きいとみなす。
【０１２９】
３Ｄ解析手法による物体認識の処理の結果を重要視してパターン認識の座標スキャンの領域の重要度を決定する手法の他の一例として、他の例に係る座標のスキャン領域決定部１４１は、上記のように３Ｄ解析手法による物体認識の処理の結果を優先してパターン認識の座標スキャンの領域を決定する手法により決定された領域（判定領域または分割領域）については、他の領域と比べて、特徴量に関する情報（例えば、勾配強度など）を算出するときの分解能を細かくすることができる。この場合、具体例として、勾配積分画像算出部１４２は、上記のように３Ｄ解析手法による物体認識の処理の結果を優先してパターン認識の座標スキャンの領域を決定する手法により決定された領域（判定領域または分割領域）については、あらかじめ設定された比較的細かい分解能でスライド（移動）させてスキャンし、他の領域については、あらかじめ設定された比較的粗い分解能でスライド（移動）させてスキャンすることができる。
【０１３０】
以上のように、本実施形態に係る画像認識装置３では、３Ｄ解析手法による物体認識部３１のクラスタリング部１３３により得られた情報が、パターン認識による物体認識部３２の座標のスキャン領域決定部１４１（上記した他の例に係る座標のスキャン領域決定部１４１でもよい）に伝えられて利用される構成となっている。
従って、本実施形態に係る画像認識装置３によれば、物体の認識を精度良く行うことができ、ターゲットとする物体の検出に好適な装置を提供することができる。例えば、本実施形態に係る画像認識装置３によれば、３Ｄ解析手法による物体認識において確定した座標領域を優先してまたは重要視して、パターン認識を行う画像において座標をスキャンする領域に関する設定を行うことができる。これにより、例えば、パターン認識の座標スキャン時の処理負荷を軽減することが可能である。
【０１３１】
［第５実施形態］
図６は、本発明の第５実施形態に係る画像認識装置４の構成を示すブロック図である。
本実施形態に係る画像認識装置４は、単眼カメラ１１と、画像取得部１２と、３Ｄ解析手法による物体認識部４１と、パターン認識による物体認識部４２と、最終ターゲット認識部１５と、距離・ＴＴＣ確定部１６と、トラッキング部１７と、衝突警報部１８と、ＡＣＣ制御部１９と、を備える。
【０１３２】
ここで、本実施形態に係る画像認識装置４の構成や動作は、３Ｄ解析手法による物体認識部４１とパターン認識による物体認識部４２に関する構成や動作を除いて、図１に示される第１実施形態に係る画像認識装置１の構成（ＡＮＤ論理を用いる構成）、または、第２実施形態に係る画像認識装置１ａの構成（ＯＲ論理を用いる構成）と同様である。
このため、図６では、第１実施形態または第２実施形態と同様な構成部については、同一の符号を付してある。以下では、第１実施形態に係る画像認識装置１または第２実施形態に係る画像認識装置１ａとは異なる点について詳しく説明する。
【０１３３】
３Ｄ解析手法による物体認識部４１は、特徴点・オプティカルフロー検出部１５１と、自車に対する相対距離検出部１５２と、クラスタリング部１５３と、を備える。
パターン認識による物体認識部４２は、勾配積分画像算出部１６１と、座標スキャン部１６２と、特徴量ベクトル算出部１６３と、識別部１６４と、を備える。
【０１３４】
３Ｄ解析手法による物体認識部４１において行われる動作の例を示す。
画像取得部１２から３Ｄ解析手法による物体認識部４１に入力された画像は、特徴点・オプティカルフロー検出部１５１に入力される。
この入力画像は、特徴点・オプティカルフロー検出部１５１、自車に対する相対距離検出部１５２、クラスタリング部１５３により、順に処理されて、その処理の結果がクラスタリング部１５３から出力される。
クラスタリング部１５３から出力された処理の結果は、３Ｄ解析手法による物体認識の処理の結果として、３Ｄ解析手法による物体認識部４１から出力されて、最終ターゲット認識部１５に入力される。
【０１３５】
ここで、本実施形態では、３Ｄ解析手法による物体認識部４１において、図９に示されるのと同様な３Ｄ解析手法の処理の手順による処理を行う。
本実施形態では、一例として、特徴点・オプティカルフロー検出部１５１がステップＳ１〜ステップＳ２の処理を実行し、自車に対する相対距離検出部１５２がステップＳ３〜ステップＳ６の処理を実行し、クラスタリング部１５３がステップＳ７の処理を実行する。
【０１３６】
さらに、本実施形態では、特徴点・オプティカルフロー検出部１５１は、検出した特徴点の情報と、検出（本実施形態では、計算）したオプティカルフローの情報を識別部１６４に出力する。
【０１３７】
パターン認識による物体認識部４２において行われる動作の例を示す。
画像取得部１２からパターン認識による物体認識部４２に入力された画像は、勾配積分画像算出部１６１に入力される。
この入力画像は、勾配積分画像算出部１６１、座標スキャン部１６２、特徴量ベクトル算出部１６３、識別部１６４により、順に処理されて、その処理の結果が識別部１６４から出力される。
識別部１６４から出力された処理の結果は、パターン認識による物体認識の処理の結果として、パターン認識による物体認識部４２から出力されて、最終ターゲット認識部１５に入力される。
【０１３８】
ここで、本実施形態では、パターン認識による物体認識部４２に備えられた勾配積分画像算出部１６１と、座標スキャン部１６２と、特徴量ベクトル算出部１６３と、識別部１６４によって、概略的には、それぞれ、図２に示される勾配積分画像算出部１０１と、座標スキャン部１０２と、特徴量ベクトル算出部１０３と、識別部１０４と同様な動作を行う。
【０１３９】
さらに、本実施形態では、特徴点・オプティカルフロー検出部１５１から出力された特徴点の情報と、オプティカルフローの情報が、識別部１６４に入力される。
識別部１６４は、特徴量ベクトル算出部１６３から入力された情報（特徴量ベクトルの情報）に基づいて、ＡｄａＢｏｏｓｔによる識別の処理を行い、あらかじめターゲットとしている物体（本実施形態では、あらかじめ用意された車両の画像のパターンに合致する物体）を認識し、この場合に、特徴点・オプティカルフロー検出部１５１から入力された特徴点の情報とオプティカルフローの情報のうちの一方または両方に基づいて、識別の処理を行う。識別部１６４は、この物体認識の処理の結果を出力する。
【０１４０】
ここで、識別部１６４は、例えば、入力された特徴点の情報とオプティカルフローの情報のうちの一方または両方に基づいて、全画像中において、認識対象の物体（本実施形態では、車両）が映っている可能性が高いと推定される領域について、パターン認識による物体認識において物体を認識し易くするように変更（設定）する。言い換えれば、このような領域を重要度（優先度）が高い領域であるとみなす。
【０１４１】
具体例として、本実施形態では、識別部１６４は、パターン認識により認識対象の物体を識別（認識）するための閾値（識別閾値）を用いて、パターン認識による物体認識を行う。また、識別部１６４では、この識別閾値を可変に設定することが可能になっている。
そして、識別部１６４は、車両の画像のパターンをメモリに記憶しており、特徴量ベクトル算出部１６３から入力された情報（特徴量ベクトルの情報）に基づいて、画像（画像取得部１２から出力される画像）の中で、識別閾値を用いて、メモリに記憶された車両の画像のパターンと同一または類似するものが映っていると推定される画像領域を識別（認識）し、その画像領域を特定する情報を物体認識の処理の結果として最終ターゲット認識部１５に出力する。この識別の処理では、メモリに記憶された車両の画像のパターンとの一致度が識別閾値（例えば、弱識別器による線形和の値で強識別器の判定をする際の閾値）以上となる画像中の領域を、メモリに記憶された車両の画像のパターンと同一または類似するものが映っていると推定される画像領域として識別する。
【０１４２】
識別部１６４は、入力された特徴点の情報とオプティカルフローの情報のうちの一方または両方に基づいて、全画像中において、認識対象の物体（本実施形態では、車両）が映っている可能性が高いと推定される領域について、パターン認識による物体認識において用いられる識別閾値を小さくするように変更（設定）することで、物体を認識し易くするように設定する。
【０１４３】
特徴点の情報を優先してまたは重要視してパターン認識による物体認識において用いられる識別閾値を変更（設定）する手法の一例として、識別部１６４は、特徴点が多い方が認識対象の物体が映っている可能性が高いという推定に基づいて、全画像をあらかじめ設定された複数に分割した領域（分割領域）を想定し、各分割領域内に存在する特徴点の数を算出し、算出した特徴点の数があらかじめ設定された値（閾値）より多い分割領域のみについて、あらかじめ定められた基準となる識別閾値よりも小さい値の識別閾値を用いるように変更（設定）することができる。この場合、例えば、特徴点の数があらかじめ設定された値（閾値）より多い分割領域では、他の領域と比べて、より小さい識別閾値が用いられる。
【０１４４】
なお、前記した特徴点の数に関する閾値としては、一例として、２以上の値を設定する。
他の一例として、前記した特徴点の数に関する閾値として、１を設定することもできる。この場合、識別部１６４は、全画像をあらかじめ設定された複数に分割した領域（分割領域）を想定し、１つでも特徴点が抽出された分割領域のみについて、あらかじめ定められた基準となる識別閾値よりも小さい値の識別閾値を用いるように変更（設定）することができる。
また、基準となる識別閾値としては、任意の値が用いられてもよく、例えば、本実施形態におけるような識別閾値の変更（設定）が行われない構成において全ての画像領域に対して一定に設定される識別閾値の値を用いることができる。
【０１４５】
オプティカルフローの情報を優先してまたは重要視してパターン認識による物体認識において用いられる識別閾値を変更（設定）する手法の一例として、識別部１６４は、オプティカルフローにより定められる変化量（例えば、勾配の強度）の平均値が大きい方が認識対象の物体が映っている可能性が高いという推定に基づいて、全画像をあらかじめ設定された複数に分割した領域（分割領域）を想定し、各分割領域内に存在する１つ以上のオプティカルフローにより定められる変化量の平均値を算出し、算出した平均値があらかじめ設定された値（閾値）より大きい分割領域のみについて、あらかじめ定められた基準となる識別閾値よりも小さい値の識別閾値を用いるように変更（設定）することができる。この場合、例えば、オプティカルフローにより定められる変化量の平均値があらかじめ設定された値（閾値）より多い分割領域では、他の領域と比べて、より小さい識別閾値が用いられる。
【０１４６】
また、オプティカルフローの情報を優先してまたは重要視してパターン認識による物体認識において用いられる識別閾値を変更（設定）する手法の他の一例として、識別部１６４は、全画像をあらかじめ設定された複数に分割した領域（分割領域）を想定し、あらかじめ設定された値（閾値）より大きいオプティカルフローが１つでも抽出された分割領域のみについて、あらかじめ定められた基準となる識別閾値よりも小さい値の識別閾値を用いるように変更（設定）することができる。
【０１４７】
また、特徴点の情報やオプティカルフローの情報を優先してまたは重要視してパターン認識による物体認識において用いられる識別閾値を変更（設定）する手法の一例として、識別部１６４は、特徴点に関する条件（例えば、上記したもの等、１つ以上の条件）を満たし、且つ、オプティカルフローに関する条件（例えば、上記したもの等、１つ以上の条件）を満たす分割領域のみについて、あらかじめ定められた基準となる識別閾値よりも小さい値の識別閾値を用いるように変更（設定）することができる。
【０１４８】
また、特徴点の情報やオプティカルフローの情報を優先してまたは重要視してパターン認識による物体認識において用いられる識別閾値を変更（設定）する手法の他の一例として、識別部１６４は、特徴点に関する条件（例えば、上記したもの等、１つ以上の条件）またはオプティカルフローに関する条件（例えば、上記したもの等、１つ以上の条件）のうちの少なくとも１つの条件を満たす分割領域（これらの全ての条件を満たす分割領域も含む）のみについて、あらかじめ定められた基準となる識別閾値よりも小さい値の識別閾値を用いるように変更（設定）することができる。
【０１４９】
また、以上のようにして特徴点の情報とオプティカルフローの情報のうちの一方または両方を優先してまたは重要視してパターン認識による物体認識において用いられる識別閾値を変更（設定）する手法では、例えば、識別部１６４は、以上のようにして特徴点の情報とオプティカルフローの情報のうちの一方または両方に基づいて決定した特定の領域のみについて、あらかじめ定められた基準となる識別閾値よりも小さい値の識別閾値を用いるように変更（設定）する構成以外に、以上のようにして特徴点の情報とオプティカルフローの情報のうちの一方または両方に基づいて決定した特定の領域とともに、他の任意の手法により決定した領域についても、あらかじめ定められた基準となる識別閾値よりも小さい値の識別閾値を用いるように変更（設定）する、こともできる。
【０１５０】
以上のように、本実施形態に係る画像認識装置４では、３Ｄ解析手法による物体認識部４１の特徴点・オプティカルフロー検出部１５１により得られた情報が、パターン認識による物体認識部４２の識別部１６４に伝えられて利用される構成となっている。
従って、本実施形態に係る画像認識装置４によれば、物体の認識を精度良く行うことができ、ターゲットとする物体の検出に好適な装置を提供することができる。例えば、本実施形態に係る画像認識装置４によれば、３Ｄ解析手法による物体認識において得られた特徴点の情報または動きベクトル（本実施形態では、オプティカルフロー）の情報に基づく座標領域を優先してまたは重要視して、パターン認識による物体認識を行う際の識別閾値に関する設定を行うことができる。
【０１５１】
具体例として、本実施形態に係る画像認識装置４によれば、３Ｄ解析手法による物体認識において得られた特徴点の情報または動きベクトル（本実施形態では、オプティカルフロー）の情報に基づく座標領域を優先してまたは重要視して、特定の領域について、ＡｄａＢｏｏｓｔによる物体の識別（認識）で用いられる識別閾値を、より認識し易い側へ下げることができる。これは、例えば、３Ｄ解析手法による物体認識において得られる特徴点または動きベクトルに基づく座標領域では、認識対象の物体である確からしさがより高いという考え方に基づいている。
【０１５２】
［第６実施形態］
図７は、本発明の第６実施形態に係る画像認識装置５の構成を示すブロック図である。
本実施形態に係る画像認識装置５は、単眼カメラ１１と、画像取得部１２と、３Ｄ解析手法による物体認識部５１と、パターン認識による物体認識部５２と、最終ターゲット認識部１５と、距離・ＴＴＣ確定部１６と、トラッキング部１７と、衝突警報部１８と、ＡＣＣ制御部１９と、を備える。
【０１５３】
ここで、本実施形態に係る画像認識装置５の構成や動作は、３Ｄ解析手法による物体認識部５１とパターン認識による物体認識部５２に関する構成や動作を除いて、図１に示される第１実施形態に係る画像認識装置１の構成（ＡＮＤ論理を用いる構成）、または、第２実施形態に係る画像認識装置１ａの構成（ＯＲ論理を用いる構成）と同様である。
このため、図７では、第１実施形態または第２実施形態と同様な構成部については、同一の符号を付してある。以下では、第１実施形態に係る画像認識装置１または第２実施形態に係る画像認識装置１ａとは異なる点について詳しく説明する。
【０１５４】
３Ｄ解析手法による物体認識部５１は、特徴点・オプティカルフロー検出部１７１と、自車に対する相対距離検出部１７２と、クラスタリング部１７３と、を備える。
パターン認識による物体認識部５２は、勾配積分画像算出部１８１と、座標スキャン部１８２と、特徴量ベクトル算出部１８３と、識別部１８４と、を備える。
【０１５５】
３Ｄ解析手法による物体認識部５１において行われる動作の例を示す。
画像取得部１２から３Ｄ解析手法による物体認識部５１に入力された画像は、特徴点・オプティカルフロー検出部１７１に入力される。
この入力画像は、特徴点・オプティカルフロー検出部１７１、自車に対する相対距離検出部１７２、クラスタリング部１７３により、順に処理されて、その処理の結果がクラスタリング部１７３から出力される。
クラスタリング部１７３から出力された処理の結果は、３Ｄ解析手法による物体認識の処理の結果として、３Ｄ解析手法による物体認識部５１から出力されて、最終ターゲット認識部１５に入力される。
【０１５６】
ここで、本実施形態では、３Ｄ解析手法による物体認識部５１において、図９に示されるのと同様な３Ｄ解析手法の処理の手順による処理を行う。
本実施形態では、一例として、特徴点・オプティカルフロー検出部１７１がステップＳ１〜ステップＳ２の処理を実行し、自車に対する相対距離検出部１７２がステップＳ３〜ステップＳ６の処理を実行し、クラスタリング部１７３がステップＳ７の処理を実行する。
【０１５７】
さらに、本実施形態では、クラスタリング部１７３は、検出された移動物体（本実施形態では、車両であると推定される移動物体）をターゲットとして認識した結果に基づいて、物体認識の処理の結果（本実施形態では、車両が映っていると推定される画像領域を特定する情報）を識別部１８４に出力する。
【０１５８】
パターン認識による物体認識部５２において行われる動作の例を示す。
画像取得部１２からパターン認識による物体認識部５２に入力された画像は、勾配積分画像算出部１８１に入力される。
この入力画像は、勾配積分画像算出部１８１、座標スキャン部１８２、特徴量ベクトル算出部１８３、識別部１８４により、順に処理されて、その処理の結果が識別部１８４から出力される。
識別部１８４から出力された処理の結果は、パターン認識による物体認識の処理の結果として、パターン認識による物体認識部５２から出力されて、最終ターゲット認識部１５に入力される。
【０１５９】
ここで、本実施形態では、パターン認識による物体認識部５２に備えられた勾配積分画像算出部１８１と、座標スキャン部１８２と、特徴量ベクトル算出部１８３と、識別部１８４によって、概略的には、それぞれ、図２に示される勾配積分画像算出部１０１と、座標スキャン部１０２と、特徴量ベクトル算出部１０３と、識別部１０４と同様な動作を行う。
【０１６０】
さらに、本実施形態では、クラスタリング部１７３から出力された物体認識の処理の結果（本実施形態では、車両が映っていると推定される画像領域を特定する情報）が、識別部１８４に入力される。
【０１６１】
識別部１８４は、特徴量ベクトル算出部１８３から入力された情報（特徴量ベクトルの情報）に基づいて、ＡｄａＢｏｏｓｔによる識別の処理を行い、あらかじめターゲットとしている物体（本実施形態では、あらかじめ用意された車両の画像のパターンに合致する物体）を認識し、この場合に、クラスタリング部１７３から入力された物体認識の処理の結果に基づいて、識別の処理を行う。識別部１８４は、この物体認識の処理の結果を出力する。
【０１６２】
ここで、識別部１８４は、例えば、クラスタリング部１７３から入力された物体認識の処理の結果に基づいて、全画像中において、認識対象の物体（本実施形態では、車両）が映っている可能性が高いと推定される領域について、パターン認識による物体認識において物体を認識し易くするように変更（設定）する。言い換えれば、このような領域を重要度（優先度）が高い領域であるとみなす。
【０１６３】
具体例として、本実施形態では、識別部１８４は、パターン認識により認識対象の物体を識別（認識）するための閾値（識別閾値）を用いて、パターン認識による物体認識を行う。また、識別部１８４では、この識別閾値を可変に設定することが可能になっている。
そして、識別部１８４は、車両の画像のパターンをメモリに記憶しており、特徴量ベクトル算出部１８３から入力された情報（特徴量ベクトルの情報）に基づいて、画像（画像取得部１２から出力される画像）の中で、識別閾値を用いて、メモリに記憶された車両の画像のパターンと同一または類似するものが映っていると推定される画像領域を識別（認識）し、その画像領域を特定する情報を物体認識の処理の結果として最終ターゲット認識部１５に出力する。この識別の処理では、メモリに記憶された車両の画像のパターンとの一致度が識別閾値（例えば、弱識別器による線形和の値で強識別器の判定をする際の閾値）以上となる画像中の領域を、メモリに記憶された車両の画像のパターンと同一または類似するものが映っていると推定される画像領域として識別する。
【０１６４】
識別部１８４は、クラスタリング部１７３から入力された物体認識の処理の結果（本実施形態では、車両が映っていると推定される画像領域を特定する情報）に基づいて、全画像中において、認識対象の物体（本実施形態では、車両）が映っている可能性が高いと推定される領域について、パターン認識による物体認識において用いられる識別閾値を小さくするように変更（設定）することで、物体を認識し易くするように設定する。
【０１６５】
３Ｄ解析手法による物体認識の処理の結果を優先してまたは重要視してパターン認識による物体認識において用いられる識別閾値を変更（設定）する手法の一例として、識別部１８４は、３Ｄ解析手法による物体認識の処理の結果に基づいて、３Ｄ解析手法による物体認識によって認識対象の物体が映っていると判定された領域（判定領域）のみについて、あらかじめ定められた基準となる識別閾値よりも小さい値の識別閾値を用いるように変更（設定）することができる。この場合、例えば、判定領域では、他の領域と比べて、より小さい識別閾値が用いられる。
【０１６６】
なお、基準となる識別閾値としては、任意の値が用いられてもよく、例えば、本実施形態におけるような識別閾値の変更（設定）が行われない構成において全ての画像領域に対して一定に設定される識別閾値の値を用いることができる。
【０１６７】
また、３Ｄ解析手法による物体認識の処理の結果を優先してまたは重要視してパターン認識による物体認識において用いられる識別閾値を変更（設定）する手法の他の一例として、識別部１８４は、全画像をあらかじめ設定された複数に分割した領域（分割領域）を想定し、３Ｄ解析手法による物体認識の処理の結果に基づいて、３Ｄ解析手法による物体認識によって認識対象の物体が映っていると判定された領域を含む分割領域のみについて、あらかじめ定められた基準となる識別閾値よりも小さい値の識別閾値を用いるように変更（設定）することができる。
【０１６８】
また、以上のようにして３Ｄ解析手法による物体認識の処理の結果を優先してまたは重要視してパターン認識による物体認識において用いられる識別閾値を変更（設定）する手法では、例えば、識別部１８４は、以上のようにして３Ｄ解析手法による物体認識の処理の結果に基づいて決定した特定の領域のみについて、あらかじめ定められた基準となる識別閾値よりも小さい値の識別閾値を用いるように変更（設定）する構成以外に、以上のようにして３Ｄ解析手法による物体認識の処理の結果に基づいて決定した特定の領域とともに、他の任意の手法により決定した領域についても、あらかじめ定められた基準となる識別閾値よりも小さい値の識別閾値を用いるように変更（設定）する、こともできる。
【０１６９】
以上のように、本実施形態に係る画像認識装置５では、３Ｄ解析手法による物体認識部５１のクラスタリング部１７３により得られた情報が、パターン認識による物体認識部５２の識別部１８４に伝えられて利用される構成となっている。
従って、本実施形態に係る画像認識装置５によれば、物体の認識を精度良く行うことができ、ターゲットとする物体の検出に好適な装置を提供することができる。例えば、本実施形態に係る画像認識装置５によれば、３Ｄ解析手法による物体認識において得られた物体認識の処理の結果に基づく座標領域を優先してまたは重要視して、パターン認識による物体認識を行う際の識別閾値に関する設定を行うことができる。
【０１７０】
具体例として、本実施形態に係る画像認識装置５によれば、３Ｄ解析手法による物体認識において得られた物体認識の処理の結果に基づく座標領域を優先してまたは重要視して、特定の領域について、ＡｄａＢｏｏｓｔによる物体の識別（認識）で用いられる識別閾値を、より認識し易い側へ下げることができる。これは、例えば、３Ｄ解析手法による物体認識において得られる物体認識の処理の結果に基づく座標領域では、認識対象の物体である確からしさがより高いという考え方に基づいている。
【０１７１】
［第７実施形態］
図８は、本発明の第７実施形態に係る画像認識装置６の構成を示すブロック図である。
本実施形態に係る画像認識装置６は、単眼カメラ１１と、画像取得部１２と、３Ｄ解析手法による物体認識部６１と、パターン認識による物体認識部６２と、最終ターゲット認識部６３と、距離・ＴＴＣ確定部１６と、トラッキング部１７と、衝突警報部１８と、ＡＣＣ制御部１９と、を備える。
【０１７２】
ここで、本実施形態に係る画像認識装置６の構成や動作は、３Ｄ解析手法による物体認識部６１とパターン認識による物体認識部６２と最終ターゲット認識部６３に関する構成や動作を除いて、図１に示される第１実施形態に係る画像認識装置１の構成（ＡＮＤ論理を用いる構成）、または、第２実施形態に係る画像認識装置１ａの構成（ＯＲ論理を用いる構成）と同様である。
このため、図８では、第１実施形態または第２実施形態と同様な構成部については、同一の符号を付してある。以下では、第１実施形態に係る画像認識装置１または第２実施形態に係る画像認識装置１ａとは異なる点について詳しく説明する。
【０１７３】
３Ｄ解析手法による物体認識部６１は、特徴点・オプティカルフロー検出部１９１と、自車に対する相対距離検出部１９２と、クラスタリング部１９３と、を備える。
パターン認識による物体認識部６２は、勾配積分画像算出部２０１と、座標スキャン部２０２と、特徴量ベクトル算出部２０３と、識別部２０４と、を備える。
【０１７４】
パターン認識による物体認識部６２において行われる動作の例を示す。
画像取得部１２からパターン認識による物体認識部６２に入力された画像は、勾配積分画像算出部２０１に入力される。
この入力画像は、勾配積分画像算出部２０１、座標スキャン部２０２、特徴量ベクトル算出部２０３、識別部２０４により、順に処理されて、その処理の結果が識別部２０４から出力される。
【０１７５】
ここで、本実施形態では、パターン認識による物体認識部６２に備えられた勾配積分画像算出部２０１と、座標スキャン部２０２と、特徴量ベクトル算出部２０３と、識別部２０４によって、概略的には、それぞれ、図２に示される勾配積分画像算出部１０１と、座標スキャン部１０２と、特徴量ベクトル算出部１０３と、識別部１０４と同様な動作を行う。
そして、本実施形態では、識別部２０４から出力された処理の結果は、パターン認識による物体認識の処理の結果として、パターン認識による物体認識部６２から出力されて、３Ｄ解析手法による物体認識部６１の特徴点・オプティカルフロー検出部１９１に入力される。
【０１７６】
３Ｄ解析手法による物体認識部６１において行われる動作の例を示す。
画像取得部１２から３Ｄ解析手法による物体認識部６１に入力された画像は、特徴点・オプティカルフロー検出部１９１に入力される。
この入力画像は、特徴点・オプティカルフロー検出部１９１、自車に対する相対距離検出部１９２、クラスタリング部１９３により、順に処理されて、その処理の結果がクラスタリング部１９３から出力される。
クラスタリング部１９３から出力された処理の結果は、３Ｄ解析手法による物体認識の処理の結果として、３Ｄ解析手法による物体認識部６１から出力されて、最終ターゲット認識部６３に入力される。
【０１７７】
ここで、本実施形態では、３Ｄ解析手法による物体認識部６１において、概略的には、図９に示されるのと同様な３Ｄ解析手法の処理の手順による処理を行う。
本実施形態では、一例として、特徴点・オプティカルフロー検出部１９１がステップＳ１〜ステップＳ２の処理を実行し、自車に対する相対距離検出部１９２がステップＳ３〜ステップＳ６の処理を実行し、クラスタリング部１９３がステップＳ７の処理を実行する。
【０１７８】
さらに、本実施形態では、特徴点・オプティカルフロー検出部１９１は、画像取得部１２から入力された画像に基づいて、特徴点を検出し、オプティカルフローを検出（本実施形態では、計算）する場合に、パターン認識による物体認識部６２の識別部２０４から入力されたパターン認識による物体認識の処理の結果に基づいて、特徴点の検出や、オプティカルフローの検出（本実施形態では、計算）を行う。
【０１７９】
ここで、特徴点・オプティカルフロー検出部１９１は、例えば、パターン認識による物体認識部６２の識別部２０４から入力されたパターン認識による物体認識の処理の結果（本実施形態では、車両が映っていると推定される画像領域を特定する情報）に基づいて、特徴点の検出やオプティカルフローの検出を行う領域を決定する。
【０１８０】
パターン認識による物体認識の処理の結果を優先して３Ｄ解析手法による物体認識における特徴点の検出やオプティカルフローの検出を行う領域を決定する手法の一例として、特徴点・オプティカルフロー検出部１９１は、パターン認識による物体認識の処理の結果に基づいて、パターン認識による物体認識によって認識対象の物体が映っていると判定された領域（判定領域）のみを、特徴点の検出やオプティカルフローの検出を行う領域として決定することができる。
【０１８１】
パターン認識による物体認識の処理の結果を優先して３Ｄ解析手法による物体認識における特徴点の検出やオプティカルフローの検出を行う領域を決定する手法の他の一例として、特徴点・オプティカルフロー検出部１９１は、全画像をあらかじめ設定された複数に分割した領域（分割領域）を想定し、パターン認識による物体認識の処理の結果に基づいて、パターン認識による物体認識によって認識対象の物体が映っていると判定された領域を含む分割領域のみを、特徴点の検出やオプティカルフローの検出を行う領域として決定することができる。
【０１８２】
また、以上のようにしてパターン認識による物体認識の処理の結果を優先して３Ｄ解析手法による物体認識における特徴点の検出やオプティカルフローの検出を行う領域を決定する手法では、例えば、特徴点・オプティカルフロー検出部１９１は、以上のようにしてパターン認識による物体認識の処理の結果に基づいて決定した領域のみを特徴点の検出やオプティカルフローの検出を行う領域とする構成以外に、以上のようにしてパターン認識による物体認識の処理の結果に基づいて決定した領域とともに、他の任意の手法により決定した領域についても、特徴点の検出やオプティカルフローの検出を行う領域とする、こともできる。
【０１８３】
次に、特徴点・オプティカルフロー検出部１９１について、他の例を示す。
他の例に係る特徴点・オプティカルフロー検出部１９１は、パターン認識による物体認識部６２の識別部２０４から入力されたパターン認識による物体認識の処理の結果（本実施形態では、車両が映っていると推定される画像領域を特定する情報）に基づいて、特徴点の検出やオプティカルフローの検出を行う領域の重要度を決定する。
【０１８４】
本実施形態では、他の例に係る特徴点・オプティカルフロー検出部１９１は、例えば全画像の中であらかじめ設定した任意の座標領域に対して、決定した領域（座標領域）の重要度を考慮して、特徴点の検出やオプティカルフローの検出を行う。
【０１８５】
ここで、他の例に係る特徴点・オプティカルフロー検出部１９１は、例えば、パターン認識による物体認識の処理の結果（本実施形態では、車両が映っていると推定される画像領域を特定する情報）に基づいて、特徴点の検出やオプティカルフローの検出を行う領域の重要度として、全画像中において、認識対象の物体（本実施形態では、車両）が映っていると推定される領域の重要度を高い重要度とするように決定する。
【０１８６】
パターン認識による物体認識の処理の結果を重要視して３Ｄ解析手法による物体認識における特徴点の検出を行う領域の重要度を決定する手法の一例として、他の例に係る特徴点・オプティカルフロー検出部１９１は、上記のようにパターン認識による物体認識の処理の結果を優先して３Ｄ解析手法による物体認識における特徴点の検出やオプティカルフローの検出を行う領域を決定する手法により決定された領域（判定領域または分割領域）については、特徴点を検出するときの重み付け（重要度）を大きくすることができる。この場合、具体例として、他の例に係る特徴点・オプティカルフロー検出部１９１は、例えば、画素値の変化（例えば、輝度値の変化）に関する閾値があらかじめ定められており、時間的な画素値の変化が当該閾値以上となる画像中の点を特徴点として検出する構成において、上記のようにパターン認識による物体認識の処理の結果を優先して３Ｄ解析手法による物体認識における特徴点の検出やオプティカルフローの検出を行う領域を決定する手法により決定された領域（判定領域または分割領域）については、他の領域と比べて、その閾値を小さく変更（設定）することができ、つまり、このような領域（判定領域または分割領域）においては、他の領域と比べて、小さい画素変化量であっても、特徴点として検出する。
【０１８７】
また、パターン認識による物体認識の処理の結果を重要視して３Ｄ解析手法による物体認識における特徴点の検出を行う領域の重要度を決定する手法の他の一例として、他の例に係る特徴点・オプティカルフロー検出部１９１は、上記のようにパターン認識による物体認識の処理の結果を優先して３Ｄ解析手法による物体認識における特徴点の検出やオプティカルフローの検出を行う領域を決定する手法により決定された領域（判定領域または分割領域）については、特徴点を検出するときの分解能を細かくすることができる。この場合、具体例として、他の例に係る特徴点・オプティカルフロー検出部１９１は、上記のようにパターン認識による物体認識の処理の結果を優先して３Ｄ解析手法による物体認識における特徴点の検出やオプティカルフローの検出を行う領域を決定する手法により決定された領域（判定領域または分割領域）については、あらかじめ設定された比較的細かい分解能で特徴点を検出し、他の領域については、あらかじめ設定された比較的粗い分解能で特徴点を検出することができる。
【０１８８】
パターン認識による物体認識の処理の結果を重要視して３Ｄ解析手法による物体認識におけるオプティカルフローの検出を行う領域の重要度を決定する手法の一例として、他の例に係る特徴点・オプティカルフロー検出部１９１は、上記のようにパターン認識による物体認識の処理の結果を優先して３Ｄ解析手法による物体認識における特徴点の検出やオプティカルフローの検出を行う領域を決定する手法により決定された領域（判定領域または分割領域）については、オプティカルフローを検出するときの重み付け（重要度）を大きくすることができる。この場合、具体例として、他の例に係る特徴点・オプティカルフロー検出部１９１は、例えば、オプティカルフローを検出する際に所定の閾値を用いる構成において、上記のようにパターン認識による物体認識の処理の結果を優先して３Ｄ解析手法による物体認識における特徴点の検出やオプティカルフローの検出を行う領域を決定する手法により決定された領域（判定領域または分割領域）については、他の領域と比べて、その閾値を、オプティカルフローがより検出され易いように変更（設定）することができる。
【０１８９】
また、パターン認識による物体認識の処理の結果を重要視して３Ｄ解析手法による物体認識におけるオプティカルフローの検出を行う領域の重要度を決定する手法の他の一例として、他の例に係る特徴点・オプティカルフロー検出部１９１は、上記のようにパターン認識による物体認識の処理の結果を優先して３Ｄ解析手法による物体認識における特徴点の検出やオプティカルフローの検出を行う領域を決定する手法により決定された領域（判定領域または分割領域）については、オプティカルフローを検出するときの分解能を細かくすることができる。この場合、具体例として、他の例に係る特徴点・オプティカルフロー検出部１９１は、上記のようにパターン認識による物体認識の処理の結果を優先して３Ｄ解析手法による物体認識における特徴点の検出やオプティカルフローの検出を行う領域を決定する手法により決定された領域（判定領域または分割領域）については、あらかじめ設定された比較的細かい分解能でオプティカルフローを検出し、他の領域については、あらかじめ設定された比較的粗い分解能でオプティカルフローを検出することができる。
【０１９０】
次に、最終ターゲット認識部６３により行われる処理について説明する。
本実施形態では、最終ターゲット認識部６３は、３Ｄ解析手法による物体認識部６１から入力された物体認識の処理の結果（本実施形態では、車両が映っていると推定される画像領域を特定する情報）に基づいて、認識対象の物体（本実施形態では、車両）であると特定した画像領域（座標の領域）を、最終的なターゲットの領域であると認識し、認識した最終的なターゲットの領域を特定する情報を距離・ＴＴＣ確定部１６に出力する。
このように、本実施形態では、３Ｄ解析手法による物体認識の結果が、最終的なターゲット認識の結果となる。
【０１９１】
ここで、本実施形態では、全体の画像に認識対象の物体（本実施形態では、車両）が複数映っている場合には、３Ｄ解析手法による物体認識部６１はそれぞれの物体について物体認識の処理を行い、最終ターゲット認識部６３はそれぞれの物体について最終ターゲットの認識の処理を行う。
【０１９２】
以上のように、本実施形態に係る画像認識装置６では、パターン認識による物体認識部６２の識別部２０４により得られた情報が、３Ｄ解析手法による物体認識部６１の特徴点・オプティカルフロー検出部１９１（上記した他の例に係る特徴点・オプティカルフロー検出部１９１でもよい）に伝えられて利用される構成となっている。
従って、本実施形態に係る画像認識装置６によれば、物体の認識を精度良く行うことができ、ターゲットとする物体の検出に好適な装置を提供することができる。例えば、本実施形態に係る画像認識装置６によれば、パターン認識による物体認識において確定した座標領域を優先してまたは重要視して、３Ｄ解析手法による物体認識を行う画像において、特徴点を検出する領域に関する設定やオプティカルフローを検出する領域に関する設定を行うことができる。
【０１９３】
具体例として、図３に示される画像１００１中の枠１００２の領域のように、３Ｄ解析手法による物体認識では物体の認識ができないまたは物体の認識の能力が低い領域について、本実施形態では、パターン認識による物体認識が可能となる場合には、パターン認識による物体認識によって特定した領域の特徴点・オプティカルフローにおいてターゲットがある可能性が高いことを予測して、後段の３Ｄ解析手法による物体認識処理を実行することができる。
【０１９４】
本実施形態（第７実施形態）と類似の構成として、識別部２０４の出力を自車に対する相対距離検出部１９２かクラスタリング部１９３に入力し、物体を認識するステップ（この例では、図９に示されるステップＳ７の処理）でパターン認識による物体領域を優先または重要視して判定することもできる。
この構成では、クラスタリング部１９３は、パターン認識による物体認識部６２の識別部２０４により得られたパターン認識による物体認識の結果に基づいて、認識対象の物体の識別を行う。
３Ｄ解析手法による物体認識部６１のクラスタリング部１９３において、パターン認識による物体認識の処理の結果（パターン認識による物体領域）を優先してまたは重要視して判定する（物体を認識する）手法としては、様々な手法が用いられてもよく、例えば、画像中のあらかじめ定めた座標領域（例えば図３の１００２）に、パターン認識による物体領域がある場合は、前記あらかじめ定めた座標領域に認識すべき物体が存在することを確定する手法や、パターン認識による物体領域と一致する部分のみを物体認識結果の範囲に含める手法や、パターン認識による物体領域と一致する部分の方が一致しない部分よりも物体認識結果の範囲に含まれ易くするように所定の閾値などを変更する手法などを用いることができる。
【０１９５】
＜以上の実施形態についてのまとめ＞
ここで、以上の実施形態では、図１、図４〜図８に示される装置を車載用として車両に設ける構成を示したが、他の例として、他の任意の移動体に設けることも可能である。
また、以上の実施形態では、３Ｄ解析手法による物体認識の手法として、非特許文献１に記載された手法を用いる構成を示したが、この手法に限定するものではなく、例えば、特徴点の抽出による３Ｄ解析手法の全般に適用することもできる。
また、以上の実施形態では、パターン認識による物体認識で用いるＨＯＧ特徴量として、輝度勾配の積分画像によるヒストグラム（インテグラルヒストグラム）での作成を例に述べたが、他の手法が用いられてもよい。
【０１９６】
なお、図１、図２、図４〜図８、図１０における任意の構成部により行われる処理の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、処理を行ってもよい。ここで言う「コンピュータシステム」とは、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは、表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことを言う。さらに、「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。
【０１９７】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことを言う。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【０１９８】
また、上記に限られず、マイクロコンピュータのほか、例えば、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、あるいは、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）などのデバイスを用いて、図１、図２、図４〜図８、図１０における任意の構成部により行われる処理を実現することも可能である。
【０１９９】
以上、本発明の各実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【０２００】
１、１ａ、２〜６…画像認識装置
１１…単眼カメラ １２…画像取得部
１３、２１、３１、４１、５１、６１…３Ｄ解析手法による物体認識部
１４、２２、３２、４２、５２、６２…パターン認識による物体認識部
１５、６３…最終ターゲット認識部
１６…距離・ＴＴＣ確定部 １７…トラッキング部 １８…衝突警報部
１９…ＡＣＣ制御部
１０１、１２１、１４２、１６１、１８１、２０１…勾配積分画像算出部
１０２、１２２、１６２、１８２、２０２…座標スキャン部
１０３、１２３、１４３、１６３、１８３、２０３…特徴量ベクトル算出部
１０４、１２４、１４４、１６４、１８４、２０４…識別部
１２６、１４１…座標のスキャン領域決定部
１１１、１３１、１５１、１７１、１９１…特徴点・オプティカルフロー検出部
１１２、１３２、１５２、１７２、１９２…自車に対する相対距離検出部
１１３、１３３、１５３、１７３、１９３…クラスタリング部
３０１…勾配強度検出部 ３０２…勾配方向検出部
３０３…勾配方向ごとの勾配強度の積分部
３１１…セル単位の積分値算出部 ３１２…ブロック正規化部
３１３…特徴量ベクトル算出処理部
【技術分野】
【０００１】
本発明は、画像認識装置、画像認識方法および画像認識プログラムに関する。
【背景技術】
【０００２】
近年、車両の運転支援装置や予防安全装置として、車間距離制御装置（ＡＣＣ：Ａｄａｐｔｉｖｅ Ｃｒｕｉｓｅ Ｃｏｎｔｒｏｌ）や前方衝突警報装置（ＦＣＷ：Ｆｏｒｗａｒｄ Ｃｏｌｌｉｓｉｏｎ Ｗａｒｎｉｎｇ）や歩行者衝突警報装置などが開発されている。このような装置では、レーダ等を用いずに、車載カメラのみによる簡易な装置の実現が期待されている。また、車載用の装置は、コストが重視されるため、ステレオカメラではなく、単眼カメラによる装置が求められている。
【０００３】
単眼カメラでは、ステレオカメラによる方式に比べて物体の距離や相対速度を容易に推定することができず、ＴＴＣ（Ｔｉｍｅ Ｔｏ Ｃｏｌｌｉｓｉｏｎ）の算出も困難であるため、例えば、車載の単眼カメラから得られる時系列画像を用いて走行環境の３次元構造を推定し、物体の検知を行う方式が考えられている。これは、３Ｄ（３次元）の解析手法である（例えば、非特許文献１参照。）。
【０００４】
非特許文献１で開示された技術の方式では、今回画像サイクル（ｔ）と前回画像サイクル（ｔ−１）の画像から特徴点を抽出し、オプティカルフロー等の手法により、自車両の運動を推定し、特徴点の三次元位置計算、路面領域の検出を行った後、移動物体の領域の検出を行う。
【０００５】
３Ｄ解析手法に対する他の手法として、物体の形状をあらかじめ学習しておき、検出したい物体のパターンを識別する手法（パターン認識の手法）がある。このような手法では、近年、ＨＯＧ（Ｈｉｓｔｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）特徴量やＨａａｒ−ｌｉｋｅ特徴量等の特徴量と、ＡｄａＢｏｏｓｔ（Ａｄａｐｔｉｖｅ Ｂｏｏｓｔｉｎｇ）やＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）等の認識アルゴリズムを組み合わせた方式が主流となっている。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】山口、加藤、二宮、「車載単眼カメラによる車両前方の障害物検出」、社団法人 情報処理学会 研究報告、２００５年１１月１８日、２００５−ＣＶＩＭ−１５１（１０）、ｐ．６９−７６
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、前記した３Ｄ解析手法による認識では、中・近距離での性能は良いが、画像の消失点付近を含む比較的遠距離の物体については、特徴点は抽出できるものの、物体の形状を認識する精度が大幅に劣化してしまう。従って、前記した３Ｄ解析手法による認識では、ＡＣＣやＦＣＷへの適用は困難であった。
【０００８】
一方、前記したパターン認識では、時系列画像処理を織り込むことによって距離と相対速度を算出することも可能ではあるが、その精度と信頼度が前記した３Ｄ解析手法に対して大幅に劣るため、車載用の装置に適応するには困難であり、工夫が求められていた。
【０００９】
本発明は、このような事情を考慮して為されたものであり、物体の認識を精度良く行うことができる画像認識装置、画像認識方法および画像認識プログラムを提供することを目的としている。
【課題を解決するための手段】
【００１０】
（１）上述した課題を解決するために、本発明に係る画像認識装置は、画像に対して３Ｄ解析手法による物体認識を行う３Ｄ解析手法による物体認識部と、前記画像に対してパターン認識による物体認識を行うパターン認識による物体認識部と、を備え、前記３Ｄ解析手法による物体認識部により得られる３Ｄ解析手法による物体認識の結果と前記パターン認識による物体認識部により得られるパターン認識による物体認識の結果に基づいて最終ターゲットの認識結果を得る、ことを特徴とする。
【００１１】
（２）本発明は、（１）に記載の画像認識装置において、前記３Ｄ解析手法による物体認識部により得られた３Ｄ解析手法による物体認識の結果と前記パターン認識による物体認識部により得られたパターン認識による物体認識の結果に基づいて、ＡＮＤ論理により、最終ターゲットの認識結果を得る最終ターゲット認識部を備える、ことを特徴とする。
【００１２】
（３）本発明は、（１）に記載の画像認識装置において、前記３Ｄ解析手法による物体認識部により得られた３Ｄ解析手法による物体認識の結果と前記パターン認識による物体認識部により得られたパターン認識による物体認識の結果に基づいて、ＯＲ論理により、最終ターゲットの認識結果を得る最終ターゲット認識部を備える、ことを特徴とする。
【００１３】
（４）本発明は、（１）から（３）のいずれか１つに記載の画像認識装置において、前記パターン認識による物体認識部は、前記３Ｄ解析手法による物体認識部により検出した特徴点とオプティカルフローのうちの一方または両方に基づいて、座標のスキャン領域を決定する、ことを特徴とする。
【００１４】
（５）本発明は、（１）から（３）のいずれか１つに記載の画像認識装置において、前記パターン認識による物体認識部は、前記３Ｄ解析手法による物体認識部により得られた３Ｄ解析手法による物体認識の結果に基づいて、座標のスキャン領域を決定する、ことを特徴とする。
【００１５】
（６）本発明は、（１）から（３）のいずれか１つに記載の画像認識装置において、前記パターン認識による物体認識部は、前記３Ｄ解析手法による物体認識部により検出した特徴点とオプティカルフローのうちの一方または両方に基づいて、認識対象の物体の識別を行う、ことを特徴とする。
【００１６】
（７）本発明は、（６）に記載の画像認識装置において、前記パターン認識による物体認識部は、前記３Ｄ解析手法による物体認識部により検出した特徴点とオプティカルフローのうちの一方または両方に基づいて、認識対象の物体が映っている可能性が高いと推定される領域について、物体を認識し易くするように、パターン認識による物体認識において用いられる閾値を変更して、認識対象の物体の識別を行う、ことを特徴とする。
【００１７】
（８）本発明は、（１）から（３）のいずれか１つに記載の画像認識装置において、前記パターン認識による物体認識部は、前記３Ｄ解析手法による物体認識部により得られた３Ｄ解析手法による物体認識の結果に基づいて、認識対象の物体の識別を行う、ことを特徴とする。
【００１８】
（９）本発明は、（８）に記載の画像認識装置において、前記パターン認識による物体認識部は、前記３Ｄ解析手法による物体認識部により得られた３Ｄ解析手法による物体認識の結果に基づいて、認識対象の物体が映っている可能性が高いと推定される領域について、物体を認識し易くするように、パターン認識による物体認識において用いられる閾値を変更して、認識対象の物体の識別を行う、ことを特徴とする。
【００１９】
（１０）本発明は、（１）に記載の画像認識装置において、前記３Ｄ解析手法による物体認識部は、前記パターン認識による物体認識部により得られたパターン認識による物体認識の結果に基づいて、特徴点またはオプティカルフローのうちの一方または両方を検出する、ことを特徴とする。
【００２０】
（１１）本発明は、（１０）に記載の画像認識装置において、前記３Ｄ解析手法による物体認識部により得られた３Ｄ解析手法による物体認識の結果に基づいて最終ターゲットの認識結果を得る最終ターゲット認識部を備える、ことを特徴とする。
【００２１】
（１２）本発明は、（１）に記載の画像認識装置において、前記３Ｄ解析手法による物体認識部は、前記パターン認識による物体認識部により得られたパターン認識による物体認識の結果に基づいて、認識対象の物体の識別を行う、ことを特徴とする。
【００２２】
（１３）本発明は、（１）から（１２）のいずれか１つに記載の画像認識装置において、車載用の画像認識装置であり、画像を撮像するカメラを備え、前記３Ｄ解析手法による物体認識部および前記パターン認識による物体認識部は、前記カメラにより撮像される画像に対して物体認識を行う、ことを特徴とする。
【００２３】
（１４）上述した課題を解決するために、本発明に係る画像認識方法は、３Ｄ解析手法による物体認識部が、画像に対して３Ｄ解析手法による物体認識を行い、パターン認識による物体認識部が、前記画像に対してパターン認識による物体認識を行い、前記３Ｄ解析手法による物体認識部により得られる３Ｄ解析手法による物体認識の結果と前記パターン認識による物体認識部により得られるパターン認識による物体認識の結果に基づいて最終ターゲットの認識結果を得る、ことを特徴とする。
【００２４】
（１５）上述した課題を解決するために、本発明に係る画像認識プログラムは、３Ｄ解析手法による物体認識部により得られる３Ｄ解析手法による物体認識の結果とパターン認識による物体認識部により得られるパターン認識による物体認識の結果に基づいて最終ターゲットの認識結果を得るために、３Ｄ解析手法による物体認識部が、画像に対して３Ｄ解析手法による物体認識を行う手順と、パターン認識による物体認識部が、前記画像に対してパターン認識による物体認識を行う手順と、をコンピュータに実行させるためのものである。
【発明の効果】
【００２５】
以上説明したように、本発明によれば、物体の認識を精度良く行うことができる画像認識装置、画像認識方法および画像認識プログラムを提供することが可能になる。
【図面の簡単な説明】
【００２６】
【図１】本発明の第１実施形態および第２実施形態に係る画像認識装置の構成を示すブロック図である。
【図２】パターン認識による物体認識部の構成を示すブロック図である。
【図３】３Ｄ解析手法による物体認識とパターン認識による物体認識との組み合わせにより物体認識の性能を向上させることが望まれる領域の例を示す図である。
【図４】本発明の第３実施形態に係る画像認識装置の構成を示すブロック図である。
【図５】本発明の第４実施形態に係る画像認識装置の構成を示すブロック図である。
【図６】本発明の第５実施形態に係る画像認識装置の構成を示すブロック図である。
【図７】本発明の第６実施形態に係る画像認識装置の構成を示すブロック図である。
【図８】本発明の第７実施形態に係る画像認識装置の構成を示すブロック図である。
【図９】３Ｄ解析手法の処理の手順の一例を示す図である。
【図１０】パターン認識による物体認識部のより詳細な構成を示すブロック図である。
【図１１】積分画像を説明するための図である。
【発明を実施するための形態】
【００２７】
以下の実施形態では、車両（自己の車両）に搭載される車載用の画像認識装置を例として示す。そして、以下の実施形態に係る画像認識装置は、車両の前方の画像を撮像する単眼カメラを備え、当該単眼カメラにより撮像した画像における物体を認識する装置として動作する。
【００２８】
［第１実施形態］
図１は、本発明の第１実施形態に係る画像認識装置１の構成を示すブロック図である。
本実施形態に係る画像認識装置１は、単眼カメラ１１と、画像取得部１２と、３Ｄ解析手法による物体認識部１３と、パターン認識による物体認識部１４と、最終ターゲット認識部１５と、距離・ＴＴＣ確定部１６と、トラッキング部１７と、衝突警報部１８と、ＡＣＣ制御部１９と、を備える。
【００２９】
本実施形態では、単眼カメラ１１は、画像認識装置１が搭載される車両の前方の画像を撮像する位置に設けられる。
【００３０】
本実施形態に係る画像認識装置１において行われる動作の例を示す。
単眼カメラ１１は、画像を撮像し、撮像した画像を画像取得部１２に出力する。
画像取得部１２は、単眼カメラ１１から入力された画像を取得し、取得した画像のデータを３Ｄ解析手法による物体認識部１３とパターン認識による物体認識部１４のそれぞれに出力する。
ここで、画像取得部１２は、例えば、取得した画像のデータを一時的に記憶する記憶部を有する。
【００３１】
３Ｄ解析手法による物体認識部１３は、画像取得部１２から入力された画像のデータについて、３Ｄ解析手法による物体認識の処理を行い、この物体認識の処理の結果を最終ターゲット認識部１５に出力する。
本実施形態では、３Ｄ解析手法による物体認識部１３は、画像取得部１２から入力された画像のデータについて、その画像の中で、車両が映っていると推定される画像領域を認識し、その画像領域を特定する情報を物体認識の処理の結果として最終ターゲット認識部１５に出力する。全体の画像中の画像領域は、例えば、水平（横）方向の座標値と垂直（縦）方向の座標値からなる座標の情報を用いて表現することができる。
ここで、３Ｄ解析手法による物体認識部１３では、処理の誤差によって、車両以外のものが映っている画像領域を、車両が映っている画像領域として誤認識することが生じ得る。
【００３２】
なお、本実施形態では、３Ｄ解析手法による物体認識部１３において、画像中に映っている移動物体（時間の流れとともに移動する物体であり、静止物体ではないもの）を検出し、検出した移動物体が映っている画像領域を、車両が映っていると推定される画像領域として認識する構成を示す。他の例として、３Ｄ解析手法による物体認識部１３において、車両が映っていると推定される画像領域を特定するための特徴となる情報を設定しておき、その特徴となる情報に一致または類似する物体が映っている画像領域を、車両が映っていると推定される画像領域（静止車両も含む）として認識する構成を用いることも可能である。
【００３３】
パターン認識による物体認識部１４は、画像取得部１２から入力された画像のデータについて、パターン認識による物体認識の処理を行い、この物体認識の処理の結果を最終ターゲット認識部１５に出力する。
本実施形態では、パターン認識による物体認識部１４は、車両の画像のパターン（学習結果による、弱識別器のパラメータ等）をメモリに記憶しており、画像取得部１２から入力された画像のデータについて、その画像の中で、メモリに記憶された車両の画像のパターンと同一または類似するものが映っていると推定される画像領域を認識し、その画像領域を特定する情報を物体認識の処理の結果として最終ターゲット認識部１５に出力する。全体の画像中の画像領域は、例えば、水平（横）方向の座標値と垂直（縦）方向の座標値からなる座標の情報を用いて表現することができる。
ここで、パターン認識による物体認識部１４では、処理の誤差によって、車両以外のものが映っている画像領域を、車両が映っている画像領域として誤認識することが生じ得る。
【００３４】
最終ターゲット認識部１５は、３Ｄ解析手法による物体認識部１３から入力された物体認識の処理の結果（本実施形態では、車両が映っていると推定される画像領域を特定する情報）と、パターン認識による物体認識部１４から入力された物体認識の処理の結果（本実施形態では、車両が映っていると推定される画像領域を特定する情報）について、これら２つの物体認識の処理の結果において、認識対象の物体（本実施形態では、車両）であると特定した画像領域（座標の領域）が一致する（重なる）部分を、最終的なターゲットの領域であると認識し、認識した最終的なターゲットの領域を特定する情報を距離・ＴＴＣ確定部１６に出力する。
【００３５】
具体例として、最終ターゲット認識部１５は、３Ｄ解析手法による物体認識部１３から入力された物体認識の処理の結果（本実施形態では、車両が映っていると推定される画像領域を特定する情報）と、パターン認識による物体認識部１４から入力された物体認識の処理の結果（本実施形態では、車両が映っていると推定される画像領域を特定する情報）について、ＡＮＤ論理の処理を行うことによって、これら２つの一致部分（重複部分）を検出し、その一致部分を、最終的なターゲットの領域であると認識する。
【００３６】
ここで、本実施形態では、全体の画像に認識対象の物体（本実施形態では、車両）が複数映っている場合には、３Ｄ解析手法による物体認識部１３やパターン認識による物体認識部１４はそれぞれの物体について物体認識の処理を行い、最終ターゲット認識部１５はそれぞれの物体について最終ターゲットの認識の処理を行う。
【００３７】
距離・ＴＴＣ確定部１６は、最終ターゲット認識部１５から入力された最終的なターゲットの領域を特定する情報に基づいて、それぞれの最終的なターゲット（本実施形態では、車両）ごとに、距離とＴＴＣを算出して確定し、確定した距離とＴＴＣの情報をトラッキング部１７に出力する。なお、本実施形態では、距離・ＴＴＣ確定部１６は、それぞれの最終的なターゲットの領域を特定する情報と、確定した距離とＴＴＣの情報との組をトラッキング部１７に出力する。
【００３８】
ここで、最終的なターゲットごとの距離とＴＴＣは、例えば、距離・ＴＴＣ確定部１６により算出する構成が用いられてもよく、あるいは、他の例として、３Ｄ解析手法による物体認識部１３またはパターン認識による物体認識部１４により算出して、算出した最終的なターゲットごとの距離とＴＴＣの情報を最終ターゲット認識部１５を介して距離・ＴＴＣ確定部１６に出力し、距離・ＴＴＣ確定部１６が入力された最終的なターゲットごとの距離とＴＴＣの情報により最終的なターゲットごとの距離とＴＴＣを確定する構成が用いられてもよい。
なお、最終的なターゲットごとの距離とＴＴＣは、例えば、３Ｄ解析手法による物体認識部１３により得られた物体認識の処理の結果を用いて算出することができ、他の例として、パターン認識による物体認識部１４により得られた物体認識の処理の結果を用いて算出されてもよく、さらに他の例として、これら両方の物体認識の処理の結果を用いて算出されてもよい。
【００３９】
トラッキング部１７は、距離・ＴＴＣ確定部１６から入力された情報に基づいて、トラッキングの処理を行い、衝突警報部１８とＡＣＣ制御部１９のそれぞれに各制御に必要な情報を出力する。本実施形態では、トラッキング部１７は、例えば、最終的なターゲットごとのＴＴＣの情報を衝突警報部１８に出力し、また、トラッキングの処理の結果の情報や、最終的なターゲットごとの距離や相対速度（自己の車両と最終的なターゲットとの距離や相対速度）の情報をＡＣＣ制御部１９に出力する。
【００４０】
ここで、最終的なターゲットごとの相対速度は、例えば、トラッキング部１７により算出され、他の例として、ＡＣＣ制御部１９などで算出されてもよい。
なお、トラッキング部１７は、時系列画像のトラッキングの処理を行う場合に、例えば、制御サイクルの時系列フィルタ処理で、過去制御サイクルとの結果で最終的な判定を行う。
【００４１】
衝突警報部１８は、トラッキング部１７から入力された情報に基づいて、ＴＴＣの計算結果により、最終的なターゲット（本実施形態では、他の車両）との衝突の可能性があると判断した場合には、その旨を自己の車両の乗員に警報する（ＦＣＷアプリケーション）。
【００４２】
ＡＣＣ制御部１９は、トラッキング部１７から入力された情報に基づいて、最終的なターゲット（本実施形態では、他の車両）との距離と相対速度の情報を用いて、前走車との車間距離の制御を行う。
【００４３】
ここで、本実施形態では、３Ｄ解析手法による物体認識部１３およびパターン認識による物体認識部１４が車両が映っていると推定される画像領域を認識し、最終ターゲット認識部１５が車両が映っていると推定される画像領域について最終的なターゲットの領域を認識する構成を示したが、他の例として、車両以外の種々なものが物体認識の対象（ターゲット）とされてもよく、例えば、二輪車や歩行者などが物体認識の対象（ターゲット）とされてもよく、また、車両と二輪車といったように２つ以上のものが物体認識の対象（ターゲット）とされてもよい。３Ｄ解析手法による物体認識部１３およびパターン認識による物体認識部１４には、例えば、あらかじめ、物体認識の対象（ターゲット）とするものを特定するための条件が設定され、その条件に基づいて物体認識の対象（ターゲット）が特定される。
【００４４】
次に、３Ｄ解析手法による物体認識部１３により行われる処理の例を示す。
図９は、３Ｄ解析手法の処理の手順の一例を示す図である。ここでは、各処理の概略を説明する。
なお、この処理の手順は、非特許文献１に記載されたものを引用しており、詳細については非特許文献１に記載されている。
【００４５】
３Ｄ解析手法による物体認識部１３は、画像取得部１２から入力される画像について、時間的に連続する２枚の画像を取得する（ステップＳ１）。時間的に連続する２枚の画像は、例えば、時刻ｔの画像と、時刻ｔ＋１の画像となる。
次に、３Ｄ解析手法による物体認識部１３は、特徴点を検出し、オプティカルフローを計算する（ステップＳ２）。
【００４６】
次に、３Ｄ解析手法による物体認識部１３は、自車両（自己の車両）の運動を推定する（ステップＳ３）。この処理では、一時刻前に検出された路面領域の情報と移動物体領域の情報が用いられる（ステップＳ８）。
次に、３Ｄ解析手法による物体認識部１３は、特徴点の三次元位置を計算する（ステップＳ４）。
【００４７】
次に、３Ｄ解析手法による物体認識部１３は、路面領域を検出する（ステップＳ５）。この処理では、一時刻前に検出された路面領域の情報と移動物体領域の情報が用いられる（ステップＳ８）。
次に、３Ｄ解析手法による物体認識部１３は、移動物体領域を検出する（ステップＳ６）。
そして、３Ｄ解析手法による物体認識部１３は、検出した移動物体（本実施形態では、車両であると推定される移動物体）をターゲットとして認識する（ステップＳ７）。
【００４８】
なお、３Ｄ解析手法による物体認識部１３により行われる処理としては、他の種々な３Ｄ解析手法による物体認識の処理が用いられてもよい。
また、本実施形態では、動きベクトルとして、オプティカルフローを用いる場合を示すが、他の種々なものが用いられてもよい。
【００４９】
次に、パターン認識による物体認識部１４の構成例を示す。
図２は、パターン認識による物体認識部１４の構成例を示すブロック図である。
本実施形態に係るパターン認識による物体認識部１４は、勾配積分画像算出部１０１と、座標スキャン部１０２と、特徴量ベクトル算出部１０３と、識別部１０４と、を備える。
【００５０】
ここで、本実施形態に係るパターン認識による物体認識部１４では、特徴量として、ＨＯＧ特徴量を用いている。他の例として、特徴量として、Ｈａａｒ−ｌｉｋｅ特徴量やＥｄｇｅｌｅｔ特徴量等の他の種々な特徴量が用いられてもよい。
また、本実施形態に係るパターン認識による物体認識部１４では、識別部１０４において、ＡｄａＢｏｏｓｔの認識アルゴリズムを用いている。他の例として、認識アルゴリズムとして、Ｒｅａｌ ＡｄａＢｏｏｓｔやＳＶＭ等の他の種々な認識アルゴリズムやその改良アルゴリズムが用いられてもよい。
【００５１】
パターン認識による物体認識部１４において行われる動作の例を示す。
なお、ＨＯＧ特徴量やＡｄａＢｏｏｓｔの認識アルゴリズムとしては、それぞれ、公知の技術を利用することができ、本実施形態では、詳しい説明は省略する。
【００５２】
パターン認識による物体認識部１４に入力された画像は、勾配積分画像算出部１０１に入力される。
勾配積分画像算出部１０１は、入力された画像について、全画像に対して勾配強度と勾配方向を算出し、それぞれの勾配方向の勾配強度に対して積分画像を算出し、ヒストグラムを計算する。勾配積分画像算出部１０１は、この計算結果の情報を座標スキャン部１０２に出力する。
なお、本実施形態では、元の全画像に対して勾配強度と勾配方向を算出するが、他の例として、ピラミッド画像により解像度を下げた画像にも適用可能である。
【００５３】
座標スキャン部１０２は、勾配積分画像算出部１０１から入力された情報に基づいて、全画像の中であらかじめ設定した任意の座標領域に対して、前記した勾配方向の勾配強度を算出する。座標スキャン部１０２は、この算出結果の情報を特徴量ベクトル算出部１０３に出力する。
【００５４】
ここで、本実施形態では、勾配積分画像算出部１０１によりあらかじめ算出しておいた積分画像があるため、座標スキャン部１０２により任意のウインドウ（枠）の積分値を容易に算出することができる。
なお、他の例として、このような積分画像を使用しない構成が用いられてもよい。
【００５５】
特徴量ベクトル算出部１０３は、座標スキャン部１０２から入力された情報に基づいて、ＨＯＧ特徴量としての特徴ベクトル化を行う。特徴量ベクトル算出部１０３は、この結果の情報（特徴量ベクトルの情報）を識別部１０４に出力する。
識別部１０４は、特徴量ベクトル算出部１０３から入力された情報に基づいて、ＡｄａＢｏｏｓｔによる識別の処理を行い、あらかじめターゲットとしている物体（本実施形態では、あらかじめ用意された車両の画像のパターンに合致する物体）を認識する。識別部１０４は、この物体認識の処理の結果を出力する。
識別部１０４から出力された物体認識の処理の結果は、パターン認識による物体認識部１４から出力されて、最終ターゲット認識部１５に入力される。
なお、識別部１０４と最終ターゲット認識部１５との間にクラスタリング部を設けてミーンシフト等のクラスタリングを行ってもよい。
【００５６】
図１０は、パターン認識による物体認識部１４のより詳細な構成を示すブロック図である。
図１０は、勾配積分画像算出部１０１と、特徴量ベクトル算出部１０３について、詳しい構成例を示してある。
勾配積分画像算出部１０１は、勾配強度検出部３０１と、勾配方向検出部３０２と、勾配方向ごとの勾配強度の積分部３０３と、を備える。
特徴量ベクトル算出部１０３は、セル単位の積分値算出部３１１と、ブロック正規化部３１２と、特徴量ベクトル算出処理部３１３と、を備える。
【００５７】
勾配積分画像算出部１０１において行われる動作の例を示す。
勾配積分画像算出部１０１に入力された画像は、勾配強度検出部３０１に入力される。
勾配強度検出部３０１は、入力された画像に基づいて、各ピクセル（ｕ，ｖ）における画素値（例えば、輝度値）の勾配強度ｍ（ｕ，ｖ）を検出する。勾配強度検出部３０１は、入力された画像および検出した勾配強度ｍ（ｕ，ｖ）を勾配方向検出部３０２に出力する。
ここで、ｕとｖは、直交座標平面上における画素（ピクセル）の位置を表すための座標の縦軸方向の値と横軸方向の値である。
【００５８】
勾配方向検出部３０２は、勾配強度検出部３０１から画像および勾配強度ｍ（ｕ，ｖ）を入力し、入力した画像に基づいて各ピクセル（ｕ，ｖ）における勾配方向ｑ（ｕ，ｖ）を検出する。勾配方向検出部３０２は、入力した勾配強度ｍ（ｕ，ｖ）および検出した勾配方向ｑ（ｕ，ｖ）を勾配方向ごとの勾配強度の積分部３０３に出力する。
【００５９】
勾配方向ごとの勾配強度の積分部３０３は、勾配方向検出部３０２から入力された勾配強度ｍ（ｕ，ｖ）および勾配方向ｑ（ｕ，ｖ）に基づいて、勾配方向ごとに勾配強度の積分を行う。勾配方向ごとの勾配強度の積分部３０３は、この積分の結果により得られる情報を出力する。
勾配方向ごとの勾配強度の積分部３０３から出力された情報は、勾配積分画像算出部１０１による計算結果の情報として当該勾配積分画像算出部１０１から出力されて、座標スキャン部１０２に入力される。
【００６０】
座標スキャン部１０２は、全画像領域またはその中の所望の比較的大きい領域内を、特定の座標領域（ウインドウ）をスライド（ウインドウサイズのスケールも可変して、順次スライドする）しながら、次の特徴量ベクトル算出部１０３で算出するウインドウを選択する。
【００６１】
特徴量ベクトル算出部１０３において行われる動作の例を示す。
座標スキャン部１０２から特徴量ベクトル算出部１０３に入力された情報は、セル単位の積分値算出部３１１に入力される。
セル単位の積分値算出部３１１は、入力された情報に基づいて、勾配方向ごとの勾配強度について、セル単位の積分値を算出する。セル単位の積分値算出部３１１は、算出したセル単位の積分値をブロック正規化部３１２に出力する。
【００６２】
ブロック正規化部３１２は、セル単位の積分値算出部３１１から入力されたセル単位の積分値について、ブロック単位で、正規化を行う。ブロック正規化部３１２は、この正規化の結果の情報を特徴量ベクトル算出処理部３１３に出力する。
特徴量ベクトル算出処理部３１３は、ブロック正規化部３１２から入力された情報に基づいて、特徴量ベクトル（本実施形態では、ＨＯＧ特徴量のベクトル）を算出する。特徴量ベクトル算出処理部３１３は、算出した特徴量ベクトルの情報を出力する。
特徴量ベクトル算出処理部３１３から出力された情報は、特徴量ベクトル算出部１０３から出力されて、識別部１０４に入力される。
【００６３】
ここで、本実施形態では、１つのセルは座標スキャンするウインドウの１／１６のサイズから構成されており、１つのブロックは３セル（縦）×３セル（横）の領域から構成されている。
なお、セルの大きさや、ブロックの大きさとしては、それぞれ、他の種々な構成が用いられてもよい。
【００６４】
ここで、積分画像について説明しておく。積分画像は、一般に知られた技術であり、ここでは、その概略を説明する。
図１１は、積分画像を説明するための図である。
図１１において、画像の左上を画素の座標の基準位置（０，０）として、座標（ｕ、ｖ）を考える。また、座標（ｕ，ｖ）における画像の画素値をｉ（ｕ，ｖ）とする。
ｓ（ｕ，ｖ）を行の画素の総和（縦方向の総和）とし、ｉｉ（ｕ，ｖ）を列のｓ（ｕ，ｖ）の総和（横方向の総和）とする。このｉｉ（ｕ，ｖ）が積分画像となる。
このとき、次の式（１）、式（２）が表される。ここで、ｓ（−１，ｖ）＝０とし、ｉｉ（ｕ，−１）＝０とする。
【００６５】
ｓ（ｕ，ｖ）＝ｓ（ｕ−１，ｖ）＋ｉ（ｕ，ｖ） ・・・（１）
【００６６】
ｉｉ（ｕ，ｖ）＝ｉｉ（ｕ，ｖ−１）＋ｓ（ｕ、ｖ） ・・・（２）
【００６７】
このとき、一例として、図１１に示される第４領域における画素値の和Ｓ（４）を求める場合には、式（３）により算出することができる。
【００６８】
Ｓ（４）＝ｉｉ（ｕ，ｖ）−ｉｉ（ｕ，ｖ−Ｑ１）−ｉｉ（ｕ−Ｐ１，ｖ）＋ｉｉ（ｕ−Ｐ１，ｖ−Ｑ１） ・・・（３）
【００６９】
本実施形態では、このような積分画像ｉｉ（ｕ，ｖ）を使用することで、演算を容易化することが可能である。
【００７０】
次に、３Ｄ解析手法による物体認識部１３により行われる３Ｄ解析手法による物体認識とパターン認識による物体認識部１４により行われるパターン認識による物体認識との組み合わせについて説明する。
図３は、３Ｄ解析手法による物体認識とパターン認識による物体認識との組み合わせにより物体認識の性能を向上させることが望まれる領域の例を示す図である。
図３に示される画像１００１では、道路上に車両が走行している。そして、３Ｄ解析手法による物体認識とパターン認識による物体認識との組み合わせにより物体認識の性能を向上させることが望まれる領域として、縦方向の辺よりも横方向の辺の方が長い矩形の枠１００２の領域が示されている。
【００７１】
この枠１００２の領域は、３Ｄ解析手法による物体認識の単体ではターゲット（本実施形態では、車両）以外の物体を誤認識する可能性がある領域であり、且つ、パターン認識による物体認識の単体でもターゲット（本実施形態では、車両）以外の物体を誤認識する可能性がある領域である。
従って、このような互いの認識性能がある場合には、本実施形態のように、最終的なターゲットと認識するために、最終ターゲット認識部１５によりＡＮＤ論理での認識を行うことが効果的である。このように最終的なターゲットと認識する論理（本実施形態では、ＡＮＤ論理）は、３Ｄ解析手法による物体認識とパターン認識による物体認識との互いの判定性能に依存して定めたものである。
【００７２】
なお、このような、３Ｄ解析手法による物体認識とパターン認識による物体認識との組み合わせにより物体認識の性能を向上させることが望まれる領域は、例えば、道路の状況などによって、変動する。
図３に示される例では、道路がほぼ直進方向にあるが、大きいカーブでの前走車を認識することが必要であることから、横長の枠１００２の領域を設定している。
ここで、枠１００２の領域は、例えば、画像１００１における座標の値を用いて表すことができる。
【００７３】
以上のように、本実施形態に係る画像認識装置１は、３Ｄ解析手法による物体認識の結果と、パターン認識による物体認識の結果とで、画像中においてＡＮＤ論理が成立した座標領域の物体を最終的にターゲット（目標と定めた物体）であると判断する。
従って、本実施形態に係る画像認識装置１によれば、物体の認識を精度良く行うことができ、ターゲットとする物体の検出に好適な装置を提供することができる。例えば、本実施形態に係る画像認識装置１によれば、画像の消失点付近を含む比較的遠距離にある物体の形状を認識する精度が大幅に向上するため、前方衝突警報装置（ＦＣＷ）に適用することができ、さらに、特に遠距離での認識が必要な車間距離制御装置（ＡＣＣ）への適用が可能となる効果を有する。
【００７４】
なお、一般的に、３Ｄ解析手法による物体認識では、遠距離にある物体の認識は不得手であると考えられるが、本実施形態では、パターン認識による物体認識を併用することで、遠距離にある物体の認識についても、精度を向上させている。
【００７５】
［第２実施形態］
本実施形態に係る画像認識装置１ａの概略的な構成は、図１に示される第１実施形態に係る画像認識装置１の構成と同様であるため、以下では、図１に示される構成および各構成部の符号を利用して説明する。
なお、以下では、第１実施形態に係る画像認識装置１とは異なる点について詳しく説明する。
【００７６】
本実施形態に係る画像認識装置１ａでは、主に、最終ターゲット認識部１５の構成および動作が、第１実施形態の場合とは異なっている。
本実施形態では、最終ターゲット認識部１５は、ＯＲ論理を用いて認識を行う。
具体的には、最終ターゲット認識部１５は、３Ｄ解析手法による物体認識部１３から入力された物体認識の処理の結果（本実施形態では、車両が映っていると推定される画像領域を特定する情報）と、パターン認識による物体認識部１４から入力された物体認識の処理の結果（本実施形態では、車両が映っていると推定される画像領域を特定する情報）について、これら２つの物体認識の処理の結果において、認識対象の物体（本実施形態では、車両）であると特定した何れかまたは一致する画像領域（座標の領域）の部分を、最終的なターゲットの領域であると認識し、認識した最終的なターゲットの領域を特定する情報を距離・ＴＴＣ確定部１６に出力する。
【００７７】
具体例として、最終ターゲット認識部１５は、３Ｄ解析手法による物体認識部１３から入力された物体認識の処理の結果（本実施形態では、車両が映っていると推定される画像領域を特定する情報）と、パターン認識による物体認識部１４から入力された物体認識の処理の結果（本実施形態では、車両が映っていると推定される画像領域を特定する情報）について、ＯＲ論理の処理を行うことによって、最終的なターゲットの領域であると認識する。
【００７８】
ここで、本実施形態では、全体の画像に認識対象の物体（本実施形態では、車両）が複数映っている場合には、３Ｄ解析手法による物体認識部１３やパターン認識による物体認識部１４はそれぞれの物体について物体認識の処理を行い、最終ターゲット認識部１５はそれぞれの物体について最終ターゲットの認識の処理を行う。
【００７９】
次に、３Ｄ解析手法による物体認識部１３により行われる３Ｄ解析手法による物体認識とパターン認識による物体認識部１４により行われるパターン認識による物体認識との組み合わせについて説明する。
第１実施形態において参照した図３には、３Ｄ解析手法による物体認識とパターン認識による物体認識との組み合わせにより物体認識の性能を向上させることが望まれる領域として、矩形の枠１００２の領域が示されている。
【００８０】
この枠１００２の領域は、３Ｄ解析手法による物体認識の単体ではターゲット（本実施形態では、車両）を認識することができない可能性がある領域であり、且つ、パターン認識による物体認識でもターゲット（本実施形態では、車両）を認識することができない可能性がある領域である。
従って、このような互いの認識性能がある場合には、本実施形態のように、最終的なターゲットと認識するために、最終ターゲット認識部１５によりＯＲ論理での認識を行うことが効果的である。このように最終的なターゲットと認識する論理（本実施形態では、ＯＲ論理）は、３Ｄ解析手法による物体認識とパターン認識による物体認識との互いの判定性能に依存して定めたものである。
【００８１】
以上のように、本実施形態に係る画像認識装置１ａは、３Ｄ解析手法による物体認識の結果と、パターン認識による物体認識の結果とで、画像中においてＯＲ論理が成立した座標領域の物体を最終的にターゲット（目標と定めた物体）であると判断する。
従って、本実施形態に係る画像認識装置１ａによれば、物体の認識を精度良く行うことができ、ターゲットとする物体の検出に好適な装置を提供することができる。例えば、本実施形態に係る画像認識装置１ａによれば、画像の消失点付近を含む比較的遠距離にある物体の形状を認識する精度が大幅に向上するため、前方衝突警報装置（ＦＣＷ）に適用することができ、さらに、特に遠距離での認識が必要な車間距離制御装置（ＡＣＣ）への適用が可能となる効果を有する。
【００８２】
ここで、最終ターゲット認識部１５により行われる動作として、第１実施形態ではＡＮＤ論理の動作を示し、第２実施形態ではＯＲ論理の動作を示したが、他の動作が用いられてもよい。
ＡＮＤ論理の一例として、最終ターゲット認識部１５は、３Ｄ解析手法による物体認識部１３から入力された物体認識の処理の結果（本実施形態では、車両が映っていると推定される画像領域を特定する情報）と、パターン認識による物体認識部１４から入力された物体認識の処理の結果（本実施形態では、車両が映っていると推定される画像領域を特定する情報）について、これら２つの物体認識の処理の結果において、認識対象の物体（本実施形態では、車両）であると特定した画像領域（座標の領域）の重複部分（オーバーラップする部分）が所定の割合（例えば、５０％など）以上である場合に、あらかじめ定められたいずれか一方の物体認識の処理の結果を最終的なターゲットの領域であると認識し、認識した最終的なターゲットの領域を特定する情報を距離・ＴＴＣ確定部１６に出力する、といった構成を用いることができる。
【００８３】
［第３実施形態］
図４は、本発明の第３実施形態に係る画像認識装置２の構成を示すブロック図である。
本実施形態に係る画像認識装置２は、単眼カメラ１１と、画像取得部１２と、３Ｄ解析手法による物体認識部２１と、パターン認識による物体認識部２２と、最終ターゲット認識部１５と、距離・ＴＴＣ確定部１６と、トラッキング部１７と、衝突警報部１８と、ＡＣＣ制御部１９と、を備える。
【００８４】
ここで、本実施形態に係る画像認識装置２の構成や動作は、３Ｄ解析手法による物体認識部２１とパターン認識による物体認識部２２に関する構成や動作を除いて、図１に示される第１実施形態に係る画像認識装置１の構成（ＡＮＤ論理を用いる構成）、または、第２実施形態に係る画像認識装置１ａの構成（ＯＲ論理を用いる構成）と同様である。
このため、図４では、第１実施形態または第２実施形態と同様な構成部については、同一の符号を付してある。以下では、第１実施形態に係る画像認識装置１または第２実施形態に係る画像認識装置１ａとは異なる点について詳しく説明する。
【００８５】
３Ｄ解析手法による物体認識部２１は、特徴点・オプティカルフロー検出部１１１と、自車に対する相対距離検出部１１２と、クラスタリング部１１３と、を備える。
パターン認識による物体認識部２２は、勾配積分画像算出部１２１と、座標スキャン部１２２と、特徴量ベクトル算出部１２３と、識別部１２４と、を備える。座標スキャン部１２２は、座標のスキャン領域決定部１２６を備える。
【００８６】
３Ｄ解析手法による物体認識部２１において行われる動作の例を示す。
画像取得部１２から３Ｄ解析手法による物体認識部２１に入力された画像は、特徴点・オプティカルフロー検出部１１１に入力される。
この入力画像は、特徴点・オプティカルフロー検出部１１１、自車に対する相対距離検出部１１２、クラスタリング部１１３により、順に処理されて、その処理の結果がクラスタリング部１１３から出力される。
クラスタリング部１１３から出力された処理の結果は、３Ｄ解析手法による物体認識の処理の結果として、３Ｄ解析手法による物体認識部２１から出力されて、最終ターゲット認識部１５に入力される。
【００８７】
ここで、本実施形態では、３Ｄ解析手法による物体認識部２１において、図９に示されるのと同様な３Ｄ解析手法の処理の手順による処理を行う。
本実施形態では、一例として、特徴点・オプティカルフロー検出部１１１がステップＳ１〜ステップＳ２の処理を実行し、自車に対する相対距離検出部１１２がステップＳ３〜ステップＳ６の処理を実行し、クラスタリング部１１３がステップＳ７の処理を実行する。
【００８８】
さらに、本実施形態では、特徴点・オプティカルフロー検出部１１１は、検出した特徴点の情報と、検出（本実施形態では、計算）したオプティカルフローの情報を座標スキャン部１２２に出力する。
【００８９】
パターン認識による物体認識部２２において行われる動作の例を示す。
画像取得部１２からパターン認識による物体認識部２２に入力された画像は、勾配積分画像算出部１２１に入力される。
この入力画像は、勾配積分画像算出部１２１、座標スキャン部１２２、特徴量ベクトル算出部１２３、識別部１２４により、順に処理されて、その処理の結果が識別部１２４から出力される。
識別部１２４から出力された処理の結果は、パターン認識による物体認識の処理の結果として、パターン認識による物体認識部２２から出力されて、最終ターゲット認識部１５に入力される。
【００９０】
ここで、本実施形態では、パターン認識による物体認識部２２に備えられた勾配積分画像算出部１２１と、座標スキャン部１２２と、特徴量ベクトル算出部１２３と、識別部１２４によって、概略的には、それぞれ、図２に示される勾配積分画像算出部１０１と、座標スキャン部１０２と、特徴量ベクトル算出部１０３と、識別部１０４と同様な動作を行う。
【００９１】
さらに、本実施形態では、特徴点・オプティカルフロー検出部１１１から出力された特徴点の情報と、オプティカルフローの情報が、座標スキャン部１２２に入力される。座標スキャン部１２２に入力された特徴点の情報とオプティカルフローの情報は、座標のスキャン領域決定部１２６に入力される。
【００９２】
座標のスキャン領域決定部１２６は、入力された特徴点の情報とオプティカルフローの情報のうちの一方または両方に基づいて、座標スキャン部１２２において座標スキャンする領域を決定する。本実施形態では、このようにして決定される座標スキャン部１２２において座標スキャンする領域は、パターン認識を行う領域となる。
【００９３】
本実施形態では、座標スキャン部１２２は、勾配積分画像算出部１２１から入力された情報に基づいて、全画像の中で、座標のスキャン領域決定部１２６により決定された座標スキャンする領域（座標領域）に対して、勾配方向の勾配強度を算出する。座標スキャン部１２２は、この算出結果の情報を特徴量ベクトル算出部１２３に出力する。
【００９４】
ここで、座標のスキャン領域決定部１２６は、例えば、入力された特徴点の情報とオプティカルフローの情報のうちの一方または両方に基づいて、座標スキャン部１２２において座標スキャンする領域として、全画像中において、認識対象の物体（本実施形態では、車両）が映っている可能性が高いと推定される領域を決定する。
【００９５】
特徴点の情報を優先してパターン認識の座標スキャンの領域を決定する手法の一例として、特徴点が密集する領域を検出し、その密集する領域のサイズを包含する広めの領域を、座標スキャン部１２２において座標スキャンする領域として決定することができる。
【００９６】
特徴点の情報を優先してパターン認識の座標スキャンの領域を決定する手法の他の一例として、座標のスキャン領域決定部１２６は、特徴点が多い方が認識対象の物体が映っている可能性が高いという推定に基づいて、全画像をあらかじめ設定された複数に分割した領域（分割領域）を想定し、各分割領域内に存在する特徴点の数を算出し、算出した特徴点の数があらかじめ設定された値（閾値）より多い分割領域のみを、座標スキャン部１２２において座標スキャンする領域として決定することができる。
【００９７】
なお、この閾値としては、一例として、２以上の値を設定する。
他の一例として、この閾値として、１を設定することもできる。この場合、座標のスキャン領域決定部１２６は、全画像をあらかじめ設定された複数に分割した領域（分割領域）を想定し、１つでも特徴点が抽出された分割領域のみを、座標スキャン部１２２において座標スキャンする領域として決定することができる。
【００９８】
オプティカルフローの情報を優先してパターン認識の座標スキャンの領域を決定する手法の一例として、座標のスキャン領域決定部１２６は、オプティカルフローにより定められる変化量（例えば、勾配の強度）の平均値が大きい方が認識対象の物体が映っている可能性が高いという推定に基づいて、全画像をあらかじめ設定された複数に分割した領域（分割領域）を想定し、各分割領域内に存在する１つ以上のオプティカルフローにより定められる変化量の平均値を算出し、算出した平均値があらかじめ設定された値（閾値）より大きい分割領域のみを、座標スキャン部１２２において座標スキャンする領域として決定することができる。
【００９９】
また、オプティカルフローの情報を優先してパターン認識の座標スキャンの領域を決定する手法の他の一例として、座標のスキャン領域決定部１２６は、全画像をあらかじめ設定された複数に分割した領域（分割領域）を想定し、あらかじめ設定された値（閾値）より大きいオプティカルフローが１つでも抽出された分割領域のみを、座標スキャン部１２２において座標スキャンする領域として決定することができる。
【０１００】
また、特徴点の情報やオプティカルフローの情報を優先してパターン認識の座標スキャンの領域を決定する手法の一例として、座標のスキャン領域決定部１２６は、特徴点に関する条件（例えば、上記したもの等、１つ以上の条件）を満たし、且つ、オプティカルフローに関する条件（例えば、上記したもの等、１つ以上の条件）を満たす分割領域のみを、座標スキャン部１２２において座標スキャンする領域として決定することができる。
【０１０１】
また、特徴点の情報やオプティカルフローの情報を優先してパターン認識の座標スキャンの領域を決定する手法の他の一例として、座標のスキャン領域決定部１２６は、特徴点に関する条件（例えば、上記したもの等、１つ以上の条件）またはオプティカルフローに関する条件（例えば、上記したもの等、１つ以上の条件）のうちの少なくとも１つの条件を満たす分割領域（これらの全ての条件を満たす分割領域も含む）のみを、座標スキャン部１２２において座標スキャンする領域として決定することができる。
【０１０２】
また、以上のようにして特徴点の情報とオプティカルフローの情報のうちの一方または両方を優先してパターン認識の座標スキャンの領域を決定する手法では、例えば、座標のスキャン領域決定部１２６は、以上のようにして特徴点の情報とオプティカルフローの情報のうちの一方または両方に基づいて決定した領域のみを座標スキャン部１２２において座標スキャンする領域とする構成以外に、以上のようにして特徴点の情報とオプティカルフローの情報のうちの一方または両方に基づいて決定した領域とともに、他の任意の手法により決定した領域についても、座標スキャン部１２２において座標スキャンする領域とする、こともできる。
【０１０３】
次に、座標のスキャン領域決定部１２６について、他の例を示す。
他の例に係る座標のスキャン領域決定部１２６は、入力された特徴点の情報とオプティカルフローの情報のうちの一方または両方に基づいて、座標スキャン部１２２において座標スキャンする領域の重要度を決定する。本実施形態では、このようにして決定される座標スキャン部１２２において座標スキャンする領域の重要度は、パターン認識を行う領域の重要度として使用される。
【０１０４】
本実施形態では、座標スキャン部１２２は、勾配積分画像算出部１２１から入力された情報に基づいて、例えば全画像の中であらかじめ設定した任意の座標領域に対して、他の例に係る座標のスキャン領域決定部１２６により決定された座標スキャンする領域（座標領域）の重要度を考慮して、勾配方向の勾配強度を算出する。座標スキャン部１２２は、この算出結果の情報を特徴量ベクトル算出部１２３に出力する。
【０１０５】
ここで、他の例に係る座標のスキャン領域決定部１２６は、例えば、入力された特徴点の情報とオプティカルフローの情報のうちの一方または両方に基づいて、座標スキャン部１２２において座標スキャンする領域の重要度として、全画像中において認識対象の物体が映っている可能性が高いと推定される領域の重要度を高い重要度とするように決定する。
【０１０６】
特徴点の情報とオプティカルフローの情報のうちの一方または両方を重要視してパターン認識の座標スキャンの領域の重要度を決定する手法の一例として、他の例に係る座標のスキャン領域決定部１２６は、上記のように特徴点の情報とオプティカルフローの情報のうちの一方または両方を優先してパターン認識の座標スキャンの領域を決定する手法により決定された分割領域については、特徴量に関する情報（例えば、勾配強度など）を算出するときの重み付け（重要度）を大きくすることができる。具体例として、他の例に係る座標のスキャン領域決定部１２６は、上記のように特徴点の情報とオプティカルフローの情報のうちの一方または両方を優先してパターン認識の座標スキャンの領域を決定する手法により決定された分割領域については、他の分割領域と比べて、得られた特徴量に関する値（例えば、勾配強度など）にあらかじめ設定された値（例えば、１より大きい値）を乗算することができ、つまり、このような分割領域においては、他の分割領域と比べて、小さい特徴量に関する値であっても、より特徴量が大きいとみなす。
【０１０７】
特徴点の情報とオプティカルフローの情報のうちの一方または両方を重要視してパターン認識の座標スキャンの領域の重要度を決定する手法の他の一例として、他の例に係る座標のスキャン領域決定部１２６は、上記のように特徴点の情報とオプティカルフローの情報のうちの一方または両方を優先してパターン認識の座標スキャンの領域を決定する手法により決定された分割領域については、他の分割領域と比べて、特徴量に関する情報（例えば、勾配強度など）を算出するときの分解能を細かくすることができる。具体例として、他の例に係る座標のスキャン領域決定部１２６は、上記のように特徴点の情報とオプティカルフローの情報のうちの一方または両方を優先してパターン認識の座標スキャンの領域を決定する手法により決定された分割領域については、あらかじめ設定された比較的細かい分解能でスライド（移動）させてスキャンし、他の分割領域については、あらかじめ設定された比較的粗い分解能でスライド（移動）させてスキャンすることができる。
【０１０８】
以上のように、本実施形態に係る画像認識装置２では、３Ｄ解析手法による物体認識部２１の特徴点・オプティカルフロー検出部１１１により得られた情報が、パターン認識による物体認識部２２の座標のスキャン領域決定部１２６（上記した他の例に係る座標のスキャン領域決定部１２６でもよい）に伝えられて利用される構成となっている。
従って、本実施形態に係る画像認識装置２によれば、物体の認識を精度良く行うことができ、ターゲットとする物体の検出に好適な装置を提供することができる。例えば、本実施形態に係る画像認識装置２によれば、３Ｄ解析手法による物体認識において得られた特徴点の情報または動きベクトル（本実施形態では、オプティカルフロー）の情報に基づく座標領域を優先してまたは重要視して、パターン認識を行う画像において座標をスキャンする領域に関する設定を行うことができる。これにより、例えば、パターン認識の座標スキャン時の処理負荷を軽減することが可能である。
【０１０９】
［第４実施形態］
図５は、本発明の第４実施形態に係る画像認識装置３の構成を示すブロック図である。
本実施形態に係る画像認識装置３は、単眼カメラ１１と、画像取得部１２と、３Ｄ解析手法による物体認識部３１と、パターン認識による物体認識部３２と、最終ターゲット認識部１５と、距離・ＴＴＣ確定部１６と、トラッキング部１７と、衝突警報部１８と、ＡＣＣ制御部１９と、を備える。
【０１１０】
ここで、本実施形態に係る画像認識装置３の構成や動作は、３Ｄ解析手法による物体認識部３１とパターン認識による物体認識部３２に関する構成や動作を除いて、図１に示される第１実施形態に係る画像認識装置１の構成（ＡＮＤ論理を用いる構成）、または、第２実施形態に係る画像認識装置１ａの構成（ＯＲ論理を用いる構成）と同様である。
このため、図５では、第１実施形態または第２実施形態と同様な構成部については、同一の符号を付してある。以下では、第１実施形態に係る画像認識装置１または第２実施形態に係る画像認識装置１ａとは異なる点について詳しく説明する。
【０１１１】
３Ｄ解析手法による物体認識部３１は、特徴点・オプティカルフロー検出部１３１と、自車に対する相対距離検出部１３２と、クラスタリング部１３３と、を備える。
パターン認識による物体認識部３２は、座標のスキャン領域決定部１４１と、勾配積分画像算出部１４２と、特徴量ベクトル算出部１４３と、識別部１４４と、を備える。
【０１１２】
３Ｄ解析手法による物体認識部３１において行われる動作の例を示す。
画像取得部１２から３Ｄ解析手法による物体認識部３１に入力された画像は、特徴点・オプティカルフロー検出部１３１に入力される。
この入力画像は、特徴点・オプティカルフロー検出部１３１、自車に対する相対距離検出部１３２、クラスタリング部１３３により、順に処理されて、その処理の結果がクラスタリング部１３３から出力される。
クラスタリング部１３３から出力された処理の結果は、３Ｄ解析手法による物体認識の処理の結果として、３Ｄ解析手法による物体認識部３１から出力されて、最終ターゲット認識部１５に入力される。
【０１１３】
ここで、本実施形態では、３Ｄ解析手法による物体認識部３１において、図９に示されるのと同様な３Ｄ解析手法の処理の手順による処理を行う。
本実施形態では、一例として、特徴点・オプティカルフロー検出部１３１がステップＳ１〜ステップＳ２の処理を実行し、自車に対する相対距離検出部１３２がステップＳ３〜ステップＳ６の処理を実行し、クラスタリング部１３３がステップＳ７の処理を実行する。
【０１１４】
さらに、本実施形態では、クラスタリング部１３３は、検出された移動物体（本実施形態では、車両であると推定される移動物体）をターゲットとして認識した結果に基づいて、物体認識の処理の結果（本実施形態では、車両が映っていると推定される画像領域を特定する情報）を座標のスキャン領域決定部１４１に出力する。
【０１１５】
パターン認識による物体認識部３２において行われる動作の例を示す。
画像取得部１２からパターン認識による物体認識部３２に入力された画像は、座標のスキャン領域決定部１４１に入力される。
この入力画像は、座標のスキャン領域決定部１４１、勾配積分画像算出部１４２、特徴量ベクトル算出部１４３、識別部１４４により、順に処理されて、その処理の結果が識別部１４４から出力される。
識別部１４４から出力された処理の結果は、パターン認識による物体認識の処理の結果として、パターン認識による物体認識部３２から出力されて、最終ターゲット認識部１５に入力される。
【０１１６】
ここで、本実施形態では、クラスタリング部１３３から出力された物体認識の処理の結果（本実施形態では、車両が映っていると推定される画像領域を特定する情報）が、座標のスキャン領域決定部１４１に入力される。
【０１１７】
座標のスキャン領域決定部１４１は、入力された画像について、クラスタリング部１３３から入力された物体認識の処理の結果に基づいて、座標スキャンする領域を決定する。一例として、座標スキャンする領域は、クラスタリング部１３３から入力された物体の領域よりも広めの領域とする。座標のスキャン領域決定部１４１は、決定した座標スキャンする領域を特定する情報および入力された画像を勾配積分画像算出部１４２に出力する。本実施形態では、このようにして決定される座標スキャンする領域は、パターン認識を行う領域となる。
【０１１８】
勾配積分画像算出部１４２は、座標のスキャン領域決定部１４１から入力された画像について、座標のスキャン領域決定部１４１から入力された情報により特定される座標スキャンする領域（座標領域）の画像に対して、勾配強度と勾配方向を算出し、それぞれの勾配方向の勾配強度に対して積分画像を算出し、ヒストグラムを計算する。勾配積分画像算出部１４２は、この計算結果の情報を特徴量ベクトル算出部１４３に出力する。
【０１１９】
特徴量ベクトル算出部１４３は、勾配積分画像算出部１４２から入力された情報に基づいて、ＨＯＧ特徴量としての特徴ベクトル化を行う。特徴量ベクトル算出部１４３は、この結果の情報を識別部１４４に出力する。
識別部１４４は、特徴量ベクトル算出部１４３から入力された情報に基づいて、ＡｄａＢｏｏｓｔによる識別の処理を行い、あらかじめターゲットとしている物体（本実施形態では、あらかじめ用意された車両の画像のパターンに合致する物体）を認識する。識別部１４４は、この物体認識の処理の結果を出力する。
【０１２０】
なお、本実施形態では、パターン認識による物体認識部３２において、座標のスキャン領域決定部１４１により座標のスキャン領域を決定した後に、勾配積分画像算出部１４２により勾配積分画像を算出する構成としてあり、この構成によって、例えば、第３実施形態に係る図４に示されるように、パターン認識による物体認識部２２において、勾配積分画像算出部１２１による処理を行った後に、座標のスキャン領域決定部１２６による処理を行う構成と、全体としては同様な処理を実現している。
【０１２１】
ここで、座標のスキャン領域決定部１４１は、例えば、クラスタリング部１３３から入力された物体認識の処理の結果（本実施形態では、車両が映っていると推定される画像領域を特定する情報）に基づいて、座標スキャンする領域として、全画像中において、認識対象の物体（本実施形態では、車両）が映っていると推定される領域を決定する。
【０１２２】
３Ｄ解析手法による物体認識の処理の結果を優先してパターン認識の座標スキャンの領域を決定する手法の一例として、座標のスキャン領域決定部１４１は、３Ｄ解析手法による物体認識の処理の結果に基づいて、３Ｄ解析手法による物体認識によって認識対象の物体が映っていると判定された領域（判定領域）のみを、座標スキャンする領域として決定することができる。
【０１２３】
また、３Ｄ解析手法による物体認識の処理の結果を優先してパターン認識の座標スキャンの領域を決定する手法の他の一例として、座標のスキャン領域決定部１４１は、全画像をあらかじめ設定された複数に分割した領域（分割領域）を想定し、３Ｄ解析手法による物体認識の処理の結果に基づいて、３Ｄ解析手法による物体認識によって認識対象の物体が映っていると判定された領域を含む分割領域のみを、座標スキャンする領域として決定することができる。
【０１２４】
また、以上のようにして３Ｄ解析手法による物体認識の処理の結果を優先してパターン認識の座標スキャンの領域を決定する手法では、例えば、座標のスキャン領域決定部１４１は、以上のようにして３Ｄ解析手法による物体認識の処理の結果に基づいて決定した領域のみを座標スキャンする領域とする構成以外に、以上のようにして３Ｄ解析手法による物体認識の処理の結果に基づいて決定した領域とともに、他の任意の手法により決定した領域についても、座標スキャンする領域とする、こともできる。
【０１２５】
次に、座標のスキャン領域決定部１４１について、他の例を示す。
他の例に係る座標のスキャン領域決定部１４１は、クラスタリング部１３３から入力された物体認識の処理の結果（本実施形態では、車両が映っていると推定される画像領域を特定する情報）に基づいて、座標スキャンする領域の重要度を決定する。そして、他の例に係る座標のスキャン領域決定部１４１は、決定した座標スキャンする領域の重要度の情報を勾配積分画像算出部１４２に出力する。本実施形態では、このようにして決定される座標スキャンする領域の重要度は、パターン認識を行う領域の重要度として使用される。
【０１２６】
本実施形態では、勾配積分画像算出部１４２は、他の例に係る座標のスキャン領域決定部１４１から入力された情報に基づいて、例えば全画像の中であらかじめ設定した任意の座標領域に対して、他の例に係る座標のスキャン領域決定部１４１により決定された座標スキャンする領域（座標領域）の重要度を考慮して、勾配方向の勾配強度を算出する。勾配積分画像算出部１４２は、この算出結果の情報を特徴量ベクトル算出部１４３に出力する。
【０１２７】
ここで、他の例に係る座標のスキャン領域決定部１４１は、例えば、クラスタリング部１３３から入力された物体認識の処理の結果（本実施形態では、車両が映っていると推定される画像領域を特定する情報）に基づいて、座標スキャンする領域の重要度として、全画像中において、認識対象の物体（本実施形態では、車両）が映っていると推定される領域の重要度を高い重要度とするように決定する。
【０１２８】
３Ｄ解析手法による物体認識の処理の結果を重要視してパターン認識の座標スキャンの領域の重要度を決定する手法の一例として、他の例に係る座標のスキャン領域決定部１４１は、上記のように３Ｄ解析手法による物体認識の処理の結果を優先してパターン認識の座標スキャンの領域を決定する手法により決定された領域（判定領域または分割領域）については、特徴量に関する情報（例えば、勾配強度など）を算出するときの重み付け（重要度）を大きくすることができる。この場合、具体例として、勾配積分画像算出部１４２は、上記のように３Ｄ解析手法による物体認識の処理の結果を優先してパターン認識の座標スキャンの領域を決定する手法により決定された領域（判定領域または分割領域）については、他の領域と比べて、得られた特徴量に関する値（例えば、勾配強度など）にあらかじめ設定された値（例えば、１より大きい値）を乗算することができ、つまり、このような領域（判定領域または分割領域）においては、他の領域と比べて、小さい特徴量に関する値であっても、より特徴量が大きいとみなす。
【０１２９】
３Ｄ解析手法による物体認識の処理の結果を重要視してパターン認識の座標スキャンの領域の重要度を決定する手法の他の一例として、他の例に係る座標のスキャン領域決定部１４１は、上記のように３Ｄ解析手法による物体認識の処理の結果を優先してパターン認識の座標スキャンの領域を決定する手法により決定された領域（判定領域または分割領域）については、他の領域と比べて、特徴量に関する情報（例えば、勾配強度など）を算出するときの分解能を細かくすることができる。この場合、具体例として、勾配積分画像算出部１４２は、上記のように３Ｄ解析手法による物体認識の処理の結果を優先してパターン認識の座標スキャンの領域を決定する手法により決定された領域（判定領域または分割領域）については、あらかじめ設定された比較的細かい分解能でスライド（移動）させてスキャンし、他の領域については、あらかじめ設定された比較的粗い分解能でスライド（移動）させてスキャンすることができる。
【０１３０】
以上のように、本実施形態に係る画像認識装置３では、３Ｄ解析手法による物体認識部３１のクラスタリング部１３３により得られた情報が、パターン認識による物体認識部３２の座標のスキャン領域決定部１４１（上記した他の例に係る座標のスキャン領域決定部１４１でもよい）に伝えられて利用される構成となっている。
従って、本実施形態に係る画像認識装置３によれば、物体の認識を精度良く行うことができ、ターゲットとする物体の検出に好適な装置を提供することができる。例えば、本実施形態に係る画像認識装置３によれば、３Ｄ解析手法による物体認識において確定した座標領域を優先してまたは重要視して、パターン認識を行う画像において座標をスキャンする領域に関する設定を行うことができる。これにより、例えば、パターン認識の座標スキャン時の処理負荷を軽減することが可能である。
【０１３１】
［第５実施形態］
図６は、本発明の第５実施形態に係る画像認識装置４の構成を示すブロック図である。
本実施形態に係る画像認識装置４は、単眼カメラ１１と、画像取得部１２と、３Ｄ解析手法による物体認識部４１と、パターン認識による物体認識部４２と、最終ターゲット認識部１５と、距離・ＴＴＣ確定部１６と、トラッキング部１７と、衝突警報部１８と、ＡＣＣ制御部１９と、を備える。
【０１３２】
ここで、本実施形態に係る画像認識装置４の構成や動作は、３Ｄ解析手法による物体認識部４１とパターン認識による物体認識部４２に関する構成や動作を除いて、図１に示される第１実施形態に係る画像認識装置１の構成（ＡＮＤ論理を用いる構成）、または、第２実施形態に係る画像認識装置１ａの構成（ＯＲ論理を用いる構成）と同様である。
このため、図６では、第１実施形態または第２実施形態と同様な構成部については、同一の符号を付してある。以下では、第１実施形態に係る画像認識装置１または第２実施形態に係る画像認識装置１ａとは異なる点について詳しく説明する。
【０１３３】
３Ｄ解析手法による物体認識部４１は、特徴点・オプティカルフロー検出部１５１と、自車に対する相対距離検出部１５２と、クラスタリング部１５３と、を備える。
パターン認識による物体認識部４２は、勾配積分画像算出部１６１と、座標スキャン部１６２と、特徴量ベクトル算出部１６３と、識別部１６４と、を備える。
【０１３４】
３Ｄ解析手法による物体認識部４１において行われる動作の例を示す。
画像取得部１２から３Ｄ解析手法による物体認識部４１に入力された画像は、特徴点・オプティカルフロー検出部１５１に入力される。
この入力画像は、特徴点・オプティカルフロー検出部１５１、自車に対する相対距離検出部１５２、クラスタリング部１５３により、順に処理されて、その処理の結果がクラスタリング部１５３から出力される。
クラスタリング部１５３から出力された処理の結果は、３Ｄ解析手法による物体認識の処理の結果として、３Ｄ解析手法による物体認識部４１から出力されて、最終ターゲット認識部１５に入力される。
【０１３５】
ここで、本実施形態では、３Ｄ解析手法による物体認識部４１において、図９に示されるのと同様な３Ｄ解析手法の処理の手順による処理を行う。
本実施形態では、一例として、特徴点・オプティカルフロー検出部１５１がステップＳ１〜ステップＳ２の処理を実行し、自車に対する相対距離検出部１５２がステップＳ３〜ステップＳ６の処理を実行し、クラスタリング部１５３がステップＳ７の処理を実行する。
【０１３６】
さらに、本実施形態では、特徴点・オプティカルフロー検出部１５１は、検出した特徴点の情報と、検出（本実施形態では、計算）したオプティカルフローの情報を識別部１６４に出力する。
【０１３７】
パターン認識による物体認識部４２において行われる動作の例を示す。
画像取得部１２からパターン認識による物体認識部４２に入力された画像は、勾配積分画像算出部１６１に入力される。
この入力画像は、勾配積分画像算出部１６１、座標スキャン部１６２、特徴量ベクトル算出部１６３、識別部１６４により、順に処理されて、その処理の結果が識別部１６４から出力される。
識別部１６４から出力された処理の結果は、パターン認識による物体認識の処理の結果として、パターン認識による物体認識部４２から出力されて、最終ターゲット認識部１５に入力される。
【０１３８】
ここで、本実施形態では、パターン認識による物体認識部４２に備えられた勾配積分画像算出部１６１と、座標スキャン部１６２と、特徴量ベクトル算出部１６３と、識別部１６４によって、概略的には、それぞれ、図２に示される勾配積分画像算出部１０１と、座標スキャン部１０２と、特徴量ベクトル算出部１０３と、識別部１０４と同様な動作を行う。
【０１３９】
さらに、本実施形態では、特徴点・オプティカルフロー検出部１５１から出力された特徴点の情報と、オプティカルフローの情報が、識別部１６４に入力される。
識別部１６４は、特徴量ベクトル算出部１６３から入力された情報（特徴量ベクトルの情報）に基づいて、ＡｄａＢｏｏｓｔによる識別の処理を行い、あらかじめターゲットとしている物体（本実施形態では、あらかじめ用意された車両の画像のパターンに合致する物体）を認識し、この場合に、特徴点・オプティカルフロー検出部１５１から入力された特徴点の情報とオプティカルフローの情報のうちの一方または両方に基づいて、識別の処理を行う。識別部１６４は、この物体認識の処理の結果を出力する。
【０１４０】
ここで、識別部１６４は、例えば、入力された特徴点の情報とオプティカルフローの情報のうちの一方または両方に基づいて、全画像中において、認識対象の物体（本実施形態では、車両）が映っている可能性が高いと推定される領域について、パターン認識による物体認識において物体を認識し易くするように変更（設定）する。言い換えれば、このような領域を重要度（優先度）が高い領域であるとみなす。
【０１４１】
具体例として、本実施形態では、識別部１６４は、パターン認識により認識対象の物体を識別（認識）するための閾値（識別閾値）を用いて、パターン認識による物体認識を行う。また、識別部１６４では、この識別閾値を可変に設定することが可能になっている。
そして、識別部１６４は、車両の画像のパターンをメモリに記憶しており、特徴量ベクトル算出部１６３から入力された情報（特徴量ベクトルの情報）に基づいて、画像（画像取得部１２から出力される画像）の中で、識別閾値を用いて、メモリに記憶された車両の画像のパターンと同一または類似するものが映っていると推定される画像領域を識別（認識）し、その画像領域を特定する情報を物体認識の処理の結果として最終ターゲット認識部１５に出力する。この識別の処理では、メモリに記憶された車両の画像のパターンとの一致度が識別閾値（例えば、弱識別器による線形和の値で強識別器の判定をする際の閾値）以上となる画像中の領域を、メモリに記憶された車両の画像のパターンと同一または類似するものが映っていると推定される画像領域として識別する。
【０１４２】
識別部１６４は、入力された特徴点の情報とオプティカルフローの情報のうちの一方または両方に基づいて、全画像中において、認識対象の物体（本実施形態では、車両）が映っている可能性が高いと推定される領域について、パターン認識による物体認識において用いられる識別閾値を小さくするように変更（設定）することで、物体を認識し易くするように設定する。
【０１４３】
特徴点の情報を優先してまたは重要視してパターン認識による物体認識において用いられる識別閾値を変更（設定）する手法の一例として、識別部１６４は、特徴点が多い方が認識対象の物体が映っている可能性が高いという推定に基づいて、全画像をあらかじめ設定された複数に分割した領域（分割領域）を想定し、各分割領域内に存在する特徴点の数を算出し、算出した特徴点の数があらかじめ設定された値（閾値）より多い分割領域のみについて、あらかじめ定められた基準となる識別閾値よりも小さい値の識別閾値を用いるように変更（設定）することができる。この場合、例えば、特徴点の数があらかじめ設定された値（閾値）より多い分割領域では、他の領域と比べて、より小さい識別閾値が用いられる。
【０１４４】
なお、前記した特徴点の数に関する閾値としては、一例として、２以上の値を設定する。
他の一例として、前記した特徴点の数に関する閾値として、１を設定することもできる。この場合、識別部１６４は、全画像をあらかじめ設定された複数に分割した領域（分割領域）を想定し、１つでも特徴点が抽出された分割領域のみについて、あらかじめ定められた基準となる識別閾値よりも小さい値の識別閾値を用いるように変更（設定）することができる。
また、基準となる識別閾値としては、任意の値が用いられてもよく、例えば、本実施形態におけるような識別閾値の変更（設定）が行われない構成において全ての画像領域に対して一定に設定される識別閾値の値を用いることができる。
【０１４５】
オプティカルフローの情報を優先してまたは重要視してパターン認識による物体認識において用いられる識別閾値を変更（設定）する手法の一例として、識別部１６４は、オプティカルフローにより定められる変化量（例えば、勾配の強度）の平均値が大きい方が認識対象の物体が映っている可能性が高いという推定に基づいて、全画像をあらかじめ設定された複数に分割した領域（分割領域）を想定し、各分割領域内に存在する１つ以上のオプティカルフローにより定められる変化量の平均値を算出し、算出した平均値があらかじめ設定された値（閾値）より大きい分割領域のみについて、あらかじめ定められた基準となる識別閾値よりも小さい値の識別閾値を用いるように変更（設定）することができる。この場合、例えば、オプティカルフローにより定められる変化量の平均値があらかじめ設定された値（閾値）より多い分割領域では、他の領域と比べて、より小さい識別閾値が用いられる。
【０１４６】
また、オプティカルフローの情報を優先してまたは重要視してパターン認識による物体認識において用いられる識別閾値を変更（設定）する手法の他の一例として、識別部１６４は、全画像をあらかじめ設定された複数に分割した領域（分割領域）を想定し、あらかじめ設定された値（閾値）より大きいオプティカルフローが１つでも抽出された分割領域のみについて、あらかじめ定められた基準となる識別閾値よりも小さい値の識別閾値を用いるように変更（設定）することができる。
【０１４７】
また、特徴点の情報やオプティカルフローの情報を優先してまたは重要視してパターン認識による物体認識において用いられる識別閾値を変更（設定）する手法の一例として、識別部１６４は、特徴点に関する条件（例えば、上記したもの等、１つ以上の条件）を満たし、且つ、オプティカルフローに関する条件（例えば、上記したもの等、１つ以上の条件）を満たす分割領域のみについて、あらかじめ定められた基準となる識別閾値よりも小さい値の識別閾値を用いるように変更（設定）することができる。
【０１４８】
また、特徴点の情報やオプティカルフローの情報を優先してまたは重要視してパターン認識による物体認識において用いられる識別閾値を変更（設定）する手法の他の一例として、識別部１６４は、特徴点に関する条件（例えば、上記したもの等、１つ以上の条件）またはオプティカルフローに関する条件（例えば、上記したもの等、１つ以上の条件）のうちの少なくとも１つの条件を満たす分割領域（これらの全ての条件を満たす分割領域も含む）のみについて、あらかじめ定められた基準となる識別閾値よりも小さい値の識別閾値を用いるように変更（設定）することができる。
【０１４９】
また、以上のようにして特徴点の情報とオプティカルフローの情報のうちの一方または両方を優先してまたは重要視してパターン認識による物体認識において用いられる識別閾値を変更（設定）する手法では、例えば、識別部１６４は、以上のようにして特徴点の情報とオプティカルフローの情報のうちの一方または両方に基づいて決定した特定の領域のみについて、あらかじめ定められた基準となる識別閾値よりも小さい値の識別閾値を用いるように変更（設定）する構成以外に、以上のようにして特徴点の情報とオプティカルフローの情報のうちの一方または両方に基づいて決定した特定の領域とともに、他の任意の手法により決定した領域についても、あらかじめ定められた基準となる識別閾値よりも小さい値の識別閾値を用いるように変更（設定）する、こともできる。
【０１５０】
以上のように、本実施形態に係る画像認識装置４では、３Ｄ解析手法による物体認識部４１の特徴点・オプティカルフロー検出部１５１により得られた情報が、パターン認識による物体認識部４２の識別部１６４に伝えられて利用される構成となっている。
従って、本実施形態に係る画像認識装置４によれば、物体の認識を精度良く行うことができ、ターゲットとする物体の検出に好適な装置を提供することができる。例えば、本実施形態に係る画像認識装置４によれば、３Ｄ解析手法による物体認識において得られた特徴点の情報または動きベクトル（本実施形態では、オプティカルフロー）の情報に基づく座標領域を優先してまたは重要視して、パターン認識による物体認識を行う際の識別閾値に関する設定を行うことができる。
【０１５１】
具体例として、本実施形態に係る画像認識装置４によれば、３Ｄ解析手法による物体認識において得られた特徴点の情報または動きベクトル（本実施形態では、オプティカルフロー）の情報に基づく座標領域を優先してまたは重要視して、特定の領域について、ＡｄａＢｏｏｓｔによる物体の識別（認識）で用いられる識別閾値を、より認識し易い側へ下げることができる。これは、例えば、３Ｄ解析手法による物体認識において得られる特徴点または動きベクトルに基づく座標領域では、認識対象の物体である確からしさがより高いという考え方に基づいている。
【０１５２】
［第６実施形態］
図７は、本発明の第６実施形態に係る画像認識装置５の構成を示すブロック図である。
本実施形態に係る画像認識装置５は、単眼カメラ１１と、画像取得部１２と、３Ｄ解析手法による物体認識部５１と、パターン認識による物体認識部５２と、最終ターゲット認識部１５と、距離・ＴＴＣ確定部１６と、トラッキング部１７と、衝突警報部１８と、ＡＣＣ制御部１９と、を備える。
【０１５３】
ここで、本実施形態に係る画像認識装置５の構成や動作は、３Ｄ解析手法による物体認識部５１とパターン認識による物体認識部５２に関する構成や動作を除いて、図１に示される第１実施形態に係る画像認識装置１の構成（ＡＮＤ論理を用いる構成）、または、第２実施形態に係る画像認識装置１ａの構成（ＯＲ論理を用いる構成）と同様である。
このため、図７では、第１実施形態または第２実施形態と同様な構成部については、同一の符号を付してある。以下では、第１実施形態に係る画像認識装置１または第２実施形態に係る画像認識装置１ａとは異なる点について詳しく説明する。
【０１５４】
３Ｄ解析手法による物体認識部５１は、特徴点・オプティカルフロー検出部１７１と、自車に対する相対距離検出部１７２と、クラスタリング部１７３と、を備える。
パターン認識による物体認識部５２は、勾配積分画像算出部１８１と、座標スキャン部１８２と、特徴量ベクトル算出部１８３と、識別部１８４と、を備える。
【０１５５】
３Ｄ解析手法による物体認識部５１において行われる動作の例を示す。
画像取得部１２から３Ｄ解析手法による物体認識部５１に入力された画像は、特徴点・オプティカルフロー検出部１７１に入力される。
この入力画像は、特徴点・オプティカルフロー検出部１７１、自車に対する相対距離検出部１７２、クラスタリング部１７３により、順に処理されて、その処理の結果がクラスタリング部１７３から出力される。
クラスタリング部１７３から出力された処理の結果は、３Ｄ解析手法による物体認識の処理の結果として、３Ｄ解析手法による物体認識部５１から出力されて、最終ターゲット認識部１５に入力される。
【０１５６】
ここで、本実施形態では、３Ｄ解析手法による物体認識部５１において、図９に示されるのと同様な３Ｄ解析手法の処理の手順による処理を行う。
本実施形態では、一例として、特徴点・オプティカルフロー検出部１７１がステップＳ１〜ステップＳ２の処理を実行し、自車に対する相対距離検出部１７２がステップＳ３〜ステップＳ６の処理を実行し、クラスタリング部１７３がステップＳ７の処理を実行する。
【０１５７】
さらに、本実施形態では、クラスタリング部１７３は、検出された移動物体（本実施形態では、車両であると推定される移動物体）をターゲットとして認識した結果に基づいて、物体認識の処理の結果（本実施形態では、車両が映っていると推定される画像領域を特定する情報）を識別部１８４に出力する。
【０１５８】
パターン認識による物体認識部５２において行われる動作の例を示す。
画像取得部１２からパターン認識による物体認識部５２に入力された画像は、勾配積分画像算出部１８１に入力される。
この入力画像は、勾配積分画像算出部１８１、座標スキャン部１８２、特徴量ベクトル算出部１８３、識別部１８４により、順に処理されて、その処理の結果が識別部１８４から出力される。
識別部１８４から出力された処理の結果は、パターン認識による物体認識の処理の結果として、パターン認識による物体認識部５２から出力されて、最終ターゲット認識部１５に入力される。
【０１５９】
ここで、本実施形態では、パターン認識による物体認識部５２に備えられた勾配積分画像算出部１８１と、座標スキャン部１８２と、特徴量ベクトル算出部１８３と、識別部１８４によって、概略的には、それぞれ、図２に示される勾配積分画像算出部１０１と、座標スキャン部１０２と、特徴量ベクトル算出部１０３と、識別部１０４と同様な動作を行う。
【０１６０】
さらに、本実施形態では、クラスタリング部１７３から出力された物体認識の処理の結果（本実施形態では、車両が映っていると推定される画像領域を特定する情報）が、識別部１８４に入力される。
【０１６１】
識別部１８４は、特徴量ベクトル算出部１８３から入力された情報（特徴量ベクトルの情報）に基づいて、ＡｄａＢｏｏｓｔによる識別の処理を行い、あらかじめターゲットとしている物体（本実施形態では、あらかじめ用意された車両の画像のパターンに合致する物体）を認識し、この場合に、クラスタリング部１７３から入力された物体認識の処理の結果に基づいて、識別の処理を行う。識別部１８４は、この物体認識の処理の結果を出力する。
【０１６２】
ここで、識別部１８４は、例えば、クラスタリング部１７３から入力された物体認識の処理の結果に基づいて、全画像中において、認識対象の物体（本実施形態では、車両）が映っている可能性が高いと推定される領域について、パターン認識による物体認識において物体を認識し易くするように変更（設定）する。言い換えれば、このような領域を重要度（優先度）が高い領域であるとみなす。
【０１６３】
具体例として、本実施形態では、識別部１８４は、パターン認識により認識対象の物体を識別（認識）するための閾値（識別閾値）を用いて、パターン認識による物体認識を行う。また、識別部１８４では、この識別閾値を可変に設定することが可能になっている。
そして、識別部１８４は、車両の画像のパターンをメモリに記憶しており、特徴量ベクトル算出部１８３から入力された情報（特徴量ベクトルの情報）に基づいて、画像（画像取得部１２から出力される画像）の中で、識別閾値を用いて、メモリに記憶された車両の画像のパターンと同一または類似するものが映っていると推定される画像領域を識別（認識）し、その画像領域を特定する情報を物体認識の処理の結果として最終ターゲット認識部１５に出力する。この識別の処理では、メモリに記憶された車両の画像のパターンとの一致度が識別閾値（例えば、弱識別器による線形和の値で強識別器の判定をする際の閾値）以上となる画像中の領域を、メモリに記憶された車両の画像のパターンと同一または類似するものが映っていると推定される画像領域として識別する。
【０１６４】
識別部１８４は、クラスタリング部１７３から入力された物体認識の処理の結果（本実施形態では、車両が映っていると推定される画像領域を特定する情報）に基づいて、全画像中において、認識対象の物体（本実施形態では、車両）が映っている可能性が高いと推定される領域について、パターン認識による物体認識において用いられる識別閾値を小さくするように変更（設定）することで、物体を認識し易くするように設定する。
【０１６５】
３Ｄ解析手法による物体認識の処理の結果を優先してまたは重要視してパターン認識による物体認識において用いられる識別閾値を変更（設定）する手法の一例として、識別部１８４は、３Ｄ解析手法による物体認識の処理の結果に基づいて、３Ｄ解析手法による物体認識によって認識対象の物体が映っていると判定された領域（判定領域）のみについて、あらかじめ定められた基準となる識別閾値よりも小さい値の識別閾値を用いるように変更（設定）することができる。この場合、例えば、判定領域では、他の領域と比べて、より小さい識別閾値が用いられる。
【０１６６】
なお、基準となる識別閾値としては、任意の値が用いられてもよく、例えば、本実施形態におけるような識別閾値の変更（設定）が行われない構成において全ての画像領域に対して一定に設定される識別閾値の値を用いることができる。
【０１６７】
また、３Ｄ解析手法による物体認識の処理の結果を優先してまたは重要視してパターン認識による物体認識において用いられる識別閾値を変更（設定）する手法の他の一例として、識別部１８４は、全画像をあらかじめ設定された複数に分割した領域（分割領域）を想定し、３Ｄ解析手法による物体認識の処理の結果に基づいて、３Ｄ解析手法による物体認識によって認識対象の物体が映っていると判定された領域を含む分割領域のみについて、あらかじめ定められた基準となる識別閾値よりも小さい値の識別閾値を用いるように変更（設定）することができる。
【０１６８】
また、以上のようにして３Ｄ解析手法による物体認識の処理の結果を優先してまたは重要視してパターン認識による物体認識において用いられる識別閾値を変更（設定）する手法では、例えば、識別部１８４は、以上のようにして３Ｄ解析手法による物体認識の処理の結果に基づいて決定した特定の領域のみについて、あらかじめ定められた基準となる識別閾値よりも小さい値の識別閾値を用いるように変更（設定）する構成以外に、以上のようにして３Ｄ解析手法による物体認識の処理の結果に基づいて決定した特定の領域とともに、他の任意の手法により決定した領域についても、あらかじめ定められた基準となる識別閾値よりも小さい値の識別閾値を用いるように変更（設定）する、こともできる。
【０１６９】
以上のように、本実施形態に係る画像認識装置５では、３Ｄ解析手法による物体認識部５１のクラスタリング部１７３により得られた情報が、パターン認識による物体認識部５２の識別部１８４に伝えられて利用される構成となっている。
従って、本実施形態に係る画像認識装置５によれば、物体の認識を精度良く行うことができ、ターゲットとする物体の検出に好適な装置を提供することができる。例えば、本実施形態に係る画像認識装置５によれば、３Ｄ解析手法による物体認識において得られた物体認識の処理の結果に基づく座標領域を優先してまたは重要視して、パターン認識による物体認識を行う際の識別閾値に関する設定を行うことができる。
【０１７０】
具体例として、本実施形態に係る画像認識装置５によれば、３Ｄ解析手法による物体認識において得られた物体認識の処理の結果に基づく座標領域を優先してまたは重要視して、特定の領域について、ＡｄａＢｏｏｓｔによる物体の識別（認識）で用いられる識別閾値を、より認識し易い側へ下げることができる。これは、例えば、３Ｄ解析手法による物体認識において得られる物体認識の処理の結果に基づく座標領域では、認識対象の物体である確からしさがより高いという考え方に基づいている。
【０１７１】
［第７実施形態］
図８は、本発明の第７実施形態に係る画像認識装置６の構成を示すブロック図である。
本実施形態に係る画像認識装置６は、単眼カメラ１１と、画像取得部１２と、３Ｄ解析手法による物体認識部６１と、パターン認識による物体認識部６２と、最終ターゲット認識部６３と、距離・ＴＴＣ確定部１６と、トラッキング部１７と、衝突警報部１８と、ＡＣＣ制御部１９と、を備える。
【０１７２】
ここで、本実施形態に係る画像認識装置６の構成や動作は、３Ｄ解析手法による物体認識部６１とパターン認識による物体認識部６２と最終ターゲット認識部６３に関する構成や動作を除いて、図１に示される第１実施形態に係る画像認識装置１の構成（ＡＮＤ論理を用いる構成）、または、第２実施形態に係る画像認識装置１ａの構成（ＯＲ論理を用いる構成）と同様である。
このため、図８では、第１実施形態または第２実施形態と同様な構成部については、同一の符号を付してある。以下では、第１実施形態に係る画像認識装置１または第２実施形態に係る画像認識装置１ａとは異なる点について詳しく説明する。
【０１７３】
３Ｄ解析手法による物体認識部６１は、特徴点・オプティカルフロー検出部１９１と、自車に対する相対距離検出部１９２と、クラスタリング部１９３と、を備える。
パターン認識による物体認識部６２は、勾配積分画像算出部２０１と、座標スキャン部２０２と、特徴量ベクトル算出部２０３と、識別部２０４と、を備える。
【０１７４】
パターン認識による物体認識部６２において行われる動作の例を示す。
画像取得部１２からパターン認識による物体認識部６２に入力された画像は、勾配積分画像算出部２０１に入力される。
この入力画像は、勾配積分画像算出部２０１、座標スキャン部２０２、特徴量ベクトル算出部２０３、識別部２０４により、順に処理されて、その処理の結果が識別部２０４から出力される。
【０１７５】
ここで、本実施形態では、パターン認識による物体認識部６２に備えられた勾配積分画像算出部２０１と、座標スキャン部２０２と、特徴量ベクトル算出部２０３と、識別部２０４によって、概略的には、それぞれ、図２に示される勾配積分画像算出部１０１と、座標スキャン部１０２と、特徴量ベクトル算出部１０３と、識別部１０４と同様な動作を行う。
そして、本実施形態では、識別部２０４から出力された処理の結果は、パターン認識による物体認識の処理の結果として、パターン認識による物体認識部６２から出力されて、３Ｄ解析手法による物体認識部６１の特徴点・オプティカルフロー検出部１９１に入力される。
【０１７６】
３Ｄ解析手法による物体認識部６１において行われる動作の例を示す。
画像取得部１２から３Ｄ解析手法による物体認識部６１に入力された画像は、特徴点・オプティカルフロー検出部１９１に入力される。
この入力画像は、特徴点・オプティカルフロー検出部１９１、自車に対する相対距離検出部１９２、クラスタリング部１９３により、順に処理されて、その処理の結果がクラスタリング部１９３から出力される。
クラスタリング部１９３から出力された処理の結果は、３Ｄ解析手法による物体認識の処理の結果として、３Ｄ解析手法による物体認識部６１から出力されて、最終ターゲット認識部６３に入力される。
【０１７７】
ここで、本実施形態では、３Ｄ解析手法による物体認識部６１において、概略的には、図９に示されるのと同様な３Ｄ解析手法の処理の手順による処理を行う。
本実施形態では、一例として、特徴点・オプティカルフロー検出部１９１がステップＳ１〜ステップＳ２の処理を実行し、自車に対する相対距離検出部１９２がステップＳ３〜ステップＳ６の処理を実行し、クラスタリング部１９３がステップＳ７の処理を実行する。
【０１７８】
さらに、本実施形態では、特徴点・オプティカルフロー検出部１９１は、画像取得部１２から入力された画像に基づいて、特徴点を検出し、オプティカルフローを検出（本実施形態では、計算）する場合に、パターン認識による物体認識部６２の識別部２０４から入力されたパターン認識による物体認識の処理の結果に基づいて、特徴点の検出や、オプティカルフローの検出（本実施形態では、計算）を行う。
【０１７９】
ここで、特徴点・オプティカルフロー検出部１９１は、例えば、パターン認識による物体認識部６２の識別部２０４から入力されたパターン認識による物体認識の処理の結果（本実施形態では、車両が映っていると推定される画像領域を特定する情報）に基づいて、特徴点の検出やオプティカルフローの検出を行う領域を決定する。
【０１８０】
パターン認識による物体認識の処理の結果を優先して３Ｄ解析手法による物体認識における特徴点の検出やオプティカルフローの検出を行う領域を決定する手法の一例として、特徴点・オプティカルフロー検出部１９１は、パターン認識による物体認識の処理の結果に基づいて、パターン認識による物体認識によって認識対象の物体が映っていると判定された領域（判定領域）のみを、特徴点の検出やオプティカルフローの検出を行う領域として決定することができる。
【０１８１】
パターン認識による物体認識の処理の結果を優先して３Ｄ解析手法による物体認識における特徴点の検出やオプティカルフローの検出を行う領域を決定する手法の他の一例として、特徴点・オプティカルフロー検出部１９１は、全画像をあらかじめ設定された複数に分割した領域（分割領域）を想定し、パターン認識による物体認識の処理の結果に基づいて、パターン認識による物体認識によって認識対象の物体が映っていると判定された領域を含む分割領域のみを、特徴点の検出やオプティカルフローの検出を行う領域として決定することができる。
【０１８２】
また、以上のようにしてパターン認識による物体認識の処理の結果を優先して３Ｄ解析手法による物体認識における特徴点の検出やオプティカルフローの検出を行う領域を決定する手法では、例えば、特徴点・オプティカルフロー検出部１９１は、以上のようにしてパターン認識による物体認識の処理の結果に基づいて決定した領域のみを特徴点の検出やオプティカルフローの検出を行う領域とする構成以外に、以上のようにしてパターン認識による物体認識の処理の結果に基づいて決定した領域とともに、他の任意の手法により決定した領域についても、特徴点の検出やオプティカルフローの検出を行う領域とする、こともできる。
【０１８３】
次に、特徴点・オプティカルフロー検出部１９１について、他の例を示す。
他の例に係る特徴点・オプティカルフロー検出部１９１は、パターン認識による物体認識部６２の識別部２０４から入力されたパターン認識による物体認識の処理の結果（本実施形態では、車両が映っていると推定される画像領域を特定する情報）に基づいて、特徴点の検出やオプティカルフローの検出を行う領域の重要度を決定する。
【０１８４】
本実施形態では、他の例に係る特徴点・オプティカルフロー検出部１９１は、例えば全画像の中であらかじめ設定した任意の座標領域に対して、決定した領域（座標領域）の重要度を考慮して、特徴点の検出やオプティカルフローの検出を行う。
【０１８５】
ここで、他の例に係る特徴点・オプティカルフロー検出部１９１は、例えば、パターン認識による物体認識の処理の結果（本実施形態では、車両が映っていると推定される画像領域を特定する情報）に基づいて、特徴点の検出やオプティカルフローの検出を行う領域の重要度として、全画像中において、認識対象の物体（本実施形態では、車両）が映っていると推定される領域の重要度を高い重要度とするように決定する。
【０１８６】
パターン認識による物体認識の処理の結果を重要視して３Ｄ解析手法による物体認識における特徴点の検出を行う領域の重要度を決定する手法の一例として、他の例に係る特徴点・オプティカルフロー検出部１９１は、上記のようにパターン認識による物体認識の処理の結果を優先して３Ｄ解析手法による物体認識における特徴点の検出やオプティカルフローの検出を行う領域を決定する手法により決定された領域（判定領域または分割領域）については、特徴点を検出するときの重み付け（重要度）を大きくすることができる。この場合、具体例として、他の例に係る特徴点・オプティカルフロー検出部１９１は、例えば、画素値の変化（例えば、輝度値の変化）に関する閾値があらかじめ定められており、時間的な画素値の変化が当該閾値以上となる画像中の点を特徴点として検出する構成において、上記のようにパターン認識による物体認識の処理の結果を優先して３Ｄ解析手法による物体認識における特徴点の検出やオプティカルフローの検出を行う領域を決定する手法により決定された領域（判定領域または分割領域）については、他の領域と比べて、その閾値を小さく変更（設定）することができ、つまり、このような領域（判定領域または分割領域）においては、他の領域と比べて、小さい画素変化量であっても、特徴点として検出する。
【０１８７】
また、パターン認識による物体認識の処理の結果を重要視して３Ｄ解析手法による物体認識における特徴点の検出を行う領域の重要度を決定する手法の他の一例として、他の例に係る特徴点・オプティカルフロー検出部１９１は、上記のようにパターン認識による物体認識の処理の結果を優先して３Ｄ解析手法による物体認識における特徴点の検出やオプティカルフローの検出を行う領域を決定する手法により決定された領域（判定領域または分割領域）については、特徴点を検出するときの分解能を細かくすることができる。この場合、具体例として、他の例に係る特徴点・オプティカルフロー検出部１９１は、上記のようにパターン認識による物体認識の処理の結果を優先して３Ｄ解析手法による物体認識における特徴点の検出やオプティカルフローの検出を行う領域を決定する手法により決定された領域（判定領域または分割領域）については、あらかじめ設定された比較的細かい分解能で特徴点を検出し、他の領域については、あらかじめ設定された比較的粗い分解能で特徴点を検出することができる。
【０１８８】
パターン認識による物体認識の処理の結果を重要視して３Ｄ解析手法による物体認識におけるオプティカルフローの検出を行う領域の重要度を決定する手法の一例として、他の例に係る特徴点・オプティカルフロー検出部１９１は、上記のようにパターン認識による物体認識の処理の結果を優先して３Ｄ解析手法による物体認識における特徴点の検出やオプティカルフローの検出を行う領域を決定する手法により決定された領域（判定領域または分割領域）については、オプティカルフローを検出するときの重み付け（重要度）を大きくすることができる。この場合、具体例として、他の例に係る特徴点・オプティカルフロー検出部１９１は、例えば、オプティカルフローを検出する際に所定の閾値を用いる構成において、上記のようにパターン認識による物体認識の処理の結果を優先して３Ｄ解析手法による物体認識における特徴点の検出やオプティカルフローの検出を行う領域を決定する手法により決定された領域（判定領域または分割領域）については、他の領域と比べて、その閾値を、オプティカルフローがより検出され易いように変更（設定）することができる。
【０１８９】
また、パターン認識による物体認識の処理の結果を重要視して３Ｄ解析手法による物体認識におけるオプティカルフローの検出を行う領域の重要度を決定する手法の他の一例として、他の例に係る特徴点・オプティカルフロー検出部１９１は、上記のようにパターン認識による物体認識の処理の結果を優先して３Ｄ解析手法による物体認識における特徴点の検出やオプティカルフローの検出を行う領域を決定する手法により決定された領域（判定領域または分割領域）については、オプティカルフローを検出するときの分解能を細かくすることができる。この場合、具体例として、他の例に係る特徴点・オプティカルフロー検出部１９１は、上記のようにパターン認識による物体認識の処理の結果を優先して３Ｄ解析手法による物体認識における特徴点の検出やオプティカルフローの検出を行う領域を決定する手法により決定された領域（判定領域または分割領域）については、あらかじめ設定された比較的細かい分解能でオプティカルフローを検出し、他の領域については、あらかじめ設定された比較的粗い分解能でオプティカルフローを検出することができる。
【０１９０】
次に、最終ターゲット認識部６３により行われる処理について説明する。
本実施形態では、最終ターゲット認識部６３は、３Ｄ解析手法による物体認識部６１から入力された物体認識の処理の結果（本実施形態では、車両が映っていると推定される画像領域を特定する情報）に基づいて、認識対象の物体（本実施形態では、車両）であると特定した画像領域（座標の領域）を、最終的なターゲットの領域であると認識し、認識した最終的なターゲットの領域を特定する情報を距離・ＴＴＣ確定部１６に出力する。
このように、本実施形態では、３Ｄ解析手法による物体認識の結果が、最終的なターゲット認識の結果となる。
【０１９１】
ここで、本実施形態では、全体の画像に認識対象の物体（本実施形態では、車両）が複数映っている場合には、３Ｄ解析手法による物体認識部６１はそれぞれの物体について物体認識の処理を行い、最終ターゲット認識部６３はそれぞれの物体について最終ターゲットの認識の処理を行う。
【０１９２】
以上のように、本実施形態に係る画像認識装置６では、パターン認識による物体認識部６２の識別部２０４により得られた情報が、３Ｄ解析手法による物体認識部６１の特徴点・オプティカルフロー検出部１９１（上記した他の例に係る特徴点・オプティカルフロー検出部１９１でもよい）に伝えられて利用される構成となっている。
従って、本実施形態に係る画像認識装置６によれば、物体の認識を精度良く行うことができ、ターゲットとする物体の検出に好適な装置を提供することができる。例えば、本実施形態に係る画像認識装置６によれば、パターン認識による物体認識において確定した座標領域を優先してまたは重要視して、３Ｄ解析手法による物体認識を行う画像において、特徴点を検出する領域に関する設定やオプティカルフローを検出する領域に関する設定を行うことができる。
【０１９３】
具体例として、図３に示される画像１００１中の枠１００２の領域のように、３Ｄ解析手法による物体認識では物体の認識ができないまたは物体の認識の能力が低い領域について、本実施形態では、パターン認識による物体認識が可能となる場合には、パターン認識による物体認識によって特定した領域の特徴点・オプティカルフローにおいてターゲットがある可能性が高いことを予測して、後段の３Ｄ解析手法による物体認識処理を実行することができる。
【０１９４】
本実施形態（第７実施形態）と類似の構成として、識別部２０４の出力を自車に対する相対距離検出部１９２かクラスタリング部１９３に入力し、物体を認識するステップ（この例では、図９に示されるステップＳ７の処理）でパターン認識による物体領域を優先または重要視して判定することもできる。
この構成では、クラスタリング部１９３は、パターン認識による物体認識部６２の識別部２０４により得られたパターン認識による物体認識の結果に基づいて、認識対象の物体の識別を行う。
３Ｄ解析手法による物体認識部６１のクラスタリング部１９３において、パターン認識による物体認識の処理の結果（パターン認識による物体領域）を優先してまたは重要視して判定する（物体を認識する）手法としては、様々な手法が用いられてもよく、例えば、画像中のあらかじめ定めた座標領域（例えば図３の１００２）に、パターン認識による物体領域がある場合は、前記あらかじめ定めた座標領域に認識すべき物体が存在することを確定する手法や、パターン認識による物体領域と一致する部分のみを物体認識結果の範囲に含める手法や、パターン認識による物体領域と一致する部分の方が一致しない部分よりも物体認識結果の範囲に含まれ易くするように所定の閾値などを変更する手法などを用いることができる。
【０１９５】
＜以上の実施形態についてのまとめ＞
ここで、以上の実施形態では、図１、図４〜図８に示される装置を車載用として車両に設ける構成を示したが、他の例として、他の任意の移動体に設けることも可能である。
また、以上の実施形態では、３Ｄ解析手法による物体認識の手法として、非特許文献１に記載された手法を用いる構成を示したが、この手法に限定するものではなく、例えば、特徴点の抽出による３Ｄ解析手法の全般に適用することもできる。
また、以上の実施形態では、パターン認識による物体認識で用いるＨＯＧ特徴量として、輝度勾配の積分画像によるヒストグラム（インテグラルヒストグラム）での作成を例に述べたが、他の手法が用いられてもよい。
【０１９６】
なお、図１、図２、図４〜図８、図１０における任意の構成部により行われる処理の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、処理を行ってもよい。ここで言う「コンピュータシステム」とは、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは、表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことを言う。さらに、「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。
【０１９７】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことを言う。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【０１９８】
また、上記に限られず、マイクロコンピュータのほか、例えば、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、あるいは、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）などのデバイスを用いて、図１、図２、図４〜図８、図１０における任意の構成部により行われる処理を実現することも可能である。
【０１９９】
以上、本発明の各実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【０２００】
１、１ａ、２〜６…画像認識装置
１１…単眼カメラ １２…画像取得部
１３、２１、３１、４１、５１、６１…３Ｄ解析手法による物体認識部
１４、２２、３２、４２、５２、６２…パターン認識による物体認識部
１５、６３…最終ターゲット認識部
１６…距離・ＴＴＣ確定部 １７…トラッキング部 １８…衝突警報部
１９…ＡＣＣ制御部
１０１、１２１、１４２、１６１、１８１、２０１…勾配積分画像算出部
１０２、１２２、１６２、１８２、２０２…座標スキャン部
１０３、１２３、１４３、１６３、１８３、２０３…特徴量ベクトル算出部
１０４、１２４、１４４、１６４、１８４、２０４…識別部
１２６、１４１…座標のスキャン領域決定部
１１１、１３１、１５１、１７１、１９１…特徴点・オプティカルフロー検出部
１１２、１３２、１５２、１７２、１９２…自車に対する相対距離検出部
１１３、１３３、１５３、１７３、１９３…クラスタリング部
３０１…勾配強度検出部 ３０２…勾配方向検出部
３０３…勾配方向ごとの勾配強度の積分部
３１１…セル単位の積分値算出部 ３１２…ブロック正規化部
３１３…特徴量ベクトル算出処理部
【特許請求の範囲】
【請求項１】
画像に対して３Ｄ解析手法による物体認識を行う３Ｄ解析手法による物体認識部と、
前記画像に対してパターン認識による物体認識を行うパターン認識による物体認識部と、を備え、
前記３Ｄ解析手法による物体認識部により得られる３Ｄ解析手法による物体認識の結果と前記パターン認識による物体認識部により得られるパターン認識による物体認識の結果に基づいて最終ターゲットの認識結果を得る、
ことを特徴とする画像認識装置。
【請求項２】
前記３Ｄ解析手法による物体認識部により得られた３Ｄ解析手法による物体認識の結果と前記パターン認識による物体認識部により得られたパターン認識による物体認識の結果に基づいて、ＡＮＤ論理により、最終ターゲットの認識結果を得る最終ターゲット認識部を備える、
ことを特徴とする請求項１に記載の画像認識装置。
【請求項３】
前記３Ｄ解析手法による物体認識部により得られた３Ｄ解析手法による物体認識の結果と前記パターン認識による物体認識部により得られたパターン認識による物体認識の結果に基づいて、ＯＲ論理により、最終ターゲットの認識結果を得る最終ターゲット認識部を備える、
ことを特徴とする請求項１に記載の画像認識装置。
【請求項４】
前記パターン認識による物体認識部は、前記３Ｄ解析手法による物体認識部により検出した特徴点とオプティカルフローのうちの一方または両方に基づいて、座標のスキャン領域を決定する、
ことを特徴とする請求項１から請求項３のいずれか１項に記載の画像認識装置。
【請求項５】
前記パターン認識による物体認識部は、前記３Ｄ解析手法による物体認識部により得られた３Ｄ解析手法による物体認識の結果に基づいて、座標のスキャン領域を決定する、
ことを特徴とする請求項１から請求項３のいずれか１項に記載の画像認識装置。
【請求項６】
前記パターン認識による物体認識部は、前記３Ｄ解析手法による物体認識部により検出した特徴点とオプティカルフローのうちの一方または両方に基づいて、認識対象の物体の識別を行う、
ことを特徴とする請求項１から請求項３のいずれか１項に記載の画像認識装置。
【請求項７】
前記パターン認識による物体認識部は、前記３Ｄ解析手法による物体認識部により検出した特徴点とオプティカルフローのうちの一方または両方に基づいて、認識対象の物体が映っている可能性が高いと推定される領域について、物体を認識し易くするように、パターン認識による物体認識において用いられる閾値を変更して、認識対象の物体の識別を行う、
ことを特徴とする請求項６に記載の画像認識装置。
【請求項８】
前記パターン認識による物体認識部は、前記３Ｄ解析手法による物体認識部により得られた３Ｄ解析手法による物体認識の結果に基づいて、認識対象の物体の識別を行う、
ことを特徴とする請求項１から請求項３のいずれか１項に記載の画像認識装置。
【請求項９】
前記パターン認識による物体認識部は、前記３Ｄ解析手法による物体認識部により得られた３Ｄ解析手法による物体認識の結果に基づいて、認識対象の物体が映っている可能性が高いと推定される領域について、物体を認識し易くするように、パターン認識による物体認識において用いられる閾値を変更して、認識対象の物体の識別を行う、
ことを特徴とする請求項８に記載の画像認識装置。
【請求項１０】
前記３Ｄ解析手法による物体認識部は、前記パターン認識による物体認識部により得られたパターン認識による物体認識の結果に基づいて、特徴点またはオプティカルフローのうちの一方または両方を検出する、
ことを特徴とする請求項１に記載の画像認識装置。
【請求項１１】
前記３Ｄ解析手法による物体認識部により得られた３Ｄ解析手法による物体認識の結果に基づいて最終ターゲットの認識結果を得る最終ターゲット認識部を備える、
ことを特徴とする請求項１０に記載の画像認識装置。
【請求項１２】
前記３Ｄ解析手法による物体認識部は、前記パターン認識による物体認識部により得られたパターン認識による物体認識の結果に基づいて、認識対象の物体の識別を行う、
ことを特徴とする請求項１に記載の画像認識装置。
【請求項１３】
車載用の画像認識装置であり、
画像を撮像するカメラを備え、
前記３Ｄ解析手法による物体認識部および前記パターン認識による物体認識部は、前記カメラにより撮像される画像に対して物体認識を行う、
ことを特徴とする請求項１から請求項１２のいずれか１項に記載の画像認識装置。
【請求項１４】
３Ｄ解析手法による物体認識部が、画像に対して３Ｄ解析手法による物体認識を行い、
パターン認識による物体認識部が、前記画像に対してパターン認識による物体認識を行い、
前記３Ｄ解析手法による物体認識部により得られる３Ｄ解析手法による物体認識の結果と前記パターン認識による物体認識部により得られるパターン認識による物体認識の結果に基づいて最終ターゲットの認識結果を得る、
ことを特徴とする画像認識方法。
【請求項１５】
３Ｄ解析手法による物体認識部により得られる３Ｄ解析手法による物体認識の結果とパターン認識による物体認識部により得られるパターン認識による物体認識の結果に基づいて最終ターゲットの認識結果を得るために、
３Ｄ解析手法による物体認識部が、画像に対して３Ｄ解析手法による物体認識を行う手順と、
パターン認識による物体認識部が、前記画像に対してパターン認識による物体認識を行う手順と、
をコンピュータに実行させるための画像認識プログラム。
【請求項１】
画像に対して３Ｄ解析手法による物体認識を行う３Ｄ解析手法による物体認識部と、
前記画像に対してパターン認識による物体認識を行うパターン認識による物体認識部と、を備え、
前記３Ｄ解析手法による物体認識部により得られる３Ｄ解析手法による物体認識の結果と前記パターン認識による物体認識部により得られるパターン認識による物体認識の結果に基づいて最終ターゲットの認識結果を得る、
ことを特徴とする画像認識装置。
【請求項２】
前記３Ｄ解析手法による物体認識部により得られた３Ｄ解析手法による物体認識の結果と前記パターン認識による物体認識部により得られたパターン認識による物体認識の結果に基づいて、ＡＮＤ論理により、最終ターゲットの認識結果を得る最終ターゲット認識部を備える、
ことを特徴とする請求項１に記載の画像認識装置。
【請求項３】
前記３Ｄ解析手法による物体認識部により得られた３Ｄ解析手法による物体認識の結果と前記パターン認識による物体認識部により得られたパターン認識による物体認識の結果に基づいて、ＯＲ論理により、最終ターゲットの認識結果を得る最終ターゲット認識部を備える、
ことを特徴とする請求項１に記載の画像認識装置。
【請求項４】
前記パターン認識による物体認識部は、前記３Ｄ解析手法による物体認識部により検出した特徴点とオプティカルフローのうちの一方または両方に基づいて、座標のスキャン領域を決定する、
ことを特徴とする請求項１から請求項３のいずれか１項に記載の画像認識装置。
【請求項５】
前記パターン認識による物体認識部は、前記３Ｄ解析手法による物体認識部により得られた３Ｄ解析手法による物体認識の結果に基づいて、座標のスキャン領域を決定する、
ことを特徴とする請求項１から請求項３のいずれか１項に記載の画像認識装置。
【請求項６】
前記パターン認識による物体認識部は、前記３Ｄ解析手法による物体認識部により検出した特徴点とオプティカルフローのうちの一方または両方に基づいて、認識対象の物体の識別を行う、
ことを特徴とする請求項１から請求項３のいずれか１項に記載の画像認識装置。
【請求項７】
前記パターン認識による物体認識部は、前記３Ｄ解析手法による物体認識部により検出した特徴点とオプティカルフローのうちの一方または両方に基づいて、認識対象の物体が映っている可能性が高いと推定される領域について、物体を認識し易くするように、パターン認識による物体認識において用いられる閾値を変更して、認識対象の物体の識別を行う、
ことを特徴とする請求項６に記載の画像認識装置。
【請求項８】
前記パターン認識による物体認識部は、前記３Ｄ解析手法による物体認識部により得られた３Ｄ解析手法による物体認識の結果に基づいて、認識対象の物体の識別を行う、
ことを特徴とする請求項１から請求項３のいずれか１項に記載の画像認識装置。
【請求項９】
前記パターン認識による物体認識部は、前記３Ｄ解析手法による物体認識部により得られた３Ｄ解析手法による物体認識の結果に基づいて、認識対象の物体が映っている可能性が高いと推定される領域について、物体を認識し易くするように、パターン認識による物体認識において用いられる閾値を変更して、認識対象の物体の識別を行う、
ことを特徴とする請求項８に記載の画像認識装置。
【請求項１０】
前記３Ｄ解析手法による物体認識部は、前記パターン認識による物体認識部により得られたパターン認識による物体認識の結果に基づいて、特徴点またはオプティカルフローのうちの一方または両方を検出する、
ことを特徴とする請求項１に記載の画像認識装置。
【請求項１１】
前記３Ｄ解析手法による物体認識部により得られた３Ｄ解析手法による物体認識の結果に基づいて最終ターゲットの認識結果を得る最終ターゲット認識部を備える、
ことを特徴とする請求項１０に記載の画像認識装置。
【請求項１２】
前記３Ｄ解析手法による物体認識部は、前記パターン認識による物体認識部により得られたパターン認識による物体認識の結果に基づいて、認識対象の物体の識別を行う、
ことを特徴とする請求項１に記載の画像認識装置。
【請求項１３】
車載用の画像認識装置であり、
画像を撮像するカメラを備え、
前記３Ｄ解析手法による物体認識部および前記パターン認識による物体認識部は、前記カメラにより撮像される画像に対して物体認識を行う、
ことを特徴とする請求項１から請求項１２のいずれか１項に記載の画像認識装置。
【請求項１４】
３Ｄ解析手法による物体認識部が、画像に対して３Ｄ解析手法による物体認識を行い、
パターン認識による物体認識部が、前記画像に対してパターン認識による物体認識を行い、
前記３Ｄ解析手法による物体認識部により得られる３Ｄ解析手法による物体認識の結果と前記パターン認識による物体認識部により得られるパターン認識による物体認識の結果に基づいて最終ターゲットの認識結果を得る、
ことを特徴とする画像認識方法。
【請求項１５】
３Ｄ解析手法による物体認識部により得られる３Ｄ解析手法による物体認識の結果とパターン認識による物体認識部により得られるパターン認識による物体認識の結果に基づいて最終ターゲットの認識結果を得るために、
３Ｄ解析手法による物体認識部が、画像に対して３Ｄ解析手法による物体認識を行う手順と、
パターン認識による物体認識部が、前記画像に対してパターン認識による物体認識を行う手順と、
をコンピュータに実行させるための画像認識プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１３−６９０４５（Ｐ２０１３−６９０４５Ａ）
【公開日】平成２５年４月１８日（２０１３．４．１８）
【国際特許分類】
【出願番号】特願２０１１−２０６０７３（Ｐ２０１１−２０６０７３）
【出願日】平成２３年９月２１日（２０１１．９．２１）
【出願人】（３０００５２２４６）株式会社ホンダエレシス (105)
【Ｆターム（参考）】
【公開日】平成２５年４月１８日（２０１３．４．１８）
【国際特許分類】
【出願日】平成２３年９月２１日（２０１１．９．２１）
【出願人】（３０００５２２４６）株式会社ホンダエレシス (105)
【Ｆターム（参考）】
[ Back to top ]