画像認識装置
【課題】自車両の走行道路の状態に拘らず、歩行者の検知漏れや無駄な検知動作をなくすことができる探索領域を設定でき、歩行者の検知性能を向上させることができる画像認識装置の提供。
【解決手段】算出部２２は、自車両の旋回に関する情報を含む情報として赤外線カメラ３０から前方画像５０を取得し、前方画像５０の計算領域６６のオプティカルフローを計算することで、方向ベクトルを算出し、その方向ベクトルの水平方向成分を走行道路のカーブの方向に関する情報として算出する。そして、探索領域設定部２４は、水平方向成分に基づいてカーブの方向を判定し、歩行者を表す画像５８を探索するための探索領域５２を、探索領域５２の前方画像５０における大きさはそのままに、判定したカーブの方向に向けて移動させた位置に設定する。そして、認識部２８がその位置に設定された探索領域５２内の歩行者を表す画像５８を検知する。
【解決手段】算出部２２は、自車両の旋回に関する情報を含む情報として赤外線カメラ３０から前方画像５０を取得し、前方画像５０の計算領域６６のオプティカルフローを計算することで、方向ベクトルを算出し、その方向ベクトルの水平方向成分を走行道路のカーブの方向に関する情報として算出する。そして、探索領域設定部２４は、水平方向成分に基づいてカーブの方向を判定し、歩行者を表す画像５８を探索するための探索領域５２を、探索領域５２の前方画像５０における大きさはそのままに、判定したカーブの方向に向けて移動させた位置に設定する。そして、認識部２８がその位置に設定された探索領域５２内の歩行者を表す画像５８を検知する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像手段により取得した自車両の前方画像から歩行者を表す画像を検知する画像認識装置に関する。
【背景技術】
【０００２】
従来、カメラ等の撮像手段により取得した自車両の前方画像から、人間等の検知対象物を表す画像を検知する画像認識の技術が知られている。それとは別に、カメラ等の撮像手段により取得した自車両の前方画像から、前方画像に写った他車両を探索して特定し、当該他車両の前方画像における位置を検出し、その検出位置を基に当該他車両までの実空間における距離を算出する技術が知られている（例えば、特許文献１）。
【０００３】
この特許文献１に記載の技術では、自車両の前方画像に写った白線や路肩を検出することにより道路端を特定し、特定した道路端に応じて他車両の探索領域を絞り込む。そして、その絞り込んだ探索領域内において他車両を探索し、他車両の位置を求める。このようにして他車両を探索する領域を絞り込んでいるので、他車両の位置検知のための画像処理の負担が軽減され、その画像処理時間を短縮することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−１１６５１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１の検知技術では、前方画像上に写った走行道路の白線や路肩に基づいて、走行道路の道路端を特定し、特定した道路端に応じて他車両の探索領域を絞り込んでいる。このため、白線や路肩を検出することができないと、道路端を特定することができず、適切な探索領域の設定が困難となる。
【０００６】
ここで、カメラ等の撮像手段からの前方画像に写る走行道路の形状は、自車両が走行する走行道路が直線路であるのか、カーブであるかに応じて変化する。ゆえに、走行道路上及び走行道路脇の路肩や歩道に存在する歩行者の前方画像における領域は、走行道路が直線路であるのか、カーブであるのかに応じて変化することとなる。
【０００７】
特許文献１の検知技術を走行道路上及び走行道路脇の路肩や歩道に存在する歩行者を検知する装置に適用するようにしても、白線や路肩が検出できないような走行道路において、走行道路が直線路かカーブなのかを判定することができず、適切な探索領域の設定が行えない。したがって、歩行者の検知漏れや、無駄な検知がおこなわれ、検知性能が低下するおそれがある。
【０００８】
本発明は、上述の問題点に鑑みてなされたものであって、その目的は、自車両の走行道路の状態に拘らず、歩行者の検知漏れや無駄な検知動作を減少させることができる探索領域を設定でき、歩行者の検知性能を向上させることができる画像認識装置を提供する。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、請求項１の発明は、自車両の前方の領域を撮像する撮像手段より取得した前方画像から、前方の領域に存在する歩行者を表す画像を検知する画像認識装置において、
自車両の旋回に関する情報を含んだ情報を取得し、その取得した情報に基づき、前方の領域における走行道路のカーブの方向に関する情報を算出する算出手段と、
歩行者を表す画像を探索するための探索領域を前方画像の一部に設定する探索領域設定手段であって、走行道路のカーブの方向に関する情報に基づいて、走行道路のカーブの方向を判定し、探索領域を、探索領域の前方画像における大きさはそのままに、判定した走行道路のカーブの方向に向けて移動させた位置に設定する探索領域設定手段と、
探索領域内の歩行者を表す画像を検知する検知手段と、を備えることを特徴としている。
【００１０】
請求項１の発明によると、取得した自車両の旋回に関する情報を含んだ情報に基づいて、自車両の前方における走行道路のカーブの方向に関する情報を算出するようにしているため、白線や路肩の有無といった走行道路の状態に拘らず、自車両の前方における走行道路のカーブの方向に関する情報を的確に算出することができる。ここで、画像認識装置が検知しようとする歩行者は、通常、走行道路上及び走行道路脇の路肩や歩道に多く存在する。このため、前方画面における歩行者が存在する可能性の高い領域は、走行道路のカーブの方向によって変化する。例えば、自車両がカーブにさしかかると、歩行者が存在する可能性の高い領域は、そのカーブの方向にずれる。歩行者を表す画像を探索するための探索領域が前方画面上で固定されていると、自車両がカーブを走行し、歩行者が存在する可能性が高い領域がずれることに対応することができず、歩行者を表す画像の検知漏れ等が発生するおそれがある。
【００１１】
そこで、探索領域設定手段は、走行道路のカーブの方向に関する情報に基づいて、走行道路のカーブの方向を判定する。そして、探索領域設定手段は、歩行者を表す画像を探索するための探索領域の前方画像における大きさはそのままに、判定した走行道路のカーブの方向に向けて移動させた位置に探索領域を設定する。ゆえに、探索領域は、走行道路のカーブの方向によって変化する歩行者が存在する可能性の高い領域に近づくこととなる。このようにして探索領域が設定された後に、検知手段は、設定後の探索領域内において歩行者を表す画像の検知を行うので、歩行者の検知漏れや無駄な検知動作が減少する。よって、この発明によれば、自車両の走行道路の状態に拘らず、歩行者の検知漏れや無駄な検知動作を減少させることができる探索領域を設定でき、歩行者の検知性能を向上することができる。なお、この発明において検知対象となる歩行者は、自転車等に乗った歩行者も含んでいる。
【００１２】
走行道路のカーブの曲り度合いが大きいほど、歩行者が存在する可能性が高い領域もカーブの方向に向かってさらに移動する。このことに対し、請求項２の発明によると、探索領域設定手段によって判定された走行道路のカーブの曲り度合いが大きいほど、走行道路のカーブの方向に向かう探索領域の移動量が大きくなるように探索領域が設定される。ゆえに、探索領域は、走行道路のカーブの曲り度合いに対応したものとなり、歩行者が存在する可能性の高い領域に近づくこととなる。したがって、歩行者の検知漏れや無駄な検知がさらに少なくなる。
【００１３】
請求項３の発明によると、算出手段により算出される走行道路のカーブの方向に関する情報は、前方画像における所定領域のオプティカルフローを計算することにより算出された方向ベクトルの水平方向成分となっている。この方向ベクトルは、前方画像におけるオプティカルフローを計算することにより得られるものであるため、白線や路肩の有無に拘らず得ることができる。したがって、この発明の算出手段によればは、白線や路肩が判別できないような走行道路であっても、カーブの方向に関する情報を算出することができる。また、この方向ベクトルは、自車両の旋回に応じて変化するものであり、方向ベクトルの水平方向成分の値は、自車両の走行道路のカーブの方向に応じて変化する。この発明では、この水平方向成分の値に基づいて、走行道路のカーブの方向を判定するようにしているので、白線や路肩が判別できないような走行道路であっても走行道路のカーブの方向を判定することができる。
【００１４】
請求項４によると、算出手段により算出される走行道路のカーブの曲り度合いに関する情報は、前方画像における所定のオプティカルフローを計算することにより算出された方向ベクトルの水平方向成分となっている。この方向ベクトルは、前方画像におけるオプティカルフローを計算することにより得られるものであるため、白線や路肩の有無に拘らず得ることができる。したがって、この発明の算出手段によれば、白線や路肩が判別できないような走行道路であっても、カーブの曲り度合いに関する情報を算出することができる。また、この方向ベクトルは、自車両の旋回に応じて変化するものであり、方向ベクトルの水平方向成分の値は、自車両の走行道路のカーブの曲り度合いに応じて変化する。この発明では、この水平方向成分の値に基づいて、走行道路のカーブの曲り度合いを判定するようにしているので、白線や路肩が判別できないような走行道路であっても走行道路のカーブの曲り度合いを判定することができる。
【００１５】
請求項５の発明によると、オプティカルフローを計算する所定領域が前方画像に複数ヶ所設定されているので、算出手段による走行道路のカーブの方向又はカーブの曲り度合いに関する情報の算出精度が向上する。
【００１６】
請求項６の発明によると、算出手段により算出される走行道路のカーブの方向に関する情報は、単に経路案内装置からの自車両の現在位置の情報及び地図情報に基づいている。地図情報には、カーブの方向に関する情報が当然に含まれている。また、これらの情報は、白線や路肩等の有無に拘らず取得が可能な情報である。したがって、この発明の算出手段によれば、白線や路肩が判別できないような走行道路であっても、カーブの方向に関する情報を算出することができる。 請求項７の発明によると、算出手段により算出される走行道路のカーブの曲り度合いに関する情報は、経路案内装置からの自車両の現在位置の情報及び地図情報に基づいている。地図情報には、カーブの曲り度合いに関する情報も当然に含まれている。したがって、この発明の算出手段によれば、白線や路肩が判別できないような走行道路であっても、カーブの曲り度合いに関する情報を算出することができる。
【００１７】
請求項８の発明によると、算出手段により算出される走行道路のカーブの方向に関する情報は、自車両の舵角を検出する舵角検出手段からの舵角情報に基づいている。舵角情報は、カーブの方向に応じて変化するものであり、白線や路肩等の有無に拘らず取得が可能な情報である。したがって、この発明の算出手段によれば、白線や路肩が判別できないような走行道路であっても、カーブの方向に関する情報を算出することができる。
【００１８】
請求項９の発明によると、算出手段により算出される走行道路のカーブの曲り度合いに関する情報は、舵角検出手段からの舵角情報に基づいている。舵角情報は、カーブの曲り度合いに応じて変化するものである。したがって、この発明の算出手段によれば、白線や路肩が判別できないような走行道路であっても、カーブの曲り度合いに関する情報を算出することができる。
【００１９】
請求項１０の発明によると、算出手段により算出される走行道路のカーブの方向に関する情報は、自車両のヨーレートを検出するヨーレート検出手段からのヨーレート情報に基づいている。ヨーレート情報は、カーブの方向に応じて変化するものであり、白線や路肩等の有無に拘らず取得が可能な情報である。したがって、この発明の算出手段によれば、白線や路肩が判別できないような走行道路であっても、カーブの方向に関する情報を算出することができる。
【００２０】
請求項１１の発明によると、算出手段により算出される走行道路のカーブの曲り度合いに関する情報は、ヨーレート検出手段からのヨーレート情報に基づいている。ヨーレート情報は、カーブの曲り度合いに応じて変化するものである。したがって、この発明の算出手段によれば、白線や路肩が判別できないような走行道路であっても、カーブの曲り度合いに関する情報を算出することができる。
【図面の簡単な説明】
【００２１】
【図１】第１実施形態による画像認識装置を示す概略構成図である。
【図２】画像認識回路が前方画像から歩行者を表す画像を検知するための処理を説明するための図である。
【図３】直線路走行時において探索領域を設定するための処理を説明するための図である。
【図４】右カーブ走行時において探索領域を設定するための処理を説明するための図である。
【図５】左カーブ走行時において探索領域を設定するための処理を説明するための図である。
【図６】前方画像から歩行者を表す画像を検知する画像認識回路の処理を示すフローチャートである。
【図７】第２実施形態による画像認識装置を示す概略構成図である。
【図８】第３実施形態による画像認識装置を示す概略構成図である。
【図９】第４実施形態による画像認識装置を示す概略構成図である。
【発明を実施するための形態】
【００２２】
以下、本発明の複数の実施形態を図面に基づいて説明する。なお、各実施形態において対応する構成要素には同一の符号を付与することにより、重複する説明を省略する。
【００２３】
（第１実施形態）
図１は、第１実施形態による画像認識装置１０の概略構成を示す。画像認識装置１０は、図２に示されるような自車両の前方の領域を撮像した前方画像５０から、前方の領域に存在する歩行者を表す画像５８を検知する。
【００２４】
図１に示されるように、画像認識装置１０は、画像認識回路２０を有する。画像認識回路２０は、赤外線カメラ３０、及び表示装置４０と接続されている。
【００２５】
撮像手段としての赤外線カメラ３０は、近赤外線を検出することにより、可視光の少ない環境下においても撮像が可能である。赤外線カメラ３０は、自車両の車体の前後方向の軸に沿って前方に向けられ、地上からの高さが所定の高さとなるように車体に取り付けられている。赤外線カメラ３０は、自車両の前方の領域を撮影し、前方画像５０を生成する。そして、赤外線カメラ３０は、生成した前方画像５０を画像認識回路２０及び表示装置４０に逐次出力する。なお、前方画像５０には、直線路において自車両から約４０ｍ〜１００ｍ先の走行道路、走行道路上に存在する歩行者、及び走行道路脇の路肩や歩道に存在する歩行者の画像が含まれる。
【００２６】
画像認識回路２０は、各種の演算処理を行うプロセッサ、当該演算処理に用いられるプログラム等が格納されたフラッシュメモリ、及び演算の作業領域として機能するＲＡＭ等によって構成されている。
【００２７】
画像認識回路２０は、算出部２２、探索領域設定部２４、データベース２６及び認識部２８から構成されている。これらの要素２２、２４、２６、２８は、画像認識回路２０の機能ブロックである。これら要素２２、２４、２６、２８の機能は、画像認識回路２０のプロセッサにおいて所定のプログラムが実行されることにより、当該画像認識回路２０によって果たされる。
【００２８】
算出部２２は、自車両の旋回に関する情報を含む情報を取得し、その取得した情報に基づき、自車両の前方の領域における走行道路のカーブの方向及びカーブの曲り度合いに関する情報を算出する。具体的に、算出部２２は、赤外線カメラ３０から画像認識回路２０に出力されている前方画像５０を自車両の旋回に関する情報を含む情報として取得する。そして、算出部２２は、取得した前方画像５０中の複数の所定領域のオプティカルフローを計算することにより算出される方向ベクトルの水平方向成分を合算し、水平方向成分の合算値を得る。水平方向成分の合算値は、探索領域設定部２４に出力される。なお、この水平方向成分の合算値が走行道路のカーブの方向及びカーブの曲り度合いに関する情報となる。
【００２９】
探索領域設定部２４は、図３に示されるような歩行者を表す画像を探索するための探索領域５２を、前方画像５０の一部に設定する。探索領域設定部２４は、図３〜図５に示されるように取得した走行道路のカーブの方向及びカーブの曲り度合いに関する情報に応じて、探索領域５２の前方画像５０における位置を設定する。探索領域設定部２４は、探索領域設定部２４によって設定された探索領域５２の前方画像５０での位置情報を認識部２８に出力する。探索領域設定部２４による探索領域５２の前方画像５０における位置の設定については、後ほど詳細に説明する。
【００３０】
データベース２６は、事前学習モデル２６ａを記憶している。事前学習モデル２６ａは、図示しない学習モデル作成装置が歩行者の写る画像及び歩行者以外のものが写る画像を含む複数のサンプル画像に基づいて、歩行者を表す画像５８の特徴量データを学習することにより構築される。以下、事前学習モデル２６ａの作成について説明する。学習モデル作成装置は、複数のサンプル画像を読み込み、図２に示されるように、各サンプル画像を探索ウインドウ５４によって走査する。これにより、学習モデル作成装置は、各サンプル画像からウインドウ画像５６を切り出す。そして、切り出されたウインドウ画像５６の特徴量データを学習する。なお、学習モデル作成装置による特徴量データの学習は、例えばＡｄａｂｏｏｓｔアルゴリズムにより行われる。そして、学習モデル作成装置は、歩行者の写る画像から抽出される特徴量データの重み付けを増やし、歩行者以外のものが写る画像から抽出される特徴量データの重み付けを減らす。また、事前学習モデル２６ａを作成する際、目標とする認識率及び誤認識率が予め設定される。認識率とは、事前学習モデル２６ａが歩行者が写る画像を正しく歩行者が写る画像として認識できる確率である。誤認識率とは、歩行者以外のものが写る画像を誤って歩行者が写る画像として認識してしまう確率である。目標として設定された認識率を上回り、かつ目標として設定された誤認識率を下回るようになるまで学習モデル作成装置に複数のサンプル画像を読み込ませることにより、歩行者を表す画像５８の特徴を学習した事前学習モデル２６ａが作成される。データベース２６は、記憶している事前学習モデル２６ａを認識部２８に出力する。
【００３１】
認識部２８は、赤外線カメラ３０によって撮像された前方画像５０を取得する。認識部２８は、探索領域設定部２４によって設定された探索領域５２の前方画像５０における位置情報を取得する。認識部２８は、データベース２６から事前学習モデル２６ａを取得する。認識部２８は、歩行者等の検知対象物の検知結果を、表示装置４０に出力する。
【００３２】
認識部２８は、特徴量抽出部２８ａ及び照合部２８ｂを有している。
【００３３】
特徴量抽出部２８ａは、前方画像５０の探索領域５２内の画像を走査し、当該探索領域５２に写る物体の特徴量データを抽出する。具体的には、図２に示されるように、特徴量抽出部２８ａは、予め大きさの設定された探索ウインドウ５４によって、赤外線カメラ３０から取得する前方画像５０の探索領域５２内の画像を走査する。なお、図２は、図３に示される探索領域５２内の画像のみを示している。
【００３４】
特徴量抽出部２８ａは、探索領域５２内の画像の水平方向及び鉛直方向に、探索ウインドウ５４を移動させつつ（図２に示される破線の矢印を参照）、当該探索ウインドウ５４によって囲まれた範囲の画像５６（以下、ウインドウ画像５６）を順に切り出す。さらに特徴量抽出部２８ａは、切り出されたウインドウ画像５６を照合処理に適した特徴量データに変換する。特徴量抽出部２８ａは、変換された特徴量データを照合部２８ｂに逐次出力する。
【００３５】
照合部２８ｂは、事前学習モデル２６ａに基づいて、探索領域５２内の画像から歩行者を表す画像５８を検知する。具体的に、照合部２８ｂは、特徴量抽出部２８ａによって抽出された特徴量データを、事前学習モデル２６ａと照合し、当該特徴量データが事前学習モデル２６ａに学習されている歩行者を表す画像５８の特徴量データに適合するか否かを判定する。事前学習モデル２６ａに学習されている特徴量データに適合する物体が検知された場合、照合部２８ｂは、前方画像５０における当該物体の位置情報を検知結果として、図１に示される表示装置４０に出力する。
【００３６】
本実施形態では、照合部２８において、探索領域５２から切り出したウインドウ画像５６の特徴量データと、事前学習モデル２６ａに学習されている歩行者を表す画像５８の特徴量データとを照合させることにより、探索領域５２内の画像から歩行者を表す画像５８を検知している。探索領域５２内の画像から歩行者を表す画像５８の検知はこの方法に限らなくともよい。例えば、歩行者を表すあらゆるパターンの画像（テンプレート画像）をデータベース２６に保有させる。そして、探索領域５２から切り出されたウインドウ画像５６と複数のテンプレート画像とを重ね合わせ、二つの画像の相関を調べることにより、ウインドウ画像５６から歩行者を表す画像５８を検知する。このような周知のパターンマッチング技術を採用して歩行者を表す画像５８を検知しても良い。
【００３７】
表示装置４０は、車両室内のインストルメントパネルの中央部等に配置される液晶ディスプレイの表示画面に種々の画像を表示することにより、運転者に種々の情報を提供する。本実施形態の表示装置４０は、赤外線カメラ３０と接続されており、当該赤外線カメラ３０から前方画像５０を取得することができる。表示装置４０は、運転者等のユーザーの操作に基づいて、表示画面に前方画像５０を表示する。加えて、表示装置４０は、認識部２８から取得する検知結果としての位置情報に基づいて、前方画像５０における歩行者を表す画像５８を囲むように、枠状の画像６０を前方画像５０に重畳して表示する（図３を参照）。
【００３８】
次に、探索領域５２の前方画像５０における位置を設定するために使用する走行道路の形状の判定について、図３〜図５を用いて、さらに詳しく説明する。
【００３９】
自車両の前方に延びる走行道路には、直線路やカーブ等が存在する。例えば、自車両がカーブに沿って走行する際、自車両は旋回する。即ち、自車両が旋回していることが分かれば、自車両の前方に延びる走行道路がカーブであることが判定できる。
【００４０】
本実施形態の算出部２２は、自車両の旋回に関する情報を含んだ情報を取得し、その習得した情報に基づいて、走行道路のカーブの方向及びカーブの曲り度合いに関する情報を算出する。具体的に、算出部２２は、自車両の旋回に関する情報を含む情報として、赤外線カメラ３０から画像認識回路２０に出力されている前方画像５０を取得する。算出部２２は、その取得した前方画像５０を画像処理することにより、走行道路のカーブの方向及びその曲り度合いに関する情報を算出する。
【００４１】
以下、前方画像５０から走行道路のカーブの方向及びカーブの曲り度合いに関する情報を算出する際の具体的な方法について詳細に説明する。
【００４２】
前方画像５０のオプティカルフローは、走行道路の形状（直線路、カーブ）によって異なる。具体的に、図３中の矢印によって示されるように、自車両が直線路を走行しているとき、前方画像５０のオプティカルフローは、前方画像５０の中央部に存在する消失点６２から放射状に拡がる。また、自車両が右カーブを走行しているとき、図４中の矢印によって示されるように、前方画像５０における消失点６２の上側のオプティカルフローは斜め左上方向を向き、消失点６２の下側のオプティカルフローは斜め左下方向を向き、消失点６２の右側及び左側のオプティカルフローは左方向を向く。一方、自車両が左カーブを走行しているとき、図５中の矢印によって示されるように、前方画像５０における消失点６２の上側のオプティカルフローは斜め右上方向を向き、消失点６２の下側のオプティカルフローは斜め右下方向を向き、消失点６２の右側及び左側のオプティカルフローは右方向を向く。また、赤外線カメラ３０が自車両の車体の前後方向の軸に沿って前方に向けられて取り付けられているので、走行道路のカーブの曲り度合いが大きいほど、図４及び図５中に示される矢印の大きさは大きくなる。以上により、前方画像５０のオプティカルフローを計算することによれば、走行道路のカーブの方向及びカーブの曲り度合いに関する情報を算出することができる。
【００４３】
本実施形態の算出部２２は、図３に示されるように、取得した前方画像５０のオプティカルフローを計算することにより消失点６２の前方画像５０上の位置を求め、求めた位置に消失点６２を設定する。消失点６２は、直線路を走行中の自車両から進行方向に延びる複数の平行線が交差する無限遠点となっている。この実施形態では、消失点６２は、図３に示されるように前方画像５０の中央部に設けられる。ただし、消失点６２の設定は、前方画像５０のオプティカルフローを計算することにより設定しなくともよい。例えば、近似的に、前方画像５０の中央部分に設定するようにしてもよい。
【００４４】
そして、算出部２２は、前方画像５０の四つ角のそれぞれと、消失点６２とを直線で結ぶことにより、消失点６２の周りに四つの分割領域６４を形成する。さらに、算出部２２は、図３の一点鎖線によって示されるように、それら四つの分割領域６４ごとに少なくとも一箇所ずつ、オプティカルフローを計算するための計算領域６６を設定する。なお、計算領域６６は、向かい合う分割領域６４内に設定される計算領域６６同士が消失点６２に対して点対称となる位置に設定される。さらに、各計算領域６６は、互いに向かい合う計算領域６６同士を結んだ線が、直交するように設定される。本実施形態では四つの分割領域６４に少なくとも一箇所ずつ計算領域６６を設定するようにしているが、互いに向かい合う左右の分割領域６４だけに計算領域６６を設けるようにしても良いし、上下の分割領域６４だけに計算領域６６を設けるようにしても良い。
【００４５】
各計算領域６６のオプティカルフローが計算されると、計算領域６６ごとに方向ベクトルが得られる。そして、算出部２２は、得られた方向ベクトルの水平方向成分を合算する。なお、オプティカルフローの計算は、赤外線カメラ３０から取得した時間的に異なる複数の前方画像５０に基づいて行われる。水平方向成分の合算値は、探索領域設定部２４に出力される。なお、水平方向成分の合算値は、走行道路のカーブの方向及びカーブの曲り度合いに関する情報となる。本実施形態では、水平方向成分の合算値がゼロを含む所定の範囲内となっている場合、走行道路は直線路であることを示す。水平方向成分の合算値が、正の値であって所定の範囲を外れた値である場合、走行道路は右カーブであることを示す。また、水平方向成分の合算値が、負の値であって所定の範囲を外れた値である場合、走行道路は左カーブであることを示す。
【００４６】
このように算出部２２によって算出される水平方向成分の合算値（走行道路のカーブの方向及びカーブの曲り度合いに関する情報）は、前方画像５０中に写った走行道路の白線や路肩に基づいたものではく、前方画像５０のオプティカルフローを計算することにより得られる方向ベクトルの水平方向成分に基づいている。したがって、この算出部２２によれば、走行道路の白線や路肩の有無といった走行道路の状態に拘らず、的確に走行道路のカーブの方向及びカーブの曲り度合いに関する情報を算出することができる。
【００４７】
次に、探索領域設定部２４が設定する探索領域５２について、図３〜図５を用いて、さらに詳しく説明する。
【００４８】
前方画像５０の一部に設定される探索領域５２は、歩行者を表す画像を探索するためのものである。したがって、探索領域５２は、前方画像５０に写った走行道路及び走行道路脇の路肩や歩道がその領域に入るように設定される。具体的に、直線路の場合、探索領域５２は、図３に示されるように走行道路及び走行道路脇の路肩や歩道がその領域に入るように前方画像５０の中央部に設定される。このような探索領域５２の設定によれば、走行道路上を横断する歩行者や、走行道路脇の路肩や歩道を歩く歩行者を探索することができる。このように探索領域５２を走行道路及び走行道路脇の路肩や歩道が入るだけのものにしているのは、誤検知の発生や、無駄な検知を行うことによる検知時間の長期化を招いてしまうのを抑制するためである。
【００４９】
また、探索領域５２は、自車両前方の約４０ｍ〜１００ｍに存在する歩行者を探索することができるように、前方画像５０上での上下・左右方向の大きさ、及び探索領域５２内の画像を走査する探索ウインドウ５４の上下・左右方向の大きさが設定される。探索領域５２が自車両前方の約４０ｍ〜１００ｍに存在する歩行者を探索するように設定されているのは、この画像認識装置１０が、夜間に使用されることを前提としているからである。夜間において自車両から約４０ｍまでの範囲は、ヘッドライトの光により歩行者は比較的視認されやすいため、画像認識装置１０による歩行者の検知の必要性は少ない。これに対し、自車両から約４０ｍを超える範囲は、ヘッドライトの光が弱くなるため、歩行者の視認が困難となる。画像認識装置１０は、このような歩行者の視認が困難となる範囲の歩行者を検知するように、探索領域５２の前方画像５０上での上下・左右方向の大きさ、及び探索ウインドウ５４の上下・左右方向の大きさが設定される。
【００５０】
また、この実施形態において、探索領域５２は、走行道路のカーブの方向に応じて前方画像５０における位置が異なるように設定される。具体的に、図４に示されるように走行道路が右方向にカーブしている場合、直線路の場合に比べ、探索領域５２は、探索領域５２の前方画像５０における上下・左右方向の大きさはそのままに、前方画像５０上を右方向に向けて移動させた位置に設定されている。また、図５に示されるように走行道路が左方向にカーブしている場合、直線路の場合に比べ、探索領域５２は、探索領域５２の前方画像５０における上下・左右方向の大きさはそのままに、前方画像５０上を左方向に向けて移動させた位置に設定されている。このように探索領域５２の設定位置を走行道路の形状に応じて異ならせるのは、走行道路のカーブの方向に応じて歩行者が存在する可能性の高い領域が変化するからである。赤外線カメラ３０は、車体の前後方向の軸に沿って前方に向けられている。このため、自車両がカーブにさしかかると、図４や図５に示されるように、前方画像５０における走行道路及び走行道路脇の路肩及び歩道は、直線路の場合に比べ、カーブの方向に向かってずれる。したがって、前方画像５０における歩行者が存在する可能性の高い領域もカーブの方向に向かってずれる。
【００５１】
そうであるにも拘わらず、図４及び図５に二点鎖線で示されるように探索領域５２が直線路に応じたもののまま固定されていると、自車両がカーブにさしかかったときに、探索領域５２が歩行者が存在する可能性の高い領域（図４及び図５の破線を参照）からはずれる。これでは、歩行者が存在する可能性極めて低い領域を探索するといった無駄な検知を行い、誤検知を引き起こしたり、歩行者が存在する可能性の高い領域を探索することができず、検知漏れが発生することが懸念される。これに対し、この実施形態では、算出部２２によって算出された走行道路のカーブの方向に関する情報に応じて、走行道路のカーブの方向を探索領域設定部２４が判定するとともに、その走行道路のカーブの方向に応じて、探索領域５２の前方画像５０における位置を探索領域設定部２４によって設定するようにしている。そうすれば、歩行者の検知漏れや無駄な検知動作を減少させることができる。
【００５２】
具体的に、探索領域設定部２４は、算出部２２が算出した水平方向成分の合算値によってカーブの方向を判定する。例えば、探索領域設定部２４は、水平方向成分の合算値が正の値であって所定の範囲を外れた値である場合、カーブは右方向であると判定する。また、探索領域設定部２４は、水平方向成分の合算値が負の値であって所定の範囲を外れた値である場合、カーブは左方向であると判定する。そして、探索領域設定部２４は、探索領域５２を、探索領域５２の前方画像５０における上下・左右方向の大きさはそのままに、判定した走行道路のカーブの方向に向けて移動させた位置に設定する。これにより、自車両がカーブを走行することによって変化する歩行者が存在する可能性が高い領域に探索領域５２を近づけることができる。
【００５３】
また、探索領域設定部２４は、算出部２２が算出した水平方向成分の合算値によってカーブの曲り度合いを判定する。例えば、探索領域設定部２４は、水平方向成分の合算値の大きさが大きいほど、カーブの曲り度合いが大きいものであると判定できる。探索領域設定部２４は、カーブの曲り度合いが大きいほど、走行道路のカーブの方向に向かう探索領域５２の移動量が大きくなるように探索領域５２を設定する。これにより、探索領域５２を、カーブの曲り度合いに対応したものとすることができ、カーブの曲り度合いによって変化する歩行者が存在する可能性が高い領域に探索領域５２をより近づけることができる。
【００５４】
次に、画像認識回路２０が、前方画像５０から歩行者を表す画像５８を検知する処理について、図６のフローチャートを用いて、詳しく説明する。例えば、表示装置４０に前方画像５０を表示させるための操作をユーザが行うことにより、画像認識回路２０によって実施される。画像認識回路２０による処理は、表示装置４０への前方画像５０の表示を停止する操作をユーザが行うまで繰り返される。
【００５５】
まず、ステップＳ１０では、算出部２２によって、赤外線カメラ３０から前方画像５０を取得し、ステップＳ２０に進む。ステップＳ２０では、算出部２２によって、ステップＳ１０において取得した赤外線カメラ３０からの前方画像５０を画像処理し、前方画像５０に消失点６２を設定し、ステップＳ３０に進む。
【００５６】
ステップＳ３０では、算出部２２によって、前方画像５０の四つ角のそれぞれと、ステップＳ２０において算出された消失点６２とを直線で結ぶことにより、消失点６２の周りに四つの分割領域６４を形成し、ステップＳ４０に進む。
【００５７】
ステップＳ４０では、算出部２２によって、四つの分割領域６４ごとに少なくとも一箇所ずつオプティカルフローを計算する計算領域６６（図３〜図５の一点鎖線を参照）を設定し、ステップＳ５０に進む。
【００５８】
ステップＳ５０では、算出部２２によって、各計算領域６６のオプティカルフローを計算し、オプティカルフローを計算することによりた方向ベクトルを算出し、それらの方向ベクトルの水平方向成分を合算し、ステップＳ６０に進む。ステップＳ５０において算出された水平方向成分の合算値は、探索領域設定部２４に出力される。
【００５９】
ステップＳ６０では、ステップＳ５０において算出された水平方向成分の合算値に基づき、自車両前方の走行道路が直線路であるのか、あるいはカーブであるのかを探索領域設定部２４により判定する。具体的に、ステップＳ５０において算出された水平方向成分の合算値が所定の範囲内となっていれば、走行道路は直線路であるとして、ステップＳ７０に進む。一方、ステップＳ５０において算出された水平方向成分の合算値が所定の範囲を外れていれば、走行道路はカーブしているとして、ステップＳ８０に進む。
【００６０】
ステップＳ８０では、ステップＳ５０において算出された水平方向成分の合算値が正の値であれば、走行道路は右方向にカーブしているとして、ステップＳ９０に進む。一方、ステップＳ５０において算出された水平方向成分の合算値が負の値であれば、走行道路は左方向にカーブしているとして、ステップＳ１００に進む。
【００６１】
走行道路が直線路であると判定された場合に実行されるステップＳ７０では、認識部２８によって走行道路及び走行道路脇の路肩や歩道に存在する歩行者を表す画像５８が検知できるように、探索領域設定部２４によって探索領域５２が前方画像５０の中央部に設定される（図３を参照）。前方画像５０の中央部に探索領域５２が設定されることにより、直線路上及び直線路脇の路肩や歩道に存在する歩行者を探索領域５２内に含めることができる。探索領域設定部２４によって設定された探索領域５２の前方画像５０における位置情報は、認識部２８に出力される。
【００６２】
走行道路が右方向にカーブしていると判定された場合に実行されるステップＳ９０では、認識部２８によって右カーブの走行道路及び走行道路脇の路肩や歩道に存在する歩行者を表す画像５８が検知できるように、探索領域設定部２４によって探索領域５２が右方向に向けて移動された位置に設定される（図４を参照）。また、探索領域設定部２４によって設定される探索領域５２は、ステップＳ５０において算出された水平方向成分の合算値の大きさが大きいほど、右方向に向かう探索領域５２の移動量が大きくなるように探索領域５２が設定される。このようにして設定された探索領域５２の前方画像５０における位置情報は、認識部２８に出力される。
【００６３】
走行道路が左方向にカーブしていると判定された場合に実行されるステップＳ１００では、認識部２８によって左カーブの走行道路及び走行道路脇の路肩や歩道に存在する歩行者を表す画像５８が検知できるように、探索領域設定部２４によって探索領域５２が左方向に向けて移動された位置に設定される（図５を参照）。また、探索領域設定部２４によって設定される探索領域５２は、ステップＳ５０において算出された水平方向成分の合算値の大きさが大きいほど、左方向に向かう探索領域５２の移動量が大きくなるように探索領域５２が設定される。このようにして設定された探索領域５２の前方画像５０における位置情報は、認識部２８に出力される。
【００６４】
ステップＳ１１０では、前方画像５０における探索領域５２からウインドウ画像５６を探索ウインドウ５４によって順に切り出す。そして、切り出された各ウインドウ画像５６から、特徴量抽出部２８ａによって、特徴量データを抽出し、Ｓ１２０に進む。抽出された特徴量データは、特徴量抽出部２８ａから照合部２８ｂに出力される。
【００６５】
ステップＳ１２０では、ステップＳ１１０において抽出された特徴量データを、事前学習モデル２６ａに学習されている歩行者を表す画像５８の特徴量データと照合し、ステップＳ１３０に進む。ステップＳ１２０では、歩行者を表す画像５８の特徴量データに適合するウインドウ画像５６が検知された場合、前方画像５０における当該ウインドウ画像５６の位置情報を記憶する。
【００６６】
ステップＳ１３０では、ステップＳ１２０における照合の結果に基づき、前方画像５０から検知対象物である歩行者を表す画像５８を検知したか否かを判定する。ステップＳ１３０において、歩行者を表す画像５８を検知していないと判定した場合、ステップＳ１０に戻る。一方、ステップＳ１３０において、前方画像５０から歩行者を表す画像５８を検知していると判定した場合、ステップＳ１４０に進む。
【００６７】
ステップＳ１４０では、ステップＳ１２０において記憶した、ウインドウ画像５６の位置情報を検知結果として表示装置４０に出力し、ステップＳ１０に戻る。表示装置４０は、照合部２８ｂから取得した位置情報に基づいて、歩行者を表す画像５８を枠状の画像６０で囲んだ表示を表示画面に映し出す。
【００６８】
ここまで説明した本実施形態では、自車両の旋回に関する情報を含む情報として、赤外線カメラ３０から前方画像５０を取得し、その前方画像５０に基づいて、自車両の前方における走行道路のカーブの方向に関する情報を算出するようにしている。このため、白線や路肩の有無といった走行道路の状態に拘らず、自車両の前方における走行道路のカーブの方向に関する情報を的確に算出することができる。ここで、画像認識回路２０が検知しようとする歩行者が存在する可能性の高い領域は、通常、走行道路のカーブの方向によって変化する。探索領域設定部２４は、算出部２２によって算出された走行道路のカーブの方向に関する情報に基づいて、走行道路のカーブの方向を判定する。そして、探索領域設定部２４は、歩行者を表す画像５８を探索するための探索領域５２の前方画像５０における上下・左右方向の大きさはそのままに、判定した走行道路のカーブの方向に向けて移動させた位置に探索領域５２を設定する。このため、走行道路のカーブの方向によって変化する歩行者が存在する可能性の高い領域に探索領域５２が近づくこととなる。このようにして探索領域５２が設定された後に、認識部２８は、設定後の探索領域５２内の歩行者の検知を行うので、歩行者の検知漏れや無駄な検知動作が減少する。よって、本実施形態の画像認識装置１０は、自車両の走行道路の状態に拘らず、歩行者の検知漏れや無駄な検知動作を減少させることができる探索領域５２を設定でき、歩行者の検知性能を向上することができる。
【００６９】
また、本実施形態では、探索領域設定部２４によって判定された走行道路のカーブの曲り度合いが大きいほど、走行道路のカーブの方向に向かう探索領域５２の移動量が大きくなるように探索領域５２が設定される。ゆえに、探索領域５２は、走行道路のカーブの曲り度合いに対応したものとなり、走行道路のカーブの曲がり度合いによって変化する歩行者が存在する可能性の高い領域に近づく。したがって、自車両がカーブを走行しているときの歩行者の検知漏れや無駄な検知がさらに少なくなる。
【００７０】
さらに、算出部２２により算出される走行道路のカーブの方向及びカーブの曲り度合いに関する情報は、前方画像５０における所定領域のオプティカルフローを計算することにより算出された方向ベクトルの水平方向成分の合算値となっている。算出部２２により算出される方向ベクトルは、前方画像５０におけるオプティカルフローを計算することにより得られるものであるため、白線や路肩の有無に拘らず得ることができる。したがって、本実施形態の算出部２２によれば、白線や路肩が判別できないような走行道路であっても、走行道路のカーブの方向及びカーブの曲り度合いに関する情報を算出することができる。
【００７１】
また、この方向ベクトルは、自車両の旋回に応じて変化するものであり、方向ベクトルの水平方向成分の合算値は、自車両の走行道路のカーブの方向及びカーブの曲り度合いに応じて変化する。本実施形態では、この水平方向成分の合算値に基づいて、走行道路のカーブの方向及びカーブの曲り度合いを判定するようにしているので、白線や路肩が判別できないような走行道路であっても走行道路のカーブの方向及びカーブの曲り度合いを判定することができる。
【００７２】
さらに、本実施形態では、オプティカルフローを計算する所定領域が前方画像５０中に複数ヶ所設定されているため、算出部２２による走行道路のカーブの方向又はカーブの曲り度合いに関する情報の算出精度が向上する。
【００７３】
なお、本実施形態において、算出部２２は特許請求の範囲に記載の「算出手段」に相当し、探索領域設定部２４は特許請求の範囲に記載の「探索領域設定手段」に相当し、認識部２８は特許請求の範囲に記載の「検知手段」に相当する。
【００７４】
（第２実施形態）
図７は、第２実施形態による画像認識装置１０を示す概略構成図である。本実施形態では、経路案内装置としてのナビゲーション装置７０の自車両の現在位置の情報及び地図情報を自車両の旋回に関する情報を含む情報として取得し、その現在位置情報及び地図情報に基づいて、走行道路のカーブの方向及びカーブの曲り度合いに関する情報を算出する点が、第１実施形態と異なる。ここでは、本実施形態の特徴部分のみを説明する。
【００７５】
ナビゲーション装置７０は、自車両の現在位置を検出する位置検出手段としての位置検出部７０ａと、自車両の現在位置周辺の地図情報を記憶する地図記憶手段としての地図記憶部７０ｂとを有する。位置検出部７０ａは、例えば、車外からの無線信号に基づいて自車両の現在位置を検出する。無線信号は、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）信号やビーコンなどからの信号である。自車両の現在位置の情報は、表示装置４０等の表示画面を有する装置に出力されるとともに、画像認識回路２０の算出部２２にも出力される。
【００７６】
地図記憶部７０ｂは、位置検出部７０ａによって検出された自車両の現在位置の情報に基づき、記憶されている自車両の現在位置の周辺の地図情報を表示装置４０等の表示画面を有する装置に出力するとともに、画像認識回路２０にも出力する。
【００７７】
表示装置４０等の表示画面を有する装置は、入力された自車両の現在位置の情報及び地図情報に基づき、地図を表示するとともに、その地図に自車両の現在位置に関する意匠を重ねあわせて表示する。さらに、例えば目的地設定操作がなされた場合には、表示されている地図上に目的地までの経路を表示して経路案内する。
【００７８】
自車両の現在位置情報及び地図情報が入力される算出部２２は、これらの情報に基づき、自車両の前方に延びる走行道路のカーブの方向及びカーブの曲り度合いに関する情報を算出する。走行道路のカーブの方向及びカーブの曲り度合いに関する情報は、第１実施形態と同様、探索領域設定部２４に出力される。探索領域設定部２４及び認識部２８における処理は、第１実施形態ど同様であるため、ここでは説明を省略する。
【００７９】
本実施形態では、算出部２２により算出される走行道路のカーブの方向及びカーブの曲り度合いに関する情報は、ナビゲーション装置７０からの自車両の現在位置の情報及び地図情報に基づいている。これらの情報は、白線や路肩等の有無に拘らず取得が可能な情報である。したがって、この実施形態の算出部２２によれば、白線や路肩が判別できないような走行道路であっても、走行道路のカーブの方向及びカーブの曲り度合いに関する情報を算出することができる。
【００８０】
（第３実施形態）
図８は、第３実施形態による画像認識装置１０を示す概略構成図である。本実施形態では、舵角検出手段としての舵角センサ８０の舵角情報を自車両の旋回に関する情報を含む情報として取得し、その舵角情報に基づいて、走行道路のカーブの方向及びカーブの曲り度合いに関する情報を算出する点が、第１実施形態と異なる。ここでは、本実施形態の特徴部分のみを説明する。
【００８１】
舵角センサ８０は、自車両のステアリングに設けられており、運転者が操作するステアリングの操舵角を検出するものである。舵角センサ８０は、ステアリングの操舵角に応じた信号を舵角情報として出力する。このため、この舵角情報には、ステアリングの操舵の方向と、操舵量の情報が含まれることとなる。ステアリングの操作は、走行道路のカーブの方向及びカーブの曲り度合いに応じたものとなるので、この舵角情報によれば、走行道路のカーブの方向及びカーブの曲り度合いを把握することができる。舵角センサ８０から出力される舵角情報は、算出部２２に入力される。
【００８２】
舵角情報が入力される算出部２２は、この舵角情報に基づき、自車両の前方に延びる走行道路のカーブの方向及びカーブの曲り度合いに関する情報を算出する。走行道路のカーブの方向及びカーブの曲り度合いに関する情報は、第１実施形態と同様、探索領域設定部２４に出力される。探索領域設定部２４及び認識部２８における処理は、第１実施形態と同様であるため、ここでは説明を省略する。
【００８３】
本実施形態では、算出部２２により算出される走行道路のカーブの方向及びカーブの曲り度合いに関する情報は、走行道路のカーブの方向及びカーブの曲り度合いに応じて変化する舵角情報に基づいている。この情報は、白線や路肩等の有無に拘らず取得が可能な情報である。したがって、この実施形態の算出部２２によれば、白線や路肩が判別できないような走行道路であっても、走行道路のカーブの方向及びカーブの曲り度合いに関する情報を算出することができる。
【００８４】
（第４実施形態）
図９は、第４実施形態による画像認識装置１０を示す概略構成図である。本実施形態では、ヨーレート検出手段としてのヨーレートセンサ９０のヨーレート情報を自車両の旋回に関する情報を含む情報として取得し、そのヨーレート情報に基づいて、走行道路のカーブの方向及びカーブの曲り度合いに関する情報を算出する点が、第１実施形態と異なる。ここでは、本実施形態の特徴部分のみを説明する。
【００８５】
ヨーレートセンサ９０は、自車両の鉛直軸方向の回転角速度を検出するものである。ヨーレートセンサ９０は、上記回転角速度に応じた信号をヨーレート情報として出力する。ヨーレートは、走行道路のカーブの方向及びカーブの曲り度合いに応じて変化するものであるため、このヨーレート情報によれば、走行道路のカーブの方向及びカーブの曲り度合いを把握することができる。ヨーレートセンサ９０から出力されるヨーレート情報は、算出部２２に出力される。
【００８６】
ヨーレート情報が入力される算出部２２は、このヨーレート情報に基づき、自車両の前方に延びる走行道路のカーブの方向及びカーブの曲り度合いに関する情報を算出する。走行道路のカーブの方向及びカーブの曲り度合いに関する情報は、第１実施形態と同様、探索領域設定部２４に出力される。探索領域設定部２４及び認識部２８における処理は、第１実施形態と同様であるため、ここでは説明を省略する。
【００８７】
本実施形態では、算出部２２により算出される走行道路のカーブの方向及びカーブの曲り度合いに関する情報は、走行道路のカーブの方向及びカーブの曲り度合いに応じて変化するヨーレート情報に基づいている。この情報は、白線や路肩等の有無に拘らず取得が可能な情報である。したがって、この実施形態の算出部２２によれば、白線や路肩が判別できないような走行道路であっても、走行道路のカーブの方向及びカーブの曲り度合いに関する情報を算出することができる。
【符号の説明】
【００８８】
１０ 画像認識装置、２０ 画像認識回路、２２ 算出部（算出手段）、２４ 探索領域設定部（探索領域設定手段）、２６ データベース、２６ａ 事前学習モデル、２８ 認識部（検知手段）、２８ａ 特徴量抽出部、２８ｂ 照合部、３０ 赤外線カメラ、４０ 表示装置、５０ 前方画像、５２ 探索領域、５４ 探索ウインドウ、５６ ウインドウ画像、５８ 画像、６０ 画像、６２ 消失点、６４ 分割領域、６６ 計算領域、７０ ナビゲーション装置、８０ 舵角センサ、９０ ヨーレートセンサ
【技術分野】
【０００１】
本発明は、撮像手段により取得した自車両の前方画像から歩行者を表す画像を検知する画像認識装置に関する。
【背景技術】
【０００２】
従来、カメラ等の撮像手段により取得した自車両の前方画像から、人間等の検知対象物を表す画像を検知する画像認識の技術が知られている。それとは別に、カメラ等の撮像手段により取得した自車両の前方画像から、前方画像に写った他車両を探索して特定し、当該他車両の前方画像における位置を検出し、その検出位置を基に当該他車両までの実空間における距離を算出する技術が知られている（例えば、特許文献１）。
【０００３】
この特許文献１に記載の技術では、自車両の前方画像に写った白線や路肩を検出することにより道路端を特定し、特定した道路端に応じて他車両の探索領域を絞り込む。そして、その絞り込んだ探索領域内において他車両を探索し、他車両の位置を求める。このようにして他車両を探索する領域を絞り込んでいるので、他車両の位置検知のための画像処理の負担が軽減され、その画像処理時間を短縮することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−１１６５１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１の検知技術では、前方画像上に写った走行道路の白線や路肩に基づいて、走行道路の道路端を特定し、特定した道路端に応じて他車両の探索領域を絞り込んでいる。このため、白線や路肩を検出することができないと、道路端を特定することができず、適切な探索領域の設定が困難となる。
【０００６】
ここで、カメラ等の撮像手段からの前方画像に写る走行道路の形状は、自車両が走行する走行道路が直線路であるのか、カーブであるかに応じて変化する。ゆえに、走行道路上及び走行道路脇の路肩や歩道に存在する歩行者の前方画像における領域は、走行道路が直線路であるのか、カーブであるのかに応じて変化することとなる。
【０００７】
特許文献１の検知技術を走行道路上及び走行道路脇の路肩や歩道に存在する歩行者を検知する装置に適用するようにしても、白線や路肩が検出できないような走行道路において、走行道路が直線路かカーブなのかを判定することができず、適切な探索領域の設定が行えない。したがって、歩行者の検知漏れや、無駄な検知がおこなわれ、検知性能が低下するおそれがある。
【０００８】
本発明は、上述の問題点に鑑みてなされたものであって、その目的は、自車両の走行道路の状態に拘らず、歩行者の検知漏れや無駄な検知動作を減少させることができる探索領域を設定でき、歩行者の検知性能を向上させることができる画像認識装置を提供する。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、請求項１の発明は、自車両の前方の領域を撮像する撮像手段より取得した前方画像から、前方の領域に存在する歩行者を表す画像を検知する画像認識装置において、
自車両の旋回に関する情報を含んだ情報を取得し、その取得した情報に基づき、前方の領域における走行道路のカーブの方向に関する情報を算出する算出手段と、
歩行者を表す画像を探索するための探索領域を前方画像の一部に設定する探索領域設定手段であって、走行道路のカーブの方向に関する情報に基づいて、走行道路のカーブの方向を判定し、探索領域を、探索領域の前方画像における大きさはそのままに、判定した走行道路のカーブの方向に向けて移動させた位置に設定する探索領域設定手段と、
探索領域内の歩行者を表す画像を検知する検知手段と、を備えることを特徴としている。
【００１０】
請求項１の発明によると、取得した自車両の旋回に関する情報を含んだ情報に基づいて、自車両の前方における走行道路のカーブの方向に関する情報を算出するようにしているため、白線や路肩の有無といった走行道路の状態に拘らず、自車両の前方における走行道路のカーブの方向に関する情報を的確に算出することができる。ここで、画像認識装置が検知しようとする歩行者は、通常、走行道路上及び走行道路脇の路肩や歩道に多く存在する。このため、前方画面における歩行者が存在する可能性の高い領域は、走行道路のカーブの方向によって変化する。例えば、自車両がカーブにさしかかると、歩行者が存在する可能性の高い領域は、そのカーブの方向にずれる。歩行者を表す画像を探索するための探索領域が前方画面上で固定されていると、自車両がカーブを走行し、歩行者が存在する可能性が高い領域がずれることに対応することができず、歩行者を表す画像の検知漏れ等が発生するおそれがある。
【００１１】
そこで、探索領域設定手段は、走行道路のカーブの方向に関する情報に基づいて、走行道路のカーブの方向を判定する。そして、探索領域設定手段は、歩行者を表す画像を探索するための探索領域の前方画像における大きさはそのままに、判定した走行道路のカーブの方向に向けて移動させた位置に探索領域を設定する。ゆえに、探索領域は、走行道路のカーブの方向によって変化する歩行者が存在する可能性の高い領域に近づくこととなる。このようにして探索領域が設定された後に、検知手段は、設定後の探索領域内において歩行者を表す画像の検知を行うので、歩行者の検知漏れや無駄な検知動作が減少する。よって、この発明によれば、自車両の走行道路の状態に拘らず、歩行者の検知漏れや無駄な検知動作を減少させることができる探索領域を設定でき、歩行者の検知性能を向上することができる。なお、この発明において検知対象となる歩行者は、自転車等に乗った歩行者も含んでいる。
【００１２】
走行道路のカーブの曲り度合いが大きいほど、歩行者が存在する可能性が高い領域もカーブの方向に向かってさらに移動する。このことに対し、請求項２の発明によると、探索領域設定手段によって判定された走行道路のカーブの曲り度合いが大きいほど、走行道路のカーブの方向に向かう探索領域の移動量が大きくなるように探索領域が設定される。ゆえに、探索領域は、走行道路のカーブの曲り度合いに対応したものとなり、歩行者が存在する可能性の高い領域に近づくこととなる。したがって、歩行者の検知漏れや無駄な検知がさらに少なくなる。
【００１３】
請求項３の発明によると、算出手段により算出される走行道路のカーブの方向に関する情報は、前方画像における所定領域のオプティカルフローを計算することにより算出された方向ベクトルの水平方向成分となっている。この方向ベクトルは、前方画像におけるオプティカルフローを計算することにより得られるものであるため、白線や路肩の有無に拘らず得ることができる。したがって、この発明の算出手段によればは、白線や路肩が判別できないような走行道路であっても、カーブの方向に関する情報を算出することができる。また、この方向ベクトルは、自車両の旋回に応じて変化するものであり、方向ベクトルの水平方向成分の値は、自車両の走行道路のカーブの方向に応じて変化する。この発明では、この水平方向成分の値に基づいて、走行道路のカーブの方向を判定するようにしているので、白線や路肩が判別できないような走行道路であっても走行道路のカーブの方向を判定することができる。
【００１４】
請求項４によると、算出手段により算出される走行道路のカーブの曲り度合いに関する情報は、前方画像における所定のオプティカルフローを計算することにより算出された方向ベクトルの水平方向成分となっている。この方向ベクトルは、前方画像におけるオプティカルフローを計算することにより得られるものであるため、白線や路肩の有無に拘らず得ることができる。したがって、この発明の算出手段によれば、白線や路肩が判別できないような走行道路であっても、カーブの曲り度合いに関する情報を算出することができる。また、この方向ベクトルは、自車両の旋回に応じて変化するものであり、方向ベクトルの水平方向成分の値は、自車両の走行道路のカーブの曲り度合いに応じて変化する。この発明では、この水平方向成分の値に基づいて、走行道路のカーブの曲り度合いを判定するようにしているので、白線や路肩が判別できないような走行道路であっても走行道路のカーブの曲り度合いを判定することができる。
【００１５】
請求項５の発明によると、オプティカルフローを計算する所定領域が前方画像に複数ヶ所設定されているので、算出手段による走行道路のカーブの方向又はカーブの曲り度合いに関する情報の算出精度が向上する。
【００１６】
請求項６の発明によると、算出手段により算出される走行道路のカーブの方向に関する情報は、単に経路案内装置からの自車両の現在位置の情報及び地図情報に基づいている。地図情報には、カーブの方向に関する情報が当然に含まれている。また、これらの情報は、白線や路肩等の有無に拘らず取得が可能な情報である。したがって、この発明の算出手段によれば、白線や路肩が判別できないような走行道路であっても、カーブの方向に関する情報を算出することができる。 請求項７の発明によると、算出手段により算出される走行道路のカーブの曲り度合いに関する情報は、経路案内装置からの自車両の現在位置の情報及び地図情報に基づいている。地図情報には、カーブの曲り度合いに関する情報も当然に含まれている。したがって、この発明の算出手段によれば、白線や路肩が判別できないような走行道路であっても、カーブの曲り度合いに関する情報を算出することができる。
【００１７】
請求項８の発明によると、算出手段により算出される走行道路のカーブの方向に関する情報は、自車両の舵角を検出する舵角検出手段からの舵角情報に基づいている。舵角情報は、カーブの方向に応じて変化するものであり、白線や路肩等の有無に拘らず取得が可能な情報である。したがって、この発明の算出手段によれば、白線や路肩が判別できないような走行道路であっても、カーブの方向に関する情報を算出することができる。
【００１８】
請求項９の発明によると、算出手段により算出される走行道路のカーブの曲り度合いに関する情報は、舵角検出手段からの舵角情報に基づいている。舵角情報は、カーブの曲り度合いに応じて変化するものである。したがって、この発明の算出手段によれば、白線や路肩が判別できないような走行道路であっても、カーブの曲り度合いに関する情報を算出することができる。
【００１９】
請求項１０の発明によると、算出手段により算出される走行道路のカーブの方向に関する情報は、自車両のヨーレートを検出するヨーレート検出手段からのヨーレート情報に基づいている。ヨーレート情報は、カーブの方向に応じて変化するものであり、白線や路肩等の有無に拘らず取得が可能な情報である。したがって、この発明の算出手段によれば、白線や路肩が判別できないような走行道路であっても、カーブの方向に関する情報を算出することができる。
【００２０】
請求項１１の発明によると、算出手段により算出される走行道路のカーブの曲り度合いに関する情報は、ヨーレート検出手段からのヨーレート情報に基づいている。ヨーレート情報は、カーブの曲り度合いに応じて変化するものである。したがって、この発明の算出手段によれば、白線や路肩が判別できないような走行道路であっても、カーブの曲り度合いに関する情報を算出することができる。
【図面の簡単な説明】
【００２１】
【図１】第１実施形態による画像認識装置を示す概略構成図である。
【図２】画像認識回路が前方画像から歩行者を表す画像を検知するための処理を説明するための図である。
【図３】直線路走行時において探索領域を設定するための処理を説明するための図である。
【図４】右カーブ走行時において探索領域を設定するための処理を説明するための図である。
【図５】左カーブ走行時において探索領域を設定するための処理を説明するための図である。
【図６】前方画像から歩行者を表す画像を検知する画像認識回路の処理を示すフローチャートである。
【図７】第２実施形態による画像認識装置を示す概略構成図である。
【図８】第３実施形態による画像認識装置を示す概略構成図である。
【図９】第４実施形態による画像認識装置を示す概略構成図である。
【発明を実施するための形態】
【００２２】
以下、本発明の複数の実施形態を図面に基づいて説明する。なお、各実施形態において対応する構成要素には同一の符号を付与することにより、重複する説明を省略する。
【００２３】
（第１実施形態）
図１は、第１実施形態による画像認識装置１０の概略構成を示す。画像認識装置１０は、図２に示されるような自車両の前方の領域を撮像した前方画像５０から、前方の領域に存在する歩行者を表す画像５８を検知する。
【００２４】
図１に示されるように、画像認識装置１０は、画像認識回路２０を有する。画像認識回路２０は、赤外線カメラ３０、及び表示装置４０と接続されている。
【００２５】
撮像手段としての赤外線カメラ３０は、近赤外線を検出することにより、可視光の少ない環境下においても撮像が可能である。赤外線カメラ３０は、自車両の車体の前後方向の軸に沿って前方に向けられ、地上からの高さが所定の高さとなるように車体に取り付けられている。赤外線カメラ３０は、自車両の前方の領域を撮影し、前方画像５０を生成する。そして、赤外線カメラ３０は、生成した前方画像５０を画像認識回路２０及び表示装置４０に逐次出力する。なお、前方画像５０には、直線路において自車両から約４０ｍ〜１００ｍ先の走行道路、走行道路上に存在する歩行者、及び走行道路脇の路肩や歩道に存在する歩行者の画像が含まれる。
【００２６】
画像認識回路２０は、各種の演算処理を行うプロセッサ、当該演算処理に用いられるプログラム等が格納されたフラッシュメモリ、及び演算の作業領域として機能するＲＡＭ等によって構成されている。
【００２７】
画像認識回路２０は、算出部２２、探索領域設定部２４、データベース２６及び認識部２８から構成されている。これらの要素２２、２４、２６、２８は、画像認識回路２０の機能ブロックである。これら要素２２、２４、２６、２８の機能は、画像認識回路２０のプロセッサにおいて所定のプログラムが実行されることにより、当該画像認識回路２０によって果たされる。
【００２８】
算出部２２は、自車両の旋回に関する情報を含む情報を取得し、その取得した情報に基づき、自車両の前方の領域における走行道路のカーブの方向及びカーブの曲り度合いに関する情報を算出する。具体的に、算出部２２は、赤外線カメラ３０から画像認識回路２０に出力されている前方画像５０を自車両の旋回に関する情報を含む情報として取得する。そして、算出部２２は、取得した前方画像５０中の複数の所定領域のオプティカルフローを計算することにより算出される方向ベクトルの水平方向成分を合算し、水平方向成分の合算値を得る。水平方向成分の合算値は、探索領域設定部２４に出力される。なお、この水平方向成分の合算値が走行道路のカーブの方向及びカーブの曲り度合いに関する情報となる。
【００２９】
探索領域設定部２４は、図３に示されるような歩行者を表す画像を探索するための探索領域５２を、前方画像５０の一部に設定する。探索領域設定部２４は、図３〜図５に示されるように取得した走行道路のカーブの方向及びカーブの曲り度合いに関する情報に応じて、探索領域５２の前方画像５０における位置を設定する。探索領域設定部２４は、探索領域設定部２４によって設定された探索領域５２の前方画像５０での位置情報を認識部２８に出力する。探索領域設定部２４による探索領域５２の前方画像５０における位置の設定については、後ほど詳細に説明する。
【００３０】
データベース２６は、事前学習モデル２６ａを記憶している。事前学習モデル２６ａは、図示しない学習モデル作成装置が歩行者の写る画像及び歩行者以外のものが写る画像を含む複数のサンプル画像に基づいて、歩行者を表す画像５８の特徴量データを学習することにより構築される。以下、事前学習モデル２６ａの作成について説明する。学習モデル作成装置は、複数のサンプル画像を読み込み、図２に示されるように、各サンプル画像を探索ウインドウ５４によって走査する。これにより、学習モデル作成装置は、各サンプル画像からウインドウ画像５６を切り出す。そして、切り出されたウインドウ画像５６の特徴量データを学習する。なお、学習モデル作成装置による特徴量データの学習は、例えばＡｄａｂｏｏｓｔアルゴリズムにより行われる。そして、学習モデル作成装置は、歩行者の写る画像から抽出される特徴量データの重み付けを増やし、歩行者以外のものが写る画像から抽出される特徴量データの重み付けを減らす。また、事前学習モデル２６ａを作成する際、目標とする認識率及び誤認識率が予め設定される。認識率とは、事前学習モデル２６ａが歩行者が写る画像を正しく歩行者が写る画像として認識できる確率である。誤認識率とは、歩行者以外のものが写る画像を誤って歩行者が写る画像として認識してしまう確率である。目標として設定された認識率を上回り、かつ目標として設定された誤認識率を下回るようになるまで学習モデル作成装置に複数のサンプル画像を読み込ませることにより、歩行者を表す画像５８の特徴を学習した事前学習モデル２６ａが作成される。データベース２６は、記憶している事前学習モデル２６ａを認識部２８に出力する。
【００３１】
認識部２８は、赤外線カメラ３０によって撮像された前方画像５０を取得する。認識部２８は、探索領域設定部２４によって設定された探索領域５２の前方画像５０における位置情報を取得する。認識部２８は、データベース２６から事前学習モデル２６ａを取得する。認識部２８は、歩行者等の検知対象物の検知結果を、表示装置４０に出力する。
【００３２】
認識部２８は、特徴量抽出部２８ａ及び照合部２８ｂを有している。
【００３３】
特徴量抽出部２８ａは、前方画像５０の探索領域５２内の画像を走査し、当該探索領域５２に写る物体の特徴量データを抽出する。具体的には、図２に示されるように、特徴量抽出部２８ａは、予め大きさの設定された探索ウインドウ５４によって、赤外線カメラ３０から取得する前方画像５０の探索領域５２内の画像を走査する。なお、図２は、図３に示される探索領域５２内の画像のみを示している。
【００３４】
特徴量抽出部２８ａは、探索領域５２内の画像の水平方向及び鉛直方向に、探索ウインドウ５４を移動させつつ（図２に示される破線の矢印を参照）、当該探索ウインドウ５４によって囲まれた範囲の画像５６（以下、ウインドウ画像５６）を順に切り出す。さらに特徴量抽出部２８ａは、切り出されたウインドウ画像５６を照合処理に適した特徴量データに変換する。特徴量抽出部２８ａは、変換された特徴量データを照合部２８ｂに逐次出力する。
【００３５】
照合部２８ｂは、事前学習モデル２６ａに基づいて、探索領域５２内の画像から歩行者を表す画像５８を検知する。具体的に、照合部２８ｂは、特徴量抽出部２８ａによって抽出された特徴量データを、事前学習モデル２６ａと照合し、当該特徴量データが事前学習モデル２６ａに学習されている歩行者を表す画像５８の特徴量データに適合するか否かを判定する。事前学習モデル２６ａに学習されている特徴量データに適合する物体が検知された場合、照合部２８ｂは、前方画像５０における当該物体の位置情報を検知結果として、図１に示される表示装置４０に出力する。
【００３６】
本実施形態では、照合部２８において、探索領域５２から切り出したウインドウ画像５６の特徴量データと、事前学習モデル２６ａに学習されている歩行者を表す画像５８の特徴量データとを照合させることにより、探索領域５２内の画像から歩行者を表す画像５８を検知している。探索領域５２内の画像から歩行者を表す画像５８の検知はこの方法に限らなくともよい。例えば、歩行者を表すあらゆるパターンの画像（テンプレート画像）をデータベース２６に保有させる。そして、探索領域５２から切り出されたウインドウ画像５６と複数のテンプレート画像とを重ね合わせ、二つの画像の相関を調べることにより、ウインドウ画像５６から歩行者を表す画像５８を検知する。このような周知のパターンマッチング技術を採用して歩行者を表す画像５８を検知しても良い。
【００３７】
表示装置４０は、車両室内のインストルメントパネルの中央部等に配置される液晶ディスプレイの表示画面に種々の画像を表示することにより、運転者に種々の情報を提供する。本実施形態の表示装置４０は、赤外線カメラ３０と接続されており、当該赤外線カメラ３０から前方画像５０を取得することができる。表示装置４０は、運転者等のユーザーの操作に基づいて、表示画面に前方画像５０を表示する。加えて、表示装置４０は、認識部２８から取得する検知結果としての位置情報に基づいて、前方画像５０における歩行者を表す画像５８を囲むように、枠状の画像６０を前方画像５０に重畳して表示する（図３を参照）。
【００３８】
次に、探索領域５２の前方画像５０における位置を設定するために使用する走行道路の形状の判定について、図３〜図５を用いて、さらに詳しく説明する。
【００３９】
自車両の前方に延びる走行道路には、直線路やカーブ等が存在する。例えば、自車両がカーブに沿って走行する際、自車両は旋回する。即ち、自車両が旋回していることが分かれば、自車両の前方に延びる走行道路がカーブであることが判定できる。
【００４０】
本実施形態の算出部２２は、自車両の旋回に関する情報を含んだ情報を取得し、その習得した情報に基づいて、走行道路のカーブの方向及びカーブの曲り度合いに関する情報を算出する。具体的に、算出部２２は、自車両の旋回に関する情報を含む情報として、赤外線カメラ３０から画像認識回路２０に出力されている前方画像５０を取得する。算出部２２は、その取得した前方画像５０を画像処理することにより、走行道路のカーブの方向及びその曲り度合いに関する情報を算出する。
【００４１】
以下、前方画像５０から走行道路のカーブの方向及びカーブの曲り度合いに関する情報を算出する際の具体的な方法について詳細に説明する。
【００４２】
前方画像５０のオプティカルフローは、走行道路の形状（直線路、カーブ）によって異なる。具体的に、図３中の矢印によって示されるように、自車両が直線路を走行しているとき、前方画像５０のオプティカルフローは、前方画像５０の中央部に存在する消失点６２から放射状に拡がる。また、自車両が右カーブを走行しているとき、図４中の矢印によって示されるように、前方画像５０における消失点６２の上側のオプティカルフローは斜め左上方向を向き、消失点６２の下側のオプティカルフローは斜め左下方向を向き、消失点６２の右側及び左側のオプティカルフローは左方向を向く。一方、自車両が左カーブを走行しているとき、図５中の矢印によって示されるように、前方画像５０における消失点６２の上側のオプティカルフローは斜め右上方向を向き、消失点６２の下側のオプティカルフローは斜め右下方向を向き、消失点６２の右側及び左側のオプティカルフローは右方向を向く。また、赤外線カメラ３０が自車両の車体の前後方向の軸に沿って前方に向けられて取り付けられているので、走行道路のカーブの曲り度合いが大きいほど、図４及び図５中に示される矢印の大きさは大きくなる。以上により、前方画像５０のオプティカルフローを計算することによれば、走行道路のカーブの方向及びカーブの曲り度合いに関する情報を算出することができる。
【００４３】
本実施形態の算出部２２は、図３に示されるように、取得した前方画像５０のオプティカルフローを計算することにより消失点６２の前方画像５０上の位置を求め、求めた位置に消失点６２を設定する。消失点６２は、直線路を走行中の自車両から進行方向に延びる複数の平行線が交差する無限遠点となっている。この実施形態では、消失点６２は、図３に示されるように前方画像５０の中央部に設けられる。ただし、消失点６２の設定は、前方画像５０のオプティカルフローを計算することにより設定しなくともよい。例えば、近似的に、前方画像５０の中央部分に設定するようにしてもよい。
【００４４】
そして、算出部２２は、前方画像５０の四つ角のそれぞれと、消失点６２とを直線で結ぶことにより、消失点６２の周りに四つの分割領域６４を形成する。さらに、算出部２２は、図３の一点鎖線によって示されるように、それら四つの分割領域６４ごとに少なくとも一箇所ずつ、オプティカルフローを計算するための計算領域６６を設定する。なお、計算領域６６は、向かい合う分割領域６４内に設定される計算領域６６同士が消失点６２に対して点対称となる位置に設定される。さらに、各計算領域６６は、互いに向かい合う計算領域６６同士を結んだ線が、直交するように設定される。本実施形態では四つの分割領域６４に少なくとも一箇所ずつ計算領域６６を設定するようにしているが、互いに向かい合う左右の分割領域６４だけに計算領域６６を設けるようにしても良いし、上下の分割領域６４だけに計算領域６６を設けるようにしても良い。
【００４５】
各計算領域６６のオプティカルフローが計算されると、計算領域６６ごとに方向ベクトルが得られる。そして、算出部２２は、得られた方向ベクトルの水平方向成分を合算する。なお、オプティカルフローの計算は、赤外線カメラ３０から取得した時間的に異なる複数の前方画像５０に基づいて行われる。水平方向成分の合算値は、探索領域設定部２４に出力される。なお、水平方向成分の合算値は、走行道路のカーブの方向及びカーブの曲り度合いに関する情報となる。本実施形態では、水平方向成分の合算値がゼロを含む所定の範囲内となっている場合、走行道路は直線路であることを示す。水平方向成分の合算値が、正の値であって所定の範囲を外れた値である場合、走行道路は右カーブであることを示す。また、水平方向成分の合算値が、負の値であって所定の範囲を外れた値である場合、走行道路は左カーブであることを示す。
【００４６】
このように算出部２２によって算出される水平方向成分の合算値（走行道路のカーブの方向及びカーブの曲り度合いに関する情報）は、前方画像５０中に写った走行道路の白線や路肩に基づいたものではく、前方画像５０のオプティカルフローを計算することにより得られる方向ベクトルの水平方向成分に基づいている。したがって、この算出部２２によれば、走行道路の白線や路肩の有無といった走行道路の状態に拘らず、的確に走行道路のカーブの方向及びカーブの曲り度合いに関する情報を算出することができる。
【００４７】
次に、探索領域設定部２４が設定する探索領域５２について、図３〜図５を用いて、さらに詳しく説明する。
【００４８】
前方画像５０の一部に設定される探索領域５２は、歩行者を表す画像を探索するためのものである。したがって、探索領域５２は、前方画像５０に写った走行道路及び走行道路脇の路肩や歩道がその領域に入るように設定される。具体的に、直線路の場合、探索領域５２は、図３に示されるように走行道路及び走行道路脇の路肩や歩道がその領域に入るように前方画像５０の中央部に設定される。このような探索領域５２の設定によれば、走行道路上を横断する歩行者や、走行道路脇の路肩や歩道を歩く歩行者を探索することができる。このように探索領域５２を走行道路及び走行道路脇の路肩や歩道が入るだけのものにしているのは、誤検知の発生や、無駄な検知を行うことによる検知時間の長期化を招いてしまうのを抑制するためである。
【００４９】
また、探索領域５２は、自車両前方の約４０ｍ〜１００ｍに存在する歩行者を探索することができるように、前方画像５０上での上下・左右方向の大きさ、及び探索領域５２内の画像を走査する探索ウインドウ５４の上下・左右方向の大きさが設定される。探索領域５２が自車両前方の約４０ｍ〜１００ｍに存在する歩行者を探索するように設定されているのは、この画像認識装置１０が、夜間に使用されることを前提としているからである。夜間において自車両から約４０ｍまでの範囲は、ヘッドライトの光により歩行者は比較的視認されやすいため、画像認識装置１０による歩行者の検知の必要性は少ない。これに対し、自車両から約４０ｍを超える範囲は、ヘッドライトの光が弱くなるため、歩行者の視認が困難となる。画像認識装置１０は、このような歩行者の視認が困難となる範囲の歩行者を検知するように、探索領域５２の前方画像５０上での上下・左右方向の大きさ、及び探索ウインドウ５４の上下・左右方向の大きさが設定される。
【００５０】
また、この実施形態において、探索領域５２は、走行道路のカーブの方向に応じて前方画像５０における位置が異なるように設定される。具体的に、図４に示されるように走行道路が右方向にカーブしている場合、直線路の場合に比べ、探索領域５２は、探索領域５２の前方画像５０における上下・左右方向の大きさはそのままに、前方画像５０上を右方向に向けて移動させた位置に設定されている。また、図５に示されるように走行道路が左方向にカーブしている場合、直線路の場合に比べ、探索領域５２は、探索領域５２の前方画像５０における上下・左右方向の大きさはそのままに、前方画像５０上を左方向に向けて移動させた位置に設定されている。このように探索領域５２の設定位置を走行道路の形状に応じて異ならせるのは、走行道路のカーブの方向に応じて歩行者が存在する可能性の高い領域が変化するからである。赤外線カメラ３０は、車体の前後方向の軸に沿って前方に向けられている。このため、自車両がカーブにさしかかると、図４や図５に示されるように、前方画像５０における走行道路及び走行道路脇の路肩及び歩道は、直線路の場合に比べ、カーブの方向に向かってずれる。したがって、前方画像５０における歩行者が存在する可能性の高い領域もカーブの方向に向かってずれる。
【００５１】
そうであるにも拘わらず、図４及び図５に二点鎖線で示されるように探索領域５２が直線路に応じたもののまま固定されていると、自車両がカーブにさしかかったときに、探索領域５２が歩行者が存在する可能性の高い領域（図４及び図５の破線を参照）からはずれる。これでは、歩行者が存在する可能性極めて低い領域を探索するといった無駄な検知を行い、誤検知を引き起こしたり、歩行者が存在する可能性の高い領域を探索することができず、検知漏れが発生することが懸念される。これに対し、この実施形態では、算出部２２によって算出された走行道路のカーブの方向に関する情報に応じて、走行道路のカーブの方向を探索領域設定部２４が判定するとともに、その走行道路のカーブの方向に応じて、探索領域５２の前方画像５０における位置を探索領域設定部２４によって設定するようにしている。そうすれば、歩行者の検知漏れや無駄な検知動作を減少させることができる。
【００５２】
具体的に、探索領域設定部２４は、算出部２２が算出した水平方向成分の合算値によってカーブの方向を判定する。例えば、探索領域設定部２４は、水平方向成分の合算値が正の値であって所定の範囲を外れた値である場合、カーブは右方向であると判定する。また、探索領域設定部２４は、水平方向成分の合算値が負の値であって所定の範囲を外れた値である場合、カーブは左方向であると判定する。そして、探索領域設定部２４は、探索領域５２を、探索領域５２の前方画像５０における上下・左右方向の大きさはそのままに、判定した走行道路のカーブの方向に向けて移動させた位置に設定する。これにより、自車両がカーブを走行することによって変化する歩行者が存在する可能性が高い領域に探索領域５２を近づけることができる。
【００５３】
また、探索領域設定部２４は、算出部２２が算出した水平方向成分の合算値によってカーブの曲り度合いを判定する。例えば、探索領域設定部２４は、水平方向成分の合算値の大きさが大きいほど、カーブの曲り度合いが大きいものであると判定できる。探索領域設定部２４は、カーブの曲り度合いが大きいほど、走行道路のカーブの方向に向かう探索領域５２の移動量が大きくなるように探索領域５２を設定する。これにより、探索領域５２を、カーブの曲り度合いに対応したものとすることができ、カーブの曲り度合いによって変化する歩行者が存在する可能性が高い領域に探索領域５２をより近づけることができる。
【００５４】
次に、画像認識回路２０が、前方画像５０から歩行者を表す画像５８を検知する処理について、図６のフローチャートを用いて、詳しく説明する。例えば、表示装置４０に前方画像５０を表示させるための操作をユーザが行うことにより、画像認識回路２０によって実施される。画像認識回路２０による処理は、表示装置４０への前方画像５０の表示を停止する操作をユーザが行うまで繰り返される。
【００５５】
まず、ステップＳ１０では、算出部２２によって、赤外線カメラ３０から前方画像５０を取得し、ステップＳ２０に進む。ステップＳ２０では、算出部２２によって、ステップＳ１０において取得した赤外線カメラ３０からの前方画像５０を画像処理し、前方画像５０に消失点６２を設定し、ステップＳ３０に進む。
【００５６】
ステップＳ３０では、算出部２２によって、前方画像５０の四つ角のそれぞれと、ステップＳ２０において算出された消失点６２とを直線で結ぶことにより、消失点６２の周りに四つの分割領域６４を形成し、ステップＳ４０に進む。
【００５７】
ステップＳ４０では、算出部２２によって、四つの分割領域６４ごとに少なくとも一箇所ずつオプティカルフローを計算する計算領域６６（図３〜図５の一点鎖線を参照）を設定し、ステップＳ５０に進む。
【００５８】
ステップＳ５０では、算出部２２によって、各計算領域６６のオプティカルフローを計算し、オプティカルフローを計算することによりた方向ベクトルを算出し、それらの方向ベクトルの水平方向成分を合算し、ステップＳ６０に進む。ステップＳ５０において算出された水平方向成分の合算値は、探索領域設定部２４に出力される。
【００５９】
ステップＳ６０では、ステップＳ５０において算出された水平方向成分の合算値に基づき、自車両前方の走行道路が直線路であるのか、あるいはカーブであるのかを探索領域設定部２４により判定する。具体的に、ステップＳ５０において算出された水平方向成分の合算値が所定の範囲内となっていれば、走行道路は直線路であるとして、ステップＳ７０に進む。一方、ステップＳ５０において算出された水平方向成分の合算値が所定の範囲を外れていれば、走行道路はカーブしているとして、ステップＳ８０に進む。
【００６０】
ステップＳ８０では、ステップＳ５０において算出された水平方向成分の合算値が正の値であれば、走行道路は右方向にカーブしているとして、ステップＳ９０に進む。一方、ステップＳ５０において算出された水平方向成分の合算値が負の値であれば、走行道路は左方向にカーブしているとして、ステップＳ１００に進む。
【００６１】
走行道路が直線路であると判定された場合に実行されるステップＳ７０では、認識部２８によって走行道路及び走行道路脇の路肩や歩道に存在する歩行者を表す画像５８が検知できるように、探索領域設定部２４によって探索領域５２が前方画像５０の中央部に設定される（図３を参照）。前方画像５０の中央部に探索領域５２が設定されることにより、直線路上及び直線路脇の路肩や歩道に存在する歩行者を探索領域５２内に含めることができる。探索領域設定部２４によって設定された探索領域５２の前方画像５０における位置情報は、認識部２８に出力される。
【００６２】
走行道路が右方向にカーブしていると判定された場合に実行されるステップＳ９０では、認識部２８によって右カーブの走行道路及び走行道路脇の路肩や歩道に存在する歩行者を表す画像５８が検知できるように、探索領域設定部２４によって探索領域５２が右方向に向けて移動された位置に設定される（図４を参照）。また、探索領域設定部２４によって設定される探索領域５２は、ステップＳ５０において算出された水平方向成分の合算値の大きさが大きいほど、右方向に向かう探索領域５２の移動量が大きくなるように探索領域５２が設定される。このようにして設定された探索領域５２の前方画像５０における位置情報は、認識部２８に出力される。
【００６３】
走行道路が左方向にカーブしていると判定された場合に実行されるステップＳ１００では、認識部２８によって左カーブの走行道路及び走行道路脇の路肩や歩道に存在する歩行者を表す画像５８が検知できるように、探索領域設定部２４によって探索領域５２が左方向に向けて移動された位置に設定される（図５を参照）。また、探索領域設定部２４によって設定される探索領域５２は、ステップＳ５０において算出された水平方向成分の合算値の大きさが大きいほど、左方向に向かう探索領域５２の移動量が大きくなるように探索領域５２が設定される。このようにして設定された探索領域５２の前方画像５０における位置情報は、認識部２８に出力される。
【００６４】
ステップＳ１１０では、前方画像５０における探索領域５２からウインドウ画像５６を探索ウインドウ５４によって順に切り出す。そして、切り出された各ウインドウ画像５６から、特徴量抽出部２８ａによって、特徴量データを抽出し、Ｓ１２０に進む。抽出された特徴量データは、特徴量抽出部２８ａから照合部２８ｂに出力される。
【００６５】
ステップＳ１２０では、ステップＳ１１０において抽出された特徴量データを、事前学習モデル２６ａに学習されている歩行者を表す画像５８の特徴量データと照合し、ステップＳ１３０に進む。ステップＳ１２０では、歩行者を表す画像５８の特徴量データに適合するウインドウ画像５６が検知された場合、前方画像５０における当該ウインドウ画像５６の位置情報を記憶する。
【００６６】
ステップＳ１３０では、ステップＳ１２０における照合の結果に基づき、前方画像５０から検知対象物である歩行者を表す画像５８を検知したか否かを判定する。ステップＳ１３０において、歩行者を表す画像５８を検知していないと判定した場合、ステップＳ１０に戻る。一方、ステップＳ１３０において、前方画像５０から歩行者を表す画像５８を検知していると判定した場合、ステップＳ１４０に進む。
【００６７】
ステップＳ１４０では、ステップＳ１２０において記憶した、ウインドウ画像５６の位置情報を検知結果として表示装置４０に出力し、ステップＳ１０に戻る。表示装置４０は、照合部２８ｂから取得した位置情報に基づいて、歩行者を表す画像５８を枠状の画像６０で囲んだ表示を表示画面に映し出す。
【００６８】
ここまで説明した本実施形態では、自車両の旋回に関する情報を含む情報として、赤外線カメラ３０から前方画像５０を取得し、その前方画像５０に基づいて、自車両の前方における走行道路のカーブの方向に関する情報を算出するようにしている。このため、白線や路肩の有無といった走行道路の状態に拘らず、自車両の前方における走行道路のカーブの方向に関する情報を的確に算出することができる。ここで、画像認識回路２０が検知しようとする歩行者が存在する可能性の高い領域は、通常、走行道路のカーブの方向によって変化する。探索領域設定部２４は、算出部２２によって算出された走行道路のカーブの方向に関する情報に基づいて、走行道路のカーブの方向を判定する。そして、探索領域設定部２４は、歩行者を表す画像５８を探索するための探索領域５２の前方画像５０における上下・左右方向の大きさはそのままに、判定した走行道路のカーブの方向に向けて移動させた位置に探索領域５２を設定する。このため、走行道路のカーブの方向によって変化する歩行者が存在する可能性の高い領域に探索領域５２が近づくこととなる。このようにして探索領域５２が設定された後に、認識部２８は、設定後の探索領域５２内の歩行者の検知を行うので、歩行者の検知漏れや無駄な検知動作が減少する。よって、本実施形態の画像認識装置１０は、自車両の走行道路の状態に拘らず、歩行者の検知漏れや無駄な検知動作を減少させることができる探索領域５２を設定でき、歩行者の検知性能を向上することができる。
【００６９】
また、本実施形態では、探索領域設定部２４によって判定された走行道路のカーブの曲り度合いが大きいほど、走行道路のカーブの方向に向かう探索領域５２の移動量が大きくなるように探索領域５２が設定される。ゆえに、探索領域５２は、走行道路のカーブの曲り度合いに対応したものとなり、走行道路のカーブの曲がり度合いによって変化する歩行者が存在する可能性の高い領域に近づく。したがって、自車両がカーブを走行しているときの歩行者の検知漏れや無駄な検知がさらに少なくなる。
【００７０】
さらに、算出部２２により算出される走行道路のカーブの方向及びカーブの曲り度合いに関する情報は、前方画像５０における所定領域のオプティカルフローを計算することにより算出された方向ベクトルの水平方向成分の合算値となっている。算出部２２により算出される方向ベクトルは、前方画像５０におけるオプティカルフローを計算することにより得られるものであるため、白線や路肩の有無に拘らず得ることができる。したがって、本実施形態の算出部２２によれば、白線や路肩が判別できないような走行道路であっても、走行道路のカーブの方向及びカーブの曲り度合いに関する情報を算出することができる。
【００７１】
また、この方向ベクトルは、自車両の旋回に応じて変化するものであり、方向ベクトルの水平方向成分の合算値は、自車両の走行道路のカーブの方向及びカーブの曲り度合いに応じて変化する。本実施形態では、この水平方向成分の合算値に基づいて、走行道路のカーブの方向及びカーブの曲り度合いを判定するようにしているので、白線や路肩が判別できないような走行道路であっても走行道路のカーブの方向及びカーブの曲り度合いを判定することができる。
【００７２】
さらに、本実施形態では、オプティカルフローを計算する所定領域が前方画像５０中に複数ヶ所設定されているため、算出部２２による走行道路のカーブの方向又はカーブの曲り度合いに関する情報の算出精度が向上する。
【００７３】
なお、本実施形態において、算出部２２は特許請求の範囲に記載の「算出手段」に相当し、探索領域設定部２４は特許請求の範囲に記載の「探索領域設定手段」に相当し、認識部２８は特許請求の範囲に記載の「検知手段」に相当する。
【００７４】
（第２実施形態）
図７は、第２実施形態による画像認識装置１０を示す概略構成図である。本実施形態では、経路案内装置としてのナビゲーション装置７０の自車両の現在位置の情報及び地図情報を自車両の旋回に関する情報を含む情報として取得し、その現在位置情報及び地図情報に基づいて、走行道路のカーブの方向及びカーブの曲り度合いに関する情報を算出する点が、第１実施形態と異なる。ここでは、本実施形態の特徴部分のみを説明する。
【００７５】
ナビゲーション装置７０は、自車両の現在位置を検出する位置検出手段としての位置検出部７０ａと、自車両の現在位置周辺の地図情報を記憶する地図記憶手段としての地図記憶部７０ｂとを有する。位置検出部７０ａは、例えば、車外からの無線信号に基づいて自車両の現在位置を検出する。無線信号は、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）信号やビーコンなどからの信号である。自車両の現在位置の情報は、表示装置４０等の表示画面を有する装置に出力されるとともに、画像認識回路２０の算出部２２にも出力される。
【００７６】
地図記憶部７０ｂは、位置検出部７０ａによって検出された自車両の現在位置の情報に基づき、記憶されている自車両の現在位置の周辺の地図情報を表示装置４０等の表示画面を有する装置に出力するとともに、画像認識回路２０にも出力する。
【００７７】
表示装置４０等の表示画面を有する装置は、入力された自車両の現在位置の情報及び地図情報に基づき、地図を表示するとともに、その地図に自車両の現在位置に関する意匠を重ねあわせて表示する。さらに、例えば目的地設定操作がなされた場合には、表示されている地図上に目的地までの経路を表示して経路案内する。
【００７８】
自車両の現在位置情報及び地図情報が入力される算出部２２は、これらの情報に基づき、自車両の前方に延びる走行道路のカーブの方向及びカーブの曲り度合いに関する情報を算出する。走行道路のカーブの方向及びカーブの曲り度合いに関する情報は、第１実施形態と同様、探索領域設定部２４に出力される。探索領域設定部２４及び認識部２８における処理は、第１実施形態ど同様であるため、ここでは説明を省略する。
【００７９】
本実施形態では、算出部２２により算出される走行道路のカーブの方向及びカーブの曲り度合いに関する情報は、ナビゲーション装置７０からの自車両の現在位置の情報及び地図情報に基づいている。これらの情報は、白線や路肩等の有無に拘らず取得が可能な情報である。したがって、この実施形態の算出部２２によれば、白線や路肩が判別できないような走行道路であっても、走行道路のカーブの方向及びカーブの曲り度合いに関する情報を算出することができる。
【００８０】
（第３実施形態）
図８は、第３実施形態による画像認識装置１０を示す概略構成図である。本実施形態では、舵角検出手段としての舵角センサ８０の舵角情報を自車両の旋回に関する情報を含む情報として取得し、その舵角情報に基づいて、走行道路のカーブの方向及びカーブの曲り度合いに関する情報を算出する点が、第１実施形態と異なる。ここでは、本実施形態の特徴部分のみを説明する。
【００８１】
舵角センサ８０は、自車両のステアリングに設けられており、運転者が操作するステアリングの操舵角を検出するものである。舵角センサ８０は、ステアリングの操舵角に応じた信号を舵角情報として出力する。このため、この舵角情報には、ステアリングの操舵の方向と、操舵量の情報が含まれることとなる。ステアリングの操作は、走行道路のカーブの方向及びカーブの曲り度合いに応じたものとなるので、この舵角情報によれば、走行道路のカーブの方向及びカーブの曲り度合いを把握することができる。舵角センサ８０から出力される舵角情報は、算出部２２に入力される。
【００８２】
舵角情報が入力される算出部２２は、この舵角情報に基づき、自車両の前方に延びる走行道路のカーブの方向及びカーブの曲り度合いに関する情報を算出する。走行道路のカーブの方向及びカーブの曲り度合いに関する情報は、第１実施形態と同様、探索領域設定部２４に出力される。探索領域設定部２４及び認識部２８における処理は、第１実施形態と同様であるため、ここでは説明を省略する。
【００８３】
本実施形態では、算出部２２により算出される走行道路のカーブの方向及びカーブの曲り度合いに関する情報は、走行道路のカーブの方向及びカーブの曲り度合いに応じて変化する舵角情報に基づいている。この情報は、白線や路肩等の有無に拘らず取得が可能な情報である。したがって、この実施形態の算出部２２によれば、白線や路肩が判別できないような走行道路であっても、走行道路のカーブの方向及びカーブの曲り度合いに関する情報を算出することができる。
【００８４】
（第４実施形態）
図９は、第４実施形態による画像認識装置１０を示す概略構成図である。本実施形態では、ヨーレート検出手段としてのヨーレートセンサ９０のヨーレート情報を自車両の旋回に関する情報を含む情報として取得し、そのヨーレート情報に基づいて、走行道路のカーブの方向及びカーブの曲り度合いに関する情報を算出する点が、第１実施形態と異なる。ここでは、本実施形態の特徴部分のみを説明する。
【００８５】
ヨーレートセンサ９０は、自車両の鉛直軸方向の回転角速度を検出するものである。ヨーレートセンサ９０は、上記回転角速度に応じた信号をヨーレート情報として出力する。ヨーレートは、走行道路のカーブの方向及びカーブの曲り度合いに応じて変化するものであるため、このヨーレート情報によれば、走行道路のカーブの方向及びカーブの曲り度合いを把握することができる。ヨーレートセンサ９０から出力されるヨーレート情報は、算出部２２に出力される。
【００８６】
ヨーレート情報が入力される算出部２２は、このヨーレート情報に基づき、自車両の前方に延びる走行道路のカーブの方向及びカーブの曲り度合いに関する情報を算出する。走行道路のカーブの方向及びカーブの曲り度合いに関する情報は、第１実施形態と同様、探索領域設定部２４に出力される。探索領域設定部２４及び認識部２８における処理は、第１実施形態と同様であるため、ここでは説明を省略する。
【００８７】
本実施形態では、算出部２２により算出される走行道路のカーブの方向及びカーブの曲り度合いに関する情報は、走行道路のカーブの方向及びカーブの曲り度合いに応じて変化するヨーレート情報に基づいている。この情報は、白線や路肩等の有無に拘らず取得が可能な情報である。したがって、この実施形態の算出部２２によれば、白線や路肩が判別できないような走行道路であっても、走行道路のカーブの方向及びカーブの曲り度合いに関する情報を算出することができる。
【符号の説明】
【００８８】
１０ 画像認識装置、２０ 画像認識回路、２２ 算出部（算出手段）、２４ 探索領域設定部（探索領域設定手段）、２６ データベース、２６ａ 事前学習モデル、２８ 認識部（検知手段）、２８ａ 特徴量抽出部、２８ｂ 照合部、３０ 赤外線カメラ、４０ 表示装置、５０ 前方画像、５２ 探索領域、５４ 探索ウインドウ、５６ ウインドウ画像、５８ 画像、６０ 画像、６２ 消失点、６４ 分割領域、６６ 計算領域、７０ ナビゲーション装置、８０ 舵角センサ、９０ ヨーレートセンサ
【特許請求の範囲】
【請求項１】
自車両の前方の領域を撮像する撮像手段より取得した前方画像から、前記前方の領域に存在する歩行者を表す画像を検知する画像認識装置において、
前記自車両の旋回に関する情報を含んだ情報を取得し、その取得した情報に基づき、前記前方の領域における走行道路のカーブの方向に関する情報を算出する算出手段と、
前記歩行者を表す画像を探索するための探索領域を前記前方画像の一部に設定する探索領域設定手段であって、前記走行道路のカーブの方向に関する情報に基づいて、前記走行道路のカーブの方向を判定し、前記探索領域を、前記探索領域の前記前方画像における大きさはそのままに、判定した前記走行道路のカーブの方向に向けて移動させた位置に設定する探索領域設定手段と、
前記探索領域内の前記歩行者を表す画像を検知する検知手段と、を備えることを特徴とする画像認識装置。
【請求項２】
前記算出手段は、前記走行道路のカーブの方向に関する情報に加え、前記走行道路のカーブの曲り度合いに関する情報を算出し、
前記探索領域設定手段は、前記走行道路のカーブの曲り度合いに関する情報に基づいて、前記走行道路のカーブの曲り度合いを判定し、判定した前記走行道路のカーブの曲り度合いが大きいほど、前記走行道路のカーブの方向に向かう前記探索領域の移動量が大きくなるように前記探索領域を設定することを特徴とする請求項１に記載の画像認識装置。
【請求項３】
前記算出手段は、前記撮像手段の前記前方画像を前記自車両の旋回に関する情報を含んだ情報として取得し、前記前方画像における所定領域のオプティカルフローを計算することにより前記所定領域の方向ベクトルを算出し、算出された前記所定領域の方向ベクトルの水平方向成分を前記走行道路のカーブの方向に関する情報として算出し、
前記探索領域設定手段は、前記方向ベクトルにおける水平方向成分の値に基づいて、前記走行道路のカーブの方向を判定することを特徴とする請求項１に記載の画像認識装置。
【請求項４】
前記算出手段は、前記撮像手段の前記前方画像を前記自車両の旋回に関する情報を含んだ情報として取得し、前記前方画像における所定領域のオプティカルフローを計算することにより前記所定領域の方向ベクトルを算出し、算出された前記所定領域の方向ベクトルの水平方向成分を前記走行道路のカーブの曲り度合いに関する情報として算出し、
前記探索領域設定手段は、前記方向ベクトルにおける水平方向成分の値に基づいて、前記走行道路のカーブの曲り度合いを判定することを特徴とする請求項２に記載の画像認識装置。
【請求項５】
前記所定領域は、前記前方画像に複数ヶ所設定されていることを特徴とする請求項３又は４に記載の画像認識装置。
【請求項６】
前記算出手段は、前記自車両の現在位置を検出する位置検出手段と、前記自車両の現在位置周辺の地図情報を記憶する地図記憶手段とを有し、前記地図記憶手段が記憶する地図情報と位置検出手段が検出した前記自車両の現在位置の情報に基づき目的地までの経路案内を行う経路案内装置からの前記自車両の現在位置の情報及び地図情報を前記自車両の旋回に関する情報を含む情報として取得し、取得した前記自車両の現在位置の情報及び地図情報に基づいて、前記走行道路のカーブの方向に関する情報を算出することを特徴とする請求項１に記載の画像認識装置。
【請求項７】
前記算出手段は、前記経路案内装置から取得した現在位置の情報及び地図情報に基づいて、前記走行道路のカーブの方向に関する情報に加え、前記走行道路のカーブの曲り度合いに関する情報を算出することを特徴とする請求項６に記載の画像認識装置。
【請求項８】
前記算出手段は、前記自車両の舵角を検出する舵角検出手段からの舵角情報を前記自車両の旋回に関する情報を含む情報として取得し、取得した舵角情報に基づいて、前記走行道路のカーブの方向に関する情報を算出することを特徴とする請求項１に記載の画像認識装置。
【請求項９】
前記算出手段は、前記舵角検出手段から取得した舵角情報に基づいて、前記走行道路のカーブの方向に関する情報に加え、前記走行道路のカーブの曲り度合いに関する情報を算出することを特徴とする請求項８に記載の画像認識装置。
【請求項１０】
前記算出手段は、前記自車両のヨーレートを検出するヨーレート検出手段からのヨーレート情報を前記自車両の旋回に関する情報を含む情報として取得し、取得した舵角情報に基づいて、前記走行道路のカーブの方向に関する情報を算出することを特徴とする請求項１に記載の画像認識装置。
【請求項１１】
前記算出手段は、前記ヨーレート検出手段から取得したヨーレート情報に基づいて、前記走行道路のカーブの方向に関する情報に加え、前記走行道路のカーブの曲り度合いに関する情報を算出することを特徴とする請求項１０に記載の画像認識装置。
【請求項１】
自車両の前方の領域を撮像する撮像手段より取得した前方画像から、前記前方の領域に存在する歩行者を表す画像を検知する画像認識装置において、
前記自車両の旋回に関する情報を含んだ情報を取得し、その取得した情報に基づき、前記前方の領域における走行道路のカーブの方向に関する情報を算出する算出手段と、
前記歩行者を表す画像を探索するための探索領域を前記前方画像の一部に設定する探索領域設定手段であって、前記走行道路のカーブの方向に関する情報に基づいて、前記走行道路のカーブの方向を判定し、前記探索領域を、前記探索領域の前記前方画像における大きさはそのままに、判定した前記走行道路のカーブの方向に向けて移動させた位置に設定する探索領域設定手段と、
前記探索領域内の前記歩行者を表す画像を検知する検知手段と、を備えることを特徴とする画像認識装置。
【請求項２】
前記算出手段は、前記走行道路のカーブの方向に関する情報に加え、前記走行道路のカーブの曲り度合いに関する情報を算出し、
前記探索領域設定手段は、前記走行道路のカーブの曲り度合いに関する情報に基づいて、前記走行道路のカーブの曲り度合いを判定し、判定した前記走行道路のカーブの曲り度合いが大きいほど、前記走行道路のカーブの方向に向かう前記探索領域の移動量が大きくなるように前記探索領域を設定することを特徴とする請求項１に記載の画像認識装置。
【請求項３】
前記算出手段は、前記撮像手段の前記前方画像を前記自車両の旋回に関する情報を含んだ情報として取得し、前記前方画像における所定領域のオプティカルフローを計算することにより前記所定領域の方向ベクトルを算出し、算出された前記所定領域の方向ベクトルの水平方向成分を前記走行道路のカーブの方向に関する情報として算出し、
前記探索領域設定手段は、前記方向ベクトルにおける水平方向成分の値に基づいて、前記走行道路のカーブの方向を判定することを特徴とする請求項１に記載の画像認識装置。
【請求項４】
前記算出手段は、前記撮像手段の前記前方画像を前記自車両の旋回に関する情報を含んだ情報として取得し、前記前方画像における所定領域のオプティカルフローを計算することにより前記所定領域の方向ベクトルを算出し、算出された前記所定領域の方向ベクトルの水平方向成分を前記走行道路のカーブの曲り度合いに関する情報として算出し、
前記探索領域設定手段は、前記方向ベクトルにおける水平方向成分の値に基づいて、前記走行道路のカーブの曲り度合いを判定することを特徴とする請求項２に記載の画像認識装置。
【請求項５】
前記所定領域は、前記前方画像に複数ヶ所設定されていることを特徴とする請求項３又は４に記載の画像認識装置。
【請求項６】
前記算出手段は、前記自車両の現在位置を検出する位置検出手段と、前記自車両の現在位置周辺の地図情報を記憶する地図記憶手段とを有し、前記地図記憶手段が記憶する地図情報と位置検出手段が検出した前記自車両の現在位置の情報に基づき目的地までの経路案内を行う経路案内装置からの前記自車両の現在位置の情報及び地図情報を前記自車両の旋回に関する情報を含む情報として取得し、取得した前記自車両の現在位置の情報及び地図情報に基づいて、前記走行道路のカーブの方向に関する情報を算出することを特徴とする請求項１に記載の画像認識装置。
【請求項７】
前記算出手段は、前記経路案内装置から取得した現在位置の情報及び地図情報に基づいて、前記走行道路のカーブの方向に関する情報に加え、前記走行道路のカーブの曲り度合いに関する情報を算出することを特徴とする請求項６に記載の画像認識装置。
【請求項８】
前記算出手段は、前記自車両の舵角を検出する舵角検出手段からの舵角情報を前記自車両の旋回に関する情報を含む情報として取得し、取得した舵角情報に基づいて、前記走行道路のカーブの方向に関する情報を算出することを特徴とする請求項１に記載の画像認識装置。
【請求項９】
前記算出手段は、前記舵角検出手段から取得した舵角情報に基づいて、前記走行道路のカーブの方向に関する情報に加え、前記走行道路のカーブの曲り度合いに関する情報を算出することを特徴とする請求項８に記載の画像認識装置。
【請求項１０】
前記算出手段は、前記自車両のヨーレートを検出するヨーレート検出手段からのヨーレート情報を前記自車両の旋回に関する情報を含む情報として取得し、取得した舵角情報に基づいて、前記走行道路のカーブの方向に関する情報を算出することを特徴とする請求項１に記載の画像認識装置。
【請求項１１】
前記算出手段は、前記ヨーレート検出手段から取得したヨーレート情報に基づいて、前記走行道路のカーブの方向に関する情報に加え、前記走行道路のカーブの曲り度合いに関する情報を算出することを特徴とする請求項１０に記載の画像認識装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１２−２４８０１１（Ｐ２０１２−２４８０１１Ａ）
【公開日】平成２４年１２月１３日（２０１２．１２．１３）
【国際特許分類】
【出願番号】特願２０１１−１１９４４０（Ｐ２０１１−１１９４４０）
【出願日】平成２３年５月２７日（２０１１．５．２７）
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
【公開日】平成２４年１２月１３日（２０１２．１２．１３）
【国際特許分類】
【出願日】平成２３年５月２７日（２０１１．５．２７）
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
[ Back to top ]