物体認識装置及びプログラム
【課題】画像のぶれやノイズを低減して、特定の物体を認識するために認識に適した画像を得る。
【解決手段】ウインドウ画像抽出部２２で、撮像装置１２で撮像された撮像画像からウインドウ画像を抽出し、認識部２４で、ウインドウ画像が特定の物体を示す画像か否かを認識し、画像特性抽出部４２で、認識結果に基づいてウインドウ画像から画像特性を抽出し、評価値算出部４４で、画像の特性と認識の容易さとの関係を定めた評価値マップに抽出された画像特性をプロットして評価値を算出し、撮像制御値算出部４６で、評価値が高くなり、かつ露光時間とゲインとの積が一定となるように露光時間及びゲインを算出して、撮像装置１２に出力する。
【解決手段】ウインドウ画像抽出部２２で、撮像装置１２で撮像された撮像画像からウインドウ画像を抽出し、認識部２４で、ウインドウ画像が特定の物体を示す画像か否かを認識し、画像特性抽出部４２で、認識結果に基づいてウインドウ画像から画像特性を抽出し、評価値算出部４４で、画像の特性と認識の容易さとの関係を定めた評価値マップに抽出された画像特性をプロットして評価値を算出し、撮像制御値算出部４６で、評価値が高くなり、かつ露光時間とゲインとの積が一定となるように露光時間及びゲインを算出して、撮像装置１２に出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体認識装置及びプログラムに係り、特に、撮像した画像から特定の物体を認識する場合において、認識に適した画像が撮像されるように撮像装置を制御する物体認識装置及びプログラムに関する。
【背景技術】
【０００２】
近年、車載カメラで撮像した車両周辺の映像を画像処理し、歩行者や車両等の特定の物体を認識してドライバに認識結果を提示する物体認識装置を搭載する車両が増加している。このような物体認識装置においては、認識に適した画像が得られるように制御する必要がある。
【０００３】
例えば、測光センサにより測光を行い、この測光信号に基づいてＣＣＤの電子シャッタの露出時間を決定する車載監視カメラの露出制御方法が提案されている（特許文献１参照）。特許文献１に記載の露出制御方法では、測光信号に基づく露出時間を基準としてオートブラケティング撮影を行い、メモリに入力された３個の画像データから適正露出となる画像データまたは適正露出に最も近い画像データが選択され、これが画像処理部に入力されるとともに新たな基準露出時間に設定され、次のオートブラケティング撮影が行なわれる。
【０００４】
また、判定標識を含む画像から物体を検出し、視程状態を示す視程評価値と視程状態における物体検出手段の検出性能の信頼度とが対応づけられた基準情報を信頼度判定情報格納手段に予め格納しておき、判定標識を含む画像から判定標識領域の画像特徴を抽出し、抽出された画像特徴に基づいて視程評価値を算出し、算出した視程評価値を信頼度判定情報格納手段に格納された基準情報と照合して物体検出手段の検出性能の信頼度を判定し、検出結果と判定結果とに基づいて所定の処理を実行する画像処理装置が提案されている（特許文献２参照）。
【０００５】
また、通常モード及び手ぶれ低減（ｈｊｒ）モードを有するカメラシステムにおいて、通常モードの露光時間とゲインとを乗算することによって第１の露光時間−ゲインの積を生成し、第１の露光時間−ゲインの積とｈｊｒモードのための第２の露光時間−ゲインの積との間の差分を低減するように、通常モードの露光時間とゲインを修正してｈｊｒモードのための露光時間及びゲインを求めるカメラシステムが提案されている（特許文献３参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７−２９５０９３号公報
【特許文献２】特開２００１−８４３７７号公報
【特許文献３】特表２０１０−５０４７１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に記載の露光制御方法により得られた適正露出により、必ずしも認識に適した画像が得られるわけではない、という問題がある。例えば、測光信号の結果が低ければ、露光時間を長くすることが考えられるが、露光時間を長くすると、ぶれを伴った認識に不向きな画像となってしまう。また、露光時間を短くしてゲインを上げることも考えられるが、この場合には、画像のノイズが増加してしまい、やはり認識に不向きな画像となってしまう。
【０００８】
また、特許文献２に記載の画像処理装置では、エッジ強度、周波数成分、色等を元に画像が認識に適しているかを評価しているが、その評価と撮像パラメータとの関係についは記載されていないため、認識に適した画像を得ることができない、という問題がある。
【０００９】
また、特許文献３に記載のカメラシステムでは、通常モードの露光時間とゲインとの積を基準として手ぶれ低減モードの露光時間及びゲインを決定しているが、通常モードの露光時間及びゲインにより得られる画像が認識に適していない場合には、認識に適していない画像が得られ続けてしまう、という問題がある。
【００１０】
本発明は、上述した問題を解決するために成されたものであり、画像のぶれやノイズを低減して、特定の物体を認識するために認識に適した画像を得ることができる物体認識装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記目的を達成するために、本発明の物体認識装置は、撮像手段により設定された露光時間で撮像され蓄積された電荷を設定されたゲインで増幅することにより得られた撮像画像に含まれる特定の物体を示す画像を認識する認識手段と、前記認識手段により認識された特定の物体を示す画像及び該特定の物体を示す画像の周辺画像を含む部分画像の特性を抽出する抽出手段と、予め定めた画像の特性と前記認識手段による認識の容易さとの関係、及び前記抽出手段により抽出された前記部分画像の特性に基づいて、前記認識手段で認識された前記特定の物体を示す画像の認識の容易さを示す評価値を算出する評価値算出手段と、前記評価値算出手段で算出される評価値が高くなり、かつ前記露光時間と前記ゲインとの積が所定値となるように前記露光時間及び前記ゲインを制御する撮像制御手段と、を含んで構成されている。
【００１２】
本発明の物体認識装置によれば、認識手段が、撮像手段により設定された露光時間で撮像され蓄積された電荷を設定されたゲインで増幅することにより得られた撮像画像に含まれる特定の物体を示す画像を認識し、抽出手段が、認識手段により認識された特定の物体を示す画像及び特定の物体を示す画像の周辺画像を含む部分画像の特性を抽出する。そして、評価値算出手段が、予め定めた画像の特性と認識手段による認識の容易さとの関係、及び抽出手段により抽出された部分画像の特性に基づいて、認識手段で認識された特定の物体を示す画像の認識の容易さを示す評価値を算出する。そして、撮像制御手段が、評価値算出手段で算出される評価値が高くなり、かつ露光時間とゲインとの積が所定値となるように露光時間及びゲインを制御する。ここで、所定値とは、露光時間とゲインとの積が、現在設定されている露光時間とゲインとの積と一定値となる値、及び一定値に若干の幅を持たせた値とすることができる。
【００１３】
このように、予め定めた画像の特性と認識の容易さを示す評価値との関係、及び部分画像の特性に基づいて算出される評価値が高くなり、かつ露光時間とゲインとの積が所定値となる露光時間及びゲインを算出するため、画像のぶれやノイズを低減して、特定の物体を認識するために認識に適した画像を得ることができる。
【００１４】
また、前記撮像制御手段は、前記評価値算出手段により算出された評価値が予め定めた評価値閾値より低い場合に、前記露光時間及び前記ゲインを制御するようにすることができる。
【００１５】
また、本発明の物体認識装置は、前記認識手段の認識結果に基づいて、前記特定の物体を示す画像の特定の物体らしさを認識の信頼度として算出する信頼度算出手段を含んで構成することができ、前記撮像制御手段は、前記信頼度算出手段により算出された信頼度が予め定めた信頼度閾値より低い場合に、前記露光時間及び前記ゲインを制御するようにすることができる。
【００１６】
また、本発明の物体認識装置は、前記評価値算出手段により算出された評価値を時系列に記憶手段に記憶するように制御する記憶制御手段を含んで構成することができ、前記撮像制御手段は、前記記憶制御手段により前記記憶手段に記憶された時系列の評価値に基づいて、前記評価値の変化量が予め定めた評価値変化量閾値より大きい場合に、前記露光時間及び前記ゲインを制御するようにすることができる。
【００１７】
また、本発明の物体認識装置は、前記認識手段の認識結果に基づいて、前記特定の物体を示す画像の特定の物体らしさを認識の信頼度として算出する信頼度算出手段を含んで構成することができ、前記記憶制御手段は、前記信頼度算出手段により算出された信頼度を時系列に前記記憶手段に記憶するように制御し、前記撮像制御手段は、前記記憶制御手段により前記記憶手段に記憶された時系列の信頼度に基づいて、前記信頼度が低下する方向に変化した変化量が予め定めた信頼度変化量閾値より大きい場合に、前記露光時間及び前記ゲインを制御するようにすることができる。
【００１８】
また、本発明の物体認識装置は、前記撮像手段が搭載された車両の運動を検出する検出手段を含んで構成することができ、前記撮像制御手段は、前記検出手段により検出された車両の運動の大きさが予め定めた運動閾値より大きい場合に、前記露光時間及び前記ゲインを制御するようにすることができる。
【００１９】
このように、評価値、信頼度、評価値の変化量、信頼度の変化量、及び車両運動の大きさに基づいて、撮像制御手段による制御を行うため、撮像制御が必要ない場合の不要な処理を抑制することができる。
【００２０】
また、本発明の物体認識装置は、前記記憶制御手段により前記記憶手段に記憶された時系列の評価値に基づいて、前記算出手段で評価値を算出する際に用いる前記予め定めた画像の特性と前記認識手段による認識の容易さとの関係を更新する更新手段を含んで構成することができる。これにより、より適切な評価値を算出することができる。
【００２１】
また、前記部分画像の特性を、前記部分画像のエッジ方向のヒストグラムの頻度の平均及び頻度の分散、前記部分画像のパワースペクトルの総和と前記部分画像の高周波成分のパワースペクトルの総和との比、または前記部分画像の輝度値のヒストグラムの最大値と最小値との比とすることができる。
【００２２】
また、前記認識手段は、前記撮像画像のエッジ方向のヒストグラムと予め記憶した特定の物体を示す画像のエッジ方向のヒストグラムとを比較することにより特定の物体を示す画像を認識し、前記抽出手段は、前記認識手段で得られた部分画像のエッジ方向のヒストグラムを用いて、エッジ方向のヒストグラムの頻度の平均及び頻度の分散を前記部分画像の特性として抽出するようにすることができる。このように、認識手段で得られたエッジ方向のヒストグラムを抽出手段で再利用することにより、計算量を削減することができる。
【００２３】
また、物体認識プログラムは、コンピュータを、撮像手段により設定された露光時間で撮像され蓄積された電荷を設定されたゲインで増幅することにより得られた撮像画像に含まれる特定の物体を示す画像を認識する認識手段、前記認識手段により認識された特定の物体を示す画像及び該特定の物体を示す画像の周辺画像を含む部分画像の特性を抽出する抽出手段、予め定めた画像の特性と前記認識手段による認識の容易さとの関係、及び前記抽出手段により抽出された前記部分画像の特性に基づいて、前記認識手段で認識された前記特定の物体を示す画像の認識の容易さを示す評価値を算出する評価値算出手段、及び前記評価値算出手段で算出される評価値が高くなり、かつ前記露光時間と前記ゲインとの積が所定値となるように前記露光時間及び前記ゲインを制御する撮像制御手段として機能させるためのプログラムである。
【００２４】
なお、本発明のプログラムを記憶する記憶媒体は、特に限定されず、ハードディスクであってもよいし、ＲＯＭであってもよい。また、ＣＤ−ＲＯＭやＤＶＤディスク、光磁気ディスクやＩＣカードであってもよい。更にまた、該プログラムを、ネットワークに接続されたサーバ等からダウンロードするようにしてもよい。
【発明の効果】
【００２５】
以上説明したように、本発明によれば、予め定めた画像の特性と認識の容易さを示す評価値との関係、及び部分画像の特性に基づいて算出される評価値が高くなり、かつ露光時間とゲインとの積が所定値となる露光時間及びゲインを算出するため、画像のぶれやノイズを低減して、特定の物体を認識するために認識に適した画像を得ることができる、という効果が得られる。
【図面の簡単な説明】
【００２６】
【図１】第１の実施の形態に係る物体認識装置の構成を示すブロック図である。
【図２】評価値マップの一例を示す図である。
【図３】露光時間及びゲインの算出を説明するための図である。
【図４】第１の実施の形態の物体認識装置における物体認識処理ルーチンの内容を示すフローチャートである。
【図５】画像特性の抽出及び評価値算出の流れを示すイメージ図である。
【図６】第２の実施の形態に係る物体認識装置の構成を示すブロック図である。
【図７】急激な車両運動による評価値の変動を説明するための図である。
【図８】第２の実施の形態の物体認識装置における物体認識処理ルーチンの内容を示すフローチャートである。
【図９】画像特性の他の例を説明するための図である。
【図１０】画像特性の他の例を説明するための図である。
【発明を実施するための形態】
【００２７】
以下、図面を参照して本発明の実施の形態を詳細に説明する。本実施の形態では、車両に搭載された物体認識装置に本発明を適用した場合について説明する。
【００２８】
図１に示すように、第１の実施の形態に係る物体認識装置１０は、認識対象領域を含む範囲を撮像する撮像装置１２と、撮像装置１２から出力される撮像画像に基づいて特定の物体を認識する物体認識処理ルーチンを実行するコンピュータ１６と、コンピュータ１６での処理結果を表示するための表示装置１８と、を備えている。
【００２９】
撮像装置１２は、認識対象領域を含む範囲を設定された露光時間で撮像し、画像信号を生成する撮像部（図示省略）と、撮像部で生成されたアナログ信号を設定されたゲインで増幅するゲイン調整部（図示省略）と、ゲイン調整されたアナログ信号である画像信号をデジタル信号に変換するＡ／Ｄ変換部（図示省略）と、Ａ／Ｄ変換された画像信号を一時的に格納するための画像メモリ（図示省略）とを備えている。
【００３０】
コンピュータ１６は、物体認識装置１０全体の制御を司るＣＰＵ、後述する物体認識処理ルーチンのプログラム等及び各種情報を記憶した記憶媒体としてのＲＯＭまたはＨＤＤ、ワークエリアとしてデータを一時格納するＲＡＭ、及びこれらを接続するバスを含んで構成されている。このような構成の場合には、各構成要素の機能を実現するためのプログラムをＲＯＭやＨＤＤ等の記憶媒体に記憶しておき、これをＣＰＵが実行することによって、各機能が実現されるようにする。
【００３１】
このコンピュータ１６をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、図１に示すように、撮像装置１２で撮像されコンピュータ１６へ入力された撮像画像に含まれる特定の物体を示す画像を認識する特定物体認識部２０と、特定物体認識部２０での認識結果に基づいて、認識の容易な画像が得られるように撮像装置１２を制御する撮像制御部４０と、を含んだ構成で表すことができる。
【００３２】
特定物体認識部２０は、さらに、入力された撮像画像から所定領域のウインドウ画像を抽出するウインドウ画像抽出部２２と、ウインドウ画像抽出部２２により抽出されたウインドウ画像と識別モデルとを比較することにより、ウインドウ画像が特定の物体か否かを認識する認識部２４と、識別モデルが記憶された識別モデル記憶部２６と、認識結果を撮像画像に重畳して表示するように表示装置１８を制御する表示制御部２８と、を含んだ構成で表すことができる。
【００３３】
ウインドウ画像抽出部２２は、撮像画像から予め定められたサイズのウインドウ（探索ウインドウと呼称）を１ステップにつき、予め定められた移動量（探索ステップと呼称）だけ移動させながら画像を切り取る。ここでは、切り取った画像をウインドウ画像といい、ウインドウ画像のサイズ（すなわち探索ウインドウのサイズ）をウインドウサイズと呼称する。ウインドウサイズは様々なサイズの物体を認識するために複数種設定されており、ウインドウ画像抽出部２２は、設定されている全てのウインドウサイズの探索ウインドウを用いてウインドウ画像を抽出する。また、ウインドウ画像抽出部２２は、抽出したウインドウ画像を予め設定された画素数の画像（例えば、横１６×縦３２画素の画像）に変換する。
【００３４】
認識部２４は、例えば、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）やＨＯＧ（Ｈｉｓｔｏｇｒａｍ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔ）等の手法を用いて、ウインドウ画像が特定の物体を示す画像であるか否かを認識する。
【００３５】
識別モデル記憶部２６には、認識部２４による認識の手法に応じて予め学習により生成された識別モデルが記憶されている。なお、ここでは、識別モデル記憶部２６をコンピュータ１６に設ける場合について説明するが、他の外部装置の記憶手段に識別モデルを記憶しておき、ネットワークや通信手段を介して他の外部装置に接続して、他の外部装置の記憶手段に記憶された識別モデルを読み込むような構成としてもよい。
【００３６】
撮像制御部４０は、さらに、認識部２４で特定の物体を示す画像と認識されたウインドウ画像の画像特性を抽出する画像特性抽出部４２と、画像特性抽出部４２で抽出されたウインドウ画像の画像特性及び予め定めた評価値マップに基づいて、ウインドウ画像の認識の容易さを示す評価値を算出する評価値算出部４４と、評価値算出部４４で算出された評価値に基づいて、撮像装置に設定された露光時間及びゲインを制御するための撮像制御値を算出して、撮像装置１２に出力する撮像制御値算出部４６と、を含んだ構成で表すことができる。
【００３７】
画像特性抽出部４２は、認識部２４で特定の物体を示す画像と認識されたウインドウ画像、そのウインドウ画像の大きさ、撮像画像上でのウインドウ画像の位置、認識された物体の属性（歩行者、二輪車、車両等）を取得する。なお、ここでは、認識結果に含まれる情報の１つとしてウインドウ画像を取得することとするが、特定の物体を示す画像及びその周辺画像を含む部分画像を取得すればよい。また、周辺画像も含めて取得するのは、背景の複雑さ等によっても認識の容易さが異なるため、背景も含めた画像を用いて認識の容易さを評価するためである。
【００３８】
また、画像特性抽出部４２は、取得されたウインドウ画像からエッジを検出し、検出されたエッジの方向別の頻度を示すエッジ方向のヒストグラムを生成する。一般的に、認識に適した画像には様々な方向のエッジが適度に含まれていることが予想されるため、ここでは、エッジ方向のヒストグラムの頻度の平均及び頻度の分散をウインドウ画像の特性として抽出する。
【００３９】
評価値算出部４４は、予め定めた評価値マップを用いて、画像特性抽出部４２で抽出されたウインドウ画像の画像特性に対する評価値を算出する。図２に示すように、評価値マップは、画像特性と評価値との関係を定めたもので、評価値は画像が認識に適しているほど高い。評価値マップは、認識結果が既知の画像及びその画像特性を、横軸に頻度の平均、縦軸に頻度の分散を取ったグラフに複数プロットし、良好に撮像された画像の画像特性が多くプロットされている領域は評価値を高くし、画像のぶれやノイズが生じている画像の画像特性が多くプロットされている領域は評価値を低くして、複数段階の領域を設定することで作成することができる。例えば、図２に示すように、中心部ほど評価値が高く、外側へ向かうほど評価値が低い等高線のマップを作成することができる。
【００４０】
この評価値マップを用いて、画像特性と評価値との関係をより詳細に説明する。例えば、同図中Ａに示す位置に画像特性がプロットされたウインドウ画像は、認識に適した評価値の高い画像であるとする。この評価値の高い画像と同じ明るさで撮影された画像であっても、露光時間が長くゲインが低いほど、車両運動の影響を受けて強いぶれが生じた画像となり、認識には適さない評価値の低い画像となる。このような画像から検出されるエッジの量は少なく、またぶれの方向性によりエッジ方向のヒストグラムに偏りが生じる。すなわち、頻度の平均は小さくなり、頻度の分散は大きくなる。この場合、同図中Ｂに示す位置にプロットされる。一方、評価値の高い画像と同じ明るさで撮影された画像であっても、露光時間が短くゲインが高いほど、画像全体のノイズが多くなり、認識には適さない評価値の低い画像となる。このような画像から検出されるエッジは様々な方向に均等にばらつくため、頻度の分散は低くなり、同図中Ｃに示す位置にプロットされる。
【００４１】
撮像制御値算出部４６は、評価値マップに基づいて、評価値が高くなるように撮像制御値として露光時間及びゲインを算出する。具体的には、図３に示すように、画像の明るさを一定に保つために、露光時間とゲインとの積が一定となるように露光時間及びゲインを変更した場合の評価値の変化を示す直線を評価値マップ上に対応させる。そして、この直線上で評価値が最大となる点に対応する露光時間及びゲインを撮像制御値として算出する。なお、露光時間とゲインとの積が一定とは、厳密に一定の場合とする場合に限らず、評価値マップにおける評価値の設定に応じて、露光時間とゲインとの積が所定値または所定値±αとなる範囲を含む。撮像制御値算出部４６は、算出した撮像制御値を撮像装置１２へ出力する。撮像装置１２では、撮像制御値算出部４６で算出された露光時間及びゲインを設定し、設定された露光時間及びゲインで撮像を行う。
【００４２】
次に、図４を参照して、第１の実施の形態の物体認識装置１０のコンピュータ１６で実行される物体認識処理ルーチンについて説明する。
【００４３】
ステップ１００で、撮像装置１２で撮像された撮像画像を取得し、次に、ステップ１０２で、撮像画像に対して例えば１６×３２画素の探索ウインドウを撮像画像の所定領域（例えば、左上角の領域）に設定し、設定した探索ウインドウを用いて、撮像画像から１６×３２画素のウインドウ画像を抽出する。
【００４４】
次に、ステップ１０４で、識別モデル記憶部２６に記憶された識別モデルを用いて、ＳＶＭやＨＯＧ等の手法を用いてウインドウ画像が特定の物体を示す画像か否かを認識する。
【００４５】
次に、ステップ１０６で、上記ステップ１０４の認識結果に基づいて、ウインドウ画像が特定の物体を示す画像か否かを判定する。肯定判定される場合には、ステップ１０８へ移行し、否定判定される場合には、処理を終了する。
【００４６】
ステップ１０８では、図５に示すように、上記ステップ１０４の認識結果として、特定の物体を示す画像と認識されたウインドウ画像、そのウインドウ画像の大きさ、撮像画像上でのウインドウ画像の位置、認識された物体の属性（歩行者、二輪車、車両等）を取得する。そして、取得されたウインドウ画像からエッジを検出し、検出されたエッジの方向別の頻度を示すエッジ方向のヒストグラムを生成する。そして、ウインドウ画像の画像特性として、エッジ方向のヒストグラムの頻度の平均及び頻度の分散を抽出する。
【００４７】
次に、ステップ１１０で、上記ステップ１０８で抽出した画像特性を、予め定めた評価値マップにプロットし、画像特性に対応した認識の容易さを示す評価値Ｅを算出する。
【００４８】
次に、ステップ１１２で、上記ステップ１１０で算出した評価値Ｅが予め定めた評価値閾値Ｅｔｈより小さいか否かを判定することにより、上記ステップ１０２で抽出されたウインドウ画像が認識に適した画像か否かを判定する。Ｅ＜Ｅｔｈの場合には、認識に適した画像ではないと判定して、ステップ１１４へ移行し、Ｅ≧Ｅｔｈの場合には、認識に適した画像であると判定して、そのまま処理を終了する。
【００４９】
ステップ１１４では、露光時間とゲインとの積が一定となるように露光時間及びゲインを変更した場合の評価値の変化を示す直線を評価値マップ上に対応させ、この直線上で評価値が最大となる点に対応する露光時間及びゲインを撮像制御値として算出し、算出した撮像制御値を撮像装置１２へ出力して、処理を終了する。
【００５０】
これにより、次のフレームの撮像画像は、評価値が高くなるように露光時間及びゲインが設定された撮像装置１２で撮像された認識に適した撮像画像となる。
【００５１】
また、上記ステップ１０２のウインドウ画像の抽出処理では、探索ウインドウの各サイズについて撮像画像全体を走査しながらウインドウ画像を抽出し、上記ステップ１０４で抽出された各ウインドウ画像について認識処理を行うため、１つの撮像画像から複数の特定の物体を示すウインドウ画像が認識される場合もある。その場合には、ウインドウ画像毎に上記ステップ１０８及びステップ１１０の処理を実行して評価値Ｅを算出し、いずれか１つの評価値Ｅが評価値閾値Ｅｔｈより小さい場合に、上記ステップ１１２で肯定判定されるようにしたり、全ての評価値Ｅが評価値閾値Ｅｔｈより小さい場合に、上記ステップ１１２で肯定判定されるようにしたりすることができる。
【００５２】
以上説明したように、第１の実施の形態の物体認識装置によれば、予め定めた画像の特性と認識の容易さを示す評価値との関係を示す評価値マップに、特定の物体を示す画像であると認識されたウインドウ画像の画像特性をプロットして評価値を算出し、画像の明るさを保ったままこの評価値が最大となる露光時間及びゲインを算出するため、画像のぶれやノイズを低減して、特定の物体を認識するために認識に適した撮像画像を得ることができる。
【００５３】
なお、第１の実施の形態では、評価値が評価値閾値より小さい場合に撮像制御値を算出する場合について説明たが、上記ステップ１１２の処理を省略して、評価値の閾値判定を行うことなく、評価値が高くなるように撮像制御値を算出するようにしてもよい。
【００５４】
次に、第２の実施の形態について説明する。車両に急激な運動が生じた場合に撮像制御の処理を行う点が第１の実施の形態とは異なる。なお、第１の実施の形態の物体認識装置１０と同一の構成については、同一の符号を付して説明を省略する。
【００５５】
図６に示すように、第２の実施の形態の物体認識装置２１０は、撮像装置１２と、加速度センサやヨーレートセンサ等の車両の運動を検出する車両運動センサ１４と、コンピュータ２１６と、表示装置１８と、を備えている。コンピュータ２１６をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、図６に示すように、撮像装置１２で撮像されコンピュータ２１６へ入力された撮像画像に含まれる特定の物体を示す画像を認識する特定物体認識部２０と、急激な車両運動が検出された場合に、特定物体認識部２０での認識結果に基づいて、認識に適した画像が得られるように撮像装置１２を制御する撮像制御部２４０と、を含んだ構成で表すことができる。
【００５６】
撮像制御部２４０は、さらに、画像特性抽出部４２と、評価値算出部４４と、認識部２４での認識結果に基づいて、認識の信頼度を算出する信頼度算出部４８と、評価値算出部４４で算出された評価値、及び信頼度算出部４８で算出された信頼度を時系列に所定の記憶領域に記憶するように制御する時系列記憶制御部５０と、撮像制御を開始するか否かを判定する制御開始判定部５２と、時系列に記憶された評価値に基づいて、評価値マップを更新する評価値マップ更新部５４と、撮像制御値算出部４６と、を含んだ構成で表すことができる。
【００５７】
信頼度算出部４８は、認識部２４での認識結果に基づいて、認識結果が正しい場合に高く、画像のボケなどによって誤認識の可能性が生じている場合に低くなるような認識の信頼度Ｒを算出する。認識部２４でＳＶＭやＨＯＧ等の手法を用いて、ウインドウ画像と識別モデルとを比較して特定の対象物らしさを示すスコアを算出し、このスコアが所定の閾値以上か否かにより認識を行う場合には、このスコアをそのまま信頼度Ｒとして用いることができる。また、複数の判別器を多段に構成して認識を行う手法では、何段目の判別器まで判別できたか等に応じて、信頼度Ｒを算出するようにしてもよい。
【００５８】
時系列記憶制御部５０は、特定の物体を示す画像と認識されたウインドウ画像、そのウインドウ画像の大きさ、撮像画像上でのウインドウ画像の位置、認識された物体の属性（歩行者、二輪車、車両等）等の認識結果と、評価値算出部４４で算出された評価値Ｅ、及び信頼度算出部４８で算出された信頼度Ｒとを対応付けて、時系列に所定の記憶領域に記憶するように制御する。物体の属性が同じ場合には、画像上での位置や大きさの変化の程度が最小となるように追跡を行って、時系列での対応付けを行う。例えば、物体の属性毎の動きの速度やパターンの情報を予め保持しておき、保持した情報を参照して物体の属性に応じて追跡を行う。また、追跡の際に物体の動きをカルマンフィルタなどによって予測してもよい。また、時系列の対応付けの際に、対応付けられた物体同士の位置の誤差の総和が最小となるようにＲＡＮＳＡＣ（Ｒａｎｄｏｍ Ｓａｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ）等の手法を用いて最適化を行ってもよい。
【００５９】
制御開始判定部５２は、所定の記憶領域に記憶された評価値Ｅの時系列の変化量ΔＥが予め定めた評価値変化量閾値ΔＥｔｈを超えたか否か、所定の記憶領域に記憶された信頼度Ｒの時系列の変化量であって信頼度Ｒが低下する方向への変化量ΔＲが予め定めた信頼度変化量閾値ΔＲｔｈを超えたか否か、及び車両運動センサ１４により検出された検出値が示す車両の運動の大きさＭが予め定めた運動閾値Ｍｔｈより大きいか否かにより、撮像制御を開始するか否かを判定する。図７に示すように、急激な車両運動が生じた際には、評価値Ｅにも大きな変動が生じる。また同時に信頼度Ｒも低下する傾向が強い。急激な車両運動は、撮像画像にぶれが生じる程度の運動であり、例えば、車両の右左折時の運動を想定し、このような急激な車両運動を検出可能な閾値として運動閾値Ｍｔｈを定めておく。また、評価値変化量閾値ΔＥｔｈ及び信頼度変化量閾値ΔＲｔｈについても、同様の急激な車両運動が生じた場合の評価値及び信頼度の変化に基づいて、適切な値を定めておく。
【００６０】
また、評価値Ｅの変化、信頼度Ｒの変化、及び車両の運動の大きさＭのいずれか１つを用いても急激な車両運動を検出することはできるが、物体や背景画像の変化などにより、車両の運動の大きさＭが運動閾値Ｍｔｈを超えなくても評価値Ｅが大きく変化する場合や、評価値Ｅに変化はなくても信頼度Ｒが低下する場合等が生じる可能性があるため、ここでは、これら３つの値を統合的に用いて、適切な制御開始タイミングを判定する。
【００６１】
評価値マップ更新部５４は、所定の記憶領域に記憶された時系列の評価値Ｅに基づいて、評価値マップの形状を拡縮、変形、回転等して、急激な車両運動により撮像制御を開始することになった事象に対応して評価値マップを更新する。具体的には、評価値Ｅのばらつきが大きい場合には評価値マップを拡大したり、評価値Ｅに偏りがある場合には、その偏った方向へのみ拡大（変形）したりする。撮像制御値算出部４６は、評価値マップ更新部５４で更新された評価値マップを用いて撮像制御値を算出する。
【００６２】
次に、図８を参照して、第２の実施の形態の物体認識装置２１０のコンピュータ２１６で実行される物体認識処理ルーチンについて説明する。なお、第１の実施の形態と同一の処理については、同一の符号を付して説明を省略する。
【００６３】
ステップ１００〜ステップ１１０を経て、画像特性に対応した認識の容易さを示す評価値Ｅを算出する。
【００６４】
次に、ステップ２５０で、上記ステップ１０４での認識結果に基づいて、認識結果が正しい場合に高く、画像のボケなどによって誤認識の可能性が生じている場合に低くなる認識の信頼度Ｒを算出する。
【００６５】
次に、ステップ２５２で、特定の物体を示す画像と認識されたウインドウ画像、そのウインドウ画像の大きさ、撮像画像上でのウインドウ画像の位置、認識された物体の属性（歩行者、二輪車、車両等）等の認識結果と、上記ステップ１１０ で算出された評価値Ｅ、及び上記ステップ２５０で算出された信頼度Ｒとを対応付けて、時系列に所定の記憶領域に記憶するように制御する。
【００６６】
次に、ステップ２５４で、車両運動センサ１４で検出された検出値を取得し、次に、ステップ２５６で、所定の記憶領域に記憶された評価値Ｅの時系列の変化量ΔＥが予め定めた評価値変化量閾値ΔＥｔｈを超えたか否か、所定の記憶領域に記憶された信頼度Ｒの時系列の変化量であって信頼度Ｒが低下する方向への変化量ΔＲが予め定めた信頼度変化量閾値ΔＲｔｈを超えたか否か、及び車両運動センサ１４により検出された検出値が示す車両の運動の大きさＭが予め定めた運動閾値Ｍｔｈより大きいか否かにより、撮像制御を開始するか否かを判定する。撮像制御を開始する場合には、ステップ２５８へ移行し、撮像制御を開始しない場合には、処理を終了する。
【００６７】
ステップ２５８では、所定の記憶領域に記憶された時系列の評価値Ｅに基づいて、評価値マップの形状を拡縮、変形、回転等して、急激な車両運動により撮像制御を開始することになった事象に対応して評価値マップを更新し、次に、ステップ２６０で、更新された評価値マップを用いて撮像制御値を算出する。
【００６８】
以上説明したように、第２の実施の形態の物体認識装置によれば、予め定めた画像の特性と認識の容易さを示す評価値との関係を示す評価値マップに、特定の物体を示す画像であると認識されたウインドウ画像の画像特性をプロットして評価値を算出し、画像の明るさを保ったままこの評価値が最大となる露光時間及びゲインを算出するため、画像のぶれやノイズを低減して、特定の物体を認識するために認識に適した撮像画像を得ることができる。また、急激な車両運動を検出して撮像制御を開始するか否かを判定するため、撮像制御を行う必要がない場合の不要な処理を抑制することができる。
【００６９】
なお、上記第１及び第２の実施の形態では、画像特性として、エッジ方向のヒストグラムの頻度の平均及び頻度の分散を用いる場合について説明したが、これに限定されない。例えば、最大の頻度を持つエッジ方向や頻度の最大値と最小値との比などを含んでもよく、頻度の平均及び頻度の分散とあわせて高次元の評価値マップを構成するようにしてもよい。
【００７０】
また、図９に示すように、特定の物体を示す画像及びその周辺画像を含む部分画像（本実施の形態では、ウインドウ画像）全体のパワースペクトルの総和と部分画像の高周波成分のパワースペクトルの総和との比を画像特性として用いてもよい。撮像画像に生じるノイズは、撮像シーンに依存しない高周波成分として撮像画像に加えられるため、フーリエ変換などの周波数変換によってノイズ量を推定することができる。そこで、部分画像を周波数変換した後のパワースペクトルのうち、部分画像全体のパワースペクトルの総和と部分画像の高周波成分のパワースペクトルの総和との比を、認識の容易さを示す評価値と対応させるための画像特性として用いることができる。
【００７１】
また、図１０に示すように、部分画像の輝度値のヒストグラムの最大値に対する最小値の比を画像特性として用いてもよい。撮像画像に生じるノイズは、輝度値に対して均等に加えられるため、最大の頻度を持つ輝度値におけるノイズの影響よりも最小の頻度を持つ輝度値におけるノイズの影響の方が大きくなる。そこで、部分画像の輝度値のヒストグラムの最大値に対する最小値の比を算出することでノイズの量を推定することができるため、この比を画像特性として用いることができる。
【００７２】
また、認識部での認識の手法が、エッジ方向のヒストグラムを用いるものであれば、画像特性抽出部において、認識部で得たエッジ方向のヒストグラムを再利用して画像特性を抽出するようにしてもよい。これにより、計算量を削減することができる。
【符号の説明】
【００７３】
１０、２１０ 物体認識装置
１２ 撮像装置
１４ 車両運動センサ
１６、２１６ コンピュータ
１８ 表示装置
２０ 特定物体認識部
２２ ウインドウ画像抽出部
２４ 認識部
２６ 識別モデル記憶部
２８ 表示制御部
４０、２４０ 撮像制御部
４２ 画像特性抽出部
４４ 評価値算出部
４６ 撮像制御値算出部
４８ 信頼度算出部
５０ 時系列記憶制御部
５２ 制御開始判定部
５４ 評価値マップ更新部
【技術分野】
【０００１】
本発明は、物体認識装置及びプログラムに係り、特に、撮像した画像から特定の物体を認識する場合において、認識に適した画像が撮像されるように撮像装置を制御する物体認識装置及びプログラムに関する。
【背景技術】
【０００２】
近年、車載カメラで撮像した車両周辺の映像を画像処理し、歩行者や車両等の特定の物体を認識してドライバに認識結果を提示する物体認識装置を搭載する車両が増加している。このような物体認識装置においては、認識に適した画像が得られるように制御する必要がある。
【０００３】
例えば、測光センサにより測光を行い、この測光信号に基づいてＣＣＤの電子シャッタの露出時間を決定する車載監視カメラの露出制御方法が提案されている（特許文献１参照）。特許文献１に記載の露出制御方法では、測光信号に基づく露出時間を基準としてオートブラケティング撮影を行い、メモリに入力された３個の画像データから適正露出となる画像データまたは適正露出に最も近い画像データが選択され、これが画像処理部に入力されるとともに新たな基準露出時間に設定され、次のオートブラケティング撮影が行なわれる。
【０００４】
また、判定標識を含む画像から物体を検出し、視程状態を示す視程評価値と視程状態における物体検出手段の検出性能の信頼度とが対応づけられた基準情報を信頼度判定情報格納手段に予め格納しておき、判定標識を含む画像から判定標識領域の画像特徴を抽出し、抽出された画像特徴に基づいて視程評価値を算出し、算出した視程評価値を信頼度判定情報格納手段に格納された基準情報と照合して物体検出手段の検出性能の信頼度を判定し、検出結果と判定結果とに基づいて所定の処理を実行する画像処理装置が提案されている（特許文献２参照）。
【０００５】
また、通常モード及び手ぶれ低減（ｈｊｒ）モードを有するカメラシステムにおいて、通常モードの露光時間とゲインとを乗算することによって第１の露光時間−ゲインの積を生成し、第１の露光時間−ゲインの積とｈｊｒモードのための第２の露光時間−ゲインの積との間の差分を低減するように、通常モードの露光時間とゲインを修正してｈｊｒモードのための露光時間及びゲインを求めるカメラシステムが提案されている（特許文献３参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７−２９５０９３号公報
【特許文献２】特開２００１−８４３７７号公報
【特許文献３】特表２０１０−５０４７１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に記載の露光制御方法により得られた適正露出により、必ずしも認識に適した画像が得られるわけではない、という問題がある。例えば、測光信号の結果が低ければ、露光時間を長くすることが考えられるが、露光時間を長くすると、ぶれを伴った認識に不向きな画像となってしまう。また、露光時間を短くしてゲインを上げることも考えられるが、この場合には、画像のノイズが増加してしまい、やはり認識に不向きな画像となってしまう。
【０００８】
また、特許文献２に記載の画像処理装置では、エッジ強度、周波数成分、色等を元に画像が認識に適しているかを評価しているが、その評価と撮像パラメータとの関係についは記載されていないため、認識に適した画像を得ることができない、という問題がある。
【０００９】
また、特許文献３に記載のカメラシステムでは、通常モードの露光時間とゲインとの積を基準として手ぶれ低減モードの露光時間及びゲインを決定しているが、通常モードの露光時間及びゲインにより得られる画像が認識に適していない場合には、認識に適していない画像が得られ続けてしまう、という問題がある。
【００１０】
本発明は、上述した問題を解決するために成されたものであり、画像のぶれやノイズを低減して、特定の物体を認識するために認識に適した画像を得ることができる物体認識装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記目的を達成するために、本発明の物体認識装置は、撮像手段により設定された露光時間で撮像され蓄積された電荷を設定されたゲインで増幅することにより得られた撮像画像に含まれる特定の物体を示す画像を認識する認識手段と、前記認識手段により認識された特定の物体を示す画像及び該特定の物体を示す画像の周辺画像を含む部分画像の特性を抽出する抽出手段と、予め定めた画像の特性と前記認識手段による認識の容易さとの関係、及び前記抽出手段により抽出された前記部分画像の特性に基づいて、前記認識手段で認識された前記特定の物体を示す画像の認識の容易さを示す評価値を算出する評価値算出手段と、前記評価値算出手段で算出される評価値が高くなり、かつ前記露光時間と前記ゲインとの積が所定値となるように前記露光時間及び前記ゲインを制御する撮像制御手段と、を含んで構成されている。
【００１２】
本発明の物体認識装置によれば、認識手段が、撮像手段により設定された露光時間で撮像され蓄積された電荷を設定されたゲインで増幅することにより得られた撮像画像に含まれる特定の物体を示す画像を認識し、抽出手段が、認識手段により認識された特定の物体を示す画像及び特定の物体を示す画像の周辺画像を含む部分画像の特性を抽出する。そして、評価値算出手段が、予め定めた画像の特性と認識手段による認識の容易さとの関係、及び抽出手段により抽出された部分画像の特性に基づいて、認識手段で認識された特定の物体を示す画像の認識の容易さを示す評価値を算出する。そして、撮像制御手段が、評価値算出手段で算出される評価値が高くなり、かつ露光時間とゲインとの積が所定値となるように露光時間及びゲインを制御する。ここで、所定値とは、露光時間とゲインとの積が、現在設定されている露光時間とゲインとの積と一定値となる値、及び一定値に若干の幅を持たせた値とすることができる。
【００１３】
このように、予め定めた画像の特性と認識の容易さを示す評価値との関係、及び部分画像の特性に基づいて算出される評価値が高くなり、かつ露光時間とゲインとの積が所定値となる露光時間及びゲインを算出するため、画像のぶれやノイズを低減して、特定の物体を認識するために認識に適した画像を得ることができる。
【００１４】
また、前記撮像制御手段は、前記評価値算出手段により算出された評価値が予め定めた評価値閾値より低い場合に、前記露光時間及び前記ゲインを制御するようにすることができる。
【００１５】
また、本発明の物体認識装置は、前記認識手段の認識結果に基づいて、前記特定の物体を示す画像の特定の物体らしさを認識の信頼度として算出する信頼度算出手段を含んで構成することができ、前記撮像制御手段は、前記信頼度算出手段により算出された信頼度が予め定めた信頼度閾値より低い場合に、前記露光時間及び前記ゲインを制御するようにすることができる。
【００１６】
また、本発明の物体認識装置は、前記評価値算出手段により算出された評価値を時系列に記憶手段に記憶するように制御する記憶制御手段を含んで構成することができ、前記撮像制御手段は、前記記憶制御手段により前記記憶手段に記憶された時系列の評価値に基づいて、前記評価値の変化量が予め定めた評価値変化量閾値より大きい場合に、前記露光時間及び前記ゲインを制御するようにすることができる。
【００１７】
また、本発明の物体認識装置は、前記認識手段の認識結果に基づいて、前記特定の物体を示す画像の特定の物体らしさを認識の信頼度として算出する信頼度算出手段を含んで構成することができ、前記記憶制御手段は、前記信頼度算出手段により算出された信頼度を時系列に前記記憶手段に記憶するように制御し、前記撮像制御手段は、前記記憶制御手段により前記記憶手段に記憶された時系列の信頼度に基づいて、前記信頼度が低下する方向に変化した変化量が予め定めた信頼度変化量閾値より大きい場合に、前記露光時間及び前記ゲインを制御するようにすることができる。
【００１８】
また、本発明の物体認識装置は、前記撮像手段が搭載された車両の運動を検出する検出手段を含んで構成することができ、前記撮像制御手段は、前記検出手段により検出された車両の運動の大きさが予め定めた運動閾値より大きい場合に、前記露光時間及び前記ゲインを制御するようにすることができる。
【００１９】
このように、評価値、信頼度、評価値の変化量、信頼度の変化量、及び車両運動の大きさに基づいて、撮像制御手段による制御を行うため、撮像制御が必要ない場合の不要な処理を抑制することができる。
【００２０】
また、本発明の物体認識装置は、前記記憶制御手段により前記記憶手段に記憶された時系列の評価値に基づいて、前記算出手段で評価値を算出する際に用いる前記予め定めた画像の特性と前記認識手段による認識の容易さとの関係を更新する更新手段を含んで構成することができる。これにより、より適切な評価値を算出することができる。
【００２１】
また、前記部分画像の特性を、前記部分画像のエッジ方向のヒストグラムの頻度の平均及び頻度の分散、前記部分画像のパワースペクトルの総和と前記部分画像の高周波成分のパワースペクトルの総和との比、または前記部分画像の輝度値のヒストグラムの最大値と最小値との比とすることができる。
【００２２】
また、前記認識手段は、前記撮像画像のエッジ方向のヒストグラムと予め記憶した特定の物体を示す画像のエッジ方向のヒストグラムとを比較することにより特定の物体を示す画像を認識し、前記抽出手段は、前記認識手段で得られた部分画像のエッジ方向のヒストグラムを用いて、エッジ方向のヒストグラムの頻度の平均及び頻度の分散を前記部分画像の特性として抽出するようにすることができる。このように、認識手段で得られたエッジ方向のヒストグラムを抽出手段で再利用することにより、計算量を削減することができる。
【００２３】
また、物体認識プログラムは、コンピュータを、撮像手段により設定された露光時間で撮像され蓄積された電荷を設定されたゲインで増幅することにより得られた撮像画像に含まれる特定の物体を示す画像を認識する認識手段、前記認識手段により認識された特定の物体を示す画像及び該特定の物体を示す画像の周辺画像を含む部分画像の特性を抽出する抽出手段、予め定めた画像の特性と前記認識手段による認識の容易さとの関係、及び前記抽出手段により抽出された前記部分画像の特性に基づいて、前記認識手段で認識された前記特定の物体を示す画像の認識の容易さを示す評価値を算出する評価値算出手段、及び前記評価値算出手段で算出される評価値が高くなり、かつ前記露光時間と前記ゲインとの積が所定値となるように前記露光時間及び前記ゲインを制御する撮像制御手段として機能させるためのプログラムである。
【００２４】
なお、本発明のプログラムを記憶する記憶媒体は、特に限定されず、ハードディスクであってもよいし、ＲＯＭであってもよい。また、ＣＤ−ＲＯＭやＤＶＤディスク、光磁気ディスクやＩＣカードであってもよい。更にまた、該プログラムを、ネットワークに接続されたサーバ等からダウンロードするようにしてもよい。
【発明の効果】
【００２５】
以上説明したように、本発明によれば、予め定めた画像の特性と認識の容易さを示す評価値との関係、及び部分画像の特性に基づいて算出される評価値が高くなり、かつ露光時間とゲインとの積が所定値となる露光時間及びゲインを算出するため、画像のぶれやノイズを低減して、特定の物体を認識するために認識に適した画像を得ることができる、という効果が得られる。
【図面の簡単な説明】
【００２６】
【図１】第１の実施の形態に係る物体認識装置の構成を示すブロック図である。
【図２】評価値マップの一例を示す図である。
【図３】露光時間及びゲインの算出を説明するための図である。
【図４】第１の実施の形態の物体認識装置における物体認識処理ルーチンの内容を示すフローチャートである。
【図５】画像特性の抽出及び評価値算出の流れを示すイメージ図である。
【図６】第２の実施の形態に係る物体認識装置の構成を示すブロック図である。
【図７】急激な車両運動による評価値の変動を説明するための図である。
【図８】第２の実施の形態の物体認識装置における物体認識処理ルーチンの内容を示すフローチャートである。
【図９】画像特性の他の例を説明するための図である。
【図１０】画像特性の他の例を説明するための図である。
【発明を実施するための形態】
【００２７】
以下、図面を参照して本発明の実施の形態を詳細に説明する。本実施の形態では、車両に搭載された物体認識装置に本発明を適用した場合について説明する。
【００２８】
図１に示すように、第１の実施の形態に係る物体認識装置１０は、認識対象領域を含む範囲を撮像する撮像装置１２と、撮像装置１２から出力される撮像画像に基づいて特定の物体を認識する物体認識処理ルーチンを実行するコンピュータ１６と、コンピュータ１６での処理結果を表示するための表示装置１８と、を備えている。
【００２９】
撮像装置１２は、認識対象領域を含む範囲を設定された露光時間で撮像し、画像信号を生成する撮像部（図示省略）と、撮像部で生成されたアナログ信号を設定されたゲインで増幅するゲイン調整部（図示省略）と、ゲイン調整されたアナログ信号である画像信号をデジタル信号に変換するＡ／Ｄ変換部（図示省略）と、Ａ／Ｄ変換された画像信号を一時的に格納するための画像メモリ（図示省略）とを備えている。
【００３０】
コンピュータ１６は、物体認識装置１０全体の制御を司るＣＰＵ、後述する物体認識処理ルーチンのプログラム等及び各種情報を記憶した記憶媒体としてのＲＯＭまたはＨＤＤ、ワークエリアとしてデータを一時格納するＲＡＭ、及びこれらを接続するバスを含んで構成されている。このような構成の場合には、各構成要素の機能を実現するためのプログラムをＲＯＭやＨＤＤ等の記憶媒体に記憶しておき、これをＣＰＵが実行することによって、各機能が実現されるようにする。
【００３１】
このコンピュータ１６をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、図１に示すように、撮像装置１２で撮像されコンピュータ１６へ入力された撮像画像に含まれる特定の物体を示す画像を認識する特定物体認識部２０と、特定物体認識部２０での認識結果に基づいて、認識の容易な画像が得られるように撮像装置１２を制御する撮像制御部４０と、を含んだ構成で表すことができる。
【００３２】
特定物体認識部２０は、さらに、入力された撮像画像から所定領域のウインドウ画像を抽出するウインドウ画像抽出部２２と、ウインドウ画像抽出部２２により抽出されたウインドウ画像と識別モデルとを比較することにより、ウインドウ画像が特定の物体か否かを認識する認識部２４と、識別モデルが記憶された識別モデル記憶部２６と、認識結果を撮像画像に重畳して表示するように表示装置１８を制御する表示制御部２８と、を含んだ構成で表すことができる。
【００３３】
ウインドウ画像抽出部２２は、撮像画像から予め定められたサイズのウインドウ（探索ウインドウと呼称）を１ステップにつき、予め定められた移動量（探索ステップと呼称）だけ移動させながら画像を切り取る。ここでは、切り取った画像をウインドウ画像といい、ウインドウ画像のサイズ（すなわち探索ウインドウのサイズ）をウインドウサイズと呼称する。ウインドウサイズは様々なサイズの物体を認識するために複数種設定されており、ウインドウ画像抽出部２２は、設定されている全てのウインドウサイズの探索ウインドウを用いてウインドウ画像を抽出する。また、ウインドウ画像抽出部２２は、抽出したウインドウ画像を予め設定された画素数の画像（例えば、横１６×縦３２画素の画像）に変換する。
【００３４】
認識部２４は、例えば、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）やＨＯＧ（Ｈｉｓｔｏｇｒａｍ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔ）等の手法を用いて、ウインドウ画像が特定の物体を示す画像であるか否かを認識する。
【００３５】
識別モデル記憶部２６には、認識部２４による認識の手法に応じて予め学習により生成された識別モデルが記憶されている。なお、ここでは、識別モデル記憶部２６をコンピュータ１６に設ける場合について説明するが、他の外部装置の記憶手段に識別モデルを記憶しておき、ネットワークや通信手段を介して他の外部装置に接続して、他の外部装置の記憶手段に記憶された識別モデルを読み込むような構成としてもよい。
【００３６】
撮像制御部４０は、さらに、認識部２４で特定の物体を示す画像と認識されたウインドウ画像の画像特性を抽出する画像特性抽出部４２と、画像特性抽出部４２で抽出されたウインドウ画像の画像特性及び予め定めた評価値マップに基づいて、ウインドウ画像の認識の容易さを示す評価値を算出する評価値算出部４４と、評価値算出部４４で算出された評価値に基づいて、撮像装置に設定された露光時間及びゲインを制御するための撮像制御値を算出して、撮像装置１２に出力する撮像制御値算出部４６と、を含んだ構成で表すことができる。
【００３７】
画像特性抽出部４２は、認識部２４で特定の物体を示す画像と認識されたウインドウ画像、そのウインドウ画像の大きさ、撮像画像上でのウインドウ画像の位置、認識された物体の属性（歩行者、二輪車、車両等）を取得する。なお、ここでは、認識結果に含まれる情報の１つとしてウインドウ画像を取得することとするが、特定の物体を示す画像及びその周辺画像を含む部分画像を取得すればよい。また、周辺画像も含めて取得するのは、背景の複雑さ等によっても認識の容易さが異なるため、背景も含めた画像を用いて認識の容易さを評価するためである。
【００３８】
また、画像特性抽出部４２は、取得されたウインドウ画像からエッジを検出し、検出されたエッジの方向別の頻度を示すエッジ方向のヒストグラムを生成する。一般的に、認識に適した画像には様々な方向のエッジが適度に含まれていることが予想されるため、ここでは、エッジ方向のヒストグラムの頻度の平均及び頻度の分散をウインドウ画像の特性として抽出する。
【００３９】
評価値算出部４４は、予め定めた評価値マップを用いて、画像特性抽出部４２で抽出されたウインドウ画像の画像特性に対する評価値を算出する。図２に示すように、評価値マップは、画像特性と評価値との関係を定めたもので、評価値は画像が認識に適しているほど高い。評価値マップは、認識結果が既知の画像及びその画像特性を、横軸に頻度の平均、縦軸に頻度の分散を取ったグラフに複数プロットし、良好に撮像された画像の画像特性が多くプロットされている領域は評価値を高くし、画像のぶれやノイズが生じている画像の画像特性が多くプロットされている領域は評価値を低くして、複数段階の領域を設定することで作成することができる。例えば、図２に示すように、中心部ほど評価値が高く、外側へ向かうほど評価値が低い等高線のマップを作成することができる。
【００４０】
この評価値マップを用いて、画像特性と評価値との関係をより詳細に説明する。例えば、同図中Ａに示す位置に画像特性がプロットされたウインドウ画像は、認識に適した評価値の高い画像であるとする。この評価値の高い画像と同じ明るさで撮影された画像であっても、露光時間が長くゲインが低いほど、車両運動の影響を受けて強いぶれが生じた画像となり、認識には適さない評価値の低い画像となる。このような画像から検出されるエッジの量は少なく、またぶれの方向性によりエッジ方向のヒストグラムに偏りが生じる。すなわち、頻度の平均は小さくなり、頻度の分散は大きくなる。この場合、同図中Ｂに示す位置にプロットされる。一方、評価値の高い画像と同じ明るさで撮影された画像であっても、露光時間が短くゲインが高いほど、画像全体のノイズが多くなり、認識には適さない評価値の低い画像となる。このような画像から検出されるエッジは様々な方向に均等にばらつくため、頻度の分散は低くなり、同図中Ｃに示す位置にプロットされる。
【００４１】
撮像制御値算出部４６は、評価値マップに基づいて、評価値が高くなるように撮像制御値として露光時間及びゲインを算出する。具体的には、図３に示すように、画像の明るさを一定に保つために、露光時間とゲインとの積が一定となるように露光時間及びゲインを変更した場合の評価値の変化を示す直線を評価値マップ上に対応させる。そして、この直線上で評価値が最大となる点に対応する露光時間及びゲインを撮像制御値として算出する。なお、露光時間とゲインとの積が一定とは、厳密に一定の場合とする場合に限らず、評価値マップにおける評価値の設定に応じて、露光時間とゲインとの積が所定値または所定値±αとなる範囲を含む。撮像制御値算出部４６は、算出した撮像制御値を撮像装置１２へ出力する。撮像装置１２では、撮像制御値算出部４６で算出された露光時間及びゲインを設定し、設定された露光時間及びゲインで撮像を行う。
【００４２】
次に、図４を参照して、第１の実施の形態の物体認識装置１０のコンピュータ１６で実行される物体認識処理ルーチンについて説明する。
【００４３】
ステップ１００で、撮像装置１２で撮像された撮像画像を取得し、次に、ステップ１０２で、撮像画像に対して例えば１６×３２画素の探索ウインドウを撮像画像の所定領域（例えば、左上角の領域）に設定し、設定した探索ウインドウを用いて、撮像画像から１６×３２画素のウインドウ画像を抽出する。
【００４４】
次に、ステップ１０４で、識別モデル記憶部２６に記憶された識別モデルを用いて、ＳＶＭやＨＯＧ等の手法を用いてウインドウ画像が特定の物体を示す画像か否かを認識する。
【００４５】
次に、ステップ１０６で、上記ステップ１０４の認識結果に基づいて、ウインドウ画像が特定の物体を示す画像か否かを判定する。肯定判定される場合には、ステップ１０８へ移行し、否定判定される場合には、処理を終了する。
【００４６】
ステップ１０８では、図５に示すように、上記ステップ１０４の認識結果として、特定の物体を示す画像と認識されたウインドウ画像、そのウインドウ画像の大きさ、撮像画像上でのウインドウ画像の位置、認識された物体の属性（歩行者、二輪車、車両等）を取得する。そして、取得されたウインドウ画像からエッジを検出し、検出されたエッジの方向別の頻度を示すエッジ方向のヒストグラムを生成する。そして、ウインドウ画像の画像特性として、エッジ方向のヒストグラムの頻度の平均及び頻度の分散を抽出する。
【００４７】
次に、ステップ１１０で、上記ステップ１０８で抽出した画像特性を、予め定めた評価値マップにプロットし、画像特性に対応した認識の容易さを示す評価値Ｅを算出する。
【００４８】
次に、ステップ１１２で、上記ステップ１１０で算出した評価値Ｅが予め定めた評価値閾値Ｅｔｈより小さいか否かを判定することにより、上記ステップ１０２で抽出されたウインドウ画像が認識に適した画像か否かを判定する。Ｅ＜Ｅｔｈの場合には、認識に適した画像ではないと判定して、ステップ１１４へ移行し、Ｅ≧Ｅｔｈの場合には、認識に適した画像であると判定して、そのまま処理を終了する。
【００４９】
ステップ１１４では、露光時間とゲインとの積が一定となるように露光時間及びゲインを変更した場合の評価値の変化を示す直線を評価値マップ上に対応させ、この直線上で評価値が最大となる点に対応する露光時間及びゲインを撮像制御値として算出し、算出した撮像制御値を撮像装置１２へ出力して、処理を終了する。
【００５０】
これにより、次のフレームの撮像画像は、評価値が高くなるように露光時間及びゲインが設定された撮像装置１２で撮像された認識に適した撮像画像となる。
【００５１】
また、上記ステップ１０２のウインドウ画像の抽出処理では、探索ウインドウの各サイズについて撮像画像全体を走査しながらウインドウ画像を抽出し、上記ステップ１０４で抽出された各ウインドウ画像について認識処理を行うため、１つの撮像画像から複数の特定の物体を示すウインドウ画像が認識される場合もある。その場合には、ウインドウ画像毎に上記ステップ１０８及びステップ１１０の処理を実行して評価値Ｅを算出し、いずれか１つの評価値Ｅが評価値閾値Ｅｔｈより小さい場合に、上記ステップ１１２で肯定判定されるようにしたり、全ての評価値Ｅが評価値閾値Ｅｔｈより小さい場合に、上記ステップ１１２で肯定判定されるようにしたりすることができる。
【００５２】
以上説明したように、第１の実施の形態の物体認識装置によれば、予め定めた画像の特性と認識の容易さを示す評価値との関係を示す評価値マップに、特定の物体を示す画像であると認識されたウインドウ画像の画像特性をプロットして評価値を算出し、画像の明るさを保ったままこの評価値が最大となる露光時間及びゲインを算出するため、画像のぶれやノイズを低減して、特定の物体を認識するために認識に適した撮像画像を得ることができる。
【００５３】
なお、第１の実施の形態では、評価値が評価値閾値より小さい場合に撮像制御値を算出する場合について説明たが、上記ステップ１１２の処理を省略して、評価値の閾値判定を行うことなく、評価値が高くなるように撮像制御値を算出するようにしてもよい。
【００５４】
次に、第２の実施の形態について説明する。車両に急激な運動が生じた場合に撮像制御の処理を行う点が第１の実施の形態とは異なる。なお、第１の実施の形態の物体認識装置１０と同一の構成については、同一の符号を付して説明を省略する。
【００５５】
図６に示すように、第２の実施の形態の物体認識装置２１０は、撮像装置１２と、加速度センサやヨーレートセンサ等の車両の運動を検出する車両運動センサ１４と、コンピュータ２１６と、表示装置１８と、を備えている。コンピュータ２１６をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、図６に示すように、撮像装置１２で撮像されコンピュータ２１６へ入力された撮像画像に含まれる特定の物体を示す画像を認識する特定物体認識部２０と、急激な車両運動が検出された場合に、特定物体認識部２０での認識結果に基づいて、認識に適した画像が得られるように撮像装置１２を制御する撮像制御部２４０と、を含んだ構成で表すことができる。
【００５６】
撮像制御部２４０は、さらに、画像特性抽出部４２と、評価値算出部４４と、認識部２４での認識結果に基づいて、認識の信頼度を算出する信頼度算出部４８と、評価値算出部４４で算出された評価値、及び信頼度算出部４８で算出された信頼度を時系列に所定の記憶領域に記憶するように制御する時系列記憶制御部５０と、撮像制御を開始するか否かを判定する制御開始判定部５２と、時系列に記憶された評価値に基づいて、評価値マップを更新する評価値マップ更新部５４と、撮像制御値算出部４６と、を含んだ構成で表すことができる。
【００５７】
信頼度算出部４８は、認識部２４での認識結果に基づいて、認識結果が正しい場合に高く、画像のボケなどによって誤認識の可能性が生じている場合に低くなるような認識の信頼度Ｒを算出する。認識部２４でＳＶＭやＨＯＧ等の手法を用いて、ウインドウ画像と識別モデルとを比較して特定の対象物らしさを示すスコアを算出し、このスコアが所定の閾値以上か否かにより認識を行う場合には、このスコアをそのまま信頼度Ｒとして用いることができる。また、複数の判別器を多段に構成して認識を行う手法では、何段目の判別器まで判別できたか等に応じて、信頼度Ｒを算出するようにしてもよい。
【００５８】
時系列記憶制御部５０は、特定の物体を示す画像と認識されたウインドウ画像、そのウインドウ画像の大きさ、撮像画像上でのウインドウ画像の位置、認識された物体の属性（歩行者、二輪車、車両等）等の認識結果と、評価値算出部４４で算出された評価値Ｅ、及び信頼度算出部４８で算出された信頼度Ｒとを対応付けて、時系列に所定の記憶領域に記憶するように制御する。物体の属性が同じ場合には、画像上での位置や大きさの変化の程度が最小となるように追跡を行って、時系列での対応付けを行う。例えば、物体の属性毎の動きの速度やパターンの情報を予め保持しておき、保持した情報を参照して物体の属性に応じて追跡を行う。また、追跡の際に物体の動きをカルマンフィルタなどによって予測してもよい。また、時系列の対応付けの際に、対応付けられた物体同士の位置の誤差の総和が最小となるようにＲＡＮＳＡＣ（Ｒａｎｄｏｍ Ｓａｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ）等の手法を用いて最適化を行ってもよい。
【００５９】
制御開始判定部５２は、所定の記憶領域に記憶された評価値Ｅの時系列の変化量ΔＥが予め定めた評価値変化量閾値ΔＥｔｈを超えたか否か、所定の記憶領域に記憶された信頼度Ｒの時系列の変化量であって信頼度Ｒが低下する方向への変化量ΔＲが予め定めた信頼度変化量閾値ΔＲｔｈを超えたか否か、及び車両運動センサ１４により検出された検出値が示す車両の運動の大きさＭが予め定めた運動閾値Ｍｔｈより大きいか否かにより、撮像制御を開始するか否かを判定する。図７に示すように、急激な車両運動が生じた際には、評価値Ｅにも大きな変動が生じる。また同時に信頼度Ｒも低下する傾向が強い。急激な車両運動は、撮像画像にぶれが生じる程度の運動であり、例えば、車両の右左折時の運動を想定し、このような急激な車両運動を検出可能な閾値として運動閾値Ｍｔｈを定めておく。また、評価値変化量閾値ΔＥｔｈ及び信頼度変化量閾値ΔＲｔｈについても、同様の急激な車両運動が生じた場合の評価値及び信頼度の変化に基づいて、適切な値を定めておく。
【００６０】
また、評価値Ｅの変化、信頼度Ｒの変化、及び車両の運動の大きさＭのいずれか１つを用いても急激な車両運動を検出することはできるが、物体や背景画像の変化などにより、車両の運動の大きさＭが運動閾値Ｍｔｈを超えなくても評価値Ｅが大きく変化する場合や、評価値Ｅに変化はなくても信頼度Ｒが低下する場合等が生じる可能性があるため、ここでは、これら３つの値を統合的に用いて、適切な制御開始タイミングを判定する。
【００６１】
評価値マップ更新部５４は、所定の記憶領域に記憶された時系列の評価値Ｅに基づいて、評価値マップの形状を拡縮、変形、回転等して、急激な車両運動により撮像制御を開始することになった事象に対応して評価値マップを更新する。具体的には、評価値Ｅのばらつきが大きい場合には評価値マップを拡大したり、評価値Ｅに偏りがある場合には、その偏った方向へのみ拡大（変形）したりする。撮像制御値算出部４６は、評価値マップ更新部５４で更新された評価値マップを用いて撮像制御値を算出する。
【００６２】
次に、図８を参照して、第２の実施の形態の物体認識装置２１０のコンピュータ２１６で実行される物体認識処理ルーチンについて説明する。なお、第１の実施の形態と同一の処理については、同一の符号を付して説明を省略する。
【００６３】
ステップ１００〜ステップ１１０を経て、画像特性に対応した認識の容易さを示す評価値Ｅを算出する。
【００６４】
次に、ステップ２５０で、上記ステップ１０４での認識結果に基づいて、認識結果が正しい場合に高く、画像のボケなどによって誤認識の可能性が生じている場合に低くなる認識の信頼度Ｒを算出する。
【００６５】
次に、ステップ２５２で、特定の物体を示す画像と認識されたウインドウ画像、そのウインドウ画像の大きさ、撮像画像上でのウインドウ画像の位置、認識された物体の属性（歩行者、二輪車、車両等）等の認識結果と、上記ステップ１１０ で算出された評価値Ｅ、及び上記ステップ２５０で算出された信頼度Ｒとを対応付けて、時系列に所定の記憶領域に記憶するように制御する。
【００６６】
次に、ステップ２５４で、車両運動センサ１４で検出された検出値を取得し、次に、ステップ２５６で、所定の記憶領域に記憶された評価値Ｅの時系列の変化量ΔＥが予め定めた評価値変化量閾値ΔＥｔｈを超えたか否か、所定の記憶領域に記憶された信頼度Ｒの時系列の変化量であって信頼度Ｒが低下する方向への変化量ΔＲが予め定めた信頼度変化量閾値ΔＲｔｈを超えたか否か、及び車両運動センサ１４により検出された検出値が示す車両の運動の大きさＭが予め定めた運動閾値Ｍｔｈより大きいか否かにより、撮像制御を開始するか否かを判定する。撮像制御を開始する場合には、ステップ２５８へ移行し、撮像制御を開始しない場合には、処理を終了する。
【００６７】
ステップ２５８では、所定の記憶領域に記憶された時系列の評価値Ｅに基づいて、評価値マップの形状を拡縮、変形、回転等して、急激な車両運動により撮像制御を開始することになった事象に対応して評価値マップを更新し、次に、ステップ２６０で、更新された評価値マップを用いて撮像制御値を算出する。
【００６８】
以上説明したように、第２の実施の形態の物体認識装置によれば、予め定めた画像の特性と認識の容易さを示す評価値との関係を示す評価値マップに、特定の物体を示す画像であると認識されたウインドウ画像の画像特性をプロットして評価値を算出し、画像の明るさを保ったままこの評価値が最大となる露光時間及びゲインを算出するため、画像のぶれやノイズを低減して、特定の物体を認識するために認識に適した撮像画像を得ることができる。また、急激な車両運動を検出して撮像制御を開始するか否かを判定するため、撮像制御を行う必要がない場合の不要な処理を抑制することができる。
【００６９】
なお、上記第１及び第２の実施の形態では、画像特性として、エッジ方向のヒストグラムの頻度の平均及び頻度の分散を用いる場合について説明したが、これに限定されない。例えば、最大の頻度を持つエッジ方向や頻度の最大値と最小値との比などを含んでもよく、頻度の平均及び頻度の分散とあわせて高次元の評価値マップを構成するようにしてもよい。
【００７０】
また、図９に示すように、特定の物体を示す画像及びその周辺画像を含む部分画像（本実施の形態では、ウインドウ画像）全体のパワースペクトルの総和と部分画像の高周波成分のパワースペクトルの総和との比を画像特性として用いてもよい。撮像画像に生じるノイズは、撮像シーンに依存しない高周波成分として撮像画像に加えられるため、フーリエ変換などの周波数変換によってノイズ量を推定することができる。そこで、部分画像を周波数変換した後のパワースペクトルのうち、部分画像全体のパワースペクトルの総和と部分画像の高周波成分のパワースペクトルの総和との比を、認識の容易さを示す評価値と対応させるための画像特性として用いることができる。
【００７１】
また、図１０に示すように、部分画像の輝度値のヒストグラムの最大値に対する最小値の比を画像特性として用いてもよい。撮像画像に生じるノイズは、輝度値に対して均等に加えられるため、最大の頻度を持つ輝度値におけるノイズの影響よりも最小の頻度を持つ輝度値におけるノイズの影響の方が大きくなる。そこで、部分画像の輝度値のヒストグラムの最大値に対する最小値の比を算出することでノイズの量を推定することができるため、この比を画像特性として用いることができる。
【００７２】
また、認識部での認識の手法が、エッジ方向のヒストグラムを用いるものであれば、画像特性抽出部において、認識部で得たエッジ方向のヒストグラムを再利用して画像特性を抽出するようにしてもよい。これにより、計算量を削減することができる。
【符号の説明】
【００７３】
１０、２１０ 物体認識装置
１２ 撮像装置
１４ 車両運動センサ
１６、２１６ コンピュータ
１８ 表示装置
２０ 特定物体認識部
２２ ウインドウ画像抽出部
２４ 認識部
２６ 識別モデル記憶部
２８ 表示制御部
４０、２４０ 撮像制御部
４２ 画像特性抽出部
４４ 評価値算出部
４６ 撮像制御値算出部
４８ 信頼度算出部
５０ 時系列記憶制御部
５２ 制御開始判定部
５４ 評価値マップ更新部
【特許請求の範囲】
【請求項１】
撮像手段により設定された露光時間で撮像され蓄積された電荷を設定されたゲインで増幅することにより得られた撮像画像に含まれる特定の物体を示す画像を認識する認識手段と、
前記認識手段により認識された特定の物体を示す画像及び該特定の物体を示す画像の周辺画像を含む部分画像の特性を抽出する抽出手段と、
予め定めた画像の特性と前記認識手段による認識の容易さとの関係、及び前記抽出手段により抽出された前記部分画像の特性に基づいて、前記認識手段で認識された前記特定の物体を示す画像の認識の容易さを示す評価値を算出する評価値算出手段と、
前記評価値算出手段で算出される評価値が高くなり、かつ前記露光時間と前記ゲインとの積が所定値となるように前記露光時間及び前記ゲインを制御する撮像制御手段と、
を含む物体認識装置。
【請求項２】
前記撮像制御手段は、前記評価値算出手段により算出された評価値が予め定めた評価値閾値より低い場合に、前記露光時間及び前記ゲインを制御する請求項１記載の物体認識装置。
【請求項３】
前記認識手段の認識結果に基づいて、前記特定の物体を示す画像の特定の物体らしさを認識の信頼度として算出する信頼度算出手段を含み、
前記撮像制御手段は、前記信頼度算出手段により算出された信頼度が予め定めた信頼度閾値より低い場合に、前記露光時間及び前記ゲインを制御する請求項１または請求項２項記載の物体認識装置。
【請求項４】
前記評価値算出手段により算出された評価値を時系列に記憶手段に記憶するように制御する記憶制御手段を含み、
前記撮像制御手段は、前記記憶制御手段により前記記憶手段に記憶された時系列の評価値に基づいて、前記評価値の変化量が予め定めた評価値変化量閾値より大きい場合に、前記露光時間及び前記ゲインを制御する請求項１〜請求項３のいずれか１項記載の物体認識装置。
【請求項５】
前記認識手段の認識結果に基づいて、前記特定の物体を示す画像の特定の物体らしさを認識の信頼度として算出する信頼度算出手段を含み、
前記記憶制御手段は、前記信頼度算出手段により算出された信頼度を時系列に前記記憶手段に記憶するように制御し、
前記撮像制御手段は、前記記憶制御手段により前記記憶手段に記憶された時系列の信頼度に基づいて、前記信頼度が低下する方向に変化した変化量が予め定めた信頼度変化量閾値より大きい場合に、前記露光時間及び前記ゲインを制御する請求項１〜請求項４のいずれか１項記載の物体認識装置。
【請求項６】
前記撮像手段が搭載された車両の運動を検出する検出手段を含み、
前記撮像制御手段は、前記検出手段により検出された車両の運動の大きさが予め定めた運動閾値より大きい場合に、前記露光時間及び前記ゲインを制御する請求項１〜請求項５のいずれか１項記載の物体認識装置。
【請求項７】
前記記憶制御手段により前記記憶手段に記憶された時系列の評価値に基づいて、前記算出手段で評価値を算出する際に用いる前記予め定めた画像の特性と前記認識手段による認識の容易さとの関係を更新する更新手段を含む請求項１〜請求項６のいずれか１項記載の物体認識装置。
【請求項８】
前記部分画像の特性を、前記部分画像のエッジ方向のヒストグラムの頻度の平均及び頻度の分散、前記部分画像のパワースペクトルの総和と前記部分画像の高周波成分のパワースペクトルの総和との比、または前記部分画像の輝度値のヒストグラムの最大値と最小値との比とした請求項１〜請求項７のいずれか１項記載の物体認識装置。
【請求項９】
前記認識手段は、前記撮像画像のエッジ方向のヒストグラムと予め記憶した特定の物体を示す画像のエッジ方向のヒストグラムとを比較することにより特定の物体を示す画像を認識し、
前記抽出手段は、前記認識手段で得られた部分画像のエッジ方向のヒストグラムを用いて、エッジ方向のヒストグラムの頻度の平均及び頻度の分散を前記部分画像の特性として抽出する
請求項１〜請求項８のいずれか１項記載の物体認識装置。
【請求項１０】
コンピュータを、
撮像手段により設定された露光時間で撮像され蓄積された電荷を設定されたゲインで増幅することにより得られた撮像画像に含まれる特定の物体を示す画像を認識する認識手段、
前記認識手段により認識された特定の物体を示す画像及び該特定の物体を示す画像の周辺画像を含む部分画像の特性を抽出する抽出手段、
予め定めた画像の特性と前記認識手段による認識の容易さとの関係、及び前記抽出手段により抽出された前記部分画像の特性に基づいて、前記認識手段で認識された前記特定の物体を示す画像の認識の容易さを示す評価値を算出する評価値算出手段、及び
前記評価値算出手段で算出される評価値が高くなり、かつ前記露光時間と前記ゲインとの積が所定値となるように前記露光時間及び前記ゲインを制御する撮像制御手段
として機能させるための物体認識プログラム。
【請求項１１】
コンピュータを、請求項１〜請求項９のいずれか１項記載の物体認識装置を構成する各手段として機能させるための物体認識プログラム。
【請求項１】
撮像手段により設定された露光時間で撮像され蓄積された電荷を設定されたゲインで増幅することにより得られた撮像画像に含まれる特定の物体を示す画像を認識する認識手段と、
前記認識手段により認識された特定の物体を示す画像及び該特定の物体を示す画像の周辺画像を含む部分画像の特性を抽出する抽出手段と、
予め定めた画像の特性と前記認識手段による認識の容易さとの関係、及び前記抽出手段により抽出された前記部分画像の特性に基づいて、前記認識手段で認識された前記特定の物体を示す画像の認識の容易さを示す評価値を算出する評価値算出手段と、
前記評価値算出手段で算出される評価値が高くなり、かつ前記露光時間と前記ゲインとの積が所定値となるように前記露光時間及び前記ゲインを制御する撮像制御手段と、
を含む物体認識装置。
【請求項２】
前記撮像制御手段は、前記評価値算出手段により算出された評価値が予め定めた評価値閾値より低い場合に、前記露光時間及び前記ゲインを制御する請求項１記載の物体認識装置。
【請求項３】
前記認識手段の認識結果に基づいて、前記特定の物体を示す画像の特定の物体らしさを認識の信頼度として算出する信頼度算出手段を含み、
前記撮像制御手段は、前記信頼度算出手段により算出された信頼度が予め定めた信頼度閾値より低い場合に、前記露光時間及び前記ゲインを制御する請求項１または請求項２項記載の物体認識装置。
【請求項４】
前記評価値算出手段により算出された評価値を時系列に記憶手段に記憶するように制御する記憶制御手段を含み、
前記撮像制御手段は、前記記憶制御手段により前記記憶手段に記憶された時系列の評価値に基づいて、前記評価値の変化量が予め定めた評価値変化量閾値より大きい場合に、前記露光時間及び前記ゲインを制御する請求項１〜請求項３のいずれか１項記載の物体認識装置。
【請求項５】
前記認識手段の認識結果に基づいて、前記特定の物体を示す画像の特定の物体らしさを認識の信頼度として算出する信頼度算出手段を含み、
前記記憶制御手段は、前記信頼度算出手段により算出された信頼度を時系列に前記記憶手段に記憶するように制御し、
前記撮像制御手段は、前記記憶制御手段により前記記憶手段に記憶された時系列の信頼度に基づいて、前記信頼度が低下する方向に変化した変化量が予め定めた信頼度変化量閾値より大きい場合に、前記露光時間及び前記ゲインを制御する請求項１〜請求項４のいずれか１項記載の物体認識装置。
【請求項６】
前記撮像手段が搭載された車両の運動を検出する検出手段を含み、
前記撮像制御手段は、前記検出手段により検出された車両の運動の大きさが予め定めた運動閾値より大きい場合に、前記露光時間及び前記ゲインを制御する請求項１〜請求項５のいずれか１項記載の物体認識装置。
【請求項７】
前記記憶制御手段により前記記憶手段に記憶された時系列の評価値に基づいて、前記算出手段で評価値を算出する際に用いる前記予め定めた画像の特性と前記認識手段による認識の容易さとの関係を更新する更新手段を含む請求項１〜請求項６のいずれか１項記載の物体認識装置。
【請求項８】
前記部分画像の特性を、前記部分画像のエッジ方向のヒストグラムの頻度の平均及び頻度の分散、前記部分画像のパワースペクトルの総和と前記部分画像の高周波成分のパワースペクトルの総和との比、または前記部分画像の輝度値のヒストグラムの最大値と最小値との比とした請求項１〜請求項７のいずれか１項記載の物体認識装置。
【請求項９】
前記認識手段は、前記撮像画像のエッジ方向のヒストグラムと予め記憶した特定の物体を示す画像のエッジ方向のヒストグラムとを比較することにより特定の物体を示す画像を認識し、
前記抽出手段は、前記認識手段で得られた部分画像のエッジ方向のヒストグラムを用いて、エッジ方向のヒストグラムの頻度の平均及び頻度の分散を前記部分画像の特性として抽出する
請求項１〜請求項８のいずれか１項記載の物体認識装置。
【請求項１０】
コンピュータを、
撮像手段により設定された露光時間で撮像され蓄積された電荷を設定されたゲインで増幅することにより得られた撮像画像に含まれる特定の物体を示す画像を認識する認識手段、
前記認識手段により認識された特定の物体を示す画像及び該特定の物体を示す画像の周辺画像を含む部分画像の特性を抽出する抽出手段、
予め定めた画像の特性と前記認識手段による認識の容易さとの関係、及び前記抽出手段により抽出された前記部分画像の特性に基づいて、前記認識手段で認識された前記特定の物体を示す画像の認識の容易さを示す評価値を算出する評価値算出手段、及び
前記評価値算出手段で算出される評価値が高くなり、かつ前記露光時間と前記ゲインとの積が所定値となるように前記露光時間及び前記ゲインを制御する撮像制御手段
として機能させるための物体認識プログラム。
【請求項１１】
コンピュータを、請求項１〜請求項９のいずれか１項記載の物体認識装置を構成する各手段として機能させるための物体認識プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１１−１８８０９４（Ｐ２０１１−１８８０９４Ａ）
【公開日】平成２３年９月２２日（２０１１．９．２２）
【国際特許分類】
【出願番号】特願２０１０−４９２２４（Ｐ２０１０−４９２２４）
【出願日】平成２２年３月５日（２０１０．３．５）
【出願人】（０００００３６０９）株式会社豊田中央研究所 (4,200)
【Ｆターム（参考）】
【公開日】平成２３年９月２２日（２０１１．９．２２）
【国際特許分類】
【出願日】平成２２年３月５日（２０１０．３．５）
【出願人】（０００００３６０９）株式会社豊田中央研究所 (4,200)
【Ｆターム（参考）】
[ Back to top ]