対象物識別装置及びプログラム
【課題】対象物の識別に適した画像を適切に選択して、誤判定を低減する。
【解決手段】撮像装置１２により異なる露光条件で撮像された複数の撮像画像を取得し、ウインドウ画像抽出部２２で、撮像画像の各々に判定枠を設定し、判定枠を走査しながらウインドウ画像を抽出する。ウインドウ画像選択部２４で、撮像画像の同一位置から抽出された同一サイズのウインドウ画像の各々から、ウインドウ画像の各々の輝度分布の分散を求め、輝度分布の分散が所定値以上のウインドウ画像を選択する。識別部２８で、選択されたウインドウ画像と識別モデル記憶部２６に記憶された識別モデルとに基づいて、ウインドウ画像が対象物を表す画像か否かを識別する。
【解決手段】撮像装置１２により異なる露光条件で撮像された複数の撮像画像を取得し、ウインドウ画像抽出部２２で、撮像画像の各々に判定枠を設定し、判定枠を走査しながらウインドウ画像を抽出する。ウインドウ画像選択部２４で、撮像画像の同一位置から抽出された同一サイズのウインドウ画像の各々から、ウインドウ画像の各々の輝度分布の分散を求め、輝度分布の分散が所定値以上のウインドウ画像を選択する。識別部２８で、選択されたウインドウ画像と識別モデル記憶部２６に記憶された識別モデルとに基づいて、ウインドウ画像が対象物を表す画像か否かを識別する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象物識別装置及びプログラムに係り、特に、撮像された画像から対象物を識別する対象物識別装置及びプログラムに関する。
【背景技術】
【０００２】
近年、車載カメラで撮像した車両周辺の映像を画像処理し、特定の対象物を識別してドライバに識別結果を提示する対象物識別装置を搭載する車両が増加している。このような対象物識別装置においては、対象物を識別し易い画像が得られることが課題となる。
【０００３】
そこで、車載用画像認識装置において、カメラのダイナミックレンジが不足することによって生じる画像の白とびや黒つぶれ等の問題を、異なる露光時間で複数の画像を撮像し、複数の画像の同一の部分画像についてコントラストを比較し、コントラストの最も良好な部分画像を選択した合成画像を生成して、画像認識を行う車載用画像認識装置が提案されている（例えば、特許文献１参照）。
【０００４】
また、カメラの露出制御が不適切なために生じる認識性能の低下を防止するために、ブラケット撮影を行う認証装置が提案されている（例えば、特許文献２参照）。特許文献２に記載の認証装置では、ブラケット撮影の枚数を増加することによる処理時間の増大を防止するために、撮像画像から特徴画像を検出して露出補正値を生成し、ブラケット撮影の第１の撮影用の第１の露出制御値を演算し、第１の露出制御値及び露出補正値に基づいて、第２の撮影用の第２の露出制御値を演算している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−１７７２５０号公報
【特許文献２】特開２００８−５０８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１の技術では、露光時間の異なる部分画像を１枚の画像に合成するため、部分画像と部分画像との境界に階調の不連続点である境界線が生じる、という問題がある。これを、部分画像の切り出し位置を適切に設定することにより解消することが考えられるが、画像中のどこに、どれくらいの大きさで対象物が撮像されているかが不明の場合には適用することができない。また、特許文献１の技術では、部分画像のコントラストに応じた重み付けにより合成画像を得ることで、境界線を目立たなくする処理を行っているが、この処理により、合成画像のコントラストが低下し、対象物の識別に適した画像にならない、という問題がある。
【０００７】
また、特許文献２の技術は、画面中央に撮像された顔画像を認証する装置であるため、画像上での対象物の位置及び大きさが特定されているが、これらが特定されていない状態では、露出補正値を演算することができないため、第２の露出制御値を演算することができない、という問題がある。また、画像上に複数の対象物が存在し、それぞれの最適な露出制御値が異なる場合にも、第２の露出制御値をどのように決定すればよいかが明確でない、という問題がある。
【０００８】
本発明は、上記の問題点を解決するためになされたもので、対象物の識別に適した画像を適切に選択して、誤判定を低減することができる対象物識別装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、第１の発明の対象物識別装置は、各々異なる露光条件で撮像された複数の撮像画像を取得する取得手段と、前記取得手段により取得した複数の撮像画像の各々に判定枠を設定し、該判定枠の位置及びサイズを変更しながら判定枠内の画像をウインドウ画像として抽出する抽出手段と、前記複数の撮像画像の各々の同一位置から抽出された同一サイズのウインドウ画像の各々から、該ウインドウ画像の各々の輝度分布に基づいて、対象物を識別し易いウインドウ画像を選択するウインドウ画像選択手段と、前記ウインドウ画像選択手段により選択されたウインドウ画像と前記対象物を識別するために予め生成された識別モデルとに基づいて、前記ウインドウ画像が前記対象物を表す画像か否かを識別する識別手段と、を含んで構成されている。
【００１０】
第１の発明の対象物識別装置よれば、取得手段が、各々異なる露光条件で撮像された複数の撮像画像を取得し、抽出手段が、取得手段により取得した複数の撮像画像の各々に判定枠を設定し、判定枠の位置及びサイズを変更しながら判定枠内の画像をウインドウ画像として抽出する。判定枠の位置及びサイズを変更することにより、撮像画像上の様々な位置に存在する様々なサイズの対象物を検出することができる。
【００１１】
そして、ウインドウ画像選択手段が、複数の撮像画像の各々の同一位置から抽出された同一サイズのウインドウ画像の各々から、ウインドウ画像の各々の輝度分布に基づいて、対象物を識別し易いウインドウ画像を選択する。対象物を識別し易い画像とは、黒つぶれや白とび等が生じていない画像であるので、ウインドウ画像の輝度分布に基づいて、黒つぶれや白とび等が生じていないウインドウ画像を選択する。そして、識別手段が、ウインドウ画像選択手段により選択されたウインドウ画像と対象物を識別するために予め生成された識別モデルとに基づいて、ウインドウ画像が対象物を表す画像か否かを識別する。
【００１２】
このように、異なる露光条件で撮像された複数の撮像画像の同一位置から同一サイズのウインドウ画像を抽出し、ウインドウ画像の各々の輝度分布に基づいて、対象物を識別し易いウインドウ画像を選択するため、対象物の識別に適した画像を適切に選択して、誤判定を低減することができる。
【００１３】
また、第１の発明において、前記取得手段は、投光時に各々異なる露光条件で撮像された複数の撮像画像、及び非投光時に前記各々異なる露光条件で撮像された複数の撮像画像を取得し、前記取得手段により取得された同一の露光条件の投光時の撮像画像と非投光時の撮像画像との差分画像を生成する生成手段を含み、前記抽出手段は、前記差分画像の各々からウインドウ画像を抽出することができる。これにより、対象物を歩行者等の自発光しない物体とする場合に、街灯や対向車のライト等の他の発光体による照明成分を除外して、対象物の識別精度を向上させることができる。
【００１４】
また、第２の発明の対象物識別装置は、各々異なる露光条件で撮像された複数の撮像画像を取得する取得手段と、前記取得手段により取得した複数の撮像画像の各々から、判定枠のサイズが小さいほど明るい撮像画像を選択する撮像画像選択手段と、前記撮像画像選択手段により選択された撮像画像に前記判定枠を設定し、該判定枠の位置を変更しながら判定枠内の画像をウインドウ画像として抽出する抽出手段と、前記抽出手段により抽出されたウインドウ画像と前記対象物を識別するために予め生成された識別モデルとに基づいて、前記ウインドウ画像が前記対象物を表す画像か否かを識別する識別手段と、を含んで構成されている。
【００１５】
第２の発明の対象物識別装置よれば、取得手段が、各々異なる露光条件で撮像された複数の撮像画像を取得し、撮像画像選択手段が、取得手段により取得した複数の撮像画像の各々から、判定枠のサイズが小さいほど明るい撮像画像を選択する。撮像画像上で、遠くの対象物ほど暗く写る性質、及び遠くの対象物ほど小さく写る性質を利用したものである。
【００１６】
そして、抽出手段が、撮像画像選択手段により選択された撮像画像に判定枠を設定し、判定枠の位置を変更しながら判定枠内の画像をウインドウ画像として抽出し、識別手段が、抽出手段により抽出されたウインドウ画像と対象物を識別するために予め生成された識別モデルとに基づいて、ウインドウ画像が対象物を表す画像か否かを識別する。
【００１７】
このように、判定枠のサイズが小さいほど、すなわち対象物が遠方であるほど明るい画像を選択するため、対象物の識別に適した画像を適切に選択して、誤判定を低減することができる。
【００１８】
また、第２の発明において、前記取得手段は、投光時に各々異なる露光条件で撮像された複数の撮像画像、及び非投光時に前記各々異なる露光条件で撮像された複数の撮像画像を取得し、前記取得手段により取得された同一の露光条件の投光時の撮像画像と非投光時の撮像画像との差分画像を生成する生成手段を含み、前記撮像画像選択手段は、前記差分画像の各々から対象物を識別し易い差分画像を選択することができる。これにより、対象物を歩行者等の自発光しない物体とする場合に、街灯や対向車のライト等の他の発光体による照明成分を除外して、対象物の識別精度を向上させることができる。
【００１９】
また、前記露光条件を、投光強度異ならせることにより異ならせたり、絞り、露光時間、及びゲインのいずれか１つを異ならせると共に、投光強度を異ならせることにより異ならせたりすることができる。これにより、より遠くに存在する対象物の識別も可能となり、また、より細かく撮像画像の明るさを異ならせることができる。
【００２０】
また、第３の発明の対象物識別プログラムは、コンピュータを、各々異なる露光条件で撮像された複数の撮像画像を取得する取得手段、前記取得手段により取得した複数の撮像画像の各々に判定枠を設定し、該判定枠の位置及びサイズを変更しながら判定枠内の画像をウインドウ画像として抽出する抽出手段、前記複数の撮像画像の各々の同一位置から抽出された同一サイズのウインドウ画像の各々から、該ウインドウ画像の各々の輝度分布に基づいて、対象物を識別し易いウインドウ画像を選択するウインドウ画像選択手段、及び前記ウインドウ画像選択手段により選択されたウインドウ画像と前記対象物を識別するために予め生成された識別モデルとに基づいて、前記ウインドウ画像が前記対象物を表す画像か否かを識別する識別手段として機能させるためのプログラムである。
【００２１】
また、第４の発明の対象物識別プログラムは、コンピュータを、各々異なる露光条件で撮像された複数の撮像画像を取得する取得手段、前記取得手段により取得した複数の撮像画像の各々から、判定枠のサイズが小さいほど明るい撮像画像を選択する撮像画像選択手段、前記撮像画像選択手段により選択された撮像画像に前記判定枠を設定し、該判定枠の位置を変更しながら判定枠内の画像をウインドウ画像として抽出する抽出手段、及び前記抽出手段により抽出されたウインドウ画像と前記対象物を識別するために予め生成された識別モデルとに基づいて、前記ウインドウ画像が前記対象物を表す画像か否かを識別する識別手段として機能させるためのプログラムである。
【００２２】
なお、本発明のプログラムを記憶する記憶媒体は、特に限定されず、ハードディスクであってもよいし、ＲＯＭであってもよい。また、ＣＤ−ＲＯＭやＤＶＤディスク、光磁気ディスクやＩＣカードであってもよい。更にまた、該プログラムを、ネットワークに接続されたサーバ等からダウンロードするようにしてもよい。
【発明の効果】
【００２３】
以上説明したように、本発明の対象物識別装置及びプログラムによれば、撮像画像に設定した判定枠から抽出されたウインドウ画像の輝度分布に基づいて、または判定枠のサイズに基づいて、対象物を識別し易い画像を選択するため、対象物の識別に適した画像を適切に選択して、誤判定を低減することができる、という効果が得られる。
【図面の簡単な説明】
【００２４】
【図１】第１の実施の形態に係る対象物識別装置の概略構成を示すブロック図である。
【図２】露光条件の異なる３種類の撮像画像の一例を示すイメージ図である。
【図３】判定枠の設定を説明するためのイメージ図である。
【図４】輝度分布に基づくウインドウ画像の選択を説明するためのイメージ図である。
【図５】第１の実施の形態に係る対象物識別装置のコンピュータにおいて実行される対象物識別処理ルーチンの内容を示すフローチャートである。
【図６】第２の実施の形態に係る対象物識別装置の概略構成を示すブロック図である。
【図７】露光条件毎の投光時の撮像画像、非投光時の撮像画像、及び差分画像の一例を示すイメージ図である。
【図８】対象物の大きさと露光条件との関係を説明するためのイメージ図である。
【図９】第２の実施の形態に係る対象物識別装置のコンピュータにおいて実行される対象物識別処理ルーチンの内容を示すフローチャートである。
【発明を実施するための形態】
【００２５】
以下、図面を参照して本発明の実施の形態を詳細に説明する。本実施の形態では、車両に搭載され、対象物として歩行者を識別するための対象物識別装置に本発明を適用した場合について説明する。
【００２６】
図１に示すように、第１の実施の形態に係る対象物識別装置１０は、車両（図示省略）に取り付けられ、かつ、車両の前方を撮像して画像を生成する撮像装置１２と、撮像装置１２で撮像された撮像画像から歩行者を識別する処理を実行するコンピュータ１４と、コンピュータ１４の識別結果を表示する表示装置１６と、を備えている。
【００２７】
撮像装置１２は、車両の前方を撮像した画像の画像信号を生成する撮像部（図示省略）と、撮像部で生成された画像信号をＡ／Ｄ変換するＡ／Ｄ変換部（図示省略）と、Ａ／Ｄ変換された画像信号を一時的に格納するための画像メモリ（図示省略）と、を備えている。
【００２８】
コンピュータ１４は、ＣＰＵと、ＲＡＭと、後述する識別処理ルーチンを実行するためのプログラムを記憶したＲＯＭと、を含んで構成され、機能的には次に示すように構成されている。コンピュータ１４は、撮像装置１２の露光条件を設定する露光条件設定部２０と、撮像装置１２により異なる露光条件で撮像された複数の撮像画像の各々からウインドウ画像を抽出するウインドウ画像抽出部２２と、ウインドウ画像の各々の輝度分布に基づいて、対象物を識別するためのウインドウ画像を選択するウインドウ画像選択部２４と、予め学習により生成された識別モデルを記憶した識別モデル記憶部２６と、選択されたウインドウ画像と識別モデルとに基づいて、ウインドウ画像が歩行者を表す画像であるか否かを識別する識別部２８と、識別部２８での識別結果を撮像画像に重畳して表示装置１６に表示するように制御する表示制御部３０と、を含んだ構成で表すことができる。
【００２９】
露光条件設定部２０は、被写界の照明状態に合わせて、露光条件として絞り、露光時間、及びゲインの少なくとも１つを撮像装置１２に対して設定する。本実施の形態では、特に、１サイクルの撮像で、露光時間を標準の露光時間とした標準露光、露光時間を標準より長い時間とした露光オーバー、及び露光時間を標準より短い時間とした露光アンダーの３種類の露光条件での撮像を行う。露光条件設定部２０は、３種類の露光条件に応じた３つの撮像画像が得られるように、１サイクルの撮像期間内で露光条件を順次切り替える。これにより、例えば、図２に示すような３つの撮像画像が得られる。
【００３０】
ウインドウ画像抽出部２２は、撮像装置１２で撮像された３つの撮像画像の各々に対して、判定枠を設定し、判定枠内の画像をウインドウ画像として抽出する。判定枠は、図３に示すように、様々なサイズを用意しておき、撮像画像上を走査させ、様々な位置及び大きさのウインドウ画像を抽出する。
【００３１】
ウインドウ画像選択部２４は、ウインドウ画像抽出部２２で、３つの撮像画像の各々の同一位置から抽出された同一の大きさのウインドウ画像の各々の輝度分布を演算して、対象物を識別するために最も適したウインドウ画像を選択する。図４に、露光アンダー、標準露光、及び露光オーバーの露光条件の撮像画像に設定された判定枠から抽出されたウインドウ画像、及びウインドウ画像の各々の輝度分布の一例を示す。露光アンダーや標準露光の場合のように、低輝度側に高いピークが表れる輝度分布では、画像の黒つぶれが生じており、識別に適した画像とはいえない。また、高輝度側に高いピークが表れる輝度分布では、画像に白とびが生じており、この場合も識別に適した画像とはいえない。一方、露光オーバーの場合のように、輝度分布が低輝度から高輝度までの所定範囲において、なだらかに分布している場合には、黒つぶれや白とびが生じておらず、識別に適した画像であるといえる。そこで、ウインドウ画像選択部２４は、輝度分布の分散が予め定めた所定値以上のウインドウ画像を、対象物の識別に用いるウインドウ画像として選択する。
【００３２】
識別モデル記憶部２６には、例えば、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）等の手法により学習された対象物を識別するための識別モデルが記憶されている。
【００３３】
識別部２８は、識別モデル記憶部２６に記憶された識別モデルと、ウインドウ画像選択部２４により選択されたウインドウ画像とに基づいて、例えば、従来既知のＳＶＭ識別器を用いて、ウインドウ画像が歩行者を表す画像であるか否かを識別する。
【００３４】
次に、図５を参照して、第１の実施の形態の対象物識別装置１０のコンピュータ１４で実行される対象物識別処理ルーチンについて説明する。
【００３５】
ステップ１００で、標準露光、露光オーバー、及び露光アンダーの３種類の露光条件で撮像された３つの撮像画像が得られるように撮像装置１２を制御し、撮像された撮像画像を取得する。
【００３６】
次に、ステップ１０２で、上記ステップ１００で取得した３つの撮像画像の各々に対して、同一サイズの判定枠を画像上の所定位置（例えば、左上角）に設定し、判定枠内の画像をウインドウ画像として抽出する。
【００３７】
次に、ステップ１０４で、上記ステップ１０２で、３つの撮像画像から抽出されたウインドウ画像の各々の輝度分布の分散を求め、輝度分布の分散が予め定めた所定値以上のウインドウ画像を、対象物の識別に用いるウインドウ画像として選択する。
【００３８】
次に、ステップ１０６で、識別モデル記憶部２６に記憶された識別モデルと、上記ステップ１０４で選択されたウインドウ画像とに基づいて、例えば、従来既知のＳＶＭ識別器を用いて、ウインドウ画像が歩行者を表す画像であるか否かを識別する。ウインドウ画像が歩行者を示す画像であると識別された場合には、ウインドウ画像を抽出した際の判定枠の位置及びサイズを所定の記憶領域に記憶する。
【００３９】
次に、ステップ１０８で、撮像画像の全範囲について判定枠を走査してウインドウ画像を抽出する処理を終了したか否かを判定する。撮像画像の全範囲について処理が終了していないと判定された場合には、ステップ１１０へ移行して、判定枠を１ステップ（所定画素分）移動させて、ステップ１０２へ戻る。一方、撮像画像の全範囲について処理が終了したと判定された場合には、ステップ１１２へ移行して、判定枠の全てのサイズについて処理が終了したか否かを判定する。判定枠の全てのサイズについて処理が終了していないと判定された場合には、ステップ１１４へ移行して、次のサイズの判定枠を選択して、ステップ１０２へ戻る。全ての判定枠のサイズについて処理が終了したと判定された場合には、ステップ１１６へ移行し、上記ステップ１０６で所定の記憶領域に記憶された識別結果に基づいて、例えば、撮像画像の歩行者を表す画像であると識別された部分を矩形枠で囲むなどして、表示装置１６に表示する。
【００４０】
以上説明したように、第１の実施の形態に係る対象物識別装置によれば、異なる露光条件で撮像された複数の撮像画像の各々の同一位置に設定された同一サイズの判定枠からウインドウ画像を抽出し、ウインドウ画像の各々の輝度分布の分散が所定値以上のウインドウ画像を選択して、対象物を示す画像か否かを識別するため、対象物の識別に適した画像を適切に選択して、誤判定を低減することができる。
【００４１】
また、識別処理を行う前に複数の撮像画像を合成したり、識別処理後に識別結果を統合したりする処理が不要となる。
【００４２】
なお、第１の実施の形態では、ウインドウ画像の輝度分布の分散が所定値以上か否かに基づいて、適切なウインドウ画像を選択する場合について説明したが、これに限定されるものではなく、黒つぶれや白とび等の識別に適さない画像を排除できればよい。従って、輝度分布が所定範囲内にあればよく、例えば、ウインドウ画像の輝度値の平均値、中央値、偏差、最頻値等が所定範囲内か否かを判定したり、輝度値の最大値が所定値以下か否かを判定したり、輝度値の最小値が所定値以上か否かを判定したり、輝度値の最大値と最小値との差が所定範囲内か否かを判定したりしてもよい。また、輝度分布を示す分布曲線の形状に基づいて、識別に適した画像か否かを判定するようにしてもよい。
【００４３】
次に、第２の実施の形態について説明する。なお、第１の実施の形態の対象物識別装置１０と同様の構成については、同一の符号を付して詳細な説明は省略する。
【００４４】
図６に示すように、第２の実施の形態に係る対象物識別装置２１０は、撮像装置１２と、撮像装置１２による撮像対象領域に光を投光する投光装置１８と、撮像装置１２で撮像された撮像画像から歩行者を識別する処理を実行するコンピュータ２１４と、表示装置１６と、を備えている。
【００４５】
コンピュータ２１４は、機能的には、露光条件設定部２０と、投光装置１８の投光及び非投光を制御する投光制御部３４と、撮像装置１２により異なる露光条件で撮像された複数の撮像画像の各々について、投光−非投光の差分画像を生成する差分画像生成部３６と、生成された差分画像から、判定枠のサイズに基づいて対象物を識別するための差分画像を選択する差分画像選択部３８と、選択された差分画像からウインドウ画像を抽出するウインドウ画像抽出部２２２と、識別モデル記憶部２６と、識別部２８と、表示制御部３０と、を含んだ構成で表すことができる。
【００４６】
投光制御部３４は、１サイクルの撮像で、標準露光、露光オーバー、及び露光アンダーの３種類の露光条件で投光時に撮像された３つの撮像画像、並びに標準露光、露光オーバー、及び露光アンダーの３種類の露光条件で非投光時に撮像された３つの撮像画像が得られるように、投光装置１８のオンオフを切り替える。
【００４７】
差分画像生成部３６は、同一の露光条件で撮像された投光時の撮像画像と非投光時の撮像画像との差分画像を生成する。図７に、露光条件毎の投光時の撮像画像、非投光時の撮像画像、及び差分画像の一例を示す。このように、差分画像を生成することにより、街灯や対向車のライト等の他の発光体による照明成分を除外することができる。
【００４８】
差分画像選択部３８は、後段のウインドウ画像抽出部２２２でウインドウ画像を抽出する際の判定枠のサイズに応じて、生成された差分画像から、対象物を識別するために最も適したウインドウ画像を選択する。差分画像の輝度値は、投光装置１８からの距離の２乗に反比例して減衰するため、遠くの対象物ほど暗く撮像される性質がある。また、遠くの対象物を識別する際には、サイズの小さい判定枠からウインドウ画像が抽出され、近くの対象物を識別する際には、サイズの大きな判定枠からウインドウ画像が抽出される。従って、判定枠のサイズが小さいほど、識別に用いる画像として明るいウインドウ画像を用いることが適しているといえる。そこで、差分画像選択部３８は、図８に示すように、判定枠のサイズが大きい場合、すなわち近くの歩行者を対象としている場合には、露光アンダーの撮像画像の差分画像を選択し、判定枠のサイズが小さい場合、すなわち遠くの歩行者を対象としている場合には、露光オーバーの差分画像を選択する。
【００４９】
次に、図９を参照して、第２の実施の形態の対象物識別装置２１０のコンピュータ２１４で実行される対象物識別処理ルーチンについて説明する。なお、第１の実施の形態の対象物識別処理と同様の処理については、同一の符号を付して詳細な説明を省略する。
【００５０】
ステップ２００で、撮像対象領域に光を投光するように投光装置１８を制御し、標準露光、露光オーバー、及び露光アンダーの３種類の露光条件で撮像された３つの撮像画像が得られるように撮像装置１２を制御し、撮像された撮像画像を取得する。
【００５１】
次に、ステップ２０２で、撮像対象領域への投光をオフするように投光装置１８を制御し、標準露光、露光オーバー、及び露光アンダーの３種類の露光条件で撮像された３つの撮像画像が得られるように撮像装置１２を制御し、撮像された撮像画像を取得する。
【００５２】
次に、ステップ２０４で、上記ステップ２００及びステップ２０２で取得した撮像画像の各々から、同一の露光条件で撮像された投光時の撮像画像と非投光時の撮像画像との差分画像を生成する。これにより、標準露光の差分画像、露光オーバーの差分画像、及び露光アンダーの差分画像が生成される。
【００５３】
次に、ステップ２０６で、判定枠のサイズを選択する。例えば、大（２０×４０画素）、中（１６×３２画素）、小（１２×２４画素）の３サイズの判定枠を用意しておき、これらのサイズから順次選択していく。
【００５４】
次に、ステップ２０８で、上記ステップ２０６で選択した判定枠のサイズに応じて、上記ステップ２０４で生成された差分画像から、対象物を識別するために最も適したウインドウ画像を選択する。例えば、上記ステップで選択した判定枠のサイズが「大」であれば、露光アンダーの差分画像、「中」であれば標準露光の差分画像、「小」であれば露光オーバーの差分画像を選択することができる。
【００５５】
次に、ステップ２１２で、上記ステップ２０８で選択した差分画像に対して、上記ステップ２０６で選択したサイズの判定枠を画像上の所定位置（例えば、左上角）に設定し、判定枠内の画像をウインドウ画像として抽出し、次に、ステップ１０６で、識別モデル記憶部２６に記憶された識別モデルと、抽出されたウインドウ画像とに基づいて、ウインドウ画像が歩行者を表す画像であるか否かを識別する。
【００５６】
次に、ステップ１０８で、差分画像の全範囲について処理が終了したか否かを判定し、処理が終了していないと判定された場合には、ステップ１１０へ移行して、判定枠を１ステップ（所定画素分）移動させて、ステップ２１２へ戻る。一方、差分画像の全範囲について処理が終了したと判定された場合には、ステップ１１２へ移行して、判定枠の全てのサイズについて処理が終了したか否かを判定し、処理が終了していないと判定された場合には、ステップ１１４へ移行して、次のサイズの判定枠を選択して、ステップ２０８へ戻る。全ての判定枠のサイズについて処理が終了したと判定された場合には、ステップ１１６へ移行し、識別結果を表示する。
【００５７】
以上説明したように、第２の実施の形態に係る対象物識別装置によれば、判定枠のサイズが小さいほど、すなわち対象物が遠方であるほど明るい画像を選択して、選択した画像からウインドウ画像を抽出して、対象物を示す画像か否かを識別するため、対象物の識別に適した画像を適切に選択して、誤判定を低減することができる。また、投光時−非投光時の差分画像を用いることで、街灯や対向車のライト等の他の発光体による照明成分を除外することができ、また、露光条件に対する画像上の対象物の輝度値の差を明確にすることができる。
【００５８】
なお、第２の実施の形態では、投光時の撮像画像と非投光時の撮像画像との差分画像を用いて対象物を識別する場合について説明したが、投光制御を行うことなく、露光条件を異ならせた複数の撮像画像から、判定枠のサイズに応じて識別に用いる画像を選択するようにしてもよい。投光制御を行わずに撮像された撮像画像上においても、遠くの対象物ほど暗く撮像される性質があることに変わりないため、差分画像を用いなくても、本実施の形態を適用することができる。
【００５９】
また、第１の実施の形態においても、投光制御して、投光時の撮像画像と非投光時の撮像画像との差分画像を用いて対象物を識別するようにしてもよい。この場合、第１の実施の形態における対象物識別処理（図５）のステップ１００に替えて、第２の実施の形態における対象物識別処理（図９）のステップ２００〜２０４を実行し、ステップ１０２において、各露光条件の差分画像の各々からウインドウ画像を抽出するようにするとよい。
【００６０】
また、上記実施の形態では、露光条件を３種類とする場合について説明したが、これに限定されるものではない。また、絞り、露光時間、及びゲインにより露光条件を異ならせる場合に限定されず、絞り、露光時間、及びゲインによる露光条件の変更に替えて、または加えて、投光装置１８の投光強度を異ならせることにより、明るさの異なる複数の撮像画像を撮像するようにしてもよい。投光を行うことにより、より遠くに存在する対象物の識別も可能となる。また、撮像装置による露光条件の変更と投光強度の変更とを組み合わせることにより、より細かく撮像画像の明るさを異ならせることができる。
【００６１】
また、上記実施の形態では、投光時における露光条件の異なる複数の撮像画像を取得した後、非投光時における露光条件の異なる複数の撮像画像を取得する場合について説明したが、一つの露光条件で投光時の撮像画像及び非投光時の撮像画像を取得した後に、異なる露光条件で投光時の撮像画像及び非投光時の撮像画像を取得するようにしてもよい。
【００６２】
また、上記実施の形態では、ＳＶＭ識別器を用いて、画像の識別処理を行う場合を例に説明したが、これに限定されるものではなく、従来既知の他の識別手法（例えば、最近傍識別、線形判別など）を用いて、画像の識別処理を行うようにしてもよい。
【００６３】
また、上実施の形態では、判定枠を撮像画像または差分画像の全範囲を走査してウインドウ画像を抽出する場合について説明したが、例えば路面領域を検出する等の事前処理を行って、判定枠を走査する範囲を制限するようにしてもよい。
【００６４】
また、上記実施の形態では、識別対象物として歩行者を識別する対象物識別装置に、本発明を適用した場合を例に説明したが、識別対象物は、自動車や二輪車等でもよい。
【００６５】
なお、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムをＣＤＲＯＭ等の記憶媒体に格納して提供することも可能である。
【符号の説明】
【００６６】
１０、２１０ 対象物識別装置
１２ 撮像装置
１４、２１４ コンピュータ
１６ 表示装置
１８ 投光装置
２０ 露光条件設定部
２２、２２２ ウインドウ画像抽出部
２４ ウインドウ画像選択部
２６ 識別モデル記憶部
２８ 識別部
３０ 表示制御部
３４ 投光制御部
３６ 差分画像生成部
３８ 差分画像選択部
【技術分野】
【０００１】
本発明は、対象物識別装置及びプログラムに係り、特に、撮像された画像から対象物を識別する対象物識別装置及びプログラムに関する。
【背景技術】
【０００２】
近年、車載カメラで撮像した車両周辺の映像を画像処理し、特定の対象物を識別してドライバに識別結果を提示する対象物識別装置を搭載する車両が増加している。このような対象物識別装置においては、対象物を識別し易い画像が得られることが課題となる。
【０００３】
そこで、車載用画像認識装置において、カメラのダイナミックレンジが不足することによって生じる画像の白とびや黒つぶれ等の問題を、異なる露光時間で複数の画像を撮像し、複数の画像の同一の部分画像についてコントラストを比較し、コントラストの最も良好な部分画像を選択した合成画像を生成して、画像認識を行う車載用画像認識装置が提案されている（例えば、特許文献１参照）。
【０００４】
また、カメラの露出制御が不適切なために生じる認識性能の低下を防止するために、ブラケット撮影を行う認証装置が提案されている（例えば、特許文献２参照）。特許文献２に記載の認証装置では、ブラケット撮影の枚数を増加することによる処理時間の増大を防止するために、撮像画像から特徴画像を検出して露出補正値を生成し、ブラケット撮影の第１の撮影用の第１の露出制御値を演算し、第１の露出制御値及び露出補正値に基づいて、第２の撮影用の第２の露出制御値を演算している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−１７７２５０号公報
【特許文献２】特開２００８−５０８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１の技術では、露光時間の異なる部分画像を１枚の画像に合成するため、部分画像と部分画像との境界に階調の不連続点である境界線が生じる、という問題がある。これを、部分画像の切り出し位置を適切に設定することにより解消することが考えられるが、画像中のどこに、どれくらいの大きさで対象物が撮像されているかが不明の場合には適用することができない。また、特許文献１の技術では、部分画像のコントラストに応じた重み付けにより合成画像を得ることで、境界線を目立たなくする処理を行っているが、この処理により、合成画像のコントラストが低下し、対象物の識別に適した画像にならない、という問題がある。
【０００７】
また、特許文献２の技術は、画面中央に撮像された顔画像を認証する装置であるため、画像上での対象物の位置及び大きさが特定されているが、これらが特定されていない状態では、露出補正値を演算することができないため、第２の露出制御値を演算することができない、という問題がある。また、画像上に複数の対象物が存在し、それぞれの最適な露出制御値が異なる場合にも、第２の露出制御値をどのように決定すればよいかが明確でない、という問題がある。
【０００８】
本発明は、上記の問題点を解決するためになされたもので、対象物の識別に適した画像を適切に選択して、誤判定を低減することができる対象物識別装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、第１の発明の対象物識別装置は、各々異なる露光条件で撮像された複数の撮像画像を取得する取得手段と、前記取得手段により取得した複数の撮像画像の各々に判定枠を設定し、該判定枠の位置及びサイズを変更しながら判定枠内の画像をウインドウ画像として抽出する抽出手段と、前記複数の撮像画像の各々の同一位置から抽出された同一サイズのウインドウ画像の各々から、該ウインドウ画像の各々の輝度分布に基づいて、対象物を識別し易いウインドウ画像を選択するウインドウ画像選択手段と、前記ウインドウ画像選択手段により選択されたウインドウ画像と前記対象物を識別するために予め生成された識別モデルとに基づいて、前記ウインドウ画像が前記対象物を表す画像か否かを識別する識別手段と、を含んで構成されている。
【００１０】
第１の発明の対象物識別装置よれば、取得手段が、各々異なる露光条件で撮像された複数の撮像画像を取得し、抽出手段が、取得手段により取得した複数の撮像画像の各々に判定枠を設定し、判定枠の位置及びサイズを変更しながら判定枠内の画像をウインドウ画像として抽出する。判定枠の位置及びサイズを変更することにより、撮像画像上の様々な位置に存在する様々なサイズの対象物を検出することができる。
【００１１】
そして、ウインドウ画像選択手段が、複数の撮像画像の各々の同一位置から抽出された同一サイズのウインドウ画像の各々から、ウインドウ画像の各々の輝度分布に基づいて、対象物を識別し易いウインドウ画像を選択する。対象物を識別し易い画像とは、黒つぶれや白とび等が生じていない画像であるので、ウインドウ画像の輝度分布に基づいて、黒つぶれや白とび等が生じていないウインドウ画像を選択する。そして、識別手段が、ウインドウ画像選択手段により選択されたウインドウ画像と対象物を識別するために予め生成された識別モデルとに基づいて、ウインドウ画像が対象物を表す画像か否かを識別する。
【００１２】
このように、異なる露光条件で撮像された複数の撮像画像の同一位置から同一サイズのウインドウ画像を抽出し、ウインドウ画像の各々の輝度分布に基づいて、対象物を識別し易いウインドウ画像を選択するため、対象物の識別に適した画像を適切に選択して、誤判定を低減することができる。
【００１３】
また、第１の発明において、前記取得手段は、投光時に各々異なる露光条件で撮像された複数の撮像画像、及び非投光時に前記各々異なる露光条件で撮像された複数の撮像画像を取得し、前記取得手段により取得された同一の露光条件の投光時の撮像画像と非投光時の撮像画像との差分画像を生成する生成手段を含み、前記抽出手段は、前記差分画像の各々からウインドウ画像を抽出することができる。これにより、対象物を歩行者等の自発光しない物体とする場合に、街灯や対向車のライト等の他の発光体による照明成分を除外して、対象物の識別精度を向上させることができる。
【００１４】
また、第２の発明の対象物識別装置は、各々異なる露光条件で撮像された複数の撮像画像を取得する取得手段と、前記取得手段により取得した複数の撮像画像の各々から、判定枠のサイズが小さいほど明るい撮像画像を選択する撮像画像選択手段と、前記撮像画像選択手段により選択された撮像画像に前記判定枠を設定し、該判定枠の位置を変更しながら判定枠内の画像をウインドウ画像として抽出する抽出手段と、前記抽出手段により抽出されたウインドウ画像と前記対象物を識別するために予め生成された識別モデルとに基づいて、前記ウインドウ画像が前記対象物を表す画像か否かを識別する識別手段と、を含んで構成されている。
【００１５】
第２の発明の対象物識別装置よれば、取得手段が、各々異なる露光条件で撮像された複数の撮像画像を取得し、撮像画像選択手段が、取得手段により取得した複数の撮像画像の各々から、判定枠のサイズが小さいほど明るい撮像画像を選択する。撮像画像上で、遠くの対象物ほど暗く写る性質、及び遠くの対象物ほど小さく写る性質を利用したものである。
【００１６】
そして、抽出手段が、撮像画像選択手段により選択された撮像画像に判定枠を設定し、判定枠の位置を変更しながら判定枠内の画像をウインドウ画像として抽出し、識別手段が、抽出手段により抽出されたウインドウ画像と対象物を識別するために予め生成された識別モデルとに基づいて、ウインドウ画像が対象物を表す画像か否かを識別する。
【００１７】
このように、判定枠のサイズが小さいほど、すなわち対象物が遠方であるほど明るい画像を選択するため、対象物の識別に適した画像を適切に選択して、誤判定を低減することができる。
【００１８】
また、第２の発明において、前記取得手段は、投光時に各々異なる露光条件で撮像された複数の撮像画像、及び非投光時に前記各々異なる露光条件で撮像された複数の撮像画像を取得し、前記取得手段により取得された同一の露光条件の投光時の撮像画像と非投光時の撮像画像との差分画像を生成する生成手段を含み、前記撮像画像選択手段は、前記差分画像の各々から対象物を識別し易い差分画像を選択することができる。これにより、対象物を歩行者等の自発光しない物体とする場合に、街灯や対向車のライト等の他の発光体による照明成分を除外して、対象物の識別精度を向上させることができる。
【００１９】
また、前記露光条件を、投光強度異ならせることにより異ならせたり、絞り、露光時間、及びゲインのいずれか１つを異ならせると共に、投光強度を異ならせることにより異ならせたりすることができる。これにより、より遠くに存在する対象物の識別も可能となり、また、より細かく撮像画像の明るさを異ならせることができる。
【００２０】
また、第３の発明の対象物識別プログラムは、コンピュータを、各々異なる露光条件で撮像された複数の撮像画像を取得する取得手段、前記取得手段により取得した複数の撮像画像の各々に判定枠を設定し、該判定枠の位置及びサイズを変更しながら判定枠内の画像をウインドウ画像として抽出する抽出手段、前記複数の撮像画像の各々の同一位置から抽出された同一サイズのウインドウ画像の各々から、該ウインドウ画像の各々の輝度分布に基づいて、対象物を識別し易いウインドウ画像を選択するウインドウ画像選択手段、及び前記ウインドウ画像選択手段により選択されたウインドウ画像と前記対象物を識別するために予め生成された識別モデルとに基づいて、前記ウインドウ画像が前記対象物を表す画像か否かを識別する識別手段として機能させるためのプログラムである。
【００２１】
また、第４の発明の対象物識別プログラムは、コンピュータを、各々異なる露光条件で撮像された複数の撮像画像を取得する取得手段、前記取得手段により取得した複数の撮像画像の各々から、判定枠のサイズが小さいほど明るい撮像画像を選択する撮像画像選択手段、前記撮像画像選択手段により選択された撮像画像に前記判定枠を設定し、該判定枠の位置を変更しながら判定枠内の画像をウインドウ画像として抽出する抽出手段、及び前記抽出手段により抽出されたウインドウ画像と前記対象物を識別するために予め生成された識別モデルとに基づいて、前記ウインドウ画像が前記対象物を表す画像か否かを識別する識別手段として機能させるためのプログラムである。
【００２２】
なお、本発明のプログラムを記憶する記憶媒体は、特に限定されず、ハードディスクであってもよいし、ＲＯＭであってもよい。また、ＣＤ−ＲＯＭやＤＶＤディスク、光磁気ディスクやＩＣカードであってもよい。更にまた、該プログラムを、ネットワークに接続されたサーバ等からダウンロードするようにしてもよい。
【発明の効果】
【００２３】
以上説明したように、本発明の対象物識別装置及びプログラムによれば、撮像画像に設定した判定枠から抽出されたウインドウ画像の輝度分布に基づいて、または判定枠のサイズに基づいて、対象物を識別し易い画像を選択するため、対象物の識別に適した画像を適切に選択して、誤判定を低減することができる、という効果が得られる。
【図面の簡単な説明】
【００２４】
【図１】第１の実施の形態に係る対象物識別装置の概略構成を示すブロック図である。
【図２】露光条件の異なる３種類の撮像画像の一例を示すイメージ図である。
【図３】判定枠の設定を説明するためのイメージ図である。
【図４】輝度分布に基づくウインドウ画像の選択を説明するためのイメージ図である。
【図５】第１の実施の形態に係る対象物識別装置のコンピュータにおいて実行される対象物識別処理ルーチンの内容を示すフローチャートである。
【図６】第２の実施の形態に係る対象物識別装置の概略構成を示すブロック図である。
【図７】露光条件毎の投光時の撮像画像、非投光時の撮像画像、及び差分画像の一例を示すイメージ図である。
【図８】対象物の大きさと露光条件との関係を説明するためのイメージ図である。
【図９】第２の実施の形態に係る対象物識別装置のコンピュータにおいて実行される対象物識別処理ルーチンの内容を示すフローチャートである。
【発明を実施するための形態】
【００２５】
以下、図面を参照して本発明の実施の形態を詳細に説明する。本実施の形態では、車両に搭載され、対象物として歩行者を識別するための対象物識別装置に本発明を適用した場合について説明する。
【００２６】
図１に示すように、第１の実施の形態に係る対象物識別装置１０は、車両（図示省略）に取り付けられ、かつ、車両の前方を撮像して画像を生成する撮像装置１２と、撮像装置１２で撮像された撮像画像から歩行者を識別する処理を実行するコンピュータ１４と、コンピュータ１４の識別結果を表示する表示装置１６と、を備えている。
【００２７】
撮像装置１２は、車両の前方を撮像した画像の画像信号を生成する撮像部（図示省略）と、撮像部で生成された画像信号をＡ／Ｄ変換するＡ／Ｄ変換部（図示省略）と、Ａ／Ｄ変換された画像信号を一時的に格納するための画像メモリ（図示省略）と、を備えている。
【００２８】
コンピュータ１４は、ＣＰＵと、ＲＡＭと、後述する識別処理ルーチンを実行するためのプログラムを記憶したＲＯＭと、を含んで構成され、機能的には次に示すように構成されている。コンピュータ１４は、撮像装置１２の露光条件を設定する露光条件設定部２０と、撮像装置１２により異なる露光条件で撮像された複数の撮像画像の各々からウインドウ画像を抽出するウインドウ画像抽出部２２と、ウインドウ画像の各々の輝度分布に基づいて、対象物を識別するためのウインドウ画像を選択するウインドウ画像選択部２４と、予め学習により生成された識別モデルを記憶した識別モデル記憶部２６と、選択されたウインドウ画像と識別モデルとに基づいて、ウインドウ画像が歩行者を表す画像であるか否かを識別する識別部２８と、識別部２８での識別結果を撮像画像に重畳して表示装置１６に表示するように制御する表示制御部３０と、を含んだ構成で表すことができる。
【００２９】
露光条件設定部２０は、被写界の照明状態に合わせて、露光条件として絞り、露光時間、及びゲインの少なくとも１つを撮像装置１２に対して設定する。本実施の形態では、特に、１サイクルの撮像で、露光時間を標準の露光時間とした標準露光、露光時間を標準より長い時間とした露光オーバー、及び露光時間を標準より短い時間とした露光アンダーの３種類の露光条件での撮像を行う。露光条件設定部２０は、３種類の露光条件に応じた３つの撮像画像が得られるように、１サイクルの撮像期間内で露光条件を順次切り替える。これにより、例えば、図２に示すような３つの撮像画像が得られる。
【００３０】
ウインドウ画像抽出部２２は、撮像装置１２で撮像された３つの撮像画像の各々に対して、判定枠を設定し、判定枠内の画像をウインドウ画像として抽出する。判定枠は、図３に示すように、様々なサイズを用意しておき、撮像画像上を走査させ、様々な位置及び大きさのウインドウ画像を抽出する。
【００３１】
ウインドウ画像選択部２４は、ウインドウ画像抽出部２２で、３つの撮像画像の各々の同一位置から抽出された同一の大きさのウインドウ画像の各々の輝度分布を演算して、対象物を識別するために最も適したウインドウ画像を選択する。図４に、露光アンダー、標準露光、及び露光オーバーの露光条件の撮像画像に設定された判定枠から抽出されたウインドウ画像、及びウインドウ画像の各々の輝度分布の一例を示す。露光アンダーや標準露光の場合のように、低輝度側に高いピークが表れる輝度分布では、画像の黒つぶれが生じており、識別に適した画像とはいえない。また、高輝度側に高いピークが表れる輝度分布では、画像に白とびが生じており、この場合も識別に適した画像とはいえない。一方、露光オーバーの場合のように、輝度分布が低輝度から高輝度までの所定範囲において、なだらかに分布している場合には、黒つぶれや白とびが生じておらず、識別に適した画像であるといえる。そこで、ウインドウ画像選択部２４は、輝度分布の分散が予め定めた所定値以上のウインドウ画像を、対象物の識別に用いるウインドウ画像として選択する。
【００３２】
識別モデル記憶部２６には、例えば、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）等の手法により学習された対象物を識別するための識別モデルが記憶されている。
【００３３】
識別部２８は、識別モデル記憶部２６に記憶された識別モデルと、ウインドウ画像選択部２４により選択されたウインドウ画像とに基づいて、例えば、従来既知のＳＶＭ識別器を用いて、ウインドウ画像が歩行者を表す画像であるか否かを識別する。
【００３４】
次に、図５を参照して、第１の実施の形態の対象物識別装置１０のコンピュータ１４で実行される対象物識別処理ルーチンについて説明する。
【００３５】
ステップ１００で、標準露光、露光オーバー、及び露光アンダーの３種類の露光条件で撮像された３つの撮像画像が得られるように撮像装置１２を制御し、撮像された撮像画像を取得する。
【００３６】
次に、ステップ１０２で、上記ステップ１００で取得した３つの撮像画像の各々に対して、同一サイズの判定枠を画像上の所定位置（例えば、左上角）に設定し、判定枠内の画像をウインドウ画像として抽出する。
【００３７】
次に、ステップ１０４で、上記ステップ１０２で、３つの撮像画像から抽出されたウインドウ画像の各々の輝度分布の分散を求め、輝度分布の分散が予め定めた所定値以上のウインドウ画像を、対象物の識別に用いるウインドウ画像として選択する。
【００３８】
次に、ステップ１０６で、識別モデル記憶部２６に記憶された識別モデルと、上記ステップ１０４で選択されたウインドウ画像とに基づいて、例えば、従来既知のＳＶＭ識別器を用いて、ウインドウ画像が歩行者を表す画像であるか否かを識別する。ウインドウ画像が歩行者を示す画像であると識別された場合には、ウインドウ画像を抽出した際の判定枠の位置及びサイズを所定の記憶領域に記憶する。
【００３９】
次に、ステップ１０８で、撮像画像の全範囲について判定枠を走査してウインドウ画像を抽出する処理を終了したか否かを判定する。撮像画像の全範囲について処理が終了していないと判定された場合には、ステップ１１０へ移行して、判定枠を１ステップ（所定画素分）移動させて、ステップ１０２へ戻る。一方、撮像画像の全範囲について処理が終了したと判定された場合には、ステップ１１２へ移行して、判定枠の全てのサイズについて処理が終了したか否かを判定する。判定枠の全てのサイズについて処理が終了していないと判定された場合には、ステップ１１４へ移行して、次のサイズの判定枠を選択して、ステップ１０２へ戻る。全ての判定枠のサイズについて処理が終了したと判定された場合には、ステップ１１６へ移行し、上記ステップ１０６で所定の記憶領域に記憶された識別結果に基づいて、例えば、撮像画像の歩行者を表す画像であると識別された部分を矩形枠で囲むなどして、表示装置１６に表示する。
【００４０】
以上説明したように、第１の実施の形態に係る対象物識別装置によれば、異なる露光条件で撮像された複数の撮像画像の各々の同一位置に設定された同一サイズの判定枠からウインドウ画像を抽出し、ウインドウ画像の各々の輝度分布の分散が所定値以上のウインドウ画像を選択して、対象物を示す画像か否かを識別するため、対象物の識別に適した画像を適切に選択して、誤判定を低減することができる。
【００４１】
また、識別処理を行う前に複数の撮像画像を合成したり、識別処理後に識別結果を統合したりする処理が不要となる。
【００４２】
なお、第１の実施の形態では、ウインドウ画像の輝度分布の分散が所定値以上か否かに基づいて、適切なウインドウ画像を選択する場合について説明したが、これに限定されるものではなく、黒つぶれや白とび等の識別に適さない画像を排除できればよい。従って、輝度分布が所定範囲内にあればよく、例えば、ウインドウ画像の輝度値の平均値、中央値、偏差、最頻値等が所定範囲内か否かを判定したり、輝度値の最大値が所定値以下か否かを判定したり、輝度値の最小値が所定値以上か否かを判定したり、輝度値の最大値と最小値との差が所定範囲内か否かを判定したりしてもよい。また、輝度分布を示す分布曲線の形状に基づいて、識別に適した画像か否かを判定するようにしてもよい。
【００４３】
次に、第２の実施の形態について説明する。なお、第１の実施の形態の対象物識別装置１０と同様の構成については、同一の符号を付して詳細な説明は省略する。
【００４４】
図６に示すように、第２の実施の形態に係る対象物識別装置２１０は、撮像装置１２と、撮像装置１２による撮像対象領域に光を投光する投光装置１８と、撮像装置１２で撮像された撮像画像から歩行者を識別する処理を実行するコンピュータ２１４と、表示装置１６と、を備えている。
【００４５】
コンピュータ２１４は、機能的には、露光条件設定部２０と、投光装置１８の投光及び非投光を制御する投光制御部３４と、撮像装置１２により異なる露光条件で撮像された複数の撮像画像の各々について、投光−非投光の差分画像を生成する差分画像生成部３６と、生成された差分画像から、判定枠のサイズに基づいて対象物を識別するための差分画像を選択する差分画像選択部３８と、選択された差分画像からウインドウ画像を抽出するウインドウ画像抽出部２２２と、識別モデル記憶部２６と、識別部２８と、表示制御部３０と、を含んだ構成で表すことができる。
【００４６】
投光制御部３４は、１サイクルの撮像で、標準露光、露光オーバー、及び露光アンダーの３種類の露光条件で投光時に撮像された３つの撮像画像、並びに標準露光、露光オーバー、及び露光アンダーの３種類の露光条件で非投光時に撮像された３つの撮像画像が得られるように、投光装置１８のオンオフを切り替える。
【００４７】
差分画像生成部３６は、同一の露光条件で撮像された投光時の撮像画像と非投光時の撮像画像との差分画像を生成する。図７に、露光条件毎の投光時の撮像画像、非投光時の撮像画像、及び差分画像の一例を示す。このように、差分画像を生成することにより、街灯や対向車のライト等の他の発光体による照明成分を除外することができる。
【００４８】
差分画像選択部３８は、後段のウインドウ画像抽出部２２２でウインドウ画像を抽出する際の判定枠のサイズに応じて、生成された差分画像から、対象物を識別するために最も適したウインドウ画像を選択する。差分画像の輝度値は、投光装置１８からの距離の２乗に反比例して減衰するため、遠くの対象物ほど暗く撮像される性質がある。また、遠くの対象物を識別する際には、サイズの小さい判定枠からウインドウ画像が抽出され、近くの対象物を識別する際には、サイズの大きな判定枠からウインドウ画像が抽出される。従って、判定枠のサイズが小さいほど、識別に用いる画像として明るいウインドウ画像を用いることが適しているといえる。そこで、差分画像選択部３８は、図８に示すように、判定枠のサイズが大きい場合、すなわち近くの歩行者を対象としている場合には、露光アンダーの撮像画像の差分画像を選択し、判定枠のサイズが小さい場合、すなわち遠くの歩行者を対象としている場合には、露光オーバーの差分画像を選択する。
【００４９】
次に、図９を参照して、第２の実施の形態の対象物識別装置２１０のコンピュータ２１４で実行される対象物識別処理ルーチンについて説明する。なお、第１の実施の形態の対象物識別処理と同様の処理については、同一の符号を付して詳細な説明を省略する。
【００５０】
ステップ２００で、撮像対象領域に光を投光するように投光装置１８を制御し、標準露光、露光オーバー、及び露光アンダーの３種類の露光条件で撮像された３つの撮像画像が得られるように撮像装置１２を制御し、撮像された撮像画像を取得する。
【００５１】
次に、ステップ２０２で、撮像対象領域への投光をオフするように投光装置１８を制御し、標準露光、露光オーバー、及び露光アンダーの３種類の露光条件で撮像された３つの撮像画像が得られるように撮像装置１２を制御し、撮像された撮像画像を取得する。
【００５２】
次に、ステップ２０４で、上記ステップ２００及びステップ２０２で取得した撮像画像の各々から、同一の露光条件で撮像された投光時の撮像画像と非投光時の撮像画像との差分画像を生成する。これにより、標準露光の差分画像、露光オーバーの差分画像、及び露光アンダーの差分画像が生成される。
【００５３】
次に、ステップ２０６で、判定枠のサイズを選択する。例えば、大（２０×４０画素）、中（１６×３２画素）、小（１２×２４画素）の３サイズの判定枠を用意しておき、これらのサイズから順次選択していく。
【００５４】
次に、ステップ２０８で、上記ステップ２０６で選択した判定枠のサイズに応じて、上記ステップ２０４で生成された差分画像から、対象物を識別するために最も適したウインドウ画像を選択する。例えば、上記ステップで選択した判定枠のサイズが「大」であれば、露光アンダーの差分画像、「中」であれば標準露光の差分画像、「小」であれば露光オーバーの差分画像を選択することができる。
【００５５】
次に、ステップ２１２で、上記ステップ２０８で選択した差分画像に対して、上記ステップ２０６で選択したサイズの判定枠を画像上の所定位置（例えば、左上角）に設定し、判定枠内の画像をウインドウ画像として抽出し、次に、ステップ１０６で、識別モデル記憶部２６に記憶された識別モデルと、抽出されたウインドウ画像とに基づいて、ウインドウ画像が歩行者を表す画像であるか否かを識別する。
【００５６】
次に、ステップ１０８で、差分画像の全範囲について処理が終了したか否かを判定し、処理が終了していないと判定された場合には、ステップ１１０へ移行して、判定枠を１ステップ（所定画素分）移動させて、ステップ２１２へ戻る。一方、差分画像の全範囲について処理が終了したと判定された場合には、ステップ１１２へ移行して、判定枠の全てのサイズについて処理が終了したか否かを判定し、処理が終了していないと判定された場合には、ステップ１１４へ移行して、次のサイズの判定枠を選択して、ステップ２０８へ戻る。全ての判定枠のサイズについて処理が終了したと判定された場合には、ステップ１１６へ移行し、識別結果を表示する。
【００５７】
以上説明したように、第２の実施の形態に係る対象物識別装置によれば、判定枠のサイズが小さいほど、すなわち対象物が遠方であるほど明るい画像を選択して、選択した画像からウインドウ画像を抽出して、対象物を示す画像か否かを識別するため、対象物の識別に適した画像を適切に選択して、誤判定を低減することができる。また、投光時−非投光時の差分画像を用いることで、街灯や対向車のライト等の他の発光体による照明成分を除外することができ、また、露光条件に対する画像上の対象物の輝度値の差を明確にすることができる。
【００５８】
なお、第２の実施の形態では、投光時の撮像画像と非投光時の撮像画像との差分画像を用いて対象物を識別する場合について説明したが、投光制御を行うことなく、露光条件を異ならせた複数の撮像画像から、判定枠のサイズに応じて識別に用いる画像を選択するようにしてもよい。投光制御を行わずに撮像された撮像画像上においても、遠くの対象物ほど暗く撮像される性質があることに変わりないため、差分画像を用いなくても、本実施の形態を適用することができる。
【００５９】
また、第１の実施の形態においても、投光制御して、投光時の撮像画像と非投光時の撮像画像との差分画像を用いて対象物を識別するようにしてもよい。この場合、第１の実施の形態における対象物識別処理（図５）のステップ１００に替えて、第２の実施の形態における対象物識別処理（図９）のステップ２００〜２０４を実行し、ステップ１０２において、各露光条件の差分画像の各々からウインドウ画像を抽出するようにするとよい。
【００６０】
また、上記実施の形態では、露光条件を３種類とする場合について説明したが、これに限定されるものではない。また、絞り、露光時間、及びゲインにより露光条件を異ならせる場合に限定されず、絞り、露光時間、及びゲインによる露光条件の変更に替えて、または加えて、投光装置１８の投光強度を異ならせることにより、明るさの異なる複数の撮像画像を撮像するようにしてもよい。投光を行うことにより、より遠くに存在する対象物の識別も可能となる。また、撮像装置による露光条件の変更と投光強度の変更とを組み合わせることにより、より細かく撮像画像の明るさを異ならせることができる。
【００６１】
また、上記実施の形態では、投光時における露光条件の異なる複数の撮像画像を取得した後、非投光時における露光条件の異なる複数の撮像画像を取得する場合について説明したが、一つの露光条件で投光時の撮像画像及び非投光時の撮像画像を取得した後に、異なる露光条件で投光時の撮像画像及び非投光時の撮像画像を取得するようにしてもよい。
【００６２】
また、上記実施の形態では、ＳＶＭ識別器を用いて、画像の識別処理を行う場合を例に説明したが、これに限定されるものではなく、従来既知の他の識別手法（例えば、最近傍識別、線形判別など）を用いて、画像の識別処理を行うようにしてもよい。
【００６３】
また、上実施の形態では、判定枠を撮像画像または差分画像の全範囲を走査してウインドウ画像を抽出する場合について説明したが、例えば路面領域を検出する等の事前処理を行って、判定枠を走査する範囲を制限するようにしてもよい。
【００６４】
また、上記実施の形態では、識別対象物として歩行者を識別する対象物識別装置に、本発明を適用した場合を例に説明したが、識別対象物は、自動車や二輪車等でもよい。
【００６５】
なお、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムをＣＤＲＯＭ等の記憶媒体に格納して提供することも可能である。
【符号の説明】
【００６６】
１０、２１０ 対象物識別装置
１２ 撮像装置
１４、２１４ コンピュータ
１６ 表示装置
１８ 投光装置
２０ 露光条件設定部
２２、２２２ ウインドウ画像抽出部
２４ ウインドウ画像選択部
２６ 識別モデル記憶部
２８ 識別部
３０ 表示制御部
３４ 投光制御部
３６ 差分画像生成部
３８ 差分画像選択部
【特許請求の範囲】
【請求項１】
各々異なる露光条件で撮像された複数の撮像画像を取得する取得手段と、
前記取得手段により取得した複数の撮像画像の各々に判定枠を設定し、該判定枠の位置及びサイズを変更しながら判定枠内の画像をウインドウ画像として抽出する抽出手段と、
前記複数の撮像画像の各々の同一位置から抽出された同一サイズのウインドウ画像の各々から、該ウインドウ画像の各々の輝度分布に基づいて、対象物を識別し易いウインドウ画像を選択するウインドウ画像選択手段と、
前記ウインドウ画像選択手段により選択されたウインドウ画像と前記対象物を識別するために予め生成された識別モデルとに基づいて、前記ウインドウ画像が前記対象物を表す画像か否かを識別する識別手段と、
を含む対象物識別装置。
【請求項２】
前記取得手段は、投光時に各々異なる露光条件で撮像された複数の撮像画像、及び非投光時に前記各々異なる露光条件で撮像された複数の撮像画像を取得し、
前記取得手段により取得された同一の露光条件の投光時の撮像画像と非投光時の撮像画像との差分画像を生成する生成手段を含み、
前記抽出手段は、前記差分画像の各々からウインドウ画像を抽出する
請求項１記載の対象物識別装置。
【請求項３】
各々異なる露光条件で撮像された複数の撮像画像を取得する取得手段と、
前記取得手段により取得した複数の撮像画像の各々から、判定枠のサイズが小さいほど明るい撮像画像を選択する撮像画像選択手段と、
前記撮像画像選択手段により選択された撮像画像に前記判定枠を設定し、該判定枠の位置を変更しながら判定枠内の画像をウインドウ画像として抽出する抽出手段と、
前記抽出手段により抽出されたウインドウ画像と前記対象物を識別するために予め生成された識別モデルとに基づいて、前記ウインドウ画像が前記対象物を表す画像か否かを識別する識別手段と、
を含む対象物識別装置。
【請求項４】
前記取得手段は、投光時に各々異なる露光条件で撮像された複数の撮像画像、及び非投光時に前記各々異なる露光条件で撮像された複数の撮像画像を取得し、
前記取得手段により取得された同一の露光条件の投光時の撮像画像と非投光時の撮像画像との差分画像を生成する生成手段を含み、
前記撮像画像選択手段は、前記差分画像の各々から対象物を識別し易い差分画像を選択する
請求項３記載の対象物識別装置。
【請求項５】
前記露光条件を、投光強度異ならせることにより異ならせた請求項１〜請求項４のいずれか１項記載の対象物識別装置。
【請求項６】
前記露光条件を、絞り、露光時間、及びゲインのいずれか１つを異ならせると共に、投光強度を異ならせることにより異ならせた請求項１〜請求項５のいずれか１項記載の対象物識別装置。
【請求項７】
コンピュータを、
各々異なる露光条件で撮像された複数の撮像画像を取得する取得手段、
前記取得手段により取得した複数の撮像画像の各々に判定枠を設定し、該判定枠の位置及びサイズを変更しながら判定枠内の画像をウインドウ画像として抽出する抽出手段、
前記複数の撮像画像の各々の同一位置から抽出された同一サイズのウインドウ画像の各々から、該ウインドウ画像の各々の輝度分布に基づいて、対象物を識別し易いウインドウ画像を選択するウインドウ画像選択手段、及び
前記ウインドウ画像選択手段により選択されたウインドウ画像と前記対象物を識別するために予め生成された識別モデルとに基づいて、前記ウインドウ画像が前記対象物を表す画像か否かを識別する識別手段
として機能させるための対象物識別プログラム。
【請求項８】
コンピュータを、
各々異なる露光条件で撮像された複数の撮像画像を取得する取得手段、
前記取得手段により取得した複数の撮像画像の各々から、判定枠のサイズが小さいほど明るい撮像画像を選択する撮像画像選択手段、
前記撮像画像選択手段により選択された撮像画像に前記判定枠を設定し、該判定枠の位置を変更しながら判定枠内の画像をウインドウ画像として抽出する抽出手段、及び
前記抽出手段により抽出されたウインドウ画像と前記対象物を識別するために予め生成された識別モデルとに基づいて、前記ウインドウ画像が前記対象物を表す画像か否かを識別する識別手段
として機能させるための対象物識別プログラム。
【請求項９】
コンピュータを、請求項１〜請求項６のいずれか１項記載の対象物識別装置を構成する各手段として機能させるための対象物識別プログラム。
【請求項１】
各々異なる露光条件で撮像された複数の撮像画像を取得する取得手段と、
前記取得手段により取得した複数の撮像画像の各々に判定枠を設定し、該判定枠の位置及びサイズを変更しながら判定枠内の画像をウインドウ画像として抽出する抽出手段と、
前記複数の撮像画像の各々の同一位置から抽出された同一サイズのウインドウ画像の各々から、該ウインドウ画像の各々の輝度分布に基づいて、対象物を識別し易いウインドウ画像を選択するウインドウ画像選択手段と、
前記ウインドウ画像選択手段により選択されたウインドウ画像と前記対象物を識別するために予め生成された識別モデルとに基づいて、前記ウインドウ画像が前記対象物を表す画像か否かを識別する識別手段と、
を含む対象物識別装置。
【請求項２】
前記取得手段は、投光時に各々異なる露光条件で撮像された複数の撮像画像、及び非投光時に前記各々異なる露光条件で撮像された複数の撮像画像を取得し、
前記取得手段により取得された同一の露光条件の投光時の撮像画像と非投光時の撮像画像との差分画像を生成する生成手段を含み、
前記抽出手段は、前記差分画像の各々からウインドウ画像を抽出する
請求項１記載の対象物識別装置。
【請求項３】
各々異なる露光条件で撮像された複数の撮像画像を取得する取得手段と、
前記取得手段により取得した複数の撮像画像の各々から、判定枠のサイズが小さいほど明るい撮像画像を選択する撮像画像選択手段と、
前記撮像画像選択手段により選択された撮像画像に前記判定枠を設定し、該判定枠の位置を変更しながら判定枠内の画像をウインドウ画像として抽出する抽出手段と、
前記抽出手段により抽出されたウインドウ画像と前記対象物を識別するために予め生成された識別モデルとに基づいて、前記ウインドウ画像が前記対象物を表す画像か否かを識別する識別手段と、
を含む対象物識別装置。
【請求項４】
前記取得手段は、投光時に各々異なる露光条件で撮像された複数の撮像画像、及び非投光時に前記各々異なる露光条件で撮像された複数の撮像画像を取得し、
前記取得手段により取得された同一の露光条件の投光時の撮像画像と非投光時の撮像画像との差分画像を生成する生成手段を含み、
前記撮像画像選択手段は、前記差分画像の各々から対象物を識別し易い差分画像を選択する
請求項３記載の対象物識別装置。
【請求項５】
前記露光条件を、投光強度異ならせることにより異ならせた請求項１〜請求項４のいずれか１項記載の対象物識別装置。
【請求項６】
前記露光条件を、絞り、露光時間、及びゲインのいずれか１つを異ならせると共に、投光強度を異ならせることにより異ならせた請求項１〜請求項５のいずれか１項記載の対象物識別装置。
【請求項７】
コンピュータを、
各々異なる露光条件で撮像された複数の撮像画像を取得する取得手段、
前記取得手段により取得した複数の撮像画像の各々に判定枠を設定し、該判定枠の位置及びサイズを変更しながら判定枠内の画像をウインドウ画像として抽出する抽出手段、
前記複数の撮像画像の各々の同一位置から抽出された同一サイズのウインドウ画像の各々から、該ウインドウ画像の各々の輝度分布に基づいて、対象物を識別し易いウインドウ画像を選択するウインドウ画像選択手段、及び
前記ウインドウ画像選択手段により選択されたウインドウ画像と前記対象物を識別するために予め生成された識別モデルとに基づいて、前記ウインドウ画像が前記対象物を表す画像か否かを識別する識別手段
として機能させるための対象物識別プログラム。
【請求項８】
コンピュータを、
各々異なる露光条件で撮像された複数の撮像画像を取得する取得手段、
前記取得手段により取得した複数の撮像画像の各々から、判定枠のサイズが小さいほど明るい撮像画像を選択する撮像画像選択手段、
前記撮像画像選択手段により選択された撮像画像に前記判定枠を設定し、該判定枠の位置を変更しながら判定枠内の画像をウインドウ画像として抽出する抽出手段、及び
前記抽出手段により抽出されたウインドウ画像と前記対象物を識別するために予め生成された識別モデルとに基づいて、前記ウインドウ画像が前記対象物を表す画像か否かを識別する識別手段
として機能させるための対象物識別プログラム。
【請求項９】
コンピュータを、請求項１〜請求項６のいずれか１項記載の対象物識別装置を構成する各手段として機能させるための対象物識別プログラム。
【図１】
【図５】
【図６】
【図９】
【図２】
【図３】
【図４】
【図７】
【図８】
【図５】
【図６】
【図９】
【図２】
【図３】
【図４】
【図７】
【図８】
【公開番号】特開２０１２−８８７８５（Ｐ２０１２−８８７８５Ａ）
【公開日】平成２４年５月１０日（２０１２．５．１０）
【国際特許分類】
【出願番号】特願２０１０−２３２７６７（Ｐ２０１０−２３２７６７）
【出願日】平成２２年１０月１５日（２０１０．１０．１５）
【出願人】（０００００３６０９）株式会社豊田中央研究所 (4,200)
【Ｆターム（参考）】
【公開日】平成２４年５月１０日（２０１２．５．１０）
【国際特許分類】
【出願日】平成２２年１０月１５日（２０１０．１０．１５）
【出願人】（０００００３６０９）株式会社豊田中央研究所 (4,200)
【Ｆターム（参考）】
[ Back to top ]