画像識別装置及びプログラム
【課題】対象物検出の検出性能が低い場合であっても、検出対象物を表わす画像を得ることができるようにする。
【解決手段】対象物検出部２６によって、前方撮像装置１２によって撮像された画像から、歩行者候補領域を抽出すると共に、各歩行者候補領域の評価値を算出する。運転行動判定部３２によって、歩行者候補領域が表わす物体との衝突を回避するためのドライバの運転行動があったか否かを判定する。歩行者画像識別部３４によって、抽出された歩行者候補領域の各々について、算出された評価値、及び運転行動判定部３２による判定結果に基づいて、歩行者画像であるか否かを識別する。
【解決手段】対象物検出部２６によって、前方撮像装置１２によって撮像された画像から、歩行者候補領域を抽出すると共に、各歩行者候補領域の評価値を算出する。運転行動判定部３２によって、歩行者候補領域が表わす物体との衝突を回避するためのドライバの運転行動があったか否かを判定する。歩行者画像識別部３４によって、抽出された歩行者候補領域の各々について、算出された評価値、及び運転行動判定部３２による判定結果に基づいて、歩行者画像であるか否かを識別する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像識別装置及びプログラムに係り、特に、撮像した画像の対象物候補領域が、検出対象物を表わす画像であるか否かを識別する画像識別装置及びプログラムに関する。
【背景技術】
【０００２】
従来より、対象物検出部の検出結果とドライバの運転操作および距離画像情報とから教師データの切り出しを行うことで、自動的に教師データを収集する画像処理システムが知られている（特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−２０４１０２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記の特許文献１に記載の技術では、対象物検出部が正しく検出したと認めない場合は、教師データに追加されないため、対象物検出部の検出性能が低い場合には有効に機能しない、という問題がある。
【０００５】
本発明は、上記の問題点を解決するためになされたもので、対象物検出の検出性能が低い場合であっても、検出対象物を表わす画像を得ることができる画像識別装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記の目的を達成するために第１の発明に係る画像識別装置は、自車両の前方を撮像する撮像手段と、ドライバが自車両を操作したときの操作状態、又は自車両の走行状態を検出する検出手段と、前記撮像手段によって撮像された画像から、検出対象物を表わす領域の候補である対象物候補領域を抽出すると共に、前記対象物候補領域の前記検出対象物らしさの度合いを表わす評価値を算出する対象物検出手段と、前記対象物検出手段によって抽出された前記対象物候補領域の各々について、前記検出手段によって検出された前記操作状態又は前記走行状態に基づいて、前記対象物候補領域が表わす物体との衝突を回避するための前記ドライバの運転行動があったか否かを判定する回避行動判定手段と、前記対象物検出手段によって抽出された前記対象物候補領域の各々について、前記対象物検出手段によって算出された前記対象物候補領域の前記評価値、及び前記回避行動判定手段による前記対象物候補領域に対する判定結果に基づいて、前記対象物候補領域が前記検出対象物を表わす画像であるか否かを識別する識別手段とを含んで構成されている。
【０００７】
第２の発明に係るプログラムは、コンピュータを、自車両の前方を撮像する撮像手段によって撮像された画像から、検出対象物を表わす領域の候補である対象物候補領域を抽出すると共に、前記対象物候補領域の前記検出対象物らしさの度合いを表わす評価値を算出する対象物検出手段、前記対象物検出手段によって抽出された前記対象物候補領域の各々について、ドライバが自車両を操作したときの操作状態、又は自車両の走行状態を検出する検出手段によって検出された前記操作状態又は前記走行状態に基づいて、前記対象物候補領域が表わす物体との衝突を回避するための前記ドライバの運転行動があったか否かを判定する回避行動判定手段、及び前記対象物検出手段によって抽出された前記対象物候補領域の各々について、前記対象物検出手段によって算出された前記対象物候補領域の前記評価値、及び前記回避行動判定手段による前記対象物候補領域に対する判定結果に基づいて、前記対象物候補領域が前記検出対象物を表わす画像であるか否かを識別する識別手段として機能させるためのプログラムである。
【０００８】
第１の発明及び第２の発明によれば、撮像手段によって、自車両の前方を撮像し、検出手段によって、ドライバが自車両を操作したときの操作状態、又は自車両の走行状態を検出する。
【０００９】
そして、対象物検出手段によって、撮像手段によって撮像された画像から、検出対象物を表わす領域の候補である対象物候補領域を抽出すると共に、対象物候補領域の検出対象物らしさの度合いを表わす評価値を算出する。回避行動判定手段によって、対象物検出手段によって抽出された対象物候補領域の各々について、検出手段によって検出された操作状態又は走行状態に基づいて、対象物候補領域が表わす物体との衝突を回避するためのドライバの運転行動があったか否かを判定する。
【００１０】
そして、識別手段によって、対象物検出手段によって抽出された対象物候補領域の各々について、対象物検出手段によって算出された対象物候補領域の評価値、及び回避行動判定手段による対象物候補領域に対する判定結果に基づいて、対象物候補領域が検出対象物を表わす画像であるか否かを識別する。
【００１１】
このように、対象物候補領域の各々について、対象物検出手段によって算出された評価値、及び対象物候補領域が表わす物体との衝突を回避するためのドライバの運転行動があったか否かの判定結果に基づいて、対象物候補領域が検出対象物を表わす画像であるか否かを識別することにより、対象物検出の検出性能が低い場合であっても、検出対象物を表わす画像を得ることができる。
【００１２】
第１の発明に係る画像識別装置は、前記対象物検出手段によって抽出された前記対象物候補領域の各々について、前記検出手段によって検出された自車両の走行状態に基づいて、前記対象物候補領域が表わす物体と自車両との衝突危険度を算出する衝突危険度算出手段を更に含み、前記回避行動判定手段は、前記検出手段によって検出された前記操作状態又は前記走行状態に基づいて、物体との衝突を回避するための前記ドライバの運転行動を検出し、前記対象物検出手段によって抽出された前記対象物候補領域の各々について、前記衝突危険度算出手段によって算出された前記対象物候補領域に対する衝突危険度が所定値以上であって、かつ、前記ドライバの運転行動を検出した場合、前記対象物候補領域が表わす物体との衝突を回避するための前記ドライバの運転行動があったと判定するようにすることができる。これによって、対象物候補領域が表わす物体との衝突を回避するためのドライバの運転行動があったか否かを精度よく判定することができる。
【００１３】
第１の発明に係る識別手段は、前記対象物検出手段によって算出された前記対象物候補領域の前記評価値が第１閾値以上であるとき、前記対象物候補領域が前記検出対象物を表わす画像であると識別し、前記対象物候補領域の前記評価値が第１閾値より小さい第２閾値未満であるとき、前記対象物候補領域が前記検出対象物を表わす画像でないと識別し、前記対象物候補領域の前記評価値が第１閾値未満であって、かつ、第２閾値以上であるとき、前記回避行動判定手段によって前記対象物候補領域が表わす物体との衝突を回避するための前記ドライバの運転行動があったと判定されると、前記対象物候補領域が前記検出対象物を表わす画像であると識別するようにすることができる。これによって、対象物検出手段によって算出された評価値が低い場合であっても、検出対象物を表わす画像を得ることができる。
【００１４】
第３の発明に係る画像識別装置は、自車両の前方を撮像する撮像手段と、自車両のドライバの視線方向を計測する計測手段と、前記撮像手段によって撮像された画像から、検出対象物を表わす領域の候補である対象物候補領域を抽出すると共に、前記対象物候補領域の前記検出対象物らしさの度合いを表わす評価値を算出する対象物検出手段と、前記対象物検出手段によって抽出された前記対象物候補領域の各々について、前記計測手段によって計測されたドライバの視線方向が、前記対象物候補領域に対応する視線方向の範囲内に所定時間以上継続して存在したか否かを判定する視線判定手段と、前記対象物検出手段によって抽出された前記対象物候補領域の各々について、前記対象物検出手段によって算出された前記対象物候補領域の前記評価値、及び前記視線判定手段による前記対象物候補領域に対する判定結果に基づいて、前記対象物候補領域が前記検出対象物を表わす画像であるか否かを識別する識別手段とを含んで構成されている。
【００１５】
第４の発明に係るプログラムは、コンピュータを、自車両のドライバの視線方向を計測する計測手段、自車両の前方を撮像する撮像手段によって撮像された画像から、検出対象物を表わす領域の候補である対象物候補領域を抽出すると共に、前記対象物候補領域の前記検出対象物らしさの度合いを表わす評価値を算出する対象物検出手段、前記対象物検出手段によって抽出された前記対象物候補領域の各々について、前記計測手段によって計測されたドライバの視線方向が、前記対象物候補領域に対応する視線方向の範囲内に所定時間以上継続して存在したか否かを判定する視線判定手段、及び前記対象物検出手段によって抽出された前記対象物候補領域の各々について、前記対象物検出手段によって算出された前記対象物候補領域の前記評価値、及び前記視線判定手段による前記対象物候補領域に対する判定結果に基づいて、前記対象物候補領域が前記検出対象物を表わす画像であるか否かを識別する識別手段として機能させるためのプログラムである。
【００１６】
第３の発明及び第４の発明によれば、撮像手段によって、自車両の前方を撮像し、計測手段によって、自車両のドライバの視線方向を計測する。
【００１７】
そして、対象物検出手段によって、撮像手段によって撮像された画像から、検出対象物を表わす領域の候補である対象物候補領域を抽出すると共に、対象物候補領域の検出対象物らしさの度合いを表わす評価値を算出する。視線判定手段によって、対象物検出手段によって抽出された対象物候補領域の各々について、計測手段によって計測されたドライバの視線方向が、対象物候補領域に対応する視線方向の範囲内に所定時間以上継続して存在したか否かを判定する。
【００１８】
そして、識別手段によって、対象物検出手段によって抽出された対象物候補領域の各々について、対象物検出手段によって算出された対象物候補領域の評価値、及び視線判定手段による対象物候補領域に対する判定結果に基づいて、対象物候補領域が検出対象物を表わす画像であるか否かを識別する。
【００１９】
このように、対象物候補領域の各々について、対象物検出手段によって算出された評価値、及びドライバの視線方向が対象物候補領域に対応する視線方向の範囲内に所定時間以上継続して存在したか否かの判定結果に基づいて、対象物候補領域が検出対象物を表わす画像であるか否かを識別することにより、対象物検出の検出性能が低い場合であっても、検出対象物を表わす画像を得ることができる。
【００２０】
第３の発明に係る識別手段は、前記対象物検出手段によって算出された前記対象物候補領域の前記評価値が第１閾値以上であるとき、前記対象物候補領域が前記検出対象物を表わす画像であると識別し、前記対象物候補領域の前記評価値が第１閾値より小さい第２閾値未満であるとき、前記対象物候補領域が前記検出対象物を表わす画像でないと識別し、前記対象物候補領域の前記評価値が第１閾値未満であって、かつ、第２閾値以上であるとき、前記視線判定手段によって前記ドライバの視線方向が前記対象物候補領域に対応する視線方向の範囲内に所定時間以上継続して存在したと判定されると、前記対象物候補領域が、前記検出対象物を表わす画像であると識別するようにすることができる。これによって、対象物検出手段によって算出された評価値が低い場合であっても、検出対象物を表わす画像を得ることができる。
【００２１】
第３の発明に係る画像識別装置は、前記対象物検出手段によって抽出された前記対象物候補領域の各々について、前記検出手段によって検出された自車両の走行状態に基づいて、前記対象物候補領域が表わす物体と自車両との衝突危険度を算出する衝突危険度算出手段を更に含み、前記識別手段は、前記対象物検出手段によって抽出された前記対象物候補領域の各々について、前記対象物検出手段によって算出された前記対象物候補領域の前記評価値、前記視線判定手段による前記対象物候補領域に対する判定結果、及び前記衝突危険度算出手段によって算出された前記対象物候補領域に対する衝突危険度に基づいて、前記対象物候補領域が、前記検出対象物を表わす画像であるか否かを識別するようにすることができる。これによって、対象物候補領域が、検出対象物を表わす画像であるか否かをより精度よく識別することができる。
【００２２】
第１の発明に係る画像識別装置は、自車両のドライバの視線方向を計測する計測手段と、前記対象物検出手段によって抽出された前記対象物候補領域の各々について、前記計測手段によって計測されたドライバの視線方向が、前記対象物候補領域に対応する視線方向の範囲内に所定時間以上継続して存在したか否かを判定する視線判定手段と、を更に含み、前記識別手段は、前記対象物検出手段によって抽出された前記対象物候補領域の各々について、前記対象物検出手段によって算出された前記対象物候補領域の前記評価値、前記回避行動判定手段による前記対象物候補領域に対する判定結果、及び前記視線判定手段による前記対象物候補領域に対する判定結果に基づいて、前記対象物候補領域が、前記検出対象物を表わす画像であるか否かを識別するようにすることができる。これによって、対象物検出の検出性能が低い場合であっても、検出対象物を表わす画像を得ることができる。
【００２３】
上記の視線判定手段を含む第１の発明において、前記識別手段は、前記対象物検出手段によって算出された前記対象物候補領域の前記評価値が第１閾値以上であるとき、前記対象物候補領域が前記検出対象物を表わす画像であると識別し、前記対象物候補領域の前記評価値が第１閾値未満であって、かつ、第１閾値より小さい第２閾値以上であるとき、前記回避行動判定手段によって前記対象物候補領域が表わす物体との衝突を回避するための前記ドライバの運転行動があったと判定され、又は、前記視線判定手段によって前記ドライバの視線方向が前記対象物候補領域に対応する視線方向の範囲内に所定時間以上継続して存在したと判定されると、前記対象物候補領域が前記検出対象物を表わす画像であると識別し、前記対象物候補領域の前記評価値が第２閾値より小さい第３閾値未満であるとき、前記対象物候補領域が前記検出対象物を表わす画像でないと識別し、前記対象物候補領域の前記評価値が第２閾値未満であって、かつ、第３閾値以上であるとき、前記回避行動判定手段によって前記対象物候補領域が表わす物体との衝突を回避するための前記ドライバの運転行動があったと判定され、かつ、前記視線判定手段によって前記ドライバの視線方向が前記対象物候補領域に対応する視線方向の範囲内に所定時間以上継続して存在したと判定されると、前記対象物候補領域が前記検出対象物を表わす画像であると識別するようにすることができる。これによって、対象物検出手段によって算出された評価値が低い場合であっても、検出対象物を表わす画像を得ることができる。
【００２４】
上記の対象物検出手段は、前記検出対象物を検出するために予め生成された対象物モデルと前記対象物候補領域とを比較することにより、前記対象物候補領域の前記評価値を算出するようにすることができる。
【００２５】
また、上記の画像識別装置は、前記識別手段によって前記検出対象物を表わす画像であると識別された前記対象物候補領域の画像を複数記憶した記憶手段と、前記記憶手段に記憶された前記複数の画像に基づいて、前記対象物モデルを学習する学習手段と、を更に含み、前記対象物検出手段は、前記学習手段によって学習された前記対象物モデルと前記対象物候補領域とを比較することにより、前記対象物候補領域の前記評価値を算出するようにすることができる。これによって、対象物検出の検出性能が低い場合であっても、検出対象物を表わす画像を得て、対象物モデルを学習することができ、対象物検出の検出性能を向上させることができる。
【発明の効果】
【００２６】
以上説明したように、本発明の画像識別装置及びプログラムによれば、対象物検出の検出性能が低い場合であっても、検出対象物を表わす画像を得ることができる、という効果が得られる。
【図面の簡単な説明】
【００２７】
【図１】本発明の第１の実施の形態に係る対象物検出装置の構成を示す概略図である。
【図２】撮像画像を示すイメージ図である。
【図３】本発明の第１の実施の形態に係る対象物検出装置の対象物検出部の構成を示す図である。
【図４】本発明の第１の実施の形態に係る対象物検出装置のコンピュータにおける歩行者画像収集処理ルーチンの内容を示すフローチャートである。
【図５】本発明の第２の実施の形態に係る対象物検出装置の構成を示す概略図である。
【図６】視線方向の計測方法を説明するための図である。
【図７】本発明の第２の実施の形態に係る対象物検出装置のコンピュータにおける歩行者画像収集処理ルーチンの内容を示すフローチャートである。
【図８】本発明の第３の実施の形態に係る対象物検出装置の構成を示す概略図である。
【図９】本発明の第３の実施の形態に係る対象物検出装置のコンピュータにおける歩行者画像収集処理ルーチンの内容を示すフローチャートである。
【図１０】本発明の第３の実施の形態に係る対象物検出装置のコンピュータにおける歩行者画像収集処理ルーチンの内容を示すフローチャートである。
【発明を実施するための形態】
【００２８】
以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、撮像画像から、歩行者を検出する対象物検出装置に本発明を適用した場合を例に説明する。
【００２９】
図１に示すように、第１の実施の形態に係る対象物検出装置１０は、車両（図示省略）に取り付けられ、かつ、車両の前方を撮像して画像を生成する前方撮像装置１２と、自車両の車速を検出する車速センサ１４と、ブレーキペダル及びアクセルペダルの各々の操作量を検出するペダルセンサ１６と、ドライバによるステアリングの操作量を検出する操舵センサ１８と、前方撮像装置１２から得られる撮像画像から歩行者画像を収集して歩行者モデルを学習すると共に、前方撮像装置１２から得られる撮像画像から歩行者を表わす領域を検出するコンピュータ２０と、コンピュータ２０による検出結果を表示する表示装置７０とを備えている。
【００３０】
前方撮像装置１２は、車両の前方を撮像し、画像の画像信号を生成する撮像部（図示省略）と、撮像部で生成された画像信号をＡ／Ｄ変換するＡ／Ｄ変換部（図示省略）と、Ａ／Ｄ変換された画像信号を一時的に格納するための画像メモリ（図示省略）とを備えている。前方撮像装置１２は、自車両の前方を、所定間隔で繰り返し撮像する。
【００３１】
また、車速センサ１４、ペダルセンサ１６、及び操舵センサ１８の各々は、所定間隔で検出値をコンピュータ２０に出力する。
【００３２】
コンピュータ２０は、ＣＰＵと、ＲＡＭと、後述する歩行者画像収集処理ルーチンを実行するためのプログラムを記憶したＲＯＭとを備え、機能的には次に示すように構成されている。コンピュータ２０は、前方撮像装置１２から撮像された画像を取得する画像取得部２５と、画像取得部２５によって取得した画像から、歩行者候補領域を抽出すると共に、歩行者候補領域内の物体の歩行者らしさを表す評価値を算出する対象物検出部２６と、車速センサ１４によって検出された自車両の車速を用いて、歩行者候補領域内の物体に対するＴＴＣ（Ｔｉｍｅ−ｔｏ−Ｃｏｌｌｉｓｉｏｎ：衝突余裕時間）を衝突危険度として算出する危険度算出部２８と、ペダルセンサ１６及び操舵センサ１８の出力に基づいて、前方に存在する物体との衝突を回避するための運転行動を検出する回避行動検出部３０と、歩行者候補領域内の物体との衝突を回避するための運転行動があったか否かを判定する運転行動判定部３２と、各歩行者候補領域について、対象物検出部２６で算出された評価値及び運転行動判定部３２の判定結果に基づいて、歩行者画像であるか否かを識別する歩行者画像識別部３４と、歩行者画像であると識別された歩行者候補領域の画像を、後述する歩行者画像データベース３８に記憶させる記憶制御部３６と、収集された歩行者画像を記憶した歩行者画像データベース３８とを備えている。なお、運転行動判定部３２は、回避行動判定手段の一例であり、歩行者画像データベース３８が、記憶手段の一例である。
【００３３】
画像取得部２５は、前方撮像装置１２から出力されたアナログ信号に対して適切な画像処理（ガンマ調整、濃度変換、ノイズ除去など）を施して、図２に示すようなデジタル画像を生成する。
【００３４】
対象物検出部２６は、図３に示すように、画像取得部２５によって取得した入力画像から所定領域の画像、すなわちウインドウで囲まれた領域内のウインドウ画像を各々抽出するウインドウ画像抽出部４０と、各ウインドウ画像を適切なサイズの画像に変換する画像サイズ変換部４２と、各ウインドウ画像について特徴量を抽出する特徴量抽出部４４と、特徴量抽出部４４により抽出された特徴量と歩行者モデル記憶部５８に記憶された歩行者モデルの特徴量とを比較して、各ウインドウ画像内の物体の歩行者らしさを表す評価値を算出する評価値算出部４６と、評価値算出部４６で算出された評価値に基づいて、歩行者候補領域を抽出する歩行者候補抽出部４８とを備えている。
【００３５】
ウインドウ画像抽出部４０は、入力画像から予め定められたサイズのウインドウ（探索ウインドウと呼称）を１ステップにつき、予め定められた移動量（探索ステップと呼称）だけ移動させながら各ステップ毎に画像を切り取る。ここでは、切り取った画像をウインドウ画像と呼称する。ウインドウ画像のサイズ（すなわち探索ウインドウのサイズ）については、入力画像上に様々なサイズで表れる歩行者を検出するために、複数種類の大きさ及び形状の少なくとも一方が異なるサイズが設定されており、ウインドウ画像抽出部４０は、設定されている全てのサイズの探索ウインドウを用いてウインドウ画像を抽出する。
【００３６】
画像サイズ変換部４２は、ウインドウ画像のサイズを、適切なサイズにするように、所定サイズの画像に変換する。これは、車両近傍に位置する歩行者は画像中では大きく観測され、遠方にいる歩行者は画像中で小さく観測されるため、対象物検出部２６が検出可能な大きさなるように、ウインドウ画像のサイズを変更する。
【００３７】
特徴量抽出部４４は、ウインドウ画像の特徴量を算出する。例えば、特徴量として、エッジ方向のヒストグラム（ＨＯＧ）を用いる。なお、特徴量として、エッジ特徴、4方向面特徴、ハール特徴などの公知の特徴量を用いてもよい。
【００３８】
評価値算出部４６は、後述する歩行者モデル記憶部５８に記憶された歩行者モデルを参照して、ウインドウ画像の歩行者らしさを表す評価値を算出する。以下では、歩行者モデルとして、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）識別器のＳＶＭモデルを用いた場合について説明する。
【００３９】
評価値は、特徴量抽出部４４で算出されたウインドウ画像の特徴量と歩行者モデルが表わす境界面との距離に応じて、ウインドウ画像の特徴量が特徴空間において境界面から対象物（ポジティブ）側に離れるほど評価値は大きくなり、境界面から非対象物（ネガティブ）側に離れるほど評価値は小さくなる。また、評価値は正規化された値であり、−１〜１の範囲の値をとり、１に近いほど歩行者らしく、−１に近いほど歩行者らしくないことを示す。
【００４０】
歩行者候補抽出部４８は、評価値が所定値以上となるウインドウ画像を、歩行者候補領域として各々抽出する。
【００４１】
一般的には、歩行者らしさの第１閾値Ｔｈ１を０以上１以下の例えば０．３に設定し、評価値が第１閾値Ｔｈ１＝０．３以上であれば歩行者、第１閾値Ｔｈ１未満であれば非歩行者画像と識別する。図２では、例として４つの歩行者候補領域２１〜２４が抽出されており、歩行者候補領域２１および歩行者候補領域２２は評価値が第１閾値Ｔｈ１以上であるため実線矩形で歩行者を囲っている。一方、歩行者候補領域２３および２４については、評価値が−１に近くはないが、第１閾値Ｔｈ１未満であって、かつ、第２閾値Ｔｈ２以上（例えば０．１)であり、歩行者らしさが比較的高いため破線矩形で歩行者を囲っている。
【００４２】
ここで、歩行者モデルの学習の初期段階では、評価値算出部４６を用いた対象物検出部２６の検出性能が十分高くないため、歩行者候補領域２１、２２のような正検出がある一方、歩行者候補領域２３のような歩行者に対しても低い評価値を算出し、逆に歩行者候補領域２４のように明らかに歩行者でない対象に対しても、−１に比べれば高い評価値を算出してしまう。
【００４３】
このため、本実施の形態では、歩行者候補抽出部４８によって、評価値が、できるだけ低い閾値（例えば、−０．３）以上となるウインドウ画像を歩行者候補領域として抽出し、後段の歩行者画像識別部３４によって、運転行動判定部３２の判定結果を用いて、正しい歩行者候補領域であるか否かの識別を行うこととする。
【００４４】
危険度算出部２８は、対象物検出部２６において抽出された歩行者候補領域に基づいて、各歩行者候補領域に対して、当該歩行者候補領域が表わす物体と自車両との距離、当該歩行者候補領域が表わす物体の推定歩行速度及び移動方向を求める。危険度算出部２８は、車速センサ１４によって検出された自車両の車速と、求めた当該歩行者候補領域が表わす物体と自車両との距離と、当該歩行者候補領域が表わす物体の推定歩行速度及び移動方向とに基づいて、衝突危険度としてＴＴＣを算出する。なお、当該歩行者候補領域が表わす物体と自車両との距離については、当該歩行者候補領域の大きさ及び位置に基づいて、当該歩行者候補領域が表わす物体が存在する位置を推定し、推定した位置に基づいて、自車両との距離を求めるようにすればよい。また、当該歩行者候補領域が表わす物体の推定歩行速度及び移動方向については、対象物検出部２６によって前回抽出された当該歩行者候補領域との変化に基づいて、当該歩行者候補領域が表わす物体の推定歩行速度及び移動方向を求めればよい。
【００４５】
回避行動検出部３０は、ペダルセンサ１６によって検出されたブレーキペダルの操作量の変化及びアクセルペダルの操作量の変化に基づいて、アクセルオフあるいはブレーキオンがあったと判断された場合には、ドライバの減速による回避行動が検出されたとする。また、回避行動検出部３０は、操舵センサ１８によって検出されたステアリングの操作量の変化に基づいて、ドライバによるステアリングの操作があったと判断された場合には、ドライバの操舵による回避行動が検出されたとする。なお、ブレーキペダルの操作量の変化及びアクセルペダルの操作量の変化は、所定時間前からの現時点までのペダルセンサ１６の出力の時系列データから得られる。また、ステアリングの操作量の変化は、所定時間前からの現時点までの操舵センサ１８の出力の時系列データから得られる。
【００４６】
運転行動判定部３２は、各歩行者候補領域について、危険度算出部２８によって当該歩行者候補領域について算出されたＴＴＣが、閾値（例えば、２秒）以下である場合には、自車両と歩行者候補領域が表わす物体との衝突可能性が高いと判定する。また、運転行動判定部３２は、回避行動検出部３０によって回避行動が検出された場合には、衝突可能性が高いと判定した歩行者候補領域について、当該候補領域が表わす物体との衝突を回避するための運転行動の変化があったと判定する。
【００４７】
ＴＴＣが大きな値（例えば８秒）と算出された歩行者候補領域については、この時点で衝突の可能性が高いとは判断されないため、回避行動が検出された場合であっても、当該歩行者候補領域が表わす物体に対する、ドライバの運転行動の変化があったとは判定しない。
【００４８】
ここで、本実施の形態の原理について説明する。
【００４９】
対象物検出装置１０の初期状態においては、対象物検出部２６で用いる歩行者モデルは、少ない教師データを用いて学習されているため、十分な検出性能が得られない。しかしながら、この初期段階で必要な教師データは少量であるため、教師データ切り出しのための時間と労力は少ない。
【００５０】
次に、対象物検出装置１０を搭載した車両が実際に走行すると、対象物検出部２６により、歩行者を表わす画像が検出される。その検出された歩行者画像を教師画像とすることで自動的に教師画像データベースが構築できる。
【００５１】
しかしながら、初期状態の対象物検出部２６では、十分な検出性能が得られないため、未検出となる事例が多く発生する。対象物検出部２６は、画像中から検出した歩行者候補領域と、検出すべき歩行者らしさを示す評価値を出力し、一般に評価値が高いほど、歩行者候補領域に誤りが少ない。このため、ある閾値を設定し、その閾値以上の場合に、歩行者候補領域が正しい検出であるとみなすが、十分な検出性能が得られていない状態では、正しく歩行者を表わしている歩行者候補領域に対しても低い評価値になることがある。一方、閾値を低く設定すると、歩行者でない画像も正しい検出とみなしてしまい、そのままでは、教師データに、歩行者とは異なる画像データが追加されてしまう、という問題がある。
【００５２】
このため、評価値が多少低い場合には、ドライバの運転行動から、歩行者候補領域が正しい歩行者画像であるかどうかの識別を行う。
【００５３】
これは、例えば、車両前方から歩行者候補が検出されたとき、車両と歩行者候補の位置関係及び車両速度から、歩行者との衝突の危険性が高いと判定され、且つ、ドライバがアクセルＯＦＦする、ブレーキを踏むなどの操作をしたときは、前方歩行者との衝突の回避行動をおこしたと認められる。この場合は、対象物検出部２６が検出した歩行者候補は正しい検出結果と考えられ、教師データに加えても問題ない。
【００５４】
以上説明した原理より、本実施の形態では、歩行者画像識別部３４によって、対象物検出部２６において抽出された歩行者候補領域の各々に対して、算出された評価値と、運転行動判定部３２の判定結果とから、歩行者を表わす画像であるか否かを識別する。歩行者画像識別部３４は、歩行者候補領域の各々に対して、当該歩行者候補領域について算出された評価値が第１閾値Ｔｈ１以上である場合、当該歩行者候補領域は歩行者画像であると識別する。例えば、上記図２に示す歩行者候補領域２１、２２の評価値は第１閾値Ｔｈ１以上であるため、歩行者画像であると識別される。
【００５５】
また、歩行者画像識別部３４は、歩行者候補領域の各々に対して、当該歩行者候補領域について算出された評価値が第１閾値Ｔｈ１未満であるが、第２閾値Ｔｈ２以上である場合、運転行動判定部３２によって、当該歩行者候補領域に対して運転行動が変化したと判定されていると、当該歩行者歩候補領域が、歩行者画像であると識別し、当該歩行者候補領域に対して運転行動が変化していないと判定されていると、当該歩行者歩候補領域が、歩行者画像でないと識別する。例えば、上記図２に示す歩行者候補領域２３，２４については、評価値が第１閾値Ｔｈ１未満、第２閾値Ｔｈ２以上であるため、運転行動判定部３２の判定結果を利用し、歩行者候補領域２３に対して運転行動が変化したと考えられるため、歩行者候補領域２３は、歩行者画像であると識別される。
【００５６】
記憶制御部３６は、歩行者画像データベース３８に、歩行者画像であると識別された歩行者候補領域（例えば、歩行者候補領域２１、２２、２３）の画像を追加する。
【００５７】
また、コンピュータ２０は、非歩行者画像を生成する非歩行者画像生成部５０と、生成された非歩行者画像を記憶した非歩行者画像データベース５２とを更に備えている。
【００５８】
非歩行者画像データベース５２は、歩行者が存在するような環境において撮像した画像であって、かつ、歩行者を含まない非歩行者画像を記憶しており、例えば、上記図２に示す画像における歩行者が存在しない領域での画像を、非歩行者画像として記憶している。
【００５９】
非歩行者画像生成部５０は、歩行者画像識別部３４の識別結果に基づいて、歩行者が存在しない画像を収集し、収集した画像中から位置・大きさをランダムに変更して切り出すことで、非歩行者画像を生成する。なお、一般的には、歩行者画像データベース３８に記憶された歩行者画像の数に対して、数倍から数十倍の数の非歩行者画像を生成し、非歩行者画像データベース５２に記憶しておく。
【００６０】
また、コンピュータ２０は、歩行者画像データベース３８に記憶された各歩行者画像、及び非歩行者画像データベース５２に記憶された各非歩行者画像から、画像特徴量を各々抽出する特徴量抽出部５４と、抽出された画像特徴量に基づいて、歩行者画像及び非歩行者画像を学習して、歩行者モデルを生成する学習部５６と、生成された歩行者モデルを記憶する歩行者モデル記憶部５８とを更に備えている。
【００６１】
特徴量抽出部５４は、上述した特徴量抽出部４４と同様に、各歩行者画像および各非歩行者画像における画像特徴量を抽出する。
【００６２】
学習部５６は、上述した評価値算出部４６と同様のＳＶＭ識別器を用いて学習を行う。ここで、特徴量抽出部５４で得られた特徴量ｘとそれに対応するクラスｃの組み合わせからなる学習データの集合をＤと表すと、Ｄは以下の式で表される．
【００６３】
【数１】
【００６４】
ただし、ｐは特徴量ｘの次元数であり、ｃｉ＝１の場合は歩行者、ｃｉ＝−１の場合は非歩行者であることを表している。またｎは学習データの数であり、学習に用いた歩行者画像の数及び非歩行者画像の数の合計値となる。
【００６５】
この学習データの集合Ｄを用いたＳＶＭ識別器の学習を行い、その結果、歩行者モデルが生成される。具体的には、歩行者画像（ポジティブデータ）及び非歩行者画像（ネガティブデータ）を用いて学習することにより、歩行者モデルが、特徴空間における歩行者と非歩行者との境界面（サポートベクタ）として生成される。
【００６６】
また、コンピュータ２０は、歩行者画像識別部３４によって歩行者画像であると識別された歩行者候補領域を、歩行者の検出結果として、表示装置７０に表示させる表示制御部６０を更に備えている。表示制御部６０は、例えば、上記図２に示すように、前方撮像装置１２によって撮像された画像上に、歩行者画像であると識別された歩行者候補領域を示す枠を重畳させて、表示装置７０に表示させる。
【００６７】
次に、本実施の形態に係る対象物検出装置１０の作用について説明する。まず、歩行者を撮像することにより得られた複数の歩行者画像と、歩行者以外を撮像することにより得られた複数の非歩行者画像とを予め用意して、歩行者画像データベース３８及び非歩行者画像データベース５２に格納し、対象物検出装置１０は、歩行者画像データベース３８及び非歩行者画像データベース５２の歩行者画像及び非歩行者画像に基づいて、学習処理を行い、得られた歩行者モデルを、歩行者モデル記憶部５８に記憶する。
【００６８】
そして、対象物検出装置１０を搭載した車両の走行中に、コンピュータ２０において、図４に示す歩行者画像収集処理ルーチンが実行される。なお、歩行者画像収集処理ルーチンは、所定時間毎に繰り返し実行される。
【００６９】
まず、ステップ１００において、前方撮像装置１２から撮像画像を取得し、ステップ１０２において、車速センサ１４、ペダルセンサ１６、及び操舵センサ１８からの各出力を取得する。
【００７０】
そして、ステップ１０４において、上記ステップ１００で取得した撮像画像から得られる各ウインドウ画像に対して、ＳＶＭ識別器を用いて評価値を算出し、評価値が所定値以上となるウインドウ画像を、歩行者候補領域として抽出する。
【００７１】
次のステップ１０６では、上記ステップ１０４で抽出された歩行者候補領域の各々について、前回の実行時に抽出された当該歩行者候補領域との変化、及び上記ステップ１０２で取得した車速とに基づいて、歩行者候補領域が表わす物体に対するＴＴＣを算出する。そして、ステップ１０８において、上記ステップ１０２において所定回数前から現時点までに取得された各種操作量の時系列データに基づいて、衝突を回避する回避行動を検出する。
【００７２】
次のステップ１１０では、上記ステップ１０４で抽出された複数の歩行者候補領域の中から、判定対象の歩行者候補領域を設定する。ステップ１１２では、上記ステップ１０４で算出された、判定対象の歩行者候補領域に対する評価値が、第１閾値Ｔｈ１以上であるか否かを判定する。判定対象の歩行者候補領域に対する評価値が、第１閾値Ｔｈ１以上である場合には、ステップ１１８へ移行するが、一方、判定対象の歩行者候補領域に対する評価値が、第１閾値Ｔｈ１未満である場合には、ステップ１１４において、判定対象の歩行者候補領域に対する評価値が、第１閾値Ｔｈ１未満であって、かつ、第２閾値Ｔｈ２以上であるか否かを判定する。判定対象の歩行者候補領域に対する評価値が、第２閾値Ｔｈ２未満である場合には、ステップ１２０へ移行する。一方、判定対象の歩行者候補領域に対する評価値が、第１閾値Ｔｈ１未満であって、かつ、第２閾値Ｔｈ２以上である場合には、ステップ１１６において、判定対象の歩行者候補領域に対するＴＴＣが、所定値以下であって、かつ、上記ステップ１０８で回避行動が検出されたか否かを判定する。判定対象の歩行者候補領域に対するＴＴＣが、所定値未満である場合、又は上記ステップ１０８で回避行動が検出されなかった場合には、ステップ１２０へ移行する。
【００７３】
一方、判定対象の歩行者候補領域に対するＴＴＣが、所定値以下であって、かつ、上記ステップ１０８で回避行動が検出された場合には、歩行者画像であると識別し、ステップ１１８において、判定対象の歩行者候補領域を、歩行者画像として歩行者画像データベース３８に記憶させる。
【００７４】
ステップ１２０では、全ての歩行者候補領域について、上記ステップ１１０〜１１８の処理を実行したか否かを判定する。上記ステップ１１０〜１１８の処理を実行していない歩行者候補領域が存在する場合には、上記ステップ１１０へ戻り、上記の処理を実行していない歩行者候補領域を、判定対象として設定する。
【００７５】
上記ステップ１２０において、全ての歩行者候補領域について、上記ステップ１１０〜１１８の処理を実行したと判定された場合には、ステップ１２２において、歩行者の検出結果として、歩行者画像であると識別された歩行者候補領域を示す枠を、撮像画像上に重畳して、表示装置７０に表示させて、歩行者画像収集処理ルーチンを終了する。
【００７６】
上記の歩行者画像収集処理ルーチンが繰り返し実行されることにより、多数の歩行者画像が収集され、歩行者画像データベース３８に記憶される。また、コンピュータ２０は、歩行者画像であると識別されなかった画像を収集して、非歩行者画像を多数生成し、非歩行者画像データベース５２に記憶させる。
【００７７】
そして、コンピュータ２０において、歩行者画像データベース３８に記憶された歩行者画像、及び非歩行者画像データベース５２に記憶された非歩行者画像を用いて、学習処理を行い、歩行者モデルを生成して、歩行者モデル記憶部５８に記憶されている歩行者モデルを更新する。
【００７８】
そして、対象物検出装置１０を搭載した車両の走行中に、コンピュータ２０は、更新された歩行者モデルを用いて、前方撮像装置１２によって撮像された画像から、歩行者を検出する処理を繰り返し行い、歩行者が検出される毎に、検出結果を表示装置７０に表示させる。なお、歩行者モデルの学習が繰り返し行われ、対象物検出部２６の検出性能が向上した場合には、対象物検出部２６による検出結果を、表示装置７０に表示させるようにすればよい。
【００７９】
以上説明したように、第１の実施の形態に係る対象物検出装置によれば、歩行者候補領域の各々について、対象物検出部によって算出された評価値、及び歩行者候補領域が表わす物体との衝突を回避するためのドライバの運転行動があったか否かの判定結果に基づいて、歩行者候補領域が歩行者画像であるか否かを識別することにより、対象物検出部の検出性能が低い場合であっても、歩行者画像を得ることができる。
【００８０】
画像処理により対象物を検出する場合には、検出したい対象物の画像データ、つまり教師データを非常に多く収集して対象物検出部を学習させる必要がある。従来、この教師データは、人手により画像から切り出していたため、膨大な時間と労力を有していた。一方、本実施の形態によれば、少ない教師データで学習した対象物検出部２６の検出結果を用いて教師データを自動で切り出すことができるため、教師データ収集のための労力を大幅に削減することができる。また、自動で切り出した教師データを記憶した教師データベースを用いることで、対象物検出部２６の性能向上を容易に実現することができる。
【００８１】
また、ドライバの運転行動から、抽出された歩行者候補領域の歩行者らしさを判定でき、誤った教師データを採用することなく、自動的に正しい教師データを収集できる。また、継続的に走行することで、大規模な教師画像データベースを構築でき、それを用いて再学習をおこなうことで、少ない時間と労力で、対象物検出部の検出性能を向上させることが可能となる。
【００８２】
また、初期の段階で対象物検出部の検出性能が低く、正検出と認められない歩行者候補領域であっても、対象物検出部により算出される評価値がある水準を満たすか否か、及び衝突回避の運転行動が検出されたか否かに基づいて、歩行者候補領域の歩行者らしさを判定するため、正検出を見過ごすことなく、かつ誤検出を含めることなく、教師画像を収集することができ、教師画像データベースを構築することが可能である。
【００８３】
次に、第２の実施の形態について説明する。なお、第１の実施の形態と同様の構成となる部分については、同一符号を付して説明を省略する。
【００８４】
第２の実施の形態では、ドライバの視線方向が、抽出された歩行者候補領域に対応する範囲内に停留したか否かの判定結果を用いて、歩行者画像であるか否かを識別している点が、第１の実施の形態と異なっている。
【００８５】
図５に示すように、第２の実施の形態に係る対象物検出装置２１０は、前方撮像装置１２と、車室内のステアリングコラムに取り付けられ、かつ、ドライバの顔を撮像するドライバ撮像装置２１２と、前方撮像装置１２から得られる撮像画像から歩行者画像を収集して歩行者モデルを学習すると共に、前方撮像装置１２から得られる撮像画像から歩行者を表わす領域を検出するコンピュータ２２０と、表示装置７０とを備えている。
【００８６】
ドライバ撮像装置２１２は、ドライバの顔を含む領域を撮像し、画像の画像信号を生成する撮像部（図示省略）と、撮像部で生成された画像信号をＡ／Ｄ変換するＡ／Ｄ変換部（図示省略）と、Ａ／Ｄ変換された画像信号を一時的に格納するための画像メモリ（図示省略）とを備えている。ドライバ撮像装置２１２は、ドライバの顔を含む領域を、所定間隔で繰り返し撮像する。
【００８７】
コンピュータ２２０は、画像取得部２５と、対象物検出部２６と、ドライバ撮像装置２１２によって撮像された顔画像に基づいて、ドライバの視線方向を計測する視線計測部２２８と、ドライバの視線が、歩行者候補領域が表わす物体を注視しているか否かを判定する対象注視判定部２３０と、各歩行者候補領域について、対象物検出部２６で算出された評価値及び対象注視判定部２３０の判定結果に基づいて、歩行者画像であるか否かを識別する歩行者画像識別部２３４と、記憶制御部３６と、歩行者画像データベース３８と、非歩行者画像生成部５０と、非歩行者画像データベース５２と、特徴量抽出部５４と、学習部５６と、歩行者モデル記憶部５８と、表示制御部６０とを備えている。なお、対象注視判定部２３０が、視線判定手段の一例である。
【００８８】
視線計測部２２８は、従来既知の画像処理手法を用いて、ドライバの顔画像から、ドライバの視線方向を計測する。ここで、計測されるドライバの視線方向は、図６に示すように視線原点Ｏｅと、ｚ＝１の仮想平面との交点（ｘ‘，ｙ’，１）とによって決定されるベクトルｐによって表される。
【００８９】
対象注視判定部２３０は、対象物検出部２６によって抽出された歩行者候補領域の各々について、ドライバが、当該歩行者候補領域が表わす物体を注視しているかどうかの判定を行う。具体的には、歩行者候補領域の各々について、ドライバの眼の位置（視線原点）と、前方撮像装置１２の設置位置及び撮像方向と、ドライバ撮像装置２１２の設置位置及び撮像方向とに基づいて、歩行者候補領域に対応する視線方向の範囲を算出する。そして、視線計測部２２８によって計測された視線ｐと、歩行者候補領域に対応する視線方向の範囲との時間的位置関係を調べる。例えば視線ｐが、ある一定時間、例えば３００ミリ秒（０．３秒）の間、歩行者候補領域に対応する視線方向の範囲内に継続して存在している場合には、ドライバの視線が歩行者候補領域内に停留しており、ドライバは歩行者候補領域が表わす物体を注視したと判断する。
【００９０】
歩行者画像識別部２３４は、対象物検出部２６において抽出された歩行者候補領域の各々に対して、算出された評価値と、対象注視判定部２３０の判定結果とから、歩行者を表わす画像であるか否かを識別する。歩行者画像識別部２３４は、歩行者候補領域の各々に対して、算出された評価値が第１閾値Ｔｈ１以上である場合、当該歩行者候補領域は、歩行者画像であると識別する。
【００９１】
また、歩行者画像識別部２３４は、歩行者候補領域の各々に対して、算出された評価値が第１閾値Ｔｈ１未満であるが、第２閾値Ｔｈ２以上である場合、対象注視判定部２３０によって当該歩行者候補領域に対してドライバが注視したと判定されていると、当該歩行者歩候補領域が、歩行者画像であると識別し、当該歩行者候補領域に対してドライバが注視していないと判定されていると、当該歩行者歩候補領域が、歩行者画像でないと識別する。例えば、上記図２に示す歩行者候補領域２３，２４については、評価値が第１閾値Ｔｈ１未満、第２閾値Ｔｈ２以上であるため、対象注視判定部２３０の判定結果を利用し、歩行者候補領域２３に対してドライバが注視したと判定される場合には、歩行者候補領域２３は、歩行者画像であると識別される。一方、歩行者候補領域２４に対してはドライバが注視していない場合には、歩行者候補領域２４は、歩行者画像であると識別されない。
【００９２】
次に、第２の実施の形態に係る歩行者画像収集処理ルーチンについて、図７を用いて説明する。なお、第１の実施の形態と同様の構成となる部分については、同一符号を付して説明を省略する。
【００９３】
まず、ステップ１００において、前方撮像装置１２から撮像画像を取得し、ステップ２４８において、ドライバ撮像装置２１２からドライバの顔画像を取得する。
【００９４】
そして、ステップ１０４において、上記ステップ１００で取得した撮像画像から歩行者候補領域を抽出すると共に、各歩行者候補領域に対する評価値を算出する。
【００９５】
次のステップ２５０では、上記ステップ２４８で取得した顔画像に基づいて、ドライバの視線方向を計測する。そして、ステップ１１０では、抽出された複数の歩行者候補領域の中から、判定対象の歩行者候補領域を設定する。ステップ１１２では、上記ステップ１０４で算出された、判定対象の歩行者候補領域に対する評価値が、第１閾値Ｔｈ１以上であるか否かを判定する。ステップ１１４では、判定対象の歩行者候補領域に対する評価値が、第１閾値Ｔｈ１未満であって、第２閾値Ｔｈ２以上であるか否かを判定する。判定対象の歩行者候補領域に対する評価値が、第１閾値Ｔｈ１未満であって、第２閾値Ｔｈ２以上である場合には、ステップ２５２において、判定対象の歩行者候補領域に対応する視線方向の範囲を算出する。次のステップ２５４では、上記ステップ２５０で所定回数前から現時点までに計測された視線方向の時系列データと、上記ステップ２５２で算出した視線方向の範囲とを比較して、ドライバの視線方向が、算出した視線方向の範囲内に所定時間以上停留したか否かを判定する。ドライバの視線方向が、算出した視線方向の範囲内に所定時間以上停留していない場合には、ステップ１２０へ移行する。
【００９６】
一方、ドライバの視線方向が、算出した視線方向の範囲内に所定時間以上停留した場合には、歩行者画像であると識別し、ステップ１１８において、判定対象の歩行者候補領域を、歩行者画像として歩行者画像データベース３８に記憶させる。
【００９７】
ステップ１２０では、全ての歩行者候補領域について、上記ステップ１１０〜１１４、２５２、２５４、１１８の処理を実行したか否かを判定する。上記ステップ１１０〜１１４、２５２、２５４、１１８の処理を実行していない歩行者候補領域が存在する場合には、上記ステップ１１０へ戻り、上記の処理を実行していない歩行者候補領域を、判定対象として設定する。
【００９８】
上記ステップ１２０において、全ての歩行者候補領域について、上記ステップ１１０〜１１４、２５２、２５４、１１８の処理を実行したと判定された場合には、ステップ１２２において、歩行者の検出結果として、歩行者画像であると識別された歩行者候補領域を示す枠を、撮像画像上に重畳して、表示装置７０に表示させて、歩行者画像収集処理ルーチンを終了する。
【００９９】
以上説明したように、第２の実施の形態に係る対象物検出装置によれば、歩行者候補領域の各々について、対象物検出部によって算出された評価値、及びドライバの視線方向が歩行者候補領域に停留したか否かの判定結果に基づいて、歩行者候補領域が歩行者画像であるか否かを識別することにより、対象物検出部の検出性能が低い場合であっても、歩行者画像を得ることができる。
【０１００】
なお、上記の実施の形態において、抽出された歩行者候補領域の各々についてＴＴＣを算出し、ＴＴＣを更に考慮して、歩行者画像であるか否かを識別するようにしてもよい。例えば、歩行者画像識別部２３４は、歩行者候補領域の各々に対して、算出された評価値が第１閾値Ｔｈ１未満であるが、第２閾値Ｔｈ２以上である場合、対象注視判定部２３０によって当該歩行者候補領域に対してドライバが注視したと判定され、かつ、当該歩行者候補領域が閾値以上であると、当該歩行者歩候補領域が、歩行者画像であると識別するようにしてもよい。
【０１０１】
次に、第３の実施の形態について説明する。なお、第１の実施の形態及び第２の実施の形態と同様となる部分については、同一符号を付して説明を省略する。
【０１０２】
第３の実施の形態では、回避する運転行動があったか否かの判定結果と、ドライバの視線方向が、歩行者候補領域に対応する範囲内に停留したか否かの判定結果とを用いて、歩行者画像であるか否かを識別している点が、第１の実施の形態と異なっている。
【０１０３】
図８に示すように、第３の実施の形態に係る対象物検出装置３１０は、前方撮像装置１２と、車速センサ１４と、ペダルセンサ１６と、操舵センサ１８と、ドライバ撮像装置２１２と、前方撮像装置１２から得られる撮像画像から歩行者画像を収集して歩行者モデルを学習すると共に、前方撮像装置１２から得られる撮像画像から歩行者を表わす領域を検出するコンピュータ３２０と、表示装置７０とを備えている。
【０１０４】
コンピュータ３２０は、画像取得部２５と、対象物検出部２６と、危険度算出部２８と、回避行動検出部３０と、運転行動判定部３２と、視線計測部２２８と、対象注視判定部２３０と、各歩行者候補領域について、対象物検出部２６で算出された評価値、運転行動判定部３２の判定結果、及び対象注視判定部２３０の判定結果に基づいて、歩行者画像であるか否かを識別する歩行者画像識別部３３４と、記憶制御部３６と、歩行者画像データベース３８と、非歩行者画像生成部５０と、非歩行者画像データベース５２と、特徴量抽出部５４と、学習部５６と、歩行者モデル記憶部５８と、表示制御部６０とを備えている。
【０１０５】
歩行者画像識別部３３４は、対象物検出部２６において抽出された歩行者候補領域の各々に対して、算出された評価値と、運転行動判定部３２の判定結果と、対象注視判定部２３０の判定結果とから、歩行者を表わす画像であるか否かを識別する。歩行者画像識別部３３４は、歩行者候補領域の各々に対して、算出された評価値が第１閾値Ｔｈ１以上である場合、当該歩行者候補領域は、歩行者画像であると識別する。
【０１０６】
また、歩行者画像識別部３３４は、歩行者候補領域の各々に対して、算出された評価値が第１閾値Ｔｈ１未満であるが、第２閾値Ｔｈ２以上である場合、運転行動判定部３２によって、当該歩行者候補領域に対して運転行動が変化したと判定されていると、当該歩行者歩候補領域が、歩行者画像であると識別する。また、歩行者画像識別部３３４は、歩行者候補領域の各々に対して、算出された評価値が第１閾値Ｔｈ１未満であるが、第２閾値Ｔｈ２以上である場合、対象注視判定部２３０によって、当該歩行者候補領域に対してドライバが注視したと判定されていると、当該歩行者歩候補領域が、歩行者画像であると識別する。
【０１０７】
また、歩行者画像識別部３３４は、歩行者候補領域の各々に対して、算出された評価値が第２閾値Ｔｈ２未満であるが、第３閾値Ｔｈ３（例えば０．０１）以上である場合、運転行動判定部３２によって、当該歩行者候補領域に対して運転行動が変化したと判定され、かつ、対象注視判定部２３０によって、当該歩行者候補領域に対してドライバが注視したと判定されていると、当該歩行者歩候補領域が、歩行者画像であると識別する。歩行者画像識別部３３４は、運転行動判定部３２によって当該歩行者候補領域に対して運転行動が変化していないと判定された場合、又は対象注視判定部２３０によって当該歩行者候補領域に対してドライバが注視していないと判定された場合、当該歩行者歩候補領域が、歩行者画像でないと識別する。
【０１０８】
例えば、上記図２の歩行者候補領域２３については、対象が歩行者であるにも関わらず、評価値が例えば０．０１などの値であり、第２閾値Ｔｈ２未満である。このとき、歩行者候補領域２３に対するＴＴＣが所定値以下、例えば２秒であり、かつ、ブレーキにより減速するなどの回避行動が検出され、歩行者候補領域２３に対してドライバの運転行動が変化したと判定される。更に、歩行者候補領域２３に対して、ドライバが視線を注視したと判定される。この場合、評価値が比較的低い値であっても、第３閾値Ｔｈ３以上であるため、歩行者候補領域２３は、歩行者画像であると識別される。
【０１０９】
次に、第３の実施の形態に係る歩行者画像収集処理ルーチンを、図９、１０を用いて説明する。なお、第１の実施の形態及び第２の実施の形態と同様の構成となる部分については、同一符号を付して説明を省略する。
【０１１０】
まず、ステップ１００において、前方撮像装置１２から撮像画像を取得し、ステップ１０２において、車速センサ１４、ペダルセンサ１６、及び操舵センサ１８からの各出力を取得する。次のステップ２４８において、ドライバ撮像装置２１２からドライバの顔画像を取得する。
【０１１１】
そして、ステップ１０４において、上記ステップ１００で取得した撮像画像から歩行者候補領域を抽出すると共に、各歩行者候補領域に対する評価値を算出する。次のステップ１０６では、上記ステップ１０４で抽出された歩行者候補領域の各々について、歩行者候補領域が表わす物体に対するＴＴＣを算出する。そして、ステップ１０８において、上記ステップ１０２において所定回数前から現時点までに取得された各種操作量の時系列データに基づいて、衝突を回避する回避行動を検出する。
【０１１２】
次のステップ２５０では、上記ステップ２４８で取得した顔画像に基づいて、ドライバの視線方向を計測する。そして、ステップ１１０では、抽出された複数の歩行者候補領域の中から、判定対象の歩行者候補領域を設定する。ステップ１１２では、上記ステップ１０４で算出された、判定対象の歩行者候補領域に対する評価値が、第１閾値Ｔｈ１以上であるか否かを判定する。ステップ１１４において、判定対象の歩行者候補領域に対する評価値が、第１閾値Ｔｈ１未満であって、第２閾値Ｔｈ２以上であるか否かを判定する。判定対象の歩行者候補領域に対する評価値が、第２閾値Ｔｈ２未満である場合には、後述するステップ３５２へ移行する。一方、判定対象の歩行者候補領域に対する評価値が、第１閾値Ｔｈ１未満であって、第２閾値Ｔｈ２以上である場合には、ステップ２５２において、判定対象の歩行者候補領域に対応する視線方向の範囲を算出する。
【０１１３】
次のステップ３５０では、判定対象の歩行者候補領域に対するＴＴＣが、所定値以下であって、かつ、上記ステップ１０８で回避行動が検出されたか否か、又は、ドライバの視線方向が、算出した視線方向の範囲内に所定時間以上停留したか否かを判定する。判定対象の歩行者候補領域に対するＴＴＣが、所定値未満である場合、又は上記ステップ１０８で回避行動が検出されなかった場合には、ステップ１２０へ移行する。また、ドライバの視線方向が、算出した視線方向の範囲内に所定時間以上停留していない場合には、ステップ１２０へ移行する。
【０１１４】
一方、判定対象の歩行者候補領域に対するＴＴＣが、所定値以下であって、かつ、上記ステップ１０８で回避行動が検出された場合、あるいは、ドライバの視線方向が、算出した視線方向の範囲内に所定時間以上停留した場合には、歩行者画像であると識別し、ステップ１１８へ移行する。
【０１１５】
ステップ３５２では、判定対象の歩行者候補領域に対する評価値が、第２閾値Ｔｈ２未満であって、第３閾値Ｔｈ３以上であるか否かを判定する。判定対象の歩行者候補領域に対する評価値が、第３閾値Ｔｈ３未満である場合には、ステップ１２０へ移行する。一方、判定対象の歩行者候補領域に対する評価値が、第２閾値Ｔｈ２未満であって、第３閾値Ｔｈ３以上である場合には、ステップ３５４において、判定対象の歩行者候補領域に対するＴＴＣが、所定値以下であって、かつ、上記ステップ１０８で回避行動が検出され、かつ、ドライバの視線方向が、算出した視線方向の範囲内に所定時間以上停留したか否かを判定する。判定対象の歩行者候補領域に対するＴＴＣが、所定値未満である場合、又は上記ステップ１０８で回避行動が検出されなかった場合には、ステップ１２０へ移行する。また、ドライバの視線方向が、算出した視線方向の範囲内に所定時間以上停留していない場合には、ステップ１２０へ移行する。
【０１１６】
一方、判定対象の歩行者候補領域に対するＴＴＣが、所定値以下であって、かつ、上記ステップ１０８で回避行動が検出され、かつ、ドライバの視線方向が、算出した視線方向の範囲内に所定時間以上停留した場合には、歩行者画像であると識別し、ステップ１１８へ移行する。
【０１１７】
ステップ１１８において、判定対象の歩行者候補領域を、歩行者画像として歩行者画像データベース３８に記憶させる。ステップ１２０では、全ての歩行者候補領域について、上記ステップ１１０〜１１４、２５２、３５０〜３５４、１１８の処理を実行したか否かを判定する。上記ステップ１１０〜１１４、２５２、３５０〜３５４、１１８の処理を実行していない歩行者候補領域が存在する場合には、上記ステップ１１０へ戻り、上記の処理を実行していない歩行者候補領域を、判定対象として設定する。
【０１１８】
上記ステップ１２０において、全ての歩行者候補領域について、上記ステップ１１０〜１１４、２５２、３５０〜３５４、１１８の処理を実行したと判定された場合には、ステップ１２２において、歩行者の検出結果として、歩行者画像であると識別された歩行者候補領域を示す枠を、撮像画像上に重畳して、表示装置７０に表示させて、歩行者画像収集処理ルーチンを終了する。
【０１１９】
以上説明したように、第３の実施の形態に係る対象物検出装置によれば、歩行者候補領域の各々について、対象物検出部によって算出された評価値、歩行者候補領域が表わす物体との衝突を回避するためのドライバの運転行動があったか否かの判定結果、及びドライバの視線方向が歩行者候補領域に停留したか否かの判定結果に基づいて、歩行者候補領域が歩行者画像であるか否かを識別することにより、対象物検出部の検出性能が低い場合であっても、歩行者画像を得ることができる。
【０１２０】
また、ドライバの運転行動および注視行動の両者から、歩行者候補領域が、歩行者らしいと判定された場合は、評価値が比較的低い値であっても、当該歩行者候補領域の画像を正検出として教師画像データベースに登録する。これによって、対象物検出部が十分な検出性能を有していない場合であっても、誤検出、未検出することなく、教師画像を収集することが可能になる。
【０１２１】
なお、上記の第１の実施の形態〜第３の実施の形態では、すべての歩行者画像及び非歩行者画像を用いて、一括で学習処理を行い、歩行者モデルを生成する場合について説明したが、これに限定されるものではない。例えば、既に生成された歩行者モデルに対して、新たに追加された教師データ（歩行者画像）を用いて歩行者モデルを更新する、公知の逐次型の学習方法を利用しても良い。
【０１２２】
また、ＳＶＭ識別器を用いて、歩行者を表わす領域を検出する場合を例に説明したが、これに限定されるものではなく、ニューラルネットワーク（ＮＮ：Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）などの従来既知の他の識別手法を用いて、歩行者を表わす領域を検出するようにしてもよい。最近傍法を用いた場合には、歩行者モデルとして、結合係数が学習される。
【０１２３】
また、ドライバの各種操作量に基づいて、ドライバの回避行動を検出する場合を例に説明したが、これに限定されるものではなく、車速や加速度、角速度などの走行状態を検出して、ドライバの回避行動を検出するようにしてもよい。また、ドライバの各種操作量、及び車両の走行状態の双方に基づいて、ドライバの回避行動を検出するようにしてもよい。
【０１２４】
また、衝突危険度としてＴＴＣを算出した場合を例に説明したが、これに限定されるものではなく、ＴＴＣ以外の指標を、衝突危険度として算出するようにしてもよい。
【０１２５】
また、検出対象物が歩行者である場合を例に説明したが、これに限定されるものではなく、歩行者以外の物体を検出対象物としてもよい。
【０１２６】
また、対象物検出装置において、歩行者モデルの学習を行う場合を例に説明したが、これに限定されるものではなく、歩行者画像を収集する対象物検出装置とは別の装置で、収集された歩行者画像及び非歩行者画像に基づいて、歩行者モデルの学習を行うようにしてもよい。
【０１２７】
また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムをＣＤＲＯＭ等の記憶媒体に格納して提供することも可能である。
【符号の説明】
【０１２８】
１０、２１０、３１０ 対象物検出装置
１２ 前方撮像装置
１４ 車速センサ
１６ ペダルセンサ
１８ 操舵センサ
２０、２２０、３２０ コンピュータ
２６ 対象物検出部
２８ 危険度算出部
３０ 回避行動検出部
３２ 運転行動判定部
３４、２３４、３３４ 歩行者画像識別部
３８ 歩行者画像データベース
４６ 評価値算出部
４８ 歩行者候補抽出部
５２ 非歩行者画像データベース
５６ 学習部
５８ 歩行者モデル記憶部
２１２ ドライバ撮像装置
２２８ 視線計測部
２３０ 対象注視判定部
【技術分野】
【０００１】
本発明は、画像識別装置及びプログラムに係り、特に、撮像した画像の対象物候補領域が、検出対象物を表わす画像であるか否かを識別する画像識別装置及びプログラムに関する。
【背景技術】
【０００２】
従来より、対象物検出部の検出結果とドライバの運転操作および距離画像情報とから教師データの切り出しを行うことで、自動的に教師データを収集する画像処理システムが知られている（特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−２０４１０２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記の特許文献１に記載の技術では、対象物検出部が正しく検出したと認めない場合は、教師データに追加されないため、対象物検出部の検出性能が低い場合には有効に機能しない、という問題がある。
【０００５】
本発明は、上記の問題点を解決するためになされたもので、対象物検出の検出性能が低い場合であっても、検出対象物を表わす画像を得ることができる画像識別装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記の目的を達成するために第１の発明に係る画像識別装置は、自車両の前方を撮像する撮像手段と、ドライバが自車両を操作したときの操作状態、又は自車両の走行状態を検出する検出手段と、前記撮像手段によって撮像された画像から、検出対象物を表わす領域の候補である対象物候補領域を抽出すると共に、前記対象物候補領域の前記検出対象物らしさの度合いを表わす評価値を算出する対象物検出手段と、前記対象物検出手段によって抽出された前記対象物候補領域の各々について、前記検出手段によって検出された前記操作状態又は前記走行状態に基づいて、前記対象物候補領域が表わす物体との衝突を回避するための前記ドライバの運転行動があったか否かを判定する回避行動判定手段と、前記対象物検出手段によって抽出された前記対象物候補領域の各々について、前記対象物検出手段によって算出された前記対象物候補領域の前記評価値、及び前記回避行動判定手段による前記対象物候補領域に対する判定結果に基づいて、前記対象物候補領域が前記検出対象物を表わす画像であるか否かを識別する識別手段とを含んで構成されている。
【０００７】
第２の発明に係るプログラムは、コンピュータを、自車両の前方を撮像する撮像手段によって撮像された画像から、検出対象物を表わす領域の候補である対象物候補領域を抽出すると共に、前記対象物候補領域の前記検出対象物らしさの度合いを表わす評価値を算出する対象物検出手段、前記対象物検出手段によって抽出された前記対象物候補領域の各々について、ドライバが自車両を操作したときの操作状態、又は自車両の走行状態を検出する検出手段によって検出された前記操作状態又は前記走行状態に基づいて、前記対象物候補領域が表わす物体との衝突を回避するための前記ドライバの運転行動があったか否かを判定する回避行動判定手段、及び前記対象物検出手段によって抽出された前記対象物候補領域の各々について、前記対象物検出手段によって算出された前記対象物候補領域の前記評価値、及び前記回避行動判定手段による前記対象物候補領域に対する判定結果に基づいて、前記対象物候補領域が前記検出対象物を表わす画像であるか否かを識別する識別手段として機能させるためのプログラムである。
【０００８】
第１の発明及び第２の発明によれば、撮像手段によって、自車両の前方を撮像し、検出手段によって、ドライバが自車両を操作したときの操作状態、又は自車両の走行状態を検出する。
【０００９】
そして、対象物検出手段によって、撮像手段によって撮像された画像から、検出対象物を表わす領域の候補である対象物候補領域を抽出すると共に、対象物候補領域の検出対象物らしさの度合いを表わす評価値を算出する。回避行動判定手段によって、対象物検出手段によって抽出された対象物候補領域の各々について、検出手段によって検出された操作状態又は走行状態に基づいて、対象物候補領域が表わす物体との衝突を回避するためのドライバの運転行動があったか否かを判定する。
【００１０】
そして、識別手段によって、対象物検出手段によって抽出された対象物候補領域の各々について、対象物検出手段によって算出された対象物候補領域の評価値、及び回避行動判定手段による対象物候補領域に対する判定結果に基づいて、対象物候補領域が検出対象物を表わす画像であるか否かを識別する。
【００１１】
このように、対象物候補領域の各々について、対象物検出手段によって算出された評価値、及び対象物候補領域が表わす物体との衝突を回避するためのドライバの運転行動があったか否かの判定結果に基づいて、対象物候補領域が検出対象物を表わす画像であるか否かを識別することにより、対象物検出の検出性能が低い場合であっても、検出対象物を表わす画像を得ることができる。
【００１２】
第１の発明に係る画像識別装置は、前記対象物検出手段によって抽出された前記対象物候補領域の各々について、前記検出手段によって検出された自車両の走行状態に基づいて、前記対象物候補領域が表わす物体と自車両との衝突危険度を算出する衝突危険度算出手段を更に含み、前記回避行動判定手段は、前記検出手段によって検出された前記操作状態又は前記走行状態に基づいて、物体との衝突を回避するための前記ドライバの運転行動を検出し、前記対象物検出手段によって抽出された前記対象物候補領域の各々について、前記衝突危険度算出手段によって算出された前記対象物候補領域に対する衝突危険度が所定値以上であって、かつ、前記ドライバの運転行動を検出した場合、前記対象物候補領域が表わす物体との衝突を回避するための前記ドライバの運転行動があったと判定するようにすることができる。これによって、対象物候補領域が表わす物体との衝突を回避するためのドライバの運転行動があったか否かを精度よく判定することができる。
【００１３】
第１の発明に係る識別手段は、前記対象物検出手段によって算出された前記対象物候補領域の前記評価値が第１閾値以上であるとき、前記対象物候補領域が前記検出対象物を表わす画像であると識別し、前記対象物候補領域の前記評価値が第１閾値より小さい第２閾値未満であるとき、前記対象物候補領域が前記検出対象物を表わす画像でないと識別し、前記対象物候補領域の前記評価値が第１閾値未満であって、かつ、第２閾値以上であるとき、前記回避行動判定手段によって前記対象物候補領域が表わす物体との衝突を回避するための前記ドライバの運転行動があったと判定されると、前記対象物候補領域が前記検出対象物を表わす画像であると識別するようにすることができる。これによって、対象物検出手段によって算出された評価値が低い場合であっても、検出対象物を表わす画像を得ることができる。
【００１４】
第３の発明に係る画像識別装置は、自車両の前方を撮像する撮像手段と、自車両のドライバの視線方向を計測する計測手段と、前記撮像手段によって撮像された画像から、検出対象物を表わす領域の候補である対象物候補領域を抽出すると共に、前記対象物候補領域の前記検出対象物らしさの度合いを表わす評価値を算出する対象物検出手段と、前記対象物検出手段によって抽出された前記対象物候補領域の各々について、前記計測手段によって計測されたドライバの視線方向が、前記対象物候補領域に対応する視線方向の範囲内に所定時間以上継続して存在したか否かを判定する視線判定手段と、前記対象物検出手段によって抽出された前記対象物候補領域の各々について、前記対象物検出手段によって算出された前記対象物候補領域の前記評価値、及び前記視線判定手段による前記対象物候補領域に対する判定結果に基づいて、前記対象物候補領域が前記検出対象物を表わす画像であるか否かを識別する識別手段とを含んで構成されている。
【００１５】
第４の発明に係るプログラムは、コンピュータを、自車両のドライバの視線方向を計測する計測手段、自車両の前方を撮像する撮像手段によって撮像された画像から、検出対象物を表わす領域の候補である対象物候補領域を抽出すると共に、前記対象物候補領域の前記検出対象物らしさの度合いを表わす評価値を算出する対象物検出手段、前記対象物検出手段によって抽出された前記対象物候補領域の各々について、前記計測手段によって計測されたドライバの視線方向が、前記対象物候補領域に対応する視線方向の範囲内に所定時間以上継続して存在したか否かを判定する視線判定手段、及び前記対象物検出手段によって抽出された前記対象物候補領域の各々について、前記対象物検出手段によって算出された前記対象物候補領域の前記評価値、及び前記視線判定手段による前記対象物候補領域に対する判定結果に基づいて、前記対象物候補領域が前記検出対象物を表わす画像であるか否かを識別する識別手段として機能させるためのプログラムである。
【００１６】
第３の発明及び第４の発明によれば、撮像手段によって、自車両の前方を撮像し、計測手段によって、自車両のドライバの視線方向を計測する。
【００１７】
そして、対象物検出手段によって、撮像手段によって撮像された画像から、検出対象物を表わす領域の候補である対象物候補領域を抽出すると共に、対象物候補領域の検出対象物らしさの度合いを表わす評価値を算出する。視線判定手段によって、対象物検出手段によって抽出された対象物候補領域の各々について、計測手段によって計測されたドライバの視線方向が、対象物候補領域に対応する視線方向の範囲内に所定時間以上継続して存在したか否かを判定する。
【００１８】
そして、識別手段によって、対象物検出手段によって抽出された対象物候補領域の各々について、対象物検出手段によって算出された対象物候補領域の評価値、及び視線判定手段による対象物候補領域に対する判定結果に基づいて、対象物候補領域が検出対象物を表わす画像であるか否かを識別する。
【００１９】
このように、対象物候補領域の各々について、対象物検出手段によって算出された評価値、及びドライバの視線方向が対象物候補領域に対応する視線方向の範囲内に所定時間以上継続して存在したか否かの判定結果に基づいて、対象物候補領域が検出対象物を表わす画像であるか否かを識別することにより、対象物検出の検出性能が低い場合であっても、検出対象物を表わす画像を得ることができる。
【００２０】
第３の発明に係る識別手段は、前記対象物検出手段によって算出された前記対象物候補領域の前記評価値が第１閾値以上であるとき、前記対象物候補領域が前記検出対象物を表わす画像であると識別し、前記対象物候補領域の前記評価値が第１閾値より小さい第２閾値未満であるとき、前記対象物候補領域が前記検出対象物を表わす画像でないと識別し、前記対象物候補領域の前記評価値が第１閾値未満であって、かつ、第２閾値以上であるとき、前記視線判定手段によって前記ドライバの視線方向が前記対象物候補領域に対応する視線方向の範囲内に所定時間以上継続して存在したと判定されると、前記対象物候補領域が、前記検出対象物を表わす画像であると識別するようにすることができる。これによって、対象物検出手段によって算出された評価値が低い場合であっても、検出対象物を表わす画像を得ることができる。
【００２１】
第３の発明に係る画像識別装置は、前記対象物検出手段によって抽出された前記対象物候補領域の各々について、前記検出手段によって検出された自車両の走行状態に基づいて、前記対象物候補領域が表わす物体と自車両との衝突危険度を算出する衝突危険度算出手段を更に含み、前記識別手段は、前記対象物検出手段によって抽出された前記対象物候補領域の各々について、前記対象物検出手段によって算出された前記対象物候補領域の前記評価値、前記視線判定手段による前記対象物候補領域に対する判定結果、及び前記衝突危険度算出手段によって算出された前記対象物候補領域に対する衝突危険度に基づいて、前記対象物候補領域が、前記検出対象物を表わす画像であるか否かを識別するようにすることができる。これによって、対象物候補領域が、検出対象物を表わす画像であるか否かをより精度よく識別することができる。
【００２２】
第１の発明に係る画像識別装置は、自車両のドライバの視線方向を計測する計測手段と、前記対象物検出手段によって抽出された前記対象物候補領域の各々について、前記計測手段によって計測されたドライバの視線方向が、前記対象物候補領域に対応する視線方向の範囲内に所定時間以上継続して存在したか否かを判定する視線判定手段と、を更に含み、前記識別手段は、前記対象物検出手段によって抽出された前記対象物候補領域の各々について、前記対象物検出手段によって算出された前記対象物候補領域の前記評価値、前記回避行動判定手段による前記対象物候補領域に対する判定結果、及び前記視線判定手段による前記対象物候補領域に対する判定結果に基づいて、前記対象物候補領域が、前記検出対象物を表わす画像であるか否かを識別するようにすることができる。これによって、対象物検出の検出性能が低い場合であっても、検出対象物を表わす画像を得ることができる。
【００２３】
上記の視線判定手段を含む第１の発明において、前記識別手段は、前記対象物検出手段によって算出された前記対象物候補領域の前記評価値が第１閾値以上であるとき、前記対象物候補領域が前記検出対象物を表わす画像であると識別し、前記対象物候補領域の前記評価値が第１閾値未満であって、かつ、第１閾値より小さい第２閾値以上であるとき、前記回避行動判定手段によって前記対象物候補領域が表わす物体との衝突を回避するための前記ドライバの運転行動があったと判定され、又は、前記視線判定手段によって前記ドライバの視線方向が前記対象物候補領域に対応する視線方向の範囲内に所定時間以上継続して存在したと判定されると、前記対象物候補領域が前記検出対象物を表わす画像であると識別し、前記対象物候補領域の前記評価値が第２閾値より小さい第３閾値未満であるとき、前記対象物候補領域が前記検出対象物を表わす画像でないと識別し、前記対象物候補領域の前記評価値が第２閾値未満であって、かつ、第３閾値以上であるとき、前記回避行動判定手段によって前記対象物候補領域が表わす物体との衝突を回避するための前記ドライバの運転行動があったと判定され、かつ、前記視線判定手段によって前記ドライバの視線方向が前記対象物候補領域に対応する視線方向の範囲内に所定時間以上継続して存在したと判定されると、前記対象物候補領域が前記検出対象物を表わす画像であると識別するようにすることができる。これによって、対象物検出手段によって算出された評価値が低い場合であっても、検出対象物を表わす画像を得ることができる。
【００２４】
上記の対象物検出手段は、前記検出対象物を検出するために予め生成された対象物モデルと前記対象物候補領域とを比較することにより、前記対象物候補領域の前記評価値を算出するようにすることができる。
【００２５】
また、上記の画像識別装置は、前記識別手段によって前記検出対象物を表わす画像であると識別された前記対象物候補領域の画像を複数記憶した記憶手段と、前記記憶手段に記憶された前記複数の画像に基づいて、前記対象物モデルを学習する学習手段と、を更に含み、前記対象物検出手段は、前記学習手段によって学習された前記対象物モデルと前記対象物候補領域とを比較することにより、前記対象物候補領域の前記評価値を算出するようにすることができる。これによって、対象物検出の検出性能が低い場合であっても、検出対象物を表わす画像を得て、対象物モデルを学習することができ、対象物検出の検出性能を向上させることができる。
【発明の効果】
【００２６】
以上説明したように、本発明の画像識別装置及びプログラムによれば、対象物検出の検出性能が低い場合であっても、検出対象物を表わす画像を得ることができる、という効果が得られる。
【図面の簡単な説明】
【００２７】
【図１】本発明の第１の実施の形態に係る対象物検出装置の構成を示す概略図である。
【図２】撮像画像を示すイメージ図である。
【図３】本発明の第１の実施の形態に係る対象物検出装置の対象物検出部の構成を示す図である。
【図４】本発明の第１の実施の形態に係る対象物検出装置のコンピュータにおける歩行者画像収集処理ルーチンの内容を示すフローチャートである。
【図５】本発明の第２の実施の形態に係る対象物検出装置の構成を示す概略図である。
【図６】視線方向の計測方法を説明するための図である。
【図７】本発明の第２の実施の形態に係る対象物検出装置のコンピュータにおける歩行者画像収集処理ルーチンの内容を示すフローチャートである。
【図８】本発明の第３の実施の形態に係る対象物検出装置の構成を示す概略図である。
【図９】本発明の第３の実施の形態に係る対象物検出装置のコンピュータにおける歩行者画像収集処理ルーチンの内容を示すフローチャートである。
【図１０】本発明の第３の実施の形態に係る対象物検出装置のコンピュータにおける歩行者画像収集処理ルーチンの内容を示すフローチャートである。
【発明を実施するための形態】
【００２８】
以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、撮像画像から、歩行者を検出する対象物検出装置に本発明を適用した場合を例に説明する。
【００２９】
図１に示すように、第１の実施の形態に係る対象物検出装置１０は、車両（図示省略）に取り付けられ、かつ、車両の前方を撮像して画像を生成する前方撮像装置１２と、自車両の車速を検出する車速センサ１４と、ブレーキペダル及びアクセルペダルの各々の操作量を検出するペダルセンサ１６と、ドライバによるステアリングの操作量を検出する操舵センサ１８と、前方撮像装置１２から得られる撮像画像から歩行者画像を収集して歩行者モデルを学習すると共に、前方撮像装置１２から得られる撮像画像から歩行者を表わす領域を検出するコンピュータ２０と、コンピュータ２０による検出結果を表示する表示装置７０とを備えている。
【００３０】
前方撮像装置１２は、車両の前方を撮像し、画像の画像信号を生成する撮像部（図示省略）と、撮像部で生成された画像信号をＡ／Ｄ変換するＡ／Ｄ変換部（図示省略）と、Ａ／Ｄ変換された画像信号を一時的に格納するための画像メモリ（図示省略）とを備えている。前方撮像装置１２は、自車両の前方を、所定間隔で繰り返し撮像する。
【００３１】
また、車速センサ１４、ペダルセンサ１６、及び操舵センサ１８の各々は、所定間隔で検出値をコンピュータ２０に出力する。
【００３２】
コンピュータ２０は、ＣＰＵと、ＲＡＭと、後述する歩行者画像収集処理ルーチンを実行するためのプログラムを記憶したＲＯＭとを備え、機能的には次に示すように構成されている。コンピュータ２０は、前方撮像装置１２から撮像された画像を取得する画像取得部２５と、画像取得部２５によって取得した画像から、歩行者候補領域を抽出すると共に、歩行者候補領域内の物体の歩行者らしさを表す評価値を算出する対象物検出部２６と、車速センサ１４によって検出された自車両の車速を用いて、歩行者候補領域内の物体に対するＴＴＣ（Ｔｉｍｅ−ｔｏ−Ｃｏｌｌｉｓｉｏｎ：衝突余裕時間）を衝突危険度として算出する危険度算出部２８と、ペダルセンサ１６及び操舵センサ１８の出力に基づいて、前方に存在する物体との衝突を回避するための運転行動を検出する回避行動検出部３０と、歩行者候補領域内の物体との衝突を回避するための運転行動があったか否かを判定する運転行動判定部３２と、各歩行者候補領域について、対象物検出部２６で算出された評価値及び運転行動判定部３２の判定結果に基づいて、歩行者画像であるか否かを識別する歩行者画像識別部３４と、歩行者画像であると識別された歩行者候補領域の画像を、後述する歩行者画像データベース３８に記憶させる記憶制御部３６と、収集された歩行者画像を記憶した歩行者画像データベース３８とを備えている。なお、運転行動判定部３２は、回避行動判定手段の一例であり、歩行者画像データベース３８が、記憶手段の一例である。
【００３３】
画像取得部２５は、前方撮像装置１２から出力されたアナログ信号に対して適切な画像処理（ガンマ調整、濃度変換、ノイズ除去など）を施して、図２に示すようなデジタル画像を生成する。
【００３４】
対象物検出部２６は、図３に示すように、画像取得部２５によって取得した入力画像から所定領域の画像、すなわちウインドウで囲まれた領域内のウインドウ画像を各々抽出するウインドウ画像抽出部４０と、各ウインドウ画像を適切なサイズの画像に変換する画像サイズ変換部４２と、各ウインドウ画像について特徴量を抽出する特徴量抽出部４４と、特徴量抽出部４４により抽出された特徴量と歩行者モデル記憶部５８に記憶された歩行者モデルの特徴量とを比較して、各ウインドウ画像内の物体の歩行者らしさを表す評価値を算出する評価値算出部４６と、評価値算出部４６で算出された評価値に基づいて、歩行者候補領域を抽出する歩行者候補抽出部４８とを備えている。
【００３５】
ウインドウ画像抽出部４０は、入力画像から予め定められたサイズのウインドウ（探索ウインドウと呼称）を１ステップにつき、予め定められた移動量（探索ステップと呼称）だけ移動させながら各ステップ毎に画像を切り取る。ここでは、切り取った画像をウインドウ画像と呼称する。ウインドウ画像のサイズ（すなわち探索ウインドウのサイズ）については、入力画像上に様々なサイズで表れる歩行者を検出するために、複数種類の大きさ及び形状の少なくとも一方が異なるサイズが設定されており、ウインドウ画像抽出部４０は、設定されている全てのサイズの探索ウインドウを用いてウインドウ画像を抽出する。
【００３６】
画像サイズ変換部４２は、ウインドウ画像のサイズを、適切なサイズにするように、所定サイズの画像に変換する。これは、車両近傍に位置する歩行者は画像中では大きく観測され、遠方にいる歩行者は画像中で小さく観測されるため、対象物検出部２６が検出可能な大きさなるように、ウインドウ画像のサイズを変更する。
【００３７】
特徴量抽出部４４は、ウインドウ画像の特徴量を算出する。例えば、特徴量として、エッジ方向のヒストグラム（ＨＯＧ）を用いる。なお、特徴量として、エッジ特徴、4方向面特徴、ハール特徴などの公知の特徴量を用いてもよい。
【００３８】
評価値算出部４６は、後述する歩行者モデル記憶部５８に記憶された歩行者モデルを参照して、ウインドウ画像の歩行者らしさを表す評価値を算出する。以下では、歩行者モデルとして、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）識別器のＳＶＭモデルを用いた場合について説明する。
【００３９】
評価値は、特徴量抽出部４４で算出されたウインドウ画像の特徴量と歩行者モデルが表わす境界面との距離に応じて、ウインドウ画像の特徴量が特徴空間において境界面から対象物（ポジティブ）側に離れるほど評価値は大きくなり、境界面から非対象物（ネガティブ）側に離れるほど評価値は小さくなる。また、評価値は正規化された値であり、−１〜１の範囲の値をとり、１に近いほど歩行者らしく、−１に近いほど歩行者らしくないことを示す。
【００４０】
歩行者候補抽出部４８は、評価値が所定値以上となるウインドウ画像を、歩行者候補領域として各々抽出する。
【００４１】
一般的には、歩行者らしさの第１閾値Ｔｈ１を０以上１以下の例えば０．３に設定し、評価値が第１閾値Ｔｈ１＝０．３以上であれば歩行者、第１閾値Ｔｈ１未満であれば非歩行者画像と識別する。図２では、例として４つの歩行者候補領域２１〜２４が抽出されており、歩行者候補領域２１および歩行者候補領域２２は評価値が第１閾値Ｔｈ１以上であるため実線矩形で歩行者を囲っている。一方、歩行者候補領域２３および２４については、評価値が−１に近くはないが、第１閾値Ｔｈ１未満であって、かつ、第２閾値Ｔｈ２以上（例えば０．１)であり、歩行者らしさが比較的高いため破線矩形で歩行者を囲っている。
【００４２】
ここで、歩行者モデルの学習の初期段階では、評価値算出部４６を用いた対象物検出部２６の検出性能が十分高くないため、歩行者候補領域２１、２２のような正検出がある一方、歩行者候補領域２３のような歩行者に対しても低い評価値を算出し、逆に歩行者候補領域２４のように明らかに歩行者でない対象に対しても、−１に比べれば高い評価値を算出してしまう。
【００４３】
このため、本実施の形態では、歩行者候補抽出部４８によって、評価値が、できるだけ低い閾値（例えば、−０．３）以上となるウインドウ画像を歩行者候補領域として抽出し、後段の歩行者画像識別部３４によって、運転行動判定部３２の判定結果を用いて、正しい歩行者候補領域であるか否かの識別を行うこととする。
【００４４】
危険度算出部２８は、対象物検出部２６において抽出された歩行者候補領域に基づいて、各歩行者候補領域に対して、当該歩行者候補領域が表わす物体と自車両との距離、当該歩行者候補領域が表わす物体の推定歩行速度及び移動方向を求める。危険度算出部２８は、車速センサ１４によって検出された自車両の車速と、求めた当該歩行者候補領域が表わす物体と自車両との距離と、当該歩行者候補領域が表わす物体の推定歩行速度及び移動方向とに基づいて、衝突危険度としてＴＴＣを算出する。なお、当該歩行者候補領域が表わす物体と自車両との距離については、当該歩行者候補領域の大きさ及び位置に基づいて、当該歩行者候補領域が表わす物体が存在する位置を推定し、推定した位置に基づいて、自車両との距離を求めるようにすればよい。また、当該歩行者候補領域が表わす物体の推定歩行速度及び移動方向については、対象物検出部２６によって前回抽出された当該歩行者候補領域との変化に基づいて、当該歩行者候補領域が表わす物体の推定歩行速度及び移動方向を求めればよい。
【００４５】
回避行動検出部３０は、ペダルセンサ１６によって検出されたブレーキペダルの操作量の変化及びアクセルペダルの操作量の変化に基づいて、アクセルオフあるいはブレーキオンがあったと判断された場合には、ドライバの減速による回避行動が検出されたとする。また、回避行動検出部３０は、操舵センサ１８によって検出されたステアリングの操作量の変化に基づいて、ドライバによるステアリングの操作があったと判断された場合には、ドライバの操舵による回避行動が検出されたとする。なお、ブレーキペダルの操作量の変化及びアクセルペダルの操作量の変化は、所定時間前からの現時点までのペダルセンサ１６の出力の時系列データから得られる。また、ステアリングの操作量の変化は、所定時間前からの現時点までの操舵センサ１８の出力の時系列データから得られる。
【００４６】
運転行動判定部３２は、各歩行者候補領域について、危険度算出部２８によって当該歩行者候補領域について算出されたＴＴＣが、閾値（例えば、２秒）以下である場合には、自車両と歩行者候補領域が表わす物体との衝突可能性が高いと判定する。また、運転行動判定部３２は、回避行動検出部３０によって回避行動が検出された場合には、衝突可能性が高いと判定した歩行者候補領域について、当該候補領域が表わす物体との衝突を回避するための運転行動の変化があったと判定する。
【００４７】
ＴＴＣが大きな値（例えば８秒）と算出された歩行者候補領域については、この時点で衝突の可能性が高いとは判断されないため、回避行動が検出された場合であっても、当該歩行者候補領域が表わす物体に対する、ドライバの運転行動の変化があったとは判定しない。
【００４８】
ここで、本実施の形態の原理について説明する。
【００４９】
対象物検出装置１０の初期状態においては、対象物検出部２６で用いる歩行者モデルは、少ない教師データを用いて学習されているため、十分な検出性能が得られない。しかしながら、この初期段階で必要な教師データは少量であるため、教師データ切り出しのための時間と労力は少ない。
【００５０】
次に、対象物検出装置１０を搭載した車両が実際に走行すると、対象物検出部２６により、歩行者を表わす画像が検出される。その検出された歩行者画像を教師画像とすることで自動的に教師画像データベースが構築できる。
【００５１】
しかしながら、初期状態の対象物検出部２６では、十分な検出性能が得られないため、未検出となる事例が多く発生する。対象物検出部２６は、画像中から検出した歩行者候補領域と、検出すべき歩行者らしさを示す評価値を出力し、一般に評価値が高いほど、歩行者候補領域に誤りが少ない。このため、ある閾値を設定し、その閾値以上の場合に、歩行者候補領域が正しい検出であるとみなすが、十分な検出性能が得られていない状態では、正しく歩行者を表わしている歩行者候補領域に対しても低い評価値になることがある。一方、閾値を低く設定すると、歩行者でない画像も正しい検出とみなしてしまい、そのままでは、教師データに、歩行者とは異なる画像データが追加されてしまう、という問題がある。
【００５２】
このため、評価値が多少低い場合には、ドライバの運転行動から、歩行者候補領域が正しい歩行者画像であるかどうかの識別を行う。
【００５３】
これは、例えば、車両前方から歩行者候補が検出されたとき、車両と歩行者候補の位置関係及び車両速度から、歩行者との衝突の危険性が高いと判定され、且つ、ドライバがアクセルＯＦＦする、ブレーキを踏むなどの操作をしたときは、前方歩行者との衝突の回避行動をおこしたと認められる。この場合は、対象物検出部２６が検出した歩行者候補は正しい検出結果と考えられ、教師データに加えても問題ない。
【００５４】
以上説明した原理より、本実施の形態では、歩行者画像識別部３４によって、対象物検出部２６において抽出された歩行者候補領域の各々に対して、算出された評価値と、運転行動判定部３２の判定結果とから、歩行者を表わす画像であるか否かを識別する。歩行者画像識別部３４は、歩行者候補領域の各々に対して、当該歩行者候補領域について算出された評価値が第１閾値Ｔｈ１以上である場合、当該歩行者候補領域は歩行者画像であると識別する。例えば、上記図２に示す歩行者候補領域２１、２２の評価値は第１閾値Ｔｈ１以上であるため、歩行者画像であると識別される。
【００５５】
また、歩行者画像識別部３４は、歩行者候補領域の各々に対して、当該歩行者候補領域について算出された評価値が第１閾値Ｔｈ１未満であるが、第２閾値Ｔｈ２以上である場合、運転行動判定部３２によって、当該歩行者候補領域に対して運転行動が変化したと判定されていると、当該歩行者歩候補領域が、歩行者画像であると識別し、当該歩行者候補領域に対して運転行動が変化していないと判定されていると、当該歩行者歩候補領域が、歩行者画像でないと識別する。例えば、上記図２に示す歩行者候補領域２３，２４については、評価値が第１閾値Ｔｈ１未満、第２閾値Ｔｈ２以上であるため、運転行動判定部３２の判定結果を利用し、歩行者候補領域２３に対して運転行動が変化したと考えられるため、歩行者候補領域２３は、歩行者画像であると識別される。
【００５６】
記憶制御部３６は、歩行者画像データベース３８に、歩行者画像であると識別された歩行者候補領域（例えば、歩行者候補領域２１、２２、２３）の画像を追加する。
【００５７】
また、コンピュータ２０は、非歩行者画像を生成する非歩行者画像生成部５０と、生成された非歩行者画像を記憶した非歩行者画像データベース５２とを更に備えている。
【００５８】
非歩行者画像データベース５２は、歩行者が存在するような環境において撮像した画像であって、かつ、歩行者を含まない非歩行者画像を記憶しており、例えば、上記図２に示す画像における歩行者が存在しない領域での画像を、非歩行者画像として記憶している。
【００５９】
非歩行者画像生成部５０は、歩行者画像識別部３４の識別結果に基づいて、歩行者が存在しない画像を収集し、収集した画像中から位置・大きさをランダムに変更して切り出すことで、非歩行者画像を生成する。なお、一般的には、歩行者画像データベース３８に記憶された歩行者画像の数に対して、数倍から数十倍の数の非歩行者画像を生成し、非歩行者画像データベース５２に記憶しておく。
【００６０】
また、コンピュータ２０は、歩行者画像データベース３８に記憶された各歩行者画像、及び非歩行者画像データベース５２に記憶された各非歩行者画像から、画像特徴量を各々抽出する特徴量抽出部５４と、抽出された画像特徴量に基づいて、歩行者画像及び非歩行者画像を学習して、歩行者モデルを生成する学習部５６と、生成された歩行者モデルを記憶する歩行者モデル記憶部５８とを更に備えている。
【００６１】
特徴量抽出部５４は、上述した特徴量抽出部４４と同様に、各歩行者画像および各非歩行者画像における画像特徴量を抽出する。
【００６２】
学習部５６は、上述した評価値算出部４６と同様のＳＶＭ識別器を用いて学習を行う。ここで、特徴量抽出部５４で得られた特徴量ｘとそれに対応するクラスｃの組み合わせからなる学習データの集合をＤと表すと、Ｄは以下の式で表される．
【００６３】
【数１】
【００６４】
ただし、ｐは特徴量ｘの次元数であり、ｃｉ＝１の場合は歩行者、ｃｉ＝−１の場合は非歩行者であることを表している。またｎは学習データの数であり、学習に用いた歩行者画像の数及び非歩行者画像の数の合計値となる。
【００６５】
この学習データの集合Ｄを用いたＳＶＭ識別器の学習を行い、その結果、歩行者モデルが生成される。具体的には、歩行者画像（ポジティブデータ）及び非歩行者画像（ネガティブデータ）を用いて学習することにより、歩行者モデルが、特徴空間における歩行者と非歩行者との境界面（サポートベクタ）として生成される。
【００６６】
また、コンピュータ２０は、歩行者画像識別部３４によって歩行者画像であると識別された歩行者候補領域を、歩行者の検出結果として、表示装置７０に表示させる表示制御部６０を更に備えている。表示制御部６０は、例えば、上記図２に示すように、前方撮像装置１２によって撮像された画像上に、歩行者画像であると識別された歩行者候補領域を示す枠を重畳させて、表示装置７０に表示させる。
【００６７】
次に、本実施の形態に係る対象物検出装置１０の作用について説明する。まず、歩行者を撮像することにより得られた複数の歩行者画像と、歩行者以外を撮像することにより得られた複数の非歩行者画像とを予め用意して、歩行者画像データベース３８及び非歩行者画像データベース５２に格納し、対象物検出装置１０は、歩行者画像データベース３８及び非歩行者画像データベース５２の歩行者画像及び非歩行者画像に基づいて、学習処理を行い、得られた歩行者モデルを、歩行者モデル記憶部５８に記憶する。
【００６８】
そして、対象物検出装置１０を搭載した車両の走行中に、コンピュータ２０において、図４に示す歩行者画像収集処理ルーチンが実行される。なお、歩行者画像収集処理ルーチンは、所定時間毎に繰り返し実行される。
【００６９】
まず、ステップ１００において、前方撮像装置１２から撮像画像を取得し、ステップ１０２において、車速センサ１４、ペダルセンサ１６、及び操舵センサ１８からの各出力を取得する。
【００７０】
そして、ステップ１０４において、上記ステップ１００で取得した撮像画像から得られる各ウインドウ画像に対して、ＳＶＭ識別器を用いて評価値を算出し、評価値が所定値以上となるウインドウ画像を、歩行者候補領域として抽出する。
【００７１】
次のステップ１０６では、上記ステップ１０４で抽出された歩行者候補領域の各々について、前回の実行時に抽出された当該歩行者候補領域との変化、及び上記ステップ１０２で取得した車速とに基づいて、歩行者候補領域が表わす物体に対するＴＴＣを算出する。そして、ステップ１０８において、上記ステップ１０２において所定回数前から現時点までに取得された各種操作量の時系列データに基づいて、衝突を回避する回避行動を検出する。
【００７２】
次のステップ１１０では、上記ステップ１０４で抽出された複数の歩行者候補領域の中から、判定対象の歩行者候補領域を設定する。ステップ１１２では、上記ステップ１０４で算出された、判定対象の歩行者候補領域に対する評価値が、第１閾値Ｔｈ１以上であるか否かを判定する。判定対象の歩行者候補領域に対する評価値が、第１閾値Ｔｈ１以上である場合には、ステップ１１８へ移行するが、一方、判定対象の歩行者候補領域に対する評価値が、第１閾値Ｔｈ１未満である場合には、ステップ１１４において、判定対象の歩行者候補領域に対する評価値が、第１閾値Ｔｈ１未満であって、かつ、第２閾値Ｔｈ２以上であるか否かを判定する。判定対象の歩行者候補領域に対する評価値が、第２閾値Ｔｈ２未満である場合には、ステップ１２０へ移行する。一方、判定対象の歩行者候補領域に対する評価値が、第１閾値Ｔｈ１未満であって、かつ、第２閾値Ｔｈ２以上である場合には、ステップ１１６において、判定対象の歩行者候補領域に対するＴＴＣが、所定値以下であって、かつ、上記ステップ１０８で回避行動が検出されたか否かを判定する。判定対象の歩行者候補領域に対するＴＴＣが、所定値未満である場合、又は上記ステップ１０８で回避行動が検出されなかった場合には、ステップ１２０へ移行する。
【００７３】
一方、判定対象の歩行者候補領域に対するＴＴＣが、所定値以下であって、かつ、上記ステップ１０８で回避行動が検出された場合には、歩行者画像であると識別し、ステップ１１８において、判定対象の歩行者候補領域を、歩行者画像として歩行者画像データベース３８に記憶させる。
【００７４】
ステップ１２０では、全ての歩行者候補領域について、上記ステップ１１０〜１１８の処理を実行したか否かを判定する。上記ステップ１１０〜１１８の処理を実行していない歩行者候補領域が存在する場合には、上記ステップ１１０へ戻り、上記の処理を実行していない歩行者候補領域を、判定対象として設定する。
【００７５】
上記ステップ１２０において、全ての歩行者候補領域について、上記ステップ１１０〜１１８の処理を実行したと判定された場合には、ステップ１２２において、歩行者の検出結果として、歩行者画像であると識別された歩行者候補領域を示す枠を、撮像画像上に重畳して、表示装置７０に表示させて、歩行者画像収集処理ルーチンを終了する。
【００７６】
上記の歩行者画像収集処理ルーチンが繰り返し実行されることにより、多数の歩行者画像が収集され、歩行者画像データベース３８に記憶される。また、コンピュータ２０は、歩行者画像であると識別されなかった画像を収集して、非歩行者画像を多数生成し、非歩行者画像データベース５２に記憶させる。
【００７７】
そして、コンピュータ２０において、歩行者画像データベース３８に記憶された歩行者画像、及び非歩行者画像データベース５２に記憶された非歩行者画像を用いて、学習処理を行い、歩行者モデルを生成して、歩行者モデル記憶部５８に記憶されている歩行者モデルを更新する。
【００７８】
そして、対象物検出装置１０を搭載した車両の走行中に、コンピュータ２０は、更新された歩行者モデルを用いて、前方撮像装置１２によって撮像された画像から、歩行者を検出する処理を繰り返し行い、歩行者が検出される毎に、検出結果を表示装置７０に表示させる。なお、歩行者モデルの学習が繰り返し行われ、対象物検出部２６の検出性能が向上した場合には、対象物検出部２６による検出結果を、表示装置７０に表示させるようにすればよい。
【００７９】
以上説明したように、第１の実施の形態に係る対象物検出装置によれば、歩行者候補領域の各々について、対象物検出部によって算出された評価値、及び歩行者候補領域が表わす物体との衝突を回避するためのドライバの運転行動があったか否かの判定結果に基づいて、歩行者候補領域が歩行者画像であるか否かを識別することにより、対象物検出部の検出性能が低い場合であっても、歩行者画像を得ることができる。
【００８０】
画像処理により対象物を検出する場合には、検出したい対象物の画像データ、つまり教師データを非常に多く収集して対象物検出部を学習させる必要がある。従来、この教師データは、人手により画像から切り出していたため、膨大な時間と労力を有していた。一方、本実施の形態によれば、少ない教師データで学習した対象物検出部２６の検出結果を用いて教師データを自動で切り出すことができるため、教師データ収集のための労力を大幅に削減することができる。また、自動で切り出した教師データを記憶した教師データベースを用いることで、対象物検出部２６の性能向上を容易に実現することができる。
【００８１】
また、ドライバの運転行動から、抽出された歩行者候補領域の歩行者らしさを判定でき、誤った教師データを採用することなく、自動的に正しい教師データを収集できる。また、継続的に走行することで、大規模な教師画像データベースを構築でき、それを用いて再学習をおこなうことで、少ない時間と労力で、対象物検出部の検出性能を向上させることが可能となる。
【００８２】
また、初期の段階で対象物検出部の検出性能が低く、正検出と認められない歩行者候補領域であっても、対象物検出部により算出される評価値がある水準を満たすか否か、及び衝突回避の運転行動が検出されたか否かに基づいて、歩行者候補領域の歩行者らしさを判定するため、正検出を見過ごすことなく、かつ誤検出を含めることなく、教師画像を収集することができ、教師画像データベースを構築することが可能である。
【００８３】
次に、第２の実施の形態について説明する。なお、第１の実施の形態と同様の構成となる部分については、同一符号を付して説明を省略する。
【００８４】
第２の実施の形態では、ドライバの視線方向が、抽出された歩行者候補領域に対応する範囲内に停留したか否かの判定結果を用いて、歩行者画像であるか否かを識別している点が、第１の実施の形態と異なっている。
【００８５】
図５に示すように、第２の実施の形態に係る対象物検出装置２１０は、前方撮像装置１２と、車室内のステアリングコラムに取り付けられ、かつ、ドライバの顔を撮像するドライバ撮像装置２１２と、前方撮像装置１２から得られる撮像画像から歩行者画像を収集して歩行者モデルを学習すると共に、前方撮像装置１２から得られる撮像画像から歩行者を表わす領域を検出するコンピュータ２２０と、表示装置７０とを備えている。
【００８６】
ドライバ撮像装置２１２は、ドライバの顔を含む領域を撮像し、画像の画像信号を生成する撮像部（図示省略）と、撮像部で生成された画像信号をＡ／Ｄ変換するＡ／Ｄ変換部（図示省略）と、Ａ／Ｄ変換された画像信号を一時的に格納するための画像メモリ（図示省略）とを備えている。ドライバ撮像装置２１２は、ドライバの顔を含む領域を、所定間隔で繰り返し撮像する。
【００８７】
コンピュータ２２０は、画像取得部２５と、対象物検出部２６と、ドライバ撮像装置２１２によって撮像された顔画像に基づいて、ドライバの視線方向を計測する視線計測部２２８と、ドライバの視線が、歩行者候補領域が表わす物体を注視しているか否かを判定する対象注視判定部２３０と、各歩行者候補領域について、対象物検出部２６で算出された評価値及び対象注視判定部２３０の判定結果に基づいて、歩行者画像であるか否かを識別する歩行者画像識別部２３４と、記憶制御部３６と、歩行者画像データベース３８と、非歩行者画像生成部５０と、非歩行者画像データベース５２と、特徴量抽出部５４と、学習部５６と、歩行者モデル記憶部５８と、表示制御部６０とを備えている。なお、対象注視判定部２３０が、視線判定手段の一例である。
【００８８】
視線計測部２２８は、従来既知の画像処理手法を用いて、ドライバの顔画像から、ドライバの視線方向を計測する。ここで、計測されるドライバの視線方向は、図６に示すように視線原点Ｏｅと、ｚ＝１の仮想平面との交点（ｘ‘，ｙ’，１）とによって決定されるベクトルｐによって表される。
【００８９】
対象注視判定部２３０は、対象物検出部２６によって抽出された歩行者候補領域の各々について、ドライバが、当該歩行者候補領域が表わす物体を注視しているかどうかの判定を行う。具体的には、歩行者候補領域の各々について、ドライバの眼の位置（視線原点）と、前方撮像装置１２の設置位置及び撮像方向と、ドライバ撮像装置２１２の設置位置及び撮像方向とに基づいて、歩行者候補領域に対応する視線方向の範囲を算出する。そして、視線計測部２２８によって計測された視線ｐと、歩行者候補領域に対応する視線方向の範囲との時間的位置関係を調べる。例えば視線ｐが、ある一定時間、例えば３００ミリ秒（０．３秒）の間、歩行者候補領域に対応する視線方向の範囲内に継続して存在している場合には、ドライバの視線が歩行者候補領域内に停留しており、ドライバは歩行者候補領域が表わす物体を注視したと判断する。
【００９０】
歩行者画像識別部２３４は、対象物検出部２６において抽出された歩行者候補領域の各々に対して、算出された評価値と、対象注視判定部２３０の判定結果とから、歩行者を表わす画像であるか否かを識別する。歩行者画像識別部２３４は、歩行者候補領域の各々に対して、算出された評価値が第１閾値Ｔｈ１以上である場合、当該歩行者候補領域は、歩行者画像であると識別する。
【００９１】
また、歩行者画像識別部２３４は、歩行者候補領域の各々に対して、算出された評価値が第１閾値Ｔｈ１未満であるが、第２閾値Ｔｈ２以上である場合、対象注視判定部２３０によって当該歩行者候補領域に対してドライバが注視したと判定されていると、当該歩行者歩候補領域が、歩行者画像であると識別し、当該歩行者候補領域に対してドライバが注視していないと判定されていると、当該歩行者歩候補領域が、歩行者画像でないと識別する。例えば、上記図２に示す歩行者候補領域２３，２４については、評価値が第１閾値Ｔｈ１未満、第２閾値Ｔｈ２以上であるため、対象注視判定部２３０の判定結果を利用し、歩行者候補領域２３に対してドライバが注視したと判定される場合には、歩行者候補領域２３は、歩行者画像であると識別される。一方、歩行者候補領域２４に対してはドライバが注視していない場合には、歩行者候補領域２４は、歩行者画像であると識別されない。
【００９２】
次に、第２の実施の形態に係る歩行者画像収集処理ルーチンについて、図７を用いて説明する。なお、第１の実施の形態と同様の構成となる部分については、同一符号を付して説明を省略する。
【００９３】
まず、ステップ１００において、前方撮像装置１２から撮像画像を取得し、ステップ２４８において、ドライバ撮像装置２１２からドライバの顔画像を取得する。
【００９４】
そして、ステップ１０４において、上記ステップ１００で取得した撮像画像から歩行者候補領域を抽出すると共に、各歩行者候補領域に対する評価値を算出する。
【００９５】
次のステップ２５０では、上記ステップ２４８で取得した顔画像に基づいて、ドライバの視線方向を計測する。そして、ステップ１１０では、抽出された複数の歩行者候補領域の中から、判定対象の歩行者候補領域を設定する。ステップ１１２では、上記ステップ１０４で算出された、判定対象の歩行者候補領域に対する評価値が、第１閾値Ｔｈ１以上であるか否かを判定する。ステップ１１４では、判定対象の歩行者候補領域に対する評価値が、第１閾値Ｔｈ１未満であって、第２閾値Ｔｈ２以上であるか否かを判定する。判定対象の歩行者候補領域に対する評価値が、第１閾値Ｔｈ１未満であって、第２閾値Ｔｈ２以上である場合には、ステップ２５２において、判定対象の歩行者候補領域に対応する視線方向の範囲を算出する。次のステップ２５４では、上記ステップ２５０で所定回数前から現時点までに計測された視線方向の時系列データと、上記ステップ２５２で算出した視線方向の範囲とを比較して、ドライバの視線方向が、算出した視線方向の範囲内に所定時間以上停留したか否かを判定する。ドライバの視線方向が、算出した視線方向の範囲内に所定時間以上停留していない場合には、ステップ１２０へ移行する。
【００９６】
一方、ドライバの視線方向が、算出した視線方向の範囲内に所定時間以上停留した場合には、歩行者画像であると識別し、ステップ１１８において、判定対象の歩行者候補領域を、歩行者画像として歩行者画像データベース３８に記憶させる。
【００９７】
ステップ１２０では、全ての歩行者候補領域について、上記ステップ１１０〜１１４、２５２、２５４、１１８の処理を実行したか否かを判定する。上記ステップ１１０〜１１４、２５２、２５４、１１８の処理を実行していない歩行者候補領域が存在する場合には、上記ステップ１１０へ戻り、上記の処理を実行していない歩行者候補領域を、判定対象として設定する。
【００９８】
上記ステップ１２０において、全ての歩行者候補領域について、上記ステップ１１０〜１１４、２５２、２５４、１１８の処理を実行したと判定された場合には、ステップ１２２において、歩行者の検出結果として、歩行者画像であると識別された歩行者候補領域を示す枠を、撮像画像上に重畳して、表示装置７０に表示させて、歩行者画像収集処理ルーチンを終了する。
【００９９】
以上説明したように、第２の実施の形態に係る対象物検出装置によれば、歩行者候補領域の各々について、対象物検出部によって算出された評価値、及びドライバの視線方向が歩行者候補領域に停留したか否かの判定結果に基づいて、歩行者候補領域が歩行者画像であるか否かを識別することにより、対象物検出部の検出性能が低い場合であっても、歩行者画像を得ることができる。
【０１００】
なお、上記の実施の形態において、抽出された歩行者候補領域の各々についてＴＴＣを算出し、ＴＴＣを更に考慮して、歩行者画像であるか否かを識別するようにしてもよい。例えば、歩行者画像識別部２３４は、歩行者候補領域の各々に対して、算出された評価値が第１閾値Ｔｈ１未満であるが、第２閾値Ｔｈ２以上である場合、対象注視判定部２３０によって当該歩行者候補領域に対してドライバが注視したと判定され、かつ、当該歩行者候補領域が閾値以上であると、当該歩行者歩候補領域が、歩行者画像であると識別するようにしてもよい。
【０１０１】
次に、第３の実施の形態について説明する。なお、第１の実施の形態及び第２の実施の形態と同様となる部分については、同一符号を付して説明を省略する。
【０１０２】
第３の実施の形態では、回避する運転行動があったか否かの判定結果と、ドライバの視線方向が、歩行者候補領域に対応する範囲内に停留したか否かの判定結果とを用いて、歩行者画像であるか否かを識別している点が、第１の実施の形態と異なっている。
【０１０３】
図８に示すように、第３の実施の形態に係る対象物検出装置３１０は、前方撮像装置１２と、車速センサ１４と、ペダルセンサ１６と、操舵センサ１８と、ドライバ撮像装置２１２と、前方撮像装置１２から得られる撮像画像から歩行者画像を収集して歩行者モデルを学習すると共に、前方撮像装置１２から得られる撮像画像から歩行者を表わす領域を検出するコンピュータ３２０と、表示装置７０とを備えている。
【０１０４】
コンピュータ３２０は、画像取得部２５と、対象物検出部２６と、危険度算出部２８と、回避行動検出部３０と、運転行動判定部３２と、視線計測部２２８と、対象注視判定部２３０と、各歩行者候補領域について、対象物検出部２６で算出された評価値、運転行動判定部３２の判定結果、及び対象注視判定部２３０の判定結果に基づいて、歩行者画像であるか否かを識別する歩行者画像識別部３３４と、記憶制御部３６と、歩行者画像データベース３８と、非歩行者画像生成部５０と、非歩行者画像データベース５２と、特徴量抽出部５４と、学習部５６と、歩行者モデル記憶部５８と、表示制御部６０とを備えている。
【０１０５】
歩行者画像識別部３３４は、対象物検出部２６において抽出された歩行者候補領域の各々に対して、算出された評価値と、運転行動判定部３２の判定結果と、対象注視判定部２３０の判定結果とから、歩行者を表わす画像であるか否かを識別する。歩行者画像識別部３３４は、歩行者候補領域の各々に対して、算出された評価値が第１閾値Ｔｈ１以上である場合、当該歩行者候補領域は、歩行者画像であると識別する。
【０１０６】
また、歩行者画像識別部３３４は、歩行者候補領域の各々に対して、算出された評価値が第１閾値Ｔｈ１未満であるが、第２閾値Ｔｈ２以上である場合、運転行動判定部３２によって、当該歩行者候補領域に対して運転行動が変化したと判定されていると、当該歩行者歩候補領域が、歩行者画像であると識別する。また、歩行者画像識別部３３４は、歩行者候補領域の各々に対して、算出された評価値が第１閾値Ｔｈ１未満であるが、第２閾値Ｔｈ２以上である場合、対象注視判定部２３０によって、当該歩行者候補領域に対してドライバが注視したと判定されていると、当該歩行者歩候補領域が、歩行者画像であると識別する。
【０１０７】
また、歩行者画像識別部３３４は、歩行者候補領域の各々に対して、算出された評価値が第２閾値Ｔｈ２未満であるが、第３閾値Ｔｈ３（例えば０．０１）以上である場合、運転行動判定部３２によって、当該歩行者候補領域に対して運転行動が変化したと判定され、かつ、対象注視判定部２３０によって、当該歩行者候補領域に対してドライバが注視したと判定されていると、当該歩行者歩候補領域が、歩行者画像であると識別する。歩行者画像識別部３３４は、運転行動判定部３２によって当該歩行者候補領域に対して運転行動が変化していないと判定された場合、又は対象注視判定部２３０によって当該歩行者候補領域に対してドライバが注視していないと判定された場合、当該歩行者歩候補領域が、歩行者画像でないと識別する。
【０１０８】
例えば、上記図２の歩行者候補領域２３については、対象が歩行者であるにも関わらず、評価値が例えば０．０１などの値であり、第２閾値Ｔｈ２未満である。このとき、歩行者候補領域２３に対するＴＴＣが所定値以下、例えば２秒であり、かつ、ブレーキにより減速するなどの回避行動が検出され、歩行者候補領域２３に対してドライバの運転行動が変化したと判定される。更に、歩行者候補領域２３に対して、ドライバが視線を注視したと判定される。この場合、評価値が比較的低い値であっても、第３閾値Ｔｈ３以上であるため、歩行者候補領域２３は、歩行者画像であると識別される。
【０１０９】
次に、第３の実施の形態に係る歩行者画像収集処理ルーチンを、図９、１０を用いて説明する。なお、第１の実施の形態及び第２の実施の形態と同様の構成となる部分については、同一符号を付して説明を省略する。
【０１１０】
まず、ステップ１００において、前方撮像装置１２から撮像画像を取得し、ステップ１０２において、車速センサ１４、ペダルセンサ１６、及び操舵センサ１８からの各出力を取得する。次のステップ２４８において、ドライバ撮像装置２１２からドライバの顔画像を取得する。
【０１１１】
そして、ステップ１０４において、上記ステップ１００で取得した撮像画像から歩行者候補領域を抽出すると共に、各歩行者候補領域に対する評価値を算出する。次のステップ１０６では、上記ステップ１０４で抽出された歩行者候補領域の各々について、歩行者候補領域が表わす物体に対するＴＴＣを算出する。そして、ステップ１０８において、上記ステップ１０２において所定回数前から現時点までに取得された各種操作量の時系列データに基づいて、衝突を回避する回避行動を検出する。
【０１１２】
次のステップ２５０では、上記ステップ２４８で取得した顔画像に基づいて、ドライバの視線方向を計測する。そして、ステップ１１０では、抽出された複数の歩行者候補領域の中から、判定対象の歩行者候補領域を設定する。ステップ１１２では、上記ステップ１０４で算出された、判定対象の歩行者候補領域に対する評価値が、第１閾値Ｔｈ１以上であるか否かを判定する。ステップ１１４において、判定対象の歩行者候補領域に対する評価値が、第１閾値Ｔｈ１未満であって、第２閾値Ｔｈ２以上であるか否かを判定する。判定対象の歩行者候補領域に対する評価値が、第２閾値Ｔｈ２未満である場合には、後述するステップ３５２へ移行する。一方、判定対象の歩行者候補領域に対する評価値が、第１閾値Ｔｈ１未満であって、第２閾値Ｔｈ２以上である場合には、ステップ２５２において、判定対象の歩行者候補領域に対応する視線方向の範囲を算出する。
【０１１３】
次のステップ３５０では、判定対象の歩行者候補領域に対するＴＴＣが、所定値以下であって、かつ、上記ステップ１０８で回避行動が検出されたか否か、又は、ドライバの視線方向が、算出した視線方向の範囲内に所定時間以上停留したか否かを判定する。判定対象の歩行者候補領域に対するＴＴＣが、所定値未満である場合、又は上記ステップ１０８で回避行動が検出されなかった場合には、ステップ１２０へ移行する。また、ドライバの視線方向が、算出した視線方向の範囲内に所定時間以上停留していない場合には、ステップ１２０へ移行する。
【０１１４】
一方、判定対象の歩行者候補領域に対するＴＴＣが、所定値以下であって、かつ、上記ステップ１０８で回避行動が検出された場合、あるいは、ドライバの視線方向が、算出した視線方向の範囲内に所定時間以上停留した場合には、歩行者画像であると識別し、ステップ１１８へ移行する。
【０１１５】
ステップ３５２では、判定対象の歩行者候補領域に対する評価値が、第２閾値Ｔｈ２未満であって、第３閾値Ｔｈ３以上であるか否かを判定する。判定対象の歩行者候補領域に対する評価値が、第３閾値Ｔｈ３未満である場合には、ステップ１２０へ移行する。一方、判定対象の歩行者候補領域に対する評価値が、第２閾値Ｔｈ２未満であって、第３閾値Ｔｈ３以上である場合には、ステップ３５４において、判定対象の歩行者候補領域に対するＴＴＣが、所定値以下であって、かつ、上記ステップ１０８で回避行動が検出され、かつ、ドライバの視線方向が、算出した視線方向の範囲内に所定時間以上停留したか否かを判定する。判定対象の歩行者候補領域に対するＴＴＣが、所定値未満である場合、又は上記ステップ１０８で回避行動が検出されなかった場合には、ステップ１２０へ移行する。また、ドライバの視線方向が、算出した視線方向の範囲内に所定時間以上停留していない場合には、ステップ１２０へ移行する。
【０１１６】
一方、判定対象の歩行者候補領域に対するＴＴＣが、所定値以下であって、かつ、上記ステップ１０８で回避行動が検出され、かつ、ドライバの視線方向が、算出した視線方向の範囲内に所定時間以上停留した場合には、歩行者画像であると識別し、ステップ１１８へ移行する。
【０１１７】
ステップ１１８において、判定対象の歩行者候補領域を、歩行者画像として歩行者画像データベース３８に記憶させる。ステップ１２０では、全ての歩行者候補領域について、上記ステップ１１０〜１１４、２５２、３５０〜３５４、１１８の処理を実行したか否かを判定する。上記ステップ１１０〜１１４、２５２、３５０〜３５４、１１８の処理を実行していない歩行者候補領域が存在する場合には、上記ステップ１１０へ戻り、上記の処理を実行していない歩行者候補領域を、判定対象として設定する。
【０１１８】
上記ステップ１２０において、全ての歩行者候補領域について、上記ステップ１１０〜１１４、２５２、３５０〜３５４、１１８の処理を実行したと判定された場合には、ステップ１２２において、歩行者の検出結果として、歩行者画像であると識別された歩行者候補領域を示す枠を、撮像画像上に重畳して、表示装置７０に表示させて、歩行者画像収集処理ルーチンを終了する。
【０１１９】
以上説明したように、第３の実施の形態に係る対象物検出装置によれば、歩行者候補領域の各々について、対象物検出部によって算出された評価値、歩行者候補領域が表わす物体との衝突を回避するためのドライバの運転行動があったか否かの判定結果、及びドライバの視線方向が歩行者候補領域に停留したか否かの判定結果に基づいて、歩行者候補領域が歩行者画像であるか否かを識別することにより、対象物検出部の検出性能が低い場合であっても、歩行者画像を得ることができる。
【０１２０】
また、ドライバの運転行動および注視行動の両者から、歩行者候補領域が、歩行者らしいと判定された場合は、評価値が比較的低い値であっても、当該歩行者候補領域の画像を正検出として教師画像データベースに登録する。これによって、対象物検出部が十分な検出性能を有していない場合であっても、誤検出、未検出することなく、教師画像を収集することが可能になる。
【０１２１】
なお、上記の第１の実施の形態〜第３の実施の形態では、すべての歩行者画像及び非歩行者画像を用いて、一括で学習処理を行い、歩行者モデルを生成する場合について説明したが、これに限定されるものではない。例えば、既に生成された歩行者モデルに対して、新たに追加された教師データ（歩行者画像）を用いて歩行者モデルを更新する、公知の逐次型の学習方法を利用しても良い。
【０１２２】
また、ＳＶＭ識別器を用いて、歩行者を表わす領域を検出する場合を例に説明したが、これに限定されるものではなく、ニューラルネットワーク（ＮＮ：Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）などの従来既知の他の識別手法を用いて、歩行者を表わす領域を検出するようにしてもよい。最近傍法を用いた場合には、歩行者モデルとして、結合係数が学習される。
【０１２３】
また、ドライバの各種操作量に基づいて、ドライバの回避行動を検出する場合を例に説明したが、これに限定されるものではなく、車速や加速度、角速度などの走行状態を検出して、ドライバの回避行動を検出するようにしてもよい。また、ドライバの各種操作量、及び車両の走行状態の双方に基づいて、ドライバの回避行動を検出するようにしてもよい。
【０１２４】
また、衝突危険度としてＴＴＣを算出した場合を例に説明したが、これに限定されるものではなく、ＴＴＣ以外の指標を、衝突危険度として算出するようにしてもよい。
【０１２５】
また、検出対象物が歩行者である場合を例に説明したが、これに限定されるものではなく、歩行者以外の物体を検出対象物としてもよい。
【０１２６】
また、対象物検出装置において、歩行者モデルの学習を行う場合を例に説明したが、これに限定されるものではなく、歩行者画像を収集する対象物検出装置とは別の装置で、収集された歩行者画像及び非歩行者画像に基づいて、歩行者モデルの学習を行うようにしてもよい。
【０１２７】
また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムをＣＤＲＯＭ等の記憶媒体に格納して提供することも可能である。
【符号の説明】
【０１２８】
１０、２１０、３１０ 対象物検出装置
１２ 前方撮像装置
１４ 車速センサ
１６ ペダルセンサ
１８ 操舵センサ
２０、２２０、３２０ コンピュータ
２６ 対象物検出部
２８ 危険度算出部
３０ 回避行動検出部
３２ 運転行動判定部
３４、２３４、３３４ 歩行者画像識別部
３８ 歩行者画像データベース
４６ 評価値算出部
４８ 歩行者候補抽出部
５２ 非歩行者画像データベース
５６ 学習部
５８ 歩行者モデル記憶部
２１２ ドライバ撮像装置
２２８ 視線計測部
２３０ 対象注視判定部
【特許請求の範囲】
【請求項１】
自車両の前方を撮像する撮像手段と、
ドライバが自車両を操作したときの操作状態、又は自車両の走行状態を検出する検出手段と、
前記撮像手段によって撮像された画像から、検出対象物を表わす領域の候補である対象物候補領域を抽出すると共に、前記対象物候補領域の前記検出対象物らしさの度合いを表わす評価値を算出する対象物検出手段と、
前記対象物検出手段によって抽出された前記対象物候補領域の各々について、前記検出手段によって検出された前記操作状態又は前記走行状態に基づいて、前記対象物候補領域が表わす物体との衝突を回避するための前記ドライバの運転行動があったか否かを判定する回避行動判定手段と、
前記対象物検出手段によって抽出された前記対象物候補領域の各々について、前記対象物検出手段によって算出された前記対象物候補領域の前記評価値、及び前記回避行動判定手段による前記対象物候補領域に対する判定結果に基づいて、前記対象物候補領域が前記検出対象物を表わす画像であるか否かを識別する識別手段と、
を含む画像識別装置。
【請求項２】
前記対象物検出手段によって抽出された前記対象物候補領域の各々について、前記検出手段によって検出された自車両の走行状態に基づいて、前記対象物候補領域が表わす物体と自車両との衝突危険度を算出する衝突危険度算出手段を更に含み、
前記回避行動判定手段は、前記検出手段によって検出された前記操作状態又は前記走行状態に基づいて、物体との衝突を回避するための前記ドライバの運転行動を検出し、前記対象物検出手段によって抽出された前記対象物候補領域の各々について、前記衝突危険度算出手段によって算出された前記対象物候補領域に対する衝突危険度が所定値以上であって、かつ、前記ドライバの運転行動を検出した場合、前記対象物候補領域が表わす物体との衝突を回避するための前記ドライバの運転行動があったと判定する請求項１記載の画像識別装置。
【請求項３】
前記識別手段は、前記対象物検出手段によって算出された前記対象物候補領域の前記評価値が第１閾値以上であるとき、前記対象物候補領域が前記検出対象物を表わす画像であると識別し、前記対象物候補領域の前記評価値が第１閾値より小さい第２閾値未満であるとき、前記対象物候補領域が前記検出対象物を表わす画像でないと識別し、前記対象物候補領域の前記評価値が第１閾値未満であって、かつ、第２閾値以上であるとき、前記回避行動判定手段によって前記対象物候補領域が表わす物体との衝突を回避するための前記ドライバの運転行動があったと判定されると、前記対象物候補領域が前記検出対象物を表わす画像であると識別する請求項１又は２記載の画像識別装置。
【請求項４】
自車両の前方を撮像する撮像手段と、
自車両のドライバの視線方向を計測する計測手段と、
前記撮像手段によって撮像された画像から、検出対象物を表わす領域の候補である対象物候補領域を抽出すると共に、前記対象物候補領域の前記検出対象物らしさの度合いを表わす評価値を算出する対象物検出手段と、
前記対象物検出手段によって抽出された前記対象物候補領域の各々について、前記計測手段によって計測されたドライバの視線方向が、前記対象物候補領域に対応する視線方向の範囲内に所定時間以上継続して存在したか否かを判定する視線判定手段と、
前記対象物検出手段によって抽出された前記対象物候補領域の各々について、前記対象物検出手段によって算出された前記対象物候補領域の前記評価値、及び前記視線判定手段による前記対象物候補領域に対する判定結果に基づいて、前記対象物候補領域が前記検出対象物を表わす画像であるか否かを識別する識別手段と、
を含む画像識別装置。
【請求項５】
前記識別手段は、前記対象物検出手段によって算出された前記対象物候補領域の前記評価値が第１閾値以上であるとき、前記対象物候補領域が前記検出対象物を表わす画像であると識別し、前記対象物候補領域の前記評価値が第１閾値より小さい第２閾値未満であるとき、前記対象物候補領域が前記検出対象物を表わす画像でないと識別し、前記対象物候補領域の前記評価値が第１閾値未満であって、かつ、第２閾値以上であるとき、前記視線判定手段によって前記ドライバの視線方向が前記対象物候補領域に対応する視線方向の範囲内に所定時間以上継続して存在したと判定されると、前記対象物候補領域が、前記検出対象物を表わす画像であると識別する請求項４記載の画像識別装置。
【請求項６】
前記対象物検出手段によって抽出された前記対象物候補領域の各々について、前記検出手段によって検出された自車両の走行状態に基づいて、前記対象物候補領域が表わす物体と自車両との衝突危険度を算出する衝突危険度算出手段を更に含み、
前記識別手段は、前記対象物検出手段によって抽出された前記対象物候補領域の各々について、前記対象物検出手段によって算出された前記対象物候補領域の前記評価値、前記視線判定手段による前記対象物候補領域に対する判定結果、及び前記衝突危険度算出手段によって算出された前記対象物候補領域に対する衝突危険度に基づいて、前記対象物候補領域が、前記検出対象物を表わす画像であるか否かを識別する請求項４又は５記載の画像識別装置。
【請求項７】
自車両のドライバの視線方向を計測する計測手段と、
前記対象物検出手段によって抽出された前記対象物候補領域の各々について、前記計測手段によって計測されたドライバの視線方向が、前記対象物候補領域に対応する視線方向の範囲内に所定時間以上継続して存在したか否かを判定する視線判定手段と、を更に含み、
前記識別手段は、前記対象物検出手段によって抽出された前記対象物候補領域の各々について、前記対象物検出手段によって算出された前記対象物候補領域の前記評価値、前記回避行動判定手段による前記対象物候補領域に対する判定結果、及び前記視線判定手段による前記対象物候補領域に対する判定結果に基づいて、前記対象物候補領域が、前記検出対象物を表わす画像であるか否かを識別する請求項１又は２記載の画像識別装置。
【請求項８】
前記識別手段は、前記対象物検出手段によって算出された前記対象物候補領域の前記評価値が第１閾値以上であるとき、前記対象物候補領域が前記検出対象物を表わす画像であると識別し、前記対象物候補領域の前記評価値が第１閾値未満であって、かつ、第１閾値より小さい第２閾値以上であるとき、前記回避行動判定手段によって前記対象物候補領域が表わす物体との衝突を回避するための前記ドライバの運転行動があったと判定され、又は、前記視線判定手段によって前記ドライバの視線方向が前記対象物候補領域に対応する視線方向の範囲内に所定時間以上継続して存在したと判定されると、前記対象物候補領域が前記検出対象物を表わす画像であると識別し、前記対象物候補領域の前記評価値が第２閾値より小さい第３閾値未満であるとき、前記対象物候補領域が前記検出対象物を表わす画像でないと識別し、前記対象物候補領域の前記評価値が第２閾値未満であって、かつ、第３閾値以上であるとき、前記回避行動判定手段によって前記対象物候補領域が表わす物体との衝突を回避するための前記ドライバの運転行動があったと判定され、かつ、前記視線判定手段によって前記ドライバの視線方向が前記対象物候補領域に対応する視線方向の範囲内に所定時間以上継続して存在したと判定されると、前記対象物候補領域が前記検出対象物を表わす画像であると識別する請求項７記載の画像識別装置。
【請求項９】
前記対象物検出手段は、前記検出対象物を検出するために予め生成された対象物モデルと前記対象物候補領域とを比較することにより、前記対象物候補領域の前記評価値を算出する請求項１〜請求項８の何れか１項記載の画像識別装置。
【請求項１０】
前記識別手段によって前記検出対象物を表わす画像であると識別された前記対象物候補領域の画像を複数記憶した記憶手段と、
前記記憶手段に記憶された前記複数の画像に基づいて、前記対象物モデルを学習する学習手段と、を更に含み、
前記対象物検出手段は、前記学習手段によって学習された前記対象物モデルと前記対象物候補領域とを比較することにより、前記対象物候補領域の前記評価値を算出する請求項９記載の画像識別装置。
【請求項１１】
コンピュータを、
自車両の前方を撮像する撮像手段によって撮像された画像から、検出対象物を表わす領域の候補である対象物候補領域を抽出すると共に、前記対象物候補領域の前記検出対象物らしさの度合いを表わす評価値を算出する対象物検出手段、
前記対象物検出手段によって抽出された前記対象物候補領域の各々について、ドライバが自車両を操作したときの操作状態、又は自車両の走行状態を検出する検出手段によって検出された前記操作状態又は前記走行状態に基づいて、前記対象物候補領域が表わす物体との衝突を回避するための前記ドライバの運転行動があったか否かを判定する回避行動判定手段、及び
前記対象物検出手段によって抽出された前記対象物候補領域の各々について、前記対象物検出手段によって算出された前記対象物候補領域の前記評価値、及び前記回避行動判定手段による前記対象物候補領域に対する判定結果に基づいて、前記対象物候補領域が前記検出対象物を表わす画像であるか否かを識別する識別手段
として機能させるためのプログラム。
【請求項１２】
コンピュータを、
自車両のドライバの視線方向を計測する計測手段、
自車両の前方を撮像する撮像手段によって撮像された画像から、検出対象物を表わす領域の候補である対象物候補領域を抽出すると共に、前記対象物候補領域の前記検出対象物らしさの度合いを表わす評価値を算出する対象物検出手段、
前記対象物検出手段によって抽出された前記対象物候補領域の各々について、前記計測手段によって計測されたドライバの視線方向が、前記対象物候補領域に対応する視線方向の範囲内に所定時間以上継続して存在したか否かを判定する視線判定手段、及び
前記対象物検出手段によって抽出された前記対象物候補領域の各々について、前記対象物検出手段によって算出された前記対象物候補領域の前記評価値、及び前記視線判定手段による前記対象物候補領域に対する判定結果に基づいて、前記対象物候補領域が前記検出対象物を表わす画像であるか否かを識別する識別手段
として機能させるためのプログラム。
【請求項１】
自車両の前方を撮像する撮像手段と、
ドライバが自車両を操作したときの操作状態、又は自車両の走行状態を検出する検出手段と、
前記撮像手段によって撮像された画像から、検出対象物を表わす領域の候補である対象物候補領域を抽出すると共に、前記対象物候補領域の前記検出対象物らしさの度合いを表わす評価値を算出する対象物検出手段と、
前記対象物検出手段によって抽出された前記対象物候補領域の各々について、前記検出手段によって検出された前記操作状態又は前記走行状態に基づいて、前記対象物候補領域が表わす物体との衝突を回避するための前記ドライバの運転行動があったか否かを判定する回避行動判定手段と、
前記対象物検出手段によって抽出された前記対象物候補領域の各々について、前記対象物検出手段によって算出された前記対象物候補領域の前記評価値、及び前記回避行動判定手段による前記対象物候補領域に対する判定結果に基づいて、前記対象物候補領域が前記検出対象物を表わす画像であるか否かを識別する識別手段と、
を含む画像識別装置。
【請求項２】
前記対象物検出手段によって抽出された前記対象物候補領域の各々について、前記検出手段によって検出された自車両の走行状態に基づいて、前記対象物候補領域が表わす物体と自車両との衝突危険度を算出する衝突危険度算出手段を更に含み、
前記回避行動判定手段は、前記検出手段によって検出された前記操作状態又は前記走行状態に基づいて、物体との衝突を回避するための前記ドライバの運転行動を検出し、前記対象物検出手段によって抽出された前記対象物候補領域の各々について、前記衝突危険度算出手段によって算出された前記対象物候補領域に対する衝突危険度が所定値以上であって、かつ、前記ドライバの運転行動を検出した場合、前記対象物候補領域が表わす物体との衝突を回避するための前記ドライバの運転行動があったと判定する請求項１記載の画像識別装置。
【請求項３】
前記識別手段は、前記対象物検出手段によって算出された前記対象物候補領域の前記評価値が第１閾値以上であるとき、前記対象物候補領域が前記検出対象物を表わす画像であると識別し、前記対象物候補領域の前記評価値が第１閾値より小さい第２閾値未満であるとき、前記対象物候補領域が前記検出対象物を表わす画像でないと識別し、前記対象物候補領域の前記評価値が第１閾値未満であって、かつ、第２閾値以上であるとき、前記回避行動判定手段によって前記対象物候補領域が表わす物体との衝突を回避するための前記ドライバの運転行動があったと判定されると、前記対象物候補領域が前記検出対象物を表わす画像であると識別する請求項１又は２記載の画像識別装置。
【請求項４】
自車両の前方を撮像する撮像手段と、
自車両のドライバの視線方向を計測する計測手段と、
前記撮像手段によって撮像された画像から、検出対象物を表わす領域の候補である対象物候補領域を抽出すると共に、前記対象物候補領域の前記検出対象物らしさの度合いを表わす評価値を算出する対象物検出手段と、
前記対象物検出手段によって抽出された前記対象物候補領域の各々について、前記計測手段によって計測されたドライバの視線方向が、前記対象物候補領域に対応する視線方向の範囲内に所定時間以上継続して存在したか否かを判定する視線判定手段と、
前記対象物検出手段によって抽出された前記対象物候補領域の各々について、前記対象物検出手段によって算出された前記対象物候補領域の前記評価値、及び前記視線判定手段による前記対象物候補領域に対する判定結果に基づいて、前記対象物候補領域が前記検出対象物を表わす画像であるか否かを識別する識別手段と、
を含む画像識別装置。
【請求項５】
前記識別手段は、前記対象物検出手段によって算出された前記対象物候補領域の前記評価値が第１閾値以上であるとき、前記対象物候補領域が前記検出対象物を表わす画像であると識別し、前記対象物候補領域の前記評価値が第１閾値より小さい第２閾値未満であるとき、前記対象物候補領域が前記検出対象物を表わす画像でないと識別し、前記対象物候補領域の前記評価値が第１閾値未満であって、かつ、第２閾値以上であるとき、前記視線判定手段によって前記ドライバの視線方向が前記対象物候補領域に対応する視線方向の範囲内に所定時間以上継続して存在したと判定されると、前記対象物候補領域が、前記検出対象物を表わす画像であると識別する請求項４記載の画像識別装置。
【請求項６】
前記対象物検出手段によって抽出された前記対象物候補領域の各々について、前記検出手段によって検出された自車両の走行状態に基づいて、前記対象物候補領域が表わす物体と自車両との衝突危険度を算出する衝突危険度算出手段を更に含み、
前記識別手段は、前記対象物検出手段によって抽出された前記対象物候補領域の各々について、前記対象物検出手段によって算出された前記対象物候補領域の前記評価値、前記視線判定手段による前記対象物候補領域に対する判定結果、及び前記衝突危険度算出手段によって算出された前記対象物候補領域に対する衝突危険度に基づいて、前記対象物候補領域が、前記検出対象物を表わす画像であるか否かを識別する請求項４又は５記載の画像識別装置。
【請求項７】
自車両のドライバの視線方向を計測する計測手段と、
前記対象物検出手段によって抽出された前記対象物候補領域の各々について、前記計測手段によって計測されたドライバの視線方向が、前記対象物候補領域に対応する視線方向の範囲内に所定時間以上継続して存在したか否かを判定する視線判定手段と、を更に含み、
前記識別手段は、前記対象物検出手段によって抽出された前記対象物候補領域の各々について、前記対象物検出手段によって算出された前記対象物候補領域の前記評価値、前記回避行動判定手段による前記対象物候補領域に対する判定結果、及び前記視線判定手段による前記対象物候補領域に対する判定結果に基づいて、前記対象物候補領域が、前記検出対象物を表わす画像であるか否かを識別する請求項１又は２記載の画像識別装置。
【請求項８】
前記識別手段は、前記対象物検出手段によって算出された前記対象物候補領域の前記評価値が第１閾値以上であるとき、前記対象物候補領域が前記検出対象物を表わす画像であると識別し、前記対象物候補領域の前記評価値が第１閾値未満であって、かつ、第１閾値より小さい第２閾値以上であるとき、前記回避行動判定手段によって前記対象物候補領域が表わす物体との衝突を回避するための前記ドライバの運転行動があったと判定され、又は、前記視線判定手段によって前記ドライバの視線方向が前記対象物候補領域に対応する視線方向の範囲内に所定時間以上継続して存在したと判定されると、前記対象物候補領域が前記検出対象物を表わす画像であると識別し、前記対象物候補領域の前記評価値が第２閾値より小さい第３閾値未満であるとき、前記対象物候補領域が前記検出対象物を表わす画像でないと識別し、前記対象物候補領域の前記評価値が第２閾値未満であって、かつ、第３閾値以上であるとき、前記回避行動判定手段によって前記対象物候補領域が表わす物体との衝突を回避するための前記ドライバの運転行動があったと判定され、かつ、前記視線判定手段によって前記ドライバの視線方向が前記対象物候補領域に対応する視線方向の範囲内に所定時間以上継続して存在したと判定されると、前記対象物候補領域が前記検出対象物を表わす画像であると識別する請求項７記載の画像識別装置。
【請求項９】
前記対象物検出手段は、前記検出対象物を検出するために予め生成された対象物モデルと前記対象物候補領域とを比較することにより、前記対象物候補領域の前記評価値を算出する請求項１〜請求項８の何れか１項記載の画像識別装置。
【請求項１０】
前記識別手段によって前記検出対象物を表わす画像であると識別された前記対象物候補領域の画像を複数記憶した記憶手段と、
前記記憶手段に記憶された前記複数の画像に基づいて、前記対象物モデルを学習する学習手段と、を更に含み、
前記対象物検出手段は、前記学習手段によって学習された前記対象物モデルと前記対象物候補領域とを比較することにより、前記対象物候補領域の前記評価値を算出する請求項９記載の画像識別装置。
【請求項１１】
コンピュータを、
自車両の前方を撮像する撮像手段によって撮像された画像から、検出対象物を表わす領域の候補である対象物候補領域を抽出すると共に、前記対象物候補領域の前記検出対象物らしさの度合いを表わす評価値を算出する対象物検出手段、
前記対象物検出手段によって抽出された前記対象物候補領域の各々について、ドライバが自車両を操作したときの操作状態、又は自車両の走行状態を検出する検出手段によって検出された前記操作状態又は前記走行状態に基づいて、前記対象物候補領域が表わす物体との衝突を回避するための前記ドライバの運転行動があったか否かを判定する回避行動判定手段、及び
前記対象物検出手段によって抽出された前記対象物候補領域の各々について、前記対象物検出手段によって算出された前記対象物候補領域の前記評価値、及び前記回避行動判定手段による前記対象物候補領域に対する判定結果に基づいて、前記対象物候補領域が前記検出対象物を表わす画像であるか否かを識別する識別手段
として機能させるためのプログラム。
【請求項１２】
コンピュータを、
自車両のドライバの視線方向を計測する計測手段、
自車両の前方を撮像する撮像手段によって撮像された画像から、検出対象物を表わす領域の候補である対象物候補領域を抽出すると共に、前記対象物候補領域の前記検出対象物らしさの度合いを表わす評価値を算出する対象物検出手段、
前記対象物検出手段によって抽出された前記対象物候補領域の各々について、前記計測手段によって計測されたドライバの視線方向が、前記対象物候補領域に対応する視線方向の範囲内に所定時間以上継続して存在したか否かを判定する視線判定手段、及び
前記対象物検出手段によって抽出された前記対象物候補領域の各々について、前記対象物検出手段によって算出された前記対象物候補領域の前記評価値、及び前記視線判定手段による前記対象物候補領域に対する判定結果に基づいて、前記対象物候補領域が前記検出対象物を表わす画像であるか否かを識別する識別手段
として機能させるためのプログラム。
【図１】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【公開番号】特開２０１２−１２３６４２（Ｐ２０１２−１２３６４２Ａ）
【公開日】平成２４年６月２８日（２０１２．６．２８）
【国際特許分類】
【出願番号】特願２０１０−２７４０１６（Ｐ２０１０−２７４０１６）
【出願日】平成２２年１２月８日（２０１０．１２．８）
【出願人】（０００００３６０９）株式会社豊田中央研究所 (4,200)
【Ｆターム（参考）】
【公開日】平成２４年６月２８日（２０１２．６．２８）
【国際特許分類】
【出願日】平成２２年１２月８日（２０１０．１２．８）
【出願人】（０００００３６０９）株式会社豊田中央研究所 (4,200)
【Ｆターム（参考）】
[ Back to top ]