検出装置及び検出方法
【課題】検出対象物の検出精度を向上させること。
【解決手段】センサーの出力に対応する階調値を含む検出対象画像を生成する画像生成部と、前記検出対象画像から検出対象物を検出することに用いる学習済みの識別器を有する検出部と、を含み、前記識別器は、前記検出対象画像における任意の２つの領域の階調値に基づいて前記検出対象画像における前記検出対象物の検出を行う複数のサブ識別器を有し、前記検出部は、前記複数のサブ識別器に対して、前記検出対象物の複数の領域のうち対応する２つの領域の階調値を入力し、前記複数のサブ識別器の出力に基づいて前記検出対象画像における検出対象物の検出を行う、検出装置。
【解決手段】センサーの出力に対応する階調値を含む検出対象画像を生成する画像生成部と、前記検出対象画像から検出対象物を検出することに用いる学習済みの識別器を有する検出部と、を含み、前記識別器は、前記検出対象画像における任意の２つの領域の階調値に基づいて前記検出対象画像における前記検出対象物の検出を行う複数のサブ識別器を有し、前記検出部は、前記複数のサブ識別器に対して、前記検出対象物の複数の領域のうち対応する２つの領域の階調値を入力し、前記複数のサブ識別器の出力に基づいて前記検出対象画像における検出対象物の検出を行う、検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、検出装置及び検出方法に関する。
【背景技術】
【０００２】
赤外線センサーなどを用いて人体等を検出する装置の開発が行われている。このような装置は、車両周囲に人物等が存在する場合に、その旨を車両の乗員に認識させることなどに用いられる。
【０００３】
特許文献１には、ミリ波の反射波が微弱である人物を車両等と区別して検出するために遠赤外線カメラの撮像画像を補助的に利用することが示されている。特許文献２には、物体の温度に相当する輝度値が閾値の範囲内か否かに基づいて人物を検出することが示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−１２７７１７号公報
【特許文献２】特開２００６−１０１３８４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述の手法は、基本的に、人物の温度に近い温度が見つかった場合に人物であると判定している。人物の表面温度はその人物の周囲の温度（環境温度）によって変化する。しかしながら、上述の手法では、環境温度により人物の表面温度が変化することは考慮されていなかった。例えば、夏の人物は薄着となるため表面温度は体温近辺となるが、冬の人物は厚着となるため表面温度は環境温度に近い温度となる。すなわち、季節によっては、検出が困難となる場合がある。
【０００６】
また、顔など肌が露出している部分の温度は、季節にかかわらずほぼ一定とみることもできるが、顔の向き、髪型、着衣等により常に撮影されるとは限らないため、有効に検出できるか否かは定かではない。すなわち、検出対象物の温度が環境温度によって変わる場合において、精度良く検出対象物を検知することができないという問題がある。
【０００７】
本発明は、このような事情に鑑みてなされたものであり、検出対象物の検出精度を向上させることを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するための主たる発明は、
センサーの出力に対応する階調値を含む検出対象画像を生成する画像生成部と、
前記検出対象画像から検出対象物を検出することに用いる学習済みの識別器を有する検出部と、を含み、
前記識別器は、前記検出対象画像における任意の２つの領域の階調値に基づいて前記検出対象画像における前記検出対象物の検出を行う複数のサブ識別器を有し、
前記検出部は、
前記複数のサブ識別器に対して、前記検出対象画像の複数の領域のうち対応する２つの領域の階調値を入力し、前記複数のサブ識別器の出力に基づいて前記検出対象画像における検出対象物の検出を行う、
検出装置である。
【０００９】
本発明の他の特徴については、本明細書及び添付図面の記載により明らかにする。
【図面の簡単な説明】
【００１０】
【図１】本実施形態における人物検出システム１の概略構成を示すブロック図である。
【図２】本実施形態の概要を説明する図である。
【図３】参考例の人物検出方法の説明図である。
【図４】本実施形態における学習処理のフローチャートである。
【図５】本実施形態における回帰式作成処理のフローチャートである。
【図６】クロッピング画像を複数のセルに分割する様子を説明する図である。
【図７】本実施形態における特徴量抽出処理のフローチャートである。
【図８】本実施形態における人物検出処理（全体画像）のフローチャートである。
【図９】本実施形態における人物検出処理（クロッピング画像）のフローチャートである。
【図１０】探索窓の移動の様子の説明図である。
【発明を実施するための形態】
【００１１】
本明細書及び添付図面の記載により、少なくとも、以下の事項が明らかとなる。すなわち、
センサーの出力に対応する階調値を含む検出対象画像を生成する画像生成部と、
前記検出対象画像から検出対象物を検出することに用いる学習済みの識別器を有する検出部と、を含み、
前記識別器は、前記検出対象画像における任意の２つの領域の階調値に基づいて前記検出対象画像における前記検出対象物の検出を行う複数のサブ識別器を有し、
前記検出部は、
前記複数のサブ識別器に対して、前記検出対象画像の複数の領域のうち対応する２つの領域の階調値を入力し、前記複数のサブ識別器の出力に基づいて前記検出対象画像における検出対象物の検出を行う、
検出装置である。
このように、任意の２つの領域の階調値に基づいて検出対象物の検出を行うサブ識別器を複数有することで、検出精度が良好な１つ又は複数のサブ識別器を用いて検出対象物の検出を行うことができる。そして、検出対象物の検出精度を向上させることができる。
【００１２】
かかる検出装置であって、前記複数のサブ識別器は、前記２つの領域の階調値を入力したときの特徴量に基づく値を出力し、前記特徴量は、前記２つの領域のうち対応する一方の領域の階調値と、前記２つの領域のうち対応する他方の領域の階調値に基づいて推定された前記一方の領域の推定階調値と、の差を表すことが望ましい。
このような構成であれば、学習済みの識別器に２つの領域の階調値を入力すると、その特徴量として、一方の領域の階調値と、他方の領域の階調値に基づいて推定された一方の領域の推定階調値と、の差が求められる。そして、学習済みの識別器において、これらの差は検出対象画像と検出対象物との近似の程度を意味する。よって、このような特徴量に基づく値を出力するようにすることで、検出対象物の検出を精度良く行うことができる。
【００１３】
また、前記推定階調値と前記他方の領域の階調値との関係が一次式で表される場合において、前記検出対象物を含む複数の学習用画像における前記一方の領域の階調値と前記他方の領域における階調値とを用いた最小二乗法により前記一次式の係数を求めることが望ましい。
このようにすることで、一方の領域の推定階調値と他方の領域の階調値との関係式を、複数の学習用画像に基づいて統計学的に求めることができる。したがって、検出精度を向上させることができる。
【００１４】
また、前記複数のサブ識別器に、前記学習用画像の対応する前記一方の領域の階調値と前記他方の領域の階調値を入力してそれぞれのサブ識別器の特徴量を求め、前記複数のサブ識別器のうち該特徴量が小さいサブ識別器から順に所定個数を検出対象物の検出に用いる評価式に含めることが望ましい。
特徴量が、一方の領域の階調値と、他方の領域の階調値に基づいて推定された一方の領域の推定階調値と、の差が小さいほど、検出対象画像と検出対象物とが近似していると言えるので、この差の値が小さいサブ識別器ほど良好なサブ識別器ということになる。よって、特徴量が小さいサブ識別器から順に所定個数を検出対象物の検出に用いられる評価式に含めることとすることで、精度良く検出対象物の検出を行うことができる。
【００１５】
また、前記複数のサブ識別器のそれぞれに、前記検出対象画像における対応する２つの領域の階調値が入力され、前記複数のサブ識別器の出力の合計値に基づいて前記検出対象画像に検出対象物が含まれているか否かについて判定することが望ましい。
このようにすることで、複数のサブ識別器の出力の合計値に基づいて、検出対象画像に検出対象物が含まれているか否かの判定をすることができる。
【００１６】
また、前記画像生成部は、前記検出対象画像を含む全体画像から複数の画像をクロッピングすることにより前記検出対象画像を複数生成し、前記複数の検出対象画像のそれぞれについて前記検出対象物の検出を行うことにより、前記全体画像における前記検出対象物の位置を特定することが望ましい。
このようにすることで、全体画像において複数の検出対象物が存在する場合であっても、それぞれの検出対象物を検出することができる。
【００１７】
また、前記センサーの出力は、該センサーが検出した温度に応じた出力であることが望ましい。
このようにすることで、温度に応じて検出対象物を検出することができる。
【００１８】
また、本明細書及び添付図面の記載により、少なくとも、以下の事項も明らかとなる。すなわち、
センサーの出力に対応する階調値を含む検出対象画像を生成することと、
前記検出対象画像における任意の２つの領域の階調値に基づいて前記検出対象画像における前記検出対象物の検出を行う複数のサブ識別器を用いて前記検出対象画像から検出対象物を検出することと、
を含み、
前記検出することは、前記複数のサブ識別器に対して、前記検出対象画像の複数の領域のうち対応する２つの領域の階調値を入力し、前記複数のサブ識別器の出力に基づいて前記検出対象画像における検出対象物の検出を行うことを含む、検出方法である。
このように、任意の２つの領域の階調値に基づいて検出対象物の検出を行うサブ識別器を複数有することで、検出精度が良好な１つ又は複数のサブ識別器を用いて検出対象物の検出を行うことができる。そして、検出対象物の検出精度を向上させることができる。
【００１９】
＝＝＝実施形態＝＝＝
図１は、本実施形態における人物検出システム１の概略構成を示すブロック図である。以下に示す実施形態では、人物を検出するシステムとして説明を行うが、検出対象物はこれに限られない。図１には、人物検出システム１に含まれる赤外線カメラ１１０と、人物検出装置１２０と、表示装置１３０が示されている。本実施形態では、赤外線カメラ１１０と、人物検出装置１２０と、表示装置１３０とは、それぞれ別体であり、電気的に接続されているが、これらのうち少なくとも２つが一体の装置であってもよい。
【００２０】
赤外線カメラ１１０（センサーに相当）は、中赤外線から遠赤外線の範囲の波長をとらえデジタル値の映像信号を人物検出装置１２０の画像取得部１２２に送信する。赤外線カメラ１１０は、不図示の撮像部とアナログデジタル変換部（Ａ／Ｄ変換部）を含む。撮像部は、赤外線カメラ１１０の受光素子に対応するものであり、受光素子が受光した赤外領域の光に対応した信号を人物検出装置１２０に出力する。Ａ／Ｄ変換部は、撮像部で得られたアナログ信号をデジタル信号に変換する機能を有する。
【００２１】
ここで、中赤外線は２．５μｍ〜４．０μｍの波長、遠赤外線は４μｍ〜１０００μｍの波長を有する赤外光である。本実施形態では、赤外線カメラ１１０は８〜１４μｍの波長を検知し、人物の体温を検出対象とするが、この波長に限られず、温度を検出できる波長であればこれに限られない。赤外線カメラ１１０は、車両のフロントグリル部などに搭載される。そして、自車両（赤外線カメラ１１０が搭載された車両）から前方方向の環境を撮影する。
【００２２】
人物検出装置１２０は、画像取得部１２２と画像メモリー１２４と制御部１２６と記憶部１２８を含む。そして、後述するような処理により、表示装置１３０に表示するデータを生成する。これら画像取得部１２２、画像メモリー１２４、制御部１２６、及び、記憶部１２８は、例えば、不図示の中央演算装置（ＣＰＵ）、ランダムアクセスメモリー（ＲＡＭ）及びハードディスク（ＨＤＤ）などにより実現される。
【００２３】
画像取得部１２２は、赤外線カメラ１１０が得た映像（例えば、１５ｆｐｓの映像）を取得し、この映像からフレーム画像（全体画像）を取得する。そして、得られた各画像は画像メモリー１２４に送られる。
【００２４】
画像メモリー１２４は、画像取得部１２２から送られた画像を一時的に記憶する。制御部１２６は、人物検出処理を行うための演算を行う。具体的な人物検出処理については、後述する。記憶部１２８は、学習モデルなどのデータ、演算途中の一時ファイル、及び、演算結果等を保存する。
【００２５】
表示装置１３０は、例えば、赤外線画像として得られている自車両前方映像を表示するディスプレイである。表示装置１３０には、さらに人物の検出結果として、検出された人物を強調表示することもできる。
【００２６】
図２は、本実施形態の概要を説明する図である。図２には、本実施形態の人物検出システム１の概要を説明するために、各処理がブロックとして表されている。人物検出システム１は、学習処理と検出処理とを行う。なお、外部メモリー等を記憶部１２８として用いたり、学習処理によって得られる検出処理に必要なデータを外部から記憶部１２８に記憶させれば、必ずしも人物検出システム１が学習処理を行わなくてもよい。
【００２７】
学習処理では、予め用意された学習用クロッピング画像を用いて学習を行い、その学習結果を学習モデルデータベース（記憶部１２８）に記憶する。学習用クロッピング画像は、学習用に用意された画像であって、必ず人物が含まれている画像である。
【００２８】
検出処理では、赤外線カメラ１１０から得られた全体画像からクロッピング画像（検出対象画像に相当する）を切り出し、クロッピング画像に人物が含まれているか否かについて前述の学習結果に応じて判定を行う。
【００２９】
学習処理では、前述の学習用クロッピング画像についてコントラストの調整などの前処理が行われ、学習用クロッピング画像は学習器に渡される。学習器は、前処理後の学習用クロッピング画像に基づいて特徴量を求め、特徴量に基づく学習結果を学習モデルデータベースに記憶する。
【００３０】
検出処理では、赤外線カメラ１１０から得られた全体画像から、部分的に画像をクロッピング（切り出し）し、クロッピング画像を生成する。クロッピング画像についてコントラスト調整などの前処理が行われ、クロッピング画像は識別器に渡される。識別器は、学習結果に応じた複数のサブ識別器を有している。クロッピング画像の階調値が複数のサブ識別器に入力され、これらサブ識別器の出力に基づいてクロッピング画像に人物が含まれているか否かの判定が行われる。
【００３１】
クロッピング画像は、全体画像から少しずつ位置をずらして画像を切り出すことによって、複数生成される。そして、前述のように、各クロッピング画像について人物が含まれているか否かの判定が行われ、その判定結果は統合される。そして、統合された結果は、全体画像に人物が強調表示されるなどの処理がされた出力画像として表示装置１３０に出力される。
【００３２】
図３は、参考例の人物検出方法の説明図である。図３を参照しつつ、参考例としての人物検出方法の概念を説明する。図３には、人物が含まれている画像において人物領域階調値Ｔｆと背景領域階調値Ｔｂが示されている。人物領域階調値Ｔｆと背景領域階調値Ｔｂは、ともに、赤外線カメラにより取得された温度に応じて変換された階調値である。参考例の人物検出方法では、人物領域階調値Ｔｆが所定範囲内の階調値である場合には人物が含まれているものとして人物検出を行うが、この「所定範囲内の階調値」は、背景領域階調値Ｔｂに応じて変化するものとなっている。これは、一般に、人物の温度が、その周辺温度に影響を受けて変化するからである。
【００３３】
参考例の人物検出方法では、背景領域階調値Ｔｂに基づいて人物領域階調値が推定される（人物領域推定階調値Ｔｆ’）。人物領域推定階調値Ｔｆ’は、背景領域階調値Ｔｂの関数として表される。ここで、人物領域階調値Ｔｆと背景領域階調値Ｔｂとは、検出対象画像において所定位置にある領域（セル）、例えば検出対象画像の右上隅の領域と中央付近の領域である。
【００３４】
この関数に背景領域階調値Ｔｂを代入して人物領域推定階調値Ｔｆ’を得る。そして、この人物領域推定階調値Ｔｆ’と実際の人物領域階調値Ｔｆとの差の絶対値が所定範囲に入っているときには、画像に人物が含まれているものと判定する。一方、人物領域推定階調値Ｔｆ’と実際の人物領域階調値Ｔｆとの差の絶対値が所定範囲に入っていないときには、画像に人物が含まれていないものと判定する。
【００３５】
このような参考例の手法によっても、従来技術と比較して、画像中に人物が含まれているか否かの判定精度を向上することができる。しかしながら、参考例の手法では、人物領域階調値Ｔｆの位置と背景領域階調値Ｔｂとの位置が固定となっている。そして、人物領域階調値Ｔｆのセルの位置と背景領域階調値Ｔｂのセルの位置について、図３に示した位置関係が最適かどうかは定かではない。つまり、参考例の手法では、より精度良く人物の検出を行う余地があるといえる。よって、本実施形態では以下のような学習を行って、より精度良く人物の検出を行うこととしている。
【００３６】
図４は、本実施形態における学習処理のフローチャートである。以下、本フローチャートを参照しつつ、学習処理について説明を行う。学習処理が行われるにあたり、前述のように、学習用クロッピング画像が複数用意されている。そして、これら人物が含まれていることが確実な学習用クロッピング画像を用いて学習モデルを構築する。
【００３７】
最初に、複数の学習用クロッピング画像（学習画像）の読み込みが行われる（Ｓ１０２）。ここでは、Ｎ枚の学習用クロッピング画像が用意されている。そして、これら複数の学習用クロッピング画像のそれぞれについて特徴量抽出処理が行われる（Ｓ１０４）。特徴量抽出処理は、回帰式を用いて行われる。ここでは、まず、この回帰式の作成処理について説明を行う。
【００３８】
図５は、本実施形態における回帰式作成処理のフローチャートである。図６は、クロッピング画像を複数のセル（領域）に分割する様子を説明する図である。学習用クロッピング画像は、回帰式作成処理において、複数のセルに分割される。これらの学習用クロッピング画像は、赤外線カメラ１３０によって取得された画像であるので、その階調値は温度に関連したものになっている。ここでは、学習用クロッピング画像の複数のセルのうちの２つのセルの階調値（温度を表す）を用いた線形回帰式を求める。
【００３９】
図６には、学習用クロッピング画像が示され、前述のように学習用クロッピング画像が複数のセルに分割されている。そして、左上のセルから右に向かって順にセル番号が割り当てられ、これらのセルの階調値Ｔｉが使用される（ｉはセル番号）。本実施形態では、各セルは複数の画素を含むため、これら画素の階調値の平均値をそのセルの階調値Ｔｉとしてもよいし、中間値をそのセルの階調値Ｔｉとしてもよい。また、これら個々のセルが１つの画素である場合には、その画素に対応する階調値をそのまま階調値Ｔｉとして用いることもできる。
【００４０】
図５のステップＳ２０２において、変数をｉとしたループが構築される。変数ｉはセル番号であり、増分を１として１からＭまで変化させられる。また、ステップＳ２０４において、変数をｊとしたループが構築される。変数ｊはセル番号であり、増分を１として１からＭまで変化させられる。さらに、ステップＳ２０６において、変数をｋとしたループが構築される。変数ｋは学習用クロッピング画像の番号であり、増分を１として１からＮまで変化させられる。
【００４１】
ステップＳ２０８において、ｋ番目の学習用クロッピング画像のｉ番目のセルの階調値Ｔｋｉを取得する。次に、ステップＳ２１０において、ｋ番目の学習用クロッピング画像のｊ番目のセルの階調値Ｔｋｊを取得する。そして、ステップＳ２１２において、ｋが１だけ増分される。このような処理が、１枚目の学習用画像からＮ枚目の学習用画像まで繰り返される（Ｓ２１４）。
【００４２】
次に、得られた階調値ＴｋｉとＴｋｊに基づいて、線形回帰式Ｔｊ’＝ａｉｊＴｉ＋ｂｉｊの係数ａｉｊ及びｂｉｊが最小二乗法により求められる（Ｓ２１６）。そして、ステップＳ２１８において、ｊが１だけ増分される。
【００４３】
このようなｊを変数とした処理が、セル番号１からセル番号Ｍまで繰り返される（Ｓ２２０）。また、ステップＳ２２２において、ｉが１だけ増分される。このようなｉを変数とした処理が、セル番号１からセル番号Ｍまで繰り返される（Ｓ２２４）。このようにすることによって、Ｍ２本の線形回帰式が得られることになる。
【００４４】
線形回帰式を求められると、これに基づいて特徴量を抽出することができるようになる。
図７は、本実施形態における特徴量抽出処理のフローチャートである。ここでは、１枚の画像から特徴量を計算する手法について説明する。なお、この特徴量抽出処理は、学習処理だけでなく、後述する人物検出処理においても使用される。学習処理では、ステップＳ１０２において読み込まれた学習用クロッピング画像の特徴量が抽出されることになる。
【００４５】
ステップＳ３０２において、変数をｉとしたループが構築される。これにより、変数ｉは、増分を１として１からＭまで変化させられる。次に、ｉ番目のセルの階調値Ｔｉを取得する（Ｓ３０４）。
【００４６】
ステップＳ３０６において、変数をｊとしたループが構築される。これにより、変数ｊは、増分を１として１からＭまで変化させられる。次に、特徴量ｖｉｊが求められる（Ｓ３０８）。ステップＳ３０６によって求められる複数の特徴量の一つ一つがサブ識別器に相当する。
【００４７】
特徴量ｖｉｊは、以下の式により求められる。
ｖｉｊ＝Ｔｉ−Ｔｊ’
＝Ｔｉ−（ａｉｊ・Ｔｉ＋ｂｉｊ）
ここで、ｉ及びｊはループ内で変化する変数である。また、ａｉｊ及びｂｉｊの値は、前述の線形回帰式の作成において求められている。また、Ｔｉは、ｉ番目のセルの階調値であり、Ｔｊは、ｊ番目のセルの階調値である。
【００４８】
ステップＳ３１０において、変数ｊが１だけ増分される。このような処理が、ｊを変数としてセル番号１からセル番号Ｍまで繰り返される（Ｓ３１２）。また、ステップＳ３１４において、変数ｉが１だけ増分される。このような処理が、ｉを変数としてセル番号１からセル番号Ｍまで繰り返される（Ｓ３１６）。
【００４９】
このようにすることで、各線形回帰式を用いた特徴量が得られることになる。すなわち、特徴量ｖ１１〜ｖＭＭが得られることになり、合計でＭ２個の特徴量が得られることになる。
【００５０】
このようにして得られた特徴量に基づいて学習が行われる（Ｓ１０６）。特徴量について考察すると、特徴量ｖｉｊは、ある一つのセルの実際の階調値Ｔｊ（一方の領域の階調値）と、他のセルの階調値Ｔｉに基づいて得られたある一つのセルの推定階調値Ｔｊ’（一方の領域の推定階調値）との差を表す。学習用クロッピング画像を用いて求めたものであるため、これら推定階調値と実際の階調値はほぼ同値であることが望ましい。よって、学習用クロッピング画像を用いたときにおいて、特徴量が小さいときの、２つのセル番号の組み合わせに基づいて、検出対象物がその画像に含まれているか否かを判定することが望ましいことになる。
【００５１】
このような原理によると、学習用クロッピング画像の２つのセルの階調値を入力したときの特徴量が小さいセルの組み合わせを用いて、検出対象物がその画像に含まれているか否かの判定を行うことができる。
【００５２】
そうすると、判定用の評価値をＥとして、
Ｅ＝ｗ１１・ｖ１１＋ｗ１２・ｖ１２＋・・・＋ｗＭＭ・ｖＭＭ
という評価式を用いることができる。ここで、ｗｉｊは、重み付けされた係数である。重み付けされた係数は次のようにして決めることができる。例えば、学習用クロッピング画像を用いたときにおける特徴量ｖｉｊの値が小さい順にｉとｊの組み合わせが所定個数だけ選択される。そして、選択されたｉとｊの組み合わせの重み付け係数ｗｉｊを「１」とし、選択されなかったｉとｊの組み合わせの重み付け係数ｗｉｊを「０」とする。このようにすることにより、特徴量ｖｉｊが大きいセルの組み合わせについては、評価式から除外し、特徴量ｖｉｊが小さいセルの組み合わせを評価式に組み入れることができる。
【００５３】
このようにして、それぞれの重み付け係数ｗｉｊを求め、評価値Ｅを求めるための評価式、及び、Ｍ２個の特徴量の算出式を学習モデルとして出力する（Ｓ１０８）。この学習モデルは、記憶部１２８に記憶され、後の人物検出処理において使用されることになる。この学習モデルは、学習済みの識別器に相当する。
【００５４】
なお、ここでは上述のような学習器及び識別器を採用することとしたが、学習器及び識別器はこれに限られず、ａｄａｂｏｏｓｔを用いることとしてもよい。ａｄａｂｏｏｓｔを用いる場合、個々の特徴量の算出式を弱識別器に対応させてもよい。また、個々の特徴量から人物検出に適した特徴量を選択し、強識別器を構築してもよい。
【００５５】
図８は、本実施形態における人物検出処理（全体画像）のフローチャートである。図８を参照しつつ、赤外線カメラ１１０から得られた全体画像から人物を検出する処理について説明する。
【００５６】
最初に、上述のようにして求められた学習モデルの読み込みが行われる（Ｓ４０２）。これにより、評価値Ｅを求めるための評価式、及び、Ｍ２個の特徴量算出式が取得される。これら個々の特徴量算出式で用いられる回帰式の係数ａｉｊ及びｂｉｊは、前述の学習処理により求められている。
【００５７】
赤外線カメラ１１０は、撮影対象物から放出される赤外線に応じた映像をデジタルデータとして出力する。このような映像から１枚の画像（全体画像）が取得される（Ｓ４０４）。赤外線カメラ１１０から得られた画像は、温度に応じた階調値が各画素に設定された画像である。つまり、この画像は画素単位で温度情報を有する画像である。
【００５８】
そして、得られた画像について前処理が行われる（Ｓ４０６）。前処理は、例えば、画像のコントラストの調整、及び、リサイズなどの処理である。
【００５９】
次に、ステップＳ４０８〜ステップＳ４１２において、探索窓ｗ（図１０参照）を全体画像の範囲内で移動させつつ、人物検出処理（ステップＳ４１０）が行われる。具体的には、ステップＳ４０８〜ステップＳ４１２のループにおいて、探索窓ｗが一画素分ずつ（又は複数画素分ずつ）動かされながら探索窓ｗのサイズで画像がクロッピングされ、クロッピング画像に検出対象物である人物が含まれているか否かの判定が行われる。
【００６０】
図９は、本実施形態における人物検出処理（クロッピング画像）のフローチャート、つまりステップＳ４１０を説明するフローチャートである。この人物検出処理は、各クロッピング画像について適用される。よって、人物検出処理（クロッピング画像）において、最初に、クロッピング画像の読み込みが行われる（Ｓ５０２）。
【００６１】
次に、読み込まれたクロッピング画像の特徴量の抽出が行われる（Ｓ５０４）。特徴量抽出処理は、図７を用いて説明を行った処理とほぼ同様であり、ステップＳ３０８で用いられた線形回帰式の係数ａｉｊ及びｂｉｊの値も、学習用クロッピング画像で得られたものが用いられる。このように特徴量抽出処理を行うことで、クロッピング画像について、評価値Ｅを求めるための評価式に入力するＭ２個の特徴量が得られることになる。
【００６２】
次に、求められたＭ２個の特徴量に基づいてクロッピング画像に人物が含まれているか否かの判定が行われる（Ｓ５０６）。具体的には、求められたＭ２個の特徴量が評価式に入力され評価値Ｅが求められる。そして、この評価値Ｅが所定値よりも小さいときには、クロッピング画像に人物が含まれていると判定し、このクロッピング画像の全体画像における位置も記憶する。一方、評価値Ｅが所定値以上のときには、クロッピング画像に人物が含まれていないと判定する。
【００６３】
このような人物検出処理がステップＳ４０８〜Ｓ４１２のループにおいて行われることにより、すべてのクロッピング画像についての人物検出処理が完了される。
【００６４】
図１０は、探索窓の移動の様子の説明図である。図１０には、全体画像において探索窓が移動させられている様子が示されている。このように、探索窓ｗが全体画像において移動させられつつクロッピングされた画像について前述の人物の検出処理が行われる。このようにして、各クロッピング画像について人物が存在するか否かの判定を行い、人物が検出されたクロッピング画像の位置を記憶することによって、全体画像における人物の位置が特定できる。
【００６５】
全体画像における各クロッピング画像についての人物検出処理が完了すると、人物検出装置１２０に接続された表示装置１３０に検出結果が表示される（Ｓ４１４）。結果表示は、赤外線画像として得られている自車両前方映像に、歩行者として判定された箇所を、歩行者を含むように強調表示させたり、注意を喚起するために画面をフラッシュさせたりして行うことができる。さらに、場合によっては運転支援としてブレーキをかけることをアシストしたり、視覚補助として婦論とライトがダウンライトになっているのをアップライトにしてもよい。
【００６６】
このようにして、学習用クロッピング画像に基づいて得られた評価式を用いて人物の検出を行うので、学習用クロッピング画像に含まれる人物によく合致するクロッピング画像について、人物が含まれているものとして精度良く検出を行うことができる。また、上述のようなアルゴリズムは、クロッピング画像における２つの領域の階調値を特徴量算出式に入力するというきわめて単純なものであるので、検出速度を向上させることもできる。
【符号の説明】
【００６７】
１ 人物検出システム、
１１０ 赤外線カメラ、１２０ 人物検出装置、１３０ 表示装置、
１２２ 画像取得部、１２４ 画像メモリー、
１２６ 制御部、１２８ 記憶部、
Ｔｂ 背景領域階調値、Ｔｆ 人物領域階調値
【技術分野】
【０００１】
本発明は、検出装置及び検出方法に関する。
【背景技術】
【０００２】
赤外線センサーなどを用いて人体等を検出する装置の開発が行われている。このような装置は、車両周囲に人物等が存在する場合に、その旨を車両の乗員に認識させることなどに用いられる。
【０００３】
特許文献１には、ミリ波の反射波が微弱である人物を車両等と区別して検出するために遠赤外線カメラの撮像画像を補助的に利用することが示されている。特許文献２には、物体の温度に相当する輝度値が閾値の範囲内か否かに基づいて人物を検出することが示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−１２７７１７号公報
【特許文献２】特開２００６−１０１３８４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述の手法は、基本的に、人物の温度に近い温度が見つかった場合に人物であると判定している。人物の表面温度はその人物の周囲の温度（環境温度）によって変化する。しかしながら、上述の手法では、環境温度により人物の表面温度が変化することは考慮されていなかった。例えば、夏の人物は薄着となるため表面温度は体温近辺となるが、冬の人物は厚着となるため表面温度は環境温度に近い温度となる。すなわち、季節によっては、検出が困難となる場合がある。
【０００６】
また、顔など肌が露出している部分の温度は、季節にかかわらずほぼ一定とみることもできるが、顔の向き、髪型、着衣等により常に撮影されるとは限らないため、有効に検出できるか否かは定かではない。すなわち、検出対象物の温度が環境温度によって変わる場合において、精度良く検出対象物を検知することができないという問題がある。
【０００７】
本発明は、このような事情に鑑みてなされたものであり、検出対象物の検出精度を向上させることを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するための主たる発明は、
センサーの出力に対応する階調値を含む検出対象画像を生成する画像生成部と、
前記検出対象画像から検出対象物を検出することに用いる学習済みの識別器を有する検出部と、を含み、
前記識別器は、前記検出対象画像における任意の２つの領域の階調値に基づいて前記検出対象画像における前記検出対象物の検出を行う複数のサブ識別器を有し、
前記検出部は、
前記複数のサブ識別器に対して、前記検出対象画像の複数の領域のうち対応する２つの領域の階調値を入力し、前記複数のサブ識別器の出力に基づいて前記検出対象画像における検出対象物の検出を行う、
検出装置である。
【０００９】
本発明の他の特徴については、本明細書及び添付図面の記載により明らかにする。
【図面の簡単な説明】
【００１０】
【図１】本実施形態における人物検出システム１の概略構成を示すブロック図である。
【図２】本実施形態の概要を説明する図である。
【図３】参考例の人物検出方法の説明図である。
【図４】本実施形態における学習処理のフローチャートである。
【図５】本実施形態における回帰式作成処理のフローチャートである。
【図６】クロッピング画像を複数のセルに分割する様子を説明する図である。
【図７】本実施形態における特徴量抽出処理のフローチャートである。
【図８】本実施形態における人物検出処理（全体画像）のフローチャートである。
【図９】本実施形態における人物検出処理（クロッピング画像）のフローチャートである。
【図１０】探索窓の移動の様子の説明図である。
【発明を実施するための形態】
【００１１】
本明細書及び添付図面の記載により、少なくとも、以下の事項が明らかとなる。すなわち、
センサーの出力に対応する階調値を含む検出対象画像を生成する画像生成部と、
前記検出対象画像から検出対象物を検出することに用いる学習済みの識別器を有する検出部と、を含み、
前記識別器は、前記検出対象画像における任意の２つの領域の階調値に基づいて前記検出対象画像における前記検出対象物の検出を行う複数のサブ識別器を有し、
前記検出部は、
前記複数のサブ識別器に対して、前記検出対象画像の複数の領域のうち対応する２つの領域の階調値を入力し、前記複数のサブ識別器の出力に基づいて前記検出対象画像における検出対象物の検出を行う、
検出装置である。
このように、任意の２つの領域の階調値に基づいて検出対象物の検出を行うサブ識別器を複数有することで、検出精度が良好な１つ又は複数のサブ識別器を用いて検出対象物の検出を行うことができる。そして、検出対象物の検出精度を向上させることができる。
【００１２】
かかる検出装置であって、前記複数のサブ識別器は、前記２つの領域の階調値を入力したときの特徴量に基づく値を出力し、前記特徴量は、前記２つの領域のうち対応する一方の領域の階調値と、前記２つの領域のうち対応する他方の領域の階調値に基づいて推定された前記一方の領域の推定階調値と、の差を表すことが望ましい。
このような構成であれば、学習済みの識別器に２つの領域の階調値を入力すると、その特徴量として、一方の領域の階調値と、他方の領域の階調値に基づいて推定された一方の領域の推定階調値と、の差が求められる。そして、学習済みの識別器において、これらの差は検出対象画像と検出対象物との近似の程度を意味する。よって、このような特徴量に基づく値を出力するようにすることで、検出対象物の検出を精度良く行うことができる。
【００１３】
また、前記推定階調値と前記他方の領域の階調値との関係が一次式で表される場合において、前記検出対象物を含む複数の学習用画像における前記一方の領域の階調値と前記他方の領域における階調値とを用いた最小二乗法により前記一次式の係数を求めることが望ましい。
このようにすることで、一方の領域の推定階調値と他方の領域の階調値との関係式を、複数の学習用画像に基づいて統計学的に求めることができる。したがって、検出精度を向上させることができる。
【００１４】
また、前記複数のサブ識別器に、前記学習用画像の対応する前記一方の領域の階調値と前記他方の領域の階調値を入力してそれぞれのサブ識別器の特徴量を求め、前記複数のサブ識別器のうち該特徴量が小さいサブ識別器から順に所定個数を検出対象物の検出に用いる評価式に含めることが望ましい。
特徴量が、一方の領域の階調値と、他方の領域の階調値に基づいて推定された一方の領域の推定階調値と、の差が小さいほど、検出対象画像と検出対象物とが近似していると言えるので、この差の値が小さいサブ識別器ほど良好なサブ識別器ということになる。よって、特徴量が小さいサブ識別器から順に所定個数を検出対象物の検出に用いられる評価式に含めることとすることで、精度良く検出対象物の検出を行うことができる。
【００１５】
また、前記複数のサブ識別器のそれぞれに、前記検出対象画像における対応する２つの領域の階調値が入力され、前記複数のサブ識別器の出力の合計値に基づいて前記検出対象画像に検出対象物が含まれているか否かについて判定することが望ましい。
このようにすることで、複数のサブ識別器の出力の合計値に基づいて、検出対象画像に検出対象物が含まれているか否かの判定をすることができる。
【００１６】
また、前記画像生成部は、前記検出対象画像を含む全体画像から複数の画像をクロッピングすることにより前記検出対象画像を複数生成し、前記複数の検出対象画像のそれぞれについて前記検出対象物の検出を行うことにより、前記全体画像における前記検出対象物の位置を特定することが望ましい。
このようにすることで、全体画像において複数の検出対象物が存在する場合であっても、それぞれの検出対象物を検出することができる。
【００１７】
また、前記センサーの出力は、該センサーが検出した温度に応じた出力であることが望ましい。
このようにすることで、温度に応じて検出対象物を検出することができる。
【００１８】
また、本明細書及び添付図面の記載により、少なくとも、以下の事項も明らかとなる。すなわち、
センサーの出力に対応する階調値を含む検出対象画像を生成することと、
前記検出対象画像における任意の２つの領域の階調値に基づいて前記検出対象画像における前記検出対象物の検出を行う複数のサブ識別器を用いて前記検出対象画像から検出対象物を検出することと、
を含み、
前記検出することは、前記複数のサブ識別器に対して、前記検出対象画像の複数の領域のうち対応する２つの領域の階調値を入力し、前記複数のサブ識別器の出力に基づいて前記検出対象画像における検出対象物の検出を行うことを含む、検出方法である。
このように、任意の２つの領域の階調値に基づいて検出対象物の検出を行うサブ識別器を複数有することで、検出精度が良好な１つ又は複数のサブ識別器を用いて検出対象物の検出を行うことができる。そして、検出対象物の検出精度を向上させることができる。
【００１９】
＝＝＝実施形態＝＝＝
図１は、本実施形態における人物検出システム１の概略構成を示すブロック図である。以下に示す実施形態では、人物を検出するシステムとして説明を行うが、検出対象物はこれに限られない。図１には、人物検出システム１に含まれる赤外線カメラ１１０と、人物検出装置１２０と、表示装置１３０が示されている。本実施形態では、赤外線カメラ１１０と、人物検出装置１２０と、表示装置１３０とは、それぞれ別体であり、電気的に接続されているが、これらのうち少なくとも２つが一体の装置であってもよい。
【００２０】
赤外線カメラ１１０（センサーに相当）は、中赤外線から遠赤外線の範囲の波長をとらえデジタル値の映像信号を人物検出装置１２０の画像取得部１２２に送信する。赤外線カメラ１１０は、不図示の撮像部とアナログデジタル変換部（Ａ／Ｄ変換部）を含む。撮像部は、赤外線カメラ１１０の受光素子に対応するものであり、受光素子が受光した赤外領域の光に対応した信号を人物検出装置１２０に出力する。Ａ／Ｄ変換部は、撮像部で得られたアナログ信号をデジタル信号に変換する機能を有する。
【００２１】
ここで、中赤外線は２．５μｍ〜４．０μｍの波長、遠赤外線は４μｍ〜１０００μｍの波長を有する赤外光である。本実施形態では、赤外線カメラ１１０は８〜１４μｍの波長を検知し、人物の体温を検出対象とするが、この波長に限られず、温度を検出できる波長であればこれに限られない。赤外線カメラ１１０は、車両のフロントグリル部などに搭載される。そして、自車両（赤外線カメラ１１０が搭載された車両）から前方方向の環境を撮影する。
【００２２】
人物検出装置１２０は、画像取得部１２２と画像メモリー１２４と制御部１２６と記憶部１２８を含む。そして、後述するような処理により、表示装置１３０に表示するデータを生成する。これら画像取得部１２２、画像メモリー１２４、制御部１２６、及び、記憶部１２８は、例えば、不図示の中央演算装置（ＣＰＵ）、ランダムアクセスメモリー（ＲＡＭ）及びハードディスク（ＨＤＤ）などにより実現される。
【００２３】
画像取得部１２２は、赤外線カメラ１１０が得た映像（例えば、１５ｆｐｓの映像）を取得し、この映像からフレーム画像（全体画像）を取得する。そして、得られた各画像は画像メモリー１２４に送られる。
【００２４】
画像メモリー１２４は、画像取得部１２２から送られた画像を一時的に記憶する。制御部１２６は、人物検出処理を行うための演算を行う。具体的な人物検出処理については、後述する。記憶部１２８は、学習モデルなどのデータ、演算途中の一時ファイル、及び、演算結果等を保存する。
【００２５】
表示装置１３０は、例えば、赤外線画像として得られている自車両前方映像を表示するディスプレイである。表示装置１３０には、さらに人物の検出結果として、検出された人物を強調表示することもできる。
【００２６】
図２は、本実施形態の概要を説明する図である。図２には、本実施形態の人物検出システム１の概要を説明するために、各処理がブロックとして表されている。人物検出システム１は、学習処理と検出処理とを行う。なお、外部メモリー等を記憶部１２８として用いたり、学習処理によって得られる検出処理に必要なデータを外部から記憶部１２８に記憶させれば、必ずしも人物検出システム１が学習処理を行わなくてもよい。
【００２７】
学習処理では、予め用意された学習用クロッピング画像を用いて学習を行い、その学習結果を学習モデルデータベース（記憶部１２８）に記憶する。学習用クロッピング画像は、学習用に用意された画像であって、必ず人物が含まれている画像である。
【００２８】
検出処理では、赤外線カメラ１１０から得られた全体画像からクロッピング画像（検出対象画像に相当する）を切り出し、クロッピング画像に人物が含まれているか否かについて前述の学習結果に応じて判定を行う。
【００２９】
学習処理では、前述の学習用クロッピング画像についてコントラストの調整などの前処理が行われ、学習用クロッピング画像は学習器に渡される。学習器は、前処理後の学習用クロッピング画像に基づいて特徴量を求め、特徴量に基づく学習結果を学習モデルデータベースに記憶する。
【００３０】
検出処理では、赤外線カメラ１１０から得られた全体画像から、部分的に画像をクロッピング（切り出し）し、クロッピング画像を生成する。クロッピング画像についてコントラスト調整などの前処理が行われ、クロッピング画像は識別器に渡される。識別器は、学習結果に応じた複数のサブ識別器を有している。クロッピング画像の階調値が複数のサブ識別器に入力され、これらサブ識別器の出力に基づいてクロッピング画像に人物が含まれているか否かの判定が行われる。
【００３１】
クロッピング画像は、全体画像から少しずつ位置をずらして画像を切り出すことによって、複数生成される。そして、前述のように、各クロッピング画像について人物が含まれているか否かの判定が行われ、その判定結果は統合される。そして、統合された結果は、全体画像に人物が強調表示されるなどの処理がされた出力画像として表示装置１３０に出力される。
【００３２】
図３は、参考例の人物検出方法の説明図である。図３を参照しつつ、参考例としての人物検出方法の概念を説明する。図３には、人物が含まれている画像において人物領域階調値Ｔｆと背景領域階調値Ｔｂが示されている。人物領域階調値Ｔｆと背景領域階調値Ｔｂは、ともに、赤外線カメラにより取得された温度に応じて変換された階調値である。参考例の人物検出方法では、人物領域階調値Ｔｆが所定範囲内の階調値である場合には人物が含まれているものとして人物検出を行うが、この「所定範囲内の階調値」は、背景領域階調値Ｔｂに応じて変化するものとなっている。これは、一般に、人物の温度が、その周辺温度に影響を受けて変化するからである。
【００３３】
参考例の人物検出方法では、背景領域階調値Ｔｂに基づいて人物領域階調値が推定される（人物領域推定階調値Ｔｆ’）。人物領域推定階調値Ｔｆ’は、背景領域階調値Ｔｂの関数として表される。ここで、人物領域階調値Ｔｆと背景領域階調値Ｔｂとは、検出対象画像において所定位置にある領域（セル）、例えば検出対象画像の右上隅の領域と中央付近の領域である。
【００３４】
この関数に背景領域階調値Ｔｂを代入して人物領域推定階調値Ｔｆ’を得る。そして、この人物領域推定階調値Ｔｆ’と実際の人物領域階調値Ｔｆとの差の絶対値が所定範囲に入っているときには、画像に人物が含まれているものと判定する。一方、人物領域推定階調値Ｔｆ’と実際の人物領域階調値Ｔｆとの差の絶対値が所定範囲に入っていないときには、画像に人物が含まれていないものと判定する。
【００３５】
このような参考例の手法によっても、従来技術と比較して、画像中に人物が含まれているか否かの判定精度を向上することができる。しかしながら、参考例の手法では、人物領域階調値Ｔｆの位置と背景領域階調値Ｔｂとの位置が固定となっている。そして、人物領域階調値Ｔｆのセルの位置と背景領域階調値Ｔｂのセルの位置について、図３に示した位置関係が最適かどうかは定かではない。つまり、参考例の手法では、より精度良く人物の検出を行う余地があるといえる。よって、本実施形態では以下のような学習を行って、より精度良く人物の検出を行うこととしている。
【００３６】
図４は、本実施形態における学習処理のフローチャートである。以下、本フローチャートを参照しつつ、学習処理について説明を行う。学習処理が行われるにあたり、前述のように、学習用クロッピング画像が複数用意されている。そして、これら人物が含まれていることが確実な学習用クロッピング画像を用いて学習モデルを構築する。
【００３７】
最初に、複数の学習用クロッピング画像（学習画像）の読み込みが行われる（Ｓ１０２）。ここでは、Ｎ枚の学習用クロッピング画像が用意されている。そして、これら複数の学習用クロッピング画像のそれぞれについて特徴量抽出処理が行われる（Ｓ１０４）。特徴量抽出処理は、回帰式を用いて行われる。ここでは、まず、この回帰式の作成処理について説明を行う。
【００３８】
図５は、本実施形態における回帰式作成処理のフローチャートである。図６は、クロッピング画像を複数のセル（領域）に分割する様子を説明する図である。学習用クロッピング画像は、回帰式作成処理において、複数のセルに分割される。これらの学習用クロッピング画像は、赤外線カメラ１３０によって取得された画像であるので、その階調値は温度に関連したものになっている。ここでは、学習用クロッピング画像の複数のセルのうちの２つのセルの階調値（温度を表す）を用いた線形回帰式を求める。
【００３９】
図６には、学習用クロッピング画像が示され、前述のように学習用クロッピング画像が複数のセルに分割されている。そして、左上のセルから右に向かって順にセル番号が割り当てられ、これらのセルの階調値Ｔｉが使用される（ｉはセル番号）。本実施形態では、各セルは複数の画素を含むため、これら画素の階調値の平均値をそのセルの階調値Ｔｉとしてもよいし、中間値をそのセルの階調値Ｔｉとしてもよい。また、これら個々のセルが１つの画素である場合には、その画素に対応する階調値をそのまま階調値Ｔｉとして用いることもできる。
【００４０】
図５のステップＳ２０２において、変数をｉとしたループが構築される。変数ｉはセル番号であり、増分を１として１からＭまで変化させられる。また、ステップＳ２０４において、変数をｊとしたループが構築される。変数ｊはセル番号であり、増分を１として１からＭまで変化させられる。さらに、ステップＳ２０６において、変数をｋとしたループが構築される。変数ｋは学習用クロッピング画像の番号であり、増分を１として１からＮまで変化させられる。
【００４１】
ステップＳ２０８において、ｋ番目の学習用クロッピング画像のｉ番目のセルの階調値Ｔｋｉを取得する。次に、ステップＳ２１０において、ｋ番目の学習用クロッピング画像のｊ番目のセルの階調値Ｔｋｊを取得する。そして、ステップＳ２１２において、ｋが１だけ増分される。このような処理が、１枚目の学習用画像からＮ枚目の学習用画像まで繰り返される（Ｓ２１４）。
【００４２】
次に、得られた階調値ＴｋｉとＴｋｊに基づいて、線形回帰式Ｔｊ’＝ａｉｊＴｉ＋ｂｉｊの係数ａｉｊ及びｂｉｊが最小二乗法により求められる（Ｓ２１６）。そして、ステップＳ２１８において、ｊが１だけ増分される。
【００４３】
このようなｊを変数とした処理が、セル番号１からセル番号Ｍまで繰り返される（Ｓ２２０）。また、ステップＳ２２２において、ｉが１だけ増分される。このようなｉを変数とした処理が、セル番号１からセル番号Ｍまで繰り返される（Ｓ２２４）。このようにすることによって、Ｍ２本の線形回帰式が得られることになる。
【００４４】
線形回帰式を求められると、これに基づいて特徴量を抽出することができるようになる。
図７は、本実施形態における特徴量抽出処理のフローチャートである。ここでは、１枚の画像から特徴量を計算する手法について説明する。なお、この特徴量抽出処理は、学習処理だけでなく、後述する人物検出処理においても使用される。学習処理では、ステップＳ１０２において読み込まれた学習用クロッピング画像の特徴量が抽出されることになる。
【００４５】
ステップＳ３０２において、変数をｉとしたループが構築される。これにより、変数ｉは、増分を１として１からＭまで変化させられる。次に、ｉ番目のセルの階調値Ｔｉを取得する（Ｓ３０４）。
【００４６】
ステップＳ３０６において、変数をｊとしたループが構築される。これにより、変数ｊは、増分を１として１からＭまで変化させられる。次に、特徴量ｖｉｊが求められる（Ｓ３０８）。ステップＳ３０６によって求められる複数の特徴量の一つ一つがサブ識別器に相当する。
【００４７】
特徴量ｖｉｊは、以下の式により求められる。
ｖｉｊ＝Ｔｉ−Ｔｊ’
＝Ｔｉ−（ａｉｊ・Ｔｉ＋ｂｉｊ）
ここで、ｉ及びｊはループ内で変化する変数である。また、ａｉｊ及びｂｉｊの値は、前述の線形回帰式の作成において求められている。また、Ｔｉは、ｉ番目のセルの階調値であり、Ｔｊは、ｊ番目のセルの階調値である。
【００４８】
ステップＳ３１０において、変数ｊが１だけ増分される。このような処理が、ｊを変数としてセル番号１からセル番号Ｍまで繰り返される（Ｓ３１２）。また、ステップＳ３１４において、変数ｉが１だけ増分される。このような処理が、ｉを変数としてセル番号１からセル番号Ｍまで繰り返される（Ｓ３１６）。
【００４９】
このようにすることで、各線形回帰式を用いた特徴量が得られることになる。すなわち、特徴量ｖ１１〜ｖＭＭが得られることになり、合計でＭ２個の特徴量が得られることになる。
【００５０】
このようにして得られた特徴量に基づいて学習が行われる（Ｓ１０６）。特徴量について考察すると、特徴量ｖｉｊは、ある一つのセルの実際の階調値Ｔｊ（一方の領域の階調値）と、他のセルの階調値Ｔｉに基づいて得られたある一つのセルの推定階調値Ｔｊ’（一方の領域の推定階調値）との差を表す。学習用クロッピング画像を用いて求めたものであるため、これら推定階調値と実際の階調値はほぼ同値であることが望ましい。よって、学習用クロッピング画像を用いたときにおいて、特徴量が小さいときの、２つのセル番号の組み合わせに基づいて、検出対象物がその画像に含まれているか否かを判定することが望ましいことになる。
【００５１】
このような原理によると、学習用クロッピング画像の２つのセルの階調値を入力したときの特徴量が小さいセルの組み合わせを用いて、検出対象物がその画像に含まれているか否かの判定を行うことができる。
【００５２】
そうすると、判定用の評価値をＥとして、
Ｅ＝ｗ１１・ｖ１１＋ｗ１２・ｖ１２＋・・・＋ｗＭＭ・ｖＭＭ
という評価式を用いることができる。ここで、ｗｉｊは、重み付けされた係数である。重み付けされた係数は次のようにして決めることができる。例えば、学習用クロッピング画像を用いたときにおける特徴量ｖｉｊの値が小さい順にｉとｊの組み合わせが所定個数だけ選択される。そして、選択されたｉとｊの組み合わせの重み付け係数ｗｉｊを「１」とし、選択されなかったｉとｊの組み合わせの重み付け係数ｗｉｊを「０」とする。このようにすることにより、特徴量ｖｉｊが大きいセルの組み合わせについては、評価式から除外し、特徴量ｖｉｊが小さいセルの組み合わせを評価式に組み入れることができる。
【００５３】
このようにして、それぞれの重み付け係数ｗｉｊを求め、評価値Ｅを求めるための評価式、及び、Ｍ２個の特徴量の算出式を学習モデルとして出力する（Ｓ１０８）。この学習モデルは、記憶部１２８に記憶され、後の人物検出処理において使用されることになる。この学習モデルは、学習済みの識別器に相当する。
【００５４】
なお、ここでは上述のような学習器及び識別器を採用することとしたが、学習器及び識別器はこれに限られず、ａｄａｂｏｏｓｔを用いることとしてもよい。ａｄａｂｏｏｓｔを用いる場合、個々の特徴量の算出式を弱識別器に対応させてもよい。また、個々の特徴量から人物検出に適した特徴量を選択し、強識別器を構築してもよい。
【００５５】
図８は、本実施形態における人物検出処理（全体画像）のフローチャートである。図８を参照しつつ、赤外線カメラ１１０から得られた全体画像から人物を検出する処理について説明する。
【００５６】
最初に、上述のようにして求められた学習モデルの読み込みが行われる（Ｓ４０２）。これにより、評価値Ｅを求めるための評価式、及び、Ｍ２個の特徴量算出式が取得される。これら個々の特徴量算出式で用いられる回帰式の係数ａｉｊ及びｂｉｊは、前述の学習処理により求められている。
【００５７】
赤外線カメラ１１０は、撮影対象物から放出される赤外線に応じた映像をデジタルデータとして出力する。このような映像から１枚の画像（全体画像）が取得される（Ｓ４０４）。赤外線カメラ１１０から得られた画像は、温度に応じた階調値が各画素に設定された画像である。つまり、この画像は画素単位で温度情報を有する画像である。
【００５８】
そして、得られた画像について前処理が行われる（Ｓ４０６）。前処理は、例えば、画像のコントラストの調整、及び、リサイズなどの処理である。
【００５９】
次に、ステップＳ４０８〜ステップＳ４１２において、探索窓ｗ（図１０参照）を全体画像の範囲内で移動させつつ、人物検出処理（ステップＳ４１０）が行われる。具体的には、ステップＳ４０８〜ステップＳ４１２のループにおいて、探索窓ｗが一画素分ずつ（又は複数画素分ずつ）動かされながら探索窓ｗのサイズで画像がクロッピングされ、クロッピング画像に検出対象物である人物が含まれているか否かの判定が行われる。
【００６０】
図９は、本実施形態における人物検出処理（クロッピング画像）のフローチャート、つまりステップＳ４１０を説明するフローチャートである。この人物検出処理は、各クロッピング画像について適用される。よって、人物検出処理（クロッピング画像）において、最初に、クロッピング画像の読み込みが行われる（Ｓ５０２）。
【００６１】
次に、読み込まれたクロッピング画像の特徴量の抽出が行われる（Ｓ５０４）。特徴量抽出処理は、図７を用いて説明を行った処理とほぼ同様であり、ステップＳ３０８で用いられた線形回帰式の係数ａｉｊ及びｂｉｊの値も、学習用クロッピング画像で得られたものが用いられる。このように特徴量抽出処理を行うことで、クロッピング画像について、評価値Ｅを求めるための評価式に入力するＭ２個の特徴量が得られることになる。
【００６２】
次に、求められたＭ２個の特徴量に基づいてクロッピング画像に人物が含まれているか否かの判定が行われる（Ｓ５０６）。具体的には、求められたＭ２個の特徴量が評価式に入力され評価値Ｅが求められる。そして、この評価値Ｅが所定値よりも小さいときには、クロッピング画像に人物が含まれていると判定し、このクロッピング画像の全体画像における位置も記憶する。一方、評価値Ｅが所定値以上のときには、クロッピング画像に人物が含まれていないと判定する。
【００６３】
このような人物検出処理がステップＳ４０８〜Ｓ４１２のループにおいて行われることにより、すべてのクロッピング画像についての人物検出処理が完了される。
【００６４】
図１０は、探索窓の移動の様子の説明図である。図１０には、全体画像において探索窓が移動させられている様子が示されている。このように、探索窓ｗが全体画像において移動させられつつクロッピングされた画像について前述の人物の検出処理が行われる。このようにして、各クロッピング画像について人物が存在するか否かの判定を行い、人物が検出されたクロッピング画像の位置を記憶することによって、全体画像における人物の位置が特定できる。
【００６５】
全体画像における各クロッピング画像についての人物検出処理が完了すると、人物検出装置１２０に接続された表示装置１３０に検出結果が表示される（Ｓ４１４）。結果表示は、赤外線画像として得られている自車両前方映像に、歩行者として判定された箇所を、歩行者を含むように強調表示させたり、注意を喚起するために画面をフラッシュさせたりして行うことができる。さらに、場合によっては運転支援としてブレーキをかけることをアシストしたり、視覚補助として婦論とライトがダウンライトになっているのをアップライトにしてもよい。
【００６６】
このようにして、学習用クロッピング画像に基づいて得られた評価式を用いて人物の検出を行うので、学習用クロッピング画像に含まれる人物によく合致するクロッピング画像について、人物が含まれているものとして精度良く検出を行うことができる。また、上述のようなアルゴリズムは、クロッピング画像における２つの領域の階調値を特徴量算出式に入力するというきわめて単純なものであるので、検出速度を向上させることもできる。
【符号の説明】
【００６７】
１ 人物検出システム、
１１０ 赤外線カメラ、１２０ 人物検出装置、１３０ 表示装置、
１２２ 画像取得部、１２４ 画像メモリー、
１２６ 制御部、１２８ 記憶部、
Ｔｂ 背景領域階調値、Ｔｆ 人物領域階調値
【特許請求の範囲】
【請求項１】
センサーの出力に対応する階調値を含む検出対象画像を生成する画像生成部と、前記検出対象画像から検出対象物を検出することに用いる学習済みの識別器を有する検出部と、を含み、
前記識別器は、前記検出対象画像における任意の２つの領域の階調値に基づいて前記検出対象画像における前記検出対象物の検出を行う複数のサブ識別器を有し、
前記検出部は、
前記複数のサブ識別器に対して、前記検出対象画像の複数の領域のうち対応する２つの領域の階調値を入力し、前記複数のサブ識別器の出力に基づいて前記検出対象画像における検出対象物の検出を行う、
検出装置。
【請求項２】
前記複数のサブ識別器は、前記２つの領域の階調値を入力したときの特徴量に基づく値を出力し、
前記特徴量は、前記２つの領域のうち対応する一方の領域の階調値と、前記２つの領域のうち対応する他方の領域の階調値に基づいて推定された前記一方の領域の推定階調値と、の差を表す、請求項１に記載の検出装置。
【請求項３】
前記推定階調値と前記他方の領域の階調値との関係が一次式で表される場合において、
前記検出対象物を含む複数の学習用画像における前記一方の領域の階調値と前記他方の領域における階調値とを用いた最小二乗法により前記一次式の係数を求める、請求項２に記載の検出装置。
【請求項４】
前記複数のサブ識別器に、前記学習用画像の対応する前記一方の領域の階調値と前記他方の領域の階調値を入力してそれぞれのサブ識別器の特徴量を求め、前記複数のサブ識別器のうち該特徴量が小さいサブ識別器から順に所定個数を検出対象物の検出に用いる評価式に含める、請求項２または３に記載の検出装置。
【請求項５】
前記複数のサブ識別器のそれぞれに、前記検出対象画像における対応する２つの領域の階調値が入力され、前記複数のサブ識別器の出力の合計値に基づいて前記検出対象画像に検出対象物が含まれているか否かについて判定する、請求項２〜４のいずれかに記載の検出装置。
【請求項６】
前記画像生成部は、前記検出対象画像を含む全体画像から複数の画像をクロッピングすることにより前記検出対象画像を複数生成し、
前記複数の検出対象画像のそれぞれについて前記検出対象物の検出を行うことにより、前記全体画像における前記検出対象物の位置を特定する、請求項１〜５のいずれかに記載の検出装置。
【請求項７】
前記センサーの出力は、該センサーが検出した温度に応じた出力である、請求項１〜６のいずれかに記載の検出装置。
【請求項８】
センサーの出力に対応する階調値を含む検出対象画像を生成することと、
前記検出対象画像における任意の２つの領域の階調値に基づいて前記検出対象画像における前記検出対象物の検出を行う複数のサブ識別器を用いて前記検出対象画像から検出対象物を検出することと、
を含み、
前記検出することは、前記複数のサブ識別器に対して、前記検出対象画像の複数の領域のうち対応する２つの領域の階調値を入力し、前記複数のサブ識別器の出力に基づいて前記検出対象画像における検出対象物の検出を行うことを含む、検出方法。
【請求項１】
センサーの出力に対応する階調値を含む検出対象画像を生成する画像生成部と、前記検出対象画像から検出対象物を検出することに用いる学習済みの識別器を有する検出部と、を含み、
前記識別器は、前記検出対象画像における任意の２つの領域の階調値に基づいて前記検出対象画像における前記検出対象物の検出を行う複数のサブ識別器を有し、
前記検出部は、
前記複数のサブ識別器に対して、前記検出対象画像の複数の領域のうち対応する２つの領域の階調値を入力し、前記複数のサブ識別器の出力に基づいて前記検出対象画像における検出対象物の検出を行う、
検出装置。
【請求項２】
前記複数のサブ識別器は、前記２つの領域の階調値を入力したときの特徴量に基づく値を出力し、
前記特徴量は、前記２つの領域のうち対応する一方の領域の階調値と、前記２つの領域のうち対応する他方の領域の階調値に基づいて推定された前記一方の領域の推定階調値と、の差を表す、請求項１に記載の検出装置。
【請求項３】
前記推定階調値と前記他方の領域の階調値との関係が一次式で表される場合において、
前記検出対象物を含む複数の学習用画像における前記一方の領域の階調値と前記他方の領域における階調値とを用いた最小二乗法により前記一次式の係数を求める、請求項２に記載の検出装置。
【請求項４】
前記複数のサブ識別器に、前記学習用画像の対応する前記一方の領域の階調値と前記他方の領域の階調値を入力してそれぞれのサブ識別器の特徴量を求め、前記複数のサブ識別器のうち該特徴量が小さいサブ識別器から順に所定個数を検出対象物の検出に用いる評価式に含める、請求項２または３に記載の検出装置。
【請求項５】
前記複数のサブ識別器のそれぞれに、前記検出対象画像における対応する２つの領域の階調値が入力され、前記複数のサブ識別器の出力の合計値に基づいて前記検出対象画像に検出対象物が含まれているか否かについて判定する、請求項２〜４のいずれかに記載の検出装置。
【請求項６】
前記画像生成部は、前記検出対象画像を含む全体画像から複数の画像をクロッピングすることにより前記検出対象画像を複数生成し、
前記複数の検出対象画像のそれぞれについて前記検出対象物の検出を行うことにより、前記全体画像における前記検出対象物の位置を特定する、請求項１〜５のいずれかに記載の検出装置。
【請求項７】
前記センサーの出力は、該センサーが検出した温度に応じた出力である、請求項１〜６のいずれかに記載の検出装置。
【請求項８】
センサーの出力に対応する階調値を含む検出対象画像を生成することと、
前記検出対象画像における任意の２つの領域の階調値に基づいて前記検出対象画像における前記検出対象物の検出を行う複数のサブ識別器を用いて前記検出対象画像から検出対象物を検出することと、
を含み、
前記検出することは、前記複数のサブ識別器に対して、前記検出対象画像の複数の領域のうち対応する２つの領域の階調値を入力し、前記複数のサブ識別器の出力に基づいて前記検出対象画像における検出対象物の検出を行うことを含む、検出方法。
【図１】
【図４】
【図５】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図６】
【図４】
【図５】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図６】
【公開番号】特開２０１３−２５７１３（Ｐ２０１３−２５７１３Ａ）
【公開日】平成２５年２月４日（２０１３．２．４）
【国際特許分類】
【出願番号】特願２０１１−１６２４９０（Ｐ２０１１−１６２４９０）
【出願日】平成２３年７月２５日（２０１１．７．２５）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
【公開日】平成２５年２月４日（２０１３．２．４）
【国際特許分類】
【出願日】平成２３年７月２５日（２０１１．７．２５）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
[ Back to top ]