説明

検出装置及び検出方法

【課題】検出対象物の検出精度を向上させること。
【解決手段】温度に応じた階調値を含む検出対象画像から、前記検出対象画像の第1領域の階調値が所定範囲の階調値であるか否かに基づいて検出対象物を検出する検出部を含み、前記所定範囲の階調値は、前記検出対象画像における第2領域の階調値が第1の階調値である場合には第1の所定範囲の階調値であり、前記検出対象画像における第2領域の階調値が第2の階調値である場合には第2の所定範囲の階調値である、検出装置。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、検出装置及び検出方法に関する。
【背景技術】
【0002】
赤外線センサーなどを用いて人体等を検出する装置の開発が行われている。このような装置は、車両周囲に人物等が存在する場合に、その旨を車両の乗員に認識させることなどに用いられる。
【0003】
特許文献1には、ミリ波の反射波が微弱である人物を車両等と区別して検出するために遠赤外線カメラの撮像画像を補助的に利用することが示されている。特許文献2には、物体の温度に相当する輝度値が閾値の範囲内か否かに基づいて人物を検出することが示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2010−127717号公報
【特許文献2】特開2006−101384号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
上述の手法は、基本的に、人物の温度に近い温度が見つかった場合に人物であると判定している。人物の表面温度はその人物の周囲の温度(環境温度)によって変化する。しかしながら、上述の手法では、環境温度により人物の表面温度が変化することは考慮されていなかった。例えば、夏の人物は薄着となるため表面温度は体温近辺となるが、冬の人物は厚着となるため表面温度は環境温度に近い温度となる。すなわち、季節によっては、検出が困難となる場合がある。
【0006】
また、顔など肌が露出している部分の温度は、季節にかかわらずほぼ一定とみることもできるが、顔の向き、髪型、着衣等により常に撮影されるとは限らないため、有効に検出できるか否かは定かではない。すなわち、検出対象物の温度が環境温度によって変わる場合において、精度良く検出対象物を検知することができないという問題がある。
本発明は、このような事情に鑑みてなされたものであり、検出対象物の検出精度を向上させることを目的とする。
【課題を解決するための手段】
【0007】
上記目的を達成するための主たる発明は、
温度に応じた階調値を含む検出対象画像から前記検出対象画像の第1領域の階調値が所定範囲の階調値であるか否かに基づいて検出対象物を検出する検出部を含み、
前記所定範囲の階調値は、前記検出対象画像における第2領域の階調値が第1の階調値である場合には第1の所定範囲の階調値であり、前記検出対象画像における第2領域の階調値が第2の階調値である場合には第2の所定範囲の階調値である、検出装置である。
本発明の他の特徴については、本明細書及び添付図面の記載により明らかにする。
【図面の簡単な説明】
【0008】
【図1】本実施形態における人物検出システム1の概略構成を示すブロック図である。
【図2】クロッピング画像の一例の説明図である。
【図3】学習用画像の一例の説明図である。
【図4】背景領域階調値Tbと人物領域推定階調値Tf’との関係を求めるためのフローチャートである。
【図5】本実施形態における人物検出処理(全体画像)のフローチャートである。
【図6】本実施形態における人物検出処理(クロッピング画像)のフローチャートである。
【図7】探索窓の移動の様子の説明図である。
【図8】本実施形態における人物検出処理の検出精度の説明図である。
【図9】比較例の人物検出処理の検出精度の説明図である。
【発明を実施するための形態】
【0009】
本明細書及び添付図面の記載により、少なくとも、以下の事項が明らかとなる。すなわち、
温度に応じた階調値を含む検出対象画像から、前記検出対象画像の第1領域の階調値が所定範囲の階調値であるか否かに基づいて検出対象物を検出する検出部を含み、
前記所定範囲の階調値は、前記検出対象画像における第2領域の階調値が第1の階調値である場合には第1の所定範囲の階調値であり、前記検出対象画像における第2領域の階調値が第2の階調値である場合には第2の所定範囲の階調値である、検出装置である。
所定範囲の階調値は、第2領域の階調値が第1の階調値である場合には第1の所定範囲の階調値であり、前記検出対象画像における第2領域の階調値が第2の階調値である場合には第2の所定範囲の階調値である。よって、第1領域の階調値が所定範囲の階調値であるか否かに基づいて、温度に応じた階調値を含む検出対象画像から検出対象物を検出することにより、例えば、第1領域の階調値が第2領域の階調値に応じて変化する場合にも、検出対象物の検出精度を向上させることができる。
【0010】
また、前記所定範囲の階調値は、前記第1領域の階調値と前記第2領域の階調値との関係を示す一次式を含む式で表され、
前記一次式の係数は、前記検出対象物を含む複数の学習用画像における前記第1領域の階調値と前記第2領域の階調値を用いた最小二乗法により求められることが望ましい。
このようにすることによって、第1領域の階調値と第2領域の階調値との関係が所定の式によって表される場合に、式の係数を適切に求めることができるので、検出対象物の検出精度を向上させることができる。
【0011】
また、前記第1領域は、前記検出対象画像において前記第2領域よりも中央寄りの領域であることが望ましい。
検出対象物は画像の中央に存在する可能性が高いため、検出に使用される第1領域を検出対象画像の中央寄りの領域とすることで、検出対象物が検出される確率が高くなる。従って、より検出精度を向上させることができる。
【0012】
また、前記第2領域は、前記検出対象画像の中央から最も遠い領域であることが望ましい。
検出対象物が検出対象画像の中央付近に存在する可能性が高い場合、検出対象物周辺の領域は、検出対象画像の中央から遠い領域である可能性が高い。そのため、第2領域を検出対象画像の中央から最も遠い領域とすることで、第2領域に検出対象物が含まれない確率が高くなる。より検出精度を向上させることができる。
【0013】
また、前記第2領域の階調値は、前記検出対象物の環境温度に応じた階調値であることが望ましい。
このようにすることで、検出対象物の温度が環境温度に応じて変化する場合であっても、適切に検出対象物を検出することができる。
【0014】
また、かかる検出装置であって、前記検出対象画像を生成する画像生成部をさらに含み、前記画像生成部は、前記検出対象画像を含む全体画像から複数の画像をクロッピングすることにより前記検出対象画像を複数生成し、前記複数の検出対象画像のそれぞれについて前記検出対象物の検出を行うことにより、前記全体画像における前記検出対象物の位置を特定することが望ましい。
このようにすることで、全体画像において複数の検出対象物が存在する場合であっても、それぞれの検出対象物を検出することができ、さらに、全体画像における検出対象物の位置を特定することができる。
【0015】
また、本明細書及び添付図面の記載により、少なくとも、以下の事項も明らかとなる。すなわち、
温度に応じた階調値を含む検出対象画像から、前記検出対象画像の第1領域の階調値が所定範囲の階調値であるか否かに基づいて検出対象物を検出することを含み、
前記所定範囲の階調値は、前記検出対象画像における第2領域の階調値が第1の階調値である場合には第1の所定範囲の階調値であり、前記検出対象画像における第2領域の階調値が第2の階調値である場合には第2の所定範囲の階調値である、検出方法である。
【0016】
所定範囲の階調値は、第2領域の階調値が第1の階調値である場合には第1の所定範囲の階調値であり、前記検出対象画像における第2領域の階調値が第2の階調値である場合には第2の所定範囲の階調値である。よって、第1領域の階調値が第2領域の階調値に応じて変化する所定範囲の階調値であるか否かに基づいて、温度に応じた階調値を含む検出対象画像から検出対象物を検出することにより、例えば、第1領域の階調値が第2領域の階調値に応じて変化する場合にも、検出対象物の検出精度を向上させることができる。
【0017】
===実施形態===
図1は、本実施形態における人物検出システム1の概略構成を示すブロック図である。以下に示す実施形態では、人物を検出するシステムとして説明を行うが、検出対象物はこれに限られない。図1には、人物検出システム1に含まれる赤外線カメラ110と、人物検出装置120と、表示装置130が示されている。本実施形態では、赤外線カメラ110と、人物検出装置120と、表示装置130とは、それぞれ別体であり、電気的に接続されているが、これらのうち少なくとも2つが一体の装置であってもよい。
【0018】
赤外線カメラ110(センサーに相当)は、中赤外線から遠赤外線の範囲の波長をとらえデジタル値の映像信号を人物検出装置120の画像取得部122に送信する。赤外線カメラ110は、不図示の撮像部とアナログデジタル変換部(A/D変換部)を含む。撮像部は、赤外線カメラの受光素子に対応するものであり、受光素子が受光した赤外領域の光に対応した信号を人物検出装置120に出力する。A/D変換部は、撮像部で得られたアナログ信号をデジタル信号に変換する機能を有する。
【0019】
ここで、中赤外線は2.5μm〜4.0μmの波長、遠赤外線は4μm〜1000μmの波長を有する赤外光である。本実施形態では、赤外線カメラ110は8〜14μmの波長を検知し、人物の体温を検出対象とするが、この波長に限られず、温度を検出できる波長であればこれに限られない。赤外線カメラ110は、車両のフロントグリル部などに搭載される。そして、自車両(赤外線カメラ110が搭載された車両)から前方方向の環境を撮影する。
【0020】
人物検出装置120は、画像取得部122と画像メモリー124と制御部126と記憶部128を含む。そして、後述するような処理により、表示装置130に表示するデータを生成する。これら画像取得部122、画像メモリー124、制御部126、及び、記憶部128は、例えば、不図示の中央演算装置(CPU)、ランダムアクセスメモリー(RAM)及びハードディスク(HDD)などにより実現される。
【0021】
画像取得部122は、赤外線カメラ110が得た映像(例えば、15fpsの映像)を取得し、この映像からフレーム画像(以下、「画像」と呼ぶ)を取得する。そして、得られた各画像は画像メモリー124に送られる。
【0022】
画像メモリー124は、画像取得部122から送られた画像を一時的に記憶する。制御部126は、人物検出処理を行うための演算を行う。具体的な人物検出処理については、後述する。
【0023】
記憶部128は、学習モデルなどのデータを保存する。具体的には、後述する図8に示すような、推定された人物領域階調値Tf’(以下、「人物領域推定階調値Tf’」)の式、及び、範囲Vを記憶する。このような人物領域推定階調値Tf’は、本実施形態において、背景領域階調値Tbを変数とする一次式で表される。
【0024】
表示装置130は、例えば、赤外線画像として得られている自車両前方映像を表示するディスプレイである。表示装置130には、さらに人物の検出結果として、検出された人物を強調表示することもできる。
【0025】
図2は、クロッピング画像の一例の説明図である。図2には、後述するクロッピング画像における人物領域階調値Tfと背景領域階調値Tbが示されている。ここで、クロッピング画像(検出対象画像に相当する)は、前述のフレーム画像から切り出される所定サイズの画像である。このクロッピング画像のサイズは任意に決めることができる。
【0026】
背景領域階調値Tbと人物領域階調値Tfは、ともに、赤外線カメラ110の出力、すなわち赤外線カメラ110が検知した温度、に応じて変換された階調値である。この画像は画素単位で温度情報を有する画像である。よって、これらの階調値は、それぞれ対応する領域の温度を表すものとみることもできる。本実施形態では、クロッピング画像における人物領域階調値Tfが所定範囲内の階調値であるか否かに基づいて人物検出を行うが、この所定範囲内の階調値は背景領域階調値Tbに応じて変化するものとなっている。これは、人物の温度が、その周辺温度(環境温度)に影響を受けて変化するためである。
【0027】
図3は、学習用画像の一例の説明図である。また、図4は、背景領域階調値Tbと人物領域推定階調値Tf’との関係を求めるためのフローチャートである。人物領域推定階調値Tf’は、背景領域階調値Tbに基づいて推定される階調値である。この人物領域推定階調値Tf’は、以下に説明する学習により、背景領域階調値Tbを変数とした関係式により表されることになる。以下、図3及び図4を参照しつつ、背景領域階調値Tbと人物領域推定階調値Tf’との関係式の求め方について説明する。
【0028】
この関係式を求めるにあたり、検出対象物(ここでは人物)が撮影されている画像が複数用意される。図3の画像は、複数用意された画像(学習用画像)のうちの一つを例として表したものである。本実施形態では、赤外線カメラを用いて温度に応じた画像が取得され、この温度に応じた画像に基づいて検出対象物の検出が行われる。よって、学習用画像も、赤外線カメラによって人物が撮影されて得られた画像が用意される。学習用画像には、検出対象物である人物の画像と、その背景の画像とが含まれる。すなわち、学習用画像には、検出対象物が存在する可能性が高い領域と、環境温度に対応する可能性が高い領域とが含まれる。
【0029】
学習用画像は、図3に示されるようにセル状の複数の領域に分割される。そして、検出対象物が存在する可能性の高い領域のうち一つの領域の階調値が、人物領域階調値Tfとされる。また、検出対象物の周囲の温度(環境温度)に対応する可能性の高い領域のうち一つの領域の階調値が、背景領域階調値Tbとされる。本実施形態では、図3に示された領域を人物領域階調値Tfとしたが、人物の全体がクロッピング画像に含まれる場合、クロッピング画像の中央付近が人物、周辺が背景である可能性が高いので、より画像の中央寄りの領域を人物領域階調値Tfとしてもよい。また、左上の領域を背景領域階調値Tbとしたが、右上、右下、左下など、他の領域としてもよい。また、本実施形態において領域の階調値は、複数の画素を含む領域における平均の階調値としているが、1つの画素を1つの領域とすることもできる。
【0030】
関係式を求めるにあたり、ステップS102からステップS110の間のループにおいて、複数の学習用画像の人物領域階調値Tf及び背景領域階調値Tbが取得される。具体的には、ステップS104において、k番目の学習用画像の背景領域階調値Tbが取得される。また、ステップS106において、k番目の学習用画像の人物領域階調値Tfが取得される。そして、ステップS108においてkの値がインクリメント(加算)される。このような処理が、用意された学習用画像の枚数(ここではN枚とする)について行われる。
【0031】
このようにして、N枚の学習用画像の人物領域階調値Tfと背景領域階調値Tbが取得されると、それぞれの値Tf及びTbから、線形回帰式Tf’=a・Tb+bの係数a及びbを求める。係数a及びbは、上記Tf及びTbを代入した一次式をN本用意し、これらについて最小二乗法を適用することにより求められる。このようにすることにより、複数の学習画像に応じた人物領域推定階調値Tf’と背景領域階調値Tbとの関係が一次式によって求められることになる。
【0032】
このようにして関係式を求めることができると、この関係式を用いて検出対象物の検出を行うことができる。
図5は、本実施形態における人物検出処理(全体画像)のフローチャートである。赤外線カメラ110は、撮影対象物から放射される赤外線に応じた映像をデジタルデータとして出力している。このような映像から1枚の画像(全体画像)が取得される(S202)。赤外線カメラ110から得られた画像は、温度に応じた階調値が各画素に設定された画像である。つまり、この画像は画素単位で温度情報を有する画像である。
【0033】
そして、得られた画像について前処理が行われる(S204)。前処理は、例えば、画像のコントラストの調整、及び、リサイズなどの処理である。
【0034】
次に、ステップS206〜ステップS210において、探索窓w(図7参照)を全体画像の範囲内で移動させつつ、人物検出処理が行われる。具体的には、ステップS206からステップS210のループにおいて、探索窓wが一画素分ずつ(又は複数画素分)動かされながら探索窓wのサイズで画像がクロッピングされ、クロッピングされた画像に検出対象物が含まれているか否かの判定が行われる(S208)。
【0035】
図6は、本実施形態における人物検出処理(クロッピング画像)のフローチャートである。この人物検出処理は、クロッピングされた各画像について適用される。クロッピング画像から、背景領域階調値Tbと人物領域階調値Tfが取得される(S302)。人物検出処理における背景領域階調値Tbと人物領域階調値Tfの取得は、学習用画像における背景領域階調値Tbと人物領域階調値Tfと同様にして行うことができる。
【0036】
次に、クロッピング画像の背景領域階調値Tbを前述の関係式に代入して人物領域推定階調値Tf’を得る。そして、クロッピング画像から得られた人物領域階調値Tfから人物領域推定階調値Tf’を差し引いた値の絶対値である特徴量vを求める(S304)。
【0037】
次に、求められた特徴量vが所定範囲V以内の階調値であるか否かについて判定する(S306)。特徴量vが所定範囲V以内の階調値であれば(S306がYES)、クロッピング画像に人物が含まれているものと判定して、処理を人物検出処理(全体画像)に返す。そして、そのクロッピング画像の位置が記憶部128に記憶される。一方、特徴量vが所定範囲Vを超える(所定範囲Vよりも大きい、または所定範囲Vよりも小さい)階調値であれば、すなわち特徴量vが所定範囲V以内でなければ(S306がNO)、クロッピング画像には人物が含まれていないものと判定して、処理を人物検出処理(全体画像)に返す。
【0038】
このような処理を、探索窓wを移動させながら、各クロッピング画像について行う。
図7は、探索窓wの移動の様子の説明図である。図7には、全体画像において探索窓wが移動させられている様子が示されている。探索窓wの移動のさせ方は、S200からS210の説明で述べたとおりである。このようにして、各クロッピング画像について検出対象物が存在するか否かの判定を行い、人物が検出されたクロッピング画像の位置を記憶することによって、全体画像における人物(検出対象物)の全体画像における位置が特定できる。
【0039】
このようにして、全体画像における各クロッピング画像についての人物検出処理が完了すると、人物検出装置120に接続された表示装置130に検出結果が表示される(S212)。結果表示は、赤外線画像として得られている自車両前方映像に、歩行者として判定された箇所を、歩行者を含むようにして強調表示させたり、注意を喚起するために画面をフラッシュさせたりして行うことができる。さらに、場合によっては、運転支援として、ブレーキをかけることをアシストしたり、視覚補助としてフロントライトがダウンライトになっているのをアップライトにしてもよい。
【0040】
図8は、本実施形態における人物検出処理の検出精度の説明図である。図9は、比較例の人物検出処理の検出精度の説明図である。これらの図において、縦軸は人物領域階調値Tf、横軸は背景領域階調値Tbである。三角形のプロットは、人物ではない画像(領域)の階調地(Tb,Tf)を表す。また、四角形のプロットは、人物の画像(領域)の階調地(Tb,Tf)を表す。図8と図9の両方に、本実施形態におけるTf’を表す直線が実線で示されている。また、図8及び図9のそれぞれの手法において人と検出される階調値の範囲が破線で示されている。つまり、それぞれの手法において、クロッピング画像から取得された人物領域階調値Tfが破線で示された範囲に入ったとき、その画像には人物が含まれていると判定される。
【0041】
図9の比較例の人物検出処理では、検出対象物(人物)の背景の温度を考慮せず、人物の温度に基づいて一律に人物検出処理を行っていた。具体的には、前述の背景領域温度Tbを用いず、前述の人物領域階調値Tfが所定範囲内に入っているか否かに基づいて人物検出処理を行っていた。背景温度が考慮されないので、この「所定範囲」は、背景領域階調値Tbの値に関わらず一定であった。しかしながら、環境温度によって、実際の人物の表面温度(着衣の温度等)は変化する。例えば、環境温度が低い場合、人物の表面温度は下がり、環境温度が高い場合、人物の表面温度も高くなる傾向がある。
【0042】
そのため、「所定範囲」を一定とすると、様々な環境温度における人物の検出を行うためには、人物と判定する範囲、すなわち、図9に示された破線で示される範囲を広くせざるを得ない。例えば、この範囲を狭くしてしまうと人物の検出漏れが発生してしまう。しかしながら、この範囲を広くしてしまうと人物ではないものも人物として判定してしまうという問題がある。図9には、破線の範囲内に三角形のプロットが多く含まれていることが示されている。これは、範囲を広くした結果、人物を含まない画像についても人物を含むものと誤判定をしてしまうケースが多いことを示している。
【0043】
これに対して、図8の本実施形態における人物検出処理では、人物領域階調値Tfと背景領域階調値Tbに基づいて回帰式を求めている。回帰式においては、背景領域階調値Tbに応じて人物領域推定階調値Tf’が変化する。すなわち、背景領域階調値Tbが第1の階調値である場合には、人物領域推定階調値Tf’は第1の推定階調値であり、背景領域階調値Tbが第2の階調値である場合には、人物領域推定階調値Tf’は第2の推定階調値である。そして、人物領域推定階調値Tf’を中心とした所定範囲に測定した人物領域階調値Tfが入っている場合に人物を含む画像として判定しているので、背景領域階調値Tbが第1の階調値である場合には、所定範囲の階調値は第1の所定範囲の階調値であり、背景領域階調値Tbが第2の階調値である場合には、所定範囲の階調値は第2の所定範囲の階調値となる。このように、人物領域階調値Tfと背景領域階調値Tbとの関係を考慮して人物領域推定階調値Tf’を求めているので、人物であるか否かの基準となる「所定範囲」が、環境温度に応じて変化する。例えば、本実施形態においては、環境温度が低い場合にはそれに合わせて人物であるか否かを判定する「所定範囲」もこれにあわせて低くなることになる。また、環境温度が高い場合にはそれに合わせて人物であるか否かを判定する「所定範囲」もこれにあわせて高くなることになる。つまり、人物領域推定階調値Tf’(図における直線Tf’)の全体を含むように所定範囲Vを設定しなくても、人物領域推定階調値Tf’から一定値の範囲を所定範囲Vとすることで、人物(検出対象物)の検出精度を向上させることができる。
【0044】
なお、本実施形態では、検出対象物として人物を検出するものとしているが、検出対象物がこれに限られないことはいうまでもない。例えば、動物などを同様にして検出することも可能である。
【符号の説明】
【0045】
1 人物検出システム、
110 赤外線カメラ、120 人物検出装置、130 表示装置、
122 画像取得部、124 画像メモリー、
126 制御部、128 記憶部、
Tb 背景領域階調値、Tf 人物領域階調値、Tf’ 人物領域推定階調値

【特許請求の範囲】
【請求項1】
温度に応じた階調値を含む検出対象画像から、前記検出対象画像の第1領域の階調値が所定範囲の階調値であるか否かに基づいて検出対象物を検出する検出部を含み、
前記所定範囲の階調値は、前記検出対象画像における第2領域の階調値が第1の階調値である場合には第1の所定範囲の階調値であり、前記検出対象画像における第2領域の階調値が第2の階調値である場合には第2の所定範囲の階調値である、検出装置。
【請求項2】
前記所定範囲の階調値は、前記第1領域の階調値と前記第2領域の階調値との関係を示す一次式を含む式で表され、
前記一次式の係数は、前記検出対象物を含む複数の学習用画像における前記第1領域の階調値と前記第2領域の階調値を用いた最小二乗法により求められる、請求項1に記載の検出装置。
【請求項3】
前記第1領域は、前記検出対象画像において前記第2領域よりも中央寄りの領域である、請求項1又は2に記載の検出装置。
【請求項4】
前記第2領域は、前記検出対象画像の中央から最も遠い領域である、請求項1〜3のいずれかに記載の検出装置。
【請求項5】
前記第2領域の階調値は、前記検出対象物の環境温度に応じた階調値である、請求項1〜4のいずれかに記載の検出装置。
【請求項6】
前記検出対象画像を生成する画像生成部をさらに含み、
前記画像生成部は、前記検出対象画像を含む全体画像から複数の画像をクロッピングすることにより前記検出対象画像を複数生成し、
前記複数の検出対象画像のそれぞれについて前記検出対象物の検出を行うことにより、前記全体画像における前記検出対象物の位置を特定する、請求項1〜5のいずれかに記載の検出装置。
【請求項7】
温度に応じた階調値を含む検出対象画像から、前記検出対象画像の第1領域の階調値が所定範囲の階調値であるか否かに基づいて検出対象物を検出することを含み、
前記所定範囲の階調値は、前記検出対象画像における第2領域の階調値が第1の階調値である場合には第1の所定範囲の階調値であり、前記検出対象画像における第2領域の階調値が第2の階調値である場合には第2の所定範囲の階調値である、検出方法。

【図1】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図2】
image rotate

【図3】
image rotate


【公開番号】特開2013−16071(P2013−16071A)
【公開日】平成25年1月24日(2013.1.24)
【国際特許分類】
【出願番号】特願2011−149340(P2011−149340)
【出願日】平成23年7月5日(2011.7.5)
【出願人】(000002369)セイコーエプソン株式会社 (51,324)
【Fターム(参考)】