人物検出装置、人物検出方法及び人物検出プログラム
【課題】カメラで撮像した撮像画像において、オフィス内等の雑多な環境下においても、撮像画像から人物を検出することを可能にした人物検出装置を提供する。
【解決手段】人物検出装置１は、撮像画像から移動体の領域である対象領域と、当該移動体までの距離である対象距離とを検出する移動体検出手段１０と、対象領域において、移動体を人物と仮定したときの、対象距離に対応した頭部領域を設定する頭部領域設定手段２０と、人物の頭部領域に対応する所定サイズのサンプル画像を記憶するサンプル画像記憶手段４０と、撮像画像内の頭部領域を所定サイズに変換してサンプル画像と比較することで、移動体が人物であるか否かを判定する人物判定手段３０と、を備える。
【解決手段】人物検出装置１は、撮像画像から移動体の領域である対象領域と、当該移動体までの距離である対象距離とを検出する移動体検出手段１０と、対象領域において、移動体を人物と仮定したときの、対象距離に対応した頭部領域を設定する頭部領域設定手段２０と、人物の頭部領域に対応する所定サイズのサンプル画像を記憶するサンプル画像記憶手段４０と、撮像画像内の頭部領域を所定サイズに変換してサンプル画像と比較することで、移動体が人物であるか否かを判定する人物判定手段３０と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラによって撮像された画像から、人物を検出する人物検出装置、人物検出方法及び人物検出プログラムに関する。
【背景技術】
【０００２】
従来、ＣＣＤ等のカメラによって撮像された画像から、その画像上に存在する人物を検出する手法としては、逐次入力される画像（フレーム画像）毎に差分をとることで背景を除去した差分画像を生成し、前景となる移動体の領域を人物の領域として検出する、いわゆる背景差分法が知られている（特許文献１等参照）。
例えば、特許文献１で開示されている技術（以下、従来技術という）では、前景となる領域が人物以外の領域となることを考慮し、その領域の縦横比、面積比等の物理的な特徴量と、予め保持している人物の物理的な特徴量とを比較することで、領域が人物を示す領域であるか否かの判定を行っている。さらに、この従来技術では、エッジパターンによるパターン認識によっても人物の判定を行っている。
【０００３】
そして、この従来技術では、前景の領域を、物理的特徴量により人物と判定した場合と、パターン認識により人物と判定した場合とで異なる追跡回数を設けて、その回数分だけ、追跡した領域が人物と判定された場合にのみ、最終的にその領域が人物を示す領域であると判定する。このように、従来技術では、物理的特徴量による判定と、パターン認識による判定とを並列して行うことで、画像中の移動体に対する人物検出の精度を高めている。
また、一般的な背景差分法においては、カメラ自体が動く場合、逐次入力されるフレーム画像毎に、背景の位置合わせを行ったのちに差分をとることで、移動体（人物）の検出を行っている。
【特許文献１】特開２００５−１２８８１５号公報（段落００３７〜００４８、図１及び図２）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、前記した従来技術において、物理的特徴量により人物を検出する手法は、領域の縦横比、面積比等を特徴量として用いているため、人物の全身が画像内に撮像されていることが、人物検出のための前提となる。このため、従来技術では、例えば、机等によって人物の一部が隠れるオフィス内等の雑多な環境下において、人物を検出することができないという問題がある。
【０００５】
また、従来技術において、パターン認識により人物を検出する手法は、予め保持しているパターンと、画像中の移動体のパターンとがほぼ同じ大きさとなることが、人物検出のための前提となる。このため、前記した雑多な環境下において、人物がカメラから離れ過ぎている、あるいは、近づき過ぎているといった通常起こり得る状況で、画像内の人物の領域が、所定パターンに対して小さい場合、あるいは、大きい場合に、人物を検出することができないという問題がある。
【０００６】
また、一般的な背景差分法では、カメラから所定時間間隔でフレーム画像が入力される場合、少ないフレーム画像で確実に移動体を検出するため、背景の位置合わせが正しく行われない場合であっても、差分計算を行い、移動体を検出するため、実際は静止している物体であっても、誤って移動体（人物）として検出してしまうという問題がある。
【０００７】
本発明は、以上のような問題点に鑑みてなされたものであり、オフィス内等の雑多な環境下においても、撮像画像から人物を検出することを可能とし、さらに、静止物体を人物として誤検出することを防止することが可能な人物検出装置、人物検出方法及び人物検出プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、前記目的を達成するために創案されたものであり、まず、請求項１に記載の人物検出装置は、複数のカメラで移動体を撮像した複数の撮像画像から、当該撮像画像内に含まれる人物を検出する人物検出装置であって、前記複数の撮像画像の視差と時系列に入力される撮像画像の差分とに基づいて、前記撮像画像内における前記移動体の領域である対象領域と、当該移動体までの距離である対象距離とを移動体情報として検出する移動体検出手段と、この移動体検出手段で検出された対象領域において、前記移動体を人物と仮定したときの予め定めた大きさの頭部領域を、前記対象距離に対応した大きさで設定する頭部領域設定手段と、人物の前記頭部領域に対応する所定サイズのサンプル画像を記憶するサンプル画像記憶手段と、前記頭部領域設定手段で設定された撮像画像内の頭部領域を前記所定サイズに変換して前記サンプル画像と比較することで、前記移動体が人物であるか否かを判定する人物判定手段と、を備える構成とした。
【０００９】
かかる構成によれば、人物検出装置は、移動体検出手段によって、複数の撮像画像の視差から移動体までの距離を算出し、時系列に入力される撮像画像の差分から移動体の動きを検出する。これによって、人物検出装置は、撮像画像内における移動体の領域（対象領域）と、移動体までの距離（対象距離）とを検出することができる。
そして、人物検出装置は、頭部領域設定手段によって、移動体を人物と仮定した頭部領域を設定する。このとき、対象距離が分かっていることから、頭部領域の大きさを対象距離に応じた大きさに設定することができる。
【００１０】
そして、人物検出装置は、人物判定手段によって、撮像画像内の頭部領域を、サンプル画像記憶手段に記憶されているサンプル画像と同じ大きさに変換してサンプル画像と比較することで、移動体が人物であるか否かを判定する。このように、基準となる大きさを所定サイズとして決めておくことで、対象距離が異なることで大きさが異なる頭部領域を、一定の基準で比較することができる。
【００１１】
また、請求項２に記載の人物判定装置は、請求項１に記載の人物検出装置において、前記サンプル画像は前記頭部領域の形状を示す画像であって、前記人物判定手段が、前記頭部領域設定手段で設定された頭部領域に対応するエッジ画像である頭部エッジ画像を生成する頭部エッジ画像生成手段と、この頭部エッジ画像生成手段で生成された頭部エッジ画像を、前記所定サイズの正規化画像に変換するサイズ正規化手段と、このサイズ正規化手段で変換された正規化画像内の隙間を補完した補完画像を生成する補完手段と、前記補完画像と前記サンプル画像との類似度に基づいて、前記移動体を人物と判定する類似度判定手段と、を備える構成とした。
【００１２】
かかる構成によれば、人物検出装置は、頭部エッジ画像生成手段によって、頭部領域に対応するエッジ画像を生成し、サイズ正規化手段によって、所定サイズの正規化画像に変換する。また、人物検出装置は、補完手段によって、正規化画像内の隙間を補完した補完画像をする。これによって、人物検出装置は、補完画像とサンプル画像とを、頭部領域の形状として比較することができる。
そして、人物検出装置は、類似度判定手段によって、補完画像とサンプル画像との類似度を算出することで、移動体が人物であるか否かを判定する。
【００１３】
さらに、請求項３に記載の人物検出装置は、請求項２に記載の人物検出装置において、前記サンプル画像の予め定めた基準となる位置に、前記補完画像の基準となる位置を合わせる画像シフト手段を備える構成とした。
【００１４】
かかる構成によれば、人物検出装置は、画像シフト手段によって、サンプル画像の基準位置に補完画像の基準位置を合わせるように、補完画像を上下左右にシフトさせる。この基準位置は、例えば、画像の重心位置である。あるいは、上下に画像をシフトさせる場合は、基準位置は頭部の上端位置でもよい。
【００１５】
また、請求項４に記載の人物検出装置は、請求項２又は請求項３に記載の人物検出装置において、前記補完手段が、前記頭部エッジ画像生成手段で生成された頭部エッジ画像の領域について、拡大及び縮小処理をそれぞれ複数回行うことで、当該頭部エッジ画像内の隙間を補完することを特徴とする。
【００１６】
かかる構成によれば、人物検出装置は、補完手段において、頭部エッジ画像の領域を複数回拡大することで、頭部領域内の隙間（ギャップ）を埋める。なお、この拡大によって、頭部領域は、実際の頭部領域よりも大きくなっているため、拡大と同じ回数だけ縮小を行う。なお、拡大された頭部領域は隙間が充填された状態となっているため、縮小を行っても内部に隙間が発生することがない。これによって、補完手段は、元の頭部領域の大きさで、隙間のない画像を生成することができる。
【００１７】
さらに、請求項５に記載の人物検出装置は、請求項１乃至請求項４のいずれか一項に記載の人物検出装置において、前記サンプル画像記憶手段が、人物の向きが異なる複数のサンプル画像を記憶していることを特徴とする。
【００１８】
かかる構成によれば、人物検出装置は、サンプル画像記憶手段に、人物の向きが異なる複数のサンプル画像を記憶しておくことで、移動体として検出された人物の向きが、例えば、正面を向いていたり、右側を向いていたり等、異なる向きであっても、判定手段において人物の判定が可能になる。
【００１９】
また、請求項６に記載の人物検出装置は、請求項１乃至請求項５のいずれか一項に記載の人物検出装置において、前記移動体検出手段が、前記対象距離が所定範囲内である場合に、前記移動体情報を出力することを特徴とする。
【００２０】
かかる構成において、人物検出装置は、移動体検出手段において、移動体までの距離を対象距離として検出することができるため、その距離が所定範囲内である場合にのみ移動体情報を出力する。この所定範囲は、人物検出装置が精度よく人物を検出可能な範囲とし、予め測定した検出結果に基づいて設定されるものである。
【００２１】
さらに、請求項７に記載の人物検出方法は、複数のカメラで移動体を撮像した複数の撮像画像から、当該撮像画像内に含まれる人物を検出する人物検出方法であって、前記複数の撮像画像の視差と時系列に入力される撮像画像の差分とに基づいて、前記撮像画像内における前記移動体の領域である対象領域と、当該移動体までの距離である対象距離とを、移動体検出手段により移動体情報として検出するステップと、前記対象領域において、前記移動体を人物と仮定したときの予め定めた大きさの頭部領域を、頭部領域設定手段により前記対象距離に対応した大きさで設定するステップと、前記頭部領域に対応するエッジ画像である頭部エッジ画像を、頭部エッジ画像生成手段により生成するステップと、前記頭部エッジ画像を、サイズ正規化手段により所定サイズの正規化画像に変換するステップと、前記正規化画像内の隙間を補完した補完画像を、補完手段により生成するステップと、前記補完画像と、予めサンプル画像記憶手段にサンプル画像として記憶してある前記所定サイズの頭部領域の画像との類似度を、類似度算出手段により算出するステップと、前記類似度に基づいて、判定手段により前記移動体を人物と判定するステップと、を含んでいることを特徴とする。
【００２２】
また、請求項８に記載の人物検出プログラムは、複数のカメラで移動体を撮像した複数の撮像画像から、当該撮像画像内に含まれる人物を検出するために、コンピュータを、前記複数の撮像画像の視差と時系列に入力される撮像画像の差分とに基づいて、前記撮像画像内における前記移動体の領域である対象領域と、当該移動体までの距離である対象距離とを移動体情報として検出する移動体検出手段、この移動体検出手段で検出された対象領域において、前記移動体を人物と仮定したときの予め定めた大きさの頭部領域を、前記対象距離に対応した大きさで設定する頭部領域設定手段、この頭部領域設定手段で設定された頭部領域に対応するエッジ画像である頭部エッジ画像を生成する頭部エッジ画像生成手段、この頭部エッジ画像生成手段で生成された頭部エッジ画像を、所定サイズの正規化画像に変換するサイズ正規化手段、このサイズ正規化手段で変換された正規化画像内の隙間を補完した補完画像を生成する補完手段、この補完手段で生成された補完画像と、予めサンプル画像記憶手段にサンプル画像として記憶してある前記所定サイズの頭部領域の画像との類似度を算出する類似度算出手段、この類似度算出手段で算出された類似度に基づいて、前記移動体を人物と判定する判定手段、として機能させることを特徴とする。
【発明の効果】
【００２３】
本発明によれば、頭部領域によって移動体が人物であるか否かを判定するため、オフィス内等の雑多な環境下においても、撮像画像から人物を検出することができる。また、本発明によれば、フレーム画像間の背景の位置合わせが正しく行われずに、誤って静止物体を移動体であると認識した場合であっても、それが人物であるか否かを判定することができるため、精度よく人物を検出することができる。
【発明を実施するための最良の形態】
【００２４】
以下、本発明の実施の形態について図面を参照して説明する。
［人物検出装置の構成］
図１は、本発明に係る人物検出装置の全体構成を示したブロック図である。図１に示すように人物検出装置１は、複数のカメラ２で撮像された撮像画像から、人物を検出するものである。ここでは、人物検出装置１は、移動体検出手段１０と、頭部領域設定手段２０と、人物判定手段３０と、サンプル画像記憶手段４０とを備えている。
【００２５】
移動体検出手段１０は、複数のカメラ２で撮像された撮像画像から、動きのある移動体を検出するものである。ここでは、移動体検出手段１０は、撮像画像から移動体の領域を輪郭（対象領域）として抽出するとともに、移動体までの距離に対応する画素からなる対象距離画像（対象距離）を生成し、その輪郭及び対象距離画像を、移動体情報として頭部領域設定手段２０に出力する。
【００２６】
頭部領域設定手段２０は、移動体検出手段１０で検出された移動体の輪郭（対象領域）及び対象距離画像（対象距離）に基づいて、移動体を人物と仮定したときの予め定めた大きさの頭部領域を、対象距離に対応した大きさで設定するものである。ここでは、頭部領域設定手段２０は、輪郭の上部（例えば、最上端）の画素位置を基準とした予め定めた範囲内において、対象距離画像の画素分布に基づいて、移動体を人物と仮定したときの頭部領域を設定する。この頭部領域設定手段２０で設定された頭部領域は、人物判定手段３０に出力される。
【００２７】
人物判定手段３０は、頭部領域設定手段２０で設定された頭部領域に基づいて、移動体が人物であるか否かを判定するものである。ここでは、人物判定手段３０は、頭部領域の画像と、予めサンプル画像記憶手段４０に記憶されているサンプル画像とを比較することで、移動体が人物であるか否かを判定する。なお、このとき、人物判定手段３０は、対象距離に基づいて、頭部領域の画像とサンプル画像との大きさを合わせることで、比較を可能としている。
【００２８】
サンプル画像記憶手段４０は、人物の頭部領域の形状を示す画像を予めサンプル画像として記憶しておくものであって、ハードディスク等の一般的な記憶手段である。このサンプル画像記憶手段４０には、予め所定サイズ（例えば、３２×３２画素）の大きさのサンプル画像を、複数のパターン記憶しておく。ここで、複数のパターンとは、例えば、図１０に示すような、人物が、正面を向いているとき、左を向いているとき、あるいは、右を向いているとき等の画像パターンである。また、ここでは、サンプル画像として、人物の領域と背景の領域とをエッジによって区分した２値化画像を用いることとする。
【００２９】
このように、人物検出装置１は、距離に対応付けた人物の頭部領域に着目して移動体が人物であるか否かを判定するため、人物の遠近によらず、また、机等によって人物の一部が隠れるオフィス内等の雑多な環境下においても、人物を検出することができる。
以下、移動体検出手段１０、頭部領域設定手段２０及び人物判定手段３０の構成について詳細に説明する。
【００３０】
＜移動体検出手段１０＞
まず、図２を参照して、移動体検出手段１０の構成について説明する。図２は、本発明に係る人物検出装置に含まれる移動体検出手段の構成を示したブロック図である。図２に示すように、移動体検出手段１０は、２台のカメラ２で撮像された撮像画像から、動きを伴う物体（移動体）を検出することとする。なお、２台のカメラ２は、左右に距離Ｂだけ離れて配置されており、それぞれを右カメラ２ａ及び左カメラ２ｂとする。ここでは、移動体検出手段１０は、距離情報生成手段１１と、動き情報生成手段１２と、エッジ画像生成手段１３と、対象距離設定手段１４と、対象距離画像生成手段１５と、対象領域設定手段１６と、輪郭抽出手段１７とを備えている。
【００３１】
距離情報生成手段１１は、同時刻に右カメラ２ａと左カメラ２ｂとで撮影された２枚の撮像画像の視差を、カメラ２（より正確には、カメラ２の焦点位置）から撮像対象までの距離情報として埋め込み、距離画像として生成するものである。なお、この距離情報生成手段１１は、例えば１００ｍｓ間隔に１フレームの割合で撮像画像を入力する。
この距離情報生成手段１１では、右カメラ２ａを基準カメラとして、この基準カメラ（右カメラ２ａ）で撮像された基準撮像画像と、左カメラ２ｂで撮像された同時刻撮像画像とで、特定の大きさのブロック（例えば８×３画素）でブロックマッチングを行うことで、基準撮像画像からの視差を計測する。そして、その視差の大きさ（視差量）を基準撮像画像の各画素に対応付けた距離画像を生成する。
なお、視差をＺとしたとき、この視差Ｚに対応するカメラ２から物体までの距離Ｌ（図示せず）は、カメラ２の焦点距離をｆ（図示せず）、右カメラ２ａと左カメラ２ｂとの距離をＢとすると、（１）式で求めることができる。
【００３２】
Ｌ＝Ｂ×ｆ／Ｚ …（１）
【００３３】
動き情報生成手段１２は、基準カメラ（右カメラ２ａ）で時系列に撮像された２枚の撮像画像の差分に基づいて、撮像画像内の移動体の動きを動き情報として埋め込んだ、差分画像を生成するものである。
この動き情報生成手段１２では、右カメラ２ａを基準カメラとして、この基準カメラ（右カメラ２ａ）で撮像された時刻の異なる２枚の撮像画像の差分をとる。例えば、１００ｍｓ間隔で撮像画像を入力したときに、その入力時刻からΔｔ（例えば３３ｍｓ）分遅れた撮像画像を入力し、その２枚の撮像画像の差分をとることとする。
そして、差のあった画素には動きのあった画素として画素値“１”を与え、差のなかった画素には動きのなかった画素として画素値“０”を与えた差分画像を生成する。なお、動き情報生成手段１２では、さらに差分画像に対して、メディアンフィルタ等のフィルタリング処理を行うことで、ノイズを除去しておく。
【００３４】
なお、カメラ２がロボットや自動車に搭載されたカメラ等、移動するカメラであって、撮像画像内の背景が変化する場合は、カメラ２から撮像画像毎のパン、チルト等のカメラ移動量を入力し、例えば、時刻ｔ＋Δｔの撮像画像をそのカメラ移動量分補正することで背景の位置合わせを行い、時刻ｔ及び時刻ｔ＋Δｔにおいて、動きのあった画素のみを検出する。
【００３５】
エッジ画像生成手段１３は、カメラ２（２ａ）から撮像画像（基準撮像画像）を入力し、その撮像画像からエッジを抽出したエッジ画像を生成するものである。このエッジ画像生成手段１３では、カメラ２（２ａ）から入力された撮像画像の明るさ（輝度：濃淡情報）に基づいて、その明るさが大きく変化する部分をエッジとして検出し、そのエッジのみからなるエッジ画像を生成する。例えば、ある画素の近傍領域の画素に対して重み係数を持つオペレータ（係数行例：Ｓｏｂｅｌオペレータ、Ｋｉｒｓｃｈオペレータ等）を画素毎に乗算することで、エッジの検出を行う。
【００３６】
ここで、図１１を参照（適宜図２参照）して、距離情報生成手段１１で生成される距離画像、動き情報生成手段１２で生成される差分画像、及び、エッジ画像生成手段１３で生成されるエッジ画像について説明する。図１１は、時系列に入力される撮像画像に基づいて、各画像が生成される状態を示したものである。
【００３７】
図１１に示すように、距離画像Ｄは、同時刻の右カメラの撮像画像（右カメラ画像）と左カメラの撮像画像（左カメラ画像）との視差を画素値で表現することで生成される。この視差は、その値が大きいほど人物の位置がカメラ２に近いことを表し、値が小さいほど人物の位置がカメラ２から遠いことを表している。また、エッジ画像ＥＤは、右カメラ画像から生成された画像で、検出されたエッジのみからなる画像である。さらに、差分画像ＤＩは、Δｔ分だけ入力された時刻が異なる２枚の右カメラ画像（例えば、時刻ｔと時刻ｔ＋Δｔの右カメラ画像）の差分をとり、差のあった画素を画素値“１”、差のなかった画素を画素値“０”として表現することで生成される。この差のあった画素が、実際に人物が動いた領域を表している。
【００３８】
ここで、図１２を参照して、距離画像Ｄ及び差分画像ＤＩの内容について、さらに詳細に説明を行う。図１２（ａ）は、距離画像Ｄの画像内容と、その画素値（距離画像画素値ＤＢ）の一例を示したものである。図１２（ｂ）は、差分画像ＤＩの画像内容と、その画素値（差分画像画素値ＤＩＢ）の一例を示したものである。ここでは、カメラ２から約１ｍ、２ｍ及び３ｍ離れた位置に人物が存在しているものとする。
【００３９】
距離画像Ｄは、図１２（ａ）に示すように、同時刻の右カメラ画像と左カメラ画像との視差を画素値で表現したものであって、例えば、距離画像画素値ＤＢに示したように、距離画像Ｄの画素位置（０，０）は視差が０であり、カメラ２からの距離が無限大（∞）であることを意味している。また、距離画像Ｄの画素位置（３０，５０）は視差が２０であり、カメラ２からの距離が視差２０に対応する距離、例えば２．２ｍであることを意味している。このように、距離画像Ｄは、視差を画素値として表現するため、例えば、カメラ２に近いほど明るく、遠いほど暗い画像となる。
【００４０】
差分画像ＤＩは、図１２（ｂ）に示すように、時系列に入力される右カメラ画像の差の有無を表現したものであって、例えば、差分画像画素値ＤＩＢに示したように、差分画像ＤＩの画素位置（０，０）は“０”「停止」で、動きがなかったことを意味している。また、差分画像ＤＩの画素位置（３０，５０）は“１”「動き」で、動きがあったことを意味している。
図２に戻って、人物検出装置１の構成について説明を続ける。
【００４１】
対象距離設定手段１４は、距離情報生成手段１１で生成された距離画像と、動き情報生成手段１２で生成された差分画像とに基づいて、最も動き量の多い移動体を特定し、対象となる移動体が存在する対象距離を設定するものである。この対象距離は、対象距離画像生成手段１５に出力される。
【００４２】
この対象距離設定手段１４では、距離画像で表された視差（距離）毎に、その視差に対応する画素と同じ位置にある差分画像の画素値を累計し（動きがある画素は画素値が“１”であるので、視差毎に画素数を累計することになる）、その累計が最も多くなる視差（以下、「最多視差」という。）に、最も動き量の多い移動体が存在していると判定する。例えば、１．０〜１．１ｍの視差（距離）では、画素値の累計が１１０、１．１〜１．２ｍの視差（距離）では、画素値の累計が９２、というように視差毎に累計を出し、この累計が最大の視差（距離）を最多視差とする。
【００４３】
また、ここでは、最多視差に対応する対象距離±α分の奥行きを、最も動き量の多い移動体が存在する距離の範囲とする。このαの値は、対象距離を基準とした奥行き方向の範囲を示すものである。ここでは、αの値を、距離情報生成手段１１から時系列に入力される距離画像の差分、例えば、時刻ｔ−１で生成された距離画像と、時刻ｔで生成された距離画像との差分とする。なお、このαの値は、人物を検出することを仮定して、数十ｃｍと固定した値を用いてもよい。
【００４４】
この対象距離設定手段１４では、距離情報生成手段１１で生成された距離画像と、動き情報生成手段１２で生成された差分画像とを、図示していないメモリ等の記憶手段に記憶することとする。
【００４５】
対象距離画像生成手段１５は、距離情報生成手段１１で生成された視差量を埋め込んだ距離画像に基づいて、対象距離設定手段１４で設定された対象距離に対応する画素をエッジ画像生成手段１３で生成されたエッジ画像から抽出した対象距離画像を生成するものである。
例えば、最多視差におけるカメラ２から移動体までの距離Ｌを前記（１）式で算出したとすると、その視差の範囲Ｚｒは前記（１）式を変形することで、以下に示す（２）式を得る。ただし、カメラ２の焦点距離をｆ、右カメラ２ａと左カメラ２ｂとの距離をＢ、対象物体の奥行き方向の範囲をαとする。
【００４６】
Ｂ×ｆ／（Ｌ＋α）＜Ｚｒ＜Ｂ×ｆ／（Ｌ−α） …（２）
【００４７】
この対象距離画像生成手段１５では、前記（２）式の範囲の視差に対応する画素をエッジ画像から抽出した対象距離画像を生成する。
なお、この対象距離画像の生成は、基準カメラ（右カメラ２ａ）で撮像された撮像画像（原画像）又は距離情報生成手段１１で生成された距離画像から、対象距離（視差の範囲）に対応する画素位置のみの画素を抽出することとしてもよい。
【００４８】
ここで、図１３を参照（適宜図２参照）して、対象距離設定手段１４及び対象距離画像生成手段１５で、検出対象となる移動体が存在する距離に対応する画像（対象距離画像）を生成する手順について説明する。図１３（ａ）は、距離画像Ｄ及び差分画像ＤＩ（図１２）に基づいて、視差（距離）と動きのある画素を累計した動き量（画素数）との関係を示したグラフである。図１３（ｂ）は、エッジ画像ＥＤ（図１１）から対象距離の画像のみを抽出した対象距離画像ＴＤを示している。
【００４９】
図１３（ａ）に示すように、距離画像Ｄ（図１２）の視差（距離）と動き量（画素数）との関係をグラフ化すると、視差（距離）が１ｍ、２．２ｍ、３ｍの位置で動き量がピークとなる。そこで、対象距離設定手段１４は、動き量が最大となる視差（２．２ｍ）に移動体が存在するものとし、その視差（２．２ｍ）の前後（±α）の奥行き範囲に移動体が存在すると判定する。このαは、距離情報生成手段１１から時系列に入力される距離画像の差分である。なお、このαの値は、移動体を人物と仮定して、カメラ２から２．２±αｍ（α＝０．５ｍ）の範囲に人物が存在すると判定することとしてもよい。
【００５０】
また、対象距離画像生成手段１５は、図１３（ｂ）に示すように、エッジ画像生成手段１３で生成されたエッジ画像から、距離情報生成手段１１で生成された距離画像に基づいて、対象となる画素位置を判定して、対象距離±αｍに存在する画素を抽出した対象距離画像ＴＤを生成する。これによって、カメラ２から１ｍ、３ｍ離れた位置に存在している人物の画像を削除し、２．２±αｍ離れた位置に存在している人物のみをエッジ画像として抽出した対象距離画像ＴＤを生成することができる。
図２に戻って、人物検出装置１の構成について説明を続ける。
【００５１】
対象領域設定手段１６は、対象距離画像生成手段１５で生成された対象距離画像（対象距離に対応したエッジ画像）の垂直方向の画素数を累計し、その垂直方向の画素数の累計が最も多くなる位置を移動体の中心の水平位置であると特定して、その移動体を含んだ領域（対象領域）を設定するものである。ここでは、対象領域設定手段１６は、ヒストグラム生成手段１６ａと、水平範囲設定手段１６ｂと、垂直範囲設定手段１６ｃとを備えている。
【００５２】
ヒストグラム生成手段１６ａは、対象距離画像の垂直方向の画素数を計測し、累計するものである。ここでは、ヒストグラム生成手段１６ａは、計測した垂直方向の画素数を累計することで、ヒストグラムを生成することとする。このようにヒストグラムを生成することで、ヒストグラムが最大となる位置に移動体の中心の水平位置が存在すると判定することが可能になる。なお、ヒストグラム生成手段１６ａは、ヒストグラムに対して平滑化処理を行うこととする。
【００５３】
水平範囲設定手段１６ｂは、ヒストグラム生成手段１６ａで生成されたヒストグラムに基づいて、１つの移動体を含み、その移動体の輪郭を抽出するための対象となる領域（対象領域）の水平方向の範囲を設定するものである。ここでは、水平範囲設定手段１６ｂは、ヒストグラム生成手段１６ａで生成された（平滑化された）ヒストグラムで、画素数が最大となる水平位置から所定範囲を移動体の水平方向の範囲として設定する。
【００５４】
ここで、図１４及び図１５を参照（適宜図２参照）して、対象領域設定手段１６が、対象距離画像ＴＤにおいて、１つ（１人）の移動体の領域（対象領域）における水平方向の範囲を設定する手順について説明する。図１４は、対象距離画像における水平方向の座標毎に垂直方向へ画素数を計測した累計をヒストグラムで表した図である。なお、この図１４では、ヒストグラムＨＩを対象距離画像ＴＤに重畳させているが、これは、説明の都合上重畳させているだけである。図１５は、ヒストグラムの平滑化処理の例を示す図であり、（ａ）が平滑化前、（ｂ）が平滑化後のヒストグラムを示す。
【００５５】
まず、ヒストグラム生成手段１６ａは、図１４に示すように、水平方向の座標毎に垂直方向へ画素数を計測し累計することで、対象距離画像ＴＤに含まれる移動体が存在する領域において、水平方向の座標毎に画素数が累計されたヒストグラムＨＩを生成する。なお、図１４のヒストグラムＨＩでは、局所的にピークＰ１が現れているものとする。
【００５６】
そして、ヒストグラム生成手段１６ａは、図１５に示すように、ヒストグラムＨＩに対して平滑化処理を行う。
具体的には、ＳｘをヒストグラムＨＩにおける注目している座標ｘの画素数、Ｓｘ′を平滑化後のヒストグラムＨＩ′の座標ｘの画素数、ｘ０を正の定数として、以下の（３）式により平滑化を行う。
【００５７】
【数１】
【００５８】
ここで、ｆ（ｎ）はｎの関数であるが、定数としてもよい。そして、以下の（４）式のように、ｆ（ｎ）＝｜ｘ−ｎ｜とすれば、座標ｘから距離（座標）が近い座標ｎの画素数Ｓｎほど重く扱うことになるので、元のヒストグラムＨＩの特徴を残したまま平滑化後のヒストグラムＨＩ′を生成することができる。
【００５９】
【数２】
【００６０】
この処理により、図１５（ａ）に示すようなヒストグラムＨＩは、図１５（ｂ）に示すような、平滑化されたヒストグラムＨＩ′とすることができる。このとき、ヒストグラムＨＩにおいて、局所的に現れていたピークＰ１は、ピークＰ１′のように低くなる。
また、前記した（３）式又は（４）式による平滑化処理において、以下の（５）式を条件とするのが望ましい。
【００６１】
【数３】
【００６２】
この（５）式の条件によれば、注目している座標ｘの右側（ｘが大きい側）又は左側（ｘが小さい側）のヒストグラムＨＩの画素数Ｓｘがすべて“０”の場合に、平滑化後の画素数Ｓｘ′を“０”にするので、ヒストグラムＨＩの左右端の裾が広がらないようにすることができる。例えば、図１５（ｂ）の破線のようにはヒストグラムＨＩの裾が広がらず、実線のようになる。
これにより、隣り合う人物のヒストグラムＨＩが、平滑化の処理によりつながってしまうことを防ぐことができる。
【００６３】
そして、水平範囲設定手段１６ｂは、ヒストグラム生成手段１６ａで生成されたヒストグラムに基づいて、１つの移動体を含んだ水平方向の範囲を設定する。
具体的には、図１５（ｂ）で説明した平滑化後のヒストグラムＨＩ′において、最も画素数Ｓｘ′が大きい座標ｘ（例えば、図１５（ｂ）におけるｘ１）を、１つの移動体の中心位置とし、その左右両側の一定範囲（例えば、図１５（ｂ）におけるβ）を対象領域の水平方向の範囲として設定する。このβは、人物が手を挙げた場合も含まれるように、人物の幅に相当する画素数か、それよりやや広め（例えば、０．２ｍ程度に相当する画素数分広め）とすることができる。さらに、この範囲内で、ヒストグラムが最小となる水平位置（座標ｘ）を検出する。この最小となる水平位置を、一人の人物の左右端とする。
【００６４】
また、移動体を抽出する水平方向の範囲を設定する場合、移動体の移動方向を考慮することが望ましい。例えば、水平範囲設定手段１６ｂは、時刻ｔ−２の対象距離画像から生成したヒストグラムによって求められた移動体の中心位置と、時刻ｔ−１の対象距離画像から生成したヒストグラムによって求められた移動体の中心位置とに基づいて、移動体の移動ベクトルを求め、その移動ベクトルとカメラ２の視線方向とのなす角度が４５°未満の場合は、例えば、中心の位置±（０．５〜０．６）ｍを、人物を検出するための水平範囲とする。また、移動ベクトルとカメラ２の視線方向とのなす角度が４５°以上の場合は、例えば、中心位置±（０．２〜０．３）ｍを、人物を検出するための水平範囲とする。これは、角度が４５°以上の場合は、人物がカメラ２の前を横切っていると考えられるからである。
【００６５】
また、対象領域の水平方向の範囲は、例えば、図示していないが、カメラ２の水平画角をθｈ、カメラ２から対象とする移動体までの距離をＬ、対象距離画像の横方向の解像度をＸとすると、対象領域の幅の半分（移動体の中心からの距離）を０．５（ｍ）としたときの、対象距離画像上での水平画素数αＨを、以下の（６）式で求めることで、水平方向の範囲を設定してもよい。
【００６６】
αＨ＝（Ｘ／θｈ）ｔａｎ−１（０．５／Ｌ） …（６）
図２に戻って、人物検出装置１の構成について説明を続ける。
【００６７】
垂直範囲設定手段１６ｃは、移動体の輪郭を抽出するための対象となる領域（対象領域）の垂直方向の範囲を設定するものである。ここでは、垂直範囲設定手段１６ｃは、特定の長さ（例えば２ｍ）を対象領域の垂直方向の範囲とする。
【００６８】
ここで、図１６を参照（適宜図２参照）して、対象領域設定手段１６（垂直範囲設定手段１６ｃ）が、対象距離画像において、１つ（１人）の移動体の領域（対象領域）における垂直方向の範囲を設定する手順について説明する。図１６は、移動体が対象距離画像上のどの高さに位置するかを算出する手順を説明するための説明図である。この図１６では、カメラ２が移動ロボット（図示せず）に組み込まれ、移動体Ｍと同じ床からある高さ（カメラ高）Ｈに位置しているときに、移動体Ｍが対象距離画像（ａ′、ｂ′）上のどの高さに位置するかを示している。なお、図１６（ａ）は、カメラ２のチルト角が０（°）の場合、図１６（ｂ）はカメラ２のチルト角がθＴ（≠０）の場合におけるカメラ２と移動体Ｍとの対応関係を示している。
まず、図１６（ａ）を参照して、チルト角が０（°）の場合において、移動体Ｍが対象距離画像（ａ′）上で垂直方向のどの位置に存在するかを特定する方法について説明する。
【００６９】
ここで、カメラ２の垂直画角をθｖ、カメラ２から移動体Ｍまでの距離をＬ、対象距離画像（ａ′）の垂直方向の解像度をＹ、カメラ２の床からの高さ（カメラ高）をＨ、移動体Ｍの床からの仮想の高さを２（ｍ）とする。このとき、カメラ２の光軸と、カメラ２から移動体Ｍの仮想の上端（床から２ｍ）までを結んだ直線との角度θＨは、以下の（７）式で表すことができる。
【００７０】
θＨ＝ｔａｎ−１（（２−Ｈ）／Ｌ） …（７）
【００７１】
これにより、移動体Ｍの対象距離画像（ａ′）上での上端ｙＴは、以下の（８）式で求めることができる。
【００７２】
ｙＴ＝Ｙ／２−θＨＹ／θｖ
＝Ｙ／２−（Ｙ／θｖ）ｔａｎ−１（（２−Ｈ）／Ｌ） …（８）
【００７３】
また、カメラ２の光軸と、カメラ２から移動体Ｍの下端（床）までを結んだ直線との角度θＬは、以下の（９）式で表すことができる。
【００７４】
θＬ＝ｔａｎ−１（Ｈ／Ｌ） …（９）
【００７５】
これにより、移動体Ｍの対象距離画像（ａ′）上での下端ｙＢは、以下の（１０）式で求めることができる。
【００７６】
ｙＢ＝Ｙ／２＋θＬＹ／θｖ
＝Ｙ／２＋（Ｙ／θｖ）ｔａｎ−１（Ｈ／Ｌ） …（１０）
【００７７】
次に、図１６（ｂ）を参照して、チルト角がθＴ（≠０）の場合において、移動体Ｍが対象距離画像（ｂ′）上で垂直方向のどの位置に存在するかを特定する方法について説明する。
【００７８】
ここで、カメラ２の垂直画角をθｖ、チルト角をθＴ、移動体Ｍまでの距離をＬ、対象距離画像の垂直方向の解像度をＹ、カメラ２の床からの高さ（カメラ高）をＨ、移動体Ｍの床からの仮想の高さを２（ｍ）とする。このとき、カメラ２の光軸とカメラ２から移動体Ｍの仮想の上端（床から２ｍ）までを結んだ直線との角度θＨと、チルト角θＴとの差分角度（θＨ−θＴ）は、以下の（１１）式で表すことができる。
【００７９】
θＨ−θＴ＝ｔａｎ−１（（２−Ｈ）／Ｌ） …（１１）
【００８０】
これにより、移動体Ｍの対象距離画像（ｂ′）上での上端ｙＴは、以下の（１２）式で求めることができる。
【００８１】
ｙＴ＝Ｙ／２−θＴＹ／θｖ−（θＨ−θＴ）Ｙ／θｖ
＝Ｙ／２−θＴＹ／θｖ−（Ｙ／θｖ）ｔａｎ−１（（２−Ｈ）／Ｌ） …（１２）
【００８２】
また、カメラ２の光軸とカメラ２から移動体Ｍの下端（床）までを結んだ直線との角度θＬと、チルト角θＴとの加算角度（θＬ＋θＴ）は、以下の（１３）式で表すことができる。
【００８３】
θＬ＋θＴ＝ｔａｎ−１（Ｈ／Ｌ） …（１３）
【００８４】
これにより、移動体Ｍの対象距離画像（ｂ′）上での下端ｙＢは、以下の（１４）式で求めることができる。
【００８５】
ｙＢ＝Ｙ／２−θＴＹ／θｖ＋（θＬ＋θＴ）Ｙ／θｖ
＝Ｙ／２−θＴＹ／θｖ＋（Ｙ／θｖ）ｔａｎ−１（Ｈ／Ｌ） …（１４）
【００８６】
このように求めた対象距離画像（ａ′又はｂ′）の上端ｙＴ及び下端ｙＢによって、対象領域の垂直方向の範囲が設定される。
なお、移動ロボット（図示せず）が階段等を昇降し、移動体Ｍと同一の床に存在しない場合は、移動ロボット本体のエンコーダ等によって昇降量を検出し、その昇降量を移動体Ｍの床からの高さに対して加算又は減算することで、移動体Ｍの対象距離画像（ａ′又はｂ′）における垂直方向の位置を特定することができる。あるいは、移動ロボットに地図情報を保持しておき、移動体Ｍの方向及び距離で特定される床の高さを、その地図情報から取得することとしてもよい。
図２に戻って、人物検出装置１の構成について説明を続ける。
【００８７】
輪郭抽出手段１７は、対象距離画像生成手段１５で生成された対象距離画像において、対象領域設定手段１６で設定した移動体の領域（対象領域）内で、既知の輪郭抽出技術を用いて移動体の輪郭の抽出を行うものである。
【００８８】
ここで、既知の輪郭抽出としては、例えば、「ＳＮＡＫＥＳ」と呼ばれる動的輪郭モデルを用いることができる。ここで、「ＳＮＡＫＥＳ」とは、閉曲線を予め定義したエネルギーを最小化するように収縮変形させることにより、物体の輪郭を抽出する手法である。ここでは、移動体の領域（対象領域）内で、エネルギーを算出するための初期値を設定できるため、輪郭抽出のための計算量を軽減させることができる。
この輪郭抽出手段１７は、抽出した輪郭（輪郭情報）を、頭部領域設定手段２０（図１参照）に出力する。これによって、例えば、図１７に示したように、対象距離画像ＴＤの中で移動体が１つ（１人）に限定された対象領域Ｔ内で輪郭Ｏを抽出することができ、移動体の概略の位置を特定することができる。
【００８９】
＜頭部領域設定手段２０＞
次に、図３を参照して、頭部領域設定手段２０の構成について説明する。図３は、本発明に係る人物検出装置に含まれる頭部領域設定手段の構成を示したブロック図である。図３に示すように、頭部領域設定手段２０は、移動体検出手段１０（図１参照）で検出された移動体の輪郭及び対象距離画像に基づいて、移動体を人物と仮定したときの頭部領域を設定する。ここでは、頭部領域設定手段２０は、頭部探索領域設定手段２１と、ヒストグラム生成手段２２と、垂直範囲設定手段２３と、水平範囲設定手段２４とを備えている。
【００９０】
頭部探索領域設定手段２１は、輪郭の上部の画素位置を基準として、予め定めた範囲の領域を人物の頭部を探索するための領域（頭部探索領域）として設定するものである。
この頭部探索領域設定手段２１は、例えば、図１８に示すように、対象距離画像ＴＤにおいて、輪郭Ｏにおける重心Ｇの座標を（ｘＧ，ｙＧ）とし、重心ＧのＸ座標における最上端の輪郭ＯのＹ座標をｙＵとしたとき、頭部探索領域ＨＳの垂直方向の範囲として、下限をｙＵ又はｙＵから所定距離（例えば、０．２ｍ）下方とし、上限を特定の大きさ（例えば２ｍ）に対応する位置に設定する。なお、この上限には、図１６で説明した対象距離画像（ａ′又はｂ′）上での上端ｙＴの位置を用いることができる。
【００９１】
なお、頭部探索領域の下限は、輪郭の精度によって異なる。例えば、人物の頭部まで忠実に輪郭を抽出することができる場合であれば、重心ＧのＸ座標における最上端の輪郭ＯのＹ座標から、所定距離（例えば、０．２ｍ）下方とし、人物の頭部を輪郭として抽出できない場合は、重心ＧのＸ座標における最上端の輪郭ＯのＹ座標を下限とする。なお、輪郭の精度が不安定な場合は、最上端の輪郭ＯのＹ座標から、所定距離下方を下限とするのが望ましい。
また、頭部探索領域ＨＳの水平方向の範囲は、重心ＧのＹ座標を中心に、例えば、左右±０．２（ｍ）の範囲に設定する。
この頭部探索領域設定手段２１で設定された頭部探索領域ＨＳは、ヒストグラム生成手段２２に出力される。
【００９２】
ヒストグラム生成手段２２は、対象距離画像において、頭部探索領域設定手段２１で設定された頭部探索領域の範囲内で、垂直方向の座標毎に、水平方向の画素数を計測し、累計するものである。ここでは、ヒストグラム生成手段２２は、計測した水平方向の画素数を累計することで、ヒストグラムを生成することとする。このヒストグラムにおいて、画素数が累計されている垂直方向の座標には、人物が存在するとみなすことができる。
【００９３】
なお、ヒストグラム生成手段２２は、図２で説明したヒストグラム生成手段１６ａと同様、生成したヒストグラムを平滑化することが望ましい。
具体的には、Ｓｙをヒストグラムにおける注目している座標ｙの画素数、Ｓｙ′を平滑化後のヒストグラムの座標ｙの画素数、ｙ０を正の定数として、以下の（１５）式により平滑化を行う。なお、ｆ（ｎ）はｎの関数であるが、定数としてもよい。
【００９４】
【数４】
【００９５】
垂直範囲設定手段２３は、ヒストグラム生成手段２２で生成されたヒストグラム（水平方向の画素数）に基づいて、頭部領域の垂直方向の範囲を設定するものである。ここでは、垂直範囲設定手段２３は、水平方向の画素数が予め定めた閾値よりも多い垂直方向の座標において、最上点の座標を基準として、その基準より特定の長さ（例えば、０．１ｍ）分だけ上の座標を頭部領域の上端とし、その上端から、特定の長さ（例えば、０．５ｍ）分だけ下の座標を頭部領域の下端とする。
【００９６】
水平範囲設定手段２４は、頭部領域の水平方向の範囲を設定するものである。ここでは、水平範囲設定手段２４は、輪郭Ｏにおける重心ＧのＸ座標（図１８参照）を中心として、特定の長さ（例えば０．５ｍ）を頭部領域の水平方向の範囲とする。
【００９７】
ここで、図１９を参照（適宜図３参照）して、頭部探索領域を用いて頭部領域を設定する手順について説明する。図１９は、頭部探索領域において頭部領域を設定する手順を説明するための説明図である。
まず、ヒストグラム生成手段２２は、図１９（ａ）に示すように、頭部探索領域ＨＳにおいて、水平方向の画素数を計測し累計したヒストグラムＨＩＨＳを生成する。そして、垂直範囲設定手段２３は、画素数が累計されている垂直方向の座標で、最上点の座標を頭部の上端とする。なお、ここでは、ノイズ等を考慮し、予め定めた閾値以上となる画素数が累計されている垂直方向の座標の最上点Ｔｏを、頭部の上端とする。
そして、垂直範囲設定手段２３は、図１９（ｂ）に示すように、最上点Ｔｏより特定の長さ（例えば、０．１ｍ）分だけ上の座標を頭部領域ＨＤの上端とし、その上端から０．５ｍだけ下の座標を頭部領域ＨＤの下端とする。
さらに、水平範囲設定手段２４は、輪郭の重心のＸ座標を中心に、０．５ｍの範囲を頭部領域ＨＤの水平方向の範囲とする。
このように設定された頭部領域ＨＤ（頭部領域の位置情報）は、人物判定手段３０（図１参照）に出力される。
【００９８】
＜人物判定手段３０＞
次に、図４を参照して、人物判定手段３０の構成について説明する。図４は、本発明に係る人物検出装置に含まれる人物判定手段の構成を示したブロック図である。図４に示すように、人物判定手段３０は、カメラ２（図１参照）で撮像された撮像画像において、頭部領域設定手段２０で設定された頭部領域が人物の頭部の領域であるか否かを判定するものである。ここでは、人物判定手段３０は、頭部エッジ画像生成手段３１と、サイズ正規化手段３２と、補完手段３３と、画像シフト手段３４と、類似度判定手段３５とを備えている。
【００９９】
頭部エッジ画像生成手段３１は、頭部領域設定手段２０で設定された頭部領域に対応するエッジ画像（頭部エッジ画像）を生成するものである。ここでは、頭部エッジ画像生成手段３１は、カメラ２（図１参照）で撮像された撮像画像において、頭部領域設定手段２０で設定された頭部領域について、Ｓｏｂｅｌオペレータ等を用いてエッジを抽出し、予め定めた閾値により２値化することで、頭部エッジ画像を生成する。例えば、エッジとなる画素の値を画素値“１”、それ以外を画素値“０”とする。
なお、エッジ画像生成手段１３（図２参照）において、撮像画像全体のエッジ画像が生成されているため、頭部エッジ画像生成手段３１は、このエッジ画像から頭部領域を切り出し、２値化することで、頭部エッジ画像を生成することとしてもよい。
【０１００】
サイズ正規化手段３２は、頭部エッジ画像生成手段３１で生成された頭部エッジ画像を所定サイズに変換することで正規化画像を生成するものである。ここで、所定サイズとは、サンプル画像記憶手段４０に記憶されているサンプル画像と同じ大きさである。
【０１０１】
補完手段３３は、サイズ正規化手段３２で生成された正規化画像において、画像内の隙間（ギャップ）を補完するものである。この補完手段３３は、正規化画像の画素領域について、拡大及び縮小処理をそれぞれ複数回行うことで、画像内の隙間を補完した補完画像を生成する。
例えば、画素値“１”の画素領域を拡大させるには、拡大元の画像における処理対象位置の画素の画素値が“１”又はその処理対象位置の画素に近接した８画素（８近傍）〔あるいは４画素（４近傍）〕の画素の画素値が“１”である場合に、拡大先の画像における処理対象位置の画素の画素値を“１”とする。ここで、正規化画像が拡大元の画像となって、順次画素領域が拡大された画像が生成される。
また、画素値“１”の画素領域を縮小させるには、縮小元の画像における処理対象位置の画素の画素値が“０”又はその処理対象位置の画素に近接した８画素（８近傍）〔あるいは４画素（４近傍）〕の画素の画素値が“０”である場合に、縮小先の画像における処理対象位置の画素の画素値を“０”とする。ここで、拡大処理によって拡大された画像が縮小元の画像となって、順次画素領域が縮小されることで補完画像が生成される。
【０１０２】
ここで、図２０を参照（適宜図４参照）して、補完手段３３が、正規化画像において、ギャップを補完する処理について具体的に説明する。図２０は、正規化画像に対して拡大及び縮小処理を複数回行ったときの各段階における画像の内容を示す図である。なお、図２０では、補完手段３３が、正規化画像に対して拡大処理と縮小処理とをそれぞれ３回行っている例を示している。なお、ここでは、エッジとなる画素の値を画素値“１（白）”、それ以外を画素値“０（黒）”とする。
【０１０３】
図２０の（ａ）は、サイズ正規化手段３２で生成された正規化画像の元画像を示している。ここで、補完手段３３は、３回拡大処理を行うことで、画像（ａ）から順に、画像（ｂ）、画像（ｃ）、画像（ｄ）を生成する。このように、画像（ａ）から順に画素値“１（白）”の領域が拡大され、画像（ｄ）においては、画素値“１（白）”の領域が統合されることになる。なお、この段階では、画素値“１（白）”の領域は、拡大された分、画像（ａ）で示されている頭部領域に比べて大きくなっている。
【０１０４】
そこで、補完手段３３は、拡大処理を行った回数分（ここでは３回）の縮小処理を行うことで、画像（ａ）で示されている頭部領域と同等の大きさとなる画像を生成する。すなわち、補完手段３３は、３回縮小処理を行うことで、画像（ｄ）から順に、画像（ｅ）、画像（ｆ）、画像（ｇ）を生成する。このように、画像（ｄ）から順に画素値“１（白）”の領域が縮小され、画像（ｇ）においては、画素値“１（白）”の領域が、画像（ａ）の頭部領域と同程度の大きさとなる。
これによって、補完手段３３は、正規化画像において、頭部領域の内部を同一画素値で充填した画像を生成することができる。
【０１０５】
なお、ここでは、拡大及び縮小の回数を３回として説明したが、この回数は特に限定したものではない。また、特に拡大及び縮小の回数を特定せずに、画素値“０（黒）”の孤立点がなくなるまで拡大処理を行い、その回数分だけ縮小処理を行うこととしてもよい。
図４に戻って、人物判定手段３０の構成について説明を続ける。
【０１０６】
画像シフト手段３４は、補完手段３３でギャップが補完された補完画像の頭部の位置を、サンプル画像記憶手段４０に記憶されているサンプル画像の頭部の位置に合わせた画像を生成するものである。ここでは、画像シフト手段３４は、上下シフト手段３４ａと、左右シフト手段３４ｂとを備えている。
【０１０７】
上下シフト手段３４ａは、補完画像を上下にシフトさせることで、補完画像の頭部の上下位置を、サンプル画像の頭部に合わせるものである。具体的には、補完画像の重心位置の上下位置を、サンプル画像の重心位置の上下位置に合わせるように、補完画像をシフトさせる。
左右シフト手段３４ｂは、補完画像を左右にシフトさせることで、補完画像の頭部の左右位置を、サンプル画像の頭部に合わせるものである。具体的には、補完画像の重心位置の左右位置を、サンプル画像の重心位置の左右位置に合わせるように、補完画像をシフトさせる。
このように、画像シフト手段３４において、補完画像を上下左右にシフトさせることで、補完画像内の頭部の位置を、サンプル画像内の頭部の位置に合わせることができ、後記する類似度判定手段３５における類似度の精度を高めることができる。
【０１０８】
類似度判定手段３５は、補完画像とサンプル画像との類似度に基づいて、撮像された移動体が人物であるか否かを判定するものである。ここでは、類似度判定手段３５は、類似度算出手段３５ａと、判定手段３５ｂとを備えている。
【０１０９】
類似度算出手段３５ａは、補完画像とサンプル画像との各画像間の類似の度合いを示す類似度を算出するものである。ここでは、類似度算出手段３５ａは、画像シフト手段３４で頭部位置がシフトされた補完画像と、サンプル画像記憶手段４０に記憶されている複数のサンプル画像とから、以下の（１６）式により、各画像間の類似の度合いを示す類似度Ｒを算出する。
【０１１０】
Ｒ＝１−ｄ／Ｓ２ …（１６）
【０１１１】
ここで、ｄはＳＡＤ（Sum of Absolute Difference：差分絶対値和）、Ｓはサンプル画像のサイズである。この（１６）式に示すように、類似度算出手段３５ａは、サンプル画像のＳＡＤの値を単位画素に換算して類似度を算出している。また、類似度Ｒは“０”以上“１”以下の値となり、類似度“１”が最も類似していることを示している。これによって、例えば、サンプル画像の大きさを変更する場合であっても、後記する判定手段３５ｂにおける類似度の閾値を変更する必要がない。
なお、前記（１６）式におけるｄ（ＳＡＤ：差分絶対値和）は、以下の（１７）式により算出されるものである。
【０１１２】
【数５】
【０１１３】
ここで、Ｉ（ｉ，ｊ）は補完画像の画素値、Ｔ（ｉ，ｊ）はサンプル画像の画素値である。このように算出された類似度Ｒは、判定手段３５ｂに出力される。
なお、ここでは、類似度算出手段３５ａは、類似度を前記（１６）式によって算出したが、この類似度算出の手法はこれに限定されるものではない。例えば、（１６）式のｄ（ＳＡＤ：差分絶対値和）の代わりに、ＳＳＤ（Sum of the Squared Differences：差分２乗和）を用いることとしてもよい。
【０１１４】
判定手段３５ｂは、類似度に基づいて、頭部領域として設定された領域が、実際に人物の頭部領域であるか否かを判定するものである。この判定手段３５ｂは、類似度算出手段３５ａで算出された類似度Ｒが予め定めた閾値よりも大きい場合に、当該領域が人物の頭部領域であると判定し、人物を検出した旨の情報（人物検出情報）を出力する。なお、この情報には、人物の位置（例えば、頭部領域、あるいはその重心位置、距離等）を含むこととしてもよい。
また、判定手段３５ｂは、複数の撮像画像において、予め定めたフレーム数分の類似度の平均値により人物の判定を行うこととしてもよい。これによって、一時的にノイズ等によって、人物と判定できなかった場合でも、継続して人物を検出することができる。
【０１１５】
このように人物検出装置１を構成することで、カメラ２が撮像した撮像画像から、頭部領域を設定し、その領域内に撮像されている頭部が人物のものであるか否かを判定することが可能になり、精度よく人物を検出することができる。また、この頭部領域は、距離に応じた大きさとなっているため、人物検出装置１は、頭部領域の画像をサンプル画像大に正規化することで、どの距離に存在する人物であっても、検出対象とすることができる。
【０１１６】
ここで、図２１を参照（適宜図４参照）して、人物検出装置１における人物の検出結果について説明する。図２１は、撮像画像に人物が存在しているときの検出結果を説明するための図である。ここでは、４つの検出結果を示し、（ａ）は撮像画像に人物が映っている原画像、（ｂ）は頭部エッジ画像生成手段３１によって生成された頭部エッジ画像をサイズ正規化手段３２によって正規化した正規化画像、（ｃ）は正規化画像を補完手段３３によって補完（ギャップ埋め）した補完画像をそれぞれ示している。
【０１１７】
（ｂ）に示すように、頭部領域が所定サイズ（ここでは３２×３２画素）に正規化された後に、隙間（ギャップ）が補完されるため、（ｃ）の補完画像は、図１９に示したサンプル画像との比較が可能になる。
ここでは、（ｄ）に補完画像とサンプル画像との類似度を示し、（ｅ）に人物までの距離を示している。このように、人物検出装置１は、任意の距離において、人物を検出することができる。
【０１１８】
なお、図２１において、距離（ｅ）が３．５ｍを超過した状態で類似度が低下（０．８５以下）している。そこで、例えば、判定手段３５ｂにおける人物判定のための閾値を、０．８５とすることで、精度よく人物を検出することができる。
【０１１９】
また、人物の検出精度を高めるため、移動体を検出する際の距離を所定の範囲に定めてもよい。例えば、移動体の検出範囲を３．５ｍ以内とする。この場合、図２に示した移動体検出手段１０の対象距離設定手段１４において、移動体が存在する対象距離が検出範囲を超過した距離であれば、その対象距離を対象距離画像生成手段１５に出力しないことで、実現することができる。
以上、一実施の形態として人物検出装置１の構成について説明したが、人物検出装置１は、一般的なコンピュータを前記した各手段として機能させる人物検出プログラムによって、動作させることができる。
【０１２０】
また、ここでは、人物検出装置１の距離情報生成手段１１が、２台のカメラ２で撮像した撮像画像に基づいて距離画像を生成したが、３台以上のカメラを用いて距離画像を生成することとしてもよい。例えば、３行３列に配置した９台のカメラで、中央に配置したカメラを基準カメラとして、他のカメラとの視差に基づいて距離画像を生成することで、移動体までの距離をより正確に測定することもできる。
【０１２１】
［人物検出装置の動作］
次に、図５を参照（適宜図１参照）して、人物検出装置１の動作について説明する。図５は、本発明に係る人物検出装置の全体動作を示すフローチャートである。
まず、人物検出装置１は、移動体検出手段１０によって、複数のカメラ２で撮像された撮像画像から、動きのある移動体を検出する（ステップＳ１０；移動体検出ステップ）。なお、このステップＳ１０では、撮像画像から移動体の輪郭を抽出するとともに、移動体が存在する距離に対応する画素からなる対象距離画像を生成する。
【０１２２】
そして、人物検出装置１は、頭部領域設定手段２０によって、ステップＳ１０で抽出された移動体を人物とみなしたときの頭部領域を設定する（ステップＳ２０；頭部領域設定ステップ）。なお、このステップＳ２０では、輪郭の上部の画素位置を基準とした予め定めた範囲内において、対象距離画像の画素分布に基づいて、移動体を人物と仮定したときの頭部領域を設定する。
【０１２３】
そして、人物検出装置１は、人物判定手段３０によって、ステップＳ２０で設定された頭部領域において、当該頭部領域内に撮像されている頭部が人物の頭部であるか否かを判定することで、人物を検出する（ステップＳ３０；人物判定ステップ）。
以下、ステップＳ１０の移動体（輪郭）検出処理、ステップＳ２０の頭部領域設定処理、及び、ステップＳ３０の人物判定処理の動作について詳細に説明する。
【０１２４】
＜移動体（輪郭）検出処理＞
最初に、図６及び図７を参照（適宜図２参照）して、図５のステップＳ１０で説明した移動体（輪郭）検出処理の動作について説明する。図６及び図７は、移動体検出手段における移動体（輪郭）検出処理の動作を示すフローチャートである。
【０１２５】
（撮像画像入力ステップ）
まず、移動体検出手段１０は、２台のカメラ２から時系列に撮像画像を同期させて入力する（ステップＳ１０１）。ここでは、ある時刻ｔに右カメラ２ａ（基準カメラ）と左カメラ２ｂとから入力された撮像画像と、次の時刻ｔ＋Δｔに右カメラ２ａ（基準カメラ）と左カメラ２ｂとから入力された撮像画像とに基づいて、移動体を抽出する。なお、以下のステップで用いられている距離画像Ｄｔ−１及びＤｔ−２、対象距離画像ＴＤｔ−２及びＴＤｔ−１は、時刻ｔ−２及び時刻ｔ−１の段階で生成されたものである。
【０１２６】
（距離画像（距離情報）生成ステップ）
そして、移動体検出手段１０は、距離情報生成手段１１によって、時刻ｔに右カメラ２ａ（基準カメラ）と左カメラ２ｂとから入力された２枚の撮像画像から、移動体を含んだ撮像対象までの視差（距離）を埋め込んだ距離画像Ｄｔを生成する（ステップＳ１０２）。
【０１２７】
（差分画像（動き情報）生成ステップ）
さらに、移動体検出手段１０は、動き情報生成手段１２によって、右カメラ２ａ（基準カメラ）で時刻ｔと時刻ｔ＋Δｔに撮像された２枚の撮像画像（基準撮像画像）の差分をとり、差のあった画素を画素値“１”、差のなかった画素を画素値“０”とした差分画像ＤＩｔを生成する（ステップＳ１０３）。
【０１２８】
（エッジ画像生成ステップ）
また、移動体検出手段１０は、エッジ画像生成手段１３によって、右カメラ２ａ（基準カメラ）で時刻ｔに撮像された撮像画像（基準撮像画像）からエッジ画像ＥＤｔを生成する（ステップＳ１０４）。
【０１２９】
（対象距離設定ステップ）
そして、移動体検出手段１０は、対象距離設定手段１４によって、ステップＳ１０２及びステップＳ１０３で生成した距離画像Ｄｔ及び差分画像ＤＩｔ（時刻ｔと時刻ｔ＋Δｔの差分画像）から、距離画像Ｄｔで表された視差（距離）毎に、動きのあった画素数を累計し、その累計が最大となる距離を、距離画像Ｄｔにおける検出対象となる移動体の対象距離ｄｔとして設定する（ステップＳ１０５）。
【０１３０】
（対象距離画像生成ステップ）
そして、移動体検出手段１０は、対象距離画像生成手段１５によって、ステップＳ１０４で生成したエッジ画像ＥＤｔから、対象距離ｄｔ±αの画素を抽出した対象距離画像ＴＤｔを生成する（ステップＳ１０６）。
このステップＳ１０６によって、人物検出装置１は、時刻ｔにおける距離画像Ｄｔにおいて、移動体が存在する奥行き方向の範囲を設定することができる。
【０１３１】
（対象領域設定ステップ）
そして、移動体検出手段１０は、対象領域設定手段１６のヒストグラム生成手段１６ａによって、ステップＳ１０６で生成した対象距離画像ＴＤｔの垂直方向（縦方向）の画素数を計測し、ヒストグラム化する（ステップＳ１０７）。なお、このステップＳ１０７においては、ヒストグラムを平滑化することが望ましい。
【０１３２】
そして、移動体検出手段１０は、対象領域設定手段１６の水平範囲設定手段１６ｂによって、時刻ｔの対象距離画像ＴＤｔにおいて、ヒストグラムが最大となる位置ｘ１（図１５参照）を中心に、所定左右領域を対象領域の水平範囲として設定する（ステップＳ１０８）。ここでは、人物を検出することとして、時刻ｔ−２の対象距離画像ＴＤｔ−２と、時刻ｔ−１の対象距離画像ＴＤｔ−１とでヒストグラムが最大となる位置を結んだ移動ベクトルを設定し、移動ベクトルとカメラ２の視線方向とのなす角度が４５°未満の場合は、中心の位置ｘ１±（０．５〜０．６）ｍを、人物を検出するための水平範囲とする。また、移動ベクトルとカメラ２の視線方向とのなす角度が４５°以上の場合は、中心の位置ｘ１±（０．２〜０．３）ｍを、人物を検出するための水平範囲とする。
【０１３３】
さらに、移動体検出手段１０は、対象領域設定手段１６の垂直範囲設定手段１６ｃによって、カメラ２から入力されるチルト角、床（設置面）からの高さ等のカメラパラメータに基づいて、対象距離画像ＴＤｔで対象領域の垂直（上下）方向の範囲を設定する（ステップＳ１０９）。
【０１３４】
例えば、カメラ２のチルト角、床からの高さに基づいて、対象距離画像における画像中の床の位置（対象領域の下端）を求める。そして、カメラ２の画角と移動体までの距離とに基づいて、床から２ｍまでの範囲を画素数に換算することにより、対象領域の対象距離画像における床からの画素数を求める。これによって、対象距離画像における対象領域の上端を求めることができる。なお、この２ｍは、一例であって、他の長さ（高さ）であっても構わない。
【０１３５】
（輪郭抽出ステップ）
また、移動体検出手段１０は、輪郭抽出手段１７によって、ステップＳ１０６で生成した対象距離画像ＴＤｔにおいて、ステップＳ１０８及びステップＳ１０９で設定した対象領域内で輪郭の抽出を行う（ステップＳ１１０）。例えば、対象領域内で動的輪郭モデル（ＳＮＡＫＥＳ）を適用することによって輪郭の抽出を行う。
以上の動作によって、カメラ２から入力された撮像画像から、移動体を検出することができる。
【０１３６】
＜頭部領域設定処理＞
次に、図８を参照（適宜図３参照）して、図５のステップＳ２０で説明した頭部領域設定処理の動作について説明する。図８は、頭部領域設定手段における頭部領域設定処理の動作を示すフローチャートである。
【０１３７】
（頭部探索領域設定ステップ）
まず、頭部領域設定手段２０は、頭部探索領域設定手段２１によって、輪郭の上部（上端）の画素位置を基準として、予め定めた範囲の領域を人物の頭部を探索するための領域（頭部探索領域）として設定する（ステップＳ２０１）。ここでは、頭部探索領域設定手段２１は、輪郭の重心のＸ座標をｘ、その座標ｘにおける輪郭の最上端のＹ座標をｙとした位置（ｘ，ｙ）を基準として、頭部探索領域の垂直方向の範囲を設定する。例えば、頭部探索領域の下限を、ｙから所定距離（例えば、０．２ｍ）下方とし、上限は、特定の大きさ（例えば２ｍ）に対応する位置に設定する。
【０１３８】
（頭部垂直範囲設定ステップ）
そして、頭部領域設定手段２０は、ヒストグラム生成手段２２によって、対象距離画像において、頭部探索領域設定手段２１で設定された頭部探索領域の範囲内で、垂直方向の座標毎に、水平方向の画素数を計測し、ヒストグラム化する（ステップＳ２０２）。なお、このステップＳ２０２においては、ヒストグラムを平滑化することが望ましい。
そして、頭部領域設定手段２０は、垂直範囲設定手段２３によって、ステップＳ２０２で生成されたヒストグラムにおいて、水平方向の画素数が予め定めた閾値よりも多い垂直方向の座標において、最上点の座標を基準として、頭部領域の垂直範囲を設定する（ステップＳ２０３）。例えば、垂直範囲設定手段２３は、最上点の座標を基準として、その基準より特定の長さ（例えば、０．１ｍ）分だけ上の座標を頭部領域の上端とし、その上端から、特定の長さ（例えば、０．５ｍ）分だけ下の座標を頭部領域の下端とする。
【０１３９】
（頭部水平範囲設定ステップ）
さらに、頭部領域設定手段２０は、水平範囲設定手段２４によって、輪郭における重心のＸ座標を中心として、所定の左右範囲を頭部領域の水平範囲とする。具体的には、重心のＸ座標を中心として、特定の長さ（例えば０．５ｍ）を頭部領域の水平範囲として設定する（ステップＳ２０４）。
以上の動作によって、カメラ２（図１）から入力された撮像画像のどこに人物の頭部領域が存在するかが特定されることになる。
【０１４０】
＜人物判定処理＞
次に、図９を参照（適宜図４参照）して、図５のステップＳ３０で説明した人物判定処理の動作について説明する。図９は、人物判定手段における人物判定処理の動作を示すフローチャートである。
【０１４１】
（頭部エッジ画像生成ステップ）
まず、人物判定手段３０は、頭部エッジ画像生成手段３１によって、撮像画像の頭部領域について、Ｓｏｂｅｌオペレータ等を用いてエッジを抽出し、予め定めた閾値により２値化することで、頭部エッジ画像を生成する（ステップＳ３０１）。なお、この頭部エッジ画像生成手段３１は、ステップＳ１０４（図６参照）で生成されたエッジ画像から、頭部領域を切り出し、２値化することで、頭部エッジ画像を生成することとしてもよい。
【０１４２】
（サイズ正規化ステップ）
そして、人物判定手段３０は、サイズ正規化手段３２によって、頭部エッジ画像を所定サイズに変換することで正規化画像を生成する（ステップＳ３０２）。これによって、任意の距離に対応して生成された頭部領域の画像（頭部エッジ画像）が、所定サイズに正規化されることになる。
【０１４３】
（補完ステップ）
そして、人物判定手段３０は、補完手段３３によって、頭部エッジ画像の画素について、拡大及び縮小処理をそれぞれ複数回行うことで、画像内の隙間（ギャップ）を補完した補完画像を生成する（ステップＳ３０３）。
【０１４４】
（画像シフトステップ）
その後、人物判定手段３０は、画像シフト手段３４の上下シフト手段３４ａによって、補完画像の重心位置の上下位置を、サンプル画像の重心位置の上下位置に合わせるように、補完画像をシフトさせる（ステップＳ３０４）。これによって、補完画像の頭部の上下位置が、サンプル画像の頭部の上下位置にほぼ合致することになる。
さらに、人物判定手段３０は、画像シフト手段３４の左右シフト手段３４ｂによって、補完画像の重心位置の左右位置を、サンプル画像の重心位置の左右位置に合わせるように、補完画像をシフトさせる（ステップＳ３０５）。これによって、補完画像の頭部の左右位置が、サンプル画像の頭部の左右位置にほぼ合致することになる。
このステップＳ３０４とステップＳ３０５を実行することで、補完画像の頭部位置が、サンプル画像の頭部位置にほぼ合致することになる。なお、このステップＳ３０４とステップＳ３０５は、その順序を変えて実行しても構わない。
【０１４５】
（類似度算出ステップ）
そして、人物判定手段３０は、類似度判定手段３５の類似度算出手段３５ａによって、補完画像とサンプル画像との各画像間の類似度を算出する（ステップＳ３０６）。
【０１４６】
（判定ステップ）
そして、人物判定手段３０は、類似度判定手段３５の判定手段３５ｂによって、ステップＳ３０６で算出された類似度と予め定めた閾値とを比較し、類似度が予め定めた閾値よりも大きい場合に、当該領域が人物の頭部領域であると判定する（ステップＳ３０７）。
【０１４７】
以上の各ステップによって、本実施の形態の人物検出装置１は、カメラから入力された撮像画像から、人物を検出することができる。なお、ここでは、ある時刻ｔにおいて人物を検出したが、時々刻々と入力される撮像画像に基づいて、前記ステップ（ステップＳ１０〜ステップＳ３０）を動作させることで、例えば、人物検出装置１を備えた移動ロボット等が、人物を検出し続けることができる。
【図面の簡単な説明】
【０１４８】
【図１】本発明に係る人物検出装置の全体構成を示したブロック図である。
【図２】本発明に係る人物検出装置に含まれる移動体検出手段の構成を示したブロック図である。
【図３】本発明に係る人物検出装置に含まれる頭部領域設定手段の構成を示したブロック図である。
【図４】本発明に係る人物検出装置に含まれる人物判定手段の構成を示したブロック図である。
【図５】本発明に係る人物検出装置の全体動作を示すフローチャートである。
【図６】移動体検出手段における移動体（輪郭）検出処理の動作を示すフローチャート（１／２）である。
【図７】移動体検出手段における移動体（輪郭）検出処理の動作を示すフローチャート（２／２）である。
【図８】頭部領域設定手段における頭部領域設定処理の動作を示すフローチャートである。
【図９】人物判定手段における人物判定処理の動作を示すフローチャートである。
【図１０】サンプル画像記憶手段に記憶しているサンプル画像の一例を示す図である。
【図１１】距離画像、エッジ画像及び差分画像の内容の一例を示す図である。
【図１２】距離画像及び差分画像の内容の一例を示す図である。
【図１３】視差（距離）毎の動き量（画素値）に基づいて、対象距離画像を生成するための手順を説明するための説明図である。
【図１４】対象距離画像における水平方向の座標毎に垂直方向へ画素数を計測した累計をヒストグラムで表した図である。
【図１５】ヒストグラムの平滑化処理の例を示す図であり、（ａ）が平滑化前、（ｂ）が平滑化後のヒストグラムを示す。
【図１６】移動体が対象距離画像上のどの高さに位置するかを算出する手順を説明するための説明図である。
【図１７】対象距離画像の対象領域で輪郭を抽出した例を示す図である。
【図１８】対象距離画像に頭部探索領域を設定する例を示す図である。
【図１９】頭部探索領域において頭部領域を設定する手順を説明するための説明図である。
【図２０】正規化画像に対して拡大及び縮小処理を複数回行ったときの各段階における画像の内容を示す図である。
【図２１】撮像画像に人物が存在しているときの検出結果を説明するための図である。
【符号の説明】
【０１４９】
１ 人物検出装置
２ カメラ
１０ 移動体検出手段
１１ 距離情報生成手段
１２ 動き情報生成手段
１３ エッジ画像生成手段
１４ 対象距離設定手段
１５ 対象距離画像生成手段
１６ 対象領域設定手段
１７ 輪郭抽出手段
２０ 頭部領域設定手段
３０ 人物判定手段
３１ 頭部エッジ画像生成手段
３２ サイズ正規化手段
３３ 補完手段
３４ 画像シフト手段
３５ 類似度判定手段
４０ サンプル画像記憶手段
【技術分野】
【０００１】
本発明は、カメラによって撮像された画像から、人物を検出する人物検出装置、人物検出方法及び人物検出プログラムに関する。
【背景技術】
【０００２】
従来、ＣＣＤ等のカメラによって撮像された画像から、その画像上に存在する人物を検出する手法としては、逐次入力される画像（フレーム画像）毎に差分をとることで背景を除去した差分画像を生成し、前景となる移動体の領域を人物の領域として検出する、いわゆる背景差分法が知られている（特許文献１等参照）。
例えば、特許文献１で開示されている技術（以下、従来技術という）では、前景となる領域が人物以外の領域となることを考慮し、その領域の縦横比、面積比等の物理的な特徴量と、予め保持している人物の物理的な特徴量とを比較することで、領域が人物を示す領域であるか否かの判定を行っている。さらに、この従来技術では、エッジパターンによるパターン認識によっても人物の判定を行っている。
【０００３】
そして、この従来技術では、前景の領域を、物理的特徴量により人物と判定した場合と、パターン認識により人物と判定した場合とで異なる追跡回数を設けて、その回数分だけ、追跡した領域が人物と判定された場合にのみ、最終的にその領域が人物を示す領域であると判定する。このように、従来技術では、物理的特徴量による判定と、パターン認識による判定とを並列して行うことで、画像中の移動体に対する人物検出の精度を高めている。
また、一般的な背景差分法においては、カメラ自体が動く場合、逐次入力されるフレーム画像毎に、背景の位置合わせを行ったのちに差分をとることで、移動体（人物）の検出を行っている。
【特許文献１】特開２００５−１２８８１５号公報（段落００３７〜００４８、図１及び図２）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、前記した従来技術において、物理的特徴量により人物を検出する手法は、領域の縦横比、面積比等を特徴量として用いているため、人物の全身が画像内に撮像されていることが、人物検出のための前提となる。このため、従来技術では、例えば、机等によって人物の一部が隠れるオフィス内等の雑多な環境下において、人物を検出することができないという問題がある。
【０００５】
また、従来技術において、パターン認識により人物を検出する手法は、予め保持しているパターンと、画像中の移動体のパターンとがほぼ同じ大きさとなることが、人物検出のための前提となる。このため、前記した雑多な環境下において、人物がカメラから離れ過ぎている、あるいは、近づき過ぎているといった通常起こり得る状況で、画像内の人物の領域が、所定パターンに対して小さい場合、あるいは、大きい場合に、人物を検出することができないという問題がある。
【０００６】
また、一般的な背景差分法では、カメラから所定時間間隔でフレーム画像が入力される場合、少ないフレーム画像で確実に移動体を検出するため、背景の位置合わせが正しく行われない場合であっても、差分計算を行い、移動体を検出するため、実際は静止している物体であっても、誤って移動体（人物）として検出してしまうという問題がある。
【０００７】
本発明は、以上のような問題点に鑑みてなされたものであり、オフィス内等の雑多な環境下においても、撮像画像から人物を検出することを可能とし、さらに、静止物体を人物として誤検出することを防止することが可能な人物検出装置、人物検出方法及び人物検出プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、前記目的を達成するために創案されたものであり、まず、請求項１に記載の人物検出装置は、複数のカメラで移動体を撮像した複数の撮像画像から、当該撮像画像内に含まれる人物を検出する人物検出装置であって、前記複数の撮像画像の視差と時系列に入力される撮像画像の差分とに基づいて、前記撮像画像内における前記移動体の領域である対象領域と、当該移動体までの距離である対象距離とを移動体情報として検出する移動体検出手段と、この移動体検出手段で検出された対象領域において、前記移動体を人物と仮定したときの予め定めた大きさの頭部領域を、前記対象距離に対応した大きさで設定する頭部領域設定手段と、人物の前記頭部領域に対応する所定サイズのサンプル画像を記憶するサンプル画像記憶手段と、前記頭部領域設定手段で設定された撮像画像内の頭部領域を前記所定サイズに変換して前記サンプル画像と比較することで、前記移動体が人物であるか否かを判定する人物判定手段と、を備える構成とした。
【０００９】
かかる構成によれば、人物検出装置は、移動体検出手段によって、複数の撮像画像の視差から移動体までの距離を算出し、時系列に入力される撮像画像の差分から移動体の動きを検出する。これによって、人物検出装置は、撮像画像内における移動体の領域（対象領域）と、移動体までの距離（対象距離）とを検出することができる。
そして、人物検出装置は、頭部領域設定手段によって、移動体を人物と仮定した頭部領域を設定する。このとき、対象距離が分かっていることから、頭部領域の大きさを対象距離に応じた大きさに設定することができる。
【００１０】
そして、人物検出装置は、人物判定手段によって、撮像画像内の頭部領域を、サンプル画像記憶手段に記憶されているサンプル画像と同じ大きさに変換してサンプル画像と比較することで、移動体が人物であるか否かを判定する。このように、基準となる大きさを所定サイズとして決めておくことで、対象距離が異なることで大きさが異なる頭部領域を、一定の基準で比較することができる。
【００１１】
また、請求項２に記載の人物判定装置は、請求項１に記載の人物検出装置において、前記サンプル画像は前記頭部領域の形状を示す画像であって、前記人物判定手段が、前記頭部領域設定手段で設定された頭部領域に対応するエッジ画像である頭部エッジ画像を生成する頭部エッジ画像生成手段と、この頭部エッジ画像生成手段で生成された頭部エッジ画像を、前記所定サイズの正規化画像に変換するサイズ正規化手段と、このサイズ正規化手段で変換された正規化画像内の隙間を補完した補完画像を生成する補完手段と、前記補完画像と前記サンプル画像との類似度に基づいて、前記移動体を人物と判定する類似度判定手段と、を備える構成とした。
【００１２】
かかる構成によれば、人物検出装置は、頭部エッジ画像生成手段によって、頭部領域に対応するエッジ画像を生成し、サイズ正規化手段によって、所定サイズの正規化画像に変換する。また、人物検出装置は、補完手段によって、正規化画像内の隙間を補完した補完画像をする。これによって、人物検出装置は、補完画像とサンプル画像とを、頭部領域の形状として比較することができる。
そして、人物検出装置は、類似度判定手段によって、補完画像とサンプル画像との類似度を算出することで、移動体が人物であるか否かを判定する。
【００１３】
さらに、請求項３に記載の人物検出装置は、請求項２に記載の人物検出装置において、前記サンプル画像の予め定めた基準となる位置に、前記補完画像の基準となる位置を合わせる画像シフト手段を備える構成とした。
【００１４】
かかる構成によれば、人物検出装置は、画像シフト手段によって、サンプル画像の基準位置に補完画像の基準位置を合わせるように、補完画像を上下左右にシフトさせる。この基準位置は、例えば、画像の重心位置である。あるいは、上下に画像をシフトさせる場合は、基準位置は頭部の上端位置でもよい。
【００１５】
また、請求項４に記載の人物検出装置は、請求項２又は請求項３に記載の人物検出装置において、前記補完手段が、前記頭部エッジ画像生成手段で生成された頭部エッジ画像の領域について、拡大及び縮小処理をそれぞれ複数回行うことで、当該頭部エッジ画像内の隙間を補完することを特徴とする。
【００１６】
かかる構成によれば、人物検出装置は、補完手段において、頭部エッジ画像の領域を複数回拡大することで、頭部領域内の隙間（ギャップ）を埋める。なお、この拡大によって、頭部領域は、実際の頭部領域よりも大きくなっているため、拡大と同じ回数だけ縮小を行う。なお、拡大された頭部領域は隙間が充填された状態となっているため、縮小を行っても内部に隙間が発生することがない。これによって、補完手段は、元の頭部領域の大きさで、隙間のない画像を生成することができる。
【００１７】
さらに、請求項５に記載の人物検出装置は、請求項１乃至請求項４のいずれか一項に記載の人物検出装置において、前記サンプル画像記憶手段が、人物の向きが異なる複数のサンプル画像を記憶していることを特徴とする。
【００１８】
かかる構成によれば、人物検出装置は、サンプル画像記憶手段に、人物の向きが異なる複数のサンプル画像を記憶しておくことで、移動体として検出された人物の向きが、例えば、正面を向いていたり、右側を向いていたり等、異なる向きであっても、判定手段において人物の判定が可能になる。
【００１９】
また、請求項６に記載の人物検出装置は、請求項１乃至請求項５のいずれか一項に記載の人物検出装置において、前記移動体検出手段が、前記対象距離が所定範囲内である場合に、前記移動体情報を出力することを特徴とする。
【００２０】
かかる構成において、人物検出装置は、移動体検出手段において、移動体までの距離を対象距離として検出することができるため、その距離が所定範囲内である場合にのみ移動体情報を出力する。この所定範囲は、人物検出装置が精度よく人物を検出可能な範囲とし、予め測定した検出結果に基づいて設定されるものである。
【００２１】
さらに、請求項７に記載の人物検出方法は、複数のカメラで移動体を撮像した複数の撮像画像から、当該撮像画像内に含まれる人物を検出する人物検出方法であって、前記複数の撮像画像の視差と時系列に入力される撮像画像の差分とに基づいて、前記撮像画像内における前記移動体の領域である対象領域と、当該移動体までの距離である対象距離とを、移動体検出手段により移動体情報として検出するステップと、前記対象領域において、前記移動体を人物と仮定したときの予め定めた大きさの頭部領域を、頭部領域設定手段により前記対象距離に対応した大きさで設定するステップと、前記頭部領域に対応するエッジ画像である頭部エッジ画像を、頭部エッジ画像生成手段により生成するステップと、前記頭部エッジ画像を、サイズ正規化手段により所定サイズの正規化画像に変換するステップと、前記正規化画像内の隙間を補完した補完画像を、補完手段により生成するステップと、前記補完画像と、予めサンプル画像記憶手段にサンプル画像として記憶してある前記所定サイズの頭部領域の画像との類似度を、類似度算出手段により算出するステップと、前記類似度に基づいて、判定手段により前記移動体を人物と判定するステップと、を含んでいることを特徴とする。
【００２２】
また、請求項８に記載の人物検出プログラムは、複数のカメラで移動体を撮像した複数の撮像画像から、当該撮像画像内に含まれる人物を検出するために、コンピュータを、前記複数の撮像画像の視差と時系列に入力される撮像画像の差分とに基づいて、前記撮像画像内における前記移動体の領域である対象領域と、当該移動体までの距離である対象距離とを移動体情報として検出する移動体検出手段、この移動体検出手段で検出された対象領域において、前記移動体を人物と仮定したときの予め定めた大きさの頭部領域を、前記対象距離に対応した大きさで設定する頭部領域設定手段、この頭部領域設定手段で設定された頭部領域に対応するエッジ画像である頭部エッジ画像を生成する頭部エッジ画像生成手段、この頭部エッジ画像生成手段で生成された頭部エッジ画像を、所定サイズの正規化画像に変換するサイズ正規化手段、このサイズ正規化手段で変換された正規化画像内の隙間を補完した補完画像を生成する補完手段、この補完手段で生成された補完画像と、予めサンプル画像記憶手段にサンプル画像として記憶してある前記所定サイズの頭部領域の画像との類似度を算出する類似度算出手段、この類似度算出手段で算出された類似度に基づいて、前記移動体を人物と判定する判定手段、として機能させることを特徴とする。
【発明の効果】
【００２３】
本発明によれば、頭部領域によって移動体が人物であるか否かを判定するため、オフィス内等の雑多な環境下においても、撮像画像から人物を検出することができる。また、本発明によれば、フレーム画像間の背景の位置合わせが正しく行われずに、誤って静止物体を移動体であると認識した場合であっても、それが人物であるか否かを判定することができるため、精度よく人物を検出することができる。
【発明を実施するための最良の形態】
【００２４】
以下、本発明の実施の形態について図面を参照して説明する。
［人物検出装置の構成］
図１は、本発明に係る人物検出装置の全体構成を示したブロック図である。図１に示すように人物検出装置１は、複数のカメラ２で撮像された撮像画像から、人物を検出するものである。ここでは、人物検出装置１は、移動体検出手段１０と、頭部領域設定手段２０と、人物判定手段３０と、サンプル画像記憶手段４０とを備えている。
【００２５】
移動体検出手段１０は、複数のカメラ２で撮像された撮像画像から、動きのある移動体を検出するものである。ここでは、移動体検出手段１０は、撮像画像から移動体の領域を輪郭（対象領域）として抽出するとともに、移動体までの距離に対応する画素からなる対象距離画像（対象距離）を生成し、その輪郭及び対象距離画像を、移動体情報として頭部領域設定手段２０に出力する。
【００２６】
頭部領域設定手段２０は、移動体検出手段１０で検出された移動体の輪郭（対象領域）及び対象距離画像（対象距離）に基づいて、移動体を人物と仮定したときの予め定めた大きさの頭部領域を、対象距離に対応した大きさで設定するものである。ここでは、頭部領域設定手段２０は、輪郭の上部（例えば、最上端）の画素位置を基準とした予め定めた範囲内において、対象距離画像の画素分布に基づいて、移動体を人物と仮定したときの頭部領域を設定する。この頭部領域設定手段２０で設定された頭部領域は、人物判定手段３０に出力される。
【００２７】
人物判定手段３０は、頭部領域設定手段２０で設定された頭部領域に基づいて、移動体が人物であるか否かを判定するものである。ここでは、人物判定手段３０は、頭部領域の画像と、予めサンプル画像記憶手段４０に記憶されているサンプル画像とを比較することで、移動体が人物であるか否かを判定する。なお、このとき、人物判定手段３０は、対象距離に基づいて、頭部領域の画像とサンプル画像との大きさを合わせることで、比較を可能としている。
【００２８】
サンプル画像記憶手段４０は、人物の頭部領域の形状を示す画像を予めサンプル画像として記憶しておくものであって、ハードディスク等の一般的な記憶手段である。このサンプル画像記憶手段４０には、予め所定サイズ（例えば、３２×３２画素）の大きさのサンプル画像を、複数のパターン記憶しておく。ここで、複数のパターンとは、例えば、図１０に示すような、人物が、正面を向いているとき、左を向いているとき、あるいは、右を向いているとき等の画像パターンである。また、ここでは、サンプル画像として、人物の領域と背景の領域とをエッジによって区分した２値化画像を用いることとする。
【００２９】
このように、人物検出装置１は、距離に対応付けた人物の頭部領域に着目して移動体が人物であるか否かを判定するため、人物の遠近によらず、また、机等によって人物の一部が隠れるオフィス内等の雑多な環境下においても、人物を検出することができる。
以下、移動体検出手段１０、頭部領域設定手段２０及び人物判定手段３０の構成について詳細に説明する。
【００３０】
＜移動体検出手段１０＞
まず、図２を参照して、移動体検出手段１０の構成について説明する。図２は、本発明に係る人物検出装置に含まれる移動体検出手段の構成を示したブロック図である。図２に示すように、移動体検出手段１０は、２台のカメラ２で撮像された撮像画像から、動きを伴う物体（移動体）を検出することとする。なお、２台のカメラ２は、左右に距離Ｂだけ離れて配置されており、それぞれを右カメラ２ａ及び左カメラ２ｂとする。ここでは、移動体検出手段１０は、距離情報生成手段１１と、動き情報生成手段１２と、エッジ画像生成手段１３と、対象距離設定手段１４と、対象距離画像生成手段１５と、対象領域設定手段１６と、輪郭抽出手段１７とを備えている。
【００３１】
距離情報生成手段１１は、同時刻に右カメラ２ａと左カメラ２ｂとで撮影された２枚の撮像画像の視差を、カメラ２（より正確には、カメラ２の焦点位置）から撮像対象までの距離情報として埋め込み、距離画像として生成するものである。なお、この距離情報生成手段１１は、例えば１００ｍｓ間隔に１フレームの割合で撮像画像を入力する。
この距離情報生成手段１１では、右カメラ２ａを基準カメラとして、この基準カメラ（右カメラ２ａ）で撮像された基準撮像画像と、左カメラ２ｂで撮像された同時刻撮像画像とで、特定の大きさのブロック（例えば８×３画素）でブロックマッチングを行うことで、基準撮像画像からの視差を計測する。そして、その視差の大きさ（視差量）を基準撮像画像の各画素に対応付けた距離画像を生成する。
なお、視差をＺとしたとき、この視差Ｚに対応するカメラ２から物体までの距離Ｌ（図示せず）は、カメラ２の焦点距離をｆ（図示せず）、右カメラ２ａと左カメラ２ｂとの距離をＢとすると、（１）式で求めることができる。
【００３２】
Ｌ＝Ｂ×ｆ／Ｚ …（１）
【００３３】
動き情報生成手段１２は、基準カメラ（右カメラ２ａ）で時系列に撮像された２枚の撮像画像の差分に基づいて、撮像画像内の移動体の動きを動き情報として埋め込んだ、差分画像を生成するものである。
この動き情報生成手段１２では、右カメラ２ａを基準カメラとして、この基準カメラ（右カメラ２ａ）で撮像された時刻の異なる２枚の撮像画像の差分をとる。例えば、１００ｍｓ間隔で撮像画像を入力したときに、その入力時刻からΔｔ（例えば３３ｍｓ）分遅れた撮像画像を入力し、その２枚の撮像画像の差分をとることとする。
そして、差のあった画素には動きのあった画素として画素値“１”を与え、差のなかった画素には動きのなかった画素として画素値“０”を与えた差分画像を生成する。なお、動き情報生成手段１２では、さらに差分画像に対して、メディアンフィルタ等のフィルタリング処理を行うことで、ノイズを除去しておく。
【００３４】
なお、カメラ２がロボットや自動車に搭載されたカメラ等、移動するカメラであって、撮像画像内の背景が変化する場合は、カメラ２から撮像画像毎のパン、チルト等のカメラ移動量を入力し、例えば、時刻ｔ＋Δｔの撮像画像をそのカメラ移動量分補正することで背景の位置合わせを行い、時刻ｔ及び時刻ｔ＋Δｔにおいて、動きのあった画素のみを検出する。
【００３５】
エッジ画像生成手段１３は、カメラ２（２ａ）から撮像画像（基準撮像画像）を入力し、その撮像画像からエッジを抽出したエッジ画像を生成するものである。このエッジ画像生成手段１３では、カメラ２（２ａ）から入力された撮像画像の明るさ（輝度：濃淡情報）に基づいて、その明るさが大きく変化する部分をエッジとして検出し、そのエッジのみからなるエッジ画像を生成する。例えば、ある画素の近傍領域の画素に対して重み係数を持つオペレータ（係数行例：Ｓｏｂｅｌオペレータ、Ｋｉｒｓｃｈオペレータ等）を画素毎に乗算することで、エッジの検出を行う。
【００３６】
ここで、図１１を参照（適宜図２参照）して、距離情報生成手段１１で生成される距離画像、動き情報生成手段１２で生成される差分画像、及び、エッジ画像生成手段１３で生成されるエッジ画像について説明する。図１１は、時系列に入力される撮像画像に基づいて、各画像が生成される状態を示したものである。
【００３７】
図１１に示すように、距離画像Ｄは、同時刻の右カメラの撮像画像（右カメラ画像）と左カメラの撮像画像（左カメラ画像）との視差を画素値で表現することで生成される。この視差は、その値が大きいほど人物の位置がカメラ２に近いことを表し、値が小さいほど人物の位置がカメラ２から遠いことを表している。また、エッジ画像ＥＤは、右カメラ画像から生成された画像で、検出されたエッジのみからなる画像である。さらに、差分画像ＤＩは、Δｔ分だけ入力された時刻が異なる２枚の右カメラ画像（例えば、時刻ｔと時刻ｔ＋Δｔの右カメラ画像）の差分をとり、差のあった画素を画素値“１”、差のなかった画素を画素値“０”として表現することで生成される。この差のあった画素が、実際に人物が動いた領域を表している。
【００３８】
ここで、図１２を参照して、距離画像Ｄ及び差分画像ＤＩの内容について、さらに詳細に説明を行う。図１２（ａ）は、距離画像Ｄの画像内容と、その画素値（距離画像画素値ＤＢ）の一例を示したものである。図１２（ｂ）は、差分画像ＤＩの画像内容と、その画素値（差分画像画素値ＤＩＢ）の一例を示したものである。ここでは、カメラ２から約１ｍ、２ｍ及び３ｍ離れた位置に人物が存在しているものとする。
【００３９】
距離画像Ｄは、図１２（ａ）に示すように、同時刻の右カメラ画像と左カメラ画像との視差を画素値で表現したものであって、例えば、距離画像画素値ＤＢに示したように、距離画像Ｄの画素位置（０，０）は視差が０であり、カメラ２からの距離が無限大（∞）であることを意味している。また、距離画像Ｄの画素位置（３０，５０）は視差が２０であり、カメラ２からの距離が視差２０に対応する距離、例えば２．２ｍであることを意味している。このように、距離画像Ｄは、視差を画素値として表現するため、例えば、カメラ２に近いほど明るく、遠いほど暗い画像となる。
【００４０】
差分画像ＤＩは、図１２（ｂ）に示すように、時系列に入力される右カメラ画像の差の有無を表現したものであって、例えば、差分画像画素値ＤＩＢに示したように、差分画像ＤＩの画素位置（０，０）は“０”「停止」で、動きがなかったことを意味している。また、差分画像ＤＩの画素位置（３０，５０）は“１”「動き」で、動きがあったことを意味している。
図２に戻って、人物検出装置１の構成について説明を続ける。
【００４１】
対象距離設定手段１４は、距離情報生成手段１１で生成された距離画像と、動き情報生成手段１２で生成された差分画像とに基づいて、最も動き量の多い移動体を特定し、対象となる移動体が存在する対象距離を設定するものである。この対象距離は、対象距離画像生成手段１５に出力される。
【００４２】
この対象距離設定手段１４では、距離画像で表された視差（距離）毎に、その視差に対応する画素と同じ位置にある差分画像の画素値を累計し（動きがある画素は画素値が“１”であるので、視差毎に画素数を累計することになる）、その累計が最も多くなる視差（以下、「最多視差」という。）に、最も動き量の多い移動体が存在していると判定する。例えば、１．０〜１．１ｍの視差（距離）では、画素値の累計が１１０、１．１〜１．２ｍの視差（距離）では、画素値の累計が９２、というように視差毎に累計を出し、この累計が最大の視差（距離）を最多視差とする。
【００４３】
また、ここでは、最多視差に対応する対象距離±α分の奥行きを、最も動き量の多い移動体が存在する距離の範囲とする。このαの値は、対象距離を基準とした奥行き方向の範囲を示すものである。ここでは、αの値を、距離情報生成手段１１から時系列に入力される距離画像の差分、例えば、時刻ｔ−１で生成された距離画像と、時刻ｔで生成された距離画像との差分とする。なお、このαの値は、人物を検出することを仮定して、数十ｃｍと固定した値を用いてもよい。
【００４４】
この対象距離設定手段１４では、距離情報生成手段１１で生成された距離画像と、動き情報生成手段１２で生成された差分画像とを、図示していないメモリ等の記憶手段に記憶することとする。
【００４５】
対象距離画像生成手段１５は、距離情報生成手段１１で生成された視差量を埋め込んだ距離画像に基づいて、対象距離設定手段１４で設定された対象距離に対応する画素をエッジ画像生成手段１３で生成されたエッジ画像から抽出した対象距離画像を生成するものである。
例えば、最多視差におけるカメラ２から移動体までの距離Ｌを前記（１）式で算出したとすると、その視差の範囲Ｚｒは前記（１）式を変形することで、以下に示す（２）式を得る。ただし、カメラ２の焦点距離をｆ、右カメラ２ａと左カメラ２ｂとの距離をＢ、対象物体の奥行き方向の範囲をαとする。
【００４６】
Ｂ×ｆ／（Ｌ＋α）＜Ｚｒ＜Ｂ×ｆ／（Ｌ−α） …（２）
【００４７】
この対象距離画像生成手段１５では、前記（２）式の範囲の視差に対応する画素をエッジ画像から抽出した対象距離画像を生成する。
なお、この対象距離画像の生成は、基準カメラ（右カメラ２ａ）で撮像された撮像画像（原画像）又は距離情報生成手段１１で生成された距離画像から、対象距離（視差の範囲）に対応する画素位置のみの画素を抽出することとしてもよい。
【００４８】
ここで、図１３を参照（適宜図２参照）して、対象距離設定手段１４及び対象距離画像生成手段１５で、検出対象となる移動体が存在する距離に対応する画像（対象距離画像）を生成する手順について説明する。図１３（ａ）は、距離画像Ｄ及び差分画像ＤＩ（図１２）に基づいて、視差（距離）と動きのある画素を累計した動き量（画素数）との関係を示したグラフである。図１３（ｂ）は、エッジ画像ＥＤ（図１１）から対象距離の画像のみを抽出した対象距離画像ＴＤを示している。
【００４９】
図１３（ａ）に示すように、距離画像Ｄ（図１２）の視差（距離）と動き量（画素数）との関係をグラフ化すると、視差（距離）が１ｍ、２．２ｍ、３ｍの位置で動き量がピークとなる。そこで、対象距離設定手段１４は、動き量が最大となる視差（２．２ｍ）に移動体が存在するものとし、その視差（２．２ｍ）の前後（±α）の奥行き範囲に移動体が存在すると判定する。このαは、距離情報生成手段１１から時系列に入力される距離画像の差分である。なお、このαの値は、移動体を人物と仮定して、カメラ２から２．２±αｍ（α＝０．５ｍ）の範囲に人物が存在すると判定することとしてもよい。
【００５０】
また、対象距離画像生成手段１５は、図１３（ｂ）に示すように、エッジ画像生成手段１３で生成されたエッジ画像から、距離情報生成手段１１で生成された距離画像に基づいて、対象となる画素位置を判定して、対象距離±αｍに存在する画素を抽出した対象距離画像ＴＤを生成する。これによって、カメラ２から１ｍ、３ｍ離れた位置に存在している人物の画像を削除し、２．２±αｍ離れた位置に存在している人物のみをエッジ画像として抽出した対象距離画像ＴＤを生成することができる。
図２に戻って、人物検出装置１の構成について説明を続ける。
【００５１】
対象領域設定手段１６は、対象距離画像生成手段１５で生成された対象距離画像（対象距離に対応したエッジ画像）の垂直方向の画素数を累計し、その垂直方向の画素数の累計が最も多くなる位置を移動体の中心の水平位置であると特定して、その移動体を含んだ領域（対象領域）を設定するものである。ここでは、対象領域設定手段１６は、ヒストグラム生成手段１６ａと、水平範囲設定手段１６ｂと、垂直範囲設定手段１６ｃとを備えている。
【００５２】
ヒストグラム生成手段１６ａは、対象距離画像の垂直方向の画素数を計測し、累計するものである。ここでは、ヒストグラム生成手段１６ａは、計測した垂直方向の画素数を累計することで、ヒストグラムを生成することとする。このようにヒストグラムを生成することで、ヒストグラムが最大となる位置に移動体の中心の水平位置が存在すると判定することが可能になる。なお、ヒストグラム生成手段１６ａは、ヒストグラムに対して平滑化処理を行うこととする。
【００５３】
水平範囲設定手段１６ｂは、ヒストグラム生成手段１６ａで生成されたヒストグラムに基づいて、１つの移動体を含み、その移動体の輪郭を抽出するための対象となる領域（対象領域）の水平方向の範囲を設定するものである。ここでは、水平範囲設定手段１６ｂは、ヒストグラム生成手段１６ａで生成された（平滑化された）ヒストグラムで、画素数が最大となる水平位置から所定範囲を移動体の水平方向の範囲として設定する。
【００５４】
ここで、図１４及び図１５を参照（適宜図２参照）して、対象領域設定手段１６が、対象距離画像ＴＤにおいて、１つ（１人）の移動体の領域（対象領域）における水平方向の範囲を設定する手順について説明する。図１４は、対象距離画像における水平方向の座標毎に垂直方向へ画素数を計測した累計をヒストグラムで表した図である。なお、この図１４では、ヒストグラムＨＩを対象距離画像ＴＤに重畳させているが、これは、説明の都合上重畳させているだけである。図１５は、ヒストグラムの平滑化処理の例を示す図であり、（ａ）が平滑化前、（ｂ）が平滑化後のヒストグラムを示す。
【００５５】
まず、ヒストグラム生成手段１６ａは、図１４に示すように、水平方向の座標毎に垂直方向へ画素数を計測し累計することで、対象距離画像ＴＤに含まれる移動体が存在する領域において、水平方向の座標毎に画素数が累計されたヒストグラムＨＩを生成する。なお、図１４のヒストグラムＨＩでは、局所的にピークＰ１が現れているものとする。
【００５６】
そして、ヒストグラム生成手段１６ａは、図１５に示すように、ヒストグラムＨＩに対して平滑化処理を行う。
具体的には、ＳｘをヒストグラムＨＩにおける注目している座標ｘの画素数、Ｓｘ′を平滑化後のヒストグラムＨＩ′の座標ｘの画素数、ｘ０を正の定数として、以下の（３）式により平滑化を行う。
【００５７】
【数１】
【００５８】
ここで、ｆ（ｎ）はｎの関数であるが、定数としてもよい。そして、以下の（４）式のように、ｆ（ｎ）＝｜ｘ−ｎ｜とすれば、座標ｘから距離（座標）が近い座標ｎの画素数Ｓｎほど重く扱うことになるので、元のヒストグラムＨＩの特徴を残したまま平滑化後のヒストグラムＨＩ′を生成することができる。
【００５９】
【数２】
【００６０】
この処理により、図１５（ａ）に示すようなヒストグラムＨＩは、図１５（ｂ）に示すような、平滑化されたヒストグラムＨＩ′とすることができる。このとき、ヒストグラムＨＩにおいて、局所的に現れていたピークＰ１は、ピークＰ１′のように低くなる。
また、前記した（３）式又は（４）式による平滑化処理において、以下の（５）式を条件とするのが望ましい。
【００６１】
【数３】
【００６２】
この（５）式の条件によれば、注目している座標ｘの右側（ｘが大きい側）又は左側（ｘが小さい側）のヒストグラムＨＩの画素数Ｓｘがすべて“０”の場合に、平滑化後の画素数Ｓｘ′を“０”にするので、ヒストグラムＨＩの左右端の裾が広がらないようにすることができる。例えば、図１５（ｂ）の破線のようにはヒストグラムＨＩの裾が広がらず、実線のようになる。
これにより、隣り合う人物のヒストグラムＨＩが、平滑化の処理によりつながってしまうことを防ぐことができる。
【００６３】
そして、水平範囲設定手段１６ｂは、ヒストグラム生成手段１６ａで生成されたヒストグラムに基づいて、１つの移動体を含んだ水平方向の範囲を設定する。
具体的には、図１５（ｂ）で説明した平滑化後のヒストグラムＨＩ′において、最も画素数Ｓｘ′が大きい座標ｘ（例えば、図１５（ｂ）におけるｘ１）を、１つの移動体の中心位置とし、その左右両側の一定範囲（例えば、図１５（ｂ）におけるβ）を対象領域の水平方向の範囲として設定する。このβは、人物が手を挙げた場合も含まれるように、人物の幅に相当する画素数か、それよりやや広め（例えば、０．２ｍ程度に相当する画素数分広め）とすることができる。さらに、この範囲内で、ヒストグラムが最小となる水平位置（座標ｘ）を検出する。この最小となる水平位置を、一人の人物の左右端とする。
【００６４】
また、移動体を抽出する水平方向の範囲を設定する場合、移動体の移動方向を考慮することが望ましい。例えば、水平範囲設定手段１６ｂは、時刻ｔ−２の対象距離画像から生成したヒストグラムによって求められた移動体の中心位置と、時刻ｔ−１の対象距離画像から生成したヒストグラムによって求められた移動体の中心位置とに基づいて、移動体の移動ベクトルを求め、その移動ベクトルとカメラ２の視線方向とのなす角度が４５°未満の場合は、例えば、中心の位置±（０．５〜０．６）ｍを、人物を検出するための水平範囲とする。また、移動ベクトルとカメラ２の視線方向とのなす角度が４５°以上の場合は、例えば、中心位置±（０．２〜０．３）ｍを、人物を検出するための水平範囲とする。これは、角度が４５°以上の場合は、人物がカメラ２の前を横切っていると考えられるからである。
【００６５】
また、対象領域の水平方向の範囲は、例えば、図示していないが、カメラ２の水平画角をθｈ、カメラ２から対象とする移動体までの距離をＬ、対象距離画像の横方向の解像度をＸとすると、対象領域の幅の半分（移動体の中心からの距離）を０．５（ｍ）としたときの、対象距離画像上での水平画素数αＨを、以下の（６）式で求めることで、水平方向の範囲を設定してもよい。
【００６６】
αＨ＝（Ｘ／θｈ）ｔａｎ−１（０．５／Ｌ） …（６）
図２に戻って、人物検出装置１の構成について説明を続ける。
【００６７】
垂直範囲設定手段１６ｃは、移動体の輪郭を抽出するための対象となる領域（対象領域）の垂直方向の範囲を設定するものである。ここでは、垂直範囲設定手段１６ｃは、特定の長さ（例えば２ｍ）を対象領域の垂直方向の範囲とする。
【００６８】
ここで、図１６を参照（適宜図２参照）して、対象領域設定手段１６（垂直範囲設定手段１６ｃ）が、対象距離画像において、１つ（１人）の移動体の領域（対象領域）における垂直方向の範囲を設定する手順について説明する。図１６は、移動体が対象距離画像上のどの高さに位置するかを算出する手順を説明するための説明図である。この図１６では、カメラ２が移動ロボット（図示せず）に組み込まれ、移動体Ｍと同じ床からある高さ（カメラ高）Ｈに位置しているときに、移動体Ｍが対象距離画像（ａ′、ｂ′）上のどの高さに位置するかを示している。なお、図１６（ａ）は、カメラ２のチルト角が０（°）の場合、図１６（ｂ）はカメラ２のチルト角がθＴ（≠０）の場合におけるカメラ２と移動体Ｍとの対応関係を示している。
まず、図１６（ａ）を参照して、チルト角が０（°）の場合において、移動体Ｍが対象距離画像（ａ′）上で垂直方向のどの位置に存在するかを特定する方法について説明する。
【００６９】
ここで、カメラ２の垂直画角をθｖ、カメラ２から移動体Ｍまでの距離をＬ、対象距離画像（ａ′）の垂直方向の解像度をＹ、カメラ２の床からの高さ（カメラ高）をＨ、移動体Ｍの床からの仮想の高さを２（ｍ）とする。このとき、カメラ２の光軸と、カメラ２から移動体Ｍの仮想の上端（床から２ｍ）までを結んだ直線との角度θＨは、以下の（７）式で表すことができる。
【００７０】
θＨ＝ｔａｎ−１（（２−Ｈ）／Ｌ） …（７）
【００７１】
これにより、移動体Ｍの対象距離画像（ａ′）上での上端ｙＴは、以下の（８）式で求めることができる。
【００７２】
ｙＴ＝Ｙ／２−θＨＹ／θｖ
＝Ｙ／２−（Ｙ／θｖ）ｔａｎ−１（（２−Ｈ）／Ｌ） …（８）
【００７３】
また、カメラ２の光軸と、カメラ２から移動体Ｍの下端（床）までを結んだ直線との角度θＬは、以下の（９）式で表すことができる。
【００７４】
θＬ＝ｔａｎ−１（Ｈ／Ｌ） …（９）
【００７５】
これにより、移動体Ｍの対象距離画像（ａ′）上での下端ｙＢは、以下の（１０）式で求めることができる。
【００７６】
ｙＢ＝Ｙ／２＋θＬＹ／θｖ
＝Ｙ／２＋（Ｙ／θｖ）ｔａｎ−１（Ｈ／Ｌ） …（１０）
【００７７】
次に、図１６（ｂ）を参照して、チルト角がθＴ（≠０）の場合において、移動体Ｍが対象距離画像（ｂ′）上で垂直方向のどの位置に存在するかを特定する方法について説明する。
【００７８】
ここで、カメラ２の垂直画角をθｖ、チルト角をθＴ、移動体Ｍまでの距離をＬ、対象距離画像の垂直方向の解像度をＹ、カメラ２の床からの高さ（カメラ高）をＨ、移動体Ｍの床からの仮想の高さを２（ｍ）とする。このとき、カメラ２の光軸とカメラ２から移動体Ｍの仮想の上端（床から２ｍ）までを結んだ直線との角度θＨと、チルト角θＴとの差分角度（θＨ−θＴ）は、以下の（１１）式で表すことができる。
【００７９】
θＨ−θＴ＝ｔａｎ−１（（２−Ｈ）／Ｌ） …（１１）
【００８０】
これにより、移動体Ｍの対象距離画像（ｂ′）上での上端ｙＴは、以下の（１２）式で求めることができる。
【００８１】
ｙＴ＝Ｙ／２−θＴＹ／θｖ−（θＨ−θＴ）Ｙ／θｖ
＝Ｙ／２−θＴＹ／θｖ−（Ｙ／θｖ）ｔａｎ−１（（２−Ｈ）／Ｌ） …（１２）
【００８２】
また、カメラ２の光軸とカメラ２から移動体Ｍの下端（床）までを結んだ直線との角度θＬと、チルト角θＴとの加算角度（θＬ＋θＴ）は、以下の（１３）式で表すことができる。
【００８３】
θＬ＋θＴ＝ｔａｎ−１（Ｈ／Ｌ） …（１３）
【００８４】
これにより、移動体Ｍの対象距離画像（ｂ′）上での下端ｙＢは、以下の（１４）式で求めることができる。
【００８５】
ｙＢ＝Ｙ／２−θＴＹ／θｖ＋（θＬ＋θＴ）Ｙ／θｖ
＝Ｙ／２−θＴＹ／θｖ＋（Ｙ／θｖ）ｔａｎ−１（Ｈ／Ｌ） …（１４）
【００８６】
このように求めた対象距離画像（ａ′又はｂ′）の上端ｙＴ及び下端ｙＢによって、対象領域の垂直方向の範囲が設定される。
なお、移動ロボット（図示せず）が階段等を昇降し、移動体Ｍと同一の床に存在しない場合は、移動ロボット本体のエンコーダ等によって昇降量を検出し、その昇降量を移動体Ｍの床からの高さに対して加算又は減算することで、移動体Ｍの対象距離画像（ａ′又はｂ′）における垂直方向の位置を特定することができる。あるいは、移動ロボットに地図情報を保持しておき、移動体Ｍの方向及び距離で特定される床の高さを、その地図情報から取得することとしてもよい。
図２に戻って、人物検出装置１の構成について説明を続ける。
【００８７】
輪郭抽出手段１７は、対象距離画像生成手段１５で生成された対象距離画像において、対象領域設定手段１６で設定した移動体の領域（対象領域）内で、既知の輪郭抽出技術を用いて移動体の輪郭の抽出を行うものである。
【００８８】
ここで、既知の輪郭抽出としては、例えば、「ＳＮＡＫＥＳ」と呼ばれる動的輪郭モデルを用いることができる。ここで、「ＳＮＡＫＥＳ」とは、閉曲線を予め定義したエネルギーを最小化するように収縮変形させることにより、物体の輪郭を抽出する手法である。ここでは、移動体の領域（対象領域）内で、エネルギーを算出するための初期値を設定できるため、輪郭抽出のための計算量を軽減させることができる。
この輪郭抽出手段１７は、抽出した輪郭（輪郭情報）を、頭部領域設定手段２０（図１参照）に出力する。これによって、例えば、図１７に示したように、対象距離画像ＴＤの中で移動体が１つ（１人）に限定された対象領域Ｔ内で輪郭Ｏを抽出することができ、移動体の概略の位置を特定することができる。
【００８９】
＜頭部領域設定手段２０＞
次に、図３を参照して、頭部領域設定手段２０の構成について説明する。図３は、本発明に係る人物検出装置に含まれる頭部領域設定手段の構成を示したブロック図である。図３に示すように、頭部領域設定手段２０は、移動体検出手段１０（図１参照）で検出された移動体の輪郭及び対象距離画像に基づいて、移動体を人物と仮定したときの頭部領域を設定する。ここでは、頭部領域設定手段２０は、頭部探索領域設定手段２１と、ヒストグラム生成手段２２と、垂直範囲設定手段２３と、水平範囲設定手段２４とを備えている。
【００９０】
頭部探索領域設定手段２１は、輪郭の上部の画素位置を基準として、予め定めた範囲の領域を人物の頭部を探索するための領域（頭部探索領域）として設定するものである。
この頭部探索領域設定手段２１は、例えば、図１８に示すように、対象距離画像ＴＤにおいて、輪郭Ｏにおける重心Ｇの座標を（ｘＧ，ｙＧ）とし、重心ＧのＸ座標における最上端の輪郭ＯのＹ座標をｙＵとしたとき、頭部探索領域ＨＳの垂直方向の範囲として、下限をｙＵ又はｙＵから所定距離（例えば、０．２ｍ）下方とし、上限を特定の大きさ（例えば２ｍ）に対応する位置に設定する。なお、この上限には、図１６で説明した対象距離画像（ａ′又はｂ′）上での上端ｙＴの位置を用いることができる。
【００９１】
なお、頭部探索領域の下限は、輪郭の精度によって異なる。例えば、人物の頭部まで忠実に輪郭を抽出することができる場合であれば、重心ＧのＸ座標における最上端の輪郭ＯのＹ座標から、所定距離（例えば、０．２ｍ）下方とし、人物の頭部を輪郭として抽出できない場合は、重心ＧのＸ座標における最上端の輪郭ＯのＹ座標を下限とする。なお、輪郭の精度が不安定な場合は、最上端の輪郭ＯのＹ座標から、所定距離下方を下限とするのが望ましい。
また、頭部探索領域ＨＳの水平方向の範囲は、重心ＧのＹ座標を中心に、例えば、左右±０．２（ｍ）の範囲に設定する。
この頭部探索領域設定手段２１で設定された頭部探索領域ＨＳは、ヒストグラム生成手段２２に出力される。
【００９２】
ヒストグラム生成手段２２は、対象距離画像において、頭部探索領域設定手段２１で設定された頭部探索領域の範囲内で、垂直方向の座標毎に、水平方向の画素数を計測し、累計するものである。ここでは、ヒストグラム生成手段２２は、計測した水平方向の画素数を累計することで、ヒストグラムを生成することとする。このヒストグラムにおいて、画素数が累計されている垂直方向の座標には、人物が存在するとみなすことができる。
【００９３】
なお、ヒストグラム生成手段２２は、図２で説明したヒストグラム生成手段１６ａと同様、生成したヒストグラムを平滑化することが望ましい。
具体的には、Ｓｙをヒストグラムにおける注目している座標ｙの画素数、Ｓｙ′を平滑化後のヒストグラムの座標ｙの画素数、ｙ０を正の定数として、以下の（１５）式により平滑化を行う。なお、ｆ（ｎ）はｎの関数であるが、定数としてもよい。
【００９４】
【数４】
【００９５】
垂直範囲設定手段２３は、ヒストグラム生成手段２２で生成されたヒストグラム（水平方向の画素数）に基づいて、頭部領域の垂直方向の範囲を設定するものである。ここでは、垂直範囲設定手段２３は、水平方向の画素数が予め定めた閾値よりも多い垂直方向の座標において、最上点の座標を基準として、その基準より特定の長さ（例えば、０．１ｍ）分だけ上の座標を頭部領域の上端とし、その上端から、特定の長さ（例えば、０．５ｍ）分だけ下の座標を頭部領域の下端とする。
【００９６】
水平範囲設定手段２４は、頭部領域の水平方向の範囲を設定するものである。ここでは、水平範囲設定手段２４は、輪郭Ｏにおける重心ＧのＸ座標（図１８参照）を中心として、特定の長さ（例えば０．５ｍ）を頭部領域の水平方向の範囲とする。
【００９７】
ここで、図１９を参照（適宜図３参照）して、頭部探索領域を用いて頭部領域を設定する手順について説明する。図１９は、頭部探索領域において頭部領域を設定する手順を説明するための説明図である。
まず、ヒストグラム生成手段２２は、図１９（ａ）に示すように、頭部探索領域ＨＳにおいて、水平方向の画素数を計測し累計したヒストグラムＨＩＨＳを生成する。そして、垂直範囲設定手段２３は、画素数が累計されている垂直方向の座標で、最上点の座標を頭部の上端とする。なお、ここでは、ノイズ等を考慮し、予め定めた閾値以上となる画素数が累計されている垂直方向の座標の最上点Ｔｏを、頭部の上端とする。
そして、垂直範囲設定手段２３は、図１９（ｂ）に示すように、最上点Ｔｏより特定の長さ（例えば、０．１ｍ）分だけ上の座標を頭部領域ＨＤの上端とし、その上端から０．５ｍだけ下の座標を頭部領域ＨＤの下端とする。
さらに、水平範囲設定手段２４は、輪郭の重心のＸ座標を中心に、０．５ｍの範囲を頭部領域ＨＤの水平方向の範囲とする。
このように設定された頭部領域ＨＤ（頭部領域の位置情報）は、人物判定手段３０（図１参照）に出力される。
【００９８】
＜人物判定手段３０＞
次に、図４を参照して、人物判定手段３０の構成について説明する。図４は、本発明に係る人物検出装置に含まれる人物判定手段の構成を示したブロック図である。図４に示すように、人物判定手段３０は、カメラ２（図１参照）で撮像された撮像画像において、頭部領域設定手段２０で設定された頭部領域が人物の頭部の領域であるか否かを判定するものである。ここでは、人物判定手段３０は、頭部エッジ画像生成手段３１と、サイズ正規化手段３２と、補完手段３３と、画像シフト手段３４と、類似度判定手段３５とを備えている。
【００９９】
頭部エッジ画像生成手段３１は、頭部領域設定手段２０で設定された頭部領域に対応するエッジ画像（頭部エッジ画像）を生成するものである。ここでは、頭部エッジ画像生成手段３１は、カメラ２（図１参照）で撮像された撮像画像において、頭部領域設定手段２０で設定された頭部領域について、Ｓｏｂｅｌオペレータ等を用いてエッジを抽出し、予め定めた閾値により２値化することで、頭部エッジ画像を生成する。例えば、エッジとなる画素の値を画素値“１”、それ以外を画素値“０”とする。
なお、エッジ画像生成手段１３（図２参照）において、撮像画像全体のエッジ画像が生成されているため、頭部エッジ画像生成手段３１は、このエッジ画像から頭部領域を切り出し、２値化することで、頭部エッジ画像を生成することとしてもよい。
【０１００】
サイズ正規化手段３２は、頭部エッジ画像生成手段３１で生成された頭部エッジ画像を所定サイズに変換することで正規化画像を生成するものである。ここで、所定サイズとは、サンプル画像記憶手段４０に記憶されているサンプル画像と同じ大きさである。
【０１０１】
補完手段３３は、サイズ正規化手段３２で生成された正規化画像において、画像内の隙間（ギャップ）を補完するものである。この補完手段３３は、正規化画像の画素領域について、拡大及び縮小処理をそれぞれ複数回行うことで、画像内の隙間を補完した補完画像を生成する。
例えば、画素値“１”の画素領域を拡大させるには、拡大元の画像における処理対象位置の画素の画素値が“１”又はその処理対象位置の画素に近接した８画素（８近傍）〔あるいは４画素（４近傍）〕の画素の画素値が“１”である場合に、拡大先の画像における処理対象位置の画素の画素値を“１”とする。ここで、正規化画像が拡大元の画像となって、順次画素領域が拡大された画像が生成される。
また、画素値“１”の画素領域を縮小させるには、縮小元の画像における処理対象位置の画素の画素値が“０”又はその処理対象位置の画素に近接した８画素（８近傍）〔あるいは４画素（４近傍）〕の画素の画素値が“０”である場合に、縮小先の画像における処理対象位置の画素の画素値を“０”とする。ここで、拡大処理によって拡大された画像が縮小元の画像となって、順次画素領域が縮小されることで補完画像が生成される。
【０１０２】
ここで、図２０を参照（適宜図４参照）して、補完手段３３が、正規化画像において、ギャップを補完する処理について具体的に説明する。図２０は、正規化画像に対して拡大及び縮小処理を複数回行ったときの各段階における画像の内容を示す図である。なお、図２０では、補完手段３３が、正規化画像に対して拡大処理と縮小処理とをそれぞれ３回行っている例を示している。なお、ここでは、エッジとなる画素の値を画素値“１（白）”、それ以外を画素値“０（黒）”とする。
【０１０３】
図２０の（ａ）は、サイズ正規化手段３２で生成された正規化画像の元画像を示している。ここで、補完手段３３は、３回拡大処理を行うことで、画像（ａ）から順に、画像（ｂ）、画像（ｃ）、画像（ｄ）を生成する。このように、画像（ａ）から順に画素値“１（白）”の領域が拡大され、画像（ｄ）においては、画素値“１（白）”の領域が統合されることになる。なお、この段階では、画素値“１（白）”の領域は、拡大された分、画像（ａ）で示されている頭部領域に比べて大きくなっている。
【０１０４】
そこで、補完手段３３は、拡大処理を行った回数分（ここでは３回）の縮小処理を行うことで、画像（ａ）で示されている頭部領域と同等の大きさとなる画像を生成する。すなわち、補完手段３３は、３回縮小処理を行うことで、画像（ｄ）から順に、画像（ｅ）、画像（ｆ）、画像（ｇ）を生成する。このように、画像（ｄ）から順に画素値“１（白）”の領域が縮小され、画像（ｇ）においては、画素値“１（白）”の領域が、画像（ａ）の頭部領域と同程度の大きさとなる。
これによって、補完手段３３は、正規化画像において、頭部領域の内部を同一画素値で充填した画像を生成することができる。
【０１０５】
なお、ここでは、拡大及び縮小の回数を３回として説明したが、この回数は特に限定したものではない。また、特に拡大及び縮小の回数を特定せずに、画素値“０（黒）”の孤立点がなくなるまで拡大処理を行い、その回数分だけ縮小処理を行うこととしてもよい。
図４に戻って、人物判定手段３０の構成について説明を続ける。
【０１０６】
画像シフト手段３４は、補完手段３３でギャップが補完された補完画像の頭部の位置を、サンプル画像記憶手段４０に記憶されているサンプル画像の頭部の位置に合わせた画像を生成するものである。ここでは、画像シフト手段３４は、上下シフト手段３４ａと、左右シフト手段３４ｂとを備えている。
【０１０７】
上下シフト手段３４ａは、補完画像を上下にシフトさせることで、補完画像の頭部の上下位置を、サンプル画像の頭部に合わせるものである。具体的には、補完画像の重心位置の上下位置を、サンプル画像の重心位置の上下位置に合わせるように、補完画像をシフトさせる。
左右シフト手段３４ｂは、補完画像を左右にシフトさせることで、補完画像の頭部の左右位置を、サンプル画像の頭部に合わせるものである。具体的には、補完画像の重心位置の左右位置を、サンプル画像の重心位置の左右位置に合わせるように、補完画像をシフトさせる。
このように、画像シフト手段３４において、補完画像を上下左右にシフトさせることで、補完画像内の頭部の位置を、サンプル画像内の頭部の位置に合わせることができ、後記する類似度判定手段３５における類似度の精度を高めることができる。
【０１０８】
類似度判定手段３５は、補完画像とサンプル画像との類似度に基づいて、撮像された移動体が人物であるか否かを判定するものである。ここでは、類似度判定手段３５は、類似度算出手段３５ａと、判定手段３５ｂとを備えている。
【０１０９】
類似度算出手段３５ａは、補完画像とサンプル画像との各画像間の類似の度合いを示す類似度を算出するものである。ここでは、類似度算出手段３５ａは、画像シフト手段３４で頭部位置がシフトされた補完画像と、サンプル画像記憶手段４０に記憶されている複数のサンプル画像とから、以下の（１６）式により、各画像間の類似の度合いを示す類似度Ｒを算出する。
【０１１０】
Ｒ＝１−ｄ／Ｓ２ …（１６）
【０１１１】
ここで、ｄはＳＡＤ（Sum of Absolute Difference：差分絶対値和）、Ｓはサンプル画像のサイズである。この（１６）式に示すように、類似度算出手段３５ａは、サンプル画像のＳＡＤの値を単位画素に換算して類似度を算出している。また、類似度Ｒは“０”以上“１”以下の値となり、類似度“１”が最も類似していることを示している。これによって、例えば、サンプル画像の大きさを変更する場合であっても、後記する判定手段３５ｂにおける類似度の閾値を変更する必要がない。
なお、前記（１６）式におけるｄ（ＳＡＤ：差分絶対値和）は、以下の（１７）式により算出されるものである。
【０１１２】
【数５】
【０１１３】
ここで、Ｉ（ｉ，ｊ）は補完画像の画素値、Ｔ（ｉ，ｊ）はサンプル画像の画素値である。このように算出された類似度Ｒは、判定手段３５ｂに出力される。
なお、ここでは、類似度算出手段３５ａは、類似度を前記（１６）式によって算出したが、この類似度算出の手法はこれに限定されるものではない。例えば、（１６）式のｄ（ＳＡＤ：差分絶対値和）の代わりに、ＳＳＤ（Sum of the Squared Differences：差分２乗和）を用いることとしてもよい。
【０１１４】
判定手段３５ｂは、類似度に基づいて、頭部領域として設定された領域が、実際に人物の頭部領域であるか否かを判定するものである。この判定手段３５ｂは、類似度算出手段３５ａで算出された類似度Ｒが予め定めた閾値よりも大きい場合に、当該領域が人物の頭部領域であると判定し、人物を検出した旨の情報（人物検出情報）を出力する。なお、この情報には、人物の位置（例えば、頭部領域、あるいはその重心位置、距離等）を含むこととしてもよい。
また、判定手段３５ｂは、複数の撮像画像において、予め定めたフレーム数分の類似度の平均値により人物の判定を行うこととしてもよい。これによって、一時的にノイズ等によって、人物と判定できなかった場合でも、継続して人物を検出することができる。
【０１１５】
このように人物検出装置１を構成することで、カメラ２が撮像した撮像画像から、頭部領域を設定し、その領域内に撮像されている頭部が人物のものであるか否かを判定することが可能になり、精度よく人物を検出することができる。また、この頭部領域は、距離に応じた大きさとなっているため、人物検出装置１は、頭部領域の画像をサンプル画像大に正規化することで、どの距離に存在する人物であっても、検出対象とすることができる。
【０１１６】
ここで、図２１を参照（適宜図４参照）して、人物検出装置１における人物の検出結果について説明する。図２１は、撮像画像に人物が存在しているときの検出結果を説明するための図である。ここでは、４つの検出結果を示し、（ａ）は撮像画像に人物が映っている原画像、（ｂ）は頭部エッジ画像生成手段３１によって生成された頭部エッジ画像をサイズ正規化手段３２によって正規化した正規化画像、（ｃ）は正規化画像を補完手段３３によって補完（ギャップ埋め）した補完画像をそれぞれ示している。
【０１１７】
（ｂ）に示すように、頭部領域が所定サイズ（ここでは３２×３２画素）に正規化された後に、隙間（ギャップ）が補完されるため、（ｃ）の補完画像は、図１９に示したサンプル画像との比較が可能になる。
ここでは、（ｄ）に補完画像とサンプル画像との類似度を示し、（ｅ）に人物までの距離を示している。このように、人物検出装置１は、任意の距離において、人物を検出することができる。
【０１１８】
なお、図２１において、距離（ｅ）が３．５ｍを超過した状態で類似度が低下（０．８５以下）している。そこで、例えば、判定手段３５ｂにおける人物判定のための閾値を、０．８５とすることで、精度よく人物を検出することができる。
【０１１９】
また、人物の検出精度を高めるため、移動体を検出する際の距離を所定の範囲に定めてもよい。例えば、移動体の検出範囲を３．５ｍ以内とする。この場合、図２に示した移動体検出手段１０の対象距離設定手段１４において、移動体が存在する対象距離が検出範囲を超過した距離であれば、その対象距離を対象距離画像生成手段１５に出力しないことで、実現することができる。
以上、一実施の形態として人物検出装置１の構成について説明したが、人物検出装置１は、一般的なコンピュータを前記した各手段として機能させる人物検出プログラムによって、動作させることができる。
【０１２０】
また、ここでは、人物検出装置１の距離情報生成手段１１が、２台のカメラ２で撮像した撮像画像に基づいて距離画像を生成したが、３台以上のカメラを用いて距離画像を生成することとしてもよい。例えば、３行３列に配置した９台のカメラで、中央に配置したカメラを基準カメラとして、他のカメラとの視差に基づいて距離画像を生成することで、移動体までの距離をより正確に測定することもできる。
【０１２１】
［人物検出装置の動作］
次に、図５を参照（適宜図１参照）して、人物検出装置１の動作について説明する。図５は、本発明に係る人物検出装置の全体動作を示すフローチャートである。
まず、人物検出装置１は、移動体検出手段１０によって、複数のカメラ２で撮像された撮像画像から、動きのある移動体を検出する（ステップＳ１０；移動体検出ステップ）。なお、このステップＳ１０では、撮像画像から移動体の輪郭を抽出するとともに、移動体が存在する距離に対応する画素からなる対象距離画像を生成する。
【０１２２】
そして、人物検出装置１は、頭部領域設定手段２０によって、ステップＳ１０で抽出された移動体を人物とみなしたときの頭部領域を設定する（ステップＳ２０；頭部領域設定ステップ）。なお、このステップＳ２０では、輪郭の上部の画素位置を基準とした予め定めた範囲内において、対象距離画像の画素分布に基づいて、移動体を人物と仮定したときの頭部領域を設定する。
【０１２３】
そして、人物検出装置１は、人物判定手段３０によって、ステップＳ２０で設定された頭部領域において、当該頭部領域内に撮像されている頭部が人物の頭部であるか否かを判定することで、人物を検出する（ステップＳ３０；人物判定ステップ）。
以下、ステップＳ１０の移動体（輪郭）検出処理、ステップＳ２０の頭部領域設定処理、及び、ステップＳ３０の人物判定処理の動作について詳細に説明する。
【０１２４】
＜移動体（輪郭）検出処理＞
最初に、図６及び図７を参照（適宜図２参照）して、図５のステップＳ１０で説明した移動体（輪郭）検出処理の動作について説明する。図６及び図７は、移動体検出手段における移動体（輪郭）検出処理の動作を示すフローチャートである。
【０１２５】
（撮像画像入力ステップ）
まず、移動体検出手段１０は、２台のカメラ２から時系列に撮像画像を同期させて入力する（ステップＳ１０１）。ここでは、ある時刻ｔに右カメラ２ａ（基準カメラ）と左カメラ２ｂとから入力された撮像画像と、次の時刻ｔ＋Δｔに右カメラ２ａ（基準カメラ）と左カメラ２ｂとから入力された撮像画像とに基づいて、移動体を抽出する。なお、以下のステップで用いられている距離画像Ｄｔ−１及びＤｔ−２、対象距離画像ＴＤｔ−２及びＴＤｔ−１は、時刻ｔ−２及び時刻ｔ−１の段階で生成されたものである。
【０１２６】
（距離画像（距離情報）生成ステップ）
そして、移動体検出手段１０は、距離情報生成手段１１によって、時刻ｔに右カメラ２ａ（基準カメラ）と左カメラ２ｂとから入力された２枚の撮像画像から、移動体を含んだ撮像対象までの視差（距離）を埋め込んだ距離画像Ｄｔを生成する（ステップＳ１０２）。
【０１２７】
（差分画像（動き情報）生成ステップ）
さらに、移動体検出手段１０は、動き情報生成手段１２によって、右カメラ２ａ（基準カメラ）で時刻ｔと時刻ｔ＋Δｔに撮像された２枚の撮像画像（基準撮像画像）の差分をとり、差のあった画素を画素値“１”、差のなかった画素を画素値“０”とした差分画像ＤＩｔを生成する（ステップＳ１０３）。
【０１２８】
（エッジ画像生成ステップ）
また、移動体検出手段１０は、エッジ画像生成手段１３によって、右カメラ２ａ（基準カメラ）で時刻ｔに撮像された撮像画像（基準撮像画像）からエッジ画像ＥＤｔを生成する（ステップＳ１０４）。
【０１２９】
（対象距離設定ステップ）
そして、移動体検出手段１０は、対象距離設定手段１４によって、ステップＳ１０２及びステップＳ１０３で生成した距離画像Ｄｔ及び差分画像ＤＩｔ（時刻ｔと時刻ｔ＋Δｔの差分画像）から、距離画像Ｄｔで表された視差（距離）毎に、動きのあった画素数を累計し、その累計が最大となる距離を、距離画像Ｄｔにおける検出対象となる移動体の対象距離ｄｔとして設定する（ステップＳ１０５）。
【０１３０】
（対象距離画像生成ステップ）
そして、移動体検出手段１０は、対象距離画像生成手段１５によって、ステップＳ１０４で生成したエッジ画像ＥＤｔから、対象距離ｄｔ±αの画素を抽出した対象距離画像ＴＤｔを生成する（ステップＳ１０６）。
このステップＳ１０６によって、人物検出装置１は、時刻ｔにおける距離画像Ｄｔにおいて、移動体が存在する奥行き方向の範囲を設定することができる。
【０１３１】
（対象領域設定ステップ）
そして、移動体検出手段１０は、対象領域設定手段１６のヒストグラム生成手段１６ａによって、ステップＳ１０６で生成した対象距離画像ＴＤｔの垂直方向（縦方向）の画素数を計測し、ヒストグラム化する（ステップＳ１０７）。なお、このステップＳ１０７においては、ヒストグラムを平滑化することが望ましい。
【０１３２】
そして、移動体検出手段１０は、対象領域設定手段１６の水平範囲設定手段１６ｂによって、時刻ｔの対象距離画像ＴＤｔにおいて、ヒストグラムが最大となる位置ｘ１（図１５参照）を中心に、所定左右領域を対象領域の水平範囲として設定する（ステップＳ１０８）。ここでは、人物を検出することとして、時刻ｔ−２の対象距離画像ＴＤｔ−２と、時刻ｔ−１の対象距離画像ＴＤｔ−１とでヒストグラムが最大となる位置を結んだ移動ベクトルを設定し、移動ベクトルとカメラ２の視線方向とのなす角度が４５°未満の場合は、中心の位置ｘ１±（０．５〜０．６）ｍを、人物を検出するための水平範囲とする。また、移動ベクトルとカメラ２の視線方向とのなす角度が４５°以上の場合は、中心の位置ｘ１±（０．２〜０．３）ｍを、人物を検出するための水平範囲とする。
【０１３３】
さらに、移動体検出手段１０は、対象領域設定手段１６の垂直範囲設定手段１６ｃによって、カメラ２から入力されるチルト角、床（設置面）からの高さ等のカメラパラメータに基づいて、対象距離画像ＴＤｔで対象領域の垂直（上下）方向の範囲を設定する（ステップＳ１０９）。
【０１３４】
例えば、カメラ２のチルト角、床からの高さに基づいて、対象距離画像における画像中の床の位置（対象領域の下端）を求める。そして、カメラ２の画角と移動体までの距離とに基づいて、床から２ｍまでの範囲を画素数に換算することにより、対象領域の対象距離画像における床からの画素数を求める。これによって、対象距離画像における対象領域の上端を求めることができる。なお、この２ｍは、一例であって、他の長さ（高さ）であっても構わない。
【０１３５】
（輪郭抽出ステップ）
また、移動体検出手段１０は、輪郭抽出手段１７によって、ステップＳ１０６で生成した対象距離画像ＴＤｔにおいて、ステップＳ１０８及びステップＳ１０９で設定した対象領域内で輪郭の抽出を行う（ステップＳ１１０）。例えば、対象領域内で動的輪郭モデル（ＳＮＡＫＥＳ）を適用することによって輪郭の抽出を行う。
以上の動作によって、カメラ２から入力された撮像画像から、移動体を検出することができる。
【０１３６】
＜頭部領域設定処理＞
次に、図８を参照（適宜図３参照）して、図５のステップＳ２０で説明した頭部領域設定処理の動作について説明する。図８は、頭部領域設定手段における頭部領域設定処理の動作を示すフローチャートである。
【０１３７】
（頭部探索領域設定ステップ）
まず、頭部領域設定手段２０は、頭部探索領域設定手段２１によって、輪郭の上部（上端）の画素位置を基準として、予め定めた範囲の領域を人物の頭部を探索するための領域（頭部探索領域）として設定する（ステップＳ２０１）。ここでは、頭部探索領域設定手段２１は、輪郭の重心のＸ座標をｘ、その座標ｘにおける輪郭の最上端のＹ座標をｙとした位置（ｘ，ｙ）を基準として、頭部探索領域の垂直方向の範囲を設定する。例えば、頭部探索領域の下限を、ｙから所定距離（例えば、０．２ｍ）下方とし、上限は、特定の大きさ（例えば２ｍ）に対応する位置に設定する。
【０１３８】
（頭部垂直範囲設定ステップ）
そして、頭部領域設定手段２０は、ヒストグラム生成手段２２によって、対象距離画像において、頭部探索領域設定手段２１で設定された頭部探索領域の範囲内で、垂直方向の座標毎に、水平方向の画素数を計測し、ヒストグラム化する（ステップＳ２０２）。なお、このステップＳ２０２においては、ヒストグラムを平滑化することが望ましい。
そして、頭部領域設定手段２０は、垂直範囲設定手段２３によって、ステップＳ２０２で生成されたヒストグラムにおいて、水平方向の画素数が予め定めた閾値よりも多い垂直方向の座標において、最上点の座標を基準として、頭部領域の垂直範囲を設定する（ステップＳ２０３）。例えば、垂直範囲設定手段２３は、最上点の座標を基準として、その基準より特定の長さ（例えば、０．１ｍ）分だけ上の座標を頭部領域の上端とし、その上端から、特定の長さ（例えば、０．５ｍ）分だけ下の座標を頭部領域の下端とする。
【０１３９】
（頭部水平範囲設定ステップ）
さらに、頭部領域設定手段２０は、水平範囲設定手段２４によって、輪郭における重心のＸ座標を中心として、所定の左右範囲を頭部領域の水平範囲とする。具体的には、重心のＸ座標を中心として、特定の長さ（例えば０．５ｍ）を頭部領域の水平範囲として設定する（ステップＳ２０４）。
以上の動作によって、カメラ２（図１）から入力された撮像画像のどこに人物の頭部領域が存在するかが特定されることになる。
【０１４０】
＜人物判定処理＞
次に、図９を参照（適宜図４参照）して、図５のステップＳ３０で説明した人物判定処理の動作について説明する。図９は、人物判定手段における人物判定処理の動作を示すフローチャートである。
【０１４１】
（頭部エッジ画像生成ステップ）
まず、人物判定手段３０は、頭部エッジ画像生成手段３１によって、撮像画像の頭部領域について、Ｓｏｂｅｌオペレータ等を用いてエッジを抽出し、予め定めた閾値により２値化することで、頭部エッジ画像を生成する（ステップＳ３０１）。なお、この頭部エッジ画像生成手段３１は、ステップＳ１０４（図６参照）で生成されたエッジ画像から、頭部領域を切り出し、２値化することで、頭部エッジ画像を生成することとしてもよい。
【０１４２】
（サイズ正規化ステップ）
そして、人物判定手段３０は、サイズ正規化手段３２によって、頭部エッジ画像を所定サイズに変換することで正規化画像を生成する（ステップＳ３０２）。これによって、任意の距離に対応して生成された頭部領域の画像（頭部エッジ画像）が、所定サイズに正規化されることになる。
【０１４３】
（補完ステップ）
そして、人物判定手段３０は、補完手段３３によって、頭部エッジ画像の画素について、拡大及び縮小処理をそれぞれ複数回行うことで、画像内の隙間（ギャップ）を補完した補完画像を生成する（ステップＳ３０３）。
【０１４４】
（画像シフトステップ）
その後、人物判定手段３０は、画像シフト手段３４の上下シフト手段３４ａによって、補完画像の重心位置の上下位置を、サンプル画像の重心位置の上下位置に合わせるように、補完画像をシフトさせる（ステップＳ３０４）。これによって、補完画像の頭部の上下位置が、サンプル画像の頭部の上下位置にほぼ合致することになる。
さらに、人物判定手段３０は、画像シフト手段３４の左右シフト手段３４ｂによって、補完画像の重心位置の左右位置を、サンプル画像の重心位置の左右位置に合わせるように、補完画像をシフトさせる（ステップＳ３０５）。これによって、補完画像の頭部の左右位置が、サンプル画像の頭部の左右位置にほぼ合致することになる。
このステップＳ３０４とステップＳ３０５を実行することで、補完画像の頭部位置が、サンプル画像の頭部位置にほぼ合致することになる。なお、このステップＳ３０４とステップＳ３０５は、その順序を変えて実行しても構わない。
【０１４５】
（類似度算出ステップ）
そして、人物判定手段３０は、類似度判定手段３５の類似度算出手段３５ａによって、補完画像とサンプル画像との各画像間の類似度を算出する（ステップＳ３０６）。
【０１４６】
（判定ステップ）
そして、人物判定手段３０は、類似度判定手段３５の判定手段３５ｂによって、ステップＳ３０６で算出された類似度と予め定めた閾値とを比較し、類似度が予め定めた閾値よりも大きい場合に、当該領域が人物の頭部領域であると判定する（ステップＳ３０７）。
【０１４７】
以上の各ステップによって、本実施の形態の人物検出装置１は、カメラから入力された撮像画像から、人物を検出することができる。なお、ここでは、ある時刻ｔにおいて人物を検出したが、時々刻々と入力される撮像画像に基づいて、前記ステップ（ステップＳ１０〜ステップＳ３０）を動作させることで、例えば、人物検出装置１を備えた移動ロボット等が、人物を検出し続けることができる。
【図面の簡単な説明】
【０１４８】
【図１】本発明に係る人物検出装置の全体構成を示したブロック図である。
【図２】本発明に係る人物検出装置に含まれる移動体検出手段の構成を示したブロック図である。
【図３】本発明に係る人物検出装置に含まれる頭部領域設定手段の構成を示したブロック図である。
【図４】本発明に係る人物検出装置に含まれる人物判定手段の構成を示したブロック図である。
【図５】本発明に係る人物検出装置の全体動作を示すフローチャートである。
【図６】移動体検出手段における移動体（輪郭）検出処理の動作を示すフローチャート（１／２）である。
【図７】移動体検出手段における移動体（輪郭）検出処理の動作を示すフローチャート（２／２）である。
【図８】頭部領域設定手段における頭部領域設定処理の動作を示すフローチャートである。
【図９】人物判定手段における人物判定処理の動作を示すフローチャートである。
【図１０】サンプル画像記憶手段に記憶しているサンプル画像の一例を示す図である。
【図１１】距離画像、エッジ画像及び差分画像の内容の一例を示す図である。
【図１２】距離画像及び差分画像の内容の一例を示す図である。
【図１３】視差（距離）毎の動き量（画素値）に基づいて、対象距離画像を生成するための手順を説明するための説明図である。
【図１４】対象距離画像における水平方向の座標毎に垂直方向へ画素数を計測した累計をヒストグラムで表した図である。
【図１５】ヒストグラムの平滑化処理の例を示す図であり、（ａ）が平滑化前、（ｂ）が平滑化後のヒストグラムを示す。
【図１６】移動体が対象距離画像上のどの高さに位置するかを算出する手順を説明するための説明図である。
【図１７】対象距離画像の対象領域で輪郭を抽出した例を示す図である。
【図１８】対象距離画像に頭部探索領域を設定する例を示す図である。
【図１９】頭部探索領域において頭部領域を設定する手順を説明するための説明図である。
【図２０】正規化画像に対して拡大及び縮小処理を複数回行ったときの各段階における画像の内容を示す図である。
【図２１】撮像画像に人物が存在しているときの検出結果を説明するための図である。
【符号の説明】
【０１４９】
１ 人物検出装置
２ カメラ
１０ 移動体検出手段
１１ 距離情報生成手段
１２ 動き情報生成手段
１３ エッジ画像生成手段
１４ 対象距離設定手段
１５ 対象距離画像生成手段
１６ 対象領域設定手段
１７ 輪郭抽出手段
２０ 頭部領域設定手段
３０ 人物判定手段
３１ 頭部エッジ画像生成手段
３２ サイズ正規化手段
３３ 補完手段
３４ 画像シフト手段
３５ 類似度判定手段
４０ サンプル画像記憶手段
【特許請求の範囲】
【請求項１】
複数のカメラで移動体を撮像した複数の撮像画像から、当該撮像画像内に含まれる人物を検出する人物検出装置であって、
前記複数の撮像画像の視差と時系列に入力される撮像画像の差分とに基づいて、前記撮像画像内における前記移動体の領域である対象領域と、当該移動体までの距離である対象距離とを移動体情報として検出する移動体検出手段と、
この移動体検出手段で検出された対象領域において、前記移動体を人物と仮定したときの予め定めた大きさの頭部領域を、前記対象距離に対応した大きさで設定する頭部領域設定手段と、
人物の前記頭部領域に対応する所定サイズのサンプル画像を記憶するサンプル画像記憶手段と、
前記頭部領域設定手段で設定された撮像画像内の頭部領域を前記所定サイズに変換して前記サンプル画像と比較することで、前記移動体が人物であるか否かを判定する人物判定手段と、
を備えていることを特徴とする人物検出装置。
【請求項２】
前記サンプル画像は前記頭部領域の形状を示す画像であって、
前記人物判定手段は、
前記頭部領域設定手段で設定された頭部領域に対応するエッジ画像である頭部エッジ画像を生成する頭部エッジ画像生成手段と、
この頭部エッジ画像生成手段で生成された頭部エッジ画像を、前記所定サイズの正規化画像に変換するサイズ正規化手段と、
このサイズ正規化手段で変換された正規化画像内の隙間を補完した補完画像を生成する補完手段と、
前記補完画像と前記サンプル画像との類似度に基づいて、前記移動体を人物と判定する類似度判定手段と、
を備えていることを特徴とする請求項１に記載の人物検出装置。
【請求項３】
前記サンプル画像の予め定めた基準となる位置に、前記補完画像の基準となる位置を合わせる画像シフト手段を備えていることを特徴とする請求項２に記載の人物検出装置。
【請求項４】
前記補完手段は、前記頭部エッジ画像生成手段で生成された頭部エッジ画像の領域について、拡大及び縮小処理をそれぞれ複数回行うことで、当該頭部エッジ画像内の隙間を補完することを特徴とする請求項２又は請求項３に記載の人物検出装置。
【請求項５】
前記サンプル画像記憶手段は、人物の向きが異なる複数のサンプル画像を記憶していることを特徴とする請求項１乃至請求項４のいずれか一項に記載の人物検出装置。
【請求項６】
前記移動体検出手段は、前記対象距離が所定範囲内である場合に、前記移動体情報を出力することを特徴とする請求項１乃至請求項５のいずれか一項に記載の人物検出装置。
【請求項７】
複数のカメラで移動体を撮像した複数の撮像画像から、当該撮像画像内に含まれる人物を検出する人物検出方法であって、
前記複数の撮像画像の視差と時系列に入力される撮像画像の差分とに基づいて、前記撮像画像内における前記移動体の領域である対象領域と、当該移動体までの距離である対象距離とを、移動体検出手段により移動体情報として検出するステップと、
前記対象領域において、前記移動体を人物と仮定したときの予め定めた大きさの頭部領域を、頭部領域設定手段により前記対象距離に対応した大きさで設定するステップと、
前記頭部領域に対応するエッジ画像である頭部エッジ画像を、頭部エッジ画像生成手段により生成するステップと、
前記頭部エッジ画像を、サイズ正規化手段により所定サイズの正規化画像に変換するステップと、
前記正規化画像内の隙間を補完した補完画像を、補完手段により生成するステップと、
前記補完画像と、予めサンプル画像記憶手段にサンプル画像として記憶してある前記所定サイズの頭部領域の画像との類似度を、類似度算出手段により算出するステップと、
前記類似度に基づいて、判定手段により前記移動体を人物と判定するステップと、
を含んでいることを特徴とする人物検出方法。
【請求項８】
複数のカメラで移動体を撮像した複数の撮像画像から、当該撮像画像内に含まれる人物を検出するために、コンピュータを、
前記複数の撮像画像の視差と時系列に入力される撮像画像の差分とに基づいて、前記撮像画像内における前記移動体の領域である対象領域と、当該移動体までの距離である対象距離とを移動体情報として検出する移動体検出手段、
この移動体検出手段で検出された対象領域において、前記移動体を人物と仮定したときの予め定めた大きさの頭部領域を、前記対象距離に対応した大きさで設定する頭部領域設定手段、
この頭部領域設定手段で設定された頭部領域に対応するエッジ画像である頭部エッジ画像を生成する頭部エッジ画像生成手段、
この頭部エッジ画像生成手段で生成された頭部エッジ画像を、所定サイズの正規化画像に変換するサイズ正規化手段、
このサイズ正規化手段で変換された正規化画像内の隙間を補完した補完画像を生成する補完手段、
この補完手段で生成された補完画像と、予めサンプル画像記憶手段にサンプル画像として記憶してある前記所定サイズの頭部領域の画像との類似度を算出する類似度算出手段、
この類似度算出手段で算出された類似度に基づいて、前記移動体を人物と判定する判定手段、
として機能させることを特徴とする人物検出プログラム。
【請求項１】
複数のカメラで移動体を撮像した複数の撮像画像から、当該撮像画像内に含まれる人物を検出する人物検出装置であって、
前記複数の撮像画像の視差と時系列に入力される撮像画像の差分とに基づいて、前記撮像画像内における前記移動体の領域である対象領域と、当該移動体までの距離である対象距離とを移動体情報として検出する移動体検出手段と、
この移動体検出手段で検出された対象領域において、前記移動体を人物と仮定したときの予め定めた大きさの頭部領域を、前記対象距離に対応した大きさで設定する頭部領域設定手段と、
人物の前記頭部領域に対応する所定サイズのサンプル画像を記憶するサンプル画像記憶手段と、
前記頭部領域設定手段で設定された撮像画像内の頭部領域を前記所定サイズに変換して前記サンプル画像と比較することで、前記移動体が人物であるか否かを判定する人物判定手段と、
を備えていることを特徴とする人物検出装置。
【請求項２】
前記サンプル画像は前記頭部領域の形状を示す画像であって、
前記人物判定手段は、
前記頭部領域設定手段で設定された頭部領域に対応するエッジ画像である頭部エッジ画像を生成する頭部エッジ画像生成手段と、
この頭部エッジ画像生成手段で生成された頭部エッジ画像を、前記所定サイズの正規化画像に変換するサイズ正規化手段と、
このサイズ正規化手段で変換された正規化画像内の隙間を補完した補完画像を生成する補完手段と、
前記補完画像と前記サンプル画像との類似度に基づいて、前記移動体を人物と判定する類似度判定手段と、
を備えていることを特徴とする請求項１に記載の人物検出装置。
【請求項３】
前記サンプル画像の予め定めた基準となる位置に、前記補完画像の基準となる位置を合わせる画像シフト手段を備えていることを特徴とする請求項２に記載の人物検出装置。
【請求項４】
前記補完手段は、前記頭部エッジ画像生成手段で生成された頭部エッジ画像の領域について、拡大及び縮小処理をそれぞれ複数回行うことで、当該頭部エッジ画像内の隙間を補完することを特徴とする請求項２又は請求項３に記載の人物検出装置。
【請求項５】
前記サンプル画像記憶手段は、人物の向きが異なる複数のサンプル画像を記憶していることを特徴とする請求項１乃至請求項４のいずれか一項に記載の人物検出装置。
【請求項６】
前記移動体検出手段は、前記対象距離が所定範囲内である場合に、前記移動体情報を出力することを特徴とする請求項１乃至請求項５のいずれか一項に記載の人物検出装置。
【請求項７】
複数のカメラで移動体を撮像した複数の撮像画像から、当該撮像画像内に含まれる人物を検出する人物検出方法であって、
前記複数の撮像画像の視差と時系列に入力される撮像画像の差分とに基づいて、前記撮像画像内における前記移動体の領域である対象領域と、当該移動体までの距離である対象距離とを、移動体検出手段により移動体情報として検出するステップと、
前記対象領域において、前記移動体を人物と仮定したときの予め定めた大きさの頭部領域を、頭部領域設定手段により前記対象距離に対応した大きさで設定するステップと、
前記頭部領域に対応するエッジ画像である頭部エッジ画像を、頭部エッジ画像生成手段により生成するステップと、
前記頭部エッジ画像を、サイズ正規化手段により所定サイズの正規化画像に変換するステップと、
前記正規化画像内の隙間を補完した補完画像を、補完手段により生成するステップと、
前記補完画像と、予めサンプル画像記憶手段にサンプル画像として記憶してある前記所定サイズの頭部領域の画像との類似度を、類似度算出手段により算出するステップと、
前記類似度に基づいて、判定手段により前記移動体を人物と判定するステップと、
を含んでいることを特徴とする人物検出方法。
【請求項８】
複数のカメラで移動体を撮像した複数の撮像画像から、当該撮像画像内に含まれる人物を検出するために、コンピュータを、
前記複数の撮像画像の視差と時系列に入力される撮像画像の差分とに基づいて、前記撮像画像内における前記移動体の領域である対象領域と、当該移動体までの距離である対象距離とを移動体情報として検出する移動体検出手段、
この移動体検出手段で検出された対象領域において、前記移動体を人物と仮定したときの予め定めた大きさの頭部領域を、前記対象距離に対応した大きさで設定する頭部領域設定手段、
この頭部領域設定手段で設定された頭部領域に対応するエッジ画像である頭部エッジ画像を生成する頭部エッジ画像生成手段、
この頭部エッジ画像生成手段で生成された頭部エッジ画像を、所定サイズの正規化画像に変換するサイズ正規化手段、
このサイズ正規化手段で変換された正規化画像内の隙間を補完した補完画像を生成する補完手段、
この補完手段で生成された補完画像と、予めサンプル画像記憶手段にサンプル画像として記憶してある前記所定サイズの頭部領域の画像との類似度を算出する類似度算出手段、
この類似度算出手段で算出された類似度に基づいて、前記移動体を人物と判定する判定手段、
として機能させることを特徴とする人物検出プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【公開番号】特開２００７−１５６９３９（Ｐ２００７−１５６９３９Ａ）
【公開日】平成１９年６月２１日（２００７．６．２１）
【国際特許分類】
【出願番号】特願２００５−３５２８９０（Ｐ２００５−３５２８９０）
【出願日】平成１７年１２月７日（２００５．１２．７）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
【公開日】平成１９年６月２１日（２００７．６．２１）
【国際特許分類】
【出願日】平成１７年１２月７日（２００５．１２．７）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
[ Back to top ]