歩行周期検出方法、歩行周期検出装置、および歩行周期検出プログラム
【課題】 撮像装置で多方向から撮影された画像を用いて、精度良く歩行周期を検出する。
【解決手段】 検出装置１には複数の撮像画像をもって歩行者を撮像した画像が時系列に入力されている。この検出装置１の歩行者抽出部２は、入力された各画像から判定対象である歩行者に対応する領域を抽出する。人物モデルあてはめ部３は、歩行者に対応する領域に３次元人物モデルＭを当てはめて、該３次元人物モデルＭを構築する。くるぶし間距離算出部４は、３次元人物モデルＭから両くるぶし間の距離Ｌ１を算出し、これを距離データ記憶部４に格納する。歩行周期算出部６は、距離データ記憶部４に格納された距離データから両くるぶし間距離Ｌ１の最小値を求め、該最小値から歩行周期Ｔ１〜Ｔ３を検出する。
【解決手段】 検出装置１には複数の撮像画像をもって歩行者を撮像した画像が時系列に入力されている。この検出装置１の歩行者抽出部２は、入力された各画像から判定対象である歩行者に対応する領域を抽出する。人物モデルあてはめ部３は、歩行者に対応する領域に３次元人物モデルＭを当てはめて、該３次元人物モデルＭを構築する。くるぶし間距離算出部４は、３次元人物モデルＭから両くるぶし間の距離Ｌ１を算出し、これを距離データ記憶部４に格納する。歩行周期算出部６は、距離データ記憶部４に格納された距離データから両くるぶし間距離Ｌ１の最小値を求め、該最小値から歩行周期Ｔ１〜Ｔ３を検出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置（例えばカメラ，ビデオカメラなど）で撮影された映像から、画像処理により歩行者の歩行周期を検出する技術に関する。
【背景技術】
【０００２】
周知のように歩行者の方向周期を検出する技術は、歩行の美しさ・健康度を定量化して評価するウォーキング判定や、建物の監視領域に侵入した人物を監視するサービスなどの様々な分野で利用されている。この検出技術としては、特許文献１〜３の手法が知られている。
【０００３】
特許文献１のウォーキング判定装置は、圧力センサを用いて歩行周期を検出している。ここでは圧力センサから得られた足圧の形状から、踵接地、足底接地、立脚中期、踵離地、足尖離地に分け、歩行周期を定義している。
【０００４】
特許文献２の歩行周期ゆらぎ測定装置は、足裏に取付けたスイッチを用いて歩行周期を検出している。ここでは足裏に取付けたスイッチのＯＮ／ＯＦＦにより足裏離地／接地を検出し、歩行周期を定義している。
【０００５】
特許文献３の歩行周期計測装置は、撮影画像の画素数から歩行周期を検出している。ここでは人物の歩く方向と垂直な横方向からカメラで撮影し、足領域を抽出後に足の間に含まれる領域の画素数をカウントし、その時間方向での極大値・極小値により歩行周期を定義している。
【特許文献１】特許第３５６９１８８号公報
【特許文献２】特許第３９４８７１７号公報
【特許文献３】特開２００５−７４０７５号公報
【非特許文献１】Ｚ．Ｚｈａｎｇ．“Ａ ｆｌｅｘｉｂｌｅ ｎｅｗ ｔｅｃｈｎｉｑｕｅ ｆｏｒ ｃａｍｅｒａ ｃａｌｉｂｒａｔｉｏｎ”．ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，２２（１１）：１３３０−１３３４，２０００．
【非特許文献２】Ｍ．Ｍｉｔｃｈｅｌｌ，“Ａｎ Ｉｎｔｒｏｄｕｃｔｉｏｎ ｔｏ Ｇｅｎｅｔｉｃ Ａｌｇｏｒｉｔｈｍｓ”，ＭＩＴ Ｐｒｅｓｓ．１９９６．
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１の検出手法によれば、圧力センサ上でしか歩行を観測できないことから、数歩分の測定に限定されてしまう。また、特許文献２の検出手法によれば、足裏にスイッチを取り付けなければならないので、歩行者の自然な歩行を妨げるおそれがある。
【０００７】
そこで、特許文献３のように、カメラをもって撮影された画像の画素数から歩行周期を検出する手法が提案されているが、これは検出可能な方向が人物の歩く方向と垂直な横方向に限定されているため、カメラ配置の自由度が制限されるおそれがある。
【０００８】
また、足間領域の画素数が極大・極小となる時を歩行周期の検出ポイントとし、両脚がすれ違うときを極小値・股下が開いた状態を極大値に設定しているものの、極大値となるときには時間的にある程度の幅があるため、不安定で正確な取得は難しく、正しく歩行周期を検出できないおそれもある。
【０００９】
本発明は、上述した従来手法の問題点に鑑み、撮像装置で多方向から撮影された画像を用いて、精度良く歩行周期を検出することを解決課題としている。
【課題を解決するための手段】
【００１０】
本発明は、前記解決を解決すべく創作された技術的思想の創作であって、画像処理により人物領域を求め、３次元の人物モデルを当てはめ、時系列値として、両脚のくるぶし間あるいは膝間の距離を求め、かかる距離が極小の時点を基準に歩行周期を算出している。具体的には、請求項１〜３記載の歩行周期検出方法と、請求項４〜６記載の歩行周期検出装置と、請求項７記載の歩行周期検出プログラムの態様からなる。
＜歩行周期検出方法＞
請求項１記載の発明は、複数の撮像装置をもって歩行者を撮影した画像から、コンピュータを用いて歩行者の歩行周期を検出する歩行周期検出する方法であって、コンピュータが、各撮像装置から時系列に入力された画像を用いて、判定対象である歩行者に対応する領域を抽出する第１ステップと、コンピュータが、前記歩行者に対応する領域に３次元人物をモデル当てはめて、前記３次元人物モデルを構築する第２ステップと、コンピュータが、前記３次元人物モデルから両脚部間の距離を算出する第３ステップと、コンピュータが、前記両脚部間の距離が極小となる時点を基準に歩行周期を検出する第４ステップと、を有することを特徴としている。
【００１１】
請求項２記載の発明は、前記第３ステップは、前記３次元人物モデルから両くるぶし間の距離データを算出し、該算出した距離データを時系列にデータベースに格納する一方、前記第４ステップは、前記データベースに格納された時系列の距離データから両くるぶし間の距離データの極小値を求め、この極小値の周期を歩行周期として検出することを特徴としている。
【００１２】
請求項３記載の発明は、前記第３ステップは、前記３次元人物モデルから両膝間の距離を算出し、該算出した距離データを時系列にデータベースに格納する一方、前記第４ステップは、前記データベースに格納された時系列の距離データから両膝間の距離データの極小値を求め、この極小値の周期を歩行周期として検出することを特徴としている。
＜歩行周期検出装置＞
請求項４記載の発明は、複数の撮像装置をもって歩行者を撮影した画像から歩行者の歩行周期を検出する歩行周期検出する装置であって、時系列に入力された各撮像画像から判定対象である歩行者に対応する領域を抽出する歩行者抽出部と、前記歩行者に対応する領域に３次元人物モデルを当てはめて、該３次元人物モデルを構築する人物モデル当てはめ部と、前記３次元人物モデルから両脚部間の距離を算出する距離算出部と、前記両脚部間の距離が極小となる時点を基準に歩行周期を検出する歩行周期検出部と、を有することを特徴としている。
【００１３】
請求項５記載の発明は、前記距離算出部は、前記３次元人物モデルから両くるぶし間の距離を算出し、該算出した距離データを時系列にデータベースに格納する一方、前記歩行周期検出部は、前記データベースに格納された時系列の距離データから極小値を求め、この極小値の周期を歩行周期として検出することを特徴としている。
【００１４】
請求項６記載の発明は、前記距離算出部は、前記３次元人物モデルから両膝間の距離を算出し、該算出した距離データを時系列にデータベースに格納する一方、前記歩行周期検出部は、前記データベースに格納された時系列の距離データから極小値を求め、この極小値の周期を歩行周期として検出することを特徴としている。
＜歩行周期検出プログラム＞
請求項７記載の発明は、請求項４〜６に記載の歩行周期検出装置を構成する前記各部としてコンピュータを機能させる歩行周期検出プログラムに関する。
【発明の効果】
【００１５】
請求項１〜７記載の発明によれば、撮影装置を用いているものの、３次元人物モデルをベースとしていることから、撮影方向の制限が少なく、撮像装置の配置の自由度が向上し、多方向から撮像された画像から歩行周期を検出できる。
【００１６】
また、両脚間の距離は、時間的幅の小さい両脚のすれ違うときに極小となるので、高精度の検出が期待できる。
【発明を実施するための最良の形態】
【００１７】
以下、本発明の実施形態を例示して説明する。本発明は、撮像装置で多方向から撮影された画像を用いて、歩行周期の検出を高精度で行うことを目的としている。本発明は、所定位置に固定された撮像装置（例えばカメラ，ビデオカメラなど）を複数台用い、それぞれ撮像装置の内部パラメータおよび外部パラメータを撮像装置間で同じ作業系を用いて求めている。これは例えば非特許文献１のような手法によって取得可能である。
【００１８】
また、撮像装置は、歩行者を中心として２台以上を配置され（例えば水平面の円状に配置するなど）、両撮像装置間では同じ撮影間隔で同期されている。なお、以下の第１実施形態および第２実施形態では、撮像装置で撮影された人物の画像（フレーム画像）が時系列的に入力される状況（静止画系列や映像ストリームなど）を想定して説明を進める。
（１）第１実施形態
図１は、本発明の第１実施形態に係る歩行周期の検出装置を示し、この検出装置１には、複数台のカメラで撮影された画像のデータがネットワークを介して時系列に入力されている。
【００１９】
前記検出装置１は、図１の各機能ブロック、即ち入力画像のデータから判定対象である歩行者領域を抽出する歩行者抽出部２と、前記歩行者領域に対して図２の３次元人物モデルＭを当てはめる人物モデルあてはめ部３と、前記３次元人物モデルＭから歩行者の両くるぶし間距離Ｌ１を算出するくるぶし間距離算出部４と、算出された前記両くるぶし間距離Ｌ１を一時記憶する距離データ記憶部５と、算出された前記両くるぶし間距離Ｌ１から歩行周期を検出する歩行周期検出部６として機能している。
【００２０】
この各機能ブロック２〜６は、コンピュータにインストールされた歩行周期検出プログラムのプログラムコードを、コンピュータの処理部（ＣＰＵ「Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ」やＧＰＵ「Ｇｒａｐｈｉｃ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ」）が読み込んで実現されている。また、前記距離データ記憶部５は、ハードディスクドライブ装置などのハードウェア資源を用いて、データベースとして構築されている。
【００２１】
なお、前記検出装置１は、画像データを受信する通信インターフェース部と、処理データなどを一時記憶可能なメモリ（ＲＡＭ）と、キーボードやマウスなどの入力デバイスと、モニタなどの表示部とが実装されている。以下、前記各機能ブロック２〜７の実行する処理ステップを説明する。
＜歩行者抽出部２＞
まず、歩行者抽出部２は、入力された各カメラで撮影された歩行者の映っている現時点の画像データと、予め各カメラで撮影された歩行者の映っていない背景画像の画像データとを対比する。この背景画像の画像データは、前記検出装置１のハードディスクドライブ装置などに格納されているものとする。
【００２２】
具体的には、現時点の画像データに映っている歩行者の位置の画素と、背景画像の画像データの前記歩行者に対応する位置の画素とで値の差分を計算する。この差分値の絶対値があらかじめ設定した閾値以上である画素を歩行者領域の画素とし、シルエット画像を作成する（処理ステップ１）。
【００２３】
このシルエット画像は２値のデータとなっており、例えば歩行者領域が「１」、それ以外は「０」となっている。このシルエット画像は、前記メモリモジュールに一時記憶される。ここで歩行者領域の一部が背景の画像データの画素値と近い値を持つ場合には、差分が小さくなり、部分的に歩行者領域が欠損してしまうケースが発生する。このような部分的な欠損を抑制する処理として、画像データ間の差分値を検出した後、その差分値の画像データにおいてモルフォロジフィルタを施すことにより（例えば、膨張処理と収縮処理をセットで行う「ｃｌｏｓｉｎｇ」処理など）、部分的な欠損を抑制することができる。
【００２４】
なお、前記画素値の差分を検出して歩行者領域を検出処理は、画素値の差分の代わりに、画素値の比率を算出し、その比率が所定範囲から外れる部分を歩行者領域として算出する方法を用いてもよい。
＜人物モデルあてはめ部３＞
次に、人物モデルあてはめ部３の処理について説明する。前記シルエット画像は、各カメラの画像から得られる。複数のカメラからのシルエット画像、別の言い方をして異なるアングルからの複数のシルエット画像を用いて、３次元人物モデルＭを図２のように構築する。
【００２５】
すなわち、得られた各シルエット画像の中心を通るように前記３次元人物モデルＭを当てはめる。この３次元人物モデルＭにおいては、各関節に数字で示す角度の自由度（全身で１６関節２０自由度）と関節間の長さの自由度（全身で１５自由度）であるが、これは一例であり、後述する足部分の距離を出せるモデルであれば、その形態は問わないこととする。
【００２６】
前記３次元人物モデルＭの当てはめは、ランダムに各関節の長さ・角度を変えて生成した複数の骨格のうち、どれが最も各カメラからのシルエットの中心を通っているのかを評価して、行う（処理ステップ２）。
【００２７】
連続するフレームでは、次のフレームにおいて、現フレームの３次元人物モデルＭを考慮し、非特許文献２のような手法を用いて新たに生成された３次元人物モデルＭを用い、最適化計算をすることで３次元人物モデルＭのあてはめを行ってもよい。この際には３次元人物モデルＭの長さは変わらないものとする。
【００２８】
なお、構築された３次元人物モデルＭは、前記メモリなどに一時記憶してもよく、また前記ハードディスクドライブ装置に保存してもよい。
＜くるぶし間距離算出部４＞
くるぶし間距離算出部４では、前記当てはめにより前記３次元人物モデルＭの各関節の３次元位置・角度が得られているので、そこから足領域に着目し、図３に示すように両くるぶし間の距離Ｌ１を算出する（処理ステップ３）。算出された距離データは、時系列で距離データ記憶部５（データベース）に格納される。
【００２９】
そして、実行時に指定された終了条件（指定時刻や指定処理枚数等）を満たした場合には、次の処理を行い、そうでない場合には処理ステップ１へ戻り、逐次処理を続行していく。
＜歩行周期算出部６＞
歩行周期算出部６は、図４に示すように、距離データ記憶部５に格納された時系列の距離データに対して、両脚がすれ違う時の極小値を求める。すなわち、左足立脚右足通過の時と右足立脚左足通過の時に、両脚がすれ違って前記距離Ｌ１が極小値として検出され、これを周期の検出ポイントに設定する。
【００３０】
そして、時系列で次に極小値が表れるまでの時間Ｔ１〜Ｔ２が半周期、その次に極小値が表れるまでの時間Ｔ１〜Ｔ３が１歩行周期となる（処理ステップ４）。
【００３１】
ここで得られる１歩行周期Ｔ１〜Ｔ３は、図５に示すように、（左足立脚右足通過）→（右足立脚左足通過）→（左足立脚右足通過）または、（右足立脚左足通過）→（左足立脚右足通過）→（右足立脚左足通過）のいずれかとなり、この点で前記検出ポイントの時間的幅は特許文献３よりも小さくなっている。
【００３２】
その後に前記検出された１歩行周期Ｔ１〜Ｔ３が出力され、前記表示部に表示される。この表示部には処理ステップ１〜処理ステップ３の処理経過も適宜に表示させてもよい。
【００３３】
このように本実施形態の検出装置１によれば、カメラを用いて歩行周期を検出しているものの、３次元人物モデルＭをベースにしていることから、特許文献３の手法よりも撮影方向の制限が少なく、これによりカメラ配置の自由度が向上し、多方向から撮像された画像から歩行周期が検出される。
【００３４】
また、両脚のくるぶし間距離Ｌ１の極小値を検出ポイントに用いているので、特許文献３よりも検出ポイントの時間的幅が小さく、歩行周期の高精度の検出が可能となる。
【００３５】
これにより監視カメラによる防犯および個々人に対応したサービス提供等に際し、効果的に歩行周期を検出することができる。
（２）第２実施形態
図６は、本発明の第２実施形態に係る検出装置を示し、該検出装置１は前記くるぶし間距離算出部４に代わって膝間距離算出部７が設けられている。
【００３６】
この膝間距離算出部７は、図７に示すように、前記３次元人物モデルの足領域から両膝間の距離Ｌ２を算出している（処理ステップ３´）。この算出された距離データは、時系列で距離データ記憶部５（データベース）に格納され、実行時に指定された終了条件（指定時刻や指定処理枚数等）を満たした場合には、次の処理を行い、そうでない場合には処理ステップ１へ戻り、逐次処理を続行していく。
【００３７】
そして、前記距離データ記憶部５に格納された距離データに基づき歩行周期算出部６が、両脚がすれ違う時の極小値を求め、これを周期の検出ポイントに設定する。時系列で次に極小値が表れるまでの時間Ｔ１〜Ｔ２が半周期、その次の極小値が表れるまでの時間Ｔ１〜Ｔ３が１歩行周期となる（ステップ４）。
【００３８】
ここでもカメラを用いて歩行周期を検出しているものの、３次元人物モデルＭをベースにしていることから、特許文献３の手法よりも撮影方向の制限が少なく、カメラ配置の自由度が向上する。
【００３９】
また、両膝間の距離Ｌ２の極小値は、前記くるぶし間の距離Ｌ１の極小値と同様に、特許文献３の検出ポイントよりも時間的幅が小さく、歩行周期の高精度の検出が可能となる。
（３）その他
本発明は、上記実施形態に限定されるものではなく、各請求項に記載した範囲において各種の変形を行うことが可能である。例えばコンピュータを前記検出装置１の各機能ブロック２〜７として機能させるプログラムとして構築することもできる。
【００４０】
この場合には、コンピュータの処理部（例えばＣＰＵなど）がプログラムコードを読み出して、第１．２実施形態の各処理ステップが実行される。このプログラムコードは、例えばＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭ，ＣＤ−Ｒ，ＣＤ−ＲＷ，ＤＶＤ−Ｒ，ＤＶＤ−ＲＷ，ＭＯ，ＨＤＤなどの記録媒体に格納される。また、前記プログラムを、インターネットサイトからダウンロードしてコンピュータに提供してもよい。
【符号の説明】
【００４１】
１…検出装置
２…歩行者抽出部
３…人物モデルあてはめ部
４…くるぶし間距離算出部（距離算出部）
５…距離データ記憶部
６…歩行周期検出部
７…膝間距離算出部（距離算出部）
Ｌ１…くるぶし間距離
Ｌ２…膝間距離
Ｍ…３次元人物モデル
Ｔ１〜Ｔ２…半周期
Ｔ１〜Ｔ３…１歩行周期
【図面の簡単な説明】
【００４２】
【図１】本発明の第１実施形態に係る主要機能ブロック図。
【図２】同 ３次元人物モデルの一例図。
【図３】同 くるぶし間距離の概略図。
【図４】同 歩行周期検出の概略図。
【図５】同 １歩行周期の概略図。
【図６】本発明の第２実施形態に係る主要機能ブロック図。
【図７】同 膝間距離の概略図。
【技術分野】
【０００１】
本発明は、撮像装置（例えばカメラ，ビデオカメラなど）で撮影された映像から、画像処理により歩行者の歩行周期を検出する技術に関する。
【背景技術】
【０００２】
周知のように歩行者の方向周期を検出する技術は、歩行の美しさ・健康度を定量化して評価するウォーキング判定や、建物の監視領域に侵入した人物を監視するサービスなどの様々な分野で利用されている。この検出技術としては、特許文献１〜３の手法が知られている。
【０００３】
特許文献１のウォーキング判定装置は、圧力センサを用いて歩行周期を検出している。ここでは圧力センサから得られた足圧の形状から、踵接地、足底接地、立脚中期、踵離地、足尖離地に分け、歩行周期を定義している。
【０００４】
特許文献２の歩行周期ゆらぎ測定装置は、足裏に取付けたスイッチを用いて歩行周期を検出している。ここでは足裏に取付けたスイッチのＯＮ／ＯＦＦにより足裏離地／接地を検出し、歩行周期を定義している。
【０００５】
特許文献３の歩行周期計測装置は、撮影画像の画素数から歩行周期を検出している。ここでは人物の歩く方向と垂直な横方向からカメラで撮影し、足領域を抽出後に足の間に含まれる領域の画素数をカウントし、その時間方向での極大値・極小値により歩行周期を定義している。
【特許文献１】特許第３５６９１８８号公報
【特許文献２】特許第３９４８７１７号公報
【特許文献３】特開２００５−７４０７５号公報
【非特許文献１】Ｚ．Ｚｈａｎｇ．“Ａ ｆｌｅｘｉｂｌｅ ｎｅｗ ｔｅｃｈｎｉｑｕｅ ｆｏｒ ｃａｍｅｒａ ｃａｌｉｂｒａｔｉｏｎ”．ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，２２（１１）：１３３０−１３３４，２０００．
【非特許文献２】Ｍ．Ｍｉｔｃｈｅｌｌ，“Ａｎ Ｉｎｔｒｏｄｕｃｔｉｏｎ ｔｏ Ｇｅｎｅｔｉｃ Ａｌｇｏｒｉｔｈｍｓ”，ＭＩＴ Ｐｒｅｓｓ．１９９６．
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１の検出手法によれば、圧力センサ上でしか歩行を観測できないことから、数歩分の測定に限定されてしまう。また、特許文献２の検出手法によれば、足裏にスイッチを取り付けなければならないので、歩行者の自然な歩行を妨げるおそれがある。
【０００７】
そこで、特許文献３のように、カメラをもって撮影された画像の画素数から歩行周期を検出する手法が提案されているが、これは検出可能な方向が人物の歩く方向と垂直な横方向に限定されているため、カメラ配置の自由度が制限されるおそれがある。
【０００８】
また、足間領域の画素数が極大・極小となる時を歩行周期の検出ポイントとし、両脚がすれ違うときを極小値・股下が開いた状態を極大値に設定しているものの、極大値となるときには時間的にある程度の幅があるため、不安定で正確な取得は難しく、正しく歩行周期を検出できないおそれもある。
【０００９】
本発明は、上述した従来手法の問題点に鑑み、撮像装置で多方向から撮影された画像を用いて、精度良く歩行周期を検出することを解決課題としている。
【課題を解決するための手段】
【００１０】
本発明は、前記解決を解決すべく創作された技術的思想の創作であって、画像処理により人物領域を求め、３次元の人物モデルを当てはめ、時系列値として、両脚のくるぶし間あるいは膝間の距離を求め、かかる距離が極小の時点を基準に歩行周期を算出している。具体的には、請求項１〜３記載の歩行周期検出方法と、請求項４〜６記載の歩行周期検出装置と、請求項７記載の歩行周期検出プログラムの態様からなる。
＜歩行周期検出方法＞
請求項１記載の発明は、複数の撮像装置をもって歩行者を撮影した画像から、コンピュータを用いて歩行者の歩行周期を検出する歩行周期検出する方法であって、コンピュータが、各撮像装置から時系列に入力された画像を用いて、判定対象である歩行者に対応する領域を抽出する第１ステップと、コンピュータが、前記歩行者に対応する領域に３次元人物をモデル当てはめて、前記３次元人物モデルを構築する第２ステップと、コンピュータが、前記３次元人物モデルから両脚部間の距離を算出する第３ステップと、コンピュータが、前記両脚部間の距離が極小となる時点を基準に歩行周期を検出する第４ステップと、を有することを特徴としている。
【００１１】
請求項２記載の発明は、前記第３ステップは、前記３次元人物モデルから両くるぶし間の距離データを算出し、該算出した距離データを時系列にデータベースに格納する一方、前記第４ステップは、前記データベースに格納された時系列の距離データから両くるぶし間の距離データの極小値を求め、この極小値の周期を歩行周期として検出することを特徴としている。
【００１２】
請求項３記載の発明は、前記第３ステップは、前記３次元人物モデルから両膝間の距離を算出し、該算出した距離データを時系列にデータベースに格納する一方、前記第４ステップは、前記データベースに格納された時系列の距離データから両膝間の距離データの極小値を求め、この極小値の周期を歩行周期として検出することを特徴としている。
＜歩行周期検出装置＞
請求項４記載の発明は、複数の撮像装置をもって歩行者を撮影した画像から歩行者の歩行周期を検出する歩行周期検出する装置であって、時系列に入力された各撮像画像から判定対象である歩行者に対応する領域を抽出する歩行者抽出部と、前記歩行者に対応する領域に３次元人物モデルを当てはめて、該３次元人物モデルを構築する人物モデル当てはめ部と、前記３次元人物モデルから両脚部間の距離を算出する距離算出部と、前記両脚部間の距離が極小となる時点を基準に歩行周期を検出する歩行周期検出部と、を有することを特徴としている。
【００１３】
請求項５記載の発明は、前記距離算出部は、前記３次元人物モデルから両くるぶし間の距離を算出し、該算出した距離データを時系列にデータベースに格納する一方、前記歩行周期検出部は、前記データベースに格納された時系列の距離データから極小値を求め、この極小値の周期を歩行周期として検出することを特徴としている。
【００１４】
請求項６記載の発明は、前記距離算出部は、前記３次元人物モデルから両膝間の距離を算出し、該算出した距離データを時系列にデータベースに格納する一方、前記歩行周期検出部は、前記データベースに格納された時系列の距離データから極小値を求め、この極小値の周期を歩行周期として検出することを特徴としている。
＜歩行周期検出プログラム＞
請求項７記載の発明は、請求項４〜６に記載の歩行周期検出装置を構成する前記各部としてコンピュータを機能させる歩行周期検出プログラムに関する。
【発明の効果】
【００１５】
請求項１〜７記載の発明によれば、撮影装置を用いているものの、３次元人物モデルをベースとしていることから、撮影方向の制限が少なく、撮像装置の配置の自由度が向上し、多方向から撮像された画像から歩行周期を検出できる。
【００１６】
また、両脚間の距離は、時間的幅の小さい両脚のすれ違うときに極小となるので、高精度の検出が期待できる。
【発明を実施するための最良の形態】
【００１７】
以下、本発明の実施形態を例示して説明する。本発明は、撮像装置で多方向から撮影された画像を用いて、歩行周期の検出を高精度で行うことを目的としている。本発明は、所定位置に固定された撮像装置（例えばカメラ，ビデオカメラなど）を複数台用い、それぞれ撮像装置の内部パラメータおよび外部パラメータを撮像装置間で同じ作業系を用いて求めている。これは例えば非特許文献１のような手法によって取得可能である。
【００１８】
また、撮像装置は、歩行者を中心として２台以上を配置され（例えば水平面の円状に配置するなど）、両撮像装置間では同じ撮影間隔で同期されている。なお、以下の第１実施形態および第２実施形態では、撮像装置で撮影された人物の画像（フレーム画像）が時系列的に入力される状況（静止画系列や映像ストリームなど）を想定して説明を進める。
（１）第１実施形態
図１は、本発明の第１実施形態に係る歩行周期の検出装置を示し、この検出装置１には、複数台のカメラで撮影された画像のデータがネットワークを介して時系列に入力されている。
【００１９】
前記検出装置１は、図１の各機能ブロック、即ち入力画像のデータから判定対象である歩行者領域を抽出する歩行者抽出部２と、前記歩行者領域に対して図２の３次元人物モデルＭを当てはめる人物モデルあてはめ部３と、前記３次元人物モデルＭから歩行者の両くるぶし間距離Ｌ１を算出するくるぶし間距離算出部４と、算出された前記両くるぶし間距離Ｌ１を一時記憶する距離データ記憶部５と、算出された前記両くるぶし間距離Ｌ１から歩行周期を検出する歩行周期検出部６として機能している。
【００２０】
この各機能ブロック２〜６は、コンピュータにインストールされた歩行周期検出プログラムのプログラムコードを、コンピュータの処理部（ＣＰＵ「Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ」やＧＰＵ「Ｇｒａｐｈｉｃ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ」）が読み込んで実現されている。また、前記距離データ記憶部５は、ハードディスクドライブ装置などのハードウェア資源を用いて、データベースとして構築されている。
【００２１】
なお、前記検出装置１は、画像データを受信する通信インターフェース部と、処理データなどを一時記憶可能なメモリ（ＲＡＭ）と、キーボードやマウスなどの入力デバイスと、モニタなどの表示部とが実装されている。以下、前記各機能ブロック２〜７の実行する処理ステップを説明する。
＜歩行者抽出部２＞
まず、歩行者抽出部２は、入力された各カメラで撮影された歩行者の映っている現時点の画像データと、予め各カメラで撮影された歩行者の映っていない背景画像の画像データとを対比する。この背景画像の画像データは、前記検出装置１のハードディスクドライブ装置などに格納されているものとする。
【００２２】
具体的には、現時点の画像データに映っている歩行者の位置の画素と、背景画像の画像データの前記歩行者に対応する位置の画素とで値の差分を計算する。この差分値の絶対値があらかじめ設定した閾値以上である画素を歩行者領域の画素とし、シルエット画像を作成する（処理ステップ１）。
【００２３】
このシルエット画像は２値のデータとなっており、例えば歩行者領域が「１」、それ以外は「０」となっている。このシルエット画像は、前記メモリモジュールに一時記憶される。ここで歩行者領域の一部が背景の画像データの画素値と近い値を持つ場合には、差分が小さくなり、部分的に歩行者領域が欠損してしまうケースが発生する。このような部分的な欠損を抑制する処理として、画像データ間の差分値を検出した後、その差分値の画像データにおいてモルフォロジフィルタを施すことにより（例えば、膨張処理と収縮処理をセットで行う「ｃｌｏｓｉｎｇ」処理など）、部分的な欠損を抑制することができる。
【００２４】
なお、前記画素値の差分を検出して歩行者領域を検出処理は、画素値の差分の代わりに、画素値の比率を算出し、その比率が所定範囲から外れる部分を歩行者領域として算出する方法を用いてもよい。
＜人物モデルあてはめ部３＞
次に、人物モデルあてはめ部３の処理について説明する。前記シルエット画像は、各カメラの画像から得られる。複数のカメラからのシルエット画像、別の言い方をして異なるアングルからの複数のシルエット画像を用いて、３次元人物モデルＭを図２のように構築する。
【００２５】
すなわち、得られた各シルエット画像の中心を通るように前記３次元人物モデルＭを当てはめる。この３次元人物モデルＭにおいては、各関節に数字で示す角度の自由度（全身で１６関節２０自由度）と関節間の長さの自由度（全身で１５自由度）であるが、これは一例であり、後述する足部分の距離を出せるモデルであれば、その形態は問わないこととする。
【００２６】
前記３次元人物モデルＭの当てはめは、ランダムに各関節の長さ・角度を変えて生成した複数の骨格のうち、どれが最も各カメラからのシルエットの中心を通っているのかを評価して、行う（処理ステップ２）。
【００２７】
連続するフレームでは、次のフレームにおいて、現フレームの３次元人物モデルＭを考慮し、非特許文献２のような手法を用いて新たに生成された３次元人物モデルＭを用い、最適化計算をすることで３次元人物モデルＭのあてはめを行ってもよい。この際には３次元人物モデルＭの長さは変わらないものとする。
【００２８】
なお、構築された３次元人物モデルＭは、前記メモリなどに一時記憶してもよく、また前記ハードディスクドライブ装置に保存してもよい。
＜くるぶし間距離算出部４＞
くるぶし間距離算出部４では、前記当てはめにより前記３次元人物モデルＭの各関節の３次元位置・角度が得られているので、そこから足領域に着目し、図３に示すように両くるぶし間の距離Ｌ１を算出する（処理ステップ３）。算出された距離データは、時系列で距離データ記憶部５（データベース）に格納される。
【００２９】
そして、実行時に指定された終了条件（指定時刻や指定処理枚数等）を満たした場合には、次の処理を行い、そうでない場合には処理ステップ１へ戻り、逐次処理を続行していく。
＜歩行周期算出部６＞
歩行周期算出部６は、図４に示すように、距離データ記憶部５に格納された時系列の距離データに対して、両脚がすれ違う時の極小値を求める。すなわち、左足立脚右足通過の時と右足立脚左足通過の時に、両脚がすれ違って前記距離Ｌ１が極小値として検出され、これを周期の検出ポイントに設定する。
【００３０】
そして、時系列で次に極小値が表れるまでの時間Ｔ１〜Ｔ２が半周期、その次に極小値が表れるまでの時間Ｔ１〜Ｔ３が１歩行周期となる（処理ステップ４）。
【００３１】
ここで得られる１歩行周期Ｔ１〜Ｔ３は、図５に示すように、（左足立脚右足通過）→（右足立脚左足通過）→（左足立脚右足通過）または、（右足立脚左足通過）→（左足立脚右足通過）→（右足立脚左足通過）のいずれかとなり、この点で前記検出ポイントの時間的幅は特許文献３よりも小さくなっている。
【００３２】
その後に前記検出された１歩行周期Ｔ１〜Ｔ３が出力され、前記表示部に表示される。この表示部には処理ステップ１〜処理ステップ３の処理経過も適宜に表示させてもよい。
【００３３】
このように本実施形態の検出装置１によれば、カメラを用いて歩行周期を検出しているものの、３次元人物モデルＭをベースにしていることから、特許文献３の手法よりも撮影方向の制限が少なく、これによりカメラ配置の自由度が向上し、多方向から撮像された画像から歩行周期が検出される。
【００３４】
また、両脚のくるぶし間距離Ｌ１の極小値を検出ポイントに用いているので、特許文献３よりも検出ポイントの時間的幅が小さく、歩行周期の高精度の検出が可能となる。
【００３５】
これにより監視カメラによる防犯および個々人に対応したサービス提供等に際し、効果的に歩行周期を検出することができる。
（２）第２実施形態
図６は、本発明の第２実施形態に係る検出装置を示し、該検出装置１は前記くるぶし間距離算出部４に代わって膝間距離算出部７が設けられている。
【００３６】
この膝間距離算出部７は、図７に示すように、前記３次元人物モデルの足領域から両膝間の距離Ｌ２を算出している（処理ステップ３´）。この算出された距離データは、時系列で距離データ記憶部５（データベース）に格納され、実行時に指定された終了条件（指定時刻や指定処理枚数等）を満たした場合には、次の処理を行い、そうでない場合には処理ステップ１へ戻り、逐次処理を続行していく。
【００３７】
そして、前記距離データ記憶部５に格納された距離データに基づき歩行周期算出部６が、両脚がすれ違う時の極小値を求め、これを周期の検出ポイントに設定する。時系列で次に極小値が表れるまでの時間Ｔ１〜Ｔ２が半周期、その次の極小値が表れるまでの時間Ｔ１〜Ｔ３が１歩行周期となる（ステップ４）。
【００３８】
ここでもカメラを用いて歩行周期を検出しているものの、３次元人物モデルＭをベースにしていることから、特許文献３の手法よりも撮影方向の制限が少なく、カメラ配置の自由度が向上する。
【００３９】
また、両膝間の距離Ｌ２の極小値は、前記くるぶし間の距離Ｌ１の極小値と同様に、特許文献３の検出ポイントよりも時間的幅が小さく、歩行周期の高精度の検出が可能となる。
（３）その他
本発明は、上記実施形態に限定されるものではなく、各請求項に記載した範囲において各種の変形を行うことが可能である。例えばコンピュータを前記検出装置１の各機能ブロック２〜７として機能させるプログラムとして構築することもできる。
【００４０】
この場合には、コンピュータの処理部（例えばＣＰＵなど）がプログラムコードを読み出して、第１．２実施形態の各処理ステップが実行される。このプログラムコードは、例えばＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭ，ＣＤ−Ｒ，ＣＤ−ＲＷ，ＤＶＤ−Ｒ，ＤＶＤ−ＲＷ，ＭＯ，ＨＤＤなどの記録媒体に格納される。また、前記プログラムを、インターネットサイトからダウンロードしてコンピュータに提供してもよい。
【符号の説明】
【００４１】
１…検出装置
２…歩行者抽出部
３…人物モデルあてはめ部
４…くるぶし間距離算出部（距離算出部）
５…距離データ記憶部
６…歩行周期検出部
７…膝間距離算出部（距離算出部）
Ｌ１…くるぶし間距離
Ｌ２…膝間距離
Ｍ…３次元人物モデル
Ｔ１〜Ｔ２…半周期
Ｔ１〜Ｔ３…１歩行周期
【図面の簡単な説明】
【００４２】
【図１】本発明の第１実施形態に係る主要機能ブロック図。
【図２】同 ３次元人物モデルの一例図。
【図３】同 くるぶし間距離の概略図。
【図４】同 歩行周期検出の概略図。
【図５】同 １歩行周期の概略図。
【図６】本発明の第２実施形態に係る主要機能ブロック図。
【図７】同 膝間距離の概略図。
【特許請求の範囲】
【請求項１】
複数の撮像装置をもって歩行者を撮影した画像から、コンピュータを用いて歩行者の歩行周期を検出する歩行周期検出する方法であって、
コンピュータが、各撮像装置から時系列に入力された画像を用いて、判定対象である歩行者に対応する領域を抽出する第１ステップと、
コンピュータが、前記歩行者に対応する領域に３次元人物をモデル当てはめて、前記３次元人物モデルを構築する第２ステップと、
コンピュータが、前記３次元人物モデルから両脚部間の距離を算出する第３ステップと、
コンピュータが、前記両脚部間の距離が極小となる時点を基準に歩行周期を検出する第４ステップと、
を有することを特徴とする歩行周期検出方法。
【請求項２】
前記第３ステップは、前記３次元人物モデルから両くるぶし間の距離データを算出し、該算出した距離データを時系列にデータベースに格納する一方、
前記第４ステップは、前記データベースに格納された時系列の距離データから両くるぶし間の距離データの極小値を求め、
この極小値の周期を歩行周期として検出することを特徴とする請求項１記載の歩行周期検出方法。
【請求項３】
前記第３ステップは、前記３次元人物モデルから両膝間の距離を算出し、該算出した距離データを時系列にデータベースに格納する一方、
前記第４ステップは、前記データベースに格納された時系列の距離データから両膝間の距離データの極小値を求め、
この極小値の周期を歩行周期として検出することを特徴とする請求項１記載の歩行周期検出方法。
【請求項４】
複数の撮像装置をもって歩行者を撮影した画像から歩行者の歩行周期を検出する歩行周期検出する装置であって、
時系列に入力された各撮像画像から判定対象である歩行者に対応する領域を抽出する歩行者抽出部と、
前記歩行者に対応する領域に３次元人物モデルを当てはめて、該３次元人物モデルを構築する人物モデル当てはめ部と、
前記３次元人物モデルから両脚部間の距離を算出する距離算出部と、
前記両脚部間の距離が極小となる時点を基準に歩行周期を検出する歩行周期検出部と、
を有することを特徴とする歩行周期検出装置。
【請求項５】
前記距離算出部は、前記３次元人物モデルから両くるぶし間の距離を算出し、該算出した距離データを時系列にデータベースに格納する一方、
前記歩行周期検出部は、前記データベースに格納された時系列の距離データから極小値を求め、
この極小値の周期を歩行周期として検出することを特徴とする請求項４記載の歩行周期検出装置。
【請求項６】
前記距離算出部は、前記３次元人物モデルから両膝間の距離を算出し、該算出した距離データを時系列にデータベースに格納する一方、
前記歩行周期検出部は、前記データベースに格納された時系列の距離データから極小値を求め、
この極小値の周期を歩行周期として検出することを特徴とする請求項４記載の歩行周期検出装置。
【請求項７】
請求項４〜６に記載の歩行周期検出装置を構成する前記各部としてコンピュータを機能させる歩行周期検出プログラム。
【請求項１】
複数の撮像装置をもって歩行者を撮影した画像から、コンピュータを用いて歩行者の歩行周期を検出する歩行周期検出する方法であって、
コンピュータが、各撮像装置から時系列に入力された画像を用いて、判定対象である歩行者に対応する領域を抽出する第１ステップと、
コンピュータが、前記歩行者に対応する領域に３次元人物をモデル当てはめて、前記３次元人物モデルを構築する第２ステップと、
コンピュータが、前記３次元人物モデルから両脚部間の距離を算出する第３ステップと、
コンピュータが、前記両脚部間の距離が極小となる時点を基準に歩行周期を検出する第４ステップと、
を有することを特徴とする歩行周期検出方法。
【請求項２】
前記第３ステップは、前記３次元人物モデルから両くるぶし間の距離データを算出し、該算出した距離データを時系列にデータベースに格納する一方、
前記第４ステップは、前記データベースに格納された時系列の距離データから両くるぶし間の距離データの極小値を求め、
この極小値の周期を歩行周期として検出することを特徴とする請求項１記載の歩行周期検出方法。
【請求項３】
前記第３ステップは、前記３次元人物モデルから両膝間の距離を算出し、該算出した距離データを時系列にデータベースに格納する一方、
前記第４ステップは、前記データベースに格納された時系列の距離データから両膝間の距離データの極小値を求め、
この極小値の周期を歩行周期として検出することを特徴とする請求項１記載の歩行周期検出方法。
【請求項４】
複数の撮像装置をもって歩行者を撮影した画像から歩行者の歩行周期を検出する歩行周期検出する装置であって、
時系列に入力された各撮像画像から判定対象である歩行者に対応する領域を抽出する歩行者抽出部と、
前記歩行者に対応する領域に３次元人物モデルを当てはめて、該３次元人物モデルを構築する人物モデル当てはめ部と、
前記３次元人物モデルから両脚部間の距離を算出する距離算出部と、
前記両脚部間の距離が極小となる時点を基準に歩行周期を検出する歩行周期検出部と、
を有することを特徴とする歩行周期検出装置。
【請求項５】
前記距離算出部は、前記３次元人物モデルから両くるぶし間の距離を算出し、該算出した距離データを時系列にデータベースに格納する一方、
前記歩行周期検出部は、前記データベースに格納された時系列の距離データから極小値を求め、
この極小値の周期を歩行周期として検出することを特徴とする請求項４記載の歩行周期検出装置。
【請求項６】
前記距離算出部は、前記３次元人物モデルから両膝間の距離を算出し、該算出した距離データを時系列にデータベースに格納する一方、
前記歩行周期検出部は、前記データベースに格納された時系列の距離データから極小値を求め、
この極小値の周期を歩行周期として検出することを特徴とする請求項４記載の歩行周期検出装置。
【請求項７】
請求項４〜６に記載の歩行周期検出装置を構成する前記各部としてコンピュータを機能させる歩行周期検出プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２００９−１８９６７１（Ｐ２００９−１８９６７１Ａ）
【公開日】平成２１年８月２７日（２００９．８．２７）
【国際特許分類】
【出願番号】特願２００８−３５４６４（Ｐ２００８−３５４６４）
【出願日】平成２０年２月１８日（２００８．２．１８）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２１年８月２７日（２００９．８．２７）
【国際特許分類】
【出願日】平成２０年２月１８日（２００８．２．１８）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]