画像解析装置、画像解析方法、画像解析プログラム及び記録媒体
【課題】解析対象の動きをより正確に解析し、解析結果に対する把握性を向上させる装置及び方法等を提供する装置及び方法等を提供する。
【解決手段】画像解析装置ＳＳは、矩形領域２０に存在するベクトル情報を抽出し、前記抽出された所定範囲内に存在するベクトル情報に含まれる方向に基づいて、当該所定範囲内に存在するベクトル情報の一又は複数の代表的な方向を算出する。
【解決手段】画像解析装置ＳＳは、矩形領域２０に存在するベクトル情報を抽出し、前記抽出された所定範囲内に存在するベクトル情報に含まれる方向に基づいて、当該所定範囲内に存在するベクトル情報の一又は複数の代表的な方向を算出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像に表示される物体を解析する装置及び方法等の技術分野に関する。
【背景技術】
【０００２】
従来から、所定の施設（交通機関、商業施設、公共機関等）を利用する人を動画像として撮像し、当該動画像に示される人の動き（流れ）を、追跡処理を適用して解析し、人為的な手段を介さずに人の行動を把握することが行われている。
【０００３】
このような追跡処理の一例としては、動画像を構成するフレームのうち基準となるフレームに示される解析対象をラベリングにより特定し、特定した解析対象が他のフレームで示す動きを追跡する追跡処理が知られている（例えば、特許文献１参照）。
【０００４】
そして、この追跡処理の結果を、解析対象毎の移動方向を示す動線又はベクトルとして表示することにより、人の行動を視覚的に把握させ、解析結果に対する把握性（把握や認識のし易さ）の向上等を図る技術が開示されている。
【０００５】
例えば、特許文献２では、指定したエリア内の監視情報を動線として表示する技術が開示されている。
【０００６】
また、特許文献３では、空間内の各通行人それぞれの通行軌跡を求め、所定空間の所定時間内に通行した通行人全ての通行軌跡を表示する技術が開示されている。
【０００７】
また、特許文献４では、画像上に人流を示す矢印（ベクトル）を表示する技術が開示されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特公平６−２８４４９号公報
【特許文献２】特開２００３−１０１９９４号公報
【特許文献３】特開２００５−３４６６１７号公報
【特許文献４】特開２００７−２４３３４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、上記特許文献１〜４で開示される技術では、動画像に示される全ての解析対象に応じたベクトル又は動線が表示される。従って、解析対象の増加に伴って表示される動線又はベクトルの数も増加するため、多くの解析対象が表示される場合には、各解析対象に対応した個別のベクトルの向きや大きさ、又は動線の軌跡や数量等を識別することが困難となり、解析結果に対する把握性が著しく低下してしまう。
【００１０】
さらに、特許文献３で開示される動線を表示する技術では、解析対象が移動する方向や数量を把握することが困難であるため、解析対象が示す動きを詳細に把握することができない（解析対象の動的要素を表現するには欠けたものとなる）。
【００１１】
加えて、特許文献４で開示されるベクトルを表示する技術では、解析対象の動きの方向を示すベクトルの向きが極めて限定的であるため、解析対象が示す動作を詳細に把握することができない（ベクトルの方向が一意に決定されてしまう）。
【００１２】
そこで、本発明は、上記各問題点に鑑みてなされたものであり、その目的の一例は、解析対象の動きをより正確に解析し、解析結果に対する把握性を向上させる装置及び方法等を提供することである。
【課題を解決するための手段】
【００１３】
上記課題を解決するために、請求項１に記載の発明は、動画像として撮像された解析対象の動きを解析する画像解析装置であって、撮像領域内を一定期間撮像した動画像を記憶する記憶手段と、前記動画像に示される前記解析対象を検出する検出手段と、前記検出された解析対象が、前記撮像領域内で示す位置変化を算出し、前記解析対象を他の解析対象と識別するための解析対象識別情報と対応付けて記憶する位置変化算出手段と、前記記憶された位置変化に基づいて、前記検出された解析対象が、前記撮像領域内で示す単位時間当たりの位置変化を、前記撮像領域内における位置及び方向を含むベクトル情報として解析対象識別情報毎に算出するベクトル情報算出手段と、前記ベクトル情報に含まれる位置に基づいて、前記撮像領域の所定範囲内に存在するベクトル情報を抽出するベクトル情報抽出手段と、前記抽出された所定範囲内に存在するベクトル情報に含まれる方向に基づいて、当該所定範囲内に存在するベクトル情報の一又は複数の代表的な方向を算出する移動状態算出手段と、前記算出された代表的な方向を、外部へ表示させる表示制御手段と、を備えることを特徴とする。
【００１４】
従って、解析対象の動きをより正確に解析し、解析結果に対する把握性を向上させることができる。
【００１５】
請求項２に記載の発明は、請求項１に記載の画像解析装置であって、前記ベクトル情報算出手段は、前記ベクトル情報として、前記解析対象の移動開始点を算出し、前記ベクトル情報に含まれる移動開始点に基づいて、前記撮像領域の所定範囲内に存在するベクトル情報を抽出することを特徴とする。
【００１６】
従って、前記撮像領域の所定範囲内に侵入する解析対象の動きを正確に解析し、解析結果に対する把握性を向上させることができる。
【００１７】
請求項３に記載の発明は、請求項１又は２に記載の画像解析装置であって、前記ベクトル情報算出手段は、前記ベクトル情報として、前記解析対象の移動終了点を算出し、前記ベクトル情報に含まれる移動終了点に基づいて、前記撮像領域の所定範囲内に存在するベクトル情報を抽出することを特徴とする。
【００１８】
従って、前記撮像領域の所定範囲内から退出する解析対象の動きを正確に解析し、解析結果に対する把握性を向上させることができる。
【００１９】
請求項４に記載の発明は、請求項１乃至３の何れか１項に記載の画像解析装置であって、前記移動状態算出手段は、前記抽出された所定範囲内に存在するベクトル情報に含まれる方向が、原点を中心に所定の方向を示す方向軸が、当該原点を中心に所定の角度離れて複数設けられた第１の座標系における何れかの方向軸が示す方向と近似するかを判定し、前記移動状態算出手段は、前記ベクトル情報に含まれる方向と、近似すると判定された方向軸が示す方向を、前記所定範囲内に存在するベクトル情報の代表的な方向と算出することを特徴とする。
【００２０】
従って、予め定められた方向に応じて前記所定範囲内に存在するベクトル情報の代表的な方向が定められるため、装置（ＣＰＵ等）の処理負担を軽減しつつ、解析結果に対する把握性を向上させることができる。
【００２１】
請求項５に記載の発明は、請求項１乃至４の何れか１項に記載の画像解析装置であって、前記移動状態算出手段は、前記抽出された所定範囲内に存在するベクトル情報に含まれる方向が、所定の方向から原点を示す方向軸が、当該原点を中心に所定の角度離れて複数設けられた第２の座標系における何れかの方向軸が示す方向と近似するかを判定し、移動状態算出手段は、前記ベクトル情報に含まれる方向と、近似すると判定された方向軸が示す方向を、前記所定範囲内に存在するベクトル情報の代表的な方向と算出することを特徴とする。
【００２２】
従って、予め定められた方向に応じて前記所定範囲内に存在するベクトル情報の代表的な方向が定められるため、装置（ＣＰＵ等）の処理負担を軽減しつつ、解析結果に対する把握性を向上させることができる。
【００２３】
請求項６に記載の発明は、請求項１乃至５の何れか１項に記載の画像解析装置であって、前記ベクトル情報抽出手段は、少なくとも２以上のベクトル情報を抽出し、前記表示制御手段は、前記算出された代表的な方向に属するベクトル情報の数量に応じて、前記外部へ表示させる代表的な方向の表示態様を変化させることを特徴とする。
【００２４】
従って、算出された代表的な方向に属するベクトル情報の数量に応じて、前記外部へ表示させる代表的な方向の表示態様が変化するため、解析結果の詳細な情報について、視覚的に容易に把握することができる。
【００２５】
請求項７に記載の発明は、請求項１乃至６の何れか１項に記載の画像解析装置であって、前記ベクトル情報抽出手段は、少なくとも２以上のベクトル情報を抽出し、前記表示制御手段は、前記算出された代表的な方向に属するベクトル情報に含まれる位置変化の大きさに応じて、前記外部へ表示させる代表的な方向の表示態様を変化させることを特徴とする。
【００２６】
従って、算出された代表的な方向に属するベクトル情報に含まれる位置変化の大きさに応じて、前記外部へ表示させる代表的な方向の表示態様が変化するため、解析結果の詳細な情報について、視覚的に容易に把握することができる。
【００２７】
請求項８に記載の発明は、請求項１乃至７の何れか１項に記載の画像解析装置であって、前記ベクトル情報抽出手段は、少なくとも２以上のベクトル情報を抽出し、前記表示制御手段は、前記移動状態算出手段によって算出された代表的な方向に属するベクトル情報の数量が所定の閾値以上の場合に、当該算出された代表的な方向を、外部へ表示させることを特徴とする。
【００２８】
従って、算出された代表的な方向に属するベクトル情報の数量が所定の閾値以上の場合に、当該算出された代表的な方向を外部へ表示するため、ユーザの必要性に応じた解析結果を提示することができる。
【００２９】
請求項９に記載の発明は、請求項１乃至８の何れか１項に記載の画像解析装置であって、前記ベクトル情報抽出手段は、少なくとも２以上のベクトル情報を抽出し、前記表示制御手段は、前記移動状態算出手段によって算出された代表的な方向に属するベクトル情報の数量が最も多い代表的な方向を抽出し、当該代表的な方向を外部へ表示させることを特徴とする。
【００３０】
従って、算出された代表的な方向に属するベクトル情報の数量が最も多い代表的な方向を抽出し、当該代表的な方向を外部へ表示するため、ユーザの必要性に応じた解析結果を提示することができる。
【００３１】
請求項１０に記載の発明は、請求項１乃至９の何れか１項に記載の画像解析装置であって、前記ベクトル情報抽出手段は、前記ベクトル情報に含まれる位置に基づいて、少なくとも２以上の異なる大きさの撮像領域の所定範囲内に存在するベクトル情報を、撮像領域の所定範囲内毎に抽出し、前記移動状態算出手段は、前記抽出された所定範囲内に存在するベクトル情報に含まれる方向に基づいて、当該所定範囲内に存在するベクトル情報の代表的な方向を、前記撮像領域の所定範囲内毎に算出することを特徴とする。
【００３２】
従って、少なくとも２以上の異なる大きさの撮像領域の所定範囲内に存在するベクトル情報を、撮像領域の所定範囲内毎に抽出し、前記抽出された所定範囲内に存在するベクトル情報に含まれる方向に基づいて、当該所定範囲内に存在するベクトル情報の代表的な方向を、前記撮像領域の所定範囲内毎に算出するため、ユーザの必要性に応じた解析結果を提示することができる。
【００３３】
請求項１１に記載の発明は、請求項１乃至１２の何れか１項に記載の画像解析装置であって、前記ベクトル情報抽出手段は、前記撮像領域内を所定の大きさの領域に分割する分割領域に存在するベクトル情報を、各分割領域毎に算出し、前記移動状態算出手段は、前記分割領域毎に算出されたベクトル情報に基づいて、前記一又は複数の代表的な方向を、各分割領域毎に算出し、前記表示制御手段は、前記算出された各分割領域に対応する一又は複数の代表的な方向を、当該各分割領域に表示させることを特徴とする。
【００３４】
請求項１２に記載の発明は、請求項１１に記載の画像解析装置であって、所定の数量の前記分割領域を一つの領域としてまとめた中領域とし、各中領域毎に算出される代表的な方向の数量が予め設定されており、前記移動状態算出手段は、前記中領域毎に設定された数量に応じて、前記中領域に属する小領域毎に、一又は複数の代表的な方向を算出し、前記表示制御手段は、前記算出された中領域の属する小領域毎に、一又は複数の代表的な方向を、当該小領域に表示させる。
【００３５】
請求項１３に記載の発明は、請求項１乃至１２の何れか１項に記載の画像解析装置であって、前記撮像領域の所定範囲内を任意に設定可能な入力手段をさらに備えることを特徴とする。
【００３６】
従って、ユーザの必要性に応じた解析結果を提示することができる。
【００３７】
請求項１４に記載の発明は、動画像に撮像された解析対象の動きを解析する画像解析装置における画像解析方法であって、撮像領域内を一定期間撮像した動画像を記憶する記憶工程と、前記動画像に示される前記解析対象を検出する検出工程と、前記検出された解析対象が、当該撮像領域内で示す単位時間当たりの位置変化を、前記撮像領域内における位置及び方向を含むベクトル情報として算出し、前記解析対象を他の解析対象と識別するための解析対象識別情報と対応付けて記憶する追跡工程と、前記ベクトル情報に含まれる位置に基づいて、前記撮像領域の所定範囲内に存在するベクトル情報を抽出するベクトル情報抽出工程と、前記抽出された所定範囲内に存在するベクトル情報に含まれる方向に基づいて、当該所定範囲内に存在するベクトル情報の一又は複数の代表的な方向を算出する移動状態算出工程と、前記算出された代表的な方向を、外部へ表示させる表示制御工程と、を有することを特徴とする。
【００３８】
請求項１５に記載の発明は、動画像に撮像された解析対象の動きを解析する画像解析装置に含まれるコンピュータを、撮像領域内を一定期間撮像した動画像を記憶する記憶手段、前記動画像に示される前記解析対象を検出する検出手段、前記検出された解析対象が、当該撮像領域内で示す単位時間当たりの位置変化を、前記撮像領域内における位置及び方向を含むベクトル情報として算出し、前記解析対象を他の解析対象と識別するための解析対象識別情報と対応付けて記憶する位置変化算出手段、前記ベクトル情報に含まれる位置に基づいて、前記撮像領域の所定範囲内に存在するベクトル情報を抽出するベクトル情報抽出手段、前記抽出された所定範囲内に存在するベクトル情報に含まれる方向に基づいて、当該所定範囲内に存在するベクトル情報の一又は複数の代表的な方向を算出する移動状態算出手段、前記算出された代表的な方向を、外部へ表示させる表示制御手段、として機能させることを特徴とする。
【００３９】
請求項１６に記載の発明は、請求項１５に記載の画像処理プログラムがコンピュータ読み取り可能に記録されていることを特徴とする。
【発明の効果】
【００４０】
以上のように、本発明によれば、画像解析装置は、所定範囲内に存在するベクトル情報の代表的な方向を算出するため、解析対象の動きをより正確に解析し、解析結果に対する把握性を向上させることができる。
【図面の簡単な説明】
【００４１】
【図１】本実施形態にかかる画像解析装置ＳＳの構成を示すブロック図である。
【図２】動画像から検出された解析対象が、撮像領域内で示す位置変化を記憶するまでの画像解析装置ＳＳの動作の詳細を示すフローチャートである。
【図３】入力画像格納部５に記憶されるフレームの一例を示す図である。
【図４】所定期間内における人の移動を示す概念図である。
【図５】位置座標ＤＢに記憶される内容の一例を示す図である。
【図６】算出したベクトル情報に基づいて撮像領域の所定範囲内に存在するベクトル情報の代表的な方向を表示させるまでの画像解析装置ＳＳの動作の詳細を示すフローチャートである。
【図７】人Ｈ１の単位時間当たりの位置変化の算出例を示す概念図である。
【図８】人Ｈ１の単位時間当たりの位置変化の数量に対応した数量のベクトル情報の算出結果を示す概念図である。
【図９】動画像に示される全ての人に対してベクトル情報を算出した場合の算出結果を示す概念図である。
【図１０】矩形領域２０に存在するベクトル情報を抽出した抽出例を示す概念図である。
【図１１】第１の座標系を示す図である。
【図１２】近似を判定する方法を示す概念図である。
【図１３】移動させたベクトル情報に含まれる方向が、第１の座標系Ｔにおける何れかの方向軸の近似する範囲に該当するかを判定した判定結果を示す図である。
【図１４】矩形領域２０に存在するベクトル情報の代表的な方向を表示した表示例を示す図である。
【図１５】代表的な方向を示す方向軸に属するベクトル情報の数量に応じて、代表的な方向の表示態様を変化させた場合の表示結果を示す概念図である。
【図１６】代表的な方向を示す方向軸に属するベクトル情報に含まれる位置変化に応じて、代表的な方向の表示態様を変化させた場合の表示結果を示す概念図である。
【図１７】代表的な方向を示す方向軸に属するベクトル情報の数量、及び、当該ベクトル情報に含まれる位置変化の大きさに応じて、代表的な方向の表示態様を変化させた場合の表示結果を示す概念図である。
【図１８】分割領域に存在するベクトル情報に基づいて代表的な方向を算出し、算出された各分割領域に対応する一又は複数の代表的な方向を、当該各分割領域に表示した場合の表示例を示す図である。
【図１９】中領域の設定例を示す概念図である。
【図２０】移動状態算出部１１が、中領域を参照して、代表的な方向を算出した場合の算出結果を表示した場合の表示例を示す図である。
【図２１】２以上の異なる大きさの撮像領域の所定範囲を設定し、当該領域に存在するベクトル情報に含まれる方向に基づいて代表的な方向を算出させた場合の表示例を示す図である。
【図２２】２以上の撮像領域の所定範囲に、属性ラベルを設定した場合の例を示す図である。
【図２３】第２の座標系を示す図である。
【図２４】解析対象が示す単位時間当たりのベクトル情報を、近似曲線で算出した場合を示す概念図である。
【発明を実施するための形態】
【００４２】
まず、本願の最良の実施形態を添付図面に基づいて説明する。なお、以下に説明する実施の形態は、動画像として撮像された解析対象の動きを解析する画像解析装置に対して本願を適用した場合の実施形態である。
【００４３】
［１．画像解析装置の構成及び機能概要］
まず、本実施形態にかかる画像解析装置ＳＳの構成及び機能概要について、図１を用いて説明する。
【００４４】
図１は、本実施形態にかかる画像解析装置ＳＳの構成を示すブロック図である。
【００４５】
画像解析装置ＳＳは、入力データとしての動画像の入力を受け付ける画像入力部１、キーボード、タッチパネル、ジョグダイヤル又はその他の入力機構を備えユーザから入力された情報を制御部３へ出力する入力部２、入力データから出力データとしての画像又は動画像を生成する制御部３、ディスプレイ等を備え出力データを表示する表示部４等を備える。
【００４６】
さらに詳細には、画像入力部１は、撮像領域内における動画像を撮像して所定の電気信号を出力する図示しないビデオカメラ（デジタルビデオカメラ）から、当該電気信号の入力を受け付ける。
【００４７】
本実施形態では、ビデオカメラは、所定の施設（交通機関、商業施設、公共機関等）等に設置され、一定期間（例えば、１時間毎等、又は２４時間連続して）、当該施設の所定の撮像領域内を撮像する。
【００４８】
なお、ビデオカメラは、公知技術であるため詳しい説明は省略するが、例えば、光学系レンズから取り込まれた光が、絞り機構等によって調節され、ＣＣＤ（Charge Couple Semiconductor）イメージセンサ又はＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサ上に光学像（画像）として結像される。この画像は、イメージセンサによって電気信号に変換され、画像入力部１（カメラI／Ｆ）へ出力される。
【００４９】
そして、画像入力部１は、ビデオカメラから出力された電気信号を受け付け、前記画像を構成する画素を示す画素情報（前記各画素に対応する電気信号等）と前記画素に対応する色情報（Ｒ，Ｇ，Ｂの何れかの原色成分に対応した電荷等）を示す静止画像（後述するフレーム）として、例えば、撮像時刻と対応付けて制御部３（後述する入力画像格納部５）へ出力する。
【００５０】
換言すれば、画像入力部１は、入力された動画像を所定フレーム（例えば、毎秒２０フレーム（即ち、フレームレートが20fps(frame per second)）等）の静止画像からなる画像情報に変換し、例えば、撮像時刻等と対応付けて制御部３へ出力する。即ち、これらのフレームが動画像を構成する。
【００５１】
画像入力部１の一例として、例えば、産業用デジタルカメラと画像入力ボードを接続する規格仕様である公知のカメラリンク（Camera Link）に対応したインターフェースが適用される。
【００５２】
制御部３は、詳しくは後述するが、動画像に示される解析対象が撮像領域内で示す単位時間当たりの位置変化をベクトル情報として算出し、当該ベクトル情報に基づいて、撮像領域の所定範囲内に存在するベクトル情報の代表的な方向を表示させる出力データを生成する。
【００５３】
このような制御部３の動作（処理）は、制御部３内に実装されるハードウェア回路により行われるものであっても良いし、制御部３内に実装されるマイクロコンピュータ（ＣＰＵ等）が所定のプログラム（ソフトウェア）を実行することにより行われるものであっても良い。
【００５４】
さらに具体的に、制御部３は、入力画像格納部５（本願の記憶手段の一例）、動体検出部６（本願の検出手段の一例）、位置変化算出部７（本願の位置変化算出手段の一例）、位置座標記憶部８（本願の位置変化算出手段の一例）、ベクトル情報算出部９（本願のベクトル情報算出手段の一例）、ベクトル情報抽出部１０（本願のベクトル情報抽出手段の一例）、移動状態算出部１１（本願の移動状態算出手段の一例）、表示制御部１２（本願の表示制御手段の一例）、出力フレームメモリ１３等から構成される。
【００５５】
入力画像格納部５は、上記撮像領域内を一定期間撮像した動画像を記憶するための記憶領域であり、例えば、揮発性又は不揮発性メモリ又はハードディスク等が適用される。
【００５６】
具体的に、本実施形態における入力画像格納部５は、一又は複数のフレーム（上述した動画像から所定フレームに変換された静止画像）と、各フレームにおける撮像時刻、及び詳しくは後述する座標値等を対応付けて記憶する。
【００５７】
そして、入力画像格納部５には、一定期間撮像された動画像に対応した複数のフレームが記憶されている。
【００５８】
動体検出部６は、動画像に示される解析対象を検出する。
【００５９】
撮像された動画像には、当該施設を利用する人や当該施設内を通過する移動手段（例えば、車や荷台等）等が示されている。本実施形態における動体検出部６は、この人や移動手段等を解析対象として検出するようになっている。
【００６０】
この解析対象を検出する方法は、公知の技術であるため詳しい説明は省略するが、動体検出部６は、動画像を構成するフレームのうち基準となるフレームと、予め記憶された参照フレーム（同じ撮像領域内の静止画像）との画素間減算及び、いわゆる背景除去を行い、画像変化のあった画素のみの画像に変換する。そして、ノイズ除去及び２値化等の画像処理を施すと、当該基準となるフレームの解析対象が抽出される。そして、抽出された解析対象を他の解析対象と識別するためにラベリング処理を行い、各解析対象に動体ＩＤ（本願の解析対象識別情報の一例。）を付与する処理を行う。
【００６１】
この動体ＩＤは、解析対象を他の解析対象と識別するための識別情報である。
【００６２】
位置変化算出部７は、検出された解析対象が、撮像領域内で示す位置変化を算出する。
【００６３】
この位置変化の算出には、例えば、公知の追跡処理を適用することができる。
【００６４】
追跡処理は公知の技術であるため詳しい説明は省略するが、まず、位置変化算出部７は、基準となるフレームで特定された解析対象が、当該基準となるフレームで示す撮像領域内の位置を特定する。
【００６５】
次に、位置変化算出部７は、異なるフレーム（基準となるフレームより後で撮像されたフレーム）に当該解析対象と同一の物体が特定されるか判定する。
【００６６】
この同一の物体として特定するための方法としては、例えば基準となるフレームで特定された解析対象の大きさや主軸の比等からなる形状パラメータを求め、他のフレームにおいて、この形状パラメータと最も近似する形状パラメータを有する物体を同一の解析対象とみなす等の方法を適用することができる。
【００６７】
そして、同一の物体であると判定された場合には、位置変化算出部７は、異なるフレームにおける解析対象が、当該異なるフレームで示す撮像領域内の位置を特定する。
【００６８】
そして、位置変化算出部７は、特定した解析対象が基準となるフレームで示す撮像領域内の位置と、特定した解析対象が異なるフレームで示す撮像領域内の位置を、検出された解析対象が前記撮像領域内で示す位置変化として算出する。
【００６９】
この位置変化は、一定期間撮像された動画像の連続するフレームの全てについて、解析対象毎に算出することができる。換言すれば、位置変化算出部７は、動画像に示される解析対象が、上記連続する各フレームにおいて示す撮像領域内の位置を、位置変化として算出することができる。
【００７０】
この位置変化の算出によって、解析対象が、撮像領域内で示す位置変化（移動量、移動方向）を把握することができる。
【００７１】
位置座標記憶部８は、算出された位置変化を動体ＩＤと対応付けて、解析対象毎に記憶するための記憶領域であり、例えば、揮発性又は不揮発性メモリ又はハードディスク等が適用される。
【００７２】
ベクトル情報算出部９は、上記記憶された位置変化に基づいて、検出された解析対象が、撮像領域内で示す単位時間当たりの位置変化を、当該撮像領域内における位置及び方向を含むベクトル情報として動体ＩＤ毎に算出する。
【００７３】
このベクトル情報の算出は、公知の技術であるため詳しい説明は省略するが、以下のように算出される。
【００７４】
上述したフレームは、動画像を所定間隔（所定期間）で分割したもの（例えば、上述した、毎秒２０フレーム等）である。そして、位置変化算出部７は、上述したように、解析対象が、撮像領域内で示す位置変化を、連続するフレームの全てについて算出し、位置座標記憶部８に記憶されている。
【００７５】
そして、ベクトル情報算出部９は、まず、位置座標記憶部８に記憶された、解析対象が撮像領域内で示す位置変化を用いて、解析対象が撮像領域内で示す単位時間当たりの位置変化を算出する。
【００７６】
具体的には、例えば、フレームが動画像を毎秒２０フレームで分割されたものであった場合（以下単に、「フレームレートが２０fps」とする。）には、ベクトル情報算出部９は、位置変化算出部７によって特定された、解析対象が基準となるフレームで示す撮像領域内の位置と、当該基準となるフレームから２１番目にあたるフレーム間で示す撮像領域内の位置を算出することにより、解析対象が前記撮像領域内で示す単位時間当たりの位置変化を算出する。
【００７７】
このように、フレームは、動画像を所定間隔で分割したものであるため、任意のフレーム間における解析対象が示す位置変化を算出することによって、解析対象の所定間隔当たりの位置変化を算出することができるのである。
【００７８】
そして、ベクトル情報算出部９は、解析対象が、基準となるフレームで示す撮像領域内の位置を移動開始点と、当該基準となるフレームから２０番目にあたるフレームで示す撮像領域内の位置を移動終了点として、解析対象が示す単位時間当たりのベクトル情報を算出する。
【００７９】
このベクトル情報は、検出された解析対象が、前記撮像領域内で示す単位時間当たりの位置変化を、前記撮像領域内における位置及び方向を含む情報として算出したものであり、この情報を、以下単に、ベクトル情報とする。また、上述した追跡処理において、このベクトル情報を算出するようにしてもよい。
【００８０】
なお、上述した例では、単位時間を１秒として想定したが、これに限定されず、例えば、単位時間を任意の時間に設定することができる。
【００８１】
例えば、この単位時間を５秒とした場合を考える。この場合、フレームレートが２０fpsであった場合には、ベクトル情報算出部９が、位置変化算出部７によって特定された、解析対象が基準となるフレームで示す撮像領域内の位置と、当該基準となるフレームから１００番目にあたるフレーム間で示す撮像領域内の位置を算出することにより、解析対象が前記撮像領域内で示す単位時間当たりの位置変化が算出されることとなる。
【００８２】
ベクトル情報抽出部１０は、上記ベクトル情報に含まれる位置に基づいて、前記撮像領域の所定範囲内に存在するベクトル情報を、動体ＩＤ毎に抽出する。
【００８３】
移動状態算出部１１は、ベクトル情報抽出部１０によって抽出された所定範囲内に存在するベクトル情報に含まれる方向に基づいて、当該所定範囲内に存在するベクトル情報の一又は複数の代表的な方向を算出する。
【００８４】
表示制御部１２は、移動状態算出部１１によって算出された代表的な方向を、外部へ表示させる。
【００８５】
出力フレームメモリ１３は、出力データを書込むための制御を行う。
【００８６】
［２．動画像から検出された解析対象が、撮像領域内で示す位置変化を記憶するまでの画像解析装置ＳＳの動作］
次に、動画像から検出された解析対象が、撮像領域内で示す位置変化を記憶するまで（主として動体検出部６、及び位置変化算出部７の動作）の画像解析装置ＳＳの動作の詳細について、図２〜図７を用いて説明する。
【００８７】
図２は、動画像から検出された解析対象が、撮像領域内で示す位置変化を記憶するまでの画像解析装置ＳＳの動作の詳細を示すフローチャートである。
【００８８】
図２に示すように、画像入力部１から出力される撮像時刻と対応付けられたフレームが入力されると（ステップＳ１）、フレームと、各フレームにおける撮像時刻が対応付けられて、入力画像格納部５に記憶される。
【００８９】
さらに、このフレームには、上述した座標値が対応付けて記憶される。
【００９０】
この座標値は、フレームに示される撮像領域内の所定の位置を、他の位置と識別するための値であり、例えばフレームの水平方向をＸ軸と、フレームの垂直方向をＹ軸とする平面座標系におけるＸ，Ｙ座標で表わされる。
【００９１】
ここで、入力画像格納部５に記憶されるフレームの一例について図３を用いて説明する。
【００９２】
図３は、入力画像格納部５に記憶されるフレームの一例を示す図である。
【００９３】
図３に示すフレームＦは、店舗Ｓ１〜Ｓ４が設置されたショッピングモールＳの所定の撮像領域内を、一定期間撮像された動画像から変換されたフレームのうち一のフレームである。
【００９４】
このフレームＦには、ショッピングモールＳを利用する人等が示されており、全てのフレームで統一された上記座標値が設定されている。
【００９５】
この座標値によって、フレームに示される解析対象（人や店舗等。以下代表して「人」と示す。）の位置を、Ｘ座標値及びＹ座標値で表わすことができる。従って、フレームに示されるそれぞれの人や店舗が、フレームに示される撮像領域内の位置を特定することができる。
【００９６】
入力画像格納部５には、一定期間撮像された動画像に対応した複数のフレームが記憶されている。
【００９７】
次に、動体検出部６は、解析対象として人をそれぞれ検出し、検出した人毎に動体ＩＤを付与する（ステップＳ２）。例えば、図３のフレームＦに示される人毎に動体ＩＤが付与される。
【００９８】
次に、位置変化算出部７は、上述した追跡処理（動体追跡）を行い、検出された人の位置変化を算出する。（ステップＳ３）。
【００９９】
ここで、位置変化の算出例について、図４を用いて説明する。
【０１００】
図４は、所定期間内における人の移動を示す概念図である。
【０１０１】
図４に示すように、例えば、人Ｈ１（解析対象の一例）が、位置としてＶ１ｓ（ｘ１、ｙ１）からＶ１０ｅ（ｘ１１、ｙ１１）まで移動した場合（図の破線部で表わした矢印まで移動）を考える。
【０１０２】
この場合、位置変化算出部７は、人Ｈ１がＶ１ｓ（ｘ１、ｙ１）に位置することが示されたフレームを基準として、人Ｈ１がＶ１０ｅ（ｘ１１、ｙ１１）に位置することが示されたフレームまで、人Ｈ１が各フレーム毎で示す位置を座標値で算出する。この算出された座標値が、人Ｈ１が、撮像領域内で示す位置変化となるのである。
【０１０３】
また、位置変化算出部７は、動画像に示される全ての人（すべての動体ＩＤ）に対して位置変化を算出することもできる。
【０１０４】
次に、位置座標記憶部８は、人Ｈ１に対して算出した位置変化を、人Ｈ１を示す動体ＩＤと対応付けて位置座標ＤＢとして記憶する（ステップＳ４）。
【０１０５】
図５は、位置座標ＤＢに記憶される内容の一例を示す図である。
【０１０６】
図５に示す位置座標ＤＢには、動体ＩＤ（例えば、人Ｈ１）と、動体ＩＤが示す人Ｈ１が撮像領域内で示す位置としての位置座標、当該位置における時刻（フレームとして撮像された撮像時刻）が対応付けられて記憶される。
【０１０７】
このように、動体ＩＤが示す人Ｈ１が撮像領域内で示す位置と、当該位置における時刻を対応付けて記憶することにより、人Ｈ１が、撮像領域内で示す位置変化を記憶することができる。
【０１０８】
なお、位置座標ＤＢには、動画像に示される全ての人に対して算出された位置変化を記憶することもできる。
【０１０９】
そして、終了指示があった場合には（ステップＳ５：ＹＥＳ）、処理を終了し、終了指示がない場合には（ステップＳ５：ＮＯ）、ステップＳ１の処理へ移行する。
【０１１０】
［３．算出したベクトル情報に基づいて撮像領域の所定範囲内に存在するベクトル情報の一又は複数の代表的な方向を表示させるまでの画像解析装置ＳＳの動作］
次に、算出したベクトル情報に基づいて撮像領域の所定範囲内に存在するベクトル情報の一又は複数の代表的な方向を表示させるまでの画像解析装置ＳＳの動作の詳細について、図６〜図１４を用いて説明する。
【０１１１】
図６は、算出したベクトル情報に基づいて撮像領域の所定範囲内に存在するベクトル情報の代表的な方向を表示させるまでの画像解析装置ＳＳの動作の詳細を示すフローチャートである。
【０１１２】
図６に示すように、まず、ベクトル情報算出部９は、例えばユーザによる入力部２の指示により又は、予め設定された指示に基づいて、撮像された動画像から、人Ｈ１が、撮像領域内で示す所定期間分の位置変化を取得する（ステップＳ１１）。
【０１１３】
具体的には、ベクトル情報算出部９は、位置座標ＤＢを参照して、動体ＩＤが、所定期間に示した位置座標を取得する。例えば、所定期間として１時間が設定されていた場合には、ベクトル情報算出部９は、動体ＩＤと対応付けて記憶された時刻と、当該時刻と対応付けて記憶された位置座標を参照して、１時間分の位置座標を、所定期間分の位置変化として取得する。
【０１１４】
この所定期間分の位置変化は、一の動体ＩＤに対して取得してもよいし、全ての動体ＩＤに対して取得してもよい。
【０１１５】
なお、ベクトル情報算出部９は、上記取得する位置変化として、所定期間に区切られたものに限らず、例えば、動画像に示される全ての位置変化を取得するようにしてもよい。
【０１１６】
次に、ベクトル情報算出部９は、上記取得した所定期間分の位置変化に基づいて、単位時間当たりの位置変化を算出する（ステップＳ１２）。
【０１１７】
ここで、単位時間当たりの位置変化の算出について、図４及び図７を用いて説明する。
【０１１８】
図７は、人Ｈ１の単位時間当たりの位置変化の算出例を示す概念図である。
【０１１９】
先に示した図４において、人Ｈ１が、所定期間の間に、Ｖ１ｓ（ｘ１、ｙ１）からＶ１０ｅ（ｘ１１、ｙ１１）まで移動した場合の単位時間当たりの位置変化を算出する例を説明する。
【０１２０】
ここで、単位時間当たりの位置変化とは、基準となるフレームで人Ｈ１が示す位置を移動開始点とし、当該フレームから単位時間後（例えば１秒後）のフレームで人Ｈ１が示す位置を移動終了点とした場合の位置変化を示す。
【０１２１】
この算出方法について具体的には、人Ｈ１が、Ｖ１ｓ（ｘ１、ｙ１）からＶ１０ｅ（ｘ１１、ｙ１１）まで移動した場合の単位時間当たりの位置変化を求めるには、Ｖ１ｓ（ｘ１、ｙ１）を基準として、単位時間毎（例えば１秒間隔）のフレームにおける人Ｈ１の位置を特定すればよい。
【０１２２】
さらに具体的には、基準となるフレームで人Ｈ１が示す位置がＶ１ｓ（ｘ１、ｙ１）であり、当該フレームから単位時間後のフレームで人Ｈ１が示す位置がＶ１ｅ（ｘ２、ｙ２）であったとすると、単位時間当たりの位置変化は、移動開始点としてのＶ１ｓ（ｘ１、ｙ１）から、移動終了点としてのＶ１ｅ（ｘ２、ｙ２）までの位置変化であると算出される。
【０１２３】
次に、ベクトル情報算出部９は、Ｖ１ｅ（ｘ２、ｙ２）を基準に、単位時間後のフレームにおける人Ｈ１の位置を特定し、単位時間当たりの位置変化を算出する。そして、ベクトル情報算出部９は、人Ｈ１が、Ｖ１０ｅ（ｘ１１、ｙ１１）に至るまでの単位時間当たりの位置変化を、順次算出する。
【０１２４】
このようにして算出された、人Ｈ１が、Ｖ１ｓ（ｘ１、ｙ１）からＶ１０ｅ（ｘ１１、ｙ１１）まで移動した場合の単位時間当たりの位置変化の算出結果を、図７に示す。
【０１２５】
図７に示すように、人Ｈ１が、Ｖ１ｓ（ｘ１、ｙ１）からＶ１０ｅ（ｘ１１、ｙ１１）まで移動した場合の単位時間当たりの位置変化として、まず、移動開始点としてＶ１ｓ（ｘ１、ｙ１）から、単位時間後のフレームに示される人Ｈ１の位置を移動終了点としてＶ１ｅ（ｘ２、ｙ２）とした、最初の単位時間当たりの位置変化が算出されている。
【０１２６】
次に、移動開始点をＶ2ｓ（ｘ２、ｙ２）、移動終了点をＶ2ｅ（ｘ３、ｙ３）とした次の単位時間当たりの位置変化が、そして、移動開始点をＶ３ｓ（ｘ３、ｙ３）、移動終了点をＶ３ｅ（ｘ４、ｙ４）とした次の単位時間当たりの位置変化が、そして、移動開始点をＶ10ｓ（ｘ１０、ｙ１０）、移動終了点をＶ１０ｅ（ｘ１１、ｙ１１）とした最後の単位時間当たりの位置変化まで、単位時間当たりの位置変化が順次算出されている。
【０１２７】
なお、上述した例では、ある単位時間当たりの位置変化の移動終了点と、当該位置変化の次に算出される単位時間当たりの位置変化の移動開始点（例えば、Ｖ１ｅとＶ2ｓ等）は同一の点を示すこととなるが、図７においては説明の便宜上、互いに接する点として表している。
【０１２８】
また、図７に示す例では、説明の便宜上、算出された単位時間当たりの位置変化を、所定のフレームに重畳して表示させている。
【０１２９】
また、位置変化算出部７は、動画像に示される全ての人（すべての動体ＩＤ）に対して位置変化を算出することもできる。
【０１３０】
次に、ベクトル情報算出部９は、上記算出された単位時間当たりの位置変化を、撮像領域内における位置及び方向を含むベクトル情報として算出する（ステップＳ１３）。
【０１３１】
このベクトル情報は、例えば、移動開始点がＶ１ｓ（ｘ１、ｙ１）、移動終了点がＶ１ｅ（ｘ２、ｙ２）である単位時間当たりの位置変化に着目すると、
ベクトル情報Ｖ１は、一般的に、（ｘ２−ｘ１、ｙ２−ｙ１）で算出されることが知られている。ここで、上記移動開始点は所謂ベクトルの始点であり、上記移動終了点は所謂ベクトルの終点である。
【０１３２】
このベクトル情報Ｖ１は、大きさと向きを持つ量であるため、人Ｈ１が撮像領域内で示す単位時間当たりの位置変化を把握することができる。
【０１３３】
そして、ベクトル情報算出部９は、算出された単位時間当たりの位置変化の数量に対応した数量のベクトル情報を算出する。
【０１３４】
ここで、ベクトル情報の算出結果について、図８を用いて説明する。
【０１３５】
図８は、人Ｈ１の単位時間当たりの位置変化の数量に対応した数量のベクトル情報の算出結果を示す概念図である。
【０１３６】
図８に示すように、移動開始点をＶ１ｓ（ｘ１、ｙ１）、移動終了点をＶ１ｅ（ｘ２、ｙ２）としたベクトル情報Ｖ１を最初のベクトル情報として、移動開始点をＶ2ｓ（ｘ２、ｙ２）、移動終了点をＶ2ｅ（ｘ３、ｙ３）としたベクトル情報Ｖ2、移動開始点をＶ３ｓ（ｘ３、ｙ３）、移動終了点をＶ３ｅ（ｘ４、ｙ４）としたベクトル情報Ｖ３が、移動開始点をＶ10ｓ（ｘ１０、ｙ１０）、移動終了点をＶ１０ｅ（ｘ１１、ｙ１１）としたベクトル情報Ｖ１０まで順次算出される。
【０１３７】
なお、上述した例では、あるベクトル情報の移動終了点と、当該ベクトル情報の次に算出されるベクトル情報の移動開始点は同一の点を示すこととなるが、図８においては説明の便宜上、互いに接する点として表している。
【０１３８】
なお、図８に示す例では、算出されたベクトル情報を、所定のフレームに重畳して表示させている。
【０１３９】
上述したように、ベクトル情報は、移動開始点及び移動終了点（位置）を含む情報である。従って、移動開始点及び移動終了点を、フレームの座標値の対応する位置に配置させることによって、算出されたベクトル情報を、所定のフレームの対応する位置に重畳して表示させることができる。
【０１４０】
このように表示させることによって、撮像領域内における人の行動を視覚的に把握させ、解析結果に対する把握性の向上等が図られる。
【０１４１】
また、ベクトル情報Ｖ１の大きさは、一般的に、（（ｘ２−ｘ１）２＋（ｙ２−ｙ１）２）１／２で算出されることが知られている。
【０１４２】
このフレームに示されるベクトル情報Ｖ１の大きさと、撮像領域内における現実（実世界）の大きさと、の相関を算出することによって、フレームに示されるベクトル情報Ｖ１の大きさが、撮像領域内においてどの程度の大きさを示すのか把握することができる。
【０１４３】
即ち、フレームで示されるＸ，Ｙ座標値の値を、実世界の大きさであるメートル（ｍ）等に変換することによって、フレームに示されるベクトル情報Ｖ１の大きさが、撮像領域内においてどの程度の大きさを示すのか把握することができる（即ち、撮像領域内における現実の距離を把握することができる）。
【０１４４】
そして、ベクトル情報算出部９は、動画像に示される全ての人（すべての動体ＩＤ）に対して、ステップＳ１１で設定した所定期間分、又は入力される動画像が撮像された一定期間分のベクトル情報を算出することもできる。
【０１４５】
図９は、動画像に示される全ての人に対してベクトル情報を算出した場合の算出結果を示す概念図である。
【０１４６】
図９では、動画像に示される全ての人に対してベクトル情報を算出し、所定のフレームに重畳して表示させている。
【０１４７】
図９に示すように、画像に示される全ての人に対してベクトル情報を算出し、所定のフレームに重畳して表示させた場合には、解析対象の増加に伴って表示されるベクトル情報の数も増加するため、各解析対象に対応した個別のベクトル情報の向きや大きさ、又はベクトル情報の数量等を識別することが困難となり、解析結果に対する把握性が著しく低下してしまう。
【０１４８】
そこで本実施形態では、上記撮像領域の所定範囲内に存在するベクトル情報を抽出し、この抽出された所定範囲内に存在するベクトル情報に含まれる方向に基づいて、当該所定範囲内に存在するベクトル情報の一又は複数の代表的な方向を算出し、表示させるようになっている。
【０１４９】
具体的には、ユーザによる入力部２の指示により又は、予め設定された指示に基づいて、上記撮像領域内の所定範囲内を指定する命令を受け付けると、ベクトル情報抽出部１０は、当該撮像領域内の所定範囲内に存在するベクトル情報を抽出する（ステップＳ１４）。
【０１５０】
さらに具体的には、例えば、当該撮像領域内の所定範囲内として、図９の矩形領域２０が指定（例えば、矩形領域２０の定点を示す座標値を入力され、又は表示画面上に表示されるポインタ等で矩形領域を描かせる等により）されたとする。すると、ベクトル情報抽出部１０は、座標値を参照して、矩形領域２０に存在するベクトル情報を抽出する。
【０１５１】
図１０は、矩形領域２０に存在するベクトル情報を抽出した抽出例を示す概念図である。
【０１５２】
図１０に示すように、矩形領域２０に存在するベクトル情報としてベクトル情報Ｖ１〜Ｖｎが抽出されている。
【０１５３】
なお、実際には、識別不可能なほど多数のベクトル情報が抽出される場合もあるが、図１０では説明の便宜上、ベクトル情報の数量を限定して表記する。また、ベクトル情報の長さは、解析対象である人の単位時間当たりの移動距離に応じて異なるものであるが、図１０では説明の便宜上、ベクトル情報の長さは略同一で表記する。
【０１５４】
また、上述した例と同様に全てのベクトル情報には、移動開始点及び移動終了点が含まれているが、図１０では説明の便宜上、代表するベクトル情報（ベクトル情報Ｖ１及びベクトル情報Ｖｎ）にのみその図示を行い、その他の図示を省略する。
【０１５５】
このベクトル情報の抽出方法は、種々の方法を適用することができ、例えば、矩形領域２０に、ベクトル情報の移動開始点が存在する場合に、ベクトル情報抽出部１０は、当該ベクトル情報を抽出するようにしてもよい。
【０１５６】
具体的に、ベクトル情報Ｖ１を例に説明すると、ベクトル情報Ｖ１の移動開始点Ｖ１Ｓが矩形領域２０に含まれている場合に、ベクトル情報抽出部１０は、当該ベクトル情報を抽出する。
【０１５７】
これにより、矩形領域２０にベクトル情報の移動開始点のみが存在する場合（即ち、これから矩形領域２０から退出（通過）する動きを示すベクトル情報）についても、ベクトル情報抽出部１０は、当該ベクトル情報を抽出するため、矩形領域２０から退出する解析対象の動きを正確に解析することができる。
【０１５８】
また、矩形領域２０に、ベクトル情報の移動終了点が存在する場合に、ベクトル情報抽出部１０は、当該ベクトル情報を抽出するようにしてもよい。
【０１５９】
具体的に、ベクトル情報Ｖ１の移動終了点Ｖ１ｅが矩形領域２０に含まれている場合に、ベクトル情報抽出部１０は、当該ベクトル情報を抽出する。
【０１６０】
これにより、矩形領域２０にベクトル情報の移動終了点のみが存在する場合（即ち、矩形領域２０へ侵入する動きを示すベクトル情報）についても、ベクトル情報抽出部１０は、当該ベクトル情報を抽出するため、矩形領域２０から侵入する解析対象の動きを正確に解析することができる。
【０１６１】
次に、移動状態算出部１１は、矩形領域２０に存在するベクトル情報に含まれる方向に基づいて、当該ベクトル情報の代表的な方向を算出する（ステップＳ１５）。
【０１６２】
繰り返すが、ベクトル情報は、上述したように解析対象の移動（動き）に応じて様々な方向を示すこととなる。このような解析対象の動きに応じたベクトル情報を表示させると、各解析対象に対応した個別のベクトル情報を識別することが困難となる原因となる。
【０１６３】
そこで、移動状態算出手段１１は、矩形領域２０に存在するベクトル情報の代表的な方向を算出するのである。
【０１６４】
以下に、ステップＳ１５の処理の詳細について説明する。
【０１６５】
本実施形態では、移動状態算出部１１は、第１の座標系（小領域モデル）を用いて、この代表的な方向を算出する。
【０１６６】
ここで、第１の座標系について、図１１を用いて説明する。
【０１６７】
図１１は、第１の座標系を示す図である。
【０１６８】
図１１に示すように、第１の座標系Ｔは、原点０を中心に、原点０から背離する方向を示す方向軸ａ〜ｈ（本願の原点を中心に所定の方向を示す方向軸の一例）が、原点０を中心に互いに４５°（本願の所定の角度の一例）離れて８つ（本願の複数の一例）設けられている。即ち、第１の座標系Ｔは、平面座標系を８分割した座標軸である。
【０１６９】
そして、移動状態算出部１１は、矩形領域２０に存在するベクトル情報に含まれる方向が、第１の座標系Ｔにおける何れかの方向軸ａ〜ｈが示す方向と近似するかを判定する。
【０１７０】
この近似を判定する方法としては種々の方法を適用することができるが、その一例について、図１２を用いて説明する。
【０１７１】
図１２は、近似を判定する方法を示す概念図である。
【０１７２】
上記近似の判定に際しては、移動状態算出部１１は、一の方向軸が示す方向と近似する範囲について予め定められたデータを参照する。
【０１７３】
この近似する範囲としては、例えば、原点０を中心として、一の方向軸を仮想的に所定の角度の範囲で回転させた場合に、当該仮想的に回転させた方向軸が、当該所定の角度の範囲においてそれぞれ示す全ての方向が、近似する範囲として定められる。
【０１７４】
具体的には、図１２に示すように、一の方向軸として方向軸ａが示す方向と近似する範囲については、原点０を中心として、方向軸ａを仮想的に一の方向へ２２．５°、逆方向へ２２．５°回転（即ち、原点０を中心に方向軸ａを４５°の範囲内で回転）させた場合に、当該仮想的に回転させた方向軸ａが、一の方向へ２２．５°、逆方向へ２２．５°回転させた場合にそれぞれ示す全ての方向が、方向軸ａが示す方向と近似する範囲にあると判定される。すなわち、方向軸ａが示す方向と近似する範囲は、図１２の斜線部で示した範囲が該当することとなる。
【０１７５】
このように、移動状態算出部１１は、第１の座標系Ｔを用いて、一又は複数の代表的な方向を算出することによって、ベクトル情報の移動開始点を基準に近似する範囲を判定するため装置（ＣＰＵ等）の処理負担を軽減しつつ、撮像領域の所定範囲内から退出する解析対象の動きを正確に解析することができる。
【０１７６】
以下、上述した方向軸が示す方向と近似する範囲を、単に「近似する範囲」と称する。
【０１７７】
なお、図１２に示す例では、方向軸ｂ〜方向軸ｈが示す方向と近似する範囲についても、方向軸ａと同様に定められている。
【０１７８】
また、この近似する範囲の設定方法は上述した例に限られず、任意に設定することができる。具体的には、一の方向軸と他の方向軸に対して、近似する範囲を異なるように設定してもよい。
【０１７９】
また、上述した例では、平面座標系を８分割した方向軸ａ〜方向軸ｈを用いて近似する範囲を判定するようになっているが、これに限られず、例えば、平面座標系を任意の方向軸で分割した座標軸を用いるようにしてもよい（例えば、４分割、６分割等）。
【０１８０】
そして、ステップＳ１５の処理として、移動状態算出部１１は、矩形領域２０に存在するベクトル情報に含まれる移動開始点を、第１の座標系Ｔの原点に仮想的に移動する。そして、移動状態算出部１１は、移動させたベクトル情報に含まれる方向が、第１の座標系Ｔにおける何れかの方向軸ａ〜ｈの近似する範囲に該当するか判定する。
【０１８１】
ここで、図１３を用いて、移動状態算出部１１が、移動させたベクトル情報に含まれる方向が、第１の座標系Ｔにおける何れかの方向軸の近似する範囲に該当するかを判定した判定結果について説明する。
【０１８２】
図１３は、移動させたベクトル情報に含まれる方向が、第１の座標系Ｔにおける何れかの方向軸の近似する範囲に該当するかを判定した判定結果を示す図である。
【０１８３】
図１３に示すように、ベクトル情報Ｖ１の移動開始点Ｖ１Ｓが、原点０に仮想的に移動され、ベクトル情報Ｖ１に含まれる方向が、方向軸ｆの近似する範囲に含まれている。
【０１８４】
従って、移動状態算出部１１は、ベクトル情報Ｖ１は、方向軸ｆが示す方向に近似すると判断する。
【０１８５】
そして、移動状態算出部１１は、矩形領域２０に存在するベクトル情報について、順次同様の判断を行う。
【０１８６】
そして、ステップＳ１５の最後の処理として、移動状態算出部１１は、矩形領域２０に存在するベクトル情報の代表的な方向を算出する。
【０１８７】
代表的な方向の算出方法については、種々の方法を適用することができる。
【０１８８】
具体的には、例えば、移動状態算出部１１は、ベクトル情報と近似すると判断された方向軸が示す方向のうち、最も多くのベクトル情報と近似すると判断された方向軸が示す方向を、代表的な方向とすることができる。
【０１８９】
そして、移動状態算出部１１は、矩形領域２０に存在する全てのベクトル情報の代表的な方向を算出した場合には（ステップＳ１６：ＹＥＳ）、表示制御部１２は、矩形領域２０に存在するベクトル情報の代表的な方向を表示する（ステップＳ１７）。
【０１９０】
ここで、矩形領域２０に存在するベクトル情報の代表的な方向を表示した表示例について図１４を用いて説明する。
【０１９１】
図１４は、矩形領域２０に存在するベクトル情報の代表的な方向を表示した表示例を示す図である。
【０１９２】
図１４に示すように、矩形領域２０には、矩形領域２０に存在するベクトル情報の代表的な方向が表示されている。この矩形領域２０に表示される方向は、上述した代表的な方向の算出方法として、第１の座標系Ｔの方向軸のうち、最も多く近似すると判断された方向軸（図１３の方向軸ｂ）が示す方向が表示されたものである。
【０１９３】
以下、このように判定された方向軸を、「代表的な方向を示す方向軸」と称する（図１３の方向軸ｂ）。また、このように算出された代表的な方向を、単に「代表的な方向」と称する。
【０１９４】
この表示された代表的な方向は、矩形領域２０における動画像に示された人の動きのうち、最も多くの人が示した動きが示されている。
【０１９５】
ここで、矩形領域２０は、店舗Ｓ１の入口付近の位置を示している。そして、表示された代表的な方向は、この店舗Ｓ１に侵入する方向を示している。
【０１９６】
従って、この表示結果から、店舗Ｓ１に来店する人が多く、店舗Ｓ１は人気がある店舗であることがわかる。
【０１９７】
また移動状態算出部１１は、矩形領域２０に存在する全てのベクトル情報の代表的な方向を算出していない場合には（ステップＳ１６：ＮＯ）、ステップＳ１１の処理へと移行する。
【０１９８】
また、この代表的な方向の表示態様は、種々の形態を適用することができる。
【０１９９】
図１４で示す例では、代表的な方向として、最も多くのベクトル情報と近似すると判断された方向軸のみを表示させるようにしたが、２番目又は３番目に多くベクトル情報と近似すると判断された方向軸も併せて表示させるようにしてもよい。
【０２００】
即ち、矩形領域２０に表示される代表的な方向の数量は任意に設定することができるのである。
【０２０１】
また、代表的な方向を示す方向軸に属するベクトル情報の数量に応じて、代表的な方向の表示態様を変化させるようにしてもよい。
【０２０２】
この代表的な方向を示す方向軸に属するベクトル情報の数量とは、移動状態算出部１１によって、代表的な方向であると判定された方向軸に、近似すると判定されたベクトル情報の数量をいう。
【０２０３】
ここで、代表的な方向を示す方向軸に属するベクトル情報の数量に応じて、代表的な方向の表示態様を変化させた場合の表示結果について、図１５を用いて説明する。
【０２０４】
図１５は、代表的な方向を示す方向軸に属するベクトル情報の数量に応じて、代表的な方向の表示態様を変化させた場合の表示結果を示す概念図である。
【０２０５】
図１５に示すように、表示制御部１２は、代表的な方向を示す方向軸に属するベクトル情報の数量に応じて、１〜５の５段階で、代表的な方向３０の太さを変化させて表示させることもできる。
【０２０６】
また、代表的な方向を示す方向軸に属するベクトル情報に含まれる位置変化の大きさに応じて、代表的な方向の表示態様を変化させるようにしてもよい。
【０２０７】
この代表的な方向を示す方向軸に属するベクトル情報に含まれる位置変化の大きさとは、移動状態算出部１１によって、代表的な方向であると判定された方向軸に、近似すると判定されたベクトル情報に含まれる位置変化の大きさをいう。
【０２０８】
かかる位置変化の大きさは、ベクトル情報に含まれる移動開始点及び移動終了点が示す座標値に基づいて、把握することが可能である。
【０２０９】
そこで、表示制御部１２は、代表的な方向であると判定された方向軸に、近似すると判定されたベクトル情報に含まれる位置変化の大きさに基づいて、代表的な方向の表示態様を変化させる。
【０２１０】
ここで、代表的な方向を示す方向軸に属するベクトル情報に含まれる位置変化の大きさに応じて、代表的な方向の表示態様を変化させた場合の表示結果について、図１６を用いて説明する。
【０２１１】
図１６は、代表的な方向を示す方向軸に属するベクトル情報に含まれる位置変化に応じて、代表的な方向の表示態様を変化させた場合の表示結果を示す概念図である。
【０２１２】
図１６に示すように、表示制御部１２は、代表的な方向を示す方向軸に属するベクトル情報に含まれる位置変化に応じて、１〜５の５段階で、代表的な方向４０の長さを変化させて表示させることもできる。
【０２１３】
この位置変化の大きさは各ベクトル情報の位置変化の大きさを積算した値を適用してもよいし、各ベクトル情報の位置変化の大きさの平均を算出した値を適用してもよい。
【０２１４】
また、代表的な方向を示す方向軸に属するベクトル情報の数量、及び、当該ベクトル情報に含まれる位置変化の大きさに応じて、代表的な方向の表示態様を変化させるようにしてもよい。
【０２１５】
図１７は、代表的な方向を示す方向軸に属するベクトル情報の数量、及び、当該ベクトル情報に含まれる位置変化の大きさに応じて、代表的な方向の表示態様を変化させた場合の表示結果を示す概念図である。
【０２１６】
図１７に示すように、表示制御部１２は、代表的な方向を示す方向軸に属するベクトル情報の数量、及び、当該ベクトル情報に含まれる位置変化の大きさに応じて、代表的な方向５０の太さ及び長さを変化させて表示させることもできる。
【０２１７】
また、上述した例では、移動状態算出部１１は、矩形領域２０に存在するベクトル情報に基づいて上記代表的な方向を算出したが、フレーム（撮像領域内）を所定の大きさの領域に分割する分割領域に存在するベクトル情報に基づいて、前記一又は複数の代表的な方向を、各分割領域毎に算出し、算出された各分割領域に対応する一又は複数の代表的な方向を、当該各分割領域に表示させるようにしてもよい。
【０２１８】
ここで、移動状態算出部１１が、分割領域に存在するベクトル情報に基づいて上記代表的な方向を算出した場合の算出結果について、図１８を用いて説明する。
【０２１９】
図１８は、分割領域に存在するベクトル情報に基づいて一又は複数の代表的な方向を算出し、算出された各分割領域に対応する一又は複数の代表的な方向を、当該各分割領域に表示した場合の表示例を示す図である。
【０２２０】
図１８に示すように、表示部４に示される表示画像６０には、フレームを予め定められた複数の分割領域６１に存在するベクトル情報に基づいて算出された代表的な方向６２及び６３等が表示されている。この分割領域６１は、フレームを所定の大きさの複数の分割領域で分割されたものである。
【０２２１】
なお、図１８においては、分割領域６１以外の分割領域の部材番号については、説明の便宜上、その図示を省略している。また、代表的な方向については、図１８において矢印で表示しているが、代表的な方向６２及び６３以外の代表的な方向の部材番号については、説明の便宜上、その図示を省略している。
【０２２２】
この表示例から、例えば、代表的な方向６２は、店舗Ｓ１に侵入する方向を示しているため、店舗Ｓ１に来店する人が多く、店舗Ｓ１は人気がある店舗であることがわかる。また、代表的な方向６３は、店舗Ｓ２の前を通過する方向を示しているため、店舗Ｓ２に来店する人は少なく、店舗Ｓ１はあまり人気がない店舗であることがわかる。
【０２２３】
また、移動状態算出部１１は、中領域を参照して、上述した代表的な方向を算出することもできる。
【０２２４】
この中領域とは、上述したフレームを予め複数の分割領域に分割された場合の１つの分割領域を小領域とすると、所定の数の前記小領域を一つの領域としてまとめたものをいう。そして、この中領域には、中領域毎に算出される代表的な方向の数量が予め設定されており、移動状態算出部１１は、各中領域に設定された代表的な方向の数量に応じて、前記中領域の属する小領域毎に、一又は複数の代表的な方向を算出し、前記算出された中領域の属する小領域毎に、一又は複数の代表的な方向を、当該小領域に表示させるようになっている。
【０２２５】
例えば、動画像で示す人に対して上述したベクトル情報を算出した場合、算出されるベクトル情報に含まれる方向は、分散したものとなる場合がある。また、撮像領域の範囲内では、このベクトル情報が密集する場所や、まったく算出されない場所がある。即ち、算出されるベクトル情報にばらつきが生じることとなる。
【０２２６】
そして、このようなベクトル情報に基づいて代表的な方向を算出すると、この代表的な方向においても、同様にばらつきが生じる。
【０２２７】
そこで、動画像全体で万遍なくベクトル情報が算出されるように、上記中領域を設定し、中領域毎に算出される代表的な方向の数量を予め設定するようになっている。
【０２２８】
ここで、中領域の設定例について、図１９を用いて説明する。
【０２２９】
図１９は、中領域の設定例を示す概念図である。
【０２３０】
図１９に示すように、表示部４に示される表示画像７０には、フレームを予め定められた複数の中領域７１と、中領域７１に算出される一又は複数の代表的な方向の数量７２として１がそれぞれ設定されている。この中領域７１は、上述したように所定の数の前記小領域を一つの領域としてまとめたものであり、例えば、図１８に示す小領域６１と同一の大きさの領域を、４つまとめた大きさ示すものである（即ち、中領域７１は、小領域６１の４倍の大きさを示す）。そして、表示画像７０にあっては、２０の中領域が設定されている。
【０２３１】
なお、図１９においては、中領域７１以外の中領域の部材番号、及び中領域７１に算出される代表的な方向の数量７２以外の数量の部材番号については、説明の便宜上、その図示を省略している。
【０２３２】
この前記中領域に属する小領域毎に、一又は複数の代表的な方向を算出する方法は、種々の方法を適用することができる。
【０２３３】
具体的には、例えば、ある中領域に着目し、当該中領域に属する小領域毎に最も多くのベクトル情報と近似すると判断された方向軸を抽出する。そして、小領域毎に抽出された各方向軸のうち、最も多くのベクトル情報と近似すると判断された方向軸を基準に、又は３番目に多くベクトル情報と近似すると判断された方向軸を、中領域に算出される代表的な方向の数量に応じて表示するようにしてもよい（すなわち、方向軸に近似すると判断されたベクトル情報の数量が、大きいものから順番に表示させる）。
【０２３４】
また、中領域に属する小領域において抽出されるベクトル情報が一定の数量以下の場合には、中領域に算出される代表的な方向を表示させないようにしてもよい。
【０２３５】
また、中領域に属する小領域において抽出されるベクトル情報が、一定の数量以上の場合には、抽出されたベクトル情報の数量の比に応じて、中領域毎に、中領域に算出される代表的な方向を決定するようにしてもよい。そして、このような算出方法を適用して、移動状態算出部１１が、前記中領域に属する小領域毎に、一又は複数の代表的な方向を算出した場合の算出結果について、図２０を用いて説明する。
【０２３６】
図２０は、移動状態算出部１１が、中領域を参照して、前記中領域に属する小領域毎に、一又は複数の代表的な方向を算出した場合の算出結果を表示した場合の表示例を示す図である。
【０２３７】
図２０に示すように、表示部４に示される表示画像８０には、中領域８１に算出される代表的な方向の数量８２に対応した数量の一又は複数の代表的な方向が表示されている。すなわち、表示画像８０において、中領域に算出される代表的な方向の数量が０のものについては代表的な方向が表示されておらず、中領域に算出される代表的な方向の数量が１のものについては１つの代表的な方向が、中領域に算出される代表的な方向の数量が２のものについては２つの代表的な方向が、中領域に算出される代表的な方向の数量が３のものについては３つの代表的な方向が、それぞれ表示されている。また、実際の表示画像には、中領域、及び中領域に算出される代表的な方向の数量は表示されず、代表的な方向のみ表示されるように設定できる。また、上述した撮像領域の所定範囲（上述した、矩形領域２０等）として、少なくとも２以上の異なる大きさの撮像領域の所定範囲を設定し、当該領域に存在するベクトル情報に含まれる方向に基づいて代表的な方向を算出させることもできる。
【０２３８】
ここで、２以上の異なる大きさの撮像領域の所定範囲を設定し、当該領域に存在するベクトル情報に含まれる方向に基づいて代表的な方向を算出させた場合の表示例について図２１を用いて説明する。
【０２３９】
図２１は、２以上の異なる大きさの撮像領域の所定範囲を設定し、当該領域に存在するベクトル情報に含まれる方向に基づいて代表的な方向を算出させた場合の表示例を示す図である。
【０２４０】
図２１に示すように、表示部４に示される表示画像９０には、商品が陳列された陳列棚９１を中心に、左右方向に通路９２及び通路９３が表示されている。
【０２４１】
そして、陳列棚９１の正面に矩形領域９４（異なる大きさの撮像領域の所定範囲の一例）が、通路９２の入口に矩形領域９５（異なる大きさの撮像領域の所定範囲の一例）が、通路９３の入口に矩形領域９６（異なる大きさの撮像領域の所定範囲の一例）が、それぞれ設定されている。
【０２４２】
さらに、矩形領域９４には矩形領域９４に存在するベクトル情報に含まれる方向に基づいて算出された代表的な方向９６が、矩形領域９５には矩形領域９５に存在するベクトル情報に含まれる方向に基づいて算出された代表的な方向９７が、矩形領域９６には矩形領域９６に存在するベクトル情報に含まれる方向に基づいて算出された代表的な方向９８が、それぞれ表示されている。
【０２４３】
この表示画像９０に表示される代表的な方向９６〜９８には、例えば、陳列棚９１、通路９２、又は通路９３に向かってくる人の人数や位置変化の大きさ、及び通過する人の人数や位置変化の大きさが示されている。
【０２４４】
そして、代表的な方向９６から、陳列棚９１に向かってくる人の人数が多いことが示されれば、陳列棚９１に陳列されている商品に興味を持つ人が多いことが把握される。
【０２４５】
また、代表的な方向９６から、陳列棚９１に向かってくる人の位置変化が大きいことが示されれば、少しでも早く陳列棚９１に到着したいと考える人が多いことが把握される。
【０２４６】
また、代表的な方向９６から、陳列棚９１を通過する人の人数が多いことが示されれば、陳列棚９１に陳列されている商品は、人気がない商品であることが把握される。
【０２４７】
さらに、代表的な方向９７又は代表的な方向９８から、通路９２又は通路９３の奥へ向かう人の人数が多いことが示されれば、通路９２又は通路９３の奥には、人が興味を持つ施設等が存在することが把握される。
【０２４８】
なお、これらの２以上の異なる大きさの撮像領域の所定範囲は、ユーザの入力部２の操作に基づいて任意に設定することもできる。
【０２４９】
また、撮像領域の所定範囲には、属性ラベルを設定することもできる。
【０２５０】
この属性ラベルとは、撮像領域の所定範囲について付与される情報であり、例えば、撮像領域の所定範囲を他の範囲と識別するための識別情報や、撮像領域の所定範囲を特徴づける情報等が該当する。
【０２５１】
ここで、撮像領域の所定範囲に、属性ラベルを設定した場合の例を、図２２を用いて説明する。
【０２５２】
図２２は、２以上の撮像領域の所定範囲に、属性ラベルを設定した場合の例を示す図である。
【０２５３】
図２２に示すように、矩形領域１００（２以上の撮像領域の所定範囲の一例）には、属性ラベル１０５が設定されている。なお、矩形領域１００が示す撮像領域の所定範囲は、店舗において、低価格（価格が安い）の商品が陳列された場所を示している。そこで、属性ラベル１０５は、撮像領域の所定範囲を特徴づける情報として、「低価格」との情報が設定されている。
【０２５４】
同様に、矩形領域１０１〜矩形領域１０４には、属性ラベル１０６〜属性ラベル１０９が設定されている。
【０２５５】
属性ラベル１０６には、中価格（例えば、ユーザが購入しやすい手頃な価格）の商品が陳列された場所を示す「中価格」との情報が、属性ラベル１０７には、高価格（例えば、高価な商品）の商品が陳列された場所を示す「高価格」との情報が、属性ラベル１０８には、新しく発売された商品が陳列された場所を示す「新製品」との情報が、属性ラベル１０９には、店舗の入り口又は測定開始地点を示す「トリガ」との情報がそれぞれ設定されている。
【０２５６】
このように設定された属性ラベル１０５〜１０９は、例えば、表示部４に示される表示画像に表示される。この属性ラベル１０５〜１０９を見たユーザは、撮像領域の所定範囲の特徴を容易に把握することができる。
【０２５７】
また、上述した例では、移動状態算出部１１は、第１の座標（小領域モデル）を用いて、この代表的な方向を算出するようになっているが、第２の座標系を用いて、代表的な方向を算出するようにしてもよい。
【０２５８】
ここで、第２の座標系について、図２３を用いて説明する。
【０２５９】
図２３は、第２の座標系を示す図である。
【０２６０】
図２３に示すように、第２の座標系Ｕは、原点０を中心に、原点０を示す方向を示す方向軸ａ〜ｈ（本願の所定の方向から原点を示す方向軸の一例）が、原点０を中心に互いに４５°（本願の所定の角度の一例）離れて８つ（本願の複数の一例）設けられている。
【０２６１】
そして、移動状態算出部１１は、撮像領域の所定範囲（例えば、矩形領域２０）に存在するベクトル情報に含まれる移動終了点を、第２の座標系Ｕの原点に仮想的に移動する。そして、移動状態算出部１１は、移動させたベクトル情報に含まれる方向が、第２の座標系Ｕにおける何れかの方向軸ａ〜ｈの近似する範囲に該当するか判定する。
【０２６２】
このように、移動状態算出部１１は、第２の座標系Ｕを用いて、代表的な方向を算出することによって、ベクトル情報の移動終了点を基準に近似する範囲を判定するため、装置の処理負担を軽減しつつ、撮像領域の所定範囲内へ侵入する解析対象の動きを正確に解析することができる。
【０２６３】
また、上述した例では、解析対象が示す単位時間当たりのベクトル情報を、移動開始点及び移動終了点を結ぶ直線で算出したが、移動開始点又は移動終了点を通過する近似曲線（回帰直線）で算出するようにしてもよい。
【０２６４】
ここで、解析対象が示す単位時間当たりのベクトル情報を、近似曲線で算出した場合について、図２４を用いて説明する。
【０２６５】
図２４は、解析対象が示す単位時間当たりのベクトル情報を、近似曲線で算出した場合を示す概念図である。
【０２６６】
まず、解析対象が示す単位時間当たりのベクトル情報を算出するに際して、単位時間を５秒として想定する。
【０２６７】
図２４に示すように、人Ｈ１が、位置としてＶ１ｓ（ｘ１、ｙ１）からＶ５ｅ（ｘ６、ｙ６）まで、５秒間で移動した場合（図の破線部で表わした矢印まで移動）を考える。この時、基準となるフレームで人Ｈ１が示す位置がＶ１ｓ（ｘ１、ｙ１）であり、当該フレームから秒後のフレームで人Ｈ１が示す位置がＶ１ｅ（ｘ２、ｙ２）と、さらに、１秒間隔で、人Ｈ１が示す位置がＶ3ｓ（ｘ３、ｙ３）、Ｖ4ｓ（ｘ４、ｙ４）、Ｖ５ｓ（ｘ５、ｙ５）とそれぞれ特定されたものとする。なお、ある時間当たりの位置変化の移動終了点と、当該位置変化の次に算出される単位時間当たりの位置変化の移動開始点（例えば、Ｖ１ｅとＶ2ｓ等）は同一の点を示す場合もあることは、図７を用いて既に説明したため、その説明を省略する。
【０２６８】
ここで、単位時間を５秒間とした場合のベクトル情報は、移動開始点Ｖ１ｓ（ｘ１、ｙ１）又は、移動終了点Ｖ５ｅ（ｘ６、ｙ６）の何れかを通過する、Ｖ１ｓ（ｘ１、ｙ１）からＶ５ｅ（ｘ６、ｙ６）における回帰直線を算出することによって求めることができる。
【０２６９】
この回帰直線の算出方法は公知の技術であるため、詳しい説明は省略するが、所謂、最小二乗法によって算出することができる。
【０２７０】
具体的には、ｎ個の２変数データ（ｘ1、ｙ1）、（ｘ2、ｙ2）、・・・、（ｘi、ｙi）、・・・、（ｘｎ、ｙｎ）における回帰直線は、回帰直線を式（１）とすると、式（２）及び式（３）を式（１）へ代入することにより算出される。
【０２７１】
【数１】
【０２７２】
【数２】
【０２７３】
【数３】
本実施例においては、Ｖ１ｓ（ｘ１、ｙ１）からＶ５ｅ（ｘ６、ｙ６）における値を式（２）及び式（３）へ代入し、ａ及びｂを算出し、式（１）の回帰直線を算出する。
【０２７４】
そして、こうして算出された回帰直線を、解析対象が示す単位時間当たりのベクトル情報として適用するようにしてもよい。
【０２７５】
このように単位時間当たりのベクトル情報を回帰直線で算出することによって、単位時間当たりのベクトル情報の移動開始点から移動終了点の間における位置変化も鑑みて当該ベクトル情報が算出されるため、より正確に解析対象の動きを把握することができる。
【０２７６】
なお、以上説明した実施形態は特許請求の範囲にかかる発明を限定するものではない。そして、上記実施形態の中で説明されている構成の組み合わせ全てが発明の課題解決に必須の手段であるとは限らない。
【０２７７】
また、図２及び図６に示すフローチャートに対応するプログラムをフレキシブルディスク又はハードディスク等の記録媒体に記録しておき、あるいはネットワークＮＴを介して取得して記憶しておき、これらを汎用のパーソナルコンピュータ等に読み出して実行させることにより、当該パーソナルコンピュータ等を上記実施形態にかかる画像解析装置ＳＳのＣＰＵが示す動作と同様に機能させることも可能である。
【０２７８】
以上説明したように、本実施形態においては、動画像として撮像された解析対象の動きを解析する画像解析装置ＳＳは、撮像領域内を一定期間撮像した動画像を記憶する入力画像格納部５と、前記動画像に示される前記解析対象を検出する動体検出部６と、前記検出された解析対象が、前記撮像領域内で示す位置変化を算出し、動体ＩＤと対応付けて位置座標記憶部８へ記憶する位置変化算出部７と、前記記憶された位置変化に基づいて、前記検出された解析対象が、前記撮像領域内で示す単位時間当たりの位置変化を、前記撮像領域内における位置及び方向を含むベクトル情報として動体ＩＤ毎に算出するベクトル情報算出部９と、前記ベクトル情報に含まれる位置に基づいて、前記撮像領域の所定範囲内に存在するベクトル情報を抽出するベクトル情報抽出部１０と、前記抽出された所定範囲内に存在するベクトル情報に含まれる方向に基づいて、当該所定範囲内に存在するベクトル情報の一又は複数の代表的な方向を算出する移動状態算出部１１と、前記算出された代表的な方向を、外部へ表示させる表示制御部１２と、を備えるように構成したため、解析対象の動きをより正確に解析し、解析結果に対する把握性を向上させることができる。
【０２７９】
なお、上記実施形態においては、本願を画像解析装置ＳＳに対して適用した場合の例を示したが、その他にも例えば、パーソナルコンピュータ又は家庭用等の電子機器等に対しても適用可能である。
【符号の説明】
【０２８０】
１ 画像入力部
２ 入力部
３ 制御部
４ 表示部
５ 入力画像格納部
６ 動体検出部
７ 位置変化算出部
８ 位置座標記憶部
９ ベクトル情報算出部
１０ ベクトル情報抽出部
１１ 移動状態算出部
１２ 表示制御部
１３ 出力フレームメモリ
ＳＳ 画像解析装置
【技術分野】
【０００１】
本発明は、画像に表示される物体を解析する装置及び方法等の技術分野に関する。
【背景技術】
【０００２】
従来から、所定の施設（交通機関、商業施設、公共機関等）を利用する人を動画像として撮像し、当該動画像に示される人の動き（流れ）を、追跡処理を適用して解析し、人為的な手段を介さずに人の行動を把握することが行われている。
【０００３】
このような追跡処理の一例としては、動画像を構成するフレームのうち基準となるフレームに示される解析対象をラベリングにより特定し、特定した解析対象が他のフレームで示す動きを追跡する追跡処理が知られている（例えば、特許文献１参照）。
【０００４】
そして、この追跡処理の結果を、解析対象毎の移動方向を示す動線又はベクトルとして表示することにより、人の行動を視覚的に把握させ、解析結果に対する把握性（把握や認識のし易さ）の向上等を図る技術が開示されている。
【０００５】
例えば、特許文献２では、指定したエリア内の監視情報を動線として表示する技術が開示されている。
【０００６】
また、特許文献３では、空間内の各通行人それぞれの通行軌跡を求め、所定空間の所定時間内に通行した通行人全ての通行軌跡を表示する技術が開示されている。
【０００７】
また、特許文献４では、画像上に人流を示す矢印（ベクトル）を表示する技術が開示されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特公平６−２８４４９号公報
【特許文献２】特開２００３−１０１９９４号公報
【特許文献３】特開２００５−３４６６１７号公報
【特許文献４】特開２００７−２４３３４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、上記特許文献１〜４で開示される技術では、動画像に示される全ての解析対象に応じたベクトル又は動線が表示される。従って、解析対象の増加に伴って表示される動線又はベクトルの数も増加するため、多くの解析対象が表示される場合には、各解析対象に対応した個別のベクトルの向きや大きさ、又は動線の軌跡や数量等を識別することが困難となり、解析結果に対する把握性が著しく低下してしまう。
【００１０】
さらに、特許文献３で開示される動線を表示する技術では、解析対象が移動する方向や数量を把握することが困難であるため、解析対象が示す動きを詳細に把握することができない（解析対象の動的要素を表現するには欠けたものとなる）。
【００１１】
加えて、特許文献４で開示されるベクトルを表示する技術では、解析対象の動きの方向を示すベクトルの向きが極めて限定的であるため、解析対象が示す動作を詳細に把握することができない（ベクトルの方向が一意に決定されてしまう）。
【００１２】
そこで、本発明は、上記各問題点に鑑みてなされたものであり、その目的の一例は、解析対象の動きをより正確に解析し、解析結果に対する把握性を向上させる装置及び方法等を提供することである。
【課題を解決するための手段】
【００１３】
上記課題を解決するために、請求項１に記載の発明は、動画像として撮像された解析対象の動きを解析する画像解析装置であって、撮像領域内を一定期間撮像した動画像を記憶する記憶手段と、前記動画像に示される前記解析対象を検出する検出手段と、前記検出された解析対象が、前記撮像領域内で示す位置変化を算出し、前記解析対象を他の解析対象と識別するための解析対象識別情報と対応付けて記憶する位置変化算出手段と、前記記憶された位置変化に基づいて、前記検出された解析対象が、前記撮像領域内で示す単位時間当たりの位置変化を、前記撮像領域内における位置及び方向を含むベクトル情報として解析対象識別情報毎に算出するベクトル情報算出手段と、前記ベクトル情報に含まれる位置に基づいて、前記撮像領域の所定範囲内に存在するベクトル情報を抽出するベクトル情報抽出手段と、前記抽出された所定範囲内に存在するベクトル情報に含まれる方向に基づいて、当該所定範囲内に存在するベクトル情報の一又は複数の代表的な方向を算出する移動状態算出手段と、前記算出された代表的な方向を、外部へ表示させる表示制御手段と、を備えることを特徴とする。
【００１４】
従って、解析対象の動きをより正確に解析し、解析結果に対する把握性を向上させることができる。
【００１５】
請求項２に記載の発明は、請求項１に記載の画像解析装置であって、前記ベクトル情報算出手段は、前記ベクトル情報として、前記解析対象の移動開始点を算出し、前記ベクトル情報に含まれる移動開始点に基づいて、前記撮像領域の所定範囲内に存在するベクトル情報を抽出することを特徴とする。
【００１６】
従って、前記撮像領域の所定範囲内に侵入する解析対象の動きを正確に解析し、解析結果に対する把握性を向上させることができる。
【００１７】
請求項３に記載の発明は、請求項１又は２に記載の画像解析装置であって、前記ベクトル情報算出手段は、前記ベクトル情報として、前記解析対象の移動終了点を算出し、前記ベクトル情報に含まれる移動終了点に基づいて、前記撮像領域の所定範囲内に存在するベクトル情報を抽出することを特徴とする。
【００１８】
従って、前記撮像領域の所定範囲内から退出する解析対象の動きを正確に解析し、解析結果に対する把握性を向上させることができる。
【００１９】
請求項４に記載の発明は、請求項１乃至３の何れか１項に記載の画像解析装置であって、前記移動状態算出手段は、前記抽出された所定範囲内に存在するベクトル情報に含まれる方向が、原点を中心に所定の方向を示す方向軸が、当該原点を中心に所定の角度離れて複数設けられた第１の座標系における何れかの方向軸が示す方向と近似するかを判定し、前記移動状態算出手段は、前記ベクトル情報に含まれる方向と、近似すると判定された方向軸が示す方向を、前記所定範囲内に存在するベクトル情報の代表的な方向と算出することを特徴とする。
【００２０】
従って、予め定められた方向に応じて前記所定範囲内に存在するベクトル情報の代表的な方向が定められるため、装置（ＣＰＵ等）の処理負担を軽減しつつ、解析結果に対する把握性を向上させることができる。
【００２１】
請求項５に記載の発明は、請求項１乃至４の何れか１項に記載の画像解析装置であって、前記移動状態算出手段は、前記抽出された所定範囲内に存在するベクトル情報に含まれる方向が、所定の方向から原点を示す方向軸が、当該原点を中心に所定の角度離れて複数設けられた第２の座標系における何れかの方向軸が示す方向と近似するかを判定し、移動状態算出手段は、前記ベクトル情報に含まれる方向と、近似すると判定された方向軸が示す方向を、前記所定範囲内に存在するベクトル情報の代表的な方向と算出することを特徴とする。
【００２２】
従って、予め定められた方向に応じて前記所定範囲内に存在するベクトル情報の代表的な方向が定められるため、装置（ＣＰＵ等）の処理負担を軽減しつつ、解析結果に対する把握性を向上させることができる。
【００２３】
請求項６に記載の発明は、請求項１乃至５の何れか１項に記載の画像解析装置であって、前記ベクトル情報抽出手段は、少なくとも２以上のベクトル情報を抽出し、前記表示制御手段は、前記算出された代表的な方向に属するベクトル情報の数量に応じて、前記外部へ表示させる代表的な方向の表示態様を変化させることを特徴とする。
【００２４】
従って、算出された代表的な方向に属するベクトル情報の数量に応じて、前記外部へ表示させる代表的な方向の表示態様が変化するため、解析結果の詳細な情報について、視覚的に容易に把握することができる。
【００２５】
請求項７に記載の発明は、請求項１乃至６の何れか１項に記載の画像解析装置であって、前記ベクトル情報抽出手段は、少なくとも２以上のベクトル情報を抽出し、前記表示制御手段は、前記算出された代表的な方向に属するベクトル情報に含まれる位置変化の大きさに応じて、前記外部へ表示させる代表的な方向の表示態様を変化させることを特徴とする。
【００２６】
従って、算出された代表的な方向に属するベクトル情報に含まれる位置変化の大きさに応じて、前記外部へ表示させる代表的な方向の表示態様が変化するため、解析結果の詳細な情報について、視覚的に容易に把握することができる。
【００２７】
請求項８に記載の発明は、請求項１乃至７の何れか１項に記載の画像解析装置であって、前記ベクトル情報抽出手段は、少なくとも２以上のベクトル情報を抽出し、前記表示制御手段は、前記移動状態算出手段によって算出された代表的な方向に属するベクトル情報の数量が所定の閾値以上の場合に、当該算出された代表的な方向を、外部へ表示させることを特徴とする。
【００２８】
従って、算出された代表的な方向に属するベクトル情報の数量が所定の閾値以上の場合に、当該算出された代表的な方向を外部へ表示するため、ユーザの必要性に応じた解析結果を提示することができる。
【００２９】
請求項９に記載の発明は、請求項１乃至８の何れか１項に記載の画像解析装置であって、前記ベクトル情報抽出手段は、少なくとも２以上のベクトル情報を抽出し、前記表示制御手段は、前記移動状態算出手段によって算出された代表的な方向に属するベクトル情報の数量が最も多い代表的な方向を抽出し、当該代表的な方向を外部へ表示させることを特徴とする。
【００３０】
従って、算出された代表的な方向に属するベクトル情報の数量が最も多い代表的な方向を抽出し、当該代表的な方向を外部へ表示するため、ユーザの必要性に応じた解析結果を提示することができる。
【００３１】
請求項１０に記載の発明は、請求項１乃至９の何れか１項に記載の画像解析装置であって、前記ベクトル情報抽出手段は、前記ベクトル情報に含まれる位置に基づいて、少なくとも２以上の異なる大きさの撮像領域の所定範囲内に存在するベクトル情報を、撮像領域の所定範囲内毎に抽出し、前記移動状態算出手段は、前記抽出された所定範囲内に存在するベクトル情報に含まれる方向に基づいて、当該所定範囲内に存在するベクトル情報の代表的な方向を、前記撮像領域の所定範囲内毎に算出することを特徴とする。
【００３２】
従って、少なくとも２以上の異なる大きさの撮像領域の所定範囲内に存在するベクトル情報を、撮像領域の所定範囲内毎に抽出し、前記抽出された所定範囲内に存在するベクトル情報に含まれる方向に基づいて、当該所定範囲内に存在するベクトル情報の代表的な方向を、前記撮像領域の所定範囲内毎に算出するため、ユーザの必要性に応じた解析結果を提示することができる。
【００３３】
請求項１１に記載の発明は、請求項１乃至１２の何れか１項に記載の画像解析装置であって、前記ベクトル情報抽出手段は、前記撮像領域内を所定の大きさの領域に分割する分割領域に存在するベクトル情報を、各分割領域毎に算出し、前記移動状態算出手段は、前記分割領域毎に算出されたベクトル情報に基づいて、前記一又は複数の代表的な方向を、各分割領域毎に算出し、前記表示制御手段は、前記算出された各分割領域に対応する一又は複数の代表的な方向を、当該各分割領域に表示させることを特徴とする。
【００３４】
請求項１２に記載の発明は、請求項１１に記載の画像解析装置であって、所定の数量の前記分割領域を一つの領域としてまとめた中領域とし、各中領域毎に算出される代表的な方向の数量が予め設定されており、前記移動状態算出手段は、前記中領域毎に設定された数量に応じて、前記中領域に属する小領域毎に、一又は複数の代表的な方向を算出し、前記表示制御手段は、前記算出された中領域の属する小領域毎に、一又は複数の代表的な方向を、当該小領域に表示させる。
【００３５】
請求項１３に記載の発明は、請求項１乃至１２の何れか１項に記載の画像解析装置であって、前記撮像領域の所定範囲内を任意に設定可能な入力手段をさらに備えることを特徴とする。
【００３６】
従って、ユーザの必要性に応じた解析結果を提示することができる。
【００３７】
請求項１４に記載の発明は、動画像に撮像された解析対象の動きを解析する画像解析装置における画像解析方法であって、撮像領域内を一定期間撮像した動画像を記憶する記憶工程と、前記動画像に示される前記解析対象を検出する検出工程と、前記検出された解析対象が、当該撮像領域内で示す単位時間当たりの位置変化を、前記撮像領域内における位置及び方向を含むベクトル情報として算出し、前記解析対象を他の解析対象と識別するための解析対象識別情報と対応付けて記憶する追跡工程と、前記ベクトル情報に含まれる位置に基づいて、前記撮像領域の所定範囲内に存在するベクトル情報を抽出するベクトル情報抽出工程と、前記抽出された所定範囲内に存在するベクトル情報に含まれる方向に基づいて、当該所定範囲内に存在するベクトル情報の一又は複数の代表的な方向を算出する移動状態算出工程と、前記算出された代表的な方向を、外部へ表示させる表示制御工程と、を有することを特徴とする。
【００３８】
請求項１５に記載の発明は、動画像に撮像された解析対象の動きを解析する画像解析装置に含まれるコンピュータを、撮像領域内を一定期間撮像した動画像を記憶する記憶手段、前記動画像に示される前記解析対象を検出する検出手段、前記検出された解析対象が、当該撮像領域内で示す単位時間当たりの位置変化を、前記撮像領域内における位置及び方向を含むベクトル情報として算出し、前記解析対象を他の解析対象と識別するための解析対象識別情報と対応付けて記憶する位置変化算出手段、前記ベクトル情報に含まれる位置に基づいて、前記撮像領域の所定範囲内に存在するベクトル情報を抽出するベクトル情報抽出手段、前記抽出された所定範囲内に存在するベクトル情報に含まれる方向に基づいて、当該所定範囲内に存在するベクトル情報の一又は複数の代表的な方向を算出する移動状態算出手段、前記算出された代表的な方向を、外部へ表示させる表示制御手段、として機能させることを特徴とする。
【００３９】
請求項１６に記載の発明は、請求項１５に記載の画像処理プログラムがコンピュータ読み取り可能に記録されていることを特徴とする。
【発明の効果】
【００４０】
以上のように、本発明によれば、画像解析装置は、所定範囲内に存在するベクトル情報の代表的な方向を算出するため、解析対象の動きをより正確に解析し、解析結果に対する把握性を向上させることができる。
【図面の簡単な説明】
【００４１】
【図１】本実施形態にかかる画像解析装置ＳＳの構成を示すブロック図である。
【図２】動画像から検出された解析対象が、撮像領域内で示す位置変化を記憶するまでの画像解析装置ＳＳの動作の詳細を示すフローチャートである。
【図３】入力画像格納部５に記憶されるフレームの一例を示す図である。
【図４】所定期間内における人の移動を示す概念図である。
【図５】位置座標ＤＢに記憶される内容の一例を示す図である。
【図６】算出したベクトル情報に基づいて撮像領域の所定範囲内に存在するベクトル情報の代表的な方向を表示させるまでの画像解析装置ＳＳの動作の詳細を示すフローチャートである。
【図７】人Ｈ１の単位時間当たりの位置変化の算出例を示す概念図である。
【図８】人Ｈ１の単位時間当たりの位置変化の数量に対応した数量のベクトル情報の算出結果を示す概念図である。
【図９】動画像に示される全ての人に対してベクトル情報を算出した場合の算出結果を示す概念図である。
【図１０】矩形領域２０に存在するベクトル情報を抽出した抽出例を示す概念図である。
【図１１】第１の座標系を示す図である。
【図１２】近似を判定する方法を示す概念図である。
【図１３】移動させたベクトル情報に含まれる方向が、第１の座標系Ｔにおける何れかの方向軸の近似する範囲に該当するかを判定した判定結果を示す図である。
【図１４】矩形領域２０に存在するベクトル情報の代表的な方向を表示した表示例を示す図である。
【図１５】代表的な方向を示す方向軸に属するベクトル情報の数量に応じて、代表的な方向の表示態様を変化させた場合の表示結果を示す概念図である。
【図１６】代表的な方向を示す方向軸に属するベクトル情報に含まれる位置変化に応じて、代表的な方向の表示態様を変化させた場合の表示結果を示す概念図である。
【図１７】代表的な方向を示す方向軸に属するベクトル情報の数量、及び、当該ベクトル情報に含まれる位置変化の大きさに応じて、代表的な方向の表示態様を変化させた場合の表示結果を示す概念図である。
【図１８】分割領域に存在するベクトル情報に基づいて代表的な方向を算出し、算出された各分割領域に対応する一又は複数の代表的な方向を、当該各分割領域に表示した場合の表示例を示す図である。
【図１９】中領域の設定例を示す概念図である。
【図２０】移動状態算出部１１が、中領域を参照して、代表的な方向を算出した場合の算出結果を表示した場合の表示例を示す図である。
【図２１】２以上の異なる大きさの撮像領域の所定範囲を設定し、当該領域に存在するベクトル情報に含まれる方向に基づいて代表的な方向を算出させた場合の表示例を示す図である。
【図２２】２以上の撮像領域の所定範囲に、属性ラベルを設定した場合の例を示す図である。
【図２３】第２の座標系を示す図である。
【図２４】解析対象が示す単位時間当たりのベクトル情報を、近似曲線で算出した場合を示す概念図である。
【発明を実施するための形態】
【００４２】
まず、本願の最良の実施形態を添付図面に基づいて説明する。なお、以下に説明する実施の形態は、動画像として撮像された解析対象の動きを解析する画像解析装置に対して本願を適用した場合の実施形態である。
【００４３】
［１．画像解析装置の構成及び機能概要］
まず、本実施形態にかかる画像解析装置ＳＳの構成及び機能概要について、図１を用いて説明する。
【００４４】
図１は、本実施形態にかかる画像解析装置ＳＳの構成を示すブロック図である。
【００４５】
画像解析装置ＳＳは、入力データとしての動画像の入力を受け付ける画像入力部１、キーボード、タッチパネル、ジョグダイヤル又はその他の入力機構を備えユーザから入力された情報を制御部３へ出力する入力部２、入力データから出力データとしての画像又は動画像を生成する制御部３、ディスプレイ等を備え出力データを表示する表示部４等を備える。
【００４６】
さらに詳細には、画像入力部１は、撮像領域内における動画像を撮像して所定の電気信号を出力する図示しないビデオカメラ（デジタルビデオカメラ）から、当該電気信号の入力を受け付ける。
【００４７】
本実施形態では、ビデオカメラは、所定の施設（交通機関、商業施設、公共機関等）等に設置され、一定期間（例えば、１時間毎等、又は２４時間連続して）、当該施設の所定の撮像領域内を撮像する。
【００４８】
なお、ビデオカメラは、公知技術であるため詳しい説明は省略するが、例えば、光学系レンズから取り込まれた光が、絞り機構等によって調節され、ＣＣＤ（Charge Couple Semiconductor）イメージセンサ又はＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサ上に光学像（画像）として結像される。この画像は、イメージセンサによって電気信号に変換され、画像入力部１（カメラI／Ｆ）へ出力される。
【００４９】
そして、画像入力部１は、ビデオカメラから出力された電気信号を受け付け、前記画像を構成する画素を示す画素情報（前記各画素に対応する電気信号等）と前記画素に対応する色情報（Ｒ，Ｇ，Ｂの何れかの原色成分に対応した電荷等）を示す静止画像（後述するフレーム）として、例えば、撮像時刻と対応付けて制御部３（後述する入力画像格納部５）へ出力する。
【００５０】
換言すれば、画像入力部１は、入力された動画像を所定フレーム（例えば、毎秒２０フレーム（即ち、フレームレートが20fps(frame per second)）等）の静止画像からなる画像情報に変換し、例えば、撮像時刻等と対応付けて制御部３へ出力する。即ち、これらのフレームが動画像を構成する。
【００５１】
画像入力部１の一例として、例えば、産業用デジタルカメラと画像入力ボードを接続する規格仕様である公知のカメラリンク（Camera Link）に対応したインターフェースが適用される。
【００５２】
制御部３は、詳しくは後述するが、動画像に示される解析対象が撮像領域内で示す単位時間当たりの位置変化をベクトル情報として算出し、当該ベクトル情報に基づいて、撮像領域の所定範囲内に存在するベクトル情報の代表的な方向を表示させる出力データを生成する。
【００５３】
このような制御部３の動作（処理）は、制御部３内に実装されるハードウェア回路により行われるものであっても良いし、制御部３内に実装されるマイクロコンピュータ（ＣＰＵ等）が所定のプログラム（ソフトウェア）を実行することにより行われるものであっても良い。
【００５４】
さらに具体的に、制御部３は、入力画像格納部５（本願の記憶手段の一例）、動体検出部６（本願の検出手段の一例）、位置変化算出部７（本願の位置変化算出手段の一例）、位置座標記憶部８（本願の位置変化算出手段の一例）、ベクトル情報算出部９（本願のベクトル情報算出手段の一例）、ベクトル情報抽出部１０（本願のベクトル情報抽出手段の一例）、移動状態算出部１１（本願の移動状態算出手段の一例）、表示制御部１２（本願の表示制御手段の一例）、出力フレームメモリ１３等から構成される。
【００５５】
入力画像格納部５は、上記撮像領域内を一定期間撮像した動画像を記憶するための記憶領域であり、例えば、揮発性又は不揮発性メモリ又はハードディスク等が適用される。
【００５６】
具体的に、本実施形態における入力画像格納部５は、一又は複数のフレーム（上述した動画像から所定フレームに変換された静止画像）と、各フレームにおける撮像時刻、及び詳しくは後述する座標値等を対応付けて記憶する。
【００５７】
そして、入力画像格納部５には、一定期間撮像された動画像に対応した複数のフレームが記憶されている。
【００５８】
動体検出部６は、動画像に示される解析対象を検出する。
【００５９】
撮像された動画像には、当該施設を利用する人や当該施設内を通過する移動手段（例えば、車や荷台等）等が示されている。本実施形態における動体検出部６は、この人や移動手段等を解析対象として検出するようになっている。
【００６０】
この解析対象を検出する方法は、公知の技術であるため詳しい説明は省略するが、動体検出部６は、動画像を構成するフレームのうち基準となるフレームと、予め記憶された参照フレーム（同じ撮像領域内の静止画像）との画素間減算及び、いわゆる背景除去を行い、画像変化のあった画素のみの画像に変換する。そして、ノイズ除去及び２値化等の画像処理を施すと、当該基準となるフレームの解析対象が抽出される。そして、抽出された解析対象を他の解析対象と識別するためにラベリング処理を行い、各解析対象に動体ＩＤ（本願の解析対象識別情報の一例。）を付与する処理を行う。
【００６１】
この動体ＩＤは、解析対象を他の解析対象と識別するための識別情報である。
【００６２】
位置変化算出部７は、検出された解析対象が、撮像領域内で示す位置変化を算出する。
【００６３】
この位置変化の算出には、例えば、公知の追跡処理を適用することができる。
【００６４】
追跡処理は公知の技術であるため詳しい説明は省略するが、まず、位置変化算出部７は、基準となるフレームで特定された解析対象が、当該基準となるフレームで示す撮像領域内の位置を特定する。
【００６５】
次に、位置変化算出部７は、異なるフレーム（基準となるフレームより後で撮像されたフレーム）に当該解析対象と同一の物体が特定されるか判定する。
【００６６】
この同一の物体として特定するための方法としては、例えば基準となるフレームで特定された解析対象の大きさや主軸の比等からなる形状パラメータを求め、他のフレームにおいて、この形状パラメータと最も近似する形状パラメータを有する物体を同一の解析対象とみなす等の方法を適用することができる。
【００６７】
そして、同一の物体であると判定された場合には、位置変化算出部７は、異なるフレームにおける解析対象が、当該異なるフレームで示す撮像領域内の位置を特定する。
【００６８】
そして、位置変化算出部７は、特定した解析対象が基準となるフレームで示す撮像領域内の位置と、特定した解析対象が異なるフレームで示す撮像領域内の位置を、検出された解析対象が前記撮像領域内で示す位置変化として算出する。
【００６９】
この位置変化は、一定期間撮像された動画像の連続するフレームの全てについて、解析対象毎に算出することができる。換言すれば、位置変化算出部７は、動画像に示される解析対象が、上記連続する各フレームにおいて示す撮像領域内の位置を、位置変化として算出することができる。
【００７０】
この位置変化の算出によって、解析対象が、撮像領域内で示す位置変化（移動量、移動方向）を把握することができる。
【００７１】
位置座標記憶部８は、算出された位置変化を動体ＩＤと対応付けて、解析対象毎に記憶するための記憶領域であり、例えば、揮発性又は不揮発性メモリ又はハードディスク等が適用される。
【００７２】
ベクトル情報算出部９は、上記記憶された位置変化に基づいて、検出された解析対象が、撮像領域内で示す単位時間当たりの位置変化を、当該撮像領域内における位置及び方向を含むベクトル情報として動体ＩＤ毎に算出する。
【００７３】
このベクトル情報の算出は、公知の技術であるため詳しい説明は省略するが、以下のように算出される。
【００７４】
上述したフレームは、動画像を所定間隔（所定期間）で分割したもの（例えば、上述した、毎秒２０フレーム等）である。そして、位置変化算出部７は、上述したように、解析対象が、撮像領域内で示す位置変化を、連続するフレームの全てについて算出し、位置座標記憶部８に記憶されている。
【００７５】
そして、ベクトル情報算出部９は、まず、位置座標記憶部８に記憶された、解析対象が撮像領域内で示す位置変化を用いて、解析対象が撮像領域内で示す単位時間当たりの位置変化を算出する。
【００７６】
具体的には、例えば、フレームが動画像を毎秒２０フレームで分割されたものであった場合（以下単に、「フレームレートが２０fps」とする。）には、ベクトル情報算出部９は、位置変化算出部７によって特定された、解析対象が基準となるフレームで示す撮像領域内の位置と、当該基準となるフレームから２１番目にあたるフレーム間で示す撮像領域内の位置を算出することにより、解析対象が前記撮像領域内で示す単位時間当たりの位置変化を算出する。
【００７７】
このように、フレームは、動画像を所定間隔で分割したものであるため、任意のフレーム間における解析対象が示す位置変化を算出することによって、解析対象の所定間隔当たりの位置変化を算出することができるのである。
【００７８】
そして、ベクトル情報算出部９は、解析対象が、基準となるフレームで示す撮像領域内の位置を移動開始点と、当該基準となるフレームから２０番目にあたるフレームで示す撮像領域内の位置を移動終了点として、解析対象が示す単位時間当たりのベクトル情報を算出する。
【００７９】
このベクトル情報は、検出された解析対象が、前記撮像領域内で示す単位時間当たりの位置変化を、前記撮像領域内における位置及び方向を含む情報として算出したものであり、この情報を、以下単に、ベクトル情報とする。また、上述した追跡処理において、このベクトル情報を算出するようにしてもよい。
【００８０】
なお、上述した例では、単位時間を１秒として想定したが、これに限定されず、例えば、単位時間を任意の時間に設定することができる。
【００８１】
例えば、この単位時間を５秒とした場合を考える。この場合、フレームレートが２０fpsであった場合には、ベクトル情報算出部９が、位置変化算出部７によって特定された、解析対象が基準となるフレームで示す撮像領域内の位置と、当該基準となるフレームから１００番目にあたるフレーム間で示す撮像領域内の位置を算出することにより、解析対象が前記撮像領域内で示す単位時間当たりの位置変化が算出されることとなる。
【００８２】
ベクトル情報抽出部１０は、上記ベクトル情報に含まれる位置に基づいて、前記撮像領域の所定範囲内に存在するベクトル情報を、動体ＩＤ毎に抽出する。
【００８３】
移動状態算出部１１は、ベクトル情報抽出部１０によって抽出された所定範囲内に存在するベクトル情報に含まれる方向に基づいて、当該所定範囲内に存在するベクトル情報の一又は複数の代表的な方向を算出する。
【００８４】
表示制御部１２は、移動状態算出部１１によって算出された代表的な方向を、外部へ表示させる。
【００８５】
出力フレームメモリ１３は、出力データを書込むための制御を行う。
【００８６】
［２．動画像から検出された解析対象が、撮像領域内で示す位置変化を記憶するまでの画像解析装置ＳＳの動作］
次に、動画像から検出された解析対象が、撮像領域内で示す位置変化を記憶するまで（主として動体検出部６、及び位置変化算出部７の動作）の画像解析装置ＳＳの動作の詳細について、図２〜図７を用いて説明する。
【００８７】
図２は、動画像から検出された解析対象が、撮像領域内で示す位置変化を記憶するまでの画像解析装置ＳＳの動作の詳細を示すフローチャートである。
【００８８】
図２に示すように、画像入力部１から出力される撮像時刻と対応付けられたフレームが入力されると（ステップＳ１）、フレームと、各フレームにおける撮像時刻が対応付けられて、入力画像格納部５に記憶される。
【００８９】
さらに、このフレームには、上述した座標値が対応付けて記憶される。
【００９０】
この座標値は、フレームに示される撮像領域内の所定の位置を、他の位置と識別するための値であり、例えばフレームの水平方向をＸ軸と、フレームの垂直方向をＹ軸とする平面座標系におけるＸ，Ｙ座標で表わされる。
【００９１】
ここで、入力画像格納部５に記憶されるフレームの一例について図３を用いて説明する。
【００９２】
図３は、入力画像格納部５に記憶されるフレームの一例を示す図である。
【００９３】
図３に示すフレームＦは、店舗Ｓ１〜Ｓ４が設置されたショッピングモールＳの所定の撮像領域内を、一定期間撮像された動画像から変換されたフレームのうち一のフレームである。
【００９４】
このフレームＦには、ショッピングモールＳを利用する人等が示されており、全てのフレームで統一された上記座標値が設定されている。
【００９５】
この座標値によって、フレームに示される解析対象（人や店舗等。以下代表して「人」と示す。）の位置を、Ｘ座標値及びＹ座標値で表わすことができる。従って、フレームに示されるそれぞれの人や店舗が、フレームに示される撮像領域内の位置を特定することができる。
【００９６】
入力画像格納部５には、一定期間撮像された動画像に対応した複数のフレームが記憶されている。
【００９７】
次に、動体検出部６は、解析対象として人をそれぞれ検出し、検出した人毎に動体ＩＤを付与する（ステップＳ２）。例えば、図３のフレームＦに示される人毎に動体ＩＤが付与される。
【００９８】
次に、位置変化算出部７は、上述した追跡処理（動体追跡）を行い、検出された人の位置変化を算出する。（ステップＳ３）。
【００９９】
ここで、位置変化の算出例について、図４を用いて説明する。
【０１００】
図４は、所定期間内における人の移動を示す概念図である。
【０１０１】
図４に示すように、例えば、人Ｈ１（解析対象の一例）が、位置としてＶ１ｓ（ｘ１、ｙ１）からＶ１０ｅ（ｘ１１、ｙ１１）まで移動した場合（図の破線部で表わした矢印まで移動）を考える。
【０１０２】
この場合、位置変化算出部７は、人Ｈ１がＶ１ｓ（ｘ１、ｙ１）に位置することが示されたフレームを基準として、人Ｈ１がＶ１０ｅ（ｘ１１、ｙ１１）に位置することが示されたフレームまで、人Ｈ１が各フレーム毎で示す位置を座標値で算出する。この算出された座標値が、人Ｈ１が、撮像領域内で示す位置変化となるのである。
【０１０３】
また、位置変化算出部７は、動画像に示される全ての人（すべての動体ＩＤ）に対して位置変化を算出することもできる。
【０１０４】
次に、位置座標記憶部８は、人Ｈ１に対して算出した位置変化を、人Ｈ１を示す動体ＩＤと対応付けて位置座標ＤＢとして記憶する（ステップＳ４）。
【０１０５】
図５は、位置座標ＤＢに記憶される内容の一例を示す図である。
【０１０６】
図５に示す位置座標ＤＢには、動体ＩＤ（例えば、人Ｈ１）と、動体ＩＤが示す人Ｈ１が撮像領域内で示す位置としての位置座標、当該位置における時刻（フレームとして撮像された撮像時刻）が対応付けられて記憶される。
【０１０７】
このように、動体ＩＤが示す人Ｈ１が撮像領域内で示す位置と、当該位置における時刻を対応付けて記憶することにより、人Ｈ１が、撮像領域内で示す位置変化を記憶することができる。
【０１０８】
なお、位置座標ＤＢには、動画像に示される全ての人に対して算出された位置変化を記憶することもできる。
【０１０９】
そして、終了指示があった場合には（ステップＳ５：ＹＥＳ）、処理を終了し、終了指示がない場合には（ステップＳ５：ＮＯ）、ステップＳ１の処理へ移行する。
【０１１０】
［３．算出したベクトル情報に基づいて撮像領域の所定範囲内に存在するベクトル情報の一又は複数の代表的な方向を表示させるまでの画像解析装置ＳＳの動作］
次に、算出したベクトル情報に基づいて撮像領域の所定範囲内に存在するベクトル情報の一又は複数の代表的な方向を表示させるまでの画像解析装置ＳＳの動作の詳細について、図６〜図１４を用いて説明する。
【０１１１】
図６は、算出したベクトル情報に基づいて撮像領域の所定範囲内に存在するベクトル情報の代表的な方向を表示させるまでの画像解析装置ＳＳの動作の詳細を示すフローチャートである。
【０１１２】
図６に示すように、まず、ベクトル情報算出部９は、例えばユーザによる入力部２の指示により又は、予め設定された指示に基づいて、撮像された動画像から、人Ｈ１が、撮像領域内で示す所定期間分の位置変化を取得する（ステップＳ１１）。
【０１１３】
具体的には、ベクトル情報算出部９は、位置座標ＤＢを参照して、動体ＩＤが、所定期間に示した位置座標を取得する。例えば、所定期間として１時間が設定されていた場合には、ベクトル情報算出部９は、動体ＩＤと対応付けて記憶された時刻と、当該時刻と対応付けて記憶された位置座標を参照して、１時間分の位置座標を、所定期間分の位置変化として取得する。
【０１１４】
この所定期間分の位置変化は、一の動体ＩＤに対して取得してもよいし、全ての動体ＩＤに対して取得してもよい。
【０１１５】
なお、ベクトル情報算出部９は、上記取得する位置変化として、所定期間に区切られたものに限らず、例えば、動画像に示される全ての位置変化を取得するようにしてもよい。
【０１１６】
次に、ベクトル情報算出部９は、上記取得した所定期間分の位置変化に基づいて、単位時間当たりの位置変化を算出する（ステップＳ１２）。
【０１１７】
ここで、単位時間当たりの位置変化の算出について、図４及び図７を用いて説明する。
【０１１８】
図７は、人Ｈ１の単位時間当たりの位置変化の算出例を示す概念図である。
【０１１９】
先に示した図４において、人Ｈ１が、所定期間の間に、Ｖ１ｓ（ｘ１、ｙ１）からＶ１０ｅ（ｘ１１、ｙ１１）まで移動した場合の単位時間当たりの位置変化を算出する例を説明する。
【０１２０】
ここで、単位時間当たりの位置変化とは、基準となるフレームで人Ｈ１が示す位置を移動開始点とし、当該フレームから単位時間後（例えば１秒後）のフレームで人Ｈ１が示す位置を移動終了点とした場合の位置変化を示す。
【０１２１】
この算出方法について具体的には、人Ｈ１が、Ｖ１ｓ（ｘ１、ｙ１）からＶ１０ｅ（ｘ１１、ｙ１１）まで移動した場合の単位時間当たりの位置変化を求めるには、Ｖ１ｓ（ｘ１、ｙ１）を基準として、単位時間毎（例えば１秒間隔）のフレームにおける人Ｈ１の位置を特定すればよい。
【０１２２】
さらに具体的には、基準となるフレームで人Ｈ１が示す位置がＶ１ｓ（ｘ１、ｙ１）であり、当該フレームから単位時間後のフレームで人Ｈ１が示す位置がＶ１ｅ（ｘ２、ｙ２）であったとすると、単位時間当たりの位置変化は、移動開始点としてのＶ１ｓ（ｘ１、ｙ１）から、移動終了点としてのＶ１ｅ（ｘ２、ｙ２）までの位置変化であると算出される。
【０１２３】
次に、ベクトル情報算出部９は、Ｖ１ｅ（ｘ２、ｙ２）を基準に、単位時間後のフレームにおける人Ｈ１の位置を特定し、単位時間当たりの位置変化を算出する。そして、ベクトル情報算出部９は、人Ｈ１が、Ｖ１０ｅ（ｘ１１、ｙ１１）に至るまでの単位時間当たりの位置変化を、順次算出する。
【０１２４】
このようにして算出された、人Ｈ１が、Ｖ１ｓ（ｘ１、ｙ１）からＶ１０ｅ（ｘ１１、ｙ１１）まで移動した場合の単位時間当たりの位置変化の算出結果を、図７に示す。
【０１２５】
図７に示すように、人Ｈ１が、Ｖ１ｓ（ｘ１、ｙ１）からＶ１０ｅ（ｘ１１、ｙ１１）まで移動した場合の単位時間当たりの位置変化として、まず、移動開始点としてＶ１ｓ（ｘ１、ｙ１）から、単位時間後のフレームに示される人Ｈ１の位置を移動終了点としてＶ１ｅ（ｘ２、ｙ２）とした、最初の単位時間当たりの位置変化が算出されている。
【０１２６】
次に、移動開始点をＶ2ｓ（ｘ２、ｙ２）、移動終了点をＶ2ｅ（ｘ３、ｙ３）とした次の単位時間当たりの位置変化が、そして、移動開始点をＶ３ｓ（ｘ３、ｙ３）、移動終了点をＶ３ｅ（ｘ４、ｙ４）とした次の単位時間当たりの位置変化が、そして、移動開始点をＶ10ｓ（ｘ１０、ｙ１０）、移動終了点をＶ１０ｅ（ｘ１１、ｙ１１）とした最後の単位時間当たりの位置変化まで、単位時間当たりの位置変化が順次算出されている。
【０１２７】
なお、上述した例では、ある単位時間当たりの位置変化の移動終了点と、当該位置変化の次に算出される単位時間当たりの位置変化の移動開始点（例えば、Ｖ１ｅとＶ2ｓ等）は同一の点を示すこととなるが、図７においては説明の便宜上、互いに接する点として表している。
【０１２８】
また、図７に示す例では、説明の便宜上、算出された単位時間当たりの位置変化を、所定のフレームに重畳して表示させている。
【０１２９】
また、位置変化算出部７は、動画像に示される全ての人（すべての動体ＩＤ）に対して位置変化を算出することもできる。
【０１３０】
次に、ベクトル情報算出部９は、上記算出された単位時間当たりの位置変化を、撮像領域内における位置及び方向を含むベクトル情報として算出する（ステップＳ１３）。
【０１３１】
このベクトル情報は、例えば、移動開始点がＶ１ｓ（ｘ１、ｙ１）、移動終了点がＶ１ｅ（ｘ２、ｙ２）である単位時間当たりの位置変化に着目すると、
ベクトル情報Ｖ１は、一般的に、（ｘ２−ｘ１、ｙ２−ｙ１）で算出されることが知られている。ここで、上記移動開始点は所謂ベクトルの始点であり、上記移動終了点は所謂ベクトルの終点である。
【０１３２】
このベクトル情報Ｖ１は、大きさと向きを持つ量であるため、人Ｈ１が撮像領域内で示す単位時間当たりの位置変化を把握することができる。
【０１３３】
そして、ベクトル情報算出部９は、算出された単位時間当たりの位置変化の数量に対応した数量のベクトル情報を算出する。
【０１３４】
ここで、ベクトル情報の算出結果について、図８を用いて説明する。
【０１３５】
図８は、人Ｈ１の単位時間当たりの位置変化の数量に対応した数量のベクトル情報の算出結果を示す概念図である。
【０１３６】
図８に示すように、移動開始点をＶ１ｓ（ｘ１、ｙ１）、移動終了点をＶ１ｅ（ｘ２、ｙ２）としたベクトル情報Ｖ１を最初のベクトル情報として、移動開始点をＶ2ｓ（ｘ２、ｙ２）、移動終了点をＶ2ｅ（ｘ３、ｙ３）としたベクトル情報Ｖ2、移動開始点をＶ３ｓ（ｘ３、ｙ３）、移動終了点をＶ３ｅ（ｘ４、ｙ４）としたベクトル情報Ｖ３が、移動開始点をＶ10ｓ（ｘ１０、ｙ１０）、移動終了点をＶ１０ｅ（ｘ１１、ｙ１１）としたベクトル情報Ｖ１０まで順次算出される。
【０１３７】
なお、上述した例では、あるベクトル情報の移動終了点と、当該ベクトル情報の次に算出されるベクトル情報の移動開始点は同一の点を示すこととなるが、図８においては説明の便宜上、互いに接する点として表している。
【０１３８】
なお、図８に示す例では、算出されたベクトル情報を、所定のフレームに重畳して表示させている。
【０１３９】
上述したように、ベクトル情報は、移動開始点及び移動終了点（位置）を含む情報である。従って、移動開始点及び移動終了点を、フレームの座標値の対応する位置に配置させることによって、算出されたベクトル情報を、所定のフレームの対応する位置に重畳して表示させることができる。
【０１４０】
このように表示させることによって、撮像領域内における人の行動を視覚的に把握させ、解析結果に対する把握性の向上等が図られる。
【０１４１】
また、ベクトル情報Ｖ１の大きさは、一般的に、（（ｘ２−ｘ１）２＋（ｙ２−ｙ１）２）１／２で算出されることが知られている。
【０１４２】
このフレームに示されるベクトル情報Ｖ１の大きさと、撮像領域内における現実（実世界）の大きさと、の相関を算出することによって、フレームに示されるベクトル情報Ｖ１の大きさが、撮像領域内においてどの程度の大きさを示すのか把握することができる。
【０１４３】
即ち、フレームで示されるＸ，Ｙ座標値の値を、実世界の大きさであるメートル（ｍ）等に変換することによって、フレームに示されるベクトル情報Ｖ１の大きさが、撮像領域内においてどの程度の大きさを示すのか把握することができる（即ち、撮像領域内における現実の距離を把握することができる）。
【０１４４】
そして、ベクトル情報算出部９は、動画像に示される全ての人（すべての動体ＩＤ）に対して、ステップＳ１１で設定した所定期間分、又は入力される動画像が撮像された一定期間分のベクトル情報を算出することもできる。
【０１４５】
図９は、動画像に示される全ての人に対してベクトル情報を算出した場合の算出結果を示す概念図である。
【０１４６】
図９では、動画像に示される全ての人に対してベクトル情報を算出し、所定のフレームに重畳して表示させている。
【０１４７】
図９に示すように、画像に示される全ての人に対してベクトル情報を算出し、所定のフレームに重畳して表示させた場合には、解析対象の増加に伴って表示されるベクトル情報の数も増加するため、各解析対象に対応した個別のベクトル情報の向きや大きさ、又はベクトル情報の数量等を識別することが困難となり、解析結果に対する把握性が著しく低下してしまう。
【０１４８】
そこで本実施形態では、上記撮像領域の所定範囲内に存在するベクトル情報を抽出し、この抽出された所定範囲内に存在するベクトル情報に含まれる方向に基づいて、当該所定範囲内に存在するベクトル情報の一又は複数の代表的な方向を算出し、表示させるようになっている。
【０１４９】
具体的には、ユーザによる入力部２の指示により又は、予め設定された指示に基づいて、上記撮像領域内の所定範囲内を指定する命令を受け付けると、ベクトル情報抽出部１０は、当該撮像領域内の所定範囲内に存在するベクトル情報を抽出する（ステップＳ１４）。
【０１５０】
さらに具体的には、例えば、当該撮像領域内の所定範囲内として、図９の矩形領域２０が指定（例えば、矩形領域２０の定点を示す座標値を入力され、又は表示画面上に表示されるポインタ等で矩形領域を描かせる等により）されたとする。すると、ベクトル情報抽出部１０は、座標値を参照して、矩形領域２０に存在するベクトル情報を抽出する。
【０１５１】
図１０は、矩形領域２０に存在するベクトル情報を抽出した抽出例を示す概念図である。
【０１５２】
図１０に示すように、矩形領域２０に存在するベクトル情報としてベクトル情報Ｖ１〜Ｖｎが抽出されている。
【０１５３】
なお、実際には、識別不可能なほど多数のベクトル情報が抽出される場合もあるが、図１０では説明の便宜上、ベクトル情報の数量を限定して表記する。また、ベクトル情報の長さは、解析対象である人の単位時間当たりの移動距離に応じて異なるものであるが、図１０では説明の便宜上、ベクトル情報の長さは略同一で表記する。
【０１５４】
また、上述した例と同様に全てのベクトル情報には、移動開始点及び移動終了点が含まれているが、図１０では説明の便宜上、代表するベクトル情報（ベクトル情報Ｖ１及びベクトル情報Ｖｎ）にのみその図示を行い、その他の図示を省略する。
【０１５５】
このベクトル情報の抽出方法は、種々の方法を適用することができ、例えば、矩形領域２０に、ベクトル情報の移動開始点が存在する場合に、ベクトル情報抽出部１０は、当該ベクトル情報を抽出するようにしてもよい。
【０１５６】
具体的に、ベクトル情報Ｖ１を例に説明すると、ベクトル情報Ｖ１の移動開始点Ｖ１Ｓが矩形領域２０に含まれている場合に、ベクトル情報抽出部１０は、当該ベクトル情報を抽出する。
【０１５７】
これにより、矩形領域２０にベクトル情報の移動開始点のみが存在する場合（即ち、これから矩形領域２０から退出（通過）する動きを示すベクトル情報）についても、ベクトル情報抽出部１０は、当該ベクトル情報を抽出するため、矩形領域２０から退出する解析対象の動きを正確に解析することができる。
【０１５８】
また、矩形領域２０に、ベクトル情報の移動終了点が存在する場合に、ベクトル情報抽出部１０は、当該ベクトル情報を抽出するようにしてもよい。
【０１５９】
具体的に、ベクトル情報Ｖ１の移動終了点Ｖ１ｅが矩形領域２０に含まれている場合に、ベクトル情報抽出部１０は、当該ベクトル情報を抽出する。
【０１６０】
これにより、矩形領域２０にベクトル情報の移動終了点のみが存在する場合（即ち、矩形領域２０へ侵入する動きを示すベクトル情報）についても、ベクトル情報抽出部１０は、当該ベクトル情報を抽出するため、矩形領域２０から侵入する解析対象の動きを正確に解析することができる。
【０１６１】
次に、移動状態算出部１１は、矩形領域２０に存在するベクトル情報に含まれる方向に基づいて、当該ベクトル情報の代表的な方向を算出する（ステップＳ１５）。
【０１６２】
繰り返すが、ベクトル情報は、上述したように解析対象の移動（動き）に応じて様々な方向を示すこととなる。このような解析対象の動きに応じたベクトル情報を表示させると、各解析対象に対応した個別のベクトル情報を識別することが困難となる原因となる。
【０１６３】
そこで、移動状態算出手段１１は、矩形領域２０に存在するベクトル情報の代表的な方向を算出するのである。
【０１６４】
以下に、ステップＳ１５の処理の詳細について説明する。
【０１６５】
本実施形態では、移動状態算出部１１は、第１の座標系（小領域モデル）を用いて、この代表的な方向を算出する。
【０１６６】
ここで、第１の座標系について、図１１を用いて説明する。
【０１６７】
図１１は、第１の座標系を示す図である。
【０１６８】
図１１に示すように、第１の座標系Ｔは、原点０を中心に、原点０から背離する方向を示す方向軸ａ〜ｈ（本願の原点を中心に所定の方向を示す方向軸の一例）が、原点０を中心に互いに４５°（本願の所定の角度の一例）離れて８つ（本願の複数の一例）設けられている。即ち、第１の座標系Ｔは、平面座標系を８分割した座標軸である。
【０１６９】
そして、移動状態算出部１１は、矩形領域２０に存在するベクトル情報に含まれる方向が、第１の座標系Ｔにおける何れかの方向軸ａ〜ｈが示す方向と近似するかを判定する。
【０１７０】
この近似を判定する方法としては種々の方法を適用することができるが、その一例について、図１２を用いて説明する。
【０１７１】
図１２は、近似を判定する方法を示す概念図である。
【０１７２】
上記近似の判定に際しては、移動状態算出部１１は、一の方向軸が示す方向と近似する範囲について予め定められたデータを参照する。
【０１７３】
この近似する範囲としては、例えば、原点０を中心として、一の方向軸を仮想的に所定の角度の範囲で回転させた場合に、当該仮想的に回転させた方向軸が、当該所定の角度の範囲においてそれぞれ示す全ての方向が、近似する範囲として定められる。
【０１７４】
具体的には、図１２に示すように、一の方向軸として方向軸ａが示す方向と近似する範囲については、原点０を中心として、方向軸ａを仮想的に一の方向へ２２．５°、逆方向へ２２．５°回転（即ち、原点０を中心に方向軸ａを４５°の範囲内で回転）させた場合に、当該仮想的に回転させた方向軸ａが、一の方向へ２２．５°、逆方向へ２２．５°回転させた場合にそれぞれ示す全ての方向が、方向軸ａが示す方向と近似する範囲にあると判定される。すなわち、方向軸ａが示す方向と近似する範囲は、図１２の斜線部で示した範囲が該当することとなる。
【０１７５】
このように、移動状態算出部１１は、第１の座標系Ｔを用いて、一又は複数の代表的な方向を算出することによって、ベクトル情報の移動開始点を基準に近似する範囲を判定するため装置（ＣＰＵ等）の処理負担を軽減しつつ、撮像領域の所定範囲内から退出する解析対象の動きを正確に解析することができる。
【０１７６】
以下、上述した方向軸が示す方向と近似する範囲を、単に「近似する範囲」と称する。
【０１７７】
なお、図１２に示す例では、方向軸ｂ〜方向軸ｈが示す方向と近似する範囲についても、方向軸ａと同様に定められている。
【０１７８】
また、この近似する範囲の設定方法は上述した例に限られず、任意に設定することができる。具体的には、一の方向軸と他の方向軸に対して、近似する範囲を異なるように設定してもよい。
【０１７９】
また、上述した例では、平面座標系を８分割した方向軸ａ〜方向軸ｈを用いて近似する範囲を判定するようになっているが、これに限られず、例えば、平面座標系を任意の方向軸で分割した座標軸を用いるようにしてもよい（例えば、４分割、６分割等）。
【０１８０】
そして、ステップＳ１５の処理として、移動状態算出部１１は、矩形領域２０に存在するベクトル情報に含まれる移動開始点を、第１の座標系Ｔの原点に仮想的に移動する。そして、移動状態算出部１１は、移動させたベクトル情報に含まれる方向が、第１の座標系Ｔにおける何れかの方向軸ａ〜ｈの近似する範囲に該当するか判定する。
【０１８１】
ここで、図１３を用いて、移動状態算出部１１が、移動させたベクトル情報に含まれる方向が、第１の座標系Ｔにおける何れかの方向軸の近似する範囲に該当するかを判定した判定結果について説明する。
【０１８２】
図１３は、移動させたベクトル情報に含まれる方向が、第１の座標系Ｔにおける何れかの方向軸の近似する範囲に該当するかを判定した判定結果を示す図である。
【０１８３】
図１３に示すように、ベクトル情報Ｖ１の移動開始点Ｖ１Ｓが、原点０に仮想的に移動され、ベクトル情報Ｖ１に含まれる方向が、方向軸ｆの近似する範囲に含まれている。
【０１８４】
従って、移動状態算出部１１は、ベクトル情報Ｖ１は、方向軸ｆが示す方向に近似すると判断する。
【０１８５】
そして、移動状態算出部１１は、矩形領域２０に存在するベクトル情報について、順次同様の判断を行う。
【０１８６】
そして、ステップＳ１５の最後の処理として、移動状態算出部１１は、矩形領域２０に存在するベクトル情報の代表的な方向を算出する。
【０１８７】
代表的な方向の算出方法については、種々の方法を適用することができる。
【０１８８】
具体的には、例えば、移動状態算出部１１は、ベクトル情報と近似すると判断された方向軸が示す方向のうち、最も多くのベクトル情報と近似すると判断された方向軸が示す方向を、代表的な方向とすることができる。
【０１８９】
そして、移動状態算出部１１は、矩形領域２０に存在する全てのベクトル情報の代表的な方向を算出した場合には（ステップＳ１６：ＹＥＳ）、表示制御部１２は、矩形領域２０に存在するベクトル情報の代表的な方向を表示する（ステップＳ１７）。
【０１９０】
ここで、矩形領域２０に存在するベクトル情報の代表的な方向を表示した表示例について図１４を用いて説明する。
【０１９１】
図１４は、矩形領域２０に存在するベクトル情報の代表的な方向を表示した表示例を示す図である。
【０１９２】
図１４に示すように、矩形領域２０には、矩形領域２０に存在するベクトル情報の代表的な方向が表示されている。この矩形領域２０に表示される方向は、上述した代表的な方向の算出方法として、第１の座標系Ｔの方向軸のうち、最も多く近似すると判断された方向軸（図１３の方向軸ｂ）が示す方向が表示されたものである。
【０１９３】
以下、このように判定された方向軸を、「代表的な方向を示す方向軸」と称する（図１３の方向軸ｂ）。また、このように算出された代表的な方向を、単に「代表的な方向」と称する。
【０１９４】
この表示された代表的な方向は、矩形領域２０における動画像に示された人の動きのうち、最も多くの人が示した動きが示されている。
【０１９５】
ここで、矩形領域２０は、店舗Ｓ１の入口付近の位置を示している。そして、表示された代表的な方向は、この店舗Ｓ１に侵入する方向を示している。
【０１９６】
従って、この表示結果から、店舗Ｓ１に来店する人が多く、店舗Ｓ１は人気がある店舗であることがわかる。
【０１９７】
また移動状態算出部１１は、矩形領域２０に存在する全てのベクトル情報の代表的な方向を算出していない場合には（ステップＳ１６：ＮＯ）、ステップＳ１１の処理へと移行する。
【０１９８】
また、この代表的な方向の表示態様は、種々の形態を適用することができる。
【０１９９】
図１４で示す例では、代表的な方向として、最も多くのベクトル情報と近似すると判断された方向軸のみを表示させるようにしたが、２番目又は３番目に多くベクトル情報と近似すると判断された方向軸も併せて表示させるようにしてもよい。
【０２００】
即ち、矩形領域２０に表示される代表的な方向の数量は任意に設定することができるのである。
【０２０１】
また、代表的な方向を示す方向軸に属するベクトル情報の数量に応じて、代表的な方向の表示態様を変化させるようにしてもよい。
【０２０２】
この代表的な方向を示す方向軸に属するベクトル情報の数量とは、移動状態算出部１１によって、代表的な方向であると判定された方向軸に、近似すると判定されたベクトル情報の数量をいう。
【０２０３】
ここで、代表的な方向を示す方向軸に属するベクトル情報の数量に応じて、代表的な方向の表示態様を変化させた場合の表示結果について、図１５を用いて説明する。
【０２０４】
図１５は、代表的な方向を示す方向軸に属するベクトル情報の数量に応じて、代表的な方向の表示態様を変化させた場合の表示結果を示す概念図である。
【０２０５】
図１５に示すように、表示制御部１２は、代表的な方向を示す方向軸に属するベクトル情報の数量に応じて、１〜５の５段階で、代表的な方向３０の太さを変化させて表示させることもできる。
【０２０６】
また、代表的な方向を示す方向軸に属するベクトル情報に含まれる位置変化の大きさに応じて、代表的な方向の表示態様を変化させるようにしてもよい。
【０２０７】
この代表的な方向を示す方向軸に属するベクトル情報に含まれる位置変化の大きさとは、移動状態算出部１１によって、代表的な方向であると判定された方向軸に、近似すると判定されたベクトル情報に含まれる位置変化の大きさをいう。
【０２０８】
かかる位置変化の大きさは、ベクトル情報に含まれる移動開始点及び移動終了点が示す座標値に基づいて、把握することが可能である。
【０２０９】
そこで、表示制御部１２は、代表的な方向であると判定された方向軸に、近似すると判定されたベクトル情報に含まれる位置変化の大きさに基づいて、代表的な方向の表示態様を変化させる。
【０２１０】
ここで、代表的な方向を示す方向軸に属するベクトル情報に含まれる位置変化の大きさに応じて、代表的な方向の表示態様を変化させた場合の表示結果について、図１６を用いて説明する。
【０２１１】
図１６は、代表的な方向を示す方向軸に属するベクトル情報に含まれる位置変化に応じて、代表的な方向の表示態様を変化させた場合の表示結果を示す概念図である。
【０２１２】
図１６に示すように、表示制御部１２は、代表的な方向を示す方向軸に属するベクトル情報に含まれる位置変化に応じて、１〜５の５段階で、代表的な方向４０の長さを変化させて表示させることもできる。
【０２１３】
この位置変化の大きさは各ベクトル情報の位置変化の大きさを積算した値を適用してもよいし、各ベクトル情報の位置変化の大きさの平均を算出した値を適用してもよい。
【０２１４】
また、代表的な方向を示す方向軸に属するベクトル情報の数量、及び、当該ベクトル情報に含まれる位置変化の大きさに応じて、代表的な方向の表示態様を変化させるようにしてもよい。
【０２１５】
図１７は、代表的な方向を示す方向軸に属するベクトル情報の数量、及び、当該ベクトル情報に含まれる位置変化の大きさに応じて、代表的な方向の表示態様を変化させた場合の表示結果を示す概念図である。
【０２１６】
図１７に示すように、表示制御部１２は、代表的な方向を示す方向軸に属するベクトル情報の数量、及び、当該ベクトル情報に含まれる位置変化の大きさに応じて、代表的な方向５０の太さ及び長さを変化させて表示させることもできる。
【０２１７】
また、上述した例では、移動状態算出部１１は、矩形領域２０に存在するベクトル情報に基づいて上記代表的な方向を算出したが、フレーム（撮像領域内）を所定の大きさの領域に分割する分割領域に存在するベクトル情報に基づいて、前記一又は複数の代表的な方向を、各分割領域毎に算出し、算出された各分割領域に対応する一又は複数の代表的な方向を、当該各分割領域に表示させるようにしてもよい。
【０２１８】
ここで、移動状態算出部１１が、分割領域に存在するベクトル情報に基づいて上記代表的な方向を算出した場合の算出結果について、図１８を用いて説明する。
【０２１９】
図１８は、分割領域に存在するベクトル情報に基づいて一又は複数の代表的な方向を算出し、算出された各分割領域に対応する一又は複数の代表的な方向を、当該各分割領域に表示した場合の表示例を示す図である。
【０２２０】
図１８に示すように、表示部４に示される表示画像６０には、フレームを予め定められた複数の分割領域６１に存在するベクトル情報に基づいて算出された代表的な方向６２及び６３等が表示されている。この分割領域６１は、フレームを所定の大きさの複数の分割領域で分割されたものである。
【０２２１】
なお、図１８においては、分割領域６１以外の分割領域の部材番号については、説明の便宜上、その図示を省略している。また、代表的な方向については、図１８において矢印で表示しているが、代表的な方向６２及び６３以外の代表的な方向の部材番号については、説明の便宜上、その図示を省略している。
【０２２２】
この表示例から、例えば、代表的な方向６２は、店舗Ｓ１に侵入する方向を示しているため、店舗Ｓ１に来店する人が多く、店舗Ｓ１は人気がある店舗であることがわかる。また、代表的な方向６３は、店舗Ｓ２の前を通過する方向を示しているため、店舗Ｓ２に来店する人は少なく、店舗Ｓ１はあまり人気がない店舗であることがわかる。
【０２２３】
また、移動状態算出部１１は、中領域を参照して、上述した代表的な方向を算出することもできる。
【０２２４】
この中領域とは、上述したフレームを予め複数の分割領域に分割された場合の１つの分割領域を小領域とすると、所定の数の前記小領域を一つの領域としてまとめたものをいう。そして、この中領域には、中領域毎に算出される代表的な方向の数量が予め設定されており、移動状態算出部１１は、各中領域に設定された代表的な方向の数量に応じて、前記中領域の属する小領域毎に、一又は複数の代表的な方向を算出し、前記算出された中領域の属する小領域毎に、一又は複数の代表的な方向を、当該小領域に表示させるようになっている。
【０２２５】
例えば、動画像で示す人に対して上述したベクトル情報を算出した場合、算出されるベクトル情報に含まれる方向は、分散したものとなる場合がある。また、撮像領域の範囲内では、このベクトル情報が密集する場所や、まったく算出されない場所がある。即ち、算出されるベクトル情報にばらつきが生じることとなる。
【０２２６】
そして、このようなベクトル情報に基づいて代表的な方向を算出すると、この代表的な方向においても、同様にばらつきが生じる。
【０２２７】
そこで、動画像全体で万遍なくベクトル情報が算出されるように、上記中領域を設定し、中領域毎に算出される代表的な方向の数量を予め設定するようになっている。
【０２２８】
ここで、中領域の設定例について、図１９を用いて説明する。
【０２２９】
図１９は、中領域の設定例を示す概念図である。
【０２３０】
図１９に示すように、表示部４に示される表示画像７０には、フレームを予め定められた複数の中領域７１と、中領域７１に算出される一又は複数の代表的な方向の数量７２として１がそれぞれ設定されている。この中領域７１は、上述したように所定の数の前記小領域を一つの領域としてまとめたものであり、例えば、図１８に示す小領域６１と同一の大きさの領域を、４つまとめた大きさ示すものである（即ち、中領域７１は、小領域６１の４倍の大きさを示す）。そして、表示画像７０にあっては、２０の中領域が設定されている。
【０２３１】
なお、図１９においては、中領域７１以外の中領域の部材番号、及び中領域７１に算出される代表的な方向の数量７２以外の数量の部材番号については、説明の便宜上、その図示を省略している。
【０２３２】
この前記中領域に属する小領域毎に、一又は複数の代表的な方向を算出する方法は、種々の方法を適用することができる。
【０２３３】
具体的には、例えば、ある中領域に着目し、当該中領域に属する小領域毎に最も多くのベクトル情報と近似すると判断された方向軸を抽出する。そして、小領域毎に抽出された各方向軸のうち、最も多くのベクトル情報と近似すると判断された方向軸を基準に、又は３番目に多くベクトル情報と近似すると判断された方向軸を、中領域に算出される代表的な方向の数量に応じて表示するようにしてもよい（すなわち、方向軸に近似すると判断されたベクトル情報の数量が、大きいものから順番に表示させる）。
【０２３４】
また、中領域に属する小領域において抽出されるベクトル情報が一定の数量以下の場合には、中領域に算出される代表的な方向を表示させないようにしてもよい。
【０２３５】
また、中領域に属する小領域において抽出されるベクトル情報が、一定の数量以上の場合には、抽出されたベクトル情報の数量の比に応じて、中領域毎に、中領域に算出される代表的な方向を決定するようにしてもよい。そして、このような算出方法を適用して、移動状態算出部１１が、前記中領域に属する小領域毎に、一又は複数の代表的な方向を算出した場合の算出結果について、図２０を用いて説明する。
【０２３６】
図２０は、移動状態算出部１１が、中領域を参照して、前記中領域に属する小領域毎に、一又は複数の代表的な方向を算出した場合の算出結果を表示した場合の表示例を示す図である。
【０２３７】
図２０に示すように、表示部４に示される表示画像８０には、中領域８１に算出される代表的な方向の数量８２に対応した数量の一又は複数の代表的な方向が表示されている。すなわち、表示画像８０において、中領域に算出される代表的な方向の数量が０のものについては代表的な方向が表示されておらず、中領域に算出される代表的な方向の数量が１のものについては１つの代表的な方向が、中領域に算出される代表的な方向の数量が２のものについては２つの代表的な方向が、中領域に算出される代表的な方向の数量が３のものについては３つの代表的な方向が、それぞれ表示されている。また、実際の表示画像には、中領域、及び中領域に算出される代表的な方向の数量は表示されず、代表的な方向のみ表示されるように設定できる。また、上述した撮像領域の所定範囲（上述した、矩形領域２０等）として、少なくとも２以上の異なる大きさの撮像領域の所定範囲を設定し、当該領域に存在するベクトル情報に含まれる方向に基づいて代表的な方向を算出させることもできる。
【０２３８】
ここで、２以上の異なる大きさの撮像領域の所定範囲を設定し、当該領域に存在するベクトル情報に含まれる方向に基づいて代表的な方向を算出させた場合の表示例について図２１を用いて説明する。
【０２３９】
図２１は、２以上の異なる大きさの撮像領域の所定範囲を設定し、当該領域に存在するベクトル情報に含まれる方向に基づいて代表的な方向を算出させた場合の表示例を示す図である。
【０２４０】
図２１に示すように、表示部４に示される表示画像９０には、商品が陳列された陳列棚９１を中心に、左右方向に通路９２及び通路９３が表示されている。
【０２４１】
そして、陳列棚９１の正面に矩形領域９４（異なる大きさの撮像領域の所定範囲の一例）が、通路９２の入口に矩形領域９５（異なる大きさの撮像領域の所定範囲の一例）が、通路９３の入口に矩形領域９６（異なる大きさの撮像領域の所定範囲の一例）が、それぞれ設定されている。
【０２４２】
さらに、矩形領域９４には矩形領域９４に存在するベクトル情報に含まれる方向に基づいて算出された代表的な方向９６が、矩形領域９５には矩形領域９５に存在するベクトル情報に含まれる方向に基づいて算出された代表的な方向９７が、矩形領域９６には矩形領域９６に存在するベクトル情報に含まれる方向に基づいて算出された代表的な方向９８が、それぞれ表示されている。
【０２４３】
この表示画像９０に表示される代表的な方向９６〜９８には、例えば、陳列棚９１、通路９２、又は通路９３に向かってくる人の人数や位置変化の大きさ、及び通過する人の人数や位置変化の大きさが示されている。
【０２４４】
そして、代表的な方向９６から、陳列棚９１に向かってくる人の人数が多いことが示されれば、陳列棚９１に陳列されている商品に興味を持つ人が多いことが把握される。
【０２４５】
また、代表的な方向９６から、陳列棚９１に向かってくる人の位置変化が大きいことが示されれば、少しでも早く陳列棚９１に到着したいと考える人が多いことが把握される。
【０２４６】
また、代表的な方向９６から、陳列棚９１を通過する人の人数が多いことが示されれば、陳列棚９１に陳列されている商品は、人気がない商品であることが把握される。
【０２４７】
さらに、代表的な方向９７又は代表的な方向９８から、通路９２又は通路９３の奥へ向かう人の人数が多いことが示されれば、通路９２又は通路９３の奥には、人が興味を持つ施設等が存在することが把握される。
【０２４８】
なお、これらの２以上の異なる大きさの撮像領域の所定範囲は、ユーザの入力部２の操作に基づいて任意に設定することもできる。
【０２４９】
また、撮像領域の所定範囲には、属性ラベルを設定することもできる。
【０２５０】
この属性ラベルとは、撮像領域の所定範囲について付与される情報であり、例えば、撮像領域の所定範囲を他の範囲と識別するための識別情報や、撮像領域の所定範囲を特徴づける情報等が該当する。
【０２５１】
ここで、撮像領域の所定範囲に、属性ラベルを設定した場合の例を、図２２を用いて説明する。
【０２５２】
図２２は、２以上の撮像領域の所定範囲に、属性ラベルを設定した場合の例を示す図である。
【０２５３】
図２２に示すように、矩形領域１００（２以上の撮像領域の所定範囲の一例）には、属性ラベル１０５が設定されている。なお、矩形領域１００が示す撮像領域の所定範囲は、店舗において、低価格（価格が安い）の商品が陳列された場所を示している。そこで、属性ラベル１０５は、撮像領域の所定範囲を特徴づける情報として、「低価格」との情報が設定されている。
【０２５４】
同様に、矩形領域１０１〜矩形領域１０４には、属性ラベル１０６〜属性ラベル１０９が設定されている。
【０２５５】
属性ラベル１０６には、中価格（例えば、ユーザが購入しやすい手頃な価格）の商品が陳列された場所を示す「中価格」との情報が、属性ラベル１０７には、高価格（例えば、高価な商品）の商品が陳列された場所を示す「高価格」との情報が、属性ラベル１０８には、新しく発売された商品が陳列された場所を示す「新製品」との情報が、属性ラベル１０９には、店舗の入り口又は測定開始地点を示す「トリガ」との情報がそれぞれ設定されている。
【０２５６】
このように設定された属性ラベル１０５〜１０９は、例えば、表示部４に示される表示画像に表示される。この属性ラベル１０５〜１０９を見たユーザは、撮像領域の所定範囲の特徴を容易に把握することができる。
【０２５７】
また、上述した例では、移動状態算出部１１は、第１の座標（小領域モデル）を用いて、この代表的な方向を算出するようになっているが、第２の座標系を用いて、代表的な方向を算出するようにしてもよい。
【０２５８】
ここで、第２の座標系について、図２３を用いて説明する。
【０２５９】
図２３は、第２の座標系を示す図である。
【０２６０】
図２３に示すように、第２の座標系Ｕは、原点０を中心に、原点０を示す方向を示す方向軸ａ〜ｈ（本願の所定の方向から原点を示す方向軸の一例）が、原点０を中心に互いに４５°（本願の所定の角度の一例）離れて８つ（本願の複数の一例）設けられている。
【０２６１】
そして、移動状態算出部１１は、撮像領域の所定範囲（例えば、矩形領域２０）に存在するベクトル情報に含まれる移動終了点を、第２の座標系Ｕの原点に仮想的に移動する。そして、移動状態算出部１１は、移動させたベクトル情報に含まれる方向が、第２の座標系Ｕにおける何れかの方向軸ａ〜ｈの近似する範囲に該当するか判定する。
【０２６２】
このように、移動状態算出部１１は、第２の座標系Ｕを用いて、代表的な方向を算出することによって、ベクトル情報の移動終了点を基準に近似する範囲を判定するため、装置の処理負担を軽減しつつ、撮像領域の所定範囲内へ侵入する解析対象の動きを正確に解析することができる。
【０２６３】
また、上述した例では、解析対象が示す単位時間当たりのベクトル情報を、移動開始点及び移動終了点を結ぶ直線で算出したが、移動開始点又は移動終了点を通過する近似曲線（回帰直線）で算出するようにしてもよい。
【０２６４】
ここで、解析対象が示す単位時間当たりのベクトル情報を、近似曲線で算出した場合について、図２４を用いて説明する。
【０２６５】
図２４は、解析対象が示す単位時間当たりのベクトル情報を、近似曲線で算出した場合を示す概念図である。
【０２６６】
まず、解析対象が示す単位時間当たりのベクトル情報を算出するに際して、単位時間を５秒として想定する。
【０２６７】
図２４に示すように、人Ｈ１が、位置としてＶ１ｓ（ｘ１、ｙ１）からＶ５ｅ（ｘ６、ｙ６）まで、５秒間で移動した場合（図の破線部で表わした矢印まで移動）を考える。この時、基準となるフレームで人Ｈ１が示す位置がＶ１ｓ（ｘ１、ｙ１）であり、当該フレームから秒後のフレームで人Ｈ１が示す位置がＶ１ｅ（ｘ２、ｙ２）と、さらに、１秒間隔で、人Ｈ１が示す位置がＶ3ｓ（ｘ３、ｙ３）、Ｖ4ｓ（ｘ４、ｙ４）、Ｖ５ｓ（ｘ５、ｙ５）とそれぞれ特定されたものとする。なお、ある時間当たりの位置変化の移動終了点と、当該位置変化の次に算出される単位時間当たりの位置変化の移動開始点（例えば、Ｖ１ｅとＶ2ｓ等）は同一の点を示す場合もあることは、図７を用いて既に説明したため、その説明を省略する。
【０２６８】
ここで、単位時間を５秒間とした場合のベクトル情報は、移動開始点Ｖ１ｓ（ｘ１、ｙ１）又は、移動終了点Ｖ５ｅ（ｘ６、ｙ６）の何れかを通過する、Ｖ１ｓ（ｘ１、ｙ１）からＶ５ｅ（ｘ６、ｙ６）における回帰直線を算出することによって求めることができる。
【０２６９】
この回帰直線の算出方法は公知の技術であるため、詳しい説明は省略するが、所謂、最小二乗法によって算出することができる。
【０２７０】
具体的には、ｎ個の２変数データ（ｘ1、ｙ1）、（ｘ2、ｙ2）、・・・、（ｘi、ｙi）、・・・、（ｘｎ、ｙｎ）における回帰直線は、回帰直線を式（１）とすると、式（２）及び式（３）を式（１）へ代入することにより算出される。
【０２７１】
【数１】
【０２７２】
【数２】
【０２７３】
【数３】
本実施例においては、Ｖ１ｓ（ｘ１、ｙ１）からＶ５ｅ（ｘ６、ｙ６）における値を式（２）及び式（３）へ代入し、ａ及びｂを算出し、式（１）の回帰直線を算出する。
【０２７４】
そして、こうして算出された回帰直線を、解析対象が示す単位時間当たりのベクトル情報として適用するようにしてもよい。
【０２７５】
このように単位時間当たりのベクトル情報を回帰直線で算出することによって、単位時間当たりのベクトル情報の移動開始点から移動終了点の間における位置変化も鑑みて当該ベクトル情報が算出されるため、より正確に解析対象の動きを把握することができる。
【０２７６】
なお、以上説明した実施形態は特許請求の範囲にかかる発明を限定するものではない。そして、上記実施形態の中で説明されている構成の組み合わせ全てが発明の課題解決に必須の手段であるとは限らない。
【０２７７】
また、図２及び図６に示すフローチャートに対応するプログラムをフレキシブルディスク又はハードディスク等の記録媒体に記録しておき、あるいはネットワークＮＴを介して取得して記憶しておき、これらを汎用のパーソナルコンピュータ等に読み出して実行させることにより、当該パーソナルコンピュータ等を上記実施形態にかかる画像解析装置ＳＳのＣＰＵが示す動作と同様に機能させることも可能である。
【０２７８】
以上説明したように、本実施形態においては、動画像として撮像された解析対象の動きを解析する画像解析装置ＳＳは、撮像領域内を一定期間撮像した動画像を記憶する入力画像格納部５と、前記動画像に示される前記解析対象を検出する動体検出部６と、前記検出された解析対象が、前記撮像領域内で示す位置変化を算出し、動体ＩＤと対応付けて位置座標記憶部８へ記憶する位置変化算出部７と、前記記憶された位置変化に基づいて、前記検出された解析対象が、前記撮像領域内で示す単位時間当たりの位置変化を、前記撮像領域内における位置及び方向を含むベクトル情報として動体ＩＤ毎に算出するベクトル情報算出部９と、前記ベクトル情報に含まれる位置に基づいて、前記撮像領域の所定範囲内に存在するベクトル情報を抽出するベクトル情報抽出部１０と、前記抽出された所定範囲内に存在するベクトル情報に含まれる方向に基づいて、当該所定範囲内に存在するベクトル情報の一又は複数の代表的な方向を算出する移動状態算出部１１と、前記算出された代表的な方向を、外部へ表示させる表示制御部１２と、を備えるように構成したため、解析対象の動きをより正確に解析し、解析結果に対する把握性を向上させることができる。
【０２７９】
なお、上記実施形態においては、本願を画像解析装置ＳＳに対して適用した場合の例を示したが、その他にも例えば、パーソナルコンピュータ又は家庭用等の電子機器等に対しても適用可能である。
【符号の説明】
【０２８０】
１ 画像入力部
２ 入力部
３ 制御部
４ 表示部
５ 入力画像格納部
６ 動体検出部
７ 位置変化算出部
８ 位置座標記憶部
９ ベクトル情報算出部
１０ ベクトル情報抽出部
１１ 移動状態算出部
１２ 表示制御部
１３ 出力フレームメモリ
ＳＳ 画像解析装置
【特許請求の範囲】
【請求項１】
動画像として撮像された解析対象の動きを解析する画像解析装置であって、
撮像領域内を一定期間撮像した動画像を記憶する記憶手段と、
前記動画像に示される前記解析対象を検出する検出手段と、
前記検出された解析対象が、前記撮像領域内で示す位置変化を算出し、前記解析対象を他の解析対象と識別するための解析対象識別情報と対応付けて記憶する位置変化算出手段と、
前記記憶された位置変化に基づいて、前記検出された解析対象が、前記撮像領域内で示す単位時間当たりの位置変化を、前記撮像領域内における位置及び方向を含むベクトル情報として解析対象識別情報毎に算出するベクトル情報算出手段と、
前記ベクトル情報に含まれる位置に基づいて、前記撮像領域の所定範囲内に存在するベクトル情報を抽出するベクトル情報抽出手段と、
前記抽出された所定範囲内に存在するベクトル情報に含まれる方向に基づいて、当該所定範囲内に存在するベクトル情報の一又は複数の代表的な方向を算出する移動状態算出手段と、
前記算出された代表的な方向を、外部へ表示させる表示制御手段と、
を備えることを特徴とする画像解析装置。
【請求項２】
請求項１に記載の画像解析装置であって、
前記ベクトル情報算出手段は、前記ベクトル情報として、前記解析対象の移動開始点を算出し、前記ベクトル情報に含まれる移動開始点に基づいて、前記撮像領域の所定範囲内に存在するベクトル情報を抽出することを特徴とする画像解析装置。
【請求項３】
請求項１又は２に記載の画像解析装置であって、
前記ベクトル情報算出手段は、前記ベクトル情報として、前記解析対象の移動終了点を算出し、前記ベクトル情報に含まれる移動終了点に基づいて、前記撮像領域の所定範囲内に存在するベクトル情報を抽出することを特徴とする画像解析装置。
【請求項４】
請求項１乃至３の何れか１項に記載の画像解析装置であって、
前記移動状態算出手段は、
前記抽出された所定範囲内に存在するベクトル情報に含まれる方向が、
原点を中心に所定の方向を示す方向軸が、当該原点を中心に所定の角度離れて複数設けられた第１の座標系における何れかの方向軸が示す方向と近似するかを判定し、
前記ベクトル情報に含まれる方向と、近似すると判定された方向軸が示す方向を、前記所定範囲内に存在するベクトル情報の代表的な方向と算出することを特徴とする画像解析装置。
【請求項５】
請求項１乃至４の何れか１項に記載の画像解析装置であって、
前記移動状態算出手段は、
前記抽出された所定範囲内に存在するベクトル情報に含まれる方向が、
所定の方向から原点を示す方向軸が、当該原点を中心に所定の角度離れて複数設けられた第２の座標系における何れかの方向軸が示す方向と近似するかを判定し、
前記ベクトル情報に含まれる方向と、近似すると判定された方向軸が示す方向を、前記所定範囲内に存在するベクトル情報の代表的な方向と算出することを特徴とする画像解析装置。
【請求項６】
請求項１乃至５の何れか１項に記載の画像解析装置であって、
前記ベクトル情報抽出手段は、少なくとも２以上のベクトル情報を抽出し、
前記表示制御手段は、前記算出された代表的な方向に属するベクトル情報の数量に応じて、前記外部へ表示させる代表的な方向の表示態様を変化させることを特徴とする画像解析装置。
【請求項７】
請求項１乃至６の何れか１項に記載の画像解析装置であって、
前記ベクトル情報抽出手段は、少なくとも２以上のベクトル情報を抽出し、
前記表示制御手段は、前記算出された代表的な方向に属するベクトル情報に含まれる位置変化の大きさに応じて、前記外部へ表示させる代表的な方向の表示態様を変化させることを特徴とする画像解析装置。
【請求項８】
請求項１乃至７の何れか１項に記載の画像解析装置であって、
前記ベクトル情報抽出手段は、少なくとも２以上のベクトル情報を抽出し、
前記表示制御手段は、
前記移動状態算出手段によって算出された代表的な方向に属するベクトル情報の数量が所定の閾値以上の場合に、当該算出された代表的な方向を、外部へ表示させることを特徴とする画像解析装置。
【請求項９】
請求項１乃至８の何れか１項に記載の画像解析装置であって、
前記ベクトル情報抽出手段は、少なくとも２以上のベクトル情報を抽出し、
前記表示制御手段は、
前記移動状態算出手段によって算出された代表的な方向に属するベクトル情報の数量が最も多い代表的な方向を抽出し、当該代表的な方向を外部へ表示させることを特徴とする画像解析装置。
【請求項１０】
請求項１乃至９の何れか１項に記載の画像解析装置であって、
前記ベクトル情報抽出手段は、
前記ベクトル情報に含まれる位置に基づいて、少なくとも２以上の異なる大きさの撮像領域の所定範囲内に存在するベクトル情報を、撮像領域の所定範囲内毎に抽出し、
前記移動状態算出手段は、前記抽出された所定範囲内に存在するベクトル情報に含まれる方向に基づいて、当該所定範囲内に存在するベクトル情報の代表的な方向を、前記撮像領域の所定範囲内毎に算出することを特徴とする画像解析装置。
【請求項１１】
請求項１乃至１０の何れか１項に記載の画像解析装置であって、
前記ベクトル情報抽出手段は、前記撮像領域内を所定の大きさの領域に分割する分割領域に存在するベクトル情報を、各分割領域毎に算出し、
前記移動状態算出手段は、前記分割領域毎に算出されたベクトル情報に基づいて、前記一又は複数の代表的な方向を、各分割領域毎に算出し、
前記表示制御手段は、前記算出された各分割領域に対応する一又は複数の代表的な方向を、当該各分割領域に表示させることを特徴とする画像解析装置。
【請求項１２】
請求項１１に記載の画像解析装置であって、
所定の数量の前記分割領域を一つの領域としてまとめた中領域とし、各中領域毎に算出される代表的な方向の数量が予め設定されており、
前記移動状態算出手段は、前記中領域毎に設定された数量に応じて、前記中領域に属する小領域毎に、一又は複数の代表的な方向を算出し、
前記表示制御手段は、前記算出された中領域の属する小領域毎に、一又は複数の代表的な方向を、当該小領域に表示させることを特徴とする画像解析装置。
【請求項１３】
請求項１乃至１２の何れか１項に記載の画像解析装置であって、
前記撮像領域の所定範囲内を任意に設定可能な入力手段をさらに備えることを特徴とする画像解析装置。
【請求項１４】
動画像に撮像された解析対象の動きを解析する画像解析装置における画像解析方法であって、
撮像領域内を一定期間撮像した動画像を記憶する記憶工程と、
前記動画像に示される前記解析対象を検出する検出工程と、
前記検出された解析対象が、前記撮像領域内で示す位置変化を算出し、前記解析対象を他の解析対象と識別するための解析対象識別情報と対応付けて記憶する位置変化算出工程と、
前記記憶された位置変化に基づいて、前記検出された解析対象が、前記撮像領域内で示す単位時間当たりの位置変化を、前記撮像領域内における位置及び方向を含むベクトル情報として解析対象識別情報毎に算出するベクトル情報算出工程と、
前記ベクトル情報に含まれる位置に基づいて、前記撮像領域の所定範囲内に存在するベクトル情報を抽出するベクトル情報抽出工程と、
前記抽出された所定範囲内に存在するベクトル情報に含まれる方向に基づいて、当該所定範囲内に存在するベクトル情報の一又は複数の代表的な方向を算出する移動状態算出工程と、
前記算出された代表的な方向を、外部へ表示させる表示制御工程と、
を有することを特徴とする画像解析方法。
【請求項１５】
動画像に撮像された解析対象の動きを解析する画像解析装置に含まれるコンピュータを、
撮像領域内を一定期間撮像した動画像を記憶する記憶手段、
前記動画像に示される前記解析対象を検出する検出手段、
前記検出された解析対象が、前記撮像領域内で示す位置変化を算出し、前記解析対象を他の解析対象と識別するための解析対象識別情報と対応付けて記憶する位置変化算出手段、
前記記憶された位置変化に基づいて、前記検出された解析対象が、前記撮像領域内で示す単位時間当たりの位置変化を、前記撮像領域内における位置及び方向を含むベクトル情報として解析対象識別情報毎に算出するベクトル情報算出手段、
前記ベクトル情報に含まれる位置に基づいて、前記撮像領域の所定範囲内に存在するベクトル情報を抽出するベクトル情報抽出手段、
前記抽出された所定範囲内に存在するベクトル情報に含まれる方向に基づいて、当該所定範囲内に存在するベクトル情報の一又は複数の代表的な方向を算出する移動状態算出手段、
前記算出された代表的な方向を、外部へ表示させる表示制御手段、
として機能させることを特徴とする画像解析プログラム。
【請求項１６】
請求項１５に記載の画像処理プログラムがコンピュータ読み取り可能に記録されていることを特徴とする記録媒体。
【請求項１】
動画像として撮像された解析対象の動きを解析する画像解析装置であって、
撮像領域内を一定期間撮像した動画像を記憶する記憶手段と、
前記動画像に示される前記解析対象を検出する検出手段と、
前記検出された解析対象が、前記撮像領域内で示す位置変化を算出し、前記解析対象を他の解析対象と識別するための解析対象識別情報と対応付けて記憶する位置変化算出手段と、
前記記憶された位置変化に基づいて、前記検出された解析対象が、前記撮像領域内で示す単位時間当たりの位置変化を、前記撮像領域内における位置及び方向を含むベクトル情報として解析対象識別情報毎に算出するベクトル情報算出手段と、
前記ベクトル情報に含まれる位置に基づいて、前記撮像領域の所定範囲内に存在するベクトル情報を抽出するベクトル情報抽出手段と、
前記抽出された所定範囲内に存在するベクトル情報に含まれる方向に基づいて、当該所定範囲内に存在するベクトル情報の一又は複数の代表的な方向を算出する移動状態算出手段と、
前記算出された代表的な方向を、外部へ表示させる表示制御手段と、
を備えることを特徴とする画像解析装置。
【請求項２】
請求項１に記載の画像解析装置であって、
前記ベクトル情報算出手段は、前記ベクトル情報として、前記解析対象の移動開始点を算出し、前記ベクトル情報に含まれる移動開始点に基づいて、前記撮像領域の所定範囲内に存在するベクトル情報を抽出することを特徴とする画像解析装置。
【請求項３】
請求項１又は２に記載の画像解析装置であって、
前記ベクトル情報算出手段は、前記ベクトル情報として、前記解析対象の移動終了点を算出し、前記ベクトル情報に含まれる移動終了点に基づいて、前記撮像領域の所定範囲内に存在するベクトル情報を抽出することを特徴とする画像解析装置。
【請求項４】
請求項１乃至３の何れか１項に記載の画像解析装置であって、
前記移動状態算出手段は、
前記抽出された所定範囲内に存在するベクトル情報に含まれる方向が、
原点を中心に所定の方向を示す方向軸が、当該原点を中心に所定の角度離れて複数設けられた第１の座標系における何れかの方向軸が示す方向と近似するかを判定し、
前記ベクトル情報に含まれる方向と、近似すると判定された方向軸が示す方向を、前記所定範囲内に存在するベクトル情報の代表的な方向と算出することを特徴とする画像解析装置。
【請求項５】
請求項１乃至４の何れか１項に記載の画像解析装置であって、
前記移動状態算出手段は、
前記抽出された所定範囲内に存在するベクトル情報に含まれる方向が、
所定の方向から原点を示す方向軸が、当該原点を中心に所定の角度離れて複数設けられた第２の座標系における何れかの方向軸が示す方向と近似するかを判定し、
前記ベクトル情報に含まれる方向と、近似すると判定された方向軸が示す方向を、前記所定範囲内に存在するベクトル情報の代表的な方向と算出することを特徴とする画像解析装置。
【請求項６】
請求項１乃至５の何れか１項に記載の画像解析装置であって、
前記ベクトル情報抽出手段は、少なくとも２以上のベクトル情報を抽出し、
前記表示制御手段は、前記算出された代表的な方向に属するベクトル情報の数量に応じて、前記外部へ表示させる代表的な方向の表示態様を変化させることを特徴とする画像解析装置。
【請求項７】
請求項１乃至６の何れか１項に記載の画像解析装置であって、
前記ベクトル情報抽出手段は、少なくとも２以上のベクトル情報を抽出し、
前記表示制御手段は、前記算出された代表的な方向に属するベクトル情報に含まれる位置変化の大きさに応じて、前記外部へ表示させる代表的な方向の表示態様を変化させることを特徴とする画像解析装置。
【請求項８】
請求項１乃至７の何れか１項に記載の画像解析装置であって、
前記ベクトル情報抽出手段は、少なくとも２以上のベクトル情報を抽出し、
前記表示制御手段は、
前記移動状態算出手段によって算出された代表的な方向に属するベクトル情報の数量が所定の閾値以上の場合に、当該算出された代表的な方向を、外部へ表示させることを特徴とする画像解析装置。
【請求項９】
請求項１乃至８の何れか１項に記載の画像解析装置であって、
前記ベクトル情報抽出手段は、少なくとも２以上のベクトル情報を抽出し、
前記表示制御手段は、
前記移動状態算出手段によって算出された代表的な方向に属するベクトル情報の数量が最も多い代表的な方向を抽出し、当該代表的な方向を外部へ表示させることを特徴とする画像解析装置。
【請求項１０】
請求項１乃至９の何れか１項に記載の画像解析装置であって、
前記ベクトル情報抽出手段は、
前記ベクトル情報に含まれる位置に基づいて、少なくとも２以上の異なる大きさの撮像領域の所定範囲内に存在するベクトル情報を、撮像領域の所定範囲内毎に抽出し、
前記移動状態算出手段は、前記抽出された所定範囲内に存在するベクトル情報に含まれる方向に基づいて、当該所定範囲内に存在するベクトル情報の代表的な方向を、前記撮像領域の所定範囲内毎に算出することを特徴とする画像解析装置。
【請求項１１】
請求項１乃至１０の何れか１項に記載の画像解析装置であって、
前記ベクトル情報抽出手段は、前記撮像領域内を所定の大きさの領域に分割する分割領域に存在するベクトル情報を、各分割領域毎に算出し、
前記移動状態算出手段は、前記分割領域毎に算出されたベクトル情報に基づいて、前記一又は複数の代表的な方向を、各分割領域毎に算出し、
前記表示制御手段は、前記算出された各分割領域に対応する一又は複数の代表的な方向を、当該各分割領域に表示させることを特徴とする画像解析装置。
【請求項１２】
請求項１１に記載の画像解析装置であって、
所定の数量の前記分割領域を一つの領域としてまとめた中領域とし、各中領域毎に算出される代表的な方向の数量が予め設定されており、
前記移動状態算出手段は、前記中領域毎に設定された数量に応じて、前記中領域に属する小領域毎に、一又は複数の代表的な方向を算出し、
前記表示制御手段は、前記算出された中領域の属する小領域毎に、一又は複数の代表的な方向を、当該小領域に表示させることを特徴とする画像解析装置。
【請求項１３】
請求項１乃至１２の何れか１項に記載の画像解析装置であって、
前記撮像領域の所定範囲内を任意に設定可能な入力手段をさらに備えることを特徴とする画像解析装置。
【請求項１４】
動画像に撮像された解析対象の動きを解析する画像解析装置における画像解析方法であって、
撮像領域内を一定期間撮像した動画像を記憶する記憶工程と、
前記動画像に示される前記解析対象を検出する検出工程と、
前記検出された解析対象が、前記撮像領域内で示す位置変化を算出し、前記解析対象を他の解析対象と識別するための解析対象識別情報と対応付けて記憶する位置変化算出工程と、
前記記憶された位置変化に基づいて、前記検出された解析対象が、前記撮像領域内で示す単位時間当たりの位置変化を、前記撮像領域内における位置及び方向を含むベクトル情報として解析対象識別情報毎に算出するベクトル情報算出工程と、
前記ベクトル情報に含まれる位置に基づいて、前記撮像領域の所定範囲内に存在するベクトル情報を抽出するベクトル情報抽出工程と、
前記抽出された所定範囲内に存在するベクトル情報に含まれる方向に基づいて、当該所定範囲内に存在するベクトル情報の一又は複数の代表的な方向を算出する移動状態算出工程と、
前記算出された代表的な方向を、外部へ表示させる表示制御工程と、
を有することを特徴とする画像解析方法。
【請求項１５】
動画像に撮像された解析対象の動きを解析する画像解析装置に含まれるコンピュータを、
撮像領域内を一定期間撮像した動画像を記憶する記憶手段、
前記動画像に示される前記解析対象を検出する検出手段、
前記検出された解析対象が、前記撮像領域内で示す位置変化を算出し、前記解析対象を他の解析対象と識別するための解析対象識別情報と対応付けて記憶する位置変化算出手段、
前記記憶された位置変化に基づいて、前記検出された解析対象が、前記撮像領域内で示す単位時間当たりの位置変化を、前記撮像領域内における位置及び方向を含むベクトル情報として解析対象識別情報毎に算出するベクトル情報算出手段、
前記ベクトル情報に含まれる位置に基づいて、前記撮像領域の所定範囲内に存在するベクトル情報を抽出するベクトル情報抽出手段、
前記抽出された所定範囲内に存在するベクトル情報に含まれる方向に基づいて、当該所定範囲内に存在するベクトル情報の一又は複数の代表的な方向を算出する移動状態算出手段、
前記算出された代表的な方向を、外部へ表示させる表示制御手段、
として機能させることを特徴とする画像解析プログラム。
【請求項１６】
請求項１５に記載の画像処理プログラムがコンピュータ読み取り可能に記録されていることを特徴とする記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【公開番号】特開２０１２−２３４２８５（Ｐ２０１２−２３４２８５Ａ）
【公開日】平成２４年１１月２９日（２０１２．１１．２９）
【国際特許分類】
【出願番号】特願２０１１−１０１５２２（Ｐ２０１１−１０１５２２）
【出願日】平成２３年４月２８日（２０１１．４．２８）
【出願人】（０００００２８９７）大日本印刷株式会社 (14,506)
【Ｆターム（参考）】
【公開日】平成２４年１１月２９日（２０１２．１１．２９）
【国際特許分類】
【出願日】平成２３年４月２８日（２０１１．４．２８）
【出願人】（０００００２８９７）大日本印刷株式会社 (14,506)
【Ｆターム（参考）】
[ Back to top ]