動線表示装置及び方法並びにプログラム
【課題】移動体が撮影されているカメラ画像を探し出すのにユーザが要する手間と時間を削減する。
【解決手段】動線表示装置は、動線データベースから表示対象として選択された移動体の動線データを取得し、取得した動線データで移動体の始点から終点まで移動経路を示す動線を表示する。また、動線表示装置は、表示される動線の先端の位置情報を基準に複数のカメラのなかからそのカメラ台数より少ない一定数以下のカメラを選択する。そして、選択されたカメラの撮影画像を、動線と同期させて表示する。
【解決手段】動線表示装置は、動線データベースから表示対象として選択された移動体の動線データを取得し、取得した動線データで移動体の始点から終点まで移動経路を示す動線を表示する。また、動線表示装置は、表示される動線の先端の位置情報を基準に複数のカメラのなかからそのカメラ台数より少ない一定数以下のカメラを選択する。そして、選択されたカメラの撮影画像を、動線と同期させて表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、監視領域内を移動する移動体の始点から終点までの移動経路を示す動線を表示する技術に関する。
【背景技術】
【０００２】
監視領域内を移動する人物等の移動体の移動経路を動線として表示するシステムは、既に実用化されている。このシステムは、移動体を認識して追跡する仕組みが必要となる。この仕組みの１つに、監視領域を撮影対象として配置された複数のカメラの画像データを利用する方法がある。カメラ画像を利用する方法は、移動体の動線だけでなく、カメラで撮影された画像から移動体を目視により確認できる利点がある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９-１０７３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
カメラ画像を利用するシステムの場合、監視領域が拡大すればするほど、必要なカメラの台数が増加する。カメラの台数が増加すると、ユーザがカメラ画像から移動体を確認する際の画像数が増加する。画像数が増加すると、移動体が撮影されているカメラ画像を探し出すのに大きな手間と時間を要する。
【課題を解決するための手段】
【０００５】
一実施形態によれば、動線表示装置は、動線データ取得手段と、動線表示手段と、カメラ選択手段と、カメラ画像表示手段とを備える。動線データ取得手段は、監視領域を撮影対象として配置された複数のカメラの各撮影画像から生成される移動体毎の動線データを記憶する動線データベースから表示対象として選択された移動体の動線データを取得する。動線表示手段は、動線データ取得手段により取得した動線データで移動体の始点から終点まで移動経路を示す動線を表示する。カメラ選択手段は、動線表示手段により表示される動線の先端の位置情報を基準に複数のカメラのなかからそのカメラ台数より少ない一定数以下のカメラを選択する。カメラ画像表示手段は、カメラ選択手段により選択されたカメラの撮影画像を動線表示手段により表示される動線と同期させて表示する。
【図面の簡単な説明】
【０００６】
【図１】実施形態のシステム構成図。
【図２】実施形態の売場レイアウト図。
【図３】図１の画像データベースに保存される画像データのデータ構造図。
【図４】図１の動線データベースに保存される動線データのデータ構造図。
【図５】第１の実施形態において、テーブル記憶部で記憶するエリア設定テーブルの構成図。
【図６】第１の実施形態において、テーブル記憶部で記憶するエリア別表示カメラ定義テーブルの構成図。
【図７】第１の実施形態において、動線表示プログラムにしたがって制御部が実行する主要な処理手順を示す流れ図。
【図８】動線表示画面の一例を示す図。
【図９】第２の実施形態において、テーブル記憶部で記憶するカメラ位置設定テーブルの構成図。
【図１０】第２の実施形態において、データ記憶部に形成する順位ワークメモリの構成図。
【図１１】第２の実施形態において、動線表示プログラムにしたがって制御部が実行する主要な処理手順を示す流れ図。
【図１２】第３の実施形態において、テーブル記憶部で記憶するカメラ画像座標テーブルの構成図。
【図１３】第３の実施形態において、動線表示プログラムにしたがって制御部が実行する主要な処理手順を示す流れ図。
【発明を実施するための形態】
【０００７】
以下、図面を用いて、複数の実施形態を説明する。なお、各実施形態は、いずれもコンビニエンスストア等の小売店の売場Ｓを監視領域とし、この売場Ｓ内を移動する買物客を移動体として認識して、買物客の移動経路を動線として表示する場合である。
【０００８】
（第１の実施形態）
はじめに、第１の実施形態について、図１〜図８を用いて説明する。
図１は、本実施形態のシステム構成図であり、図２は、売場Ｓのレイアウトを示す平面図である。本実施形態は、カメラを用いた画像処理方式の動線認識システムを採用する。このシステムは、複数台のカメラＣＡ１，ＣＡ２，ＣＡ４，ＣＡ４，ＣＡ５，ＣＡ６と、動線認識装置１を使用する。各カメラＣＡ１〜ＣＡ６は、いずれも売場Ｓを撮影対象として、売場Ｓの天井部等に分散して取り付けられる。本実施形態では、説明の便宜上、６台のカメラＣＡ１〜ＣＡ６が図２に示すレイアウトで取り付けられているものとする。
【０００９】
各カメラＣＡ１〜ＣＡ６は、魚眼レンズを用いたカメラや全方位ミラー付のカメラ等の広角レンズカメラである。これらのカメラＣＡ１〜ＣＡ６は、視体積交差法により、売場Ｓ内を移動する買物客の軌跡、すなわち人物動線を追跡するために用いられる。視体積交差法は、例えば客の頭部を複数の方向から撮影し、各画像の頭部の位置から頭部の店内空間に適宜設置された３次元座標系内の座標値を算出する方法である。１つの監視領域に配置されるカメラの台数は特に制限されないが、視体積交差法による位置検出精度を高めるためには少なくとも３台のカメラで撮影した画像が必要である。
【００１０】
各カメラＣＡ１〜ＣＡ６は、動線認識装置１が備えるカメラコントロール部１１の一元制御により一定の周期（例えば１／１５秒）で撮影動作を繰り返し、その撮影画像（フレーム画像）を動線認識装置１に送信する。動線認識装置１は、カメラコントロール部１１の他、カメラ画像データベース１２、動線生成部１３及び動線データベース１４を備えている。
【００１１】
カメラ画像データベース１２は、各カメラＣＡ１〜ＣＡ６で撮影されたフレーム画像データを順次蓄積する。カメラ画像データベース１２に蓄積されるフレーム画像データの構造を、図３の模式図で示す。図３に示すように、カメラ画像データベース１２は、フレーム画像データを、カメラＩＤ、フレーム番号及び撮影時刻とともに記憶する。
【００１２】
カメラＩＤは、当該画像データを撮影したカメラＣＡ１〜ＣＡ６の識別コードである。各カメラＣＡ１〜ＣＡ６は、それぞれ固有のカメラＩＤ“ＣＡ１”，“ＣＡ２”，“ＣＡ３”，“ＣＡ４”，“ＣＡ５”，“ＣＡ６”を予め設定する。フレーム番号は、各カメラＣＡ１〜ＣＡ６でフレーム画像が撮影される毎にカウントアップされる“１”からの連続番号である。カメラコントロール部１１の制御により、各カメラＣＡ１〜ＣＡ６のフレーム番号は同期している。撮影日時は、当該画像データが撮影された時点の日時（年月日時分秒）である。
【００１３】
動線生成部１３は、カメラ画像データベース１２に蓄積されたフレーム画像データの画像処理により監視領域である売場内を移動する買物客を認識し、この買物客が売場Ｓに進入した地点である始点から退出した地点である終点までの売場Ｓ内での移動経路を示す動線データを作成する。
【００１４】
動線データベース１４は、動線生成部１３により買物客毎に生成される動線データを蓄積する。動線データベース１４に蓄積される動線データの構造を、図４の模式図で示す。図４に示すように、動線データベース１４は、動線データを、動線ＩＤとともに記憶する。動線ＩＤは、当該動線データを個々に特定するための動線特定情報である。動線生成部１３は、買物客１名の動線データを生成する毎に、その動線データに固有の動線ＩＤを付して、動線データベース１４に格納する。
【００１５】
動線データは、始点フレーム“１”のフレーム番号、及び、終点フレーム“ｎ”（ｎ＞１の整数）のフレーム番号と、始点フレーム“１”から終点フレーム“ｎ”までのフレーム毎のインデックスデータとを含む。インデックスデータは、少なくとも売場Ｓ内の位置を特定する三次元座標（Ｘ，Ｙ，Ｈ）とフレーム撮影時刻Ｔとを含む。
【００１６】
始点フレーム“１”番号は、当該動線データの買物客が売場Ｓで最初に認識されたフレーム画像のフレーム番号であり、このフレーム画像の撮影時刻が始点フレーム“１”に対するインデックスデータのフレーム撮影時刻Ｔ１となる。終点フレーム“ｎ”番号は、当該買物客が売場Ｓで最後に認識されたフレーム画像のフレーム番号であり、このフレーム画像の撮影時刻が終点フレーム“ｎ”に対するインデックスデータのフレーム撮影時刻Ｔｎとなる。フレーム番号毎の店内座標は、対応するフレーム番号のフレーム画像から認識された当該買物客の位置を、三次元の世界座標系（Ｘ，Ｙ，Ｈ）で特定したものである。本実施形態では、図２において、売場Ｓの左上の角をＸ軸及びＹ軸の原点Ｏ（０，０）とし、その床面をＨ（Height）軸の原点としている。
【００１７】
かかる構成の動線認識装置１は、パーソナルコンピュータ等を主体に構成される動線表示装置２と通信ケーブルで接続する。動線表示装置２は、入力部２１、表示部２２、データベースアクセス部２３、プログラム記憶部２４、データ記憶部２５、テーブル記憶部２６及び制御部２７を備える。
【００１８】
入力部２１は、キーボード，マウス等の入力デバイスからなる。表示部２２は、液晶ディスプレイ，ＣＲＴディスプレイ等の表示デバイスからなる。タッチパネル付のディスプレイを用いることで、入力部と表示部を兼用してもよい。
【００１９】
データベースアクセス部２３は、通信ケーブルを介して動線認識装置１にアクセスして、動線データベース１４及びカメラ画像データベース１２から動線データ及びフレーム画像データを読取る。
【００２０】
例えばＲＯＭ（Read Only Memory）で構成されるプログラム記憶部２４は、当該動線表示装置２の処理動作を制御するための動線表示プログラムを記憶する。例えばＲＡＭ（Random Access Memory）で構成されるデータ記憶部２５は、動線データベース１４及びカメラ画像データベース１２から読み取った動線データ及びフレーム画像データを一時的に記憶する。例えばＨＤＤ（Hard Disk Drive）で構成されるテーブル記憶部２６は、エリア設定テーブル３１とエリア別表示カメラ定義テーブル３２とを記憶する。
【００２１】
図５は、エリア設定テーブル３１のデータ構造を示す模式図である。図５に示すように、このテーブル３１は、複数のエリアＩＤを記述するための領域３１-1と、各エリアＩＤに結び付けて左上座標データと右上座標データとをそれぞれ記述するための領域３１-2，３１-3を備える。
【００２２】
エリアＩＤは、監視領域である売場ＳのＸ−Ｙ平面を、２以上の区画に区切った際の各区画に割り当てられる固有のＩＤである。本実施形態では、図２に示すように、売場ＳのＸ−Ｙ平面を区画Ａ，Ｂ，Ｃ，Ｄ，Ｅの５つに区分し、各区画Ａ，Ｂ，Ｃ，Ｄ，Ｅに対してそれぞれ“Ａｒ”，“Ｂｒ”，“Ｃｒ”，“Ｄｒ”，“Ｅｒ”のエリアＩＤを設定する。
【００２３】
左上座標データと右上座標データは、対応するエリアＩＤによって特定される区画の床面の左上角と右下角の二次元座標（ｘ，ｙ）である。座標（ｘ，ｙ）は、前記原点Ｏ（０，０）を基準としたときの世界座標系である。
【００２４】
動線表示装置２のユーザは、各エリアＩＤ“Ａｒ”，“Ｂｒ”，“Ｃｒ”，“Ｄｒ”，“Ｅｒ”を領域３１-1に記述する。またユーザは、対応するエリアＩＤに結び付けて、そのＩＤによって特定される区画Ａ，Ｂ，Ｃ，Ｄ，Ｅの左上座標（xa1，ya1），（xb1，yb1），（xc1，yc1），（xd1，yd1），（xe1，ye1）と、右上座標（xa2，ya2），（xb2，yb2），（xc2，yc2），（xd2，yd2），（xe2，ye2）とを領域３１-2，３２-3に記述して、エリア設定テーブル３１を事前に作成する。
【００２５】
図６は、エリア別表示カメラ定義テーブル３２のデータ構造を示す模式図である。図６に示すように、このテーブル３２は、複数のエリアＩＤを記述する領域３２-1と、各エリアＩＤに結び付けて３種類のカメラＩＤをそれぞれ記述する領域３２-2，３２-3，３２-4とを備える。
【００２６】
前記ユーザは、各エリアＩＤ“Ａｒ”，“Ｂｒ”，“Ｃｒ”，“Ｄｒ”，“Ｅｒ”を領域３２-1に記述する。またユーザは、対応するエリアＩＤに結び付けて、そのＩＤによって特定される区画Ａ，Ｂ，Ｃ，Ｄ，Ｅを撮影可能なカメラのうち、その区画を撮影した画像の例えば鮮明度が高い順に上位３位まで選択する。そして、選択したカメラのＩＤを領域３２-2，３２-3，３２-4に順に記述して、エリア別表示カメラ定義テーブル３２を事前に作成する。
【００２７】
因みに、図２のレイアウトを適用する本実施形態では、区画Ａに対してはカメラＣＡ１，ＣＡ６，ＣＡ３のカメラＩＤを定義し、区画Ｂに対してはカメラＣＡ６，ＣＡ３，ＣＡ５のカメラＩＤを定義し、区画Ｃに対してはカメラＣＡ５，ＣＡ６，ＣＡ４のカメラＩＤを定義し、区画Ｄに対してはカメラＣＡ４，ＣＡ３，ＣＡ２のカメラＩＤを定義し、区画Ｅに対してはカメラＣＡ１，ＣＡ２，ＣＡ３のカメラＩＤを定義する。
【００２８】
例えばＣＰＵ（Central Processing Unit）で構成される制御部２７は、前記動線表示プログラムに従い、少なくとも以下の機能１〜４を実現する。
【００２９】
１．表示対象として選択された移動体すなわち買物客の動線データを、前記動線データベース１４から取得する機能（動線データ取得手段）。
【００３０】
２．動線データ取得手段により取得した動線データで前記買物客の始点から終点まで移動経路を示す動線を表示する機能（動線表示手段）。
【００３１】
３．動線表示手段により表示される動線の先端、すなわち表示対象である買物客が居る場所の位置情報を基準に６台のカメラＣＡ１〜ＣＡ６のなかから３台のカメラを選択する機能（カメラ選択手段）。
【００３２】
４．カメラ選択手段により選択された３台のカメラの各撮影画像を前記動線表示手段により表示される動線と同期させて表示する機能（カメラ画像表示手段）。なお、同期とは、動線として表示される移動体（買物客）の動きに合わせて、同一時刻のカメラ画像を表示させるということである。
【００３３】
以下、これらの機能１〜４について、図７の流れ図を用いて説明する。動線表示装置２のユーザが、入力部２１を操作して、動線表示業務の開始を指令すると、動線表示プログラムが起動する。このプログラムの起動を受けて、制御部２７は、図７の流れ図に示す処理手順を開始する。
【００３４】
先ず、制御部２７は、表示部２２に動線リスト画面を表示させる（ＳＴ１）。すなわち制御部２７は、データベースアクセス部２３を介して動線認識装置１にアクセスし、動線データベース１４に保存されている全ての動線データの動線ＩＤを読み込む。そして、動線ＩＤを一覧にした動線リスト画面を編集し、表示部２２に表示させる。なお、動線認識装置１が動線リスト画面の編集機能を有しており、動線認識装置１で編集された動線リスト画面を動線表示装置２が読み込んで表示部２２に表示させるようにしてもよい。
【００３５】
前記ユーザは、入力部２１を操作して、動線リスト画面のなかから所望の動線ＩＤを１つ選択する。なお、動線リスト画面には、業務終了のボタンが表示されており、動線表示業務を終了させたいユーザは、入力部２１を操作してこのボタンを入力する。
【００３６】
制御部２７は、動線ＩＤが選択されるか（ＳＴ２）、業務終了のボタンが入力されるのを待機する（ＳＴ３）。動線ＩＤが選択されると（ＳＴ２のＹＥＳ）、制御部２７は、再度、動線認識装置１にアクセスして、選択された動線ＩＤに関連付けて動線データベース１４に記憶されている動線データを読み込み、データ記憶部２５で記憶する（ＳＴ４：動線データ取得手段）。
【００３７】
制御部２７は、記憶した動線データ（以下、表示動線データと称する）を解析して、始点フレーム１番号と終点フレーム番号ｎを検出する。そして再度、動線認識装置１にアクセスして、画像データベース１２に保存されている各カメラＣＡ１〜ＣＡ６のフレーム画像データのうち、始点フレーム１番号から終点フレームｎ番号までのフレーム画像データを全て読み込み、データ記憶部２５でカメラＩＤ別に記憶する（ＳＴ５）。
【００３８】
制御部２７は、表示部２２の画面を動線表示画面４０に切換える（ＳＴ６）。
動線表示画面４０の一例を図８に示す。図８に示すように、動線表示画面４０は、売場のレイアウト図が表示された動線表示エリア４１と、３つのカメラ画像エリア４２，４３，４４とを含む。また、再表示ボタン４５と完了ボタン４６の画像を含む。
【００３９】
制御部２７は、フレームカウンタｆを一旦“０”にリセットする（ＳＴ７）。次いで、制御部２７は、このカウンタｆを“１”だけカウントアップする（ＳＴ８）。そして制御部２７は、このカウンタｆが、表示動線データのフレーム数ｎを超えたか否かを判断する（ＳＴ９）。
【００４０】
カウンタｆがフレーム数ｎを超えていない場合（ＳＴ９のＮＯ）、制御部２７は、表示動線データから、カウンタｆの値であるｆ番目のフレームのインデックスデータ（以下、フレームｆインデックスデータと称する）を検出する。そして制御部２７は、エリア設定テーブル３１を参照して、このフレームｆインデックスデータの二次元座標（Ｘｆ，Ｙｆ）で特定される売場Ｓ内の位置が属する区画を検索する（ＳＴ１０）。
【００４１】
例えば、フレームｆインデックスデータのＸ座標Ｘｆが［ｘａ１≦Ｘｆ≦ｘａ２］の関係を満足し、かつ、Ｙ座標Ｙｆが［ｙａ１≦Ｙｆ≦ｙａ２］の関係を満足する場合には、エリアＩＤ“Ａｒ”で特定される区画Ａを検出する。Ｘ座標Ｘｆが［ｘｂ１≦Ｘｆ≦ｘｂ２］の関係を満足し、かつ、Ｙ座標Ｙｆが［ｙｂ１≦Ｙｆ≦ｙｂ２］の関係を満足する場合には、エリアＩＤ“Ｂｒ”で特定される区画Ｂを検出する。区画Ｃ，Ｄ，Ｅについても同様である。
【００４２】
区画が検出されたならば、制御部２７は、エリア別表示カメラ定義テーブル３２を参照して、検出された区画に対して定義されている３台のカメラを表示カメラとして選択する（ＳＴ１１：カメラ選択手段）。
【００４３】
例えば、区画Ａが検出された場合には、制御部２７は、この区画ＡのエリアＩＤ“Ａｒ”に結び付けられた３つのカメラＩＤ“ＣＡ１”、“ＣＡ６”、“ＣＡ３”でそれぞれ特定されるカメラＣＡ１，ＣＡ６，ＣＡ３を選択する。区画Ｂが検出された場合には、この区画ＢのエリアＩＤ“Ｂｒ”に結び付けられた３つのカメラＩＤ“ＣＡ６”、“ＣＡ３”、“ＣＡ５”でそれぞれ特定されるカメラＣＡ６，ＣＡ３，ＣＡ５を選択する。区画Ｃ，Ｄ，Ｅについても同様である。
【００４４】
制御部２７は、フレームｆインデックスデータからフレーム撮影時刻Ｔｆを取得する。そして、３つの表示カメラについて、それぞれデータ記憶部２５から撮影時刻Ｔｆのフレーム画像データを抽出する（ＳＴ１２）。しかる後、制御部２７は、動線表示画面４０の各カメラ画像エリア４２，４３，４４に、それぞれ抽出したフレーム画像データのカメラ画像を表示させる（ＳＴ１３：カメラ画像表示手段）。例えば、制御部２７は、エリア別表示カメラ定義テーブル３２の領域３２-2に設定されたカメラＩＤのカメラ画像を表示エリア４２に表示させ、領域３２-3に設定されたカメラＩＤのカメラ画像を表示エリア４３に表示させ、領域３２-4に設定されたカメラＩＤのカメラ画像を表示エリア４４に表示させる。
【００４５】
また、制御部２７は、表示動線データの始点フレームからｆ番目のフレームまでの各インデックスデータにより、動線表示画面４０の動線表示エリア４１に動線を表示させる（ＳＴ１４：動線表示手段）。
【００４６】
しかる後、制御部２７は、ステップＳＴ８の処理に戻る。すなわち、制御部２７は、カウンタｆをさらに“１”だけカウントアップする。そして、ステップＳＴ９以降の処理を再度実行する。
【００４７】
こうして、カウンタｆがフレーム数ｎを超えるまでは、カウンタｆがカウントアップされる毎に、ステップＳＴ１０〜ＳＴ１４の処理が繰り返される。カウンタｆがフレーム数ｎを超えたならば（ＳＴ９のＹＥＳ）、制御部２７は、再表示が指令されるか（ＳＴ１５）、完了が指令されるのを待機する（ＳＴ１６）。入力部２１を介して再表示ボタン４５が入力されると（ＳＴ１５のＹＥＳ）、制御部２７は、ステップＳＴ７の処理に戻る。そして、フレームカウンタｆを”０”にリセとした後、ステップＳＴ８〜ＳＴ１４の処理を再度実行する。
【００４８】
完了ボタン４６が入力された場合には（ＳＴ１６のＹＥＳ）、制御部２７は、ステップ１の処理に戻る。すなわち、表示部２２の画面を動線リスト画面に戻す。ここで、次の動線ＩＤが選択されたならば（ＳＴ２のＹＥＳ）、制御部２７は、ステップＳＴ３以降の処理を再度実行する。業務終了のボタンが入力された場合には（ＳＴ３のＹＥＳ）、制御部２７は、今回の処理を終了する。
【００４９】
本実施形態では、動線表示画面４０に表示されるカメラ画像の数は、動線認識システムで用いられるカメラの台数より少ない。本実施形態では、６台のカメラＣＡ１〜ＣＡ６に対してカメラ画像を表示するためのエリアは３つである。
【００５０】
動線表示装置２は、動線表示エリア４１に表示される買物客の動線に同期して、カメラ画像エリア４２，４３，４４に表示されるカメラ画像を切換える。具体的には、図２の売場レイアウトにおいて、買物客が区画Ａに滞在している間は、カメラＣＡ１とカメラＣＡ６とカメラＣＡ３で撮影される画像を表示する。買物客が区画Ｂに移動すると、カメラＣＡ６とカメラＣＡ３とカメラＣＡ５の画像に切り換える。さらに、買物客が区画Ｅに移動すると、カメラＣＡ１とカメラＣＡ２とカメラＣＡ３の画像に切り換える。
【００５１】
カメラＣＡ１，カメラＣＡ６及びカメラＣＡ３で撮影される区画Ａの画像は、他のカメラＣＡ２，ＣＡ４，ＣＡ５で撮影される区画Ａの画像よりも鮮明である。したがって、ユーザは、動線表示エリア４１に動線が表示されている買物客の売場Ｓでの行動を目視により確実に確認することができる。すなわち、この買物客の動向解析を容易に行うことができる。
【００５２】
仮に、動線表示画面４０に６台全てのカメラＣＡ１〜ＣＡ６の画像を表示させた場合、カメラＣＡ２，ＣＡ４，ＣＡ５の画像はその時点における買物客の動向解析には役立たない。それにも係わらず画面上に表示されてユーザの目に留まるため、ユーザの負担が増加する。したがって、買物客の動向解析に無駄な時間を要する。本実施形態によれば、このような不具合を解消することができる。
【００５３】
（第２の実施形態）
次に、第２の実施形態について、図９〜図１１を用いて説明する。なお、本実施形態も、システム構成は第１の実施形態と同一であり、図１を用いて詳細な説明は省略する。
【００５４】
第２の実施形態では、動線表示装置２は、テーブル記憶部２６でカメラ位置設定テーブル５１を記憶する。図９は、カメラ位置設定テーブル５１のデータ構造を示す模式図である。図９に示すように、カメラＩＤを記述するための領域５１-1と、カメラ位置座標データを記述するための領域５１-2とを備える。
【００５５】
カメラ位置座標データは、対応するカメラＩＤによって特定されるカメラが取り付けられている地点から床面に垂線を下ろした地点の二次元座標（Ｃｘ，Ｃｙ）である。座標（Ｃｘ，Ｃｙ）は、前記原点Ｏ（０，０）を基準としたときの世界座標系である。
【００５６】
動線表示装置２のユーザは、各カメラＣＡ１〜ＣＡ６のカメラＩＤを領域５１-1に記述する。またユーザは、対応するカメラＩＤに結び付けて、そのＩＤによって特定されるカメラＣＡ１〜ＣＡ６の取付位置に対する二次元座標（Ｃｘ１，Ｃｙ１），（Ｃｘ２，Ｃｙ２），（Ｃｘ３，Ｃｙ３），（Ｃｘ４，Ｃｙ４），（Ｃｘ５，Ｃｙ５），（Ｃｘ６，Ｃｙ６）を領域５１-2に記述して、カメラ位置設定テーブル５１を事前に作成する。
【００５７】
また、第２の実施形態では、データ記憶部２５に、図２に示す構成の順位ワークメモリ５２を形成する。順位ワークメモリ５２は、カメラＣＡ１〜ＣＡ６の台数分の順位別に、カメラＩＤと距離データｄｒとを対にして記憶する。
【００５８】
しかして、制御部２７は、第１の実施形態と同様に、前記動線表示プログラムに従い、動線データ取得手段、動線表示手段、カメラ選択手段、カメラ画像表示手段としての機能を実現する。ここで、第１の実施形態と異なるのは、カメラ選択手段である。
【００５９】
図１１は、動線表示プログラムの起動を受けて、制御部２７が実行する処理手順を示す流れ図である。図７に示した第１の実施形態と共通する手順には同一のステップ符号（ＳＴｘ）を付している。図７と図１１とを比較すれば明らかなように、第２の実施形態が第１の実施形態と異なる部分は、ステップＳＴ９の処理にて“ＮＯ”と判定された場合、すなわち、カウンタｆがフレーム数ｎを超えていない場合である。
【００６０】
カウンタｆがフレーム数ｎを超えていないと（ＳＴ９のＮＯ）、制御部２７は、表示動線データからフレームｆインデックスデータを検出する。そして制御部２７は、このインデックスデータの二次元座標（Ｘｆ，Ｙｆ）を取得する（ＳＴ２１）。
【００６１】
次に、制御部２７は、カメラ位置設定テーブル５１から各カメラＣＡ１〜ＣＡ６の位置座標（Ｃｘ１，Ｃｙ１），（Ｃｘ２，Ｃｙ２），（Ｃｘ３，Ｃｙ３），（Ｃｘ４，Ｃｙ４），（Ｃｘ５，Ｃｙ５），（Ｃｘ６，Ｃｙ６）を読み込む。そして、これらの位置座標とフレームｆインデックスデータの二次元座標（Ｘｆ，Ｙｆ）とから、次の演算式（１）〜（６）により、各カメラＣＡ１〜ＣＡ６の取付地点から二次元座標（Ｘｆ，Ｙｆ）で特定される地点までの距離ｄr1〜ｄr6を算出する（ＳＴ２２）。
【００６２】
ｄr1＝sqrt[(Xf-Cx1)*(Xf-Cx1)+(Yf-Cy1)*(Yf-Cy1)] …（１）
ｄr2＝sqrt[(Xf-Cx2)*(Xf-Cx2)+(Yf-Cy2)*(Yf-Cy2)] …（２）
ｄr3＝sqrt[(Xf-Cx3)*(Xf-Cx3)+(Yf-Cy3)*(Yf-Cy3)] …（３）
ｄr4＝sqrt[(Xf-Cx4)*(Xf-Cx4)+(Yf-Cy4)*(Yf-Cy4)] …（４）
ｄr5＝sqrt[(Xf-Cx5)*(Xf-Cx5)+(Yf-Cy5)*(Yf-Cy5)] …（５）
ｄr6＝sqrt[(Xf-Cx6)*(Xf-Cx6)+(Yf-Cy6)*(Yf-Cy6)] …（６）
なお、式（１）〜（６）において、“sqrt[ ]”は、［ ］内のルート（平方根）を示す。
【００６３】
距離ｄr1〜ｄr6が算出されると、制御部２７は、この距離ｄr1〜ｄr6を、該当するカメラＩＤと結び付けて順位ワークメモリ５２に書き込む。すなわち、カメラＣＡ１の取付地点から二次元座標（Ｘｆ，Ｙｆ）の地点までの距離ｄr1は、カメラＣＡ１のカメラＩＤ“ＣＡ１”を結び付けて記憶する。他の距離ｄr2〜ｄr6についても同様である。制御部２７は、順位ワークメモリ５２に記憶されたデータを、距離が短いほど順位が上位となるように並べ替える（ＳＴ２３）。
【００６４】
制御部２７は、順位ワークメモリ５２から、上位３位までのカメラＩＤを読み出す。そして、これらのカメラＩＤでそれぞれ特定される３つのカメラを表示カメラとして選択する（ＳＴ２４：カメラ選択手段）。
【００６５】
以後の処理手順は、第１の実施形態と同様である。すなわち、制御部２７は、フレームｆインデックスデータからフレーム撮影時刻Ｔｆを取得する。そして、３つの表示カメラについて、それぞれデータ記憶部２５から撮影時刻Ｔｆのフレーム画像データを抽出する（ＳＴ１２）。しかる後、制御部２７は、動線表示画面４０の各カメラ画像エリア４２，４３，４４に、それぞれ抽出したフレーム画像データのカメラ画像を表示させる（ＳＴ１３：カメラ画像表示手段）。また、制御部２７は、表示動線データの始点フレームからｆ番目のフレームまでの各インデックスデータにより、動線表示画面４０の動線表示エリア４１に動線を表示させる（ＳＴ１４：動線表示手段）。その後、制御部２７は、ステップＳＴ８の処理に戻る。
【００６６】
第２の実施形態では、動線表示装置２は、動線表示エリア４１に表示される買物客の動線に同期して、その動線の先端、すなわち買物客が居る地点に対して距離の近い順に３つのカメラを自動的に選択し、その選択したカメラの画像をカメラ画像エリア４２，４３，４４に表示させる。
【００６７】
動線の先端となる地点からカメラまでの距離が短ければ短いほど、動線先端付近の画像は鮮明となる。したがって、第１の実施形態と同様の作用効果を奏することができる。
【００６８】
（第３の実施形態）
次に、第３の実施形態について、図１２〜図１３を用いて説明する。本実施形態は、第２の実施形態の変形例である。第２の実施形態では、テーブル記憶部２６でカメラ位置設定テーブル５１を記憶する。第３の実施形態では、図１２に示すデータ構造のカメラ画像座標テーブル６１を記憶する。図１２に示すように、カメラ画像座標テーブル６１は、カメラＩＤを記述するための領域６１-1と、カメラ画像の中心座標データを記述するための領域６１-2とを備える。
【００６９】
動線表示装置２のユーザは、各カメラＣＡ１〜ＣＡ６のカメラＩＤを領域６１-1に記述する。またユーザは、対応するカメラＩＤに結び付けて、そのＩＤによって特定されるカメラＣＡ１〜ＣＡ６で撮影される画像の中心に位置する床面の二次元座標（Ｓｘ１，Ｓｙ１），（Ｓｘ２，Ｓｙ２），（Ｓｘ３，Ｓｙ３），（Ｓｘ４，Ｓｙ４），（Ｓｘ５，Ｓｙ５），（Ｓｘ６，Ｓｙ６）を領域６１-2に記述して、カメラ画像座標テーブル６１を事前に作成する。
【００７０】
しかして、制御部２７は、第２の実施形態と同様に、前記動線表示プログラムに従い、動線データ取得手段、動線表示手段、カメラ選択手段、カメラ画像表示手段としての機能を実現する。ここで、第２の実施形態と異なるのは、カメラ選択手段の一部である。
【００７１】
図１３は、動線表示プログラムの起動を受けて、制御部２７が実行する処理手順を示す流れ図である。図１１に示した第２の実施形態と共通する手順には同一のステップ符号（ＳＴｘ）を付している。図１１と図１３とを比較すれば明らかなように、第３の実施形態が第２の実施形態と異なる部分は、ステップＳＴ２１の処理にて表示動線データからフレームｆインデックスデータを検出し、このインデックスデータの二次元座標（Ｘｆ，Ｙｆ）を取得した後に、ステップＳＴ３１として、この二次元座標（Ｘｆ，Ｙｆ）を世界座標系からカメラ座標系に変換する処理を追加した点である。
【００７２】
ここで、世界座標系からカメラ座標系への変換処理の原理について説明する。この変換処理では、以下のパラメータを使用する。
・世界座標系の動線座標：ｘ，ｙ，ｈ
・世界座標系のカメラの位置：Ｗｘ，Ｗｙ，Ｗｚ
・画像中心の座標：Ｃｘ，Ｃｙ
・世界座標系の座標軸周りのカメラ回転角：Ｒｘ，Ｒｙ，Ｒｚ
・全方位カメラのパラメータ：ｂ，ｃ，ｆ
・魚眼カメラのパラメータ：ｋ１，ｋ３，ｋ５，scale
先ず、制御部２７は、変換対象の動線座標（ｘ，ｙ，ｈ）を、カメラ位置を原点とした座標系（Ｘ０，Ｙ０，Ｚ０）に平行移動する。この処理は、次の演算式により実行される。
【数１】
【００７３】
次に、制御部２７は、平行移動した動線座標（Ｘ０，Ｙ０，Ｚ０）について、世界座標系の座標軸周りのカメラ回転角を使って回転処理し、世界座標系とカメラ座標系の軸を合せる。この処理は、次の演算式により実行される。
【００７４】
［Ｘ軸周りの回転］
【数２】
【００７５】
［Ｙ軸周りの回転］
【数３】
【００７６】
［Ｚ軸周りの回転］
【数４】
【００７７】
次に、制御部２７は、処理対象のカメラの種類を判別する。カメラが魚眼カメラの場合、制御部２７は、魚眼カメラのパラメータを使って、動線座標（Ｘｚ，Ｙｚ，Ｚｚ）を世界座標系からカメラ画像座標系に変換する。この処理は、次の演算により実行される。
【００７８】
先ず、Ｘｄ＝ｒcosｔ：Ｙｄ＝ｒsinｔとする。
【００７９】
ただし、Ｙｚ≧０のとき、
【数５】
【００８０】
Ｙｚ＜０のとき、
【数６】
【００８１】
である。ここで、上記ｒの値を、下記数式のニュートン法を用いて求める。
【数７】
【００８２】
なお、この数式において、初期値ｒ0を0.0、目標値をθとする。また、｜ｒn+1−ｒｎ｜＜0.01で収束したとみなす。その時点でのｒの値を使用する。
【００８３】
一方、カメラが全方位カメラの場合は、制御部２７は、全方位カメラのパラメータを使って、動線座標（Ｘｚ，Ｙｚ，Ｚｚ）を世界座標系からカメラ画像座標系に変換する。この処理は、次の演算式により実行される。
【数８】
【００８４】
こうして、動線座標を世界座標系からカメラ画像座標系に変換したならば、制御部２７は、変換後の座標（Ｘｄ，Ｙｄ）をカメラ画像座標系の原点に平行移動する。この処理は、次の演算式により実行される。
【数９】
【００８５】
以上の処理を実行することにより、動線座標がカメラ画像系の座標に変換される。
【００８６】
上記変換処理にしたがって、二次元座標（Ｘｆ，Ｙｆ）がカメラ画像系の座標に変換されたならば、制御部２７は、カメラ画像座標テーブル６１から各カメラＣＡ１〜ＣＡ６の画像中心座標（Ｓｘ１，Ｓｙ１），（Ｓｘ２，Ｓｙ２），（Ｓｘ３，Ｓｙ３），（Ｓｘ４，Ｓｙ４），（Ｓｘ５，Ｓｙ５），（Ｓｘ６，Ｓｙ６）を読み込む。そして、これらの画像中心座標とカメラ画像系の二次元座標とから、第２の実施形態と同様の演算式で各カメラＣＡ１〜ＣＡ６の画像中心地点から二次元座標（Ｘｆ，Ｙｆ）の地点までの距離ｄr1〜ｄr6を算出する（ＳＴ２２）。
【００８７】
以後の処理手順は、第２の実施形態と同様である。すなわち制御部２７は、距離ｄr1〜ｄr6を、該当するカメラＩＤと結び付けて順位ワークメモリ５２に書き込む。そして制御部２７は、順位ワークメモリ５２に記憶されたデータを、距離が短いほど順位が上位となるように並べ替える（ＳＴ２３）。
【００８８】
制御部２７は、順位ワークメモリ５２から、上位３位までのカメラＩＤを読み出して、これらのカメラＩＤでそれぞれ特定される３つのカメラを表示カメラとして選択する（ＳＴ２４：カメラ選択手段）。そして、選択された３つの表示カメラについて、それぞれデータ記憶部２５から撮影時刻Ｔｆのフレーム画像データを抽出する（ＳＴ１２）。しかる後、制御部２７は、動線表示画面４０の各カメラ画像エリア４２，４３，４４に、それぞれ抽出したフレーム画像データのカメラ画像を表示させる（ＳＴ１３：カメラ画像表示手段）。また、制御部２７は、表示動線データの始点フレームからｆ番目のフレームまでの各インデックスデータにより、動線表示画面４０の動線表示エリア４１に動線を表示させる（ＳＴ１４：動線表示手段）。その後、制御部２７は、ステップＳＴ８の処理に戻る。
【００８９】
第３の実施形態においても、動線表示装置２は、動線表示エリア４１に表示される買物客の動線に同期して、その動線の先端、すなわち買物客が居る地点に対して距離の近い順に３つのカメラを自動的に選択し、その選択したカメラの画像をカメラ画像エリア４２，４３，４４に表示させる。したがって、第１及び第２の実施形態と同様の作用効果を奏し得る。
【００９０】
因みに、第２の実施形態では、動線の先端地点を示す世界座標系の二次元座標とカメラの取付位置を示す世界座標系のカメラ位置座標とから、カメラ取付地点から動線先端地点までの距離を計測し、表示カメラを選択している。したがって、レンズを天井から真下に向けてカメラを取り付ける直下設置方式の場合に好適である。
【００９１】
これに対して、レンズを斜め方向に向けてカメラを取り付ける斜視設置方式の場合は、世界座標系による距離計算では信憑性が落ちる。このような場合には、第３の実施形態のように、動線の先端位置を示す二次元座標を世界座標系からカメラ画像座標系に変換してから、カメラ画像座標系による距離計算を行う。そして、距離の短いカメラを表示カメラとして選択することによって、動線先端地点について鮮明度の高い画像を得ることができる。
【００９２】
以上説明したように各実施形態によれば、移動体が撮影されているカメラ画像を探し出すのにユーザが要する手間と時間を、大幅に軽減することができる。この効果は、監視領域が拡大されてカメラの台数が増加すればするほど顕著なものとなる。
【００９３】
なお、この発明は前記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。
【００９４】
例えば、前記第１の実施形態では、エリア別表示カメラ定義テーブル３２を作成する際に、該当する区画を撮影した画像の例えば鮮明度が高い順に上位３位までのカメラを選択してテーブル３２に設定したが、カメラの選択条件は、鮮明度に限定されるものではない。例えば、該当する区画までの距離が短いカメラを選択してもよい。また、カメラの選択数は、動線表示画面４０に確保されているカメラ画像エリアの数に一致していなくてもよい。例えば鮮明度の高いカメラが２つしか存在しない場合には、その２つのカメラのカメラＩＤをエリア別表示カメラ定義テーブル３２設定して、該当する区画に動線先端が位置しているときにはその２つのカメラの画像をカメラ画像エリアに表示させるようにしてもよい。
【００９５】
また、第２及び第３の実施形態では、距離ｄｒが短い上位３位までのカメラを表示カメラとして選択したが、予めしきい値を設定し、距離ｄｒがしきい値より長い場合は、たとえ上位３位に入っていても選択しないようにしてもよい。
【００９６】
また、各実施形態では、発明を実施する機能を実現させるためのプログラムが装置内部に予め記録されている場合で説明をしたが、これに限らず同様のプログラムをネットワークから装置にダウンロードしても良いし、同様のプログラムを記録媒体に記憶させたものを装置にインストールしてもよい。記録媒体としては、ＣＤ−ＲＯＭ等プログラムを記憶でき、かつ装置が読み取り可能な記録媒体であれば、その形態は何れの形態であっても良い。またこのように予めインストールやダウンロードにより得る機能は装置内部のＯＳ（オペレーティング・システム）等と協働してその機能を実現させるものであってもよい。
【００９７】
この他、前記実施形態に開示されている複数の構成要素の適宜な組合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を組合わせてもよい。
【符号の説明】
【００９８】
１…動線認識装置、２…動線表示装置、１１…カメラコントロール部、１２…カメラ画像データベース、１３…動線生成部、１４…動線データベース、２１…入力部、２２…表示部、２３…データベースアクセス部、２４…プログラム記憶部、２５…データ記憶部、２６…テーブル記憶部、２７…制御部、３１…エリア設定テーブル、３２…エリア別表示カメラ定義テーブル、４０…動線表示画面、５１…カメラ位置設定テーブル、５２…順位ワークメモリ、６１…カメラ画像座標テーブル。
【技術分野】
【０００１】
本発明の実施形態は、監視領域内を移動する移動体の始点から終点までの移動経路を示す動線を表示する技術に関する。
【背景技術】
【０００２】
監視領域内を移動する人物等の移動体の移動経路を動線として表示するシステムは、既に実用化されている。このシステムは、移動体を認識して追跡する仕組みが必要となる。この仕組みの１つに、監視領域を撮影対象として配置された複数のカメラの画像データを利用する方法がある。カメラ画像を利用する方法は、移動体の動線だけでなく、カメラで撮影された画像から移動体を目視により確認できる利点がある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９-１０７３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
カメラ画像を利用するシステムの場合、監視領域が拡大すればするほど、必要なカメラの台数が増加する。カメラの台数が増加すると、ユーザがカメラ画像から移動体を確認する際の画像数が増加する。画像数が増加すると、移動体が撮影されているカメラ画像を探し出すのに大きな手間と時間を要する。
【課題を解決するための手段】
【０００５】
一実施形態によれば、動線表示装置は、動線データ取得手段と、動線表示手段と、カメラ選択手段と、カメラ画像表示手段とを備える。動線データ取得手段は、監視領域を撮影対象として配置された複数のカメラの各撮影画像から生成される移動体毎の動線データを記憶する動線データベースから表示対象として選択された移動体の動線データを取得する。動線表示手段は、動線データ取得手段により取得した動線データで移動体の始点から終点まで移動経路を示す動線を表示する。カメラ選択手段は、動線表示手段により表示される動線の先端の位置情報を基準に複数のカメラのなかからそのカメラ台数より少ない一定数以下のカメラを選択する。カメラ画像表示手段は、カメラ選択手段により選択されたカメラの撮影画像を動線表示手段により表示される動線と同期させて表示する。
【図面の簡単な説明】
【０００６】
【図１】実施形態のシステム構成図。
【図２】実施形態の売場レイアウト図。
【図３】図１の画像データベースに保存される画像データのデータ構造図。
【図４】図１の動線データベースに保存される動線データのデータ構造図。
【図５】第１の実施形態において、テーブル記憶部で記憶するエリア設定テーブルの構成図。
【図６】第１の実施形態において、テーブル記憶部で記憶するエリア別表示カメラ定義テーブルの構成図。
【図７】第１の実施形態において、動線表示プログラムにしたがって制御部が実行する主要な処理手順を示す流れ図。
【図８】動線表示画面の一例を示す図。
【図９】第２の実施形態において、テーブル記憶部で記憶するカメラ位置設定テーブルの構成図。
【図１０】第２の実施形態において、データ記憶部に形成する順位ワークメモリの構成図。
【図１１】第２の実施形態において、動線表示プログラムにしたがって制御部が実行する主要な処理手順を示す流れ図。
【図１２】第３の実施形態において、テーブル記憶部で記憶するカメラ画像座標テーブルの構成図。
【図１３】第３の実施形態において、動線表示プログラムにしたがって制御部が実行する主要な処理手順を示す流れ図。
【発明を実施するための形態】
【０００７】
以下、図面を用いて、複数の実施形態を説明する。なお、各実施形態は、いずれもコンビニエンスストア等の小売店の売場Ｓを監視領域とし、この売場Ｓ内を移動する買物客を移動体として認識して、買物客の移動経路を動線として表示する場合である。
【０００８】
（第１の実施形態）
はじめに、第１の実施形態について、図１〜図８を用いて説明する。
図１は、本実施形態のシステム構成図であり、図２は、売場Ｓのレイアウトを示す平面図である。本実施形態は、カメラを用いた画像処理方式の動線認識システムを採用する。このシステムは、複数台のカメラＣＡ１，ＣＡ２，ＣＡ４，ＣＡ４，ＣＡ５，ＣＡ６と、動線認識装置１を使用する。各カメラＣＡ１〜ＣＡ６は、いずれも売場Ｓを撮影対象として、売場Ｓの天井部等に分散して取り付けられる。本実施形態では、説明の便宜上、６台のカメラＣＡ１〜ＣＡ６が図２に示すレイアウトで取り付けられているものとする。
【０００９】
各カメラＣＡ１〜ＣＡ６は、魚眼レンズを用いたカメラや全方位ミラー付のカメラ等の広角レンズカメラである。これらのカメラＣＡ１〜ＣＡ６は、視体積交差法により、売場Ｓ内を移動する買物客の軌跡、すなわち人物動線を追跡するために用いられる。視体積交差法は、例えば客の頭部を複数の方向から撮影し、各画像の頭部の位置から頭部の店内空間に適宜設置された３次元座標系内の座標値を算出する方法である。１つの監視領域に配置されるカメラの台数は特に制限されないが、視体積交差法による位置検出精度を高めるためには少なくとも３台のカメラで撮影した画像が必要である。
【００１０】
各カメラＣＡ１〜ＣＡ６は、動線認識装置１が備えるカメラコントロール部１１の一元制御により一定の周期（例えば１／１５秒）で撮影動作を繰り返し、その撮影画像（フレーム画像）を動線認識装置１に送信する。動線認識装置１は、カメラコントロール部１１の他、カメラ画像データベース１２、動線生成部１３及び動線データベース１４を備えている。
【００１１】
カメラ画像データベース１２は、各カメラＣＡ１〜ＣＡ６で撮影されたフレーム画像データを順次蓄積する。カメラ画像データベース１２に蓄積されるフレーム画像データの構造を、図３の模式図で示す。図３に示すように、カメラ画像データベース１２は、フレーム画像データを、カメラＩＤ、フレーム番号及び撮影時刻とともに記憶する。
【００１２】
カメラＩＤは、当該画像データを撮影したカメラＣＡ１〜ＣＡ６の識別コードである。各カメラＣＡ１〜ＣＡ６は、それぞれ固有のカメラＩＤ“ＣＡ１”，“ＣＡ２”，“ＣＡ３”，“ＣＡ４”，“ＣＡ５”，“ＣＡ６”を予め設定する。フレーム番号は、各カメラＣＡ１〜ＣＡ６でフレーム画像が撮影される毎にカウントアップされる“１”からの連続番号である。カメラコントロール部１１の制御により、各カメラＣＡ１〜ＣＡ６のフレーム番号は同期している。撮影日時は、当該画像データが撮影された時点の日時（年月日時分秒）である。
【００１３】
動線生成部１３は、カメラ画像データベース１２に蓄積されたフレーム画像データの画像処理により監視領域である売場内を移動する買物客を認識し、この買物客が売場Ｓに進入した地点である始点から退出した地点である終点までの売場Ｓ内での移動経路を示す動線データを作成する。
【００１４】
動線データベース１４は、動線生成部１３により買物客毎に生成される動線データを蓄積する。動線データベース１４に蓄積される動線データの構造を、図４の模式図で示す。図４に示すように、動線データベース１４は、動線データを、動線ＩＤとともに記憶する。動線ＩＤは、当該動線データを個々に特定するための動線特定情報である。動線生成部１３は、買物客１名の動線データを生成する毎に、その動線データに固有の動線ＩＤを付して、動線データベース１４に格納する。
【００１５】
動線データは、始点フレーム“１”のフレーム番号、及び、終点フレーム“ｎ”（ｎ＞１の整数）のフレーム番号と、始点フレーム“１”から終点フレーム“ｎ”までのフレーム毎のインデックスデータとを含む。インデックスデータは、少なくとも売場Ｓ内の位置を特定する三次元座標（Ｘ，Ｙ，Ｈ）とフレーム撮影時刻Ｔとを含む。
【００１６】
始点フレーム“１”番号は、当該動線データの買物客が売場Ｓで最初に認識されたフレーム画像のフレーム番号であり、このフレーム画像の撮影時刻が始点フレーム“１”に対するインデックスデータのフレーム撮影時刻Ｔ１となる。終点フレーム“ｎ”番号は、当該買物客が売場Ｓで最後に認識されたフレーム画像のフレーム番号であり、このフレーム画像の撮影時刻が終点フレーム“ｎ”に対するインデックスデータのフレーム撮影時刻Ｔｎとなる。フレーム番号毎の店内座標は、対応するフレーム番号のフレーム画像から認識された当該買物客の位置を、三次元の世界座標系（Ｘ，Ｙ，Ｈ）で特定したものである。本実施形態では、図２において、売場Ｓの左上の角をＸ軸及びＹ軸の原点Ｏ（０，０）とし、その床面をＨ（Height）軸の原点としている。
【００１７】
かかる構成の動線認識装置１は、パーソナルコンピュータ等を主体に構成される動線表示装置２と通信ケーブルで接続する。動線表示装置２は、入力部２１、表示部２２、データベースアクセス部２３、プログラム記憶部２４、データ記憶部２５、テーブル記憶部２６及び制御部２７を備える。
【００１８】
入力部２１は、キーボード，マウス等の入力デバイスからなる。表示部２２は、液晶ディスプレイ，ＣＲＴディスプレイ等の表示デバイスからなる。タッチパネル付のディスプレイを用いることで、入力部と表示部を兼用してもよい。
【００１９】
データベースアクセス部２３は、通信ケーブルを介して動線認識装置１にアクセスして、動線データベース１４及びカメラ画像データベース１２から動線データ及びフレーム画像データを読取る。
【００２０】
例えばＲＯＭ（Read Only Memory）で構成されるプログラム記憶部２４は、当該動線表示装置２の処理動作を制御するための動線表示プログラムを記憶する。例えばＲＡＭ（Random Access Memory）で構成されるデータ記憶部２５は、動線データベース１４及びカメラ画像データベース１２から読み取った動線データ及びフレーム画像データを一時的に記憶する。例えばＨＤＤ（Hard Disk Drive）で構成されるテーブル記憶部２６は、エリア設定テーブル３１とエリア別表示カメラ定義テーブル３２とを記憶する。
【００２１】
図５は、エリア設定テーブル３１のデータ構造を示す模式図である。図５に示すように、このテーブル３１は、複数のエリアＩＤを記述するための領域３１-1と、各エリアＩＤに結び付けて左上座標データと右上座標データとをそれぞれ記述するための領域３１-2，３１-3を備える。
【００２２】
エリアＩＤは、監視領域である売場ＳのＸ−Ｙ平面を、２以上の区画に区切った際の各区画に割り当てられる固有のＩＤである。本実施形態では、図２に示すように、売場ＳのＸ−Ｙ平面を区画Ａ，Ｂ，Ｃ，Ｄ，Ｅの５つに区分し、各区画Ａ，Ｂ，Ｃ，Ｄ，Ｅに対してそれぞれ“Ａｒ”，“Ｂｒ”，“Ｃｒ”，“Ｄｒ”，“Ｅｒ”のエリアＩＤを設定する。
【００２３】
左上座標データと右上座標データは、対応するエリアＩＤによって特定される区画の床面の左上角と右下角の二次元座標（ｘ，ｙ）である。座標（ｘ，ｙ）は、前記原点Ｏ（０，０）を基準としたときの世界座標系である。
【００２４】
動線表示装置２のユーザは、各エリアＩＤ“Ａｒ”，“Ｂｒ”，“Ｃｒ”，“Ｄｒ”，“Ｅｒ”を領域３１-1に記述する。またユーザは、対応するエリアＩＤに結び付けて、そのＩＤによって特定される区画Ａ，Ｂ，Ｃ，Ｄ，Ｅの左上座標（xa1，ya1），（xb1，yb1），（xc1，yc1），（xd1，yd1），（xe1，ye1）と、右上座標（xa2，ya2），（xb2，yb2），（xc2，yc2），（xd2，yd2），（xe2，ye2）とを領域３１-2，３２-3に記述して、エリア設定テーブル３１を事前に作成する。
【００２５】
図６は、エリア別表示カメラ定義テーブル３２のデータ構造を示す模式図である。図６に示すように、このテーブル３２は、複数のエリアＩＤを記述する領域３２-1と、各エリアＩＤに結び付けて３種類のカメラＩＤをそれぞれ記述する領域３２-2，３２-3，３２-4とを備える。
【００２６】
前記ユーザは、各エリアＩＤ“Ａｒ”，“Ｂｒ”，“Ｃｒ”，“Ｄｒ”，“Ｅｒ”を領域３２-1に記述する。またユーザは、対応するエリアＩＤに結び付けて、そのＩＤによって特定される区画Ａ，Ｂ，Ｃ，Ｄ，Ｅを撮影可能なカメラのうち、その区画を撮影した画像の例えば鮮明度が高い順に上位３位まで選択する。そして、選択したカメラのＩＤを領域３２-2，３２-3，３２-4に順に記述して、エリア別表示カメラ定義テーブル３２を事前に作成する。
【００２７】
因みに、図２のレイアウトを適用する本実施形態では、区画Ａに対してはカメラＣＡ１，ＣＡ６，ＣＡ３のカメラＩＤを定義し、区画Ｂに対してはカメラＣＡ６，ＣＡ３，ＣＡ５のカメラＩＤを定義し、区画Ｃに対してはカメラＣＡ５，ＣＡ６，ＣＡ４のカメラＩＤを定義し、区画Ｄに対してはカメラＣＡ４，ＣＡ３，ＣＡ２のカメラＩＤを定義し、区画Ｅに対してはカメラＣＡ１，ＣＡ２，ＣＡ３のカメラＩＤを定義する。
【００２８】
例えばＣＰＵ（Central Processing Unit）で構成される制御部２７は、前記動線表示プログラムに従い、少なくとも以下の機能１〜４を実現する。
【００２９】
１．表示対象として選択された移動体すなわち買物客の動線データを、前記動線データベース１４から取得する機能（動線データ取得手段）。
【００３０】
２．動線データ取得手段により取得した動線データで前記買物客の始点から終点まで移動経路を示す動線を表示する機能（動線表示手段）。
【００３１】
３．動線表示手段により表示される動線の先端、すなわち表示対象である買物客が居る場所の位置情報を基準に６台のカメラＣＡ１〜ＣＡ６のなかから３台のカメラを選択する機能（カメラ選択手段）。
【００３２】
４．カメラ選択手段により選択された３台のカメラの各撮影画像を前記動線表示手段により表示される動線と同期させて表示する機能（カメラ画像表示手段）。なお、同期とは、動線として表示される移動体（買物客）の動きに合わせて、同一時刻のカメラ画像を表示させるということである。
【００３３】
以下、これらの機能１〜４について、図７の流れ図を用いて説明する。動線表示装置２のユーザが、入力部２１を操作して、動線表示業務の開始を指令すると、動線表示プログラムが起動する。このプログラムの起動を受けて、制御部２７は、図７の流れ図に示す処理手順を開始する。
【００３４】
先ず、制御部２７は、表示部２２に動線リスト画面を表示させる（ＳＴ１）。すなわち制御部２７は、データベースアクセス部２３を介して動線認識装置１にアクセスし、動線データベース１４に保存されている全ての動線データの動線ＩＤを読み込む。そして、動線ＩＤを一覧にした動線リスト画面を編集し、表示部２２に表示させる。なお、動線認識装置１が動線リスト画面の編集機能を有しており、動線認識装置１で編集された動線リスト画面を動線表示装置２が読み込んで表示部２２に表示させるようにしてもよい。
【００３５】
前記ユーザは、入力部２１を操作して、動線リスト画面のなかから所望の動線ＩＤを１つ選択する。なお、動線リスト画面には、業務終了のボタンが表示されており、動線表示業務を終了させたいユーザは、入力部２１を操作してこのボタンを入力する。
【００３６】
制御部２７は、動線ＩＤが選択されるか（ＳＴ２）、業務終了のボタンが入力されるのを待機する（ＳＴ３）。動線ＩＤが選択されると（ＳＴ２のＹＥＳ）、制御部２７は、再度、動線認識装置１にアクセスして、選択された動線ＩＤに関連付けて動線データベース１４に記憶されている動線データを読み込み、データ記憶部２５で記憶する（ＳＴ４：動線データ取得手段）。
【００３７】
制御部２７は、記憶した動線データ（以下、表示動線データと称する）を解析して、始点フレーム１番号と終点フレーム番号ｎを検出する。そして再度、動線認識装置１にアクセスして、画像データベース１２に保存されている各カメラＣＡ１〜ＣＡ６のフレーム画像データのうち、始点フレーム１番号から終点フレームｎ番号までのフレーム画像データを全て読み込み、データ記憶部２５でカメラＩＤ別に記憶する（ＳＴ５）。
【００３８】
制御部２７は、表示部２２の画面を動線表示画面４０に切換える（ＳＴ６）。
動線表示画面４０の一例を図８に示す。図８に示すように、動線表示画面４０は、売場のレイアウト図が表示された動線表示エリア４１と、３つのカメラ画像エリア４２，４３，４４とを含む。また、再表示ボタン４５と完了ボタン４６の画像を含む。
【００３９】
制御部２７は、フレームカウンタｆを一旦“０”にリセットする（ＳＴ７）。次いで、制御部２７は、このカウンタｆを“１”だけカウントアップする（ＳＴ８）。そして制御部２７は、このカウンタｆが、表示動線データのフレーム数ｎを超えたか否かを判断する（ＳＴ９）。
【００４０】
カウンタｆがフレーム数ｎを超えていない場合（ＳＴ９のＮＯ）、制御部２７は、表示動線データから、カウンタｆの値であるｆ番目のフレームのインデックスデータ（以下、フレームｆインデックスデータと称する）を検出する。そして制御部２７は、エリア設定テーブル３１を参照して、このフレームｆインデックスデータの二次元座標（Ｘｆ，Ｙｆ）で特定される売場Ｓ内の位置が属する区画を検索する（ＳＴ１０）。
【００４１】
例えば、フレームｆインデックスデータのＸ座標Ｘｆが［ｘａ１≦Ｘｆ≦ｘａ２］の関係を満足し、かつ、Ｙ座標Ｙｆが［ｙａ１≦Ｙｆ≦ｙａ２］の関係を満足する場合には、エリアＩＤ“Ａｒ”で特定される区画Ａを検出する。Ｘ座標Ｘｆが［ｘｂ１≦Ｘｆ≦ｘｂ２］の関係を満足し、かつ、Ｙ座標Ｙｆが［ｙｂ１≦Ｙｆ≦ｙｂ２］の関係を満足する場合には、エリアＩＤ“Ｂｒ”で特定される区画Ｂを検出する。区画Ｃ，Ｄ，Ｅについても同様である。
【００４２】
区画が検出されたならば、制御部２７は、エリア別表示カメラ定義テーブル３２を参照して、検出された区画に対して定義されている３台のカメラを表示カメラとして選択する（ＳＴ１１：カメラ選択手段）。
【００４３】
例えば、区画Ａが検出された場合には、制御部２７は、この区画ＡのエリアＩＤ“Ａｒ”に結び付けられた３つのカメラＩＤ“ＣＡ１”、“ＣＡ６”、“ＣＡ３”でそれぞれ特定されるカメラＣＡ１，ＣＡ６，ＣＡ３を選択する。区画Ｂが検出された場合には、この区画ＢのエリアＩＤ“Ｂｒ”に結び付けられた３つのカメラＩＤ“ＣＡ６”、“ＣＡ３”、“ＣＡ５”でそれぞれ特定されるカメラＣＡ６，ＣＡ３，ＣＡ５を選択する。区画Ｃ，Ｄ，Ｅについても同様である。
【００４４】
制御部２７は、フレームｆインデックスデータからフレーム撮影時刻Ｔｆを取得する。そして、３つの表示カメラについて、それぞれデータ記憶部２５から撮影時刻Ｔｆのフレーム画像データを抽出する（ＳＴ１２）。しかる後、制御部２７は、動線表示画面４０の各カメラ画像エリア４２，４３，４４に、それぞれ抽出したフレーム画像データのカメラ画像を表示させる（ＳＴ１３：カメラ画像表示手段）。例えば、制御部２７は、エリア別表示カメラ定義テーブル３２の領域３２-2に設定されたカメラＩＤのカメラ画像を表示エリア４２に表示させ、領域３２-3に設定されたカメラＩＤのカメラ画像を表示エリア４３に表示させ、領域３２-4に設定されたカメラＩＤのカメラ画像を表示エリア４４に表示させる。
【００４５】
また、制御部２７は、表示動線データの始点フレームからｆ番目のフレームまでの各インデックスデータにより、動線表示画面４０の動線表示エリア４１に動線を表示させる（ＳＴ１４：動線表示手段）。
【００４６】
しかる後、制御部２７は、ステップＳＴ８の処理に戻る。すなわち、制御部２７は、カウンタｆをさらに“１”だけカウントアップする。そして、ステップＳＴ９以降の処理を再度実行する。
【００４７】
こうして、カウンタｆがフレーム数ｎを超えるまでは、カウンタｆがカウントアップされる毎に、ステップＳＴ１０〜ＳＴ１４の処理が繰り返される。カウンタｆがフレーム数ｎを超えたならば（ＳＴ９のＹＥＳ）、制御部２７は、再表示が指令されるか（ＳＴ１５）、完了が指令されるのを待機する（ＳＴ１６）。入力部２１を介して再表示ボタン４５が入力されると（ＳＴ１５のＹＥＳ）、制御部２７は、ステップＳＴ７の処理に戻る。そして、フレームカウンタｆを”０”にリセとした後、ステップＳＴ８〜ＳＴ１４の処理を再度実行する。
【００４８】
完了ボタン４６が入力された場合には（ＳＴ１６のＹＥＳ）、制御部２７は、ステップ１の処理に戻る。すなわち、表示部２２の画面を動線リスト画面に戻す。ここで、次の動線ＩＤが選択されたならば（ＳＴ２のＹＥＳ）、制御部２７は、ステップＳＴ３以降の処理を再度実行する。業務終了のボタンが入力された場合には（ＳＴ３のＹＥＳ）、制御部２７は、今回の処理を終了する。
【００４９】
本実施形態では、動線表示画面４０に表示されるカメラ画像の数は、動線認識システムで用いられるカメラの台数より少ない。本実施形態では、６台のカメラＣＡ１〜ＣＡ６に対してカメラ画像を表示するためのエリアは３つである。
【００５０】
動線表示装置２は、動線表示エリア４１に表示される買物客の動線に同期して、カメラ画像エリア４２，４３，４４に表示されるカメラ画像を切換える。具体的には、図２の売場レイアウトにおいて、買物客が区画Ａに滞在している間は、カメラＣＡ１とカメラＣＡ６とカメラＣＡ３で撮影される画像を表示する。買物客が区画Ｂに移動すると、カメラＣＡ６とカメラＣＡ３とカメラＣＡ５の画像に切り換える。さらに、買物客が区画Ｅに移動すると、カメラＣＡ１とカメラＣＡ２とカメラＣＡ３の画像に切り換える。
【００５１】
カメラＣＡ１，カメラＣＡ６及びカメラＣＡ３で撮影される区画Ａの画像は、他のカメラＣＡ２，ＣＡ４，ＣＡ５で撮影される区画Ａの画像よりも鮮明である。したがって、ユーザは、動線表示エリア４１に動線が表示されている買物客の売場Ｓでの行動を目視により確実に確認することができる。すなわち、この買物客の動向解析を容易に行うことができる。
【００５２】
仮に、動線表示画面４０に６台全てのカメラＣＡ１〜ＣＡ６の画像を表示させた場合、カメラＣＡ２，ＣＡ４，ＣＡ５の画像はその時点における買物客の動向解析には役立たない。それにも係わらず画面上に表示されてユーザの目に留まるため、ユーザの負担が増加する。したがって、買物客の動向解析に無駄な時間を要する。本実施形態によれば、このような不具合を解消することができる。
【００５３】
（第２の実施形態）
次に、第２の実施形態について、図９〜図１１を用いて説明する。なお、本実施形態も、システム構成は第１の実施形態と同一であり、図１を用いて詳細な説明は省略する。
【００５４】
第２の実施形態では、動線表示装置２は、テーブル記憶部２６でカメラ位置設定テーブル５１を記憶する。図９は、カメラ位置設定テーブル５１のデータ構造を示す模式図である。図９に示すように、カメラＩＤを記述するための領域５１-1と、カメラ位置座標データを記述するための領域５１-2とを備える。
【００５５】
カメラ位置座標データは、対応するカメラＩＤによって特定されるカメラが取り付けられている地点から床面に垂線を下ろした地点の二次元座標（Ｃｘ，Ｃｙ）である。座標（Ｃｘ，Ｃｙ）は、前記原点Ｏ（０，０）を基準としたときの世界座標系である。
【００５６】
動線表示装置２のユーザは、各カメラＣＡ１〜ＣＡ６のカメラＩＤを領域５１-1に記述する。またユーザは、対応するカメラＩＤに結び付けて、そのＩＤによって特定されるカメラＣＡ１〜ＣＡ６の取付位置に対する二次元座標（Ｃｘ１，Ｃｙ１），（Ｃｘ２，Ｃｙ２），（Ｃｘ３，Ｃｙ３），（Ｃｘ４，Ｃｙ４），（Ｃｘ５，Ｃｙ５），（Ｃｘ６，Ｃｙ６）を領域５１-2に記述して、カメラ位置設定テーブル５１を事前に作成する。
【００５７】
また、第２の実施形態では、データ記憶部２５に、図２に示す構成の順位ワークメモリ５２を形成する。順位ワークメモリ５２は、カメラＣＡ１〜ＣＡ６の台数分の順位別に、カメラＩＤと距離データｄｒとを対にして記憶する。
【００５８】
しかして、制御部２７は、第１の実施形態と同様に、前記動線表示プログラムに従い、動線データ取得手段、動線表示手段、カメラ選択手段、カメラ画像表示手段としての機能を実現する。ここで、第１の実施形態と異なるのは、カメラ選択手段である。
【００５９】
図１１は、動線表示プログラムの起動を受けて、制御部２７が実行する処理手順を示す流れ図である。図７に示した第１の実施形態と共通する手順には同一のステップ符号（ＳＴｘ）を付している。図７と図１１とを比較すれば明らかなように、第２の実施形態が第１の実施形態と異なる部分は、ステップＳＴ９の処理にて“ＮＯ”と判定された場合、すなわち、カウンタｆがフレーム数ｎを超えていない場合である。
【００６０】
カウンタｆがフレーム数ｎを超えていないと（ＳＴ９のＮＯ）、制御部２７は、表示動線データからフレームｆインデックスデータを検出する。そして制御部２７は、このインデックスデータの二次元座標（Ｘｆ，Ｙｆ）を取得する（ＳＴ２１）。
【００６１】
次に、制御部２７は、カメラ位置設定テーブル５１から各カメラＣＡ１〜ＣＡ６の位置座標（Ｃｘ１，Ｃｙ１），（Ｃｘ２，Ｃｙ２），（Ｃｘ３，Ｃｙ３），（Ｃｘ４，Ｃｙ４），（Ｃｘ５，Ｃｙ５），（Ｃｘ６，Ｃｙ６）を読み込む。そして、これらの位置座標とフレームｆインデックスデータの二次元座標（Ｘｆ，Ｙｆ）とから、次の演算式（１）〜（６）により、各カメラＣＡ１〜ＣＡ６の取付地点から二次元座標（Ｘｆ，Ｙｆ）で特定される地点までの距離ｄr1〜ｄr6を算出する（ＳＴ２２）。
【００６２】
ｄr1＝sqrt[(Xf-Cx1)*(Xf-Cx1)+(Yf-Cy1)*(Yf-Cy1)] …（１）
ｄr2＝sqrt[(Xf-Cx2)*(Xf-Cx2)+(Yf-Cy2)*(Yf-Cy2)] …（２）
ｄr3＝sqrt[(Xf-Cx3)*(Xf-Cx3)+(Yf-Cy3)*(Yf-Cy3)] …（３）
ｄr4＝sqrt[(Xf-Cx4)*(Xf-Cx4)+(Yf-Cy4)*(Yf-Cy4)] …（４）
ｄr5＝sqrt[(Xf-Cx5)*(Xf-Cx5)+(Yf-Cy5)*(Yf-Cy5)] …（５）
ｄr6＝sqrt[(Xf-Cx6)*(Xf-Cx6)+(Yf-Cy6)*(Yf-Cy6)] …（６）
なお、式（１）〜（６）において、“sqrt[ ]”は、［ ］内のルート（平方根）を示す。
【００６３】
距離ｄr1〜ｄr6が算出されると、制御部２７は、この距離ｄr1〜ｄr6を、該当するカメラＩＤと結び付けて順位ワークメモリ５２に書き込む。すなわち、カメラＣＡ１の取付地点から二次元座標（Ｘｆ，Ｙｆ）の地点までの距離ｄr1は、カメラＣＡ１のカメラＩＤ“ＣＡ１”を結び付けて記憶する。他の距離ｄr2〜ｄr6についても同様である。制御部２７は、順位ワークメモリ５２に記憶されたデータを、距離が短いほど順位が上位となるように並べ替える（ＳＴ２３）。
【００６４】
制御部２７は、順位ワークメモリ５２から、上位３位までのカメラＩＤを読み出す。そして、これらのカメラＩＤでそれぞれ特定される３つのカメラを表示カメラとして選択する（ＳＴ２４：カメラ選択手段）。
【００６５】
以後の処理手順は、第１の実施形態と同様である。すなわち、制御部２７は、フレームｆインデックスデータからフレーム撮影時刻Ｔｆを取得する。そして、３つの表示カメラについて、それぞれデータ記憶部２５から撮影時刻Ｔｆのフレーム画像データを抽出する（ＳＴ１２）。しかる後、制御部２７は、動線表示画面４０の各カメラ画像エリア４２，４３，４４に、それぞれ抽出したフレーム画像データのカメラ画像を表示させる（ＳＴ１３：カメラ画像表示手段）。また、制御部２７は、表示動線データの始点フレームからｆ番目のフレームまでの各インデックスデータにより、動線表示画面４０の動線表示エリア４１に動線を表示させる（ＳＴ１４：動線表示手段）。その後、制御部２７は、ステップＳＴ８の処理に戻る。
【００６６】
第２の実施形態では、動線表示装置２は、動線表示エリア４１に表示される買物客の動線に同期して、その動線の先端、すなわち買物客が居る地点に対して距離の近い順に３つのカメラを自動的に選択し、その選択したカメラの画像をカメラ画像エリア４２，４３，４４に表示させる。
【００６７】
動線の先端となる地点からカメラまでの距離が短ければ短いほど、動線先端付近の画像は鮮明となる。したがって、第１の実施形態と同様の作用効果を奏することができる。
【００６８】
（第３の実施形態）
次に、第３の実施形態について、図１２〜図１３を用いて説明する。本実施形態は、第２の実施形態の変形例である。第２の実施形態では、テーブル記憶部２６でカメラ位置設定テーブル５１を記憶する。第３の実施形態では、図１２に示すデータ構造のカメラ画像座標テーブル６１を記憶する。図１２に示すように、カメラ画像座標テーブル６１は、カメラＩＤを記述するための領域６１-1と、カメラ画像の中心座標データを記述するための領域６１-2とを備える。
【００６９】
動線表示装置２のユーザは、各カメラＣＡ１〜ＣＡ６のカメラＩＤを領域６１-1に記述する。またユーザは、対応するカメラＩＤに結び付けて、そのＩＤによって特定されるカメラＣＡ１〜ＣＡ６で撮影される画像の中心に位置する床面の二次元座標（Ｓｘ１，Ｓｙ１），（Ｓｘ２，Ｓｙ２），（Ｓｘ３，Ｓｙ３），（Ｓｘ４，Ｓｙ４），（Ｓｘ５，Ｓｙ５），（Ｓｘ６，Ｓｙ６）を領域６１-2に記述して、カメラ画像座標テーブル６１を事前に作成する。
【００７０】
しかして、制御部２７は、第２の実施形態と同様に、前記動線表示プログラムに従い、動線データ取得手段、動線表示手段、カメラ選択手段、カメラ画像表示手段としての機能を実現する。ここで、第２の実施形態と異なるのは、カメラ選択手段の一部である。
【００７１】
図１３は、動線表示プログラムの起動を受けて、制御部２７が実行する処理手順を示す流れ図である。図１１に示した第２の実施形態と共通する手順には同一のステップ符号（ＳＴｘ）を付している。図１１と図１３とを比較すれば明らかなように、第３の実施形態が第２の実施形態と異なる部分は、ステップＳＴ２１の処理にて表示動線データからフレームｆインデックスデータを検出し、このインデックスデータの二次元座標（Ｘｆ，Ｙｆ）を取得した後に、ステップＳＴ３１として、この二次元座標（Ｘｆ，Ｙｆ）を世界座標系からカメラ座標系に変換する処理を追加した点である。
【００７２】
ここで、世界座標系からカメラ座標系への変換処理の原理について説明する。この変換処理では、以下のパラメータを使用する。
・世界座標系の動線座標：ｘ，ｙ，ｈ
・世界座標系のカメラの位置：Ｗｘ，Ｗｙ，Ｗｚ
・画像中心の座標：Ｃｘ，Ｃｙ
・世界座標系の座標軸周りのカメラ回転角：Ｒｘ，Ｒｙ，Ｒｚ
・全方位カメラのパラメータ：ｂ，ｃ，ｆ
・魚眼カメラのパラメータ：ｋ１，ｋ３，ｋ５，scale
先ず、制御部２７は、変換対象の動線座標（ｘ，ｙ，ｈ）を、カメラ位置を原点とした座標系（Ｘ０，Ｙ０，Ｚ０）に平行移動する。この処理は、次の演算式により実行される。
【数１】
【００７３】
次に、制御部２７は、平行移動した動線座標（Ｘ０，Ｙ０，Ｚ０）について、世界座標系の座標軸周りのカメラ回転角を使って回転処理し、世界座標系とカメラ座標系の軸を合せる。この処理は、次の演算式により実行される。
【００７４】
［Ｘ軸周りの回転］
【数２】
【００７５】
［Ｙ軸周りの回転］
【数３】
【００７６】
［Ｚ軸周りの回転］
【数４】
【００７７】
次に、制御部２７は、処理対象のカメラの種類を判別する。カメラが魚眼カメラの場合、制御部２７は、魚眼カメラのパラメータを使って、動線座標（Ｘｚ，Ｙｚ，Ｚｚ）を世界座標系からカメラ画像座標系に変換する。この処理は、次の演算により実行される。
【００７８】
先ず、Ｘｄ＝ｒcosｔ：Ｙｄ＝ｒsinｔとする。
【００７９】
ただし、Ｙｚ≧０のとき、
【数５】
【００８０】
Ｙｚ＜０のとき、
【数６】
【００８１】
である。ここで、上記ｒの値を、下記数式のニュートン法を用いて求める。
【数７】
【００８２】
なお、この数式において、初期値ｒ0を0.0、目標値をθとする。また、｜ｒn+1−ｒｎ｜＜0.01で収束したとみなす。その時点でのｒの値を使用する。
【００８３】
一方、カメラが全方位カメラの場合は、制御部２７は、全方位カメラのパラメータを使って、動線座標（Ｘｚ，Ｙｚ，Ｚｚ）を世界座標系からカメラ画像座標系に変換する。この処理は、次の演算式により実行される。
【数８】
【００８４】
こうして、動線座標を世界座標系からカメラ画像座標系に変換したならば、制御部２７は、変換後の座標（Ｘｄ，Ｙｄ）をカメラ画像座標系の原点に平行移動する。この処理は、次の演算式により実行される。
【数９】
【００８５】
以上の処理を実行することにより、動線座標がカメラ画像系の座標に変換される。
【００８６】
上記変換処理にしたがって、二次元座標（Ｘｆ，Ｙｆ）がカメラ画像系の座標に変換されたならば、制御部２７は、カメラ画像座標テーブル６１から各カメラＣＡ１〜ＣＡ６の画像中心座標（Ｓｘ１，Ｓｙ１），（Ｓｘ２，Ｓｙ２），（Ｓｘ３，Ｓｙ３），（Ｓｘ４，Ｓｙ４），（Ｓｘ５，Ｓｙ５），（Ｓｘ６，Ｓｙ６）を読み込む。そして、これらの画像中心座標とカメラ画像系の二次元座標とから、第２の実施形態と同様の演算式で各カメラＣＡ１〜ＣＡ６の画像中心地点から二次元座標（Ｘｆ，Ｙｆ）の地点までの距離ｄr1〜ｄr6を算出する（ＳＴ２２）。
【００８７】
以後の処理手順は、第２の実施形態と同様である。すなわち制御部２７は、距離ｄr1〜ｄr6を、該当するカメラＩＤと結び付けて順位ワークメモリ５２に書き込む。そして制御部２７は、順位ワークメモリ５２に記憶されたデータを、距離が短いほど順位が上位となるように並べ替える（ＳＴ２３）。
【００８８】
制御部２７は、順位ワークメモリ５２から、上位３位までのカメラＩＤを読み出して、これらのカメラＩＤでそれぞれ特定される３つのカメラを表示カメラとして選択する（ＳＴ２４：カメラ選択手段）。そして、選択された３つの表示カメラについて、それぞれデータ記憶部２５から撮影時刻Ｔｆのフレーム画像データを抽出する（ＳＴ１２）。しかる後、制御部２７は、動線表示画面４０の各カメラ画像エリア４２，４３，４４に、それぞれ抽出したフレーム画像データのカメラ画像を表示させる（ＳＴ１３：カメラ画像表示手段）。また、制御部２７は、表示動線データの始点フレームからｆ番目のフレームまでの各インデックスデータにより、動線表示画面４０の動線表示エリア４１に動線を表示させる（ＳＴ１４：動線表示手段）。その後、制御部２７は、ステップＳＴ８の処理に戻る。
【００８９】
第３の実施形態においても、動線表示装置２は、動線表示エリア４１に表示される買物客の動線に同期して、その動線の先端、すなわち買物客が居る地点に対して距離の近い順に３つのカメラを自動的に選択し、その選択したカメラの画像をカメラ画像エリア４２，４３，４４に表示させる。したがって、第１及び第２の実施形態と同様の作用効果を奏し得る。
【００９０】
因みに、第２の実施形態では、動線の先端地点を示す世界座標系の二次元座標とカメラの取付位置を示す世界座標系のカメラ位置座標とから、カメラ取付地点から動線先端地点までの距離を計測し、表示カメラを選択している。したがって、レンズを天井から真下に向けてカメラを取り付ける直下設置方式の場合に好適である。
【００９１】
これに対して、レンズを斜め方向に向けてカメラを取り付ける斜視設置方式の場合は、世界座標系による距離計算では信憑性が落ちる。このような場合には、第３の実施形態のように、動線の先端位置を示す二次元座標を世界座標系からカメラ画像座標系に変換してから、カメラ画像座標系による距離計算を行う。そして、距離の短いカメラを表示カメラとして選択することによって、動線先端地点について鮮明度の高い画像を得ることができる。
【００９２】
以上説明したように各実施形態によれば、移動体が撮影されているカメラ画像を探し出すのにユーザが要する手間と時間を、大幅に軽減することができる。この効果は、監視領域が拡大されてカメラの台数が増加すればするほど顕著なものとなる。
【００９３】
なお、この発明は前記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。
【００９４】
例えば、前記第１の実施形態では、エリア別表示カメラ定義テーブル３２を作成する際に、該当する区画を撮影した画像の例えば鮮明度が高い順に上位３位までのカメラを選択してテーブル３２に設定したが、カメラの選択条件は、鮮明度に限定されるものではない。例えば、該当する区画までの距離が短いカメラを選択してもよい。また、カメラの選択数は、動線表示画面４０に確保されているカメラ画像エリアの数に一致していなくてもよい。例えば鮮明度の高いカメラが２つしか存在しない場合には、その２つのカメラのカメラＩＤをエリア別表示カメラ定義テーブル３２設定して、該当する区画に動線先端が位置しているときにはその２つのカメラの画像をカメラ画像エリアに表示させるようにしてもよい。
【００９５】
また、第２及び第３の実施形態では、距離ｄｒが短い上位３位までのカメラを表示カメラとして選択したが、予めしきい値を設定し、距離ｄｒがしきい値より長い場合は、たとえ上位３位に入っていても選択しないようにしてもよい。
【００９６】
また、各実施形態では、発明を実施する機能を実現させるためのプログラムが装置内部に予め記録されている場合で説明をしたが、これに限らず同様のプログラムをネットワークから装置にダウンロードしても良いし、同様のプログラムを記録媒体に記憶させたものを装置にインストールしてもよい。記録媒体としては、ＣＤ−ＲＯＭ等プログラムを記憶でき、かつ装置が読み取り可能な記録媒体であれば、その形態は何れの形態であっても良い。またこのように予めインストールやダウンロードにより得る機能は装置内部のＯＳ（オペレーティング・システム）等と協働してその機能を実現させるものであってもよい。
【００９７】
この他、前記実施形態に開示されている複数の構成要素の適宜な組合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を組合わせてもよい。
【符号の説明】
【００９８】
１…動線認識装置、２…動線表示装置、１１…カメラコントロール部、１２…カメラ画像データベース、１３…動線生成部、１４…動線データベース、２１…入力部、２２…表示部、２３…データベースアクセス部、２４…プログラム記憶部、２５…データ記憶部、２６…テーブル記憶部、２７…制御部、３１…エリア設定テーブル、３２…エリア別表示カメラ定義テーブル、４０…動線表示画面、５１…カメラ位置設定テーブル、５２…順位ワークメモリ、６１…カメラ画像座標テーブル。
【特許請求の範囲】
【請求項１】
監視領域を撮影対象として配置された複数のカメラの各撮影画像から生成される移動体毎の動線データを記憶する動線データベースから表示対象として選択された移動体の前記動線データを取得する動線データ取得手段と、
この動線データ取得手段により取得した動線データで前記移動体の始点から終点まで移動経路を示す動線を表示する動線表示手段と、
この動線表示手段により表示される動線の先端の位置情報を基準に前記複数のカメラのなかからそのカメラ台数より少ない一定数以下のカメラを選択するカメラ選択手段と、
このカメラ選択手段により選択されたカメラの撮影画像を前記動線表示手段により表示される動線と同期させて表示するカメラ画像表示手段と、
を具備したことを特徴とする動線表示装置。
【請求項２】
前記監視領域を区分した区分領域毎に、少なくともその区分領域を撮影可能な前記一定数以下のカメラの識別情報を記憶するエリア別表示カメラ定義テーブル、をさらに具備し、
前記カメラ選択手段は、前記位置情報から前記動線の先端が位置する前記区分領域を検出し、この検出された区分領域に結び付けられて前記領域別カメラ定義テーブルで記憶される前記一定数以下の識別情報で識別されるカメラを選択することを特徴とする請求項１記載の動線表示装置。
【請求項３】
前記複数のカメラ毎に、そのカメラが配置されている各位置の世界座標系の座標情報を記憶するカメラ位置設定テーブル、をさらに具備し、
前記カメラ選択手段は、前記位置情報から前記動線の先端が位置する世界座標系の座標情報を取得し、この動線先端の座標情報と前記カメラ位置設定テーブルに記憶されている各カメラの座標情報とからカメラ毎にその配置位置から前記動線の先端地点までの距離を算出し、距離の短い順に前記一定数以下のカメラを選択することを特徴とする請求項１記載の動線表示装置。
【請求項４】
前記複数のカメラ毎に、そのカメラの画像中心座標の情報を記憶するカメラ画像座標テーブル、をさらに具備し、
前記カメラ選択手段は、前記位置情報から前記動線の先端が位置する世界座標系の座標情報を取得し、この座標情報を前記世界座標系から前記カメラの画像座標系に変換し、画像座標系に変換された動線先端の座標情報と前記カメラ画像座標テーブルに記憶されている各カメラの画像中心座標の情報とからカメラ毎にその画像中心地点から前記動線の先端地点までの距離を算出し、距離の短い順に前記一定数以下のカメラを選択することを特徴とする請求項１記載の動線表示装置。
【請求項５】
監視領域を撮影対象として配置された複数のカメラの各撮影画像から生成される移動体の動線データにより、前記移動体の始点から終点まで移動経路を示す動線を表示装置が表示する方法であって、
前記表示装置が、前記監視領域を区分した区分領域毎に、少なくともその区分領域を撮影可能な一定数以下のカメラの識別情報を予め記憶し、
前記表示装置が、表示する動線の先端の位置情報から当該先端が位置する前記区分領域を検出し、
前記表示装置が、この検出された区分領域に結び付けられて記憶される前記一定数以下の識別情報で識別されるカメラを選択し、
前記表示装置が、この選択されたカメラの撮影画像を前記動線と同期させて表示することを特徴とする動線表示方法。
【請求項６】
監視領域を撮影対象として配置された複数のカメラの各撮影画像から生成される移動体の動線データにより、前記移動体の始点から終点まで移動経路を示す動線を表示装置が表示する方法であって、
前記表示装置が、前記複数のカメラ毎に、そのカメラが配置されている各位置の世界座標系の座標情報を予め記憶し、
前記表示装置が、表示する動線の先端の位置情報から前記動線の先端が位置する世界座標系の座標情報を取得し、
前記表示装置が、前記動線の先端の座標情報と予め記憶している各カメラの座標情報とから、カメラ毎にその配置位置から前記動線の先端地点までの距離を算出して、距離の短い順に前記一定数以下のカメラを選択し、
前記表示装置が、この選択されたカメラの撮影画像を前記動線と同期させて表示することを特徴とする動線表示方法。
【請求項７】
監視領域を撮影対象として配置された複数のカメラの各撮影画像から生成される移動体の動線データにより、前記移動体の始点から終点まで移動経路を示す動線を表示装置が表示する方法であって、
前記表示装置が、複数のカメラ毎に、そのカメラの画像中心座標の情報を予め記憶し、
前記表示装置が、表示する動線の先端の位置情報から前記動線の先端が位置する世界座標系の座標情報を取得し、
前記表示装置が、前記動線の先端が位置する座標情報を前記世界座標系から前記カメラの画像座標系に変換し、
前記表示装置が、前記画像座標系に変換された動線先端の座標情報と予め記憶している各カメラの画像中心座標の情報とから、カメラ毎にその画像中心地点から前記動線の先端地点までの距離を算出して、距離の短い順に前記一定数以下のカメラを選択し、
前記表示装置が、この選択されたカメラの撮影画像を前記動線と同期させて表示することを特徴とする動線表示方法。
【請求項８】
移動体の始点から終点まで移動経路を示す動線を表示するコンピュータに、
監視領域を撮影対象として配置された複数のカメラの各撮影画像から生成される移動体毎の動線データを記憶する動線データベースから表示対象として選択された移動体の前記動線データを取得させる機能、
取得した動線データで前記移動体の始点から終点まで移動経路を示す動線を表示部に表示させる機能、
前記表示部に表示される動線の先端の位置情報を基準に前記複数のカメラのなかからそのカメラ台数より少ない一定数以下のカメラを選択させる機能、及び
選択されたカメラの撮影画像を前記動線と同期させて表示部に表示させる機能、
を実現させるためのプログラム。
【請求項１】
監視領域を撮影対象として配置された複数のカメラの各撮影画像から生成される移動体毎の動線データを記憶する動線データベースから表示対象として選択された移動体の前記動線データを取得する動線データ取得手段と、
この動線データ取得手段により取得した動線データで前記移動体の始点から終点まで移動経路を示す動線を表示する動線表示手段と、
この動線表示手段により表示される動線の先端の位置情報を基準に前記複数のカメラのなかからそのカメラ台数より少ない一定数以下のカメラを選択するカメラ選択手段と、
このカメラ選択手段により選択されたカメラの撮影画像を前記動線表示手段により表示される動線と同期させて表示するカメラ画像表示手段と、
を具備したことを特徴とする動線表示装置。
【請求項２】
前記監視領域を区分した区分領域毎に、少なくともその区分領域を撮影可能な前記一定数以下のカメラの識別情報を記憶するエリア別表示カメラ定義テーブル、をさらに具備し、
前記カメラ選択手段は、前記位置情報から前記動線の先端が位置する前記区分領域を検出し、この検出された区分領域に結び付けられて前記領域別カメラ定義テーブルで記憶される前記一定数以下の識別情報で識別されるカメラを選択することを特徴とする請求項１記載の動線表示装置。
【請求項３】
前記複数のカメラ毎に、そのカメラが配置されている各位置の世界座標系の座標情報を記憶するカメラ位置設定テーブル、をさらに具備し、
前記カメラ選択手段は、前記位置情報から前記動線の先端が位置する世界座標系の座標情報を取得し、この動線先端の座標情報と前記カメラ位置設定テーブルに記憶されている各カメラの座標情報とからカメラ毎にその配置位置から前記動線の先端地点までの距離を算出し、距離の短い順に前記一定数以下のカメラを選択することを特徴とする請求項１記載の動線表示装置。
【請求項４】
前記複数のカメラ毎に、そのカメラの画像中心座標の情報を記憶するカメラ画像座標テーブル、をさらに具備し、
前記カメラ選択手段は、前記位置情報から前記動線の先端が位置する世界座標系の座標情報を取得し、この座標情報を前記世界座標系から前記カメラの画像座標系に変換し、画像座標系に変換された動線先端の座標情報と前記カメラ画像座標テーブルに記憶されている各カメラの画像中心座標の情報とからカメラ毎にその画像中心地点から前記動線の先端地点までの距離を算出し、距離の短い順に前記一定数以下のカメラを選択することを特徴とする請求項１記載の動線表示装置。
【請求項５】
監視領域を撮影対象として配置された複数のカメラの各撮影画像から生成される移動体の動線データにより、前記移動体の始点から終点まで移動経路を示す動線を表示装置が表示する方法であって、
前記表示装置が、前記監視領域を区分した区分領域毎に、少なくともその区分領域を撮影可能な一定数以下のカメラの識別情報を予め記憶し、
前記表示装置が、表示する動線の先端の位置情報から当該先端が位置する前記区分領域を検出し、
前記表示装置が、この検出された区分領域に結び付けられて記憶される前記一定数以下の識別情報で識別されるカメラを選択し、
前記表示装置が、この選択されたカメラの撮影画像を前記動線と同期させて表示することを特徴とする動線表示方法。
【請求項６】
監視領域を撮影対象として配置された複数のカメラの各撮影画像から生成される移動体の動線データにより、前記移動体の始点から終点まで移動経路を示す動線を表示装置が表示する方法であって、
前記表示装置が、前記複数のカメラ毎に、そのカメラが配置されている各位置の世界座標系の座標情報を予め記憶し、
前記表示装置が、表示する動線の先端の位置情報から前記動線の先端が位置する世界座標系の座標情報を取得し、
前記表示装置が、前記動線の先端の座標情報と予め記憶している各カメラの座標情報とから、カメラ毎にその配置位置から前記動線の先端地点までの距離を算出して、距離の短い順に前記一定数以下のカメラを選択し、
前記表示装置が、この選択されたカメラの撮影画像を前記動線と同期させて表示することを特徴とする動線表示方法。
【請求項７】
監視領域を撮影対象として配置された複数のカメラの各撮影画像から生成される移動体の動線データにより、前記移動体の始点から終点まで移動経路を示す動線を表示装置が表示する方法であって、
前記表示装置が、複数のカメラ毎に、そのカメラの画像中心座標の情報を予め記憶し、
前記表示装置が、表示する動線の先端の位置情報から前記動線の先端が位置する世界座標系の座標情報を取得し、
前記表示装置が、前記動線の先端が位置する座標情報を前記世界座標系から前記カメラの画像座標系に変換し、
前記表示装置が、前記画像座標系に変換された動線先端の座標情報と予め記憶している各カメラの画像中心座標の情報とから、カメラ毎にその画像中心地点から前記動線の先端地点までの距離を算出して、距離の短い順に前記一定数以下のカメラを選択し、
前記表示装置が、この選択されたカメラの撮影画像を前記動線と同期させて表示することを特徴とする動線表示方法。
【請求項８】
移動体の始点から終点まで移動経路を示す動線を表示するコンピュータに、
監視領域を撮影対象として配置された複数のカメラの各撮影画像から生成される移動体毎の動線データを記憶する動線データベースから表示対象として選択された移動体の前記動線データを取得させる機能、
取得した動線データで前記移動体の始点から終点まで移動経路を示す動線を表示部に表示させる機能、
前記表示部に表示される動線の先端の位置情報を基準に前記複数のカメラのなかからそのカメラ台数より少ない一定数以下のカメラを選択させる機能、及び
選択されたカメラの撮影画像を前記動線と同期させて表示部に表示させる機能、
を実現させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１２−１５８１３（Ｐ２０１２−１５８１３Ａ）
【公開日】平成２４年１月１９日（２０１２．１．１９）
【国際特許分類】
【出願番号】特願２０１０−１５０４８３（Ｐ２０１０−１５０４８３）
【出願日】平成２２年６月３０日（２０１０．６．３０）
【出願人】（０００００３５６２）東芝テック株式会社 (5,631)
【Ｆターム（参考）】
【公開日】平成２４年１月１９日（２０１２．１．１９）
【国際特許分類】
【出願日】平成２２年６月３０日（２０１０．６．３０）
【出願人】（０００００３５６２）東芝テック株式会社 (5,631)
【Ｆターム（参考）】
[ Back to top ]