動画データ管理方法および動画データ管理装置並びに動画表示装置
【課題】画像データと付加情報との同期を保証しつつ、付加情報を編集可能な付加情報として扱うことが可能な動画データ管理方法を提供する。
【解決手段】撮像装置によって撮影された映像に対応する画像データおよびこの映像について動体抽出処理を行って得られたベクトルデータを管理する動画データ管理装置を介して動画表示装置による表示処理に供する動画データ管理装置において実行される結合ステップは、各フレームの画像データの末尾にこの画像データに対応して得られた移動体の位置およびサイズを示す図形を表すベクトルデータを結合して動画表示装置に送信する。動画表示装置において、動画データ管理装置から各フレームの画像データを受け取るごとに、そのフレームの画像データに基づく表示処理を行う。次いで、上書きステップは、画像データに基づいて再生された画像に、ベクトルデータに基づいて生成される図形を表す線画を上書きする。
【解決手段】撮像装置によって撮影された映像に対応する画像データおよびこの映像について動体抽出処理を行って得られたベクトルデータを管理する動画データ管理装置を介して動画表示装置による表示処理に供する動画データ管理装置において実行される結合ステップは、各フレームの画像データの末尾にこの画像データに対応して得られた移動体の位置およびサイズを示す図形を表すベクトルデータを結合して動画表示装置に送信する。動画表示装置において、動画データ管理装置から各フレームの画像データを受け取るごとに、そのフレームの画像データに基づく表示処理を行う。次いで、上書きステップは、画像データに基づいて再生された画像に、ベクトルデータに基づいて生成される図形を表す線画を上書きする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視カメラ（ITV/CCTV等）によって撮影された画像データから構成される動画データに基づいて、施設の監視を行う監視システムにおける動画データ管理方法および動画データ管理装置並びに動画表示装置に関する。
空港や港湾あるいは大規模プラントなどの監視システムのように、監視範囲が非常に広範囲である監視システムにおいては、広い範囲を撮影する監視カメラによって撮影された画像データから構成される動画データが侵入者の監視などに用いられている。
【背景技術】
【０００２】
図８に、従来の一般的な監視システムの構成例を示す。
図８に示した監視カメラ４０１1〜４０１Nによって撮影された画像データは、映像切替・分配装置（マトリクスビデオスイッチャ、図８において符号ＶＳＷを付して示す）を介してそれぞれに対応してモニタールームなどに備えられたディスプレイ装置４０２1〜４０２Nに転送されて表示され、監視員による監視作業に供されるとともに、ビデオテープレコーダ４０３1〜４０３Nなどによってそれぞれ記録され、一定期間にわたって保存される。
【０００３】
このような従来の動画像を用いた監視システムでは、動画像を監視員が監視することにより、侵入者や不審物の発見などの作業が行われている。
その一方、高速道路における交通量監視などの分野では、道路を走行している車両などの検出に、動体抽出技術が利用されている。
この技術は、同一の地点などを連続して撮影した複数の画像を互いに比較し、変化している部分を抽出することにより、撮像手段の視野内において移動している物体を抽出する技術である。一般的な動体抽出技術では、移動体を検出した画像の領域などは、画像における位置を示す座標データや範囲を示すベクトルデータによって示される。
【０００４】
このような動体抽出技術を上述した動画像を用いた監視システムに適用すれば、監視範囲内への侵入者などの検出を自動化することが可能となる。
また、特許文献１あるいは特許文献２に開示された技法を利用して、検出結果を動画像に重ねて表示すれば、監視カメラで撮影された動画像とともにベクトルデータで表された検出結果を監視員に同時に提供することができ、監視員の作業負担を大幅に軽減することができると考えられる。
【０００５】
なお、特許文献１には、監視カメラによって撮影された映像を記録すると同時に撮影日時などの付加情報を映像の一部に重ねて記録することにより、付加情報が重畳された映像を再生可能とする技術が開示されている。また、特許文献２において開示された技法においては、付加情報を表すビットマップデータを作成し、これを画像データと同様にして符号化し、符号化された画像データと符号化された上述したビットマップデータとを合成することで、付加情報を含んだ画像データの改竄を防止したいという要求とともに、再生時に付加情報を除去して表示させたいという要求との双方が満たされている。
【特許文献１】特開平９−４６６３５号公報
【特許文献２】特開２００１−１１１９５９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ところで、上述した各特許文献において想定されている付加情報は、撮影日時や撮影場所といった情報であり、この付加情報の内容がそのまま証拠の一部として扱われる。このため、これらの特許文献にかかわる技術分野においては、付加情報が映像情報と確実に結びついていること、また、その内容が映像情報および付加情報を一旦記録した後に変更されないことが重要視されている。
【０００７】
しかしながら、動体抽出技術を適用して得られたベクトルデータ自体は、監視員に提供する判断材料であって、それ自体に証拠能力があるわけではない。したがって、このようなベクトルデータは、変更が許されない情報ではなく、むしろ、監視作業を支援する上では積極的に編集作業を施すべき場合すら考えられる情報である。
例えば、港湾などの大規模な施設への侵入者などを監視する監視システムでは、状況によっては、検知すべき対象のサイズが大幅に変化する場合がある。このような場合に、動体抽出処理によって得られたベクトルデータに基づいて、検知された移動体をサイズごとに分類し、必要なサイズの移動体に対応するベクトルデータのみを表示する編集を施すことが必要である。
【０００８】
これに対して、例えば、特許文献２に開示された技法を用いて映像データとベクトルデータとを合成した後に、この合成データに含まれるベクトルデータによって表された情報に対して上述したような編集を加えることは原理的に不可能である。
したがって、上述した各特許文献に開示された技法は、後に編集することを前提としたベクトルデータを付加情報として動画データによって表示される画像に重畳する用途には不向きである。
【０００９】
その一方、ベクトルデータを動画データとは完全に独立したものとして扱ったのでは、ベクトルデータと対応する画像データのフレームとの同期を保証することが難しくなってしまう。
本発明は、動画データを構成する画像データのフレームとこれに重畳すべきベクトルデータとの同期を保証しつつ、ベクトルデータを編集可能な付加情報として扱うことが可能な動画データ管理方法および動画データ管理装置並びに動画表示装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明にかかわる第１の動画データ管理方法は、動画データ管理装置において実行される結合ステップと、動画表示装置で実行される画像表示ステップと、上書きステップとから構成される。
本発明にかかわる第１の動画データ管理方法の原理は、以下の通りである。
撮像装置によって撮影された映像に対応する画像データおよびこの映像に対応して動体検知処理装置による動体抽出処理を行って得られたベクトルデータを管理する動画データ管理装置を介して動画表示装置による表示処理に供する動画データ管理方法において、動画データ管理装置において実行される結合ステップは、各フレームの画像データの末尾にこの画像データに対応する動体抽出処理を行って得られた移動体の位置およびサイズを示す図形を表すベクトルデータを結合して動画表示装置に送信する。動画表示装置において実行される画像表示ステップは、動画データ管理装置から各フレームの画像データを受け取るごとに、そのフレームの画像データに基づく表示処理を行う。次いで、上書きステップは、画像データに基づいて再生された画像に、ベクトルデータに基づいて生成される図形を表す線画を上書きする。
【００１１】
このように構成された第１の動画データ管理方法の動作は、下記の通りである。
動画データ管理装置によって実行される結合ステップにおいて、撮像装置によって撮影された映像に対応する画像データの各フレームの末尾に、対応するベクトルデータが結合され、動画表示装置による表示処理に供される。これにより、画像データとベクトルデータとの独立性を保ちつつ、両者の同期を保証することができる。
【００１２】
また、動画表示装置において実行される画像表示ステップにおいて、動画データ管理装置から受け取った各フレームの画像データで表される画像が表示された後に、上書きステップが実行され、その画像データの末尾に結合されたベクトルデータに基づいて線画が生成され、この線画が、上述した画像に上書される。この処理を各フレームについて繰り返し、動画データを構成する各フレームの画像データで表される画像にベクトルデータで表される図形が重畳されたイメージを表示することにより、画像データによって表される自然画像の連続で表される動画とベクトルデータで表される図形の連続で表される動画とを重畳して利用者に提供することができる。
【００１３】
本発明にかかわる第２の動画データ管理方法は、動画データ管理装置において実行される映像ファイル形成ステップ、付加情報ファイル形成ステップ、蓄積ステップ、検索ステップ、返送ステップおよび転送ステップとから構成される。
本発明にかかわる第２の動画データ管理方法の原理は、以下の通りである。
撮像装置によって撮影された映像に対応する画像データおよびこの映像に対応して動体検知処理装置による動体抽出処理を行って得られたベクトルデータを管理する動画データ管理装置を介して動画表示装置による表示処理に供する動画データ管理方法において、動画データ管理装置において実行される映像ファイル形成ステップは、撮像装置から１フレームの映像を受信する間隔の整数倍である所定の時間ごとに、撮像装置によって撮影された映像に対応する画像データをまとめて１つの映像ファイルを形成する。付加情報ファイル形成ステップは、映像ファイル形成ステップにおいて、一つの映像ファイルとしてまとめられた複数フレームの画像データに対応して動体検知処置装置からそれぞれ得られるベクトルデータをまとめて記述した付加情報ファイルを形成する。蓄積ステップは、付加情報ファイルと映像ファイルとを関連付けてデータベースに蓄積する。検索ステップは、動画表示装置からの動画データに関する要求に応じて、要求で指定された時刻に対応する付加情報ファイルおよび映像ファイルをデータベースから検索する。返送ステップは、検索された付加情報ファイルの内容とともに、付加情報ファイルに対応する映像ファイルとの連携を記述するリンクを含む適切な形式のファイルを形成して動画表示装置に返送する。転送ステップは、リンクに基づく映像ファイルの転送要求に応じて、該当する映像ファイルを動画表示装置に転送する。
【００１４】
このように構成された第２の動画データ管理方法の動作は、下記の通りである。
撮像装置によって撮影された映像に対応する画像データは、映像ファイル形成ステップにおいて、所定の時間ごとに適切な形式（例えば、Motion JPEG（以下、Ｍ−ＪＰＥＧと略称する）形式）の映像ファイルにまとめられ、これとともに、付加情報ファイル形成ステップにおいて、上述した所定の時間に撮像装置によって撮影された映像に対応して移動体検知処理装置から得られたベクトルデータも一つの付加情報ファイルにまとめられる。例えば、毎秒３０フレームの画像を撮影する撮像装置からの映像情報を１分ごとにファイル化する場合には、１８００フレーム分の画像データをまとめた一つのＭ−ＪＰＥＧファイルと、これらのフレームに対応して得られたベクトルデータをまとめた一つの付加情報ファイルとが形成され、蓄積ステップにおいて、互いに関連付けられた上で、データベースに蓄積される。
【００１５】
このようにしてデータベースに蓄積された映像ファイルおよび付加情報ファイルは、検索ステップにおいて、動画表示装置からの要求に応じて検索され、この検索結果に基づいて、返送ステップにおいて、例えば、付加情報ファイルにまとめられているベクトルデータとこの付加情報ファイルに対応する映像ファイルへのリンクとを記述したＸＭＬ形式のファイルが形成される。そして、このＸＭＬ形式のファイルを要求元の動画表示装置に返すことにより、まず、付加情報ファイルの内容が動画表示装置に渡される。その後、転送ステップにおいて、上述したリンクに基づく転送要求に応じて、該当する映像ファイルが動画表示装置に渡される。
【００１６】
本発明にかかわる第１の動画データ管理装置は、挿入手段と、送信手段とから構成される。
本発明にかかわる第１の動画データ管理装置の原理は、以下の通りである。
撮像装置によって撮影された映像に対応する画像データおよびこの映像に対応して動体検知処理装置による動体抽出処理を行って得られたベクトルデータを管理するとともに、動画表示装置による表示処理に供する動画データ管理装置において、挿入手段は、撮像装置から受け取った各フレームの画像データの末尾と次のフレームの画像データの先頭との間に各画像データに対応して動体検知処理装置から動体検知処理結果として得られる移動体の位置およびサイズを示す図形を表すベクトルデータを挿入する。送信手段は、挿入手段によって得られる画像データとベクトルデータとから構成されるストリームデータを動画表示装置に送信する。
【００１７】
このように構成された第１の動画データ管理装置の動作は、下記の通りである。
撮像装置によって得られた映像に対応する画像データの各フレームの間に、挿入手段により、各フレームに対応して動体検知処理装置によって得られたベクトルデータが挿入され、送信手段によって動画表示装置に送信される。
このようにして、撮像装置から得られる画像データから構成される動画データと動体検知処理装置から得られるベクトルデータとをフレームごとに結合し、これによって生成されたストリームデータを動画表示装置に渡すことにより、動画データとベクトルデータとの同期を保証しつつ、ほぼリアルタイムで動画表示装置による表示処理に供することができる。
【００１８】
本発明にかかわる第２の動画データ管理装置は、映像ファイル形成手段と、付加情報ファイル形成手段と、データベースと、検索手段と、連携ファイル形成手段と、返送手段と、転送手段とから構成される。
本発明にかかわる第２の動画データ管理装置の原理は、以下の通りである。
撮像装置によって撮影された映像に対応する画像データおよびこの映像に対応して動体検知処理装置による動体抽出処理を行って得られたベクトルデータを管理するとともに、動画表示装置による表示処理に供する動画データ管理装置において、映像ファイル形成手段は、撮像装置から１フレームの映像を受信する間隔の整数倍である所定の時間ごとに、撮像装置によって撮影された映像に対応する画像データをまとめて１つの映像ファイルを形成する。付加情報ファイル形成手段は、映像ファイル形成手段によって一つの映像ファイルとしてまとめられた複数フレームの画像データに対応して動体検知処置装置からそれぞれ得られるベクトルデータをまとめて記述した付加情報ファイルを形成する。データベースと、付加情報ファイルと映像ファイルとを関連付けて蓄積する。検索手段は、動画表示装置からの動画データに関する要求に応じて、要求で指定された時刻に対応する付加情報ファイルおよび映像ファイルをデータベースから検索する。連携ファイル形成手段は、検索された付加情報ファイルの内容とともに、付加情報ファイルに対応する映像ファイルとの連携を記述するリンクを含む適切な形式の連携ファイルを形成する。返送手段は、連携ファイルを動画表示装置に返送する。転送手段は、リンクに基づく映像ファイルの転送要求に応じて、該当する映像ファイルを動画表示装置に転送する。
【００１９】
このように構成された第２の動画データ管理装置の動作は、下記の通りである。
撮像装置によって撮影された映像に対応する画像データは、映像ファイル形成手段により、所定の時間ごとに適切な形式（例えば、Motion JPEG（以下、Ｍ−ＪＰＥＧと略称する）形式）の映像ファイルにまとめられ、これとともに、付加情報ファイル形成手段により、上述した所定の時間に撮像装置によって撮影された映像に対応して移動体検知処理装置から得られたベクトルデータも一つの付加情報ファイルにまとめられる。例えば、毎秒３０フレームの画像を撮影する撮像装置からの映像情報を１分ごとにファイル化する場合には、映像ファイル形成手段および付加情報ファイル形成手段により、１８００フレーム分の画像データをまとめた一つのＭ−ＪＰＥＧファイルと、これらのフレームに対応して得られたベクトルデータをまとめた一つの付加情報ファイルとが形成され、互いに関連付けられた上で、データベースに蓄積される。
【００２０】
このようにしてデータベースに蓄積された映像ファイルおよび付加情報ファイルは、動画表示装置からの要求に応じて検索手段により検索され、この検索結果に基づいて、連携ファイル形成手段により、例えば、付加情報ファイルにまとめられているベクトルデータとこの付加情報ファイルに対応する映像ファイルへのリンクとを記述したＸＭＬ形式の連携ファイルが形成される。そして、返送手段により、このＸＭＬ形式の連携ファイルを要求元の動画表示装置に返すことにより、まず、付加情報ファイルの内容が動画表示装置に渡される。その後、上述したリンクに基づく転送要求に応じて、転送手段により、該当する映像ファイルが動画表示装置に渡される。
【００２１】
このようにして、適切な期間（例えば、上述した例では１分）ごとに動画データを構成する画像データおよびこれに重畳されるべきベクトルデータをまとめたファイルを形成し、これらを関連付けてデータベースに蓄積していくことにより、動画データとベクトルデータとの同期を保証しつつ、膨大な動画データおよびベクトルデータを扱いやすい数のファイルとして管理することができ、例えば、指定された時間に対応する動画データの検索などにも迅速に対応することができる。
【００２２】
また、データベースから検索された付加情報ファイルの内容に対応する映像ファイルへのリンクを加えて形成した連携ファイルを要求元の動画表示装置に返送することにより、付加情報ファイルと映像ファイルとの対応関係を確実に動画表示装置に渡し、このリンクに基づく転送要求に応じて、適切な映像ファイルを動画表示装置に渡して、動画表示処理に供することができる。
【００２３】
本発明にかかわる動画表示装置は、画像表示手段と、線画生成手段と、上書き手段と、振り分け手段と、ベクトルデータ保持手段と、映像ファイル保持手段と、表示制御手段とから構成される。
本発明にかかわる動画表示装置の原理は、以下の通りである。
画像表示手段は、動画データを構成する各フレームの画像データの入力に応じて、各フレームの画像データに基づく画像表示処理を行う。線画生成手段は、画像における位置および範囲を含むベクトルデータの入力に応じて、ベクトルデータで示される位置および範囲を示す図形を表す線画を生成する。上書き手段と、線画生成手段によって線画が生成されるごとに、生成された線画を画像表示手段によって再生された画像に上書きする。振り分け手段は、動画データを構成する各フレームの画像データとこれらの画像データの間に挿入されたベクトルデータとからなるストリームデータを受け取り、ストリームデータに含まれる各フレームの画像データとベクトルデータとをそれぞれ抽出し、抽出するごとに、画像表示手段と線画生成手段とにそれぞれ振り分けてそれぞれ入力する。ベクトルデータ保持手段は、複数フレームの画像それぞれに対応して画像における位置および範囲をそれぞれ示すベクトルデータの集合とベクトルデータの集合に対応する画像データからなる映像ファイルへの連携を記述したリンクとを含む連携ファイルを受け取り、ベクトルデータの集合を保持する。映像ファイル保持手段は、連携ファイルに含まれるリンクに基づく転送要求に応じて得られる映像ファイルを保持する。表示制御手段は、映像ファイル保持手段から各フレームの画像データを読み出して画像表示手段に送出するごとに、対応するベクトルデータをベクトルデータ保持手段から読み出して線画生成手段に送出する。
【００２４】
このように構成された動画表示装置の動作は、下記の通りである。
例えば、上述した動画データ管理装置によって形成されたストリームデータは、動画表示装置に備えられた振り分け手段により、各フレームの画像データとこれらのフレームに対応するベクトルデータとに分けられ、それぞれ画像表示手段と線画表示手段とに渡される。ここで、上述したストリームデータでは、各フレームの画像データの末尾に続いてこのフレームに対応するベクトルデータが挿入されているので、振り分け手段にベクトルデータが入力されるときには、既に、対応する画像データは画像表示手段による表示処理に供されている。したがって、振り分け手段から受け取ったベクトルデータに基づいて、線画生成手段によって生成された線画を上書き手段の処理に供することにより、対応するフレームの画像データに基づいて表示された自然画像に、ベクトルデータに基づく図形を表す線画を重畳して表示することができる。この処理を各フレームについて繰り返し、動画データを構成する各フレームの画像データで表される画像にベクトルデータで表される図形が重畳されたイメージを表示することにより、画像データによって表される自然画像の連続で表される動画とベクトルデータで表される図形の連続で表される動画とを重畳して利用者に提供することができる。
【００２５】
また、動画データ管理装置から受け取った連携ファイルに含まれるベクトルデータは、ベクトルデータ保持手段に保持され、また、連携ファイルに記述されたリンクに基づく要求に応じて転送された映像ファイルは、映像ファイル保持手段に保持される。このようにしてベクトルデータ保持手段および映像データ保持手段に保持されたベクトルデータおよび画像データは、表示制御手段を介して、画像表示手段および線画生成手段による処理にそれぞれ供される。このようにして、連携ファイルによって関連付けが示された映像ファイルに含まれる各フレームの画像データとベクトルデータとに基づいて、画像データによって表される自然画像の連続で表される動画とベクトルデータで表される図形の連続で表される動画とを重畳した動画として利用者に提供される。
【発明の効果】
【００２６】
上述した第１の動画データ管理方法あるいは第１の動画データ管理装置および動画表示装置によれば、撮像装置から得られる映像に対応する画像データの各フレームと動体検知処理装置から得られるベクトルデータとについて、画像データとベクトルデータとの独立性を保ちながら、これらのフレームごとの同期を保証することができる。したがって、撮像装置で捉えられた映像と動体検知処理装置によって得られた検知結果とを同時に利用者にリアルタイムで提供することを実現するとともに、ベクトルデータに関する編集可能性を確保することができる。
【００２７】
また、第２の動画データ管理方法あるいは第１の動画データ管理装置および動画表示装置によれば、データベースに蓄積された画像データとベクトルデータとの関連付けを連携ファイルに記述されたリンクによって動画表示装置に渡すことにより、画像データとベクトルデータとの独立性を保ちながら、これらのフレームごとの同期を保証することができる。したがって、データベースに蓄積された画像データおよびベクトルデータから、所望の時間範囲に対応するものを切り出して動画表示装置に渡し、この動画表示装置を介して、画像データによって表される自然画像の連続で表される動画とベクトルデータで表される図形の連続で表される動画とを重ね合わせて利用者に提供するとともに、ベクトルデータに関する編集可能性を確保することができる。
【００２８】
これにより、撮像装置で捉えられた映像をリアルタイムで表示する場合についても、データベースに蓄積された映像を表示する場合についても、表示中の画像データに対応する動体検知結果を示すベクトルデータに対応して生成された線画あるいは必要に応じて選択された線画を重ね合わせて表示して利用者に提供する監視システムを実現することができる。
【発明を実施するための最良の形態】
【００２９】
以下、図面に基づいて、本発明の実施形態について詳細に説明する。
図１に、本発明にかかわる動画データ管理装置および動画表示装置の実施形態を示す。
図１に示した監視システムにおいて、監視カメラ２０１と、動体検知処理装置２０２、サーバ装置２１０および少なくとも一つの端末装置２２０（図１においては、２つの端末装置２２０ａ，２２０ｂを示した）とは、十分な伝送帯域を持つネットワークを介して接続されている。
【００３０】
図１において、監視カメラ２０１による撮影によって得られた映像信号は、動体検知処理装置２０２に渡され、この動体検知処理装置２０２による画像解析処理の過程において、フレーム単位の画像データに変換され、この画像データについて動体検知処理装置２０２によって行われる動体検知処理によって得られたベクトルデータとともにサーバ装置２１０に渡される。
【００３１】
図１に示したサーバ装置２１０において、伝送路インタフェース２１１を介して動体検知処理装置２０２から受け取った画像データおよびベクトルデータは、それぞれ画像データ保持部２１２およびベクトルデータ保持部２１３に保持された後、蓄積処理部２１４によって後述する映像ファイルおよび付加情報ファイルとしてデータベース２１５に蓄積されるとともに、リアルタイム送出部２１６によるリアルタイム送出処理（後述する）に供される。また、データベース２１５に蓄積された映像ファイルおよび付加情報ファイルは、切り出し処理部２１７による切り出し処理（後述する）に供される。
【００３２】
図１に示した蓄積処理部２１４は、画像データ保持部２１２に保持された画像データおよびベクトルデータ保持部２１３に保持されたベクトルデータを、監視カメラ２０１によって１フレームの画像データが得られる時間の整数倍にあたる所定の時間間隔でそれぞれまとめて映像ファイルおよび付加情報ファイルを形成し、形成した映像ファイルと付加情報ファイルとを関連付けてデータベース２１５に、これらのファイルを形成した時刻を示すファイル形成時刻に対応して蓄積する。例えば、監視カメラ２０１によって２秒あたり１フレームの画像データが得られる場合（つまり、撮影周期が２秒）に、蓄積処理部２１４によって画像データおよびベクトルデータをまとまる時間間隔を１分とすれば、３０フレーム分の画像データが、例えば、１つのＭ−ＪＰＥＧ形式の映像ファイルとしてまとめられ、これらの画像データに対応するベクトルデータが上述した映像ファイルに対応する付加情報ファイルとして形成される。
【００３３】
なお、この蓄積処理部２１４において形成する映像ファイルの形式は、複数フレーム分の自然画像をディジタルデータとして扱うことが可能な形式であればよく、例えば、ＭＰＥＧ形式などを採用することもできる。
また、図１に示したリアルタイム送出部２１６は、画像データ保持部２１２に各フレームの画像データが保持されるごとに、このフレームの画像データに対応する動体検知処理結果としてベクトルデータ保持部２１３に保持されるベクトルデータを、図２（ａ）に示すように上述したフレームの画像データに結合することにより、画像データとベクトルデータとからなるストリームデータを形成し、伝送路インタフェース２１１を介してこのストリームデータをネットワークに送出する。
【００３４】
ネットワークを介して端末装置２２０ａあるいは端末装置２２０ｂの伝送路インタフェース２２１に到達したストリームデータは、リアルタイム表示制御部２２２を介して重畳表示処理部２２３に渡され、後述する重畳表示処理に供される。また、図１に示した端末装置２２０ａ，２２０ｂにおいて、重畳表示処理部２２３によって得られたイメージデータは、表示部２２４によって表示され利用者に提供される。また、図１に示した端末装置２２０ａ，２２０ｂは、ユーザインタフェース部２２５を備えており、このユーザインタフェース部２２５を介して受け付けられた利用者からの指示は、重畳表示処理部２２３および切り出し表示制御部２２６の処理に供される。
【００３５】
なお、図１においては、端末装置２２０ａについて詳細構成を示し、端末装置２２０ｂの詳細構成は図示を省略している。
図１に示した切り出し表示制御部２２６は、ユーザインタフェース部２２５を介して受け取った利用者からの指示に応じて、上述したサーバ装置２１０においてデータベース２１５に蓄積されている映像情報の一部の切り出しを要求する切り出し要求を作成し、伝送路インタフェース２２１を介してサーバ装置２１０宛てに送出する。
【００３６】
一方、サーバ装置２１０に備えられた切り出し処理部２１７は、伝送路インタフェース２１１を介して受け取った切り出し要求に応じて、指定された時刻に対応する映像ファイルおよび付加情報ファイルをデータベース２１５から検索し、後述する手順に従って、検索された映像ファイルおよび付加情報ファイルを伝送路インタフェース２１１を介して要求元の端末装置２２０(例えば、端末装置２２０ａ)に返送する。
【００３７】
次に、図１に示した監視システムにおいて、監視カメラ２０１によって得られる画像データと動体検知処理装置によって得られるベクトルデータとをリアルタイムで表示する動作について説明する。
図３に、リアルタイム表示のためのストリームデータの転送を説明するシーケンス図を示す。
【００３８】
図１に示した監視カメラ２０１(図３において監視カメラとして示した)によって捉えられた画像を表す映像信号は、図３に網掛けを付して示すように、まず、動体検知処理装置２０２(図３において、動体検知処理装置として示した)に渡される。そして、この動体検知処理装置２２０における画像解析処理の過程において、例えば、ＪＰＥＧ形式の画像データに変換され、更に、ネットワーク伝送に適したデータ形式(例えば、ＩＰパケットなど)に変換されて、サーバ装置２１０(図３において、サーバ装置として示した)に送られ、図１に示した伝送路インタフェース２１１を介して画像データ保持部２１２に保持される。また、このとき、サーバ装置２１０に備えられたリアルタイム送出部２１６により、上述したようにして画像データ保持部２１２に保持される各フレームの画像データが、図３に符号（１）を付して示すように端末装置２２０ａ(図３において端末装置として示した)宛てに送出される。
【００３９】
また、動体検知処理装置２０２は、監視カメラ２０１から１フレーム分の映像信号を受け取るごとに、この映像信号に対応する１フレーム分の画像データと直前のフレームの画像データとに基づいて動体検知処理を行い、この動体検知処理により、それぞれのフレームの画像データに対応して移動体を検出されて、検出した移動体の位置および範囲を示すベクトルデータを生成する。
【００４０】
このようにして得られたベクトルデータは、図３に太い矢印で示したように、サーバ装置２１０に渡され、このサーバ装置２１０に備えられたベクトルデータ保持部２１２に保持されるとともに、リアルタイム送出部２１６によって端末装置２２０ａ宛てに送出される。
図３に示したように、サーバ装置２１０から端末装置２２０ａへの画像データの転送が完了するころには、動体検知処理装置２０２からのベクトルデータがサーバ装置２１０のベクトルデータ保持部２１３に保持されていると期待できる。したがって、リアルタイム送出部２１６により、１フレーム分の画像データに関する転送処理の完了後に、続けて、ベクトルデータ保持部２１３から読み出したベクトルデータを端末装置２２０ａに転送する動作を、監視カメラ２０１による撮影周期ごとに繰り返すことにより、図２(ａ)に示したような構成のストリームデータとして端末装置２２０ａに転送することができる。
【００４１】
このような構成のストリームデータでは、各フレームの画像データとこれに対応するベクトルデータとをそれぞれの独立性が保たれており、また、互いを確実に対応付けられているので、画像データとベクトルデータとの同期を保証することができる。
なお、動体検知処理装置からサーバ装置に渡される画像データの形式およびサーバ装置において扱われる画像データの形式は、自然画像をディジタルデータとして扱うことができるデータ形式であればよく、例えば、ＭＰＥＧなどの形式を採用することも可能である。
【００４２】
次に、このようなストリームデータに基づいて、画像データで表される自然画像とベクトルデータによって表される線画とを重畳して表示する方法について説明する。
図４に、重畳表示処理部の詳細構成を示す。
図４に示した重畳表示処理部２２３において、イメージ復元部２３１は、リアルタイム表示制御部２２２を介して上述したストリームデータに含まれる画像データを受け取り、この画像データに基づいて１フレーム分のイメージデータを復元し、フレームメモリ２３２を介して表示部２２４による表示処理に供する。例えば、監視カメラ２０１によってＪＰＥＧ方式で圧縮された画像データが得られる場合は、このイメージ復元部２３１において、対応する復元処理を行い、元の自然画像を表すイメージデータを再生してフレームメモリ２３２に格納する。
【００４３】
一方、ストリームデータに含まれるベクトルデータは、リアルタイム表示制御部２２２を介して描画処理部２３３に渡される。この描画処理部２３３は、設定情報格納部２３４に格納された描画処理に関する設定情報と、リアルタイム表示制御部２２２を介して受け取ったベクトルデータとに基づいて、移動体の位置および大きさを示す図形を表す線画を表示するための描画データを生成し、フレームメモリ２３２にこの描画データを上書きする。また、利用者は、図１に示したユーザインタフェース部２２５を介して所望の設定情報を入力し、設定情報格納部２３４に格納することにより、例えば、ベクトルデータに基づいて描画させる図形の形および描線の太さや色などを変更し、描画処理に反映させるができる。
【００４４】
これにより、図５(ａ)に示すように、画像データに基づいて再生された自然画像に、ベクトルデータに基づいて描画された線画を付加情報として重畳したイメージをフレームメモリ２３２上に作成し、監視カメラ２０１による撮影とのリアルタイム性を保持しながら、表示部２２４を介して利用者に提供することができる。
ここで、上述したストリームデータでは、画像データとベクトルデータとが互いに対応付けられながらも独立性を保っているので、端末装置２２０における重畳表示処理において、ベクトルデータに所望の編集処理を加えた上で、表示部２２４による表示に供することができる。
【００４５】
例えば、ユーザインタフェース部２２５を介して設定情報格納部２３４内の設定情報を変更することにより、フレームメモリ２３２に描画される図形の形や色を変更したり、所定値以上のサイズを持つ図形のみを描画させたり(図５(ｂ)参照)、ベクトルデータ表示される図形の軌跡(図５(ｃ)参照)を表示させたりするための編集処理を行い、表示部２２４において表示されるイメージに反映することができる。
【００４６】
次に、データベースに蓄積された画像データおよびベクトルデータを所望の時間範囲について切り出して端末装置における表示処理に供する方法について説明する。
図６に、端末装置の切り出し表示制御部およびサーバ装置の切り出し処理部の詳細構成を示す。また、図７に、切り出し表示処理を説明するシーケンス図を示す。
図６に示した切り出し表示制御部２２６において、手順制御部２３５は、ユーザインタフェース部２２５を介して入力された利用者からの指示に基づいて、この指示で指定された時間範囲に含まれるファイル形成時刻ごとに切り出し要求を作成し、伝送路インタフェース２２１を介してサーバ装置２１０宛てに送出する(図７参照)。
【００４７】
図６に示した切り出し処理部２１７において、要求受付部２４１は、伝送路インタフェース部２１１を介して受け取った切り出し要求からファイル形成時刻を抽出し、このファイル形成時刻をファイル検索部２４２に指定して、該当する映像ファイルおよび付加情報ファイルの検索を実行させる。このファイル検索部２４２によって得られた検索結果に基づいて、図６に示した連携ファイル形成部２４３は、上述したファイル形成時刻に対応してデータベース２１５に蓄積された付加情報ファイルを読み出し、図２(ｂ)に示すように、この付加情報ファイルの内容とこの付加情報ファイルに対応付けられた映像ファイルへの連携を例えばＨＴＴＰ形式で記述したリンク情報を含むＸＭＬ形式の連携ファイルを形成する。また、このようにして形成された連携ファイルは、伝送路インタフェース部２１１を介して要求元の端末装置２２０宛てに送出される(図７参照)。
【００４８】
このようにして端末装置２２０に到達した連携ファイルは、図６に示した伝送路インタフェース２２１を介して、切り出し表示制御部２２６の手順制御部２３５に渡され、付加情報ファイルの内容であるベクトルデータとリンク情報とが分離される。このとき、手順制御部２３５は、連携ファイルから分離したベクトルデータをベクトルデータ保持部２３６に保持してデータ転送処理部２３８の処理に供するとともに、リンク情報に基づいて、ＨＴＴＰ形式の映像ファイル転送要求を実行する（図７参照）。
【００４９】
この映像ファイル転送要求は、図６に示した切り出し処理部２１７の要求受付部２４１を介して映像ファイル転送部２４４に渡され、この映像ファイル転送部２４４により、指定された映像ファイルをデータベース２１５から読み出して、伝送路インタフェース２１１を介して端末装置２２０宛てに送出する処理が行われる（図７参照）。
上述したように、付加情報ファイルと映像ファイルとを対応付けた連携ファイルを形成し、これを端末装置に渡して、端末装置側から映像ファイルの転送要求を実行させることにより、サーバ装置２１０側の処理を単純化することができる。
【００５０】
このようにして転送される映像ファイルの内容は、図６に示した伝送路インタフェース２２１を介して受信バッファ２３７に蓄積され、データ転送処理部２３８の処理に供される。図６に示したデータ転送処理部２３８は、受信バッファ２３７に適切な数のフレーム分の画像データが蓄積された段階で、重畳表示処理のためのデータ転送動作を開始する。つまり、このデータ転送処理部２３８は、受信バッファ２３７から各フレームの画像データを読み出して重畳表示処理部２２３に転送するごとに、転送したフレームの画像データに対応するベクトルデータをベクトルデータ保持部２３６から読み出して重畳表示処理部２２３に転送する。
【００５１】
これにより、データ転送処理部２３８から重畳表示処理部２２３に渡されるデータは、図２（ａ）に示した構成となるので、データベース２１５に蓄積された情報を切り出して表示する際にも、画像データとベクトルデータとの同期を確実に実現し、各フレームの画像データにこれに同期したベクトルデータを重畳して表示し、利用者に提供することができる。
【００５２】
もちろん、ユーザインタフェース部２２５からの指示に応じて、上述したようにして、重畳表示処理においてベクトルデータの編集処理を行うことにより、利用者が施設などの監視を行う上で有効な指標を選択的に表示して、利用者に提供することができる。
また、このようなベクトルデータの編集処理に用いられた設定情報をベクトルデータおよび画像データからなるストリームデータとともに保存しておき、これを別の端末装置２２０に転送すれば、複数の端末装置間で同一の付加情報が重畳された映像を共有することも可能である。
【産業上の利用可能性】
【００５３】
上述したように、本発明によれば、自然画像を表す各フレームの画像データとこの画像データに対応して得られた動体抽出処理結果を示すベクトルデータによって表される線画とを、この線画に所望の編集処理を施しつつリアルタイムで重畳して表示し、利用者による監視作業に供することができる。
これにより、監視カメラなどで撮影した画像に基づいて監視を行う監視システムなどにおいて、動体抽出技術を利用して侵入者などを自動的に検出して、利用者による監視作業を支援することができる。
【００５４】
特に、港湾や空港のように広大な敷地を持つ施設の監視システムでは、一つの監視カメラによって捉えられる視野が大きく、また、監視カメラも多数備えられることから、動体抽出技術を適用した監視システムを導入するメリットは非常に大きいと考えられる。
また、本発明によれば、監視カメラによって得られた各フレームの画像データからなる映像データとこれに対応する動体抽出処理結果であるベクトルデータからなる付加情報とを所望の時間範囲について切り出し、端末装置において画像データと付加情報との重畳表示を行って、利用者による監視作業に供することができる。
【００５５】
これにより、データベースに蓄積された情報を、侵入者の進入経路の解析やベクトルデータの編集処理において適用する設定情報の最適化などに活用することができるので、自動監視システムの有効性を高める上で、非常に有用である。
【図面の簡単な説明】
【００５６】
【図１】本発明にかかわる動画データ管理装置および動画表示装置の実施形態を示す図である。
【図２】データフォーマットの説明図である。
【図３】リアルタイム表示動作を説明する図である。
【図４】重畳表示処理部の詳細構成を示す図である。
【図５】付加情報が重畳されたイメージの例を示す図である。
【図６】端末装置の切り出し表示制御部およびサーバ装置の切り出し処理部の詳細構成を示す図である。
【図７】切り出し表示処理を説明するシーケンス図である。
【図８】従来の一般的な監視システムの構成例を示す図である。
【符号の説明】
【００５７】
２０１、４０１ 監視カメラ
２０２ 動体検知処理装置
２１０ サーバ装置
２２０ 端末装置
２１１、２２１ 伝送路インタフェース
２１２ 画像データ保持部
２１３ ベクトルデータ保持部
２１４ 蓄積処理部
２１５ データベース
２１６ リアルタイム送出部
２１７ 切り出し処理部
２２２ リアルタイム表示制御部
２２３ 重畳表示処理部
２２４ 表示部
２２５ ユーザインタフェース部
２２６ 切り出し表示制御部
２３１ イメージ復元部
２３２ フレームメモリ
２３３ 描画処理部
２３４ 設定情報格納部
２３５ 手順制御部
２３６ ベクトルデータ保持部
２３７ 受信バッファ
２３８ データ転送処理部
２４１ 要求受付部
２４２ ファイル検索部
２４３ 連携ファイル形成部
２４４ 映像ファイル転送部
４０２ ディスプレイ装置
４０３ ビデオテープレコーダ
【技術分野】
【０００１】
本発明は、監視カメラ（ITV/CCTV等）によって撮影された画像データから構成される動画データに基づいて、施設の監視を行う監視システムにおける動画データ管理方法および動画データ管理装置並びに動画表示装置に関する。
空港や港湾あるいは大規模プラントなどの監視システムのように、監視範囲が非常に広範囲である監視システムにおいては、広い範囲を撮影する監視カメラによって撮影された画像データから構成される動画データが侵入者の監視などに用いられている。
【背景技術】
【０００２】
図８に、従来の一般的な監視システムの構成例を示す。
図８に示した監視カメラ４０１1〜４０１Nによって撮影された画像データは、映像切替・分配装置（マトリクスビデオスイッチャ、図８において符号ＶＳＷを付して示す）を介してそれぞれに対応してモニタールームなどに備えられたディスプレイ装置４０２1〜４０２Nに転送されて表示され、監視員による監視作業に供されるとともに、ビデオテープレコーダ４０３1〜４０３Nなどによってそれぞれ記録され、一定期間にわたって保存される。
【０００３】
このような従来の動画像を用いた監視システムでは、動画像を監視員が監視することにより、侵入者や不審物の発見などの作業が行われている。
その一方、高速道路における交通量監視などの分野では、道路を走行している車両などの検出に、動体抽出技術が利用されている。
この技術は、同一の地点などを連続して撮影した複数の画像を互いに比較し、変化している部分を抽出することにより、撮像手段の視野内において移動している物体を抽出する技術である。一般的な動体抽出技術では、移動体を検出した画像の領域などは、画像における位置を示す座標データや範囲を示すベクトルデータによって示される。
【０００４】
このような動体抽出技術を上述した動画像を用いた監視システムに適用すれば、監視範囲内への侵入者などの検出を自動化することが可能となる。
また、特許文献１あるいは特許文献２に開示された技法を利用して、検出結果を動画像に重ねて表示すれば、監視カメラで撮影された動画像とともにベクトルデータで表された検出結果を監視員に同時に提供することができ、監視員の作業負担を大幅に軽減することができると考えられる。
【０００５】
なお、特許文献１には、監視カメラによって撮影された映像を記録すると同時に撮影日時などの付加情報を映像の一部に重ねて記録することにより、付加情報が重畳された映像を再生可能とする技術が開示されている。また、特許文献２において開示された技法においては、付加情報を表すビットマップデータを作成し、これを画像データと同様にして符号化し、符号化された画像データと符号化された上述したビットマップデータとを合成することで、付加情報を含んだ画像データの改竄を防止したいという要求とともに、再生時に付加情報を除去して表示させたいという要求との双方が満たされている。
【特許文献１】特開平９−４６６３５号公報
【特許文献２】特開２００１−１１１９５９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ところで、上述した各特許文献において想定されている付加情報は、撮影日時や撮影場所といった情報であり、この付加情報の内容がそのまま証拠の一部として扱われる。このため、これらの特許文献にかかわる技術分野においては、付加情報が映像情報と確実に結びついていること、また、その内容が映像情報および付加情報を一旦記録した後に変更されないことが重要視されている。
【０００７】
しかしながら、動体抽出技術を適用して得られたベクトルデータ自体は、監視員に提供する判断材料であって、それ自体に証拠能力があるわけではない。したがって、このようなベクトルデータは、変更が許されない情報ではなく、むしろ、監視作業を支援する上では積極的に編集作業を施すべき場合すら考えられる情報である。
例えば、港湾などの大規模な施設への侵入者などを監視する監視システムでは、状況によっては、検知すべき対象のサイズが大幅に変化する場合がある。このような場合に、動体抽出処理によって得られたベクトルデータに基づいて、検知された移動体をサイズごとに分類し、必要なサイズの移動体に対応するベクトルデータのみを表示する編集を施すことが必要である。
【０００８】
これに対して、例えば、特許文献２に開示された技法を用いて映像データとベクトルデータとを合成した後に、この合成データに含まれるベクトルデータによって表された情報に対して上述したような編集を加えることは原理的に不可能である。
したがって、上述した各特許文献に開示された技法は、後に編集することを前提としたベクトルデータを付加情報として動画データによって表示される画像に重畳する用途には不向きである。
【０００９】
その一方、ベクトルデータを動画データとは完全に独立したものとして扱ったのでは、ベクトルデータと対応する画像データのフレームとの同期を保証することが難しくなってしまう。
本発明は、動画データを構成する画像データのフレームとこれに重畳すべきベクトルデータとの同期を保証しつつ、ベクトルデータを編集可能な付加情報として扱うことが可能な動画データ管理方法および動画データ管理装置並びに動画表示装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明にかかわる第１の動画データ管理方法は、動画データ管理装置において実行される結合ステップと、動画表示装置で実行される画像表示ステップと、上書きステップとから構成される。
本発明にかかわる第１の動画データ管理方法の原理は、以下の通りである。
撮像装置によって撮影された映像に対応する画像データおよびこの映像に対応して動体検知処理装置による動体抽出処理を行って得られたベクトルデータを管理する動画データ管理装置を介して動画表示装置による表示処理に供する動画データ管理方法において、動画データ管理装置において実行される結合ステップは、各フレームの画像データの末尾にこの画像データに対応する動体抽出処理を行って得られた移動体の位置およびサイズを示す図形を表すベクトルデータを結合して動画表示装置に送信する。動画表示装置において実行される画像表示ステップは、動画データ管理装置から各フレームの画像データを受け取るごとに、そのフレームの画像データに基づく表示処理を行う。次いで、上書きステップは、画像データに基づいて再生された画像に、ベクトルデータに基づいて生成される図形を表す線画を上書きする。
【００１１】
このように構成された第１の動画データ管理方法の動作は、下記の通りである。
動画データ管理装置によって実行される結合ステップにおいて、撮像装置によって撮影された映像に対応する画像データの各フレームの末尾に、対応するベクトルデータが結合され、動画表示装置による表示処理に供される。これにより、画像データとベクトルデータとの独立性を保ちつつ、両者の同期を保証することができる。
【００１２】
また、動画表示装置において実行される画像表示ステップにおいて、動画データ管理装置から受け取った各フレームの画像データで表される画像が表示された後に、上書きステップが実行され、その画像データの末尾に結合されたベクトルデータに基づいて線画が生成され、この線画が、上述した画像に上書される。この処理を各フレームについて繰り返し、動画データを構成する各フレームの画像データで表される画像にベクトルデータで表される図形が重畳されたイメージを表示することにより、画像データによって表される自然画像の連続で表される動画とベクトルデータで表される図形の連続で表される動画とを重畳して利用者に提供することができる。
【００１３】
本発明にかかわる第２の動画データ管理方法は、動画データ管理装置において実行される映像ファイル形成ステップ、付加情報ファイル形成ステップ、蓄積ステップ、検索ステップ、返送ステップおよび転送ステップとから構成される。
本発明にかかわる第２の動画データ管理方法の原理は、以下の通りである。
撮像装置によって撮影された映像に対応する画像データおよびこの映像に対応して動体検知処理装置による動体抽出処理を行って得られたベクトルデータを管理する動画データ管理装置を介して動画表示装置による表示処理に供する動画データ管理方法において、動画データ管理装置において実行される映像ファイル形成ステップは、撮像装置から１フレームの映像を受信する間隔の整数倍である所定の時間ごとに、撮像装置によって撮影された映像に対応する画像データをまとめて１つの映像ファイルを形成する。付加情報ファイル形成ステップは、映像ファイル形成ステップにおいて、一つの映像ファイルとしてまとめられた複数フレームの画像データに対応して動体検知処置装置からそれぞれ得られるベクトルデータをまとめて記述した付加情報ファイルを形成する。蓄積ステップは、付加情報ファイルと映像ファイルとを関連付けてデータベースに蓄積する。検索ステップは、動画表示装置からの動画データに関する要求に応じて、要求で指定された時刻に対応する付加情報ファイルおよび映像ファイルをデータベースから検索する。返送ステップは、検索された付加情報ファイルの内容とともに、付加情報ファイルに対応する映像ファイルとの連携を記述するリンクを含む適切な形式のファイルを形成して動画表示装置に返送する。転送ステップは、リンクに基づく映像ファイルの転送要求に応じて、該当する映像ファイルを動画表示装置に転送する。
【００１４】
このように構成された第２の動画データ管理方法の動作は、下記の通りである。
撮像装置によって撮影された映像に対応する画像データは、映像ファイル形成ステップにおいて、所定の時間ごとに適切な形式（例えば、Motion JPEG（以下、Ｍ−ＪＰＥＧと略称する）形式）の映像ファイルにまとめられ、これとともに、付加情報ファイル形成ステップにおいて、上述した所定の時間に撮像装置によって撮影された映像に対応して移動体検知処理装置から得られたベクトルデータも一つの付加情報ファイルにまとめられる。例えば、毎秒３０フレームの画像を撮影する撮像装置からの映像情報を１分ごとにファイル化する場合には、１８００フレーム分の画像データをまとめた一つのＭ−ＪＰＥＧファイルと、これらのフレームに対応して得られたベクトルデータをまとめた一つの付加情報ファイルとが形成され、蓄積ステップにおいて、互いに関連付けられた上で、データベースに蓄積される。
【００１５】
このようにしてデータベースに蓄積された映像ファイルおよび付加情報ファイルは、検索ステップにおいて、動画表示装置からの要求に応じて検索され、この検索結果に基づいて、返送ステップにおいて、例えば、付加情報ファイルにまとめられているベクトルデータとこの付加情報ファイルに対応する映像ファイルへのリンクとを記述したＸＭＬ形式のファイルが形成される。そして、このＸＭＬ形式のファイルを要求元の動画表示装置に返すことにより、まず、付加情報ファイルの内容が動画表示装置に渡される。その後、転送ステップにおいて、上述したリンクに基づく転送要求に応じて、該当する映像ファイルが動画表示装置に渡される。
【００１６】
本発明にかかわる第１の動画データ管理装置は、挿入手段と、送信手段とから構成される。
本発明にかかわる第１の動画データ管理装置の原理は、以下の通りである。
撮像装置によって撮影された映像に対応する画像データおよびこの映像に対応して動体検知処理装置による動体抽出処理を行って得られたベクトルデータを管理するとともに、動画表示装置による表示処理に供する動画データ管理装置において、挿入手段は、撮像装置から受け取った各フレームの画像データの末尾と次のフレームの画像データの先頭との間に各画像データに対応して動体検知処理装置から動体検知処理結果として得られる移動体の位置およびサイズを示す図形を表すベクトルデータを挿入する。送信手段は、挿入手段によって得られる画像データとベクトルデータとから構成されるストリームデータを動画表示装置に送信する。
【００１７】
このように構成された第１の動画データ管理装置の動作は、下記の通りである。
撮像装置によって得られた映像に対応する画像データの各フレームの間に、挿入手段により、各フレームに対応して動体検知処理装置によって得られたベクトルデータが挿入され、送信手段によって動画表示装置に送信される。
このようにして、撮像装置から得られる画像データから構成される動画データと動体検知処理装置から得られるベクトルデータとをフレームごとに結合し、これによって生成されたストリームデータを動画表示装置に渡すことにより、動画データとベクトルデータとの同期を保証しつつ、ほぼリアルタイムで動画表示装置による表示処理に供することができる。
【００１８】
本発明にかかわる第２の動画データ管理装置は、映像ファイル形成手段と、付加情報ファイル形成手段と、データベースと、検索手段と、連携ファイル形成手段と、返送手段と、転送手段とから構成される。
本発明にかかわる第２の動画データ管理装置の原理は、以下の通りである。
撮像装置によって撮影された映像に対応する画像データおよびこの映像に対応して動体検知処理装置による動体抽出処理を行って得られたベクトルデータを管理するとともに、動画表示装置による表示処理に供する動画データ管理装置において、映像ファイル形成手段は、撮像装置から１フレームの映像を受信する間隔の整数倍である所定の時間ごとに、撮像装置によって撮影された映像に対応する画像データをまとめて１つの映像ファイルを形成する。付加情報ファイル形成手段は、映像ファイル形成手段によって一つの映像ファイルとしてまとめられた複数フレームの画像データに対応して動体検知処置装置からそれぞれ得られるベクトルデータをまとめて記述した付加情報ファイルを形成する。データベースと、付加情報ファイルと映像ファイルとを関連付けて蓄積する。検索手段は、動画表示装置からの動画データに関する要求に応じて、要求で指定された時刻に対応する付加情報ファイルおよび映像ファイルをデータベースから検索する。連携ファイル形成手段は、検索された付加情報ファイルの内容とともに、付加情報ファイルに対応する映像ファイルとの連携を記述するリンクを含む適切な形式の連携ファイルを形成する。返送手段は、連携ファイルを動画表示装置に返送する。転送手段は、リンクに基づく映像ファイルの転送要求に応じて、該当する映像ファイルを動画表示装置に転送する。
【００１９】
このように構成された第２の動画データ管理装置の動作は、下記の通りである。
撮像装置によって撮影された映像に対応する画像データは、映像ファイル形成手段により、所定の時間ごとに適切な形式（例えば、Motion JPEG（以下、Ｍ−ＪＰＥＧと略称する）形式）の映像ファイルにまとめられ、これとともに、付加情報ファイル形成手段により、上述した所定の時間に撮像装置によって撮影された映像に対応して移動体検知処理装置から得られたベクトルデータも一つの付加情報ファイルにまとめられる。例えば、毎秒３０フレームの画像を撮影する撮像装置からの映像情報を１分ごとにファイル化する場合には、映像ファイル形成手段および付加情報ファイル形成手段により、１８００フレーム分の画像データをまとめた一つのＭ−ＪＰＥＧファイルと、これらのフレームに対応して得られたベクトルデータをまとめた一つの付加情報ファイルとが形成され、互いに関連付けられた上で、データベースに蓄積される。
【００２０】
このようにしてデータベースに蓄積された映像ファイルおよび付加情報ファイルは、動画表示装置からの要求に応じて検索手段により検索され、この検索結果に基づいて、連携ファイル形成手段により、例えば、付加情報ファイルにまとめられているベクトルデータとこの付加情報ファイルに対応する映像ファイルへのリンクとを記述したＸＭＬ形式の連携ファイルが形成される。そして、返送手段により、このＸＭＬ形式の連携ファイルを要求元の動画表示装置に返すことにより、まず、付加情報ファイルの内容が動画表示装置に渡される。その後、上述したリンクに基づく転送要求に応じて、転送手段により、該当する映像ファイルが動画表示装置に渡される。
【００２１】
このようにして、適切な期間（例えば、上述した例では１分）ごとに動画データを構成する画像データおよびこれに重畳されるべきベクトルデータをまとめたファイルを形成し、これらを関連付けてデータベースに蓄積していくことにより、動画データとベクトルデータとの同期を保証しつつ、膨大な動画データおよびベクトルデータを扱いやすい数のファイルとして管理することができ、例えば、指定された時間に対応する動画データの検索などにも迅速に対応することができる。
【００２２】
また、データベースから検索された付加情報ファイルの内容に対応する映像ファイルへのリンクを加えて形成した連携ファイルを要求元の動画表示装置に返送することにより、付加情報ファイルと映像ファイルとの対応関係を確実に動画表示装置に渡し、このリンクに基づく転送要求に応じて、適切な映像ファイルを動画表示装置に渡して、動画表示処理に供することができる。
【００２３】
本発明にかかわる動画表示装置は、画像表示手段と、線画生成手段と、上書き手段と、振り分け手段と、ベクトルデータ保持手段と、映像ファイル保持手段と、表示制御手段とから構成される。
本発明にかかわる動画表示装置の原理は、以下の通りである。
画像表示手段は、動画データを構成する各フレームの画像データの入力に応じて、各フレームの画像データに基づく画像表示処理を行う。線画生成手段は、画像における位置および範囲を含むベクトルデータの入力に応じて、ベクトルデータで示される位置および範囲を示す図形を表す線画を生成する。上書き手段と、線画生成手段によって線画が生成されるごとに、生成された線画を画像表示手段によって再生された画像に上書きする。振り分け手段は、動画データを構成する各フレームの画像データとこれらの画像データの間に挿入されたベクトルデータとからなるストリームデータを受け取り、ストリームデータに含まれる各フレームの画像データとベクトルデータとをそれぞれ抽出し、抽出するごとに、画像表示手段と線画生成手段とにそれぞれ振り分けてそれぞれ入力する。ベクトルデータ保持手段は、複数フレームの画像それぞれに対応して画像における位置および範囲をそれぞれ示すベクトルデータの集合とベクトルデータの集合に対応する画像データからなる映像ファイルへの連携を記述したリンクとを含む連携ファイルを受け取り、ベクトルデータの集合を保持する。映像ファイル保持手段は、連携ファイルに含まれるリンクに基づく転送要求に応じて得られる映像ファイルを保持する。表示制御手段は、映像ファイル保持手段から各フレームの画像データを読み出して画像表示手段に送出するごとに、対応するベクトルデータをベクトルデータ保持手段から読み出して線画生成手段に送出する。
【００２４】
このように構成された動画表示装置の動作は、下記の通りである。
例えば、上述した動画データ管理装置によって形成されたストリームデータは、動画表示装置に備えられた振り分け手段により、各フレームの画像データとこれらのフレームに対応するベクトルデータとに分けられ、それぞれ画像表示手段と線画表示手段とに渡される。ここで、上述したストリームデータでは、各フレームの画像データの末尾に続いてこのフレームに対応するベクトルデータが挿入されているので、振り分け手段にベクトルデータが入力されるときには、既に、対応する画像データは画像表示手段による表示処理に供されている。したがって、振り分け手段から受け取ったベクトルデータに基づいて、線画生成手段によって生成された線画を上書き手段の処理に供することにより、対応するフレームの画像データに基づいて表示された自然画像に、ベクトルデータに基づく図形を表す線画を重畳して表示することができる。この処理を各フレームについて繰り返し、動画データを構成する各フレームの画像データで表される画像にベクトルデータで表される図形が重畳されたイメージを表示することにより、画像データによって表される自然画像の連続で表される動画とベクトルデータで表される図形の連続で表される動画とを重畳して利用者に提供することができる。
【００２５】
また、動画データ管理装置から受け取った連携ファイルに含まれるベクトルデータは、ベクトルデータ保持手段に保持され、また、連携ファイルに記述されたリンクに基づく要求に応じて転送された映像ファイルは、映像ファイル保持手段に保持される。このようにしてベクトルデータ保持手段および映像データ保持手段に保持されたベクトルデータおよび画像データは、表示制御手段を介して、画像表示手段および線画生成手段による処理にそれぞれ供される。このようにして、連携ファイルによって関連付けが示された映像ファイルに含まれる各フレームの画像データとベクトルデータとに基づいて、画像データによって表される自然画像の連続で表される動画とベクトルデータで表される図形の連続で表される動画とを重畳した動画として利用者に提供される。
【発明の効果】
【００２６】
上述した第１の動画データ管理方法あるいは第１の動画データ管理装置および動画表示装置によれば、撮像装置から得られる映像に対応する画像データの各フレームと動体検知処理装置から得られるベクトルデータとについて、画像データとベクトルデータとの独立性を保ちながら、これらのフレームごとの同期を保証することができる。したがって、撮像装置で捉えられた映像と動体検知処理装置によって得られた検知結果とを同時に利用者にリアルタイムで提供することを実現するとともに、ベクトルデータに関する編集可能性を確保することができる。
【００２７】
また、第２の動画データ管理方法あるいは第１の動画データ管理装置および動画表示装置によれば、データベースに蓄積された画像データとベクトルデータとの関連付けを連携ファイルに記述されたリンクによって動画表示装置に渡すことにより、画像データとベクトルデータとの独立性を保ちながら、これらのフレームごとの同期を保証することができる。したがって、データベースに蓄積された画像データおよびベクトルデータから、所望の時間範囲に対応するものを切り出して動画表示装置に渡し、この動画表示装置を介して、画像データによって表される自然画像の連続で表される動画とベクトルデータで表される図形の連続で表される動画とを重ね合わせて利用者に提供するとともに、ベクトルデータに関する編集可能性を確保することができる。
【００２８】
これにより、撮像装置で捉えられた映像をリアルタイムで表示する場合についても、データベースに蓄積された映像を表示する場合についても、表示中の画像データに対応する動体検知結果を示すベクトルデータに対応して生成された線画あるいは必要に応じて選択された線画を重ね合わせて表示して利用者に提供する監視システムを実現することができる。
【発明を実施するための最良の形態】
【００２９】
以下、図面に基づいて、本発明の実施形態について詳細に説明する。
図１に、本発明にかかわる動画データ管理装置および動画表示装置の実施形態を示す。
図１に示した監視システムにおいて、監視カメラ２０１と、動体検知処理装置２０２、サーバ装置２１０および少なくとも一つの端末装置２２０（図１においては、２つの端末装置２２０ａ，２２０ｂを示した）とは、十分な伝送帯域を持つネットワークを介して接続されている。
【００３０】
図１において、監視カメラ２０１による撮影によって得られた映像信号は、動体検知処理装置２０２に渡され、この動体検知処理装置２０２による画像解析処理の過程において、フレーム単位の画像データに変換され、この画像データについて動体検知処理装置２０２によって行われる動体検知処理によって得られたベクトルデータとともにサーバ装置２１０に渡される。
【００３１】
図１に示したサーバ装置２１０において、伝送路インタフェース２１１を介して動体検知処理装置２０２から受け取った画像データおよびベクトルデータは、それぞれ画像データ保持部２１２およびベクトルデータ保持部２１３に保持された後、蓄積処理部２１４によって後述する映像ファイルおよび付加情報ファイルとしてデータベース２１５に蓄積されるとともに、リアルタイム送出部２１６によるリアルタイム送出処理（後述する）に供される。また、データベース２１５に蓄積された映像ファイルおよび付加情報ファイルは、切り出し処理部２１７による切り出し処理（後述する）に供される。
【００３２】
図１に示した蓄積処理部２１４は、画像データ保持部２１２に保持された画像データおよびベクトルデータ保持部２１３に保持されたベクトルデータを、監視カメラ２０１によって１フレームの画像データが得られる時間の整数倍にあたる所定の時間間隔でそれぞれまとめて映像ファイルおよび付加情報ファイルを形成し、形成した映像ファイルと付加情報ファイルとを関連付けてデータベース２１５に、これらのファイルを形成した時刻を示すファイル形成時刻に対応して蓄積する。例えば、監視カメラ２０１によって２秒あたり１フレームの画像データが得られる場合（つまり、撮影周期が２秒）に、蓄積処理部２１４によって画像データおよびベクトルデータをまとまる時間間隔を１分とすれば、３０フレーム分の画像データが、例えば、１つのＭ−ＪＰＥＧ形式の映像ファイルとしてまとめられ、これらの画像データに対応するベクトルデータが上述した映像ファイルに対応する付加情報ファイルとして形成される。
【００３３】
なお、この蓄積処理部２１４において形成する映像ファイルの形式は、複数フレーム分の自然画像をディジタルデータとして扱うことが可能な形式であればよく、例えば、ＭＰＥＧ形式などを採用することもできる。
また、図１に示したリアルタイム送出部２１６は、画像データ保持部２１２に各フレームの画像データが保持されるごとに、このフレームの画像データに対応する動体検知処理結果としてベクトルデータ保持部２１３に保持されるベクトルデータを、図２（ａ）に示すように上述したフレームの画像データに結合することにより、画像データとベクトルデータとからなるストリームデータを形成し、伝送路インタフェース２１１を介してこのストリームデータをネットワークに送出する。
【００３４】
ネットワークを介して端末装置２２０ａあるいは端末装置２２０ｂの伝送路インタフェース２２１に到達したストリームデータは、リアルタイム表示制御部２２２を介して重畳表示処理部２２３に渡され、後述する重畳表示処理に供される。また、図１に示した端末装置２２０ａ，２２０ｂにおいて、重畳表示処理部２２３によって得られたイメージデータは、表示部２２４によって表示され利用者に提供される。また、図１に示した端末装置２２０ａ，２２０ｂは、ユーザインタフェース部２２５を備えており、このユーザインタフェース部２２５を介して受け付けられた利用者からの指示は、重畳表示処理部２２３および切り出し表示制御部２２６の処理に供される。
【００３５】
なお、図１においては、端末装置２２０ａについて詳細構成を示し、端末装置２２０ｂの詳細構成は図示を省略している。
図１に示した切り出し表示制御部２２６は、ユーザインタフェース部２２５を介して受け取った利用者からの指示に応じて、上述したサーバ装置２１０においてデータベース２１５に蓄積されている映像情報の一部の切り出しを要求する切り出し要求を作成し、伝送路インタフェース２２１を介してサーバ装置２１０宛てに送出する。
【００３６】
一方、サーバ装置２１０に備えられた切り出し処理部２１７は、伝送路インタフェース２１１を介して受け取った切り出し要求に応じて、指定された時刻に対応する映像ファイルおよび付加情報ファイルをデータベース２１５から検索し、後述する手順に従って、検索された映像ファイルおよび付加情報ファイルを伝送路インタフェース２１１を介して要求元の端末装置２２０(例えば、端末装置２２０ａ)に返送する。
【００３７】
次に、図１に示した監視システムにおいて、監視カメラ２０１によって得られる画像データと動体検知処理装置によって得られるベクトルデータとをリアルタイムで表示する動作について説明する。
図３に、リアルタイム表示のためのストリームデータの転送を説明するシーケンス図を示す。
【００３８】
図１に示した監視カメラ２０１(図３において監視カメラとして示した)によって捉えられた画像を表す映像信号は、図３に網掛けを付して示すように、まず、動体検知処理装置２０２(図３において、動体検知処理装置として示した)に渡される。そして、この動体検知処理装置２２０における画像解析処理の過程において、例えば、ＪＰＥＧ形式の画像データに変換され、更に、ネットワーク伝送に適したデータ形式(例えば、ＩＰパケットなど)に変換されて、サーバ装置２１０(図３において、サーバ装置として示した)に送られ、図１に示した伝送路インタフェース２１１を介して画像データ保持部２１２に保持される。また、このとき、サーバ装置２１０に備えられたリアルタイム送出部２１６により、上述したようにして画像データ保持部２１２に保持される各フレームの画像データが、図３に符号（１）を付して示すように端末装置２２０ａ(図３において端末装置として示した)宛てに送出される。
【００３９】
また、動体検知処理装置２０２は、監視カメラ２０１から１フレーム分の映像信号を受け取るごとに、この映像信号に対応する１フレーム分の画像データと直前のフレームの画像データとに基づいて動体検知処理を行い、この動体検知処理により、それぞれのフレームの画像データに対応して移動体を検出されて、検出した移動体の位置および範囲を示すベクトルデータを生成する。
【００４０】
このようにして得られたベクトルデータは、図３に太い矢印で示したように、サーバ装置２１０に渡され、このサーバ装置２１０に備えられたベクトルデータ保持部２１２に保持されるとともに、リアルタイム送出部２１６によって端末装置２２０ａ宛てに送出される。
図３に示したように、サーバ装置２１０から端末装置２２０ａへの画像データの転送が完了するころには、動体検知処理装置２０２からのベクトルデータがサーバ装置２１０のベクトルデータ保持部２１３に保持されていると期待できる。したがって、リアルタイム送出部２１６により、１フレーム分の画像データに関する転送処理の完了後に、続けて、ベクトルデータ保持部２１３から読み出したベクトルデータを端末装置２２０ａに転送する動作を、監視カメラ２０１による撮影周期ごとに繰り返すことにより、図２(ａ)に示したような構成のストリームデータとして端末装置２２０ａに転送することができる。
【００４１】
このような構成のストリームデータでは、各フレームの画像データとこれに対応するベクトルデータとをそれぞれの独立性が保たれており、また、互いを確実に対応付けられているので、画像データとベクトルデータとの同期を保証することができる。
なお、動体検知処理装置からサーバ装置に渡される画像データの形式およびサーバ装置において扱われる画像データの形式は、自然画像をディジタルデータとして扱うことができるデータ形式であればよく、例えば、ＭＰＥＧなどの形式を採用することも可能である。
【００４２】
次に、このようなストリームデータに基づいて、画像データで表される自然画像とベクトルデータによって表される線画とを重畳して表示する方法について説明する。
図４に、重畳表示処理部の詳細構成を示す。
図４に示した重畳表示処理部２２３において、イメージ復元部２３１は、リアルタイム表示制御部２２２を介して上述したストリームデータに含まれる画像データを受け取り、この画像データに基づいて１フレーム分のイメージデータを復元し、フレームメモリ２３２を介して表示部２２４による表示処理に供する。例えば、監視カメラ２０１によってＪＰＥＧ方式で圧縮された画像データが得られる場合は、このイメージ復元部２３１において、対応する復元処理を行い、元の自然画像を表すイメージデータを再生してフレームメモリ２３２に格納する。
【００４３】
一方、ストリームデータに含まれるベクトルデータは、リアルタイム表示制御部２２２を介して描画処理部２３３に渡される。この描画処理部２３３は、設定情報格納部２３４に格納された描画処理に関する設定情報と、リアルタイム表示制御部２２２を介して受け取ったベクトルデータとに基づいて、移動体の位置および大きさを示す図形を表す線画を表示するための描画データを生成し、フレームメモリ２３２にこの描画データを上書きする。また、利用者は、図１に示したユーザインタフェース部２２５を介して所望の設定情報を入力し、設定情報格納部２３４に格納することにより、例えば、ベクトルデータに基づいて描画させる図形の形および描線の太さや色などを変更し、描画処理に反映させるができる。
【００４４】
これにより、図５(ａ)に示すように、画像データに基づいて再生された自然画像に、ベクトルデータに基づいて描画された線画を付加情報として重畳したイメージをフレームメモリ２３２上に作成し、監視カメラ２０１による撮影とのリアルタイム性を保持しながら、表示部２２４を介して利用者に提供することができる。
ここで、上述したストリームデータでは、画像データとベクトルデータとが互いに対応付けられながらも独立性を保っているので、端末装置２２０における重畳表示処理において、ベクトルデータに所望の編集処理を加えた上で、表示部２２４による表示に供することができる。
【００４５】
例えば、ユーザインタフェース部２２５を介して設定情報格納部２３４内の設定情報を変更することにより、フレームメモリ２３２に描画される図形の形や色を変更したり、所定値以上のサイズを持つ図形のみを描画させたり(図５(ｂ)参照)、ベクトルデータ表示される図形の軌跡(図５(ｃ)参照)を表示させたりするための編集処理を行い、表示部２２４において表示されるイメージに反映することができる。
【００４６】
次に、データベースに蓄積された画像データおよびベクトルデータを所望の時間範囲について切り出して端末装置における表示処理に供する方法について説明する。
図６に、端末装置の切り出し表示制御部およびサーバ装置の切り出し処理部の詳細構成を示す。また、図７に、切り出し表示処理を説明するシーケンス図を示す。
図６に示した切り出し表示制御部２２６において、手順制御部２３５は、ユーザインタフェース部２２５を介して入力された利用者からの指示に基づいて、この指示で指定された時間範囲に含まれるファイル形成時刻ごとに切り出し要求を作成し、伝送路インタフェース２２１を介してサーバ装置２１０宛てに送出する(図７参照)。
【００４７】
図６に示した切り出し処理部２１７において、要求受付部２４１は、伝送路インタフェース部２１１を介して受け取った切り出し要求からファイル形成時刻を抽出し、このファイル形成時刻をファイル検索部２４２に指定して、該当する映像ファイルおよび付加情報ファイルの検索を実行させる。このファイル検索部２４２によって得られた検索結果に基づいて、図６に示した連携ファイル形成部２４３は、上述したファイル形成時刻に対応してデータベース２１５に蓄積された付加情報ファイルを読み出し、図２(ｂ)に示すように、この付加情報ファイルの内容とこの付加情報ファイルに対応付けられた映像ファイルへの連携を例えばＨＴＴＰ形式で記述したリンク情報を含むＸＭＬ形式の連携ファイルを形成する。また、このようにして形成された連携ファイルは、伝送路インタフェース部２１１を介して要求元の端末装置２２０宛てに送出される(図７参照)。
【００４８】
このようにして端末装置２２０に到達した連携ファイルは、図６に示した伝送路インタフェース２２１を介して、切り出し表示制御部２２６の手順制御部２３５に渡され、付加情報ファイルの内容であるベクトルデータとリンク情報とが分離される。このとき、手順制御部２３５は、連携ファイルから分離したベクトルデータをベクトルデータ保持部２３６に保持してデータ転送処理部２３８の処理に供するとともに、リンク情報に基づいて、ＨＴＴＰ形式の映像ファイル転送要求を実行する（図７参照）。
【００４９】
この映像ファイル転送要求は、図６に示した切り出し処理部２１７の要求受付部２４１を介して映像ファイル転送部２４４に渡され、この映像ファイル転送部２４４により、指定された映像ファイルをデータベース２１５から読み出して、伝送路インタフェース２１１を介して端末装置２２０宛てに送出する処理が行われる（図７参照）。
上述したように、付加情報ファイルと映像ファイルとを対応付けた連携ファイルを形成し、これを端末装置に渡して、端末装置側から映像ファイルの転送要求を実行させることにより、サーバ装置２１０側の処理を単純化することができる。
【００５０】
このようにして転送される映像ファイルの内容は、図６に示した伝送路インタフェース２２１を介して受信バッファ２３７に蓄積され、データ転送処理部２３８の処理に供される。図６に示したデータ転送処理部２３８は、受信バッファ２３７に適切な数のフレーム分の画像データが蓄積された段階で、重畳表示処理のためのデータ転送動作を開始する。つまり、このデータ転送処理部２３８は、受信バッファ２３７から各フレームの画像データを読み出して重畳表示処理部２２３に転送するごとに、転送したフレームの画像データに対応するベクトルデータをベクトルデータ保持部２３６から読み出して重畳表示処理部２２３に転送する。
【００５１】
これにより、データ転送処理部２３８から重畳表示処理部２２３に渡されるデータは、図２（ａ）に示した構成となるので、データベース２１５に蓄積された情報を切り出して表示する際にも、画像データとベクトルデータとの同期を確実に実現し、各フレームの画像データにこれに同期したベクトルデータを重畳して表示し、利用者に提供することができる。
【００５２】
もちろん、ユーザインタフェース部２２５からの指示に応じて、上述したようにして、重畳表示処理においてベクトルデータの編集処理を行うことにより、利用者が施設などの監視を行う上で有効な指標を選択的に表示して、利用者に提供することができる。
また、このようなベクトルデータの編集処理に用いられた設定情報をベクトルデータおよび画像データからなるストリームデータとともに保存しておき、これを別の端末装置２２０に転送すれば、複数の端末装置間で同一の付加情報が重畳された映像を共有することも可能である。
【産業上の利用可能性】
【００５３】
上述したように、本発明によれば、自然画像を表す各フレームの画像データとこの画像データに対応して得られた動体抽出処理結果を示すベクトルデータによって表される線画とを、この線画に所望の編集処理を施しつつリアルタイムで重畳して表示し、利用者による監視作業に供することができる。
これにより、監視カメラなどで撮影した画像に基づいて監視を行う監視システムなどにおいて、動体抽出技術を利用して侵入者などを自動的に検出して、利用者による監視作業を支援することができる。
【００５４】
特に、港湾や空港のように広大な敷地を持つ施設の監視システムでは、一つの監視カメラによって捉えられる視野が大きく、また、監視カメラも多数備えられることから、動体抽出技術を適用した監視システムを導入するメリットは非常に大きいと考えられる。
また、本発明によれば、監視カメラによって得られた各フレームの画像データからなる映像データとこれに対応する動体抽出処理結果であるベクトルデータからなる付加情報とを所望の時間範囲について切り出し、端末装置において画像データと付加情報との重畳表示を行って、利用者による監視作業に供することができる。
【００５５】
これにより、データベースに蓄積された情報を、侵入者の進入経路の解析やベクトルデータの編集処理において適用する設定情報の最適化などに活用することができるので、自動監視システムの有効性を高める上で、非常に有用である。
【図面の簡単な説明】
【００５６】
【図１】本発明にかかわる動画データ管理装置および動画表示装置の実施形態を示す図である。
【図２】データフォーマットの説明図である。
【図３】リアルタイム表示動作を説明する図である。
【図４】重畳表示処理部の詳細構成を示す図である。
【図５】付加情報が重畳されたイメージの例を示す図である。
【図６】端末装置の切り出し表示制御部およびサーバ装置の切り出し処理部の詳細構成を示す図である。
【図７】切り出し表示処理を説明するシーケンス図である。
【図８】従来の一般的な監視システムの構成例を示す図である。
【符号の説明】
【００５７】
２０１、４０１ 監視カメラ
２０２ 動体検知処理装置
２１０ サーバ装置
２２０ 端末装置
２１１、２２１ 伝送路インタフェース
２１２ 画像データ保持部
２１３ ベクトルデータ保持部
２１４ 蓄積処理部
２１５ データベース
２１６ リアルタイム送出部
２１７ 切り出し処理部
２２２ リアルタイム表示制御部
２２３ 重畳表示処理部
２２４ 表示部
２２５ ユーザインタフェース部
２２６ 切り出し表示制御部
２３１ イメージ復元部
２３２ フレームメモリ
２３３ 描画処理部
２３４ 設定情報格納部
２３５ 手順制御部
２３６ ベクトルデータ保持部
２３７ 受信バッファ
２３８ データ転送処理部
２４１ 要求受付部
２４２ ファイル検索部
２４３ 連携ファイル形成部
２４４ 映像ファイル転送部
４０２ ディスプレイ装置
４０３ ビデオテープレコーダ
【特許請求の範囲】
【請求項１】
撮像装置によって撮影された映像に対応する画像データおよびこの映像に対応して動体検知処理装置による動体抽出処理を行って得られたベクトルデータを管理する動画データ管理装置を介して動画表示装置による表示処理に供する動画データ管理方法において、
前記動画データ管理装置では、
各フレームの画像データの末尾にこの画像データに対応する動体抽出処理を行って得られた移動体の位置およびサイズを示す図形を表すベクトルデータを結合して前記動画表示装置に送信する結合ステップを実行し、
前記動画表示装置では、
前記動画データ管理装置から各フレームの画像データを受け取るごとに、そのフレームの画像データに基づく表示処理を行う画像表示ステップと、
次いで、前記画像データに基づいて再生された画像に、ベクトルデータに基づいて生成される図形を表す線画を上書きする上書きステップとを実行する
ことを特徴とする映像データ管理方法。
【請求項２】
撮像装置によって撮影された映像に対応する画像データおよびこの映像に対応して動体検知処理装置による動体抽出処理を行って得られたベクトルデータを管理する動画データ管理装置を介して動画表示装置による表示処理に供する動画データ管理方法において、
前記動画データ管理装置は、
前記撮像装置から１フレームの映像を受信する間隔の整数倍である所定の時間ごとに、前記撮像装置によって撮影された映像に対応する画像データをまとめて１つの映像ファイルを形成する映像ファイル形成ステップと、
前記映像ファイル形成ステップにおいて、一つの映像ファイルとしてまとめられた複数フレームの画像データに対応して前記動体検知処置装置からそれぞれ得られるベクトルデータをまとめて記述した付加情報ファイルを形成する付加情報ファイル形成ステップと、
前記付加情報ファイルと前記映像ファイルとを関連付けてデータベースに蓄積する蓄積ステップとを実行し、
前記動画表示装置からの動画データに関する要求に応じて、前記要求で指定された時刻に対応する付加情報ファイルおよび映像ファイルを前記データベースから検索する検索ステップと、
前記検索された付加情報ファイルの内容とともに、前記付加情報ファイルに対応する映像ファイルとの連携を記述するリンクを含む適切な形式のファイルを形成して前記動画表示装置に返送する返送ステップとを実行し、
前記リンクに基づく映像ファイルの転送要求に応じて、該当する映像ファイルを前記動画表示装置に転送する転送ステップとを実行する
ことを特徴とする動画データ管理方法。
【請求項３】
撮像装置によって撮影された映像に対応する画像データおよびこの映像に対応して動体検知処理装置による動体抽出処理を行って得られたベクトルデータを管理するとともに、動画表示装置による表示処理に供する動画データ管理装置において、
前記撮像装置から受け取った各フレームの画像データの末尾と次のフレームの画像データの先頭との間に前記各画像データに対応して前記動体検知処理装置から動体検知処理結果として得られる移動体の位置およびサイズを示す図形を表すベクトルデータを挿入する挿入手段と、
前記挿入手段によって得られる画像データとベクトルデータとから構成されるストリームデータを前記動画表示装置に送信する送信手段と
を備えたことを特徴とする動画データ管理装置。
【請求項４】
撮像装置によって撮影された映像に対応する画像データおよびこの映像に対応して動体検知処理装置による動体抽出処理を行って得られたベクトルデータを管理するとともに、動画表示装置による表示処理に供する動画データ管理装置において、
前記撮像装置から１フレームの映像を受信する間隔の整数倍である所定の時間ごとに、前記撮像装置によって撮影された映像に対応する画像データをまとめて１つの映像ファイルを形成する映像ファイル形成手段と、
前記映像ファイル形成手段によって一つの映像ファイルとしてまとめられた複数フレームの画像データに対応して前記動体検知処置装置からそれぞれ得られるベクトルデータをまとめて記述した付加情報ファイルを形成する付加情報ファイル形成手段と、
前記付加情報ファイルと前記映像ファイルとを関連付けて蓄積するデータベースと、
前記動画表示装置からの動画データに関する要求に応じて、前記要求で指定された時刻に対応する付加情報ファイルおよび映像ファイルを前記データベースから検索する検索手段と、
前記検索された付加情報ファイルの内容とともに、前記付加情報ファイルに対応する映像ファイルとの連携を記述するリンクを含む適切な形式の連携ファイルを形成する連携ファイル形成手段と、
前記連携ファイルを前記動画表示装置に返送する返送手段と、
前記リンクに基づく映像ファイルの転送要求に応じて、該当する映像ファイルを前記動画表示装置に転送する転送手段と
を備えたことを特徴とする動画データ管理装置。
【請求項５】
動画データを構成する各フレームの画像データの入力に応じて、前記各フレームの画像データに基づく画像表示処理を行う画像表示手段と、
前記画像における位置および範囲を含むベクトルデータの入力に応じて、前記ベクトルデータで示される位置および範囲を示す図形を表す線画を生成する線画生成手段と、
前記線画生成手段によって線画が生成されるごとに、生成された線画を前記画像表示手段によって再生された画像に上書きする上書き手段と、
動画データを構成する各フレームの画像データとこれらの画像データの間に挿入されたベクトルデータとからなるストリームデータを受け取り、前記ストリームデータに含まれる各フレームの画像データとベクトルデータとをそれぞれ抽出し、抽出するごとに、前記画像表示手段と前記線画生成手段とにそれぞれ振り分けてそれぞれ入力する振り分け手段と、
複数フレームの画像それぞれに対応して前記画像における位置および範囲をそれぞれ示すベクトルデータの集合と前記ベクトルデータの集合に対応する画像データからなる映像ファイルへの連携を記述したリンクとを含む連携ファイルを受け取り、前記ベクトルデータの集合を保持するベクトルデータ保持手段と、
前記連携ファイルに含まれるリンクに基づく転送要求に応じて得られる映像ファイルを保持する映像ファイル保持手段と、
映像ファイル保持手段から各フレームの画像データを読み出して前記画像表示手段に送出するごとに、対応するベクトルデータを前記ベクトルデータ保持手段から読み出して前記線画生成手段に送出する表示制御手段と
を備えたことを特徴とする動画表示装置。
【請求項１】
撮像装置によって撮影された映像に対応する画像データおよびこの映像に対応して動体検知処理装置による動体抽出処理を行って得られたベクトルデータを管理する動画データ管理装置を介して動画表示装置による表示処理に供する動画データ管理方法において、
前記動画データ管理装置では、
各フレームの画像データの末尾にこの画像データに対応する動体抽出処理を行って得られた移動体の位置およびサイズを示す図形を表すベクトルデータを結合して前記動画表示装置に送信する結合ステップを実行し、
前記動画表示装置では、
前記動画データ管理装置から各フレームの画像データを受け取るごとに、そのフレームの画像データに基づく表示処理を行う画像表示ステップと、
次いで、前記画像データに基づいて再生された画像に、ベクトルデータに基づいて生成される図形を表す線画を上書きする上書きステップとを実行する
ことを特徴とする映像データ管理方法。
【請求項２】
撮像装置によって撮影された映像に対応する画像データおよびこの映像に対応して動体検知処理装置による動体抽出処理を行って得られたベクトルデータを管理する動画データ管理装置を介して動画表示装置による表示処理に供する動画データ管理方法において、
前記動画データ管理装置は、
前記撮像装置から１フレームの映像を受信する間隔の整数倍である所定の時間ごとに、前記撮像装置によって撮影された映像に対応する画像データをまとめて１つの映像ファイルを形成する映像ファイル形成ステップと、
前記映像ファイル形成ステップにおいて、一つの映像ファイルとしてまとめられた複数フレームの画像データに対応して前記動体検知処置装置からそれぞれ得られるベクトルデータをまとめて記述した付加情報ファイルを形成する付加情報ファイル形成ステップと、
前記付加情報ファイルと前記映像ファイルとを関連付けてデータベースに蓄積する蓄積ステップとを実行し、
前記動画表示装置からの動画データに関する要求に応じて、前記要求で指定された時刻に対応する付加情報ファイルおよび映像ファイルを前記データベースから検索する検索ステップと、
前記検索された付加情報ファイルの内容とともに、前記付加情報ファイルに対応する映像ファイルとの連携を記述するリンクを含む適切な形式のファイルを形成して前記動画表示装置に返送する返送ステップとを実行し、
前記リンクに基づく映像ファイルの転送要求に応じて、該当する映像ファイルを前記動画表示装置に転送する転送ステップとを実行する
ことを特徴とする動画データ管理方法。
【請求項３】
撮像装置によって撮影された映像に対応する画像データおよびこの映像に対応して動体検知処理装置による動体抽出処理を行って得られたベクトルデータを管理するとともに、動画表示装置による表示処理に供する動画データ管理装置において、
前記撮像装置から受け取った各フレームの画像データの末尾と次のフレームの画像データの先頭との間に前記各画像データに対応して前記動体検知処理装置から動体検知処理結果として得られる移動体の位置およびサイズを示す図形を表すベクトルデータを挿入する挿入手段と、
前記挿入手段によって得られる画像データとベクトルデータとから構成されるストリームデータを前記動画表示装置に送信する送信手段と
を備えたことを特徴とする動画データ管理装置。
【請求項４】
撮像装置によって撮影された映像に対応する画像データおよびこの映像に対応して動体検知処理装置による動体抽出処理を行って得られたベクトルデータを管理するとともに、動画表示装置による表示処理に供する動画データ管理装置において、
前記撮像装置から１フレームの映像を受信する間隔の整数倍である所定の時間ごとに、前記撮像装置によって撮影された映像に対応する画像データをまとめて１つの映像ファイルを形成する映像ファイル形成手段と、
前記映像ファイル形成手段によって一つの映像ファイルとしてまとめられた複数フレームの画像データに対応して前記動体検知処置装置からそれぞれ得られるベクトルデータをまとめて記述した付加情報ファイルを形成する付加情報ファイル形成手段と、
前記付加情報ファイルと前記映像ファイルとを関連付けて蓄積するデータベースと、
前記動画表示装置からの動画データに関する要求に応じて、前記要求で指定された時刻に対応する付加情報ファイルおよび映像ファイルを前記データベースから検索する検索手段と、
前記検索された付加情報ファイルの内容とともに、前記付加情報ファイルに対応する映像ファイルとの連携を記述するリンクを含む適切な形式の連携ファイルを形成する連携ファイル形成手段と、
前記連携ファイルを前記動画表示装置に返送する返送手段と、
前記リンクに基づく映像ファイルの転送要求に応じて、該当する映像ファイルを前記動画表示装置に転送する転送手段と
を備えたことを特徴とする動画データ管理装置。
【請求項５】
動画データを構成する各フレームの画像データの入力に応じて、前記各フレームの画像データに基づく画像表示処理を行う画像表示手段と、
前記画像における位置および範囲を含むベクトルデータの入力に応じて、前記ベクトルデータで示される位置および範囲を示す図形を表す線画を生成する線画生成手段と、
前記線画生成手段によって線画が生成されるごとに、生成された線画を前記画像表示手段によって再生された画像に上書きする上書き手段と、
動画データを構成する各フレームの画像データとこれらの画像データの間に挿入されたベクトルデータとからなるストリームデータを受け取り、前記ストリームデータに含まれる各フレームの画像データとベクトルデータとをそれぞれ抽出し、抽出するごとに、前記画像表示手段と前記線画生成手段とにそれぞれ振り分けてそれぞれ入力する振り分け手段と、
複数フレームの画像それぞれに対応して前記画像における位置および範囲をそれぞれ示すベクトルデータの集合と前記ベクトルデータの集合に対応する画像データからなる映像ファイルへの連携を記述したリンクとを含む連携ファイルを受け取り、前記ベクトルデータの集合を保持するベクトルデータ保持手段と、
前記連携ファイルに含まれるリンクに基づく転送要求に応じて得られる映像ファイルを保持する映像ファイル保持手段と、
映像ファイル保持手段から各フレームの画像データを読み出して前記画像表示手段に送出するごとに、対応するベクトルデータを前記ベクトルデータ保持手段から読み出して前記線画生成手段に送出する表示制御手段と
を備えたことを特徴とする動画表示装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２００６−１９７４８５（Ｐ２００６−１９７４８５Ａ）
【公開日】平成１８年７月２７日（２００６．７．２７）
【国際特許分類】
【出願番号】特願２００５−９２４５（Ｐ２００５−９２４５）
【出願日】平成１７年１月１７日（２００５．１．１７）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
【公開日】平成１８年７月２７日（２００６．７．２７）
【国際特許分類】
【出願日】平成１７年１月１７日（２００５．１．１７）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
[ Back to top ]