映像表示装置および映像表示方法
【課題】被写体に関連する関連情報を被写体の映像に重畳表示する映像表示装置において、被写体と関連情報との表示位置の乖離を抑制する。
【解決手段】映像表示装置１００は、映像データサーバ装置２００が供給する、被写体の映像および時間情報を含む映像データを取得する映像データ取得部１０３と、メタデータサーバ装置３００が供給する、時間情報を含み、被写体に関連するメタデータを取得するメタデータ取得部１０１と、メタデータから生成された、被写体に関連する関連情報を、被写体の映像に重畳した重畳映像を生成するオーバレイ部１０４と、メタデータに含まれる時間情報と映像データに含まれる時間情報とに基づいて、メタデータサーバ装置３００に対してメタデータの供給の遅れをフィードバックする乖離度情報を生成し、被写体のメタデータを供給したメタデータサーバ装置３００に送る乖離度算出部とを備える。
【解決手段】映像表示装置１００は、映像データサーバ装置２００が供給する、被写体の映像および時間情報を含む映像データを取得する映像データ取得部１０３と、メタデータサーバ装置３００が供給する、時間情報を含み、被写体に関連するメタデータを取得するメタデータ取得部１０１と、メタデータから生成された、被写体に関連する関連情報を、被写体の映像に重畳した重畳映像を生成するオーバレイ部１０４と、メタデータに含まれる時間情報と映像データに含まれる時間情報とに基づいて、メタデータサーバ装置３００に対してメタデータの供給の遅れをフィードバックする乖離度情報を生成し、被写体のメタデータを供給したメタデータサーバ装置３００に送る乖離度算出部とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体に関連する関連情報を被写体の映像に重畳表示する、映像表示装置および映像表示方法に関する。
【背景技術】
【０００２】
従来から、監視等の用途において、撮影された被写体の映像に、その被写体に関連する関連情報を重畳表示する映像表示装置が実用化されてきた。このような映像表示装置の一例として、被写体の映像に、その被写体の関連情報である移動軌跡を動線として重畳表示するものがあった。
【０００３】
また、被写体の映像と、その被写体の関連情報である位置情報とを表示する映像表示装置として、被写体の映像と被写体の位置情報を、それぞれ別のサーバ装置から入力して重畳表示するものが提案されている（例えば、特許文献１を参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−１９２９８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に開示された技術は、被写体の映像に、その被写体の関連情報である移動軌跡を動線として重畳表示した場合に、以下のような課題が生じる可能性があった。特許文献１に開示の技術は、被写体の映像と位置情報を別々のサーバ装置から受信するため、サーバ装置の処理能力等により遅延が発生し、映像中の被写体の位置と被写体の移動軌跡を示す動線の位置とが乖離して表示される可能性があった。そして、この映像中の被写体と動線との表示位置の乖離は、重畳表示された映像を見るユーザに違和感を生じさせる一因となっていた。
【０００６】
このような課題に鑑みて、本発明は、被写体に関連する関連情報を被写体の映像に重畳表示する映像表示装置において、被写体と関連情報との表示位置の乖離を抑制できる映像表示装置および映像表示方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の映像表示装置は、同一対象について、映像データサーバ装置から対象の映像データを、メタデータサーバ装置から対象に関連するメタデータを、それぞれ別々に取得する映像表示装置であって、映像データサーバ装置が供給する、被写体の映像および時間情報を含む映像データを取得する映像データ取得部と、少なくとも１つのメタデータサーバ装置が供給する、時間情報を含み、被写体に関連するメタデータを取得するメタデータ取得部と、メタデータから生成された、被写体に関連する関連情報を、被写体の映像に重畳した重畳映像を生成するオーバレイ部と、メタデータに含まれる時間情報と映像データに含まれる時間情報とに基づいて、メタデータサーバ装置に対してメタデータの供給の遅れをフィードバックするための乖離度情報を生成し、乖離度情報を、被写体のメタデータを供給したメタデータサーバ装置に送る乖離度算出部とを備える。
【０００８】
また、本発明の映像表示方法は、同一対象について、映像データサーバ装置から対象の映像データを、メタデータサーバ装置から対象に関連するメタデータを、それぞれ別々に取得する映像表示装置を用いた映像表示方法であって、映像データサーバ装置が供給する、被写体の映像および時間情報を含む映像データを取得するステップと、少なくとも１つのメタデータサーバ装置が供給する、時間情報を含み、被写体に関連するメタデータを取得するステップと、メタデータから生成された、被写体に関連する関連情報を、被写体の映像に重畳した重畳映像を生成するステップと、メタデータに含まれる時間情報と映像データに含まれる時間情報とに基づいて、メタデータサーバ装置に対してメタデータの供給の遅れをフィードバックするための乖離度情報を生成するステップと、乖離度情報を、被写体のメタデータを供給したメタデータサーバ装置に送るステップとを備える。
【発明の効果】
【０００９】
本発明によれば、被写体に関連する関連情報を被写体の映像に重畳表示する映像表示装置において、被写体と関連情報との表示位置の乖離を抑制し、ユーザに違和感を生じさせにくい映像表示装置および映像表示方法を提供することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施の形態１における映像表示装置の概念を説明するための、映像表示装置が表示する映像の一例を示す図
【図２】本発明の実施の形態１における映像表示装置が表示する空間の座標系を説明するための図
【図３】本発明の実施の形態１における、映像表示装置を含む映像監視システムの構成を示すブロック図
【図４】本発明の実施の形態１における、メタデータサーバ装置から映像表示装置に送られるメタデータの構成を示す図
【図５】本発明の実施の形態１における、乖離度を説明するための図
【図６】本発明の実施の形態１における、映像表示装置の乖離度算出部からメタデータサーバ装置に対して送られる乖離度情報の構成を示す図
【図７】本発明の実施の形態１における映像表示装置の動作を示すフローチャート
【図８】本発明の実施の形態１における乖離度算出部の詳細構成を示すブロック図
【図９】本発明の実施の形態１における、閾値記憶部に記憶されている乖離度閾値の一例について説明するための図
【図１０】本発明の実施の形態１における、乖離度通知部が記憶するテーブルの一例を示す図
【図１１】本発明の実施の形態１における、乖離度算出処理を詳細に説明するためのフローチャート
【図１２】本発明の実施の形態１における移動速度量の算出方法について説明するための図
【図１３】本発明の実施の形態１におけるカメラ制御情報の構成の一例を示す図
【発明を実施するための形態】
【００１１】
（実施の形態１）
以下、本発明の実施の形態１について、図面を用いて詳細に説明する。図１は、本発明の実施の形態１における映像表示装置の概念を説明するための、映像表示装置が表示する映像の一例を示す図である。
【００１２】
本実施の形態の映像表示装置は、同一対象について、映像データサーバ装置から対象の映像データを、メタデータサーバ装置からその対象に関連するメタデータを、それぞれ別々に取得する。本実施の形態の映像表示装置は、映像データサーバ装置から取得した映像データ、および、メタデータサーバ装置から取得したメタデータを用いて、図１に示す映像（以下、重畳映像と記す）を表示する。図１に示す重畳映像１０は、映像データサーバ装置が供給する映像データの映像に映った被写体１，４，７に関連する関連情報として、その移動軌跡を示す動線３，６，９を重畳表示したものである。ここで、映像とは、カメラが撮影した静止画像（フレーム）を時系列に連続させて構成した情報である。被写体１，４，７の関連情報である移動軌跡を示す動線は、メタデータサーバ装置から供給されるメタデータから生成される。メタデータサーバ装置から供給されるメタデータは、被写体１，４，７の識別情報および位置情報等の被写体１，４，７に関連する情報、ならびに時間情報等を含む。
【００１３】
本実施の形態では、被写体１，４，７として、人物を想定して説明する。被写体１，４，７は、それぞれ携帯装置を所持している。メタデータサーバ装置は、被写体１，４，７の所持する携帯装置を測位することによって、被写体１，４，７の位置情報を取得する。メタデータサーバ装置は、各携帯装置と通信を行い、電波の方向や信号レベル等を計測することによって、各携帯装置の測位を逐次行う。メタデータサーバ装置は、測位結果から各携帯装置の位置を示す位置情報を生成する。位置情報は、図２に示したように、空間の横方向をＸ軸、奥行きをＹ軸、高さをＺ軸とする直交座標系（Ｘ，Ｙ，Ｚ）で算出される。
【００１４】
図２は、本発明の実施の形態１における映像表示装置が表示する空間の座標系を説明するための図であり、この直交座標系をグローバル座標系と記す。なお、メタデータサーバ装置は、携帯装置との通信で計測された信号レベルの強弱によって、位置情報の尤度を生成して、メタデータに含めることもできる。
【００１５】
本実施の形態では、被写体１，４，７が、携帯装置を被写体１，４，７の中心位置、人物であれば胸の位置に所持しているものとして説明する。携帯装置を胸の位置に所持することで、腕等への装着に比べて、被写体１，４，７の移動に伴う不必要な揺れによる測位への悪影響を抑制することができる。なお、本発明は、被写体１，４，７が携帯装置を所持する場所を胸の位置に限定されるものではない。
【００１６】
図３は、本発明の実施の形態１における、映像表示装置１００を含む映像監視システム５００の構成を示すブロック図である。
【００１７】
図３に示したように、映像監視システム５００は、メタデータサーバ装置３００、映像データサーバ装置２００、映像表示装置１００、および表示装置６００を含む。映像表示装置１００は、メタデータサーバ装置３００、映像データサーバ装置２００、および表示装置６００に接続されている。これらの接続は、例えばＴＣＰ／ＩＰ等の通信プロトコルを用いた有線または無線のネットワークを用いることができ、また、ＵＳＢ等のコンピュータ用インタフェースを用いることもできる。また、映像表示装置１００と表示装置６００との接続は、映像用インタフェースを用いることができる。なお、映像表示装置１００と接続されるメタデータサーバ装置３００は複数であってもよい。
【００１８】
メタデータサーバ装置３００は、被写体１，４，７それぞれが所持する携帯装置３０１，３０２，３０３を測位し、その結果から位置情報を生成する。続いて、メタデータサーバ装置３００は、生成した位置情報を、携帯装置を所持する被写体を識別する識別情報（オブジェクトＩＤ）および測位した時刻を表す時間情報(タイムスタンプ（ＴＳｍ））等と共に、メタデータとして映像表示装置１００に供給する。本実施の形態において、オブジェクトＩＤは、携帯装置の識別情報（ＩＤ）を用いるものとする。携帯装置３０１〜３０３は、例えば、無線ＩＣタグ、ＧＰＳ端末等を用いることができる。携帯装置３０１〜３０３にＧＰＳ端末を用いた場合、メタデータサーバ装置３００は、ＧＰＳ端末から取得した位置情報をそのままメタデータに含めることができる。
【００１９】
図４は、本発明の実施の形態１における、メタデータサーバ装置３００から映像表示装置１００に供給されるメタデータの構成を示す図である。図４に示したように、メタデータ４０は、メタデータサーバ装置識別情報４１、メタデータの時間情報（ＴＳｍ）４２、オブジェクト数４３、およびオブジェクト情報４４を含む。
【００２０】
メタデータサーバ装置識別情報４１は、メタデータサーバ装置３００を識別するための識別情報（ＩＤ）である。メタデータの時間情報（ＴＳｍ）４２は、携帯装置３０１〜３０３を測位した時刻である。オブジェクト数４３は、メタデータ中に含まれるオブジェクト情報の数である。本実施の形態において、オブジェクト数４３は、「３」とする。オブジェクト情報４４には、携帯装置を所持する被写体（オブジェクト）を識別するための識別情報であるオブジェクトＩＤ４５と、それぞれの位置情報４６との組が、オブジェクト数４３だけ含まれているものとする。本実施の形態において、オブジェクトＩＤは、被写体が所持する携帯装置の識別情報(ＩＤ)を用いるが、被写体の識別情報を用いることも可能である。
【００２１】
なお、メタデータ４０は、位置情報を取得・生成できたオブジェクトのみ、オブジェクト情報４４を含んでもよい。また、メタデータサーバ装置３００は、位置情報の取得・生成処理が可能な最大のオブジェクトの数だけの領域をあらかじめ確保し、位置情報が取得・生成できたかどうかの結果を含め、全てのオブジェクトのオブジェクト情報４４を含んでもよい。メタデータ４０は、位置情報を取得・生成できたオブジェクトのオブジェクト情報４４のみを含めることにより、データ量を低減することができる。また、メタデータ４０は、全てのオブジェクト数４３だけの領域をあらかじめ確保することで、データのサイズを固定長とすることができ、データ処理負荷の軽減が期待できる。
【００２２】
図３に戻って、映像データサーバ装置２００は、カメラ４００によって撮影された被写体１，４，７が映った映像を取得し、映像が撮影された時刻を表す時間情報（ＴＳｖ）を付した映像データとして映像表示装置１００に供給する。映像データは、時系列に、被写体１，４，７が映ったフレームと、フレームが撮影された時刻を示す時間情報（ＴＳｖ）とを含む。
【００２３】
映像表示装置１００は、映像データサーバ装置２００から映像データを、メタデータサーバ装置３００からメタデータ４０を、それぞれ取得する。続いて、映像表示装置１００は、被写体１，４，７の映った映像に、メタデータ４０から生成された、被写体１，４，７の関連情報である移動軌跡を示す動線３，６，９を、重畳した重畳映像１０を生成し、表示装置６００に送る。また、映像表示装置１００は、重畳映像１０上の被写体１，４，７の表示位置と被写体１，４，７の動線３，６，９の表示位置との乖離度を算出し、算出した結果を含む乖離度情報を生成する。乖離度の詳細については、後述する。さらに、映像表示装置１００は、生成した乖離度情報を、被写体１，４，７のメタデータを供給したメタデータサーバ装置３００へ送る。
【００２４】
次に、映像表示装置１００の構成について説明する。
【００２５】
図３における映像表示装置１００は、メタデータ取得部１０１、乖離度算出部１０２、映像データ取得部１０３、オーバレイ部１０４、および出力部１０５を備える。
【００２６】
メタデータ取得部１０１は、メタデータサーバ装置３００が供給する、時間情報（ＴＳｍ）を含む、被写体１，４，７に関連するメタデータ４０を取得する。メタデータ取得部１０１は、取得したメタデータ４０を、乖離度算出部１０２およびオーバレイ部１０４に送る。
【００２７】
映像データ取得部１０３は、映像データサーバ装置２００が供給する、被写体１，４，７の映像および時間情報（ＴＳｖ）を含む映像データを取得して、オーバレイ部１０４に送る。また、映像データ取得部１０３は、映像データに含まれる時間情報（ＴＳｖ）を乖離度算出部１０２に送る。
【００２８】
乖離度算出部１０２は、映像データ取得部１０３から取得した映像データに含まれる時間情報（ＴＳｖ）と、メタデータ取得部１０１から取得したメタデータ４０に含まれる時間情報（ＴＳｍ）とに基づいて、乖離度情報を生成する。乖離度情報は、メタデータサーバ装置３００に対して、メタデータの供給の遅れをフィードバックするための情報である。乖離度算出部１０２は、生成した乖離度情報を、被写体１，４，７のメタデータ４０を供給したメタデータサーバ装置３００にフィードバックする。また、乖離度算出部１０２は、乖離度情報を生成するために、被写体１，４，７の表示位置と動線３，６，９の表示位置との間の乖離度を算出する。
【００２９】
ここで、乖離度について説明する。図５は、本発明の実施の形態１における、乖離度を説明するための図である。図５において、重畳映像２１，２２，２３には、被写体１とその移動軌跡を示す動線３が表示され、重畳映像２１，２２，２３の順に表示されるものとする。時刻Ｔ０において表示される重畳映像２１では、被写体１と動線３とが繋がって表示されている。しかし、時刻Ｔ１，Ｔ２において表示される重畳映像２２，２３では、被写体１は移動しているが、動線３の位置は重畳映像２１と変化せず、被写体１に追従していない。すなわち、重畳映像２２，２３において、被写体１と動線３との間は乖離しており、この度合いを乖離度とする。
【００３０】
このような乖離は、携帯装置３０１〜３０３の増加等により、メタデータサーバ装置３００におけるメタデータ４０の生成処理の負荷増大等に伴うメタデータ生成処理の遅れ、または、メタデータ４０の伝送遅延等が、原因となり得る。これら処理の遅れ等に起因して、メタデータサーバ装置３００から供給されるメタデータ４０の到着が、映像データサーバ装置２００から供給される映像データよりも遅延すると、前述の乖離が発生する。図５に示す大きな乖離は、重畳映像２１，２２，２３を見たユーザに、被写体１は動いているのに、動線３は追従していないという違和感を生じさせる可能性がある。なお、乖離度算出部１０２における、乖離度のより詳細な算出方法については、後述する。
【００３１】
続いて、乖離度算出部１０２は、算出した乖離度の値に応じて、メタデータサーバ装置３００からのメタデータ４０の供給に遅れが発生していることを、メタデータサーバ装置３００に対してフィードバックするための乖離度情報を生成する。そして、乖離度算出部１０２は、乖離度情報をメタデータサーバ装置３００に対してフィードバックする。図６は、本発明の実施の形態１において、映像表示装置１００の乖離度算出部１０２からメタデータサーバ装置３００に対して送られる乖離度情報の構成を示す図である。図６に示したように、乖離度情報６０は、メタデータサーバ装置識別情報６１、映像データの時間情報（ＴＳｖ）６２、メタデータの時間情報（ＴＳｍ）６３、優先オブジェクト情報６４、および生成頻度調整情報６５を含む。
【００３２】
メタデータサーバ装置識別情報６１は、乖離度情報６０を送るメタデータサーバ装置３００を識別するための識別情報（ＩＤ）である。映像データの時間情報（ＴＳｖ）６２は、乖離度を算出した映像データに含まれる時間情報である。メタデータの時間情報（ＴＳｍ）６３は、乖離度を算出したメタデータ４０に含まれる時間情報である。
【００３３】
優先オブジェクト情報６４は、乖離度情報６０をフィードバックされたメタデータサーバ装置３００が、乖離度を抑制するための処理の一つとして、複数の被写体１，４，７のうち、優先的にメタデータ４０を生成する被写体の情報を示す。つまり、優先オブジェクト情報６４は、複数の携帯端末３０１〜３０３のうち、メタデータサーバ装置３００で優先的にメタデータを生成すべき携帯装置の情報を示すものである。優先オブジェクト情報６４は、あらかじめ管理者によって乖離度（後述する乖離度合いレベル情報）の値ごとに、少なくとも１つのオブジェクトＩＤ６６（携帯装置を所持する被写体の識別情報）をメタデータ生成の優先度の高い順に並べたものである。乖離度算出部１０２は、乖離度合いレベル情報の値に応じて優先的にメタデータ４０を生成するオブジェクトを選出する。なお、優先オブジェクト情報６４に記述のない場合は、優先設定がないものとする。このように、優先オブジェクト情報６４を含む乖離度情報６０を送ることにより、メタデータサーバ装置３００は、全ての携帯装置ではなく、管理者によって重要と考えられるオブジェクトのメタデータ４０を優先的に生成することができる。
【００３４】
生成頻度調整情報６５は、メタデータサーバ装置３００におけるメタデータ４０の生成頻度の情報を示す。生成頻度調整情報６５としては、例えばメタデータサーバ装置３００が携帯装置３０１〜３０３の測位結果の全てからメタデータを生成する場合を「１００％」として、それに対する比率で表現することができる。例えば、生成頻度調整情報６５が「５０％」の場合には、携帯装置３０１〜３０３の測位結果からのメタデータの生成を、２回に１回の頻度とすることを意味するものとする。なお、生成頻度調整情報６５は、時間（例えば「１００ｍｓｅｃ」）等を用いて表現することも可能である。このように、生成頻度調整情報６５を含む乖離度情報６０を受信したメタデータサーバ装置３００は、負荷増大等による処理遅延に対して、メタデータ生成の頻度を下げる調整により、メタデータ生成の遅延を解消することが出来る。また、乖離度算出部１０２は、メタデータの到着の遅延が解消したと判断したときには、生成頻度調整情報６５の値を大きくし、メタデータサーバ装置３００でのメタデータ生成の頻度を初期状態に戻す等の調整も可能である。
【００３５】
なお、乖離度情報６０は、図６に示した構成とは異なる構成も可能で、例えば、乖離度の度合いを示す乖離度合いレベル情報を、乖離度情報としてメタデータサーバ装置３００に送ることもできる。乖離度合いレベル情報としては、例えば、被写体と動線の乖離が無い場合を値「０」とし、乖離が発生している場合は、その度合いに応じてあらかじめ規定した範囲の値（例えば、０〜１０）で表現することができる。なお、乖離度合いレベル情報は、乖離が無い場合とある場合の２値で表現してもよい。
【００３６】
図３に戻って、映像表示装置１００のオーバレイ部１０４は、映像データ取得部１０３から映像データを取得し、メタデータ取得部１０１からメタデータ４０を取得する。続いて、オーバレイ部１０４は、メタデータ取得部１０１から取得したメタデータ４０から生成された、被写体１，４，７に関連する関連情報である動線３，６，９を、映像データ中の被写体の映像に重畳した重畳映像１０を生成する。そして、オーバレイ部１０４は、生成した重畳映像１０を出力部１０５に送る。
【００３７】
出力部１０５は、オーバレイ部１０４から取得した重畳映像１０を表示装置６００に送り、表示装置６００は、出力部１０５から取得した重畳映像１０を表示する。
【００３８】
なお、映像表示装置１００は、表示装置６００を内蔵する構成であってもよい。
【００３９】
次に、映像表示装置１００の動作について説明する。図７は、本発明の実施の形態１における映像表示装置１００の動作を示すフローチャートである。
【００４０】
まず、ステップＳ７０１において、メタデータ取得部１０１がメタデータサーバ装置３００からメタデータ４０を取得し、映像データ取得部１０３が映像データサーバ装置２００から映像データを取得する。
【００４１】
次に、ステップＳ７０２において、乖離度算出部１０２は、メタデータ取得部１０１からメタデータ４０を、映像データ取得部１０３から映像データの時間情報（ＴＳｖ）６２を、それぞれ取得する。次に、乖離度算出部１０２は、取得したメタデータ４０と映像データの時間情報（ＴＳｖ）６２とを用いて乖離度を算出する。
【００４２】
ステップＳ７０３において、乖離度算出部１０２は、前記ステップＳ７０２の乖離度算出の結果に基づいて乖離度情報６０を生成し、メタデータサーバ装置３００へ送る。
【００４３】
ステップＳ７０４において、オーバレイ部１０４は、メタデータ取得部１０１からメタデータを取得し、携帯装置３０１〜３０３の位置情報（グローバル座標系）をフレームの画像座標系へ座標変換処理する。
【００４４】
ここで、フレームの画像座標系とは、フレーム全体を対象とする２次元の座標系である。また、フレームの画像座標系は、フレームの左上隅を原点（０，０）として、原点から右方向に進む座標軸をＸＳ軸、原点から下方向に進む座標軸をＹＳ軸とし、単位はｐｉｘｅｌで表現される座標系である。なお、原点はフレームの左上隅以外の任意の位置とすることができる。携帯装置３０１〜３０３の位置情報をフレームの画像座標系に座標変換するには、カメラ４００の焦点距離や画素ピッチ等の情報、グローバル座標系におけるカメラ４００の撮影方向である視線方向、および、配置位置等の情報が必要である。これらの情報は、オーバレイ部１０４にあらかじめ与えられているものとする。本実施の形態においては、ＸＳ軸はカメラ４００の視線方向と垂直に交わり、ＹＳ軸はカメラ４００の視線方向と平行であるとして説明する。
【００４５】
続いて、オーバレイ部１０４は、座標変換処理された位置情報を、被写体１，４，７の移動軌跡を示す動線３，６，９を構成する情報として、メモリ等を用いて一定量（例えば１００個）保持する。そして、オーバレイ部１０４は、映像データ取得部１０３から取得した映像データの時間情報（ＴＳｖ）６２までの動線３，６，９をメモリから読み出し、映像データのフレームの該当する座標位置に描画を行って重畳映像１０を生成する。
【００４６】
ステップＳ７０５において、オーバレイ部１０４は、生成した重畳映像１０を出力部１０５へ送る。続いて、出力部１０５は、重畳映像１０を表示装置６００へ送る。表示装置６００は、重畳映像１０をディスプレイ等で表示する。
【００４７】
ステップＳ７０５が終了すると、ステップＳ７０１に戻り処理を継続する。
【００４８】
なお、映像表示装置１００の動作は、ステップＳ７０２からＳ７０３までの一連の処理と、ステップＳ７０４からＳ７０５までの一連の処理との順序を入れ替えることも可能である。
【００４９】
次に、乖離度算出部１０２の構成および乖離度の算出方法について、さらに詳細に説明する。図８は、本発明の実施の形態１における乖離度算出部１０２の詳細構成を示すブロック図である。乖離度算出部１０２は、メタデータ記憶部１１０、移動速度量計算部１１１、乖離度検知部１１２、閾値記憶部１１３、および乖離度通知部１１４を有する。
【００５０】
メタデータ記憶部１１０は、メタデータ取得部１０１からメタデータ４０を取得して記憶する。
【００５１】
移動速度量計算部１１１は、メタデータ記憶部１１０が取得したメタデータ４０に含まれる位置情報等に基づいて、各被写体１，４，７が重畳映像１０上で次に移動すると予測される量（移動速度量と記し、詳細は後述）をそれぞれ計算する。そして、移動速度量計算部１１１は、最も大きい値を有する被写体の移動速度量（Ｖｉ’）を乖離度検知部１１２へ送る。最も大きい値の移動速度量（Ｖｉ’）を有する被写体が、最も被写体と動線との乖離度が大きくなると推測されることから、移動速度量計算部１１１は、もっとも大きい値の移動速度量（Ｖｉ’）を有する被写体の情報のみを送る。これにより、乖離度検知部１１２は、移動速度量計算部１１１から送られた被写体に関する処理を行うだけで済む。
【００５２】
乖離度検知部１１２は、移動速度量計算部１１１から取得した移動速度量（Ｖｉ’）に基づいて、閾値記憶部１１３から乖離度閾値（Ｔｔｈｄ）を選択し、取得する。また、乖離度検知部１１２は、映像データ取得部１０３から取得した映像データの時間情報（ＴＳｖ）６２と、メタデータ記憶部１１０から取得したメタデータの時間情報（ＴＳｍ）４２とを比較する。そして、乖離度検知部１１２は、その差分が乖離度閾値（Ｔｔｈｄ）を超過しているかどうかを判定し、その判定結果に基づいた乖離度合いレベル情報を算出する。続いて、乖離度検知部１１２は、判定を行ったメタデータを供給したメタデータサーバ装置識別情報、映像データの時間情報（ＴＳｖ）およびメタデータの時間情報（ＴＳｍ）とともに乖離度合いレベル情報を乖離度通知部１１４へ送る。
【００５３】
図９は、本発明の実施の形態１における、閾値記憶部１１３に記憶されている乖離度閾値（Ｔｔｈｄ）の一例について説明するための図である。閾値記憶部１１３は、映像監視システム５００の管理者等が任意に設定することができ、移動速度量（Ｖｉ’）９１ごとの乖離度閾値（Ｔｔｈｄ）９２を記憶している。移動速度量（Ｖｉ’）が小さいと、ＴＳｖとＴＳｍとの差分が小さいうちは重畳映像１０上の被写体の位置と動線の位置との乖離度は小さいため、重畳映像１０を見るユーザは、違和感を生じにくいと推定される。逆に、移動速度量（Ｖｉ’）が大きいと、ＴＳｖとＴＳｍとの差分が小さくても乖離が大きくなりやすく、ユーザは違和感を生じやすいと推定される。このため、閾値記憶部１１３は、移動速度量（Ｖｉ’）９１の大きさに応じて乖離度閾値（Ｔｔｈｄ）９２を設定している。
【００５４】
図８に戻って、乖離度通知部１１４は、乖離度検知部１１２から、乖離度合いレベル情報、メタデータの時間情報（ＴＳｍ）４２、映像データの時間情報（ＴＳｖ）６２、およびメタデータサーバ装置識別情報６１を取得する。続いて、乖離度通知部１１４は、乖離度合いレベル情報に対応する乖離度情報６０を生成する。具体的には、乖離度通知部１１４は、あらかじめ管理者などが任意に設定した優先オブジェクト情報６４、生成頻度調整情報６５から、乖離度合いレベル情報に応じた値を選択し、乖離度情報６０を生成する。そして、乖離度通知部１１４は、生成した乖離度情報６０をメタデータサーバ装置３００へ送る。
【００５５】
図１０は、本発明の実施の形態１における、乖離度通知部１１４が記憶するテーブルの一例を示す図であり、乖離度合いレベル情報９３の値に対応した生成頻度調整情報９４および優先オブジェクト情報９５が記憶されている。乖離度通知部１１４は、図１０のテーブルを用いて、乖離度合いレベル情報９３の値に対応した生成頻度調整情報９４および優先オブジェクト情報９５を選択することができる。
【００５６】
次に、乖離度算出処理について、詳細に説明する。
【００５７】
本実施の形態の映像表示装置１００においては、映像データとメタデータ４０とが、それぞれ別のサーバ装置から送られる。本実施の形態の映像データに含まれる映像には、どの部分の画素が被写体１，４，７であるかを示す情報は含まれないものとする。よって、映像表示装置１００は、取得した映像に表示された被写体１，４，７の位置と、取得したメタデータ４０から生成した動線３，６，９を表示する位置との距離を、座標系の異なるため位置情報から算出することは難しい。
【００５８】
そこで、本実施の形態では、重畳映像上の被写体１，４，７の表示位置と動線３，６，９の表示位置との乖離度を、乖離の発生要因であるメタデータ４０の到着の遅延の大きさから判定するため、映像データとメタデータとの時間差を用いる。つまり、メタデータの時間情報（ＴＳｍ）と映像データの時間情報（ＴＳｖ）とを比較し、その差分が大きくなれば、メタデータ４０の到着に遅延が発生して、被写体１，４，７と動線３，６，９とが乖離していると推定する。
【００５９】
また、被写体１，４，７と動線３，６，９との乖離度は、重畳映像１０における被写体１，４，７の移動方向や速度等によって、その見え方が変化する。よって、映像表示装置１００は、取得したメタデータ４０から被写体１，４，７ごとにその移動方向や移動の大きさ（速度）を算出し、さらに重畳映像１０を見るユーザの視線、すなわちカメラ４００の視線方向も考慮して乖離度を算出する。
【００６０】
図１１は、本発明の実施の形態１における、乖離度算出処理を詳細に説明するためのフローチャートである。
【００６１】
まず、ステップＳ９０１において、乖離度検知部１１２は、映像データ取得部１０３から最も新しい映像データの時間情報（ＴＳｖ）を取得する。また、乖離度検知部１１２は、メタデータ記憶部１１０から、メタデータ記憶部１１０が記憶しているメタデータ４０の中で最も新しいメタデータの時間情報（ＴＳｍ）を取得する。
【００６２】
図１２は、本発明の実施の形態１における移動速度量（Ｖｉ’）の算出方法について説明するための図であり、以下のステップＳ９０２〜Ｓ９０４は図１１と図１２を併用し、被写体１，７について説明する。
【００６３】
ステップＳ９０２において、移動速度量計算部１１１は、メタデータ記憶部１１０から最新の時間情報ＴＳｍを有するメタデータ４０と、そのひとつ前の時間情報ＴＳｍ−１を有するメタデータ４０とを取得する。
【００６４】
続いて、移動速度量計算部１１１は、最新のメタデータ４０に含まれている被写体１，７の位置情報（グローバル座標系）を、フレームの画像座標系（ＸＳ，ＹＳの２次元座標系）に座標変換処理する。この座標変換処理は、図７のステップＳ７０４において、オーバレイ部１０４が被写体１，４，７の位置情報をフレームの画像座標系に座標変換する処理と同様に行うことができる。
【００６５】
図１２は、移動速度量計算部１１１において被写体１，７の位置情報を座標変換した、最新の時間情報ＴＳｍおよびそのひとつ前の時間情報ＴＳｍ−１のフレームの画像座標を示す。具体的には、時間情報ＴＳｍにおける被写体１の、フレームの画像座標系に座標変換した後の画面上の位置をＰ１ｍ、被写体７の画面上の位置をＰ７ｍとしてそれぞれ示す。また、図１２では、時間情報ＴＳｍ−１における、重畳映像１０上の被写体１の画面上の位置をＰ１ｍ−１，被写体７の位置をＰ７ｍ−１として示す。
【００６６】
次に、移動速度量計算部１１１は、被写体１，７ごとに座標変換処理を行い、時間情報ＴＳｍにおける画面上の位置Ｐ１ｍ，Ｐ７ｍと、時間情報ＴＳｍ−１における画面上の位置Ｐ１ｍ-1，Ｐ７ｍ-1との座標間の距離を算出する。座標間の距離は、被写体１，７ごとに、最も新しいメタデータ取得間隔あたりの移動方向と移動の大きさ（速度）を表す移動ベクトルＶｉ（ｉ＝１，２，３，，， オブジェクトＩＤ）で表される。また、移動ベクトルＶｉは、被写体１の移動ベクトルをＶ１、被写体７の移動ベクトルをＶ７として図１２に示される。
【００６７】
ステップＳ９０３において、移動速度量計算部１１１は、時間情報ＴＳｍにおける被写体１，７の位置Ｐ１ｍ，Ｐ７ｍから、それぞれの移動ベクトルＶｉの量だけ移動したと推定した時間情報ＴＳｍ＋１における画像上の位置を算出する。算出した時間情報ＴＳｍ＋１における画像上の位置は、被写体１の画像上の位置をＰ１ｍ＋１、被写体７の画像上の位置をＰ７ｍ＋１として図１２に示される。位置Ｐ１ｍ＋１，Ｐ７ｍ＋１は、時間情報ＴＳｍの次の時間情報を有するメタデータを取得した場合に、各被写体１，７が移動していると推定される位置である。
【００６８】
ここで、図１２の重畳映像１０における、被写体１，７の表示位置と動線３，９の表示位置との乖離度は、被写体１，７と動線３，９とが離れる程、より大きくなる。
【００６９】
しかし、被写体１，７の移動方向によって、被写体１，７と動線３，９とがどちらも同じ距離離れていても、乖離度の見え方は異なる。例えば、図１２の被写体７は、カメラ４００の視線方向に平行に直進してくる場合を想定する。この場合、動線９の延長線上には被写体７の頭部等が存在するので、たとえ動線９と、被写体７の胸の位置とが大きく乖離していたとしても、実際には胸から頭部までの画面上の距離を差し引いた距離だけ乖離しているように見える。一方、被写体１は、カメラ４００の視線方向に対して垂直な方向に移動する場合を想定する。この場合には、前述の場合と比較して、乖離を差し引く被写体１の領域が少ないため、被写体１と動線４との距離の大きさが、被写体７と動線９との距離と同じであっても、重畳映像１０上では、より大きく乖離が発生しているように見える。つまり、図１２に示す重畳映像１０は、被写体１，７の移動方向により、乖離の見え方が異なることを示している。
【００７０】
一例として、図１２において、被写体１と被写体７の移動ベクトルＶｉの大きさが同じであって、動線３，９が遅延によりＰ１ｍ，Ｐ７ｍの位置で止まってしまった場合を想定する。この場合には、被写体７と動線９との乖離度よりも、被写体１と動線３との乖離度の方が大きく見えることになる。
【００７１】
本実施の形態の移動速度量計算部１１１は、上述した被写体１，７の移動方向を考慮した乖離度を算出するために、図１２にα１，α７として示す、ベクトルである移動速度量補正値を用いて移動速度量Ｖ１’，Ｖ７’を算出する。移動速度量補正値αは、あらかじめ管理者が被写体１，７の進行方向ごとに登録するか、あるいは、被写体１，７の進行方向に応じて演算できるように数式化してもよい。本実施の形態では、被写体７がカメラ４００の視線方向と同一方向に移動する場合には、最大の移動速度量補正値α７をとるものとする。一方、被写体１がカメラ４００の視線方向と垂直方向に移動する場合には、最小の移動速度量補正値α１をとるものとする（α１＜α７）。また、被写体１，７がカメラ４００の視線方向に対して所定の角度で移動する場合には、移動速度量補正値は、α１からα７までの間の値をとるものとする。
【００７２】
移動速度量計算部１１１は、被写体１，７の移動方向を考慮した乖離度を算出する。具体的には、移動速度量計算部１１１は、位置Ｐ１ｍ，Ｐ７ｍよりそれぞれの移動ベクトルＶｉ分だけ移動した位置Ｐ１ｍ＋１，Ｐ７ｍ＋１から、移動速度量補正値α１，α７を差し引く。そして、移動速度量計算部１１１は、その差し引いた位置と位置Ｐ１ｍ，Ｐ７ｍとの座標間のベクトルを被写体１，７の移動速度量Ｖ１’，Ｖ７’として算出する。
【００７３】
なお、カメラ４００からの距離の違いにより、重畳映像１０中の被写体１，７の大きさや被写体１，７の映る領域（遠距離では全身が映り、近距離では頭頂部が映るが足元は映らない等）が変わることによっても、乖離度の見え方は異なる。映像表示装置１００は、これらの現象を利用して、移動速度量補正値αを定めることも可能である。
【００７４】
ステップＳ９０４において、移動速度量計算部１１１は、被写体１，７の表示位置と動線３，９の表示位置との乖離が最も大きいと予測される被写体を特定する。このために、移動速度量計算部１１１は、移動速度量Ｖ１’，Ｖ７’の中から最も大きな値を有する被写体を選出し、その移動速度量を乖離度検知部１１２に送る。図１２に示した例では、移動速度量Ｖ１’が最も大きくなるため、移動速度量Ｖ１’のベクトル量を乖離度検知部１１２へ送る。乖離度検知部１１２は、移動速度量Ｖ１’のベクトル量に応じた乖離度閾値（Ｔｔｈｄ）を閾値記憶部１１３から取得する。
【００７５】
ステップＳ９０５において、乖離度検知部１１２は、ステップＳ９０１にて取得した、メタデータの時間情報ＴＳｍと映像データの時間情報ＴＳｖとの差分を算出する。そして、乖離度検知部１１２は、その差分がステップＳ９０４で取得した乖離度閾値（Ｔｔｈｄ）を超過したと判断した場合に、重畳映像１０上の被写体の位置と動線の位置との間で乖離が発生したと判断し、ステップＳ９０６に進む。また、超過していない場合には、乖離度検知部１１２は、乖離が発生していない、または発生していた乖離が復旧したと判断し、ステップＳ９０７へ進む。
【００７６】
ステップＳ９０６においては、乖離が発生した場合の処理として、乖離度検知部１１２は、時間情報ＴＳｍとＴＳｖとの差分に応じて、乖離度、具体的には乖離度合いレベル情報を算出する。乖離度検知部１１２は、算出した乖離度合いレベル情報を、判定対象となったメタデータの時間情報ＴＳｍと映像データの時間情報ＴＳｖ、およびメタデータサーバ装置識別情報６１と合わせて乖離度通知部１１４へ送る。
【００７７】
ステップＳ９０７においては、乖離が発生していない、または発生していた乖離が復旧した場合の処理として、乖離度検知部１１２は、乖離度合いレベル情報を「０」として乖離度通知部１１４へ送る。乖離度検知部１１２は、乖離度合いレベル情報と合わせて、判定対象となったメタデータの時間情報ＴＳｍと映像データの時間情報ＴＳｖ、およびメタデータサーバ装置識別情報６１を乖離度通知部１１４へ送る。
【００７８】
ステップＳ９０８において、乖離度通知部１１４は、乖離度検知部１１２から取得した情報を用いて、乖離度情報６０を生成する。乖離度検知部１１２から取得した情報は、乖離度合いレベル情報、メタデータの時間情報（ＴＳｍ）６３、映像データの時間情報（ＴＳｖ）６２、およびメタデータサーバ装置識別情報６１を含む。具体的には、乖離度通知部１１４は、図１０に示したテーブルに基づいて、優先オブジェクト情報９５、生成頻度調整情報９４から、乖離度合いレベル情報９３に対応する情報を選出して、乖離度情報６０を生成する。乖離度通知部１１４は、生成した乖離度情報６０を、メタデータサーバ装置３００が複数存在する場合には、メタデータ装置識別情報６１によって識別されたメタデータサーバ装置３００へ送る。
【００７９】
乖離度情報６０を受信したメタデータサーバ装置３００は、映像表示装置１００から取得した乖離度情報６０の内容に応じて、メタデータ生成の負担を低減するための処理を行うことにより、メタデータ供給の遅延を回復することができる。
【００８０】
例えば、乖離度情報６０の生成頻度調整情報６５に応じて、メタデータサーバ装置３００は、携帯装置３０１〜３０３の測位結果からメタデータ４０を生成する頻度を下げる変更を行うことができる。また、メタデータサーバ装置３００は、乖離度情報６０中の映像データの時間情報（ＴＳｖ）６２およびメタデータの時間情報（ＴＳｍ）６３に基づいて、両時間情報の間のメタデータ４０を優先的に生成することもできる。また、メタデータサーバ装置３００は、優先オブジェクト情報６４に基づいて、指定されたオブジェクトについてメタデータ４０を優先的に生成することも可能である。
【００８１】
なお、乖離度通知部１１４は、図６に示した乖離度情報６０に、乖離度合いレベル情報９３を含めて送ることも可能である。この場合、メタデータサーバ装置３００は、乖離度情報６０に含まれる各種情報に指定された複数の処理を全て行うか、一部を行うかを、乖離度合いレベル情報９３の内容に応じて判断することができる。また、乖離度通知部１１４は、乖離度合いレベル情報９３を乖離度情報６０として送信することもできる。この場合、メタデータサーバ装置３００が図１０に示したテーブルを有する構成とすれば、映像表示装置１００から優先オブジェクト情報６４等を送らずに、メタデータサーバ装置３００側でメタデータ生成負担を低減する処理を行える。
【００８２】
さらに、メタデータサーバ装置３００は、取得した乖離度情報６０の内容に基づいて警告メッセージを生成して、管理者等に通知したり、乖離度情報６０の内容等をログとして記録したりする機能を有してもよい。
【００８３】
ここで、映像表示装置１００からメタデータサーバ装置３００へ乖離度情報６０を送っても、メタデータ供給の遅延解消に時間がかかると乖離度算出部１０２が判断した場合について説明する。このような場合には、オーバレイ部１０４が、重畳映像１０上に表示する擬似的な動線（推定動線）を生成することも可能である。オーバレイ部１０４は、図１１のステップＳ９０３において算出した位置Ｐ１ｍ，Ｐ７ｍから、それぞれの移動ベクトルＶｉの量だけ移動した位置Ｐ１ｍ＋１，Ｐ７ｍ＋１に向かう推定動線を生成し、重畳映像１０に表示する。これにより、乖離度の復旧が長期化した場合でもユーザの違和感を低減させることができる。
【００８４】
なお、この場合の推定動線は、メタデータサーバ装置３００から供給されたメタデータ４０に基づいて作成された、通常の動線と区別がつくように、表示方法を変更することが望ましい。具体的には、推定動線の表示パターンを通常の動線とは変更したり（例えば、連続線を点線に変更する等）、色を変えたりする等の方法が考えられる。これにより、乖離度の復旧が長期化していることをより明確に表示し、別の手段の復旧方法の実施をユーザに促すことができる。また、メタデータ供給の遅延が乖離度情報６０のフィードバック等により回復したと乖離度算出部１０２が判断した場合には、推定動線を通常の動線に切替えることも可能である。
【００８５】
以上述べたように、本実施の形態の映像表示装置１００は、映像データの時間情報（ＴＳｖ）とメタデータの時間情報（ＴＳｍ）との比較に基づいて、メタデータ４０の供給に遅延が発生したかを判断する。そして、映像表示装置１００は、メタデータサーバ装置３００に対して、メタデータ４０の供給に遅延が発生していることをフィードバックし、その要因となり得るメタデータ生成の負担を低減させるための処理を促すことができる。これにより、メタデータ供給の遅延を抑制し、被写体１，４，７の表示位置と動線３，６，９の表示位置との乖離を抑制できるので、重畳映像１０を監視しているユーザに生じる違和感を小さくすることができる。
【００８６】
なお、映像表示装置１００は、ユーザが重畳映像１０上で違和感を生じるような、大きな乖離が発生する場合にのみ、メタデータサーバ装置３００に対するフィードバックを行うようにすることもできる。これにより、より効率よくメタデータ生成の遅れを低減させることが可能である。
【００８７】
また、本実施の形態においては、カメラが固定式であり、その視線方向等のパラメータは定まっており、乖離度算出部１０２やオーバレイ部１０４にパラメータが記憶されているものとして説明を行った。しかしながら、本発明はカメラを固定式に限定されるものではない。例えば、カメラは、固定式ではなく、撮影領域や視線方向等を変更できる可動式カメラを用いることもできる。この場合、映像表示装置１００は、カメラからその制御情報を取得するカメラ制御情報管理部を有する構成とする。そして、カメラ制御情報管理部は、取得したカメラの制御情報を、オーバレイ部１０４および乖離度算出部１０２に送る構成とすればよい。
【００８８】
図１３は、本発明の実施の形態１におけるカメラの制御情報の構成の一例を示す図である。図１３に示したように、カメラの制御情報は、カメラ識別情報、視線方向情報、カメラ視点情報、および画角情報を含む。カメラ識別情報は、カメラを識別するための識別情報（ＩＤ）である。視線方向情報は、カメラが撮影している方向であり、ベクトル値もしくは注視点の位置座標であり、映像監視システム５００で共通の空間座標系を用いることができる。カメラ視点情報は、カメラの配置された位置であり、映像監視システム５００で共通の空間座標系を用いることができる。画角情報は、配置されたカメラの撮影範囲を示し、水平方向、垂直方向の角度で表すことができる。
【００８９】
なお、本実施形態では、重畳映像１０に表示される被写体１，４，７の関連情報として、メタデータの位置情報を用いて算出した動線を用いて説明したが、本発明はこの例に限定されない。例えば、関連情報は、被写体１，４，７の位置情報の尤度を数値で表示したり、動線の太さや色の濃淡等を変更したりすることにより、被写体１，４，７の位置情報の正確さを表示することもできる。
【００９０】
また、本実施の形態においては、被写体として人物を想定して説明を行ったが、本発明はこの例に限定されるものではない。例えば、被写体としての対象は、動物、車両、または荷物等を対象として映像監視システム５００を構成することも可能である。
【００９１】
被写体が人物、動物の場合は、メタデータに、脈拍、心拍数、体温等の生体情報、およびそれらの生体情報から生成する人物や動物の体調や活動量に関する情報等を含め、関連情報として重畳映像１０に表示することも可能である。
【００９２】
また、被写体が車両の場合には、メタデータに、車両の車種、ナンバープレートの番号、エンジン回転数、バッテリーのエネルギー残量等の情報を含め、関連情報として重畳映像１０に表示することも可能である。
【００９３】
さらに、被写体が荷物の場合には、メタデータに、荷物に含まれる品物の種類や数量等を含め、関連情報として重畳映像１０に表示することも可能である。
【００９４】
また、乖離度通知部１１４からメタデータサーバ装置３００に送られる乖離度情報６０は、メタデータ４０に含まれる情報のうち、どの種別の情報を優先的に処理するかを指示する優先データ種別情報を含んでもよい。乖離度情報６０は、このような優先データ種別情報を乖離度情報に含むことによっても、前述の優先オブジェクト情報６４および生成頻度調整情報６５と同様に、メタデータサーバ装置３００のメタデータ生成の負荷を調整することができる。
【００９５】
なお、本実施の形態においては、被写体の位置情報を、メタデータサーバ装置３００が、携帯装置との通信によって生成するものとして説明を行ったが、位置情報を他の手段によって生成することも可能である。例えば、カメラ４００が撮影した映像をメタデータサーバ装置３００が取得し、映像を構成するフレームに対する画像処理によって、被写体の位置情報を生成することも可能である。このような構成によれば、被写体が携帯装置を所持していない場合でも、位置情報を生成することができる。
【産業上の利用可能性】
【００９６】
以上述べたように、本発明によれば、被写体に関連する関連情報を被写体の映像に重畳表示する映像表示装置において、被写体と関連情報との乖離を抑制し、ユーザに違和感を生じさせにくい映像表示が可能である。よって、本発明は、人体、動物、車両等の監視装置や、動物の生態調査システム、病院や介護施設等での健康管理支援システム、店舗等における顧客動向を調査するマーケティングシステム等として有用である。
【符号の説明】
【００９７】
１，４，７ 被写体
３，６，９ 動線
１０，２１，２２，２３ 重畳映像
１００ 映像表示装置
１０１ メタデータ取得部
１０２ 乖離度算出部
１０３ 映像データ取得部
１０４ オーバレイ部
１０５ 出力部
１１０ メタデータ記憶部
１１１ 移動速度量計算部
１１２ 乖離度検知部
１１３ 閾値記憶部
１１４ 乖離度通知部
２００ 映像データサーバ装置
３００ メタデータサーバ装置
３０１，３０２，３０３ 携帯装置
４００ カメラ
５００ 映像監視システム
６００ 表示装置
【技術分野】
【０００１】
本発明は、被写体に関連する関連情報を被写体の映像に重畳表示する、映像表示装置および映像表示方法に関する。
【背景技術】
【０００２】
従来から、監視等の用途において、撮影された被写体の映像に、その被写体に関連する関連情報を重畳表示する映像表示装置が実用化されてきた。このような映像表示装置の一例として、被写体の映像に、その被写体の関連情報である移動軌跡を動線として重畳表示するものがあった。
【０００３】
また、被写体の映像と、その被写体の関連情報である位置情報とを表示する映像表示装置として、被写体の映像と被写体の位置情報を、それぞれ別のサーバ装置から入力して重畳表示するものが提案されている（例えば、特許文献１を参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−１９２９８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に開示された技術は、被写体の映像に、その被写体の関連情報である移動軌跡を動線として重畳表示した場合に、以下のような課題が生じる可能性があった。特許文献１に開示の技術は、被写体の映像と位置情報を別々のサーバ装置から受信するため、サーバ装置の処理能力等により遅延が発生し、映像中の被写体の位置と被写体の移動軌跡を示す動線の位置とが乖離して表示される可能性があった。そして、この映像中の被写体と動線との表示位置の乖離は、重畳表示された映像を見るユーザに違和感を生じさせる一因となっていた。
【０００６】
このような課題に鑑みて、本発明は、被写体に関連する関連情報を被写体の映像に重畳表示する映像表示装置において、被写体と関連情報との表示位置の乖離を抑制できる映像表示装置および映像表示方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の映像表示装置は、同一対象について、映像データサーバ装置から対象の映像データを、メタデータサーバ装置から対象に関連するメタデータを、それぞれ別々に取得する映像表示装置であって、映像データサーバ装置が供給する、被写体の映像および時間情報を含む映像データを取得する映像データ取得部と、少なくとも１つのメタデータサーバ装置が供給する、時間情報を含み、被写体に関連するメタデータを取得するメタデータ取得部と、メタデータから生成された、被写体に関連する関連情報を、被写体の映像に重畳した重畳映像を生成するオーバレイ部と、メタデータに含まれる時間情報と映像データに含まれる時間情報とに基づいて、メタデータサーバ装置に対してメタデータの供給の遅れをフィードバックするための乖離度情報を生成し、乖離度情報を、被写体のメタデータを供給したメタデータサーバ装置に送る乖離度算出部とを備える。
【０００８】
また、本発明の映像表示方法は、同一対象について、映像データサーバ装置から対象の映像データを、メタデータサーバ装置から対象に関連するメタデータを、それぞれ別々に取得する映像表示装置を用いた映像表示方法であって、映像データサーバ装置が供給する、被写体の映像および時間情報を含む映像データを取得するステップと、少なくとも１つのメタデータサーバ装置が供給する、時間情報を含み、被写体に関連するメタデータを取得するステップと、メタデータから生成された、被写体に関連する関連情報を、被写体の映像に重畳した重畳映像を生成するステップと、メタデータに含まれる時間情報と映像データに含まれる時間情報とに基づいて、メタデータサーバ装置に対してメタデータの供給の遅れをフィードバックするための乖離度情報を生成するステップと、乖離度情報を、被写体のメタデータを供給したメタデータサーバ装置に送るステップとを備える。
【発明の効果】
【０００９】
本発明によれば、被写体に関連する関連情報を被写体の映像に重畳表示する映像表示装置において、被写体と関連情報との表示位置の乖離を抑制し、ユーザに違和感を生じさせにくい映像表示装置および映像表示方法を提供することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施の形態１における映像表示装置の概念を説明するための、映像表示装置が表示する映像の一例を示す図
【図２】本発明の実施の形態１における映像表示装置が表示する空間の座標系を説明するための図
【図３】本発明の実施の形態１における、映像表示装置を含む映像監視システムの構成を示すブロック図
【図４】本発明の実施の形態１における、メタデータサーバ装置から映像表示装置に送られるメタデータの構成を示す図
【図５】本発明の実施の形態１における、乖離度を説明するための図
【図６】本発明の実施の形態１における、映像表示装置の乖離度算出部からメタデータサーバ装置に対して送られる乖離度情報の構成を示す図
【図７】本発明の実施の形態１における映像表示装置の動作を示すフローチャート
【図８】本発明の実施の形態１における乖離度算出部の詳細構成を示すブロック図
【図９】本発明の実施の形態１における、閾値記憶部に記憶されている乖離度閾値の一例について説明するための図
【図１０】本発明の実施の形態１における、乖離度通知部が記憶するテーブルの一例を示す図
【図１１】本発明の実施の形態１における、乖離度算出処理を詳細に説明するためのフローチャート
【図１２】本発明の実施の形態１における移動速度量の算出方法について説明するための図
【図１３】本発明の実施の形態１におけるカメラ制御情報の構成の一例を示す図
【発明を実施するための形態】
【００１１】
（実施の形態１）
以下、本発明の実施の形態１について、図面を用いて詳細に説明する。図１は、本発明の実施の形態１における映像表示装置の概念を説明するための、映像表示装置が表示する映像の一例を示す図である。
【００１２】
本実施の形態の映像表示装置は、同一対象について、映像データサーバ装置から対象の映像データを、メタデータサーバ装置からその対象に関連するメタデータを、それぞれ別々に取得する。本実施の形態の映像表示装置は、映像データサーバ装置から取得した映像データ、および、メタデータサーバ装置から取得したメタデータを用いて、図１に示す映像（以下、重畳映像と記す）を表示する。図１に示す重畳映像１０は、映像データサーバ装置が供給する映像データの映像に映った被写体１，４，７に関連する関連情報として、その移動軌跡を示す動線３，６，９を重畳表示したものである。ここで、映像とは、カメラが撮影した静止画像（フレーム）を時系列に連続させて構成した情報である。被写体１，４，７の関連情報である移動軌跡を示す動線は、メタデータサーバ装置から供給されるメタデータから生成される。メタデータサーバ装置から供給されるメタデータは、被写体１，４，７の識別情報および位置情報等の被写体１，４，７に関連する情報、ならびに時間情報等を含む。
【００１３】
本実施の形態では、被写体１，４，７として、人物を想定して説明する。被写体１，４，７は、それぞれ携帯装置を所持している。メタデータサーバ装置は、被写体１，４，７の所持する携帯装置を測位することによって、被写体１，４，７の位置情報を取得する。メタデータサーバ装置は、各携帯装置と通信を行い、電波の方向や信号レベル等を計測することによって、各携帯装置の測位を逐次行う。メタデータサーバ装置は、測位結果から各携帯装置の位置を示す位置情報を生成する。位置情報は、図２に示したように、空間の横方向をＸ軸、奥行きをＹ軸、高さをＺ軸とする直交座標系（Ｘ，Ｙ，Ｚ）で算出される。
【００１４】
図２は、本発明の実施の形態１における映像表示装置が表示する空間の座標系を説明するための図であり、この直交座標系をグローバル座標系と記す。なお、メタデータサーバ装置は、携帯装置との通信で計測された信号レベルの強弱によって、位置情報の尤度を生成して、メタデータに含めることもできる。
【００１５】
本実施の形態では、被写体１，４，７が、携帯装置を被写体１，４，７の中心位置、人物であれば胸の位置に所持しているものとして説明する。携帯装置を胸の位置に所持することで、腕等への装着に比べて、被写体１，４，７の移動に伴う不必要な揺れによる測位への悪影響を抑制することができる。なお、本発明は、被写体１，４，７が携帯装置を所持する場所を胸の位置に限定されるものではない。
【００１６】
図３は、本発明の実施の形態１における、映像表示装置１００を含む映像監視システム５００の構成を示すブロック図である。
【００１７】
図３に示したように、映像監視システム５００は、メタデータサーバ装置３００、映像データサーバ装置２００、映像表示装置１００、および表示装置６００を含む。映像表示装置１００は、メタデータサーバ装置３００、映像データサーバ装置２００、および表示装置６００に接続されている。これらの接続は、例えばＴＣＰ／ＩＰ等の通信プロトコルを用いた有線または無線のネットワークを用いることができ、また、ＵＳＢ等のコンピュータ用インタフェースを用いることもできる。また、映像表示装置１００と表示装置６００との接続は、映像用インタフェースを用いることができる。なお、映像表示装置１００と接続されるメタデータサーバ装置３００は複数であってもよい。
【００１８】
メタデータサーバ装置３００は、被写体１，４，７それぞれが所持する携帯装置３０１，３０２，３０３を測位し、その結果から位置情報を生成する。続いて、メタデータサーバ装置３００は、生成した位置情報を、携帯装置を所持する被写体を識別する識別情報（オブジェクトＩＤ）および測位した時刻を表す時間情報(タイムスタンプ（ＴＳｍ））等と共に、メタデータとして映像表示装置１００に供給する。本実施の形態において、オブジェクトＩＤは、携帯装置の識別情報（ＩＤ）を用いるものとする。携帯装置３０１〜３０３は、例えば、無線ＩＣタグ、ＧＰＳ端末等を用いることができる。携帯装置３０１〜３０３にＧＰＳ端末を用いた場合、メタデータサーバ装置３００は、ＧＰＳ端末から取得した位置情報をそのままメタデータに含めることができる。
【００１９】
図４は、本発明の実施の形態１における、メタデータサーバ装置３００から映像表示装置１００に供給されるメタデータの構成を示す図である。図４に示したように、メタデータ４０は、メタデータサーバ装置識別情報４１、メタデータの時間情報（ＴＳｍ）４２、オブジェクト数４３、およびオブジェクト情報４４を含む。
【００２０】
メタデータサーバ装置識別情報４１は、メタデータサーバ装置３００を識別するための識別情報（ＩＤ）である。メタデータの時間情報（ＴＳｍ）４２は、携帯装置３０１〜３０３を測位した時刻である。オブジェクト数４３は、メタデータ中に含まれるオブジェクト情報の数である。本実施の形態において、オブジェクト数４３は、「３」とする。オブジェクト情報４４には、携帯装置を所持する被写体（オブジェクト）を識別するための識別情報であるオブジェクトＩＤ４５と、それぞれの位置情報４６との組が、オブジェクト数４３だけ含まれているものとする。本実施の形態において、オブジェクトＩＤは、被写体が所持する携帯装置の識別情報(ＩＤ)を用いるが、被写体の識別情報を用いることも可能である。
【００２１】
なお、メタデータ４０は、位置情報を取得・生成できたオブジェクトのみ、オブジェクト情報４４を含んでもよい。また、メタデータサーバ装置３００は、位置情報の取得・生成処理が可能な最大のオブジェクトの数だけの領域をあらかじめ確保し、位置情報が取得・生成できたかどうかの結果を含め、全てのオブジェクトのオブジェクト情報４４を含んでもよい。メタデータ４０は、位置情報を取得・生成できたオブジェクトのオブジェクト情報４４のみを含めることにより、データ量を低減することができる。また、メタデータ４０は、全てのオブジェクト数４３だけの領域をあらかじめ確保することで、データのサイズを固定長とすることができ、データ処理負荷の軽減が期待できる。
【００２２】
図３に戻って、映像データサーバ装置２００は、カメラ４００によって撮影された被写体１，４，７が映った映像を取得し、映像が撮影された時刻を表す時間情報（ＴＳｖ）を付した映像データとして映像表示装置１００に供給する。映像データは、時系列に、被写体１，４，７が映ったフレームと、フレームが撮影された時刻を示す時間情報（ＴＳｖ）とを含む。
【００２３】
映像表示装置１００は、映像データサーバ装置２００から映像データを、メタデータサーバ装置３００からメタデータ４０を、それぞれ取得する。続いて、映像表示装置１００は、被写体１，４，７の映った映像に、メタデータ４０から生成された、被写体１，４，７の関連情報である移動軌跡を示す動線３，６，９を、重畳した重畳映像１０を生成し、表示装置６００に送る。また、映像表示装置１００は、重畳映像１０上の被写体１，４，７の表示位置と被写体１，４，７の動線３，６，９の表示位置との乖離度を算出し、算出した結果を含む乖離度情報を生成する。乖離度の詳細については、後述する。さらに、映像表示装置１００は、生成した乖離度情報を、被写体１，４，７のメタデータを供給したメタデータサーバ装置３００へ送る。
【００２４】
次に、映像表示装置１００の構成について説明する。
【００２５】
図３における映像表示装置１００は、メタデータ取得部１０１、乖離度算出部１０２、映像データ取得部１０３、オーバレイ部１０４、および出力部１０５を備える。
【００２６】
メタデータ取得部１０１は、メタデータサーバ装置３００が供給する、時間情報（ＴＳｍ）を含む、被写体１，４，７に関連するメタデータ４０を取得する。メタデータ取得部１０１は、取得したメタデータ４０を、乖離度算出部１０２およびオーバレイ部１０４に送る。
【００２７】
映像データ取得部１０３は、映像データサーバ装置２００が供給する、被写体１，４，７の映像および時間情報（ＴＳｖ）を含む映像データを取得して、オーバレイ部１０４に送る。また、映像データ取得部１０３は、映像データに含まれる時間情報（ＴＳｖ）を乖離度算出部１０２に送る。
【００２８】
乖離度算出部１０２は、映像データ取得部１０３から取得した映像データに含まれる時間情報（ＴＳｖ）と、メタデータ取得部１０１から取得したメタデータ４０に含まれる時間情報（ＴＳｍ）とに基づいて、乖離度情報を生成する。乖離度情報は、メタデータサーバ装置３００に対して、メタデータの供給の遅れをフィードバックするための情報である。乖離度算出部１０２は、生成した乖離度情報を、被写体１，４，７のメタデータ４０を供給したメタデータサーバ装置３００にフィードバックする。また、乖離度算出部１０２は、乖離度情報を生成するために、被写体１，４，７の表示位置と動線３，６，９の表示位置との間の乖離度を算出する。
【００２９】
ここで、乖離度について説明する。図５は、本発明の実施の形態１における、乖離度を説明するための図である。図５において、重畳映像２１，２２，２３には、被写体１とその移動軌跡を示す動線３が表示され、重畳映像２１，２２，２３の順に表示されるものとする。時刻Ｔ０において表示される重畳映像２１では、被写体１と動線３とが繋がって表示されている。しかし、時刻Ｔ１，Ｔ２において表示される重畳映像２２，２３では、被写体１は移動しているが、動線３の位置は重畳映像２１と変化せず、被写体１に追従していない。すなわち、重畳映像２２，２３において、被写体１と動線３との間は乖離しており、この度合いを乖離度とする。
【００３０】
このような乖離は、携帯装置３０１〜３０３の増加等により、メタデータサーバ装置３００におけるメタデータ４０の生成処理の負荷増大等に伴うメタデータ生成処理の遅れ、または、メタデータ４０の伝送遅延等が、原因となり得る。これら処理の遅れ等に起因して、メタデータサーバ装置３００から供給されるメタデータ４０の到着が、映像データサーバ装置２００から供給される映像データよりも遅延すると、前述の乖離が発生する。図５に示す大きな乖離は、重畳映像２１，２２，２３を見たユーザに、被写体１は動いているのに、動線３は追従していないという違和感を生じさせる可能性がある。なお、乖離度算出部１０２における、乖離度のより詳細な算出方法については、後述する。
【００３１】
続いて、乖離度算出部１０２は、算出した乖離度の値に応じて、メタデータサーバ装置３００からのメタデータ４０の供給に遅れが発生していることを、メタデータサーバ装置３００に対してフィードバックするための乖離度情報を生成する。そして、乖離度算出部１０２は、乖離度情報をメタデータサーバ装置３００に対してフィードバックする。図６は、本発明の実施の形態１において、映像表示装置１００の乖離度算出部１０２からメタデータサーバ装置３００に対して送られる乖離度情報の構成を示す図である。図６に示したように、乖離度情報６０は、メタデータサーバ装置識別情報６１、映像データの時間情報（ＴＳｖ）６２、メタデータの時間情報（ＴＳｍ）６３、優先オブジェクト情報６４、および生成頻度調整情報６５を含む。
【００３２】
メタデータサーバ装置識別情報６１は、乖離度情報６０を送るメタデータサーバ装置３００を識別するための識別情報（ＩＤ）である。映像データの時間情報（ＴＳｖ）６２は、乖離度を算出した映像データに含まれる時間情報である。メタデータの時間情報（ＴＳｍ）６３は、乖離度を算出したメタデータ４０に含まれる時間情報である。
【００３３】
優先オブジェクト情報６４は、乖離度情報６０をフィードバックされたメタデータサーバ装置３００が、乖離度を抑制するための処理の一つとして、複数の被写体１，４，７のうち、優先的にメタデータ４０を生成する被写体の情報を示す。つまり、優先オブジェクト情報６４は、複数の携帯端末３０１〜３０３のうち、メタデータサーバ装置３００で優先的にメタデータを生成すべき携帯装置の情報を示すものである。優先オブジェクト情報６４は、あらかじめ管理者によって乖離度（後述する乖離度合いレベル情報）の値ごとに、少なくとも１つのオブジェクトＩＤ６６（携帯装置を所持する被写体の識別情報）をメタデータ生成の優先度の高い順に並べたものである。乖離度算出部１０２は、乖離度合いレベル情報の値に応じて優先的にメタデータ４０を生成するオブジェクトを選出する。なお、優先オブジェクト情報６４に記述のない場合は、優先設定がないものとする。このように、優先オブジェクト情報６４を含む乖離度情報６０を送ることにより、メタデータサーバ装置３００は、全ての携帯装置ではなく、管理者によって重要と考えられるオブジェクトのメタデータ４０を優先的に生成することができる。
【００３４】
生成頻度調整情報６５は、メタデータサーバ装置３００におけるメタデータ４０の生成頻度の情報を示す。生成頻度調整情報６５としては、例えばメタデータサーバ装置３００が携帯装置３０１〜３０３の測位結果の全てからメタデータを生成する場合を「１００％」として、それに対する比率で表現することができる。例えば、生成頻度調整情報６５が「５０％」の場合には、携帯装置３０１〜３０３の測位結果からのメタデータの生成を、２回に１回の頻度とすることを意味するものとする。なお、生成頻度調整情報６５は、時間（例えば「１００ｍｓｅｃ」）等を用いて表現することも可能である。このように、生成頻度調整情報６５を含む乖離度情報６０を受信したメタデータサーバ装置３００は、負荷増大等による処理遅延に対して、メタデータ生成の頻度を下げる調整により、メタデータ生成の遅延を解消することが出来る。また、乖離度算出部１０２は、メタデータの到着の遅延が解消したと判断したときには、生成頻度調整情報６５の値を大きくし、メタデータサーバ装置３００でのメタデータ生成の頻度を初期状態に戻す等の調整も可能である。
【００３５】
なお、乖離度情報６０は、図６に示した構成とは異なる構成も可能で、例えば、乖離度の度合いを示す乖離度合いレベル情報を、乖離度情報としてメタデータサーバ装置３００に送ることもできる。乖離度合いレベル情報としては、例えば、被写体と動線の乖離が無い場合を値「０」とし、乖離が発生している場合は、その度合いに応じてあらかじめ規定した範囲の値（例えば、０〜１０）で表現することができる。なお、乖離度合いレベル情報は、乖離が無い場合とある場合の２値で表現してもよい。
【００３６】
図３に戻って、映像表示装置１００のオーバレイ部１０４は、映像データ取得部１０３から映像データを取得し、メタデータ取得部１０１からメタデータ４０を取得する。続いて、オーバレイ部１０４は、メタデータ取得部１０１から取得したメタデータ４０から生成された、被写体１，４，７に関連する関連情報である動線３，６，９を、映像データ中の被写体の映像に重畳した重畳映像１０を生成する。そして、オーバレイ部１０４は、生成した重畳映像１０を出力部１０５に送る。
【００３７】
出力部１０５は、オーバレイ部１０４から取得した重畳映像１０を表示装置６００に送り、表示装置６００は、出力部１０５から取得した重畳映像１０を表示する。
【００３８】
なお、映像表示装置１００は、表示装置６００を内蔵する構成であってもよい。
【００３９】
次に、映像表示装置１００の動作について説明する。図７は、本発明の実施の形態１における映像表示装置１００の動作を示すフローチャートである。
【００４０】
まず、ステップＳ７０１において、メタデータ取得部１０１がメタデータサーバ装置３００からメタデータ４０を取得し、映像データ取得部１０３が映像データサーバ装置２００から映像データを取得する。
【００４１】
次に、ステップＳ７０２において、乖離度算出部１０２は、メタデータ取得部１０１からメタデータ４０を、映像データ取得部１０３から映像データの時間情報（ＴＳｖ）６２を、それぞれ取得する。次に、乖離度算出部１０２は、取得したメタデータ４０と映像データの時間情報（ＴＳｖ）６２とを用いて乖離度を算出する。
【００４２】
ステップＳ７０３において、乖離度算出部１０２は、前記ステップＳ７０２の乖離度算出の結果に基づいて乖離度情報６０を生成し、メタデータサーバ装置３００へ送る。
【００４３】
ステップＳ７０４において、オーバレイ部１０４は、メタデータ取得部１０１からメタデータを取得し、携帯装置３０１〜３０３の位置情報（グローバル座標系）をフレームの画像座標系へ座標変換処理する。
【００４４】
ここで、フレームの画像座標系とは、フレーム全体を対象とする２次元の座標系である。また、フレームの画像座標系は、フレームの左上隅を原点（０，０）として、原点から右方向に進む座標軸をＸＳ軸、原点から下方向に進む座標軸をＹＳ軸とし、単位はｐｉｘｅｌで表現される座標系である。なお、原点はフレームの左上隅以外の任意の位置とすることができる。携帯装置３０１〜３０３の位置情報をフレームの画像座標系に座標変換するには、カメラ４００の焦点距離や画素ピッチ等の情報、グローバル座標系におけるカメラ４００の撮影方向である視線方向、および、配置位置等の情報が必要である。これらの情報は、オーバレイ部１０４にあらかじめ与えられているものとする。本実施の形態においては、ＸＳ軸はカメラ４００の視線方向と垂直に交わり、ＹＳ軸はカメラ４００の視線方向と平行であるとして説明する。
【００４５】
続いて、オーバレイ部１０４は、座標変換処理された位置情報を、被写体１，４，７の移動軌跡を示す動線３，６，９を構成する情報として、メモリ等を用いて一定量（例えば１００個）保持する。そして、オーバレイ部１０４は、映像データ取得部１０３から取得した映像データの時間情報（ＴＳｖ）６２までの動線３，６，９をメモリから読み出し、映像データのフレームの該当する座標位置に描画を行って重畳映像１０を生成する。
【００４６】
ステップＳ７０５において、オーバレイ部１０４は、生成した重畳映像１０を出力部１０５へ送る。続いて、出力部１０５は、重畳映像１０を表示装置６００へ送る。表示装置６００は、重畳映像１０をディスプレイ等で表示する。
【００４７】
ステップＳ７０５が終了すると、ステップＳ７０１に戻り処理を継続する。
【００４８】
なお、映像表示装置１００の動作は、ステップＳ７０２からＳ７０３までの一連の処理と、ステップＳ７０４からＳ７０５までの一連の処理との順序を入れ替えることも可能である。
【００４９】
次に、乖離度算出部１０２の構成および乖離度の算出方法について、さらに詳細に説明する。図８は、本発明の実施の形態１における乖離度算出部１０２の詳細構成を示すブロック図である。乖離度算出部１０２は、メタデータ記憶部１１０、移動速度量計算部１１１、乖離度検知部１１２、閾値記憶部１１３、および乖離度通知部１１４を有する。
【００５０】
メタデータ記憶部１１０は、メタデータ取得部１０１からメタデータ４０を取得して記憶する。
【００５１】
移動速度量計算部１１１は、メタデータ記憶部１１０が取得したメタデータ４０に含まれる位置情報等に基づいて、各被写体１，４，７が重畳映像１０上で次に移動すると予測される量（移動速度量と記し、詳細は後述）をそれぞれ計算する。そして、移動速度量計算部１１１は、最も大きい値を有する被写体の移動速度量（Ｖｉ’）を乖離度検知部１１２へ送る。最も大きい値の移動速度量（Ｖｉ’）を有する被写体が、最も被写体と動線との乖離度が大きくなると推測されることから、移動速度量計算部１１１は、もっとも大きい値の移動速度量（Ｖｉ’）を有する被写体の情報のみを送る。これにより、乖離度検知部１１２は、移動速度量計算部１１１から送られた被写体に関する処理を行うだけで済む。
【００５２】
乖離度検知部１１２は、移動速度量計算部１１１から取得した移動速度量（Ｖｉ’）に基づいて、閾値記憶部１１３から乖離度閾値（Ｔｔｈｄ）を選択し、取得する。また、乖離度検知部１１２は、映像データ取得部１０３から取得した映像データの時間情報（ＴＳｖ）６２と、メタデータ記憶部１１０から取得したメタデータの時間情報（ＴＳｍ）４２とを比較する。そして、乖離度検知部１１２は、その差分が乖離度閾値（Ｔｔｈｄ）を超過しているかどうかを判定し、その判定結果に基づいた乖離度合いレベル情報を算出する。続いて、乖離度検知部１１２は、判定を行ったメタデータを供給したメタデータサーバ装置識別情報、映像データの時間情報（ＴＳｖ）およびメタデータの時間情報（ＴＳｍ）とともに乖離度合いレベル情報を乖離度通知部１１４へ送る。
【００５３】
図９は、本発明の実施の形態１における、閾値記憶部１１３に記憶されている乖離度閾値（Ｔｔｈｄ）の一例について説明するための図である。閾値記憶部１１３は、映像監視システム５００の管理者等が任意に設定することができ、移動速度量（Ｖｉ’）９１ごとの乖離度閾値（Ｔｔｈｄ）９２を記憶している。移動速度量（Ｖｉ’）が小さいと、ＴＳｖとＴＳｍとの差分が小さいうちは重畳映像１０上の被写体の位置と動線の位置との乖離度は小さいため、重畳映像１０を見るユーザは、違和感を生じにくいと推定される。逆に、移動速度量（Ｖｉ’）が大きいと、ＴＳｖとＴＳｍとの差分が小さくても乖離が大きくなりやすく、ユーザは違和感を生じやすいと推定される。このため、閾値記憶部１１３は、移動速度量（Ｖｉ’）９１の大きさに応じて乖離度閾値（Ｔｔｈｄ）９２を設定している。
【００５４】
図８に戻って、乖離度通知部１１４は、乖離度検知部１１２から、乖離度合いレベル情報、メタデータの時間情報（ＴＳｍ）４２、映像データの時間情報（ＴＳｖ）６２、およびメタデータサーバ装置識別情報６１を取得する。続いて、乖離度通知部１１４は、乖離度合いレベル情報に対応する乖離度情報６０を生成する。具体的には、乖離度通知部１１４は、あらかじめ管理者などが任意に設定した優先オブジェクト情報６４、生成頻度調整情報６５から、乖離度合いレベル情報に応じた値を選択し、乖離度情報６０を生成する。そして、乖離度通知部１１４は、生成した乖離度情報６０をメタデータサーバ装置３００へ送る。
【００５５】
図１０は、本発明の実施の形態１における、乖離度通知部１１４が記憶するテーブルの一例を示す図であり、乖離度合いレベル情報９３の値に対応した生成頻度調整情報９４および優先オブジェクト情報９５が記憶されている。乖離度通知部１１４は、図１０のテーブルを用いて、乖離度合いレベル情報９３の値に対応した生成頻度調整情報９４および優先オブジェクト情報９５を選択することができる。
【００５６】
次に、乖離度算出処理について、詳細に説明する。
【００５７】
本実施の形態の映像表示装置１００においては、映像データとメタデータ４０とが、それぞれ別のサーバ装置から送られる。本実施の形態の映像データに含まれる映像には、どの部分の画素が被写体１，４，７であるかを示す情報は含まれないものとする。よって、映像表示装置１００は、取得した映像に表示された被写体１，４，７の位置と、取得したメタデータ４０から生成した動線３，６，９を表示する位置との距離を、座標系の異なるため位置情報から算出することは難しい。
【００５８】
そこで、本実施の形態では、重畳映像上の被写体１，４，７の表示位置と動線３，６，９の表示位置との乖離度を、乖離の発生要因であるメタデータ４０の到着の遅延の大きさから判定するため、映像データとメタデータとの時間差を用いる。つまり、メタデータの時間情報（ＴＳｍ）と映像データの時間情報（ＴＳｖ）とを比較し、その差分が大きくなれば、メタデータ４０の到着に遅延が発生して、被写体１，４，７と動線３，６，９とが乖離していると推定する。
【００５９】
また、被写体１，４，７と動線３，６，９との乖離度は、重畳映像１０における被写体１，４，７の移動方向や速度等によって、その見え方が変化する。よって、映像表示装置１００は、取得したメタデータ４０から被写体１，４，７ごとにその移動方向や移動の大きさ（速度）を算出し、さらに重畳映像１０を見るユーザの視線、すなわちカメラ４００の視線方向も考慮して乖離度を算出する。
【００６０】
図１１は、本発明の実施の形態１における、乖離度算出処理を詳細に説明するためのフローチャートである。
【００６１】
まず、ステップＳ９０１において、乖離度検知部１１２は、映像データ取得部１０３から最も新しい映像データの時間情報（ＴＳｖ）を取得する。また、乖離度検知部１１２は、メタデータ記憶部１１０から、メタデータ記憶部１１０が記憶しているメタデータ４０の中で最も新しいメタデータの時間情報（ＴＳｍ）を取得する。
【００６２】
図１２は、本発明の実施の形態１における移動速度量（Ｖｉ’）の算出方法について説明するための図であり、以下のステップＳ９０２〜Ｓ９０４は図１１と図１２を併用し、被写体１，７について説明する。
【００６３】
ステップＳ９０２において、移動速度量計算部１１１は、メタデータ記憶部１１０から最新の時間情報ＴＳｍを有するメタデータ４０と、そのひとつ前の時間情報ＴＳｍ−１を有するメタデータ４０とを取得する。
【００６４】
続いて、移動速度量計算部１１１は、最新のメタデータ４０に含まれている被写体１，７の位置情報（グローバル座標系）を、フレームの画像座標系（ＸＳ，ＹＳの２次元座標系）に座標変換処理する。この座標変換処理は、図７のステップＳ７０４において、オーバレイ部１０４が被写体１，４，７の位置情報をフレームの画像座標系に座標変換する処理と同様に行うことができる。
【００６５】
図１２は、移動速度量計算部１１１において被写体１，７の位置情報を座標変換した、最新の時間情報ＴＳｍおよびそのひとつ前の時間情報ＴＳｍ−１のフレームの画像座標を示す。具体的には、時間情報ＴＳｍにおける被写体１の、フレームの画像座標系に座標変換した後の画面上の位置をＰ１ｍ、被写体７の画面上の位置をＰ７ｍとしてそれぞれ示す。また、図１２では、時間情報ＴＳｍ−１における、重畳映像１０上の被写体１の画面上の位置をＰ１ｍ−１，被写体７の位置をＰ７ｍ−１として示す。
【００６６】
次に、移動速度量計算部１１１は、被写体１，７ごとに座標変換処理を行い、時間情報ＴＳｍにおける画面上の位置Ｐ１ｍ，Ｐ７ｍと、時間情報ＴＳｍ−１における画面上の位置Ｐ１ｍ-1，Ｐ７ｍ-1との座標間の距離を算出する。座標間の距離は、被写体１，７ごとに、最も新しいメタデータ取得間隔あたりの移動方向と移動の大きさ（速度）を表す移動ベクトルＶｉ（ｉ＝１，２，３，，， オブジェクトＩＤ）で表される。また、移動ベクトルＶｉは、被写体１の移動ベクトルをＶ１、被写体７の移動ベクトルをＶ７として図１２に示される。
【００６７】
ステップＳ９０３において、移動速度量計算部１１１は、時間情報ＴＳｍにおける被写体１，７の位置Ｐ１ｍ，Ｐ７ｍから、それぞれの移動ベクトルＶｉの量だけ移動したと推定した時間情報ＴＳｍ＋１における画像上の位置を算出する。算出した時間情報ＴＳｍ＋１における画像上の位置は、被写体１の画像上の位置をＰ１ｍ＋１、被写体７の画像上の位置をＰ７ｍ＋１として図１２に示される。位置Ｐ１ｍ＋１，Ｐ７ｍ＋１は、時間情報ＴＳｍの次の時間情報を有するメタデータを取得した場合に、各被写体１，７が移動していると推定される位置である。
【００６８】
ここで、図１２の重畳映像１０における、被写体１，７の表示位置と動線３，９の表示位置との乖離度は、被写体１，７と動線３，９とが離れる程、より大きくなる。
【００６９】
しかし、被写体１，７の移動方向によって、被写体１，７と動線３，９とがどちらも同じ距離離れていても、乖離度の見え方は異なる。例えば、図１２の被写体７は、カメラ４００の視線方向に平行に直進してくる場合を想定する。この場合、動線９の延長線上には被写体７の頭部等が存在するので、たとえ動線９と、被写体７の胸の位置とが大きく乖離していたとしても、実際には胸から頭部までの画面上の距離を差し引いた距離だけ乖離しているように見える。一方、被写体１は、カメラ４００の視線方向に対して垂直な方向に移動する場合を想定する。この場合には、前述の場合と比較して、乖離を差し引く被写体１の領域が少ないため、被写体１と動線４との距離の大きさが、被写体７と動線９との距離と同じであっても、重畳映像１０上では、より大きく乖離が発生しているように見える。つまり、図１２に示す重畳映像１０は、被写体１，７の移動方向により、乖離の見え方が異なることを示している。
【００７０】
一例として、図１２において、被写体１と被写体７の移動ベクトルＶｉの大きさが同じであって、動線３，９が遅延によりＰ１ｍ，Ｐ７ｍの位置で止まってしまった場合を想定する。この場合には、被写体７と動線９との乖離度よりも、被写体１と動線３との乖離度の方が大きく見えることになる。
【００７１】
本実施の形態の移動速度量計算部１１１は、上述した被写体１，７の移動方向を考慮した乖離度を算出するために、図１２にα１，α７として示す、ベクトルである移動速度量補正値を用いて移動速度量Ｖ１’，Ｖ７’を算出する。移動速度量補正値αは、あらかじめ管理者が被写体１，７の進行方向ごとに登録するか、あるいは、被写体１，７の進行方向に応じて演算できるように数式化してもよい。本実施の形態では、被写体７がカメラ４００の視線方向と同一方向に移動する場合には、最大の移動速度量補正値α７をとるものとする。一方、被写体１がカメラ４００の視線方向と垂直方向に移動する場合には、最小の移動速度量補正値α１をとるものとする（α１＜α７）。また、被写体１，７がカメラ４００の視線方向に対して所定の角度で移動する場合には、移動速度量補正値は、α１からα７までの間の値をとるものとする。
【００７２】
移動速度量計算部１１１は、被写体１，７の移動方向を考慮した乖離度を算出する。具体的には、移動速度量計算部１１１は、位置Ｐ１ｍ，Ｐ７ｍよりそれぞれの移動ベクトルＶｉ分だけ移動した位置Ｐ１ｍ＋１，Ｐ７ｍ＋１から、移動速度量補正値α１，α７を差し引く。そして、移動速度量計算部１１１は、その差し引いた位置と位置Ｐ１ｍ，Ｐ７ｍとの座標間のベクトルを被写体１，７の移動速度量Ｖ１’，Ｖ７’として算出する。
【００７３】
なお、カメラ４００からの距離の違いにより、重畳映像１０中の被写体１，７の大きさや被写体１，７の映る領域（遠距離では全身が映り、近距離では頭頂部が映るが足元は映らない等）が変わることによっても、乖離度の見え方は異なる。映像表示装置１００は、これらの現象を利用して、移動速度量補正値αを定めることも可能である。
【００７４】
ステップＳ９０４において、移動速度量計算部１１１は、被写体１，７の表示位置と動線３，９の表示位置との乖離が最も大きいと予測される被写体を特定する。このために、移動速度量計算部１１１は、移動速度量Ｖ１’，Ｖ７’の中から最も大きな値を有する被写体を選出し、その移動速度量を乖離度検知部１１２に送る。図１２に示した例では、移動速度量Ｖ１’が最も大きくなるため、移動速度量Ｖ１’のベクトル量を乖離度検知部１１２へ送る。乖離度検知部１１２は、移動速度量Ｖ１’のベクトル量に応じた乖離度閾値（Ｔｔｈｄ）を閾値記憶部１１３から取得する。
【００７５】
ステップＳ９０５において、乖離度検知部１１２は、ステップＳ９０１にて取得した、メタデータの時間情報ＴＳｍと映像データの時間情報ＴＳｖとの差分を算出する。そして、乖離度検知部１１２は、その差分がステップＳ９０４で取得した乖離度閾値（Ｔｔｈｄ）を超過したと判断した場合に、重畳映像１０上の被写体の位置と動線の位置との間で乖離が発生したと判断し、ステップＳ９０６に進む。また、超過していない場合には、乖離度検知部１１２は、乖離が発生していない、または発生していた乖離が復旧したと判断し、ステップＳ９０７へ進む。
【００７６】
ステップＳ９０６においては、乖離が発生した場合の処理として、乖離度検知部１１２は、時間情報ＴＳｍとＴＳｖとの差分に応じて、乖離度、具体的には乖離度合いレベル情報を算出する。乖離度検知部１１２は、算出した乖離度合いレベル情報を、判定対象となったメタデータの時間情報ＴＳｍと映像データの時間情報ＴＳｖ、およびメタデータサーバ装置識別情報６１と合わせて乖離度通知部１１４へ送る。
【００７７】
ステップＳ９０７においては、乖離が発生していない、または発生していた乖離が復旧した場合の処理として、乖離度検知部１１２は、乖離度合いレベル情報を「０」として乖離度通知部１１４へ送る。乖離度検知部１１２は、乖離度合いレベル情報と合わせて、判定対象となったメタデータの時間情報ＴＳｍと映像データの時間情報ＴＳｖ、およびメタデータサーバ装置識別情報６１を乖離度通知部１１４へ送る。
【００７８】
ステップＳ９０８において、乖離度通知部１１４は、乖離度検知部１１２から取得した情報を用いて、乖離度情報６０を生成する。乖離度検知部１１２から取得した情報は、乖離度合いレベル情報、メタデータの時間情報（ＴＳｍ）６３、映像データの時間情報（ＴＳｖ）６２、およびメタデータサーバ装置識別情報６１を含む。具体的には、乖離度通知部１１４は、図１０に示したテーブルに基づいて、優先オブジェクト情報９５、生成頻度調整情報９４から、乖離度合いレベル情報９３に対応する情報を選出して、乖離度情報６０を生成する。乖離度通知部１１４は、生成した乖離度情報６０を、メタデータサーバ装置３００が複数存在する場合には、メタデータ装置識別情報６１によって識別されたメタデータサーバ装置３００へ送る。
【００７９】
乖離度情報６０を受信したメタデータサーバ装置３００は、映像表示装置１００から取得した乖離度情報６０の内容に応じて、メタデータ生成の負担を低減するための処理を行うことにより、メタデータ供給の遅延を回復することができる。
【００８０】
例えば、乖離度情報６０の生成頻度調整情報６５に応じて、メタデータサーバ装置３００は、携帯装置３０１〜３０３の測位結果からメタデータ４０を生成する頻度を下げる変更を行うことができる。また、メタデータサーバ装置３００は、乖離度情報６０中の映像データの時間情報（ＴＳｖ）６２およびメタデータの時間情報（ＴＳｍ）６３に基づいて、両時間情報の間のメタデータ４０を優先的に生成することもできる。また、メタデータサーバ装置３００は、優先オブジェクト情報６４に基づいて、指定されたオブジェクトについてメタデータ４０を優先的に生成することも可能である。
【００８１】
なお、乖離度通知部１１４は、図６に示した乖離度情報６０に、乖離度合いレベル情報９３を含めて送ることも可能である。この場合、メタデータサーバ装置３００は、乖離度情報６０に含まれる各種情報に指定された複数の処理を全て行うか、一部を行うかを、乖離度合いレベル情報９３の内容に応じて判断することができる。また、乖離度通知部１１４は、乖離度合いレベル情報９３を乖離度情報６０として送信することもできる。この場合、メタデータサーバ装置３００が図１０に示したテーブルを有する構成とすれば、映像表示装置１００から優先オブジェクト情報６４等を送らずに、メタデータサーバ装置３００側でメタデータ生成負担を低減する処理を行える。
【００８２】
さらに、メタデータサーバ装置３００は、取得した乖離度情報６０の内容に基づいて警告メッセージを生成して、管理者等に通知したり、乖離度情報６０の内容等をログとして記録したりする機能を有してもよい。
【００８３】
ここで、映像表示装置１００からメタデータサーバ装置３００へ乖離度情報６０を送っても、メタデータ供給の遅延解消に時間がかかると乖離度算出部１０２が判断した場合について説明する。このような場合には、オーバレイ部１０４が、重畳映像１０上に表示する擬似的な動線（推定動線）を生成することも可能である。オーバレイ部１０４は、図１１のステップＳ９０３において算出した位置Ｐ１ｍ，Ｐ７ｍから、それぞれの移動ベクトルＶｉの量だけ移動した位置Ｐ１ｍ＋１，Ｐ７ｍ＋１に向かう推定動線を生成し、重畳映像１０に表示する。これにより、乖離度の復旧が長期化した場合でもユーザの違和感を低減させることができる。
【００８４】
なお、この場合の推定動線は、メタデータサーバ装置３００から供給されたメタデータ４０に基づいて作成された、通常の動線と区別がつくように、表示方法を変更することが望ましい。具体的には、推定動線の表示パターンを通常の動線とは変更したり（例えば、連続線を点線に変更する等）、色を変えたりする等の方法が考えられる。これにより、乖離度の復旧が長期化していることをより明確に表示し、別の手段の復旧方法の実施をユーザに促すことができる。また、メタデータ供給の遅延が乖離度情報６０のフィードバック等により回復したと乖離度算出部１０２が判断した場合には、推定動線を通常の動線に切替えることも可能である。
【００８５】
以上述べたように、本実施の形態の映像表示装置１００は、映像データの時間情報（ＴＳｖ）とメタデータの時間情報（ＴＳｍ）との比較に基づいて、メタデータ４０の供給に遅延が発生したかを判断する。そして、映像表示装置１００は、メタデータサーバ装置３００に対して、メタデータ４０の供給に遅延が発生していることをフィードバックし、その要因となり得るメタデータ生成の負担を低減させるための処理を促すことができる。これにより、メタデータ供給の遅延を抑制し、被写体１，４，７の表示位置と動線３，６，９の表示位置との乖離を抑制できるので、重畳映像１０を監視しているユーザに生じる違和感を小さくすることができる。
【００８６】
なお、映像表示装置１００は、ユーザが重畳映像１０上で違和感を生じるような、大きな乖離が発生する場合にのみ、メタデータサーバ装置３００に対するフィードバックを行うようにすることもできる。これにより、より効率よくメタデータ生成の遅れを低減させることが可能である。
【００８７】
また、本実施の形態においては、カメラが固定式であり、その視線方向等のパラメータは定まっており、乖離度算出部１０２やオーバレイ部１０４にパラメータが記憶されているものとして説明を行った。しかしながら、本発明はカメラを固定式に限定されるものではない。例えば、カメラは、固定式ではなく、撮影領域や視線方向等を変更できる可動式カメラを用いることもできる。この場合、映像表示装置１００は、カメラからその制御情報を取得するカメラ制御情報管理部を有する構成とする。そして、カメラ制御情報管理部は、取得したカメラの制御情報を、オーバレイ部１０４および乖離度算出部１０２に送る構成とすればよい。
【００８８】
図１３は、本発明の実施の形態１におけるカメラの制御情報の構成の一例を示す図である。図１３に示したように、カメラの制御情報は、カメラ識別情報、視線方向情報、カメラ視点情報、および画角情報を含む。カメラ識別情報は、カメラを識別するための識別情報（ＩＤ）である。視線方向情報は、カメラが撮影している方向であり、ベクトル値もしくは注視点の位置座標であり、映像監視システム５００で共通の空間座標系を用いることができる。カメラ視点情報は、カメラの配置された位置であり、映像監視システム５００で共通の空間座標系を用いることができる。画角情報は、配置されたカメラの撮影範囲を示し、水平方向、垂直方向の角度で表すことができる。
【００８９】
なお、本実施形態では、重畳映像１０に表示される被写体１，４，７の関連情報として、メタデータの位置情報を用いて算出した動線を用いて説明したが、本発明はこの例に限定されない。例えば、関連情報は、被写体１，４，７の位置情報の尤度を数値で表示したり、動線の太さや色の濃淡等を変更したりすることにより、被写体１，４，７の位置情報の正確さを表示することもできる。
【００９０】
また、本実施の形態においては、被写体として人物を想定して説明を行ったが、本発明はこの例に限定されるものではない。例えば、被写体としての対象は、動物、車両、または荷物等を対象として映像監視システム５００を構成することも可能である。
【００９１】
被写体が人物、動物の場合は、メタデータに、脈拍、心拍数、体温等の生体情報、およびそれらの生体情報から生成する人物や動物の体調や活動量に関する情報等を含め、関連情報として重畳映像１０に表示することも可能である。
【００９２】
また、被写体が車両の場合には、メタデータに、車両の車種、ナンバープレートの番号、エンジン回転数、バッテリーのエネルギー残量等の情報を含め、関連情報として重畳映像１０に表示することも可能である。
【００９３】
さらに、被写体が荷物の場合には、メタデータに、荷物に含まれる品物の種類や数量等を含め、関連情報として重畳映像１０に表示することも可能である。
【００９４】
また、乖離度通知部１１４からメタデータサーバ装置３００に送られる乖離度情報６０は、メタデータ４０に含まれる情報のうち、どの種別の情報を優先的に処理するかを指示する優先データ種別情報を含んでもよい。乖離度情報６０は、このような優先データ種別情報を乖離度情報に含むことによっても、前述の優先オブジェクト情報６４および生成頻度調整情報６５と同様に、メタデータサーバ装置３００のメタデータ生成の負荷を調整することができる。
【００９５】
なお、本実施の形態においては、被写体の位置情報を、メタデータサーバ装置３００が、携帯装置との通信によって生成するものとして説明を行ったが、位置情報を他の手段によって生成することも可能である。例えば、カメラ４００が撮影した映像をメタデータサーバ装置３００が取得し、映像を構成するフレームに対する画像処理によって、被写体の位置情報を生成することも可能である。このような構成によれば、被写体が携帯装置を所持していない場合でも、位置情報を生成することができる。
【産業上の利用可能性】
【００９６】
以上述べたように、本発明によれば、被写体に関連する関連情報を被写体の映像に重畳表示する映像表示装置において、被写体と関連情報との乖離を抑制し、ユーザに違和感を生じさせにくい映像表示が可能である。よって、本発明は、人体、動物、車両等の監視装置や、動物の生態調査システム、病院や介護施設等での健康管理支援システム、店舗等における顧客動向を調査するマーケティングシステム等として有用である。
【符号の説明】
【００９７】
１，４，７ 被写体
３，６，９ 動線
１０，２１，２２，２３ 重畳映像
１００ 映像表示装置
１０１ メタデータ取得部
１０２ 乖離度算出部
１０３ 映像データ取得部
１０４ オーバレイ部
１０５ 出力部
１１０ メタデータ記憶部
１１１ 移動速度量計算部
１１２ 乖離度検知部
１１３ 閾値記憶部
１１４ 乖離度通知部
２００ 映像データサーバ装置
３００ メタデータサーバ装置
３０１，３０２，３０３ 携帯装置
４００ カメラ
５００ 映像監視システム
６００ 表示装置
【特許請求の範囲】
【請求項１】
同一対象について、映像データサーバ装置から前記対象の映像データを、メタデータサーバ装置から前記対象に関連するメタデータを、それぞれ別々に取得する映像表示装置であって、
前記映像データサーバ装置が供給する、被写体の映像および時間情報を含む前記映像データを取得する映像データ取得部と、
少なくとも１つの前記メタデータサーバ装置が供給する、時間情報を含み、前記被写体に関連する前記メタデータを取得するメタデータ取得部と、
前記メタデータから生成された、前記被写体に関連する関連情報を、前記被写体の映像に重畳した重畳映像を生成するオーバレイ部と、
前記メタデータに含まれる時間情報と前記映像データに含まれる時間情報とに基づいて、前記メタデータサーバ装置に対して前記メタデータの供給の遅れをフィードバックするための乖離度情報を生成し、前記乖離度情報を、前記被写体のメタデータを供給した前記メタデータサーバ装置に送る乖離度算出部と、
を備えた映像表示装置。
【請求項２】
前記乖離度情報は、前記メタデータサーバ装置における前記メタデータの生成頻度の情報を含む請求項１に記載の映像表示装置。
【請求項３】
前記メタデータサーバ装置から、複数の前記被写体に関連するメタデータが供給され、
前記乖離度情報は、前記複数の被写体のうち、前記メタデータサーバ装置において優先的に前記メタデータを生成する被写体の情報を含む請求項１に記載の映像表示装置。
【請求項４】
前記乖離度算出部は、
前記メタデータ取得部が取得した、位置情報を含む前記メタデータに基づいて、前記被写体の移動速度量を計算する移動速度量計算部と、
前記移動速度量計算部で計算された前記被写体の移動速度量に基づいて選択された乖離度閾値を用いて、前記メタデータに含まれる時間情報と前記映像データに含まれる時間情報との差分と、前記乖離度閾値とを比較して乖離度合いレベル情報を算出する乖離度検知部と、
前記乖離度検知部で算出された前記乖離度合いレベル情報に対応する前記乖離度情報を生成し、前記メタデータサーバ装置に送る乖離度通知部と、
を含む請求項１から請求項３までのいずれか１項に記載の映像表示装置。
【請求項５】
前記メタデータ取得部は、複数の前記被写体のメタデータを取得し、
前記移動速度量計算部は、前記複数の被写体それぞれの移動速度量を計算し、前記乖離度検知部は、前記複数の被写体のうち、最も移動速度量の大きな被写体の移動速度量を用いて、前記乖離度情報を算出する請求項４に記載の映像表示装置。
【請求項６】
前記移動速度量計算部は、前記被写体の重畳映像における移動方向に応じて、前記移動速度量を補正する請求項５に記載の映像表示装置。
【請求項７】
前記関連情報が、前記被写体の移動軌跡を示す動線であり、
前記乖離度算出部が、メタデータ供給の遅延解消に時間がかかると判断した場合に、前記オーバレイ部は、擬似的な推定動線を生成し、前記重畳映像に表示する請求項４に記載の映像表示装置。
【請求項８】
前記乖離度算出部が、前記メタデータ供給の遅延が回復したと判断した場合に、前記オーバレイ部は、前記推定動線を前記メタデータから生成された前記動線に切り替える請求項７に記載の映像表示装置。
【請求項９】
前記被写体の映像を撮影したカメラの制御情報を取得するカメラ制御情報管理部を備え、
前記オーバレイ部は、前記カメラの制御情報に基づいて、前記メタデータに含まれる位置情報を前記被写体の移動軌跡を示す動線に座標変換する請求項１に記載の映像表示装置。
【請求項１０】
同一対象について、映像データサーバ装置から前記対象の映像データを、メタデータサーバ装置から前記対象に関連するメタデータを、それぞれ別々に取得する映像表示装置を用いた映像表示方法であって、
前記映像データサーバ装置が供給する、被写体の映像および時間情報を含む映像データを取得するステップと、
少なくとも１つの前記メタデータサーバ装置が供給する、時間情報を含み、前記被写体に関連する前記メタデータを取得するステップと、
前記メタデータから生成された、前記被写体に関連する関連情報を、前記被写体の映像に重畳した重畳映像を生成するステップと、
前記メタデータに含まれる時間情報と前記映像データに含まれる時間情報とに基づいて、前記メタデータサーバ装置に対して前記メタデータの供給の遅れをフィードバックするための乖離度情報を生成するステップと、
前記乖離度情報を、前記被写体のメタデータを供給した前記メタデータサーバ装置に送るステップと、
を備えた映像表示方法。
【請求項１】
同一対象について、映像データサーバ装置から前記対象の映像データを、メタデータサーバ装置から前記対象に関連するメタデータを、それぞれ別々に取得する映像表示装置であって、
前記映像データサーバ装置が供給する、被写体の映像および時間情報を含む前記映像データを取得する映像データ取得部と、
少なくとも１つの前記メタデータサーバ装置が供給する、時間情報を含み、前記被写体に関連する前記メタデータを取得するメタデータ取得部と、
前記メタデータから生成された、前記被写体に関連する関連情報を、前記被写体の映像に重畳した重畳映像を生成するオーバレイ部と、
前記メタデータに含まれる時間情報と前記映像データに含まれる時間情報とに基づいて、前記メタデータサーバ装置に対して前記メタデータの供給の遅れをフィードバックするための乖離度情報を生成し、前記乖離度情報を、前記被写体のメタデータを供給した前記メタデータサーバ装置に送る乖離度算出部と、
を備えた映像表示装置。
【請求項２】
前記乖離度情報は、前記メタデータサーバ装置における前記メタデータの生成頻度の情報を含む請求項１に記載の映像表示装置。
【請求項３】
前記メタデータサーバ装置から、複数の前記被写体に関連するメタデータが供給され、
前記乖離度情報は、前記複数の被写体のうち、前記メタデータサーバ装置において優先的に前記メタデータを生成する被写体の情報を含む請求項１に記載の映像表示装置。
【請求項４】
前記乖離度算出部は、
前記メタデータ取得部が取得した、位置情報を含む前記メタデータに基づいて、前記被写体の移動速度量を計算する移動速度量計算部と、
前記移動速度量計算部で計算された前記被写体の移動速度量に基づいて選択された乖離度閾値を用いて、前記メタデータに含まれる時間情報と前記映像データに含まれる時間情報との差分と、前記乖離度閾値とを比較して乖離度合いレベル情報を算出する乖離度検知部と、
前記乖離度検知部で算出された前記乖離度合いレベル情報に対応する前記乖離度情報を生成し、前記メタデータサーバ装置に送る乖離度通知部と、
を含む請求項１から請求項３までのいずれか１項に記載の映像表示装置。
【請求項５】
前記メタデータ取得部は、複数の前記被写体のメタデータを取得し、
前記移動速度量計算部は、前記複数の被写体それぞれの移動速度量を計算し、前記乖離度検知部は、前記複数の被写体のうち、最も移動速度量の大きな被写体の移動速度量を用いて、前記乖離度情報を算出する請求項４に記載の映像表示装置。
【請求項６】
前記移動速度量計算部は、前記被写体の重畳映像における移動方向に応じて、前記移動速度量を補正する請求項５に記載の映像表示装置。
【請求項７】
前記関連情報が、前記被写体の移動軌跡を示す動線であり、
前記乖離度算出部が、メタデータ供給の遅延解消に時間がかかると判断した場合に、前記オーバレイ部は、擬似的な推定動線を生成し、前記重畳映像に表示する請求項４に記載の映像表示装置。
【請求項８】
前記乖離度算出部が、前記メタデータ供給の遅延が回復したと判断した場合に、前記オーバレイ部は、前記推定動線を前記メタデータから生成された前記動線に切り替える請求項７に記載の映像表示装置。
【請求項９】
前記被写体の映像を撮影したカメラの制御情報を取得するカメラ制御情報管理部を備え、
前記オーバレイ部は、前記カメラの制御情報に基づいて、前記メタデータに含まれる位置情報を前記被写体の移動軌跡を示す動線に座標変換する請求項１に記載の映像表示装置。
【請求項１０】
同一対象について、映像データサーバ装置から前記対象の映像データを、メタデータサーバ装置から前記対象に関連するメタデータを、それぞれ別々に取得する映像表示装置を用いた映像表示方法であって、
前記映像データサーバ装置が供給する、被写体の映像および時間情報を含む映像データを取得するステップと、
少なくとも１つの前記メタデータサーバ装置が供給する、時間情報を含み、前記被写体に関連する前記メタデータを取得するステップと、
前記メタデータから生成された、前記被写体に関連する関連情報を、前記被写体の映像に重畳した重畳映像を生成するステップと、
前記メタデータに含まれる時間情報と前記映像データに含まれる時間情報とに基づいて、前記メタデータサーバ装置に対して前記メタデータの供給の遅れをフィードバックするための乖離度情報を生成するステップと、
前記乖離度情報を、前記被写体のメタデータを供給した前記メタデータサーバ装置に送るステップと、
を備えた映像表示方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１１−１９７３６５（Ｐ２０１１−１９７３６５Ａ）
【公開日】平成２３年１０月６日（２０１１．１０．６）
【国際特許分類】
【出願番号】特願２０１０−６３７９９（Ｐ２０１０−６３７９９）
【出願日】平成２２年３月１９日（２０１０．３．１９）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２３年１０月６日（２０１１．１０．６）
【国際特許分類】
【出願日】平成２２年３月１９日（２０１０．３．１９）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]