軌跡・場所履歴データ作成装置と動画像表示装置と動画像オブジェクト探索システムと、それらの方法とプログラム
【課題】利用者が映像中の特定の場所に過去に存在したオブジェクト、若しくはそのオブジェクトが関連したイベントを探索したいと思った際に、その場所を擦るという簡単且つ単一の操作のみで、場所を限定したオブジェクトの探索を可能にする。
【解決手段】軌跡データ作成部は、動画データ中の物体の連続的な移動情報から、タイムスタンプと識別子を付与した物体の軌跡データを抽出する。場所履歴データ作成部は、軌跡データを動画データのビデオスケールサイズの座標上に対応付けた場所履歴データを作成する。過去オブジェクト取得部は、軌跡データの識別子とタイムスタンプとが一致する最新の場所履歴データを読み出す。過去画像作成部は、識別子で対応する軌跡データを呼び出して、同時刻の静止画の軌跡データの背景部分にあたる部分を透明化処理した過去画像を作成する。表示部はその過去画像と動画データを重ねて画像表示部に表示する。
【解決手段】軌跡データ作成部は、動画データ中の物体の連続的な移動情報から、タイムスタンプと識別子を付与した物体の軌跡データを抽出する。場所履歴データ作成部は、軌跡データを動画データのビデオスケールサイズの座標上に対応付けた場所履歴データを作成する。過去オブジェクト取得部は、軌跡データの識別子とタイムスタンプとが一致する最新の場所履歴データを読み出す。過去画像作成部は、識別子で対応する軌跡データを呼び出して、同時刻の静止画の軌跡データの背景部分にあたる部分を透明化処理した過去画像を作成する。表示部はその過去画像と動画データを重ねて画像表示部に表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、動画像中の特定部分の画像の探索操作を簡単にする軌跡・場所履歴データ作成装置と動画像表示装置と動画像オブジェクト探索システムと、それらの方法とプログラムに関する。
【背景技術】
【０００２】
動画像の探索や索引作成（インデキシング）のアルゴリズムに関する研究は古くから行われているが、動画像を探索するための操作手法の研究は、これまであまり行われて来なかった。しかし、撮影技術の進歩や記憶容量の大容量化によって、高解像度の動画像を簡単に長時間記録できるようになり、専門家だけでなく、一般の人も膨大な動画像の中から見たい部分を探し出したいという場面が増えて来ている。
【０００３】
今後、動画像のソースとして増えてくると思われるのが、例えば、様々な場所に防犯や監視などの目的で設置されたカメラで自動的に撮影された映像である。このような定点に設置されたカメラの映像は、これまでは一部の防犯や監視などの専門家が利用するだけであった。しかし、定点に設置されたカメラの映像の中には、見逃した出来事を確認したり、その場がどういう場所かを理解したり、その場でどういう意向決定をすれば良いかを模索したりするための有益な情報が記録されており、一般の人にも利用価値が有るといえる。
【０００４】
例えば、駅前の様子が定点カメラで撮影されていたとする。この定点カメラで撮られた映像の一部には、駅前に設置された町内のイベントなどの情報が貼られる掲示板が撮影されている。その掲示板を定期的に見ていた人にとって、例えば長期出張でその間見ることが出来なかった場合に、出張の期間中に、その掲示板にどのような掲示物が貼られ、また、はがされたのかを確認できる有益な情報ソースとなる。
【０００５】
最近の動画再生環境の動向を見ると、タッチパネル付きの携帯端末の利用が進み、携帯端末上で映像を見る人が増えて来ている。携帯端末自体の動画の記憶容量は、長時間にわたる動画像の保存には未だ十分とは言い難い。しかし、最近ではサーバ上に置いてある大容量の動画像を携帯端末上で再生するソフトも利用されている。このように、一般の人が日常生活の中で過去の動画を閲覧したい場合に、その映像を見る環境を構築するための技術は整いつつある。
【０００６】
上記した例の場合も、駅前の様子を撮影している定点カメラが記録した動画像がネットワーク上に公開されているのであれば、携帯端末上でその動画像を指定して閲覧すれば良い。しかし、このような定点に設置され自動的に撮影し続けられた動画像は、容易に膨大となり、全てを見るのは困難である。そのため、それを見たいと思った人は、必然的にその膨大な画像情報の中から必要な部分を探索する必要がある。
【０００７】
長時間にわたって記録された高解像度の映像から必要な部分を探索する際の操作方法として、最も一般的に用いられているのは動画再生ソフトウェアのスライダを用いたものである。動画像の再生時間がスライダ全体にマッピングされたスライダ上の目盛をスライドすることで、利用者は、スライダを移動させながら動画像を素早く探索することが出来る。
また、動画像中のシーンやイベント毎に効率的に動画像を探索する手法も提案され、実用化されている。
【０００８】
例えば、カット点検出技術によって動画像をセグメンテーションし、動画像中のシーンの切り替わり部分を色分けするなどして切り替わり部分に各シーンを示す特徴的な画像を配置することで、シーン毎を素早く探索可能なスライダを採用した動画再生ソフトウェアなどである。例えば、映像中のシーンの切り替わり毎にキャプチャーを作成し、キャプチャー単位の再生を実現しているものもある。また、シーンのサムネイル画像をスライダに沿って表示することで、サムネイル画像を見ながら高速な探索を可能にするものや、再生スピードのグラフ操作による動画再生手法も提案されている。
【先行技術文献】
【非特許文献】
【０００９】
【非特許文献１】Y. Yamamoto, K. nakakoji, A. Takashima, The Landscape of Time-based Visual Presentation Primitives for Richer Video Experience, Human-Computer Interaction: INTERRACT 2005, M.F. Costabile, F. Paterno (Eds.), Rome, Italy, Springer, pp.795-808, September, 2005.
【発明の概要】
【発明が解決しようとする課題】
【００１０】
今後、フルＨＤ（full high definition）よりも高解像度に撮影可能なビデオカメラや全方位カメラ等が普及し、非常に広範囲の場所を１フレーム内に収めて撮影された高解像度の定点動画像が記録されるようになって行くと思われる。そうすると、人は、撮影された動画像中のフレーム全体では無く、空間的に一部に存在するオブジェクト（「物体」とも称する）のみを閲覧、探索したいといったニーズを持つと思われる。
【００１１】
例えば、子供の日常を記録するために、居間の中央部分に全方位カメラを設置したような状況を想定する。その子供の両親は、あるときはおもちゃ箱の置かれている場所の周辺で普段子供がどのように遊んでいるかを探索するかも知れないし、ある時は、おもちゃ箱と異なる場所にあるテーブルで子供が食事をする様子を最近のものから順番に楽しみたいと思うかも知れない。
【００１２】
このような状況において、ユーザが探索したいのは、おもちゃ箱周辺や、テーブル周辺に子供が存在しているシーンであって、カメラがフレームに収めた部屋全体の映像では無い。また、上述した駅前の掲示板の例では、人が見たいのは、例えば、掲示板における掲示物の移り変わりであって、駅前の映像全体では無い。
【００１３】
しかし、従来手法の多くでは、動画像におけるシーンやイベントの検出を動画像全体を対象に行うため、動画像中の任意の場所で起きたイベントやシーンの切り替わりを基にセグメンテーションされる。上記した全方位カメラの例では、おもちゃ箱やテーブル周辺といった場所に子供が存在したという場面だけで無く、他の場所に子供が存在する場面も検出してセグメンテーションしてしまう。そのため、そのようにセグメンテーションされた動画像を順番に閲覧して行くと、見たい場所以外の場所で起きたセグメントも探索操作の対象となる。
【００１４】
また、セグメンテーションが場所単位で行われたとしても、ユーザが行う探索操作上の問題が発生する。場所に基づいて、その場所にあったオブジェクトを過去方向に探索するためには、場所の指定と、その場所におけるオブジェクトの時間方向の探索の、２つの異なる操作が必要となる。
【００１５】
時間方向の探索操作方法としてスライダを利用した方式では、動画像中の場所の指定が難しいために、ユーザに場所を指定してもらう何らかの別の操作をしてもらう必要がある。しかしながら異なる操作が混在することで、探索操作が複雑になると、ユーザに認知的な負荷を強いてしまう。そうすると、ユーザは過去の様子を探索するという行為自体を諦めてしまう可能性が高い。
【００１６】
このように、動画像中の場所の指定と、その場所の時間方向の探索とを、同時に行う操作方法が従来は無かった。この発明は、このような点に鑑みてなされたものであり、動画像中の場所を限定して時間方向にオブジェクトの探索を簡単に行うことが可能な、軌跡・場所履歴データ作成装置と動画像表示装置と動画像オブジェクト探索システムと、それらの方法とプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１７】
この発明の軌跡・場所履歴データ作成装置は、動画像取得部と、軌跡データ作成部と、場所履歴データ作成部と、を具備する。動画像取得部は、動画データを取得して、動画データを軌跡データ作成部に出力すると共に動画像データベースに記憶する。軌跡データ作成部は、動画データ中の物体の連続的な移動情報から、その物体の動画データに識別子を付与した軌跡データを作成して外部の軌跡データベースに記録する。場所履歴データ作成部は、軌跡データを入力として、その軌跡データを、動画データのビデオスケールサイズの座標上に対応付けた場所履歴データを作成して外部の場所履歴データベースに記録する。
【００１８】
また、この発明の動画像表示装置は、動画像データベースと、軌跡データベースと、場所履歴データベースと、画像表示部と、操作領域取得部と、操作解析部と、過去オブジェクト取得部と、過去画像作成部と表示部とを備える。動画像データベースは動画データを記録する。軌跡データベースは、動画データ中の物体の連続的な移動情報から、その物体の動画データに識別子を付与して軌跡データを記録する。場所履歴データベースは、軌跡データを入力として、その軌跡データを、動画データのビデオスケールサイズの座標上に対応付けた場所履歴データを記録する。画像表示部は動画データを表示する。操作領域取得部は、画像表示部に表示された画像上を利用者が操作した箇所の座標情報を取得する。操作解析部は、座標情報の変化から利用者の操作を解析して、座標情報を含む画像探索指示と動画再生指示を出力する。過去オブジェクト取得部は、画像探索指示に含まれる座標情報に対応する場所履歴データを場所履歴データベースから探索し、時刻順に配列した過去オブジェクトを取得する。過去画像作成部は、探索された場所履歴データの識別子で対応する軌跡データを軌跡データベースから呼び出し、当該場所履歴データの時刻の静止画を上記動画像データベースから取得して、その静止画の軌跡データの背景部分に当たる領域を透明化処理した過去画像を作成する。表示部は、動画像データベースから読み出した静止画に、過去画像を重ねて上記画像表示部に表示する。そして、動画表示装置は、画像探索指示の回数に応じて、過去オブジェクトを過去に遡った過去画像を表示すると共に、動画再生指示に基づいて動画を再生する。
【００１９】
また、この発明の動画像オブジェクト探索システムは、上記した軌跡・場所履歴データ作成装置と、上記した動画像表示装置とを備える。
【発明の効果】
【００２０】
この発明の軌跡・場所履歴データ作成装置は、動画像中の場所を限定して時間方向にオブジェクトの探索を簡単に行うことを可能にする軌跡データと場所履歴データを作成して記録する。また、この発明の動画像表示装置は、オブジェクトを探索する際の場所の指定と、その場所におけるオブジェクトの時間方向の探索という２つの操作を、上記した軌跡データと場所履歴データを用いることで、簡単且つ単一の操作のみで行うことを可能にする。また、この発明の動画像オブジェクト探索システムは、利用者が、動画映像中の特定の場所に過去に存在したオブジェクト、若しくはそのオブジェクトが関連したイベントを探索したいと思った際に、画像表示部の特定の場所に対する簡単且つ単一の操作のみで、場所を限定した過去のオブジェクトの探索を可能にする。
【図面の簡単な説明】
【００２１】
【図１】この発明の動画像オブジェクト探索システム１０００の機能構成例を示す図。
【図２】動画像の一例を示す図。
【図３】動画像の掲示板２の様子の時間的な推移の例を示す図。
【図４】軌跡・場所履歴データ作成装置１００の動作フローを示す図。
【図５】２値画像の一例を示す図。
【図６】動画像表示装置２００の動作フローを示す図。
【図７】過去画像を説明する図であり、（ａ）は現在時刻の画像、（ｂ）は擦った領域の最新（時刻ｔ１）の軌跡データ、（ｃ）は時刻ｔ１の静止画、（ｄ）は時刻ｔ１の静止画の軌跡データの黒い部分に対応するピクセルを透明化処理した過去画像、（ｅ）は（ａ）に（ｄ）の過去画像を重ねた図である。
【図８】動画像の掲示板２の様子の時間的な推移の例を示す図。
【図９】動画像の掲示板２の様子の時間的な推移の例を示す図。
【図１０】この発明の動画像オブジェクト探索システムの動作フローを示す図。
【図１１】この発明の動画像表示装置３００の機能構成例を示す図。
【発明を実施するための形態】
【００２２】
以下、この発明の実施の形態を図面を参照して説明する。複数の図面中同一のものには同じ参照符号を付し、説明は繰り返さない。
【実施例１】
【００２３】
図１に、この発明の動画像オブジェクト探索システム１０００の機能構成例を示す。動画像オブジェクト探索システム１０００は、軌跡・場所履歴データ作成装置１００と、動画像表示装置２００と、で構成される。軌跡・場所履歴データ作成装置１００は、動画像中の特定の場所を限定して時間方向にオブジェクトの探索を簡単に行うことを可能にするための軌跡データと場所履歴データを作成し、外部のデータベースに記録する。動画像表示装置２００は、動画データと、軌跡データと、場所履歴データと、を用いてオブジェクトを探索する際の場所の指定と、その場所におけるオブジェクトの時間方向の探索という２つの操作を、上記した軌跡データと場所履歴データを用いることで、簡単且つ単一の操作のみで行うものである。軌跡・場所履歴データ作成装置１００と動画像表示装置２００は、例えばＲＯＭ、ＲＡＭ、ＣＰＵ等で構成されるコンピュータに所定のプログラムが読み込まれて、ＣＰＵがそのプログラムを実行することで実現されるものである。
【００２４】
各装置の動作を、図２に示すある掲示板の様子を長時間にわたって記録した動画データを用いて説明する。図示しないビデオカメラは、掲示板２の正面に対向して配置され、ビデオカメラによって撮影されるフレーム１内には、例えばポスター３と４などが貼られた掲示板２の全体と、掲示板２の前に立ち止まる人６などが映るものとする。
【００２５】
動画データは、ビデオカメラによって例えばフレームレート３０ｆｐｓ、解像度ＸＧＡ（1024×768）で記録されるものとする。図３に、掲示板２の様子の時間的な推移の例を示す。
【００２６】
図３は、図２に示した動画データの時間的な推移の例を表し、掲示板２を上から平面的に見た図である。時間経過の方向は、掲示板２のところが現在時刻ｔ０であり、掲示板２から遠ざかるほど過去である。太い黒線は人の軌跡を表し、灰色の帯はポスターの軌跡を表す。
【００２７】
図３の時間的な推移を説明する。軌跡データ３０は、人Ａの軌跡を表すデータであり、時刻ｔ９に人Ａが動画のフレーム１内に入り時刻ｔ５にフレーム１外に出たことを示している。軌跡データ３１は、人Ｂが時刻ｔ８にフレーム１内に入り、時刻ｔ１にフレーム１外に出たことを示している。そして、ポスター５の軌跡データ３２は、人Ａによって時刻ｔ７に掲示板２に貼られ、人Ｂによって時刻ｔ５に剥がされたことを示している。ポスター４の軌跡データ３４は、人Ｂによって時刻ｔ４に掲示板２に貼られ、現在時刻ｔ０まで貼られていることを示している。ポスター３の軌跡データ３３は、人Ｂによって時刻ｔ２に掲示板２に貼られたことを示している。
【００２８】
〔軌跡・場所履歴データ作成装置〕
軌跡・場所履歴データ作成装置１００の動作を説明する。その動作フローを図４に示す。軌跡・場所履歴データ作成装置１００は、動画像取得部１０と、軌跡データ作成部１１と、場所履歴データ作成部１２と、を具備する。動画像取得部１０は、動画データを取得して、動画データを軌跡データ作成部１１に出力すると共に外部の動画像データベース２０に記憶する（ステップＳ１０）。この時、動画像取得部１０は、後で動画データが探索し易いように動画データをファイル単位で、動画像データベース２０に記憶する。
【００２９】
軌跡データ作成部１１は、動画データ中の物体の連続的な移動情報から、その動画データに識別子を付与した軌跡データを抽出し、その軌跡データを場所履歴データ作成部１２に出力すると共に外部の軌跡データベース２１に記録する（ステップＳ１１）。
【００３０】
物体の移動情報は、例えば移動する物体とその背景とを切り分けた２値画像で抽出する。図５に、２値画像の一例を示す。図５は、図３に示す人Ａの軌跡３０に対応する２値画像の一部である。このような移動情報の抽出は、物体をトラッキングする公知技術（参考文献：Dan MIKAMI et al. Memory-based Particle Filter for Face Pose Tracking Robust under Complex Dynamics, pp.999-1066, Proc. IEEE CVPR, 2009.）を用いることで可能である。
【００３１】
軌跡データは、この２値画像の１つの連続的な移動を表す移動情報に、識別子を付与して記録したものである。移動する物体、この例では人Ｘの位置を白とし、それ以外の部分を黒とする。この実施例では、物体がフレーム内に入ってから（動画像中に表示されてから）出て行くまで（動画像中から消えるまで）を、一つの軌跡データとして軌跡データベース２１に記憶する。一度フレーム外に出た物体は、同じ物体であっても違う物体として扱うものとする。例えば、田中さんが掲示板２の前を一度通り過ぎて、数時間後にも一度掲示板２の前を通り過ぎた場合は、２つの別々の軌跡データとして軌跡データベース２１に記憶される。つまり、軌跡データは物体の連続的な移動を１単位とした例えば２値画像に、識別子とタイムスタンプが付与された動画データである。
【００３２】
また、図３に示したようにポスターも軌跡データとなる。つまり、ポスターの場合はフレーム１内で移動はしないが、ポスターを掲示又は剥がす行為が軌跡データとなる。
【００３３】
表１に、図５の２値画像に対応した軌跡データの一例を示す。例えば、図３の人Ａの軌跡３０に対応した軌跡データである。
【００３４】
【表１】
この軌跡データ単位に識別子が付与される。識別子は例えばID001とする。つまり識別子は、１つの連続的な２値画面に１つ付与される。
【００３５】
場所履歴データ作成部１２は、軌跡データを入力として、軌跡データを、動画データのビデオスケールサイズの座標上に対応付けて場所履歴データを作成する。場所履歴データは外部の場所履歴データベース２３に記憶される（ステップＳ１２）。
【００３６】
場所履歴データは、動画像中の座標毎に、その座標に存在した物体の識別子と存在した時刻情報とを対応付けて記録したデータである。例えば、この実施例において撮影された動画データの解像度をＸＧＡ（1024×768）とした場合、1024×768＝786432個の場所履歴データを作成する。
【００３７】
表２に場所履歴データの一例を示す。この場所履歴データは、動画データのビデオスケールサイズの座標上、例えば、フレーム１の左上隅の座標を原点（0,0）とした時の座標（160,475）における場所履歴データである。
【００３８】
【表２】
場所履歴データは、時刻と識別子から成り、場所履歴データの対象となる座標に物体が存在した時刻とその識別子が経過時間順に記録されたものである。この場所履歴データは、軌跡データベース２１に記録された軌跡データから、該当する座標が白いものを時間順に探索することで作成することができる。
【００３９】
以上述べたように、軌跡・場所履歴データ作成装置１００は、動画データから物体の連続的な移動を１単位とした例えば２値画像に、識別子とタイムスタンプを付与した軌跡データと、その軌跡データを動画データのビデオスケールサイズの各々座標に対応付けた場所履歴データを作成する。
【００４０】
物体の移動情報を２値画像を例に説明したが、２値画像の代わりに移動する物体の中心から所定の矩形形状の範囲を軌跡データとしても良い。また、所定の半径の円形の範囲を軌跡データとしても良い。
【００４１】
また、場所履歴データを、動画データのビデオスケールサイズの各々座標に対応付けて作成する例を説明したが、各々の座標毎ではなく、ビデオスケールサイズの座標面を等間隔に区切った区画毎に作成するようにしても良い。例えば、３×３ビクセル（画素）の区画毎にフレーム１を分割し、３×３ビクセルの単位で場所履歴データを作成する。そうすることで、場所履歴データを作成する処理量を削減することが可能である。このようにすると、後述する動画像表示装置における画像探索を高速化することもできる。
【００４２】
〔動画像表示装置〕
動画像表示装置２００の動作を説明する。その動作フローを図６に示す。動画像表示装置２００は、オブジェクトを探索する際の場所の指定と、その場所におけるオブジェクトの時間方向の探索という２つの操作を、上記した場所履歴データを用いることで、簡単且つ単一の操作のみで行うことを可能にする。
【００４３】
動画像表示装置２００は、動画像データベース２０と、軌跡データベース２１と、場所履歴データベース２３と、過去オブジェクト取得部２４と、過去画像作成部２５と、表示部２６と、画像表示部２７と、操作領域取得部２８と、操作解析部２９と、を備える。
【００４４】
動画像データベース２０と、軌跡データベース２１と、場所履歴データベース２３と、は上記して説明したのと同じものである。画像表示部２７は動画データを表示する。この実施例では、動画データの解像度と同じ解像度を持つものとする。
【００４５】
操作領域取得部２８は、画像表示部２７に表示された画像上を利用者が操作した箇所の座標情報を取得する（ステップＳ２８）。例えば、画像表示部２７を、タッチパネル付きディスプレイで構成することで、利用者がペン先や指先等で画像表示部２７の表面を擦った部分の座標情報を得ることができる。この場合、操作領域取得部２８はタッチパネルということになる。
【００４６】
操作解析部２９は、操作領域取得部２８の出力する座標情報の変化から利用者の操作を解析して、その座標情報を含む画像探索指示と動画再生指示を出力する（ステップＳ２９）。画像探索指示とは、利用者が擦った領域の過去の時刻の画像を探索する指示信号である。動画再生指示は、利用者の例えばダブルタップ操作等の特定の操作を検出して動画像の再生を指示する信号である。
【００４７】
過去オブジェクト取得部２４は、画像探索指示に含まれる座標情報に対応する場所履歴データを場所履歴データベース２３から探索し、場所履歴データを時刻順に配列して過去オブジェクトを取得する（ステップＳ２４）。例えば、画像探索指示に含まれる座標が（10,20）,(11,20),(10,21),(11,21)の領域として繋がった隣接するものであったとする。過去オブジェクト取得部２４は、各座標に対応する場所履歴データを探索する。
【００４８】
例えば、座標（10,20）の場所履歴データの探索結果が「2009/9/7 10:55:29.00,ID001」、座標（11,20）の探索結果が「2009/9/6 09:45:25.00,ID001」、座標（10,21）が「2009/9/4 09:46:22.00,ID002」、座標（11,21）が「2009/9/3 11:55:11.00,ID003」であったとする。過去オブジェクト取得部２４は、その場所履歴データを時刻の新しい順に配列する。
【００４９】
過去画像作成部２５は、過去オブジェクト取得部２４で探索された場所履歴データの識別子と時刻に対応する軌跡データを軌跡データベース２１から呼び出すと共に、その時刻に対応する静止画を動画像データベース２０から取得し、その軌跡データの背景部分に当たる領域を透明化処理した過去画像を作成する（ステップＳ２５）。上述した例においては、４つの座標で検索されたもののうち、座標（10，20）の探索結果である「2009/9/710:55:29.00,ID001」が最も新しいため、10:55:29.00における静止画を動画データベース２０から取得するとともに、ID001の時刻10:55:29.00に対応する軌跡データ（２値画像）を軌跡データベース２１から呼び出し、過去画像を作成する。
【００５０】
図７を参照して過去画像を説明する。図７（ａ）は現在時刻の画像を表している。図７（ａ）中の斜め線で囲まれた領域は、利用者が指先で擦った領域を表している。図７（ｂ）は、擦った領域の最新（時刻ｔ１）の軌跡データである。図７（ｃ）は、時刻ｔ１の静止画であり、動画像データベース２０から取得したものである。図７（ｄ）は、時刻ｔ１の静止画の軌跡データの黒い部分に対応するピクセルを透明化処理した過去画像である。図７（ｄ）のグラデーション部分は、透明化処理を表している。
【００５１】
表示部２６は、画像表示部２７に表示中の画像に、過去画像を重ねて表示する（ステップＳ２６）。つまり、図７（ａ）に図７（ｄ）の過去画像を重ね合わせて表示する。表示された重ね合わせ画像は、すなわち図７（ｅ）のようなものとなる。
【００５２】
図８を参照して更に動画像表示装置２００の動作を説明する。図８は、図３と同じで時間経過の関係を説明するための図である。利用者が、時刻ｔ０の静止画が表示されているフレーム１上の領域αを擦ったと仮定する。ここでは、動画像データは実時間で更新されずに時刻ｔ０の画像が最新の画像と仮定して説明する。過去オブジェクト取得部２４は、領域αの座標に対応する場所履歴データを探索して時間順に配列し、直近の過去の時刻ｔ１の場所履歴データを過去画像作成部２５に出力する。
【００５３】
過去画像作成部２５は、場所履歴データの識別子と時刻ｔ１に対応する軌跡データを軌跡データベース２１から探索し、その時刻ｔ１に対応する静止画を動画像データベース２０から取得し、その軌跡データの背景部分に当たる領域を透明化処理した時刻ｔ１の過去画像を作成する。その時刻ｔ１の過去画像は、時刻ｔ０の静止画に重ねられて画像表示部２７に表示される。つまり、利用者が画像表示部２７の一部の領域αを擦ると、その部分の過去のオブジェクトが、今まで表示されていた画像を背景として表示される。
【００５４】
更に、利用者が同じ領域αを擦ると、領域αの画像は、例えば時刻（ｔ１−（１秒/３０））遡る。また、領域αに時刻ｔ１の過去画像が重ねて表示されている状態で、利用者が領域αを例えばダブルタップすると、表示部２６は時刻ｔ１からの動画データを動画像データベース２０から読み出して画像表示部２７に出力する。つまり、画像表示部２７に表示される画像全体が過去の時刻ｔ１から再生される。
【００５５】
また、領域αに過去のオブジェクトを表示している最中に、利用者が他の領域βを擦った場合、その領域βの直近の過去（時刻ｔ２）にあったオブジェクトが画像表示部２７に表示される。よってこの場合、画像表示部２７には、時刻ｔ０の時刻の静止画を背景として、時刻ｔ１の領域α、時刻ｔ２の領域βの３つの時刻の画像が同時に表示される。
【００５６】
このように、過去のオブジェクトが表示されている領域を更に擦った場合には、その表示されているオブジェクトが実際にあった時刻を起点として、過去方向にオブジェクトを探索して見つかったオブジェクトの静止画を表示する。
【００５７】
なお、動画像データが実時間で更新される場合は、その更新される実時刻の画面を背景とし、擦った領域に過去のオブジェクトを表示するようにしても良い。
【００５８】
画像表示部２７の一部の領域に過去のオブジェクトが表示されている状態において、同じ領域を再度擦った場合の過去のオブジェクトの探索方法は次の３つが考えられる。その第１は、上記したように「一度探索されたオブジェクトを除外せずに探索する方式」である。つまり、フレームレート単位で過去オブジェクトを遡って合成する方法である。第２は「一度探索されたオブジェクトは除外しないが、時間的に連続する部分は除外して探索する方式」、第３は「一度探索されたオブジェクトを除外して探索する方式」が考えられる。
【００５９】
図９を参照して第２と第３の方式を説明する。第２の方式では、時刻ｔ１の過去画像が表示されて状態で、領域αを再度擦ると時刻ｔ１〜ｔ２は時間的に連続しているので除外され、時刻ｔ１の次に表示される過去のオブジェクトは時刻ｔ３の人Ａの過去画像が表示される。そして、時刻ｔ３の人Ａの過去画像が表示されている状態で再度擦ると、時刻ｔ３〜ｔ４は時間的に連続しているので除外され、時刻ｔ５の人Ａの過去画像が表示される。
【００６０】
第３の方式では、時刻ｔ３の過去画像が表示されて状態で、領域αを再度擦ると、人Ａは既に探索されているために除外され、時刻ｔ７における人Ｃの過去画像が表示される。
【００６１】
〔動画像オブジェクト探索システム〕
上記して説明した軌跡・場所履歴データ作成装置１００と、動画像表示装置２００を組み合わせることで、動画像オブジェクト探索システム１０００を構築することができる（図１参照）。その動作フローを図１０に示す。
【００６２】
動画像オブジェクト探索システム１０００のオブジェクト探索方法は、上記した軌跡・場所履歴データ作成方法（ステップＳ１００）と動画像表示方法（ステップＳ２００）を含む。動画像オブジェクト探索システム１０００は、動画データを入力し、利用者が画像表示部２７の特定の領域を擦る操作のみで、その領域の過去のオブジェクトの探索を可能にする。
【実施例２】
【００６３】
上記した動画像表示装置２００は、軌跡データと場所履歴データがあることを前提に過去のオブジェクトを探索して表示するものであるが、軌跡データと場所履歴データを用いずに過去のオブジェクトを探索する動画像表示装置３００も考えられる。
【００６４】
図１１に、動画像表示装置３００の機能構成例を示す。動画像表示装置３００は、動画像表示装置２００に対して軌跡データベース２１と場所履歴データベース２３と過去オブジェクト取得部２４とを備えない点と、過去画像作成部３０１の動作のみが異なる。過去画像作成部３０１は、操作解析部２９が出力する座標情報を含む画像探索指示を入力として、所定時刻分過去の静止画を動画像データベース２０から取り出し、上記座標情報を含む所定範囲の座標領域以外を透明化処理した過去画像を作成する。
【００６５】
過去画像作成部３０１を、利用者の１度の擦り操作で所定時間遡った過去画像を作成するようにして置くことで、利用者の操作回数に応じて特定領域の表示を過去に遡って表示することが可能である。一度の操作で例えば１０分時間を戻すように設定し、ある領域を利用者が１０回擦った際には、操作の度にその領域の１０分毎過去のオブジェクトが表示される。
【００６６】
動画像表示装置３００は、利用者の１回の操作で必ずしも過去のオブジェクトにヒットしない場合もあるが、擦る操作を繰り返すことで過去のオブジェクトを探索することが可能である。また、所定時間を適切に設定することで操作に対する煩雑さを利用者に感じさせることもない。
【００６７】
以上述べたように、従来は動画画像のある特定の領域にある過去のオブジェクトを探索するためには、その領域の指定と時間方向の探索という２つの異なる操作を必要としたのに対して、この発明の映像中の特定の場所を擦るという操作は、探索する場所の指定と、その場所に存在したオブジェクトの過去方向への探索を兼ねている。そのため、この発明の動画像オブジェクト探索システムは、利用者が映像中の特定の場所に過去に存在したオブジェクト、若しくはそのオブジェクトが関連したイベントを探索したいと思った際に、その場所を擦るという簡単且つ単一の操作のみで、場所を限定したオブジェクトの探索を可能にする。
【００６８】
なお、この発明をビデオカメラで撮影した動画データを用いる例で説明したが、電子的に画像を掲示する電子掲示板の動画データに対してもこの発明を適用することができる。また、実施例では、タッチパネルを指やペン先等で擦る例で説明したが、動画像中の領域を指定できる方法であれば、タッチパネルが必須であるわけではない。例えばＰＣのディスプレイ上に表示された動画像中の領域をマウスポインタを移動することで指定しても良い。また、動画像表示装置の動作説明は、その画像表示部２７の解像度と、動画データの解像度が一致する場合を例に説明したが、その解像度は異なっても良い。異なる場合には、表示部２６で過去画像と動画データを再エンコードするか、表示の際に縮小することで、画像表示部２７の解像度に画像データを合わせれば良い。
【００６９】
なお、上記装置における処理手段をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、各装置における処理手段がコンピュータ上で実現される。
【００７０】
また、上記方法及び装置において説明した処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。
【００７１】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、DVD（Digital Versatile Disc）、DVD-RAM（Random Access Memory）、CD-ROM（Compact Disc Read Only Memory）、CD-R（Recordable）/RW（ReWritable）等を、光磁気記録媒体として、MO（Magneto Optical disc）等を、半導体メモリとしてEEP-ROM（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。
【００７２】
また、このプログラムの流通は、例えば、そのプログラムを記録したDVD、CD-ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記録装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【００７３】
また、各手段は、コンピュータ上で所定のプログラムを実行させることにより構成することにしてもよいし、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【技術分野】
【０００１】
この発明は、動画像中の特定部分の画像の探索操作を簡単にする軌跡・場所履歴データ作成装置と動画像表示装置と動画像オブジェクト探索システムと、それらの方法とプログラムに関する。
【背景技術】
【０００２】
動画像の探索や索引作成（インデキシング）のアルゴリズムに関する研究は古くから行われているが、動画像を探索するための操作手法の研究は、これまであまり行われて来なかった。しかし、撮影技術の進歩や記憶容量の大容量化によって、高解像度の動画像を簡単に長時間記録できるようになり、専門家だけでなく、一般の人も膨大な動画像の中から見たい部分を探し出したいという場面が増えて来ている。
【０００３】
今後、動画像のソースとして増えてくると思われるのが、例えば、様々な場所に防犯や監視などの目的で設置されたカメラで自動的に撮影された映像である。このような定点に設置されたカメラの映像は、これまでは一部の防犯や監視などの専門家が利用するだけであった。しかし、定点に設置されたカメラの映像の中には、見逃した出来事を確認したり、その場がどういう場所かを理解したり、その場でどういう意向決定をすれば良いかを模索したりするための有益な情報が記録されており、一般の人にも利用価値が有るといえる。
【０００４】
例えば、駅前の様子が定点カメラで撮影されていたとする。この定点カメラで撮られた映像の一部には、駅前に設置された町内のイベントなどの情報が貼られる掲示板が撮影されている。その掲示板を定期的に見ていた人にとって、例えば長期出張でその間見ることが出来なかった場合に、出張の期間中に、その掲示板にどのような掲示物が貼られ、また、はがされたのかを確認できる有益な情報ソースとなる。
【０００５】
最近の動画再生環境の動向を見ると、タッチパネル付きの携帯端末の利用が進み、携帯端末上で映像を見る人が増えて来ている。携帯端末自体の動画の記憶容量は、長時間にわたる動画像の保存には未だ十分とは言い難い。しかし、最近ではサーバ上に置いてある大容量の動画像を携帯端末上で再生するソフトも利用されている。このように、一般の人が日常生活の中で過去の動画を閲覧したい場合に、その映像を見る環境を構築するための技術は整いつつある。
【０００６】
上記した例の場合も、駅前の様子を撮影している定点カメラが記録した動画像がネットワーク上に公開されているのであれば、携帯端末上でその動画像を指定して閲覧すれば良い。しかし、このような定点に設置され自動的に撮影し続けられた動画像は、容易に膨大となり、全てを見るのは困難である。そのため、それを見たいと思った人は、必然的にその膨大な画像情報の中から必要な部分を探索する必要がある。
【０００７】
長時間にわたって記録された高解像度の映像から必要な部分を探索する際の操作方法として、最も一般的に用いられているのは動画再生ソフトウェアのスライダを用いたものである。動画像の再生時間がスライダ全体にマッピングされたスライダ上の目盛をスライドすることで、利用者は、スライダを移動させながら動画像を素早く探索することが出来る。
また、動画像中のシーンやイベント毎に効率的に動画像を探索する手法も提案され、実用化されている。
【０００８】
例えば、カット点検出技術によって動画像をセグメンテーションし、動画像中のシーンの切り替わり部分を色分けするなどして切り替わり部分に各シーンを示す特徴的な画像を配置することで、シーン毎を素早く探索可能なスライダを採用した動画再生ソフトウェアなどである。例えば、映像中のシーンの切り替わり毎にキャプチャーを作成し、キャプチャー単位の再生を実現しているものもある。また、シーンのサムネイル画像をスライダに沿って表示することで、サムネイル画像を見ながら高速な探索を可能にするものや、再生スピードのグラフ操作による動画再生手法も提案されている。
【先行技術文献】
【非特許文献】
【０００９】
【非特許文献１】Y. Yamamoto, K. nakakoji, A. Takashima, The Landscape of Time-based Visual Presentation Primitives for Richer Video Experience, Human-Computer Interaction: INTERRACT 2005, M.F. Costabile, F. Paterno (Eds.), Rome, Italy, Springer, pp.795-808, September, 2005.
【発明の概要】
【発明が解決しようとする課題】
【００１０】
今後、フルＨＤ（full high definition）よりも高解像度に撮影可能なビデオカメラや全方位カメラ等が普及し、非常に広範囲の場所を１フレーム内に収めて撮影された高解像度の定点動画像が記録されるようになって行くと思われる。そうすると、人は、撮影された動画像中のフレーム全体では無く、空間的に一部に存在するオブジェクト（「物体」とも称する）のみを閲覧、探索したいといったニーズを持つと思われる。
【００１１】
例えば、子供の日常を記録するために、居間の中央部分に全方位カメラを設置したような状況を想定する。その子供の両親は、あるときはおもちゃ箱の置かれている場所の周辺で普段子供がどのように遊んでいるかを探索するかも知れないし、ある時は、おもちゃ箱と異なる場所にあるテーブルで子供が食事をする様子を最近のものから順番に楽しみたいと思うかも知れない。
【００１２】
このような状況において、ユーザが探索したいのは、おもちゃ箱周辺や、テーブル周辺に子供が存在しているシーンであって、カメラがフレームに収めた部屋全体の映像では無い。また、上述した駅前の掲示板の例では、人が見たいのは、例えば、掲示板における掲示物の移り変わりであって、駅前の映像全体では無い。
【００１３】
しかし、従来手法の多くでは、動画像におけるシーンやイベントの検出を動画像全体を対象に行うため、動画像中の任意の場所で起きたイベントやシーンの切り替わりを基にセグメンテーションされる。上記した全方位カメラの例では、おもちゃ箱やテーブル周辺といった場所に子供が存在したという場面だけで無く、他の場所に子供が存在する場面も検出してセグメンテーションしてしまう。そのため、そのようにセグメンテーションされた動画像を順番に閲覧して行くと、見たい場所以外の場所で起きたセグメントも探索操作の対象となる。
【００１４】
また、セグメンテーションが場所単位で行われたとしても、ユーザが行う探索操作上の問題が発生する。場所に基づいて、その場所にあったオブジェクトを過去方向に探索するためには、場所の指定と、その場所におけるオブジェクトの時間方向の探索の、２つの異なる操作が必要となる。
【００１５】
時間方向の探索操作方法としてスライダを利用した方式では、動画像中の場所の指定が難しいために、ユーザに場所を指定してもらう何らかの別の操作をしてもらう必要がある。しかしながら異なる操作が混在することで、探索操作が複雑になると、ユーザに認知的な負荷を強いてしまう。そうすると、ユーザは過去の様子を探索するという行為自体を諦めてしまう可能性が高い。
【００１６】
このように、動画像中の場所の指定と、その場所の時間方向の探索とを、同時に行う操作方法が従来は無かった。この発明は、このような点に鑑みてなされたものであり、動画像中の場所を限定して時間方向にオブジェクトの探索を簡単に行うことが可能な、軌跡・場所履歴データ作成装置と動画像表示装置と動画像オブジェクト探索システムと、それらの方法とプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１７】
この発明の軌跡・場所履歴データ作成装置は、動画像取得部と、軌跡データ作成部と、場所履歴データ作成部と、を具備する。動画像取得部は、動画データを取得して、動画データを軌跡データ作成部に出力すると共に動画像データベースに記憶する。軌跡データ作成部は、動画データ中の物体の連続的な移動情報から、その物体の動画データに識別子を付与した軌跡データを作成して外部の軌跡データベースに記録する。場所履歴データ作成部は、軌跡データを入力として、その軌跡データを、動画データのビデオスケールサイズの座標上に対応付けた場所履歴データを作成して外部の場所履歴データベースに記録する。
【００１８】
また、この発明の動画像表示装置は、動画像データベースと、軌跡データベースと、場所履歴データベースと、画像表示部と、操作領域取得部と、操作解析部と、過去オブジェクト取得部と、過去画像作成部と表示部とを備える。動画像データベースは動画データを記録する。軌跡データベースは、動画データ中の物体の連続的な移動情報から、その物体の動画データに識別子を付与して軌跡データを記録する。場所履歴データベースは、軌跡データを入力として、その軌跡データを、動画データのビデオスケールサイズの座標上に対応付けた場所履歴データを記録する。画像表示部は動画データを表示する。操作領域取得部は、画像表示部に表示された画像上を利用者が操作した箇所の座標情報を取得する。操作解析部は、座標情報の変化から利用者の操作を解析して、座標情報を含む画像探索指示と動画再生指示を出力する。過去オブジェクト取得部は、画像探索指示に含まれる座標情報に対応する場所履歴データを場所履歴データベースから探索し、時刻順に配列した過去オブジェクトを取得する。過去画像作成部は、探索された場所履歴データの識別子で対応する軌跡データを軌跡データベースから呼び出し、当該場所履歴データの時刻の静止画を上記動画像データベースから取得して、その静止画の軌跡データの背景部分に当たる領域を透明化処理した過去画像を作成する。表示部は、動画像データベースから読み出した静止画に、過去画像を重ねて上記画像表示部に表示する。そして、動画表示装置は、画像探索指示の回数に応じて、過去オブジェクトを過去に遡った過去画像を表示すると共に、動画再生指示に基づいて動画を再生する。
【００１９】
また、この発明の動画像オブジェクト探索システムは、上記した軌跡・場所履歴データ作成装置と、上記した動画像表示装置とを備える。
【発明の効果】
【００２０】
この発明の軌跡・場所履歴データ作成装置は、動画像中の場所を限定して時間方向にオブジェクトの探索を簡単に行うことを可能にする軌跡データと場所履歴データを作成して記録する。また、この発明の動画像表示装置は、オブジェクトを探索する際の場所の指定と、その場所におけるオブジェクトの時間方向の探索という２つの操作を、上記した軌跡データと場所履歴データを用いることで、簡単且つ単一の操作のみで行うことを可能にする。また、この発明の動画像オブジェクト探索システムは、利用者が、動画映像中の特定の場所に過去に存在したオブジェクト、若しくはそのオブジェクトが関連したイベントを探索したいと思った際に、画像表示部の特定の場所に対する簡単且つ単一の操作のみで、場所を限定した過去のオブジェクトの探索を可能にする。
【図面の簡単な説明】
【００２１】
【図１】この発明の動画像オブジェクト探索システム１０００の機能構成例を示す図。
【図２】動画像の一例を示す図。
【図３】動画像の掲示板２の様子の時間的な推移の例を示す図。
【図４】軌跡・場所履歴データ作成装置１００の動作フローを示す図。
【図５】２値画像の一例を示す図。
【図６】動画像表示装置２００の動作フローを示す図。
【図７】過去画像を説明する図であり、（ａ）は現在時刻の画像、（ｂ）は擦った領域の最新（時刻ｔ１）の軌跡データ、（ｃ）は時刻ｔ１の静止画、（ｄ）は時刻ｔ１の静止画の軌跡データの黒い部分に対応するピクセルを透明化処理した過去画像、（ｅ）は（ａ）に（ｄ）の過去画像を重ねた図である。
【図８】動画像の掲示板２の様子の時間的な推移の例を示す図。
【図９】動画像の掲示板２の様子の時間的な推移の例を示す図。
【図１０】この発明の動画像オブジェクト探索システムの動作フローを示す図。
【図１１】この発明の動画像表示装置３００の機能構成例を示す図。
【発明を実施するための形態】
【００２２】
以下、この発明の実施の形態を図面を参照して説明する。複数の図面中同一のものには同じ参照符号を付し、説明は繰り返さない。
【実施例１】
【００２３】
図１に、この発明の動画像オブジェクト探索システム１０００の機能構成例を示す。動画像オブジェクト探索システム１０００は、軌跡・場所履歴データ作成装置１００と、動画像表示装置２００と、で構成される。軌跡・場所履歴データ作成装置１００は、動画像中の特定の場所を限定して時間方向にオブジェクトの探索を簡単に行うことを可能にするための軌跡データと場所履歴データを作成し、外部のデータベースに記録する。動画像表示装置２００は、動画データと、軌跡データと、場所履歴データと、を用いてオブジェクトを探索する際の場所の指定と、その場所におけるオブジェクトの時間方向の探索という２つの操作を、上記した軌跡データと場所履歴データを用いることで、簡単且つ単一の操作のみで行うものである。軌跡・場所履歴データ作成装置１００と動画像表示装置２００は、例えばＲＯＭ、ＲＡＭ、ＣＰＵ等で構成されるコンピュータに所定のプログラムが読み込まれて、ＣＰＵがそのプログラムを実行することで実現されるものである。
【００２４】
各装置の動作を、図２に示すある掲示板の様子を長時間にわたって記録した動画データを用いて説明する。図示しないビデオカメラは、掲示板２の正面に対向して配置され、ビデオカメラによって撮影されるフレーム１内には、例えばポスター３と４などが貼られた掲示板２の全体と、掲示板２の前に立ち止まる人６などが映るものとする。
【００２５】
動画データは、ビデオカメラによって例えばフレームレート３０ｆｐｓ、解像度ＸＧＡ（1024×768）で記録されるものとする。図３に、掲示板２の様子の時間的な推移の例を示す。
【００２６】
図３は、図２に示した動画データの時間的な推移の例を表し、掲示板２を上から平面的に見た図である。時間経過の方向は、掲示板２のところが現在時刻ｔ０であり、掲示板２から遠ざかるほど過去である。太い黒線は人の軌跡を表し、灰色の帯はポスターの軌跡を表す。
【００２７】
図３の時間的な推移を説明する。軌跡データ３０は、人Ａの軌跡を表すデータであり、時刻ｔ９に人Ａが動画のフレーム１内に入り時刻ｔ５にフレーム１外に出たことを示している。軌跡データ３１は、人Ｂが時刻ｔ８にフレーム１内に入り、時刻ｔ１にフレーム１外に出たことを示している。そして、ポスター５の軌跡データ３２は、人Ａによって時刻ｔ７に掲示板２に貼られ、人Ｂによって時刻ｔ５に剥がされたことを示している。ポスター４の軌跡データ３４は、人Ｂによって時刻ｔ４に掲示板２に貼られ、現在時刻ｔ０まで貼られていることを示している。ポスター３の軌跡データ３３は、人Ｂによって時刻ｔ２に掲示板２に貼られたことを示している。
【００２８】
〔軌跡・場所履歴データ作成装置〕
軌跡・場所履歴データ作成装置１００の動作を説明する。その動作フローを図４に示す。軌跡・場所履歴データ作成装置１００は、動画像取得部１０と、軌跡データ作成部１１と、場所履歴データ作成部１２と、を具備する。動画像取得部１０は、動画データを取得して、動画データを軌跡データ作成部１１に出力すると共に外部の動画像データベース２０に記憶する（ステップＳ１０）。この時、動画像取得部１０は、後で動画データが探索し易いように動画データをファイル単位で、動画像データベース２０に記憶する。
【００２９】
軌跡データ作成部１１は、動画データ中の物体の連続的な移動情報から、その動画データに識別子を付与した軌跡データを抽出し、その軌跡データを場所履歴データ作成部１２に出力すると共に外部の軌跡データベース２１に記録する（ステップＳ１１）。
【００３０】
物体の移動情報は、例えば移動する物体とその背景とを切り分けた２値画像で抽出する。図５に、２値画像の一例を示す。図５は、図３に示す人Ａの軌跡３０に対応する２値画像の一部である。このような移動情報の抽出は、物体をトラッキングする公知技術（参考文献：Dan MIKAMI et al. Memory-based Particle Filter for Face Pose Tracking Robust under Complex Dynamics, pp.999-1066, Proc. IEEE CVPR, 2009.）を用いることで可能である。
【００３１】
軌跡データは、この２値画像の１つの連続的な移動を表す移動情報に、識別子を付与して記録したものである。移動する物体、この例では人Ｘの位置を白とし、それ以外の部分を黒とする。この実施例では、物体がフレーム内に入ってから（動画像中に表示されてから）出て行くまで（動画像中から消えるまで）を、一つの軌跡データとして軌跡データベース２１に記憶する。一度フレーム外に出た物体は、同じ物体であっても違う物体として扱うものとする。例えば、田中さんが掲示板２の前を一度通り過ぎて、数時間後にも一度掲示板２の前を通り過ぎた場合は、２つの別々の軌跡データとして軌跡データベース２１に記憶される。つまり、軌跡データは物体の連続的な移動を１単位とした例えば２値画像に、識別子とタイムスタンプが付与された動画データである。
【００３２】
また、図３に示したようにポスターも軌跡データとなる。つまり、ポスターの場合はフレーム１内で移動はしないが、ポスターを掲示又は剥がす行為が軌跡データとなる。
【００３３】
表１に、図５の２値画像に対応した軌跡データの一例を示す。例えば、図３の人Ａの軌跡３０に対応した軌跡データである。
【００３４】
【表１】
この軌跡データ単位に識別子が付与される。識別子は例えばID001とする。つまり識別子は、１つの連続的な２値画面に１つ付与される。
【００３５】
場所履歴データ作成部１２は、軌跡データを入力として、軌跡データを、動画データのビデオスケールサイズの座標上に対応付けて場所履歴データを作成する。場所履歴データは外部の場所履歴データベース２３に記憶される（ステップＳ１２）。
【００３６】
場所履歴データは、動画像中の座標毎に、その座標に存在した物体の識別子と存在した時刻情報とを対応付けて記録したデータである。例えば、この実施例において撮影された動画データの解像度をＸＧＡ（1024×768）とした場合、1024×768＝786432個の場所履歴データを作成する。
【００３７】
表２に場所履歴データの一例を示す。この場所履歴データは、動画データのビデオスケールサイズの座標上、例えば、フレーム１の左上隅の座標を原点（0,0）とした時の座標（160,475）における場所履歴データである。
【００３８】
【表２】
場所履歴データは、時刻と識別子から成り、場所履歴データの対象となる座標に物体が存在した時刻とその識別子が経過時間順に記録されたものである。この場所履歴データは、軌跡データベース２１に記録された軌跡データから、該当する座標が白いものを時間順に探索することで作成することができる。
【００３９】
以上述べたように、軌跡・場所履歴データ作成装置１００は、動画データから物体の連続的な移動を１単位とした例えば２値画像に、識別子とタイムスタンプを付与した軌跡データと、その軌跡データを動画データのビデオスケールサイズの各々座標に対応付けた場所履歴データを作成する。
【００４０】
物体の移動情報を２値画像を例に説明したが、２値画像の代わりに移動する物体の中心から所定の矩形形状の範囲を軌跡データとしても良い。また、所定の半径の円形の範囲を軌跡データとしても良い。
【００４１】
また、場所履歴データを、動画データのビデオスケールサイズの各々座標に対応付けて作成する例を説明したが、各々の座標毎ではなく、ビデオスケールサイズの座標面を等間隔に区切った区画毎に作成するようにしても良い。例えば、３×３ビクセル（画素）の区画毎にフレーム１を分割し、３×３ビクセルの単位で場所履歴データを作成する。そうすることで、場所履歴データを作成する処理量を削減することが可能である。このようにすると、後述する動画像表示装置における画像探索を高速化することもできる。
【００４２】
〔動画像表示装置〕
動画像表示装置２００の動作を説明する。その動作フローを図６に示す。動画像表示装置２００は、オブジェクトを探索する際の場所の指定と、その場所におけるオブジェクトの時間方向の探索という２つの操作を、上記した場所履歴データを用いることで、簡単且つ単一の操作のみで行うことを可能にする。
【００４３】
動画像表示装置２００は、動画像データベース２０と、軌跡データベース２１と、場所履歴データベース２３と、過去オブジェクト取得部２４と、過去画像作成部２５と、表示部２６と、画像表示部２７と、操作領域取得部２８と、操作解析部２９と、を備える。
【００４４】
動画像データベース２０と、軌跡データベース２１と、場所履歴データベース２３と、は上記して説明したのと同じものである。画像表示部２７は動画データを表示する。この実施例では、動画データの解像度と同じ解像度を持つものとする。
【００４５】
操作領域取得部２８は、画像表示部２７に表示された画像上を利用者が操作した箇所の座標情報を取得する（ステップＳ２８）。例えば、画像表示部２７を、タッチパネル付きディスプレイで構成することで、利用者がペン先や指先等で画像表示部２７の表面を擦った部分の座標情報を得ることができる。この場合、操作領域取得部２８はタッチパネルということになる。
【００４６】
操作解析部２９は、操作領域取得部２８の出力する座標情報の変化から利用者の操作を解析して、その座標情報を含む画像探索指示と動画再生指示を出力する（ステップＳ２９）。画像探索指示とは、利用者が擦った領域の過去の時刻の画像を探索する指示信号である。動画再生指示は、利用者の例えばダブルタップ操作等の特定の操作を検出して動画像の再生を指示する信号である。
【００４７】
過去オブジェクト取得部２４は、画像探索指示に含まれる座標情報に対応する場所履歴データを場所履歴データベース２３から探索し、場所履歴データを時刻順に配列して過去オブジェクトを取得する（ステップＳ２４）。例えば、画像探索指示に含まれる座標が（10,20）,(11,20),(10,21),(11,21)の領域として繋がった隣接するものであったとする。過去オブジェクト取得部２４は、各座標に対応する場所履歴データを探索する。
【００４８】
例えば、座標（10,20）の場所履歴データの探索結果が「2009/9/7 10:55:29.00,ID001」、座標（11,20）の探索結果が「2009/9/6 09:45:25.00,ID001」、座標（10,21）が「2009/9/4 09:46:22.00,ID002」、座標（11,21）が「2009/9/3 11:55:11.00,ID003」であったとする。過去オブジェクト取得部２４は、その場所履歴データを時刻の新しい順に配列する。
【００４９】
過去画像作成部２５は、過去オブジェクト取得部２４で探索された場所履歴データの識別子と時刻に対応する軌跡データを軌跡データベース２１から呼び出すと共に、その時刻に対応する静止画を動画像データベース２０から取得し、その軌跡データの背景部分に当たる領域を透明化処理した過去画像を作成する（ステップＳ２５）。上述した例においては、４つの座標で検索されたもののうち、座標（10，20）の探索結果である「2009/9/710:55:29.00,ID001」が最も新しいため、10:55:29.00における静止画を動画データベース２０から取得するとともに、ID001の時刻10:55:29.00に対応する軌跡データ（２値画像）を軌跡データベース２１から呼び出し、過去画像を作成する。
【００５０】
図７を参照して過去画像を説明する。図７（ａ）は現在時刻の画像を表している。図７（ａ）中の斜め線で囲まれた領域は、利用者が指先で擦った領域を表している。図７（ｂ）は、擦った領域の最新（時刻ｔ１）の軌跡データである。図７（ｃ）は、時刻ｔ１の静止画であり、動画像データベース２０から取得したものである。図７（ｄ）は、時刻ｔ１の静止画の軌跡データの黒い部分に対応するピクセルを透明化処理した過去画像である。図７（ｄ）のグラデーション部分は、透明化処理を表している。
【００５１】
表示部２６は、画像表示部２７に表示中の画像に、過去画像を重ねて表示する（ステップＳ２６）。つまり、図７（ａ）に図７（ｄ）の過去画像を重ね合わせて表示する。表示された重ね合わせ画像は、すなわち図７（ｅ）のようなものとなる。
【００５２】
図８を参照して更に動画像表示装置２００の動作を説明する。図８は、図３と同じで時間経過の関係を説明するための図である。利用者が、時刻ｔ０の静止画が表示されているフレーム１上の領域αを擦ったと仮定する。ここでは、動画像データは実時間で更新されずに時刻ｔ０の画像が最新の画像と仮定して説明する。過去オブジェクト取得部２４は、領域αの座標に対応する場所履歴データを探索して時間順に配列し、直近の過去の時刻ｔ１の場所履歴データを過去画像作成部２５に出力する。
【００５３】
過去画像作成部２５は、場所履歴データの識別子と時刻ｔ１に対応する軌跡データを軌跡データベース２１から探索し、その時刻ｔ１に対応する静止画を動画像データベース２０から取得し、その軌跡データの背景部分に当たる領域を透明化処理した時刻ｔ１の過去画像を作成する。その時刻ｔ１の過去画像は、時刻ｔ０の静止画に重ねられて画像表示部２７に表示される。つまり、利用者が画像表示部２７の一部の領域αを擦ると、その部分の過去のオブジェクトが、今まで表示されていた画像を背景として表示される。
【００５４】
更に、利用者が同じ領域αを擦ると、領域αの画像は、例えば時刻（ｔ１−（１秒/３０））遡る。また、領域αに時刻ｔ１の過去画像が重ねて表示されている状態で、利用者が領域αを例えばダブルタップすると、表示部２６は時刻ｔ１からの動画データを動画像データベース２０から読み出して画像表示部２７に出力する。つまり、画像表示部２７に表示される画像全体が過去の時刻ｔ１から再生される。
【００５５】
また、領域αに過去のオブジェクトを表示している最中に、利用者が他の領域βを擦った場合、その領域βの直近の過去（時刻ｔ２）にあったオブジェクトが画像表示部２７に表示される。よってこの場合、画像表示部２７には、時刻ｔ０の時刻の静止画を背景として、時刻ｔ１の領域α、時刻ｔ２の領域βの３つの時刻の画像が同時に表示される。
【００５６】
このように、過去のオブジェクトが表示されている領域を更に擦った場合には、その表示されているオブジェクトが実際にあった時刻を起点として、過去方向にオブジェクトを探索して見つかったオブジェクトの静止画を表示する。
【００５７】
なお、動画像データが実時間で更新される場合は、その更新される実時刻の画面を背景とし、擦った領域に過去のオブジェクトを表示するようにしても良い。
【００５８】
画像表示部２７の一部の領域に過去のオブジェクトが表示されている状態において、同じ領域を再度擦った場合の過去のオブジェクトの探索方法は次の３つが考えられる。その第１は、上記したように「一度探索されたオブジェクトを除外せずに探索する方式」である。つまり、フレームレート単位で過去オブジェクトを遡って合成する方法である。第２は「一度探索されたオブジェクトは除外しないが、時間的に連続する部分は除外して探索する方式」、第３は「一度探索されたオブジェクトを除外して探索する方式」が考えられる。
【００５９】
図９を参照して第２と第３の方式を説明する。第２の方式では、時刻ｔ１の過去画像が表示されて状態で、領域αを再度擦ると時刻ｔ１〜ｔ２は時間的に連続しているので除外され、時刻ｔ１の次に表示される過去のオブジェクトは時刻ｔ３の人Ａの過去画像が表示される。そして、時刻ｔ３の人Ａの過去画像が表示されている状態で再度擦ると、時刻ｔ３〜ｔ４は時間的に連続しているので除外され、時刻ｔ５の人Ａの過去画像が表示される。
【００６０】
第３の方式では、時刻ｔ３の過去画像が表示されて状態で、領域αを再度擦ると、人Ａは既に探索されているために除外され、時刻ｔ７における人Ｃの過去画像が表示される。
【００６１】
〔動画像オブジェクト探索システム〕
上記して説明した軌跡・場所履歴データ作成装置１００と、動画像表示装置２００を組み合わせることで、動画像オブジェクト探索システム１０００を構築することができる（図１参照）。その動作フローを図１０に示す。
【００６２】
動画像オブジェクト探索システム１０００のオブジェクト探索方法は、上記した軌跡・場所履歴データ作成方法（ステップＳ１００）と動画像表示方法（ステップＳ２００）を含む。動画像オブジェクト探索システム１０００は、動画データを入力し、利用者が画像表示部２７の特定の領域を擦る操作のみで、その領域の過去のオブジェクトの探索を可能にする。
【実施例２】
【００６３】
上記した動画像表示装置２００は、軌跡データと場所履歴データがあることを前提に過去のオブジェクトを探索して表示するものであるが、軌跡データと場所履歴データを用いずに過去のオブジェクトを探索する動画像表示装置３００も考えられる。
【００６４】
図１１に、動画像表示装置３００の機能構成例を示す。動画像表示装置３００は、動画像表示装置２００に対して軌跡データベース２１と場所履歴データベース２３と過去オブジェクト取得部２４とを備えない点と、過去画像作成部３０１の動作のみが異なる。過去画像作成部３０１は、操作解析部２９が出力する座標情報を含む画像探索指示を入力として、所定時刻分過去の静止画を動画像データベース２０から取り出し、上記座標情報を含む所定範囲の座標領域以外を透明化処理した過去画像を作成する。
【００６５】
過去画像作成部３０１を、利用者の１度の擦り操作で所定時間遡った過去画像を作成するようにして置くことで、利用者の操作回数に応じて特定領域の表示を過去に遡って表示することが可能である。一度の操作で例えば１０分時間を戻すように設定し、ある領域を利用者が１０回擦った際には、操作の度にその領域の１０分毎過去のオブジェクトが表示される。
【００６６】
動画像表示装置３００は、利用者の１回の操作で必ずしも過去のオブジェクトにヒットしない場合もあるが、擦る操作を繰り返すことで過去のオブジェクトを探索することが可能である。また、所定時間を適切に設定することで操作に対する煩雑さを利用者に感じさせることもない。
【００６７】
以上述べたように、従来は動画画像のある特定の領域にある過去のオブジェクトを探索するためには、その領域の指定と時間方向の探索という２つの異なる操作を必要としたのに対して、この発明の映像中の特定の場所を擦るという操作は、探索する場所の指定と、その場所に存在したオブジェクトの過去方向への探索を兼ねている。そのため、この発明の動画像オブジェクト探索システムは、利用者が映像中の特定の場所に過去に存在したオブジェクト、若しくはそのオブジェクトが関連したイベントを探索したいと思った際に、その場所を擦るという簡単且つ単一の操作のみで、場所を限定したオブジェクトの探索を可能にする。
【００６８】
なお、この発明をビデオカメラで撮影した動画データを用いる例で説明したが、電子的に画像を掲示する電子掲示板の動画データに対してもこの発明を適用することができる。また、実施例では、タッチパネルを指やペン先等で擦る例で説明したが、動画像中の領域を指定できる方法であれば、タッチパネルが必須であるわけではない。例えばＰＣのディスプレイ上に表示された動画像中の領域をマウスポインタを移動することで指定しても良い。また、動画像表示装置の動作説明は、その画像表示部２７の解像度と、動画データの解像度が一致する場合を例に説明したが、その解像度は異なっても良い。異なる場合には、表示部２６で過去画像と動画データを再エンコードするか、表示の際に縮小することで、画像表示部２７の解像度に画像データを合わせれば良い。
【００６９】
なお、上記装置における処理手段をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、各装置における処理手段がコンピュータ上で実現される。
【００７０】
また、上記方法及び装置において説明した処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。
【００７１】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、DVD（Digital Versatile Disc）、DVD-RAM（Random Access Memory）、CD-ROM（Compact Disc Read Only Memory）、CD-R（Recordable）/RW（ReWritable）等を、光磁気記録媒体として、MO（Magneto Optical disc）等を、半導体メモリとしてEEP-ROM（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。
【００７２】
また、このプログラムの流通は、例えば、そのプログラムを記録したDVD、CD-ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記録装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【００７３】
また、各手段は、コンピュータ上で所定のプログラムを実行させることにより構成することにしてもよいし、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【特許請求の範囲】
【請求項１】
動画データを取得して、上記動画データを軌跡データ作成部に出力すると共に外部の動画像データベースに記憶する動画像取得部と、
上記動画データ中の物体の連続的な移動情報から、その物体の動画データに識別子を付与した軌跡データを作成して外部の軌跡データベースに記録する軌跡データ作成部と、
上記軌跡データを入力として、その軌跡データを、上記動画データのビデオスケールサイズの座標上に対応付けた場所履歴データを作成して外部の場所履歴データベースに記録する場所履歴データ作成部と、
を具備する軌跡・場所履歴データ作成装置。
【請求項２】
請求項１に記載した軌跡・場所履歴データ作成装置において、
上記座標上は、上記ビデオスケールサイズの座標面が等間隔に区切られた区画毎であることを特徴とする軌跡・場所履歴データ作成装置。
【請求項３】
動画データを記録した動画像データベースと、
上記動画データ中の物体の連続的な移動情報から、その物体の動画データに識別子を付与した軌跡データを記録した軌跡データベースと、
上記軌跡データを入力として、その軌跡データを、上記動画データのビデオスケールサイズの座標上に対応付けた場所履歴データを記録した場所履歴データベースと、
上記動画データを表示する画像表示部と、
上記画像表示部に表示された画像上を利用者が操作した箇所の座標情報を取得する操作領域取得部と、
上記座標情報の変化から利用者の操作を解析して、上記座標情報を含む画像探索指示と動画再生指示を出力する操作解析部と、
上記画像探索指示に含まれる座標情報に対応する場所履歴データを上記場所履歴データベースから探索し、時刻順に配列した過去オブジェクトを取得する過去オブジェクト取得部と、
上記探索された場所履歴データの識別子で対応する軌跡データを上記軌跡データベースから呼び出すと共に、当該場所履歴データの時刻の静止画を上記動画像データベースから取得して、その静止画の上記軌跡データの背景部分に当たる領域を透明化処理した過去画像を作成する過去画像作成部と、
上記動画像データベースから読み出した静止画に、上記過去画像を重ねて上記画像表示部に表示する表示部と、を備え、
上記画像探索指示の回数に応じて、上記過去オブジェクトを過去に遡った過去画像を表示すると共に、上記動画再生指示に基づいて動画を再生することを特徴とする動画像表示装置。
【請求項４】
請求項３に記載した動画像表示装置において、
上記画像探索指示の回数に応じて上記過去オブジェクトを過去に遡る過去画像は、上記動画データのフレームレート単位で遡ることを特徴とする動画像表示装置。
【請求項５】
請求項３に記載した動画像表示装置において、
上記画像探索指示の回数に応じて上記過去オブジェクトを過去に遡る過去画像は、上記識別子単位で遡ることを特徴とする動画像表示装置。
【請求項６】
請求項３に記載した動画像表示装置において、
上記画像探索指示の回数に応じて上記過去オブジェクトを過去に遡る過去画像は、時間的に連続する画像を除外したものであることを特徴とする動画像表示装置。
【請求項７】
請求項１に記載した動画像記録装置と、請求項２に記載した動画像表示装置と、を備えたことを特徴とする動画像オブジェクト探索システム。
【請求項８】
動画データを取得して、上記動画データを軌跡データ作成部に出力すると共に外部の画像データベースに記憶する動画像取得過程と、
上記動画データ中の物体の連続的な移動情報から、その物体の動画データに識別子を付与した軌跡データを作成して外部の軌跡データベースに記録する軌跡データ作成過程と、
動画像の座標毎に、その座標に存在した上記物体の識別子と、その物体が存在した時刻情報とを対応付けた場所履歴データを作成して外部の場所履歴データベースに記録する場所履歴データ作成過程と、
を備える軌跡・場所履歴データ作成方法。
【請求項９】
画像表示部に表示された画像上を利用者が操作した箇所の座標情報を取得する操作領域取得過程と、
上記座標情報の変化から利用者の操作を解析して、上記座標情報を含む画像探索指示と動画再生指示を出力する操作解析過程と、
上記画像探索指示に含まれる座標情報に対応する場所履歴データを上記場所履歴データベースから探索し、時刻順に配列した過去オブジェクトを取得する過去オブジェクト取得過程と、
上記探索された場所履歴データの識別子で対応する軌跡データを上記軌跡データベースから呼び出すと共に、当該場所履歴データの時刻の静止画を上記動画像データベースから取得して、その静止画の上記軌跡データの背景部分に当たる領域を透明化処理した過去画像を作成する過去画像作成過程と、
上記動画像データベースから読み出した静止画に、上記過去画像を重ねて上記画像表示部に表示する表示過程と、を含み、
上記画像探索指示の回数に応じて、上記過去オブジェクトを過去に遡った過去画像を表示すると共に、上記動画再生指示に基づいて動画を再生することを特徴とする動画像表示方法。
【請求項１０】
請求項１乃至７の何れかに記載した軌跡・場所履歴データ作成装置又は動画像表示装置又は動画像オブジェクト探索システムとしてコンピュータを機能させるためのプログラム。
【請求項１】
動画データを取得して、上記動画データを軌跡データ作成部に出力すると共に外部の動画像データベースに記憶する動画像取得部と、
上記動画データ中の物体の連続的な移動情報から、その物体の動画データに識別子を付与した軌跡データを作成して外部の軌跡データベースに記録する軌跡データ作成部と、
上記軌跡データを入力として、その軌跡データを、上記動画データのビデオスケールサイズの座標上に対応付けた場所履歴データを作成して外部の場所履歴データベースに記録する場所履歴データ作成部と、
を具備する軌跡・場所履歴データ作成装置。
【請求項２】
請求項１に記載した軌跡・場所履歴データ作成装置において、
上記座標上は、上記ビデオスケールサイズの座標面が等間隔に区切られた区画毎であることを特徴とする軌跡・場所履歴データ作成装置。
【請求項３】
動画データを記録した動画像データベースと、
上記動画データ中の物体の連続的な移動情報から、その物体の動画データに識別子を付与した軌跡データを記録した軌跡データベースと、
上記軌跡データを入力として、その軌跡データを、上記動画データのビデオスケールサイズの座標上に対応付けた場所履歴データを記録した場所履歴データベースと、
上記動画データを表示する画像表示部と、
上記画像表示部に表示された画像上を利用者が操作した箇所の座標情報を取得する操作領域取得部と、
上記座標情報の変化から利用者の操作を解析して、上記座標情報を含む画像探索指示と動画再生指示を出力する操作解析部と、
上記画像探索指示に含まれる座標情報に対応する場所履歴データを上記場所履歴データベースから探索し、時刻順に配列した過去オブジェクトを取得する過去オブジェクト取得部と、
上記探索された場所履歴データの識別子で対応する軌跡データを上記軌跡データベースから呼び出すと共に、当該場所履歴データの時刻の静止画を上記動画像データベースから取得して、その静止画の上記軌跡データの背景部分に当たる領域を透明化処理した過去画像を作成する過去画像作成部と、
上記動画像データベースから読み出した静止画に、上記過去画像を重ねて上記画像表示部に表示する表示部と、を備え、
上記画像探索指示の回数に応じて、上記過去オブジェクトを過去に遡った過去画像を表示すると共に、上記動画再生指示に基づいて動画を再生することを特徴とする動画像表示装置。
【請求項４】
請求項３に記載した動画像表示装置において、
上記画像探索指示の回数に応じて上記過去オブジェクトを過去に遡る過去画像は、上記動画データのフレームレート単位で遡ることを特徴とする動画像表示装置。
【請求項５】
請求項３に記載した動画像表示装置において、
上記画像探索指示の回数に応じて上記過去オブジェクトを過去に遡る過去画像は、上記識別子単位で遡ることを特徴とする動画像表示装置。
【請求項６】
請求項３に記載した動画像表示装置において、
上記画像探索指示の回数に応じて上記過去オブジェクトを過去に遡る過去画像は、時間的に連続する画像を除外したものであることを特徴とする動画像表示装置。
【請求項７】
請求項１に記載した動画像記録装置と、請求項２に記載した動画像表示装置と、を備えたことを特徴とする動画像オブジェクト探索システム。
【請求項８】
動画データを取得して、上記動画データを軌跡データ作成部に出力すると共に外部の画像データベースに記憶する動画像取得過程と、
上記動画データ中の物体の連続的な移動情報から、その物体の動画データに識別子を付与した軌跡データを作成して外部の軌跡データベースに記録する軌跡データ作成過程と、
動画像の座標毎に、その座標に存在した上記物体の識別子と、その物体が存在した時刻情報とを対応付けた場所履歴データを作成して外部の場所履歴データベースに記録する場所履歴データ作成過程と、
を備える軌跡・場所履歴データ作成方法。
【請求項９】
画像表示部に表示された画像上を利用者が操作した箇所の座標情報を取得する操作領域取得過程と、
上記座標情報の変化から利用者の操作を解析して、上記座標情報を含む画像探索指示と動画再生指示を出力する操作解析過程と、
上記画像探索指示に含まれる座標情報に対応する場所履歴データを上記場所履歴データベースから探索し、時刻順に配列した過去オブジェクトを取得する過去オブジェクト取得過程と、
上記探索された場所履歴データの識別子で対応する軌跡データを上記軌跡データベースから呼び出すと共に、当該場所履歴データの時刻の静止画を上記動画像データベースから取得して、その静止画の上記軌跡データの背景部分に当たる領域を透明化処理した過去画像を作成する過去画像作成過程と、
上記動画像データベースから読み出した静止画に、上記過去画像を重ねて上記画像表示部に表示する表示過程と、を含み、
上記画像探索指示の回数に応じて、上記過去オブジェクトを過去に遡った過去画像を表示すると共に、上記動画再生指示に基づいて動画を再生することを特徴とする動画像表示方法。
【請求項１０】
請求項１乃至７の何れかに記載した軌跡・場所履歴データ作成装置又は動画像表示装置又は動画像オブジェクト探索システムとしてコンピュータを機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図８】
【図９】
【図１０】
【図１１】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図８】
【図９】
【図１０】
【図１１】
【図７】
【公開番号】特開２０１２−１３４７００（Ｐ２０１２−１３４７００Ａ）
【公開日】平成２４年７月１２日（２０１２．７．１２）
【国際特許分類】
【出願番号】特願２０１０−２８４１１３（Ｐ２０１０−２８４１１３）
【出願日】平成２２年１２月２１日（２０１０．１２．２１）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２４年７月１２日（２０１２．７．１２）
【国際特許分類】
【出願日】平成２２年１２月２１日（２０１０．１２．２１）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]