映像フレーム内の事象を識別及び可視化する方法、及び、映像ストリーム内の事象のタイムラインを生成するためのシステム
【課題】本発明は、映像フレーム内の事象を識別及び可視化する方法、及び、映像ストリーム内の事象のタイムラインを生成するためのシステムを提供する。
【解決手段】本発明では、映像フレーム内で、興味のある量を判定し、興味のある量に基づいて映像フレームごとに重要性スコアを生成し、重要性スコアに基づいて１つか又はそれ以上の閾値を計算し、事象を識別する映像フレームを閾値に基づいて選択する。選択された事象のキーフレームを表示するタイムラインを生成してもよい。
【解決手段】本発明では、映像フレーム内で、興味のある量を判定し、興味のある量に基づいて映像フレームごとに重要性スコアを生成し、重要性スコアに基づいて１つか又はそれ以上の閾値を計算し、事象を識別する映像フレームを閾値に基づいて選択する。選択された事象のキーフレームを表示するタイムラインを生成してもよい。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像内の動作の識別、動作の重要性の評価、興味のある事象を識別するタイムラインの作成、及び、映像の事象又は別のビューをより詳細に見るための対話技術に基づいて、１つか又はそれ以上の定位置カメラからタイムライン及び事象ログを生成する技術に関する。詳細には、映像フレーム内の事象を識別及び可視化する方法、及び、映像ストリーム内の事象のタイムラインを生成するためのシステムに関する。
【背景技術】
【０００２】
一組の監視カメラからの映像のような、同期した一組の映像ストリーム内の興味のある事象を識別することは、映像の量のために、また、オーサリングメタデータ又はインデックスがないために、難しいことである。さらに、警備員は、リアルタイムにか又は事後に、興味のある動作を識別し、そして、様々な映像ストリーム内の動作間の相互関係を判定しなければならない。彼らは、特定の事態を導くか又は特定の事態の後に発生する一連の行為について理解を深めなければならない。
【０００３】
タイムラインは、様々な研究者によって調査されてきた。人生における事象（例えば、犯罪歴又は医療記録）を可視化するために、タイムラインを使用するものがある（例えば、非特許文献１参照）。作曲家に関する情報のようなディジタルライブラリからのデータをタイムラインに可視化するものもある（例えば、非特許文献２参照）。その他のアプローチも提供されている（例えば、非特許文献３参照）。
【０００４】
単一カメラのためのタイムラインビューが提供されている（例えば、特許文献１参照）。関連する地図技術として、事象のキーフレームが、ユーザがタイムラインに沿って移動すると、次第に明るくなり、また、次第に暗くなることが提供されている（例えば、特許文献２参照）。映像のセグメントについて重要性を計算することが提供されている（例えば、特許文献３）。
【特許文献１】米国特許第６，３６６，２９６号明細書
【特許文献２】米国特許出願公開第２００３／０１９７７３１号
【特許文献３】米国特許第６，５３５，６３９号明細書
【非特許文献１】Ｃ．プレサント（Plaisant C.）、Ｂ．ミラシュ（Milash B.）、Ａ．ローズ（Rose A.）、Ｓ．ウィドフ（Widoff S.）、Ｂ．シュナイダーマン（Shneiderman B.）、「ライフライン：個人暦の可視化」（LifeLines:Visualizing Personal Histories）、計算機システムにおける人的要素に関するＳＩＧＣＨＩ会議議事録（Proceedings of the SIGCHI conference on Human factors in computing systems）、1996年、p.221−227
【非特許文献２】Ｖ．クマー（Kumar V.）、Ｒ．フルタ（Furuta R.）、Ｒ．Ｂ．アレン（Allen R.B.）、「ディジタルライブラリのためのメタデータ可視化：対話的タイムラインの編集及び検討」（Metadata Visualization for Digital Libraries:Interactive Timeline Editing and Review）、ディジタルライブラリに関する第３回ＡＣＭ会議議事録（Proceedings of the third ACM conference on Digital libraries）、1998年、p.126−133
【非特許文献３】Ｓ．Ｃ．Ｓ．チュエン（Chueng、S.-C.S.）、Ｃ．カマス（Kamath C.）、2004年、「都会のトラフィック映像から背景を除くためのロバストな技法」（Robust Techniques for Background Subtraction in Urban Traffic Video）、映像通信及び画像処理・ＳＰＩＥ 電子画像処理（Video Communications and Image Processing,SPIE Electronic Imaging）、サンホセ（San Jose）、2004年
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明は、上記に鑑み、１つか又はそれ以上の映像フレーム内の事象を識別及び可視化する方法、及び、映像ストリーム内の事象のタイムラインを生成するためのシステムを提供する。
【課題を解決するための手段】
【０００６】
一組の映像ストリーム内の興味のある事象を提供するためのタイムラインインタフェースが、開発された。タイムラインインタフェースは、映像ストリーム内の興味のある動作の期間を位置決めするための技術、動作を複数の事象のグループに分類するための方法、事象を提供するための方法、及び、興味のある期間を選択しかつ地図内の事象を再生するためのインタフェースエレメントを含む。
【０００７】
本発明の第１の態様は、１つか又はそれ以上の映像フレーム内の事象を識別及び可視化する方法であって、（ａ）興味のある量を判定し、（ｂ）興味のある量に基づいて映像フレームごとに重要性スコアを生成し、（ｃ）重要性スコアに基づいて１つか又はそれ以上の閾値を計算し、（ｄ）事象を識別する映像フレームを閾値に基づいて選択する。
【０００８】
本発明の第２の態様は、第１の態様の事象を識別及び可視化する方法であって、（ａ）において、興味のある量が、映像フレーム内の動作の量、映像フレーム内の興味のある地点、カメラから興味のある地点までの距離、映像フレーム内の検出された特徴、映像フレーム内の顔の特徴、動作が興味のあるものであるか又は特徴が興味のあるものであれば、別のセンサーによって検出された動作、及び、別のセンサーによって検出された事象からなるグループから選択された基準に基づくものである。
【０００９】
本発明の第３の態様は、第１の態様の事象を識別及び可視化する方法であって、（ｅ）映像フレーム内の１つか又はそれ以上の興味のある地点を判定し、（ｆ）１つか又はそれ以上の映像カメラ位置から映像フレーム内の１つか又はそれ以上の興味のある地点までの１つか又はそれ以上の距離を判定し、（ｇ）カメラ位置から興味のある地点までの距離に基づいて興味のある量を判定する、ことをさらに含む。
【００１０】
本発明の第４の態様は、第１の態様の事象を識別及び可視化する方法であって、（ｂ）は、滑らかにすることをさらに含む。
【００１１】
本発明の第５の態様は、第１の態様の事象を識別及び可視化する方法であって、（ｃ）において、最小の興味のある量、動作とみなされる変化した画素の最小割合、新しい映像セグメントを開始するための動作の最小休止時間、及び、ノイズを無視するための動作セグメントの最小の長さからなるグループから選択された量について１つか又はそれ以上の閾値が計算される。
【００１２】
本発明の第６の態様は、第５の態様の事象を識別及び可視化する方法であって、（ｄ）は、（ｈ）滑らかにされた重要性スコアが、最小の興味のある量の閾値よりも大きければ、映像フレームを事象に含め、（ｉ）選択された連続的な映像フレーム間の間隙が、新しい映像セグメントを開始するための動作の最小休止時間閾値よりも小さければ、選択された連続的な映像フレームを単一事象に結合する、ことをさらに含む。
【００１３】
本発明の第７の態様は、第１の態様の事象を識別及び可視化する方法であって、映像フレームが映像ストリームの一部分であり、映像ストリーム内の少なくとも１つの事象のタイムラインを生成することをさらに含む。
【００１４】
本発明の第８の態様は、第７の態様の事象を識別及び可視化する方法であって、タイムラインにおける事象の期間が水平ラインを用いて識別され、水平ラインが、事象が映像ストリーム内で最初に存在した時刻に開始し、且つ事象が映像ストリーム内で最後に存在した時刻に終了し、キーフレームが、各事象の内容を可視化するために使用され、事象の期間に対応する。
【００１５】
本発明の第９の態様は、第８の態様の事象を識別及び可視化する方法であって、２つか又はそれ以上のカメラによって同時に記録された２つか又はそれ以上の映像ストリームが、単一タイムライン上に表示され、各映像ストリーム内に存在する事象の期間が、水平ラインによって表示され、記号が、映像ストリームを記録するために使用されたカメラを示すために使用され、同じ記号が、同じカメラからの映像内に存在する異なる事象に使用され、同じカメラからの事象ごとにキーフレームをフレーム化するために使用される。
【００１６】
本発明の第１０の態様は、第９の態様の事象を識別及び可視化する方法であって、記号が、異なるカメラによって撮影された事象を示すために異なる色を使用し、同じ色が、同じカメラからの映像内に存在する異なる事象に使用され、同じカメラからの事象ごとにキーフレームをフレーム化するために使用される。
【００１７】
本発明の第１１の態様は、第９の態様の事象を識別及び可視化する方法であって、地図が、２つか又はそれ以上の映像ストリームを撮影するために使用された２つか又はそれ以上のカメラの地理的位置を示すために使用され、記号が、カメラを示すために使用され、キーフレームが、カメラから観察された映像ストリームを示すために使用され、記号を用いて示され、異なる記号が、異なるカメラを示すために使用され、異なるカメラから観察された映像ストリームを示すために使用される異なるキーフレームが、異なるカメラに対応する異なる記号によってフレーム化され、カーソルがタイムラインに沿って移動すると、キーフレームが変化する。
【００１８】
本発明の第１２の態様は、第１１の態様の事象を識別及び可視化する方法であって、記号が、２つか又はそれ以上の映像ストリームを撮影するために使用された２つか又はそれ以上のカメラの地理的位置を示すために異なる色を使用し、色が、カメラを示すために使用され、キーフレームが、その色によってフレーム化され、異なる色が、異なるカメラを示すために使用され、異なるキーフレームが、異なるカメラに対応する異なる色によってフレーム化され、カーソルがタイムラインに沿って移動すると、キーフレームが変化する。
【００１９】
本発明の第１３の態様は、第８の態様の事象を識別及び可視化する方法であって、識別された事象のキーフレームが表示され、キーフレームがタイムラインに従って番号を付される。
【００２０】
本発明の第１４の態様は、第１３の態様の事象を識別及び可視化する方法であって、キーフレームが、動作期間及びその動作期間のこま撮り可視化を表す複数の単一行為キーフレームからなるグループから選択される。
【００２１】
本発明の第１５の態様は、第８の態様の事象を識別及び可視化する方法であって、キーフレームが、映像ストリーム内の合成を可視化するために使用され、単一タイムラインに従って番号を付される。
【００２２】
本発明の第１６の態様は、第１１の態様の事象を識別及び可視化する方法であって、事象ログが、事象を可視化するために、地図上でキーフレームとともに使用される。
【００２３】
本発明の第１７の態様は、第１の態様の事象を識別及び可視化する方法であって、事象が、地図、事象ログ、及び、タイムラインからなるグループから選択された媒体を用いて表示される。
【００２４】
本発明の第１８の態様は、第７の態様の事象を識別及び可視化する方法に係る映像ストリーム内の興味のある事象を表示する事象のタイムラインを生成するためのコンピュータによって実行することのできる命令からなるプログラムであって、興味のある量を判定するステップと、興味のある量に基づいて映像ストリーム内の１つか又はそれ以上の映像フレームごとに重要性スコアを生成するステップと、１つか又はそれ以上の閾値を計算するステップと、事象を識別する映像フレームを閾値に基づいて選択するステップと、映像ストリーム内の１つか又はそれ以上の選択された事象のキーフレームを表示するタイムラインを生成するステップと、を含む。
【００２５】
本発明の第１９の態様は、映像ストリーム内の事象のタイムラインを生成するためのシステムであって、ａ）１つか又はそれ以上の組のパラメータを規定することができ、１つか又はそれ以上の組のパラメータをソースコードに転送することができ、映像ストリーム内の事象を可視化するための一連のタスクにソースコードをコンパイルすることができる１つか又はそれ以上のプロセッサと、ｂ）１つか又はそれ以上プロセッサによって処理されるとき、１つか又はそれ以上の組のパラメータを規定するステップ、１つか又はそれ以上の組のパラメータをソースコードに転送するステップ、及び、ソースコードを映像ストリーム内の事象のタイムラインを生成するための一連のタスクにコンパイルするステップをシステムに実行させるオペレーションが格納された機械可読媒体とを有するシステム。
【発明の効果】
【００２６】
本発明によれば、興味のある量を判定し、興味のある量に基づいて映像フレームごとに重要性スコアを生成し、重要性スコアに基づいて１つか又はそれ以上の閾値を計算し、事象を識別する映像フレームを前記閾値に基づいて選択するようにしているので、映像フレーム内の事象を識別及び可視化することができる。
【００２７】
さらに、本発明によれば、興味のある量を判定し、興味のある量に基づいて映像フレームごとに重要性スコアを生成し、重要性スコアに基づいて１つか又はそれ以上の閾値を計算し、事象を識別する映像フレームを閾値に基づいて選択し、選択された事象のキーフレームを表示するタイムラインを生成するようにしているので、映像フレーム内の事象を識別及び可視化し、映像ストリーム内の興味の有る事象を表示する事象タイムラインを生成することができる。
【発明を実施するための最良の形態】
【００２８】
添付の図面を参照して、本発明の好ましい実施形態を詳細に説明する。
（映像内の動作の識別）
動作を判定するための２つの異なるアプローチが、提案される。第１のアプローチは、連続的な映像フレームを比較し、変化する画素を判定する。第２のアプローチは、カメラビューの背景をモデル化し、映像フレームごとに前景画素を判定する。両方のアプローチは、変化した画素又は前景の画素を観察し、それらの数をカウントし、あるいは、全体的な動きの方向及び速度を判定する。満足できる動作を備えたフレームは、動作を備えた複数の映像セグメントのグループに分類される。動作とみなされるべき変化した画素の最小割合、新しいセグメントを開始するための動作の最小休止時間、及び、映像ノイズを無視するための動作セグメントの最小の長さについての閾値が実験的に判定される。
（動作から事象への変換）
事象は、映像内の動作の量に基づいて興味のあるものとみなされる動作の期間、映像テープに録画された空間内の興味のある地点までの距離、人の顔のような検出された特徴、及び、例えば、無線周波数識別（ＲＦＩＤ）のようなその他のセンサーからの事象を判定することによって識別される。複数のカメラがビュー内に同一の興味のある地点を有する場合、興味のある地点までの距離量はすべてのカメラを考慮することによって改良することができる。
【００２９】
興味のある量が映像内のフレームごとに計算されると、フレームは、まず、移動平均によって重要性スコアを滑らかにすることによって、そして、移動平均が閾値よりも大きいシーケンスを選択することによって、事象シーケンスに統合される。これが、図１及び図８に示され、ホットスポットの近傍の動作から判定された重要性のグラフが時間軸上にプロットされている。図１及び図８において、閾値よりも大きな移動平均を備えたシーケンスは複数の事象のグループに分類され、短い間隙を備えた事象は結合される。その他の閾値は事象を結合するための間隙の最大期間を判定する。また、図１及び図８は、事象に対応する大きな重要性を備えたキーフレームを示す。
【００３０】
本発明では、図７に概略が示されるように、ステップ１００において、興味のある量を判定し、ステップ１０２において、興味のある量に基づいた重要性スコアを生成し、ステップ１０４において、重要性スコアを滑らかにする。ステップ１０６において、滑らかにされた重要性スコアが第１の閾値より大きいと判断されると、ステップ１０８に進み、識別された事象を選択する。ステップ１０６において、判断が否定された場合、ステップ１１０に進み、事象は選択されない。次に、ステップ１１２において、間隙が第２の閾値より小さいと判断されると、ステップ１１４に進み、選択された識別事象を結合し、ステップ１１６において、事象のタイムラインを生成する。ステップ１１２において、判断が否定された場合、ステップ１１０に進み、事象は選択されない。
【００３１】
具体的には、ステップ１００において、興味のある量を判定する。ステップ１０２、１０４において、興味のある量に基づいて映像フレームごとに重要性スコアを生成する。ステップ１０４において、重要性スコアを滑らかにしてもよい。ステップ１０６において、重要性スコアに基づいて１つか又はそれ以上の閾値を計算する。ステップ１０６〜１１４において、事象を識別する映像フレームを閾値に基づいて選択する。ステップ１１４において、選択された連続的な映像フレームを単一事象に結合してもよい。ステップ１１６において、映像ストリーム内の少なくとも１つの事象のタイムラインを生成する。
【００３２】
なお、本発明の上記及び下記の例示的な実施形態は、情報処理装置によって実行されてもよい。当該情報処理装置は、例えば、カメラから映像ストリームを受け取る入力部、プロセッサによる実行の際の作業領域を形成するとともにプログラムや処理対象としてのデータを格納する記憶部、処理内容や処理結果（例えば、図１〜図６、図８〜図１３に示される画面）を表示する表示部、及び、データを通信網などに出力する出力部などを含む。プロセッサは、プログラムを読み出し実行することにより、処理対称のデータ等に対して当該プログラムの手順に対応した処理をする。
【００３３】
プロセッサは、判定手段と、重要性スコア生成手段と、閾値計算手段と、選択手段とを備えてもよい。判定手段は、興味のある量を判定する（ステップ１００）。重要性スコア生成手段は、興味のある量に基づいて映像フレームごとに重要性スコアを生成する（ステップ１０２、１０４）。重要性スコア生成手段は、さらに、重要性スコアを滑らかにする平滑手段を有してもよい（ステップ１０４）。閾値計算手段は、重要性スコアに基づいて１つか又はそれ以上の閾値を計算する（ステップ１０６）。選択手段は、事象を識別する映像フレームを閾値に基づいて選択する（ステップ１０６〜１１６）。選択手段は、さらに、選択された連続的な映像フレームを単一事象に結合する結合手段を有してもよい（ステップ１１４）。該プロセッサは、さらに、映像ストリーム内の少なくとも１つの事象のタイムラインを生成するタイムライン生成手段を有してもよい（ステップ１１６）。
【００３４】
判定手段、重要性スコア生成手段、平滑手段、閾値計算手段、選択手段、結合手段、タイムライン生成手段は、プロセッサによって制御されるハードウェアで実現されてもよいし、プロセッサによって実行されるソフトウェア（プログラム）で実現されてもよい。また、情報処理装置は、パーソナルコンピュータ、マイクロコンピュータのような汎用情報処理装置であってもよいし、本発明を実施するための専用情報処理装置であってもよい。
【００３５】
本発明のプログラムは、興味のある量を判定する（ステップ１００）命令と、興味のある量に基づいて映像フレームごとに重要性スコアを生成する（ステップ１０２、１０４）命令と、重要性スコアに基づいて１つか又はそれ以上の閾値を計算する（ステップ１０６）命令と、事象を識別する映像フレームを閾値に基づいて選択する（ステップ１０６〜１１６）命令を含む。当該プログラムをプロセッサにより実行することにより、判定手段は、興味のある量を判定し（ステップ１００）、重要性スコア生成手段は、興味のある量に基づいて映像フレームごとに重要性スコアを生成し（ステップ１０２、１０４）、閾値計算手段は、重要性スコアに基づいて１つか又はそれ以上の閾値を計算し（ステップ１０６）、選択手段は、事象を識別する映像フレームを閾値に基づいて選択する（ステップ１０６〜１１６）ように、プロセッサは各手段を制御することができる。
【００３６】
本発明のプログラムは、さらに、重要性スコアを滑らかにする（ステップ１０４）命令と、選択された連続的な映像フレームを単一事象に結合する（ステップ１１４）命令と、映像ストリーム内の少なくとも１つの事象のタイムラインを生成する（ステップ１１６）命令とを含んでもよい。当該プログラムをプロセッサにより実行することにより、平滑手段は、重要性スコアを滑らかにし（ステップ１０４）、結合手段は、選択された連続的な映像フレームを単一事象に結合し（ステップ１１４）、タイムライン生成手段は、映像ストリーム内の少なくとも１つの事象のタイムラインを生成する（ステップ１１６）ように、プロセッサは各手段を制御することができる。
（タイムライン上における事象の可視化）
ただ単に事象のリストを提供するのではなく、事象がタイムライン及びキーフレームを用いて可視化される。図２及び図９は、単一カメラ（＃２）からの事象を備えたタイムラインを示す。図２において、三角形記号（△）は、水平バー又はライン、及び、キーフレーム輪郭が図９において赤で陰影が付されていることを例示するために使用され、映像がその色に対応するカメラから入力されることを示す。水平バー又はラインは事象の期間を指示し、キーフレームはそれぞれの事象の内容を可視化するために使用される。ユーザは興味のある時間間隔を得るためにタイムラインの終点を調節してもよい。図７は、タイムラインを生成するために映像ストリーム内の事象を識別するときに必要とされるステップのブロック図を示す。複数のカメラの場合、単一タイムラインが同様に使用されるが、異なる色の水平バーは異なるカメラからの事象を示す。図３及び図１０は、複数のカメラからの事象を備えたタイムラインを示す。図３において、キーフレーム輪郭は、発生源カメラ（１、２、３、４）を示すために、図１０における色（緑、赤、黄、青）に対応する記号化されたシンボル（□、△、◇、○）である。合成キーフレーム又は動作キーフレームが提供され、異なるビューの事象及び事象内の動作を認識させる。図４及び図１１は、４つのカメラからのキーフレームからなる４画面を示し、キーフレームは、動作の中央だけにトリミングされ、それらの重要性に比例した寸法を有する。
（タイムラインとの対話）
警備員のようなユーザは、映像ストリームをタイムラインに含めるため選択することができなければならない。このために、地図インタフェースコンポーネントが設計及び開発されている。興味のある映像セグメントを位置決めするために必要な情報をユーザに提供するために、地図とタイムラインとが対話する。
（地図は、地理的位置を示す）
地図は、カメラの地理的位置を示し、映像ストリームをタイムラインに含めるよう選択するために使用される。カメラは、色記号及びテキスト形式によるカメラ識別子の両方を用いて識別される。ユーザがマウスによって一組のカメラを選択すると、タイムラインは再作成される。
（地図内の事象の再生）
ユーザは、タイムラインの一部分を再生することを選択してもよい。タイムライン再生中、興味のある動作を示すキーフレームは、動作を示すカメラに近い地図上のビューを次第に明るくし、動作が終了した時刻の後に次第に暗くする。図６及び図１３は、カメラ位置を示す地図を示し、事象のキーフレームは、ユーザがタイムラインに沿って移動すると、次第に明るくなり、また、次第に暗くなる（図示はされない）。
（キーフレーム内の動作の可視化）
動作キーフレーム。単一キーフレームを介して映像ストリーム内の動作の期間を可視化するために、映像セグメントの異なるフレーム内に現れる前景オブジェクトが、アルファブレンドされ、動きを示す。図５及び図１２は、ホットスポットの近傍の動作を備えた事象リスト及びキーフレーム、及び、全事象のこま撮り可視化を示し、図５において、こま撮り可視化におけるオブジェクトの濃度は、記号（実線、破線、点線）を用いて示され、濃い人影、薄い人影、及び、淡い人影を示す。
【００３７】
キーフレームの合成。複数の映像ストリーム内の同時の行為を表すためのアプローチは、複数のカメラからのキーフレーム内の興味のある領域から合成を作成することであってもよい。発生源キーフレームから得られた領域の寸法は、それらの映像ストリーム内の動作の相対的な重要性を示すために使用される（図４及び図１１を参照）。
【００３８】
コンピュータの分野に精通する者には明らかなように、本発明の様々な実施形態は、本明細書の教示に基づいてプログラムされた１つか又は複数のプロセッサを用いて実施されてもよい。ソフトウェアの分野に精通する者には明らかなように、熟練したプログラマーは、本明細書の教示に基づいて、適切なソフトウェアコーディングを容易におこなうことができる。また、この分野に精通する者には容易に理解できるように、本発明は、集積回路を製造すること、又は、コンポーネント回路の適切な回路網を相互接続することの少なくとも一方によって実施されてもよい。
【００３９】
様々な実施形態は、その上に又はその中に記憶された命令又は情報の少なくとも一方を有する記憶媒体（記憶メディア）であってもよいコンピュータプログラムプロダクトを含み、それらの命令又は情報の少なくとも一方は、ここに記載されたいずれかの特徴を実施するために、１つか又は複数の汎用又は専用の計算プロセッサ又は計算装置をプログラムするために使用されてもよい。記憶媒体は、限定はしないが、１つか又はそれ以上の下記のもの、すなわち、フロッピー（登録商標）ディスク、光ディスク、ＤＶＤ、ＣＤ−ＲＯＭ、マイクロドライブ、光磁気ディスク、ホログラフィック記憶装置、ＲＯＭ、ＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＤＲＡＭ、ＰＲＡＭ、ＶＲＡＭ、フラッシュメモリー装置、磁気カード又は光カード、ナノシステム（分子メモリーＩＣを含む）、紙の媒体並びに紙に基づいた媒体を含むあらゆる種類の物理的媒体、及び、命令又は情報の少なくとも一方を記憶するために適したあらゆる種類の媒体又は装置を含んでもよい。様々な実施形態は、１つか又はそれ以上の公衆又は専用の少なくとも一方のネットワークを介して全体的に又は部分的に送信されてもよいコンピュータプログラムプロダクトを含み、送信は、ここに記載されたいずれかの特徴を実施するために、１つか又はそれ以上のプロセッサによって使用されてもよい命令又は情報の少なくとも一方を含む。様々な実施形態において、送信は、複数の分離した送信を含んでもよい。
【００４０】
本明細書は、１つか又はそれ以上のコンピュータ可読媒体上に記憶される、１つか又は複数のプロセッサのハードウェアを制御するためのソフトウェア、及び、１つか又は複数のコンピュータ又はプロセッサが本発明の成果を利用する人間のユーザ又はその他の装置と対話することを可能にするソフトウェアを含む。そのようなソフトウェアは、限定はしないが、装置ドライバ、インタフェースドライバ、オペレーティングシステム、実行環境又はコンテナ、ユーザインタフェース、及び、アプリケーションを含んでもよい。
【００４１】
コードの実行は、直接的又は間接的なものであってもよい。コードは、コンパイラ型言語、インタープリタ型言語、及び、その他の種類の言語を含んでもよい。特許請求の範囲の文言によって特に限定されない限り、ある機能のためのコード又はコードセグメントの実行又は送信の少なくとも一方は、その機能を実行するために、局所あるいは遠隔のその他のソフトウェア又は装置の呼び出し又はコールを含んでもよい。呼び出し又はコールは、その機能を実行するために、ライブラリモジュール、装置ドライバ、インタフェースドライバ、及び、遠隔ソフトウェアの呼び出し又はコールを含んでもよい。呼び出し又はコールは、分散システム及びクライアント−サーバーシステムにおける呼び出し又はコールを含んでもよい。
【００４２】
本発明の一実施形態において、１つか又はそれ以上の映像フレーム内の事象を識別する方法は、（ａ）興味のある量を判定し、（ｂ）興味のある量に基づいて映像フレームごとに重要性スコアを生成し、（ｃ）重要性スコアに基づいて１つか又はそれ以上の閾値を計算し、（ｄ）事象を識別する映像フレームを閾値に基づいて選択することを含む。
【００４３】
本発明の別の実施形態において、興味のある量は、映像内の動作の量、映像内の興味のある地点、カメラから興味のある地点までの距離、映像内の検出された特徴、映像内の顔の特徴、動作が興味のあるものであるか又は特徴が興味のあるものであれば、別のセンサーによって検出された動作、及び、別のセンサーによって検出された事象からなるグループから選択された基準に基づくものである。
【００４４】
本発明の別の実施形態において、（ａ）は、（ｅ）映像ストリーム内の１つか又はそれ以上の興味のある地点を判定し、（ｆ）１つか又はそれ以上の映像カメラ位置から映像ストリーム内の１つか又はそれ以上の興味のある地点までの１つか又はそれ以上の距離を判定し、（ｇ）興味のある地点までの距離に基づいて興味のある量を判定することをさらに含む。
【００４５】
本発明の別の実施形態において、（ｂ）は、滑らかにすることをさらに含む。本発明の別の実施形態において、滑らかにされた重要性スコアは、重要性スコアに移動平均を適用することによって生成される。
【００４６】
本発明の別の実施形態において、最小の興味のある量、動作とみなされる変化した画素の最小割合、新しい映像セグメントを開始するための動作の最小休止時間、及び、ノイズを無視するための動作セグメントの最小の長さからなるグループから選択された量について、１つか又はそれ以上の閾値が計算される。
【００４７】
本発明の別の実施形態において、（ｄ）は、（ｈ）滑らかにされた重要性スコアが、最小の興味のある量の閾値よりも大きければ、映像フレームを事象に含め、（ｉ）選択された連続的な映像フレーム間の間隙が、新しい映像セグメントを開始するための動作の最小休止時間閾値よりも小さければ、選択された連続的な映像フレームを単一事象に結合することをさらに含む。
【００４８】
本発明の別の実施形態は、映像ストリーム内の少なくとも１つの事象のタイムラインを生成することをさらに含む。
【００４９】
本発明の別の実施形態において、タイムラインにおける事象の期間は水平ラインを用いて識別され、水平ラインは、事象が映像ストリーム内で最初に存在した時刻に開始し、且つ事象が映像ストリーム内で最後に存在した時刻に終了し、キーフレームが、各事象の内容を可視化するために使用され、事象の期間に対応する。
【００５０】
本発明の別の実施形態において、２つか又はそれ以上のカメラによって同時に記録された２つか又はそれ以上の映像ストリームは、単一タイムライン上に表示され、それぞれの映像ストリーム内に存在する事象の期間は、ストリームを記録するために使用されたカメラを示すための記号を用いて、水平ラインによって表示され、同じ記号は、同じカメラからの映像内に存在する異なる事象に使用され、同じカメラからの事象ごとにキーフレームをフレーム化するために使用される。
【００５１】
本発明の別の実施形態において、記号は、異なるカメラによって撮影された事象を示すために異なる色を使用し、同じ色は、同じカメラからの映像内に存在する異なる事象に使用され、同じカメラからの事象ごとにキーフレームをフレーム化するために使用される。
【００５２】
本発明の別の実施形態において、地図が、２つか又はそれ以上の映像ストリームを撮影するために使用された２つか又はそれ以上のカメラの地理的位置を示すために使用され、記号が、カメラを示すために使用され、キーフレームが、カメラから観察された映像ストリームを示すために使用され、かつ、その記号によってフレーム化され、異なる記号が、異なるカメラを示すために使用され、異なるカメラから観察された映像ストリームを示すために使用される異なるキーフレームは、異なるカメラに対応する異なる記号によってフレーム化され、カーソルがタイムラインに沿って移動すると、キーフレームは変化する。
【００５３】
本発明の別の実施形態において、記号は、２つか又はそれ以上の映像ストリームを撮影するために使用された２つか又はそれ以上のカメラの地理的位置を示すために異なる色を使用し、色が、カメラを示すために使用され、キーフレームが、その色によってフレーム化され、異なる色が、異なるカメラを示すために使用され、異なるキーフレームが、異なるカメラに対応する異なる色によってフレーム化され、カーソルがタイムラインに沿って移動すると、キーフレームが変化する。
【００５４】
本発明の別の実施形態において、識別された事象のキーフレームが表示され、キーフレームはタイムラインに従って番号を付される。キーフレームは、動作期間及びその動作期間のこま撮り可視化を表す複数の単一行為キーフレームからなるグループから選択される。キーフレームは、映像ストリーム内の合成を可視化するために使用され、単一タイムラインに従って番号を付される。
【００５５】
本発明の別の実施形態において、事象ログは、事象を可視化するために、地図上でキーフレームとともに使用される。
【００５６】
本発明の別の実施形態において、事象は、地図、事象ログ、及び、タイムラインからなるグループから選択された媒体を用いて表示される。
【００５７】
本発明の実施形態において、映像ストリーム内の事象のタイムラインを生成するためのコンピュータによって実行することのできる命令からなるプログラムは、興味のある量を判定するステップと、興味のある量に基づいて映像フレームごとに重要性スコアを生成するステップと、１つか又はそれ以上の閾値を計算するステップと、事象を識別する映像フレームを閾値に基づいて選択するステップと、映像ストリーム内の１つか又はそれ以上の事象のタイムラインを生成するステップと、を含む。
【００５８】
本発明の別の実施形態において、映像ストリーム内の事象のタイムラインを生成するためのシステムは、タイムラインを生成するステップが、ａ）１つか又はそれ以上の組のパラメータを規定することができ、１つか又はそれ以上の組のパラメータをソースコードに転送することができ、映像ストリーム内の事象を可視化するための一連のタスクにソースコードをコンパイルすることができる１つか又はそれ以上のプロセッサと、ｂ）１つか又はそれ以上のプロセッサによって処理されると、１つか又はそれ以上の組のパラメータを規定するステップ、１つか又はそれ以上の組のパラメータをソースコードに転送するステップ、及び、ソースコードを、映像ストリーム内の事象のタイムラインを生成するための一連のタスクにコンパイルするステップをシステムに実行させるオペレーションを格納する機械可読媒体とを有する。
【００５９】
本発明の別の実施形態において、それに記憶された命令を有する機械可読媒体は、前記命令が、システムに、興味のある量を判定させ、興味のある量に基づいて映像フレームごとに重要性スコアを生成させ、１つかまたはそれ以上の閾値値を計算させ、事象を識別する映像フレームを閾値に基づいて選択させ、映像ストリーム内の１つかまたはそれ以上の事象のタイムラインを生成させる。
【図面の簡単な説明】
【００６０】
【図１】図８をイラストとして描写したものであり、ホットスポットの近傍の動作から判定された重要性のグラフが、時間軸上で示され、水平ラインが、重大な事象が映像ストリーム内に最初に存在した時刻から事象が映像ストリーム内に最後に存在した時刻までを示すために使用され、動作を表すキーフレームが表示され、図１において、色（緑、赤、黄、青）に対応するシンボル（□、△、◇、○）が、発生源カメラ（１、２、３、４）を示すために使用され、図１における人物の様々な斜線は、図８に存在する様々な行為者をより良好に区別するために使用される。
【図２】図９をイラストとして描写したものであり、単一発生源カメラ（２）からの事象を備えたタイムラインが、図２に示され、図９に示される水平ボックス及びキーフレーム輪郭が赤で陰影が付されていることを例示するために三角形シンボル（△）が用いられ、図２における人物の様々な斜線は、図９に存在する様々な行為者をより良好に区別するために使用される。
【図３】図１０をイラストとして描写したものであり、複数のカメラからの事象を備えたタイムラインが示され、図３において、キーフレームは、発生源カメラ（１、２、３、４）を示すために、図１０における色（緑、赤、黄、青）に対応するシンボル（□、△、◇、○）を備えた輪郭を有し、図３における人物の様々な斜線は、図１０に存在する様々な行為者をより良好に区別するために使用される。
【図４】図１１をイラストとして描写したものであり、４つのカメラからのキーフレームからなる４画面が示され、キーフレームは、動作の中央だけにトリミングされ、それらの重要性に比例した寸法を有し、図４における人物の様々な斜線は、図１１に存在する様々な行為者をより良好に区別するために使用される。
【図５】図１２をイラストとして描写したものであり、ホットスポットの近傍の動作を備えた事象リスト及びキーフレーム、及び、全事象のこま撮り可視化が示され、図５において、こま撮り可視化におけるオブジェクトの濃度は、濃い人影、薄い人影、及び、淡い人影を示すために、記号（実線、破線、点線）を用いて示され、図５における人物の様々な斜線は、図１２に存在する様々な行為者をより良好に区別するために使用される。
【図６】図１３をイラストとして描写したものであり、発生源カメラ（１、２、３、４）をそれぞれ指示するために図１３における色（緑、赤、黄、青）に対応するシンボル（□、△、◇、○）を用いて図６において識別されるカメラ位置を示す地図を示し、事象のキーフレームは、ユーザがタイムライン（図示せず）に沿って移動すると、次第に明るくなり、また、次第に暗くなり、図６における人物の様々な斜線は、図１３に存在する様々な行為者をより良好に区別するために使用される。
【図７】タイムラインを生成するために映像ストリーム内の事象を識別するために必要なステップのブロック図である。
【図８】ホットスポットの近傍の動作から判定された重要性を時間軸上に示すグラフである。
【図９】単一発生源カメラ（２）からの事象を備えたタイムラインを示す図である。
【図１０】複数のカメラからの事象及びキーフレームを備えたタイムラインを示す図である。
【図１１】４つのカメラからのキーフレームからなる４画面を示す図であり、キーフレームは、動作の中央だけにトリミングされ、それらの重要性に比例した寸法を有する。
【図１２】ホットスポットの近傍の動作を備えた事象リスト及びキーフレーム、及び、全事象のこま撮り可視化を示す図である。
【図１３】カメラ位置を示す地図を示す図であり、事象のキーフレームは、ユーザがライムライン（図示せず）に沿って移動すると、次第に明るくなり、また、次第に暗くなる。
【技術分野】
【０００１】
本発明は、映像内の動作の識別、動作の重要性の評価、興味のある事象を識別するタイムラインの作成、及び、映像の事象又は別のビューをより詳細に見るための対話技術に基づいて、１つか又はそれ以上の定位置カメラからタイムライン及び事象ログを生成する技術に関する。詳細には、映像フレーム内の事象を識別及び可視化する方法、及び、映像ストリーム内の事象のタイムラインを生成するためのシステムに関する。
【背景技術】
【０００２】
一組の監視カメラからの映像のような、同期した一組の映像ストリーム内の興味のある事象を識別することは、映像の量のために、また、オーサリングメタデータ又はインデックスがないために、難しいことである。さらに、警備員は、リアルタイムにか又は事後に、興味のある動作を識別し、そして、様々な映像ストリーム内の動作間の相互関係を判定しなければならない。彼らは、特定の事態を導くか又は特定の事態の後に発生する一連の行為について理解を深めなければならない。
【０００３】
タイムラインは、様々な研究者によって調査されてきた。人生における事象（例えば、犯罪歴又は医療記録）を可視化するために、タイムラインを使用するものがある（例えば、非特許文献１参照）。作曲家に関する情報のようなディジタルライブラリからのデータをタイムラインに可視化するものもある（例えば、非特許文献２参照）。その他のアプローチも提供されている（例えば、非特許文献３参照）。
【０００４】
単一カメラのためのタイムラインビューが提供されている（例えば、特許文献１参照）。関連する地図技術として、事象のキーフレームが、ユーザがタイムラインに沿って移動すると、次第に明るくなり、また、次第に暗くなることが提供されている（例えば、特許文献２参照）。映像のセグメントについて重要性を計算することが提供されている（例えば、特許文献３）。
【特許文献１】米国特許第６，３６６，２９６号明細書
【特許文献２】米国特許出願公開第２００３／０１９７７３１号
【特許文献３】米国特許第６，５３５，６３９号明細書
【非特許文献１】Ｃ．プレサント（Plaisant C.）、Ｂ．ミラシュ（Milash B.）、Ａ．ローズ（Rose A.）、Ｓ．ウィドフ（Widoff S.）、Ｂ．シュナイダーマン（Shneiderman B.）、「ライフライン：個人暦の可視化」（LifeLines:Visualizing Personal Histories）、計算機システムにおける人的要素に関するＳＩＧＣＨＩ会議議事録（Proceedings of the SIGCHI conference on Human factors in computing systems）、1996年、p.221−227
【非特許文献２】Ｖ．クマー（Kumar V.）、Ｒ．フルタ（Furuta R.）、Ｒ．Ｂ．アレン（Allen R.B.）、「ディジタルライブラリのためのメタデータ可視化：対話的タイムラインの編集及び検討」（Metadata Visualization for Digital Libraries:Interactive Timeline Editing and Review）、ディジタルライブラリに関する第３回ＡＣＭ会議議事録（Proceedings of the third ACM conference on Digital libraries）、1998年、p.126−133
【非特許文献３】Ｓ．Ｃ．Ｓ．チュエン（Chueng、S.-C.S.）、Ｃ．カマス（Kamath C.）、2004年、「都会のトラフィック映像から背景を除くためのロバストな技法」（Robust Techniques for Background Subtraction in Urban Traffic Video）、映像通信及び画像処理・ＳＰＩＥ 電子画像処理（Video Communications and Image Processing,SPIE Electronic Imaging）、サンホセ（San Jose）、2004年
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明は、上記に鑑み、１つか又はそれ以上の映像フレーム内の事象を識別及び可視化する方法、及び、映像ストリーム内の事象のタイムラインを生成するためのシステムを提供する。
【課題を解決するための手段】
【０００６】
一組の映像ストリーム内の興味のある事象を提供するためのタイムラインインタフェースが、開発された。タイムラインインタフェースは、映像ストリーム内の興味のある動作の期間を位置決めするための技術、動作を複数の事象のグループに分類するための方法、事象を提供するための方法、及び、興味のある期間を選択しかつ地図内の事象を再生するためのインタフェースエレメントを含む。
【０００７】
本発明の第１の態様は、１つか又はそれ以上の映像フレーム内の事象を識別及び可視化する方法であって、（ａ）興味のある量を判定し、（ｂ）興味のある量に基づいて映像フレームごとに重要性スコアを生成し、（ｃ）重要性スコアに基づいて１つか又はそれ以上の閾値を計算し、（ｄ）事象を識別する映像フレームを閾値に基づいて選択する。
【０００８】
本発明の第２の態様は、第１の態様の事象を識別及び可視化する方法であって、（ａ）において、興味のある量が、映像フレーム内の動作の量、映像フレーム内の興味のある地点、カメラから興味のある地点までの距離、映像フレーム内の検出された特徴、映像フレーム内の顔の特徴、動作が興味のあるものであるか又は特徴が興味のあるものであれば、別のセンサーによって検出された動作、及び、別のセンサーによって検出された事象からなるグループから選択された基準に基づくものである。
【０００９】
本発明の第３の態様は、第１の態様の事象を識別及び可視化する方法であって、（ｅ）映像フレーム内の１つか又はそれ以上の興味のある地点を判定し、（ｆ）１つか又はそれ以上の映像カメラ位置から映像フレーム内の１つか又はそれ以上の興味のある地点までの１つか又はそれ以上の距離を判定し、（ｇ）カメラ位置から興味のある地点までの距離に基づいて興味のある量を判定する、ことをさらに含む。
【００１０】
本発明の第４の態様は、第１の態様の事象を識別及び可視化する方法であって、（ｂ）は、滑らかにすることをさらに含む。
【００１１】
本発明の第５の態様は、第１の態様の事象を識別及び可視化する方法であって、（ｃ）において、最小の興味のある量、動作とみなされる変化した画素の最小割合、新しい映像セグメントを開始するための動作の最小休止時間、及び、ノイズを無視するための動作セグメントの最小の長さからなるグループから選択された量について１つか又はそれ以上の閾値が計算される。
【００１２】
本発明の第６の態様は、第５の態様の事象を識別及び可視化する方法であって、（ｄ）は、（ｈ）滑らかにされた重要性スコアが、最小の興味のある量の閾値よりも大きければ、映像フレームを事象に含め、（ｉ）選択された連続的な映像フレーム間の間隙が、新しい映像セグメントを開始するための動作の最小休止時間閾値よりも小さければ、選択された連続的な映像フレームを単一事象に結合する、ことをさらに含む。
【００１３】
本発明の第７の態様は、第１の態様の事象を識別及び可視化する方法であって、映像フレームが映像ストリームの一部分であり、映像ストリーム内の少なくとも１つの事象のタイムラインを生成することをさらに含む。
【００１４】
本発明の第８の態様は、第７の態様の事象を識別及び可視化する方法であって、タイムラインにおける事象の期間が水平ラインを用いて識別され、水平ラインが、事象が映像ストリーム内で最初に存在した時刻に開始し、且つ事象が映像ストリーム内で最後に存在した時刻に終了し、キーフレームが、各事象の内容を可視化するために使用され、事象の期間に対応する。
【００１５】
本発明の第９の態様は、第８の態様の事象を識別及び可視化する方法であって、２つか又はそれ以上のカメラによって同時に記録された２つか又はそれ以上の映像ストリームが、単一タイムライン上に表示され、各映像ストリーム内に存在する事象の期間が、水平ラインによって表示され、記号が、映像ストリームを記録するために使用されたカメラを示すために使用され、同じ記号が、同じカメラからの映像内に存在する異なる事象に使用され、同じカメラからの事象ごとにキーフレームをフレーム化するために使用される。
【００１６】
本発明の第１０の態様は、第９の態様の事象を識別及び可視化する方法であって、記号が、異なるカメラによって撮影された事象を示すために異なる色を使用し、同じ色が、同じカメラからの映像内に存在する異なる事象に使用され、同じカメラからの事象ごとにキーフレームをフレーム化するために使用される。
【００１７】
本発明の第１１の態様は、第９の態様の事象を識別及び可視化する方法であって、地図が、２つか又はそれ以上の映像ストリームを撮影するために使用された２つか又はそれ以上のカメラの地理的位置を示すために使用され、記号が、カメラを示すために使用され、キーフレームが、カメラから観察された映像ストリームを示すために使用され、記号を用いて示され、異なる記号が、異なるカメラを示すために使用され、異なるカメラから観察された映像ストリームを示すために使用される異なるキーフレームが、異なるカメラに対応する異なる記号によってフレーム化され、カーソルがタイムラインに沿って移動すると、キーフレームが変化する。
【００１８】
本発明の第１２の態様は、第１１の態様の事象を識別及び可視化する方法であって、記号が、２つか又はそれ以上の映像ストリームを撮影するために使用された２つか又はそれ以上のカメラの地理的位置を示すために異なる色を使用し、色が、カメラを示すために使用され、キーフレームが、その色によってフレーム化され、異なる色が、異なるカメラを示すために使用され、異なるキーフレームが、異なるカメラに対応する異なる色によってフレーム化され、カーソルがタイムラインに沿って移動すると、キーフレームが変化する。
【００１９】
本発明の第１３の態様は、第８の態様の事象を識別及び可視化する方法であって、識別された事象のキーフレームが表示され、キーフレームがタイムラインに従って番号を付される。
【００２０】
本発明の第１４の態様は、第１３の態様の事象を識別及び可視化する方法であって、キーフレームが、動作期間及びその動作期間のこま撮り可視化を表す複数の単一行為キーフレームからなるグループから選択される。
【００２１】
本発明の第１５の態様は、第８の態様の事象を識別及び可視化する方法であって、キーフレームが、映像ストリーム内の合成を可視化するために使用され、単一タイムラインに従って番号を付される。
【００２２】
本発明の第１６の態様は、第１１の態様の事象を識別及び可視化する方法であって、事象ログが、事象を可視化するために、地図上でキーフレームとともに使用される。
【００２３】
本発明の第１７の態様は、第１の態様の事象を識別及び可視化する方法であって、事象が、地図、事象ログ、及び、タイムラインからなるグループから選択された媒体を用いて表示される。
【００２４】
本発明の第１８の態様は、第７の態様の事象を識別及び可視化する方法に係る映像ストリーム内の興味のある事象を表示する事象のタイムラインを生成するためのコンピュータによって実行することのできる命令からなるプログラムであって、興味のある量を判定するステップと、興味のある量に基づいて映像ストリーム内の１つか又はそれ以上の映像フレームごとに重要性スコアを生成するステップと、１つか又はそれ以上の閾値を計算するステップと、事象を識別する映像フレームを閾値に基づいて選択するステップと、映像ストリーム内の１つか又はそれ以上の選択された事象のキーフレームを表示するタイムラインを生成するステップと、を含む。
【００２５】
本発明の第１９の態様は、映像ストリーム内の事象のタイムラインを生成するためのシステムであって、ａ）１つか又はそれ以上の組のパラメータを規定することができ、１つか又はそれ以上の組のパラメータをソースコードに転送することができ、映像ストリーム内の事象を可視化するための一連のタスクにソースコードをコンパイルすることができる１つか又はそれ以上のプロセッサと、ｂ）１つか又はそれ以上プロセッサによって処理されるとき、１つか又はそれ以上の組のパラメータを規定するステップ、１つか又はそれ以上の組のパラメータをソースコードに転送するステップ、及び、ソースコードを映像ストリーム内の事象のタイムラインを生成するための一連のタスクにコンパイルするステップをシステムに実行させるオペレーションが格納された機械可読媒体とを有するシステム。
【発明の効果】
【００２６】
本発明によれば、興味のある量を判定し、興味のある量に基づいて映像フレームごとに重要性スコアを生成し、重要性スコアに基づいて１つか又はそれ以上の閾値を計算し、事象を識別する映像フレームを前記閾値に基づいて選択するようにしているので、映像フレーム内の事象を識別及び可視化することができる。
【００２７】
さらに、本発明によれば、興味のある量を判定し、興味のある量に基づいて映像フレームごとに重要性スコアを生成し、重要性スコアに基づいて１つか又はそれ以上の閾値を計算し、事象を識別する映像フレームを閾値に基づいて選択し、選択された事象のキーフレームを表示するタイムラインを生成するようにしているので、映像フレーム内の事象を識別及び可視化し、映像ストリーム内の興味の有る事象を表示する事象タイムラインを生成することができる。
【発明を実施するための最良の形態】
【００２８】
添付の図面を参照して、本発明の好ましい実施形態を詳細に説明する。
（映像内の動作の識別）
動作を判定するための２つの異なるアプローチが、提案される。第１のアプローチは、連続的な映像フレームを比較し、変化する画素を判定する。第２のアプローチは、カメラビューの背景をモデル化し、映像フレームごとに前景画素を判定する。両方のアプローチは、変化した画素又は前景の画素を観察し、それらの数をカウントし、あるいは、全体的な動きの方向及び速度を判定する。満足できる動作を備えたフレームは、動作を備えた複数の映像セグメントのグループに分類される。動作とみなされるべき変化した画素の最小割合、新しいセグメントを開始するための動作の最小休止時間、及び、映像ノイズを無視するための動作セグメントの最小の長さについての閾値が実験的に判定される。
（動作から事象への変換）
事象は、映像内の動作の量に基づいて興味のあるものとみなされる動作の期間、映像テープに録画された空間内の興味のある地点までの距離、人の顔のような検出された特徴、及び、例えば、無線周波数識別（ＲＦＩＤ）のようなその他のセンサーからの事象を判定することによって識別される。複数のカメラがビュー内に同一の興味のある地点を有する場合、興味のある地点までの距離量はすべてのカメラを考慮することによって改良することができる。
【００２９】
興味のある量が映像内のフレームごとに計算されると、フレームは、まず、移動平均によって重要性スコアを滑らかにすることによって、そして、移動平均が閾値よりも大きいシーケンスを選択することによって、事象シーケンスに統合される。これが、図１及び図８に示され、ホットスポットの近傍の動作から判定された重要性のグラフが時間軸上にプロットされている。図１及び図８において、閾値よりも大きな移動平均を備えたシーケンスは複数の事象のグループに分類され、短い間隙を備えた事象は結合される。その他の閾値は事象を結合するための間隙の最大期間を判定する。また、図１及び図８は、事象に対応する大きな重要性を備えたキーフレームを示す。
【００３０】
本発明では、図７に概略が示されるように、ステップ１００において、興味のある量を判定し、ステップ１０２において、興味のある量に基づいた重要性スコアを生成し、ステップ１０４において、重要性スコアを滑らかにする。ステップ１０６において、滑らかにされた重要性スコアが第１の閾値より大きいと判断されると、ステップ１０８に進み、識別された事象を選択する。ステップ１０６において、判断が否定された場合、ステップ１１０に進み、事象は選択されない。次に、ステップ１１２において、間隙が第２の閾値より小さいと判断されると、ステップ１１４に進み、選択された識別事象を結合し、ステップ１１６において、事象のタイムラインを生成する。ステップ１１２において、判断が否定された場合、ステップ１１０に進み、事象は選択されない。
【００３１】
具体的には、ステップ１００において、興味のある量を判定する。ステップ１０２、１０４において、興味のある量に基づいて映像フレームごとに重要性スコアを生成する。ステップ１０４において、重要性スコアを滑らかにしてもよい。ステップ１０６において、重要性スコアに基づいて１つか又はそれ以上の閾値を計算する。ステップ１０６〜１１４において、事象を識別する映像フレームを閾値に基づいて選択する。ステップ１１４において、選択された連続的な映像フレームを単一事象に結合してもよい。ステップ１１６において、映像ストリーム内の少なくとも１つの事象のタイムラインを生成する。
【００３２】
なお、本発明の上記及び下記の例示的な実施形態は、情報処理装置によって実行されてもよい。当該情報処理装置は、例えば、カメラから映像ストリームを受け取る入力部、プロセッサによる実行の際の作業領域を形成するとともにプログラムや処理対象としてのデータを格納する記憶部、処理内容や処理結果（例えば、図１〜図６、図８〜図１３に示される画面）を表示する表示部、及び、データを通信網などに出力する出力部などを含む。プロセッサは、プログラムを読み出し実行することにより、処理対称のデータ等に対して当該プログラムの手順に対応した処理をする。
【００３３】
プロセッサは、判定手段と、重要性スコア生成手段と、閾値計算手段と、選択手段とを備えてもよい。判定手段は、興味のある量を判定する（ステップ１００）。重要性スコア生成手段は、興味のある量に基づいて映像フレームごとに重要性スコアを生成する（ステップ１０２、１０４）。重要性スコア生成手段は、さらに、重要性スコアを滑らかにする平滑手段を有してもよい（ステップ１０４）。閾値計算手段は、重要性スコアに基づいて１つか又はそれ以上の閾値を計算する（ステップ１０６）。選択手段は、事象を識別する映像フレームを閾値に基づいて選択する（ステップ１０６〜１１６）。選択手段は、さらに、選択された連続的な映像フレームを単一事象に結合する結合手段を有してもよい（ステップ１１４）。該プロセッサは、さらに、映像ストリーム内の少なくとも１つの事象のタイムラインを生成するタイムライン生成手段を有してもよい（ステップ１１６）。
【００３４】
判定手段、重要性スコア生成手段、平滑手段、閾値計算手段、選択手段、結合手段、タイムライン生成手段は、プロセッサによって制御されるハードウェアで実現されてもよいし、プロセッサによって実行されるソフトウェア（プログラム）で実現されてもよい。また、情報処理装置は、パーソナルコンピュータ、マイクロコンピュータのような汎用情報処理装置であってもよいし、本発明を実施するための専用情報処理装置であってもよい。
【００３５】
本発明のプログラムは、興味のある量を判定する（ステップ１００）命令と、興味のある量に基づいて映像フレームごとに重要性スコアを生成する（ステップ１０２、１０４）命令と、重要性スコアに基づいて１つか又はそれ以上の閾値を計算する（ステップ１０６）命令と、事象を識別する映像フレームを閾値に基づいて選択する（ステップ１０６〜１１６）命令を含む。当該プログラムをプロセッサにより実行することにより、判定手段は、興味のある量を判定し（ステップ１００）、重要性スコア生成手段は、興味のある量に基づいて映像フレームごとに重要性スコアを生成し（ステップ１０２、１０４）、閾値計算手段は、重要性スコアに基づいて１つか又はそれ以上の閾値を計算し（ステップ１０６）、選択手段は、事象を識別する映像フレームを閾値に基づいて選択する（ステップ１０６〜１１６）ように、プロセッサは各手段を制御することができる。
【００３６】
本発明のプログラムは、さらに、重要性スコアを滑らかにする（ステップ１０４）命令と、選択された連続的な映像フレームを単一事象に結合する（ステップ１１４）命令と、映像ストリーム内の少なくとも１つの事象のタイムラインを生成する（ステップ１１６）命令とを含んでもよい。当該プログラムをプロセッサにより実行することにより、平滑手段は、重要性スコアを滑らかにし（ステップ１０４）、結合手段は、選択された連続的な映像フレームを単一事象に結合し（ステップ１１４）、タイムライン生成手段は、映像ストリーム内の少なくとも１つの事象のタイムラインを生成する（ステップ１１６）ように、プロセッサは各手段を制御することができる。
（タイムライン上における事象の可視化）
ただ単に事象のリストを提供するのではなく、事象がタイムライン及びキーフレームを用いて可視化される。図２及び図９は、単一カメラ（＃２）からの事象を備えたタイムラインを示す。図２において、三角形記号（△）は、水平バー又はライン、及び、キーフレーム輪郭が図９において赤で陰影が付されていることを例示するために使用され、映像がその色に対応するカメラから入力されることを示す。水平バー又はラインは事象の期間を指示し、キーフレームはそれぞれの事象の内容を可視化するために使用される。ユーザは興味のある時間間隔を得るためにタイムラインの終点を調節してもよい。図７は、タイムラインを生成するために映像ストリーム内の事象を識別するときに必要とされるステップのブロック図を示す。複数のカメラの場合、単一タイムラインが同様に使用されるが、異なる色の水平バーは異なるカメラからの事象を示す。図３及び図１０は、複数のカメラからの事象を備えたタイムラインを示す。図３において、キーフレーム輪郭は、発生源カメラ（１、２、３、４）を示すために、図１０における色（緑、赤、黄、青）に対応する記号化されたシンボル（□、△、◇、○）である。合成キーフレーム又は動作キーフレームが提供され、異なるビューの事象及び事象内の動作を認識させる。図４及び図１１は、４つのカメラからのキーフレームからなる４画面を示し、キーフレームは、動作の中央だけにトリミングされ、それらの重要性に比例した寸法を有する。
（タイムラインとの対話）
警備員のようなユーザは、映像ストリームをタイムラインに含めるため選択することができなければならない。このために、地図インタフェースコンポーネントが設計及び開発されている。興味のある映像セグメントを位置決めするために必要な情報をユーザに提供するために、地図とタイムラインとが対話する。
（地図は、地理的位置を示す）
地図は、カメラの地理的位置を示し、映像ストリームをタイムラインに含めるよう選択するために使用される。カメラは、色記号及びテキスト形式によるカメラ識別子の両方を用いて識別される。ユーザがマウスによって一組のカメラを選択すると、タイムラインは再作成される。
（地図内の事象の再生）
ユーザは、タイムラインの一部分を再生することを選択してもよい。タイムライン再生中、興味のある動作を示すキーフレームは、動作を示すカメラに近い地図上のビューを次第に明るくし、動作が終了した時刻の後に次第に暗くする。図６及び図１３は、カメラ位置を示す地図を示し、事象のキーフレームは、ユーザがタイムラインに沿って移動すると、次第に明るくなり、また、次第に暗くなる（図示はされない）。
（キーフレーム内の動作の可視化）
動作キーフレーム。単一キーフレームを介して映像ストリーム内の動作の期間を可視化するために、映像セグメントの異なるフレーム内に現れる前景オブジェクトが、アルファブレンドされ、動きを示す。図５及び図１２は、ホットスポットの近傍の動作を備えた事象リスト及びキーフレーム、及び、全事象のこま撮り可視化を示し、図５において、こま撮り可視化におけるオブジェクトの濃度は、記号（実線、破線、点線）を用いて示され、濃い人影、薄い人影、及び、淡い人影を示す。
【００３７】
キーフレームの合成。複数の映像ストリーム内の同時の行為を表すためのアプローチは、複数のカメラからのキーフレーム内の興味のある領域から合成を作成することであってもよい。発生源キーフレームから得られた領域の寸法は、それらの映像ストリーム内の動作の相対的な重要性を示すために使用される（図４及び図１１を参照）。
【００３８】
コンピュータの分野に精通する者には明らかなように、本発明の様々な実施形態は、本明細書の教示に基づいてプログラムされた１つか又は複数のプロセッサを用いて実施されてもよい。ソフトウェアの分野に精通する者には明らかなように、熟練したプログラマーは、本明細書の教示に基づいて、適切なソフトウェアコーディングを容易におこなうことができる。また、この分野に精通する者には容易に理解できるように、本発明は、集積回路を製造すること、又は、コンポーネント回路の適切な回路網を相互接続することの少なくとも一方によって実施されてもよい。
【００３９】
様々な実施形態は、その上に又はその中に記憶された命令又は情報の少なくとも一方を有する記憶媒体（記憶メディア）であってもよいコンピュータプログラムプロダクトを含み、それらの命令又は情報の少なくとも一方は、ここに記載されたいずれかの特徴を実施するために、１つか又は複数の汎用又は専用の計算プロセッサ又は計算装置をプログラムするために使用されてもよい。記憶媒体は、限定はしないが、１つか又はそれ以上の下記のもの、すなわち、フロッピー（登録商標）ディスク、光ディスク、ＤＶＤ、ＣＤ−ＲＯＭ、マイクロドライブ、光磁気ディスク、ホログラフィック記憶装置、ＲＯＭ、ＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＤＲＡＭ、ＰＲＡＭ、ＶＲＡＭ、フラッシュメモリー装置、磁気カード又は光カード、ナノシステム（分子メモリーＩＣを含む）、紙の媒体並びに紙に基づいた媒体を含むあらゆる種類の物理的媒体、及び、命令又は情報の少なくとも一方を記憶するために適したあらゆる種類の媒体又は装置を含んでもよい。様々な実施形態は、１つか又はそれ以上の公衆又は専用の少なくとも一方のネットワークを介して全体的に又は部分的に送信されてもよいコンピュータプログラムプロダクトを含み、送信は、ここに記載されたいずれかの特徴を実施するために、１つか又はそれ以上のプロセッサによって使用されてもよい命令又は情報の少なくとも一方を含む。様々な実施形態において、送信は、複数の分離した送信を含んでもよい。
【００４０】
本明細書は、１つか又はそれ以上のコンピュータ可読媒体上に記憶される、１つか又は複数のプロセッサのハードウェアを制御するためのソフトウェア、及び、１つか又は複数のコンピュータ又はプロセッサが本発明の成果を利用する人間のユーザ又はその他の装置と対話することを可能にするソフトウェアを含む。そのようなソフトウェアは、限定はしないが、装置ドライバ、インタフェースドライバ、オペレーティングシステム、実行環境又はコンテナ、ユーザインタフェース、及び、アプリケーションを含んでもよい。
【００４１】
コードの実行は、直接的又は間接的なものであってもよい。コードは、コンパイラ型言語、インタープリタ型言語、及び、その他の種類の言語を含んでもよい。特許請求の範囲の文言によって特に限定されない限り、ある機能のためのコード又はコードセグメントの実行又は送信の少なくとも一方は、その機能を実行するために、局所あるいは遠隔のその他のソフトウェア又は装置の呼び出し又はコールを含んでもよい。呼び出し又はコールは、その機能を実行するために、ライブラリモジュール、装置ドライバ、インタフェースドライバ、及び、遠隔ソフトウェアの呼び出し又はコールを含んでもよい。呼び出し又はコールは、分散システム及びクライアント−サーバーシステムにおける呼び出し又はコールを含んでもよい。
【００４２】
本発明の一実施形態において、１つか又はそれ以上の映像フレーム内の事象を識別する方法は、（ａ）興味のある量を判定し、（ｂ）興味のある量に基づいて映像フレームごとに重要性スコアを生成し、（ｃ）重要性スコアに基づいて１つか又はそれ以上の閾値を計算し、（ｄ）事象を識別する映像フレームを閾値に基づいて選択することを含む。
【００４３】
本発明の別の実施形態において、興味のある量は、映像内の動作の量、映像内の興味のある地点、カメラから興味のある地点までの距離、映像内の検出された特徴、映像内の顔の特徴、動作が興味のあるものであるか又は特徴が興味のあるものであれば、別のセンサーによって検出された動作、及び、別のセンサーによって検出された事象からなるグループから選択された基準に基づくものである。
【００４４】
本発明の別の実施形態において、（ａ）は、（ｅ）映像ストリーム内の１つか又はそれ以上の興味のある地点を判定し、（ｆ）１つか又はそれ以上の映像カメラ位置から映像ストリーム内の１つか又はそれ以上の興味のある地点までの１つか又はそれ以上の距離を判定し、（ｇ）興味のある地点までの距離に基づいて興味のある量を判定することをさらに含む。
【００４５】
本発明の別の実施形態において、（ｂ）は、滑らかにすることをさらに含む。本発明の別の実施形態において、滑らかにされた重要性スコアは、重要性スコアに移動平均を適用することによって生成される。
【００４６】
本発明の別の実施形態において、最小の興味のある量、動作とみなされる変化した画素の最小割合、新しい映像セグメントを開始するための動作の最小休止時間、及び、ノイズを無視するための動作セグメントの最小の長さからなるグループから選択された量について、１つか又はそれ以上の閾値が計算される。
【００４７】
本発明の別の実施形態において、（ｄ）は、（ｈ）滑らかにされた重要性スコアが、最小の興味のある量の閾値よりも大きければ、映像フレームを事象に含め、（ｉ）選択された連続的な映像フレーム間の間隙が、新しい映像セグメントを開始するための動作の最小休止時間閾値よりも小さければ、選択された連続的な映像フレームを単一事象に結合することをさらに含む。
【００４８】
本発明の別の実施形態は、映像ストリーム内の少なくとも１つの事象のタイムラインを生成することをさらに含む。
【００４９】
本発明の別の実施形態において、タイムラインにおける事象の期間は水平ラインを用いて識別され、水平ラインは、事象が映像ストリーム内で最初に存在した時刻に開始し、且つ事象が映像ストリーム内で最後に存在した時刻に終了し、キーフレームが、各事象の内容を可視化するために使用され、事象の期間に対応する。
【００５０】
本発明の別の実施形態において、２つか又はそれ以上のカメラによって同時に記録された２つか又はそれ以上の映像ストリームは、単一タイムライン上に表示され、それぞれの映像ストリーム内に存在する事象の期間は、ストリームを記録するために使用されたカメラを示すための記号を用いて、水平ラインによって表示され、同じ記号は、同じカメラからの映像内に存在する異なる事象に使用され、同じカメラからの事象ごとにキーフレームをフレーム化するために使用される。
【００５１】
本発明の別の実施形態において、記号は、異なるカメラによって撮影された事象を示すために異なる色を使用し、同じ色は、同じカメラからの映像内に存在する異なる事象に使用され、同じカメラからの事象ごとにキーフレームをフレーム化するために使用される。
【００５２】
本発明の別の実施形態において、地図が、２つか又はそれ以上の映像ストリームを撮影するために使用された２つか又はそれ以上のカメラの地理的位置を示すために使用され、記号が、カメラを示すために使用され、キーフレームが、カメラから観察された映像ストリームを示すために使用され、かつ、その記号によってフレーム化され、異なる記号が、異なるカメラを示すために使用され、異なるカメラから観察された映像ストリームを示すために使用される異なるキーフレームは、異なるカメラに対応する異なる記号によってフレーム化され、カーソルがタイムラインに沿って移動すると、キーフレームは変化する。
【００５３】
本発明の別の実施形態において、記号は、２つか又はそれ以上の映像ストリームを撮影するために使用された２つか又はそれ以上のカメラの地理的位置を示すために異なる色を使用し、色が、カメラを示すために使用され、キーフレームが、その色によってフレーム化され、異なる色が、異なるカメラを示すために使用され、異なるキーフレームが、異なるカメラに対応する異なる色によってフレーム化され、カーソルがタイムラインに沿って移動すると、キーフレームが変化する。
【００５４】
本発明の別の実施形態において、識別された事象のキーフレームが表示され、キーフレームはタイムラインに従って番号を付される。キーフレームは、動作期間及びその動作期間のこま撮り可視化を表す複数の単一行為キーフレームからなるグループから選択される。キーフレームは、映像ストリーム内の合成を可視化するために使用され、単一タイムラインに従って番号を付される。
【００５５】
本発明の別の実施形態において、事象ログは、事象を可視化するために、地図上でキーフレームとともに使用される。
【００５６】
本発明の別の実施形態において、事象は、地図、事象ログ、及び、タイムラインからなるグループから選択された媒体を用いて表示される。
【００５７】
本発明の実施形態において、映像ストリーム内の事象のタイムラインを生成するためのコンピュータによって実行することのできる命令からなるプログラムは、興味のある量を判定するステップと、興味のある量に基づいて映像フレームごとに重要性スコアを生成するステップと、１つか又はそれ以上の閾値を計算するステップと、事象を識別する映像フレームを閾値に基づいて選択するステップと、映像ストリーム内の１つか又はそれ以上の事象のタイムラインを生成するステップと、を含む。
【００５８】
本発明の別の実施形態において、映像ストリーム内の事象のタイムラインを生成するためのシステムは、タイムラインを生成するステップが、ａ）１つか又はそれ以上の組のパラメータを規定することができ、１つか又はそれ以上の組のパラメータをソースコードに転送することができ、映像ストリーム内の事象を可視化するための一連のタスクにソースコードをコンパイルすることができる１つか又はそれ以上のプロセッサと、ｂ）１つか又はそれ以上のプロセッサによって処理されると、１つか又はそれ以上の組のパラメータを規定するステップ、１つか又はそれ以上の組のパラメータをソースコードに転送するステップ、及び、ソースコードを、映像ストリーム内の事象のタイムラインを生成するための一連のタスクにコンパイルするステップをシステムに実行させるオペレーションを格納する機械可読媒体とを有する。
【００５９】
本発明の別の実施形態において、それに記憶された命令を有する機械可読媒体は、前記命令が、システムに、興味のある量を判定させ、興味のある量に基づいて映像フレームごとに重要性スコアを生成させ、１つかまたはそれ以上の閾値値を計算させ、事象を識別する映像フレームを閾値に基づいて選択させ、映像ストリーム内の１つかまたはそれ以上の事象のタイムラインを生成させる。
【図面の簡単な説明】
【００６０】
【図１】図８をイラストとして描写したものであり、ホットスポットの近傍の動作から判定された重要性のグラフが、時間軸上で示され、水平ラインが、重大な事象が映像ストリーム内に最初に存在した時刻から事象が映像ストリーム内に最後に存在した時刻までを示すために使用され、動作を表すキーフレームが表示され、図１において、色（緑、赤、黄、青）に対応するシンボル（□、△、◇、○）が、発生源カメラ（１、２、３、４）を示すために使用され、図１における人物の様々な斜線は、図８に存在する様々な行為者をより良好に区別するために使用される。
【図２】図９をイラストとして描写したものであり、単一発生源カメラ（２）からの事象を備えたタイムラインが、図２に示され、図９に示される水平ボックス及びキーフレーム輪郭が赤で陰影が付されていることを例示するために三角形シンボル（△）が用いられ、図２における人物の様々な斜線は、図９に存在する様々な行為者をより良好に区別するために使用される。
【図３】図１０をイラストとして描写したものであり、複数のカメラからの事象を備えたタイムラインが示され、図３において、キーフレームは、発生源カメラ（１、２、３、４）を示すために、図１０における色（緑、赤、黄、青）に対応するシンボル（□、△、◇、○）を備えた輪郭を有し、図３における人物の様々な斜線は、図１０に存在する様々な行為者をより良好に区別するために使用される。
【図４】図１１をイラストとして描写したものであり、４つのカメラからのキーフレームからなる４画面が示され、キーフレームは、動作の中央だけにトリミングされ、それらの重要性に比例した寸法を有し、図４における人物の様々な斜線は、図１１に存在する様々な行為者をより良好に区別するために使用される。
【図５】図１２をイラストとして描写したものであり、ホットスポットの近傍の動作を備えた事象リスト及びキーフレーム、及び、全事象のこま撮り可視化が示され、図５において、こま撮り可視化におけるオブジェクトの濃度は、濃い人影、薄い人影、及び、淡い人影を示すために、記号（実線、破線、点線）を用いて示され、図５における人物の様々な斜線は、図１２に存在する様々な行為者をより良好に区別するために使用される。
【図６】図１３をイラストとして描写したものであり、発生源カメラ（１、２、３、４）をそれぞれ指示するために図１３における色（緑、赤、黄、青）に対応するシンボル（□、△、◇、○）を用いて図６において識別されるカメラ位置を示す地図を示し、事象のキーフレームは、ユーザがタイムライン（図示せず）に沿って移動すると、次第に明るくなり、また、次第に暗くなり、図６における人物の様々な斜線は、図１３に存在する様々な行為者をより良好に区別するために使用される。
【図７】タイムラインを生成するために映像ストリーム内の事象を識別するために必要なステップのブロック図である。
【図８】ホットスポットの近傍の動作から判定された重要性を時間軸上に示すグラフである。
【図９】単一発生源カメラ（２）からの事象を備えたタイムラインを示す図である。
【図１０】複数のカメラからの事象及びキーフレームを備えたタイムラインを示す図である。
【図１１】４つのカメラからのキーフレームからなる４画面を示す図であり、キーフレームは、動作の中央だけにトリミングされ、それらの重要性に比例した寸法を有する。
【図１２】ホットスポットの近傍の動作を備えた事象リスト及びキーフレーム、及び、全事象のこま撮り可視化を示す図である。
【図１３】カメラ位置を示す地図を示す図であり、事象のキーフレームは、ユーザがライムライン（図示せず）に沿って移動すると、次第に明るくなり、また、次第に暗くなる。
【特許請求の範囲】
【請求項１】
１つか又はそれ以上の映像フレーム内の事象を識別及び可視化する方法であって、
（ａ）興味のある量を判定し、
（ｂ）前記興味のある量に基づいて映像フレームごとに重要性スコアを生成し、
（ｃ）前記重要性スコアに基づいて１つか又はそれ以上の閾値を計算し、
（ｄ）事象を識別する映像フレームを前記閾値に基づいて選択する、
事象を識別及び可視化する方法。
【請求項２】
（ａ）において、前記興味のある量が、映像フレーム内の動作の量、映像フレーム内の興味のある地点、カメラから興味のある地点までの距離、映像フレーム内の検出された特徴、映像フレーム内の顔の特徴、動作が興味のあるものであるか又は特徴が興味のあるものであれば、別のセンサーによって検出された動作、及び、別のセンサーによって検出された事象からなるグループから選択された基準に基づくものである請求項１に記載の事象を識別及び可視化する方法。
【請求項３】
（ａ）は、
（ｅ）映像フレーム内の１つか又はそれ以上の興味のある地点を判定し、
（ｆ）１つか又はそれ以上の映像カメラ位置から映像フレーム内の１つか又はそれ以上の前記興味のある地点までの１つか又はそれ以上の距離を判定し、
（ｇ）カメラ位置から前記興味のある地点までの距離に基づいて前記興味のある量を判定する、
ことをさらに含む請求項１に記載の事象を識別及び可視化する方法。
【請求項４】
（ｂ）は、滑らかにすることをさらに含む請求項１に記載の事象を識別及び可視化する方法。
【請求項５】
（ｃ）において、最小の興味のある量、動作とみなされる変化した画素の最小割合、新しい映像セグメントを開始するための動作の最小休止時間、及び、ノイズを無視するための動作セグメントの最小の長さからなるグループから選択された量について１つか又はそれ以上の閾値が計算される請求項１に記載の事象を識別及び可視化する方法。
【請求項６】
（ｄ）は、
（ｈ）滑らかにされた重要性スコアが、最小の興味のある量の閾値よりも大きければ、映像フレームを事象に含め、
（ｉ）選択された連続的な映像フレーム間の間隙が、新しい映像セグメントを開始するための動作の最小休止時間閾値よりも小さければ、選択された連続的な映像フレームを単一事象に結合する、
ことをさらに含む請求項５に記載の事象を識別及び可視化する方法。
【請求項７】
映像フレームが映像ストリームの一部分であり、映像ストリーム内の少なくとも１つの事象のタイムラインを生成することをさらに含む請求項１に記載の事象を識別及び可視化する方法。
【請求項８】
前記タイムラインにおける事象の期間が水平ラインを用いて識別され、該水平ラインが、事象が映像ストリーム内で最初に存在した時刻に開始し、且つ事象が映像ストリーム内で最後に存在した時刻に終了し、キーフレームが、各事象の内容を可視化するために使用され、該事象の期間に対応する請求項７に記載の事象を識別及び可視化する方法。
【請求項９】
２つか又はそれ以上のカメラによって同時に記録された２つか又はそれ以上の映像ストリームが、単一タイムライン上に表示され、各映像ストリーム内に存在する事象の期間が、水平ラインによって表示され、記号が、映像ストリームを記録するために使用されたカメラを示すために使用され、同じ記号が、同じカメラからの映像内に存在する異なる事象に使用され、同じカメラからの事象ごとにキーフレームをフレーム化するために使用される請求項８に記載の事象を識別及び可視化する方法。
【請求項１０】
記号が、異なるカメラによって撮影された事象を示すために異なる色を使用し、同じ色が、同じカメラからの映像内に存在する異なる事象に使用され、同じカメラからの事象ごとにキーフレームをフレーム化するために使用される請求項９に記載の事象を識別及び可視化する方法。
【請求項１１】
地図が、２つか又はそれ以上の映像ストリームを撮影するために使用された２つか又はそれ以上のカメラの地理的位置を示すために使用され、記号が、カメラを示すために使用され、キーフレームが、カメラから観察された映像ストリームを示すために使用され、記号を用いて示され、異なる記号が、異なるカメラを示すために使用され、異なるカメラから観察された映像ストリームを示すために使用される異なるキーフレームが、異なるカメラに対応する異なる記号によってフレーム化され、カーソルがタイムラインに沿って移動すると、キーフレームが変化する請求項９に記載の事象を識別及び可視化する方法。
【請求項１２】
記号が、２つか又はそれ以上の映像ストリームを撮影するために使用された２つか又はそれ以上のカメラの地理的位置を示すために異なる色を使用し、色が、カメラを示すために使用され、キーフレームが、その色によってフレーム化され、異なる色が、異なるカメラを示すために使用され、異なるキーフレームが、異なるカメラに対応する異なる色によってフレーム化され、カーソルがタイムラインに沿って移動すると、キーフレームが変化する請求項１１に記載の事象を識別及び可視化する方法。
【請求項１３】
識別された事象のキーフレームが表示され、キーフレームがタイムラインに従って番号を付される請求項８に記載の事象を識別及び可視化する方法。
【請求項１４】
キーフレームが、動作期間及びその動作期間のこま撮り可視化を表す複数の単一行為キーフレームからなるグループから選択される請求項１３に記載の事象を識別及び可視化する方法。
【請求項１５】
キーフレームが、映像ストリーム内の合成を可視化するために使用され、単一タイムラインに従って番号を付される請求項８に記載の事象を識別及び可視化する方法。
【請求項１６】
事象ログが、事象を可視化するために、地図上でキーフレームとともに使用される請求項１１に記載の事象を識別及び可視化する方法。
【請求項１７】
事象が、地図、事象ログ、及び、タイムラインからなるグループから選択された媒体を用いて表示される請求項１に記載の事象を識別及び可視化する方法。
【請求項１８】
請求項７に記載される映像ストリーム内の興味のある事象を表示する事象のタイムラインを生成するためのコンピュータによって実行することのできる命令からなるプログラムであって、
興味のある量を判定するステップと、
前記興味のある量に基づいて映像ストリーム内の１つか又はそれ以上の映像フレームごとに重要性スコアを生成するステップと、
１つか又はそれ以上の閾値を計算するステップと、
事象を識別する映像フレームを前記閾値に基づいて選択するステップと、
映像ストリーム内の１つか又はそれ以上の選択された事象のキーフレームを表示するタイムラインを生成するステップと、
を含むプログラム。
【請求項１９】
映像ストリーム内の事象のタイムラインを生成するためのシステムであって、
ａ）１つか又はそれ以上の組のパラメータを規定することができ、１つか又はそれ以上の組のパラメータをソースコードに転送することができ、映像ストリーム内の事象を可視化するための一連のタスクにソースコードをコンパイルすることができる１つか又はそれ以上のプロセッサと、
ｂ）１つか又はそれ以上プロセッサによって処理されるとき、１つか又はそれ以上の組のパラメータを規定するステップ、１つか又はそれ以上の組のパラメータをソースコードに転送するステップ、及び、ソースコードを映像ストリーム内の事象のタイムラインを生成するための一連のタスクにコンパイルするステップをシステムに実行させるオペレーションが格納された機械可読媒体と、
を有するシステム。
【請求項１】
１つか又はそれ以上の映像フレーム内の事象を識別及び可視化する方法であって、
（ａ）興味のある量を判定し、
（ｂ）前記興味のある量に基づいて映像フレームごとに重要性スコアを生成し、
（ｃ）前記重要性スコアに基づいて１つか又はそれ以上の閾値を計算し、
（ｄ）事象を識別する映像フレームを前記閾値に基づいて選択する、
事象を識別及び可視化する方法。
【請求項２】
（ａ）において、前記興味のある量が、映像フレーム内の動作の量、映像フレーム内の興味のある地点、カメラから興味のある地点までの距離、映像フレーム内の検出された特徴、映像フレーム内の顔の特徴、動作が興味のあるものであるか又は特徴が興味のあるものであれば、別のセンサーによって検出された動作、及び、別のセンサーによって検出された事象からなるグループから選択された基準に基づくものである請求項１に記載の事象を識別及び可視化する方法。
【請求項３】
（ａ）は、
（ｅ）映像フレーム内の１つか又はそれ以上の興味のある地点を判定し、
（ｆ）１つか又はそれ以上の映像カメラ位置から映像フレーム内の１つか又はそれ以上の前記興味のある地点までの１つか又はそれ以上の距離を判定し、
（ｇ）カメラ位置から前記興味のある地点までの距離に基づいて前記興味のある量を判定する、
ことをさらに含む請求項１に記載の事象を識別及び可視化する方法。
【請求項４】
（ｂ）は、滑らかにすることをさらに含む請求項１に記載の事象を識別及び可視化する方法。
【請求項５】
（ｃ）において、最小の興味のある量、動作とみなされる変化した画素の最小割合、新しい映像セグメントを開始するための動作の最小休止時間、及び、ノイズを無視するための動作セグメントの最小の長さからなるグループから選択された量について１つか又はそれ以上の閾値が計算される請求項１に記載の事象を識別及び可視化する方法。
【請求項６】
（ｄ）は、
（ｈ）滑らかにされた重要性スコアが、最小の興味のある量の閾値よりも大きければ、映像フレームを事象に含め、
（ｉ）選択された連続的な映像フレーム間の間隙が、新しい映像セグメントを開始するための動作の最小休止時間閾値よりも小さければ、選択された連続的な映像フレームを単一事象に結合する、
ことをさらに含む請求項５に記載の事象を識別及び可視化する方法。
【請求項７】
映像フレームが映像ストリームの一部分であり、映像ストリーム内の少なくとも１つの事象のタイムラインを生成することをさらに含む請求項１に記載の事象を識別及び可視化する方法。
【請求項８】
前記タイムラインにおける事象の期間が水平ラインを用いて識別され、該水平ラインが、事象が映像ストリーム内で最初に存在した時刻に開始し、且つ事象が映像ストリーム内で最後に存在した時刻に終了し、キーフレームが、各事象の内容を可視化するために使用され、該事象の期間に対応する請求項７に記載の事象を識別及び可視化する方法。
【請求項９】
２つか又はそれ以上のカメラによって同時に記録された２つか又はそれ以上の映像ストリームが、単一タイムライン上に表示され、各映像ストリーム内に存在する事象の期間が、水平ラインによって表示され、記号が、映像ストリームを記録するために使用されたカメラを示すために使用され、同じ記号が、同じカメラからの映像内に存在する異なる事象に使用され、同じカメラからの事象ごとにキーフレームをフレーム化するために使用される請求項８に記載の事象を識別及び可視化する方法。
【請求項１０】
記号が、異なるカメラによって撮影された事象を示すために異なる色を使用し、同じ色が、同じカメラからの映像内に存在する異なる事象に使用され、同じカメラからの事象ごとにキーフレームをフレーム化するために使用される請求項９に記載の事象を識別及び可視化する方法。
【請求項１１】
地図が、２つか又はそれ以上の映像ストリームを撮影するために使用された２つか又はそれ以上のカメラの地理的位置を示すために使用され、記号が、カメラを示すために使用され、キーフレームが、カメラから観察された映像ストリームを示すために使用され、記号を用いて示され、異なる記号が、異なるカメラを示すために使用され、異なるカメラから観察された映像ストリームを示すために使用される異なるキーフレームが、異なるカメラに対応する異なる記号によってフレーム化され、カーソルがタイムラインに沿って移動すると、キーフレームが変化する請求項９に記載の事象を識別及び可視化する方法。
【請求項１２】
記号が、２つか又はそれ以上の映像ストリームを撮影するために使用された２つか又はそれ以上のカメラの地理的位置を示すために異なる色を使用し、色が、カメラを示すために使用され、キーフレームが、その色によってフレーム化され、異なる色が、異なるカメラを示すために使用され、異なるキーフレームが、異なるカメラに対応する異なる色によってフレーム化され、カーソルがタイムラインに沿って移動すると、キーフレームが変化する請求項１１に記載の事象を識別及び可視化する方法。
【請求項１３】
識別された事象のキーフレームが表示され、キーフレームがタイムラインに従って番号を付される請求項８に記載の事象を識別及び可視化する方法。
【請求項１４】
キーフレームが、動作期間及びその動作期間のこま撮り可視化を表す複数の単一行為キーフレームからなるグループから選択される請求項１３に記載の事象を識別及び可視化する方法。
【請求項１５】
キーフレームが、映像ストリーム内の合成を可視化するために使用され、単一タイムラインに従って番号を付される請求項８に記載の事象を識別及び可視化する方法。
【請求項１６】
事象ログが、事象を可視化するために、地図上でキーフレームとともに使用される請求項１１に記載の事象を識別及び可視化する方法。
【請求項１７】
事象が、地図、事象ログ、及び、タイムラインからなるグループから選択された媒体を用いて表示される請求項１に記載の事象を識別及び可視化する方法。
【請求項１８】
請求項７に記載される映像ストリーム内の興味のある事象を表示する事象のタイムラインを生成するためのコンピュータによって実行することのできる命令からなるプログラムであって、
興味のある量を判定するステップと、
前記興味のある量に基づいて映像ストリーム内の１つか又はそれ以上の映像フレームごとに重要性スコアを生成するステップと、
１つか又はそれ以上の閾値を計算するステップと、
事象を識別する映像フレームを前記閾値に基づいて選択するステップと、
映像ストリーム内の１つか又はそれ以上の選択された事象のキーフレームを表示するタイムラインを生成するステップと、
を含むプログラム。
【請求項１９】
映像ストリーム内の事象のタイムラインを生成するためのシステムであって、
ａ）１つか又はそれ以上の組のパラメータを規定することができ、１つか又はそれ以上の組のパラメータをソースコードに転送することができ、映像ストリーム内の事象を可視化するための一連のタスクにソースコードをコンパイルすることができる１つか又はそれ以上のプロセッサと、
ｂ）１つか又はそれ以上プロセッサによって処理されるとき、１つか又はそれ以上の組のパラメータを規定するステップ、１つか又はそれ以上の組のパラメータをソースコードに転送するステップ、及び、ソースコードを映像ストリーム内の事象のタイムラインを生成するための一連のタスクにコンパイルするステップをシステムに実行させるオペレーションが格納された機械可読媒体と、
を有するシステム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２００６−３５２８７９（Ｐ２００６−３５２８７９Ａ）
【公開日】平成１８年１２月２８日（２００６．１２．２８）
【国際特許分類】
【出願番号】特願２００６−１６４２７４（Ｐ２００６−１６４２７４）
【出願日】平成１８年６月１４日（２００６．６．１４）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
【公開日】平成１８年１２月２８日（２００６．１２．２８）
【国際特許分類】
【出願日】平成１８年６月１４日（２００６．６．１４）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
[ Back to top ]