活動セグメント識別方法、マンガストーリーボード作成方法、マンガストーリーボード生成システム、マンガストーリーボード作成プログラム

【課題】本発明は、映像ストリーム内の中断されない活動セグメントおよび関心を引かれる活動セグメントの少なくとも一方を識別する方法を提供する。
【解決手段】本発明では、活動が存在する一群の映像フレームから各々が形成される、少なくとも２のセグメントに映像ストリームを分割し、前記セグメントに存在する少なくとも１の特性を決定し、少なくとも１の特性に基づいて、少なくとも１の閾値を決定し、少なくとも１の閾値に基づいて、中断されない活動セグメントおよび関心を引かれる活動セグメントの少なくとも一方を選択する。

【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、活動セグメント識別方法、マンガストーリーボード作成方法、マンガストーリーボード生成システム、マンガストーリーボード作成プログラムに関する。詳細には、本発明は、映像ストリーム内の中断されない活動セグメントおよび関心を引かれる活動セグメントの少なくとも一方を識別する方法、映像ストリーム内の中断されない活動および関心を引かれる活動の少なくとも一方のマンガストーリーボードを作成する方法、該マンガストーリーボードを生成するシステム、該マンガストーリーボードを作成するプログラムに関する。
【背景技術】
【０００２】
映像監視システムは商業、工業、および居住環境で一般的であるが、限定された人間の注意力および映像ストリームの数は、そのようなシステムの費用効率および有効性を制約する。セキュリティカメラセットからの同時に生じる映像ストリーム内で関心を引かれる活動を識別することは、映像データの量およびオーサリングされたメタデータまたはインデクシングの欠如のため、困難である。それにも拘らず、セキュリティ要員は、関心を引かれる活動を識別し、異なる映像ストリームの活動間の相互関係を決定する必要がある。彼らは、特定の出来事を導く活動または特定の出来事後に生じる活動のシーケンスの理解を深めなければならない。
【０００３】
例えば、オフィスビルの映像セキュリティシステムは、複数のカメラからの活動を絶えず録画する。建物内で爆発が発生した場合、セキュリティ要員は、爆発の原因を判断するために、映像カメラからのデータを分析するように要求される。原因を判断するために、爆発の時間までの数時間の複数のカメラからのデータを探索することが必要とされる。
【０００４】
マンガ（Ｍａｎｇａ）ビジュアル映像サマリ（たとえば、特許文献１参照）は当初、編集映像用のインタラクティブストーリーボードを提供し、未編集映像に対処し、かつ映像の複数の同時に生ずるストリームをサポートするように設計された。当初のマンガサマリは、映像をセグメントに分割するように幾つかのカメラまたは映像ショット間の切替を行なうことを、カメラオペレータまたは映像編集者に依存していた。他の映像サマリは同様の問題を有する（たとえば、非特許文献１参照）。
【０００５】
活動を決定するための多数の異なる方法が、非特許文献２に掲げられている。キーフレームパイルは、非特許文献３に記載されている。映像を選択するために、スペースタイムブラウザ（ＳｐａｃｅＴｉｍｅＢｒｏｗｓｅｒ）においてマップが使用された（たとえば、特許文献２参照）。
【特許文献１】米国特許第６，５３５，６３９号明細書
【特許文献２】米国特許出願公開第２００３／０１９７７３１号明細書
【非特許文献１】Ｍ．イェウン（Ｙｅｕｎｇ，Ｍ．）、Ｂ−Ｌ．イェオ（Ｙｅｏ，Ｂ−Ｌ．）、「画像コンテンツのコンパクトプレゼンテーションおよびファストブラウジングのための映像可視化（ＶｉｄｅｏＶｉｓｕａｌｉｚａｔｉｏｎｆｏｒＣｏｍｐａｃｔＰｒｅｓｅｎｔａｔｉｏｎａｎｄＦａｓｔＢｒｏｗｓｉｎｇｏｆＰｉｃｔｏｒｉａｌＣｏｎｔｅｎｔ）」、ＩＥＥＥトランザクション・映像技術の回路及びシステム（ＩＥＥＥＴｒａｎｓ．ＣｉｒｃｕｉｔｓａｎｄＳｙｓ．ｆｏｒＶｉｄｅｏＴｅｃｈｎｏｌｏｇｙ）、１９９７年１０月、Ｖｏｌ７，Ｎｏ．５，頁７７１〜７８５
【非特許文献２】Ｓ．Ｃ．Ｓ．チュエン（Ｃｈｕｅｎｇ，Ｓ．Ｃ．Ｓ．）、カマスＣ．（ＫａｍａｔｈＣ．）、「都会のトラフィック映像から背景を除くためのロバストな技法（ＲｏｂｕｓｔＴｅｃｈｎｉｑｕｅｓｆｏｒＢａｃｋｇｒｏｕｎｄＳｕｂｔｒａｃｔｉｏｎｉｎＵｒｂａｎＴｒａｆｆｉｃＶｉｄｅｏ）」、映像通信及び画像処理・ＳＰＩＥ電子画像処理（Ｖｉｄｅｏ．ＣｏｍｍｕｎｉｃａｔｉｏｎｓａｎｄＩｍａｇｅＰｒｏｃｅｓｓｉｎｇ、ＳＰＩＥＥｌｅｃｔｒｏｎｉｃＩｍａｇｉｎｇ）、サンホセ（ＳａｎＪｏｓｅ）、２００４年
【非特許文献３】ギルゲンゾーンＡ．（GｉｒｇｅｎｓｏｈｎＡ．）、ボレツキーＪ．（ＢｏｒｅｃｚｋｙＪ．）、チウＰ．（ＣｈｉｕＰ．）、ドハーティＪ．（ＤｏｈｅｒｔｙＪ．）、フートＪ．（ＦｏｏｔｅＪ．）、ゴロフチンスキーＧ．（ＧｏｌｏｖｃｈｉｎｓｋｙＧ．）、ウチハシＳ．（ＵｃｈｉｈａｓｈｉＳ．）、ウィルコックスＬ．（ＷｉｌｃｏｘＬ．）、「家庭用映像編集のための半自動アプローチ（ＡＳｅｍｉ−ＡｕｔｏｍａｔｉｃＡｐｐｒｏａｃｈｔｏＨｏｍｅＶｉｄｅｏＥｄｉｔｉｏｎ」、ＵＩＳＴ’００会報、ＡＣＭプレス（ＡＣＭＰｒｅｓｓ）、２０００年、頁８１〜８９
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明は、上記状況に鑑み、複数の位置にある複数のカメラからの録画映像の分析のためのアルゴリズムおよびインタフェースを提供する。詳細には、映像ストリーム内の中断されない活動セグメントおよび関心を引かれる活動セグメントの少なくとも一方を識別する方法、映像ストリーム内の中断されない活動および関心を引かれる活動の少なくとも一方のマンガストーリーボードを作成する方法、該マンガストーリーボードを生成するシステム、該マンガストーリーボードを作成するプログラムを提供する。
【課題を解決するための手段】
【０００７】
本発明では、多くの場所の複数のカメラからの録画映像の分析のために、アルゴリズムおよびインタフェースが定義される。本発明の一実施形態では、複数のカメラからの映像のサマリは、重要なイベントに重点を置いた全ての活動のストーリーボードを提供する。サマリは、録画映像にアクセスするために使用することができる。
【０００８】
本発明では、マンガビジュアル映像サマリを拡張する。オリジナルワークへの拡張は、映像ストリーム内の関心を引かれる活動の期間を探索するための技術、複数の同時に生じる映像ストリームからの要素を組み合わせてストーリーボードを提示するための方法、キーフレームサイズと重要性との間のつながりを維持する新しいレイアウトアルゴリズム、および関心を引かれるカメラおよび期間を選択するためのインタフェース要素を含む。
【０００９】
本発明の第１の態様は、映像ストリーム内の中断されない活動セグメントおよび関心を引かれる活動セグメントの少なくとも一方を識別する方法であって、（ａ）活動が存在する一群の映像フレームから各々が形成される、少なくとも２のセグメントに映像ストリームを分割し、（ｂ）前記セグメントに存在する少なくとも１の特性を決定し、（ｃ）少なくとも１の特性に基づいて、少なくとも１の閾値を決定し、（ｄ）少なくとも１の閾値に基づいて、中断されない活動セグメントおよび関心を引かれる活動セグメントの少なくとも一方を選択する。
【００１０】
本発明の第２の態様は、第１の態様の活動セグメント識別方法であって、（ａ）において、連続する映像フレームを比較することによって活動が決定される。
【００１１】
本発明の第３の態様は、第１の態様の活動セグメント識別方法であって、（ａ）において、映像フレーム内の前景画素を比較することによって活動が決定される。
【００１２】
本発明の第４の態様は、第１の態様の活動セグメント識別方法であって、（ａ）は、（ｅ）主要セグメントの境界が主要変化に対応する該主要セグメントを、前記映像ストリーム内で決定し、（ｆ）セグメント内の活動に基づいて、主要セグメントを少なくとも２のセグメントに分割し、（ｇ）前記セグメント内の前記活動の継続時間の長さを決定し、（ｈ）前記セグメント内の前記主要変化および活動の継続時間の長さに基づいて、該セグメントを分割、併合、または削除する、ことをさらに含む。
【００１３】
本発明の第５の態様は、第１の態様の活動セグメント識別方法であって、（ｂ）において、少なくとも１の前記特性は、指定された動きに空間的に近接して変化する画素、中断されない活動のイベントに時間的に近接して変化する画素、関心を引かれる活動のイベントに時間的に近接して変化する画素、重要なイベントに時間的に近接して変化する画素、関心を引かれる静止点に空間的に近接して変化する画素、関心を引かれる動点に空間的に近接して変化する画素、連続するフレーム内で変化する画素、前景画素数、変化する画素の動きの方向、前景画素の動きの方向、変化する画素の全体的動きの速度、および前景画素の全体的動きの速度、の少なくとも１である。
【００１４】
本発明の第６の態様は、第１の態様の活動セグメント識別方法であって、（ｃ）において、決定される少なくとも１の前記閾値は、活動とみなされる変化した画素の最小フラクション、新しい映像セグメントを開始するための活動の最小休止、ノイズを無視するためのセグメントの最小長さ、および関心位置への近接性、の少なくとも１である。
【００１５】
本発明の第７の態様は、第６の態様の活動セグメント識別方法であって、（ｄ）が、（ｉ）セグメントを破棄するために、セグメント内の変化した画素数と、前記「活動とみなされる変化した画素の最小フラクション」閾値と、を比較し、（ｊ）セグメントを併合するために、セグメント間の無活動の最長ギャップと、前記「新しい映像セグメントを開始するための活動の最小休止」閾値と、を比較し、（ｋ）セグメントを破棄するために、セグメントの長さと、前記「セグメントの最小長さ」閾値と、を比較する、ことをさらに含む。
【００１６】
本発明の第８の態様は、第６の態様の活動セグメント識別方法であって、（ｄ）において、セグメントを破棄、併合、および分割するために、少なくとも１の前記特性の発生回数と、少なくとも１の前記閾値と、を比較する。
【００１７】
本発明の第９の態様は、第４の態様の活動セグメント識別方法であって、（ｅ）において、主要な変化は、照明の変化、昼光から夕暮れへの変化、夜間から夜明けへの変化、天候の変化、緊急警戒の変化、および警報状態の変化、の少なくとも１である。
【００１８】
本発明の第１０の態様は、第４の態様の活動セグメント識別方法であって、（ｆ）において、活動の判断基準は、関心位置への近接性、前景画素数、連続するフレーム内で変化する画素数、変化する画素の動きの方向、前景画素の動きの方向、変化する画素の全体的動きの速度、および前景画素の全体的動きの速度、の少なくとも１である。
【００１９】
本発明の第１１の態様は、第１の態様の活動セグメント識別方法であって、識別された中断されない活動および関心を引かれる活動の少なくとも一方の重要性の時間に対するグラフを描くことをさらに含み、前記重要性は、少なくとも１の判断基準に基づいて決定され、少なくとも１の前記判断基準は、映像内の活動の量、関心を引かれる少なくとも１の静止点に近接する動き、関心を引かれる少なくとも１の動点に近接する動き、連続するフレーム内で変化する画素、前景画素数、変化する画素の動きの方向、前景画素の動きの方向、変化する画素の全体的動きの速度、前景画素の全体的動きの速度、および他のセンサからのイベント、の少なくとも１である。
【００２０】
本発明の第１２の態様は、映像ストリーム内の中断されない活動および関心を引かれる活動の少なくとも一方のマンガストーリーボードを作成する方法であって、（ａ）少なくとも１の判断基準に基づいて映像ストリームを少なくとも１のセグメントに分割し、（ｂ）少なくとも１の判断基準に基づいて中断されない活動および関心を引かれる活動の少なくとも一方のセグメントを選択し、（ｃ）選択された前記セグメントを表示する。
【００２１】
本発明の第１３の態様は、第１２の態様のマンガストーリーボード作成方法であって、前記判断基準は、セグメント内の中断されない活動の継続時間、セグメント内の関心を引かれる活動の継続時間、セグメント内の中断されずかつ関心を引かれる活動の継続時間、ストリーム内の中断されない活動の累積継続時間、セグメント内の中断されない活動の累積継続時間、セグメント内の関心を引かれる活動の累積継続時間、セグメント内の中断されずかつ関心を引かれる活動の累積継続時間、累積セグメント内の中断されない活動の量、累積セグメント内の関心を引かれる活動の量、累積セグメント内の中断されずかつ関心を引かれる活動の量、ストリームの継続時間、ストリーム内の中断されない活動の主要セグメントの継続時間、ストリーム内の関心を引かれる活動の主要セグメントの継続時間、ストリーム内の中断されずかつ関心を引かれる活動の主要セグメントの継続時間、ストリーム内の中断されない活動の累積継続時間、ストリーム内の関心を引かれる活動の累積継続時間、ストリーム内の中断されずかつ関心を引かれる活動の累積継続時間、ストリーム内の中断されない活動の量、ストリーム内の関心を引かれる活動の量、ストリーム内の中断されずかつ関心を引かれる活動の量、関心を引かれる位置に近接する動き、連続するフレーム内で変化する画素、前景画素数、変化する画素の動きの方向、前景画素の動きの方向、変化する画素の全体的動きの速度、前景画素の全体的動きの速度、および他のセンサからのイベント、の少なくとも１である。
【００２２】
本発明の第１４の態様は、第１２の態様のマンガストーリーボード作成方法であって、（ｄ）少なくとも２の映像ストリームの中断されない活動および関心を引かれる活動の少なくとも一方を描写し、（ｅ）コードを使用して、映像ストリームを撮影するために使用されたカメラと、相互に関連付けられることができる、少なくとも１のキーフレームを使用して選択されたセグメントを視覚化し、（ｆ）中断されない活動および関心を引かれる活動の少なくとも一方の重要性を描写するように、前記キーフレームのサイズを変化する、ことをさらに含む。
【００２３】
本発明の第１５の態様は、第１４の態様のマンガストーリーボード作成方法であって、少なくとも２の色がコードとして使用され、選択された色は、撮影された映像ストリームに対応するセグメントを表わすキーフレームと、カメラと、を相互に関連付けるために使用される。
【００２４】
本発明の第１６の態様は、第１２の態様のマンガストーリーボード作成方法であって、セグメントの重要性を描写することさらに含み、該セグメントの重要性を描写することは、重要なセグメントに対応するカメラを表示すること、キーフレームの重要性を表わすコードを表示すること、キーフレームにおけるセグメントを表示すること、およびキーフレームのサイズを変更すること、の少なくとも１を実行することによってなされる。
【００２５】
本発明の第１７の態様は、第１５の態様のマンガストーリーボード作成方法であって、少なくとも１の映像ストリームを撮影するために使用された少なくとも１のカメラの地理的位置を示すためにマップが使用され、前記映像ストリームを撮影するために使用されたカメラ位置を示すためにコードが使用され、該コードと、マンガストーリーボードで使用されるコードと、は相互に関連する。
【００２６】
本発明の第１８の態様は、第１５の態様のマンガストーリーボード作成方法であって、少なくとも１の映像ストリームを示すためにタイムラインが使用され、映像ストリームを示すために色が使用され、該色と、マンガストーリーボードで使用される色と、は相互に関連する。
【００２７】
本発明の第１９の態様は、第１５の態様のマンガストーリーボード作成方法であって、中断されない活動および関心を引かれる活動の少なくとも一方である同時に生じる活動を示すためにキーフレームをパイル状に積み重ねること、マンガストーリーボードを通して映像にアクセスすること、およびマンガストーリーボードのレイアウトを介して関心を引かれるカメラおよび期間を選択するためのインタフェース構成要素間のつながりを維持すること、の少なくとも１をさらに含む。
【００２８】
本発明の第２０の態様は、第１５の態様のマンガストーリーボード作成方法であって、表示を拡大するコマンド、対応する映像セグメントを再生するコマンド、および対応する映像を再生するコマンド、の少なくとも１のコマンドをキーフレームの選択によって始動することができる。
【００２９】
本発明の第２１の態様は、第１４の態様のマンガストーリーボード作成方法に従って、映像ストリームから中断されない活動および関心を引かれる活動の少なくとも一方のマンガストーリーボードを生成するシステムであって、ａ）少なくとも１のパラメータセットを指定することができ、少なくとも１の該パラメータセットをソースコードに転送することができ、映像ストリーム内のイベントを視覚化するための一連のタスクに該ソースコードをコンパイルすることができる、少なくとも１のプロセッサと、ｂ）少なくとも１のプロセッサによって処理されるときに、少なくとも１のパラメータセットを指定するステップと、少なくとも１の該パラメータセットをソースコードに転送するステップと、映像ストリームから中断されない活動および関心を引かれる活動の少なくとも一方のマンガストーリーボードを生成するための一連のタスクに該ソースコードをコンパイルするステップと、をシステムに実行させるオペレーションが格納された機械可読媒体と、を備えている。
【００３０】
本発明の第２２の態様は、映像ストリーム内の中断されない活動および関心を引かれる活動の少なくとも一方のマンガストーリーボードを作成する機能をプロセッサに実行させるために、プロセッサによって実行可能な命令を含むプログラムであって、該機能は、少なくとも１の判断基準に基づいて映像ストリームをセグメントに分割するステップと、中断されない活動および関心を引かれる活動の少なくとも一方のセグメントを選択するステップと、キーフレームを使用して選択された前記セグメントを表示するステップと、表示された前記セグメントの重要性を描写するステップと、を含む。
【００３１】
本発明の第２３の態様は、中断されない活動および関心を引かれる活動の少なくとも一方のマンガストーリーボードを作成する方法であって、（ａ）連続する映像フレーム内の活動および少なくとも１の映像フレーム内の前景画素の活動の存在に基づいて、映像ストリームを少なくとも１のセグメントに分割し、（ｂ）活動とみなされる変化した画素の最小フラクション、新しいセグメントを開始するための活動の最小休止、ノイズを無視するためのセグメントの最小長さ、および関心を引かれる位置に対する近接性、の少なくとも１である判断基準に基づいて、中断されない活動および関心を引かれる活動の少なくとも一方のセグメントを選択し、（ｃ）少なくとも１のキーフレームを使用して選択されたセグメントを表示し、（ｄ）セグメントの重要性を描写する、方法であって、マンガストーリーボードのレイアウトがキーフレームサイズおよび重要性の間のつながりを維持する。
【発明の効果】
【００３２】
本発明は、活動が存在する一群の映像フレームから各々が形成される、少なくとも２のセグメントに映像ストリームを分割し、前記セグメントに存在する少なくとも１の特性を決定し、少なくとも１の特性に基づいて、少なくとも１の閾値を決定し、少なくとも１の閾値に基づいて、中断されない活動セグメントおよび関心を引かれる活動セグメントの少なくとも一方を選択する、ようにしているので、映像ストリーム内の中断されない活動セグメントおよび関心を引かれる活動セグメントの少なくとも一方を識別することができる。
【００３３】
さらに、本発明によれば、複数の位置にある複数のカメラからの録画映像の分析のためのアルゴリズムおよびインタフェースを提供するようにしているので、重要なイベントを強調した全てのアクティビティのストーリーボードを作成するために、複数のカメラからの映像のサマリを使用することができる。また、サマリを、録画映像にアクセスするために使用することができる。
【発明を実施するための最良の形態】
【００３４】
（映像における活動の識別）
活動を決定するための二つの異なる方法を提示する。第一の方法は、連続する映像フレームを比較して、変化する画素を決定する。第二の方法は、カメラビューの背景をモデル化し、各映像フレームの前景画素を決定する。どちらの方法も、変化した画素または前景画素に注目し、それらをカウントするかまたは全体的な動きの方向および速度を決定する。
【００３５】
充分な活動のあるフレームは、図７に略述するように、活動のある映像セグメントにグループ化される。第一ステップで、照明のオンまたはオフのような主要な変化のあるフレームが識別され、これらの主要セグメントの各々の内部で独立して、活動セグメントが決定される。
【００３６】
活動は、連続する映像フレーム間の画素の変化、または前景画素の変化と定義される。重要性は、映像内の活動の量、または撮影された空間における関心位置に近接した動きと定義される。代替的に、重要性は、他の技術またはセンサからのイベントによって定義することができる。色は、表示によって反射または出射される光の異なる質によって引き起こされる表示の可視的態様と定義される。色は、スペクトルの全ての色、ならびに白、グレー、および黒を含む。色コードとは、識別を容易にするための、表示またはその一部の色合いの使用である。
【００３７】
図１および図８は、四台のカメラの活動の累積を示す。縦の黒い線は、活動には含まれない照明のオンまたはオフのような主要な変化を示す。下部の横線は、図１では、ソースカメラ（１、２、３、４）をそれぞれ示す色（緑、赤、黄、青）に対応する記号（□、△、◇、○）により示される活動のセグメントを示す。短い縦線は活動セグメントを、キーフレームによって示されるサブセグメントに細分する。太い（白抜きの）横線は、他のカメラからのサブセグメントと合致するサブセグメントの部分を示す。図１および図８はアルゴリズムの内部作業を視覚化することを意図したものであって、セキュリティ要員に示すことを意図したものではない。
【００３８】
活動とみなされる変化した画素の最小フラクション、新しいセグメントを開始するための活動の最小限の休止、および映像ノイズを無視するための活動セグメントの最小限の長さについて、閾値が経験的に決定される。これらの閾値を使用して、中断されない活動の期間は活動セグメントに分割される。最小休止より短い無活動のギャップによって分離されるセグメントは併合される。併合後の最小長さより短い活動セグメントは破棄される。図１および図８は四台のカメラの活動の累積、およびやや長い縦線によって区切られた横線として活動セグメントを示す。やや短い縦線は、以下記載するように、サブセグメントを分離する。
【００３９】
本発明では、図７に概略が示されるように、ステップ１００において、映像ストリームを主要セグメントに分割し、ステップ１０２において、主要セグメントをセグメントに分割する。ステップ１０４において、セグメントの特性を判断し、ステップ１０６において閾値を判断する。ステップ１０８において、変化したピクセルの数と閾値とを比較し、ステップ１１０において、無活動と閾値とを比較し、ステップ１１２において、セグメント長と閾値とを比較する。ステップ１１４において、中断されない活動または関心を引かれる活動であるか否かを判断し、判断が肯定された場合、ステップ１１６に進みセグメントを選択し、判断が否定された場合、ステップ１１８に進みセグメントを選択しない。
【００４０】
具体的には、ステップ１００、１０２において、活動が存在する一群の映像フレームから各々が形成される、少なくとも２のセグメントに映像ストリームを分割し、ステップ１０４において、セグメントに存在する少なくとも１の特性を決定する。ステップ１０６において、少なくとも１の特性に基づいて、少なくとも１の閾値を決定し、ステップ１０８〜１１８において、少なくとも１の閾値に基づいて、中断されない活動セグメントおよび関心を引かれる活動セグメントの少なくとも一方を選択する。
【００４１】
なお、本発明の上記および下記の例示的な実施形態は、情報処理装置によって実行されてもよい。当該情報処理装置は、例えば、カメラから映像ストリームを受け取る入力部、プロセッサによる実行の際の作業領域を形成するとともにプログラムや処理対象としてのデータを格納する記憶部、処理内容や処理結果（たとえば、図２〜図６Ｂ、図８〜図１３Ｂに示される画面）を表示する表示部、および、データを通信網などに出力する出力部などを含む。プロセッサは、プログラムを読み出し実行することにより、処理対象のデータ等に対し当該プログラムの手順に対応した処理をする。
【００４２】
プロセッサは、映像ストリーム分割手段と、特性決定手段と、閾値決定手段と、活動セグメント選択手段と、を少なくとも備えていてよい。映像ストリーム分割手段は、活動が存在する一群の映像フレームから各々が形成される、少なくとも２のセグメントに映像ストリームを分割する（ステップ１００、１０２）。特性決定手段は、セグメントに存在する少なくとも１の特性を決定する（ステップ１０４）。閾値決定手段は、少なくとも１の特性に基づいて、少なくとも１の閾値を決定する（ステップ１０６）。活動セグメント選択手段は、少なくとも１の閾値に基づいて、中断されない活動セグメントおよび関心を引かれる活動セグメントの少なくとも一方を選択する（ステップ１０８〜１１８）。
【００４３】
映像ストリーム分割手段、特性決定手段、閾値決定手段、活動セグメント選択手段は、プロセッサによって制御されるハードウェアで実現されてもよいし、プロセッサによって実行されるソフトウェア（プログラム）で実現されてもよい。また、情報処理装置は、パーソナルコンピュータ、マイクロコンピュータのような汎用情報処理装置であってもよいし、本発明を実施するための専用情報処理装置であってもよい。
【００４４】
本発明のプログラムは、活動が存在する一群の映像フレームから各々が形成される、少なくとも２のセグメントに映像ストリームを分割する命令と（ステップ１００、１０２）、セグメントに存在する少なくとも１の特性を決定する命令と（ステップ１０４）、少なくとも１の特性に基づいて、少なくとも１の閾値を決定する命令と（１０６）、少なくとも１の閾値に基づいて、中断されない活動セグメントおよび関心を引かれる活動セグメントの少なくとも一方を選択する命令と（ステップ１０８）、を含む。当該プログラムをプロセッサによって実行することにより、映像ストリーム分割手段は、活動が存在する一群の映像フレームから各々が形成される、少なくとも２のセグメントに映像ストリームを分割し（ステップ１００、１０２）、特性決定手段は、セグメントに存在する少なくとも１の特性を決定し（ステップ１０４）、閾値決定手段は、少なくとも１の特性に基づいて、少なくとも１の閾値を決定し（ステップ１０６）、活動セグメント選択手段は、少なくとも１の閾値に基づいて、中断されない活動セグメントおよび関心を引かれる活動セグメントの少なくとも一方を選択する（ステップ１０８〜１１８）ように、プロセッサは各手段を制御することができる。
【００４５】
（活動の重要性の評価）
重要性は、映像内の活動の量、撮影された空間における関心位置に近接した動き、および他の技術またはセンサからのイベント、例えば顔の検出または無線ＩＣタグ（ＲＦＩＤ）に基づいて評価することができる。重要性は、例えば動きと関心位置との三次元距離を決定するために、数台のカメラのビューを比較することによって計算することができる。
【００４６】
（ストーリーボードの作成）
（マンガ）ストーリーボードを作成するために、一台のカメラからの映像を活動セグメントにセグメント化することができる。ストーリーボード用に割り当てられた空間によっては、長い活動セグメントは、活動の累積量に基づいて幾つかのサブセグメントにセグメント化される。図７は、映像ストリーム内の中断されないまたは関心を引く活動を識別するための本発明の実施形態に含まれるステップのブロック図を示す。本発明の一実施形態では、サブセグメントの数は、活動の累積量の平方根に比例することができるが、他の関係（例えば線形）を使用することもできる。図１および図８の底部の横線は活動のセグメントを示す。短い縦線は活動セグメントを、キーフレームによって視覚化されるサブセグメントに細分する。
【００４７】
従来のマンガレイアウトアルゴリズム（特許文献１参照）と同様に、映像セグメントを視覚化するキーフレームのサイズは、映像セグメントの重要性に比例することができる。しかし、セキュリティ映像用途では、レイアウトアルゴリズムがキーフレームをサイズ変更してよりコンパクトな表示を作成しないように、重要性を正確に示す必要があるかもしれない。図２および図９は単一のセキュリティカメラからのマンガストーリーボードサマリを示し、キーフレームが略示されている。図１のタイムライン上のセグメントが、ソースカメラ１を示すために緑色に対応する記号（□）で識別されている。本発明の一実施形態では、従来のマンガレイアウトアルゴリズムで使用されたものとは異なるパッキングアルゴリズムが使用され、キーフレームをギャップ無しでパッキングすることができない場合、ホワイトスペースが挿入される（図２および９参照）。
【００４８】
（複数の同時に生ずる映像ストリームのストーリーボード）
編集された映像の単一ストリームに対しストーリーボードを作成する従来の作業は、複数の同時に生ずる映像ストリームの作業に拡張されてきた。全ての選択されたカメラに対する単一のマンガサマリは、これらのカメラからキーフレームを選択することによって作成することができる。色コードは各キーフレームのソースを示す。幾つかの映像ストリームにまたがる活動の同時セグメントは一つにグループ化される。部分的に重なる活動セグメントにより、ほぼ同時のキーフレームによって視覚化することのできる、結合映像ストリームの数を最大化するグループ化が決定される。図１および図８の底部の太い横線は、他のカメラからのサブセグメントと合致させることのできる各サブセグメントの部分を示す。図３および図１０は、キーフレームがパイル状にグループ化された、四台のセキュリティカメラからのマンガストーリーボードサマリを示す。キーフレームが略示され、タイムライン上のセグメントは、図３で、ソースカメラ（１、２、３、４）をそれぞれ示す色（緑、赤、黄、青）に対応する記号（□、△、◇、○）により識別される。各グループ毎に、最も重要なキーフレームは完全に見え、他のキーフレームはマウスの動きによってアクセスすることができるように、キーフレームは重要性の降順にパイル状に配置される（図３および図１０参照）。
【００４９】
通常は活動のセグメントだけが関心事であるが、ときには、活動のセグメントの間に何が起きたかを見ることが有益になることがあり得る（例えば照明が消えたとき）。図４および図１１は、図３および１０に示すようなマンガストーリーボードサマリを示すが、活動のセグメント間の長いギャップを示している。キーフレームが略示され、タイムライン上のセグメントは、図４で、ソースカメラ（１、２、３、４）をそれぞれ示す図１１の色（緑、赤、黄、青）に対応する記号（□、△、◇、○）により識別される。本発明の一実施形態では、各長期間の不活動の間の各映像ストリームからのキーフレームを表示する、ユーザ選択可能な選択肢が提供される（図４および１１参照）。
【００５０】
パイル内のキーフレームを表示するためにマウスが動かされたときに、ソースカメラの位置のような追加情報を、キーフレームに付加されたツールチップとして表示することができる。このマウスの動きは、マウスの下のキーフレームをより詳細に示す拡大表示を作動させることもできる。キーフレーム上でマウスをクリックすると、対応する映像セグメントの再生が開始される。
【００５１】
（ストーリーボードによるインタラクション）
セキュリティ要員のようなユーザは、ストーリーボードに含めるための映像ストリームおよびストーリーボードの時間枠を選択することができる必要がある。マップおよびタイムラインインタフェースコンポーネントは、これらの目的のために設計され、開発されたものである。マップ、タイムライン、およびストーリーボードは相互作用して、関心を引かれる映像セグメントを探索するのに必要な情報をユーザに提供する。
【００５２】
（映像ストリームのタイムライン）
タイムラインは現行ストーリーボードの時間枠を示し、ユーザがこの時間枠を調整することを可能にし、いずれかの方法でストーリーボードに含まれる各キーフレームの時間および映像ストリームを示す。タイムラインの制御は、映像セグメントが示される間隔を制限するために使用することができる。間隔を変更した後、ストーリーボードを再作成することができる。
【００５３】
カメラの色に対応する色コード化されたドットが、タイムラインのキーフレームを含めることのできる時に配置される（図１〜６では、図８〜１３に示される色を示すために記号が使用され、△は赤、◇は黄、□は緑、○は青に対応する）。図５および図１２は、四台のセキュリティカメラからのキーフレームの時間を示すタイムラインを図示し、タイムライン上のセグメントは図５では、ソースカメラ（１、２、３、４）をそれぞれ示す図１２の色（緑、赤、黄、青）に対応する記号（□、△、◇、○）により識別され、カーソルは大きい（色）記号で示される。マウスがストーリーボードのキーフレームの上にあるときに、タイムラインのドットはサイズが大きくなり、対応する時間および映像ストリームを示す（図５および図１２参照）。図５で、図１２における大きい黄色のドットと同等とみなされる大きい◇を使用することにより、マウスが１４：４０に３番目のカメラからの映像セグメント上に配置されることを示す。
【００５４】
（地理的位置のマップ）
マップは、カメラの地理的位置およびそれらの視野を示す（図６Ａ、図６Ｂ、図１３Ａおよび図１３Ｂの斜線領域）。それは、ストーリーボードに含めるための映像ストリーム（図６Ａ、図６Ｂ、図１３Ａおよび図１３Ｂで大きい記号により識別される）を選択するために使用することができる。カメラは記号、色コード、およびテキストによるカメラ識別子を使用して識別される（図６Ａ、図６Ｂ、図１３Ａおよび図１３Ｂ参照）。ユーザがマウスでカメラセットを選択すると、ストーリーボードを再作成することができる。
【００５５】
本発明の一実施形態は、映像ストリーム内の中断されない活動セグメントおよび関心を引かれる活動セグメントの少なくとも一方を識別する方法であって、（ａ）活動が存在する一群の映像フレームから各々形成される二つ以上のセグメントに映像ストリームを分割し、（ｂ）一つまたはそれ以上のセグメントに存在する一つまたはそれ以上の特性を決定し、（ｃ）特性に基づいて一つまたはそれ以上の閾値を決定し、（ｄ）閾値に基づいて、中断されない活動セグメントおよび関心を引かれる活動セグメントの少なくとも一方を選択する、方法である。
【００５６】
本発明の一実施形態では、（ａ）で、活動は連続する映像フレームを比較することによって決定される。
【００５７】
本発明の別の実施形態では、（ａ）で、活動は映像フレーム内の前景画素を比較することによって決定される。
【００５８】
本発明の一実施形態で、（ａ）は、（ｅ）映像ストリーム内で主要な変化に対応する主要セグメントを決定し、（ｆ）主要セグメントをセグメント内の活動に基づいて二つ以上のセグメントに分割し、（ｇ）セグメント内の活動の継続時間の長さを決定し、（ｈ）セグメント内の活動の継続時間の長さに基づいて、セグメントを分割、併合、または削除する、ことをさらに含む。
【００５９】
本発明の一実施形態では、（ｂ）において、特性は、指定された動きに空間的に近接して変化する画素、中断されない活動のイベントに時間的に近接して変化する画素、関心を引かれる活動イベントに時間的に近接して変化する画素、重要なイベントに時間的に近接して変化する画素、関心を引かれる静止点に空間的に近接して変化する画素、関心を引かれる動点に空間的に近接して変化する画素、連続するフレーム内で変化する画素、前景画素数、変化する画素の動きの方向、前景画素の動きの方向、変化する画素の全体的動きの速度、および前景画素の全体的動きの速度、の少なくとも１であってよい。
【００６０】
本発明の一実施形態では、（ｃ）において、決定される閾値は、活動とみなされる変化した画素の最小フラクション、新しい映像セグメントを開始するための活動の最小休止、ノイズを無視するためのセグメントの最小長さ、および関心位置への近接性、の少なくとも１から選択される。
【００６１】
本発明の一実施形態では、（ｄ）は、（ｉ）セグメントを破棄するために、セグメント内の変化した画素数と、「活動とみなされる変化した画素の最小フラクション」閾値と、を比較し、（ｊ）セグメントを併合するために、セグメント間の無活動の最長ギャップと、「新しい映像セグメントを開始するための活動の最小休止」閾値と、を比較し、（ｋ）セグメントを破棄するために、セグメントの長さと、「セグメントの最小長さ」閾値と、を比較すること、をさらに含む。
【００６２】
本発明の一実施形態では、（ｄ）において、特性の発生の回数と、セグメントを破棄、併合、および分割するための閾値と、が比較される。
【００６３】
本発明の一実施形態では、（ｅ）において、主要な変化は、照明の変化、昼光から夕暮れへの変化、夜間から夜明けへの変化、天候の変化、緊急警戒および警報状態の変化を含む。
【００６４】
本発明の一実施形態では、（ｆ）において、活動の判断基準は、関心位置への近接性、前景画素数、連続するフレーム内で変化する画素数、変化する画素の動きの方向、前景画素の動きの方向、変化する画素の全体的動きの速度、および前景画素の全体的動きの速度、の少なくとも１から選択される。
【００６５】
本発明の一実施形態では、該方法は、識別された中断されない活動および関心を引かれる活動の少なくとも一方の重要性対時間のグラフを描くことをさらに含む。
【００６６】
本発明の一実施形態では、重要性は、映像内の活動の量、関心を引かれる一つまたはそれ以上の静止点に近接する動き、関心を引かれる一つまたはそれ以上の動点に近接する動き、連続するフレーム内で変化する画素、前景画素数、変化する画素の動きの方向、前景画素の動きの方向、変化する画素の全体的動きの速度、前景画素の全体的動きの速度、および他のセンサからのイベント、の少なくとも１から選択される一つまたはそれ以上の判断基準に基づいて決定される。
【００６７】
本発明の別の実施形態では、映像ストリーム内の中断されない活動および関心を引かれる活動の少なくとも一方のマンガストーリーボードを作成する方法は、（ａ）一つまたはそれ以上の判断基準に基づいて映像ストリームを一つまたはそれ以上のセグメントに分割し、（ｂ）一つまたはそれ以上の判断基準に基づいて中断されない活動および関心を引かれる活動の少なくとも一方のセグメントを選択し、（ｃ）選択されたセグメントを表示する、ことを含む。
【００６８】
本発明の別の実施形態では、判断基準は、セグメント内の中断されない活動の継続時間、セグメント内の関心を引かれる活動の継続時間、セグメント内の中断されずかつ関心を引かれる活動の継続時間、ストリーム内の中断されない活動の累積継続時間、セグメント内の中断されない活動の累積継続時間、セグメント内の関心を引かれる活動の累積継続時間、セグメント内の中断されずかつ関心を引かれる活動の累積継続時間、累積セグメント内の中断されない活動の量、累積セグメント内の関心を引かれる活動の量、累積セグメント内の中断されずかつ関心を引かれる活動の量、ストリームの継続時間、ストリーム内の中断されない活動の主要セグメントの継続時間、ストリーム内の関心を引かれる活動の主要セグメントの継続時間、ストリーム内の中断されずかつ関心を引かれる活動の主要セグメントの継続時間、ストリーム内の中断されない活動の累積継続時間、ストリーム内の関心を引かれる活動の累積継続時間、ストリーム内の中断されずかつ関心を引かれる活動の累積継続時間、ストリーム内の中断されない活動の量、ストリーム内の関心を引かれる活動の量、ストリーム内の中断されずかつ関心を引かれる活動の量、関心を引かれる位置に近接する動き、連続するフレーム内で変化する画素、前景画素数、変化する画素の動きの方向、前景画素の動きの方向、変化する画素の全体的動きの速度、前景画素の全体的動きの速度、および他のセンサからのイベント、の少なくとも１から選択される。
【００６９】
本発明の別の実施形態では、該方法は、（ｄ）二つ以上の映像ストリームの中断されない活動および関心を引かれる活動の少なくとも一方を描写し、（ｅ）コードを使用して映像ストリームを撮影するために使用されたカメラとキーフレームとを相互に関連付けることができるように、一つまたはそれ以上のキーフレームを使用して選択されたセグメントを視覚化し、（ｆ）中断されない活動および関心を引かれる活動の少なくとも一方の重要性を描写するようにキーフレームのサイズを変化させる、こととをさらに含む。
【００７０】
本発明の別の実施形態では、二つ以上の色がコードとして使用され、選択された色は、撮影された映像ストリームに対応するセグメントを表わすキーフレームとカメラとを相互に関連付けるために使用される。
【００７１】
本発明の別の実施形態では、該方法は、セグメントの重要性を描写することをさらに含む。
【００７２】
本発明の別の実施形態では、該方法は、（ｇ）二つ以上の色をコードとして使用し、選択された色を、撮影された映像ストリームからのセグメントの重要性とカメラとを相互に関連付けるために使用して、二つ以上の映像ストリームの重要性を描写し、（ｈ）重要性の高いセグメントに対応するキーフレームを描く、ことをさらに含む。
【００７３】
本発明の別の実施形態では、一つまたはそれ以上の映像ストリームを撮影するために使用される一つまたはそれ以上のカメラの地理的位置を示すためにマップが使用される。映像ストリームを撮影するために使用されるカメラ位置を示すためにコードが使用され、該コードと、マンガストーリーボードで使用されるコードと、は相互に関連する。
【００７４】
本発明の別の実施形態では、一つまたはそれ以上の映像ストリームを示すためにタイムラインが使用される。映像ストリームを示すために色が使用され、該色とマンガストーリーボードで使用される色とは相互に関連する。
【００７５】
本発明の別の実施形態では、中断されない活動および関心を引かれる活動の少なくとも一方である同時に生じる活動を示すために、キーフレームがパイル状に積み重ねられる。
【００７６】
本発明の別の実施形態では、表示を拡大するコマンド、対応する映像セグメントを再生するコマンド、および対応する映像を再生するコマンド、の少なくとも１から選択されるコマンドを始動するために、キーフレームの選択を使用することができる。
【００７７】
本発明の別の実施形態では、マンガストーリーボードを通して映像にアクセスすることができる。
【００７８】
本発明の別の実施形態では、マンガストーリーボードのレイアウトは、関心を引かれるカメラおよび期間を選択するためのインタフェース構成要素間のつながりを維持する。
【００７９】
本発明の別の実施形態は、映像ストリーム内の中断されない活動および関心を引かれる活動の少なくとも一方のマンガストーリーボードを作成するための方法であって、（ａ）連続する映像フレーム内の活動および映像フレーム内の前景画素の活動の少なくとも一方の存在に基づいて、映像ストリームを一つまたはそれ以上のセグメントに分割し、（ｂ）中断されない活動および関心を引かれる活動の少なくとも一方のセグメントを示すために横線を使用して、活動とみなされる変化した画素の最小フラクション、新しい映像セグメントを開始するための活動の最小休止、ノイズを無視するためのセグメントの最小長さ、および関心を引かれる位置に対する近接性、の少なくとも１から選択される判断基準に基づいて、中断されない活動および関心を引かれる活動の少なくとも一方のセグメントを選択し、（ｃ）一つまたはそれ以上のキーフレームを使用して選択されたセグメントを表示し、（ｄ）マンガストーリーボードのレイアウトがキーフレームサイズおよび重要性の間のつながりを維持して、セグメントの重要性を描写する。
【００８０】
本発明の代替実施形態は、中断されない活動および関心を引かれる活動の少なくとも一方を識別するためにコンピュータによって実行可能な命令のプログラムであって、（ａ）一つまたはそれ以上の判断基準に基づいて、映像ストリームをセグメントに分割するステップと、（ｂ）中断されない活動および関心を引かれる活動の少なくとも一方のセグメントを選択するステップと、（ｃ）キーフレームを使用して選択されたセグメントを表示するステップと、（ｄ）中断されない活動および関心を引かれる活動の少なくとも一方の重要性を描写するステップと、を含む。
【００８１】
本発明の代替実施形態は、映像ストリームから中断されない活動および関心を引かれる活動の少なくとも一方のマンガストーリーボードを生成するためのシステムまたは装置であって、該システムまたは装置において、マンガストーリーボードが生成される。当該システムまたは装置は、ａ）一つまたはそれ以上のパラメータセットを指定することができ、一つまたはそれ以上のパラメータセットをソースコードに転送することができ、映像ストリーム内のイベントを視覚化するための一連のタスクに、ソースコードをコンパイルすることができる、一つまたはそれ以上のプロセッサと、ｂ）一つまたはそれ以上のプロセッサによって処理されるときに、一つまたはそれ以上のパラメータセットを指定し、一つまたはそれ以上のパラメータセットをソースコードに転送し、映像ストリームから中断されない活動および関心を引かれる活動の少なくとも一方のマンガストーリーボードを生成するための一連のタスクに、ソースコードをコンパイルする、ことをシステムに実行させるオペレーションが格納された機械可読媒体と、を備える。
【００８２】
本発明の代替実施形態は、中断されない活動および関心を引かれる活動の少なくとも一方のマンガストーリーボードを生成する装置であって、（ａ）一つまたはそれ以上の判断基準に基づいて映像ストリームをセグメントに分割する手段と、（ｂ）中断されない活動および関心を引かれる活動の少なくとも一方を選択する手段と、（ｃ）キーフレームを使用して選択されたセグメントを表示する手段と、（ｄ）表示されたセグメントの重要性を描写するための手段と、を備える。
【００８３】
本発明の代替実施形態は、機械可読媒体であって、（ａ）一つまたはそれ以上の判断基準に基づいて映像ストリームをセグメントに分割し、（ｂ）中断されない活動および関心を引かれる活動の少なくとも一方のセグメントを選択し、（ｃ）キーフレームを使用して選択されたセグメントを表示し、（ｄ）表示されたセグメントの重要性を描写する、ことをシステムに行わせる命令を格納する。
【００８４】
本発明の様々な実施形態は、コンピュータ技術の熟練者には明白であるように、本発明の教示に従ってプログラムされたプロセッサを使用して実現することができる。ソフトウェア技術の熟練者には明白であるように、熟練プログラマは本開示の教示に基づいて、適切なソフトウェアコーディングを容易に作成することができる。本発明はまた、当該技術分野の熟練者には容易に理解されるように、集積回路を製造すること、および、適切な構成要素回路網を相互接続すること、の少なくとも一方によって、実現することもできる。
【００８５】
様々な実施形態は、本書に提示した特徴のいずれかを実行するように汎用コンピュータプロセッサまたは専用コンピュータプロセッサをプログラムするために使用することのできる、命令および情報の少なくとも一方が格納された記憶媒体（単数または複数）であってよいコンピュータプログラム製品を含む。記憶媒体は、フロッピー（登録商標）ディスク、光ディスク、ＤＶＤ、ＣＤ−ＲＯＭ、マイクロドライブ、磁気光ディスク、ホログラフィック記憶装置、ＲＯＭ、ＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＤＲＡＭ、ＰＲＡＭ、ＶＲＡＭ、フラッシュメモリ装置、磁気または光カード、ナノシステム（分子メモリＩＣを含む）をはじめとするいずれかの型の物理的媒体、紙または紙ベース媒体、ならびに命令および情報の少なくとも一方を格納するのに適した任意のタイプの媒体または装置の一つまたはそれ以上を含むことができる。しかしながら、本発明はこれらに限定されるもではない。様々な実施形態は、全体または一部分を一つまたはそれ以上のパブリックネットワークおよびプライベートネットワークの少なくとも一方で伝送することのできるコンピュータプログラムを含み、伝送は、上記で提示した特徴のいずれかを実行するために一つまたはそれ以上のプロセッサで使用することのできる命令および情報の少なくとも一方を含む。様々な実施形態において、伝送は複数の別個の伝送を含むことができる。
【００８６】
本発明の開示は、本発明の結果を利用して、プロセッサのハードウェアを制御するため、かつコンピュータおよびプロセッサの少なくとも一方が人間のユーザまたは他の装置とインタラクションすることを可能にする、一つまたはそれ以上のコンピュータ可読媒体に格納されるソフトウェアを含む。そのようなソフトウェアは、デバイスドライバ、インタフェースドライバ、オペレーティングシステム、実行環境・コンテナ、ユーザインタフェース、およびアプリケーションを含むことができる。しかしながら、本発明はこれらに限定されるものではない。
【００８７】
コードの実行は直接的であってもよいし、間接的であってもよい。コードはコンパイル言語、インタプリタ言語、および他のタイプの言語を含むことができる。請求の範囲によって特に限定されない限り、機能のためのコード、コードセグメントの実行・伝送は、機能を実行するローカルまたはリモートの他のソフトウェアまたは装置の呼出しを含むことができる。呼出しは、機能を実行するライブラリモジュール、デバイスドライバ、インタフェースドライバ、およびリモートソフトウェアの呼出しを含むことができる。呼出しは、分散システムおよびクライアントシステム・サーバシステムにおける呼び出しを含むことができる。
【図面の簡単な説明】
【００８８】
【図１】活動のセグメントが、ソースカメラ（１、２、３、４）をそれぞれ表わす色（緑、赤、黄、青）に対応する記号（□、△、◇、○）で符号化された、四台のカメラの累積活動を表わす図８をイラストとして描写する。
【図２】キーフレームが略示され、タイムライン上のセグメントが緑色すなわちソースカメラ１に対応する記号（□）で識別された、単一のセキュリティカメラからのマンガストーリーボードサマリを示す図９をイラストとして描写する。
【図３】キーフレームが略示され、タイムライン上のセグメントがソースカメラ（１、２、３、４）をそれぞれ表わす色（緑、赤、黄、青）に対応する記号（□、△、◇、○）で識別され、キーフレームがパイル状にグループ化された、四台のセキュリティカメラからのマンガストーリーボードサマリを示す図１０をイラストとして描写する。
【図４】キーフレームが略示され、タイムライン上のセグメントがソースカメラ（１、２、３、４）をそれぞれ表わす色（緑、赤、黄、青）に対応する記号（□、△、◇、○）で識別され、キーフレームがパイル状にグループ化され、活動のセグメント間の長いギャップを示す、四台のセキュリティカメラからのマンガストーリーボードサマリを示す図１１をイラストとして描写する。
【図５】タイムライン上のセグメントがソースカメラ（１、２、３、４）をそれぞれ表わす色（緑、赤、黄、青）に対応する記号（□、△、◇、○）で識別され、カーソルが大きい記号で表わされた、四台のセキュリティカメラからのキーフレームの時間を示す記号付きタイムラインを示す図１２をイラストとして描写する。
【図６Ａ】カメラ位置およびソースカメラ２を選択したときのビューカバレージを示すマップが示され、全てのカメラの位置がカメラ（１、２、３、４）をそれぞれ表わす色（緑、赤、黄、青）に対応する記号（□、△、◇、○）で識別された、図１３Ａをイラストとして描写する。
【図６Ｂ】カメラ位置およびソースカメラ２および４が選択されたときのビューカバレージを示すマップが示され、全てのカメラの位置がカメラ（１、２、３、４）をそれぞれ表わす色（緑、赤、黄、青）に対応する記号（□、△、◇、○）で識別された、図１３Ｂをイラストとして描写する。
【図７】映像ストリーム内の中断されないまたは関心を引かれる活動セグメントの選択に含まれるステップを示すフローチャートである。
【図８】四台のカメラの累積活動を示す。
【図９】キーフレームが略示され、タイムライン上のセグメントが識別された、単一のセキュリティカメラからのマンガストーリーボードサマリを示す。
【図１０】四台のセキュリティカメラからのマンガストーリーボードサマリを示す。
【図１１】キーフレームがパイル状にグループ化され、活動のセグメント間に長いギャップを示す、四台のセキュリティカメラからのマンガストーリーボードサマリを示す
【図１２】四台のセキュリティカメラからのキーフレームの時間を示す記号付きタイムラインを示す。
【図１３Ａ】カメラ位置およびソースカメラ２が選択されたときのビューカバレージを表示するマップを示す。
【図１３Ｂ】カメラ位置、および、ソースカメラ２および４のビューカバレージを表示するマップを示す。

【特許請求の範囲】
【請求項１】
映像ストリーム内の中断されない活動セグメントおよび関心を引かれる活動セグメントの少なくとも一方を識別する方法であって、
（ａ）活動が存在する一群の映像フレームから各々が形成される、少なくとも２のセグメントに映像ストリームを分割し、
（ｂ）前記セグメントに存在する少なくとも１の特性を決定し、
（ｃ）少なくとも１の特性に基づいて、少なくとも１の閾値を決定し、
（ｄ）少なくとも１の閾値に基づいて、中断されない活動セグメントおよび関心を引かれる活動セグメントの少なくとも一方を選択する、
活動セグメント識別方法。
【請求項２】
（ａ）において、連続する映像フレームを比較することによって活動が決定される、請求項１に記載の活動セグメント識別方法。
【請求項３】
（ａ）において、映像フレーム内の前景画素を比較することによって活動が決定される、請求項１に記載の活動セグメント識別方法。
【請求項４】
（ａ）は、
（ｅ）主要セグメントの境界が主要変化に対応する該主要セグメントを、前記映像ストリーム内で決定し、
（ｆ）セグメント内の活動に基づいて、主要セグメントを少なくとも２のセグメントに分割し、
（ｇ）前記セグメント内の前記活動の継続時間の長さを決定し、
（ｈ）前記セグメント内の前記主要変化および活動の継続時間の長さに基づいて、該セグメントを分割、併合、または削除する、
ことをさらに含む、請求項１に記載の活動セグメント識別方法。
【請求項５】
（ｂ）において、少なくとも１の前記特性は、指定された動きに空間的に近接して変化する画素、中断されない活動のイベントに時間的に近接して変化する画素、関心を引かれる活動のイベントに時間的に近接して変化する画素、重要なイベントに時間的に近接して変化する画素、関心を引かれる静止点に空間的に近接して変化する画素、関心を引かれる動点に空間的に近接して変化する画素、連続するフレーム内で変化する画素、前景画素数、変化する画素の動きの方向、前景画素の動きの方向、変化する画素の全体的動きの速度、および前景画素の全体的動きの速度、の少なくとも１である、
請求項１に記載の活動セグメント識別方法。
【請求項６】
（ｃ）において、決定される少なくとも１の前記閾値は、活動とみなされる変化した画素の最小フラクション、新しい映像セグメントを開始するための活動の最小休止、ノイズを無視するためのセグメントの最小長さ、および関心位置への近接性、の少なくとも１である、請求項１に記載の活動セグメント識別方法。
【請求項７】
（ｄ）が、
（ｉ）セグメントを破棄するために、セグメント内の変化した画素数と、前記「活動とみなされる変化した画素の最小フラクション」閾値と、を比較し、
（ｊ）セグメントを併合するために、セグメント間の無活動の最長ギャップと、前記「新しい映像セグメントを開始するための活動の最小休止」閾値と、を比較し、
（ｋ）セグメントを破棄するために、セグメントの長さと、前記「セグメントの最小長さ」閾値と、を比較する、
ことをさらに含む、請求項６に記載の活動セグメント識別方法。
【請求項８】
（ｄ）において、セグメントを破棄、併合、および分割するために、少なくとも１の前記特性の発生回数と、少なくとも１の前記閾値と、を比較する、請求項６に記載の活動セグメント識別方法。
【請求項９】
（ｅ）において、主要な変化は、照明の変化、昼光から夕暮れへの変化、夜間から夜明けへの変化、天候の変化、緊急警戒の変化、および警報状態の変化、の少なくとも１である、請求項４に記載の活動セグメント識別方法。
【請求項１０】
（ｆ）において、活動の判断基準は、関心位置への近接性、前景画素数、連続するフレーム内で変化する画素数、変化する画素の動きの方向、前景画素の動きの方向、変化する画素の全体的動きの速度、および前景画素の全体的動きの速度、の少なくとも１である、請求項４に記載の活動セグメント識別方法。
【請求項１１】
識別された中断されない活動および関心を引かれる活動の少なくとも一方の重要性の時間に対するグラフを描くことをさらに含み、
前記重要性は、少なくとも１の判断基準に基づいて決定され、
少なくとも１の前記判断基準は、映像内の活動の量、関心を引かれる少なくとも１の静止点に近接する動き、関心を引かれる少なくとも１の動点に近接する動き、連続するフレーム内で変化する画素、前景画素数、変化する画素の動きの方向、前景画素の動きの方向、変化する画素の全体的動きの速度、前景画素の全体的動きの速度、および他のセンサからのイベント、の少なくとも１である、
請求項１に記載の活動セグメント識別方法。
【請求項１２】
映像ストリーム内の中断されない活動および関心を引かれる活動の少なくとも一方のマンガストーリーボードを作成する方法であって、
（ａ）少なくとも１の判断基準に基づいて映像ストリームを少なくとも１のセグメントに分割し、
（ｂ）少なくとも１の判断基準に基づいて中断されない活動および関心を引かれる活動の少なくとも一方のセグメントを選択し、
（ｃ）選択された前記セグメントを表示する、
マンガストーリーボード作成方法。
【請求項１３】
前記判断基準は、セグメント内の中断されない活動の継続時間、セグメント内の関心を引かれる活動の継続時間、セグメント内の中断されずかつ関心を引かれる活動の継続時間、ストリーム内の中断されない活動の累積継続時間、セグメント内の中断されない活動の累積継続時間、セグメント内の関心を引かれる活動の累積継続時間、セグメント内の中断されずかつ関心を引かれる活動の累積継続時間、累積セグメント内の中断されない活動の量、累積セグメント内の関心を引かれる活動の量、累積セグメント内の中断されずかつ関心を引かれる活動の量、ストリームの継続時間、ストリーム内の中断されない活動の主要セグメントの継続時間、ストリーム内の関心を引かれる活動の主要セグメントの継続時間、ストリーム内の中断されずかつ関心を引かれる活動の主要セグメントの継続時間、ストリーム内の中断されない活動の累積継続時間、ストリーム内の関心を引かれる活動の累積継続時間、ストリーム内の中断されずかつ関心を引かれる活動の累積継続時間、ストリーム内の中断されない活動の量、ストリーム内の関心を引かれる活動の量、ストリーム内の中断されずかつ関心を引かれる活動の量、関心を引かれる位置に近接する動き、連続するフレーム内で変化する画素、前景画素数、変化する画素の動きの方向、前景画素の動きの方向、変化する画素の全体的動きの速度、前景画素の全体的動きの速度、および他のセンサからのイベント、の少なくとも１である、請求項１２に記載のマンガストーリーボード作成方法。
【請求項１４】
（ｄ）少なくとも２の映像ストリームの中断されない活動および関心を引かれる活動の少なくとも一方を描写し、
（ｅ）コードを使用して、映像ストリームを撮影するために使用されたカメラと、相互に関連付けられることができる、少なくとも１のキーフレームを使用して選択されたセグメントを視覚化し、
（ｆ）中断されない活動および関心を引かれる活動の少なくとも一方の重要性を描写するように、前記キーフレームのサイズを変化する、
ことをさらに含む、請求項１２に記載のマンガストーリーボード作成方法。
【請求項１５】
少なくとも２の色がコードとして使用され、
選択された色は、撮影された映像ストリームに対応するセグメントを表わすキーフレームと、カメラと、を相互に関連付けるために使用される、
請求項１４に記載のマンガストーリーボード作成方法。
【請求項１６】
セグメントの重要性を描写することさらに含み、
該セグメントの重要性を描写することは、重要なセグメントに対応するカメラを表示すること、キーフレームの重要性を表わすコードを表示すること、キーフレームにおけるセグメントを表示すること、およびキーフレームのサイズを変更すること、の少なくとも１を実行することによってなされる、
請求項１２に記載のマンガストーリーボード作成方法。
【請求項１７】
少なくとも１の映像ストリームを撮影するために使用された少なくとも１のカメラの地理的位置を示すためにマップが使用され、
前記映像ストリームを撮影するために使用されたカメラ位置を示すためにコードが使用され、
該コードと、マンガストーリーボードで使用されるコードと、は相互に関連する、
請求項１５に記載のマンガストーリーボード作成方法。
【請求項１８】
少なくとも１の映像ストリームを示すためにタイムラインが使用され、
映像ストリームを示すために色が使用され、
該色と、マンガストーリーボードで使用される色と、は相互に関連する、
請求項１５に記載のマンガストーリーボード作成方法。
【請求項１９】
中断されない活動および関心を引かれる活動の少なくとも一方である同時に生じる活動を示すためにキーフレームをパイル状に積み重ねること、マンガストーリーボードを通して映像にアクセスすること、およびマンガストーリーボードのレイアウトを介して関心を引かれるカメラおよび期間を選択するためのインタフェース構成要素間のつながりを維持すること、の少なくとも１をさらに含む、請求項１５に記載のマンガストーリーボード作成方法。
【請求項２０】
表示を拡大するコマンド、対応する映像セグメントを再生するコマンド、および対応する映像を再生するコマンド、の少なくとも１のコマンドをキーフレームの選択によって始動することができる、請求項１５に記載のマンガストーリーボード作成方法。
【請求項２１】
請求項１４に記載のマンガストーリーボード作成方法に従って、映像ストリームから中断されない活動および関心を引かれる活動の少なくとも一方のマンガストーリーボードを生成するシステムであって、
ａ）少なくとも１のパラメータセットを指定することができ、少なくとも１の該パラメータセットをソースコードに転送することができ、映像ストリーム内のイベントを視覚化するための一連のタスクに該ソースコードをコンパイルすることができる、少なくとも１のプロセッサと、
ｂ）少なくとも１のプロセッサによって処理されるときに、少なくとも１のパラメータセットを指定するステップと、少なくとも１の該パラメータセットをソースコードに転送するステップと、映像ストリームから中断されない活動および関心を引かれる活動の少なくとも一方のマンガストーリーボードを生成するための一連のタスクに該ソースコードをコンパイルするステップと、をシステムに実行させるオペレーションが格納された機械可読媒体と、
を備えたマンガストーリーボード生成システム。
【請求項２２】
映像ストリーム内の中断されない活動および関心を引かれる活動の少なくとも一方のマンガストーリーボードを作成する機能をプロセッサに実行させるために、プロセッサによって実行可能な命令を含むプログラムであって、
該機能は、
少なくとも１の判断基準に基づいて映像ストリームをセグメントに分割するステップと、
中断されない活動および関心を引かれる活動の少なくとも一方のセグメントを選択するステップと、
キーフレームを使用して選択された前記セグメントを表示するステップと、
表示された前記セグメントの重要性を描写するステップと、
を含む、
マンガストーリーボード作成プログラム。
【請求項２３】
中断されない活動および関心を引かれる活動の少なくとも一方のマンガストーリーボードを作成する方法であって、
（ａ）連続する映像フレーム内の活動および少なくとも１の映像フレーム内の前景画素の活動の存在に基づいて、映像ストリームを少なくとも１のセグメントに分割し、
（ｂ）活動とみなされる変化した画素の最小フラクション、新しいセグメントを開始するための活動の最小休止、ノイズを無視するためのセグメントの最小長さ、および関心を引かれる位置に対する近接性、の少なくとも１である判断基準に基づいて、中断されない活動および関心を引かれる活動の少なくとも一方のセグメントを選択し、
（ｃ）少なくとも１のキーフレームを使用して選択されたセグメントを表示し、
（ｄ）セグメントの重要性を描写する、
方法であって、
マンガストーリーボードのレイアウトがキーフレームサイズおよび重要性の間のつながりを維持する、
マンガストーリーボード作成方法。

【図１】