アクションキーフレーム内における複数のビデオフレーム全体にわたる動作を視覚化する方法とそのためのインタフェース
【課題】効果的に、単一の静止画像を一組の静止画像に細分化する方法を提供する。
【解決手段】ビデオにおける動作の識別、その動作の重要性評価、ビデオにおけるオブジェクトの認識、およびビデオをより詳細に見るための連係技術に基づいてアクションキーフレームを発生する、固定位置カメラのための技術が提供されている。本発明の別の実施形態では、動作の重要性は、動作の量、ビデオストリーム内の重要な位置、顔のような検出された特徴、および他のセンサからの事象に基づいて決定される。
【解決手段】ビデオにおける動作の識別、その動作の重要性評価、ビデオにおけるオブジェクトの認識、およびビデオをより詳細に見るための連係技術に基づいてアクションキーフレームを発生する、固定位置カメラのための技術が提供されている。本発明の別の実施形態では、動作の重要性は、動作の量、ビデオストリーム内の重要な位置、顔のような検出された特徴、および他のセンサからの事象に基づいて決定される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオ（映像）における動作（アクティビティ）の識別、その動作の重要性評価、ビデオにおけるオブジェクト（対象物）の認識、およびビデオをより詳細に見るための連係技術に基づいてアクションキーフレームを発生する、固定位置カメラのための技術に関連する。
【背景技術】
【０００２】
ユーザーが１つのビデオセグメントにおいて動作を検出する必要がある状況が多くある。セキュリティ担当者がビデオセグメントが対象とするものであるかどうかを決定するときにも、動作を検出する必要がある。ビデオライブラリのユーザーが、ビデオセグメントが要求を満たすものかどうかを決定するときにも、動作を検出する必要がある。高速でビデオセグメントを再生する（非特許文献１を参照）一連のキーフレームを示す（米国特許第６，５３５，６３９号参照）、または、ユーザーがタイムラインをスクラブして異なるビデオフレームを表示させることができるインタフェースは多い。
【０００３】
帯域幅に制限があり、多数のビデオセグメントを同時に評価する能力に限界があるため、ビデオを再生する以外に、動作を１つのビデオセグメントで示すインタフェースが必要である。ビデオ信号内のフレームを定期的に抽出して、ビデオフレームの画素を平均化して単一の画像を作成することによって、動くオブジェクト（対象物）を示すことができると単純に期待するかもしれない。これはストロボ写真において使用される方法である。ストロボ写真では、非常に長い露出時間のもとにカメラがオブジェクトを補足するように、ストロボライトにより、ストロボライトがなければ暗くて見えないオブジェクトが目に見えるようになる。しかしながら、この方法は背景が暗いときのみ有効である。組み合わされた１つのフレーム内で明るい背景が支配的であると、前景にあるオブジェクトはかすかに目に見えるだけである。
【０００４】
ビデオフレームから背景を取り除くことで動作が決定され、動くオブジェクトの位置とサイズが決定される。
【０００５】
最も簡単な方法では、引き続く複数のフレームを比較して、変化した画素すべてを前景画素として利用する。しかしながら、この方法は動いているオブジェクトの前縁と後縁を決定するだけである。この方法では、静止しているオブジェクトを見つけることはできない。また、この方法はビデオ雑音に非常に影響されやすい。
【０００６】
別の方法によれば、前のフレームと比較して画素が変化した画素の内、最新の時間（タイム）を示す画素各々の位置にタイムスタンプを刻印する。類似のタイムスタンプを有する領域をグループ化して各種形状を形成できる。各種形状に対して最小のサイズを要求することによってビデオ雑音を処理することができる。また、この方法をオブジェクトのトラッキングに利用することができる。過去のある時点で現在位置に動いたと仮定して静止しているオブジェクトを見つけることができる。
【０００７】
３番目の方法では、一連のビデオフレームにおける各画素に対する中央値が決定される。その中央値に近い値は、背景の一部であるとみなすべきである。前景と背景を分離する前にすべてのフレームの中央値を決定するには第２のパスが必要となる。背景を決定するために現在のフレームより早期のビデオフレームを考えるだけで、精度は多少低くなるが、上記第２のパスを必要としなくすることができる。前の画素値すべてをメモリに格納しなければならない状況を避けるために、画素それぞれの位置に対してすべての履歴値のヒストグラムを計算し、そのヒストグラムから中央値を計算することによって中央値を決定することができる。中央値を決定するのに最近の履歴のみを考慮すべきであれば、バッファウィンドウから中央値を決定する、または、そのウィンドウから値がずれるとヒストグラムからその値を除去するような、バッファウィンドウによる方法を利用することができる。しかしながら、間隔が長くなると、このような方法では、法外に多量のメモリが使用されることになる。代わる方法として、指数関数的減衰係数を有するヒストグラムを使用することができ、その場合、古い値ほど新しい値よりもより低い重みを有する。中央値による方法では、ビデオ雑音が非常にうまく処理されるが、照明状態が突然、または徐々に変化するとき問題が生じる。クラスタリング技術を適用して類似の照明状態となる間隔を見出すことができる。また、ヒストグラムが適している状況では、数種の定常状態が存在し、前景となる画素は、それらの定常状態の１つに陥いることのないものであればいかなるものでもよいであろう。１つの例は点滅する光であって、その光は、すべての状態において背景の一部であるが、その光の前を通るオブジェクトは認識されるであろう。
【０００８】
一般的に、前景となる画素と背景となる画素を分離するには多くの方法がある。この問題にガウス混合モデルを適用した研究者が数人いる（非特許文献２及び非特許文献３を参照）。これらの方法の多くを中間調画像に適用することができる。色彩情報を考慮すると、計算の複雑度が増すが、性能が大きく向上することはない。画素が背景と異なっている、または別のフレームの画素であると見なせるかどうかの限界を示すしきい値によって、変化とビデオ雑音に対する感度が決定される。また、そのしきい値によって、影と反射が前景の一部であると見なせるかどうかが決定される。しかしながら、種々のしきい値があれば、様々な照明状態のもとでそれぞれがより有効に機能するであろう。点滅する光を無視可能とするには、より高度な方法が必要とされるであろう。
【０００９】
本発明の発明者は、単一のキーフレームにおいてビデオ列における動きを視覚化する別の方法を、以前提案した（特許文献１）。特許文献１では、軌跡線を色分けして、時間的な関係を示すが、実行されなかった前景背景の分離または、オブジェクトの検出とトラッキングを含む多くの特徴がある。むしろ、特許文献１では、サンプルフレーム間で変化した画素が決定され、前記ビデオ系列内の単一のキーフレーム上に透光性の色をつけることによって変化した画素が視覚化されている。カラーオーバーレイの色度と透明度がサンプルフレームのキーフレームからの時間的距離によって変化する。単一フレームからの画素のみが、単に色付けされた点としてオーバレイされた他のフレームから区別して、示されている。
【特許文献１】米国特許出願公開第２００３／０１８９５８８号
【非特許文献１】ヴィルドムース（Wildemuth B．M．）、マルチオニーニ（Marchionini G．）、ヤング（Yang M．）、ガイスラー（Geisler G．）、ウィルケンズ（Wilkens T．）、ヒュージ（Hughes A．）、グラス（Gruss R．）、「早すぎとはどれくらい早いか：ディジタルビデオのファーストフォワードサロゲートの評価（How Fast is too Fast?：Evaluating Fast Forward Surrogates for Digital Video）」、第３回ディジタルライブラリーにおけるACM/IEEE合同会議（Proceedings of the ３rd ACM／IEEE−CS Joint Conference on Digital libraries）、２２１〜２３０ページ、2003年
【非特許文献２】Ｓ．Ｃ．Ｓ．チュエン（Chueng、S.-C.S.）、Ｃ．カマス（Kamath C.）、「都会のトラフィック映像から背景を除くためのロバストな技法（Robust Techniques for Background Subtraction in Urban Traffic Video）」、映像通信及び画像処理・ＳＰＩＥ 電子画像処理（Video Communications and Image Processing,SPIE Electronic Imaging）、サンホセ（San Jose）、2004年
【非特許文献３】ツィブコビック（Zivkovic、Z）、「背景を除くための改良された適用ガウス型混合モデル（Improved adaptive Gaussian mixture model for background subtraction）」、パターン認識国際会議（International Conference Pattern Recognition）、2004年
【発明の開示】
【発明が解決しようとする課題】
【００１０】
本発明は、固定位置カメラのビデオセグメントにおける動作を単一の静止画像を通して示す方法に係わる。まず、背景（または、動かないオブジェクト）を前景（または、動くオブジェクト）から分離する。フレームのサンプルレートによって、前景のオブジェクトがいかに明瞭に知覚されるかが決定される。最も有効に機能するサンプルレートでは、動くオブジェクトはあるフレームと次のフレームとの間でオーバーラップすることはない。通常に配置されたセキュリティカメラ、およびカメラ画面に垂直に歩く人にとって好ましいサンプルレートは、０．５フレーム／秒〜２フレーム／秒である。
【００１１】
サンプルビデオフレームから単一の静止画像画像を作成するために、ビデオフレーム内の動くオブジェクトの透光性画像をビデオ列において平均化された背景と結合する。認識された動作の重要性に基づいてオーバーレイの透光性を変え、独立しているオブジェクトのオーバーレイをカラー化して、異なるオブジェクトの動きを示すことができる。また、トラッキングされたオブジェクトの軌跡を画像上に重ね合わせられたパスとして示すことができる。
【００１２】
しかし、多くのオブジェクトが動くとき、またはビデオの視野内の広い範囲にわたって動きがあるときには、視覚化しても乱れがあり、あまり役に立たない。
【課題を解決するための手段】
【００１３】
上記問題に対処するために、セグメントの時間をサブセグメントに分離するか、または異なるオブジェクトのオーバーレイを異なる静止画像上に分離することによって単一の静止画像を一組の静止画像に細分化する方法が提供される。
【００１４】
本発明の第１の態様は、１つまたはそれ以上のフレームにおける事象に対応する動作を視覚化する方法であって、（ａ）複数のフレームにおける各画素を１つまたはそれ以上の前景オブジェクトを表すものと、１つまたはそれ以上の背景オブジェクトを表すものとに分類するステップと、（ｂ）１つまたはそれ以上の閾値をフレームそれぞれにおける前記分類された画素それぞれに対して割り当てるステップと、（ｃ）前記複数の閾値を処理するステップと、（ｄ）前記複数の閾値を画素それぞれに適用して前記動作を視覚化するステップと、を含むことを特徴とする方法である。
【００１５】
本発明の第２の態様は、ビデオの１つまたはそれ以上のフレームにおける動作を視覚化する方法であって、（ａ）複数のフレームにおける各画素を前景オブジェクトを表すものと、背景オブジェクトを表すものとに分類するステップと、（ｂ）１つまたはそれ以上の閾値をフレームそれぞれにおける分類された画素それぞれに対して割り当てるステップと、（ｃ）前記閾値を処理するステップと、（ｄ）前記閾値を画素それぞれに適用するステップと、（ｅ）ビデオストリームにおける１つまたはそれ以上の事象の１つまたはそれ以上のキーフレームを発生するステップとを含み、前記キーフレームは、様々な時間における閾値混合されたオブジェクトをさらに含み前記動作を視覚化することを特徴とする前記方法である。
【００１６】
本発明の第３の態様は、コンピュータがビデオストリーム内の事象に対応する動作を視覚化するための命令を有する、コンピュータが実行可能な上記態様の方法を実現するプログラムであって、画素が前景オブジェクトを表すか、背景オブジェクトを表すかを区別するステップと、ビデオフレームの前景画素それぞれ、およびビデオフレームの背景画素それぞれに対して閾値マスクを計算するステップと、前記閾値を正規化するステップと、前景画素に適用された前記閾値マスクを平滑化するステップと、前記平滑化された閾値を変えて前記動作を視覚化するステップと、を含むことを特徴とするプログラム。
【００１７】
本発明の第４の態様は、ビデオストリーム内の事象に対応する動作を視覚化する請求項１に記載の方法を実行するシステムであって、動作を視覚化するステップは、ａ）１つまたはそれ以上のプロセッサが、１組、または１組以上のパラメータを指定し、前記１組、または１組以上のパラメータをソースコードに変換し、前記ソースコードをビデオストリーム内の事象を視覚化する一連のタスクにコンパイルするステップと、ｂ）１つまたはそれ以上のプロセッサによって処理されたとき、システムに、１組、または１組以上のパラメータを指定するステップと、前記１組、または１組以上のパラメータをソースコードに変換するステップと、ビデオストリームにおける事象を視覚化する一連のタスクに前記ソースコードをコンパイルするステップとを実行させる操作を含み、前記操作を格納するマシン可読媒体と、を含むことを特徴とするシステムである。
【００１８】
本発明の第５の態様は、媒体に格納された命令を有するマシン可読の前記媒体であって、
前記命令によって、システムが、画素が前景オブジェクトを表すか、または背景オブジェクトを表すかを区別し、ビデオフレームにおける前景画素それぞれ、および背景画素それぞれに対して１つまたはそれ以上の閾値マスクを計算し、ビデオストリーム内の各フレームの各画素の閾値を正規化し、前景画素に適用された前記閾値マスクを平滑化し、前記平滑化された閾値を変化させ、そして、１つまたはそれ以上のキーフレームを発生して、前記動作を視覚化することを特徴とする媒体である。
【発明の効果】
【００１９】
上記様々な態様により、効果的に、単一の静止画像を一組の静止画像に細分化する方法が提供される。
【００２０】
本発明の好ましい実施形態を、以下の図に基づいて詳細に記述する。
【発明を実施するための最良の形態】
【００２１】
（ビデオにおける動作の識別）
ビデオ（映像）における動作（アクティビティ）の識別、動作の重要性評価、ビデオにおけるオブジェクトの認識、およびビデオをより詳細に見るための連係技術に基づいてアクションキーフレームを発生する、固定位置カメラのための技術が提供される。
【００２２】
画素が背景と異なっている、または別のフレームの画素であると見なせるかどうかの限界を示すしきい値によって、変化とビデオ雑音に対する感度が決定される。本発明の１つの実施形態では、輝度範囲に関して、４％〜６％のしきい値が雑音と影に関する感度向上と抑制という相反する目標の目的に適した１つの妥協であると決定された。しかしながら、種々のしきい値があれば、様々な照明状態のもとでそれぞれがより有効に機能するであろう。自動利得制御機能付きのカメラを取り扱うためには、画素値はフレーム間にわたって正規化される必要があるであろう。点滅する光を無視可能とするには、より高度な方法が必要とされるであろう。
【００２３】
なお、本発明の上記及び下記の例示的な実施形態は、情報処理装置によって実行されてもよい。当該情報処理装置は、例えば、カメラから映像ストリームを受け取る入力部、プロセッサによる実行の際の作業領域を形成するとともにプログラムや処理対象としてのデータを格納する記憶部、処理内容や処理結果（例えば、図１Ａ〜５Ｂ、図７Ａ〜１１Ｂに示される画面）を表示する表示部、及び、データを通信網などに出力する出力部などを含む。プロセッサは、プログラムを読み出し実行することにより、処理対称のデータ等に対して当該プログラムの手順に対応した処理をする。
【００２４】
プロセッサは、分類手段と、割当手段と、閾値処理手段と、視覚化手段とを備えてもよい。分類手段は、画素を前景オブジェクトと背景オブジェクトとを分類する。割当手段は、閾値（閾値）を分類した画素に割当てる。閾値処理手段は、１つか又はそれ以上の閾値を処理する。視覚化手段は、動作を視覚化する。また、対象とするフレームがビデオストリームの一部である場合には、分類手段は、サンプルレートの選択手段と背景画素から前景画素を分離する分離手段から成り、選択されたサンプルレートに基づいてフレーム内の背景画素から前景画素を分離する。
【００２５】
分類手段と、割当手段と、閾値処理手段と、視覚化手段は、プロセッサによって制御されるハードウェアで実現されてもよいし、プロセッサによって実行されるソフトウェア（プログラム）で実現されてもよい。また、情報処理装置は、パーソナルコンピュータ、マイクロコンピュータのような汎用情報処理装置であってもよいし、本発明を実施するための専用情報処理装置であってもよい。
【００２６】
（動作の重要度に関する評価）
事象（イベント）は、ビデオ内の動作の量、録画されている空間内における対象ポイントへの距離、人々の顔のような検出された特徴、および他のセンサ、たとえば、電波方式による識別（ＲＦＩＤ）技術に基づくチップからの事象に基づいて、対象と考えられる動作の期間を決定することによって識別される。同じ対象ポイントが多数のカメラの視野内に入るならば、すべてのカメラを考慮することによって、対象ポイントへの距離測定の精度を向上することができる。
【００２７】
（動作の視覚化）
本発明の１つの実施形態では、ビデオストリーム内の動作の期間を単一のキーフレームによって視覚化するために、ビデオセグメントにおけるフレーム内の動くオブジェクトは、閾値混合（アルファブレンド）されて動きを示す。ビデオ信号内のフレームを定期的に抽出して、ビデオフレームの画素を平均化して単一の画像を作成することによって、動くオブジェクトを示すことができると単純に期待することもできる。しかしながら、そのように組み合わされたフレームでは、背景が支配的であり、前景にあるオブジェクトはかすかに目に見えるだけである。むしろ、最初に、背景（または、動かないオブジェクト）が前景（または、動くオブジェクト）から分離される。フレームのサンプルレートによって、前景のオブジェクトがいかに明瞭に知覚されるかが決定される。最も有効に機能するサンプルレートでは、動くオブジェクトはあるフレームと次のフレームとの間でオーバーラップがおこることはない。通常に配置されたセキュリティカメラ、およびカメラ画面に垂直に歩く人にとって好ましいサンプルレートは、０．５フレーム／秒〜２フレーム／秒である。サンプルレートがはるかに高い（たとえば、１０フレーム／秒）と、続くサンプルにおいて、前景にある形状間でかなりオーバラップが生じそれらの形状を認識することが難しくなる。サンプルレートを固定して使用するのではなく、異なるビデオフレームから前景にある形状間のオーバラップ量を決定することができる。また、前景にある形状が前のサンプルの前景にある形状とオーバーラップしないなら、別のサンプルを選択するだけでよい。
【００２８】
抽出されたフレームごとに、他の抽出されたフレームすべてとブレンド（混合）するための閾値マスク（アルファマスク）が決定される。サンプルにおける前景画素には高閾値（高アルファ値、高不透明度）が割り当てられ、背景画素それぞれにははるかに低い閾値が割り当てられる。画素各々に対する閾値がサンプル間にわたって正規化されて、単一のブレンドされた値が各画素に対して計算される。前景画素の視覚化時における平滑化のために前景画素の閾値マスクをわずかにぼかす、すなわち前景画素の閾値の１／２の値が、前景画素近辺の背景画素に割り当てられる。サンプル間にわたって、または、１つのサンプル内において前景画素に対する閾値を変えて、あるサンプル、または１つのサンプルの中のある領域を強調することができる。図６は、本発明の１つの実施形態に従って、ビデオストリーム内の事象に対応する動作を視覚化し、その動作のキーフレームを発生させるステップを示すブロック図である。
【００２９】
図６に示す手順に対応したプログラムをプロセッサで実行することにより、フローチャートの各ステップによって表現される機能が実現される、各ステップの機能に対応する手段（サンプルレート選択手段、前景画素の分離手段、平滑化手段、閾値割当手段、閾値重み付け手段、重み付け平均値の累積手段、重み付け平均値の正規化手段、キーフレーム発生手段）が生じる。尚、サンプルレートの選択手段と背景画素から前景画素を分離する分離手段が分類手段に対応する。
【００３０】
生成された各手段は、以下の処理を実行する。
【００３１】
まず、サンプルレート選択手段を用いてユーザによりサンプルレートの選択が行なわれ（図６ステップ１００）、その後、各フレームに対して、前記選択されたサンプルレートに基づき分離手段により当該フレーム内の背景画素から前景画素が分離され（図６ステップ１０２）、平滑化手段により前景マスクの平滑化が行なわれ（図６ステップ１０３）、閾値割当手段によりマスクに基づく閾値の割り当てが行なわれ（図６ステップ１０４）、割り当てられた閾値による重み付けが閾値重み付け手段により行なわれて蓄積手段により重み付けされた平均値の蓄積が行なわれる（図６ステップ１０５、閾値処理）。その後、正規化手段により重み付け平均値の正規化が行なわれ（図６ステップ１０７）、キーフレーム発生手段によりキーフレームが発生される（図６ステップ１０８、視覚化処理）。
【００３２】
本発明の様々な実施形態では、各種技術を利用して高度化された視覚化を実現する。各種技術は、単独でまたは組み合わせて利用されることができる。以下に記述する技術リストは限定的なものと考えるべきではなく、本発明の様々な実施形態の代表例と考えるべきである。
【００３３】
（前景画素の定期的強調）
本発明の１つの実施形態によれば、不透明度を増すことによって前景画素を定期的（たとえば、４サンプルごと）に強調して、動きがオーバーラップし過ぎることなくより詳細を示すことができる。図１Ａ、図１Ｂ、図７Ａおよび図７Ｂには、０．５サンプル／秒で閾値混合された前景が示されている。図１Ａ、図７Ａは、４サンプルごとに前景画素が不透明度を増して強調された場合を示しており、図１Ｂ、図７Ｂは重要なフレームが強調された場合を示している。図１Ａおよび図１Ｂにおいて、実線による強調は濃い形を示し、破線は、弱く弁別された形を示し、点線は、微弱に知覚（微弱に知覚は、弱く弁別に比較し、濃くない）された形を示す。この方法は、定率でフレームを抽出することによって前記形状のオーバーラップを防止して、前景の形状が、前に強調されたサンプルとオーバーラップしないならば、それらの形状のみを強調する技術と組み合わせることができる。この組み合わせによっても、表示を「ビジー」すぎる状態にすることなく、ユーザーは一定のレートで集められたサンプルから動きの速度を推定できる。
【００３４】
（透光性の色の着色）
本発明の１つの実施形態によれば、前景画素を透光性の色に着色して、ビデオフレーム間にわたる動作を視覚化することができる。トラッキングされている動きをオーバーラップさせながら時間とともに着色する色を変えて時間的順序を示すことができる。図２Ａ、および図８Ａは、図７Ａを着色したものを示し、図２Ｂ、および図８Ｂは、図７Ｂが着色されたものを示している。図２Ａ、および図８Ａでは、前景の着色が行われ、図２Ｂ、および図８Ｂでは、重要なフレームを強調する着色が行われている。図２Ａ、および図２Ｂにおいて、実線および太い斜線による陰影は、濃く着色された形を示し、太い破線と間隔が狭い陰影は、薄く着色された形を示し、中位に濃い破線と間隔が中位の陰影は、非常に弱く着色された形を示し、点線と間隔が広い陰影は、微弱に着色された形を示している（微弱に着色は、弱く着色よりも濃くない非常に弱く着色に比較し、濃くない。）。
【００３５】
本発明の別の実施形態では、それらの色度とそれらの色の輝度とを混ぜることによって背景画素を透光性の色（たとえば、図３Ａ、および図３Ｂの灰色、または図９Ａ、および図９Ｂの赤）に着色して、または、背景画素の彩度を減少させて中間調にして、ビデオフレーム間にわたる動作を視覚化することができる。すべての背景画素を変えるよりむしろ、前景の一部であった最も近い画素からの距離に基づいてそれらの画素を徐々に変えることができる。図３Ａ、図３Ｂ、図９Ａ、および図９Ｂは、前景の動作がない領域を明度を下げて示し、図３Ａ、および図９Ａは時間経過を、図３Ｂ、および図９Ｂは背景のみを示す。図３Ａ、および図３Ｂには、明度が低くなった領域が濃い斜線による陰影を使用して例示されているが、図３Ａにおける人物の濃度については、実線で濃い形を示し、太い破線で弱く弁別された形を示し、中位に濃い破線は、非常に弱く弁別された形を示し、点線は、微弱に知覚された形を示す（微弱に知覚は、弱く弁別よりも濃くない非常に弱く弁別に比較し、濃くない）。
【００３６】
（形状周りのハロー）
本発明の１つの実施形態では、前景画素によって作成された形状の周りに有色のハローを描いてビデオフレーム間にわたる動作を視覚化することもできる。形状は、可能であれば、前景画素に囲まれた画素を含むことによって満たされていなければならず、また浮遊前景画素は無視されるべきである。図４Ａと図１０Ａでは、ハローを使ってすべての前景画素を強調し、また図４Ｂと図１０Ｂでは、重要なサンプルの前景画素を強調している。図４Ａ、および図４Ｂでは、太い実線を使用して、図１０の赤いハローを図示している。実線は濃い形を示し、破線は弱く識別された形を示し、点線は微弱に知覚された形（微弱に知覚されるは、弱く識別されるよりも濃くない。）を示す。
【００３７】
（視覚化における重要性の重み付け）
本発明の１つの実施形態では、重要な動作をより不透明に、また重要でない動作をより透明にすることによってビデオセグメント内のアクションの重要性を示すことができる。視覚化機能を強化する上記にリストされた技術を選択的に適用して重要な動作を高輝度表示することができる。重要となる時間への時間的距離、またはビデオフレーム内の関心の的となる箇所への空間的距離に応じて不透明にする、または着色することができる。オブジェクトが（たとえば、顔を認識して）認識されたならば、上記高度化技術をそのオブジェクトのみに適用することができる。
【００３８】
（ユーザーの連係）
本発明の別の実施形態では、ユーザーは、単一のビデオフレームか、または発生されたキーフレームのいずれかをマウスを使ってクリックすればよい。オブジェクトがマウス位置の近くで識別されるならば、そのオブジェクトは重要であるとマークされ、フレーム間にわたってトラッキングされる。上記の視覚化技術をまさしくそのマークされたオブジェクトのみに適用する。
【００３９】
発生しているキーフレームをクリックすると、オブジェクトを識別して、または、マウスの位置を抽出されたビデオフレームの前景画素の中心に比較することによってある時間の状況に戻ることもできる。マウス位置に最も近い中心によって対応時間が決定される。また、ユーザーは、領域上をマウスでドラッグすることによって時間の長さを指定することができ、その領域の中心に関連している最小時間、および最長時間によって決まる間隔を選択していると見なせる。時間（または、間隔）がいったん決まると、そのビデオをその時間に再生することができる、または、発生したキーフレーム内でその時間表示を高輝度表示することができる。その時間のビデオフレームと発生しているキーフレームを閾値混合することによって、時間の高輝度表示を容易に実行することができる。間隔が指定されると、指定された間隔を視覚化する新しいキーフレームを発生することができる。
【００４０】
（オブジェクトの識別とトラッキング）
本発明のさらに別の実施形態では、各画素のタイムスタンプを使用して、類似のタイムスタンプを有する近くにある画素を上述のような形状にグループ化してオブジェクトを識別することができる。より最新のフレームにある、より古いフレーム内の形状に類似しており、かつ最高速度で動いているとの仮定のもとに一貫している形状を見つけることによって、フレーム間にわたってオブジェクトをトラッキングすることができる。異なる形状がマージされ、かつ再び分割される場合、それらの形状が動くときの軌跡を考えるとそれらの形状の同一性に関する仮説を立てることができる。
【００４１】
（独立しているオブジェクトの視覚化）
本発明のさらに別の実施形態では、オブジェクトそれぞれのオーバーレイを異なる色に着色／カラー化することによって独立しているオブジェクトの動作を視覚化することができる。または、オブジェクトの周りに異なる色のハローを描くことができる。
（時間、またはオブジェクトによる視覚化）
本発明の別の実施形態では、視覚化がビジーであるか、または複雑であるとき、単一のキーフレームの視覚化を細分することができる。オブジェクトの動きが遅い、またはオブジェクトにいくつかのグループがあるならば、サンプルレートを減少させることによって視覚化をよりビジーでない状態にすることはできるが、オブジェクトが方向を逆にしたり、または異なるオブジェクトがそれぞれの時間にそれぞれの方向に動くときサンプルレートを減少させる場合は役に立たない。時間的距離の長いフレームにおける前景形状のオーバーラップはこの状況を示すものである。このような場合、動作セグメントの時間を、そのようなオーバラップを避けて独立した視覚化が可能なサブセグメントに区切ることができる。アクション期間を等しい、または異なる長さを有するより短い期間に分割し、動作期間におけるより短いタイムスライスそれぞれに対して、独立しているアクションキーフレームを作成する。
【００４２】
代替的な細分化方法は、キーフレームそれぞれが識別されたオブジェクトの部分集合だけの動作を含むように独立しているオブジェクトを切り離すことである。アクションキーフレームそれぞれが動作期間におけるオブジェクトのサブセットのアクションのみを表示するように一組のアクションキーフレームを作成する。それらのアクションキーフレームそれぞれに対して、選択されたオブジェクトの前景画素のみを背景画素とブレンドする。
【００４３】
システムが多すぎるオーバーラップを検出するとき、または、ユーザーが要求するとき、単一のキーフレーム視覚化を自動的に細分化することができる。
【００４４】
（他の視覚化オプション）
本発明の別の実施形態では、前景画素と背景画素を閾値混合する代わりに、様々な時間における前景画素をより抽象的な表現で視覚化することができる。１つの表現方法では、オブジェクトのトラッキングを利用する。各オブジェクトの軌跡または、オブジェクトの代表的部分（たとえば、最高点、または検出された縁の角）が、時間の経過とともに線として、または一定の時間間隔で打たれた一連の点として示される。図５Ａ、および図１１Ａにおいて、トラッキングされたオブジェクトの連続した軌跡を太い連続実線で示し、トラッキングされたオブジェクトの軌跡に関して、一定間隔（デルタＴ＝０．６秒）で打たれた位置が、図５Ｂでは、円で示されており、また、図１１Ｂにおいては、赤い点で示されている。同じオブジェクトを異なる時間において視覚化したいくつかの像を視覚面から乱れなく表示して、オブジェクトの動きを上記の実線で示している。この方法は、多くのオブジェクトが共通の領域を通るとき、特に役に立つことがある。軌跡線を色分けして時間的な関係を示すことができる。色分けは、見たところ交差している軌跡線が同じ時間に実際に交差しているか（すなわち、オブジェクト同士が現実に互いに近くを通ったかどうか）どうかを示すのに役立つ。時たま視覚化された動いているオブジェクト像が軌跡線によって結ばれるように、低サンプルレートで前景画素を閾値混合して軌跡線を構成することができる。軌跡上のポイント各々は、ある時間点に対応するので、クリックするか、または図示されている軌跡線に沿ってドラッグすることによってユーザーは、時間、または時間間隔を指定することがある。
【００４５】
（アプリケーション）
ビデオセグメントを縮小して表現することはビデオにおける物理的な動作の概要、またはまとめが役に立ついかなる状況でも有効である。これは、セキュリティビデオセグメントと、検索によってビデオライブラリに戻ったビデオのセグメントにおけるアクションのまとめを含む。それらは、ビデオセグメントを表す単一の静止画像を提供するのに必要とされる帯域幅が比較的低いので特に有益である。
【００４６】
コンピュータ技術の当業者にとって明らかなように、本出願の教示に従ってプログラムされたプロセッサ（複数のプロセッサ）を使用して本発明の様々な実施形態を実行することができよう。ソフトウエア技術の当業者にとって明らかなように、本出願の教示に基づいて熟練したプログラマが適切にソフトウェア符号化を実施することは容易である。また、当業者がすぐに分かるように、集積回路を用意する、および／または構成回路の適切なネットワークを相互接続することによって本発明を実行することが可能である。
【００４７】
様々な実施形態では、記憶媒体に格納された命令および／または情報を有する記憶媒体（複数の媒体）であり得るコンピュータプログラムプロダクトが含まれる。本発明の特徴のいずれかを実行する汎用、または専用の計算プロセッサ（複数のプロセッサ）／機器（複数の機器）をプログラムするとき、上記命令および／または上記情報を利用できる。限定されないが、記憶媒体としては、以下のものを含む物理的なメディアすべてが可能である。すなわち、フロッピーディスク、光ディスク、ＤＶＤ、ＣＤーＲＯＭ、マイクロドライブ、光磁気ディスク、ホログラフィック記憶機器、ＲＯＭ、ＲＡＭ、ＥＰＲＯＭ（消去可能・プログラム可能ＲＯＭ）、ＥＥＰＲＯＭ（電気的に消去可能で再書き込み可能な読み出し専用素子）、ＤＲＡＭ（ダイナミックＲＡＭ）、ＰＲＡＭ（プログラム可能ＲＡＭ）、ＶＲＡＭ（ビデオＲＡＭ（画像表示専用メモリ））、フラッシュメモリー素子、磁気カード、または光カード、ナノシステム（分子メモリＩＣを含む）、紙、または紙ベースのメディア、ならびに、命令および／または情報を格納するのに適したメディアまたは機器すべてのタイプの内の、１つまたはそれ以上が含まれる。様々な実施形態では、全体として、または部品として、１つまたはそれ以上の私設ネットワークを介して伝送されることが可能であるコンピュータプログラムプロダクトが含まれる。伝送には、命令および／または情報が含まれる。１つまたはそれ以上のプロセッサが上記命令および／または情報を使用して本出願の特徴のいずれかを実行することができる。様々な実施形態では、伝送には、個別の伝送が複数含まれることがある。
【００４８】
本発明には、プロセッサ（複数のプロセッサ）のハードウェアを制御し、コンピュータ（複数のコンピュータ）および／またはプロセッサ（複数のプロセッサ）が本発明の結果を利用する人間のユーザー、または他の機器と対話することを可能にする、１つまたはそれ以上のコンピュータ可読メディアに格納されたソフトウェアが含まれる。そのようなソフトウェアには、限定されるわけではないが、デバイスドライバ、インタフェースドライバ、オペレーティングシステム、実行環境／コンテナ、ユーザーインタフェース、ならびにアプリケーションが含まれることがある。
【００４９】
上記ソフトウェアにおける命令コードは、直接的に、または間接的に実行可能である。コードはコンパイル言語、インタープリタ言語、および他の形式の言語を含むことができる。１つの機能のためのコードおよび／またはコードセグメントを実行するときおよび／または伝送するとき、ローカル、またはリモートにある他のソフトウェア、または機器を起動する、または呼び出してその機能を実行する。起動、または呼び出し時には、ライブラリモジュール、デバイスドライバ、インタフェースドライバ、およびリモートソフトウェアを起動、または呼び出して上記機能を実行できる。上記起動、または呼び出しには、クライアント／サーバ分散システムにおける起動、または呼び出しを含むことができる。
【００５０】
本発明の１つの実施形態は、１つまたはそれ以上のフレームにおける事象に対応する動作を視覚化する方法であって、（ａ）複数のフレームにおける各画素を前景オブジェクトを表すものと背景オブジェクトを表すものとに分類するステップ（図６のステップ１００、１０１、１０２）と、（ｂ）１つまたはそれ以上の閾値をフレームそれぞれにおける分類された画素それぞれに対して割り当てるステップ（図６のステップ１０４）と、（ｃ）それらの閾値を処理するステップ（図６のステップ１０４）と、（ｄ）それらの閾値を画素それぞれに適用して動作を視覚化するステップ（図６のステップ１０５〜１０８）とを含む。
【００５１】
本発明の別の実施形態では、フレームはビデオストリームの一部である場合、ステップ（ａ）の分類するステップは、最適のサンプルレートを選択して（図６のステップ１００）、前景オブジェクトを示す画素を背景オブジェクトを示す画素から分離するステップ（図６のステップ１０２）から成る。
【００５２】
本発明の別の実施形態では、選択されたサンプルレートで抽出されたフレーム間で画素がしきい値を超えて変化するかどうかを決めることによって前景画素が背景画素から分離される。
【００５３】
本発明の別の実施形態では、選択されたサンプルレートで抽出されたフレーム間で画素の動きがあるかどうか決定するしきい値となる輝度を設定することによって前景画素が背景画素から分離される。本発明の別の実施形態では、最適のサンプルレートは固定サンプルレートである。本発明の別の実施形態では、最適のサンプルレートは可変サンプルレートである。
【００５４】
本発明の別の実施形態でによると、前景オブジェクトの画素に対してアルファマスクが計算され、背景画素に対しては別の閾値マスクが計算される。
【００５５】
本発明の別の実施形態では、ビデオストリームのフレームそれぞれにおける画素それぞれに対する閾値を正規化するステップ（図６のステップ１０７）と、画素それぞれに適用される閾値マスクを平滑化するステップ（図６のステップ１０３）と、画素それぞれに適用された閾値マスクされた値を変えるステップとから成るグループから選択された機能の内の１つまたはそれ以上を適用することによって閾値を処理する。
【００５６】
本発明の別の実施形態では、閾値マスクを平滑化する機能は、別の平滑化された閾値マスクを前景画素に適用するステップを含む。
【００５７】
本発明の別の実施形態では、平滑化された閾値はサンプル間にわたって、または、サンプル内において変化し、サンプル内における動作、または領域を強調する。
【００５８】
本発明の別の実施形態では、閾値マスクの不透明度は増加する。
【００５９】
本発明の別の実施形態では、前景画素を透光性の色で着色している。したがって、着色されている色が時間とともに変化して時間的な順序を示すことができる。
【００６０】
本発明の別の実施形態では、背景画素を透光性の色で着色している。したがって、かつて前景の一部であった最も近い画素からのその背景画素の距離に基づいて背景画素に塗られて着色されている色を変えることができる。
【００６１】
本発明の別の実施形態では、それらの色度とそれらの色の輝度とを混ぜることによって背景画素の彩度を減少させて中間調にする。したがって、かつて前景の一部であった最も近い画素からのその背景画素の距離に基づいて背景画素に塗られて混合されている色を変えることができる。
【００６２】
本発明の別の実施形態では、有色のハローが前景画素によって形成された形状の周りに描かれる。
【００６３】
本発明の別の実施形態では、ビデオストリーム内の１つまたはそれ以上の事象の１つまたはそれ以上のキーフレームを用いて動作を視覚化する。そのとき、それらのキーフレームは、様々な時間において閾値混合されたオブジェクトをさらに含む。
【００６４】
本発明の別の実施形態では、ビデオストリーム内の１つまたはそれ以上の事象の１つまたはそれ以上キーフレームを用いて動作を視覚化する。そのとき、それらのキーフレームは、表示されているオブジェクトの軌跡をさらに含む。
【００６５】
本発明の別の実施形態では、ユーザーは形状を高輝度表示して、単一のビデオフレーム、または１つのキーフレームにおける１つまたはそれ以上の形状をクリックすることにより、ビデオにおける１つまたはそれ以上の対象となる特徴の位置をトラッキングできる。
【００６６】
本発明の別の実施形態では、異なったオブジェクトの色および／または透明度を変更して、動作を強調することができる。
【００６７】
本発明の別の実施形態では、異なったオブジェクトの軌跡を別々のキーフレームにおいて高輝度表示する。
【００６８】
本発明の別の実施形態では、１つのキーフレームにおいて観察された動作を用いてオブジェクトを識別する。そのとき、そのオブジェクトは、時間の経過に基づいて他のキーフレームにおいてもさらに識別される。
【００６９】
本発明の別の実施形態では、サンプルレートは、約０．５フレーム／秒〜約２フレーム／秒である。
【００７０】
本発明の別の実施形態では、しきい値となる輝度は、約４％〜約６％である。
【００７１】
本発明の別の実施形態では、コンピュータがビデオストリーム内の事象に対応する動作を視覚化するための命令を有する、コンピュータが実行可能なプログラムは、画素が前景オブジェクトを表すか、背景オブジェクトを表すかを区別するステップと、ビデオフレームの前景画素それぞれ、およびビデオフレームの背景画素それぞれに対して閾値マスクを計算するステップと、ビデオフレーム中の各フレーム全体における画素それぞれに対する閾値を正規化するステップと、前景画素に適用された閾値マスクを平滑化するステップと、平滑化された閾値を変えて動作を視覚化するステップとを含む。
【００７２】
本発明の別の実施形態では、ビデオストリーム内の事象に対応する動作を視覚化するシステム、または装置において、動作を視覚化するステップは、ａ）１組、または１組以上のパラメータを指定でき、１組、または１組以上のパラメータをソースコードに変換でき、そのソースコードをビデオストリーム内の事象を視覚化する一連のタスクにコンパイルすることができる１つまたはそれ以上のプロセッサと、ｂ）１つまたはそれ以上のプロセッサによって処理されたとき、システムに、１組、または１組以上のパラメータを指定するステップと、１組、または１組以上のパラメータをソースコードに変換するステップと、ビデオストリームにおける事象を視覚化する一連のタスクにソースコードをコンパイルするステップとをシステムに実行させる操作を含むマシン可読媒体とを含み、上記操作は上記媒体に格納されている。
【００７３】
本発明の別の実施形態では、媒体に格納された命令を有するマシン可読の前記媒体において、上記命令によって、システムは、画素が前景オブジェクトを表すか、または背景オブジェクトを表すかを区別し、ビデオフレームにおける前景画素それぞれ、および背景画素それぞれに対して閾値マスクを計算し、ビデオストリーム内の各フレームの各画素の閾値を正規化し、前景画素に適用された閾値マスクを平滑化し、平滑化された閾値を変化させてビデオストリーム内の動作を視覚化する。
【図面の簡単な説明】
【００７４】
【図１Ａ】図７Ａをイラストとして描写したものであり、０．５サンプル／秒のサンプルレートで閾値混合された前景が示されており、４サンプルごとに前景画素が不透明度を増して強調された場合を示している。実線による強調は濃い形を示し、破線は、弱く弁別された形を示し、点線は、微弱に知覚（微弱に知覚は、弱く弁別に比較し、濃くない）された形を示す。
【図１Ｂ】図７Ｂをイラストとして描写したものであり、０．５サンプル／秒のサンプルレートで閾値混合された前景が示されており、重要なフレームが強調された場合を示している。実線による強調は濃い形を示し、破線は、弱く弁別された形を示し、点線は、微弱に知覚（微弱に知覚は、弱く弁別に比較し、濃くない）された形を示す。
【図２Ａ】図８Ａをイラストとして描写したものであり、図７Ａを視覚化して着色したものを示し、前景の着色が行われている。実線および太い斜線による陰影は、濃く着色された形を示し、太い破線と間隔が狭い陰影は、薄く着色された形を示し、中位に濃い破線と間隔が中位の陰影は、非常に弱く着色された形を示し、点線と間隔が広い陰影は、微弱に着色された形を示している。（微弱に着色は、弱く着色よりも濃くない非常に弱く着色に比較し、濃くない。）
【図２Ｂ】図８Ｂをイラストとして描写したものであり、図７Ｂを視覚化して着色したものを示し、重要なフレームを強調する着色が行われている。実線および太い斜線による陰影は、濃く着色された形を示し、太い破線と間隔が狭い陰影は、薄く着色された形を示し、中位に濃い破線と間隔が中位の陰影は、非常に弱く着色された形を示し、点線と間隔が広い陰影は、微弱に着色された形を示している。（微弱に着色は、弱く着色よりも濃くない非常に弱く着色に比較し、濃くない。）
【図３Ａ】図９Ａをイラストとして描写したものであり、図７Ａにおいて前景の動作がない領域を明度を下げて示し、かつ時間経過を示している。実線で濃い形を示し、太い破線で弱く弁別された形を示し、中位に濃い破線は、非常に弱く弁別された形を示し、点線は、微弱に知覚された形を示し、太い斜線による陰影は、明度が低い領域を示す（微弱に知覚されるは、弱く弁別されるよりも濃くない非常に弱く弁別されるよりも濃くない）。
【図３Ｂ】図９Ｂをイラストとして描写したものであり、図７Ｂにおいて前景の動作がない領域を明度を下げて示し、背景のみを示している。太い斜線による陰影は、明度が低い領域を示す。
【図４Ａ】図１０Ａをイラストとして描写したものであり、赤いハローを使って図７Ａにおける特徴を際立たせている。すなわち、すべての前景画素を強調している。太い実線を使用して、図１０Ａの赤いハローを図示し、実線は濃い形を示し、破線は弱く識別された形を示し、点線は微弱に知覚された形（微弱に知覚されるは、弱く識別されるよりも濃くない。）を示す。
【図４Ｂ】図１０Ｂをイラストとして描写したものであり、赤いハローを使って図７Ｂにおける特徴を際立たせている。すなわち、重要なサンプルの前景画素を強調している。太い実線を使用して、図１０Ｂの赤いハローを図示し、実線は濃い形を示し、破線は弱く識別された形を示し、点線は微弱に知覚された形（微弱に知覚されるは、弱く識別されるよりも濃くない。）を示す。
【図５Ａ】図１１Ａをイラストとして描写したものであり、トラッキングされたオブジェクトの連続した軌跡を太い連続実線で示す。
【図５Ｂ】図１１Ｂをイラストとして描写したものであり、トラッキングされたオブジェクトの軌跡に関して、一定間隔（デルタＴ＝０．６秒）で打たれた位置が円で示されている。
【図６】ビデオストリーム内の事象に対応する動作を視覚化し、その動作のキーフレームを発生させるステップを示すブロック図である。
【図７Ａ】０．５サンプル／秒で閾値混合された前景が示されている。４サンプルごとに不透明度を増して強調された前景画素の場合を示している。
【図７Ｂ】０．５サンプル／秒で閾値混合された前景が示されている。重要なフレームが強調された場合を示している。
【図８Ａ】着色したものを示し、前景の着色が行われている。
【図８Ｂ】着色されたものを示し、重要なフレームを強調する着色が行われている。
【図９Ａ】明度を下げて前景の動作を示し、かつ時間経過を示している。
【図９Ｂ】明度を下げて前景の動作を示し、かつ背景のみを示す。
【図１０Ａ】赤いハローを使って特徴を際立たせている。すなわち、すべての前景画素を強調している。
【図１０Ｂ】赤いハローを使って特徴を際立たせている。すなわち、重要なサンプルの前景画素を強調している。
【図１１Ａ】トラッキングされたオブジェクトの連続した軌跡を示す。
【図１１Ｂ】トラッキングされたオブジェクトの軌跡に関して、一定間隔（デルタＴ＝０．６秒）で打たれた位置が示されている。
【技術分野】
【０００１】
本発明は、ビデオ（映像）における動作（アクティビティ）の識別、その動作の重要性評価、ビデオにおけるオブジェクト（対象物）の認識、およびビデオをより詳細に見るための連係技術に基づいてアクションキーフレームを発生する、固定位置カメラのための技術に関連する。
【背景技術】
【０００２】
ユーザーが１つのビデオセグメントにおいて動作を検出する必要がある状況が多くある。セキュリティ担当者がビデオセグメントが対象とするものであるかどうかを決定するときにも、動作を検出する必要がある。ビデオライブラリのユーザーが、ビデオセグメントが要求を満たすものかどうかを決定するときにも、動作を検出する必要がある。高速でビデオセグメントを再生する（非特許文献１を参照）一連のキーフレームを示す（米国特許第６，５３５，６３９号参照）、または、ユーザーがタイムラインをスクラブして異なるビデオフレームを表示させることができるインタフェースは多い。
【０００３】
帯域幅に制限があり、多数のビデオセグメントを同時に評価する能力に限界があるため、ビデオを再生する以外に、動作を１つのビデオセグメントで示すインタフェースが必要である。ビデオ信号内のフレームを定期的に抽出して、ビデオフレームの画素を平均化して単一の画像を作成することによって、動くオブジェクト（対象物）を示すことができると単純に期待するかもしれない。これはストロボ写真において使用される方法である。ストロボ写真では、非常に長い露出時間のもとにカメラがオブジェクトを補足するように、ストロボライトにより、ストロボライトがなければ暗くて見えないオブジェクトが目に見えるようになる。しかしながら、この方法は背景が暗いときのみ有効である。組み合わされた１つのフレーム内で明るい背景が支配的であると、前景にあるオブジェクトはかすかに目に見えるだけである。
【０００４】
ビデオフレームから背景を取り除くことで動作が決定され、動くオブジェクトの位置とサイズが決定される。
【０００５】
最も簡単な方法では、引き続く複数のフレームを比較して、変化した画素すべてを前景画素として利用する。しかしながら、この方法は動いているオブジェクトの前縁と後縁を決定するだけである。この方法では、静止しているオブジェクトを見つけることはできない。また、この方法はビデオ雑音に非常に影響されやすい。
【０００６】
別の方法によれば、前のフレームと比較して画素が変化した画素の内、最新の時間（タイム）を示す画素各々の位置にタイムスタンプを刻印する。類似のタイムスタンプを有する領域をグループ化して各種形状を形成できる。各種形状に対して最小のサイズを要求することによってビデオ雑音を処理することができる。また、この方法をオブジェクトのトラッキングに利用することができる。過去のある時点で現在位置に動いたと仮定して静止しているオブジェクトを見つけることができる。
【０００７】
３番目の方法では、一連のビデオフレームにおける各画素に対する中央値が決定される。その中央値に近い値は、背景の一部であるとみなすべきである。前景と背景を分離する前にすべてのフレームの中央値を決定するには第２のパスが必要となる。背景を決定するために現在のフレームより早期のビデオフレームを考えるだけで、精度は多少低くなるが、上記第２のパスを必要としなくすることができる。前の画素値すべてをメモリに格納しなければならない状況を避けるために、画素それぞれの位置に対してすべての履歴値のヒストグラムを計算し、そのヒストグラムから中央値を計算することによって中央値を決定することができる。中央値を決定するのに最近の履歴のみを考慮すべきであれば、バッファウィンドウから中央値を決定する、または、そのウィンドウから値がずれるとヒストグラムからその値を除去するような、バッファウィンドウによる方法を利用することができる。しかしながら、間隔が長くなると、このような方法では、法外に多量のメモリが使用されることになる。代わる方法として、指数関数的減衰係数を有するヒストグラムを使用することができ、その場合、古い値ほど新しい値よりもより低い重みを有する。中央値による方法では、ビデオ雑音が非常にうまく処理されるが、照明状態が突然、または徐々に変化するとき問題が生じる。クラスタリング技術を適用して類似の照明状態となる間隔を見出すことができる。また、ヒストグラムが適している状況では、数種の定常状態が存在し、前景となる画素は、それらの定常状態の１つに陥いることのないものであればいかなるものでもよいであろう。１つの例は点滅する光であって、その光は、すべての状態において背景の一部であるが、その光の前を通るオブジェクトは認識されるであろう。
【０００８】
一般的に、前景となる画素と背景となる画素を分離するには多くの方法がある。この問題にガウス混合モデルを適用した研究者が数人いる（非特許文献２及び非特許文献３を参照）。これらの方法の多くを中間調画像に適用することができる。色彩情報を考慮すると、計算の複雑度が増すが、性能が大きく向上することはない。画素が背景と異なっている、または別のフレームの画素であると見なせるかどうかの限界を示すしきい値によって、変化とビデオ雑音に対する感度が決定される。また、そのしきい値によって、影と反射が前景の一部であると見なせるかどうかが決定される。しかしながら、種々のしきい値があれば、様々な照明状態のもとでそれぞれがより有効に機能するであろう。点滅する光を無視可能とするには、より高度な方法が必要とされるであろう。
【０００９】
本発明の発明者は、単一のキーフレームにおいてビデオ列における動きを視覚化する別の方法を、以前提案した（特許文献１）。特許文献１では、軌跡線を色分けして、時間的な関係を示すが、実行されなかった前景背景の分離または、オブジェクトの検出とトラッキングを含む多くの特徴がある。むしろ、特許文献１では、サンプルフレーム間で変化した画素が決定され、前記ビデオ系列内の単一のキーフレーム上に透光性の色をつけることによって変化した画素が視覚化されている。カラーオーバーレイの色度と透明度がサンプルフレームのキーフレームからの時間的距離によって変化する。単一フレームからの画素のみが、単に色付けされた点としてオーバレイされた他のフレームから区別して、示されている。
【特許文献１】米国特許出願公開第２００３／０１８９５８８号
【非特許文献１】ヴィルドムース（Wildemuth B．M．）、マルチオニーニ（Marchionini G．）、ヤング（Yang M．）、ガイスラー（Geisler G．）、ウィルケンズ（Wilkens T．）、ヒュージ（Hughes A．）、グラス（Gruss R．）、「早すぎとはどれくらい早いか：ディジタルビデオのファーストフォワードサロゲートの評価（How Fast is too Fast?：Evaluating Fast Forward Surrogates for Digital Video）」、第３回ディジタルライブラリーにおけるACM/IEEE合同会議（Proceedings of the ３rd ACM／IEEE−CS Joint Conference on Digital libraries）、２２１〜２３０ページ、2003年
【非特許文献２】Ｓ．Ｃ．Ｓ．チュエン（Chueng、S.-C.S.）、Ｃ．カマス（Kamath C.）、「都会のトラフィック映像から背景を除くためのロバストな技法（Robust Techniques for Background Subtraction in Urban Traffic Video）」、映像通信及び画像処理・ＳＰＩＥ 電子画像処理（Video Communications and Image Processing,SPIE Electronic Imaging）、サンホセ（San Jose）、2004年
【非特許文献３】ツィブコビック（Zivkovic、Z）、「背景を除くための改良された適用ガウス型混合モデル（Improved adaptive Gaussian mixture model for background subtraction）」、パターン認識国際会議（International Conference Pattern Recognition）、2004年
【発明の開示】
【発明が解決しようとする課題】
【００１０】
本発明は、固定位置カメラのビデオセグメントにおける動作を単一の静止画像を通して示す方法に係わる。まず、背景（または、動かないオブジェクト）を前景（または、動くオブジェクト）から分離する。フレームのサンプルレートによって、前景のオブジェクトがいかに明瞭に知覚されるかが決定される。最も有効に機能するサンプルレートでは、動くオブジェクトはあるフレームと次のフレームとの間でオーバーラップすることはない。通常に配置されたセキュリティカメラ、およびカメラ画面に垂直に歩く人にとって好ましいサンプルレートは、０．５フレーム／秒〜２フレーム／秒である。
【００１１】
サンプルビデオフレームから単一の静止画像画像を作成するために、ビデオフレーム内の動くオブジェクトの透光性画像をビデオ列において平均化された背景と結合する。認識された動作の重要性に基づいてオーバーレイの透光性を変え、独立しているオブジェクトのオーバーレイをカラー化して、異なるオブジェクトの動きを示すことができる。また、トラッキングされたオブジェクトの軌跡を画像上に重ね合わせられたパスとして示すことができる。
【００１２】
しかし、多くのオブジェクトが動くとき、またはビデオの視野内の広い範囲にわたって動きがあるときには、視覚化しても乱れがあり、あまり役に立たない。
【課題を解決するための手段】
【００１３】
上記問題に対処するために、セグメントの時間をサブセグメントに分離するか、または異なるオブジェクトのオーバーレイを異なる静止画像上に分離することによって単一の静止画像を一組の静止画像に細分化する方法が提供される。
【００１４】
本発明の第１の態様は、１つまたはそれ以上のフレームにおける事象に対応する動作を視覚化する方法であって、（ａ）複数のフレームにおける各画素を１つまたはそれ以上の前景オブジェクトを表すものと、１つまたはそれ以上の背景オブジェクトを表すものとに分類するステップと、（ｂ）１つまたはそれ以上の閾値をフレームそれぞれにおける前記分類された画素それぞれに対して割り当てるステップと、（ｃ）前記複数の閾値を処理するステップと、（ｄ）前記複数の閾値を画素それぞれに適用して前記動作を視覚化するステップと、を含むことを特徴とする方法である。
【００１５】
本発明の第２の態様は、ビデオの１つまたはそれ以上のフレームにおける動作を視覚化する方法であって、（ａ）複数のフレームにおける各画素を前景オブジェクトを表すものと、背景オブジェクトを表すものとに分類するステップと、（ｂ）１つまたはそれ以上の閾値をフレームそれぞれにおける分類された画素それぞれに対して割り当てるステップと、（ｃ）前記閾値を処理するステップと、（ｄ）前記閾値を画素それぞれに適用するステップと、（ｅ）ビデオストリームにおける１つまたはそれ以上の事象の１つまたはそれ以上のキーフレームを発生するステップとを含み、前記キーフレームは、様々な時間における閾値混合されたオブジェクトをさらに含み前記動作を視覚化することを特徴とする前記方法である。
【００１６】
本発明の第３の態様は、コンピュータがビデオストリーム内の事象に対応する動作を視覚化するための命令を有する、コンピュータが実行可能な上記態様の方法を実現するプログラムであって、画素が前景オブジェクトを表すか、背景オブジェクトを表すかを区別するステップと、ビデオフレームの前景画素それぞれ、およびビデオフレームの背景画素それぞれに対して閾値マスクを計算するステップと、前記閾値を正規化するステップと、前景画素に適用された前記閾値マスクを平滑化するステップと、前記平滑化された閾値を変えて前記動作を視覚化するステップと、を含むことを特徴とするプログラム。
【００１７】
本発明の第４の態様は、ビデオストリーム内の事象に対応する動作を視覚化する請求項１に記載の方法を実行するシステムであって、動作を視覚化するステップは、ａ）１つまたはそれ以上のプロセッサが、１組、または１組以上のパラメータを指定し、前記１組、または１組以上のパラメータをソースコードに変換し、前記ソースコードをビデオストリーム内の事象を視覚化する一連のタスクにコンパイルするステップと、ｂ）１つまたはそれ以上のプロセッサによって処理されたとき、システムに、１組、または１組以上のパラメータを指定するステップと、前記１組、または１組以上のパラメータをソースコードに変換するステップと、ビデオストリームにおける事象を視覚化する一連のタスクに前記ソースコードをコンパイルするステップとを実行させる操作を含み、前記操作を格納するマシン可読媒体と、を含むことを特徴とするシステムである。
【００１８】
本発明の第５の態様は、媒体に格納された命令を有するマシン可読の前記媒体であって、
前記命令によって、システムが、画素が前景オブジェクトを表すか、または背景オブジェクトを表すかを区別し、ビデオフレームにおける前景画素それぞれ、および背景画素それぞれに対して１つまたはそれ以上の閾値マスクを計算し、ビデオストリーム内の各フレームの各画素の閾値を正規化し、前景画素に適用された前記閾値マスクを平滑化し、前記平滑化された閾値を変化させ、そして、１つまたはそれ以上のキーフレームを発生して、前記動作を視覚化することを特徴とする媒体である。
【発明の効果】
【００１９】
上記様々な態様により、効果的に、単一の静止画像を一組の静止画像に細分化する方法が提供される。
【００２０】
本発明の好ましい実施形態を、以下の図に基づいて詳細に記述する。
【発明を実施するための最良の形態】
【００２１】
（ビデオにおける動作の識別）
ビデオ（映像）における動作（アクティビティ）の識別、動作の重要性評価、ビデオにおけるオブジェクトの認識、およびビデオをより詳細に見るための連係技術に基づいてアクションキーフレームを発生する、固定位置カメラのための技術が提供される。
【００２２】
画素が背景と異なっている、または別のフレームの画素であると見なせるかどうかの限界を示すしきい値によって、変化とビデオ雑音に対する感度が決定される。本発明の１つの実施形態では、輝度範囲に関して、４％〜６％のしきい値が雑音と影に関する感度向上と抑制という相反する目標の目的に適した１つの妥協であると決定された。しかしながら、種々のしきい値があれば、様々な照明状態のもとでそれぞれがより有効に機能するであろう。自動利得制御機能付きのカメラを取り扱うためには、画素値はフレーム間にわたって正規化される必要があるであろう。点滅する光を無視可能とするには、より高度な方法が必要とされるであろう。
【００２３】
なお、本発明の上記及び下記の例示的な実施形態は、情報処理装置によって実行されてもよい。当該情報処理装置は、例えば、カメラから映像ストリームを受け取る入力部、プロセッサによる実行の際の作業領域を形成するとともにプログラムや処理対象としてのデータを格納する記憶部、処理内容や処理結果（例えば、図１Ａ〜５Ｂ、図７Ａ〜１１Ｂに示される画面）を表示する表示部、及び、データを通信網などに出力する出力部などを含む。プロセッサは、プログラムを読み出し実行することにより、処理対称のデータ等に対して当該プログラムの手順に対応した処理をする。
【００２４】
プロセッサは、分類手段と、割当手段と、閾値処理手段と、視覚化手段とを備えてもよい。分類手段は、画素を前景オブジェクトと背景オブジェクトとを分類する。割当手段は、閾値（閾値）を分類した画素に割当てる。閾値処理手段は、１つか又はそれ以上の閾値を処理する。視覚化手段は、動作を視覚化する。また、対象とするフレームがビデオストリームの一部である場合には、分類手段は、サンプルレートの選択手段と背景画素から前景画素を分離する分離手段から成り、選択されたサンプルレートに基づいてフレーム内の背景画素から前景画素を分離する。
【００２５】
分類手段と、割当手段と、閾値処理手段と、視覚化手段は、プロセッサによって制御されるハードウェアで実現されてもよいし、プロセッサによって実行されるソフトウェア（プログラム）で実現されてもよい。また、情報処理装置は、パーソナルコンピュータ、マイクロコンピュータのような汎用情報処理装置であってもよいし、本発明を実施するための専用情報処理装置であってもよい。
【００２６】
（動作の重要度に関する評価）
事象（イベント）は、ビデオ内の動作の量、録画されている空間内における対象ポイントへの距離、人々の顔のような検出された特徴、および他のセンサ、たとえば、電波方式による識別（ＲＦＩＤ）技術に基づくチップからの事象に基づいて、対象と考えられる動作の期間を決定することによって識別される。同じ対象ポイントが多数のカメラの視野内に入るならば、すべてのカメラを考慮することによって、対象ポイントへの距離測定の精度を向上することができる。
【００２７】
（動作の視覚化）
本発明の１つの実施形態では、ビデオストリーム内の動作の期間を単一のキーフレームによって視覚化するために、ビデオセグメントにおけるフレーム内の動くオブジェクトは、閾値混合（アルファブレンド）されて動きを示す。ビデオ信号内のフレームを定期的に抽出して、ビデオフレームの画素を平均化して単一の画像を作成することによって、動くオブジェクトを示すことができると単純に期待することもできる。しかしながら、そのように組み合わされたフレームでは、背景が支配的であり、前景にあるオブジェクトはかすかに目に見えるだけである。むしろ、最初に、背景（または、動かないオブジェクト）が前景（または、動くオブジェクト）から分離される。フレームのサンプルレートによって、前景のオブジェクトがいかに明瞭に知覚されるかが決定される。最も有効に機能するサンプルレートでは、動くオブジェクトはあるフレームと次のフレームとの間でオーバーラップがおこることはない。通常に配置されたセキュリティカメラ、およびカメラ画面に垂直に歩く人にとって好ましいサンプルレートは、０．５フレーム／秒〜２フレーム／秒である。サンプルレートがはるかに高い（たとえば、１０フレーム／秒）と、続くサンプルにおいて、前景にある形状間でかなりオーバラップが生じそれらの形状を認識することが難しくなる。サンプルレートを固定して使用するのではなく、異なるビデオフレームから前景にある形状間のオーバラップ量を決定することができる。また、前景にある形状が前のサンプルの前景にある形状とオーバーラップしないなら、別のサンプルを選択するだけでよい。
【００２８】
抽出されたフレームごとに、他の抽出されたフレームすべてとブレンド（混合）するための閾値マスク（アルファマスク）が決定される。サンプルにおける前景画素には高閾値（高アルファ値、高不透明度）が割り当てられ、背景画素それぞれにははるかに低い閾値が割り当てられる。画素各々に対する閾値がサンプル間にわたって正規化されて、単一のブレンドされた値が各画素に対して計算される。前景画素の視覚化時における平滑化のために前景画素の閾値マスクをわずかにぼかす、すなわち前景画素の閾値の１／２の値が、前景画素近辺の背景画素に割り当てられる。サンプル間にわたって、または、１つのサンプル内において前景画素に対する閾値を変えて、あるサンプル、または１つのサンプルの中のある領域を強調することができる。図６は、本発明の１つの実施形態に従って、ビデオストリーム内の事象に対応する動作を視覚化し、その動作のキーフレームを発生させるステップを示すブロック図である。
【００２９】
図６に示す手順に対応したプログラムをプロセッサで実行することにより、フローチャートの各ステップによって表現される機能が実現される、各ステップの機能に対応する手段（サンプルレート選択手段、前景画素の分離手段、平滑化手段、閾値割当手段、閾値重み付け手段、重み付け平均値の累積手段、重み付け平均値の正規化手段、キーフレーム発生手段）が生じる。尚、サンプルレートの選択手段と背景画素から前景画素を分離する分離手段が分類手段に対応する。
【００３０】
生成された各手段は、以下の処理を実行する。
【００３１】
まず、サンプルレート選択手段を用いてユーザによりサンプルレートの選択が行なわれ（図６ステップ１００）、その後、各フレームに対して、前記選択されたサンプルレートに基づき分離手段により当該フレーム内の背景画素から前景画素が分離され（図６ステップ１０２）、平滑化手段により前景マスクの平滑化が行なわれ（図６ステップ１０３）、閾値割当手段によりマスクに基づく閾値の割り当てが行なわれ（図６ステップ１０４）、割り当てられた閾値による重み付けが閾値重み付け手段により行なわれて蓄積手段により重み付けされた平均値の蓄積が行なわれる（図６ステップ１０５、閾値処理）。その後、正規化手段により重み付け平均値の正規化が行なわれ（図６ステップ１０７）、キーフレーム発生手段によりキーフレームが発生される（図６ステップ１０８、視覚化処理）。
【００３２】
本発明の様々な実施形態では、各種技術を利用して高度化された視覚化を実現する。各種技術は、単独でまたは組み合わせて利用されることができる。以下に記述する技術リストは限定的なものと考えるべきではなく、本発明の様々な実施形態の代表例と考えるべきである。
【００３３】
（前景画素の定期的強調）
本発明の１つの実施形態によれば、不透明度を増すことによって前景画素を定期的（たとえば、４サンプルごと）に強調して、動きがオーバーラップし過ぎることなくより詳細を示すことができる。図１Ａ、図１Ｂ、図７Ａおよび図７Ｂには、０．５サンプル／秒で閾値混合された前景が示されている。図１Ａ、図７Ａは、４サンプルごとに前景画素が不透明度を増して強調された場合を示しており、図１Ｂ、図７Ｂは重要なフレームが強調された場合を示している。図１Ａおよび図１Ｂにおいて、実線による強調は濃い形を示し、破線は、弱く弁別された形を示し、点線は、微弱に知覚（微弱に知覚は、弱く弁別に比較し、濃くない）された形を示す。この方法は、定率でフレームを抽出することによって前記形状のオーバーラップを防止して、前景の形状が、前に強調されたサンプルとオーバーラップしないならば、それらの形状のみを強調する技術と組み合わせることができる。この組み合わせによっても、表示を「ビジー」すぎる状態にすることなく、ユーザーは一定のレートで集められたサンプルから動きの速度を推定できる。
【００３４】
（透光性の色の着色）
本発明の１つの実施形態によれば、前景画素を透光性の色に着色して、ビデオフレーム間にわたる動作を視覚化することができる。トラッキングされている動きをオーバーラップさせながら時間とともに着色する色を変えて時間的順序を示すことができる。図２Ａ、および図８Ａは、図７Ａを着色したものを示し、図２Ｂ、および図８Ｂは、図７Ｂが着色されたものを示している。図２Ａ、および図８Ａでは、前景の着色が行われ、図２Ｂ、および図８Ｂでは、重要なフレームを強調する着色が行われている。図２Ａ、および図２Ｂにおいて、実線および太い斜線による陰影は、濃く着色された形を示し、太い破線と間隔が狭い陰影は、薄く着色された形を示し、中位に濃い破線と間隔が中位の陰影は、非常に弱く着色された形を示し、点線と間隔が広い陰影は、微弱に着色された形を示している（微弱に着色は、弱く着色よりも濃くない非常に弱く着色に比較し、濃くない。）。
【００３５】
本発明の別の実施形態では、それらの色度とそれらの色の輝度とを混ぜることによって背景画素を透光性の色（たとえば、図３Ａ、および図３Ｂの灰色、または図９Ａ、および図９Ｂの赤）に着色して、または、背景画素の彩度を減少させて中間調にして、ビデオフレーム間にわたる動作を視覚化することができる。すべての背景画素を変えるよりむしろ、前景の一部であった最も近い画素からの距離に基づいてそれらの画素を徐々に変えることができる。図３Ａ、図３Ｂ、図９Ａ、および図９Ｂは、前景の動作がない領域を明度を下げて示し、図３Ａ、および図９Ａは時間経過を、図３Ｂ、および図９Ｂは背景のみを示す。図３Ａ、および図３Ｂには、明度が低くなった領域が濃い斜線による陰影を使用して例示されているが、図３Ａにおける人物の濃度については、実線で濃い形を示し、太い破線で弱く弁別された形を示し、中位に濃い破線は、非常に弱く弁別された形を示し、点線は、微弱に知覚された形を示す（微弱に知覚は、弱く弁別よりも濃くない非常に弱く弁別に比較し、濃くない）。
【００３６】
（形状周りのハロー）
本発明の１つの実施形態では、前景画素によって作成された形状の周りに有色のハローを描いてビデオフレーム間にわたる動作を視覚化することもできる。形状は、可能であれば、前景画素に囲まれた画素を含むことによって満たされていなければならず、また浮遊前景画素は無視されるべきである。図４Ａと図１０Ａでは、ハローを使ってすべての前景画素を強調し、また図４Ｂと図１０Ｂでは、重要なサンプルの前景画素を強調している。図４Ａ、および図４Ｂでは、太い実線を使用して、図１０の赤いハローを図示している。実線は濃い形を示し、破線は弱く識別された形を示し、点線は微弱に知覚された形（微弱に知覚されるは、弱く識別されるよりも濃くない。）を示す。
【００３７】
（視覚化における重要性の重み付け）
本発明の１つの実施形態では、重要な動作をより不透明に、また重要でない動作をより透明にすることによってビデオセグメント内のアクションの重要性を示すことができる。視覚化機能を強化する上記にリストされた技術を選択的に適用して重要な動作を高輝度表示することができる。重要となる時間への時間的距離、またはビデオフレーム内の関心の的となる箇所への空間的距離に応じて不透明にする、または着色することができる。オブジェクトが（たとえば、顔を認識して）認識されたならば、上記高度化技術をそのオブジェクトのみに適用することができる。
【００３８】
（ユーザーの連係）
本発明の別の実施形態では、ユーザーは、単一のビデオフレームか、または発生されたキーフレームのいずれかをマウスを使ってクリックすればよい。オブジェクトがマウス位置の近くで識別されるならば、そのオブジェクトは重要であるとマークされ、フレーム間にわたってトラッキングされる。上記の視覚化技術をまさしくそのマークされたオブジェクトのみに適用する。
【００３９】
発生しているキーフレームをクリックすると、オブジェクトを識別して、または、マウスの位置を抽出されたビデオフレームの前景画素の中心に比較することによってある時間の状況に戻ることもできる。マウス位置に最も近い中心によって対応時間が決定される。また、ユーザーは、領域上をマウスでドラッグすることによって時間の長さを指定することができ、その領域の中心に関連している最小時間、および最長時間によって決まる間隔を選択していると見なせる。時間（または、間隔）がいったん決まると、そのビデオをその時間に再生することができる、または、発生したキーフレーム内でその時間表示を高輝度表示することができる。その時間のビデオフレームと発生しているキーフレームを閾値混合することによって、時間の高輝度表示を容易に実行することができる。間隔が指定されると、指定された間隔を視覚化する新しいキーフレームを発生することができる。
【００４０】
（オブジェクトの識別とトラッキング）
本発明のさらに別の実施形態では、各画素のタイムスタンプを使用して、類似のタイムスタンプを有する近くにある画素を上述のような形状にグループ化してオブジェクトを識別することができる。より最新のフレームにある、より古いフレーム内の形状に類似しており、かつ最高速度で動いているとの仮定のもとに一貫している形状を見つけることによって、フレーム間にわたってオブジェクトをトラッキングすることができる。異なる形状がマージされ、かつ再び分割される場合、それらの形状が動くときの軌跡を考えるとそれらの形状の同一性に関する仮説を立てることができる。
【００４１】
（独立しているオブジェクトの視覚化）
本発明のさらに別の実施形態では、オブジェクトそれぞれのオーバーレイを異なる色に着色／カラー化することによって独立しているオブジェクトの動作を視覚化することができる。または、オブジェクトの周りに異なる色のハローを描くことができる。
（時間、またはオブジェクトによる視覚化）
本発明の別の実施形態では、視覚化がビジーであるか、または複雑であるとき、単一のキーフレームの視覚化を細分することができる。オブジェクトの動きが遅い、またはオブジェクトにいくつかのグループがあるならば、サンプルレートを減少させることによって視覚化をよりビジーでない状態にすることはできるが、オブジェクトが方向を逆にしたり、または異なるオブジェクトがそれぞれの時間にそれぞれの方向に動くときサンプルレートを減少させる場合は役に立たない。時間的距離の長いフレームにおける前景形状のオーバーラップはこの状況を示すものである。このような場合、動作セグメントの時間を、そのようなオーバラップを避けて独立した視覚化が可能なサブセグメントに区切ることができる。アクション期間を等しい、または異なる長さを有するより短い期間に分割し、動作期間におけるより短いタイムスライスそれぞれに対して、独立しているアクションキーフレームを作成する。
【００４２】
代替的な細分化方法は、キーフレームそれぞれが識別されたオブジェクトの部分集合だけの動作を含むように独立しているオブジェクトを切り離すことである。アクションキーフレームそれぞれが動作期間におけるオブジェクトのサブセットのアクションのみを表示するように一組のアクションキーフレームを作成する。それらのアクションキーフレームそれぞれに対して、選択されたオブジェクトの前景画素のみを背景画素とブレンドする。
【００４３】
システムが多すぎるオーバーラップを検出するとき、または、ユーザーが要求するとき、単一のキーフレーム視覚化を自動的に細分化することができる。
【００４４】
（他の視覚化オプション）
本発明の別の実施形態では、前景画素と背景画素を閾値混合する代わりに、様々な時間における前景画素をより抽象的な表現で視覚化することができる。１つの表現方法では、オブジェクトのトラッキングを利用する。各オブジェクトの軌跡または、オブジェクトの代表的部分（たとえば、最高点、または検出された縁の角）が、時間の経過とともに線として、または一定の時間間隔で打たれた一連の点として示される。図５Ａ、および図１１Ａにおいて、トラッキングされたオブジェクトの連続した軌跡を太い連続実線で示し、トラッキングされたオブジェクトの軌跡に関して、一定間隔（デルタＴ＝０．６秒）で打たれた位置が、図５Ｂでは、円で示されており、また、図１１Ｂにおいては、赤い点で示されている。同じオブジェクトを異なる時間において視覚化したいくつかの像を視覚面から乱れなく表示して、オブジェクトの動きを上記の実線で示している。この方法は、多くのオブジェクトが共通の領域を通るとき、特に役に立つことがある。軌跡線を色分けして時間的な関係を示すことができる。色分けは、見たところ交差している軌跡線が同じ時間に実際に交差しているか（すなわち、オブジェクト同士が現実に互いに近くを通ったかどうか）どうかを示すのに役立つ。時たま視覚化された動いているオブジェクト像が軌跡線によって結ばれるように、低サンプルレートで前景画素を閾値混合して軌跡線を構成することができる。軌跡上のポイント各々は、ある時間点に対応するので、クリックするか、または図示されている軌跡線に沿ってドラッグすることによってユーザーは、時間、または時間間隔を指定することがある。
【００４５】
（アプリケーション）
ビデオセグメントを縮小して表現することはビデオにおける物理的な動作の概要、またはまとめが役に立ついかなる状況でも有効である。これは、セキュリティビデオセグメントと、検索によってビデオライブラリに戻ったビデオのセグメントにおけるアクションのまとめを含む。それらは、ビデオセグメントを表す単一の静止画像を提供するのに必要とされる帯域幅が比較的低いので特に有益である。
【００４６】
コンピュータ技術の当業者にとって明らかなように、本出願の教示に従ってプログラムされたプロセッサ（複数のプロセッサ）を使用して本発明の様々な実施形態を実行することができよう。ソフトウエア技術の当業者にとって明らかなように、本出願の教示に基づいて熟練したプログラマが適切にソフトウェア符号化を実施することは容易である。また、当業者がすぐに分かるように、集積回路を用意する、および／または構成回路の適切なネットワークを相互接続することによって本発明を実行することが可能である。
【００４７】
様々な実施形態では、記憶媒体に格納された命令および／または情報を有する記憶媒体（複数の媒体）であり得るコンピュータプログラムプロダクトが含まれる。本発明の特徴のいずれかを実行する汎用、または専用の計算プロセッサ（複数のプロセッサ）／機器（複数の機器）をプログラムするとき、上記命令および／または上記情報を利用できる。限定されないが、記憶媒体としては、以下のものを含む物理的なメディアすべてが可能である。すなわち、フロッピーディスク、光ディスク、ＤＶＤ、ＣＤーＲＯＭ、マイクロドライブ、光磁気ディスク、ホログラフィック記憶機器、ＲＯＭ、ＲＡＭ、ＥＰＲＯＭ（消去可能・プログラム可能ＲＯＭ）、ＥＥＰＲＯＭ（電気的に消去可能で再書き込み可能な読み出し専用素子）、ＤＲＡＭ（ダイナミックＲＡＭ）、ＰＲＡＭ（プログラム可能ＲＡＭ）、ＶＲＡＭ（ビデオＲＡＭ（画像表示専用メモリ））、フラッシュメモリー素子、磁気カード、または光カード、ナノシステム（分子メモリＩＣを含む）、紙、または紙ベースのメディア、ならびに、命令および／または情報を格納するのに適したメディアまたは機器すべてのタイプの内の、１つまたはそれ以上が含まれる。様々な実施形態では、全体として、または部品として、１つまたはそれ以上の私設ネットワークを介して伝送されることが可能であるコンピュータプログラムプロダクトが含まれる。伝送には、命令および／または情報が含まれる。１つまたはそれ以上のプロセッサが上記命令および／または情報を使用して本出願の特徴のいずれかを実行することができる。様々な実施形態では、伝送には、個別の伝送が複数含まれることがある。
【００４８】
本発明には、プロセッサ（複数のプロセッサ）のハードウェアを制御し、コンピュータ（複数のコンピュータ）および／またはプロセッサ（複数のプロセッサ）が本発明の結果を利用する人間のユーザー、または他の機器と対話することを可能にする、１つまたはそれ以上のコンピュータ可読メディアに格納されたソフトウェアが含まれる。そのようなソフトウェアには、限定されるわけではないが、デバイスドライバ、インタフェースドライバ、オペレーティングシステム、実行環境／コンテナ、ユーザーインタフェース、ならびにアプリケーションが含まれることがある。
【００４９】
上記ソフトウェアにおける命令コードは、直接的に、または間接的に実行可能である。コードはコンパイル言語、インタープリタ言語、および他の形式の言語を含むことができる。１つの機能のためのコードおよび／またはコードセグメントを実行するときおよび／または伝送するとき、ローカル、またはリモートにある他のソフトウェア、または機器を起動する、または呼び出してその機能を実行する。起動、または呼び出し時には、ライブラリモジュール、デバイスドライバ、インタフェースドライバ、およびリモートソフトウェアを起動、または呼び出して上記機能を実行できる。上記起動、または呼び出しには、クライアント／サーバ分散システムにおける起動、または呼び出しを含むことができる。
【００５０】
本発明の１つの実施形態は、１つまたはそれ以上のフレームにおける事象に対応する動作を視覚化する方法であって、（ａ）複数のフレームにおける各画素を前景オブジェクトを表すものと背景オブジェクトを表すものとに分類するステップ（図６のステップ１００、１０１、１０２）と、（ｂ）１つまたはそれ以上の閾値をフレームそれぞれにおける分類された画素それぞれに対して割り当てるステップ（図６のステップ１０４）と、（ｃ）それらの閾値を処理するステップ（図６のステップ１０４）と、（ｄ）それらの閾値を画素それぞれに適用して動作を視覚化するステップ（図６のステップ１０５〜１０８）とを含む。
【００５１】
本発明の別の実施形態では、フレームはビデオストリームの一部である場合、ステップ（ａ）の分類するステップは、最適のサンプルレートを選択して（図６のステップ１００）、前景オブジェクトを示す画素を背景オブジェクトを示す画素から分離するステップ（図６のステップ１０２）から成る。
【００５２】
本発明の別の実施形態では、選択されたサンプルレートで抽出されたフレーム間で画素がしきい値を超えて変化するかどうかを決めることによって前景画素が背景画素から分離される。
【００５３】
本発明の別の実施形態では、選択されたサンプルレートで抽出されたフレーム間で画素の動きがあるかどうか決定するしきい値となる輝度を設定することによって前景画素が背景画素から分離される。本発明の別の実施形態では、最適のサンプルレートは固定サンプルレートである。本発明の別の実施形態では、最適のサンプルレートは可変サンプルレートである。
【００５４】
本発明の別の実施形態でによると、前景オブジェクトの画素に対してアルファマスクが計算され、背景画素に対しては別の閾値マスクが計算される。
【００５５】
本発明の別の実施形態では、ビデオストリームのフレームそれぞれにおける画素それぞれに対する閾値を正規化するステップ（図６のステップ１０７）と、画素それぞれに適用される閾値マスクを平滑化するステップ（図６のステップ１０３）と、画素それぞれに適用された閾値マスクされた値を変えるステップとから成るグループから選択された機能の内の１つまたはそれ以上を適用することによって閾値を処理する。
【００５６】
本発明の別の実施形態では、閾値マスクを平滑化する機能は、別の平滑化された閾値マスクを前景画素に適用するステップを含む。
【００５７】
本発明の別の実施形態では、平滑化された閾値はサンプル間にわたって、または、サンプル内において変化し、サンプル内における動作、または領域を強調する。
【００５８】
本発明の別の実施形態では、閾値マスクの不透明度は増加する。
【００５９】
本発明の別の実施形態では、前景画素を透光性の色で着色している。したがって、着色されている色が時間とともに変化して時間的な順序を示すことができる。
【００６０】
本発明の別の実施形態では、背景画素を透光性の色で着色している。したがって、かつて前景の一部であった最も近い画素からのその背景画素の距離に基づいて背景画素に塗られて着色されている色を変えることができる。
【００６１】
本発明の別の実施形態では、それらの色度とそれらの色の輝度とを混ぜることによって背景画素の彩度を減少させて中間調にする。したがって、かつて前景の一部であった最も近い画素からのその背景画素の距離に基づいて背景画素に塗られて混合されている色を変えることができる。
【００６２】
本発明の別の実施形態では、有色のハローが前景画素によって形成された形状の周りに描かれる。
【００６３】
本発明の別の実施形態では、ビデオストリーム内の１つまたはそれ以上の事象の１つまたはそれ以上のキーフレームを用いて動作を視覚化する。そのとき、それらのキーフレームは、様々な時間において閾値混合されたオブジェクトをさらに含む。
【００６４】
本発明の別の実施形態では、ビデオストリーム内の１つまたはそれ以上の事象の１つまたはそれ以上キーフレームを用いて動作を視覚化する。そのとき、それらのキーフレームは、表示されているオブジェクトの軌跡をさらに含む。
【００６５】
本発明の別の実施形態では、ユーザーは形状を高輝度表示して、単一のビデオフレーム、または１つのキーフレームにおける１つまたはそれ以上の形状をクリックすることにより、ビデオにおける１つまたはそれ以上の対象となる特徴の位置をトラッキングできる。
【００６６】
本発明の別の実施形態では、異なったオブジェクトの色および／または透明度を変更して、動作を強調することができる。
【００６７】
本発明の別の実施形態では、異なったオブジェクトの軌跡を別々のキーフレームにおいて高輝度表示する。
【００６８】
本発明の別の実施形態では、１つのキーフレームにおいて観察された動作を用いてオブジェクトを識別する。そのとき、そのオブジェクトは、時間の経過に基づいて他のキーフレームにおいてもさらに識別される。
【００６９】
本発明の別の実施形態では、サンプルレートは、約０．５フレーム／秒〜約２フレーム／秒である。
【００７０】
本発明の別の実施形態では、しきい値となる輝度は、約４％〜約６％である。
【００７１】
本発明の別の実施形態では、コンピュータがビデオストリーム内の事象に対応する動作を視覚化するための命令を有する、コンピュータが実行可能なプログラムは、画素が前景オブジェクトを表すか、背景オブジェクトを表すかを区別するステップと、ビデオフレームの前景画素それぞれ、およびビデオフレームの背景画素それぞれに対して閾値マスクを計算するステップと、ビデオフレーム中の各フレーム全体における画素それぞれに対する閾値を正規化するステップと、前景画素に適用された閾値マスクを平滑化するステップと、平滑化された閾値を変えて動作を視覚化するステップとを含む。
【００７２】
本発明の別の実施形態では、ビデオストリーム内の事象に対応する動作を視覚化するシステム、または装置において、動作を視覚化するステップは、ａ）１組、または１組以上のパラメータを指定でき、１組、または１組以上のパラメータをソースコードに変換でき、そのソースコードをビデオストリーム内の事象を視覚化する一連のタスクにコンパイルすることができる１つまたはそれ以上のプロセッサと、ｂ）１つまたはそれ以上のプロセッサによって処理されたとき、システムに、１組、または１組以上のパラメータを指定するステップと、１組、または１組以上のパラメータをソースコードに変換するステップと、ビデオストリームにおける事象を視覚化する一連のタスクにソースコードをコンパイルするステップとをシステムに実行させる操作を含むマシン可読媒体とを含み、上記操作は上記媒体に格納されている。
【００７３】
本発明の別の実施形態では、媒体に格納された命令を有するマシン可読の前記媒体において、上記命令によって、システムは、画素が前景オブジェクトを表すか、または背景オブジェクトを表すかを区別し、ビデオフレームにおける前景画素それぞれ、および背景画素それぞれに対して閾値マスクを計算し、ビデオストリーム内の各フレームの各画素の閾値を正規化し、前景画素に適用された閾値マスクを平滑化し、平滑化された閾値を変化させてビデオストリーム内の動作を視覚化する。
【図面の簡単な説明】
【００７４】
【図１Ａ】図７Ａをイラストとして描写したものであり、０．５サンプル／秒のサンプルレートで閾値混合された前景が示されており、４サンプルごとに前景画素が不透明度を増して強調された場合を示している。実線による強調は濃い形を示し、破線は、弱く弁別された形を示し、点線は、微弱に知覚（微弱に知覚は、弱く弁別に比較し、濃くない）された形を示す。
【図１Ｂ】図７Ｂをイラストとして描写したものであり、０．５サンプル／秒のサンプルレートで閾値混合された前景が示されており、重要なフレームが強調された場合を示している。実線による強調は濃い形を示し、破線は、弱く弁別された形を示し、点線は、微弱に知覚（微弱に知覚は、弱く弁別に比較し、濃くない）された形を示す。
【図２Ａ】図８Ａをイラストとして描写したものであり、図７Ａを視覚化して着色したものを示し、前景の着色が行われている。実線および太い斜線による陰影は、濃く着色された形を示し、太い破線と間隔が狭い陰影は、薄く着色された形を示し、中位に濃い破線と間隔が中位の陰影は、非常に弱く着色された形を示し、点線と間隔が広い陰影は、微弱に着色された形を示している。（微弱に着色は、弱く着色よりも濃くない非常に弱く着色に比較し、濃くない。）
【図２Ｂ】図８Ｂをイラストとして描写したものであり、図７Ｂを視覚化して着色したものを示し、重要なフレームを強調する着色が行われている。実線および太い斜線による陰影は、濃く着色された形を示し、太い破線と間隔が狭い陰影は、薄く着色された形を示し、中位に濃い破線と間隔が中位の陰影は、非常に弱く着色された形を示し、点線と間隔が広い陰影は、微弱に着色された形を示している。（微弱に着色は、弱く着色よりも濃くない非常に弱く着色に比較し、濃くない。）
【図３Ａ】図９Ａをイラストとして描写したものであり、図７Ａにおいて前景の動作がない領域を明度を下げて示し、かつ時間経過を示している。実線で濃い形を示し、太い破線で弱く弁別された形を示し、中位に濃い破線は、非常に弱く弁別された形を示し、点線は、微弱に知覚された形を示し、太い斜線による陰影は、明度が低い領域を示す（微弱に知覚されるは、弱く弁別されるよりも濃くない非常に弱く弁別されるよりも濃くない）。
【図３Ｂ】図９Ｂをイラストとして描写したものであり、図７Ｂにおいて前景の動作がない領域を明度を下げて示し、背景のみを示している。太い斜線による陰影は、明度が低い領域を示す。
【図４Ａ】図１０Ａをイラストとして描写したものであり、赤いハローを使って図７Ａにおける特徴を際立たせている。すなわち、すべての前景画素を強調している。太い実線を使用して、図１０Ａの赤いハローを図示し、実線は濃い形を示し、破線は弱く識別された形を示し、点線は微弱に知覚された形（微弱に知覚されるは、弱く識別されるよりも濃くない。）を示す。
【図４Ｂ】図１０Ｂをイラストとして描写したものであり、赤いハローを使って図７Ｂにおける特徴を際立たせている。すなわち、重要なサンプルの前景画素を強調している。太い実線を使用して、図１０Ｂの赤いハローを図示し、実線は濃い形を示し、破線は弱く識別された形を示し、点線は微弱に知覚された形（微弱に知覚されるは、弱く識別されるよりも濃くない。）を示す。
【図５Ａ】図１１Ａをイラストとして描写したものであり、トラッキングされたオブジェクトの連続した軌跡を太い連続実線で示す。
【図５Ｂ】図１１Ｂをイラストとして描写したものであり、トラッキングされたオブジェクトの軌跡に関して、一定間隔（デルタＴ＝０．６秒）で打たれた位置が円で示されている。
【図６】ビデオストリーム内の事象に対応する動作を視覚化し、その動作のキーフレームを発生させるステップを示すブロック図である。
【図７Ａ】０．５サンプル／秒で閾値混合された前景が示されている。４サンプルごとに不透明度を増して強調された前景画素の場合を示している。
【図７Ｂ】０．５サンプル／秒で閾値混合された前景が示されている。重要なフレームが強調された場合を示している。
【図８Ａ】着色したものを示し、前景の着色が行われている。
【図８Ｂ】着色されたものを示し、重要なフレームを強調する着色が行われている。
【図９Ａ】明度を下げて前景の動作を示し、かつ時間経過を示している。
【図９Ｂ】明度を下げて前景の動作を示し、かつ背景のみを示す。
【図１０Ａ】赤いハローを使って特徴を際立たせている。すなわち、すべての前景画素を強調している。
【図１０Ｂ】赤いハローを使って特徴を際立たせている。すなわち、重要なサンプルの前景画素を強調している。
【図１１Ａ】トラッキングされたオブジェクトの連続した軌跡を示す。
【図１１Ｂ】トラッキングされたオブジェクトの軌跡に関して、一定間隔（デルタＴ＝０．６秒）で打たれた位置が示されている。
【特許請求の範囲】
【請求項１】
１つまたはそれ以上のフレームにおける事象に対応する動作を視覚化する方法であって、
（ａ）複数のフレームにおける各画素を１つまたはそれ以上の前景オブジェクトを表すものと、１つまたはそれ以上の背景オブジェクトを表すものとに分類するステップと、
（ｂ）１つまたはそれ以上の閾値をフレームそれぞれにおける前記分類された画素それぞれに対して割り当てるステップと、
（ｃ）前記複数の閾値を処理するステップと、
（ｄ）前記複数の閾値を画素それぞれに適用して前記動作を視覚化するステップと、
を含むことを特徴とする方法。
【請求項２】
前記フレームはビデオストリームの一部であって、ステップ（ａ）は、最適のサンプルレートを選択して複数のフレームを選択し、前記画素を前記前景オブジェクトを示すものと前記背景オブジェクトを示すものとに分類するステップをさらに備えることを特徴とする、請求項１に記載の方法。
【請求項３】
ステップ（ａ）では、前記選択されたサンプルレートで抽出された複数のフレーム間において画素にしきい値となる不透明度を超える変化があるか否かを決定することによって前記前景画素と前記背景画素とが分類されることを特徴とする、請求項２に記載の方法。
【請求項４】
ステップ（ａ）では、しきい値となる輝度を設定して、前記選択されたサンプルレートで抽出された複数のフレーム間において画素にしきい値となる不透明度を超える変化があるか否かを決定することによって前記前景画素と前記背景画素とが分類されることを特徴とする、請求項２に記載の方法。
【請求項５】
最適のサンプルレートは、固定サンプルレートと可変サンプルレートから成るグループから選択されることを特徴とする、請求項２に記載の方法。
【請求項６】
ステップ（ｂ）では、閾値マスクが前景オブジェクトの画素に対して計算され、背景画素に対しては別の閾値マスクが計算されることを特徴とする、請求項１に記載の方法。
【請求項７】
ステップ（ｃ）では、指定された数のフレームにわたる画素それぞれに対する前記閾値によって重み付けされた平均値を蓄積するステップと、ビデオストリームのフレームそれぞれにおける画素それぞれに対する前記閾値を正規化するステップと、画素それぞれに適用される前記閾値マスクを平滑化するステップとから成るグループから選択された機能の内の１つまたはそれ以上を適用することによって前記閾値を処理することを特徴とする、請求項２に記載の方法。
【請求項８】
前記閾値マスクを平滑化する機能が、別の平滑化された閾値マスクを前景画素に適用するステップを含むことを特徴とする、請求項７に記載の方法。
【請求項９】
サンプル内における動作、または領域を強調するために、前記平滑化された閾値の変化は前記サンプル間の変化、および前記サンプル内の変化から成るグループから選択されることを特徴とする、請求項８に記載の方法。
【請求項１０】
ステップ（ｂ）では、前記閾値マスクの不透明度が増加することを特徴とする、請求項１に記載の方法。
【請求項１１】
ステップ（ｃ）では、前景画素が透光性の色に着色されて、前記着色されている色が時間とともに変化して時間的な順序を示すことを特徴とする、請求項８に記載の方法。
【請求項１２】
ステップ（ｃ）では、前記背景画素が透光性の色で着色されて、かつて前記前景の一部であった最も近い画素からの前記背景画素の距離に基づいて前記背景画素に塗られて着色されている色を変えることができることを特徴とする、請求項８に記載の方法。
【請求項１３】
ステップ（ｃ）では、それらの色度とそれらの色の輝度とを混ぜることによって前記背景画素の彩度を減少させて中間調にして、かつて前記前景の一部であった最も近い画素からのその背景画素の距離に基づいて前記背景画素に塗られて混合されている色を変えることができることを特徴とする、請求項８に記載の方法。
【請求項１４】
有色のハローが前記前景画素によって形成された形状の周りに描かれることを特徴とする、請求項８に記載の方法。
【請求項１５】
ビデオの１つまたはそれ以上のフレームにおける動作を視覚化する方法であって、
（ａ）複数のフレームにおける各画素を前景オブジェクトを表すものと、背景オブジェクトを表すものとに分類するステップと、
（ｂ）１つまたはそれ以上の閾値をフレームそれぞれにおける分類された画素それぞれに対して割り当てるステップと、
（ｃ）前記閾値を処理するステップと、
（ｄ）前記閾値を画素それぞれに適用するステップと、
（ｅ）ビデオストリームにおける１つまたはそれ以上の事象の１つまたはそれ以上のキーフレームを発生するステップとを含み、
前記キーフレームは、様々な時間における閾値混合されたオブジェクトをさらに含み前記動作を視覚化することを特徴とする前記方法。
【請求項１６】
前記キーフレームがオブジェクトの軌跡を示すステップを含むことを特徴とする、請求項１５に記載の方法。
【請求項１７】
ユーザーは形状を高輝度表示して、単一のビデオフレーム、または１つのキーフレームにおける１つまたはそれ以上の形状をクリックすることにより、前記形状を高輝度表示して、前記ビデオにおける１つまたはそれ以上の対象となる特徴の位置をトラッキングできることを特徴とする、請求項１５に記載の方法。
【請求項１８】
異なったオブジェクトの色および／または透明度を変更して、動作を強調することができることを特徴とする、請求項１５に記載の方法。
【請求項１９】
異なったオブジェクトの軌跡を別々のキーフレームにおいて高輝度表示することを特徴とする、請求項１に記載の方法。
【請求項２０】
１つのキーフレームにおいて観察された動作を用いてオブジェクトを識別し、前記オブジェクトは、時間の経過に基づいて他のキーフレームにおいてもさらに識別されることを特徴とする、請求項１に記載の方法。
【請求項２１】
前記サンプルレートは、約０．５フレーム／秒乃至約２フレーム／秒であることを特徴とする、請求項２に記載の方法。
【請求項２２】
前記しきい値となる輝度は、約４％乃至約６％であることを特徴とする、請求項４に記載の方法。
【請求項２３】
コンピュータがビデオストリーム内の事象に対応する動作を視覚化するための命令を有する、コンピュータが実行可能な請求項８に記載の方法を実現するプログラムであって、
画素が前景オブジェクトを表すか、背景オブジェクトを表すかを区別するステップと、
ビデオフレームの前景画素それぞれ、およびビデオフレームの背景画素それぞれに対して閾値マスクを計算するステップと、
前記閾値を正規化するステップと、
前景画素に適用された前記閾値マスクを平滑化するステップと、
前記平滑化された閾値を変えて前記動作を視覚化するステップと、
を含むことを特徴とするプログラム。
【請求項２４】
ビデオストリーム内の事象に対応する動作を視覚化する請求項１に記載の方法を実行するシステムであって、
動作を視覚化するステップは、
ａ）１つまたはそれ以上のプロセッサが、１組、または１組以上のパラメータを指定し、前記１組、または１組以上のパラメータをソースコードに変換し、前記ソースコードをビデオストリーム内の事象を視覚化する一連のタスクにコンパイルするステップと、
ｂ）１つまたはそれ以上のプロセッサによって処理されたとき、システムに、１組、または１組以上のパラメータを指定するステップと、前記１組、または１組以上のパラメータをソースコードに変換するステップと、ビデオストリームにおける事象を視覚化する一連のタスクに前記ソースコードをコンパイルするステップとを実行させる操作を含み、前記操作を格納するマシン可読媒体と、
を含むことを特徴とするシステム。
【請求項２５】
媒体に格納された命令を有するマシン可読の前記媒体であって、
前記命令によって、システムが、
画素が前景オブジェクトを表すか、または背景オブジェクトを表すかを区別し、
ビデオフレームにおける前景画素それぞれ、および背景画素それぞれに対して１つまたはそれ以上の閾値マスクを計算し、
ビデオストリーム内の各フレームの各画素の閾値を正規化し、
前景画素に適用された前記閾値マスクを平滑化し、
前記平滑化された閾値を変化させ、そして
１つまたはそれ以上のキーフレームを発生して、前記動作を視覚化する
ことを特徴とする媒体。
【請求項１】
１つまたはそれ以上のフレームにおける事象に対応する動作を視覚化する方法であって、
（ａ）複数のフレームにおける各画素を１つまたはそれ以上の前景オブジェクトを表すものと、１つまたはそれ以上の背景オブジェクトを表すものとに分類するステップと、
（ｂ）１つまたはそれ以上の閾値をフレームそれぞれにおける前記分類された画素それぞれに対して割り当てるステップと、
（ｃ）前記複数の閾値を処理するステップと、
（ｄ）前記複数の閾値を画素それぞれに適用して前記動作を視覚化するステップと、
を含むことを特徴とする方法。
【請求項２】
前記フレームはビデオストリームの一部であって、ステップ（ａ）は、最適のサンプルレートを選択して複数のフレームを選択し、前記画素を前記前景オブジェクトを示すものと前記背景オブジェクトを示すものとに分類するステップをさらに備えることを特徴とする、請求項１に記載の方法。
【請求項３】
ステップ（ａ）では、前記選択されたサンプルレートで抽出された複数のフレーム間において画素にしきい値となる不透明度を超える変化があるか否かを決定することによって前記前景画素と前記背景画素とが分類されることを特徴とする、請求項２に記載の方法。
【請求項４】
ステップ（ａ）では、しきい値となる輝度を設定して、前記選択されたサンプルレートで抽出された複数のフレーム間において画素にしきい値となる不透明度を超える変化があるか否かを決定することによって前記前景画素と前記背景画素とが分類されることを特徴とする、請求項２に記載の方法。
【請求項５】
最適のサンプルレートは、固定サンプルレートと可変サンプルレートから成るグループから選択されることを特徴とする、請求項２に記載の方法。
【請求項６】
ステップ（ｂ）では、閾値マスクが前景オブジェクトの画素に対して計算され、背景画素に対しては別の閾値マスクが計算されることを特徴とする、請求項１に記載の方法。
【請求項７】
ステップ（ｃ）では、指定された数のフレームにわたる画素それぞれに対する前記閾値によって重み付けされた平均値を蓄積するステップと、ビデオストリームのフレームそれぞれにおける画素それぞれに対する前記閾値を正規化するステップと、画素それぞれに適用される前記閾値マスクを平滑化するステップとから成るグループから選択された機能の内の１つまたはそれ以上を適用することによって前記閾値を処理することを特徴とする、請求項２に記載の方法。
【請求項８】
前記閾値マスクを平滑化する機能が、別の平滑化された閾値マスクを前景画素に適用するステップを含むことを特徴とする、請求項７に記載の方法。
【請求項９】
サンプル内における動作、または領域を強調するために、前記平滑化された閾値の変化は前記サンプル間の変化、および前記サンプル内の変化から成るグループから選択されることを特徴とする、請求項８に記載の方法。
【請求項１０】
ステップ（ｂ）では、前記閾値マスクの不透明度が増加することを特徴とする、請求項１に記載の方法。
【請求項１１】
ステップ（ｃ）では、前景画素が透光性の色に着色されて、前記着色されている色が時間とともに変化して時間的な順序を示すことを特徴とする、請求項８に記載の方法。
【請求項１２】
ステップ（ｃ）では、前記背景画素が透光性の色で着色されて、かつて前記前景の一部であった最も近い画素からの前記背景画素の距離に基づいて前記背景画素に塗られて着色されている色を変えることができることを特徴とする、請求項８に記載の方法。
【請求項１３】
ステップ（ｃ）では、それらの色度とそれらの色の輝度とを混ぜることによって前記背景画素の彩度を減少させて中間調にして、かつて前記前景の一部であった最も近い画素からのその背景画素の距離に基づいて前記背景画素に塗られて混合されている色を変えることができることを特徴とする、請求項８に記載の方法。
【請求項１４】
有色のハローが前記前景画素によって形成された形状の周りに描かれることを特徴とする、請求項８に記載の方法。
【請求項１５】
ビデオの１つまたはそれ以上のフレームにおける動作を視覚化する方法であって、
（ａ）複数のフレームにおける各画素を前景オブジェクトを表すものと、背景オブジェクトを表すものとに分類するステップと、
（ｂ）１つまたはそれ以上の閾値をフレームそれぞれにおける分類された画素それぞれに対して割り当てるステップと、
（ｃ）前記閾値を処理するステップと、
（ｄ）前記閾値を画素それぞれに適用するステップと、
（ｅ）ビデオストリームにおける１つまたはそれ以上の事象の１つまたはそれ以上のキーフレームを発生するステップとを含み、
前記キーフレームは、様々な時間における閾値混合されたオブジェクトをさらに含み前記動作を視覚化することを特徴とする前記方法。
【請求項１６】
前記キーフレームがオブジェクトの軌跡を示すステップを含むことを特徴とする、請求項１５に記載の方法。
【請求項１７】
ユーザーは形状を高輝度表示して、単一のビデオフレーム、または１つのキーフレームにおける１つまたはそれ以上の形状をクリックすることにより、前記形状を高輝度表示して、前記ビデオにおける１つまたはそれ以上の対象となる特徴の位置をトラッキングできることを特徴とする、請求項１５に記載の方法。
【請求項１８】
異なったオブジェクトの色および／または透明度を変更して、動作を強調することができることを特徴とする、請求項１５に記載の方法。
【請求項１９】
異なったオブジェクトの軌跡を別々のキーフレームにおいて高輝度表示することを特徴とする、請求項１に記載の方法。
【請求項２０】
１つのキーフレームにおいて観察された動作を用いてオブジェクトを識別し、前記オブジェクトは、時間の経過に基づいて他のキーフレームにおいてもさらに識別されることを特徴とする、請求項１に記載の方法。
【請求項２１】
前記サンプルレートは、約０．５フレーム／秒乃至約２フレーム／秒であることを特徴とする、請求項２に記載の方法。
【請求項２２】
前記しきい値となる輝度は、約４％乃至約６％であることを特徴とする、請求項４に記載の方法。
【請求項２３】
コンピュータがビデオストリーム内の事象に対応する動作を視覚化するための命令を有する、コンピュータが実行可能な請求項８に記載の方法を実現するプログラムであって、
画素が前景オブジェクトを表すか、背景オブジェクトを表すかを区別するステップと、
ビデオフレームの前景画素それぞれ、およびビデオフレームの背景画素それぞれに対して閾値マスクを計算するステップと、
前記閾値を正規化するステップと、
前景画素に適用された前記閾値マスクを平滑化するステップと、
前記平滑化された閾値を変えて前記動作を視覚化するステップと、
を含むことを特徴とするプログラム。
【請求項２４】
ビデオストリーム内の事象に対応する動作を視覚化する請求項１に記載の方法を実行するシステムであって、
動作を視覚化するステップは、
ａ）１つまたはそれ以上のプロセッサが、１組、または１組以上のパラメータを指定し、前記１組、または１組以上のパラメータをソースコードに変換し、前記ソースコードをビデオストリーム内の事象を視覚化する一連のタスクにコンパイルするステップと、
ｂ）１つまたはそれ以上のプロセッサによって処理されたとき、システムに、１組、または１組以上のパラメータを指定するステップと、前記１組、または１組以上のパラメータをソースコードに変換するステップと、ビデオストリームにおける事象を視覚化する一連のタスクに前記ソースコードをコンパイルするステップとを実行させる操作を含み、前記操作を格納するマシン可読媒体と、
を含むことを特徴とするシステム。
【請求項２５】
媒体に格納された命令を有するマシン可読の前記媒体であって、
前記命令によって、システムが、
画素が前景オブジェクトを表すか、または背景オブジェクトを表すかを区別し、
ビデオフレームにおける前景画素それぞれ、および背景画素それぞれに対して１つまたはそれ以上の閾値マスクを計算し、
ビデオストリーム内の各フレームの各画素の閾値を正規化し、
前景画素に適用された前記閾値マスクを平滑化し、
前記平滑化された閾値を変化させ、そして
１つまたはそれ以上のキーフレームを発生して、前記動作を視覚化する
ことを特徴とする媒体。
【図１Ａ】
【図１Ｂ】
【図２Ａ】
【図２Ｂ】
【図３Ａ】
【図３Ｂ】
【図４Ａ】
【図４Ｂ】
【図５Ａ】
【図５Ｂ】
【図６】
【図７Ａ】
【図７Ｂ】
【図８Ａ】
【図８Ｂ】
【図９Ａ】
【図９Ｂ】
【図１０Ａ】
【図１０Ｂ】
【図１１Ａ】
【図１１Ｂ】
【図１Ｂ】
【図２Ａ】
【図２Ｂ】
【図３Ａ】
【図３Ｂ】
【図４Ａ】
【図４Ｂ】
【図５Ａ】
【図５Ｂ】
【図６】
【図７Ａ】
【図７Ｂ】
【図８Ａ】
【図８Ｂ】
【図９Ａ】
【図９Ｂ】
【図１０Ａ】
【図１０Ｂ】
【図１１Ａ】
【図１１Ｂ】
【公開番号】特開２００７−１３９５１（Ｐ２００７−１３９５１Ａ）
【公開日】平成１９年１月１８日（２００７．１．１８）
【国際特許分類】
【出願番号】特願２００６−１６４２７５（Ｐ２００６−１６４２７５）
【出願日】平成１８年６月１４日（２００６．６．１４）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．フロッピー
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
【公開日】平成１９年１月１８日（２００７．１．１８）
【国際特許分類】
【出願日】平成１８年６月１４日（２００６．６．１４）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．フロッピー
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
[ Back to top ]