映像解析方法およびシステム
【課題】歩行者を時系列的に撮像することにより、該歩行者を的確に分類する。
【解決手段】映像シーケンスの特徴を分類する方法は、前記映像シーケンスのフレームの、前記特徴を含んでいる対象領域を選択すること、前記対象領域を複数のセルに分割すること、前記セルによりオプティックフローのヒストグラムを計算すること、セル対についての前記オプティックフローのヒストグラムを比較すること、前記比較の結果の少なくとも一部に基づいて前記特徴をクラスに割り当てること、を含む。
【解決手段】映像シーケンスの特徴を分類する方法は、前記映像シーケンスのフレームの、前記特徴を含んでいる対象領域を選択すること、前記対象領域を複数のセルに分割すること、前記セルによりオプティックフローのヒストグラムを計算すること、セル対についての前記オプティックフローのヒストグラムを比較すること、前記比較の結果の少なくとも一部に基づいて前記特徴をクラスに割り当てること、を含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本明細書に記述された実施形態は、一般に、映像シーケンスの特徴認識に関する。映像シーケンス中で特徴が認識される場合、その特徴には映像シーケンスの属性に基づいてクラスが割り当てられる。
【背景技術】
【０００２】
映像シーケンスの特徴認識には多くの応用がある。そのような応用の１つは歩行者認識である。歩行者認識法では、映像シーケンスの特徴は、歩行者であるもの、あるいは歩行者でないもの、に分類される。
【０００３】
映像シーケンス中では、歩行者の動きとアピアランスは変化しうる。歩行者は静止していたり、さまざまな方向に移動したりする。歩行者のアピアランスは、さまざまな歩行の様相に応じて変化しうる。また、歩行者が映像中のオブジェクトによって遮蔽されていたり、荷物のようなオブジェクトに繋がっている場合もある。これらの場合にも映像シーケンスにおいて観察される歩行者の形状は変化しうる。
【０００４】
映像シーケンスの特徴を例えば歩行者として正確に分類するためには、映像解析手法は、上述した要因のうちのいくつかあるいはすべてについて説明できなくてはならない。
【図面の簡単な説明】
【０００５】
以下では、発明の実施形態は図面を参照して説明される。
【図１】映像シーケンスの特徴を分類するためのデータ処理システムのブロック図である。
【図２】映像シーケンスのフレーム中の特徴を分類する方法のフローチャートである。
【図３】映像シーケンスから特徴を抽出する方法を示す概要図である。
【図４】映像シーケンスにおける歩行者検出結果の比較を示すグラフである。
【図５】映像シーケンスのフレーム中での歩行者検出の例を示す図である。
【図６】歩行者検出システムのブロック図を示す図である。
【発明を実施するための形態】
【０００６】
一実施形態によれば、映像シーケンスの特徴を分類する方法は、映像シーケンスのフレームの、特徴を含んでいる対象領域を選択すること、この対象領域を複数のセルに分割すること、セルによりオプティックフローのヒストグラムを計算すること、セル対についてのオプティックフローのヒストグラムを比較すること、比較の結果の少なくとも一部に基づいて特徴をクラスに割り当てることを含む。
【０００７】
この実施形態において、映像シーケンスの特徴は、これらをクラスに割り当てることにより認識される。クラスへの割り当ては、オプティックフローのヒストグラムの比較に基づく。映像シーケンスのフレームについてのオプティックフローフィールドは、フレーム間でのフレーム部分の動きを示す。オプティックフローフィールドは、フレーム間でのフレームの各ピクセルの動きを示すことができる。またオプティックフローフィールドは、フレーム間でのピクセルブロックの動きを示すこともできる。オプティックフローのヒストグラムは、対象領域のセルについて計算される。オプティックフローのヒストグラムを比較することにより、対象領域のさまざまな部分の動きの相関を識別することができる。これらの相関は、映像シーケンスのフレーム中の歩行者のような、特別な特徴の存在を示すことができる。比較の結果、対象領域中の特徴はクラスに割り当てられる。
【０００８】
一実施形態によれば、前記方法は、映像シーケンスのフレームについて画像解析を行なうことをさらに含む。画像解析の結果と、オプティックフローのヒストグラム比較の結果とが、特徴を分類するのに用いられる。
【０００９】
この実施形態では、映像中の特徴は、動きおよび画像認識結果の両方に基づいて分類される。これは、形状といった静止画像の特性および動きの特性の両方が映像シーケンスの特徴を識別するのに用いられることを意味する。
【００１０】
一実施形態によれば、前記画像解析は、対象領域に対応する静止画像について勾配方向ヒストグラムを計算することを含んでいる。勾配方向ヒストグラムは画像中の形を認識する方法である。
【００１１】
一実施形態によれば、特徴をクラスに割り当てるためにランダム決定森が用いられる。ランダム決定森は、トレーニングデータを用いて、前記方法を実行するのに先だって訓練される。トレーニングデータは、分類が既知の映像シーケンスの集合に相当する。
【００１２】
一実施形態によれば、前記方法は映像シーケンスの歩行者を識別するために用いられる。特徴は、該特徴が歩行者に相当するかどうか判断することによりクラスに割り当てられる。
【００１３】
一実施形態によれば、各セルのオプティックフローフィールドは、フレーム間の映像シーケンスのフレーム部分の仮現運動の大きさおよび方向を示すベクトルを含んでいる。オプティックフローのヒストグラムの計算は、ベクトルの方向に基づいて、オプティックフローの各ベクトルをビンに割り当てることを含んでいる。
【００１４】
一実施形態によれば、フレームについてのオプティックフローフィールドはチャネルに記憶される。各チャネルは、オプティックフローのベクトルの方位範囲に対応する。
【００１５】
一実施形態によれば、オプティックフローフィールドはインテグラルイメージとして記憶される。
【００１６】
一実施形態によれば、前記方法は、各セルのオプティックフローフィールドから対象領域について全体的に観察されたオプティックフローを減じることにより、映像シーケンスのカメラモーションを補償すること含んでいる。
【００１７】
更なる実施形態によれば、上述の実施形態に従う方法をコンピュータに実行させるためのコンピュータ可読媒体が提供される。
【００１８】
更なる実施形態によれば、上述の実施形態に従う方法を実行するための映像解析システムが提供される。
【００１９】
図１は、映像シーケンスの特徴を分類するためのデータ処理システム１００を示す。データ処理システム１００は、プロセッサ１０２、メモリ１０４、入力モジュール１０８および出力モジュール１１０を含む。メモリ１０４は、映像シーケンスの特徴を分類するためのプログラム１０６を記憶する。プログラム１０６は、プロセッサ１０２上で実行することができる。入力モジュール１０８は、解析用の映像シーケンスの入力を受け取って該映像シーケンスの特徴を分類することができる。出力モジュール１１０は、その分類の結果を出力することができる。該入力モジュールは、映像シーケンスのフレーム間の動きを示すオプティックフローデータを受け取ることができる。あるいは、プロセッサが、入力映像シーケンスからオプティックフローデータを計算するように機能してもよい。入力モジュール１０８は、ビデオカメラまたは映像レコーダから映像データを受け取ることが可能なデータ接続部とすることができる。入力モジュール１０８は、インターネットのようなネットワーク上の映像データを受信することができるネットワーク接続部であってもよい。データ処理システム１００は、従来型のコンピュータであってもよい。以下では、プログラム１０６が行う方法について説明する。
【００２０】
図２は、映像シーケンスのフレーム中の特徴を分類するための方法のフローチャートを示す。この方法は、特徴のさまざまな部分の動きにおける相関に基づいて映像中の特徴を分類するためにオプティックフローデータを使用する。オプティックフローデータは、映像シーケンスのフレーム間の動きを示すフィールドである。オプティックフローデータは、映像シーケンスの以前のフレームまたは次のフレームについて、フレーム中の各ピクセルの動きを示すことができる。オプティックフローデータは、映像シーケンスのフレーム中のピクセル部分集合の動きを示すことができる。例えば、オプティックフローデータは、フレーム中の１ピクセルおきの動きを示すことができる。オプティックフローフィールドは、フレーム中の点集合の動きの大きさと方向を含んでいる。
【００２１】
方法のステップ２０２は、フレームの対象領域を選択することである。該方法の以下のステップは、この対象領域に適用される。対象領域は、フレームの画像解析を行ない、特徴候補を識別することにより特定してもよい。あるいは、フレーム中の特定サイズを持っているすべての領域を順次に選択してもよい。
【００２２】
ステップ２０４において、対象領域は多数のセルに分割される。ステップ２０６では、対象領域中の各セルについてオプティックフローのヒストグラムが計算される。オプティックフローのヒストグラムは、セル内の各ピクセルのオプティックフロー、あるいは各オプティックフローフィールド単位のオプティックフローに対し、オプティックフローの方向に応じてビンを割り当てることにより計算される。
【００２３】
ステップ２０８では、セル対のヒストグラムが比較される。該比較の結果を用いることにより、対象領域中の特徴がステップ２１０において分類される。該分類は、このように対象領域のさまざまな部分の動きの相関に基づく。
【００２４】
上記の説明では、分類は方法の結果を示すために使用される。該分類は、２つのクラス（例えば「歩行者」、「非歩行者」）のうちの一方への分類であってもよい。そのような分類体系は、映像シーケンスの歩行者を識別するために使用されるだろう。
【００２５】
上述したようにフレーム中のさまざまな点のオプティックフローの比較を解析する方法のことを、以下では共起フロー（ＣｏＦ）と呼ぶ。ＣｏＦ法は、映像シーケンス中の歩行者を識別する勾配ヒストグラム（ＨＯＧ）法と共に使用することができる。歩行者の検出のためのＨＯＧ法は、Ｎ．ＤａｌａｌおよびＢ．Ｔｒｉｇｇｓ，「人検知のための勾配方向ヒストグラム」ＣＶＰＲ（１），８８６＊８９３頁，２００５年に記載されている。
【００２６】
この組み合わせた方法において、ＨＯＧ特徴は、まず配向エッジエネルギー応答の計算を行い、ｄ（＝８）の異なる方位で入力画像とｏｒｉｅｎｔｅｄ ｏｄｄ Ｇａｂｏｒフィルタとの畳み込みをとることにより、入力画像から抽出される。このフィルタリングは入力画像全体について行われ、その結果はインテグラルイメージとして記憶される。エリア総和テーブルとしても知られているインテグラルイメージを使用することにより、様々なサイズのウィンドウに関して計算を効率的に行うことができる。ｊ番目の方向のガボールフィルタリングの出力をｊ＝１，．．．ｄについてＧ（ｊ）と示す。
【００２７】
歩行者の識別のために、１：２のアスペクト比を持つ矩形のウィンドウすなわち対象領域が使用される。このウィンドウについては、ＨＯＧ法に基づく特徴とＣｏＦ法に基づく特徴とが計算される。これらの特徴は、フレームの対象領域中のオブジェクトを歩行者あるいは非歩行者に分類するのに当該特徴を利用する、ランダム森分類器のような統計モデルへの入力に用いられる。
【００２８】
対象領域の特徴をＨＯＧを用いて計算する処理は以下のとおりである。候補矩形対象領域について、対象領域のサブ領域であるセル、Ｒが規定される。セルは、各レベルで２ｌ×２・２ｌ（ｌ＝０，．．．，ｌｍａｘ）のセルを持つように、ＭＩＰマッピングと同様にマルチレベル型でグリッドワイズに生成される。最も細かいレベルで適切な数としてｌｍａｘ＝３が選ばれる。およそこれは、６４×１２８ピクセルサイズのＲについて、最下位レベルの各セルが８×８ピクセルから成ることを示す。
【００２９】
セル内の各方位チャネルにおけるガボールフィルタリング｛Ｇ（ｊ）｝の出力の和から、１組の特徴要素ｆｌ（ｍ，ｎ）∈Ｒｄが計算される。ｍ＝１，．．．，２ｌ，ｎ＝１，．．．，２ｌ＋１について、レベルｌのセルは、ｗｌ（ｍ，ｎ）と呼ばれる。
【００３０】
特徴要素の集合は次の式から与えられる。
【数１】
【００３１】
ここで、（ｕ，ｖ）はＲ内のローカル座標であり、ｆｌ（ｍ，ｎ）は全方向についてのフィルタ出力を用いて正規化される。正規化された特徴は次式から与えられる。
【数２】
【００３２】
多次元のＨＯＧ記述子を形成するには、異なるレベルの特徴を連結することによって、より粗いスケールからの出力が組込まれてＮＧ−次元のＨＯＧ記述子ＶＧが次式のように形成される。
【数３】
【００３３】
上記のように計算された特徴ｖＧは、共起フロー（ＣｏＦ）方法を用いて計算された特徴に加え、歩行者または非歩行者のいずれかに映像中の移動オブジェクトを分類するのに用いられる。
【００３４】
歩行者識別のために、以下のように特徴を抽出するようＣｏＦ法を実施することができる。
【００３５】
図３は、特徴を抽出する方法の概略図を示す。
【００３６】
例えばＭ．Ｗｅｒｌｂｅｒｇｅｒ，Ｗ．Ｔｒｏｂｉｎ，Ｔ．Ｐｏｃｋ，Ａ．Ｗｅｄｅｌ，Ｄ．Ｃｒｅｍｅｒｓ，Ｈ．Ｂｉｓｃｈｏｆ，「異方性フーバーＬ１オプティカルフロー」（ＢＭＶＣ，２００９年）に記載された技術を利用することにより、全体画像３００について調整されたフローフィールドが計算される。
【００３７】
フローフィールド３０２は、画像３００上の多数点におけるオプティックフローの方向および大きさを含んでいる。
【００３８】
オプティックフローフィールドは、離散的な方位ｉ＝１．．．ｂに従って個別のチャネルＦ（ｉ）として記憶され、後にオプティックフローのヒストグラムにおけるビンに用いられる。したがって、チャネルＦ（ｉ）は、方向の特定範囲および大きさに対応する出力を表わす。チャネルへの出力は、（エリア総和テーブルとしても知られる）インテグラルイメージ３０４として記憶される。これにより画像の対象領域のセルについて効率的にヒストグラムを計算することが可能である。
【００３９】
オプティックフローのヒストグラムが、サブ領域３０６のセルについて計算される。ヒストグラム３０８は、｛Ｆ（ｉ）｝の各チャネルの関心セルｗｋ（ｎ，ｍ）の領域にわたって和を計算することにより構築される。したがって、ヒストグラムのｉ番目の要素は次のように計算される。
【数４】
【００４０】
動いているカメラからの映像シーケンスを得る場合、計算されるフローフィールドは、カメラモーションによって影響を受けるだろう。この動きは、ヒストグラムを生成する前に支配的画像フローを減じることにより補償することができる。支配的背景フローは、対象領域サブウインドウＲ中で全体的に観察されるフローの平均を求めることにより計算される。ヒストグラムのｉ番目の要素の訂正された値は、次式のように与えられる。
【数５】
【００４１】
ヒストグラムのビンならびにオプティックフローフィールドの方向が記憶される離散的な方位の範囲は、１８０度あるいは３６０度をカバーしうる。ただし、フローフィールドが正数、負数の両方で含まれる場合にヒストグラムを計算するのであれば、ビンの範囲は１８０度である。したがって、例えば、３０度の方向を有するフィールドが、異符号の２７０度におけるフィールドと同じビンに含まれるだろう。ビンが３６０度にまたがるときに、各ビンの角度範囲は２倍になり、大きさのみがヒストグラムの計算に用いられることになる。
【００４２】
その後、Ｒ内のセル対についてヒストグラム３０８の比較がなされる。Ｌ１ノルム３１０を使用して、各セル対はスカラー値を出力する。該スカラー値を合成してＣｏＦ特徴ベクトル３１２を生成する。
【００４３】
ビンが３６０度をカバーする場合、ヒストグラムの比較がヒストグラム交差を用いて行なわれ、各ビン対の比較和から計算されたスカラー値を与える。
【００４４】
ある領域のＣｏＦ特徴ベクトルおよびＨＯＧ特徴ベクトルは、対象領域内の特徴を分類するためにランダム決定森に基づいた分類器に入力される。
【００４５】
独立した２つのランダム森がＣｏＦ特徴およびＨＯＧ特徴をそれぞれ用いて訓練される。クラス確率分布は、当該２つのランダム森のすべての木にわたって該ランダム森の葉ノードにおいて合成される。
【００４６】
図４は、上述の共起フロー法の単独使用（ＣｏＦのみ）、勾配方向ヒストグラム法の単独使用（ＨＯＧのみ）、図３を参照して説明したＣｏＦ法とＨＯＧ法を組み合わせて用いることにより歩行者を検出する方法の使用（ＨＯＧとＣｏＦ）による、映像シーケンス中の歩行者検出結果の比較を示す。図４から分かるように、各法のいずれかを単独の場合に比べて、ＣｏＦ法とＨＯＧ法を組み合わせた方法は、うまく機能する。
【００４７】
図５は、（ａ）ＨＯＧ単独使用、（ｂ）ＣｏＦ単独使用、（ｄ）ＨＯＧとＣｏＦの組み合わせ使用による、歩行者検出の２つの事例を示す。また図５は、ＣｏＦ法において使用されるオプティックフロー（ｃ）を示す。オプティックフローは、大きさによって色分けされている。図５（ａ）、（ｂ）および（ｄ）において、紫（モノクロ画像では黒色）の箱は歩行者であるとして検出された特徴を示し、緑（モノクロ画像では白色）の箱は歩行者として検出されるべきだった特徴を示す。
【００４８】
図５の上部の画像中で示される例において、スーツケースを持った路上の女性をＨＯＧは逃しているが、ＣｏＦは検出している。ＣｏＦは、例えば道を横断するときのように動いている歩行者を発見することが可能な歩行者検出の重要なアプリケーションであることに留意されたい。しかし、ＣｏＦ法は静止している歩行者を検出しない（ＨＯＧでは検出される）。
【００４９】
図５の下部の画像において、ＣｏＦ法は、フレームの右手側に向かって歩いている人を検出する。これをＨＯＧは逃しているが、恐らく歩行者のズボンが暗い色であることも相まって背景が暗いことによるものである。
【００５０】
このように、２つの方法を組合せて利用することにより、役割の範囲において歩行者を発見することができる。したがって、本出願で説明した方法は、勾配ヒストグラムのような既知の方法をコンプリメントするものである。
【００５１】
図６は、歩行者検出システムを示す。歩行者検出システム６００は、ビデオカメラ６１０および映像解析モジュール６２０を有する。該映像解析モジュールは、オプティックフローフィールド計算機６２２と、対象領域選別器６２４と、フローの共起ベクトル計算機６２６と、勾配方向ヒストグラム・ベクトル計算機６２８と、分類器６３０とを有する。分類器は、２つのランダム決定森、すなわちフローの共起決定森６３２と勾配方向ヒストグラム決定森６３４とを記憶する。解析モジュールは、出力モジュール６４０に付随している。
【００５２】
出力モジュールは、ビデオカメラ６１０によって記録された映像シーケンスを歩行者を強調して表示するビデオスクリーンであってもよい。出力モジュールは、歩行者の接近を示す信号を出力してもよいし、あるいは特定のポイントを通過する歩行者数の統計を収集するのに用いられる信号を出力してもよい。歩行者検出システム６００を自走車両内部に統合してもよい。この応用例では、ビデオカメラ６１０は自走車両の進行方向に向けられる。多数のカメラを自走車両上に配置し、個々のカメラからの出力を常に解析モジュール６２０によって監視してもよい。あるいは、自走車両の移動方向によってビデオカメラのうちのいずれか１台に切り替えるよう解析モジュールを構成してもよい。
【００５３】
使用時において、ビデオカメラ６１０は、自走車両の移動方向の視野の映像シーケンスを捕らえる。オプティックフロー計算機６２２は、映像シーケンスのフレームのオプティックフローフィールドを計算する。対象領域選別器６２４は、該映像シーケンスのフレームの対象領域を選択する。対象領域は、上述した勾配方向ヒストグラム法を用いて映像シーケンスのフレーム解析を行なうことにより選択される。対象領域について、フローの共起ベクトル計算機６２６は、オプティカルフローの共起のベクトルを計算する。フローの共起ベクトル計算機６２６は、フローの共起ベクトルを計算する場合に、対象領域における支配的なフローを減じることにより映像シーケンスにおける車両の動きを補償する。該ベクトルは、対象領域のベルに関してオプティックフローのヒストグラムを比較することにより計算される。
【００５４】
また勾配方向ヒストグラム・ベクトル計算機６２８は、対象領域のベクトルを計算する。フローの共起ベクトル計算機６２６によって計算されたベクトル、および勾配方向ヒストグラム・ベクトル計算機６２８によって計算されたベクトルは、分類器６３０に入力される。分類器６３０は、該ベクトルを用いて対象領域中の特徴を歩行者あるいは非歩行者に分類する。分類器６３０は、記憶されたランダム決定森６３２および６３４を用い、該ベクトルを歩行者あるいは非歩行者のいずれかに関連づけるものとして分類する。出力モジュール６４０は、映像シーケンスの各フレームについて、歩行者の存在または不存在を示す信号を出力する。
【００５５】
この出力信号は、歩行者が強調された映像シーケンスであってもよい。この映像シーケンスを、自走車両のドライバーが見ることのできるビデオスクリーンに表示してもよい。該出力信号は、自走車両の進路内の歩行者の存在についてドライバーに警報するよう警報器を動作させてもよい。該出力信号が、自動車の操縦装置に直接接続されていて、歩行者の接近により、当該自動車に速度を低下させ、あるいは進路を転換させてもよい。
【００５６】
歩行者検出システム６００がショッピングセンターや駅のような公共建造物における歩行者監視システムに統合されてもよい。ビデオカメラは、建物に入る歩行者や建物から出る歩行者の視界に固定されうる。出力信号は、常に、建物に入る歩行者と建物から出る歩行者の数を示すことができる。したがって、歩行者検出システムは、建物への訪問者数の統計値を得ることができ、建物の内部にいる人々の数を常に算出することができる。
【００５７】
ヒストグラム比較結果に基づく映像シーケンスの特徴分類には、ランダム決定森に代えて他の統計分類器を用いてもよい。例えば、サポートベクトルマシン（ＳＶＭ）のような線形分類器を使用してもよい。エイダブースト（ＡｄａＢｏｏｓｔ）によって訓練された分類器を使用することもできる。
【００５８】
フレームの静的な特徴解析における特徴分類のために、さまざまなタイプの分類器を用いてもよい。例えば、ＨＯＧを使用した解析中に、線形分類器あるいはブースティングされた分類器を使用してもよい。
【００５９】
いくつかの実施形態を説明したが、これらの実施形態は例示のみを目的としており、発明の範囲を制限することは意図されていない。実際には、本明細書で説明した新規の方法およびシステムは他の様々な形で具体化することができ、更に、発明の趣旨から逸脱しない範囲で、本明細書で説明した方法およびシステムの構造における様々な省略置換および変更をなしてもよい。添付の特許請求の範囲およびその均等物は、発明の範囲および趣旨に含まれる構造あるいは改良に及ぶことが意図される。
【技術分野】
【０００１】
本明細書に記述された実施形態は、一般に、映像シーケンスの特徴認識に関する。映像シーケンス中で特徴が認識される場合、その特徴には映像シーケンスの属性に基づいてクラスが割り当てられる。
【背景技術】
【０００２】
映像シーケンスの特徴認識には多くの応用がある。そのような応用の１つは歩行者認識である。歩行者認識法では、映像シーケンスの特徴は、歩行者であるもの、あるいは歩行者でないもの、に分類される。
【０００３】
映像シーケンス中では、歩行者の動きとアピアランスは変化しうる。歩行者は静止していたり、さまざまな方向に移動したりする。歩行者のアピアランスは、さまざまな歩行の様相に応じて変化しうる。また、歩行者が映像中のオブジェクトによって遮蔽されていたり、荷物のようなオブジェクトに繋がっている場合もある。これらの場合にも映像シーケンスにおいて観察される歩行者の形状は変化しうる。
【０００４】
映像シーケンスの特徴を例えば歩行者として正確に分類するためには、映像解析手法は、上述した要因のうちのいくつかあるいはすべてについて説明できなくてはならない。
【図面の簡単な説明】
【０００５】
以下では、発明の実施形態は図面を参照して説明される。
【図１】映像シーケンスの特徴を分類するためのデータ処理システムのブロック図である。
【図２】映像シーケンスのフレーム中の特徴を分類する方法のフローチャートである。
【図３】映像シーケンスから特徴を抽出する方法を示す概要図である。
【図４】映像シーケンスにおける歩行者検出結果の比較を示すグラフである。
【図５】映像シーケンスのフレーム中での歩行者検出の例を示す図である。
【図６】歩行者検出システムのブロック図を示す図である。
【発明を実施するための形態】
【０００６】
一実施形態によれば、映像シーケンスの特徴を分類する方法は、映像シーケンスのフレームの、特徴を含んでいる対象領域を選択すること、この対象領域を複数のセルに分割すること、セルによりオプティックフローのヒストグラムを計算すること、セル対についてのオプティックフローのヒストグラムを比較すること、比較の結果の少なくとも一部に基づいて特徴をクラスに割り当てることを含む。
【０００７】
この実施形態において、映像シーケンスの特徴は、これらをクラスに割り当てることにより認識される。クラスへの割り当ては、オプティックフローのヒストグラムの比較に基づく。映像シーケンスのフレームについてのオプティックフローフィールドは、フレーム間でのフレーム部分の動きを示す。オプティックフローフィールドは、フレーム間でのフレームの各ピクセルの動きを示すことができる。またオプティックフローフィールドは、フレーム間でのピクセルブロックの動きを示すこともできる。オプティックフローのヒストグラムは、対象領域のセルについて計算される。オプティックフローのヒストグラムを比較することにより、対象領域のさまざまな部分の動きの相関を識別することができる。これらの相関は、映像シーケンスのフレーム中の歩行者のような、特別な特徴の存在を示すことができる。比較の結果、対象領域中の特徴はクラスに割り当てられる。
【０００８】
一実施形態によれば、前記方法は、映像シーケンスのフレームについて画像解析を行なうことをさらに含む。画像解析の結果と、オプティックフローのヒストグラム比較の結果とが、特徴を分類するのに用いられる。
【０００９】
この実施形態では、映像中の特徴は、動きおよび画像認識結果の両方に基づいて分類される。これは、形状といった静止画像の特性および動きの特性の両方が映像シーケンスの特徴を識別するのに用いられることを意味する。
【００１０】
一実施形態によれば、前記画像解析は、対象領域に対応する静止画像について勾配方向ヒストグラムを計算することを含んでいる。勾配方向ヒストグラムは画像中の形を認識する方法である。
【００１１】
一実施形態によれば、特徴をクラスに割り当てるためにランダム決定森が用いられる。ランダム決定森は、トレーニングデータを用いて、前記方法を実行するのに先だって訓練される。トレーニングデータは、分類が既知の映像シーケンスの集合に相当する。
【００１２】
一実施形態によれば、前記方法は映像シーケンスの歩行者を識別するために用いられる。特徴は、該特徴が歩行者に相当するかどうか判断することによりクラスに割り当てられる。
【００１３】
一実施形態によれば、各セルのオプティックフローフィールドは、フレーム間の映像シーケンスのフレーム部分の仮現運動の大きさおよび方向を示すベクトルを含んでいる。オプティックフローのヒストグラムの計算は、ベクトルの方向に基づいて、オプティックフローの各ベクトルをビンに割り当てることを含んでいる。
【００１４】
一実施形態によれば、フレームについてのオプティックフローフィールドはチャネルに記憶される。各チャネルは、オプティックフローのベクトルの方位範囲に対応する。
【００１５】
一実施形態によれば、オプティックフローフィールドはインテグラルイメージとして記憶される。
【００１６】
一実施形態によれば、前記方法は、各セルのオプティックフローフィールドから対象領域について全体的に観察されたオプティックフローを減じることにより、映像シーケンスのカメラモーションを補償すること含んでいる。
【００１７】
更なる実施形態によれば、上述の実施形態に従う方法をコンピュータに実行させるためのコンピュータ可読媒体が提供される。
【００１８】
更なる実施形態によれば、上述の実施形態に従う方法を実行するための映像解析システムが提供される。
【００１９】
図１は、映像シーケンスの特徴を分類するためのデータ処理システム１００を示す。データ処理システム１００は、プロセッサ１０２、メモリ１０４、入力モジュール１０８および出力モジュール１１０を含む。メモリ１０４は、映像シーケンスの特徴を分類するためのプログラム１０６を記憶する。プログラム１０６は、プロセッサ１０２上で実行することができる。入力モジュール１０８は、解析用の映像シーケンスの入力を受け取って該映像シーケンスの特徴を分類することができる。出力モジュール１１０は、その分類の結果を出力することができる。該入力モジュールは、映像シーケンスのフレーム間の動きを示すオプティックフローデータを受け取ることができる。あるいは、プロセッサが、入力映像シーケンスからオプティックフローデータを計算するように機能してもよい。入力モジュール１０８は、ビデオカメラまたは映像レコーダから映像データを受け取ることが可能なデータ接続部とすることができる。入力モジュール１０８は、インターネットのようなネットワーク上の映像データを受信することができるネットワーク接続部であってもよい。データ処理システム１００は、従来型のコンピュータであってもよい。以下では、プログラム１０６が行う方法について説明する。
【００２０】
図２は、映像シーケンスのフレーム中の特徴を分類するための方法のフローチャートを示す。この方法は、特徴のさまざまな部分の動きにおける相関に基づいて映像中の特徴を分類するためにオプティックフローデータを使用する。オプティックフローデータは、映像シーケンスのフレーム間の動きを示すフィールドである。オプティックフローデータは、映像シーケンスの以前のフレームまたは次のフレームについて、フレーム中の各ピクセルの動きを示すことができる。オプティックフローデータは、映像シーケンスのフレーム中のピクセル部分集合の動きを示すことができる。例えば、オプティックフローデータは、フレーム中の１ピクセルおきの動きを示すことができる。オプティックフローフィールドは、フレーム中の点集合の動きの大きさと方向を含んでいる。
【００２１】
方法のステップ２０２は、フレームの対象領域を選択することである。該方法の以下のステップは、この対象領域に適用される。対象領域は、フレームの画像解析を行ない、特徴候補を識別することにより特定してもよい。あるいは、フレーム中の特定サイズを持っているすべての領域を順次に選択してもよい。
【００２２】
ステップ２０４において、対象領域は多数のセルに分割される。ステップ２０６では、対象領域中の各セルについてオプティックフローのヒストグラムが計算される。オプティックフローのヒストグラムは、セル内の各ピクセルのオプティックフロー、あるいは各オプティックフローフィールド単位のオプティックフローに対し、オプティックフローの方向に応じてビンを割り当てることにより計算される。
【００２３】
ステップ２０８では、セル対のヒストグラムが比較される。該比較の結果を用いることにより、対象領域中の特徴がステップ２１０において分類される。該分類は、このように対象領域のさまざまな部分の動きの相関に基づく。
【００２４】
上記の説明では、分類は方法の結果を示すために使用される。該分類は、２つのクラス（例えば「歩行者」、「非歩行者」）のうちの一方への分類であってもよい。そのような分類体系は、映像シーケンスの歩行者を識別するために使用されるだろう。
【００２５】
上述したようにフレーム中のさまざまな点のオプティックフローの比較を解析する方法のことを、以下では共起フロー（ＣｏＦ）と呼ぶ。ＣｏＦ法は、映像シーケンス中の歩行者を識別する勾配ヒストグラム（ＨＯＧ）法と共に使用することができる。歩行者の検出のためのＨＯＧ法は、Ｎ．ＤａｌａｌおよびＢ．Ｔｒｉｇｇｓ，「人検知のための勾配方向ヒストグラム」ＣＶＰＲ（１），８８６＊８９３頁，２００５年に記載されている。
【００２６】
この組み合わせた方法において、ＨＯＧ特徴は、まず配向エッジエネルギー応答の計算を行い、ｄ（＝８）の異なる方位で入力画像とｏｒｉｅｎｔｅｄ ｏｄｄ Ｇａｂｏｒフィルタとの畳み込みをとることにより、入力画像から抽出される。このフィルタリングは入力画像全体について行われ、その結果はインテグラルイメージとして記憶される。エリア総和テーブルとしても知られているインテグラルイメージを使用することにより、様々なサイズのウィンドウに関して計算を効率的に行うことができる。ｊ番目の方向のガボールフィルタリングの出力をｊ＝１，．．．ｄについてＧ（ｊ）と示す。
【００２７】
歩行者の識別のために、１：２のアスペクト比を持つ矩形のウィンドウすなわち対象領域が使用される。このウィンドウについては、ＨＯＧ法に基づく特徴とＣｏＦ法に基づく特徴とが計算される。これらの特徴は、フレームの対象領域中のオブジェクトを歩行者あるいは非歩行者に分類するのに当該特徴を利用する、ランダム森分類器のような統計モデルへの入力に用いられる。
【００２８】
対象領域の特徴をＨＯＧを用いて計算する処理は以下のとおりである。候補矩形対象領域について、対象領域のサブ領域であるセル、Ｒが規定される。セルは、各レベルで２ｌ×２・２ｌ（ｌ＝０，．．．，ｌｍａｘ）のセルを持つように、ＭＩＰマッピングと同様にマルチレベル型でグリッドワイズに生成される。最も細かいレベルで適切な数としてｌｍａｘ＝３が選ばれる。およそこれは、６４×１２８ピクセルサイズのＲについて、最下位レベルの各セルが８×８ピクセルから成ることを示す。
【００２９】
セル内の各方位チャネルにおけるガボールフィルタリング｛Ｇ（ｊ）｝の出力の和から、１組の特徴要素ｆｌ（ｍ，ｎ）∈Ｒｄが計算される。ｍ＝１，．．．，２ｌ，ｎ＝１，．．．，２ｌ＋１について、レベルｌのセルは、ｗｌ（ｍ，ｎ）と呼ばれる。
【００３０】
特徴要素の集合は次の式から与えられる。
【数１】
【００３１】
ここで、（ｕ，ｖ）はＲ内のローカル座標であり、ｆｌ（ｍ，ｎ）は全方向についてのフィルタ出力を用いて正規化される。正規化された特徴は次式から与えられる。
【数２】
【００３２】
多次元のＨＯＧ記述子を形成するには、異なるレベルの特徴を連結することによって、より粗いスケールからの出力が組込まれてＮＧ−次元のＨＯＧ記述子ＶＧが次式のように形成される。
【数３】
【００３３】
上記のように計算された特徴ｖＧは、共起フロー（ＣｏＦ）方法を用いて計算された特徴に加え、歩行者または非歩行者のいずれかに映像中の移動オブジェクトを分類するのに用いられる。
【００３４】
歩行者識別のために、以下のように特徴を抽出するようＣｏＦ法を実施することができる。
【００３５】
図３は、特徴を抽出する方法の概略図を示す。
【００３６】
例えばＭ．Ｗｅｒｌｂｅｒｇｅｒ，Ｗ．Ｔｒｏｂｉｎ，Ｔ．Ｐｏｃｋ，Ａ．Ｗｅｄｅｌ，Ｄ．Ｃｒｅｍｅｒｓ，Ｈ．Ｂｉｓｃｈｏｆ，「異方性フーバーＬ１オプティカルフロー」（ＢＭＶＣ，２００９年）に記載された技術を利用することにより、全体画像３００について調整されたフローフィールドが計算される。
【００３７】
フローフィールド３０２は、画像３００上の多数点におけるオプティックフローの方向および大きさを含んでいる。
【００３８】
オプティックフローフィールドは、離散的な方位ｉ＝１．．．ｂに従って個別のチャネルＦ（ｉ）として記憶され、後にオプティックフローのヒストグラムにおけるビンに用いられる。したがって、チャネルＦ（ｉ）は、方向の特定範囲および大きさに対応する出力を表わす。チャネルへの出力は、（エリア総和テーブルとしても知られる）インテグラルイメージ３０４として記憶される。これにより画像の対象領域のセルについて効率的にヒストグラムを計算することが可能である。
【００３９】
オプティックフローのヒストグラムが、サブ領域３０６のセルについて計算される。ヒストグラム３０８は、｛Ｆ（ｉ）｝の各チャネルの関心セルｗｋ（ｎ，ｍ）の領域にわたって和を計算することにより構築される。したがって、ヒストグラムのｉ番目の要素は次のように計算される。
【数４】
【００４０】
動いているカメラからの映像シーケンスを得る場合、計算されるフローフィールドは、カメラモーションによって影響を受けるだろう。この動きは、ヒストグラムを生成する前に支配的画像フローを減じることにより補償することができる。支配的背景フローは、対象領域サブウインドウＲ中で全体的に観察されるフローの平均を求めることにより計算される。ヒストグラムのｉ番目の要素の訂正された値は、次式のように与えられる。
【数５】
【００４１】
ヒストグラムのビンならびにオプティックフローフィールドの方向が記憶される離散的な方位の範囲は、１８０度あるいは３６０度をカバーしうる。ただし、フローフィールドが正数、負数の両方で含まれる場合にヒストグラムを計算するのであれば、ビンの範囲は１８０度である。したがって、例えば、３０度の方向を有するフィールドが、異符号の２７０度におけるフィールドと同じビンに含まれるだろう。ビンが３６０度にまたがるときに、各ビンの角度範囲は２倍になり、大きさのみがヒストグラムの計算に用いられることになる。
【００４２】
その後、Ｒ内のセル対についてヒストグラム３０８の比較がなされる。Ｌ１ノルム３１０を使用して、各セル対はスカラー値を出力する。該スカラー値を合成してＣｏＦ特徴ベクトル３１２を生成する。
【００４３】
ビンが３６０度をカバーする場合、ヒストグラムの比較がヒストグラム交差を用いて行なわれ、各ビン対の比較和から計算されたスカラー値を与える。
【００４４】
ある領域のＣｏＦ特徴ベクトルおよびＨＯＧ特徴ベクトルは、対象領域内の特徴を分類するためにランダム決定森に基づいた分類器に入力される。
【００４５】
独立した２つのランダム森がＣｏＦ特徴およびＨＯＧ特徴をそれぞれ用いて訓練される。クラス確率分布は、当該２つのランダム森のすべての木にわたって該ランダム森の葉ノードにおいて合成される。
【００４６】
図４は、上述の共起フロー法の単独使用（ＣｏＦのみ）、勾配方向ヒストグラム法の単独使用（ＨＯＧのみ）、図３を参照して説明したＣｏＦ法とＨＯＧ法を組み合わせて用いることにより歩行者を検出する方法の使用（ＨＯＧとＣｏＦ）による、映像シーケンス中の歩行者検出結果の比較を示す。図４から分かるように、各法のいずれかを単独の場合に比べて、ＣｏＦ法とＨＯＧ法を組み合わせた方法は、うまく機能する。
【００４７】
図５は、（ａ）ＨＯＧ単独使用、（ｂ）ＣｏＦ単独使用、（ｄ）ＨＯＧとＣｏＦの組み合わせ使用による、歩行者検出の２つの事例を示す。また図５は、ＣｏＦ法において使用されるオプティックフロー（ｃ）を示す。オプティックフローは、大きさによって色分けされている。図５（ａ）、（ｂ）および（ｄ）において、紫（モノクロ画像では黒色）の箱は歩行者であるとして検出された特徴を示し、緑（モノクロ画像では白色）の箱は歩行者として検出されるべきだった特徴を示す。
【００４８】
図５の上部の画像中で示される例において、スーツケースを持った路上の女性をＨＯＧは逃しているが、ＣｏＦは検出している。ＣｏＦは、例えば道を横断するときのように動いている歩行者を発見することが可能な歩行者検出の重要なアプリケーションであることに留意されたい。しかし、ＣｏＦ法は静止している歩行者を検出しない（ＨＯＧでは検出される）。
【００４９】
図５の下部の画像において、ＣｏＦ法は、フレームの右手側に向かって歩いている人を検出する。これをＨＯＧは逃しているが、恐らく歩行者のズボンが暗い色であることも相まって背景が暗いことによるものである。
【００５０】
このように、２つの方法を組合せて利用することにより、役割の範囲において歩行者を発見することができる。したがって、本出願で説明した方法は、勾配ヒストグラムのような既知の方法をコンプリメントするものである。
【００５１】
図６は、歩行者検出システムを示す。歩行者検出システム６００は、ビデオカメラ６１０および映像解析モジュール６２０を有する。該映像解析モジュールは、オプティックフローフィールド計算機６２２と、対象領域選別器６２４と、フローの共起ベクトル計算機６２６と、勾配方向ヒストグラム・ベクトル計算機６２８と、分類器６３０とを有する。分類器は、２つのランダム決定森、すなわちフローの共起決定森６３２と勾配方向ヒストグラム決定森６３４とを記憶する。解析モジュールは、出力モジュール６４０に付随している。
【００５２】
出力モジュールは、ビデオカメラ６１０によって記録された映像シーケンスを歩行者を強調して表示するビデオスクリーンであってもよい。出力モジュールは、歩行者の接近を示す信号を出力してもよいし、あるいは特定のポイントを通過する歩行者数の統計を収集するのに用いられる信号を出力してもよい。歩行者検出システム６００を自走車両内部に統合してもよい。この応用例では、ビデオカメラ６１０は自走車両の進行方向に向けられる。多数のカメラを自走車両上に配置し、個々のカメラからの出力を常に解析モジュール６２０によって監視してもよい。あるいは、自走車両の移動方向によってビデオカメラのうちのいずれか１台に切り替えるよう解析モジュールを構成してもよい。
【００５３】
使用時において、ビデオカメラ６１０は、自走車両の移動方向の視野の映像シーケンスを捕らえる。オプティックフロー計算機６２２は、映像シーケンスのフレームのオプティックフローフィールドを計算する。対象領域選別器６２４は、該映像シーケンスのフレームの対象領域を選択する。対象領域は、上述した勾配方向ヒストグラム法を用いて映像シーケンスのフレーム解析を行なうことにより選択される。対象領域について、フローの共起ベクトル計算機６２６は、オプティカルフローの共起のベクトルを計算する。フローの共起ベクトル計算機６２６は、フローの共起ベクトルを計算する場合に、対象領域における支配的なフローを減じることにより映像シーケンスにおける車両の動きを補償する。該ベクトルは、対象領域のベルに関してオプティックフローのヒストグラムを比較することにより計算される。
【００５４】
また勾配方向ヒストグラム・ベクトル計算機６２８は、対象領域のベクトルを計算する。フローの共起ベクトル計算機６２６によって計算されたベクトル、および勾配方向ヒストグラム・ベクトル計算機６２８によって計算されたベクトルは、分類器６３０に入力される。分類器６３０は、該ベクトルを用いて対象領域中の特徴を歩行者あるいは非歩行者に分類する。分類器６３０は、記憶されたランダム決定森６３２および６３４を用い、該ベクトルを歩行者あるいは非歩行者のいずれかに関連づけるものとして分類する。出力モジュール６４０は、映像シーケンスの各フレームについて、歩行者の存在または不存在を示す信号を出力する。
【００５５】
この出力信号は、歩行者が強調された映像シーケンスであってもよい。この映像シーケンスを、自走車両のドライバーが見ることのできるビデオスクリーンに表示してもよい。該出力信号は、自走車両の進路内の歩行者の存在についてドライバーに警報するよう警報器を動作させてもよい。該出力信号が、自動車の操縦装置に直接接続されていて、歩行者の接近により、当該自動車に速度を低下させ、あるいは進路を転換させてもよい。
【００５６】
歩行者検出システム６００がショッピングセンターや駅のような公共建造物における歩行者監視システムに統合されてもよい。ビデオカメラは、建物に入る歩行者や建物から出る歩行者の視界に固定されうる。出力信号は、常に、建物に入る歩行者と建物から出る歩行者の数を示すことができる。したがって、歩行者検出システムは、建物への訪問者数の統計値を得ることができ、建物の内部にいる人々の数を常に算出することができる。
【００５７】
ヒストグラム比較結果に基づく映像シーケンスの特徴分類には、ランダム決定森に代えて他の統計分類器を用いてもよい。例えば、サポートベクトルマシン（ＳＶＭ）のような線形分類器を使用してもよい。エイダブースト（ＡｄａＢｏｏｓｔ）によって訓練された分類器を使用することもできる。
【００５８】
フレームの静的な特徴解析における特徴分類のために、さまざまなタイプの分類器を用いてもよい。例えば、ＨＯＧを使用した解析中に、線形分類器あるいはブースティングされた分類器を使用してもよい。
【００５９】
いくつかの実施形態を説明したが、これらの実施形態は例示のみを目的としており、発明の範囲を制限することは意図されていない。実際には、本明細書で説明した新規の方法およびシステムは他の様々な形で具体化することができ、更に、発明の趣旨から逸脱しない範囲で、本明細書で説明した方法およびシステムの構造における様々な省略置換および変更をなしてもよい。添付の特許請求の範囲およびその均等物は、発明の範囲および趣旨に含まれる構造あるいは改良に及ぶことが意図される。
【特許請求の範囲】
【請求項１】
映像シーケンスの特徴を分類する方法であって、
前記映像シーケンスのフレームの、前記特徴を含んでいる対象領域を選択すること、
前記対象領域を複数のセルに分割すること、
前記複数セルのセル内のオプティックフローのヒストグラムを計算すること、
セル対についての前記オプティックフローのヒストグラムを比較すること、
前記比較の結果の少なくとも一部に基づいて前記特徴をクラスに割り当てること、を含む方法。
【請求項２】
前記対象領域の画像解析を行うことをさらに含み、前記特徴をクラスに割り当てることは、前記画像解析と、前記比較の結果とに基づく請求項１の方法。
【請求項３】
画像解析を行なうことは、前記対象領域に対応する静止画像について勾配方向ヒストグラムを計算することを含む請求項２の方法。
【請求項４】
前記特徴をクラスに割り当てることは、ランダム決定森分類器を使用することを含む請求項１乃至３のいずれかの方法。
【請求項５】
前記特徴をクラスに割り当てることは、前記映像シーケンス中の歩行者に前記特徴が一致するかどうか判断することを含む請求項１乃至４のいずれかの方法。
【請求項６】
各セルのオプティックフローフィールドは、大きさと方向を示す複数のベクトルを含み、オプティックフローのヒストグラムを計算することは、前記ベクトルの方向に基づいて、セル内のオプティックフローの各ベクトルをビンに割り当てることを含む請求項１乃至５のいずれかの方法。
【請求項７】
前記フレームの前記オプティックフローフィールドを複数のチャネルとして記憶することをさらに含み、各チャネルは、前記オプティックフローのベクトルの方位範囲に対応する請求項６の方法。
【請求項８】
前記オプティックフローフィールドは、インテグラルイメージとして記憶される請求項７の方法。
【請求項９】
各セルの前記オプティックフローフィールドから前記対象領域について全体的に観察されたオプティックフローを減じることにより、前記映像シーケンスのカメラモーション補正を行うことをさらに含む請求項６乃至８のいずれかの方法。
【請求項１０】
コンピュータ上で実行されたとき、映像シーケンスの特徴を分類する命令をプロセッサに実行させるプログラムであって、前記命令は、
前記映像シーケンスのフレームの、前記特徴を含んでいる対象領域を選択すること、
前記対象領域を複数のセルに分割すること、
前記複数セルのセル内のオプティックフローのヒストグラムを計算すること、
セル対についての前記オプティックフローのヒストグラムを比較すること、
前記比較の結果の少なくとも一部に基づいて前記特徴をクラスに割り当てること、を含むプログラム。
【請求項１１】
映像シーケンスのフレームを受け取るように動作可能な入力モジュールと、
記憶モジュールと、
前記フレームの前記特徴を含んでいる対象領域を選択し、前記対象領域を複数のセルに分割し、前記複数セルのセル内のオプティックフローのヒストグラムを計算し、セル対についての前記オプティックフローのヒストグラムを比較し、前記比較の結果の少なくとも一部に基づいて前記特徴をクラスに割り当てるように動作可能なプロセッサと、
前記特徴に割り当てられたクラスを示す情報を出力するように動作可能な出力モジュールと、
を具備する映像解析システム。
【請求項１２】
前記プロセッサは、前記対象領域の画像解析を行うように動作可能であって、前記特徴をクラスに割り当てることは、前記画像解析と前記比較の結果とに基づく請求項１１のシステム。
【請求項１３】
前記プロセッサは、前記対象領域に対応する、静止画像の勾配方向ヒストグラムを計算することにより画像解析を行なうように動作可能である請求項１２のシステム。
【請求項１４】
前記プロセッサは、ランダム決定森分類器を用いて前記特徴をクラスに割り当てるように動作可能である請求項１１乃至１３のいずれかのシステム。
【請求項１５】
前記プロセッサは、前記特徴が前記映像シーケンスの歩行者に一致するかどうか判断することによって前記特徴をクラスに割り当てるように動作可能である請求項１１乃至１４のいずれかのシステム。
【請求項１６】
各セルのオプティックフローフィールドは、大きさと方向を示す複数のベクトルを含み、前記プロセッサは、前記ベクトルの方向に基づいて、セル内のオプティックフローの各ベクトルをビンに割り当てることにより、オプティックフローのヒストグラムを計算するように動作可能である請求項１１乃至１５のいずれかのシステム。
【請求項１７】
前記フレームのオプティックフローフィールドを複数のチャネルとして記憶するためのストレージをさらに具備し、各チャネルは、前記オプティックフローのベクトルの方位範囲に対応する請求項１６のシステム。
【請求項１８】
前記オプティックフローフィールドは、インテグラルイメージとして記憶される請求項１７のシステム。
【請求項１９】
前記プロセッサは、各セルの前記オプティックフローフィールドから前記対象領域について全体的に観察されたオプティックフローを減じることにより、映像シーケンスのカメラモーションを補償するように動作可能である請求項１６乃至１８のいずれかのシステム。
【請求項１】
映像シーケンスの特徴を分類する方法であって、
前記映像シーケンスのフレームの、前記特徴を含んでいる対象領域を選択すること、
前記対象領域を複数のセルに分割すること、
前記複数セルのセル内のオプティックフローのヒストグラムを計算すること、
セル対についての前記オプティックフローのヒストグラムを比較すること、
前記比較の結果の少なくとも一部に基づいて前記特徴をクラスに割り当てること、を含む方法。
【請求項２】
前記対象領域の画像解析を行うことをさらに含み、前記特徴をクラスに割り当てることは、前記画像解析と、前記比較の結果とに基づく請求項１の方法。
【請求項３】
画像解析を行なうことは、前記対象領域に対応する静止画像について勾配方向ヒストグラムを計算することを含む請求項２の方法。
【請求項４】
前記特徴をクラスに割り当てることは、ランダム決定森分類器を使用することを含む請求項１乃至３のいずれかの方法。
【請求項５】
前記特徴をクラスに割り当てることは、前記映像シーケンス中の歩行者に前記特徴が一致するかどうか判断することを含む請求項１乃至４のいずれかの方法。
【請求項６】
各セルのオプティックフローフィールドは、大きさと方向を示す複数のベクトルを含み、オプティックフローのヒストグラムを計算することは、前記ベクトルの方向に基づいて、セル内のオプティックフローの各ベクトルをビンに割り当てることを含む請求項１乃至５のいずれかの方法。
【請求項７】
前記フレームの前記オプティックフローフィールドを複数のチャネルとして記憶することをさらに含み、各チャネルは、前記オプティックフローのベクトルの方位範囲に対応する請求項６の方法。
【請求項８】
前記オプティックフローフィールドは、インテグラルイメージとして記憶される請求項７の方法。
【請求項９】
各セルの前記オプティックフローフィールドから前記対象領域について全体的に観察されたオプティックフローを減じることにより、前記映像シーケンスのカメラモーション補正を行うことをさらに含む請求項６乃至８のいずれかの方法。
【請求項１０】
コンピュータ上で実行されたとき、映像シーケンスの特徴を分類する命令をプロセッサに実行させるプログラムであって、前記命令は、
前記映像シーケンスのフレームの、前記特徴を含んでいる対象領域を選択すること、
前記対象領域を複数のセルに分割すること、
前記複数セルのセル内のオプティックフローのヒストグラムを計算すること、
セル対についての前記オプティックフローのヒストグラムを比較すること、
前記比較の結果の少なくとも一部に基づいて前記特徴をクラスに割り当てること、を含むプログラム。
【請求項１１】
映像シーケンスのフレームを受け取るように動作可能な入力モジュールと、
記憶モジュールと、
前記フレームの前記特徴を含んでいる対象領域を選択し、前記対象領域を複数のセルに分割し、前記複数セルのセル内のオプティックフローのヒストグラムを計算し、セル対についての前記オプティックフローのヒストグラムを比較し、前記比較の結果の少なくとも一部に基づいて前記特徴をクラスに割り当てるように動作可能なプロセッサと、
前記特徴に割り当てられたクラスを示す情報を出力するように動作可能な出力モジュールと、
を具備する映像解析システム。
【請求項１２】
前記プロセッサは、前記対象領域の画像解析を行うように動作可能であって、前記特徴をクラスに割り当てることは、前記画像解析と前記比較の結果とに基づく請求項１１のシステム。
【請求項１３】
前記プロセッサは、前記対象領域に対応する、静止画像の勾配方向ヒストグラムを計算することにより画像解析を行なうように動作可能である請求項１２のシステム。
【請求項１４】
前記プロセッサは、ランダム決定森分類器を用いて前記特徴をクラスに割り当てるように動作可能である請求項１１乃至１３のいずれかのシステム。
【請求項１５】
前記プロセッサは、前記特徴が前記映像シーケンスの歩行者に一致するかどうか判断することによって前記特徴をクラスに割り当てるように動作可能である請求項１１乃至１４のいずれかのシステム。
【請求項１６】
各セルのオプティックフローフィールドは、大きさと方向を示す複数のベクトルを含み、前記プロセッサは、前記ベクトルの方向に基づいて、セル内のオプティックフローの各ベクトルをビンに割り当てることにより、オプティックフローのヒストグラムを計算するように動作可能である請求項１１乃至１５のいずれかのシステム。
【請求項１７】
前記フレームのオプティックフローフィールドを複数のチャネルとして記憶するためのストレージをさらに具備し、各チャネルは、前記オプティックフローのベクトルの方位範囲に対応する請求項１６のシステム。
【請求項１８】
前記オプティックフローフィールドは、インテグラルイメージとして記憶される請求項１７のシステム。
【請求項１９】
前記プロセッサは、各セルの前記オプティックフローフィールドから前記対象領域について全体的に観察されたオプティックフローを減じることにより、映像シーケンスのカメラモーションを補償するように動作可能である請求項１６乃至１８のいずれかのシステム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１２−８４１４０（Ｐ２０１２−８４１４０Ａ）
【公開日】平成２４年４月２６日（２０１２．４．２６）
【国際特許分類】
【外国語出願】
【出願番号】特願２０１１−２０４６２３（Ｐ２０１１−２０４６２３）
【出願日】平成２３年９月２０日（２０１１．９．２０）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２４年４月２６日（２０１２．４．２６）
【国際特許分類】
【出願番号】特願２０１１−２０４６２３（Ｐ２０１１−２０４６２３）
【出願日】平成２３年９月２０日（２０１１．９．２０）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]