検出および追跡のためのグラフィカルオブジェクトモデル
コンピュータを利用したオブジェクト検出の方法が、検出すべきオブジェクトの時空間モデルを提供するステップ（５０１）と、前記オブジェクトを含んだ複数の画像から成るビデオを提供するステップ（５０２）と、前記オブジェクトを各画像内のコンポーネントのコレクションとして測定するステップ（５０３）を有する。この方法はさらに、前記オブジェクトが各画像内にある確率を求めるステップ（５０４）と、各画像についての前記確率とオブジェクト検出の閾値との比較に基づいて、前記画像のいずれかにおいて前記オブジェクトを検出するステップ（５０５）を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は２００４年５月２７日に出願されたアメリカ合衆国暫定特許出願通し番号６０／５７４，７９９の優先権を主張するものであり、該アメリカ合衆国暫定特許出願の全体が参照として本願に取り込まれている。
【０００２】
発明の背景
１．技術分野：
本発明は画像処理に、より詳細には、画像内のオブジェクトの自動検出および追跡に関する。
【０００３】
２．関連技術の検討：
複数のカテゴリのオブジェクト（例えば、顔、群衆、車）を記述および認識する問題はコンピュータビジョンの使用において重要である。オブジェクトを特有の外観と空間的広がりと位置とをもつ特徴のコレクションとして表現することは、一般的である。しかしながら、必要とされる特徴が幾つであるか、またこれらの特徴をどのように検出し表現するかに関しては、大きなばらつきがある。
【０００４】
したがって、コンポーネント検出を実現し、空間および時間にわたる推論を行う、オブジェクト検出および追跡のシステムと方法とに対するニーズが存在している。
【０００５】
発明の概要
本開示の１つの実施形態によれば、コンピュータを利用したオブジェクト検出の方法は、検出すべきオブジェクトの時空間モデルを提供するステップと、前記オブジェクトを含んだ複数の画像から成るビデオを提供するステップと、前記オブジェクトを各画像内のコンポーネントのコレクションとして測定するステップを有する。この方法はさらに、前記オブジェクトが各画像内にある確率を求めるステップと、各画像についての前記確率とオブジェクト検出の閾値との比較に基づいて、前記画像のいずれかにおいて前記オブジェクトを検出するステップを有する。
【０００６】
検出すべきオブジェクトの時空間モデルを提供するステップは、コンポーネントのコレクションの各々に対して検出器を提供するステップを含んでいる。
【０００７】
前記時空間モデルは、コンポーネントのコレクションの各々とオブジェクトとに対応するノードを含んだグラフィカルモデルである。
【０００８】
オブジェクトが各画像内にある確率を求めるステップは、現在画像に関連する先行画像と後続画像とから求めたコンポーネントのコレクションとしてのオブジェクトの測定値に従って、現在画像内のオブジェクトを検出するステップを含んでいる。
【０００９】
検出すべきオブジェクトの時空間モデルを提供するステップはさらに、複数の画像を画定する時間窓を提供するステップを含んでおり、該時間窓内で検出されたコンポーネントの測定値は現在画像内で検出されたコンポーネントに渡される。
【００１０】
オブジェクトが各画像内にある確率を求めるステップは、各画像内のオブジェクトの位置と大きさとに関する確率を求めるステップを含んでいる。
【００１１】
前記閾値は検出すべきオブジェクトに対して設けられるものであり、経験的に求められる。
【００１２】
Ｎ個のコンポーネントをもつ前記時空間モデルの同時確率分布は、
【数１】
である。
【００１３】
本開示の１つの実施形態によれば、オブジェクト検出のための方法ステップを実行する機械実行可能な命令プログラムを実体的に実現した機械可読プログラムストレージデバイスが提供される。前記方法ステップは、検出すべきオブジェクトの時空間モデルを提供するステップと、前記オブジェクトを含んだ複数の画像から成るビデオを提供するステップと、前記オブジェクトを各画像内のコンポーネントのコレクションとして測定するステップを含んでいる。この方法はさらに、前記オブジェクトが各画像内にある確率を求めるステップと、各画像についての前記確率とオブジェクト検出の閾値との比較に基づいて、前記画像のいずれかにおいて前記オブジェクトを検出するステップを有する。
【００１４】
図面の簡単な説明
以下では、添付の図面を参照して、本発明の好ましい実施形態をより詳細に説明する。
【００１５】
図１は、本開示の１つの実施形態によるシステムを示しており、
図２Ａおよび２Ｂは、それぞれ本開示の１つの実施形態による歩行者と車両に関するグラフィックモデルを示しており、
図３は、歩行者と本開示の１つの実施形態に従って識別されたこの歩行者のコンポーネントとを示しており、
図４は、本開示の１つの実施形態によるグラフィックモデルにおけるメッセージの受け渡し方法のフローチャートを示しており、
図５は、本開示の１つの実施形態による方法のフローチャートを示している。
【００１６】
好ましい実施形態の詳細な説明
本開示の１つの実施形態によれば、画像内またはビデオ内のオブジェクトのコンポーネントに基づいた自動検出および追跡の確率論的フレームワークは、オブジェクト検出と追跡を１つの統一されたフレームワークへと結合する。追跡はオクルージョンが一時的に衰退している間の初期化および再初期化のためにオブジェクト検出を利用する。オブジェクト検出は検出の経時的な整合性を考慮する。画像ベースの、恐らくはオーバーラップしたコンポーネント配列によるオブジェクトのモデリングは、複雑に分節化したオブジェクトの検出を容易にするとともに、オブジェクトの部分的なオクルージョンや照明の局所的な変化の処理にも役立つ。
【００１７】
図２Ａおよび２Ｂを参照すると、オブジェクトの検出および追跡は二層グラフィカルモデルにおける推論として定式化されている。この二層グラフィカルモデルでは、粗い層のノードがオブジェクト全体を表し、細かい層のノードがオブジェクトの複数のコンポーネントを表している。ノード間の有向辺は、学習した確率的な時間的および空間的束縛条件を表している。グラフィカルモデル内の各ノードは、ある時点における画像内のコンポーネントまたはオブジェクト全体の位置およびスケールに対応している。また、各ノードは、局所的な画像尤度を確定するために使用される対応する適応ブースティング（Ａｄａｂｏｏｓｔ）検出器と提案プロセスも有している。一般に、尤度と依存度はガウシアンではない。各ノードにおいて２Ｄの位置およびスケールを推論するために、ノンパラメトリック信念伝播法（ＢＰ）が実施される。ノンパラメトリック信念伝播法（ＢＰ）は、一種のパーティクルフィルタリングを使用しており、ループをもつグラフに適用することができる。
【００１８】
本発明はハードウェア、ソフトウェア、ファームウェア、専用プロセッサ、またはこれらの組合せといった様々な形態で実施できることが理解されなければならない。１つの実施形態では、本発明はプログラムストレージデバイス上に実体的に実現されたアプリケーションプログラムとしてソフトウェア内で実施される。このアプリケーションプログラムは、任意の適切なアーキテクチャをもつマシンにダウンロードされ、このマシンによって実行される。
【００１９】
図１を参照すると、オブジェクトの検出および追跡方法を実施するコンピュータシステム１０１は、本開示の１つの実施形態に従って、とりわけ、中央処理ユニット（ＣＰＵ）１０２、メモリ１０３、および入力／出力（Ｉ／Ｏ）インタフェース１０４から成ることができる。コンピュータシステム１０１は一般にＩ／Ｏインタフェース１０４を介してディスプレイ１０５とマウスやキーボードのような様々な入力デバイス１０６に接続されている。補助回路は、キャッシュ、電源、クロック回路、および通信バスのような回路を含んでいてよい。メモリ１０３は、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、ディスクドライブ、テープドライブなど、またはこれらの組合せを含んでいてよい。本発明はルーチン１０７として実施される。このルーチン１０７は、メモリ１０３に格納されており、信号源１０８からの信号を処理するためにＣＰＵ１０２により実行される。コンピュータシステム１０１はそれ自体としては汎用コンピュータシステムであり、本発明のルーチン１０７を実行するときに専用コンピュータシステムとなる。
【００２０】
コンピュータプラットフォーム１０１はまたオペレーティングシステムとマイクロ命令コードを有している。本明細書に記載されている様々なプロセスと機能は、マイクロ命令コードの一部であるか、またはオペレーティングシステムを介して実行されるアプリケーションプログラムの一部（またはこれらの組合せ）であってよい。さらに、付加的なデータストレージデバイスや印刷装置のような他の様々な周辺機器をこのコンピュータプラットフォームに接続してもよい。
【００２１】
添付図面に描かれたシステム構成要素と方法ステップのうちのいくつかはソフトウェアで実施されうるものであるから、システム構成要素（またはプロセスステップ）間の実際の接続は、本発明がプログラムされる仕方に応じて異なっていてよいことが理解されなければならない。本明細書で提供される本発明の教唆があれば、当業者は本発明のこれらの実施形態または構成ならびに類似の実施形態または構成を考案することができる。
【００２２】
グラフィカルオブジェクトモデル；自動車（図２参照）のようなオブジェクトは、有向時空間モデルとしてモデリングされる。グラフ内の各ノードは時点ｔにおけるオブジェクトまたはオブジェクトのコンポーネントのいずれかを表している。ノードは、画像内でのコンポーネントの実数値での位置とスケールとを定める対応する状態ベクトルＸT＝（ｘ，ｙ，ｓ）を有している（ここで、ｘ，ｙ，ｓ∈Ｒ）。Ｎ個のコンポーネントをもつこの時空間グラフィカルオブジェクトモデルの同時確率分布は次のように書ける：
【数２】
ここで、ＸOtとＸCntはそれぞれ時点ｔにおけるオブジェクトＯの状態とオブジェクトの第ｎコンポーネントＣnの状態であり（ｎ∈（１，Ｎ）、ｔ∈（１，Ｔ））、Ψik（ＸOi，ＸOj）はフレームｉとｊの間のオブジェクト状態の空間的両立性であり、Ψik（ＸOi，ＸCki）はフレームｉにおけるオブジェクトとそのコンポーネントの空間的両立性であり、Ψkl（ＸCki，ＸCii）はフレームｉにおけるオブジェクトコンポーネント間の空間的両立性であり、φi（ＸOi）とφi（ＸCki）はそれぞれオブジェクト状態とコンポーネント状態の局所的証拠を指示している。
【００２３】
本開示の１つの実施形態によれば、システムは以下のモジュールから成る：グラフィカルモデルモジュール、グラフ内の各ノードの状態を推論する能力を提供する推論モジュール、局所的証拠分布（または画像尤度）モジュール、グラフィカルモデル内のいつくかのノードまたはすべてのノードに関する提案プロセスモジュール、および、グラフの辺に対応する空間的および／または時間的束縛条件の集合から成るモジュール。
【００２４】
グラフィカルモデルの構築；単一フレームの場合には、オブジェクトは、例えば図２Ａおよび２Ｂに示されているように、二層空間グラフィカルモデルを用いて表現される。細かいコンポーネント層２０１は一連の疎結合した部分、例えば２０２、を含んでいる。粗いオブジェクト層２０３はオブジェクトの外観モデルの全体に対応しており、すべてのコンポーネント、例えば２０２、と結合している。歩行者と車両の検出の場合におけるこのようなモデルの例はそれぞれ２Ａと２Ｂに示されている。両方の場合とも、オブジェクトはオーバーラップする４つの画像コンポーネントを用いてモデリングされる。車両の場合、コンポーネントは左上（ＴＬ）２０４、右上（ＴＲ）２０５、右下（ＢＲ）２０６、および左下（ＢＬ）２０７の四隅である。歩行者の画像３０１の場合、コンポーネントは頭（ＨＤ）２０８、左腕（ＬＡ）２０９、右腕（ＲＡ）２１０、および脚（ＬＧ）２０２である（図３参照）。
【００２５】
時間的束縛条件を取り込むために、空間グラフィカルモデルは時間の経過に従って任意の長さの時間窓にまで拡張される。結果として得られる時空間モデルは図２Ａおよび２Ｂに示されている。二層グラフィカルモデルを有することにより、推論プロセスはオブジェクト全体、例えば２０３、に関して明確に推論をすることが可能になり、また、オブジェクトの全体的な外観を所与として、コンポーネントの、例えば２０２および２０８−２１０の、条件的独立性の仮定を認めることにより、時間の経過とともにグラフィカルモデルの複雑性を減少させることができる。択一的に、双方向の時間的束縛条件を付けて単一オブジェクト層モデルを構築してもよい。
【００２６】
図２Ａおよび２Ｂに見られるように、現時点のオブジェクトはＯtで表されており、現時点より前のモデルではＯt-(w-1)/2で表されており、後のモデルではＯt+(w-1)/2で表されている。
【００２７】
空間的および時間的束縛条件の学習；コンポーネントｉとｊの間のそれぞれの有向辺は、ノード状態の対の間の両立性を符号化する対応するポテンシャル関数Ψij（Ｘi，Ｘj）を有している。このポテンシャル関数Ψij（Ｘi，Ｘj）はＭij個のガウシアンの混合によってモデリングされる：
【数３】
ここで、λ0は固定の外れ値確率であり、μijとΛijは外れ値のガウス過程の平均と共分散であり、Ｆijm（・）とＧijm（・）はそれぞれｍ番目のガウシアン混合のコンポーネントの平均、共分散である。δijmは個々のコンポーネントの相対的な重みであり、
【数４】
である。ここに記した実験では、Ｍij＝２の混合コンポーネントを使用した。
【００２８】
各コンポーネントが単一の基準点に対応付けられている一連のラベル付けされた画像が与えられると、以下の形式のＦijm（・）を学習するために、Ｋ平均初期化を伴った反復期待最大化（ＥＭ）法が実施される：
【数５】
ここで、μxijm、μyijm、μsijmはｉに対するコンポーネントまたはオブジェクトｊの平均位置およびスケールである。Ｇijm（・）は、相対的な位置とスケールを表す対角行列であると仮定する。
【００２９】
ＡｄａＢｏｏｓｔ画像尤度；尤度φi（Ｘi）は、ノードｉの状態Ｘiに依存する、画像の観察確率をモデリングする。本開示の１つの実施形態による尤度モデルはブースト分類子を使用しており、部分的なオクルージョンと、異なる多数の入力間での画像統計量の変動性とに対してロバストである。
【００３０】
ブースト検出器は各コンポーネントに関して訓練される。簡潔さのために、ＡｄａＢｏｏｓｔをカスケードにせずに使用してもよい。カスケードを用いて訓練すれば、システムの計算効率は改善されるだろう。検出器が出す偽陽性の数を減らすために、ブートスラップ法により、訓練された強分類子を一連の背景画像（例えば、所望のオブジェクトを含まない画像）の上で走らせることにより集められた偽陽性を繰り返し加え、古い陽性の集合と新しい拡張された陰性の集合を用いて検出器を再訓練する。
【００３１】
ラベル付けされたパターンの集合が与えられると、ＡｄａＢｏｏｓｔプロシージャは基底弱分類子の加重結合
【数６】
を学習する。ここで、Ｉは画像パターンであり、ｈk（Ｉ）はｋ回目のブースティングのために選ばれた弱分類子であり、αkは対応する重みである。ｈk（Ｉ）＝ｐk（［ｆk（Ｉ））βk］1/βk＜θk）として弱分類子法が実施される。ここで、ｆk（Ｉ）は空間テンプレートの広がりの上でパターンＩをδ関数で畳み込むことによって計算されたパターンＩの特徴であり、θkは閾値であり、ｐkは不等号の向きを表す極性であり、βk∈｛１，２｝は対称的な両側パルス分類を可能にする。
【００３２】
ＡｄａＢｏｏｓｔ分類子の出力は、所与のパターンＩが所望のクラスものである信頼度ｈk（Ｉ）である。
【数７】
ならば、オブジェクトは存在すると見なされる。この信頼度は、ｈ（Ｉ）∈［０，１］、かつ、指数関数が
【数８】
となるように、αkたちを正規化することにより、尤度関数に変換される。ここで、Ｔは尤度関数の滑らかさを制御する温度パラメータであり、Ｔの値が小さくなれば、分布のピークはより険しくなる。したがって、尤度はＴの変化のスケジュールを導出することにより焼き鈍すことができる。実用において良く機能するように、指数関数的焼き鈍しスケジュールＴ＝Ｔ0υκが求められている。ここで、Ｔ0は初期温度であり、υはυ∈（０，１）となる小数であり、κは焼き鈍しの繰り返し回数である。
【００３３】
オブジェクトによっては、オブジェクト層ノードに対して尤度または提案プロセスが得られる場合もあれば、得られない場合もある。例えば、オブジェクトの全体的な外観が複雑すぎて全体（例えば、任意の大きさの車両）としてモデリングできず、コンポーネントでしかモデリングできない場合、オブジェクト状態空間上に一様尤度を仮定してもよい。このような場合、オブジェクト層ノードは単純にコンポーネント情報を融合して、経時的に整合するオブジェクト状態の推定値を出す。
【００３４】
ノンパラメトリックＢＰ；あるフレームワークにおいてオブジェクトとそのコンポーネントの状態を推論することは、グラフィカルモデルにおいて信念を推定することとして定義される。このタスクを処理するために、ノンパラメトリック信念伝播法の１つの形態であるＰＡＭＰＡＳ（Proceedings of IEEE International Conference on Computer Vision and Pattern Recognition, vol.1, pp.421-428, 2004に所収の"PAMPAS: Real-valued graphical models for computer vision"においてＭ．Ｉｓａｒｄにより提案されている）が実施される。この手法はパーティクルフィルタリングの一般化であり、単純なチェーンの上での推論はなく任意のグラフの上での推論を可能にする。この一般化では、信念伝播法において使用されるメッセージは、ガウス密度の混合を通してパーティクル集合を伝播させることにより形成されるカーネル密度で近似され、標準的なパーティクルフィルタリングで使用される条件付き分布は入来するメッセージの積で置き換えられる。計算の複雑さのほとんどは、メッセージの受け渡しと信念推定に必要とされるカーネル密度の積からのサンプリングにある。この問題に対処するために、我々は効率的な逐次マルチスケール・ギブズ・サンプリングとε正確な（epsilon-exact）サンプリングを使用する。
【００３５】
個々のメッセージは十分にノードを束縛しないこともあるが、ノードに入来するすべてのメッセージにわたる積は状態空間内に非常に密な分布を生じさせる傾向がある。例えば、車両のいずれか１つのコンポーネントでは車両の高さを信頼性をもって推定することは不可能であるが、すべてのコンポーネントからの情報がオブジェクト層ノードに取り込まれれば、オブジェクトの全体的な大きさの推定値を計算することができる。
【００３６】
より形式的には、メッセージｍijは
【数９】
と書かれる。ここで、Ａiはノードｉの近隣ノードの集合であり、｛Ａi＼ｊ｝はノードｊを除くノードｉの近隣ノードの集合であり、φi（Ｘi）はノードｉに関連した局所的証拠（または尤度）であり、Ψij（Ｘi，Ｘj）はノードｉとｊの状態の間の両立性を示すポテンシャルである。信念および提案関数からの階層的サンプリングによってどのようにメッセージの更新を実行することができるかについての詳細は、図４に示されている。
【００３７】
図４を参照すると、グラフィカルモデルのノード間でメッセージを受け渡しする方法は、ノードｉに関連した尤度を求めるステップ４０１と、ノードｉの状態に依存して画像を観察するステップ４０２と、ノードｉとｊ、ノードｉとｋ、ノードｉとｌの状態の間の両立性を表すポテンシャルを求めるステップ４０３を含んでいる。メッセージ４０５は近隣ノードがどのような状態となるかに関する情報４０４を伝播させるためにノード間で受け渡しされる。
【００３８】
画像シーケンス全体に対して定義された時空間モデル上で推論を行うことは可能であるが、多くのアプリケーションでは、長たらしいオフライン処理が必要とされるため、これは選択肢とならない。ｗフレーム窓付き平滑化アルゴリズムは、ｗが奇数≧１である場合に使用される。窓付き平滑化を行うには、オブジェクト検出を中心とした方法または追跡を中心とした方法の２つの方法がある。前者では、窓をシフトする度にすべてのノードを再初期化する。したがって、時間的統一性はサイズｗの窓の中でしか成立しない。追跡を中心とした方法では、新しいフレームに関連するノードしか初期化されないので、ｔ−（ｗ−１）／２より前からの時間的整合性を強化する傾向がある。追跡を中心とした方法はより速く収束し、経時的により整合的な結果を出す一方で、シーンに出入りするオブジェクトに対する感度もより低い。ｗ＝１の場合には、このアルゴリズムは単一フレームのコンポーネントに基づいた融合に類似する。
【００３９】
提案プロセス；信頼性を以てオブジェクトを検出および追跡するために、ノンパラメトリックＢＰはボトムアップ提案プロセスを利用する。このボトムアップ提案プロセスは、絶えずオブジェクトとコンポーネントの状態に関する代替的仮説を探し、提案する。提案分布は重み付けされたパーティクル集合を用いてモデリングされる。コンポーネントの提案パーティクル集合を形成するために、対応するＡｄａＢｏｏｓｔ検出器は閾値
【数１０】
より上のスコアを有する検出結果を出すために複数のスケールで画像上を走る。この集合は外観モデル全体にとっては処理可能であるが、専用でないコンポーネント検出器にとっては大きい（例えば、数千のロケーションは容易に見付けることができる）。大きさを減少させるために、上位Ｐ位のスコアを有する検出のみが保存される。なお、Ｐは１００〜２００のオーダーである。広範な探索を達成するため、一様分布を用いて提案からのサンプルパーティクルをインポートした。
【００４０】
図５を参照すると、コンピュータを利用したオブジェクト検出の方法は、オブジェクトの時空間モデル、例えば、図２Ａおよび２Ｂ参照、を提供するステップ５０１、前記オブジェクトを含んだ複数の画像から成るビデオを提供するステップ５０２、および、前記オブジェクトをビデオの各画像内のコンポーネントのコレクションとして測定するステップ５０３を含んでいる。この方法さらに、時空間モデルのノードとして表されたコンポーネントの間でのメッセージの受け渡しを利用して、前記オブジェクトが各画像内にある確率を求めるステップ５０４と、各画像についての前記確率とオブジェクト検出の閾値との比較に基づいて、前記画像のいずれかにおいてオブジェクトを検出するステップ５０５を含んでいる。
【００４１】
実験；単一の車載グレースケールカメラで収集した一連の画像を用いてテストを行った。５５個の連続フレームから成るシーケンスにわたる車両検出および追跡の結果を評価した。３フレーム時空間オブジェクトモデルを使用し、追跡を中心とした方法により、時間の経過とともにこのモデルをシフトさせた。ＢＰは各フレームにおいて１０回の繰り返しにわたって３０のパーティクルを用いて実行された。比較のために、単純な融合スキームも実施した。この単純な融合スキームは、各フレームにおいて車両位置とスケールの推定値を独立して求めるために、４つのコンポーネントの各々からの最良の検出結果を平均するものである。単純な融合スキームのパフォーマンスは悪く、雑音のあるコンポーネント検出器は正しい位置およびスケールにおいて大域的な最大値を有さないことがよくあることを示唆している。対照的に、時空間オブジェクトモデルはシーケンス全体を通して正確な推定値の証拠を整合的に結合する。
【００４２】
２つの異なるシーンにおいて、２人の歩行者に関して、単一の時間インスタンスに３フレーム時空間オブジェクトモデルを走らせた。車両検出と同様に、１０回の繰り返しにわたって３０のパーティクルを用いてＢＰを実行した。両方の実験において、尤度の温度はＴ0＝０．２に設定される。
【００４３】
本開示の１つの実施形態によれば、オブジェクト検出追跡フレームはブースト分類子とノンパラメトリック信念伝播法を利用している。この手法はコンポーネントをベースにした検出を提供し、任意のサイズの時間窓にわたって時間的情報を統合する。このフレームワークのパフォーマンスは、車両と歩行者という２つのオブジェクトのクラスを用いて説明されている。両方のケースにおいて、オブジェクトとそのコンポーネントの位置およびスケールは信頼性をもって推論される。
【００４４】
オブジェクト検出および追跡のためのシステムと方法の実施形態を説明してきたが、当業者には上記の教唆に照らして改良および変更が可能であることを指摘しておきたい。それゆえ、開示された本発明の個々の実施形態に対して、添付した請求項により規定されるものとしての本発明の範囲および趣旨の内で、変更を為しうることが理解されなければならない。以上、特許法により要求される詳細および特定性を以て本発明を説明したが、請求および特許証による保護を求めるものは添付した請求項に示されている。
【図面の簡単な説明】
【００４５】
【図１】本開示の１つの実施形態によるシステムを示す。
【図２Ａ】本開示の１つの実施形態による歩行者に関するグラフィックモデルを示す。
【図２Ｂ】本開示の１つの実施形態による車両に関するグラフィックモデルを示す。
【図３】歩行者と本開示の１つの実施形態に従って識別されたこの歩行者のコンポーネントとを示す。
【図４】本開示の１つの実施形態によるグラフィックモデルにおけるメッセージの受け渡し方法のフローチャートを示す。
【図５】本開示の１つの実施形態による方法のフローチャートを示す。
【技術分野】
【０００１】
本出願は２００４年５月２７日に出願されたアメリカ合衆国暫定特許出願通し番号６０／５７４，７９９の優先権を主張するものであり、該アメリカ合衆国暫定特許出願の全体が参照として本願に取り込まれている。
【０００２】
発明の背景
１．技術分野：
本発明は画像処理に、より詳細には、画像内のオブジェクトの自動検出および追跡に関する。
【０００３】
２．関連技術の検討：
複数のカテゴリのオブジェクト（例えば、顔、群衆、車）を記述および認識する問題はコンピュータビジョンの使用において重要である。オブジェクトを特有の外観と空間的広がりと位置とをもつ特徴のコレクションとして表現することは、一般的である。しかしながら、必要とされる特徴が幾つであるか、またこれらの特徴をどのように検出し表現するかに関しては、大きなばらつきがある。
【０００４】
したがって、コンポーネント検出を実現し、空間および時間にわたる推論を行う、オブジェクト検出および追跡のシステムと方法とに対するニーズが存在している。
【０００５】
発明の概要
本開示の１つの実施形態によれば、コンピュータを利用したオブジェクト検出の方法は、検出すべきオブジェクトの時空間モデルを提供するステップと、前記オブジェクトを含んだ複数の画像から成るビデオを提供するステップと、前記オブジェクトを各画像内のコンポーネントのコレクションとして測定するステップを有する。この方法はさらに、前記オブジェクトが各画像内にある確率を求めるステップと、各画像についての前記確率とオブジェクト検出の閾値との比較に基づいて、前記画像のいずれかにおいて前記オブジェクトを検出するステップを有する。
【０００６】
検出すべきオブジェクトの時空間モデルを提供するステップは、コンポーネントのコレクションの各々に対して検出器を提供するステップを含んでいる。
【０００７】
前記時空間モデルは、コンポーネントのコレクションの各々とオブジェクトとに対応するノードを含んだグラフィカルモデルである。
【０００８】
オブジェクトが各画像内にある確率を求めるステップは、現在画像に関連する先行画像と後続画像とから求めたコンポーネントのコレクションとしてのオブジェクトの測定値に従って、現在画像内のオブジェクトを検出するステップを含んでいる。
【０００９】
検出すべきオブジェクトの時空間モデルを提供するステップはさらに、複数の画像を画定する時間窓を提供するステップを含んでおり、該時間窓内で検出されたコンポーネントの測定値は現在画像内で検出されたコンポーネントに渡される。
【００１０】
オブジェクトが各画像内にある確率を求めるステップは、各画像内のオブジェクトの位置と大きさとに関する確率を求めるステップを含んでいる。
【００１１】
前記閾値は検出すべきオブジェクトに対して設けられるものであり、経験的に求められる。
【００１２】
Ｎ個のコンポーネントをもつ前記時空間モデルの同時確率分布は、
【数１】
である。
【００１３】
本開示の１つの実施形態によれば、オブジェクト検出のための方法ステップを実行する機械実行可能な命令プログラムを実体的に実現した機械可読プログラムストレージデバイスが提供される。前記方法ステップは、検出すべきオブジェクトの時空間モデルを提供するステップと、前記オブジェクトを含んだ複数の画像から成るビデオを提供するステップと、前記オブジェクトを各画像内のコンポーネントのコレクションとして測定するステップを含んでいる。この方法はさらに、前記オブジェクトが各画像内にある確率を求めるステップと、各画像についての前記確率とオブジェクト検出の閾値との比較に基づいて、前記画像のいずれかにおいて前記オブジェクトを検出するステップを有する。
【００１４】
図面の簡単な説明
以下では、添付の図面を参照して、本発明の好ましい実施形態をより詳細に説明する。
【００１５】
図１は、本開示の１つの実施形態によるシステムを示しており、
図２Ａおよび２Ｂは、それぞれ本開示の１つの実施形態による歩行者と車両に関するグラフィックモデルを示しており、
図３は、歩行者と本開示の１つの実施形態に従って識別されたこの歩行者のコンポーネントとを示しており、
図４は、本開示の１つの実施形態によるグラフィックモデルにおけるメッセージの受け渡し方法のフローチャートを示しており、
図５は、本開示の１つの実施形態による方法のフローチャートを示している。
【００１６】
好ましい実施形態の詳細な説明
本開示の１つの実施形態によれば、画像内またはビデオ内のオブジェクトのコンポーネントに基づいた自動検出および追跡の確率論的フレームワークは、オブジェクト検出と追跡を１つの統一されたフレームワークへと結合する。追跡はオクルージョンが一時的に衰退している間の初期化および再初期化のためにオブジェクト検出を利用する。オブジェクト検出は検出の経時的な整合性を考慮する。画像ベースの、恐らくはオーバーラップしたコンポーネント配列によるオブジェクトのモデリングは、複雑に分節化したオブジェクトの検出を容易にするとともに、オブジェクトの部分的なオクルージョンや照明の局所的な変化の処理にも役立つ。
【００１７】
図２Ａおよび２Ｂを参照すると、オブジェクトの検出および追跡は二層グラフィカルモデルにおける推論として定式化されている。この二層グラフィカルモデルでは、粗い層のノードがオブジェクト全体を表し、細かい層のノードがオブジェクトの複数のコンポーネントを表している。ノード間の有向辺は、学習した確率的な時間的および空間的束縛条件を表している。グラフィカルモデル内の各ノードは、ある時点における画像内のコンポーネントまたはオブジェクト全体の位置およびスケールに対応している。また、各ノードは、局所的な画像尤度を確定するために使用される対応する適応ブースティング（Ａｄａｂｏｏｓｔ）検出器と提案プロセスも有している。一般に、尤度と依存度はガウシアンではない。各ノードにおいて２Ｄの位置およびスケールを推論するために、ノンパラメトリック信念伝播法（ＢＰ）が実施される。ノンパラメトリック信念伝播法（ＢＰ）は、一種のパーティクルフィルタリングを使用しており、ループをもつグラフに適用することができる。
【００１８】
本発明はハードウェア、ソフトウェア、ファームウェア、専用プロセッサ、またはこれらの組合せといった様々な形態で実施できることが理解されなければならない。１つの実施形態では、本発明はプログラムストレージデバイス上に実体的に実現されたアプリケーションプログラムとしてソフトウェア内で実施される。このアプリケーションプログラムは、任意の適切なアーキテクチャをもつマシンにダウンロードされ、このマシンによって実行される。
【００１９】
図１を参照すると、オブジェクトの検出および追跡方法を実施するコンピュータシステム１０１は、本開示の１つの実施形態に従って、とりわけ、中央処理ユニット（ＣＰＵ）１０２、メモリ１０３、および入力／出力（Ｉ／Ｏ）インタフェース１０４から成ることができる。コンピュータシステム１０１は一般にＩ／Ｏインタフェース１０４を介してディスプレイ１０５とマウスやキーボードのような様々な入力デバイス１０６に接続されている。補助回路は、キャッシュ、電源、クロック回路、および通信バスのような回路を含んでいてよい。メモリ１０３は、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、ディスクドライブ、テープドライブなど、またはこれらの組合せを含んでいてよい。本発明はルーチン１０７として実施される。このルーチン１０７は、メモリ１０３に格納されており、信号源１０８からの信号を処理するためにＣＰＵ１０２により実行される。コンピュータシステム１０１はそれ自体としては汎用コンピュータシステムであり、本発明のルーチン１０７を実行するときに専用コンピュータシステムとなる。
【００２０】
コンピュータプラットフォーム１０１はまたオペレーティングシステムとマイクロ命令コードを有している。本明細書に記載されている様々なプロセスと機能は、マイクロ命令コードの一部であるか、またはオペレーティングシステムを介して実行されるアプリケーションプログラムの一部（またはこれらの組合せ）であってよい。さらに、付加的なデータストレージデバイスや印刷装置のような他の様々な周辺機器をこのコンピュータプラットフォームに接続してもよい。
【００２１】
添付図面に描かれたシステム構成要素と方法ステップのうちのいくつかはソフトウェアで実施されうるものであるから、システム構成要素（またはプロセスステップ）間の実際の接続は、本発明がプログラムされる仕方に応じて異なっていてよいことが理解されなければならない。本明細書で提供される本発明の教唆があれば、当業者は本発明のこれらの実施形態または構成ならびに類似の実施形態または構成を考案することができる。
【００２２】
グラフィカルオブジェクトモデル；自動車（図２参照）のようなオブジェクトは、有向時空間モデルとしてモデリングされる。グラフ内の各ノードは時点ｔにおけるオブジェクトまたはオブジェクトのコンポーネントのいずれかを表している。ノードは、画像内でのコンポーネントの実数値での位置とスケールとを定める対応する状態ベクトルＸT＝（ｘ，ｙ，ｓ）を有している（ここで、ｘ，ｙ，ｓ∈Ｒ）。Ｎ個のコンポーネントをもつこの時空間グラフィカルオブジェクトモデルの同時確率分布は次のように書ける：
【数２】
ここで、ＸOtとＸCntはそれぞれ時点ｔにおけるオブジェクトＯの状態とオブジェクトの第ｎコンポーネントＣnの状態であり（ｎ∈（１，Ｎ）、ｔ∈（１，Ｔ））、Ψik（ＸOi，ＸOj）はフレームｉとｊの間のオブジェクト状態の空間的両立性であり、Ψik（ＸOi，ＸCki）はフレームｉにおけるオブジェクトとそのコンポーネントの空間的両立性であり、Ψkl（ＸCki，ＸCii）はフレームｉにおけるオブジェクトコンポーネント間の空間的両立性であり、φi（ＸOi）とφi（ＸCki）はそれぞれオブジェクト状態とコンポーネント状態の局所的証拠を指示している。
【００２３】
本開示の１つの実施形態によれば、システムは以下のモジュールから成る：グラフィカルモデルモジュール、グラフ内の各ノードの状態を推論する能力を提供する推論モジュール、局所的証拠分布（または画像尤度）モジュール、グラフィカルモデル内のいつくかのノードまたはすべてのノードに関する提案プロセスモジュール、および、グラフの辺に対応する空間的および／または時間的束縛条件の集合から成るモジュール。
【００２４】
グラフィカルモデルの構築；単一フレームの場合には、オブジェクトは、例えば図２Ａおよび２Ｂに示されているように、二層空間グラフィカルモデルを用いて表現される。細かいコンポーネント層２０１は一連の疎結合した部分、例えば２０２、を含んでいる。粗いオブジェクト層２０３はオブジェクトの外観モデルの全体に対応しており、すべてのコンポーネント、例えば２０２、と結合している。歩行者と車両の検出の場合におけるこのようなモデルの例はそれぞれ２Ａと２Ｂに示されている。両方の場合とも、オブジェクトはオーバーラップする４つの画像コンポーネントを用いてモデリングされる。車両の場合、コンポーネントは左上（ＴＬ）２０４、右上（ＴＲ）２０５、右下（ＢＲ）２０６、および左下（ＢＬ）２０７の四隅である。歩行者の画像３０１の場合、コンポーネントは頭（ＨＤ）２０８、左腕（ＬＡ）２０９、右腕（ＲＡ）２１０、および脚（ＬＧ）２０２である（図３参照）。
【００２５】
時間的束縛条件を取り込むために、空間グラフィカルモデルは時間の経過に従って任意の長さの時間窓にまで拡張される。結果として得られる時空間モデルは図２Ａおよび２Ｂに示されている。二層グラフィカルモデルを有することにより、推論プロセスはオブジェクト全体、例えば２０３、に関して明確に推論をすることが可能になり、また、オブジェクトの全体的な外観を所与として、コンポーネントの、例えば２０２および２０８−２１０の、条件的独立性の仮定を認めることにより、時間の経過とともにグラフィカルモデルの複雑性を減少させることができる。択一的に、双方向の時間的束縛条件を付けて単一オブジェクト層モデルを構築してもよい。
【００２６】
図２Ａおよび２Ｂに見られるように、現時点のオブジェクトはＯtで表されており、現時点より前のモデルではＯt-(w-1)/2で表されており、後のモデルではＯt+(w-1)/2で表されている。
【００２７】
空間的および時間的束縛条件の学習；コンポーネントｉとｊの間のそれぞれの有向辺は、ノード状態の対の間の両立性を符号化する対応するポテンシャル関数Ψij（Ｘi，Ｘj）を有している。このポテンシャル関数Ψij（Ｘi，Ｘj）はＭij個のガウシアンの混合によってモデリングされる：
【数３】
ここで、λ0は固定の外れ値確率であり、μijとΛijは外れ値のガウス過程の平均と共分散であり、Ｆijm（・）とＧijm（・）はそれぞれｍ番目のガウシアン混合のコンポーネントの平均、共分散である。δijmは個々のコンポーネントの相対的な重みであり、
【数４】
である。ここに記した実験では、Ｍij＝２の混合コンポーネントを使用した。
【００２８】
各コンポーネントが単一の基準点に対応付けられている一連のラベル付けされた画像が与えられると、以下の形式のＦijm（・）を学習するために、Ｋ平均初期化を伴った反復期待最大化（ＥＭ）法が実施される：
【数５】
ここで、μxijm、μyijm、μsijmはｉに対するコンポーネントまたはオブジェクトｊの平均位置およびスケールである。Ｇijm（・）は、相対的な位置とスケールを表す対角行列であると仮定する。
【００２９】
ＡｄａＢｏｏｓｔ画像尤度；尤度φi（Ｘi）は、ノードｉの状態Ｘiに依存する、画像の観察確率をモデリングする。本開示の１つの実施形態による尤度モデルはブースト分類子を使用しており、部分的なオクルージョンと、異なる多数の入力間での画像統計量の変動性とに対してロバストである。
【００３０】
ブースト検出器は各コンポーネントに関して訓練される。簡潔さのために、ＡｄａＢｏｏｓｔをカスケードにせずに使用してもよい。カスケードを用いて訓練すれば、システムの計算効率は改善されるだろう。検出器が出す偽陽性の数を減らすために、ブートスラップ法により、訓練された強分類子を一連の背景画像（例えば、所望のオブジェクトを含まない画像）の上で走らせることにより集められた偽陽性を繰り返し加え、古い陽性の集合と新しい拡張された陰性の集合を用いて検出器を再訓練する。
【００３１】
ラベル付けされたパターンの集合が与えられると、ＡｄａＢｏｏｓｔプロシージャは基底弱分類子の加重結合
【数６】
を学習する。ここで、Ｉは画像パターンであり、ｈk（Ｉ）はｋ回目のブースティングのために選ばれた弱分類子であり、αkは対応する重みである。ｈk（Ｉ）＝ｐk（［ｆk（Ｉ））βk］1/βk＜θk）として弱分類子法が実施される。ここで、ｆk（Ｉ）は空間テンプレートの広がりの上でパターンＩをδ関数で畳み込むことによって計算されたパターンＩの特徴であり、θkは閾値であり、ｐkは不等号の向きを表す極性であり、βk∈｛１，２｝は対称的な両側パルス分類を可能にする。
【００３２】
ＡｄａＢｏｏｓｔ分類子の出力は、所与のパターンＩが所望のクラスものである信頼度ｈk（Ｉ）である。
【数７】
ならば、オブジェクトは存在すると見なされる。この信頼度は、ｈ（Ｉ）∈［０，１］、かつ、指数関数が
【数８】
となるように、αkたちを正規化することにより、尤度関数に変換される。ここで、Ｔは尤度関数の滑らかさを制御する温度パラメータであり、Ｔの値が小さくなれば、分布のピークはより険しくなる。したがって、尤度はＴの変化のスケジュールを導出することにより焼き鈍すことができる。実用において良く機能するように、指数関数的焼き鈍しスケジュールＴ＝Ｔ0υκが求められている。ここで、Ｔ0は初期温度であり、υはυ∈（０，１）となる小数であり、κは焼き鈍しの繰り返し回数である。
【００３３】
オブジェクトによっては、オブジェクト層ノードに対して尤度または提案プロセスが得られる場合もあれば、得られない場合もある。例えば、オブジェクトの全体的な外観が複雑すぎて全体（例えば、任意の大きさの車両）としてモデリングできず、コンポーネントでしかモデリングできない場合、オブジェクト状態空間上に一様尤度を仮定してもよい。このような場合、オブジェクト層ノードは単純にコンポーネント情報を融合して、経時的に整合するオブジェクト状態の推定値を出す。
【００３４】
ノンパラメトリックＢＰ；あるフレームワークにおいてオブジェクトとそのコンポーネントの状態を推論することは、グラフィカルモデルにおいて信念を推定することとして定義される。このタスクを処理するために、ノンパラメトリック信念伝播法の１つの形態であるＰＡＭＰＡＳ（Proceedings of IEEE International Conference on Computer Vision and Pattern Recognition, vol.1, pp.421-428, 2004に所収の"PAMPAS: Real-valued graphical models for computer vision"においてＭ．Ｉｓａｒｄにより提案されている）が実施される。この手法はパーティクルフィルタリングの一般化であり、単純なチェーンの上での推論はなく任意のグラフの上での推論を可能にする。この一般化では、信念伝播法において使用されるメッセージは、ガウス密度の混合を通してパーティクル集合を伝播させることにより形成されるカーネル密度で近似され、標準的なパーティクルフィルタリングで使用される条件付き分布は入来するメッセージの積で置き換えられる。計算の複雑さのほとんどは、メッセージの受け渡しと信念推定に必要とされるカーネル密度の積からのサンプリングにある。この問題に対処するために、我々は効率的な逐次マルチスケール・ギブズ・サンプリングとε正確な（epsilon-exact）サンプリングを使用する。
【００３５】
個々のメッセージは十分にノードを束縛しないこともあるが、ノードに入来するすべてのメッセージにわたる積は状態空間内に非常に密な分布を生じさせる傾向がある。例えば、車両のいずれか１つのコンポーネントでは車両の高さを信頼性をもって推定することは不可能であるが、すべてのコンポーネントからの情報がオブジェクト層ノードに取り込まれれば、オブジェクトの全体的な大きさの推定値を計算することができる。
【００３６】
より形式的には、メッセージｍijは
【数９】
と書かれる。ここで、Ａiはノードｉの近隣ノードの集合であり、｛Ａi＼ｊ｝はノードｊを除くノードｉの近隣ノードの集合であり、φi（Ｘi）はノードｉに関連した局所的証拠（または尤度）であり、Ψij（Ｘi，Ｘj）はノードｉとｊの状態の間の両立性を示すポテンシャルである。信念および提案関数からの階層的サンプリングによってどのようにメッセージの更新を実行することができるかについての詳細は、図４に示されている。
【００３７】
図４を参照すると、グラフィカルモデルのノード間でメッセージを受け渡しする方法は、ノードｉに関連した尤度を求めるステップ４０１と、ノードｉの状態に依存して画像を観察するステップ４０２と、ノードｉとｊ、ノードｉとｋ、ノードｉとｌの状態の間の両立性を表すポテンシャルを求めるステップ４０３を含んでいる。メッセージ４０５は近隣ノードがどのような状態となるかに関する情報４０４を伝播させるためにノード間で受け渡しされる。
【００３８】
画像シーケンス全体に対して定義された時空間モデル上で推論を行うことは可能であるが、多くのアプリケーションでは、長たらしいオフライン処理が必要とされるため、これは選択肢とならない。ｗフレーム窓付き平滑化アルゴリズムは、ｗが奇数≧１である場合に使用される。窓付き平滑化を行うには、オブジェクト検出を中心とした方法または追跡を中心とした方法の２つの方法がある。前者では、窓をシフトする度にすべてのノードを再初期化する。したがって、時間的統一性はサイズｗの窓の中でしか成立しない。追跡を中心とした方法では、新しいフレームに関連するノードしか初期化されないので、ｔ−（ｗ−１）／２より前からの時間的整合性を強化する傾向がある。追跡を中心とした方法はより速く収束し、経時的により整合的な結果を出す一方で、シーンに出入りするオブジェクトに対する感度もより低い。ｗ＝１の場合には、このアルゴリズムは単一フレームのコンポーネントに基づいた融合に類似する。
【００３９】
提案プロセス；信頼性を以てオブジェクトを検出および追跡するために、ノンパラメトリックＢＰはボトムアップ提案プロセスを利用する。このボトムアップ提案プロセスは、絶えずオブジェクトとコンポーネントの状態に関する代替的仮説を探し、提案する。提案分布は重み付けされたパーティクル集合を用いてモデリングされる。コンポーネントの提案パーティクル集合を形成するために、対応するＡｄａＢｏｏｓｔ検出器は閾値
【数１０】
より上のスコアを有する検出結果を出すために複数のスケールで画像上を走る。この集合は外観モデル全体にとっては処理可能であるが、専用でないコンポーネント検出器にとっては大きい（例えば、数千のロケーションは容易に見付けることができる）。大きさを減少させるために、上位Ｐ位のスコアを有する検出のみが保存される。なお、Ｐは１００〜２００のオーダーである。広範な探索を達成するため、一様分布を用いて提案からのサンプルパーティクルをインポートした。
【００４０】
図５を参照すると、コンピュータを利用したオブジェクト検出の方法は、オブジェクトの時空間モデル、例えば、図２Ａおよび２Ｂ参照、を提供するステップ５０１、前記オブジェクトを含んだ複数の画像から成るビデオを提供するステップ５０２、および、前記オブジェクトをビデオの各画像内のコンポーネントのコレクションとして測定するステップ５０３を含んでいる。この方法さらに、時空間モデルのノードとして表されたコンポーネントの間でのメッセージの受け渡しを利用して、前記オブジェクトが各画像内にある確率を求めるステップ５０４と、各画像についての前記確率とオブジェクト検出の閾値との比較に基づいて、前記画像のいずれかにおいてオブジェクトを検出するステップ５０５を含んでいる。
【００４１】
実験；単一の車載グレースケールカメラで収集した一連の画像を用いてテストを行った。５５個の連続フレームから成るシーケンスにわたる車両検出および追跡の結果を評価した。３フレーム時空間オブジェクトモデルを使用し、追跡を中心とした方法により、時間の経過とともにこのモデルをシフトさせた。ＢＰは各フレームにおいて１０回の繰り返しにわたって３０のパーティクルを用いて実行された。比較のために、単純な融合スキームも実施した。この単純な融合スキームは、各フレームにおいて車両位置とスケールの推定値を独立して求めるために、４つのコンポーネントの各々からの最良の検出結果を平均するものである。単純な融合スキームのパフォーマンスは悪く、雑音のあるコンポーネント検出器は正しい位置およびスケールにおいて大域的な最大値を有さないことがよくあることを示唆している。対照的に、時空間オブジェクトモデルはシーケンス全体を通して正確な推定値の証拠を整合的に結合する。
【００４２】
２つの異なるシーンにおいて、２人の歩行者に関して、単一の時間インスタンスに３フレーム時空間オブジェクトモデルを走らせた。車両検出と同様に、１０回の繰り返しにわたって３０のパーティクルを用いてＢＰを実行した。両方の実験において、尤度の温度はＴ0＝０．２に設定される。
【００４３】
本開示の１つの実施形態によれば、オブジェクト検出追跡フレームはブースト分類子とノンパラメトリック信念伝播法を利用している。この手法はコンポーネントをベースにした検出を提供し、任意のサイズの時間窓にわたって時間的情報を統合する。このフレームワークのパフォーマンスは、車両と歩行者という２つのオブジェクトのクラスを用いて説明されている。両方のケースにおいて、オブジェクトとそのコンポーネントの位置およびスケールは信頼性をもって推論される。
【００４４】
オブジェクト検出および追跡のためのシステムと方法の実施形態を説明してきたが、当業者には上記の教唆に照らして改良および変更が可能であることを指摘しておきたい。それゆえ、開示された本発明の個々の実施形態に対して、添付した請求項により規定されるものとしての本発明の範囲および趣旨の内で、変更を為しうることが理解されなければならない。以上、特許法により要求される詳細および特定性を以て本発明を説明したが、請求および特許証による保護を求めるものは添付した請求項に示されている。
【図面の簡単な説明】
【００４５】
【図１】本開示の１つの実施形態によるシステムを示す。
【図２Ａ】本開示の１つの実施形態による歩行者に関するグラフィックモデルを示す。
【図２Ｂ】本開示の１つの実施形態による車両に関するグラフィックモデルを示す。
【図３】歩行者と本開示の１つの実施形態に従って識別されたこの歩行者のコンポーネントとを示す。
【図４】本開示の１つの実施形態によるグラフィックモデルにおけるメッセージの受け渡し方法のフローチャートを示す。
【図５】本開示の１つの実施形態による方法のフローチャートを示す。
【特許請求の範囲】
【請求項１】
コンピュータを利用したオブジェクト検出の方法において、
検出すべきオブジェクトの時空間モデルを提供するステップと、
前記オブジェクトを含んだ複数の画像から成るビデオを提供するステップと、
前記オブジェクトを各画像内のコンポーネントのコレクションとして測定するステップと、
前記オブジェクトが各画像内にある確率を求めるステップと、
各画像についての前記確率とオブジェクト検出の閾値との比較に基づいて、前記画像のいずれかにおいてオブジェクトを検出するステップを有することを特徴とする、コンピュータを利用したオブジェクト検出の方法。
【請求項２】
検出すべきオブジェクトの時空間モデルを提供する前記ステップは、コンポーネントのコレクションの各々に対して検出器を提供するステップを含んでいる、請求項１記載の方法。
【請求項３】
前記時空間モデルは、コンポーネントのコレクションの各々とオブジェクトとに対応するノードを含んだグラフィカルモデルである、請求項１記載の方法。
【請求項４】
オブジェクトが各画像内にある確率を求める前記ステップは、現在画像に関連する先行画像と後続画像とから求めたコンポーネントのコレクションとしてのオブジェクトの測定値に従って現在画像内のオブジェクトを検出するステップを含んでいる、請求項１記載の方法。
【請求項５】
検出すべきオブジェクトの時空間モデルを提供する前記ステップはさらに、複数の画像を画定する時間窓を提供するステップを含んでおり、該時間窓内で検出されたコンポーネントの測定値は現在画像内で検出されたコンポーネントに渡される、請求項１記載の方法。
【請求項６】
オブジェクトが各画像内にある確率を求める前記ステップは、各画像内のオブジェクトの位置と大きさとに関する確率を求めるステップを含んでいる、請求項１記載の方法。
【請求項７】
前記閾値は検出すべきオブジェクトに対して設けられるものであり、経験的に求められる、請求項１記載の方法。
【請求項８】
Ｎ個のコンポーネントを持つ前記時空間モデルの同時確率分布は、
【数１】
である、請求項１記載の方法。
【請求項９】
オブジェクト検出のための方法ステップを実行する機械実行可能な命令プログラムを実体的に実現した機械可読プログラムストレージデバイスであって、前記方法ステップが、
検出すべきオブジェクトの時空間モデルを提供するステップと、
前記オブジェクトを含んだ複数の画像から成るビデオを提供するステップと、
前記オブジェクトを各画像内のコンポーネントのコレクションとして測定するステップと、
前記オブジェクトが各画像内にある確率を求めるステップと、
各画像についての前記確率とオブジェクト検出の閾値との比較に基づいて、前記画像のいずれかにおいて前記オブジェクトを検出するステップを含んでいることを特徴とする、機械可読プログラムストレージデバイス。
【請求項１０】
検出すべきオブジェクトの時空間モデルを提供する前記ステップは、コンポーネントのコレクションの各々に対して検出器を提供するステップを含んでいる、請求項９記載の方法。
【請求項１１】
前記時空間モデルは、コンポーネントのコレクションの各々とオブジェクトとに対応するノードを含んだグラフィカルモデルである、請求項９記載の方法。
【請求項１２】
オブジェクトが各画像内にある確率を求める前記ステップは、現在画像に関連する先行画像と後続画像とから求めたコンポーネントのコレクションとしてのオブジェクトの測定値に従って現在画像内のオブジェクトを検出するステップを含んでいる、請求項９記載の方法。
【請求項１３】
検出すべきオブジェクトの時空間モデルを提供する前記ステップはさらに、複数の画像を画定する時間窓を提供するステップを含んでおり、該時間窓内で検出されたコンポーネントの測定値は現在画像内で検出されたコンポーネントに渡される、請求項９記載の方法。
【請求項１４】
オブジェクトが各画像内にある確率を求める前記ステップは、各画像内のオブジェクトの位置と大きさとに関する確率を求めるステップを含んでいる、請求項９記載の方法。
【請求項１５】
前記閾値は検出すべきオブジェクトに対して設けられるものであり、経験的に求められる、請求項９記載の方法。
【請求項１６】
Ｎ個のコンポーネントを持つ前記時空間モデルの同時確率分布は、
【数２】
である、請求項９記載の方法。
【請求項１】
コンピュータを利用したオブジェクト検出の方法において、
検出すべきオブジェクトの時空間モデルを提供するステップと、
前記オブジェクトを含んだ複数の画像から成るビデオを提供するステップと、
前記オブジェクトを各画像内のコンポーネントのコレクションとして測定するステップと、
前記オブジェクトが各画像内にある確率を求めるステップと、
各画像についての前記確率とオブジェクト検出の閾値との比較に基づいて、前記画像のいずれかにおいてオブジェクトを検出するステップを有することを特徴とする、コンピュータを利用したオブジェクト検出の方法。
【請求項２】
検出すべきオブジェクトの時空間モデルを提供する前記ステップは、コンポーネントのコレクションの各々に対して検出器を提供するステップを含んでいる、請求項１記載の方法。
【請求項３】
前記時空間モデルは、コンポーネントのコレクションの各々とオブジェクトとに対応するノードを含んだグラフィカルモデルである、請求項１記載の方法。
【請求項４】
オブジェクトが各画像内にある確率を求める前記ステップは、現在画像に関連する先行画像と後続画像とから求めたコンポーネントのコレクションとしてのオブジェクトの測定値に従って現在画像内のオブジェクトを検出するステップを含んでいる、請求項１記載の方法。
【請求項５】
検出すべきオブジェクトの時空間モデルを提供する前記ステップはさらに、複数の画像を画定する時間窓を提供するステップを含んでおり、該時間窓内で検出されたコンポーネントの測定値は現在画像内で検出されたコンポーネントに渡される、請求項１記載の方法。
【請求項６】
オブジェクトが各画像内にある確率を求める前記ステップは、各画像内のオブジェクトの位置と大きさとに関する確率を求めるステップを含んでいる、請求項１記載の方法。
【請求項７】
前記閾値は検出すべきオブジェクトに対して設けられるものであり、経験的に求められる、請求項１記載の方法。
【請求項８】
Ｎ個のコンポーネントを持つ前記時空間モデルの同時確率分布は、
【数１】
である、請求項１記載の方法。
【請求項９】
オブジェクト検出のための方法ステップを実行する機械実行可能な命令プログラムを実体的に実現した機械可読プログラムストレージデバイスであって、前記方法ステップが、
検出すべきオブジェクトの時空間モデルを提供するステップと、
前記オブジェクトを含んだ複数の画像から成るビデオを提供するステップと、
前記オブジェクトを各画像内のコンポーネントのコレクションとして測定するステップと、
前記オブジェクトが各画像内にある確率を求めるステップと、
各画像についての前記確率とオブジェクト検出の閾値との比較に基づいて、前記画像のいずれかにおいて前記オブジェクトを検出するステップを含んでいることを特徴とする、機械可読プログラムストレージデバイス。
【請求項１０】
検出すべきオブジェクトの時空間モデルを提供する前記ステップは、コンポーネントのコレクションの各々に対して検出器を提供するステップを含んでいる、請求項９記載の方法。
【請求項１１】
前記時空間モデルは、コンポーネントのコレクションの各々とオブジェクトとに対応するノードを含んだグラフィカルモデルである、請求項９記載の方法。
【請求項１２】
オブジェクトが各画像内にある確率を求める前記ステップは、現在画像に関連する先行画像と後続画像とから求めたコンポーネントのコレクションとしてのオブジェクトの測定値に従って現在画像内のオブジェクトを検出するステップを含んでいる、請求項９記載の方法。
【請求項１３】
検出すべきオブジェクトの時空間モデルを提供する前記ステップはさらに、複数の画像を画定する時間窓を提供するステップを含んでおり、該時間窓内で検出されたコンポーネントの測定値は現在画像内で検出されたコンポーネントに渡される、請求項９記載の方法。
【請求項１４】
オブジェクトが各画像内にある確率を求める前記ステップは、各画像内のオブジェクトの位置と大きさとに関する確率を求めるステップを含んでいる、請求項９記載の方法。
【請求項１５】
前記閾値は検出すべきオブジェクトに対して設けられるものであり、経験的に求められる、請求項９記載の方法。
【請求項１６】
Ｎ個のコンポーネントを持つ前記時空間モデルの同時確率分布は、
【数２】
である、請求項９記載の方法。
【図１】
【図２Ａ】
【図２Ｂ】
【図３】
【図４】
【図５】
【図２Ａ】
【図２Ｂ】
【図３】
【図４】
【図５】
【公表番号】特表２００８−５００６４０（Ｐ２００８−５００６４０Ａ）
【公表日】平成２０年１月１０日（２００８．１．１０）
【国際特許分類】
【出願番号】特願２００７−５１５３０２（Ｐ２００７−５１５３０２）
【出願日】平成１７年５月２５日（２００５．５．２５）
【国際出願番号】ＰＣＴ／ＵＳ２００５／０１８３７３
【国際公開番号】ＷＯ２００５／１１９５９６
【国際公開日】平成１７年１２月１５日（２００５．１２．１５）
【出願人】（５９３０７８００６）シーメンス コーポレイト リサーチ インコーポレイテツド (47)
【氏名又は名称原語表記】Ｓｉｅｍｅｎｓ Ｃｏｒｐｏｒａｔｅ Ｒｅｓｅａｒｃｈ，Ｉｎｃ．
【住所又は居所原語表記】７５５ Ｃｏｌｌｅｇｅ Ｒｏａｄ Ｅａｓｔ，Ｐｒｉｎｃｅｔｏｎ， ＮＪ ０８５４０，Ｕｎｉｔｅｄ Ｓｔａｔｅｓ ｏｆ Ａｍｅｒｉｃａ
【Ｆターム（参考）】
【公表日】平成２０年１月１０日（２００８．１．１０）
【国際特許分類】
【出願日】平成１７年５月２５日（２００５．５．２５）
【国際出願番号】ＰＣＴ／ＵＳ２００５／０１８３７３
【国際公開番号】ＷＯ２００５／１１９５９６
【国際公開日】平成１７年１２月１５日（２００５．１２．１５）
【出願人】（５９３０７８００６）シーメンス コーポレイト リサーチ インコーポレイテツド (47)
【氏名又は名称原語表記】Ｓｉｅｍｅｎｓ Ｃｏｒｐｏｒａｔｅ Ｒｅｓｅａｒｃｈ，Ｉｎｃ．
【住所又は居所原語表記】７５５ Ｃｏｌｌｅｇｅ Ｒｏａｄ Ｅａｓｔ，Ｐｒｉｎｃｅｔｏｎ， ＮＪ ０８５４０，Ｕｎｉｔｅｄ Ｓｔａｔｅｓ ｏｆ Ａｍｅｒｉｃａ
【Ｆターム（参考）】
[ Back to top ]