物体検知方法及び装置
【課題】画像と映像における物体を検知する物体検知方法と物体検知装置を提供する。
【解決手段】物体検知方法は、各種物体検知方法で得られた各種検知結果を取得し、物体検知方法ごとの所定検知精度に応じて該検知方法に対応する検知結果の確率を設定し、現在のフレームを含む複数のフレームの移動物体の検知結果から現在のフレーム画像における各画素の移動頻度を示す移動頻度分布図を算出し、移動頻度分布図により前フレームから検出した物体をフィルタリングしてフィルタリング後の前フレームの検知結果を取得し、各種検知結果と前記フィルタリング後の前フレームの検知結果とのオーバーラップにより各種検知結果の確率を更新し、更新された各種検知結果の確率に基づいて最後の物体リストを決定する工程を含む。
【解決手段】物体検知方法は、各種物体検知方法で得られた各種検知結果を取得し、物体検知方法ごとの所定検知精度に応じて該検知方法に対応する検知結果の確率を設定し、現在のフレームを含む複数のフレームの移動物体の検知結果から現在のフレーム画像における各画素の移動頻度を示す移動頻度分布図を算出し、移動頻度分布図により前フレームから検出した物体をフィルタリングしてフィルタリング後の前フレームの検知結果を取得し、各種検知結果と前記フィルタリング後の前フレームの検知結果とのオーバーラップにより各種検知結果の確率を更新し、更新された各種検知結果の確率に基づいて最後の物体リストを決定する工程を含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像と映像処理に関し、特に、画像と映像における物体を検知する物体検知方法と物体検知装置に関する。
【背景技術】
【０００２】
顔検知技術のような正確な物体検知技術は、テレビ会議システム、ITS（高度道路交通システム）又はマルチメディア監視システム等の様々な映像応用の基盤となっている。
【０００３】
現在、物体検知における顔検知を例として、例えば、顔検知、肌色検知、頭部検知、移動物体検知、上半身検知等の各種顔検知技術の研究や開発が行われている。しなしながら、テレビ会議室、事務室、小売店又は室外シーン等のような通常の応用場面には、一つの検知技術のみでは、高度の検知精度を実現することができない。顔検知においては、光照射や顔角度の検知精度への影響が大きく、肌色検知においては、光照射状況や複雑環境の色分布の検知精度への影響が大きく、移動物体検知においては、シェーディング、遮蔽又はブロッキング等の問題が検知精度への影響が大きい。このため、マルチパターンの顔検知方法が注目されてきている。
【０００４】
特許US6639998B1には、画像から所定対象を検知する方法が提案されている。該方法においては、先ず、対象の一般的特徴を用いて、画像やフレームから対象を検知し、次に、以降の画像やフレームから対象に関連する同様または類似の特徴を用いて対象を検知するとともに、複数の対象や対象の一部が検出された場合は、所定対象の全ての色範囲を確定し、全ての色範囲における一部の色範囲セクションを用いて対象の検知を行う。該特許では、一貫して色（色範囲のみが異なる）を用いるような類似の特徴のみを用いて、以降の画像やフレームからの対象の検知を行っており、他の特徴による結果検証は行っていないため、検知結果の誤検知率が高くなっている。
【０００５】
特許文献US20080008360A1には、所定領域内から人物をカウントする方法及びシステムが提案されている。該システムにおいては、所定領域の画像を取得するための撮像手段と、取得した画像を受信するためのコンピュータが備えられている。コンピュータは、頭部と顔の形状を検知することで、画像における人物を検知し、検出した頭部や顔形状の数をカウントすることで、所定領域における人物の数を判定している。コンピュータは、検出した頭部や顔部領域の色が肌色に類似しているか否かの判別により、人物か否かの判定を行っている。該方法は、肌色により顔や頭部の検知結果を検証しているが、色検知の安定性が比較的低いため、誤検知に繋がり易く、さらに、顔や頭部の角度等の問題を考慮すると、該方法の検知精度と安定性は高くない。
【０００６】
特許文献WO2007092904A2には、関心領域における対象の分割方法が提案されている。関心領域は、顔、頭部又は肩部などの領域である。該方法は、関心領域の特徴検知と、領域分割と、背景排除とを組み合わせており、正確な前景対象生成と低複雑度の前景対象取得が可能となっている。該方法においては、先ず前景の検知が行われ、次に、前景からの肌色による顔検知が行われ、その後、検出した顔からの目と口の検知が行われ、最後に、両目の対称性や口と両目の３方向性を用いて顔か否かの検証が行われている。該方法の肌色による顔検知は、誤検知率が高く、マルチパターン情報を用いて演算の検証しか行っておらず、例えば、顔と頭部が同時に検出できた場合のみ人物と判定するため、検知精度の低下を招いてしまう。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明の目的は、画像と映像における物体を検知する検知方法と検知装置を提供することにある。
【課題を解決するための手段】
【０００８】
本発明の一実施例によると、所定の映像から所定物体を検知する物体検知方法が提供される。この物体検知方法は、各種物体検知方法による、フレームにおける前記所定物体の全体又は一部への検知から得られた各種検知結果を取得するステップと、前記各種物体検知方法ごとの所定の検知精度に応じて、該物体検知方法に対応する検知結果の確率を設定するステップと、前記フレームを含む複数のフレームの移動物体の検知結果に基づいて、前記フレーム画像における各画素の移動頻度を示す移動頻度分布図を算出するステップと、前記移動頻度分布図により、前フレームから検出した物体をフィルタリングし、フィルタリング後の前フレームの検知結果を取得するステップと、前記各種検知結果と前記フィルタリング後の前フレームの検知結果のオーバーラップにより、前記各種検知結果の確率を更新するステップと、更新後の前記各種検知結果の確率に基づき、検出した物体のリストを決定するステップと、を含む。
【０００９】
本発明の他の実施例によると、所定の映像から所定物体を検知する物体検知装置が提供される。この物体検知装置は、各種物体検知方法による、フレームにおける前記所定物体の全体又は一部への検知から得られた各種検知結果を取得する検知結果取得手段と、前記各種検知方法ごとの所定の検知精度に応じて、該検知方法に対応する検知結果の確率を設定する確率設定手段と、前記フレームを含む複数のフレームの移動物体の検知結果に基づいて、前記フレーム画像における各画素の移動頻度を示す移動頻度分布図を算出する移動頻度分布図算出手段と、前記移動頻度分布図により、前フレームから検出した物体をフィルタリングし、フィルタリング後の前フレームの検知結果を取得する前フレーム検知結果フィルタリング手段と、前記各種検知結果と前記フィルタリング後の前フレームの検知結果のオーバーラップにより、前記各種検知結果の確率を更新する確率更新手段と、
更新後の前記各種検知結果の確率に基づき、検出した物体のリストを決定する物体リスト決定手段と、を含む。
【発明の効果】
【００１０】
本発明の実施例に開示の物体検知方法と装置によると、確率により検知結果の正確率を示し、異なる検知方法による検知結果のオーバーラップにより関連する確率の更新を行うため、融通性に優れ、各種検知結果をより総合的に考慮し、検知精度の向上と誤検知率の低減を実現することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の１実施例による物体検知方法の全体フローチャートである。
【図２】本発明の他の実施例による、顔検知を例とした人間検知方法の全体フローチャートである。
【図３】本発明の１実施例による、統計演算に基づく知識データベース構築のフローチャートである。
【図４】本発明の１実施例による、知識データベースに基づく各種検知結果の初期確率設定のフローチャートである。
【図５】本発明の１実施例による、各種検知結果の空間領域におけるオーバーラップ状況に応じた各種検知結果の確率の更新のフローチャートである。
【図６】本発明の１実施例による、移動物体の検知結果に基づく現在のフレームの移動頻度分布図の算出フローチャートである。
【図７】本発明の１実施例による、現在のフレームの移動頻度分布図に基づく現在より前の人物の領域リストのフィルタリングフローチャートである。
【図８】本発明の１実施例による、空間領域の各種検知結果と時間領域の現在より前の人物の領域リストのオーバーラップ状況に基づく各種検知結果の確率の修正フローチャートである。
【図９】本発明の１実施例による、各種検知結果の最終確率及び予め定義された規則に基づく最終の人物の領域リストの決定フローチャートである。
【図１０】本発明の１実施例による物体検知装置の概略ブロック図である。
【図１１】本発明の１実施例による実行可能なコンピュータシステムを例示した図である。
【発明を実施するための形態】
【００１２】
次に、添付した図面を参照しながら、本発明の好適な実施形態を詳細に説明する。
【００１３】
実施例へのより詳細な説明を行う前に、理解と閲覧が容易となるように、先ず、本発明の技術的思想について簡単に説明する。本発明は、従来技術とは異なり、全面的に否定する形式や全面的に受け入れる形式である検知方法の検知結果を判断するのではなく、確率を導入することで、該検知方法の検知結果の正確の可能性を示しており、映像に関しては、現在より前の検知結果の、例えば、0.1秒前のフレームの検知結果は、現在のフレームの検知の一助となる情報を提供可能なため、現在のフレームの検知結果と現在より前のフレームの検知結果のオーバーラップ状況は、オーバーラップする物体検知結果において、該現在のフレームの物体検知結果の確率の向上に繋がる。各種検知結果における各検知結果の確率取得後、最終の検出した物体リストを決定する。なお、現在より前のフレームの検知結果を用いる場合は、検出した各物体を区別なく採用するのではなく、タイミング上のある物体領域の全体移動頻度を考慮すると、移動頻度が大きい場合は、現在より前のフレーム上の個体検知結果の存在が現在のフレームの検知結果の検証の一助にはならない可能性があるため、このような現在より前のフレームにおける個体検知結果は検知結果から除去される。
【００１４】
後述においては、記載の便宜上、人物を検知物体の例としているが、これは例示的なもので、任意の生体や移動物体も、本発明の検知対象になりうる。
【００１５】
図１は、本発明の１実施例による物体検知方法１００の全体フローチャートである。
【００１６】
図１に示したように、物体検知方法１００には、検知結果取得ステップS110と、初期確率設定ステップS120と、移動頻度分布図算出ステップS130と、前フレーム検知結果フィルタリングステップS140と、確率更新ステップS150と、物体検知リスト決定ステップS160が含まれている。以下、各ステップについて詳細に説明する。
【００１７】
ステップS110において、各種物体検知方法による、現在のフレームにおける所定物体の全体または一部への検知から得られた各種検知結果を取得する。
【００１８】
マルチフレーム間の移動物体による検知か、それとも単なる単一静止画像による検知かの角度から、前述の各種物体検知方法は、移動物体検知方法と他の物体検知方法に分けられる。
【００１９】
移動物体検知とは、通常、１セクションの映像から移動物体の抽出をいい、常用の方法として、背景差分法、隣接フレーム差分法、オプティカルフロー法があり、これらは当該分野の公知の技術である。背景差分法のキーポイントは、正確な背景モデルの構築と、シーンの変化に応じたリアルタイム更新にある。背景モデルの構築において、統計による背景モデル構築法は、本当のシーンを正確にシミュレーションすることができ、完全な移動物体を抽出することができる。隣接フレーム差分法は、リアルタイム性に優れ、かつ動的なシーンへの信頼性はあるが、動作が緩慢な大きい物体の検知には適さない。オプティカルフロー法は、背景領域の如何なる先験的知識不要の条件下で移動物体の検知と追跡が可能であるが、ノイズに比較的敏感である。適切な移動物体検知方法は、需要に応じて選択することができる。なお、複数のガウス混合による背景モデル構築法は、移動物体のみならず、一時静止の対象も部分的に検出可能である。
【００２０】
他の検知方法とは、前述の移動物体検知方法以外の単一フレーム画像を処理対象とする他の任意の物体に関する検知方法をいう。例えば、各種人間検知方法を例として、人体の部位検知によっては、顔検知、頭部検知、上半身検知、全身検知、肌色検知等に分けられ、具体的に用いられる演算法によっては、特徴空間演算法、ニューラルネットワーク演算法、Adaboost演算法、決定木演算法等に分けられる。このような物体の各部の検知方法と具体的な各種演算法及びそれらの組み合わせは、すべて本発明の実施例における他の検知方法、例えば、人間顔への特徴顔演算法や、人間顔へのAdaboost演算法や、人間顔への決定木演算法や、頭部への特徴空間演算法や、頭部へのAdaboost演算法や、頭部への決定木演算法として用いることができる。
【００２１】
物体検知結果は、現在のフレームから検知された１つまたは複数の物体の全体または一部のリストであり、１つの物体の全体や一部は、該物体を含む全体や一部の最小矩形領域により示され、具体的には、例えば、該矩形領域の左上角の座標と右下角の座標により示される。例えば、人間顔においては、該顔を囲む矩形フレームの左上角の座標と右下角の座標により示される。もちろん、楕円や円形のような他の形式で示してもよい。例えば、１フレーム画像から３人を検出した場合、｛（X1L,Y1L;X1R,Y1R）、（X2L,Y2L;X2R,Y2R）、（X3L,Y3L;X3R,Y3R）｝のようなリストを用いてこのような検知結果を表示することができる。
【００２２】
ステップS120において、各種検知方法の所定の検知精度に応じて、該当の検知方法に対応する検知結果の初期確率を設定する。検知方法の検知精度は、例えば、
【数１】
に定義され、ＲＯＤは、検知精度を示し、H(hit)は、正確な検知結果の数を示し、F(false)は、誤検知結果の数を示し、H+Fは、全体の検知結果の数を示している。なお、検知精度は検出率として定義することも考えられる。検出率は、すなわち、すべての物体から正確に検出された数のすべての物体の数における比率である。ある検知結果の初期確率は、該検知結果の正確の可能性を示しており、例えば、ある頭部検知方法の初期確率は、P(人物｜頭部)で示され、該検知方法で頭部を検出した場合、該物体が確かに人物である可能性を意味している。
【００２３】
ここで、各種検知方法の所定検知精度は、予め統計演算により得られ、かつ知識データベースに保存されたものであるが、自己適応学習により得られたものでもよく、経験によって設けられたものでもよい。以下、図３を参照し、知識データベースの例示的構築方法を説明する。なお、図４を参照し、該構築した知識データベースを用いた、各種検知方法により得られた各種検知結果の初期確率の設定方法を説明する。
【００２４】
ステップS130において、現在のフレームを含む複数のフレームの移動物体の検知結果から、現在のフレーム画像における各画素の移動頻度を示す移動頻度分布図を算出する。ここで、複数のフレームの移動物体の検知結果は、任意の移動物体の検知方法により得られ、該任意の検知方法は、前述のS110とS120における各種検知結果に関する各種検知方法とは独立した方法でもよく、前述の各種検知方法における一部でもよい。以下、図６を参照し、移動頻度分布図の算出方法を例示的に説明する。
【００２５】
ステップS140において、ステップS130から算出された移動頻度分布図により、前フレームから検出された物体のフィルタリングを行い、フィルタリング後の前フレームの検知結果を取得する。以下、図７を参照し、移動頻度分布図により前フレームの検知結果をフィルタリングする方法を例示的に説明する。
【００２６】
ステップS150において、各種検知結果と前記フィルタリング後の前フレームの検知結果のオーバーラップにより、各種検知結果の確率を更新する。以下、図８を参照し、該ステップの具体的な実行方法を、例示的に説明する。
【００２７】
ステップS160において、各種検知結果の確率に基づき、検出した最後の物体のリストを決定する。以下、図９を参照し、該ステップを実行する一例を示す。該最後の物体検知結果は、モニターに直接表示しても、メモリに保存してもよく、前フレーム検知結果データベースへ送信して最新の前フレーム検知結果としてもよい。
【００２８】
なお、アプリケーションに関連して定義されたノイズ除去規則により、最後の物体リストにおけるノイズとなる物体を除去してもよい。予め定義された規則とは、アプリケーションに関連して定義されたノイズ除去規則をいう。例えば、人物検知の場合、テレビ会議シーンにおいて、人物が映像底部領域に現れる可能性は極めて低いため、椅子下から検出された人物は除去する等、映像底部領域からの検知結果は除去するように規則を設計してもよい。予め定義された規則が、同様に、例えば、ステップS110における各種検知結果のような各種検知結果の除去に用いられてもよいことはいうまでもない。
【００２９】
図２は、本発明の他の実施例による人間顔検知を例とした検知方法の全体フローチャートである。
【００３０】
図２においては、各ステップの表示以外にも、理解しやすくなるように、平行四辺形の形式で、ステップに関する、例えば、各種検知結果である移動物体のリスト２０１、人物の顔のリスト２０２、人物の頭部のリスト２０３、他のリスト２０４、確率設定と確率更新の参考となる知識データベース２０５、最後結果となる人物の領域のリスト２０６、以降の検知に用いられる現在より前の人物の領域のリスト２０７等のデータが示されている。
【００３１】
人物検知方法２００におけるステップS210、S220、S230、S240、S250、S260は、図１に示された物体検知方法１００におけるステップS110、S120、S130、S140、S150、S160と類似であり、図２で検出される物体は人物であることのみが異なっている。このため、重複説明は割愛する。
【００３２】
人物検知方法２００の物体検知方法１００との相違点は、ステップS270の追加である。ステップS270では、現在のフレームの各種検知結果間のオーバーラップ状況に応じて、各種検知結果の確率の更新を行い、例えば、現在の画像において、顔検知リスト２０２における１つの顔ａと頭部検知リスト２０３における１つの頭部ｂがオーバーラップしていると、ここに人物が存在することを暗示する可能性が非常に高い。このため、顔検知リスト２０２における顔ａと頭部検知リスト２０３における頭部ｂの正確な確率を引き上げるべきである。以下、図５を参照し、該ステップＳ２７０についてさらに詳細に説明する。
【００３３】
ここで、図２においては、ステップＳ２７０が現在のフレーム検知と現在より前のフレーム検知のオーバーラップを処理するステップＳ２５０前に示されているが、これに限定されるものではなく、ステップＳ２７０をステップＳ２５０の後に行ってもよい。
【００３４】
図２に示された例示的方法は、現在のフレームの検知結果と現在より前のフレームの検知結果のオーバーラップ（以下、記述の便宜上、時間領域オーバーラップとも称する）のみならず、現在のフレームの各種検知結果間のオーバーラップ（以下、記述の便宜上、空間領域オーバーラップとも称する）も考慮して、現在のフレームの検知結果の確率更新を行うため、検知方法全体の正確度をさらに高めることができる。
【００３５】
以下、依然として人物検知を例とし、図３を参照しながら、各種検知演算法の各自の検知精度及び各種演算法の検知結果のオーバーラップ時の検知精度（以下、記述の便宜上、混合検知精度とも称する）が保存された知識データベースの構築工程について説明する。図３は、本発明の１実施例による統計演算に基づく知識データベース構築のフローチャートである。
【００３６】
ステップＳ３１０において、人物が含まれている複数の画像と複数の映像断片３０７を用意する。
【００３７】
ステップＳ３２０において、手動で人物の領域をマーキングし、マーキングした領域の座標をファイルに記録する。該ステップにより、画像と映像断片の各フレームにおける人物の位置と数が得られる。
【００３８】
ステップＳ３３０において、例えば、移動物体検知方法、顔検知方法、頭部検知方法、上半身検知方法、全身検知方法、肌色検知方法等の人物に関する検知方法を選択する。本実施例では、仮に移動物体検知方法と頭部検知方法と顔検知方法とを選択したとする。ステップＳ３４０において、移動物体検知方法で移動と一時静止の人物を検知する。ステップＳ３５０において顔検知方法により人物の顔を検知する。ステップＳ３６０において、頭部検知方法により頭部を検知する。ここで、選択した検知方法の数は３つに限らず、具体的に選択した検知方法も、移動物体検知方法と頭部検知方法と顔検知方法とに限らず、任意の人物に関連する検知方法であってもよい。
【００３９】
ステップＳ３７０において、ステップＳ３２０で得られた人物領域マーキング情報のファイルと各種検知方法の検知結果を用いて、各種検知方法の検知精度を算出する。
【００４０】
例えば、人物の顔検知を例として、顔検知精度の算出方法を説明する。まず、実行中の検知方法は、人物の顔検知方法であり、検知結果は、人物の顔である。検出した人物の顔領域とマーキングした人物の領域がオーバーラップしているか否かの検証により、検出した正確な顔の数と誤り顔の数の算出が可能となり、同時に未検出の本当の人物の数が算出できるようになる。前記算出から得られた正確な顔の数と、誤り顔の数と、検出漏れの人数と、マーキングした全体の人数から、人物の顔検知方法による人物の検知精度を算出することができる。オーバーラップしているか否かは、オーバーラップ領域の大きさで判定することができる。例えば、オーバーラップする顔領域とマーキング領域のうちの面積の小さいほうの領域の面積値Ａｒｅａを算出する。オーバーラップ領域の面積を該面積値Ａｒｅａで除算することでオーバーラップ比ｒが得られる。ｒが所定の閾値を超える場合、該顔領域は正確な人顔と判定される。閾値の範囲は、例えば0.6から1.0であり、適切な数値は実験や経験や閾値範囲内で任意に選択することができる。
【００４１】
ステップＳ３７０では、顔検知のような単一の検知方法の検知精度の統計演算以外に、さらに前述の方法による、例えば、顔と頭部検知の検知精度や、顔と上半身検知の検知精度等の複数種類の検知方法の混合検知精度の算出が行われる。具体的には、例えば、顔検知方法と頭部検知方法の混合検知精度については、以下のように算出することができる。例えば、顔検知方法の顔検知リスト及び頭部検知方法の頭部検知リストを取得し、オーバーラップ状況を調べることで、顔と判定されかつ頭部と判定された顔と頭部の領域のリストが得られ、これにより、該頭部と顔の領域リストにおける正確な頭部と顔の数、誤り頭部と顔の数、検出漏れ数、全体のマーキングした頭部と顔の数が分かり、例えば、該頭部と顔領域リストにおける正確な頭部と顔数を該頭部と顔の領域リストにおける正確な頭部と顔の数と誤り頭部と顔数の和で除算することで、顔検知方法と頭部検知方法の混合精度が得られる。
【００４２】
なお、ステップＳ３７０において、同様に、例えば、人物の顔の検知結果と時間領域の現在より前の検知結果の時間領域の混合検知精度や、人物の頭部の検知結果と時間領域の現在より前の検知結果の時間領域の混合検知精度のような時空間領域の混合検知方法の検知精度の算出が行われる。時間領域の混合検知方法とは、ある空間領域の検知方法（顔、頭部、上半身等）の検知結果と時間領域の現在より前の検知結果（時間領域の現在より前の人物の領域）を合併して人物の領域を得る方法をいう。最後に、単一の検知方法、混合検知方法、時空間領域の混合検知方法のすべての検知精度データを知識データベース２０５に保存する。
【００４３】
図４は、本発明の１実施例による知識データベースに基づく各種検知結果の初期確率設定のフローチャートである。
【００４４】
ステップＳ１２１において、人物検知に関する任意の１種または複数種類の検知結果を取得する。ステップＳ１２２において、検知結果の種類の判定が行われる。ステップＳ１２３、Ｓ１２４、Ｓ１２５において、検知結果種類に応じて、知識データベース２０５からそれぞれの検知精度を取得し、該検知結果の初期確率の設定を行う。例えば、検知結果が移動物体の検知結果の場合は、ステップＳ１２３において、知識データベース２０５から移動物体の検知方法に対応する検知精度を取得し、該値により、すべての移動物体の検知結果の初期確率Ｐ（人物｜移動物体）を設定する。検知結果が顔検知結果の場合は、ステップＳ１２４において、知識データベース２０５から顔検知方法に対応する検知精度を取得し、該値により、すべての顔検知結果の初期確率Ｐ（人物｜顔）を設定する。検知結果が頭部の検知結果の場合は、ステップＳ１２５において、知識データベース２０５から頭部の検知方法に対応する検知精度を取得し、該値により、すべての頭部の検知結果の初期確率Ｐ（人物｜頭部）を設定する。
【００４５】
図４においては、移動物体の検知結果、顔の検知結果、頭部の検知結果を例として初期確率の設定について説明したが、本発明は、これに限らず、該方法を用いて任意の種類の検知結果の初期確率の設定を行ってもよい。
【００４６】
以下、図５を参照して図２における空間領域のオーバーラップのステップＳ２７０の処理の具体的なプロセスについて説明する。図５は、本発明の１実施例による、各種検知結果の空間領域におけるオーバーラップ状況に応じた各種検知結果の確率の更新のフローチャートである。
【００４７】
ステップＳ２７１において、例えば、初期確率が設定された顔領域リスト２７０１と、初期確率が設定された頭部領域リスト２７０２と、初期確率が設定された移動物体領域リスト２７０３のような、各種初期確率を含む検知結果を取得する。
【００４８】
ステップＳ２７２において、各種検知結果のオーバーラップ種類の判定が行われる。
【００４９】
例えば、ステップＳ２７２において、顔検知結果となる顔の領域と、頭部検知結果となる頭部の領域と、移動物体の検知結果となる移動物体の領域との３つの領域がオーバーラップすると判定されると、ステップＳ２７３において、顔と頭部と移動物体との混合検知方法の精度（例えば、知識データベース２０５から取得）に応じて、オーバーラップの顔と頭部と移動物体との検知結果の確率を修正し、例えば、下記式により修正する。
Ｐ（人物｜顔）＝Ｐ（人物｜頭部）＝Ｐ（人物｜移動）＝Ｐ（人物｜顔、頭部、移動）
【００５０】
ステップＳ２７２において、顔検知結果となる顔領域と、頭部の検知結果となる頭部の領域との２つの領域がオーバーラップすると判定されると、ステップＳ２７４において、顔と頭部の混合検知方法の精度（例えば、知識データベース２０５から取得）に応じて、オーバーラップの顔と頭部の検知結果の確率を修正し、例えば、下記式により修正する。
Ｐ（人物｜顔）＝Ｐ（人物｜頭部）＝Ｐ（人物｜顔、頭部）
【００５１】
ステップＳ２７２において、顔検知結果となる顔領域と、移動物体検知結果となる移動物体領域との２つの領域がオーバーラップすると判定されると、ステップＳ２７５において、顔と移動物体の混合検知方法の精度（例えば、知識データベース２０５から取得）に応じて、オーバーラップの顔と移動物体の検知結果の確率を修正し、例えば、下記式により修正する。
Ｐ（人物｜顔）＝Ｐ（人物｜移動）＝Ｐ（人物｜顔、移動）
【００５２】
ステップＳ２７２において、頭部検知結果となる頭部の領域と、移動物体の検知結果となる移動物体領域との２つの領域がオーバーラップすると判定されると、ステップＳ２７６において、頭部と移動物体の混合検知方法の精度（例えば、知識データベース２０５から取得）に応じて、オーバーラップの頭部と移動物体の検知結果の確率を修正し、例えば、下記式により修正する。
Ｐ（人物｜頭部）＝Ｐ（人物｜移動）＝Ｐ（人物｜頭部、移動）
【００５３】
ステップＳ２７２において、顔検知結果となる顔領域と、頭部検知結果となる頭部領域と、移動物体検知結果となる移動物体領域との３つの領域がオーバーラップしておらず、任意の２つの領域ともオーバーラップしていないと判定されると、確率修正の動作は行わない。
【００５４】
オーバーラップ種類の判定後、かつ判定結果によるそれぞれの動作実行後に、最新確率値が含まれている検知結果リスト２７０４が得られ、その後、処理を終了する。
【００５５】
ここで、以上では各種検知結果がオーバーラップしない場合には元の確率を維持する処理を行っているが、その代わりに、この場合は、各種検知結果の確率を下げてもよい。換言すると、オーバーラップすべきところがオーバーラップしない場合は、例えば確率を元の９割にするような罰則を適用してもよい。
【００５６】
なお、以上では、例えば２種類の検知結果がオーバーラップしている場合は、簡単に知識データベースから取得した空間領域の混合検知精度で元の各検知結果の確率を代替しているが、その代わりに、オーバーラップ面積の比に応じて重み付けにて各検知結果の更新を行ってもよい。例えば、１つの頭部領域と１つの顔領域がオーバーラップする面積が顔領域面積の７０％であると、下記式により該顔領域の確率を更新する。
Ｐ（人物｜顔）＝Ｐ（人物｜顔）*（１−７０％）+Ｐ（人物｜頭部、顔）*７０％。
【００５７】
以下、図６を参照して図１におけるステップＳ１３０の詳細プロセス、すなわち、現在のフレームを含む複数のフレーム移動物体の検知結果に基づく現在のフレームの移動頻度分布図の算出方法について説明する。該移動頻度分布図は、現在のフレーム画像における各画素の移動頻度を示し、現在のフレームにおける各画素の移動の激しさの傾向を示す。
【００５８】
ステップＳ１３１において、現在の時間から逆算した所定持続時間内の移動物体検知の結果を取得することで、複数の移動物体１３０１を取得することができ、該所定持続時間は、0.5秒、1.0秒、2秒や、他の時間間隔値であってもよい。
【００５９】
ステップＳ１３２において、該所定持続時間内の各画素点の移動物体となった回数を算出し、以下の式（１）と（２）により算出可能である。
【数２】
【００６０】
ここで、コンピュータ環境の変化を考慮すると、所定持続時間ｔ内の映像のフレーム数が動的に変化するため、Ｎ（ｔ）を導入する。Ｎ（ｔ）は、所定持続時間内のフレーム数を示し、pixel(x,y)は、座標（ｘ、ｙ）の画素を示し、pixel(x,y)∈foregroundは、画素pixel(x,y)が移動物体であり、所謂前景であることを示し、pixel(x,y)∈othersは、画素pixel(x,y)が前景以外の領域に属し、移動物体ではないことを示し、fk(x,y)は、第ｋフレームにおける画素pixel(x,y)が移動物体であるか否かを示す。
【００６１】
ステップＳ１３３において、各画素の移動物体となった回数の正規化処理を行い、映像フレーム数の動的な変化の影響をなくす。正規化処理の式は、下記式（３）の通りである。
【数３】
【００６２】
正規化後、Nor_Times(x,y)が「０、1」の間の数値であり、画素pixel(x,y)の移動頻度を示す。
【００６３】
ステップＳ１３４において、実行中の検知フレームの移動頻度分布図１３０２を出力する。
【００６４】
前述の移動頻度分布図の算出は、例示的なものであり、移動頻度分布図の算出には、画素の移動頻度や移動傾向を示すことができれば、任意の方法を用いてもよい。
【００６５】
例えば、前述の演算において、各フレームに同様の重み付けを施しているが、その代わりに、現在のフレームに近い距離のフレームの移動物体検知結果に高い重み付けを施し、現在のフレームとの距離が離れているフレームの移動物体検知結果に低い重み付けを施してもよい。
【００６６】
さらに、移動頻度分布図は、オプティカルフロー法による演算で得られる。オプティカルフロー法の基本思想としては、空間中における移動は移動フィールドで記述することができ、１画像平面上の物体の移動は、画像シーケンスにおける画像階調分布の異なりによって具現されており、これによって空間中の移動フィールドが画像上に転移しオプティカルフローフィールドを示すことになる。オプティカルフローフィールドは、画像上の各スポットの階調の変化傾向を反映しており、階調を有する画素点の画像平面上における移動により生成された瞬時速度フィールドとみなすことができ、真の移動フィールドの近似推測でもある。理想的な場合は、シーンの如何なる情報も予め知る必要がなくとも、移動物体の速度を正確に算出することができる。オプティカルフローは、画像の変化を表現しており、ターゲット移動情報が含まれているため、観察者がターゲットの移動状況を判定するに用いられる。詳細には、勾配によるオプティカルフロー演算方法を用いることができ、各画素の勾配方向のオプティカルフローの速度率を得ることができ、オプティカルフロー速度率を正規化して、画素の移動頻度を示すNor_Times(x,y)とする。
【００６７】
以下、人物検知を例とし、図７を参照しながら、図１のステップＳ１４０における前フレーム検知結果のフィルタリング処理の詳細工程を説明する。図７は、本発明の１実施例による、現在のフレームの移動頻度分布図に基づく現在より前の人物の領域リストのフィルタリングフローチャートである。
【００６８】
理解の便宜上、先ず、現在より前の人物の領域のフィルタリングの思想について説明する。１つの現在より前の人物の領域の移動頻度の累積和が小さいと、該現在より前の人物の移動があまり激しくないことを示し、その次のフレームである現在のフレームの同様の領域にも人物が存在していることが分かるため、該現在より前の人物の領域は、現在のフレームにおける物体検知結果に補助情報を提供したことになる。一方、１つの現在より前の人物の領域の移動頻度の累積和が大きいと、該現在より前の人物の移動が激しかったことを示し、前フレームにおける該現在より前の人物は、現在のフレームの物体検知にさほどの助けにはならない。
【００６９】
ステップＳ１４１において、前フレームの最終人物検知結果（時間領域の現在より前の人物の領域１４０１のリスト）を取得する。
【００７０】
ステップＳ１４２において、現在のフレームの移動頻度分布図１４０２を取得する。
【００７１】
ステップＳ１４３において、各時間領域の現在より前の人物の領域iの移動頻度累積和を算出し、累積和の演算式は、下記の式（４）に示したとおりである。
【数４】
ここで、pixel(xk,yk)∈region(i)。
【００７２】
式中、region(i)は、第ｉの現在より前の人物の領域を示し、width(i)は、第iの現在より前の人物の領域の幅であり、height(i)は、第iの現在より前の人物の領域の高さであり、width(i)×height(i)は、第iの現在より前の人物の領域の画素数を示す。Nor_Times(xk,yk)は、画素ｋの現在の移動頻度を示す。Sum_motion(i)は、第iの現在より前の人物の領域の移動頻度累積和を示す。
【００７３】
各時間領域の現在より前の人物の領域の異なる面積を考慮し、ステップＳ１４４において、各時間領域の現在より前の人物の領域の移動頻度累積和を正規化し、正規化式は、下記式（５）に示したとおりである。
【数５】
【００７４】
ステップＳ１４５において、正規化後の累積和により、時間領域の現在より前の検知結果のフィルタリングを行う。詳細には、ある時間領域の現在より前の検知結果の正規化累積和が所定の閾値以下であると、該現在より前の検知結果を保留し、そうでなければ、該現在より前の検知結果を除去する。
【００７５】
フィルタリング式は、例えば下記式（６）に示したとおりであり、ここで、閾値thresholdの範囲は、０から１/２であり、適切な閾値は、テストや経験や０から１/２の間で任意に選択することができる。
【数６】
【００７６】
pass(i)が０であると、該現在より前の人物の領域iは、移動頻度検証をパスしていないことを示し、現在より前の人物の領域リストから除去される。pass(i)が１であると、該現在より前の人物の領域iは、現在より前の人物の領域リストに保留する。
【００７７】
例えば、前フレームの時間領域の現在より前の検知結果が現在より前の人物の領域リスト｛現在より前の人物の領域１、現在より前の人物の領域２、・・・現在より前の人物の領域i・・・、現在より前の人物の領域Ｍ｝であり、Ｍ個の人物が検出されている。仮に閾値を１/２とすると、現在より前の人物の領域１の正規化累積和は、0.6であり、1/2よりも大きいと、現在より前の人物の領域リストから現在より前の人物の領域１を削除する。最後に、フィルタリングの現在より前の人物の領域リスト１４０３が得られる。
【００７８】
ステップＳ１４６において、現在より前の人物の領域リスト１４０３を出力する。
【００７９】
前述の現在より前のフレームの人物の領域リストのフィルタリングにおいては、１つ前のフレームの場合について説明を行ったが、その代わりに、２つ前までのフレーム、３つ前までのフレーム、・・・、Ｍ個の前までのフレームを現在のフレームの検知結果の参考としてもよい。なお、現在のフレームに近いフレームに高い重み付けをし、例えば１つの前のフレームの検知結果を一番目に考慮し、２つ前のフレームの検知結果は２番目に考慮してよい。
【００８０】
以下、人物検知を例とし、図８を参照しながら図１のステップＳ１５０で行われる時間領域オーバーラップ処理の具体的な例示プロセスを説明する。図８は、本発明の１実施例による、空間領域の各種検知結果と時間領域の現在より前の人物の領域リストのオーバーラップ状況に基づく各種検知結果の確率の修正フローチャートである。
【００８１】
先ず、図８では、移動物体検知結果、顔検知結果及び頭部検知結果の現在より前の人物の領域リストとのオーバーラップに関する処理を例として挙げている。図８においては、設定した閾値により空間領域の各種検知結果と時間領域の現在より前の検知結果のオーバーラップ状況を判断し、その後時間領域のオーバーラップ状況に応じて空間領域の各種検知結果の確率の更新を行う。
【００８２】
図８における異なるオーバーラップ種類により、異なる種類の空間領域検知結果と時間領域の現在より前の検知結果のオーバーラップが定義され、例えば、顔検知結果と時間領域の現在より前の人物の領域（時間領域の現在より前の検知結果）とのオーバーラップは、１種のオーバーラップ種類であり、頭部検知結果と時間領域の現在より前の人物の領域とのオーバーラップは、他のオーバーラップ種類である。オーバーラップ種類に応じて、知識データベース２０５からオーバーラップに対応する時空間領域の混合検知方法の検知精度を読取り、該検知精度により、該種類のオーバーラップの各種検知結果の確率を更新する。時空間領域の混合検知方法とは、現在のフレームのある検知方法（移動物体、顔、頭部、上半身等）の検知結果と時間領域の現在より前の検知結果（時間領域現在より前の人物の領域）とを合併して人物の領域を得る方法をいう。
【００８３】
ステップＳ１５１において、現在のフレームの検知結果及びそれに対応する確率値１５０１、１５０２、１５０３を取得し、時間領域の現在より前の検知結果である現在より前の人物の領域リスト１５０４を取得する。
【００８４】
ステップＳ１５２において、顔検知結果と時間領域の現在より前の人物の領域リストのオーバーラップを算出する。ステップＳ１５３において、オーバーラップしているか否かの判断が行われる。オーバーラップすると判定されると、ステップＳ１５４で以下の式（７）による、オーバーラップの顔の検知結果の確率の修正が行われる。
Ｐ（人物｜顔）＝Ｍａｘ（Ｐ（人物｜顔）、Ｐ（人物｜顔、ヒストリー）） （７）
【００８５】
ここで、Ｐ（人物｜顔）は、該当の顔検知結果の確率であり、Ｐ（人物｜顔、ヒストリー）は、顔と現在より前の（即ち、ヒストリー）人物の時空間領域の混合検知方法の検知精度であり、顔と現在より前の人物の時空混合検知精度は、例えば知識データベース２０５から得られる。
【００８６】
ステップＳ１５５において、頭部検知結果と時間領域の現在より前の人物の領域リストのオーバーラップを算出する。ステップＳ１５６において、オーバーラップしているか否かの判断が行われる。オーバーラップすると判定されると、ステップＳ１５７で以下の式（８）による、オーバーラップの頭部検知結果の確率の修正が行われる。
Ｐ（人物｜頭部）＝Ｍａｘ（Ｐ（人物｜頭部）、Ｐ（人物｜頭部、ヒストリー）） （８）
【００８７】
ここで、Ｐ（人物｜頭部）は、該当の頭部検知結果の確率であり、Ｐ（人物｜頭部、ヒストリー）は、頭部と現在より前の人物の時空間領域の混合検知方法の検知精度であり、頭部と現在より前の人物の時空間領域の混合検知精度は、例えば知識データベース２０５から得られる。
【００８８】
ステップＳ１５８において、移動物体の検知結果と時間領域の現在より前の人物の領域リストのオーバーラップを算出する。ステップＳ１５９において、オーバーラップしているか否かの判断が行われる。オーバーラップすると判定されると、ステップＳ１６０で以下の式（９）による、オーバーラップの移動物体検知結果の確率の修正が行われる。
Ｐ（人物｜移動物体）＝Ｍａｘ（Ｐ（人物｜移動物体）、Ｐ（人物｜移動物体、ヒストリー）） （９）
【００８９】
ここで、Ｐ（人物｜移動物体）は、該当の移動物体検知結果の確率であり、Ｐ（人物｜移動物体、ヒストリー）は、移動物体と現在より前の人物の時空間領域の混合検知方法の検知精度であり、移動物体と現在より前の人物の時空間領域の混合検知精度は、例えば、知識データベース２０５から得られる。
【００９０】
前述の処理により、時間領域修正確率が含まれる検知結果１５０５が得られる。
【００９１】
なお、時空間領域の混合検知結果がオーバーラップしない場合、前述の図８に示したプロセスには、確率不変の方法が用いられているが、オーバーラップしない場合でも、空間領域検知結果のフィルタリングに対して罰則により低下させてもよい。
【００９２】
以下、人物検知を例として、図９を参照しながら、図１のステップS160における各種検知結果の確率により、検出した最後の物体リストを決定する具体的なプロセスを説明する。図９は、本発明の１実施例による、各種検知結果の最終確率に基づく最終の人物の領域リストの決定フローチャートである。
【００９３】
ステップS１６１において、乱数発生手段は、０〜１の範囲内の乱数を生成する。ステップS162において、各種検知結果（例えば、各種検知結果は、複数の検知結果のリスト形式を有する）における各種検知結果及び対応する確率１６０１を取得する。ステップS163において、各種検知結果における各検知結果の確率と、該乱数及び設定した第１の閾値と該第１の閾値よりも小さい第２の閾値との比較を行い、該各検知結果の確率が第１の閾値を超えているか、該各検知結果の確率が第２の確率よりも大きくかつ乱数よりも大きい場合は、該各検知結果を保留し、逆の場合は、該各検知結果を放棄し、これにより、候補人物リスト及びその確率１６０２が得られる。具体的な比較式は、式（１０）に示した通りである。
【数７】
【００９４】
ここで、第１の閾値High_thresholdの範囲は、例えば、0.8〜0.95であり、第２の閾値Low_thresholdの範囲は、例えば、0〜0.5である。該２つの閾値の適切値は、実験や経験により設けてよい。
【００９５】
該ステップでは、通常の閾値による検知結果のフィルタリングの以外にも、乱数の導入により、確率の思想を確実に反映している。
【００９６】
ステップS164において、候補人物リストにオーバーラップが存在しているか否かの検知を行い、存在すると、オーバーラップしている２つのうちの確率の小さい方を排除する。
【００９７】
ステップS165において、予め定義された規則により、再度候補人物リストのフィルタリングを行い、最終の人物の領域リスト１６０３を取得する。予め定義された規則とは、応用に関連して定義されたノイズ除去の規則であり、例えば、テレビ会議シーンでは、人物が映像の底部領域に出現する可能性が非常に低いため、映像底部領域からの検知結果は除去するという規則を設けることができる。ここで、ステップS１６５は必須ではなく、選択可能なものである。
【００９８】
前述の具体的な実施例の記載においては、複数回人物検知を例として本発明の実施例による物体検知方法を記載しているが、人物検知は単なる例示的なものであり、これに限らず、移動物体検知と各種他の検知方法に用いられる他の任意の物体検知も本発明に用いることができる。前記他の物体検知の例として、猫、犬のような動物検知や、車検知等があげられる。例えば、犬の検知として、同様に、移動物体検知結果及び犬全身検知、犬頭部検知、犬顔検知、犬耳検知等の他の検知結果に応じて、本発明のマルチパターン検知方法を適用することができる。また、例えば、車検知の場合、動く車は、同様に、移動物体検知方法により移動物体検知結果を取得してもよく、車全体や車の車輪やライトや窓等の各部により各種検知結果を取得し、これにより、同様に、各種検知結果のオーバーラップ状況に応じて各種検知結果を更新し、各種検知結果の確率から最終物体検知リストを決定することができる。
【００９９】
なお、前述の実施例において、移動物体検知結果を除く他の検知結果に関しては、複数回顔や上半身や肌色のような人物の異なる部位を検知対象とした検知結果を他の検知結果としているが、これは例示的なもので、異なる演算法により同一対象を検知し検知結果を得てから、本発明の実施例を適用してもよい。例えば、顔については、特徴顔演算法、Adaboost演算法、ニューラルネットワーク演算法等を適用して各自の顔検知結果を取得し、同様に、これらの各自の顔検知結果と現在より前の顔検知結果とのオーバーラップの判定や、これらの各自の顔検知結果と上半身検知結果、移動物体検知結果等の他の検知結果とのオーバーラップの判定を行い、それに応じた関連確率の更新を行ってもよい。
【０１００】
本発明の実施例における物体検知方法と装置によると、確率により検知結果正確の可能性を示し、異なる検知方法の検知結果のオーバーラップ状況に応じて関連確率の更新を行うため、融通性に優れ、時間領域検知結果と空間領域検知結果をより総合的に考慮することができ、検知精度の向上と誤検知率の低減を実現することができる。
【０１０１】
図１０は、本発明の１実施例による、映像から所定物体を検知する物体検知装置１０００の概略ブロック図である。該物体検知装置１０００は、各種物体検知方法による、現在のフレームにおける所定物体の全体または一部への検知から得られた各種検知結果を取得する検知結果取得手段１００１と、各種検知方法の所定の検知精度に応じて、該当の検知方法に対応する検知結果の初期確率を設定する確率設定手段１００２と、現在のフレームを含む複数のフレームの移動物体検知結果から、現在のフレーム画像における各画素の移動頻度を示す移動頻度分布図を算出する移動頻度分布図算出手段１００３と、移動頻度分布図により、前フレームから検出した物体をフィルタリングし、フィルタリング後の前フレームの検知結果を取得する前フレーム検知結果フィルタリング手段１００４と、各種検知結果と前記フィルタリング後の前フレームの検知結果のオーバーラップにより、各種検知結果の確率を更新する確率更新手段１００５と、各種検知結果の確率から、検出した最後の物体リストを決定する物体リスト決定手段１００６を備えている。
【０１０２】
図１１は、本発明の１実施例による実行可能なコンピュータシステムを例示している。
【０１０３】
図１１に示されているように、コンピュータシステム１０は、ホストコンピュータ１１と、キーボード１６と、モニター１７と、プリンタ１８と、フロッピディスクドライブ１９と、ネットワークアクセスユニット２０と、ハードディスクドライブ２１が備えられている。ホストコンピュータ１１は、データバス１２と、RAM１３と、ROM１４と、プロセッサ１５と、周辺機器用バス２２が備えられている。
【０１０４】
プロセッサ１５は、RAM１３からの指令に応じて、入力データの受信と処理、およびモニター１７や他の周辺機器への出力の制御を行う。本実施例において、プロセッサ１５の１機能としては、入力画像や映像の処理、各種検知方法の実行、各種検知結果の取得、移動頻度分布図の算出があり、前フレームの検知結果のフィルタリングと、各種検知結果の確率の更新と、最後の物体検知リストの決定がある。
【０１０５】
プロセッサ１５は、データバス１２によりRAM13とROM１４にアクセスし、RAM１３は、プロセッサ１５の読取と書き込み可能なメモリとして用いられ、各プロセスの作業領域及び可変データ記憶領域として用いられる。ROM１４には、処理すべき画像及び映像、各種検知結果、各種検知結果の初期確率、更新した確率、現在より前のフレーム検知結果、最後の物体検知リスト等、他のアプリケーションが保存される。
【０１０６】
周辺機器用バス２２は、ホストコンピュータ１１に接続された入力や、出力や、保存等の周辺機器へのアクセスに用いられる。本実施例において、このような周辺機器には、モニター１７と、プリンタ１８と、フロッピディスクドライブ１９と、ネットワークアクセスユニット２０と、ハードディスクドライブ２１が含まれる。モニター１７は、周辺機器用バス２２により、プロセッサ１５からの出力データや画像の表示を行っており、CRTやLCDモニターのようなグリッド形式の表示手段でよい。プリンタ１８は、プロセッサからの入力データと画像をシートやシートのような媒体に出力する。フロッピディスクドライブ１９とハードディスクドライブ２１は、入力画像、映像と、物体検知結果と、知識データベースの保存に用いられる。画像は、フロッピディスクドライブ１９により、異なるコンピュータシステム間のやり取りが可能となる。ハードディスクドライブ２１は、保存空間が大きければ大きいほど、アクセス速度が速くなる。フラッシュメモリのような他の保存手段も画像へのコンピュータシステム１０のアクセスに用いてよい。コンピュータシステム１０は、ネットワークアクセスユニット２０により、ネットワーク上のデータの送信や他のコンピュータシステムからのデータの受信が可能となる。ユーザは、キーボード１６からコンピュータシステム１０へのコマンドの入力を行う。
【０１０７】
以上、本発明の好ましい実施形態を説明したが、本発明はこの実施形態に限定されず、本発明の趣旨を離脱しない限り、本発明に対するあらゆる変更は本発明の技術的範囲に属する。
【符号の説明】
【０１０８】
１１ ホストコンピュータ
１２ データバス
１３ ＲＡＭ
１４ ＲＯＭ
１５ プロセッサ
１６ キーボード
１７ モニター１７
１８ プリンタ１８
１９ フロッピディスクドライブ
２０ ネットワークアクセスユニット
２１ ハードディスクドライブ２１
２２ 周辺機器用バス
【技術分野】
【０００１】
本発明は、画像と映像処理に関し、特に、画像と映像における物体を検知する物体検知方法と物体検知装置に関する。
【背景技術】
【０００２】
顔検知技術のような正確な物体検知技術は、テレビ会議システム、ITS（高度道路交通システム）又はマルチメディア監視システム等の様々な映像応用の基盤となっている。
【０００３】
現在、物体検知における顔検知を例として、例えば、顔検知、肌色検知、頭部検知、移動物体検知、上半身検知等の各種顔検知技術の研究や開発が行われている。しなしながら、テレビ会議室、事務室、小売店又は室外シーン等のような通常の応用場面には、一つの検知技術のみでは、高度の検知精度を実現することができない。顔検知においては、光照射や顔角度の検知精度への影響が大きく、肌色検知においては、光照射状況や複雑環境の色分布の検知精度への影響が大きく、移動物体検知においては、シェーディング、遮蔽又はブロッキング等の問題が検知精度への影響が大きい。このため、マルチパターンの顔検知方法が注目されてきている。
【０００４】
特許US6639998B1には、画像から所定対象を検知する方法が提案されている。該方法においては、先ず、対象の一般的特徴を用いて、画像やフレームから対象を検知し、次に、以降の画像やフレームから対象に関連する同様または類似の特徴を用いて対象を検知するとともに、複数の対象や対象の一部が検出された場合は、所定対象の全ての色範囲を確定し、全ての色範囲における一部の色範囲セクションを用いて対象の検知を行う。該特許では、一貫して色（色範囲のみが異なる）を用いるような類似の特徴のみを用いて、以降の画像やフレームからの対象の検知を行っており、他の特徴による結果検証は行っていないため、検知結果の誤検知率が高くなっている。
【０００５】
特許文献US20080008360A1には、所定領域内から人物をカウントする方法及びシステムが提案されている。該システムにおいては、所定領域の画像を取得するための撮像手段と、取得した画像を受信するためのコンピュータが備えられている。コンピュータは、頭部と顔の形状を検知することで、画像における人物を検知し、検出した頭部や顔形状の数をカウントすることで、所定領域における人物の数を判定している。コンピュータは、検出した頭部や顔部領域の色が肌色に類似しているか否かの判別により、人物か否かの判定を行っている。該方法は、肌色により顔や頭部の検知結果を検証しているが、色検知の安定性が比較的低いため、誤検知に繋がり易く、さらに、顔や頭部の角度等の問題を考慮すると、該方法の検知精度と安定性は高くない。
【０００６】
特許文献WO2007092904A2には、関心領域における対象の分割方法が提案されている。関心領域は、顔、頭部又は肩部などの領域である。該方法は、関心領域の特徴検知と、領域分割と、背景排除とを組み合わせており、正確な前景対象生成と低複雑度の前景対象取得が可能となっている。該方法においては、先ず前景の検知が行われ、次に、前景からの肌色による顔検知が行われ、その後、検出した顔からの目と口の検知が行われ、最後に、両目の対称性や口と両目の３方向性を用いて顔か否かの検証が行われている。該方法の肌色による顔検知は、誤検知率が高く、マルチパターン情報を用いて演算の検証しか行っておらず、例えば、顔と頭部が同時に検出できた場合のみ人物と判定するため、検知精度の低下を招いてしまう。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明の目的は、画像と映像における物体を検知する検知方法と検知装置を提供することにある。
【課題を解決するための手段】
【０００８】
本発明の一実施例によると、所定の映像から所定物体を検知する物体検知方法が提供される。この物体検知方法は、各種物体検知方法による、フレームにおける前記所定物体の全体又は一部への検知から得られた各種検知結果を取得するステップと、前記各種物体検知方法ごとの所定の検知精度に応じて、該物体検知方法に対応する検知結果の確率を設定するステップと、前記フレームを含む複数のフレームの移動物体の検知結果に基づいて、前記フレーム画像における各画素の移動頻度を示す移動頻度分布図を算出するステップと、前記移動頻度分布図により、前フレームから検出した物体をフィルタリングし、フィルタリング後の前フレームの検知結果を取得するステップと、前記各種検知結果と前記フィルタリング後の前フレームの検知結果のオーバーラップにより、前記各種検知結果の確率を更新するステップと、更新後の前記各種検知結果の確率に基づき、検出した物体のリストを決定するステップと、を含む。
【０００９】
本発明の他の実施例によると、所定の映像から所定物体を検知する物体検知装置が提供される。この物体検知装置は、各種物体検知方法による、フレームにおける前記所定物体の全体又は一部への検知から得られた各種検知結果を取得する検知結果取得手段と、前記各種検知方法ごとの所定の検知精度に応じて、該検知方法に対応する検知結果の確率を設定する確率設定手段と、前記フレームを含む複数のフレームの移動物体の検知結果に基づいて、前記フレーム画像における各画素の移動頻度を示す移動頻度分布図を算出する移動頻度分布図算出手段と、前記移動頻度分布図により、前フレームから検出した物体をフィルタリングし、フィルタリング後の前フレームの検知結果を取得する前フレーム検知結果フィルタリング手段と、前記各種検知結果と前記フィルタリング後の前フレームの検知結果のオーバーラップにより、前記各種検知結果の確率を更新する確率更新手段と、
更新後の前記各種検知結果の確率に基づき、検出した物体のリストを決定する物体リスト決定手段と、を含む。
【発明の効果】
【００１０】
本発明の実施例に開示の物体検知方法と装置によると、確率により検知結果の正確率を示し、異なる検知方法による検知結果のオーバーラップにより関連する確率の更新を行うため、融通性に優れ、各種検知結果をより総合的に考慮し、検知精度の向上と誤検知率の低減を実現することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の１実施例による物体検知方法の全体フローチャートである。
【図２】本発明の他の実施例による、顔検知を例とした人間検知方法の全体フローチャートである。
【図３】本発明の１実施例による、統計演算に基づく知識データベース構築のフローチャートである。
【図４】本発明の１実施例による、知識データベースに基づく各種検知結果の初期確率設定のフローチャートである。
【図５】本発明の１実施例による、各種検知結果の空間領域におけるオーバーラップ状況に応じた各種検知結果の確率の更新のフローチャートである。
【図６】本発明の１実施例による、移動物体の検知結果に基づく現在のフレームの移動頻度分布図の算出フローチャートである。
【図７】本発明の１実施例による、現在のフレームの移動頻度分布図に基づく現在より前の人物の領域リストのフィルタリングフローチャートである。
【図８】本発明の１実施例による、空間領域の各種検知結果と時間領域の現在より前の人物の領域リストのオーバーラップ状況に基づく各種検知結果の確率の修正フローチャートである。
【図９】本発明の１実施例による、各種検知結果の最終確率及び予め定義された規則に基づく最終の人物の領域リストの決定フローチャートである。
【図１０】本発明の１実施例による物体検知装置の概略ブロック図である。
【図１１】本発明の１実施例による実行可能なコンピュータシステムを例示した図である。
【発明を実施するための形態】
【００１２】
次に、添付した図面を参照しながら、本発明の好適な実施形態を詳細に説明する。
【００１３】
実施例へのより詳細な説明を行う前に、理解と閲覧が容易となるように、先ず、本発明の技術的思想について簡単に説明する。本発明は、従来技術とは異なり、全面的に否定する形式や全面的に受け入れる形式である検知方法の検知結果を判断するのではなく、確率を導入することで、該検知方法の検知結果の正確の可能性を示しており、映像に関しては、現在より前の検知結果の、例えば、0.1秒前のフレームの検知結果は、現在のフレームの検知の一助となる情報を提供可能なため、現在のフレームの検知結果と現在より前のフレームの検知結果のオーバーラップ状況は、オーバーラップする物体検知結果において、該現在のフレームの物体検知結果の確率の向上に繋がる。各種検知結果における各検知結果の確率取得後、最終の検出した物体リストを決定する。なお、現在より前のフレームの検知結果を用いる場合は、検出した各物体を区別なく採用するのではなく、タイミング上のある物体領域の全体移動頻度を考慮すると、移動頻度が大きい場合は、現在より前のフレーム上の個体検知結果の存在が現在のフレームの検知結果の検証の一助にはならない可能性があるため、このような現在より前のフレームにおける個体検知結果は検知結果から除去される。
【００１４】
後述においては、記載の便宜上、人物を検知物体の例としているが、これは例示的なもので、任意の生体や移動物体も、本発明の検知対象になりうる。
【００１５】
図１は、本発明の１実施例による物体検知方法１００の全体フローチャートである。
【００１６】
図１に示したように、物体検知方法１００には、検知結果取得ステップS110と、初期確率設定ステップS120と、移動頻度分布図算出ステップS130と、前フレーム検知結果フィルタリングステップS140と、確率更新ステップS150と、物体検知リスト決定ステップS160が含まれている。以下、各ステップについて詳細に説明する。
【００１７】
ステップS110において、各種物体検知方法による、現在のフレームにおける所定物体の全体または一部への検知から得られた各種検知結果を取得する。
【００１８】
マルチフレーム間の移動物体による検知か、それとも単なる単一静止画像による検知かの角度から、前述の各種物体検知方法は、移動物体検知方法と他の物体検知方法に分けられる。
【００１９】
移動物体検知とは、通常、１セクションの映像から移動物体の抽出をいい、常用の方法として、背景差分法、隣接フレーム差分法、オプティカルフロー法があり、これらは当該分野の公知の技術である。背景差分法のキーポイントは、正確な背景モデルの構築と、シーンの変化に応じたリアルタイム更新にある。背景モデルの構築において、統計による背景モデル構築法は、本当のシーンを正確にシミュレーションすることができ、完全な移動物体を抽出することができる。隣接フレーム差分法は、リアルタイム性に優れ、かつ動的なシーンへの信頼性はあるが、動作が緩慢な大きい物体の検知には適さない。オプティカルフロー法は、背景領域の如何なる先験的知識不要の条件下で移動物体の検知と追跡が可能であるが、ノイズに比較的敏感である。適切な移動物体検知方法は、需要に応じて選択することができる。なお、複数のガウス混合による背景モデル構築法は、移動物体のみならず、一時静止の対象も部分的に検出可能である。
【００２０】
他の検知方法とは、前述の移動物体検知方法以外の単一フレーム画像を処理対象とする他の任意の物体に関する検知方法をいう。例えば、各種人間検知方法を例として、人体の部位検知によっては、顔検知、頭部検知、上半身検知、全身検知、肌色検知等に分けられ、具体的に用いられる演算法によっては、特徴空間演算法、ニューラルネットワーク演算法、Adaboost演算法、決定木演算法等に分けられる。このような物体の各部の検知方法と具体的な各種演算法及びそれらの組み合わせは、すべて本発明の実施例における他の検知方法、例えば、人間顔への特徴顔演算法や、人間顔へのAdaboost演算法や、人間顔への決定木演算法や、頭部への特徴空間演算法や、頭部へのAdaboost演算法や、頭部への決定木演算法として用いることができる。
【００２１】
物体検知結果は、現在のフレームから検知された１つまたは複数の物体の全体または一部のリストであり、１つの物体の全体や一部は、該物体を含む全体や一部の最小矩形領域により示され、具体的には、例えば、該矩形領域の左上角の座標と右下角の座標により示される。例えば、人間顔においては、該顔を囲む矩形フレームの左上角の座標と右下角の座標により示される。もちろん、楕円や円形のような他の形式で示してもよい。例えば、１フレーム画像から３人を検出した場合、｛（X1L,Y1L;X1R,Y1R）、（X2L,Y2L;X2R,Y2R）、（X3L,Y3L;X3R,Y3R）｝のようなリストを用いてこのような検知結果を表示することができる。
【００２２】
ステップS120において、各種検知方法の所定の検知精度に応じて、該当の検知方法に対応する検知結果の初期確率を設定する。検知方法の検知精度は、例えば、
【数１】
に定義され、ＲＯＤは、検知精度を示し、H(hit)は、正確な検知結果の数を示し、F(false)は、誤検知結果の数を示し、H+Fは、全体の検知結果の数を示している。なお、検知精度は検出率として定義することも考えられる。検出率は、すなわち、すべての物体から正確に検出された数のすべての物体の数における比率である。ある検知結果の初期確率は、該検知結果の正確の可能性を示しており、例えば、ある頭部検知方法の初期確率は、P(人物｜頭部)で示され、該検知方法で頭部を検出した場合、該物体が確かに人物である可能性を意味している。
【００２３】
ここで、各種検知方法の所定検知精度は、予め統計演算により得られ、かつ知識データベースに保存されたものであるが、自己適応学習により得られたものでもよく、経験によって設けられたものでもよい。以下、図３を参照し、知識データベースの例示的構築方法を説明する。なお、図４を参照し、該構築した知識データベースを用いた、各種検知方法により得られた各種検知結果の初期確率の設定方法を説明する。
【００２４】
ステップS130において、現在のフレームを含む複数のフレームの移動物体の検知結果から、現在のフレーム画像における各画素の移動頻度を示す移動頻度分布図を算出する。ここで、複数のフレームの移動物体の検知結果は、任意の移動物体の検知方法により得られ、該任意の検知方法は、前述のS110とS120における各種検知結果に関する各種検知方法とは独立した方法でもよく、前述の各種検知方法における一部でもよい。以下、図６を参照し、移動頻度分布図の算出方法を例示的に説明する。
【００２５】
ステップS140において、ステップS130から算出された移動頻度分布図により、前フレームから検出された物体のフィルタリングを行い、フィルタリング後の前フレームの検知結果を取得する。以下、図７を参照し、移動頻度分布図により前フレームの検知結果をフィルタリングする方法を例示的に説明する。
【００２６】
ステップS150において、各種検知結果と前記フィルタリング後の前フレームの検知結果のオーバーラップにより、各種検知結果の確率を更新する。以下、図８を参照し、該ステップの具体的な実行方法を、例示的に説明する。
【００２７】
ステップS160において、各種検知結果の確率に基づき、検出した最後の物体のリストを決定する。以下、図９を参照し、該ステップを実行する一例を示す。該最後の物体検知結果は、モニターに直接表示しても、メモリに保存してもよく、前フレーム検知結果データベースへ送信して最新の前フレーム検知結果としてもよい。
【００２８】
なお、アプリケーションに関連して定義されたノイズ除去規則により、最後の物体リストにおけるノイズとなる物体を除去してもよい。予め定義された規則とは、アプリケーションに関連して定義されたノイズ除去規則をいう。例えば、人物検知の場合、テレビ会議シーンにおいて、人物が映像底部領域に現れる可能性は極めて低いため、椅子下から検出された人物は除去する等、映像底部領域からの検知結果は除去するように規則を設計してもよい。予め定義された規則が、同様に、例えば、ステップS110における各種検知結果のような各種検知結果の除去に用いられてもよいことはいうまでもない。
【００２９】
図２は、本発明の他の実施例による人間顔検知を例とした検知方法の全体フローチャートである。
【００３０】
図２においては、各ステップの表示以外にも、理解しやすくなるように、平行四辺形の形式で、ステップに関する、例えば、各種検知結果である移動物体のリスト２０１、人物の顔のリスト２０２、人物の頭部のリスト２０３、他のリスト２０４、確率設定と確率更新の参考となる知識データベース２０５、最後結果となる人物の領域のリスト２０６、以降の検知に用いられる現在より前の人物の領域のリスト２０７等のデータが示されている。
【００３１】
人物検知方法２００におけるステップS210、S220、S230、S240、S250、S260は、図１に示された物体検知方法１００におけるステップS110、S120、S130、S140、S150、S160と類似であり、図２で検出される物体は人物であることのみが異なっている。このため、重複説明は割愛する。
【００３２】
人物検知方法２００の物体検知方法１００との相違点は、ステップS270の追加である。ステップS270では、現在のフレームの各種検知結果間のオーバーラップ状況に応じて、各種検知結果の確率の更新を行い、例えば、現在の画像において、顔検知リスト２０２における１つの顔ａと頭部検知リスト２０３における１つの頭部ｂがオーバーラップしていると、ここに人物が存在することを暗示する可能性が非常に高い。このため、顔検知リスト２０２における顔ａと頭部検知リスト２０３における頭部ｂの正確な確率を引き上げるべきである。以下、図５を参照し、該ステップＳ２７０についてさらに詳細に説明する。
【００３３】
ここで、図２においては、ステップＳ２７０が現在のフレーム検知と現在より前のフレーム検知のオーバーラップを処理するステップＳ２５０前に示されているが、これに限定されるものではなく、ステップＳ２７０をステップＳ２５０の後に行ってもよい。
【００３４】
図２に示された例示的方法は、現在のフレームの検知結果と現在より前のフレームの検知結果のオーバーラップ（以下、記述の便宜上、時間領域オーバーラップとも称する）のみならず、現在のフレームの各種検知結果間のオーバーラップ（以下、記述の便宜上、空間領域オーバーラップとも称する）も考慮して、現在のフレームの検知結果の確率更新を行うため、検知方法全体の正確度をさらに高めることができる。
【００３５】
以下、依然として人物検知を例とし、図３を参照しながら、各種検知演算法の各自の検知精度及び各種演算法の検知結果のオーバーラップ時の検知精度（以下、記述の便宜上、混合検知精度とも称する）が保存された知識データベースの構築工程について説明する。図３は、本発明の１実施例による統計演算に基づく知識データベース構築のフローチャートである。
【００３６】
ステップＳ３１０において、人物が含まれている複数の画像と複数の映像断片３０７を用意する。
【００３７】
ステップＳ３２０において、手動で人物の領域をマーキングし、マーキングした領域の座標をファイルに記録する。該ステップにより、画像と映像断片の各フレームにおける人物の位置と数が得られる。
【００３８】
ステップＳ３３０において、例えば、移動物体検知方法、顔検知方法、頭部検知方法、上半身検知方法、全身検知方法、肌色検知方法等の人物に関する検知方法を選択する。本実施例では、仮に移動物体検知方法と頭部検知方法と顔検知方法とを選択したとする。ステップＳ３４０において、移動物体検知方法で移動と一時静止の人物を検知する。ステップＳ３５０において顔検知方法により人物の顔を検知する。ステップＳ３６０において、頭部検知方法により頭部を検知する。ここで、選択した検知方法の数は３つに限らず、具体的に選択した検知方法も、移動物体検知方法と頭部検知方法と顔検知方法とに限らず、任意の人物に関連する検知方法であってもよい。
【００３９】
ステップＳ３７０において、ステップＳ３２０で得られた人物領域マーキング情報のファイルと各種検知方法の検知結果を用いて、各種検知方法の検知精度を算出する。
【００４０】
例えば、人物の顔検知を例として、顔検知精度の算出方法を説明する。まず、実行中の検知方法は、人物の顔検知方法であり、検知結果は、人物の顔である。検出した人物の顔領域とマーキングした人物の領域がオーバーラップしているか否かの検証により、検出した正確な顔の数と誤り顔の数の算出が可能となり、同時に未検出の本当の人物の数が算出できるようになる。前記算出から得られた正確な顔の数と、誤り顔の数と、検出漏れの人数と、マーキングした全体の人数から、人物の顔検知方法による人物の検知精度を算出することができる。オーバーラップしているか否かは、オーバーラップ領域の大きさで判定することができる。例えば、オーバーラップする顔領域とマーキング領域のうちの面積の小さいほうの領域の面積値Ａｒｅａを算出する。オーバーラップ領域の面積を該面積値Ａｒｅａで除算することでオーバーラップ比ｒが得られる。ｒが所定の閾値を超える場合、該顔領域は正確な人顔と判定される。閾値の範囲は、例えば0.6から1.0であり、適切な数値は実験や経験や閾値範囲内で任意に選択することができる。
【００４１】
ステップＳ３７０では、顔検知のような単一の検知方法の検知精度の統計演算以外に、さらに前述の方法による、例えば、顔と頭部検知の検知精度や、顔と上半身検知の検知精度等の複数種類の検知方法の混合検知精度の算出が行われる。具体的には、例えば、顔検知方法と頭部検知方法の混合検知精度については、以下のように算出することができる。例えば、顔検知方法の顔検知リスト及び頭部検知方法の頭部検知リストを取得し、オーバーラップ状況を調べることで、顔と判定されかつ頭部と判定された顔と頭部の領域のリストが得られ、これにより、該頭部と顔の領域リストにおける正確な頭部と顔の数、誤り頭部と顔の数、検出漏れ数、全体のマーキングした頭部と顔の数が分かり、例えば、該頭部と顔領域リストにおける正確な頭部と顔数を該頭部と顔の領域リストにおける正確な頭部と顔の数と誤り頭部と顔数の和で除算することで、顔検知方法と頭部検知方法の混合精度が得られる。
【００４２】
なお、ステップＳ３７０において、同様に、例えば、人物の顔の検知結果と時間領域の現在より前の検知結果の時間領域の混合検知精度や、人物の頭部の検知結果と時間領域の現在より前の検知結果の時間領域の混合検知精度のような時空間領域の混合検知方法の検知精度の算出が行われる。時間領域の混合検知方法とは、ある空間領域の検知方法（顔、頭部、上半身等）の検知結果と時間領域の現在より前の検知結果（時間領域の現在より前の人物の領域）を合併して人物の領域を得る方法をいう。最後に、単一の検知方法、混合検知方法、時空間領域の混合検知方法のすべての検知精度データを知識データベース２０５に保存する。
【００４３】
図４は、本発明の１実施例による知識データベースに基づく各種検知結果の初期確率設定のフローチャートである。
【００４４】
ステップＳ１２１において、人物検知に関する任意の１種または複数種類の検知結果を取得する。ステップＳ１２２において、検知結果の種類の判定が行われる。ステップＳ１２３、Ｓ１２４、Ｓ１２５において、検知結果種類に応じて、知識データベース２０５からそれぞれの検知精度を取得し、該検知結果の初期確率の設定を行う。例えば、検知結果が移動物体の検知結果の場合は、ステップＳ１２３において、知識データベース２０５から移動物体の検知方法に対応する検知精度を取得し、該値により、すべての移動物体の検知結果の初期確率Ｐ（人物｜移動物体）を設定する。検知結果が顔検知結果の場合は、ステップＳ１２４において、知識データベース２０５から顔検知方法に対応する検知精度を取得し、該値により、すべての顔検知結果の初期確率Ｐ（人物｜顔）を設定する。検知結果が頭部の検知結果の場合は、ステップＳ１２５において、知識データベース２０５から頭部の検知方法に対応する検知精度を取得し、該値により、すべての頭部の検知結果の初期確率Ｐ（人物｜頭部）を設定する。
【００４５】
図４においては、移動物体の検知結果、顔の検知結果、頭部の検知結果を例として初期確率の設定について説明したが、本発明は、これに限らず、該方法を用いて任意の種類の検知結果の初期確率の設定を行ってもよい。
【００４６】
以下、図５を参照して図２における空間領域のオーバーラップのステップＳ２７０の処理の具体的なプロセスについて説明する。図５は、本発明の１実施例による、各種検知結果の空間領域におけるオーバーラップ状況に応じた各種検知結果の確率の更新のフローチャートである。
【００４７】
ステップＳ２７１において、例えば、初期確率が設定された顔領域リスト２７０１と、初期確率が設定された頭部領域リスト２７０２と、初期確率が設定された移動物体領域リスト２７０３のような、各種初期確率を含む検知結果を取得する。
【００４８】
ステップＳ２７２において、各種検知結果のオーバーラップ種類の判定が行われる。
【００４９】
例えば、ステップＳ２７２において、顔検知結果となる顔の領域と、頭部検知結果となる頭部の領域と、移動物体の検知結果となる移動物体の領域との３つの領域がオーバーラップすると判定されると、ステップＳ２７３において、顔と頭部と移動物体との混合検知方法の精度（例えば、知識データベース２０５から取得）に応じて、オーバーラップの顔と頭部と移動物体との検知結果の確率を修正し、例えば、下記式により修正する。
Ｐ（人物｜顔）＝Ｐ（人物｜頭部）＝Ｐ（人物｜移動）＝Ｐ（人物｜顔、頭部、移動）
【００５０】
ステップＳ２７２において、顔検知結果となる顔領域と、頭部の検知結果となる頭部の領域との２つの領域がオーバーラップすると判定されると、ステップＳ２７４において、顔と頭部の混合検知方法の精度（例えば、知識データベース２０５から取得）に応じて、オーバーラップの顔と頭部の検知結果の確率を修正し、例えば、下記式により修正する。
Ｐ（人物｜顔）＝Ｐ（人物｜頭部）＝Ｐ（人物｜顔、頭部）
【００５１】
ステップＳ２７２において、顔検知結果となる顔領域と、移動物体検知結果となる移動物体領域との２つの領域がオーバーラップすると判定されると、ステップＳ２７５において、顔と移動物体の混合検知方法の精度（例えば、知識データベース２０５から取得）に応じて、オーバーラップの顔と移動物体の検知結果の確率を修正し、例えば、下記式により修正する。
Ｐ（人物｜顔）＝Ｐ（人物｜移動）＝Ｐ（人物｜顔、移動）
【００５２】
ステップＳ２７２において、頭部検知結果となる頭部の領域と、移動物体の検知結果となる移動物体領域との２つの領域がオーバーラップすると判定されると、ステップＳ２７６において、頭部と移動物体の混合検知方法の精度（例えば、知識データベース２０５から取得）に応じて、オーバーラップの頭部と移動物体の検知結果の確率を修正し、例えば、下記式により修正する。
Ｐ（人物｜頭部）＝Ｐ（人物｜移動）＝Ｐ（人物｜頭部、移動）
【００５３】
ステップＳ２７２において、顔検知結果となる顔領域と、頭部検知結果となる頭部領域と、移動物体検知結果となる移動物体領域との３つの領域がオーバーラップしておらず、任意の２つの領域ともオーバーラップしていないと判定されると、確率修正の動作は行わない。
【００５４】
オーバーラップ種類の判定後、かつ判定結果によるそれぞれの動作実行後に、最新確率値が含まれている検知結果リスト２７０４が得られ、その後、処理を終了する。
【００５５】
ここで、以上では各種検知結果がオーバーラップしない場合には元の確率を維持する処理を行っているが、その代わりに、この場合は、各種検知結果の確率を下げてもよい。換言すると、オーバーラップすべきところがオーバーラップしない場合は、例えば確率を元の９割にするような罰則を適用してもよい。
【００５６】
なお、以上では、例えば２種類の検知結果がオーバーラップしている場合は、簡単に知識データベースから取得した空間領域の混合検知精度で元の各検知結果の確率を代替しているが、その代わりに、オーバーラップ面積の比に応じて重み付けにて各検知結果の更新を行ってもよい。例えば、１つの頭部領域と１つの顔領域がオーバーラップする面積が顔領域面積の７０％であると、下記式により該顔領域の確率を更新する。
Ｐ（人物｜顔）＝Ｐ（人物｜顔）*（１−７０％）+Ｐ（人物｜頭部、顔）*７０％。
【００５７】
以下、図６を参照して図１におけるステップＳ１３０の詳細プロセス、すなわち、現在のフレームを含む複数のフレーム移動物体の検知結果に基づく現在のフレームの移動頻度分布図の算出方法について説明する。該移動頻度分布図は、現在のフレーム画像における各画素の移動頻度を示し、現在のフレームにおける各画素の移動の激しさの傾向を示す。
【００５８】
ステップＳ１３１において、現在の時間から逆算した所定持続時間内の移動物体検知の結果を取得することで、複数の移動物体１３０１を取得することができ、該所定持続時間は、0.5秒、1.0秒、2秒や、他の時間間隔値であってもよい。
【００５９】
ステップＳ１３２において、該所定持続時間内の各画素点の移動物体となった回数を算出し、以下の式（１）と（２）により算出可能である。
【数２】
【００６０】
ここで、コンピュータ環境の変化を考慮すると、所定持続時間ｔ内の映像のフレーム数が動的に変化するため、Ｎ（ｔ）を導入する。Ｎ（ｔ）は、所定持続時間内のフレーム数を示し、pixel(x,y)は、座標（ｘ、ｙ）の画素を示し、pixel(x,y)∈foregroundは、画素pixel(x,y)が移動物体であり、所謂前景であることを示し、pixel(x,y)∈othersは、画素pixel(x,y)が前景以外の領域に属し、移動物体ではないことを示し、fk(x,y)は、第ｋフレームにおける画素pixel(x,y)が移動物体であるか否かを示す。
【００６１】
ステップＳ１３３において、各画素の移動物体となった回数の正規化処理を行い、映像フレーム数の動的な変化の影響をなくす。正規化処理の式は、下記式（３）の通りである。
【数３】
【００６２】
正規化後、Nor_Times(x,y)が「０、1」の間の数値であり、画素pixel(x,y)の移動頻度を示す。
【００６３】
ステップＳ１３４において、実行中の検知フレームの移動頻度分布図１３０２を出力する。
【００６４】
前述の移動頻度分布図の算出は、例示的なものであり、移動頻度分布図の算出には、画素の移動頻度や移動傾向を示すことができれば、任意の方法を用いてもよい。
【００６５】
例えば、前述の演算において、各フレームに同様の重み付けを施しているが、その代わりに、現在のフレームに近い距離のフレームの移動物体検知結果に高い重み付けを施し、現在のフレームとの距離が離れているフレームの移動物体検知結果に低い重み付けを施してもよい。
【００６６】
さらに、移動頻度分布図は、オプティカルフロー法による演算で得られる。オプティカルフロー法の基本思想としては、空間中における移動は移動フィールドで記述することができ、１画像平面上の物体の移動は、画像シーケンスにおける画像階調分布の異なりによって具現されており、これによって空間中の移動フィールドが画像上に転移しオプティカルフローフィールドを示すことになる。オプティカルフローフィールドは、画像上の各スポットの階調の変化傾向を反映しており、階調を有する画素点の画像平面上における移動により生成された瞬時速度フィールドとみなすことができ、真の移動フィールドの近似推測でもある。理想的な場合は、シーンの如何なる情報も予め知る必要がなくとも、移動物体の速度を正確に算出することができる。オプティカルフローは、画像の変化を表現しており、ターゲット移動情報が含まれているため、観察者がターゲットの移動状況を判定するに用いられる。詳細には、勾配によるオプティカルフロー演算方法を用いることができ、各画素の勾配方向のオプティカルフローの速度率を得ることができ、オプティカルフロー速度率を正規化して、画素の移動頻度を示すNor_Times(x,y)とする。
【００６７】
以下、人物検知を例とし、図７を参照しながら、図１のステップＳ１４０における前フレーム検知結果のフィルタリング処理の詳細工程を説明する。図７は、本発明の１実施例による、現在のフレームの移動頻度分布図に基づく現在より前の人物の領域リストのフィルタリングフローチャートである。
【００６８】
理解の便宜上、先ず、現在より前の人物の領域のフィルタリングの思想について説明する。１つの現在より前の人物の領域の移動頻度の累積和が小さいと、該現在より前の人物の移動があまり激しくないことを示し、その次のフレームである現在のフレームの同様の領域にも人物が存在していることが分かるため、該現在より前の人物の領域は、現在のフレームにおける物体検知結果に補助情報を提供したことになる。一方、１つの現在より前の人物の領域の移動頻度の累積和が大きいと、該現在より前の人物の移動が激しかったことを示し、前フレームにおける該現在より前の人物は、現在のフレームの物体検知にさほどの助けにはならない。
【００６９】
ステップＳ１４１において、前フレームの最終人物検知結果（時間領域の現在より前の人物の領域１４０１のリスト）を取得する。
【００７０】
ステップＳ１４２において、現在のフレームの移動頻度分布図１４０２を取得する。
【００７１】
ステップＳ１４３において、各時間領域の現在より前の人物の領域iの移動頻度累積和を算出し、累積和の演算式は、下記の式（４）に示したとおりである。
【数４】
ここで、pixel(xk,yk)∈region(i)。
【００７２】
式中、region(i)は、第ｉの現在より前の人物の領域を示し、width(i)は、第iの現在より前の人物の領域の幅であり、height(i)は、第iの現在より前の人物の領域の高さであり、width(i)×height(i)は、第iの現在より前の人物の領域の画素数を示す。Nor_Times(xk,yk)は、画素ｋの現在の移動頻度を示す。Sum_motion(i)は、第iの現在より前の人物の領域の移動頻度累積和を示す。
【００７３】
各時間領域の現在より前の人物の領域の異なる面積を考慮し、ステップＳ１４４において、各時間領域の現在より前の人物の領域の移動頻度累積和を正規化し、正規化式は、下記式（５）に示したとおりである。
【数５】
【００７４】
ステップＳ１４５において、正規化後の累積和により、時間領域の現在より前の検知結果のフィルタリングを行う。詳細には、ある時間領域の現在より前の検知結果の正規化累積和が所定の閾値以下であると、該現在より前の検知結果を保留し、そうでなければ、該現在より前の検知結果を除去する。
【００７５】
フィルタリング式は、例えば下記式（６）に示したとおりであり、ここで、閾値thresholdの範囲は、０から１/２であり、適切な閾値は、テストや経験や０から１/２の間で任意に選択することができる。
【数６】
【００７６】
pass(i)が０であると、該現在より前の人物の領域iは、移動頻度検証をパスしていないことを示し、現在より前の人物の領域リストから除去される。pass(i)が１であると、該現在より前の人物の領域iは、現在より前の人物の領域リストに保留する。
【００７７】
例えば、前フレームの時間領域の現在より前の検知結果が現在より前の人物の領域リスト｛現在より前の人物の領域１、現在より前の人物の領域２、・・・現在より前の人物の領域i・・・、現在より前の人物の領域Ｍ｝であり、Ｍ個の人物が検出されている。仮に閾値を１/２とすると、現在より前の人物の領域１の正規化累積和は、0.6であり、1/2よりも大きいと、現在より前の人物の領域リストから現在より前の人物の領域１を削除する。最後に、フィルタリングの現在より前の人物の領域リスト１４０３が得られる。
【００７８】
ステップＳ１４６において、現在より前の人物の領域リスト１４０３を出力する。
【００７９】
前述の現在より前のフレームの人物の領域リストのフィルタリングにおいては、１つ前のフレームの場合について説明を行ったが、その代わりに、２つ前までのフレーム、３つ前までのフレーム、・・・、Ｍ個の前までのフレームを現在のフレームの検知結果の参考としてもよい。なお、現在のフレームに近いフレームに高い重み付けをし、例えば１つの前のフレームの検知結果を一番目に考慮し、２つ前のフレームの検知結果は２番目に考慮してよい。
【００８０】
以下、人物検知を例とし、図８を参照しながら図１のステップＳ１５０で行われる時間領域オーバーラップ処理の具体的な例示プロセスを説明する。図８は、本発明の１実施例による、空間領域の各種検知結果と時間領域の現在より前の人物の領域リストのオーバーラップ状況に基づく各種検知結果の確率の修正フローチャートである。
【００８１】
先ず、図８では、移動物体検知結果、顔検知結果及び頭部検知結果の現在より前の人物の領域リストとのオーバーラップに関する処理を例として挙げている。図８においては、設定した閾値により空間領域の各種検知結果と時間領域の現在より前の検知結果のオーバーラップ状況を判断し、その後時間領域のオーバーラップ状況に応じて空間領域の各種検知結果の確率の更新を行う。
【００８２】
図８における異なるオーバーラップ種類により、異なる種類の空間領域検知結果と時間領域の現在より前の検知結果のオーバーラップが定義され、例えば、顔検知結果と時間領域の現在より前の人物の領域（時間領域の現在より前の検知結果）とのオーバーラップは、１種のオーバーラップ種類であり、頭部検知結果と時間領域の現在より前の人物の領域とのオーバーラップは、他のオーバーラップ種類である。オーバーラップ種類に応じて、知識データベース２０５からオーバーラップに対応する時空間領域の混合検知方法の検知精度を読取り、該検知精度により、該種類のオーバーラップの各種検知結果の確率を更新する。時空間領域の混合検知方法とは、現在のフレームのある検知方法（移動物体、顔、頭部、上半身等）の検知結果と時間領域の現在より前の検知結果（時間領域現在より前の人物の領域）とを合併して人物の領域を得る方法をいう。
【００８３】
ステップＳ１５１において、現在のフレームの検知結果及びそれに対応する確率値１５０１、１５０２、１５０３を取得し、時間領域の現在より前の検知結果である現在より前の人物の領域リスト１５０４を取得する。
【００８４】
ステップＳ１５２において、顔検知結果と時間領域の現在より前の人物の領域リストのオーバーラップを算出する。ステップＳ１５３において、オーバーラップしているか否かの判断が行われる。オーバーラップすると判定されると、ステップＳ１５４で以下の式（７）による、オーバーラップの顔の検知結果の確率の修正が行われる。
Ｐ（人物｜顔）＝Ｍａｘ（Ｐ（人物｜顔）、Ｐ（人物｜顔、ヒストリー）） （７）
【００８５】
ここで、Ｐ（人物｜顔）は、該当の顔検知結果の確率であり、Ｐ（人物｜顔、ヒストリー）は、顔と現在より前の（即ち、ヒストリー）人物の時空間領域の混合検知方法の検知精度であり、顔と現在より前の人物の時空混合検知精度は、例えば知識データベース２０５から得られる。
【００８６】
ステップＳ１５５において、頭部検知結果と時間領域の現在より前の人物の領域リストのオーバーラップを算出する。ステップＳ１５６において、オーバーラップしているか否かの判断が行われる。オーバーラップすると判定されると、ステップＳ１５７で以下の式（８）による、オーバーラップの頭部検知結果の確率の修正が行われる。
Ｐ（人物｜頭部）＝Ｍａｘ（Ｐ（人物｜頭部）、Ｐ（人物｜頭部、ヒストリー）） （８）
【００８７】
ここで、Ｐ（人物｜頭部）は、該当の頭部検知結果の確率であり、Ｐ（人物｜頭部、ヒストリー）は、頭部と現在より前の人物の時空間領域の混合検知方法の検知精度であり、頭部と現在より前の人物の時空間領域の混合検知精度は、例えば知識データベース２０５から得られる。
【００８８】
ステップＳ１５８において、移動物体の検知結果と時間領域の現在より前の人物の領域リストのオーバーラップを算出する。ステップＳ１５９において、オーバーラップしているか否かの判断が行われる。オーバーラップすると判定されると、ステップＳ１６０で以下の式（９）による、オーバーラップの移動物体検知結果の確率の修正が行われる。
Ｐ（人物｜移動物体）＝Ｍａｘ（Ｐ（人物｜移動物体）、Ｐ（人物｜移動物体、ヒストリー）） （９）
【００８９】
ここで、Ｐ（人物｜移動物体）は、該当の移動物体検知結果の確率であり、Ｐ（人物｜移動物体、ヒストリー）は、移動物体と現在より前の人物の時空間領域の混合検知方法の検知精度であり、移動物体と現在より前の人物の時空間領域の混合検知精度は、例えば、知識データベース２０５から得られる。
【００９０】
前述の処理により、時間領域修正確率が含まれる検知結果１５０５が得られる。
【００９１】
なお、時空間領域の混合検知結果がオーバーラップしない場合、前述の図８に示したプロセスには、確率不変の方法が用いられているが、オーバーラップしない場合でも、空間領域検知結果のフィルタリングに対して罰則により低下させてもよい。
【００９２】
以下、人物検知を例として、図９を参照しながら、図１のステップS160における各種検知結果の確率により、検出した最後の物体リストを決定する具体的なプロセスを説明する。図９は、本発明の１実施例による、各種検知結果の最終確率に基づく最終の人物の領域リストの決定フローチャートである。
【００９３】
ステップS１６１において、乱数発生手段は、０〜１の範囲内の乱数を生成する。ステップS162において、各種検知結果（例えば、各種検知結果は、複数の検知結果のリスト形式を有する）における各種検知結果及び対応する確率１６０１を取得する。ステップS163において、各種検知結果における各検知結果の確率と、該乱数及び設定した第１の閾値と該第１の閾値よりも小さい第２の閾値との比較を行い、該各検知結果の確率が第１の閾値を超えているか、該各検知結果の確率が第２の確率よりも大きくかつ乱数よりも大きい場合は、該各検知結果を保留し、逆の場合は、該各検知結果を放棄し、これにより、候補人物リスト及びその確率１６０２が得られる。具体的な比較式は、式（１０）に示した通りである。
【数７】
【００９４】
ここで、第１の閾値High_thresholdの範囲は、例えば、0.8〜0.95であり、第２の閾値Low_thresholdの範囲は、例えば、0〜0.5である。該２つの閾値の適切値は、実験や経験により設けてよい。
【００９５】
該ステップでは、通常の閾値による検知結果のフィルタリングの以外にも、乱数の導入により、確率の思想を確実に反映している。
【００９６】
ステップS164において、候補人物リストにオーバーラップが存在しているか否かの検知を行い、存在すると、オーバーラップしている２つのうちの確率の小さい方を排除する。
【００９７】
ステップS165において、予め定義された規則により、再度候補人物リストのフィルタリングを行い、最終の人物の領域リスト１６０３を取得する。予め定義された規則とは、応用に関連して定義されたノイズ除去の規則であり、例えば、テレビ会議シーンでは、人物が映像の底部領域に出現する可能性が非常に低いため、映像底部領域からの検知結果は除去するという規則を設けることができる。ここで、ステップS１６５は必須ではなく、選択可能なものである。
【００９８】
前述の具体的な実施例の記載においては、複数回人物検知を例として本発明の実施例による物体検知方法を記載しているが、人物検知は単なる例示的なものであり、これに限らず、移動物体検知と各種他の検知方法に用いられる他の任意の物体検知も本発明に用いることができる。前記他の物体検知の例として、猫、犬のような動物検知や、車検知等があげられる。例えば、犬の検知として、同様に、移動物体検知結果及び犬全身検知、犬頭部検知、犬顔検知、犬耳検知等の他の検知結果に応じて、本発明のマルチパターン検知方法を適用することができる。また、例えば、車検知の場合、動く車は、同様に、移動物体検知方法により移動物体検知結果を取得してもよく、車全体や車の車輪やライトや窓等の各部により各種検知結果を取得し、これにより、同様に、各種検知結果のオーバーラップ状況に応じて各種検知結果を更新し、各種検知結果の確率から最終物体検知リストを決定することができる。
【００９９】
なお、前述の実施例において、移動物体検知結果を除く他の検知結果に関しては、複数回顔や上半身や肌色のような人物の異なる部位を検知対象とした検知結果を他の検知結果としているが、これは例示的なもので、異なる演算法により同一対象を検知し検知結果を得てから、本発明の実施例を適用してもよい。例えば、顔については、特徴顔演算法、Adaboost演算法、ニューラルネットワーク演算法等を適用して各自の顔検知結果を取得し、同様に、これらの各自の顔検知結果と現在より前の顔検知結果とのオーバーラップの判定や、これらの各自の顔検知結果と上半身検知結果、移動物体検知結果等の他の検知結果とのオーバーラップの判定を行い、それに応じた関連確率の更新を行ってもよい。
【０１００】
本発明の実施例における物体検知方法と装置によると、確率により検知結果正確の可能性を示し、異なる検知方法の検知結果のオーバーラップ状況に応じて関連確率の更新を行うため、融通性に優れ、時間領域検知結果と空間領域検知結果をより総合的に考慮することができ、検知精度の向上と誤検知率の低減を実現することができる。
【０１０１】
図１０は、本発明の１実施例による、映像から所定物体を検知する物体検知装置１０００の概略ブロック図である。該物体検知装置１０００は、各種物体検知方法による、現在のフレームにおける所定物体の全体または一部への検知から得られた各種検知結果を取得する検知結果取得手段１００１と、各種検知方法の所定の検知精度に応じて、該当の検知方法に対応する検知結果の初期確率を設定する確率設定手段１００２と、現在のフレームを含む複数のフレームの移動物体検知結果から、現在のフレーム画像における各画素の移動頻度を示す移動頻度分布図を算出する移動頻度分布図算出手段１００３と、移動頻度分布図により、前フレームから検出した物体をフィルタリングし、フィルタリング後の前フレームの検知結果を取得する前フレーム検知結果フィルタリング手段１００４と、各種検知結果と前記フィルタリング後の前フレームの検知結果のオーバーラップにより、各種検知結果の確率を更新する確率更新手段１００５と、各種検知結果の確率から、検出した最後の物体リストを決定する物体リスト決定手段１００６を備えている。
【０１０２】
図１１は、本発明の１実施例による実行可能なコンピュータシステムを例示している。
【０１０３】
図１１に示されているように、コンピュータシステム１０は、ホストコンピュータ１１と、キーボード１６と、モニター１７と、プリンタ１８と、フロッピディスクドライブ１９と、ネットワークアクセスユニット２０と、ハードディスクドライブ２１が備えられている。ホストコンピュータ１１は、データバス１２と、RAM１３と、ROM１４と、プロセッサ１５と、周辺機器用バス２２が備えられている。
【０１０４】
プロセッサ１５は、RAM１３からの指令に応じて、入力データの受信と処理、およびモニター１７や他の周辺機器への出力の制御を行う。本実施例において、プロセッサ１５の１機能としては、入力画像や映像の処理、各種検知方法の実行、各種検知結果の取得、移動頻度分布図の算出があり、前フレームの検知結果のフィルタリングと、各種検知結果の確率の更新と、最後の物体検知リストの決定がある。
【０１０５】
プロセッサ１５は、データバス１２によりRAM13とROM１４にアクセスし、RAM１３は、プロセッサ１５の読取と書き込み可能なメモリとして用いられ、各プロセスの作業領域及び可変データ記憶領域として用いられる。ROM１４には、処理すべき画像及び映像、各種検知結果、各種検知結果の初期確率、更新した確率、現在より前のフレーム検知結果、最後の物体検知リスト等、他のアプリケーションが保存される。
【０１０６】
周辺機器用バス２２は、ホストコンピュータ１１に接続された入力や、出力や、保存等の周辺機器へのアクセスに用いられる。本実施例において、このような周辺機器には、モニター１７と、プリンタ１８と、フロッピディスクドライブ１９と、ネットワークアクセスユニット２０と、ハードディスクドライブ２１が含まれる。モニター１７は、周辺機器用バス２２により、プロセッサ１５からの出力データや画像の表示を行っており、CRTやLCDモニターのようなグリッド形式の表示手段でよい。プリンタ１８は、プロセッサからの入力データと画像をシートやシートのような媒体に出力する。フロッピディスクドライブ１９とハードディスクドライブ２１は、入力画像、映像と、物体検知結果と、知識データベースの保存に用いられる。画像は、フロッピディスクドライブ１９により、異なるコンピュータシステム間のやり取りが可能となる。ハードディスクドライブ２１は、保存空間が大きければ大きいほど、アクセス速度が速くなる。フラッシュメモリのような他の保存手段も画像へのコンピュータシステム１０のアクセスに用いてよい。コンピュータシステム１０は、ネットワークアクセスユニット２０により、ネットワーク上のデータの送信や他のコンピュータシステムからのデータの受信が可能となる。ユーザは、キーボード１６からコンピュータシステム１０へのコマンドの入力を行う。
【０１０７】
以上、本発明の好ましい実施形態を説明したが、本発明はこの実施形態に限定されず、本発明の趣旨を離脱しない限り、本発明に対するあらゆる変更は本発明の技術的範囲に属する。
【符号の説明】
【０１０８】
１１ ホストコンピュータ
１２ データバス
１３ ＲＡＭ
１４ ＲＯＭ
１５ プロセッサ
１６ キーボード
１７ モニター１７
１８ プリンタ１８
１９ フロッピディスクドライブ
２０ ネットワークアクセスユニット
２１ ハードディスクドライブ２１
２２ 周辺機器用バス
【特許請求の範囲】
【請求項１】
所定の映像から所定物体を検知する物体検知方法であって、
各種物体検知方法による、フレームにおける前記所定物体の全体又は一部への検知から得られた各種検知結果を取得するステップと、
前記各種物体検知方法ごとの所定の検知精度に応じて、該物体検知方法に対応する検知結果の確率を設定するステップと、
前記フレームを含む複数のフレームの移動物体の検知結果に基づいて、前記フレーム画像における各画素の移動頻度を示す移動頻度分布図を算出するステップと、
前記移動頻度分布図により、前フレームから検出した物体をフィルタリングし、フィルタリング後の前フレームの検知結果を取得するステップと、
前記各種検知結果と前記フィルタリング後の前フレームの検知結果のオーバーラップにより、前記各種検知結果の確率を更新するステップと、
更新後の前記各種検知結果の確率に基づき、検出した物体のリストを決定するステップと、を含む、物体検知方法。
【請求項２】
前記各種検知結果間のオーバーラップにより前記各種検知結果の確率を更新するステップをさらに含む、請求項１に記載の物体検知方法。
【請求項３】
前記各種検知結果間のオーバーラップにより前記各種検知結果の確率を更新するステップは、所定数の検知結果の対応領域間の重畳比と所定閾値との比較により、該所定数の検知結果がオーバーラップしているか否かを判定し、オーバーラップしていると、該所定数の検知結果のオーバーラップに対応する所定の検知精度に応じて、該所定数の検知結果における前記各種検知結果の確率を更新することを含む請求項２に記載の物体検知方法。
【請求項４】
アプリケーションに関連して定義されたノイズ除去規則により、前記各種検知結果又は前記物体のリストにおけるノイズとなる物体を除去するステップをさらに含む、請求項１に記載の物体検知方法。
【請求項５】
前記各種検知方法の所定の検知精度と、前記各種検知方法の検知結果のオーバーラップに対応する所定の検知精度と、前記各種検知方法の検知結果と前フレームの検知結果のオーバーラップに対応する所定の検知精度が、統計演算により得られる知識データベースに予め保存される、請求項１に記載の物体検知方法。
【請求項６】
前記移動頻度分布図を算出するステップは、
複数のフレームの移動物体の検知結果から、現在の時間から逆算した所定持続時間内の各画素点の移動物体となった回数を算出し、各画素点の移動物体となった回数をフレーム数で除算して得られた該画素点の移動頻度を取得することにより、現在の移動頻度分布図を取得することを含む、請求項１に記載の物体検知方法。
【請求項７】
前記移動頻度分布図により、前フレームから検出した物体をフィルタリングするステップは、
前フレームから検出した物体の属する領域の移動頻度の累積和を算出し、該物体の属する領域の移動頻度累積和を正規化し、該物体の正規化後の累積和が所定閾値以下の場合は、該物体を保留し、所定閾値を超える場合は、前フレームから検出した物体から該物体を除去することを含む、請求項６に記載の物体検知方法。
【請求項８】
前記各種検知結果と前記フィルタリング後の前フレームの検知結果のオーバーラップにより、前記各種検知結果の確率を更新するステップは、
一種の検知結果と前記フィルタリング後の前フレームの検知結果に対応する領域間の重畳比と所定の閾値との比較により、該種の検知結果とフィルタリング後の前フレームの検知結果がオーバーラップしているか否かを判定し、オーバーラップしていると、該オーバーラップに対応する所定の検知精度に応じて、該種の検知結果の確率を更新することを含む、請求項１に記載の物体検知方法。
【請求項９】
前記各種検知結果の確率から、検出した物体のリストを決定するステップは、
乱数発生器により、０〜１範囲内の乱数を生成することと、
前記各種検知結果による前記各種検知結果の確率と、前記乱数、所定の第１の閾値及び該第１の閾値未満の所定の第２の閾値とを比較することと、
前記各種検知結果の確率が前記第１の閾値を超える場合又は前記各種検知結果の確率が前記第２の閾値を超えかつ乱数よりも大きい場合は、前記各種検知結果を保留し、逆の場合は、前記各種検知結果を放棄することと、を含む、請求項１に記載の物体検知方法。
【請求項１０】
所定の映像から所定物体を検知する物体検知装置であって、
各種物体検知方法による、フレームにおける前記所定物体の全体又は一部への検知から得られた各種検知結果を取得する検知結果取得手段と、
前記各種検知方法ごとの所定の検知精度に応じて、該検知方法に対応する検知結果の確率を設定する確率設定手段と、
前記フレームを含む複数のフレームの移動物体の検知結果に基づいて、前記フレーム画像における各画素の移動頻度を示す移動頻度分布図を算出する移動頻度分布図算出手段と、
前記移動頻度分布図により、前フレームから検出した物体をフィルタリングし、フィルタリング後の前フレームの検知結果を取得する前フレーム検知結果フィルタリング手段と、
前記各種検知結果と前記フィルタリング後の前フレームの検知結果のオーバーラップにより、前記各種検知結果の確率を更新する確率更新手段と、
更新後の前記各種検知結果の確率に基づき、検出した物体のリストを決定する物体リスト決定手段と、を含む物体検知装置。
【請求項１１】
所定の映像から所定物体を検知する物体検知プログラムであって、
コンピュータに、
各種物体検知方法による、フレームにおける前記所定物体の全体又は一部への検知から得られた各種検知結果を取得するステップと、
前記各種物体検知方法ごとの所定の検知精度に応じて、該物体検知方法に対応する検知結果の確率を設定するステップと、
前記フレームを含む複数のフレームの移動物体の検知結果に基づいて、前記フレーム画像における各画素の移動頻度を示す移動頻度分布図を算出するステップと、
前記移動頻度分布図により、前フレームから検出した物体をフィルタリングし、フィルタリング後の前フレームの検知結果を取得するステップと、
前記各種検知結果と前記フィルタリング後の前フレームの検知結果のオーバーラップにより、前記各種検知結果の確率を更新するステップと、
更新後の前記各種検知結果の確率に基づき、検出した物体のリストを決定するステップと、
を実行させるための物体検知プログラム。
【請求項１２】
請求項１１に記載の物体検知プログラムを記憶しているコンピュータ読み出し可能な記憶媒体。
【請求項１】
所定の映像から所定物体を検知する物体検知方法であって、
各種物体検知方法による、フレームにおける前記所定物体の全体又は一部への検知から得られた各種検知結果を取得するステップと、
前記各種物体検知方法ごとの所定の検知精度に応じて、該物体検知方法に対応する検知結果の確率を設定するステップと、
前記フレームを含む複数のフレームの移動物体の検知結果に基づいて、前記フレーム画像における各画素の移動頻度を示す移動頻度分布図を算出するステップと、
前記移動頻度分布図により、前フレームから検出した物体をフィルタリングし、フィルタリング後の前フレームの検知結果を取得するステップと、
前記各種検知結果と前記フィルタリング後の前フレームの検知結果のオーバーラップにより、前記各種検知結果の確率を更新するステップと、
更新後の前記各種検知結果の確率に基づき、検出した物体のリストを決定するステップと、を含む、物体検知方法。
【請求項２】
前記各種検知結果間のオーバーラップにより前記各種検知結果の確率を更新するステップをさらに含む、請求項１に記載の物体検知方法。
【請求項３】
前記各種検知結果間のオーバーラップにより前記各種検知結果の確率を更新するステップは、所定数の検知結果の対応領域間の重畳比と所定閾値との比較により、該所定数の検知結果がオーバーラップしているか否かを判定し、オーバーラップしていると、該所定数の検知結果のオーバーラップに対応する所定の検知精度に応じて、該所定数の検知結果における前記各種検知結果の確率を更新することを含む請求項２に記載の物体検知方法。
【請求項４】
アプリケーションに関連して定義されたノイズ除去規則により、前記各種検知結果又は前記物体のリストにおけるノイズとなる物体を除去するステップをさらに含む、請求項１に記載の物体検知方法。
【請求項５】
前記各種検知方法の所定の検知精度と、前記各種検知方法の検知結果のオーバーラップに対応する所定の検知精度と、前記各種検知方法の検知結果と前フレームの検知結果のオーバーラップに対応する所定の検知精度が、統計演算により得られる知識データベースに予め保存される、請求項１に記載の物体検知方法。
【請求項６】
前記移動頻度分布図を算出するステップは、
複数のフレームの移動物体の検知結果から、現在の時間から逆算した所定持続時間内の各画素点の移動物体となった回数を算出し、各画素点の移動物体となった回数をフレーム数で除算して得られた該画素点の移動頻度を取得することにより、現在の移動頻度分布図を取得することを含む、請求項１に記載の物体検知方法。
【請求項７】
前記移動頻度分布図により、前フレームから検出した物体をフィルタリングするステップは、
前フレームから検出した物体の属する領域の移動頻度の累積和を算出し、該物体の属する領域の移動頻度累積和を正規化し、該物体の正規化後の累積和が所定閾値以下の場合は、該物体を保留し、所定閾値を超える場合は、前フレームから検出した物体から該物体を除去することを含む、請求項６に記載の物体検知方法。
【請求項８】
前記各種検知結果と前記フィルタリング後の前フレームの検知結果のオーバーラップにより、前記各種検知結果の確率を更新するステップは、
一種の検知結果と前記フィルタリング後の前フレームの検知結果に対応する領域間の重畳比と所定の閾値との比較により、該種の検知結果とフィルタリング後の前フレームの検知結果がオーバーラップしているか否かを判定し、オーバーラップしていると、該オーバーラップに対応する所定の検知精度に応じて、該種の検知結果の確率を更新することを含む、請求項１に記載の物体検知方法。
【請求項９】
前記各種検知結果の確率から、検出した物体のリストを決定するステップは、
乱数発生器により、０〜１範囲内の乱数を生成することと、
前記各種検知結果による前記各種検知結果の確率と、前記乱数、所定の第１の閾値及び該第１の閾値未満の所定の第２の閾値とを比較することと、
前記各種検知結果の確率が前記第１の閾値を超える場合又は前記各種検知結果の確率が前記第２の閾値を超えかつ乱数よりも大きい場合は、前記各種検知結果を保留し、逆の場合は、前記各種検知結果を放棄することと、を含む、請求項１に記載の物体検知方法。
【請求項１０】
所定の映像から所定物体を検知する物体検知装置であって、
各種物体検知方法による、フレームにおける前記所定物体の全体又は一部への検知から得られた各種検知結果を取得する検知結果取得手段と、
前記各種検知方法ごとの所定の検知精度に応じて、該検知方法に対応する検知結果の確率を設定する確率設定手段と、
前記フレームを含む複数のフレームの移動物体の検知結果に基づいて、前記フレーム画像における各画素の移動頻度を示す移動頻度分布図を算出する移動頻度分布図算出手段と、
前記移動頻度分布図により、前フレームから検出した物体をフィルタリングし、フィルタリング後の前フレームの検知結果を取得する前フレーム検知結果フィルタリング手段と、
前記各種検知結果と前記フィルタリング後の前フレームの検知結果のオーバーラップにより、前記各種検知結果の確率を更新する確率更新手段と、
更新後の前記各種検知結果の確率に基づき、検出した物体のリストを決定する物体リスト決定手段と、を含む物体検知装置。
【請求項１１】
所定の映像から所定物体を検知する物体検知プログラムであって、
コンピュータに、
各種物体検知方法による、フレームにおける前記所定物体の全体又は一部への検知から得られた各種検知結果を取得するステップと、
前記各種物体検知方法ごとの所定の検知精度に応じて、該物体検知方法に対応する検知結果の確率を設定するステップと、
前記フレームを含む複数のフレームの移動物体の検知結果に基づいて、前記フレーム画像における各画素の移動頻度を示す移動頻度分布図を算出するステップと、
前記移動頻度分布図により、前フレームから検出した物体をフィルタリングし、フィルタリング後の前フレームの検知結果を取得するステップと、
前記各種検知結果と前記フィルタリング後の前フレームの検知結果のオーバーラップにより、前記各種検知結果の確率を更新するステップと、
更新後の前記各種検知結果の確率に基づき、検出した物体のリストを決定するステップと、
を実行させるための物体検知プログラム。
【請求項１２】
請求項１１に記載の物体検知プログラムを記憶しているコンピュータ読み出し可能な記憶媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１１−２３８２２７（Ｐ２０１１−２３８２２７Ａ）
【公開日】平成２３年１１月２４日（２０１１．１１．２４）
【国際特許分類】
【出願番号】特願２０１１−１０３６８７（Ｐ２０１１−１０３６８７）
【出願日】平成２３年５月６日（２０１１．５．６）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成２３年１１月２４日（２０１１．１１．２４）
【国際特許分類】
【出願日】平成２３年５月６日（２０１１．５．６）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]