物体検出装置、物体検出装置の制御方法、およびプログラム
【課題】対象物体の姿勢変動やオクルージョンに対してロバストな検出を可能にする。
【解決手段】フレーム画像を順次取得する画像取得部と、フレーム画像から検出尤度を算出して、当該検出尤度に基づいてフレーム画像から対象物体を検出する検出部と、複数のフレーム画像のそれぞれから対象物体の追跡尤度を算出して、当該追跡尤度に基づいて複数のフレーム画像間で対象物体を追跡する追跡部と、を備える物体検出装置であって、検出部は、画像取得部により取得されたフレーム画像から追跡部により算出される対象物体の追跡尤度と、当該フレーム画像から検出部により算出される対象物体の検出尤度とに基づいて、当該フレーム画像から対象物体を検出する。
【解決手段】フレーム画像を順次取得する画像取得部と、フレーム画像から検出尤度を算出して、当該検出尤度に基づいてフレーム画像から対象物体を検出する検出部と、複数のフレーム画像のそれぞれから対象物体の追跡尤度を算出して、当該追跡尤度に基づいて複数のフレーム画像間で対象物体を追跡する追跡部と、を備える物体検出装置であって、検出部は、画像取得部により取得されたフレーム画像から追跡部により算出される対象物体の追跡尤度と、当該フレーム画像から検出部により算出される対象物体の検出尤度とに基づいて、当該フレーム画像から対象物体を検出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像から対象物体を検出する物体検出装置、物体検出装置の制御方法、およびプログラムに関する。
【背景技術】
【０００２】
予め学習したモデルを用いて画像から対象物体を検出する方法が知られている。非特許文献１では、大量の画像を用意し、画像からＨＯＧと呼ばれる特徴を抽出してＳＶＭを用いて学習し、学習したモデルを用いて対象物体を検出する方法が開示されている。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Ｎａｖａｎｅｅｔ Ｄａｌａｌ ａｎｄ Ｂｉｌｌ Ｔｒｉｇｇｓ，“Ｈｉｓｔｏｇｒａｍ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ ｆｏｒ Ｈｕｍａｎ Ｄｅｔｅｃｔｉｏｎ”，ＩＥＥＥ ＣＶＰＲ２００５
【非特許文献２】ｈｉｓｔｏｇｒａｍｓ ｏｆ ｏｒｉｅｎｔｅｄ ｇｒａｄｉｅｎｔｓ ｆｏｒ ｈｕｍａｎ ｄｅｔｅｔｃｔｉｏｎ，Ｎ．Ｄａｌａｌ，ＣＶＰＲ２００５
【非特許文献３】Ｃｏｍｂｉｎｅｄ Ｏｂｊｅｃｔ Ｃａｔｅｇｏｒｉｚａｔｉｏｎ ａｎｄ Ｓｅｇｍｅｎｔａｔｉｏｎ ｗｉｔｈ ａｎ Ｉｍｐｌｉｃｉｔ Ｓｈａｐｅ Ｍｏｄｅｌ，Ｂ．Ｌｅｉｂｅ，ＥＣＣＶ２００４
【非特許文献４】Ａ Ｄｉｓｃｒｉｍｉｎａｔｉｖｅｌｙ Ｔｒａｉｎｅｄ，ＭｕｌｔｉＳｃａｌｅ，Ｄｅｆｏｒｍａｂｌｅ Ｐａｒｔ Ｍｏｄｅｌ，Ｐ．Ｆｅｌｚｅｎｓｚｗａｌｂ，ＣＶＰＲ２００９
【非特許文献５】Ｈ．Ｇｒａｂｎｅｒ，“Ｏｎｌｉｎｅ Ｂｏｏｓｔｉｎｇ ａｎｄ Ｖｉｓｉｏｎ”，ＣＶＰＲ２００６
【非特許文献６】Ｍ．Ｉｓａｒｄ Ａ．Ｂｌａｋｅ，“ＩＣｏｎｄｅｎｓａｔｉｏｎ： Ｕｎｉｆｙｉｎｇ ｌｏｗ−ｌｅｖｅｌ ａｎｄ ｈｉｇｈ−ｌｅｖｅｌ ｔｒａｃｋｉｎｇ ｉｎ ａ ｓｔｏｃｈａｓｔｉｃ ｆｒａｍｅｗｏｒｋ”，ＥＣＣＶ１９９８
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、非特許文献１に記載の方法では、対象物体の姿勢変動やオクルージョンによって検出精度が低下してしまうという課題がある。
【０００５】
上記の課題に鑑み、本発明は、対象物体の姿勢変動やオクルージョンに対してロバストな検出を可能にすることを目的とする。
【課題を解決するための手段】
【０００６】
上記の目的を達成する本発明に係る物体検出装置は、
フレーム画像を順次取得する画像取得手段と、
前記フレーム画像から検出尤度を算出して、当該検出尤度に基づいて前記フレーム画像から対象物体を検出する検出手段と、
複数のフレーム画像のそれぞれから前記対象物体の追跡尤度を算出して、当該追跡尤度に基づいて複数のフレーム画像間で前記対象物体を追跡する追跡手段と、を備える物体検出装置であって、
前記検出手段は、前記画像取得手段により取得されたフレーム画像から前記追跡手段により算出される前記対象物体の追跡尤度と、当該フレーム画像から前記検出手段により算出される前記対象物体の検出尤度とに基づいて、当該フレーム画像から前記対象物体を検出することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、対象物体の姿勢変動やオクルージョンに対してロバストな検出が可能となる。
【図面の簡単な説明】
【０００８】
【図１】第１実施形態に係る物体検出装置の構成を示す図。
【図２】第１実施形態に係る物体検出装置の処理手順を示すフローチャート。
【図３】第１実施形態に係る物体検出装置の処理の説明図。
【図４】第２実施形態に係る物体検出装置の構成を示す図。
【図５】第２実施形態に係る物体検出装置の処理手順を示すフローチャート。
【図６】第２実施形態に係る物体検出装置の処理の説明図。
【図７】第３実施形態に係る物体検出装置の構成を示す図。
【図８】第３実施形態に係る物体検出装置の処理手順を示すフローチャート。
【図９】第４実施形態に係る物体検出装置の構成を示す図。
【図１０】第４実施形態に係る物体検出装置の処理手順を示すフローチャート。
【発明を実施するための形態】
【０００９】
（第１実施形態）
図１を参照して、第１実施形態に係る物体検出装置１００の構成を説明する。物体検出装置１００は、画像取得部１０１と、検出部１０２と、追跡部１０３と、追跡尤度変換部１０４と、同一対象判定部１０５とを備える。各処理部の動作は不図示のＣＰＵにより制御される。
【００１０】
画像取得部１０１は、フレーム画像を順次取得する。画像取得部１０１は、カメラを用いて撮影したフレーム画像を取得してもよいし、予め撮影し保存されているフレーム画像をメモリから取得してもよい。取得されたフレーム画像は、検出部１０２および追跡部１０３へ出力される。
【００１１】
検出部１０２は、画像取得部１０１から出力されたフレーム画像を取得し、当該取得したフレーム画像から対象物体の検出処理を実行する。検出処理には、ＨＯＧ＋ＳＶＭを使用した非特許文献２、ＩＳＭを使用した非特許文献３、Ｌａｔｅｎｔ−ＳＶＭを使用した非特許文献４などの公知の技術を使用してもよい。検出処理により得られた検出結果（対象物体の位置情報およびサイズ情報）および対象物体の尤度は、同一対象判定部１０５へ出力される。
【００１２】
追跡部１０３は、画像取得部１０１から出力されたフレーム画像を取得し、当該取得したフレーム画像に対して対象物体の追跡処理を実行する。すなわち、複数のフレーム画像のそれぞれから対象物体の追跡尤度を算出して、当該追跡尤度に基づいて複数のフレーム画像間で対象物体を追跡する。追跡処理には、Ｏｎｌｉｎｅ Ｂｏｏｓｔｉｎｇを使用した非特許文献５、Ｃｏｎｄｅｎｓａｔｉｏｎを使用した非特許文献６などの公知の技術を使用してもよい。なお追跡する対象物体は、同一対象判定部１０５から取得した対象物体の位置情報・サイズ情報に基づいて決定される。追跡処理の結果として得られた対象物体の位置情報・サイズ情報および尤度は、追跡尤度変換部１０４および同一対象判定部１０５へ出力される。
【００１３】
追跡尤度変換部１０４は、追跡部１０３から出力された追跡結果を取得し、当該取得した対象物体の位置情報・サイズ情報および尤度に基づいて、当該尤度を検出部１０２において使用可能な尤度へ変換する。例えば、両者を比較可能なように正規化変換する。
【００１４】
具体的には、図３に示されるように、追跡部１０３は追跡対象の位置情報・サイズ情報に基づいて、あるスケールの画像３１０における追跡対象の探索範囲３１１内の尤度を算出する。この探索範囲３１１と、検出処理で行う画像ピラミッドの処理範囲３１２とを対応させて、検出処理での尤度算出処理に追跡対象の尤度が追加されるように、追跡対象の尤度を変換する。なお、画像ピラミッドとは、高解像度の画像から低解像度の画像までのいくつかの異なる解像度の画像の集合として構成されている。追跡尤度変換部１０４により変換された尤度は、検出部１０２へ出力される。検出部１０２は、２フレーム目以降で、追跡尤度変換部１０４から取得した尤度と、検出処理により得られた画像における対象物体の尤度とを合わせて最終的な尤度を算出して同一対象判定部１０５へ出力する。最終的な尤度の算出は、正規化された両者の加算値、あるいは両者の平均値などであってもよい。これらが閾値以上である場合に、対象物体であると判定できる。
【００１５】
同一対象判定部１０５は、検出部１０２から出力された検出結果と、追跡部１０３から出力された追跡結果とに基づいて、検出結果と追跡結果とが同一の対象物体を表しているか否かを判定する。例えば、式（１）および式（２）に示されるように、検出結果で得られた対象物体の位置情報・サイズ情報と、追跡している対象物体の位置情報・サイズ情報とを比較して、位置が略同一であり、サイズが略同一であると判定された場合、同一の対象物体を表していると判定する。
【００１６】
【数１】
【００１７】
【数２】
【００１８】
また、同一の対象物体を表しているか否かの判定には、位置およびサイズをガウス分布に当てはめて確率的に決定してもよい。検出結果と追跡結果とは１対１の組み合わせになるようにしてもよい。同一対象判定部１０５により判定された結果が最終的な検出結果となる。また、追跡部１０３により算出された最終的な追跡尤度と、検出部１０２により算出された検出尤度との差分が所定の範囲内に収まるか否かによって、同一の対象物体を表しているか否かを判定してもよい。同一の対象物体を表していると判定された場合、その判定結果は追跡部１０３へ出力され、追跡部１０３は追跡処理を継続する。一方、同一の対象物体を表していないと判定された場合、すなわち新しく対象物体が追加検出されたような場合、判定結果は追跡部１０３へ出力される。そして追跡部１０３は、新たに対象物体の追跡処理を行う。
【００１９】
次に図２のフローチャートを参照して、第１実施形態に係る物体検出装置１００の処理手順を説明する。なお、フローチャートに従ったプログラムコードは不図示のＲＡＭやＲＯＭなどのメモリに格納され、不図示のＣＰＵにより読み出されて実行される。
【００２０】
ステップＳ１０１において、画像取得部１０１は、撮影機器や画像ファイルなどからフレーム画像を取得する。取得されたフレーム画像は、検出部１０２および追跡部１０３へ出力される。ステップＳ１０２において、検出部１０２は、ステップＳ１０１で取得されたフレーム画像から対象物体を検出する処理を実行する。ステップＳ１０３において、検出部１０２は、検出処理により得られた尤度が閾値以上であるか否かを判定する。尤度が閾値以上であると判定された場合（Ｓ１０３；ＹＥＳ）、その位置およびサイズで対象物体が検出されたと判定できるため、ステップＳ１０４へ進む。一方、尤度が閾値より小さいと判定された場合（Ｓ１０３；ＮＯ）、対象物体が検出されなかったと判定できるため、ステップＳ１０１へ戻る。
【００２１】
ステップＳ１０４において、検出部１０２は、検出結果を同一対象判定部１０５へ出力する。ステップＳ１０５において、追跡部１０３は、画像取得部１０１から取得したフレーム画像に対して対象物体の追跡処理を実行する。追跡対象は、同一対象判定部１０５から取得した対象物体の位置情報・サイズ情報に基づいて決定される。追跡処理の結果得られた対象の位置情報・サイズ情報および尤度は、追跡尤度変換部１０４および同一対象判定部１０５へ出力される。その後、ステップＳ１０６へ進む。
【００２２】
ステップＳ１０６において、追跡尤度変換部１０４は、追跡部１０３から取得した追跡結果である対象の位置情報・サイズ情報および尤度に基づいて、当該尤度を、検出部１０２で使用可能な尤度へ変換する。
【００２３】
ステップＳ１０７において、追跡尤度変換部１０４は、ステップＳ１０６で変換された尤度を検出部１０２へ出力する。ステップＳ１０８において、追跡部１０３は、追跡結果を同一対象判定部１０５へ出力する。
【００２４】
ステップＳ１０９において、検出部１０２は、追跡尤度変換部１０４から得られた尤度と、検出処理により得られた画像中の尤度とを合わせて最終的な尤度を算出する。ステップＳ１１０において、検出部１０２は、最終的な尤度を同一対象判定部１０５へ出力する。その後、ステップＳ１１０へ進む。
【００２５】
ステップＳ１１１において、同一対象判定部１０５は、検出部１０２による検出結果と追跡部１０３による追跡結果とに基づいて、検出結果と追跡結果とが同一の対象物体を表しているか否かを判定する。例えば、式（１）および式（２）に示されるように、検出結果で得られた対象物体の位置情報・サイズ情報と、追跡している対象物体の位置情報・サイズ情報とを比較して、位置が略同一であり、サイズが略同一であると判定された場合、同一の対象物体を表していると判定する。同一対象判定部１０５は、判定結果を出力して処理を終了する。以上で図２のフローチャートの各処理が終了する。
【００２６】
以上説明したように、本実施形態では、検出部による検出結果に、追跡部の追跡結果を反映させる。そのため本実施形態によれば、２フレーム目以降の検出処理（第２の検出処理）の検出精度が向上し、対象物体の姿勢変動やオクルージョンに対してロバストな検出が可能となる。
【００２７】
（第２実施形態）
図４を参照して、第２実施形態に係る物体検出装置２００の構成を説明する。物体検出装置２００は、画像取得部２０１と、検出部２０２と、追跡部２０３と、検出尤度変換部２０４と、同一対象判定部２０５と、を備える。第１実施形態に係る物体検出装置１００は追跡尤度変換部１０４を有しているが、第２実施形態に係る物体検出装置２００は、追跡尤度変換部１０４に代えて検出尤度変換部２０４を有している。
【００２８】
画像取得部２０１の機能は、画像取得部１０１の機能と同じなので説明を省略する。
【００２９】
検出部２０２は、画像取得部２０１から出力されたフレーム画像を取得し、当該取得したフレーム画像から対象物体の検出処理を実行する。検出処理により得られた検出結果（対象物体の位置情報およびサイズ情報）および対象物体の尤度は、検出尤度変換部２０４および同一対象判定部２０５へ出力される。
【００３０】
追跡部２０３は、画像取得部２０１から出力されたフレーム画像を取得し、当該取得したフレーム画像に対して対象物体の追跡処理を実行する。なお追跡する対象物体は、同一対象判定部２０５から取得した対象物体の位置情報・サイズ情報に基づいて決定される。追跡処理の結果として得られた対象物体の位置情報・サイズ情報および尤度は、同一対象判定部２０５へ出力される。
【００３１】
検出尤度変換部２０４は、検出部２０２から出力された検出結果を取得し、当該取得した検出結果である対象物体の位置情報・サイズ情報および尤度に基づいて、当該尤度を追跡部２０３において使用可能な尤度へ変換する。具体的には、図６に示されるように、検出対象物体の位置情報・サイズ情報に基づいて、あるスケールの画像６１０の尤度マップ６１１を決定する。検出尤度変換部２０４は、検出処理結果から得られる尤度マップ６１１に対応する範囲６１２の尤度を抽出し、追跡部２０３が出力する正規化した尤度範囲に合わせるように尤度を変換する。検出尤度変換部２０４により変換された尤度は、追跡部２０３へ出力される。追跡部２０３は、２フレーム目以降で、検出尤度変換部２０４から取得した尤度と、追跡処理により得られた画像における対象物体の尤度とを合わせて最終的な尤度を算出して同一対象判定部２０５へ出力する。
【００３２】
同一対象判定部２０５は、検出部２０２から出力された検出結果と、追跡部２０３から出力された追跡結果とに基づいて、検出結果と追跡結果とが同一の対象物体を表しているか否かを判定する。第１実施形態と同様、式（１）および式（２）に示されるように、検出結果で得られた対象物体の位置情報・サイズ情報と、追跡している対象物体の位置情報・サイズ情報とを比較して、位置が略同一であり、サイズが略同一であると判定された場合、同一の対象物体を表していると判定する。
【００３３】
次に図５のフローチャートを参照して、第２実施形態に係る物体検出装置２００の処理手順を説明する。ステップＳ５０１およびステップＳ５０２の各処理は、それぞれステップＳ１０１およびステップＳ１０２の各処理と同様であるため説明を省略する。
【００３４】
ステップＳ５０３において、検出部２０２は、検出処理により得られた尤度が閾値以上であるか否かを判定する。尤度が閾値以上であると判定された場合（Ｓ５０３；ＹＥＳ）、その位置およびサイズで対象物体が検出されたと判定できるため、検出結果を検出尤度変換部２０４へ出力し、ステップＳ５０４へ進む。一方、尤度が閾値より小さいと判定された場合（Ｓ５０３；ＮＯ）、対象物体が検出されなかったと判定できるため、ステップＳ５０１へ戻る。
【００３５】
ステップＳ５０４において、検出尤度変換部２０４は、検出部２０２から出力された検出結果を取得し、当該取得した検出結果である対象物体の位置情報・サイズ情報および尤度に基づいて、当該尤度を追跡部２０３において使用可能な尤度へ変換する。
【００３６】
ステップＳ５０５において、検出尤度変換部２０４は、ステップＳ５０４で変換された尤度を追跡部２０３へ出力する。ステップＳ５０６において、検出部２０２は、検出結果を同一対象判定部２０５へ出力する。
【００３７】
ステップＳ５０７において、追跡部２０３は、画像取得部２０１から取得したフレーム画像に対して、対象の追跡処理を実行する。追跡対象は同一対象判定部２０５から取得した対象物体の位置情報・サイズ情報に基づいて決定される。
【００３８】
ステップＳ５０８において、追跡部２０３は、検出尤度変換部２０４から得られた尤度と併せて最終的な尤度を算出し、対象物体の追跡位置を決定する。ステップＳ５０９において、追跡部２０３は、追跡処理の結果得られた対象物体の位置情報・サイズ情報および尤度を、同一対象判定部２０５へ出力する。
【００３９】
ステップＳ５１０の処理は、ステップＳ１１１の処理と同様であるため説明を省略する。以上で図５のフローチャートの各処理が終了する。
【００４０】
以上説明したように、本実施形態では、追跡部の追跡結果に、検出部による検出結果を反映させる。そのため本実施形態によれば、２フレーム目以降の追跡処理（第２の追跡処理）の追跡精度が向上し、対象物体の姿勢変動やオクルージョンに対してロバストな追跡が可能となる。
【００４１】
（第３実施形態）
図７を参照して、第３実施形態に係る物体検出装置３００の構成を説明する。物体検出装置３００は、画像取得部３０１と、検出部３０２と、追跡部３０３と、追跡尤度変換部３０４と、同一対象判定部３０５と、検出尤度変換部３０６と、を備える。第１実施形態に係る物体検出装置１００は追跡尤度変換部１０４を有しており、第２実施形態に係る物体検出装置２００は検出尤度変換部２０４を有していた。第３実施形態に係る物体検出装置３００は、追跡尤度変換部３０４および検出尤度変換部３０６を両方とも有している。画像取得部３０１の機能は、画像取得部１０１の機能と同じなので説明を省略する。
【００４２】
検出部３０２は、画像取得部３０１から出力されたフレーム画像を取得し、当該取得したフレーム画像から対象物体の検出処理を実行する。検出処理により得られた検出結果（対象物体の位置情報およびサイズ情報）および対象物体の尤度は、検出尤度変換部３０６および同一対象判定部３０５へ出力される。
【００４３】
追跡部３０３は、画像取得部３０１から出力されたフレーム画像を取得し、当該取得したフレーム画像に対して対象物体の追跡処理を実行する。なお追跡する対象物体は、同一対象判定部３０５から取得した対象物体の位置情報・サイズ情報に基づいて決定される。追跡処理の結果として得られた対象物体の位置情報・サイズ情報および尤度は、追跡尤度変換部３０４および同一対象判定部３０５へ出力される。
【００４４】
追跡尤度変換部３０４は、追跡部３０３から出力された追跡結果を取得し、当該取得した対象物体の位置情報・サイズ情報および尤度に基づいて、当該尤度を検出部３０２において使用可能な尤度へ変換する。追跡尤度変換部３０４により変換された尤度は、検出部３０２へ出力される。検出部３０２は、２フレーム目以降で、追跡尤度変換部３０４から取得した尤度と、検出処理により得られた画像における対象物体の尤度とを合わせて最終的な尤度を算出して同一対象判定部３０５へ出力する。
【００４５】
検出尤度変換部３０６は、検出部３０２から出力された検出結果を取得し、当該取得した検出結果である対象物体の位置情報・サイズ情報および尤度に基づいて、当該尤度を追跡部３０３において使用可能な尤度へ変換する。検出尤度変換部３０６により変換された尤度は、追跡部３０３へ出力される。追跡部３０３は、２フレーム目以降で、検出尤度変換部３０６から取得した尤度と、追跡処理により得られた画像における対象物体の尤度とを合わせて最終的な尤度を算出して同一対象判定部３０５へ出力する。
【００４６】
同一対象判定部３０５は、検出部３０２から出力された検出結果と、追跡部３０３から出力された追跡結果とに基づいて、検出結果と追跡結果とが同一の対象物体を表しているか否かを判定する。第１実施形態と同様、式（１）および式（２）に示されるように、検出結果で得られた対象物体の位置情報・サイズ情報と、追跡している対象物体の位置情報・サイズ情報とを比較して、位置が略同一であり、サイズが略同一であると判定された場合、同一の対象物体を表していると判定する。
【００４７】
次に図８のフローチャートを参照して、第３実施形態に係る物体検出装置３００の処理手順を説明する。ステップＳ８０２乃至ステップＳ８０５の各処理と、ステップＳ８０６乃至ステップＳ８０９の各処理とは、並列に実行される。ステップＳ８０１の処理は、ステップＳ１０１の処理と同様であるため説明を省略する。
【００４８】
ステップＳ８０２において、検出部３０２は、画像取得部３０１から出力されたフレーム画像を取得し、当該取得したフレーム画像から対象物体の検出処理を実行する。検出処理により得られた検出結果（対象物体の位置情報およびサイズ情報）および対象物体の尤度は、検出尤度変換部３０６および同一対象判定部３０５へ出力される。
【００４９】
ステップＳ８０３において、検出尤度変換部３０６は、検出部３０２から出力された検出結果を取得し、当該取得した検出結果である対象物体の位置情報・サイズ情報および尤度に基づいて、当該尤度を追跡部３０３において使用可能な尤度へ変換する。
【００５０】
ステップＳ８０４において、検出尤度変換部３０６は、ステップＳ８０３で変換された尤度を追跡部３０３へ出力する。ステップＳ８０５において、検出部３０２は、追跡尤度変換部３０４から取得した尤度と、検出処理により得られた画像における対象物体の尤度とを合わせて最終的な尤度を算出して同一対象判定部３０５へ出力する。
【００５１】
一方、ステップＳ８０６において、追跡部３０３は、画像取得部３０１から出力されたフレーム画像を取得し、当該取得したフレーム画像に対して対象物体の追跡処理を実行する。なお追跡する対象物体は、同一対象判定部３０５から取得した対象物体の位置情報・サイズ情報に基づいて決定される。追跡処理の結果として得られた対象物体の位置情報・サイズ情報および尤度は、追跡尤度変換部３０４および同一対象判定部３０５へ出力される。
【００５２】
ステップＳ８０７において、追跡尤度変換部３０４は、追跡部３０３から出力された追跡結果を取得し、当該取得した対象物体の位置情報・サイズ情報および尤度に基づいて、当該尤度を検出部３０２において使用可能な尤度へ変換する。
【００５３】
ステップＳ８０８において、追跡尤度変換部３０４は、ステップＳ８０７で変換された尤度を検出部３０２へ出力する。ステップＳ８０９において、追跡部３０３は、検出尤度変換部３０６から取得した尤度と、追跡処理により得られた画像における対象物体の尤度とを合わせて最終的な尤度を算出して同一対象判定部３０５へ出力する。
【００５４】
ステップＳ８１０の処理は、ステップＳ１１１の処理と同様であるため説明を省略する。以上で図７のフローチャートの各処理が終了する。以上説明したように、本実施形態では、検出処理と追跡処理のそれぞれの処理結果を相互に反映させる相補的な処理を行う。そのため本実施形態によれば、対象物体の姿勢変動やオクルージョンに対してロバストな検出および追跡が可能となる。
【００５５】
（第４実施形態）
図９を参照して、第４実施形態に係る物体検出装置４００の構成を説明する。物体検出装置４００は、画像取得部４０１と、検出部４０２と、追跡部４０３と、追跡尤度変換部４０４と、同一対象判定部４０５と、検出尤度変換部４０６と、追跡尤度分配部４０７と、検出尤度分配部４０８とを備える。また検出部４０２は、複数の検出部を備え、例えば検出部４０２１と、検出部４０２２と、検出部４０２３とを備える。同様に追跡部４０３は、複数の追跡部を備え、例えば追跡部４０３１と、追跡部４０３２と、追跡部４０３３とを備える。各検出部および追跡部は、それぞれ対象物体の検出対象部位および追跡対象部位ごとに設けることができる。
【００５６】
第４実施形態に係る物体検出装置４００は、第３実施形態に係る物体検出装置３００の構成に加えて、追跡尤度分配部４０７と、検出尤度分配部４０８とをさらに備えており、検出部４０２および追跡部４０３が、それぞれ１つ以上の検出部および追跡部を有している点が異なる。ここで、本実施形態では３つ検出部および３つの追跡部を有している構成について説明するが、その数は必ずしも３つに限定されない。検出部４０２１は、対象物体の全体を検出してもよい。検出部４０２２は、対象物体が人物である場合、人物の顔領域を検出してもよい。そして、検出部４０２３は、人物の手や足といった人物のパーツ領域を検出してもよい。同様に追跡部４０３１、追跡部４０３２、および追跡部４０３３は、それぞれ各検出部に対応する領域を追跡してもよい。
【００５７】
画像取得部４０１と、検出部４０２と、追跡部４０３と、追跡尤度変換部４０４と、同一対象判定部４０５と、の各処理は、第３実施形態の対応する各処理部による処理と同様であるため説明を省略する。
【００５８】
追跡尤度分配部４０７は、追跡部４０３を構成する追跡部４０３１、追跡部４０３２、および追跡部４０３３から出力されて追跡尤度変換部４０４により変換された各尤度を、検出部４０２のモデルと追跡部４０３が追跡している対象のモデルの情報に基づいて、それぞれ検出部４０２を構成しており且つ各追跡部に対応している検出部４０２１、検出部４０２２、および検出部４０２３へ分配する。追跡尤度分配部４０７は、例えば、追跡部４０３１が人物全体を追跡している場合、全身の人物モデルを持つ検出部４０２１へ尤度を分配する。追跡部４０３２が人物の顔領域を追跡している場合、人物の顔領域のモデルを持つ検出部４０２２へ尤度を分配する。追跡部４０３３が人物の手や足といった人物のパーツを追跡している場合、対応する人物のパーツのモデルを持つ検出部４０２３へ尤度を分配する。
【００５９】
検出尤度分配部４０８は、検出部４０２を構成する検出部４０２１、検出部４０２２、および検出部４０２３から出力されて検出尤度変換部４０６により変換された各尤度を、検出部４０２のモデルと追跡部４０３が追跡している対象のモデルの情報に基づいて、それぞれ追跡部４０３を構成しており且つ各検出部に対応している追跡部４０３１、追跡部４０３２、および追跡部４０３３へ分配する。検出尤度分配部４０８は、例えば、検出部４０２１が人物全体を検出している場合、対応する追跡部４０３１へ尤度を分配する。検出部４０２２が人物の顔領域を検出している場合、対応する追跡部４０３２へ尤度を分配する。検出部４０２３が人物の手や足といった人物のパーツを検出している場合、対応する追跡部４０３３へ尤度を分配する。
【００６０】
次に図１０のフローチャートを参照して、第４実施形態に係る物体検出装置４００の処理手順を説明する。ステップＳ１００１乃至ステップＳ１００３、ステップＳ８０１乃至ステップＳ８０３の各処理と同様であるため説明を省略する。ステップＳ１００４において、検出尤度変換部４０６は、ステップＳ１００３で変換された尤度を検出尤度分配部４０８へ出力する。
【００６１】
ステップＳ１００５において、検出尤度分配部４０８は、検出部４０２を構成する検出部４０２１、検出部４０２２、および検出部４０２３から出力されて検出尤度変換部４０６により変換された各尤度を、検出部４０２のモデルと追跡部４０３が追跡している対象のモデルの情報に基づいて、それぞれ追跡部４０３を構成しており且つ各検出部に対応している追跡部４０３１、追跡部４０３２、および追跡部４０３３へ分配する。
【００６２】
ステップＳ１００６において、検出部４０２は、追跡尤度分配部４０７から取得した各尤度と、検出処理により得られた画像における対象物体の各尤度とを合わせて最終的な尤度を算出して同一対象判定部３０５へ出力する。
【００６３】
ステップＳ１００７乃至ステップＳ１００８の各処理は、ステップＳ８０６乃至ステップＳ８０７の各処理と同様であるため説明を省略する。ステップＳ１００９において、追跡尤度変換部４０４は、ステップＳ１００８で変換された尤度を追跡尤度分配部４０７へ出力する。
【００６４】
ステップＳ１０１０において、追跡尤度分配部４０７は、追跡部４０３を構成する追跡部４０３１、追跡部４０３２、および追跡部４０３３から出力されて追跡尤度変換部４０４により変換された各尤度を、検出部４０２のモデルと追跡部４０３が追跡している対象のモデルの情報に基づいて、それぞれ検出部４０２を構成しており且つ各追跡部に対応している検出部４０２１、検出部４０２２、および検出部４０２３へ分配する。
【００６５】
ステップＳ１０１１において、追跡部３０３は、検出尤度分配部４０８から取得した各尤度と、追跡処理により得られた画像における対象物体の各尤度とを合わせて最終的な尤度を算出して同一対象判定部４０５へ出力する。ステップＳ１０１２の処理は、ステップＳ８０９の処理と同様であるため説明を省略する。以上で図１０のフローチャートの各処理が終了する。
【００６６】
以上説明したように、本実施形態では、検出処理と追跡処理のそれぞれの処理結果を、処理対象ごとに対応させて相互に反映させる相補的な処理を行う。そのため本実施形態によれば、対象物体の姿勢変動やオクルージョンに対してロバストな検出および追跡が可能となる。
【００６７】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【技術分野】
【０００１】
本発明は、画像から対象物体を検出する物体検出装置、物体検出装置の制御方法、およびプログラムに関する。
【背景技術】
【０００２】
予め学習したモデルを用いて画像から対象物体を検出する方法が知られている。非特許文献１では、大量の画像を用意し、画像からＨＯＧと呼ばれる特徴を抽出してＳＶＭを用いて学習し、学習したモデルを用いて対象物体を検出する方法が開示されている。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Ｎａｖａｎｅｅｔ Ｄａｌａｌ ａｎｄ Ｂｉｌｌ Ｔｒｉｇｇｓ，“Ｈｉｓｔｏｇｒａｍ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ ｆｏｒ Ｈｕｍａｎ Ｄｅｔｅｃｔｉｏｎ”，ＩＥＥＥ ＣＶＰＲ２００５
【非特許文献２】ｈｉｓｔｏｇｒａｍｓ ｏｆ ｏｒｉｅｎｔｅｄ ｇｒａｄｉｅｎｔｓ ｆｏｒ ｈｕｍａｎ ｄｅｔｅｔｃｔｉｏｎ，Ｎ．Ｄａｌａｌ，ＣＶＰＲ２００５
【非特許文献３】Ｃｏｍｂｉｎｅｄ Ｏｂｊｅｃｔ Ｃａｔｅｇｏｒｉｚａｔｉｏｎ ａｎｄ Ｓｅｇｍｅｎｔａｔｉｏｎ ｗｉｔｈ ａｎ Ｉｍｐｌｉｃｉｔ Ｓｈａｐｅ Ｍｏｄｅｌ，Ｂ．Ｌｅｉｂｅ，ＥＣＣＶ２００４
【非特許文献４】Ａ Ｄｉｓｃｒｉｍｉｎａｔｉｖｅｌｙ Ｔｒａｉｎｅｄ，ＭｕｌｔｉＳｃａｌｅ，Ｄｅｆｏｒｍａｂｌｅ Ｐａｒｔ Ｍｏｄｅｌ，Ｐ．Ｆｅｌｚｅｎｓｚｗａｌｂ，ＣＶＰＲ２００９
【非特許文献５】Ｈ．Ｇｒａｂｎｅｒ，“Ｏｎｌｉｎｅ Ｂｏｏｓｔｉｎｇ ａｎｄ Ｖｉｓｉｏｎ”，ＣＶＰＲ２００６
【非特許文献６】Ｍ．Ｉｓａｒｄ Ａ．Ｂｌａｋｅ，“ＩＣｏｎｄｅｎｓａｔｉｏｎ： Ｕｎｉｆｙｉｎｇ ｌｏｗ−ｌｅｖｅｌ ａｎｄ ｈｉｇｈ−ｌｅｖｅｌ ｔｒａｃｋｉｎｇ ｉｎ ａ ｓｔｏｃｈａｓｔｉｃ ｆｒａｍｅｗｏｒｋ”，ＥＣＣＶ１９９８
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、非特許文献１に記載の方法では、対象物体の姿勢変動やオクルージョンによって検出精度が低下してしまうという課題がある。
【０００５】
上記の課題に鑑み、本発明は、対象物体の姿勢変動やオクルージョンに対してロバストな検出を可能にすることを目的とする。
【課題を解決するための手段】
【０００６】
上記の目的を達成する本発明に係る物体検出装置は、
フレーム画像を順次取得する画像取得手段と、
前記フレーム画像から検出尤度を算出して、当該検出尤度に基づいて前記フレーム画像から対象物体を検出する検出手段と、
複数のフレーム画像のそれぞれから前記対象物体の追跡尤度を算出して、当該追跡尤度に基づいて複数のフレーム画像間で前記対象物体を追跡する追跡手段と、を備える物体検出装置であって、
前記検出手段は、前記画像取得手段により取得されたフレーム画像から前記追跡手段により算出される前記対象物体の追跡尤度と、当該フレーム画像から前記検出手段により算出される前記対象物体の検出尤度とに基づいて、当該フレーム画像から前記対象物体を検出することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、対象物体の姿勢変動やオクルージョンに対してロバストな検出が可能となる。
【図面の簡単な説明】
【０００８】
【図１】第１実施形態に係る物体検出装置の構成を示す図。
【図２】第１実施形態に係る物体検出装置の処理手順を示すフローチャート。
【図３】第１実施形態に係る物体検出装置の処理の説明図。
【図４】第２実施形態に係る物体検出装置の構成を示す図。
【図５】第２実施形態に係る物体検出装置の処理手順を示すフローチャート。
【図６】第２実施形態に係る物体検出装置の処理の説明図。
【図７】第３実施形態に係る物体検出装置の構成を示す図。
【図８】第３実施形態に係る物体検出装置の処理手順を示すフローチャート。
【図９】第４実施形態に係る物体検出装置の構成を示す図。
【図１０】第４実施形態に係る物体検出装置の処理手順を示すフローチャート。
【発明を実施するための形態】
【０００９】
（第１実施形態）
図１を参照して、第１実施形態に係る物体検出装置１００の構成を説明する。物体検出装置１００は、画像取得部１０１と、検出部１０２と、追跡部１０３と、追跡尤度変換部１０４と、同一対象判定部１０５とを備える。各処理部の動作は不図示のＣＰＵにより制御される。
【００１０】
画像取得部１０１は、フレーム画像を順次取得する。画像取得部１０１は、カメラを用いて撮影したフレーム画像を取得してもよいし、予め撮影し保存されているフレーム画像をメモリから取得してもよい。取得されたフレーム画像は、検出部１０２および追跡部１０３へ出力される。
【００１１】
検出部１０２は、画像取得部１０１から出力されたフレーム画像を取得し、当該取得したフレーム画像から対象物体の検出処理を実行する。検出処理には、ＨＯＧ＋ＳＶＭを使用した非特許文献２、ＩＳＭを使用した非特許文献３、Ｌａｔｅｎｔ−ＳＶＭを使用した非特許文献４などの公知の技術を使用してもよい。検出処理により得られた検出結果（対象物体の位置情報およびサイズ情報）および対象物体の尤度は、同一対象判定部１０５へ出力される。
【００１２】
追跡部１０３は、画像取得部１０１から出力されたフレーム画像を取得し、当該取得したフレーム画像に対して対象物体の追跡処理を実行する。すなわち、複数のフレーム画像のそれぞれから対象物体の追跡尤度を算出して、当該追跡尤度に基づいて複数のフレーム画像間で対象物体を追跡する。追跡処理には、Ｏｎｌｉｎｅ Ｂｏｏｓｔｉｎｇを使用した非特許文献５、Ｃｏｎｄｅｎｓａｔｉｏｎを使用した非特許文献６などの公知の技術を使用してもよい。なお追跡する対象物体は、同一対象判定部１０５から取得した対象物体の位置情報・サイズ情報に基づいて決定される。追跡処理の結果として得られた対象物体の位置情報・サイズ情報および尤度は、追跡尤度変換部１０４および同一対象判定部１０５へ出力される。
【００１３】
追跡尤度変換部１０４は、追跡部１０３から出力された追跡結果を取得し、当該取得した対象物体の位置情報・サイズ情報および尤度に基づいて、当該尤度を検出部１０２において使用可能な尤度へ変換する。例えば、両者を比較可能なように正規化変換する。
【００１４】
具体的には、図３に示されるように、追跡部１０３は追跡対象の位置情報・サイズ情報に基づいて、あるスケールの画像３１０における追跡対象の探索範囲３１１内の尤度を算出する。この探索範囲３１１と、検出処理で行う画像ピラミッドの処理範囲３１２とを対応させて、検出処理での尤度算出処理に追跡対象の尤度が追加されるように、追跡対象の尤度を変換する。なお、画像ピラミッドとは、高解像度の画像から低解像度の画像までのいくつかの異なる解像度の画像の集合として構成されている。追跡尤度変換部１０４により変換された尤度は、検出部１０２へ出力される。検出部１０２は、２フレーム目以降で、追跡尤度変換部１０４から取得した尤度と、検出処理により得られた画像における対象物体の尤度とを合わせて最終的な尤度を算出して同一対象判定部１０５へ出力する。最終的な尤度の算出は、正規化された両者の加算値、あるいは両者の平均値などであってもよい。これらが閾値以上である場合に、対象物体であると判定できる。
【００１５】
同一対象判定部１０５は、検出部１０２から出力された検出結果と、追跡部１０３から出力された追跡結果とに基づいて、検出結果と追跡結果とが同一の対象物体を表しているか否かを判定する。例えば、式（１）および式（２）に示されるように、検出結果で得られた対象物体の位置情報・サイズ情報と、追跡している対象物体の位置情報・サイズ情報とを比較して、位置が略同一であり、サイズが略同一であると判定された場合、同一の対象物体を表していると判定する。
【００１６】
【数１】
【００１７】
【数２】
【００１８】
また、同一の対象物体を表しているか否かの判定には、位置およびサイズをガウス分布に当てはめて確率的に決定してもよい。検出結果と追跡結果とは１対１の組み合わせになるようにしてもよい。同一対象判定部１０５により判定された結果が最終的な検出結果となる。また、追跡部１０３により算出された最終的な追跡尤度と、検出部１０２により算出された検出尤度との差分が所定の範囲内に収まるか否かによって、同一の対象物体を表しているか否かを判定してもよい。同一の対象物体を表していると判定された場合、その判定結果は追跡部１０３へ出力され、追跡部１０３は追跡処理を継続する。一方、同一の対象物体を表していないと判定された場合、すなわち新しく対象物体が追加検出されたような場合、判定結果は追跡部１０３へ出力される。そして追跡部１０３は、新たに対象物体の追跡処理を行う。
【００１９】
次に図２のフローチャートを参照して、第１実施形態に係る物体検出装置１００の処理手順を説明する。なお、フローチャートに従ったプログラムコードは不図示のＲＡＭやＲＯＭなどのメモリに格納され、不図示のＣＰＵにより読み出されて実行される。
【００２０】
ステップＳ１０１において、画像取得部１０１は、撮影機器や画像ファイルなどからフレーム画像を取得する。取得されたフレーム画像は、検出部１０２および追跡部１０３へ出力される。ステップＳ１０２において、検出部１０２は、ステップＳ１０１で取得されたフレーム画像から対象物体を検出する処理を実行する。ステップＳ１０３において、検出部１０２は、検出処理により得られた尤度が閾値以上であるか否かを判定する。尤度が閾値以上であると判定された場合（Ｓ１０３；ＹＥＳ）、その位置およびサイズで対象物体が検出されたと判定できるため、ステップＳ１０４へ進む。一方、尤度が閾値より小さいと判定された場合（Ｓ１０３；ＮＯ）、対象物体が検出されなかったと判定できるため、ステップＳ１０１へ戻る。
【００２１】
ステップＳ１０４において、検出部１０２は、検出結果を同一対象判定部１０５へ出力する。ステップＳ１０５において、追跡部１０３は、画像取得部１０１から取得したフレーム画像に対して対象物体の追跡処理を実行する。追跡対象は、同一対象判定部１０５から取得した対象物体の位置情報・サイズ情報に基づいて決定される。追跡処理の結果得られた対象の位置情報・サイズ情報および尤度は、追跡尤度変換部１０４および同一対象判定部１０５へ出力される。その後、ステップＳ１０６へ進む。
【００２２】
ステップＳ１０６において、追跡尤度変換部１０４は、追跡部１０３から取得した追跡結果である対象の位置情報・サイズ情報および尤度に基づいて、当該尤度を、検出部１０２で使用可能な尤度へ変換する。
【００２３】
ステップＳ１０７において、追跡尤度変換部１０４は、ステップＳ１０６で変換された尤度を検出部１０２へ出力する。ステップＳ１０８において、追跡部１０３は、追跡結果を同一対象判定部１０５へ出力する。
【００２４】
ステップＳ１０９において、検出部１０２は、追跡尤度変換部１０４から得られた尤度と、検出処理により得られた画像中の尤度とを合わせて最終的な尤度を算出する。ステップＳ１１０において、検出部１０２は、最終的な尤度を同一対象判定部１０５へ出力する。その後、ステップＳ１１０へ進む。
【００２５】
ステップＳ１１１において、同一対象判定部１０５は、検出部１０２による検出結果と追跡部１０３による追跡結果とに基づいて、検出結果と追跡結果とが同一の対象物体を表しているか否かを判定する。例えば、式（１）および式（２）に示されるように、検出結果で得られた対象物体の位置情報・サイズ情報と、追跡している対象物体の位置情報・サイズ情報とを比較して、位置が略同一であり、サイズが略同一であると判定された場合、同一の対象物体を表していると判定する。同一対象判定部１０５は、判定結果を出力して処理を終了する。以上で図２のフローチャートの各処理が終了する。
【００２６】
以上説明したように、本実施形態では、検出部による検出結果に、追跡部の追跡結果を反映させる。そのため本実施形態によれば、２フレーム目以降の検出処理（第２の検出処理）の検出精度が向上し、対象物体の姿勢変動やオクルージョンに対してロバストな検出が可能となる。
【００２７】
（第２実施形態）
図４を参照して、第２実施形態に係る物体検出装置２００の構成を説明する。物体検出装置２００は、画像取得部２０１と、検出部２０２と、追跡部２０３と、検出尤度変換部２０４と、同一対象判定部２０５と、を備える。第１実施形態に係る物体検出装置１００は追跡尤度変換部１０４を有しているが、第２実施形態に係る物体検出装置２００は、追跡尤度変換部１０４に代えて検出尤度変換部２０４を有している。
【００２８】
画像取得部２０１の機能は、画像取得部１０１の機能と同じなので説明を省略する。
【００２９】
検出部２０２は、画像取得部２０１から出力されたフレーム画像を取得し、当該取得したフレーム画像から対象物体の検出処理を実行する。検出処理により得られた検出結果（対象物体の位置情報およびサイズ情報）および対象物体の尤度は、検出尤度変換部２０４および同一対象判定部２０５へ出力される。
【００３０】
追跡部２０３は、画像取得部２０１から出力されたフレーム画像を取得し、当該取得したフレーム画像に対して対象物体の追跡処理を実行する。なお追跡する対象物体は、同一対象判定部２０５から取得した対象物体の位置情報・サイズ情報に基づいて決定される。追跡処理の結果として得られた対象物体の位置情報・サイズ情報および尤度は、同一対象判定部２０５へ出力される。
【００３１】
検出尤度変換部２０４は、検出部２０２から出力された検出結果を取得し、当該取得した検出結果である対象物体の位置情報・サイズ情報および尤度に基づいて、当該尤度を追跡部２０３において使用可能な尤度へ変換する。具体的には、図６に示されるように、検出対象物体の位置情報・サイズ情報に基づいて、あるスケールの画像６１０の尤度マップ６１１を決定する。検出尤度変換部２０４は、検出処理結果から得られる尤度マップ６１１に対応する範囲６１２の尤度を抽出し、追跡部２０３が出力する正規化した尤度範囲に合わせるように尤度を変換する。検出尤度変換部２０４により変換された尤度は、追跡部２０３へ出力される。追跡部２０３は、２フレーム目以降で、検出尤度変換部２０４から取得した尤度と、追跡処理により得られた画像における対象物体の尤度とを合わせて最終的な尤度を算出して同一対象判定部２０５へ出力する。
【００３２】
同一対象判定部２０５は、検出部２０２から出力された検出結果と、追跡部２０３から出力された追跡結果とに基づいて、検出結果と追跡結果とが同一の対象物体を表しているか否かを判定する。第１実施形態と同様、式（１）および式（２）に示されるように、検出結果で得られた対象物体の位置情報・サイズ情報と、追跡している対象物体の位置情報・サイズ情報とを比較して、位置が略同一であり、サイズが略同一であると判定された場合、同一の対象物体を表していると判定する。
【００３３】
次に図５のフローチャートを参照して、第２実施形態に係る物体検出装置２００の処理手順を説明する。ステップＳ５０１およびステップＳ５０２の各処理は、それぞれステップＳ１０１およびステップＳ１０２の各処理と同様であるため説明を省略する。
【００３４】
ステップＳ５０３において、検出部２０２は、検出処理により得られた尤度が閾値以上であるか否かを判定する。尤度が閾値以上であると判定された場合（Ｓ５０３；ＹＥＳ）、その位置およびサイズで対象物体が検出されたと判定できるため、検出結果を検出尤度変換部２０４へ出力し、ステップＳ５０４へ進む。一方、尤度が閾値より小さいと判定された場合（Ｓ５０３；ＮＯ）、対象物体が検出されなかったと判定できるため、ステップＳ５０１へ戻る。
【００３５】
ステップＳ５０４において、検出尤度変換部２０４は、検出部２０２から出力された検出結果を取得し、当該取得した検出結果である対象物体の位置情報・サイズ情報および尤度に基づいて、当該尤度を追跡部２０３において使用可能な尤度へ変換する。
【００３６】
ステップＳ５０５において、検出尤度変換部２０４は、ステップＳ５０４で変換された尤度を追跡部２０３へ出力する。ステップＳ５０６において、検出部２０２は、検出結果を同一対象判定部２０５へ出力する。
【００３７】
ステップＳ５０７において、追跡部２０３は、画像取得部２０１から取得したフレーム画像に対して、対象の追跡処理を実行する。追跡対象は同一対象判定部２０５から取得した対象物体の位置情報・サイズ情報に基づいて決定される。
【００３８】
ステップＳ５０８において、追跡部２０３は、検出尤度変換部２０４から得られた尤度と併せて最終的な尤度を算出し、対象物体の追跡位置を決定する。ステップＳ５０９において、追跡部２０３は、追跡処理の結果得られた対象物体の位置情報・サイズ情報および尤度を、同一対象判定部２０５へ出力する。
【００３９】
ステップＳ５１０の処理は、ステップＳ１１１の処理と同様であるため説明を省略する。以上で図５のフローチャートの各処理が終了する。
【００４０】
以上説明したように、本実施形態では、追跡部の追跡結果に、検出部による検出結果を反映させる。そのため本実施形態によれば、２フレーム目以降の追跡処理（第２の追跡処理）の追跡精度が向上し、対象物体の姿勢変動やオクルージョンに対してロバストな追跡が可能となる。
【００４１】
（第３実施形態）
図７を参照して、第３実施形態に係る物体検出装置３００の構成を説明する。物体検出装置３００は、画像取得部３０１と、検出部３０２と、追跡部３０３と、追跡尤度変換部３０４と、同一対象判定部３０５と、検出尤度変換部３０６と、を備える。第１実施形態に係る物体検出装置１００は追跡尤度変換部１０４を有しており、第２実施形態に係る物体検出装置２００は検出尤度変換部２０４を有していた。第３実施形態に係る物体検出装置３００は、追跡尤度変換部３０４および検出尤度変換部３０６を両方とも有している。画像取得部３０１の機能は、画像取得部１０１の機能と同じなので説明を省略する。
【００４２】
検出部３０２は、画像取得部３０１から出力されたフレーム画像を取得し、当該取得したフレーム画像から対象物体の検出処理を実行する。検出処理により得られた検出結果（対象物体の位置情報およびサイズ情報）および対象物体の尤度は、検出尤度変換部３０６および同一対象判定部３０５へ出力される。
【００４３】
追跡部３０３は、画像取得部３０１から出力されたフレーム画像を取得し、当該取得したフレーム画像に対して対象物体の追跡処理を実行する。なお追跡する対象物体は、同一対象判定部３０５から取得した対象物体の位置情報・サイズ情報に基づいて決定される。追跡処理の結果として得られた対象物体の位置情報・サイズ情報および尤度は、追跡尤度変換部３０４および同一対象判定部３０５へ出力される。
【００４４】
追跡尤度変換部３０４は、追跡部３０３から出力された追跡結果を取得し、当該取得した対象物体の位置情報・サイズ情報および尤度に基づいて、当該尤度を検出部３０２において使用可能な尤度へ変換する。追跡尤度変換部３０４により変換された尤度は、検出部３０２へ出力される。検出部３０２は、２フレーム目以降で、追跡尤度変換部３０４から取得した尤度と、検出処理により得られた画像における対象物体の尤度とを合わせて最終的な尤度を算出して同一対象判定部３０５へ出力する。
【００４５】
検出尤度変換部３０６は、検出部３０２から出力された検出結果を取得し、当該取得した検出結果である対象物体の位置情報・サイズ情報および尤度に基づいて、当該尤度を追跡部３０３において使用可能な尤度へ変換する。検出尤度変換部３０６により変換された尤度は、追跡部３０３へ出力される。追跡部３０３は、２フレーム目以降で、検出尤度変換部３０６から取得した尤度と、追跡処理により得られた画像における対象物体の尤度とを合わせて最終的な尤度を算出して同一対象判定部３０５へ出力する。
【００４６】
同一対象判定部３０５は、検出部３０２から出力された検出結果と、追跡部３０３から出力された追跡結果とに基づいて、検出結果と追跡結果とが同一の対象物体を表しているか否かを判定する。第１実施形態と同様、式（１）および式（２）に示されるように、検出結果で得られた対象物体の位置情報・サイズ情報と、追跡している対象物体の位置情報・サイズ情報とを比較して、位置が略同一であり、サイズが略同一であると判定された場合、同一の対象物体を表していると判定する。
【００４７】
次に図８のフローチャートを参照して、第３実施形態に係る物体検出装置３００の処理手順を説明する。ステップＳ８０２乃至ステップＳ８０５の各処理と、ステップＳ８０６乃至ステップＳ８０９の各処理とは、並列に実行される。ステップＳ８０１の処理は、ステップＳ１０１の処理と同様であるため説明を省略する。
【００４８】
ステップＳ８０２において、検出部３０２は、画像取得部３０１から出力されたフレーム画像を取得し、当該取得したフレーム画像から対象物体の検出処理を実行する。検出処理により得られた検出結果（対象物体の位置情報およびサイズ情報）および対象物体の尤度は、検出尤度変換部３０６および同一対象判定部３０５へ出力される。
【００４９】
ステップＳ８０３において、検出尤度変換部３０６は、検出部３０２から出力された検出結果を取得し、当該取得した検出結果である対象物体の位置情報・サイズ情報および尤度に基づいて、当該尤度を追跡部３０３において使用可能な尤度へ変換する。
【００５０】
ステップＳ８０４において、検出尤度変換部３０６は、ステップＳ８０３で変換された尤度を追跡部３０３へ出力する。ステップＳ８０５において、検出部３０２は、追跡尤度変換部３０４から取得した尤度と、検出処理により得られた画像における対象物体の尤度とを合わせて最終的な尤度を算出して同一対象判定部３０５へ出力する。
【００５１】
一方、ステップＳ８０６において、追跡部３０３は、画像取得部３０１から出力されたフレーム画像を取得し、当該取得したフレーム画像に対して対象物体の追跡処理を実行する。なお追跡する対象物体は、同一対象判定部３０５から取得した対象物体の位置情報・サイズ情報に基づいて決定される。追跡処理の結果として得られた対象物体の位置情報・サイズ情報および尤度は、追跡尤度変換部３０４および同一対象判定部３０５へ出力される。
【００５２】
ステップＳ８０７において、追跡尤度変換部３０４は、追跡部３０３から出力された追跡結果を取得し、当該取得した対象物体の位置情報・サイズ情報および尤度に基づいて、当該尤度を検出部３０２において使用可能な尤度へ変換する。
【００５３】
ステップＳ８０８において、追跡尤度変換部３０４は、ステップＳ８０７で変換された尤度を検出部３０２へ出力する。ステップＳ８０９において、追跡部３０３は、検出尤度変換部３０６から取得した尤度と、追跡処理により得られた画像における対象物体の尤度とを合わせて最終的な尤度を算出して同一対象判定部３０５へ出力する。
【００５４】
ステップＳ８１０の処理は、ステップＳ１１１の処理と同様であるため説明を省略する。以上で図７のフローチャートの各処理が終了する。以上説明したように、本実施形態では、検出処理と追跡処理のそれぞれの処理結果を相互に反映させる相補的な処理を行う。そのため本実施形態によれば、対象物体の姿勢変動やオクルージョンに対してロバストな検出および追跡が可能となる。
【００５５】
（第４実施形態）
図９を参照して、第４実施形態に係る物体検出装置４００の構成を説明する。物体検出装置４００は、画像取得部４０１と、検出部４０２と、追跡部４０３と、追跡尤度変換部４０４と、同一対象判定部４０５と、検出尤度変換部４０６と、追跡尤度分配部４０７と、検出尤度分配部４０８とを備える。また検出部４０２は、複数の検出部を備え、例えば検出部４０２１と、検出部４０２２と、検出部４０２３とを備える。同様に追跡部４０３は、複数の追跡部を備え、例えば追跡部４０３１と、追跡部４０３２と、追跡部４０３３とを備える。各検出部および追跡部は、それぞれ対象物体の検出対象部位および追跡対象部位ごとに設けることができる。
【００５６】
第４実施形態に係る物体検出装置４００は、第３実施形態に係る物体検出装置３００の構成に加えて、追跡尤度分配部４０７と、検出尤度分配部４０８とをさらに備えており、検出部４０２および追跡部４０３が、それぞれ１つ以上の検出部および追跡部を有している点が異なる。ここで、本実施形態では３つ検出部および３つの追跡部を有している構成について説明するが、その数は必ずしも３つに限定されない。検出部４０２１は、対象物体の全体を検出してもよい。検出部４０２２は、対象物体が人物である場合、人物の顔領域を検出してもよい。そして、検出部４０２３は、人物の手や足といった人物のパーツ領域を検出してもよい。同様に追跡部４０３１、追跡部４０３２、および追跡部４０３３は、それぞれ各検出部に対応する領域を追跡してもよい。
【００５７】
画像取得部４０１と、検出部４０２と、追跡部４０３と、追跡尤度変換部４０４と、同一対象判定部４０５と、の各処理は、第３実施形態の対応する各処理部による処理と同様であるため説明を省略する。
【００５８】
追跡尤度分配部４０７は、追跡部４０３を構成する追跡部４０３１、追跡部４０３２、および追跡部４０３３から出力されて追跡尤度変換部４０４により変換された各尤度を、検出部４０２のモデルと追跡部４０３が追跡している対象のモデルの情報に基づいて、それぞれ検出部４０２を構成しており且つ各追跡部に対応している検出部４０２１、検出部４０２２、および検出部４０２３へ分配する。追跡尤度分配部４０７は、例えば、追跡部４０３１が人物全体を追跡している場合、全身の人物モデルを持つ検出部４０２１へ尤度を分配する。追跡部４０３２が人物の顔領域を追跡している場合、人物の顔領域のモデルを持つ検出部４０２２へ尤度を分配する。追跡部４０３３が人物の手や足といった人物のパーツを追跡している場合、対応する人物のパーツのモデルを持つ検出部４０２３へ尤度を分配する。
【００５９】
検出尤度分配部４０８は、検出部４０２を構成する検出部４０２１、検出部４０２２、および検出部４０２３から出力されて検出尤度変換部４０６により変換された各尤度を、検出部４０２のモデルと追跡部４０３が追跡している対象のモデルの情報に基づいて、それぞれ追跡部４０３を構成しており且つ各検出部に対応している追跡部４０３１、追跡部４０３２、および追跡部４０３３へ分配する。検出尤度分配部４０８は、例えば、検出部４０２１が人物全体を検出している場合、対応する追跡部４０３１へ尤度を分配する。検出部４０２２が人物の顔領域を検出している場合、対応する追跡部４０３２へ尤度を分配する。検出部４０２３が人物の手や足といった人物のパーツを検出している場合、対応する追跡部４０３３へ尤度を分配する。
【００６０】
次に図１０のフローチャートを参照して、第４実施形態に係る物体検出装置４００の処理手順を説明する。ステップＳ１００１乃至ステップＳ１００３、ステップＳ８０１乃至ステップＳ８０３の各処理と同様であるため説明を省略する。ステップＳ１００４において、検出尤度変換部４０６は、ステップＳ１００３で変換された尤度を検出尤度分配部４０８へ出力する。
【００６１】
ステップＳ１００５において、検出尤度分配部４０８は、検出部４０２を構成する検出部４０２１、検出部４０２２、および検出部４０２３から出力されて検出尤度変換部４０６により変換された各尤度を、検出部４０２のモデルと追跡部４０３が追跡している対象のモデルの情報に基づいて、それぞれ追跡部４０３を構成しており且つ各検出部に対応している追跡部４０３１、追跡部４０３２、および追跡部４０３３へ分配する。
【００６２】
ステップＳ１００６において、検出部４０２は、追跡尤度分配部４０７から取得した各尤度と、検出処理により得られた画像における対象物体の各尤度とを合わせて最終的な尤度を算出して同一対象判定部３０５へ出力する。
【００６３】
ステップＳ１００７乃至ステップＳ１００８の各処理は、ステップＳ８０６乃至ステップＳ８０７の各処理と同様であるため説明を省略する。ステップＳ１００９において、追跡尤度変換部４０４は、ステップＳ１００８で変換された尤度を追跡尤度分配部４０７へ出力する。
【００６４】
ステップＳ１０１０において、追跡尤度分配部４０７は、追跡部４０３を構成する追跡部４０３１、追跡部４０３２、および追跡部４０３３から出力されて追跡尤度変換部４０４により変換された各尤度を、検出部４０２のモデルと追跡部４０３が追跡している対象のモデルの情報に基づいて、それぞれ検出部４０２を構成しており且つ各追跡部に対応している検出部４０２１、検出部４０２２、および検出部４０２３へ分配する。
【００６５】
ステップＳ１０１１において、追跡部３０３は、検出尤度分配部４０８から取得した各尤度と、追跡処理により得られた画像における対象物体の各尤度とを合わせて最終的な尤度を算出して同一対象判定部４０５へ出力する。ステップＳ１０１２の処理は、ステップＳ８０９の処理と同様であるため説明を省略する。以上で図１０のフローチャートの各処理が終了する。
【００６６】
以上説明したように、本実施形態では、検出処理と追跡処理のそれぞれの処理結果を、処理対象ごとに対応させて相互に反映させる相補的な処理を行う。そのため本実施形態によれば、対象物体の姿勢変動やオクルージョンに対してロバストな検出および追跡が可能となる。
【００６７】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【特許請求の範囲】
【請求項１】
フレーム画像を順次取得する画像取得手段と、
前記フレーム画像から検出尤度を算出して、当該検出尤度に基づいて前記フレーム画像から対象物体を検出する検出手段と、
複数のフレーム画像のそれぞれから前記対象物体の追跡尤度を算出して、当該追跡尤度に基づいて複数のフレーム画像間で前記対象物体を追跡する追跡手段と、を備える物体検出装置であって、
前記検出手段は、前記画像取得手段により取得されたフレーム画像から前記追跡手段により算出される前記対象物体の追跡尤度と、当該フレーム画像から前記検出手段により算出される前記対象物体の検出尤度とに基づいて、当該フレーム画像から前記対象物体を検出することを特徴とする物体検出装置。
【請求項２】
前記追跡手段により算出された前記対象物体の追跡尤度を、当該対象物体の位置情報およびサイズ情報に基づいて、前記検出尤度と比較可能な追跡尤度へ変換する追跡尤度変換手段をさらに備えることを特徴とする請求項１に記載の物体検出装置。
【請求項３】
前記追跡手段は、前記画像取得手段により取得されたフレーム画像から前記追跡手段により算出される前記対象物体の追跡尤度と、当該フレーム画像から前記検出手段により算出される前記対象物体の検出尤度とに基づいて、前記対象物体を追跡することを特徴とする請求項１または２に記載の物体検出装置。
【請求項４】
前記検出手段は、前記対象物体の検出対象部位に応じて複数の検出手段を備え、
前記追跡手段は、前記対象物体の追跡対象部位に応じて、前記複数の検出手段のそれぞれに対応する複数の追跡手段を備え、
前記検出手段は、前記画像取得手段により取得されたフレーム画像から前記複数の追跡手段により算出される前記対象物体の複数の追跡尤度と、当該フレーム画像から前記複数の検出手段により算出される前記対象物体の複数の検出尤度とに基づいて、当該フレーム画像から前記対象物体を検出することを特徴とする請求項１乃至３の何れか１項に記載の物体検出装置。
【請求項５】
前記追跡手段は、前記画像取得手段により取得されたフレーム画像から前記複数の追跡手段により算出される前記対象物体の複数の追跡尤度と、当該フレーム画像から前記複数の検出手段により算出される前記対象物体の複数の検出尤度とに基づいて、前記対象物体を追跡することを特徴とする請求項４に記載の物体検出装置。
【請求項６】
フレーム画像を順次取得する画像取得手段と、
前記フレーム画像から検出尤度を算出して、当該検出尤度に基づいて前記フレーム画像から対象物体を検出する検出手段と、
複数のフレーム画像のそれぞれから前記対象物体の追跡尤度を算出して、当該追跡尤度に基づいて複数のフレーム画像間で前記対象物体を追跡する追跡手段と、を備える物体検出装置であって、
前記追跡手段は、前記画像取得手段により取得されたフレーム画像から前記追跡手段により算出される前記対象物体の追跡尤度と、前記フレーム画像から前記検出手段により算出される前記対象物体の検出尤度とに基づいて、前記対象物体を追跡することを特徴とする物体検出装置。
【請求項７】
画像取得手段と、検出手段と、追跡手段とを備える物体検出装置の制御方法であって、
前記画像取得手段が、フレーム画像を順次取得する画像取得工程と、
前記検出手段が、前記フレーム画像から検出尤度を算出して、当該検出尤度に基づいて前記フレーム画像から対象物体を検出する検出工程と、
前記追跡手段が、複数のフレーム画像のそれぞれから前記対象物体の追跡尤度を算出して、当該追跡尤度に基づいて複数のフレーム画像間で前記対象物体を追跡する追跡工程と、
前記検出手段が、前記画像取得工程により取得されたフレーム画像から前記追跡工程により算出される前記対象物体の追跡尤度と、当該フレーム画像から前記検出工程により算出される前記対象物体の検出尤度とに基づいて、当該フレーム画像から前記対象物体を検出する第２の検出工程と、
を有することを特徴とする物体検出装置の制御方法。
【請求項８】
画像取得手段と、検出手段と、追跡手段とを備える物体検出装置の制御方法であって、
前記画像取得手段が、フレーム画像を順次取得する画像取得工程と、
前記検出手段が、前記フレーム画像から検出尤度を算出して、当該検出尤度に基づいて前記フレーム画像から対象物体を検出する検出工程と、
前記追跡手段が、複数のフレーム画像のそれぞれから前記対象物体の追跡尤度を算出して、当該追跡尤度に基づいて複数のフレーム画像間で前記対象物体を追跡する追跡工程と、
前記追跡手段が、前記画像取得工程により取得されたフレーム画像から前記追跡工程により算出される前記対象物体の追跡尤度と、前記フレーム画像から前記検出工程により算出される前記対象物体の検出尤度とに基づいて、前記対象物体を追跡する第２の追跡工程と、
を有することを特徴とする物体検出装置の制御方法。
【請求項９】
請求項７に記載の物体検出装置の制御方法の各工程をコンピュータに実行させるためのプログラム。
【請求項１０】
請求項８に記載の物体検出装置の制御方法の各工程をコンピュータに実行させるためのプログラム。
【請求項１】
フレーム画像を順次取得する画像取得手段と、
前記フレーム画像から検出尤度を算出して、当該検出尤度に基づいて前記フレーム画像から対象物体を検出する検出手段と、
複数のフレーム画像のそれぞれから前記対象物体の追跡尤度を算出して、当該追跡尤度に基づいて複数のフレーム画像間で前記対象物体を追跡する追跡手段と、を備える物体検出装置であって、
前記検出手段は、前記画像取得手段により取得されたフレーム画像から前記追跡手段により算出される前記対象物体の追跡尤度と、当該フレーム画像から前記検出手段により算出される前記対象物体の検出尤度とに基づいて、当該フレーム画像から前記対象物体を検出することを特徴とする物体検出装置。
【請求項２】
前記追跡手段により算出された前記対象物体の追跡尤度を、当該対象物体の位置情報およびサイズ情報に基づいて、前記検出尤度と比較可能な追跡尤度へ変換する追跡尤度変換手段をさらに備えることを特徴とする請求項１に記載の物体検出装置。
【請求項３】
前記追跡手段は、前記画像取得手段により取得されたフレーム画像から前記追跡手段により算出される前記対象物体の追跡尤度と、当該フレーム画像から前記検出手段により算出される前記対象物体の検出尤度とに基づいて、前記対象物体を追跡することを特徴とする請求項１または２に記載の物体検出装置。
【請求項４】
前記検出手段は、前記対象物体の検出対象部位に応じて複数の検出手段を備え、
前記追跡手段は、前記対象物体の追跡対象部位に応じて、前記複数の検出手段のそれぞれに対応する複数の追跡手段を備え、
前記検出手段は、前記画像取得手段により取得されたフレーム画像から前記複数の追跡手段により算出される前記対象物体の複数の追跡尤度と、当該フレーム画像から前記複数の検出手段により算出される前記対象物体の複数の検出尤度とに基づいて、当該フレーム画像から前記対象物体を検出することを特徴とする請求項１乃至３の何れか１項に記載の物体検出装置。
【請求項５】
前記追跡手段は、前記画像取得手段により取得されたフレーム画像から前記複数の追跡手段により算出される前記対象物体の複数の追跡尤度と、当該フレーム画像から前記複数の検出手段により算出される前記対象物体の複数の検出尤度とに基づいて、前記対象物体を追跡することを特徴とする請求項４に記載の物体検出装置。
【請求項６】
フレーム画像を順次取得する画像取得手段と、
前記フレーム画像から検出尤度を算出して、当該検出尤度に基づいて前記フレーム画像から対象物体を検出する検出手段と、
複数のフレーム画像のそれぞれから前記対象物体の追跡尤度を算出して、当該追跡尤度に基づいて複数のフレーム画像間で前記対象物体を追跡する追跡手段と、を備える物体検出装置であって、
前記追跡手段は、前記画像取得手段により取得されたフレーム画像から前記追跡手段により算出される前記対象物体の追跡尤度と、前記フレーム画像から前記検出手段により算出される前記対象物体の検出尤度とに基づいて、前記対象物体を追跡することを特徴とする物体検出装置。
【請求項７】
画像取得手段と、検出手段と、追跡手段とを備える物体検出装置の制御方法であって、
前記画像取得手段が、フレーム画像を順次取得する画像取得工程と、
前記検出手段が、前記フレーム画像から検出尤度を算出して、当該検出尤度に基づいて前記フレーム画像から対象物体を検出する検出工程と、
前記追跡手段が、複数のフレーム画像のそれぞれから前記対象物体の追跡尤度を算出して、当該追跡尤度に基づいて複数のフレーム画像間で前記対象物体を追跡する追跡工程と、
前記検出手段が、前記画像取得工程により取得されたフレーム画像から前記追跡工程により算出される前記対象物体の追跡尤度と、当該フレーム画像から前記検出工程により算出される前記対象物体の検出尤度とに基づいて、当該フレーム画像から前記対象物体を検出する第２の検出工程と、
を有することを特徴とする物体検出装置の制御方法。
【請求項８】
画像取得手段と、検出手段と、追跡手段とを備える物体検出装置の制御方法であって、
前記画像取得手段が、フレーム画像を順次取得する画像取得工程と、
前記検出手段が、前記フレーム画像から検出尤度を算出して、当該検出尤度に基づいて前記フレーム画像から対象物体を検出する検出工程と、
前記追跡手段が、複数のフレーム画像のそれぞれから前記対象物体の追跡尤度を算出して、当該追跡尤度に基づいて複数のフレーム画像間で前記対象物体を追跡する追跡工程と、
前記追跡手段が、前記画像取得工程により取得されたフレーム画像から前記追跡工程により算出される前記対象物体の追跡尤度と、前記フレーム画像から前記検出工程により算出される前記対象物体の検出尤度とに基づいて、前記対象物体を追跡する第２の追跡工程と、
を有することを特徴とする物体検出装置の制御方法。
【請求項９】
請求項７に記載の物体検出装置の制御方法の各工程をコンピュータに実行させるためのプログラム。
【請求項１０】
請求項８に記載の物体検出装置の制御方法の各工程をコンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１３−１１４６０５（Ｐ２０１３−１１４６０５Ａ）
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願番号】特願２０１１−２６２６５５（Ｐ２０１１−２６２６５５）
【出願日】平成２３年１１月３０日（２０１１．１１．３０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願日】平成２３年１１月３０日（２０１１．１１．３０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]