対象物検出装置、対象物検出方法
【課題】対象物が全部写っている場合と、対象物が端部にあって一部分しか写っていない場合の両方の検出精度を、処理負荷を大きくすることなく高める。
【解決手段】入力画像内の一部領域に設定される探索ウィンドウ内の画像から所定の規則に従って特徴量を算出する特徴量算出部と、教師画像の特徴量を用いた学習に基づき識別を行なう複数の識別器と、特徴量と識別器により、探索ウィンドウ内の画像から所定の対象物を検出する検出処理部とを備え、複数の識別器は、正の教師画像として対象物全体が写った画像を用いて学習した通常用識別器と、正の教師画像として対象物の一部が写った画像を用いて学習した端部用識別器とを含み、検出処理部は、通常用識別器を用いて所定の対象物の検出を行ない、探索ウィンドウが入力画像の端部を含む場合は、さらに、端部用識別器を用いて所定の対象物の検出を行なう対象物検出装置。
【解決手段】入力画像内の一部領域に設定される探索ウィンドウ内の画像から所定の規則に従って特徴量を算出する特徴量算出部と、教師画像の特徴量を用いた学習に基づき識別を行なう複数の識別器と、特徴量と識別器により、探索ウィンドウ内の画像から所定の対象物を検出する検出処理部とを備え、複数の識別器は、正の教師画像として対象物全体が写った画像を用いて学習した通常用識別器と、正の教師画像として対象物の一部が写った画像を用いて学習した端部用識別器とを含み、検出処理部は、通常用識別器を用いて所定の対象物の検出を行ない、探索ウィンドウが入力画像の端部を含む場合は、さらに、端部用識別器を用いて所定の対象物の検出を行なう対象物検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象物検出技術に関し、特に、画像の端部で部分的に写っている対象物を検出可能な対象物検出装置および対象物検出方法に関する。
【背景技術】
【０００２】
ビデオカメラ等の撮像装置により生成された撮像画像上で、人物や車両等の物体をその輪郭などの特徴を用いて検出する物体検出技術が従来から提案されている。例えば、特許文献１には、画像内の複数領域における勾配方向ヒストグラム（ＨＯＧ：Histograms of Oriented Gradients）を特徴量としてＡｄａＢｏｏｓｔなどの教師画像有りの機械学習によって識別器を作成し、撮像画像上で探索ウィンドウを走査しながら識別器を用いて対象物である人物を検出する技術が記載されている。
【０００３】
ＨＯＧ特徴量に対応するエッジ強度分布を表す線分は画像全体で物体の輪郭を表すことになるので、教師画像の輪郭情報を基に撮像画像中の対象物体検出を行なうことになる。このような検出方法を、人物を検出し追跡する監視カメラ装置に適用すると、色や動きを利用した検出方法と異なり、小動物や木の揺れなどにつられること無く侵入者を検出し、追跡等の対処が可能になる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−６７１０２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
識別器の作成では、学習用の画像が用いられる。このため、監視カメラ装置に適用して人物を検出対象とする場合には、人物が立っている画像や人物が歩いている画像を正の教師画像として識別器を学習させる。監視カメラ装置は、人物のアップではなく、監視対象エリアを広範囲に撮像することが多いため、正の教師画像としては人物の全身画像を主として用いることにより、検出精度を高めることができると考えられる。
【０００６】
しかしながら、全身画像を正の教師画像として用いると、画面の端部で一部しか写っていない人物の検出精度が落ちてしまう。監視カメラでは、このような状況でも人物を検出する必要があるため、人物が部分的に写っている画像も正の教師画像に含めることも考えられるが、その分、全身が写っている場合の検出精度が低下してしまうおそれがある。
【０００７】
一方で、全身が写っている場合の検出精度および一部が写っている場合の検出精度の両方を高めるために処理負荷が大きくなりすぎると、監視カメラ装置としての基本性能が低下することになる。
【０００８】
そこで、本発明は、検出対象物が全部写っている場合と、検出対象物が端部にあって一部分しか写っていない場合の両方の検出精度を、処理負荷を大きくすることなく高めることを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するため、本発明の第１の態様である対象物検出装置は、入力画像内の一部領域に設定され、前記入力画像をスキャンする探索ウィンドウ内の画像から所定の規則に従って特徴量を算出する特徴量算出部と、教師画像の特徴量を用いた学習に基づき識別を行なう複数の識別器と、算出された前記特徴量といずれかの識別器により、前記探索ウィンドウ内の画像から所定の対象物を検出する検出処理部とを備え、前記複数の識別器は、正の教師画像として前記対象物全体が写った画像を用いて学習した通常用識別器と、正の教師画像として前記対象物の一部が写った画像を用いて学習した端部用識別器とを含み、前記検出処理部は、前記通常用識別器を用いて前記所定の対象物の検出を行ない、前記探索ウィンドウが前記入力画像の端部を含む場合は、さらに、前記端部用識別器を用いて前記所定の対象物の検出を行なうことを特徴とする。
【００１０】
このとき、前記複数の識別器が含む前記端部用識別器は複数であり、各前記端部用識別器は、前記対象物の一部が写った画像である正の教師画像として、前記探索ウィンドウが含む前記入力画像の端部に応じてそれぞれ異なる画像を用いて学習したものとすることができる。
【００１１】
より具体的には、前記端部用識別器は、上端部用識別器、下端部用識別器、左端部用識別器、右端部用識別器を有し、前記検出処理部は、前記探索ウィンドウが前記入力画像の上端部を含む場合は、前記上端部用識別器を用い、前記探索ウィンドウが前記入力画像の下端部を含む場合は、前記下端部用識別器を用い、前記探索ウィンドウが前記入力画像の左端部を含む場合は、前記左端部用識別器を用い、前記探索ウィンドウが前記入力画像の右端部を含む場合は、前記右端部用識別器を用いて前記所定の対象物の検出を行なうことができる。
【００１２】
また、前記上端部用識別器は、正の教師画像として前記対象物の下部が写った画像を用いて学習し、前記下端部用識別器は、正の教師画像として前記対象物の上部が写った画像を用いて学習し、前記左端部用識別器は、正の教師画像として前記対象物の右部が写った画像を用いて学習し、前記右端部用識別器は、正の教師画像として前記対象物の左部が写った画像を用いて学習したものとすることができる。
【００１３】
上記課題を解決するため、本発明の第２の態様である対象物検出方法は、入力画像内の一部領域に設定され、前記入力画像内をスキャンする探索ウィンドウ内の画像から所定の規則に従って特徴量を算出する特徴量算出ステップと、教師画像の特徴量を用いた学習に基づき識別を行なう複数の識別器のいずれかと、算出された前記特徴量により、前記探索ウィンドウ内の画像から所定の対象物を検出する検出ステップとを有し、前記複数の識別器は、正の教師画像として前記対象物全体が写った画像を用いて学習した通常用識別器と、正の教師画像として前記対象物の一部が写った画像を用いて学習した端部用識別器とを含むものであり、前記検出ステップは、前記通常用識別器を用いて前記所定の対象物の検出を行ない、前記探索ウィンドウが前記入力画像の端部を含む場合は、さらに、前記端部用識別器を用いて前記所定の対象物の検出を行なうことを特徴とする
【発明の効果】
【００１４】
本発明によれば、対象物が全部写っている場合と、対象物が端部にあって一部分しか写っていない場合の両方の検出精度を、処理負荷を大きくすることなく高めることができる。
【図面の簡単な説明】
【００１５】
【図１】本実施形態に係る対象物検出装置の構成を示すブロック図である。
【図２】対象物検出装置で用いられる各識別器の正の教師画像例を示す図である。
【図３】対象物検出装置における対象物検出処理を説明するためのフローチャートである。
【図４】対象部検出結果の例を示す図である。
【発明を実施するための形態】
【００１６】
本発明の実施の形態について図面を参照して詳細に説明する。図１は、本実施形態に係る対象物検出装置の構成を示すブロック図である。
【００１７】
本図に示すように、対象物検出装置１０は、撮像部１１０、ウィンドウ設定部１２０、特徴量算出部１３０、対象物検出部１４０、検出情報格納部１５０、表示部１６０、外縁領域判定部１７０、検出制御部１８０、識別器切替部１９０、識別器格納部２００を備えて構成される。これらのブロックのうち、ウィンドウ設定部１２０、特徴量算出部１３０、対象物検出部１４０、検出情報格納部１５０、外縁領域判定部１７０、検出制御部１８０、識別器切替部１９０、識別器格納部２００は、検出処理部２１０として機能し、ＣＰＵ、メモリ、インタフェース等を備えた情報処理装置を用いて構成することができる。
【００１８】
撮像部１１０は、ビデオカメラ等の撮像装置を用いることができ、動画像を取得する。なお、撮像部１１０は、対象物検出装置１０の外部に設けるようにしてもよい。撮像部１１０は、例えば、監視カメラ装置として機能させることができる。
【００１９】
ウィンドウ設定部１２０は、撮像部１１０が取得した動画像の１フレーム分を取り出して入力画像とし、その中で検出処理を行なう探索ウィンドウを設定する。本実施形態では、入力画像に対して、様々な大きさの探索ウィンドウを設定し、入力画像を複数回スキャンする。このため、１つの探索ウィンドウの処理が終わったら画像全体の検出処理を行なうようにスキャンしながら探索ウィンドウを次々に設定していく。
【００２０】
特徴量算出部１３０は、探索ウィンドウによって切り出された領域から形状、輪郭に関連する特徴量を算出する。本実施形態では、勾配方向ヒストグラム（ＨＯＧ：Histograms of Oriented Gradients）を特徴量として用いるものとする。
【００２１】
ＨＯＧ特徴量の算出では、まず、ピクセル単位で輝度勾配の強度・方向を算出する。次に、算出された輝度勾配を、例えば、５×５ピクセルの近傍領域（セル）でヒストグラム化する。これにより、照明や影の影響を受けにくい特徴量とすることができる。最後に、近傍のセル同士（ブロック）で正規化する。これにより、ブロック内での検出対象の局所的な回転や平行移動が生じた場合でも、ほぼ変化しない特徴量を得ることができる。
【００２２】
対象物検出部１４０は、特徴量算出部１３０で算出された特徴量を識別器にかけて対象物の領域を検出する。本実施形態では、対象物は人物とし、ＡｄａＢｏｏｓｔ等による機械学習で生成された識別器を用いて対象物の検出を行なうものとする。識別器は、弱い識別器が多数連結されて構成されており、それぞれの弱い識別器には、ＡｄａＢｏｏｓｔ等による機械学習で得られた重み付けがなされている。
【００２３】
本実施形態において、識別器は、識別器格納部２００に複数個格納されているものとする。複数の識別器は、通常識別器、上端用識別器、下端用識別器、左右端用識別器、左端用識別器であるとし、それぞれ正の教師画像として、異なる画像を用いて学習した識別器である。これらのうち、上端用識別器、下端用識別器、右端用識別器、左端用識別器は、外縁用の識別器として用いられる。
【００２４】
図２は、各識別器で正の教師画像として用いられる画像例を示している。通常識別器は、図２（ａ）に示すような人物の全身像画像を正の画像として学習したものである。上端用識別器は、図２（ｂ）に示すような人物の下半身画像を正の画像として学習したものである。これは、画像の上端部分では、人物の上半身が欠けることが多いためである。下端用識別器は、図２（ｃ）に示すような人物の上半身画像を正の画像として学習したものである。これは、画像の下端部分では、人物の下半身が欠けることが多いためである。
【００２５】
左端用識別器は、図２（ｄ）に示すような人物の左半身画像を正の画像として学習したものである。これは、画像の左端部分では、人物の右半身が欠けることが多いためである。右端用識別器は、図２（ｅ）に示すような人物の右半身画像を正の画像として学習したものである。これは、画像の右端部分では、人物の左半身が欠けることが多いためである。
【００２６】
検出情報格納部１５０は、対象物が検出された領域の、入力画像上の位置情報を取得し保持する。表示部１６０は、入力画像上に、対象物が検出された領域を示す矩形を重ね合わせた画像を生成し、対象物検出装置１０内部または外部に接続された表示装置に出力する。
【００２７】
外縁領域判定部１７０は、探索ウィンドウの入力画像上での位置情報を把握し、探索ウィンドウが入力画像の外縁部分を含むか否かの判定を行ない、外縁部分を含むと判定した場合は、さらにどの位置の外縁かを判定する。なお、この判定は、探索ウィンドウのサイズと、位置とに基づいて行なうことができる。外縁の位置は、上端、下端、左端、右端とする。探索ウィンドウが４隅に位置している場合には、複数の外縁部分を含むことになる。例えば、探索ウィンドウが右上に位置している場合は、上端と右端を含んでいると判定する。
【００２８】
検出制御部１８０は、外縁領域判定部１７０の判定結果を取得し、対象物検出部１４０で検出処理に用いる識別器を選択する。具体的には、まず、外縁領域判定部１７０の判定結果にかかわらず通常識別器を選択する。次いで、外縁部分を含むと判定された場合には、上端、下端、左端、右端に応じて上端用識別器、下端用識別器、左端用識別器、右端用識別器を選択する。このように、本実施形態では、まず、通常識別器を用いて検出を行ない、探索ウィンドウが外縁に接している場合に限り、さらに外縁用識別器を用いて検出を行なうようにしているため、処理負荷を大きくすることなく、対象物が全部写っている場合の検出精度および対象物が端部にあって一部分しか写っていない場合の検出精度を高めることができる。
【００２９】
識別器切替部１９０は、識別器格納部２００に格納された識別器の中から、検出制御部１８０の選択に基づいて、対象物検出部１４０における検出処理で使用する識別器を切り替える。
【００３０】
このように構成された対象物検出装置１０の動作について説明する。図３は、対象物検出装置１０における対象物検出処理を説明するためのフローチャートである。
【００３１】
まず、ウィンドウ設定部１２０は、撮像部１１０が取得した動画像の１フレーム分を取り出して入力画像とする（Ｓ１０１）。そして、様々な大きさの探索ウィンドウでの検出を行なうために、探索ウィンドウと入力画像との相対的なスケールを設定する（Ｓ１０２）。探索ウィンドウのスケールのシーケンスはあらかじめ定めておくようにする。
【００３２】
そして、探索ウィンドウを入力画像内でスキャンするために、ウィンドウ設定部１２０が、探索ウィンドウ位置を設定する（Ｓ１０３）。検出処理は、探索ウィンドウ内の領域に対して行なう。ウィンドウ設定部１２０は、入力画像の全領域が漏れなく検出処理対象となるように探索ウィンドウの設定位置を管理する。探索ウィンドウ位置のシーケンスもあらかじめ定めておくようにする。
【００３３】
探索ウィンドウが設定された位置の画像について、特徴量算出部１３０が特徴量を算出する（Ｓ１０４）。本実施形態では、上述のように輝度勾配ヒストグラム（ＨＯＧ）を特徴量とする。
【００３４】
そして、対象物検出部１４０が、算出された特徴量を用いて通常識別器による対象物体の検出処理を行なう（Ｓ１０５）。このため、検出制御部１８０は識別器切替部１９０に対して、対象物検出部１４０が使用する識別器として通常識別器に切り替えさせる。
【００３５】
その結果、対象物である人物が検出された場合には（Ｓ１０６：Ｙｅｓ）、検出情報格納部１５０に現在の探索ウィンドウの位置情報を格納する（Ｓ１０７）。
【００３６】
次に、外縁領域判定部１７０が、探索ウィンドウの入力画像上での位置情報を把握し、探索ウィンドウが入力画像の外縁部分を含むか否かの判定を行なう（Ｓ１０８）。その結果、探索ウィンドウが入力画像の外縁部分を含む場合（Ｓ１０８：Ｙｅｓ）には、含む外縁の位置に応じた外縁用識別器による対象物体の検出処理を行なう（Ｓ１０９）。
【００３７】
すなわち、上端が含まれていれば上端用識別器を使用した検出処理を行ない、下端が含まれていれば下端用識別器を使用した検出処理を行ない、右端が含まれていれば右端用識別器を使用した検出処理を行ない、左端が含まれていれば左端用識別器を使用した検出処理を行なうように、検出制御部１８０が識別器切替部１９０に対象物検出部１４０が使用する識別器を切り替えさせる。探索ウィンドウが隅に位置し、複数の端部が含まれている場合、対応する複数の識別器を使用して検出処理を行なうようにする。
【００３８】
その結果、対象物である人物が検出された場合には（Ｓ１１０：Ｙｅｓ）、検出情報格納部１５０に現在の探索ウィンドウの位置情報を格納する（Ｓ１１１）。
【００３９】
以上の処理を、探索ウィンドウの位置シーケンスに従って、探索ウィンドウの位置を移動させながら繰り返す。全領域のスキャンを終了すると（Ｓ１１２：Ｙｅｓ）、スケールシーケンスに従ってスケールを変更して、全領域のスキャンを繰り返す。そして、あらかじめ定めた全スケールでの全領域スキャンを終了すると（Ｓ１１３：Ｙｅｓ）、検出情報格納部１５０に格納されている探索ウィンドウの設定位置に基づく画像を生成して、表示装置に表示する（Ｓ１１４）。具体的には、対象物が検出された探索ウィンドウの設定位置に対応する矩形を入力画像に重ね合わせて表示する。そして、次の入力画像に対して同様の処理を繰り返す。
【００４０】
以上の動作により、図４（ａ）に示すような全身が写った人物Ａ、人物Ｂは、通常識別器により検出され、図４（ｂ）に示すような端部で切れている人物は端部用識別器により検出される。本図の例では、左端で切れている人物Ｃは、左端用識別器により検出され、上端で切れている人物Ｄは、上端用識別器により検出され、右下で切れている人物Ｅは、右端用識別器および／または下端用識別器により検出される。
【００４１】
以上のように、本実施形態の対象物検出装置１０は、全体が写っている対象物を検出するための通常識別器と、画像の端部で一部分のみ写っている対象物を検出するための端部識別器とを備え、探索ウィンドウが端部を含んでいる場合には端部識別器を併用して検出処理を行なうので、対象物が全部写っている場合と、対象物が端部にあって一部分しか写っていない場合の両方の検出精度を、処理負荷を大きくすることなく高めることができる。
【００４２】
このような対象物検出装置１０において、図示しないメカ制御部で、表示部１６０により表された対象物領域に合わせて撮像部１１０をパン・チルト・ズーム調節することで、わずかにカメラに映った侵入者も逃さず追跡可能な高精度の侵入監視システムを実現できるようになる。また、検出結果に対応してユーザーである監視者への通報、侵入者への警告機能を付加することで、より多くの犯罪が未然に防げる監視カメラシステムが可能となる。
【００４３】
なお、本実施形態では画像上での物体に関する情報としてＨＯＧ特徴量を用いたが、物体の輪郭・形状を表すような情報であればＨＯＧ特徴量に限ったものではない。ただし、ＨＯＧ特徴量は、端部の検出がしにくいという側面を有しているため、本発明は、ＨＯＧ特徴量を用いた場合に特に効果的に適用することができる。また、物体検出用の識別器作成に関して、ＡｄａＢｏｏｓｔ手法を用いたが、いわゆる教師データ有りの機械学習手法であれば他の方法でも構わない。さらに、検出対象物は、人物に限られず、車等の大まかに形状が決まっているような一般物体とすることができる。
【符号の説明】
【００４４】
１０…対象物検出装置
１１０…撮像部
１２０…ウィンドウ設定部
１３０…特徴量算出部
１４０…対象物検出部
１５０…検出情報格納部
１６０…表示部
１７０…外縁領域判定部
１８０…検出制御部
１９０…識別器切替部
２００…識別器格納部
２１０…検出処理部
【技術分野】
【０００１】
本発明は、対象物検出技術に関し、特に、画像の端部で部分的に写っている対象物を検出可能な対象物検出装置および対象物検出方法に関する。
【背景技術】
【０００２】
ビデオカメラ等の撮像装置により生成された撮像画像上で、人物や車両等の物体をその輪郭などの特徴を用いて検出する物体検出技術が従来から提案されている。例えば、特許文献１には、画像内の複数領域における勾配方向ヒストグラム（ＨＯＧ：Histograms of Oriented Gradients）を特徴量としてＡｄａＢｏｏｓｔなどの教師画像有りの機械学習によって識別器を作成し、撮像画像上で探索ウィンドウを走査しながら識別器を用いて対象物である人物を検出する技術が記載されている。
【０００３】
ＨＯＧ特徴量に対応するエッジ強度分布を表す線分は画像全体で物体の輪郭を表すことになるので、教師画像の輪郭情報を基に撮像画像中の対象物体検出を行なうことになる。このような検出方法を、人物を検出し追跡する監視カメラ装置に適用すると、色や動きを利用した検出方法と異なり、小動物や木の揺れなどにつられること無く侵入者を検出し、追跡等の対処が可能になる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−６７１０２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
識別器の作成では、学習用の画像が用いられる。このため、監視カメラ装置に適用して人物を検出対象とする場合には、人物が立っている画像や人物が歩いている画像を正の教師画像として識別器を学習させる。監視カメラ装置は、人物のアップではなく、監視対象エリアを広範囲に撮像することが多いため、正の教師画像としては人物の全身画像を主として用いることにより、検出精度を高めることができると考えられる。
【０００６】
しかしながら、全身画像を正の教師画像として用いると、画面の端部で一部しか写っていない人物の検出精度が落ちてしまう。監視カメラでは、このような状況でも人物を検出する必要があるため、人物が部分的に写っている画像も正の教師画像に含めることも考えられるが、その分、全身が写っている場合の検出精度が低下してしまうおそれがある。
【０００７】
一方で、全身が写っている場合の検出精度および一部が写っている場合の検出精度の両方を高めるために処理負荷が大きくなりすぎると、監視カメラ装置としての基本性能が低下することになる。
【０００８】
そこで、本発明は、検出対象物が全部写っている場合と、検出対象物が端部にあって一部分しか写っていない場合の両方の検出精度を、処理負荷を大きくすることなく高めることを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するため、本発明の第１の態様である対象物検出装置は、入力画像内の一部領域に設定され、前記入力画像をスキャンする探索ウィンドウ内の画像から所定の規則に従って特徴量を算出する特徴量算出部と、教師画像の特徴量を用いた学習に基づき識別を行なう複数の識別器と、算出された前記特徴量といずれかの識別器により、前記探索ウィンドウ内の画像から所定の対象物を検出する検出処理部とを備え、前記複数の識別器は、正の教師画像として前記対象物全体が写った画像を用いて学習した通常用識別器と、正の教師画像として前記対象物の一部が写った画像を用いて学習した端部用識別器とを含み、前記検出処理部は、前記通常用識別器を用いて前記所定の対象物の検出を行ない、前記探索ウィンドウが前記入力画像の端部を含む場合は、さらに、前記端部用識別器を用いて前記所定の対象物の検出を行なうことを特徴とする。
【００１０】
このとき、前記複数の識別器が含む前記端部用識別器は複数であり、各前記端部用識別器は、前記対象物の一部が写った画像である正の教師画像として、前記探索ウィンドウが含む前記入力画像の端部に応じてそれぞれ異なる画像を用いて学習したものとすることができる。
【００１１】
より具体的には、前記端部用識別器は、上端部用識別器、下端部用識別器、左端部用識別器、右端部用識別器を有し、前記検出処理部は、前記探索ウィンドウが前記入力画像の上端部を含む場合は、前記上端部用識別器を用い、前記探索ウィンドウが前記入力画像の下端部を含む場合は、前記下端部用識別器を用い、前記探索ウィンドウが前記入力画像の左端部を含む場合は、前記左端部用識別器を用い、前記探索ウィンドウが前記入力画像の右端部を含む場合は、前記右端部用識別器を用いて前記所定の対象物の検出を行なうことができる。
【００１２】
また、前記上端部用識別器は、正の教師画像として前記対象物の下部が写った画像を用いて学習し、前記下端部用識別器は、正の教師画像として前記対象物の上部が写った画像を用いて学習し、前記左端部用識別器は、正の教師画像として前記対象物の右部が写った画像を用いて学習し、前記右端部用識別器は、正の教師画像として前記対象物の左部が写った画像を用いて学習したものとすることができる。
【００１３】
上記課題を解決するため、本発明の第２の態様である対象物検出方法は、入力画像内の一部領域に設定され、前記入力画像内をスキャンする探索ウィンドウ内の画像から所定の規則に従って特徴量を算出する特徴量算出ステップと、教師画像の特徴量を用いた学習に基づき識別を行なう複数の識別器のいずれかと、算出された前記特徴量により、前記探索ウィンドウ内の画像から所定の対象物を検出する検出ステップとを有し、前記複数の識別器は、正の教師画像として前記対象物全体が写った画像を用いて学習した通常用識別器と、正の教師画像として前記対象物の一部が写った画像を用いて学習した端部用識別器とを含むものであり、前記検出ステップは、前記通常用識別器を用いて前記所定の対象物の検出を行ない、前記探索ウィンドウが前記入力画像の端部を含む場合は、さらに、前記端部用識別器を用いて前記所定の対象物の検出を行なうことを特徴とする
【発明の効果】
【００１４】
本発明によれば、対象物が全部写っている場合と、対象物が端部にあって一部分しか写っていない場合の両方の検出精度を、処理負荷を大きくすることなく高めることができる。
【図面の簡単な説明】
【００１５】
【図１】本実施形態に係る対象物検出装置の構成を示すブロック図である。
【図２】対象物検出装置で用いられる各識別器の正の教師画像例を示す図である。
【図３】対象物検出装置における対象物検出処理を説明するためのフローチャートである。
【図４】対象部検出結果の例を示す図である。
【発明を実施するための形態】
【００１６】
本発明の実施の形態について図面を参照して詳細に説明する。図１は、本実施形態に係る対象物検出装置の構成を示すブロック図である。
【００１７】
本図に示すように、対象物検出装置１０は、撮像部１１０、ウィンドウ設定部１２０、特徴量算出部１３０、対象物検出部１４０、検出情報格納部１５０、表示部１６０、外縁領域判定部１７０、検出制御部１８０、識別器切替部１９０、識別器格納部２００を備えて構成される。これらのブロックのうち、ウィンドウ設定部１２０、特徴量算出部１３０、対象物検出部１４０、検出情報格納部１５０、外縁領域判定部１７０、検出制御部１８０、識別器切替部１９０、識別器格納部２００は、検出処理部２１０として機能し、ＣＰＵ、メモリ、インタフェース等を備えた情報処理装置を用いて構成することができる。
【００１８】
撮像部１１０は、ビデオカメラ等の撮像装置を用いることができ、動画像を取得する。なお、撮像部１１０は、対象物検出装置１０の外部に設けるようにしてもよい。撮像部１１０は、例えば、監視カメラ装置として機能させることができる。
【００１９】
ウィンドウ設定部１２０は、撮像部１１０が取得した動画像の１フレーム分を取り出して入力画像とし、その中で検出処理を行なう探索ウィンドウを設定する。本実施形態では、入力画像に対して、様々な大きさの探索ウィンドウを設定し、入力画像を複数回スキャンする。このため、１つの探索ウィンドウの処理が終わったら画像全体の検出処理を行なうようにスキャンしながら探索ウィンドウを次々に設定していく。
【００２０】
特徴量算出部１３０は、探索ウィンドウによって切り出された領域から形状、輪郭に関連する特徴量を算出する。本実施形態では、勾配方向ヒストグラム（ＨＯＧ：Histograms of Oriented Gradients）を特徴量として用いるものとする。
【００２１】
ＨＯＧ特徴量の算出では、まず、ピクセル単位で輝度勾配の強度・方向を算出する。次に、算出された輝度勾配を、例えば、５×５ピクセルの近傍領域（セル）でヒストグラム化する。これにより、照明や影の影響を受けにくい特徴量とすることができる。最後に、近傍のセル同士（ブロック）で正規化する。これにより、ブロック内での検出対象の局所的な回転や平行移動が生じた場合でも、ほぼ変化しない特徴量を得ることができる。
【００２２】
対象物検出部１４０は、特徴量算出部１３０で算出された特徴量を識別器にかけて対象物の領域を検出する。本実施形態では、対象物は人物とし、ＡｄａＢｏｏｓｔ等による機械学習で生成された識別器を用いて対象物の検出を行なうものとする。識別器は、弱い識別器が多数連結されて構成されており、それぞれの弱い識別器には、ＡｄａＢｏｏｓｔ等による機械学習で得られた重み付けがなされている。
【００２３】
本実施形態において、識別器は、識別器格納部２００に複数個格納されているものとする。複数の識別器は、通常識別器、上端用識別器、下端用識別器、左右端用識別器、左端用識別器であるとし、それぞれ正の教師画像として、異なる画像を用いて学習した識別器である。これらのうち、上端用識別器、下端用識別器、右端用識別器、左端用識別器は、外縁用の識別器として用いられる。
【００２４】
図２は、各識別器で正の教師画像として用いられる画像例を示している。通常識別器は、図２（ａ）に示すような人物の全身像画像を正の画像として学習したものである。上端用識別器は、図２（ｂ）に示すような人物の下半身画像を正の画像として学習したものである。これは、画像の上端部分では、人物の上半身が欠けることが多いためである。下端用識別器は、図２（ｃ）に示すような人物の上半身画像を正の画像として学習したものである。これは、画像の下端部分では、人物の下半身が欠けることが多いためである。
【００２５】
左端用識別器は、図２（ｄ）に示すような人物の左半身画像を正の画像として学習したものである。これは、画像の左端部分では、人物の右半身が欠けることが多いためである。右端用識別器は、図２（ｅ）に示すような人物の右半身画像を正の画像として学習したものである。これは、画像の右端部分では、人物の左半身が欠けることが多いためである。
【００２６】
検出情報格納部１５０は、対象物が検出された領域の、入力画像上の位置情報を取得し保持する。表示部１６０は、入力画像上に、対象物が検出された領域を示す矩形を重ね合わせた画像を生成し、対象物検出装置１０内部または外部に接続された表示装置に出力する。
【００２７】
外縁領域判定部１７０は、探索ウィンドウの入力画像上での位置情報を把握し、探索ウィンドウが入力画像の外縁部分を含むか否かの判定を行ない、外縁部分を含むと判定した場合は、さらにどの位置の外縁かを判定する。なお、この判定は、探索ウィンドウのサイズと、位置とに基づいて行なうことができる。外縁の位置は、上端、下端、左端、右端とする。探索ウィンドウが４隅に位置している場合には、複数の外縁部分を含むことになる。例えば、探索ウィンドウが右上に位置している場合は、上端と右端を含んでいると判定する。
【００２８】
検出制御部１８０は、外縁領域判定部１７０の判定結果を取得し、対象物検出部１４０で検出処理に用いる識別器を選択する。具体的には、まず、外縁領域判定部１７０の判定結果にかかわらず通常識別器を選択する。次いで、外縁部分を含むと判定された場合には、上端、下端、左端、右端に応じて上端用識別器、下端用識別器、左端用識別器、右端用識別器を選択する。このように、本実施形態では、まず、通常識別器を用いて検出を行ない、探索ウィンドウが外縁に接している場合に限り、さらに外縁用識別器を用いて検出を行なうようにしているため、処理負荷を大きくすることなく、対象物が全部写っている場合の検出精度および対象物が端部にあって一部分しか写っていない場合の検出精度を高めることができる。
【００２９】
識別器切替部１９０は、識別器格納部２００に格納された識別器の中から、検出制御部１８０の選択に基づいて、対象物検出部１４０における検出処理で使用する識別器を切り替える。
【００３０】
このように構成された対象物検出装置１０の動作について説明する。図３は、対象物検出装置１０における対象物検出処理を説明するためのフローチャートである。
【００３１】
まず、ウィンドウ設定部１２０は、撮像部１１０が取得した動画像の１フレーム分を取り出して入力画像とする（Ｓ１０１）。そして、様々な大きさの探索ウィンドウでの検出を行なうために、探索ウィンドウと入力画像との相対的なスケールを設定する（Ｓ１０２）。探索ウィンドウのスケールのシーケンスはあらかじめ定めておくようにする。
【００３２】
そして、探索ウィンドウを入力画像内でスキャンするために、ウィンドウ設定部１２０が、探索ウィンドウ位置を設定する（Ｓ１０３）。検出処理は、探索ウィンドウ内の領域に対して行なう。ウィンドウ設定部１２０は、入力画像の全領域が漏れなく検出処理対象となるように探索ウィンドウの設定位置を管理する。探索ウィンドウ位置のシーケンスもあらかじめ定めておくようにする。
【００３３】
探索ウィンドウが設定された位置の画像について、特徴量算出部１３０が特徴量を算出する（Ｓ１０４）。本実施形態では、上述のように輝度勾配ヒストグラム（ＨＯＧ）を特徴量とする。
【００３４】
そして、対象物検出部１４０が、算出された特徴量を用いて通常識別器による対象物体の検出処理を行なう（Ｓ１０５）。このため、検出制御部１８０は識別器切替部１９０に対して、対象物検出部１４０が使用する識別器として通常識別器に切り替えさせる。
【００３５】
その結果、対象物である人物が検出された場合には（Ｓ１０６：Ｙｅｓ）、検出情報格納部１５０に現在の探索ウィンドウの位置情報を格納する（Ｓ１０７）。
【００３６】
次に、外縁領域判定部１７０が、探索ウィンドウの入力画像上での位置情報を把握し、探索ウィンドウが入力画像の外縁部分を含むか否かの判定を行なう（Ｓ１０８）。その結果、探索ウィンドウが入力画像の外縁部分を含む場合（Ｓ１０８：Ｙｅｓ）には、含む外縁の位置に応じた外縁用識別器による対象物体の検出処理を行なう（Ｓ１０９）。
【００３７】
すなわち、上端が含まれていれば上端用識別器を使用した検出処理を行ない、下端が含まれていれば下端用識別器を使用した検出処理を行ない、右端が含まれていれば右端用識別器を使用した検出処理を行ない、左端が含まれていれば左端用識別器を使用した検出処理を行なうように、検出制御部１８０が識別器切替部１９０に対象物検出部１４０が使用する識別器を切り替えさせる。探索ウィンドウが隅に位置し、複数の端部が含まれている場合、対応する複数の識別器を使用して検出処理を行なうようにする。
【００３８】
その結果、対象物である人物が検出された場合には（Ｓ１１０：Ｙｅｓ）、検出情報格納部１５０に現在の探索ウィンドウの位置情報を格納する（Ｓ１１１）。
【００３９】
以上の処理を、探索ウィンドウの位置シーケンスに従って、探索ウィンドウの位置を移動させながら繰り返す。全領域のスキャンを終了すると（Ｓ１１２：Ｙｅｓ）、スケールシーケンスに従ってスケールを変更して、全領域のスキャンを繰り返す。そして、あらかじめ定めた全スケールでの全領域スキャンを終了すると（Ｓ１１３：Ｙｅｓ）、検出情報格納部１５０に格納されている探索ウィンドウの設定位置に基づく画像を生成して、表示装置に表示する（Ｓ１１４）。具体的には、対象物が検出された探索ウィンドウの設定位置に対応する矩形を入力画像に重ね合わせて表示する。そして、次の入力画像に対して同様の処理を繰り返す。
【００４０】
以上の動作により、図４（ａ）に示すような全身が写った人物Ａ、人物Ｂは、通常識別器により検出され、図４（ｂ）に示すような端部で切れている人物は端部用識別器により検出される。本図の例では、左端で切れている人物Ｃは、左端用識別器により検出され、上端で切れている人物Ｄは、上端用識別器により検出され、右下で切れている人物Ｅは、右端用識別器および／または下端用識別器により検出される。
【００４１】
以上のように、本実施形態の対象物検出装置１０は、全体が写っている対象物を検出するための通常識別器と、画像の端部で一部分のみ写っている対象物を検出するための端部識別器とを備え、探索ウィンドウが端部を含んでいる場合には端部識別器を併用して検出処理を行なうので、対象物が全部写っている場合と、対象物が端部にあって一部分しか写っていない場合の両方の検出精度を、処理負荷を大きくすることなく高めることができる。
【００４２】
このような対象物検出装置１０において、図示しないメカ制御部で、表示部１６０により表された対象物領域に合わせて撮像部１１０をパン・チルト・ズーム調節することで、わずかにカメラに映った侵入者も逃さず追跡可能な高精度の侵入監視システムを実現できるようになる。また、検出結果に対応してユーザーである監視者への通報、侵入者への警告機能を付加することで、より多くの犯罪が未然に防げる監視カメラシステムが可能となる。
【００４３】
なお、本実施形態では画像上での物体に関する情報としてＨＯＧ特徴量を用いたが、物体の輪郭・形状を表すような情報であればＨＯＧ特徴量に限ったものではない。ただし、ＨＯＧ特徴量は、端部の検出がしにくいという側面を有しているため、本発明は、ＨＯＧ特徴量を用いた場合に特に効果的に適用することができる。また、物体検出用の識別器作成に関して、ＡｄａＢｏｏｓｔ手法を用いたが、いわゆる教師データ有りの機械学習手法であれば他の方法でも構わない。さらに、検出対象物は、人物に限られず、車等の大まかに形状が決まっているような一般物体とすることができる。
【符号の説明】
【００４４】
１０…対象物検出装置
１１０…撮像部
１２０…ウィンドウ設定部
１３０…特徴量算出部
１４０…対象物検出部
１５０…検出情報格納部
１６０…表示部
１７０…外縁領域判定部
１８０…検出制御部
１９０…識別器切替部
２００…識別器格納部
２１０…検出処理部
【特許請求の範囲】
【請求項１】
入力画像内の一部領域に設定され、前記入力画像をスキャンする探索ウィンドウ内の画像から所定の規則に従って特徴量を算出する特徴量算出部と、
教師画像の特徴量を用いた学習に基づき識別を行なう複数の識別器と、
算出された前記特徴量といずれかの識別器により、前記探索ウィンドウ内の画像から所定の対象物を検出する検出処理部とを備え、
前記複数の識別器は、正の教師画像として前記対象物全体が写った画像を用いて学習した通常用識別器と、正の教師画像として前記対象物の一部が写った画像を用いて学習した端部用識別器とを含み、
前記検出処理部は、前記通常用識別器を用いて前記所定の対象物の検出を行ない、前記探索ウィンドウが前記入力画像の端部を含む場合は、さらに、前記端部用識別器を用いて前記所定の対象物の検出を行なうことを特徴とする対象物検出装置。
【請求項２】
前記複数の識別器が含む前記端部用識別器は複数であり、
各前記端部用識別器は、前記対象物の一部が写った画像である正の教師画像として、前記探索ウィンドウが含む前記入力画像の端部に応じてそれぞれ異なる画像を用いて学習したものであることを特徴とする請求項１に記載の対象物検出装置。
【請求項３】
前記端部用識別器は、上端部用識別器、下端部用識別器、左端部用識別器、右端部用識別器を有し、
前記検出処理部は、前記探索ウィンドウが前記入力画像の上端部を含む場合は、前記上端部用識別器を用い、前記探索ウィンドウが前記入力画像の下端部を含む場合は、前記下端部用識別器を用い、前記探索ウィンドウが前記入力画像の左端部を含む場合は、前記左端部用識別器を用い、前記探索ウィンドウが前記入力画像の右端部を含む場合は、前記右端部用識別器を用いて前記所定の対象物の検出を行なうことを特徴とする請求項２に記載の対象物検出装置。
【請求項４】
前記上端部用識別器は、正の教師画像として前記対象物の下部が写った画像を用いて学習し、前記下端部用識別器は、正の教師画像として前記対象物の上部が写った画像を用いて学習し、前記左端部用識別器は、正の教師画像として前記対象物の右部が写った画像を用いて学習し、前記右端部用識別器は、正の教師画像として前記対象物の左部が写った画像を用いて学習したものであることを特徴とする請求項３に記載の対象物検出装置。
【請求項５】
入力画像内の一部領域に設定され、前記入力画像内をスキャンする探索ウィンドウ内の画像から所定の規則に従って特徴量を算出する特徴量算出ステップと、
教師画像の特徴量を用いた学習に基づき識別を行なう複数の識別器のいずれかと、算出された前記特徴量により、前記探索ウィンドウ内の画像から所定の対象物を検出する検出ステップとを有し、
前記複数の識別器は、正の教師画像として前記対象物全体が写った画像を用いて学習した通常用識別器と、正の教師画像として前記対象物の一部が写った画像を用いて学習した端部用識別器とを含むものであり、
前記検出ステップは、前記通常用識別器を用いて前記所定の対象物の検出を行ない、前記探索ウィンドウが前記入力画像の端部を含む場合は、さらに、前記端部用識別器を用いて前記所定の対象物の検出を行なうことを特徴とする対象物検出方法。
【請求項１】
入力画像内の一部領域に設定され、前記入力画像をスキャンする探索ウィンドウ内の画像から所定の規則に従って特徴量を算出する特徴量算出部と、
教師画像の特徴量を用いた学習に基づき識別を行なう複数の識別器と、
算出された前記特徴量といずれかの識別器により、前記探索ウィンドウ内の画像から所定の対象物を検出する検出処理部とを備え、
前記複数の識別器は、正の教師画像として前記対象物全体が写った画像を用いて学習した通常用識別器と、正の教師画像として前記対象物の一部が写った画像を用いて学習した端部用識別器とを含み、
前記検出処理部は、前記通常用識別器を用いて前記所定の対象物の検出を行ない、前記探索ウィンドウが前記入力画像の端部を含む場合は、さらに、前記端部用識別器を用いて前記所定の対象物の検出を行なうことを特徴とする対象物検出装置。
【請求項２】
前記複数の識別器が含む前記端部用識別器は複数であり、
各前記端部用識別器は、前記対象物の一部が写った画像である正の教師画像として、前記探索ウィンドウが含む前記入力画像の端部に応じてそれぞれ異なる画像を用いて学習したものであることを特徴とする請求項１に記載の対象物検出装置。
【請求項３】
前記端部用識別器は、上端部用識別器、下端部用識別器、左端部用識別器、右端部用識別器を有し、
前記検出処理部は、前記探索ウィンドウが前記入力画像の上端部を含む場合は、前記上端部用識別器を用い、前記探索ウィンドウが前記入力画像の下端部を含む場合は、前記下端部用識別器を用い、前記探索ウィンドウが前記入力画像の左端部を含む場合は、前記左端部用識別器を用い、前記探索ウィンドウが前記入力画像の右端部を含む場合は、前記右端部用識別器を用いて前記所定の対象物の検出を行なうことを特徴とする請求項２に記載の対象物検出装置。
【請求項４】
前記上端部用識別器は、正の教師画像として前記対象物の下部が写った画像を用いて学習し、前記下端部用識別器は、正の教師画像として前記対象物の上部が写った画像を用いて学習し、前記左端部用識別器は、正の教師画像として前記対象物の右部が写った画像を用いて学習し、前記右端部用識別器は、正の教師画像として前記対象物の左部が写った画像を用いて学習したものであることを特徴とする請求項３に記載の対象物検出装置。
【請求項５】
入力画像内の一部領域に設定され、前記入力画像内をスキャンする探索ウィンドウ内の画像から所定の規則に従って特徴量を算出する特徴量算出ステップと、
教師画像の特徴量を用いた学習に基づき識別を行なう複数の識別器のいずれかと、算出された前記特徴量により、前記探索ウィンドウ内の画像から所定の対象物を検出する検出ステップとを有し、
前記複数の識別器は、正の教師画像として前記対象物全体が写った画像を用いて学習した通常用識別器と、正の教師画像として前記対象物の一部が写った画像を用いて学習した端部用識別器とを含むものであり、
前記検出ステップは、前記通常用識別器を用いて前記所定の対象物の検出を行ない、前記探索ウィンドウが前記入力画像の端部を含む場合は、さらに、前記端部用識別器を用いて前記所定の対象物の検出を行なうことを特徴とする対象物検出方法。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２０１２−１６４２５５（Ｐ２０１２−１６４２５５Ａ）
【公開日】平成２４年８月３０日（２０１２．８．３０）
【国際特許分類】
【出願番号】特願２０１１−２５７４９（Ｐ２０１１−２５７４９）
【出願日】平成２３年２月９日（２０１１．２．９）
【出願人】（３０８０３６４０２）株式会社ＪＶＣケンウッド (1,152)
【Ｆターム（参考）】
【公開日】平成２４年８月３０日（２０１２．８．３０）
【国際特許分類】
【出願日】平成２３年２月９日（２０１１．２．９）
【出願人】（３０８０３６４０２）株式会社ＪＶＣケンウッド (1,152)
【Ｆターム（参考）】
[ Back to top ]