対象物検出装置、対象物検出方法
【課題】処理負荷を大きくすることなく、検出対象物が遠近離れて複数存在する場合の検出精度を高める。
【解決手段】入力画像に関する撮像対象までの距離情報を取得する距離情報取得部と、距離情報に基づいて、入力画像に対して距離区分を設定する距離区分設定部と、距離区分毎に、探索ウィンドウのサイズを設定するウィンドウサイズ設定部と、距離区分毎に、設定されたサイズの探索ウィンドウを用いて入力画像のスキャンを行なうスキャン部と、探索ウィンドウ内から検出対象物の検出処理を行なう検出処理部とを備えた対象物検出装置。
【解決手段】入力画像に関する撮像対象までの距離情報を取得する距離情報取得部と、距離情報に基づいて、入力画像に対して距離区分を設定する距離区分設定部と、距離区分毎に、探索ウィンドウのサイズを設定するウィンドウサイズ設定部と、距離区分毎に、設定されたサイズの探索ウィンドウを用いて入力画像のスキャンを行なうスキャン部と、探索ウィンドウ内から検出対象物の検出処理を行なう検出処理部とを備えた対象物検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象物検出技術に関し、検出対象物が遠近離れて複数存在する場合の検出精度を高める技術に関する。
【背景技術】
【０００２】
ビデオカメラ等の撮像装置により生成された撮像画像上で、人物や車両等の物体をその輪郭などの特徴を用いて検出する物体検出技術が従来から提案されている。このような物体検出技術では、テンプレート画像や、機械学習によって作成された識別器を利用し、撮像画像上で探索ウィンドウをスキャンすることで対象とする物体を検出する手法が主流である。
【０００３】
輪郭などの特徴を用いて検出する方法を、人物を検出し追跡する監視カメラ装置に適用すると、色や動きを利用した検出方法と異なり、小動物や木の揺れなどにつられることなく侵入者を検出し、追跡等の対処が可能になる。
【０００４】
この場合、検出対象がどのような大きさで画像に写るかは、検出対象の位置や、ズーム・撮影方向等の監視カメラ装置の状態によって異なる。監視カメラ装置では、どのような大きさで写っていても確実に対象物の検出が行なえるように、複数の異なるサイズの探索ウィンドウを設定し、それぞれの探索ウィンドウを用いて撮像画像内を全面スキャンすることが行なわれている。例えば、図６（ａ）〜（ｃ）に示す例では、サイズの異なる探索ウィンドウＷ１、探索ウィンドウＷ２、探索ウィンドウＷ３を、それぞれ全面スキャンすることで、異なる大きさに写っている人物を検出している。
【０００５】
実装上は、もっと多くのサイズの探索ウィンドウを用い、また、スキャンも所定量オーバーラップさせながら行なうため、検出処理に時間がかかり、また大きなメモリ容量を要することになり、処理負荷が大きかった。
【０００６】
この問題に対し、特許文献１には、被写体のフォーカス情報から得られる距離情報に基づいて被写体の大きさを推定し、その大きさに対応した探索ウィンドウを用いて対象物を検出することが記載されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００４−３３４８３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、監視カメラ装置は、一般のカメラの撮影状態と異なり、被写体が確定していないため、被写体のフォーカス状態に基づいて距離情報を得ることはできない。このため、特許文献１に記載された技術をそのまま適用しても十分な効果は得られない。また、監視カメラ装置では、検出対象物が遠近離れて複数存在し、それぞれの対象物の撮像画像内のサイズが異なる場合でも、すべての対象物に対する検出精度を高める必要がある。
【０００９】
そこで、本発明は、処理負荷を大きくすることなく、検出対象物が遠近離れて複数存在する場合の検出精度を高めることを目的とする。
【課題を解決するための手段】
【００１０】
上記課題を解決するため、本発明の第１の態様である対象物検出装置は、入力画像に関する撮像対象までの距離情報を取得する距離情報取得部と、前記距離情報に基づいて、前記入力画像に対して距離区分を設定する距離区分設定部と、前記距離区分毎に、探索ウィンドウのサイズを設定するウィンドウサイズ設定部と、前記距離区分毎に、設定されたサイズの前記探索ウィンドウを用いて前記入力画像のスキャンを行なうスキャン部と、前記探索ウィンドウ内から検出対象物の検出処理を行なう検出処理部と、を備えたことを特徴とする。
ここで、前記距離情報取得部は、前記入力画像の画素毎に距離情報を取得し、前記距離区分設定部は、前記入力画像を複数のブロックに分割し、ブロック内の画素の距離情報に基づいてブロック単位で距離区分を設定することができる。
また、前記ウィンドウサイズ設定部は、前記入力画像に対する探索ウィンドウのサイズ比を設定し、前記スキャン部は、前記サイズ比にしたがった大きさの入力画像と探索ウィンドウとを用いて、前記スキャンを行なうようにしてもよい。
上記課題を解決するため、本発明の第２の態様である対象物検出方法は、入力画像に関する撮像対象までの距離情報を取得する距離情報取得ステップと、前記距離情報に基づいて、前記入力画像に対して距離区分を設定する距離区分設定ステップと、前記距離区分毎に、探索ウィンドウのサイズを設定するウィンドウサイズ設定ステップと、
前記距離区分毎に、設定されたサイズの前記探索ウィンドウを用いて前記入力画像のスキャンを行ない、前記探索ウィンドウ内から検出対象物の検出処理を行なう検出ステップと、を含むことを特徴とする。
【発明の効果】
【００１１】
本発明によれば、処理負荷を大きくすることなく、検出対象物が遠近離れて複数存在する場合の検出精度を高めることができる。
【図面の簡単な説明】
【００１２】
【図１】本実施形態に係る対象物検出装置の構成を示すブロック図である。
【図２】設定される距離区分の例を示す図である。
【図３】探索ウィンドウのサイズ設定について説明する図である。
【図４】距離区分毎に設定されたサイズの探索ウィンドウでスキャンを行なっている状態を模式的に示した図である。
【図５】本実施形態の対象物検出装置の動作を説明するフローチャートである。
【図６】従来の探索ウィンドウのスキャン動作について説明する図である。
【発明を実施するための形態】
【００１３】
本発明の実施の形態について図面を参照して詳細に説明する。本実施形態は、本発明の対象物検出装置を対象物検出システムに適用した場合の例である。図１は、本実施形態に係る対象物検出システムの構成を示すブロック図である。
【００１４】
本図に示すように、対象物検出システム１０は、対象物検出装置１００、カメラ２００、表示装置３００を備えて構成される。対象物検出システム１０は、例えば、監視カメラシステムとして機能することができ、この場合、カメラ２００は監視カメラ装置として機能し、表示装置３００は監視モニタ装置として機能する。対象物検出装置１００は、例えば、ＣＰＵ、メモリ、インタフェース等を備えた情報処理装置を用いて構成することができる。
【００１５】
カメラ２００は、撮像部２１０、カメラ駆動部２２０、距離測定部２３０を備えている。撮像部２１０は、レンズ等による光学系、受光素子等による受光部、演算装置等による画像処理部等を備えており、動画像を撮像して画像データを対象物検出装置１００に出力する。光学系には、ズーム機能が含まれているものとする。
【００１６】
カメラ駆動部２２０は、モータ等の駆動機構を備えており、対象物検出装置１００からの制御信号に基づいて、撮像部２１０のズーム機能を変更する機能と、撮像方向を変更するパン・チルト機能を備えている。ここでは、ズーム、パン・チルトをＰＴＺと総称する。
【００１７】
距離測定部２３０は、撮像部２１０が撮像した画像内の全面において、撮像対象までの距離をリアルタイムで測定する。距離の測定は、例えば、ＴＯＦ（Time of Flight）方式、ステレオカメラ方式等種々の方式を採用することができる。ここで、ＴＯＦ方式は、例えば、撮像時あるいは撮影の前後に赤外線ＬＥＤを一瞬光らせ、赤外線が撮像対象にあたって跳ね返ってくるまでの時間を撮像部２１０の受光素子毎に測定することにより、撮像対象までの距離を算出する。距離測定部２３０が測定した距離情報は、例えば、撮像部２１０が出力する画像データの画素毎のアルファチャンネルに記録して対象物検出装置１００に出力する。
【００１８】
対象物検出装置１００は、画像入力部１１０、距離情報取得部１２０、距離区分設定部１３０、ウィンドウサイズ設定部１４０、スキャン部１５０、検出処理部１６０、カメラ制御部１７０を備えている。
【００１９】
画像入力部１１０は、カメラ２００から画像データを連続して入力する。距離情報取得部１２０は、画像データの画素毎にアルファチャンネルから距離情報を取得して距離区分設定部１３０に出力する。
【００２０】
距離区分設定部１３０は、画素毎の距離情報に基づいて、画像に距離区分を設定する。距離区分は、例えば、画像内を所定サイズのブロックに区分し、ブロック内の画素の平均距離に基づいて各ブロックを１０ｍ未満、１０ｍ以上２０ｍ未満、２０ｍ以上３０ｍ未満等の距離区分に振り分けることで設定することができる。
【００２１】
図２（ｂ）は、図２（ａ）に示した画像に対して設定された距離区分の例を示している。本例では、距離区分をあらかじめ５段階に区切っておき、画像を図２（ｂ）の領域Ｂに示すようなサイズのブロックで分割し、それぞれのブロック内の画素の距離情報の平均値を用いて、各ブロックを距離区分に振り分けている。例えば、あるブロックに含まれる画素の距離情報の平均値が１２ｍであれば、そのブロックは、１０ｍ以上２０ｍ未満の距離区分となる。
【００２２】
ウィンドウサイズ設定部１４０は、距離区分毎に探索ウィンドウサイズを設定する。すなわち、同じ大きさの対象物であっても、カメラ２００からの距離に応じて画像上のサイズが変化する。具体的には、遠くにある対象物ほど画像上では小さく写る。したがって、ウィンドウサイズ設定部１４０は、遠い距離区分ほど、探索ウィンドウサイズが相対的に小さくなるように設定する。
【００２３】
また、画像上のサイズは、撮像部２１０のズーム状態に応じても変化する。具体的には、対象物とカメラ２００との距離が同じであっても、ズームの焦点距離が大きいほど大きく写る。このため、ウィンドウサイズ設定部１４０は、後述するカメラ制御部１７０から、カメラ２００のズーム情報を取得して、さらに焦点距離に応じて探索ウィンドウサイズを設定するようにしてもよい。
【００２４】
本実施形態では、例えば、図３に示すように、距離区分および焦点距離に応じて探索ウィンドウを設定するものとする。すなわち、遠い距離区分ほど探索ウィンドウが小さくなるように設定し、また、同じ距離区分であれば、焦点距離が長いほど大きな探索ウィンドウを設定する。それぞれの探索ウィンドウのサイズは、人物・車両等の検出対象物自身のサイズと撮像部２１０のレンズ特性等に基づいて実験的、理論的に取得して、ウィンドウサイズ設定部１４０の内部、あるいは外部に記録しておくようにする。
【００２５】
スキャン部１５０は、画像入力部１１０が入力した画像に対して、距離区分毎に設定されたサイズの探索ウィンドウでスキャンを行なう。探索ウィンドウのスキャンは、所定数オーバーラップさせながら、距離区分内全体に対して行なう。
【００２６】
図４は、距離区分毎に設定されたサイズの探索ウィンドウでスキャンを行なっている状態を模式的に示した図である。設定された距離区分は、図２（ｂ）に対応している。本図の例では、最も距離が遠い距離区分Ａにおいて、最も小さいサイズの探索ウィンドウＷａを用いてスキャンを行ない、次に距離が遠い距離区分Ｂにおいて、次に小さいサイズの探索ウィンドウＷｂを用いてスキャンを行なっている。そして、最も距離の近い距離区分Ｅにおいて、最も大きいサイズの探索ウィンドウＷｅを用いてスキャンを行なっている。スキャンの方向、手順等についてはあらかじめスキャンシーケンスとして定めておくことができる。
【００２７】
なお、スキャン時には、オーバーラップさせながら探索ウィンドウを移動させるため、探索ウィンドウが対応する距離区分からはみ出してもよい。同じ距離区分が連続せず、離散している場合には、それぞれの領域について同じサイズの探索ウィンドウを用いてスキャンを行なう。また、本実施形態では、探索ウィンドウのサイズを変更するようにしているが、探索ウィンドウのサイズを固定し、画像のサイズを相対的に変更してスキャンするようにしてもよい。
【００２８】
このように、本実施形態では、距離区分に応じたサイズの探索ウィンドウを用いて、距離区分毎にスキャンを行なうため、検出対象物が遠近離れて複数存在する場合にも検出精度を向上させることができる。また、種々のサイズの探索ウィンドウを用いて全画面をスキャンする必要がないため、検出処理の時間を短縮できるのに加え、必要なメモリ容量を削減することができる。
【００２９】
検出処理部１６０は、探索ウィンドウ内に検出対象物が存在するかどうかを判定し、検出結果を含めた画像を表示装置３００に出力する。探索ウィンドウ内に検出対象物が存在するかどうかの判定は、探索ウィンドウ内から輪郭などの特徴を抽出し、テンプレート画像や、機械学習によって作成された識別器を利用して行なうことができる。輪郭などの特徴としては、例えば、ＨＯＧ（Histograms of Oriented Gradients）特徴量を用いることができ、機械学習としては、例えば、ＡｄａＢｏｏｓｔアルゴリズムを用いることができる。
【００３０】
カメラ制御部１７０は、検出結果に応じてカメラ駆動部２２０の動作を制御し、カメラ２００にＰＴＺ動作を行なわせる。検出結果に応じて行なわせるカメラ２００のＰＴＺ動作は、種々のロジックで行なうことができる。例えば、検出対象物を大きく撮像するためや、複数の検出対象物すべてを画角内に収めるためにズーム動作を行なわせたり、検出対象物の位置に対応してＰＴ動作を行なわせたり、検出対象物を追尾するようにＰＴ動作を行なわせたりすることができる。ズーム動作を行なわせた場合には、焦点距離情報をウィンドウサイズ設定部１４０に通知する。
【００３１】
次に、本実施形態における対象物検出装置１００の動作について図５のフローチャートを参照して説明する。まず、画像入力部１１０がカメラ２００から画像データを入力する（Ｓ１０１）。そして、距離情報取得部１２０が、カメラ制御部１７０に制御により、前画像との間でＰＴＺの変更があったかどうかを判定する（Ｓ１０２）。ＰＴＺに変化がなければ（Ｓ１０２：Ｎｏ）、画像内の距離区分を変更する必要がないためである。
【００３２】
ＰＴＺに変更があった場合（Ｓ１０２：Ｙｅｓ）、および距離区分が未設定の場合には、距離情報取得部１２０が、画像データのアルファチャンネルから画素毎の距離情報を取得する（Ｓ１０３）。そして、距離区分設定部１３０が、画像内の領域をブロックに分割し、図２（ｂ）に示したように、ブロック単位で距離区分を設定する（Ｓ１０４）。
【００３３】
距離区分が設定されると、ウィンドウサイズ設定部１４０が、距離区分毎に、探索ウィンドウのサイズを設定する（Ｓ１０５）。このとき、カメラ２００のズーム状態、レンズ特性等を考慮して探索ウィンドウのサイズを設定するようにしてもよい。
【００３４】
そして、ＰＴＺに変化があった場合には、新たに設定された距離区分を対象に、ＰＴＺに変化がなかった場合には、設定済みの距離区分を対象に、スキャン部１５０が、図４に示したように距離区分毎に設定されたサイズの探索ウィンドウを用いてスキャンを行ない、検出処理部１６０が探索ウィンドウ内から対象物の検出処理を行なう（Ｓ１０６）。
【００３５】
カメラ制御部１７０は、検出結果に基づいてＰＴＺによるカメラ２００の制御を行なう（Ｓ１０７）。検出結果に基づくカメラ２００のＰＴＺ制御は従来と同様に行なうことができる。
【００３６】
対象物検出装置１００は、以上の処理を、検出処理を終了するまで繰り返す（Ｓ１０８：Ｙｅｓ）。以上の手順により、対象物検出装置１００は、検出対象物が遠近離れて複数存在する場合であっても、処理負荷を大きくすることなく、高い精度で検出対象物の検出を行なうことができる。
【符号の説明】
【００３７】
１０…対象物検出システム
１００…対象物検出装置
１１０…画像入力部
１２０…距離情報取得部
１３０…距離区分設定部
１４０…ウィンドウサイズ設定部
１５０…スキャン部
１６０…検出処理部
１７０…カメラ制御部
２００…カメラ
２１０…撮像部
２２０…カメラ駆動部
２３０…距離測定部
３００…表示装置
【技術分野】
【０００１】
本発明は、対象物検出技術に関し、検出対象物が遠近離れて複数存在する場合の検出精度を高める技術に関する。
【背景技術】
【０００２】
ビデオカメラ等の撮像装置により生成された撮像画像上で、人物や車両等の物体をその輪郭などの特徴を用いて検出する物体検出技術が従来から提案されている。このような物体検出技術では、テンプレート画像や、機械学習によって作成された識別器を利用し、撮像画像上で探索ウィンドウをスキャンすることで対象とする物体を検出する手法が主流である。
【０００３】
輪郭などの特徴を用いて検出する方法を、人物を検出し追跡する監視カメラ装置に適用すると、色や動きを利用した検出方法と異なり、小動物や木の揺れなどにつられることなく侵入者を検出し、追跡等の対処が可能になる。
【０００４】
この場合、検出対象がどのような大きさで画像に写るかは、検出対象の位置や、ズーム・撮影方向等の監視カメラ装置の状態によって異なる。監視カメラ装置では、どのような大きさで写っていても確実に対象物の検出が行なえるように、複数の異なるサイズの探索ウィンドウを設定し、それぞれの探索ウィンドウを用いて撮像画像内を全面スキャンすることが行なわれている。例えば、図６（ａ）〜（ｃ）に示す例では、サイズの異なる探索ウィンドウＷ１、探索ウィンドウＷ２、探索ウィンドウＷ３を、それぞれ全面スキャンすることで、異なる大きさに写っている人物を検出している。
【０００５】
実装上は、もっと多くのサイズの探索ウィンドウを用い、また、スキャンも所定量オーバーラップさせながら行なうため、検出処理に時間がかかり、また大きなメモリ容量を要することになり、処理負荷が大きかった。
【０００６】
この問題に対し、特許文献１には、被写体のフォーカス情報から得られる距離情報に基づいて被写体の大きさを推定し、その大きさに対応した探索ウィンドウを用いて対象物を検出することが記載されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００４−３３４８３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、監視カメラ装置は、一般のカメラの撮影状態と異なり、被写体が確定していないため、被写体のフォーカス状態に基づいて距離情報を得ることはできない。このため、特許文献１に記載された技術をそのまま適用しても十分な効果は得られない。また、監視カメラ装置では、検出対象物が遠近離れて複数存在し、それぞれの対象物の撮像画像内のサイズが異なる場合でも、すべての対象物に対する検出精度を高める必要がある。
【０００９】
そこで、本発明は、処理負荷を大きくすることなく、検出対象物が遠近離れて複数存在する場合の検出精度を高めることを目的とする。
【課題を解決するための手段】
【００１０】
上記課題を解決するため、本発明の第１の態様である対象物検出装置は、入力画像に関する撮像対象までの距離情報を取得する距離情報取得部と、前記距離情報に基づいて、前記入力画像に対して距離区分を設定する距離区分設定部と、前記距離区分毎に、探索ウィンドウのサイズを設定するウィンドウサイズ設定部と、前記距離区分毎に、設定されたサイズの前記探索ウィンドウを用いて前記入力画像のスキャンを行なうスキャン部と、前記探索ウィンドウ内から検出対象物の検出処理を行なう検出処理部と、を備えたことを特徴とする。
ここで、前記距離情報取得部は、前記入力画像の画素毎に距離情報を取得し、前記距離区分設定部は、前記入力画像を複数のブロックに分割し、ブロック内の画素の距離情報に基づいてブロック単位で距離区分を設定することができる。
また、前記ウィンドウサイズ設定部は、前記入力画像に対する探索ウィンドウのサイズ比を設定し、前記スキャン部は、前記サイズ比にしたがった大きさの入力画像と探索ウィンドウとを用いて、前記スキャンを行なうようにしてもよい。
上記課題を解決するため、本発明の第２の態様である対象物検出方法は、入力画像に関する撮像対象までの距離情報を取得する距離情報取得ステップと、前記距離情報に基づいて、前記入力画像に対して距離区分を設定する距離区分設定ステップと、前記距離区分毎に、探索ウィンドウのサイズを設定するウィンドウサイズ設定ステップと、
前記距離区分毎に、設定されたサイズの前記探索ウィンドウを用いて前記入力画像のスキャンを行ない、前記探索ウィンドウ内から検出対象物の検出処理を行なう検出ステップと、を含むことを特徴とする。
【発明の効果】
【００１１】
本発明によれば、処理負荷を大きくすることなく、検出対象物が遠近離れて複数存在する場合の検出精度を高めることができる。
【図面の簡単な説明】
【００１２】
【図１】本実施形態に係る対象物検出装置の構成を示すブロック図である。
【図２】設定される距離区分の例を示す図である。
【図３】探索ウィンドウのサイズ設定について説明する図である。
【図４】距離区分毎に設定されたサイズの探索ウィンドウでスキャンを行なっている状態を模式的に示した図である。
【図５】本実施形態の対象物検出装置の動作を説明するフローチャートである。
【図６】従来の探索ウィンドウのスキャン動作について説明する図である。
【発明を実施するための形態】
【００１３】
本発明の実施の形態について図面を参照して詳細に説明する。本実施形態は、本発明の対象物検出装置を対象物検出システムに適用した場合の例である。図１は、本実施形態に係る対象物検出システムの構成を示すブロック図である。
【００１４】
本図に示すように、対象物検出システム１０は、対象物検出装置１００、カメラ２００、表示装置３００を備えて構成される。対象物検出システム１０は、例えば、監視カメラシステムとして機能することができ、この場合、カメラ２００は監視カメラ装置として機能し、表示装置３００は監視モニタ装置として機能する。対象物検出装置１００は、例えば、ＣＰＵ、メモリ、インタフェース等を備えた情報処理装置を用いて構成することができる。
【００１５】
カメラ２００は、撮像部２１０、カメラ駆動部２２０、距離測定部２３０を備えている。撮像部２１０は、レンズ等による光学系、受光素子等による受光部、演算装置等による画像処理部等を備えており、動画像を撮像して画像データを対象物検出装置１００に出力する。光学系には、ズーム機能が含まれているものとする。
【００１６】
カメラ駆動部２２０は、モータ等の駆動機構を備えており、対象物検出装置１００からの制御信号に基づいて、撮像部２１０のズーム機能を変更する機能と、撮像方向を変更するパン・チルト機能を備えている。ここでは、ズーム、パン・チルトをＰＴＺと総称する。
【００１７】
距離測定部２３０は、撮像部２１０が撮像した画像内の全面において、撮像対象までの距離をリアルタイムで測定する。距離の測定は、例えば、ＴＯＦ（Time of Flight）方式、ステレオカメラ方式等種々の方式を採用することができる。ここで、ＴＯＦ方式は、例えば、撮像時あるいは撮影の前後に赤外線ＬＥＤを一瞬光らせ、赤外線が撮像対象にあたって跳ね返ってくるまでの時間を撮像部２１０の受光素子毎に測定することにより、撮像対象までの距離を算出する。距離測定部２３０が測定した距離情報は、例えば、撮像部２１０が出力する画像データの画素毎のアルファチャンネルに記録して対象物検出装置１００に出力する。
【００１８】
対象物検出装置１００は、画像入力部１１０、距離情報取得部１２０、距離区分設定部１３０、ウィンドウサイズ設定部１４０、スキャン部１５０、検出処理部１６０、カメラ制御部１７０を備えている。
【００１９】
画像入力部１１０は、カメラ２００から画像データを連続して入力する。距離情報取得部１２０は、画像データの画素毎にアルファチャンネルから距離情報を取得して距離区分設定部１３０に出力する。
【００２０】
距離区分設定部１３０は、画素毎の距離情報に基づいて、画像に距離区分を設定する。距離区分は、例えば、画像内を所定サイズのブロックに区分し、ブロック内の画素の平均距離に基づいて各ブロックを１０ｍ未満、１０ｍ以上２０ｍ未満、２０ｍ以上３０ｍ未満等の距離区分に振り分けることで設定することができる。
【００２１】
図２（ｂ）は、図２（ａ）に示した画像に対して設定された距離区分の例を示している。本例では、距離区分をあらかじめ５段階に区切っておき、画像を図２（ｂ）の領域Ｂに示すようなサイズのブロックで分割し、それぞれのブロック内の画素の距離情報の平均値を用いて、各ブロックを距離区分に振り分けている。例えば、あるブロックに含まれる画素の距離情報の平均値が１２ｍであれば、そのブロックは、１０ｍ以上２０ｍ未満の距離区分となる。
【００２２】
ウィンドウサイズ設定部１４０は、距離区分毎に探索ウィンドウサイズを設定する。すなわち、同じ大きさの対象物であっても、カメラ２００からの距離に応じて画像上のサイズが変化する。具体的には、遠くにある対象物ほど画像上では小さく写る。したがって、ウィンドウサイズ設定部１４０は、遠い距離区分ほど、探索ウィンドウサイズが相対的に小さくなるように設定する。
【００２３】
また、画像上のサイズは、撮像部２１０のズーム状態に応じても変化する。具体的には、対象物とカメラ２００との距離が同じであっても、ズームの焦点距離が大きいほど大きく写る。このため、ウィンドウサイズ設定部１４０は、後述するカメラ制御部１７０から、カメラ２００のズーム情報を取得して、さらに焦点距離に応じて探索ウィンドウサイズを設定するようにしてもよい。
【００２４】
本実施形態では、例えば、図３に示すように、距離区分および焦点距離に応じて探索ウィンドウを設定するものとする。すなわち、遠い距離区分ほど探索ウィンドウが小さくなるように設定し、また、同じ距離区分であれば、焦点距離が長いほど大きな探索ウィンドウを設定する。それぞれの探索ウィンドウのサイズは、人物・車両等の検出対象物自身のサイズと撮像部２１０のレンズ特性等に基づいて実験的、理論的に取得して、ウィンドウサイズ設定部１４０の内部、あるいは外部に記録しておくようにする。
【００２５】
スキャン部１５０は、画像入力部１１０が入力した画像に対して、距離区分毎に設定されたサイズの探索ウィンドウでスキャンを行なう。探索ウィンドウのスキャンは、所定数オーバーラップさせながら、距離区分内全体に対して行なう。
【００２６】
図４は、距離区分毎に設定されたサイズの探索ウィンドウでスキャンを行なっている状態を模式的に示した図である。設定された距離区分は、図２（ｂ）に対応している。本図の例では、最も距離が遠い距離区分Ａにおいて、最も小さいサイズの探索ウィンドウＷａを用いてスキャンを行ない、次に距離が遠い距離区分Ｂにおいて、次に小さいサイズの探索ウィンドウＷｂを用いてスキャンを行なっている。そして、最も距離の近い距離区分Ｅにおいて、最も大きいサイズの探索ウィンドウＷｅを用いてスキャンを行なっている。スキャンの方向、手順等についてはあらかじめスキャンシーケンスとして定めておくことができる。
【００２７】
なお、スキャン時には、オーバーラップさせながら探索ウィンドウを移動させるため、探索ウィンドウが対応する距離区分からはみ出してもよい。同じ距離区分が連続せず、離散している場合には、それぞれの領域について同じサイズの探索ウィンドウを用いてスキャンを行なう。また、本実施形態では、探索ウィンドウのサイズを変更するようにしているが、探索ウィンドウのサイズを固定し、画像のサイズを相対的に変更してスキャンするようにしてもよい。
【００２８】
このように、本実施形態では、距離区分に応じたサイズの探索ウィンドウを用いて、距離区分毎にスキャンを行なうため、検出対象物が遠近離れて複数存在する場合にも検出精度を向上させることができる。また、種々のサイズの探索ウィンドウを用いて全画面をスキャンする必要がないため、検出処理の時間を短縮できるのに加え、必要なメモリ容量を削減することができる。
【００２９】
検出処理部１６０は、探索ウィンドウ内に検出対象物が存在するかどうかを判定し、検出結果を含めた画像を表示装置３００に出力する。探索ウィンドウ内に検出対象物が存在するかどうかの判定は、探索ウィンドウ内から輪郭などの特徴を抽出し、テンプレート画像や、機械学習によって作成された識別器を利用して行なうことができる。輪郭などの特徴としては、例えば、ＨＯＧ（Histograms of Oriented Gradients）特徴量を用いることができ、機械学習としては、例えば、ＡｄａＢｏｏｓｔアルゴリズムを用いることができる。
【００３０】
カメラ制御部１７０は、検出結果に応じてカメラ駆動部２２０の動作を制御し、カメラ２００にＰＴＺ動作を行なわせる。検出結果に応じて行なわせるカメラ２００のＰＴＺ動作は、種々のロジックで行なうことができる。例えば、検出対象物を大きく撮像するためや、複数の検出対象物すべてを画角内に収めるためにズーム動作を行なわせたり、検出対象物の位置に対応してＰＴ動作を行なわせたり、検出対象物を追尾するようにＰＴ動作を行なわせたりすることができる。ズーム動作を行なわせた場合には、焦点距離情報をウィンドウサイズ設定部１４０に通知する。
【００３１】
次に、本実施形態における対象物検出装置１００の動作について図５のフローチャートを参照して説明する。まず、画像入力部１１０がカメラ２００から画像データを入力する（Ｓ１０１）。そして、距離情報取得部１２０が、カメラ制御部１７０に制御により、前画像との間でＰＴＺの変更があったかどうかを判定する（Ｓ１０２）。ＰＴＺに変化がなければ（Ｓ１０２：Ｎｏ）、画像内の距離区分を変更する必要がないためである。
【００３２】
ＰＴＺに変更があった場合（Ｓ１０２：Ｙｅｓ）、および距離区分が未設定の場合には、距離情報取得部１２０が、画像データのアルファチャンネルから画素毎の距離情報を取得する（Ｓ１０３）。そして、距離区分設定部１３０が、画像内の領域をブロックに分割し、図２（ｂ）に示したように、ブロック単位で距離区分を設定する（Ｓ１０４）。
【００３３】
距離区分が設定されると、ウィンドウサイズ設定部１４０が、距離区分毎に、探索ウィンドウのサイズを設定する（Ｓ１０５）。このとき、カメラ２００のズーム状態、レンズ特性等を考慮して探索ウィンドウのサイズを設定するようにしてもよい。
【００３４】
そして、ＰＴＺに変化があった場合には、新たに設定された距離区分を対象に、ＰＴＺに変化がなかった場合には、設定済みの距離区分を対象に、スキャン部１５０が、図４に示したように距離区分毎に設定されたサイズの探索ウィンドウを用いてスキャンを行ない、検出処理部１６０が探索ウィンドウ内から対象物の検出処理を行なう（Ｓ１０６）。
【００３５】
カメラ制御部１７０は、検出結果に基づいてＰＴＺによるカメラ２００の制御を行なう（Ｓ１０７）。検出結果に基づくカメラ２００のＰＴＺ制御は従来と同様に行なうことができる。
【００３６】
対象物検出装置１００は、以上の処理を、検出処理を終了するまで繰り返す（Ｓ１０８：Ｙｅｓ）。以上の手順により、対象物検出装置１００は、検出対象物が遠近離れて複数存在する場合であっても、処理負荷を大きくすることなく、高い精度で検出対象物の検出を行なうことができる。
【符号の説明】
【００３７】
１０…対象物検出システム
１００…対象物検出装置
１１０…画像入力部
１２０…距離情報取得部
１３０…距離区分設定部
１４０…ウィンドウサイズ設定部
１５０…スキャン部
１６０…検出処理部
１７０…カメラ制御部
２００…カメラ
２１０…撮像部
２２０…カメラ駆動部
２３０…距離測定部
３００…表示装置
【特許請求の範囲】
【請求項１】
入力画像に関する撮像対象までの距離情報を取得する距離情報取得部と、
前記距離情報に基づいて、前記入力画像に対して距離区分を設定する距離区分設定部と、
前記距離区分毎に、探索ウィンドウのサイズを設定するウィンドウサイズ設定部と、
前記距離区分毎に、設定されたサイズの前記探索ウィンドウを用いて前記入力画像のスキャンを行なうスキャン部と、
前記探索ウィンドウ内から検出対象物の検出処理を行なう検出処理部と、を備えたことを特徴とする対象物検出装置。
【請求項２】
前記距離情報取得部は、前記入力画像の画素毎に距離情報を取得し、
前記距離区分設定部は、前記入力画像を複数のブロックに分割し、ブロック内の画素の距離情報に基づいてブロック単位で距離区分を設定することを特徴とする請求項１に記載の対象物検出装置。
【請求項３】
前記ウィンドウサイズ設定部は、前記入力画像に対する探索ウィンドウのサイズ比を設定し、
前記スキャン部は、前記サイズ比にしたがった大きさの入力画像と探索ウィンドウとを用いて、前記スキャンを行なうことを特徴とする請求項１または２に記載の対象物検出装置。
【請求項４】
入力画像に関する撮像対象までの距離情報を取得する距離情報取得ステップと、
前記距離情報に基づいて、前記入力画像に対して距離区分を設定する距離区分設定ステップと、
前記距離区分毎に、探索ウィンドウのサイズを設定するウィンドウサイズ設定ステップと、
前記距離区分毎に、設定されたサイズの前記探索ウィンドウを用いて前記入力画像のスキャンを行ない、前記探索ウィンドウ内から検出対象物の検出処理を行なう検出ステップと、を含むことを特徴とする対象物検出方法。
【請求項１】
入力画像に関する撮像対象までの距離情報を取得する距離情報取得部と、
前記距離情報に基づいて、前記入力画像に対して距離区分を設定する距離区分設定部と、
前記距離区分毎に、探索ウィンドウのサイズを設定するウィンドウサイズ設定部と、
前記距離区分毎に、設定されたサイズの前記探索ウィンドウを用いて前記入力画像のスキャンを行なうスキャン部と、
前記探索ウィンドウ内から検出対象物の検出処理を行なう検出処理部と、を備えたことを特徴とする対象物検出装置。
【請求項２】
前記距離情報取得部は、前記入力画像の画素毎に距離情報を取得し、
前記距離区分設定部は、前記入力画像を複数のブロックに分割し、ブロック内の画素の距離情報に基づいてブロック単位で距離区分を設定することを特徴とする請求項１に記載の対象物検出装置。
【請求項３】
前記ウィンドウサイズ設定部は、前記入力画像に対する探索ウィンドウのサイズ比を設定し、
前記スキャン部は、前記サイズ比にしたがった大きさの入力画像と探索ウィンドウとを用いて、前記スキャンを行なうことを特徴とする請求項１または２に記載の対象物検出装置。
【請求項４】
入力画像に関する撮像対象までの距離情報を取得する距離情報取得ステップと、
前記距離情報に基づいて、前記入力画像に対して距離区分を設定する距離区分設定ステップと、
前記距離区分毎に、探索ウィンドウのサイズを設定するウィンドウサイズ設定ステップと、
前記距離区分毎に、設定されたサイズの前記探索ウィンドウを用いて前記入力画像のスキャンを行ない、前記探索ウィンドウ内から検出対象物の検出処理を行なう検出ステップと、を含むことを特徴とする対象物検出方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１２−１８５６８４（Ｐ２０１２−１８５６８４Ａ）
【公開日】平成２４年９月２７日（２０１２．９．２７）
【国際特許分類】
【出願番号】特願２０１１−４８４４８（Ｐ２０１１−４８４４８）
【出願日】平成２３年３月７日（２０１１．３．７）
【出願人】（３０８０３６４０２）株式会社ＪＶＣケンウッド (1,152)
【Ｆターム（参考）】
【公開日】平成２４年９月２７日（２０１２．９．２７）
【国際特許分類】
【出願日】平成２３年３月７日（２０１１．３．７）
【出願人】（３０８０３６４０２）株式会社ＪＶＣケンウッド (1,152)
【Ｆターム（参考）】
[ Back to top ]