物体検出システム、物体検出方法、及びプログラム
【課題】小さい物体の検出と高速に移動する物体の検出とを両立することを目的とする。
【解決手段】第一の物体検出手段と第二の物体検出手段と通信手段とを有するシステムで、第一の物体検出手段は、画像から規定の物体を検出し、通信手段は、画像の解像度が異なる画像、及び第一の物体検出手段で検出された物体の画像を第二の物体検出手段に送信し、第二の物体検出手段は、異なる画像から物体とは異なる他の物体を検出することによって課題を解決する。
【解決手段】第一の物体検出手段と第二の物体検出手段と通信手段とを有するシステムで、第一の物体検出手段は、画像から規定の物体を検出し、通信手段は、画像の解像度が異なる画像、及び第一の物体検出手段で検出された物体の画像を第二の物体検出手段に送信し、第二の物体検出手段は、異なる画像から物体とは異なる他の物体を検出することによって課題を解決する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体検出システム、物体検出方法、及びプログラムに関する。
【背景技術】
【０００２】
近年、監視カメラで撮影された監視用の画像から人物を検出し、侵入者の検知、侵入者の行動の監視、混雑度の監視等に検出結果を利用するシステムが提案されている。このようなシステムに適用可能な人物を検出する方法が開示されている（非特許文献１参照）。これは、画像から画素値の勾配方向のヒストグラムを抽出し、それを特徴量として画像中の部分領域が人物であるか否かを判定するものである。
その他にも、非特許文献１で用いられる特徴量を弱判別器としてアダブースト学習を行い、それにもとづくカスケード型判別器を実行することで、高速に人体を検出する方法が開示されている（非特許文献２参照）。
一方、監視カメラに関しては遠距離の小さく見える人物も検出したいという要望があり、画像の高解像度化が進んでいる。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Dalal and Triggs, "Histograms of Oriented Gradients for Human Detection", Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition （CVPR2005）
【非特許文献２】Qiang Zhu et al, "Fast human detection using a cascade of Histograms of Oriented Gradients", Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR2006)
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、高解像度の画像から小さい人物までも検出しようとすると処理量が膨大になってしまい、監視用の画像の中から一枚のフレームを処理する処理時間が遅くなる。そのため、画面中を速く移動する人物を検出できないといった問題がある。
この問題を解決するために、複数の物体検出手段で処理を分散する方法が考えられる。例えば、撮像装置、及びモニター装置、並びにこれらの間でデータ通信を行う通信装置とからシステムを構成し、撮像装置とモニター装置との夫々に物体検出機能を備えて処理を分散する。しかしながら、例えば高解像度の画像を高フレームレートで撮像装置からモニター装置に送信するためには広帯域の通信経路が要求される。
【０００５】
本発明はこのような問題点に鑑みなされたもので、小さい物体の検出と高速に移動する物体の検出とを両立することを目的とする。
【課題を解決するための手段】
【０００６】
そこで、本発明に係る物体検出システムは、第一の物体検出手段と第二の物体検出手段と通信手段とを有するシステムであって、前記第一の物体検出手段は、画像から規定の物体を検出し、前記通信手段は、前記画像の解像度が異なる画像、及び前記第一の物体検出手段で検出された前記物体の画像を前記第二の物体検出手段に送信し、前記第二の物体検出手段は、前記異なる画像から前記物体とは異なる他の物体を検出することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、小さい物体の検出と高速に移動する物体の検出とを両立することができる。
【図面の簡単な説明】
【０００８】
【図１】物体検出システムの構成一例を示す図である。
【図２】第一の物体検出処理に係るフローチャートの一例を示す図である。
【図３】第二の物体検出処理に係るフローチャートの一例を示す図である。
【図４】物体検出システムの構成の一例を示す図である。
【図５】第一の物体検出処理に係るフローチャートの一例を示す図である。
【図６】第二の物体検出処理に係るフローチャートの一例を示す図である。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について図面に基づいて説明する。なお、実施形態は、本発明を限定するものではなく、また、実施形態で説明されている全ての構成が本発明の課題を解決するための手段に必須であるとは限らない。
【００１０】
＜第一の実施形態＞
図１は、本実施形態に係る物体検出システムの構成一例を示す図である。第一の物体検出装置１００及び第二の物体検出装置２００は、同機能の物体検出機能を有している。
例えば、第一の物体検出装置１００は、物体検出機能を備えた監視カメラであり、第二の物体検出装置２００は、物体検出機能を備えたモニタリング装置である。第一の物体検出装置１００及び第二の物体検出装置２００は、ネットワークを介して通信可能に接続されている。
【００１１】
第一の物体検出装置１００は、画像取得部１１０、画像縮小部１２０、物体検出部１３０、通信部１４０、及び送信制御部１５０を含んで構成される。また、第二の物体検出装置１００は、通信部２１０、物体検出部２２０、及び検出結果表示部２３０を含んで構成される。
画像取得部１１０は、カメラ等の撮像部で撮像された画像データを取得する。例えば、画像取得部１１０は、フルＨＤ（１９２０×１０８０画素）の画像データをリアルタイム（３０フレーム毎秒）で取得可能な撮像部である。画像縮小部１２０は、画像取得部１１０で取得された画像データを任意の縮小倍率で縮小し、内部メモリに記憶する。
【００１２】
物体検出部１３０は、画像縮小部１２０の内部メモリに記憶されている画像データから所定の物体を検出する。例えば、物体検出部１３０は、組込み用プロセッサ及びシステムメモリにより構成され、物体検出プログラムを実行する。
本実施形態では、物体検出部１３０は、非特許文献１又は非特許文献２で提案されている方法がソフトウェアとして実装された人体検出プログラムを実行して画像データから人体（人体部分）を検出する。その他、物体検出部１３０は、複数の組込み用プロセッサを並列、又はパイプライン処理が実行できるように構成したものであってもよいし、物体検出プログラムの処理の一部、又は全部を専用のハードウェアを用いて構成してもよい。
【００１３】
通信部１４０は、画像取得部１１０で取得された画像データ又は画像縮小部１２０の内部メモリに記憶されている画像データを送信する。より具体的には、通信部１４０は、内部メモリに画像データを一旦記憶し、記憶した画像データに所定の通信プロトコルに従った付帯情報を付けてインターフェースを介して画像データを送信する。また、通信部１４０は、同様にして物体検出部１３０の検出結果を送信する。
送信制御部１５０は、物体検出部１３０の検出結果に応じて通信部１４０が第一の物体検出装置１００の外部に送信するデータの制御を行う。
【００１４】
通信部２１０は、インターフェースを介して第一の物体検出装置１００から送信された画像データ及び検出結果を受信し、内部メモリに記憶する。
物体検出部２２０は、通信部２１０の内部メモリに記憶されている画像データから所定の物体を検出する。物体検出部２２０は、物体検出部１３０と同様の構成を有する。ただし、物体検出部１３０及び物体検出部２２０は、その処理量に応じて最適な処理能力のプロセッサで構成するのが望ましい。
検出結果表示部２３０は、通信部２１０の内部メモリに記憶されている受信データ及び物体検出部２２０の検出結果から表示用の画像データを生成する。また、検出結果表示部２３０は、インターフェースを介して生成した画像データを外部に出力する。物体検出部２２０がＣＲＴ等の表示装置に接続されている場合は、出力した画像データが表示装置にて表示される。
【００１５】
次に、第一の物体検出装置１００及び第二の物体検出装置２００の動作について概略を説明する。
第一の物体検出装置１００は、取得した画像データを低フレームレートで第二の物体検出装置２００に送信する。また、第一の物体検出装置１００は、取得した画像データを高フレームレートで所定の倍率に縮小し、縮小した画像データから物体検出を行う。
一方、第二の物体検出装置２００は、第一の物体検出装置１００から取得した高解像度の画像データから物体検出を行う。そして、第一の物体検出装置１００及び第二の物体検出装置２００で検出された結果が第二の物体検出装置２００で統合されて出力される。
以下、第一の物体検出装置１００の動作と第二の物体検出装置２００の動作とを順に図面を参照しながら説明する。
【００１６】
はじめに、図２のフローチャートに従って第一の物体検出装置１００の動作を説明する。図２は、第一の物体検出処理に係るフローチャートの一例を示す図である。
まず、画像取得部１１０は、撮像部で撮像された画像データを取得する（Ｓ１０１）。取得された画像データは、フルＨＤ（１９２０×１０８０画素）の画像データとして、一旦、画像取得部１１０の内部メモリに記憶される。また、画像データが取得されるフレームレートは、３０フレーム毎秒とする。
送信制御部１５０は、画像取得部１１０の内部メモリに記憶されている画像データを通信部１４０が送信するように制御を行う。例えば、送信制御部１５０は、画像データを送信するか否かを判断し、送信すると判断した場合、Ｓ１０３の処理が行われ、送信しないと判断した場合、Ｓ１０４の処理が行われる。ここで、フルＨＤの画像データを３０フレーム毎秒で送信するためには広帯域の通信経路が要求されるので、送信制御部１５０は、通信部１４０が所定の間隔で画像データを通信部１４０が送信するように制御を行う。例えば、１フレーム毎秒でフルＨＤの画像データを送信するようにする。
【００１７】
続いて、通信部１４０は、送信制御部１５０の指示を受けて画像取得部１１０の内部メモリに記憶されている画像データ（高解像画像）を送信する（Ｓ１０３）。このとき、通信部１４０は、一旦、画像取得部１１０で取得された画像データを通信部１４０の内部メモリに記憶する。そして、通信部１４０は、記憶した画像データに所定の通信プロトコルに従った付帯情報を付けてインターフェースを介して画像データを送信する。
続いて、画像縮小部１２０は、画像取得部１１０の内部メモリに記憶されている画像データを所定の倍率に縮小し、内部メモリに記憶する（Ｓ１０４）。例えば、縦横４分の１のサイズである４８０×２７０画素の画像データに縮小する。画像縮小部１２０は、画像データの縮小については、単純な画素の間引きによって行う。ここでは、画像取得部１１０で取得されたフレームレートで後段の処理を行うように全フレームで縮小が行われる。
【００１８】
続いて、物体検出部１３０は、画像縮小部１２０の内部メモリに記憶されている画像データから人体を検出する（Ｓ１０５）。例えば、非特許文献２で提案されている方法がソフトウェアとして実装された人体検出プログラムが実行される。非特許文献２で提案されている方法では、６４×１２８画素のサイズの探索窓を設定して人体検出が行われている。ここで、物体検出部１３０に入力した画像データを所定の倍率で順次縮小して検出を行うことで６４×１２８画素以上のサイズの人体を検出することができる。
検出結果は、検出された人体領域の位置座標とサイズとを表すデータであり、一旦、物体検出部１３０の内部メモリに記憶される。なお、人体検出の処理時間は、入力する画像データに依存するが、物体検出部１３０は、１フレームにつき３０分の１秒で処理が終わらない場合は処理を中断する。
【００１９】
続いて、送信制御部１５０は、物体検出部１３０の検出結果に応じて検出結果、及び検出処理した画像データを通信部１４０が送信するように制御を行う（Ｓ１０６）。例えば、送信制御部１５０は、物体検出部１３０が入力フレームから人体を検出したか否かを判断する。
この際、物体検出部１３０が入力フレームから人体を検出した場合、送信制御部１５０は、物体検出部１３０の内部メモリに記憶されている検出結果を通信部１４０が送信するようにする。また、送信制御部１５０は、画像縮小部１２０の内部メモリに記憶されている物体検出部１３０で処理された画像データ（縮小画像データ）を通信部１４０が送信するようにする。一方、物体検出部１３０が入力フレームから人体を検出しなかった場合、送信制御部１５０は、通信部１４０への送信の指示は行わない。
【００２０】
続いて、通信部１４０は、送信制御部１５０の指示を受けて検出結果、及び縮小画像データ（低解像画像）を送信する（Ｓ１０７）。このとき、通信部１４０は、一旦、物体検出部１３０の内部メモリに記憶されている検出結果、及び画像縮小部１２０の内部メモリに記憶されている縮小画像データを通信部１４０の内部メモリに記憶する。そして、通信部１４０は、記憶した検出結果、及び縮小画像データに所定の通信プロトコルに従った付帯情報を付けてインターフェースを介して送信する。
なお、Ｓ１０１からＳ１０７までの処理については、不図示の制御部によって、取得された画像データのフレーム毎に順次繰り返して行われるよう制御される。
【００２１】
次に、図３のフローチャートに従って第二の物体検出装置２００の動作を説明する。図３は、第二の物体検出処理に係るフローチャートの一例を示す図である。
まず、通信部２１０は、インターフェースを介して第一の物体検出装置１００から送信されたデータを受信する（Ｓ２０１）。
続いて、通信部２１０は、受信したデータから所定の通信プロトコルに従って付帯情報を解析し、解析結果に応じた処理を行う（Ｓ２０２）。即ち、通信部２１０は、解析結果に応じて第一の物体検出装置１００で取得された画像データ、検出結果などを取得し、一旦、通信部２１０の内部メモリに記憶する。
【００２２】
ここで、第一の物体検出装置１００がＳ１０３でデータを送信した場合、通信部２１０は、第一の物体検出装置１００で取得された高解像度の画像データを受信し、内部メモリに記憶することになる。
一方、第一の物体検出装置１００がＳ１０７でデータを送信した場合、通信部２１０は、第一の物体検出装置１００で取得され、縮小された低解像度の画像データと検出結果とを受信し、内部メモリに記憶することになる。
そして、例えば、通信部２１０は、人体が検出されているか否か（検出結果の有無）を判断し、検出されていると判断した場合、Ｓ２０３の処理が行われ、検出されていないと判断された場合、Ｓ２０４の処理が行われる。
【００２３】
即ち、通信部２１０が検出結果を受け取った場合、検出結果表示部２３０は、通信部２１０の内部メモリに記憶されている低解像度の画像データと検出結果とから表示用の画像データを生成する（Ｓ２０３）。例えば、検出結果表示部２３０は、検出結果を解析し、第一の物体検出装置１００で縮小された低解像度の画像データに検出された人体の領域を示す矩形の枠（検出結果枠）を重畳した表示用の画像データを生成する。そして、生成した画像データを表示装置に表示可能なデータに変換し、インターフェースを介して外部に出力する。
一方、通信部２１０が検出結果を受け取らなかった場合、物体検出部２２０は、通信部２１０の内部メモリに記憶されている高解像度の画像データから人体を検出する（Ｓ２０４）。ここでは、第一の物体検出装置１００の物体検出部１３０と同様な処理が行われる。ただし、画像データを順次縮小して検出を行う際に、第一の物体検出装置１００で既に低解像度（４８０×２７０画素以下）の画像データに対しては検出処理が行われているので、処理をスキップする。なお、検出結果は、一旦、物体検出部２２０の内部メモリに記憶される。また、物体検出部２２０は、処理を終了すると、検出結果表示部２３０に処理終了を通知する。
【００２４】
続いて、検出結果表示部２３０は、物体検出部２２０からの処理終了の通知を受けると、通信部２１０の内部メモリに記憶されている高解像度の画像データと物体検出部２２０の検出結果とから表示用の画像データを生成する（Ｓ２０５）。
例えば、検出結果表示部２３０は、通信部２１０の内部メモリに記憶されている高解像度の画像データを縮小する。そして、検出結果表示部２３０は、縮小した画像データに検出した人体の領域を示す矩形の枠（検出結果枠）を重畳した表示用の画像データを生成する。そして、検出結果表示部２３０は、生成した画像データを表示装置に表示可能なデータに変換し、インターフェースを介して外部に出力する。
なお、Ｓ２０１からＳ２０５までの処理については、不図示の制御部によって、通信部２１０のデータ受信に応じて順次繰り返して行われるよう制御される。
【００２５】
上述した第一の物体検出装置１００及び第二の物体検出装置２００の動作にもとづいたシステム全体の動作例を第一の物体検出装置１００の監視カメラにより撮影される複数のシーンを例に挙げて以下に説明する。
監視カメラが平常時の人物がいないシーンを撮像している場合には、第一の物体検出装置１００がＳ１０３で送信した高解像度の低フレームレートの画像データにもとづいて第二の物体検出装置２００がＳ２０５でその画像（画像データ）のみを表示する。
【００２６】
監視カメラが遠距離の小さく写る人物を撮像している場合には、第一の物体検出装置１００がＳ１０３で送信した高解像度の低フレームレートの画像データから第二の物体検出装置２００がＳ２０４で人物を検出する。そして、第二の物体検出装置２００は、Ｓ２０５で監視カメラの画像に検出結果枠を重畳した画像を表示する。
監視カメラが近距離の大きく写る人物を撮像している場合には、第一の物体検出装置１００がＳ１０５で人物を検出する。そして、第一の物体検出装置１００がＳ１０７で低解像度の高フレームレートの画像と検出結果とを送信し、第二の物体検出装置２００がＳ２０３で監視カメラの画像に検出結果枠を重畳した画像を表示する。
【００２７】
上述のように、第一の物体検出装置１００で低解像度の高フレームレートの画像データから高速に移動する物体（規定の物体の一例）の物体検出が行われる。また、第二の物体検出装置２００で高解像度の低フレームレートの画像データから小さい物体（規定の物体の一例）の物体検出が行われる。したがって、本実施形態によれば、小さい物体の検出と高速に移動する物体の検出とを両立することができる。
なお、本実施形態では、物体検出部１３０が人体を検出した場合には、画像縮小部１２０に記憶されている縮小画像データを送信するようにしたが、検出した物体の大きさに応じて送信する画像データの解像度を変更する（決定する）構成にしてもよい。
例えば、検出した人体が大きい場合には縮小画像データを更に縮小した低解像度の画像データを送信し、検出した人体が小さい場合には物体検出部１３０で処理された縮小画像データを送信する構成にする。
【００２８】
＜第二の実施形態＞
本実施形態では、第一の物体検出装置で高解像度の画像データから物体検出を行い、第二の物体検出装置で低解像度の画像データから物体検出を行うことにより、同様の効果を実現する例について説明する。なお、本実施形態では、第一の実施形態で説明した内容についてはその説明を適宜省略する。
図４は、本実施形態に係る物体検出システムの構成の一例を示す図である。第一の物体検出装置３００及び第二の物体検出装置４００は、同機能の物体検出機能を有している。図に示すように、第一の物体検出装置３００は、画像取得部３１０、画像縮小部３２０、物体検出部３３０、通信部３４０、送信制御部３５０、及び画像切出部３６０を含んで構成される。
【００２９】
画像取得部３１０、画像縮小部３２０、物体検出部３３０、通信部３４０、及び送信制御部３５０は、それぞれ第一の実施形態における画像取得部１１０、画像縮小部１２０、物体検出部１３０、通信部１４０、及び送信制御部１５０と同じ機能を有する。
画像切出部３６０は、画像取得部３１０で取得された画像データから任意の部分領域を切出し、内部メモリに記憶する。
また、第二の物体検出装置４００は、通信部４１０、物体検出部４２０、及び検出結果表示部４３０を含んで構成される。通信部４１０、物体検出部４２０、及び検出結果表示部４３０は、それぞれ第一の実施形態における通信部２１０、物体検出部２２０、及び検出結果表示部２３０と同じ機能を有する。
【００３０】
次に、第一の物体検出装置３００及び第二の物体検出装置４００の動作について概略を説明する。
第一の物体検出装置３００は、取得した画像データの縮小画像データを高フレームレートで第二の物体検出装置４００に送信する。また、第一の物体検出装置３００は、取得した高解像度の画像データから物体検出を行う。
一方、第二の物体検出装置４００は、第一の物体検出装置３００から取得した低解像度の画像データから物体検出を行う。そして、第一の物体検出装置３００及び第二の物体検出装置４００で検出された結果は、第二の物体検出装置４００で統合されて出力される。
以下では、第一の物体検出装置３００の動作と第二の物体検出装置４００の動作とを順に図面を参照しながら説明する。
【００３１】
図５は、第一の物体検出装置３００における第一の物体検出処理に係るフローチャートの一例を示す図である。
まず、画像取得部３１０は、撮像部で撮像された画像データを取得する（Ｓ３０１）。画像取得部３１０は、フルＨＤ（１９２０×１０８０画素）の画像データを３０フレーム毎秒で取得し、一旦、画像取得部３１０の内部メモリに記憶する。続いて、画像縮小部３２０は、画像取得部３１０の画像データを所定の倍率に縮小し、内部メモリに記憶する（Ｓ３０２）。
続いて、通信部３４０は、画像縮小部３２０の内部メモリに記憶されている縮小画像データを送信する（Ｓ３０３）。ここで、通信部３４０は、画像取得部３１０で画像データを取得する周期に合せて画像データを毎フレーム送信する。なお、通信経路の帯域が狭い場合には、Ｓ３０２で縮小する画像サイズが毎フレーム送信できるサイズに縮小され、Ｓ３０３で送信されるようにする。
【００３２】
続いて、物体検出部３３０は、画像取得部３１０の画像データから人体を検出する（Ｓ３０４）。ここでは、第一の実施形態の第二の物体検出装置２００の物体検出部２２０と同様な処理が行われる。即ち、入力画像の高解像度部分から検出処理が行われる。ただし、検出処理は全探索窓に対して処理が終了するまで行われる。
続いて、不図示の制御部は、物体検出部３３０の検出結果に応じて画像切出部３６０の処理を制御する。また、送信制御部３５０は、物体検出部３３０の検出結果に応じて検出結果、及び画像切出部３６０で切り出された画像データを通信部３４０が送信するように制御を行う（Ｓ３０５）。例えば、制御部は、人体が検出されたか否かを判断し、検出されたと判断した場合、Ｓ３０６の処理が行われ、検出されていないと判断した場合、処理を終了する。
【００３３】
物体検出部３３０が人体を検出した場合には、画像切出部３６０は、物体検出部３３０で検出された人体の領域を含む部分画像の部分画像データを画像取得部３１０の内部メモリに記憶されている画像データから切り出す（Ｓ３０６）。即ち、物体検出部３３０が検出した人体の位置に応じて画像切出部３６０が画像取得部３１０の画像データから部分画像データを切り出す構成にする。
更に、物体検出部３３０が検出した人体の大きさに応じて画像取得部３１０の画像データから所望の解像度の部分画像データが切り出される構成にしてもよい。例えば、画像切出部３６０は、検出された人体が大きい場合には画像データを縮小して低解像度の画像データから部分画像データを切り出す。
通信部３４０は、送信制御部３５０の指示を受けて物体検出部３３０の検出結果、及び画像切出部３６０で切り出された画像データを送信する（Ｓ３０７）。
なお、Ｓ３０１からＳ３０７までの処理については、不図示の制御部によって、取得された画像データのフレーム毎に順次繰り返して行われるよう制御される。また、Ｓ３０４の人体の検出処理は、前フレームでの処理が終了していない場合はスキップされる。
【００３４】
図６は、第二の物体検出装置４００における第二の物体検出処理に係るフローチャートの一例を示す図である。
まず、通信部４１０は、インターフェースを介して第一の物体検出装置３００から送信されたデータを受信する（Ｓ４０１）。
続いて、通信部４１０は、受信したデータから所定の通信プロトコルに従って付帯情報を解析し、解析結果に応じた処理を行う（Ｓ４０２）。即ち、通信部４１０は、解析結果に応じて第一の物体検出装置３００で取得した画像データ、検出結果などを取得し、一旦、通信部４１０の内部メモリに記憶する。
【００３５】
ここで、第一の物体検出装置３００がＳ３０３でデータを送信した場合、通信部４１０は、第一の物体検出装置３００で取得され、縮小された低解像度の画像データを受信し、内部メモリに記憶することになる。
一方、第一の物体検出装置３００がＳ３０７でデータを送信した場合、通信部４１０は、第一の物体検出装置３００で取得され、切り出された部分画像データと検出結果とを受信し、内部メモリに記憶することになる。
そして、例えば、通信部４１０は、人体が検出されているか否か（検出結果の有無）を判断し、検出されていると判断した場合、Ｓ４０３の処理が行われ、検出されていないと判断された場合、Ｓ４０４の処理が行われる。
【００３６】
即ち、通信部４１０が検出結果を受け取った場合、検出結果表示部４３０は、通信部４１０の内部メモリに記憶されている部分画像データと検出結果とから表示用の画像データを生成する（Ｓ４０３）。
例えば、検出結果表示部４３０は、検出結果を解析し、第一の物体検出装置３００で縮小された低解像度の画像データに検出された人体の領域を示す矩形の枠を重畳する。ここで重畳する画像データは、第一の物体検出装置３００がＳ３０３で送信した縮小画像データである。また、例えば、検出結果表示部４３０は、矩形の枠を重畳した画像と並べて部分画像を表示するように画像データを合成する。
一方、通信部４１０が検出結果を受け取らなかった場合、物体検出部４２０は、低解像度の画像データから人体を検出する（Ｓ４０４）。
【００３７】
続いて、検出結果表示部４３０は、物体検出部４２０からの処理終了の通知を受けると、画像データと物体検出部４２０の検出結果とから表示用の画像データを生成する（Ｓ４０５）。即ち、検出結果表示部４３０は、検出結果を解析し、縮小画像データにＳ４０４で検出された人体の領域を示す矩形の枠を重畳した表示用の画像データを生成する。
なお、Ｓ４０１からＳ４０５までの処理については、不図示の制御部によって、通信部４１０のデータ受信に応じて順次繰り返して行われるよう制御される。
【００３８】
上述した第一の物体検出装置３００及び第二の物体検出装置４００の動作にもとづいたシステム全体の動作例を第一の物体検出装置３００の監視カメラにより撮影される複数のシーンを例に挙げて以下に説明する。
監視カメラが平常時の人物がいないシーンを撮像している場合には、第一の物体検出装置３００がＳ３０３で送信した低解像度の高フレームレートの画像データにもとづいて第二の物体検出装置４００がＳ４０５でその画像（画像データ）のみを表示する。
【００３９】
監視カメラが遠距離の小さく写る人物を撮像している場合には、第一の物体検出装置３００がＳ３０４で人物を検出する。そして、第一の物体検出装置３００は、Ｓ３０６で切り出した部分画像データをＳ３０７での検出結果とともに送信する。また、第二の物体検出装置４００は、Ｓ４０３において、Ｓ４０１で受信した低解像度の画像に検出結果枠を重畳し、それと共に高解像度の部分画像を表示する。
監視カメラが近距離の大きく写る人物を撮像している場合には、第一の物体検出装置３００がＳ３０３で送信した低解像度の高フレームレートの画像データから第二の物体検出装置４００がＳ４０４で人物を検出する。そして、物体検出装置４００は、Ｓ４０５で監視カメラの画像に検出結果枠を重畳した画像を表示する。
【００４０】
上述のように、第一の物体検出装置３００で高解像度の低フレームレートの画像データから小さい物体（規定の物体の一例）の物体検出が行われる。また、第二の物体検出装置で低解像度の高フレームレートの画像データから高速に移動する物体（規定の物体の一例）の物体検出が行われる。
したがって、本実施形態によれば、小さい物体の検出と高速に移動する物体の検出とを両立することができる。
【００４１】
＜その他の実施形態＞
第一の実施形態及び第二の実施形態においては、物体検出装置で検出する対象として人体を例に説明したが、その他にも、顔や車などを検出する場合にも上述の構成が適用可能である。
また、第一の物体検出装置１００及び第二の物体検出装置２００の各々は、ＣＰＵ、ＲＯＭ、ＲＡＭ、ハードディスク等を有する情報処理装置（コンピュータ）が内蔵された監視カメラ、モニタリング装置などであってもよい。この場合、基本的には、ＣＰＵにより、ＲＯＭ、ハードディスク等に記憶されているプログラムがＲＡＭにロードされて実行されることで、各物体検出装置の機能、フローチャートに係る処理が実現される。
ただし、各物体検出装置の機能、フローチャートに係る処理の一部、又は全部を専用のハードウェアを用いて構成してもよい。
また、第一の物体検出装置１００及び第二の物体検出装置２００は、一体の物体検出装置であってもよい。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【００４２】
上述した実施形態の構成によれば、小さい物体の検出と高速に移動する物体の検出とを両立することができる。
【００４３】
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【技術分野】
【０００１】
本発明は、物体検出システム、物体検出方法、及びプログラムに関する。
【背景技術】
【０００２】
近年、監視カメラで撮影された監視用の画像から人物を検出し、侵入者の検知、侵入者の行動の監視、混雑度の監視等に検出結果を利用するシステムが提案されている。このようなシステムに適用可能な人物を検出する方法が開示されている（非特許文献１参照）。これは、画像から画素値の勾配方向のヒストグラムを抽出し、それを特徴量として画像中の部分領域が人物であるか否かを判定するものである。
その他にも、非特許文献１で用いられる特徴量を弱判別器としてアダブースト学習を行い、それにもとづくカスケード型判別器を実行することで、高速に人体を検出する方法が開示されている（非特許文献２参照）。
一方、監視カメラに関しては遠距離の小さく見える人物も検出したいという要望があり、画像の高解像度化が進んでいる。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Dalal and Triggs, "Histograms of Oriented Gradients for Human Detection", Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition （CVPR2005）
【非特許文献２】Qiang Zhu et al, "Fast human detection using a cascade of Histograms of Oriented Gradients", Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR2006)
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、高解像度の画像から小さい人物までも検出しようとすると処理量が膨大になってしまい、監視用の画像の中から一枚のフレームを処理する処理時間が遅くなる。そのため、画面中を速く移動する人物を検出できないといった問題がある。
この問題を解決するために、複数の物体検出手段で処理を分散する方法が考えられる。例えば、撮像装置、及びモニター装置、並びにこれらの間でデータ通信を行う通信装置とからシステムを構成し、撮像装置とモニター装置との夫々に物体検出機能を備えて処理を分散する。しかしながら、例えば高解像度の画像を高フレームレートで撮像装置からモニター装置に送信するためには広帯域の通信経路が要求される。
【０００５】
本発明はこのような問題点に鑑みなされたもので、小さい物体の検出と高速に移動する物体の検出とを両立することを目的とする。
【課題を解決するための手段】
【０００６】
そこで、本発明に係る物体検出システムは、第一の物体検出手段と第二の物体検出手段と通信手段とを有するシステムであって、前記第一の物体検出手段は、画像から規定の物体を検出し、前記通信手段は、前記画像の解像度が異なる画像、及び前記第一の物体検出手段で検出された前記物体の画像を前記第二の物体検出手段に送信し、前記第二の物体検出手段は、前記異なる画像から前記物体とは異なる他の物体を検出することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、小さい物体の検出と高速に移動する物体の検出とを両立することができる。
【図面の簡単な説明】
【０００８】
【図１】物体検出システムの構成一例を示す図である。
【図２】第一の物体検出処理に係るフローチャートの一例を示す図である。
【図３】第二の物体検出処理に係るフローチャートの一例を示す図である。
【図４】物体検出システムの構成の一例を示す図である。
【図５】第一の物体検出処理に係るフローチャートの一例を示す図である。
【図６】第二の物体検出処理に係るフローチャートの一例を示す図である。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について図面に基づいて説明する。なお、実施形態は、本発明を限定するものではなく、また、実施形態で説明されている全ての構成が本発明の課題を解決するための手段に必須であるとは限らない。
【００１０】
＜第一の実施形態＞
図１は、本実施形態に係る物体検出システムの構成一例を示す図である。第一の物体検出装置１００及び第二の物体検出装置２００は、同機能の物体検出機能を有している。
例えば、第一の物体検出装置１００は、物体検出機能を備えた監視カメラであり、第二の物体検出装置２００は、物体検出機能を備えたモニタリング装置である。第一の物体検出装置１００及び第二の物体検出装置２００は、ネットワークを介して通信可能に接続されている。
【００１１】
第一の物体検出装置１００は、画像取得部１１０、画像縮小部１２０、物体検出部１３０、通信部１４０、及び送信制御部１５０を含んで構成される。また、第二の物体検出装置１００は、通信部２１０、物体検出部２２０、及び検出結果表示部２３０を含んで構成される。
画像取得部１１０は、カメラ等の撮像部で撮像された画像データを取得する。例えば、画像取得部１１０は、フルＨＤ（１９２０×１０８０画素）の画像データをリアルタイム（３０フレーム毎秒）で取得可能な撮像部である。画像縮小部１２０は、画像取得部１１０で取得された画像データを任意の縮小倍率で縮小し、内部メモリに記憶する。
【００１２】
物体検出部１３０は、画像縮小部１２０の内部メモリに記憶されている画像データから所定の物体を検出する。例えば、物体検出部１３０は、組込み用プロセッサ及びシステムメモリにより構成され、物体検出プログラムを実行する。
本実施形態では、物体検出部１３０は、非特許文献１又は非特許文献２で提案されている方法がソフトウェアとして実装された人体検出プログラムを実行して画像データから人体（人体部分）を検出する。その他、物体検出部１３０は、複数の組込み用プロセッサを並列、又はパイプライン処理が実行できるように構成したものであってもよいし、物体検出プログラムの処理の一部、又は全部を専用のハードウェアを用いて構成してもよい。
【００１３】
通信部１４０は、画像取得部１１０で取得された画像データ又は画像縮小部１２０の内部メモリに記憶されている画像データを送信する。より具体的には、通信部１４０は、内部メモリに画像データを一旦記憶し、記憶した画像データに所定の通信プロトコルに従った付帯情報を付けてインターフェースを介して画像データを送信する。また、通信部１４０は、同様にして物体検出部１３０の検出結果を送信する。
送信制御部１５０は、物体検出部１３０の検出結果に応じて通信部１４０が第一の物体検出装置１００の外部に送信するデータの制御を行う。
【００１４】
通信部２１０は、インターフェースを介して第一の物体検出装置１００から送信された画像データ及び検出結果を受信し、内部メモリに記憶する。
物体検出部２２０は、通信部２１０の内部メモリに記憶されている画像データから所定の物体を検出する。物体検出部２２０は、物体検出部１３０と同様の構成を有する。ただし、物体検出部１３０及び物体検出部２２０は、その処理量に応じて最適な処理能力のプロセッサで構成するのが望ましい。
検出結果表示部２３０は、通信部２１０の内部メモリに記憶されている受信データ及び物体検出部２２０の検出結果から表示用の画像データを生成する。また、検出結果表示部２３０は、インターフェースを介して生成した画像データを外部に出力する。物体検出部２２０がＣＲＴ等の表示装置に接続されている場合は、出力した画像データが表示装置にて表示される。
【００１５】
次に、第一の物体検出装置１００及び第二の物体検出装置２００の動作について概略を説明する。
第一の物体検出装置１００は、取得した画像データを低フレームレートで第二の物体検出装置２００に送信する。また、第一の物体検出装置１００は、取得した画像データを高フレームレートで所定の倍率に縮小し、縮小した画像データから物体検出を行う。
一方、第二の物体検出装置２００は、第一の物体検出装置１００から取得した高解像度の画像データから物体検出を行う。そして、第一の物体検出装置１００及び第二の物体検出装置２００で検出された結果が第二の物体検出装置２００で統合されて出力される。
以下、第一の物体検出装置１００の動作と第二の物体検出装置２００の動作とを順に図面を参照しながら説明する。
【００１６】
はじめに、図２のフローチャートに従って第一の物体検出装置１００の動作を説明する。図２は、第一の物体検出処理に係るフローチャートの一例を示す図である。
まず、画像取得部１１０は、撮像部で撮像された画像データを取得する（Ｓ１０１）。取得された画像データは、フルＨＤ（１９２０×１０８０画素）の画像データとして、一旦、画像取得部１１０の内部メモリに記憶される。また、画像データが取得されるフレームレートは、３０フレーム毎秒とする。
送信制御部１５０は、画像取得部１１０の内部メモリに記憶されている画像データを通信部１４０が送信するように制御を行う。例えば、送信制御部１５０は、画像データを送信するか否かを判断し、送信すると判断した場合、Ｓ１０３の処理が行われ、送信しないと判断した場合、Ｓ１０４の処理が行われる。ここで、フルＨＤの画像データを３０フレーム毎秒で送信するためには広帯域の通信経路が要求されるので、送信制御部１５０は、通信部１４０が所定の間隔で画像データを通信部１４０が送信するように制御を行う。例えば、１フレーム毎秒でフルＨＤの画像データを送信するようにする。
【００１７】
続いて、通信部１４０は、送信制御部１５０の指示を受けて画像取得部１１０の内部メモリに記憶されている画像データ（高解像画像）を送信する（Ｓ１０３）。このとき、通信部１４０は、一旦、画像取得部１１０で取得された画像データを通信部１４０の内部メモリに記憶する。そして、通信部１４０は、記憶した画像データに所定の通信プロトコルに従った付帯情報を付けてインターフェースを介して画像データを送信する。
続いて、画像縮小部１２０は、画像取得部１１０の内部メモリに記憶されている画像データを所定の倍率に縮小し、内部メモリに記憶する（Ｓ１０４）。例えば、縦横４分の１のサイズである４８０×２７０画素の画像データに縮小する。画像縮小部１２０は、画像データの縮小については、単純な画素の間引きによって行う。ここでは、画像取得部１１０で取得されたフレームレートで後段の処理を行うように全フレームで縮小が行われる。
【００１８】
続いて、物体検出部１３０は、画像縮小部１２０の内部メモリに記憶されている画像データから人体を検出する（Ｓ１０５）。例えば、非特許文献２で提案されている方法がソフトウェアとして実装された人体検出プログラムが実行される。非特許文献２で提案されている方法では、６４×１２８画素のサイズの探索窓を設定して人体検出が行われている。ここで、物体検出部１３０に入力した画像データを所定の倍率で順次縮小して検出を行うことで６４×１２８画素以上のサイズの人体を検出することができる。
検出結果は、検出された人体領域の位置座標とサイズとを表すデータであり、一旦、物体検出部１３０の内部メモリに記憶される。なお、人体検出の処理時間は、入力する画像データに依存するが、物体検出部１３０は、１フレームにつき３０分の１秒で処理が終わらない場合は処理を中断する。
【００１９】
続いて、送信制御部１５０は、物体検出部１３０の検出結果に応じて検出結果、及び検出処理した画像データを通信部１４０が送信するように制御を行う（Ｓ１０６）。例えば、送信制御部１５０は、物体検出部１３０が入力フレームから人体を検出したか否かを判断する。
この際、物体検出部１３０が入力フレームから人体を検出した場合、送信制御部１５０は、物体検出部１３０の内部メモリに記憶されている検出結果を通信部１４０が送信するようにする。また、送信制御部１５０は、画像縮小部１２０の内部メモリに記憶されている物体検出部１３０で処理された画像データ（縮小画像データ）を通信部１４０が送信するようにする。一方、物体検出部１３０が入力フレームから人体を検出しなかった場合、送信制御部１５０は、通信部１４０への送信の指示は行わない。
【００２０】
続いて、通信部１４０は、送信制御部１５０の指示を受けて検出結果、及び縮小画像データ（低解像画像）を送信する（Ｓ１０７）。このとき、通信部１４０は、一旦、物体検出部１３０の内部メモリに記憶されている検出結果、及び画像縮小部１２０の内部メモリに記憶されている縮小画像データを通信部１４０の内部メモリに記憶する。そして、通信部１４０は、記憶した検出結果、及び縮小画像データに所定の通信プロトコルに従った付帯情報を付けてインターフェースを介して送信する。
なお、Ｓ１０１からＳ１０７までの処理については、不図示の制御部によって、取得された画像データのフレーム毎に順次繰り返して行われるよう制御される。
【００２１】
次に、図３のフローチャートに従って第二の物体検出装置２００の動作を説明する。図３は、第二の物体検出処理に係るフローチャートの一例を示す図である。
まず、通信部２１０は、インターフェースを介して第一の物体検出装置１００から送信されたデータを受信する（Ｓ２０１）。
続いて、通信部２１０は、受信したデータから所定の通信プロトコルに従って付帯情報を解析し、解析結果に応じた処理を行う（Ｓ２０２）。即ち、通信部２１０は、解析結果に応じて第一の物体検出装置１００で取得された画像データ、検出結果などを取得し、一旦、通信部２１０の内部メモリに記憶する。
【００２２】
ここで、第一の物体検出装置１００がＳ１０３でデータを送信した場合、通信部２１０は、第一の物体検出装置１００で取得された高解像度の画像データを受信し、内部メモリに記憶することになる。
一方、第一の物体検出装置１００がＳ１０７でデータを送信した場合、通信部２１０は、第一の物体検出装置１００で取得され、縮小された低解像度の画像データと検出結果とを受信し、内部メモリに記憶することになる。
そして、例えば、通信部２１０は、人体が検出されているか否か（検出結果の有無）を判断し、検出されていると判断した場合、Ｓ２０３の処理が行われ、検出されていないと判断された場合、Ｓ２０４の処理が行われる。
【００２３】
即ち、通信部２１０が検出結果を受け取った場合、検出結果表示部２３０は、通信部２１０の内部メモリに記憶されている低解像度の画像データと検出結果とから表示用の画像データを生成する（Ｓ２０３）。例えば、検出結果表示部２３０は、検出結果を解析し、第一の物体検出装置１００で縮小された低解像度の画像データに検出された人体の領域を示す矩形の枠（検出結果枠）を重畳した表示用の画像データを生成する。そして、生成した画像データを表示装置に表示可能なデータに変換し、インターフェースを介して外部に出力する。
一方、通信部２１０が検出結果を受け取らなかった場合、物体検出部２２０は、通信部２１０の内部メモリに記憶されている高解像度の画像データから人体を検出する（Ｓ２０４）。ここでは、第一の物体検出装置１００の物体検出部１３０と同様な処理が行われる。ただし、画像データを順次縮小して検出を行う際に、第一の物体検出装置１００で既に低解像度（４８０×２７０画素以下）の画像データに対しては検出処理が行われているので、処理をスキップする。なお、検出結果は、一旦、物体検出部２２０の内部メモリに記憶される。また、物体検出部２２０は、処理を終了すると、検出結果表示部２３０に処理終了を通知する。
【００２４】
続いて、検出結果表示部２３０は、物体検出部２２０からの処理終了の通知を受けると、通信部２１０の内部メモリに記憶されている高解像度の画像データと物体検出部２２０の検出結果とから表示用の画像データを生成する（Ｓ２０５）。
例えば、検出結果表示部２３０は、通信部２１０の内部メモリに記憶されている高解像度の画像データを縮小する。そして、検出結果表示部２３０は、縮小した画像データに検出した人体の領域を示す矩形の枠（検出結果枠）を重畳した表示用の画像データを生成する。そして、検出結果表示部２３０は、生成した画像データを表示装置に表示可能なデータに変換し、インターフェースを介して外部に出力する。
なお、Ｓ２０１からＳ２０５までの処理については、不図示の制御部によって、通信部２１０のデータ受信に応じて順次繰り返して行われるよう制御される。
【００２５】
上述した第一の物体検出装置１００及び第二の物体検出装置２００の動作にもとづいたシステム全体の動作例を第一の物体検出装置１００の監視カメラにより撮影される複数のシーンを例に挙げて以下に説明する。
監視カメラが平常時の人物がいないシーンを撮像している場合には、第一の物体検出装置１００がＳ１０３で送信した高解像度の低フレームレートの画像データにもとづいて第二の物体検出装置２００がＳ２０５でその画像（画像データ）のみを表示する。
【００２６】
監視カメラが遠距離の小さく写る人物を撮像している場合には、第一の物体検出装置１００がＳ１０３で送信した高解像度の低フレームレートの画像データから第二の物体検出装置２００がＳ２０４で人物を検出する。そして、第二の物体検出装置２００は、Ｓ２０５で監視カメラの画像に検出結果枠を重畳した画像を表示する。
監視カメラが近距離の大きく写る人物を撮像している場合には、第一の物体検出装置１００がＳ１０５で人物を検出する。そして、第一の物体検出装置１００がＳ１０７で低解像度の高フレームレートの画像と検出結果とを送信し、第二の物体検出装置２００がＳ２０３で監視カメラの画像に検出結果枠を重畳した画像を表示する。
【００２７】
上述のように、第一の物体検出装置１００で低解像度の高フレームレートの画像データから高速に移動する物体（規定の物体の一例）の物体検出が行われる。また、第二の物体検出装置２００で高解像度の低フレームレートの画像データから小さい物体（規定の物体の一例）の物体検出が行われる。したがって、本実施形態によれば、小さい物体の検出と高速に移動する物体の検出とを両立することができる。
なお、本実施形態では、物体検出部１３０が人体を検出した場合には、画像縮小部１２０に記憶されている縮小画像データを送信するようにしたが、検出した物体の大きさに応じて送信する画像データの解像度を変更する（決定する）構成にしてもよい。
例えば、検出した人体が大きい場合には縮小画像データを更に縮小した低解像度の画像データを送信し、検出した人体が小さい場合には物体検出部１３０で処理された縮小画像データを送信する構成にする。
【００２８】
＜第二の実施形態＞
本実施形態では、第一の物体検出装置で高解像度の画像データから物体検出を行い、第二の物体検出装置で低解像度の画像データから物体検出を行うことにより、同様の効果を実現する例について説明する。なお、本実施形態では、第一の実施形態で説明した内容についてはその説明を適宜省略する。
図４は、本実施形態に係る物体検出システムの構成の一例を示す図である。第一の物体検出装置３００及び第二の物体検出装置４００は、同機能の物体検出機能を有している。図に示すように、第一の物体検出装置３００は、画像取得部３１０、画像縮小部３２０、物体検出部３３０、通信部３４０、送信制御部３５０、及び画像切出部３６０を含んで構成される。
【００２９】
画像取得部３１０、画像縮小部３２０、物体検出部３３０、通信部３４０、及び送信制御部３５０は、それぞれ第一の実施形態における画像取得部１１０、画像縮小部１２０、物体検出部１３０、通信部１４０、及び送信制御部１５０と同じ機能を有する。
画像切出部３６０は、画像取得部３１０で取得された画像データから任意の部分領域を切出し、内部メモリに記憶する。
また、第二の物体検出装置４００は、通信部４１０、物体検出部４２０、及び検出結果表示部４３０を含んで構成される。通信部４１０、物体検出部４２０、及び検出結果表示部４３０は、それぞれ第一の実施形態における通信部２１０、物体検出部２２０、及び検出結果表示部２３０と同じ機能を有する。
【００３０】
次に、第一の物体検出装置３００及び第二の物体検出装置４００の動作について概略を説明する。
第一の物体検出装置３００は、取得した画像データの縮小画像データを高フレームレートで第二の物体検出装置４００に送信する。また、第一の物体検出装置３００は、取得した高解像度の画像データから物体検出を行う。
一方、第二の物体検出装置４００は、第一の物体検出装置３００から取得した低解像度の画像データから物体検出を行う。そして、第一の物体検出装置３００及び第二の物体検出装置４００で検出された結果は、第二の物体検出装置４００で統合されて出力される。
以下では、第一の物体検出装置３００の動作と第二の物体検出装置４００の動作とを順に図面を参照しながら説明する。
【００３１】
図５は、第一の物体検出装置３００における第一の物体検出処理に係るフローチャートの一例を示す図である。
まず、画像取得部３１０は、撮像部で撮像された画像データを取得する（Ｓ３０１）。画像取得部３１０は、フルＨＤ（１９２０×１０８０画素）の画像データを３０フレーム毎秒で取得し、一旦、画像取得部３１０の内部メモリに記憶する。続いて、画像縮小部３２０は、画像取得部３１０の画像データを所定の倍率に縮小し、内部メモリに記憶する（Ｓ３０２）。
続いて、通信部３４０は、画像縮小部３２０の内部メモリに記憶されている縮小画像データを送信する（Ｓ３０３）。ここで、通信部３４０は、画像取得部３１０で画像データを取得する周期に合せて画像データを毎フレーム送信する。なお、通信経路の帯域が狭い場合には、Ｓ３０２で縮小する画像サイズが毎フレーム送信できるサイズに縮小され、Ｓ３０３で送信されるようにする。
【００３２】
続いて、物体検出部３３０は、画像取得部３１０の画像データから人体を検出する（Ｓ３０４）。ここでは、第一の実施形態の第二の物体検出装置２００の物体検出部２２０と同様な処理が行われる。即ち、入力画像の高解像度部分から検出処理が行われる。ただし、検出処理は全探索窓に対して処理が終了するまで行われる。
続いて、不図示の制御部は、物体検出部３３０の検出結果に応じて画像切出部３６０の処理を制御する。また、送信制御部３５０は、物体検出部３３０の検出結果に応じて検出結果、及び画像切出部３６０で切り出された画像データを通信部３４０が送信するように制御を行う（Ｓ３０５）。例えば、制御部は、人体が検出されたか否かを判断し、検出されたと判断した場合、Ｓ３０６の処理が行われ、検出されていないと判断した場合、処理を終了する。
【００３３】
物体検出部３３０が人体を検出した場合には、画像切出部３６０は、物体検出部３３０で検出された人体の領域を含む部分画像の部分画像データを画像取得部３１０の内部メモリに記憶されている画像データから切り出す（Ｓ３０６）。即ち、物体検出部３３０が検出した人体の位置に応じて画像切出部３６０が画像取得部３１０の画像データから部分画像データを切り出す構成にする。
更に、物体検出部３３０が検出した人体の大きさに応じて画像取得部３１０の画像データから所望の解像度の部分画像データが切り出される構成にしてもよい。例えば、画像切出部３６０は、検出された人体が大きい場合には画像データを縮小して低解像度の画像データから部分画像データを切り出す。
通信部３４０は、送信制御部３５０の指示を受けて物体検出部３３０の検出結果、及び画像切出部３６０で切り出された画像データを送信する（Ｓ３０７）。
なお、Ｓ３０１からＳ３０７までの処理については、不図示の制御部によって、取得された画像データのフレーム毎に順次繰り返して行われるよう制御される。また、Ｓ３０４の人体の検出処理は、前フレームでの処理が終了していない場合はスキップされる。
【００３４】
図６は、第二の物体検出装置４００における第二の物体検出処理に係るフローチャートの一例を示す図である。
まず、通信部４１０は、インターフェースを介して第一の物体検出装置３００から送信されたデータを受信する（Ｓ４０１）。
続いて、通信部４１０は、受信したデータから所定の通信プロトコルに従って付帯情報を解析し、解析結果に応じた処理を行う（Ｓ４０２）。即ち、通信部４１０は、解析結果に応じて第一の物体検出装置３００で取得した画像データ、検出結果などを取得し、一旦、通信部４１０の内部メモリに記憶する。
【００３５】
ここで、第一の物体検出装置３００がＳ３０３でデータを送信した場合、通信部４１０は、第一の物体検出装置３００で取得され、縮小された低解像度の画像データを受信し、内部メモリに記憶することになる。
一方、第一の物体検出装置３００がＳ３０７でデータを送信した場合、通信部４１０は、第一の物体検出装置３００で取得され、切り出された部分画像データと検出結果とを受信し、内部メモリに記憶することになる。
そして、例えば、通信部４１０は、人体が検出されているか否か（検出結果の有無）を判断し、検出されていると判断した場合、Ｓ４０３の処理が行われ、検出されていないと判断された場合、Ｓ４０４の処理が行われる。
【００３６】
即ち、通信部４１０が検出結果を受け取った場合、検出結果表示部４３０は、通信部４１０の内部メモリに記憶されている部分画像データと検出結果とから表示用の画像データを生成する（Ｓ４０３）。
例えば、検出結果表示部４３０は、検出結果を解析し、第一の物体検出装置３００で縮小された低解像度の画像データに検出された人体の領域を示す矩形の枠を重畳する。ここで重畳する画像データは、第一の物体検出装置３００がＳ３０３で送信した縮小画像データである。また、例えば、検出結果表示部４３０は、矩形の枠を重畳した画像と並べて部分画像を表示するように画像データを合成する。
一方、通信部４１０が検出結果を受け取らなかった場合、物体検出部４２０は、低解像度の画像データから人体を検出する（Ｓ４０４）。
【００３７】
続いて、検出結果表示部４３０は、物体検出部４２０からの処理終了の通知を受けると、画像データと物体検出部４２０の検出結果とから表示用の画像データを生成する（Ｓ４０５）。即ち、検出結果表示部４３０は、検出結果を解析し、縮小画像データにＳ４０４で検出された人体の領域を示す矩形の枠を重畳した表示用の画像データを生成する。
なお、Ｓ４０１からＳ４０５までの処理については、不図示の制御部によって、通信部４１０のデータ受信に応じて順次繰り返して行われるよう制御される。
【００３８】
上述した第一の物体検出装置３００及び第二の物体検出装置４００の動作にもとづいたシステム全体の動作例を第一の物体検出装置３００の監視カメラにより撮影される複数のシーンを例に挙げて以下に説明する。
監視カメラが平常時の人物がいないシーンを撮像している場合には、第一の物体検出装置３００がＳ３０３で送信した低解像度の高フレームレートの画像データにもとづいて第二の物体検出装置４００がＳ４０５でその画像（画像データ）のみを表示する。
【００３９】
監視カメラが遠距離の小さく写る人物を撮像している場合には、第一の物体検出装置３００がＳ３０４で人物を検出する。そして、第一の物体検出装置３００は、Ｓ３０６で切り出した部分画像データをＳ３０７での検出結果とともに送信する。また、第二の物体検出装置４００は、Ｓ４０３において、Ｓ４０１で受信した低解像度の画像に検出結果枠を重畳し、それと共に高解像度の部分画像を表示する。
監視カメラが近距離の大きく写る人物を撮像している場合には、第一の物体検出装置３００がＳ３０３で送信した低解像度の高フレームレートの画像データから第二の物体検出装置４００がＳ４０４で人物を検出する。そして、物体検出装置４００は、Ｓ４０５で監視カメラの画像に検出結果枠を重畳した画像を表示する。
【００４０】
上述のように、第一の物体検出装置３００で高解像度の低フレームレートの画像データから小さい物体（規定の物体の一例）の物体検出が行われる。また、第二の物体検出装置で低解像度の高フレームレートの画像データから高速に移動する物体（規定の物体の一例）の物体検出が行われる。
したがって、本実施形態によれば、小さい物体の検出と高速に移動する物体の検出とを両立することができる。
【００４１】
＜その他の実施形態＞
第一の実施形態及び第二の実施形態においては、物体検出装置で検出する対象として人体を例に説明したが、その他にも、顔や車などを検出する場合にも上述の構成が適用可能である。
また、第一の物体検出装置１００及び第二の物体検出装置２００の各々は、ＣＰＵ、ＲＯＭ、ＲＡＭ、ハードディスク等を有する情報処理装置（コンピュータ）が内蔵された監視カメラ、モニタリング装置などであってもよい。この場合、基本的には、ＣＰＵにより、ＲＯＭ、ハードディスク等に記憶されているプログラムがＲＡＭにロードされて実行されることで、各物体検出装置の機能、フローチャートに係る処理が実現される。
ただし、各物体検出装置の機能、フローチャートに係る処理の一部、又は全部を専用のハードウェアを用いて構成してもよい。
また、第一の物体検出装置１００及び第二の物体検出装置２００は、一体の物体検出装置であってもよい。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【００４２】
上述した実施形態の構成によれば、小さい物体の検出と高速に移動する物体の検出とを両立することができる。
【００４３】
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【特許請求の範囲】
【請求項１】
第一の物体検出手段と第二の物体検出手段と通信手段とを有するシステムであって、
前記第一の物体検出手段は、画像から規定の物体を検出し、
前記通信手段は、前記画像の解像度が異なる画像、及び前記第一の物体検出手段で検出された前記物体の画像を前記第二の物体検出手段に送信し、
前記第二の物体検出手段は、前記異なる画像から前記物体とは異なる他の物体を検出することを特徴とする物体検出システム。
【請求項２】
前記第一の物体検出手段は、前記物体の大きさを検出し、
前記通信手段は、前記物体の大きさに応じて前記物体の画像の解像度を決定することを特徴とする請求項１に記載の物体検出システム。
【請求項３】
前記第一の物体検出手段は、前記画像から前記物体を検出し、前記第二の物体検出手段は、前記画像よりも解像度が低い前記異なる画像である縮小画像から前記他の物体を検出することを特徴とする請求項１に記載の物体検出システム。
【請求項４】
第一の物体検出手段と第二の物体検出手段と通信手段とを有するシステムにおける物体検出方法であって、
前記第一の物体検出手段が、画像から規定の物体を検出する第一の物体検出工程と、
前記通信手段が、前記画像の解像度が異なる画像、及び前記第一の物体検出工程で検出された前記物体の画像を前記第二の物体検出手段に送信する通信工程と、
前記第二の物体検出手段が、前記異なる画像から前記物体とは異なる他の物体を検出する第二の物体検出工程とを有することを特徴とする物体検出方法。
【請求項５】
請求項４に記載の物体検出方法の各工程をコンピュータに実行させるプログラム。
【請求項１】
第一の物体検出手段と第二の物体検出手段と通信手段とを有するシステムであって、
前記第一の物体検出手段は、画像から規定の物体を検出し、
前記通信手段は、前記画像の解像度が異なる画像、及び前記第一の物体検出手段で検出された前記物体の画像を前記第二の物体検出手段に送信し、
前記第二の物体検出手段は、前記異なる画像から前記物体とは異なる他の物体を検出することを特徴とする物体検出システム。
【請求項２】
前記第一の物体検出手段は、前記物体の大きさを検出し、
前記通信手段は、前記物体の大きさに応じて前記物体の画像の解像度を決定することを特徴とする請求項１に記載の物体検出システム。
【請求項３】
前記第一の物体検出手段は、前記画像から前記物体を検出し、前記第二の物体検出手段は、前記画像よりも解像度が低い前記異なる画像である縮小画像から前記他の物体を検出することを特徴とする請求項１に記載の物体検出システム。
【請求項４】
第一の物体検出手段と第二の物体検出手段と通信手段とを有するシステムにおける物体検出方法であって、
前記第一の物体検出手段が、画像から規定の物体を検出する第一の物体検出工程と、
前記通信手段が、前記画像の解像度が異なる画像、及び前記第一の物体検出工程で検出された前記物体の画像を前記第二の物体検出手段に送信する通信工程と、
前記第二の物体検出手段が、前記異なる画像から前記物体とは異なる他の物体を検出する第二の物体検出工程とを有することを特徴とする物体検出方法。
【請求項５】
請求項４に記載の物体検出方法の各工程をコンピュータに実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１２−２１２２３５（Ｐ２０１２−２１２２３５Ａ）
【公開日】平成２４年１１月１日（２０１２．１１．１）
【国際特許分類】
【出願番号】特願２０１１−７６４７９（Ｐ２０１１−７６４７９）
【出願日】平成２３年３月３０日（２０１１．３．３０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年１１月１日（２０１２．１１．１）
【国際特許分類】
【出願日】平成２３年３月３０日（２０１１．３．３０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]