オブジェクト検出装置及びオブジェクト検出方法
【課題】全方位動画像から人物等のオブジェクトを検出する際の処理量の削減が可能なオブジェクト検出装置及びオブジェクト検出方法を提供する。
【解決手段】画像入力部１０により入力された高解像度の画像に対して、前景抽出部１１が前景領域を含む矩形領域を抽出し、その抽出された矩形領域が検知サイズ設定部１２に設定された設定値に合致しているかどうかを領域判定部１３が判定し、合致していた場合、画像変換部１４が透視投影画像に変換し、変換された透視投影画像に対して、オブジェクト検出部１５がオブジェクト検出処理を行う。オブジェクトを検出すると、その後のフレーム以降は、探索範囲設定部１６が設定した探索範囲を用いて、低解像度の全方位画像によりオブジェクトの追跡を行う。
【解決手段】画像入力部１０により入力された高解像度の画像に対して、前景抽出部１１が前景領域を含む矩形領域を抽出し、その抽出された矩形領域が検知サイズ設定部１２に設定された設定値に合致しているかどうかを領域判定部１３が判定し、合致していた場合、画像変換部１４が透視投影画像に変換し、変換された透視投影画像に対して、オブジェクト検出部１５がオブジェクト検出処理を行う。オブジェクトを検出すると、その後のフレーム以降は、探索範囲設定部１６が設定した探索範囲を用いて、低解像度の全方位画像によりオブジェクトの追跡を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、全方位動画像から人物等のオブジェクトを検出するオブジェクト検出装置及びオブジェクト検出方法に関する。
【背景技術】
【０００２】
魚眼レンズカメラを用いて複数の人物像を同時に追尾する技術として、例えば特許文献１で開示されたものが知られている。また、一般的なカメラで撮像して得られた二次元画像から人物の顔を検出する技術として、例えば特許文献２や特許文献３で開示されたものが知られている。
【０００３】
魚眼レンズカメラで撮像して得られた全方位動画像から人物を検出する方法として、従来、以下に示す方法がある。
（１）全方位の人物サンプルと、全方位の人物サンプルのそれぞれに対応する人物サイズのサンプルパターンを用意して人物を検出する。即ち、図７に示す全方位動画像の１フレーム分の画像即ち全方位画像に対して、方向とサイズの両方のサンプルパターンを用いて人物を検出する。図８に、同じサイズで方向の異なるサンプルパターンの一例を示す。
【０００４】
（２）全方位画像を一旦全画素、透視投影画像へ変換を行った後に、対応する人物サイズのサンプルパターンを用意して人物の検索を行う。図９は、図７の全方位画像において全画素を展開してなる透視投影画像の一例を示す図である。全方位画像を透視投影画像に変換することで、方向の異なる人物サンプルが不要となる。
【０００５】
【特許文献１】特開２００１−３３３４２２号公報
【非特許文献１】H.Rowley, "Neural Network-based Face Detection", IEEE PAMI, Vol.20, No.1, 1998, pp.23-38
【非特許文献２】P.Viola, "Robust Real-time Face Detection", IJCV, No.2, 2004, pp.137-154
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述した（１）、（２）の方法のうち、（１）の方法においては、全方位の人物サンプルと、各方向に対応する人物サイズのサンプルパターンの両方を用意しなければならないため、処理量が多くなり、効率が良くない。また、（２）の方法においては、方向の異なる人物サンプルは不要になるものの、全画素を展開するため処理量が多く、特にメガピクセルでは更に増大する。また、展開後は補間処理が入るため、処理画素が増加（例えば約１．６倍）する。
【０００７】
本発明は、係る事情に鑑みてなされたものであり、全方位動画像から人物等のオブジェクトを検出する際の処理量の削減が可能なオブジェクト検出装置及びオブジェクト検出方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明のオブジェクト検出装置は、全方位動画像の動き領域を検出する動き領域検出手段と、前記動き領域検出手段によって検出された前記動き領域を透視投影変換して透視投影変換画像を生成する透視投影変換手段と、オブジェクトパターンを保持するパターン保持手段と、前記パターン保持手段の保持する前記オブジェクトパターンを用いて前記透視投影変換画像をスキャンしてオブジェクトを検出するオブジェクト検出手段と、を備えた。
【０００９】
上記構成によれば、全方位動画像の動き領域を検出して、その動き領域のみを透視投影変換して透視投影変換画像を生成し、生成した透視投影変換画像に対して、オブジェクトパターンを用いてスキャンしてオブジェクトを検出するので、全方位動画像から容易に（即ち高負荷にならず）、人物等のオブジェクトを効率よく検出することができる。
【００１０】
上記構成のオブジェクト検出装置において、前記全方位動画像の中心部では前記オブジェクトパターンの種別を判定し、前記全方位動画像の周辺部では前記オブジェクト検出手段によって検出された前記オブジェクトの追跡を行うことを特徴とする。
【００１１】
上記構成によれば、人物等のオブジェクトの検出は全方位動画像の中心部で行いオブジェクト検出後の追跡では全方位動画像の周辺部で行うので、処理量の削減が可能となる。つまり、人物等のオブジェクトの検出は大きな画像で行い、その後の追跡では小さな画像で行うので、処理量の削減が可能となる。
【００１２】
上記構成のオブジェクト検出装置において、前記パターン保持手段の保持する前記オブジェクトパターンの大きさは、前記動き領域の前記全方位動画像の中心からの距離によって可変であることを特徴とする。
【００１３】
上記構成によれば、オブジェクトパターンの大きさを、動き領域の全方位動画像の中心からの距離によって変えることで、オブジェクトを容易に且つ短時間で検出することが可能となる。
【００１４】
上記構成のオブジェクト検出装置において、前記動き領域を、前記全方位動画像の中心からの距離に応じた標準検出サイズを保持する検出サイズ保持手段によって、フィルタリングして前記標準検出サイズに応じた領域のみを検出する。
【００１５】
上記構成によれば、全方位動画像の中心からの距離に応じた標準検出サイズに応じた領域のみを検出するので、処理量の削減が可能となる。
【００１６】
上記構成のオブジェクト検出装置において、前記動き領域検出手段の検出する前記動き領域は、扇形である。
【００１７】
この構成によれば、全方位動画像の取得をカメラで撮像して得る場合に、動き領域を扇形にすることにより、全方位画像では扇形となっている領域が、透視投影画像では矩形領域となることから、検出領域を透視投影画像に変換して描画することで検出領域の視認性を向上することが可能となる。
【００１８】
本発明のオブジェクト検出追跡装置は、第１の全方位動画像を取得する第１の取得手段と、前記第１の全方位動画像より小さな第２の全方位動画像を取得する第２の取得手段と、前記第１の全方位動画像からオブジェクトを検出するオブジェクト検出手段と、前記検出されたオブジェクトの領域位置に対応する前記第２の全方位動画像における位置を算出する算出手段と、前記算出された位置を元に前記第２の全方位動画像で前記オブジェクトを追跡する追跡手段と、を備えた。
【００１９】
上記構成によれば、検出したオブジェクトを第１の全方位動画像より小さな第２の全方位動画像で追跡するので、オブジェクト追跡における処理量の削減が可能となり、効率のよい追跡が可能となる。
【００２０】
上記構成のオブジェクト検出追跡装置において、第２の全方位動画像で前記オブジェクトを追跡する追跡手段は、探索する範囲を扇形に制限する。
【００２１】
この構成によれば、全方位動画像の取得をカメラで撮像して得る場合に、全方位画像上でオブジェクトが上下左右に動く際、矩形の範囲ではなく、扇形の範囲で探索範囲を制限することにより、透視投影画像上で矩形の範囲で探索範囲を制限することと同様な効果を獲得することができ、オブジェクトを容易に且つ効率的に検出することが可能となる。
【００２２】
本発明のオブジェクト検出方法は、全方位動画像の動き領域を検出する動き領域検出ステップと、前記動き領域検出ステップで検出された前記動き領域を透視投影変換して透視投影変換画像を生成する透視投影変換ステップと、オブジェクトパターンを保持するパターン保持ステップと、前記パターン保持ステップで保持する前記オブジェクトパターンを用いて前記透視投影変換画像をスキャンしてオブジェクトを検出するオブジェクト検出ステップと、を備えた。
【００２３】
この方法によれば、全方位動画像の動き領域を検出して、その動き領域のみを透視投影変換して透視投影変換画像を生成し、生成した透視投影変換画像に対して、オブジェクトパターンを用いてスキャンしてオブジェクトを検出するので、全方位動画像から容易に（即ち高負荷にならず）、人物等のオブジェクトを効率よく検出することができる。
【００２４】
本発明のオブジェクト検出追跡方法は、第１の全方位動画像を取得する第１の取得ステップと、前記第１の全方位動画像より小さな第２の全方位動画像を取得する第２の取得ステップと、前記第１の全方位動画像からオブジェクトを検出するオブジェクト検出ステップと、前記検出されたオブジェクトの領域位置に対応する前記第２の全方位動画像における位置を算出する算出ステップと、前記算出された位置を元に前記第２の全方位動画像で前記オブジェクトを追跡する追跡ステップと、を備えた。
【００２５】
この方法によれば、検出したオブジェクトを第１の全方位動画像より小さな第２の全方位動画像で追跡するので、オブジェクト追跡における処理量の削減が可能となり、効率のよい追跡が可能となる。
【発明の効果】
【００２６】
本発明は、全方位動画像の動き領域を検出して、その動き領域のみを透視投影変換して透視投影変換画像を生成し、生成した透視投影変換画像に対して、オブジェクトパターンを用いてスキャンしてオブジェクトを検出するので、全方位動画像から容易に即ち高負荷にならず、人物等のオブジェクトを効率よく検出することができる。
【発明を実施するための最良の形態】
【００２７】
以下、本発明を実施するための好適な実施の形態について、図面を参照して詳細に説明する。
【００２８】
図１は、本発明の一実施の形態に係るオブジェクト検出追跡装置の概略構成を示すブロック図である。図２は、本実施の形態に係るオブジェクト検出追跡装置のカメラ装置を示す図である。図１において、本実施の形態のオブジェクト検出追跡装置１は、画像入力部１０と、前景抽出部１１と、検知サイズ設定部１２と、領域判定部１３と、画像変換部１４と、オブジェクト検出部１５と、探索範囲設定部１６と、出力部１７と、オブジェクト追跡部１８と、撮像特性パラメータ保持部１９とを備える。
【００２９】
図２において、カメラ装置２０は、カメラ２１と反射部２２と反射鏡２３とから構成される。反射部２２は、大型の反射鏡２２ａと、反射鏡２２ａの回りに等間隔で配置される４個の小型の反射鏡２２ｂとから構成される。大型の反射鏡２２ａ及び小型の４個の反射鏡２２ｂ（図面奧側の２個の反射鏡２２ｂは図面手前側の２個の反射鏡２２ｂに隠れていて見えてない）はそれぞれ略半球状に形成されている。大型の反射鏡２２ａの頂点部分には孔２２ａ１が開けられており、この孔２２ａ１の前方に反射鏡２３が配置される。カメラ２１は、反射鏡２２ａの内側で、かつ反射鏡２２ａの孔２２ａ１に撮影方向を向けて配置される。
【００３０】
このような構成のカメラ装置２０において、被写体（図示略）から反射した光が大型の反射鏡２２ａ及び４個の小型の反射鏡２２ｂに反射し、更に反射鏡２３に反射して大型の反射鏡２２ａに開けられた孔２２ａ１を通ってカメラ２１に入射する。カメラ２１は反射部２２と反射鏡２３より得られる画像を撮像する。図３は、カメラ装置２０で撮像された全方位画像の一例を示す図である。大型の反射鏡２２ａより得られる全方位画像は、小型の反射鏡２２ｂより得られる全方位画像と比べて大きいことから高解像度の画像であり、小型の反射鏡２２ｂより得られる画像は低解像度の画像である。なお、詳細は後述するが、本実施の形態では、大型の反射鏡２２ａより得られる高解像度の画像でオブジェクトパターンの種別を判定し、小型の反射鏡２２ｂより得られる低解像度の画像で人物等のオブジェクトの追跡を行う。
【００３１】
図１に戻り、画像入力部１０は、カメラ装置２０で撮像して得られた全方位動画像を入力する。前景抽出部１１は、画像入力部１０で入力された全方位動画像から動き領域である前景領域を含む矩形領域を抽出する。この場合、入力される全方位動画像は、大型の反射鏡２２ａより得られる高解像度の画像である。また、前景を含む矩形領域とは、図４に示すように、上下左右の最大領域を同心円状の扇形で囲んだものである。扇形の旋回度（扇形の曲がり具合）は、撮像特性パラメータ保持部１９により導出される。検知サイズ設定部１２は、前景抽出部１１が抽出する矩形領域に対するオブジェクトパターンのサイズの設定を行う。オブジェクトパターンのサイズの設定は、矩形領域の全方位動画像の中心から距離によって可能となっている。検知サイズ設定部１２は、所定位置における画素単位での高さと幅の情報を保持している。例えば、図５において、位置Ｐ１においては、幅：３画素、高さ：１０画素の情報を保持し、位置Ｐ２においては、幅：２画素、高さ：８画素の情報を保持し、位置Ｐ３においては、幅：２画素、高さ：６画素の情報を保持している。
【００３２】
領域判定部１３は、前景抽出部１１で抽出された矩形領域が検知サイズ設定部１２で設定されたサイズのオブジェクトパターンに合致しているかどうかを判定し、合致していると判断すると、当該矩形領域を画像変換部１４に通知する。画像変換部１４は、領域判定部１３から通知を受けた矩形領域を透視投影画像に変換し、オブジェクト検出部１５に通知する。オブジェクト検出部１５は、画像変換部１４から通知を受けた透視投影画像に対してオブジェクトを検出する処理を行う。そして、オブジェクトを検出した場合は、検出したオブジェクトの位置情報や矩形情報を出力部１７及び探索範囲設定部１６に通知する。
【００３３】
探索範囲設定部１６は、オブジェクト検出部１５より通知を受けたオブジェクトの位置情報や矩形情報からオブジェクトを探索するための探索範囲を設定する。ここで、画像入力部１０には高解像度画像と低解像度画像が一枚の画像として入力されるので、探索範囲設定部１６は撮像特性パラメータ保持部１９に保持されている位置情報に基づき、高解像度画像と低解像度画像のそれぞれの探索位置を特定する。
【００３４】
オブジェクト追跡部１８は、オブジェクト検出部１５から通知を受けたフレームに続くフレームから、探索範囲設定部１６で設定された探索範囲を用いて全方位動画像によりオブジェクトの追跡を行い、追尾結果としての位置情報や矩形情報を出力部１７に通知する。この場合、入力される全方位動画像は、小型の反射鏡２２ｂより得られる低解像度の画像である。また、オブジェクト追跡部１８は、連続的に追尾を行うことを可能にするため、得られた追尾結果を探索範囲設定部１６にも通知し、次フレームの探索範囲を設定させる。撮像特性パラメータ保持部１９は、カメラの特性に応じて検知サイズの設定を行ったり、探索範囲設定を行ったりするためのカメラパラメータ、あるいはカメラ映像の各位置における人物の大きさ情報などを保持する。
【００３５】
図６は、オブジェクト検出処理過程を示す模式図である。同図において、カメラ装置２０から得られた全方位画像に対して動き部分を抽出して展開し、その領域のみに人物パターンを用いたスキャンを行う。図６では２人の人物が写っており、カメラ装置２０からの距離の違いから大きさが異なっていることから、それぞれの人物に対応する人物パターン３０又は３１を用いて、それぞれの人物に対してスキャンを行う。動き部分を抽出してその部分のみ展開することで展開処理を最小限で済ませることができる。
【００３６】
以上のように本実施の形態のオブジェクト検出追跡装置１によれば、画像入力部１０により入力された高解像度の画像に対して、前景抽出部１１が前景領域を含む矩形領域を抽出し、その抽出された矩形領域が検知サイズ設定部１２に設定された設定値に合致しているかどうかを領域判定部１３が判定し、合致していた場合、画像変換部１４が透視投影画像に変換し、変換された透視投影画像に対して、オブジェクト検出部１５がオブジェクト検出処理を行う。そして、オブジェクトを検出すると、その後のフレーム以降は、探索範囲設定部１６が設定した探索範囲を用いて、低解像度の全方位画像によりオブジェクトの追跡を行うので、全方位動画像から容易に（即ち高負荷にならず）、オブジェクトを効率よく検出することができるとともに、効率よく追跡することができる。
【００３７】
上記オブジェクトの検出は、全方位動画像の中心部で行い、オブジェクト検出後の追跡では全方位動画像の周辺部で行う。これにより、処理量の削減が可能となる。つまり、人物等のオブジェクトの検出は大きな画像で行い、その後の追跡では小さな画像で行うので、処理量の削減が可能となる。
【００３８】
また、オブジェクトパターンの大きさを、動き領域の全方位動画像の中心からの距離によって変えることで、オブジェクトを容易に且つ短時間で検出することができる。
【００３９】
また、全方位動画像の中心からの距離に応じた標準検出サイズに応じた領域のみを検出することで、処理量の削減が可能となる。
【００４０】
また、全方位動画像の取得をカメラ装置２０で撮像して得る場合に、最適な動き領域を検出することができ、オブジェクトを容易に且つ短時間で検出することができる。
【００４１】
また、検出したオブジェクトを大型の反射鏡２２ａで得られる画像より小型の反射鏡２２ｂで得られる小さな画像で追跡するので、オブジェクト追跡における処理量の削減が可能となり、効率のよい追跡ができる。
【００４２】
なお、本実施の形態において、探索範囲設定部１６及びオブジェクト追跡部１８を除く各部分がオブジェクト検出装置を構成する。
【産業上の利用可能性】
【００４３】
本発明は、全方位動画像から人物等のオブジェクトを検出する際の処理量の削減ができるといった効果を有し、監視システムなどへの適用が可能である。
【図面の簡単な説明】
【００４４】
【図１】本発明の一実施の形態に係るオブジェクト検出追跡装置の概略構成を示すブロック図
【図２】図１のオブジェクト検出追跡装置のカメラ装置を示す図
【図３】図２のカメラ装置で撮像して得られた画像の一例を示す図
【図４】前景を含む矩形領域の一例を示す図
【図５】抽出する矩形領域に対するサイズの設定を説明するための図
【図６】オブジェクト検出処理過程を示す模式図
【図７】全方位画像の一例を示す図
【図８】同じサイズで方向の異なるサンプルパターンの一例を示す図
【図９】図７の全方位画像において全画素を展開してなる透視投影画像の一例を示す図
【符号の説明】
【００４５】
１ オブジェクト検出追跡装置
１０ 画像入力部
１１ 前景抽出部
１２ 検知サイズ設定部
１３ 領域判定部
１４ 画像変換部
１５ オブジェクト検出部
１６ 探索範囲設定部
１７ 出力部
１８ オブジェクト追跡部
１９ 撮像特性パラメータ保持部
２０ カメラ装置
２１ カメラ
２２ 反射部
２２ａ、２２ｂ、２３ 反射鏡
２２ａ１ 孔
３０、３１ 人物パターン
【技術分野】
【０００１】
本発明は、全方位動画像から人物等のオブジェクトを検出するオブジェクト検出装置及びオブジェクト検出方法に関する。
【背景技術】
【０００２】
魚眼レンズカメラを用いて複数の人物像を同時に追尾する技術として、例えば特許文献１で開示されたものが知られている。また、一般的なカメラで撮像して得られた二次元画像から人物の顔を検出する技術として、例えば特許文献２や特許文献３で開示されたものが知られている。
【０００３】
魚眼レンズカメラで撮像して得られた全方位動画像から人物を検出する方法として、従来、以下に示す方法がある。
（１）全方位の人物サンプルと、全方位の人物サンプルのそれぞれに対応する人物サイズのサンプルパターンを用意して人物を検出する。即ち、図７に示す全方位動画像の１フレーム分の画像即ち全方位画像に対して、方向とサイズの両方のサンプルパターンを用いて人物を検出する。図８に、同じサイズで方向の異なるサンプルパターンの一例を示す。
【０００４】
（２）全方位画像を一旦全画素、透視投影画像へ変換を行った後に、対応する人物サイズのサンプルパターンを用意して人物の検索を行う。図９は、図７の全方位画像において全画素を展開してなる透視投影画像の一例を示す図である。全方位画像を透視投影画像に変換することで、方向の異なる人物サンプルが不要となる。
【０００５】
【特許文献１】特開２００１−３３３４２２号公報
【非特許文献１】H.Rowley, "Neural Network-based Face Detection", IEEE PAMI, Vol.20, No.1, 1998, pp.23-38
【非特許文献２】P.Viola, "Robust Real-time Face Detection", IJCV, No.2, 2004, pp.137-154
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述した（１）、（２）の方法のうち、（１）の方法においては、全方位の人物サンプルと、各方向に対応する人物サイズのサンプルパターンの両方を用意しなければならないため、処理量が多くなり、効率が良くない。また、（２）の方法においては、方向の異なる人物サンプルは不要になるものの、全画素を展開するため処理量が多く、特にメガピクセルでは更に増大する。また、展開後は補間処理が入るため、処理画素が増加（例えば約１．６倍）する。
【０００７】
本発明は、係る事情に鑑みてなされたものであり、全方位動画像から人物等のオブジェクトを検出する際の処理量の削減が可能なオブジェクト検出装置及びオブジェクト検出方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明のオブジェクト検出装置は、全方位動画像の動き領域を検出する動き領域検出手段と、前記動き領域検出手段によって検出された前記動き領域を透視投影変換して透視投影変換画像を生成する透視投影変換手段と、オブジェクトパターンを保持するパターン保持手段と、前記パターン保持手段の保持する前記オブジェクトパターンを用いて前記透視投影変換画像をスキャンしてオブジェクトを検出するオブジェクト検出手段と、を備えた。
【０００９】
上記構成によれば、全方位動画像の動き領域を検出して、その動き領域のみを透視投影変換して透視投影変換画像を生成し、生成した透視投影変換画像に対して、オブジェクトパターンを用いてスキャンしてオブジェクトを検出するので、全方位動画像から容易に（即ち高負荷にならず）、人物等のオブジェクトを効率よく検出することができる。
【００１０】
上記構成のオブジェクト検出装置において、前記全方位動画像の中心部では前記オブジェクトパターンの種別を判定し、前記全方位動画像の周辺部では前記オブジェクト検出手段によって検出された前記オブジェクトの追跡を行うことを特徴とする。
【００１１】
上記構成によれば、人物等のオブジェクトの検出は全方位動画像の中心部で行いオブジェクト検出後の追跡では全方位動画像の周辺部で行うので、処理量の削減が可能となる。つまり、人物等のオブジェクトの検出は大きな画像で行い、その後の追跡では小さな画像で行うので、処理量の削減が可能となる。
【００１２】
上記構成のオブジェクト検出装置において、前記パターン保持手段の保持する前記オブジェクトパターンの大きさは、前記動き領域の前記全方位動画像の中心からの距離によって可変であることを特徴とする。
【００１３】
上記構成によれば、オブジェクトパターンの大きさを、動き領域の全方位動画像の中心からの距離によって変えることで、オブジェクトを容易に且つ短時間で検出することが可能となる。
【００１４】
上記構成のオブジェクト検出装置において、前記動き領域を、前記全方位動画像の中心からの距離に応じた標準検出サイズを保持する検出サイズ保持手段によって、フィルタリングして前記標準検出サイズに応じた領域のみを検出する。
【００１５】
上記構成によれば、全方位動画像の中心からの距離に応じた標準検出サイズに応じた領域のみを検出するので、処理量の削減が可能となる。
【００１６】
上記構成のオブジェクト検出装置において、前記動き領域検出手段の検出する前記動き領域は、扇形である。
【００１７】
この構成によれば、全方位動画像の取得をカメラで撮像して得る場合に、動き領域を扇形にすることにより、全方位画像では扇形となっている領域が、透視投影画像では矩形領域となることから、検出領域を透視投影画像に変換して描画することで検出領域の視認性を向上することが可能となる。
【００１８】
本発明のオブジェクト検出追跡装置は、第１の全方位動画像を取得する第１の取得手段と、前記第１の全方位動画像より小さな第２の全方位動画像を取得する第２の取得手段と、前記第１の全方位動画像からオブジェクトを検出するオブジェクト検出手段と、前記検出されたオブジェクトの領域位置に対応する前記第２の全方位動画像における位置を算出する算出手段と、前記算出された位置を元に前記第２の全方位動画像で前記オブジェクトを追跡する追跡手段と、を備えた。
【００１９】
上記構成によれば、検出したオブジェクトを第１の全方位動画像より小さな第２の全方位動画像で追跡するので、オブジェクト追跡における処理量の削減が可能となり、効率のよい追跡が可能となる。
【００２０】
上記構成のオブジェクト検出追跡装置において、第２の全方位動画像で前記オブジェクトを追跡する追跡手段は、探索する範囲を扇形に制限する。
【００２１】
この構成によれば、全方位動画像の取得をカメラで撮像して得る場合に、全方位画像上でオブジェクトが上下左右に動く際、矩形の範囲ではなく、扇形の範囲で探索範囲を制限することにより、透視投影画像上で矩形の範囲で探索範囲を制限することと同様な効果を獲得することができ、オブジェクトを容易に且つ効率的に検出することが可能となる。
【００２２】
本発明のオブジェクト検出方法は、全方位動画像の動き領域を検出する動き領域検出ステップと、前記動き領域検出ステップで検出された前記動き領域を透視投影変換して透視投影変換画像を生成する透視投影変換ステップと、オブジェクトパターンを保持するパターン保持ステップと、前記パターン保持ステップで保持する前記オブジェクトパターンを用いて前記透視投影変換画像をスキャンしてオブジェクトを検出するオブジェクト検出ステップと、を備えた。
【００２３】
この方法によれば、全方位動画像の動き領域を検出して、その動き領域のみを透視投影変換して透視投影変換画像を生成し、生成した透視投影変換画像に対して、オブジェクトパターンを用いてスキャンしてオブジェクトを検出するので、全方位動画像から容易に（即ち高負荷にならず）、人物等のオブジェクトを効率よく検出することができる。
【００２４】
本発明のオブジェクト検出追跡方法は、第１の全方位動画像を取得する第１の取得ステップと、前記第１の全方位動画像より小さな第２の全方位動画像を取得する第２の取得ステップと、前記第１の全方位動画像からオブジェクトを検出するオブジェクト検出ステップと、前記検出されたオブジェクトの領域位置に対応する前記第２の全方位動画像における位置を算出する算出ステップと、前記算出された位置を元に前記第２の全方位動画像で前記オブジェクトを追跡する追跡ステップと、を備えた。
【００２５】
この方法によれば、検出したオブジェクトを第１の全方位動画像より小さな第２の全方位動画像で追跡するので、オブジェクト追跡における処理量の削減が可能となり、効率のよい追跡が可能となる。
【発明の効果】
【００２６】
本発明は、全方位動画像の動き領域を検出して、その動き領域のみを透視投影変換して透視投影変換画像を生成し、生成した透視投影変換画像に対して、オブジェクトパターンを用いてスキャンしてオブジェクトを検出するので、全方位動画像から容易に即ち高負荷にならず、人物等のオブジェクトを効率よく検出することができる。
【発明を実施するための最良の形態】
【００２７】
以下、本発明を実施するための好適な実施の形態について、図面を参照して詳細に説明する。
【００２８】
図１は、本発明の一実施の形態に係るオブジェクト検出追跡装置の概略構成を示すブロック図である。図２は、本実施の形態に係るオブジェクト検出追跡装置のカメラ装置を示す図である。図１において、本実施の形態のオブジェクト検出追跡装置１は、画像入力部１０と、前景抽出部１１と、検知サイズ設定部１２と、領域判定部１３と、画像変換部１４と、オブジェクト検出部１５と、探索範囲設定部１６と、出力部１７と、オブジェクト追跡部１８と、撮像特性パラメータ保持部１９とを備える。
【００２９】
図２において、カメラ装置２０は、カメラ２１と反射部２２と反射鏡２３とから構成される。反射部２２は、大型の反射鏡２２ａと、反射鏡２２ａの回りに等間隔で配置される４個の小型の反射鏡２２ｂとから構成される。大型の反射鏡２２ａ及び小型の４個の反射鏡２２ｂ（図面奧側の２個の反射鏡２２ｂは図面手前側の２個の反射鏡２２ｂに隠れていて見えてない）はそれぞれ略半球状に形成されている。大型の反射鏡２２ａの頂点部分には孔２２ａ１が開けられており、この孔２２ａ１の前方に反射鏡２３が配置される。カメラ２１は、反射鏡２２ａの内側で、かつ反射鏡２２ａの孔２２ａ１に撮影方向を向けて配置される。
【００３０】
このような構成のカメラ装置２０において、被写体（図示略）から反射した光が大型の反射鏡２２ａ及び４個の小型の反射鏡２２ｂに反射し、更に反射鏡２３に反射して大型の反射鏡２２ａに開けられた孔２２ａ１を通ってカメラ２１に入射する。カメラ２１は反射部２２と反射鏡２３より得られる画像を撮像する。図３は、カメラ装置２０で撮像された全方位画像の一例を示す図である。大型の反射鏡２２ａより得られる全方位画像は、小型の反射鏡２２ｂより得られる全方位画像と比べて大きいことから高解像度の画像であり、小型の反射鏡２２ｂより得られる画像は低解像度の画像である。なお、詳細は後述するが、本実施の形態では、大型の反射鏡２２ａより得られる高解像度の画像でオブジェクトパターンの種別を判定し、小型の反射鏡２２ｂより得られる低解像度の画像で人物等のオブジェクトの追跡を行う。
【００３１】
図１に戻り、画像入力部１０は、カメラ装置２０で撮像して得られた全方位動画像を入力する。前景抽出部１１は、画像入力部１０で入力された全方位動画像から動き領域である前景領域を含む矩形領域を抽出する。この場合、入力される全方位動画像は、大型の反射鏡２２ａより得られる高解像度の画像である。また、前景を含む矩形領域とは、図４に示すように、上下左右の最大領域を同心円状の扇形で囲んだものである。扇形の旋回度（扇形の曲がり具合）は、撮像特性パラメータ保持部１９により導出される。検知サイズ設定部１２は、前景抽出部１１が抽出する矩形領域に対するオブジェクトパターンのサイズの設定を行う。オブジェクトパターンのサイズの設定は、矩形領域の全方位動画像の中心から距離によって可能となっている。検知サイズ設定部１２は、所定位置における画素単位での高さと幅の情報を保持している。例えば、図５において、位置Ｐ１においては、幅：３画素、高さ：１０画素の情報を保持し、位置Ｐ２においては、幅：２画素、高さ：８画素の情報を保持し、位置Ｐ３においては、幅：２画素、高さ：６画素の情報を保持している。
【００３２】
領域判定部１３は、前景抽出部１１で抽出された矩形領域が検知サイズ設定部１２で設定されたサイズのオブジェクトパターンに合致しているかどうかを判定し、合致していると判断すると、当該矩形領域を画像変換部１４に通知する。画像変換部１４は、領域判定部１３から通知を受けた矩形領域を透視投影画像に変換し、オブジェクト検出部１５に通知する。オブジェクト検出部１５は、画像変換部１４から通知を受けた透視投影画像に対してオブジェクトを検出する処理を行う。そして、オブジェクトを検出した場合は、検出したオブジェクトの位置情報や矩形情報を出力部１７及び探索範囲設定部１６に通知する。
【００３３】
探索範囲設定部１６は、オブジェクト検出部１５より通知を受けたオブジェクトの位置情報や矩形情報からオブジェクトを探索するための探索範囲を設定する。ここで、画像入力部１０には高解像度画像と低解像度画像が一枚の画像として入力されるので、探索範囲設定部１６は撮像特性パラメータ保持部１９に保持されている位置情報に基づき、高解像度画像と低解像度画像のそれぞれの探索位置を特定する。
【００３４】
オブジェクト追跡部１８は、オブジェクト検出部１５から通知を受けたフレームに続くフレームから、探索範囲設定部１６で設定された探索範囲を用いて全方位動画像によりオブジェクトの追跡を行い、追尾結果としての位置情報や矩形情報を出力部１７に通知する。この場合、入力される全方位動画像は、小型の反射鏡２２ｂより得られる低解像度の画像である。また、オブジェクト追跡部１８は、連続的に追尾を行うことを可能にするため、得られた追尾結果を探索範囲設定部１６にも通知し、次フレームの探索範囲を設定させる。撮像特性パラメータ保持部１９は、カメラの特性に応じて検知サイズの設定を行ったり、探索範囲設定を行ったりするためのカメラパラメータ、あるいはカメラ映像の各位置における人物の大きさ情報などを保持する。
【００３５】
図６は、オブジェクト検出処理過程を示す模式図である。同図において、カメラ装置２０から得られた全方位画像に対して動き部分を抽出して展開し、その領域のみに人物パターンを用いたスキャンを行う。図６では２人の人物が写っており、カメラ装置２０からの距離の違いから大きさが異なっていることから、それぞれの人物に対応する人物パターン３０又は３１を用いて、それぞれの人物に対してスキャンを行う。動き部分を抽出してその部分のみ展開することで展開処理を最小限で済ませることができる。
【００３６】
以上のように本実施の形態のオブジェクト検出追跡装置１によれば、画像入力部１０により入力された高解像度の画像に対して、前景抽出部１１が前景領域を含む矩形領域を抽出し、その抽出された矩形領域が検知サイズ設定部１２に設定された設定値に合致しているかどうかを領域判定部１３が判定し、合致していた場合、画像変換部１４が透視投影画像に変換し、変換された透視投影画像に対して、オブジェクト検出部１５がオブジェクト検出処理を行う。そして、オブジェクトを検出すると、その後のフレーム以降は、探索範囲設定部１６が設定した探索範囲を用いて、低解像度の全方位画像によりオブジェクトの追跡を行うので、全方位動画像から容易に（即ち高負荷にならず）、オブジェクトを効率よく検出することができるとともに、効率よく追跡することができる。
【００３７】
上記オブジェクトの検出は、全方位動画像の中心部で行い、オブジェクト検出後の追跡では全方位動画像の周辺部で行う。これにより、処理量の削減が可能となる。つまり、人物等のオブジェクトの検出は大きな画像で行い、その後の追跡では小さな画像で行うので、処理量の削減が可能となる。
【００３８】
また、オブジェクトパターンの大きさを、動き領域の全方位動画像の中心からの距離によって変えることで、オブジェクトを容易に且つ短時間で検出することができる。
【００３９】
また、全方位動画像の中心からの距離に応じた標準検出サイズに応じた領域のみを検出することで、処理量の削減が可能となる。
【００４０】
また、全方位動画像の取得をカメラ装置２０で撮像して得る場合に、最適な動き領域を検出することができ、オブジェクトを容易に且つ短時間で検出することができる。
【００４１】
また、検出したオブジェクトを大型の反射鏡２２ａで得られる画像より小型の反射鏡２２ｂで得られる小さな画像で追跡するので、オブジェクト追跡における処理量の削減が可能となり、効率のよい追跡ができる。
【００４２】
なお、本実施の形態において、探索範囲設定部１６及びオブジェクト追跡部１８を除く各部分がオブジェクト検出装置を構成する。
【産業上の利用可能性】
【００４３】
本発明は、全方位動画像から人物等のオブジェクトを検出する際の処理量の削減ができるといった効果を有し、監視システムなどへの適用が可能である。
【図面の簡単な説明】
【００４４】
【図１】本発明の一実施の形態に係るオブジェクト検出追跡装置の概略構成を示すブロック図
【図２】図１のオブジェクト検出追跡装置のカメラ装置を示す図
【図３】図２のカメラ装置で撮像して得られた画像の一例を示す図
【図４】前景を含む矩形領域の一例を示す図
【図５】抽出する矩形領域に対するサイズの設定を説明するための図
【図６】オブジェクト検出処理過程を示す模式図
【図７】全方位画像の一例を示す図
【図８】同じサイズで方向の異なるサンプルパターンの一例を示す図
【図９】図７の全方位画像において全画素を展開してなる透視投影画像の一例を示す図
【符号の説明】
【００４５】
１ オブジェクト検出追跡装置
１０ 画像入力部
１１ 前景抽出部
１２ 検知サイズ設定部
１３ 領域判定部
１４ 画像変換部
１５ オブジェクト検出部
１６ 探索範囲設定部
１７ 出力部
１８ オブジェクト追跡部
１９ 撮像特性パラメータ保持部
２０ カメラ装置
２１ カメラ
２２ 反射部
２２ａ、２２ｂ、２３ 反射鏡
２２ａ１ 孔
３０、３１ 人物パターン
【特許請求の範囲】
【請求項１】
全方位動画像の動き領域を検出する動き領域検出手段と、
前記動き領域検出手段によって検出された前記動き領域を透視投影変換して透視投影変換画像を生成する透視投影変換手段と、
オブジェクトパターンを保持するパターン保持手段と、
前記パターン保持手段の保持する前記オブジェクトパターンを用いて前記透視投影変換画像をスキャンしてオブジェクトを検出するオブジェクト検出手段と、
を備えたオブジェクト検出装置。
【請求項２】
前記全方位動画像の中心部では前記オブジェクトパターンの種別を判定し、前記全方位動画像の周辺部では前記オブジェクト検出手段によって検出された前記オブジェクトの追跡を行うことを特徴とする請求項１に記載のオブジェクト検出装置。
【請求項３】
前記パターン保持手段の保持する前記オブジェクトパターンの大きさは、前記動き領域の前記全方位動画像の中心からの距離によって可変であることを特徴とする請求項１に記載のオブジェクト検出装置。
【請求項４】
前記動き領域を、前記全方位動画像の中心からの距離に応じた標準検出サイズを保持する検出サイズ保持手段によって、フィルタリングして前記標準検出サイズに応じた領域のみを検出することを特徴とする請求項１に記載のオブジェクト検出装置。
【請求項５】
前記動き領域検出手段の検出する前記動き領域は、扇形であることを特徴とする請求項１に記載のオブジェクト検出装置。
【請求項６】
第１の全方位動画像を取得する第１の取得手段と、
前記第１の全方位動画像より小さな第２の全方位動画像を取得する第２の取得手段と、
前記第１の全方位動画像からオブジェクトを検出するオブジェクト検出手段と、
前記検出されたオブジェクトの領域位置に対応する前記第２の全方位動画像における位置を算出する算出手段と、
前記算出された位置を元に前記第２の全方位動画像で前記オブジェクトを追跡する追跡手段と、
を備えたオブジェクト検出追跡装置。
【請求項７】
第２の全方位動画像で前記オブジェクトを追跡する追跡手段は、探索する範囲を扇形に制限することを特徴とする請求項６に記載のオブジェクト検出追跡装置。
【請求項８】
全方位動画像の動き領域を検出する動き領域検出ステップと、
前記動き領域検出ステップで検出された前記動き領域を透視投影変換して透視投影変換画像を生成する透視投影変換ステップと、
オブジェクトパターンを保持するパターン保持ステップと、
前記パターン保持ステップで保持する前記オブジェクトパターンを用いて前記透視投影変換画像をスキャンしてオブジェクトを検出するオブジェクト検出ステップと、
を備えたオブジェクト検出方法。
【請求項９】
第１の全方位動画像を取得する第１の取得ステップと、
前記第１の全方位動画像より小さな第２の全方位動画像を取得する第２の取得ステップと、
前記第１の全方位動画像からオブジェクトを検出するオブジェクト検出ステップと、
前記検出されたオブジェクトの領域位置に対応する前記第２の全方位動画像における位置を算出する算出ステップと、
前記算出された位置を元に前記第２の全方位動画像で前記オブジェクトを追跡する追跡ステップと、
を備えたオブジェクト検出追跡方法。
【請求項１】
全方位動画像の動き領域を検出する動き領域検出手段と、
前記動き領域検出手段によって検出された前記動き領域を透視投影変換して透視投影変換画像を生成する透視投影変換手段と、
オブジェクトパターンを保持するパターン保持手段と、
前記パターン保持手段の保持する前記オブジェクトパターンを用いて前記透視投影変換画像をスキャンしてオブジェクトを検出するオブジェクト検出手段と、
を備えたオブジェクト検出装置。
【請求項２】
前記全方位動画像の中心部では前記オブジェクトパターンの種別を判定し、前記全方位動画像の周辺部では前記オブジェクト検出手段によって検出された前記オブジェクトの追跡を行うことを特徴とする請求項１に記載のオブジェクト検出装置。
【請求項３】
前記パターン保持手段の保持する前記オブジェクトパターンの大きさは、前記動き領域の前記全方位動画像の中心からの距離によって可変であることを特徴とする請求項１に記載のオブジェクト検出装置。
【請求項４】
前記動き領域を、前記全方位動画像の中心からの距離に応じた標準検出サイズを保持する検出サイズ保持手段によって、フィルタリングして前記標準検出サイズに応じた領域のみを検出することを特徴とする請求項１に記載のオブジェクト検出装置。
【請求項５】
前記動き領域検出手段の検出する前記動き領域は、扇形であることを特徴とする請求項１に記載のオブジェクト検出装置。
【請求項６】
第１の全方位動画像を取得する第１の取得手段と、
前記第１の全方位動画像より小さな第２の全方位動画像を取得する第２の取得手段と、
前記第１の全方位動画像からオブジェクトを検出するオブジェクト検出手段と、
前記検出されたオブジェクトの領域位置に対応する前記第２の全方位動画像における位置を算出する算出手段と、
前記算出された位置を元に前記第２の全方位動画像で前記オブジェクトを追跡する追跡手段と、
を備えたオブジェクト検出追跡装置。
【請求項７】
第２の全方位動画像で前記オブジェクトを追跡する追跡手段は、探索する範囲を扇形に制限することを特徴とする請求項６に記載のオブジェクト検出追跡装置。
【請求項８】
全方位動画像の動き領域を検出する動き領域検出ステップと、
前記動き領域検出ステップで検出された前記動き領域を透視投影変換して透視投影変換画像を生成する透視投影変換ステップと、
オブジェクトパターンを保持するパターン保持ステップと、
前記パターン保持ステップで保持する前記オブジェクトパターンを用いて前記透視投影変換画像をスキャンしてオブジェクトを検出するオブジェクト検出ステップと、
を備えたオブジェクト検出方法。
【請求項９】
第１の全方位動画像を取得する第１の取得ステップと、
前記第１の全方位動画像より小さな第２の全方位動画像を取得する第２の取得ステップと、
前記第１の全方位動画像からオブジェクトを検出するオブジェクト検出ステップと、
前記検出されたオブジェクトの領域位置に対応する前記第２の全方位動画像における位置を算出する算出ステップと、
前記算出された位置を元に前記第２の全方位動画像で前記オブジェクトを追跡する追跡ステップと、
を備えたオブジェクト検出追跡方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１０−１９９７１３（Ｐ２０１０−１９９７１３Ａ）
【公開日】平成２２年９月９日（２０１０．９．９）
【国際特許分類】
【出願番号】特願２００９−３９４６８（Ｐ２００９−３９４６８）
【出願日】平成２１年２月２３日（２００９．２．２３）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２２年９月９日（２０１０．９．９）
【国際特許分類】
【出願日】平成２１年２月２３日（２００９．２．２３）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]