移動物体検出装置、移動物体検出方法、移動物体検出プログラム、映像復号化装置、映像符号化装置、撮像装置及び映像管理システム
【課題】移動物体の検出を高速かつ高精度かつ低処理負荷で行うことができる移動物体検出方法および装置を提供する。
【解決手段】画像を縮小画像、水平方向成分、垂直方向成分および対角方向成分に分割する帯域分割方法、および、動き予測補償符号化を用いて映像符号化された映像ストリームから動きの情報を抽出する動き情報抽出手段１０２と、映像ストリームの最上位ビット平面から順に１以上のビット平面から水平方向成分、垂直方向成分および対角方向成分の情報を抽出するエッジ情報抽出手段１０３と、抽出した動き情報とエッジ情報とを用いて移動物体を検出し、その検出結果を出力する移動物体検出手段１０６とを有することにより、映像ストリームを復号化する必要がないので、高速かつ高精度かつ低処理負荷で移動物体を検出することができる。
【解決手段】画像を縮小画像、水平方向成分、垂直方向成分および対角方向成分に分割する帯域分割方法、および、動き予測補償符号化を用いて映像符号化された映像ストリームから動きの情報を抽出する動き情報抽出手段１０２と、映像ストリームの最上位ビット平面から順に１以上のビット平面から水平方向成分、垂直方向成分および対角方向成分の情報を抽出するエッジ情報抽出手段１０３と、抽出した動き情報とエッジ情報とを用いて移動物体を検出し、その検出結果を出力する移動物体検出手段１０６とを有することにより、映像ストリームを復号化する必要がないので、高速かつ高精度かつ低処理負荷で移動物体を検出することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像を符号化して生成した映像ストリームから移動物体を検出する移動物体の検出方法および装置に関する。
【背景技術】
【０００２】
従来より、この移動物体検出装置としては、例えば、特許文献１に記載されているようなものがあった。
【０００３】
この移動物体検出装置は、映像ストリームを復号化することなく、動き予測補償符号化方式に用いた動きベクトルを抽出し、動きベクトルをある領域内の物体の動きとみなして、高速に移動物体を検出するものである。図１８は、特許文献１に記載された従来の移動物体検出装置を示すものである。
【０００４】
図１８において、可変長復号部１８０１で復号化された、画像ブロックの符号化モード、動き補償モードおよび動きベクトル情報と、模様情報検出部１８０２で検出された模様情報とは、移動物体検出処理部１８０３へ送られる。移動物体検出処理部１８０３は、これらの情報を用いて、この画像ブロックが移動物体であるか否かを判別する。この判別には、動きベクトル、空間的類似性判断、時間的類似性判断等を用いて行う。
【特許文献１】特開平１０−７５４５７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記従来の構成では、必ずしも物体の動きを正確に表していない動きベクトルのみに依存しているので、精度が良いとは言えなかった。すなわち、動きベクトルの生成方法としては、符号化中の領域に対して前後の画像から符号化の圧縮率が高くなる参照領域を探索し、その探索した領域への参照を動きベクトルとすることが多い。このため、動きベクトルのみを用いた移動物体の検出は精度が良くなかった。
【０００６】
本発明は、上記課題を解決するためになされたものであり、その目的とするところは、画像を縮小画像、水平方向成分、垂直方向成分および対角方向成分に分割する帯域分割方法、および、動き予測補償符号化を用いて映像符号化された映像ストリームから、移動物体の検出を高速かつ高精度かつ低処理負荷で行うことができる移動物体検出方法および装置を提供することにある。
【課題を解決するための手段】
【０００７】
本発明の移動物体検出装置は、映像を複数レイヤに分けて符号化する階層符号化および動き予測補償符号化を用いて映像符号化された映像ストリームから、動き情報を抽出する動き情報抽出手段と、前記映像ストリームからエッジ情報を抽出するエッジ情報抽出手段と、前記動き情報と前記エッジ情報とを用いて移動物体を検出し、当該検出結果を出力する移動物体検出手段とを有する構成をとる。
【０００８】
この構成によれば、映像ストリームを復号化することなく、物体輪郭を検出可能で、さらに、動きの情報から移動物体の検出が可能で、高速かつ高精度かつ低処理負荷で移動物体を検出することができる。
【０００９】
また、本発明の移動物体検出装置は、さらにエッジ情報抽出手段は、画像をビット平面符号化したビット平面情報のうち、最上位ビット平面からＮ（Ｎは自然数）ビット位ビット平面までのビット平面情報を、前記映像ストリームからエッジ情報として抽出するものである。
【００１０】
この構成によれば、特定のビット平面まで情報を抽出することで特定の強度以上のエッジを検出することが可能で、高速に物体の輪郭を検出することができる。また、特定ビット位以上のビット平面だけで物体の輪郭の検出が可能で、特定ビット位未満のビット平面は必要なく、映像ストリームを通信速度の遅い通信網を介して受信している場合も、低ビットレートで高精度な検出ができる。
【００１１】
また、本発明の移動物体検出装置は、さらに映像ストリームが複数の領域に分割されたものであって、移動物体検出手段は、前記領域内部のビット平面情報の符号長の合計が予め定めた第１の値以上である場合に、前記領域を移動物体の輪郭領域と判定するものである。
【００１２】
この構成によれば、画像のある領域のある閾値のビット位までのビット平面の符号量を確認するだけで領域内に存在するエッジの多さを判定することが可能であり、高速に物体の輪郭を検出することができる。
【００１３】
また、本発明の移動物体検出装置おいて、さらに移動物体検出手段は、前記領域内部の前記ビット平面情報の符号長の合計が、予め定めた第２の値以下である場合に、前記領域を移動物体の輪郭領域と判定するものである。
【００１４】
この構成によれば、物体の輪郭は線であるので、ある領域があまりに多くの水平方向成分、垂直方向成分および対角方向成分を含む場合、例えば、それは縞模様を含む領域であり、移動物体の輪郭ではないと判定し誤検出を防ぐことが可能である。
【００１５】
また、本発明の移動物体検出装置おいて、さらに動き情報抽出手段は、前記移動物体の輪郭領域と判断された領域から動きベクトルを抽出し、移動物体検出手段は、前記動きベクトルの大きさが予め定めた第３の値以上である場合に、前記領域を移動物体の輪郭領域であると判定するものである。
【００１６】
この構成によれば、動いていない物体を移動物体でないと判定し、移動物体の検出の精度を向上することができる。
【００１７】
また、本発明の移動物体検出装置において、さらに動き情報抽出手段は、移動物体の輪郭領域と判断された領域から第１の動きベクトルを抽出するとともに、当該領域の近傍に位置する領域を選択し、選択した領域から第２の動きベクトルを抽出し、前記移動物体検出手段は、前記第１の動きベクトルと、前記第２の動きベクトルとの差分ベクトルの大きさを測定値として算出し、前記測定値が予め定めた第４の値以下である場合、前記選択された領域を移動物体の内部領域であると判定するものである。
【００１８】
この構成によれば、映像の中で移動物体の輪郭の領域は周囲の領域とは異なる速度を持つので、移動物体の輪郭以外の領域を移動物体の領域ではないと判定し、移動物体の検出の精度を向上することができる。
【００１９】
また、本発明の移動物体検出装置において、さらに動き情報抽出手段は、複数の領域を選択し、それぞれの選択領域から動きベクトルを抽出し、移動物体検出手段は、前記選択領域毎に、前記第１の動きベクトルと前記選択された領域の動きベクトルとの差分ベクトルの大きさを求め、全ての選択領域についての差分ベクトルの大きさの合計を前記測定値として算出するものである。
【００２０】
この構成によれば、映像の中で移動物体の輪郭の領域は周囲の領域とは異なる速度を持つので、移動物体の輪郭以外の複数の領域を移動物体の領域ではないと判定し、移動物体の検出の精度を向上することができる。
【００２１】
また、本発明の移動物体検出装置において、さらに前記移動物体検出手段は、前記移動物体の内部領域であると判定された領域の動きベクトルと、前記領域の近傍に位置する領域の動きベクトルとの差分ベクトルの大きさが予め定めた第５の値以下である場合、前記移動物体の領域の内部領域であると判定するものである。
【００２２】
この構成によれば、ある速度で移動する移動物体の、移動物体と判定していない領域を検出することが可能で、移動物体の検出の精度を向上することができる。
【００２３】
また、本発明の移動物体検出装置において、さらに移動物体検出手段は、前記移動物体の輪郭領域又前記移動物体の内部領域と判定された領域により囲まれた領域を、移動物体の内部領域であると判定するものである。
【００２４】
この構成によれば、移動物体の輪郭と判定した内部を移動物体の領域として検出することが可能で、移動物体の検出の精度を向上することができる。
【００２５】
また、本発明の移動物体検出装置において、さらに移動物体検出手段は、第１の移動物体と判定された輪郭領域又は内部領域の近傍に、第２の移動物体の輪郭領域又は内部領域であると判定された領域の数が、予め定めた第６の値以上の場合、前記第１の移動物体と判定された輪郭領域又は内部領域を第１の移動物体であると再判定するものである。
【００２６】
この構成によれば、あまりに小さい領域を移動物体でないと判定することが可能で、移動物体検出の誤検出を低下することができる。
【００２７】
本発明の移動物体検出方法は、映像ストリームから移動物体を検出する方法であって、前記移動物体を検出する移動物体検出装置が実行するところの、映像を複数レイヤに分けて符号化する階層符号化、および、動き予測補償符号化を用いて映像符号化された映像ストリームから動き情報を抽出するステップと、前記映像ストリームからエッジ情報を抽出するステップと、抽出した前記動き情報と前記エッジ情報とを用いて移動物体を検出するステップとを有するものである。
【００２８】
この方法によれば、映像ストリームを復号化することなく、物体の輪郭を検出可能で、さらに、動きの情報から移動物体の検出が可能で、高速かつ高精度かつ低処理負荷で移動物体を検出することができる。
【００２９】
本発明の移動物体検出プログラムは、映像ストリームから移動物体を検出するためにコンピュータを、映像を複数レイヤに分けて符号化する階層符号化および動き予測補償符号化を用いて映像符号化された映像ストリームから動き情報を抽出するステップと、前記映像ストリームからエッジ情報を抽出するステップと、抽出した前記動き情報と前記エッジ情報とを用いて移動物体を検出するステップとを実行させるものである。
【００３０】
このプログラムによれば、映像ストリームを復号化することなく、物体の輪郭を検出可能で、さらに、動きの情報から移動物体の検出が可能で、高速かつ高精度かつ低処理負荷で移動物体を検出することができる。
【００３１】
本発明の映像復号化装置は、映像を複数レイヤに分けて符号化する階層符号化および動き予測補償符号化により符号化した映像ストリームを復号化する映像復号化手段と、前記映像復号化手段が前記映像ストリームを復号化する際に抽出した動き情報およびエッジ情報から移動物体を検出する移動物体検出手段とを有するものである。
【００３２】
この構成によれば、映像復号装置と移動物体検出装置が、一部の処理や手段を共有することができ、映像の復号化と移動物体の検出とを同時に高速に行うことが可能で、かつ、装置全体の規模を小さくすることが可能である。
【００３３】
また、本発明の映像復号化装置において、映像ストリームは複数の領域に分割されたものであって、移動物体検出手段は、前記領域内部のビット平面情報の符号長の合計が予め定めた第１の値以上である場合に、前記領域を移動物体の輪郭領域と判定するものである。
【００３４】
この構成によれば、例えば水平方向成分、垂直方向成分および対角方向成分のある領域のある閾値のビット位までのビット平面の符号量を確認するだけで領域内に存在するエッジの多さを判定することが可能であり、高速に物体の輪郭を検出することができる。
【００３５】
また、本発明の映像復号化装置おいて、さらに移動物体検出手段は、前記領域内部の前記ビット平面情報の符号長の合計が予め定めた第２の値以下である場合に、前記領域を移動物体の輪郭領域と判定するものである。
【００３６】
この構成によれば、物体の輪郭は線であるので、ある領域があまりに多くの水平方向成分、垂直方向成分および対角方向成分を含む場合、例えば、それは縞模様を含む領域であり、移動物体の輪郭ではないと判定し誤検出を防ぐことが可能である。
【００３７】
本発明の映像復号化装置において、さらに映像復号化手段は、移動物体検出手段の検出した移動物体の領域を強調した映像を生成するものである。
【００３８】
この方法によれば、監視者は容易に移動物体を検知することが可能である。
【００３９】
本発明の映像復号化装置において、さらに前記映像復号化手段は、エッジ成分からなる映像を生成し、前記移動物体検出手段の検出した移動物体の領域のみを強調して表示すものである。
【００４０】
これにより、通信速度の制限などにより基本レイヤのビットレートが非常に低く、画質の極端に悪い映像しか生成できないときでも、輪郭のみの方が細部を認識できる場合がある。
【００４１】
また、輪郭からなる映像の中において移動物体のみが非常に目立ち、複数の監視映像を同時に見る監視者にとって異常や不審人物の発生を検知しやすい。あるいは、複数のカメラ映像を表示する場合など、処理能力が限られた環境においても、低処理負荷で、監視上重要な領域を見やすく表示することが可能となる。
【００４２】
本発明の映像符号化装置は、映像を複数レイヤに分けて符号化する階層符号化および動き予測補償符号化を用いて符号化した映像ストリームを生成する映像符号化手段と、映像符号化手段が前記映像を符号化する際に動き情報と、映像のエッジ情報とを抽出して移動物体を検出する移動物体検出手段を有するものである。この構成によれば、映像符号化手段と移動物体検出手段とが、一部の処理や手段を共有することができ、映像の符号化と移動物体の検出とを同時に高速に行うことが可能で、かつ、装置全体の規模を小さくすることが可能である。
【００４３】
本発明の撮像装置は、映像を入力する撮像手段と、この撮像手段の入力した映像を符号化する本発明に係る映像符号化装置と、移動物体検出手段が出力する移動物体の検出結果に基づき、撮像手段に対して撮像機能を制御する撮像制御手段と、映像ストリームと移動物体の検出結果とを出力する出力部とを有するものである。
【００４４】
この構成によって、遠隔地への映像送信のために生成する映像ストリームの生成過程で、移動物体の検出を行うことができるので、映像監視などにおいて、不審人物などを高速に移動物体として検出し撮影しつづけることが可能であるとともに、その映像を送信することができ、映像監視を効率的に行うことができる。
【００４５】
また、本発明の撮像装置において、撮像制御手段が、前記移動物体検出手段が出力する移動物体の領域の面積を入力映像の全面積に対して一定の割合となるように、撮像手段を制御するものである。
【００４６】
この構成によって、移動物体とその周囲の状況を映像に収めることが可能で、注目する移動物体の監視を効率的に行うことができる。
【００４７】
本発明の映像監視システムは、本発明に係る撮像装置と、この撮像装置から受信した映像ストリームを復号化するとともに、移動物体の検出結果を用いて、検出した移動物体の領域の画像認識を行う映像監視装置とを有するものである。
【００４８】
この構成によって、遠隔地への映像送信のために生成する映像ストリームの生成過程で、移動物体の検出を行うことができ、また、移動物体以外の領域の画像認識処理を省略し高速かつ低処理負荷で画像認識することができるので、映像監視などにおいて、不審人物などを高速に移動物体として検出し撮影しつづけることが可能である。
【００４９】
なお、本発明において画像認識とは、移動物体の検出に限らず、人・顔・物の認識や人の認証を含む、機械による画像を用いた自動判別手段をさす。
【００５０】
また、本発明の映像復号化装置において、さらに映像ストリームは、基本レイヤと拡張レイヤに階層化して符号化され、前記動き情報抽出手段は、前記基本レイヤの映像ストリームから前記動き情報を抽出し、前記エッジ情報抽出手段は、前記拡張レイヤの映像ストリームから前記エッジ情報を抽出するものである。
【００５１】
この構成によれば、前記動き情報が動きのないことを示している場合に前記エッジ情報の抽出などの処理を中止して処理負荷を軽減することが可能であり、また、前記エッジ情報がエッジのないことを示している場合に前記動き情報の抽出などの処理を中止して処理負荷を軽減することが可能であり、高速に物体の輪郭を検出することができる。
【００５２】
また、本発明の映像復号化装置において、さらに映像ストリームは、基本レイヤと拡張レイヤに階層化して符号化され、前記動き情報抽出手段は、前記拡張レイヤの映像ストリームから前記動き情報を抽出し、前記エッジ情報抽出手段は、拡張レイヤの映像ストリームから前記エッジ情報を抽出するものである。
【００５３】
この構成によれば、移動物体の検出処理を、拡張レイヤの映像ストリームのみで行うことが可能で、高速かつ少ない映像ストリームで物体の輪郭を検出することができる。
【発明の効果】
【００５４】
以上説明したように、本発明によれば、画像を縮小画像、水平方向成分、垂直方向成分および対角方向成分に分割する帯域分割方法、および、動き予測補償符号化を用いて映像符号化された映像ストリームから、映像を復号化することなく、高速、高精度かつ低処理負荷で移動する物体の輪郭を検出することが可能になる。また、それと同時に映像の復号化を行うことができる。
【発明を実施するための最良の形態】
【００５５】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００５６】
（実施の形態１）
実施の形態１は、本発明に係る移動物体検出方法および装置を、映像復号化装置に適用したものである。つまり、映像ストリームを復号化すると同時に、映像内にある移動物体を高速かつ高精度で検出できるようにしたものである。
【００５７】
初めに、本実施の形態で用いる映像ストリームについて説明する。この映像ストリームは基本レイヤと拡張レイヤとからなり、基本レイヤは、単独で復号化し低解像度の映像を得ることができる。拡張レイヤは、基本レイヤの画質を向上して高解像度の映像を得ることが可能な付加情報であり、水平・垂直・対角方向のエッジ成分（水平方向成分、垂直方向成分および対角方向成分）を含む。
【００５８】
次に、この映像ストリームを生成する方法を説明する。
【００５９】
まず、入力画像を帯域分割して、縮小画像、水平成分、垂直成分、対角成分を生成する。また、縮小画像を動き予測補償符号化により、単独で映像を復号化可能な基本レイヤとして符号化する。そして水平方向成分、垂直方向成分および対角方向成分をビット平面符号化により、基本レイヤを復号化した映像を高画質化するための拡張レイヤとして符号化する。
【００６０】
ここで、帯域分割について説明する。帯域分割では、画像を縮小画像、水平成分、垂直成分、および対角成分の４つの成分に分割する。この帯域分割は、ウエーブレット変換や、ハイパスフィルタとローパスフィルタとダウンサンプラの組合せを用いるなどにより行う。また、帯域分割して得た、縮小画像・水平方向成分、垂直方向成分、および対角方向成分は、帯域合成によってもとの画像に復元することが可能である。この帯域分割によって得られる水平方向成分、垂直方向成分、および対角方向成分とは、数学的に計算可能な近隣画素との画素値の差であり、必ずしも、物体の輪郭を表す訳ではない。例えば、白黒の横縞模様は、その色の境目に強い垂直成分が横線となって現われる。
【００６１】
図１は、本発明の移動物体検出方法および装置を適用した実施の形態１に係る映像復号化装置１００の構成を示すブロック図である。
【００６２】
図１において、映像復号化装置１００は、ストリーム入力部１０１、基本レイヤ復号化１０２、拡張レイヤ復号化部１０３、帯域合成部１０４、映像出力部１０５、移動物体検出部１０６、検出結果出力部１０７を有する。
【００６３】
なお、基本レイヤ復号化部１０２と拡張レイヤ復号化部１０３と帯域合成部１０４とが本発明の映像復号化手段に相当し、基本レイヤ復号化部１０２が動き情報抽出手段に相当し、拡張レイヤ復号化部１０３がエッジ情報抽出手段に相当し、移動物体検出部１０６が移動物体検出手段に相当する。
【００６４】
ここで、映像復号化手段は、入力した映像ストリームを復号化して映像を生成して出力する。動き情報抽出手段は、入力した映像ストリームから動き情報を抽出して移動物体検出手段に出力する。エッジ情報抽出手段は、入力した映像ストリームからエッジ情報を抽出して移動物体検出手段に出力する。移動物体検出手段は、入力したエッジ情報と動き情報から移動物体を検出する。
【００６５】
次に、以上のように構成された映像復号化装置１００の動作を説明する。
【００６６】
図３は、図１に示す実施の形態１の映像復号化装置１００の動作を表すフローチャートである。なお、図３に示すフローチャートは、図示しない記憶装置（例えばＲＯＭやフラッシュメモリなど）に格納された制御プログラムを、同じく図示しないＣＰＵが実行することにより、プログラムの実行によりソフトウエア的に実行されるようにすることも可能である。
【００６７】
まず、ストリーム入力部１０１が、映像復号化装置１００の外部から映像ストリームを入力し、映像ストリームの基本レイヤを基本レイヤ復号化部１０２へ、拡張レイヤを拡張レイヤ復号化部１０３に出力する（ステップＳ３０１）。
【００６８】
次に、基本レイヤ復号化部１０２が、ストリーム入力部１０１から入力した基本レイヤから動き情報を抽出し移動物体検出部１０６に出力する。また、拡張レイヤ復号化部１０３が、ストリーム入力部１０１から入力した拡張レイヤからエッジ情報を抽出して移動物体検出部１０６に出力する。そして、移動物体検出部１０６が、基本レイヤ復号化部１０２と拡張レイヤ復号化部１０３から入力した動き情報とエッジ情報を用いて移動物体の検出を行い、移動物体検出結果を生成し検出結果出力部１０７と帯域合成部１０４に出力する（ステップＳ３０２）。
【００６９】
なお、映像は、移動物体を含むこともあれば含まないこともあり、また、含む場合にも移動物体が１つであることもあれば複数であることもある。
【００７０】
以下に、ステップＳ３０２の移動物体検出処理について詳しく説明を行う。
【００７１】
図４は、図３の移動物体検出処理の手順の一例を示すフローチャートである。
【００７２】
まず、ステップＳ４０１では、エッジ情報の抽出処理を行う。具体的には、拡張レイヤ復号化部１０３が、ストリーム入力部１０１から入力した拡張レイヤから特定のビット平面までの情報を含む符号を抽出し、エッジ情報を生成して移動物体検出部１０６に出力する。
【００７３】
ここで、ビット平面符号化について説明する。
【００７４】
このビット平面とは、２進数で表された幾つかの数値データの同じビット位のみを並べたビット列のことである。ビット平面ごとに符号化する方法をビット平面符号化とよび、Weiping. Li, "Overview of Fine Granularity Scalability in MPEG-4 Video Standard", IEEE Transaction on Circuits and Systems for Video Technology, vol.11, pp.301-317, Mar.2001に記述されるようにデータの品質を調整する能力に優れている。
【００７５】
図２はビット平面符号化の概念を示した図であり、水平方向成分のある領域を表すものとして説明を進める。
【００７６】
図２において、１列は、水平成分の１画素を２進数で表現したものを表す（画素１、画素２）。１行は、水平方向成分のある領域におけるビット平面を表し（ビット平面１、ビット平面２）、すなわち、各画素の同じ位のビットのみを集めたものである。ビット平面は、上位のビット平面であるほど、水平方向成分の強いエッジを表現することが可能である。このビット平面のうち、最上位ビット平面から特定のビット平面までの情報を並べたものを符号化したものがエッジ情報である。例えば８×８画素や１６×１６画素の領域ごとの特定ビット平面までのビット平面ごとの符号量などの情報を含む。水平方向成分、垂直方向成分および対角方向成分は多くの「０」を含むので、ビット平面符号化は「０」が多い場合に符号長が短くなるように符号化する。よって、「１」を多く含むほど水平方向成分、垂直方向成分および対角方向成分の領域のビット平面は符号長が長くなる。
【００７７】
図５は本実施の形態の拡張レイヤのデータ構造を表すものである。図５に示す拡張レイヤは、１画像分の符号であり、ｎ個のビット平面とｍ個の領域の情報を含む。１画像分の拡張レイヤは、画像のヘッダ情報５０１、最上位のビット平面を表すビット平面１から最下位のビット平面ｎの情報５０２を保持する。
【００７８】
図６は図５における拡張レイヤのビット平面ｋのデータ構造を表し、拡張レイヤのビット平面ｋはビット平面のヘッダ情報６０１、領域１〜領域ｍのビット平面ｋの符号６０２を含む。
【００７９】
図７は図６における拡張レイヤの領域ｊのビット平面ｋのデータ構造を表し、拡張レイヤの領域ｊのビット平面ｋは該当する領域の画素成分の符号７０１と、領域の符号が終了したことを表す終端信号７０２を含む。
【００８０】
以上のようなデータ構造により、ビット平面の情報の抽出は、最上位ビット平面から特定のビット平面まで、それら領域の終端信号を順に映像ストリーム内から検索し、領域の終端信号間の符号長を数えるだけでよい。このため、拡張レイヤ復号化部１０３は高速にエッジ情報を生成することが可能である。
【００８１】
次に、ステップＳ４０２では、動き情報の抽出処理を行う。具体的には、基本レイヤ復号化部１０２が、ストリーム入力部１０１から入力した基本レイヤから動きベクトルの情報を抽出し、動き情報を生成して移動物体検出部１０６に出力する。
【００８２】
この動き情報は、基本レイヤの動き予測補償に用いるものであり、領域ごとの動き予測補償符号化であるか、フレーム内符号化であるかの情報、動きベクトルの大きさと方向、動きベクトルが参照する画像の情報、および画像全体が動き予測補償符号化であるか、フレーム内符号化であるかの情報などを含む。
【００８３】
図８は本実施の形態の基本レイヤのデータ構造を表すものである。図８に示す基本レイヤは、１画像分の符号であり、ｍ個の領域の情報を含む。すなわち、１画像分の基本レイヤは、画像のヘッダ情報８０１と、領域１〜領域ｍの情報８０２とを含む。図９は図８における基本レイヤの領域ｐのデータ構造を表し、基本レイヤの領域ｐは領域のヘッダ情報９０１、動きベクトル９０２、画素成分の符号９０３、および、領域の符号が終了したことを表す終端信号９０４を含む。
【００８４】
動きベクトルの抽出は、それら領域のヘッダ情報９０１や終端信号９０４を映像ストリームから検索し、その位置から定位置にある動きベクトル９０２のみを復号化するだけでよい。これにより、基本レイヤ復号化部１０２は高速に動き情報を生成することが可能である。
【００８５】
ステップＳ４０３では、移動物体の輪郭の検出処理を行う。具体的には、移動物体検出部１０６が、基本レイヤ復号化部１０２と拡張レイヤ復号化部１０３とから入力した動き情報とエッジ情報を用いて移動物体の輪郭の領域を検出し、結果を移動物体検出部１０６に記憶する。
【００８６】
ここで、輪郭の領域の検出方法について、以下に説明する。
【００８７】
すなわち、ある領域に対する水平方向成分、垂直方向成分および対角方向成分のビット平面から求めた符号長、例えば最上位ビット平面から３ビット平面までの各符号量の合計符号長が閾値Ａ以上であることを条件１とする。なお、この閾値Ａは弱いエッジと判定する基準値である。
【００８８】
また、上記の領域の合計符号長が閾値Ｂ以下であることを条件２とする。この閾値Ｂは縞模様のようなエッジでない画像を識別するための基準値である。
【００８９】
そして、領域が含むエッジ情報が点か線か面を表すものであるか否かを判別し、上記の領域の合計符号長が、これら条件１と条件２とを満足するとき、物体の輪郭に現われる線であると判定する。以下に、具体的な例を、図１０を用いて説明する。
【００９０】
図１０（ａ）乃至（ｃ）はそれぞれ、８×８画素領域における水平方向成分の例を表したものである。説明を簡単にするため、画素値を２値で表しており、最上位ビット平面から特定のビット平面までに”１”を含むならばマスを黒くし、”１”を含まないものは白く表す。図１０（ａ）は領域内にノイズや小さい点などが存在する場合の水平方向成分を示し、図１０（ｂ）は領域内に縦線が存在する場合の水平方向成分を示し、図１０（ｃ）は領域内全てが例えば縞模様の一部である場合の水平方向成分を示す。図１０（ａ）乃至（ｃ）で表される領域をそれぞれ符号化すると、領域が含む０以外の値の多さに応じて符号量は小さい順に図１０（ａ）、図１０（ｂ）、図１０（ｃ）となる。垂直方向成分と対角方向成分についても同様である。このとき、閾値Ａが８、閾値Ｂが３２とすると、閾値Ａ＜前記合計値＜閾値Ｂの関係が成立する図１０（ｂ）に示す領域は物体の輪郭に現われる線を含むと判定することができる。なお、閾値Ａ＜閾値Ｂである。
【００９１】
また、より簡便な輪郭抽出としては、閾値Ａのみを利用して、閾値Ａ＜前記合計値の関係が成立する領域は、物体の輪郭に現れる線を含むと判定することもできる。
【００９２】
さらに、輪郭と判定したある領域が移動物体の輪郭であるか否かは、次の条件３あるいは条件４を満たすか否かにより行う。
【００９３】
すなわち、条件３は、領域の動きベクトルの大きさが閾値Ｃ未満であることであり、対象とする移動物体の動きはある程度以上の動きをしている必要があるからである。
【００９４】
条件４は、領域の動きベクトルと、周囲の動きベクトルとの差分ベクトルの大きさが閾値Ｄ未満であることである。これは、移動物体が周囲とは同じ動きをするか否かを判断する。なお、周囲の動きベクトルは一つでなくても良い。その場合の条件４について説明する。まず、周囲の複数の動きベクトルを抽出し、周囲の動きベクトル毎に、領域の動きベクトルとの差分ベクトルの大きさを求める。この場合の条件４は、差分ベクトルの大きさの合計値が閾値Ｄ未満であることである。
【００９５】
なお、条件４について上記以外として次の条件も想定できる。例えば周囲の動きベクトルとして複数の動きベクトルを選択した場合、領域と周囲の領域の動きベクトルのＸ方向成分（水平方向成分）の差分の２乗和と、同じくＹ方向成分（垂直方法成分）の差分の２乗和の合計で計算したもの（以下、分散）を基準とすることもできる。この場合の条件４は、上記分散が閾値Ｄ未満であることである。条件４を満たせば、領域の動きベクトルは周囲と同じ方向や大きさを持つものとし、移動物体でないと判断する。また、分散の計算はこれに限らず、動きベクトルの大きさの差分の絶対値と角度の差分の絶対値の積を周囲領域で合計した値で計算しても良い。領域の動きベクトルが周囲の動きベクトルと異なる方向や大きさを持つかどうかを判断できるものであれば、これらに限らない。
【００９６】
そして、この条件４あるいは条件５を満たすとき、その領域は移動物体の領域でないと判定する。なお、画像全体をフレーム内符号化しているように、動きベクトルを含まないフレームでは輪郭の判断をせずに、動きベクトルを含んでいるフレームを待つようにする。これは、動きベクトルのないフレームからは動きを検出することができないからである。
【００９７】
移動物体検出部１０６は、上記の条件１と条件２とから物体の輪郭と判定した領域のうち、条件３、又は条件４を満たす領域を、移動物体の輪郭ではないと判定する。これは、移動する物体の輪郭は、周囲と異なる速度をもって動くからである。
【００９８】
次に、ステップＳ４０４では、移動物体の内部の検出処理を行う。具体的には、移動物体検出部１０６が、基本レイヤ復号化部１０２から入力した動き情報と、前記記憶した移動物体の輪郭の検出結果を用いて、移動物体の内部の領域を検出する。内部の領域の検出結果を移動物体検出部１０６に記憶する。
【００９９】
ここで、内部の領域を検出する方法について、以下に説明する。
【０１００】
すなわち、ある領域を移動物体の内部であると判定する条件は次に示す条件５あるいは条件６を満たす場合である。
【０１０１】
条件５は、移動物体の輪郭または内部と判定した領域の近傍にあり、近傍の領域との動きベクトルの大きさと方向の分散が閾値Ｅ未満であることであり、閾値Ｅは移動物体の輪郭と内部とが同一速度で動くと判定するときの基準値である。
【０１０２】
条件６は、移動物体の輪郭または内部と判定した領域に囲まれていることであり、これは移動物体の内部は輪郭で囲まれているものだからである。
【０１０３】
次に、ステップＳ４０５では、移動物体の誤検出を除去する処理を行う。具体的には、移動物体検出部１０６が、記憶してある移動物体の輪郭と内部の領域の検出結果から、誤検出した領域を除去し、移動物体検出結果を生成し検出結果出力部１０７と帯域合成部１０４に出力する。
【０１０４】
この誤検出した領域であることの判定条件は、移動物体の輪郭または内部と判定した領域が周囲に少ないことであり、あまりに小さい移動物体を検出した場合には、誤検出の可能性が高いからである。
【０１０５】
移動物体検出部１０６は、上記のようにして得た移動物体の領域から移動物体検出結果を生成する。移動物体検出結果は、例えば以下のようなものである。
【０１０６】
第１に、移動物体の領域であるか、そうでないかを領域ごとに記述した情報であり、第２に、１つの移動物体に対してそれに外接する１つ矩形や楕円を定義し、矩形や楕円ごとの座標や大きさを記述した情報である。
【０１０７】
なお、移動物体の内部の情報を必要としない場合は、内部の検出の処理を省略しても良い。
【０１０８】
また、移動物体の検出方法については、動きベクトルを用いた移動物体の検出方法に限らず、本発明のエッジ情報と組み合わせれば、他の方法を用いても良い。
【０１０９】
本実施の形態の移動物体検出方法によると、基本レイヤが動きベクトルを含み、拡張レイヤがあるビット位のビット平面までの符号さえ含んでいれば、伝送が低ビットレートであって、例え画質が悪くても、移動物体の検出を高速かつ高精度かつ低処理負荷に行うことが可能である。
【０１１０】
次に、ステップＳ３０３では、移動物体を検出した結果を出力する。具体的には、検出結果出力部１０７が、移動物体検出部１０６から入力された移動物体の領域の座標を外部に出力する。
【０１１１】
次に、ステップＳ３０４では、基本レイヤ復号化処理を行う。具体的には、基本レイヤ復号化部１０２が、ストリーム入力部１０１から入力した映像ストリームの基本レイヤを、動き予測補償復号化して縮小画像を生成し、帯域合成部１０４に出力する。
【０１１２】
次に、ステップＳ３０５では、拡張レイヤ復号化処理を行う。具体的には、拡張レイヤ復号化部１０３が、ストリーム入力部１０１から入力した映像ストリームの拡張レイヤをビット平面復号化して水平方向成分、垂直方向成分および対角方向成分を生成し、帯域合成部１０４に出力する。
【０１１３】
次に、ステップＳ３０６では、帯域合成処理を行う。具体的には、帯域合成部１０４が、基本レイヤ復号化部１０２から入力した縮小画像と拡張レイヤ復号化部１０３から入力した水平方向成分、垂直方向成分および対角方向成分を帯域合成し復号画像を生成し、映像出力部１０５に出力する。さらに、帯域合成部１０４が、移動物体検出部１０６から入力した移動物体検出結果を用いて、復号画像の移動物体を含む領域を強調しても良い。
【０１１４】
ここで、この移動物体の領域の強調について説明する。例えば、帯域合成部１０４が、移動物体の領域の部分だけ復号映像を着色する、または、移動物体の領域を枠で囲むなどの処理を行う。また、基本レイヤを復号化して得る縮小画像の全画素の値を「０」として帯域合成して輪郭のみからなる画像を生成し、さらに、移動物体の領域部分を強調しても良い。
【０１１５】
このようにすると、輪郭からなる映像の中において移動物体のみが非常に目立ち、複数の監視映像を同時に見る監視者にとって異常や不審人物の発生を検知しやすい。また、通信速度の制限などにより基本レイヤのビットレートが非常に低く、画質の極端に悪い映像しか生成できないときには、輪郭のみの方がむしろ細部を認識できる場合がある。あるいは、複数のカメラ映像を表示する場合などの、処理能力が限られた環境においても、輪郭のみ表示する方が、低処理負荷で、監視上重要な領域を見やすくすることが可能になる。
【０１１６】
次に、ステップＳ３０７では、映像出力処理を行う。具体的には、映像出力部１０５が、帯域合成部１０４から入力した復号映像を外部に出力する。
【０１１７】
なお、復号化処理を行わずに移動物体の検出のみを行うことも可能であり、このとき、映像を得ることはできないが、基本レイヤ復号化処理（ステップＳ３０４）から映像出力処理（ステップＳ３０７）までの処理をしないので、更に高速かつ低処理負荷で移動物体を検出することが可能となる。
【０１１８】
次に、ステップＳ３０８では、終了判定処理を行う。ストリーム入力部１０１が、続く映像ストリームの有無を判定するなどして、映像復号化装置１００がこれ以上移動物体の検出を行う必要も映像を復号する必要もなければ処理を終了し、そうでなければステップＳ３０１に戻る。
【０１１９】
なお、上記の説明では基本レイヤ復号化処理（ステップＳ３０４）乃至映像出力処理（ステップＳ３０７）を移動物体の検出処理（ステップＳ３０２とステップＳ３０３）後に行っているが、これに限らず、基本レイヤや拡張レイヤの復号化処理と並列して、移動物体検出処理を行うことが可能である。
【０１２０】
また、帯域分割を用いた他の符号化方法による映像ストリームの生成方法として、入力画像を動き予測補償した後に帯域分割を行って、ビット平面符号化する方法がある。しかし、この方法では、動き予測補償により前後の画像と差分をとった画像を帯域分割しても、物体の輪郭に発生する水平方向成分、垂直方向成分および対角方向成分を得ることができない。この場合は、全体をフレーム内符号化した画像の水平方向成分、垂直方向成分および対角方向成分のみ用いることになる。
【０１２１】
また、拡張レイヤに、水平方向成分、垂直方向成分および対角方向成分のみならず、縮小画像と基本レイヤを復号した画像の差分の情報を含めることも可能である。
【０１２２】
以上のように、本実施の形態１によれば、入力画像を直接帯域分割して得る水平方向成分、垂直方向成分および対角方向成分の情報と、動き予測補償によって生成する動きベクトルを含む映像ストリームから、エッジの情報と動きの情報を抽出する手段を設けたことにより、動き予測符号化を用いた基本レイヤと水平方向成分、垂直方向成分および対角方向成分のビット平面符号化を用いた拡張レイヤからなる映像ストリームを復号化することなく、高速かつ高精度かつ低処理負荷に移動物体を検出することができる。
【０１２３】
また、実施の形態１によれば、動き情報を基本レイヤの映像ストリームから、エッジ情報を拡張レイヤの映像ストリームから抽出することが可能で、動き情報が動きのないことを示している場合にエッジ情報の抽出などの処理を中止して処理負荷を軽減することが可能であり、また、エッジ情報がエッジのないことを示している場合に動き情報の抽出などの処理を中止して処理負荷を軽減することが可能であり、高速に物体の輪郭を検出することができる。このとき、動き情報とエッジ情報の抽出はどちらを先に行っても良く、また、並列に行っても良い。
【０１２４】
また、実施の形態1によれば、移動物体の検出は、動きベクトルと一部のビット平面のエッジ情報のみで行うことができるので、通信速度が制限された状況など低ビットレートの映像ストリームであっても高速かつ高効率に移動物体の検出が可能である。
【０１２５】
また、実施の形態1では、移動物体の検出に必要なエッジ情報の抽出を拡張レイヤ復号化部１０３が行い、動き情報の抽出を基本レイヤ復号化部１０２が行うことにより、映像復号化処理と移動物体検出処理とが一部の手段や処理を共有することができるので、移動物体の検出と映像の復号化とを同時に、かつ高速に行うことが可能であり、また、装置全体の規模を小さくすることができる。
【０１２６】
また、実施の形態１によれば、拡張レイヤ復号化部１０３が、映像ストリーム内にあるビット平面ヘッダ６０１に含まれる開始信号や、８×８画素などの領域ごとの終端信号７０２を検索し識別信号間の符号長を数えるだけで、高速にエッジ情報を生成することが可能である。
【０１２７】
また、実施の形態１によれば、基本レイヤ復号化部１０２が、映像ストリーム内の、例えば、８×８画素などの領域ごとの識別信号を検索し、その識別信号から決まった位置にある動きベクトルを復号するだけで、高速に動き情報を生成することが可能である。
【０１２８】
また、実施の形態1によれば、移動物体検出部１０６が、エッジ情報と動き情報による移動物体の輪郭の検出、動き情報や既に検出した結果による移動物体の内部の検出、および、誤検出の除去を行うことにより、移動物体の検出を高精度に行うことが可能である。
【０１２９】
また、実施の形態１では、帯域合成部１０４が、復号化した映像の移動物体の領域を強調することや、基本レイヤを復号化した縮小映像を帯域合成しない線画をもちいることにより、移動物体の検出結果を監視者に検知しやすくすることが可能である。
【０１３０】
（実施の形態２）
実施の形態２は、本発明に係る移動物体検出方法および装置を映像監視システムに適用したものである。映像監視システムは、映像符号化装置を備えた自動追尾カメラを有する。つまり、映像を符号化し映像ストリームを生成すると同時に、映像内にある移動物体を高速かつ高精度かつ低処理負荷で検出し、その検出結果をもとに自動追尾カメラが移動物体を自動追尾し、効率的に映像監視できるようにしたものである。
【０１３１】
以下に、この映像監視システムについて具体的に説明する。
【０１３２】
図１１は、本発明の移動物体検出方法および装置を適用した実施の形態２に係る映像監視システムの構成を示す図である。
【０１３３】
この映像監視システムは、映像監視装置１１００、通信網１１１０、Ｎ台の自動追尾カメラ１１２１〜１１２Ｎを有する。なお、自動追尾カメラは本発明の撮像装置に相当する。
【０１３４】
図１２は、実施の形態２に係る自動追尾カメラ１１２１乃至１１２Ｎの構成を示すブロック図である。図１２に示す自動追尾カメラは、図１１に示す映像監視システムにおける自動追尾カメラ１１２１に対応する。
【０１３５】
図１２において、自動追尾カメラ１１２１は、撮像部１２０１、映像符号化部１２０２、撮像制御部１２０３を有する。他の自動追尾カメラ１１２２〜１１２Ｎについても同様の構成を有する。
【０１３６】
なお、撮像部１２０１が本発明の撮像手段に相当し、撮像制御部１２０３が本発明の撮像制御手段に相当する。
【０１３７】
ここで、撮像部１２０１はパン・ティルト・ズームなどの撮像機能動作を行って撮像した映像を映像符号化部１２０２へ出力する。
【０１３８】
映像符号化部１２０２は、入力した映像を帯域分割して、水平方向成分、垂直方向成分および対角方向成分の情報と、動き予測補償によって生成する動きベクトルを含む映像ストリームを生成する。
【０１３９】
撮像制御部１２０３は、追尾する目標の情報と移動物体の検出の結果を入力し、撮像部１２０１に対してパン・ティルト・ズームを行うための制御信号を生成し出力する。
【０１４０】
図１３は、映像符号化部１２０２の構成を示すブロック図であり、本発明の移動物体検出方法および装置を適用した映像符号化装置に相当する。
【０１４１】
図１３において、映像符号化部１２０２は、映像入力部１３０１、帯域分割部１３０２、基本レイヤ符号化部１３０３、拡張レイヤ符号化部１３０４、ストリーム出力部１３０５，移動物体検出部１３０６、および検出結果出力部１３０７を有する。
【０１４２】
なお、帯域分割部１３０２と基本レイヤ符号化部１３０３と拡張レイヤ符号化部１３０４とが本発明の映像符号化手段に相当し、基本レイヤ符号化部１３０３が動き情報抽出手段に相当し、拡張レイヤ符号化部１３０４がエッジ情報抽出手段に相当し、移動物体検出部１３０６が移動物体検出手段に相当する。
【０１４３】
ここで、映像符号化手段は、入力した映像を符号化して映像ストリームを生成して出力する。これを構成する帯域分割部１３０２は、入力画像を帯域分割して、縮小画像、水平成分、垂直成分、および対角成分を生成したり、縮小画像を動き予測補償符号化により、単独で映像を復号化可能な基本レイヤとして符号化する。また、これら水平方向成分、垂直方向成分および対角方向成分をビット平面符号化により、拡張レイヤとして符号化する。基本レイヤ符号化部１３０３は、生成した映像ストリームから動き情報を抽出して移動物体検出部１３０６に出力する。拡張レイヤ符号化部１３０４は、生成した映像ストリームからエッジ情報を抽出して移動物体検出部１３０６に出力する。移動物体検出部１３０６は、入力したエッジ情報と動き情報から移動物体を検出する。なお、ストリーム出力部１３０５と検出結果出力部１３０７とが本発明の出力部に相当する。
【０１４４】
次に、本実施の形態に係る自動追尾カメラ１１２１の動作を説明する。図１４は、図１２に示す自動追尾カメラ１１２１の動作を表すフローチャートである。なお、図１４に示すフローチャートは、図示しない記憶装置（例えばＲＯＭやフラッシュメモリなど）に格納された制御プログラムを、同じく図示しないＣＰＵが実行することにより、プログラムの実行によりソフトウエア的に実行されるようにすることも可能である。
【０１４５】
まず、ステップＳ１４０１により、撮像処理を行う。具体的には、撮像部１２０１が、監視対象の映像を撮像し、入力画像を映像符号化部１２０２の映像入力部１３０１に出力する。また、撮像部１２０１が、パン・ティルト・ズームや設置場所の情報を映像符号化部１２０２の検出結果出力部１３０７に出力する。
【０１４６】
次に、ステップＳ１４０２では、映像符号化処理を行う。映像符号化部１２０２が、撮像部１２０２から入力した入力映像を符号化して映像ストリームを生成し、同時に移動物体を検出して移動物体検出結果を生成する。これら生成した映像ストリームと移動物体検出結果とを、通信網１１１０を介して映像監視装置１１００の受信部１１０１に出力する。また、移動物体検出結果を撮像制御部１２０３に出力する。
【０１４７】
次に、ステップＳ１４０３では、撮像制御処理を行う。具体的には、撮像制御部１２０３が、通信網１１００を介して映像監視装置１１００のカメラ群制御部１１０２から入力した目標追尾命令と、映像符号化部から入力した移動物体検出結果とにより、パン・ティルト・ズームの制御信号を生成し撮像部１２０１に出力する。撮像部１２０１は、撮像制御部１２０３から入力した制御信号に基づきパン・ティルト・ズームを行う。
【０１４８】
ここで、この制御信号について説明する。後述する映像監視装置１１００が生成した目標追尾命令が、例えば、補足すべき不審人物を撮影するための座標や拡大率などを指定している場合には、撮像制御部１２０３はそれにあわせてパン・ティルト・ズームさせる制御信号を生成する。補足すべき不審人物を撮影するための座標と、移動物体検出結果が示す移動物体の領域の座標にズレがある場合には、撮像制御部１２０３がズレを修正して制御信号を生成してもよい。また、追尾する移動物体が画面に対して常に一定の面積を占めるようにカメラをパンさせても良い。目標追尾命令が無いが移動物体検出結果がある場合、移動物体を映像の中心にして撮影する。また、複数の移動物体が全て映像に収まるように制御信号を生成しても良い。その他、特に目標追尾命令も移動物体検出結果も無い場合は、広範囲を撮影する目的で撮像部１２０１に首振り運動させる制御信号を生成してもよい。
【０１４９】
次に、ステップＳ１４０４で、自動追尾カメラ１１２１の電源が切られるなど、映像監視を行う必要がなければ終了し、そうでなければステップＳ１４０１に戻る。
【０１５０】
ここで、図１４におけるステップＳ１４０２の映像符号化処理について詳しく説明する。
【０１５１】
図１５は、映像符号化部１２０の動作を表すフローチャートである。なお、図１５に示すフローチャートは、図示しない記憶装置（例えばＲＯＭやフラッシュメモリなど）に格納された制御プログラムを、同じく図示しないＣＰＵが実行することにより、プログラムの実行によりソフトウエア的に実行することも可能である。
【０１５２】
まず、ステップＳ１５０１では、映像入力処理を行う。具体的には、映像入力部１３０１が、自動追尾カメラ１１２１の撮像部１２０１から入力画像を入力し帯域分割部１３０２に出力する。
【０１５３】
次に、ステップＳ１５０２では、帯域分割処理を行う。具体的には、帯域分割部１３０２が、映像入力部１３０１から入力した入力画像を帯域分割して縮小画像と水平方向成分、垂直方向成分および対角方向成分を生成し、縮小画像を基本レイヤ符号化部１３０３に、水平方向成分、垂直方向成分および対角方向成分を拡張レイヤ符号化部１３０４に出力する。
【０１５４】
次に、ステップＳ１５０３では、基本レイヤ符号化処理を行う。具体的には、基本レイヤ符号化部１３０３が、帯域分割部１３０２から入力した縮小画像を動き予測補償符号化して基本レイヤを生成し、ストリーム出力部１３０５に出力する。また、動き予測補償の際に得る動き情報を移動物体検出部１３０６に出力する。
【０１５５】
次に、ステップＳ１５０４では、拡張レイヤ符号化処理を行う。具体的には、拡張レイヤ符号化部１３０４が、帯域分割部１３０２から入力した水平方向成分、垂直方向成分および対角方向成分をビット平面符号化して拡張レイヤを生成し、ストリーム出力部１３０５に出力する。また、ビット平面符号化の際に得られるエッジ情報を移動物体検出部１３０６に出力する。
【０１５６】
次に、ステップＳ１５０５では、ストリーム出力処理を行う。具体的には、ストリーム出力部１３０５が、基本レイヤ符号化部１３０３から入力した基本レイヤと、拡張レイヤ符号化部１３０４から入力した拡張レイヤを、通信網１１１０を介して映像監視装置１１００の受信部１１０１に出力する。
【０１５７】
次に、ステップＳ１５０６では、移動物体検出処理を行う。具体的には、移動物体検出部１３０６が、基本レイヤ符号化部１３０３から入力した動き情報と、拡張レイヤ符号化部１３０４から入力したエッジ情報とを用いて移動物体の検出を行い移動物体検出結果を生成し、検出結果出力部１３０７に出力する。
【０１５８】
なお、移動物体の検出の方法については実施の形態１と同様であるので、ここでは詳しく述べない。
【０１５９】
次に、ステップＳ１５０７では、検出結果出力処理を行う。具体的には、検出結果出力部１３０７が、移動物体検出部１３０６から入力した移動物体検出結果と、自動追尾カメラ１１２１の撮像部１２０１から入力したパン・ティルト・ズームや設置位置などの情報を、通信網１１１０を介して映像監視装置１１００の受信部１１０１に出力する。
【０１６０】
なお、実施の形態１に述べた映像復号化装置と同様に、本実施の形態においても水平方向成分、垂直方向成分および対角方向成分の情報と、動き予測補償によって生成する動きベクトルとを含んだ映像ストリームを生成することができれば、他の帯域分割方法を利用することも可能である。
【０１６１】
次に、本実施の形態に係る映像監視装置１１００の構成について以下に説明する。
【０１６２】
図１１において、映像監視装置１１００は、受信部１１０１、画像認識部１１０２、およびカメラ群制御部１１０３を有する。
【０１６３】
画像認識部１１０２は本発明の画像認識手段に相当し、映像ストリームと移動物体の検出結果を入力して、詳細な画像認識を行い、画像認識の結果をカメラ群制御部１１０３に出力する。
【０１６４】
カメラ群制御部１１０３は本発明のカメラ群制御手段に相当し、画像認識の結果を入力し、カメラ１１２１〜１１２Ｎに対して追尾する目標の情報を生成し出力する。
【０１６５】
次に、上記のように構成された映像監視装置１１００の動作を説明する。
【０１６６】
図１６は、映像監視装置１１００の動作を表すフローチャートである。
【０１６７】
まず、ステップＳ１６０１により、受信処理を行う。具体的には、受信部１１０１が、通信網１１１０を介して自動追尾カメラ１１２１からの映像ストリームと移動物体検出結果とを入力し画像認識部１１０２に出力する。
【０１６８】
次に、ステップＳ１６０２では、画像認識処理を行う。具体的には、画像認識部１１０２が、受信部１１０１から入力した映像ストリームと移動物体検出結果を用いて映像ストリームを復号化し、種々の公知の画像認識方法で人・顔・物の検出や認証などを行い、その結果を生成しカメラ群制御部１１０３に出力する。また、画像認識部１１０２は、移動物体検出結果が含む移動物体の領域以外は画像認識を行わないようにすることにより、処理を高速化することが可能である。
【０１６９】
次に、ステップＳ１６０３では、カメラ制御処理を行う。具体的には、カメラ群制御部１１０３が、画像認識部１１０２から入力した画像認識結果を用いて自動追尾カメラ１１２１に対する目標追尾命令を生成し、通信網１１１０を介して自動追尾カメラ１１２１の撮像制御部１２０３に出力する。また、自動追尾カメラ１１２１に対する画像認識結果により、他の自動追尾カメラ１１２２〜１１２Ｎに新たな追尾の必要が生じた場合、新たな目標追尾命令を生成し通信網１１１０を介して該当する自動追尾カメラ１１２２〜１１２Ｎの撮像部１２０３に出力する。
【０１７０】
ここで、目標追尾命令について説明する。
【０１７１】
画像認識部１１０２から入力した画像認識結果が、例えば、映像内に不審人物が存在することを示す場合、カメラ群制御部１１０３はその不審人物を大きく撮影させるために座標や拡大率などを含む目標追尾命令を生成する。また、映像内に不審人物が存在するが自動追尾カメラ１１２１では不審人物の顔を撮影することが不可能な場合、自動追尾カメラ１１２２に対してその不審人物を撮影させる目標追尾命令を生成し、自動追尾カメラ１１２１に対して不審人物を含む広い範囲を撮影させる目標追尾命令を生成する。
【０１７２】
次に、ステップＳ１６０４では、終了判定を行い、映像監視装置１１００の電源が切られるなど、映像監視を行う必要がなければ終了し、そうでなければステップＳ１６０１に戻る。
【０１７３】
以上のように構成された映像監視システムの動作について以下に説明する。
【０１７４】
図１７は本実施の形態の映像監視システムの動作を示すシーケンス図である。
【０１７５】
まず、自動追尾カメラ１１２１は監視対象を撮影すると、水平方向成分、垂直方向成分および対角方向成分の情報と、動き予測補償によって生成する動きベクトルとを含んだ映像ストリームを生成すると共に、移動物体検出結果を求め、これらを通信網１１１０を介して、映像監視装置１１００へ送信する（ステップＳ１７０１）。
【０１７６】
映像監視装置１１００は受信した映像ストリームを復号し、移動物体検出結果の情報を用いて対象物体の認識を行う。そして、自動追尾カメラに対象物体を追尾するための目標追尾命令を送信する（ステップＳ１７０２）。
【０１７７】
自動追尾カメラ１１２１はこれを受けて、撮像部を制御し対象物を追尾する。そして、このときの映像ストリームなどを映像監視装置１１００へ送信する（ステップＳ１７０３）。
【０１７８】
以降、上記のステップＳ１７０２とステップＳ１７０３とが繰り返される。なお、自動追尾カメラ１１２１からの映像ストリーム等は映像監視装置１１００からの命令の有無にかかわらず、常時映像監視装置１１００へ送信される。
【０１７９】
以上のように、本実施の形態に係る映像監視システムは、通信網を介して自動追尾カメラから映像監視装置へ映像を送信するために、映像は符号化してデータ圧縮された映像ストリームとする必要がある。このとき、本発明によれば、映像ストリームを生成する過程で、同時に移動物体検出を行い、その結果情報を映像監視装置へ通知することができるので、映像監視装置はあらためて受信した映像ストリームから移動物体の検出をする必要が無くなる。これにより、映像監視装置の処理を軽減することができる。
【０１８０】
また、本実施の形態２によれば、遠隔地にある自動追尾カメラが撮影した画像を受信して、映像監視装置で映像の監視と追尾を行う映像監視システムにおいて、自動追尾カメラが、一部の手段や処理を共有して、撮影した画像の水平方向成分、垂直方向成分および対角方向成分の情報と、動き予測補償によって生成する動きベクトルとを含んだ映像ストリームに映像符号化する処理と、移動物体検出処理とをすることができるので、高精度な移動物体の検出と映像の符号化とを同時に高速に行うことが可能であり、また、システム全体の規模を小さくすることもできる。
【０１８１】
また、実施の形態２によれば、自動追尾カメラは移動物体の検出結果をもとに求められた映像監視装置からの指示で、パン・ティルト・ズームの撮像機能の制御を行うことができるので、移動物体、ひいては不審人物などを効率的に監視することが可能である。
【０１８２】
また、実施の形態２によれば、映像監視装置は上記の映像ストリームとともに入力する移動物体の検出結果をもとに移動物体の領域のみを画像認識するので、画像認識処理の負荷を軽減することができるとともに、画像認識の精度が向上する。また、これにより、より多くの自動追尾カメラを制御して効率的に監視することが可能な映像監視システムとすることができる。
【０１８３】
（実施の形態３）
実施の形態３は、本発明に係る移動物体検出方法および装置である。
【０１８４】
本実施の形態では、実施の形態１と同様に基本レイヤと拡張レイヤからなる映像ストリームのうち拡張レイヤの映像ストリームのみを用いて移動物体を検出する方法を述べる。本実施の形態で取り扱う拡張レイヤの映像ストリームは、ISO/IEC 14496-2 Amendment 2に規定されるＭＰＥＧ−４ ＦＧＳ(Fine Granularity Scalable coding)のＦＧＳＴ(FGS Temporal Scalability)のように拡張レイヤの映像ストリームのフレームの先頭に動きベクトル情報が含まれるものとする。
【０１８５】
図１９は、本発明の移動物体検出方法および装置を適用した実施の形態１に係る移動物体検出装置１９００の構成を示すブロック図である。
【０１８６】
図１９において、移動物体検出装置１９００は、ストリーム入力部１９０１、動き情報抽出部１９０２、エッジ情報抽出部１９０３、移動物体検出部１９０４、検出結果出力部１９０５を有する。
【０１８７】
本実施の形態では、実施の形態１と異なり、ストリーム入力部１９０１は拡張レイヤの映像ストリームのみ入力する。
【０１８８】
なお、動き情報抽出部１９０２が動き情報抽出手段に相当し、エッジ情報抽出部１９０３がエッジ情報抽出手段に相当し、移動物体検出部１９０４が移動物体検出手段に相当する。
【０１８９】
ここで、動き情報抽出手段は、入力した拡張レイヤの映像ストリームから動き情報を抽出して移動物体検出手段に出力する。エッジ情報抽出手段は、入力した拡張レイヤの映像ストリームからエッジ情報を抽出して移動物体検出手段に出力する。移動物体検出手段は、入力したエッジ情報と動き情報から移動物体を検出する。
【０１９０】
次に、以上のように構成された移動物体装置１９００の動作を説明する。
【０１９１】
図２０は、図１９に示す実施の形態３の移動物体装置１９００の動作を表すフローチャートである。なお、図２０に示すフローチャートは、図示しない記憶装置（例えばＲＯＭやフラッシュメモリなど）に格納された制御プログラムを、同じく図示しないＣＰＵが実行することにより、プログラムの実行によりソフトウエア的に実行されるようにすることも可能である。
【０１９２】
まず、ストリーム入力部１９０１が、移動物体検出装置１９００の外部から拡張レイヤの映像ストリームを入力し、動き情報抽出部１９０２とエッジ情報抽出部１９０３に出力する（ステップＳ２００１）。
【０１９３】
次に、動き情報抽出部１９０２が、ストリーム入力部１９０１から入力した拡張レイヤから動き情報を抽出し、移動物体検出部１９０４に出力する（ステップＳ２００２）。
【０１９４】
次に、エッジ情報抽出部１９０３が、ストリーム入力部１９０２から入力した拡張レイヤからエッジ情報を抽出し、移動物体検出部１９０４に出力する（ステップＳ２００３）。
【０１９５】
ここで、ＭＰＥＧ−４ ＦＧＳで規定されるＦＧＳＴでは、１フレームの拡張レイヤの先頭にフレーム全領域の動きベクトルが格納され、それに続いてビット平面の情報が格納される。よって、ストリーム入力部１９０１が動きベクトルの映像ストリームまでを入力し動き情報抽出部１９０２が動き情報を生成し、フレーム内に動きがある場合のみビット平面の映像ストリームを入力してエッジ情報抽出部１９０３に出力しても良い。これにより、フレーム内に動きがない場合に、ストリームの入力処理とエッジの抽出処理および移動物体の検出処理を省略し処理負荷を軽減することが可能である。
【０１９６】
次に、移動物体検出部１９０４が、動き情報抽出部１９０２から入力した動き情報とエッジ情報抽出部１９０３から入力したエッジ情報を用いて移動物体の検出を行い、実施の形態１と同様に、移動物体検出結果を生成し検出結果出力部１９０５に出力する（ステップＳ２００４乃至ステップＳ２００６）。
【０１９７】
次に、移動物体を検出した結果を出力する。具体的には、検出結果出力部１９０５が、移動物体検出部１９０４から入力された移動物体の領域の座標を外部に出力する（ステップＳ２００７）。
【０１９８】
次に、終了判定処理を行う。ストリーム入力部１９０１が、続く映像ストリームの有無を判定するなどして、移動物体検出装置１９００がこれ以上移動物体の検出を行うがなければ処理を終了し、そうでなければステップＳ２００１に戻る（ステップＳ２００８）。
【０１９９】
以上のように、本実施の形態３によれば、拡張レイヤの映像ストリームのみを入力し、動き情報抽出部１９０２が動き情報を抽出し、エッジ情報抽出部１９０３がエッジ情報を抽出することにより、高速かつ少ない映像ストリームで物体の輪郭を検出することができる。
【産業上の利用可能性】
【０２００】
本発明は、映像を符号化して生成した映像ストリームから移動物体を検出する移動物体検出装置に有用であり、映像ストリームを復号化することなく高速に移動物体を検出するのに適している。
【図面の簡単な説明】
【０２０１】
【図１】本発明の実施の形態１による映像復号化装置の構成を示す図
【図２】本発明の実施の形態１におけるビット平面符号化の概念図
【図３】本発明の実施の形態１による映像復号化装置の動作を示すフローチャート
【図４】本発明の実施の形態１による映像復号化装置の移動物体検出処理の動作を示すフローチャート
【図５】本発明の実施の形態１における拡張レイヤのストリーム構造図
【図６】本発明の実施の形態１における拡張レイヤのビット平面ｋのストリーム構造図
【図７】本発明の実施の形態１における拡張レイヤの領域ｊのビット平面ｋのストリーム構造図
【図８】本発明の実施の形態１における基本レイヤのストリーム構造図
【図９】本発明の実施の形態１における基本レイヤの領域ｊのストリーム構造図
【図１０】（ａ）乃至（ｃ）本発明の実施の形態１における８×８画素領域における水平方向成分を表した図
【図１１】本発明の実施の形態２による映像監視システムの構成を示す図
【図１２】本発明の実施の形態２による自動追尾カメラの構成を示す図
【図１３】本発明の実施の形態２による映像符号化装置の構成を示す図
【図１４】本発明の実施の形態２による自動追尾カメラの動作を示すフローチャート
【図１５】本発明の実施の形態２による映像符号化装置の動作を示すフローチャート
【図１６】本発明の実施の形態２による映像監視装置の動作を示すフローチャート
【図１７】本発明の実施の形態２による映像監視システムの動作を示すシーケンス図
【図１８】従来の移動物体検出装置の構成を示す図
【図１９】本発明の実施の形態３による映像復号化装置の構成を示す図
【図２０】本発明の実施の形態３による映像復号化装置の動作を示すフローチャート
【符号の説明】
【０２０２】
１００ 映像復号化装置
１０１ ストリーム入力部
１０２ 基本レイヤ復号化部
１０３ 拡張レイヤ復号化部
１０４ 帯域合成部
１０５ 映像出力部
１０６，１３０６ 移動物体検出部
１０７，１３０７ 検出結果出力部
１１００ 映像監視装置
１１０１ 受信部
１１０２ 画像認識部
１１０３ カメラ群制御部
１１１０ 通信網
１１２１乃至１１２Ｎ 自動追尾カメラ
１２０１ 撮像部
１２０２ 映像符号化部
１２０３ 撮像制御部
１３０１ 映像入力部
１３０２ 帯域分割部
１３０３ 基本レイヤ符号化部
１３０４ 拡張レイヤ符号化部
１３０５ ストリーム出力部
１８０１ 可変長復号部
１８０２ 模様情報検出部
１８０３ 移動物体検出処理部
１９００ 移動物体検出装置
１９０１ ストリーム入力部
１９０２ 動き情報抽出部
１９０３ エッジ情報抽出部
１９０４ 移動物体検出部
１９０５ 検出結果出力部
【技術分野】
【０００１】
本発明は、映像を符号化して生成した映像ストリームから移動物体を検出する移動物体の検出方法および装置に関する。
【背景技術】
【０００２】
従来より、この移動物体検出装置としては、例えば、特許文献１に記載されているようなものがあった。
【０００３】
この移動物体検出装置は、映像ストリームを復号化することなく、動き予測補償符号化方式に用いた動きベクトルを抽出し、動きベクトルをある領域内の物体の動きとみなして、高速に移動物体を検出するものである。図１８は、特許文献１に記載された従来の移動物体検出装置を示すものである。
【０００４】
図１８において、可変長復号部１８０１で復号化された、画像ブロックの符号化モード、動き補償モードおよび動きベクトル情報と、模様情報検出部１８０２で検出された模様情報とは、移動物体検出処理部１８０３へ送られる。移動物体検出処理部１８０３は、これらの情報を用いて、この画像ブロックが移動物体であるか否かを判別する。この判別には、動きベクトル、空間的類似性判断、時間的類似性判断等を用いて行う。
【特許文献１】特開平１０−７５４５７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記従来の構成では、必ずしも物体の動きを正確に表していない動きベクトルのみに依存しているので、精度が良いとは言えなかった。すなわち、動きベクトルの生成方法としては、符号化中の領域に対して前後の画像から符号化の圧縮率が高くなる参照領域を探索し、その探索した領域への参照を動きベクトルとすることが多い。このため、動きベクトルのみを用いた移動物体の検出は精度が良くなかった。
【０００６】
本発明は、上記課題を解決するためになされたものであり、その目的とするところは、画像を縮小画像、水平方向成分、垂直方向成分および対角方向成分に分割する帯域分割方法、および、動き予測補償符号化を用いて映像符号化された映像ストリームから、移動物体の検出を高速かつ高精度かつ低処理負荷で行うことができる移動物体検出方法および装置を提供することにある。
【課題を解決するための手段】
【０００７】
本発明の移動物体検出装置は、映像を複数レイヤに分けて符号化する階層符号化および動き予測補償符号化を用いて映像符号化された映像ストリームから、動き情報を抽出する動き情報抽出手段と、前記映像ストリームからエッジ情報を抽出するエッジ情報抽出手段と、前記動き情報と前記エッジ情報とを用いて移動物体を検出し、当該検出結果を出力する移動物体検出手段とを有する構成をとる。
【０００８】
この構成によれば、映像ストリームを復号化することなく、物体輪郭を検出可能で、さらに、動きの情報から移動物体の検出が可能で、高速かつ高精度かつ低処理負荷で移動物体を検出することができる。
【０００９】
また、本発明の移動物体検出装置は、さらにエッジ情報抽出手段は、画像をビット平面符号化したビット平面情報のうち、最上位ビット平面からＮ（Ｎは自然数）ビット位ビット平面までのビット平面情報を、前記映像ストリームからエッジ情報として抽出するものである。
【００１０】
この構成によれば、特定のビット平面まで情報を抽出することで特定の強度以上のエッジを検出することが可能で、高速に物体の輪郭を検出することができる。また、特定ビット位以上のビット平面だけで物体の輪郭の検出が可能で、特定ビット位未満のビット平面は必要なく、映像ストリームを通信速度の遅い通信網を介して受信している場合も、低ビットレートで高精度な検出ができる。
【００１１】
また、本発明の移動物体検出装置は、さらに映像ストリームが複数の領域に分割されたものであって、移動物体検出手段は、前記領域内部のビット平面情報の符号長の合計が予め定めた第１の値以上である場合に、前記領域を移動物体の輪郭領域と判定するものである。
【００１２】
この構成によれば、画像のある領域のある閾値のビット位までのビット平面の符号量を確認するだけで領域内に存在するエッジの多さを判定することが可能であり、高速に物体の輪郭を検出することができる。
【００１３】
また、本発明の移動物体検出装置おいて、さらに移動物体検出手段は、前記領域内部の前記ビット平面情報の符号長の合計が、予め定めた第２の値以下である場合に、前記領域を移動物体の輪郭領域と判定するものである。
【００１４】
この構成によれば、物体の輪郭は線であるので、ある領域があまりに多くの水平方向成分、垂直方向成分および対角方向成分を含む場合、例えば、それは縞模様を含む領域であり、移動物体の輪郭ではないと判定し誤検出を防ぐことが可能である。
【００１５】
また、本発明の移動物体検出装置おいて、さらに動き情報抽出手段は、前記移動物体の輪郭領域と判断された領域から動きベクトルを抽出し、移動物体検出手段は、前記動きベクトルの大きさが予め定めた第３の値以上である場合に、前記領域を移動物体の輪郭領域であると判定するものである。
【００１６】
この構成によれば、動いていない物体を移動物体でないと判定し、移動物体の検出の精度を向上することができる。
【００１７】
また、本発明の移動物体検出装置において、さらに動き情報抽出手段は、移動物体の輪郭領域と判断された領域から第１の動きベクトルを抽出するとともに、当該領域の近傍に位置する領域を選択し、選択した領域から第２の動きベクトルを抽出し、前記移動物体検出手段は、前記第１の動きベクトルと、前記第２の動きベクトルとの差分ベクトルの大きさを測定値として算出し、前記測定値が予め定めた第４の値以下である場合、前記選択された領域を移動物体の内部領域であると判定するものである。
【００１８】
この構成によれば、映像の中で移動物体の輪郭の領域は周囲の領域とは異なる速度を持つので、移動物体の輪郭以外の領域を移動物体の領域ではないと判定し、移動物体の検出の精度を向上することができる。
【００１９】
また、本発明の移動物体検出装置において、さらに動き情報抽出手段は、複数の領域を選択し、それぞれの選択領域から動きベクトルを抽出し、移動物体検出手段は、前記選択領域毎に、前記第１の動きベクトルと前記選択された領域の動きベクトルとの差分ベクトルの大きさを求め、全ての選択領域についての差分ベクトルの大きさの合計を前記測定値として算出するものである。
【００２０】
この構成によれば、映像の中で移動物体の輪郭の領域は周囲の領域とは異なる速度を持つので、移動物体の輪郭以外の複数の領域を移動物体の領域ではないと判定し、移動物体の検出の精度を向上することができる。
【００２１】
また、本発明の移動物体検出装置において、さらに前記移動物体検出手段は、前記移動物体の内部領域であると判定された領域の動きベクトルと、前記領域の近傍に位置する領域の動きベクトルとの差分ベクトルの大きさが予め定めた第５の値以下である場合、前記移動物体の領域の内部領域であると判定するものである。
【００２２】
この構成によれば、ある速度で移動する移動物体の、移動物体と判定していない領域を検出することが可能で、移動物体の検出の精度を向上することができる。
【００２３】
また、本発明の移動物体検出装置において、さらに移動物体検出手段は、前記移動物体の輪郭領域又前記移動物体の内部領域と判定された領域により囲まれた領域を、移動物体の内部領域であると判定するものである。
【００２４】
この構成によれば、移動物体の輪郭と判定した内部を移動物体の領域として検出することが可能で、移動物体の検出の精度を向上することができる。
【００２５】
また、本発明の移動物体検出装置において、さらに移動物体検出手段は、第１の移動物体と判定された輪郭領域又は内部領域の近傍に、第２の移動物体の輪郭領域又は内部領域であると判定された領域の数が、予め定めた第６の値以上の場合、前記第１の移動物体と判定された輪郭領域又は内部領域を第１の移動物体であると再判定するものである。
【００２６】
この構成によれば、あまりに小さい領域を移動物体でないと判定することが可能で、移動物体検出の誤検出を低下することができる。
【００２７】
本発明の移動物体検出方法は、映像ストリームから移動物体を検出する方法であって、前記移動物体を検出する移動物体検出装置が実行するところの、映像を複数レイヤに分けて符号化する階層符号化、および、動き予測補償符号化を用いて映像符号化された映像ストリームから動き情報を抽出するステップと、前記映像ストリームからエッジ情報を抽出するステップと、抽出した前記動き情報と前記エッジ情報とを用いて移動物体を検出するステップとを有するものである。
【００２８】
この方法によれば、映像ストリームを復号化することなく、物体の輪郭を検出可能で、さらに、動きの情報から移動物体の検出が可能で、高速かつ高精度かつ低処理負荷で移動物体を検出することができる。
【００２９】
本発明の移動物体検出プログラムは、映像ストリームから移動物体を検出するためにコンピュータを、映像を複数レイヤに分けて符号化する階層符号化および動き予測補償符号化を用いて映像符号化された映像ストリームから動き情報を抽出するステップと、前記映像ストリームからエッジ情報を抽出するステップと、抽出した前記動き情報と前記エッジ情報とを用いて移動物体を検出するステップとを実行させるものである。
【００３０】
このプログラムによれば、映像ストリームを復号化することなく、物体の輪郭を検出可能で、さらに、動きの情報から移動物体の検出が可能で、高速かつ高精度かつ低処理負荷で移動物体を検出することができる。
【００３１】
本発明の映像復号化装置は、映像を複数レイヤに分けて符号化する階層符号化および動き予測補償符号化により符号化した映像ストリームを復号化する映像復号化手段と、前記映像復号化手段が前記映像ストリームを復号化する際に抽出した動き情報およびエッジ情報から移動物体を検出する移動物体検出手段とを有するものである。
【００３２】
この構成によれば、映像復号装置と移動物体検出装置が、一部の処理や手段を共有することができ、映像の復号化と移動物体の検出とを同時に高速に行うことが可能で、かつ、装置全体の規模を小さくすることが可能である。
【００３３】
また、本発明の映像復号化装置において、映像ストリームは複数の領域に分割されたものであって、移動物体検出手段は、前記領域内部のビット平面情報の符号長の合計が予め定めた第１の値以上である場合に、前記領域を移動物体の輪郭領域と判定するものである。
【００３４】
この構成によれば、例えば水平方向成分、垂直方向成分および対角方向成分のある領域のある閾値のビット位までのビット平面の符号量を確認するだけで領域内に存在するエッジの多さを判定することが可能であり、高速に物体の輪郭を検出することができる。
【００３５】
また、本発明の映像復号化装置おいて、さらに移動物体検出手段は、前記領域内部の前記ビット平面情報の符号長の合計が予め定めた第２の値以下である場合に、前記領域を移動物体の輪郭領域と判定するものである。
【００３６】
この構成によれば、物体の輪郭は線であるので、ある領域があまりに多くの水平方向成分、垂直方向成分および対角方向成分を含む場合、例えば、それは縞模様を含む領域であり、移動物体の輪郭ではないと判定し誤検出を防ぐことが可能である。
【００３７】
本発明の映像復号化装置において、さらに映像復号化手段は、移動物体検出手段の検出した移動物体の領域を強調した映像を生成するものである。
【００３８】
この方法によれば、監視者は容易に移動物体を検知することが可能である。
【００３９】
本発明の映像復号化装置において、さらに前記映像復号化手段は、エッジ成分からなる映像を生成し、前記移動物体検出手段の検出した移動物体の領域のみを強調して表示すものである。
【００４０】
これにより、通信速度の制限などにより基本レイヤのビットレートが非常に低く、画質の極端に悪い映像しか生成できないときでも、輪郭のみの方が細部を認識できる場合がある。
【００４１】
また、輪郭からなる映像の中において移動物体のみが非常に目立ち、複数の監視映像を同時に見る監視者にとって異常や不審人物の発生を検知しやすい。あるいは、複数のカメラ映像を表示する場合など、処理能力が限られた環境においても、低処理負荷で、監視上重要な領域を見やすく表示することが可能となる。
【００４２】
本発明の映像符号化装置は、映像を複数レイヤに分けて符号化する階層符号化および動き予測補償符号化を用いて符号化した映像ストリームを生成する映像符号化手段と、映像符号化手段が前記映像を符号化する際に動き情報と、映像のエッジ情報とを抽出して移動物体を検出する移動物体検出手段を有するものである。この構成によれば、映像符号化手段と移動物体検出手段とが、一部の処理や手段を共有することができ、映像の符号化と移動物体の検出とを同時に高速に行うことが可能で、かつ、装置全体の規模を小さくすることが可能である。
【００４３】
本発明の撮像装置は、映像を入力する撮像手段と、この撮像手段の入力した映像を符号化する本発明に係る映像符号化装置と、移動物体検出手段が出力する移動物体の検出結果に基づき、撮像手段に対して撮像機能を制御する撮像制御手段と、映像ストリームと移動物体の検出結果とを出力する出力部とを有するものである。
【００４４】
この構成によって、遠隔地への映像送信のために生成する映像ストリームの生成過程で、移動物体の検出を行うことができるので、映像監視などにおいて、不審人物などを高速に移動物体として検出し撮影しつづけることが可能であるとともに、その映像を送信することができ、映像監視を効率的に行うことができる。
【００４５】
また、本発明の撮像装置において、撮像制御手段が、前記移動物体検出手段が出力する移動物体の領域の面積を入力映像の全面積に対して一定の割合となるように、撮像手段を制御するものである。
【００４６】
この構成によって、移動物体とその周囲の状況を映像に収めることが可能で、注目する移動物体の監視を効率的に行うことができる。
【００４７】
本発明の映像監視システムは、本発明に係る撮像装置と、この撮像装置から受信した映像ストリームを復号化するとともに、移動物体の検出結果を用いて、検出した移動物体の領域の画像認識を行う映像監視装置とを有するものである。
【００４８】
この構成によって、遠隔地への映像送信のために生成する映像ストリームの生成過程で、移動物体の検出を行うことができ、また、移動物体以外の領域の画像認識処理を省略し高速かつ低処理負荷で画像認識することができるので、映像監視などにおいて、不審人物などを高速に移動物体として検出し撮影しつづけることが可能である。
【００４９】
なお、本発明において画像認識とは、移動物体の検出に限らず、人・顔・物の認識や人の認証を含む、機械による画像を用いた自動判別手段をさす。
【００５０】
また、本発明の映像復号化装置において、さらに映像ストリームは、基本レイヤと拡張レイヤに階層化して符号化され、前記動き情報抽出手段は、前記基本レイヤの映像ストリームから前記動き情報を抽出し、前記エッジ情報抽出手段は、前記拡張レイヤの映像ストリームから前記エッジ情報を抽出するものである。
【００５１】
この構成によれば、前記動き情報が動きのないことを示している場合に前記エッジ情報の抽出などの処理を中止して処理負荷を軽減することが可能であり、また、前記エッジ情報がエッジのないことを示している場合に前記動き情報の抽出などの処理を中止して処理負荷を軽減することが可能であり、高速に物体の輪郭を検出することができる。
【００５２】
また、本発明の映像復号化装置において、さらに映像ストリームは、基本レイヤと拡張レイヤに階層化して符号化され、前記動き情報抽出手段は、前記拡張レイヤの映像ストリームから前記動き情報を抽出し、前記エッジ情報抽出手段は、拡張レイヤの映像ストリームから前記エッジ情報を抽出するものである。
【００５３】
この構成によれば、移動物体の検出処理を、拡張レイヤの映像ストリームのみで行うことが可能で、高速かつ少ない映像ストリームで物体の輪郭を検出することができる。
【発明の効果】
【００５４】
以上説明したように、本発明によれば、画像を縮小画像、水平方向成分、垂直方向成分および対角方向成分に分割する帯域分割方法、および、動き予測補償符号化を用いて映像符号化された映像ストリームから、映像を復号化することなく、高速、高精度かつ低処理負荷で移動する物体の輪郭を検出することが可能になる。また、それと同時に映像の復号化を行うことができる。
【発明を実施するための最良の形態】
【００５５】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００５６】
（実施の形態１）
実施の形態１は、本発明に係る移動物体検出方法および装置を、映像復号化装置に適用したものである。つまり、映像ストリームを復号化すると同時に、映像内にある移動物体を高速かつ高精度で検出できるようにしたものである。
【００５７】
初めに、本実施の形態で用いる映像ストリームについて説明する。この映像ストリームは基本レイヤと拡張レイヤとからなり、基本レイヤは、単独で復号化し低解像度の映像を得ることができる。拡張レイヤは、基本レイヤの画質を向上して高解像度の映像を得ることが可能な付加情報であり、水平・垂直・対角方向のエッジ成分（水平方向成分、垂直方向成分および対角方向成分）を含む。
【００５８】
次に、この映像ストリームを生成する方法を説明する。
【００５９】
まず、入力画像を帯域分割して、縮小画像、水平成分、垂直成分、対角成分を生成する。また、縮小画像を動き予測補償符号化により、単独で映像を復号化可能な基本レイヤとして符号化する。そして水平方向成分、垂直方向成分および対角方向成分をビット平面符号化により、基本レイヤを復号化した映像を高画質化するための拡張レイヤとして符号化する。
【００６０】
ここで、帯域分割について説明する。帯域分割では、画像を縮小画像、水平成分、垂直成分、および対角成分の４つの成分に分割する。この帯域分割は、ウエーブレット変換や、ハイパスフィルタとローパスフィルタとダウンサンプラの組合せを用いるなどにより行う。また、帯域分割して得た、縮小画像・水平方向成分、垂直方向成分、および対角方向成分は、帯域合成によってもとの画像に復元することが可能である。この帯域分割によって得られる水平方向成分、垂直方向成分、および対角方向成分とは、数学的に計算可能な近隣画素との画素値の差であり、必ずしも、物体の輪郭を表す訳ではない。例えば、白黒の横縞模様は、その色の境目に強い垂直成分が横線となって現われる。
【００６１】
図１は、本発明の移動物体検出方法および装置を適用した実施の形態１に係る映像復号化装置１００の構成を示すブロック図である。
【００６２】
図１において、映像復号化装置１００は、ストリーム入力部１０１、基本レイヤ復号化１０２、拡張レイヤ復号化部１０３、帯域合成部１０４、映像出力部１０５、移動物体検出部１０６、検出結果出力部１０７を有する。
【００６３】
なお、基本レイヤ復号化部１０２と拡張レイヤ復号化部１０３と帯域合成部１０４とが本発明の映像復号化手段に相当し、基本レイヤ復号化部１０２が動き情報抽出手段に相当し、拡張レイヤ復号化部１０３がエッジ情報抽出手段に相当し、移動物体検出部１０６が移動物体検出手段に相当する。
【００６４】
ここで、映像復号化手段は、入力した映像ストリームを復号化して映像を生成して出力する。動き情報抽出手段は、入力した映像ストリームから動き情報を抽出して移動物体検出手段に出力する。エッジ情報抽出手段は、入力した映像ストリームからエッジ情報を抽出して移動物体検出手段に出力する。移動物体検出手段は、入力したエッジ情報と動き情報から移動物体を検出する。
【００６５】
次に、以上のように構成された映像復号化装置１００の動作を説明する。
【００６６】
図３は、図１に示す実施の形態１の映像復号化装置１００の動作を表すフローチャートである。なお、図３に示すフローチャートは、図示しない記憶装置（例えばＲＯＭやフラッシュメモリなど）に格納された制御プログラムを、同じく図示しないＣＰＵが実行することにより、プログラムの実行によりソフトウエア的に実行されるようにすることも可能である。
【００６７】
まず、ストリーム入力部１０１が、映像復号化装置１００の外部から映像ストリームを入力し、映像ストリームの基本レイヤを基本レイヤ復号化部１０２へ、拡張レイヤを拡張レイヤ復号化部１０３に出力する（ステップＳ３０１）。
【００６８】
次に、基本レイヤ復号化部１０２が、ストリーム入力部１０１から入力した基本レイヤから動き情報を抽出し移動物体検出部１０６に出力する。また、拡張レイヤ復号化部１０３が、ストリーム入力部１０１から入力した拡張レイヤからエッジ情報を抽出して移動物体検出部１０６に出力する。そして、移動物体検出部１０６が、基本レイヤ復号化部１０２と拡張レイヤ復号化部１０３から入力した動き情報とエッジ情報を用いて移動物体の検出を行い、移動物体検出結果を生成し検出結果出力部１０７と帯域合成部１０４に出力する（ステップＳ３０２）。
【００６９】
なお、映像は、移動物体を含むこともあれば含まないこともあり、また、含む場合にも移動物体が１つであることもあれば複数であることもある。
【００７０】
以下に、ステップＳ３０２の移動物体検出処理について詳しく説明を行う。
【００７１】
図４は、図３の移動物体検出処理の手順の一例を示すフローチャートである。
【００７２】
まず、ステップＳ４０１では、エッジ情報の抽出処理を行う。具体的には、拡張レイヤ復号化部１０３が、ストリーム入力部１０１から入力した拡張レイヤから特定のビット平面までの情報を含む符号を抽出し、エッジ情報を生成して移動物体検出部１０６に出力する。
【００７３】
ここで、ビット平面符号化について説明する。
【００７４】
このビット平面とは、２進数で表された幾つかの数値データの同じビット位のみを並べたビット列のことである。ビット平面ごとに符号化する方法をビット平面符号化とよび、Weiping. Li, "Overview of Fine Granularity Scalability in MPEG-4 Video Standard", IEEE Transaction on Circuits and Systems for Video Technology, vol.11, pp.301-317, Mar.2001に記述されるようにデータの品質を調整する能力に優れている。
【００７５】
図２はビット平面符号化の概念を示した図であり、水平方向成分のある領域を表すものとして説明を進める。
【００７６】
図２において、１列は、水平成分の１画素を２進数で表現したものを表す（画素１、画素２）。１行は、水平方向成分のある領域におけるビット平面を表し（ビット平面１、ビット平面２）、すなわち、各画素の同じ位のビットのみを集めたものである。ビット平面は、上位のビット平面であるほど、水平方向成分の強いエッジを表現することが可能である。このビット平面のうち、最上位ビット平面から特定のビット平面までの情報を並べたものを符号化したものがエッジ情報である。例えば８×８画素や１６×１６画素の領域ごとの特定ビット平面までのビット平面ごとの符号量などの情報を含む。水平方向成分、垂直方向成分および対角方向成分は多くの「０」を含むので、ビット平面符号化は「０」が多い場合に符号長が短くなるように符号化する。よって、「１」を多く含むほど水平方向成分、垂直方向成分および対角方向成分の領域のビット平面は符号長が長くなる。
【００７７】
図５は本実施の形態の拡張レイヤのデータ構造を表すものである。図５に示す拡張レイヤは、１画像分の符号であり、ｎ個のビット平面とｍ個の領域の情報を含む。１画像分の拡張レイヤは、画像のヘッダ情報５０１、最上位のビット平面を表すビット平面１から最下位のビット平面ｎの情報５０２を保持する。
【００７８】
図６は図５における拡張レイヤのビット平面ｋのデータ構造を表し、拡張レイヤのビット平面ｋはビット平面のヘッダ情報６０１、領域１〜領域ｍのビット平面ｋの符号６０２を含む。
【００７９】
図７は図６における拡張レイヤの領域ｊのビット平面ｋのデータ構造を表し、拡張レイヤの領域ｊのビット平面ｋは該当する領域の画素成分の符号７０１と、領域の符号が終了したことを表す終端信号７０２を含む。
【００８０】
以上のようなデータ構造により、ビット平面の情報の抽出は、最上位ビット平面から特定のビット平面まで、それら領域の終端信号を順に映像ストリーム内から検索し、領域の終端信号間の符号長を数えるだけでよい。このため、拡張レイヤ復号化部１０３は高速にエッジ情報を生成することが可能である。
【００８１】
次に、ステップＳ４０２では、動き情報の抽出処理を行う。具体的には、基本レイヤ復号化部１０２が、ストリーム入力部１０１から入力した基本レイヤから動きベクトルの情報を抽出し、動き情報を生成して移動物体検出部１０６に出力する。
【００８２】
この動き情報は、基本レイヤの動き予測補償に用いるものであり、領域ごとの動き予測補償符号化であるか、フレーム内符号化であるかの情報、動きベクトルの大きさと方向、動きベクトルが参照する画像の情報、および画像全体が動き予測補償符号化であるか、フレーム内符号化であるかの情報などを含む。
【００８３】
図８は本実施の形態の基本レイヤのデータ構造を表すものである。図８に示す基本レイヤは、１画像分の符号であり、ｍ個の領域の情報を含む。すなわち、１画像分の基本レイヤは、画像のヘッダ情報８０１と、領域１〜領域ｍの情報８０２とを含む。図９は図８における基本レイヤの領域ｐのデータ構造を表し、基本レイヤの領域ｐは領域のヘッダ情報９０１、動きベクトル９０２、画素成分の符号９０３、および、領域の符号が終了したことを表す終端信号９０４を含む。
【００８４】
動きベクトルの抽出は、それら領域のヘッダ情報９０１や終端信号９０４を映像ストリームから検索し、その位置から定位置にある動きベクトル９０２のみを復号化するだけでよい。これにより、基本レイヤ復号化部１０２は高速に動き情報を生成することが可能である。
【００８５】
ステップＳ４０３では、移動物体の輪郭の検出処理を行う。具体的には、移動物体検出部１０６が、基本レイヤ復号化部１０２と拡張レイヤ復号化部１０３とから入力した動き情報とエッジ情報を用いて移動物体の輪郭の領域を検出し、結果を移動物体検出部１０６に記憶する。
【００８６】
ここで、輪郭の領域の検出方法について、以下に説明する。
【００８７】
すなわち、ある領域に対する水平方向成分、垂直方向成分および対角方向成分のビット平面から求めた符号長、例えば最上位ビット平面から３ビット平面までの各符号量の合計符号長が閾値Ａ以上であることを条件１とする。なお、この閾値Ａは弱いエッジと判定する基準値である。
【００８８】
また、上記の領域の合計符号長が閾値Ｂ以下であることを条件２とする。この閾値Ｂは縞模様のようなエッジでない画像を識別するための基準値である。
【００８９】
そして、領域が含むエッジ情報が点か線か面を表すものであるか否かを判別し、上記の領域の合計符号長が、これら条件１と条件２とを満足するとき、物体の輪郭に現われる線であると判定する。以下に、具体的な例を、図１０を用いて説明する。
【００９０】
図１０（ａ）乃至（ｃ）はそれぞれ、８×８画素領域における水平方向成分の例を表したものである。説明を簡単にするため、画素値を２値で表しており、最上位ビット平面から特定のビット平面までに”１”を含むならばマスを黒くし、”１”を含まないものは白く表す。図１０（ａ）は領域内にノイズや小さい点などが存在する場合の水平方向成分を示し、図１０（ｂ）は領域内に縦線が存在する場合の水平方向成分を示し、図１０（ｃ）は領域内全てが例えば縞模様の一部である場合の水平方向成分を示す。図１０（ａ）乃至（ｃ）で表される領域をそれぞれ符号化すると、領域が含む０以外の値の多さに応じて符号量は小さい順に図１０（ａ）、図１０（ｂ）、図１０（ｃ）となる。垂直方向成分と対角方向成分についても同様である。このとき、閾値Ａが８、閾値Ｂが３２とすると、閾値Ａ＜前記合計値＜閾値Ｂの関係が成立する図１０（ｂ）に示す領域は物体の輪郭に現われる線を含むと判定することができる。なお、閾値Ａ＜閾値Ｂである。
【００９１】
また、より簡便な輪郭抽出としては、閾値Ａのみを利用して、閾値Ａ＜前記合計値の関係が成立する領域は、物体の輪郭に現れる線を含むと判定することもできる。
【００９２】
さらに、輪郭と判定したある領域が移動物体の輪郭であるか否かは、次の条件３あるいは条件４を満たすか否かにより行う。
【００９３】
すなわち、条件３は、領域の動きベクトルの大きさが閾値Ｃ未満であることであり、対象とする移動物体の動きはある程度以上の動きをしている必要があるからである。
【００９４】
条件４は、領域の動きベクトルと、周囲の動きベクトルとの差分ベクトルの大きさが閾値Ｄ未満であることである。これは、移動物体が周囲とは同じ動きをするか否かを判断する。なお、周囲の動きベクトルは一つでなくても良い。その場合の条件４について説明する。まず、周囲の複数の動きベクトルを抽出し、周囲の動きベクトル毎に、領域の動きベクトルとの差分ベクトルの大きさを求める。この場合の条件４は、差分ベクトルの大きさの合計値が閾値Ｄ未満であることである。
【００９５】
なお、条件４について上記以外として次の条件も想定できる。例えば周囲の動きベクトルとして複数の動きベクトルを選択した場合、領域と周囲の領域の動きベクトルのＸ方向成分（水平方向成分）の差分の２乗和と、同じくＹ方向成分（垂直方法成分）の差分の２乗和の合計で計算したもの（以下、分散）を基準とすることもできる。この場合の条件４は、上記分散が閾値Ｄ未満であることである。条件４を満たせば、領域の動きベクトルは周囲と同じ方向や大きさを持つものとし、移動物体でないと判断する。また、分散の計算はこれに限らず、動きベクトルの大きさの差分の絶対値と角度の差分の絶対値の積を周囲領域で合計した値で計算しても良い。領域の動きベクトルが周囲の動きベクトルと異なる方向や大きさを持つかどうかを判断できるものであれば、これらに限らない。
【００９６】
そして、この条件４あるいは条件５を満たすとき、その領域は移動物体の領域でないと判定する。なお、画像全体をフレーム内符号化しているように、動きベクトルを含まないフレームでは輪郭の判断をせずに、動きベクトルを含んでいるフレームを待つようにする。これは、動きベクトルのないフレームからは動きを検出することができないからである。
【００９７】
移動物体検出部１０６は、上記の条件１と条件２とから物体の輪郭と判定した領域のうち、条件３、又は条件４を満たす領域を、移動物体の輪郭ではないと判定する。これは、移動する物体の輪郭は、周囲と異なる速度をもって動くからである。
【００９８】
次に、ステップＳ４０４では、移動物体の内部の検出処理を行う。具体的には、移動物体検出部１０６が、基本レイヤ復号化部１０２から入力した動き情報と、前記記憶した移動物体の輪郭の検出結果を用いて、移動物体の内部の領域を検出する。内部の領域の検出結果を移動物体検出部１０６に記憶する。
【００９９】
ここで、内部の領域を検出する方法について、以下に説明する。
【０１００】
すなわち、ある領域を移動物体の内部であると判定する条件は次に示す条件５あるいは条件６を満たす場合である。
【０１０１】
条件５は、移動物体の輪郭または内部と判定した領域の近傍にあり、近傍の領域との動きベクトルの大きさと方向の分散が閾値Ｅ未満であることであり、閾値Ｅは移動物体の輪郭と内部とが同一速度で動くと判定するときの基準値である。
【０１０２】
条件６は、移動物体の輪郭または内部と判定した領域に囲まれていることであり、これは移動物体の内部は輪郭で囲まれているものだからである。
【０１０３】
次に、ステップＳ４０５では、移動物体の誤検出を除去する処理を行う。具体的には、移動物体検出部１０６が、記憶してある移動物体の輪郭と内部の領域の検出結果から、誤検出した領域を除去し、移動物体検出結果を生成し検出結果出力部１０７と帯域合成部１０４に出力する。
【０１０４】
この誤検出した領域であることの判定条件は、移動物体の輪郭または内部と判定した領域が周囲に少ないことであり、あまりに小さい移動物体を検出した場合には、誤検出の可能性が高いからである。
【０１０５】
移動物体検出部１０６は、上記のようにして得た移動物体の領域から移動物体検出結果を生成する。移動物体検出結果は、例えば以下のようなものである。
【０１０６】
第１に、移動物体の領域であるか、そうでないかを領域ごとに記述した情報であり、第２に、１つの移動物体に対してそれに外接する１つ矩形や楕円を定義し、矩形や楕円ごとの座標や大きさを記述した情報である。
【０１０７】
なお、移動物体の内部の情報を必要としない場合は、内部の検出の処理を省略しても良い。
【０１０８】
また、移動物体の検出方法については、動きベクトルを用いた移動物体の検出方法に限らず、本発明のエッジ情報と組み合わせれば、他の方法を用いても良い。
【０１０９】
本実施の形態の移動物体検出方法によると、基本レイヤが動きベクトルを含み、拡張レイヤがあるビット位のビット平面までの符号さえ含んでいれば、伝送が低ビットレートであって、例え画質が悪くても、移動物体の検出を高速かつ高精度かつ低処理負荷に行うことが可能である。
【０１１０】
次に、ステップＳ３０３では、移動物体を検出した結果を出力する。具体的には、検出結果出力部１０７が、移動物体検出部１０６から入力された移動物体の領域の座標を外部に出力する。
【０１１１】
次に、ステップＳ３０４では、基本レイヤ復号化処理を行う。具体的には、基本レイヤ復号化部１０２が、ストリーム入力部１０１から入力した映像ストリームの基本レイヤを、動き予測補償復号化して縮小画像を生成し、帯域合成部１０４に出力する。
【０１１２】
次に、ステップＳ３０５では、拡張レイヤ復号化処理を行う。具体的には、拡張レイヤ復号化部１０３が、ストリーム入力部１０１から入力した映像ストリームの拡張レイヤをビット平面復号化して水平方向成分、垂直方向成分および対角方向成分を生成し、帯域合成部１０４に出力する。
【０１１３】
次に、ステップＳ３０６では、帯域合成処理を行う。具体的には、帯域合成部１０４が、基本レイヤ復号化部１０２から入力した縮小画像と拡張レイヤ復号化部１０３から入力した水平方向成分、垂直方向成分および対角方向成分を帯域合成し復号画像を生成し、映像出力部１０５に出力する。さらに、帯域合成部１０４が、移動物体検出部１０６から入力した移動物体検出結果を用いて、復号画像の移動物体を含む領域を強調しても良い。
【０１１４】
ここで、この移動物体の領域の強調について説明する。例えば、帯域合成部１０４が、移動物体の領域の部分だけ復号映像を着色する、または、移動物体の領域を枠で囲むなどの処理を行う。また、基本レイヤを復号化して得る縮小画像の全画素の値を「０」として帯域合成して輪郭のみからなる画像を生成し、さらに、移動物体の領域部分を強調しても良い。
【０１１５】
このようにすると、輪郭からなる映像の中において移動物体のみが非常に目立ち、複数の監視映像を同時に見る監視者にとって異常や不審人物の発生を検知しやすい。また、通信速度の制限などにより基本レイヤのビットレートが非常に低く、画質の極端に悪い映像しか生成できないときには、輪郭のみの方がむしろ細部を認識できる場合がある。あるいは、複数のカメラ映像を表示する場合などの、処理能力が限られた環境においても、輪郭のみ表示する方が、低処理負荷で、監視上重要な領域を見やすくすることが可能になる。
【０１１６】
次に、ステップＳ３０７では、映像出力処理を行う。具体的には、映像出力部１０５が、帯域合成部１０４から入力した復号映像を外部に出力する。
【０１１７】
なお、復号化処理を行わずに移動物体の検出のみを行うことも可能であり、このとき、映像を得ることはできないが、基本レイヤ復号化処理（ステップＳ３０４）から映像出力処理（ステップＳ３０７）までの処理をしないので、更に高速かつ低処理負荷で移動物体を検出することが可能となる。
【０１１８】
次に、ステップＳ３０８では、終了判定処理を行う。ストリーム入力部１０１が、続く映像ストリームの有無を判定するなどして、映像復号化装置１００がこれ以上移動物体の検出を行う必要も映像を復号する必要もなければ処理を終了し、そうでなければステップＳ３０１に戻る。
【０１１９】
なお、上記の説明では基本レイヤ復号化処理（ステップＳ３０４）乃至映像出力処理（ステップＳ３０７）を移動物体の検出処理（ステップＳ３０２とステップＳ３０３）後に行っているが、これに限らず、基本レイヤや拡張レイヤの復号化処理と並列して、移動物体検出処理を行うことが可能である。
【０１２０】
また、帯域分割を用いた他の符号化方法による映像ストリームの生成方法として、入力画像を動き予測補償した後に帯域分割を行って、ビット平面符号化する方法がある。しかし、この方法では、動き予測補償により前後の画像と差分をとった画像を帯域分割しても、物体の輪郭に発生する水平方向成分、垂直方向成分および対角方向成分を得ることができない。この場合は、全体をフレーム内符号化した画像の水平方向成分、垂直方向成分および対角方向成分のみ用いることになる。
【０１２１】
また、拡張レイヤに、水平方向成分、垂直方向成分および対角方向成分のみならず、縮小画像と基本レイヤを復号した画像の差分の情報を含めることも可能である。
【０１２２】
以上のように、本実施の形態１によれば、入力画像を直接帯域分割して得る水平方向成分、垂直方向成分および対角方向成分の情報と、動き予測補償によって生成する動きベクトルを含む映像ストリームから、エッジの情報と動きの情報を抽出する手段を設けたことにより、動き予測符号化を用いた基本レイヤと水平方向成分、垂直方向成分および対角方向成分のビット平面符号化を用いた拡張レイヤからなる映像ストリームを復号化することなく、高速かつ高精度かつ低処理負荷に移動物体を検出することができる。
【０１２３】
また、実施の形態１によれば、動き情報を基本レイヤの映像ストリームから、エッジ情報を拡張レイヤの映像ストリームから抽出することが可能で、動き情報が動きのないことを示している場合にエッジ情報の抽出などの処理を中止して処理負荷を軽減することが可能であり、また、エッジ情報がエッジのないことを示している場合に動き情報の抽出などの処理を中止して処理負荷を軽減することが可能であり、高速に物体の輪郭を検出することができる。このとき、動き情報とエッジ情報の抽出はどちらを先に行っても良く、また、並列に行っても良い。
【０１２４】
また、実施の形態1によれば、移動物体の検出は、動きベクトルと一部のビット平面のエッジ情報のみで行うことができるので、通信速度が制限された状況など低ビットレートの映像ストリームであっても高速かつ高効率に移動物体の検出が可能である。
【０１２５】
また、実施の形態1では、移動物体の検出に必要なエッジ情報の抽出を拡張レイヤ復号化部１０３が行い、動き情報の抽出を基本レイヤ復号化部１０２が行うことにより、映像復号化処理と移動物体検出処理とが一部の手段や処理を共有することができるので、移動物体の検出と映像の復号化とを同時に、かつ高速に行うことが可能であり、また、装置全体の規模を小さくすることができる。
【０１２６】
また、実施の形態１によれば、拡張レイヤ復号化部１０３が、映像ストリーム内にあるビット平面ヘッダ６０１に含まれる開始信号や、８×８画素などの領域ごとの終端信号７０２を検索し識別信号間の符号長を数えるだけで、高速にエッジ情報を生成することが可能である。
【０１２７】
また、実施の形態１によれば、基本レイヤ復号化部１０２が、映像ストリーム内の、例えば、８×８画素などの領域ごとの識別信号を検索し、その識別信号から決まった位置にある動きベクトルを復号するだけで、高速に動き情報を生成することが可能である。
【０１２８】
また、実施の形態1によれば、移動物体検出部１０６が、エッジ情報と動き情報による移動物体の輪郭の検出、動き情報や既に検出した結果による移動物体の内部の検出、および、誤検出の除去を行うことにより、移動物体の検出を高精度に行うことが可能である。
【０１２９】
また、実施の形態１では、帯域合成部１０４が、復号化した映像の移動物体の領域を強調することや、基本レイヤを復号化した縮小映像を帯域合成しない線画をもちいることにより、移動物体の検出結果を監視者に検知しやすくすることが可能である。
【０１３０】
（実施の形態２）
実施の形態２は、本発明に係る移動物体検出方法および装置を映像監視システムに適用したものである。映像監視システムは、映像符号化装置を備えた自動追尾カメラを有する。つまり、映像を符号化し映像ストリームを生成すると同時に、映像内にある移動物体を高速かつ高精度かつ低処理負荷で検出し、その検出結果をもとに自動追尾カメラが移動物体を自動追尾し、効率的に映像監視できるようにしたものである。
【０１３１】
以下に、この映像監視システムについて具体的に説明する。
【０１３２】
図１１は、本発明の移動物体検出方法および装置を適用した実施の形態２に係る映像監視システムの構成を示す図である。
【０１３３】
この映像監視システムは、映像監視装置１１００、通信網１１１０、Ｎ台の自動追尾カメラ１１２１〜１１２Ｎを有する。なお、自動追尾カメラは本発明の撮像装置に相当する。
【０１３４】
図１２は、実施の形態２に係る自動追尾カメラ１１２１乃至１１２Ｎの構成を示すブロック図である。図１２に示す自動追尾カメラは、図１１に示す映像監視システムにおける自動追尾カメラ１１２１に対応する。
【０１３５】
図１２において、自動追尾カメラ１１２１は、撮像部１２０１、映像符号化部１２０２、撮像制御部１２０３を有する。他の自動追尾カメラ１１２２〜１１２Ｎについても同様の構成を有する。
【０１３６】
なお、撮像部１２０１が本発明の撮像手段に相当し、撮像制御部１２０３が本発明の撮像制御手段に相当する。
【０１３７】
ここで、撮像部１２０１はパン・ティルト・ズームなどの撮像機能動作を行って撮像した映像を映像符号化部１２０２へ出力する。
【０１３８】
映像符号化部１２０２は、入力した映像を帯域分割して、水平方向成分、垂直方向成分および対角方向成分の情報と、動き予測補償によって生成する動きベクトルを含む映像ストリームを生成する。
【０１３９】
撮像制御部１２０３は、追尾する目標の情報と移動物体の検出の結果を入力し、撮像部１２０１に対してパン・ティルト・ズームを行うための制御信号を生成し出力する。
【０１４０】
図１３は、映像符号化部１２０２の構成を示すブロック図であり、本発明の移動物体検出方法および装置を適用した映像符号化装置に相当する。
【０１４１】
図１３において、映像符号化部１２０２は、映像入力部１３０１、帯域分割部１３０２、基本レイヤ符号化部１３０３、拡張レイヤ符号化部１３０４、ストリーム出力部１３０５，移動物体検出部１３０６、および検出結果出力部１３０７を有する。
【０１４２】
なお、帯域分割部１３０２と基本レイヤ符号化部１３０３と拡張レイヤ符号化部１３０４とが本発明の映像符号化手段に相当し、基本レイヤ符号化部１３０３が動き情報抽出手段に相当し、拡張レイヤ符号化部１３０４がエッジ情報抽出手段に相当し、移動物体検出部１３０６が移動物体検出手段に相当する。
【０１４３】
ここで、映像符号化手段は、入力した映像を符号化して映像ストリームを生成して出力する。これを構成する帯域分割部１３０２は、入力画像を帯域分割して、縮小画像、水平成分、垂直成分、および対角成分を生成したり、縮小画像を動き予測補償符号化により、単独で映像を復号化可能な基本レイヤとして符号化する。また、これら水平方向成分、垂直方向成分および対角方向成分をビット平面符号化により、拡張レイヤとして符号化する。基本レイヤ符号化部１３０３は、生成した映像ストリームから動き情報を抽出して移動物体検出部１３０６に出力する。拡張レイヤ符号化部１３０４は、生成した映像ストリームからエッジ情報を抽出して移動物体検出部１３０６に出力する。移動物体検出部１３０６は、入力したエッジ情報と動き情報から移動物体を検出する。なお、ストリーム出力部１３０５と検出結果出力部１３０７とが本発明の出力部に相当する。
【０１４４】
次に、本実施の形態に係る自動追尾カメラ１１２１の動作を説明する。図１４は、図１２に示す自動追尾カメラ１１２１の動作を表すフローチャートである。なお、図１４に示すフローチャートは、図示しない記憶装置（例えばＲＯＭやフラッシュメモリなど）に格納された制御プログラムを、同じく図示しないＣＰＵが実行することにより、プログラムの実行によりソフトウエア的に実行されるようにすることも可能である。
【０１４５】
まず、ステップＳ１４０１により、撮像処理を行う。具体的には、撮像部１２０１が、監視対象の映像を撮像し、入力画像を映像符号化部１２０２の映像入力部１３０１に出力する。また、撮像部１２０１が、パン・ティルト・ズームや設置場所の情報を映像符号化部１２０２の検出結果出力部１３０７に出力する。
【０１４６】
次に、ステップＳ１４０２では、映像符号化処理を行う。映像符号化部１２０２が、撮像部１２０２から入力した入力映像を符号化して映像ストリームを生成し、同時に移動物体を検出して移動物体検出結果を生成する。これら生成した映像ストリームと移動物体検出結果とを、通信網１１１０を介して映像監視装置１１００の受信部１１０１に出力する。また、移動物体検出結果を撮像制御部１２０３に出力する。
【０１４７】
次に、ステップＳ１４０３では、撮像制御処理を行う。具体的には、撮像制御部１２０３が、通信網１１００を介して映像監視装置１１００のカメラ群制御部１１０２から入力した目標追尾命令と、映像符号化部から入力した移動物体検出結果とにより、パン・ティルト・ズームの制御信号を生成し撮像部１２０１に出力する。撮像部１２０１は、撮像制御部１２０３から入力した制御信号に基づきパン・ティルト・ズームを行う。
【０１４８】
ここで、この制御信号について説明する。後述する映像監視装置１１００が生成した目標追尾命令が、例えば、補足すべき不審人物を撮影するための座標や拡大率などを指定している場合には、撮像制御部１２０３はそれにあわせてパン・ティルト・ズームさせる制御信号を生成する。補足すべき不審人物を撮影するための座標と、移動物体検出結果が示す移動物体の領域の座標にズレがある場合には、撮像制御部１２０３がズレを修正して制御信号を生成してもよい。また、追尾する移動物体が画面に対して常に一定の面積を占めるようにカメラをパンさせても良い。目標追尾命令が無いが移動物体検出結果がある場合、移動物体を映像の中心にして撮影する。また、複数の移動物体が全て映像に収まるように制御信号を生成しても良い。その他、特に目標追尾命令も移動物体検出結果も無い場合は、広範囲を撮影する目的で撮像部１２０１に首振り運動させる制御信号を生成してもよい。
【０１４９】
次に、ステップＳ１４０４で、自動追尾カメラ１１２１の電源が切られるなど、映像監視を行う必要がなければ終了し、そうでなければステップＳ１４０１に戻る。
【０１５０】
ここで、図１４におけるステップＳ１４０２の映像符号化処理について詳しく説明する。
【０１５１】
図１５は、映像符号化部１２０の動作を表すフローチャートである。なお、図１５に示すフローチャートは、図示しない記憶装置（例えばＲＯＭやフラッシュメモリなど）に格納された制御プログラムを、同じく図示しないＣＰＵが実行することにより、プログラムの実行によりソフトウエア的に実行することも可能である。
【０１５２】
まず、ステップＳ１５０１では、映像入力処理を行う。具体的には、映像入力部１３０１が、自動追尾カメラ１１２１の撮像部１２０１から入力画像を入力し帯域分割部１３０２に出力する。
【０１５３】
次に、ステップＳ１５０２では、帯域分割処理を行う。具体的には、帯域分割部１３０２が、映像入力部１３０１から入力した入力画像を帯域分割して縮小画像と水平方向成分、垂直方向成分および対角方向成分を生成し、縮小画像を基本レイヤ符号化部１３０３に、水平方向成分、垂直方向成分および対角方向成分を拡張レイヤ符号化部１３０４に出力する。
【０１５４】
次に、ステップＳ１５０３では、基本レイヤ符号化処理を行う。具体的には、基本レイヤ符号化部１３０３が、帯域分割部１３０２から入力した縮小画像を動き予測補償符号化して基本レイヤを生成し、ストリーム出力部１３０５に出力する。また、動き予測補償の際に得る動き情報を移動物体検出部１３０６に出力する。
【０１５５】
次に、ステップＳ１５０４では、拡張レイヤ符号化処理を行う。具体的には、拡張レイヤ符号化部１３０４が、帯域分割部１３０２から入力した水平方向成分、垂直方向成分および対角方向成分をビット平面符号化して拡張レイヤを生成し、ストリーム出力部１３０５に出力する。また、ビット平面符号化の際に得られるエッジ情報を移動物体検出部１３０６に出力する。
【０１５６】
次に、ステップＳ１５０５では、ストリーム出力処理を行う。具体的には、ストリーム出力部１３０５が、基本レイヤ符号化部１３０３から入力した基本レイヤと、拡張レイヤ符号化部１３０４から入力した拡張レイヤを、通信網１１１０を介して映像監視装置１１００の受信部１１０１に出力する。
【０１５７】
次に、ステップＳ１５０６では、移動物体検出処理を行う。具体的には、移動物体検出部１３０６が、基本レイヤ符号化部１３０３から入力した動き情報と、拡張レイヤ符号化部１３０４から入力したエッジ情報とを用いて移動物体の検出を行い移動物体検出結果を生成し、検出結果出力部１３０７に出力する。
【０１５８】
なお、移動物体の検出の方法については実施の形態１と同様であるので、ここでは詳しく述べない。
【０１５９】
次に、ステップＳ１５０７では、検出結果出力処理を行う。具体的には、検出結果出力部１３０７が、移動物体検出部１３０６から入力した移動物体検出結果と、自動追尾カメラ１１２１の撮像部１２０１から入力したパン・ティルト・ズームや設置位置などの情報を、通信網１１１０を介して映像監視装置１１００の受信部１１０１に出力する。
【０１６０】
なお、実施の形態１に述べた映像復号化装置と同様に、本実施の形態においても水平方向成分、垂直方向成分および対角方向成分の情報と、動き予測補償によって生成する動きベクトルとを含んだ映像ストリームを生成することができれば、他の帯域分割方法を利用することも可能である。
【０１６１】
次に、本実施の形態に係る映像監視装置１１００の構成について以下に説明する。
【０１６２】
図１１において、映像監視装置１１００は、受信部１１０１、画像認識部１１０２、およびカメラ群制御部１１０３を有する。
【０１６３】
画像認識部１１０２は本発明の画像認識手段に相当し、映像ストリームと移動物体の検出結果を入力して、詳細な画像認識を行い、画像認識の結果をカメラ群制御部１１０３に出力する。
【０１６４】
カメラ群制御部１１０３は本発明のカメラ群制御手段に相当し、画像認識の結果を入力し、カメラ１１２１〜１１２Ｎに対して追尾する目標の情報を生成し出力する。
【０１６５】
次に、上記のように構成された映像監視装置１１００の動作を説明する。
【０１６６】
図１６は、映像監視装置１１００の動作を表すフローチャートである。
【０１６７】
まず、ステップＳ１６０１により、受信処理を行う。具体的には、受信部１１０１が、通信網１１１０を介して自動追尾カメラ１１２１からの映像ストリームと移動物体検出結果とを入力し画像認識部１１０２に出力する。
【０１６８】
次に、ステップＳ１６０２では、画像認識処理を行う。具体的には、画像認識部１１０２が、受信部１１０１から入力した映像ストリームと移動物体検出結果を用いて映像ストリームを復号化し、種々の公知の画像認識方法で人・顔・物の検出や認証などを行い、その結果を生成しカメラ群制御部１１０３に出力する。また、画像認識部１１０２は、移動物体検出結果が含む移動物体の領域以外は画像認識を行わないようにすることにより、処理を高速化することが可能である。
【０１６９】
次に、ステップＳ１６０３では、カメラ制御処理を行う。具体的には、カメラ群制御部１１０３が、画像認識部１１０２から入力した画像認識結果を用いて自動追尾カメラ１１２１に対する目標追尾命令を生成し、通信網１１１０を介して自動追尾カメラ１１２１の撮像制御部１２０３に出力する。また、自動追尾カメラ１１２１に対する画像認識結果により、他の自動追尾カメラ１１２２〜１１２Ｎに新たな追尾の必要が生じた場合、新たな目標追尾命令を生成し通信網１１１０を介して該当する自動追尾カメラ１１２２〜１１２Ｎの撮像部１２０３に出力する。
【０１７０】
ここで、目標追尾命令について説明する。
【０１７１】
画像認識部１１０２から入力した画像認識結果が、例えば、映像内に不審人物が存在することを示す場合、カメラ群制御部１１０３はその不審人物を大きく撮影させるために座標や拡大率などを含む目標追尾命令を生成する。また、映像内に不審人物が存在するが自動追尾カメラ１１２１では不審人物の顔を撮影することが不可能な場合、自動追尾カメラ１１２２に対してその不審人物を撮影させる目標追尾命令を生成し、自動追尾カメラ１１２１に対して不審人物を含む広い範囲を撮影させる目標追尾命令を生成する。
【０１７２】
次に、ステップＳ１６０４では、終了判定を行い、映像監視装置１１００の電源が切られるなど、映像監視を行う必要がなければ終了し、そうでなければステップＳ１６０１に戻る。
【０１７３】
以上のように構成された映像監視システムの動作について以下に説明する。
【０１７４】
図１７は本実施の形態の映像監視システムの動作を示すシーケンス図である。
【０１７５】
まず、自動追尾カメラ１１２１は監視対象を撮影すると、水平方向成分、垂直方向成分および対角方向成分の情報と、動き予測補償によって生成する動きベクトルとを含んだ映像ストリームを生成すると共に、移動物体検出結果を求め、これらを通信網１１１０を介して、映像監視装置１１００へ送信する（ステップＳ１７０１）。
【０１７６】
映像監視装置１１００は受信した映像ストリームを復号し、移動物体検出結果の情報を用いて対象物体の認識を行う。そして、自動追尾カメラに対象物体を追尾するための目標追尾命令を送信する（ステップＳ１７０２）。
【０１７７】
自動追尾カメラ１１２１はこれを受けて、撮像部を制御し対象物を追尾する。そして、このときの映像ストリームなどを映像監視装置１１００へ送信する（ステップＳ１７０３）。
【０１７８】
以降、上記のステップＳ１７０２とステップＳ１７０３とが繰り返される。なお、自動追尾カメラ１１２１からの映像ストリーム等は映像監視装置１１００からの命令の有無にかかわらず、常時映像監視装置１１００へ送信される。
【０１７９】
以上のように、本実施の形態に係る映像監視システムは、通信網を介して自動追尾カメラから映像監視装置へ映像を送信するために、映像は符号化してデータ圧縮された映像ストリームとする必要がある。このとき、本発明によれば、映像ストリームを生成する過程で、同時に移動物体検出を行い、その結果情報を映像監視装置へ通知することができるので、映像監視装置はあらためて受信した映像ストリームから移動物体の検出をする必要が無くなる。これにより、映像監視装置の処理を軽減することができる。
【０１８０】
また、本実施の形態２によれば、遠隔地にある自動追尾カメラが撮影した画像を受信して、映像監視装置で映像の監視と追尾を行う映像監視システムにおいて、自動追尾カメラが、一部の手段や処理を共有して、撮影した画像の水平方向成分、垂直方向成分および対角方向成分の情報と、動き予測補償によって生成する動きベクトルとを含んだ映像ストリームに映像符号化する処理と、移動物体検出処理とをすることができるので、高精度な移動物体の検出と映像の符号化とを同時に高速に行うことが可能であり、また、システム全体の規模を小さくすることもできる。
【０１８１】
また、実施の形態２によれば、自動追尾カメラは移動物体の検出結果をもとに求められた映像監視装置からの指示で、パン・ティルト・ズームの撮像機能の制御を行うことができるので、移動物体、ひいては不審人物などを効率的に監視することが可能である。
【０１８２】
また、実施の形態２によれば、映像監視装置は上記の映像ストリームとともに入力する移動物体の検出結果をもとに移動物体の領域のみを画像認識するので、画像認識処理の負荷を軽減することができるとともに、画像認識の精度が向上する。また、これにより、より多くの自動追尾カメラを制御して効率的に監視することが可能な映像監視システムとすることができる。
【０１８３】
（実施の形態３）
実施の形態３は、本発明に係る移動物体検出方法および装置である。
【０１８４】
本実施の形態では、実施の形態１と同様に基本レイヤと拡張レイヤからなる映像ストリームのうち拡張レイヤの映像ストリームのみを用いて移動物体を検出する方法を述べる。本実施の形態で取り扱う拡張レイヤの映像ストリームは、ISO/IEC 14496-2 Amendment 2に規定されるＭＰＥＧ−４ ＦＧＳ(Fine Granularity Scalable coding)のＦＧＳＴ(FGS Temporal Scalability)のように拡張レイヤの映像ストリームのフレームの先頭に動きベクトル情報が含まれるものとする。
【０１８５】
図１９は、本発明の移動物体検出方法および装置を適用した実施の形態１に係る移動物体検出装置１９００の構成を示すブロック図である。
【０１８６】
図１９において、移動物体検出装置１９００は、ストリーム入力部１９０１、動き情報抽出部１９０２、エッジ情報抽出部１９０３、移動物体検出部１９０４、検出結果出力部１９０５を有する。
【０１８７】
本実施の形態では、実施の形態１と異なり、ストリーム入力部１９０１は拡張レイヤの映像ストリームのみ入力する。
【０１８８】
なお、動き情報抽出部１９０２が動き情報抽出手段に相当し、エッジ情報抽出部１９０３がエッジ情報抽出手段に相当し、移動物体検出部１９０４が移動物体検出手段に相当する。
【０１８９】
ここで、動き情報抽出手段は、入力した拡張レイヤの映像ストリームから動き情報を抽出して移動物体検出手段に出力する。エッジ情報抽出手段は、入力した拡張レイヤの映像ストリームからエッジ情報を抽出して移動物体検出手段に出力する。移動物体検出手段は、入力したエッジ情報と動き情報から移動物体を検出する。
【０１９０】
次に、以上のように構成された移動物体装置１９００の動作を説明する。
【０１９１】
図２０は、図１９に示す実施の形態３の移動物体装置１９００の動作を表すフローチャートである。なお、図２０に示すフローチャートは、図示しない記憶装置（例えばＲＯＭやフラッシュメモリなど）に格納された制御プログラムを、同じく図示しないＣＰＵが実行することにより、プログラムの実行によりソフトウエア的に実行されるようにすることも可能である。
【０１９２】
まず、ストリーム入力部１９０１が、移動物体検出装置１９００の外部から拡張レイヤの映像ストリームを入力し、動き情報抽出部１９０２とエッジ情報抽出部１９０３に出力する（ステップＳ２００１）。
【０１９３】
次に、動き情報抽出部１９０２が、ストリーム入力部１９０１から入力した拡張レイヤから動き情報を抽出し、移動物体検出部１９０４に出力する（ステップＳ２００２）。
【０１９４】
次に、エッジ情報抽出部１９０３が、ストリーム入力部１９０２から入力した拡張レイヤからエッジ情報を抽出し、移動物体検出部１９０４に出力する（ステップＳ２００３）。
【０１９５】
ここで、ＭＰＥＧ−４ ＦＧＳで規定されるＦＧＳＴでは、１フレームの拡張レイヤの先頭にフレーム全領域の動きベクトルが格納され、それに続いてビット平面の情報が格納される。よって、ストリーム入力部１９０１が動きベクトルの映像ストリームまでを入力し動き情報抽出部１９０２が動き情報を生成し、フレーム内に動きがある場合のみビット平面の映像ストリームを入力してエッジ情報抽出部１９０３に出力しても良い。これにより、フレーム内に動きがない場合に、ストリームの入力処理とエッジの抽出処理および移動物体の検出処理を省略し処理負荷を軽減することが可能である。
【０１９６】
次に、移動物体検出部１９０４が、動き情報抽出部１９０２から入力した動き情報とエッジ情報抽出部１９０３から入力したエッジ情報を用いて移動物体の検出を行い、実施の形態１と同様に、移動物体検出結果を生成し検出結果出力部１９０５に出力する（ステップＳ２００４乃至ステップＳ２００６）。
【０１９７】
次に、移動物体を検出した結果を出力する。具体的には、検出結果出力部１９０５が、移動物体検出部１９０４から入力された移動物体の領域の座標を外部に出力する（ステップＳ２００７）。
【０１９８】
次に、終了判定処理を行う。ストリーム入力部１９０１が、続く映像ストリームの有無を判定するなどして、移動物体検出装置１９００がこれ以上移動物体の検出を行うがなければ処理を終了し、そうでなければステップＳ２００１に戻る（ステップＳ２００８）。
【０１９９】
以上のように、本実施の形態３によれば、拡張レイヤの映像ストリームのみを入力し、動き情報抽出部１９０２が動き情報を抽出し、エッジ情報抽出部１９０３がエッジ情報を抽出することにより、高速かつ少ない映像ストリームで物体の輪郭を検出することができる。
【産業上の利用可能性】
【０２００】
本発明は、映像を符号化して生成した映像ストリームから移動物体を検出する移動物体検出装置に有用であり、映像ストリームを復号化することなく高速に移動物体を検出するのに適している。
【図面の簡単な説明】
【０２０１】
【図１】本発明の実施の形態１による映像復号化装置の構成を示す図
【図２】本発明の実施の形態１におけるビット平面符号化の概念図
【図３】本発明の実施の形態１による映像復号化装置の動作を示すフローチャート
【図４】本発明の実施の形態１による映像復号化装置の移動物体検出処理の動作を示すフローチャート
【図５】本発明の実施の形態１における拡張レイヤのストリーム構造図
【図６】本発明の実施の形態１における拡張レイヤのビット平面ｋのストリーム構造図
【図７】本発明の実施の形態１における拡張レイヤの領域ｊのビット平面ｋのストリーム構造図
【図８】本発明の実施の形態１における基本レイヤのストリーム構造図
【図９】本発明の実施の形態１における基本レイヤの領域ｊのストリーム構造図
【図１０】（ａ）乃至（ｃ）本発明の実施の形態１における８×８画素領域における水平方向成分を表した図
【図１１】本発明の実施の形態２による映像監視システムの構成を示す図
【図１２】本発明の実施の形態２による自動追尾カメラの構成を示す図
【図１３】本発明の実施の形態２による映像符号化装置の構成を示す図
【図１４】本発明の実施の形態２による自動追尾カメラの動作を示すフローチャート
【図１５】本発明の実施の形態２による映像符号化装置の動作を示すフローチャート
【図１６】本発明の実施の形態２による映像監視装置の動作を示すフローチャート
【図１７】本発明の実施の形態２による映像監視システムの動作を示すシーケンス図
【図１８】従来の移動物体検出装置の構成を示す図
【図１９】本発明の実施の形態３による映像復号化装置の構成を示す図
【図２０】本発明の実施の形態３による映像復号化装置の動作を示すフローチャート
【符号の説明】
【０２０２】
１００ 映像復号化装置
１０１ ストリーム入力部
１０２ 基本レイヤ復号化部
１０３ 拡張レイヤ復号化部
１０４ 帯域合成部
１０５ 映像出力部
１０６，１３０６ 移動物体検出部
１０７，１３０７ 検出結果出力部
１１００ 映像監視装置
１１０１ 受信部
１１０２ 画像認識部
１１０３ カメラ群制御部
１１１０ 通信網
１１２１乃至１１２Ｎ 自動追尾カメラ
１２０１ 撮像部
１２０２ 映像符号化部
１２０３ 撮像制御部
１３０１ 映像入力部
１３０２ 帯域分割部
１３０３ 基本レイヤ符号化部
１３０４ 拡張レイヤ符号化部
１３０５ ストリーム出力部
１８０１ 可変長復号部
１８０２ 模様情報検出部
１８０３ 移動物体検出処理部
１９００ 移動物体検出装置
１９０１ ストリーム入力部
１９０２ 動き情報抽出部
１９０３ エッジ情報抽出部
１９０４ 移動物体検出部
１９０５ 検出結果出力部
【特許請求の範囲】
【請求項１】
映像を複数レイヤに分けて符号化する階層符号化および動き予測補償符号化を用いて映像符号化された映像ストリームから、動き情報を抽出する動き情報抽出手段と、
前記映像ストリームからエッジ情報を抽出するエッジ情報抽出手段と、
前記動き情報と前記エッジ情報とを用いて移動物体を検出し、当該検出結果を出力する移動物体検出手段と、
を有する移動物体検出装置。
【請求項２】
前記エッジ情報抽出手段は、画像をビット平面符号化したビット平面情報のうち、最上位ビット平面からＮ（Ｎは自然数）ビット位ビット平面までのビット平面情報を、前記映像ストリームからエッジ情報として抽出する請求項１に記載の移動物体検出装置。
【請求項３】
前記映像ストリームは、複数の領域に分割されたものであって、
前記移動物体検出手段は、前記領域内部のビット平面情報の符号長の合計が予め定めた第１の値以上である場合に、前記領域を移動物体の輪郭領域と判定する請求項２に記載の移動物体検出装置。
【請求項４】
前記移動物体検出手段は、前記領域内部の前記ビット平面情報の符号長の合計が、予め定めた第２の値以下である場合に、前記領域を移動物体の輪郭領域と判定する請求項３に記載の移動物体検出装置。
【請求項５】
前記動き情報抽出手段は、前記移動物体の輪郭領域と判断された領域から動きベクトルを抽出し、前記移動物体検出手段は、前記動きベクトルの大きさが予め定めた第３の値以上である場合に、前記領域を移動物体の輪郭領域であると判定する請求項３又は４に記載の移動物体検出装置。
【請求項６】
前記動き情報抽出手段は、前記移動物体の輪郭領域と判断された領域から第１の動きベクトルを抽出するとともに、当該領域の近傍に位置する領域を選択し、選択した領域から第２の動きベクトルを抽出し、前記移動物体検出手段は、前記第１の動きベクトルと、前記第２の動きベクトルとの差分ベクトルの大きさを測定値として算出し、前記測定値が予め定めた第４の値以下である場合、前記選択された領域を移動物体の内部領域であると判定する請求項３乃至５に記載の移動物体検出装置。
【請求項７】
前記動き情報抽出手段は、複数の領域を選択し、それぞれの選択領域から動きベクトルを抽出し、
前記移動物体検出手段は、前記選択領域毎に、前記第１の動きベクトルと前記選択された領域の動きベクトルとの差分ベクトルの大きさを求め、全ての選択領域についての差分ベクトルの大きさの合計を前記測定値として算出する請求項６記載の移動物体検出装置。
【請求項８】
前記移動物体検出手段は、前記移動物体の内部領域であると判定された領域の動きベクトルと、前記領域の近傍に位置する領域の動きベクトルとの差分ベクトルの大きさが予め定めた第５の値以下である場合、前記移動物体の領域の内部領域であると判定する請求項６又は７に記載の移動物体検出装置。
【請求項９】
前記移動物体検出手段は、前記移動物体の輪郭領域又前記移動物体の内部領域と判定された領域により囲まれた領域を、前記移動物体の内部領域であると判定する請求項３乃至８に記載の移動物体検出装置。
【請求項１０】
前記移動物体検出手段は、第１の移動物体と判定された輪郭領域又は内部領域の近傍に、第２の移動物体の輪郭領域又は内部領域であると判定された領域の数が、予め定めた第６の値以上の場合、前記第１の移動物体と判定された輪郭領域又は内部領域を第１の移動物体であると再判定する請求項３乃至９に記載の移動物体検出装置。
【請求項１１】
映像ストリームから移動物体を検出する方法であって、前記移動物体を検出する移動物体検出装置が実行するところの、
映像を複数レイヤに分けて符号化する階層符号化、および、動き予測補償符号化を用いて映像符号化された映像ストリームから動き情報を抽出するステップと、
前記映像ストリームからエッジ情報を抽出するステップと、
抽出した前記動き情報と前記エッジ情報とを用いて移動物体を検出するステップと、
を有する移動物体検出方法。
【請求項１２】
映像ストリームから移動物体を検出するためにコンピュータを、
映像を複数レイヤに分けて符号化する階層符号化および動き予測補償符号化を用いて映像符号化された映像ストリームから動き情報を抽出するステップと、
前記映像ストリームからエッジ情報を抽出するステップと、
抽出した前記動き情報と前記エッジ情報とを用いて移動物体を検出するステップと、
を実行させるための移動物体検出プログラム。
【請求項１３】
映像を複数レイヤに分けて符号化する階層符号化および動き予測補償符号化により符号化した映像ストリームを復号化する映像復号化手段と、
前記映像復号化手段が前記映像ストリームを復号化する際に抽出した動き情報およびエッジ情報から移動物体を検出する移動物体検出手段と、
を有する映像復号化装置。
【請求項１４】
前記映像ストリームは、複数の領域に分割されたものであって、
前記移動物体検出手段は、前記領域内部のビット平面情報の符号長の合計が予め定めた第１の値以上である場合に、前記領域を移動物体の輪郭領域と判定する請求項１３に記載の映像復号化装置。
【請求項１５】
前記移動物体検出手段は、前記領域内部の前記ビット平面情報の符号長の合計が予め定めた第２の値以下である場合に、前記領域を移動物体の輪郭領域と判定する請求項１４に記載の映像復号化装置。
【請求項１６】
前記映像復号化手段は、前記移動物体検出手段の検出した移動物体の領域を強調した映像を生成する請求項１５記載の映像復号化装置。
【請求項１７】
前記映像復号化手段は、エッジ成分からなる映像を生成し、
前記移動物体検出手段の検出した移動物体の領域を強調して表示する請求項１３記載の映像復号化装置。
【請求項１８】
映像を複数レイヤに分けて符号化する階層符号化および動き予測補償符号化を用いて符号化した映像ストリームを生成する映像符号化手段と、
前記映像符号化手段が前記映像を符号化する際に動き情報と、映像のエッジ情報とを抽出して移動物体を検出する移動物体検出手段と、
を含む映像符号化装置。
【請求項１９】
映像を入力する撮像手段と、
請求項１８に記載の映像符号化装置と、
前記移動物体検出手段が出力する移動物体の検出結果に基づき、前記撮像手段に対して撮像機能を制御する撮像制御手段と、
前記映像ストリームと、前記移動物体の検出結果とを出力する出力部と、
を有する撮像装置。
【請求項２０】
前記撮像制御手段が、前記移動物体検出手段が出力する移動物体の領域の面積を入力映像の全面積に対して一定の割合となるように、撮像手段を制御する請求項１９に記載の撮像装置。
【請求項２１】
請求項１９に記載の撮像装置と、
前記撮像装置から受信した前記映像ストリームを復号化するとともに、前記移動物体の検出結果を用いて、検出した移動物体の領域の画像認識を行う映像監視装置と、
を有する映像監視システム。
【請求項２２】
前記映像ストリームは、基本レイヤと拡張レイヤに階層化して符号化され、
前記動き情報抽出手段は、前記基本レイヤの映像ストリームから前記動き情報を抽出し、
前記エッジ情報抽出手段は、前記拡張レイヤの映像ストリームから前記エッジ情報を抽出する請求項１に記載の映像復号化装置。
【請求項２３】
前記映像ストリームは、基本レイヤと拡張レイヤに階層化して符号化され、
前記動き情報抽出手段は、前記拡張レイヤの映像ストリームから前記動き情報を抽出し、
前記エッジ情報抽出手段は、拡張レイヤの映像ストリームから前記エッジ情報を抽出する請求項１に記載の映像復号化装置。
【請求項１】
映像を複数レイヤに分けて符号化する階層符号化および動き予測補償符号化を用いて映像符号化された映像ストリームから、動き情報を抽出する動き情報抽出手段と、
前記映像ストリームからエッジ情報を抽出するエッジ情報抽出手段と、
前記動き情報と前記エッジ情報とを用いて移動物体を検出し、当該検出結果を出力する移動物体検出手段と、
を有する移動物体検出装置。
【請求項２】
前記エッジ情報抽出手段は、画像をビット平面符号化したビット平面情報のうち、最上位ビット平面からＮ（Ｎは自然数）ビット位ビット平面までのビット平面情報を、前記映像ストリームからエッジ情報として抽出する請求項１に記載の移動物体検出装置。
【請求項３】
前記映像ストリームは、複数の領域に分割されたものであって、
前記移動物体検出手段は、前記領域内部のビット平面情報の符号長の合計が予め定めた第１の値以上である場合に、前記領域を移動物体の輪郭領域と判定する請求項２に記載の移動物体検出装置。
【請求項４】
前記移動物体検出手段は、前記領域内部の前記ビット平面情報の符号長の合計が、予め定めた第２の値以下である場合に、前記領域を移動物体の輪郭領域と判定する請求項３に記載の移動物体検出装置。
【請求項５】
前記動き情報抽出手段は、前記移動物体の輪郭領域と判断された領域から動きベクトルを抽出し、前記移動物体検出手段は、前記動きベクトルの大きさが予め定めた第３の値以上である場合に、前記領域を移動物体の輪郭領域であると判定する請求項３又は４に記載の移動物体検出装置。
【請求項６】
前記動き情報抽出手段は、前記移動物体の輪郭領域と判断された領域から第１の動きベクトルを抽出するとともに、当該領域の近傍に位置する領域を選択し、選択した領域から第２の動きベクトルを抽出し、前記移動物体検出手段は、前記第１の動きベクトルと、前記第２の動きベクトルとの差分ベクトルの大きさを測定値として算出し、前記測定値が予め定めた第４の値以下である場合、前記選択された領域を移動物体の内部領域であると判定する請求項３乃至５に記載の移動物体検出装置。
【請求項７】
前記動き情報抽出手段は、複数の領域を選択し、それぞれの選択領域から動きベクトルを抽出し、
前記移動物体検出手段は、前記選択領域毎に、前記第１の動きベクトルと前記選択された領域の動きベクトルとの差分ベクトルの大きさを求め、全ての選択領域についての差分ベクトルの大きさの合計を前記測定値として算出する請求項６記載の移動物体検出装置。
【請求項８】
前記移動物体検出手段は、前記移動物体の内部領域であると判定された領域の動きベクトルと、前記領域の近傍に位置する領域の動きベクトルとの差分ベクトルの大きさが予め定めた第５の値以下である場合、前記移動物体の領域の内部領域であると判定する請求項６又は７に記載の移動物体検出装置。
【請求項９】
前記移動物体検出手段は、前記移動物体の輪郭領域又前記移動物体の内部領域と判定された領域により囲まれた領域を、前記移動物体の内部領域であると判定する請求項３乃至８に記載の移動物体検出装置。
【請求項１０】
前記移動物体検出手段は、第１の移動物体と判定された輪郭領域又は内部領域の近傍に、第２の移動物体の輪郭領域又は内部領域であると判定された領域の数が、予め定めた第６の値以上の場合、前記第１の移動物体と判定された輪郭領域又は内部領域を第１の移動物体であると再判定する請求項３乃至９に記載の移動物体検出装置。
【請求項１１】
映像ストリームから移動物体を検出する方法であって、前記移動物体を検出する移動物体検出装置が実行するところの、
映像を複数レイヤに分けて符号化する階層符号化、および、動き予測補償符号化を用いて映像符号化された映像ストリームから動き情報を抽出するステップと、
前記映像ストリームからエッジ情報を抽出するステップと、
抽出した前記動き情報と前記エッジ情報とを用いて移動物体を検出するステップと、
を有する移動物体検出方法。
【請求項１２】
映像ストリームから移動物体を検出するためにコンピュータを、
映像を複数レイヤに分けて符号化する階層符号化および動き予測補償符号化を用いて映像符号化された映像ストリームから動き情報を抽出するステップと、
前記映像ストリームからエッジ情報を抽出するステップと、
抽出した前記動き情報と前記エッジ情報とを用いて移動物体を検出するステップと、
を実行させるための移動物体検出プログラム。
【請求項１３】
映像を複数レイヤに分けて符号化する階層符号化および動き予測補償符号化により符号化した映像ストリームを復号化する映像復号化手段と、
前記映像復号化手段が前記映像ストリームを復号化する際に抽出した動き情報およびエッジ情報から移動物体を検出する移動物体検出手段と、
を有する映像復号化装置。
【請求項１４】
前記映像ストリームは、複数の領域に分割されたものであって、
前記移動物体検出手段は、前記領域内部のビット平面情報の符号長の合計が予め定めた第１の値以上である場合に、前記領域を移動物体の輪郭領域と判定する請求項１３に記載の映像復号化装置。
【請求項１５】
前記移動物体検出手段は、前記領域内部の前記ビット平面情報の符号長の合計が予め定めた第２の値以下である場合に、前記領域を移動物体の輪郭領域と判定する請求項１４に記載の映像復号化装置。
【請求項１６】
前記映像復号化手段は、前記移動物体検出手段の検出した移動物体の領域を強調した映像を生成する請求項１５記載の映像復号化装置。
【請求項１７】
前記映像復号化手段は、エッジ成分からなる映像を生成し、
前記移動物体検出手段の検出した移動物体の領域を強調して表示する請求項１３記載の映像復号化装置。
【請求項１８】
映像を複数レイヤに分けて符号化する階層符号化および動き予測補償符号化を用いて符号化した映像ストリームを生成する映像符号化手段と、
前記映像符号化手段が前記映像を符号化する際に動き情報と、映像のエッジ情報とを抽出して移動物体を検出する移動物体検出手段と、
を含む映像符号化装置。
【請求項１９】
映像を入力する撮像手段と、
請求項１８に記載の映像符号化装置と、
前記移動物体検出手段が出力する移動物体の検出結果に基づき、前記撮像手段に対して撮像機能を制御する撮像制御手段と、
前記映像ストリームと、前記移動物体の検出結果とを出力する出力部と、
を有する撮像装置。
【請求項２０】
前記撮像制御手段が、前記移動物体検出手段が出力する移動物体の領域の面積を入力映像の全面積に対して一定の割合となるように、撮像手段を制御する請求項１９に記載の撮像装置。
【請求項２１】
請求項１９に記載の撮像装置と、
前記撮像装置から受信した前記映像ストリームを復号化するとともに、前記移動物体の検出結果を用いて、検出した移動物体の領域の画像認識を行う映像監視装置と、
を有する映像監視システム。
【請求項２２】
前記映像ストリームは、基本レイヤと拡張レイヤに階層化して符号化され、
前記動き情報抽出手段は、前記基本レイヤの映像ストリームから前記動き情報を抽出し、
前記エッジ情報抽出手段は、前記拡張レイヤの映像ストリームから前記エッジ情報を抽出する請求項１に記載の映像復号化装置。
【請求項２３】
前記映像ストリームは、基本レイヤと拡張レイヤに階層化して符号化され、
前記動き情報抽出手段は、前記拡張レイヤの映像ストリームから前記動き情報を抽出し、
前記エッジ情報抽出手段は、拡張レイヤの映像ストリームから前記エッジ情報を抽出する請求項１に記載の映像復号化装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【公開番号】特開２００７−２６６６５２（Ｐ２００７−２６６６５２Ａ）
【公開日】平成１９年１０月１１日（２００７．１０．１１）
【国際特許分類】
【出願番号】特願２００５−３５６２７（Ｐ２００５−３５６２７）
【出願日】平成１７年２月１４日（２００５．２．１４）
【出願人】（０００００５８２１）松下電器産業株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成１９年１０月１１日（２００７．１０．１１）
【国際特許分類】
【出願日】平成１７年２月１４日（２００５．２．１４）
【出願人】（０００００５８２１）松下電器産業株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]