説明

映像監視装置

【課題】映像データを完全に復号することなく映像データ内のイベントを検出し、映像内のイベント位置を閲覧者に提示することのできる映像監視装置を得る。
【解決手段】符号化映像ストリームAを入力情報として、符号化映像内の所定の時間単位の符号量情報Cと、符号化映像内の符号化パラメータBと、符号化映像を復号して得られた復号映像Dとを出力する映像復号部1と、符号量情報Cおよび符号化パラメータBから符号化映像内のイベントを検出するイベント検出部2と、復号映像Dとイベント検出部2からのイベント検出結果Eとからイベント部分を強調した表示映像Fを作成する表示映像作成部3とを備える。

【発明の詳細な説明】
【技術分野】
【0001】
この発明は、映像からイベント(異常現象)を検出するための映像監視装置に関するものである。
【背景技術】
【0002】
従来から、映像監視分野においては、多数のカメラを用いて、長時間の映像を記録することが多い。しかし、多数のカメラで長時間記録された映像のうち、実際に何らかのイベント(異常現象)が発生している場面は必ずしも多くない。
【0003】
ここで、イベントとは、監視映像中に人物または車両が写っている場面、不審物が放置された場面、事件または事故が発生している場面、ドアが開閉している場面、大幅な水位変化などが発生している場面、のいずれかであり、監視対象によって種々異なるものである。
【0004】
また、複数カメラによる長時間の映像データは、膨大なサイズになることから、伝送コストおよび蓄積コストを下げるために、公知のMPEG(Motion Picture Expert Group)−2、または、H.264といった映像符号化方式が利用されている。
【0005】
従来から、上記符号化方式を用いて圧縮された長時間および多数カメラの記録映像から画像処理を行い、イベントを検出(または、映像を閲覧)する監視員によるイベント発見を補助する技術は、種々提案されている(たとえば、特許文献1、特許文献2参照)。
【0006】
特許文献1においては、映像データの画像処理を行うことにより、イベント検出を行うデジタル映像監視システムが開示されている。
しかし、映像データの画像処理を行う際に、圧縮された映像を伸張する必要があることから、すでに蓄積されている映像データからイベントを検出したい場合には、多くの処理時間を要することになる。
【0007】
そこで、上記問題を解決するために、特許文献2においては、映像データを符号化する際に行う予測処理の結果に基づいてイベントを検出し、イベント検出結果を、符号化された映像データのヘッダに付加することにより、映像を受信する際に、映像を復号することなく、蓄積された映像データからイベントを検出する装置が開示されている。
【0008】
しかし、特許文献2に記載の従来装置の場合、イベント検出が可能な対象は、映像圧縮時にイベントを検出して映像データのヘッダにイベント検出結果が付加されている映像データのみであり、イベント検出結果が付加されていない他の映像データからイベントを検出することはできない。したがって、たとえば、映像復号装置または映像表示装置において異常を検出することはできない。また、映像内のどの位置でイベントが発生したかを判別することもできない。
【先行技術文献】
【特許文献】
【0009】
【特許文献1】特開2002−262273号公報
【特許文献2】特開2010−166489号公報
【発明の概要】
【発明が解決しようとする課題】
【0010】
従来の映像監視装置は、特許文献2のように、映像データを符号化する際の予測処理結果に基づくイベント検出結果を、符号化された映像データのヘッダに付加し、映像受信時に、映像を復号することなく、蓄積映像データからイベントを検出しているので、イベント検出結果が付加されていない映像データからイベントを検出することができないうえ、映像内のイベント発生位置を判別することができないという課題があった。
【0011】
この発明は、上記のような課題を解決するためになされたものであり、映像データを完全に復号することなく映像データ内のイベントを検出し、映像内のイベント位置を閲覧者に提示することのできる映像監視装置を得ることを目的とする。
【課題を解決するための手段】
【0012】
この発明に係る映像監視装置は、符号化映像を入力情報として、符号化映像内の所定の時間単位の符号量と、符号化映像内の符号化パラメータと、符号化映像を復号して得られた復号映像とを出力する映像復号部と、符号量および符号化パラメータから符号化映像内のイベントを検出するイベント検出部と、復号映像とイベント検出部からのイベント検出結果とからイベント部分を強調した表示映像を作成する表示映像作成部とを備えたものである。
【発明の効果】
【0013】
この発明によれば、符号量情報および符号化パラメータから、映像データを完全に復号することなく映像データ内のイベントを検出し、映像内のイベント位置を閲覧者に提示することができる。
【図面の簡単な説明】
【0014】
【図1】この発明の実施の形態1に係る映像監視装置の処理機能を示すブロック図である。
【図2】この発明の実施の形態1におけるGOP構造を示す説明図である。
【図3】この発明の実施の形態1における1枚の画像内のマクロブロックを示す説明図である。
【図4】この発明の実施の形態1によるGOPの符号量およびパディングビット量からイベントのあるGOPを検出するための処理を示すフローチャートである。
【図5】この発明の実施の形態1によるマクロブロック変化量の算出結果に基づくイベント位置の検出処理を示す説明図である。
【図6】この発明の実施の形態2によるイントラ予測モードを利用してイベントのあるGOPを検出するための処理を示す説明図である。
【図7】この発明の実施の形態3に係る映像監視装置の処理機能を示すブロック図である。
【図8】この発明の実施の形態4に係る映像監視装置の処理機能を示すブロック図である。
【図9】この発明の実施の形態5に係る映像監視装置の処理機能を示すブロック図である。
【図10】この発明の実施の形態6に係る映像監視装置の処理機能を示すブロック図である。
【発明を実施するための形態】
【0015】
実施の形態1.
以下、図面を参照しながら、この発明の実施の形態1について説明する。
図1はこの発明の実施の形態1に係る映像監視装置の処理機能構成を示すブロック図である。
【0016】
図1において、映像監視装置は、一般的な映像符号化器(図示せず)で作成された符号化映像ストリームAを入力情報とする映像復号部1と、符号量情報Cおよび符号化パラメータBを入力情報としてイベントを検出するイベント検出部2と、復号映像Dおよびイベント検出結果Eを入力情報として表示映像Fを作成する表示映像作成部3とを備えている。
【0017】
映像復号部1は、符号化映像ストリームAを復号処理して、復号済みの映像である復号映像Dを出力するとともに、符号化映像ストリームAの符号量情報Cおよび符号化パラメータBを出力する。
表示映像作成部3は、復号映像Dに対して、イベント検出結果Eに基づき、映像の特殊再生処理または強調表示処理などを施し、実際に表示される最終的な表示映像Fを作成する。
【0018】
以下、図2〜図5を参照しながら、図1内の各処理ブロックによる具体的機能について詳細に説明する。
まず、映像復号部1は、符号化映像ストリームAの復号処理を行う。ここで、符号化映像ストリームAとは、前述のMPEG−2またはH.264などの映像符号化方式により符号化された映像のビットストリームである。
【0019】
MPEG−2またはH.264などの映像符号化方式においては、GOP(Group Of Pictures)構造およびマクロブロックを用いた符号化が行われている。よって、この発明の実施の形態1においても、GOP構造およびマクロブロックの符号化パラメータBを利用する。
【0020】
図2は複数のピクチャP(画像)からなるGOP構造を示す説明図であり、図3は1枚のピクチャP(画像)内に配置された複数のマクロブロックMを示す説明図である。
周知のように、映像は時系列的な複数枚の静止画像(ピクチャP)の連続で表される。
【0021】
MPEG−2、H.264においては、図2に示すように、時系列的な各静止画像(ピクチャP)を複数枚(たとえば、n枚)の単位でまとめてGOPとし、さらに、m個のGOP(1、2、・・・、m)を構成する。
図2においては、m個のGOPのうちのi番目のGOP(i)内に、n枚のピクチャP(i,1、i,2、・・・、i,n)が含まれている状態を示している。
【0022】
なお、MPEG−2、H.264を含む映像符号化方式においては、画面間予測を利用していることが多く、GOPの区切りにより、画面間予測に用いる画像の更新を行い、ランダムアクセス性の確保および符号化による蓄積誤差を解消している。
また、GOPの先頭には、ユニークワードであるGOPスタートコードが存在し、符号化映像ストリームA内における各GOPの位置が容易に分かるようになっている。
【0023】
次に、マクロブロックについて説明する。
MPEG−2、H.264においては、画像を符号化する場合、図3に示すように、画像全体を複数のマクロブロックMに分割し、マクロブロックMは、さらに複数のブロックに分割される。なお、マクロブロックM内のブロックは、さらに複数の画素により構成される。
【0024】
符号化を行う際のモードやパラメータは、図3に示すマクロブロックMまたはブロックの単位で決定されることが多い。
図3においては、画像全体が192個(=横16個×縦12個)のマクロブロックMに分割され、1つのマクロブロックMに4つのブロックがある場合の例を示している。
【0025】
なお、マクロブロックMおよびブロックの大きさは、符号化方式ごとに定められており、また、マクロブロックMを複数まとめたものは「スライス」と呼ばれる。
また、映像符号化方式によっては、GOPやマクロブロック、ブロック、スライスを別の呼称で定義する場合もある。
【0026】
たとえば、MPEG−4方式では、GOPに相当するものはGOV(Group Of Visual Object plane)と呼ばれる。
以下の説明においては、GOP、マクロブロック、ブロック、スライスという呼称を用いるが、呼称の異なる符号化方式による符号化映像ストリームAについても、この発明の実施の形態1は適用可能である。
【0027】
映像復号部1は、符号化映像ストリームAを復号して復号映像Dを出力する。ここで、符号化映像ストリームAの復号処理そのものは、各符号化方式に対応した方法を用いることとし、具体的説明は省略する。
この復号過程において、映像復号部1は、符号量情報Cおよび符号化パラメータBを生成して、イベント検出部2に入力する。
【0028】
なお、符号量情報Cとは、GOP単位での符号量およびパディングビット量(符号量を一定にするために挿入される無効ビット)のことであり、これらは、復号処理の過程で容易に得ることができる。
【0029】
また、符号化パラメータBとは、映像符号化に用いられる各種パラメータのことであり、マクロブロックタイプや、動きベクトル、量子化パラメータ、イントラ予測モードなどが挙げられる。この発明の実施の形態1においては、このうち、マクロブロックタイプおよび動きベクトルを用いるものとする。
【0030】
マクロブロックタイプとは、マクロブロックを符号化する方法であり、マクロブロックタイプには、イントラマクロブロック、インターマクロブロック、スキップマクロブロックの3種類がある。
【0031】
上記3種類のマクロブロックタイプのうち、イントラマクロブロックは、該当する部分の画像を、画面間予測を用いずに符号化する方法である。
また、インターマクロブロックは、参照画像による画面間予測を用いて符号化する方法であり、後述する動き補償予測も利用可能である。
さらに、スキップマクロブロックは、該当するマクロブロックでは符号化を行わずに参照画像をそのまま用いる方法である。
【0032】
イントラマクロブロックは、該当するマクロブロックの映像が突然大きく変化した場合に有効であり、スキップマクロブロックは、該当するマクロブロックの映像の変化が非常に小さい場合に有効である。
また、インターマクロブロックは、該当するマクロブロックの映像が変化している場合に有効であり、また、後述する動き補償予測の利用により、映像内でオブジェクトが移動している場合も有効である。
【0033】
一方、符号化パラメータBに含まれる動きベクトルとは、映像符号化で用いられる、参照画像からの予測に用いられるパラメータである。
マクロブロック単位で、過去または未来の参照画像と符号化対象の画像とを比較し、類似した部分の画像とマクロブロックの位置の画像信号との差分を符号化することにより、圧縮効率を高めている。
【0034】
上記圧縮効率を高める符号化処理は「動き補償予測」と呼ばれる。また、このとき、参照画像と符号化対象画像の位置との差を符号化したものが「動きベクトル」である。
動き補償予測の利用により、各種映像符号化方式においては、符号化効率を大幅に高めることが可能となる。なお、実際の動き補償予測は、任意形状のオブジェクトではなく、マクロブロック単位で行われ、マクロブロック単位で動きベクトルが符号化されることが多い。
【0035】
以上のように、マクロブロックタイプおよび動きベクトルは、符号化映像ストリームAを復号する過程で必要な情報であり、復号過程で取得する必要がある。これらを符号化パラメータBとして、イベント検出部2に出力する。
【0036】
イベント検出部2は、符号量情報Cおよび符号化パラメータBの解析を行い、映像中にイベントがあったシーンを判定してイベント検出結果を出力する。
具体的には、まず、符号量情報Cからイベントがあったと思われるGOPを探し出す。
【0037】
たとえば、固定カメラの監視映像では、大きな変化の無いシーンを長時間撮影する場合があり、このような固定カメラの例として、エレベータ内に設置されているカメラが挙げられる。この場合、入力される映像に変化が無いので、GOP間の符号量の差は小さくなる。しかし、何らかの異常(イベント)が発生し、映像に変化が生じた場合、符号量に変化が生じる。
【0038】
したがって、符号量情報Cが大きく変化したGOPを、イベントを検出したGOPと判別する。
ただし、符号化映像ストリームAによっては、一定のビットレートになるように符号量情報Cが制御される場合があるが、このとき、パディングビットと呼ばれる無効ビットを追加することにより、符号量が調整される。よって、各GOPの符号量がほぼ一定の場合、パディングビット量(パディングビットの符号量)が大きく変化したGOPを、イベントを検出したGOPと判別する。
【0039】
なお、GOPの符号量と他のGOPの符号量との比較は、GOPの平均値、分散値を用いて行う。
すなわち、i番目のGOP(i)の符号量をGOPi、GOPの符号量の平均値をGOPAvg、GOPの符号量の分散値をGOPVarとすると、以下の式(1)を満たす場合に、イベントのあるGOPと判別する。
【0040】
【数1】

【0041】
【数2】

【0042】
ただし、式(2)において、αは定数である。
なお、式(1)および式(2)は、それぞれ、単なる一例であり、別の方法でGOPの符号量またはパディングビット量から異常を判別してもよい。
また、GOPAvg、GOPVar、PadAvg、PadVarは、符号化映像ストリームAに含まれるGOP全体から算出する方法であってもよく、5分ごと、10分ごと、15分ごと、のように、時間でいくつかの単位に区切った上で算出してもよい。
【0043】
図4はこの発明の実施の形態1によるGOPに対するイベント検出処理を示すフローチャートであり、各GOPの符号量とパディングビットの符号量との両方を用いて、イベントのあるGOPを検出するための処理手順を示している。
図4においては、GOPの符号量とパディングビットの符号量とを同時に比較する場合を示している。
【0044】
図4において、イベント検出部2は、まず、上述したように、GOPの符号量の平均値GOPAvgおよび分散値GOPVarと、GOPのパディングビット量の平均値PadAvgおよび分散値PadVarとを算出する(ステップS1)。
【0045】
続いて、i番目のGOP(i)の符号量GOPiと、GOPAvg+α×GOPVarとを比較して、上記式(1)を満たすか否か、または、i番目のGOP(i)のパディングビット量をPadiと、PadAvg+α×PadVarとを比較して、上記式(2)を満たすか否かを判定する(ステップS2)。
【0046】
ステップS2において、式(1)、式(2)のいずれも満たさない(すなわち、NO)と判定されれば、ステップS3を実行せずに、最後の判定処理(ステップS4)に進む。
一方、ステップS2において、式(1)または式(2)を満たす(すなわち、YES)と判定されれば、当該GOP(i番目のGOP)を「イベントのあるGOP」と判定する(ステップS3)。
【0047】
最後に、すべてのGOPでイベント判定処理(ステップS2、S3)を完了したか否かを判定し(ステップS4)、未判定のGOPが残存する(すなわち、NO)と判定されれば、ステップS2に戻って上記判定処理を繰り返し実行する。
一方、ステップS4において、すべてのGOPで判定処理が完了した(すなわち、YES)と判定されれば、図4の処理ルーチンを終了する。
【0048】
次に、イベント検出部2は、符号化パラメータBを用いて、イベントのあるGOPにおける空間方向のイベント位置を検出する。ここで、符号化パラメータBとしては、上述したマクロブロックタイプおよび動きベクトルを用いる。
図5はこの発明の実施の形態1によるマクロブロック変化量の算出結果に基づくイベント位置(マクロブロック単位)の検出処理を示す説明図である。
【0049】
図5において、イベント検出部2は、イベントであると判定されたGOPの画像(ピクチャP1〜P5)ごとに、マクロブロックMのスコアを算出し、1つのGOP全体でマクロブロックMの位置ごとに積分する。
【0050】
すなわち、図5に示すように、各ピクチャP1〜P5の同一位置にあるマクロブロックM11〜M51のスコアが積分され、各ピクチャP1〜P5の同一位置にあるマクロブロックM12〜M52のスコアが積分され、同様にして、各位置のマクロブロックMでのスコア結果が求められる。
【0051】
具体例として、1つのマクロブロックMのスコアは、マクロブロックタイプおよび動きベクトルから、下記のように算出される。
イントラマクロブロック :3点
インターマクロブロック(動きベクトル大):2点
インターマクロブロック(動きベクトル小):1点
スキップマクロブロック :0点
【0052】
ここで、動きベクトルの大小は、動きベクトルの長さを算出して所定の閾値と比較することにより判別される。
上記のように積分されたスコア結果は、GOP内でのマクロブロックMの位置ごとの変化量(以下、「マクロブロック変化量」という)を表しており、マクロブロック変化量が大きいマクロブロックは、GOP内で異常(イベント)のあったマクロブロックであると判定される。
【0053】
イベント位置の判定方法の具体例としては、まず、GOP内でのマクロブロック変化量の平均値MAvgおよび分散値MVarを算出する。
続いて、判定対象のマクロブロック変化量Mxyに対して、以下の式(3)を満たすマクロブロックを「異常(イベント)のあるマクロブロック」であると判定する。
【0054】
【数3】

【0055】
ただし、式(3)において、αは定数である。
なお、式(3)は、単なる一例であり、他の判定方法を用いて、マクロブロック変化量Mxyからイベントを検出してもよい。
これにより、GOP内での空間方向のイベント検出することが可能である。
【0056】
ここで、上記マクロブロック単位でイベント個所を検出する方法の長所について説明する。
上述した通り、イントラマクロブロックは変化が大きく、スキップマクロブロックは変化が小さい。また、動きベクトルの大きいインターマクロブロックは、当該マクロブロックに大きな動きがあった可能性が高い。
【0057】
上記条件に基づくスコアをマクロブロックごとに積分することにより、GOP単位でのマクロブロック位置ごとの大まかな動きの総量を容易に取得することが可能である。
また、GOP単位で時間方向に積分し、マクロブロック変化量の平均値MAvgおよび分散値MVarから、式(3)の判定基準となる閾値を算出することにより、画面全体に変化があった場合(画面全体がイントラマクロブロックになる)については、閾値が上昇し、空間方向の位置変化が検出されにくくなる。この場合、画面全体が変化しているので、空間方向の位置変化(事実上存在しない)を表示する必要はない。
【0058】
また、画面全体がイントラマクロブロックになるように画面全体に大きな変化があった場合(暗い部屋に照明が点灯した場合など)についても、GOPの符号量またはパディングビットの符号量は変化しているので、イベントがあったGOPとして検出されることになる。
【0059】
図1に戻り、最後に、表示映像作成部3は、映像復号部1からの復号映像Dと、イベント検出部2からのイベント検出結果Eとから、実際に表示される表示映像Fを作成する。実際の表示映像Fの例としては、以下の条件(F1)〜(F6)が挙げられる。
【0060】
(F1)イベントのあったGOP以外は表示しない。
(F2)イベントのあったGOPとイベントのないGOPとで、表示速度を変更する(たとえば、イベントのないGOPは早送りにする)。
(F3)イベントのあったGOPのイベントのあるマクロブロックについて、色付きの枠で囲むなどの強調表示を行う。
【0061】
(F4)イベントのあったGOP以外は表示せず、且つイベントのあるマクロブロックについて、色付きの枠で囲むなどの強調表示を行う。
(F5)イベントのあったGOPとイベントのないGOPで表示速度を変更し、且つイベントのあるマクロブロックについて、色付きの枠で囲むなどの強調表示を行う。
(F6)イベントのあるGOPまたはマクロブロックに対して、「異常発生」などの文字情報を表示する。
【0062】
なお、上記(F1)〜(F6)以外の方法で、イベントのあるGOPおよびマクロブロック位置を分かりやすく映像閲覧者に提示できる表示映像Fを作成してもよい。
作成された表示映像Fは、モニタ(図示せず)に出力され、映像閲覧者による閲覧を可能にする。
【0063】
以上のように、この発明の実施の形態1(図1〜図5)に係る映像監視装置は、符号化映像(符号化映像ストリームA)を入力情報として、符号化映像内の所定の時間単位の符号量(符号量情報C)と、符号化映像内の符号化パラメータBと、符号化映像を復号して得られた復号映像Dとを出力する映像復号部1と、符号量(符号量情報C)および符号化パラメータBから符号化映像内のイベントを検出するイベント検出部2と、復号映像Dとイベント検出部2からのイベント検出結果Eとからイベント部分を強調した表示映像Fを作成する表示映像作成部3とを備えている。
【0064】
このように、一般的な映像符号化器で作成された符号化映像ストリームAの復号を行う過程から得られる符号量情報C(GOPの符号量、GOPのパディングビットの符号量)と、符号化パラメータB(マクロブロックタイプ、動きベクトル)とを用いることにより、少ない演算量で映像内のイベントを検出することができる。
この結果、イベントのあるシーンおよび位置を分かりやすく映像閲覧者に示すことが可能な映像監視装置を実現することができる。
【0065】
実施の形態2.
なお、上記実施の形態1(図4、図5)では、符号化パラメータBとして、マクロブロックタイプおよび動きベクトルを用いたが、これに限定されることはなく、他の符号化パラメータBとして、量子化パラメータ、イントラ予測モード、動き補償予測などを用いてもよい。
【0066】
以下、符号化パラメータBとして他の変形例を用いたこの発明の実施の形態2について説明する。
なお、この発明の実施の形態2に係る映像監視装置の構成については、前述(図1〜図3参照)と同一なので詳述を省略する。
【0067】
まず、図1内のイベント検出部2において、量子化パラメータを利用する場合について説明する。
一般に映像を符号化する場合、映像符号化器(図示せず)において、映像信号は、DCT(Discrete Cosine Transform)などを用いて変換され、変換された信号に対して量子化が行われる。
【0068】
このとき、量子化を行う際に、量子化係数を決定するのが量子化パラメータである。
量子化係数が異なる場合、発生する符号量は大きく異なることになるので、ビットレートを一定にする符号化制御が行われている場合には、映像符号化器において、量子化係数を変更することにより対応することが多い。
ここで、量子化係数を決定する量子化パラメータは、GOP単位、ピクチャ単位、スライス単位、マクロブロック単位で変更可能である(映像符号化方式にも依存する)。
【0069】
そこで、イベント検出部2は、各ピクチャ間で量子化パラメータが変更されたマクロブロックを特定し、GOP単位で量子化パラメータが変更された回数が所定の閾値を超えたマクロブロックを「イベントのあるマクロブロック」と判定する。
各GOPの符号量がほぼ一定で、パディングビット量も少ない場合には、上記量子化パラメータの変動の変化がイベント検出に有効である。
【0070】
次に、他の符号化パラメータBとして、H.264方式で採用されているイントラ予測モードを利用する場合について説明する。
イントラ予測とは、隣接する画素を参照してその差分を符号化する方式であり、画像に応じて参照する隣接画素を変更するようになっている。
【0071】
このとき、隣接する画素のうち、どの画素を参照するかを選択することが可能であり、この参照画素を決定するのがイントラ予測モードのパラメータである。
なお、イントラ予測が用いられるのは、イントラマクロブロックのみである。
【0072】
次に、図6のように、各GOPのイントラピクチャ(intra picture)Ptの各マクロブロックに対してイントラ予測モードを利用して、イベントのあるGOPを検出する場合について説明する。
図6はこの発明の実施の形態2に係る映像監視装置によるイベント検出処理を示す説明図であり、イントラ予測モードを利用してイベントのあるGOPを検出するための処理を示している。
【0073】
この場合、まず、複数のGOP(1〜m)ごとのイントラピクチャPt1〜Ptmの各マクロブロック(対応位置)において、最も出現頻度の高いイントラ予測モード(図6内の下向き矢印参照)を得る。
そして、得られた出現頻度の高いイントラ予測モード(下向き矢印参照)と異なるイントラ予測モード(破線枠内の矢印向き参照)を持つマクロブロックを探索する。
【0074】
以下、イントラピクチャPt1〜Ptm内のすべてのマクロブロックに対して上記探索処理を実行した結果、異なるイントラ予測モード(破線枠内矢印)を持つマクロブロックを定められた閾値以上含むイントラピクチャPtが属するGOPを、イベントを検出したGOPと判定する。
【0075】
最後に、他の符号化パラメータBとして、動き補償予測に用いるブロックサイズを用いた場合について説明する。
動き補償予測は、基本的にはマクロブロック単位で行われるが、たとえばH.264方式では、マクロブロックをさらに分割して動き補償予測を行うことが可能である。
【0076】
このとき、動きベクトルの数は、マクロブロックの分割数に比例して増えることになるので、GOP内の動きベクトルの数をカウントし、定められた閾値以上の動きベクトル数となるGOPを、異常を検出したGOPと判定することができる。
または、ピクチャ内の動きベクトルの数をカウントし、定められた閾値以上の動きベクトル数となるピクチャを、イベントを検出したピクチャと判定することができる。
なお、符号化パラメータBとして上記以外のパラメータを利用してもよい。
【0077】
以上のように、この発明の実施の形態2によれば、たとえば、図6のように、イントラ予測モードを用いることにより、マクロブロックタイプおよび動きベクトル以外の他の符号化パラメータBを用いて、異常(イベント)を検出することが可能となる。
【0078】
実施の形態3.
なお、上記実施の形態1、2(図1)では、表示映像作成部3に対してイベント検出結果Eを直接入力したが、図7のように、領域特定部4を介在させて、領域特定部4からの詳細な領域特定結果Gを表示映像作成部3Aに入力してもよい。
【0079】
図7はこの発明の実施の形態3に係る映像監視装置の処理機能を示すブロック図であり、前述(図1参照)と同様のものについては、前述と同一符号を付して、または符号の後に「A」を付して詳述を省略する。
図7においては、イベント検出部2と表示映像作成部3Aとの間に領域特定部4が挿入された点のみが前述と異なる。
【0080】
領域特定部4は、イベント検出結果Eと復号映像Dとから、異常のあった領域および時刻を詳細に特定し、領域特定結果Gとして表示映像作成部3Aに入力する。
表示映像作成部3Aは、復号映像Dと領域特定結果Gとから、映像の特殊再生や強調表示などを施して実際の表示映像Fを作成する。
【0081】
次に、領域特定部4および表示映像作成部3Aによる前述(図1)と異なる動作について詳細に説明する。
領域特定部4は、イベント検出部2からのイベント検出結果Eに基づいて、映像復号部1からの復号映像D内でイベントと判定されたGOPおよびマクロブロックに対して画像処理を行い、監視映像中からより詳細に人物や物体の検出を行う。
【0082】
なお、画像処理の公知技術としては、映像内の顔領域検出方法または移動物体の特定および追尾方法(たとえば、特開2008−9745号公報、特許第3814779号公報参照)などが挙げられるが、いずれも画像をピクセル単位で処理する必要があり、大きな演算量が必要になる。
【0083】
これに対し、この発明の実施の形態3(図7)のように、領域特定部4を設け、イベント検出結果E(異常検出結果)に基づいて、画像処理対象のGOPおよび空間領域を限定することにより、演算量を軽減させることが可能になる。
【0084】
なお、画像処理対象として、イベントを検出したGOPやマクロブロックのみでなく、イベントを検出した周辺のGOPおよびマクロブロックを含めてもよい。
このように、領域特定部4は、イベントと判定したGOPおよびマクロブロック中から、より詳細に人物や物体の検出処理を施した領域特定結果Gを表示映像作成部3Aに入力する。
【0085】
表示映像作成部3Aは、映像復号部1からの復号映像Dと、領域特定部4からの領域特定結果Gとから、実際の表示映像Fを作成する。
なお、表示映像Fの例としては、前述と同様の条件(F1)〜(F6)が挙げられる。
【0086】
以上のように、この発明の実施の形態3(図7)に係る映像監視装置は、イベント検出部2と表示映像作成部3Aとの間に挿入された領域特定部4を備えている。
領域特定部4は、イベント検出結果Eおよび復号映像Dから、復号映像D内のイベントのあった詳細な位置(イベント領域)および時刻を特定する領域特定結果Gを生成し、表示映像作成部3Aは、復号映像Dおよび領域特定結果Gからイベント部分を強調した表示映像Fを生成する。
【0087】
このように、少ない演算量で得られたイベント検出結果E(イベントのあるGOPおよびマクロブロックの位置)を利用して、復号映像D上の詳細なイベント位置(人物や物体の位置)および時刻を特定することができる。
これにより、領域特定結果Gを反映してイベント発生を強調した表示映像Fを映像閲覧者に示すことが可能な映像監視装置を実現することができる。
【0088】
実施の形態4.
なお、上記実施の形態1〜3(図1、図7)では、映像復号部1および表示映像作成部3、3Aを用いたが、図8のように、映像簡易復号部1Bおよびイベント蓄積データベース5を用いてもよい。
【0089】
図8はこの発明の実施の形態4に係る映像監視装置の処理機能を示すブロック図であり、前述(図1参照)と同様のものについては、前述と同一符号を付して、または符号の後に「B」を付して詳述を省略する。
図8においては、映像復号部1に代えて映像簡易復号部1Bを用いた点、および、表示映像作成部3に代えてイベント蓄積データベース5を設けた点のみが前述と異なる。
【0090】
図8において、映像簡易復号部1Bは、符号化映像ストリームAを部分的に復号し、符号量情報Cと符号化パラメータBとを出力する。
ここで、部分的な復号とは、イベント検出部2で必要となる符号量情報Cおよび符号化パラメータBを得るまでの復号処理のことであり、映像簡易復号部1Bは、復号映像Dを得るための映像データの完全な復号処理は行わない。
【0091】
このように、映像データの完全な復号処理を行わないことにより、映像復号部1と比べて、演算量を軽減することが可能である。
以下、イベント蓄積データベース5は、イベント検出部2からのイベント検出結果Eを蓄積する。
【0092】
以上のように、この発明の実施の形態4(図8)に係る映像監視装置は、符号化映像(符号化映像ストリームA)を入力情報として、符号化映像を部分的に復号することにより、符号化映像内の所定の時間単位の符号量(符号量情報C)と、符号化映像内の符号化パラメータBとを出力する映像簡易復号部1Bと、符号量(符号量情報C)および符号化パラメータBから符号化映像内のイベントを検出するイベント検出部2と、イベント検出部2からのイベント検出結果Eを蓄積するイベント蓄積データベース5とを備えている。
【0093】
このように、映像を部分的に復号して、映像データの符号量(符号量情報C)および符号化パラメータBのみを取得する映像簡易復号部1Bを用いることにより、復号処理の演算量を軽減することができる。
【0094】
また、イベント検出部2は、少ない演算量で符号化映像ストリームA内のイベントのあるGOPおよびマクロブロックを簡易に検出して、イベント検出結果Eをイベント蓄積データベース5に蓄積させることができる。
【0095】
さらに、イベント蓄積データベース5内のイベント検出結果Eは、必要に応じて読み出されることにより、映像復号部1および表示映像作成部3(図1参照)を介して、表示映像に反映させることができる。
【0096】
実施の形態5.
なお、上記実施の形態1〜4(図1、図7、図8)では、映像符号化器(図示せず)を介した符号化映像ストリームAを入力情報とする映像復号部1または映像簡易復号部1Bを設け、符号化映像ストリームAに含まれる符号量情報Cおよび符号化パラメータBを用いてイベントを検出したが、図9のように、符号化前のベースバンド映像D’を入力情報とする映像符号化部6を設け、ベースバンド映像D’の符号化処理と同時に得られる符号量情報Cおよび符号化パラメータBを用いてイベントを検出してもよい。
【0097】
図9はこの発明の実施の形態5に係る映像監視装置の処理機能を示すブロック図であり、前述(図1、図7、図8参照)と同様または対応するものについては、前述と同一符号を付すか、または符号の後に「C」、「’」を付して示している。
【0098】
図9において、映像監視装置は、ベースバンド映像D’を入力情報とする映像符号化部6と、符号量情報Cおよび符号化パラメータBからイベント検出結果Eを出力するイベント検出部2と、符号化映像A’およびイベント検出結果Eを蓄積する映像蓄積データベース5Cとを備えている。
【0099】
映像符号化部6は、ベースバンド映像D’に対し圧縮および符号化を施して得られた符号化映像A’と、符号化の過程で得られる符号化映像内の所定の時間単位の符号量情報Cと、符号化映像A’内の符号化パラメータBと、を出力する。
【0100】
イベント検出部2は、ベースバンド映像D’を符号化する段階で得られた符号量情報Cおよび符号化パラメータBを用いて、符号化映像A’内のイベントを検出する。
映像蓄積データベース5Cは、符号化映像A’とイベント検出部2からのイベント検出結果Eとを蓄積する。
【0101】
次に、図9に示したこの発明の実施の形態5による動作について説明する。
まず、映像符号化部6は、ベースバンド映像D’の符号化処理を行い、符号化映像A’を出力するとともに、符号化処理の過程において算出される符号量情報Cおよび符号化パラメータBをイベント検出部2に入力する。
なお、符号化方式としては、MPEG−2方式やH.264方式など、いずれの方式を用いてもよい。
【0102】
符号量情報Cとしては、前述の実施の形態1と同様に、各GOPの符号量またはパディングビット量が用いられる。
また、符号化パラメータBとしては、前述の実施の形態1、2と同様に、符号化の過程で容易に得られる、マクロブロックタイプおよび動きベクトル、量子化パラメータ、イントラ予測モード、動き補償予測に用いるブロックサイズ、のいずれかが用いられる。
【0103】
映像符号化部6からの符号化映像A’は、イベント検出結果Eとともに映像蓄積データベース5Cに入力されて保存される。
【0104】
なお、イベント検出部2は、映像符号化部6で得られた符号化パラメータBの種類(マクロブロックタイプおよび動きベクトル、量子化パラメータ、イントラ予測モード、動き補償予測)に応じて、前述の実施の形態1、2と同様にイベント検出処理を行い、同様のイベント検出結果Eを生成する。
【0105】
以上のように、この発明の実施の形態5(図9)に係る映像監視装置は、ベースバンド映像D’を入力情報として、ベースバンド映像D’を符号化して得られた符号化映像A’と、符号化の過程で得られる符号化映像A’内の所定の時間単位の符号量(符号量情報C)と、符号化映像A’内の符号化パラメータBと、を出力する映像符号化部6と、符号量(符号量情報C)および符号化パラメータBから符号化映像A’内のイベントを検出するイベント検出部2と、符号化映像A’とイベント検出部2からのイベント検出結果Eとを蓄積する映像蓄積データベース5Cとを備えている。
【0106】
このように、映像を符号化する際に得られた符号量情報Cおよび符号化パラメータBからイベント検出を行うことにより、符号化処理およびイベント検出を同時に行うとともに、少ない演算量で符号化映像A’内のイベントのあるGOPおよびマクロブロックを検出してイベント検出結果Eを取得することができる。
【0107】
また、イベント検出結果Eを符号化映像A’とともに映像蓄積データベース5Cに蓄積することが可能になる。
さらに、映像蓄積データベース5C内のイベント検出結果Eは、必要に応じて読み出されることにより、映像復号部1および表示映像作成部3(図1参照)を介して、表示映像に反映させることができる。
【0108】
実施の形態6.
なお、上記実施の形態5(図9)では、映像蓄積データベース5Cに対してイベント検出結果Eを直接入力したが、前述の実施の形態3(図7)と同様に、図10のように、領域特定部4Dを介在させて、領域特定部4Dからの詳細な領域特定結果Gを映像蓄積データベース5Dに入力してもよい。
【0109】
図10はこの発明の実施の形態6に係る映像監視装置の処理機能を示すブロック図であり、前述(図7、図9参照)と同様のものについては、前述と同一符号を付して、または符号の後に「D」を付して詳述を省略する。
図10においては、イベント検出部2と映像蓄積データベース5Dとの間に領域特定部4Dが挿入された点のみが図9と異なる。
【0110】
この場合、映像符号化の過程で詳細なイベント検出情報を取得するために、領域特定部4Dが追加されており、ベースバンド映像D’は、映像符号化部6のみならず、領域特定部4Dにも入力される。
領域特定部4Dは、イベント検出結果Eおよびベースバンド映像D’から、詳細なイベント領域および時刻を特定し、領域特定結果Gとして映像蓄積データベース5Dに入力する。
【0111】
具体的には、領域特定部4Dは、イベント検出結果Eに基づき、ベースバンド映像D’内のイベントと判定されたGOPおよびマクロブロックに対して画像処理を行い、監視対象のベースバンド映像D’中から、詳細に人物や物体の検出を行い、領域特定結果Gを生成する。
映像蓄積データベース5Dは、領域特定結果Gを符号化映像A’とともに蓄積する。
【0112】
以上のように、この発明の実施の形態6(図10)に係る映像監視装置は、イベント検出部2と映像蓄積データベース5Dとの間に挿入された領域特定部4Dを備えている。
領域特定部4Dは、イベント検出結果Eおよびベースバンド映像D’から、ベースバンド映像D’内のイベントのあった詳細な位置(イベント領域)および時刻を特定する領域特定結果Gを生成し、映像蓄積データベース5Dは、符号化映像A’および領域特定結果Gを蓄積する。
【0113】
このように、映像を符号化する過程で得られる符号化映像A’内の所定の時間単位の符号量情報Cおよび符号化パラメータBからイベントを検出し、イベント検出結果Eおよびベースバンド映像D’からイベント領域を特定することにより、映像の符号化と同時に詳細なイベント検出を行うことができる。
【0114】
また、イベント検出結果Eを用いて画像処理を行うことにより、少ない演算量で人物や物体の位置を特定し、符号化映像A’とともに映像蓄積データベース5Dに蓄積することが可能になる。
さらに、映像蓄積データベース5C内の領域特定結果Gは、必要に応じて読み出されることにより、映像復号部1および表示映像作成部3(図1参照)を介して、表示映像に反映させることができる。
【符号の説明】
【0115】
1 映像復号部、1B 映像簡易復号部、2 イベント検出部、3、3A 表示映像作成部、4、4D 領域特定部、5 イベント蓄積データベース、5C、5D 映像蓄積データベース、6 映像符号化部、A 符号化映像ストリーム、A’ 符号化映像、B 符号化パラメータ、C 符号量情報、D 復号映像、D’ ベースバンド映像、E イベント検出結果、F 表示映像、G 領域特定結果、M マクロブロック、P ピクチャ(画像)、Pt イントラピクチャ。

【特許請求の範囲】
【請求項1】
符号化映像を入力情報として、前記符号化映像内の所定の時間単位の符号量と、前記符号化映像内の符号化パラメータと、前記符号化映像を復号して得られた復号映像とを出力する映像復号部と、
前記符号量および前記符号化パラメータから前記符号化映像内のイベントを検出するイベント検出部と、
前記復号映像と前記イベント検出部からのイベント検出結果とからイベント部分を強調した表示映像を作成する表示映像作成部と
を備えた映像監視装置。
【請求項2】
前記イベント検出部と前記表示映像作成部との間に挿入された領域特定部を備え、
前記領域特定部は、前記イベント検出結果および前記復号映像から、前記復号映像内のイベントのあった詳細な位置および時刻を特定する領域特定結果を生成し、
前記表示映像作成部は、前記復号映像および前記領域特定結果から前記イベント部分を強調した表示映像を生成することを特徴とする請求項1に記載の映像監視装置。
【請求項3】
符号化映像を入力情報として、前記符号化映像を部分的に復号することにより、前記符号化映像内の所定の時間単位の符号量と、前記符号化映像内の符号化パラメータとを出力する映像簡易復号部と、
前記符号量および前記符号化パラメータから前記符号化映像内のイベントを検出するイベント検出部と、
前記イベント検出部からのイベント検出結果を蓄積するイベント蓄積データベースと
を備えた映像監視装置。
【請求項4】
ベースバンド映像を入力情報として、前記ベースバンド映像を符号化して得られた符号化映像と、符号化の過程で得られる前記符号化映像内の所定の時間単位の符号量と、前記符号化映像内の符号化パラメータと、を出力する映像符号化部と、
前記符号量および前記符号化パラメータから前記符号化映像内のイベントを検出するイベント検出部と、
前記符号化映像と前記イベント検出部からのイベント検出結果とを蓄積する映像蓄積データベースと
を備えた映像監視装置。
【請求項5】
前記イベント検出部と前記映像蓄積データベースとの間に挿入された領域特定部を備え、
前記領域特定部は、前記イベント検出結果および前記ベースバンド映像から、前記ベースバンド映像内のイベントのあった詳細な位置および時刻を特定する領域特定結果を生成し、
前記映像蓄積データベースは、前記符号化映像および前記領域特定結果を蓄積することを特徴とする請求項4に記載の映像監視装置。
【請求項6】
前記イベント検出部で用いられる符号化パラメータは、マクロブロックタイプおよび動きベクトルを含むことを特徴とする請求項1から請求項5までのいずれか1項に記載の映像監視装置。
【請求項7】
前記イベント検出部で用いられる符号化パラメータは、量子化パラメータを含むことを特徴とする請求項1から請求項5までのいずれか1項に記載の映像監視装置。
【請求項8】
前記イベント検出部で用いられる符号化パラメータは、イントラ予測モードを含むことを特徴とする請求項1から請求項5までのいずれか1項に記載の映像監視装置。
【請求項9】
前記イベント検出部で用いられる符号化パラメータは、動き補償予測のブロックサイズを含むことを特徴とする請求項1から請求項5までのいずれか1項に記載の映像監視装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate


【公開番号】特開2012−244574(P2012−244574A)
【公開日】平成24年12月10日(2012.12.10)
【国際特許分類】
【出願番号】特願2011−115719(P2011−115719)
【出願日】平成23年5月24日(2011.5.24)
【出願人】(000006013)三菱電機株式会社 (33,312)
【出願人】(000236056)三菱電機ビルテクノサービス株式会社 (1,792)
【Fターム(参考)】