映像処理装置及び監視カメラシステム
【課題】フレーム間予測符号化方式を含む圧縮符号化手段を備えた監視カメラシステムにおいて、符号化処理とは別の新たな処理や装置を必要とせずに安定して異常状態を検知し、記録後に容易に確認が可能な装置を提供する。
【解決手段】ランダムアクセス可能な記録媒体１２０に、符号化した映像データをファイル化して記録する映像処理装置及び監視カメラシステムであって、動きベクトル検出手段１０５にて検出される動きベクトルを用いた動き補償処理と、量子化処理を含んだ圧縮符号化手段１０４を備え、該当符号化フレームの動きベクトルの大きさの最大値、或いは、平均値の変化量のいずれか一方と、該当符号化フレームの量子化係数の変化量とから映像変化点（異常状態）を判断し、符号化されたデータをファイル化した映像ファイルと関連付けてメタデータとして記録する。
【解決手段】ランダムアクセス可能な記録媒体１２０に、符号化した映像データをファイル化して記録する映像処理装置及び監視カメラシステムであって、動きベクトル検出手段１０５にて検出される動きベクトルを用いた動き補償処理と、量子化処理を含んだ圧縮符号化手段１０４を備え、該当符号化フレームの動きベクトルの大きさの最大値、或いは、平均値の変化量のいずれか一方と、該当符号化フレームの量子化係数の変化量とから映像変化点（異常状態）を判断し、符号化されたデータをファイル化した映像ファイルと関連付けてメタデータとして記録する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像を圧縮符号化する際に検出される動きベクトル情報を用いて圧縮符号化すると同時に映像変化点を検出する、映像処理装置及び監視カメラシステムに関する。
【背景技術】
【０００２】
近年、映像の符号化技術において、特に長時間記録、すなわち低ビットレートでの記録を必要とする分野では、フレーム間の相関情報を利用して高効率なフレーム間予測符号化を行う装置が一般的になっている。フレーム間予測符号化では、一般的に、フレーム間の相関から動きベクトルを検出して効率よく圧縮符号化を行うための動き補償処理が行われている。
【０００３】
一方、映像のデジタル信号処理や圧縮符号化技術、ネットワーク技術の進歩により、映像機器のデジタル化が進んでおり、監視カメラシステム分野においても、デジタル化された映像信号を圧縮符号化して記録するシステムが開発されている。
【０００４】
監視カメラシステムにおいては、たまに起こる事象（例えば、通常は人が立ち入ることのない場所に人が入り込んできた等）を効率よく発見してその事象のみを記録することや、再生時にその映像を容易に検索することができれば、利便性が飛躍的に向上する。すなわち、映像の変化を検知して、その位置を変化点として記録・再生に利用する変化点検知技術が重要となる。そこで、映像を圧縮符号化して記録する監視カメラシステムにおいて、フレーム間予測符号化で用いられる動きベクトル検出を利用して、変化点検知を行う技術が提案されている。
【０００５】
例えば、入力映像のフレーム間での変化が小さい状態から大きい状態に移ったことを検知し、その時刻から、再び変化が大きい状態から小さい状態に移った時刻までを記録／伝送し、変化の小さい期間の映像については監視に関して無駄な映像として、記録／伝送しない映像処理装置が開示されている（例えば、特許文献１を参照。）。この従来の映像処理装置において、フレーム間の変化は、フレーム間の同一位置の画素値の差分及び動きベクトルの大きさの両方を用いて検知している。
【０００６】
また、通常はカメラから背景の映像のみが入力されているが、あるとき映像内に侵入者が映ったとすると、侵入者は背景映像に対する差分として認識されるため、これをシーンチェンジとして検出することができる。そこで、侵入者が映ったと認識したフレームに、付加情報としてシーンチェンジを表す情報を貯えておき、後でこの付加情報の検索を行って、シーンチェンジ部分の一覧表示を行う映像処理装置が開示されている（例えば、特許文献２を参照。）。この従来の映像処理装置におけるシーンチェンジ検出は、動きベクトルの大きさや分布から画面変化量を求め、一定値以上の変化があったところをシーンチェンジとしている。
【０００７】
これら従来の映像処理装置は、圧縮符号化時に検出される動きベクトル及び、圧縮符号化とは別の技術を組み合わせて映像中の変化や異常を検知するものである。
【特許文献１】特開２００１−３０９３５４号公報
【特許文献２】特開２０００−２８７１６５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、映像のフレーム間予測符号化時に検出される動きベクトルは、映像データに対して効率的に符号化を行うために検出されるものであり、変化点検知のために検出されるものではない。このような理由から、従来の映像処理装置では、必ずしも映像の特徴と動きベクトル検出の結果とが一致しないため、動きベクトル検出結果のみに基づいた変化点検知では、変化点の誤検知が多いという課題があった。例えば、屋外の監視カメラシステムにおいて、背景に木々が映っており、風が吹いている状態であれば、画面全体の動きベクトルの大きさの平均値が高くなり、変化点と検知されることもある。この検知精度を向上させるためには、特許文献１で開示されているように圧縮符号化とは別に、変化点検知のための新たな処理や装置が必要であり、大規模なシステムになり、省電力化、低価格化が困難である。
【０００９】
本発明は上記課題に鑑み、システム規模の拡大を抑制しつつ、効率的な変化点検知を行うことが可能な映像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上述した課題を解決するために、本発明の映像処理装置は、ランダムアクセス可能な記録媒体に符号化した映像データをファイル化して記録する映像処理装置であり、映像データから変化点検知（以下、適宜、異常検知と呼ぶ）を行うために、少なくとも、動きベクトル検出手段にて検出される動きベクトルを用いた動き補償処理と、量子化係数を適応的に変更して効率的な量子化を行う量子化処理とを含む映像符号化方式を備え、該当符号化フレームの動きベクトルの大きさの最大値、或いは、フレーム間の動きベクトルの大きさ平均値の変化量と、フレーム間の量子化係数の変化量とが、共に各々の閾値を超えた場合に「異常あり」と判断する。検知した前記異常検知情報は、メタデータとして、映像ファイルの先頭からのＯｆｆｓｅｔフレーム値と、映像を符号化したデータとを記録媒体に記録するファイルと関連付けて記録する。
【００１１】
また、再生時には、メタデータとして記録された異常検知情報に基づいて、前記Ｏｆｆｓｅｔ値に該当するフレームから再生を開始する。
【発明の効果】
【００１２】
本発明の映像処理装置によれば、映像データを圧縮符号化し、ランダムアクセス可能な記録媒体に圧縮符号化データをファイル化して記録する映像処理装置及び監視カメラシステムにおいて、記録後の確認を効率的に行うための異常検知を、より安定して行うことができる。
【００１３】
また、異常を検知するために必要な処理は、動き補償予測処理で必要な動きベクトルや量子化処理の結果である量子化係数等、映像を記録するために圧縮符号化処理をする際に必要な情報のみであり、圧縮符号化処理とは別の新たな処理や装置を必要としない。したがって、低価格、低消費電力の映像処理装置を実現することができ、携帯型の映像処理装置にも容易に適応可能である。
【発明を実施するための最良の形態】
【００１４】
以下、図面を参照しながら本発明の実施の形態について説明する。
【００１５】
図１は、本発明の実施の形態の監視カメラシステムの構成を示す。本実施の形態では、被写体を撮像するカメラ部と、カメラ部により撮像された映像を圧縮符号化された圧縮映像データとして記録媒体に記録する記録手段を有した監視カメラシステムの一例を挙げて説明する。このような監視カメラシステムは、例えば、オフィスビルの夜間監視カメラシステムや、出入り口の監視カメラシステムとして利用される。
【００１６】
図１に示すように、本監視カメラシステムは、記録媒体１２０に記録するための映像データを供給するカメラ部１０１と、カメラ部１０１からの映像データに対し、符号化前のフィルタ処理等を行う映像処理部１０２と、映像データを圧縮符号化して圧縮符号化データを生成する映像符号化部１０３と、記録媒体１２０に記録された圧縮符号化データを復号化する映像復号化部１０６と、復号化された映像データを出力する映像出力部１０７と、システム全体を制御するシステム制御部１１０と、システム制御部１１０が各部の制御を行うために相互接続するためのＩ／Ｏバス１３０と、確認操作等のユーザからの入力を受け付ける入力手段１３１と、ユーザ操作に必要なクリップ（後述）のリスト情報や静止画等を表示するための表示装置１３２とを備える。
【００１７】
さらに、映像符号化部１０３は、映像データの圧縮符号化を行う映像符号化手段１０４と、フレーム間の動きベクトルを検出する動きベクトル検出手段１０５とを含み、システム制御部１１０は、映像を圧縮符号化したデータをファイルとして記録媒体に記録する映像ファイル記録手段１１１、画像に関する統計情報を取得、管理する画像情報管理手段１１２、異常を検知する映像変化解析手段１１３、異常が検知されたことを示す情報である異常検知情報を映像ファイルと関連付けて記録するメタデータ記録手段１１４、例えば、クリップのリスト情報や、サムネイル画を表示するための表示制御を行う表示制御手段１１５、記録媒体１２０に記録された圧縮符号化データの再生制御を行う映像ファイル再生手段１１６、及び記録されたメタデータを読み出して管理するメタデータ再生手段１１７を含む構成である。
【００１８】
また、本実施の形態では、システム制御部１１０が、例えば、図示しないマイコンとメモリとによって実現される一例を挙げており、システム制御部１１０に含まれる各処理手段は、マイコンがメモリに記憶した各種のプログラムを実行することによって実現される。
【００１９】
一方、映像符号化部１０３に供給される映像データは、例えば、映像圧縮方式として広く利用されているＭＰＥＧ−２方式や、あるいは、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４規格に基づき圧縮符号化される。本発明はフレーム間予測符号化を適用する圧縮符号化方式に対してであれば同様の効果を発揮するが、本実施の形態では、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４方式（以下、Ｈ．２６４と略記する）にて圧縮符号化する例を説明する。
【００２０】
以上のように構成された本監視カメラシステムにおいて、例えば、入力手段１３１によりユーザが監視開始を指示すると、カメラ部１０１は撮像処理を行い、デジタル化された映像データを出力する。次に、この信号が映像処理部１０２に供給され、供給された映像データは、例えば、フィルタでの帯域制限や、ノイズ除去が行われる。処理された映像データは、映像符号化部１０３に提供される。
【００２１】
映像符号化部１０３には、映像符号化手段１０４と、動きベクトル検出手段１０５とが含まれており、詳細は後述するが、映像データがＨ．２６４方式に従って圧縮符号化される。映像符号化部１０３にて圧縮符号化された圧縮符号化データは、システム制御部１１０の映像ファイル記録手段１１１によりファイルとして記録媒体１２０に記録される。
【００２２】
さらに、映像符号化部１０３での演算結果及び検出結果は、システム制御部１１０の画像情報管理手段１１２により取得される。例えば、動きベクトル検出手段１０５にて検出される圧縮符号化時の動きベクトルの平均値や最大値、映像符号化手段１０４で演算される量子化パラメータ、動き補償処理のブロックサイズの分布、参照フレームへの最小フレーム長等の各フレームの画像統計情報が、各フレームの圧縮符号化データと同期した状態で管理される。映像変化解析手段１１３では、画像情報管理手段１１２から前記画像統計情報を取得し、これらの情報に基づいて異常検知処理を行い、フレーム毎に「異常あり」、「異常なし」の２つの異常検知情報が決定される。「異常あり」と判断された場合には、そのことがメタデータ記録手段１１４に通知される。メタデータ記録手段１１４は、「異常あり」との異常検知情報を、映像が記録されるファイル及び「異常あり」と判断されたフレーム番号と関連づけてメタデータとして別ファイルに記録する。映像変化解析手段１１３での異常検知方法や、メタデータ記録手段１１４における異常検知情報をメタデータとして記録する方法の詳細は後述する。
【００２３】
入力手段１３１によりユーザが監視終了を指示すると、監視カメラシステムは記録動作を終了する。
【００２４】
以上のような１連続の記録でできたファイル群をクリップと呼ぶことにする。クリップには、少なくとも映像を圧縮符号化したデータファイルを含み、例えば、音声ファイルや、撮影場所や時間を示すメタデータを記録するファイルを含んでもよい。また、記録媒体の容量や、ファイルシステム上の管理制限等で、映像ファイルを分割する必要があるときは、監視開始から監視終了までの映像データを２つまたはそれ以上のクリップに分割して記録媒体に記録する。なお、本実施の形態では、監視用途のシステムであるため、記録されたクリップの順番は、例えば、記録時間等で容易に判断できる。したがって、本実施の形態では、特にクリップの連続性を規定する記述を記録媒体に記録しないが、前記記述を記録媒体に記録してもよい。
【００２５】
記録媒体１２０にファイルとして記録された圧縮符号化データの再生時には、メタデータ再生手段１１７により、記録媒体１２０からメタデータのファイルが読み出され、さらにメタデータ中の異常検知情報が読み出される。そして入力手段１３１によるユーザからの再生指示により、映像ファイル再生手段１１６が、「異常あり」と判断されたフレームの圧縮符号化データを読み出し、映像復号化部１０６に提供する。映像復号化部１０６は、Ｈ．２６４規格に準拠した復号化処理を行い、復号化した映像データを映像出力部１０７に提供し、映像出力部１０７にて映像の表示が行われる。このメタデータ再生手段１１７の処理の詳細は後述する。
【００２６】
次に、映像符号化部１０３の動作について詳細に説明する。映像符号化部１０３の詳細なブロック図を図２に示す。図２は、規格で定められた一般的なＨ．２６４方式で符号化する際の構成であり、図１の動きベクトル検出手段１０５は、動きベクトル検出部２０８に相当し、映像符号化手段１０４は、ＤＣＴ／量子化部２０１〜フレーム間予測処理部２０７の各ブロックに相当する。
【００２７】
まず、入力手段１３１の記録指示により符号化を開始すると、入力された映像データはＤＣＴ／量子化部２０１に提供され、離散コサイン変換（ＤＣＴ）及び量子化処理が行われた後、エントロピー符号化部２０２にて可変長符号化や算術符号化が行われてビットストリームとして圧縮符号化データが出力される。同時に、逆量子化／ＩＤＣＴ部２０３は、ＤＣＴ／量子化部２０１から提供された変換データに対して、逆量子化処理及び逆ＤＣＴ（ＩＤＣＴ）処理を行い、フィルタ部２０４に逆変換された映像データを提供する。この映像データはフィルタ部２０４にて、デブロッキングフィルタ処理が行われた後でフレームメモリ２０５に格納され、フレーム内予測処理及びフレーム間予測処理にて利用される。フレーム内予測処理部２０６では、Ｈ．２６４の特徴の一つでもあるフレーム内での予測を行う。予測結果は、ＤＣＴ／量子化部２０１にて、次フレームの入力画像のＤＣＴ／量子化の際に用いられる。
【００２８】
一方、入力された映像データは動きベクトル検出部２０８にも入力され、フレームメモリ２０５に格納されている参照フレームから水平方向と垂直方向の動きベクトルを検出し、フレーム間予測処理部２０７にて、可変ＭＣ（Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｉｏｎ）によるブロックの分割処理、動き補償処理及び動きベクトルの符号化が行われる。フレーム内予測処理部２０６及びフレーム間予測処理部２０７での予測結果は、フレーム内／フレーム間予測切替部２１０にて、フレーム毎にいずれかを選択した後、ＤＣＴ／量子化部２０１に提供される。
【００２９】
さらに、動きベクトル検出部２０８では、まず、符号化を行う１フレームの映像データを所定の大きさの矩形領域（例えば、１６×１６画素、８×８画素など）にブロック分割し、フレームメモリ２０５内に格納されている参照フレームから各ブロックの予測値として適切なブロックを探索する。一般的には、参照フレーム内のあらかじめ設定された探索範囲内で、ブロックの位置を少しずつ動かして、当該位置のブロックが予測値として適切か否かを判定する。適切であることの判定基準には、ブロック内の各画素値の差分２乗和、差分絶対値和などが用いられる。このようにして、符号化を行う１フレームの映像データの各ブロックに対し、参照画面内で当該ブロックの予測値として探索されたブロックの位置のずれを動きベクトルとして検出する。したがって、検出された動きベクトルを用いて映像の動きの特徴の概略を把握することができる。
【００３０】
次に、映像変化解析手段１１３における異常検知方法について具体的に説明する。まず、画像情報管理手段１１２によって映像符号化部１０３の各フレームにおける圧縮符号化する際の統計情報が取得される。本発明で利用する統計情報としては、映像符号化部１０３で演算または検出された動きベクトル、各マクロブロック（ＭＢ）の量子化係数（Ｑｓｔｅｐ）に相当するマトリックス、各ＭＢの参照フレーム番号が挙げられる。以上の情報はＨ．２６４方式で符号化するために必要な情報であり、圧縮符号化データの中に埋め込まれる（さらなる詳細はＨ．２６４規格を参照。）。
【００３１】
さらに、画像情報管理手段１１２は、例えば、ＩＤＲピクチャやＩピクチャと呼ばれるフレーム内予測符号化のみを用いたフレームの周期（ＭＰＥＧ２符号化方式では、Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ：ＧＯＰ周期）分の各フレームの前述した統計情報を管理する。
【００３２】
また、動きベクトルに関しては、各フレームの動きベクトルの平均値（ＡＶＥ＿ＭＥ）、最大値（ＭＡＸ＿ＭＥ）を保持する。量子化係数に関しては、各フレームにおける量子化係数（Ｑｓｔｅｐ）毎の利用されたＭＢ数の分布を保持する。参照フレーム番号に関しては、現在符号化しているフレーム番号からの差分、すなわち、参照フレームと現在符号化しているフレームとの時間的距離を表すフレーム数（以下、参照フレームと符号化フレームの距離と呼ぶ）が保持される構成とする。
【００３３】
さらに映像変化解析手段１１３は、同時に、最新フレームの情報、すなわち、現在符号化されているフレームの記録開始からのＯｆｆｓｅｔ値を管理する。
【００３４】
映像変化解析手段１１３では、画像情報管理手段１１２によって取得された情報を用いて異常検知処理を行う。図３に異常検知処理の処理フローの一例を示す。
【００３５】
図３は、動きベクトルの大きさの最大値と、参照フレームと符号化フレームの距離と、量子化係数の分布変化から異常を検知する方式である。Ｓ００１において、画像情報管理手段１１２によって管理されている動きベクトルの大きさの最大値（ＭＡＸ＿ＭＥ）が、閾値ＴＨ＿ＭＥ以上であるかどうかを判断する。次にＳ００２において、参照フレームと符号化フレームの距離（ＬＥＮ＿ＲＦ）が、閾値ＴＨ＿ＲＦ未満であるかどうかを判断する。これは、Ｈ．２６４方式のＬｏｎｇ Ｔｅｒｍ参照ピクチャに対して効果的である。Ｌｏｎｇ Ｔｅｒｍ参照ピクチャとは、例えば、ＴＶ会議システムにおいて、会議室内の背景をＬｏｎｇ Ｔｅｒｍ参照メモリに保存して、Ｌｏｎｇ Ｔｅｒｍ参照ピクチャとして参照することにより符号化効率を改善する方法である。したがって、動きの少ない固定監視カメラシステムにおいて、Ｌｏｎｇ Ｔｅｒｍ参照ピクチャを用いることは有用であり、Ｌｏｎｇ Ｔｅｒｍ参照ピクチャを用いて符号化した場合、Ｌｏｎｇ Ｔｅｒｍ参照ピクチャ以外を参照することは、その映像において、動きが発生した場合（すなわち、監視用途としては異常状態）と考えられる。例えば、動きがまったく無い場合、理想的には撮影開始フレームをＬｏｎｇ Ｔｅｒｍ参照ピクチャとして保持しておけば、それ以降すべてのフレームの符号化データがＬｏｎｇ Ｔｅｒｍ参照ピクチャを参照することになる。したがって、撮影開始から１０００フレーム後の符号化データの参照フレームと符号化フレームの距離は１０００フレームとなる。しかし、動きがある場合には、参照フレームと符号化フレームの距離が１、２フレーム等の直近のフレームを参照することになる。すなわち、例えばＴＨ＿ＲＦ＝３等に設定しておけば、ＬＥＮ＿ＲＦ＜ＴＨ＿ＲＦとなり、動き（異常）を検知することができる。
【００３６】
前述した異常検知処理では、撮影開始フレームからの距離がＴＨ＿ＲＦ未満のフレームに対してＳ００２での判定が常にＹｅｓとなるため、正確に異常を検知することはできない。しかしながら、ＴＨ＿ＲＦが数〜十数フレームであれば、撮影開始フレームからの距離がＴＨ＿ＲＦ未満のフレームで異常を検知しない（無視する）ようにすれば、誤検知を防止しつつ通常の異常検知は十分可能なため、問題はない。
【００３７】
なお、Ｈ．２６４方式では、参照フレームはマクロブロック（ＭＢ）単位で変更することが可能なため、ＬＥＮ＿ＲＦとしては、現在符号化しているフレームと各ＭＢの参照フレームとの距離の最小値とする。また、Ｌｏｎｇ Ｔｅｒｍ参照ピクチャを用いない場合は、Ｓ００２のステップを省いてもよい。
【００３８】
Ｓ００３において、量子化係数の変化の判断を行う。Ｈ．２６４方式では、量子化係数（Ｑｓｔｅｐ）は、ＭＢ毎に変更することが可能であり、各量子化係数におけるＭＢの数の分布表を作成し、各量子化係数を持つＭＢ数の差分の絶対値の総和を量子化係数の変化量（ＭＶ＿ＱＳ）とする。ｎ個のＱｓｔｅｐ（Ｑ１〜Ｑｎ）にて量子化され、現在符号化しているフレームの量子化係数をＱｎとするＭＢの数をＭＶ＿Ｑｎ＿Ｆ１、映像符号化部１０３への入力順で前のフレームの量子化係数をＱｎとするＭＢの数をＭＶ＿Ｑｎ＿Ｆ２とすると、量子化係数の変化量（ＭＶ＿ＱＳ）は次式で表される。
【００３９】
ＭＶ＿ＱＳ＝｜ＭＶ＿Ｑ１＿Ｆ２−ＭＶ＿Ｑ１＿Ｆ１｜
＋｜ＭＶ＿Ｑ２＿Ｆ２−ＭＶ＿Ｑ２＿Ｆ１｜
＋・・・
＋｜ＭＶ＿Ｑｎ＿Ｆ２−ＭＶ＿Ｑｎ＿Ｆ１｜
このＭＶ＿ＱＳが、閾値ＴＨ＿ＱＳ以上であるかどうかを判断する。これは、量子化係数は、毎フレームの変化がなければ一定の値、或いは一定の分布をしているのが通常であり、前フレームに比べて、値や分布に変化があるということは、現在符号化処理中のフレームの画像に大きく変化が発生したことを意味する。
【００４０】
以上のＳ００１、Ｓ００２、Ｓ００３のすべての判断に当てはまる場合に、「異常あり」と判断し、その他の場合は、「異常なし」と判断する。「異常あり」と検出された場合には、Ｓ００４にて、画像情報管理手段１１２によって管理されているクリップの記録開始時から現在符号化しているフレームまでのＯｆｆｓｅｔを取得し、Ｓ００５にて、前記Ｏｆｆｓｅｔと異常の種別とを含む異常検出情報をメタデータ記録手段１１４に通知する。
【００４１】
なお、本実施の形態では、ＴＨ＿ＭＥ＝１０、ＴＨ＿ＲＦ＝３、ＴＨ＿ＱＳ＝２００とする。これは、毎秒３０フレームで撮影し、映像サイズが７２０×４８０である一般的な映像に対して、遠影撮影かつ動きが少ない監視カメラ用途を想定して、映像の１フレーム間の空間移動距離が０．１％程度（ＴＨ＿ＭＥ、ＴＨ＿ＱＳの設定値に影響）、動きの継続する時間が１／１０秒（ＴＨ＿ＲＦの設定値に影響）以上であれば「異常あり」と判断されるように意図したパラメータの組み合わせを意味している。
【００４２】
また、これらのパラメータは監視カメラの設置場所や、目的、１秒あたりの撮影フレーム数にしたがって最適な閾値を選択すればよい。例えば、入出監視用の室内の固定監視カメラシステムの場合、風等の外部要因による動きはないと考えられ、動きベクトルは、単純に人や物体の移動のみが検知される。したがって、ＴＨ＿ＭＥ、ＴＨ＿ＱＳの値は小さくして感度を上げてもよい。また、１秒あたりの撮影フレーム数が少ない場合は、フレーム間の差分が大きくなるため、ＴＨ＿ＭＥ、ＴＨ＿ＱＳの値を大きく設定すればよい。
【００４３】
また、入力手段１３１にて、ＴＨ＿ＭＥ、ＴＨ＿ＱＳの値を選択可能な構成とすれば、様々な用途に適用できるシステムが実現できる。例えば、通常屋外で記録するモードでは、ＴＨ＿ＭＥ＝１０、ＴＨ＿ＱＳ＝２００とし、屋内で記録するモードでは、ＴＨ＿ＭＥ＝５、ＴＨ＿ＱＳ＝１００とし、これらのモードをユーザが選択できる構成とする。
【００４４】
異常検知処理の別の一例の処理フローを図４に示す。図４において、Ｓ１０１では、表示順番で直前のフレームの動きベクトルの大きさの平均値（ＡＶＥ＿ＭＥ１）と、現在符号化しているフレームの動きベクトルの大きさの平均値（ＡＶＥ＿ＭＥ２）との差分を用いて異常を検出する。すなわち、下記の式で表されるＡＶＥ＿ＭＥ＿ＤＩＦＦが、閾値ＴＨ＿ＭＥ２以上であるかどうかにより異常の判断を行う。
【００４５】
ＡＶＥ＿ＭＥ＿ＤＩＦＦ＝｜ＡＶＥ＿ＭＥ１−ＡＶＥ＿ＭＥ２｜
Ｓ１０２では、図３のＳ００３と同様に、量子化係数の変化量（ＭＶ＿ＱＳ）が、閾値ＴＨ＿ＱＳ２以上であるかどうかにより判断される。以上のＳ１０１、Ｓ１０２のすべての判断に当てはまる場合に、「異常あり」と判断し、その他の場合は、「異常なし」と判断する。「異常あり」と検知された場合には、Ｓ１０３にて、画像情報管理手段１１２によって管理されているクリップの記録開始時から現在符号化しているフレームまでのＯｆｆｓｅｔを取得し、Ｓ１０４にて、前記Ｏｆｆｓｅｔと異常の種別とを含む異常検知情報をメタデータ記録手段１１４に通知する。
【００４６】
以上、異常検知方法について２つの例を提示したが、異常検知の判断は、用途に合わせて組み合わせを変更してもよい。
【００４７】
次に、メタデータ記録手段１１４において、メタデータとして異常検知情報を記録する方法について説明する。図５にクリップに対して付与されるメタデータである、クリップメタデータの内容を示す。Ｃｌｉｐ ＩＤは、クリップ毎に機器が自動的に付与する固有のＩＤであり、Ｖｉｄｅｏ Ｆｉｌｅ Ｎａｍｅは、映像を圧縮符号化したデータを記録するファイルのファイル名であり、Ｆｒａｍｅ Ｒａｔｅは、撮影した映像の１秒あたりのフレーム数であり、Ｄｕｒａｔｉｏｎは、記録したクリップの長さをフレーム数で表す。ＮｕｍＷａｒｎｉｎｇは、クリップ内で映像変化解析手段１１３にて検知された異常検知結果の検知数であり、以下で説明するＷａｒｎｉｎｇＩｎｆｏの数を表す。ＷａｒｎｉｎｇＩｎｆｏは、図５（ｂ）で定義される異常検知情報であり、Ｏｆｆｓｅｔは、異常を検出した際のクリップの先頭からのフレーム数で、ＷａｒｎｉｎｇＴｙｐｅは、異常検出の種別（例えば、ＷＡＲＮＩＮＧ：「異常あり」、ＩＮＦＯＭＡＴＩＯＮ：参考情報等）の情報を表す。ＷａｒｎｉｎｇＩｎｆｏは、ＮｕｍＷａｒｎｉｎｇの値の数だけ記録される。
【００４８】
本実施の形態では、検索時の利便性向上のため、クリップメタデータは、映像を圧縮符号化したデータとは別のファイルとして、テキストファイル形式で記録されることとする。
【００４９】
図６に記録開始から終了までのクリップメタデータファイルの内容変化の一例を示す。図６（ａ）はクリップの記録開始直後のクリップメタデータファイルの内容例を示す。この例では、Ｃｌｉｐ ＩＤがＣ０００１、Ｖｉｄｅｏ Ｆｉｌｅ ＮａｍｅがＣ０００１．ｍｘｆ、Ｆｒａｍｅ Ｒａｔｅが毎秒３０フレームである。Ｃｌｉｐ ＩＤ、Ｖｉｄｅｏ Ｆｉｌｅ Ｎａｍｅは、クリップの記録開始前に決定される。例えば、Ｃｌｉｐ ＩＤは、先頭に“Ｃ“を付与した４桁のインクリメントカウンタ値とし、Ｖｉｄｅｏ Ｆｉｌｅ Ｎａｍｅは、Ｃｌｉｐ ＩＤに拡張子を付与した形式とする。ここでは、映像ファイルをＳＭＰＴＥ−３７７Ｍに準拠したＭＸＦファイル形式として拡張子をｍｘｆとしているが、それ以外のファイル形式でも構わない。また、Ｄｕｒａｔｉｏｎは、記録開始直後では確定されないので０としておく。さらに、ＮｕｍＷａｒｎｉｎｇも「異常あり」の検知がされるまでは０としておき、クリップの記録終了後にＮｕｍＷａｒｎｉｎｇが０である場合は、そのクリップ内に異常は検知されなかったことを表す。
【００５０】
次に、図６（ｂ）は、そのクリップを記録中に初めて異常を検知した後のクリップメタデータファイルの内容を示している。図６（ａ）に対して、ＮｕｍＷａｒｎｉｎｇを１とし、対応するＷａｒｎｉｎｇＩｎｆｏ（Ｏｆｆｓｅｔ：１２３４、ＷａｒｎｉｎｇＴｙｐｅ：ＷＡＲＮＩＮＧ）を追加する。また、Ｄｕｒａｔｉｏｎの項目を、その時点のクリップ長（１２３４）に変更する。図６（ｃ）は、クリップ記録終了後のクリップメタデータファイルの内容を示す。この例では、３つの異常が検知されていることを表す。
【００５１】
次に、記録後に異常を確認するために再生するときのメタデータ再生手段１１７の処理の詳細を説明する。記録後に異常検知情報を確認する場合は、前述した異常検知情報を示すメタデータを用いて容易に異常検索が可能になる。各クリップのクリップメタデータファイルを検索することで、異常の有無や数が分かり、そのＯｆｆｓｅｔを容易に取得できる。したがって、メタデータ再生手段１１７にて、図７のように異常の種別（ＷａｒｎｉｎｇＴｙｐｅ）、クリップＩＤ(Ｃｌｉｐ ＩＤ）、異常発生位置（Ｏｆｆｓｅｔ）を含んだ異常検知リストを作成し、表示制御手段１１５によって表示制御を行って、表示装置１３２にて異常検知リストの表示を行う。その表示された異常検知リストに対して、例えば、入力手段１３１によりユーザが所望の異常検知位置の番号（ＮＯ．）を選択すると、映像ファイル再生手段１１６が、対象となる映像ファイルの該当Ｏｆｆｓｅｔから記録媒体に記録された圧縮符号化データの読み出しを行う。この読み出された圧縮符号化データは、映像復号化部１０６に提供され、復号処理が施されて、映像データとして映像出力部１０７に供給される。供給された映像データは、映像出力部１０７にて表示される。このようにして、異常が検知されたときの映像を容易に検索して再生することができる。
【００５２】
なお、表示する異常検知リスト（図７）は、Ｏｆｆｓｅｔにてフレーム位置の特定を提示した例を示しているが、例えば、異常検知時の時刻や、サムネイル画を表示してもよい。異常時の時刻は、クリップの記録開始時刻とＯｆｆｓｅｔとから計算可能であり、サムネイル画は、異常検知時に符号化前の映像データから作成する方法、或いは、記録後に直近のＩピクチャと呼ばれるフレーム内予測符号化のみを用いて符号化したフレームのＤＣ成分を取得して作成する方法等がある。
【００５３】
さらに、記録時には異常検知を行わずに、記録された圧縮符号化データを探索して異常検知を行う方法を説明する。記録媒体に記録された圧縮符号化データ内には、復号化の際に必要なため、動きベクトル、量子化係数、及び、参照フレーム番号等の情報が符号化された状態で埋め込まれている。この情報を復号時に抽出して同様の処理を施せば、記録後に異常を検知することが可能である。また、動きベクトル及び量子化係数は、符号化時と同一の符号化方式（例えば、Ｈ．２６４方式）に対応した復号装置であれば、復号時に必ず抽出しなければならないため、特別な装置が必要なく、復号時に抽出される情報を用いれば、図１と同じ構成で実現できる。すなわち、映像ファイル再生手段１１６により映像復号化部１０６に圧縮符号化データを供給し、映像復号化部１０６で抽出される動きベクトル、量子化係数等の情報を画像情報管理手段１１２にて取得、管理を行えば、その他のブロックは前述した本実施の形態の方法で実現可能である。
【００５４】
以上のように、本実施の形態の監視カメラシステムによれば、圧縮符号化処理とは別の処理手段を追加することなく、圧縮符号化時に用いる情報のみで、より安定した異常検知を行うことが可能であり、例えば、携帯型監視カメラシステムのような、低価格、省電力の監視カメラシステムを実現することができる。
【００５５】
なお、本実施の形態では、メタデータは別ファイルとして記録する方法を説明したが、映像記録ファイルのヘッダ部分に埋め込んで記録しても同様の効果を発揮する。また、メタデータを記録する際に、テキスト形式にて記録する方法を説明したが、例えば、ＸＭＬ（ｅＸｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）形式等のマークアップ言語等で記述する場合や、異常検知情報（ＷａｒｎｉｎｇＩｎｆｏ）をリスト構造としても同様の効果を発揮する。
【産業上の利用可能性】
【００５６】
本発明にかかる映像処理装置は、動きの少ない映像から異常を検知し、確認時の検索性を向上させるもので、夜間監視カメラシステム、出入り口の監視カメラシステム、又は、映像編集装置等にも広く適用可能である。
【図面の簡単な説明】
【００５７】
【図１】監視カメラシステムの構成を示す図
【図２】映像符号化部の構成を示す図
【図３】異常検知方法の第１の処理フロー例を示す図
【図４】異常検知方法の第２の処理フロー例を示す図
【図５】クリップメタデータファイルの内容を示す図
【図６】クリップメタデータファイルの各ステップにおける内容例を示す図
【図７】異常検知の表示例を示す図
【符号の説明】
【００５８】
１０１ カメラ部
１０２ 映像処理部
１０３ 映像符号化部
１０４ 映像符号化手段
１０５ 動きベクトル検出手段
１０６ 映像復号化部
１０７ 映像出力部
１１０ システム制御部
１１１ 映像ファイル記録手段
１１２ 画像情報管理手段
１１３ 映像変化解析手段
１１４ メタデータ記録手段
１１５ 表示制御手段
１１６ 映像ファイル再生手段
１１７ メタデータ再生手段
１２０ 記録媒体
１３０ Ｉ／Ｏバス
１３１ 入力手段
１３２ 表示装置
２０１ ＤＣＴ／量子化部
２０２ エントロピー符号化部
２０３ 逆量子化／ＩＤＣＴ部
２０４ フィルタ部
２０５ フレームメモリ
２０６ フレーム内予測処理部
２０７ フレーム間予測処理部
２０８ 動きベクトル検出部
２１０ フレーム内／フレーム間予測切替部
【技術分野】
【０００１】
本発明は、映像を圧縮符号化する際に検出される動きベクトル情報を用いて圧縮符号化すると同時に映像変化点を検出する、映像処理装置及び監視カメラシステムに関する。
【背景技術】
【０００２】
近年、映像の符号化技術において、特に長時間記録、すなわち低ビットレートでの記録を必要とする分野では、フレーム間の相関情報を利用して高効率なフレーム間予測符号化を行う装置が一般的になっている。フレーム間予測符号化では、一般的に、フレーム間の相関から動きベクトルを検出して効率よく圧縮符号化を行うための動き補償処理が行われている。
【０００３】
一方、映像のデジタル信号処理や圧縮符号化技術、ネットワーク技術の進歩により、映像機器のデジタル化が進んでおり、監視カメラシステム分野においても、デジタル化された映像信号を圧縮符号化して記録するシステムが開発されている。
【０００４】
監視カメラシステムにおいては、たまに起こる事象（例えば、通常は人が立ち入ることのない場所に人が入り込んできた等）を効率よく発見してその事象のみを記録することや、再生時にその映像を容易に検索することができれば、利便性が飛躍的に向上する。すなわち、映像の変化を検知して、その位置を変化点として記録・再生に利用する変化点検知技術が重要となる。そこで、映像を圧縮符号化して記録する監視カメラシステムにおいて、フレーム間予測符号化で用いられる動きベクトル検出を利用して、変化点検知を行う技術が提案されている。
【０００５】
例えば、入力映像のフレーム間での変化が小さい状態から大きい状態に移ったことを検知し、その時刻から、再び変化が大きい状態から小さい状態に移った時刻までを記録／伝送し、変化の小さい期間の映像については監視に関して無駄な映像として、記録／伝送しない映像処理装置が開示されている（例えば、特許文献１を参照。）。この従来の映像処理装置において、フレーム間の変化は、フレーム間の同一位置の画素値の差分及び動きベクトルの大きさの両方を用いて検知している。
【０００６】
また、通常はカメラから背景の映像のみが入力されているが、あるとき映像内に侵入者が映ったとすると、侵入者は背景映像に対する差分として認識されるため、これをシーンチェンジとして検出することができる。そこで、侵入者が映ったと認識したフレームに、付加情報としてシーンチェンジを表す情報を貯えておき、後でこの付加情報の検索を行って、シーンチェンジ部分の一覧表示を行う映像処理装置が開示されている（例えば、特許文献２を参照。）。この従来の映像処理装置におけるシーンチェンジ検出は、動きベクトルの大きさや分布から画面変化量を求め、一定値以上の変化があったところをシーンチェンジとしている。
【０００７】
これら従来の映像処理装置は、圧縮符号化時に検出される動きベクトル及び、圧縮符号化とは別の技術を組み合わせて映像中の変化や異常を検知するものである。
【特許文献１】特開２００１−３０９３５４号公報
【特許文献２】特開２０００−２８７１６５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、映像のフレーム間予測符号化時に検出される動きベクトルは、映像データに対して効率的に符号化を行うために検出されるものであり、変化点検知のために検出されるものではない。このような理由から、従来の映像処理装置では、必ずしも映像の特徴と動きベクトル検出の結果とが一致しないため、動きベクトル検出結果のみに基づいた変化点検知では、変化点の誤検知が多いという課題があった。例えば、屋外の監視カメラシステムにおいて、背景に木々が映っており、風が吹いている状態であれば、画面全体の動きベクトルの大きさの平均値が高くなり、変化点と検知されることもある。この検知精度を向上させるためには、特許文献１で開示されているように圧縮符号化とは別に、変化点検知のための新たな処理や装置が必要であり、大規模なシステムになり、省電力化、低価格化が困難である。
【０００９】
本発明は上記課題に鑑み、システム規模の拡大を抑制しつつ、効率的な変化点検知を行うことが可能な映像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上述した課題を解決するために、本発明の映像処理装置は、ランダムアクセス可能な記録媒体に符号化した映像データをファイル化して記録する映像処理装置であり、映像データから変化点検知（以下、適宜、異常検知と呼ぶ）を行うために、少なくとも、動きベクトル検出手段にて検出される動きベクトルを用いた動き補償処理と、量子化係数を適応的に変更して効率的な量子化を行う量子化処理とを含む映像符号化方式を備え、該当符号化フレームの動きベクトルの大きさの最大値、或いは、フレーム間の動きベクトルの大きさ平均値の変化量と、フレーム間の量子化係数の変化量とが、共に各々の閾値を超えた場合に「異常あり」と判断する。検知した前記異常検知情報は、メタデータとして、映像ファイルの先頭からのＯｆｆｓｅｔフレーム値と、映像を符号化したデータとを記録媒体に記録するファイルと関連付けて記録する。
【００１１】
また、再生時には、メタデータとして記録された異常検知情報に基づいて、前記Ｏｆｆｓｅｔ値に該当するフレームから再生を開始する。
【発明の効果】
【００１２】
本発明の映像処理装置によれば、映像データを圧縮符号化し、ランダムアクセス可能な記録媒体に圧縮符号化データをファイル化して記録する映像処理装置及び監視カメラシステムにおいて、記録後の確認を効率的に行うための異常検知を、より安定して行うことができる。
【００１３】
また、異常を検知するために必要な処理は、動き補償予測処理で必要な動きベクトルや量子化処理の結果である量子化係数等、映像を記録するために圧縮符号化処理をする際に必要な情報のみであり、圧縮符号化処理とは別の新たな処理や装置を必要としない。したがって、低価格、低消費電力の映像処理装置を実現することができ、携帯型の映像処理装置にも容易に適応可能である。
【発明を実施するための最良の形態】
【００１４】
以下、図面を参照しながら本発明の実施の形態について説明する。
【００１５】
図１は、本発明の実施の形態の監視カメラシステムの構成を示す。本実施の形態では、被写体を撮像するカメラ部と、カメラ部により撮像された映像を圧縮符号化された圧縮映像データとして記録媒体に記録する記録手段を有した監視カメラシステムの一例を挙げて説明する。このような監視カメラシステムは、例えば、オフィスビルの夜間監視カメラシステムや、出入り口の監視カメラシステムとして利用される。
【００１６】
図１に示すように、本監視カメラシステムは、記録媒体１２０に記録するための映像データを供給するカメラ部１０１と、カメラ部１０１からの映像データに対し、符号化前のフィルタ処理等を行う映像処理部１０２と、映像データを圧縮符号化して圧縮符号化データを生成する映像符号化部１０３と、記録媒体１２０に記録された圧縮符号化データを復号化する映像復号化部１０６と、復号化された映像データを出力する映像出力部１０７と、システム全体を制御するシステム制御部１１０と、システム制御部１１０が各部の制御を行うために相互接続するためのＩ／Ｏバス１３０と、確認操作等のユーザからの入力を受け付ける入力手段１３１と、ユーザ操作に必要なクリップ（後述）のリスト情報や静止画等を表示するための表示装置１３２とを備える。
【００１７】
さらに、映像符号化部１０３は、映像データの圧縮符号化を行う映像符号化手段１０４と、フレーム間の動きベクトルを検出する動きベクトル検出手段１０５とを含み、システム制御部１１０は、映像を圧縮符号化したデータをファイルとして記録媒体に記録する映像ファイル記録手段１１１、画像に関する統計情報を取得、管理する画像情報管理手段１１２、異常を検知する映像変化解析手段１１３、異常が検知されたことを示す情報である異常検知情報を映像ファイルと関連付けて記録するメタデータ記録手段１１４、例えば、クリップのリスト情報や、サムネイル画を表示するための表示制御を行う表示制御手段１１５、記録媒体１２０に記録された圧縮符号化データの再生制御を行う映像ファイル再生手段１１６、及び記録されたメタデータを読み出して管理するメタデータ再生手段１１７を含む構成である。
【００１８】
また、本実施の形態では、システム制御部１１０が、例えば、図示しないマイコンとメモリとによって実現される一例を挙げており、システム制御部１１０に含まれる各処理手段は、マイコンがメモリに記憶した各種のプログラムを実行することによって実現される。
【００１９】
一方、映像符号化部１０３に供給される映像データは、例えば、映像圧縮方式として広く利用されているＭＰＥＧ−２方式や、あるいは、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４規格に基づき圧縮符号化される。本発明はフレーム間予測符号化を適用する圧縮符号化方式に対してであれば同様の効果を発揮するが、本実施の形態では、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４方式（以下、Ｈ．２６４と略記する）にて圧縮符号化する例を説明する。
【００２０】
以上のように構成された本監視カメラシステムにおいて、例えば、入力手段１３１によりユーザが監視開始を指示すると、カメラ部１０１は撮像処理を行い、デジタル化された映像データを出力する。次に、この信号が映像処理部１０２に供給され、供給された映像データは、例えば、フィルタでの帯域制限や、ノイズ除去が行われる。処理された映像データは、映像符号化部１０３に提供される。
【００２１】
映像符号化部１０３には、映像符号化手段１０４と、動きベクトル検出手段１０５とが含まれており、詳細は後述するが、映像データがＨ．２６４方式に従って圧縮符号化される。映像符号化部１０３にて圧縮符号化された圧縮符号化データは、システム制御部１１０の映像ファイル記録手段１１１によりファイルとして記録媒体１２０に記録される。
【００２２】
さらに、映像符号化部１０３での演算結果及び検出結果は、システム制御部１１０の画像情報管理手段１１２により取得される。例えば、動きベクトル検出手段１０５にて検出される圧縮符号化時の動きベクトルの平均値や最大値、映像符号化手段１０４で演算される量子化パラメータ、動き補償処理のブロックサイズの分布、参照フレームへの最小フレーム長等の各フレームの画像統計情報が、各フレームの圧縮符号化データと同期した状態で管理される。映像変化解析手段１１３では、画像情報管理手段１１２から前記画像統計情報を取得し、これらの情報に基づいて異常検知処理を行い、フレーム毎に「異常あり」、「異常なし」の２つの異常検知情報が決定される。「異常あり」と判断された場合には、そのことがメタデータ記録手段１１４に通知される。メタデータ記録手段１１４は、「異常あり」との異常検知情報を、映像が記録されるファイル及び「異常あり」と判断されたフレーム番号と関連づけてメタデータとして別ファイルに記録する。映像変化解析手段１１３での異常検知方法や、メタデータ記録手段１１４における異常検知情報をメタデータとして記録する方法の詳細は後述する。
【００２３】
入力手段１３１によりユーザが監視終了を指示すると、監視カメラシステムは記録動作を終了する。
【００２４】
以上のような１連続の記録でできたファイル群をクリップと呼ぶことにする。クリップには、少なくとも映像を圧縮符号化したデータファイルを含み、例えば、音声ファイルや、撮影場所や時間を示すメタデータを記録するファイルを含んでもよい。また、記録媒体の容量や、ファイルシステム上の管理制限等で、映像ファイルを分割する必要があるときは、監視開始から監視終了までの映像データを２つまたはそれ以上のクリップに分割して記録媒体に記録する。なお、本実施の形態では、監視用途のシステムであるため、記録されたクリップの順番は、例えば、記録時間等で容易に判断できる。したがって、本実施の形態では、特にクリップの連続性を規定する記述を記録媒体に記録しないが、前記記述を記録媒体に記録してもよい。
【００２５】
記録媒体１２０にファイルとして記録された圧縮符号化データの再生時には、メタデータ再生手段１１７により、記録媒体１２０からメタデータのファイルが読み出され、さらにメタデータ中の異常検知情報が読み出される。そして入力手段１３１によるユーザからの再生指示により、映像ファイル再生手段１１６が、「異常あり」と判断されたフレームの圧縮符号化データを読み出し、映像復号化部１０６に提供する。映像復号化部１０６は、Ｈ．２６４規格に準拠した復号化処理を行い、復号化した映像データを映像出力部１０７に提供し、映像出力部１０７にて映像の表示が行われる。このメタデータ再生手段１１７の処理の詳細は後述する。
【００２６】
次に、映像符号化部１０３の動作について詳細に説明する。映像符号化部１０３の詳細なブロック図を図２に示す。図２は、規格で定められた一般的なＨ．２６４方式で符号化する際の構成であり、図１の動きベクトル検出手段１０５は、動きベクトル検出部２０８に相当し、映像符号化手段１０４は、ＤＣＴ／量子化部２０１〜フレーム間予測処理部２０７の各ブロックに相当する。
【００２７】
まず、入力手段１３１の記録指示により符号化を開始すると、入力された映像データはＤＣＴ／量子化部２０１に提供され、離散コサイン変換（ＤＣＴ）及び量子化処理が行われた後、エントロピー符号化部２０２にて可変長符号化や算術符号化が行われてビットストリームとして圧縮符号化データが出力される。同時に、逆量子化／ＩＤＣＴ部２０３は、ＤＣＴ／量子化部２０１から提供された変換データに対して、逆量子化処理及び逆ＤＣＴ（ＩＤＣＴ）処理を行い、フィルタ部２０４に逆変換された映像データを提供する。この映像データはフィルタ部２０４にて、デブロッキングフィルタ処理が行われた後でフレームメモリ２０５に格納され、フレーム内予測処理及びフレーム間予測処理にて利用される。フレーム内予測処理部２０６では、Ｈ．２６４の特徴の一つでもあるフレーム内での予測を行う。予測結果は、ＤＣＴ／量子化部２０１にて、次フレームの入力画像のＤＣＴ／量子化の際に用いられる。
【００２８】
一方、入力された映像データは動きベクトル検出部２０８にも入力され、フレームメモリ２０５に格納されている参照フレームから水平方向と垂直方向の動きベクトルを検出し、フレーム間予測処理部２０７にて、可変ＭＣ（Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｉｏｎ）によるブロックの分割処理、動き補償処理及び動きベクトルの符号化が行われる。フレーム内予測処理部２０６及びフレーム間予測処理部２０７での予測結果は、フレーム内／フレーム間予測切替部２１０にて、フレーム毎にいずれかを選択した後、ＤＣＴ／量子化部２０１に提供される。
【００２９】
さらに、動きベクトル検出部２０８では、まず、符号化を行う１フレームの映像データを所定の大きさの矩形領域（例えば、１６×１６画素、８×８画素など）にブロック分割し、フレームメモリ２０５内に格納されている参照フレームから各ブロックの予測値として適切なブロックを探索する。一般的には、参照フレーム内のあらかじめ設定された探索範囲内で、ブロックの位置を少しずつ動かして、当該位置のブロックが予測値として適切か否かを判定する。適切であることの判定基準には、ブロック内の各画素値の差分２乗和、差分絶対値和などが用いられる。このようにして、符号化を行う１フレームの映像データの各ブロックに対し、参照画面内で当該ブロックの予測値として探索されたブロックの位置のずれを動きベクトルとして検出する。したがって、検出された動きベクトルを用いて映像の動きの特徴の概略を把握することができる。
【００３０】
次に、映像変化解析手段１１３における異常検知方法について具体的に説明する。まず、画像情報管理手段１１２によって映像符号化部１０３の各フレームにおける圧縮符号化する際の統計情報が取得される。本発明で利用する統計情報としては、映像符号化部１０３で演算または検出された動きベクトル、各マクロブロック（ＭＢ）の量子化係数（Ｑｓｔｅｐ）に相当するマトリックス、各ＭＢの参照フレーム番号が挙げられる。以上の情報はＨ．２６４方式で符号化するために必要な情報であり、圧縮符号化データの中に埋め込まれる（さらなる詳細はＨ．２６４規格を参照。）。
【００３１】
さらに、画像情報管理手段１１２は、例えば、ＩＤＲピクチャやＩピクチャと呼ばれるフレーム内予測符号化のみを用いたフレームの周期（ＭＰＥＧ２符号化方式では、Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ：ＧＯＰ周期）分の各フレームの前述した統計情報を管理する。
【００３２】
また、動きベクトルに関しては、各フレームの動きベクトルの平均値（ＡＶＥ＿ＭＥ）、最大値（ＭＡＸ＿ＭＥ）を保持する。量子化係数に関しては、各フレームにおける量子化係数（Ｑｓｔｅｐ）毎の利用されたＭＢ数の分布を保持する。参照フレーム番号に関しては、現在符号化しているフレーム番号からの差分、すなわち、参照フレームと現在符号化しているフレームとの時間的距離を表すフレーム数（以下、参照フレームと符号化フレームの距離と呼ぶ）が保持される構成とする。
【００３３】
さらに映像変化解析手段１１３は、同時に、最新フレームの情報、すなわち、現在符号化されているフレームの記録開始からのＯｆｆｓｅｔ値を管理する。
【００３４】
映像変化解析手段１１３では、画像情報管理手段１１２によって取得された情報を用いて異常検知処理を行う。図３に異常検知処理の処理フローの一例を示す。
【００３５】
図３は、動きベクトルの大きさの最大値と、参照フレームと符号化フレームの距離と、量子化係数の分布変化から異常を検知する方式である。Ｓ００１において、画像情報管理手段１１２によって管理されている動きベクトルの大きさの最大値（ＭＡＸ＿ＭＥ）が、閾値ＴＨ＿ＭＥ以上であるかどうかを判断する。次にＳ００２において、参照フレームと符号化フレームの距離（ＬＥＮ＿ＲＦ）が、閾値ＴＨ＿ＲＦ未満であるかどうかを判断する。これは、Ｈ．２６４方式のＬｏｎｇ Ｔｅｒｍ参照ピクチャに対して効果的である。Ｌｏｎｇ Ｔｅｒｍ参照ピクチャとは、例えば、ＴＶ会議システムにおいて、会議室内の背景をＬｏｎｇ Ｔｅｒｍ参照メモリに保存して、Ｌｏｎｇ Ｔｅｒｍ参照ピクチャとして参照することにより符号化効率を改善する方法である。したがって、動きの少ない固定監視カメラシステムにおいて、Ｌｏｎｇ Ｔｅｒｍ参照ピクチャを用いることは有用であり、Ｌｏｎｇ Ｔｅｒｍ参照ピクチャを用いて符号化した場合、Ｌｏｎｇ Ｔｅｒｍ参照ピクチャ以外を参照することは、その映像において、動きが発生した場合（すなわち、監視用途としては異常状態）と考えられる。例えば、動きがまったく無い場合、理想的には撮影開始フレームをＬｏｎｇ Ｔｅｒｍ参照ピクチャとして保持しておけば、それ以降すべてのフレームの符号化データがＬｏｎｇ Ｔｅｒｍ参照ピクチャを参照することになる。したがって、撮影開始から１０００フレーム後の符号化データの参照フレームと符号化フレームの距離は１０００フレームとなる。しかし、動きがある場合には、参照フレームと符号化フレームの距離が１、２フレーム等の直近のフレームを参照することになる。すなわち、例えばＴＨ＿ＲＦ＝３等に設定しておけば、ＬＥＮ＿ＲＦ＜ＴＨ＿ＲＦとなり、動き（異常）を検知することができる。
【００３６】
前述した異常検知処理では、撮影開始フレームからの距離がＴＨ＿ＲＦ未満のフレームに対してＳ００２での判定が常にＹｅｓとなるため、正確に異常を検知することはできない。しかしながら、ＴＨ＿ＲＦが数〜十数フレームであれば、撮影開始フレームからの距離がＴＨ＿ＲＦ未満のフレームで異常を検知しない（無視する）ようにすれば、誤検知を防止しつつ通常の異常検知は十分可能なため、問題はない。
【００３７】
なお、Ｈ．２６４方式では、参照フレームはマクロブロック（ＭＢ）単位で変更することが可能なため、ＬＥＮ＿ＲＦとしては、現在符号化しているフレームと各ＭＢの参照フレームとの距離の最小値とする。また、Ｌｏｎｇ Ｔｅｒｍ参照ピクチャを用いない場合は、Ｓ００２のステップを省いてもよい。
【００３８】
Ｓ００３において、量子化係数の変化の判断を行う。Ｈ．２６４方式では、量子化係数（Ｑｓｔｅｐ）は、ＭＢ毎に変更することが可能であり、各量子化係数におけるＭＢの数の分布表を作成し、各量子化係数を持つＭＢ数の差分の絶対値の総和を量子化係数の変化量（ＭＶ＿ＱＳ）とする。ｎ個のＱｓｔｅｐ（Ｑ１〜Ｑｎ）にて量子化され、現在符号化しているフレームの量子化係数をＱｎとするＭＢの数をＭＶ＿Ｑｎ＿Ｆ１、映像符号化部１０３への入力順で前のフレームの量子化係数をＱｎとするＭＢの数をＭＶ＿Ｑｎ＿Ｆ２とすると、量子化係数の変化量（ＭＶ＿ＱＳ）は次式で表される。
【００３９】
ＭＶ＿ＱＳ＝｜ＭＶ＿Ｑ１＿Ｆ２−ＭＶ＿Ｑ１＿Ｆ１｜
＋｜ＭＶ＿Ｑ２＿Ｆ２−ＭＶ＿Ｑ２＿Ｆ１｜
＋・・・
＋｜ＭＶ＿Ｑｎ＿Ｆ２−ＭＶ＿Ｑｎ＿Ｆ１｜
このＭＶ＿ＱＳが、閾値ＴＨ＿ＱＳ以上であるかどうかを判断する。これは、量子化係数は、毎フレームの変化がなければ一定の値、或いは一定の分布をしているのが通常であり、前フレームに比べて、値や分布に変化があるということは、現在符号化処理中のフレームの画像に大きく変化が発生したことを意味する。
【００４０】
以上のＳ００１、Ｓ００２、Ｓ００３のすべての判断に当てはまる場合に、「異常あり」と判断し、その他の場合は、「異常なし」と判断する。「異常あり」と検出された場合には、Ｓ００４にて、画像情報管理手段１１２によって管理されているクリップの記録開始時から現在符号化しているフレームまでのＯｆｆｓｅｔを取得し、Ｓ００５にて、前記Ｏｆｆｓｅｔと異常の種別とを含む異常検出情報をメタデータ記録手段１１４に通知する。
【００４１】
なお、本実施の形態では、ＴＨ＿ＭＥ＝１０、ＴＨ＿ＲＦ＝３、ＴＨ＿ＱＳ＝２００とする。これは、毎秒３０フレームで撮影し、映像サイズが７２０×４８０である一般的な映像に対して、遠影撮影かつ動きが少ない監視カメラ用途を想定して、映像の１フレーム間の空間移動距離が０．１％程度（ＴＨ＿ＭＥ、ＴＨ＿ＱＳの設定値に影響）、動きの継続する時間が１／１０秒（ＴＨ＿ＲＦの設定値に影響）以上であれば「異常あり」と判断されるように意図したパラメータの組み合わせを意味している。
【００４２】
また、これらのパラメータは監視カメラの設置場所や、目的、１秒あたりの撮影フレーム数にしたがって最適な閾値を選択すればよい。例えば、入出監視用の室内の固定監視カメラシステムの場合、風等の外部要因による動きはないと考えられ、動きベクトルは、単純に人や物体の移動のみが検知される。したがって、ＴＨ＿ＭＥ、ＴＨ＿ＱＳの値は小さくして感度を上げてもよい。また、１秒あたりの撮影フレーム数が少ない場合は、フレーム間の差分が大きくなるため、ＴＨ＿ＭＥ、ＴＨ＿ＱＳの値を大きく設定すればよい。
【００４３】
また、入力手段１３１にて、ＴＨ＿ＭＥ、ＴＨ＿ＱＳの値を選択可能な構成とすれば、様々な用途に適用できるシステムが実現できる。例えば、通常屋外で記録するモードでは、ＴＨ＿ＭＥ＝１０、ＴＨ＿ＱＳ＝２００とし、屋内で記録するモードでは、ＴＨ＿ＭＥ＝５、ＴＨ＿ＱＳ＝１００とし、これらのモードをユーザが選択できる構成とする。
【００４４】
異常検知処理の別の一例の処理フローを図４に示す。図４において、Ｓ１０１では、表示順番で直前のフレームの動きベクトルの大きさの平均値（ＡＶＥ＿ＭＥ１）と、現在符号化しているフレームの動きベクトルの大きさの平均値（ＡＶＥ＿ＭＥ２）との差分を用いて異常を検出する。すなわち、下記の式で表されるＡＶＥ＿ＭＥ＿ＤＩＦＦが、閾値ＴＨ＿ＭＥ２以上であるかどうかにより異常の判断を行う。
【００４５】
ＡＶＥ＿ＭＥ＿ＤＩＦＦ＝｜ＡＶＥ＿ＭＥ１−ＡＶＥ＿ＭＥ２｜
Ｓ１０２では、図３のＳ００３と同様に、量子化係数の変化量（ＭＶ＿ＱＳ）が、閾値ＴＨ＿ＱＳ２以上であるかどうかにより判断される。以上のＳ１０１、Ｓ１０２のすべての判断に当てはまる場合に、「異常あり」と判断し、その他の場合は、「異常なし」と判断する。「異常あり」と検知された場合には、Ｓ１０３にて、画像情報管理手段１１２によって管理されているクリップの記録開始時から現在符号化しているフレームまでのＯｆｆｓｅｔを取得し、Ｓ１０４にて、前記Ｏｆｆｓｅｔと異常の種別とを含む異常検知情報をメタデータ記録手段１１４に通知する。
【００４６】
以上、異常検知方法について２つの例を提示したが、異常検知の判断は、用途に合わせて組み合わせを変更してもよい。
【００４７】
次に、メタデータ記録手段１１４において、メタデータとして異常検知情報を記録する方法について説明する。図５にクリップに対して付与されるメタデータである、クリップメタデータの内容を示す。Ｃｌｉｐ ＩＤは、クリップ毎に機器が自動的に付与する固有のＩＤであり、Ｖｉｄｅｏ Ｆｉｌｅ Ｎａｍｅは、映像を圧縮符号化したデータを記録するファイルのファイル名であり、Ｆｒａｍｅ Ｒａｔｅは、撮影した映像の１秒あたりのフレーム数であり、Ｄｕｒａｔｉｏｎは、記録したクリップの長さをフレーム数で表す。ＮｕｍＷａｒｎｉｎｇは、クリップ内で映像変化解析手段１１３にて検知された異常検知結果の検知数であり、以下で説明するＷａｒｎｉｎｇＩｎｆｏの数を表す。ＷａｒｎｉｎｇＩｎｆｏは、図５（ｂ）で定義される異常検知情報であり、Ｏｆｆｓｅｔは、異常を検出した際のクリップの先頭からのフレーム数で、ＷａｒｎｉｎｇＴｙｐｅは、異常検出の種別（例えば、ＷＡＲＮＩＮＧ：「異常あり」、ＩＮＦＯＭＡＴＩＯＮ：参考情報等）の情報を表す。ＷａｒｎｉｎｇＩｎｆｏは、ＮｕｍＷａｒｎｉｎｇの値の数だけ記録される。
【００４８】
本実施の形態では、検索時の利便性向上のため、クリップメタデータは、映像を圧縮符号化したデータとは別のファイルとして、テキストファイル形式で記録されることとする。
【００４９】
図６に記録開始から終了までのクリップメタデータファイルの内容変化の一例を示す。図６（ａ）はクリップの記録開始直後のクリップメタデータファイルの内容例を示す。この例では、Ｃｌｉｐ ＩＤがＣ０００１、Ｖｉｄｅｏ Ｆｉｌｅ ＮａｍｅがＣ０００１．ｍｘｆ、Ｆｒａｍｅ Ｒａｔｅが毎秒３０フレームである。Ｃｌｉｐ ＩＤ、Ｖｉｄｅｏ Ｆｉｌｅ Ｎａｍｅは、クリップの記録開始前に決定される。例えば、Ｃｌｉｐ ＩＤは、先頭に“Ｃ“を付与した４桁のインクリメントカウンタ値とし、Ｖｉｄｅｏ Ｆｉｌｅ Ｎａｍｅは、Ｃｌｉｐ ＩＤに拡張子を付与した形式とする。ここでは、映像ファイルをＳＭＰＴＥ−３７７Ｍに準拠したＭＸＦファイル形式として拡張子をｍｘｆとしているが、それ以外のファイル形式でも構わない。また、Ｄｕｒａｔｉｏｎは、記録開始直後では確定されないので０としておく。さらに、ＮｕｍＷａｒｎｉｎｇも「異常あり」の検知がされるまでは０としておき、クリップの記録終了後にＮｕｍＷａｒｎｉｎｇが０である場合は、そのクリップ内に異常は検知されなかったことを表す。
【００５０】
次に、図６（ｂ）は、そのクリップを記録中に初めて異常を検知した後のクリップメタデータファイルの内容を示している。図６（ａ）に対して、ＮｕｍＷａｒｎｉｎｇを１とし、対応するＷａｒｎｉｎｇＩｎｆｏ（Ｏｆｆｓｅｔ：１２３４、ＷａｒｎｉｎｇＴｙｐｅ：ＷＡＲＮＩＮＧ）を追加する。また、Ｄｕｒａｔｉｏｎの項目を、その時点のクリップ長（１２３４）に変更する。図６（ｃ）は、クリップ記録終了後のクリップメタデータファイルの内容を示す。この例では、３つの異常が検知されていることを表す。
【００５１】
次に、記録後に異常を確認するために再生するときのメタデータ再生手段１１７の処理の詳細を説明する。記録後に異常検知情報を確認する場合は、前述した異常検知情報を示すメタデータを用いて容易に異常検索が可能になる。各クリップのクリップメタデータファイルを検索することで、異常の有無や数が分かり、そのＯｆｆｓｅｔを容易に取得できる。したがって、メタデータ再生手段１１７にて、図７のように異常の種別（ＷａｒｎｉｎｇＴｙｐｅ）、クリップＩＤ(Ｃｌｉｐ ＩＤ）、異常発生位置（Ｏｆｆｓｅｔ）を含んだ異常検知リストを作成し、表示制御手段１１５によって表示制御を行って、表示装置１３２にて異常検知リストの表示を行う。その表示された異常検知リストに対して、例えば、入力手段１３１によりユーザが所望の異常検知位置の番号（ＮＯ．）を選択すると、映像ファイル再生手段１１６が、対象となる映像ファイルの該当Ｏｆｆｓｅｔから記録媒体に記録された圧縮符号化データの読み出しを行う。この読み出された圧縮符号化データは、映像復号化部１０６に提供され、復号処理が施されて、映像データとして映像出力部１０７に供給される。供給された映像データは、映像出力部１０７にて表示される。このようにして、異常が検知されたときの映像を容易に検索して再生することができる。
【００５２】
なお、表示する異常検知リスト（図７）は、Ｏｆｆｓｅｔにてフレーム位置の特定を提示した例を示しているが、例えば、異常検知時の時刻や、サムネイル画を表示してもよい。異常時の時刻は、クリップの記録開始時刻とＯｆｆｓｅｔとから計算可能であり、サムネイル画は、異常検知時に符号化前の映像データから作成する方法、或いは、記録後に直近のＩピクチャと呼ばれるフレーム内予測符号化のみを用いて符号化したフレームのＤＣ成分を取得して作成する方法等がある。
【００５３】
さらに、記録時には異常検知を行わずに、記録された圧縮符号化データを探索して異常検知を行う方法を説明する。記録媒体に記録された圧縮符号化データ内には、復号化の際に必要なため、動きベクトル、量子化係数、及び、参照フレーム番号等の情報が符号化された状態で埋め込まれている。この情報を復号時に抽出して同様の処理を施せば、記録後に異常を検知することが可能である。また、動きベクトル及び量子化係数は、符号化時と同一の符号化方式（例えば、Ｈ．２６４方式）に対応した復号装置であれば、復号時に必ず抽出しなければならないため、特別な装置が必要なく、復号時に抽出される情報を用いれば、図１と同じ構成で実現できる。すなわち、映像ファイル再生手段１１６により映像復号化部１０６に圧縮符号化データを供給し、映像復号化部１０６で抽出される動きベクトル、量子化係数等の情報を画像情報管理手段１１２にて取得、管理を行えば、その他のブロックは前述した本実施の形態の方法で実現可能である。
【００５４】
以上のように、本実施の形態の監視カメラシステムによれば、圧縮符号化処理とは別の処理手段を追加することなく、圧縮符号化時に用いる情報のみで、より安定した異常検知を行うことが可能であり、例えば、携帯型監視カメラシステムのような、低価格、省電力の監視カメラシステムを実現することができる。
【００５５】
なお、本実施の形態では、メタデータは別ファイルとして記録する方法を説明したが、映像記録ファイルのヘッダ部分に埋め込んで記録しても同様の効果を発揮する。また、メタデータを記録する際に、テキスト形式にて記録する方法を説明したが、例えば、ＸＭＬ（ｅＸｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）形式等のマークアップ言語等で記述する場合や、異常検知情報（ＷａｒｎｉｎｇＩｎｆｏ）をリスト構造としても同様の効果を発揮する。
【産業上の利用可能性】
【００５６】
本発明にかかる映像処理装置は、動きの少ない映像から異常を検知し、確認時の検索性を向上させるもので、夜間監視カメラシステム、出入り口の監視カメラシステム、又は、映像編集装置等にも広く適用可能である。
【図面の簡単な説明】
【００５７】
【図１】監視カメラシステムの構成を示す図
【図２】映像符号化部の構成を示す図
【図３】異常検知方法の第１の処理フロー例を示す図
【図４】異常検知方法の第２の処理フロー例を示す図
【図５】クリップメタデータファイルの内容を示す図
【図６】クリップメタデータファイルの各ステップにおける内容例を示す図
【図７】異常検知の表示例を示す図
【符号の説明】
【００５８】
１０１ カメラ部
１０２ 映像処理部
１０３ 映像符号化部
１０４ 映像符号化手段
１０５ 動きベクトル検出手段
１０６ 映像復号化部
１０７ 映像出力部
１１０ システム制御部
１１１ 映像ファイル記録手段
１１２ 画像情報管理手段
１１３ 映像変化解析手段
１１４ メタデータ記録手段
１１５ 表示制御手段
１１６ 映像ファイル再生手段
１１７ メタデータ再生手段
１２０ 記録媒体
１３０ Ｉ／Ｏバス
１３１ 入力手段
１３２ 表示装置
２０１ ＤＣＴ／量子化部
２０２ エントロピー符号化部
２０３ 逆量子化／ＩＤＣＴ部
２０４ フィルタ部
２０５ フレームメモリ
２０６ フレーム内予測処理部
２０７ フレーム間予測処理部
２０８ 動きベクトル検出部
２１０ フレーム内／フレーム間予測切替部
【特許請求の範囲】
【請求項１】
入力される映像に対してフレーム間の相関情報を利用して圧縮符号化を行うと共に前記映像の変化を映像変化点として検知する映像処理装置であって、
前記映像のフレーム間の動きベクトルを検出する動きベクトル検出手段と、
量子化処理を含み、前記動きベクトルに基づいて前記映像をフレーム間の相関情報を利用して圧縮符号化する映像符号化手段と、
前記映像符号化手段で圧縮符号化する際の、少なくとも前記量子化処理における量子化係数に関する情報を含むパラメータを管理する画像情報管理手段と、
前記動きベクトルと前記画像情報管理手段で管理される前記パラメータとに基づいて前記映像変化点を検知する映像変化解析手段とを備えた映像処理装置。
【請求項２】
前記映像変化解析手段は、符号化対象フレームにおける前記動きベクトルの大きさの最大値及び符号化対象フレームにおける動きベクトルの大きさの平均値の、符号化対象フレームの直前のフレームにおける動きベクトルの大きさの平均値に対する変化量のうちいずれか一方と、符号化対象フレームにおける前記量子化係数の符号化対象フレームの直前のフレームにおける前記量子化係数に対する変化量とを、各々の事前に設定された閾値と比較し、比較結果に基づいて映像変化点を検知する請求項１記載の映像処理装置。
【請求項３】
前記映像変化解析手段はさらに、符号化対象フレームから、符号化対象フレームが符号化時に参照するフレームまでの時間的距離情報に基づいて映像変化点を検知する請求項２記載の映像処理装置。
【請求項４】
さらに、圧縮符号化されたデータをファイルとして記録媒体に記録する映像ファイル記録手段と、
前記映像に関する情報であるメタデータを前記ファイルに付加して前記記録媒体に記録するメタデータ記録手段とを備え、
前記メタデータ記録手段は、少なくとも前記映像変化点の時刻をメタデータとして記録媒体に記録する請求項１乃至３のいずれか１項に記載の映像処理装置。
【請求項５】
前記メタデータ記録手段は、前記映像変化点におけるフレームのサムネイル画を作成し、メタデータとして記録する請求項４記載の映像記録装置。
【請求項６】
映像がフレーム間の相関情報を利用して圧縮符号化された圧縮符号化データの復号化を行うと共に映像の変化を映像変化点として検知する映像処理装置であって、
前記圧縮符号化データの復号時に前記圧縮符号化データから動きベクトル及び量子化係数に関する情報を抽出する映像復号化手段と、
前記映像復号化手段が前記圧縮符号化データから抽出した前記動きベクトル及び前記量子化係数に基づいて前記映像変化点を検知する映像変化解析手段とを備えた映像処理装置。
【請求項７】
前記映像復号化手段は、前記圧縮符号化データの復号時にさらに符号化対象フレームから符号化対象フレームが符号化時に参照するフレームまでの時間的距離情報を抽出し、
前記映像変化解析手段は、さらに前記時間的距離情報に基づいて前記映像変化点を検知する請求項６記載の映像処理装置。
【請求項８】
カメラ部から入力される映像に対してフレーム間の相関情報を利用して圧縮符号化を行うと共に前記映像の変化を映像変化点として検知する監視カメラシステムであって、
前記映像のフレーム間の動きベクトルを検出する動きベクトル検出手段と、
前記動きベクトルに基づいて前記映像をフレーム間の相関情報を利用して圧縮符号化する映像符号化手段と、
前記映像符号化手段で圧縮符号化する際の、少なくとも量子化係数に関する情報を含むパラメータを管理する画像情報管理手段と、
前記動きベクトルと前記画像情報管理手段で管理される前記パラメータとに基づいて前記映像変化点を検知する映像変化解析手段とを備えた監視カメラシステム。
【請求項１】
入力される映像に対してフレーム間の相関情報を利用して圧縮符号化を行うと共に前記映像の変化を映像変化点として検知する映像処理装置であって、
前記映像のフレーム間の動きベクトルを検出する動きベクトル検出手段と、
量子化処理を含み、前記動きベクトルに基づいて前記映像をフレーム間の相関情報を利用して圧縮符号化する映像符号化手段と、
前記映像符号化手段で圧縮符号化する際の、少なくとも前記量子化処理における量子化係数に関する情報を含むパラメータを管理する画像情報管理手段と、
前記動きベクトルと前記画像情報管理手段で管理される前記パラメータとに基づいて前記映像変化点を検知する映像変化解析手段とを備えた映像処理装置。
【請求項２】
前記映像変化解析手段は、符号化対象フレームにおける前記動きベクトルの大きさの最大値及び符号化対象フレームにおける動きベクトルの大きさの平均値の、符号化対象フレームの直前のフレームにおける動きベクトルの大きさの平均値に対する変化量のうちいずれか一方と、符号化対象フレームにおける前記量子化係数の符号化対象フレームの直前のフレームにおける前記量子化係数に対する変化量とを、各々の事前に設定された閾値と比較し、比較結果に基づいて映像変化点を検知する請求項１記載の映像処理装置。
【請求項３】
前記映像変化解析手段はさらに、符号化対象フレームから、符号化対象フレームが符号化時に参照するフレームまでの時間的距離情報に基づいて映像変化点を検知する請求項２記載の映像処理装置。
【請求項４】
さらに、圧縮符号化されたデータをファイルとして記録媒体に記録する映像ファイル記録手段と、
前記映像に関する情報であるメタデータを前記ファイルに付加して前記記録媒体に記録するメタデータ記録手段とを備え、
前記メタデータ記録手段は、少なくとも前記映像変化点の時刻をメタデータとして記録媒体に記録する請求項１乃至３のいずれか１項に記載の映像処理装置。
【請求項５】
前記メタデータ記録手段は、前記映像変化点におけるフレームのサムネイル画を作成し、メタデータとして記録する請求項４記載の映像記録装置。
【請求項６】
映像がフレーム間の相関情報を利用して圧縮符号化された圧縮符号化データの復号化を行うと共に映像の変化を映像変化点として検知する映像処理装置であって、
前記圧縮符号化データの復号時に前記圧縮符号化データから動きベクトル及び量子化係数に関する情報を抽出する映像復号化手段と、
前記映像復号化手段が前記圧縮符号化データから抽出した前記動きベクトル及び前記量子化係数に基づいて前記映像変化点を検知する映像変化解析手段とを備えた映像処理装置。
【請求項７】
前記映像復号化手段は、前記圧縮符号化データの復号時にさらに符号化対象フレームから符号化対象フレームが符号化時に参照するフレームまでの時間的距離情報を抽出し、
前記映像変化解析手段は、さらに前記時間的距離情報に基づいて前記映像変化点を検知する請求項６記載の映像処理装置。
【請求項８】
カメラ部から入力される映像に対してフレーム間の相関情報を利用して圧縮符号化を行うと共に前記映像の変化を映像変化点として検知する監視カメラシステムであって、
前記映像のフレーム間の動きベクトルを検出する動きベクトル検出手段と、
前記動きベクトルに基づいて前記映像をフレーム間の相関情報を利用して圧縮符号化する映像符号化手段と、
前記映像符号化手段で圧縮符号化する際の、少なくとも量子化係数に関する情報を含むパラメータを管理する画像情報管理手段と、
前記動きベクトルと前記画像情報管理手段で管理される前記パラメータとに基づいて前記映像変化点を検知する映像変化解析手段とを備えた監視カメラシステム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２００７−１８０９７０（Ｐ２００７−１８０９７０Ａ）
【公開日】平成１９年７月１２日（２００７．７．１２）
【国際特許分類】
【出願番号】特願２００５−３７７９２９（Ｐ２００５−３７７９２９）
【出願日】平成１７年１２月２８日（２００５．１２．２８）
【出願人】（０００００５８２１）松下電器産業株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成１９年７月１２日（２００７．７．１２）
【国際特許分類】
【出願日】平成１７年１２月２８日（２００５．１２．２８）
【出願人】（０００００５８２１）松下電器産業株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]