映像処理方法
【課題】撮像装置（ネットワークカメラ２０２）により撮像された映像を映像処理装置（録画装置２０１及び監視端末２０３）により処理する映像処理方法において、例えば、事象の発生の有無が明確でなく、全ての録画映像を閲覧する必要があるような場合においても、閲覧者にとって閲覧の負担を少なくする。
【解決手段】映像処理装置は、撮像装置により撮像された複数の所定単位（例えば、映像区間）の映像のそれぞれについて基準となる定常状態の映像との変位量を示す情報を取得し、当該取得した変位量を示す情報に基づいて前記複数の所定単位の映像を変位量が大きい方から小さい方への順序を用いて表示する。
【解決手段】映像処理装置は、撮像装置により撮像された複数の所定単位（例えば、映像区間）の映像のそれぞれについて基準となる定常状態の映像との変位量を示す情報を取得し、当該取得した変位量を示す情報に基づいて前記複数の所定単位の映像を変位量が大きい方から小さい方への順序を用いて表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像処理方法に関し、特に、例えば、事象の発生の有無が明確でなく、全ての録画映像を閲覧する必要があるような場合においても、閲覧者にとって閲覧の負担を少なくすることができる映像処理方法に関する。
【背景技術】
【０００２】
従来から、ホテルやビル、コンビニエンスストアや金融機関、或いはダムや道路といった公共施設には、犯罪抑止や事故防止等の目的で、映像監視システムが設置されている。このような映像監視システムでは、監視対象をカメラ等の撮像装置で撮影し、その映像を管理事務所や警備室等の監視センタに伝送し、常駐する監視者がその映像を監視して、目的や必要に応じて、注意をすることや、或いは映像を録画や保存することが行われる。
こうした映像監視システムでは、映像の記録媒体として、従来のビデオテープ媒体を用いる代わりに、近年ではハードディスクドライブ（ＨＤＤ）に代表されるランダムアクセス媒体が用いられる事例が増えている。
【０００３】
図１６には、記録媒体にＨＤＤを用いた録画装置を含んだ映像監視システムの構成例を示してある。
本例の映像監視システムは、一般的にデジタルビデオレコーダと呼ばれる装置である録画装置３０１と、カメラ３０２と、表示部３２１を備えたモニタ３０３を有している。
録画装置３０１は、デジタル変換部３１１と、アナログ変換部３１２と、圧縮部３１３と、伸張部３１４と、記録部３１５と、操作部３１６と、制御部３１７から構成される。
【０００４】
カメラ３０２は、撮像映像を電気信号としてアナログ出力する。
モニタ３０３は、入力アナログ映像を表示部３２１に表示する。
録画装置３０１では、カメラ３０２から入力されたアナログ映像をデジタル変換部３１１によりデジタル変換し、圧縮部３１３によりデータ圧縮処理を施して、記録部３１５によりＨＤＤに記録を行う。また、操作部３１６によりユーザ操作を検知し、これに応じて、記録部３１５により対象となる映像をＨＤＤから読み出して、伸張部３１４によりデータ伸張処理を施した上で、アナログ変換部３１２によりアナログ変換して、モニタ３０３へ出力する。これらの処理は制御部３１７により制御される。
ここで、制御部３１７にはＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）も含まれる。また、操作部３１６としては、マウスやキーボードのような汎用のコンピュータ操作デバイスを用いる場合や、ボタン群を配置した専用の操作盤を用いる場合等がある。
【０００５】
図１７には、記録媒体にＨＤＤを用いた録画装置を含んだ映像監視システムの他の構成例を示してある。
本例の映像監視システムは、一般的にネットワークデジタルレコーダと呼ばれる装置である録画装置３３１と、ネットワークカメラ３３２と、監視端末３３３を有している。
録画装置３３１は、ネットワーク部３４１と、記録部３４２と、制御部３４３から構成される。
監視端末３３３は、ネットワーク部３５１と、伸張部３５２と、表示部３５３と、操作部３５４と、制御部３５５から構成される。
【０００６】
ネットワークカメラ３３２は、撮像映像をデジタル変換してデータ圧縮処理を施して、ＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）ネットワークを介してデジタル出力する。
録画装置３３１では、ネットワークカメラ３３２からネットワーク部３４１に入力されたデジタル映像を記録部３４２によりＨＤＤに記録する。また、ネットワーク部３４１により監視端末３３３からの要求を受け取り、これに応じて、記録部３４２により対象となる映像をＨＤＤから読み出して、ネットワーク部３４１を経由して出力する。これらの処理は制御部３４３により制御される。
ここで、制御部３４３にはＣＰＵも含まれる。
【０００７】
監視端末３３３では、ネットワーク部３５１により入力されたデジタル映像について伸張部３５２によりデータ伸張処理を行い、その結果を表示部３５３により端末画面上に表示する。また、操作部３５４によりユーザ操作を検知し、これに応じて、必要な要求をネットワーク部３５１を介して録画装置３３１へ送る。これらの処理は制御部３５５により制御される。
ここで、制御部３５５にはＣＰＵも含まれる。また、操作部３５４としては、マウスやキーボードのような汎用のコンピュータ操作デバイスが用いられる場合が多い。また、表示部３５３としては、ＣＲＴ（Ｃａｔｈｏｄｅ−Ｒａｙ Ｔｕｂｅ）やＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）のような汎用のコンピュータ表示デバイスが用いられることが多い。
【０００８】
図１８には、上記のような記録媒体にＨＤＤを用いた録画装置３３１を用いた場合における監視端末３３３の操作画面（監視端末３３３の表示部３５３に表示される内容）の一例を示してある。
ここで、本例では、図１７に示される録画装置３３１を用いた場合における画面例を示したが、図１６に示される録画装置３０１を用いた場合における画面とは、例えば、操作部や表示部に用いられるデバイスの種類の違いから表示様式や操作仕様に多少の差があるものの、ユーザに提供される機能としては同一であり本質的な差異は無いため、録画装置３３１を用いた場合を例として説明する。
【０００９】
映像表示部３６１は、映像を表示する領域である。
再生ボタン群３６２では、各ボタンにはそれぞれ固有の再生種類が割り当てられており、映像表示部３６１に表示されている映像に対して新たな再生命令を与えたい場合には、命令に合った再生種類のボタンを押下する。
カメラ切替ボタン群３６３では、各ボタンにはそれぞれ録画対象となっているカメラが割り当てられており、映像表示部３６１に表示されている録画映像を他のカメラの録画映像へ切り替えたい場合に押下する。この機能を一般的にカメラ検索と称する。
【００１０】
日時検索ボタン群３６４では、任意の時刻を指定（入力或いは選択）することが可能となっている。時刻指定を行い、検索ボタンを押下することにより、現在において選択中のカメラに対して指定時刻の映像を映像表示部３６１に表示する。この機能を一般的に日時検索と称する。
アラーム録画一覧表示部３６５には、現在において選択中のカメラに対して、アラーム録画の録画内容を録画イベント毎に一覧表示する。
【００１１】
ここで、アラーム録画とは、不定期、すなわち録画イベントが発生する度に録画を行う録画種類であり、常時や予め決まったスケジュールに従って定期的に録画を行う通常録画と対になるものである。録画イベントとしては、様々なものがあり、カメラや録画装置に備えている接点端子に対する外部センサからの信号入力や、画像認識処理結果に基づくトリガや、監視者による緊急録画ボタンの押下等が挙げられる。
アラーム録画の一覧の各行には、録画イベントの発生時刻（開始時刻、終了時刻）や、録画イベントの種類や、録画イベントの先頭画像の縮小画像等が表示される。これらの各行は選択できるようになっていて、選択された録画イベントの映像が映像表示部３６１に表示される。この機能を一般的にアラーム検索と称する。
【００１２】
また、図１８には図示しないが、アラーム検索に類似の機能として、一般的にマーキング検索と称される機能もある。アラーム録画では録画イベント毎に録画を実施するのに対して、マーキング録画では、録画自体は常時実施して、録画イベント発生時には録画映像に対するマーキングのみを実施する。マーキング検索は、このマーキングを一覧表示するものであり、画面や操作としては例えばアラーム録画一覧表示部３６５と同じとなる。
【００１３】
次に、映像の再生について説明する。
図１９には、映像フレームの再生の様子を示してある。
具体的には、横軸は時間軸３７２であり、左側が時間的に古く、右側が時間的に新しいことを表している。また、一連の映像を示してあり、その一連の映像の一部分として映像中の１フレーム３７１を表現してある。
従来の再生として、例えば、順方向の標準速再生では、時間軸３７２の左から右に向かって１フレームずつ順に一定時間間隔に表示していく処理となる。
【００１４】
次に、画像（映像）の類似度について説明する。
コンピュータの高速化とあいまって近年目覚しい進歩を遂げている技術の１つとして、画像認識技術がある。画像認識技術の中に、類似度算出という技術がある。
類似度とは、２つの画像の類似性を評価する指標であり、類似度が高いとは２つの画像が似ていることを意味する。類似度は、比較するそれぞれの画像の特徴量に基づいて算出される。使われる画像特徴量としては、例えば、空間方向での色分布や輝度勾配分布による特徴量などが挙げられるが、求める類似性の種類、例えば、色合い的な類似性、或いは構図的な類似性等の目的によって取捨選択される。
【００１５】
一例として、非特許文献１には、画像特徴量から非類似度（類似度の逆の指標）を算出する手法が記載されている。
具体的には、画像間の類似性を特徴量ベクトル間の２乗距離に基づいて定義し、Ｎｆ種類の画像特徴量が定義されている場合における２つの画像Ｘ、Ｙの非類似度Ｄ（Ｘ、Ｙ）を（式１）により求めている。ここで、ｘｉ、ｙｉは、それぞれ、Ｘ、Ｙの特徴量ベクトルであり、また、ｗｉは特徴量に対する重み付けである。特徴量としては、色分布に基づく特徴量や、輝度勾配分布に基づく特徴量等を用いることができる。
【００１６】
なお、ここでは、非類似度を示したが、例えば、所定の値から非類似度を減算した結果の値や、或いは、非類似度の逆数の値などを類似度として用いることが可能である。つまり、非類似度が大きいことは類似度が小さいことに相当し、非類似度が小さいことは類似度が大きいことに相当する。
【００１７】
【数１】
【００１８】
【特許文献１】特開平７−２５４０９１号公報
【非特許文献１】廣池、武者著、「大規模な画像集合のための表現モデル」、日本写真学会誌、２００３年６６巻１号、ｐ．９３−１０１
【発明の開示】
【発明が解決しようとする課題】
【００１９】
上述のようなＨＤＤを代表とするランダムアクセス媒体を用いた録画装置は、目的の映像への頭出しの際に、早送りや巻戻しといった動作完了待ちが必要なビデオテープ媒体とは異なり、瞬時に映像を出力することができる特徴を備えており、大変便利である。
しかしながら、このような利便性は、ある事象の発生場所や発生日時が判明していて、上述のカメラ検索や日時検索を使用してカメラや日時を指定することができるような場合に、発揮できるものである。これに対して、事象の発生の有無が明確でない場合や事象の発生の有無を知りたいような場合には、上述のような検索機能を利用することができず、基本的に録画映像を全て再生して閲覧するしかない。
【００２０】
このような問題に対して、上述のアラーム検索やマーキング検索は、一連の映像に対して、発生事象への区切りを一覧表示するため、大変有用な機能である。これらの区切りの情報源となるのは、外部センサからの入力や、入力画像に対する画像認識処理の処理結果である。しかしながら、これらの情報には、種々な制約条件、例えば画像認識処理においては風雨雪や逆光等の悪条件等があり、１００％の確度を持った情報ではないのが現状であり、確実性を必要とする場合においては、録画映像を全て再生して閲覧するしかないことに変わりがなかった。
【００２１】
ここで、全ての録画映像を再生して閲覧するにあたって、課題となるのが所要時間である。時間節約の方法の１つとして、早送り再生により閲覧する方法があるが、この方法では、注視すべき事象が存在する映像部分においても瞬時に過ぎ去ってしまうため、見逃さないためには閲覧者に多大な緊張感を長時間持続させることを強いることになる。また、逆に、注視事象を見逃す要因にもなる。
また、近年、ＨＤＤの大容量化が進み、録画映像の量（時間長）は飛躍的に増大していて、上述の傾向はますます強まる方向にある。
【００２２】
本発明は、このような従来の事情に鑑み為されたもので、例えば、事象の発生の有無が明確でなく、全ての録画映像を閲覧する必要があるような場合においても、閲覧者にとって閲覧の負担を少なくすることができる映像処理方法を提供することを目的とする。
【課題を解決するための手段】
【００２３】
上記目的を達成するため、本発明では、撮像装置により撮像された映像を映像処理装置により処理する映像処理方法において、次のような構成とした。
すなわち、前記映像処理装置は、前記撮像装置により撮像された複数の所定単位の映像のそれぞれについて基準となる定常状態の映像との変位量を示す情報を取得し、当該取得した変位量を示す情報に基づいて前記複数の所定単位の映像を変位量が大きい方から小さい方への順序を用いて表示する。
従って、定常状態からの変位量が大きいものを優先した順序で映像が表示されるため、例えば、事象の発生の有無が明確でなく、全ての録画映像を閲覧する必要があるような場合においても、閲覧者にとって閲覧の負担を少なくすることができる。
【００２４】
ここで、映像処理装置としては、種々な構成のものが用いられてもよく、例えば、１つの装置が用いられてもよく、或いは、複数の装置から構成されて、それぞれの装置により本発明に係る複数の処理が分担されて行われてもよい。
一例として、図５の例では、ネットワークカメラ２０２により撮像装置が構成されており、録画装置２０１と監視端末２０３により映像処理装置が構成されている。
【００２５】
また、基準となる定常状態の映像としては、種々なものが用いられてもよく、例えば、何も異常などが発生していない状態の映像が用いられ、また、時間帯などによって複数の定常状態の映像が切り替えられてもよい。
また、所定単位の映像としては、種々な単位が用いられてもよく、例えば、１フレームの単位が用いられてもよく、或いは、２つ以上のフレームのまとまりの単位が用いられてもよい。
【００２６】
また、変位量としては、変化（違い）を表す量が用いられ、例えば、非類似度と同様なものであり、類似度とは逆の指標である。このため、変位量を示す情報の代わりに、非類似度を示す情報或いは類似度を示す情報、或いは同様な性質を有する他の用語を使用した情報が用いられても、実質的には同じであり、本発明に含まれる。
また、変位量（或いは、非類似度）としては、どのようにして求められてもよく、例えば、映像（画像）についての１つ以上の特徴量がどれくらい違っているかを表す量を用いることができる。類似度については、例えば、映像（画像）についての１つ以上の特徴量がどれくらい似ているかを表す量を用いることができる。
また、変位量を示す情報としては、例えば、複数の映像フレームの変位量についての平均値の情報を用いることも可能である。
【００２７】
また、複数の所定単位の映像を変位量が大きい方から小さい方への順序を用いて表示する態様としては、種々な態様が用いられてもよく、例えば、複数の所定単位の映像の全てを表示する態様が用いられてもよく、或いは、変位量が大きい方のものを優先させて、複数の所定単位の映像のうちの一部のみを表示する態様が用いられてもよい。
また、複数の所定単位の映像自体を表示（再生）する態様ばかりでなく、例えば、複数の所定単位の映像のそれぞれを表すマーク等（例えば、所定の形状や、名称を表す文字等）を変位量が大きい方から小さい方への順序で並べて一覧表示するような態様が用いられてもよい。
【００２８】
本発明に係る映像処理方法では、一構成例として、次のような構成とした。
すなわち、前記所定単位の映像として、複数の映像フレームからなる映像区間の映像が用いられる。
従って、複数の映像フレームのまとまりである映像区間が映像の単位となるため、例えば、所定単位の映像としてフレーム単位の映像が用いられるような場合と比べて、閲覧者にとって閲覧をし易くすることができる。
【００２９】
本発明に係る映像処理方法では、一構成例として、次のような構成とした。
すなわち、前記映像処理装置は、前記定常状態の映像の特徴量を示す情報を取得し、前記撮像装置により撮像された映像フレームの特徴量を示す情報を取得し、前記映像フレームの特徴量を示す情報と前記定常状態の映像の特徴量を示す情報に基づいてこれらの変位量を示す情報を取得し、時系列順における映像フレームの前記変位量の変化に基づいて映像区間を区切って映像区間の長さを決定し、各映像区間に含まれる映像フレームの前記変位量の平均を示す情報を当該各映像区間の変位量を示す情報として取得し、当該取得した各映像区間の変位量を示す情報と当該各映像区間の映像とを対応付けて記録手段に記録する。
従って、時系列順における映像フレームの変位量の変化に基づいて映像区間が区切られるため、例えば、変位量が近い映像フレームのまとまり毎に映像区間を区切ることができ、また、各映像区間の変位量を示す情報と当該各映像区間の映像とが対応付けて記録されるため、変位量に基づく再生や検索の処理に役立てることができる。
【００３０】
ここで、定常状態の映像の特徴量を示す情報としては、例えば、複数の映像フレームについての平均値が用いられてもよい。
また、特徴量としては、例えば、１種類の特徴量が用いられてもよく、或いは、複数種類の特徴量を考慮したものが用いられてもよい。
【００３１】
また、時系列順における映像フレームの変位量の変化に基づいて映像区間を区切る態様としては、例えば、ある映像区間の先頭の区切り位置以降の映像フレームの変位量の平均値と今回の映像フレームの変位量との差分が所定の閾値以上である（又は、所定の閾値を超える）場合に、今回の映像フレームを次の映像区間に入れるように区切るような態様を用いることができる。他の例として、時系列順における前後の映像フレームの変位量の差分が所定の閾値以上である（又は、所定の閾値を超える）場合に、その２つの映像フレームの間で区切るような態様を用いることも可能である。
なお、各映像区間に含まれる映像フレームの変位量の平均を示す情報が映像区間の区切り処理で取得されて使用される場合には、それ以降の処理で、その情報を利用することが可能である。
【００３２】
また、各映像区間の変位量を示す情報と各映像区間の映像とを対応付けて記録する態様としては、例えば、各映像区間の先頭の映像フレームを識別する情報（先頭ＩＤ）と末尾の映像フレームを識別する情報（末尾ＩＤ）と当該各映像区間の変位量を示す情報を対応付けて記録するとともに、各映像フレームの映像データと当該各映像フレームを識別する情報（ＩＤ）とを対応付けて記録するような態様を用いることもできる。
【発明の効果】
【００３３】
以上説明したように、本発明に係る映像処理方法によると、定常状態からの変位量が大きいものを優先した順序で映像が表示されるため、例えば、事象の発生の有無が明確でなく、全ての録画映像を閲覧する必要があるような場合においても、閲覧者にとって閲覧の負担を少なくすることができる。
【発明を実施するための最良の形態】
【００３４】
本発明に係る実施例を図面を参照して説明する。
【実施例１】
【００３５】
まず、本例の再生の概要を示す。
図１には、映像の再生の様子の一例を示してある。
具体的には、横軸は定常映像との変位量軸２であり、左側が変位量大であり右側が変位量小であることを表している。また、一連の映像を示してあり、その一連の映像の一部分として映像中の１フレーム（映像フレーム１）を表現してある。
本例の再生では、図１において、変位量軸２の左から右に向かって１フレームずつ順に一定時間間隔に表示していく処理となる。
ここで、本例では、変位量とは、類似度の逆の指標であり、非類似度と言うこともできる。つまり、本例では、類似しないものから類似するものへの順に映像を再生する。
【００３６】
上記した図１では、従来例に係る図１９との差異を明確にして説明の簡易さを図るために、１フレームを単位として表現した。
しかしながら、並びの単位が１フレームであると、隣接フレーム間で全く図柄の異なる相関の無いフレームが再生される場合があり、結果として、監視者にとって意味のなさない映像となってしまう可能性がある。このため、映像の単位としては、実際には、時間的に連続した複数フレームから構成することが望ましい。
【００３７】
図２には、映像区間を単位とした映像の再生の様子の一例を示してある。
具体的には、横軸は変位量軸１２であり、また、時間的に連続した複数フレームを映像区間１１として直方体で表現している。
ここで、映像区間１１の時間長は、扱う映像の種類によって適正値が決められる性質のものであり、例えば、変位量が大きく変化する点を動的に検知してその変化点を基に決定される可変値であることが望ましいが、場合によっては予め設定した固定値でもよい。
つまり、各映像区間としては、例えば、閾値等を用いて変化があったときを検出して、２つの変化点の範囲内にある最初のフレームから最後のフレームまでの区間としてもよく、或いは、閾値等を用いて変化があったときに最初のフレームを決めて、そこから固定長の長さとしてもよい。
【００３８】
次に、図３及び図４を参照して、上述の変位量の求め方を説明する。
図３を参照して、映像の特徴量の求め方を説明する。
まず、定常映像を考える。定常映像としては、例えば、予め何も異常が無いときの映像をとっておいて、変位量を求めるための基準とする。
なお、定常映像としては、最初に１回とっておけばよく、或いは、昼と夕と夜などのように幾つかとっておいて、時間帯などに応じて切り替えてもよい。
【００３９】
図３において、横軸は時刻ｔを表している。また、定常映像に含まれる複数のフレーム２１〜２５を示してある。これら複数のフレーム２１〜２５の並びは、左から右への時系列を表している。
それぞれのフレーム２１〜２５に対する特徴量抽出処理３１〜３５により、それぞれのフレーム２１〜２５についての特徴量（ベクトル）４１〜４５が求められる。これら複数の特徴量４１〜４５について平均化処理５１を行うことにより、平均特徴量（定常映像特徴量ベクトル）５２が求められる。
なお、図３では、定常映像の時間長５３を表しており、また、繰り返し部分には「・・・」等の省略表記を用いている。
【００４０】
本例では、変位量の算出には、上述の類似度算出技術を使用する。非類似度を求める対象は、定常映像と入力フレームとの２者間である。
非類似度の算出には、それぞれの映像からの画像特徴量の抽出が必要である。
定常映像からの特徴量抽出処理３１〜３５は、定常映像に含まれる全てのフレーム、或いは、そこからサンプリングされた数フレームに対して実施する。抽出した各フレームの特徴量４１〜４５について平均化処理５１が実施されて、定常映像の特徴量（平均特徴量）５２が求められる。
【００４１】
また、定常映像の長さ５３としては、目的に応じた任意の長さでよい。例えば、屋内映像の場合には日照変化等が少なく映像のばらつきが小さいため比較的短い映像でもよく、屋外映像の場合にはより長期間の映像から構成する必要がある。また、逆に、屋外映像の場合には、時間帯毎に定常映像を切り替えながら非類似度（類似度）を求めていくようにしてもよく、その場合には定常映像の長さは比較的短くなる。
【００４２】
図４を参照して、非類似度（変位量）の求め方を説明する。
横軸は時刻ｔを表しており、また、映像監視の運用時における複数の入力フレーム６１〜６６を示してある。これら複数の入力フレーム６１〜６６の並びは、左から右への時系列を表している。
それぞれの入力フレーム６１〜６６に対する特徴量抽出処理７１〜７６により、それぞれのフレーム６１〜６６についての特徴量８１〜８６が求められる。
それぞれの入力フレーム６１〜６６についての特徴量８１〜８６に対する定常映像特徴量５２との非類似度算出処理９１〜９６により、それぞれの入力フレーム６１〜６６についての特徴量８１〜８６と定常映像特徴量５２との間での非類似度を算出し、各入力フレーム６１〜６６と定常映像との非類似度１０１〜１０６が求められる。
【００４３】
図４には、横軸を時間として、縦軸を非類似度として、求めた非類似度１０１〜１０６をグラフ化した曲線１１１を示してある。このグラフの曲線１１１において、例えば、非類似度が低い部分から高い部分へ変化する点が、上述の「変位量が大きく変化する点」に相当し、この変化点により決定される映像区間１１２が図２に示される映像区間１１となる。また、非類似度が高い部分から低い部分へ変化する点により決定される映像区間１１３についても同様である。
【００４４】
そして、グラフの曲線１１１に基づいて、映像区間１１２に含まれるフレームの非類似度を平均化処理１１４により平均化して求めた平均非類似度１１６、及び、映像区間１１３に含まれるフレームの非類似度を平均化処理１１５により平均化して求めた平均非類似度１１７が、それぞれ定常映像との非類似度（変位量）となる。
このようにして求めた平均非類似度が大きい、もしくは平均類似度が小さい映像区間から順に再生を行う方式が、図２に示される再生方式である。
【００４５】
ここで、本例では、複数の入力フレームを定常映像との非類似度又は類似度の変化が大きい所で区切ることで映像区間を生成するが、映像区間を区切る手法としては、種々な手法が用いられてもよい。
一例として、図４に示されるように、前回の区切り位置からの非類似度の履歴の平均値と今回のフレームの非類似度との差分が所定の閾値を超えた所で区切るような手法を用いることができる。
他の一例として、隣り合うフレームの非類似度の差分が所定の閾値を超えた所で区切るような手法を用いることができる。
【００４６】
図５には、本発明の一実施例に係る映像監視システムの構成例を示してある。
本例の映像監視システムは、特に本発明に係る特徴的な機能を備えた録画装置２０１と、ネットワークカメラ２０２と、監視端末２０３と、ネットワーク媒体２０４、２０５を有している。
ここで、ネットワークカメラ２０２と録画装置２０１とはネットワーク媒体２０４を介して接続されており、録画装置２０１と監視端末２０３とはネットワーク媒体２０５を介して接続されている。
【００４７】
録画装置２０１は、ネットワーク部２１１と、伸張部２１２と、映像記録部２１３と、特徴量抽出部２１４と、平均特徴量算出部２１５と、平均特徴量記録部２１６と、非類似度算出部２１７と、平均非類似度算出部２１８と、平均非類似度記録部２１９と、制御部２２０から構成される蓄積配信装置である。
監視端末２０３は、ネットワーク部２３１と、伸張部２３２と、表示部２３３と、操作部２３４と、制御部２３５から構成される端末装置であり、例えばＣＲＴや液晶モニタに接続されたパーソナルコンピュータ（ＰＣ）から構成される。
【００４８】
ネットワーク媒体２０４、２０５としては、例えば、ネットワークケーブルや、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）の回線や、公衆回線等が用いられ、発信されたデータを伝送する役割を持つ。また、ここには、ルータやスイッチやハブ等のネットワーク機器も含む。
本例では、ネットワークカメラ２０２と録画装置２０１と監視端末２０３がネットワーク媒体２０４、２０５を介して接続されており、接続された装置間で互いが通信できるようになっている。
【００４９】
ネットワークカメラ２０２は、例えば、映像を撮像（撮影）する撮像部と、撮像映像をデジタル化して場合によっては圧縮処理を施す圧縮部と、ネットワーク部から構成される撮像装置であり、撮像した監視映像をネットワーク伝送に適した形へ変換してネットワーク媒体２０４へ発信する機能を持つ。本例では、カメラ一体型の装置を例に挙げているが、他の構成例として、撮像部を装置の外部に分離したネットワークエンコーダタイプの装置が用いられてもよい。
【００５０】
録画装置２０１は、ネットワークカメラ２０２から発信されてネットワーク媒体２０４を伝送してきた映像を受信して接続された記録媒体に当該映像を記録する機能と、監視端末２０３からの映像配信要求に応じて記録媒体から要求に係る映像を取り出してネットワーク媒体２０５を介して監視端末２０３へ当該映像を配信する機能を持つ。装置内部の処理は制御部２２０により制御され、制御部２２０にはＣＰＵも含まれる。各記録部が記録を行う記録媒体としては、例えば、ＨＤＤ、光ディスクドライブ、半導体ディスクドライブに代表される高速でランダムアクセス可能な記録デバイスを用いる。
【００５１】
監視端末２０３は、ネットワークカメラ２０２により撮像されたライブ映像や録画装置２０１の記録映像を受信してその映像を表示部２３３に表示可能な形へ変換して出力する機能を持つ。例えば、モニタがアナログモニタである場合には、アナログ変換を行う。また、受信した映像が圧縮映像である場合には、伸張部２３２を使用して伸張処理を施す。装置内部の処理は制御部２３５により制御され、制御部２３５にはＣＰＵも含まれる。操作部２３４としては、本例では、マウスやキーボードのような汎用のコンピュータ操作デバイスを用いるが、場合によってはボタン群を配置した専用の操作盤を用いることもできる。表示部２３３としては、本例では、ＣＲＴやＬＣＤのような汎用のコンピュータ表示デバイスを用いるが、場合によってはタッチパネルのような専用の表示モニタを用いることもできる。
【００５２】
ここで、本例では、説明の簡略化のために、録画装置２０１とネットワークカメラ２０２と監視端末２０３として、各１台の構成を示したが、これらはそれぞれネットワーク媒体２０４、２０５に対して複数台の接続も可能である。
また、本例の録画装置２０１としては、いわゆるネットワークデジタルレコーダを例として挙げたが、他の構成例として、カメラからアナログ映像を入力するようないわゆるデジタルビデオレコーダのような録画装置を用いることも可能であり、この場合、ネットワーク部２１１がデジタル変換部及びアナログ変換部となり、ネットワーク媒体２０４、２０５がアナログ信号線となる。
【００５３】
次に、本例の映像監視システムにおいて行われる処理の流れの一例を示す。
図６には、定常映像に対する平均特徴量を求める際の録画装置２０１における処理の流れの一例を示してある。
まず、ネットワーク部２１１は、ネットワークカメラ２０２から入力されたデジタル映像を受信して、伸張部２１２に入力する（ステップＳ１）。伸張部２１２は、入力映像に対してデータ伸張処理を行い、その結果を特徴量抽出部２１４に入力する（ステップＳ２）。特徴量抽出部２１４は、入力された映像の特徴量ベクトルを算出し、算出した特徴量ベクトルを平均特徴量算出部２１５に入力する（ステップＳ３）。平均特徴量算出部２１５は、入力された特徴量ベクトルの累積値を保持し、それにより平均特徴量ベクトルを算出し、算出した平均特徴量ベクトルを平均特徴量記録部２１６に入力する（ステップＳ４）。平均特徴量記録部２１６は、入力された平均特徴量ベクトルを記録媒体に記録する（ステップＳ５）。
【００５４】
ここで、特徴量抽出の対象とする映像のサンプリングや平均特徴量算出部２１５における特徴量累積開始及び平均特徴量の算出等の各処理は、制御部２２０からの指示によって実行される。
本例では、図６に示される処理は、システム設置時等の初期設定時や、ユーザが何らかの理由で平均特徴量を更新したいような場合に、実施する。
【００５５】
図７には、監視映像の録画時の録画装置２０１における処理の流れの一例を示してある。
まず、ネットワーク部２１１は、ネットワークカメラ２０２から入力されたデジタル映像を受信して、映像記録部２１３と伸張部２１２に入力する（ステップＳ１１）。映像記録部２１３は、入力された映像を記録媒体に記録する（ステップＳ１２）。その際、記録映像に対してユニークなＩＤを付与して記録する。更に、このＩＤを伸張部２１２に入力する（ステップＳ１３）。
なお、ＩＤを付与する映像の単位としては、特に限定はなく、例えば、１フレーム毎に連番のＩＤが付与される。
【００５６】
伸張部２１２は、入力された映像に対してデータ伸張処理を行い、伸張した映像をＩＤとともに特徴量抽出部２１４に入力する（ステップＳ１４）。特徴量抽出部２１４は、入力された映像の特徴量ベクトルを算出し、算出した特徴量ベクトルをＩＤとともに非類似度算出部２１７に入力する（ステップＳ１５）。もし、ネットワークカメラ２０２から入力される映像が、その平均輝度を安定化する様な処理が十分なされていないものである場合、求めた特徴量ベクトルをそのフレームの平均輝度で除算してもよい。非類似度算出部２１７は、記録媒体から定常映像の平均特徴量ベクトルを読み出し（ステップＳ１６）、読み出した平均特徴量と入力された特徴量ベクトルから、両者の非類似度を算出し、算出した非類似度をＩＤとともに平均非類似度算出部２１８に入力する（ステップＳ１７）。ここで、読み出した平均特徴量ベクトルは、図６のステップＳ５で記録した値である。
【００５７】
平均非類似度算出部２１８は、入力された非類似度とＩＤの履歴を保持し、非類似度履歴の平均値と今回の入力非類似度との差を比較する（ステップＳ１８）。具体的には、この差と一定値（閾値）との大小関係を比較して（ステップＳ１９）、この差が当該一定値より大きい場合には、非類似度履歴の平均値を平均非類似度として平均非類似度記録部２１９に入力し、その際、履歴の開始時のＩＤ（先頭ＩＤ）とリセット時のＩＤ（末尾ＩＤ）も併せて平均非類似度記録部２１９に入力する（ステップＳ２０）。
ここで、非類似度履歴の平均値とは、リセット直後からの非類似度の平均値であり、先頭ＩＤと末尾ＩＤとの間の映像区間における非類似度の平均値である。
【００５８】
そして、平均非類似度算出部２１８における履歴をリセットして、今回の入力非類似度とＩＤから履歴を再開する（ステップＳ２１）。つまり、今回の入力非類似度とＩＤは前回の履歴には入らずに、次の履歴の先頭となる。
平均非類似度記録部２１９は、入力された平均非類似度と先頭ＩＤ及び末尾ＩＤを記録媒体に記録する（ステップＳ２２）。そして、元の処理（ステップＳ１１）へ戻る。
【００５９】
一方、前記した差が前記した一定値より小さい場合には（ステップＳ１９）、平均非類似度算出部２１８において今回の入力非類似度とＩＤを履歴に加えて（ステップＳ２３）、元の処理（ステップＳ１１）へ戻る。
なお、前記した比較処理（ステップＳ１９）で用いる一定値は、例えば、予め、録画装置２０１のメモリに設定されて記憶されている。
また、各処理は制御部２２０からの指示によって実行される。
【００６０】
図８には、平均非類似度記録部２１９における平均非類似度と先頭ＩＤ及び末尾ＩＤの記録形式の一例を示してある。
本例では、複数のカメラのそれぞれ毎に表２４１の記録形式が用いられている。
あるカメラ（１台のカメラ）の表２４１では、そのカメラにより撮像された映像について、平均非類似度と先頭ＩＤと末尾ＩＤの組み合せが、行方向（図８において、上下方向）を時系列方向として、行番号と対応させて記録してある。各行の情報は、各映像区間の情報となる。
この表２４１は、録画装置２０１に接続されたカメラの数だけ用意される。
また、例えば、表２４１には、上記した情報のほかに、先頭ＩＤの映像の時刻や、末尾ＩＤの映像の時刻などを併せて記録するような構成としてもよい。
【００６１】
次に、操作画面について説明する。
図９には、本例の録画装置２０１を用いた場合における操作画面の一例を示してある。この操作画面は、監視端末２０３の表示部２３３に表示される内容である。なお、操作は監視端末２０３のユーザ（人）により操作部２３４を用いて行われ、画面上のボタンの押下や、画面上の枠への数値等の記入などが行われる。
映像表示部２５１は、映像を表示する領域である。
再生ボタン群２５２では、各ボタンにはそれぞれ固有の再生種類が割り当てられており、映像表示部２５１に表示されている映像に対して新たな再生命令を与えたい場合には、命令に合った再生種類のボタンを押下する。
【００６２】
カメラ切替ボタン群２５３では、各ボタンにはそれぞれ録画対象となっているカメラが割り当てられており、映像表示部２５１に表示されている録画映像を他のカメラの録画映像に切り替えたい場合に押下する。この機能を一般的にカメラ検索と称する。
日時検索ボタン群２５４では、任意の時刻を指定（入力或いは選択）することが可能になっている。時刻指定を行い、検索ボタンを押下することにより、現在において選択中のカメラに対して指定時刻の映像を映像表示部２５１に表示する。この機能を一般的に日時検索と称する。
【００６３】
時刻順再生モードボタン２５５と変位量順再生モードボタン２５６の両ボタンは、択一選択になるように連動しており、時刻順再生モードボタン２５５の選択中に再生ボタン群２５２に対して行われた操作による再生は図１９に示されるように時刻順での再生となり、変位量順再生モードボタン２５６の選択中に再生ボタン群２５２に対して行われた操作による再生は図２に示されるように変位量順（非類似度順）での再生となり、それぞれ映像表示部２５１に再生映像が表示される。
【００６４】
検索範囲指定欄２５７には、検索対象としたい時刻範囲を入力（或いは、選択）することができるようになっている。
変位量検索実行ボタン２５８は、押下されると、カメラ切替ボタン群２５３で選択されているカメラの録画映像について、検索範囲指定欄２５７に入力されている時刻範囲に対して、変位量（非類似度）が大きい順に一覧表示する。本例では、この機能を、変位量検索と称する。
なお、他の構成例として、一覧表示の最大数や変位量の閾値等を指定するための一覧絞り込み用のボタンが設けられてもよい。
【００６５】
図１０には、変位量検索実行ボタン２５８を押下した結果として表示される操作画面の一例を示してある。
検索結果一覧表示欄２６１には、検索処理の結果の一覧が表示され、検索処理の結果として検索条件に合致した映像区間２６２〜２６５が表示されている。
本例の検索結果一覧表示欄２６１では、変位量の大きさについて、左側の方が右側より大きく、上段の方が下段より大きい態様（左＞右、上段＞下段）で、表現されている。具体的には、図１０の例では、最も左側にある映像区間２６２が最も変位量が大きな映像の区間であり、最も右側にある映像区間２６５が最も変位量が小さな映像の区間である。
なお、本例の表現方法は一例であり、逆順での表現が用いられてもよく、或いは、両者（本例の順序とその逆順）を切り替えることを可能としてもよい。
いずれかの映像区間２６２〜２６５を選択すると、映像表示部２５１に選択された映像区間の映像が再生表示される。
【００６６】
図１１には、録画映像を変位量順再生モードにより再生する際の録画装置２０１及び監視端末２０３における処理の流れの一例を示してある。
変位量順再生モードにある監視端末２０３においてユーザが操作を行った場合として、例えば、図９に示される操作画面において再生ボタン群２５２のうち通常再生ボタンを押下した場合には、操作部２３４は操作内容を感知して（ステップＳ３１）、録画装置２０１に対して操作内容から得られる再生条件をネットワーク部２３１を介して送信する（ステップＳ３２）。
ここで、本例では、再生条件として、選択中のカメラ番号、選択中の再生モードの種類、押下された再生種類（例えば、通常再生や早送りや巻戻し等）のセットが用いられている。
【００６７】
録画装置２０１は、待機状態において（ステップＳ４１）、ネットワーク部２１１を介して再生条件を受信し（ステップＳ４２）、平均非類似度記録部２１９を介して対応するカメラの平均非類似度の一覧を記録媒体から取り出す（ステップＳ４３）。そして、取り出した一覧中の行の情報（図８参照。）を非類似度が大きい順に並べ替え（ステップＳ４４）、並べ替えた一覧の先頭行を参照行にセットする（ステップＳ４５）。
次に、参照行にある先頭ＩＤと末尾ＩＤを取り出す（ステップＳ４６）。送信する映像フレームのＩＤ（送信ＩＤ）に前記先頭ＩＤの値をセットし（ステップＳ４７）、送信ＩＤに対応した映像フレームを映像記録部２１３を介して記録媒体より取り出し（ステップＳ４８）、取り出した映像フレームをネットワーク部２１１を介して監視端末２０３に向けて送信し（ステップＳ４９）、送信ＩＤをインクリメントする（ステップＳ５０）。
【００６８】
録画装置２０１では、ステップＳ４８〜ステップＳ５０の処理を送信ＩＤがステップＳ４６の処理で取得した末尾ＩＤの値になるまで繰り返して行う。更に、送信ＩＤが前記末尾ＩＤを超えた場合には（ステップＳ５１）、ステップＳ４４の処理で並べ替えた一覧の２行目以降に対しても、参照行が最後行を超えるまで１行ずつ下にずらしながら（ステップＳ５２）、上記と同様な処理を繰り返して行う（ステップＳ４６〜ステップＳ５２）。
そして、参照行が一覧の最後行を超えた場合には（ステップＳ５３）、ネットワーク部２１１を介して送信完了の通知を監視端末２０３へ送信する（ステップＳ５４）。
【００６９】
監視端末２０３では、ステップＳ４９の処理により録画装置２０１から送信された映像フレームをネットワーク部２３１を介して受信し（ステップＳ３３）、伸張部２３２により受信映像フレームを伸張し（ステップＳ３４）、その結果の映像フレームを表示部２３３により表示する（ステップＳ３５）。
この一連の処理（ステップＳ３３〜ステップＳ３５）は、録画装置２０１から送信完了の通知が送られてくるまで（ステップＳ３６）、一定間隔毎に実施される。
なお、録画装置２０１と監視端末２０３のいずれにおいても、これらの処理は各装置２０１、２０３の制御部２２０、２３５からの指示若しくは制御部２２０、２３５により実施される。
【００７０】
ここで、他の構成例として、本例において録画装置２０１により実施したステップＳ４４〜ステップＳ５２の処理の一部を監視端末２０３により実施するように実装することも可能である。例えば、平均非類似度の一覧を録画装置２０１から監視端末２０３へ送信し、監視端末２０３の側で、ステップＳ４４〜ステップＳ４７の処理及びステップＳ５０〜ステップＳ５２の処理を実施し、求めた送信ＩＤの映像フレームを録画装置２０１側に要求するような構成を用いることができる。
【００７１】
図１２には、録画映像に対して変位量検索を実行する際の録画装置２０１及び監視端末２０３における処理の流れの一例を示してある。
監視端末２０３に対してユーザが変位量検索を実行する操作を行った場合には、操作部２３４は操作内容を感知し（ステップＳ６１）、録画装置２０１に対して操作内容から得られる検索条件をネットワーク部２３１を介して送信する（ステップＳ６１）。
ここで、本例では、検索条件としては、選択中のカメラ番号、検索時刻の範囲が用いられる。
【００７２】
録画装置２０１は、待機状態において（ステップＳ７１）、ネットワーク部２１１を介して検索条件を受信し（ステップＳ７２）、平均非類似度記録部２１９を介して対応するカメラの平均非類似度の一覧を記録媒体から取り出す（ステップＳ７３）。そして、取り出した一覧中の行の情報（図８参照。）を非類似度が大きい順に並べ替え（ステップＳ７４）、並べ替えた一覧の先頭行を参照行にセットする（ステップＳ７５）。
次に、参照行にある先頭ＩＤと末尾ＩＤを取り出し（ステップＳ７６）、先頭ＩＤに対応した映像フレームを映像記録部２１３を介して記録媒体より取り出し（ステップＳ７７）、取り出した映像フレームと先頭ＩＤ及び末尾ＩＤをネットワーク部２１１を介して監視端末２０３に向けて送信し（ステップＳ７８）、参照行を１行下にずらす（ステップＳ７９）。
録画装置２０１では、ステップＳ７６〜ステップＳ７９の処理を参照行が最後行を超えるまで繰り返して行う。参照行が一覧の最後行を超えた場合には（ステップＳ８０）、ネットワーク部２１１を介して送信完了の通知を監視端末２０３へ送信する（ステップＳ８１）。
【００７３】
監視端末２０３は、ステップＳ７８の処理で録画装置２０１から送信された映像フレームと先頭ＩＤ及び末尾ＩＤをネットワーク部２３１を介して受信する（ステップＳ６３）。そして、受信した映像フレームを伸張部２３２により伸張し（ステップＳ６４）、その結果から得られる映像区間を表示部２３３により一覧表示する（ステップＳ６５）。
ここで、一覧表示される各映像区間の表面には、ステップＳ６４の処理で伸張した映像を縮小表示する。また、図１０に示されるような映像区間２６２〜２６５の長さを示す立方体の厚みは、先頭ＩＤと末尾ＩＤとの差分によって求める。
この一連の処理（ステップＳ６３〜ステップＳ６５の処理）は、録画装置２０１から送信完了の通知が送られてくるまで（ステップＳ６６）、続けて実施される。
なお、録画装置２０１と監視端末２０３のいずれにおいても、これらの処理は各装置２０１、２０３の制御部２２０、２３５からの指示若しくは制御部２２０、２３５により実施される。
【００７４】
ここで、本例では、ステップＳ７７の処理で取り出す映像フレームを先頭ＩＤに基づくものとしたが、他の構成例として、末尾ＩＤや中間ＩＤ（先頭と末尾の中間に位置するＩＤ）などに基づく映像フレームが用いられてもよい。
また、他の構成例として、本例において録画装置２０１により実施したステップＳ７４〜ステップＳ７９の処理の一部を監視端末２０３により実施するように実装することも可能である。例えば、平均非類似度の一覧を録画装置２０１から監視端末２０３へ送信し、監視端末２０３の側で、ステップＳ７４〜ステップＳ７６の処理を実施して、求めた先頭ＩＤの映像フレームを録画装置２０１の側に要求するような構成を用いることができる。
【００７５】
次に、統計レポートの出力機能について説明する。
図１３には、監視端末２０３の表示部２３３に表示される内容（操作画面）の一例を示してある。
表示範囲指定欄２７１、２７２には、表示対象としたい時刻範囲を入力（或いは、選択）することができるようになっており、表示範囲指定欄２７１には指定したい時刻範囲の最も古い時刻（先頭日時）を入力し、表示範囲指定欄２７２には指定したい時刻範囲の最も新しい時刻（末尾日時）を入力する。
統計表示実行ボタン２７３は、押下されると、カメラ切替ボタン群２５３で選択されているカメラの録画映像について、表示範囲指定欄２７１、２７２に入力されている時刻範囲に対して、変位量と時系列との関係をグラフ表示する。本例では、この機能を、統計レポート出力機能と称する。
【００７６】
図１４には、統計表示実行ボタン２７３を押下した結果として表示される操作画面の一例を示してある。
統計レポート表示欄２８１には、統計レポートがグラフ表示される。
具体的には、時系列軸２８２と、変位量軸２８３と、グラフの線分２８４が表示される。
時系列軸２８２では、左端が表示範囲指定欄２７１で与えた時刻（先頭日時）を指し、右端が表示範囲指定欄２７２で与えた時刻（末尾日時）を指す。変位量軸２８３では、原点から離れるほど変位量が大きいことを示す。グラフの線分２８４は、変位量を時系列に連続表示した線分である。
【００７７】
図１５には、録画映像に対して統計レポート出力を実行する際の録画装置２０１及び監視端末２０３における処理の流れの一例を示してある。
監視端末２０３に対してユーザが統計レポート表示を実行する操作を行った場合には、操作部２３４は操作内容を感知し（ステップＳ９１）、録画装置２０１に対して操作内容から得られる表示条件をネットワーク部２３１を介して送信する（ステップＳ９２）。
ここで、表示条件としては、本例では、選択中のカメラ番号、表示時刻の範囲が用いられる。
【００７８】
録画装置２０１では、待機状態において（ステップＳ１０１）、ネットワーク部２１１を介して表示条件を受信し（ステップＳ１０２）、平均非類似度記録部２１９を介して対応するカメラの平均非類似度の一覧を記録媒体から取り出す（ステップＳ１０３）。そして、取り出した一覧から、表示時刻の範囲に該当する行の情報（図８参照。）を抽出し（ステップＳ１０４）、抽出した行の情報をネットワーク部２１１を介して監視端末２０３に向けて送信する（ステップＳ１０５）。
【００７９】
監視端末２０３では、録画装置２０１から送信された抽出行の情報をネットワーク部２３１を介して受信し（ステップＳ９３）、抽出行の先頭行を参照行としてセットする（ステップＳ９４）。
次に、参照行から平均非類似度と先頭ＩＤ及び末尾ＩＤを取り出して、平均非類似度から変位量を算出する（ステップＳ９５）。そして、算出した変位量と先頭ＩＤを示す点と、算出した変位量と末尾ＩＤを示す点をプロットする（ステップＳ９６）。２行目以降に対しても、参照行が抽出行の最後行を超えるまで１行ずつ下にずらしながら（ステップＳ９７）、上記と同様な処理を繰り返して行う。
【００８０】
この一連の処理（ステップＳ９５〜ステップＳ９７）は、録画装置２０１から送信された抽出行が最終行に達するまで続けて実施され、最終行に達した場合には（ステップＳ９８）、全てのプロット点の間を線分で結んで画面表示する（ステップＳ９９）。
なお、録画装置２０１と監視端末２０３のいずれにおいても、これらの処理は各装置２０１、２０３の制御部２２０、２３５からの指示若しくは制御部２２０、２３５により実施される。
【００８１】
このような統計レポートの機能を使用することにより、ユーザは指定した時刻範囲の映像の全体的な傾向を、その映像を再生して見る前に把握することができ、再生時の負担を更に軽減することが可能となる。
ここで、本例では、画面に対するユーザ操作に基づいて随時レポートが表示される場合を示したが、他の構成例として、定期的に自動でレポートの作成や表示を実施する構成とすることも可能である。
また、出力の形態としては、監視端末２０３における操作画面上や、録画装置２０１における操作画面上に限られず、例えば、電子メール等の通信機能により送信した先の装置が有する画面上への表示や印刷物の形態が用いられてもよい。
【００８２】
以上のように、本例の映像再生方式では、映像撮像装置（本例では、カメラ）２０２と映像記録装置（本例では、録画装置）２０１と監視端末２０３からなる映像監視システムにおいて、定常状態の映像からの変位量に従って映像の表示順を決定する処理を含む。
また、本例の映像再生方式では、表示単位を映像区間とし、その映像区間の長さを変位量の変化に基づいて決定する処理を含む。
また、本例の映像記録方式では、定常映像の平均特徴量を求める処理と、監視状態の映像の特徴量を求める処理と、両者の特徴量の変位量（類似度の逆の指標であり、類似度を用いても実質的に同じである）を求める処理と、映像区間長を変位量の変化を基に決定する処理と、映像区間における平均変位量（本例では、平均非類似度）を求める処理と、求めた平均変位量と監視映像とを対応付けて記録する処理を含む。
また、本例の映像検索方式では、定常映像からの変位量に従って、映像区間を一覧表示する処理を含む。
また、本例の映像閲覧方式では、監視映像における定常映像からの変位量をグラフ表示（図１４参照。）する処理を含む。
【００８３】
このように、本例では、映像撮像装置により撮像した映像を用いて監視を行う映像監視システムにおいて、録画映像に対して定常映像との変位量を求め、変位量が大きい映像を優先的に表示や再生することなどが行われる。
従って、本例では、録画映像全体の再生時間長の中で、閲覧者の集中力を必要とする時間を局所化することができ、監視の負担の軽減を図ることができる。
【００８４】
ここで、本例では、全ての映像フレームが必ずいずれかの映像区間に属する構成例を示した。
また、本例では、全ての映像フレームについて特徴量を算出する構成を示したが、他の構成例として、一部の映像フレームについては特徴量を算出せずに、予め設定された規則に従って、当該一部の映像フレームをその前の映像フレームと同じ映像区間に含める、或いは、当該一部の映像フレームをその後の映像フレームと同じ映像区間に含めるような態様を用いることも可能である。
【００８５】
また、本例では、平均非類似度を記録時に算出して、表２４１等のように映像区間毎に記録するようにしたが、変位量順に再生する必要が生じた時点で、表２４１等を作成しても良い。また、表２４１等のように非類似度を記録するだけでなく、それを求める際に用いた平均特徴量ベクトルと入力特徴量ベクトルの差分自体の平均値（ベクトル）も記録するようにしても良い。
また本例では、特徴量ベクトルとして、画像全体を所定サイズに分割して得られる各領域におけるＲＧＢヒストグラムや輝度勾配分布などの一部を成分とするようにしたが、この様な純粋に統計的な値の他、ウェーブレット変換の係数や、オプティカルフロー法で検出した動きベクトルなどの分布を用いることもできる。
本例によれば、非類似度を算出するのに空間的特徴量という時間的概念のない量を用いるようにしたので、動きベクトル検出が困難な低フレームレート映像やタイムラプス映像に対しても、適用することができる。また生の画像データではなくデータ量が圧縮された特徴量ベクトルを用いるようにしたので、定常映像の特徴量ベクトルをキャッシュに格納でき、生の画像データを必要とする差分法ベースの物体検出（動き検出）と比べてメモリアクセスを削減して高速に動作させることができる。特に伸張（Ｓ１４）と特徴量抽出（Ｓ１５）を同時並行に処理すると更に良い。またカメラのパンチルトに関するプリリセット位置ごとに複数の定常画像を切替可能に用いることも容易にできる。
【実施例２】
【００８６】
本例は、先に説明した映像処理装置における初期動作の他の詳細例を説明するものである。
ステップ２０１として、定常映像と、その定常映像の付近において異常（定常映像と異なる）と検出されるべき複数の想定異常画像とのセットを１ないし複数用意する。
ステップ２０２として、夫々のセットにおいて、定常映像と想定異常画像との、特徴量ベクトルの差を求める。なお、ここで言う特徴量ベクトルは、画像の全領域から均等に算出される統計的な値であり、画像を所定サイズに分割して得られる各領域におけるＲＧＢヒストグラムや輝度勾配分布の全てを成分として含んでおり、成分の数は１０００程度になりうる。
ステップ２０３として、夫々のセットにおいて、特徴量ベクトルの成分を大きい順に、相互相関の低いものを選びだす。相互相関の大きさは、前記領域が空間的に近く、且つその領域における特徴量成分の大きさが近い時に、大きいと推定できる。
ステップ２０４として、夫々のセットにおいて選び出された成分を、対応する成分毎に足し合わせ、足しあわされた成分それぞれの絶対値に基づいて当該成分の重みを決定する。ステップ２０３で選び出されなかった成分や当該重みが所定値より小さい成分は使用せず、以後の非類似度の算出に採用する成分の数を数十程度に絞る。
【図面の簡単な説明】
【００８７】
【図１】本発明の一実施例に係る映像フレームの再生の一例を示す図である。
【図２】本発明の一実施例に係る映像区間の再生の一例を示す図である。
【図３】本発明の一実施例に係る特徴量の求め方の一例を示す図である。
【図４】本発明の一実施例に係る非類似度の求め方の一例を示す図である。
【図５】本発明の一実施例に係る映像監視システムの構成例を示す図である。
【図６】本発明の一実施例に係る定常映像に対する平均特徴量を求める際の録画装置における処理の流れの一例を示す図である。
【図７】本発明の一実施例に係る録画時の録画装置における処理の流れの一例を示す図である。
【図８】本発明の一実施例に係る平均非類似度とＩＤの記録形式の一例を示す図である。
【図９】本発明の一実施例に係る録画装置を用いた場合における操作画面の一例を示す図である。
【図１０】本発明の一実施例に係る変位量検索実行ボタンを押下した結果として表示される操作画面の一例を示す図である。
【図１１】本発明の一実施例に係る録画映像を変位量順再生モードで再生する際の録画装置及び監視端末における処理の流れの一例を示す図である。
【図１２】本発明の一実施例に係る録画映像に対して変位量検索を実行する際の録画装置及び監視端末における処理の流れの一例を示す図である。
【図１３】本発明の一実施例に係る統計レポート出力機能の操作画面の一例を示す図である。
【図１４】本発明の一実施例に係る統計表示実行ボタンを押下した結果として表示される操作画面の一例を示す図である。
【図１５】本発明の一実施例に係る録画映像に対して統計レポート出力を実行する際の録画装置及び監視端末における処理の流れの一例を示す図である。
【図１６】記録媒体にＨＤＤを用いた録画装置を含んだ映像監視システムの一例を示す図である。
【図１７】記録媒体にＨＤＤを用いた録画装置を含んだ映像監視システムの他の一例を示す図である。
【図１８】記録媒体にＨＤＤを用いた録画装置を用いた場合における操作画面の一例を示す図である。
【図１９】映像フレームの再生の一例を示す図である。
【符号の説明】
【００８８】
１、３７１・・映像、 ２・・時間軸、 １１、１１２、１１３、２６２〜２６５・・映像区間、 １２・・変位量、 ２１〜２５・・フレーム、 ３１〜３５、７１〜７６・・特徴量抽出処理、 ４１〜４５、８１〜８６・・特徴量、 ５１・・特徴量平均化処理、 ５２・・平均特徴量、 ５３・・定常映像の時間長、 ６１〜６６・・入力フレーム、 ９１〜９６・・非類似度算出処理、 １０１〜１０６・・非類似度、 １１１・・非類似度グラフ、 １１４、１１５・・非類似度平均化処理、 １１６、１１７・・平均非類似度、 ２０１、３０１、３３１・・録画装置、 ２０２、３３２・・ネットワークカメラ、 ２０３、３３３・・監視端末、 ２０４、２０５・・ネットワーク媒体、 ２１１、２３１、３４１、３５１・・ネットワーク部、 ２１２、２３２、３１４、３５２・・伸張部、 ２１３・・映像記録部、 ２１４・・特徴量抽出部、 ２１５・・平均特徴量抽出部、 ２１６・・平均特徴量記録部、 ２１７・・非類似度算出部、 ２１８・・平均非類似度算出部、 ２１９・・平均非類似度記録部、 ２２０、２３５、３１７、３４３、３５５・・制御部、 ２３３、３２１、３５３・・表示部、 ２３４、３１６、３５４・・操作部、 ２４１・・表、 ２５１、３６１・・映像表示部、 ２５２、３６２・・再生ボタン群、 ２５３、３６３・・カメラ切替ボタン群、 ２５４、３６４・・日時検索ボタン群、 ２５５・・時刻順再生モードボタン、 ２５６・・変位量順再生モードボタン、 ２５７・・検索範囲指定欄、 ２５８・・変位量検索実行ボタン、 ２６１・・検索結果一覧表示欄、 ２７１、２７２・・表示範囲指定欄、 ２７３・・統計表示実行ボタン、 ２８１・・統計レポート表示欄、 ２８２・・時系列軸、 ２８３・・変位量軸、 ２８４・・線分、 ３０２・・カメラ、 ３０３・・モニタ、 ３１１・・デジタル変換部、 ３１２・・アナログ変換部、 ３１３・・圧縮部、 ３１５、３４２・・記録部、 ３６５・・アラーム録画一覧表示部、 ３７２・・変位量軸、
【技術分野】
【０００１】
本発明は、映像処理方法に関し、特に、例えば、事象の発生の有無が明確でなく、全ての録画映像を閲覧する必要があるような場合においても、閲覧者にとって閲覧の負担を少なくすることができる映像処理方法に関する。
【背景技術】
【０００２】
従来から、ホテルやビル、コンビニエンスストアや金融機関、或いはダムや道路といった公共施設には、犯罪抑止や事故防止等の目的で、映像監視システムが設置されている。このような映像監視システムでは、監視対象をカメラ等の撮像装置で撮影し、その映像を管理事務所や警備室等の監視センタに伝送し、常駐する監視者がその映像を監視して、目的や必要に応じて、注意をすることや、或いは映像を録画や保存することが行われる。
こうした映像監視システムでは、映像の記録媒体として、従来のビデオテープ媒体を用いる代わりに、近年ではハードディスクドライブ（ＨＤＤ）に代表されるランダムアクセス媒体が用いられる事例が増えている。
【０００３】
図１６には、記録媒体にＨＤＤを用いた録画装置を含んだ映像監視システムの構成例を示してある。
本例の映像監視システムは、一般的にデジタルビデオレコーダと呼ばれる装置である録画装置３０１と、カメラ３０２と、表示部３２１を備えたモニタ３０３を有している。
録画装置３０１は、デジタル変換部３１１と、アナログ変換部３１２と、圧縮部３１３と、伸張部３１４と、記録部３１５と、操作部３１６と、制御部３１７から構成される。
【０００４】
カメラ３０２は、撮像映像を電気信号としてアナログ出力する。
モニタ３０３は、入力アナログ映像を表示部３２１に表示する。
録画装置３０１では、カメラ３０２から入力されたアナログ映像をデジタル変換部３１１によりデジタル変換し、圧縮部３１３によりデータ圧縮処理を施して、記録部３１５によりＨＤＤに記録を行う。また、操作部３１６によりユーザ操作を検知し、これに応じて、記録部３１５により対象となる映像をＨＤＤから読み出して、伸張部３１４によりデータ伸張処理を施した上で、アナログ変換部３１２によりアナログ変換して、モニタ３０３へ出力する。これらの処理は制御部３１７により制御される。
ここで、制御部３１７にはＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）も含まれる。また、操作部３１６としては、マウスやキーボードのような汎用のコンピュータ操作デバイスを用いる場合や、ボタン群を配置した専用の操作盤を用いる場合等がある。
【０００５】
図１７には、記録媒体にＨＤＤを用いた録画装置を含んだ映像監視システムの他の構成例を示してある。
本例の映像監視システムは、一般的にネットワークデジタルレコーダと呼ばれる装置である録画装置３３１と、ネットワークカメラ３３２と、監視端末３３３を有している。
録画装置３３１は、ネットワーク部３４１と、記録部３４２と、制御部３４３から構成される。
監視端末３３３は、ネットワーク部３５１と、伸張部３５２と、表示部３５３と、操作部３５４と、制御部３５５から構成される。
【０００６】
ネットワークカメラ３３２は、撮像映像をデジタル変換してデータ圧縮処理を施して、ＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）ネットワークを介してデジタル出力する。
録画装置３３１では、ネットワークカメラ３３２からネットワーク部３４１に入力されたデジタル映像を記録部３４２によりＨＤＤに記録する。また、ネットワーク部３４１により監視端末３３３からの要求を受け取り、これに応じて、記録部３４２により対象となる映像をＨＤＤから読み出して、ネットワーク部３４１を経由して出力する。これらの処理は制御部３４３により制御される。
ここで、制御部３４３にはＣＰＵも含まれる。
【０００７】
監視端末３３３では、ネットワーク部３５１により入力されたデジタル映像について伸張部３５２によりデータ伸張処理を行い、その結果を表示部３５３により端末画面上に表示する。また、操作部３５４によりユーザ操作を検知し、これに応じて、必要な要求をネットワーク部３５１を介して録画装置３３１へ送る。これらの処理は制御部３５５により制御される。
ここで、制御部３５５にはＣＰＵも含まれる。また、操作部３５４としては、マウスやキーボードのような汎用のコンピュータ操作デバイスが用いられる場合が多い。また、表示部３５３としては、ＣＲＴ（Ｃａｔｈｏｄｅ−Ｒａｙ Ｔｕｂｅ）やＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）のような汎用のコンピュータ表示デバイスが用いられることが多い。
【０００８】
図１８には、上記のような記録媒体にＨＤＤを用いた録画装置３３１を用いた場合における監視端末３３３の操作画面（監視端末３３３の表示部３５３に表示される内容）の一例を示してある。
ここで、本例では、図１７に示される録画装置３３１を用いた場合における画面例を示したが、図１６に示される録画装置３０１を用いた場合における画面とは、例えば、操作部や表示部に用いられるデバイスの種類の違いから表示様式や操作仕様に多少の差があるものの、ユーザに提供される機能としては同一であり本質的な差異は無いため、録画装置３３１を用いた場合を例として説明する。
【０００９】
映像表示部３６１は、映像を表示する領域である。
再生ボタン群３６２では、各ボタンにはそれぞれ固有の再生種類が割り当てられており、映像表示部３６１に表示されている映像に対して新たな再生命令を与えたい場合には、命令に合った再生種類のボタンを押下する。
カメラ切替ボタン群３６３では、各ボタンにはそれぞれ録画対象となっているカメラが割り当てられており、映像表示部３６１に表示されている録画映像を他のカメラの録画映像へ切り替えたい場合に押下する。この機能を一般的にカメラ検索と称する。
【００１０】
日時検索ボタン群３６４では、任意の時刻を指定（入力或いは選択）することが可能となっている。時刻指定を行い、検索ボタンを押下することにより、現在において選択中のカメラに対して指定時刻の映像を映像表示部３６１に表示する。この機能を一般的に日時検索と称する。
アラーム録画一覧表示部３６５には、現在において選択中のカメラに対して、アラーム録画の録画内容を録画イベント毎に一覧表示する。
【００１１】
ここで、アラーム録画とは、不定期、すなわち録画イベントが発生する度に録画を行う録画種類であり、常時や予め決まったスケジュールに従って定期的に録画を行う通常録画と対になるものである。録画イベントとしては、様々なものがあり、カメラや録画装置に備えている接点端子に対する外部センサからの信号入力や、画像認識処理結果に基づくトリガや、監視者による緊急録画ボタンの押下等が挙げられる。
アラーム録画の一覧の各行には、録画イベントの発生時刻（開始時刻、終了時刻）や、録画イベントの種類や、録画イベントの先頭画像の縮小画像等が表示される。これらの各行は選択できるようになっていて、選択された録画イベントの映像が映像表示部３６１に表示される。この機能を一般的にアラーム検索と称する。
【００１２】
また、図１８には図示しないが、アラーム検索に類似の機能として、一般的にマーキング検索と称される機能もある。アラーム録画では録画イベント毎に録画を実施するのに対して、マーキング録画では、録画自体は常時実施して、録画イベント発生時には録画映像に対するマーキングのみを実施する。マーキング検索は、このマーキングを一覧表示するものであり、画面や操作としては例えばアラーム録画一覧表示部３６５と同じとなる。
【００１３】
次に、映像の再生について説明する。
図１９には、映像フレームの再生の様子を示してある。
具体的には、横軸は時間軸３７２であり、左側が時間的に古く、右側が時間的に新しいことを表している。また、一連の映像を示してあり、その一連の映像の一部分として映像中の１フレーム３７１を表現してある。
従来の再生として、例えば、順方向の標準速再生では、時間軸３７２の左から右に向かって１フレームずつ順に一定時間間隔に表示していく処理となる。
【００１４】
次に、画像（映像）の類似度について説明する。
コンピュータの高速化とあいまって近年目覚しい進歩を遂げている技術の１つとして、画像認識技術がある。画像認識技術の中に、類似度算出という技術がある。
類似度とは、２つの画像の類似性を評価する指標であり、類似度が高いとは２つの画像が似ていることを意味する。類似度は、比較するそれぞれの画像の特徴量に基づいて算出される。使われる画像特徴量としては、例えば、空間方向での色分布や輝度勾配分布による特徴量などが挙げられるが、求める類似性の種類、例えば、色合い的な類似性、或いは構図的な類似性等の目的によって取捨選択される。
【００１５】
一例として、非特許文献１には、画像特徴量から非類似度（類似度の逆の指標）を算出する手法が記載されている。
具体的には、画像間の類似性を特徴量ベクトル間の２乗距離に基づいて定義し、Ｎｆ種類の画像特徴量が定義されている場合における２つの画像Ｘ、Ｙの非類似度Ｄ（Ｘ、Ｙ）を（式１）により求めている。ここで、ｘｉ、ｙｉは、それぞれ、Ｘ、Ｙの特徴量ベクトルであり、また、ｗｉは特徴量に対する重み付けである。特徴量としては、色分布に基づく特徴量や、輝度勾配分布に基づく特徴量等を用いることができる。
【００１６】
なお、ここでは、非類似度を示したが、例えば、所定の値から非類似度を減算した結果の値や、或いは、非類似度の逆数の値などを類似度として用いることが可能である。つまり、非類似度が大きいことは類似度が小さいことに相当し、非類似度が小さいことは類似度が大きいことに相当する。
【００１７】
【数１】
【００１８】
【特許文献１】特開平７−２５４０９１号公報
【非特許文献１】廣池、武者著、「大規模な画像集合のための表現モデル」、日本写真学会誌、２００３年６６巻１号、ｐ．９３−１０１
【発明の開示】
【発明が解決しようとする課題】
【００１９】
上述のようなＨＤＤを代表とするランダムアクセス媒体を用いた録画装置は、目的の映像への頭出しの際に、早送りや巻戻しといった動作完了待ちが必要なビデオテープ媒体とは異なり、瞬時に映像を出力することができる特徴を備えており、大変便利である。
しかしながら、このような利便性は、ある事象の発生場所や発生日時が判明していて、上述のカメラ検索や日時検索を使用してカメラや日時を指定することができるような場合に、発揮できるものである。これに対して、事象の発生の有無が明確でない場合や事象の発生の有無を知りたいような場合には、上述のような検索機能を利用することができず、基本的に録画映像を全て再生して閲覧するしかない。
【００２０】
このような問題に対して、上述のアラーム検索やマーキング検索は、一連の映像に対して、発生事象への区切りを一覧表示するため、大変有用な機能である。これらの区切りの情報源となるのは、外部センサからの入力や、入力画像に対する画像認識処理の処理結果である。しかしながら、これらの情報には、種々な制約条件、例えば画像認識処理においては風雨雪や逆光等の悪条件等があり、１００％の確度を持った情報ではないのが現状であり、確実性を必要とする場合においては、録画映像を全て再生して閲覧するしかないことに変わりがなかった。
【００２１】
ここで、全ての録画映像を再生して閲覧するにあたって、課題となるのが所要時間である。時間節約の方法の１つとして、早送り再生により閲覧する方法があるが、この方法では、注視すべき事象が存在する映像部分においても瞬時に過ぎ去ってしまうため、見逃さないためには閲覧者に多大な緊張感を長時間持続させることを強いることになる。また、逆に、注視事象を見逃す要因にもなる。
また、近年、ＨＤＤの大容量化が進み、録画映像の量（時間長）は飛躍的に増大していて、上述の傾向はますます強まる方向にある。
【００２２】
本発明は、このような従来の事情に鑑み為されたもので、例えば、事象の発生の有無が明確でなく、全ての録画映像を閲覧する必要があるような場合においても、閲覧者にとって閲覧の負担を少なくすることができる映像処理方法を提供することを目的とする。
【課題を解決するための手段】
【００２３】
上記目的を達成するため、本発明では、撮像装置により撮像された映像を映像処理装置により処理する映像処理方法において、次のような構成とした。
すなわち、前記映像処理装置は、前記撮像装置により撮像された複数の所定単位の映像のそれぞれについて基準となる定常状態の映像との変位量を示す情報を取得し、当該取得した変位量を示す情報に基づいて前記複数の所定単位の映像を変位量が大きい方から小さい方への順序を用いて表示する。
従って、定常状態からの変位量が大きいものを優先した順序で映像が表示されるため、例えば、事象の発生の有無が明確でなく、全ての録画映像を閲覧する必要があるような場合においても、閲覧者にとって閲覧の負担を少なくすることができる。
【００２４】
ここで、映像処理装置としては、種々な構成のものが用いられてもよく、例えば、１つの装置が用いられてもよく、或いは、複数の装置から構成されて、それぞれの装置により本発明に係る複数の処理が分担されて行われてもよい。
一例として、図５の例では、ネットワークカメラ２０２により撮像装置が構成されており、録画装置２０１と監視端末２０３により映像処理装置が構成されている。
【００２５】
また、基準となる定常状態の映像としては、種々なものが用いられてもよく、例えば、何も異常などが発生していない状態の映像が用いられ、また、時間帯などによって複数の定常状態の映像が切り替えられてもよい。
また、所定単位の映像としては、種々な単位が用いられてもよく、例えば、１フレームの単位が用いられてもよく、或いは、２つ以上のフレームのまとまりの単位が用いられてもよい。
【００２６】
また、変位量としては、変化（違い）を表す量が用いられ、例えば、非類似度と同様なものであり、類似度とは逆の指標である。このため、変位量を示す情報の代わりに、非類似度を示す情報或いは類似度を示す情報、或いは同様な性質を有する他の用語を使用した情報が用いられても、実質的には同じであり、本発明に含まれる。
また、変位量（或いは、非類似度）としては、どのようにして求められてもよく、例えば、映像（画像）についての１つ以上の特徴量がどれくらい違っているかを表す量を用いることができる。類似度については、例えば、映像（画像）についての１つ以上の特徴量がどれくらい似ているかを表す量を用いることができる。
また、変位量を示す情報としては、例えば、複数の映像フレームの変位量についての平均値の情報を用いることも可能である。
【００２７】
また、複数の所定単位の映像を変位量が大きい方から小さい方への順序を用いて表示する態様としては、種々な態様が用いられてもよく、例えば、複数の所定単位の映像の全てを表示する態様が用いられてもよく、或いは、変位量が大きい方のものを優先させて、複数の所定単位の映像のうちの一部のみを表示する態様が用いられてもよい。
また、複数の所定単位の映像自体を表示（再生）する態様ばかりでなく、例えば、複数の所定単位の映像のそれぞれを表すマーク等（例えば、所定の形状や、名称を表す文字等）を変位量が大きい方から小さい方への順序で並べて一覧表示するような態様が用いられてもよい。
【００２８】
本発明に係る映像処理方法では、一構成例として、次のような構成とした。
すなわち、前記所定単位の映像として、複数の映像フレームからなる映像区間の映像が用いられる。
従って、複数の映像フレームのまとまりである映像区間が映像の単位となるため、例えば、所定単位の映像としてフレーム単位の映像が用いられるような場合と比べて、閲覧者にとって閲覧をし易くすることができる。
【００２９】
本発明に係る映像処理方法では、一構成例として、次のような構成とした。
すなわち、前記映像処理装置は、前記定常状態の映像の特徴量を示す情報を取得し、前記撮像装置により撮像された映像フレームの特徴量を示す情報を取得し、前記映像フレームの特徴量を示す情報と前記定常状態の映像の特徴量を示す情報に基づいてこれらの変位量を示す情報を取得し、時系列順における映像フレームの前記変位量の変化に基づいて映像区間を区切って映像区間の長さを決定し、各映像区間に含まれる映像フレームの前記変位量の平均を示す情報を当該各映像区間の変位量を示す情報として取得し、当該取得した各映像区間の変位量を示す情報と当該各映像区間の映像とを対応付けて記録手段に記録する。
従って、時系列順における映像フレームの変位量の変化に基づいて映像区間が区切られるため、例えば、変位量が近い映像フレームのまとまり毎に映像区間を区切ることができ、また、各映像区間の変位量を示す情報と当該各映像区間の映像とが対応付けて記録されるため、変位量に基づく再生や検索の処理に役立てることができる。
【００３０】
ここで、定常状態の映像の特徴量を示す情報としては、例えば、複数の映像フレームについての平均値が用いられてもよい。
また、特徴量としては、例えば、１種類の特徴量が用いられてもよく、或いは、複数種類の特徴量を考慮したものが用いられてもよい。
【００３１】
また、時系列順における映像フレームの変位量の変化に基づいて映像区間を区切る態様としては、例えば、ある映像区間の先頭の区切り位置以降の映像フレームの変位量の平均値と今回の映像フレームの変位量との差分が所定の閾値以上である（又は、所定の閾値を超える）場合に、今回の映像フレームを次の映像区間に入れるように区切るような態様を用いることができる。他の例として、時系列順における前後の映像フレームの変位量の差分が所定の閾値以上である（又は、所定の閾値を超える）場合に、その２つの映像フレームの間で区切るような態様を用いることも可能である。
なお、各映像区間に含まれる映像フレームの変位量の平均を示す情報が映像区間の区切り処理で取得されて使用される場合には、それ以降の処理で、その情報を利用することが可能である。
【００３２】
また、各映像区間の変位量を示す情報と各映像区間の映像とを対応付けて記録する態様としては、例えば、各映像区間の先頭の映像フレームを識別する情報（先頭ＩＤ）と末尾の映像フレームを識別する情報（末尾ＩＤ）と当該各映像区間の変位量を示す情報を対応付けて記録するとともに、各映像フレームの映像データと当該各映像フレームを識別する情報（ＩＤ）とを対応付けて記録するような態様を用いることもできる。
【発明の効果】
【００３３】
以上説明したように、本発明に係る映像処理方法によると、定常状態からの変位量が大きいものを優先した順序で映像が表示されるため、例えば、事象の発生の有無が明確でなく、全ての録画映像を閲覧する必要があるような場合においても、閲覧者にとって閲覧の負担を少なくすることができる。
【発明を実施するための最良の形態】
【００３４】
本発明に係る実施例を図面を参照して説明する。
【実施例１】
【００３５】
まず、本例の再生の概要を示す。
図１には、映像の再生の様子の一例を示してある。
具体的には、横軸は定常映像との変位量軸２であり、左側が変位量大であり右側が変位量小であることを表している。また、一連の映像を示してあり、その一連の映像の一部分として映像中の１フレーム（映像フレーム１）を表現してある。
本例の再生では、図１において、変位量軸２の左から右に向かって１フレームずつ順に一定時間間隔に表示していく処理となる。
ここで、本例では、変位量とは、類似度の逆の指標であり、非類似度と言うこともできる。つまり、本例では、類似しないものから類似するものへの順に映像を再生する。
【００３６】
上記した図１では、従来例に係る図１９との差異を明確にして説明の簡易さを図るために、１フレームを単位として表現した。
しかしながら、並びの単位が１フレームであると、隣接フレーム間で全く図柄の異なる相関の無いフレームが再生される場合があり、結果として、監視者にとって意味のなさない映像となってしまう可能性がある。このため、映像の単位としては、実際には、時間的に連続した複数フレームから構成することが望ましい。
【００３７】
図２には、映像区間を単位とした映像の再生の様子の一例を示してある。
具体的には、横軸は変位量軸１２であり、また、時間的に連続した複数フレームを映像区間１１として直方体で表現している。
ここで、映像区間１１の時間長は、扱う映像の種類によって適正値が決められる性質のものであり、例えば、変位量が大きく変化する点を動的に検知してその変化点を基に決定される可変値であることが望ましいが、場合によっては予め設定した固定値でもよい。
つまり、各映像区間としては、例えば、閾値等を用いて変化があったときを検出して、２つの変化点の範囲内にある最初のフレームから最後のフレームまでの区間としてもよく、或いは、閾値等を用いて変化があったときに最初のフレームを決めて、そこから固定長の長さとしてもよい。
【００３８】
次に、図３及び図４を参照して、上述の変位量の求め方を説明する。
図３を参照して、映像の特徴量の求め方を説明する。
まず、定常映像を考える。定常映像としては、例えば、予め何も異常が無いときの映像をとっておいて、変位量を求めるための基準とする。
なお、定常映像としては、最初に１回とっておけばよく、或いは、昼と夕と夜などのように幾つかとっておいて、時間帯などに応じて切り替えてもよい。
【００３９】
図３において、横軸は時刻ｔを表している。また、定常映像に含まれる複数のフレーム２１〜２５を示してある。これら複数のフレーム２１〜２５の並びは、左から右への時系列を表している。
それぞれのフレーム２１〜２５に対する特徴量抽出処理３１〜３５により、それぞれのフレーム２１〜２５についての特徴量（ベクトル）４１〜４５が求められる。これら複数の特徴量４１〜４５について平均化処理５１を行うことにより、平均特徴量（定常映像特徴量ベクトル）５２が求められる。
なお、図３では、定常映像の時間長５３を表しており、また、繰り返し部分には「・・・」等の省略表記を用いている。
【００４０】
本例では、変位量の算出には、上述の類似度算出技術を使用する。非類似度を求める対象は、定常映像と入力フレームとの２者間である。
非類似度の算出には、それぞれの映像からの画像特徴量の抽出が必要である。
定常映像からの特徴量抽出処理３１〜３５は、定常映像に含まれる全てのフレーム、或いは、そこからサンプリングされた数フレームに対して実施する。抽出した各フレームの特徴量４１〜４５について平均化処理５１が実施されて、定常映像の特徴量（平均特徴量）５２が求められる。
【００４１】
また、定常映像の長さ５３としては、目的に応じた任意の長さでよい。例えば、屋内映像の場合には日照変化等が少なく映像のばらつきが小さいため比較的短い映像でもよく、屋外映像の場合にはより長期間の映像から構成する必要がある。また、逆に、屋外映像の場合には、時間帯毎に定常映像を切り替えながら非類似度（類似度）を求めていくようにしてもよく、その場合には定常映像の長さは比較的短くなる。
【００４２】
図４を参照して、非類似度（変位量）の求め方を説明する。
横軸は時刻ｔを表しており、また、映像監視の運用時における複数の入力フレーム６１〜６６を示してある。これら複数の入力フレーム６１〜６６の並びは、左から右への時系列を表している。
それぞれの入力フレーム６１〜６６に対する特徴量抽出処理７１〜７６により、それぞれのフレーム６１〜６６についての特徴量８１〜８６が求められる。
それぞれの入力フレーム６１〜６６についての特徴量８１〜８６に対する定常映像特徴量５２との非類似度算出処理９１〜９６により、それぞれの入力フレーム６１〜６６についての特徴量８１〜８６と定常映像特徴量５２との間での非類似度を算出し、各入力フレーム６１〜６６と定常映像との非類似度１０１〜１０６が求められる。
【００４３】
図４には、横軸を時間として、縦軸を非類似度として、求めた非類似度１０１〜１０６をグラフ化した曲線１１１を示してある。このグラフの曲線１１１において、例えば、非類似度が低い部分から高い部分へ変化する点が、上述の「変位量が大きく変化する点」に相当し、この変化点により決定される映像区間１１２が図２に示される映像区間１１となる。また、非類似度が高い部分から低い部分へ変化する点により決定される映像区間１１３についても同様である。
【００４４】
そして、グラフの曲線１１１に基づいて、映像区間１１２に含まれるフレームの非類似度を平均化処理１１４により平均化して求めた平均非類似度１１６、及び、映像区間１１３に含まれるフレームの非類似度を平均化処理１１５により平均化して求めた平均非類似度１１７が、それぞれ定常映像との非類似度（変位量）となる。
このようにして求めた平均非類似度が大きい、もしくは平均類似度が小さい映像区間から順に再生を行う方式が、図２に示される再生方式である。
【００４５】
ここで、本例では、複数の入力フレームを定常映像との非類似度又は類似度の変化が大きい所で区切ることで映像区間を生成するが、映像区間を区切る手法としては、種々な手法が用いられてもよい。
一例として、図４に示されるように、前回の区切り位置からの非類似度の履歴の平均値と今回のフレームの非類似度との差分が所定の閾値を超えた所で区切るような手法を用いることができる。
他の一例として、隣り合うフレームの非類似度の差分が所定の閾値を超えた所で区切るような手法を用いることができる。
【００４６】
図５には、本発明の一実施例に係る映像監視システムの構成例を示してある。
本例の映像監視システムは、特に本発明に係る特徴的な機能を備えた録画装置２０１と、ネットワークカメラ２０２と、監視端末２０３と、ネットワーク媒体２０４、２０５を有している。
ここで、ネットワークカメラ２０２と録画装置２０１とはネットワーク媒体２０４を介して接続されており、録画装置２０１と監視端末２０３とはネットワーク媒体２０５を介して接続されている。
【００４７】
録画装置２０１は、ネットワーク部２１１と、伸張部２１２と、映像記録部２１３と、特徴量抽出部２１４と、平均特徴量算出部２１５と、平均特徴量記録部２１６と、非類似度算出部２１７と、平均非類似度算出部２１８と、平均非類似度記録部２１９と、制御部２２０から構成される蓄積配信装置である。
監視端末２０３は、ネットワーク部２３１と、伸張部２３２と、表示部２３３と、操作部２３４と、制御部２３５から構成される端末装置であり、例えばＣＲＴや液晶モニタに接続されたパーソナルコンピュータ（ＰＣ）から構成される。
【００４８】
ネットワーク媒体２０４、２０５としては、例えば、ネットワークケーブルや、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）の回線や、公衆回線等が用いられ、発信されたデータを伝送する役割を持つ。また、ここには、ルータやスイッチやハブ等のネットワーク機器も含む。
本例では、ネットワークカメラ２０２と録画装置２０１と監視端末２０３がネットワーク媒体２０４、２０５を介して接続されており、接続された装置間で互いが通信できるようになっている。
【００４９】
ネットワークカメラ２０２は、例えば、映像を撮像（撮影）する撮像部と、撮像映像をデジタル化して場合によっては圧縮処理を施す圧縮部と、ネットワーク部から構成される撮像装置であり、撮像した監視映像をネットワーク伝送に適した形へ変換してネットワーク媒体２０４へ発信する機能を持つ。本例では、カメラ一体型の装置を例に挙げているが、他の構成例として、撮像部を装置の外部に分離したネットワークエンコーダタイプの装置が用いられてもよい。
【００５０】
録画装置２０１は、ネットワークカメラ２０２から発信されてネットワーク媒体２０４を伝送してきた映像を受信して接続された記録媒体に当該映像を記録する機能と、監視端末２０３からの映像配信要求に応じて記録媒体から要求に係る映像を取り出してネットワーク媒体２０５を介して監視端末２０３へ当該映像を配信する機能を持つ。装置内部の処理は制御部２２０により制御され、制御部２２０にはＣＰＵも含まれる。各記録部が記録を行う記録媒体としては、例えば、ＨＤＤ、光ディスクドライブ、半導体ディスクドライブに代表される高速でランダムアクセス可能な記録デバイスを用いる。
【００５１】
監視端末２０３は、ネットワークカメラ２０２により撮像されたライブ映像や録画装置２０１の記録映像を受信してその映像を表示部２３３に表示可能な形へ変換して出力する機能を持つ。例えば、モニタがアナログモニタである場合には、アナログ変換を行う。また、受信した映像が圧縮映像である場合には、伸張部２３２を使用して伸張処理を施す。装置内部の処理は制御部２３５により制御され、制御部２３５にはＣＰＵも含まれる。操作部２３４としては、本例では、マウスやキーボードのような汎用のコンピュータ操作デバイスを用いるが、場合によってはボタン群を配置した専用の操作盤を用いることもできる。表示部２３３としては、本例では、ＣＲＴやＬＣＤのような汎用のコンピュータ表示デバイスを用いるが、場合によってはタッチパネルのような専用の表示モニタを用いることもできる。
【００５２】
ここで、本例では、説明の簡略化のために、録画装置２０１とネットワークカメラ２０２と監視端末２０３として、各１台の構成を示したが、これらはそれぞれネットワーク媒体２０４、２０５に対して複数台の接続も可能である。
また、本例の録画装置２０１としては、いわゆるネットワークデジタルレコーダを例として挙げたが、他の構成例として、カメラからアナログ映像を入力するようないわゆるデジタルビデオレコーダのような録画装置を用いることも可能であり、この場合、ネットワーク部２１１がデジタル変換部及びアナログ変換部となり、ネットワーク媒体２０４、２０５がアナログ信号線となる。
【００５３】
次に、本例の映像監視システムにおいて行われる処理の流れの一例を示す。
図６には、定常映像に対する平均特徴量を求める際の録画装置２０１における処理の流れの一例を示してある。
まず、ネットワーク部２１１は、ネットワークカメラ２０２から入力されたデジタル映像を受信して、伸張部２１２に入力する（ステップＳ１）。伸張部２１２は、入力映像に対してデータ伸張処理を行い、その結果を特徴量抽出部２１４に入力する（ステップＳ２）。特徴量抽出部２１４は、入力された映像の特徴量ベクトルを算出し、算出した特徴量ベクトルを平均特徴量算出部２１５に入力する（ステップＳ３）。平均特徴量算出部２１５は、入力された特徴量ベクトルの累積値を保持し、それにより平均特徴量ベクトルを算出し、算出した平均特徴量ベクトルを平均特徴量記録部２１６に入力する（ステップＳ４）。平均特徴量記録部２１６は、入力された平均特徴量ベクトルを記録媒体に記録する（ステップＳ５）。
【００５４】
ここで、特徴量抽出の対象とする映像のサンプリングや平均特徴量算出部２１５における特徴量累積開始及び平均特徴量の算出等の各処理は、制御部２２０からの指示によって実行される。
本例では、図６に示される処理は、システム設置時等の初期設定時や、ユーザが何らかの理由で平均特徴量を更新したいような場合に、実施する。
【００５５】
図７には、監視映像の録画時の録画装置２０１における処理の流れの一例を示してある。
まず、ネットワーク部２１１は、ネットワークカメラ２０２から入力されたデジタル映像を受信して、映像記録部２１３と伸張部２１２に入力する（ステップＳ１１）。映像記録部２１３は、入力された映像を記録媒体に記録する（ステップＳ１２）。その際、記録映像に対してユニークなＩＤを付与して記録する。更に、このＩＤを伸張部２１２に入力する（ステップＳ１３）。
なお、ＩＤを付与する映像の単位としては、特に限定はなく、例えば、１フレーム毎に連番のＩＤが付与される。
【００５６】
伸張部２１２は、入力された映像に対してデータ伸張処理を行い、伸張した映像をＩＤとともに特徴量抽出部２１４に入力する（ステップＳ１４）。特徴量抽出部２１４は、入力された映像の特徴量ベクトルを算出し、算出した特徴量ベクトルをＩＤとともに非類似度算出部２１７に入力する（ステップＳ１５）。もし、ネットワークカメラ２０２から入力される映像が、その平均輝度を安定化する様な処理が十分なされていないものである場合、求めた特徴量ベクトルをそのフレームの平均輝度で除算してもよい。非類似度算出部２１７は、記録媒体から定常映像の平均特徴量ベクトルを読み出し（ステップＳ１６）、読み出した平均特徴量と入力された特徴量ベクトルから、両者の非類似度を算出し、算出した非類似度をＩＤとともに平均非類似度算出部２１８に入力する（ステップＳ１７）。ここで、読み出した平均特徴量ベクトルは、図６のステップＳ５で記録した値である。
【００５７】
平均非類似度算出部２１８は、入力された非類似度とＩＤの履歴を保持し、非類似度履歴の平均値と今回の入力非類似度との差を比較する（ステップＳ１８）。具体的には、この差と一定値（閾値）との大小関係を比較して（ステップＳ１９）、この差が当該一定値より大きい場合には、非類似度履歴の平均値を平均非類似度として平均非類似度記録部２１９に入力し、その際、履歴の開始時のＩＤ（先頭ＩＤ）とリセット時のＩＤ（末尾ＩＤ）も併せて平均非類似度記録部２１９に入力する（ステップＳ２０）。
ここで、非類似度履歴の平均値とは、リセット直後からの非類似度の平均値であり、先頭ＩＤと末尾ＩＤとの間の映像区間における非類似度の平均値である。
【００５８】
そして、平均非類似度算出部２１８における履歴をリセットして、今回の入力非類似度とＩＤから履歴を再開する（ステップＳ２１）。つまり、今回の入力非類似度とＩＤは前回の履歴には入らずに、次の履歴の先頭となる。
平均非類似度記録部２１９は、入力された平均非類似度と先頭ＩＤ及び末尾ＩＤを記録媒体に記録する（ステップＳ２２）。そして、元の処理（ステップＳ１１）へ戻る。
【００５９】
一方、前記した差が前記した一定値より小さい場合には（ステップＳ１９）、平均非類似度算出部２１８において今回の入力非類似度とＩＤを履歴に加えて（ステップＳ２３）、元の処理（ステップＳ１１）へ戻る。
なお、前記した比較処理（ステップＳ１９）で用いる一定値は、例えば、予め、録画装置２０１のメモリに設定されて記憶されている。
また、各処理は制御部２２０からの指示によって実行される。
【００６０】
図８には、平均非類似度記録部２１９における平均非類似度と先頭ＩＤ及び末尾ＩＤの記録形式の一例を示してある。
本例では、複数のカメラのそれぞれ毎に表２４１の記録形式が用いられている。
あるカメラ（１台のカメラ）の表２４１では、そのカメラにより撮像された映像について、平均非類似度と先頭ＩＤと末尾ＩＤの組み合せが、行方向（図８において、上下方向）を時系列方向として、行番号と対応させて記録してある。各行の情報は、各映像区間の情報となる。
この表２４１は、録画装置２０１に接続されたカメラの数だけ用意される。
また、例えば、表２４１には、上記した情報のほかに、先頭ＩＤの映像の時刻や、末尾ＩＤの映像の時刻などを併せて記録するような構成としてもよい。
【００６１】
次に、操作画面について説明する。
図９には、本例の録画装置２０１を用いた場合における操作画面の一例を示してある。この操作画面は、監視端末２０３の表示部２３３に表示される内容である。なお、操作は監視端末２０３のユーザ（人）により操作部２３４を用いて行われ、画面上のボタンの押下や、画面上の枠への数値等の記入などが行われる。
映像表示部２５１は、映像を表示する領域である。
再生ボタン群２５２では、各ボタンにはそれぞれ固有の再生種類が割り当てられており、映像表示部２５１に表示されている映像に対して新たな再生命令を与えたい場合には、命令に合った再生種類のボタンを押下する。
【００６２】
カメラ切替ボタン群２５３では、各ボタンにはそれぞれ録画対象となっているカメラが割り当てられており、映像表示部２５１に表示されている録画映像を他のカメラの録画映像に切り替えたい場合に押下する。この機能を一般的にカメラ検索と称する。
日時検索ボタン群２５４では、任意の時刻を指定（入力或いは選択）することが可能になっている。時刻指定を行い、検索ボタンを押下することにより、現在において選択中のカメラに対して指定時刻の映像を映像表示部２５１に表示する。この機能を一般的に日時検索と称する。
【００６３】
時刻順再生モードボタン２５５と変位量順再生モードボタン２５６の両ボタンは、択一選択になるように連動しており、時刻順再生モードボタン２５５の選択中に再生ボタン群２５２に対して行われた操作による再生は図１９に示されるように時刻順での再生となり、変位量順再生モードボタン２５６の選択中に再生ボタン群２５２に対して行われた操作による再生は図２に示されるように変位量順（非類似度順）での再生となり、それぞれ映像表示部２５１に再生映像が表示される。
【００６４】
検索範囲指定欄２５７には、検索対象としたい時刻範囲を入力（或いは、選択）することができるようになっている。
変位量検索実行ボタン２５８は、押下されると、カメラ切替ボタン群２５３で選択されているカメラの録画映像について、検索範囲指定欄２５７に入力されている時刻範囲に対して、変位量（非類似度）が大きい順に一覧表示する。本例では、この機能を、変位量検索と称する。
なお、他の構成例として、一覧表示の最大数や変位量の閾値等を指定するための一覧絞り込み用のボタンが設けられてもよい。
【００６５】
図１０には、変位量検索実行ボタン２５８を押下した結果として表示される操作画面の一例を示してある。
検索結果一覧表示欄２６１には、検索処理の結果の一覧が表示され、検索処理の結果として検索条件に合致した映像区間２６２〜２６５が表示されている。
本例の検索結果一覧表示欄２６１では、変位量の大きさについて、左側の方が右側より大きく、上段の方が下段より大きい態様（左＞右、上段＞下段）で、表現されている。具体的には、図１０の例では、最も左側にある映像区間２６２が最も変位量が大きな映像の区間であり、最も右側にある映像区間２６５が最も変位量が小さな映像の区間である。
なお、本例の表現方法は一例であり、逆順での表現が用いられてもよく、或いは、両者（本例の順序とその逆順）を切り替えることを可能としてもよい。
いずれかの映像区間２６２〜２６５を選択すると、映像表示部２５１に選択された映像区間の映像が再生表示される。
【００６６】
図１１には、録画映像を変位量順再生モードにより再生する際の録画装置２０１及び監視端末２０３における処理の流れの一例を示してある。
変位量順再生モードにある監視端末２０３においてユーザが操作を行った場合として、例えば、図９に示される操作画面において再生ボタン群２５２のうち通常再生ボタンを押下した場合には、操作部２３４は操作内容を感知して（ステップＳ３１）、録画装置２０１に対して操作内容から得られる再生条件をネットワーク部２３１を介して送信する（ステップＳ３２）。
ここで、本例では、再生条件として、選択中のカメラ番号、選択中の再生モードの種類、押下された再生種類（例えば、通常再生や早送りや巻戻し等）のセットが用いられている。
【００６７】
録画装置２０１は、待機状態において（ステップＳ４１）、ネットワーク部２１１を介して再生条件を受信し（ステップＳ４２）、平均非類似度記録部２１９を介して対応するカメラの平均非類似度の一覧を記録媒体から取り出す（ステップＳ４３）。そして、取り出した一覧中の行の情報（図８参照。）を非類似度が大きい順に並べ替え（ステップＳ４４）、並べ替えた一覧の先頭行を参照行にセットする（ステップＳ４５）。
次に、参照行にある先頭ＩＤと末尾ＩＤを取り出す（ステップＳ４６）。送信する映像フレームのＩＤ（送信ＩＤ）に前記先頭ＩＤの値をセットし（ステップＳ４７）、送信ＩＤに対応した映像フレームを映像記録部２１３を介して記録媒体より取り出し（ステップＳ４８）、取り出した映像フレームをネットワーク部２１１を介して監視端末２０３に向けて送信し（ステップＳ４９）、送信ＩＤをインクリメントする（ステップＳ５０）。
【００６８】
録画装置２０１では、ステップＳ４８〜ステップＳ５０の処理を送信ＩＤがステップＳ４６の処理で取得した末尾ＩＤの値になるまで繰り返して行う。更に、送信ＩＤが前記末尾ＩＤを超えた場合には（ステップＳ５１）、ステップＳ４４の処理で並べ替えた一覧の２行目以降に対しても、参照行が最後行を超えるまで１行ずつ下にずらしながら（ステップＳ５２）、上記と同様な処理を繰り返して行う（ステップＳ４６〜ステップＳ５２）。
そして、参照行が一覧の最後行を超えた場合には（ステップＳ５３）、ネットワーク部２１１を介して送信完了の通知を監視端末２０３へ送信する（ステップＳ５４）。
【００６９】
監視端末２０３では、ステップＳ４９の処理により録画装置２０１から送信された映像フレームをネットワーク部２３１を介して受信し（ステップＳ３３）、伸張部２３２により受信映像フレームを伸張し（ステップＳ３４）、その結果の映像フレームを表示部２３３により表示する（ステップＳ３５）。
この一連の処理（ステップＳ３３〜ステップＳ３５）は、録画装置２０１から送信完了の通知が送られてくるまで（ステップＳ３６）、一定間隔毎に実施される。
なお、録画装置２０１と監視端末２０３のいずれにおいても、これらの処理は各装置２０１、２０３の制御部２２０、２３５からの指示若しくは制御部２２０、２３５により実施される。
【００７０】
ここで、他の構成例として、本例において録画装置２０１により実施したステップＳ４４〜ステップＳ５２の処理の一部を監視端末２０３により実施するように実装することも可能である。例えば、平均非類似度の一覧を録画装置２０１から監視端末２０３へ送信し、監視端末２０３の側で、ステップＳ４４〜ステップＳ４７の処理及びステップＳ５０〜ステップＳ５２の処理を実施し、求めた送信ＩＤの映像フレームを録画装置２０１側に要求するような構成を用いることができる。
【００７１】
図１２には、録画映像に対して変位量検索を実行する際の録画装置２０１及び監視端末２０３における処理の流れの一例を示してある。
監視端末２０３に対してユーザが変位量検索を実行する操作を行った場合には、操作部２３４は操作内容を感知し（ステップＳ６１）、録画装置２０１に対して操作内容から得られる検索条件をネットワーク部２３１を介して送信する（ステップＳ６１）。
ここで、本例では、検索条件としては、選択中のカメラ番号、検索時刻の範囲が用いられる。
【００７２】
録画装置２０１は、待機状態において（ステップＳ７１）、ネットワーク部２１１を介して検索条件を受信し（ステップＳ７２）、平均非類似度記録部２１９を介して対応するカメラの平均非類似度の一覧を記録媒体から取り出す（ステップＳ７３）。そして、取り出した一覧中の行の情報（図８参照。）を非類似度が大きい順に並べ替え（ステップＳ７４）、並べ替えた一覧の先頭行を参照行にセットする（ステップＳ７５）。
次に、参照行にある先頭ＩＤと末尾ＩＤを取り出し（ステップＳ７６）、先頭ＩＤに対応した映像フレームを映像記録部２１３を介して記録媒体より取り出し（ステップＳ７７）、取り出した映像フレームと先頭ＩＤ及び末尾ＩＤをネットワーク部２１１を介して監視端末２０３に向けて送信し（ステップＳ７８）、参照行を１行下にずらす（ステップＳ７９）。
録画装置２０１では、ステップＳ７６〜ステップＳ７９の処理を参照行が最後行を超えるまで繰り返して行う。参照行が一覧の最後行を超えた場合には（ステップＳ８０）、ネットワーク部２１１を介して送信完了の通知を監視端末２０３へ送信する（ステップＳ８１）。
【００７３】
監視端末２０３は、ステップＳ７８の処理で録画装置２０１から送信された映像フレームと先頭ＩＤ及び末尾ＩＤをネットワーク部２３１を介して受信する（ステップＳ６３）。そして、受信した映像フレームを伸張部２３２により伸張し（ステップＳ６４）、その結果から得られる映像区間を表示部２３３により一覧表示する（ステップＳ６５）。
ここで、一覧表示される各映像区間の表面には、ステップＳ６４の処理で伸張した映像を縮小表示する。また、図１０に示されるような映像区間２６２〜２６５の長さを示す立方体の厚みは、先頭ＩＤと末尾ＩＤとの差分によって求める。
この一連の処理（ステップＳ６３〜ステップＳ６５の処理）は、録画装置２０１から送信完了の通知が送られてくるまで（ステップＳ６６）、続けて実施される。
なお、録画装置２０１と監視端末２０３のいずれにおいても、これらの処理は各装置２０１、２０３の制御部２２０、２３５からの指示若しくは制御部２２０、２３５により実施される。
【００７４】
ここで、本例では、ステップＳ７７の処理で取り出す映像フレームを先頭ＩＤに基づくものとしたが、他の構成例として、末尾ＩＤや中間ＩＤ（先頭と末尾の中間に位置するＩＤ）などに基づく映像フレームが用いられてもよい。
また、他の構成例として、本例において録画装置２０１により実施したステップＳ７４〜ステップＳ７９の処理の一部を監視端末２０３により実施するように実装することも可能である。例えば、平均非類似度の一覧を録画装置２０１から監視端末２０３へ送信し、監視端末２０３の側で、ステップＳ７４〜ステップＳ７６の処理を実施して、求めた先頭ＩＤの映像フレームを録画装置２０１の側に要求するような構成を用いることができる。
【００７５】
次に、統計レポートの出力機能について説明する。
図１３には、監視端末２０３の表示部２３３に表示される内容（操作画面）の一例を示してある。
表示範囲指定欄２７１、２７２には、表示対象としたい時刻範囲を入力（或いは、選択）することができるようになっており、表示範囲指定欄２７１には指定したい時刻範囲の最も古い時刻（先頭日時）を入力し、表示範囲指定欄２７２には指定したい時刻範囲の最も新しい時刻（末尾日時）を入力する。
統計表示実行ボタン２７３は、押下されると、カメラ切替ボタン群２５３で選択されているカメラの録画映像について、表示範囲指定欄２７１、２７２に入力されている時刻範囲に対して、変位量と時系列との関係をグラフ表示する。本例では、この機能を、統計レポート出力機能と称する。
【００７６】
図１４には、統計表示実行ボタン２７３を押下した結果として表示される操作画面の一例を示してある。
統計レポート表示欄２８１には、統計レポートがグラフ表示される。
具体的には、時系列軸２８２と、変位量軸２８３と、グラフの線分２８４が表示される。
時系列軸２８２では、左端が表示範囲指定欄２７１で与えた時刻（先頭日時）を指し、右端が表示範囲指定欄２７２で与えた時刻（末尾日時）を指す。変位量軸２８３では、原点から離れるほど変位量が大きいことを示す。グラフの線分２８４は、変位量を時系列に連続表示した線分である。
【００７７】
図１５には、録画映像に対して統計レポート出力を実行する際の録画装置２０１及び監視端末２０３における処理の流れの一例を示してある。
監視端末２０３に対してユーザが統計レポート表示を実行する操作を行った場合には、操作部２３４は操作内容を感知し（ステップＳ９１）、録画装置２０１に対して操作内容から得られる表示条件をネットワーク部２３１を介して送信する（ステップＳ９２）。
ここで、表示条件としては、本例では、選択中のカメラ番号、表示時刻の範囲が用いられる。
【００７８】
録画装置２０１では、待機状態において（ステップＳ１０１）、ネットワーク部２１１を介して表示条件を受信し（ステップＳ１０２）、平均非類似度記録部２１９を介して対応するカメラの平均非類似度の一覧を記録媒体から取り出す（ステップＳ１０３）。そして、取り出した一覧から、表示時刻の範囲に該当する行の情報（図８参照。）を抽出し（ステップＳ１０４）、抽出した行の情報をネットワーク部２１１を介して監視端末２０３に向けて送信する（ステップＳ１０５）。
【００７９】
監視端末２０３では、録画装置２０１から送信された抽出行の情報をネットワーク部２３１を介して受信し（ステップＳ９３）、抽出行の先頭行を参照行としてセットする（ステップＳ９４）。
次に、参照行から平均非類似度と先頭ＩＤ及び末尾ＩＤを取り出して、平均非類似度から変位量を算出する（ステップＳ９５）。そして、算出した変位量と先頭ＩＤを示す点と、算出した変位量と末尾ＩＤを示す点をプロットする（ステップＳ９６）。２行目以降に対しても、参照行が抽出行の最後行を超えるまで１行ずつ下にずらしながら（ステップＳ９７）、上記と同様な処理を繰り返して行う。
【００８０】
この一連の処理（ステップＳ９５〜ステップＳ９７）は、録画装置２０１から送信された抽出行が最終行に達するまで続けて実施され、最終行に達した場合には（ステップＳ９８）、全てのプロット点の間を線分で結んで画面表示する（ステップＳ９９）。
なお、録画装置２０１と監視端末２０３のいずれにおいても、これらの処理は各装置２０１、２０３の制御部２２０、２３５からの指示若しくは制御部２２０、２３５により実施される。
【００８１】
このような統計レポートの機能を使用することにより、ユーザは指定した時刻範囲の映像の全体的な傾向を、その映像を再生して見る前に把握することができ、再生時の負担を更に軽減することが可能となる。
ここで、本例では、画面に対するユーザ操作に基づいて随時レポートが表示される場合を示したが、他の構成例として、定期的に自動でレポートの作成や表示を実施する構成とすることも可能である。
また、出力の形態としては、監視端末２０３における操作画面上や、録画装置２０１における操作画面上に限られず、例えば、電子メール等の通信機能により送信した先の装置が有する画面上への表示や印刷物の形態が用いられてもよい。
【００８２】
以上のように、本例の映像再生方式では、映像撮像装置（本例では、カメラ）２０２と映像記録装置（本例では、録画装置）２０１と監視端末２０３からなる映像監視システムにおいて、定常状態の映像からの変位量に従って映像の表示順を決定する処理を含む。
また、本例の映像再生方式では、表示単位を映像区間とし、その映像区間の長さを変位量の変化に基づいて決定する処理を含む。
また、本例の映像記録方式では、定常映像の平均特徴量を求める処理と、監視状態の映像の特徴量を求める処理と、両者の特徴量の変位量（類似度の逆の指標であり、類似度を用いても実質的に同じである）を求める処理と、映像区間長を変位量の変化を基に決定する処理と、映像区間における平均変位量（本例では、平均非類似度）を求める処理と、求めた平均変位量と監視映像とを対応付けて記録する処理を含む。
また、本例の映像検索方式では、定常映像からの変位量に従って、映像区間を一覧表示する処理を含む。
また、本例の映像閲覧方式では、監視映像における定常映像からの変位量をグラフ表示（図１４参照。）する処理を含む。
【００８３】
このように、本例では、映像撮像装置により撮像した映像を用いて監視を行う映像監視システムにおいて、録画映像に対して定常映像との変位量を求め、変位量が大きい映像を優先的に表示や再生することなどが行われる。
従って、本例では、録画映像全体の再生時間長の中で、閲覧者の集中力を必要とする時間を局所化することができ、監視の負担の軽減を図ることができる。
【００８４】
ここで、本例では、全ての映像フレームが必ずいずれかの映像区間に属する構成例を示した。
また、本例では、全ての映像フレームについて特徴量を算出する構成を示したが、他の構成例として、一部の映像フレームについては特徴量を算出せずに、予め設定された規則に従って、当該一部の映像フレームをその前の映像フレームと同じ映像区間に含める、或いは、当該一部の映像フレームをその後の映像フレームと同じ映像区間に含めるような態様を用いることも可能である。
【００８５】
また、本例では、平均非類似度を記録時に算出して、表２４１等のように映像区間毎に記録するようにしたが、変位量順に再生する必要が生じた時点で、表２４１等を作成しても良い。また、表２４１等のように非類似度を記録するだけでなく、それを求める際に用いた平均特徴量ベクトルと入力特徴量ベクトルの差分自体の平均値（ベクトル）も記録するようにしても良い。
また本例では、特徴量ベクトルとして、画像全体を所定サイズに分割して得られる各領域におけるＲＧＢヒストグラムや輝度勾配分布などの一部を成分とするようにしたが、この様な純粋に統計的な値の他、ウェーブレット変換の係数や、オプティカルフロー法で検出した動きベクトルなどの分布を用いることもできる。
本例によれば、非類似度を算出するのに空間的特徴量という時間的概念のない量を用いるようにしたので、動きベクトル検出が困難な低フレームレート映像やタイムラプス映像に対しても、適用することができる。また生の画像データではなくデータ量が圧縮された特徴量ベクトルを用いるようにしたので、定常映像の特徴量ベクトルをキャッシュに格納でき、生の画像データを必要とする差分法ベースの物体検出（動き検出）と比べてメモリアクセスを削減して高速に動作させることができる。特に伸張（Ｓ１４）と特徴量抽出（Ｓ１５）を同時並行に処理すると更に良い。またカメラのパンチルトに関するプリリセット位置ごとに複数の定常画像を切替可能に用いることも容易にできる。
【実施例２】
【００８６】
本例は、先に説明した映像処理装置における初期動作の他の詳細例を説明するものである。
ステップ２０１として、定常映像と、その定常映像の付近において異常（定常映像と異なる）と検出されるべき複数の想定異常画像とのセットを１ないし複数用意する。
ステップ２０２として、夫々のセットにおいて、定常映像と想定異常画像との、特徴量ベクトルの差を求める。なお、ここで言う特徴量ベクトルは、画像の全領域から均等に算出される統計的な値であり、画像を所定サイズに分割して得られる各領域におけるＲＧＢヒストグラムや輝度勾配分布の全てを成分として含んでおり、成分の数は１０００程度になりうる。
ステップ２０３として、夫々のセットにおいて、特徴量ベクトルの成分を大きい順に、相互相関の低いものを選びだす。相互相関の大きさは、前記領域が空間的に近く、且つその領域における特徴量成分の大きさが近い時に、大きいと推定できる。
ステップ２０４として、夫々のセットにおいて選び出された成分を、対応する成分毎に足し合わせ、足しあわされた成分それぞれの絶対値に基づいて当該成分の重みを決定する。ステップ２０３で選び出されなかった成分や当該重みが所定値より小さい成分は使用せず、以後の非類似度の算出に採用する成分の数を数十程度に絞る。
【図面の簡単な説明】
【００８７】
【図１】本発明の一実施例に係る映像フレームの再生の一例を示す図である。
【図２】本発明の一実施例に係る映像区間の再生の一例を示す図である。
【図３】本発明の一実施例に係る特徴量の求め方の一例を示す図である。
【図４】本発明の一実施例に係る非類似度の求め方の一例を示す図である。
【図５】本発明の一実施例に係る映像監視システムの構成例を示す図である。
【図６】本発明の一実施例に係る定常映像に対する平均特徴量を求める際の録画装置における処理の流れの一例を示す図である。
【図７】本発明の一実施例に係る録画時の録画装置における処理の流れの一例を示す図である。
【図８】本発明の一実施例に係る平均非類似度とＩＤの記録形式の一例を示す図である。
【図９】本発明の一実施例に係る録画装置を用いた場合における操作画面の一例を示す図である。
【図１０】本発明の一実施例に係る変位量検索実行ボタンを押下した結果として表示される操作画面の一例を示す図である。
【図１１】本発明の一実施例に係る録画映像を変位量順再生モードで再生する際の録画装置及び監視端末における処理の流れの一例を示す図である。
【図１２】本発明の一実施例に係る録画映像に対して変位量検索を実行する際の録画装置及び監視端末における処理の流れの一例を示す図である。
【図１３】本発明の一実施例に係る統計レポート出力機能の操作画面の一例を示す図である。
【図１４】本発明の一実施例に係る統計表示実行ボタンを押下した結果として表示される操作画面の一例を示す図である。
【図１５】本発明の一実施例に係る録画映像に対して統計レポート出力を実行する際の録画装置及び監視端末における処理の流れの一例を示す図である。
【図１６】記録媒体にＨＤＤを用いた録画装置を含んだ映像監視システムの一例を示す図である。
【図１７】記録媒体にＨＤＤを用いた録画装置を含んだ映像監視システムの他の一例を示す図である。
【図１８】記録媒体にＨＤＤを用いた録画装置を用いた場合における操作画面の一例を示す図である。
【図１９】映像フレームの再生の一例を示す図である。
【符号の説明】
【００８８】
１、３７１・・映像、 ２・・時間軸、 １１、１１２、１１３、２６２〜２６５・・映像区間、 １２・・変位量、 ２１〜２５・・フレーム、 ３１〜３５、７１〜７６・・特徴量抽出処理、 ４１〜４５、８１〜８６・・特徴量、 ５１・・特徴量平均化処理、 ５２・・平均特徴量、 ５３・・定常映像の時間長、 ６１〜６６・・入力フレーム、 ９１〜９６・・非類似度算出処理、 １０１〜１０６・・非類似度、 １１１・・非類似度グラフ、 １１４、１１５・・非類似度平均化処理、 １１６、１１７・・平均非類似度、 ２０１、３０１、３３１・・録画装置、 ２０２、３３２・・ネットワークカメラ、 ２０３、３３３・・監視端末、 ２０４、２０５・・ネットワーク媒体、 ２１１、２３１、３４１、３５１・・ネットワーク部、 ２１２、２３２、３１４、３５２・・伸張部、 ２１３・・映像記録部、 ２１４・・特徴量抽出部、 ２１５・・平均特徴量抽出部、 ２１６・・平均特徴量記録部、 ２１７・・非類似度算出部、 ２１８・・平均非類似度算出部、 ２１９・・平均非類似度記録部、 ２２０、２３５、３１７、３４３、３５５・・制御部、 ２３３、３２１、３５３・・表示部、 ２３４、３１６、３５４・・操作部、 ２４１・・表、 ２５１、３６１・・映像表示部、 ２５２、３６２・・再生ボタン群、 ２５３、３６３・・カメラ切替ボタン群、 ２５４、３６４・・日時検索ボタン群、 ２５５・・時刻順再生モードボタン、 ２５６・・変位量順再生モードボタン、 ２５７・・検索範囲指定欄、 ２５８・・変位量検索実行ボタン、 ２６１・・検索結果一覧表示欄、 ２７１、２７２・・表示範囲指定欄、 ２７３・・統計表示実行ボタン、 ２８１・・統計レポート表示欄、 ２８２・・時系列軸、 ２８３・・変位量軸、 ２８４・・線分、 ３０２・・カメラ、 ３０３・・モニタ、 ３１１・・デジタル変換部、 ３１２・・アナログ変換部、 ３１３・・圧縮部、 ３１５、３４２・・記録部、 ３６５・・アラーム録画一覧表示部、 ３７２・・変位量軸、
【特許請求の範囲】
【請求項１】
撮像装置により撮像された映像を映像処理装置により処理する映像処理方法において、
前記映像処理装置は、前記撮像装置により撮像された複数の所定単位の映像のそれぞれについて基準となる定常状態の映像との変位量を示す情報を取得し、当該取得した変位量を示す情報に基づいて前記複数の所定単位の映像を変位量が大きい方から小さい方への順序を用いて表示する、
ことを特徴とする映像処理方法。
【請求項２】
請求項１に記載の映像処理方法において、
前記所定単位の映像として、複数の映像フレームからなる映像区間の映像が用いられる、
ことを特徴とする映像処理方法。
【請求項３】
請求項２に記載の映像処理方法において、
前記映像処理装置は、前記定常状態の映像の特徴量を示す情報を取得し、前記撮像装置により撮像された映像フレームの特徴量を示す情報を取得し、前記映像フレームの特徴量を示す情報と前記定常状態の映像の特徴量を示す情報に基づいてこれらの変位量を示す情報を取得し、時系列順における映像フレームの前記変位量の変化に基づいて映像区間を区切って映像区間の長さを決定し、各映像区間に含まれる映像フレームの前記変位量の平均を示す情報を当該各映像区間の変位量を示す情報として取得し、当該取得した各映像区間の変位量を示す情報と当該各映像区間の映像とを対応付けて記録手段に記録する、
ことを特徴とする映像処理方法。
【請求項１】
撮像装置により撮像された映像を映像処理装置により処理する映像処理方法において、
前記映像処理装置は、前記撮像装置により撮像された複数の所定単位の映像のそれぞれについて基準となる定常状態の映像との変位量を示す情報を取得し、当該取得した変位量を示す情報に基づいて前記複数の所定単位の映像を変位量が大きい方から小さい方への順序を用いて表示する、
ことを特徴とする映像処理方法。
【請求項２】
請求項１に記載の映像処理方法において、
前記所定単位の映像として、複数の映像フレームからなる映像区間の映像が用いられる、
ことを特徴とする映像処理方法。
【請求項３】
請求項２に記載の映像処理方法において、
前記映像処理装置は、前記定常状態の映像の特徴量を示す情報を取得し、前記撮像装置により撮像された映像フレームの特徴量を示す情報を取得し、前記映像フレームの特徴量を示す情報と前記定常状態の映像の特徴量を示す情報に基づいてこれらの変位量を示す情報を取得し、時系列順における映像フレームの前記変位量の変化に基づいて映像区間を区切って映像区間の長さを決定し、各映像区間に含まれる映像フレームの前記変位量の平均を示す情報を当該各映像区間の変位量を示す情報として取得し、当該取得した各映像区間の変位量を示す情報と当該各映像区間の映像とを対応付けて記録手段に記録する、
ことを特徴とする映像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【公開番号】特開２００９−２１７６０（Ｐ２００９−２１７６０Ａ）
【公開日】平成２１年１月２９日（２００９．１．２９）
【国際特許分類】
【出願番号】特願２００７−１８２０１７（Ｐ２００７−１８２０１７）
【出願日】平成１９年７月１１日（２００７．７．１１）
【出願人】（０００００１１２２）株式会社日立国際電気 (5,007)
【Ｆターム（参考）】
【公開日】平成２１年１月２９日（２００９．１．２９）
【国際特許分類】
【出願日】平成１９年７月１１日（２００７．７．１１）
【出願人】（０００００１１２２）株式会社日立国際電気 (5,007)
【Ｆターム（参考）】
[ Back to top ]