映像確認装置、その方法、及びプログラム
【課題】監視カメラの映像において一連の動きがある時間帯のフレームを所定間隔で重畳して一のフレームを生成する映像確認装置等を提供する。
【解決手段】撮影時刻の異なる複数のフレームを有する撮像情報を格納し、格納された撮像情報において、任意の一のフレームと当該任意の一のフレームとは異なる撮影時刻のフレーム、又は予め撮像された背景フレームとを比較して画素値に相違がある領域を検出し、検出した画素領域を差分領域として抽出する差分抽出部３２０と、差分領域を検出した開始フレームから、前記差分領域の変化が連続して検出されている検出区間のフレームを重畳して一のフレームを生成する重畳部３３０とを備える。
【解決手段】撮影時刻の異なる複数のフレームを有する撮像情報を格納し、格納された撮像情報において、任意の一のフレームと当該任意の一のフレームとは異なる撮影時刻のフレーム、又は予め撮像された背景フレームとを比較して画素値に相違がある領域を検出し、検出した画素領域を差分領域として抽出する差分抽出部３２０と、差分領域を検出した開始フレームから、前記差分領域の変化が連続して検出されている検出区間のフレームを重畳して一のフレームを生成する重畳部３３０とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視カメラで撮像された映像を確認する映像確認装置に関する。
【背景技術】
【０００２】
建物や施設等の監視は、監視カメラで撮影された映像をモニタで表示して行われている。撮像された監視映像は、蓄積されて保存され、後にその時の状況を確認等する際に使用される場合がある。状況を確認する場合には、確認したい映像を時刻指定で頭出ししたり、実時間再生や早送り再生等で再生し、必要な時間帯の映像を抽出して確認することになる。
【０００３】
また、最近では、公共の場における監視カメラの数が増えており、本来の目的ではないが、防犯カメラの映像が思わぬ犯罪解決に結びつくケースも多くある。例えば、本来は万引き防止のために設置した店内の防犯カメラの映像に、たまたまひき逃げを起こして逃走中の車が撮像され、その映像を元にして犯人を検挙するようなケースがある。
上記に関連して、動画像におけるシーンの検索や、インデックスによる動画の頭出しに関する技術として特許文献１ないし３に示す技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平９−２１４８６６号公報
【特許文献２】特開２０００−２１７０５４号公報
【特許文献３】特開平６−１５３１３０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、蓄積された映像による確認では、次のような問題がある。まず、人に侵入された場合や物が持ち去られた場合等、事象が発生した時刻の特定がしづらい場合、確認する映像の頭出しが困難となってしまう。また、映像を確認する際に早送り再生等で行うと、再生速度が速いため見落としが発生しやすくなってしまう。
【０００６】
さらに、物が持ち去られた場合や壊された場合等、ある時点で状況が変化し、その変化状態が変化後も維持されている場合は、変化の発生時刻の範囲を絞ることが可能である。しかし、不審者が居て立ち去った場合等、ある時点で状況が変化したが、変化後の状態が維持されず、変化前の状態に戻ってしまう場合は、特に見落としが発生しやすい。さらにまた、上記のような場合、映像を確認するのに多大な時間を要してしまう。
【０００７】
監視カメラの映像を確認する場合には、ある場所に固定で設置された監視カメラの映像を確認するため、基本的には映像全体の変化が少なく確認が不要な時間帯も多く存在する。当然、人通りや車通りが多い場所においては、多くの時間帯で確認が必要になるが、それでも深夜等の時間帯には映像の変化が少なく、確認が不要な時間帯が多く存在する。
【０００８】
特許文献１に示す技術は、シーンごとの画面の動きを示すことができるが、動きがない時間帯と動きがある時間帯との区別ができず、動きがある時間帯のみを抽出することができない。そのため、確認が不要な時間帯の映像も確認作業や早送り再生等が必要になり、上述した問題を解決することができない。
【０００９】
特許文献２に示す技術は、２つの映像フレームから動き情報を抽出するため、動きが微小な場合や、２つの映像の間に大きな動きがある場合には、動きの流れを一見して把握することが困難になってしまうという課題を有する。
【００１０】
特許文献３に示す技術は、複数のインデックス画像に基づいて再生位置を指定するため、複数のインデックス画像が予め設定される必要があり、動きがある時間帯のように監視において必要な時間帯の映像情報を抽出することができないという課題を有する。
【００１１】
そこで、本発明は上記課題を解決するためになされたものであり、監視カメラの映像において一連の動きがある時間帯の複数のフレームを重畳して一のフレームを生成する映像確認装置等を提供することを目的とする。
【課題を解決するための手段】
【００１２】
本願に開示する映像確認装置は、一のカメラで撮像された連続するフレームからなる撮像情報を格納する撮像情報格納手段を備える。また、前記撮像情報において、任意の一のフレームと当該任意の一のフレームから所定時間前のフレーム、又は予め撮像された背景フレームとを比較して画素値に相違がある領域を差分領域として抽出する差分領域抽出手段を備える。さらに、差分領域が検出された開始フレームから、前記差分領域の変化が連続して検出されている検出区間のフレームを所定間隔で重畳して一のフレームを生成する重畳手段を備える。
【発明の効果】
【００１３】
このように、本願に開示する映像確認装置は、差分領域の一連の変化を一のフレームに重畳するため、変化がある時間帯の映像のみを抽出することができ、監視の見落としを確実に防止することができるという効果を奏する。
【図面の簡単な説明】
【００１４】
【図１】第１の実施形態に係る映像確認装置を用いた監視システムのシステム構成図である。
【図２】第１の実施形態に係る映像確認装置のハードウェア構成図である。
【図３】第１の実施形態に係る映像確認装置の機能ブロック図である。
【図４】第１の実施形態に係る映像確認装置の映像情報蓄積部に格納された映像情報、及び差分領域情報の一例を示す第１の図である。
【図５】第１の実施形態に係る映像確認装置の映像情報蓄積部に格納された映像情報、及び差分領域情報の一例を示す第２の図である。
【図６】第１の実施形態に係る映像確認装置の重畳画像情報の一例を示す図である。
【図７】第１の実施形態に係る映像確認装置の動作を示すフローチャートである。
【図８】第１の実施形態に係る映像確認装置の重畳画像が選択された場合の処理を示す図である。
【図９】第１の実施形態に係る映像確認装置の重畳画像を細分化する処理を示す図である。
【図１０】第２の実施形態に係る映像確認装置の機能ブロック図である。
【図１１】第２の実施形態に係る映像確認装置の動作を示すフローチャートである。
【図１２】第２の実施形態に係る映像確認装置の速度範囲が指定された場合の重畳画像情報の一例を示す図である。
【図１３】その他の実施形態に係る映像確認装置で生成された重畳画像における一部の拡大図である。
【発明を実施するための形態】
【００１５】
以下、本発明の実施の形態を説明する。本発明は多くの異なる形態で実施可能である。従って、本実施形態の記載内容のみで本発明を解釈すべきではない。また、本実施形態の全体を通して同じ要素には同じ符号を付けている。
【００１６】
以下の実施の形態では、主に装置について説明するが、所謂当業者であれば明らかな通り、本発明は方法、及び、コンピュータを動作させるためのプログラムとしても実施できる。また、本発明はハードウェア、ソフトウェア、または、ハードウェア及びソフトウェアの実施形態で実施可能である。プログラムは、ハードディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、光記憶装置、または、磁気記憶装置等の任意のコンピュータ可読媒体に記録できる。さらに、プログラムはネットワークを介した他のコンピュータに記録することができる。
【００１７】
（本発明の第１の実施形態）
本実施形態に係る映像確認装置について図１ないし図９を用いて説明する。本実施形態に係る映像確認装置は、カメラで撮像され、蓄積された映像の確認を行う。
（１．構成）
図１は、本実施形態に係る映像確認装置を用いた監視システムのシステム構成図である。図１において、監視システム１００は、複数のカメラ１２０ａ〜１２０ｚ（例えば、監視カメラや防犯カメラ等）、システム全体を管理する映像確認装置１１０、確認対象となる映像を表示するモニタ１３０、及び映像確認装置１１０に対する入力操作を行う入力機器１４０を備える。なお、システム全体を管理する専用の装置として管理サーバを備えるようにしてもよい。
【００１８】
カメラ１２０は、監視対象地点に固定して設置され、監視対象領域を常時撮像している。撮像された映像は、映像確認装置１１０に送信されて映像情報蓄積部３１５に蓄積される。確認者１５０は、映像情報蓄積部３１５から確認対象となるカメラ１２０の映像から生成される、複数の差分画像が重畳された画像情報を抽出し、モニタ１３０に表示する。そして、モニタ１３０に表示された前記画像情報を確認し、異常があると思われる時間帯をある程度特定すると、必要に応じて入力機器１４０から指示情報を入力し、映像の詳細な確認等を行う。
【００１９】
本実施形態に係る映像確認装置１１０は、映像情報蓄積部３１５に蓄積された映像を編集して表示することで、確認者１５０の監視の見落としを防止すると共に、確認者１５０の負担を軽減して映像の確認を行う。
【００２０】
図２は、本実施形態に係る映像確認装置１１０のハードウェア構成図である。映像確認装置１１０は、ＣＰＵ２１０、ＲＡＭ２２０、ＲＯＭ２３０、ハードディスク（ＨＤとする）２４０、通信Ｉ／Ｆ２５０、及び入出力Ｉ／Ｆ２６０を備える。ＲＯＭ２３０やＨＤ２４０には、オペレーティングシステム（ＯＳとする）や各種プログラム等が格納されており、必要に応じてＲＡＭ２２０に読み出され、ＣＰＵ２１０により各プログラムが実行される。通信Ｉ／Ｆ２５０は、他の装置（ここでは、カメラ１２０）と通信を行うためのインタフェースである。入出力Ｉ／Ｆ２６０は、キーボードやマウス等の入力機器１４０からの入力を受け付けたり、プリンタやモニタ１３０等にデータを出力するためのインタフェースである。この入出力Ｉ／Ｆ２６０としてＵＳＢやＲＳ２３２Ｃ等が用いられる。また、必要に応じて、光磁気ディスク、フロッピーディスク（登録商標）、ＣＤ−Ｒ、ＤＶＤ−Ｒ等のリムーバブルディスクに対応したドライブを接続することができる。
【００２１】
図３は、本実施形態に係る映像確認装置１１０の機能ブロック図である。映像確認装置１１０は、映像取得部３１０と差分抽出部３２０と重畳部３３０と表示制御部３４０と映像情報蓄積部３１５とを備える。
【００２２】
映像取得部３１０は、カメラ１２０が撮像した映像情報３０５を取得する処理を行う。取得した映像情報３０５は映像情報蓄積部３１５に格納される。映像情報蓄積部３１５に格納された映像情報に基づいて、差分抽出部３２０が、確認対象となる映像から静止画を抽出し、抽出した静止画と背景画像との差分領域を抽出し、差分領域情報３２５を生成する。
【００２３】
なお、差分領域の抽出は、背景画像との差分領域（以下、背景差分とする）を抽出してもよいし、所定時間前（例えば、１秒前等）の画像との差分領域（以下、隣接差分とする）を抽出してもよい。また、所定時間前（例えば、１秒前等）の画像との移動量の差を検出して差分領域（以下、オプティカルフローとする）を抽出してもよい。
【００２４】
差分抽出部３２０が差分領域情報３２５を生成すると、生成された差分領域情報３２５を、重畳部３３０が重ね合わせて重畳画像情報３３５を生成する。このとき、差分領域情報３２５において、差分領域に連続的な変化があった時間帯に関して重畳画像情報３３５を生成する。重畳部３３０が重畳画像情報３３５を生成すると、生成された重畳画像情報３３５を、表示制御部３４０がモニタ１３０に一覧表示する。
【００２５】
ここで、映像情報蓄積部３１５に格納された映像情報、差分領域情報３２５、及び重畳画像情報３３５について説明する。図４は、本実施形態に係る映像確認装置の映像情報蓄積部に格納された映像情報、及び差分領域情報の一例を示す第１の図である。ここでは、カメラＸにより撮像された映像情報３０５を映像情報取得部３１０が取得したものとする。
【００２６】
図４(X)は、カメラＸにより予め撮像された背景画像であり、映像情報蓄積部３１５に格納されている。図４(a)〜図４(d)は、映像情報蓄積部３１５に格納された映像情報であり、図４(a)から図４(d)にかけて第１の時間帯（仮に8時30分30秒〜8時30分40秒とする）で時系列順になっている。図からわかる通り、ここでは、門から人物が進入すると共に、一台の車が道路を走行後、その後続車が撮像されている。
【００２７】
図４(a)〜図４(d)の各画像と図４(X)の背景画像とを比較し、相違する画素領域を抽出したものが、図４(a’)〜図４(d’)である。図４(a)〜図４(d)において、背景には変化がなく、人物と車のみが移動しているため、人物と車の画素領域のみが差分領域として抽出され、差分領域情報３２５（差分画像４１０〜４４０）が生成される。
【００２８】
図５は、本実施形態に係る映像確認装置の映像情報蓄積部に格納された映像情報、及び差分領域情報の一例を示す第２の図である。図５において、図４の場合と異なる第２の時間帯（仮に8時36分30秒〜8時36分40秒とする）におけるカメラＸの映像情報３０５に基
づいて、映像情報蓄積部３１５に格納された映像情報（図５(a)〜図５(d)）と背景画像（図５(X)）とで相違する画素領域が抽出される。ここでも、図５(a)〜図５(d)において、背景には変化がなく、人物と車と自転車のみが移動しているため、人物と車と自転車の画素領域のみが差分領域として抽出され、差分領域情報３２５（図５(a’)〜図５(d’)すなわち差分画像５１０〜５４０）が生成される。
【００２９】
図６は、本実施形態に係る映像確認装置の重畳画像情報の一例を示す図である。図６（ａ）は、第１の時間帯における差分領域情報３２５（差分画像４１０〜４４０）を重ね合わせた重畳画像である。図６（ｂ）は、第２の時間帯における差分領域情報３２５（差分画像５１０〜５４０）を重ね合わせた重畳画像である。図からわかるように、人物や車等の連続的な移動を確認することができる。
【００３０】
また、それぞれの重畳画像において、開始終了時刻には、それぞれの時間帯における最早時刻と最遅時刻が示されている。さらに、時間には、開始終了時刻の間の時間（ここでは、単位を秒とする）が示されている。さらにまた、移動距離は、人物の移動距離（ここでは、単位をメートルとする）が示されている。
【００３１】
なお、図６においては、カメラＸが門に進入する人物を撮像することを目的としているため、人物の移動距離を示しているが、他の対象物（例えば、車）を撮像することを目的としている場合には、当該他の対象物の移動距離を示してもよい。このとき、移動方向や差分領域の形状に基づいて、対象物を区別してもよい。
【００３２】
また、車、人物、及び自転車のそれぞれの移動距離を示してもよい。移動方向や差分領域の形状により対象物が特定される場合には、対象物ごとに移動距離を示してもよいし、対象物が特定されない場合は、移動距離のみを示してもよい。
【００３３】
さらに、車の確認が不要である場合には、フレームの上方部（車が走行する領域）を除外して差分領域を抽出してもよいし、車の確認のみが必要である場合には、フレームの下方部（自転車や人物が通行する領域）を除外して差分領域を抽出してもよい。
【００３４】
さらにまた、重畳画像情報３３５については、差分領域を明確にするために、コントラストを強調して生成してもよい。
【００３５】
さらにまた、背景画像については、天気、季節、時間帯ごとに使い分けを行ってもよい。つまり、晴天時、夏季、昼間等の明るい時間帯と雨天時、冬季、夜等の暗い時間帯では、相違する画素領域が背景にも及んでしまう可能性があるが、使い分けを行うことで、それらの問題を防止することができる。
【００３６】
さらにまた、背景画像については、事前に作成する以外に、動的に作成してもよい。つまり、背景画像は状況変化がない画像であるが、状況変化が少ない、又は、短時間であれば、一定間隔（例えば、１分間隔）で映像から画像を取得し、平均化し、動的に背景画像を作成することもできる。
【００３７】
図６において生成された複数の時間帯における重畳画像情報３３５を、表示制御部３４０がモニタ１３０に一覧表示し、表示された画面を確認者１５０が参照することで、異常を確認することができる。
【００３８】
（２．動作）
図７は、本実施形態に係る映像確認装置の動作を示すフローチャートである。まず、映像取得部３１０が、カメラ１２０で撮像された映像情報３０５を取得し、映像情報蓄積部３１５に蓄積する（ステップＳ７０１）。蓄積された映像情報から、確認者１５０の指示に基づいて確認対象となる映像情報を選択し、選択された映像情報から静止画を抽出する（ステップＳ７０２）。差分抽出部３２５が、抽出された静止画と予め撮像されていた背景画像との差分領域を抽出して、差分画像を生成する（ステップＳ７０３）。
【００３９】
ここで、差分領域の抽出について説明する。上述したように、差分領域の抽出は、背景差分、隣接差分、又はオプティカルフローにより抽出することができる。本実施形態においては、背景差分により差分領域を抽出する（図４、図５を参照）。
【００４０】
また、抽出した差分領域の表現方法としては、（１）背景画像に対して変化があった領域を差分領域とする方法、（２）前画像に対して変化があった領域を差分領域とする方法、（３）変化があった領域の輪郭のみを差分領域とする方法等が考えられる。
【００４１】
例えば、（１）の場合は、背景画像に対しての変化であるため、人物の移動が検出された場合は、その人物の現在の状態が差分領域として抽出される。（２）の場合は、前画像に対しての変化であるため、前画像（例えば、１秒前の画像）に人物が撮像されている場合には、その人物の現在の状態と１秒前の状態が差分領域として抽出される。（３）の場合は、領域における輪郭線のみが差分領域として抽出される。輪郭のみが差分領域として抽出された場合については、詳細を後述する。
【００４２】
なお、いずれの方法においても、差分領域として抽出されない部分は単一色（例えば、黒）で抽出されるものとする。
ステップＳ７０３で差分画像が生成されると、差分領域を強調するために、差分画像のコントラストを調整する（ステップＳ７０４）。連続的に変化があった時間帯ごとに差分画像を重ね合わせて重畳画像を生成する（ステップＳ７０５）。
【００４３】
ここで、重畳画像について説明する。本実施形態においては、連続的に変化があった差分画像を重畳することで、１つの重畳画像で変化の過程（撮像された対象物の移動過程）を確認することができる。変化が少ない場所におけるカメラ１２０の映像情報では、映像に変化がない時間帯が多く存在する。変化がない場合は、差分領域が抽出されない（画面が単一色である）ため、その間の差分画像については重畳せずに、連続的に変化があった場合のみ重畳する。重畳するのは、連続的な変化が開始した時点から変化が終了した時点までである。そのため、一連の変化の過程を１つの画像で確認することができる。
【００４４】
例えば、図６（ａ）において、前記第１の時間帯の間は、人物や車の変化があったとする。実際には、人物が画面に登場した時点から変化が開始するため、８時３０分３０秒以前から変化が開始しているが、ここでは、仮に８時３０分３０秒に変化が開始したとする。また、撮像された人物、及び車は８時３０分４０秒まで連続的に撮像され、８時３０分４１秒には画面から消えたとする。
【００４５】
図６（ａ）から図６（ｂ）までの第３の時間帯（８時３０分４１秒から８時３６分３０秒まで）は、映像に変化がなかったとする。そして、図６（ｂ）において、第２の時間帯で人物、車、及び自転車が連続的に撮像され、８時３６分４１秒には画面から消えたとする。
【００４６】
第１、第２、及び第３の時間帯の差分領域において、変化があるのは第１、及び第２の時間帯であり、第３の時間帯の差分領域は差分画像全体が単一色となっている。重畳部３３０は、このように変化がある第１、及び第２の時間帯についてのみ差分画像を重畳して重畳画像を生成し、変化がない第３の時間帯については重畳画像を生成しない。
【００４７】
なお、ここでは、連続的に変化した差分領域を重畳して１つの重畳画像を生成したが、重畳する差分画像の枚数や重畳する時間帯（時間：例えば１分、５分等）を指定して重畳画像を生成してもよい。
【００４８】
図７に戻って、ステップＳ７０５で重畳画像が生成されると、表示制御部３４０が、生成された重畳画像をモニタ１３０に一覧表示する（ステップＳ７０６）。上述したように、重畳画像は、差分領域に変化があった時間帯について生成されるため、差分領域に変化がない時間帯の重畳画像は、ここでは一覧表示から除外されている。つまり、移動がある時間帯の重畳画像のみが一覧表示されるため、不必要な確認作業をなくすことができる。差分領域に変化がない時間帯の重畳画像を、一覧表示に含めることもできる。これにより、変化がない時間帯の時間情報の表示やその時間帯の先頭からの再生ができる。 確認者１５０によりマウス等の入力機器１４０を用いて重畳画像が選択（クリック）されたかどうかを判定する（ステップＳ７０７）。選択された場合は、選択された位置を取得し（ステップＳ７０８）、取得した位置から差分領域を特定し、該当する時間帯の映像を頭出し再生する（ステップＳ７０９）。
【００４９】
ここで、頭出し再生について説明する。図８は、本実施形態に係る映像確認装置の重畳画像が選択された場合の処理を示す図である。図８（ａ）において、矢印Ａはマウスポイントを示している。また、矢印Ａで選択されている人物は、図４における差分画像４３０で抽出された人物である。矢印Ａのマウスポイントがクリックされた場合は、選択された差分領域に対応する映像が頭出し再生（図４（ｃ）を先頭にした映像の再生が）される（図８（ｂ））。
【００５０】
選択された差分領域に対応する映像の抽出については、いくつかの方法が考えられられる。一例として、差分画像と時刻を対応付けて格納しておき、重畳画像上のある領域がクリックされたとする。重畳画像を作成した順序と逆の順序に沿って各差分画像に対してクリックした位置に差分領域があるかどうかを検知し、差分領域がある差分画像を検出する。そして、検出した差分画像に対応する映像の時刻が、頭出しの再生対象時刻となる。
【００５１】
つまり、図８（ａ）の矢印Ａがクリックされた場合に、図４において（ａ’）→（ｂ’）→（ｃ’）→（ｄ’）の順に重畳された場合は、逆順の（ｄ’）→（ｃ’）→（ｂ’）→（ａ’）の順に沿って各差分画像に対してクリックされた位置に差分領域があるかどうかを検知する。図４（ｃ’）において、矢印Ａの位置に差分領域があるため、図８（ｂ）のように、図４（ｃ）を先頭にした映像が再生される。
【００５２】
また、他の例として各画素ごとに対応する座標に時刻情報を紐付けて保持しておいてもよい。つまり、初めは全画素値に映像の開始時刻を紐付けて保持しておき、次に図４（ａ’）を重畳する際には、図４（ａ’）の差分領域における画素値の座標に、図４（ａ’）の時刻を紐付けて保持する。同様に、重畳する順に図４（ｂ’）、図４（ｃ’）、図４（ｄ’）の差分領域における画素値の座標に、それぞれの時刻を紐付けて保持する。そして、図８（ａ）のようにクリックされた座標に紐付いている再生時刻が、映像の頭出し再生対象時刻となる。
なお、頭出し再生の映像は、重畳画像と同一の画面に表示してもよいし、別画面で表示してもよい。
【００５３】
図７に戻って、ステップＳ７０７で重畳画像が選択されない場合は、重畳画像を細分化するかどうかを判定する（ステップＳ７１０）。細分化する場合は、静止画を抽出する時間間隔を調整して（ステップＳ７１１）、ステップＳ７０２に戻る。ステップＳ７０２では、静止画を抽出する時間間隔が調整（短く）されているため、同じ時間内に多くの静止画が抽出され、結果的に重畳画像が細分化される。
【００５４】
ここで、重畳画像の細分化について説明する。図９は、本実施形態に係る映像確認装置の重畳画像を細分化する処理を示す図である。図９（ａ）は細分化する前の重畳画像であり、図９（ｂ）は細分化した後の重畳画像である。図９（ａ）は、図４における差分画像４１０と差分画像４４０とを重畳したものである。つまり、静止画を抽出する時間間隔が１０秒ということになる。この場合、確認者１５０は、図９（ａ）を参照しただけでは、人物の移動の様子を把握しづらい。そこで、静止画を抽出する時間間隔を２．５秒、つまり１０秒間で４枚の差分画像を重畳するように設定すると、図９（ｂ）の重畳画像となる。図９（ｂ）は、図４における差分画像４１０から差分画像４４０を重畳したものである。図９（ｂ）においては、人物や車の移動の様子を明確に把握することができ、確認作業が簡素化される。
【００５５】
図７に戻って、ステップＳ７０９で頭出し再生がされた場合、又はステップＳ７１０で重畳画像の細分化を行わない場合は、確認を終了するかどうかを判定し（ステップＳ７１２）、確認を継続する場合は、ステップＳ７０２に戻って、他の確認対象映像について処理を行う。確認を終了する場合は、監視システムをシャットダウンして（ステップＳ７１３）、処理を終了する。
【００５６】
このように、本実施形態に係る映像確認装置によれば、差分領域の一連の変化を一のフレームに重畳するため、変化がある時間帯の映像のみを抽出することができ、監視の見落としを確実に防止することができる。
【００５７】
また、確認者は一のフレーム（静止画）を参照するだけで映像の変化や変化の過程を確認することができるため、確認者の作業の監視負担を大幅に軽減することができる。
さらに、変化があった時間帯のフレームの一覧から確認したい映像を選択して即座に映像を表示して確認することができる。
さらにまた、重畳されたフレームの最早、及び最遅時刻を表示するため、ある程度確認する時刻が絞られている場合には、必要な映像を即座に確認することができる。
【００５８】
（本発明の第２の実施形態）
本実施形態に係る映像確認装置について図１０ないし図１２を用いて説明する。本実施形態に係る映像確認装置は、第１の実施形態に係る映像確認装置の機能を拡張したものであり、差分領域の移動速度を算出し、所定範囲内の移動速度で移動している差分領域のみを重畳するものである。
なお、本実施形態において、前記第１の実施形態と重複する説明については省略する。
【００５９】
（１．構成）
図１０は、本実施形態に係る映像確認装置の機能ブロック図である。第１の実施形態と異なるのは、速度算出部３５０を備えることである。
速度算出部３５０は、差分抽出部３２０が抽出した差分領域情報３２５に基づいて、差分領域の移動速度を算出する。移動速度は、撮像された時刻と移動距離により求められる。撮像された時刻は映像情報蓄積部３１５に格納されており、フレーム間の時刻の差に基づいて時間を求めることができる。移動距離は、差分領域が移動した画素数と映像情報ごとに設定されたスケーリングパラメータを用いた射影変換等により算出される。算出された時間と移動距離に基づいて移動速度が算出される。
【００６０】
また、速度算出部３５０は、確認者１５０が設定した速度範囲情報３０６に基づいて、差分領域情報３２５の差分領域を選別する。例えば、速度範囲情報３０６が「０〜２０ｋｍ／時」で設定されている場合は、移動速度が０〜２０ｋｍ／時の差分領域のみを差分領域情報３２５とする。２１ｋｍ／時以上の移動速度で移動している差分領域については差分情報から除外する。つまり、この場合、歩行者の移動は差分領域情報３２５に含まれるが、通常の走行をしている自動車等については差分領域情報３２５から除外される。
映像取得部３１０、映像情報蓄積部３１５、差分抽出部３２０、重畳部３３０、及び表示制御部３４０の機能は、第１の実施形態と同じであるため説明は省略する。
【００６１】
（２．動作）
図１１は、本実施形態に係る映像確認装置の動作を示すフローチャートである。まず、映像取得部３１０が、カメラ１２０で撮像された映像情報３０５を取得し、映像情報蓄積部３１５に蓄積する（ステップＳ１１０１）。蓄積された映像情報から、確認者１５０の指示に基づいて確認対象となる映像情報を選択し、選択された映像情報から静止画を抽出する（ステップＳ１１０２）。差分抽出部３２５が、抽出された静止画と予め撮像されていた背景画像との差分領域を抽出し、速度算出部３５０が、抽出した差分領域の移動速度を算出する（ステップＳ１１０３）。移動速度が指定された範囲内にある差分領域のみを抽出し、差分画像を生成する（ステップＳ１１０４）。
【００６２】
ここで、移動速度に応じた差分領域の抽出について説明する。図１２は、本実施形態に係る映像確認装置の速度範囲が指定された場合の重畳画像情報の一例を示す図である。図１２（ａ）は、速度範囲が２０−６０（ここでは、単位がｋｍ／時とする）で移動している差分領域を抽出して重畳した場合の図である。図１２（ｂ）は、速度範囲が０−６（ここでは、単位がｋｍ／時とする）で移動している差分領域を抽出して重畳した場合の図である。
【００６３】
図１２に示すように、速度範囲が２０−６０の場合には、自転車と車の移動が表示され、速度範囲が０−６の場合には、歩行者の移動が表示されている。例えば、ひき逃げ車両の確認を行うような場合には、速度設定を車の速度範囲に設定し、不審者の進入の確認を行うような場合には、速度設定を人間の移動速度に設定する。このように、目的に応じて確認者１５０が速度設定を行うことで、確認作業の簡素化することができる。
【００６４】
なお、移動速度の括弧内の数値は、差分領域の実際の移動速度を表示している。図１２（ａ）の場合には、２５ｋｍ／時（自転車）、４５ｋｍ／時（右から左に移動している車）、５０ｋｍ／時（左から右に移動している車）の３つの速度が算出されたことを示している。図１２（ｂ）の場合には、４ｋｍ／時（歩行者）の速度が算出されたことを示している。
【００６５】
このように、本実施形態に係る映像確認装置は、所定の移動速度の範囲内で移動している差分領域のみを重畳するため、監視対象の移動速度に応じて必要な時間帯の映像を確認することができる。
【００６６】
また、移動速度を表示するため、車、人、自転車等の移動を区別することができ、監視対象に応じて効率よく映像を選択することができる。
さらに、犯罪等の場合には、犯人が急いで移動している場合が多いため、人物の変化と移動速度を確認することで、人物が急いで移動していることを確認し、犯人の可能性がある人物を早急に確認することができる。
【００６７】
（その他の実施形態）
本実施形態に係る映像確認装置について、図１３を用いて説明する。本実施形態に係る映像確認装置は、第１、及び第２の実施形態に係る映像確認装置の機能を拡張したものであり、重畳画像において差分領域が同じ位置に重なった場合に様々な表示方法により表示するものである。
【００６８】
本実施形態において、前記第１、及び第２の実施形態と異なるのは、差分抽出部３２０が、差分領域の輪郭のみを抽出することである。また、重畳部３３０が、差分領域を半透化して重畳、及び／又は時刻ごとに色分けして重畳することである。
【００６９】
図１３は、本実施形態に係る映像確認装置で生成された重畳画像における一部の拡大図である。図１３（ａ）は、差分領域を単純に重ね合わせた場合の重畳画像の一例を示す。この状態では、人物が重なって表示されるため視認性がよくない場合がある。また、さらに小さい差分領域が隠れて視認できない可能性もある。
【００７０】
図１３（ａ）の条件から、輪郭のみを差分領域として抽出した場合の重畳画像が図１３（ｂ）である。図８（ｂ）においては、２人の人物（同一人物であるが、異なる時刻に撮像された人物）の輪郭のみが抽出されているため、明確に区別することができ、図１３（ａ）に比べて視認性が向上している。また、他の差分領域の存在の有無も視認することができる。
【００７１】
図１３（ａ）の条件から、一方の時刻における人物を半透化した場合の重畳画像が図１３（ｃ）である。このように、差分領域を半透化することで、図８（ｂ）の場合と同様にそれぞれの時刻における人物を明確に区別することができ、視認性を向上させることができる。
【００７２】
図１３（ａ）の条件から、それぞれの時刻ごとに色分けした場合の重畳画像が図１３（ｄ）である。ここでは、図面の都合上、色の違いを塗りつぶしのパターンの違いで表現している。つまり、実際は、例えばチェックパターンが赤、斜線パターンが青等の色である。重なっている領域については、それぞれの色調を加算（図で言えばチェックと斜線の加算）等した色となる。このように、時刻ごと差分領域を色分けすることで、図１３（ｂ）、及び（ｃ）の場合と同様にそれぞれの時刻における人物を明確に区別することができ、視認性を向上させることができる。
【００７３】
なお、差分領域の輪郭のみの重畳方法、半透化しての重畳方法、カメラごとに色分けしての重畳方法は、任意に組み合わせることができるものとする。例えば、図１３（ｂ）の輪郭線の色を時刻ごとに異なる色としてもよい。また、図１３（ｄ）の一方の時刻における人物を半透化にしてもよい。
【００７４】
また、それぞれの差分領域に対応する時刻を、差分領域に近接して表示させてもよい。そうすることで、差分領域と時刻の関連付けを容易に行うことができる。
このように、本実施形態に係る映像確認装置によれば、差分領域の輪郭のみを抽出するため、差分領域を重畳したときに、複数の差分領域が同じ位置に重なった場合であっても、それぞれの差分領域を明確に区別して監視することができる。
また、差分領域を半透化、及び／又は異なる時刻ごとに異なる色で重畳するため、差分領域を明確に区別して異常を確認することができる。
【００７５】
以上の前記実施形態は、所謂当業者であれば明らかであるように、方法、及び、プログラムとして捉えることもできる。また、本願に開示する映像確認装置の構成要素または構成要素の任意の組合せを、方法、装置、回路、システム、コンピュータプログラム、記録媒体、データ構造などに適用したものも、他の態様として有効である。
【００７６】
以上の前記各実施形態により本発明を説明したが、本発明の技術的範囲は実施形態に記載の範囲には限定されず、これら各実施形態に多様な変更又は改良を加えることが可能である。そして、かような変更又は改良を加えた実施の形態も本発明の技術的範囲に含まれる。このことは、特許請求の範囲及び課題を解決する手段からも明らかなことである。
前記各実施形態に関して次の付記を示す。
【００７７】
（付記１）一のカメラで撮像された連続するフレームからなる撮像情報を格納する撮像情報格納手段と、当該撮像情報格納手段に格納された撮像情報において、任意の一のフレームと当該任意の一のフレームから所定時間前のフレーム、又は予め撮像された背景フレームとを比較して画素値に相違がある領域を検出し、検出した画素領域を差分領域として抽出する差分領域抽出手段と、当該差分領域抽出手段が差分領域を検出した開始フレームから、前記差分領域の変化が連続して検出されている検出区間のフレームを所定間隔で重畳して一のフレームを生成する重畳手段とを備える映像確認装置。
【００７８】
（付記２）付記１に記載の映像確認装置において、前記重畳手段が生成した一のフレームを一覧表示する表示手段を備え、当該表示手段が表示する任意の一のフレームにおける任意の一の差分領域が選択された場合に、当該選択された差分領域に対応する時刻における、前記撮像情報格納手段にて格納された撮像情報を表示する映像確認装置。
【００７９】
（付記３）付記１又は２に記載の映像確認装置において、前記撮像情報格納手段が格納する撮像情報の各フレームが撮像された時刻に基づいて、前記差分領域抽出手段で抽出された差分領域の移動速度を算出する速度算出手段を備え、前記重畳手段が、前記速度算出手段で算出された移動速度が所定の移動速度の範囲内にある場合に、前記差分領域を重畳して一のフレームを生成する映像確認装置。
【００８０】
（付記４）付記１ないし３のいずれかに記載の映像確認装置において、前記表示手段が、前記重畳手段にて一のフレームを生成する場合における前記検出区間の変化開始、及び変化終了時刻、変化開始時刻から変化終了時刻までの時間、移動距離、並びに／又は前記速度算出手段にて算出された前記差分領域の移動速度を表示する映像確認装置。
【００８１】
（付記５）付記１ないし４のいずれかに記載の映像確認装置において、前記差分領域抽出手段が、前記差分領域の輪郭のみを抽出する映像確認装置。
【００８２】
（付記６）付記１ないし５のいずれかに記載の映像確認装置において、前記重畳手段が、前記差分領域を半透化、及び／又は時刻ごとに異なる色で重畳して一のフレームを生成する映像確認装置。
【００８３】
（付記７）一のカメラで撮像された連続するフレームからなる撮像情報を格納し、当該格納された撮像情報において、任意の一のフレームと当該任意の一のフレームから所定時間前のフレーム、又は予め撮像された背景フレームとを比較して画素値に相違がある領域を検出し、検出した画素領域を差分領域として抽出する差分領域抽出ステップと、当該差分領域抽出手段が差分領域を検出した開始フレームから、前記差分領域の変化が連続して検出されている検出区間のフレームを所定間隔で重畳して一のフレームを生成する重畳ステップとを含む映像確認方法。
【００８４】
（付記８）付記７に記載の映像確認方法において、前記重畳ステップが生成した一のフレームを一覧表示する表示ステップを含み、当該表示ステップが表示する任意の一のフレームにおける任意の一の差分領域が選択された場合に、当該選択された差分領域に対応する時刻における、前記格納された撮像情報を表示する映像確認方法。
【００８５】
（付記９）付記７又は８に記載の映像確認方法において、前記格納された撮像情報の各フレームが撮像された時刻に基づいて、前記差分領域抽出ステップで抽出された差分領域の移動速度を算出する速度算出ステップを含み、前記重畳ステップが、前記速度算出ステップで算出された移動速度が所定の移動速度の範囲内にある場合に、前記差分領域を重畳して一のフレームを生成する映像確認方法。
【００８６】
（付記１０）付記７ないし９のいずれかに記載の映像確認方法において、前記表示ステップが、前記重畳ステップにて一のフレームを生成する場合における前記検出区間の変化開始、及び変化終了時刻、変化開始時刻から変化終了時刻までの時間、移動距離、並びに／又は前記速度算出ステップにて算出された前記差分領域の移動速度を表示する映像確認方法。
【００８７】
（付記１１）付記７ないし１０のいずれかに記載の映像確認方法において、前記差分領域抽出ステップが、前記差分領域の輪郭のみを抽出する映像確認方法。
【００８８】
（付記１２）付記７ないし１１のいずれかに記載の映像確認方法において、前記重畳ステップが、前記差分領域を半透化、及び／又は時刻ごとに異なる色で重畳して一のフレームを生成する映像確認方法。
【００８９】
（付記１３）一のカメラで撮像された連続するフレームからなる撮像情報を格納する撮像情報格納手段、当該撮像情報格納手段に格納された撮像情報において、任意の一のフレームと当該任意の一のフレームから所定時間前のフレーム、又は予め撮像された背景フレームとを比較して画素値に相違がある領域を検出し、検出した画素領域を差分領域として抽出する差分領域抽出手段、当該差分領域抽出手段が差分領域を検出した開始フレームから、前記差分領域の変化が連続して検出されている検出区間のフレームを所定間隔で重畳して一のフレームを生成する重畳手段としてコンピュータを機能させる映像確認プログラム。
【００９０】
（付記１４）付記１３に記載の映像確認プログラムにおいて、前記重畳手段が生成した一のフレームを一覧表示する表示手段としてコンピュータを機能させ、当該表示手段が表示する任意の一のフレームにおける任意の一の差分領域が選択された場合に、当該選択された差分領域に対応する時刻における、前記撮像情報格納手段にて格納された撮像情報を表示する映像確認プログラム。
【００９１】
（付記１５）付記１３又は１４に記載の映像確認プログラムにおいて、前記撮像情報格納手段が格納する撮像情報の各フレームが撮像された時刻に基づいて、前記差分領域抽出手段で抽出された差分領域の移動速度を算出する速度算出手段としてコンピュータを機能させ、前記重畳手段が、前記速度算出手段で算出された移動速度が所定の移動速度の範囲内にある場合に、前記差分領域を重畳して一のフレームを生成する映像確認プログラム。
【００９２】
（付記１６）付記１３ないし１５のいずれかに記載の映像確認プログラムにおいて、前記表示手段が、前記重畳手段にて一のフレームを生成する場合における前記検出区間の変化開始、及び変化終了時刻、変化開始時刻から変化終了時刻までの時間、移動距離、並びに／又は前記速度算出手段にて算出された前記差分領域の移動速度を表示する映像確認プログラム。
【００９３】
（付記１７）付記１３ないし１６のいずれかに記載の映像確認プログラムにおいて、前記差分領域抽出手段が、前記差分領域の輪郭のみを抽出する映像確認プログラム。（図１３）
【００９４】
（付記１８）付記１３ないし１７のいずれかに記載の映像確認プログラムにおいて、前記重畳手段が、前記差分領域を半透化、及び／又は時刻ごとに異なる色で重畳して一のフレームを生成する映像確認プログラム。
【符号の説明】
【００９５】
１００ 監視システム
１１０ 映像確認装置
１２０ カメラ
１３０ モニタ
１４０ 入力機器
１５０ 確認者
２１０ ＣＰＵ
２２０ ＲＡＭ
２３０ ＲＯＭ
２４０ ＨＤ
２５０ 通信Ｉ／Ｆ
２６０ 入出力Ｉ／Ｆ
３０５ 映像情報
３０６ 速度範囲情報
３１０ 映像取得部
３１５ 映像情報蓄積部
３２０ 差分抽出部
３２５ 差分領域情報
３３０ 重畳部
３３５ 重畳画像情報
３４０ 表示制御部
３５０ 速度算出部
４１０〜４４０ 差分画像
５１０〜５４０ 差分画像
【技術分野】
【０００１】
本発明は、監視カメラで撮像された映像を確認する映像確認装置に関する。
【背景技術】
【０００２】
建物や施設等の監視は、監視カメラで撮影された映像をモニタで表示して行われている。撮像された監視映像は、蓄積されて保存され、後にその時の状況を確認等する際に使用される場合がある。状況を確認する場合には、確認したい映像を時刻指定で頭出ししたり、実時間再生や早送り再生等で再生し、必要な時間帯の映像を抽出して確認することになる。
【０００３】
また、最近では、公共の場における監視カメラの数が増えており、本来の目的ではないが、防犯カメラの映像が思わぬ犯罪解決に結びつくケースも多くある。例えば、本来は万引き防止のために設置した店内の防犯カメラの映像に、たまたまひき逃げを起こして逃走中の車が撮像され、その映像を元にして犯人を検挙するようなケースがある。
上記に関連して、動画像におけるシーンの検索や、インデックスによる動画の頭出しに関する技術として特許文献１ないし３に示す技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平９−２１４８６６号公報
【特許文献２】特開２０００−２１７０５４号公報
【特許文献３】特開平６−１５３１３０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、蓄積された映像による確認では、次のような問題がある。まず、人に侵入された場合や物が持ち去られた場合等、事象が発生した時刻の特定がしづらい場合、確認する映像の頭出しが困難となってしまう。また、映像を確認する際に早送り再生等で行うと、再生速度が速いため見落としが発生しやすくなってしまう。
【０００６】
さらに、物が持ち去られた場合や壊された場合等、ある時点で状況が変化し、その変化状態が変化後も維持されている場合は、変化の発生時刻の範囲を絞ることが可能である。しかし、不審者が居て立ち去った場合等、ある時点で状況が変化したが、変化後の状態が維持されず、変化前の状態に戻ってしまう場合は、特に見落としが発生しやすい。さらにまた、上記のような場合、映像を確認するのに多大な時間を要してしまう。
【０００７】
監視カメラの映像を確認する場合には、ある場所に固定で設置された監視カメラの映像を確認するため、基本的には映像全体の変化が少なく確認が不要な時間帯も多く存在する。当然、人通りや車通りが多い場所においては、多くの時間帯で確認が必要になるが、それでも深夜等の時間帯には映像の変化が少なく、確認が不要な時間帯が多く存在する。
【０００８】
特許文献１に示す技術は、シーンごとの画面の動きを示すことができるが、動きがない時間帯と動きがある時間帯との区別ができず、動きがある時間帯のみを抽出することができない。そのため、確認が不要な時間帯の映像も確認作業や早送り再生等が必要になり、上述した問題を解決することができない。
【０００９】
特許文献２に示す技術は、２つの映像フレームから動き情報を抽出するため、動きが微小な場合や、２つの映像の間に大きな動きがある場合には、動きの流れを一見して把握することが困難になってしまうという課題を有する。
【００１０】
特許文献３に示す技術は、複数のインデックス画像に基づいて再生位置を指定するため、複数のインデックス画像が予め設定される必要があり、動きがある時間帯のように監視において必要な時間帯の映像情報を抽出することができないという課題を有する。
【００１１】
そこで、本発明は上記課題を解決するためになされたものであり、監視カメラの映像において一連の動きがある時間帯の複数のフレームを重畳して一のフレームを生成する映像確認装置等を提供することを目的とする。
【課題を解決するための手段】
【００１２】
本願に開示する映像確認装置は、一のカメラで撮像された連続するフレームからなる撮像情報を格納する撮像情報格納手段を備える。また、前記撮像情報において、任意の一のフレームと当該任意の一のフレームから所定時間前のフレーム、又は予め撮像された背景フレームとを比較して画素値に相違がある領域を差分領域として抽出する差分領域抽出手段を備える。さらに、差分領域が検出された開始フレームから、前記差分領域の変化が連続して検出されている検出区間のフレームを所定間隔で重畳して一のフレームを生成する重畳手段を備える。
【発明の効果】
【００１３】
このように、本願に開示する映像確認装置は、差分領域の一連の変化を一のフレームに重畳するため、変化がある時間帯の映像のみを抽出することができ、監視の見落としを確実に防止することができるという効果を奏する。
【図面の簡単な説明】
【００１４】
【図１】第１の実施形態に係る映像確認装置を用いた監視システムのシステム構成図である。
【図２】第１の実施形態に係る映像確認装置のハードウェア構成図である。
【図３】第１の実施形態に係る映像確認装置の機能ブロック図である。
【図４】第１の実施形態に係る映像確認装置の映像情報蓄積部に格納された映像情報、及び差分領域情報の一例を示す第１の図である。
【図５】第１の実施形態に係る映像確認装置の映像情報蓄積部に格納された映像情報、及び差分領域情報の一例を示す第２の図である。
【図６】第１の実施形態に係る映像確認装置の重畳画像情報の一例を示す図である。
【図７】第１の実施形態に係る映像確認装置の動作を示すフローチャートである。
【図８】第１の実施形態に係る映像確認装置の重畳画像が選択された場合の処理を示す図である。
【図９】第１の実施形態に係る映像確認装置の重畳画像を細分化する処理を示す図である。
【図１０】第２の実施形態に係る映像確認装置の機能ブロック図である。
【図１１】第２の実施形態に係る映像確認装置の動作を示すフローチャートである。
【図１２】第２の実施形態に係る映像確認装置の速度範囲が指定された場合の重畳画像情報の一例を示す図である。
【図１３】その他の実施形態に係る映像確認装置で生成された重畳画像における一部の拡大図である。
【発明を実施するための形態】
【００１５】
以下、本発明の実施の形態を説明する。本発明は多くの異なる形態で実施可能である。従って、本実施形態の記載内容のみで本発明を解釈すべきではない。また、本実施形態の全体を通して同じ要素には同じ符号を付けている。
【００１６】
以下の実施の形態では、主に装置について説明するが、所謂当業者であれば明らかな通り、本発明は方法、及び、コンピュータを動作させるためのプログラムとしても実施できる。また、本発明はハードウェア、ソフトウェア、または、ハードウェア及びソフトウェアの実施形態で実施可能である。プログラムは、ハードディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、光記憶装置、または、磁気記憶装置等の任意のコンピュータ可読媒体に記録できる。さらに、プログラムはネットワークを介した他のコンピュータに記録することができる。
【００１７】
（本発明の第１の実施形態）
本実施形態に係る映像確認装置について図１ないし図９を用いて説明する。本実施形態に係る映像確認装置は、カメラで撮像され、蓄積された映像の確認を行う。
（１．構成）
図１は、本実施形態に係る映像確認装置を用いた監視システムのシステム構成図である。図１において、監視システム１００は、複数のカメラ１２０ａ〜１２０ｚ（例えば、監視カメラや防犯カメラ等）、システム全体を管理する映像確認装置１１０、確認対象となる映像を表示するモニタ１３０、及び映像確認装置１１０に対する入力操作を行う入力機器１４０を備える。なお、システム全体を管理する専用の装置として管理サーバを備えるようにしてもよい。
【００１８】
カメラ１２０は、監視対象地点に固定して設置され、監視対象領域を常時撮像している。撮像された映像は、映像確認装置１１０に送信されて映像情報蓄積部３１５に蓄積される。確認者１５０は、映像情報蓄積部３１５から確認対象となるカメラ１２０の映像から生成される、複数の差分画像が重畳された画像情報を抽出し、モニタ１３０に表示する。そして、モニタ１３０に表示された前記画像情報を確認し、異常があると思われる時間帯をある程度特定すると、必要に応じて入力機器１４０から指示情報を入力し、映像の詳細な確認等を行う。
【００１９】
本実施形態に係る映像確認装置１１０は、映像情報蓄積部３１５に蓄積された映像を編集して表示することで、確認者１５０の監視の見落としを防止すると共に、確認者１５０の負担を軽減して映像の確認を行う。
【００２０】
図２は、本実施形態に係る映像確認装置１１０のハードウェア構成図である。映像確認装置１１０は、ＣＰＵ２１０、ＲＡＭ２２０、ＲＯＭ２３０、ハードディスク（ＨＤとする）２４０、通信Ｉ／Ｆ２５０、及び入出力Ｉ／Ｆ２６０を備える。ＲＯＭ２３０やＨＤ２４０には、オペレーティングシステム（ＯＳとする）や各種プログラム等が格納されており、必要に応じてＲＡＭ２２０に読み出され、ＣＰＵ２１０により各プログラムが実行される。通信Ｉ／Ｆ２５０は、他の装置（ここでは、カメラ１２０）と通信を行うためのインタフェースである。入出力Ｉ／Ｆ２６０は、キーボードやマウス等の入力機器１４０からの入力を受け付けたり、プリンタやモニタ１３０等にデータを出力するためのインタフェースである。この入出力Ｉ／Ｆ２６０としてＵＳＢやＲＳ２３２Ｃ等が用いられる。また、必要に応じて、光磁気ディスク、フロッピーディスク（登録商標）、ＣＤ−Ｒ、ＤＶＤ−Ｒ等のリムーバブルディスクに対応したドライブを接続することができる。
【００２１】
図３は、本実施形態に係る映像確認装置１１０の機能ブロック図である。映像確認装置１１０は、映像取得部３１０と差分抽出部３２０と重畳部３３０と表示制御部３４０と映像情報蓄積部３１５とを備える。
【００２２】
映像取得部３１０は、カメラ１２０が撮像した映像情報３０５を取得する処理を行う。取得した映像情報３０５は映像情報蓄積部３１５に格納される。映像情報蓄積部３１５に格納された映像情報に基づいて、差分抽出部３２０が、確認対象となる映像から静止画を抽出し、抽出した静止画と背景画像との差分領域を抽出し、差分領域情報３２５を生成する。
【００２３】
なお、差分領域の抽出は、背景画像との差分領域（以下、背景差分とする）を抽出してもよいし、所定時間前（例えば、１秒前等）の画像との差分領域（以下、隣接差分とする）を抽出してもよい。また、所定時間前（例えば、１秒前等）の画像との移動量の差を検出して差分領域（以下、オプティカルフローとする）を抽出してもよい。
【００２４】
差分抽出部３２０が差分領域情報３２５を生成すると、生成された差分領域情報３２５を、重畳部３３０が重ね合わせて重畳画像情報３３５を生成する。このとき、差分領域情報３２５において、差分領域に連続的な変化があった時間帯に関して重畳画像情報３３５を生成する。重畳部３３０が重畳画像情報３３５を生成すると、生成された重畳画像情報３３５を、表示制御部３４０がモニタ１３０に一覧表示する。
【００２５】
ここで、映像情報蓄積部３１５に格納された映像情報、差分領域情報３２５、及び重畳画像情報３３５について説明する。図４は、本実施形態に係る映像確認装置の映像情報蓄積部に格納された映像情報、及び差分領域情報の一例を示す第１の図である。ここでは、カメラＸにより撮像された映像情報３０５を映像情報取得部３１０が取得したものとする。
【００２６】
図４(X)は、カメラＸにより予め撮像された背景画像であり、映像情報蓄積部３１５に格納されている。図４(a)〜図４(d)は、映像情報蓄積部３１５に格納された映像情報であり、図４(a)から図４(d)にかけて第１の時間帯（仮に8時30分30秒〜8時30分40秒とする）で時系列順になっている。図からわかる通り、ここでは、門から人物が進入すると共に、一台の車が道路を走行後、その後続車が撮像されている。
【００２７】
図４(a)〜図４(d)の各画像と図４(X)の背景画像とを比較し、相違する画素領域を抽出したものが、図４(a’)〜図４(d’)である。図４(a)〜図４(d)において、背景には変化がなく、人物と車のみが移動しているため、人物と車の画素領域のみが差分領域として抽出され、差分領域情報３２５（差分画像４１０〜４４０）が生成される。
【００２８】
図５は、本実施形態に係る映像確認装置の映像情報蓄積部に格納された映像情報、及び差分領域情報の一例を示す第２の図である。図５において、図４の場合と異なる第２の時間帯（仮に8時36分30秒〜8時36分40秒とする）におけるカメラＸの映像情報３０５に基
づいて、映像情報蓄積部３１５に格納された映像情報（図５(a)〜図５(d)）と背景画像（図５(X)）とで相違する画素領域が抽出される。ここでも、図５(a)〜図５(d)において、背景には変化がなく、人物と車と自転車のみが移動しているため、人物と車と自転車の画素領域のみが差分領域として抽出され、差分領域情報３２５（図５(a’)〜図５(d’)すなわち差分画像５１０〜５４０）が生成される。
【００２９】
図６は、本実施形態に係る映像確認装置の重畳画像情報の一例を示す図である。図６（ａ）は、第１の時間帯における差分領域情報３２５（差分画像４１０〜４４０）を重ね合わせた重畳画像である。図６（ｂ）は、第２の時間帯における差分領域情報３２５（差分画像５１０〜５４０）を重ね合わせた重畳画像である。図からわかるように、人物や車等の連続的な移動を確認することができる。
【００３０】
また、それぞれの重畳画像において、開始終了時刻には、それぞれの時間帯における最早時刻と最遅時刻が示されている。さらに、時間には、開始終了時刻の間の時間（ここでは、単位を秒とする）が示されている。さらにまた、移動距離は、人物の移動距離（ここでは、単位をメートルとする）が示されている。
【００３１】
なお、図６においては、カメラＸが門に進入する人物を撮像することを目的としているため、人物の移動距離を示しているが、他の対象物（例えば、車）を撮像することを目的としている場合には、当該他の対象物の移動距離を示してもよい。このとき、移動方向や差分領域の形状に基づいて、対象物を区別してもよい。
【００３２】
また、車、人物、及び自転車のそれぞれの移動距離を示してもよい。移動方向や差分領域の形状により対象物が特定される場合には、対象物ごとに移動距離を示してもよいし、対象物が特定されない場合は、移動距離のみを示してもよい。
【００３３】
さらに、車の確認が不要である場合には、フレームの上方部（車が走行する領域）を除外して差分領域を抽出してもよいし、車の確認のみが必要である場合には、フレームの下方部（自転車や人物が通行する領域）を除外して差分領域を抽出してもよい。
【００３４】
さらにまた、重畳画像情報３３５については、差分領域を明確にするために、コントラストを強調して生成してもよい。
【００３５】
さらにまた、背景画像については、天気、季節、時間帯ごとに使い分けを行ってもよい。つまり、晴天時、夏季、昼間等の明るい時間帯と雨天時、冬季、夜等の暗い時間帯では、相違する画素領域が背景にも及んでしまう可能性があるが、使い分けを行うことで、それらの問題を防止することができる。
【００３６】
さらにまた、背景画像については、事前に作成する以外に、動的に作成してもよい。つまり、背景画像は状況変化がない画像であるが、状況変化が少ない、又は、短時間であれば、一定間隔（例えば、１分間隔）で映像から画像を取得し、平均化し、動的に背景画像を作成することもできる。
【００３７】
図６において生成された複数の時間帯における重畳画像情報３３５を、表示制御部３４０がモニタ１３０に一覧表示し、表示された画面を確認者１５０が参照することで、異常を確認することができる。
【００３８】
（２．動作）
図７は、本実施形態に係る映像確認装置の動作を示すフローチャートである。まず、映像取得部３１０が、カメラ１２０で撮像された映像情報３０５を取得し、映像情報蓄積部３１５に蓄積する（ステップＳ７０１）。蓄積された映像情報から、確認者１５０の指示に基づいて確認対象となる映像情報を選択し、選択された映像情報から静止画を抽出する（ステップＳ７０２）。差分抽出部３２５が、抽出された静止画と予め撮像されていた背景画像との差分領域を抽出して、差分画像を生成する（ステップＳ７０３）。
【００３９】
ここで、差分領域の抽出について説明する。上述したように、差分領域の抽出は、背景差分、隣接差分、又はオプティカルフローにより抽出することができる。本実施形態においては、背景差分により差分領域を抽出する（図４、図５を参照）。
【００４０】
また、抽出した差分領域の表現方法としては、（１）背景画像に対して変化があった領域を差分領域とする方法、（２）前画像に対して変化があった領域を差分領域とする方法、（３）変化があった領域の輪郭のみを差分領域とする方法等が考えられる。
【００４１】
例えば、（１）の場合は、背景画像に対しての変化であるため、人物の移動が検出された場合は、その人物の現在の状態が差分領域として抽出される。（２）の場合は、前画像に対しての変化であるため、前画像（例えば、１秒前の画像）に人物が撮像されている場合には、その人物の現在の状態と１秒前の状態が差分領域として抽出される。（３）の場合は、領域における輪郭線のみが差分領域として抽出される。輪郭のみが差分領域として抽出された場合については、詳細を後述する。
【００４２】
なお、いずれの方法においても、差分領域として抽出されない部分は単一色（例えば、黒）で抽出されるものとする。
ステップＳ７０３で差分画像が生成されると、差分領域を強調するために、差分画像のコントラストを調整する（ステップＳ７０４）。連続的に変化があった時間帯ごとに差分画像を重ね合わせて重畳画像を生成する（ステップＳ７０５）。
【００４３】
ここで、重畳画像について説明する。本実施形態においては、連続的に変化があった差分画像を重畳することで、１つの重畳画像で変化の過程（撮像された対象物の移動過程）を確認することができる。変化が少ない場所におけるカメラ１２０の映像情報では、映像に変化がない時間帯が多く存在する。変化がない場合は、差分領域が抽出されない（画面が単一色である）ため、その間の差分画像については重畳せずに、連続的に変化があった場合のみ重畳する。重畳するのは、連続的な変化が開始した時点から変化が終了した時点までである。そのため、一連の変化の過程を１つの画像で確認することができる。
【００４４】
例えば、図６（ａ）において、前記第１の時間帯の間は、人物や車の変化があったとする。実際には、人物が画面に登場した時点から変化が開始するため、８時３０分３０秒以前から変化が開始しているが、ここでは、仮に８時３０分３０秒に変化が開始したとする。また、撮像された人物、及び車は８時３０分４０秒まで連続的に撮像され、８時３０分４１秒には画面から消えたとする。
【００４５】
図６（ａ）から図６（ｂ）までの第３の時間帯（８時３０分４１秒から８時３６分３０秒まで）は、映像に変化がなかったとする。そして、図６（ｂ）において、第２の時間帯で人物、車、及び自転車が連続的に撮像され、８時３６分４１秒には画面から消えたとする。
【００４６】
第１、第２、及び第３の時間帯の差分領域において、変化があるのは第１、及び第２の時間帯であり、第３の時間帯の差分領域は差分画像全体が単一色となっている。重畳部３３０は、このように変化がある第１、及び第２の時間帯についてのみ差分画像を重畳して重畳画像を生成し、変化がない第３の時間帯については重畳画像を生成しない。
【００４７】
なお、ここでは、連続的に変化した差分領域を重畳して１つの重畳画像を生成したが、重畳する差分画像の枚数や重畳する時間帯（時間：例えば１分、５分等）を指定して重畳画像を生成してもよい。
【００４８】
図７に戻って、ステップＳ７０５で重畳画像が生成されると、表示制御部３４０が、生成された重畳画像をモニタ１３０に一覧表示する（ステップＳ７０６）。上述したように、重畳画像は、差分領域に変化があった時間帯について生成されるため、差分領域に変化がない時間帯の重畳画像は、ここでは一覧表示から除外されている。つまり、移動がある時間帯の重畳画像のみが一覧表示されるため、不必要な確認作業をなくすことができる。差分領域に変化がない時間帯の重畳画像を、一覧表示に含めることもできる。これにより、変化がない時間帯の時間情報の表示やその時間帯の先頭からの再生ができる。 確認者１５０によりマウス等の入力機器１４０を用いて重畳画像が選択（クリック）されたかどうかを判定する（ステップＳ７０７）。選択された場合は、選択された位置を取得し（ステップＳ７０８）、取得した位置から差分領域を特定し、該当する時間帯の映像を頭出し再生する（ステップＳ７０９）。
【００４９】
ここで、頭出し再生について説明する。図８は、本実施形態に係る映像確認装置の重畳画像が選択された場合の処理を示す図である。図８（ａ）において、矢印Ａはマウスポイントを示している。また、矢印Ａで選択されている人物は、図４における差分画像４３０で抽出された人物である。矢印Ａのマウスポイントがクリックされた場合は、選択された差分領域に対応する映像が頭出し再生（図４（ｃ）を先頭にした映像の再生が）される（図８（ｂ））。
【００５０】
選択された差分領域に対応する映像の抽出については、いくつかの方法が考えられられる。一例として、差分画像と時刻を対応付けて格納しておき、重畳画像上のある領域がクリックされたとする。重畳画像を作成した順序と逆の順序に沿って各差分画像に対してクリックした位置に差分領域があるかどうかを検知し、差分領域がある差分画像を検出する。そして、検出した差分画像に対応する映像の時刻が、頭出しの再生対象時刻となる。
【００５１】
つまり、図８（ａ）の矢印Ａがクリックされた場合に、図４において（ａ’）→（ｂ’）→（ｃ’）→（ｄ’）の順に重畳された場合は、逆順の（ｄ’）→（ｃ’）→（ｂ’）→（ａ’）の順に沿って各差分画像に対してクリックされた位置に差分領域があるかどうかを検知する。図４（ｃ’）において、矢印Ａの位置に差分領域があるため、図８（ｂ）のように、図４（ｃ）を先頭にした映像が再生される。
【００５２】
また、他の例として各画素ごとに対応する座標に時刻情報を紐付けて保持しておいてもよい。つまり、初めは全画素値に映像の開始時刻を紐付けて保持しておき、次に図４（ａ’）を重畳する際には、図４（ａ’）の差分領域における画素値の座標に、図４（ａ’）の時刻を紐付けて保持する。同様に、重畳する順に図４（ｂ’）、図４（ｃ’）、図４（ｄ’）の差分領域における画素値の座標に、それぞれの時刻を紐付けて保持する。そして、図８（ａ）のようにクリックされた座標に紐付いている再生時刻が、映像の頭出し再生対象時刻となる。
なお、頭出し再生の映像は、重畳画像と同一の画面に表示してもよいし、別画面で表示してもよい。
【００５３】
図７に戻って、ステップＳ７０７で重畳画像が選択されない場合は、重畳画像を細分化するかどうかを判定する（ステップＳ７１０）。細分化する場合は、静止画を抽出する時間間隔を調整して（ステップＳ７１１）、ステップＳ７０２に戻る。ステップＳ７０２では、静止画を抽出する時間間隔が調整（短く）されているため、同じ時間内に多くの静止画が抽出され、結果的に重畳画像が細分化される。
【００５４】
ここで、重畳画像の細分化について説明する。図９は、本実施形態に係る映像確認装置の重畳画像を細分化する処理を示す図である。図９（ａ）は細分化する前の重畳画像であり、図９（ｂ）は細分化した後の重畳画像である。図９（ａ）は、図４における差分画像４１０と差分画像４４０とを重畳したものである。つまり、静止画を抽出する時間間隔が１０秒ということになる。この場合、確認者１５０は、図９（ａ）を参照しただけでは、人物の移動の様子を把握しづらい。そこで、静止画を抽出する時間間隔を２．５秒、つまり１０秒間で４枚の差分画像を重畳するように設定すると、図９（ｂ）の重畳画像となる。図９（ｂ）は、図４における差分画像４１０から差分画像４４０を重畳したものである。図９（ｂ）においては、人物や車の移動の様子を明確に把握することができ、確認作業が簡素化される。
【００５５】
図７に戻って、ステップＳ７０９で頭出し再生がされた場合、又はステップＳ７１０で重畳画像の細分化を行わない場合は、確認を終了するかどうかを判定し（ステップＳ７１２）、確認を継続する場合は、ステップＳ７０２に戻って、他の確認対象映像について処理を行う。確認を終了する場合は、監視システムをシャットダウンして（ステップＳ７１３）、処理を終了する。
【００５６】
このように、本実施形態に係る映像確認装置によれば、差分領域の一連の変化を一のフレームに重畳するため、変化がある時間帯の映像のみを抽出することができ、監視の見落としを確実に防止することができる。
【００５７】
また、確認者は一のフレーム（静止画）を参照するだけで映像の変化や変化の過程を確認することができるため、確認者の作業の監視負担を大幅に軽減することができる。
さらに、変化があった時間帯のフレームの一覧から確認したい映像を選択して即座に映像を表示して確認することができる。
さらにまた、重畳されたフレームの最早、及び最遅時刻を表示するため、ある程度確認する時刻が絞られている場合には、必要な映像を即座に確認することができる。
【００５８】
（本発明の第２の実施形態）
本実施形態に係る映像確認装置について図１０ないし図１２を用いて説明する。本実施形態に係る映像確認装置は、第１の実施形態に係る映像確認装置の機能を拡張したものであり、差分領域の移動速度を算出し、所定範囲内の移動速度で移動している差分領域のみを重畳するものである。
なお、本実施形態において、前記第１の実施形態と重複する説明については省略する。
【００５９】
（１．構成）
図１０は、本実施形態に係る映像確認装置の機能ブロック図である。第１の実施形態と異なるのは、速度算出部３５０を備えることである。
速度算出部３５０は、差分抽出部３２０が抽出した差分領域情報３２５に基づいて、差分領域の移動速度を算出する。移動速度は、撮像された時刻と移動距離により求められる。撮像された時刻は映像情報蓄積部３１５に格納されており、フレーム間の時刻の差に基づいて時間を求めることができる。移動距離は、差分領域が移動した画素数と映像情報ごとに設定されたスケーリングパラメータを用いた射影変換等により算出される。算出された時間と移動距離に基づいて移動速度が算出される。
【００６０】
また、速度算出部３５０は、確認者１５０が設定した速度範囲情報３０６に基づいて、差分領域情報３２５の差分領域を選別する。例えば、速度範囲情報３０６が「０〜２０ｋｍ／時」で設定されている場合は、移動速度が０〜２０ｋｍ／時の差分領域のみを差分領域情報３２５とする。２１ｋｍ／時以上の移動速度で移動している差分領域については差分情報から除外する。つまり、この場合、歩行者の移動は差分領域情報３２５に含まれるが、通常の走行をしている自動車等については差分領域情報３２５から除外される。
映像取得部３１０、映像情報蓄積部３１５、差分抽出部３２０、重畳部３３０、及び表示制御部３４０の機能は、第１の実施形態と同じであるため説明は省略する。
【００６１】
（２．動作）
図１１は、本実施形態に係る映像確認装置の動作を示すフローチャートである。まず、映像取得部３１０が、カメラ１２０で撮像された映像情報３０５を取得し、映像情報蓄積部３１５に蓄積する（ステップＳ１１０１）。蓄積された映像情報から、確認者１５０の指示に基づいて確認対象となる映像情報を選択し、選択された映像情報から静止画を抽出する（ステップＳ１１０２）。差分抽出部３２５が、抽出された静止画と予め撮像されていた背景画像との差分領域を抽出し、速度算出部３５０が、抽出した差分領域の移動速度を算出する（ステップＳ１１０３）。移動速度が指定された範囲内にある差分領域のみを抽出し、差分画像を生成する（ステップＳ１１０４）。
【００６２】
ここで、移動速度に応じた差分領域の抽出について説明する。図１２は、本実施形態に係る映像確認装置の速度範囲が指定された場合の重畳画像情報の一例を示す図である。図１２（ａ）は、速度範囲が２０−６０（ここでは、単位がｋｍ／時とする）で移動している差分領域を抽出して重畳した場合の図である。図１２（ｂ）は、速度範囲が０−６（ここでは、単位がｋｍ／時とする）で移動している差分領域を抽出して重畳した場合の図である。
【００６３】
図１２に示すように、速度範囲が２０−６０の場合には、自転車と車の移動が表示され、速度範囲が０−６の場合には、歩行者の移動が表示されている。例えば、ひき逃げ車両の確認を行うような場合には、速度設定を車の速度範囲に設定し、不審者の進入の確認を行うような場合には、速度設定を人間の移動速度に設定する。このように、目的に応じて確認者１５０が速度設定を行うことで、確認作業の簡素化することができる。
【００６４】
なお、移動速度の括弧内の数値は、差分領域の実際の移動速度を表示している。図１２（ａ）の場合には、２５ｋｍ／時（自転車）、４５ｋｍ／時（右から左に移動している車）、５０ｋｍ／時（左から右に移動している車）の３つの速度が算出されたことを示している。図１２（ｂ）の場合には、４ｋｍ／時（歩行者）の速度が算出されたことを示している。
【００６５】
このように、本実施形態に係る映像確認装置は、所定の移動速度の範囲内で移動している差分領域のみを重畳するため、監視対象の移動速度に応じて必要な時間帯の映像を確認することができる。
【００６６】
また、移動速度を表示するため、車、人、自転車等の移動を区別することができ、監視対象に応じて効率よく映像を選択することができる。
さらに、犯罪等の場合には、犯人が急いで移動している場合が多いため、人物の変化と移動速度を確認することで、人物が急いで移動していることを確認し、犯人の可能性がある人物を早急に確認することができる。
【００６７】
（その他の実施形態）
本実施形態に係る映像確認装置について、図１３を用いて説明する。本実施形態に係る映像確認装置は、第１、及び第２の実施形態に係る映像確認装置の機能を拡張したものであり、重畳画像において差分領域が同じ位置に重なった場合に様々な表示方法により表示するものである。
【００６８】
本実施形態において、前記第１、及び第２の実施形態と異なるのは、差分抽出部３２０が、差分領域の輪郭のみを抽出することである。また、重畳部３３０が、差分領域を半透化して重畳、及び／又は時刻ごとに色分けして重畳することである。
【００６９】
図１３は、本実施形態に係る映像確認装置で生成された重畳画像における一部の拡大図である。図１３（ａ）は、差分領域を単純に重ね合わせた場合の重畳画像の一例を示す。この状態では、人物が重なって表示されるため視認性がよくない場合がある。また、さらに小さい差分領域が隠れて視認できない可能性もある。
【００７０】
図１３（ａ）の条件から、輪郭のみを差分領域として抽出した場合の重畳画像が図１３（ｂ）である。図８（ｂ）においては、２人の人物（同一人物であるが、異なる時刻に撮像された人物）の輪郭のみが抽出されているため、明確に区別することができ、図１３（ａ）に比べて視認性が向上している。また、他の差分領域の存在の有無も視認することができる。
【００７１】
図１３（ａ）の条件から、一方の時刻における人物を半透化した場合の重畳画像が図１３（ｃ）である。このように、差分領域を半透化することで、図８（ｂ）の場合と同様にそれぞれの時刻における人物を明確に区別することができ、視認性を向上させることができる。
【００７２】
図１３（ａ）の条件から、それぞれの時刻ごとに色分けした場合の重畳画像が図１３（ｄ）である。ここでは、図面の都合上、色の違いを塗りつぶしのパターンの違いで表現している。つまり、実際は、例えばチェックパターンが赤、斜線パターンが青等の色である。重なっている領域については、それぞれの色調を加算（図で言えばチェックと斜線の加算）等した色となる。このように、時刻ごと差分領域を色分けすることで、図１３（ｂ）、及び（ｃ）の場合と同様にそれぞれの時刻における人物を明確に区別することができ、視認性を向上させることができる。
【００７３】
なお、差分領域の輪郭のみの重畳方法、半透化しての重畳方法、カメラごとに色分けしての重畳方法は、任意に組み合わせることができるものとする。例えば、図１３（ｂ）の輪郭線の色を時刻ごとに異なる色としてもよい。また、図１３（ｄ）の一方の時刻における人物を半透化にしてもよい。
【００７４】
また、それぞれの差分領域に対応する時刻を、差分領域に近接して表示させてもよい。そうすることで、差分領域と時刻の関連付けを容易に行うことができる。
このように、本実施形態に係る映像確認装置によれば、差分領域の輪郭のみを抽出するため、差分領域を重畳したときに、複数の差分領域が同じ位置に重なった場合であっても、それぞれの差分領域を明確に区別して監視することができる。
また、差分領域を半透化、及び／又は異なる時刻ごとに異なる色で重畳するため、差分領域を明確に区別して異常を確認することができる。
【００７５】
以上の前記実施形態は、所謂当業者であれば明らかであるように、方法、及び、プログラムとして捉えることもできる。また、本願に開示する映像確認装置の構成要素または構成要素の任意の組合せを、方法、装置、回路、システム、コンピュータプログラム、記録媒体、データ構造などに適用したものも、他の態様として有効である。
【００７６】
以上の前記各実施形態により本発明を説明したが、本発明の技術的範囲は実施形態に記載の範囲には限定されず、これら各実施形態に多様な変更又は改良を加えることが可能である。そして、かような変更又は改良を加えた実施の形態も本発明の技術的範囲に含まれる。このことは、特許請求の範囲及び課題を解決する手段からも明らかなことである。
前記各実施形態に関して次の付記を示す。
【００７７】
（付記１）一のカメラで撮像された連続するフレームからなる撮像情報を格納する撮像情報格納手段と、当該撮像情報格納手段に格納された撮像情報において、任意の一のフレームと当該任意の一のフレームから所定時間前のフレーム、又は予め撮像された背景フレームとを比較して画素値に相違がある領域を検出し、検出した画素領域を差分領域として抽出する差分領域抽出手段と、当該差分領域抽出手段が差分領域を検出した開始フレームから、前記差分領域の変化が連続して検出されている検出区間のフレームを所定間隔で重畳して一のフレームを生成する重畳手段とを備える映像確認装置。
【００７８】
（付記２）付記１に記載の映像確認装置において、前記重畳手段が生成した一のフレームを一覧表示する表示手段を備え、当該表示手段が表示する任意の一のフレームにおける任意の一の差分領域が選択された場合に、当該選択された差分領域に対応する時刻における、前記撮像情報格納手段にて格納された撮像情報を表示する映像確認装置。
【００７９】
（付記３）付記１又は２に記載の映像確認装置において、前記撮像情報格納手段が格納する撮像情報の各フレームが撮像された時刻に基づいて、前記差分領域抽出手段で抽出された差分領域の移動速度を算出する速度算出手段を備え、前記重畳手段が、前記速度算出手段で算出された移動速度が所定の移動速度の範囲内にある場合に、前記差分領域を重畳して一のフレームを生成する映像確認装置。
【００８０】
（付記４）付記１ないし３のいずれかに記載の映像確認装置において、前記表示手段が、前記重畳手段にて一のフレームを生成する場合における前記検出区間の変化開始、及び変化終了時刻、変化開始時刻から変化終了時刻までの時間、移動距離、並びに／又は前記速度算出手段にて算出された前記差分領域の移動速度を表示する映像確認装置。
【００８１】
（付記５）付記１ないし４のいずれかに記載の映像確認装置において、前記差分領域抽出手段が、前記差分領域の輪郭のみを抽出する映像確認装置。
【００８２】
（付記６）付記１ないし５のいずれかに記載の映像確認装置において、前記重畳手段が、前記差分領域を半透化、及び／又は時刻ごとに異なる色で重畳して一のフレームを生成する映像確認装置。
【００８３】
（付記７）一のカメラで撮像された連続するフレームからなる撮像情報を格納し、当該格納された撮像情報において、任意の一のフレームと当該任意の一のフレームから所定時間前のフレーム、又は予め撮像された背景フレームとを比較して画素値に相違がある領域を検出し、検出した画素領域を差分領域として抽出する差分領域抽出ステップと、当該差分領域抽出手段が差分領域を検出した開始フレームから、前記差分領域の変化が連続して検出されている検出区間のフレームを所定間隔で重畳して一のフレームを生成する重畳ステップとを含む映像確認方法。
【００８４】
（付記８）付記７に記載の映像確認方法において、前記重畳ステップが生成した一のフレームを一覧表示する表示ステップを含み、当該表示ステップが表示する任意の一のフレームにおける任意の一の差分領域が選択された場合に、当該選択された差分領域に対応する時刻における、前記格納された撮像情報を表示する映像確認方法。
【００８５】
（付記９）付記７又は８に記載の映像確認方法において、前記格納された撮像情報の各フレームが撮像された時刻に基づいて、前記差分領域抽出ステップで抽出された差分領域の移動速度を算出する速度算出ステップを含み、前記重畳ステップが、前記速度算出ステップで算出された移動速度が所定の移動速度の範囲内にある場合に、前記差分領域を重畳して一のフレームを生成する映像確認方法。
【００８６】
（付記１０）付記７ないし９のいずれかに記載の映像確認方法において、前記表示ステップが、前記重畳ステップにて一のフレームを生成する場合における前記検出区間の変化開始、及び変化終了時刻、変化開始時刻から変化終了時刻までの時間、移動距離、並びに／又は前記速度算出ステップにて算出された前記差分領域の移動速度を表示する映像確認方法。
【００８７】
（付記１１）付記７ないし１０のいずれかに記載の映像確認方法において、前記差分領域抽出ステップが、前記差分領域の輪郭のみを抽出する映像確認方法。
【００８８】
（付記１２）付記７ないし１１のいずれかに記載の映像確認方法において、前記重畳ステップが、前記差分領域を半透化、及び／又は時刻ごとに異なる色で重畳して一のフレームを生成する映像確認方法。
【００８９】
（付記１３）一のカメラで撮像された連続するフレームからなる撮像情報を格納する撮像情報格納手段、当該撮像情報格納手段に格納された撮像情報において、任意の一のフレームと当該任意の一のフレームから所定時間前のフレーム、又は予め撮像された背景フレームとを比較して画素値に相違がある領域を検出し、検出した画素領域を差分領域として抽出する差分領域抽出手段、当該差分領域抽出手段が差分領域を検出した開始フレームから、前記差分領域の変化が連続して検出されている検出区間のフレームを所定間隔で重畳して一のフレームを生成する重畳手段としてコンピュータを機能させる映像確認プログラム。
【００９０】
（付記１４）付記１３に記載の映像確認プログラムにおいて、前記重畳手段が生成した一のフレームを一覧表示する表示手段としてコンピュータを機能させ、当該表示手段が表示する任意の一のフレームにおける任意の一の差分領域が選択された場合に、当該選択された差分領域に対応する時刻における、前記撮像情報格納手段にて格納された撮像情報を表示する映像確認プログラム。
【００９１】
（付記１５）付記１３又は１４に記載の映像確認プログラムにおいて、前記撮像情報格納手段が格納する撮像情報の各フレームが撮像された時刻に基づいて、前記差分領域抽出手段で抽出された差分領域の移動速度を算出する速度算出手段としてコンピュータを機能させ、前記重畳手段が、前記速度算出手段で算出された移動速度が所定の移動速度の範囲内にある場合に、前記差分領域を重畳して一のフレームを生成する映像確認プログラム。
【００９２】
（付記１６）付記１３ないし１５のいずれかに記載の映像確認プログラムにおいて、前記表示手段が、前記重畳手段にて一のフレームを生成する場合における前記検出区間の変化開始、及び変化終了時刻、変化開始時刻から変化終了時刻までの時間、移動距離、並びに／又は前記速度算出手段にて算出された前記差分領域の移動速度を表示する映像確認プログラム。
【００９３】
（付記１７）付記１３ないし１６のいずれかに記載の映像確認プログラムにおいて、前記差分領域抽出手段が、前記差分領域の輪郭のみを抽出する映像確認プログラム。（図１３）
【００９４】
（付記１８）付記１３ないし１７のいずれかに記載の映像確認プログラムにおいて、前記重畳手段が、前記差分領域を半透化、及び／又は時刻ごとに異なる色で重畳して一のフレームを生成する映像確認プログラム。
【符号の説明】
【００９５】
１００ 監視システム
１１０ 映像確認装置
１２０ カメラ
１３０ モニタ
１４０ 入力機器
１５０ 確認者
２１０ ＣＰＵ
２２０ ＲＡＭ
２３０ ＲＯＭ
２４０ ＨＤ
２５０ 通信Ｉ／Ｆ
２６０ 入出力Ｉ／Ｆ
３０５ 映像情報
３０６ 速度範囲情報
３１０ 映像取得部
３１５ 映像情報蓄積部
３２０ 差分抽出部
３２５ 差分領域情報
３３０ 重畳部
３３５ 重畳画像情報
３４０ 表示制御部
３５０ 速度算出部
４１０〜４４０ 差分画像
５１０〜５４０ 差分画像
【特許請求の範囲】
【請求項１】
撮影時刻の異なる複数のフレームを有する撮像情報を格納する撮像情報格納手段と、
当該撮像情報格納手段に格納された撮像情報において、任意の一のフレームと当該任意の一のフレームとは異なる撮影時刻のフレーム、又は予め撮像された背景フレームとを比較して画素値に相違がある領域を検出し、検出した画素領域を差分領域として抽出する差分領域抽出手段と、
当該差分領域抽出手段が差分領域を検出した開始フレームから、前記差分領域の変化が連続して検出されている検出区間のフレームを重畳して一のフレームを生成する重畳手段とを備える映像確認装置。
【請求項２】
請求項１に記載の映像確認装置において、
前記重畳手段が生成した一のフレームを一覧表示する表示手段を備え、
当該表示手段が表示する任意の一のフレームにおける任意の一の差分領域が選択された場合に、当該選択された差分領域に対応する時刻における、前記撮像情報格納手段にて格納された撮像情報を表示する映像確認装置。
【請求項３】
請求項１又は２に記載の映像確認装置において、
前記撮像情報格納手段が格納する撮像情報の各フレームが撮像された時刻に基づいて、前記差分領域抽出手段で抽出された差分領域の移動速度を算出する速度算出手段を備え、
前記重畳手段が、前記速度算出手段で算出された移動速度が所定の移動速度の範囲内にある場合に、前記差分領域を重畳して一のフレームを生成する映像確認装置。
【請求項４】
請求項１ないし３のいずれかに記載の映像確認装置において、
前記表示手段が、前記重畳手段にて一のフレームを生成する場合における前記検出区間の変化開始、及び変化終了時刻、変化開始時刻から変化終了時刻までの時間、移動距離、並びに／又は前記速度算出手段にて算出された前記差分領域の移動速度を表示する映像確認装置。
【請求項５】
撮影時刻の異なる複数のフレームを有する撮像情報を格納し、当該格納された撮像情報において、任意の一のフレームと当該任意の一のフレームとは異なる撮影時刻のフレーム、又は予め撮像された背景フレームとを比較して画素値に相違がある領域を検出し、検出した画素領域を差分領域として抽出する差分領域抽出ステップと、
当該差分領域抽出手段が差分領域を検出した開始フレームから、前記差分領域が連続して検出されている検出区間のフレームを重畳して一のフレームを生成する重畳ステップとを含む映像確認方法。
【請求項６】
撮影時刻の異なる複数のフレームを有する撮像情報を格納する撮像情報格納手段、
当該撮像情報格納手段に格納された撮像情報において、任意の一のフレームと当該任意の一のフレームとは異なる撮影時刻のフレーム、又は予め撮像された背景フレームとを比較して画素値に相違がある領域を検出し、検出した画素領域を差分領域として抽出する差分領域抽出手段、
当該差分領域抽出手段が差分領域を検出した開始フレームから、前記差分領域が連続して検出されている検出区間のフレームを重畳して一のフレームを生成する重畳手段としてコンピュータを機能させる映像確認プログラム。
【請求項１】
撮影時刻の異なる複数のフレームを有する撮像情報を格納する撮像情報格納手段と、
当該撮像情報格納手段に格納された撮像情報において、任意の一のフレームと当該任意の一のフレームとは異なる撮影時刻のフレーム、又は予め撮像された背景フレームとを比較して画素値に相違がある領域を検出し、検出した画素領域を差分領域として抽出する差分領域抽出手段と、
当該差分領域抽出手段が差分領域を検出した開始フレームから、前記差分領域の変化が連続して検出されている検出区間のフレームを重畳して一のフレームを生成する重畳手段とを備える映像確認装置。
【請求項２】
請求項１に記載の映像確認装置において、
前記重畳手段が生成した一のフレームを一覧表示する表示手段を備え、
当該表示手段が表示する任意の一のフレームにおける任意の一の差分領域が選択された場合に、当該選択された差分領域に対応する時刻における、前記撮像情報格納手段にて格納された撮像情報を表示する映像確認装置。
【請求項３】
請求項１又は２に記載の映像確認装置において、
前記撮像情報格納手段が格納する撮像情報の各フレームが撮像された時刻に基づいて、前記差分領域抽出手段で抽出された差分領域の移動速度を算出する速度算出手段を備え、
前記重畳手段が、前記速度算出手段で算出された移動速度が所定の移動速度の範囲内にある場合に、前記差分領域を重畳して一のフレームを生成する映像確認装置。
【請求項４】
請求項１ないし３のいずれかに記載の映像確認装置において、
前記表示手段が、前記重畳手段にて一のフレームを生成する場合における前記検出区間の変化開始、及び変化終了時刻、変化開始時刻から変化終了時刻までの時間、移動距離、並びに／又は前記速度算出手段にて算出された前記差分領域の移動速度を表示する映像確認装置。
【請求項５】
撮影時刻の異なる複数のフレームを有する撮像情報を格納し、当該格納された撮像情報において、任意の一のフレームと当該任意の一のフレームとは異なる撮影時刻のフレーム、又は予め撮像された背景フレームとを比較して画素値に相違がある領域を検出し、検出した画素領域を差分領域として抽出する差分領域抽出ステップと、
当該差分領域抽出手段が差分領域を検出した開始フレームから、前記差分領域が連続して検出されている検出区間のフレームを重畳して一のフレームを生成する重畳ステップとを含む映像確認方法。
【請求項６】
撮影時刻の異なる複数のフレームを有する撮像情報を格納する撮像情報格納手段、
当該撮像情報格納手段に格納された撮像情報において、任意の一のフレームと当該任意の一のフレームとは異なる撮影時刻のフレーム、又は予め撮像された背景フレームとを比較して画素値に相違がある領域を検出し、検出した画素領域を差分領域として抽出する差分領域抽出手段、
当該差分領域抽出手段が差分領域を検出した開始フレームから、前記差分領域が連続して検出されている検出区間のフレームを重畳して一のフレームを生成する重畳手段としてコンピュータを機能させる映像確認プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１０−２２００４２（Ｐ２０１０−２２００４２Ａ）
【公開日】平成２２年９月３０日（２０１０．９．３０）
【国際特許分類】
【出願番号】特願２００９−６６４０４（Ｐ２００９−６６４０４）
【出願日】平成２１年３月１８日（２００９．３．１８）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
【公開日】平成２２年９月３０日（２０１０．９．３０）
【国際特許分類】
【出願日】平成２１年３月１８日（２００９．３．１８）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
[ Back to top ]