映像検出装置および映像検出方法並びに映像検出プログラム
【課題】所望の事象の進展を表す映像に類似した映像を高い精度で検出する映像検出装置および映像検出方法並びに映像検出プログラムを提供する。
【解決手段】所望の事象の進展を表す基準映像を保持する保持部と、前記基準映像に基づいて、当該基準映像における前記事象の進展の速度を含む複数の速度で前記事象の進展を表す複数の調整映像を生成する生成部と、蓄積装置に蓄積された各蓄積映像と、前記複数の調整映像のそれぞれとの類似度を評価する評価部と、前記評価部で得られた評価結果に基づいて、前記複数の調整映像のいずれかに類似する前記蓄積映像を、前記基準映像に類似する映像として取り出す検出部とを有する。
【解決手段】所望の事象の進展を表す基準映像を保持する保持部と、前記基準映像に基づいて、当該基準映像における前記事象の進展の速度を含む複数の速度で前記事象の進展を表す複数の調整映像を生成する生成部と、蓄積装置に蓄積された各蓄積映像と、前記複数の調整映像のそれぞれとの類似度を評価する評価部と、前記評価部で得られた評価結果に基づいて、前記複数の調整映像のいずれかに類似する前記蓄積映像を、前記基準映像に類似する映像として取り出す検出部とを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本件開示は、蓄積された映像から所望の映像を検出する映像検出装置および方法並びに映像検出プログラムに関する。
【背景技術】
【０００２】
監視カメラによって撮影された映像に基づいて、工場やオフィスなどの施設を監視する監視システムは、撮影された映像に含まれる各画像を時系列的に比較することによって変化を検出したときに記録を開始する技術を用いて映像の蓄積を行う場合がある。
【０００３】
このようにして蓄積された映像から特定の人物の像が含まれている映像や特定の動作の様子が表されている映像を検出するための技法が提案されている(特許文献１参照)。
【０００４】
特許文献１の技法は、目的の映像の特徴を時間的に連結した情報と、蓄積された映像の特徴を時間的に連結した情報とを時間的にずらしながら比較することにより、目的の映像と同じように特徴が変化する部分の検出を実現している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特願２００６−６０７９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、特許文献１の技法では、目的の映像と類似した事象を捉えていると人間により判断できる映像が、目的の映像に類似する映像として検出されない場合がある。そして、このような映像を目的の映像に類似する映像として抽出するために、特許文献１の技法による映像検出装置が類似性の判断に用いる閾値を調整すると、膨大な量の映像を類似した映像として検出してしまう場合があった。
【０００７】
本件開示は、所望の事象の進展を表す映像に類似した映像を高い精度で検出する映像検出装置および映像検出方法並びに映像検出プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
一つの観点による映像検出装置は、所望の事象の進展を表す基準映像を保持する保持部と、前記基準映像に基づいて、当該基準映像における前記事象の進展の速度を含む複数の速度で前記事象の進展を表す複数の調整映像を生成する生成部と、蓄積装置に蓄積された各蓄積映像と、前記複数の調整映像のそれぞれとの類似度を評価する評価部と、前記評価部で得られた評価結果に基づいて、前記複数の調整映像のいずれかに類似する前記蓄積映像を、前記基準映像に類似する映像として取り出す検出部とを有する。
【０００９】
また、別の観点による映像検出方法は、所望の事象の進展を表す基準映像に基づいて、当該基準映像における前記事象の進展の速度を含む複数の速度で前記事象の進展を表す複数の調整映像を生成し、蓄積装置に蓄積された各蓄積映像と、前記複数の調整映像のそれぞれとの類似度を評価し、前記類似度を評価する処理による評価結果に基づいて、前記複数の調整映像のいずれかに類似する前記蓄積映像を、前記基準映像に類似する映像として取り出す。
【００１０】
更に別の観点による映像検出プログラムは、所望の事象の進展を表す基準映像に基づいて、当該基準映像における前記事象の進展の速度を含む複数の速度で前記事象の進展を表す複数の調整映像を生成し、蓄積装置に蓄積された各蓄積映像と、前記複数の調整映像のそれぞれとの類似度を評価し、前記類似度を評価する処理による評価結果に基づいて、前記複数の調整映像のいずれかに類似する前記蓄積映像を、前記基準映像に類似する映像として取り出す処理をコンピュータに実行させる。
【発明の効果】
【００１１】
本件開示の映像検出装置および映像検出方法並びに映像検出プログラムによれば、所望の事象の進展を表す映像に類似した映像を高い精度で検出することができる。
【図面の簡単な説明】
【００１２】
【図１】映像検出装置の一実施形態を示す図である。
【図２】基準映像および評価対象の蓄積映像の例を示す図である。
【図３】調整映像の例を示す図である。
【図４】間引きパターンの例を示す図である。
【図５】映像検出装置の別実施形態を示す図である。
【図６】特徴情報の抽出を説明する図である。
【図７】特徴集約情報の例を示す図である。
【図８】映像検出装置の別実施形態を示す図である。
【図９】特徴値の時間変化を説明する図である。
【図１０】映像検出装置のハードウェア構成例を示す図である。
【図１１】映像検出処理のフローチャートの一例を示す図である。
【図１２】類似度を評価する処理のフローチャートの一例を示す図である。
【図１３】映像検出装置を用いた監視映像管理システムのハードウェア構成例を示す図である。
【図１４】監視映像管理処理のフローチャートの一例を示す図である。
【図１５】監視映像管理処理のフローチャートの別例を示す図である。
【図１６】映像検出装置を用いた映像検索システムのハードウェア構成例を示す図である。
【図１７】映像検索処理のフローチャートの一例を示す図である。
【発明を実施するための形態】
【００１３】
以下、図面に基づいて、本発明の実施形態について詳細に説明する。
【００１４】
図１は、映像検出装置の一実施形態を示す図である。図１に例示した映像検出装置１１０は、蓄積装置１０１に蓄積された映像Ｖｅｖの中から、所望の事象の進展を表す映像である基準映像Ｖｓｖに類似している映像を検出する。
【００１５】
図１に例示した映像検出装置１１０は、保持部１１１と、生成部１１２と、評価部１１３と、検出部１１４とを含む。
【００１６】
図１に例示した保持部１１１は、例えば、入力ポートＶｉｎを介して所望の事象が進展する様子を表す映像の入力を受けてもよい。そして、保持部１１１は、この映像を基準映像Ｖｓｖとして保持してもよい。
【００１７】
また、図１に例示した生成部１１２は、保持部１１１に保持された基準映像Ｖｓｖに基づいて、当該基準映像Ｖｓｖにおける事象の進展の速度を含む複数の速度で、当該事象の進展を表す複数の調整映像Ｖｍを生成する。なお、以下の説明において、複数の調整映像Ｖｍのそれぞれを区別する場合には、調整映像Ｖｍ０〜ＶｍＬのように、符号に数字を付して示す。
【００１８】
また、図１に例示した評価部１１３は、蓄積装置１０１に蓄積された各蓄積映像Ｖｅｖを順次に評価対象とし、生成部１１２で得られた各調整映像Ｖｍと当該蓄積映像Ｖｅｖとの類似度を評価する。
【００１９】
図１に例示した検出部１１４は、上述した基準映像Ｖｓｖと類似していることが評価部１１３による評価結果によって示された蓄積装置１０１内の蓄積映像Ｖｅｖを、検出結果として取り出す。なお、検出部１１４は、出力ポートＶｏｕｔを介して、蓄積装置１０２から取り出した蓄積映像Ｖｅｖを映像検出装置１１０の外部に出力してもよい。
【００２０】
以下、本件開示の映像検出装置１１０により、蓄積装置１０２内に蓄積された個々の蓄積映像Ｖｅｖと、基準映像Ｖｓｖとの類似度を評価する方法について説明する。
【００２１】
図２は、基準映像Ｖｓｖおよび蓄積映像Ｖｅｖの例を示す図である。図２に示した符号ｔを付した矢印は、時間変化の方向を示している。また、符号Ｑ１，Ｑ２はそれぞれ画像内に含まれる人物を示し、符号Ｗ１は画像内に含まれる壁を示す。
【００２２】
図２に例示した基準映像Ｖｓｖは、壁Ｗ１の前を人物Ｑ１が時間τｓをかけて横切っていく様子を表している。一方、評価対象の蓄積映像Ｖｅｖは、同じ壁Ｗ１の前を、別の人物Ｑ２が時間τｅをかけて横切っていく様子を表している。なお、図２に例示した基準映像Ｖｓｖは、ｍ枚の画像Ｇｓ−１〜Ｇｓ−ｍを含んでいる。また、図２に例示した蓄積映像Ｖｅｖは、Ｍ枚の画像Ｇｅ−１〜Ｇｅ−Ｍを含んでいる。
【００２３】
このように、２つの映像に捉えられた人物Ｑ１，Ｑ２の動きの速度が異なる場合に、それぞれの映像に含まれる個々の画像を相互に比較すると、動きの開始からの経過時間に応じて、人物Ｑ１，Ｑ２の位置の差が大きくなっていくことは明らかである。例えば、基準映像Ｖｓｖおよび評価対象の蓄積映像Ｖｅｖにおいて、図２に符号Ｔｓで示した動きの開始時点にそれぞれ対応する画像Ｇｓ−１，Ｇｅ−１相互における人物Ｑ１，Ｑ２の位置の差は小さい。これに対して、上述した動きの開始時点Ｔｓから時間τｅが経過した時点Ｔｅｅに対応する基準映像Ｖｓｖの画像Ｇｓ−ｔにおける人物Ｑ１の位置と蓄積映像Ｖｅｖの画像Ｇｅ−Ｍにおける人物Ｑ２の位置の差は、上述した画像Ｇｓ−１，Ｇｅ−１相互における人物Ｑ１，Ｑ２の位置の差に比べて大きくなっている。
【００２４】
類似度の評価対象となる２枚の画像にそれぞれ含まれる人物Ｑ１，Ｑ２の位置の差が大きいほど、これらの画像間の類似度は低くなる。したがって、基準映像Ｖｓｖに含まれる各画像と蓄積映像Ｖｅｖに含まれる各画像とについてそれぞれ求めた類似度は、時系列に従って低くなる。そして、２つの映像の間の類似度は、それぞれに含まれる画像ごとの類似度の総和として考えられるので、図２に例示した基準映像Ｖｓｖと蓄積映像Ｖｅｖとをそのまま評価していえられる類似度もまた高いとはいえない。
【００２５】
しかしながら、図２に例示した評価対象の蓄積映像Ｖｅｖは、人物Ｑ２が壁Ｗ１の前を横切っていくという事象を表している点で、基準映像Ｖｓｖに類似している。つまり、蓄積映像Ｖｅｖと基準映像Ｖｓｖとは、それぞれが表している事象の進展の速度が異なっているものの、同様の事象の進展を表している点では共通している。
【００２６】
本件開示の映像検出装置１１０は、基準映像Ｖｓｖと同様の事象の進展を表している映像を検出するために、図１に例示した生成部１１２によって生成された複数の調整映像Ｖｍと評価対象の蓄積映像Ｖｅｖとの類似度を、評価部１１３によって評価する。
【００２７】
評価部１１３は、例えば、各調整映像Ｖｍに含まれる各画像と蓄積映像Ｖｅｖに含まれる各画像とを時系列に従って比較した結果に基づいて、各調整映像Ｖｍと蓄積映像Ｖｅｖとの間の類似度をそれぞれ評価してもよい。
【００２８】
図３は、調整映像Ｖｍの例を示す図である。図３に示した符号Ｖｍ０〜Ｖｍ３は、調整映像Ｖｍの例である。なお、図３に示した符号τｍｏｄ０〜τｍｏｄ３は、それぞれ調整映像Ｖｍ０〜Ｖｍ３の開始から終了までの時間を示す。つまり、これらの調整映像Ｖｍ０〜Ｖｍ３は、それぞれ異なる速度で人物が壁Ｗ１の前を横切っていく様子を表している。
【００２９】
図３に例示した調整映像Ｖｍ０は、ｍ０枚の画像Ｇｍ０−１〜Ｇｍ０−ｍ０を含んでいる。同様に、調整映像Ｖｍ１は、ｍ１枚の画像Ｇｍ１−１〜Ｇｍ１−ｍ１を含んでいる。また、調整映像Ｖｍ２は、ｍ２枚の画像Ｇｍ２−１〜Ｇｍ２−ｍ２を含んでいる。同様に、番号ｋが付された調整映像Ｖｍｋは、それぞれｍｋ枚の画像Ｇｍｋ−１〜Ｇｍｋ−ｍｋを含んでいる。このような調整映像Ｖｍｋは、生成部１１２が、例えば、基準映像Ｖｓｖに含まれるｍ枚の画像から、ｍｋ／ｍ=τｍｏｄｋ／τｓを満たすようにｍｋ枚の画像を抽出することによって生成することができる。なお、生成部１１２は、各調整映像Ｖｍｋの第１フレームの画像Ｇｍｋ−１および最終フレームの画像Ｇｍｋ−ｍｋとして、基準映像Ｖｓｖの第１フレームの画像Ｇｓ−１および最終フレームの画像Ｇｓ−ｍをそれぞれ抽出することが望ましい。
【００３０】
図３に示した例では、調整映像Ｖｍ２の開始から終了までの時間τｍｏｄ２と評価対象の蓄積映像Ｖｅｖの開始から終了までの時間τｅとがほぼ等しくなっている。つまり、調整映像Ｖｍ２において、壁Ｗ１の前を人物が通り過ぎる速度と、蓄積映像Ｖｅｖにおいて壁Ｗ１の前を人物が通り過ぎる速度とはほぼ等しくなっている。このような調整映像Ｖｍ２に含まれる各画像と評価対象の蓄積映像Ｖｅｖに含まれる各画像は互いに類似しているので、評価部１１３によって調整映像Ｖｍ２と蓄積映像Ｖｅｖとについて得られる類似度は、両者が類似している旨を示す。
【００３１】
このように、評価対象の蓄積映像Ｖｅｖが基準映像Ｖｓｖと同様の事象の進展を表していれば、生成部１１２によって生成された複数の調整映像Ｖｍの中に、図３の例の調整映像Ｖｍ２にあたる、評価対象の蓄積映像Ｖｅｖに類似する調整映像Ｖｍが含まれている。逆に言えば、生成部１１２によって生成された複数の調整映像Ｖｍの中に、図３の例の調整映像Ｖｍ２にあたる、蓄積映像Ｖｅｖに類似する調整映像Ｖｍがあれば、この蓄積映像Ｖｅｖは、基準映像Ｖｓｖと同様の事象の進展を表す映像である。
【００３２】
したがって、評価部１１３により、生成部１１２で生成された複数の調整映像Ｖｍのいずれかと蓄積映像Ｖｅｖとが類似している旨が示された場合に、検出部１１４は、この蓄積映像Ｖｅｖを、基準映像Ｖｓｖに類似した映像として検出してもよい。例えば、検出部１１４は、評価部１１３で得られる類似度について、類似性が高いか否かを判定するための閾値を設定し、この閾値との比較に基づいて、評価対象の蓄積映像Ｖｅｖを検出結果として検出するか否かを判定してもよい。
【００３３】
なお、上述した閾値は、例えば、図３に例示した壁Ｗ１の前を人物が様々な速度で横切る様子を撮影した映像と、基準映像Ｖｓｖに基づいて生成した複数の調整映像Ｖｍとについて、評価部１１３によってそれぞれ求めた類似度に基づいて決定してもよい。例えば、評価部１１３により、類似性が高いほど小さい値となる類似度が得られる場合に、上述したようにして撮影された各映像に最も類似しているとされた調整映像Ｖｍとについてそれぞれ得られた類似度の最大値よりも大きい値を閾値に設定してもよい。検出部１１４が、このような閾値を用いて類似性の高さを判断することにより、基準映像Ｖｓｖに類似する映像を漏れなく検出することができる。
【００３４】
更に、基準映像Ｖｓｖとは異なる事象の進展を表す複数の映像と、基準映像Ｖｓｖから生成された複数の調整映像Ｖｍとについてそれぞれ求めた類似度に基づいて、上述した閾値を設定してもよい。例えば、評価部１１３により、類似性が高いほど小さい値となる類似度が得られる場合に、上述した各映像と当該映像に最も類似しているとされた調整映像Ｖｍとについてそれぞれ得られた類似度の最小値よりも小さい値を閾値に設定してもよい。検出部１１４が、このような閾値を用いて類似性の高さを判断することにより、異なる事象の進展を表す映像を、検出結果から高い確度で排除することができる。
【００３５】
したがって、検出部１１４が基準映像Ｖｓｖと蓄積映像Ｖｅｖとが類似しているか否かを判断する基準となる閾値は、上述した２つの条件をともに満たす値に設定することが望ましい。
【００３６】
このような閾値を用いる検出部１１４を含む、図１に例示した映像検出装置１１０によれば、蓄積装置１０１に蓄積された蓄積映像Ｖｅｖの中から、基準映像Ｖｓｖと同様の事象の進展を表す映像を高い精度で検出することができる。
【００３７】
また、図１に例示した生成部１１２は、例えば、基準映像Ｖｓｖに含まれる画像をそれぞれ異なる割合で間引くことにより、複数の調整映像Ｖｍを生成してもよい。なお、生成部１１２は、元の基準映像Ｖｓｖをそのまま調整映像Ｖｍの一つとして出力してもよい。また、生成部１１２は、各調整映像Ｖｍｋを生成する際に、例えば、様々な間引き率に対応して、各調整映像Ｖｍに基準映像Ｖｓｖに含まれる各画像が含まれるか否かを示す間引きパターンを用いてもよい。
【００３８】
図４は、間引きパターンの一例を示す図である。図４に示したフレーム番号は、基準映像Ｖｓｖに含まれる各画像の時系列的な位置を示す。
【００３９】
図４に例示した各間引きパターン＃０〜＃４は、当該間引きパターンを用いて生成される調整映像Ｖｍｋ(ｋ＝０〜４)に含まれる画像をフレーム番号に対応して黒丸を付して示し、調整映像Ｖｍｋに含まれない画像を符号「−」で示す。例えば、間引きパターン＃０を用いることにより、生成部１１２は、基準映像Ｖｓｖに含まれる全ての画像を含む調整映像Ｖｍ０を生成する。また、例えば、間引きパターン＃１を用いて基準映像Ｖｓｖに含まれる各画像から５フレームに１フレームの割合で画像を間引くことにより、生成部１１２は、調整映像Ｖｍ１を生成する。同様に、間引きパターン＃２〜＃４を用いて基準映像Ｖｓｖから画像をそれぞれ１／４，１／３，１／２の割合で間引くことにより、生成部１１２は、調整映像Ｖｍ２〜Ｖｍ４を生成する。
【００４０】
図１に例示した生成部１１２は、次のようにして、保持部１１１に保持された基準映像Ｖｓｖに含まれるｍ枚の画像の中から、間引きパターンで示される画像を順次に読み出すことにより、複数の調整映像Ｖｍを生成してもよい。以下では、図４に例示した間引きパターン＃０〜＃４を用いて、調整映像Ｖｍ０〜Ｖｍ４を生成する場合について説明する。
【００４１】
例えば、生成部１１２は、間引きパターン＃１の間引き率が１／５であることから、調整映像Ｖｍ１の第ｊフレームの画像Ｇ１−ｊとして、保持部１１１に保持された基準映像Ｖｓｖのフレーム番号ｊ＋[ｊ／５]の画像を読み出してもよい。なお、[ｘ]は、実数ｘを超えない最大の整数である。このように、生成部１１２が、第１フレームから第ｍｋフレームまでの各画像Ｇ１−ｊ(ｊ＝１〜ｍ１)として、基準映像Ｖｓｖの間引きパターン＃１で示される各画像を読み出すことにより、調整映像Ｖｍ１を生成することができる。同様にして、生成部１１２は、間引きパターン＃２の間引き率１／４に基づいて、保持部１１１から読み出した基準映像Ｖｓｖのフレーム番号ｊ＋[ｊ／４]の画像を、調整映像Ｖｍ２に含まれる各画像Ｇ２−ｊ(ｊ＝１〜ｍ２)として順次に出力してもよい。また同様に、生成部１１２は、間引きパターン＃３の間引き率１／３に基づいて、保持部１１１から読み出した基準映像Ｖｓｖのフレーム番号ｊ＋[ｊ／３]の画像を、調整映像Ｖｍ３に含まれる各画像Ｇ３−ｊ(ｊ＝１〜ｍ３)として順次に出力してもよい。また、同様にして、生成部１１２は、間引きパターン＃４の間引き率１／２に基づいて、保持部１１１から読み出した基準映像Ｖｓｖのフレーム番号ｊ＋[ｊ／２]の画像を、調整映像Ｖｍ４に含まれる各画像Ｇ４−ｊ(ｊ＝１〜ｍ４)として順次に出力してもよい。
【００４２】
なお、生成部１１２は、基準映像Ｖｓｖの間引きパターンに従って間引かれる画像とその前の画像および後の画像に基づいて、間引かれる画像とその前後の画像の特徴を反映した２枚の補間画像を生成してもよい。そして、生成部１１２は、これらの補間画像を、間引かれる画像の前後の画像の代わりに、調整映像Ｖｍｋに含めてもよい。例えば、生成部１１２は、間引きパターン＃１に従って間引かれる第５フレームの画像Ｇｓ−５と、その前の画像Ｇｓ−４とにそれぞれ含まれる各画素の画素値を平均化することにより、画像Ｇｓ−４と画像Ｇｓ−５とについての補間画像を生成する。そして、生成部１１２は、この補間画像を、基準映像Ｖｓｖの第４フレームの画像Ｇｓ−４の代わりに、調整映像Ｖｍ１の第４フレームの画像Ｇｍ１−４として出力してもよい。同様に、生成部１１２は、画像Ｇｓ−５と、その後ろの画像Ｇｓ−６とにそれぞれ含まれる各画素の画素値を平均化することにより、画像Ｇｓ−６と画像Ｇｓ−５とについての補間画像を生成し、この補間画像を調整映像Ｖｍ１に含めてもよい。
【００４３】
上述した間引きパターン＃０〜＃４を用いることにより、生成部１１２は、基準映像Ｖｓｖにおいて事象が進展する速度Ｖと、速度５／４Ｖ、速度４／３Ｖ，速度３／２Ｖ，速度２Ｖで事象の進展をそれぞれ表す調整映像Ｖｍ０〜Ｖｍ４をすることができる。
【００４４】
なお、生成部１１２は、図４に例示した間引きパターン＃０〜＃４に加えて、更に、別の割合を示す間引きパターンを用いて調整映像Ｖｍを生成してもよい。また、生成部１１２は、間引き率の異なる部分を含む間引きパターンを用いて調整映像Ｖｍを生成してもよい。例えば、基準映像Ｖｓｖの前半部分と後半部分とについて、それぞれ異なる間引き率を設定する間引きパターンを用意すれば、図３に例示した壁Ｗ１の前を横切る人物の速度が前半と後半とで異なるような映像の検出に適用することができる。このような間引きパターンの設定は、元の基準映像Ｖｓｖに捉えられた事象の進展速度の変化として考えられる様々なパターンに基づいて行ってもよい。例えば、図３に例示した壁Ｗ１の中央部に到達するまで人物が速度を上げて移動していき、その後、人物の移動速度が低下するような過程を含む、様々な過程に対応して間引きパターンを設定してもよい。
【００４５】
このような間引きパターンを生成部１１２が用いることにより、一つの基準映像Ｖｓｖに基づいて、様々な調整映像Ｖｍを簡易な処理によって生成することができる。
【００４６】
このような生成部１１２を含む映像検出装置１１０は、多様な調整映像Ｖｍを蓄積映像Ｖｅｖと基準映像Ｖｓｖとの類似性の評価に利用可能である。したがって、このような映像検出装置１１０は、蓄積装置１０１内の蓄積映像Ｖｅｖの中から、基準映像Ｖｓｖと同様の事象の進展を表す映像をより高い精度で検出することができる。
【００４７】
図５は、映像検出装置１１０の別実施形態を示す図である。なお、図５に示した構成要素のうち、図１に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。
【００４８】
図５に例示した評価部１１３は、算出部１１５と集計部１１６とを含む。図５に例示した算出部１１５は、評価対象の蓄積映像Ｖｅｖに含まれる各画像と、生成部１１２によって生成された複数の調整映像Ｖｍそれぞれにおいて時系列的に対応する画像との類似度をそれぞれ算出する。以下の説明では、評価対象の蓄積映像Ｖｅｖに含まれるｊ番目の画像を画像Ｇｅ−ｊと称する。また、生成部１１２によって生成されたＬ＋１個の調整映像Ｖｍ０〜ＶｍＬの中のｋ番目の調整映像Ｖｍｋに含まれるｊ番目の画像を画像Ｇｋ−ｊと称する。
【００４９】
算出部１１５は、例えば、式(１)に示すように、画像Ｇｅ−ｊに含まれる各画素の輝度値と画像Ｇｋ−ｊに含まれる各画素の輝度値との差分の絶対値の総和として、画像Ｇｅ−ｊと画像Ｇｋ−ｊとの類似度Ｒｋ(ｊ)を算出する。なお、式(１)において、画像Ｇｅ−ｊに含まれる各画素の輝度値をＹｅｊ(ｘ，ｙ)とし、画像Ｇｋ−ｊに含まれる各画素の輝度値をＹｋｊ(ｘ，ｙ)として示した。また、定数Ｘｎ、Ｙｎは、それぞれ画像における横方向の画素数および縦方向の画素数を示す。
【００５０】
【数１】
このような式(１)を用いることにより、算出部１１５は、評価対象の蓄積映像Ｖｅｖのｊ番目の画像Ｇｅ−ｊとｋ番目の調整映像Ｖｍｋのｊ番目の画像Ｇｋ−ｊと類似性が高いほど、小さい値を示す類似度Ｒｋ(ｊ)を求めることができる。
【００５１】
また、図５に例示した集計部１１６は、調整映像Ｖｍｋごとに、算出部１１５で得られた類似度Ｒｋ(ｊ)を集計した集計値に基づいて、当該調整映像Ｖｍｋと蓄積映像Ｖｅｖとの類似度を示す評価値Ｓｋをそれぞれ求める。
【００５２】
集計部１１６は、例えば、式(２)を用いて算出部１１５で得られた類似度Ｒｋ(ｊ)を集計することにより、評価対象の蓄積映像Ｖｅｖとｋ番目の調整映像Ｖｍｋとの類似度を示す評価値Ｓｋを算出する。なお、式(２)において、定数ｍｋは、ｋ番目の調整映像Ｖｍｋに含まれる画像の枚数である。
【００５３】
【数２】
上述したようにして、図５に例示した算出部１１５および集計部１１６を含む評価部１１３は、Ｌ＋１個の調整映像Ｖｍ０〜ＶｍＬそれぞれについて、評価対象の蓄積映像Ｖｅｖとの類似度を示す評価値Ｓｋ(ｋ=０〜Ｌ)を求めることができる。このようにして得られた評価値Ｓｋは、評価対象の蓄積映像Ｖｅｖに含まれる各画像と調整映像Ｖｍｋにおいて時系列的に対応する画像との類似度を精密に反映しており、蓄積映像Ｖｅｖと調整映像Ｖｍｋとの類似度を示している。そして、蓄積映像Ｖｅｖに含まれる各画像と調整映像Ｖｍｋに含まれる各画像が相互に類似しているほど、各画像について得られる類似度は小さい値となるので、上述した評価値Ｓｋもまた、蓄積映像Ｖｅｖと調整映像Ｖｍｋとが類似しているほど小さい値となる。
【００５４】
したがって、検出部１１４は、上述したようにして各調整映像Ｖｍ０〜ＶｍＬについて得られた評価値Ｓｋ(ｋ=０〜Ｌ)のいずれかが、類似度が高いか否かの判断基準となる所定の閾値以下である場合に、蓄積映像Ｖｅｖは基準映像Ｖｓｖに類似する判断してもよい。
【００５５】
図５に例示した評価部１１３によれば、蓄積映像Ｖｅｖと調整映像Ｖｍｋとにそれぞれ含まれる各画像の類似度を精密に反映した評価値Ｓｋを得ることができる。したがって、このような評価部１１３を有する映像検出装置１１０は、蓄積映像Ｖｅｖが基準映像Ｖｓｖに類似しているか否かを精密に判定することができるので、基準映像Ｖｓｖに類似した蓄積映像Ｖｅｖを高い精度で検出することができる。
【００５６】
また、算出部１１５は、評価対象の蓄積映像Ｖｅｖに含まれる各画像の特徴と各調整映像Ｖｍに含まれる時系列的に対応する画像の特徴との比較に基づいて、画像の類似度を算出してもよい。例えば、基準映像Ｖｓｖおよび評価対象の蓄積映像Ｖｅｖに含まれる各画像の特徴を表す特徴情報は、各画像をそれぞれ分割して得られるＮ個のブロックＰ１〜ＰＮに含まれる各画素の輝度値の平均値を各ブロックの特徴値として含んでもよい。
【００５７】
図６は、特徴情報を説明する図である。図６において、符号Ｇｓ−１〜Ｇｓ−ｍは、基準映像Ｖｓｖに含まれるｍ枚の画像それぞれを示す。また、符号Ｇｅ−１〜Ｇｅ−Ｍは、評価対象の蓄積映像Ｖｅｖに含まれるＭ枚の画像それぞれを示す。また、符号Ｐ１〜ＰＮは、各画像を分割して得られるＮ個のブロックを示す。
【００５８】
また、基準映像Ｖｓｖに含まれる各画像Ｇｓ−１〜Ｇｓ−ｍにそれぞれ含まれる各ブロックＰ１〜ＰＮの平均輝度値Ａ１−１〜ＡＮ−ｍは、予め算出して保持部１１１に保持しておくことができる。保持部１１１は、例えば、基準映像Ｖｓｖに含まれるフレーム番号ｊ(ｊ＝１〜ｍ)の画像Ｇｓ−ｊを示す画像ＩＤに対応して、当該画像Ｇｓ−ｊに含まれる各ブロックＰ１〜ＰＮの平均輝度値Ａ１−ｊ〜ＡＮ−ｊを保持してもよい。このように保持部１１１に保持された情報は、基準映像Ｖｓｖに含まれる各画像Ｇｓ−１〜Ｇｓ−ｍについて得られた特徴情報を集約した情報であり、基準映像Ｖｓｖの特徴集約情報の一例である。
【００５９】
図７は、特徴集約情報の例を示す図である。図７(Ａ)は、基準映像Ｖｓｖの特徴集約情報の一例である。また、図７(Ｂ)は、評価対象の蓄積映像Ｖｅｖに含まれる各画像から当該画像の特徴を抽出することで得られる特徴情報を集約した評価対象の蓄積映像Ｖｅｖの特徴集約情報の一例である。
【００６０】
図７(Ｂ)に例示した評価対象の蓄積映像Ｖｅｖの特徴集約情報は、評価対象の蓄積映像Ｖｅｖのフレーム番号ｊ(ｊ＝１〜Ｍ)の画像Ｇｅ−ｊを示す画像ＩＤに対応して、当該画像Ｇｅ−ｊに含まれる各ブロックＰ１〜ＰＮの平均輝度値Ｂ１−ｊ〜ＢＮ−ｊを含む。
【００６１】
図８は、映像検出装置１１０の別実施形態を示す図である。なお、図８に示した構成要素のうち、図１および図５に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。
【００６２】
図８に例示した算出部１１５に含まれる抽出部１１７は、例えば、評価対象の蓄積映像Ｖｅｖに含まれる各画像に含まれる各ブロックの平均輝度値を算出することにより、当該画像の特徴を示す特徴情報を抽出する。そして、抽出部１１７は、各画像から抽出した特徴情報を集約することによって、上述したように、各画像に対応する特徴情報を含む特徴集約情報を生成する。
【００６３】
図８に例示した算出部１１５に含まれる差分算出部１１８は、抽出部１１７よって生成された評価対象の蓄積映像Ｖｅｖの特徴集約情報と、生成部１１２が後述するようにして生成する各調整映像Ｖｍに対応する特徴集約情報とを受け取る。そして、差分算出部１１８は、評価対象の蓄積映像の特徴集約情報に含まれる各画像の特徴情報と、各調整映像Ｖｍの特徴集約情報に含まれる各画像の特徴情報との差分をそれぞれ求める。
【００６４】
図８に例示した生成部１１２は、保持部１１１に保持された基準映像Ｖｓｖの特徴集約情報から、各調整映像Ｖｍに含まれる各画像に対応して抽出した特徴情報を集約することにより、各調整映像Ｖｍの特徴集約情報を生成してもよい。例えば、生成部１１２は、図４に例示した間引きパターンによって各調整映像Ｖｍ０〜Ｖｍ４に含まれるとされた画像に対応して保持部１１１に保持された特徴情報を、調整映像Ｖｍ０〜Ｖｍ４それぞれについて集約することで各特徴集約情報を生成してもよい。
【００６５】
例えば、生成部１１２は、図４に示した間引きパターン＃１に基づき、調整映像Ｖｍ１の第ｊフレームの画像Ｇ１−ｊに対応する特徴情報として、基準映像Ｖｓｖのフレーム番号ｊ＋[ｊ／５]の画像に対応する特徴情報を保持部１１１から読み出す。そして、生成部１１２は、このようにして読み出した特徴情報を集約することにより、調整映像Ｖｍ１の特徴集約情報を得てもよい。なお、[ｘ]は、実数ｘを超えない最大の整数である。同様にして、生成部１１２は、間引きパターン＃２に基づいて、保持部１１１から読み出した基準映像Ｖｓｖのフレーム番号ｊ＋[ｊ／４]の画像に対応する特徴情報を集約することにより、調整映像Ｖｍ２の特徴集約情報を取得してもよい。また、同様に、生成部１１２は、間引きパターン＃３に基づいて、保持部１１１から読み出した基準映像Ｖｓｖのフレーム番号ｊ＋[ｊ／３]の画像に対応する特徴情報を集約することにより、調整映像Ｖｍ３の特徴集約情報を取得してもよい。また、生成部１１２は、間引きパターン＃４に基づいて、保持部１１１から読み出した基準映像Ｖｓｖのフレーム番号ｊ＋[ｊ／２]の画像に対応する特徴情報を集約することにより、調整映像Ｖｍ４の特徴集約情報を取得してもよい。
【００６６】
なお、生成部１１２は、間引きパターンに従って間引いた画像に対応する特徴情報とその前後の画像に対応する特徴情報とを平均化して得られる特徴情報を、間引いた画像の前後の画像に対応する特徴情報として特徴集約情報に含めてもよい。
【００６７】
差分算出部１１８は、例えば、式(３)を用いることにより、評価対象の蓄積映像Ｖｅｖに含まれるｊ番目の画像Ｇｅ−ｊの特徴情報とｋ番目の調整映像Ｖｍｋに含まれるｊ番目の画像Ｇｋ−ｊの特徴情報との差分Ｄｋ(ｊ)を算出してもよい。なお、式(３)において、画像Ｇｅ−ｊに含まれるｉ番目のブロックＰｉの平均輝度値をＢｅ(ｉ、ｊ)とし、また、画像Ｇｋ−ｊに含まれるｉ番目のブロックＰｉの平均輝度値をＡｋ(ｉ、ｊ)として示した。
【００６８】
【数３】
このようにして算出された差分Ｄｋ(ｊ)は、評価対象の蓄積映像Ｖｅｖに含まれるｊ番目の画像Ｇｅ−ｊとｋ番目の調整映像Ｖｍｋに含まれるｊ番目の画像Ｇｋ−ｊとの類似度を示しており、類似しているほど小さい値を示す。
【００６９】
このように、図８に例示した抽出部１１７および差分算出部１１８を有する算出部１１５によれば、評価対象の蓄積映像Ｖｅｖに含まれるｊ番目の画像Ｇｅ−ｊとｋ番目の調整映像Ｖｍｋに含まれるｊ番目の画像Ｇｋ−ｊとの類似度を、簡易な処理で算出できる。
【００７０】
そして、例えば、上述した式(２)の類似度Ｒｋ(ｊ)を、差分算出部１１８で得られた差分Ｄｋ(ｊ)で置き換えた式(４)を用いることにより、集計部１１６は、評価対象の蓄積映像Ｖｅｖとｋ番目の調整映像Ｖｍｋとの類似度を示す評価値Ｓｋを算出してもよい。なお、式(４)において、定数ｍｋは、ｋ番目の調整映像Ｖｍｋに含まれる画像の枚数である。
【００７１】
【数４】
上述したようにして、図８に例示した抽出部１１７および差分算出部１１８を含む算出部１１５と集計部１１６とを有する評価部１１３は、調整映像Ｖｍｋごとに、評価対象の蓄積映像Ｖｅｖとの類似度を示す評価値Ｓｋを求めることができる。このようにして得られた評価値Ｓｋは、図５に例示した評価部１１３によって得られる評価値Ｓｋと同様に、調整映像Ｖｍｋと評価対象の蓄積映像Ｖｅｖとの類似度が高いほど小さい値となる。したがって、検出部１１４は、上述したようにして各調整映像Ｖｍｋについて得られた評価値Ｓｋのいずれかが、基準映像Ｖｓｖとの類似性を判断する基準となる所定の閾値よりも小さい場合に、基準映像ｖｓｖと蓄積映像Ｖｅｖとの類似性が高いと判断してもよい。つまり、図８に例示した評価部１１３によって得られた評価値Ｓｋは、図５に例示した評価部１１３によって得られた評価値Ｓｋと同様に、検出部１１４が、評価対象の蓄積映像Ｖｅｖが基準映像Ｖｓｖと類似しているか否かを判定するための指標である。
【００７２】
なお、基準映像Ｖｓｖに含まれる各画像に対応して保持部１１１に保持する特徴情報に含まれる各ブロックに対応する特徴値は、上述した平均輝度値に限らず、個々のブロックの特徴を示す値であればどのようなものでもよい。例えば、基準映像Ｖｓｖに含まれる各画像がカラー画像である場合に、個々の画像に含まれる各画素の色を示す画素値のＲＧＢ成分のいずれかの平均値を特徴値としてもよい。
【００７３】
同様に、評価対象の蓄積映像に含まれる各画像について、抽出部１１７が当該画像に含まれる各ブロックから抽出する特徴値は、上述した平均輝度値に限らず、個々のブロックの特徴を示す値であればどのようなものでもよい。
【００７４】
また、基準映像Ｖｓｖに含まれる各画像および評価対象の蓄積映像に含まれる各画像を分割して各ブロックを形成するやり方は、図６に例示したように、各画像をＮ等分する手法に限られない。例えば、各画像の中央部分と周辺部分とで大きさが異なるように各画像を分割することにより、Ｎ個のブロックを形成してもよい。
【００７５】
いずれの場合においても、図８に例示した算出部１１５は、２枚の画像の類似度を算出する処理を、Ｎ個のブロックに対応する特徴値の差分の総和を算出するという簡易な処理によって得ることができる。
【００７６】
また、上述した閾値は、例えば、基準映像Ｖｓｖに類似した事象を表す映像について得られる類似度よりも大きく、基準映像Ｖｓｖとは異なる事象を表す映像について得られる類似度よりも小さい値を設定することが望ましい。
【００７７】
図８に例示した評価部１１３の処理は、評価対象の蓄積映像において画像中の任意のブロックＰｉの特徴値が示す時間変化と、各調整映像Ｖｍにおいて画像中の任意のブロックＰｉの特徴値が示す時間変化との類似度を評価する処理に相当する。
【００７８】
図９は、特徴値の時間変化を説明する図である。図９(Ａ)〜(Ｄ)に示すグラフの横軸はフレーム番号を示し、縦軸は輝度値を示す。また、図９において、符号Ｂｉは、評価対象の蓄積映像Ｖｅｖにおいて、ｉ番目のブロックＰｉの平均輝度値の変化を示すグラフである。また、符号Ａｉ−０〜Ａｉ−３は、それぞれ調整映像Ｖｍ０〜Ｖｍ３において、ｉ番目のブロックＰｉの平均輝度値の変化を示すグラフである。
【００７９】
図９(Ａ)〜(Ｄ)において斜線を付して示した部分の面積は、評価対象の蓄積映像ＶｅｖのブロックＰｉの平均輝度値Ｂｉと調整映像Ｖｍ０〜Ｖｍ３それぞれのブロックＰｉの平均輝度値Ａｉとの差分それぞれのフレーム番号にわたる総和Ｓｃ０〜Ｓｃ３を示す。
【００８０】
図９(Ａ)〜(Ｄ)に示した差分のフレーム番号にわたる総和Ｓｃ０〜Ｓｃ３は、評価対象の蓄積映像Ｖｅｖと調整映像Ｖｍ０〜Ｖｍ３それぞれとにおけるブロックＰｉの平均輝度値の時間変化の違いを示している。そして、上述した式(４)を用いて求めた評価値Ｓｋは、調整映像Ｖｍｋと評価対象の蓄積映像ＶｅｖとにおけるブロックＰｉの平均輝度値の時間変化の違いを、全てのブロックにわたって累積加算した結果と捉えることもできる。
【００８１】
したがって、図８に例示した評価部１１３によって得られる評価値Ｓｋは、評価対象の蓄積映像Ｖｅｖと各調整映像Ｖｍｋとの類似性を、特徴値の時間変化に着目して評価した値でもある。
【００８２】
本件開示の映像検出装置１１０は、例えば、パーソナルコンピュータなどのコンピュータ装置を用いて実現することができる。
図１０は、コンピュータ装置１０のハードウェア構成の一例を示している。
【００８３】
コンピュータ装置１０は、プロセッサ２１と、メモリ２２と、ハードディスク装置２３と、表示装置２４と、入力装置２５と、光学ドライブ装置２６と、ローカルエリアネットワーク(LAN: Local Area Network)インタフェース２８とを含んでいる。図１０に例示したプロセッサ２１と、メモリ２２と、ハードディスク装置２３と、表示装置２４と、入力装置２５と、光学ドライブ装置２６と、ＬＡＮインタフェース２８とは、バスを介して互いに接続されている。図１０に例示した光学ドライブ装置２６は、光ディスク２７などの記録媒体を装着可能であり、装着した記録媒体に記録された情報の読出および記録を行う。また、図１０に例示した映像検出装置１１０は、プロセッサ２１と、メモリ２２と、ハードディスク装置２３とを含んでいる。
【００８４】
図１０に例示したコンピュータ装置１０は、ＬＡＮインタフェース２８を介して、ＬＡＮ３０に接続されている。また、このＬＡＮ３０には、ｍ台の監視カメラＣ１〜Ｃｍが接続されている。これらの監視カメラＣ１〜Ｃｍによって撮影された映像は、ＬＡＮ３０、ＬＡＮインタフェース２８およびバスを介してハードディスク装置２３の映像蓄積部３１に蓄積される。この映像蓄積部３１は、図１、図５および図８に例示した蓄積装置１０１の一例である。
【００８５】
図１０に例示した入力装置２５は、例えば、キーボードやマウスなどである。映像検出装置１１０の利用者は、入力装置２５を操作することにより、映像検出装置１１０に対して上述したような映像検出処理を開始させる旨の指示などを入力することができる。
【００８６】
メモリ２２は、コンピュータ装置１０のオペレーティングシステムとともに、プロセッサ２１が上述した映像検出処理を実行するためのアプリケーションプログラムを格納している。なお、上述した映像検出処理を実行するためのアプリケーションプログラムは、例えば、光ディスク２７などの記録媒体に記録して頒布することができる。そして、この光ディスク２７を光学ドライブ装置２６に装着して読み込み処理を行うことにより、映像検出処理を実行するためのアプリケーションプログラムを、メモリ２２およびハードディスク装置２３に格納させてもよい。また、インターネットなどのネットワークとＬＡＮインタフェース２８とを介して、映像検出処理を実行するためのアプリケーションプログラムをメモリ２２およびハードディスク装置２３に読み込ませることもできる。
【００８７】
また、ハードディスク装置２３の記録容量の一部を用いることにより、基準映像Ｖｓｖを表す情報を保持する基準映像保持部３２および基準映像Ｖｓｖから抽出された特徴集約情報を保持する集約情報保持部３３ｓを設けてもよい。図１０に例示した基準映像保持部３２および集約情報保持部３３ｓは、図１、図５および図８に例示した保持部１１１の一例である。
【００８８】
同様に、ハードディスク装置２３の記録容量の一部を用いることにより、上述した集約情報保持部３３ｓとは別に、評価対象の蓄積映像Ｖｅｖから抽出される特徴集約情報を保持する集約情報保持部３３ｅを設けてもよい。また、ハードディスク装置２３の記録容量の一部を用いることにより、図４に例示したような間引きパターンを保持する間引きパターン保持部３４を設けてもよい。
【００８９】
また、プロセッサ２１は、メモリ２２に格納されたアプリケーションプログラムを実行することにより、図１に例示した生成部１１２、評価部１１３および検出部１１４の機能を果たしてもよい。
【００９０】
図１１は、映像検出処理のフローチャートの一例を示している。図１１に示したステップＳ３０１〜ステップＳ３０５の各処理は、上述した映像検出処理のためのアプリケーションプログラムに含まれる処理の一例である。また、これらのステップＳ３０１〜ステップＳ３０５の各処理は、プロセッサ２１によって実行される。
【００９１】
プロセッサ２１は、まず、ハードディスク装置２３に設けられた映像蓄積部３１から評価対象の蓄積映像Ｖｅｖを取得する(ステップＳ３０１)。次いで、プロセッサ２１は、後述するようにして、当該蓄積映像Ｖｅｖと基準映像保持部３２に保持された基準映像Ｖｓｖとの類似性を評価する(ステップＳ３０２)。
【００９２】
そして、ステップＳ３０２の処理結果として、当該蓄積映像Ｖｅｖと基準映像Ｖｓｖとが類似している旨の評価結果が得られた場合に(ステップＳ３０３の肯定判定)、プロセッサ２１は、ステップＳ３０４の処理に進む。ステップＳ３０４において、プロセッサ２１は、当該蓄積映像Ｖｅｖを、映像検出装置１１０の検出結果として出力する。例えば、プロセッサ２１は、基準映像Ｖｓｖに類似しているとして検出した蓄積映像Ｖｅｖを、バスを介して光学ドライブ装置２６に転送することにより、この蓄積映像Ｖｅｖを光ディスク２７などの記録媒体に記録してもよい。その後、プロセッサ２１は、ステップＳ３０５の処理に進む。
【００９３】
一方、ステップＳ３０３の否定判定ルートにおいて、プロセッサ２１は、ステップＳ３０４の処理を行うことなく、ステップＳ３０５の処理に進む。このステップＳ３０５において、プロセッサ２１は、映像蓄積部３１に蓄積された全ての蓄積映像について評価を完了したか否かを判定する。
【００９４】
また評価されていない蓄積映像がある場合に(ステップＳ３０５の否定判定)、プロセッサ２１は、ステップＳ３０１の処理に戻り、新たな蓄積映像Ｖｅｖを評価対象とする処理を開始する。このように、プロセッサ２１が、ステップＳ３０１〜ステップＳ３０５の処理を繰り返し行うことにより、映像蓄積部３１内の全ての蓄積映像についての評価処理が完了したときに(ステップＳ３０５の肯定判定)、プロセッサ２１は、映像検出処理を終了する。
【００９５】
図１２は、類似度を評価する処理のフローチャートの一例を示している。図１２に示したステップＳ３１１〜ステップＳ３２１は、図１１に例示したステップＳ３０２の処理の一例である。これらのステップＳ３１１〜ステップＳ３２１の処理は、プロセッサ２１によって実行される。
【００９６】
まず、プロセッサ２１は、図６、図７を用いて説明したようにして、評価対象の蓄積映像Ｖｅｖの特徴集約情報を生成する(ステップＳ３１１)。プロセッサ２１は、例えば、評価対象の蓄積映像Ｖｅｖに含まれる各画像について、当該画像を分割したＮ個のブロックにそれぞれ含まれる画素の平均輝度値を求め、これらの平均輝度値を画像ごとに集約することで、各画像に対応する特徴情報を生成する。その上で、プロセッサ２１は、更に、評価対象の蓄積映像Ｖｅｖに含まれる全ての画像に渡って、各画像に対応する特徴情報を集約することにより、当該蓄積映像Ｖｅｖに対応する特徴集約情報を生成してもよい。また、プロセッサ２１は、生成した特徴集約情報を、図１０に例示したように、ハードディスク装置２３に設けた集約情報保持部３３ｅに保持してもよい。このように、プロセッサ２１が、ステップＳ３１１の処理を実行することにより、図８に例示した抽出部１１７の機能を実現してもよい。
【００９７】
次に、プロセッサ２１は、評価対象の蓄積映像Ｖｅｖにおいて、基準映像Ｖｓｖとの類似性を評価する範囲を初期位置に設定する(ステップＳ３１２)。プロセッサ２１は、例えば、評価対象の蓄積映像Ｖｅｖの第１フレームを、初期位置における評価範囲の先頭位置としてもよい。
【００９８】
次いで、プロセッサ２１は、間引きパターン保持部３４に保持された間引きパターンのうち、まだ、調整映像Ｖｍの生成のために選択されていない間引きパターンを選択する(ステップＳ３１３)。プロセッサ２１は、例えば、図４に例示したような間引きパターン＃０〜＃４を番号順に選択してもよい。そして、選択した間引きパターンに従って、プロセッサ２１は、図１０に例示した集約情報保持部３３ｓに保持された基準映像Ｖｓｖの特徴集約情報から、当該間引きパターンに対応する調整映像Ｖｍの特徴集約情報を生成する（ステップＳ３１４）。ステップＳ３１４の処理において、プロセッサ２１は、間引きパターンに従って間引いた画像に対応する特徴情報と、当該画像の前後の画像に対応する特徴情報とに基づいて、当該画像の前後の画像に対応する特徴情報を生成してもよい。例えば、プロセッサ２１は、間引かれる画像の特徴情報に含まれる各ブロックの平均輝度値と、当該画像の前の画像の特徴情報に含まれる各ブロックの平均輝度値との平均値を用いて、間引かれる画像の前の画像の特徴情報を生成してもよい。同様に、プロセッサ２１は、間引かれる画像の特徴情報に含まれる各ブロックの平均輝度値と、当該画像の後の画像の特徴情報に含まれる各ブロックの平均輝度値との平均値を用いて、間引かれる画像の後の画像の特徴情報を生成してもよい。このように、プロセッサ２１が、ステップＳ３１３で選択した間引きパターンに基づいて、ステップＳ３１４の処理を実行することにより、図８に例示した生成部１１２の機能を実現することができる。また、上述したようにして生成された特徴集約情報は、基準映像Ｖｓｖにおける事象の進展の速度と同じ速度を含む複数の速度のいずれかで進展する当該事象を特徴値の変化によって表す点で、調整映像Ｖｍの一例に相当する。したがって、プロセッサ２１が、ステップＳ３１３で選択した間引きパターンに基づいて、ステップＳ３１４の処理を実行することは、調整映像Ｖｍを生成する処理の一例でもある。
【００９９】
この調整映像Ｖｍの特徴集約情報と、ステップＳ３１１で生成された評価対象の蓄積映像Ｖｅｖの特徴集約情報とに基づいて、プロセッサ２１は、当該調整映像Ｖｍと評価対象の蓄積映像Ｖｅｖとの類似度を示す評価値Ｓｋを算出する(ステップＳ３１５)。例えば、プロセッサ２１は、上述した式(３)、(４)から導かれる式(５)を用いて、ステップＳ３１２で選択された番号＃ｋの間引きパターンに対応する調整映像Ｖｍｋと評価対象の蓄積映像Ｖｅｖとの類似性を示す評価値Ｓｋを算出してもよい。なお、式(５)において、定数ｍｋは、調整映像Ｖｍｋに含まれる画像の枚数である。
【０１００】
【数５】
なお、ステップＳ３１５の処理において、プロセッサ２１は、ハードディスク装置２３に設けられた集約情報保持部３３ｅに保持された評価対象の蓄積映像Ｖｅｖの特徴集約情報を利用することができる。このように、プロセッサ２１が、ステップＳ３１５の処理を実行することにより、図８に例示した差分算出部１１８および集計部１１６が、抽出部１１７で得られた特徴集約情報を用いて上述した評価値を算出する機能を実現することができる。
【０１０１】
次に、プロセッサ２１は、上述したようにして得られた評価値Ｓｋを所定の閾値Ｔｈと比較する(ステップＳ３１６)。なお、この閾値Ｔｈは、例えば、基準映像Ｖｓｖに類似した事象を表す映像について得られる評価値Ｓｋよりも大きく、基準映像Ｖｓｖとは異なる事象を表す映像について得られる評価値Ｓｋよりも小さい値を設定することが望ましい。
【０１０２】
調整映像Ｖｍｋと評価対象の蓄積映像Ｖｅｖとの類似性を示す評価値Ｓｋが閾値Ｔｈよりも小さい場合に(ステップＳ３１６の肯定判定)、プロセッサ２１は、評価対象の蓄積映像Ｖｅｖは、基準映像Ｖｓｖに類似していると判断する。この場合に、プロセッサ２１は、評価対象の蓄積映像Ｖｅｖは、基準映像Ｖｓｖに類似している旨を出力し(ステップＳ３２１)、その後、当該蓄積映像Ｖｅｖについて基準映像Ｖｓｖとの類似性を評価する処理を終了する。
【０１０３】
このように、プロセッサ２１が、ステップＳ３１６およびステップＳ３２１の処理を実行することにより、図１、図５および図８に例示した検出部１１４が、上述した評価値に基づいて当該蓄積映像Ｖｅｖが基準映像Ｖｓｖに類似するか否かを判定する機能を実現してもよい。
【０１０４】
上述したように、ステップＳ３１６の肯定判定ルートの処理を実行した後に、当該蓄積映像Ｖｅｖについて基準映像Ｖｓｖとの類似性を評価する処理を終了した場合に、プロセッサ２１は、図１１に例示したステップＳ３０３の肯定判定ルートの処理を実行する。
【０１０５】
一方、調整映像Ｖｍｋと評価対象の蓄積映像Ｖｅｖとの類似性を示す評価値Ｓｋが閾値Ｔｈ以上である場合に(ステップＳ３１６の否定判定)、プロセッサ２１は、全ての間引きパターンを選択したか否かを判定する(ステップＳ３１７)。
【０１０６】
上述したステップＳ３１３の処理においてまだ選択されていない間引きパターンがある場合に(ステップＳ３１７の否定判定)、プロセッサ２１は、ステップＳ３１３の処理に戻り、未選択の間引きパターンのいずれかを選択する。そして、この間引きパターンに対応する調整映像Ｖｍと評価対象の蓄積映像Ｖｅｖとの類似度を評価する処理を開始する。
【０１０７】
このように、プロセッサ２１が、ステップＳ３１３〜ステップＳ３１７の処理を繰り返すことにより、図１に例示した評価部１１３の機能を実現することができる。
【０１０８】
ところで、評価対象の蓄積映像Ｖｅｖにおいて、基準映像Ｖｓｖで表されている事象の開始時点が、上述したステップＳ３１２で設定した評価範囲の先頭位置に対応する時点からずれている場合がある。このような場合には、上述したようにして全ての間引きパターンに対応する調整映像Ｖｍと評価対象の蓄積映像Ｖｅｖとを比較しても、両者が互いに類似している旨を示す評価値は得られない場合がある。このような事象の開始時点のずれに対応するために、プロセッサ２１は、以下に述べるステップＳ３１８からステップＳ３２０の処理を実行してもよい。
【０１０９】
上述したステップＳ３１７の肯定判定の場合に、プロセッサ２１は、まず、全ての間引きパターンを未選択状態に設定する(ステップＳ３１８)。次いで、プロセッサ２１は、評価対象の蓄積映像Ｖｅｖにおいて、基準映像Ｖｓｖから生成される各調整映像Ｖｍとの類似性を評価する評価範囲をずらすことができるか否かを判定する(ステップＳ３１９)。プロセッサ２１は、例えば、評価対象の蓄積映像Ｖｅｖにおいて、評価範囲の先頭位置として設定されたフレーム番号以降に含まれる画像の枚数に基づいて、ステップＳ３１９の判定を行ってもよい。
【０１１０】
例えば、評価範囲の先頭位置として設定されたフレーム番号以降に含まれる画像の枚数が、基準映像Ｖｓｖに含まれる画像の枚数よりも多い場合に、プロセッサ２１は、評価範囲をずらすことが可能であると判断してもよい(ステップＳ３１９の肯定判定)。この場合に、プロセッサ２１は、例えば、評価範囲の開始位置を所定のフレーム数だけずらすことにより、評価対象の蓄積映像Ｖｅｖにおける評価範囲をずらしてもよい(ステップＳ３２０)。その後、プロセッサ２１は、ステップＳ３１３の処理に戻ることにより、新たに設定された評価範囲に含まれる評価対象の蓄積映像Ｖｅｖについて、基準映像Ｖｓｖとの類似性を評価する処理を開始する。
【０１１１】
このように、プロセッサ２１が、ステップＳ３１３〜ステップＳ３２０の処理を繰り返すことにより、評価対象の蓄積映像Ｖｅｖにおける事象の開始時点のズレも考慮しながら、基準映像Ｖｓｖとの類似性を評価することができる。
【０１１２】
評価範囲をずらしつつ、全ての間引きパターンに対応する調整映像Ｖｍと評価対象の蓄積映像Ｖｅｖとの類似性を評価しても、閾値Ｔｈよりも小さい評価値が得られなかった場合に(ステップＳ３１９の否定判定)、プロセッサ２１は、ステップＳ３２２の処理に進む。ステップＳ３２２の処理で、プロセッサ２１は、評価対象の蓄積映像Ｖｅｖと基準映像Ｖｓｖとは類似しない旨の評価結果を出力する。その後、プロセッサ２１は、当該蓄積映像Ｖｅｖについて基準映像Ｖｓｖとの類似性を評価する処理を終了する。
【０１１３】
このように、ステップＳ３１９の否定判定ルートの処理を実行した後に、当該蓄積映像Ｖｅｖについて基準映像Ｖｓｖとの類似性を評価する処理を終了した場合に、プロセッサ２１は、図１１に例示したステップＳ３０３の否定判定ルートの処理を実行する。
【０１１４】
なお、図１２に例示したステップＳ３１３でプロセッサ２１が選択する間引きパターンは、上述した評価処理の開始時点で間引きパターン保持部３４に保持されていればよい。したがって、例えば、図１１に例示したステップＳ３０１に先立って、プロセッサ２１が、映像検出装置１１０の操作者からの指示に基づいて、新たな間引きパターンを追加する処理を実行することもできる。
【０１１５】
また、図１２に例示したステップＳ３１４でプロセッサ２１が間引きパターンに基づいて生成する調整映像Ｖｍの特徴集約情報の元になる基準映像Ｖｓｖの特徴集約情報は、上述した評価処理の開始時点で集約情報保持部３３ｓに保持されていればよい。したがって、例えば、図１１に例示したステップＳ３０１に先立って、プロセッサ２１が、映像検出装置１１０の操作者からの指示に基づいて、新たな基準映像Ｖｓｖを追加し、この基準映像Ｖｓｖに対応する特徴集約情報を作成する処理を実行することもできる。
【０１１６】
上述したように、図１０に例示したコンピュータ装置１０を用いて実現した映像検出装置１１０によれば、映像蓄積部３１に蓄積された映像の中から、基準映像Ｖｓｖに類似した事象の進展を表す映像を高い精度で漏れなく検出することができる。
【０１１７】
なお、本件開示の映像検出装置１１０を監視映像の記録を管理する監視映像管理システムに適用することもできる。
【０１１８】
図１３は、映像検出装置１１０を適用した監視映像管理システム１２０のハードウェア構成例を示している。なお、図１３に示した構成要素のうち、図１０に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。
【０１１９】
図１３に例示した監視映像管理システム１２０は、映像検出装置１１０と、光学ドライブ装置２６と光ディスク２７などの記録媒体とを含む。
【０１２０】
また、メモリ２２は、プロセッサ２１が後述する監視映像管理処理を実行するためのアプリケーションプログラムを格納している。監視映像管理処理は、例えば、上述した映像検出処理に含まれる２つの映像の類似性を評価する処理と、図１３に例示した監視カメラＣ１〜Ｃｍの監視映像を取得するための処理を含んでいる。なお、監視映像管理処理を実行するためのアプリケーションプログラムは、例えば、光ディスク２７などの記録媒体に記録して頒布することができる。そして、この光ディスク２７を光学ドライブ装置２６に装着して読み込み処理を行うことにより、監視映像管理処理を実行するためのアプリケーションプログラムを、メモリ２２およびハードディスク装置２３に格納させてもよい。また、インターネットなどのネットワークとＬＡＮインタフェース２８とを介して、監視映像管理処理を実行するためのアプリケーションプログラムをメモリ２２およびハードディスク装置２３に読み込ませることもできる。
【０１２１】
図１４は、監視映像管理処理のフローチャートの一例を示している。なお、図１４に示すステップのうち、図１１例示したステップと同等の処理を示すものについては、同一の符号を付して示し、その説明は省略する。
【０１２２】
図１４に例示したステップＳ３３１〜ステップＳ３３６およびステップＳ３３９の各処理は、上述した監視映像管理処理のためのアプリケーションプログラムに含まれる、監視カメラＣ１〜Ｃｍの監視映像を取得するための処理の一例である。また、図１４に例示した監視映像管理処理のフローチャートは、図１１に例示したステップＳ３０４の処理に代えて、ステップＳ３３８の処理を含んでいる。なお、プロセッサ２１は、図１４に例示した各ステップの処理を、例えば、監視カメラＣ１〜Ｃｍによって得られる監視映像ごとに、並列に実行してもよい。以下では、任意の監視カメラＣａによって得られる監視映像を管理する処理を説明する。
【０１２３】
ステップＳ３３１において、プロセッサ２１は、ＬＡＮ３０およびバスを介して監視カメラＣａによって得られる監視映像を監視することにより、監視映像に含まれる画像の変化を検出する。プロセッサ２１は、例えば、監視映像に含まれる各画像を時系列に従って比較することにより、画像の変化を検出してもよい。そして、プロセッサ２１は、ステップＳ３３１の検出結果に基づいて、監視カメラＣａの視野内に何らかの動きがあったか否かを判定する（ステップＳ３３２）。
【０１２４】
例えば、複数枚の画像にわたって画像の変化を検出したときに、プロセッサ２１は、監視カメラＣａの視野内に何らかの動きがあったと判断してもよい(ステップＳ３３２の肯定判定)。一方、ステップＳ３３２の否定判定の場合に、プロセッサ２１は、ステップＳ３３１の処理に戻り、新たに監視カメラＣａから得られる監視映像を監視する処理を続行する。
【０１２５】
上述したステップＳ３３２の肯定判定の場合に、プロセッサ２１は、以降に監視カメラＣａから得られる監視映像を、ハードディスク装置２３内に設けた映像蓄積部３１に蓄積する処理を開始する(ステップＳ３３３)。
【０１２６】
その後、プロセッサ２１は、監視カメラＣａから得られる監視映像を映像蓄積部３１に蓄積する処理を続けつつ、上述したステップＳ３３１と同様にして、監視映像に含まれる画像の変化を検出する(ステップＳ３３４)。そして、ステップＳ３３２と同様に、プロセッサ２１は、ステップＳ３３４の検出結果に基づいて、監視カメラＣａの視野内に何らかの動きが静止したか否かを判定する(ステップＳ３３５)。
【０１２７】
ステップＳ３３４の処理により、画像に変化が検出されている限りは、プロセッサ２１は、ステップＳ３３５の否定判定ルートに従って、ステップＳ３３４の処理に戻る処理を繰り返す。
【０１２８】
その後、ステップＳ３３４において、複数枚の画像にわたって画像の変化を検出しない旨の検出結果が得られたときに、プロセッサ２１は、監視カメラＣａの視野内の動きが静止したと判断してもよい(ステップＳ３３５の肯定判定)。この場合に、プロセッサ２１は、映像蓄積部３１への監視映像の蓄積を停止する(ステップＳ３３６)。そして、プロセッサ２１は、上述したようにして、映像蓄積部３１に蓄積された監視映像を評価対象の蓄積映像Ｖｅｖとして、ステップＳ３０２の基準映像Ｖｓｖと評価対象の蓄積映像Ｖｅｖとの類似性を評価する処理を実行する。
【０１２９】
このステップＳ３０２の処理によって、基準映像Ｖｓｖと映像蓄積部３１に蓄積された監視映像とが類似している旨の評価結果が得られた場合に(ステップＳ３０３の肯定判定)、プロセッサ２１は、ステップＳ３３８の処理に進む。そして、ステップＳ３３８において、プロセッサ２１は、当該監視映像を、光学ドライブ装置２６を介して光ディスク２７に記録する処理を実行する。その後、プロセッサ２１は、ステップＳ３３９の処理に進む。
【０１３０】
一方、ステップＳ３０３の否定判定ルートにおいて、プロセッサ２１は、ステップＳ３３８の処理を行うことなく、ステップＳ３３９の処理に進む。このステップＳ３３９において、プロセッサ２１は、監視カメラＣａによる監視を継続するか否かを判定する。例えば、プロセッサ２１は、入力装置２５を介して、監視映像管理システム１２０の操作者から監視処理の停止が指示されない限り、このステップＳ３３９の肯定判定ルートに従って、ステップＳ３３１の処理に戻る。そして、新たに得られる監視映像について、ステップＳ３０２，Ｓ３０３を含む上述したステップＳ３３１〜ステップＳ３３９の処理を繰り返す。
【０１３１】
その後、監視映像管理システム１２０の操作者が、入力装置２５を介して監視処理の停止を指示したときに、プロセッサ２１は、ステップＳ３３９の否定判定ルートに従って、監視映像管理処理を終了する。
【０１３２】
このような処理をプロセッサ２１が実行することにより、監視カメラＣａで得られた監視映像のうち、基準映像Ｖｓｖと類似した事象の進展を表している期間の監視映像のみを、光ディスク２７などの記録媒体に記録することができる。例えば、監視カメラごとに、当該監視カメラの視野内で起こりうる事象のうち注目すべき事象の進展を表す基準映像Ｖｓｖを用意することにより、その事象に類似した事象の進展を捉えた監視映像のみを書換不可の記録媒体に記録することができる。このように、本件開示の監視映像管理システム１２０によれば、例えば、工場やオフィスなどへの侵入過程を表す映像などを高い精度で検出し、検出した映像を記録することができるので、監視映像の効率的な管理を実現することができる。
【０１３３】
なお、本件開示の監視映像管理装置１２０は、基準映像Ｖｓｖの時間的な長さＴに基づいて、評価対象とする監視映像を制限することも可能である。
【０１３４】
図１５は、監視映像管理処理のフローチャートの別例を示している。なお、図１５に示すステップのうち、図１４例示したステップと同等の処理を示すものについては、同一の符号を付して示し、その説明は省略する。
【０１３５】
図１５に例示したフローチャートにおいて、プロセッサ２１は、ステップＳ３３５の処理に先立って、映像蓄積部３１に蓄積された監視映像の時間的な長さが、評価対象の蓄積映像Ｖｅｖの時間的な長さの上限以下であるか否かを判定する(ステップＳ３４１)。評価対象の蓄積映像Ｖｅｖの時間的な長さの上限は、例えば、基準映像Ｖｓｖの時間的な長さＴに基づいて、予め決定しておくことができる。
【０１３６】
映像蓄積部３１に蓄積された監視映像の時間的な長さが、評価対象の蓄積映像Ｖｅｖの時間的な長さの上限以下である場合に(ステップＳ３４１の肯定判定)、プロセッサ２１は、ステップＳ３３５の処理に進む。一方、ステップＳ３４１の否定判定の場合に、プロセッサ２１は、監視映像の画像に変化があるか否かにかかわらず、ステップＳ３３６の処理に進み、監視映像を映像蓄積部３１に蓄積する処理を停止する。
【０１３７】
このように、プロセッサ２１が、ステップＳ３４１の否定に応じて、監視映像の映像蓄積部３１への蓄積を一旦停止させることにより、ステップＳ３０２の処理で基準映像Ｖｓｖとの類似性を評価する対象の映像の長さに上述した上限を設定することができる。これにより、図１２に例示したフローチャートに従って、基準映像Ｖｓｖと評価対象の映像との類似性を評価する処理に要する時間の低減を図ることができる。なお、プロセッサ２１は、上述したようにして、監視映像の蓄積を一旦停止した以降の監視映像を、別の監視映像として映像蓄積部３１に蓄積してもよい。そして、プロセッサ２１が、この監視映像についても、同様にして、基準映像Ｖｓｖとの類似性を評価することにより、基準映像Ｖｓｖに類似した事象の進展を表す監視映像を漏れなく検出し、記録するという目的を果たすことができる。
【０１３８】
また、図１５に例示したフローチャートにおいて、プロセッサ２１は、ステップＳ３０２の処理に先立って、映像蓄積部３１に蓄積された監視映像の時間的な長さが、評価対象の蓄積映像Ｖｅｖの時間的な長さの下限以上であるか否かを判定する(ステップＳ３４２)。評価対象の蓄積映像Ｖｅｖの時間的な長さの下限は、例えば、基準映像Ｖｓｖの時間的な長さＴに基づいて、予め決定しておくことができる。
【０１３９】
映像蓄積部３１に蓄積された監視映像の時間的な長さが、評価対象の蓄積映像Ｖｅｖの時間的な長さの下限以上である場合に(ステップＳ３４２の肯定判定)、プロセッサ２１は、ステップＳ３０２の処理に進む。一方、映像蓄積部３１に蓄積された監視映像の時間的な長さが、上述した下限よりも短い場合に(ステップＳ３４２の否定判定)、プロセッサ２１は、当該監視映像を、ステップＳ３０２の処理による評価対象とせずに、ステップＳ３３９の処理に進んでもよい。
【０１４０】
このようにして、プロセッサ２１は、映像蓄積部３１に蓄積された監視映像が、基準映像Ｖｓｖに捉えられた事象の進展過程を表すにはあまりに短い場合に、当該監視映像をステップＳ３０２の処理による評価対象からはずしてもよい。これにより、基準映像Ｖｓｖに類似する映像として検出される可能性が極めて低い映像について、図１４に例示した評価処理を実行するために要する処理時間を低減することができる。
【０１４１】
また、本件開示の映像検出装置１１０を大量の映像の中から所望の事象の進展を表す映像を検索する映像検索システムに適用することもできる。
【０１４２】
図１６は、映像検出装置１１０を適用した映像検索システム１３０のハードウェア構成例を示している。なお、図１６に示した構成要素のうち、図１０に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。
【０１４３】
図１６に例示した映像検索システム１３０は、映像検出装置１１０と、表示装置２４と、入力装置２５とを含む。図１６に例示した映像検索システム１３０は、コンピュータ装置１０に含まれるバスおよび光学ドライブ装置２６を介して、光ディスク２７などの記録媒体に記録された映像にアクセス可能である。また、図１６に例示した映像検索システム１３０は、コンピュータ装置１０に含まれるＬＡＮインタフェース２８およびＬＡＮ３０を介して、映像ライブラリ３５に蓄積された映像にアクセス可能である。また、図１６に例示した映像検索システムは、コンピュータ装置１０に含まれるＬＡＮインタフェース２８およびＬＡＮ３０を介して、撮像装置３６で撮影された映像の入力を受けてもよい。
【０１４４】
また、メモリ２２は、プロセッサ２１が後述する映像検索処理を実行するためのアプリケーションプログラムを格納している。映像検索処理は、例えば、上述した映像検出処理に含まれる２つの映像の類似性を評価する処理と、図１６に例示した入力装置２５を介して入力される操作者の指示に応じて、検索処理を制御するための処理を含んでいる。なお、映像検索処理を実行するためのアプリケーションプログラムは、例えば、光ディスク２７などの記録媒体に記録して頒布することができる。そして、この光ディスク２７を光学ドライブ装置２６に装着して読み込み処理を行うことにより、映像検索処理を実行するためのアプリケーションプログラムを、メモリ２２およびハードディスク装置２３に格納させてもよい。また、インターネットなどのネットワークとＬＡＮインタフェース２８とを介して、映像検索処理を実行するためのアプリケーションプログラムをメモリ２２およびハードディスク装置２３に読み込ませることもできる。
【０１４５】
図１７は、映像検索処理のフローチャートの一例を示している。なお、図１７に示すステップのうち、図１１例示したステップと同等の処理を示すものについては、同一の符号を付して示し、その説明は省略する。
【０１４６】
図１７に例示したステップＳ３５１〜ステップＳ３５３の各処理は、上述した映像検索処理のためのアプリケーションプログラムに含まれる、検索処理を制御するための処理の一例である。また、図１７に例示した映像検索処理のフローチャートは、図１１に例示したステップＳ３０４の処理に代えて、ステップＳ３５４の処理を含んでいる。なお、図１４に例示した各ステップの処理は、プロセッサ２１によって実行される。
【０１４７】
まず、プロセッサ２１は、入力装置２５を介して入力された操作者からの指示に基づいて、所望の事象の進展を表す基準映像Ｖｓｖを入力する(ステップＳ３５１)。例えば、プロセッサ２１は、操作者からの指示に基づいて、ＬＡＮインタフェース２８およびＬＡＮ３０を介して、撮像装置３６による撮影で得られた映像を受け取ってもよい。このようにして受け取った映像を、プロセッサ２１は、ハードディスク装置２３に設けられた保持部１１１の基準映像保持部３２に保持してもよい。なお、操作者により、光ディスク２７に記録された映像の一つあるいは映像ライブラリ３５に蓄積された映像の一つが指定された場合に、プロセッサ２１は、指定された映像を基準映像Ｖｓｖとして受け取ってもよい。
【０１４８】
次に、プロセッサ２１は、ステップＳ３５１で入力した基準映像Ｖｓｖに対して、図１２に例示したステップＳ３１１と同様の処理を行うことにより、基準映像Ｖｓｖの特徴集約情報を作成する(ステップＳ３５２)。
【０１４９】
次いで、プロセッサ２１は、図１６に例示した映像ライブラリ３５や光学ドライブ２６に装着された光ディスク２７などに記録された映像の一つを、評価対象の映像として取得する(ステップＳ３５３)。プロセッサ２１は、例えば、操作者からの指示に基づいて、評価対象の映像の取得先を、映像ライブラリ３５あるいは光ディスク２７に限定してもよい。また、プロセッサ２１は、このようにして取得した映像を、ハードディスク装置２３に設けられた映像蓄積部３１に保持させてもよい。
【０１５０】
そして、プロセッサ２１は、上述したようにして、映像蓄積部３１に保持された映像を評価対象の映像として、ステップＳ３０２の基準映像Ｖｓｖと評価対象の映像との類似性を評価する処理を実行する。
【０１５１】
このステップＳ３０２の処理によって、基準映像Ｖｓｖと映像蓄積部３１に蓄積された映像とが類似している旨の評価結果が得られた場合に(ステップＳ３０３の肯定判定)、プロセッサ２１は、ステップＳ３５４の処理に進む。そして、ステップＳ３５４において、プロセッサ２１は、表示装置２４などを介して、映像検索システムの操作者に当該映像を検索結果として提示する処理を実行する。その後、プロセッサ２１は、ステップＳ３０５の処理に進む。
【０１５２】
一方、ステップＳ３０３の否定判定ルートにおいて、プロセッサ２１は、ステップＳ３５４の処理を行うことなく、ステップＳ３０５の処理に進む。このステップＳ３０５において、プロセッサ２１は、映像ライブラリ３５や光学ドライブ２６に装着された光ディスク２７などに記録された全ての映像について評価を完了したか否かを判定する。なお、上述したステップＳ３５３の処理で、操作者からの指示で評価対象の映像の取得先が限定されている場合に、プロセッサ２１は、指定された取得先に記録されている全ての映像について評価を完了したか否かを判定する。
【０１５３】
また評価されていない蓄積映像Ｖｅｖがある場合に(ステップＳ３０５の否定判定)、プロセッサ２１は、ステップＳ３５３の処理に戻り、新たな映像を評価対象として取得する処理を開始する。プロセッサ２１が、ステップＳ３５３〜ステップＳ３０５の処理を繰り返すことにより、映像ライブラリ３５などに記録された全ての映像についての評価処理が完了したときに(ステップＳ３０５の肯定判定)、プロセッサ２１は、映像検索処理を終了する。
【０１５４】
上述した処理をプロセッサ２１が実行することにより、映像ライブラリ３５などに記録された全ての映像の中から、基準映像Ｖｓｖによって表される事象と類似する事象の進展を表す映像を漏れなく高い精度で検索することができる。
【符号の説明】
【０１５５】
１０…コンピュータ装置；２１…プロセッサ；２２…メモリ；２３…ハードディスク装置；２４…表示装置；２５…入力装置；２６…光学ドライブ装置；２７…光ディスク；２８…ローカルエリアネットワーク(ＬＡＮ)インタフェース；３０…ローカルエリアネットワーク(ＬＡＮ)；３１…映像蓄積部；３２…基準映像保持部；３３ｓ，３３ｅ…集約情報保持部；３４…間引きパターン保持部；３５…映像ライブラリ；３６…撮像装置；Ｃ１〜Ｃｍ…監視カメラ；１０１…蓄積装置；１１０…映像検出装置；１１１…保持部；１１２…生成部；１１３…評価部；１１４…検出部；１１５…算出部；１１６…集計部；１１７…抽出部；１１８…差分算出部；１２０…監視映像管理システム；１３０…映像検索システム
【技術分野】
【０００１】
本件開示は、蓄積された映像から所望の映像を検出する映像検出装置および方法並びに映像検出プログラムに関する。
【背景技術】
【０００２】
監視カメラによって撮影された映像に基づいて、工場やオフィスなどの施設を監視する監視システムは、撮影された映像に含まれる各画像を時系列的に比較することによって変化を検出したときに記録を開始する技術を用いて映像の蓄積を行う場合がある。
【０００３】
このようにして蓄積された映像から特定の人物の像が含まれている映像や特定の動作の様子が表されている映像を検出するための技法が提案されている(特許文献１参照)。
【０００４】
特許文献１の技法は、目的の映像の特徴を時間的に連結した情報と、蓄積された映像の特徴を時間的に連結した情報とを時間的にずらしながら比較することにより、目的の映像と同じように特徴が変化する部分の検出を実現している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特願２００６−６０７９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、特許文献１の技法では、目的の映像と類似した事象を捉えていると人間により判断できる映像が、目的の映像に類似する映像として検出されない場合がある。そして、このような映像を目的の映像に類似する映像として抽出するために、特許文献１の技法による映像検出装置が類似性の判断に用いる閾値を調整すると、膨大な量の映像を類似した映像として検出してしまう場合があった。
【０００７】
本件開示は、所望の事象の進展を表す映像に類似した映像を高い精度で検出する映像検出装置および映像検出方法並びに映像検出プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
一つの観点による映像検出装置は、所望の事象の進展を表す基準映像を保持する保持部と、前記基準映像に基づいて、当該基準映像における前記事象の進展の速度を含む複数の速度で前記事象の進展を表す複数の調整映像を生成する生成部と、蓄積装置に蓄積された各蓄積映像と、前記複数の調整映像のそれぞれとの類似度を評価する評価部と、前記評価部で得られた評価結果に基づいて、前記複数の調整映像のいずれかに類似する前記蓄積映像を、前記基準映像に類似する映像として取り出す検出部とを有する。
【０００９】
また、別の観点による映像検出方法は、所望の事象の進展を表す基準映像に基づいて、当該基準映像における前記事象の進展の速度を含む複数の速度で前記事象の進展を表す複数の調整映像を生成し、蓄積装置に蓄積された各蓄積映像と、前記複数の調整映像のそれぞれとの類似度を評価し、前記類似度を評価する処理による評価結果に基づいて、前記複数の調整映像のいずれかに類似する前記蓄積映像を、前記基準映像に類似する映像として取り出す。
【００１０】
更に別の観点による映像検出プログラムは、所望の事象の進展を表す基準映像に基づいて、当該基準映像における前記事象の進展の速度を含む複数の速度で前記事象の進展を表す複数の調整映像を生成し、蓄積装置に蓄積された各蓄積映像と、前記複数の調整映像のそれぞれとの類似度を評価し、前記類似度を評価する処理による評価結果に基づいて、前記複数の調整映像のいずれかに類似する前記蓄積映像を、前記基準映像に類似する映像として取り出す処理をコンピュータに実行させる。
【発明の効果】
【００１１】
本件開示の映像検出装置および映像検出方法並びに映像検出プログラムによれば、所望の事象の進展を表す映像に類似した映像を高い精度で検出することができる。
【図面の簡単な説明】
【００１２】
【図１】映像検出装置の一実施形態を示す図である。
【図２】基準映像および評価対象の蓄積映像の例を示す図である。
【図３】調整映像の例を示す図である。
【図４】間引きパターンの例を示す図である。
【図５】映像検出装置の別実施形態を示す図である。
【図６】特徴情報の抽出を説明する図である。
【図７】特徴集約情報の例を示す図である。
【図８】映像検出装置の別実施形態を示す図である。
【図９】特徴値の時間変化を説明する図である。
【図１０】映像検出装置のハードウェア構成例を示す図である。
【図１１】映像検出処理のフローチャートの一例を示す図である。
【図１２】類似度を評価する処理のフローチャートの一例を示す図である。
【図１３】映像検出装置を用いた監視映像管理システムのハードウェア構成例を示す図である。
【図１４】監視映像管理処理のフローチャートの一例を示す図である。
【図１５】監視映像管理処理のフローチャートの別例を示す図である。
【図１６】映像検出装置を用いた映像検索システムのハードウェア構成例を示す図である。
【図１７】映像検索処理のフローチャートの一例を示す図である。
【発明を実施するための形態】
【００１３】
以下、図面に基づいて、本発明の実施形態について詳細に説明する。
【００１４】
図１は、映像検出装置の一実施形態を示す図である。図１に例示した映像検出装置１１０は、蓄積装置１０１に蓄積された映像Ｖｅｖの中から、所望の事象の進展を表す映像である基準映像Ｖｓｖに類似している映像を検出する。
【００１５】
図１に例示した映像検出装置１１０は、保持部１１１と、生成部１１２と、評価部１１３と、検出部１１４とを含む。
【００１６】
図１に例示した保持部１１１は、例えば、入力ポートＶｉｎを介して所望の事象が進展する様子を表す映像の入力を受けてもよい。そして、保持部１１１は、この映像を基準映像Ｖｓｖとして保持してもよい。
【００１７】
また、図１に例示した生成部１１２は、保持部１１１に保持された基準映像Ｖｓｖに基づいて、当該基準映像Ｖｓｖにおける事象の進展の速度を含む複数の速度で、当該事象の進展を表す複数の調整映像Ｖｍを生成する。なお、以下の説明において、複数の調整映像Ｖｍのそれぞれを区別する場合には、調整映像Ｖｍ０〜ＶｍＬのように、符号に数字を付して示す。
【００１８】
また、図１に例示した評価部１１３は、蓄積装置１０１に蓄積された各蓄積映像Ｖｅｖを順次に評価対象とし、生成部１１２で得られた各調整映像Ｖｍと当該蓄積映像Ｖｅｖとの類似度を評価する。
【００１９】
図１に例示した検出部１１４は、上述した基準映像Ｖｓｖと類似していることが評価部１１３による評価結果によって示された蓄積装置１０１内の蓄積映像Ｖｅｖを、検出結果として取り出す。なお、検出部１１４は、出力ポートＶｏｕｔを介して、蓄積装置１０２から取り出した蓄積映像Ｖｅｖを映像検出装置１１０の外部に出力してもよい。
【００２０】
以下、本件開示の映像検出装置１１０により、蓄積装置１０２内に蓄積された個々の蓄積映像Ｖｅｖと、基準映像Ｖｓｖとの類似度を評価する方法について説明する。
【００２１】
図２は、基準映像Ｖｓｖおよび蓄積映像Ｖｅｖの例を示す図である。図２に示した符号ｔを付した矢印は、時間変化の方向を示している。また、符号Ｑ１，Ｑ２はそれぞれ画像内に含まれる人物を示し、符号Ｗ１は画像内に含まれる壁を示す。
【００２２】
図２に例示した基準映像Ｖｓｖは、壁Ｗ１の前を人物Ｑ１が時間τｓをかけて横切っていく様子を表している。一方、評価対象の蓄積映像Ｖｅｖは、同じ壁Ｗ１の前を、別の人物Ｑ２が時間τｅをかけて横切っていく様子を表している。なお、図２に例示した基準映像Ｖｓｖは、ｍ枚の画像Ｇｓ−１〜Ｇｓ−ｍを含んでいる。また、図２に例示した蓄積映像Ｖｅｖは、Ｍ枚の画像Ｇｅ−１〜Ｇｅ−Ｍを含んでいる。
【００２３】
このように、２つの映像に捉えられた人物Ｑ１，Ｑ２の動きの速度が異なる場合に、それぞれの映像に含まれる個々の画像を相互に比較すると、動きの開始からの経過時間に応じて、人物Ｑ１，Ｑ２の位置の差が大きくなっていくことは明らかである。例えば、基準映像Ｖｓｖおよび評価対象の蓄積映像Ｖｅｖにおいて、図２に符号Ｔｓで示した動きの開始時点にそれぞれ対応する画像Ｇｓ−１，Ｇｅ−１相互における人物Ｑ１，Ｑ２の位置の差は小さい。これに対して、上述した動きの開始時点Ｔｓから時間τｅが経過した時点Ｔｅｅに対応する基準映像Ｖｓｖの画像Ｇｓ−ｔにおける人物Ｑ１の位置と蓄積映像Ｖｅｖの画像Ｇｅ−Ｍにおける人物Ｑ２の位置の差は、上述した画像Ｇｓ−１，Ｇｅ−１相互における人物Ｑ１，Ｑ２の位置の差に比べて大きくなっている。
【００２４】
類似度の評価対象となる２枚の画像にそれぞれ含まれる人物Ｑ１，Ｑ２の位置の差が大きいほど、これらの画像間の類似度は低くなる。したがって、基準映像Ｖｓｖに含まれる各画像と蓄積映像Ｖｅｖに含まれる各画像とについてそれぞれ求めた類似度は、時系列に従って低くなる。そして、２つの映像の間の類似度は、それぞれに含まれる画像ごとの類似度の総和として考えられるので、図２に例示した基準映像Ｖｓｖと蓄積映像Ｖｅｖとをそのまま評価していえられる類似度もまた高いとはいえない。
【００２５】
しかしながら、図２に例示した評価対象の蓄積映像Ｖｅｖは、人物Ｑ２が壁Ｗ１の前を横切っていくという事象を表している点で、基準映像Ｖｓｖに類似している。つまり、蓄積映像Ｖｅｖと基準映像Ｖｓｖとは、それぞれが表している事象の進展の速度が異なっているものの、同様の事象の進展を表している点では共通している。
【００２６】
本件開示の映像検出装置１１０は、基準映像Ｖｓｖと同様の事象の進展を表している映像を検出するために、図１に例示した生成部１１２によって生成された複数の調整映像Ｖｍと評価対象の蓄積映像Ｖｅｖとの類似度を、評価部１１３によって評価する。
【００２７】
評価部１１３は、例えば、各調整映像Ｖｍに含まれる各画像と蓄積映像Ｖｅｖに含まれる各画像とを時系列に従って比較した結果に基づいて、各調整映像Ｖｍと蓄積映像Ｖｅｖとの間の類似度をそれぞれ評価してもよい。
【００２８】
図３は、調整映像Ｖｍの例を示す図である。図３に示した符号Ｖｍ０〜Ｖｍ３は、調整映像Ｖｍの例である。なお、図３に示した符号τｍｏｄ０〜τｍｏｄ３は、それぞれ調整映像Ｖｍ０〜Ｖｍ３の開始から終了までの時間を示す。つまり、これらの調整映像Ｖｍ０〜Ｖｍ３は、それぞれ異なる速度で人物が壁Ｗ１の前を横切っていく様子を表している。
【００２９】
図３に例示した調整映像Ｖｍ０は、ｍ０枚の画像Ｇｍ０−１〜Ｇｍ０−ｍ０を含んでいる。同様に、調整映像Ｖｍ１は、ｍ１枚の画像Ｇｍ１−１〜Ｇｍ１−ｍ１を含んでいる。また、調整映像Ｖｍ２は、ｍ２枚の画像Ｇｍ２−１〜Ｇｍ２−ｍ２を含んでいる。同様に、番号ｋが付された調整映像Ｖｍｋは、それぞれｍｋ枚の画像Ｇｍｋ−１〜Ｇｍｋ−ｍｋを含んでいる。このような調整映像Ｖｍｋは、生成部１１２が、例えば、基準映像Ｖｓｖに含まれるｍ枚の画像から、ｍｋ／ｍ=τｍｏｄｋ／τｓを満たすようにｍｋ枚の画像を抽出することによって生成することができる。なお、生成部１１２は、各調整映像Ｖｍｋの第１フレームの画像Ｇｍｋ−１および最終フレームの画像Ｇｍｋ−ｍｋとして、基準映像Ｖｓｖの第１フレームの画像Ｇｓ−１および最終フレームの画像Ｇｓ−ｍをそれぞれ抽出することが望ましい。
【００３０】
図３に示した例では、調整映像Ｖｍ２の開始から終了までの時間τｍｏｄ２と評価対象の蓄積映像Ｖｅｖの開始から終了までの時間τｅとがほぼ等しくなっている。つまり、調整映像Ｖｍ２において、壁Ｗ１の前を人物が通り過ぎる速度と、蓄積映像Ｖｅｖにおいて壁Ｗ１の前を人物が通り過ぎる速度とはほぼ等しくなっている。このような調整映像Ｖｍ２に含まれる各画像と評価対象の蓄積映像Ｖｅｖに含まれる各画像は互いに類似しているので、評価部１１３によって調整映像Ｖｍ２と蓄積映像Ｖｅｖとについて得られる類似度は、両者が類似している旨を示す。
【００３１】
このように、評価対象の蓄積映像Ｖｅｖが基準映像Ｖｓｖと同様の事象の進展を表していれば、生成部１１２によって生成された複数の調整映像Ｖｍの中に、図３の例の調整映像Ｖｍ２にあたる、評価対象の蓄積映像Ｖｅｖに類似する調整映像Ｖｍが含まれている。逆に言えば、生成部１１２によって生成された複数の調整映像Ｖｍの中に、図３の例の調整映像Ｖｍ２にあたる、蓄積映像Ｖｅｖに類似する調整映像Ｖｍがあれば、この蓄積映像Ｖｅｖは、基準映像Ｖｓｖと同様の事象の進展を表す映像である。
【００３２】
したがって、評価部１１３により、生成部１１２で生成された複数の調整映像Ｖｍのいずれかと蓄積映像Ｖｅｖとが類似している旨が示された場合に、検出部１１４は、この蓄積映像Ｖｅｖを、基準映像Ｖｓｖに類似した映像として検出してもよい。例えば、検出部１１４は、評価部１１３で得られる類似度について、類似性が高いか否かを判定するための閾値を設定し、この閾値との比較に基づいて、評価対象の蓄積映像Ｖｅｖを検出結果として検出するか否かを判定してもよい。
【００３３】
なお、上述した閾値は、例えば、図３に例示した壁Ｗ１の前を人物が様々な速度で横切る様子を撮影した映像と、基準映像Ｖｓｖに基づいて生成した複数の調整映像Ｖｍとについて、評価部１１３によってそれぞれ求めた類似度に基づいて決定してもよい。例えば、評価部１１３により、類似性が高いほど小さい値となる類似度が得られる場合に、上述したようにして撮影された各映像に最も類似しているとされた調整映像Ｖｍとについてそれぞれ得られた類似度の最大値よりも大きい値を閾値に設定してもよい。検出部１１４が、このような閾値を用いて類似性の高さを判断することにより、基準映像Ｖｓｖに類似する映像を漏れなく検出することができる。
【００３４】
更に、基準映像Ｖｓｖとは異なる事象の進展を表す複数の映像と、基準映像Ｖｓｖから生成された複数の調整映像Ｖｍとについてそれぞれ求めた類似度に基づいて、上述した閾値を設定してもよい。例えば、評価部１１３により、類似性が高いほど小さい値となる類似度が得られる場合に、上述した各映像と当該映像に最も類似しているとされた調整映像Ｖｍとについてそれぞれ得られた類似度の最小値よりも小さい値を閾値に設定してもよい。検出部１１４が、このような閾値を用いて類似性の高さを判断することにより、異なる事象の進展を表す映像を、検出結果から高い確度で排除することができる。
【００３５】
したがって、検出部１１４が基準映像Ｖｓｖと蓄積映像Ｖｅｖとが類似しているか否かを判断する基準となる閾値は、上述した２つの条件をともに満たす値に設定することが望ましい。
【００３６】
このような閾値を用いる検出部１１４を含む、図１に例示した映像検出装置１１０によれば、蓄積装置１０１に蓄積された蓄積映像Ｖｅｖの中から、基準映像Ｖｓｖと同様の事象の進展を表す映像を高い精度で検出することができる。
【００３７】
また、図１に例示した生成部１１２は、例えば、基準映像Ｖｓｖに含まれる画像をそれぞれ異なる割合で間引くことにより、複数の調整映像Ｖｍを生成してもよい。なお、生成部１１２は、元の基準映像Ｖｓｖをそのまま調整映像Ｖｍの一つとして出力してもよい。また、生成部１１２は、各調整映像Ｖｍｋを生成する際に、例えば、様々な間引き率に対応して、各調整映像Ｖｍに基準映像Ｖｓｖに含まれる各画像が含まれるか否かを示す間引きパターンを用いてもよい。
【００３８】
図４は、間引きパターンの一例を示す図である。図４に示したフレーム番号は、基準映像Ｖｓｖに含まれる各画像の時系列的な位置を示す。
【００３９】
図４に例示した各間引きパターン＃０〜＃４は、当該間引きパターンを用いて生成される調整映像Ｖｍｋ(ｋ＝０〜４)に含まれる画像をフレーム番号に対応して黒丸を付して示し、調整映像Ｖｍｋに含まれない画像を符号「−」で示す。例えば、間引きパターン＃０を用いることにより、生成部１１２は、基準映像Ｖｓｖに含まれる全ての画像を含む調整映像Ｖｍ０を生成する。また、例えば、間引きパターン＃１を用いて基準映像Ｖｓｖに含まれる各画像から５フレームに１フレームの割合で画像を間引くことにより、生成部１１２は、調整映像Ｖｍ１を生成する。同様に、間引きパターン＃２〜＃４を用いて基準映像Ｖｓｖから画像をそれぞれ１／４，１／３，１／２の割合で間引くことにより、生成部１１２は、調整映像Ｖｍ２〜Ｖｍ４を生成する。
【００４０】
図１に例示した生成部１１２は、次のようにして、保持部１１１に保持された基準映像Ｖｓｖに含まれるｍ枚の画像の中から、間引きパターンで示される画像を順次に読み出すことにより、複数の調整映像Ｖｍを生成してもよい。以下では、図４に例示した間引きパターン＃０〜＃４を用いて、調整映像Ｖｍ０〜Ｖｍ４を生成する場合について説明する。
【００４１】
例えば、生成部１１２は、間引きパターン＃１の間引き率が１／５であることから、調整映像Ｖｍ１の第ｊフレームの画像Ｇ１−ｊとして、保持部１１１に保持された基準映像Ｖｓｖのフレーム番号ｊ＋[ｊ／５]の画像を読み出してもよい。なお、[ｘ]は、実数ｘを超えない最大の整数である。このように、生成部１１２が、第１フレームから第ｍｋフレームまでの各画像Ｇ１−ｊ(ｊ＝１〜ｍ１)として、基準映像Ｖｓｖの間引きパターン＃１で示される各画像を読み出すことにより、調整映像Ｖｍ１を生成することができる。同様にして、生成部１１２は、間引きパターン＃２の間引き率１／４に基づいて、保持部１１１から読み出した基準映像Ｖｓｖのフレーム番号ｊ＋[ｊ／４]の画像を、調整映像Ｖｍ２に含まれる各画像Ｇ２−ｊ(ｊ＝１〜ｍ２)として順次に出力してもよい。また同様に、生成部１１２は、間引きパターン＃３の間引き率１／３に基づいて、保持部１１１から読み出した基準映像Ｖｓｖのフレーム番号ｊ＋[ｊ／３]の画像を、調整映像Ｖｍ３に含まれる各画像Ｇ３−ｊ(ｊ＝１〜ｍ３)として順次に出力してもよい。また、同様にして、生成部１１２は、間引きパターン＃４の間引き率１／２に基づいて、保持部１１１から読み出した基準映像Ｖｓｖのフレーム番号ｊ＋[ｊ／２]の画像を、調整映像Ｖｍ４に含まれる各画像Ｇ４−ｊ(ｊ＝１〜ｍ４)として順次に出力してもよい。
【００４２】
なお、生成部１１２は、基準映像Ｖｓｖの間引きパターンに従って間引かれる画像とその前の画像および後の画像に基づいて、間引かれる画像とその前後の画像の特徴を反映した２枚の補間画像を生成してもよい。そして、生成部１１２は、これらの補間画像を、間引かれる画像の前後の画像の代わりに、調整映像Ｖｍｋに含めてもよい。例えば、生成部１１２は、間引きパターン＃１に従って間引かれる第５フレームの画像Ｇｓ−５と、その前の画像Ｇｓ−４とにそれぞれ含まれる各画素の画素値を平均化することにより、画像Ｇｓ−４と画像Ｇｓ−５とについての補間画像を生成する。そして、生成部１１２は、この補間画像を、基準映像Ｖｓｖの第４フレームの画像Ｇｓ−４の代わりに、調整映像Ｖｍ１の第４フレームの画像Ｇｍ１−４として出力してもよい。同様に、生成部１１２は、画像Ｇｓ−５と、その後ろの画像Ｇｓ−６とにそれぞれ含まれる各画素の画素値を平均化することにより、画像Ｇｓ−６と画像Ｇｓ−５とについての補間画像を生成し、この補間画像を調整映像Ｖｍ１に含めてもよい。
【００４３】
上述した間引きパターン＃０〜＃４を用いることにより、生成部１１２は、基準映像Ｖｓｖにおいて事象が進展する速度Ｖと、速度５／４Ｖ、速度４／３Ｖ，速度３／２Ｖ，速度２Ｖで事象の進展をそれぞれ表す調整映像Ｖｍ０〜Ｖｍ４をすることができる。
【００４４】
なお、生成部１１２は、図４に例示した間引きパターン＃０〜＃４に加えて、更に、別の割合を示す間引きパターンを用いて調整映像Ｖｍを生成してもよい。また、生成部１１２は、間引き率の異なる部分を含む間引きパターンを用いて調整映像Ｖｍを生成してもよい。例えば、基準映像Ｖｓｖの前半部分と後半部分とについて、それぞれ異なる間引き率を設定する間引きパターンを用意すれば、図３に例示した壁Ｗ１の前を横切る人物の速度が前半と後半とで異なるような映像の検出に適用することができる。このような間引きパターンの設定は、元の基準映像Ｖｓｖに捉えられた事象の進展速度の変化として考えられる様々なパターンに基づいて行ってもよい。例えば、図３に例示した壁Ｗ１の中央部に到達するまで人物が速度を上げて移動していき、その後、人物の移動速度が低下するような過程を含む、様々な過程に対応して間引きパターンを設定してもよい。
【００４５】
このような間引きパターンを生成部１１２が用いることにより、一つの基準映像Ｖｓｖに基づいて、様々な調整映像Ｖｍを簡易な処理によって生成することができる。
【００４６】
このような生成部１１２を含む映像検出装置１１０は、多様な調整映像Ｖｍを蓄積映像Ｖｅｖと基準映像Ｖｓｖとの類似性の評価に利用可能である。したがって、このような映像検出装置１１０は、蓄積装置１０１内の蓄積映像Ｖｅｖの中から、基準映像Ｖｓｖと同様の事象の進展を表す映像をより高い精度で検出することができる。
【００４７】
図５は、映像検出装置１１０の別実施形態を示す図である。なお、図５に示した構成要素のうち、図１に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。
【００４８】
図５に例示した評価部１１３は、算出部１１５と集計部１１６とを含む。図５に例示した算出部１１５は、評価対象の蓄積映像Ｖｅｖに含まれる各画像と、生成部１１２によって生成された複数の調整映像Ｖｍそれぞれにおいて時系列的に対応する画像との類似度をそれぞれ算出する。以下の説明では、評価対象の蓄積映像Ｖｅｖに含まれるｊ番目の画像を画像Ｇｅ−ｊと称する。また、生成部１１２によって生成されたＬ＋１個の調整映像Ｖｍ０〜ＶｍＬの中のｋ番目の調整映像Ｖｍｋに含まれるｊ番目の画像を画像Ｇｋ−ｊと称する。
【００４９】
算出部１１５は、例えば、式(１)に示すように、画像Ｇｅ−ｊに含まれる各画素の輝度値と画像Ｇｋ−ｊに含まれる各画素の輝度値との差分の絶対値の総和として、画像Ｇｅ−ｊと画像Ｇｋ−ｊとの類似度Ｒｋ(ｊ)を算出する。なお、式(１)において、画像Ｇｅ−ｊに含まれる各画素の輝度値をＹｅｊ(ｘ，ｙ)とし、画像Ｇｋ−ｊに含まれる各画素の輝度値をＹｋｊ(ｘ，ｙ)として示した。また、定数Ｘｎ、Ｙｎは、それぞれ画像における横方向の画素数および縦方向の画素数を示す。
【００５０】
【数１】
このような式(１)を用いることにより、算出部１１５は、評価対象の蓄積映像Ｖｅｖのｊ番目の画像Ｇｅ−ｊとｋ番目の調整映像Ｖｍｋのｊ番目の画像Ｇｋ−ｊと類似性が高いほど、小さい値を示す類似度Ｒｋ(ｊ)を求めることができる。
【００５１】
また、図５に例示した集計部１１６は、調整映像Ｖｍｋごとに、算出部１１５で得られた類似度Ｒｋ(ｊ)を集計した集計値に基づいて、当該調整映像Ｖｍｋと蓄積映像Ｖｅｖとの類似度を示す評価値Ｓｋをそれぞれ求める。
【００５２】
集計部１１６は、例えば、式(２)を用いて算出部１１５で得られた類似度Ｒｋ(ｊ)を集計することにより、評価対象の蓄積映像Ｖｅｖとｋ番目の調整映像Ｖｍｋとの類似度を示す評価値Ｓｋを算出する。なお、式(２)において、定数ｍｋは、ｋ番目の調整映像Ｖｍｋに含まれる画像の枚数である。
【００５３】
【数２】
上述したようにして、図５に例示した算出部１１５および集計部１１６を含む評価部１１３は、Ｌ＋１個の調整映像Ｖｍ０〜ＶｍＬそれぞれについて、評価対象の蓄積映像Ｖｅｖとの類似度を示す評価値Ｓｋ(ｋ=０〜Ｌ)を求めることができる。このようにして得られた評価値Ｓｋは、評価対象の蓄積映像Ｖｅｖに含まれる各画像と調整映像Ｖｍｋにおいて時系列的に対応する画像との類似度を精密に反映しており、蓄積映像Ｖｅｖと調整映像Ｖｍｋとの類似度を示している。そして、蓄積映像Ｖｅｖに含まれる各画像と調整映像Ｖｍｋに含まれる各画像が相互に類似しているほど、各画像について得られる類似度は小さい値となるので、上述した評価値Ｓｋもまた、蓄積映像Ｖｅｖと調整映像Ｖｍｋとが類似しているほど小さい値となる。
【００５４】
したがって、検出部１１４は、上述したようにして各調整映像Ｖｍ０〜ＶｍＬについて得られた評価値Ｓｋ(ｋ=０〜Ｌ)のいずれかが、類似度が高いか否かの判断基準となる所定の閾値以下である場合に、蓄積映像Ｖｅｖは基準映像Ｖｓｖに類似する判断してもよい。
【００５５】
図５に例示した評価部１１３によれば、蓄積映像Ｖｅｖと調整映像Ｖｍｋとにそれぞれ含まれる各画像の類似度を精密に反映した評価値Ｓｋを得ることができる。したがって、このような評価部１１３を有する映像検出装置１１０は、蓄積映像Ｖｅｖが基準映像Ｖｓｖに類似しているか否かを精密に判定することができるので、基準映像Ｖｓｖに類似した蓄積映像Ｖｅｖを高い精度で検出することができる。
【００５６】
また、算出部１１５は、評価対象の蓄積映像Ｖｅｖに含まれる各画像の特徴と各調整映像Ｖｍに含まれる時系列的に対応する画像の特徴との比較に基づいて、画像の類似度を算出してもよい。例えば、基準映像Ｖｓｖおよび評価対象の蓄積映像Ｖｅｖに含まれる各画像の特徴を表す特徴情報は、各画像をそれぞれ分割して得られるＮ個のブロックＰ１〜ＰＮに含まれる各画素の輝度値の平均値を各ブロックの特徴値として含んでもよい。
【００５７】
図６は、特徴情報を説明する図である。図６において、符号Ｇｓ−１〜Ｇｓ−ｍは、基準映像Ｖｓｖに含まれるｍ枚の画像それぞれを示す。また、符号Ｇｅ−１〜Ｇｅ−Ｍは、評価対象の蓄積映像Ｖｅｖに含まれるＭ枚の画像それぞれを示す。また、符号Ｐ１〜ＰＮは、各画像を分割して得られるＮ個のブロックを示す。
【００５８】
また、基準映像Ｖｓｖに含まれる各画像Ｇｓ−１〜Ｇｓ−ｍにそれぞれ含まれる各ブロックＰ１〜ＰＮの平均輝度値Ａ１−１〜ＡＮ−ｍは、予め算出して保持部１１１に保持しておくことができる。保持部１１１は、例えば、基準映像Ｖｓｖに含まれるフレーム番号ｊ(ｊ＝１〜ｍ)の画像Ｇｓ−ｊを示す画像ＩＤに対応して、当該画像Ｇｓ−ｊに含まれる各ブロックＰ１〜ＰＮの平均輝度値Ａ１−ｊ〜ＡＮ−ｊを保持してもよい。このように保持部１１１に保持された情報は、基準映像Ｖｓｖに含まれる各画像Ｇｓ−１〜Ｇｓ−ｍについて得られた特徴情報を集約した情報であり、基準映像Ｖｓｖの特徴集約情報の一例である。
【００５９】
図７は、特徴集約情報の例を示す図である。図７(Ａ)は、基準映像Ｖｓｖの特徴集約情報の一例である。また、図７(Ｂ)は、評価対象の蓄積映像Ｖｅｖに含まれる各画像から当該画像の特徴を抽出することで得られる特徴情報を集約した評価対象の蓄積映像Ｖｅｖの特徴集約情報の一例である。
【００６０】
図７(Ｂ)に例示した評価対象の蓄積映像Ｖｅｖの特徴集約情報は、評価対象の蓄積映像Ｖｅｖのフレーム番号ｊ(ｊ＝１〜Ｍ)の画像Ｇｅ−ｊを示す画像ＩＤに対応して、当該画像Ｇｅ−ｊに含まれる各ブロックＰ１〜ＰＮの平均輝度値Ｂ１−ｊ〜ＢＮ−ｊを含む。
【００６１】
図８は、映像検出装置１１０の別実施形態を示す図である。なお、図８に示した構成要素のうち、図１および図５に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。
【００６２】
図８に例示した算出部１１５に含まれる抽出部１１７は、例えば、評価対象の蓄積映像Ｖｅｖに含まれる各画像に含まれる各ブロックの平均輝度値を算出することにより、当該画像の特徴を示す特徴情報を抽出する。そして、抽出部１１７は、各画像から抽出した特徴情報を集約することによって、上述したように、各画像に対応する特徴情報を含む特徴集約情報を生成する。
【００６３】
図８に例示した算出部１１５に含まれる差分算出部１１８は、抽出部１１７よって生成された評価対象の蓄積映像Ｖｅｖの特徴集約情報と、生成部１１２が後述するようにして生成する各調整映像Ｖｍに対応する特徴集約情報とを受け取る。そして、差分算出部１１８は、評価対象の蓄積映像の特徴集約情報に含まれる各画像の特徴情報と、各調整映像Ｖｍの特徴集約情報に含まれる各画像の特徴情報との差分をそれぞれ求める。
【００６４】
図８に例示した生成部１１２は、保持部１１１に保持された基準映像Ｖｓｖの特徴集約情報から、各調整映像Ｖｍに含まれる各画像に対応して抽出した特徴情報を集約することにより、各調整映像Ｖｍの特徴集約情報を生成してもよい。例えば、生成部１１２は、図４に例示した間引きパターンによって各調整映像Ｖｍ０〜Ｖｍ４に含まれるとされた画像に対応して保持部１１１に保持された特徴情報を、調整映像Ｖｍ０〜Ｖｍ４それぞれについて集約することで各特徴集約情報を生成してもよい。
【００６５】
例えば、生成部１１２は、図４に示した間引きパターン＃１に基づき、調整映像Ｖｍ１の第ｊフレームの画像Ｇ１−ｊに対応する特徴情報として、基準映像Ｖｓｖのフレーム番号ｊ＋[ｊ／５]の画像に対応する特徴情報を保持部１１１から読み出す。そして、生成部１１２は、このようにして読み出した特徴情報を集約することにより、調整映像Ｖｍ１の特徴集約情報を得てもよい。なお、[ｘ]は、実数ｘを超えない最大の整数である。同様にして、生成部１１２は、間引きパターン＃２に基づいて、保持部１１１から読み出した基準映像Ｖｓｖのフレーム番号ｊ＋[ｊ／４]の画像に対応する特徴情報を集約することにより、調整映像Ｖｍ２の特徴集約情報を取得してもよい。また、同様に、生成部１１２は、間引きパターン＃３に基づいて、保持部１１１から読み出した基準映像Ｖｓｖのフレーム番号ｊ＋[ｊ／３]の画像に対応する特徴情報を集約することにより、調整映像Ｖｍ３の特徴集約情報を取得してもよい。また、生成部１１２は、間引きパターン＃４に基づいて、保持部１１１から読み出した基準映像Ｖｓｖのフレーム番号ｊ＋[ｊ／２]の画像に対応する特徴情報を集約することにより、調整映像Ｖｍ４の特徴集約情報を取得してもよい。
【００６６】
なお、生成部１１２は、間引きパターンに従って間引いた画像に対応する特徴情報とその前後の画像に対応する特徴情報とを平均化して得られる特徴情報を、間引いた画像の前後の画像に対応する特徴情報として特徴集約情報に含めてもよい。
【００６７】
差分算出部１１８は、例えば、式(３)を用いることにより、評価対象の蓄積映像Ｖｅｖに含まれるｊ番目の画像Ｇｅ−ｊの特徴情報とｋ番目の調整映像Ｖｍｋに含まれるｊ番目の画像Ｇｋ−ｊの特徴情報との差分Ｄｋ(ｊ)を算出してもよい。なお、式(３)において、画像Ｇｅ−ｊに含まれるｉ番目のブロックＰｉの平均輝度値をＢｅ(ｉ、ｊ)とし、また、画像Ｇｋ−ｊに含まれるｉ番目のブロックＰｉの平均輝度値をＡｋ(ｉ、ｊ)として示した。
【００６８】
【数３】
このようにして算出された差分Ｄｋ(ｊ)は、評価対象の蓄積映像Ｖｅｖに含まれるｊ番目の画像Ｇｅ−ｊとｋ番目の調整映像Ｖｍｋに含まれるｊ番目の画像Ｇｋ−ｊとの類似度を示しており、類似しているほど小さい値を示す。
【００６９】
このように、図８に例示した抽出部１１７および差分算出部１１８を有する算出部１１５によれば、評価対象の蓄積映像Ｖｅｖに含まれるｊ番目の画像Ｇｅ−ｊとｋ番目の調整映像Ｖｍｋに含まれるｊ番目の画像Ｇｋ−ｊとの類似度を、簡易な処理で算出できる。
【００７０】
そして、例えば、上述した式(２)の類似度Ｒｋ(ｊ)を、差分算出部１１８で得られた差分Ｄｋ(ｊ)で置き換えた式(４)を用いることにより、集計部１１６は、評価対象の蓄積映像Ｖｅｖとｋ番目の調整映像Ｖｍｋとの類似度を示す評価値Ｓｋを算出してもよい。なお、式(４)において、定数ｍｋは、ｋ番目の調整映像Ｖｍｋに含まれる画像の枚数である。
【００７１】
【数４】
上述したようにして、図８に例示した抽出部１１７および差分算出部１１８を含む算出部１１５と集計部１１６とを有する評価部１１３は、調整映像Ｖｍｋごとに、評価対象の蓄積映像Ｖｅｖとの類似度を示す評価値Ｓｋを求めることができる。このようにして得られた評価値Ｓｋは、図５に例示した評価部１１３によって得られる評価値Ｓｋと同様に、調整映像Ｖｍｋと評価対象の蓄積映像Ｖｅｖとの類似度が高いほど小さい値となる。したがって、検出部１１４は、上述したようにして各調整映像Ｖｍｋについて得られた評価値Ｓｋのいずれかが、基準映像Ｖｓｖとの類似性を判断する基準となる所定の閾値よりも小さい場合に、基準映像ｖｓｖと蓄積映像Ｖｅｖとの類似性が高いと判断してもよい。つまり、図８に例示した評価部１１３によって得られた評価値Ｓｋは、図５に例示した評価部１１３によって得られた評価値Ｓｋと同様に、検出部１１４が、評価対象の蓄積映像Ｖｅｖが基準映像Ｖｓｖと類似しているか否かを判定するための指標である。
【００７２】
なお、基準映像Ｖｓｖに含まれる各画像に対応して保持部１１１に保持する特徴情報に含まれる各ブロックに対応する特徴値は、上述した平均輝度値に限らず、個々のブロックの特徴を示す値であればどのようなものでもよい。例えば、基準映像Ｖｓｖに含まれる各画像がカラー画像である場合に、個々の画像に含まれる各画素の色を示す画素値のＲＧＢ成分のいずれかの平均値を特徴値としてもよい。
【００７３】
同様に、評価対象の蓄積映像に含まれる各画像について、抽出部１１７が当該画像に含まれる各ブロックから抽出する特徴値は、上述した平均輝度値に限らず、個々のブロックの特徴を示す値であればどのようなものでもよい。
【００７４】
また、基準映像Ｖｓｖに含まれる各画像および評価対象の蓄積映像に含まれる各画像を分割して各ブロックを形成するやり方は、図６に例示したように、各画像をＮ等分する手法に限られない。例えば、各画像の中央部分と周辺部分とで大きさが異なるように各画像を分割することにより、Ｎ個のブロックを形成してもよい。
【００７５】
いずれの場合においても、図８に例示した算出部１１５は、２枚の画像の類似度を算出する処理を、Ｎ個のブロックに対応する特徴値の差分の総和を算出するという簡易な処理によって得ることができる。
【００７６】
また、上述した閾値は、例えば、基準映像Ｖｓｖに類似した事象を表す映像について得られる類似度よりも大きく、基準映像Ｖｓｖとは異なる事象を表す映像について得られる類似度よりも小さい値を設定することが望ましい。
【００７７】
図８に例示した評価部１１３の処理は、評価対象の蓄積映像において画像中の任意のブロックＰｉの特徴値が示す時間変化と、各調整映像Ｖｍにおいて画像中の任意のブロックＰｉの特徴値が示す時間変化との類似度を評価する処理に相当する。
【００７８】
図９は、特徴値の時間変化を説明する図である。図９(Ａ)〜(Ｄ)に示すグラフの横軸はフレーム番号を示し、縦軸は輝度値を示す。また、図９において、符号Ｂｉは、評価対象の蓄積映像Ｖｅｖにおいて、ｉ番目のブロックＰｉの平均輝度値の変化を示すグラフである。また、符号Ａｉ−０〜Ａｉ−３は、それぞれ調整映像Ｖｍ０〜Ｖｍ３において、ｉ番目のブロックＰｉの平均輝度値の変化を示すグラフである。
【００７９】
図９(Ａ)〜(Ｄ)において斜線を付して示した部分の面積は、評価対象の蓄積映像ＶｅｖのブロックＰｉの平均輝度値Ｂｉと調整映像Ｖｍ０〜Ｖｍ３それぞれのブロックＰｉの平均輝度値Ａｉとの差分それぞれのフレーム番号にわたる総和Ｓｃ０〜Ｓｃ３を示す。
【００８０】
図９(Ａ)〜(Ｄ)に示した差分のフレーム番号にわたる総和Ｓｃ０〜Ｓｃ３は、評価対象の蓄積映像Ｖｅｖと調整映像Ｖｍ０〜Ｖｍ３それぞれとにおけるブロックＰｉの平均輝度値の時間変化の違いを示している。そして、上述した式(４)を用いて求めた評価値Ｓｋは、調整映像Ｖｍｋと評価対象の蓄積映像ＶｅｖとにおけるブロックＰｉの平均輝度値の時間変化の違いを、全てのブロックにわたって累積加算した結果と捉えることもできる。
【００８１】
したがって、図８に例示した評価部１１３によって得られる評価値Ｓｋは、評価対象の蓄積映像Ｖｅｖと各調整映像Ｖｍｋとの類似性を、特徴値の時間変化に着目して評価した値でもある。
【００８２】
本件開示の映像検出装置１１０は、例えば、パーソナルコンピュータなどのコンピュータ装置を用いて実現することができる。
図１０は、コンピュータ装置１０のハードウェア構成の一例を示している。
【００８３】
コンピュータ装置１０は、プロセッサ２１と、メモリ２２と、ハードディスク装置２３と、表示装置２４と、入力装置２５と、光学ドライブ装置２６と、ローカルエリアネットワーク(LAN: Local Area Network)インタフェース２８とを含んでいる。図１０に例示したプロセッサ２１と、メモリ２２と、ハードディスク装置２３と、表示装置２４と、入力装置２５と、光学ドライブ装置２６と、ＬＡＮインタフェース２８とは、バスを介して互いに接続されている。図１０に例示した光学ドライブ装置２６は、光ディスク２７などの記録媒体を装着可能であり、装着した記録媒体に記録された情報の読出および記録を行う。また、図１０に例示した映像検出装置１１０は、プロセッサ２１と、メモリ２２と、ハードディスク装置２３とを含んでいる。
【００８４】
図１０に例示したコンピュータ装置１０は、ＬＡＮインタフェース２８を介して、ＬＡＮ３０に接続されている。また、このＬＡＮ３０には、ｍ台の監視カメラＣ１〜Ｃｍが接続されている。これらの監視カメラＣ１〜Ｃｍによって撮影された映像は、ＬＡＮ３０、ＬＡＮインタフェース２８およびバスを介してハードディスク装置２３の映像蓄積部３１に蓄積される。この映像蓄積部３１は、図１、図５および図８に例示した蓄積装置１０１の一例である。
【００８５】
図１０に例示した入力装置２５は、例えば、キーボードやマウスなどである。映像検出装置１１０の利用者は、入力装置２５を操作することにより、映像検出装置１１０に対して上述したような映像検出処理を開始させる旨の指示などを入力することができる。
【００８６】
メモリ２２は、コンピュータ装置１０のオペレーティングシステムとともに、プロセッサ２１が上述した映像検出処理を実行するためのアプリケーションプログラムを格納している。なお、上述した映像検出処理を実行するためのアプリケーションプログラムは、例えば、光ディスク２７などの記録媒体に記録して頒布することができる。そして、この光ディスク２７を光学ドライブ装置２６に装着して読み込み処理を行うことにより、映像検出処理を実行するためのアプリケーションプログラムを、メモリ２２およびハードディスク装置２３に格納させてもよい。また、インターネットなどのネットワークとＬＡＮインタフェース２８とを介して、映像検出処理を実行するためのアプリケーションプログラムをメモリ２２およびハードディスク装置２３に読み込ませることもできる。
【００８７】
また、ハードディスク装置２３の記録容量の一部を用いることにより、基準映像Ｖｓｖを表す情報を保持する基準映像保持部３２および基準映像Ｖｓｖから抽出された特徴集約情報を保持する集約情報保持部３３ｓを設けてもよい。図１０に例示した基準映像保持部３２および集約情報保持部３３ｓは、図１、図５および図８に例示した保持部１１１の一例である。
【００８８】
同様に、ハードディスク装置２３の記録容量の一部を用いることにより、上述した集約情報保持部３３ｓとは別に、評価対象の蓄積映像Ｖｅｖから抽出される特徴集約情報を保持する集約情報保持部３３ｅを設けてもよい。また、ハードディスク装置２３の記録容量の一部を用いることにより、図４に例示したような間引きパターンを保持する間引きパターン保持部３４を設けてもよい。
【００８９】
また、プロセッサ２１は、メモリ２２に格納されたアプリケーションプログラムを実行することにより、図１に例示した生成部１１２、評価部１１３および検出部１１４の機能を果たしてもよい。
【００９０】
図１１は、映像検出処理のフローチャートの一例を示している。図１１に示したステップＳ３０１〜ステップＳ３０５の各処理は、上述した映像検出処理のためのアプリケーションプログラムに含まれる処理の一例である。また、これらのステップＳ３０１〜ステップＳ３０５の各処理は、プロセッサ２１によって実行される。
【００９１】
プロセッサ２１は、まず、ハードディスク装置２３に設けられた映像蓄積部３１から評価対象の蓄積映像Ｖｅｖを取得する(ステップＳ３０１)。次いで、プロセッサ２１は、後述するようにして、当該蓄積映像Ｖｅｖと基準映像保持部３２に保持された基準映像Ｖｓｖとの類似性を評価する(ステップＳ３０２)。
【００９２】
そして、ステップＳ３０２の処理結果として、当該蓄積映像Ｖｅｖと基準映像Ｖｓｖとが類似している旨の評価結果が得られた場合に(ステップＳ３０３の肯定判定)、プロセッサ２１は、ステップＳ３０４の処理に進む。ステップＳ３０４において、プロセッサ２１は、当該蓄積映像Ｖｅｖを、映像検出装置１１０の検出結果として出力する。例えば、プロセッサ２１は、基準映像Ｖｓｖに類似しているとして検出した蓄積映像Ｖｅｖを、バスを介して光学ドライブ装置２６に転送することにより、この蓄積映像Ｖｅｖを光ディスク２７などの記録媒体に記録してもよい。その後、プロセッサ２１は、ステップＳ３０５の処理に進む。
【００９３】
一方、ステップＳ３０３の否定判定ルートにおいて、プロセッサ２１は、ステップＳ３０４の処理を行うことなく、ステップＳ３０５の処理に進む。このステップＳ３０５において、プロセッサ２１は、映像蓄積部３１に蓄積された全ての蓄積映像について評価を完了したか否かを判定する。
【００９４】
また評価されていない蓄積映像がある場合に(ステップＳ３０５の否定判定)、プロセッサ２１は、ステップＳ３０１の処理に戻り、新たな蓄積映像Ｖｅｖを評価対象とする処理を開始する。このように、プロセッサ２１が、ステップＳ３０１〜ステップＳ３０５の処理を繰り返し行うことにより、映像蓄積部３１内の全ての蓄積映像についての評価処理が完了したときに(ステップＳ３０５の肯定判定)、プロセッサ２１は、映像検出処理を終了する。
【００９５】
図１２は、類似度を評価する処理のフローチャートの一例を示している。図１２に示したステップＳ３１１〜ステップＳ３２１は、図１１に例示したステップＳ３０２の処理の一例である。これらのステップＳ３１１〜ステップＳ３２１の処理は、プロセッサ２１によって実行される。
【００９６】
まず、プロセッサ２１は、図６、図７を用いて説明したようにして、評価対象の蓄積映像Ｖｅｖの特徴集約情報を生成する(ステップＳ３１１)。プロセッサ２１は、例えば、評価対象の蓄積映像Ｖｅｖに含まれる各画像について、当該画像を分割したＮ個のブロックにそれぞれ含まれる画素の平均輝度値を求め、これらの平均輝度値を画像ごとに集約することで、各画像に対応する特徴情報を生成する。その上で、プロセッサ２１は、更に、評価対象の蓄積映像Ｖｅｖに含まれる全ての画像に渡って、各画像に対応する特徴情報を集約することにより、当該蓄積映像Ｖｅｖに対応する特徴集約情報を生成してもよい。また、プロセッサ２１は、生成した特徴集約情報を、図１０に例示したように、ハードディスク装置２３に設けた集約情報保持部３３ｅに保持してもよい。このように、プロセッサ２１が、ステップＳ３１１の処理を実行することにより、図８に例示した抽出部１１７の機能を実現してもよい。
【００９７】
次に、プロセッサ２１は、評価対象の蓄積映像Ｖｅｖにおいて、基準映像Ｖｓｖとの類似性を評価する範囲を初期位置に設定する(ステップＳ３１２)。プロセッサ２１は、例えば、評価対象の蓄積映像Ｖｅｖの第１フレームを、初期位置における評価範囲の先頭位置としてもよい。
【００９８】
次いで、プロセッサ２１は、間引きパターン保持部３４に保持された間引きパターンのうち、まだ、調整映像Ｖｍの生成のために選択されていない間引きパターンを選択する(ステップＳ３１３)。プロセッサ２１は、例えば、図４に例示したような間引きパターン＃０〜＃４を番号順に選択してもよい。そして、選択した間引きパターンに従って、プロセッサ２１は、図１０に例示した集約情報保持部３３ｓに保持された基準映像Ｖｓｖの特徴集約情報から、当該間引きパターンに対応する調整映像Ｖｍの特徴集約情報を生成する（ステップＳ３１４）。ステップＳ３１４の処理において、プロセッサ２１は、間引きパターンに従って間引いた画像に対応する特徴情報と、当該画像の前後の画像に対応する特徴情報とに基づいて、当該画像の前後の画像に対応する特徴情報を生成してもよい。例えば、プロセッサ２１は、間引かれる画像の特徴情報に含まれる各ブロックの平均輝度値と、当該画像の前の画像の特徴情報に含まれる各ブロックの平均輝度値との平均値を用いて、間引かれる画像の前の画像の特徴情報を生成してもよい。同様に、プロセッサ２１は、間引かれる画像の特徴情報に含まれる各ブロックの平均輝度値と、当該画像の後の画像の特徴情報に含まれる各ブロックの平均輝度値との平均値を用いて、間引かれる画像の後の画像の特徴情報を生成してもよい。このように、プロセッサ２１が、ステップＳ３１３で選択した間引きパターンに基づいて、ステップＳ３１４の処理を実行することにより、図８に例示した生成部１１２の機能を実現することができる。また、上述したようにして生成された特徴集約情報は、基準映像Ｖｓｖにおける事象の進展の速度と同じ速度を含む複数の速度のいずれかで進展する当該事象を特徴値の変化によって表す点で、調整映像Ｖｍの一例に相当する。したがって、プロセッサ２１が、ステップＳ３１３で選択した間引きパターンに基づいて、ステップＳ３１４の処理を実行することは、調整映像Ｖｍを生成する処理の一例でもある。
【００９９】
この調整映像Ｖｍの特徴集約情報と、ステップＳ３１１で生成された評価対象の蓄積映像Ｖｅｖの特徴集約情報とに基づいて、プロセッサ２１は、当該調整映像Ｖｍと評価対象の蓄積映像Ｖｅｖとの類似度を示す評価値Ｓｋを算出する(ステップＳ３１５)。例えば、プロセッサ２１は、上述した式(３)、(４)から導かれる式(５)を用いて、ステップＳ３１２で選択された番号＃ｋの間引きパターンに対応する調整映像Ｖｍｋと評価対象の蓄積映像Ｖｅｖとの類似性を示す評価値Ｓｋを算出してもよい。なお、式(５)において、定数ｍｋは、調整映像Ｖｍｋに含まれる画像の枚数である。
【０１００】
【数５】
なお、ステップＳ３１５の処理において、プロセッサ２１は、ハードディスク装置２３に設けられた集約情報保持部３３ｅに保持された評価対象の蓄積映像Ｖｅｖの特徴集約情報を利用することができる。このように、プロセッサ２１が、ステップＳ３１５の処理を実行することにより、図８に例示した差分算出部１１８および集計部１１６が、抽出部１１７で得られた特徴集約情報を用いて上述した評価値を算出する機能を実現することができる。
【０１０１】
次に、プロセッサ２１は、上述したようにして得られた評価値Ｓｋを所定の閾値Ｔｈと比較する(ステップＳ３１６)。なお、この閾値Ｔｈは、例えば、基準映像Ｖｓｖに類似した事象を表す映像について得られる評価値Ｓｋよりも大きく、基準映像Ｖｓｖとは異なる事象を表す映像について得られる評価値Ｓｋよりも小さい値を設定することが望ましい。
【０１０２】
調整映像Ｖｍｋと評価対象の蓄積映像Ｖｅｖとの類似性を示す評価値Ｓｋが閾値Ｔｈよりも小さい場合に(ステップＳ３１６の肯定判定)、プロセッサ２１は、評価対象の蓄積映像Ｖｅｖは、基準映像Ｖｓｖに類似していると判断する。この場合に、プロセッサ２１は、評価対象の蓄積映像Ｖｅｖは、基準映像Ｖｓｖに類似している旨を出力し(ステップＳ３２１)、その後、当該蓄積映像Ｖｅｖについて基準映像Ｖｓｖとの類似性を評価する処理を終了する。
【０１０３】
このように、プロセッサ２１が、ステップＳ３１６およびステップＳ３２１の処理を実行することにより、図１、図５および図８に例示した検出部１１４が、上述した評価値に基づいて当該蓄積映像Ｖｅｖが基準映像Ｖｓｖに類似するか否かを判定する機能を実現してもよい。
【０１０４】
上述したように、ステップＳ３１６の肯定判定ルートの処理を実行した後に、当該蓄積映像Ｖｅｖについて基準映像Ｖｓｖとの類似性を評価する処理を終了した場合に、プロセッサ２１は、図１１に例示したステップＳ３０３の肯定判定ルートの処理を実行する。
【０１０５】
一方、調整映像Ｖｍｋと評価対象の蓄積映像Ｖｅｖとの類似性を示す評価値Ｓｋが閾値Ｔｈ以上である場合に(ステップＳ３１６の否定判定)、プロセッサ２１は、全ての間引きパターンを選択したか否かを判定する(ステップＳ３１７)。
【０１０６】
上述したステップＳ３１３の処理においてまだ選択されていない間引きパターンがある場合に(ステップＳ３１７の否定判定)、プロセッサ２１は、ステップＳ３１３の処理に戻り、未選択の間引きパターンのいずれかを選択する。そして、この間引きパターンに対応する調整映像Ｖｍと評価対象の蓄積映像Ｖｅｖとの類似度を評価する処理を開始する。
【０１０７】
このように、プロセッサ２１が、ステップＳ３１３〜ステップＳ３１７の処理を繰り返すことにより、図１に例示した評価部１１３の機能を実現することができる。
【０１０８】
ところで、評価対象の蓄積映像Ｖｅｖにおいて、基準映像Ｖｓｖで表されている事象の開始時点が、上述したステップＳ３１２で設定した評価範囲の先頭位置に対応する時点からずれている場合がある。このような場合には、上述したようにして全ての間引きパターンに対応する調整映像Ｖｍと評価対象の蓄積映像Ｖｅｖとを比較しても、両者が互いに類似している旨を示す評価値は得られない場合がある。このような事象の開始時点のずれに対応するために、プロセッサ２１は、以下に述べるステップＳ３１８からステップＳ３２０の処理を実行してもよい。
【０１０９】
上述したステップＳ３１７の肯定判定の場合に、プロセッサ２１は、まず、全ての間引きパターンを未選択状態に設定する(ステップＳ３１８)。次いで、プロセッサ２１は、評価対象の蓄積映像Ｖｅｖにおいて、基準映像Ｖｓｖから生成される各調整映像Ｖｍとの類似性を評価する評価範囲をずらすことができるか否かを判定する(ステップＳ３１９)。プロセッサ２１は、例えば、評価対象の蓄積映像Ｖｅｖにおいて、評価範囲の先頭位置として設定されたフレーム番号以降に含まれる画像の枚数に基づいて、ステップＳ３１９の判定を行ってもよい。
【０１１０】
例えば、評価範囲の先頭位置として設定されたフレーム番号以降に含まれる画像の枚数が、基準映像Ｖｓｖに含まれる画像の枚数よりも多い場合に、プロセッサ２１は、評価範囲をずらすことが可能であると判断してもよい(ステップＳ３１９の肯定判定)。この場合に、プロセッサ２１は、例えば、評価範囲の開始位置を所定のフレーム数だけずらすことにより、評価対象の蓄積映像Ｖｅｖにおける評価範囲をずらしてもよい(ステップＳ３２０)。その後、プロセッサ２１は、ステップＳ３１３の処理に戻ることにより、新たに設定された評価範囲に含まれる評価対象の蓄積映像Ｖｅｖについて、基準映像Ｖｓｖとの類似性を評価する処理を開始する。
【０１１１】
このように、プロセッサ２１が、ステップＳ３１３〜ステップＳ３２０の処理を繰り返すことにより、評価対象の蓄積映像Ｖｅｖにおける事象の開始時点のズレも考慮しながら、基準映像Ｖｓｖとの類似性を評価することができる。
【０１１２】
評価範囲をずらしつつ、全ての間引きパターンに対応する調整映像Ｖｍと評価対象の蓄積映像Ｖｅｖとの類似性を評価しても、閾値Ｔｈよりも小さい評価値が得られなかった場合に(ステップＳ３１９の否定判定)、プロセッサ２１は、ステップＳ３２２の処理に進む。ステップＳ３２２の処理で、プロセッサ２１は、評価対象の蓄積映像Ｖｅｖと基準映像Ｖｓｖとは類似しない旨の評価結果を出力する。その後、プロセッサ２１は、当該蓄積映像Ｖｅｖについて基準映像Ｖｓｖとの類似性を評価する処理を終了する。
【０１１３】
このように、ステップＳ３１９の否定判定ルートの処理を実行した後に、当該蓄積映像Ｖｅｖについて基準映像Ｖｓｖとの類似性を評価する処理を終了した場合に、プロセッサ２１は、図１１に例示したステップＳ３０３の否定判定ルートの処理を実行する。
【０１１４】
なお、図１２に例示したステップＳ３１３でプロセッサ２１が選択する間引きパターンは、上述した評価処理の開始時点で間引きパターン保持部３４に保持されていればよい。したがって、例えば、図１１に例示したステップＳ３０１に先立って、プロセッサ２１が、映像検出装置１１０の操作者からの指示に基づいて、新たな間引きパターンを追加する処理を実行することもできる。
【０１１５】
また、図１２に例示したステップＳ３１４でプロセッサ２１が間引きパターンに基づいて生成する調整映像Ｖｍの特徴集約情報の元になる基準映像Ｖｓｖの特徴集約情報は、上述した評価処理の開始時点で集約情報保持部３３ｓに保持されていればよい。したがって、例えば、図１１に例示したステップＳ３０１に先立って、プロセッサ２１が、映像検出装置１１０の操作者からの指示に基づいて、新たな基準映像Ｖｓｖを追加し、この基準映像Ｖｓｖに対応する特徴集約情報を作成する処理を実行することもできる。
【０１１６】
上述したように、図１０に例示したコンピュータ装置１０を用いて実現した映像検出装置１１０によれば、映像蓄積部３１に蓄積された映像の中から、基準映像Ｖｓｖに類似した事象の進展を表す映像を高い精度で漏れなく検出することができる。
【０１１７】
なお、本件開示の映像検出装置１１０を監視映像の記録を管理する監視映像管理システムに適用することもできる。
【０１１８】
図１３は、映像検出装置１１０を適用した監視映像管理システム１２０のハードウェア構成例を示している。なお、図１３に示した構成要素のうち、図１０に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。
【０１１９】
図１３に例示した監視映像管理システム１２０は、映像検出装置１１０と、光学ドライブ装置２６と光ディスク２７などの記録媒体とを含む。
【０１２０】
また、メモリ２２は、プロセッサ２１が後述する監視映像管理処理を実行するためのアプリケーションプログラムを格納している。監視映像管理処理は、例えば、上述した映像検出処理に含まれる２つの映像の類似性を評価する処理と、図１３に例示した監視カメラＣ１〜Ｃｍの監視映像を取得するための処理を含んでいる。なお、監視映像管理処理を実行するためのアプリケーションプログラムは、例えば、光ディスク２７などの記録媒体に記録して頒布することができる。そして、この光ディスク２７を光学ドライブ装置２６に装着して読み込み処理を行うことにより、監視映像管理処理を実行するためのアプリケーションプログラムを、メモリ２２およびハードディスク装置２３に格納させてもよい。また、インターネットなどのネットワークとＬＡＮインタフェース２８とを介して、監視映像管理処理を実行するためのアプリケーションプログラムをメモリ２２およびハードディスク装置２３に読み込ませることもできる。
【０１２１】
図１４は、監視映像管理処理のフローチャートの一例を示している。なお、図１４に示すステップのうち、図１１例示したステップと同等の処理を示すものについては、同一の符号を付して示し、その説明は省略する。
【０１２２】
図１４に例示したステップＳ３３１〜ステップＳ３３６およびステップＳ３３９の各処理は、上述した監視映像管理処理のためのアプリケーションプログラムに含まれる、監視カメラＣ１〜Ｃｍの監視映像を取得するための処理の一例である。また、図１４に例示した監視映像管理処理のフローチャートは、図１１に例示したステップＳ３０４の処理に代えて、ステップＳ３３８の処理を含んでいる。なお、プロセッサ２１は、図１４に例示した各ステップの処理を、例えば、監視カメラＣ１〜Ｃｍによって得られる監視映像ごとに、並列に実行してもよい。以下では、任意の監視カメラＣａによって得られる監視映像を管理する処理を説明する。
【０１２３】
ステップＳ３３１において、プロセッサ２１は、ＬＡＮ３０およびバスを介して監視カメラＣａによって得られる監視映像を監視することにより、監視映像に含まれる画像の変化を検出する。プロセッサ２１は、例えば、監視映像に含まれる各画像を時系列に従って比較することにより、画像の変化を検出してもよい。そして、プロセッサ２１は、ステップＳ３３１の検出結果に基づいて、監視カメラＣａの視野内に何らかの動きがあったか否かを判定する（ステップＳ３３２）。
【０１２４】
例えば、複数枚の画像にわたって画像の変化を検出したときに、プロセッサ２１は、監視カメラＣａの視野内に何らかの動きがあったと判断してもよい(ステップＳ３３２の肯定判定)。一方、ステップＳ３３２の否定判定の場合に、プロセッサ２１は、ステップＳ３３１の処理に戻り、新たに監視カメラＣａから得られる監視映像を監視する処理を続行する。
【０１２５】
上述したステップＳ３３２の肯定判定の場合に、プロセッサ２１は、以降に監視カメラＣａから得られる監視映像を、ハードディスク装置２３内に設けた映像蓄積部３１に蓄積する処理を開始する(ステップＳ３３３)。
【０１２６】
その後、プロセッサ２１は、監視カメラＣａから得られる監視映像を映像蓄積部３１に蓄積する処理を続けつつ、上述したステップＳ３３１と同様にして、監視映像に含まれる画像の変化を検出する(ステップＳ３３４)。そして、ステップＳ３３２と同様に、プロセッサ２１は、ステップＳ３３４の検出結果に基づいて、監視カメラＣａの視野内に何らかの動きが静止したか否かを判定する(ステップＳ３３５)。
【０１２７】
ステップＳ３３４の処理により、画像に変化が検出されている限りは、プロセッサ２１は、ステップＳ３３５の否定判定ルートに従って、ステップＳ３３４の処理に戻る処理を繰り返す。
【０１２８】
その後、ステップＳ３３４において、複数枚の画像にわたって画像の変化を検出しない旨の検出結果が得られたときに、プロセッサ２１は、監視カメラＣａの視野内の動きが静止したと判断してもよい(ステップＳ３３５の肯定判定)。この場合に、プロセッサ２１は、映像蓄積部３１への監視映像の蓄積を停止する(ステップＳ３３６)。そして、プロセッサ２１は、上述したようにして、映像蓄積部３１に蓄積された監視映像を評価対象の蓄積映像Ｖｅｖとして、ステップＳ３０２の基準映像Ｖｓｖと評価対象の蓄積映像Ｖｅｖとの類似性を評価する処理を実行する。
【０１２９】
このステップＳ３０２の処理によって、基準映像Ｖｓｖと映像蓄積部３１に蓄積された監視映像とが類似している旨の評価結果が得られた場合に(ステップＳ３０３の肯定判定)、プロセッサ２１は、ステップＳ３３８の処理に進む。そして、ステップＳ３３８において、プロセッサ２１は、当該監視映像を、光学ドライブ装置２６を介して光ディスク２７に記録する処理を実行する。その後、プロセッサ２１は、ステップＳ３３９の処理に進む。
【０１３０】
一方、ステップＳ３０３の否定判定ルートにおいて、プロセッサ２１は、ステップＳ３３８の処理を行うことなく、ステップＳ３３９の処理に進む。このステップＳ３３９において、プロセッサ２１は、監視カメラＣａによる監視を継続するか否かを判定する。例えば、プロセッサ２１は、入力装置２５を介して、監視映像管理システム１２０の操作者から監視処理の停止が指示されない限り、このステップＳ３３９の肯定判定ルートに従って、ステップＳ３３１の処理に戻る。そして、新たに得られる監視映像について、ステップＳ３０２，Ｓ３０３を含む上述したステップＳ３３１〜ステップＳ３３９の処理を繰り返す。
【０１３１】
その後、監視映像管理システム１２０の操作者が、入力装置２５を介して監視処理の停止を指示したときに、プロセッサ２１は、ステップＳ３３９の否定判定ルートに従って、監視映像管理処理を終了する。
【０１３２】
このような処理をプロセッサ２１が実行することにより、監視カメラＣａで得られた監視映像のうち、基準映像Ｖｓｖと類似した事象の進展を表している期間の監視映像のみを、光ディスク２７などの記録媒体に記録することができる。例えば、監視カメラごとに、当該監視カメラの視野内で起こりうる事象のうち注目すべき事象の進展を表す基準映像Ｖｓｖを用意することにより、その事象に類似した事象の進展を捉えた監視映像のみを書換不可の記録媒体に記録することができる。このように、本件開示の監視映像管理システム１２０によれば、例えば、工場やオフィスなどへの侵入過程を表す映像などを高い精度で検出し、検出した映像を記録することができるので、監視映像の効率的な管理を実現することができる。
【０１３３】
なお、本件開示の監視映像管理装置１２０は、基準映像Ｖｓｖの時間的な長さＴに基づいて、評価対象とする監視映像を制限することも可能である。
【０１３４】
図１５は、監視映像管理処理のフローチャートの別例を示している。なお、図１５に示すステップのうち、図１４例示したステップと同等の処理を示すものについては、同一の符号を付して示し、その説明は省略する。
【０１３５】
図１５に例示したフローチャートにおいて、プロセッサ２１は、ステップＳ３３５の処理に先立って、映像蓄積部３１に蓄積された監視映像の時間的な長さが、評価対象の蓄積映像Ｖｅｖの時間的な長さの上限以下であるか否かを判定する(ステップＳ３４１)。評価対象の蓄積映像Ｖｅｖの時間的な長さの上限は、例えば、基準映像Ｖｓｖの時間的な長さＴに基づいて、予め決定しておくことができる。
【０１３６】
映像蓄積部３１に蓄積された監視映像の時間的な長さが、評価対象の蓄積映像Ｖｅｖの時間的な長さの上限以下である場合に(ステップＳ３４１の肯定判定)、プロセッサ２１は、ステップＳ３３５の処理に進む。一方、ステップＳ３４１の否定判定の場合に、プロセッサ２１は、監視映像の画像に変化があるか否かにかかわらず、ステップＳ３３６の処理に進み、監視映像を映像蓄積部３１に蓄積する処理を停止する。
【０１３７】
このように、プロセッサ２１が、ステップＳ３４１の否定に応じて、監視映像の映像蓄積部３１への蓄積を一旦停止させることにより、ステップＳ３０２の処理で基準映像Ｖｓｖとの類似性を評価する対象の映像の長さに上述した上限を設定することができる。これにより、図１２に例示したフローチャートに従って、基準映像Ｖｓｖと評価対象の映像との類似性を評価する処理に要する時間の低減を図ることができる。なお、プロセッサ２１は、上述したようにして、監視映像の蓄積を一旦停止した以降の監視映像を、別の監視映像として映像蓄積部３１に蓄積してもよい。そして、プロセッサ２１が、この監視映像についても、同様にして、基準映像Ｖｓｖとの類似性を評価することにより、基準映像Ｖｓｖに類似した事象の進展を表す監視映像を漏れなく検出し、記録するという目的を果たすことができる。
【０１３８】
また、図１５に例示したフローチャートにおいて、プロセッサ２１は、ステップＳ３０２の処理に先立って、映像蓄積部３１に蓄積された監視映像の時間的な長さが、評価対象の蓄積映像Ｖｅｖの時間的な長さの下限以上であるか否かを判定する(ステップＳ３４２)。評価対象の蓄積映像Ｖｅｖの時間的な長さの下限は、例えば、基準映像Ｖｓｖの時間的な長さＴに基づいて、予め決定しておくことができる。
【０１３９】
映像蓄積部３１に蓄積された監視映像の時間的な長さが、評価対象の蓄積映像Ｖｅｖの時間的な長さの下限以上である場合に(ステップＳ３４２の肯定判定)、プロセッサ２１は、ステップＳ３０２の処理に進む。一方、映像蓄積部３１に蓄積された監視映像の時間的な長さが、上述した下限よりも短い場合に(ステップＳ３４２の否定判定)、プロセッサ２１は、当該監視映像を、ステップＳ３０２の処理による評価対象とせずに、ステップＳ３３９の処理に進んでもよい。
【０１４０】
このようにして、プロセッサ２１は、映像蓄積部３１に蓄積された監視映像が、基準映像Ｖｓｖに捉えられた事象の進展過程を表すにはあまりに短い場合に、当該監視映像をステップＳ３０２の処理による評価対象からはずしてもよい。これにより、基準映像Ｖｓｖに類似する映像として検出される可能性が極めて低い映像について、図１４に例示した評価処理を実行するために要する処理時間を低減することができる。
【０１４１】
また、本件開示の映像検出装置１１０を大量の映像の中から所望の事象の進展を表す映像を検索する映像検索システムに適用することもできる。
【０１４２】
図１６は、映像検出装置１１０を適用した映像検索システム１３０のハードウェア構成例を示している。なお、図１６に示した構成要素のうち、図１０に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。
【０１４３】
図１６に例示した映像検索システム１３０は、映像検出装置１１０と、表示装置２４と、入力装置２５とを含む。図１６に例示した映像検索システム１３０は、コンピュータ装置１０に含まれるバスおよび光学ドライブ装置２６を介して、光ディスク２７などの記録媒体に記録された映像にアクセス可能である。また、図１６に例示した映像検索システム１３０は、コンピュータ装置１０に含まれるＬＡＮインタフェース２８およびＬＡＮ３０を介して、映像ライブラリ３５に蓄積された映像にアクセス可能である。また、図１６に例示した映像検索システムは、コンピュータ装置１０に含まれるＬＡＮインタフェース２８およびＬＡＮ３０を介して、撮像装置３６で撮影された映像の入力を受けてもよい。
【０１４４】
また、メモリ２２は、プロセッサ２１が後述する映像検索処理を実行するためのアプリケーションプログラムを格納している。映像検索処理は、例えば、上述した映像検出処理に含まれる２つの映像の類似性を評価する処理と、図１６に例示した入力装置２５を介して入力される操作者の指示に応じて、検索処理を制御するための処理を含んでいる。なお、映像検索処理を実行するためのアプリケーションプログラムは、例えば、光ディスク２７などの記録媒体に記録して頒布することができる。そして、この光ディスク２７を光学ドライブ装置２６に装着して読み込み処理を行うことにより、映像検索処理を実行するためのアプリケーションプログラムを、メモリ２２およびハードディスク装置２３に格納させてもよい。また、インターネットなどのネットワークとＬＡＮインタフェース２８とを介して、映像検索処理を実行するためのアプリケーションプログラムをメモリ２２およびハードディスク装置２３に読み込ませることもできる。
【０１４５】
図１７は、映像検索処理のフローチャートの一例を示している。なお、図１７に示すステップのうち、図１１例示したステップと同等の処理を示すものについては、同一の符号を付して示し、その説明は省略する。
【０１４６】
図１７に例示したステップＳ３５１〜ステップＳ３５３の各処理は、上述した映像検索処理のためのアプリケーションプログラムに含まれる、検索処理を制御するための処理の一例である。また、図１７に例示した映像検索処理のフローチャートは、図１１に例示したステップＳ３０４の処理に代えて、ステップＳ３５４の処理を含んでいる。なお、図１４に例示した各ステップの処理は、プロセッサ２１によって実行される。
【０１４７】
まず、プロセッサ２１は、入力装置２５を介して入力された操作者からの指示に基づいて、所望の事象の進展を表す基準映像Ｖｓｖを入力する(ステップＳ３５１)。例えば、プロセッサ２１は、操作者からの指示に基づいて、ＬＡＮインタフェース２８およびＬＡＮ３０を介して、撮像装置３６による撮影で得られた映像を受け取ってもよい。このようにして受け取った映像を、プロセッサ２１は、ハードディスク装置２３に設けられた保持部１１１の基準映像保持部３２に保持してもよい。なお、操作者により、光ディスク２７に記録された映像の一つあるいは映像ライブラリ３５に蓄積された映像の一つが指定された場合に、プロセッサ２１は、指定された映像を基準映像Ｖｓｖとして受け取ってもよい。
【０１４８】
次に、プロセッサ２１は、ステップＳ３５１で入力した基準映像Ｖｓｖに対して、図１２に例示したステップＳ３１１と同様の処理を行うことにより、基準映像Ｖｓｖの特徴集約情報を作成する(ステップＳ３５２)。
【０１４９】
次いで、プロセッサ２１は、図１６に例示した映像ライブラリ３５や光学ドライブ２６に装着された光ディスク２７などに記録された映像の一つを、評価対象の映像として取得する(ステップＳ３５３)。プロセッサ２１は、例えば、操作者からの指示に基づいて、評価対象の映像の取得先を、映像ライブラリ３５あるいは光ディスク２７に限定してもよい。また、プロセッサ２１は、このようにして取得した映像を、ハードディスク装置２３に設けられた映像蓄積部３１に保持させてもよい。
【０１５０】
そして、プロセッサ２１は、上述したようにして、映像蓄積部３１に保持された映像を評価対象の映像として、ステップＳ３０２の基準映像Ｖｓｖと評価対象の映像との類似性を評価する処理を実行する。
【０１５１】
このステップＳ３０２の処理によって、基準映像Ｖｓｖと映像蓄積部３１に蓄積された映像とが類似している旨の評価結果が得られた場合に(ステップＳ３０３の肯定判定)、プロセッサ２１は、ステップＳ３５４の処理に進む。そして、ステップＳ３５４において、プロセッサ２１は、表示装置２４などを介して、映像検索システムの操作者に当該映像を検索結果として提示する処理を実行する。その後、プロセッサ２１は、ステップＳ３０５の処理に進む。
【０１５２】
一方、ステップＳ３０３の否定判定ルートにおいて、プロセッサ２１は、ステップＳ３５４の処理を行うことなく、ステップＳ３０５の処理に進む。このステップＳ３０５において、プロセッサ２１は、映像ライブラリ３５や光学ドライブ２６に装着された光ディスク２７などに記録された全ての映像について評価を完了したか否かを判定する。なお、上述したステップＳ３５３の処理で、操作者からの指示で評価対象の映像の取得先が限定されている場合に、プロセッサ２１は、指定された取得先に記録されている全ての映像について評価を完了したか否かを判定する。
【０１５３】
また評価されていない蓄積映像Ｖｅｖがある場合に(ステップＳ３０５の否定判定)、プロセッサ２１は、ステップＳ３５３の処理に戻り、新たな映像を評価対象として取得する処理を開始する。プロセッサ２１が、ステップＳ３５３〜ステップＳ３０５の処理を繰り返すことにより、映像ライブラリ３５などに記録された全ての映像についての評価処理が完了したときに(ステップＳ３０５の肯定判定)、プロセッサ２１は、映像検索処理を終了する。
【０１５４】
上述した処理をプロセッサ２１が実行することにより、映像ライブラリ３５などに記録された全ての映像の中から、基準映像Ｖｓｖによって表される事象と類似する事象の進展を表す映像を漏れなく高い精度で検索することができる。
【符号の説明】
【０１５５】
１０…コンピュータ装置；２１…プロセッサ；２２…メモリ；２３…ハードディスク装置；２４…表示装置；２５…入力装置；２６…光学ドライブ装置；２７…光ディスク；２８…ローカルエリアネットワーク(ＬＡＮ)インタフェース；３０…ローカルエリアネットワーク(ＬＡＮ)；３１…映像蓄積部；３２…基準映像保持部；３３ｓ，３３ｅ…集約情報保持部；３４…間引きパターン保持部；３５…映像ライブラリ；３６…撮像装置；Ｃ１〜Ｃｍ…監視カメラ；１０１…蓄積装置；１１０…映像検出装置；１１１…保持部；１１２…生成部；１１３…評価部；１１４…検出部；１１５…算出部；１１６…集計部；１１７…抽出部；１１８…差分算出部；１２０…監視映像管理システム；１３０…映像検索システム
【特許請求の範囲】
【請求項１】
所望の事象の進展を表す基準映像を保持する保持部と、
前記基準映像に基づいて、当該基準映像における前記事象の進展の速度を含む複数の速度で前記事象の進展を表す複数の調整映像を生成する生成部と、
蓄積装置に蓄積された各蓄積映像と、前記複数の調整映像のそれぞれとの類似度を評価する評価部と、
前記評価部で得られた評価結果に基づいて、前記複数の調整映像のいずれかに類似する前記蓄積映像を、前記基準映像に類似する映像として取り出す検出部と
を備えたことを特徴とする映像検出装置。
【請求項２】
請求項１に記載の映像検出装置において、
前記生成部は、前記基準映像に含まれる画像をそれぞれ異なる割合で間引くことにより、前記複数の調整映像を生成し、
前記評価部は、
前記各蓄積映像に含まれる各画像と、前記複数の調整映像それぞれにおいて時系列的に対応する画像との類似度をそれぞれ算出する算出部と、
前記複数の調整映像ごとに、前記算出部で得られた類似度を集計した集計値に基づいて、前記複数の調整映像と前記各蓄積映像との類似度を示す評価値をそれぞれ求める集計部とを有する
ことを特徴とする映像検出装置。
【請求項３】
請求項２に記載の映像検出装置において、
前記保持部は、前記基準映像に含まれる各画像を分割して得られる所定数のブロックのそれぞれから抽出された特徴を示す特徴情報を保持し、
前記生成部は、前記複数の調整映像ごとに、当該調整映像に含まれる各画像に対応して前記保持部に保持された特徴情報を含む情報を集約することにより、当該調整映像の特徴を表す特徴集約情報を生成し、
前記算出部は、
前記各蓄積映像に含まれる各画像を分割して得られる前記所定数のブロックそれぞれから抽出した特徴を示す特徴情報を集約することにより、前記各蓄積映像の特徴を表す特徴集約情報を生成する抽出部と、
前記各蓄積映像の特徴集約情報に含まれる各画像の前記ブロックごとの特徴情報と、前記各調整映像の特徴集約情報に含まれる前記時系列的に対応する画像の前記ブロックごとの特徴情報との差分に基づいて、前記各蓄積映像に含まれる各画像と、前記複数の調整映像それぞれにおいて時系列的に対応する画像との類似度をそれぞれ求める差分算出部とを有する
ことを特徴とする映像検出装置。
【請求項４】
所望の事象の進展を表す基準映像に基づいて、当該基準映像における前記事象の進展の速度を含む複数の速度で前記事象の進展を表す複数の調整映像を生成し、
蓄積装置に蓄積された各蓄積映像と、前記複数の調整映像のそれぞれとの類似度を評価し、
前記類似度を評価する処理による評価結果に基づいて、前記複数の調整映像のいずれかに類似する前記蓄積映像を、前記基準映像に類似する映像として取り出す
ことを特徴とする映像検出方法。
【請求項５】
所望の事象の進展を表す基準映像に基づいて、当該基準映像における前記事象の進展の速度を含む複数の速度で前記事象の進展を表す複数の調整映像を生成し、
蓄積装置に蓄積された各蓄積映像と、前記複数の調整映像のそれぞれとの類似度を評価し、
前記類似度を評価する処理による評価結果に基づいて、前記複数の調整映像のいずれかに類似する前記蓄積映像を、前記基準映像に類似する映像として取り出す
処理をコンピュータに実行させることを特徴とする映像検出プログラム。
【請求項１】
所望の事象の進展を表す基準映像を保持する保持部と、
前記基準映像に基づいて、当該基準映像における前記事象の進展の速度を含む複数の速度で前記事象の進展を表す複数の調整映像を生成する生成部と、
蓄積装置に蓄積された各蓄積映像と、前記複数の調整映像のそれぞれとの類似度を評価する評価部と、
前記評価部で得られた評価結果に基づいて、前記複数の調整映像のいずれかに類似する前記蓄積映像を、前記基準映像に類似する映像として取り出す検出部と
を備えたことを特徴とする映像検出装置。
【請求項２】
請求項１に記載の映像検出装置において、
前記生成部は、前記基準映像に含まれる画像をそれぞれ異なる割合で間引くことにより、前記複数の調整映像を生成し、
前記評価部は、
前記各蓄積映像に含まれる各画像と、前記複数の調整映像それぞれにおいて時系列的に対応する画像との類似度をそれぞれ算出する算出部と、
前記複数の調整映像ごとに、前記算出部で得られた類似度を集計した集計値に基づいて、前記複数の調整映像と前記各蓄積映像との類似度を示す評価値をそれぞれ求める集計部とを有する
ことを特徴とする映像検出装置。
【請求項３】
請求項２に記載の映像検出装置において、
前記保持部は、前記基準映像に含まれる各画像を分割して得られる所定数のブロックのそれぞれから抽出された特徴を示す特徴情報を保持し、
前記生成部は、前記複数の調整映像ごとに、当該調整映像に含まれる各画像に対応して前記保持部に保持された特徴情報を含む情報を集約することにより、当該調整映像の特徴を表す特徴集約情報を生成し、
前記算出部は、
前記各蓄積映像に含まれる各画像を分割して得られる前記所定数のブロックそれぞれから抽出した特徴を示す特徴情報を集約することにより、前記各蓄積映像の特徴を表す特徴集約情報を生成する抽出部と、
前記各蓄積映像の特徴集約情報に含まれる各画像の前記ブロックごとの特徴情報と、前記各調整映像の特徴集約情報に含まれる前記時系列的に対応する画像の前記ブロックごとの特徴情報との差分に基づいて、前記各蓄積映像に含まれる各画像と、前記複数の調整映像それぞれにおいて時系列的に対応する画像との類似度をそれぞれ求める差分算出部とを有する
ことを特徴とする映像検出装置。
【請求項４】
所望の事象の進展を表す基準映像に基づいて、当該基準映像における前記事象の進展の速度を含む複数の速度で前記事象の進展を表す複数の調整映像を生成し、
蓄積装置に蓄積された各蓄積映像と、前記複数の調整映像のそれぞれとの類似度を評価し、
前記類似度を評価する処理による評価結果に基づいて、前記複数の調整映像のいずれかに類似する前記蓄積映像を、前記基準映像に類似する映像として取り出す
ことを特徴とする映像検出方法。
【請求項５】
所望の事象の進展を表す基準映像に基づいて、当該基準映像における前記事象の進展の速度を含む複数の速度で前記事象の進展を表す複数の調整映像を生成し、
蓄積装置に蓄積された各蓄積映像と、前記複数の調整映像のそれぞれとの類似度を評価し、
前記類似度を評価する処理による評価結果に基づいて、前記複数の調整映像のいずれかに類似する前記蓄積映像を、前記基準映像に類似する映像として取り出す
処理をコンピュータに実行させることを特徴とする映像検出プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２０１３−９２８１９（Ｐ２０１３−９２８１９Ａ）
【公開日】平成２５年５月１６日（２０１３．５．１６）
【国際特許分類】
【出願番号】特願２０１１−２３２７２３（Ｐ２０１１−２３２７２３）
【出願日】平成２３年１０月２４日（２０１１．１０．２４）
【出願人】（０００２３７１５６）株式会社富士通アドバンストエンジニアリング (100)
【Ｆターム（参考）】
【公開日】平成２５年５月１６日（２０１３．５．１６）
【国際特許分類】
【出願日】平成２３年１０月２４日（２０１１．１０．２４）
【出願人】（０００２３７１５６）株式会社富士通アドバンストエンジニアリング (100)
【Ｆターム（参考）】
[ Back to top ]