映像検索装置及び映像検索方法
【課題】膨大な映像の中から所望の被写体の映像を容易に検出し得る映像検索装置及び方法を提案する。
【解決手段】外部から与えられる第１の映像情報に基づく映像内に存在する各被写体をそれぞれ抽出し、抽出した被写体の映像情報を記録媒体に記録すると共に、抽出した各被写体の特徴部位をそれぞれ抽出し、抽出した各被写体の特徴部位に関する情報である被写体ごとの特徴情報を、それぞれ記録媒体に記録された各被写体の映像情報と関連付けて記憶し、検索対象として指定された被写体の特徴情報に基づいて、記憶した各特徴情報の中から検索対象として指定された被写体に対応する特徴情報を検索するようにした。
【解決手段】外部から与えられる第１の映像情報に基づく映像内に存在する各被写体をそれぞれ抽出し、抽出した被写体の映像情報を記録媒体に記録すると共に、抽出した各被写体の特徴部位をそれぞれ抽出し、抽出した各被写体の特徴部位に関する情報である被写体ごとの特徴情報を、それぞれ記録媒体に記録された各被写体の映像情報と関連付けて記憶し、検索対象として指定された被写体の特徴情報に基づいて、記憶した各特徴情報の中から検索対象として指定された被写体に対応する特徴情報を検索するようにした。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像検索装置及び映像検索方法に関し、例えば映像監視システムに適用して好適なものである。
【背景技術】
【０００２】
オフィスビル、ホテル及びデパートなどの施設では古くから映像監視システムが導入されており、施設内の随所に監視カメラが設置されている。これら監視カメラの撮影映像は、集中管理室などにおいてリアルタイムで表示されるほか、ビデオテープ又はハードディスク装置などの記録媒体に記録されて一定期間保存される。そして、記録媒体に記録された撮影映像は、事件等が発生したときなどに状況検証のために利用されている。
【０００３】
ところで、通常、かかる施設には複数台の監視カメラが設置され、またこれら監視カメラによる撮影は昼夜を問わず常時行われる。このため、記録媒体に記録される撮影映像の量が膨大となり、かかる撮影映像の中から特定の人物が写っているシーンを検出しなければならない事態が発生した場合に、その作業に多大な時間及び労力を要するという問題があった。
【０００４】
かかる問題を解決するための１つの方法として、例えば特許文献１には、各々の被写体にＩＣタグ等の識別情報素子を所持させ、この識別情報素子から得られる識別情報と、記録媒体に記録するその別情報素子を所持した被写体の撮影映像とを関連付けておく方法が開示されている。
【特許文献１】特開２００７−３２９６２２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところが、かかる特許文献１に開示された方法は、各々の被写体に識別情報素子を所持させる必要があるため、例えばホテルやデパートなどの不特定多数の人間が出入りする施設には適用し難い問題があった。
【０００６】
本発明は以上の点を考慮してなされたもので、膨大な映像の中から所望の被写体の映像を容易に検出し得る映像検索装置及び方法を提案しようとするものである。
【課題を解決するための手段】
【０００７】
かかる課題を解決するため本発明においては、映像検索装置において、外部から与えられる第１の映像情報に基づく映像内に存在する各被写体をそれぞれ抽出し、抽出した前記被写体の映像情報を記録媒体に記録する被写体抽出部と、前記被写体抽出部により抽出された各前記被写体の特徴部位をそれぞれ抽出する特徴部位抽出部と、前記特徴部位抽出部により抽出された各前記被写体の特徴部位に関する情報である前記被写体ごとの特徴情報を、それぞれ前記記録媒体に記録された各前記被写体の映像情報と関連付けて記憶する記憶部と、検索対象として指定された被写体の特徴情報に基づいて、前記記憶部に記憶された各前記特徴情報の中から前記検索対象として指定された被写体に対応する特徴情報を検索する映像検索部とを備えることを特徴とする。
【０００８】
また本発明においては、映像検索方法において、外部から与えられる第１の映像情報に基づく映像内に存在する各被写体をそれぞれ抽出し、抽出した前記被写体の映像情報を記録媒体に記録すると共に、抽出した各前記被写体の特徴部位をそれぞれ抽出し、抽出した各前記被写体の特徴部位に関する情報である前記被写体ごとの特徴情報を、それぞれ前記記録媒体に記録された各前記被写体の映像情報と関連付けて記憶する第１のステップと、検索対象として指定された被写体の特徴情報に基づいて、記憶した各前記特徴情報の中から前記検索対象として指定された被写体に対応する特徴情報を検索する第２のステップとを備えることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、記録媒体に記録された複数の被写体の映像情報の中から所望の被写体の映像情報を検出することができ、かくして膨大な映像の中から所望の被写体の映像を容易に検出し得る映像検索装置及び方法を実現できる。
【発明を実施するための最良の形態】
【００１０】
以下図面について、本発明の一実施の形態を詳述する。
【００１１】
（１）第１の実施の形態
（１−１）本実施の形態による映像監視システムの構成
図１において、１は全体として本実施の形態による映像監視システムを示す。この映像監視システム１は、各被写体の特徴に関する情報（以下、これを特徴情報と呼ぶ）を撮影映像から画像処理により抽出して収集し、収集した各被写体の特徴情報に基づいて、記録媒体８に蓄積された映像の中からユーザにより指定された被写体の映像を検索し得るようになされている。
【００１２】
実際上、この映像監視システム１は、図２に示すように、同一の被写体２を多視点から撮影可能な状態に固定配置された複数のカメラ３Ａ〜３ｎから構成されるカメラ部３を備える。図２は、部屋４の四隅から中央に位置する被写体（例えば人物）２を撮影可能なように４台のカメラ３Ａ〜３Ｄを設置した例であり、矢印ａは被写体２の向きを示している。
【００１３】
そしてこれらカメラ３Ａ〜３ｎから出力される例えば図３（Ａ）〜（Ｄ）に示すような同一の被写体２の撮影映像の映像信号（以下、これをカメラ映像信号と呼ぶ）が、それぞれ図示しないケーブルを介して映像検索装置５内の映像入力部６に与えられる。
【００１４】
映像入力部６は、各カメラ３Ａ〜３ｎからそれぞれ与えられるカメラ映像信号に対してこれらカメラ映像信号間の同期をとるための同期処理などの所定の信号処理をそれぞれ施し、信号処理後の各カメラ映像信号をそれぞれ映像制御部７に送出する。
【００１５】
映像制御部７は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等を備えて構成され、通常モード時、映像入力部６から与えられる各カメラ映像信号に基づく撮影映像情報（以下、これをカメラ映像情報と呼ぶ）を、例えばハードディスク装置や半導体メモリなどから構成される記録媒体８に順次格納する。
【００１６】
記録媒体８に格納されたカメラ映像情報は、この後、被写体抽出部９により１フレーム分ずつ順次読み出される。そして被写体抽出部９は、読み出した１フレーム分のカメラ映像情報に基づくフレーム画像内に被写体２が存在するか否かを判定する。例えば被写体２を人物とした場合、背景差分法や肌色検出法などの従来手法により被写体２の有無を判定することができる。また被写体２を人物や車などの「動く物」とした場合には、フレーム画像間における画像の差分を抽出する動き検出処理などの従来手法により被写体２の有無を判定することができる。
【００１７】
被写体抽出部９は、かかる判定によりフレーム画像内に被写体２が存在すると判断した場合には、当該フレーム画像からその被写体２の映像部分（以下、これを被写体映像と呼ぶ）を抽出し、抽出した被写体映像の映像情報を特徴部位抽出部１０及び多視点映像生成部１１に送出する。また多視点映像生成部１１は、被写体抽出部９から与えられる被写体映像の映像情報を記録媒体８に順次格納する。
【００１８】
被写体抽出部９は、以上の処理を、記録媒体８に格納された各カメラ映像情報に対して１フレーム分ずつ繰り返し実行する。この結果、同一の被写体を同一のタイミングで多視点から撮影した図４（Ａ）〜（Ｄ）に示すような複数の被写体映像の映像情報が記録媒体８に順次蓄積される。ただし、以上の処理を被写体抽出部９が数〜数十フレームごとに行うようにしても良い。このようにすることによって、被写体抽出部９の負荷を軽減し、かつ記録媒体８に蓄積される被写体映像の映像情報の情報量を低減することができる。
【００１９】
このとき特徴部位抽出部１０は、被写体抽出部９から与えられる被写体映像の映像情報に基づいて、対応する被写体映像内の予め定められた特徴的な部位（以下、これを特徴部位と呼ぶ。）の映像部分を抽出する。例えば被写体が人物である場合、目、眉毛、鼻、口、耳、顔全体、装着している衣料品（服や帽子等）や装飾品（ネックレス、ピアス等）、バッグ、服に描かれた文字などが特徴部位に相当する。
【００２０】
そして特徴部位抽出部１０は、抽出した特徴部位の映像情報と、当該特徴部位を管理するための管理情報とを特徴情報として、その特徴部位を抽出した被写体映像の映像情報及び対応するカメラ映像情報とそれぞれ関連付けて、記録媒体８内の特徴情報記憶部８Ａに格納する。
【００２１】
一方、映像制御部７は、ユーザにより操作部１３が操作されて被写体検索モードが選択されると、そのときユーザにより選択された１台のカメラ３Ａ〜３ｎから与えられるカメラ映像信号（以下、これを選択カメラ映像信号と呼ぶ）を映像出力部１４を介してモニタ１５に与える。これによりこの選択カメラ映像信号に基づいて、図６（Ａ）に示すようなカメラ映像画面１６がモニタ１５に表示される。
【００２２】
このカメラ映像画面１６は、かかる選択カメラ映像信号に基づくカメラ映像上に、当該カメラ映像内に存在するいずれか一人の被写体を取り囲むように枠体１６Ａが表示された画面である。このカメラ映像画面１６では、操作部１３を操作することによって、かかる枠体１６Ａを当該カメラ映像画面１６上に存在する他の被写体を取り囲むように移動させることができる。
【００２３】
そして映像制御部７は、この後、ユーザにより操作部１３が操作されてそのとき枠体１６Ａで囲まれた被写体（以下、適宜、これを検索対象被写体と呼ぶ）の検索命令が入力されると、そのとき特徴部位抽出部９が抽出したその検索対象被写体の特徴部位の映像情報を特徴情報記憶部８Ａから読み出す。
【００２４】
また映像制御部７は、この特徴部位の映像情報に基づいて、それまでに特徴情報記憶部８Ａに蓄積された各被写体の特徴部位の映像情報の中から検索対象被写体のものと推測される特徴部位の映像情報を例えばパターンマッチング処理により検出し、その特徴部位の映像情報と関連付けられている被写体映像に基づいて多視点映像を生成すべき要求（以下、これを多視点映像生成要求と呼ぶ）を多視点映像生成部１１に送出する。
【００２５】
多視点映像生成部１１は、各カメラ３Ａ〜３ｎの設置位置や撮影方向などのカメラ３Ａ〜３ｎごとの管理情報（以下、これをカメラ情報と呼ぶ）を例えばハードディスク装置や半導体メモリなどから構成されるカメラ情報記憶部１２内に予め保持している。そして多視点映像生成部１１は、上述のように映像制御部７から多視点映像生成要求が与えられると、かかるカメラ情報記憶部１２に保持した各カメラ３Ａ〜３ｎのカメラ情報と、記録媒体８に格納されている検索対象被写体の被写体映像の映像情報とに基づいて、例えば図５（Ａ）及び（Ｂ）に示すような検索対象被写体の多視点映像を生成する。
【００２６】
この多視点映像は、２枚の被写体映像に基づいて、これら２枚の被写体映像の視点位置とは異なる視点位置から被写体を見たときの被写体の３次元モデルであり、例えば図４（Ａ）及び（Ｃ）にそれぞれ示す各被写体映像の映像情報に基づいて図５（Ａ）に示すような多視点映像が生成され、図４（Ａ）及び（Ｂ）にそれぞれ示す各被写体映像の映像情報に基づいて図５（Ｂ）に示すような多視点映像が生成される。なお多視点映像の視点位置は、後述のように操作部１３を操作することにより変えることができるが、生成初期時における視点位置は予め定められた所定位置であるものとする。
【００２７】
そして多視点映像生成部１１は、このようにして生成した検索対象被写体の多視点映像の映像情報を記録媒体８に格納する。
【００２８】
さらに映像制御部７は、記録媒体８に格納されているカメラ映像情報のうち、検索対象被写体のものと推測される特徴部位の映像情報と関連付けられているカメラ映像情報に基づく記録映像の中から、検索対象被写体が映っている映像部分を検出すべき要求（以下、これを被写体映像部位検出要求と呼ぶ）を特徴部位抽出部１０に送出する。
【００２９】
特徴部位抽出部１０は、この被写体映像部位検出要求が与えられると、かかる検索対象被写体のものと推測される特徴部位の映像情報を用いたパターンマッチング処理により、当該特定部位の映像情報と関連付けられたカメラ映像情報に基づく記録映像中の当該検索対象被写体が写っている映像部分を検出し、検出結果を映像制御部７に通知する。
【００３０】
かくして映像制御部７は、かかる上述のようにして検出した検索対象被写体の被写体映像の映像情報と、この被写体映像に基づいて多視点映像生成部１１に生成させた多視点映像の映像情報と、対応するカメラ映像情報に基づく記録映像中の検索対象被写体が写っている映像部分のカメラ映像情報とを記録媒体８から読み出し、これらに基づいて図６（Ｂ）に示すような検索結果表示画面１７を生成する。そして映像制御部７は、この検索結果表示画面１７の画面信号を映像出力部１４を介してモニタ１５に送出することにより、この検索結果表示画面１７をモニタ１５に表示させる。
【００３１】
なお、図１６（Ｂ）において、１７Ａ及び１７Ｂは、各カメラ３Ａ〜３ｎから出力されるカメラ映像情報に基づき生成された検索対象被写体の被写体映像のうち、予め定められたカメラ３Ａ〜３ｎから出力されたカメラ映像情報に基づき生成された被写体映像であり、１７Ｃは、検索対象被写体の多視点映像である。この多視点映像は、操作部１３を操作することにより視点位置を自由に変えることができる。さらに１７Ｄは、記録媒体８から読み出したカメラ映像情報に基づき表示される検索対象被写体が写っている記録映像（動画像）である。
【００３２】
（１−２）特徴部位抽出処理に関する特徴部位抽出部の具体的な処理内容
ここで特徴部位抽出部１０は、上述のように被写体抽出部９から与えられる被写体映像の映像情報に基づいて当、該被写体映像から特徴部位を抽出するための手段として、図７に示すようなテンプレート画像テーブル２０を内部メモリ（図示せず）に保持している。
【００３３】
このテンプレート画像テーブル２０は、抽出対象となる特徴部位（目、眉毛、鼻、口、服に描かれた文字など）のテンプレート画像を管理するためのテーブルであり、これら抽出対象の特徴部位のテンプレート画像の画像情報がそれぞれ複数格納されている。
【００３４】
例えば、「目」、「眉毛」、「鼻」及び「口」という特徴部位については、それぞれ「目」、「鼻」及び「口」について複数の形状のテンプレート画像が格納され、「文字」という特徴部位については、それぞれアルファベット、数字、ひらがな及びカタカナなどの抽出対象となる各文字のテンプレート画像が格納される。
【００３５】
そして特徴部位抽出部１０は、被写体抽出部９から被写体映像の映像情報が与えられると、当該被写体映像に対してテンプレート画像テーブル２０に登録されている各テンプレート画像を用いたパターンマッチング処理を実行することにより、当該被写体映像から特徴部位を抽出する。
【００３６】
また特徴部位抽出部１０は、かかるパターンマッチング処理により特徴部位を検出したときには、その特徴部位の映像部分を被写体映像から抽出し、その映像部分の映像情報とその特徴部位に関する管理情報とを徴情報記憶部８Ａに保持された図８に示すような特徴情報管理テーブル２１に格納する。
【００３７】
この特徴情報管理テーブル２１は、被写体映像から抽出された特徴部位の映像情報及び当該特徴部位の管理情報を、その被写体映像の映像ファイル及び対応するカメラ映像情報の映像ファイルと関連付けて管理するためのテーブルであり、特徴部位映像情報欄２１Ａ、管理情報欄２１Ｂ、被写体映像ファイルＩＤ欄２１Ｃ及び撮影映像ファイルＩＤ欄２１Ｄから構成される。
【００３８】
そして特徴部位映像情報欄２１Ａには、特徴部位抽出部１０により被写体映像から抽出された特徴部位の映像情報が格納され、被写体映像ファイルＩＤ欄２１Ｃには、その被写体映像の映像情報が格納された映像ファイルのファイルＩＤが格納される。またカメラ映像ファイルＩＤ欄２１Ｄには、かかる被写体映像が抽出された記録映像の映像ファイルのファイルＩＤが格納される。
【００３９】
一方、特徴情報欄２１Ｂは、属性欄２１Ｅ、認識文字欄２１Ｆ及びタイムコード欄２１Ｇなどから構成される。そして属性欄２１Ｅには、対応する特徴部位の属性（目、鼻、口、文字等）が格納され、認識文字欄２１Ｆには、特徴部位の属性が文字である場合に当該特徴部位について認識した文字が格納される。さらにタイムコード欄２１Ｇには、対応する特徴部位を検出した被写体映像が抽出された元のフレーム画像のタイムコードが格納される。
【００４０】
図９は、以上のような特徴部位の抽出処理（以下、これを特徴部位抽出処理と呼ぶ）に関する特徴部位抽出部１０の具体的な処理内容を示す。特徴部位抽出部１０は、図示しない内部メモリに格納された制御プログラムに従って、被写体抽出部９から被写体映像の映像情報が与えられるごとにこの図９に示す特徴部位抽出処理を実行する。
【００４１】
すなわち特徴部位抽出部１０は、被写体抽出部９から被写体映像の映像情報が与えられるとこの特徴部位抽出処理を開始し、まず、テンプレート画像テーブル２０（図７）から１つのテンプレート画像を選択する（ＳＰ１）。
【００４２】
次いで特徴部位抽出部１０は、そのテンプレート画像をそのとき受信した被写体映像上でラスタ走査させながら、被写体映像上のテンプレート画像が重なった領域内の各画素の画素値と、テンプレート画像内の各画素の画素値とをそれぞれ比較する（ＳＰ２）。
【００４３】
そして特徴部位抽出部１０は、被写体映像に対する上述のようなラスタ走査が終了すると、被写体映像上でテンプレート画像の画素の画素値と一定数以上画素値が一致した領域が存在するか否かを判断する（ＳＰ３）。
【００４４】
特徴部位抽出部１０は、この判断において肯定結果を得ると、被写体映像のかかる領域の映像情報を、その管理情報共に特徴情報として、当該被写体映像の映像ファイルのファイルＩＤ及び対応する記録映像の映像ファイルのファイルＩＤと関連付けて特徴情報記憶部８Ａ内の特徴情報管理テーブル２１に登録し（ＳＰ４）、この後ステップＳＰ７に進む。
【００４５】
これに対して特徴部位抽出部１０は、かかる判断において否定結果を得ると、テンプレート画像を拡大又は縮小済みであるか否かを判断する（ＳＰ５）。すなわち本実施の形態の場合、上述のようなパターンマッチング処理を、テンプレート画像を少しずつ拡大しながら複数回行い、同様にテンプレート画像を少しずつ縮小しながら複数回行う。このため特徴部位抽出部１０は、ステップＳＰ５の判断において否定結果を得ると、そのとき利用しているテンプレート画像を拡大又は縮小し（ＳＰ６）、この後ステップＳＰ２に戻る。
【００４６】
そして特徴部位抽出部１０は、以上のようなパターンマッチング処理をすべて終了することによりステップＳＰ５の判断において肯定結果を得ると、未だパターンマッチング処理を行なっていないテンプレート画像がテンプレート画像テーブル２０上に存在するか否かを判断する（ＳＰ７）。
【００４７】
特徴部位抽出部１０は、この判断において肯定結果を得ると、テンプレート画像をテンプレート画像テーブル２０に格納された他のテンプレート画像と交換した後（ＳＰ８）、ステップＳＰ２に戻る。かくして特徴部位抽出部１０は、この後、ステップＳＰ２以降の処理を上述と同様に実行する。
【００４８】
そして特徴部位抽出部１０は、やがてテンプレート画像テーブル２０に登録されているすべてのテンプレート画像について同様の処理を終えることによりステップＳＰ７において否定結果を得ると、この特徴部位抽出処理を終了する。
【００４９】
（１−３）多視点映像生成処理に関する多視点映像生成部の具体的な処理内容
次に、多視点映像生成部１１における多視点映像の生成処理（以下、これを多視点映像生成処理と呼ぶ）の具体的な処理内容について説明する。これに際して、まず、多視点映像生成部１１がカメラ情報記憶部１２に保持している各カメラ３Ａ〜３ｎのカメラ情報について説明する。
【００５０】
図１０は、多視点映像生成部１１がカメラ情報記憶部１２内に保持している各カメラ３Ａ〜３ｎのカメラ情報の具体的な内容を示している。この図１０からも明らかなように、各カメラ情報は、対応するカメラ３Ａ〜３ｎの位置情報、向き情報、画角情報及びズーム倍率情報から構成される。
【００５１】
位置情報は、各カメラ３Ａ〜３ｎが設置された場所を１つの空間とした場合の対応するカメラ３Ａ〜３ｎのワールド座標を表す情報であり、向き情報は、そのカメラ３Ａ〜３ｎの撮影方向（光軸方向）を表す情報である。図１０において、θn（ｎ＝１，２，３，……）はそのカメラ３Ａ〜３ｎの光軸が水平面となす煽り方向の角度を示し、φn（ｎ＝１，２，３，……）は当該カメラ３Ａ〜３ｎの光軸が水平面上の基準方向となす角度を示す。
【００５２】
また画角情報は、そのカメラ３Ａ〜３ｎの画角を表す情報である。図１０において、αn（ｎ＝１，２，３，……）はそのカメラ３Ａ〜３ｎの水平方向の画角を示し、βn（ｎ＝１，２，３，……）はそのカメラ３Ａ〜３ｎの垂直方向の画角を示す。さらにズーム倍率情報は、そのカメラ３Ａ〜３ｎのズーム倍率を表す情報である。
【００５３】
これらのカメラ情報のうち、位置情報及び画角情報については、ユーザにより事前にカメラ情報記憶部１２に格納される。また向き情報については、各カメラ３Ａ〜３ｎをそれぞれ保持する各保持機構（図示せず）から映像検索装置５に与えられる対応するカメラ３Ａ〜３ｎの向き情報に基づいて例えば映像制御部７などにより自動的に更新される。さらにズーム倍率情報は、各カメラ３Ａ〜３ｎから映像検索装置５に逐次通知される現在のズーム倍率に基づいて自動的に更新される。
【００５４】
次に、図１１を用いて、同一の被写体３０を撮影する２台のカメラ３１Ａ，３１Ｂの各撮影映像から抽出した被写体映像３２Ａ，２３Ｂの映像情報に基づいて、任意の視点位置から見た被写体３０の多視点映像３３を生成する方法について説明する。
【００５５】
この場合、まず、各被写体映像３２Ａ，３２Ｂ内における被写体３０上の対応点を検出する。対応点は、一方のカメラ３１Ａの撮影により得られた被写体映像３２Ａ内の特徴部位と同じ特徴部位を、他方のカメラ３１Ｂの撮影により得られた被写体映像３２Ｂ内で検出することにより検出することができる。具体的には、基準とする一方の被写体映像３２Ａ内の例えば「左目」の位置と、他方の被写体映像３１Ｂ内の「左目」の位置とを対応点とする。これと同様にして、各被写体映像３２Ａ，３２Ｂ内における被写体３０上の対応点を幾つか検出する。
【００５６】
続いて、これら検出した幾つかの対応点の座標に基づいて、次式
【数１】
を満たす平面射影行列Ｈを決定する。
【００５７】
次いで、この平面射影行列Ｈを用いて、基準とする一方の被写体映像３２Ａ内の全画素に対して行列変換を行う。これにより一方の被写体映像３２Ａ内の各画素とそれぞれ対応する他方の被写体映像３２Ｂ内の画素を検出することができる。
【００５８】
この後、一方のカメラ３１Ａからそのとき生成しようとする多視点映像３３の視点位置までの距離と、他方のカメラ３１Ｂから当該視点位置までの距離との比を求める。この比は、カメラ情報記憶部１２に格納されている各カメラ３Ａ〜３ｎの位置情報に基づいて求めることができる。
【００５９】
ここで、仮に一方のカメラ３１Ａから多視点映像３３の視点位置までの距離と、他方のカメラ３１Ｂから当該視点位置までの距離との比をγ：（１−γ）（ただし０≦γ≦）とし、一方の被写体映像３２Ａ上の１つの画素の位置ベクトルＰ1、当該画素と対応する他方の被写体映像３２Ｂ上の画素（以下、座標をとする）の位置ベクトルをＰ2とすると、かかる視点位置における多視点映像３３上での対応点の座標の位置ベクトルは、次式
【数２】
によって算出することができる。
【００６０】
よって、かかる比が求められたら、この後、一方の被写体映像３２Ａ上の１つの画素の座標（ａ1，ｂ1）と、他方の被写体映像３２Ｂ上のこれに対応する画素の座標（ａ2，ｂ2）とに基づいて、（２）式によりかかる視点位置における多視点映像３３上の対応点の座標（ａ12，ｂ12）を求める。
【００６１】
この後、かかる一方の被写体映像３２Ａ上の座標（ａ1，ｂ1）における画素値と、他方の被写体映像３２Ｂ上の座標（ａ2，ｂ2）における画素値とを用いて、多視点映像３３上のかかる対応点の画素の画素値を線形補間法により求める。
【００６２】
以上の処理を一方の被写体映像３２Ａ上のすべての画素について実行する。これにより同一の被写体３０を撮影する２台のカメラ３１Ａ，３１Ｂの各撮影映像から抽出した被写体映像３２Ａ，３２Ｂの映像情報に基づいて、任意の視点位置の多視点映像３３を得ることができる。
【００６３】
以上の原理に基づいて、多視点映像生成部１１は、図示しない内部メモリに格納された制御プログラムに従って図１２に示す多視点映像生成処理を実行することにより、検索対象被写体の多視点映像を生成する。
【００６４】
実際上、多視点映像生成部１１は、映像制御部７から上述の多視点映像生成要求が与えられると、この図１２に示す多視点映像生成処理を開始し、まず、多視点映像を生成するために利用する２枚の被写体映像として、カメラ情報記憶部１２に格納されている各カメラ３Ａ〜３ｎのカメラ情報のうち、デフォルトの視点位置に最も近い位置に位置する２台のカメラ３Ａ〜３ｎからそれぞれ与えられたカメラ映像信号に基づく被写体映像を選択する（ＳＰ１０）。
【００６５】
続いて多視点映像生成部１１は、図１１について説明した方法により、これら２枚の被写体映像上の対応点を複数個所分それぞれ検出し（ＳＰ１１）、この検出結果に基づいてデフォルトの視点位置から見た被写体の多視点映像を生成する（ＳＰ１２）。そして多視点映像生成部１１は、この後、この多視点映像生成処理を終了する。
【００６６】
なお映像制御部７は、この後、図６（Ｂ）について上述した検索結果表示画面１７に表示された多視点映像１７Ｃの視点位置を変更すべき旨の操作入力がユーザから与えられると、ユーザが指定した位置を視点位置とする多視点映像の生成要求（多視点映像生成要求）を多視点映像生成部１１に与える。
【００６７】
そして多視点映像生成部１１は、この多視点映像生成要求が与えられたときも上述と同様にして多視点映像を生成する。この場合における多視点映像生成処理の内容は、ステップＳＰ１０において、ユーザにより指定された視点位置に最も近い位置に位置する２台のカメラ３Ａ〜３ｎからそれぞれ与えられたカメラ映像信号に基づく被写体映像を選択する点を除いて上述と同様である。
【００６８】
（１−４）被写体検索処理に関する映像制御部の具体的な処理内容
一方、映像制御部７は、ユーザにより操作部１３が操作されて被写体検索モードが選択された場合、図示しない内部メモリに格納された制御プログラムに基づいて図１３に示す被写体検索処理を実行する。
【００６９】
すなわち、映像制御部７は、被写体検索モードが選択されると、ユーザにより指定されたカメラ３Ａ〜３ｎから与えられる映像信号（選択カメラ映像信号）を上述の映像出力部１４を介してモニタ１５に送出することにより、この選択カメラ映像信号に基づく図６（Ａ）について上述したカメラ映像画面１６をモニタ１５に表示させる（ＳＰ２０）。
【００７０】
また映像制御部７は、これと併せて、かかる選択カメラ映像信号に基づくカメラ映像内に被写体を検出したか否かを被写体抽出部９に定期的に問い合わせながら、被写体抽出部９がカメラ映像内の被写体を検出するのを待ち受ける（ＳＰ２１）。
【００７１】
このとき被写体抽出部９は、通常モード時と同様の処理を行っており、選択カメラ映像信号に基づくカメラ映像内に少なくとも１つの被写体を検出した場合には、その旨を映像制御部７に通知すると共に、この後、かかる選択カメラ映像信号に基づくカメラ映像の各フレーム画像内にそれぞれ存在する各被写体の位置を映像制御部７に逐次報告する。
【００７２】
かくして映像制御部７は、被写体抽出部９から被写体を検出した旨の通知を受信すると、この後被写体抽出部９から逐次与えられる各被写体の位置情報に基づき生成した枠体画像信号を選択カメラ映像信号に重畳する（ＳＰ２２）。これにより、かかる選択カメラ映像信号に基づくカメラ映像内に存在する１つの被写体を取り囲むように枠体１６Ａ（図６（Ａ））が表示される。
【００７３】
この後、映像制御部７は、ユーザ操作に応じて枠体１６Ａの位置を他の被写体を取り囲む位置に移動させながら、検索対象の被写体（検索対象被写体）が選択されるのを待ち受ける（ＳＰ２３）。そして映像制御部７は、やがてユーザにより検索対象被写体が選択されると、このとき特徴部位検出部１０により検出されたその検索対象被写体の特徴部位の映像情報を特徴情報記憶部８Ａから読み出す（ＳＰ２４）。
【００７４】
続いて映像制御部７は、読み出した検索対象被写体の特徴部位の映像情報に基づいて、特徴情報記憶部８Ａに蓄積されている他の特徴部位の映像情報のうち、検索対象被写体のものと推測される特徴部位の映像情報をパターンマッチ処理により検索する（ＳＰ２５）。
【００７５】
次いで映像制御部７は、かかる検索処理により検索対象被写体のものと推測される特徴部位の映像情報を検出できたか否かを判断する（ＳＰ２６）。そして映像制御部７は、この判断において否定結果を得ると、かかる検索対象被写体の被写体映像等を検出できなかった旨のメッセージをモニタ１５に表示させ（ＳＰ２７）、この後この被写体検索処理を終了する。
【００７６】
これに対して映像制御部７は、ステップＳＰ２６の判断において肯定結果を得ると、そのとき検出した特徴部位の映像情報と関連付けられている被写体映像の映像ファイルのファイルＩＤと、当該特徴部位の映像情報と関連付けられている記録映像の映像ファイルのファイルＩＤとを特徴情報記憶部８Ａに格納されている特徴情報管理テーブル２１（図８）から読み出す（ＳＰ２８）。
【００７７】
また映像制御部７は、ステップＳＰ２８において取得したファイルＩＤにより特定される被写体映像を用いて多視点映像を生成すべき旨の多視点映像生成要求を多視点映像生成部１１に送出すると共に（ＳＰ２９）、ステップＳＰ２８において取得したファイルＩＤにより特定される記録映像の映像内で、検索対象被写体が写っている映像部分を検出すべき旨の被写体映像部位検出要求を特徴部位抽出部１０に送出する（ＳＰ３０）。
【００７８】
そして映像制御部７は、この後、かかる被写体映像の映像情報と、当該被写体映像に基づいて多視点映像生成部１１により生成された多視点映像の映像情報と、特徴部位抽出部１０により検出された対応する記録映像中の検索対象被写体が写っている映像部分のカメラ映像情報とを記録媒体８から読み出す（ＳＰ３１）。
【００７９】
また映像制御部７は、記録媒体８から読み出したこれら被写体映像及び多視点映像の各映像情報と、カメラ映像情報とに基づいて図６（Ｂ）について上述した検索結果表示画面１７の画面信号を生成し、この画面信号を映像出力部１４を介してモニタ１５に与えることにより、当該検索結果表示画面１７をモニタ１５に表示させる（ＳＰ３２）。そして映像制御部７は、この後この被写体検索処理を終了する。
【００８０】
（１−５）本実施の形態の効果
以上のように、本実施の形態による映像監視システム１では、各カメラ３Ａ〜３ｎから与えられるカメラ映像信号に基づいて、これらカメラ映像信号に基づくカメラ映像内に存在する各被写体の特徴部分の映像情報及びその管理情報を取得すると共に、これらをその被写体の特徴情報として当該被写体の被写体映像及び多視点映像と関連付けて特徴情報記憶部８Ａに蓄積する。
【００８１】
また映像監視システム１では、この後いずれかのカメラ３Ａ〜３ｎからのカメラ映像信号に基づくカメラ映像内に存在する被写体（検索対象被写体）が指定されたときに、その被写体の特徴部位の特徴情報に基づいて、特徴情報記憶部８Ａに蓄積されている各特徴情報の中から検索対象被写体に対応する特徴情報を検索し、検索結果に基づいて、その被写体の被写体映像及び多視点映像の各映像情報と、記録媒体８に格納されているカメラ映像のうちのその被写体が写っている映像部分の映像をモニタ１５に表示する。
【００８２】
従って、この映像監視システム１によれば、カメラ３Ａ〜３ｎの撮影映像から取得した各被写体の特徴情報に基づいてユーザにより指定された被写体の検索が行えるため、膨大な映像の中から所望の被写体の映像を容易に検出でき、また例えばホテルやデパートなどの不特定多数の人間が出入りする施設における映像監視システムとして実用上十分に適用することができる。
【００８３】
（２）第２の実施の形態
図１において、４０は全体として第２の実施の形態による映像監視システムを示す。この映像監視システム４０は、映像検索装置４１において、図６（Ａ）について上述したカメラ映像画面１６及び図６（Ｂ）について上述した検索結果表示画面１７が同じ１つの画面にまとめられて表示される点が第１の実施の形態による映像監視システム１と異なる。
【００８４】
すなわち、本実施の形態による映像監視システム４０の場合、ユーザ操作により被写体検索モードを選択すると、図１４に示すような検索画面４２がモニタ１５に表示される。
【００８５】
この検索画面４２では、ユーザにより指定されたカメラ３Ａ〜３ｎから与えられる映像信号（選択カメラ映像信号）に基づくカメラ映像がカメラ映像表示欄４２Ａに表示され、そのカメラ映像表示欄４２Ａに表示されたカメラ映像内に存在するすべての被写体の被写体映像が被写体一覧表示欄４２Ｂに一覧表示される。
【００８６】
そして検索画面４２では、ユーザが操作部１３を操作して被写体一覧表示欄４２Ｂに表示された被写体画像の中から検索対象の被写体（検索対象被写体）の被写体画像を選択することによって、その検索対象被写体の被写体映像、多視点映像及びその検索対象被写体が写っている記録映像の映像部分を基本映像表示欄４２Ｃ、多視点映像表示欄４２Ｄ及び記録映像表示欄４２Ｅにそれぞれ表示させることができる。
【００８７】
図１５は、このような検索画面４２の表示を含めた第２の実施の形態による被写体検索処理に関する映像制御部４３（図１）の具体的な処理内容を示している。映像制御部４３は、ユーザにより操作部１３が操作されて被写体検索モードが選択されると、図示しない内部メモリに格納された制御プログラムに基づいてこの図１５に示す被写体検索処理を実行する。
【００８８】
すなわち映像制御部４３は、被写体検索モードが選択されるとこの被写体検索処理を開始し、まず、所定の画面信号を映像出力部１４を介してモニタ１５に送出することにより、図１４について上述した検索画面４２をモニタ１５に表示させる（ＳＰ４０）。
【００８９】
なお、この段階における検索画面４２では、選択カメラ映像信号に基づくカメラ映像が検索画面４２のカメラ映像表示欄４２Ａに表示されるが、被写体一覧表示欄４２Ｂや、基本映像表示欄４２Ｃ、多視点映像表示欄４２Ｄ及び記録映像表示欄４２Ｅには対応する映像は表示されない。
【００９０】
続いて映像制御部４３は、選択カメラ映像信号に基づくカメラ映像内に被写体を検出したか否かを被写体抽出部９に定期的に問い合わせながら、被写体抽出部９がカメラ映像内の被写体を検出するのを待ち受ける（ＳＰ４１）。
【００９１】
そして映像制御部４３は、やがて被写体抽出部９から被写体を検出した旨の通知が与えられると、そのとき被写体抽出部９により生成されて記録媒体８に格納された、そのとき検出された各被写体の被写体映像の映像情報を記録媒体８から読み出し、当該映像情報に基づく被写体映像を被写体一覧表示欄４２Ｂ内に一覧表示する（ＳＰ４２）。
【００９２】
続いて映像制御部４３は、操作部１３が操作されて検索画面４２の被写体一覧表示欄４２Ｂに表示された被写体映像の中から検索対象とする被写体（検索対象被写体）の被写体映像が選択されるのを待ち受け（ＳＰ４３）、やがて検索対象被写体が選択されると、図１３について上述した第１の実施の形態による被写体検索処理のステップＳＰ２４〜ステップＳＰ３１と同様にステップＳＰ４４〜ステップＳＰ５１を処理する。
【００９３】
次いで映像制御部４３は、ステップＳＰ５１において記録媒体８から読み出した被写体映像の映像情報、多視点映像情報及びカメラ映像情報に基づく被写体映像、多視点映像及び記録映像をそれぞれ検索画面４２の基本映像表示欄４２Ｃ、多視点映像表示欄４２Ｄ及び記録映像表示欄４２Ｅにそれぞれ表示させ（ＳＰ５２）、この後この被写体検索処理を終了する。
【００９４】
以上のように本実施の形態による映像監視システム４０では、選択映像信号に基づくカメラ映像と、当該カメラ映像内の各被写体の被写体映像と、検索結果とが１つの検索画面４２内に表示されるため、第１の実施の形態による映像監視システム１と比較して、検索対象の視認性や、操作性を向上させることができる。
【００９５】
（３）第３の実施の形態
図１において、５０は全体として第３の実施の形態による映像監視システムを示す。この映像監視システム５０は、映像検索装置５１において、キーワードを用いて所望の被写体を検索し得るようになされた点が第１の実施の形態による映像監視システム１と異なる。
【００９６】
すなわち本実施の形態による映像監視システム５０の場合、被写体検索モードを選択すると、図１６に示すようなキーワード入力ダイアログ５２が表示される。そしてユーザが操作部１３を操作してこのキーワード入力ダイアログ５２のキーワード入力欄５２Ａに所望のキーワードを入力した後、検索ボタン５２Ｂを押下する操作を行なうことによって、そのキーワードに対応する被写体の検索を実行させることができる。この際使用するキーワードとしては、撮影日時や文字などが適用される。そしてこのときの検索結果が例えば図１７（Ａ）に示す検索画面５４としてモニタに表示される。
【００９７】
この検索画面５４では、そのときキーワード入力ダイアログ５２を用いてユーザが指定したキーワードがキーワード表示欄５４Ａに表示され、かかるキーワードに基づいて検出した各被写体の被写体映像が候補一覧表示欄５４Ｂに一覧表示される。
【００９８】
そして検索画面５４では、この後、ユーザが操作部１３を操作して候補一覧表示欄５４Ｂに表示された被写体画像の中から検索対象の被写体（検索対象被写体）の被写体画像を選択することによって、図１７（Ｂ）に示すように、その検索対象被写体の被写体映像、多視点映像及びその検索対象被写体が写っている記録映像の映像部分をそれぞれ検索画面５４内のそれまで空きスペースであった領域に表示させることができる。
【００９９】
図１８は、このような検索画面５４の表示を含めた第３の実施の形態による被写体検索処理に関する映像制御部５３の具体的な処理内容を示している。映像制御部５３は、ユーザにより操作部１３が操作されて被写体検索モードが選択されると、図示しない内部メモリに格納された制御プログラムに基づいてこの図１８に示す被写体検索処理を実行する。
【０１００】
すなわち映像制御部５４は、被写体検索モードが選択されるとこの被写体検索処理を開始し、まず、所定の画面信号を映像出力部１４を介してモニタ１５に送出することにより、図１６について上述したキーワード入力ダイアログ５１をモニタ１５に表示させる（ＳＰ６０）。
【０１０１】
続いて映像制御部５３は、かかるキーワード入力ダイアログ５２のキーワード入力欄５２Ａにキーワードが入力された後に検索ボタン５２Ｂが押下する操作が行なわれるのを待ち受け（ＳＰ６１）、やがてかかるキーワード入力欄５２Ａにキーワードが入力されて検索ボタン５２Ｂを押下する操作が入力されると、特徴情報管理テーブル２１（図８）上の対応するエントリを検索する（ＳＰ６２）。
【０１０２】
例えばキーワードが撮影日時であった場合、映像制御部５３は、特徴部位管理テーブル２１（図８）の各エントリのタイムコード欄２１Ｇにそれぞれ格納されたタイムコードをキーワードと順次比較し、当該タイムコードがキーワードと一致するすべてのエントリを検出する。また映像制御部５３は、例えばキーワードが文字であった場合、特徴情報管理テーブル２１において属性が「文字」である各エントリの認識結果欄２１Ｆにそれぞれ格納された文字とキーワードとを順次比較し、当該文字がキーワードと一致するすべてのエントリを検出する。
【０１０３】
そして映像制御部５３は、この検索により対応するエントリを検出すると、そのエントリの被写体映像ファイルＩＤ欄２１Ｃ（図８）に格納されているファイルＩＤを読み出し、そのファイルＩＤが付与された映像ファイルのファイル情報（被写体映像の映像情報）を記録媒体８から読み出す。また映像制御部５３は、このようにして記録媒体８から読み出したファイル情報に基づく被写体映像と、キーワード入力ダイアログ５２を介して入力されたキーワードとが表示された検索画面５４（図１７）を、モニタ１５に表示させる（ＳＰ６３）。
【０１０４】
この後、映像制御部５３は、かかる検索画面５４の候補一覧表示欄５４Ｂに表示された被写体映像の中から１つの被写体映像が選択されると、図１３について上述した第１の実施の形態による被写体検索処理のステップＳＰ２４〜ステップＳＰ３１と同様にステップＳＰ６５〜ステップＳＰ７２を処理することにより、ステップＳＰ６４において選択された被写体映像の被写体（検索対象被写体）の被写体映像及び多視点映像の各映像情報と、かかる被写体が写っている撮影映像の映像情報とを記録媒体８から読み出す。
【０１０５】
そして映像制御部５４は、ステップＳＰ７２において記録媒体８から読み出した被写体映像の映像情報、多視点映像の映像情報及び対応する記録映像のうちの検索対象被写体が写っている映像部分のカメラ映像情報に基づいて、検索対象被写体の被写体映像及び多視点映像と、記録媒体８に記録されたカメラ映像のうちの検索対象被写体が写っているカメラ映像とをそれぞれ検索画面５５上の所定位置にそれぞれ表示させ（ＳＰ７３）、この後この被写体検索処理を終了する。
【０１０６】
以上のように本実施の形態による映像監視システムでは、キーワードを用いて検索対象被写体を検索することができるため、撮影日時や被写体の特徴に基づいて所望する被写体の検索を行うことができ、その分、第１の実施の形態による映像監視システム１に比してより一層と使い勝手を向上させることができる。
【０１０７】
（４）第４の実施の形態
図１との対応部分に同一符号を付した図１９において、６０は全体として第４の実施の形態による映像監視システムを示す。この映像監視システム６０は、映像検索装置６１に映像情報通信部６２が設けられている点が第１の実施の形態による映像監視システム１と異なる。
【０１０８】
映像情報通信部６２は、外部データベース６３との間で通信を行うためのインタフェースであり、映像制御部６４がこの映像情報通信部６２を介して外部データベース６３との間で情報のやり取りを行い得るようになされている。
【０１０９】
外部データベース６３には、上述のような映像検索に関する種々の情報を格納することができる。
【０１１０】
例えば外部データベース６３に指名手配されている犯罪者の画像リストが格納されている場合、映像制御部６４は、映像情報通信部６２を介して外部データベース６３からかかる画像リストを読み出し、これを記録媒体８に記録する。また映像制御部６４は、被写体抽出部９を制御してこの記録媒体８に記録した画像リストに登録された各画像内から犯罪者の画像（以下、これを犯罪者画像と呼ぶ）を抽出させると共に、特徴部位抽出部１０を制御してこの犯罪者画像から特徴部位の特徴情報（特徴部位の映像情報及びその管理情報）を抽出及び収集させる。
【０１１１】
そして映像制御部６４は、このとき抽出した犯罪者画像の特徴部位の映像情報と、特徴情報記憶部８Ａに格納されている特徴情報管理テーブル２１（図８）の各エントリの映像情報とをパターンマッチング処理により比較し、一致するエントリが存在する場合にはその旨をモニタ１５に表示させる。
【０１１２】
以上のように本実施の形態による映像監視システム６０では、特徴情報記憶部８Ａに蓄積した各被写体の特徴情報と、外部データベース６３に格納されたデータとの双方を用いた検索や照合が可能となるため、第１の実施の形態による映像監視システム１と比べても使い勝手をより一層と向上させることができる。
【０１１３】
（５）他の実施の形態
なお上述の第１〜第４の実施の形態においては、映像監視システム１，４０，５０，６０を図１や図１９のように構成するようにした場合について述べたが、本発明はこれに限らず、この他種々の構成を広く適用することができる。
【０１１４】
また上述の第１〜第４の実施の形態においては、特徴情報記憶部８Ａを記録媒体８の一部として構成するようにした場合について述べたが、本発明はこれに限らず、特徴情報記憶部８Ａ及び記録媒体８を別体に構成するようにしても良い。
【０１１５】
さらに上述の第１〜第４の実施の形態においては、検索結果表示画面１７（図６（Ｂ））や検索画面４２，５４（図１４、図１７）において、検索結果として、検索対象被写体の被写体映像、多視点映像及び記録媒体８に記録されたカメラ映像のうちの検索対象被写体が写っている映像部分のすべてを表示するようにした場合について述べたが、本発明はこれに限らず、これら検索結果表示画面１７や検索画面４２，５４において、検索結果として、検索対象被写体の被写体映像、多視点映像及び記録媒体８に記録されたカメラ映像のうちの一部を表示するようにしても良い。
【０１１６】
さらに上述の第１〜第４の実施の形態においては、映像監視システム１，４０，５０，６０が各カメラ３Ａ〜３ｎに基づくカメラ映像情報をそのまま記録媒体８に保存するようにした場合について述べたが、本発明はこれに限らず、例えば特徴情報抽出部１０が、特徴情報記憶部８Ａに格納された各被写体の特徴情報に基づいて、図２０に示すように、記録媒体８に記録されたカメラ映像情報に基づく記録映像を被写体ごとの映像部分に分割したり、被写体が写っていない映像部分を削除するような処理を任意のタイミングで行うようにしても良い。このようにすることによって、検索結果示画面１７や検索画面４２，５４において、検索結果を表示する際の処理速度を向上させることができ、また記録媒体８に記録すべき映像情報の情報量を低減することができる。
【０１１７】
さらに上述の第１〜第４の実施の形態においては、多視点映像生成部１１がユーザにより検索対象の被写体が指定された後に多視点映像を生成するようにした場合について述べたが、本発明はこれに限らず、例えば被写体抽出部９から与えられる被写体映像の映像情報を記録媒体８に格納した後直ぐにこの映像情報を利用して多視点映像を生成するようにしても良く、多視点映像生成部１１が多視点映像を生成するタイミングとしては、この他種々のタイミングを適用することができる。
【０１１８】
さらに上述の第１〜第４の実施の形態においては、検索対象として指定された被写体（検出対象被写体）の特徴情報に基づいて、特徴情報記憶部１０に記憶された各特徴情報の中から検索対象被写体に対応する特徴情報を検索する映像検索部としての機能を映像制御部７，４３，５３，６４に搭載するようにした場合について述べたが、本発明はこれに限らず、かかる機能を有する機能ブロックを映像制御部７，４３，５３，６４とは別個に設けるようにしても良い。
【図面の簡単な説明】
【０１１９】
【図１】第１〜第３の実施の形態による映像監視システムの全体構成を示すブロック図である。
【図２】カメラの設置位置の一例を示す略線図である。
【図３】（Ａ）〜（Ｄ）は、図２の各カメラの撮影映像を示す略線図である。
【図４】（Ａ）〜（Ｄ）は、図３の各カメラの撮影映像に基づく被写体映像を示す略線図である。
【図５】（Ａ）〜（Ｂ）は、図４の被写体映像に基づく多視点映像の作成例を示す略線図である。
【図６】（Ａ）はカメラ映像画面、（Ｂ）は検索結果表示画面の構成例をそれぞれ示す略線図である。
【図７】テンプレート画像テーブルの説明に供する概念図である。
【図８】特徴情報管理テーブルの説明に供する概念図である。
【図９】特徴部位抽出処理の処理手順を示すフローチャートである。
【図１０】カメラ情報の構成例を示す図表である。
【図１１】多視点映像の生成方法の説明に供する概念図である。
【図１２】多視点映像生成処理の処理手順を示すフローチャートである。
【図１３】第１の実施の形態による被写体検索処理の処理手順を示すフローチャートである。
【図１４】第２の実施の形態による検索画面の構成を示す略線図である。
【図１５】第２の実施の形態による被写体検索処理の処理手順を示すフローチャートである。
【図１６】キーワード入力ダイアログの構成例を示す略線図である。
【図１７】第３の実施の形態による検索画面の構成を示す略線図である。
【図１８】第３の実施の形態による被写体検索処理の処理手順を示すフローチャートである。
【図１９】第４の実施の形態による映像監視システムの全体構成を示すブロック図である。
【図２０】他の実施の形態の説明に供する概念図である。
【符号の説明】
【０１２０】
１，４０，５０，６０……映像監視システム、２……被写体、３，３Ａ〜３ｎ……カメラ、５，４１，５１，６１……映像検索装置、７，４３，５３，６４……映像制御部、８……記録媒体、８Ａ……特徴情報記憶部、９……被写体抽出部、１０……特徴部位抽出部、１１……多視点映像生成部、１２……カメラ情報記憶部、１３……操作部、１５……モニタ、１６……カメラ映像画面、１７……検索結果表示画面、２０……テンプレート画像テーブル、２１……特徴情報管理テーブル、４２，５４……検索画面、５２……キーワード入力ダイアログ、６２……映像情報通信部、６３……外部データベース。
【技術分野】
【０００１】
本発明は、映像検索装置及び映像検索方法に関し、例えば映像監視システムに適用して好適なものである。
【背景技術】
【０００２】
オフィスビル、ホテル及びデパートなどの施設では古くから映像監視システムが導入されており、施設内の随所に監視カメラが設置されている。これら監視カメラの撮影映像は、集中管理室などにおいてリアルタイムで表示されるほか、ビデオテープ又はハードディスク装置などの記録媒体に記録されて一定期間保存される。そして、記録媒体に記録された撮影映像は、事件等が発生したときなどに状況検証のために利用されている。
【０００３】
ところで、通常、かかる施設には複数台の監視カメラが設置され、またこれら監視カメラによる撮影は昼夜を問わず常時行われる。このため、記録媒体に記録される撮影映像の量が膨大となり、かかる撮影映像の中から特定の人物が写っているシーンを検出しなければならない事態が発生した場合に、その作業に多大な時間及び労力を要するという問題があった。
【０００４】
かかる問題を解決するための１つの方法として、例えば特許文献１には、各々の被写体にＩＣタグ等の識別情報素子を所持させ、この識別情報素子から得られる識別情報と、記録媒体に記録するその別情報素子を所持した被写体の撮影映像とを関連付けておく方法が開示されている。
【特許文献１】特開２００７−３２９６２２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところが、かかる特許文献１に開示された方法は、各々の被写体に識別情報素子を所持させる必要があるため、例えばホテルやデパートなどの不特定多数の人間が出入りする施設には適用し難い問題があった。
【０００６】
本発明は以上の点を考慮してなされたもので、膨大な映像の中から所望の被写体の映像を容易に検出し得る映像検索装置及び方法を提案しようとするものである。
【課題を解決するための手段】
【０００７】
かかる課題を解決するため本発明においては、映像検索装置において、外部から与えられる第１の映像情報に基づく映像内に存在する各被写体をそれぞれ抽出し、抽出した前記被写体の映像情報を記録媒体に記録する被写体抽出部と、前記被写体抽出部により抽出された各前記被写体の特徴部位をそれぞれ抽出する特徴部位抽出部と、前記特徴部位抽出部により抽出された各前記被写体の特徴部位に関する情報である前記被写体ごとの特徴情報を、それぞれ前記記録媒体に記録された各前記被写体の映像情報と関連付けて記憶する記憶部と、検索対象として指定された被写体の特徴情報に基づいて、前記記憶部に記憶された各前記特徴情報の中から前記検索対象として指定された被写体に対応する特徴情報を検索する映像検索部とを備えることを特徴とする。
【０００８】
また本発明においては、映像検索方法において、外部から与えられる第１の映像情報に基づく映像内に存在する各被写体をそれぞれ抽出し、抽出した前記被写体の映像情報を記録媒体に記録すると共に、抽出した各前記被写体の特徴部位をそれぞれ抽出し、抽出した各前記被写体の特徴部位に関する情報である前記被写体ごとの特徴情報を、それぞれ前記記録媒体に記録された各前記被写体の映像情報と関連付けて記憶する第１のステップと、検索対象として指定された被写体の特徴情報に基づいて、記憶した各前記特徴情報の中から前記検索対象として指定された被写体に対応する特徴情報を検索する第２のステップとを備えることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、記録媒体に記録された複数の被写体の映像情報の中から所望の被写体の映像情報を検出することができ、かくして膨大な映像の中から所望の被写体の映像を容易に検出し得る映像検索装置及び方法を実現できる。
【発明を実施するための最良の形態】
【００１０】
以下図面について、本発明の一実施の形態を詳述する。
【００１１】
（１）第１の実施の形態
（１−１）本実施の形態による映像監視システムの構成
図１において、１は全体として本実施の形態による映像監視システムを示す。この映像監視システム１は、各被写体の特徴に関する情報（以下、これを特徴情報と呼ぶ）を撮影映像から画像処理により抽出して収集し、収集した各被写体の特徴情報に基づいて、記録媒体８に蓄積された映像の中からユーザにより指定された被写体の映像を検索し得るようになされている。
【００１２】
実際上、この映像監視システム１は、図２に示すように、同一の被写体２を多視点から撮影可能な状態に固定配置された複数のカメラ３Ａ〜３ｎから構成されるカメラ部３を備える。図２は、部屋４の四隅から中央に位置する被写体（例えば人物）２を撮影可能なように４台のカメラ３Ａ〜３Ｄを設置した例であり、矢印ａは被写体２の向きを示している。
【００１３】
そしてこれらカメラ３Ａ〜３ｎから出力される例えば図３（Ａ）〜（Ｄ）に示すような同一の被写体２の撮影映像の映像信号（以下、これをカメラ映像信号と呼ぶ）が、それぞれ図示しないケーブルを介して映像検索装置５内の映像入力部６に与えられる。
【００１４】
映像入力部６は、各カメラ３Ａ〜３ｎからそれぞれ与えられるカメラ映像信号に対してこれらカメラ映像信号間の同期をとるための同期処理などの所定の信号処理をそれぞれ施し、信号処理後の各カメラ映像信号をそれぞれ映像制御部７に送出する。
【００１５】
映像制御部７は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等を備えて構成され、通常モード時、映像入力部６から与えられる各カメラ映像信号に基づく撮影映像情報（以下、これをカメラ映像情報と呼ぶ）を、例えばハードディスク装置や半導体メモリなどから構成される記録媒体８に順次格納する。
【００１６】
記録媒体８に格納されたカメラ映像情報は、この後、被写体抽出部９により１フレーム分ずつ順次読み出される。そして被写体抽出部９は、読み出した１フレーム分のカメラ映像情報に基づくフレーム画像内に被写体２が存在するか否かを判定する。例えば被写体２を人物とした場合、背景差分法や肌色検出法などの従来手法により被写体２の有無を判定することができる。また被写体２を人物や車などの「動く物」とした場合には、フレーム画像間における画像の差分を抽出する動き検出処理などの従来手法により被写体２の有無を判定することができる。
【００１７】
被写体抽出部９は、かかる判定によりフレーム画像内に被写体２が存在すると判断した場合には、当該フレーム画像からその被写体２の映像部分（以下、これを被写体映像と呼ぶ）を抽出し、抽出した被写体映像の映像情報を特徴部位抽出部１０及び多視点映像生成部１１に送出する。また多視点映像生成部１１は、被写体抽出部９から与えられる被写体映像の映像情報を記録媒体８に順次格納する。
【００１８】
被写体抽出部９は、以上の処理を、記録媒体８に格納された各カメラ映像情報に対して１フレーム分ずつ繰り返し実行する。この結果、同一の被写体を同一のタイミングで多視点から撮影した図４（Ａ）〜（Ｄ）に示すような複数の被写体映像の映像情報が記録媒体８に順次蓄積される。ただし、以上の処理を被写体抽出部９が数〜数十フレームごとに行うようにしても良い。このようにすることによって、被写体抽出部９の負荷を軽減し、かつ記録媒体８に蓄積される被写体映像の映像情報の情報量を低減することができる。
【００１９】
このとき特徴部位抽出部１０は、被写体抽出部９から与えられる被写体映像の映像情報に基づいて、対応する被写体映像内の予め定められた特徴的な部位（以下、これを特徴部位と呼ぶ。）の映像部分を抽出する。例えば被写体が人物である場合、目、眉毛、鼻、口、耳、顔全体、装着している衣料品（服や帽子等）や装飾品（ネックレス、ピアス等）、バッグ、服に描かれた文字などが特徴部位に相当する。
【００２０】
そして特徴部位抽出部１０は、抽出した特徴部位の映像情報と、当該特徴部位を管理するための管理情報とを特徴情報として、その特徴部位を抽出した被写体映像の映像情報及び対応するカメラ映像情報とそれぞれ関連付けて、記録媒体８内の特徴情報記憶部８Ａに格納する。
【００２１】
一方、映像制御部７は、ユーザにより操作部１３が操作されて被写体検索モードが選択されると、そのときユーザにより選択された１台のカメラ３Ａ〜３ｎから与えられるカメラ映像信号（以下、これを選択カメラ映像信号と呼ぶ）を映像出力部１４を介してモニタ１５に与える。これによりこの選択カメラ映像信号に基づいて、図６（Ａ）に示すようなカメラ映像画面１６がモニタ１５に表示される。
【００２２】
このカメラ映像画面１６は、かかる選択カメラ映像信号に基づくカメラ映像上に、当該カメラ映像内に存在するいずれか一人の被写体を取り囲むように枠体１６Ａが表示された画面である。このカメラ映像画面１６では、操作部１３を操作することによって、かかる枠体１６Ａを当該カメラ映像画面１６上に存在する他の被写体を取り囲むように移動させることができる。
【００２３】
そして映像制御部７は、この後、ユーザにより操作部１３が操作されてそのとき枠体１６Ａで囲まれた被写体（以下、適宜、これを検索対象被写体と呼ぶ）の検索命令が入力されると、そのとき特徴部位抽出部９が抽出したその検索対象被写体の特徴部位の映像情報を特徴情報記憶部８Ａから読み出す。
【００２４】
また映像制御部７は、この特徴部位の映像情報に基づいて、それまでに特徴情報記憶部８Ａに蓄積された各被写体の特徴部位の映像情報の中から検索対象被写体のものと推測される特徴部位の映像情報を例えばパターンマッチング処理により検出し、その特徴部位の映像情報と関連付けられている被写体映像に基づいて多視点映像を生成すべき要求（以下、これを多視点映像生成要求と呼ぶ）を多視点映像生成部１１に送出する。
【００２５】
多視点映像生成部１１は、各カメラ３Ａ〜３ｎの設置位置や撮影方向などのカメラ３Ａ〜３ｎごとの管理情報（以下、これをカメラ情報と呼ぶ）を例えばハードディスク装置や半導体メモリなどから構成されるカメラ情報記憶部１２内に予め保持している。そして多視点映像生成部１１は、上述のように映像制御部７から多視点映像生成要求が与えられると、かかるカメラ情報記憶部１２に保持した各カメラ３Ａ〜３ｎのカメラ情報と、記録媒体８に格納されている検索対象被写体の被写体映像の映像情報とに基づいて、例えば図５（Ａ）及び（Ｂ）に示すような検索対象被写体の多視点映像を生成する。
【００２６】
この多視点映像は、２枚の被写体映像に基づいて、これら２枚の被写体映像の視点位置とは異なる視点位置から被写体を見たときの被写体の３次元モデルであり、例えば図４（Ａ）及び（Ｃ）にそれぞれ示す各被写体映像の映像情報に基づいて図５（Ａ）に示すような多視点映像が生成され、図４（Ａ）及び（Ｂ）にそれぞれ示す各被写体映像の映像情報に基づいて図５（Ｂ）に示すような多視点映像が生成される。なお多視点映像の視点位置は、後述のように操作部１３を操作することにより変えることができるが、生成初期時における視点位置は予め定められた所定位置であるものとする。
【００２７】
そして多視点映像生成部１１は、このようにして生成した検索対象被写体の多視点映像の映像情報を記録媒体８に格納する。
【００２８】
さらに映像制御部７は、記録媒体８に格納されているカメラ映像情報のうち、検索対象被写体のものと推測される特徴部位の映像情報と関連付けられているカメラ映像情報に基づく記録映像の中から、検索対象被写体が映っている映像部分を検出すべき要求（以下、これを被写体映像部位検出要求と呼ぶ）を特徴部位抽出部１０に送出する。
【００２９】
特徴部位抽出部１０は、この被写体映像部位検出要求が与えられると、かかる検索対象被写体のものと推測される特徴部位の映像情報を用いたパターンマッチング処理により、当該特定部位の映像情報と関連付けられたカメラ映像情報に基づく記録映像中の当該検索対象被写体が写っている映像部分を検出し、検出結果を映像制御部７に通知する。
【００３０】
かくして映像制御部７は、かかる上述のようにして検出した検索対象被写体の被写体映像の映像情報と、この被写体映像に基づいて多視点映像生成部１１に生成させた多視点映像の映像情報と、対応するカメラ映像情報に基づく記録映像中の検索対象被写体が写っている映像部分のカメラ映像情報とを記録媒体８から読み出し、これらに基づいて図６（Ｂ）に示すような検索結果表示画面１７を生成する。そして映像制御部７は、この検索結果表示画面１７の画面信号を映像出力部１４を介してモニタ１５に送出することにより、この検索結果表示画面１７をモニタ１５に表示させる。
【００３１】
なお、図１６（Ｂ）において、１７Ａ及び１７Ｂは、各カメラ３Ａ〜３ｎから出力されるカメラ映像情報に基づき生成された検索対象被写体の被写体映像のうち、予め定められたカメラ３Ａ〜３ｎから出力されたカメラ映像情報に基づき生成された被写体映像であり、１７Ｃは、検索対象被写体の多視点映像である。この多視点映像は、操作部１３を操作することにより視点位置を自由に変えることができる。さらに１７Ｄは、記録媒体８から読み出したカメラ映像情報に基づき表示される検索対象被写体が写っている記録映像（動画像）である。
【００３２】
（１−２）特徴部位抽出処理に関する特徴部位抽出部の具体的な処理内容
ここで特徴部位抽出部１０は、上述のように被写体抽出部９から与えられる被写体映像の映像情報に基づいて当、該被写体映像から特徴部位を抽出するための手段として、図７に示すようなテンプレート画像テーブル２０を内部メモリ（図示せず）に保持している。
【００３３】
このテンプレート画像テーブル２０は、抽出対象となる特徴部位（目、眉毛、鼻、口、服に描かれた文字など）のテンプレート画像を管理するためのテーブルであり、これら抽出対象の特徴部位のテンプレート画像の画像情報がそれぞれ複数格納されている。
【００３４】
例えば、「目」、「眉毛」、「鼻」及び「口」という特徴部位については、それぞれ「目」、「鼻」及び「口」について複数の形状のテンプレート画像が格納され、「文字」という特徴部位については、それぞれアルファベット、数字、ひらがな及びカタカナなどの抽出対象となる各文字のテンプレート画像が格納される。
【００３５】
そして特徴部位抽出部１０は、被写体抽出部９から被写体映像の映像情報が与えられると、当該被写体映像に対してテンプレート画像テーブル２０に登録されている各テンプレート画像を用いたパターンマッチング処理を実行することにより、当該被写体映像から特徴部位を抽出する。
【００３６】
また特徴部位抽出部１０は、かかるパターンマッチング処理により特徴部位を検出したときには、その特徴部位の映像部分を被写体映像から抽出し、その映像部分の映像情報とその特徴部位に関する管理情報とを徴情報記憶部８Ａに保持された図８に示すような特徴情報管理テーブル２１に格納する。
【００３７】
この特徴情報管理テーブル２１は、被写体映像から抽出された特徴部位の映像情報及び当該特徴部位の管理情報を、その被写体映像の映像ファイル及び対応するカメラ映像情報の映像ファイルと関連付けて管理するためのテーブルであり、特徴部位映像情報欄２１Ａ、管理情報欄２１Ｂ、被写体映像ファイルＩＤ欄２１Ｃ及び撮影映像ファイルＩＤ欄２１Ｄから構成される。
【００３８】
そして特徴部位映像情報欄２１Ａには、特徴部位抽出部１０により被写体映像から抽出された特徴部位の映像情報が格納され、被写体映像ファイルＩＤ欄２１Ｃには、その被写体映像の映像情報が格納された映像ファイルのファイルＩＤが格納される。またカメラ映像ファイルＩＤ欄２１Ｄには、かかる被写体映像が抽出された記録映像の映像ファイルのファイルＩＤが格納される。
【００３９】
一方、特徴情報欄２１Ｂは、属性欄２１Ｅ、認識文字欄２１Ｆ及びタイムコード欄２１Ｇなどから構成される。そして属性欄２１Ｅには、対応する特徴部位の属性（目、鼻、口、文字等）が格納され、認識文字欄２１Ｆには、特徴部位の属性が文字である場合に当該特徴部位について認識した文字が格納される。さらにタイムコード欄２１Ｇには、対応する特徴部位を検出した被写体映像が抽出された元のフレーム画像のタイムコードが格納される。
【００４０】
図９は、以上のような特徴部位の抽出処理（以下、これを特徴部位抽出処理と呼ぶ）に関する特徴部位抽出部１０の具体的な処理内容を示す。特徴部位抽出部１０は、図示しない内部メモリに格納された制御プログラムに従って、被写体抽出部９から被写体映像の映像情報が与えられるごとにこの図９に示す特徴部位抽出処理を実行する。
【００４１】
すなわち特徴部位抽出部１０は、被写体抽出部９から被写体映像の映像情報が与えられるとこの特徴部位抽出処理を開始し、まず、テンプレート画像テーブル２０（図７）から１つのテンプレート画像を選択する（ＳＰ１）。
【００４２】
次いで特徴部位抽出部１０は、そのテンプレート画像をそのとき受信した被写体映像上でラスタ走査させながら、被写体映像上のテンプレート画像が重なった領域内の各画素の画素値と、テンプレート画像内の各画素の画素値とをそれぞれ比較する（ＳＰ２）。
【００４３】
そして特徴部位抽出部１０は、被写体映像に対する上述のようなラスタ走査が終了すると、被写体映像上でテンプレート画像の画素の画素値と一定数以上画素値が一致した領域が存在するか否かを判断する（ＳＰ３）。
【００４４】
特徴部位抽出部１０は、この判断において肯定結果を得ると、被写体映像のかかる領域の映像情報を、その管理情報共に特徴情報として、当該被写体映像の映像ファイルのファイルＩＤ及び対応する記録映像の映像ファイルのファイルＩＤと関連付けて特徴情報記憶部８Ａ内の特徴情報管理テーブル２１に登録し（ＳＰ４）、この後ステップＳＰ７に進む。
【００４５】
これに対して特徴部位抽出部１０は、かかる判断において否定結果を得ると、テンプレート画像を拡大又は縮小済みであるか否かを判断する（ＳＰ５）。すなわち本実施の形態の場合、上述のようなパターンマッチング処理を、テンプレート画像を少しずつ拡大しながら複数回行い、同様にテンプレート画像を少しずつ縮小しながら複数回行う。このため特徴部位抽出部１０は、ステップＳＰ５の判断において否定結果を得ると、そのとき利用しているテンプレート画像を拡大又は縮小し（ＳＰ６）、この後ステップＳＰ２に戻る。
【００４６】
そして特徴部位抽出部１０は、以上のようなパターンマッチング処理をすべて終了することによりステップＳＰ５の判断において肯定結果を得ると、未だパターンマッチング処理を行なっていないテンプレート画像がテンプレート画像テーブル２０上に存在するか否かを判断する（ＳＰ７）。
【００４７】
特徴部位抽出部１０は、この判断において肯定結果を得ると、テンプレート画像をテンプレート画像テーブル２０に格納された他のテンプレート画像と交換した後（ＳＰ８）、ステップＳＰ２に戻る。かくして特徴部位抽出部１０は、この後、ステップＳＰ２以降の処理を上述と同様に実行する。
【００４８】
そして特徴部位抽出部１０は、やがてテンプレート画像テーブル２０に登録されているすべてのテンプレート画像について同様の処理を終えることによりステップＳＰ７において否定結果を得ると、この特徴部位抽出処理を終了する。
【００４９】
（１−３）多視点映像生成処理に関する多視点映像生成部の具体的な処理内容
次に、多視点映像生成部１１における多視点映像の生成処理（以下、これを多視点映像生成処理と呼ぶ）の具体的な処理内容について説明する。これに際して、まず、多視点映像生成部１１がカメラ情報記憶部１２に保持している各カメラ３Ａ〜３ｎのカメラ情報について説明する。
【００５０】
図１０は、多視点映像生成部１１がカメラ情報記憶部１２内に保持している各カメラ３Ａ〜３ｎのカメラ情報の具体的な内容を示している。この図１０からも明らかなように、各カメラ情報は、対応するカメラ３Ａ〜３ｎの位置情報、向き情報、画角情報及びズーム倍率情報から構成される。
【００５１】
位置情報は、各カメラ３Ａ〜３ｎが設置された場所を１つの空間とした場合の対応するカメラ３Ａ〜３ｎのワールド座標を表す情報であり、向き情報は、そのカメラ３Ａ〜３ｎの撮影方向（光軸方向）を表す情報である。図１０において、θn（ｎ＝１，２，３，……）はそのカメラ３Ａ〜３ｎの光軸が水平面となす煽り方向の角度を示し、φn（ｎ＝１，２，３，……）は当該カメラ３Ａ〜３ｎの光軸が水平面上の基準方向となす角度を示す。
【００５２】
また画角情報は、そのカメラ３Ａ〜３ｎの画角を表す情報である。図１０において、αn（ｎ＝１，２，３，……）はそのカメラ３Ａ〜３ｎの水平方向の画角を示し、βn（ｎ＝１，２，３，……）はそのカメラ３Ａ〜３ｎの垂直方向の画角を示す。さらにズーム倍率情報は、そのカメラ３Ａ〜３ｎのズーム倍率を表す情報である。
【００５３】
これらのカメラ情報のうち、位置情報及び画角情報については、ユーザにより事前にカメラ情報記憶部１２に格納される。また向き情報については、各カメラ３Ａ〜３ｎをそれぞれ保持する各保持機構（図示せず）から映像検索装置５に与えられる対応するカメラ３Ａ〜３ｎの向き情報に基づいて例えば映像制御部７などにより自動的に更新される。さらにズーム倍率情報は、各カメラ３Ａ〜３ｎから映像検索装置５に逐次通知される現在のズーム倍率に基づいて自動的に更新される。
【００５４】
次に、図１１を用いて、同一の被写体３０を撮影する２台のカメラ３１Ａ，３１Ｂの各撮影映像から抽出した被写体映像３２Ａ，２３Ｂの映像情報に基づいて、任意の視点位置から見た被写体３０の多視点映像３３を生成する方法について説明する。
【００５５】
この場合、まず、各被写体映像３２Ａ，３２Ｂ内における被写体３０上の対応点を検出する。対応点は、一方のカメラ３１Ａの撮影により得られた被写体映像３２Ａ内の特徴部位と同じ特徴部位を、他方のカメラ３１Ｂの撮影により得られた被写体映像３２Ｂ内で検出することにより検出することができる。具体的には、基準とする一方の被写体映像３２Ａ内の例えば「左目」の位置と、他方の被写体映像３１Ｂ内の「左目」の位置とを対応点とする。これと同様にして、各被写体映像３２Ａ，３２Ｂ内における被写体３０上の対応点を幾つか検出する。
【００５６】
続いて、これら検出した幾つかの対応点の座標に基づいて、次式
【数１】
を満たす平面射影行列Ｈを決定する。
【００５７】
次いで、この平面射影行列Ｈを用いて、基準とする一方の被写体映像３２Ａ内の全画素に対して行列変換を行う。これにより一方の被写体映像３２Ａ内の各画素とそれぞれ対応する他方の被写体映像３２Ｂ内の画素を検出することができる。
【００５８】
この後、一方のカメラ３１Ａからそのとき生成しようとする多視点映像３３の視点位置までの距離と、他方のカメラ３１Ｂから当該視点位置までの距離との比を求める。この比は、カメラ情報記憶部１２に格納されている各カメラ３Ａ〜３ｎの位置情報に基づいて求めることができる。
【００５９】
ここで、仮に一方のカメラ３１Ａから多視点映像３３の視点位置までの距離と、他方のカメラ３１Ｂから当該視点位置までの距離との比をγ：（１−γ）（ただし０≦γ≦）とし、一方の被写体映像３２Ａ上の１つの画素の位置ベクトルＰ1、当該画素と対応する他方の被写体映像３２Ｂ上の画素（以下、座標をとする）の位置ベクトルをＰ2とすると、かかる視点位置における多視点映像３３上での対応点の座標の位置ベクトルは、次式
【数２】
によって算出することができる。
【００６０】
よって、かかる比が求められたら、この後、一方の被写体映像３２Ａ上の１つの画素の座標（ａ1，ｂ1）と、他方の被写体映像３２Ｂ上のこれに対応する画素の座標（ａ2，ｂ2）とに基づいて、（２）式によりかかる視点位置における多視点映像３３上の対応点の座標（ａ12，ｂ12）を求める。
【００６１】
この後、かかる一方の被写体映像３２Ａ上の座標（ａ1，ｂ1）における画素値と、他方の被写体映像３２Ｂ上の座標（ａ2，ｂ2）における画素値とを用いて、多視点映像３３上のかかる対応点の画素の画素値を線形補間法により求める。
【００６２】
以上の処理を一方の被写体映像３２Ａ上のすべての画素について実行する。これにより同一の被写体３０を撮影する２台のカメラ３１Ａ，３１Ｂの各撮影映像から抽出した被写体映像３２Ａ，３２Ｂの映像情報に基づいて、任意の視点位置の多視点映像３３を得ることができる。
【００６３】
以上の原理に基づいて、多視点映像生成部１１は、図示しない内部メモリに格納された制御プログラムに従って図１２に示す多視点映像生成処理を実行することにより、検索対象被写体の多視点映像を生成する。
【００６４】
実際上、多視点映像生成部１１は、映像制御部７から上述の多視点映像生成要求が与えられると、この図１２に示す多視点映像生成処理を開始し、まず、多視点映像を生成するために利用する２枚の被写体映像として、カメラ情報記憶部１２に格納されている各カメラ３Ａ〜３ｎのカメラ情報のうち、デフォルトの視点位置に最も近い位置に位置する２台のカメラ３Ａ〜３ｎからそれぞれ与えられたカメラ映像信号に基づく被写体映像を選択する（ＳＰ１０）。
【００６５】
続いて多視点映像生成部１１は、図１１について説明した方法により、これら２枚の被写体映像上の対応点を複数個所分それぞれ検出し（ＳＰ１１）、この検出結果に基づいてデフォルトの視点位置から見た被写体の多視点映像を生成する（ＳＰ１２）。そして多視点映像生成部１１は、この後、この多視点映像生成処理を終了する。
【００６６】
なお映像制御部７は、この後、図６（Ｂ）について上述した検索結果表示画面１７に表示された多視点映像１７Ｃの視点位置を変更すべき旨の操作入力がユーザから与えられると、ユーザが指定した位置を視点位置とする多視点映像の生成要求（多視点映像生成要求）を多視点映像生成部１１に与える。
【００６７】
そして多視点映像生成部１１は、この多視点映像生成要求が与えられたときも上述と同様にして多視点映像を生成する。この場合における多視点映像生成処理の内容は、ステップＳＰ１０において、ユーザにより指定された視点位置に最も近い位置に位置する２台のカメラ３Ａ〜３ｎからそれぞれ与えられたカメラ映像信号に基づく被写体映像を選択する点を除いて上述と同様である。
【００６８】
（１−４）被写体検索処理に関する映像制御部の具体的な処理内容
一方、映像制御部７は、ユーザにより操作部１３が操作されて被写体検索モードが選択された場合、図示しない内部メモリに格納された制御プログラムに基づいて図１３に示す被写体検索処理を実行する。
【００６９】
すなわち、映像制御部７は、被写体検索モードが選択されると、ユーザにより指定されたカメラ３Ａ〜３ｎから与えられる映像信号（選択カメラ映像信号）を上述の映像出力部１４を介してモニタ１５に送出することにより、この選択カメラ映像信号に基づく図６（Ａ）について上述したカメラ映像画面１６をモニタ１５に表示させる（ＳＰ２０）。
【００７０】
また映像制御部７は、これと併せて、かかる選択カメラ映像信号に基づくカメラ映像内に被写体を検出したか否かを被写体抽出部９に定期的に問い合わせながら、被写体抽出部９がカメラ映像内の被写体を検出するのを待ち受ける（ＳＰ２１）。
【００７１】
このとき被写体抽出部９は、通常モード時と同様の処理を行っており、選択カメラ映像信号に基づくカメラ映像内に少なくとも１つの被写体を検出した場合には、その旨を映像制御部７に通知すると共に、この後、かかる選択カメラ映像信号に基づくカメラ映像の各フレーム画像内にそれぞれ存在する各被写体の位置を映像制御部７に逐次報告する。
【００７２】
かくして映像制御部７は、被写体抽出部９から被写体を検出した旨の通知を受信すると、この後被写体抽出部９から逐次与えられる各被写体の位置情報に基づき生成した枠体画像信号を選択カメラ映像信号に重畳する（ＳＰ２２）。これにより、かかる選択カメラ映像信号に基づくカメラ映像内に存在する１つの被写体を取り囲むように枠体１６Ａ（図６（Ａ））が表示される。
【００７３】
この後、映像制御部７は、ユーザ操作に応じて枠体１６Ａの位置を他の被写体を取り囲む位置に移動させながら、検索対象の被写体（検索対象被写体）が選択されるのを待ち受ける（ＳＰ２３）。そして映像制御部７は、やがてユーザにより検索対象被写体が選択されると、このとき特徴部位検出部１０により検出されたその検索対象被写体の特徴部位の映像情報を特徴情報記憶部８Ａから読み出す（ＳＰ２４）。
【００７４】
続いて映像制御部７は、読み出した検索対象被写体の特徴部位の映像情報に基づいて、特徴情報記憶部８Ａに蓄積されている他の特徴部位の映像情報のうち、検索対象被写体のものと推測される特徴部位の映像情報をパターンマッチ処理により検索する（ＳＰ２５）。
【００７５】
次いで映像制御部７は、かかる検索処理により検索対象被写体のものと推測される特徴部位の映像情報を検出できたか否かを判断する（ＳＰ２６）。そして映像制御部７は、この判断において否定結果を得ると、かかる検索対象被写体の被写体映像等を検出できなかった旨のメッセージをモニタ１５に表示させ（ＳＰ２７）、この後この被写体検索処理を終了する。
【００７６】
これに対して映像制御部７は、ステップＳＰ２６の判断において肯定結果を得ると、そのとき検出した特徴部位の映像情報と関連付けられている被写体映像の映像ファイルのファイルＩＤと、当該特徴部位の映像情報と関連付けられている記録映像の映像ファイルのファイルＩＤとを特徴情報記憶部８Ａに格納されている特徴情報管理テーブル２１（図８）から読み出す（ＳＰ２８）。
【００７７】
また映像制御部７は、ステップＳＰ２８において取得したファイルＩＤにより特定される被写体映像を用いて多視点映像を生成すべき旨の多視点映像生成要求を多視点映像生成部１１に送出すると共に（ＳＰ２９）、ステップＳＰ２８において取得したファイルＩＤにより特定される記録映像の映像内で、検索対象被写体が写っている映像部分を検出すべき旨の被写体映像部位検出要求を特徴部位抽出部１０に送出する（ＳＰ３０）。
【００７８】
そして映像制御部７は、この後、かかる被写体映像の映像情報と、当該被写体映像に基づいて多視点映像生成部１１により生成された多視点映像の映像情報と、特徴部位抽出部１０により検出された対応する記録映像中の検索対象被写体が写っている映像部分のカメラ映像情報とを記録媒体８から読み出す（ＳＰ３１）。
【００７９】
また映像制御部７は、記録媒体８から読み出したこれら被写体映像及び多視点映像の各映像情報と、カメラ映像情報とに基づいて図６（Ｂ）について上述した検索結果表示画面１７の画面信号を生成し、この画面信号を映像出力部１４を介してモニタ１５に与えることにより、当該検索結果表示画面１７をモニタ１５に表示させる（ＳＰ３２）。そして映像制御部７は、この後この被写体検索処理を終了する。
【００８０】
（１−５）本実施の形態の効果
以上のように、本実施の形態による映像監視システム１では、各カメラ３Ａ〜３ｎから与えられるカメラ映像信号に基づいて、これらカメラ映像信号に基づくカメラ映像内に存在する各被写体の特徴部分の映像情報及びその管理情報を取得すると共に、これらをその被写体の特徴情報として当該被写体の被写体映像及び多視点映像と関連付けて特徴情報記憶部８Ａに蓄積する。
【００８１】
また映像監視システム１では、この後いずれかのカメラ３Ａ〜３ｎからのカメラ映像信号に基づくカメラ映像内に存在する被写体（検索対象被写体）が指定されたときに、その被写体の特徴部位の特徴情報に基づいて、特徴情報記憶部８Ａに蓄積されている各特徴情報の中から検索対象被写体に対応する特徴情報を検索し、検索結果に基づいて、その被写体の被写体映像及び多視点映像の各映像情報と、記録媒体８に格納されているカメラ映像のうちのその被写体が写っている映像部分の映像をモニタ１５に表示する。
【００８２】
従って、この映像監視システム１によれば、カメラ３Ａ〜３ｎの撮影映像から取得した各被写体の特徴情報に基づいてユーザにより指定された被写体の検索が行えるため、膨大な映像の中から所望の被写体の映像を容易に検出でき、また例えばホテルやデパートなどの不特定多数の人間が出入りする施設における映像監視システムとして実用上十分に適用することができる。
【００８３】
（２）第２の実施の形態
図１において、４０は全体として第２の実施の形態による映像監視システムを示す。この映像監視システム４０は、映像検索装置４１において、図６（Ａ）について上述したカメラ映像画面１６及び図６（Ｂ）について上述した検索結果表示画面１７が同じ１つの画面にまとめられて表示される点が第１の実施の形態による映像監視システム１と異なる。
【００８４】
すなわち、本実施の形態による映像監視システム４０の場合、ユーザ操作により被写体検索モードを選択すると、図１４に示すような検索画面４２がモニタ１５に表示される。
【００８５】
この検索画面４２では、ユーザにより指定されたカメラ３Ａ〜３ｎから与えられる映像信号（選択カメラ映像信号）に基づくカメラ映像がカメラ映像表示欄４２Ａに表示され、そのカメラ映像表示欄４２Ａに表示されたカメラ映像内に存在するすべての被写体の被写体映像が被写体一覧表示欄４２Ｂに一覧表示される。
【００８６】
そして検索画面４２では、ユーザが操作部１３を操作して被写体一覧表示欄４２Ｂに表示された被写体画像の中から検索対象の被写体（検索対象被写体）の被写体画像を選択することによって、その検索対象被写体の被写体映像、多視点映像及びその検索対象被写体が写っている記録映像の映像部分を基本映像表示欄４２Ｃ、多視点映像表示欄４２Ｄ及び記録映像表示欄４２Ｅにそれぞれ表示させることができる。
【００８７】
図１５は、このような検索画面４２の表示を含めた第２の実施の形態による被写体検索処理に関する映像制御部４３（図１）の具体的な処理内容を示している。映像制御部４３は、ユーザにより操作部１３が操作されて被写体検索モードが選択されると、図示しない内部メモリに格納された制御プログラムに基づいてこの図１５に示す被写体検索処理を実行する。
【００８８】
すなわち映像制御部４３は、被写体検索モードが選択されるとこの被写体検索処理を開始し、まず、所定の画面信号を映像出力部１４を介してモニタ１５に送出することにより、図１４について上述した検索画面４２をモニタ１５に表示させる（ＳＰ４０）。
【００８９】
なお、この段階における検索画面４２では、選択カメラ映像信号に基づくカメラ映像が検索画面４２のカメラ映像表示欄４２Ａに表示されるが、被写体一覧表示欄４２Ｂや、基本映像表示欄４２Ｃ、多視点映像表示欄４２Ｄ及び記録映像表示欄４２Ｅには対応する映像は表示されない。
【００９０】
続いて映像制御部４３は、選択カメラ映像信号に基づくカメラ映像内に被写体を検出したか否かを被写体抽出部９に定期的に問い合わせながら、被写体抽出部９がカメラ映像内の被写体を検出するのを待ち受ける（ＳＰ４１）。
【００９１】
そして映像制御部４３は、やがて被写体抽出部９から被写体を検出した旨の通知が与えられると、そのとき被写体抽出部９により生成されて記録媒体８に格納された、そのとき検出された各被写体の被写体映像の映像情報を記録媒体８から読み出し、当該映像情報に基づく被写体映像を被写体一覧表示欄４２Ｂ内に一覧表示する（ＳＰ４２）。
【００９２】
続いて映像制御部４３は、操作部１３が操作されて検索画面４２の被写体一覧表示欄４２Ｂに表示された被写体映像の中から検索対象とする被写体（検索対象被写体）の被写体映像が選択されるのを待ち受け（ＳＰ４３）、やがて検索対象被写体が選択されると、図１３について上述した第１の実施の形態による被写体検索処理のステップＳＰ２４〜ステップＳＰ３１と同様にステップＳＰ４４〜ステップＳＰ５１を処理する。
【００９３】
次いで映像制御部４３は、ステップＳＰ５１において記録媒体８から読み出した被写体映像の映像情報、多視点映像情報及びカメラ映像情報に基づく被写体映像、多視点映像及び記録映像をそれぞれ検索画面４２の基本映像表示欄４２Ｃ、多視点映像表示欄４２Ｄ及び記録映像表示欄４２Ｅにそれぞれ表示させ（ＳＰ５２）、この後この被写体検索処理を終了する。
【００９４】
以上のように本実施の形態による映像監視システム４０では、選択映像信号に基づくカメラ映像と、当該カメラ映像内の各被写体の被写体映像と、検索結果とが１つの検索画面４２内に表示されるため、第１の実施の形態による映像監視システム１と比較して、検索対象の視認性や、操作性を向上させることができる。
【００９５】
（３）第３の実施の形態
図１において、５０は全体として第３の実施の形態による映像監視システムを示す。この映像監視システム５０は、映像検索装置５１において、キーワードを用いて所望の被写体を検索し得るようになされた点が第１の実施の形態による映像監視システム１と異なる。
【００９６】
すなわち本実施の形態による映像監視システム５０の場合、被写体検索モードを選択すると、図１６に示すようなキーワード入力ダイアログ５２が表示される。そしてユーザが操作部１３を操作してこのキーワード入力ダイアログ５２のキーワード入力欄５２Ａに所望のキーワードを入力した後、検索ボタン５２Ｂを押下する操作を行なうことによって、そのキーワードに対応する被写体の検索を実行させることができる。この際使用するキーワードとしては、撮影日時や文字などが適用される。そしてこのときの検索結果が例えば図１７（Ａ）に示す検索画面５４としてモニタに表示される。
【００９７】
この検索画面５４では、そのときキーワード入力ダイアログ５２を用いてユーザが指定したキーワードがキーワード表示欄５４Ａに表示され、かかるキーワードに基づいて検出した各被写体の被写体映像が候補一覧表示欄５４Ｂに一覧表示される。
【００９８】
そして検索画面５４では、この後、ユーザが操作部１３を操作して候補一覧表示欄５４Ｂに表示された被写体画像の中から検索対象の被写体（検索対象被写体）の被写体画像を選択することによって、図１７（Ｂ）に示すように、その検索対象被写体の被写体映像、多視点映像及びその検索対象被写体が写っている記録映像の映像部分をそれぞれ検索画面５４内のそれまで空きスペースであった領域に表示させることができる。
【００９９】
図１８は、このような検索画面５４の表示を含めた第３の実施の形態による被写体検索処理に関する映像制御部５３の具体的な処理内容を示している。映像制御部５３は、ユーザにより操作部１３が操作されて被写体検索モードが選択されると、図示しない内部メモリに格納された制御プログラムに基づいてこの図１８に示す被写体検索処理を実行する。
【０１００】
すなわち映像制御部５４は、被写体検索モードが選択されるとこの被写体検索処理を開始し、まず、所定の画面信号を映像出力部１４を介してモニタ１５に送出することにより、図１６について上述したキーワード入力ダイアログ５１をモニタ１５に表示させる（ＳＰ６０）。
【０１０１】
続いて映像制御部５３は、かかるキーワード入力ダイアログ５２のキーワード入力欄５２Ａにキーワードが入力された後に検索ボタン５２Ｂが押下する操作が行なわれるのを待ち受け（ＳＰ６１）、やがてかかるキーワード入力欄５２Ａにキーワードが入力されて検索ボタン５２Ｂを押下する操作が入力されると、特徴情報管理テーブル２１（図８）上の対応するエントリを検索する（ＳＰ６２）。
【０１０２】
例えばキーワードが撮影日時であった場合、映像制御部５３は、特徴部位管理テーブル２１（図８）の各エントリのタイムコード欄２１Ｇにそれぞれ格納されたタイムコードをキーワードと順次比較し、当該タイムコードがキーワードと一致するすべてのエントリを検出する。また映像制御部５３は、例えばキーワードが文字であった場合、特徴情報管理テーブル２１において属性が「文字」である各エントリの認識結果欄２１Ｆにそれぞれ格納された文字とキーワードとを順次比較し、当該文字がキーワードと一致するすべてのエントリを検出する。
【０１０３】
そして映像制御部５３は、この検索により対応するエントリを検出すると、そのエントリの被写体映像ファイルＩＤ欄２１Ｃ（図８）に格納されているファイルＩＤを読み出し、そのファイルＩＤが付与された映像ファイルのファイル情報（被写体映像の映像情報）を記録媒体８から読み出す。また映像制御部５３は、このようにして記録媒体８から読み出したファイル情報に基づく被写体映像と、キーワード入力ダイアログ５２を介して入力されたキーワードとが表示された検索画面５４（図１７）を、モニタ１５に表示させる（ＳＰ６３）。
【０１０４】
この後、映像制御部５３は、かかる検索画面５４の候補一覧表示欄５４Ｂに表示された被写体映像の中から１つの被写体映像が選択されると、図１３について上述した第１の実施の形態による被写体検索処理のステップＳＰ２４〜ステップＳＰ３１と同様にステップＳＰ６５〜ステップＳＰ７２を処理することにより、ステップＳＰ６４において選択された被写体映像の被写体（検索対象被写体）の被写体映像及び多視点映像の各映像情報と、かかる被写体が写っている撮影映像の映像情報とを記録媒体８から読み出す。
【０１０５】
そして映像制御部５４は、ステップＳＰ７２において記録媒体８から読み出した被写体映像の映像情報、多視点映像の映像情報及び対応する記録映像のうちの検索対象被写体が写っている映像部分のカメラ映像情報に基づいて、検索対象被写体の被写体映像及び多視点映像と、記録媒体８に記録されたカメラ映像のうちの検索対象被写体が写っているカメラ映像とをそれぞれ検索画面５５上の所定位置にそれぞれ表示させ（ＳＰ７３）、この後この被写体検索処理を終了する。
【０１０６】
以上のように本実施の形態による映像監視システムでは、キーワードを用いて検索対象被写体を検索することができるため、撮影日時や被写体の特徴に基づいて所望する被写体の検索を行うことができ、その分、第１の実施の形態による映像監視システム１に比してより一層と使い勝手を向上させることができる。
【０１０７】
（４）第４の実施の形態
図１との対応部分に同一符号を付した図１９において、６０は全体として第４の実施の形態による映像監視システムを示す。この映像監視システム６０は、映像検索装置６１に映像情報通信部６２が設けられている点が第１の実施の形態による映像監視システム１と異なる。
【０１０８】
映像情報通信部６２は、外部データベース６３との間で通信を行うためのインタフェースであり、映像制御部６４がこの映像情報通信部６２を介して外部データベース６３との間で情報のやり取りを行い得るようになされている。
【０１０９】
外部データベース６３には、上述のような映像検索に関する種々の情報を格納することができる。
【０１１０】
例えば外部データベース６３に指名手配されている犯罪者の画像リストが格納されている場合、映像制御部６４は、映像情報通信部６２を介して外部データベース６３からかかる画像リストを読み出し、これを記録媒体８に記録する。また映像制御部６４は、被写体抽出部９を制御してこの記録媒体８に記録した画像リストに登録された各画像内から犯罪者の画像（以下、これを犯罪者画像と呼ぶ）を抽出させると共に、特徴部位抽出部１０を制御してこの犯罪者画像から特徴部位の特徴情報（特徴部位の映像情報及びその管理情報）を抽出及び収集させる。
【０１１１】
そして映像制御部６４は、このとき抽出した犯罪者画像の特徴部位の映像情報と、特徴情報記憶部８Ａに格納されている特徴情報管理テーブル２１（図８）の各エントリの映像情報とをパターンマッチング処理により比較し、一致するエントリが存在する場合にはその旨をモニタ１５に表示させる。
【０１１２】
以上のように本実施の形態による映像監視システム６０では、特徴情報記憶部８Ａに蓄積した各被写体の特徴情報と、外部データベース６３に格納されたデータとの双方を用いた検索や照合が可能となるため、第１の実施の形態による映像監視システム１と比べても使い勝手をより一層と向上させることができる。
【０１１３】
（５）他の実施の形態
なお上述の第１〜第４の実施の形態においては、映像監視システム１，４０，５０，６０を図１や図１９のように構成するようにした場合について述べたが、本発明はこれに限らず、この他種々の構成を広く適用することができる。
【０１１４】
また上述の第１〜第４の実施の形態においては、特徴情報記憶部８Ａを記録媒体８の一部として構成するようにした場合について述べたが、本発明はこれに限らず、特徴情報記憶部８Ａ及び記録媒体８を別体に構成するようにしても良い。
【０１１５】
さらに上述の第１〜第４の実施の形態においては、検索結果表示画面１７（図６（Ｂ））や検索画面４２，５４（図１４、図１７）において、検索結果として、検索対象被写体の被写体映像、多視点映像及び記録媒体８に記録されたカメラ映像のうちの検索対象被写体が写っている映像部分のすべてを表示するようにした場合について述べたが、本発明はこれに限らず、これら検索結果表示画面１７や検索画面４２，５４において、検索結果として、検索対象被写体の被写体映像、多視点映像及び記録媒体８に記録されたカメラ映像のうちの一部を表示するようにしても良い。
【０１１６】
さらに上述の第１〜第４の実施の形態においては、映像監視システム１，４０，５０，６０が各カメラ３Ａ〜３ｎに基づくカメラ映像情報をそのまま記録媒体８に保存するようにした場合について述べたが、本発明はこれに限らず、例えば特徴情報抽出部１０が、特徴情報記憶部８Ａに格納された各被写体の特徴情報に基づいて、図２０に示すように、記録媒体８に記録されたカメラ映像情報に基づく記録映像を被写体ごとの映像部分に分割したり、被写体が写っていない映像部分を削除するような処理を任意のタイミングで行うようにしても良い。このようにすることによって、検索結果示画面１７や検索画面４２，５４において、検索結果を表示する際の処理速度を向上させることができ、また記録媒体８に記録すべき映像情報の情報量を低減することができる。
【０１１７】
さらに上述の第１〜第４の実施の形態においては、多視点映像生成部１１がユーザにより検索対象の被写体が指定された後に多視点映像を生成するようにした場合について述べたが、本発明はこれに限らず、例えば被写体抽出部９から与えられる被写体映像の映像情報を記録媒体８に格納した後直ぐにこの映像情報を利用して多視点映像を生成するようにしても良く、多視点映像生成部１１が多視点映像を生成するタイミングとしては、この他種々のタイミングを適用することができる。
【０１１８】
さらに上述の第１〜第４の実施の形態においては、検索対象として指定された被写体（検出対象被写体）の特徴情報に基づいて、特徴情報記憶部１０に記憶された各特徴情報の中から検索対象被写体に対応する特徴情報を検索する映像検索部としての機能を映像制御部７，４３，５３，６４に搭載するようにした場合について述べたが、本発明はこれに限らず、かかる機能を有する機能ブロックを映像制御部７，４３，５３，６４とは別個に設けるようにしても良い。
【図面の簡単な説明】
【０１１９】
【図１】第１〜第３の実施の形態による映像監視システムの全体構成を示すブロック図である。
【図２】カメラの設置位置の一例を示す略線図である。
【図３】（Ａ）〜（Ｄ）は、図２の各カメラの撮影映像を示す略線図である。
【図４】（Ａ）〜（Ｄ）は、図３の各カメラの撮影映像に基づく被写体映像を示す略線図である。
【図５】（Ａ）〜（Ｂ）は、図４の被写体映像に基づく多視点映像の作成例を示す略線図である。
【図６】（Ａ）はカメラ映像画面、（Ｂ）は検索結果表示画面の構成例をそれぞれ示す略線図である。
【図７】テンプレート画像テーブルの説明に供する概念図である。
【図８】特徴情報管理テーブルの説明に供する概念図である。
【図９】特徴部位抽出処理の処理手順を示すフローチャートである。
【図１０】カメラ情報の構成例を示す図表である。
【図１１】多視点映像の生成方法の説明に供する概念図である。
【図１２】多視点映像生成処理の処理手順を示すフローチャートである。
【図１３】第１の実施の形態による被写体検索処理の処理手順を示すフローチャートである。
【図１４】第２の実施の形態による検索画面の構成を示す略線図である。
【図１５】第２の実施の形態による被写体検索処理の処理手順を示すフローチャートである。
【図１６】キーワード入力ダイアログの構成例を示す略線図である。
【図１７】第３の実施の形態による検索画面の構成を示す略線図である。
【図１８】第３の実施の形態による被写体検索処理の処理手順を示すフローチャートである。
【図１９】第４の実施の形態による映像監視システムの全体構成を示すブロック図である。
【図２０】他の実施の形態の説明に供する概念図である。
【符号の説明】
【０１２０】
１，４０，５０，６０……映像監視システム、２……被写体、３，３Ａ〜３ｎ……カメラ、５，４１，５１，６１……映像検索装置、７，４３，５３，６４……映像制御部、８……記録媒体、８Ａ……特徴情報記憶部、９……被写体抽出部、１０……特徴部位抽出部、１１……多視点映像生成部、１２……カメラ情報記憶部、１３……操作部、１５……モニタ、１６……カメラ映像画面、１７……検索結果表示画面、２０……テンプレート画像テーブル、２１……特徴情報管理テーブル、４２，５４……検索画面、５２……キーワード入力ダイアログ、６２……映像情報通信部、６３……外部データベース。
【特許請求の範囲】
【請求項１】
外部から与えられる第１の映像情報に基づく映像内に存在する各被写体をそれぞれ抽出し、抽出した前記被写体の映像情報を記録媒体に記録する被写体抽出部と、
前記被写体抽出部により抽出された各前記被写体の特徴部位をそれぞれ抽出する特徴部位抽出部と、
前記特徴部位抽出部により抽出された各前記被写体の特徴部位に関する情報である前記被写体ごとの特徴情報を、それぞれ前記記録媒体に記録された各前記被写体の映像情報と関連付けて記憶する記憶部と、
検索対象として指定された被写体の特徴情報に基づいて、前記記憶部に記憶された各前記特徴情報の中から前記検索対象として指定された被写体に対応する特徴情報を検索する映像検索部と
を備えることを特徴とする映像検索装置。
【請求項２】
前記映像検索部は、
前記検索により検出した前記特徴情報と関連付けられた前記映像情報を前記記録媒体から読み出し、当該映像情報に基づく映像を検索結果として表示する
ことを特徴とする請求項１に記載の映像検索装置。
【請求項３】
前記第１の映像情報は、
同一の被写体を多視点から撮影することにより得られた複数の第２の映像情報から構成され、
前記被写体抽出部は、
各前記第２の映像情報のそれぞれについて、当該第２の映像情報に基づく映像内に存在する各前記被写体をそれぞれ抽出し、抽出した前記被写体の映像情報を前記記録媒体に記録し、
各前記第２の映像情報に基づく映像内にそれぞれ存在する同一の前記被写体の映像情報に基づいて、当該被写体の３次元モデルでなる多視点映像を生成する多視点映像生成部を備え、
前記映像検索部は、
前記検索対象として指定された被写体の映像情報に基づいて前記多視点映像生成部により生成された前記多視点映像を検索結果として表示する
ことを特徴とする請求項２に記載の映像検索装置。
【請求項４】
前記被写体の特徴情報は、当該被写体の前記特徴部位の映像情報を含み、
前記映像検索部は、
前記検索対象として指定された被写体の特徴情報に基づいて、前記記憶部に記憶された前記各特徴情報の中から前記検索対象として指定された被写体に対応する前記特徴情報を、映像のパターンマッチング処理により検索する
ことを特徴とする請求項１に記載の映像検索装置。
【請求項５】
前記特徴情報は、前記被写体の特徴部位として認識した文字の情報を含み
前記映像検索部は、
前記記憶部に記憶された各前記特徴情報の中からキーワードとして指定された文字と一致する文字の情報を含む特徴情報を検索し、当該検索により検出した前記特徴情報と関連付けられた前記映像情報を前記記録媒体から読み出す
ことを特徴とする請求項１に記載の映像検索装置。
【請求項６】
前記映像検索部は、
前記第１の映像情報を前記記録媒体に記録し、
前記特徴抽出部は、
前記記憶部に記憶された各前記特徴情報に基づいて、前記記録媒体に記録された前記第１の映像情報を被写体ごとの映像部分に分割する
ことを特徴とする請求項１に記載の映像検索装置。
【請求項７】
前記特徴抽出部は、
前記記録媒体に記録された前記第１の映像情報のうち、いずれの前記被写体も写っていない映像部分の映像情報を削除する
ことを特徴とする請求項６に記載の映像検索装置。
【請求項８】
外部から与えられる第１の映像情報に基づく映像内に存在する各被写体をそれぞれ抽出し、抽出した前記被写体の映像情報を記録媒体に記録すると共に、抽出した各前記被写体の特徴部位をそれぞれ抽出し、抽出した各前記被写体の特徴部位に関する情報である前記被写体ごとの特徴情報を、それぞれ前記記録媒体に記録された各前記被写体の映像情報と関連付けて記憶する第１のステップと、
検索対象として指定された被写体の特徴情報に基づいて、記憶した各前記特徴情報の中から前記検索対象として指定された被写体に対応する特徴情報を検索し、当該検索により検出した前記特徴情報と関連付けられた前記映像情報を前記記録媒体から読み出す第２のステップと
を備えることを特徴とする映像検索方法。
【請求項９】
前記第２のステップでは、
前記検索により検出した前記特徴情報と関連付けられた前記映像情報を前記記録媒体から読み出し、当該映像情報に基づく映像を検索結果として表示する
ことを特徴とする請求項８に記載の映像検索方法。
【請求項１０】
前記第１の映像情報は、
同一の被写体を多視点から撮影することにより得られた複数の第２の映像情報から構成され、
前記第１のステップでは、
各前記第２の映像情報のそれぞれについて、当該第２の映像情報に基づく映像内に存在する各前記被写体をそれぞれ抽出し、抽出した前記被写体の映像情報を前記記録媒体に記録し、
前記第２のステップでは、
各前記第２の映像情報に基づく映像内にそれぞれ存在する同一の前記被写体の映像情報に基づいて生成した、当該被写体の３次元モデルでなる多視点映像を、前記検索の検索結果として表示する
ことを特徴とする請求項９に記載の映像検索方法。
【請求項１１】
前記被写体の特徴情報は、当該被写体の前記特徴部位の映像情報を含み、
前記第２のステップでは、
前記検索対象として指定された被写体の特徴情報に基づいて、記憶した前記各特徴情報の中から前記検索対象として指定された被写体に対応する前記特徴情報を、映像のパターンマッチング処理により検索する
ことを特徴とする請求項８に記載の映像検索方法。
【請求項１２】
前記特徴情報は、前記被写体の特徴部位として認識した文字の情報を含み
前記第２のステップでは、
記憶した各前記特徴情報の中からキーワードとして指定された文字と一致する文字の情報を含む特徴情報を検索し、当該検索により検出した前記特徴情報と関連付けられた前記映像情報を前記記録媒体から読み出す
ことを特徴とする請求項８に記載の映像検索方法。
【請求項１３】
前記第１のステップでは、
前記第１の映像情報を前記記録媒体に記録し、
記憶した各前記特徴情報に基づいて、前記記録媒体に記録された前記第１の映像情報を被写体ごとの映像部分に分割する
ことを特徴とする請求項８に記載の映像検索方法。
【請求項１４】
前記第１のステップでは、
前記記録媒体に記録された前記第１の映像情報のうち、いずれの前記被写体も写っていない映像部分の映像情報を削除する
ことを特徴とする請求項１３に記載の映像検索方法。
【請求項１】
外部から与えられる第１の映像情報に基づく映像内に存在する各被写体をそれぞれ抽出し、抽出した前記被写体の映像情報を記録媒体に記録する被写体抽出部と、
前記被写体抽出部により抽出された各前記被写体の特徴部位をそれぞれ抽出する特徴部位抽出部と、
前記特徴部位抽出部により抽出された各前記被写体の特徴部位に関する情報である前記被写体ごとの特徴情報を、それぞれ前記記録媒体に記録された各前記被写体の映像情報と関連付けて記憶する記憶部と、
検索対象として指定された被写体の特徴情報に基づいて、前記記憶部に記憶された各前記特徴情報の中から前記検索対象として指定された被写体に対応する特徴情報を検索する映像検索部と
を備えることを特徴とする映像検索装置。
【請求項２】
前記映像検索部は、
前記検索により検出した前記特徴情報と関連付けられた前記映像情報を前記記録媒体から読み出し、当該映像情報に基づく映像を検索結果として表示する
ことを特徴とする請求項１に記載の映像検索装置。
【請求項３】
前記第１の映像情報は、
同一の被写体を多視点から撮影することにより得られた複数の第２の映像情報から構成され、
前記被写体抽出部は、
各前記第２の映像情報のそれぞれについて、当該第２の映像情報に基づく映像内に存在する各前記被写体をそれぞれ抽出し、抽出した前記被写体の映像情報を前記記録媒体に記録し、
各前記第２の映像情報に基づく映像内にそれぞれ存在する同一の前記被写体の映像情報に基づいて、当該被写体の３次元モデルでなる多視点映像を生成する多視点映像生成部を備え、
前記映像検索部は、
前記検索対象として指定された被写体の映像情報に基づいて前記多視点映像生成部により生成された前記多視点映像を検索結果として表示する
ことを特徴とする請求項２に記載の映像検索装置。
【請求項４】
前記被写体の特徴情報は、当該被写体の前記特徴部位の映像情報を含み、
前記映像検索部は、
前記検索対象として指定された被写体の特徴情報に基づいて、前記記憶部に記憶された前記各特徴情報の中から前記検索対象として指定された被写体に対応する前記特徴情報を、映像のパターンマッチング処理により検索する
ことを特徴とする請求項１に記載の映像検索装置。
【請求項５】
前記特徴情報は、前記被写体の特徴部位として認識した文字の情報を含み
前記映像検索部は、
前記記憶部に記憶された各前記特徴情報の中からキーワードとして指定された文字と一致する文字の情報を含む特徴情報を検索し、当該検索により検出した前記特徴情報と関連付けられた前記映像情報を前記記録媒体から読み出す
ことを特徴とする請求項１に記載の映像検索装置。
【請求項６】
前記映像検索部は、
前記第１の映像情報を前記記録媒体に記録し、
前記特徴抽出部は、
前記記憶部に記憶された各前記特徴情報に基づいて、前記記録媒体に記録された前記第１の映像情報を被写体ごとの映像部分に分割する
ことを特徴とする請求項１に記載の映像検索装置。
【請求項７】
前記特徴抽出部は、
前記記録媒体に記録された前記第１の映像情報のうち、いずれの前記被写体も写っていない映像部分の映像情報を削除する
ことを特徴とする請求項６に記載の映像検索装置。
【請求項８】
外部から与えられる第１の映像情報に基づく映像内に存在する各被写体をそれぞれ抽出し、抽出した前記被写体の映像情報を記録媒体に記録すると共に、抽出した各前記被写体の特徴部位をそれぞれ抽出し、抽出した各前記被写体の特徴部位に関する情報である前記被写体ごとの特徴情報を、それぞれ前記記録媒体に記録された各前記被写体の映像情報と関連付けて記憶する第１のステップと、
検索対象として指定された被写体の特徴情報に基づいて、記憶した各前記特徴情報の中から前記検索対象として指定された被写体に対応する特徴情報を検索し、当該検索により検出した前記特徴情報と関連付けられた前記映像情報を前記記録媒体から読み出す第２のステップと
を備えることを特徴とする映像検索方法。
【請求項９】
前記第２のステップでは、
前記検索により検出した前記特徴情報と関連付けられた前記映像情報を前記記録媒体から読み出し、当該映像情報に基づく映像を検索結果として表示する
ことを特徴とする請求項８に記載の映像検索方法。
【請求項１０】
前記第１の映像情報は、
同一の被写体を多視点から撮影することにより得られた複数の第２の映像情報から構成され、
前記第１のステップでは、
各前記第２の映像情報のそれぞれについて、当該第２の映像情報に基づく映像内に存在する各前記被写体をそれぞれ抽出し、抽出した前記被写体の映像情報を前記記録媒体に記録し、
前記第２のステップでは、
各前記第２の映像情報に基づく映像内にそれぞれ存在する同一の前記被写体の映像情報に基づいて生成した、当該被写体の３次元モデルでなる多視点映像を、前記検索の検索結果として表示する
ことを特徴とする請求項９に記載の映像検索方法。
【請求項１１】
前記被写体の特徴情報は、当該被写体の前記特徴部位の映像情報を含み、
前記第２のステップでは、
前記検索対象として指定された被写体の特徴情報に基づいて、記憶した前記各特徴情報の中から前記検索対象として指定された被写体に対応する前記特徴情報を、映像のパターンマッチング処理により検索する
ことを特徴とする請求項８に記載の映像検索方法。
【請求項１２】
前記特徴情報は、前記被写体の特徴部位として認識した文字の情報を含み
前記第２のステップでは、
記憶した各前記特徴情報の中からキーワードとして指定された文字と一致する文字の情報を含む特徴情報を検索し、当該検索により検出した前記特徴情報と関連付けられた前記映像情報を前記記録媒体から読み出す
ことを特徴とする請求項８に記載の映像検索方法。
【請求項１３】
前記第１のステップでは、
前記第１の映像情報を前記記録媒体に記録し、
記憶した各前記特徴情報に基づいて、前記記録媒体に記録された前記第１の映像情報を被写体ごとの映像部分に分割する
ことを特徴とする請求項８に記載の映像検索方法。
【請求項１４】
前記第１のステップでは、
前記記録媒体に記録された前記第１の映像情報のうち、いずれの前記被写体も写っていない映像部分の映像情報を削除する
ことを特徴とする請求項１３に記載の映像検索方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【公開番号】特開２００９−２９０７９８（Ｐ２００９−２９０７９８Ａ）
【公開日】平成２１年１２月１０日（２００９．１２．１０）
【国際特許分類】
【出願番号】特願２００８−１４３８２５（Ｐ２００８−１４３８２５）
【出願日】平成２０年５月３０日（２００８．５．３０）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
【公開日】平成２１年１２月１０日（２００９．１２．１０）
【国際特許分類】
【出願日】平成２０年５月３０日（２００８．５．３０）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
[ Back to top ]