映像検索装置
【課題】 映像の概要を把握可能にでき、映像検索を容易にできる映像検索装置を提供する。
【解決手段】 特徴情報抽出部７は、映像から所定の特徴量データを抽出する。抽出特徴情報記憶部９は、特徴情報抽出部７により抽出された特徴量データを抽出時点データと共に記憶する。画面表示部１１の特徴表現部１９は、特徴量データと抽出時点データを基に、映像の時間軸上に各抽出時点での該当特徴量の大きさを表現した特徴表現図形を生成し、特徴表現図形を表示装置１３に表示させる。特徴表現部は１９、特徴表現図形として、第１の軸が時間軸であり、第２の軸が前記特徴量の大きさであるグラフを生成する。さらに、特徴表現部１９は、特徴表現図形中で所定のしきい値以上の特徴量が発生した場所に、アイコン等のマークを付加する。
【解決手段】 特徴情報抽出部７は、映像から所定の特徴量データを抽出する。抽出特徴情報記憶部９は、特徴情報抽出部７により抽出された特徴量データを抽出時点データと共に記憶する。画面表示部１１の特徴表現部１９は、特徴量データと抽出時点データを基に、映像の時間軸上に各抽出時点での該当特徴量の大きさを表現した特徴表現図形を生成し、特徴表現図形を表示装置１３に表示させる。特徴表現部は１９、特徴表現図形として、第１の軸が時間軸であり、第２の軸が前記特徴量の大きさであるグラフを生成する。さらに、特徴表現部１９は、特徴表現図形中で所定のしきい値以上の特徴量が発生した場所に、アイコン等のマークを付加する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像から所望の映像部分を検索するために用いられる映像検索装置に関するものである。
【背景技術】
【０００２】
従来、映像検索装置は、例えば、監視カメラによって撮影された監視映像から所望の映像部分を検索するために用いられる。監視システムの場合、所望の映像部分は、監視対象の事象が移った部分である。従来一般の映像検索装置は、映像を撮影日時と共に表示する。操作者は、撮影日時を頼りに映像を再生し、所望の映像部分を探索する。
【０００３】
また、特許文献１は、映像探索を容易にする映像検索装置が開示している。該文献の映像検索装置は、時間軸上に登場人物毎の登場区間を棒図形で表示する。操作者は、所望の登場人物の所望の登場区間を選択することにより、所望の映像部分を探索できる。
【０００４】
また、特許文献２の映像検索装置は、映像から所定の時間間隔で静止画像を抜き出し、静止画像を配列し、各静止画像と共にタイムコードの日時を表示する。ユーザは、静止画像を選択して、選択した静止画像から映像を再生することにより、所望の映像部分を探索できる。
【特許文献１】特開２００４−１２７３１１号公報（例えば第５−６ページ、図１）
【特許文献２】特開平１１−１４６３２５号公報（例えば第９ページ、図１８）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の映像検索装置においては、操作者が日時情報を頼りに映像を再生しながら所望の映像部分を探さなければならないため、検索が大変で手間がかかり、検索が容易でないという問題があった。
【０００６】
また、特許文献１および特許文献２の技術では、映像検索がある程度容易にはなっているものの、特徴的部分が映像中のどこに映っているかといった映像の全容を把握するのは容易でなかった。例えば、監視映像を検索する場合に、監視対象が映った特徴部分がどの辺りに映っているかといった概要を直感的に把握することが望ましく、このような全体概要の把握が可能であれば映像検索がさらに容易になると考えられる。
【０００７】
本発明は、従来の問題を解決するためになされたもので、その目的は、映像の概要の把握を可能にして映像検索を容易にすることができる映像検索装置を提供することにある。
【課題を解決するための手段】
【０００８】
本発明の映像検索装置は、撮像された映像を記録する映像記録部と、前記映像から所定の特徴量データを抽出する特徴情報抽出部と、前記特徴情報抽出部により抽出された特徴量データを抽出時点データと共に記憶する抽出特徴情報記憶部と、前記抽出特徴情報記憶部から読み出した前記特徴量データと前記抽出時点データを基に、抽出された特徴量データの大きさを前記映像の時間軸上の抽出時点に図形で表した特徴表現図形を生成し、該特徴表現図形を表示装置に表示させる特徴表現部と、を備えている。特徴表現図形は、点、線、面等の図図形で特徴量データの大きさを表現したものであり、例えば後述する実施の形態における棒グラフである。
【０００９】
この構成により、映像から特徴量データを抽出して抽出時点データと共に記憶し、映像の時間軸上に各抽出時点での該当特徴量の大きさを図形で表現した特徴表現図形を生成して表示するので、表示された特徴表現図形から映像の概要を把握することができ、これにより映像検索が容易になる。
【００１０】
また、本発明の映像検索装置は、所定の特徴事象に対応する抽出トリガーの発生を検出するトリガー検出部を備え、前記特徴情報抽出部は、前記抽出トリガーの発生が検出されたときに前記特徴量データを抽出し、前記特徴表現部は、前記抽出トリガーが発生した時に前記特徴情報抽出部により抽出された前記特徴量データに基づいて前記特徴表現図形を生成する。
【００１１】
この構成により、特徴事象に対応する抽出トリガーが発生したときの特徴量が特徴表現図形の該当抽出時点の場所に表示されるので、どの時点で特徴事象が発生してそのときの特徴量がどれくらいの大きさであったかといった映像の概要を容易に把握できる特徴表現図形を表示できる。
【００１２】
また、本発明の映像検索装置では、前記トリガー検出部は、前記抽出トリガーとして映像中の被写体の動きを検出する動き検出部を含む。この構成により、特徴事象の発生を適切に検出して特徴量データを抽出できる。
【００１３】
また、本発明の映像検索装置において、前記特徴表現部は、前記特徴表現図形として、第１の軸が時間軸であり、第２の軸が前記特徴量の大きさであるグラフを生成する。この構成により、映像の概要を把握しやすい特徴表現図形を提供できる。
【００１４】
また、本発明の映像検索装置において、前記特徴情報抽出部は、前記特徴量データとして前記映像から所定の色代表値データを抽出する。色代表値データは、例えば、ＲＧＢのうちの特定の色値の合計値または平均値である。色代表値データを用いることにより、比較的簡単な処理と比較的少ないデータ量でもって特徴量を好適に表すことができる。
【００１５】
また、本発明の映像検索装置において、前記特徴表現部は、前記特徴表現図形中で所定の特徴しきい値以上の特徴量が発生した場所に所定のマークを付加する。マークは例えばアイコンである。この構成により、特徴量が大きい箇所を容易に把握できる特徴表現図形を提供できる。
【００１６】
また、本発明の映像検索装置において、前記抽出特徴情報記憶部は、前記特徴量データおよび前記抽出時点データと共に、各抽出時点の小型静止画像を記憶し、前記特徴表現部は、前記特徴表現図形中の前記マークに対する仮選択操作に応答して、選択された前記マークに対応する前記小型静止画像を前記表示装置に表示させる。小型静止画像は例えばサムネイル画像である。仮選択操作によるマーク選択はポインティングデバイス等の入力操作部から入力される。この構成により、選択されたマークに対応する小型静止画像を検索して表示することにより、映像内容の把握を助けることができ、映像検索が容易になる。
【００１７】
また、本発明の映像検索装置は、前記仮選択操作として、前記マークの上にポインティングデバイスのポインタ図形が位置したことを検出する。この構成により、ポインタ図形を動かしてマーク上に位置させることにより小型静止画像を表示でき、簡単な操作で映像内容を把握できる。
【００１８】
また、本発明の映像検索装置は、前記マークに対する選択決定操作の入力に応答して前記マークに対応する映像データを前記映像記録部から取得して前記表示装置に表示させる。例えば、映像検索装置は、時間軸上でマークが位置する時点における所定時間の動画を表示する。選択決定操作は入力操作部から入力され、選択決定指示は例えばマウスクリック操作である。この構成により、選択されたマークに対応する映像を検索して表示することにより、映像内容の把握を助けることができ、映像検索が容易になる。
【００１９】
また、本発明の映像検索装置において、前記抽出特徴情報記憶部は、前記特徴量データおよび前記抽出時点データと共に、各抽出時点の小型静止画像を記憶し、前記特徴表現部は、前記特徴表現図形中の特徴量データに対する仮選択操作に応答して、選択された前記特徴量データに対応する前記小型静止画像を前記表示装置に表示させる。仮選択操作による特徴量データの選択は、ポインティングデバイス等の入力操作部から入力される。上述のマークが表示され、マークを選択する仮選択操作によって特徴量データが選択されてもよい。また、小型静止画像は例えばサムネイル画像である。この構成により、選択された特徴量データに対応する小型静止画像を検索して表示するので、映像内容の把握を助けることができ、映像検索が容易になる。
【００２０】
また、本発明の映像検索装置は、前記特徴表現図形中の特徴量データに対する選択決定操作の入力に応答して、選択された前記特徴量データに対応する映像データを前記映像記録部から取得して前記表示装置に表示させる。例えば、時間軸上の選択時点における所定時間の動画が表示される。選択決定操作は入力操作部から入力され、選択決定指示は例えばマウスクリック操作である。上述のマークが表示され、マークの選択決定操作によって特徴量データが選択されてもよい。この構成により、選択された特徴量データに対応する時点における映像を検索して表示するので、映像内容の把握を助けることができ、映像検索が容易になる。
【００２１】
本発明の別の態様における映像検索装置は、撮像された映像から抽出された所定の特徴量データを抽出時点データと共に記憶する抽出特徴情報記憶部と、前記抽出特徴情報記憶部から読み出した前記特徴量データと前記抽出時点データを基に、抽出された特徴量データの大きさを前記映像の時間軸上の抽出時点に図形で表した特徴表現図形を生成し、該特徴表現図形を表示装置に表示させる特徴表現部と、を備えている。この構成によっても上述の利点が得られる。
【００２２】
また、本発明の別の態様は、映像検索装置を構成するコンピュータで実行されるプログラムであって、撮像された映像から抽出された所定の特徴量データを抽出時点データと共に記憶した抽出特徴情報記憶部から特徴量データおよび抽出時点データを読み出し、前記特徴量データと前記抽出時点データを基に、抽出された特徴量データの大きさを前記映像の時間軸上の抽出時点に図形で表した特徴表現図形を生成し、該特徴表現図形を表示装置に表示させる処理を前記コンピュータに実行させる。この構成によっても上述の利点が得られる。
【発明の効果】
【００２３】
本発明は、映像から特徴量データを抽出して抽出時点データと共に記憶し、映像の時間軸上に各抽出時点での該当特徴量の大きさを図形で表現した特徴表現図形を生成して表示することにより、表示された特徴表現図形から映像の概要を把握可能にでき、これにより映像検索を容易にできるという効果を有する映像検索装置を提供することができる。
【発明を実施するための最良の形態】
【００２４】
以下、本発明の実施の形態に係る映像検索装置について、図面を用いて説明する。本実施の形態では、本発明の映像検索装置が監視システムに適用され、監視映像から所望の映像部分を探す作業を支援する機能を持つ。映像検索装置は、画像処理機能を持ったコンピュータにより実現される。
【００２５】
本発明の実施の形態に係る映像検索装置を図１に示す。図１において、映像検索装置１は、撮像部３により撮像された映像を記録する映像記録部５と、映像から所定の特徴量データを抽出する特徴情報抽出部７と、特徴情報抽出部７により抽出された特徴量データを抽出時点データと共に記憶する抽出特徴情報記憶部９と、映像をディスプレイ１３に表示させる画面表示部１１と、ポインティングデバイスを含む操作部１５とを備える。画面表示部１１は映像表示部１７と共に特徴表現部１９を有しており、特徴表現部１７は、抽出特徴情報記憶部９の特徴量データを用いて後述する特徴表現図形を生成しディスプレイ１３に表示させ、これにより本実施の形態の映像検索機能が実現される。以下、映像検索装置１の各部構成について説明する。
【００２６】
撮像部３は、監視カメラであり、監視場所に設置されている。撮像部３は、レンズ等の光学系と、ＣＣＤ等の撮像素子と、撮像素子により生成された画像信号を処理する構成とを有している。撮像部３は、監視場所を撮影し、監視映像として動画像データを出力する。
【００２７】
映像記録部５は、ハードディスクまたはＤＶＤ等の記録装置であり、撮像部３により撮像された映像（動画像データ）を記録する。映像データは、映像中の各部分の撮影日時（撮影時点）を特定するタイムコードと共に記録される。
【００２８】
特徴情報抽出部７は、画像処理機能を持ったコンピュータ装置で構成されている。特徴情報抽出部７は、撮像部３により撮像された映像を取り込み、映像から所定の特徴量データを抽出する。特徴情報抽出部７は、トリガー検出部が所定の特徴事象に対応する抽出トリガーの発生を検出したときに特徴量データを抽出するように構成されている。本実施の形態では、トリガー検出部が、抽出トリガーとして映像中の被写体の動きを検出する動き検出部であり、特徴情報抽出部７自身に設けられている。
【００２９】
また、本実施の形態では、特徴量データとして、色代表値データが抽出される。特徴量データは、該特徴量データの抽出時点と共に抽出特徴情報記憶部９に格納される。このとき、抽出時点の映像フレームからサムネイル画像が生成され、サムネイル画像も抽出特徴情報記憶部９に特徴量データと関連づけて記録される。
【００３０】
図２は、特徴情報抽出部７の構成を、抽出特徴情報記憶部９に格納されるデータと共に示している。特徴情報抽出部７において、映像入力部２１は、撮像部３または映像記録部５から、撮像部３により撮像された映像を入力する。
【００３１】
動き検出部２３は、映像中の被写体の動きの発生を検出する。動き検出部２３は、新しいフレーム画像が入力されるたびに、新しいフレーム画像を１つ前のフレーム画像と比較して、新しいフレームに生じた動きを検出する。動き検出部２３は、映像中で連続する２枚のフレーム画像の差分合計値を計算する。差分合計値は、２枚の画像における対応画素の画素値差の合計である。動き検出部２３は、差分合計値を所定の動き検出しきい値と比較し、差分合計値が動き検出しきい値以上であれば、動きが発生したと判定する。
【００３２】
色データ抽出部２５は、動き検出部２３が動きを検出すると、動きが検出されたフレームの画像データから、特徴量データとして色代表値データを抽出する。本実施の形態では、色代表値データが、抽出時点の１フレームの画像におけるＲ（赤）、Ｇ（緑）、Ｂ（青）の各色の合計値であり、したがって、３つの色代表値データが算出される。
【００３３】
また、日時取得部２７は、色データ抽出部２５により色代表値データが抽出された時点、すなわち、動き検出部２３が動きを検出した時点の日時データを取得する。この日時データを抽出日時データという。抽出日時データは、特徴情報抽出部７を構成するコンピュータ装置に内蔵される時計から取得される。この抽出日時データは、本発明の抽出時点データに相当する。
【００３４】
サムネイル生成部２９は、色代表値データが抽出された画像データ、すなわち、動き検出部２３が動きを検出した時のフレームの画像データから、サムネイル画像を生成する。サムネイル画像は、小型静止画像の典型的な例である。
【００３５】
特徴情報格納処理部３１は、色データ抽出部２５により抽出された色代表値データ、日時取得部２７により取得された抽出日時データおよびサムネイル生成部２９により生成されたサムネイル画像２９を抽出特徴情報記憶部９に格納する。色代表値データ、抽出日時データおよびサムネイル画像は、図２に示されるように互いに関連づけて記憶される。これらデータは、映像ファイル毎に記憶される。抽出特徴情報記憶部９は、ハードディスクまたはＤＶＤ等の記憶装置である。抽出特徴情報記憶部９と映像記録部５は物理的に同じ記憶装置でもよい。
【００３６】
より詳細には、例えば、抽出特徴情報記憶部９は、映像から得られた抽出日時データと色代表値データのテーブルを記憶すると共に、抽出日時データと関連づけてサムネイル画像を記憶するように構成されている。そして、特徴情報抽出部７は、映像中の動きを検出するたびに、抽出特徴情報記憶部９のテーブルを更新して抽出日時データおよび色代表値データを追加し、サムネイル画像も抽出日時データと共に抽出特徴情報記憶部９に書き込む。
【００３７】
次に、図３を参照し、画面表示部１１の構成を説明する。画面表示部１１は画像処理機能を持ったコンピュータ装置で構成されている。画面表示部１１と特徴情報抽出部７は同じコンピュータで構成されてもよく、別々のコンピュータで構成されてもよい。
【００３８】
画面表示部１１において、映像表示部１７は、操作部１５から入力される指示に従い、映像記録部５から映像データを読み出して、ディスプレイ１３に映像を表示させる。操作部１５は、キーボードおよびポインティングデバイス等を含み、ポインティングデバイスは例えばマウスである。
【００３９】
例えば、画面表示部１１は、画面上に映像の選択メニューを表示する。映像選択メニュー画面は、映像記録部９に記録された複数の映像の中から表示すべき映像を選択するためのメニューの画面である。そして、映像の選択を操作部１５が入力し、映像表示部１７は選択された映像を映像記録部５から読み出してディスプレイ１３に表示させる。映像が符号化されて映像記録部５に記録されている場合には、映像表示部１７が適当な復号機能を有してよい。また、映像表示部１７は、画面上に、再生、停止、早送り、巻戻し、一時停止等の機能ボタンを表示する。機能ボタンの押下げ指示が操作部１５から入力されると、映像表示部１７は、押下げられたボタンに応じた動作を行う。
【００４０】
特徴表現部１９は、ポインティングデバイスを含む操作部１５から入力される指示に従って映像検索のために機能する構成を有する。
【００４１】
特徴表現部１９において、特徴情報検索部４１は、抽出特徴情報記憶部９から、映像表示部１７にて選択された映像に対応するデータを読み出す。読み出されるデータは、特徴量データ、抽出日時データおよびサムネイル画像である。選択された映像に関連した全データが読み出され、画面表示部１１のメモリに保持される。特徴検索指示部４３は、操作部１５から入力される操作者の指示を受け付けて、特徴情報検索部４１に伝える。特徴表示部４５は、特徴情報検索部４１に制御されて、検索のための画像を生成し、ディスプレイ１３に表示させる。
【００４２】
特徴表示部４５において、特徴表現図形生成部５１は、特徴表現図形を生成する。特徴表現図形は、特徴量データと抽出日時データに基づいて生成された、映像の時間軸上に各抽出時点での該当特徴量の大きさを図形で表現した図形である。特徴量の大きさは、点、線、面等の図形で表される。本実施の形態の場合には、特徴量表現図形が棒グラフである。
【００４３】
また、本実施の形態では、特徴表現図形生成部５１は、特徴表現図形を生成する際に、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の色代表値データのうちで、Ｒ（赤）の色代表値データを特徴量データとして用いる。そして、特徴表現図形生成部５１は、各抽出時点でのＲ（赤）の大きさを表現した特徴表現図形を生成する。
【００４４】
マーク生成部５３は、特徴表現図形中で所定のしきい値以上の特徴量が発生した場所に所定のマークを付加する。この処理のため、所定の特徴量しきい値が予め記憶されている。マーク生成部５３は、各々の特徴量（Ｒ代表値データ）を特徴量しきい値と比較する。そして、特徴量がしきい値以上の場合、該当する特徴量の箇所にマークが付される。マークとしては、アイコンが付加される。
【００４５】
サムネイル画像表示部５５は、特徴情報検索部４１から指示されたサムネイル画像をディスプレイ１３の画面中の所定の場所に表示する。
【００４６】
図４は、特徴表現図形を表示したディスプレイ１３の画面を示している。この画面を表示するために、画面表示部１１は、記憶されているＧＵＩ画像リソースを読み込み、さらに、特徴表現部１９を実現する特徴表現プログラムを読み込んで起動する。これにより、画面表示部１１に特徴表現図形の表示が可能になり、特徴表現図形が生成されて表示される。
【００４７】
図４の画面は、映像領域６１、特徴表現領域６３およびサムネイル領域６５で構成されている。映像領域６１は、記録された監視映像としての動画像を表示する領域である。映像領域６１が画面の大部分を占めている。
【００４８】
特徴表現領域６３は、特徴表現図形を表示する領域である。特徴表現領域６３は、画面の下方に配置されており横方向に延びた細長い領域である。本実施の形態では、特徴表現図形として、図示のグラフが表示される。このグラフでは、横軸が時間軸であり、縦軸が特徴量の大きさである。特徴量としては、上述のように、Ｒ（赤）の代表値データが用いられる。横方向には、映像の全範囲を含む時間が表示される。そして、特徴量の大きさに応じた棒状の図が、該当する抽出日時の場所に配置される。このようなグラフが、特徴表現図形生成部５１により生成されて、ディスプレイ１３の所定の特徴表現領域６１に表示される。
【００４９】
また、図４に示されるように、特徴表現図形のグラフには、特徴量しきい値を表すラインＬが表示される。そして、特徴量がしきい値以上の箇所には、特徴量の棒の頂点にマークＭが付加されている。本実施の形態では、マークＭが小さなアイコンである。
【００５０】
また、特徴表現領域６３の右側にはサムネイル領域６５が設けられている。サムネイル領域６５には、サムネイル画像が表示される。サムネイル画像表示部５５は、下記のような操作に従いサムネイル領域６５にサムネイル画像を表示するように構成されている。
【００５１】
操作者は、画面上でポインティングデバイスのポインタ図形を移動させ、ポインタ図形を１つのマークＭの上に位置させる。この操作が本発明の仮選択操作に相当する。ポインタ図形はマークＭの上に停止してもよく、マークＭを通り過ぎてもよい。この操作が行われると、画面表示部１１（特徴表現部１９）は、選択されたマークＭに対応するサムネイル画像を検索して表示する。このとき、図３の画面表示部１１では、マークＭの仮選択操作が、操作部１５から入力されて特徴表現部１９の特徴検索指示部４３に受け付けられる。特徴検索指示部４３は、選択されたマークＭを示す検索指示を特徴情報検索部４１に出す。特徴情報検索部４１は、選択されたマークＭに対応するサムネイル画像を検索する。このとき、特徴情報検索部４１は、選択されたマークＭが付された特徴量データの抽出日時データを特定し、さらに、抽出日時データと関連づけられたサムネイル画像を特定する。そして、特徴情報検索部４１は、検索したサムネイル画像の表示をサムネイル画像表示部５５に指示する。サムネイル画像表示部５５が特徴情報検索部４１の指示に従ってサムネイル画像を画面のサムネイル領域６５に表示する。
【００５２】
さらに、画面表示部１１は、下記の操作に従い、マーク選択に応じて検索された映像を表示するように構成されている。
【００５３】
操作者が１つのマークＭ上でポインティングデバイスにさらに所定の選択決定操作をしたとする。例えば、ポインティングデバイスがマウスであり、マウスのボタンがクリックされる。シングルクリックが選択決定操作に設定されてもよく、また、ダブルクリックが選択決定操作に設定されてもよい。この選択決定操作が入力され、特徴表現部１９の特徴検索指示部４３に受け付けられる。特徴検索指示部４３は、選択されたマークＭと共に選択決定操作を示す検索指示を特徴情報検索部４１に送る。特徴情報検索部４１は、選択されたマークＭが付された特徴量データの抽出日時データを求め、抽出日時を映像表示部１７に伝える。映像表示部１７は、特徴情報検索部４１から伝えられた抽出日時の映像を映像記録部９から検索する。このとき、映像表示部１７は、映像のタイムコードを利用して映像を検索してよい。映像表示部１７は、検索した映像を読み出してディスプレイ１３に表示させる。抽出時点（選択マークの時点）の所定時間の映像が表示される。例えば、３秒程度の映像が表示される。より長く映像が表示されてもよい。抽出時点が映像の開始点でもよい。また、映像表示部１７は、抽出時点の前後の所定時間の映像を表示してもよい。
【００５４】
以上に本実施の形態に係る映像検索装置１の各部の構成について説明した。次に、映像検索装置１の動作を説明する。
【００５５】
図５は、特徴情報抽出部７による特徴量データの抽出の動作を示している。図５に示すように、特徴情報抽出部７では、映像入力部２１により１フレームの画像が入力されるたびに、動き検出部２３が動き検出の処理を行い（Ｓ１１）、動きが発生したか否かを判定する（Ｓ１３）。動きが発生していなければ、ステップＳ１１に戻る。
【００５６】
動きが発生すると、特徴情報抽出部７は、前回の特徴量抽出から所定時間が経過しているか否かを判定する（Ｓ１５）。所定時間は、過度に頻繁な特徴量抽出を避けるために設定されている。所定時間は例えば５秒である。所定時間はフレーム数で表されてもよい。ステップＳ１５の判定がＮｏであれば、特徴量抽出は行われず、処理はステップＳ１１に戻る。
【００５７】
ステップＳ１５の判定がＹｅｓであれば、色データ抽出部２５が、動きが検出されたフレームの画像データから、特徴量データとして色代表値データを抽出する（Ｓ１７）。色代表値データは、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の各色の合計値である。また、日時取得部２７が、動き検出時点の日時である抽出日時データを取得する（Ｓ１９）。さらに、サムネイル生成部２９が、動きを検出時のフレームの画像データからサムネイル画像を生成する（Ｓ２１）。特徴量データ（色代表値データ）、抽出日時データおよびサムネイル画像は抽出特徴情報記憶部９に格納され（Ｓ２３）、そして、特徴情報抽出部７の処理はステップＳ１１に戻る。
【００５８】
このようにして、動き検出と特徴量抽出とが繰り返し行われる。そして、抽出特徴情報記憶部９は、動きが発生するたびに映像から得られる特徴量データ、抽出日時データおよびサムネイル画像を蓄積する。
【００５９】
次に、図６は、画面表示部１１の動作を示している。図６は、主として画面表示部１１の特徴表現部１９の動作を示している。
【００６０】
図６に示されるように、まず、映像記録部５に記録された複数の映像ファイルの中から一つの映像ファイルが選択される（Ｓ３１）。この映像選択は操作部１５から入力される。特徴表現部１９の特徴情報検索部４１は、選択された映像ファイルに対応する全部の特徴量データ、抽出日時データおよびサムネイル画像を抽出特徴情報記憶部９から読み出して取得する（Ｓ３３）。そして、特徴表示部４５が、取得された特徴量データと抽出日時データから特徴表現図形のグラフを生成する（Ｓ３５）。
【００６１】
このとき、映像の全時間が入るように、横方向の時間軸が設定される。そして、特徴表示部４５の特徴表現図形生成部５１は、特徴量データと抽出日時データの１つ目のペアを用いて、該当抽出日時の箇所に、特徴量の大きさに応じた長さの棒図形を配置する。特徴量としては、Ｒ（赤）の代表値が処理される。また、マーク生成部５３は、特徴量としきい値を比較し、特徴量がしきい値以上であれば、特徴量の棒図形の上端にアイコンのマークＭを付加する。同様の処理が、すべての特徴量データと抽出日時データのペアに対して繰り返される。さらに、特徴表現図形生成部５１は、上記したマーク付加のしきい値のラインＬをグラフ中に描く。こうして生成された特徴表現図形は、特徴表示部４５によりディスプレイ１３に表示される（Ｓ３７）。特徴表現図形は、図４を用いて説明したように、映像領域画面６１を避けて画面の下方に設けられた横長の特徴表現領域６３に表示される。
【００６２】
次に、図７は、サムネイル画像および検索映像の表示の動作を示している。図７の動作は、操作者が画面上でポインティングデバイスのポインタ図形を１つのマークＭ（アイコン）の上に位置させたときに行われる。この操作は、仮選択操作に相当する。
【００６３】
図７において、ポインタ図形が移動して１つのマークＭの上に位置すると（Ｓ４１）、この操作が特徴検索指示部４３に受け付けられ、特徴検索指示部４３は、選択されたマークＭを示す検索指示を特徴情報検索部４１に送る（Ｓ４３）。特徴情報検索部４１は、選択されたマークＭに対応するサムネイル画像を検索する。このとき、特徴情報検索部４１は、マークＭが付けられている特徴量データの抽出日時データを求め、抽出日時データと関連づけられたサムネイル画像を特定し、該当サムネイル画像をサムネイル画像表示部５５に表示させる。サムネイル画像表示部５５は、該当サムネイル画像を、図４の特徴表現領域６３の横に設けられたサムネイル領域６５に表示する（Ｓ４５）。
【００６４】
ポインタ図形がマーク上に位置する状態で、さらに、所定の選択決定操作が操作部１５から入力されて、特徴検索指示部４３に受け付けられたとする（Ｓ４７、Ｙｅｓ）。所定の選択決定操作は、既に説明したように、マウスクリック等である。この場合、特徴情報検索部４１は、選択決定操作の対象のマークに対応する抽出日時データを映像表示部１７に伝える。映像表示部１７が、映像記録部５から、抽出日時データに該当する映像を検索し、検索した映像をディスプレイ１３に表示する（Ｓ４９）。該当映像が映像記録部５から読み出されてディスプレイ１３の映像領域６１に表示される。
【００６５】
映像検索装置１が図７の動作を行うので、操作者は下記のようにして映像検索装置１を操作できる。操作者は、特徴表現図形のグラフを見ることで、映像のどこで特徴事象に対応する抽出トリガー（被写体の動き）が発生したかを把握し、各々の特徴事象が発生したときの特徴量のレベルをグラフから把握し、こうして映像の概要を把握する。操作者は、ポインティングデバイスのポインタ図形を時間軸方向（左右方向）に動かし、グラフ中に表示されたマークＭを次々と通るようにポインタ図形を動かす。ポインタ図形がマークＭを通るたびに、該当マークＭに対応するサムネイル画像が表示される。注目すべきサムネイル画像が表示されたとき、操作者は、ポインタ図形がマークＭ上にある状態でマウスクリック等の所定の選択決定操作を行う。この選択決定操作が検索映像の表示の指示として入力されて、時間軸上でマークＭが配置された時点に対応する映像が検索されて、表示される。
【００６６】
以上に映像検索装置１の動作を説明した。次に、映像検索装置１の変形例を説明する。まず、上記の実施の形態では、特徴情報抽出部７の映像入力部２１が、フレーム間の差分をしきい値と比較して動きを検出していた。しかし、動き検出の画像処理はこれに限定されない。
【００６７】
また、動き検出部は、トリガー検出部の一形態である。しかし、トリガー検出部は、他の構成を有していてもよい。トリガー検出部は、音センサ、光センサ、物体検出センサ等のセンサで構成されてもよい。また、トリガー検出部は、監視場所の扉の開閉センサでもよい。
【００６８】
また、本実施の形態では、特徴量データが、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の色代表値データであり、そして、特徴表現図形の作成にはＲの代表値データが用いられた。変形例としては、Ｒの代表値データのみが抽出されてもよい。また、別の変形例としては、ＧまたはＢといった別の色代表値データが用いられてよい。また、描画に使う色代表値データが、Ｒ、Ｇ、Ｂの間で切換可能であってもよい。また、特徴量データは、映像の特徴を表すデータであれば、色以外のデータでもよい。例えば、特徴量データは、動きベクトルのように、映像の動き量のデータでもよい。特徴情報抽出部７は、特徴量データに応じた抽出機能を備えるように構成される。
【００６９】
また、特徴表現図形に関して、本実施の形態では映像の全時間のグラフが一度に表示された。しかし、画面上には映像の一部のグラフが現れており、スクロールによってグラフが時間軸方向に移動可能であってもよい。
【００７０】
また、特徴表現図形の横軸および縦軸のスケールが切換可能であってもよい。例えば、昼間の映像と夜間の映像では縦軸の特徴量のスケールが好適に切り換えられる。
【００７１】
また、特徴表現図形は棒グラフ以外の図形でもよい。例えば、特徴表現図形が折れ線グラフであってもよい。また、色の違いによって特徴量の大きさが表現されてもよく、これも特徴表現図形に含まれる。ただし、本実施の形態の棒グラフは、操作者に直感的かつ容易に映像の概要を把握させることができる点で特に有利である。
【００７２】
以上、本発明の実施の形態に係る映像検索装置１について説明した。本実施の形態の映像検索装置１は、映像から特徴量データを抽出して抽出時点データと共に記憶し、映像の時間軸上に各抽出時点での該当特徴量の大きさを表現した特徴表現図形を生成して表示するので、表示された特徴表現図形から映像の概要を把握することが可能になり、これにより映像検索が容易になる。
【００７３】
また、本実施の形態によれば、特徴事象に対応する抽出トリガーが発生したときの特徴量が特徴表現図形の該当抽出時点の場所に表示されるので、どの時点で特徴事象が発生してそのときの特徴量がどれくらいの大きさであったかといった映像の概要を容易に把握できる特徴表現図形を表示できる。
【００７４】
また、本実施の形態によれば、特徴情報抽出部が抽出トリガーとして映像中の被写体の動きを検出するので、特徴事象の発生を適切に検出して特徴量データを抽出できる。
【００７５】
また、本実施の形態によれば、特徴表現部１９が、特徴表現図形として、第１の軸が時間軸であり、第２の軸が前記特徴量の大きさであるグラフを生成する。したがって、映像の概要を把握しやすい特徴表現図形を提供することができる。
【００７６】
また、本実施の形態によれば、特徴情報抽出部７は、特徴量データとして映像から所定の色代表値データを抽出する。色代表値データを用いることにより、比較的簡単な処理と比較的少ないデータ量でもって特徴量を好適に表すことができる。
【００７７】
また、本実施の形態によれば、特徴表現部１９は、特徴表現図形中で所定の特徴しきい値以上の特徴量が発生した場所にアイコン等の所定のマークを付加する。この構成により、特徴量が大きい箇所を容易に把握できる特徴表現図形を提供できる。
【００７８】
また、本実施の形態によれば、特徴量データおよび抽出時点データと共に、各抽出時点の小型静止画像が記憶される。そして、マークに対する仮選択操作に応答して、選択されたマークに対応する小型静止画像が表示される。この構成により、選択されたマークに対応する小型静止画像を検索して表示することにより、映像内容の把握を助けることができ、映像検索が容易になる。
【００７９】
また、本実施の形態によれば、映像検索装置１は、仮選択操作として、マークの上にポインティングデバイスのポインタ図形が位置したことを検出する。この構成により、ポインタ図形を動かしてマーク上に位置させることにより小型静止画像を表示でき、簡単な操作で映像内容を把握できる。
【００８０】
また、本実施の形態によれば、映像検索装置１は、マークに対する選択決定操作の入力に応答してマークに対応する映像データを映像記録部から取得して表示装置に表示させる。この構成により、選択されたマークに対応する映像を検索して表示することにより、映像内容の把握を助けることができ、映像検索が容易になる。
【００８１】
また、別の観点では、映像検索装置１は、マークの仮選択操作および選択決定操作により、着目する特徴量データの仮選択操作および選択決定操作を実現している。そして、本実施の形態では、仮選択操作で選択された特徴量データに対応する小型静止画像を検索して表示するので、映像内容の把握を助けることができ、映像検索が容易になる。また、本実施の形態では、選択決定操作で選択された特徴量データに対応する時点における映像を検索して表示するので、映像内容の把握を助けることができ、映像検索が容易になる。
【００８２】
以上に本発明の好適な実施の形態を説明した。しかし、本発明は上述の実施の形態に限定されず、当業者が本発明の範囲内で上述の実施の形態を変形可能なことはもちろんである。
【産業上の利用可能性】
【００８３】
以上のように、本発明にかかる映像検索装置は、映像から特徴量データを抽出して抽出時点データと共に記憶し、映像の時間軸上に各抽出時点での該当特徴量の大きさを表現した特徴表現図形を生成して表示することにより、表示された特徴表現図形から映像の概要を把握可能にでき、これにより映像検索を容易にできるという効果を有し、監視システム等として有用である。
【図面の簡単な説明】
【００８４】
【図１】本発明の実施の形態における映像検索装置のブロック図
【図２】特徴情報抽出部の構成を示すブロック図
【図３】画面表示部の構成を示すブロック図
【図４】画面表示例を示す模式図
【図５】映像検索装置の動作を示すフロー図
【図６】映像検索装置の動作を示すフロー図
【図７】映像検索装置の動作を示すフロー図
【符号の説明】
【００８５】
１ 映像検索装置
３ 撮像部
５ 映像記録部
７ 特徴情報抽出部
９ 抽出特徴情報記憶部
１１ 画面表示部
１３ ディスプレイ
１５ 操作部
１７ 映像表示部
１９ 特徴表現部
２１ 映像入力部
２３ 動き検出部
２５ 色データ抽出部
２７ 日時取得部
２９ サムネイル生成部
３１ 特徴情報格納処理部
４１ 特徴情報検索部
４３ 特徴検索指示部
４５ 特徴表示部
５１ 特徴表現図形生成部
５３ マーク生成部
５５ サムネイル画像表示部
【技術分野】
【０００１】
本発明は、映像から所望の映像部分を検索するために用いられる映像検索装置に関するものである。
【背景技術】
【０００２】
従来、映像検索装置は、例えば、監視カメラによって撮影された監視映像から所望の映像部分を検索するために用いられる。監視システムの場合、所望の映像部分は、監視対象の事象が移った部分である。従来一般の映像検索装置は、映像を撮影日時と共に表示する。操作者は、撮影日時を頼りに映像を再生し、所望の映像部分を探索する。
【０００３】
また、特許文献１は、映像探索を容易にする映像検索装置が開示している。該文献の映像検索装置は、時間軸上に登場人物毎の登場区間を棒図形で表示する。操作者は、所望の登場人物の所望の登場区間を選択することにより、所望の映像部分を探索できる。
【０００４】
また、特許文献２の映像検索装置は、映像から所定の時間間隔で静止画像を抜き出し、静止画像を配列し、各静止画像と共にタイムコードの日時を表示する。ユーザは、静止画像を選択して、選択した静止画像から映像を再生することにより、所望の映像部分を探索できる。
【特許文献１】特開２００４−１２７３１１号公報（例えば第５−６ページ、図１）
【特許文献２】特開平１１−１４６３２５号公報（例えば第９ページ、図１８）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の映像検索装置においては、操作者が日時情報を頼りに映像を再生しながら所望の映像部分を探さなければならないため、検索が大変で手間がかかり、検索が容易でないという問題があった。
【０００６】
また、特許文献１および特許文献２の技術では、映像検索がある程度容易にはなっているものの、特徴的部分が映像中のどこに映っているかといった映像の全容を把握するのは容易でなかった。例えば、監視映像を検索する場合に、監視対象が映った特徴部分がどの辺りに映っているかといった概要を直感的に把握することが望ましく、このような全体概要の把握が可能であれば映像検索がさらに容易になると考えられる。
【０００７】
本発明は、従来の問題を解決するためになされたもので、その目的は、映像の概要の把握を可能にして映像検索を容易にすることができる映像検索装置を提供することにある。
【課題を解決するための手段】
【０００８】
本発明の映像検索装置は、撮像された映像を記録する映像記録部と、前記映像から所定の特徴量データを抽出する特徴情報抽出部と、前記特徴情報抽出部により抽出された特徴量データを抽出時点データと共に記憶する抽出特徴情報記憶部と、前記抽出特徴情報記憶部から読み出した前記特徴量データと前記抽出時点データを基に、抽出された特徴量データの大きさを前記映像の時間軸上の抽出時点に図形で表した特徴表現図形を生成し、該特徴表現図形を表示装置に表示させる特徴表現部と、を備えている。特徴表現図形は、点、線、面等の図図形で特徴量データの大きさを表現したものであり、例えば後述する実施の形態における棒グラフである。
【０００９】
この構成により、映像から特徴量データを抽出して抽出時点データと共に記憶し、映像の時間軸上に各抽出時点での該当特徴量の大きさを図形で表現した特徴表現図形を生成して表示するので、表示された特徴表現図形から映像の概要を把握することができ、これにより映像検索が容易になる。
【００１０】
また、本発明の映像検索装置は、所定の特徴事象に対応する抽出トリガーの発生を検出するトリガー検出部を備え、前記特徴情報抽出部は、前記抽出トリガーの発生が検出されたときに前記特徴量データを抽出し、前記特徴表現部は、前記抽出トリガーが発生した時に前記特徴情報抽出部により抽出された前記特徴量データに基づいて前記特徴表現図形を生成する。
【００１１】
この構成により、特徴事象に対応する抽出トリガーが発生したときの特徴量が特徴表現図形の該当抽出時点の場所に表示されるので、どの時点で特徴事象が発生してそのときの特徴量がどれくらいの大きさであったかといった映像の概要を容易に把握できる特徴表現図形を表示できる。
【００１２】
また、本発明の映像検索装置では、前記トリガー検出部は、前記抽出トリガーとして映像中の被写体の動きを検出する動き検出部を含む。この構成により、特徴事象の発生を適切に検出して特徴量データを抽出できる。
【００１３】
また、本発明の映像検索装置において、前記特徴表現部は、前記特徴表現図形として、第１の軸が時間軸であり、第２の軸が前記特徴量の大きさであるグラフを生成する。この構成により、映像の概要を把握しやすい特徴表現図形を提供できる。
【００１４】
また、本発明の映像検索装置において、前記特徴情報抽出部は、前記特徴量データとして前記映像から所定の色代表値データを抽出する。色代表値データは、例えば、ＲＧＢのうちの特定の色値の合計値または平均値である。色代表値データを用いることにより、比較的簡単な処理と比較的少ないデータ量でもって特徴量を好適に表すことができる。
【００１５】
また、本発明の映像検索装置において、前記特徴表現部は、前記特徴表現図形中で所定の特徴しきい値以上の特徴量が発生した場所に所定のマークを付加する。マークは例えばアイコンである。この構成により、特徴量が大きい箇所を容易に把握できる特徴表現図形を提供できる。
【００１６】
また、本発明の映像検索装置において、前記抽出特徴情報記憶部は、前記特徴量データおよび前記抽出時点データと共に、各抽出時点の小型静止画像を記憶し、前記特徴表現部は、前記特徴表現図形中の前記マークに対する仮選択操作に応答して、選択された前記マークに対応する前記小型静止画像を前記表示装置に表示させる。小型静止画像は例えばサムネイル画像である。仮選択操作によるマーク選択はポインティングデバイス等の入力操作部から入力される。この構成により、選択されたマークに対応する小型静止画像を検索して表示することにより、映像内容の把握を助けることができ、映像検索が容易になる。
【００１７】
また、本発明の映像検索装置は、前記仮選択操作として、前記マークの上にポインティングデバイスのポインタ図形が位置したことを検出する。この構成により、ポインタ図形を動かしてマーク上に位置させることにより小型静止画像を表示でき、簡単な操作で映像内容を把握できる。
【００１８】
また、本発明の映像検索装置は、前記マークに対する選択決定操作の入力に応答して前記マークに対応する映像データを前記映像記録部から取得して前記表示装置に表示させる。例えば、映像検索装置は、時間軸上でマークが位置する時点における所定時間の動画を表示する。選択決定操作は入力操作部から入力され、選択決定指示は例えばマウスクリック操作である。この構成により、選択されたマークに対応する映像を検索して表示することにより、映像内容の把握を助けることができ、映像検索が容易になる。
【００１９】
また、本発明の映像検索装置において、前記抽出特徴情報記憶部は、前記特徴量データおよび前記抽出時点データと共に、各抽出時点の小型静止画像を記憶し、前記特徴表現部は、前記特徴表現図形中の特徴量データに対する仮選択操作に応答して、選択された前記特徴量データに対応する前記小型静止画像を前記表示装置に表示させる。仮選択操作による特徴量データの選択は、ポインティングデバイス等の入力操作部から入力される。上述のマークが表示され、マークを選択する仮選択操作によって特徴量データが選択されてもよい。また、小型静止画像は例えばサムネイル画像である。この構成により、選択された特徴量データに対応する小型静止画像を検索して表示するので、映像内容の把握を助けることができ、映像検索が容易になる。
【００２０】
また、本発明の映像検索装置は、前記特徴表現図形中の特徴量データに対する選択決定操作の入力に応答して、選択された前記特徴量データに対応する映像データを前記映像記録部から取得して前記表示装置に表示させる。例えば、時間軸上の選択時点における所定時間の動画が表示される。選択決定操作は入力操作部から入力され、選択決定指示は例えばマウスクリック操作である。上述のマークが表示され、マークの選択決定操作によって特徴量データが選択されてもよい。この構成により、選択された特徴量データに対応する時点における映像を検索して表示するので、映像内容の把握を助けることができ、映像検索が容易になる。
【００２１】
本発明の別の態様における映像検索装置は、撮像された映像から抽出された所定の特徴量データを抽出時点データと共に記憶する抽出特徴情報記憶部と、前記抽出特徴情報記憶部から読み出した前記特徴量データと前記抽出時点データを基に、抽出された特徴量データの大きさを前記映像の時間軸上の抽出時点に図形で表した特徴表現図形を生成し、該特徴表現図形を表示装置に表示させる特徴表現部と、を備えている。この構成によっても上述の利点が得られる。
【００２２】
また、本発明の別の態様は、映像検索装置を構成するコンピュータで実行されるプログラムであって、撮像された映像から抽出された所定の特徴量データを抽出時点データと共に記憶した抽出特徴情報記憶部から特徴量データおよび抽出時点データを読み出し、前記特徴量データと前記抽出時点データを基に、抽出された特徴量データの大きさを前記映像の時間軸上の抽出時点に図形で表した特徴表現図形を生成し、該特徴表現図形を表示装置に表示させる処理を前記コンピュータに実行させる。この構成によっても上述の利点が得られる。
【発明の効果】
【００２３】
本発明は、映像から特徴量データを抽出して抽出時点データと共に記憶し、映像の時間軸上に各抽出時点での該当特徴量の大きさを図形で表現した特徴表現図形を生成して表示することにより、表示された特徴表現図形から映像の概要を把握可能にでき、これにより映像検索を容易にできるという効果を有する映像検索装置を提供することができる。
【発明を実施するための最良の形態】
【００２４】
以下、本発明の実施の形態に係る映像検索装置について、図面を用いて説明する。本実施の形態では、本発明の映像検索装置が監視システムに適用され、監視映像から所望の映像部分を探す作業を支援する機能を持つ。映像検索装置は、画像処理機能を持ったコンピュータにより実現される。
【００２５】
本発明の実施の形態に係る映像検索装置を図１に示す。図１において、映像検索装置１は、撮像部３により撮像された映像を記録する映像記録部５と、映像から所定の特徴量データを抽出する特徴情報抽出部７と、特徴情報抽出部７により抽出された特徴量データを抽出時点データと共に記憶する抽出特徴情報記憶部９と、映像をディスプレイ１３に表示させる画面表示部１１と、ポインティングデバイスを含む操作部１５とを備える。画面表示部１１は映像表示部１７と共に特徴表現部１９を有しており、特徴表現部１７は、抽出特徴情報記憶部９の特徴量データを用いて後述する特徴表現図形を生成しディスプレイ１３に表示させ、これにより本実施の形態の映像検索機能が実現される。以下、映像検索装置１の各部構成について説明する。
【００２６】
撮像部３は、監視カメラであり、監視場所に設置されている。撮像部３は、レンズ等の光学系と、ＣＣＤ等の撮像素子と、撮像素子により生成された画像信号を処理する構成とを有している。撮像部３は、監視場所を撮影し、監視映像として動画像データを出力する。
【００２７】
映像記録部５は、ハードディスクまたはＤＶＤ等の記録装置であり、撮像部３により撮像された映像（動画像データ）を記録する。映像データは、映像中の各部分の撮影日時（撮影時点）を特定するタイムコードと共に記録される。
【００２８】
特徴情報抽出部７は、画像処理機能を持ったコンピュータ装置で構成されている。特徴情報抽出部７は、撮像部３により撮像された映像を取り込み、映像から所定の特徴量データを抽出する。特徴情報抽出部７は、トリガー検出部が所定の特徴事象に対応する抽出トリガーの発生を検出したときに特徴量データを抽出するように構成されている。本実施の形態では、トリガー検出部が、抽出トリガーとして映像中の被写体の動きを検出する動き検出部であり、特徴情報抽出部７自身に設けられている。
【００２９】
また、本実施の形態では、特徴量データとして、色代表値データが抽出される。特徴量データは、該特徴量データの抽出時点と共に抽出特徴情報記憶部９に格納される。このとき、抽出時点の映像フレームからサムネイル画像が生成され、サムネイル画像も抽出特徴情報記憶部９に特徴量データと関連づけて記録される。
【００３０】
図２は、特徴情報抽出部７の構成を、抽出特徴情報記憶部９に格納されるデータと共に示している。特徴情報抽出部７において、映像入力部２１は、撮像部３または映像記録部５から、撮像部３により撮像された映像を入力する。
【００３１】
動き検出部２３は、映像中の被写体の動きの発生を検出する。動き検出部２３は、新しいフレーム画像が入力されるたびに、新しいフレーム画像を１つ前のフレーム画像と比較して、新しいフレームに生じた動きを検出する。動き検出部２３は、映像中で連続する２枚のフレーム画像の差分合計値を計算する。差分合計値は、２枚の画像における対応画素の画素値差の合計である。動き検出部２３は、差分合計値を所定の動き検出しきい値と比較し、差分合計値が動き検出しきい値以上であれば、動きが発生したと判定する。
【００３２】
色データ抽出部２５は、動き検出部２３が動きを検出すると、動きが検出されたフレームの画像データから、特徴量データとして色代表値データを抽出する。本実施の形態では、色代表値データが、抽出時点の１フレームの画像におけるＲ（赤）、Ｇ（緑）、Ｂ（青）の各色の合計値であり、したがって、３つの色代表値データが算出される。
【００３３】
また、日時取得部２７は、色データ抽出部２５により色代表値データが抽出された時点、すなわち、動き検出部２３が動きを検出した時点の日時データを取得する。この日時データを抽出日時データという。抽出日時データは、特徴情報抽出部７を構成するコンピュータ装置に内蔵される時計から取得される。この抽出日時データは、本発明の抽出時点データに相当する。
【００３４】
サムネイル生成部２９は、色代表値データが抽出された画像データ、すなわち、動き検出部２３が動きを検出した時のフレームの画像データから、サムネイル画像を生成する。サムネイル画像は、小型静止画像の典型的な例である。
【００３５】
特徴情報格納処理部３１は、色データ抽出部２５により抽出された色代表値データ、日時取得部２７により取得された抽出日時データおよびサムネイル生成部２９により生成されたサムネイル画像２９を抽出特徴情報記憶部９に格納する。色代表値データ、抽出日時データおよびサムネイル画像は、図２に示されるように互いに関連づけて記憶される。これらデータは、映像ファイル毎に記憶される。抽出特徴情報記憶部９は、ハードディスクまたはＤＶＤ等の記憶装置である。抽出特徴情報記憶部９と映像記録部５は物理的に同じ記憶装置でもよい。
【００３６】
より詳細には、例えば、抽出特徴情報記憶部９は、映像から得られた抽出日時データと色代表値データのテーブルを記憶すると共に、抽出日時データと関連づけてサムネイル画像を記憶するように構成されている。そして、特徴情報抽出部７は、映像中の動きを検出するたびに、抽出特徴情報記憶部９のテーブルを更新して抽出日時データおよび色代表値データを追加し、サムネイル画像も抽出日時データと共に抽出特徴情報記憶部９に書き込む。
【００３７】
次に、図３を参照し、画面表示部１１の構成を説明する。画面表示部１１は画像処理機能を持ったコンピュータ装置で構成されている。画面表示部１１と特徴情報抽出部７は同じコンピュータで構成されてもよく、別々のコンピュータで構成されてもよい。
【００３８】
画面表示部１１において、映像表示部１７は、操作部１５から入力される指示に従い、映像記録部５から映像データを読み出して、ディスプレイ１３に映像を表示させる。操作部１５は、キーボードおよびポインティングデバイス等を含み、ポインティングデバイスは例えばマウスである。
【００３９】
例えば、画面表示部１１は、画面上に映像の選択メニューを表示する。映像選択メニュー画面は、映像記録部９に記録された複数の映像の中から表示すべき映像を選択するためのメニューの画面である。そして、映像の選択を操作部１５が入力し、映像表示部１７は選択された映像を映像記録部５から読み出してディスプレイ１３に表示させる。映像が符号化されて映像記録部５に記録されている場合には、映像表示部１７が適当な復号機能を有してよい。また、映像表示部１７は、画面上に、再生、停止、早送り、巻戻し、一時停止等の機能ボタンを表示する。機能ボタンの押下げ指示が操作部１５から入力されると、映像表示部１７は、押下げられたボタンに応じた動作を行う。
【００４０】
特徴表現部１９は、ポインティングデバイスを含む操作部１５から入力される指示に従って映像検索のために機能する構成を有する。
【００４１】
特徴表現部１９において、特徴情報検索部４１は、抽出特徴情報記憶部９から、映像表示部１７にて選択された映像に対応するデータを読み出す。読み出されるデータは、特徴量データ、抽出日時データおよびサムネイル画像である。選択された映像に関連した全データが読み出され、画面表示部１１のメモリに保持される。特徴検索指示部４３は、操作部１５から入力される操作者の指示を受け付けて、特徴情報検索部４１に伝える。特徴表示部４５は、特徴情報検索部４１に制御されて、検索のための画像を生成し、ディスプレイ１３に表示させる。
【００４２】
特徴表示部４５において、特徴表現図形生成部５１は、特徴表現図形を生成する。特徴表現図形は、特徴量データと抽出日時データに基づいて生成された、映像の時間軸上に各抽出時点での該当特徴量の大きさを図形で表現した図形である。特徴量の大きさは、点、線、面等の図形で表される。本実施の形態の場合には、特徴量表現図形が棒グラフである。
【００４３】
また、本実施の形態では、特徴表現図形生成部５１は、特徴表現図形を生成する際に、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の色代表値データのうちで、Ｒ（赤）の色代表値データを特徴量データとして用いる。そして、特徴表現図形生成部５１は、各抽出時点でのＲ（赤）の大きさを表現した特徴表現図形を生成する。
【００４４】
マーク生成部５３は、特徴表現図形中で所定のしきい値以上の特徴量が発生した場所に所定のマークを付加する。この処理のため、所定の特徴量しきい値が予め記憶されている。マーク生成部５３は、各々の特徴量（Ｒ代表値データ）を特徴量しきい値と比較する。そして、特徴量がしきい値以上の場合、該当する特徴量の箇所にマークが付される。マークとしては、アイコンが付加される。
【００４５】
サムネイル画像表示部５５は、特徴情報検索部４１から指示されたサムネイル画像をディスプレイ１３の画面中の所定の場所に表示する。
【００４６】
図４は、特徴表現図形を表示したディスプレイ１３の画面を示している。この画面を表示するために、画面表示部１１は、記憶されているＧＵＩ画像リソースを読み込み、さらに、特徴表現部１９を実現する特徴表現プログラムを読み込んで起動する。これにより、画面表示部１１に特徴表現図形の表示が可能になり、特徴表現図形が生成されて表示される。
【００４７】
図４の画面は、映像領域６１、特徴表現領域６３およびサムネイル領域６５で構成されている。映像領域６１は、記録された監視映像としての動画像を表示する領域である。映像領域６１が画面の大部分を占めている。
【００４８】
特徴表現領域６３は、特徴表現図形を表示する領域である。特徴表現領域６３は、画面の下方に配置されており横方向に延びた細長い領域である。本実施の形態では、特徴表現図形として、図示のグラフが表示される。このグラフでは、横軸が時間軸であり、縦軸が特徴量の大きさである。特徴量としては、上述のように、Ｒ（赤）の代表値データが用いられる。横方向には、映像の全範囲を含む時間が表示される。そして、特徴量の大きさに応じた棒状の図が、該当する抽出日時の場所に配置される。このようなグラフが、特徴表現図形生成部５１により生成されて、ディスプレイ１３の所定の特徴表現領域６１に表示される。
【００４９】
また、図４に示されるように、特徴表現図形のグラフには、特徴量しきい値を表すラインＬが表示される。そして、特徴量がしきい値以上の箇所には、特徴量の棒の頂点にマークＭが付加されている。本実施の形態では、マークＭが小さなアイコンである。
【００５０】
また、特徴表現領域６３の右側にはサムネイル領域６５が設けられている。サムネイル領域６５には、サムネイル画像が表示される。サムネイル画像表示部５５は、下記のような操作に従いサムネイル領域６５にサムネイル画像を表示するように構成されている。
【００５１】
操作者は、画面上でポインティングデバイスのポインタ図形を移動させ、ポインタ図形を１つのマークＭの上に位置させる。この操作が本発明の仮選択操作に相当する。ポインタ図形はマークＭの上に停止してもよく、マークＭを通り過ぎてもよい。この操作が行われると、画面表示部１１（特徴表現部１９）は、選択されたマークＭに対応するサムネイル画像を検索して表示する。このとき、図３の画面表示部１１では、マークＭの仮選択操作が、操作部１５から入力されて特徴表現部１９の特徴検索指示部４３に受け付けられる。特徴検索指示部４３は、選択されたマークＭを示す検索指示を特徴情報検索部４１に出す。特徴情報検索部４１は、選択されたマークＭに対応するサムネイル画像を検索する。このとき、特徴情報検索部４１は、選択されたマークＭが付された特徴量データの抽出日時データを特定し、さらに、抽出日時データと関連づけられたサムネイル画像を特定する。そして、特徴情報検索部４１は、検索したサムネイル画像の表示をサムネイル画像表示部５５に指示する。サムネイル画像表示部５５が特徴情報検索部４１の指示に従ってサムネイル画像を画面のサムネイル領域６５に表示する。
【００５２】
さらに、画面表示部１１は、下記の操作に従い、マーク選択に応じて検索された映像を表示するように構成されている。
【００５３】
操作者が１つのマークＭ上でポインティングデバイスにさらに所定の選択決定操作をしたとする。例えば、ポインティングデバイスがマウスであり、マウスのボタンがクリックされる。シングルクリックが選択決定操作に設定されてもよく、また、ダブルクリックが選択決定操作に設定されてもよい。この選択決定操作が入力され、特徴表現部１９の特徴検索指示部４３に受け付けられる。特徴検索指示部４３は、選択されたマークＭと共に選択決定操作を示す検索指示を特徴情報検索部４１に送る。特徴情報検索部４１は、選択されたマークＭが付された特徴量データの抽出日時データを求め、抽出日時を映像表示部１７に伝える。映像表示部１７は、特徴情報検索部４１から伝えられた抽出日時の映像を映像記録部９から検索する。このとき、映像表示部１７は、映像のタイムコードを利用して映像を検索してよい。映像表示部１７は、検索した映像を読み出してディスプレイ１３に表示させる。抽出時点（選択マークの時点）の所定時間の映像が表示される。例えば、３秒程度の映像が表示される。より長く映像が表示されてもよい。抽出時点が映像の開始点でもよい。また、映像表示部１７は、抽出時点の前後の所定時間の映像を表示してもよい。
【００５４】
以上に本実施の形態に係る映像検索装置１の各部の構成について説明した。次に、映像検索装置１の動作を説明する。
【００５５】
図５は、特徴情報抽出部７による特徴量データの抽出の動作を示している。図５に示すように、特徴情報抽出部７では、映像入力部２１により１フレームの画像が入力されるたびに、動き検出部２３が動き検出の処理を行い（Ｓ１１）、動きが発生したか否かを判定する（Ｓ１３）。動きが発生していなければ、ステップＳ１１に戻る。
【００５６】
動きが発生すると、特徴情報抽出部７は、前回の特徴量抽出から所定時間が経過しているか否かを判定する（Ｓ１５）。所定時間は、過度に頻繁な特徴量抽出を避けるために設定されている。所定時間は例えば５秒である。所定時間はフレーム数で表されてもよい。ステップＳ１５の判定がＮｏであれば、特徴量抽出は行われず、処理はステップＳ１１に戻る。
【００５７】
ステップＳ１５の判定がＹｅｓであれば、色データ抽出部２５が、動きが検出されたフレームの画像データから、特徴量データとして色代表値データを抽出する（Ｓ１７）。色代表値データは、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の各色の合計値である。また、日時取得部２７が、動き検出時点の日時である抽出日時データを取得する（Ｓ１９）。さらに、サムネイル生成部２９が、動きを検出時のフレームの画像データからサムネイル画像を生成する（Ｓ２１）。特徴量データ（色代表値データ）、抽出日時データおよびサムネイル画像は抽出特徴情報記憶部９に格納され（Ｓ２３）、そして、特徴情報抽出部７の処理はステップＳ１１に戻る。
【００５８】
このようにして、動き検出と特徴量抽出とが繰り返し行われる。そして、抽出特徴情報記憶部９は、動きが発生するたびに映像から得られる特徴量データ、抽出日時データおよびサムネイル画像を蓄積する。
【００５９】
次に、図６は、画面表示部１１の動作を示している。図６は、主として画面表示部１１の特徴表現部１９の動作を示している。
【００６０】
図６に示されるように、まず、映像記録部５に記録された複数の映像ファイルの中から一つの映像ファイルが選択される（Ｓ３１）。この映像選択は操作部１５から入力される。特徴表現部１９の特徴情報検索部４１は、選択された映像ファイルに対応する全部の特徴量データ、抽出日時データおよびサムネイル画像を抽出特徴情報記憶部９から読み出して取得する（Ｓ３３）。そして、特徴表示部４５が、取得された特徴量データと抽出日時データから特徴表現図形のグラフを生成する（Ｓ３５）。
【００６１】
このとき、映像の全時間が入るように、横方向の時間軸が設定される。そして、特徴表示部４５の特徴表現図形生成部５１は、特徴量データと抽出日時データの１つ目のペアを用いて、該当抽出日時の箇所に、特徴量の大きさに応じた長さの棒図形を配置する。特徴量としては、Ｒ（赤）の代表値が処理される。また、マーク生成部５３は、特徴量としきい値を比較し、特徴量がしきい値以上であれば、特徴量の棒図形の上端にアイコンのマークＭを付加する。同様の処理が、すべての特徴量データと抽出日時データのペアに対して繰り返される。さらに、特徴表現図形生成部５１は、上記したマーク付加のしきい値のラインＬをグラフ中に描く。こうして生成された特徴表現図形は、特徴表示部４５によりディスプレイ１３に表示される（Ｓ３７）。特徴表現図形は、図４を用いて説明したように、映像領域画面６１を避けて画面の下方に設けられた横長の特徴表現領域６３に表示される。
【００６２】
次に、図７は、サムネイル画像および検索映像の表示の動作を示している。図７の動作は、操作者が画面上でポインティングデバイスのポインタ図形を１つのマークＭ（アイコン）の上に位置させたときに行われる。この操作は、仮選択操作に相当する。
【００６３】
図７において、ポインタ図形が移動して１つのマークＭの上に位置すると（Ｓ４１）、この操作が特徴検索指示部４３に受け付けられ、特徴検索指示部４３は、選択されたマークＭを示す検索指示を特徴情報検索部４１に送る（Ｓ４３）。特徴情報検索部４１は、選択されたマークＭに対応するサムネイル画像を検索する。このとき、特徴情報検索部４１は、マークＭが付けられている特徴量データの抽出日時データを求め、抽出日時データと関連づけられたサムネイル画像を特定し、該当サムネイル画像をサムネイル画像表示部５５に表示させる。サムネイル画像表示部５５は、該当サムネイル画像を、図４の特徴表現領域６３の横に設けられたサムネイル領域６５に表示する（Ｓ４５）。
【００６４】
ポインタ図形がマーク上に位置する状態で、さらに、所定の選択決定操作が操作部１５から入力されて、特徴検索指示部４３に受け付けられたとする（Ｓ４７、Ｙｅｓ）。所定の選択決定操作は、既に説明したように、マウスクリック等である。この場合、特徴情報検索部４１は、選択決定操作の対象のマークに対応する抽出日時データを映像表示部１７に伝える。映像表示部１７が、映像記録部５から、抽出日時データに該当する映像を検索し、検索した映像をディスプレイ１３に表示する（Ｓ４９）。該当映像が映像記録部５から読み出されてディスプレイ１３の映像領域６１に表示される。
【００６５】
映像検索装置１が図７の動作を行うので、操作者は下記のようにして映像検索装置１を操作できる。操作者は、特徴表現図形のグラフを見ることで、映像のどこで特徴事象に対応する抽出トリガー（被写体の動き）が発生したかを把握し、各々の特徴事象が発生したときの特徴量のレベルをグラフから把握し、こうして映像の概要を把握する。操作者は、ポインティングデバイスのポインタ図形を時間軸方向（左右方向）に動かし、グラフ中に表示されたマークＭを次々と通るようにポインタ図形を動かす。ポインタ図形がマークＭを通るたびに、該当マークＭに対応するサムネイル画像が表示される。注目すべきサムネイル画像が表示されたとき、操作者は、ポインタ図形がマークＭ上にある状態でマウスクリック等の所定の選択決定操作を行う。この選択決定操作が検索映像の表示の指示として入力されて、時間軸上でマークＭが配置された時点に対応する映像が検索されて、表示される。
【００６６】
以上に映像検索装置１の動作を説明した。次に、映像検索装置１の変形例を説明する。まず、上記の実施の形態では、特徴情報抽出部７の映像入力部２１が、フレーム間の差分をしきい値と比較して動きを検出していた。しかし、動き検出の画像処理はこれに限定されない。
【００６７】
また、動き検出部は、トリガー検出部の一形態である。しかし、トリガー検出部は、他の構成を有していてもよい。トリガー検出部は、音センサ、光センサ、物体検出センサ等のセンサで構成されてもよい。また、トリガー検出部は、監視場所の扉の開閉センサでもよい。
【００６８】
また、本実施の形態では、特徴量データが、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の色代表値データであり、そして、特徴表現図形の作成にはＲの代表値データが用いられた。変形例としては、Ｒの代表値データのみが抽出されてもよい。また、別の変形例としては、ＧまたはＢといった別の色代表値データが用いられてよい。また、描画に使う色代表値データが、Ｒ、Ｇ、Ｂの間で切換可能であってもよい。また、特徴量データは、映像の特徴を表すデータであれば、色以外のデータでもよい。例えば、特徴量データは、動きベクトルのように、映像の動き量のデータでもよい。特徴情報抽出部７は、特徴量データに応じた抽出機能を備えるように構成される。
【００６９】
また、特徴表現図形に関して、本実施の形態では映像の全時間のグラフが一度に表示された。しかし、画面上には映像の一部のグラフが現れており、スクロールによってグラフが時間軸方向に移動可能であってもよい。
【００７０】
また、特徴表現図形の横軸および縦軸のスケールが切換可能であってもよい。例えば、昼間の映像と夜間の映像では縦軸の特徴量のスケールが好適に切り換えられる。
【００７１】
また、特徴表現図形は棒グラフ以外の図形でもよい。例えば、特徴表現図形が折れ線グラフであってもよい。また、色の違いによって特徴量の大きさが表現されてもよく、これも特徴表現図形に含まれる。ただし、本実施の形態の棒グラフは、操作者に直感的かつ容易に映像の概要を把握させることができる点で特に有利である。
【００７２】
以上、本発明の実施の形態に係る映像検索装置１について説明した。本実施の形態の映像検索装置１は、映像から特徴量データを抽出して抽出時点データと共に記憶し、映像の時間軸上に各抽出時点での該当特徴量の大きさを表現した特徴表現図形を生成して表示するので、表示された特徴表現図形から映像の概要を把握することが可能になり、これにより映像検索が容易になる。
【００７３】
また、本実施の形態によれば、特徴事象に対応する抽出トリガーが発生したときの特徴量が特徴表現図形の該当抽出時点の場所に表示されるので、どの時点で特徴事象が発生してそのときの特徴量がどれくらいの大きさであったかといった映像の概要を容易に把握できる特徴表現図形を表示できる。
【００７４】
また、本実施の形態によれば、特徴情報抽出部が抽出トリガーとして映像中の被写体の動きを検出するので、特徴事象の発生を適切に検出して特徴量データを抽出できる。
【００７５】
また、本実施の形態によれば、特徴表現部１９が、特徴表現図形として、第１の軸が時間軸であり、第２の軸が前記特徴量の大きさであるグラフを生成する。したがって、映像の概要を把握しやすい特徴表現図形を提供することができる。
【００７６】
また、本実施の形態によれば、特徴情報抽出部７は、特徴量データとして映像から所定の色代表値データを抽出する。色代表値データを用いることにより、比較的簡単な処理と比較的少ないデータ量でもって特徴量を好適に表すことができる。
【００７７】
また、本実施の形態によれば、特徴表現部１９は、特徴表現図形中で所定の特徴しきい値以上の特徴量が発生した場所にアイコン等の所定のマークを付加する。この構成により、特徴量が大きい箇所を容易に把握できる特徴表現図形を提供できる。
【００７８】
また、本実施の形態によれば、特徴量データおよび抽出時点データと共に、各抽出時点の小型静止画像が記憶される。そして、マークに対する仮選択操作に応答して、選択されたマークに対応する小型静止画像が表示される。この構成により、選択されたマークに対応する小型静止画像を検索して表示することにより、映像内容の把握を助けることができ、映像検索が容易になる。
【００７９】
また、本実施の形態によれば、映像検索装置１は、仮選択操作として、マークの上にポインティングデバイスのポインタ図形が位置したことを検出する。この構成により、ポインタ図形を動かしてマーク上に位置させることにより小型静止画像を表示でき、簡単な操作で映像内容を把握できる。
【００８０】
また、本実施の形態によれば、映像検索装置１は、マークに対する選択決定操作の入力に応答してマークに対応する映像データを映像記録部から取得して表示装置に表示させる。この構成により、選択されたマークに対応する映像を検索して表示することにより、映像内容の把握を助けることができ、映像検索が容易になる。
【００８１】
また、別の観点では、映像検索装置１は、マークの仮選択操作および選択決定操作により、着目する特徴量データの仮選択操作および選択決定操作を実現している。そして、本実施の形態では、仮選択操作で選択された特徴量データに対応する小型静止画像を検索して表示するので、映像内容の把握を助けることができ、映像検索が容易になる。また、本実施の形態では、選択決定操作で選択された特徴量データに対応する時点における映像を検索して表示するので、映像内容の把握を助けることができ、映像検索が容易になる。
【００８２】
以上に本発明の好適な実施の形態を説明した。しかし、本発明は上述の実施の形態に限定されず、当業者が本発明の範囲内で上述の実施の形態を変形可能なことはもちろんである。
【産業上の利用可能性】
【００８３】
以上のように、本発明にかかる映像検索装置は、映像から特徴量データを抽出して抽出時点データと共に記憶し、映像の時間軸上に各抽出時点での該当特徴量の大きさを表現した特徴表現図形を生成して表示することにより、表示された特徴表現図形から映像の概要を把握可能にでき、これにより映像検索を容易にできるという効果を有し、監視システム等として有用である。
【図面の簡単な説明】
【００８４】
【図１】本発明の実施の形態における映像検索装置のブロック図
【図２】特徴情報抽出部の構成を示すブロック図
【図３】画面表示部の構成を示すブロック図
【図４】画面表示例を示す模式図
【図５】映像検索装置の動作を示すフロー図
【図６】映像検索装置の動作を示すフロー図
【図７】映像検索装置の動作を示すフロー図
【符号の説明】
【００８５】
１ 映像検索装置
３ 撮像部
５ 映像記録部
７ 特徴情報抽出部
９ 抽出特徴情報記憶部
１１ 画面表示部
１３ ディスプレイ
１５ 操作部
１７ 映像表示部
１９ 特徴表現部
２１ 映像入力部
２３ 動き検出部
２５ 色データ抽出部
２７ 日時取得部
２９ サムネイル生成部
３１ 特徴情報格納処理部
４１ 特徴情報検索部
４３ 特徴検索指示部
４５ 特徴表示部
５１ 特徴表現図形生成部
５３ マーク生成部
５５ サムネイル画像表示部
【特許請求の範囲】
【請求項１】
撮像された映像を記録する映像記録部と、
前記映像から所定の特徴量データを抽出する特徴情報抽出部と、
前記特徴情報抽出部により抽出された特徴量データを抽出時点データと共に記憶する抽出特徴情報記憶部と、
前記抽出特徴情報記憶部から読み出した前記特徴量データと前記抽出時点データを基に、抽出された特徴量データの大きさを前記映像の時間軸上の抽出時点に図形で表した特徴表現図形を生成し、該特徴表現図形を表示装置に表示させる特徴表現部と、
を備えたことを特徴とする映像検索装置。
【請求項２】
所定の特徴事象に対応する抽出トリガーの発生を検出するトリガー検出部を備え、
前記特徴情報抽出部は、前記抽出トリガーの発生が検出されたときに前記特徴量データを抽出し、
前記特徴表現部は、前記抽出トリガーが発生した時に前記特徴情報抽出部により抽出された前記特徴量データに基づいて前記特徴表現図形を生成することを特徴とする請求項１に記載の映像検索装置。
【請求項３】
前記トリガー検出部は、前記抽出トリガーとして映像中の被写体の動きを検出する動き検出部を含むことを特徴とする請求項２に記載の映像検索装置。
【請求項４】
前記特徴表現部は、前記特徴表現図形として、第１の軸が時間軸であり、第２の軸が前記特徴量の大きさであるグラフを生成することを特徴とする請求項１ないし３のいずれかに記載の映像検索装置。
【請求項５】
前記特徴情報抽出部は、前記特徴量データとして前記映像から所定の色代表値データを抽出することを特徴とする請求項１ないし４のいずれかに記載の映像検索装置。
【請求項６】
前記特徴表現部は、前記特徴表現図形中で所定の特徴しきい値以上の特徴量が発生した場所に所定のマークを付加することを特徴とする請求項１ないし５のいずれかに記載の映像検索装置。
【請求項７】
前記抽出特徴情報記憶部は、前記特徴量データおよび前記抽出時点データと共に、各抽出時点の小型静止画像を記憶し、
前記特徴表現部は、前記特徴表現図形中の前記マークに対する仮選択操作に応答して、選択された前記マークに対応する前記小型静止画像を前記表示装置に表示させることを特徴とする請求項６に記載の映像検索装置。
【請求項８】
前記仮選択操作として、前記マークの上にポインティングデバイスのポインタ図形が位置したことを検出することを特徴とする請求項７に記載の映像検索装置。
【請求項９】
前記マークに対する選択決定操作の入力に応答して前記マークに対応する映像データを前記映像記録部から取得して前記表示装置に表示させることを特徴とする請求項６ないし８のいずれかに記載の映像検索装置。
【請求項１０】
前記抽出特徴情報記憶部は、前記特徴量データおよび前記抽出時点データと共に、各抽出時点の小型静止画像を記憶し、
前記特徴表現部は、前記特徴表現図形中の特徴量データに対する仮選択操作に応答して、選択された前記特徴量データに対応する前記小型静止画像を前記表示装置に表示させることを特徴とする請求項１ないし５のいずれかに記載の映像検索装置。
【請求項１１】
前記特徴表現図形中の特徴量データに対する選択決定操作の入力に応答して、選択された前記特徴量データに対応する映像データを前記映像記録部から取得して前記表示装置に表示させることを特徴とする請求項１ないし５のいずれかに記載の映像検索装置。
【請求項１２】
撮像された映像から抽出された所定の特徴量データを抽出時点データと共に記憶する抽出特徴情報記憶部と、
前記抽出特徴情報記憶部から読み出した前記特徴量データと前記抽出時点データを基に、抽出された特徴量データの大きさを前記映像の時間軸上の抽出時点に図形で表した特徴表現図形を生成し、該特徴表現図形を表示装置に表示させる特徴表現部と、
を備えたことを特徴とする映像検索装置。
【請求項１３】
映像検索装置を構成するコンピュータで実行されるプログラムであって、
撮像された映像から抽出された所定の特徴量データを抽出時点データと共に記憶した抽出特徴情報記憶部から特徴量データおよび抽出時点データを読み出し、前記特徴量データと前記抽出時点データを基に、抽出された特徴量データの大きさを前記映像の時間軸上の抽出時点に図形で表した特徴表現図形を生成し、該特徴表現図形を表示装置に表示させる処理を前記コンピュータに実行させることを特徴とするプログラム。
【請求項１】
撮像された映像を記録する映像記録部と、
前記映像から所定の特徴量データを抽出する特徴情報抽出部と、
前記特徴情報抽出部により抽出された特徴量データを抽出時点データと共に記憶する抽出特徴情報記憶部と、
前記抽出特徴情報記憶部から読み出した前記特徴量データと前記抽出時点データを基に、抽出された特徴量データの大きさを前記映像の時間軸上の抽出時点に図形で表した特徴表現図形を生成し、該特徴表現図形を表示装置に表示させる特徴表現部と、
を備えたことを特徴とする映像検索装置。
【請求項２】
所定の特徴事象に対応する抽出トリガーの発生を検出するトリガー検出部を備え、
前記特徴情報抽出部は、前記抽出トリガーの発生が検出されたときに前記特徴量データを抽出し、
前記特徴表現部は、前記抽出トリガーが発生した時に前記特徴情報抽出部により抽出された前記特徴量データに基づいて前記特徴表現図形を生成することを特徴とする請求項１に記載の映像検索装置。
【請求項３】
前記トリガー検出部は、前記抽出トリガーとして映像中の被写体の動きを検出する動き検出部を含むことを特徴とする請求項２に記載の映像検索装置。
【請求項４】
前記特徴表現部は、前記特徴表現図形として、第１の軸が時間軸であり、第２の軸が前記特徴量の大きさであるグラフを生成することを特徴とする請求項１ないし３のいずれかに記載の映像検索装置。
【請求項５】
前記特徴情報抽出部は、前記特徴量データとして前記映像から所定の色代表値データを抽出することを特徴とする請求項１ないし４のいずれかに記載の映像検索装置。
【請求項６】
前記特徴表現部は、前記特徴表現図形中で所定の特徴しきい値以上の特徴量が発生した場所に所定のマークを付加することを特徴とする請求項１ないし５のいずれかに記載の映像検索装置。
【請求項７】
前記抽出特徴情報記憶部は、前記特徴量データおよび前記抽出時点データと共に、各抽出時点の小型静止画像を記憶し、
前記特徴表現部は、前記特徴表現図形中の前記マークに対する仮選択操作に応答して、選択された前記マークに対応する前記小型静止画像を前記表示装置に表示させることを特徴とする請求項６に記載の映像検索装置。
【請求項８】
前記仮選択操作として、前記マークの上にポインティングデバイスのポインタ図形が位置したことを検出することを特徴とする請求項７に記載の映像検索装置。
【請求項９】
前記マークに対する選択決定操作の入力に応答して前記マークに対応する映像データを前記映像記録部から取得して前記表示装置に表示させることを特徴とする請求項６ないし８のいずれかに記載の映像検索装置。
【請求項１０】
前記抽出特徴情報記憶部は、前記特徴量データおよび前記抽出時点データと共に、各抽出時点の小型静止画像を記憶し、
前記特徴表現部は、前記特徴表現図形中の特徴量データに対する仮選択操作に応答して、選択された前記特徴量データに対応する前記小型静止画像を前記表示装置に表示させることを特徴とする請求項１ないし５のいずれかに記載の映像検索装置。
【請求項１１】
前記特徴表現図形中の特徴量データに対する選択決定操作の入力に応答して、選択された前記特徴量データに対応する映像データを前記映像記録部から取得して前記表示装置に表示させることを特徴とする請求項１ないし５のいずれかに記載の映像検索装置。
【請求項１２】
撮像された映像から抽出された所定の特徴量データを抽出時点データと共に記憶する抽出特徴情報記憶部と、
前記抽出特徴情報記憶部から読み出した前記特徴量データと前記抽出時点データを基に、抽出された特徴量データの大きさを前記映像の時間軸上の抽出時点に図形で表した特徴表現図形を生成し、該特徴表現図形を表示装置に表示させる特徴表現部と、
を備えたことを特徴とする映像検索装置。
【請求項１３】
映像検索装置を構成するコンピュータで実行されるプログラムであって、
撮像された映像から抽出された所定の特徴量データを抽出時点データと共に記憶した抽出特徴情報記憶部から特徴量データおよび抽出時点データを読み出し、前記特徴量データと前記抽出時点データを基に、抽出された特徴量データの大きさを前記映像の時間軸上の抽出時点に図形で表した特徴表現図形を生成し、該特徴表現図形を表示装置に表示させる処理を前記コンピュータに実行させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２００７−４７９０２（Ｐ２００７−４７９０２Ａ）
【公開日】平成１９年２月２２日（２００７．２．２２）
【国際特許分類】
【出願番号】特願２００５−２２９２５５（Ｐ２００５−２２９２５５）
【出願日】平成１７年８月８日（２００５．８．８）
【出願人】（０００００５８２１）松下電器産業株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成１９年２月２２日（２００７．２．２２）
【国際特許分類】
【出願日】平成１７年８月８日（２００５．８．８）
【出願人】（０００００５８２１）松下電器産業株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]