検索装置および検索方法
【課題】物体の特徴となるキーを用いて、その物体が撮像された画像を容易に検索して表示させることができる検索装置及び検索方法を提供する。
【解決手段】撮像手段が撮像した物体の画像情報を記憶する画像情報記憶手段と、物体の動作状態を表す情報であって、物体の動作の種類を表す動詞と物体の動作に関連する名詞である格要素とを含み、動詞と格要素との間の意味関係を示す格フレームによって表された状態情報を画像情報に対応付けて記憶する状態情報記憶手段と、画像情報を検索するためのキー情報の入力を受け付ける入力受付手段と、キー情報に基づいて、状態情報の中からキー情報を含む状態情報を検索して取得する状態情報取得手段と、画像情報の中から、検索した状態情報に対応する画像情報を取得する画像情報取得手段と、取得した状態情報と画像情報とを表示する表示手段と、を備える。
【解決手段】撮像手段が撮像した物体の画像情報を記憶する画像情報記憶手段と、物体の動作状態を表す情報であって、物体の動作の種類を表す動詞と物体の動作に関連する名詞である格要素とを含み、動詞と格要素との間の意味関係を示す格フレームによって表された状態情報を画像情報に対応付けて記憶する状態情報記憶手段と、画像情報を検索するためのキー情報の入力を受け付ける入力受付手段と、キー情報に基づいて、状態情報の中からキー情報を含む状態情報を検索して取得する状態情報取得手段と、画像情報の中から、検索した状態情報に対応する画像情報を取得する画像情報取得手段と、取得した状態情報と画像情報とを表示する表示手段と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、格フレームで表現された物体の状態をあらわす情報を検索して表示する検索装置及び検索方法に関する。
【背景技術】
【０００２】
近年、監視カメラ等を備える監視装置においては、撮像された画像を解析し、その画像に表示されている物体を認識して、その物体の特徴を判定して監視装置に表示させる技術が知られている。
【０００３】
例えば、特許文献１には、監視カメラで撮像された画像を解析し、その画像に表示された人物（例えば、家人や知人の顔）や服装（例えば、宅配業者の制服）等から特徴量を求め、求めた特徴量が、あらかじめ職業や家族関係等でカテゴライズして記憶された人物や服装等の特徴量に類似する場合には不審者ではないと判定し、その結果を画像監視装置に表示させる技術が開示されている。
【０００４】
【特許文献１】特開２００１−０１６５７９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載された技術では、単にあらかじめ登録された人物の顔画像等の特徴量と、監視カメラ等で撮像された顔画像の特徴量とを比較して、不審者であるか否かを判定してその結果を表示するだけであり、ユーザは、撮像された画像に表示されている人物等の物体が行う動作や状態等の特徴をキーに、撮像されて記憶された画像の中から所望の画像を検索して表示させることができず、物体や人物の特定（例えば、不審者等の特定）が容易ではないという問題があった。
【０００６】
本発明は、上記に鑑みてなされたものであって、物体の特徴となるキーを用いて、その物体が撮像された画像を容易に検索して表示させることができる検索装置及び検索方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決し、目的を達成するために、請求項１にかかる発明は、撮像手段が撮像した物体の画像情報を記憶する画像情報記憶手段と、前記画像情報を解析して物体の動作状態を抽出し、抽出した前記物体の動作状態を表す情報であって、前記物体の動作の種類を表す動詞と前記物体の動作に関連する名詞である格要素とを含み、前記動詞と前記格要素との間の意味関係を示す格フレームによって表された状態情報を、前記画像情報記憶手段が記憶する前記画像情報に対応付けて記憶する状態情報記憶手段と、前記画像情報記憶手段に記憶された前記画像情報を検索するためのキー情報の入力を受け付ける入力受付手段と、前記入力受付手段が入力を受け付けた前記キー情報に基づいて、前記状態情報記憶手段に記憶されている前記状態情報の中から、前記キー情報を含む前記状態情報を検索して取得する状態情報取得手段と、前記画像情報記憶手段に記憶されている前記画像情報の中から、前記状態情報取得手段が検索した前記状態情報に対応する前記画像情報を取得する画像情報取得手段と、前記状態情報取得手段が取得した前記状態情報と、前記画像情報取得手段が取得した前記画像情報と、を表示する表示手段と、を備えること、を特徴とする。
【０００８】
また、請求項２にかかる発明は、請求項１に記載の検索装置において、人物名と前記人物名の顔特徴情報とを対応付けて記憶する顔特徴情報記憶手段をさらに備え、前記入力受付手段は、前記キー情報として前記格要素である人物名の入力を受け付け、前記状態情報取得手段は、前記入力受付手段が入力を受け付けた前記キー情報に前記人物名が含まれているか否かを判定し、前記画像情報取得手段は、前記状態情報取得手段が前記キー情報に前記人物名が含まれ、かつ前記状態情報に前記人物名が含まれていると判定した場合には、前記顔特徴記憶手段が記憶する前記人物名に対応する前記顔特徴情報を取得し、取得した該顔特徴情報に類似する顔特徴情報を含む前記状態情報に対応付けて前記画像情報記憶手段に記憶されている前記画像情報を取得すること、を特徴とする。
【０００９】
また、請求項３にかかる発明は、請求項２に記載の検索装置において、前記入力受付手段は、さらに人物の顔画像の入力を受け付け、前記画像情報取得手段は、前記キー情報に含まれる前記人物名に対応する前記顔特徴情報が前記顔特徴情報記憶手段に記憶されていない場合には、前記入力受付手段が入力を受け付けた前記顔画像を解析して顔特徴情報を抽出し、抽出した該顔特徴情報に類似する顔特徴情報を含む前記状態情報に対応付けて前記画像情報記憶手段に記憶されている前記画像情報を取得すること、を特徴とする。
【００１０】
また、請求項４にかかる発明は、請求項１〜３のいずれか１項に記載の検索装置において、前記格フレームによって表示された状態情報には、格要素であって、前記物体の特徴を示す属性情報と、前記物体の動作の種類と、前記動作を行った場所を示す位置情報と、前記動作を開始した動作開始時刻と前記動作を終了した動作終了時刻とを含む動作時間と、前記動作の対象を示す動作対象情報と、前記動作対象情報に対して前記物体が動作を開始した起点および前記動作を終了した終点と、前記物体が前記動作対象情報に対して動作した場合に用いた事物を示す手段情報と、を含むこと、を特徴とする。
【００１１】
また、請求項５にかかる発明は、請求項４に記載の検索装置において、前記画像情報には、前記物体の撮像が開始された開始時刻と、前記物体の撮像が終了した終了時刻と、を含み、前記状態情報取得手段は、前記画像情報に含まれる前記開始時刻と前記終了時刻とを、前記状態情報に含まれる前記動作開始時刻と前記動作終了時刻に設定し、前記画像情報取得手段は、前記画像情報記憶手段に記憶されている前記画像情報の中から、前記状態情報取得手段によって設定された前記動作開始時刻と前記動作終了時刻とが設定された前記状態情報に対応する前記画像情報を取得すること、を特徴とする。
【００１２】
また、請求項６にかかる発明は、請求項４または５に記載の検索装置において、前記監視領域が撮像された前記開始時刻からの経過時間を計時するタイマーと、をさらに備え、前記画像情報取得手段は、前記タイマーが計時する経過時間が前記開始時刻からの前記経過時間が所定の時間を経過しているか否かを判定し、前記開始時刻からの前記経過時間が所定の時間を経過していると判定した場合には、前記開始時刻を含む前記状態情報に対応する前記画像情報を前記画像情報記憶手段から削除すること、を特徴とする。
【００１３】
また、請求項７にかかる発明は、請求項４〜６のいずれか１項に記載の検索装置において、前記物体の特徴を示す属性情報には、前記人物の体型と、前記人物の容貌とを含み、前記入力受付手段は、さらに前記人物の体型または／および前記人物の容貌の入力を受け付け、前記状態情報取得手段は、前記状態情報記憶手段に記憶されている前記状態情報の中から、前記入力受付手段が入力を受け付けた前記人物の体型または／および前記人物の容貌を含む前記状態情報を検索して取得し、前記画像情報取得手段は、前記画像情報記憶手段に記憶されている前記画像情報の中から、前記状態情報取得手段によって取得された前記状態情報に含まれる前記人物の体型または／および前記人物の容貌に基づいて前記画像情報を取得すること、を特徴とする。
【００１４】
また、請求項８にかかる発明は、請求項１〜７のいずれか１項に記載の検索装置において、前記格フレームによって表示された状態情報のうち、前記物体の動作の種類と、前記物体の動作の種類を表す動詞と前記物体の動作に関連する名詞である格要素と、該格要素の値と、を対応付けて記憶する不審者情報記憶手段と、前記入力受付手段が入力を受け付けた前記キー情報に、前記不審者情報記憶手段が記憶する前記格要素の値が含まれているか否かを判定する不審者情報判定手段と、をさらに備え、前記状態情報取得手段は、前記不審者情報判定手段が前記キー情報に前記格要素の値が含まれていると判定した場合には、前記状態情報記憶手段に記憶されている前記状態情報の中から、前記格要素の値を含む前記状態情報を検索して取得すること、を特徴とする。
【００１５】
また、請求項９にかかる発明は、撮像手段が撮像した物体の画像情報を記憶する画像情報記憶手段と、前記画像情報を解析して物体の動作状態を抽出し、抽出した前記物体の動作状態を表す情報であって、前記物体の動作の種類を表す動詞と前記物体の動作に関連する名詞である格要素とを含み、前記動詞と前記格要素との間の意味関係を示す格フレームによって表された状態情報を、前記画像情報記憶手段が記憶する前記画像情報に対応付けて記憶する状態情報記憶手段と、前記状態情報と前記画像情報とを表示する表示手段と、を備える検索装置において行われる検索方法であって、入力受付手段が、前記画像情報記憶手段に記憶された前記画像情報を検索するためのキー情報の入力を受け付ける入力受付ステップと、状態情報取得手段が、前記入力受付手段が入力を受け付けた前記キー情報に基づいて、前記状態情報記憶手段に記憶されている前記状態情報の中から、前記キー情報を含む前記状態情報を検索して取得する状態情報取得ステップと、画像情報取得手段が、前記画像情報記憶手段に記憶されている前記画像情報の中から、前記状態情報取得手段が検索した前記状態情報に対応する前記画像情報を取得する画像情報取得ステップと、を含むこと、を特徴とする。
【発明の効果】
【００１６】
請求項１にかかる発明によれば、画像情報記憶手段が、撮像手段が撮像した物体の画像情報を記憶し、状態情報記憶手段が、前記画像情報を解析して物体の動作状態を抽出し、抽出した前記物体の動作状態を表す情報であって、前記物体の動作の種類を表す動詞と前記物体の動作に関連する名詞である格要素とを含み、前記動詞と前記格要素との間の意味関係を示す格フレームによって表された状態情報を、前記画像情報記憶手段が記憶する前記画像情報に対応付けて記憶し、入力受付手段が、前記画像情報記憶手段に記憶された前記画像情報を検索するためのキー情報の入力を受け付け、状態情報取得手段が、前記入力受付手段が入力を受け付けた前記キー情報に基づいて、前記状態情報記憶手段に記憶されている前記状態情報の中から、前記キー情報を含む前記状態情報を検索して取得し、画像情報取得手段が、前記画像情報記憶手段に記憶されている前記画像情報の中から、前記状態情報取得手段が検索した前記状態情報に対応する前記画像情報を取得し、表示手段が、前記状態情報取得手段が取得した前記状態情報と、前記画像情報取得手段が取得した前記画像情報と、を表示するので、撮像された画像の中から所望の画像を検索してその画像を表示させ、所望の物体の特定を容易に行うことができるという効果を奏する。
【００１７】
また、請求項２にかかる発明によれば、請求項１に記載の検索装置において、顔特徴情報記憶手段が、人物名と前記人物名の顔特徴情報とを対応付けて記憶し、前記入力受付手段は、前記キー情報として前記格要素である人物名の入力を受け付け、前記状態情報取得手段は、前記入力受付手段が入力を受け付けた前記キー情報に前記人物名が含まれているか否かを判定し、前記画像情報取得手段は、前記状態情報取得手段が前記キー情報に前記人物名が含まれ、かつ前記状態情報に前記人物名が含まれていると判定した場合には、前記顔特徴記憶手段が記憶する前記人物名に対応する前記顔特徴情報を取得し、取得した該顔特徴情報に類似する顔特徴情報を含む前記状態情報に対応付けて前記画像情報記憶手段に記憶されている前記画像情報を取得するので、所望の不審者等の人物の特定を容易に行うことができるという効果を奏する。
【００１８】
また、請求項３にかかる発明によれば、請求項２に記載の検索装置において、前記入力受付手段は、さらに人物の顔画像の入力を受け付け、前記画像情報取得手段は、前記キー情報に含まれる前記人物名に対応する前記顔特徴情報が前記顔特徴情報記憶手段に記憶されていない場合には、前記入力受付手段が入力を受け付けた前記顔画像を解析して顔特徴情報を抽出し、抽出した該顔特徴情報に類似する顔特徴情報を含む前記状態情報に対応付けて前記画像情報記憶手段に記憶されている前記画像情報を取得するので、所望の不審者等の人物の特定をさらに容易に行うことができるという効果を奏する。
【００１９】
また、請求項４にかかる発明よれば、請求項１〜３のいずれか１項に記載の検索装置において、前記格フレームによって表示された状態情報には、格要素であって、前記物体の特徴を示す属性情報と、前記物体の動作の種類と、前記動作を行った場所を示す位置情報と、前記動作を開始した動作開始時刻と前記動作を終了した動作終了時刻とを含む動作時間と、前記動作の対象を示す動作対象情報と、前記動作対象情報に対して前記物体が動作を開始した起点および前記動作を終了した終点と、前記物体が前記動作対象情報に対して動作した場合に用いた事物を示す手段情報と、を含むので、物体や不審者等の人物の特定が容易かつ細やかに行うことができるという効果を奏する。
【００２０】
また、請求項５にかかる発明によれば、請求項４に記載の検索装置において、前記画像情報には、前記物体の撮像が開始された開始時刻と、前記物体の撮像が終了した終了時刻と、含み、前記状態情報取得手段は、前記画像情報に含まれる前記開始時刻と前記終了時刻とを、前記状態情報に含まれる前記動作開始時刻と前記動作終了時刻に設定し、前記画像情報取得手段は、前記画像情報記憶手段に記憶されている前記画像情報の中から、前記状態情報取得手段によって設定された前記動作開始時刻と前記動作終了時刻とが設定された前記状態情報に対応する前記画像情報を取得するので、物体や不審者等の人物の動作が変化する場合であっても、その物体や人物の特定を容易に行うことができるという効果を奏する。
【００２１】
また、請求項６にかかる発明によれば、請求項４または５に記載の検索装置において、タイマーが、前記監視領域が撮像された前記開始時刻からの経過時間を計時し、前記画像情報取得手段は、前記タイマーが計時する経過時間が前記開始時刻からの前記経過時間が所定の時間を経過しているか否かを判定し、前記開始時刻からの前記経過時間が所定の時間を経過していると判定した場合には、前記開始時刻を含む前記状態情報に対応する前記画像情報を前記画像情報記憶手段から削除するので、記憶容量の削減を図ることができると共に、所望の物体の特定を効率的に行うことができるという効果を奏する。
【００２２】
また、請求項７にかかる発明によれば、請求項４〜６のいずれか１項に記載の検索装置において、前記物体の特徴を示す属性情報には、前記人物の体型と、前記人物の容貌とを含み、前記入力受付手段は、さらに前記人物の体型または／および前記人物の容貌の入力を受け付け、前記状態情報取得手段は、前記状態情報記憶手段に記憶されている前記状態情報の中から、前記入力受付手段が入力を受け付けた前記人物の体型または／および前記人物の容貌を含む前記状態情報を検索して取得し、前記画像情報取得手段は、前記画像情報記憶手段に記憶されている前記画像情報の中から、前記状態情報取得手段によって取得された前記状態情報に含まれる前記人物の体型または／および前記人物の容貌に基づいて前記画像情報を取得するので、所望の不審者等の人物の特定をさらに容易に行うことができるという効果を奏する。
【００２３】
また、請求項８にかかる発明によれば、請求項１〜７のいずれか１項に記載の検索装置において、不審者情報記憶手段が、前記格フレームによって表示された状態情報のうち、前記物体の動作の種類と、前記物体の動作の種類を表す動詞と前記物体の動作に関連する名詞である格要素と、該格要素の値と、を対応付けて記憶し、不審者情報判定手段が、前記入力受付手段が入力を受け付けた前記キー情報に、前記不審者情報記憶手段が記憶する前記格要素の値が含まれているか否かを判定し、前記状態情報取得手段は、前記不審者情報判定手段が前記キー情報に前記格要素の値が含まれていると判定した場合には、前記状態情報記憶手段に記憶されている前記状態情報の中から、前記格要素の値を含む前記状態情報を検索して取得するので、所望の不審者等の人物の特定をさらに効率的に行うことができるという効果を奏する。
【発明を実施するための最良の形態】
【００２４】
以下に添付図面を参照して、この発明にかかる検索装置および検索方法の最良な実施の形態を詳細に説明する。
【００２５】
（実施の形態１）
図１は、実施の形態１の警備装置１００の機能的構成を示すブロック図である。警備装置１００は、図１に示すように、センサ１１０と、監視カメラ１２０と、本体部１３０と、を備えており、ネットワーク３００を介して監視センタ２００に接続されている。また、本体部１３０は、検知情報受信部１３１と、画像処理部１３２と、警備状態切替部１３３と、操作パネル制御部１３４と、言語情報取得部１３５と、画像情報取得部１３６と、送受信部１３７と、警備状態記憶部１３８と、言語構造構築部１３９と、記憶部１４０と、タイマー１７０と、操作パネル１８０と、を含んで構成されている。さらに記憶部１４０は、映像データベース１５１を記憶する第１記憶部１５０と、言語情報データベース１６１を記憶する第２記憶部１６０と、顔特徴データベース１９１を記憶する第３記憶部１９０と、を含んで構成され、操作パネル１８０は、入力受付部１８１と、言語情報表示部１８２と、映像表示部１８３と、を含んで構成されている。
【００２６】
センサ１１０は、検知領域での異常を検知する検知装置等から構成され、例えば、赤外線の受光量の変化をもとに人を検知する赤外線センサ、赤外線などが遮られることで人を検知する遮断センサ、電磁波の乱れで人を検知する気配センサ、マグネットにより扉の開閉を検出するマグネットセンサなどの検知領域の異常を検出する各種センサ等から構成される。センサ１１０は、検知領域での異常を検知すると、後述する検知情報受信部１３１に、異常を検知した旨の検知信号を送信する。尚、検知領域とは、センサ１１０が異常を検知可能な範囲のことである。
【００２７】
監視カメラ１２０は、主に監視領域である住居の出入口付近や敷地内への出入口付近に設置され、監視領域を撮像する撮像装置である。具体的には、監視カメラ１２０は、図２に示すような監視領域に含まれる領域ａ１やａ２を撮像し、撮像した画像を後述する第１記憶部１５０が記憶する映像データベース１５１に記憶する。図３は、監視カメラ１２０が、領域ａ１を撮像する様子を示す図である。
【００２８】
図１に戻り、検知情報受信部１３１は、センサ１１０によって異常が検知された場合に送出される検知情報を受信する。検知情報は、検知部１１１から送出される検知信号であり、センサ１１０が複数設置されている場合は、検知信号およびセンサを識別するセンサＩＤ等も含まれる。
【００２９】
画像処理部１３２は、後述する映像データベース１５１に記憶された監視カメラ１２０によって撮像された画像を解析し、撮像された画像に映った物体の動作状態の画像や映像を抽出する。例えば、画像処理部１３２は、撮像された画像に人物が映っている場合には、肌領域を検出する等して人物を特定し、特定した人物の動作（例えば、玄関に向かって歩行している状態）の画像や映像を抽出する。
【００３０】
警備状態切替部１３３は、後述するように操作パネル１８０が入力を受け付けた警備状態の切替信号が操作パネル制御部１３４によって制御され、制御された切替信号に従って、現在の警備状態を後述する警備状態記憶部１３８に格納する。
【００３１】
言語情報取得部１３５は、後述する入力受付部１８１が入力を受け付けた検索キーが、キーワードや文章等であるか否かを判定し、検索キーが、キーワードや文章等であると判定した場合には、後述する第２記憶部１６０が記憶する言語情報データベース１６１に記憶する状態情報に含まれる動作（行動）の種類を表す行動名や、動作に関連する名詞である格要素（深層格）に記憶されているものであるか否かを判定し、検索キーとして入力が受け付けられたキーワードや文章等を含む深層格フレームを後述する操作パネル１８０に表示する。
【００３２】
また、言語情報取得部１３５は、後述する入力受付部１８１が入力を受け付けたキーワードや文章等に人名が含まれているか否かを判定する。
【００３３】
さらに、言語情報取得部１３５は、後述するように、映像データベース１５１が記憶する画像や映像に含まれる、撮像開始時刻や、撮像終了時刻を、後述する言語情報データベース１６１に記憶される深層格フレーム（後述）の１つである時間格にセットする。
【００３４】
尚、上述した言語情報取得部１３５が、入力受付部１８１が入力を受け付けたキーワードや文章、あるいは顔画像等に従って、深層格フレーム（後述）として記憶された主格や属性格等の情報を検索する方法は、入力されたキーワード等が、主格や属性格といった深層格フレーム（後述）として記憶されている内容と完全に一致する場合の他、部分的に一致する場合、これらの内容に類似性がある場合等も検索できるものとする。ここで、類似性がある場合の検索手法については、その内容の主成分分析を行って検索する手法等、従来から行われている技術によって検索することが出来る。
【００３５】
画像情報取得部１３６は、後述する第１記憶部１５０が記憶する映像データベース１５１に記憶されている監視カメラ１２０が撮像した画像や映像と、上述した言語情報取得部１３５が判定した深層格フレームの深層格フレームＩＤが含まれる映像データベース１５１に記憶された画像や映像を取得して、後述する映像表示部１８３に表示させる。
【００３６】
さらに、画像情報取得部１３６は、後述するように、顔特徴情報データベース１９０に記憶されているその人物名に対応する顔特徴情報に類似する顔特徴情報を取得する。そして、取得した顔特徴情報に類似する顔特徴情報を含む深層格フレーム（後述）を後述する言語情報データベース１６１の中から特定し、特定した深層格フレームに対応するに映像データベース１５１に記憶されている画像や映像を取得する。尚、顔特徴情報とは、人物の顔を構成する各要素（例えば、鼻、目、眉等）の特徴（例えば、「鼻が高い」「目が二重」「眉が濃い」等）をあらわすものである。
【００３７】
さらに、画像情報取得部１３６は、入力受付部１８１が入力を受け付けた人物名に対応する顔特徴情報が顔特徴情報データベース１９０に記憶されていない場合には、後述する入力受付部１８１が入力を受け付けた人物の顔画像を解析してその人物の顔特徴情報を抽出する。そして、抽出した顔特徴情報に類似する顔特徴情報を含む深層格フレームに対応するに映像データベース１５１に記憶されている画像や映像を取得する。
【００３８】
また、画像情報取得部１３６は、言語情報取得部１３５から、深層格フレームの時間格に、撮像開始時刻、撮像終了時刻をセットすると、その撮像開始時刻から撮像終了時刻までの画像や映像を、映像データベース１５１に記憶されている画像や映像の中から抽出して、後述する映像表示部１８３に表示させる。
【００３９】
さらに、画像情報取得部１３６は、後述するタイマー１７０が計時する映像データベース１５１に画像や映像が記憶されてからの時間が、あらかじめメモリ等の記憶媒体（不図示）に記憶された所定の経過時間を経過している画像や映像を削除する。
【００４０】
送受信部１３７は、監視センタ２００との間で、ネットワーク３００を介して上述したセンサ１１０から送信された検知情報等の各種情報を送受信する。具体的には、送受信部１３７は、センサ１１０から検知情報等を受信した場合で、かつ警備状態記憶部１３８に記憶された現在の警備状態に警備モードが記憶されている場合に、監視領域に異常が生じた旨の警報情報を監視センタ２００に送信する。
【００４１】
警備状態記憶部１３８は、現在の警備装置１００の警備状態である警備モードまたは警備解除モードのいずれかを記憶するＨＤＤ（ハードディスクドライブ）やメモリ等の記憶媒体である。
【００４２】
ここで、警備モードとは、センサ１１０が異常を検知して検知情報を取得した場合に、監視領域での異常を知らせる旨の警報情報をネットワーク３００で接続されている監視センタ２００に送信する状態をいい、警備解除モードとは、上記検知情報を取得した場合でも異常を知らせる警報情報を監視センタ２００に送信しない状態をいう。
【００４３】
言語構造構築部１３９は、上述した画像処理部１３２が映像データベース１５１に記憶された画像や映像から抽出した物体の動作状態の画像や映像やキーワードや文章等から、後述する深層格フレームによって表された状態情報を構築する。
【００４４】
記憶部１４０は、映像データベース１５１を記憶する第１記憶部１５０と、言語情報データベース１６１を記憶する第２記憶部１６０と、顔特徴データベース１９１を記憶する第３記憶部１９０と、を記憶するＨＤＤ（ハードディスクドライブ）やメモリ等の記憶媒体である。
【００４５】
映像データベース１５１は、監視カメラ１２０が撮像した画像や映像を、その撮像された時間（例えば、撮像開始時刻、撮像終了時刻）および深層格フレームの後述する深層格フレームＩＤと共に記憶する。
【００４６】
言語情報データベース１６１は、物体の動作状態を深層格フレーム構造で表した状態情報を、映像データベース１５１に記憶されている画像や映像に対応付けて記憶する。なお、深層格フレーム（以下、単に格フレームとも言う）とは、動詞を基準として、動詞に対する名詞の意味関係を深層格として表した言語構造のことである。具体的には、映像データベース１５１に記憶される画像や映像と言語情報データベース１６１とは、後述する深層格フレームＩＤによって対応付けられている。
【００４７】
図４は、言語情報データベース１６１に記憶される状態情報のデータ構造、および図５はそのデータ構造の一例を示す図である。図４に示すように、状態情報は、格フレームを識別する格フレームＩＤと、動作（行動）の種類を表す行動名と、動作に関連する名詞である格要素（深層格）とを含んでいる。深層格には、主格、属性格、場所格、時間格、源泉格、目標格、対象格、道具格、および主格が動作した行動名が含まれる。
【００４８】
主格は、動作を引き起こす主体を表し、例えば、人物の名前が含まれる。属性格は、主格に関する情報をいう。例えば、属性格は、身長高、体型、上半身色、下半身色、頭色、容貌等の顔情報、および歩容情報等を含む。
【００４９】
顔情報および歩容情報は、さらに詳細な要素に分けられる。例えば、顔情報は、顔の特徴を表す顔特徴（鼻が高い、目が二重、眉が濃い等）、視線方向、マスクの有無、サングラスの有無、性別、および年代などの要素を含む。また、歩容情報は、歩幅、姿勢、脚長、および歩速などの要素を含む。尚、後述する顔特徴データベース１９１には、顔特徴とその顔特徴を有する人物の名前とが対応付けて記憶されている。
【００５０】
場所格は、動作や状態が起こる場所を表す。例えば、場所格は、頭部位置、体位置、手位置、顔位置、および脚部位置等を含む。
【００５１】
時間格は、動作や状態が起こる時間を表す。例えば、時間格は、現在時刻を表す時刻、動作が開始された時刻を表す動作開始時刻、動作が終了した時刻を表す動作終了時刻、および年月日等を表す。
【００５２】
源泉格は、移動や状態変化などの起点を表す。例えば、源泉格は、主格が移動や動作等を行う起点の位置を表す場所情報、および起点での主格の属性を表す属性情報を含む。
【００５３】
目標格は、移動や状態変化などの終点を表す。例えば、目標格は、主格が移動や動作等を行う終点の位置を表す場所情報、および終点での主格の属性を表す属性情報を含む。
【００５４】
対象格は、動作や状態の対象となる事物を表す。対象格は、固有の識別情報である対象ＩＤ、および固有の情報である属性情報を含む。
【００５５】
道具格は、動作の補助的手段を表す。道具格は、固有の識別情報である道具ＩＤ、および固有の情報である属性情報を含む。
【００５６】
なお、利用できる深層格はこれらに限られず、例えば精神的事象の経験者を表す経験者格などの、その他のあらゆる深層格を用いることができる。
【００５７】
図５は、言語情報データベース１６１に記憶される状態情報の具体例を示す図である。図５は、人物Ａ（主格）が、「しゃがむ」という行動を検出したときに生成される状態情報の一例を示している。この場合、属性格には、人物Ａの身長高、体型などの具体的な値が設定される。また、場所格および時間格には、それぞれ人物Ａがしゃがんだときの位置や時刻に関する具体的な値が設定される。
【００５８】
後述するように、言語情報取得部１３５や画像情報取得部１３６が行う検索処理では、このようにあらかじめ記憶された言語情報データベース１６１の中に、後述する入力受付部１８１が入力を受け付けたキーワードや文章が含まれているか否かを判定し、これらのキーワードや文章に対応付けて記憶されている画像や映像を取得して、後述する言語情報表示部１８２や映像情報表示部１８３に表示する。
【００５９】
図１に戻り、顔特徴データベース１９１は、人物の名前と、その人物の顔の要素（例えば、鼻、目、眉等）の特徴（例えば、「鼻が高い」「目が二重」「眉が濃い」等）とを対応付けて記憶する。
【００６０】
タイマー１７０は、監視カメラ１２０によって画像が撮像された時刻からの時間を計時する。
【００６１】
操作パネル１８０は、ＬＣＤ（Liquid Crystal Display）等の液晶パネルから構成され、液晶パネル上に表示された操作ボタンの押下等によって上述した警備モードまたは警備解除モードのいずれかの警備状態を入力する。操作パネル制御部１３４は、操作パネル１８０への表示情報の出力や、操作パネル１８０から入力された検索キー等の入力情報の取得等の制御を行う。
【００６２】
入力受付部１８１は、ユーザが、映像データベース１５１に記憶されている画像や映像を検索して取得するためのキーワードや文章等、あるいは人物の顔画像等の入力を受け付ける。図６は、入力受付部１８１を含む操作パネル１８０の例を示す図である。
【００６３】
図６に示すように、入力受付部１８１には、上述した深層格フレームとして構成する格要素（深層格）や、人名、あるいは、深層格の１つである行動名を、プルダウンメニューで表示されたウィンドウ等から選択して検索することや、これらのプルダウンメニューに表示されていないキーワードや文章等を指定することも可能である。例えば、あらかじめ映像データベース１５１に有名人の画像や映像を記憶させ、深層格フレームを構築しておくことによって、その有名人の名前を検索キーに指定し、その有名人の深層格フレームを構成する格要素を含む深層格フレームを検索し、あるいは、入力が受け付けられた人物の顔画像の顔特徴に類似する顔特徴情報を含む深層格フレームを検索することによって、容易に捜索人や不審者等の人物を探すことも可能である。
【００６４】
映像表示部１８３は、上述した画像情報取得部１３６が取得した画像や映像を表示する。具体的には、図６に示す操作パネル１８０上の左上部の領域に画像や映像を表示する。
【００６５】
言語情報表示部１８２は、入力受付部１８１が入力を受け付けたキーワードや文章等を含む深層格フレームを構成する格要素（深層格）の内容を表示する。ユーザは、入力受付部１８１に表示されたボタン等を押下することによって、映像表示部１８３に画像や映像を表示させたり、あるいは言語情報表示部１８２に格要素（深層格）の内容を要約して表示させることも可能である。
【００６６】
尚、上述したように、画像情報取得部１３６が、所定の経過時間を経過したと判定して画像や映像を削除した場合には、これらのボタン等を押下した場合であっても、映像表示部１８３に画像や映像が表示されることはない。
【００６７】
監視センタ２００は、監視領域の異常を検知した警備装置１００からの通報を受け、待機中の警備員に対して異常が検知された監視領域（不図示）へ向かう旨の指示を出すとともに、必要に応じて警察や消防等の関係機関への通報を行う。
【００６８】
ネットワーク３００は、警備装置１００と監視センタ２００との通信を媒介するインターネットや電話回線等の通信回線である。
【００６９】
続いて、以上のように構成された実施の形態１にかかる警備装置１００で実行される各処理について説明する。
【００７０】
図７は、実施の形態１において、ユーザが、警備装置１００に記憶された画像や映像を、キーワードや文章等を入力して検索し、その結果を取得するまでの処理手順を示すフローチャートである。以下の説明では、映像データベース１５１にはあらかじめ監視カメラ１２０によって撮像された画像や映像が記憶され、言語情報データベース１６１には、その画像や映像に対応付けられて記憶された深層格フレームが記憶されているものとする。
【００７１】
まず、入力受付部１８１は、ユーザから画像や映像を検索するためのキーワードや文章等の入力を受け付けられると（ステップＳ７０１）、言語情報取得部１３５は、入力が受け付けられた検索キーが、キーワードや文章等の言語であるか否かを判定する（ステップＳ７０２）。
【００７２】
そして、言語情報取得部１３５が、検索キーが、キーワードや文章等が言語であると判定した場合（ステップＳ７０２；Ｙｅｓ）、言語構造構築部１３９は、そのキーワードや文章等の言語を、深層格フレームによって表された状態情報を構築し（ステップＳ７０３）、続いて言語情報データベース１６１に記憶されている格フレームを読み込んで（ステップＳ７０４）、読み込んだ格フレームの中から、ステップＳ７０１で入力が受け付けられたキーワード等や文章等の言語を含む格フレームがあるか否かを判定する（ステップＳ７０５）。
【００７３】
その後、さらに言語情報取得部１３５は、入力受付部１８１が、さらにキーワードや文章等の言語の入力を受け付けているか否かを判定し（ステップＳ７０６）、そのキーワードや文章等の言語の入力を受け付けていると判定した場合（ステップＳ７０６；Ｙｅｓ）、ステップＳ７０１に戻り、ステップＳ７０１〜Ｓ７０５までの処理を繰り返す。
【００７４】
一方、言語情報取得部１３５は、キーワードや文章等の言語の入力を受け付けていないと判定した場合（ステップＳ７０６；Ｎｏ）、そのキーワードや文章等を含む検索した深層格フレームを操作パネル１８０に表示し（ステップＳ７１２）、さらに映像データベース１５１に記憶されている撮像開始時刻、撮像終了時刻を検索した深層格フレームの時間格に記憶させる（ステップＳ７１３、Ｓ７１４）。
【００７５】
その後、画像情報取得部１３６は、ステップＳ７１３、Ｓ７１４で時間格に設定された撮像開始時刻から撮像終了時刻までの間の時刻を含む画像や映像を、映像データベース１５１の中から取得して、映像表示部１８３に表示させる（ステップＳ７１５）。
【００７６】
そして、画像情報取得部１３６は、タイマー１７０が計時する映像データベース１５１に画像や映像が記憶されてから所定の時間を経過している画像や映像を削除する(ステップＳ７１６)。
【００７７】
一方、ステップＳ７０２において、言語情報取得部１３６が、キーワードや文章等が言語でないと判定した場合（ステップＳ７０２；Ｎｏ）、さらにそのキーワードや文章等が人名であるか否かを判定し（ステップＳ７０７）、キーワードや文章等が人名でないと判定した場合（ステップＳ７０７；Ｎｏ）、ステップＳ７０１に戻る。
【００７８】
一方、言語情報取得部１３６が、そのキーワードや文章等が人名であると判定した場合（ステップＳ７０７；Ｙｅｓ）、画像情報取得部１３６は、顔特徴データベース１９１の中からキーワードである人名に対応する顔特徴を検索し（ステップＳ７０８）、その人名に対応する顔特徴が登録されているか否かを判定する（ステップＳ７０９）。
【００７９】
そして、画像情報取得部１３６が、その人名に対応する顔特徴が登録されていると判定した場合（ステップＳ７０９；Ｙｅｓ）、その顔情報を言語構造構築部１３９に送り、ステップＳ７０３に戻って、ステップＳ７０４以降に示す検索処理を行う。
【００８０】
一方、画像情報取得部１３６は、その人名に対応する顔特徴が登録されていないと判定した場合（ステップＳ７０９；Ｎｏ）、さらに入力受付部１８１が、顔画像の入力を受け付けたか否かを判定する（ステップＳ７１０）。そして、入力受付部１８１が、顔画像の入力を受け付けていないと判定した場合（ステップＳ７１０；Ｎｏ）、ステップＳ７０１に戻る。
【００８１】
一方、入力受付部１８１が、顔画像の入力を受け付けたと判定した場合（ステップＳ７１０；Ｙｅｓ）、顔画像から顔情報を抽出し、その顔情報を言語構造構築部１３９に送り（ステップＳ７１１）、ステップＳ７０３に戻って、ステップ７０４以降の検索処理を行う。このように、ステップＳ７０１〜Ｓ７１６までの処理が終了すると、本実施の形態における全ての処理が終了する。
【００８２】
このように、本実施の形態においては、映像データベース１５１が、監視カメラ１２０が撮像した物体の画像や映像を記憶し、言語情報データベース１６１が、画像や映像を解析して物体の動作状態を抽出し、抽出された物体の動作状態を表す情報であって、物体の動作の種類を表す動詞と物体の動作に関連する名詞である格要素とを含み、動詞と格要素との間の意味関係を示す格フレームによって表された深層格フレームを、映像データベース１５１が記憶する画像や映像に対応付けて記憶し、入力受付部１８１が、映像データベース１５１に記憶された画像や映像を検索するためのキーワードや文章等の入力を受け付け、言語情報取得部１３５が、入力受付部１８１が入力を受け付けたキーワードや文章等に基づいて、言語情報データベース１６１に記憶されている深層格フレームの中から、キーワードや文章等を含む深層格フレームを検索して取得し、画像情報取得部１３６が、映像データベース１５１に記憶されている画像や映像の中から、言語情報取得部１３５が検索した深層格フレームに対応する画像や映像を取得し、言語情報表示部１８２が、言語情報取得部１３５が取得した深層格フレームと、画像情報取得部１３６が取得した画像や映像と、を表示するので、撮像された画像の中から所望の画像を検索してその画像を表示させ、所望の物体の特定を容易に行うことができる。
【００８３】
また、本実施の形態においては、顔特徴データベース１９１が、人物名と人物名の顔特徴情報とを対応付けて記憶し、入力受付部１８１は、キーワードや文章等として格要素である人物名の入力を受け付け、言語情報取得部１３５は、入力受付部１８１が入力を受け付けたキーワードや文章等に人物名が含まれているか否かを判定し、画像情報取得部１３６は、言語情報取得部１３５がキーワードや文章等に人物名が含まれ、かつ深層格フレームに人物名が含まれていると判定した場合には、顔特徴データベース１９１が記憶する人物名に対応する顔特徴情報を取得し、取得した顔特徴情報に類似する顔特徴情報を含む深層格フレームに対応付けて映像データベース１５１に記憶されている画像や映像を取得するので、所望の不審者等の人物の特定を容易に行うことができる。
【００８４】
また、本実施の形態においては、入力受付部１８１は、さらに人物の顔画像の入力を受け付け、画像情報取得部１３６は、キーワードに含まれる人物名に対応する顔特徴情報が顔特徴データベース１９１に記憶されていない場合には、入力受付部１８１が入力を受け付けた顔画像を解析して顔特徴情報を抽出し、抽出した顔特徴情報に類似する顔特徴情報を含む深層格フレームに対応付けて映像データベース１５１に記憶されている画像や映像を取得するので、所望の不審者等の人物の特定をさらに容易に行うことができる。
【００８５】
また、本実施の形態においては、深層格フレームには、格要素であって、物体の特徴を示す属性格と、物体の動作の種類と、動作を行った場所を示す場所格と、動作を開始した動作開始時刻と動作を終了した動作終了時刻とを含む時間格と、動作の対象を示す対象格と、対象格に対して物体が動作を開始した源泉格および動作を終了した目標格と、物体が対象格に対して動作した場合に用いた事物を示す道具格と、を含むので、物体や不審者等の人物の特定が容易かつ細やかに行うことができる。
【００８６】
また、本実施の形態においては、映像データベース１５１には、物体の撮像が開始された開始時刻と、物体の撮像が終了した終了時刻と、含み、言語情報取得部１３５は、画像や映像に含まれる開始時刻と終了時刻とを、深層格フレームに含まれる動作開始時刻と動作終了時刻に設定し、画像情報取得部１３６は、映像データベース１５１に記憶されている画像や映像の中から、言語情報取得部１３５によって設定された動作開始時刻と動作終了時刻とが設定された深層格フレームに対応する画像や映像を取得するので、物体や不審者等の人物の動作が変化する場合であっても、その物体や人物の特定を容易に行うことができる。
【００８７】
また、本実施の形態においては、タイマー１７０が、監視領域が撮像された開始時刻からの経過時間を計時し、映像データベース１５１は、タイマー１７０が計時する経過時間が開始時刻からの経過時間が所定の時間を経過しているか否かを判定し、開始時刻からの経過時間が所定の時間を経過していると判定した場合には、開始時刻を含む深層格フレームに対応する画像や映像を映像データベース１５１から削除するので、記憶容量の削減を図ることができると共に、所望の物体の特定を効率的に行うことができる。
【００８８】
また、本実施の形態においては、物体の特徴を示す属性格には、人物の体型と、人物の容貌とを含み、入力受付部１８１は、さらに人物の体型または／および人物の容貌の入力を受け付け、言語情報取得部１３５は、言語情報データベース１６１に記憶されている深層格フレームの中から、入力受付部１８１が入力を受け付けた人物の体型または／および人物の容貌を含む深層格フレームを検索して取得し、画像情報取得部１３６は、映像データベース１５１に記憶されている画像や映像の中から、言語情報取得部１３５によって取得された深層格フレームに含まれる人物の体型または／および人物の容貌に基づいて画像や映像を特定し、特定した画像や映像を取得するので、所望の不審者等の人物の特定をさらに容易に行うことができる。
【００８９】
（実施の形態２）
上述した実施の形態１では、画像や映像と対応付けて記憶された深層格フレームに中から、例えば、人名等を含むキーワードや文章等の検索キーを指定することによって、あらかじめ記憶された画像や映像を取得することとした。しかし、ある特徴のある人物の画像（例えば、不審者等の人物）を取得する場合には、その特徴をあらかじめ登録しておいたほうが、より一層効率的に画像や映像の検索ができる場合もある。そこで、そのような人物の特徴をあらわす情報（以下、不審者情報と呼ぶ。）をあらかじめ記憶させておき、記憶されている不審者情報を用いて画像や映像を検索して取得する場合について説明する。
【００９０】
図８は、実施の形態２にかかる警備装置８００の構成を示すブロック図である。実施の形態２における警備装置８００は、警備装置の本体部８３０が、不審者情報判定部８６０と、不審者情報データベース８５１を記憶する第４記憶部８５０と、をさらに備えている点で、実施の形態１における本体部１３０と異なっている。以下の説明では、上述した実施の形態１と同一の構成要素には同一の符号を付してその説明を省略している。
【００９１】
不審者情報データベース８５１は、深層格フレームに含まれる深層格のうち、行動名と、深層格と、その深層格の具体的な値とを不審者情報の規則として対応付けて記憶するＨＤＤ（ハードウェアディスクドライブ）やメモリ等の記憶媒体である。
【００９２】
図９は、不審者情報データベース８５１の例を示す図である。図９における網掛け部は、行動名が「きょろきょろする」である場合であって、かつ場所格の体位置が「玄関前」、すなわち、玄関前できょろきょろしている場合を不審者あるいは不審行動として記憶している例を示している。
【００９３】
不審者情報判定部８６０は、上述した不審者情報データベース８５１を参照して、不審者情報として記憶されている情報を含む深層格フレームを検索し、入力受付部１８１等から入力されたキーワードや文章等に不審者情報として記憶されている情報、すなわち不審行動が含まれているか否かを判定する。
【００９４】
そして、不審者情報判定部８６０は、キーワードや文章等に不審者情報として記憶されている不審行動が含まれていると判定した場合には、その不審行動を含む深層格フレームを言語情報表示部１８２に表示する。
【００９５】
尚、不審者情報データベース８５１に記憶される行動名や、深層格の種類等は、あらかじめユーザによって記憶され、これらの内容は、季節や時間帯によって変更することもでき、あるいは監視カメラ１２０が撮像した画像や映像に映った人物を認証する等して、その認証結果に応じて不審者情報判定部８６０による処理を行うか否かを切り替えることも可能である。
【００９６】
図１０は、警備装置８００が行う処理手順を示すフローチャートである。図１０に示す各処理では、上述したように、あらかじめ図９に示すような不審者情報データベース８５１が、ユーザによってあらかじめ記憶され、さらに入力受付部１８１等からユーザによって不審者判定を行うための指示がなされたものとする。
【００９７】
まず、不審者情報判定部８６０は、不審者情報データベース８５１を参照して、記憶されている不審者情報を読み込む（ステップＳ１００１）。そして、読み込んだ不審者情報をキーにして、その不審者情報を含む深層格フレームを言語情報データベース１６１の中から検索する（ステップＳ１００２）。
【００９８】
そして、言語情報データベース１６１の中に、不審者情報を含む深層格フレームがあるか否かを判定し(ステップＳ１００３)、不審者情報を含む深層格フレームがないと判定した場合(ステップＳ１００３；Ｎｏ)、何もせずに次のステップに進む。
【００９９】
一方、不審者情報を含む深層格フレームがあると判定した場合(ステップＳ１００３；Ｙｅｓ)、その不審者情報を含む深層格フレームを言語情報表示部１８２に表示する(ステップＳ１００４)。その後、不審者情報データベース８５１に記憶されている全ての不審者情報の規則を参照したか否かを判定し（ステップＳ１００５）、全ての不審者情報の規則を参照していないと判定した場合（ステップＳ１００５；Ｎｏ）、ステップＳ１００１に戻り、以降の処理を繰り返す。一方、全ての不審者情報の規則を参照したと判定した場合（ステップＳ１００５；Ｙｅｓ）、不審者情報を検索して取得する全ての処理が終了する。
【０１００】
尚、上述した実施の形態では、不審者情報を検索して取得する処理は、実施の形態１における処理とは別個のものとして記載しているが、例えば、実施の形態１におけるステップＳ７０３〜Ｓ７０６のいずれかの箇所に組み込むことによって、言語情報取得部１３５が取得した深層格フレームと、不審者情報判定部８６０が検索した深層格フレームとを比較することによって、不審者の特定を効率的に行うことも可能である。
【０１０１】
このように、本実施の形態においては、不審者情報データベース８５１が、深層格フレームによって表示された格要素のうち、物体の動作名と、物体の動作の種類を表す動詞と物体の動作に関連する名詞である格要素と、格要素の値と、を対応付けて記憶し、不審者情報判定部８６０が、入力受付部１８１が入力を受け付けたキーワードや文章等に、不審者情報データベース８５１が記憶する格要素の値が含まれているか否かを判定し、言語情報取得部１３５は、不審者情報判定部８６０がキーワードや文章等に格要素の値が含まれていると判定した場合には、言語情報データベース１６１に記憶されている深層格フレームの中から、格要素の値を含む深層格フレームを検索して取得するので、所望の不審者等の人物の特定をさらに効率的に行うことができる。
【０１０２】
なお、本発明は、上記実施の形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施の形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態にわたる構成要素を適宜組み合わせても良い。
【図面の簡単な説明】
【０１０３】
【図１】実施の形態１の警備装置の機能的構成を示すブロック図である。
【図２】実施の形態１の監視カメラが監視領域を撮像する様子を示す図である。
【図３】図２に示す監視カメラが撮像する画像の具体例を示す図である。
【図４】図１に示す言語情報データベースが記憶する格深層フレームの構成を示す図である。
【図５】図４に示す格深層フレームの構成の具体例を示す図である。
【図６】図１に示す操作パネルの具体例を示す図である。
【図７】実施の形態１において深層格フレームや画像等を検索して操作パネルに表示するまでの手順を示すフローチャートである。
【図８】実施の形態２の警備装置の機能的構成を示すブロック図である。
【図９】図８に示す不審者情報データベースの構成を示す図である。
【図１０】実施の形態２において不審者情報を含む深層格フレームを検索して操作パネルに表示するまでの手順を示すフローチャートである。
【符号の説明】
【０１０４】
１００ ８００ 警備装置
１１０ センサ
１２０ 監視カメラ
１３０ ８３０ 本体部
１３１ 検知情報受信部
１３２ 画像処理部
１３３ 警備状態切替部
１３４ 操作パネル制御部
１３５ 言語情報取得部
１３６ 画像情報取得部
１３７ 送受信部
１３８ 警備状態記憶部
１３９ 言語構造構築部
１４０ 記憶部
１５０ 第１記憶部
１５１ 映像データベース
１６０ 第２記憶部
１６１ 言語情報データベース
１７０ タイマー
１８０ 操作パネル
１８１ 入力受付部
１８２ 言語情報表示部
１８３ 映像表示部
１９０ 第３記憶部
１９１ 顔特徴データベース
８５０ 第４記憶部
８５１ 不審者情報データベース
８６０ 不審者情報判定部
２００ 監視センタ
３００ ネットワーク
【技術分野】
【０００１】
本発明は、格フレームで表現された物体の状態をあらわす情報を検索して表示する検索装置及び検索方法に関する。
【背景技術】
【０００２】
近年、監視カメラ等を備える監視装置においては、撮像された画像を解析し、その画像に表示されている物体を認識して、その物体の特徴を判定して監視装置に表示させる技術が知られている。
【０００３】
例えば、特許文献１には、監視カメラで撮像された画像を解析し、その画像に表示された人物（例えば、家人や知人の顔）や服装（例えば、宅配業者の制服）等から特徴量を求め、求めた特徴量が、あらかじめ職業や家族関係等でカテゴライズして記憶された人物や服装等の特徴量に類似する場合には不審者ではないと判定し、その結果を画像監視装置に表示させる技術が開示されている。
【０００４】
【特許文献１】特開２００１−０１６５７９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載された技術では、単にあらかじめ登録された人物の顔画像等の特徴量と、監視カメラ等で撮像された顔画像の特徴量とを比較して、不審者であるか否かを判定してその結果を表示するだけであり、ユーザは、撮像された画像に表示されている人物等の物体が行う動作や状態等の特徴をキーに、撮像されて記憶された画像の中から所望の画像を検索して表示させることができず、物体や人物の特定（例えば、不審者等の特定）が容易ではないという問題があった。
【０００６】
本発明は、上記に鑑みてなされたものであって、物体の特徴となるキーを用いて、その物体が撮像された画像を容易に検索して表示させることができる検索装置及び検索方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決し、目的を達成するために、請求項１にかかる発明は、撮像手段が撮像した物体の画像情報を記憶する画像情報記憶手段と、前記画像情報を解析して物体の動作状態を抽出し、抽出した前記物体の動作状態を表す情報であって、前記物体の動作の種類を表す動詞と前記物体の動作に関連する名詞である格要素とを含み、前記動詞と前記格要素との間の意味関係を示す格フレームによって表された状態情報を、前記画像情報記憶手段が記憶する前記画像情報に対応付けて記憶する状態情報記憶手段と、前記画像情報記憶手段に記憶された前記画像情報を検索するためのキー情報の入力を受け付ける入力受付手段と、前記入力受付手段が入力を受け付けた前記キー情報に基づいて、前記状態情報記憶手段に記憶されている前記状態情報の中から、前記キー情報を含む前記状態情報を検索して取得する状態情報取得手段と、前記画像情報記憶手段に記憶されている前記画像情報の中から、前記状態情報取得手段が検索した前記状態情報に対応する前記画像情報を取得する画像情報取得手段と、前記状態情報取得手段が取得した前記状態情報と、前記画像情報取得手段が取得した前記画像情報と、を表示する表示手段と、を備えること、を特徴とする。
【０００８】
また、請求項２にかかる発明は、請求項１に記載の検索装置において、人物名と前記人物名の顔特徴情報とを対応付けて記憶する顔特徴情報記憶手段をさらに備え、前記入力受付手段は、前記キー情報として前記格要素である人物名の入力を受け付け、前記状態情報取得手段は、前記入力受付手段が入力を受け付けた前記キー情報に前記人物名が含まれているか否かを判定し、前記画像情報取得手段は、前記状態情報取得手段が前記キー情報に前記人物名が含まれ、かつ前記状態情報に前記人物名が含まれていると判定した場合には、前記顔特徴記憶手段が記憶する前記人物名に対応する前記顔特徴情報を取得し、取得した該顔特徴情報に類似する顔特徴情報を含む前記状態情報に対応付けて前記画像情報記憶手段に記憶されている前記画像情報を取得すること、を特徴とする。
【０００９】
また、請求項３にかかる発明は、請求項２に記載の検索装置において、前記入力受付手段は、さらに人物の顔画像の入力を受け付け、前記画像情報取得手段は、前記キー情報に含まれる前記人物名に対応する前記顔特徴情報が前記顔特徴情報記憶手段に記憶されていない場合には、前記入力受付手段が入力を受け付けた前記顔画像を解析して顔特徴情報を抽出し、抽出した該顔特徴情報に類似する顔特徴情報を含む前記状態情報に対応付けて前記画像情報記憶手段に記憶されている前記画像情報を取得すること、を特徴とする。
【００１０】
また、請求項４にかかる発明は、請求項１〜３のいずれか１項に記載の検索装置において、前記格フレームによって表示された状態情報には、格要素であって、前記物体の特徴を示す属性情報と、前記物体の動作の種類と、前記動作を行った場所を示す位置情報と、前記動作を開始した動作開始時刻と前記動作を終了した動作終了時刻とを含む動作時間と、前記動作の対象を示す動作対象情報と、前記動作対象情報に対して前記物体が動作を開始した起点および前記動作を終了した終点と、前記物体が前記動作対象情報に対して動作した場合に用いた事物を示す手段情報と、を含むこと、を特徴とする。
【００１１】
また、請求項５にかかる発明は、請求項４に記載の検索装置において、前記画像情報には、前記物体の撮像が開始された開始時刻と、前記物体の撮像が終了した終了時刻と、を含み、前記状態情報取得手段は、前記画像情報に含まれる前記開始時刻と前記終了時刻とを、前記状態情報に含まれる前記動作開始時刻と前記動作終了時刻に設定し、前記画像情報取得手段は、前記画像情報記憶手段に記憶されている前記画像情報の中から、前記状態情報取得手段によって設定された前記動作開始時刻と前記動作終了時刻とが設定された前記状態情報に対応する前記画像情報を取得すること、を特徴とする。
【００１２】
また、請求項６にかかる発明は、請求項４または５に記載の検索装置において、前記監視領域が撮像された前記開始時刻からの経過時間を計時するタイマーと、をさらに備え、前記画像情報取得手段は、前記タイマーが計時する経過時間が前記開始時刻からの前記経過時間が所定の時間を経過しているか否かを判定し、前記開始時刻からの前記経過時間が所定の時間を経過していると判定した場合には、前記開始時刻を含む前記状態情報に対応する前記画像情報を前記画像情報記憶手段から削除すること、を特徴とする。
【００１３】
また、請求項７にかかる発明は、請求項４〜６のいずれか１項に記載の検索装置において、前記物体の特徴を示す属性情報には、前記人物の体型と、前記人物の容貌とを含み、前記入力受付手段は、さらに前記人物の体型または／および前記人物の容貌の入力を受け付け、前記状態情報取得手段は、前記状態情報記憶手段に記憶されている前記状態情報の中から、前記入力受付手段が入力を受け付けた前記人物の体型または／および前記人物の容貌を含む前記状態情報を検索して取得し、前記画像情報取得手段は、前記画像情報記憶手段に記憶されている前記画像情報の中から、前記状態情報取得手段によって取得された前記状態情報に含まれる前記人物の体型または／および前記人物の容貌に基づいて前記画像情報を取得すること、を特徴とする。
【００１４】
また、請求項８にかかる発明は、請求項１〜７のいずれか１項に記載の検索装置において、前記格フレームによって表示された状態情報のうち、前記物体の動作の種類と、前記物体の動作の種類を表す動詞と前記物体の動作に関連する名詞である格要素と、該格要素の値と、を対応付けて記憶する不審者情報記憶手段と、前記入力受付手段が入力を受け付けた前記キー情報に、前記不審者情報記憶手段が記憶する前記格要素の値が含まれているか否かを判定する不審者情報判定手段と、をさらに備え、前記状態情報取得手段は、前記不審者情報判定手段が前記キー情報に前記格要素の値が含まれていると判定した場合には、前記状態情報記憶手段に記憶されている前記状態情報の中から、前記格要素の値を含む前記状態情報を検索して取得すること、を特徴とする。
【００１５】
また、請求項９にかかる発明は、撮像手段が撮像した物体の画像情報を記憶する画像情報記憶手段と、前記画像情報を解析して物体の動作状態を抽出し、抽出した前記物体の動作状態を表す情報であって、前記物体の動作の種類を表す動詞と前記物体の動作に関連する名詞である格要素とを含み、前記動詞と前記格要素との間の意味関係を示す格フレームによって表された状態情報を、前記画像情報記憶手段が記憶する前記画像情報に対応付けて記憶する状態情報記憶手段と、前記状態情報と前記画像情報とを表示する表示手段と、を備える検索装置において行われる検索方法であって、入力受付手段が、前記画像情報記憶手段に記憶された前記画像情報を検索するためのキー情報の入力を受け付ける入力受付ステップと、状態情報取得手段が、前記入力受付手段が入力を受け付けた前記キー情報に基づいて、前記状態情報記憶手段に記憶されている前記状態情報の中から、前記キー情報を含む前記状態情報を検索して取得する状態情報取得ステップと、画像情報取得手段が、前記画像情報記憶手段に記憶されている前記画像情報の中から、前記状態情報取得手段が検索した前記状態情報に対応する前記画像情報を取得する画像情報取得ステップと、を含むこと、を特徴とする。
【発明の効果】
【００１６】
請求項１にかかる発明によれば、画像情報記憶手段が、撮像手段が撮像した物体の画像情報を記憶し、状態情報記憶手段が、前記画像情報を解析して物体の動作状態を抽出し、抽出した前記物体の動作状態を表す情報であって、前記物体の動作の種類を表す動詞と前記物体の動作に関連する名詞である格要素とを含み、前記動詞と前記格要素との間の意味関係を示す格フレームによって表された状態情報を、前記画像情報記憶手段が記憶する前記画像情報に対応付けて記憶し、入力受付手段が、前記画像情報記憶手段に記憶された前記画像情報を検索するためのキー情報の入力を受け付け、状態情報取得手段が、前記入力受付手段が入力を受け付けた前記キー情報に基づいて、前記状態情報記憶手段に記憶されている前記状態情報の中から、前記キー情報を含む前記状態情報を検索して取得し、画像情報取得手段が、前記画像情報記憶手段に記憶されている前記画像情報の中から、前記状態情報取得手段が検索した前記状態情報に対応する前記画像情報を取得し、表示手段が、前記状態情報取得手段が取得した前記状態情報と、前記画像情報取得手段が取得した前記画像情報と、を表示するので、撮像された画像の中から所望の画像を検索してその画像を表示させ、所望の物体の特定を容易に行うことができるという効果を奏する。
【００１７】
また、請求項２にかかる発明によれば、請求項１に記載の検索装置において、顔特徴情報記憶手段が、人物名と前記人物名の顔特徴情報とを対応付けて記憶し、前記入力受付手段は、前記キー情報として前記格要素である人物名の入力を受け付け、前記状態情報取得手段は、前記入力受付手段が入力を受け付けた前記キー情報に前記人物名が含まれているか否かを判定し、前記画像情報取得手段は、前記状態情報取得手段が前記キー情報に前記人物名が含まれ、かつ前記状態情報に前記人物名が含まれていると判定した場合には、前記顔特徴記憶手段が記憶する前記人物名に対応する前記顔特徴情報を取得し、取得した該顔特徴情報に類似する顔特徴情報を含む前記状態情報に対応付けて前記画像情報記憶手段に記憶されている前記画像情報を取得するので、所望の不審者等の人物の特定を容易に行うことができるという効果を奏する。
【００１８】
また、請求項３にかかる発明によれば、請求項２に記載の検索装置において、前記入力受付手段は、さらに人物の顔画像の入力を受け付け、前記画像情報取得手段は、前記キー情報に含まれる前記人物名に対応する前記顔特徴情報が前記顔特徴情報記憶手段に記憶されていない場合には、前記入力受付手段が入力を受け付けた前記顔画像を解析して顔特徴情報を抽出し、抽出した該顔特徴情報に類似する顔特徴情報を含む前記状態情報に対応付けて前記画像情報記憶手段に記憶されている前記画像情報を取得するので、所望の不審者等の人物の特定をさらに容易に行うことができるという効果を奏する。
【００１９】
また、請求項４にかかる発明よれば、請求項１〜３のいずれか１項に記載の検索装置において、前記格フレームによって表示された状態情報には、格要素であって、前記物体の特徴を示す属性情報と、前記物体の動作の種類と、前記動作を行った場所を示す位置情報と、前記動作を開始した動作開始時刻と前記動作を終了した動作終了時刻とを含む動作時間と、前記動作の対象を示す動作対象情報と、前記動作対象情報に対して前記物体が動作を開始した起点および前記動作を終了した終点と、前記物体が前記動作対象情報に対して動作した場合に用いた事物を示す手段情報と、を含むので、物体や不審者等の人物の特定が容易かつ細やかに行うことができるという効果を奏する。
【００２０】
また、請求項５にかかる発明によれば、請求項４に記載の検索装置において、前記画像情報には、前記物体の撮像が開始された開始時刻と、前記物体の撮像が終了した終了時刻と、含み、前記状態情報取得手段は、前記画像情報に含まれる前記開始時刻と前記終了時刻とを、前記状態情報に含まれる前記動作開始時刻と前記動作終了時刻に設定し、前記画像情報取得手段は、前記画像情報記憶手段に記憶されている前記画像情報の中から、前記状態情報取得手段によって設定された前記動作開始時刻と前記動作終了時刻とが設定された前記状態情報に対応する前記画像情報を取得するので、物体や不審者等の人物の動作が変化する場合であっても、その物体や人物の特定を容易に行うことができるという効果を奏する。
【００２１】
また、請求項６にかかる発明によれば、請求項４または５に記載の検索装置において、タイマーが、前記監視領域が撮像された前記開始時刻からの経過時間を計時し、前記画像情報取得手段は、前記タイマーが計時する経過時間が前記開始時刻からの前記経過時間が所定の時間を経過しているか否かを判定し、前記開始時刻からの前記経過時間が所定の時間を経過していると判定した場合には、前記開始時刻を含む前記状態情報に対応する前記画像情報を前記画像情報記憶手段から削除するので、記憶容量の削減を図ることができると共に、所望の物体の特定を効率的に行うことができるという効果を奏する。
【００２２】
また、請求項７にかかる発明によれば、請求項４〜６のいずれか１項に記載の検索装置において、前記物体の特徴を示す属性情報には、前記人物の体型と、前記人物の容貌とを含み、前記入力受付手段は、さらに前記人物の体型または／および前記人物の容貌の入力を受け付け、前記状態情報取得手段は、前記状態情報記憶手段に記憶されている前記状態情報の中から、前記入力受付手段が入力を受け付けた前記人物の体型または／および前記人物の容貌を含む前記状態情報を検索して取得し、前記画像情報取得手段は、前記画像情報記憶手段に記憶されている前記画像情報の中から、前記状態情報取得手段によって取得された前記状態情報に含まれる前記人物の体型または／および前記人物の容貌に基づいて前記画像情報を取得するので、所望の不審者等の人物の特定をさらに容易に行うことができるという効果を奏する。
【００２３】
また、請求項８にかかる発明によれば、請求項１〜７のいずれか１項に記載の検索装置において、不審者情報記憶手段が、前記格フレームによって表示された状態情報のうち、前記物体の動作の種類と、前記物体の動作の種類を表す動詞と前記物体の動作に関連する名詞である格要素と、該格要素の値と、を対応付けて記憶し、不審者情報判定手段が、前記入力受付手段が入力を受け付けた前記キー情報に、前記不審者情報記憶手段が記憶する前記格要素の値が含まれているか否かを判定し、前記状態情報取得手段は、前記不審者情報判定手段が前記キー情報に前記格要素の値が含まれていると判定した場合には、前記状態情報記憶手段に記憶されている前記状態情報の中から、前記格要素の値を含む前記状態情報を検索して取得するので、所望の不審者等の人物の特定をさらに効率的に行うことができるという効果を奏する。
【発明を実施するための最良の形態】
【００２４】
以下に添付図面を参照して、この発明にかかる検索装置および検索方法の最良な実施の形態を詳細に説明する。
【００２５】
（実施の形態１）
図１は、実施の形態１の警備装置１００の機能的構成を示すブロック図である。警備装置１００は、図１に示すように、センサ１１０と、監視カメラ１２０と、本体部１３０と、を備えており、ネットワーク３００を介して監視センタ２００に接続されている。また、本体部１３０は、検知情報受信部１３１と、画像処理部１３２と、警備状態切替部１３３と、操作パネル制御部１３４と、言語情報取得部１３５と、画像情報取得部１３６と、送受信部１３７と、警備状態記憶部１３８と、言語構造構築部１３９と、記憶部１４０と、タイマー１７０と、操作パネル１８０と、を含んで構成されている。さらに記憶部１４０は、映像データベース１５１を記憶する第１記憶部１５０と、言語情報データベース１６１を記憶する第２記憶部１６０と、顔特徴データベース１９１を記憶する第３記憶部１９０と、を含んで構成され、操作パネル１８０は、入力受付部１８１と、言語情報表示部１８２と、映像表示部１８３と、を含んで構成されている。
【００２６】
センサ１１０は、検知領域での異常を検知する検知装置等から構成され、例えば、赤外線の受光量の変化をもとに人を検知する赤外線センサ、赤外線などが遮られることで人を検知する遮断センサ、電磁波の乱れで人を検知する気配センサ、マグネットにより扉の開閉を検出するマグネットセンサなどの検知領域の異常を検出する各種センサ等から構成される。センサ１１０は、検知領域での異常を検知すると、後述する検知情報受信部１３１に、異常を検知した旨の検知信号を送信する。尚、検知領域とは、センサ１１０が異常を検知可能な範囲のことである。
【００２７】
監視カメラ１２０は、主に監視領域である住居の出入口付近や敷地内への出入口付近に設置され、監視領域を撮像する撮像装置である。具体的には、監視カメラ１２０は、図２に示すような監視領域に含まれる領域ａ１やａ２を撮像し、撮像した画像を後述する第１記憶部１５０が記憶する映像データベース１５１に記憶する。図３は、監視カメラ１２０が、領域ａ１を撮像する様子を示す図である。
【００２８】
図１に戻り、検知情報受信部１３１は、センサ１１０によって異常が検知された場合に送出される検知情報を受信する。検知情報は、検知部１１１から送出される検知信号であり、センサ１１０が複数設置されている場合は、検知信号およびセンサを識別するセンサＩＤ等も含まれる。
【００２９】
画像処理部１３２は、後述する映像データベース１５１に記憶された監視カメラ１２０によって撮像された画像を解析し、撮像された画像に映った物体の動作状態の画像や映像を抽出する。例えば、画像処理部１３２は、撮像された画像に人物が映っている場合には、肌領域を検出する等して人物を特定し、特定した人物の動作（例えば、玄関に向かって歩行している状態）の画像や映像を抽出する。
【００３０】
警備状態切替部１３３は、後述するように操作パネル１８０が入力を受け付けた警備状態の切替信号が操作パネル制御部１３４によって制御され、制御された切替信号に従って、現在の警備状態を後述する警備状態記憶部１３８に格納する。
【００３１】
言語情報取得部１３５は、後述する入力受付部１８１が入力を受け付けた検索キーが、キーワードや文章等であるか否かを判定し、検索キーが、キーワードや文章等であると判定した場合には、後述する第２記憶部１６０が記憶する言語情報データベース１６１に記憶する状態情報に含まれる動作（行動）の種類を表す行動名や、動作に関連する名詞である格要素（深層格）に記憶されているものであるか否かを判定し、検索キーとして入力が受け付けられたキーワードや文章等を含む深層格フレームを後述する操作パネル１８０に表示する。
【００３２】
また、言語情報取得部１３５は、後述する入力受付部１８１が入力を受け付けたキーワードや文章等に人名が含まれているか否かを判定する。
【００３３】
さらに、言語情報取得部１３５は、後述するように、映像データベース１５１が記憶する画像や映像に含まれる、撮像開始時刻や、撮像終了時刻を、後述する言語情報データベース１６１に記憶される深層格フレーム（後述）の１つである時間格にセットする。
【００３４】
尚、上述した言語情報取得部１３５が、入力受付部１８１が入力を受け付けたキーワードや文章、あるいは顔画像等に従って、深層格フレーム（後述）として記憶された主格や属性格等の情報を検索する方法は、入力されたキーワード等が、主格や属性格といった深層格フレーム（後述）として記憶されている内容と完全に一致する場合の他、部分的に一致する場合、これらの内容に類似性がある場合等も検索できるものとする。ここで、類似性がある場合の検索手法については、その内容の主成分分析を行って検索する手法等、従来から行われている技術によって検索することが出来る。
【００３５】
画像情報取得部１３６は、後述する第１記憶部１５０が記憶する映像データベース１５１に記憶されている監視カメラ１２０が撮像した画像や映像と、上述した言語情報取得部１３５が判定した深層格フレームの深層格フレームＩＤが含まれる映像データベース１５１に記憶された画像や映像を取得して、後述する映像表示部１８３に表示させる。
【００３６】
さらに、画像情報取得部１３６は、後述するように、顔特徴情報データベース１９０に記憶されているその人物名に対応する顔特徴情報に類似する顔特徴情報を取得する。そして、取得した顔特徴情報に類似する顔特徴情報を含む深層格フレーム（後述）を後述する言語情報データベース１６１の中から特定し、特定した深層格フレームに対応するに映像データベース１５１に記憶されている画像や映像を取得する。尚、顔特徴情報とは、人物の顔を構成する各要素（例えば、鼻、目、眉等）の特徴（例えば、「鼻が高い」「目が二重」「眉が濃い」等）をあらわすものである。
【００３７】
さらに、画像情報取得部１３６は、入力受付部１８１が入力を受け付けた人物名に対応する顔特徴情報が顔特徴情報データベース１９０に記憶されていない場合には、後述する入力受付部１８１が入力を受け付けた人物の顔画像を解析してその人物の顔特徴情報を抽出する。そして、抽出した顔特徴情報に類似する顔特徴情報を含む深層格フレームに対応するに映像データベース１５１に記憶されている画像や映像を取得する。
【００３８】
また、画像情報取得部１３６は、言語情報取得部１３５から、深層格フレームの時間格に、撮像開始時刻、撮像終了時刻をセットすると、その撮像開始時刻から撮像終了時刻までの画像や映像を、映像データベース１５１に記憶されている画像や映像の中から抽出して、後述する映像表示部１８３に表示させる。
【００３９】
さらに、画像情報取得部１３６は、後述するタイマー１７０が計時する映像データベース１５１に画像や映像が記憶されてからの時間が、あらかじめメモリ等の記憶媒体（不図示）に記憶された所定の経過時間を経過している画像や映像を削除する。
【００４０】
送受信部１３７は、監視センタ２００との間で、ネットワーク３００を介して上述したセンサ１１０から送信された検知情報等の各種情報を送受信する。具体的には、送受信部１３７は、センサ１１０から検知情報等を受信した場合で、かつ警備状態記憶部１３８に記憶された現在の警備状態に警備モードが記憶されている場合に、監視領域に異常が生じた旨の警報情報を監視センタ２００に送信する。
【００４１】
警備状態記憶部１３８は、現在の警備装置１００の警備状態である警備モードまたは警備解除モードのいずれかを記憶するＨＤＤ（ハードディスクドライブ）やメモリ等の記憶媒体である。
【００４２】
ここで、警備モードとは、センサ１１０が異常を検知して検知情報を取得した場合に、監視領域での異常を知らせる旨の警報情報をネットワーク３００で接続されている監視センタ２００に送信する状態をいい、警備解除モードとは、上記検知情報を取得した場合でも異常を知らせる警報情報を監視センタ２００に送信しない状態をいう。
【００４３】
言語構造構築部１３９は、上述した画像処理部１３２が映像データベース１５１に記憶された画像や映像から抽出した物体の動作状態の画像や映像やキーワードや文章等から、後述する深層格フレームによって表された状態情報を構築する。
【００４４】
記憶部１４０は、映像データベース１５１を記憶する第１記憶部１５０と、言語情報データベース１６１を記憶する第２記憶部１６０と、顔特徴データベース１９１を記憶する第３記憶部１９０と、を記憶するＨＤＤ（ハードディスクドライブ）やメモリ等の記憶媒体である。
【００４５】
映像データベース１５１は、監視カメラ１２０が撮像した画像や映像を、その撮像された時間（例えば、撮像開始時刻、撮像終了時刻）および深層格フレームの後述する深層格フレームＩＤと共に記憶する。
【００４６】
言語情報データベース１６１は、物体の動作状態を深層格フレーム構造で表した状態情報を、映像データベース１５１に記憶されている画像や映像に対応付けて記憶する。なお、深層格フレーム（以下、単に格フレームとも言う）とは、動詞を基準として、動詞に対する名詞の意味関係を深層格として表した言語構造のことである。具体的には、映像データベース１５１に記憶される画像や映像と言語情報データベース１６１とは、後述する深層格フレームＩＤによって対応付けられている。
【００４７】
図４は、言語情報データベース１６１に記憶される状態情報のデータ構造、および図５はそのデータ構造の一例を示す図である。図４に示すように、状態情報は、格フレームを識別する格フレームＩＤと、動作（行動）の種類を表す行動名と、動作に関連する名詞である格要素（深層格）とを含んでいる。深層格には、主格、属性格、場所格、時間格、源泉格、目標格、対象格、道具格、および主格が動作した行動名が含まれる。
【００４８】
主格は、動作を引き起こす主体を表し、例えば、人物の名前が含まれる。属性格は、主格に関する情報をいう。例えば、属性格は、身長高、体型、上半身色、下半身色、頭色、容貌等の顔情報、および歩容情報等を含む。
【００４９】
顔情報および歩容情報は、さらに詳細な要素に分けられる。例えば、顔情報は、顔の特徴を表す顔特徴（鼻が高い、目が二重、眉が濃い等）、視線方向、マスクの有無、サングラスの有無、性別、および年代などの要素を含む。また、歩容情報は、歩幅、姿勢、脚長、および歩速などの要素を含む。尚、後述する顔特徴データベース１９１には、顔特徴とその顔特徴を有する人物の名前とが対応付けて記憶されている。
【００５０】
場所格は、動作や状態が起こる場所を表す。例えば、場所格は、頭部位置、体位置、手位置、顔位置、および脚部位置等を含む。
【００５１】
時間格は、動作や状態が起こる時間を表す。例えば、時間格は、現在時刻を表す時刻、動作が開始された時刻を表す動作開始時刻、動作が終了した時刻を表す動作終了時刻、および年月日等を表す。
【００５２】
源泉格は、移動や状態変化などの起点を表す。例えば、源泉格は、主格が移動や動作等を行う起点の位置を表す場所情報、および起点での主格の属性を表す属性情報を含む。
【００５３】
目標格は、移動や状態変化などの終点を表す。例えば、目標格は、主格が移動や動作等を行う終点の位置を表す場所情報、および終点での主格の属性を表す属性情報を含む。
【００５４】
対象格は、動作や状態の対象となる事物を表す。対象格は、固有の識別情報である対象ＩＤ、および固有の情報である属性情報を含む。
【００５５】
道具格は、動作の補助的手段を表す。道具格は、固有の識別情報である道具ＩＤ、および固有の情報である属性情報を含む。
【００５６】
なお、利用できる深層格はこれらに限られず、例えば精神的事象の経験者を表す経験者格などの、その他のあらゆる深層格を用いることができる。
【００５７】
図５は、言語情報データベース１６１に記憶される状態情報の具体例を示す図である。図５は、人物Ａ（主格）が、「しゃがむ」という行動を検出したときに生成される状態情報の一例を示している。この場合、属性格には、人物Ａの身長高、体型などの具体的な値が設定される。また、場所格および時間格には、それぞれ人物Ａがしゃがんだときの位置や時刻に関する具体的な値が設定される。
【００５８】
後述するように、言語情報取得部１３５や画像情報取得部１３６が行う検索処理では、このようにあらかじめ記憶された言語情報データベース１６１の中に、後述する入力受付部１８１が入力を受け付けたキーワードや文章が含まれているか否かを判定し、これらのキーワードや文章に対応付けて記憶されている画像や映像を取得して、後述する言語情報表示部１８２や映像情報表示部１８３に表示する。
【００５９】
図１に戻り、顔特徴データベース１９１は、人物の名前と、その人物の顔の要素（例えば、鼻、目、眉等）の特徴（例えば、「鼻が高い」「目が二重」「眉が濃い」等）とを対応付けて記憶する。
【００６０】
タイマー１７０は、監視カメラ１２０によって画像が撮像された時刻からの時間を計時する。
【００６１】
操作パネル１８０は、ＬＣＤ（Liquid Crystal Display）等の液晶パネルから構成され、液晶パネル上に表示された操作ボタンの押下等によって上述した警備モードまたは警備解除モードのいずれかの警備状態を入力する。操作パネル制御部１３４は、操作パネル１８０への表示情報の出力や、操作パネル１８０から入力された検索キー等の入力情報の取得等の制御を行う。
【００６２】
入力受付部１８１は、ユーザが、映像データベース１５１に記憶されている画像や映像を検索して取得するためのキーワードや文章等、あるいは人物の顔画像等の入力を受け付ける。図６は、入力受付部１８１を含む操作パネル１８０の例を示す図である。
【００６３】
図６に示すように、入力受付部１８１には、上述した深層格フレームとして構成する格要素（深層格）や、人名、あるいは、深層格の１つである行動名を、プルダウンメニューで表示されたウィンドウ等から選択して検索することや、これらのプルダウンメニューに表示されていないキーワードや文章等を指定することも可能である。例えば、あらかじめ映像データベース１５１に有名人の画像や映像を記憶させ、深層格フレームを構築しておくことによって、その有名人の名前を検索キーに指定し、その有名人の深層格フレームを構成する格要素を含む深層格フレームを検索し、あるいは、入力が受け付けられた人物の顔画像の顔特徴に類似する顔特徴情報を含む深層格フレームを検索することによって、容易に捜索人や不審者等の人物を探すことも可能である。
【００６４】
映像表示部１８３は、上述した画像情報取得部１３６が取得した画像や映像を表示する。具体的には、図６に示す操作パネル１８０上の左上部の領域に画像や映像を表示する。
【００６５】
言語情報表示部１８２は、入力受付部１８１が入力を受け付けたキーワードや文章等を含む深層格フレームを構成する格要素（深層格）の内容を表示する。ユーザは、入力受付部１８１に表示されたボタン等を押下することによって、映像表示部１８３に画像や映像を表示させたり、あるいは言語情報表示部１８２に格要素（深層格）の内容を要約して表示させることも可能である。
【００６６】
尚、上述したように、画像情報取得部１３６が、所定の経過時間を経過したと判定して画像や映像を削除した場合には、これらのボタン等を押下した場合であっても、映像表示部１８３に画像や映像が表示されることはない。
【００６７】
監視センタ２００は、監視領域の異常を検知した警備装置１００からの通報を受け、待機中の警備員に対して異常が検知された監視領域（不図示）へ向かう旨の指示を出すとともに、必要に応じて警察や消防等の関係機関への通報を行う。
【００６８】
ネットワーク３００は、警備装置１００と監視センタ２００との通信を媒介するインターネットや電話回線等の通信回線である。
【００６９】
続いて、以上のように構成された実施の形態１にかかる警備装置１００で実行される各処理について説明する。
【００７０】
図７は、実施の形態１において、ユーザが、警備装置１００に記憶された画像や映像を、キーワードや文章等を入力して検索し、その結果を取得するまでの処理手順を示すフローチャートである。以下の説明では、映像データベース１５１にはあらかじめ監視カメラ１２０によって撮像された画像や映像が記憶され、言語情報データベース１６１には、その画像や映像に対応付けられて記憶された深層格フレームが記憶されているものとする。
【００７１】
まず、入力受付部１８１は、ユーザから画像や映像を検索するためのキーワードや文章等の入力を受け付けられると（ステップＳ７０１）、言語情報取得部１３５は、入力が受け付けられた検索キーが、キーワードや文章等の言語であるか否かを判定する（ステップＳ７０２）。
【００７２】
そして、言語情報取得部１３５が、検索キーが、キーワードや文章等が言語であると判定した場合（ステップＳ７０２；Ｙｅｓ）、言語構造構築部１３９は、そのキーワードや文章等の言語を、深層格フレームによって表された状態情報を構築し（ステップＳ７０３）、続いて言語情報データベース１６１に記憶されている格フレームを読み込んで（ステップＳ７０４）、読み込んだ格フレームの中から、ステップＳ７０１で入力が受け付けられたキーワード等や文章等の言語を含む格フレームがあるか否かを判定する（ステップＳ７０５）。
【００７３】
その後、さらに言語情報取得部１３５は、入力受付部１８１が、さらにキーワードや文章等の言語の入力を受け付けているか否かを判定し（ステップＳ７０６）、そのキーワードや文章等の言語の入力を受け付けていると判定した場合（ステップＳ７０６；Ｙｅｓ）、ステップＳ７０１に戻り、ステップＳ７０１〜Ｓ７０５までの処理を繰り返す。
【００７４】
一方、言語情報取得部１３５は、キーワードや文章等の言語の入力を受け付けていないと判定した場合（ステップＳ７０６；Ｎｏ）、そのキーワードや文章等を含む検索した深層格フレームを操作パネル１８０に表示し（ステップＳ７１２）、さらに映像データベース１５１に記憶されている撮像開始時刻、撮像終了時刻を検索した深層格フレームの時間格に記憶させる（ステップＳ７１３、Ｓ７１４）。
【００７５】
その後、画像情報取得部１３６は、ステップＳ７１３、Ｓ７１４で時間格に設定された撮像開始時刻から撮像終了時刻までの間の時刻を含む画像や映像を、映像データベース１５１の中から取得して、映像表示部１８３に表示させる（ステップＳ７１５）。
【００７６】
そして、画像情報取得部１３６は、タイマー１７０が計時する映像データベース１５１に画像や映像が記憶されてから所定の時間を経過している画像や映像を削除する(ステップＳ７１６)。
【００７７】
一方、ステップＳ７０２において、言語情報取得部１３６が、キーワードや文章等が言語でないと判定した場合（ステップＳ７０２；Ｎｏ）、さらにそのキーワードや文章等が人名であるか否かを判定し（ステップＳ７０７）、キーワードや文章等が人名でないと判定した場合（ステップＳ７０７；Ｎｏ）、ステップＳ７０１に戻る。
【００７８】
一方、言語情報取得部１３６が、そのキーワードや文章等が人名であると判定した場合（ステップＳ７０７；Ｙｅｓ）、画像情報取得部１３６は、顔特徴データベース１９１の中からキーワードである人名に対応する顔特徴を検索し（ステップＳ７０８）、その人名に対応する顔特徴が登録されているか否かを判定する（ステップＳ７０９）。
【００７９】
そして、画像情報取得部１３６が、その人名に対応する顔特徴が登録されていると判定した場合（ステップＳ７０９；Ｙｅｓ）、その顔情報を言語構造構築部１３９に送り、ステップＳ７０３に戻って、ステップＳ７０４以降に示す検索処理を行う。
【００８０】
一方、画像情報取得部１３６は、その人名に対応する顔特徴が登録されていないと判定した場合（ステップＳ７０９；Ｎｏ）、さらに入力受付部１８１が、顔画像の入力を受け付けたか否かを判定する（ステップＳ７１０）。そして、入力受付部１８１が、顔画像の入力を受け付けていないと判定した場合（ステップＳ７１０；Ｎｏ）、ステップＳ７０１に戻る。
【００８１】
一方、入力受付部１８１が、顔画像の入力を受け付けたと判定した場合（ステップＳ７１０；Ｙｅｓ）、顔画像から顔情報を抽出し、その顔情報を言語構造構築部１３９に送り（ステップＳ７１１）、ステップＳ７０３に戻って、ステップ７０４以降の検索処理を行う。このように、ステップＳ７０１〜Ｓ７１６までの処理が終了すると、本実施の形態における全ての処理が終了する。
【００８２】
このように、本実施の形態においては、映像データベース１５１が、監視カメラ１２０が撮像した物体の画像や映像を記憶し、言語情報データベース１６１が、画像や映像を解析して物体の動作状態を抽出し、抽出された物体の動作状態を表す情報であって、物体の動作の種類を表す動詞と物体の動作に関連する名詞である格要素とを含み、動詞と格要素との間の意味関係を示す格フレームによって表された深層格フレームを、映像データベース１５１が記憶する画像や映像に対応付けて記憶し、入力受付部１８１が、映像データベース１５１に記憶された画像や映像を検索するためのキーワードや文章等の入力を受け付け、言語情報取得部１３５が、入力受付部１８１が入力を受け付けたキーワードや文章等に基づいて、言語情報データベース１６１に記憶されている深層格フレームの中から、キーワードや文章等を含む深層格フレームを検索して取得し、画像情報取得部１３６が、映像データベース１５１に記憶されている画像や映像の中から、言語情報取得部１３５が検索した深層格フレームに対応する画像や映像を取得し、言語情報表示部１８２が、言語情報取得部１３５が取得した深層格フレームと、画像情報取得部１３６が取得した画像や映像と、を表示するので、撮像された画像の中から所望の画像を検索してその画像を表示させ、所望の物体の特定を容易に行うことができる。
【００８３】
また、本実施の形態においては、顔特徴データベース１９１が、人物名と人物名の顔特徴情報とを対応付けて記憶し、入力受付部１８１は、キーワードや文章等として格要素である人物名の入力を受け付け、言語情報取得部１３５は、入力受付部１８１が入力を受け付けたキーワードや文章等に人物名が含まれているか否かを判定し、画像情報取得部１３６は、言語情報取得部１３５がキーワードや文章等に人物名が含まれ、かつ深層格フレームに人物名が含まれていると判定した場合には、顔特徴データベース１９１が記憶する人物名に対応する顔特徴情報を取得し、取得した顔特徴情報に類似する顔特徴情報を含む深層格フレームに対応付けて映像データベース１５１に記憶されている画像や映像を取得するので、所望の不審者等の人物の特定を容易に行うことができる。
【００８４】
また、本実施の形態においては、入力受付部１８１は、さらに人物の顔画像の入力を受け付け、画像情報取得部１３６は、キーワードに含まれる人物名に対応する顔特徴情報が顔特徴データベース１９１に記憶されていない場合には、入力受付部１８１が入力を受け付けた顔画像を解析して顔特徴情報を抽出し、抽出した顔特徴情報に類似する顔特徴情報を含む深層格フレームに対応付けて映像データベース１５１に記憶されている画像や映像を取得するので、所望の不審者等の人物の特定をさらに容易に行うことができる。
【００８５】
また、本実施の形態においては、深層格フレームには、格要素であって、物体の特徴を示す属性格と、物体の動作の種類と、動作を行った場所を示す場所格と、動作を開始した動作開始時刻と動作を終了した動作終了時刻とを含む時間格と、動作の対象を示す対象格と、対象格に対して物体が動作を開始した源泉格および動作を終了した目標格と、物体が対象格に対して動作した場合に用いた事物を示す道具格と、を含むので、物体や不審者等の人物の特定が容易かつ細やかに行うことができる。
【００８６】
また、本実施の形態においては、映像データベース１５１には、物体の撮像が開始された開始時刻と、物体の撮像が終了した終了時刻と、含み、言語情報取得部１３５は、画像や映像に含まれる開始時刻と終了時刻とを、深層格フレームに含まれる動作開始時刻と動作終了時刻に設定し、画像情報取得部１３６は、映像データベース１５１に記憶されている画像や映像の中から、言語情報取得部１３５によって設定された動作開始時刻と動作終了時刻とが設定された深層格フレームに対応する画像や映像を取得するので、物体や不審者等の人物の動作が変化する場合であっても、その物体や人物の特定を容易に行うことができる。
【００８７】
また、本実施の形態においては、タイマー１７０が、監視領域が撮像された開始時刻からの経過時間を計時し、映像データベース１５１は、タイマー１７０が計時する経過時間が開始時刻からの経過時間が所定の時間を経過しているか否かを判定し、開始時刻からの経過時間が所定の時間を経過していると判定した場合には、開始時刻を含む深層格フレームに対応する画像や映像を映像データベース１５１から削除するので、記憶容量の削減を図ることができると共に、所望の物体の特定を効率的に行うことができる。
【００８８】
また、本実施の形態においては、物体の特徴を示す属性格には、人物の体型と、人物の容貌とを含み、入力受付部１８１は、さらに人物の体型または／および人物の容貌の入力を受け付け、言語情報取得部１３５は、言語情報データベース１６１に記憶されている深層格フレームの中から、入力受付部１８１が入力を受け付けた人物の体型または／および人物の容貌を含む深層格フレームを検索して取得し、画像情報取得部１３６は、映像データベース１５１に記憶されている画像や映像の中から、言語情報取得部１３５によって取得された深層格フレームに含まれる人物の体型または／および人物の容貌に基づいて画像や映像を特定し、特定した画像や映像を取得するので、所望の不審者等の人物の特定をさらに容易に行うことができる。
【００８９】
（実施の形態２）
上述した実施の形態１では、画像や映像と対応付けて記憶された深層格フレームに中から、例えば、人名等を含むキーワードや文章等の検索キーを指定することによって、あらかじめ記憶された画像や映像を取得することとした。しかし、ある特徴のある人物の画像（例えば、不審者等の人物）を取得する場合には、その特徴をあらかじめ登録しておいたほうが、より一層効率的に画像や映像の検索ができる場合もある。そこで、そのような人物の特徴をあらわす情報（以下、不審者情報と呼ぶ。）をあらかじめ記憶させておき、記憶されている不審者情報を用いて画像や映像を検索して取得する場合について説明する。
【００９０】
図８は、実施の形態２にかかる警備装置８００の構成を示すブロック図である。実施の形態２における警備装置８００は、警備装置の本体部８３０が、不審者情報判定部８６０と、不審者情報データベース８５１を記憶する第４記憶部８５０と、をさらに備えている点で、実施の形態１における本体部１３０と異なっている。以下の説明では、上述した実施の形態１と同一の構成要素には同一の符号を付してその説明を省略している。
【００９１】
不審者情報データベース８５１は、深層格フレームに含まれる深層格のうち、行動名と、深層格と、その深層格の具体的な値とを不審者情報の規則として対応付けて記憶するＨＤＤ（ハードウェアディスクドライブ）やメモリ等の記憶媒体である。
【００９２】
図９は、不審者情報データベース８５１の例を示す図である。図９における網掛け部は、行動名が「きょろきょろする」である場合であって、かつ場所格の体位置が「玄関前」、すなわち、玄関前できょろきょろしている場合を不審者あるいは不審行動として記憶している例を示している。
【００９３】
不審者情報判定部８６０は、上述した不審者情報データベース８５１を参照して、不審者情報として記憶されている情報を含む深層格フレームを検索し、入力受付部１８１等から入力されたキーワードや文章等に不審者情報として記憶されている情報、すなわち不審行動が含まれているか否かを判定する。
【００９４】
そして、不審者情報判定部８６０は、キーワードや文章等に不審者情報として記憶されている不審行動が含まれていると判定した場合には、その不審行動を含む深層格フレームを言語情報表示部１８２に表示する。
【００９５】
尚、不審者情報データベース８５１に記憶される行動名や、深層格の種類等は、あらかじめユーザによって記憶され、これらの内容は、季節や時間帯によって変更することもでき、あるいは監視カメラ１２０が撮像した画像や映像に映った人物を認証する等して、その認証結果に応じて不審者情報判定部８６０による処理を行うか否かを切り替えることも可能である。
【００９６】
図１０は、警備装置８００が行う処理手順を示すフローチャートである。図１０に示す各処理では、上述したように、あらかじめ図９に示すような不審者情報データベース８５１が、ユーザによってあらかじめ記憶され、さらに入力受付部１８１等からユーザによって不審者判定を行うための指示がなされたものとする。
【００９７】
まず、不審者情報判定部８６０は、不審者情報データベース８５１を参照して、記憶されている不審者情報を読み込む（ステップＳ１００１）。そして、読み込んだ不審者情報をキーにして、その不審者情報を含む深層格フレームを言語情報データベース１６１の中から検索する（ステップＳ１００２）。
【００９８】
そして、言語情報データベース１６１の中に、不審者情報を含む深層格フレームがあるか否かを判定し(ステップＳ１００３)、不審者情報を含む深層格フレームがないと判定した場合(ステップＳ１００３；Ｎｏ)、何もせずに次のステップに進む。
【００９９】
一方、不審者情報を含む深層格フレームがあると判定した場合(ステップＳ１００３；Ｙｅｓ)、その不審者情報を含む深層格フレームを言語情報表示部１８２に表示する(ステップＳ１００４)。その後、不審者情報データベース８５１に記憶されている全ての不審者情報の規則を参照したか否かを判定し（ステップＳ１００５）、全ての不審者情報の規則を参照していないと判定した場合（ステップＳ１００５；Ｎｏ）、ステップＳ１００１に戻り、以降の処理を繰り返す。一方、全ての不審者情報の規則を参照したと判定した場合（ステップＳ１００５；Ｙｅｓ）、不審者情報を検索して取得する全ての処理が終了する。
【０１００】
尚、上述した実施の形態では、不審者情報を検索して取得する処理は、実施の形態１における処理とは別個のものとして記載しているが、例えば、実施の形態１におけるステップＳ７０３〜Ｓ７０６のいずれかの箇所に組み込むことによって、言語情報取得部１３５が取得した深層格フレームと、不審者情報判定部８６０が検索した深層格フレームとを比較することによって、不審者の特定を効率的に行うことも可能である。
【０１０１】
このように、本実施の形態においては、不審者情報データベース８５１が、深層格フレームによって表示された格要素のうち、物体の動作名と、物体の動作の種類を表す動詞と物体の動作に関連する名詞である格要素と、格要素の値と、を対応付けて記憶し、不審者情報判定部８６０が、入力受付部１８１が入力を受け付けたキーワードや文章等に、不審者情報データベース８５１が記憶する格要素の値が含まれているか否かを判定し、言語情報取得部１３５は、不審者情報判定部８６０がキーワードや文章等に格要素の値が含まれていると判定した場合には、言語情報データベース１６１に記憶されている深層格フレームの中から、格要素の値を含む深層格フレームを検索して取得するので、所望の不審者等の人物の特定をさらに効率的に行うことができる。
【０１０２】
なお、本発明は、上記実施の形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施の形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態にわたる構成要素を適宜組み合わせても良い。
【図面の簡単な説明】
【０１０３】
【図１】実施の形態１の警備装置の機能的構成を示すブロック図である。
【図２】実施の形態１の監視カメラが監視領域を撮像する様子を示す図である。
【図３】図２に示す監視カメラが撮像する画像の具体例を示す図である。
【図４】図１に示す言語情報データベースが記憶する格深層フレームの構成を示す図である。
【図５】図４に示す格深層フレームの構成の具体例を示す図である。
【図６】図１に示す操作パネルの具体例を示す図である。
【図７】実施の形態１において深層格フレームや画像等を検索して操作パネルに表示するまでの手順を示すフローチャートである。
【図８】実施の形態２の警備装置の機能的構成を示すブロック図である。
【図９】図８に示す不審者情報データベースの構成を示す図である。
【図１０】実施の形態２において不審者情報を含む深層格フレームを検索して操作パネルに表示するまでの手順を示すフローチャートである。
【符号の説明】
【０１０４】
１００ ８００ 警備装置
１１０ センサ
１２０ 監視カメラ
１３０ ８３０ 本体部
１３１ 検知情報受信部
１３２ 画像処理部
１３３ 警備状態切替部
１３４ 操作パネル制御部
１３５ 言語情報取得部
１３６ 画像情報取得部
１３７ 送受信部
１３８ 警備状態記憶部
１３９ 言語構造構築部
１４０ 記憶部
１５０ 第１記憶部
１５１ 映像データベース
１６０ 第２記憶部
１６１ 言語情報データベース
１７０ タイマー
１８０ 操作パネル
１８１ 入力受付部
１８２ 言語情報表示部
１８３ 映像表示部
１９０ 第３記憶部
１９１ 顔特徴データベース
８５０ 第４記憶部
８５１ 不審者情報データベース
８６０ 不審者情報判定部
２００ 監視センタ
３００ ネットワーク
【特許請求の範囲】
【請求項１】
撮像手段が撮像した物体の画像情報を記憶する画像情報記憶手段と、
前記画像情報を解析して物体の動作状態を抽出し、抽出した前記物体の動作状態を表す情報であって、前記物体の動作の種類を表す動詞と前記物体の動作に関連する名詞である格要素とを含み、前記動詞と前記格要素との間の意味関係を示す格フレームによって表された状態情報を、前記画像情報記憶手段が記憶する前記画像情報に対応付けて記憶する状態情報記憶手段と、
前記画像情報記憶手段に記憶された前記画像情報を検索するためのキー情報の入力を受け付ける入力受付手段と、
前記入力受付手段が入力を受け付けた前記キー情報に基づいて、前記状態情報記憶手段に記憶されている前記状態情報の中から、前記キー情報を含む前記状態情報を検索して取得する状態情報取得手段と、
前記画像情報記憶手段に記憶されている前記画像情報の中から、前記状態情報取得手段が検索した前記状態情報に対応する前記画像情報を取得する画像情報取得手段と、
前記状態情報取得手段が取得した前記状態情報と、前記画像情報取得手段が取得した前記画像情報と、を表示する表示手段と、を備えること、
を特徴とする検索装置。
【請求項２】
人物名と前記人物名の顔特徴情報とを対応付けて記憶する顔特徴情報記憶手段をさらに備え、
前記入力受付手段は、前記キー情報として前記格要素である人物名の入力を受け付け、
前記状態情報取得手段は、前記入力受付手段が入力を受け付けた前記キー情報に前記人物名が含まれているか否かを判定し、
前記画像情報取得手段は、前記状態情報取得手段が前記キー情報に前記人物名が含まれ、かつ前記状態情報に前記人物名が含まれていると判定した場合には、前記顔特徴記憶手段が記憶する前記人物名に対応する前記顔特徴情報を取得し、取得した該顔特徴情報に類似する顔特徴情報を含む前記状態情報に対応付けて前記画像情報記憶手段に記憶されている前記画像情報を取得すること、
を特徴とする請求項１に記載の検索装置。
【請求項３】
前記入力受付手段は、さらに人物の顔画像の入力を受け付け、
前記画像情報取得手段は、前記キー情報に含まれる前記人物名に対応する前記顔特徴情報が前記顔特徴情報記憶手段に記憶されていない場合には、前記入力受付手段が入力を受け付けた前記顔画像を解析して顔特徴情報を抽出し、抽出した該顔特徴情報に類似する顔特徴情報を含む前記状態情報に対応付けて前記画像情報記憶手段に記憶されている前記画像情報を取得すること、
を特徴とする請求項２に記載の検索装置。
【請求項４】
前記格フレームによって表示された状態情報には、格要素であって、前記物体の特徴を示す属性情報と、前記物体の動作の種類と、前記動作を行った場所を示す位置情報と、前記動作を開始した動作開始時刻と前記動作を終了した動作終了時刻とを含む動作時間と、前記動作の対象を示す動作対象情報と、前記動作対象情報に対して前記物体が動作を開始した起点および前記動作を終了した終点と、前記物体が前記動作対象情報に対して動作した場合に用いた事物を示す手段情報と、を含むこと、
を特徴とする請求項１〜３のいずれか１項に記載の検索装置。
【請求項５】
前記画像情報には、前記物体の撮像が開始された開始時刻と、前記物体の撮像が終了した終了時刻と、を含み、
前記状態情報取得手段は、前記画像情報に含まれる前記開始時刻と前記終了時刻とを、前記状態情報に含まれる前記動作開始時刻と前記動作終了時刻に設定し、
前記画像情報取得手段は、前記画像情報記憶手段に記憶されている前記画像情報の中から、前記状態情報取得手段によって設定された前記動作開始時刻と前記動作終了時刻とが設定された前記状態情報に対応する前記画像情報を取得すること、
を特徴とする請求項４に記載の検索装置。
【請求項６】
前記監視領域が撮像された前記開始時刻からの経過時間を計時するタイマーと、をさらに備え、
前記画像情報取得手段は、前記タイマーが計時する経過時間が前記開始時刻からの前記経過時間が所定の時間を経過しているか否かを判定し、前記開始時刻からの前記経過時間が所定の時間を経過していると判定した場合には、前記開始時刻を含む前記状態情報に対応する前記画像情報を前記画像情報記憶手段から削除すること、
を特徴とする請求項４または５に記載の検索装置。
【請求項７】
前記物体の特徴を示す属性情報には、前記人物の体型と、前記人物の容貌とを含み、
前記入力受付手段は、さらに前記人物の体型または／および前記人物の容貌の入力を受け付け、
前記状態情報取得手段は、前記状態情報記憶手段に記憶されている前記状態情報の中から、前記入力受付手段が入力を受け付けた前記人物の体型または／および前記人物の容貌を含む前記状態情報を検索して取得し、
前記画像情報取得手段は、前記画像情報記憶手段に記憶されている前記画像情報の中から、前記状態情報取得手段によって取得された前記状態情報に含まれる前記人物の体型または／および前記人物の容貌に基づいて前記画像情報を取得すること、
を特徴とする請求項４〜６のいずれか１項に記載の検索装置。
【請求項８】
前記格フレームによって表示された状態情報のうち、前記物体の動作の種類と、前記物体の動作の種類を表す動詞と前記物体の動作に関連する名詞である格要素と、該格要素の値と、を対応付けて記憶する不審者情報記憶手段と、
前記入力受付手段が入力を受け付けた前記キー情報に、前記不審者情報記憶手段が記憶する前記格要素の値が含まれているか否かを判定する不審者情報判定手段と、をさらに備え、
前記状態情報取得手段は、前記不審者情報判定手段が前記キー情報に前記格要素の値が含まれていると判定した場合には、前記状態情報記憶手段に記憶されている前記状態情報の中から、前記格要素の値を含む前記状態情報を検索して取得すること、
を特徴とする請求項１〜７のいずれか１項に記載の検索装置。
【請求項９】
撮像手段が撮像した物体の画像情報を記憶する画像情報記憶手段と、前記画像情報を解析して物体の動作状態を抽出し、抽出した前記物体の動作状態を表す情報であって、前記物体の動作の種類を表す動詞と前記物体の動作に関連する名詞である格要素とを含み、前記動詞と前記格要素との間の意味関係を示す格フレームによって表された状態情報を、前記画像情報記憶手段が記憶する前記画像情報に対応付けて記憶する状態情報記憶手段と、前記状態情報と前記画像情報とを表示する表示手段と、を備える検索装置において行われる検索方法であって、
入力受付手段が、前記画像情報記憶手段に記憶された前記画像情報を検索するためのキー情報の入力を受け付ける入力受付ステップと、
状態情報取得手段が、前記入力受付手段が入力を受け付けた前記キー情報に基づいて、前記状態情報記憶手段に記憶されている前記状態情報の中から、前記キー情報を含む前記状態情報を検索して取得する状態情報取得ステップと、
画像情報取得手段が、前記画像情報記憶手段に記憶されている前記画像情報の中から、前記状態情報取得手段が検索した前記状態情報に対応する前記画像情報を取得する画像情報取得ステップと、を含むこと、
を特徴とする検索方法。
【請求項１】
撮像手段が撮像した物体の画像情報を記憶する画像情報記憶手段と、
前記画像情報を解析して物体の動作状態を抽出し、抽出した前記物体の動作状態を表す情報であって、前記物体の動作の種類を表す動詞と前記物体の動作に関連する名詞である格要素とを含み、前記動詞と前記格要素との間の意味関係を示す格フレームによって表された状態情報を、前記画像情報記憶手段が記憶する前記画像情報に対応付けて記憶する状態情報記憶手段と、
前記画像情報記憶手段に記憶された前記画像情報を検索するためのキー情報の入力を受け付ける入力受付手段と、
前記入力受付手段が入力を受け付けた前記キー情報に基づいて、前記状態情報記憶手段に記憶されている前記状態情報の中から、前記キー情報を含む前記状態情報を検索して取得する状態情報取得手段と、
前記画像情報記憶手段に記憶されている前記画像情報の中から、前記状態情報取得手段が検索した前記状態情報に対応する前記画像情報を取得する画像情報取得手段と、
前記状態情報取得手段が取得した前記状態情報と、前記画像情報取得手段が取得した前記画像情報と、を表示する表示手段と、を備えること、
を特徴とする検索装置。
【請求項２】
人物名と前記人物名の顔特徴情報とを対応付けて記憶する顔特徴情報記憶手段をさらに備え、
前記入力受付手段は、前記キー情報として前記格要素である人物名の入力を受け付け、
前記状態情報取得手段は、前記入力受付手段が入力を受け付けた前記キー情報に前記人物名が含まれているか否かを判定し、
前記画像情報取得手段は、前記状態情報取得手段が前記キー情報に前記人物名が含まれ、かつ前記状態情報に前記人物名が含まれていると判定した場合には、前記顔特徴記憶手段が記憶する前記人物名に対応する前記顔特徴情報を取得し、取得した該顔特徴情報に類似する顔特徴情報を含む前記状態情報に対応付けて前記画像情報記憶手段に記憶されている前記画像情報を取得すること、
を特徴とする請求項１に記載の検索装置。
【請求項３】
前記入力受付手段は、さらに人物の顔画像の入力を受け付け、
前記画像情報取得手段は、前記キー情報に含まれる前記人物名に対応する前記顔特徴情報が前記顔特徴情報記憶手段に記憶されていない場合には、前記入力受付手段が入力を受け付けた前記顔画像を解析して顔特徴情報を抽出し、抽出した該顔特徴情報に類似する顔特徴情報を含む前記状態情報に対応付けて前記画像情報記憶手段に記憶されている前記画像情報を取得すること、
を特徴とする請求項２に記載の検索装置。
【請求項４】
前記格フレームによって表示された状態情報には、格要素であって、前記物体の特徴を示す属性情報と、前記物体の動作の種類と、前記動作を行った場所を示す位置情報と、前記動作を開始した動作開始時刻と前記動作を終了した動作終了時刻とを含む動作時間と、前記動作の対象を示す動作対象情報と、前記動作対象情報に対して前記物体が動作を開始した起点および前記動作を終了した終点と、前記物体が前記動作対象情報に対して動作した場合に用いた事物を示す手段情報と、を含むこと、
を特徴とする請求項１〜３のいずれか１項に記載の検索装置。
【請求項５】
前記画像情報には、前記物体の撮像が開始された開始時刻と、前記物体の撮像が終了した終了時刻と、を含み、
前記状態情報取得手段は、前記画像情報に含まれる前記開始時刻と前記終了時刻とを、前記状態情報に含まれる前記動作開始時刻と前記動作終了時刻に設定し、
前記画像情報取得手段は、前記画像情報記憶手段に記憶されている前記画像情報の中から、前記状態情報取得手段によって設定された前記動作開始時刻と前記動作終了時刻とが設定された前記状態情報に対応する前記画像情報を取得すること、
を特徴とする請求項４に記載の検索装置。
【請求項６】
前記監視領域が撮像された前記開始時刻からの経過時間を計時するタイマーと、をさらに備え、
前記画像情報取得手段は、前記タイマーが計時する経過時間が前記開始時刻からの前記経過時間が所定の時間を経過しているか否かを判定し、前記開始時刻からの前記経過時間が所定の時間を経過していると判定した場合には、前記開始時刻を含む前記状態情報に対応する前記画像情報を前記画像情報記憶手段から削除すること、
を特徴とする請求項４または５に記載の検索装置。
【請求項７】
前記物体の特徴を示す属性情報には、前記人物の体型と、前記人物の容貌とを含み、
前記入力受付手段は、さらに前記人物の体型または／および前記人物の容貌の入力を受け付け、
前記状態情報取得手段は、前記状態情報記憶手段に記憶されている前記状態情報の中から、前記入力受付手段が入力を受け付けた前記人物の体型または／および前記人物の容貌を含む前記状態情報を検索して取得し、
前記画像情報取得手段は、前記画像情報記憶手段に記憶されている前記画像情報の中から、前記状態情報取得手段によって取得された前記状態情報に含まれる前記人物の体型または／および前記人物の容貌に基づいて前記画像情報を取得すること、
を特徴とする請求項４〜６のいずれか１項に記載の検索装置。
【請求項８】
前記格フレームによって表示された状態情報のうち、前記物体の動作の種類と、前記物体の動作の種類を表す動詞と前記物体の動作に関連する名詞である格要素と、該格要素の値と、を対応付けて記憶する不審者情報記憶手段と、
前記入力受付手段が入力を受け付けた前記キー情報に、前記不審者情報記憶手段が記憶する前記格要素の値が含まれているか否かを判定する不審者情報判定手段と、をさらに備え、
前記状態情報取得手段は、前記不審者情報判定手段が前記キー情報に前記格要素の値が含まれていると判定した場合には、前記状態情報記憶手段に記憶されている前記状態情報の中から、前記格要素の値を含む前記状態情報を検索して取得すること、
を特徴とする請求項１〜７のいずれか１項に記載の検索装置。
【請求項９】
撮像手段が撮像した物体の画像情報を記憶する画像情報記憶手段と、前記画像情報を解析して物体の動作状態を抽出し、抽出した前記物体の動作状態を表す情報であって、前記物体の動作の種類を表す動詞と前記物体の動作に関連する名詞である格要素とを含み、前記動詞と前記格要素との間の意味関係を示す格フレームによって表された状態情報を、前記画像情報記憶手段が記憶する前記画像情報に対応付けて記憶する状態情報記憶手段と、前記状態情報と前記画像情報とを表示する表示手段と、を備える検索装置において行われる検索方法であって、
入力受付手段が、前記画像情報記憶手段に記憶された前記画像情報を検索するためのキー情報の入力を受け付ける入力受付ステップと、
状態情報取得手段が、前記入力受付手段が入力を受け付けた前記キー情報に基づいて、前記状態情報記憶手段に記憶されている前記状態情報の中から、前記キー情報を含む前記状態情報を検索して取得する状態情報取得ステップと、
画像情報取得手段が、前記画像情報記憶手段に記憶されている前記画像情報の中から、前記状態情報取得手段が検索した前記状態情報に対応する前記画像情報を取得する画像情報取得ステップと、を含むこと、
を特徴とする検索方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２００９−２０６９６２（Ｐ２００９−２０６９６２Ａ）
【公開日】平成２１年９月１０日（２００９．９．１０）
【国際特許分類】
【出願番号】特願２００８−４８３３２（Ｐ２００８−４８３３２）
【出願日】平成２０年２月２８日（２００８．２．２８）
【出願人】（０００２０２３６１）綜合警備保障株式会社 (266)
【Ｆターム（参考）】
【公開日】平成２１年９月１０日（２００９．９．１０）
【国際特許分類】
【出願日】平成２０年２月２８日（２００８．２．２８）
【出願人】（０００２０２３６１）綜合警備保障株式会社 (266)
【Ｆターム（参考）】
[ Back to top ]