色情報生成システム、色情報生成装置、色情報生成方法および色情報生成プログラム
【課題】物体の色と当該物体の背景の色とが似ている場合であっても、色にもとづいて物体が撮影された映像を検索可能な情報を生成する色情報生成システムを提供する。
【解決手段】抽出手段３０１は、検知手段２００が物体を検知した場合に、撮影手段１００によって撮影されたカラー映像から物体を抽出する処理を行う。色情報生成手段３０２は、物体種類情報とカラー映像に応じた撮影日時情報とを含み、抽出手段３０１の抽出結果に応じた色を示す色情報を生成する。色情報格納手段３０３は、色情報生成手段３０２が生成した色情報を格納する。また、色情報生成手段３０２は、抽出手段３０１が物体を抽出できた場合に、物体の色を示す色情報を生成し、抽出手段３０１が物体を抽出できなかった場合に、予め用意された所定の範囲のカラー映像である背景映像の色を示す色情報を生成する。
【解決手段】抽出手段３０１は、検知手段２００が物体を検知した場合に、撮影手段１００によって撮影されたカラー映像から物体を抽出する処理を行う。色情報生成手段３０２は、物体種類情報とカラー映像に応じた撮影日時情報とを含み、抽出手段３０１の抽出結果に応じた色を示す色情報を生成する。色情報格納手段３０３は、色情報生成手段３０２が生成した色情報を格納する。また、色情報生成手段３０２は、抽出手段３０１が物体を抽出できた場合に、物体の色を示す色情報を生成し、抽出手段３０１が物体を抽出できなかった場合に、予め用意された所定の範囲のカラー映像である背景映像の色を示す色情報を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、色にもとづいて物体が撮影された映像を検索可能な情報を生成する色情報生成システム、色情報生成装置、色情報生成方法および色情報生成プログラムに関する。
【背景技術】
【０００２】
防犯等の観点から、店舗内、駅構内、および街中等の不特定の人が集まる場所に、監視カメラが設置されている。そして、事件または事故が発生した場合に、迅速に対応するために監視カメラによって撮影された映像を監視したり、事件または事故を解決するために監視カメラによって撮影されて録画された映像を確認したりする場合がある。
【０００３】
そして、検索対象の物体である人、物、または動物が監視カメラによって撮影された映像を検索する作業の省力化および効率化が求められている。
【０００４】
特許文献１には、赤外線カメラによって撮影された映像と予め用意された映像との差異を検知した場合に、警告を発する方法が記載されている。
【０００５】
特許文献２には、入射した光における赤外線フィルタを通過した光とカラーフィルタを通過した光とにもとづいて、検知対象物を検知する方法が記載されている。
【０００６】
特許文献３には、赤外線カメラによって検知対象が撮影されたことを検知した場合に、当該検知対象を高感度カラーカメラで撮影する方法が記載されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００８−２７２５９号公報（段落００１４〜００４８、図１）
【特許文献２】特開２００８−９９２１８号公報（段落００１７〜００７４、図１）
【特許文献３】特開平１１−２８４９８８号公報（段落００１９〜００２１、図１）
【発明の概要】
【発明が解決しようとする課題】
【０００８】
監視カメラによって検索対象の物体が撮影された映像を検索する作業の省力化および効率化を図るために、監視カメラによって撮影された映像における当該物体の領域の色を示す色情報にもとづいて、物体が撮影された映像を検索する場合がある。
【０００９】
特許文献１に記載されている方法、および特許文献２に記載されている方法は、赤外線カメラによって撮影された映像にもとづく物体の検知を行うので、撮影された映像から物体の色を識別できず、物体の色を示す情報を生成することができない。従って、赤外線カメラによって撮影された映像を用いて、色にもとづいて物体が撮影された映像を検索することはできない。
【００１０】
特許文献３に記載されている方法は、高感度カラーカメラによって撮影された映像において、物体の色と当該物体の背景の色とが似ている場合に、高感度カラーカメラで撮影された映像から当該物体を抽出することができないので、当該物体の色を示す情報を生成することができない。従って、特許文献３に記載されている方法では、高感度カラーカメラによって撮影された映像を用いて、色にもとづいて、当該物体が撮影された映像を検索することは難しい。
【００１１】
そこで、本発明は、物体の色と当該物体の背景の色とが似ている場合であっても、色にもとづいて物体が撮影された映像を検索可能な情報を生成する色情報生成システム、色情報生成装置、色情報生成方法および色情報生成プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明による色情報生成システムは、所定の範囲を撮影してカラー映像データと撮影日時を示す撮影日時情報とを含む撮影情報を生成する撮影手段と、所定の範囲に存在する物体を検知し、検知した物体の種類を示す物体種類情報を含む検知情報を生成する検知手段と、検知手段が物体を検知した場合に、撮影手段によって生成された撮影情報に含まれるカラー映像データにもとづくカラー映像において物体を抽出する処理を行う抽出手段と、物体種類情報とカラー映像に応じた撮影日時情報とを含み、抽出手段の抽出結果に応じた色を示す色情報を生成する色情報生成手段と、色情報生成手段が生成した色情報を格納する色情報格納手段とを備え、色情報生成手段は、抽出手段が物体を抽出できた場合に、物体の色を示す色情報を生成し、抽出手段が物体を抽出できなかった場合に、予め用意された所定の範囲のカラー映像である背景映像の色を示す色情報を生成することを特徴とする。
【００１３】
本発明による色情報生成装置は、所定の範囲に存在する物体を検知して検知した物体の種類を示す物体種類情報を含む検知情報を生成する検知手段が物体を検知した場合に、所定の範囲を撮影してカラー映像データと撮影日時を示す撮影日時情報とを含む撮影情報を生成する撮影手段によって生成された撮影情報に含まれるカラー映像データにもとづくカラー映像において物体を抽出する処理を行う抽出手段と、物体種類情報とカラー映像に応じた撮影日時情報とを含み、抽出手段の抽出結果に応じた色を示す色情報を生成する色情報生成手段と、色情報生成手段が生成した色情報を格納する色情報格納手段とを備え、色情報生成手段は、抽出手段が物体を抽出できた場合に、物体の色を示す色情報を生成し、抽出手段が物体を抽出できなかった場合に、予め用意された所定の範囲のカラー映像である背景映像の色を示す色情報を生成することを特徴とする。
【００１４】
本発明による色情報生成方法は、所定の範囲に存在する物体を検知して検知した物体の種類を示す物体種類情報を含む検知情報を生成する検知手段が物体を検知した場合に、所定の範囲を撮影してカラー映像データと撮影日時を示す撮影日時情報とを含む撮影情報を生成する撮影手段によって生成された撮影情報に含まれるカラー映像データにもとづくカラー映像において物体を抽出する処理を行い、物体を抽出できた場合に、物体種類情報とカラー映像に応じた撮影日時情報とを含み、抽出した物体の色を示す色情報を生成し、物体を抽出できなかった場合に、物体種類情報とカラー映像に応じた撮影日時情報とを含み、予め用意された所定の範囲のカラー映像である背景映像の色を示す色情報を生成し、生成した色情報を色情報格納手段に格納することを特徴とする。
【００１５】
本発明による色情報生成プログラムは、コンピュータに、所定の範囲に存在する物体を検知して検知した物体の種類を示す物体種類情報を含む検知情報を生成する検知手段が物体を検知した場合に、所定の範囲を撮影してカラー映像データと撮影日時を示す撮影日時情報とを含む撮影情報を生成する撮影手段によって生成された撮影情報に含まれるカラー映像データにもとづくカラー映像において物体を抽出する処理を行う抽出処理と、抽出処理で物体を抽出できた場合に、物体種類情報とカラー映像に応じた撮影日時情報とを含み、抽出した物体の色を示す色情報を生成し、抽出処理で物体を抽出できなかった場合に、物体種類情報とカラー映像に応じた撮影日時情報とを含み、予め用意された所定の範囲のカラー映像である背景映像の色を示す色情報を生成する色情報生成処理と、色情報生成処理で生成した色情報を色情報格納手段に格納する色情報格納処理とを実行させることを特徴とする。
【発明の効果】
【００１６】
本発明によれば、物体の色と当該物体の背景の色とが似ている場合であっても、色にもとづいて物体が撮影された映像を検索可能な情報を生成することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明による色情報生成システムの実施形態の構成例を示す説明図である。
【図２】色情報生成システムの動作を示すシーケンス図である。
【図３】本発明の概要を示すブロック図である。
【発明を実施するための形態】
【００１８】
本発明による色情報生成システムの実施形態について、図面を参照して説明する。図１は、本発明による色情報生成システムの実施形態の構成例を示す説明図である。
【００１９】
図１に示すように、本発明による色情報生成システムは、監視カメラ１０、物体検知センサ２０、および色情報生成装置３０を含む。なお、図１に示す例では、色情報生成装置３０に、監視カメラ１０と物体検知センサ２０とがそれぞれ１つずつ接続されているが、色情報生成装置３０に監視カメラ１０と物体検知センサ２０とがそれぞれ複数接続されていてもよい。
【００２０】
監視カメラ１０は、撮影部１１および送信部１２を含む。撮影部１１は、所定の撮影範囲を撮影し、カラー映像データを生成する。送信部１２は、撮影部１１によって生成されたカラー映像データを含む映像情報を生成して、生成した撮影情報を通信媒体を介して色情報生成装置３０の映像情報受信部３１に送信する。なお、通信媒体とは、例えば、ＢＮＣ（Ｂａｙｏｎｅｔ Ｎｅｉｌｌ Ｃｏｎｃｅｌｍａｎ）ケーブル、電話回線、およびイーサネット（登録商標）ケーブル等の有線通信回線や、マイクロ波回線、および無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等の無線通信回線、またはインターネットである。
【００２１】
なお、映像情報は、カラー映像データを含み、撮影日時および撮影した監視カメラ１０を識別するためのカメラ番号などの撮影内容を示す情報を含む情報である。映像情報は、カラー映像データを含み、撮影内容を示す情報を識別するための符号を示す情報であってもよい。
【００２２】
物体検知センサ２０は、センサ部２１、認識部２２および送信部２３を含む。センサ部２１は、監視カメラ１０の撮影範囲を測定範囲とし、例えば、検知されうる物体（例えば、人、物、または動物）に応じて設置された近赤外線カメラ、サーモグラフィ、レーザ光センサ、磁束センサまたは重量センサである。センサ部２１は、測定した物理量である測定結果を示す信号を認識部２２に出力する。認識部２２は、監視カメラ１０の撮影範囲に物体が存在する場合に、センサ部２１によって出力された信号にもとづいて物体を検知する。そして、認識部２２は、物体を検知した場合に、センサ識別情報を生成して送信部２３に出力する。
【００２３】
また、センサ識別情報は、物体の有無、物体の種類、検知日時、および物体検知センサ２０を識別するためのセンサ番号などの検知内容を示す情報を含む情報である。なお、センサ識別情報は、検知内容を示す情報を識別するための符号を示す情報であってもよい。認識部２２は、例えば、センサ部２１がサーモグラフィである場合に、センサ部２１が出力した信号よって示される物体が発している熱を検出した領域の形状および大きさにもとづいて、当該物体が人であるのか、車両等の物であるのか、または犬等の動物であるのかを識別し、当該物体の種類を判定する。また、認識部２２は、例えば、センサ部２１が重量センサである場合に、センサ部２１が出力した信号によって示される物体の重量の値が一般的な車両の重量の値以上の値であって、当該一般的な車両の重量の値と最大積載重量の値との和以下の値である場合に、物体の種類が車両であると判定する。なお、認識部２２は、センサ部２１が近赤外線センサである場合に、センサ部２１によって近赤外線を受信したことを示す信号を一定時間以上連続して受信した場合に、測定範囲に一定時間以上動かない物があるとしてセンサ識別情報を生成する。
【００２４】
送信部２３は、認識部２２が生成したセンサ識別情報を通信媒体を介して色情報生成装置３０のセンサ情報受信部３２に送信する。なお、色情報生成装置３０に監視カメラ１０と物体検知センサ２０とがそれぞれ複数接続されている場合には、各監視カメラ１０の撮影範囲を測定範囲とする物体検知センサ２０がそれぞれ設置されており、一の監視カメラ１０のカメラ番号と、当該一の監視カメラ１０の撮影範囲を測定範囲とする物体検知センサ２０のセンサ番号とは対応付けられているとする。
【００２５】
色情報生成装置３０は、映像情報受信部３１、センサ情報受信部３２、解析部３３および物体特徴データベース３４を含む。映像情報受信部３１は、監視カメラ１０によって送信された映像情報を受信する。センサ情報受信部３２は、物体検知センサ２０によって送信されたセンサ識別情報を受信する。解析部３３は、映像情報受信部３１が受信した映像情報とセンサ情報受信部３２が受信したセンサ識別情報とを解析して、物体の色を示す色情報を生成し、物体特徴データベース３４に生成した色情報を格納する。
【００２６】
色情報は、物体における予め決められた位置または予め用意された背景映像における予め決められた位置の色を示す情報である。なお、色情報は、物体における予め決められた位置または予め用意された背景映像における予め決められた位置の色を識別するための符号を示す情報であってもよい。また、色情報は、センサ識別情報に含まれる物体の種類を示す情報と、映像情報に含まれる撮影日時およびカメラ番号を示す情報とを含む。なお、物体における予め決められた位置または予め用意された背景映像における予め決められた位置の色を、単に物体または背景映像の色ともいう。物体における予め決められた位置とは、例えば、カラー映像データにもとづくカラー映像における物体の領域のうち、中心の座標の位置をいう。背景映像における予め決められた位置とは、例えば、認識部２２が物体を検知した場合に、撮影部１１の撮影範囲が撮影された背景映像において当該物体があることが想定される位置をいう。
【００２７】
なお、監視カメラ１０において送信部１２が生成する映像情報に含まれる撮影日時を生成するために当該送信部１２に提供される情報によって示される日時と、物体検知センサ２０の認識部２２が生成するセンサ識別情報に含まれる検知日時を生成するために当該認識部２２に提供される情報によって示される日時とは、管理者の設定によって同期している。
【００２８】
次に、図１に示す色情報生成システムの動作について、図面を参照して説明する。図２は、色情報生成システムの動作を示すシーケンス図である。
【００２９】
監視カメラ１０の撮影部１１は、カラー映像で所定の撮影範囲を撮影してカラー映像データを生成し、生成したカラー映像データを送信部１２に出力する（ステップＳ１０１）。送信部１２は、撮影部１１によって出力されたカラー映像データを含む映像情報を生成し、生成した映像情報を色情報生成装置３０の映像情報受信部３１に送信する（ステップＳ１０２）。色情報生成装置３０の映像情報受信部３１は、ステップＳ１０２の処理で送信部１２によって送信された映像情報を解析部３３に出力する。また、色情報生成装置３０の映像情報受信部３１は、ステップＳ１０２の処理で送信部１２によって送信された映像情報を記憶手段（図示せず）に記憶させる。
【００３０】
物体検知センサ２０のセンサ部２１は、測定範囲である監視カメラ１０の撮影範囲の測定結果に応じた信号を認識部２２に出力する（ステップＳ１０３）。認識部２２は、センサ部２１によって出力された信号にもとづいて、検知対象領域に存在する物体を検知した場合に、センサ識別情報を生成して送信部２２に出力する（ステップＳ１０４）。送信部２３は、センサ識別情報を色情報生成装置３０のセンサ情報受信部３２に送信する（ステップＳ１０５）。色情報生成装置３０のセンサ情報受信部３２は、ステップＳ１０５の処理で送信部２３によって送信されたセンサ識別情報を解析部３３に出力する。また、色情報生成装置３０のセンサ情報受信部３２は、ステップＳ１０５の処理で送信部２３によって送信されたセンサ識別情報を記憶手段（図示せず）に記憶させてもよい。そのような構成によれば、記憶手段に記憶されたセンサ識別情報を用いた映像情報の検索が可能になる。
【００３１】
色情報生成装置３０の解析部３３は、センサ情報受信部３２によってセンサ識別情報を出力された場合に、映像情報受信部３１によって出力された映像情報にもとづいて、物体を抽出する処理を行う（ステップＳ１０６）。具体的には、解析部３３は、センサ識別情報に含まれる情報によって示されるセンサ番号に応じたカメラ番号を示す情報を含む映像情報であって、当該センサ識別情報に含まれる情報によって示される検知日時に応じた撮影日時を示す情報を含む映像情報に含まれるカラー映像データにもとづくカラー映像と、当該映像情報に含まれる情報によって示されるカメラ番号に応じて予め用意されているカラー映像データにもとづくカラー映像とを比較した差分として、当該カラー映像から物体を抽出する。なお、カメラ番号に応じて予め用意されているカラー映像データにもとづくカラー映像とは、背景映像と呼ばれる映像であって、予めカメラ番号に応じた撮影範囲が撮影されたカラー映像である。
【００３２】
解析部３３は、物体を抽出した場合に、センサ情報受信部３２によって出力されたセンサ識別情報に含まれる物体の種類を示す情報と映像情報受信部３１によって出力された撮影情報に含まれる撮影日時を示す情報とを含み、カラー映像において抽出した物体の色を示す色情報を生成する。また、解析部３３は、例えば、カラー映像において、物体の色と当該物体の背景の色とが似ていることにより当該物体を抽出できなかった場合に、センサ情報受信部３２によって出力されたセンサ識別情報に含まれる物体の種類を示す情報と映像情報受信部３１によって出力された撮影情報に含まれる撮影日時を示す情報とを含み、背景映像の色を示す色情報を生成する（ステップＳ１０７）。つまり、解析部３３は、物体を抽出できなかった場合に、背景映像における色を物体の色であるとして色情報を生成する。なお、解析部３３は、ＲＧＢモデルにもとづいて色を示す色情報を生成してもよいし、ＨＳＶモデルにもとづいて色を示す色情報を生成してもよい。
【００３３】
解析部３３は、ステップＳ１０７の処理で生成した色情報を物体特徴データベース３４に格納する（ステップＳ１０８）。なお、解析部３３は、物体の抽出を試みたカラー映像に応じた映像情報に含まれる情報によって示されるカメラ番号を示す情報を含む色情報を生成して物体特徴データベース３４に格納してもよい。また、解析部３３は、映像情報を識別するための符号を示す情報を含む色情報を生成して物体特徴データベース３４に格納してもよいし、センサ識別情報を識別するための符号を示す情報を含む色情報を生成して物体特徴データベース３４に格納してもよい。
【００３４】
本実施形態によれば、カラー映像から物体を抽出することができた場合に、当該物体の色を示す色情報を生成して物体特徴データベース３４に格納することができる。また、カラー映像から物体を抽出することができなかった場合に、当該物体の背景映像の色を示す色情報を生成して物体特徴データベース３４に格納することができる。従って、カラー映像において物体と当該物体の背景映像との色が似ていることによってカラー映像から物体を抽出することができなかった場合であっても、色情報を生成して物体特徴データベース３４に格納することができる。よって、カラー映像において物体と当該物体の背景映像との色が似ている場合であっても、物体特徴データベース３４から当該物体に応じた色情報を抽出して、抽出した当該色情報に含まれる撮影日時を示す情報を用いて当該物体が撮影された映像を検索することが可能になり、監視カメラ１０によって撮影された映像を用いて、当該物体が撮影された映像を検索する作業の省力化および効率化に資することができる。
【００３５】
例えば、物体特徴データベース３４に格納されている色情報のうち、検索対象の物体の種類を示す情報を含み、当該検索対象の色を示す色情報を抽出して、当該色情報に含まれる撮影日時を示す情報にもとづいて、検索対象の物体が撮影された映像を記憶手段から容易に抽出することができる。
【００３６】
具体的には、例えば、犯罪の目撃者による「黒い服装の人」という犯人の特徴を示す情報にもとづいて犯罪現場の近傍に設置された監視カメラ１０によって犯人が撮影された映像を検索する場合に、監視カメラ１０によって撮影された背景映像が黒色であっても、物体特徴データベース３４に格納されている色情報のうち、物体の種類が人であることを示す情報を含み、黒色を示す色情報を抽出して、当該色情報に含まれる撮影日時を示す情報にもとづいて、犯人が撮影された映像を記憶手段から容易に抽出することができる。
【００３７】
また、遊園地やデパートなどにおける迷子の同行者による「青い服装の人」という迷子の特徴を示す情報にもとづいて、監視カメラ１０によって迷子が撮影された映像を検索する場合に、監視カメラ１０によって撮影された背景映像が青色であっても、物体特徴データベース３４に格納されている色情報のうち、物体の種類が人であることを示す情報を含み、青色を示す色情報を抽出して、当該色情報に含まれる撮影日時を示す情報にもとづいて、迷子が撮影された映像を記憶手段から容易に抽出することができる。
【００３８】
また、行方がわからなくなった犬の飼い主による「白い犬」という情報にもとづいて、監視カメラ１０によって白い犬が撮影された映像を検索する場合に、監視カメラ１０によって撮影された背景映像が白色であっても、物体特徴データベース３４に格納されている色情報のうち、物体の種類が犬であることを示す情報を含み、白色を示す色情報を抽出して、当該色情報に含まれる撮影日時を示す情報にもとづいて、白い犬が撮影された映像を記憶手段から容易に抽出することができる。
【００３９】
また、本システムと、予め設定された種類の物体が撮影された場合に報知動作を行うシステムとを接続して、当該システムに予め設定された種類を示す情報を含む色情報が物体特徴データベース３４に格納された場合に、報知対象の物体が検知されたことを当該システムに通知することができる。具体的には、例えば、駅や空港に設置された物体検知センサ２０によって一定時間以上動かない物が検知されたことにもとづいて、物体の種類が物であることを示す情報を含む色情報が一定時間以上継続して物体特徴データベース３４に格納された場合に、当該システムにその旨を通知することにより、駅や空港に置かれた不審物の色が周囲の色に似ていた場合であっても、当該システムは、不審物が置かれたことを報知することができる。
【００４０】
また、本システムと、製品の製造工程に設置され、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ ＩＤｅｎｔｉｆｉｃａｔｉｏｎ）タグに記憶されている情報を読み出す読み出し部を備え、所定の色の物体が撮影された場合に、報知動作を行うシステムとを接続する場合には、当該システムは、ＲＦＩＤに記憶されている情報によって示される製品の色と撮影された製品の色とが異なることを報知することができる。具体的には、例えば、製造工程において緑色の製品が緑色のベルトコンベアに載せられている場合に、製品に貼付されたＲＦＩＤタグに記憶されている情報によって赤色の製品であることが示されているときに、緑色を示す色情報が物体特徴データベース３４に格納されると、緑色を示す色情報が物体特徴データベース３４に格納されたことを当該システムに通知することにより、当該システムは、ＲＦＩＤに記憶されている情報によって示される製品の色と撮影された製品の色とが異なることを報知することができる。
【００４１】
なお、色情報生成装置３０の解析部３３は、映像情報とセンサ識別情報とにもとづいて、より詳細な物体の種類を示す情報を含む色情報を生成するように構成されていてもよい。具体的には、例えば、センサ識別情報によって物体の種類が人であることが示されている場合に、映像情報に含まれるカラー映像データにもとづくカラー映像における撮影された人の領域の形状および色にもとづいて、上半身と下半身とをそれぞれ抽出し、当該上半身と下半身との色をそれぞれ示す色情報を生成する。さらに、カラー映像にもとづいて、上半身の服装がシャツであることを示す物体の種類を示す情報を含む色情報や、下半身の服装がジーンズであることを示す物体の種類の情報を含む色情報を生成する。そのように構成された場合には、色にもとづく検索の精度や、物体の種類にもとづく検索の精度をより高めることができる。
【００４２】
次に、本発明の概要について説明する。図３は、本発明の概要を示すブロック図である。図３に示すように、本発明による色情報生成システムは、撮影手段１００（図１に示す監視カメラ１０に相当）と、検知手段２００（図１に示す物体検知センサ２０に相当）と、色情報生成装置３００（図１に示す色情報生成装置３０に相当）とを含む。
【００４３】
色情報生成装置３００は、抽出手段３０１（図１に示す解析部３３に相当）、色情報生成手段３０２（図１に示す解析部３３に相当）、および色情報格納手段３０３（図１に示す物体特徴データベース３４に相当）を含む。
【００４４】
撮影手段１００は、所定の範囲を撮影してカラー映像データと撮影日時を示す撮影日時情報とを含む撮影情報を生成する。検知手段２００は、所定の範囲に存在する物体を検知し、検知した物体の種類を示す物体種類情報を含む検知情報を生成する。抽出手段３０１は、検知手段２００が物体を検知した場合に、撮影手段１００によって生成された撮影情報に含まれるカラー映像データにもとづくカラー映像において物体を抽出する処理を行う。色情報生成手段３０２は、物体種類情報とカラー映像に応じた撮影日時情報とを含み、抽出手段３０１の抽出結果に応じた色を示す色情報を生成する。色情報格納手段３０３は、色情報生成手段３０２が生成した色情報を格納する。また、色情報生成手段３０２は、抽出手段３０１が物体を抽出できた場合に、物体の色を示す色情報を生成し、抽出手段３０１が物体を抽出できなかった場合に、予め用意された所定の範囲のカラー映像である背景映像の色を示す色情報を生成する。
【００４５】
そのような構成によれば、物体の色と当該物体の背景の色とが似ている場合であっても、色にもとづいて物体が撮影された映像を検索可能な情報を生成することができる。
【００４６】
また上記の実施形態では、以下の（１）〜（４）に示すような色情報生成システムも開示されている。
【００４７】
（１）色情報生成手段３０２が、抽出手段３０１が抽出した物体における予め決められた位置、または背景映像における予め決められた位置の色を示す色情報を生成する色情報生成システム。
【００４８】
（２）検知手段２００が、物体を検知した場合に、物体を検知した日時を示す検知日時情報を含む検知情報を生成し、抽出手段３０１が、検知情報に含まれる検知日時情報によって示される日時に応じた撮影日時を示す撮影日時情報を含む撮影情報に含まれるカラー映像データにもとづくカラー映像において物体を抽出する処理を行う色情報生成システム。
【００４９】
（３）複数の撮影手段１００と、複数の撮影手段１００によって撮影されるそれぞれの範囲をそれぞれ検知範囲とする複数の検知手段２００とを備え、複数の撮影手段１００は、自撮影手段を識別するカメラ番号を含む撮影情報を生成し、抽出手段３０１は、複数の検知手段２００のうち、一の検知手段２００が物体を検知した場合に、一の検知手段２００の検知範囲を撮影する撮影手段１００によって生成されたカラー映像データにもとづくカラー映像における物体を抽出する処理を行い、色情報生成手段３０２は、抽出手段３０１が物体の抽出を試みたカラー映像に応じたカラー映像データを含む撮影情報に含まれるカメラ番号を含む色情報を生成する色情報生成システム。
【００５０】
（４）撮影手段１００が生成した撮影情報を格納する撮影情報格納手段を含む色情報生成システム。
【００５１】
上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限られない。
【００５２】
（付記１）コンピュータに、所定の範囲に存在する物体を検知して検知した物体の種類を示す物体種類情報を含む検知情報を生成する検知手段が前記物体を検知した場合に、前記所定の範囲を撮影してカラー映像データと撮影日時を示す撮影日時情報とを含む撮影情報を生成する撮影手段によって生成された撮影情報に含まれるカラー映像データにもとづくカラー映像において前記物体を抽出する処理を行う抽出処理と、前記抽出処理で前記物体を抽出できた場合に、前記物体種類情報と前記カラー映像に応じた撮影日時情報とを含み、抽出した前記物体の色を示す色情報を生成し、前記抽出処理で前記物体を抽出できなかった場合に、前記物体種類情報と前記カラー映像に応じた撮影日時情報とを含み、予め用意された前記所定の範囲のカラー映像である背景映像の色を示す色情報を生成する色情報生成処理と、前記色情報生成処理で生成した色情報を色情報格納手段に格納する色情報格納処理とを実行させるための色情報生成プログラム。
【００５３】
（付記２）コンピュータに、抽出処理で抽出した物体における予め決められた位置、または背景映像における予め決められた位置の色を示す色情報を生成する付記１記載の色情報生成プログラム。
【産業上の利用可能性】
【００５４】
本発明を、検索対象の物体が撮影された映像を色にもとづいて検索するシステムに適用可能である。
【符号の説明】
【００５５】
１０ 監視カメラ
１１ 撮影部
１２ 送信部
２０ 物体検知センサ
２１ センサ部
２２ 認識部
２３ 送信部
３０ 色情報生成装置
３１ 映像情報受信部
３２ センサ情報受信部
３３ 解析部
３４ 物体特徴データベース
１００ 撮影手段
２００ 検知手段
３００ 色情報生成装置
３０１ 抽出手段
３０２ 色情報生成手段
３０３ 色情報格納手段
【技術分野】
【０００１】
本発明は、色にもとづいて物体が撮影された映像を検索可能な情報を生成する色情報生成システム、色情報生成装置、色情報生成方法および色情報生成プログラムに関する。
【背景技術】
【０００２】
防犯等の観点から、店舗内、駅構内、および街中等の不特定の人が集まる場所に、監視カメラが設置されている。そして、事件または事故が発生した場合に、迅速に対応するために監視カメラによって撮影された映像を監視したり、事件または事故を解決するために監視カメラによって撮影されて録画された映像を確認したりする場合がある。
【０００３】
そして、検索対象の物体である人、物、または動物が監視カメラによって撮影された映像を検索する作業の省力化および効率化が求められている。
【０００４】
特許文献１には、赤外線カメラによって撮影された映像と予め用意された映像との差異を検知した場合に、警告を発する方法が記載されている。
【０００５】
特許文献２には、入射した光における赤外線フィルタを通過した光とカラーフィルタを通過した光とにもとづいて、検知対象物を検知する方法が記載されている。
【０００６】
特許文献３には、赤外線カメラによって検知対象が撮影されたことを検知した場合に、当該検知対象を高感度カラーカメラで撮影する方法が記載されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００８−２７２５９号公報（段落００１４〜００４８、図１）
【特許文献２】特開２００８−９９２１８号公報（段落００１７〜００７４、図１）
【特許文献３】特開平１１−２８４９８８号公報（段落００１９〜００２１、図１）
【発明の概要】
【発明が解決しようとする課題】
【０００８】
監視カメラによって検索対象の物体が撮影された映像を検索する作業の省力化および効率化を図るために、監視カメラによって撮影された映像における当該物体の領域の色を示す色情報にもとづいて、物体が撮影された映像を検索する場合がある。
【０００９】
特許文献１に記載されている方法、および特許文献２に記載されている方法は、赤外線カメラによって撮影された映像にもとづく物体の検知を行うので、撮影された映像から物体の色を識別できず、物体の色を示す情報を生成することができない。従って、赤外線カメラによって撮影された映像を用いて、色にもとづいて物体が撮影された映像を検索することはできない。
【００１０】
特許文献３に記載されている方法は、高感度カラーカメラによって撮影された映像において、物体の色と当該物体の背景の色とが似ている場合に、高感度カラーカメラで撮影された映像から当該物体を抽出することができないので、当該物体の色を示す情報を生成することができない。従って、特許文献３に記載されている方法では、高感度カラーカメラによって撮影された映像を用いて、色にもとづいて、当該物体が撮影された映像を検索することは難しい。
【００１１】
そこで、本発明は、物体の色と当該物体の背景の色とが似ている場合であっても、色にもとづいて物体が撮影された映像を検索可能な情報を生成する色情報生成システム、色情報生成装置、色情報生成方法および色情報生成プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明による色情報生成システムは、所定の範囲を撮影してカラー映像データと撮影日時を示す撮影日時情報とを含む撮影情報を生成する撮影手段と、所定の範囲に存在する物体を検知し、検知した物体の種類を示す物体種類情報を含む検知情報を生成する検知手段と、検知手段が物体を検知した場合に、撮影手段によって生成された撮影情報に含まれるカラー映像データにもとづくカラー映像において物体を抽出する処理を行う抽出手段と、物体種類情報とカラー映像に応じた撮影日時情報とを含み、抽出手段の抽出結果に応じた色を示す色情報を生成する色情報生成手段と、色情報生成手段が生成した色情報を格納する色情報格納手段とを備え、色情報生成手段は、抽出手段が物体を抽出できた場合に、物体の色を示す色情報を生成し、抽出手段が物体を抽出できなかった場合に、予め用意された所定の範囲のカラー映像である背景映像の色を示す色情報を生成することを特徴とする。
【００１３】
本発明による色情報生成装置は、所定の範囲に存在する物体を検知して検知した物体の種類を示す物体種類情報を含む検知情報を生成する検知手段が物体を検知した場合に、所定の範囲を撮影してカラー映像データと撮影日時を示す撮影日時情報とを含む撮影情報を生成する撮影手段によって生成された撮影情報に含まれるカラー映像データにもとづくカラー映像において物体を抽出する処理を行う抽出手段と、物体種類情報とカラー映像に応じた撮影日時情報とを含み、抽出手段の抽出結果に応じた色を示す色情報を生成する色情報生成手段と、色情報生成手段が生成した色情報を格納する色情報格納手段とを備え、色情報生成手段は、抽出手段が物体を抽出できた場合に、物体の色を示す色情報を生成し、抽出手段が物体を抽出できなかった場合に、予め用意された所定の範囲のカラー映像である背景映像の色を示す色情報を生成することを特徴とする。
【００１４】
本発明による色情報生成方法は、所定の範囲に存在する物体を検知して検知した物体の種類を示す物体種類情報を含む検知情報を生成する検知手段が物体を検知した場合に、所定の範囲を撮影してカラー映像データと撮影日時を示す撮影日時情報とを含む撮影情報を生成する撮影手段によって生成された撮影情報に含まれるカラー映像データにもとづくカラー映像において物体を抽出する処理を行い、物体を抽出できた場合に、物体種類情報とカラー映像に応じた撮影日時情報とを含み、抽出した物体の色を示す色情報を生成し、物体を抽出できなかった場合に、物体種類情報とカラー映像に応じた撮影日時情報とを含み、予め用意された所定の範囲のカラー映像である背景映像の色を示す色情報を生成し、生成した色情報を色情報格納手段に格納することを特徴とする。
【００１５】
本発明による色情報生成プログラムは、コンピュータに、所定の範囲に存在する物体を検知して検知した物体の種類を示す物体種類情報を含む検知情報を生成する検知手段が物体を検知した場合に、所定の範囲を撮影してカラー映像データと撮影日時を示す撮影日時情報とを含む撮影情報を生成する撮影手段によって生成された撮影情報に含まれるカラー映像データにもとづくカラー映像において物体を抽出する処理を行う抽出処理と、抽出処理で物体を抽出できた場合に、物体種類情報とカラー映像に応じた撮影日時情報とを含み、抽出した物体の色を示す色情報を生成し、抽出処理で物体を抽出できなかった場合に、物体種類情報とカラー映像に応じた撮影日時情報とを含み、予め用意された所定の範囲のカラー映像である背景映像の色を示す色情報を生成する色情報生成処理と、色情報生成処理で生成した色情報を色情報格納手段に格納する色情報格納処理とを実行させることを特徴とする。
【発明の効果】
【００１６】
本発明によれば、物体の色と当該物体の背景の色とが似ている場合であっても、色にもとづいて物体が撮影された映像を検索可能な情報を生成することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明による色情報生成システムの実施形態の構成例を示す説明図である。
【図２】色情報生成システムの動作を示すシーケンス図である。
【図３】本発明の概要を示すブロック図である。
【発明を実施するための形態】
【００１８】
本発明による色情報生成システムの実施形態について、図面を参照して説明する。図１は、本発明による色情報生成システムの実施形態の構成例を示す説明図である。
【００１９】
図１に示すように、本発明による色情報生成システムは、監視カメラ１０、物体検知センサ２０、および色情報生成装置３０を含む。なお、図１に示す例では、色情報生成装置３０に、監視カメラ１０と物体検知センサ２０とがそれぞれ１つずつ接続されているが、色情報生成装置３０に監視カメラ１０と物体検知センサ２０とがそれぞれ複数接続されていてもよい。
【００２０】
監視カメラ１０は、撮影部１１および送信部１２を含む。撮影部１１は、所定の撮影範囲を撮影し、カラー映像データを生成する。送信部１２は、撮影部１１によって生成されたカラー映像データを含む映像情報を生成して、生成した撮影情報を通信媒体を介して色情報生成装置３０の映像情報受信部３１に送信する。なお、通信媒体とは、例えば、ＢＮＣ（Ｂａｙｏｎｅｔ Ｎｅｉｌｌ Ｃｏｎｃｅｌｍａｎ）ケーブル、電話回線、およびイーサネット（登録商標）ケーブル等の有線通信回線や、マイクロ波回線、および無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等の無線通信回線、またはインターネットである。
【００２１】
なお、映像情報は、カラー映像データを含み、撮影日時および撮影した監視カメラ１０を識別するためのカメラ番号などの撮影内容を示す情報を含む情報である。映像情報は、カラー映像データを含み、撮影内容を示す情報を識別するための符号を示す情報であってもよい。
【００２２】
物体検知センサ２０は、センサ部２１、認識部２２および送信部２３を含む。センサ部２１は、監視カメラ１０の撮影範囲を測定範囲とし、例えば、検知されうる物体（例えば、人、物、または動物）に応じて設置された近赤外線カメラ、サーモグラフィ、レーザ光センサ、磁束センサまたは重量センサである。センサ部２１は、測定した物理量である測定結果を示す信号を認識部２２に出力する。認識部２２は、監視カメラ１０の撮影範囲に物体が存在する場合に、センサ部２１によって出力された信号にもとづいて物体を検知する。そして、認識部２２は、物体を検知した場合に、センサ識別情報を生成して送信部２３に出力する。
【００２３】
また、センサ識別情報は、物体の有無、物体の種類、検知日時、および物体検知センサ２０を識別するためのセンサ番号などの検知内容を示す情報を含む情報である。なお、センサ識別情報は、検知内容を示す情報を識別するための符号を示す情報であってもよい。認識部２２は、例えば、センサ部２１がサーモグラフィである場合に、センサ部２１が出力した信号よって示される物体が発している熱を検出した領域の形状および大きさにもとづいて、当該物体が人であるのか、車両等の物であるのか、または犬等の動物であるのかを識別し、当該物体の種類を判定する。また、認識部２２は、例えば、センサ部２１が重量センサである場合に、センサ部２１が出力した信号によって示される物体の重量の値が一般的な車両の重量の値以上の値であって、当該一般的な車両の重量の値と最大積載重量の値との和以下の値である場合に、物体の種類が車両であると判定する。なお、認識部２２は、センサ部２１が近赤外線センサである場合に、センサ部２１によって近赤外線を受信したことを示す信号を一定時間以上連続して受信した場合に、測定範囲に一定時間以上動かない物があるとしてセンサ識別情報を生成する。
【００２４】
送信部２３は、認識部２２が生成したセンサ識別情報を通信媒体を介して色情報生成装置３０のセンサ情報受信部３２に送信する。なお、色情報生成装置３０に監視カメラ１０と物体検知センサ２０とがそれぞれ複数接続されている場合には、各監視カメラ１０の撮影範囲を測定範囲とする物体検知センサ２０がそれぞれ設置されており、一の監視カメラ１０のカメラ番号と、当該一の監視カメラ１０の撮影範囲を測定範囲とする物体検知センサ２０のセンサ番号とは対応付けられているとする。
【００２５】
色情報生成装置３０は、映像情報受信部３１、センサ情報受信部３２、解析部３３および物体特徴データベース３４を含む。映像情報受信部３１は、監視カメラ１０によって送信された映像情報を受信する。センサ情報受信部３２は、物体検知センサ２０によって送信されたセンサ識別情報を受信する。解析部３３は、映像情報受信部３１が受信した映像情報とセンサ情報受信部３２が受信したセンサ識別情報とを解析して、物体の色を示す色情報を生成し、物体特徴データベース３４に生成した色情報を格納する。
【００２６】
色情報は、物体における予め決められた位置または予め用意された背景映像における予め決められた位置の色を示す情報である。なお、色情報は、物体における予め決められた位置または予め用意された背景映像における予め決められた位置の色を識別するための符号を示す情報であってもよい。また、色情報は、センサ識別情報に含まれる物体の種類を示す情報と、映像情報に含まれる撮影日時およびカメラ番号を示す情報とを含む。なお、物体における予め決められた位置または予め用意された背景映像における予め決められた位置の色を、単に物体または背景映像の色ともいう。物体における予め決められた位置とは、例えば、カラー映像データにもとづくカラー映像における物体の領域のうち、中心の座標の位置をいう。背景映像における予め決められた位置とは、例えば、認識部２２が物体を検知した場合に、撮影部１１の撮影範囲が撮影された背景映像において当該物体があることが想定される位置をいう。
【００２７】
なお、監視カメラ１０において送信部１２が生成する映像情報に含まれる撮影日時を生成するために当該送信部１２に提供される情報によって示される日時と、物体検知センサ２０の認識部２２が生成するセンサ識別情報に含まれる検知日時を生成するために当該認識部２２に提供される情報によって示される日時とは、管理者の設定によって同期している。
【００２８】
次に、図１に示す色情報生成システムの動作について、図面を参照して説明する。図２は、色情報生成システムの動作を示すシーケンス図である。
【００２９】
監視カメラ１０の撮影部１１は、カラー映像で所定の撮影範囲を撮影してカラー映像データを生成し、生成したカラー映像データを送信部１２に出力する（ステップＳ１０１）。送信部１２は、撮影部１１によって出力されたカラー映像データを含む映像情報を生成し、生成した映像情報を色情報生成装置３０の映像情報受信部３１に送信する（ステップＳ１０２）。色情報生成装置３０の映像情報受信部３１は、ステップＳ１０２の処理で送信部１２によって送信された映像情報を解析部３３に出力する。また、色情報生成装置３０の映像情報受信部３１は、ステップＳ１０２の処理で送信部１２によって送信された映像情報を記憶手段（図示せず）に記憶させる。
【００３０】
物体検知センサ２０のセンサ部２１は、測定範囲である監視カメラ１０の撮影範囲の測定結果に応じた信号を認識部２２に出力する（ステップＳ１０３）。認識部２２は、センサ部２１によって出力された信号にもとづいて、検知対象領域に存在する物体を検知した場合に、センサ識別情報を生成して送信部２２に出力する（ステップＳ１０４）。送信部２３は、センサ識別情報を色情報生成装置３０のセンサ情報受信部３２に送信する（ステップＳ１０５）。色情報生成装置３０のセンサ情報受信部３２は、ステップＳ１０５の処理で送信部２３によって送信されたセンサ識別情報を解析部３３に出力する。また、色情報生成装置３０のセンサ情報受信部３２は、ステップＳ１０５の処理で送信部２３によって送信されたセンサ識別情報を記憶手段（図示せず）に記憶させてもよい。そのような構成によれば、記憶手段に記憶されたセンサ識別情報を用いた映像情報の検索が可能になる。
【００３１】
色情報生成装置３０の解析部３３は、センサ情報受信部３２によってセンサ識別情報を出力された場合に、映像情報受信部３１によって出力された映像情報にもとづいて、物体を抽出する処理を行う（ステップＳ１０６）。具体的には、解析部３３は、センサ識別情報に含まれる情報によって示されるセンサ番号に応じたカメラ番号を示す情報を含む映像情報であって、当該センサ識別情報に含まれる情報によって示される検知日時に応じた撮影日時を示す情報を含む映像情報に含まれるカラー映像データにもとづくカラー映像と、当該映像情報に含まれる情報によって示されるカメラ番号に応じて予め用意されているカラー映像データにもとづくカラー映像とを比較した差分として、当該カラー映像から物体を抽出する。なお、カメラ番号に応じて予め用意されているカラー映像データにもとづくカラー映像とは、背景映像と呼ばれる映像であって、予めカメラ番号に応じた撮影範囲が撮影されたカラー映像である。
【００３２】
解析部３３は、物体を抽出した場合に、センサ情報受信部３２によって出力されたセンサ識別情報に含まれる物体の種類を示す情報と映像情報受信部３１によって出力された撮影情報に含まれる撮影日時を示す情報とを含み、カラー映像において抽出した物体の色を示す色情報を生成する。また、解析部３３は、例えば、カラー映像において、物体の色と当該物体の背景の色とが似ていることにより当該物体を抽出できなかった場合に、センサ情報受信部３２によって出力されたセンサ識別情報に含まれる物体の種類を示す情報と映像情報受信部３１によって出力された撮影情報に含まれる撮影日時を示す情報とを含み、背景映像の色を示す色情報を生成する（ステップＳ１０７）。つまり、解析部３３は、物体を抽出できなかった場合に、背景映像における色を物体の色であるとして色情報を生成する。なお、解析部３３は、ＲＧＢモデルにもとづいて色を示す色情報を生成してもよいし、ＨＳＶモデルにもとづいて色を示す色情報を生成してもよい。
【００３３】
解析部３３は、ステップＳ１０７の処理で生成した色情報を物体特徴データベース３４に格納する（ステップＳ１０８）。なお、解析部３３は、物体の抽出を試みたカラー映像に応じた映像情報に含まれる情報によって示されるカメラ番号を示す情報を含む色情報を生成して物体特徴データベース３４に格納してもよい。また、解析部３３は、映像情報を識別するための符号を示す情報を含む色情報を生成して物体特徴データベース３４に格納してもよいし、センサ識別情報を識別するための符号を示す情報を含む色情報を生成して物体特徴データベース３４に格納してもよい。
【００３４】
本実施形態によれば、カラー映像から物体を抽出することができた場合に、当該物体の色を示す色情報を生成して物体特徴データベース３４に格納することができる。また、カラー映像から物体を抽出することができなかった場合に、当該物体の背景映像の色を示す色情報を生成して物体特徴データベース３４に格納することができる。従って、カラー映像において物体と当該物体の背景映像との色が似ていることによってカラー映像から物体を抽出することができなかった場合であっても、色情報を生成して物体特徴データベース３４に格納することができる。よって、カラー映像において物体と当該物体の背景映像との色が似ている場合であっても、物体特徴データベース３４から当該物体に応じた色情報を抽出して、抽出した当該色情報に含まれる撮影日時を示す情報を用いて当該物体が撮影された映像を検索することが可能になり、監視カメラ１０によって撮影された映像を用いて、当該物体が撮影された映像を検索する作業の省力化および効率化に資することができる。
【００３５】
例えば、物体特徴データベース３４に格納されている色情報のうち、検索対象の物体の種類を示す情報を含み、当該検索対象の色を示す色情報を抽出して、当該色情報に含まれる撮影日時を示す情報にもとづいて、検索対象の物体が撮影された映像を記憶手段から容易に抽出することができる。
【００３６】
具体的には、例えば、犯罪の目撃者による「黒い服装の人」という犯人の特徴を示す情報にもとづいて犯罪現場の近傍に設置された監視カメラ１０によって犯人が撮影された映像を検索する場合に、監視カメラ１０によって撮影された背景映像が黒色であっても、物体特徴データベース３４に格納されている色情報のうち、物体の種類が人であることを示す情報を含み、黒色を示す色情報を抽出して、当該色情報に含まれる撮影日時を示す情報にもとづいて、犯人が撮影された映像を記憶手段から容易に抽出することができる。
【００３７】
また、遊園地やデパートなどにおける迷子の同行者による「青い服装の人」という迷子の特徴を示す情報にもとづいて、監視カメラ１０によって迷子が撮影された映像を検索する場合に、監視カメラ１０によって撮影された背景映像が青色であっても、物体特徴データベース３４に格納されている色情報のうち、物体の種類が人であることを示す情報を含み、青色を示す色情報を抽出して、当該色情報に含まれる撮影日時を示す情報にもとづいて、迷子が撮影された映像を記憶手段から容易に抽出することができる。
【００３８】
また、行方がわからなくなった犬の飼い主による「白い犬」という情報にもとづいて、監視カメラ１０によって白い犬が撮影された映像を検索する場合に、監視カメラ１０によって撮影された背景映像が白色であっても、物体特徴データベース３４に格納されている色情報のうち、物体の種類が犬であることを示す情報を含み、白色を示す色情報を抽出して、当該色情報に含まれる撮影日時を示す情報にもとづいて、白い犬が撮影された映像を記憶手段から容易に抽出することができる。
【００３９】
また、本システムと、予め設定された種類の物体が撮影された場合に報知動作を行うシステムとを接続して、当該システムに予め設定された種類を示す情報を含む色情報が物体特徴データベース３４に格納された場合に、報知対象の物体が検知されたことを当該システムに通知することができる。具体的には、例えば、駅や空港に設置された物体検知センサ２０によって一定時間以上動かない物が検知されたことにもとづいて、物体の種類が物であることを示す情報を含む色情報が一定時間以上継続して物体特徴データベース３４に格納された場合に、当該システムにその旨を通知することにより、駅や空港に置かれた不審物の色が周囲の色に似ていた場合であっても、当該システムは、不審物が置かれたことを報知することができる。
【００４０】
また、本システムと、製品の製造工程に設置され、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ ＩＤｅｎｔｉｆｉｃａｔｉｏｎ）タグに記憶されている情報を読み出す読み出し部を備え、所定の色の物体が撮影された場合に、報知動作を行うシステムとを接続する場合には、当該システムは、ＲＦＩＤに記憶されている情報によって示される製品の色と撮影された製品の色とが異なることを報知することができる。具体的には、例えば、製造工程において緑色の製品が緑色のベルトコンベアに載せられている場合に、製品に貼付されたＲＦＩＤタグに記憶されている情報によって赤色の製品であることが示されているときに、緑色を示す色情報が物体特徴データベース３４に格納されると、緑色を示す色情報が物体特徴データベース３４に格納されたことを当該システムに通知することにより、当該システムは、ＲＦＩＤに記憶されている情報によって示される製品の色と撮影された製品の色とが異なることを報知することができる。
【００４１】
なお、色情報生成装置３０の解析部３３は、映像情報とセンサ識別情報とにもとづいて、より詳細な物体の種類を示す情報を含む色情報を生成するように構成されていてもよい。具体的には、例えば、センサ識別情報によって物体の種類が人であることが示されている場合に、映像情報に含まれるカラー映像データにもとづくカラー映像における撮影された人の領域の形状および色にもとづいて、上半身と下半身とをそれぞれ抽出し、当該上半身と下半身との色をそれぞれ示す色情報を生成する。さらに、カラー映像にもとづいて、上半身の服装がシャツであることを示す物体の種類を示す情報を含む色情報や、下半身の服装がジーンズであることを示す物体の種類の情報を含む色情報を生成する。そのように構成された場合には、色にもとづく検索の精度や、物体の種類にもとづく検索の精度をより高めることができる。
【００４２】
次に、本発明の概要について説明する。図３は、本発明の概要を示すブロック図である。図３に示すように、本発明による色情報生成システムは、撮影手段１００（図１に示す監視カメラ１０に相当）と、検知手段２００（図１に示す物体検知センサ２０に相当）と、色情報生成装置３００（図１に示す色情報生成装置３０に相当）とを含む。
【００４３】
色情報生成装置３００は、抽出手段３０１（図１に示す解析部３３に相当）、色情報生成手段３０２（図１に示す解析部３３に相当）、および色情報格納手段３０３（図１に示す物体特徴データベース３４に相当）を含む。
【００４４】
撮影手段１００は、所定の範囲を撮影してカラー映像データと撮影日時を示す撮影日時情報とを含む撮影情報を生成する。検知手段２００は、所定の範囲に存在する物体を検知し、検知した物体の種類を示す物体種類情報を含む検知情報を生成する。抽出手段３０１は、検知手段２００が物体を検知した場合に、撮影手段１００によって生成された撮影情報に含まれるカラー映像データにもとづくカラー映像において物体を抽出する処理を行う。色情報生成手段３０２は、物体種類情報とカラー映像に応じた撮影日時情報とを含み、抽出手段３０１の抽出結果に応じた色を示す色情報を生成する。色情報格納手段３０３は、色情報生成手段３０２が生成した色情報を格納する。また、色情報生成手段３０２は、抽出手段３０１が物体を抽出できた場合に、物体の色を示す色情報を生成し、抽出手段３０１が物体を抽出できなかった場合に、予め用意された所定の範囲のカラー映像である背景映像の色を示す色情報を生成する。
【００４５】
そのような構成によれば、物体の色と当該物体の背景の色とが似ている場合であっても、色にもとづいて物体が撮影された映像を検索可能な情報を生成することができる。
【００４６】
また上記の実施形態では、以下の（１）〜（４）に示すような色情報生成システムも開示されている。
【００４７】
（１）色情報生成手段３０２が、抽出手段３０１が抽出した物体における予め決められた位置、または背景映像における予め決められた位置の色を示す色情報を生成する色情報生成システム。
【００４８】
（２）検知手段２００が、物体を検知した場合に、物体を検知した日時を示す検知日時情報を含む検知情報を生成し、抽出手段３０１が、検知情報に含まれる検知日時情報によって示される日時に応じた撮影日時を示す撮影日時情報を含む撮影情報に含まれるカラー映像データにもとづくカラー映像において物体を抽出する処理を行う色情報生成システム。
【００４９】
（３）複数の撮影手段１００と、複数の撮影手段１００によって撮影されるそれぞれの範囲をそれぞれ検知範囲とする複数の検知手段２００とを備え、複数の撮影手段１００は、自撮影手段を識別するカメラ番号を含む撮影情報を生成し、抽出手段３０１は、複数の検知手段２００のうち、一の検知手段２００が物体を検知した場合に、一の検知手段２００の検知範囲を撮影する撮影手段１００によって生成されたカラー映像データにもとづくカラー映像における物体を抽出する処理を行い、色情報生成手段３０２は、抽出手段３０１が物体の抽出を試みたカラー映像に応じたカラー映像データを含む撮影情報に含まれるカメラ番号を含む色情報を生成する色情報生成システム。
【００５０】
（４）撮影手段１００が生成した撮影情報を格納する撮影情報格納手段を含む色情報生成システム。
【００５１】
上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限られない。
【００５２】
（付記１）コンピュータに、所定の範囲に存在する物体を検知して検知した物体の種類を示す物体種類情報を含む検知情報を生成する検知手段が前記物体を検知した場合に、前記所定の範囲を撮影してカラー映像データと撮影日時を示す撮影日時情報とを含む撮影情報を生成する撮影手段によって生成された撮影情報に含まれるカラー映像データにもとづくカラー映像において前記物体を抽出する処理を行う抽出処理と、前記抽出処理で前記物体を抽出できた場合に、前記物体種類情報と前記カラー映像に応じた撮影日時情報とを含み、抽出した前記物体の色を示す色情報を生成し、前記抽出処理で前記物体を抽出できなかった場合に、前記物体種類情報と前記カラー映像に応じた撮影日時情報とを含み、予め用意された前記所定の範囲のカラー映像である背景映像の色を示す色情報を生成する色情報生成処理と、前記色情報生成処理で生成した色情報を色情報格納手段に格納する色情報格納処理とを実行させるための色情報生成プログラム。
【００５３】
（付記２）コンピュータに、抽出処理で抽出した物体における予め決められた位置、または背景映像における予め決められた位置の色を示す色情報を生成する付記１記載の色情報生成プログラム。
【産業上の利用可能性】
【００５４】
本発明を、検索対象の物体が撮影された映像を色にもとづいて検索するシステムに適用可能である。
【符号の説明】
【００５５】
１０ 監視カメラ
１１ 撮影部
１２ 送信部
２０ 物体検知センサ
２１ センサ部
２２ 認識部
２３ 送信部
３０ 色情報生成装置
３１ 映像情報受信部
３２ センサ情報受信部
３３ 解析部
３４ 物体特徴データベース
１００ 撮影手段
２００ 検知手段
３００ 色情報生成装置
３０１ 抽出手段
３０２ 色情報生成手段
３０３ 色情報格納手段
【特許請求の範囲】
【請求項１】
所定の範囲を撮影してカラー映像データと撮影日時を示す撮影日時情報とを含む撮影情報を生成する撮影手段と、
前記所定の範囲に存在する物体を検知し、検知した物体の種類を示す物体種類情報を含む検知情報を生成する検知手段と、
前記検知手段が前記物体を検知した場合に、前記撮影手段によって生成された撮影情報に含まれるカラー映像データにもとづくカラー映像において前記物体を抽出する処理を行う抽出手段と、
前記物体種類情報と前記カラー映像に応じた撮影日時情報とを含み、前記抽出手段の抽出結果に応じた色を示す色情報を生成する色情報生成手段と、
前記色情報生成手段が生成した前記色情報を格納する色情報格納手段とを備え、
前記色情報生成手段は、前記抽出手段が前記物体を抽出できた場合に、前記物体の色を示す色情報を生成し、前記抽出手段が前記物体を抽出できなかった場合に、予め用意された前記所定の範囲のカラー映像である背景映像の色を示す色情報を生成する
ことを特徴とする色情報生成システム。
【請求項２】
色情報生成手段は、抽出手段が抽出した物体における予め決められた位置、または背景映像における予め決められた位置の色を示す色情報を生成する
請求項１記載の色情報生成システム。
【請求項３】
検知手段は、物体を検知した場合に、前記物体を検知した日時を示す検知日時情報を含む検知情報を生成し、
抽出手段は、前記検知情報に含まれる検知日時情報によって示される日時に応じた撮影日時を示す撮影日時情報を含む撮影情報に含まれるカラー映像データにもとづくカラー映像において前記物体を抽出する処理を行う
請求項１または請求項２記載の色情報生成システム。
【請求項４】
複数の撮影手段と、前記複数の撮影手段によって撮影されるそれぞれの範囲をそれぞれ検知範囲とする複数の検知手段とを備え、
前記複数の撮影手段は、自撮影手段を識別するカメラ番号を含む撮影情報を生成し、
抽出手段は、前記複数の検知手段のうち、一の検知手段が物体を検知した場合に、前記一の検知手段の検知範囲を撮影する撮影手段によって生成されたカラー映像データにもとづくカラー映像における前記物体を抽出する処理を行い、
色情報生成手段は、前記抽出手段が前記物体を抽出する処理を行った前記カラー映像に応じた前記カラー映像データを含む撮影情報に含まれるカメラ番号を含む色情報を生成する
請求項１から請求項３のうちいずれか１項に記載の色情報生成システム。
【請求項５】
撮影手段が生成した撮影情報を格納する撮影情報格納手段を含む
請求項１から請求項４のうちいずれか１項に記載の色情報生成システム。
【請求項６】
所定の範囲に存在する物体を検知して検知した物体の種類を示す物体種類情報を含む検知情報を生成する検知手段が前記物体を検知した場合に、前記所定の範囲を撮影してカラー映像データと撮影日時を示す撮影日時情報とを含む撮影情報を生成する撮影手段によって生成された撮影情報に含まれるカラー映像データにもとづくカラー映像において前記物体を抽出する処理を行う抽出手段と、
前記物体種類情報と前記カラー映像に応じた撮影日時情報とを含み、前記抽出手段の抽出結果に応じた色を示す色情報を生成する色情報生成手段と、
前記色情報生成手段が生成した前記色情報を格納する色情報格納手段とを備え、
前記色情報生成手段は、前記抽出手段が前記物体を抽出できた場合に、前記物体の色を示す色情報を生成し、前記抽出手段が前記物体を抽出できなかった場合に、予め用意された前記所定の範囲のカラー映像である背景映像の色を示す色情報を生成する
ことを特徴とする色情報生成装置。
【請求項７】
色情報生成手段は、抽出手段が抽出した物体における予め決められた位置、または背景映像における予め決められた位置の色を示す色情報を生成する
請求項６記載の色情報生成装置。
【請求項８】
所定の範囲に存在する物体を検知して検知した物体の種類を示す物体種類情報を含む検知情報を生成する検知手段が前記物体を検知した場合に、前記所定の範囲を撮影してカラー映像データと撮影日時を示す撮影日時情報とを含む撮影情報を生成する撮影手段によって生成された撮影情報に含まれるカラー映像データにもとづくカラー映像において前記物体を抽出する処理を行い、
前記物体を抽出できた場合に、前記物体種類情報と前記カラー映像に応じた撮影日時情報とを含み、抽出した前記物体の色を示す色情報を生成し、
前記物体を抽出できなかった場合に、前記物体種類情報と前記カラー映像に応じた撮影日時情報とを含み、予め用意された前記所定の範囲のカラー映像である背景映像の色を示す色情報を生成し、
生成した色情報を色情報格納手段に格納する
ことを特徴とする色情報生成方法。
【請求項９】
色情報を生成する場合に、抽出した物体における予め決められた位置、または背景映像における予め決められた位置の色を示す色情報を生成する
請求項８記載の色情報生成方法。
【請求項１０】
コンピュータに、
所定の範囲に存在する物体を検知して検知した物体の種類を示す物体種類情報を含む検知情報を生成する検知手段が前記物体を検知した場合に、前記所定の範囲を撮影してカラー映像データと撮影日時を示す撮影日時情報とを含む撮影情報を生成する撮影手段によって生成された撮影情報に含まれるカラー映像データにもとづくカラー映像において前記物体を抽出する処理を行う抽出処理と、
前記抽出処理で前記物体を抽出できた場合に、前記物体種類情報と前記カラー映像に応じた撮影日時情報とを含み、抽出した前記物体の色を示す色情報を生成し、前記抽出処理で前記物体を抽出できなかった場合に、前記物体種類情報と前記カラー映像に応じた撮影日時情報とを含み、予め用意された前記所定の範囲のカラー映像である背景映像の色を示す色情報を生成する色情報生成処理と、
前記色情報生成処理で生成した色情報を色情報格納手段に格納する色情報格納処理と
を実行させるための色情報生成プログラム。
【請求項１】
所定の範囲を撮影してカラー映像データと撮影日時を示す撮影日時情報とを含む撮影情報を生成する撮影手段と、
前記所定の範囲に存在する物体を検知し、検知した物体の種類を示す物体種類情報を含む検知情報を生成する検知手段と、
前記検知手段が前記物体を検知した場合に、前記撮影手段によって生成された撮影情報に含まれるカラー映像データにもとづくカラー映像において前記物体を抽出する処理を行う抽出手段と、
前記物体種類情報と前記カラー映像に応じた撮影日時情報とを含み、前記抽出手段の抽出結果に応じた色を示す色情報を生成する色情報生成手段と、
前記色情報生成手段が生成した前記色情報を格納する色情報格納手段とを備え、
前記色情報生成手段は、前記抽出手段が前記物体を抽出できた場合に、前記物体の色を示す色情報を生成し、前記抽出手段が前記物体を抽出できなかった場合に、予め用意された前記所定の範囲のカラー映像である背景映像の色を示す色情報を生成する
ことを特徴とする色情報生成システム。
【請求項２】
色情報生成手段は、抽出手段が抽出した物体における予め決められた位置、または背景映像における予め決められた位置の色を示す色情報を生成する
請求項１記載の色情報生成システム。
【請求項３】
検知手段は、物体を検知した場合に、前記物体を検知した日時を示す検知日時情報を含む検知情報を生成し、
抽出手段は、前記検知情報に含まれる検知日時情報によって示される日時に応じた撮影日時を示す撮影日時情報を含む撮影情報に含まれるカラー映像データにもとづくカラー映像において前記物体を抽出する処理を行う
請求項１または請求項２記載の色情報生成システム。
【請求項４】
複数の撮影手段と、前記複数の撮影手段によって撮影されるそれぞれの範囲をそれぞれ検知範囲とする複数の検知手段とを備え、
前記複数の撮影手段は、自撮影手段を識別するカメラ番号を含む撮影情報を生成し、
抽出手段は、前記複数の検知手段のうち、一の検知手段が物体を検知した場合に、前記一の検知手段の検知範囲を撮影する撮影手段によって生成されたカラー映像データにもとづくカラー映像における前記物体を抽出する処理を行い、
色情報生成手段は、前記抽出手段が前記物体を抽出する処理を行った前記カラー映像に応じた前記カラー映像データを含む撮影情報に含まれるカメラ番号を含む色情報を生成する
請求項１から請求項３のうちいずれか１項に記載の色情報生成システム。
【請求項５】
撮影手段が生成した撮影情報を格納する撮影情報格納手段を含む
請求項１から請求項４のうちいずれか１項に記載の色情報生成システム。
【請求項６】
所定の範囲に存在する物体を検知して検知した物体の種類を示す物体種類情報を含む検知情報を生成する検知手段が前記物体を検知した場合に、前記所定の範囲を撮影してカラー映像データと撮影日時を示す撮影日時情報とを含む撮影情報を生成する撮影手段によって生成された撮影情報に含まれるカラー映像データにもとづくカラー映像において前記物体を抽出する処理を行う抽出手段と、
前記物体種類情報と前記カラー映像に応じた撮影日時情報とを含み、前記抽出手段の抽出結果に応じた色を示す色情報を生成する色情報生成手段と、
前記色情報生成手段が生成した前記色情報を格納する色情報格納手段とを備え、
前記色情報生成手段は、前記抽出手段が前記物体を抽出できた場合に、前記物体の色を示す色情報を生成し、前記抽出手段が前記物体を抽出できなかった場合に、予め用意された前記所定の範囲のカラー映像である背景映像の色を示す色情報を生成する
ことを特徴とする色情報生成装置。
【請求項７】
色情報生成手段は、抽出手段が抽出した物体における予め決められた位置、または背景映像における予め決められた位置の色を示す色情報を生成する
請求項６記載の色情報生成装置。
【請求項８】
所定の範囲に存在する物体を検知して検知した物体の種類を示す物体種類情報を含む検知情報を生成する検知手段が前記物体を検知した場合に、前記所定の範囲を撮影してカラー映像データと撮影日時を示す撮影日時情報とを含む撮影情報を生成する撮影手段によって生成された撮影情報に含まれるカラー映像データにもとづくカラー映像において前記物体を抽出する処理を行い、
前記物体を抽出できた場合に、前記物体種類情報と前記カラー映像に応じた撮影日時情報とを含み、抽出した前記物体の色を示す色情報を生成し、
前記物体を抽出できなかった場合に、前記物体種類情報と前記カラー映像に応じた撮影日時情報とを含み、予め用意された前記所定の範囲のカラー映像である背景映像の色を示す色情報を生成し、
生成した色情報を色情報格納手段に格納する
ことを特徴とする色情報生成方法。
【請求項９】
色情報を生成する場合に、抽出した物体における予め決められた位置、または背景映像における予め決められた位置の色を示す色情報を生成する
請求項８記載の色情報生成方法。
【請求項１０】
コンピュータに、
所定の範囲に存在する物体を検知して検知した物体の種類を示す物体種類情報を含む検知情報を生成する検知手段が前記物体を検知した場合に、前記所定の範囲を撮影してカラー映像データと撮影日時を示す撮影日時情報とを含む撮影情報を生成する撮影手段によって生成された撮影情報に含まれるカラー映像データにもとづくカラー映像において前記物体を抽出する処理を行う抽出処理と、
前記抽出処理で前記物体を抽出できた場合に、前記物体種類情報と前記カラー映像に応じた撮影日時情報とを含み、抽出した前記物体の色を示す色情報を生成し、前記抽出処理で前記物体を抽出できなかった場合に、前記物体種類情報と前記カラー映像に応じた撮影日時情報とを含み、予め用意された前記所定の範囲のカラー映像である背景映像の色を示す色情報を生成する色情報生成処理と、
前記色情報生成処理で生成した色情報を色情報格納手段に格納する色情報格納処理と
を実行させるための色情報生成プログラム。
【図１】
【図２】
【図３】
【図２】
【図３】
【公開番号】特開２０１２−１９３４４（Ｐ２０１２−１９３４４Ａ）
【公開日】平成２４年１月２６日（２０１２．１．２６）
【国際特許分類】
【出願番号】特願２０１０−１５５０８４（Ｐ２０１０−１５５０８４）
【出願日】平成２２年７月７日（２０１０．７．７）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【Ｆターム（参考）】
【公開日】平成２４年１月２６日（２０１２．１．２６）
【国際特許分類】
【出願日】平成２２年７月７日（２０１０．７．７）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【Ｆターム（参考）】
[ Back to top ]