映像解析装置及びシステム
【課題】 多様な動的物体が現れるシーンを高速に解析する映像解析装置を提供する。
【解決手段】 入力された映像のフレーム画像102から、動的な物体が存在する領域を検出する動的物体領域検出部103と、この検出された動的物体領域検出部で検出された物体のカテゴリを判別する物体カテゴリ判別部104とを有し、この物体領域と物体カテゴリ判別部で判別されたカテゴリから、映像中の各座標において物体が現れる確率を表す「存在確率マップ」を生成し、それを時系列データで保存することで、一定のタイムスパンにおける各カテゴリの存在確率マップを生成する。
【解決手段】 入力された映像のフレーム画像102から、動的な物体が存在する領域を検出する動的物体領域検出部103と、この検出された動的物体領域検出部で検出された物体のカテゴリを判別する物体カテゴリ判別部104とを有し、この物体領域と物体カテゴリ判別部で判別されたカテゴリから、映像中の各座標において物体が現れる確率を表す「存在確率マップ」を生成し、それを時系列データで保存することで、一定のタイムスパンにおける各カテゴリの存在確率マップを生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像中の動的物体の解析を行うための映像解析装置、システムに関するものである。
【背景技術】
【０００２】
映像監視システムにおいては、映像中の動的物体を検出し、検出された物体を解析・検索する機能が実用化されている。例えば、映像中から人物の顔領域を検出し、過去に蓄積された顔画像と照合することで、不審人物や重要人物が写った際にユーザに通知する、といった機能を備える映像監視システムが存在する。
【０００３】
検出対象の物体は、現在のところ人物の顔が最も一般的であるが、今後例えば、車両や種々の物品など多様な動的物体を検出・解析対象に入れることが望まれている。ここで、処理の軽減を図るために、解析処理効率の向上が必要とされている。
【０００４】
解析処理効率の向上に関して、例えば特許文献１には、物体の存在確率を利用して、物体領域を検出するための画像処理を実施する領域を限定する手段が示されている。特許文献１の手法は、焦点距離や解像度など、撮像系の静的な情報を利用して、画像処理を行う領域を決定するものであり、車載カメラのように撮影環境や撮影機器が限定された環境では有効である。
【０００５】
一方、画像照合以外でのシーン解析手法としては、特許文献２において、人物の動線をデータベースに保存しておくことで、特定の人物行動を表す条件データに該当する人物が現れたシーンを検索する方法について述べている。動線による検索は、ひとつの物体の動作に着目したシーン検索を行うのには有効である。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開2010-003254号
【特許文献２】特開2009-284167号
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、監視カメラのように、撮影状況や映像中の被写体の位置が事前に予測できない環境（非統制環境）において、特許文献１の手法を適用することはできない。
【０００８】
また、特許文献２では、不正行為等の特定の行為の検出には有効であるが、多様な動的物体が現れるシーンを高速に解析するものではない。
【課題を解決するための手段】
【０００９】
本発明に係る映像解析装置は、入力された映像のフレーム画像から、動的な物体が存在する領域を検出する動的物体領域検出部と、この検出された動的物体領域検出部で検出された物体のカテゴリを判別する物体カテゴリ判別部とを有し、この物体カテゴリ判別部で判別されたカテゴリ毎に、前記検出された動的物体領域（座標又は場）において物体が現れる確率を表す「存在確率マップ」を生成し、それを時系列データで保存することで、一定のタイムスパンにおける各カテゴリの存在確率マップを生成する。
【発明の効果】
【００１０】
上記構成により、映像空間における物体の存在確率マップを、物体のカテゴリ毎に求めることができる。その結果、存在確率マップを利用して、物体検出処理における画像認識処理の実施領域を限定することで、物体検出を高速化することが可能である。
【図面の簡単な説明】
【００１１】
【図１】本発明による映像解析システム１００の機能ブロック図である。
【図２】本発明による映像解析システム１００における存在確率マップの生成を説明するための図である。
【図３】本発明による映像解析システム１００における存在確率マップの生成処理手順を表すフローチャートである。
【図４】複数カテゴリの物体検出の一例を説明するための図である。
【図５】複数カテゴリの物体検出の一例の処理手順を表すフローチャートである。
【図６】物体検出の信頼度を算出する処理手順を表すフローチャートである。
【図７】存在確率マップを用いた物体検出の高速化を説明するための図である。
【図８】存在確率マップを用いた物体検出の高速化の処理手順を表すフローチャートである。
【図９】存在確率マップを用いた異常シーン検知を説明するための図である。
【図１０】存在確率マップを用いた異常シーン検知の処理手順を表すフローチャートである。
【図１１】存在確率マップを用いた類似シーン検索を説明するための図である。
【図１２】類似シーン検索用の映像データベースの構成とデータ例を示す図である。
【図１３】類似シーン検索システムの構成を示す図。
【図１４】類似シーン検索のシーケンスを示す図。
【図１５】マーケティングへの応用の実施例を説明する図。
【図１６】PTZカメラを用いた広域存在確率マップ生成の実施例を説明する図。
【図１７】時刻毎の広域存在確率マップを用いたカメラのPTZ制御の実施例を説明する図。
【発明を実施するための形態】
【００１２】
以下、図面を参照して、本発明の好適な実施例について詳細に説明する。
【実施例１】
【００１３】
図１は、映像解析システム１００の全体構成図の一例である。映像解析システム１００は、映像入力装置１０１、操作情報入力装置１０７、表示装置１１０、計算機１１１から構成される。計算機１１１は、映像入力部１０２、動的物体領域検出部１０３、物体カテゴリ判別部１０４、存在確率算出部１０５、存在確率蓄積部１０６、操作情報入力部１０８、存在確率出力部１０９、を備え、汎用のコンピュータ上に実装可能である。映像入力装置１０１は、映像再生機器やカメラなど、外部映像をシステムに取り込むための入力インタフェースである。
【００１４】
映像入力部１０２は、映像入力装置１０１から映像データを受け取り、フレーム画像（静止画像）に変換し、動的物体領域検出部１０３に出力する。
【００１５】
動的物体領域検出部１０３は、映像入力部１０２からフレーム画像を受け取り、画像認識処理によってフレーム画像中で動的物体が映っている領域の座標を特定する。なお、動的物体とは、それ自身で移動可能な物体を意味するもので、動物や車、自転車等が挙げられる。本実施例において動的物体領域検出部１０３では、複数の種類（カテゴリ）の物体を検出できるものとする。動的物体領域検出部１０３は、検出した物体領域の座標情報と検出結果の信頼度を出力する。例えば、物体領域は矩形データとして導出され、座標情報は[矩形の左上隅の水平座標, 矩形の左上隅の垂直座標, 矩形の右下隅の水平座標, 矩形の右下隅の垂直座標]という形式で出力される。検出結果の信頼度は、矩形画像の「物体らしさ」を表す値である。
【００１６】
物体カテゴリ判別部１０４は、動的物体検出部１０３で検出された領域に映っている物体の意味論的カテゴリを特定する。カテゴリは、例えば、「人」や「車」などである。カテゴリの粒度に関しては、使用目的と判別精度に応じて自由に変更可能であり、例えば、「人」カテゴリをさらに分類し、「男性」、「女性」のように下位カテゴリを出力しても良い。
【００１７】
存在確率算出部１０５は、カテゴリ毎に存在確率マップを生成する。存在確率算出部１０５は、まず、動的物体検出部１０３で検出された矩形データと信頼度、および物体カテゴリ判別部１０４で求められたカテゴリを用いて、単一フレームの存在確率マップを導出する。存在確率マップはカメラ映像のXY座標に対応するテーブル状のデータ構造であり、各座標における存在確率は、例えば、単純に検出領域の信頼度を元に算出される。単一フレームの存在確率マップは、存在確率蓄積部１０６に、時系列データとして格納される。次に、存在確率蓄積部１０６から一定のタイムスパンの存在確率マップを読み出し集計することで、そのタイムスパンにおける存在確率マップを生成し、存在確率出力部１０９に出力する。
【００１８】
存在確率蓄積部１０６は、存在確率算出部１０５で計算されたカテゴリ毎の存在確率マップを時系列データとして保存する。
【００１９】
操作情報入力装置１０７は、マウスやキーボード、タッチデバイスなど、ユーザの操作をシステムに伝えるための入力インタフェースである。
【００２０】
操作情報入力部１０８は、操作情報入力装置１０７から入力されたユーザの操作情報を、存在確率算出部１０５に伝える。例えば、存在確率蓄積部１０６で保持されている存在確率を初期化したり、存在確率を蓄積するタイムスパンを指定したりするための指示をシステムに伝える。
【００２１】
存在確率出力部１０９は、存在確率算出部１０５で算出された存在確率マップのデータを解析結果として表示装置１１０に出力する。
【００２２】
表示装置１１０は、液晶ディスプレイやＣＲＴなどの出力インタフェースであり、存在確率出力部１０９から受け取った解析結果を画面表示する。
【００２３】
図２は、存在確率算出部１０５が、存在確率マップを生成する様子を示す図であり、左から右への時系列での処理を表す。２０１、２０２、２０３は、映像入力部１０２で抽出されたフレーム画像である。画像中の太枠の矩形は、動的物体領域検出部１０３で検出された物体の領域を表す。フレーム画像２０１では、「車」と「人」という２種類のカテゴリの物体が検出されている。この結果を元に、それぞれ存在確率マップ２０４、２０７を算出する。存在確率マップの各座標の値は、該当する物体領域の信頼度に比例した値とする。次のフレーム画像２０２についても同様に存在確率マップを求め、フレーム画像２０１で生成した存在確率マップと合わせて集計する。集計方法は、例えば、時系列データにおける各座標の信頼度の最大値または平均値を用いる方法がある。この結果、２０５や２０８のような２フレームのタイムスパンにおける存在確率マップが生成される。以上の処理をフレーム画像２０３まで繰り返すことで、最終的に２０６や２０９のような存在確率マップが生成される。このように、データ自体は「点」である座標で管理し、更新時や利用時には、領域単位で「場」として管理する。
【００２４】
図３は、映像解析システム１００が存在確率マップを出力する処理を説明するフローチャートである。以下、図３の各ステップについて説明する。
【００２５】
ステップＳ３０１では、映像入力部１０２において、入力画像からフレーム画像（静止画像）を取得する。フレーム画像は、一定の時間間隔で繰り返し取得される。ここで、入力映像は必ずしも固定カメラからの映像である必要はなく、映像の座標と存在確率マップの座標との対応がとれていれば、自由視点カメラを用いても良い。以下では、簡略のために、固定カメラを用いた場合について説明する。
【００２６】
ステップＳ３０２では、動的物体領域検出部１０３によって、ステップＳ３０１で取得したフレーム画像に対して画像認識処理を行い、動的物体領域の座標データを求める。検出処理においては、各動的物体領域に対して「物体らしさ」を表す信頼度が与えられるものとする。複数カテゴリの物体検出を行う方法は様々であるが、その一例として複数テンプレートを用いた照合手法に基づく方法について図４の説明として後述する。
【００２７】
ステップＳ３０３では、処理対象のフレーム画像に関する存在確率マップを初期化する。ここでは、物体カテゴリ判別部１０４で判別可能なカテゴリ数と同数の存在確率マップを作成する。
【００２８】
ステップＳ３０４からステップＳ３０７は、動的物体領域検出部１０３で検出された全ての領域に対する繰り返し処理である。
【００２９】
ステップＳ３０５では、物体カテゴリ判別部１０４によって、検出された物体のカテゴリを判定する。判定方法は、例えば、ステップＳ３０２で複数テンプレートを用いた照合手法を用いた場合は、対象物体と一致したテンプレートのカテゴリを出力すれば良い。
【００３０】
ステップＳ３０６では、ステップＳ３０５で判定されたカテゴリについての存在確率マップを更新する。本ステップでは、物体領域に対応する座標の値として、領域の信頼度に比例した値を設定する。すでに設定済みの場合は、大きい方の値を採用する。
【００３１】
ステップＳ３０８では、各カテゴリの単一フレームにおける存在確率マップを、存在確率蓄積部１０６に保存する。
【００３２】
ステップＳ３０９では、一定のタイムスパンにおける存在確率マップを存在確率蓄積部１０６から読み出し、カテゴリごとに集計する。集計方法としては、図２の説明で述べたとおり、最大値や平均値を用いる。
【００３３】
ステップＳ３１０は、ステップＳ３０９で求めた一定のタイムスパンにおける存在確率マップを、存在確率出力部１０９に出力する。
【００３４】
ステップＳ３１１は、映像入力部１０２において全てのフレーム画像の切り出しが終わっていれば、本処理フローを終了する。処理が済んでいないフレーム画像が残っていれば、ステップＳ３０１に戻り、次のフレーム画像を処理する。
【００３５】
以上、本発明の映像解析システムにおける、存在確率マップの生成処理について説明した。次に、図４を用いて、図３のステップＳ３０２における複数カテゴリの動的物体領域の検出方法の一例について説明する。以下で説明する手法は、複数テンプレートに対する照合手法に基づく物体検出手法である。
【００３６】
図４が表す方法では、予め、検出したい物体の典型的な画像（テンプレート）の画像特徴量を抽出し、テンプレートデータベースに保存しておく。画像特徴量は、色特徴や形状特徴など画像そのものが有する特徴を数値化したものであり、例えば固定長ベクトルデータで与えられる。
【００３７】
入力画像４０１が与えられると、まず、走査窓４０２の位置やサイズを機械的に変更して、物体の候補領域を抽出する。次に、全ての候補領域に対して、予め用意した複数のテンプレートの中から、特徴量ベクトル空間上での最近傍テンプレートを探索する。最近傍のテンプレートとのベクトル間距離が閾値以下であれば、物体であると判定して、候補領域を検出結果に加える。このとき、最近傍テンプレートとの距離を検出結果の信頼度として用いる事ができる。
【００３８】
図５のフローチャートを用いて、複数カテゴリの物体検出の一例の処理手順を説明する。
【００３９】
ステップＳ５０１は、入力画像から候補領域を抽出する。候補領域は、走査窓を一定ステップ毎に移動、サイズ変更することで、機械的に抽出される。全ての候補領域について、ステップＳ５０２〜ステップＳ５０６の処理を行う。
【００４０】
ステップＳ５０３では、候補領域の信頼度を算出する。信頼度の算出方法としては、図４で述べたように、複数テンプレートとの特徴量ベースの照合を用いる方法がある。処理手順については、図６のフローチャートで詳しく説明する。また、別の方法として、機械学習ベースの識別器を用いる方法も知られている。この場合は、システムが扱うカテゴリの数だけ識別器を用意する必要がある。
【００４１】
ステップＳ５０４では、ステップＳ５０３で求めた候補領域の信頼度が閾値以下であれば、ステップＳ５０５に移動し、それ以外はステップＳ５０５をスキップする。
【００４２】
ステップＳ５０５は、処理中の候補領域を検出結果リストに追加する。
【００４３】
全ての候補領域に対して、ステップＳ５０２〜ステップＳ５０６の処理が済んだ場合、ステップＳ５０７は検出結果リストを出力し、本処理フローを終了する。検出結果は、領域の座標情報（例えば、[矩形の左上隅の水平座標, 矩形の左上隅の垂直座標, 矩形の右下隅の水平座標, 矩形の右下隅の垂直座標]）と信頼度の組として出力される。
【００４４】
図６は、図５のステップＳ５０３における、候補領域の信頼度を算出する処理手順を表すフローチャートである。図６は、図４で説明した複数テンプレートとの照合手法に基づく信頼度算出方法である。
【００４５】
ステップＳ６０１では、最近傍テンプレートＴ＝null、最近傍テンプレートからの距離ｄ＝０、として状態を初期化する。
【００４６】
ステップＳ６０２では、候補領域の画像特徴量を抽出する。画像特徴量は、図４で述べたテンプレートデータベースと同様の方法で抽出する。
【００４７】
次に、テンプレートデータベースの全てのテンプレートに対して、ステップＳ６０３〜ステップＳ６０７の処理を行う。
【００４８】
ステップＳ６０４では、入力画像と処理対象のテンプレートT’との特徴量ベクトル間距離ｄ’を求める。
【００４９】
ステップＳ６０５では、ステップＳ６０５で求めた距離がｄより小さければステップＳ６０６に移動し、そうでなければ、ステップＳ６０６をスキップする。
【００５０】
ステップＳ６０６は、最近傍テンプレートＴを処理中のテンプレートＴ’に置き換え、最近傍テンプレートからの距離ｄをステップＳ６０４で求めたｄ’に置き換える。
【００５１】
データベース中の全てのテンプレートに対して処理が済んだ場合、ステップＳ６０１に移動する。
【００５２】
ステップＳ６０１では、候補領域の信頼度を出力する。信頼度は、例えば、最近傍テンプレートからの距離ｄの逆数１／ｄ（ｄ≠０）と定義できる。
【００５３】
以上、映像解析システム１００による、存在確率マップの生成手法について説明した。映像解析システム１００は、映像入力部１０２において、入力映像からフレーム画像を切り出し、動的物体領域検出部１０３と物体カテゴリ判別部１０４において、フレーム画像中の物体の位置、カテゴリ、検出の信頼度を算出する。これらの情報から、存在確率算出部１０５では、処理中のフレーム画像における存在確率マップをカテゴリ毎に生成する。また、存在確率蓄積部に保存された存在確率マップの時系列データを集計することで、一定のタイムスパンにおける存在確率マップを求める。これにより、映像中の特定の場所に特定カテゴリ物体が現れる可能性を求めることができる。
【実施例２】
【００５４】
以下では、存在確率マップを利用した物体検出の高速化について述べる。
【００５５】
図４〜図６で述べたように、画像中から複数カテゴリの物体を検出する場合、全ての候補領域に対して、全てのテンプレートとの照合処理を行う必要があり、処理負荷が非常に大きい。これは機械学習によるカテゴリ毎の識別器を用いて判別を行う場合でも同様である。
【００５６】
そこで、本発明では、存在確率マップを利用し、対象カテゴリが現れにくい領域については認識処理を省略することにより、物体検出の高速化を実現する。以下、図７と図８を用いて、処理手順を説明する。
【００５７】
図７は、存在確率マップを用いた物体検出の高速化を説明するための図である。
【００５８】
図７の例においては、あらかじめ映像解析装置１００を用いて、「車」カテゴリの存在確率マップ７０２と「人」カテゴリの存在確率マップ７０４が生成済みであるとする。
【００５９】
フレーム画像７０１が入力されると、「車」、「人」それぞれの存在確率マップをチェックし、存在確率の高い領域（７０３、７０５の太枠の内側）のみを、抽出手段によって抽出し、検出処理対象とする。また、「車」カテゴリの存在確率が高い領域については、「車」カテゴリのテンプレート７０７だけを使って、信頼度を求める。同様に「人」カテゴリの存在確率の高い領域については、「人」カテゴリのテンプレート７０８だけを使って、信頼度を求める。
【００６０】
機械学習による識別器を用いる場合も、判別に使用する識別器の数を減らす事ができるため、同様に処理を効率化することができる。
【００６１】
このように、候補領域の削減と信頼度計算の簡略化という２段階の効率化によって、検出処理全体が高速化される。検出対象のカテゴリが１種類だけの場合でも、前段の候補領域の削減によって高速な検出が可能である。
【００６２】
図８は、存在確率マップを用いた物体検出の高速化の処理手順を表すフローチャートである。図８は、図５の複数カテゴリの物体検出処理を高速化するものである。
【００６３】
Ｓ８０１〜Ｓ８０８は、カテゴリ毎の存在確率マップに対する処理である。
【００６４】
Ｓ８０２は、図５のステップＳ５０１と同様に、候補領域を抽出する処理であるが、存在確率の低い領域は無視される。ここで、存在確率の高い領域か低い領域かは、予め定められた閾値か、あるいはユーザが設定した値を基準とする。
【００６５】
Ｓ８０３〜Ｓ８０７は、Ｓ８０２で抽出された全ての候補領域に対する処理である。図５からの変化分はＳ８０４の信頼度算出に関する処理である。
【００６６】
Ｓ８０４では、対象カテゴリについての候補領域の信頼度を算出する。図５のＳ５０３が「物体らしさ」を求めるのに対して、Ｓ８０４では「特定のカテゴリの物体らしさ」を求める。図７の説明で述べたように、カテゴリを限定することによって、例えば、比較対象となるテンプレート数を削減できるため、判別処理を効率化することができる。
【００６７】
Ｓ８０５、Ｓ８０６、Ｓ８０９については、図５と同様の処理である。
【００６８】
以上、存在確率を用いた物体検出の高速化について説明した。過去に蓄積した存在確率マップを利用することで、新規に入力されたフレーム画像に対する画像処理の処理数を削減することができ、複数カテゴリの物体を効率的に検出することができる。
【実施例３】
【００６９】
存在確率マップの別の利用方法として、以下では図９と図１０を用いて異常シーン検知について述べる。実施例２では、存在確率の高い領域を利用していたが、ここでは逆に存在確率の低い領域を活用する。
【００７０】
図９は、存在確率マップを用いた異常シーン検知の説明のための図である。
【００７１】
図９の例において、「人」の存在確率マップ９０５が事前に生成済みであるとする。
【００７２】
フレーム画像９０１が入力されると、動的物体領域検出部１０３によって物体検出結果９０２のように、「人」カテゴリの物体９０３と９０４が検出される。ここで、抽出手段によって、存在確率マップ９０５において存在確率が閾値以下である領域を抽出しておく。次に、検出結果領域の存在確率マップ９０５上での領域９０６、９０７を求める。この例では、領域９０６は、存在確率の高い領域で検出されているが、領域９０７は存在確率の低い領域での検出結果となっている。ここで、存在確率の高い領域か低い領域かは、予め定められた閾値か、あるいはユーザが設定した値を基準とする。このような検出結果は、「滅多に起こらない事象」であり、異常シーンとして捉えることができる。実施例３では、異常シーンを検知すると、例えば、表示装置１１０に警告メッセージを表示する。
【００７３】
図１０は、存在確率マップを用いた異常シーン検出の処理手順を説明するためのフローチャートである。
【００７４】
ステップＳ１００１では、映像入力部１０２によって、入力映像からフレーム画像を取得する。
【００７５】
ステップＳ１００２では、動的物体領域検出部１０３によって、ステップＳ１００１で取得したフレーム画像中から、物体の領域を特定する。
【００７６】
ステップＳ１００３からステップＳ１００８は、ステップＳ１００２で検出された全ての物体領域に対する処理である。
【００７７】
ステップＳ１００４では、物体カテゴリ判別部１０４によって、検出された物体のカテゴリのカテゴリを判別する。
【００７８】
ステップＳ１００５では、ステップＳ１００４で判別したカテゴリの存在確率マップを、存在確率蓄積部１０６から読み出し、検出された領域の存在確率を求める。
【００７９】
ステップＳ１００６では、ステップＳ１００５で計算した、検出された領域における物体の存在確率が閾値以下である場合は、ステップＳ１００７に移動し、そうでなければステップＳ１００７をスキップする。ステップＳ１００６の判定処理は、以上のように、単純に領域の存在確率だけを用いてもよいし、それに加えてステップＳ１００２で得られる検出領域の信頼度を利用することもできる。例えば、領域の存在確率をｑとし、信頼度から求めた存在確率をｐとすると、ｐとｑの確率差の尺度Ｋ＝ｐ×Ｌｏｇ（ｐ／ｑ）＋（１−ｐ）×Ｌｏｇ（（１−ｐ）／（１−ｑ））を用いても良い。Ｋは、ｐとｑが異なる程、大きな値になるため、Ｋの値が大きいほど異常なシーンであると捉えることができる。
【００８０】
ステップＳ１００７では、異常シーンを検知したことをユーザに伝えるために、表示装置１１０に警告メッセージを表示する。
【００８１】
ステップＳ１００９では、映像に次のフレームが存在すれば、ステップＳ１００１に戻り処理を続行し、そうでなければ本処理を終了する。
【００８２】
以上、存在確率マップを利用した異常シーン検知について説明した。存在確率マップを用いることで、システムは入力映像から自動的に異常シーンを発見し、ユーザに警告を出すことができる。
【実施例４】
【００８３】
実施例２と実施例３は、存在確率マップをリアルタイムに利用した方法である。以下では、過去の蓄積映像に対して存在確率マップから得られる情報を関連付けて保存しておくことで、類似シーン検索を実現する方法について説明する。
【００８４】
図１１は、存在確率マップを用いた類似シーン検索を説明する図である。
【００８５】
類似シーン検索を行うためは、映像の特徴を表す数値データ（映像特徴量）を算出し、映像データベース１１０９に保存しておく必要がある。
【００８６】
図１１の例では、まず、蓄積映像１１０１に対して、実施例１の映像解析システム１００を用いて存在確率マップ１１０３、１１０４を導出する。
【００８７】
次に、存在確率マップを検索に利用可能な特徴量に変換する。特徴量は、例えば、存在確率マップ１１０３、１１０４をそれぞれ１１０６、１１０７のように格子状に分割し、各格子における存在確率の平均値を求め、それらを連結してベクトル化することで得られる。
【００８８】
図１１の例は、「車」「人」という２種類のカテゴリの存在確率マップを用いて特徴量を計算しているが、カテゴリが１種類の時や２種類以上の場合も、各カテゴリに対して同様の処理を適用することで、特徴量ベクトルを得ることができる。
【００８９】
得られた特徴量は、映像データを関連付けて、映像データベース１１０９に登録する。データベースの構造については、後述の図１２で改めて説明する。
【００９０】
検索を行う際は、クエリ映像１１１０にたいして、同様に存在確率マップの導出、存在確率マップの特徴量化を行う。
【００９１】
この結果、得られた特徴量を、データベースに保存された映像の特徴量と比較し、ベクトル間距離が小さい順に出力する。
【００９２】
図１２は、映像データベース１１０９の構成とデータ例を示す図である。ここではテーブル形式の構成例を示すが、データ形式は任意で良い。
【００９３】
データベースは、基本項目として、映像ＩＤフィールド１２０１、映像データフィールド１２０２、映像特徴量フィールド１２０３を有する。必要に応じて、他の書誌情報（映像の撮影場所、日時など）を追加しても良い。
【００９４】
映像ＩＤフィールド１２０１は、各映像の識別番号を保持する。映像データフィールド１２０２は、ユーザが検索結果の確認する際に再生される動画像データを保持する。映像特徴量フィールド１２０３は、存在確率マップから算出した映像特徴量を保持する。映像特徴量は、例えば、図１１のように、各カテゴリの存在確率マップを格子状に分割し、各領域の存在確率の平均値を数値化したものであり、固定長のベクトルデータで表される。
【００９５】
図１３は、類似シーンの検索を可能とする映像解析装置１００の全体構成図である。図１３は、図１の構成に映像データベース１１０９を接続したシステム構成であり、計算機１１１には特徴量算出部１３０１と検索結果出力部１３０２が追加される。
【００９６】
特徴量算出部１３０１は、存在確率算出部１０５で算出された存在確率マップから、映像特徴量を計算する。映像特徴量は、図１２で説明したように、固定長のベクトルデータとして出力される。
【００９７】
映像データベース１１０９は、映像登録時には、特徴量算出部１３０１で計算された映像特徴量と映像入力部１０２で入力された映像データを関連付けて格納する。また、類似シーン検索時には、特徴量算出部１３０１で抽出されたクエリ映像の特徴量とベクトル間距離の近いデータを探し、距離の小さい順に出力する。
【００９８】
検索結果出力部１３０２は、映像データベース１１０９から得られた検索結果を表示装置１１０に出力する。
【００９９】
図１４は、類似シーン検索のシーケンス図である。図１４の１４０１は、映像登録時のデータの流れであり、１４０２は、類似シーン検索時のデータの流れである。
【０１００】
映像登録時１４０１では、まず、映像入力装置１０１から入力された映像１４０３が計算機１１１に送られる。
【０１０１】
計算機１１１では、図３の処理フローに従い、存在確率マップの生成１４０４が行われる。続いて、特徴量算出部１３０１において、存在確率マップの特徴量化１４０５が行われる。最後に、特徴量と映像データの組１４０６を映像データベース１１０９に送る。
【０１０２】
映像データベース１１０９は、計算機１１１から送られてきた特徴量と映像データの組１４０６を関連付けて登録する（１４０７）。
【０１０３】
類似シーン検索時１４０２では、ユーザが操作情報入力部１０７から検索要求１４０９を計算機１１１に対して発行する。この時、映像入力装置１０１からクエリ映像１４０８が計算機１１１に送られる。
【０１０４】
計算機１１１では、登録時と同様に、存在確率マップの生成１４１０、特徴量化１４１１を行い、クエリ特徴量としてデータベース１１０９に送信する。
【０１０５】
データベース１１０９は、クエリ特徴量とベクトル間距離の近いデータを検索し（１４１３）、検索結果の類似映像リスト１４１４を計算機１１１に返す。
【０１０６】
計算機１１１では、類似映像リストを整形して表示データを構成し、表示装置１１０に送信する。
【０１０７】
表示装置１１０は、表示データ１４１５を検索結果としてユーザに提示する（１４１６）。
【０１０８】
以上、存在確率マップを利用した類似シーン検索について説明した。
【０１０９】
映像の「場」における物体の存在確率に着目した映像特徴量を用いることで、見た目の特徴量を用いただけでは得られない検索結果を取得する事ができ、多様なアプリケーションを実現可能である。
【０１１０】
例えば、路上カメラ映像において、交通事故の発生現場の映像データをクエリとすることで、人物や車の数に着目して、同様に事故の起きやすい場所や時間帯をさがすことができる。
【０１１１】
また、マーケティングへの応用として、店舗内の監視映像の検出対象を性別や年齢などに応じて詳細なカテゴリに分けることで、人流が類似する場所やレイアウトを発見することができる。
【０１１２】
例えば、図１５は本発明の類似シーン検索をマーケティングへ応用した際の表示画面例を表す図である。表示画面は、クエリ映像１５０１、検索条件入力フォーム１５０２、検索ボタン１５０３、検索結果表示領域１５０４から構成され、表示装置１１０に表示される。
【０１１３】
この例では、映像データベースには、映像データと特徴量の他に、撮影日時や販促活動の実施状況、販売数の推移などが保存されている。販促活動とは、例えば、商品に関するアナウンスや、デジタルサイネージへの商品情報や売り場情報の表示などである。
【０１１４】
ユーザは、入力装置１０１を用いて、クエリ映像１５０１と追加の検索条件（日時の範囲など）を指定し、検索ボタン１５０３をクリックする。映像解析装置１００は、クエリ映像から存在確率マップを生成し、それを元に計算した特徴量によって、データベースから類似シーンを検索する。またこの時、追加条件によって検索結果の絞り込みを行う。得られた検索結果を、映像と関連付けられた情報と合わせて表示装置１１０に送ることで、検索結果表示領域１５０４に類似店舗の情報が表示される。この結果を用いて、ユーザが効果的な販促活動を実施してもよいし、販売数の推移が好ましい店舗と同じ販促活動を自動的に実施してもよい。例えば、デジタルサイネージへの広告表示などは自動化が比較的容易であると考えられる。
【０１１５】
以上の説明では、固定カメラを前提として処理フローを述べてきたが、図３の説明においても触れたとおり、映像の座標と存在確率マップの座標との対応がとれていれば、広域の存在確率マップを生成することができる。以下では、広域の存在確率マップの生成方法と、その活用例について述べる。
【実施例５】
【０１１６】
図１６は、パン、チルト、ズーム（ＰＴＺ）が可能なカメラによって撮影された広域映像から広域の存在確率マップを生成する方法を説明する図である。
【０１１７】
映像入力装置１０１のカメラは、ＰＴＺを制御することで１６０１の範囲の映像を撮影可能である。ただし、最大にズームアウトした状態でも一度に１６０２の範囲しか撮影することができない。
【０１１８】
そこで、本発明の映像解析装置においては、カメラＰＴＺを制御し、広域映像を複数の部分領域映像（１６０２、１６０３、１６０４など）に分割し、各部分領域映像に対して一定時間映像を撮りため、存在確率マップを生成する。この結果得られた部分領域の存在確率マップを結合することで、広域の存在確率マップ１６０８を得る。
【０１１９】
図１７は、広域の存在確率マップの活用例として、カメラのPTZの自動制御を表した図である。
【０１２０】
上記の広域存在確率マップを、時間帯毎に集計することで、その時間に限定した存在確率を求める。１７０１、１７０２、１７０３は、それぞれ６時、１２時、１８時の時間帯に撮影した映像から得られた存在確率マップである。広域を撮影する場合には、時間帯毎に動的物体が映る可能性の高い領域が変わるため、その時間帯にあったＰＴＺ制御をすることで、有用な映像を重点的に記録することができる。図の例では、６時にはＡ、Ｂ、Ｃ、Ｄの領域に動的物体が多く存在するため、遷移図１７０４のようにＡ、Ｂ、Ｃ、Ｄを撮影するようにＰＴＺ制御のスケジューリングを行う。同様に、１２時には遷移図１７０５のようにＢ、Ｃ、Ｄ、Ｆ、Ｇ、Ｈを、１８時には遷移図１７０６のようにＦ、Ｇ、Ｈを優先的に撮影する。
【符号の説明】
【０１２１】
１００：映像解析装置、１０１：映像入力装置、１０２：映像入力部、１０３：動的物体領域検出部、１０４：物体カテゴリ判別部、１０５：存在確率算出部、１０６：存在確率蓄積部、１０７：操作情報入力装置、１０８：操作情報入力部、１０９：存在確率出力部、１１０：表示装置、１１１：計算機
【技術分野】
【０００１】
本発明は、映像中の動的物体の解析を行うための映像解析装置、システムに関するものである。
【背景技術】
【０００２】
映像監視システムにおいては、映像中の動的物体を検出し、検出された物体を解析・検索する機能が実用化されている。例えば、映像中から人物の顔領域を検出し、過去に蓄積された顔画像と照合することで、不審人物や重要人物が写った際にユーザに通知する、といった機能を備える映像監視システムが存在する。
【０００３】
検出対象の物体は、現在のところ人物の顔が最も一般的であるが、今後例えば、車両や種々の物品など多様な動的物体を検出・解析対象に入れることが望まれている。ここで、処理の軽減を図るために、解析処理効率の向上が必要とされている。
【０００４】
解析処理効率の向上に関して、例えば特許文献１には、物体の存在確率を利用して、物体領域を検出するための画像処理を実施する領域を限定する手段が示されている。特許文献１の手法は、焦点距離や解像度など、撮像系の静的な情報を利用して、画像処理を行う領域を決定するものであり、車載カメラのように撮影環境や撮影機器が限定された環境では有効である。
【０００５】
一方、画像照合以外でのシーン解析手法としては、特許文献２において、人物の動線をデータベースに保存しておくことで、特定の人物行動を表す条件データに該当する人物が現れたシーンを検索する方法について述べている。動線による検索は、ひとつの物体の動作に着目したシーン検索を行うのには有効である。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開2010-003254号
【特許文献２】特開2009-284167号
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、監視カメラのように、撮影状況や映像中の被写体の位置が事前に予測できない環境（非統制環境）において、特許文献１の手法を適用することはできない。
【０００８】
また、特許文献２では、不正行為等の特定の行為の検出には有効であるが、多様な動的物体が現れるシーンを高速に解析するものではない。
【課題を解決するための手段】
【０００９】
本発明に係る映像解析装置は、入力された映像のフレーム画像から、動的な物体が存在する領域を検出する動的物体領域検出部と、この検出された動的物体領域検出部で検出された物体のカテゴリを判別する物体カテゴリ判別部とを有し、この物体カテゴリ判別部で判別されたカテゴリ毎に、前記検出された動的物体領域（座標又は場）において物体が現れる確率を表す「存在確率マップ」を生成し、それを時系列データで保存することで、一定のタイムスパンにおける各カテゴリの存在確率マップを生成する。
【発明の効果】
【００１０】
上記構成により、映像空間における物体の存在確率マップを、物体のカテゴリ毎に求めることができる。その結果、存在確率マップを利用して、物体検出処理における画像認識処理の実施領域を限定することで、物体検出を高速化することが可能である。
【図面の簡単な説明】
【００１１】
【図１】本発明による映像解析システム１００の機能ブロック図である。
【図２】本発明による映像解析システム１００における存在確率マップの生成を説明するための図である。
【図３】本発明による映像解析システム１００における存在確率マップの生成処理手順を表すフローチャートである。
【図４】複数カテゴリの物体検出の一例を説明するための図である。
【図５】複数カテゴリの物体検出の一例の処理手順を表すフローチャートである。
【図６】物体検出の信頼度を算出する処理手順を表すフローチャートである。
【図７】存在確率マップを用いた物体検出の高速化を説明するための図である。
【図８】存在確率マップを用いた物体検出の高速化の処理手順を表すフローチャートである。
【図９】存在確率マップを用いた異常シーン検知を説明するための図である。
【図１０】存在確率マップを用いた異常シーン検知の処理手順を表すフローチャートである。
【図１１】存在確率マップを用いた類似シーン検索を説明するための図である。
【図１２】類似シーン検索用の映像データベースの構成とデータ例を示す図である。
【図１３】類似シーン検索システムの構成を示す図。
【図１４】類似シーン検索のシーケンスを示す図。
【図１５】マーケティングへの応用の実施例を説明する図。
【図１６】PTZカメラを用いた広域存在確率マップ生成の実施例を説明する図。
【図１７】時刻毎の広域存在確率マップを用いたカメラのPTZ制御の実施例を説明する図。
【発明を実施するための形態】
【００１２】
以下、図面を参照して、本発明の好適な実施例について詳細に説明する。
【実施例１】
【００１３】
図１は、映像解析システム１００の全体構成図の一例である。映像解析システム１００は、映像入力装置１０１、操作情報入力装置１０７、表示装置１１０、計算機１１１から構成される。計算機１１１は、映像入力部１０２、動的物体領域検出部１０３、物体カテゴリ判別部１０４、存在確率算出部１０５、存在確率蓄積部１０６、操作情報入力部１０８、存在確率出力部１０９、を備え、汎用のコンピュータ上に実装可能である。映像入力装置１０１は、映像再生機器やカメラなど、外部映像をシステムに取り込むための入力インタフェースである。
【００１４】
映像入力部１０２は、映像入力装置１０１から映像データを受け取り、フレーム画像（静止画像）に変換し、動的物体領域検出部１０３に出力する。
【００１５】
動的物体領域検出部１０３は、映像入力部１０２からフレーム画像を受け取り、画像認識処理によってフレーム画像中で動的物体が映っている領域の座標を特定する。なお、動的物体とは、それ自身で移動可能な物体を意味するもので、動物や車、自転車等が挙げられる。本実施例において動的物体領域検出部１０３では、複数の種類（カテゴリ）の物体を検出できるものとする。動的物体領域検出部１０３は、検出した物体領域の座標情報と検出結果の信頼度を出力する。例えば、物体領域は矩形データとして導出され、座標情報は[矩形の左上隅の水平座標, 矩形の左上隅の垂直座標, 矩形の右下隅の水平座標, 矩形の右下隅の垂直座標]という形式で出力される。検出結果の信頼度は、矩形画像の「物体らしさ」を表す値である。
【００１６】
物体カテゴリ判別部１０４は、動的物体検出部１０３で検出された領域に映っている物体の意味論的カテゴリを特定する。カテゴリは、例えば、「人」や「車」などである。カテゴリの粒度に関しては、使用目的と判別精度に応じて自由に変更可能であり、例えば、「人」カテゴリをさらに分類し、「男性」、「女性」のように下位カテゴリを出力しても良い。
【００１７】
存在確率算出部１０５は、カテゴリ毎に存在確率マップを生成する。存在確率算出部１０５は、まず、動的物体検出部１０３で検出された矩形データと信頼度、および物体カテゴリ判別部１０４で求められたカテゴリを用いて、単一フレームの存在確率マップを導出する。存在確率マップはカメラ映像のXY座標に対応するテーブル状のデータ構造であり、各座標における存在確率は、例えば、単純に検出領域の信頼度を元に算出される。単一フレームの存在確率マップは、存在確率蓄積部１０６に、時系列データとして格納される。次に、存在確率蓄積部１０６から一定のタイムスパンの存在確率マップを読み出し集計することで、そのタイムスパンにおける存在確率マップを生成し、存在確率出力部１０９に出力する。
【００１８】
存在確率蓄積部１０６は、存在確率算出部１０５で計算されたカテゴリ毎の存在確率マップを時系列データとして保存する。
【００１９】
操作情報入力装置１０７は、マウスやキーボード、タッチデバイスなど、ユーザの操作をシステムに伝えるための入力インタフェースである。
【００２０】
操作情報入力部１０８は、操作情報入力装置１０７から入力されたユーザの操作情報を、存在確率算出部１０５に伝える。例えば、存在確率蓄積部１０６で保持されている存在確率を初期化したり、存在確率を蓄積するタイムスパンを指定したりするための指示をシステムに伝える。
【００２１】
存在確率出力部１０９は、存在確率算出部１０５で算出された存在確率マップのデータを解析結果として表示装置１１０に出力する。
【００２２】
表示装置１１０は、液晶ディスプレイやＣＲＴなどの出力インタフェースであり、存在確率出力部１０９から受け取った解析結果を画面表示する。
【００２３】
図２は、存在確率算出部１０５が、存在確率マップを生成する様子を示す図であり、左から右への時系列での処理を表す。２０１、２０２、２０３は、映像入力部１０２で抽出されたフレーム画像である。画像中の太枠の矩形は、動的物体領域検出部１０３で検出された物体の領域を表す。フレーム画像２０１では、「車」と「人」という２種類のカテゴリの物体が検出されている。この結果を元に、それぞれ存在確率マップ２０４、２０７を算出する。存在確率マップの各座標の値は、該当する物体領域の信頼度に比例した値とする。次のフレーム画像２０２についても同様に存在確率マップを求め、フレーム画像２０１で生成した存在確率マップと合わせて集計する。集計方法は、例えば、時系列データにおける各座標の信頼度の最大値または平均値を用いる方法がある。この結果、２０５や２０８のような２フレームのタイムスパンにおける存在確率マップが生成される。以上の処理をフレーム画像２０３まで繰り返すことで、最終的に２０６や２０９のような存在確率マップが生成される。このように、データ自体は「点」である座標で管理し、更新時や利用時には、領域単位で「場」として管理する。
【００２４】
図３は、映像解析システム１００が存在確率マップを出力する処理を説明するフローチャートである。以下、図３の各ステップについて説明する。
【００２５】
ステップＳ３０１では、映像入力部１０２において、入力画像からフレーム画像（静止画像）を取得する。フレーム画像は、一定の時間間隔で繰り返し取得される。ここで、入力映像は必ずしも固定カメラからの映像である必要はなく、映像の座標と存在確率マップの座標との対応がとれていれば、自由視点カメラを用いても良い。以下では、簡略のために、固定カメラを用いた場合について説明する。
【００２６】
ステップＳ３０２では、動的物体領域検出部１０３によって、ステップＳ３０１で取得したフレーム画像に対して画像認識処理を行い、動的物体領域の座標データを求める。検出処理においては、各動的物体領域に対して「物体らしさ」を表す信頼度が与えられるものとする。複数カテゴリの物体検出を行う方法は様々であるが、その一例として複数テンプレートを用いた照合手法に基づく方法について図４の説明として後述する。
【００２７】
ステップＳ３０３では、処理対象のフレーム画像に関する存在確率マップを初期化する。ここでは、物体カテゴリ判別部１０４で判別可能なカテゴリ数と同数の存在確率マップを作成する。
【００２８】
ステップＳ３０４からステップＳ３０７は、動的物体領域検出部１０３で検出された全ての領域に対する繰り返し処理である。
【００２９】
ステップＳ３０５では、物体カテゴリ判別部１０４によって、検出された物体のカテゴリを判定する。判定方法は、例えば、ステップＳ３０２で複数テンプレートを用いた照合手法を用いた場合は、対象物体と一致したテンプレートのカテゴリを出力すれば良い。
【００３０】
ステップＳ３０６では、ステップＳ３０５で判定されたカテゴリについての存在確率マップを更新する。本ステップでは、物体領域に対応する座標の値として、領域の信頼度に比例した値を設定する。すでに設定済みの場合は、大きい方の値を採用する。
【００３１】
ステップＳ３０８では、各カテゴリの単一フレームにおける存在確率マップを、存在確率蓄積部１０６に保存する。
【００３２】
ステップＳ３０９では、一定のタイムスパンにおける存在確率マップを存在確率蓄積部１０６から読み出し、カテゴリごとに集計する。集計方法としては、図２の説明で述べたとおり、最大値や平均値を用いる。
【００３３】
ステップＳ３１０は、ステップＳ３０９で求めた一定のタイムスパンにおける存在確率マップを、存在確率出力部１０９に出力する。
【００３４】
ステップＳ３１１は、映像入力部１０２において全てのフレーム画像の切り出しが終わっていれば、本処理フローを終了する。処理が済んでいないフレーム画像が残っていれば、ステップＳ３０１に戻り、次のフレーム画像を処理する。
【００３５】
以上、本発明の映像解析システムにおける、存在確率マップの生成処理について説明した。次に、図４を用いて、図３のステップＳ３０２における複数カテゴリの動的物体領域の検出方法の一例について説明する。以下で説明する手法は、複数テンプレートに対する照合手法に基づく物体検出手法である。
【００３６】
図４が表す方法では、予め、検出したい物体の典型的な画像（テンプレート）の画像特徴量を抽出し、テンプレートデータベースに保存しておく。画像特徴量は、色特徴や形状特徴など画像そのものが有する特徴を数値化したものであり、例えば固定長ベクトルデータで与えられる。
【００３７】
入力画像４０１が与えられると、まず、走査窓４０２の位置やサイズを機械的に変更して、物体の候補領域を抽出する。次に、全ての候補領域に対して、予め用意した複数のテンプレートの中から、特徴量ベクトル空間上での最近傍テンプレートを探索する。最近傍のテンプレートとのベクトル間距離が閾値以下であれば、物体であると判定して、候補領域を検出結果に加える。このとき、最近傍テンプレートとの距離を検出結果の信頼度として用いる事ができる。
【００３８】
図５のフローチャートを用いて、複数カテゴリの物体検出の一例の処理手順を説明する。
【００３９】
ステップＳ５０１は、入力画像から候補領域を抽出する。候補領域は、走査窓を一定ステップ毎に移動、サイズ変更することで、機械的に抽出される。全ての候補領域について、ステップＳ５０２〜ステップＳ５０６の処理を行う。
【００４０】
ステップＳ５０３では、候補領域の信頼度を算出する。信頼度の算出方法としては、図４で述べたように、複数テンプレートとの特徴量ベースの照合を用いる方法がある。処理手順については、図６のフローチャートで詳しく説明する。また、別の方法として、機械学習ベースの識別器を用いる方法も知られている。この場合は、システムが扱うカテゴリの数だけ識別器を用意する必要がある。
【００４１】
ステップＳ５０４では、ステップＳ５０３で求めた候補領域の信頼度が閾値以下であれば、ステップＳ５０５に移動し、それ以外はステップＳ５０５をスキップする。
【００４２】
ステップＳ５０５は、処理中の候補領域を検出結果リストに追加する。
【００４３】
全ての候補領域に対して、ステップＳ５０２〜ステップＳ５０６の処理が済んだ場合、ステップＳ５０７は検出結果リストを出力し、本処理フローを終了する。検出結果は、領域の座標情報（例えば、[矩形の左上隅の水平座標, 矩形の左上隅の垂直座標, 矩形の右下隅の水平座標, 矩形の右下隅の垂直座標]）と信頼度の組として出力される。
【００４４】
図６は、図５のステップＳ５０３における、候補領域の信頼度を算出する処理手順を表すフローチャートである。図６は、図４で説明した複数テンプレートとの照合手法に基づく信頼度算出方法である。
【００４５】
ステップＳ６０１では、最近傍テンプレートＴ＝null、最近傍テンプレートからの距離ｄ＝０、として状態を初期化する。
【００４６】
ステップＳ６０２では、候補領域の画像特徴量を抽出する。画像特徴量は、図４で述べたテンプレートデータベースと同様の方法で抽出する。
【００４７】
次に、テンプレートデータベースの全てのテンプレートに対して、ステップＳ６０３〜ステップＳ６０７の処理を行う。
【００４８】
ステップＳ６０４では、入力画像と処理対象のテンプレートT’との特徴量ベクトル間距離ｄ’を求める。
【００４９】
ステップＳ６０５では、ステップＳ６０５で求めた距離がｄより小さければステップＳ６０６に移動し、そうでなければ、ステップＳ６０６をスキップする。
【００５０】
ステップＳ６０６は、最近傍テンプレートＴを処理中のテンプレートＴ’に置き換え、最近傍テンプレートからの距離ｄをステップＳ６０４で求めたｄ’に置き換える。
【００５１】
データベース中の全てのテンプレートに対して処理が済んだ場合、ステップＳ６０１に移動する。
【００５２】
ステップＳ６０１では、候補領域の信頼度を出力する。信頼度は、例えば、最近傍テンプレートからの距離ｄの逆数１／ｄ（ｄ≠０）と定義できる。
【００５３】
以上、映像解析システム１００による、存在確率マップの生成手法について説明した。映像解析システム１００は、映像入力部１０２において、入力映像からフレーム画像を切り出し、動的物体領域検出部１０３と物体カテゴリ判別部１０４において、フレーム画像中の物体の位置、カテゴリ、検出の信頼度を算出する。これらの情報から、存在確率算出部１０５では、処理中のフレーム画像における存在確率マップをカテゴリ毎に生成する。また、存在確率蓄積部に保存された存在確率マップの時系列データを集計することで、一定のタイムスパンにおける存在確率マップを求める。これにより、映像中の特定の場所に特定カテゴリ物体が現れる可能性を求めることができる。
【実施例２】
【００５４】
以下では、存在確率マップを利用した物体検出の高速化について述べる。
【００５５】
図４〜図６で述べたように、画像中から複数カテゴリの物体を検出する場合、全ての候補領域に対して、全てのテンプレートとの照合処理を行う必要があり、処理負荷が非常に大きい。これは機械学習によるカテゴリ毎の識別器を用いて判別を行う場合でも同様である。
【００５６】
そこで、本発明では、存在確率マップを利用し、対象カテゴリが現れにくい領域については認識処理を省略することにより、物体検出の高速化を実現する。以下、図７と図８を用いて、処理手順を説明する。
【００５７】
図７は、存在確率マップを用いた物体検出の高速化を説明するための図である。
【００５８】
図７の例においては、あらかじめ映像解析装置１００を用いて、「車」カテゴリの存在確率マップ７０２と「人」カテゴリの存在確率マップ７０４が生成済みであるとする。
【００５９】
フレーム画像７０１が入力されると、「車」、「人」それぞれの存在確率マップをチェックし、存在確率の高い領域（７０３、７０５の太枠の内側）のみを、抽出手段によって抽出し、検出処理対象とする。また、「車」カテゴリの存在確率が高い領域については、「車」カテゴリのテンプレート７０７だけを使って、信頼度を求める。同様に「人」カテゴリの存在確率の高い領域については、「人」カテゴリのテンプレート７０８だけを使って、信頼度を求める。
【００６０】
機械学習による識別器を用いる場合も、判別に使用する識別器の数を減らす事ができるため、同様に処理を効率化することができる。
【００６１】
このように、候補領域の削減と信頼度計算の簡略化という２段階の効率化によって、検出処理全体が高速化される。検出対象のカテゴリが１種類だけの場合でも、前段の候補領域の削減によって高速な検出が可能である。
【００６２】
図８は、存在確率マップを用いた物体検出の高速化の処理手順を表すフローチャートである。図８は、図５の複数カテゴリの物体検出処理を高速化するものである。
【００６３】
Ｓ８０１〜Ｓ８０８は、カテゴリ毎の存在確率マップに対する処理である。
【００６４】
Ｓ８０２は、図５のステップＳ５０１と同様に、候補領域を抽出する処理であるが、存在確率の低い領域は無視される。ここで、存在確率の高い領域か低い領域かは、予め定められた閾値か、あるいはユーザが設定した値を基準とする。
【００６５】
Ｓ８０３〜Ｓ８０７は、Ｓ８０２で抽出された全ての候補領域に対する処理である。図５からの変化分はＳ８０４の信頼度算出に関する処理である。
【００６６】
Ｓ８０４では、対象カテゴリについての候補領域の信頼度を算出する。図５のＳ５０３が「物体らしさ」を求めるのに対して、Ｓ８０４では「特定のカテゴリの物体らしさ」を求める。図７の説明で述べたように、カテゴリを限定することによって、例えば、比較対象となるテンプレート数を削減できるため、判別処理を効率化することができる。
【００６７】
Ｓ８０５、Ｓ８０６、Ｓ８０９については、図５と同様の処理である。
【００６８】
以上、存在確率を用いた物体検出の高速化について説明した。過去に蓄積した存在確率マップを利用することで、新規に入力されたフレーム画像に対する画像処理の処理数を削減することができ、複数カテゴリの物体を効率的に検出することができる。
【実施例３】
【００６９】
存在確率マップの別の利用方法として、以下では図９と図１０を用いて異常シーン検知について述べる。実施例２では、存在確率の高い領域を利用していたが、ここでは逆に存在確率の低い領域を活用する。
【００７０】
図９は、存在確率マップを用いた異常シーン検知の説明のための図である。
【００７１】
図９の例において、「人」の存在確率マップ９０５が事前に生成済みであるとする。
【００７２】
フレーム画像９０１が入力されると、動的物体領域検出部１０３によって物体検出結果９０２のように、「人」カテゴリの物体９０３と９０４が検出される。ここで、抽出手段によって、存在確率マップ９０５において存在確率が閾値以下である領域を抽出しておく。次に、検出結果領域の存在確率マップ９０５上での領域９０６、９０７を求める。この例では、領域９０６は、存在確率の高い領域で検出されているが、領域９０７は存在確率の低い領域での検出結果となっている。ここで、存在確率の高い領域か低い領域かは、予め定められた閾値か、あるいはユーザが設定した値を基準とする。このような検出結果は、「滅多に起こらない事象」であり、異常シーンとして捉えることができる。実施例３では、異常シーンを検知すると、例えば、表示装置１１０に警告メッセージを表示する。
【００７３】
図１０は、存在確率マップを用いた異常シーン検出の処理手順を説明するためのフローチャートである。
【００７４】
ステップＳ１００１では、映像入力部１０２によって、入力映像からフレーム画像を取得する。
【００７５】
ステップＳ１００２では、動的物体領域検出部１０３によって、ステップＳ１００１で取得したフレーム画像中から、物体の領域を特定する。
【００７６】
ステップＳ１００３からステップＳ１００８は、ステップＳ１００２で検出された全ての物体領域に対する処理である。
【００７７】
ステップＳ１００４では、物体カテゴリ判別部１０４によって、検出された物体のカテゴリのカテゴリを判別する。
【００７８】
ステップＳ１００５では、ステップＳ１００４で判別したカテゴリの存在確率マップを、存在確率蓄積部１０６から読み出し、検出された領域の存在確率を求める。
【００７９】
ステップＳ１００６では、ステップＳ１００５で計算した、検出された領域における物体の存在確率が閾値以下である場合は、ステップＳ１００７に移動し、そうでなければステップＳ１００７をスキップする。ステップＳ１００６の判定処理は、以上のように、単純に領域の存在確率だけを用いてもよいし、それに加えてステップＳ１００２で得られる検出領域の信頼度を利用することもできる。例えば、領域の存在確率をｑとし、信頼度から求めた存在確率をｐとすると、ｐとｑの確率差の尺度Ｋ＝ｐ×Ｌｏｇ（ｐ／ｑ）＋（１−ｐ）×Ｌｏｇ（（１−ｐ）／（１−ｑ））を用いても良い。Ｋは、ｐとｑが異なる程、大きな値になるため、Ｋの値が大きいほど異常なシーンであると捉えることができる。
【００８０】
ステップＳ１００７では、異常シーンを検知したことをユーザに伝えるために、表示装置１１０に警告メッセージを表示する。
【００８１】
ステップＳ１００９では、映像に次のフレームが存在すれば、ステップＳ１００１に戻り処理を続行し、そうでなければ本処理を終了する。
【００８２】
以上、存在確率マップを利用した異常シーン検知について説明した。存在確率マップを用いることで、システムは入力映像から自動的に異常シーンを発見し、ユーザに警告を出すことができる。
【実施例４】
【００８３】
実施例２と実施例３は、存在確率マップをリアルタイムに利用した方法である。以下では、過去の蓄積映像に対して存在確率マップから得られる情報を関連付けて保存しておくことで、類似シーン検索を実現する方法について説明する。
【００８４】
図１１は、存在確率マップを用いた類似シーン検索を説明する図である。
【００８５】
類似シーン検索を行うためは、映像の特徴を表す数値データ（映像特徴量）を算出し、映像データベース１１０９に保存しておく必要がある。
【００８６】
図１１の例では、まず、蓄積映像１１０１に対して、実施例１の映像解析システム１００を用いて存在確率マップ１１０３、１１０４を導出する。
【００８７】
次に、存在確率マップを検索に利用可能な特徴量に変換する。特徴量は、例えば、存在確率マップ１１０３、１１０４をそれぞれ１１０６、１１０７のように格子状に分割し、各格子における存在確率の平均値を求め、それらを連結してベクトル化することで得られる。
【００８８】
図１１の例は、「車」「人」という２種類のカテゴリの存在確率マップを用いて特徴量を計算しているが、カテゴリが１種類の時や２種類以上の場合も、各カテゴリに対して同様の処理を適用することで、特徴量ベクトルを得ることができる。
【００８９】
得られた特徴量は、映像データを関連付けて、映像データベース１１０９に登録する。データベースの構造については、後述の図１２で改めて説明する。
【００９０】
検索を行う際は、クエリ映像１１１０にたいして、同様に存在確率マップの導出、存在確率マップの特徴量化を行う。
【００９１】
この結果、得られた特徴量を、データベースに保存された映像の特徴量と比較し、ベクトル間距離が小さい順に出力する。
【００９２】
図１２は、映像データベース１１０９の構成とデータ例を示す図である。ここではテーブル形式の構成例を示すが、データ形式は任意で良い。
【００９３】
データベースは、基本項目として、映像ＩＤフィールド１２０１、映像データフィールド１２０２、映像特徴量フィールド１２０３を有する。必要に応じて、他の書誌情報（映像の撮影場所、日時など）を追加しても良い。
【００９４】
映像ＩＤフィールド１２０１は、各映像の識別番号を保持する。映像データフィールド１２０２は、ユーザが検索結果の確認する際に再生される動画像データを保持する。映像特徴量フィールド１２０３は、存在確率マップから算出した映像特徴量を保持する。映像特徴量は、例えば、図１１のように、各カテゴリの存在確率マップを格子状に分割し、各領域の存在確率の平均値を数値化したものであり、固定長のベクトルデータで表される。
【００９５】
図１３は、類似シーンの検索を可能とする映像解析装置１００の全体構成図である。図１３は、図１の構成に映像データベース１１０９を接続したシステム構成であり、計算機１１１には特徴量算出部１３０１と検索結果出力部１３０２が追加される。
【００９６】
特徴量算出部１３０１は、存在確率算出部１０５で算出された存在確率マップから、映像特徴量を計算する。映像特徴量は、図１２で説明したように、固定長のベクトルデータとして出力される。
【００９７】
映像データベース１１０９は、映像登録時には、特徴量算出部１３０１で計算された映像特徴量と映像入力部１０２で入力された映像データを関連付けて格納する。また、類似シーン検索時には、特徴量算出部１３０１で抽出されたクエリ映像の特徴量とベクトル間距離の近いデータを探し、距離の小さい順に出力する。
【００９８】
検索結果出力部１３０２は、映像データベース１１０９から得られた検索結果を表示装置１１０に出力する。
【００９９】
図１４は、類似シーン検索のシーケンス図である。図１４の１４０１は、映像登録時のデータの流れであり、１４０２は、類似シーン検索時のデータの流れである。
【０１００】
映像登録時１４０１では、まず、映像入力装置１０１から入力された映像１４０３が計算機１１１に送られる。
【０１０１】
計算機１１１では、図３の処理フローに従い、存在確率マップの生成１４０４が行われる。続いて、特徴量算出部１３０１において、存在確率マップの特徴量化１４０５が行われる。最後に、特徴量と映像データの組１４０６を映像データベース１１０９に送る。
【０１０２】
映像データベース１１０９は、計算機１１１から送られてきた特徴量と映像データの組１４０６を関連付けて登録する（１４０７）。
【０１０３】
類似シーン検索時１４０２では、ユーザが操作情報入力部１０７から検索要求１４０９を計算機１１１に対して発行する。この時、映像入力装置１０１からクエリ映像１４０８が計算機１１１に送られる。
【０１０４】
計算機１１１では、登録時と同様に、存在確率マップの生成１４１０、特徴量化１４１１を行い、クエリ特徴量としてデータベース１１０９に送信する。
【０１０５】
データベース１１０９は、クエリ特徴量とベクトル間距離の近いデータを検索し（１４１３）、検索結果の類似映像リスト１４１４を計算機１１１に返す。
【０１０６】
計算機１１１では、類似映像リストを整形して表示データを構成し、表示装置１１０に送信する。
【０１０７】
表示装置１１０は、表示データ１４１５を検索結果としてユーザに提示する（１４１６）。
【０１０８】
以上、存在確率マップを利用した類似シーン検索について説明した。
【０１０９】
映像の「場」における物体の存在確率に着目した映像特徴量を用いることで、見た目の特徴量を用いただけでは得られない検索結果を取得する事ができ、多様なアプリケーションを実現可能である。
【０１１０】
例えば、路上カメラ映像において、交通事故の発生現場の映像データをクエリとすることで、人物や車の数に着目して、同様に事故の起きやすい場所や時間帯をさがすことができる。
【０１１１】
また、マーケティングへの応用として、店舗内の監視映像の検出対象を性別や年齢などに応じて詳細なカテゴリに分けることで、人流が類似する場所やレイアウトを発見することができる。
【０１１２】
例えば、図１５は本発明の類似シーン検索をマーケティングへ応用した際の表示画面例を表す図である。表示画面は、クエリ映像１５０１、検索条件入力フォーム１５０２、検索ボタン１５０３、検索結果表示領域１５０４から構成され、表示装置１１０に表示される。
【０１１３】
この例では、映像データベースには、映像データと特徴量の他に、撮影日時や販促活動の実施状況、販売数の推移などが保存されている。販促活動とは、例えば、商品に関するアナウンスや、デジタルサイネージへの商品情報や売り場情報の表示などである。
【０１１４】
ユーザは、入力装置１０１を用いて、クエリ映像１５０１と追加の検索条件（日時の範囲など）を指定し、検索ボタン１５０３をクリックする。映像解析装置１００は、クエリ映像から存在確率マップを生成し、それを元に計算した特徴量によって、データベースから類似シーンを検索する。またこの時、追加条件によって検索結果の絞り込みを行う。得られた検索結果を、映像と関連付けられた情報と合わせて表示装置１１０に送ることで、検索結果表示領域１５０４に類似店舗の情報が表示される。この結果を用いて、ユーザが効果的な販促活動を実施してもよいし、販売数の推移が好ましい店舗と同じ販促活動を自動的に実施してもよい。例えば、デジタルサイネージへの広告表示などは自動化が比較的容易であると考えられる。
【０１１５】
以上の説明では、固定カメラを前提として処理フローを述べてきたが、図３の説明においても触れたとおり、映像の座標と存在確率マップの座標との対応がとれていれば、広域の存在確率マップを生成することができる。以下では、広域の存在確率マップの生成方法と、その活用例について述べる。
【実施例５】
【０１１６】
図１６は、パン、チルト、ズーム（ＰＴＺ）が可能なカメラによって撮影された広域映像から広域の存在確率マップを生成する方法を説明する図である。
【０１１７】
映像入力装置１０１のカメラは、ＰＴＺを制御することで１６０１の範囲の映像を撮影可能である。ただし、最大にズームアウトした状態でも一度に１６０２の範囲しか撮影することができない。
【０１１８】
そこで、本発明の映像解析装置においては、カメラＰＴＺを制御し、広域映像を複数の部分領域映像（１６０２、１６０３、１６０４など）に分割し、各部分領域映像に対して一定時間映像を撮りため、存在確率マップを生成する。この結果得られた部分領域の存在確率マップを結合することで、広域の存在確率マップ１６０８を得る。
【０１１９】
図１７は、広域の存在確率マップの活用例として、カメラのPTZの自動制御を表した図である。
【０１２０】
上記の広域存在確率マップを、時間帯毎に集計することで、その時間に限定した存在確率を求める。１７０１、１７０２、１７０３は、それぞれ６時、１２時、１８時の時間帯に撮影した映像から得られた存在確率マップである。広域を撮影する場合には、時間帯毎に動的物体が映る可能性の高い領域が変わるため、その時間帯にあったＰＴＺ制御をすることで、有用な映像を重点的に記録することができる。図の例では、６時にはＡ、Ｂ、Ｃ、Ｄの領域に動的物体が多く存在するため、遷移図１７０４のようにＡ、Ｂ、Ｃ、Ｄを撮影するようにＰＴＺ制御のスケジューリングを行う。同様に、１２時には遷移図１７０５のようにＢ、Ｃ、Ｄ、Ｆ、Ｇ、Ｈを、１８時には遷移図１７０６のようにＦ、Ｇ、Ｈを優先的に撮影する。
【符号の説明】
【０１２１】
１００：映像解析装置、１０１：映像入力装置、１０２：映像入力部、１０３：動的物体領域検出部、１０４：物体カテゴリ判別部、１０５：存在確率算出部、１０６：存在確率蓄積部、１０７：操作情報入力装置、１０８：操作情報入力部、１０９：存在確率出力部、１１０：表示装置、１１１：計算機
【特許請求の範囲】
【請求項１】
入力された映像のフレーム画像から、動的な物体が存在する領域を検出する動的物体領域検出部と、
前記動的物体領域検出部で検出された物体のカテゴリを判別する物体カテゴリ判別部と、
前記物体カテゴリ判別部で判別されたカテゴリ毎に、前記検出された動的物体領域において物体が現れる確率を表す存在確率マップを生成する存在確率算出部と、
前記存在確率マップを時系列データとして保存する存在確率蓄積部とを有し、
前記存在確率算出部では、前記存在確率蓄積部に保存された前記時系列データの前記存在確率マップから一定のタイムスパンにおけるカテゴリ毎の存在確率マップを生成し、
前記一定のタイムスパンにおけるカテゴリ毎の存在確率マップを出力する存在確率出力部と
を有することを特徴とする映像解析装置。
【請求項２】
更に、前記一定のタイムスパンにおけるカテゴリ毎の存在確率マップから、存在確率が閾値以上の領域を抽出する抽出手段を有し、
前記動的物体検出部は、前記存在確率が閾値以上の領域を対象に、前記動的な物体を検出する
ことを特徴とする請求項１記載の映像解析装置。
【請求項３】
更に、前記一定のタイムスパンにおけるカテゴリ毎の存在確率マップから、存在確率が閾値以下の領域を抽出する抽出手段を有し、
前記動的物体検出部にて、前記存在確率が閾値以下の領域に、前記動的な物体が検出された場合に、異常シーンとして検知する
ことを特徴とする請求項１記載の映像解析装置。
【請求項４】
前記入力される映像は、パン、チルト、ズームが可能なカメラによって撮影された広域映像であることを特徴とする請求項１記載の映像解析装置。
【請求項５】
前記存在確率マップは、時間帯毎に生成され、
前記時間帯毎に、存在確率が高い領域が撮影されるように、前記カメラのパン、チルト、ズームを制御する制御手段を有することを特徴とする請求項４記載の映像解析装置。
【請求項６】
入力された映像のフレーム画像から、動的な物体が存在する領域を検出する動的物体領域検出部と、
前記動的物体領域検出部で検出された物体のカテゴリを判別する物体カテゴリ判別部と、
前記物体カテゴリ判別部で判別されたカテゴリ毎に、前記検出された動的物体領域において物体が現れる確率を表す存在確率マップを生成する存在確率算出部と、
前記存在確率マップから、映像特徴量を算出する特徴量算出部と、
前記映像特徴量と前記入力された映像とを関連付けて格納する映像データベースとを有し、
クエリ映像と類似するシーンの検索要求を受け付けると、前記特徴量算出部で算出された前記クエリ映像の前記映像特徴量と類似する特徴量の映像を、前記映像データベースから検索し、類似映像として出力する
ことを特徴とする映像解析装置。
【請求項７】
映像入力装置と、
前記映像入力装置から入力された映像からフレーム画像を抽出する映像入力部と、
前記フレーム画像から、動的な物体が存在する領域を検出する動的物体領域検出部と、
前記動的物体領域検出部で検出された物体のカテゴリを判別する物体カテゴリ判別部と、
前記物体カテゴリ判別部で判別されたカテゴリ毎に、前記検出された動的物体領域において物体が現れる確率を表す存在確率マップを生成する存在確率算出部と、
前記存在確率マップを時系列データとして保存する存在確率蓄積部と、
前記存在確率算出部では、前記存在確率蓄積部に保存された前記時系列データの前記存在確率マップから一定のタイムスパンにおけるカテゴリ毎の存在確率マップを生成し、
前記一定のタイムスパンにおけるカテゴリ毎の存在確率マップを出力する存在確率出力部と、
前記出力された存在確率マップを表示する表示装置と
を有することを特徴とする映像解析システム。
【請求項１】
入力された映像のフレーム画像から、動的な物体が存在する領域を検出する動的物体領域検出部と、
前記動的物体領域検出部で検出された物体のカテゴリを判別する物体カテゴリ判別部と、
前記物体カテゴリ判別部で判別されたカテゴリ毎に、前記検出された動的物体領域において物体が現れる確率を表す存在確率マップを生成する存在確率算出部と、
前記存在確率マップを時系列データとして保存する存在確率蓄積部とを有し、
前記存在確率算出部では、前記存在確率蓄積部に保存された前記時系列データの前記存在確率マップから一定のタイムスパンにおけるカテゴリ毎の存在確率マップを生成し、
前記一定のタイムスパンにおけるカテゴリ毎の存在確率マップを出力する存在確率出力部と
を有することを特徴とする映像解析装置。
【請求項２】
更に、前記一定のタイムスパンにおけるカテゴリ毎の存在確率マップから、存在確率が閾値以上の領域を抽出する抽出手段を有し、
前記動的物体検出部は、前記存在確率が閾値以上の領域を対象に、前記動的な物体を検出する
ことを特徴とする請求項１記載の映像解析装置。
【請求項３】
更に、前記一定のタイムスパンにおけるカテゴリ毎の存在確率マップから、存在確率が閾値以下の領域を抽出する抽出手段を有し、
前記動的物体検出部にて、前記存在確率が閾値以下の領域に、前記動的な物体が検出された場合に、異常シーンとして検知する
ことを特徴とする請求項１記載の映像解析装置。
【請求項４】
前記入力される映像は、パン、チルト、ズームが可能なカメラによって撮影された広域映像であることを特徴とする請求項１記載の映像解析装置。
【請求項５】
前記存在確率マップは、時間帯毎に生成され、
前記時間帯毎に、存在確率が高い領域が撮影されるように、前記カメラのパン、チルト、ズームを制御する制御手段を有することを特徴とする請求項４記載の映像解析装置。
【請求項６】
入力された映像のフレーム画像から、動的な物体が存在する領域を検出する動的物体領域検出部と、
前記動的物体領域検出部で検出された物体のカテゴリを判別する物体カテゴリ判別部と、
前記物体カテゴリ判別部で判別されたカテゴリ毎に、前記検出された動的物体領域において物体が現れる確率を表す存在確率マップを生成する存在確率算出部と、
前記存在確率マップから、映像特徴量を算出する特徴量算出部と、
前記映像特徴量と前記入力された映像とを関連付けて格納する映像データベースとを有し、
クエリ映像と類似するシーンの検索要求を受け付けると、前記特徴量算出部で算出された前記クエリ映像の前記映像特徴量と類似する特徴量の映像を、前記映像データベースから検索し、類似映像として出力する
ことを特徴とする映像解析装置。
【請求項７】
映像入力装置と、
前記映像入力装置から入力された映像からフレーム画像を抽出する映像入力部と、
前記フレーム画像から、動的な物体が存在する領域を検出する動的物体領域検出部と、
前記動的物体領域検出部で検出された物体のカテゴリを判別する物体カテゴリ判別部と、
前記物体カテゴリ判別部で判別されたカテゴリ毎に、前記検出された動的物体領域において物体が現れる確率を表す存在確率マップを生成する存在確率算出部と、
前記存在確率マップを時系列データとして保存する存在確率蓄積部と、
前記存在確率算出部では、前記存在確率蓄積部に保存された前記時系列データの前記存在確率マップから一定のタイムスパンにおけるカテゴリ毎の存在確率マップを生成し、
前記一定のタイムスパンにおけるカテゴリ毎の存在確率マップを出力する存在確率出力部と、
前記出力された存在確率マップを表示する表示装置と
を有することを特徴とする映像解析システム。
【図１】
【図３】
【図４】
【図５】
【図６】
【図８】
【図１０】
【図１２】
【図１３】
【図１４】
【図２】
【図７】
【図９】
【図１１】
【図１５】
【図１６】
【図１７】
【図３】
【図４】
【図５】
【図６】
【図８】
【図１０】
【図１２】
【図１３】
【図１４】
【図２】
【図７】
【図９】
【図１１】
【図１５】
【図１６】
【図１７】
【公開番号】特開２０１３−９２９５５（Ｐ２０１３−９２９５５Ａ）
【公開日】平成２５年５月１６日（２０１３．５．１６）
【国際特許分類】
【出願番号】特願２０１１−２３５６０１（Ｐ２０１１−２３５６０１）
【出願日】平成２３年１０月２７日（２０１１．１０．２７）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
【公開日】平成２５年５月１６日（２０１３．５．１６）
【国際特許分類】
【出願日】平成２３年１０月２７日（２０１１．１０．２７）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
[ Back to top ]