空間における変化領域検出装置及び方法
【課題】測位センサーを用いなくても、空間における変化領域を精度良く検出すること。
【解決手段】変化領域検出装置１０は、入力画像（撮像画像）の特徴点の中から参照画像を決定するために用いる特徴点を選択する対応点探索用特徴点選択部１３と、入力画像の特徴点と参照画像の特徴点との中から幾何変換パラメータを算出するために用いる特徴点を選択する幾何変換パラメータ算出用特徴点選択部１８と、入力画像の特徴点と参照画像の特徴点との中から撮像画像と参照画像との類似度を求めるために用いる特徴点を選択する類似度算出用特徴点選択部２０と、を有する。
【解決手段】変化領域検出装置１０は、入力画像（撮像画像）の特徴点の中から参照画像を決定するために用いる特徴点を選択する対応点探索用特徴点選択部１３と、入力画像の特徴点と参照画像の特徴点との中から幾何変換パラメータを算出するために用いる特徴点を選択する幾何変換パラメータ算出用特徴点選択部１８と、入力画像の特徴点と参照画像の特徴点との中から撮像画像と参照画像との類似度を求めるために用いる特徴点を選択する類似度算出用特徴点選択部２０と、を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、移動可能なカメラで撮影した撮像画像から、空間内における変化領域を検出する装置及び方法に関する。
【背景技術】
【０００２】
近年、ウェアラブルカメラ等を用いて監視を行うシステムが実用化されている。この監視システムの一つとして、警備員に装着されたウェアラブルカメラの画像に基づいて、物品の持ち去り及び置き去りを検出するものがある。物品の持ち去り（例えば盗難に相当する）は、登録画像中に存在するが、撮像画像中に存在しない物品を検出することで実現される。一方、物品の置き去り（例えば爆弾などの危険物の設置に相当する）は、登録画像中には存在しないが、撮像画像中に存在する物品を検出することで実現される。
【０００３】
ところで、ウェアラブルカメラによる撮像画像は、当該ウェアラブルカメラの位置や向き等に応じて変化するので、どの空間を撮像しているかを示す情報（測位情報）が必要となる。つまり、ウェアラブルカメラには、ＧＰＳ、ジャイロセンサー、磁気方位センサーなどのセンサー類が搭載され、このセンサーによって撮像画像の属性情報としての測位情報が取得される。そして、登録画像の中から測位情報に対応する画像（以下この画像を参照画像と呼ぶ）が選択される。つまり測位情報によって撮像画像と同じ空間を撮影した参照画像が特定される。次に、参照画像と撮像画像とが比較されることにより、空間における変化領域が検出され、この検出結果に基づいて、上述した持ち去りや置き去り等が判定される。
【０００４】
このように、移動カメラで撮像した撮像画像と参照画像とを用いて、空間における変化領域を検出するためには、先ず、撮像画像と参照画像との位置合わせが必要となる。つまり、撮像画像に対応する参照画像を選択する必要がある。
【０００５】
この位置合わせの方法としては、
・上述したＧＰＳ等のセンサーを用いる方法
・画像のパターンマッチング等の画像処理を用いる方法
の２つが考えられる。
【０００６】
画像処理を用いた位置合わせについては、例えば特許文献１に記載された技術がある。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００３−２４２５０９号公報
【非特許文献】
【０００８】
【非特許文献１】D. Lowe, “Distinctive Image Features from Scale-Invariant Keypoiunts”, International Journal of Computer Vision, Vol.60, No.2, pp.91-110, 2004
【０００９】
【非特許文献２】N.Katayama and S.Satoh, “The SR-tree: An Index Structure for High-Dimensional Nearest Neighbor Queries”, Proceedings of the 1997 ACM SIGMOD International Conference on Management of Data, pp.369-380, 1997
【発明の概要】
【発明が解決しようとする課題】
【００１０】
ところが、特許文献１に記載された技術は、そもそも、撮像画像に参照画像に対して変化している変化領域が含まれるといった前提の下における、撮像画像と同一空間の参照画像を選択することを想定したものではない。つまり、特許文献１に代表されるような従来の画像処理においては、撮像画像の一部が参照画像から変化していることが考慮されていないので、参照画像と同一空間の参照画像をパターンマッチングによって選択しようとすると、的確な参照画像を選択できないおそれがある。特に、特許文献１に記載された技術は、局所的な特徴同士のパターンマッチングを行うものなので、撮像画像の変化領域の影響を受けやすく、その結果、誤った参照画像を選択してしまう可能性が高いと考えられる。つまり、局所的な特徴同士のパターンマッチングを行うと、撮像画像にあって参照画像にない物体や、その逆に参照画像にあって撮像画像にない物体が、パターンマッチングの結果に影響を与えるので、同一空間の参照画像を選択するには好ましくない。
【００１１】
的確な参照画像を選択できないと（つまり撮像画像と同一空間の参照画像を選択できないと）、当然、変化領域の検出精度も低下する。
【００１２】
一方、ＧＰＳ等の測位センサーは、使用可能な場所が限定される欠点がある。ＧＰＳの場合は屋外しか使用できない。ＧＰＳ以外にＵＷＢによる測位方法があるが、この場合には、施設内に受信機を設置する必要があるので、システムが複雑化する。いずれにしても、センサーを用いて撮像画像と参照画像との位置合わせを行う場合には、画像処理によって位置合わせを行う場合と比較して、使用可能な場所が限定される、及び又は、カメラ以外に複雑な構成が必要となる、といった欠点がある。
【００１３】
本発明はかかる点に鑑みてなされたものであり、測位センサーを用いなくても、空間における変化領域を精度良く検出できる検出装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【００１４】
本発明の変化領域検出装置の一つの態様は、撮像画像の特徴点を検出する特徴点検出部と、複数の登録画像を格納する登録画像データベースと、前記撮像画像の特徴点の中から、参照画像を決定するために用いる特徴点を選択する第１の特徴点選択部と、前記第１の特徴点選択部によって選択された特徴点と、前記登録データベースに格納された各登録画像の特徴点とを用いて、前記撮像画像と各登録画像とのマッチング判定を行うことにより、前記複数の登録画像の中で前記撮像画像に最もマッチング度合いの高い画像を参照画像として決定する参照画像判定部と、前記撮像画像の特徴点と前記参照画像の特徴点との中から、幾何変換パラメータを算出するために用いる特徴点を選択する第２の特徴点選択部と、前記第２の特徴点選択部によって選択された特徴点を用いて、幾何変換パラメータを算出する幾何変換パラメータ算出部と、前記撮像画像の特徴点と前記参照画像の特徴点との中から、前記撮像画像と前記参照画像との類似度を求めるために用いる特徴点を選択する第３の特徴点選択部と、前記第３の特徴点選択部によって選択された特徴点を、前記幾何変換パラメータ算出部によって算出された幾何変換パラメータを用いて幾何変換し、幾何変換後の、前記撮像画像の特徴点と前記参照画像の特徴点の類似度を算出する類似度算出部と、前記類似度算出部によって得られた類似度に基づいて、変化領域を判定する変化領域判定部と、を具備する。
【００１５】
本発明の変化領域検出方法の一つの態様は、撮像画像と参照画像との類似度を算出し、この類似度に基づいて前記撮像画像中の変化領域を検出する変化領域検出方法であって、前記撮像画像の特徴点の中から、前記参照画像を決定するために用いる特徴点を選択する第１の特徴点選択ステップと、前記撮像画像の特徴点と前記参照画像の特徴点との中から、幾何変換パラメータを算出するために用いる特徴点を選択する第２の特徴点選択ステップと、前記撮像画像の特徴点と前記参照画像の特徴点との中から、前記撮像画像と前記参照画像との類似度を求めるために用いる特徴点を選択する第３の特徴点選択ステップと、を含む。
【発明の効果】
【００１６】
本発明によれば、参照画像を決定するのに適した特徴点選択、幾何変換パラメータを算出するのに適した特徴点選択、類似度を算出するのに適した特徴点選択を、独立に行うことができるので、無駄な計算を行わずに、的確な参照画像、的確な幾何変換パラメータ、的確な類似度を求めることができる。この結果、少ない計算量で、変化領域を精度良く求めることができるようになる。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施の形態に係る変化領域検出装置の構成を示すブロック図
【図２】図２ＡはＳＲ−ｔｒｅｅのツリー構造を示す図、図２Ｂはリーフのデータ構造を示す図
【図３】対応点探索部の処理手順を示すフローチャート
【図４】登録画像データベースに格納された情報を示す図
【図５】参照画像判定部の処理手順を示すフローチャート
【図６Ａ】類似度算出部の処理手順を示すフローチャート
【図６Ｂ】類似度算出部の処理手順を示すフローチャート
【図７】変化領域検出装置の変化領域検出処理のイメージを示す図
【発明を実施するための形態】
【００１８】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００１９】
図１に、本発明の実施の形態に係る変化領域検出装置の構成を示す。変化領域検出装置１０は、特徴点検出部１１に撮像画像Ｓ１を入力する。撮像画像Ｓ１は、ウェアラブルカメラ等の移動可能なカメラで撮影した画像である。
【００２０】
特徴点検出部１１は、撮像画像Ｓ１の特徴点を検出する。ここで、特徴点は、例えば、ＳＩＦＴ（Scale-Invariant Feature Transform）で使われているような、異なる平滑化画像の差分から生成した複数のＤＯＧ（Difference of Gaussian）画像から極値となる点として検出すればよい。ＤＯＧによる特徴点抽出は、例えば非特許文献１に記載されている既知の技術なので、ここでの説明は省略する。特徴点検出部１１は、１枚の撮像画像から複数個の特徴点を検出する。検出された特徴点情報Ｓ２は、特徴量算出部１２に送出される。
【００２１】
特徴量算出部１２は、特徴点検出部１１にて検出された各特徴点について、特徴量Ｓ３を算出し、これを出力する。算出される特徴量は、例えば、ＳＩＦＴで使われているような、回転及びスケールが不変な特徴量であることが好ましい。本実施の形態の場合、特徴量は、特徴点の近傍の勾配情報（多次元ベクトル情報）である。
【００２２】
対応点探索用特徴点選択部１３は、特徴点検出部１１で検出された特徴点の中から対応点探索部１４で使用する特徴点を選択する。具体的には、対応点探索用特徴点選択部１３は、特徴点検出部１１で検出された特徴点のうち、特徴量算出部１２で算出された特徴量の空間において疎な特徴点だけを選択する。疎な特徴点とは、近傍に他の特徴点が存在しない特徴点である。なお、対応点探索用特徴点選択部１３によって選択される疎な特徴点とは、後述する類似度算出用特徴点選択部２０によって選択される特徴点よりも疎である、と言い換えてもよい。
【００２３】
このように疎な特徴点を選択することにより、入力画像（撮像画像）中に新規に出現した物体、または消滅した物体が存在する場合でも、的確な参照画像を選択できるようになる。つまり、疎な特徴点を選択することにより、入力画像の局所的な変化の影響を受け難くなり、その結果、誤った参照画像を選択してしまう可能性を低くできる。
【００２４】
対応点探索部１４は、入力画像のＮｆ個ある各特徴点について、特徴量間の距離が閾値以下となる登録画像の特徴点（対応点）を探索する。ここでの特徴量間の距離とは、ユークリッド距離のことである。本実施の形態の場合、登録画像を直接用いるのではなく、特徴量インデックス部に格納された特徴量インデックスに基づいて、対応点を探索するようになっている。これにより、登録画像を直接用いるよりも、効率的に対応点を探索できる。
【００２５】
特徴量インデックス部１５は、登録画像データベース１７に格納されている各登録画像がもつ全ての特徴点における特徴量を格納する。特徴量インデックス部１５は、対応点の探索を効率化するために、例えばＳＲ−ｔｒｅｅのようなインデックス構造をなしている。ＳＲ−ｔｒｅｅは、特許文献２等に記載された公知の技術なので、ここでの説明は省略する。
【００２６】
図２ＡにＳＲ−ｔｒｅｅのツリー構造を示し、図２Ｂにリーフのデータ構造を示す。図２Ｂに示したように、ＳＲ−ｔｒｅｅのリーフの各エントリには、特徴量に加えて、その特徴量を有する元の登録画像の識別番号（ＩＤ）も格納されている。
【００２７】
図３に、対応点探索部１４の処理手順を示す。対応点探索部１４は、撮像画像の１つの特徴点あたり、登録画像から複数個の対応点を探索する。例えば、撮像画像のｐ番目の特徴点に対する、登録画像の対応点の個数をＫｐ個とする。対応点探索部１４は、ステップＳＴ１１で、入力画像（参照画像）の特徴点を１つ選びその特徴量を取得する。ステップＳＴ１２では、最近傍探索によって、ステップＳＴ１１で取得した特徴量の最近傍Ｋｐ個の特徴点を登録画像の対応点として取得する。ステップＳＴ１３では、入力画像（撮像画像）の全ての特徴点についての対応点を探索したか否かを判断する。ステップＳＴ１３で否定結果を得ると（ステップＳＴ；ＮＯ）、ステップＳＴ１１−ＳＴ１２を繰り返すことで次の特徴点についての対応点を探索し、ステップＳＴ１３で肯定結果（ステップＳＴ；ＹＥＳ）を得ると、対応点探索処理を終了する。
【００２８】
なお、本実施の形態では、特徴量インデックス部１５を設けているが、登録画像から対応点を直接探索してもよい。
【００２９】
参照画像判定部１６は、対応点探索部１４からの対応点情報と、登録画像データベース１７からの登録画像情報とを用いて、対応点探索部１４にて探索した対応点に対して、この対応点を有する元の登録画像に１票を投票する。参照画像判定部１６は、この投票処理を、入力画像（参照画像）の全ての特徴点についてそれぞれ探索した全ての対応点に対して繰り返して行う。そして、参照画像判定部１６は、最も得票数が多かった登録画像を、入力画像に対する参照画像として決定する。
【００３０】
ここで、参照画像判定部１６は、対応点探索部１４にて計算した特徴量間の距離に応じた重みを付けて投票すると、より好ましい。このようにすると、対応点の確からしさが加味された得票結果が得られるので、参照画像として、より的確な登録画像が選択される。
【００３１】
登録画像データベース１７は、図４に示すように、登録画像のＩＤ、登録画像から検出した特徴点のＩＤ、特徴点の座標、および特徴点の特徴量を１レコードとして格納する。また、登録画像データベース１７は、登録画像１枚に対して、その登録画像から検出した複数の特徴点分の複数のレコードをもつ。
【００３２】
図５に、参照画像判定部１６の処理手順を示す。参照画像判定部１６は、ステップＳＴ２１で、対応点探索で取得した全ての対応点を探索結果リストに入れる。探索結果リストとは、対応点の特徴点ＩＤと、入力画像の特徴点と対応点の特徴量間の距離と、からなるリストである。ステップＳＴ２２では、探索結果リストから対応点を１つ取得する。ステップＳＴ２３では、登録画像データベース１７から対応点の元画像の画像ＩＤを取得する。
【００３３】
続くステップＳＴ２４では、参照画像候補リストに取得した画像ＩＤがあるか否かを判断する。参照画像候補リストとは、登録画像の画像ＩＤと、得票数と、からなるリストである。つまり、各登録画像の得票数のリストである。ステップＳＴ２４で肯定結果を得ると（ステップＳＴ２４；ＹＥＳ）、ステップＳＴ２５に移って、参照画像候補リストの該当画像ＩＤの得票数を加算する。一方、ステップＳＴ２４で否定結果を得ると（ステップＳＴ２４；ＮＯ）、ステップＳＴ２６に移って、参照画像候補リストに該当画像ＩＤを追加する。
【００３４】
ステップＳＴ２７では、探索結果リストに含まれ全ての特徴点について処理したかを判断する。ステップＳＴ２７で肯定結果を得ると（ステップＳＴ２７；ＹＥＳ）、ステップＳＴ２８に移って、参照画像候補リストにおいて最も得票数の多い登録画像を参照画像に決定する。一方、ステップＳＴ２７で否定結果を得ると（ステップＳＴ２７；ＮＯ）、ステップＳＴ２２に戻る。
【００３５】
幾何変換パラメータ算出用特徴点選択部１８は、幾何変換パラメータ算出部１９で使用する基準となる特徴点を選択する。具体的には、幾何変換パラメータ算出用特徴点選択部１８は、特徴点検出部１１で検出した入力画像の特徴点のうち、対応点探索部１４にて探索した参照画像の特徴点との特徴量距離が最小となる組み合わせから順に、一定数選択する。このとき、既に選択した特徴点に対して、座標空間で一定の距離より近い特徴点は選択しない。
【００３６】
換言すれば、幾何変換パラメータ算出用特徴点選択部１８は、入力画像の特徴点と参照画像の特徴点との間で、類似度が所定値以上の特徴点を選択する。これにより、入力画像と参照画像との対応の精度を高めることができる。また、幾何変換パラメータ算出用特徴点選択部１８は、入力画像の特徴点と参照画像の特徴点との間で、座標空間上の距離が所定値以上の特徴点を選択する。これにより、幾何変換の精度を高めることができる。
【００３７】
幾何変換パラメータ算出部１９は、入力画像から参照画像への幾何学的変化を表す幾何変換パラメータを算出する。本実施の形態では、幾何変換としてアフィン変換を行う場合について説明する。幾何変換パラメータ算出部１９は、入力画像の特徴点とそれに対応する参照画像の特徴点を双方の基準点として、このような基準点の組を複数用意して、最小二乗法により、アフィン変換パラメータを計算する。ここで、基準点の組は、幾何変換パラメータ算出用特徴点選択部１８で選択した特徴点とする。対応する参照画像の特徴点がない入力画像の特徴点は、基準点の組に入れない。少なくとも、基準点の組が３組以上あれば、最小二乗法によってアフィン変換パラメータを解くことができる。さらに、アフィン変換の逆変換も計算する。アフィン変換の逆変換とは、参照画像から入力画像への幾何変換である。
【００３８】
アフィン変換式は、次式で表される。
ｘ’＝ａｘ＋ｂｙ＋ｃ
ｙ’＝ｄｘ＋ｅｙ＋ｆ ………（式１）
但し、（ｘ，ｙ）は入力画像（撮像画像）の特徴点の座標を示し、（ｘ’，ｙ’）は参照画像の特徴点の座標を示す。
【００３９】
類似度算出用特徴点選択部２０は、類似度算出部２１で使用する入力画像及び参照画像それぞれの特徴点を選択する。具体的には、類似度算出用特徴点選択部２０は、入力画像の特徴点のうち、対応点探索にて探索した参照画像の特徴点との特徴量距離が一定の閾値より大きい特徴点は選択しない。換言すれば、入力画像の特徴点のうち、対応点探索にて探索した参照画像の特徴点との特徴量距離が一定の閾値以下の特徴点のみを、類似度算出部２１で使用する特徴点として選択する。また、類似度算出用特徴点選択部２０は、既に選択した座標空間で一定の距離より近い特徴点は選択しない。これにより、明らかに画像が変化していない領域の特徴点や、座標空間で必要以上に密集している特徴点を除外できるので、無駄な類似度計算を抑制できる。
【００４０】
類似度算出部２１は、入力画像と参照画像との間で、対応する特徴点同士の特徴量間の距離を計算し、これを類似度とする。具体的には、類似度算出部２１は、先ず、入力画像の特徴点を、幾何変換パラメータ算出部１９にて計算した変換パラメータによりアフィン変換する。次に、類似度算出部２１は、アフィン変換した入力画像の特徴点の座標近傍に存在する参照画像の特徴点を探し、それらの特徴点における特徴量間の距離を計算する。
逆に、類似度算出部２１は、参照画像からの特徴点を逆変換した座標の近傍に存在する入力画像の特徴点も探し、同様にそれらの特徴点における特徴量間の距離も計算する。
【００４１】
そして、類似度算出部２１は、入力画像の特徴点座標と、この特徴点に対応する参照画像の特徴点との特徴量距離と、からなる対応点リストを作成する。対応点リストでは、参照画像の特徴点に対応する入力画像の特徴点がなければ、参照画像からアフィン変換して計算した座標点が、入力画像の特徴点座標とされる。また、対応点リストでは、入力画像から参照画像、または参照画像から入力画像に対して、対応する特徴点がない場合、そのときの特徴量間距離は、十分大きな値（＝類似度が低い）とされる。
【００４２】
図６Ａ及び図６Ｂに、類似度算出部２１の処理手順を示す。類似度算出部２１は、ステップＳＴ３１で、入力画像から特徴点を１つ選ぶ。続くステップＳＴ３２では、特徴点が基準点ではないか判断する。ここでの基準点とは、幾何変換パラメータ算出部１９でのパラメータ算出で使用した基準点のことである。類似度算出部２１は、特徴点が基準点ではないと判断すると（ステップＳＴ３２；ＹＥＳ）、ステップＳＴ３３に移る。一方、類似度算出部２１は、特徴点が基準点であると判断すると（ステップＳＴ３２；ＮＯ）、ステップＳＴ４０に移る。
【００４３】
ステップＳＴ３３では、特徴点をアフィン変換した座標点を計算する。続くステップＳＴ３４では、アフィン変換した座標点が参照画像内に存在するか判断する。類似度算出部２１は、アフィン変換した座標点が参照画像内に存在すると判断すると（ステップＳＴ３４；ＹＥＳ）、ステップＳＴ３５に移る。一方、類似度算出部２１は、アフィン変換した座標点が参照画像内に存在しないと判断すると（ステップＳＴ３４；ＮＯ）、ステップＳＴ４０に移る。
【００４４】
ステップＳＴ３５では、アフィン変換した座標点に距離が最も近い、参照画像の特徴点を探す。続くステップＳＴ３６では、ステップＳＴ３５で探した参照画像の特徴点の座標と、アフィン変換した座標点と、の座標空間の距離が閾値以内か判断する。ここで閾値は、アフィン変換の誤差を加味した値に設定されている。つまり、ステップＳＴ３６で肯定結果が得られるということは（ステップＳＴ３６；ＹＥＳ）、アフィン変換した入力画像の特徴点に対応する登録画像の特徴点が存在することを意味し、このときステップＳＴ３７に移る。一方、ステップＳＴ３６で否定結果が得られるということは（ステップＳＴ３６；ＮＯ）、たとえアフィン変換の誤差を加味したとしても、アフィン変換した入力画像の特徴点に対応する登録画像の特徴点が存在しないことを意味し、このときステップＳＴ３９に移る。
【００４５】
ステップＳＴ３７では、アフィン変換した入力画像の特徴点と、その特徴点に対応する参照画像の特徴点との間での、特徴量間の距離を計算する。そして、ステップＳＴ３８では、特徴点の座標と、特徴量間の距離と、を対応点リストに追加する。
【００４６】
一方、ステップＳＴ３９では、特徴点の座標と、十分に大きな値の特徴量距離と、を対応点リストに追加する。ここで十分に大きな値の特徴量距離とは、後段の変化領域判定部２２によって変化領域と判定され得る値である。因みに、特徴量距離が大きいほど、類似度が低い。
【００４７】
続くステップＳＴ４０では、入力画像の全ての特徴点についての処理を完了したか判断し、完了した場合には（ステップＳＴ４０；ＹＥＳ）、ステップＳＴ４１に進む。一方、完了していない場合には（ステップＳＴ４０；ＮＯ）、ステップＳＴ３１に戻って、次の特徴点について同様の処理を繰り返す。
【００４８】
ここで、ステップＳＴ３１−ＳＴ４０の処理は、物品の置き去りのように、登録画像中には存在しないが、撮像画像中に存在する物品（つまり変化領域）を検出させるための処理に相当する。具体的には、このような変化領域に対しては、ステップＳＴ３９において、後段の変化領域判定部２２によって変化領域と判定され得る値の、大きな値の特徴量距離を設定する。
【００４９】
これに対して、以降に説明するステップＳＴ４１−ＳＴ５０の処理は、物品の持ち去りのように、登録画像中に存在するが、撮像画像中に存在しない物品（つまり変化領域）を検出させるための処理に相当する。
【００５０】
類似度算出部２１は、ステップＳＴ４１で、参照画像から特徴点を１つ選ぶ。続くステップＳＴ４２では、ステップＳＴ４１で選んだ特徴点が対応点リストに存在しないか判断する。類似度算出部２１は、特徴点が対応点リストに存在しないと判断すると（ステップＳＴ４２；ＹＥＳ）、ステップＳＴ４３に移る。一方、類似度算出部２１は、特徴点が対応点リストに存在すると判断すると（ステップＳＴ４２；ＮＯ）、ステップＳＴ５０に移る。
【００５１】
ステップＳＴ４３では、特徴点をアフィン変換した座標点を計算する。続くステップＳＴ４４では、アフィン変換した座標点が入力画像内に存在するか判断する。類似度算出部２１は、アフィン変換した座標点が入力画像内に存在すると判断すると（ステップＳＴ４４；ＹＥＳ）、ステップＳＴ４５に移る。一方、類似度算出部２１は、アフィン変換した座標点が入力画像内に存在しないと判断すると（ステップＳＴ４４；ＮＯ）、ステップＳＴ５０に移る。
【００５２】
ステップＳＴ４５では、アフィン変換した座標点に距離が最も近い、入力画像の特徴点を探す。続くステップＳＴ４６では、ステップＳＴ４５で探した入力画像の特徴点の座標と、アフィン変換した座標点と、の座標空間の距離が閾値以内か判断する。ここで閾値は、アフィン変換の誤差を加味した値に設定されている。つまり、ステップＳＴ４６で肯定結果が得られるということは（ステップＳＴ４６；ＹＥＳ）、アフィン変換した参照画像の特徴点に対応する入力画像の特徴点が存在することを意味し、このときステップＳＴ４７に移る。一方、ステップＳＴ４６で否定結果が得られるということは（ステップＳＴ４６；ＮＯ）、たとえアフィン変換の誤差を加味したとしても、アフィン変換した参照画像の特徴点に対応する入力画像の特徴点が存在しないことを意味し、このときステップＳＴ４９に移る。
【００５３】
ステップＳＴ４７では、アフィン変換した参照画像の特徴点と、その特徴点に対応する入力画像の特徴点との間での、特徴量間の距離を計算する。そして、ステップＳＴ４８では、特徴点の座標と、特徴量間の距離と、を対応点リストに追加する。
【００５４】
一方、ステップＳＴ４９では、アフィン変換した座標点を特徴点座標とし、特徴点の座標と、十分に大きな値の特徴量距離と、を対応点リストに追加する。ここで十分に大きな値の特徴量距離とは、後段の変化領域判定部２２によって変化領域と判定され得る値である。
【００５５】
続くステップＳＴ５０では、参照画像の全ての特徴点についての処理を完了したか判断し、完了していない場合には（ステップＳＴ５０；ＮＯ）、ステップＳＴ４１に戻って、次の特徴点について同様の処理を繰り返す。
【００５６】
このようにして、類似度算出部２１は対応点リストを作成する。この対応点リストは、入力画像と参照画像との間で、対応する特徴点が存在する場合には、比較的小さな値の特徴量間距離が書き込まれる。逆に、対応点リストは、入力画像と参照画像との間で、対応する特徴点が存在しない場合には、十分に大きな値の特徴量間距離が書き込まれる。特徴量間距離が小さいほど類似度は大きい。
【００５７】
変化領域判定部２２は、類似度算出部２１にて作成された対応点リストを基に、特徴量間距離が大きい（＝類似度が低い）特徴点が集まる局所領域を変化領域と判定する。具体的には、変化領域判定部２２は、入力画像を格子状に分割し、類似度算出部２１で計算された特徴量間距離が閾値以上の特徴点について、その特徴点が位置する格子領域に投票する。類似度算出部２１は、この投票処理を、全ての特徴点について繰り返し、得票数が閾値以上の格子領域を変化領域と判定する。
【００５８】
なお、ここでは、入力画像を格子状に分割し、格子領域への投票を行うことで変化領域を判定した場合について述べたが、これに限らず、例えば、特徴量間距離が閾値以上の特徴点が密集した領域を検出することで変化領域を検出してもよい。
【００５９】
図７に、本実施の形態の変化領域検出装置１０の変化領域検出処理のイメージを示す。
【００６０】
図７Ａ−１は入力画像（撮像画像）を示し、図７Ｂ−１は参照画像を示す。図７Ａ−２は入力画像における特徴点を示したものであり、図７Ｂ−２は参照画像における特徴点を示したものである。図７Ｂ−３は、参照画像中に特徴量間距離が大きい特徴点が存在する場合（つまり、入力画像には存在しない特徴点が参照画像に存在した場合）を示した図である。この場合、変化領域判定部２２によって、図７Ａ−３の太枠で示した領域が変化（異常）領域であると判定される。つまり、図の例では、書類が持ち去られている。
【００６１】
以上説明したように、本実施の形態によれば、入力画像（撮像画像）の特徴点の中から参照画像を決定するために用いる特徴点を選択する対応点探索用特徴点選択部１３と、入力画像の特徴点と参照画像の特徴点との中から幾何変換パラメータを算出するために用いる特徴点を選択する幾何変換パラメータ算出用特徴点選択部１８と、入力画像の特徴点と参照画像の特徴点との中から撮像画像と参照画像との類似度を求めるために用いる特徴点を選択する類似度算出用特徴点選択部２０と、を設け、各特徴点選択部１３、１８、２０によって、参照画像を決定するのに適した特徴点選択、幾何変換パラメータを算出するのに適した特徴点選択、類似度を算出するのに適した特徴点選択を、独立に行うようにした。これにより、無駄な計算を行わずに、的確な参照画像、的確な幾何変換パラメータ、的確な類似度を求めることができる。この結果、少ない計算量で、変化領域を精度良く求めることができるようになる。
【産業上の利用可能性】
【００６２】
本発明にかかる変化領域検出装置及び方法は、例えばウェアラブルカメラを用いた監視システムに適用して好適である。
【符号の説明】
【００６３】
１０ 変化領域検出装置
１１ 特徴点検出部
１２ 特徴量算出部
１３ 対応点探索用特徴点選択部
１４ 対応点探索部
１５ 特徴量インデックス部
１６ 参照画像判定部
１７ 登録画像データベース
１８ 幾何変換パラメータ算出用特徴点選択部
１９ 幾何変換パラメータ算出部
２０ 類似度算出用特徴点選択部
２１ 類似度算出部
２２ 変化領域判定部
【技術分野】
【０００１】
本発明は、移動可能なカメラで撮影した撮像画像から、空間内における変化領域を検出する装置及び方法に関する。
【背景技術】
【０００２】
近年、ウェアラブルカメラ等を用いて監視を行うシステムが実用化されている。この監視システムの一つとして、警備員に装着されたウェアラブルカメラの画像に基づいて、物品の持ち去り及び置き去りを検出するものがある。物品の持ち去り（例えば盗難に相当する）は、登録画像中に存在するが、撮像画像中に存在しない物品を検出することで実現される。一方、物品の置き去り（例えば爆弾などの危険物の設置に相当する）は、登録画像中には存在しないが、撮像画像中に存在する物品を検出することで実現される。
【０００３】
ところで、ウェアラブルカメラによる撮像画像は、当該ウェアラブルカメラの位置や向き等に応じて変化するので、どの空間を撮像しているかを示す情報（測位情報）が必要となる。つまり、ウェアラブルカメラには、ＧＰＳ、ジャイロセンサー、磁気方位センサーなどのセンサー類が搭載され、このセンサーによって撮像画像の属性情報としての測位情報が取得される。そして、登録画像の中から測位情報に対応する画像（以下この画像を参照画像と呼ぶ）が選択される。つまり測位情報によって撮像画像と同じ空間を撮影した参照画像が特定される。次に、参照画像と撮像画像とが比較されることにより、空間における変化領域が検出され、この検出結果に基づいて、上述した持ち去りや置き去り等が判定される。
【０００４】
このように、移動カメラで撮像した撮像画像と参照画像とを用いて、空間における変化領域を検出するためには、先ず、撮像画像と参照画像との位置合わせが必要となる。つまり、撮像画像に対応する参照画像を選択する必要がある。
【０００５】
この位置合わせの方法としては、
・上述したＧＰＳ等のセンサーを用いる方法
・画像のパターンマッチング等の画像処理を用いる方法
の２つが考えられる。
【０００６】
画像処理を用いた位置合わせについては、例えば特許文献１に記載された技術がある。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００３−２４２５０９号公報
【非特許文献】
【０００８】
【非特許文献１】D. Lowe, “Distinctive Image Features from Scale-Invariant Keypoiunts”, International Journal of Computer Vision, Vol.60, No.2, pp.91-110, 2004
【０００９】
【非特許文献２】N.Katayama and S.Satoh, “The SR-tree: An Index Structure for High-Dimensional Nearest Neighbor Queries”, Proceedings of the 1997 ACM SIGMOD International Conference on Management of Data, pp.369-380, 1997
【発明の概要】
【発明が解決しようとする課題】
【００１０】
ところが、特許文献１に記載された技術は、そもそも、撮像画像に参照画像に対して変化している変化領域が含まれるといった前提の下における、撮像画像と同一空間の参照画像を選択することを想定したものではない。つまり、特許文献１に代表されるような従来の画像処理においては、撮像画像の一部が参照画像から変化していることが考慮されていないので、参照画像と同一空間の参照画像をパターンマッチングによって選択しようとすると、的確な参照画像を選択できないおそれがある。特に、特許文献１に記載された技術は、局所的な特徴同士のパターンマッチングを行うものなので、撮像画像の変化領域の影響を受けやすく、その結果、誤った参照画像を選択してしまう可能性が高いと考えられる。つまり、局所的な特徴同士のパターンマッチングを行うと、撮像画像にあって参照画像にない物体や、その逆に参照画像にあって撮像画像にない物体が、パターンマッチングの結果に影響を与えるので、同一空間の参照画像を選択するには好ましくない。
【００１１】
的確な参照画像を選択できないと（つまり撮像画像と同一空間の参照画像を選択できないと）、当然、変化領域の検出精度も低下する。
【００１２】
一方、ＧＰＳ等の測位センサーは、使用可能な場所が限定される欠点がある。ＧＰＳの場合は屋外しか使用できない。ＧＰＳ以外にＵＷＢによる測位方法があるが、この場合には、施設内に受信機を設置する必要があるので、システムが複雑化する。いずれにしても、センサーを用いて撮像画像と参照画像との位置合わせを行う場合には、画像処理によって位置合わせを行う場合と比較して、使用可能な場所が限定される、及び又は、カメラ以外に複雑な構成が必要となる、といった欠点がある。
【００１３】
本発明はかかる点に鑑みてなされたものであり、測位センサーを用いなくても、空間における変化領域を精度良く検出できる検出装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【００１４】
本発明の変化領域検出装置の一つの態様は、撮像画像の特徴点を検出する特徴点検出部と、複数の登録画像を格納する登録画像データベースと、前記撮像画像の特徴点の中から、参照画像を決定するために用いる特徴点を選択する第１の特徴点選択部と、前記第１の特徴点選択部によって選択された特徴点と、前記登録データベースに格納された各登録画像の特徴点とを用いて、前記撮像画像と各登録画像とのマッチング判定を行うことにより、前記複数の登録画像の中で前記撮像画像に最もマッチング度合いの高い画像を参照画像として決定する参照画像判定部と、前記撮像画像の特徴点と前記参照画像の特徴点との中から、幾何変換パラメータを算出するために用いる特徴点を選択する第２の特徴点選択部と、前記第２の特徴点選択部によって選択された特徴点を用いて、幾何変換パラメータを算出する幾何変換パラメータ算出部と、前記撮像画像の特徴点と前記参照画像の特徴点との中から、前記撮像画像と前記参照画像との類似度を求めるために用いる特徴点を選択する第３の特徴点選択部と、前記第３の特徴点選択部によって選択された特徴点を、前記幾何変換パラメータ算出部によって算出された幾何変換パラメータを用いて幾何変換し、幾何変換後の、前記撮像画像の特徴点と前記参照画像の特徴点の類似度を算出する類似度算出部と、前記類似度算出部によって得られた類似度に基づいて、変化領域を判定する変化領域判定部と、を具備する。
【００１５】
本発明の変化領域検出方法の一つの態様は、撮像画像と参照画像との類似度を算出し、この類似度に基づいて前記撮像画像中の変化領域を検出する変化領域検出方法であって、前記撮像画像の特徴点の中から、前記参照画像を決定するために用いる特徴点を選択する第１の特徴点選択ステップと、前記撮像画像の特徴点と前記参照画像の特徴点との中から、幾何変換パラメータを算出するために用いる特徴点を選択する第２の特徴点選択ステップと、前記撮像画像の特徴点と前記参照画像の特徴点との中から、前記撮像画像と前記参照画像との類似度を求めるために用いる特徴点を選択する第３の特徴点選択ステップと、を含む。
【発明の効果】
【００１６】
本発明によれば、参照画像を決定するのに適した特徴点選択、幾何変換パラメータを算出するのに適した特徴点選択、類似度を算出するのに適した特徴点選択を、独立に行うことができるので、無駄な計算を行わずに、的確な参照画像、的確な幾何変換パラメータ、的確な類似度を求めることができる。この結果、少ない計算量で、変化領域を精度良く求めることができるようになる。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施の形態に係る変化領域検出装置の構成を示すブロック図
【図２】図２ＡはＳＲ−ｔｒｅｅのツリー構造を示す図、図２Ｂはリーフのデータ構造を示す図
【図３】対応点探索部の処理手順を示すフローチャート
【図４】登録画像データベースに格納された情報を示す図
【図５】参照画像判定部の処理手順を示すフローチャート
【図６Ａ】類似度算出部の処理手順を示すフローチャート
【図６Ｂ】類似度算出部の処理手順を示すフローチャート
【図７】変化領域検出装置の変化領域検出処理のイメージを示す図
【発明を実施するための形態】
【００１８】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００１９】
図１に、本発明の実施の形態に係る変化領域検出装置の構成を示す。変化領域検出装置１０は、特徴点検出部１１に撮像画像Ｓ１を入力する。撮像画像Ｓ１は、ウェアラブルカメラ等の移動可能なカメラで撮影した画像である。
【００２０】
特徴点検出部１１は、撮像画像Ｓ１の特徴点を検出する。ここで、特徴点は、例えば、ＳＩＦＴ（Scale-Invariant Feature Transform）で使われているような、異なる平滑化画像の差分から生成した複数のＤＯＧ（Difference of Gaussian）画像から極値となる点として検出すればよい。ＤＯＧによる特徴点抽出は、例えば非特許文献１に記載されている既知の技術なので、ここでの説明は省略する。特徴点検出部１１は、１枚の撮像画像から複数個の特徴点を検出する。検出された特徴点情報Ｓ２は、特徴量算出部１２に送出される。
【００２１】
特徴量算出部１２は、特徴点検出部１１にて検出された各特徴点について、特徴量Ｓ３を算出し、これを出力する。算出される特徴量は、例えば、ＳＩＦＴで使われているような、回転及びスケールが不変な特徴量であることが好ましい。本実施の形態の場合、特徴量は、特徴点の近傍の勾配情報（多次元ベクトル情報）である。
【００２２】
対応点探索用特徴点選択部１３は、特徴点検出部１１で検出された特徴点の中から対応点探索部１４で使用する特徴点を選択する。具体的には、対応点探索用特徴点選択部１３は、特徴点検出部１１で検出された特徴点のうち、特徴量算出部１２で算出された特徴量の空間において疎な特徴点だけを選択する。疎な特徴点とは、近傍に他の特徴点が存在しない特徴点である。なお、対応点探索用特徴点選択部１３によって選択される疎な特徴点とは、後述する類似度算出用特徴点選択部２０によって選択される特徴点よりも疎である、と言い換えてもよい。
【００２３】
このように疎な特徴点を選択することにより、入力画像（撮像画像）中に新規に出現した物体、または消滅した物体が存在する場合でも、的確な参照画像を選択できるようになる。つまり、疎な特徴点を選択することにより、入力画像の局所的な変化の影響を受け難くなり、その結果、誤った参照画像を選択してしまう可能性を低くできる。
【００２４】
対応点探索部１４は、入力画像のＮｆ個ある各特徴点について、特徴量間の距離が閾値以下となる登録画像の特徴点（対応点）を探索する。ここでの特徴量間の距離とは、ユークリッド距離のことである。本実施の形態の場合、登録画像を直接用いるのではなく、特徴量インデックス部に格納された特徴量インデックスに基づいて、対応点を探索するようになっている。これにより、登録画像を直接用いるよりも、効率的に対応点を探索できる。
【００２５】
特徴量インデックス部１５は、登録画像データベース１７に格納されている各登録画像がもつ全ての特徴点における特徴量を格納する。特徴量インデックス部１５は、対応点の探索を効率化するために、例えばＳＲ−ｔｒｅｅのようなインデックス構造をなしている。ＳＲ−ｔｒｅｅは、特許文献２等に記載された公知の技術なので、ここでの説明は省略する。
【００２６】
図２ＡにＳＲ−ｔｒｅｅのツリー構造を示し、図２Ｂにリーフのデータ構造を示す。図２Ｂに示したように、ＳＲ−ｔｒｅｅのリーフの各エントリには、特徴量に加えて、その特徴量を有する元の登録画像の識別番号（ＩＤ）も格納されている。
【００２７】
図３に、対応点探索部１４の処理手順を示す。対応点探索部１４は、撮像画像の１つの特徴点あたり、登録画像から複数個の対応点を探索する。例えば、撮像画像のｐ番目の特徴点に対する、登録画像の対応点の個数をＫｐ個とする。対応点探索部１４は、ステップＳＴ１１で、入力画像（参照画像）の特徴点を１つ選びその特徴量を取得する。ステップＳＴ１２では、最近傍探索によって、ステップＳＴ１１で取得した特徴量の最近傍Ｋｐ個の特徴点を登録画像の対応点として取得する。ステップＳＴ１３では、入力画像（撮像画像）の全ての特徴点についての対応点を探索したか否かを判断する。ステップＳＴ１３で否定結果を得ると（ステップＳＴ；ＮＯ）、ステップＳＴ１１−ＳＴ１２を繰り返すことで次の特徴点についての対応点を探索し、ステップＳＴ１３で肯定結果（ステップＳＴ；ＹＥＳ）を得ると、対応点探索処理を終了する。
【００２８】
なお、本実施の形態では、特徴量インデックス部１５を設けているが、登録画像から対応点を直接探索してもよい。
【００２９】
参照画像判定部１６は、対応点探索部１４からの対応点情報と、登録画像データベース１７からの登録画像情報とを用いて、対応点探索部１４にて探索した対応点に対して、この対応点を有する元の登録画像に１票を投票する。参照画像判定部１６は、この投票処理を、入力画像（参照画像）の全ての特徴点についてそれぞれ探索した全ての対応点に対して繰り返して行う。そして、参照画像判定部１６は、最も得票数が多かった登録画像を、入力画像に対する参照画像として決定する。
【００３０】
ここで、参照画像判定部１６は、対応点探索部１４にて計算した特徴量間の距離に応じた重みを付けて投票すると、より好ましい。このようにすると、対応点の確からしさが加味された得票結果が得られるので、参照画像として、より的確な登録画像が選択される。
【００３１】
登録画像データベース１７は、図４に示すように、登録画像のＩＤ、登録画像から検出した特徴点のＩＤ、特徴点の座標、および特徴点の特徴量を１レコードとして格納する。また、登録画像データベース１７は、登録画像１枚に対して、その登録画像から検出した複数の特徴点分の複数のレコードをもつ。
【００３２】
図５に、参照画像判定部１６の処理手順を示す。参照画像判定部１６は、ステップＳＴ２１で、対応点探索で取得した全ての対応点を探索結果リストに入れる。探索結果リストとは、対応点の特徴点ＩＤと、入力画像の特徴点と対応点の特徴量間の距離と、からなるリストである。ステップＳＴ２２では、探索結果リストから対応点を１つ取得する。ステップＳＴ２３では、登録画像データベース１７から対応点の元画像の画像ＩＤを取得する。
【００３３】
続くステップＳＴ２４では、参照画像候補リストに取得した画像ＩＤがあるか否かを判断する。参照画像候補リストとは、登録画像の画像ＩＤと、得票数と、からなるリストである。つまり、各登録画像の得票数のリストである。ステップＳＴ２４で肯定結果を得ると（ステップＳＴ２４；ＹＥＳ）、ステップＳＴ２５に移って、参照画像候補リストの該当画像ＩＤの得票数を加算する。一方、ステップＳＴ２４で否定結果を得ると（ステップＳＴ２４；ＮＯ）、ステップＳＴ２６に移って、参照画像候補リストに該当画像ＩＤを追加する。
【００３４】
ステップＳＴ２７では、探索結果リストに含まれ全ての特徴点について処理したかを判断する。ステップＳＴ２７で肯定結果を得ると（ステップＳＴ２７；ＹＥＳ）、ステップＳＴ２８に移って、参照画像候補リストにおいて最も得票数の多い登録画像を参照画像に決定する。一方、ステップＳＴ２７で否定結果を得ると（ステップＳＴ２７；ＮＯ）、ステップＳＴ２２に戻る。
【００３５】
幾何変換パラメータ算出用特徴点選択部１８は、幾何変換パラメータ算出部１９で使用する基準となる特徴点を選択する。具体的には、幾何変換パラメータ算出用特徴点選択部１８は、特徴点検出部１１で検出した入力画像の特徴点のうち、対応点探索部１４にて探索した参照画像の特徴点との特徴量距離が最小となる組み合わせから順に、一定数選択する。このとき、既に選択した特徴点に対して、座標空間で一定の距離より近い特徴点は選択しない。
【００３６】
換言すれば、幾何変換パラメータ算出用特徴点選択部１８は、入力画像の特徴点と参照画像の特徴点との間で、類似度が所定値以上の特徴点を選択する。これにより、入力画像と参照画像との対応の精度を高めることができる。また、幾何変換パラメータ算出用特徴点選択部１８は、入力画像の特徴点と参照画像の特徴点との間で、座標空間上の距離が所定値以上の特徴点を選択する。これにより、幾何変換の精度を高めることができる。
【００３７】
幾何変換パラメータ算出部１９は、入力画像から参照画像への幾何学的変化を表す幾何変換パラメータを算出する。本実施の形態では、幾何変換としてアフィン変換を行う場合について説明する。幾何変換パラメータ算出部１９は、入力画像の特徴点とそれに対応する参照画像の特徴点を双方の基準点として、このような基準点の組を複数用意して、最小二乗法により、アフィン変換パラメータを計算する。ここで、基準点の組は、幾何変換パラメータ算出用特徴点選択部１８で選択した特徴点とする。対応する参照画像の特徴点がない入力画像の特徴点は、基準点の組に入れない。少なくとも、基準点の組が３組以上あれば、最小二乗法によってアフィン変換パラメータを解くことができる。さらに、アフィン変換の逆変換も計算する。アフィン変換の逆変換とは、参照画像から入力画像への幾何変換である。
【００３８】
アフィン変換式は、次式で表される。
ｘ’＝ａｘ＋ｂｙ＋ｃ
ｙ’＝ｄｘ＋ｅｙ＋ｆ ………（式１）
但し、（ｘ，ｙ）は入力画像（撮像画像）の特徴点の座標を示し、（ｘ’，ｙ’）は参照画像の特徴点の座標を示す。
【００３９】
類似度算出用特徴点選択部２０は、類似度算出部２１で使用する入力画像及び参照画像それぞれの特徴点を選択する。具体的には、類似度算出用特徴点選択部２０は、入力画像の特徴点のうち、対応点探索にて探索した参照画像の特徴点との特徴量距離が一定の閾値より大きい特徴点は選択しない。換言すれば、入力画像の特徴点のうち、対応点探索にて探索した参照画像の特徴点との特徴量距離が一定の閾値以下の特徴点のみを、類似度算出部２１で使用する特徴点として選択する。また、類似度算出用特徴点選択部２０は、既に選択した座標空間で一定の距離より近い特徴点は選択しない。これにより、明らかに画像が変化していない領域の特徴点や、座標空間で必要以上に密集している特徴点を除外できるので、無駄な類似度計算を抑制できる。
【００４０】
類似度算出部２１は、入力画像と参照画像との間で、対応する特徴点同士の特徴量間の距離を計算し、これを類似度とする。具体的には、類似度算出部２１は、先ず、入力画像の特徴点を、幾何変換パラメータ算出部１９にて計算した変換パラメータによりアフィン変換する。次に、類似度算出部２１は、アフィン変換した入力画像の特徴点の座標近傍に存在する参照画像の特徴点を探し、それらの特徴点における特徴量間の距離を計算する。
逆に、類似度算出部２１は、参照画像からの特徴点を逆変換した座標の近傍に存在する入力画像の特徴点も探し、同様にそれらの特徴点における特徴量間の距離も計算する。
【００４１】
そして、類似度算出部２１は、入力画像の特徴点座標と、この特徴点に対応する参照画像の特徴点との特徴量距離と、からなる対応点リストを作成する。対応点リストでは、参照画像の特徴点に対応する入力画像の特徴点がなければ、参照画像からアフィン変換して計算した座標点が、入力画像の特徴点座標とされる。また、対応点リストでは、入力画像から参照画像、または参照画像から入力画像に対して、対応する特徴点がない場合、そのときの特徴量間距離は、十分大きな値（＝類似度が低い）とされる。
【００４２】
図６Ａ及び図６Ｂに、類似度算出部２１の処理手順を示す。類似度算出部２１は、ステップＳＴ３１で、入力画像から特徴点を１つ選ぶ。続くステップＳＴ３２では、特徴点が基準点ではないか判断する。ここでの基準点とは、幾何変換パラメータ算出部１９でのパラメータ算出で使用した基準点のことである。類似度算出部２１は、特徴点が基準点ではないと判断すると（ステップＳＴ３２；ＹＥＳ）、ステップＳＴ３３に移る。一方、類似度算出部２１は、特徴点が基準点であると判断すると（ステップＳＴ３２；ＮＯ）、ステップＳＴ４０に移る。
【００４３】
ステップＳＴ３３では、特徴点をアフィン変換した座標点を計算する。続くステップＳＴ３４では、アフィン変換した座標点が参照画像内に存在するか判断する。類似度算出部２１は、アフィン変換した座標点が参照画像内に存在すると判断すると（ステップＳＴ３４；ＹＥＳ）、ステップＳＴ３５に移る。一方、類似度算出部２１は、アフィン変換した座標点が参照画像内に存在しないと判断すると（ステップＳＴ３４；ＮＯ）、ステップＳＴ４０に移る。
【００４４】
ステップＳＴ３５では、アフィン変換した座標点に距離が最も近い、参照画像の特徴点を探す。続くステップＳＴ３６では、ステップＳＴ３５で探した参照画像の特徴点の座標と、アフィン変換した座標点と、の座標空間の距離が閾値以内か判断する。ここで閾値は、アフィン変換の誤差を加味した値に設定されている。つまり、ステップＳＴ３６で肯定結果が得られるということは（ステップＳＴ３６；ＹＥＳ）、アフィン変換した入力画像の特徴点に対応する登録画像の特徴点が存在することを意味し、このときステップＳＴ３７に移る。一方、ステップＳＴ３６で否定結果が得られるということは（ステップＳＴ３６；ＮＯ）、たとえアフィン変換の誤差を加味したとしても、アフィン変換した入力画像の特徴点に対応する登録画像の特徴点が存在しないことを意味し、このときステップＳＴ３９に移る。
【００４５】
ステップＳＴ３７では、アフィン変換した入力画像の特徴点と、その特徴点に対応する参照画像の特徴点との間での、特徴量間の距離を計算する。そして、ステップＳＴ３８では、特徴点の座標と、特徴量間の距離と、を対応点リストに追加する。
【００４６】
一方、ステップＳＴ３９では、特徴点の座標と、十分に大きな値の特徴量距離と、を対応点リストに追加する。ここで十分に大きな値の特徴量距離とは、後段の変化領域判定部２２によって変化領域と判定され得る値である。因みに、特徴量距離が大きいほど、類似度が低い。
【００４７】
続くステップＳＴ４０では、入力画像の全ての特徴点についての処理を完了したか判断し、完了した場合には（ステップＳＴ４０；ＹＥＳ）、ステップＳＴ４１に進む。一方、完了していない場合には（ステップＳＴ４０；ＮＯ）、ステップＳＴ３１に戻って、次の特徴点について同様の処理を繰り返す。
【００４８】
ここで、ステップＳＴ３１−ＳＴ４０の処理は、物品の置き去りのように、登録画像中には存在しないが、撮像画像中に存在する物品（つまり変化領域）を検出させるための処理に相当する。具体的には、このような変化領域に対しては、ステップＳＴ３９において、後段の変化領域判定部２２によって変化領域と判定され得る値の、大きな値の特徴量距離を設定する。
【００４９】
これに対して、以降に説明するステップＳＴ４１−ＳＴ５０の処理は、物品の持ち去りのように、登録画像中に存在するが、撮像画像中に存在しない物品（つまり変化領域）を検出させるための処理に相当する。
【００５０】
類似度算出部２１は、ステップＳＴ４１で、参照画像から特徴点を１つ選ぶ。続くステップＳＴ４２では、ステップＳＴ４１で選んだ特徴点が対応点リストに存在しないか判断する。類似度算出部２１は、特徴点が対応点リストに存在しないと判断すると（ステップＳＴ４２；ＹＥＳ）、ステップＳＴ４３に移る。一方、類似度算出部２１は、特徴点が対応点リストに存在すると判断すると（ステップＳＴ４２；ＮＯ）、ステップＳＴ５０に移る。
【００５１】
ステップＳＴ４３では、特徴点をアフィン変換した座標点を計算する。続くステップＳＴ４４では、アフィン変換した座標点が入力画像内に存在するか判断する。類似度算出部２１は、アフィン変換した座標点が入力画像内に存在すると判断すると（ステップＳＴ４４；ＹＥＳ）、ステップＳＴ４５に移る。一方、類似度算出部２１は、アフィン変換した座標点が入力画像内に存在しないと判断すると（ステップＳＴ４４；ＮＯ）、ステップＳＴ５０に移る。
【００５２】
ステップＳＴ４５では、アフィン変換した座標点に距離が最も近い、入力画像の特徴点を探す。続くステップＳＴ４６では、ステップＳＴ４５で探した入力画像の特徴点の座標と、アフィン変換した座標点と、の座標空間の距離が閾値以内か判断する。ここで閾値は、アフィン変換の誤差を加味した値に設定されている。つまり、ステップＳＴ４６で肯定結果が得られるということは（ステップＳＴ４６；ＹＥＳ）、アフィン変換した参照画像の特徴点に対応する入力画像の特徴点が存在することを意味し、このときステップＳＴ４７に移る。一方、ステップＳＴ４６で否定結果が得られるということは（ステップＳＴ４６；ＮＯ）、たとえアフィン変換の誤差を加味したとしても、アフィン変換した参照画像の特徴点に対応する入力画像の特徴点が存在しないことを意味し、このときステップＳＴ４９に移る。
【００５３】
ステップＳＴ４７では、アフィン変換した参照画像の特徴点と、その特徴点に対応する入力画像の特徴点との間での、特徴量間の距離を計算する。そして、ステップＳＴ４８では、特徴点の座標と、特徴量間の距離と、を対応点リストに追加する。
【００５４】
一方、ステップＳＴ４９では、アフィン変換した座標点を特徴点座標とし、特徴点の座標と、十分に大きな値の特徴量距離と、を対応点リストに追加する。ここで十分に大きな値の特徴量距離とは、後段の変化領域判定部２２によって変化領域と判定され得る値である。
【００５５】
続くステップＳＴ５０では、参照画像の全ての特徴点についての処理を完了したか判断し、完了していない場合には（ステップＳＴ５０；ＮＯ）、ステップＳＴ４１に戻って、次の特徴点について同様の処理を繰り返す。
【００５６】
このようにして、類似度算出部２１は対応点リストを作成する。この対応点リストは、入力画像と参照画像との間で、対応する特徴点が存在する場合には、比較的小さな値の特徴量間距離が書き込まれる。逆に、対応点リストは、入力画像と参照画像との間で、対応する特徴点が存在しない場合には、十分に大きな値の特徴量間距離が書き込まれる。特徴量間距離が小さいほど類似度は大きい。
【００５７】
変化領域判定部２２は、類似度算出部２１にて作成された対応点リストを基に、特徴量間距離が大きい（＝類似度が低い）特徴点が集まる局所領域を変化領域と判定する。具体的には、変化領域判定部２２は、入力画像を格子状に分割し、類似度算出部２１で計算された特徴量間距離が閾値以上の特徴点について、その特徴点が位置する格子領域に投票する。類似度算出部２１は、この投票処理を、全ての特徴点について繰り返し、得票数が閾値以上の格子領域を変化領域と判定する。
【００５８】
なお、ここでは、入力画像を格子状に分割し、格子領域への投票を行うことで変化領域を判定した場合について述べたが、これに限らず、例えば、特徴量間距離が閾値以上の特徴点が密集した領域を検出することで変化領域を検出してもよい。
【００５９】
図７に、本実施の形態の変化領域検出装置１０の変化領域検出処理のイメージを示す。
【００６０】
図７Ａ−１は入力画像（撮像画像）を示し、図７Ｂ−１は参照画像を示す。図７Ａ−２は入力画像における特徴点を示したものであり、図７Ｂ−２は参照画像における特徴点を示したものである。図７Ｂ−３は、参照画像中に特徴量間距離が大きい特徴点が存在する場合（つまり、入力画像には存在しない特徴点が参照画像に存在した場合）を示した図である。この場合、変化領域判定部２２によって、図７Ａ−３の太枠で示した領域が変化（異常）領域であると判定される。つまり、図の例では、書類が持ち去られている。
【００６１】
以上説明したように、本実施の形態によれば、入力画像（撮像画像）の特徴点の中から参照画像を決定するために用いる特徴点を選択する対応点探索用特徴点選択部１３と、入力画像の特徴点と参照画像の特徴点との中から幾何変換パラメータを算出するために用いる特徴点を選択する幾何変換パラメータ算出用特徴点選択部１８と、入力画像の特徴点と参照画像の特徴点との中から撮像画像と参照画像との類似度を求めるために用いる特徴点を選択する類似度算出用特徴点選択部２０と、を設け、各特徴点選択部１３、１８、２０によって、参照画像を決定するのに適した特徴点選択、幾何変換パラメータを算出するのに適した特徴点選択、類似度を算出するのに適した特徴点選択を、独立に行うようにした。これにより、無駄な計算を行わずに、的確な参照画像、的確な幾何変換パラメータ、的確な類似度を求めることができる。この結果、少ない計算量で、変化領域を精度良く求めることができるようになる。
【産業上の利用可能性】
【００６２】
本発明にかかる変化領域検出装置及び方法は、例えばウェアラブルカメラを用いた監視システムに適用して好適である。
【符号の説明】
【００６３】
１０ 変化領域検出装置
１１ 特徴点検出部
１２ 特徴量算出部
１３ 対応点探索用特徴点選択部
１４ 対応点探索部
１５ 特徴量インデックス部
１６ 参照画像判定部
１７ 登録画像データベース
１８ 幾何変換パラメータ算出用特徴点選択部
１９ 幾何変換パラメータ算出部
２０ 類似度算出用特徴点選択部
２１ 類似度算出部
２２ 変化領域判定部
【特許請求の範囲】
【請求項１】
撮像画像の特徴点を検出する特徴点検出部と、
複数の登録画像を格納する登録画像データベースと、
前記撮像画像の特徴点の中から、参照画像を決定するために用いる特徴点を選択する第１の特徴点選択部と、
前記第１の特徴点選択部によって選択された特徴点と、前記登録画像データベースに格納された各登録画像の特徴点とを用いて、前記撮像画像と各登録画像とのマッチング判定を行うことにより、前記複数の登録画像の中で前記撮像画像に最もマッチング度合いの高い画像を参照画像として決定する参照画像判定部と、
前記撮像画像の特徴点と前記参照画像の特徴点との中から、幾何変換パラメータを算出するために用いる特徴点を選択する第２の特徴点選択部と、
前記第２の特徴点選択部によって選択された特徴点を用いて、幾何変換パラメータを算出する幾何変換パラメータ算出部と、
前記撮像画像の特徴点と前記参照画像の特徴点との中から、前記撮像画像と前記参照画像との類似度を求めるために用いる特徴点を選択する第３の特徴点選択部と、
前記第３の特徴点選択部によって選択された特徴点を、前記幾何変換パラメータ算出部によって算出された幾何変換パラメータを用いて幾何変換し、幾何変換後の、前記撮像画像の特徴点と前記参照画像の特徴点の類似度を算出する類似度算出部と、
前記類似度算出部によって得られた類似度に基づいて、変化領域を判定する変化領域判定部と、
を具備する変化領域検出装置。
【請求項２】
前記第１の特徴点選択部によって選択される特徴点は、前記第３の特徴点選択部によって選択される特徴点よりも疎である、
請求項１に記載の変化領域検出装置。
【請求項３】
前記第２の特徴点選択部は、前記撮像画像の特徴点と前記参照画像の特徴点との間で、類似度が所定値以上の特徴点を選択する、
請求項１に記載の変化領域検出装置。
【請求項４】
前記第２の特徴点選択部は、前記撮像画像の特徴点と前記参照画像の特徴点との間で、座標空間上の距離が所定値以上の特徴点を選択する、
請求項１又は請求項３に記載の変化領域検出装置。
【請求項５】
前記第３の特徴点選択部は、前記撮像画像の特徴点と前記参照画像の特徴点との間で、類似度が所定値未満の特徴点を選択する、
請求項１に記載の変化領域検出装置。
【請求項６】
前記第３の特徴点選択部は、前記撮像画像の特徴点と前記参照画像の特徴点との間で、座標空間上の距離が所定値以上の特徴点を選択する、
請求項１又は請求項５に記載の変化領域検出装置。
【請求項７】
撮像画像と参照画像との類似度を算出し、この類似度に基づいて前記撮像画像中の変化領域を検出する変化領域検出方法であって、
前記撮像画像の特徴点の中から、前記参照画像を決定するために用いる特徴点を選択する第１の特徴点選択ステップと、
前記撮像画像の特徴点と前記参照画像の特徴点との中から、幾何変換パラメータを算出するために用いる特徴点を選択する第２の特徴点選択ステップと、
前記撮像画像の特徴点と前記参照画像の特徴点との中から、前記撮像画像と前記参照画像との類似度を求めるために用いる特徴点を選択する第３の特徴点選択ステップと、
を含む変化領域検出方法。
【請求項１】
撮像画像の特徴点を検出する特徴点検出部と、
複数の登録画像を格納する登録画像データベースと、
前記撮像画像の特徴点の中から、参照画像を決定するために用いる特徴点を選択する第１の特徴点選択部と、
前記第１の特徴点選択部によって選択された特徴点と、前記登録画像データベースに格納された各登録画像の特徴点とを用いて、前記撮像画像と各登録画像とのマッチング判定を行うことにより、前記複数の登録画像の中で前記撮像画像に最もマッチング度合いの高い画像を参照画像として決定する参照画像判定部と、
前記撮像画像の特徴点と前記参照画像の特徴点との中から、幾何変換パラメータを算出するために用いる特徴点を選択する第２の特徴点選択部と、
前記第２の特徴点選択部によって選択された特徴点を用いて、幾何変換パラメータを算出する幾何変換パラメータ算出部と、
前記撮像画像の特徴点と前記参照画像の特徴点との中から、前記撮像画像と前記参照画像との類似度を求めるために用いる特徴点を選択する第３の特徴点選択部と、
前記第３の特徴点選択部によって選択された特徴点を、前記幾何変換パラメータ算出部によって算出された幾何変換パラメータを用いて幾何変換し、幾何変換後の、前記撮像画像の特徴点と前記参照画像の特徴点の類似度を算出する類似度算出部と、
前記類似度算出部によって得られた類似度に基づいて、変化領域を判定する変化領域判定部と、
を具備する変化領域検出装置。
【請求項２】
前記第１の特徴点選択部によって選択される特徴点は、前記第３の特徴点選択部によって選択される特徴点よりも疎である、
請求項１に記載の変化領域検出装置。
【請求項３】
前記第２の特徴点選択部は、前記撮像画像の特徴点と前記参照画像の特徴点との間で、類似度が所定値以上の特徴点を選択する、
請求項１に記載の変化領域検出装置。
【請求項４】
前記第２の特徴点選択部は、前記撮像画像の特徴点と前記参照画像の特徴点との間で、座標空間上の距離が所定値以上の特徴点を選択する、
請求項１又は請求項３に記載の変化領域検出装置。
【請求項５】
前記第３の特徴点選択部は、前記撮像画像の特徴点と前記参照画像の特徴点との間で、類似度が所定値未満の特徴点を選択する、
請求項１に記載の変化領域検出装置。
【請求項６】
前記第３の特徴点選択部は、前記撮像画像の特徴点と前記参照画像の特徴点との間で、座標空間上の距離が所定値以上の特徴点を選択する、
請求項１又は請求項５に記載の変化領域検出装置。
【請求項７】
撮像画像と参照画像との類似度を算出し、この類似度に基づいて前記撮像画像中の変化領域を検出する変化領域検出方法であって、
前記撮像画像の特徴点の中から、前記参照画像を決定するために用いる特徴点を選択する第１の特徴点選択ステップと、
前記撮像画像の特徴点と前記参照画像の特徴点との中から、幾何変換パラメータを算出するために用いる特徴点を選択する第２の特徴点選択ステップと、
前記撮像画像の特徴点と前記参照画像の特徴点との中から、前記撮像画像と前記参照画像との類似度を求めるために用いる特徴点を選択する第３の特徴点選択ステップと、
を含む変化領域検出方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６Ａ】
【図６Ｂ】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６Ａ】
【図６Ｂ】
【図７】
【公開番号】特開２０１２−３３０２２（Ｐ２０１２−３３０２２Ａ）
【公開日】平成２４年２月１６日（２０１２．２．１６）
【国際特許分類】
【出願番号】特願２０１０−１７２３７９（Ｐ２０１０−１７２３７９）
【出願日】平成２２年７月３０日（２０１０．７．３０）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２４年２月１６日（２０１２．２．１６）
【国際特許分類】
【出願日】平成２２年７月３０日（２０１０．７．３０）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]