画像処理装置と画像処理方法およびプログラム
【課題】二画像間で同一オブジェクトの対応付けを行うために用いる特徴量を精度よく低処理コストで生成できるようにする。
【解決手段】特徴点検出処理部は、画像から特徴点を検出する。特徴量生成処理部は、検出した特徴点の位置を基準とした局所領域内における二画素の画素差分値を閾値と比較して、比較結果を示す二値化情報を特徴点に対応する特徴量の一成分として生成する。二画像間で特徴量が類似する特徴点の検出を行い、検出された特徴点の対応関係から同一オブジェクトの対応付けを行う。比較結果を示す二値化情報を特徴量の一成分として用いることで、二画像間で同一オブジェクトの対応付けを行うために用いる特徴量を精度よく低処理コストで生成できる。
【解決手段】特徴点検出処理部は、画像から特徴点を検出する。特徴量生成処理部は、検出した特徴点の位置を基準とした局所領域内における二画素の画素差分値を閾値と比較して、比較結果を示す二値化情報を特徴点に対応する特徴量の一成分として生成する。二画像間で特徴量が類似する特徴点の検出を行い、検出された特徴点の対応関係から同一オブジェクトの対応付けを行う。比較結果を示す二値化情報を特徴量の一成分として用いることで、二画像間で同一オブジェクトの対応付けを行うために用いる特徴量を精度よく低処理コストで生成できる。
【発明の詳細な説明】
【技術分野】
【０００１】
この技術は、画像処理装置と画像処理方法およびプログラムに関する。詳しくは、二画像間で同一オブジェクトの対応付けを精度よく低処理コストで行うことができるようにする。
【背景技術】
【０００２】
従来、画像中のオブジェクト検索、画像シーケンス中の移動オブジェクトの検出、複数画像の位置合わせなど様々な状況で、複数画像間でのオブジェクトの対応付けが必要となっている。
【０００３】
オブジェクトの対応付けの手法としては、ブロックマッチングと呼ばれる手法や、特徴点ベースの手法が用いられている。
【０００４】
ブロックマッチングでは、ある画像をブロックごとの領域に分割して、差分絶対値和（ＳＡＤ：Sum of Absolute Difference）や正規化相互相関（ＮＣＣ：Normalized Cross Correlation）が算出される。また、算出された差分絶対値和や正規化相互相関に基づき、それぞれのブロックと類似度の高い領域がもう一枚の画像中から探索される。この手法は、探索範囲内でブロック中心座標を少しずつずらしながら、ブロック領域の類似度を計算する必要があるため、計算コストが非常に高い。更に、対応付けが難しい領域も対応する位置を探す必要があるために処理効率も悪い。
【０００５】
特徴点ベースの手法は、初めに、画像中の物体や絵柄のコーナーなど対応付けのしやすい位置を特徴点として検出する。特徴点の検出手法は様々あるが、代表的なものとして、Ｈａｒｒｉｓコーナー検出器（非特許文献１参照）やＦＡＳＴ（非特許文献２参照）、ＤｏＧ（Difference of Gaussian）ｍａｘｉｍａ（非特許文献３参照）などを挙げることができる。次に、検出した特徴点について、もう一枚の画像の対応する特徴点を探索する。このように特徴点のみが探索対象となるため、非常に処理効率が高い。特徴点どうしの対応付け方法としては、特徴点を中心とした局所領域を画像のままＳＡＤやＮＣＣを用いて類似度を計算し、類似度の最も高い特徴点をその対応点とする。また、他の対応付け方法としては、特徴点を中心とした局所領域を記述する特徴量（特徴ベクトルとも呼ぶ）に置き換え、その特徴量どうしの類似度を計算し、類似度の最も高い特徴点をその対応点とする。この方法としては、ＳＩＦＴ（Scale Invariant Feature Transform，非特許文献３参照）やＳＵＲＦ（Speeded Up Robust Features，非特許文献４参照）等を挙げることができる。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】C. Harris, M.J. Stephens, "A combined corner and edge detector", In Alvey Vision Conference, pp. 147-152, 1988
【非特許文献２】Edward Rosten, Tom Drummond, "Machine learning for high-speed corner detection", European Conference on Computer Vision (ICCV), Vol. 1, pp. 430-443, 2006
【非特許文献３】David G. Lowe, "Distinctive Image Features from Scale-Invariant Keypoints", International Journal of Computer Vision (IJCV), Vol. 60, No. 2, pp. 91-110, 2004
【非特許文献４】Herbert Bay, Andreas Ess, Tinne Tuytelaars, Luc Van Gool, "SURF: Speeded Up Robust Features", Computer Vision and Image Understanding (CVIU), Vol. 110, No. 3, pp. 346-359, 2008
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、オブジェクトの対応付けを行う複数の画像では、シャッタースピードや絞りなどカメラパラメータが変化したり、環境光の明るさが変化したりすることで、同一オブジェクトの明るさが異なる場合を生じることがある。この場合、正規化処理によって明るさの違いによる影響を排除する手法が用いられていないと、明るさの違いによって対応付けの誤りを生じてしまうおそれがある。例えば、差分絶対値和（ＳＡＤ）のように正規化処理が行われない手法を用いた場合、類似度の高い領域でも明るさの違いによって差分絶対値和が増加してしまい、類似度の高い領域を正しく検出することができない。例えばパノラマ画像を生成するために撮像装置をスイングさせて複数枚の画像を撮像する場合について説明する。撮像装置をスイングさせて複数枚の画像を撮像する場合、順光状態から逆光状態、または逆光状態から順光状態に変化するのに応じて白飛び・黒つぶれが起きないようシャッタースピードを変化させたり、スイング中に太陽が雲に隠れることによって明るさが変化したりすると、同一オブジェクトの明るさが異なってしまう。このため、同一オブジェクトでも明るさの違いによって差分絶対値和が大きくなり、同一オブジェクトを正しく判別することができない。したがって、オブジェクトの画像で欠落部分や重複部分を生じないように正しく画像を繋ぎ合わせてパノラマ画像を生成することができない。
【０００８】
また、ＮＣＣを用いる、またはＳＩＦＴやＳＵＲＦで生成した特徴量（特徴ベクトル）をベクトルの長さで正規化して単位ベクトル化して用いるようにすれば、明るさの変化による影響を取り除いてオブジェクトの対応付けを行うことができる。しかし、正規化処理はルート演算・除算を行うため、処理コストが大きくなってしまう。また、特徴量の成分は特徴点毎に異なり、正規化計算の際の分母となる数の範囲は非常に広く、分母の逆数をテーブル化して乗算に置き換えようとしても、テーブル化に必要なメモリコストが大きくなり過ぎ現実的でない。
【０００９】
そこで、本技術の画像処理装置と画像処理方法およびプログラムでは、二画像間で同一オブジェクトの対応付けを行うために用いる特徴量を精度よく低処理コストで生成できる画像処理装置と画像処理方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
この技術の第１の側面は、画像から特徴点を検出する特徴点検出処理部と、前記検出した特徴点の位置を基準とした画像領域内における二画素の画素差分値を閾値と比較して、比較結果を示す二値化情報を前記特徴点に対応する特徴量の一成分として生成する特徴量生成処理部とを備える画像処理装置にある。
【００１１】
この技術においては、特徴点検出処理部によって、画像から特徴点が検出される。特徴量生成処理部では、検出した特徴点の位置を基準とした画像領域内における予め指定された二画素の画素差分値が閾値と比較される。例えば、隣接する二画素の画素差分値、特徴点の位置を中心とした円周状に位置する画素についての隣接する二画素の画素差分値、学習によって予め決定された二画素の画素差分値等が閾値「０」と比較される。さらに、比較結果を示す二値化情報が特徴量の一成分とされる。
【００１２】
また、第１の画像から検出された特徴点について、該特徴点に対応する特徴量と最も類似する特徴量が、第２の画像から検出された特徴点に対応する特徴量から探索されて、第１の画像から検出された特徴点に対応する第２の画像の特徴点が対応点として検出される。最も類似する特徴量の探索では、例えば第１の画像から検出された特徴点に対応する特徴量と第２の画像から検出された特徴点に対応する特徴量との排他的論理和演算が行われて、演算結果に基づいて最も類似する特徴量の探索が行われる。さらに、第１の画像から検出された特徴点と、この特徴点に対応する第２の画像の特徴点の対応関係から、第１の画像と第２の画像間で画像変換を行うための変換行列がロバスト推定によって算出される。
【００１３】
この技術の第２の側面は、画像から特徴点を検出する工程と、前記検出した特徴点の位置を基準とした画像領域内における二画素の画素差分値を閾値と比較して、比較結果を示す二値化情報を前記特徴点に対応する特徴量の一成分として生成する工程とを含む画像処理方法にある。
【００１４】
この技術の第３の側面は、画像から特徴点を検出する手順と、前記検出した特徴点の位置を基準とした画像領域内における二画素の画素差分値を閾値と比較して、比較結果を示す二値化情報を前記特徴点に対応する特徴量の一成分として生成する手順とをコンピュータで実行させるプログラムにある。
【００１５】
なお、本技術のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ上でプログラムに応じた処理が実現される。
【発明の効果】
【００１６】
この技術によれば、画像から特徴点が検出されて、この検出された特徴点の位置を基準とした画像領域内における二画素の画素差分値を閾値と比較して、比較結果を示す二値化情報が特徴点に対応する特徴量の一成分として生成される。このため、二画像間で同一オブジェクトの対応付けを行うための特徴量を精度よく低処理コストで生成できるようになる。
【図面の簡単な説明】
【００１７】
【図１】撮像装置の概略構成を示す図である。
【図２】画像処理部においてオブジェクトの対応付け処理を行う部分の構成を例示した図である。
【図３】矩形状の局所領域の各画素を用いて特徴量を生成する場合を示した図である。
【図４】矩形状の局所領域の各画素を用いて特徴量を生成する他の場合を示した図である。
【図５】特徴点を中心とした円とコーナーの関係を示す図である。
【図６】矩形状の局所領域から円周状に画素を用いて特徴量を生成する場合を示した図である。
【図７】矩形状の局所領域から多重の円周状に画素を用いて特徴量を生成する場合を示した図である。
【図８】学習によって指定された画素を用いて特徴量を生成する場合を示した図である。
【発明を実施するための形態】
【００１８】
以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．撮像装置の概略構成
２．画像処理部においてオブジェクトの対応付け処理を行う部分の構成
３．特徴量生成処理
【００１９】
＜１．撮像装置の概略構成＞
図１は、本技術の実施の形態における画像処理装置を用いた撮像装置の概略構成を示す図である。
【００２０】
撮像装置１０は、レンズユニット１１、撮像部１２、画像処理部２０、表示部３１、メモリ部３２、記録デバイス部３３、操作部３４、センサ部３５、制御部４０を有している。また、各部はバス４５を介して接続されている。
【００２１】
レンズユニット１１は、フォーカスレンズやズームレンズ、絞り機構等を有している。レンズユニット１１は、制御部４０からの指示に従いレンズを駆動して、被写体の光画像を撮像部１２の撮像面上に結像させる。また、レンズユニット１１は、撮像素子の１２の撮像面上に結像される光学像が所望の明るさとなるように、絞り機構を調整する。
【００２２】
撮像部１２は、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等の撮像素子と、撮像素子を駆動する駆動回路等を有している。撮像部１２は、光電変換を行い、撮像素子の撮像面上に結像された光画像を電気信号に変換する。さらに、撮像部１２は電気信号のノイズ除去やアナログ／デジタル変換を行い、画像信号を生成して画像処理部２０、または画像処理部２０を介してメモリ部３２に出力する。
【００２３】
画像処理部２０は、画像信号に対して、種々のカメラ信号処理、画像信号の符号化処理や復号処理等を制御部４０からの制御信号に基づいて行う。さらに、画像処理部２０は、オブジェクトの対応付け処理、対応付け結果を用いた画像処理を、制御部４０からの制御信号に基づいて行う。なお、オブジェクトの対応付け処理、対応付け結果を用いた画像処理については後述する。
【００２４】
表示部３１は、液晶表示素子等を用いて構成されており、画像処理部２０によって処理された画像信号や、メモリ部３２に格納されている画像信号に基づき画像表示を行う。
【００２５】
メモリ部３２は、ＤＲＡＭ（Dynamic Random Access Memory）などの半導体メモリから構成されている。メモリ部３２は、画像処理部２０で処理する画像データや画像処理部２０で処理された画像データ、制御部４０における制御プログラム及び各種データなどが一時記憶される。
【００２６】
記録デバイス部３３では、フラッシュメモリなどの半導体メモリ、磁気ディスク、光ディスク、光磁気ディスクなどの記録メディアが用いられている。記録デバイス部３３は、例えば撮影時に撮像部１２で生成されて画像処理部２０で所定の符号化方式で符号化されてメモリ部３２に格納された画像信号を記録メディアに記録する。また、記録デバイス部３３は、記録メディアに記録されている画像信号をメモリ部３２に読み出す。
【００２７】
操作部３４は、シャッターボタンなどのハードウェアキー、操作ダイアル、タッチパネルなどの入力デバイスで構成されている。操作部３４は、ユーザの入力操作に応じた操作信号を生成して制御部４０に出力する。
【００２８】
センサ部３５は、ジャイロセンサ、加速度センサ、地磁気センサ、位置測位センサなどで構成され、各種情報の検出を行う。これらの情報は、撮影された画像データに対して、メタデータとして付加されるほか、各種画像処理、制御処理にも利用される。
【００２９】
制御部４０は、操作部３４から供給された操作信号に基づき各部の動作を制御して、撮像装置１０の動作がユーザ操作に応じた動作となるように各部を制御する。
【００３０】
＜２．画像処理部においてオブジェクトの対応付け処理を行う部分の構成＞
図２は、画像処理部２０においてオブジェクトの対応付け処理を行う部分の構成を例示している。画像処理部２０には、特徴点検出処理部２１と二画像間で同一オブジェクトの対応付けを行うために用いる特徴量を生成する特徴量生成処理部２２が設けられている。さらに、特徴量に基づいてオブジェクトの対応付けを行うために、対応点探索処理部２３と変換行列算出処理部２４が設けられている。
【００３１】
特徴点検出処理部２１は、撮像画像に対して特徴点検出処理を行う。特徴点検出処理部２１は、例えばＨａｒｒｉｓコーナー検出器、ＦＡＳＴ、ＤｏＧｍａｘｉｍａなどを用いて特徴点を検出する。また、Hessianフィルタ等を用いて特徴点を検出してもよい。
【００３２】
特徴量生成処理部２２は、特徴点を中心とした局所領域を記述する特徴量の生成を行う。特徴量生成処理部２２は、特徴点を中心とした局所領域における二画素間の輝度勾配を二値化して、二値化情報を特徴量の一成分とする。なお、特徴量生成処理については後述する。
【００３３】
対応点探索処理部２３は、画像間で類似する特徴量を探索して、最も類似した特徴量の特徴点同士を同一オブジェクトの対応する点とする。特徴量の成分は、二値化情報であることから、特徴量の成分毎に排他論理和を算出する。排他論理和の演算結果は、成分が等しい場合に排他論理和が「０」、成分が異なる場合に排他論理和が「１」となる。したがって、対応点探索処理部２３は、各成分の排他論理和の演算結果の合計が最も小さい特徴点を類似度が最も高い特徴点である対応点とする。
【００３４】
変換行列算出処理部２４は、特徴点の座標と対応点探索処理部２３で得られた対応点の座標から、２枚間の座標系の関係を記述する最適なアフィン変換行列や射影変換行列（Homography）を求める。なお、これらの行列を画像変換行列と呼ぶ。変換行列算出処理部２４は、画像変換行列を求める際にロバスト推定手法を用いることで、より正しい画像変換行列を求める。
【００３５】
ロバスト推定手法としては、例えばＲＡＮＳＡＣ（RANndom SAmple Consensus）の手法を用いて画像変換行列を求める。すなわち、特徴点と対応点の組みを幾つかランダムに抽出して画像変換行列の算出を繰り返し、算出した画像変換行列のなかで、特徴点と対応点の組みが最も多く対応している画像変換行列を正しい推定結果とする。また、ロバスト推定手法は、ＲＡＮＳＡＣに限らず他の手法を用いるようにしてもよい。
【００３６】
このように、画像間で特徴量が類似する特徴点を検出することで、特徴点の対応関係から同一オブジェクトの対応付けを行うことができるようになる。したがって、同一オブジェクトの検出が可能となる。また、特徴点の対応関係から画像変換行列を求めると、この画像変換行列を用いることで、一方の画像を他方の画像の座標系に変換することが可能となる。このため、例えば複数の撮像画像を用いて、オブジェクトの画像で欠落部分や重複部分を生じないように正しく画像を繋ぎ合わせてパノラマ画像を生成することができる。また、複数の撮像画像を生成するとき、撮像装置の傾き等生じても精度良く画像の繋ぎ合わせを行うことができる。さらに、同一オブジェクトの対応付けを行うことができることから、二画像間のグローバルな動きである画像変換行列を求めることで、ローカルに動いている被写体の検出が可能となり、動被写体領域を抽出できるようになる。また、画像データのコーデック処理においても、同一オブジェクトの検出結果を利用してもよい。例えば、同一オブジェクトの検出結果に基づき二画像間のグローバルな動きを求めて、コーデック処理で用いるようにしてもよい。
【００３７】
＜３．特徴量生成処理＞
次に、特徴量生成処理について説明する。特徴量生成処理では、任意の座標の二画素を選択して、その二画素の画素値の差分を計算する。この計算結果を閾値と比較して、比較結果に基づき二値化情報を生成して特徴量の一成分とする。式（１）において「Ｖ」は特徴量（特徴ベクトル）を示しており、「Ｖ1〜Ｖn」は特徴量の各成分を示している。
【００３８】
【数１】
【００３９】
特徴量の成分「Ｖi」は、式（２）に示すように、座標ｐｉにおける画素値Ｉ(pi)と、座標ｑｉにおける画素値Ｉ(qi)と閾値ｔｈｉから、関数ｆにより二値化情報として求める。なお、閾値ｔｈｉは、座標ｐｉ毎に設定する必要はなく、各座標で共通の閾値を用いるようにしてもよい。
【００４０】
【数２】
【００４１】
式（３）は式（２）に示す関数ｆの一例を示している。
【００４２】
【数３】
【００４３】
式（３）に示す関数において閾値ｔｈｉを「０」とすると、二画素間の画素値の差分が「０」以上であれば二値化情報を「１」、差分が負の数であれば二値化情報を「０」として特徴量の成分とする。すなわち、二画素間で輝度変化がない場合や輝度が高くなる輝度勾配を有する場合、この特徴量の成分の値は「１」となる。また、二画素間で輝度が低下する輝度勾配を有する場合、この特徴量の成分の値は「０」となる。したがって、二画素の画素値に応じて正規化を行わなくとも、輝度勾配に応じた特徴量を生成できる。
【００４４】
次に、特徴量生成処理において、特徴量の成分の生成に用いる二画素のバリエーションについて説明する。
【００４５】
図３は、矩形状の局所領域の各画素を用いて特徴量を生成する場合を示している。局所領域の特徴量の生成では、例えば図３の（Ａ）に示すように、特徴点として検出された座標を中心に５×５画素の領域を用いる。なお、図中の数字は各画素の識別子ＩＤを示しており、特徴点として検出された座標Ｐｘは「１３」の位置である。また、Ｉ(ID)は、識別子ＩＤの画素の画素値とする。例えばＩ(1)は、左上に位置する画素（ＩＤ＝１）の画素値とする。
【００４６】
関数ｆとして式（３）に示す関数を用いた場合、閾値ｔｈｉを「０」とすると隣り合う画素の画素差分値が正か負かであるかによって二値化情報が出力され、これが特徴量の各成分となる。なお、図３の（Ｂ），（Ｃ）において、矢印は差分計算の引く側と引かれる側の画素を示しており、矢印の始点をＩ(pi) 、矢印の終点をＩ(qi)としている。図３の（Ｂ）に示す場合の特徴量の各成分は、式（４）に基づいて生成できる。同様に、図３の（Ｃ）に示す場合の特徴量の各成分も式（５）に基づいて生成できる。したがって、図３に示す矩形領域の場合、合計４０個の成分からなる特徴量を生成できる。
【００４７】
【数４】
【００４８】
図４は、矩形状の局所領域の各画素を用いて特徴量を生成する他の場合を示している。局所領域の特徴量の生成では、例えば図４の（Ａ）に示すように、特徴点として検出された座標Ｐｘを中心に５×５画素の領域を用いる。なお、図中の数字は各画素の識別子ＩＤを示している。
【００４９】
関数ｆとして式（３）に示す関数を用いた場合、外周状の方向に隣り合う画素の画素差分値が正か負かであるかによって二値化情報が出力され、これが特徴量の各成分となる。なお、図４の（Ｂ）において、矢印は差分計算の引く側と引かれる側の画素を示しており、矢印の始点をＩ(pi) 、矢印の終点をＩ(qi)としている。したがって、図４の（Ｂ）に示す場合の特徴量の各成分も、図３の場合と同様にして生成される。また、図４に示す矩形領域の場合、合計２５個の成分からなる特徴量を生成できる。
【００５０】
ところで、図３や図４に示す場合、二画素の組合せ数が多いことから、特徴量生成処理の演算量が多くなってしまう。そこで、特徴量生成処理の演算量を削減できる二画素の組合せについて説明する。例えば、コーナー検出によって特徴点を検出した場合、図５に示すように、特徴点を中心とした円は、図５の（Ａ）に示すようにコーナーが鋭角であっても、図５の（Ｂ）に示すようにコーナーが鈍角であっても、２つの点Ｕ1,Ｕ2でコーナーを示すエッジと交わる。したがって、矩形状の局所領域から円周状に画素を用いて特徴量を生成すれば、二画素の組合せ数が少なくとも、コーナーを示す特徴量を生成することが可能となり、特徴量生成処理の演算量を少なくできる。
【００５１】
図６は、矩形状の局所領域から円周状に画素を用いて特徴量を生成する場合を示している。局所領域の特徴量の生成では、例えば図６の（Ａ）に示すように、特徴点として検出された座標Ｐｘを中心とした７×７画素の領域において、座標Ｐｘを中心とした円周状の１６画素を用いる。なお、図中の数字は各画素の識別子ＩＤを示している。
【００５２】
関数ｆとして式（３）に示す関数を用いた場合、円周状に隣り合う画素の画素差分値が正か負かであるかによって二値化情報が出力され、これが特徴量の各成分となる。なお、図６の（Ｂ）において、矢印は差分計算の引く側と引かれる側の画素を示しており、矢印の始点をＩ(pi) 、矢印の終点をＩ(qi)としている。したがって、図６の（Ｂ）に示す場合の特徴量の各成分は、式（６）に基づいて生成される。したがって、図６に示す場合、合計１６個の成分からなる特徴量を生成できる。
【００５３】
【数５】
【００５４】
さらに、図５に示す円を多重化すれば、円とエッジが交わる部分が多くなることから、より精度のよい特徴量を生成できる。
【００５５】
図７は、矩形状の局所領域から多重の円周状に画素を用いて特徴量を生成する場合を示している。局所領域の特徴量の生成では、例えば図７の（Ａ）に示すように、特徴点として検出された座標Ｐｘを中心として、多段の円周状に３２画素を用いる。なお、図中の数字は各画素の識別子ＩＤを示している。
【００５６】
関数ｆとして式（３）に示す関数を用いた場合、円周状に隣り合う画素の画素差分値が正か負かであるかによって二値化情報が出力され、これが特徴量の各成分となる。なお、図７の（Ｂ）において、矢印は差分計算の引く側と引かれる側の画素を示している。したがって、図７に示す場合、合計３２個の成分からなる特徴量を生成できる。また、図６に示す場合に比べて、より精度良く特徴量を生成できる。
【００５７】
さらに、図３，図４，図６，図７では、規則的に画素を選択しているが、選択する画素は、機械学習によって特徴量の生成に優位な二点、または二点とその差分値を二値化する際の閾値を選択してもよい。例えば図８に示すように、学習によって指定された二画素を用いて、特徴量を生成してもよい。
【００５８】
特徴量の生成に優位というのは２つの意味を有する。１つ目の意味は、明るさ等の条件が変化しても、同一部分を示す特徴点が近い量で表現できるという意味である。２つ目の意味は、異なる部分を示す特徴点が遠い量で表現できるという意味である。機械学習では、一例としてアダブースト（Adaboost）と呼ばれる手法を用いることができる。例えば二点の組合せを大量に用意して、大量の弱仮説を生成する。また、弱仮説が正解したか否かを判断する。すなわち、二点の組合せが、同一オブジェクトの対応する点の識別に適した特徴量を生成できる組合せであるか否かを学習によって判別する。この判別結果に基づき、正解した組合せに対する重みを高くして、不正解の組合せの重みを低くする。さらに、重みの高い順から所望の数だけ組合せを選択することで、所望の数の成分からなる特徴量を生成することができる。
【００５９】
図８では、機械学習によって二点の組合せが三つ選択された場合を例示している。図８の（Ａ）は、機械学習によって選択された二点の組合せの画素位置を示している。また、図８の（Ｂ）において、矢印は差分計算の引く側と引かれる側の画素を示している。したがって、図８に示す場合、合計３個の成分からなる特徴量を生成できる。なお、ｎ個の成分からなる特徴量を生成する場合は、上述のように重みの高い順から二点の組合せをｎ個選択すればよい。
【００６０】
このように、任意の座標の二画素を選択して、その二画素の画素値の差分を計算する。この計算結果を閾値と比較して、比較結果に基づき二値化情報を生成して特徴量の一成分とする。したがって、二画像間で同一オブジェクトの対応付けを行うために用いる特徴量を精度よく低処理コストで生成できる。
【００６１】
また、閾値を「０」として特徴量を生成すると、特徴量は明るさの変化に対して不変となり、正規化処理が不要であるので計算コストを非常に小さくすることができる。
【００６２】
さらに、特徴量の各成分は二値化情報であるため、例えば特徴量が３２成分以下であれば３２ビット単位、特徴量が６４成分以下であれば６４ビット単位でパッキングすることが可能となる。したがって、特徴量のメモリ部への書き込みや、メモリ部からの特徴量の読み出しを行う際に、パッキング単位で処理することにより、メモリアクセスの時間を削減することが可能となる。また、メモリ部での特徴量の保存も効率よく行うことが可能となる。
【００６３】
特徴量を３２ビット単位、または６４ビット単位でパッキングする場合、排他的論理和を算出する命令と論理演算結果における「１」のビット数をカウントする命令を実行することが可能なＣＰＵ（Central Processing Unit）やＤＳＰ（Digital Signal Processor）を用いる。このようなＣＰＵやＤＳＰを用いれば、特徴量の類似度計算を非常に高速に行うことが可能となる。
【００６４】
明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
【００６５】
例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
【００６６】
また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ(Local Area Network)やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【００６７】
さらに、本技術は、上述した実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
【００６８】
なお、本技術は以下のような構成も取ることができる。
（１） 画像から特徴点を検出する特徴点検出処理部と、
前記検出した特徴点の位置を基準とした画像領域内における二画素の画素差分値を閾値と比較して、比較結果を示す二値化情報を前記特徴点に対応する特徴量の一成分として生成する特徴量生成処理部と
を備える画像処理装置。
（２） 前記特徴量生成処理部は、前記画像領域内における予め指定された二画素の画素差分値を閾値と比較する（１）に記載の画像処理装置。
（３） 前記特徴量生成処理部は、隣接する二画素の画素差分値を閾値と比較する（２）に記載の画像処理装置。
（４） 前記特徴量生成処理部は、前記特徴点の位置を中心とした円周状に位置する画素について、隣接する二画素の画素差分値を閾値と比較する（３）に記載の画像処理装置。
（５） 前記特徴量生成処理部は、学習によって予め決定された前記画像領域内における位置の二画素の画素差分値を閾値と比較する（２）に記載の画像処理装置。
（６） 前記特徴量生成処理部は、前記二画素の画素差分値と比較する閾値を「０」とする（２）乃至（５）の何れかに記載の画像処理装置。
（７） 第１の画像から検出された特徴点について、該特徴点に対応する特徴量と最も類似する特徴量を、第２の画像から検出された特徴点に対応する特徴量から探索して、前記第１の画像から検出された特徴点に対応する前記第２の画像の特徴点を検出する対応点探索処理部をさらに備える（１）乃至（６）の何れかに記載の画像処理装置。
（８） 前記対応点探索処理部は、前記第１の画像から検出された特徴点に対応する特徴量と前記第２の画像から検出された特徴点に対応する特徴量との排他的論理和演算を行い、演算結果に基づいて最も類似する特徴量の探索を行う（１）乃至（７）の何れかに記載の画像処理装置。
（９） 前記第１の画像から検出された特徴点と、該特徴点に対応する前記第２の画像の特徴点の対応関係から、前記第１の画像と前記第２の画像間で画像変換を行うための変換行列を算出する変換行列算出部をさらに備える（１）乃至（８）の何れかに記載の画像処理装置。
（１０） 前記変換行列算出部は、ロバスト推定を用いて前記変換行列の算出を行う（１）乃至（９）の何れかに記載の画像処理装置。
【産業上の利用可能性】
【００６９】
この技術の画像処理装置と画像処理方法およびプログラムでは、画像から特徴点が検出されて、この検出された特徴点の位置を基準とした画像領域内における二画素の画素差分値を閾値と比較して、比較結果を示す二値化情報が特徴点に対応する特徴量の一成分として生成される。このため、二画像間で同一オブジェクトの対応付けを行うための特徴量を精度よく低処理コストで生成できるようになる。したがって、複数の画像から同一オブジェクトの探索を容易に行うことができる。また、オブジェクトの画像で欠落部分や重複部分を生じないように正しく画像を繋ぎ合わせてパノラマ画像を容易に生成できる。さらに、動被写体領域を抽出できるようになる。また、画像データのコーデック処理にも利用できる。
【符号の説明】
【００７０】
１０・・・撮像装置、１１・・・レンズユニット、１２・・・撮像部、２０・・・画像処理部、２１・・・特徴点検出処理部、２２・・・特徴量生成処理部、２３・・・対応点探索処理部、２４・・・変換行列算出処理部、３１・・・表示部、３２・・・メモリ部、３３・・・記録デバイス部、３４・・・操作部、３５・・・センサ部、４０・・・制御部、４５・・・バス
【技術分野】
【０００１】
この技術は、画像処理装置と画像処理方法およびプログラムに関する。詳しくは、二画像間で同一オブジェクトの対応付けを精度よく低処理コストで行うことができるようにする。
【背景技術】
【０００２】
従来、画像中のオブジェクト検索、画像シーケンス中の移動オブジェクトの検出、複数画像の位置合わせなど様々な状況で、複数画像間でのオブジェクトの対応付けが必要となっている。
【０００３】
オブジェクトの対応付けの手法としては、ブロックマッチングと呼ばれる手法や、特徴点ベースの手法が用いられている。
【０００４】
ブロックマッチングでは、ある画像をブロックごとの領域に分割して、差分絶対値和（ＳＡＤ：Sum of Absolute Difference）や正規化相互相関（ＮＣＣ：Normalized Cross Correlation）が算出される。また、算出された差分絶対値和や正規化相互相関に基づき、それぞれのブロックと類似度の高い領域がもう一枚の画像中から探索される。この手法は、探索範囲内でブロック中心座標を少しずつずらしながら、ブロック領域の類似度を計算する必要があるため、計算コストが非常に高い。更に、対応付けが難しい領域も対応する位置を探す必要があるために処理効率も悪い。
【０００５】
特徴点ベースの手法は、初めに、画像中の物体や絵柄のコーナーなど対応付けのしやすい位置を特徴点として検出する。特徴点の検出手法は様々あるが、代表的なものとして、Ｈａｒｒｉｓコーナー検出器（非特許文献１参照）やＦＡＳＴ（非特許文献２参照）、ＤｏＧ（Difference of Gaussian）ｍａｘｉｍａ（非特許文献３参照）などを挙げることができる。次に、検出した特徴点について、もう一枚の画像の対応する特徴点を探索する。このように特徴点のみが探索対象となるため、非常に処理効率が高い。特徴点どうしの対応付け方法としては、特徴点を中心とした局所領域を画像のままＳＡＤやＮＣＣを用いて類似度を計算し、類似度の最も高い特徴点をその対応点とする。また、他の対応付け方法としては、特徴点を中心とした局所領域を記述する特徴量（特徴ベクトルとも呼ぶ）に置き換え、その特徴量どうしの類似度を計算し、類似度の最も高い特徴点をその対応点とする。この方法としては、ＳＩＦＴ（Scale Invariant Feature Transform，非特許文献３参照）やＳＵＲＦ（Speeded Up Robust Features，非特許文献４参照）等を挙げることができる。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】C. Harris, M.J. Stephens, "A combined corner and edge detector", In Alvey Vision Conference, pp. 147-152, 1988
【非特許文献２】Edward Rosten, Tom Drummond, "Machine learning for high-speed corner detection", European Conference on Computer Vision (ICCV), Vol. 1, pp. 430-443, 2006
【非特許文献３】David G. Lowe, "Distinctive Image Features from Scale-Invariant Keypoints", International Journal of Computer Vision (IJCV), Vol. 60, No. 2, pp. 91-110, 2004
【非特許文献４】Herbert Bay, Andreas Ess, Tinne Tuytelaars, Luc Van Gool, "SURF: Speeded Up Robust Features", Computer Vision and Image Understanding (CVIU), Vol. 110, No. 3, pp. 346-359, 2008
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、オブジェクトの対応付けを行う複数の画像では、シャッタースピードや絞りなどカメラパラメータが変化したり、環境光の明るさが変化したりすることで、同一オブジェクトの明るさが異なる場合を生じることがある。この場合、正規化処理によって明るさの違いによる影響を排除する手法が用いられていないと、明るさの違いによって対応付けの誤りを生じてしまうおそれがある。例えば、差分絶対値和（ＳＡＤ）のように正規化処理が行われない手法を用いた場合、類似度の高い領域でも明るさの違いによって差分絶対値和が増加してしまい、類似度の高い領域を正しく検出することができない。例えばパノラマ画像を生成するために撮像装置をスイングさせて複数枚の画像を撮像する場合について説明する。撮像装置をスイングさせて複数枚の画像を撮像する場合、順光状態から逆光状態、または逆光状態から順光状態に変化するのに応じて白飛び・黒つぶれが起きないようシャッタースピードを変化させたり、スイング中に太陽が雲に隠れることによって明るさが変化したりすると、同一オブジェクトの明るさが異なってしまう。このため、同一オブジェクトでも明るさの違いによって差分絶対値和が大きくなり、同一オブジェクトを正しく判別することができない。したがって、オブジェクトの画像で欠落部分や重複部分を生じないように正しく画像を繋ぎ合わせてパノラマ画像を生成することができない。
【０００８】
また、ＮＣＣを用いる、またはＳＩＦＴやＳＵＲＦで生成した特徴量（特徴ベクトル）をベクトルの長さで正規化して単位ベクトル化して用いるようにすれば、明るさの変化による影響を取り除いてオブジェクトの対応付けを行うことができる。しかし、正規化処理はルート演算・除算を行うため、処理コストが大きくなってしまう。また、特徴量の成分は特徴点毎に異なり、正規化計算の際の分母となる数の範囲は非常に広く、分母の逆数をテーブル化して乗算に置き換えようとしても、テーブル化に必要なメモリコストが大きくなり過ぎ現実的でない。
【０００９】
そこで、本技術の画像処理装置と画像処理方法およびプログラムでは、二画像間で同一オブジェクトの対応付けを行うために用いる特徴量を精度よく低処理コストで生成できる画像処理装置と画像処理方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
この技術の第１の側面は、画像から特徴点を検出する特徴点検出処理部と、前記検出した特徴点の位置を基準とした画像領域内における二画素の画素差分値を閾値と比較して、比較結果を示す二値化情報を前記特徴点に対応する特徴量の一成分として生成する特徴量生成処理部とを備える画像処理装置にある。
【００１１】
この技術においては、特徴点検出処理部によって、画像から特徴点が検出される。特徴量生成処理部では、検出した特徴点の位置を基準とした画像領域内における予め指定された二画素の画素差分値が閾値と比較される。例えば、隣接する二画素の画素差分値、特徴点の位置を中心とした円周状に位置する画素についての隣接する二画素の画素差分値、学習によって予め決定された二画素の画素差分値等が閾値「０」と比較される。さらに、比較結果を示す二値化情報が特徴量の一成分とされる。
【００１２】
また、第１の画像から検出された特徴点について、該特徴点に対応する特徴量と最も類似する特徴量が、第２の画像から検出された特徴点に対応する特徴量から探索されて、第１の画像から検出された特徴点に対応する第２の画像の特徴点が対応点として検出される。最も類似する特徴量の探索では、例えば第１の画像から検出された特徴点に対応する特徴量と第２の画像から検出された特徴点に対応する特徴量との排他的論理和演算が行われて、演算結果に基づいて最も類似する特徴量の探索が行われる。さらに、第１の画像から検出された特徴点と、この特徴点に対応する第２の画像の特徴点の対応関係から、第１の画像と第２の画像間で画像変換を行うための変換行列がロバスト推定によって算出される。
【００１３】
この技術の第２の側面は、画像から特徴点を検出する工程と、前記検出した特徴点の位置を基準とした画像領域内における二画素の画素差分値を閾値と比較して、比較結果を示す二値化情報を前記特徴点に対応する特徴量の一成分として生成する工程とを含む画像処理方法にある。
【００１４】
この技術の第３の側面は、画像から特徴点を検出する手順と、前記検出した特徴点の位置を基準とした画像領域内における二画素の画素差分値を閾値と比較して、比較結果を示す二値化情報を前記特徴点に対応する特徴量の一成分として生成する手順とをコンピュータで実行させるプログラムにある。
【００１５】
なお、本技術のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ上でプログラムに応じた処理が実現される。
【発明の効果】
【００１６】
この技術によれば、画像から特徴点が検出されて、この検出された特徴点の位置を基準とした画像領域内における二画素の画素差分値を閾値と比較して、比較結果を示す二値化情報が特徴点に対応する特徴量の一成分として生成される。このため、二画像間で同一オブジェクトの対応付けを行うための特徴量を精度よく低処理コストで生成できるようになる。
【図面の簡単な説明】
【００１７】
【図１】撮像装置の概略構成を示す図である。
【図２】画像処理部においてオブジェクトの対応付け処理を行う部分の構成を例示した図である。
【図３】矩形状の局所領域の各画素を用いて特徴量を生成する場合を示した図である。
【図４】矩形状の局所領域の各画素を用いて特徴量を生成する他の場合を示した図である。
【図５】特徴点を中心とした円とコーナーの関係を示す図である。
【図６】矩形状の局所領域から円周状に画素を用いて特徴量を生成する場合を示した図である。
【図７】矩形状の局所領域から多重の円周状に画素を用いて特徴量を生成する場合を示した図である。
【図８】学習によって指定された画素を用いて特徴量を生成する場合を示した図である。
【発明を実施するための形態】
【００１８】
以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．撮像装置の概略構成
２．画像処理部においてオブジェクトの対応付け処理を行う部分の構成
３．特徴量生成処理
【００１９】
＜１．撮像装置の概略構成＞
図１は、本技術の実施の形態における画像処理装置を用いた撮像装置の概略構成を示す図である。
【００２０】
撮像装置１０は、レンズユニット１１、撮像部１２、画像処理部２０、表示部３１、メモリ部３２、記録デバイス部３３、操作部３４、センサ部３５、制御部４０を有している。また、各部はバス４５を介して接続されている。
【００２１】
レンズユニット１１は、フォーカスレンズやズームレンズ、絞り機構等を有している。レンズユニット１１は、制御部４０からの指示に従いレンズを駆動して、被写体の光画像を撮像部１２の撮像面上に結像させる。また、レンズユニット１１は、撮像素子の１２の撮像面上に結像される光学像が所望の明るさとなるように、絞り機構を調整する。
【００２２】
撮像部１２は、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等の撮像素子と、撮像素子を駆動する駆動回路等を有している。撮像部１２は、光電変換を行い、撮像素子の撮像面上に結像された光画像を電気信号に変換する。さらに、撮像部１２は電気信号のノイズ除去やアナログ／デジタル変換を行い、画像信号を生成して画像処理部２０、または画像処理部２０を介してメモリ部３２に出力する。
【００２３】
画像処理部２０は、画像信号に対して、種々のカメラ信号処理、画像信号の符号化処理や復号処理等を制御部４０からの制御信号に基づいて行う。さらに、画像処理部２０は、オブジェクトの対応付け処理、対応付け結果を用いた画像処理を、制御部４０からの制御信号に基づいて行う。なお、オブジェクトの対応付け処理、対応付け結果を用いた画像処理については後述する。
【００２４】
表示部３１は、液晶表示素子等を用いて構成されており、画像処理部２０によって処理された画像信号や、メモリ部３２に格納されている画像信号に基づき画像表示を行う。
【００２５】
メモリ部３２は、ＤＲＡＭ（Dynamic Random Access Memory）などの半導体メモリから構成されている。メモリ部３２は、画像処理部２０で処理する画像データや画像処理部２０で処理された画像データ、制御部４０における制御プログラム及び各種データなどが一時記憶される。
【００２６】
記録デバイス部３３では、フラッシュメモリなどの半導体メモリ、磁気ディスク、光ディスク、光磁気ディスクなどの記録メディアが用いられている。記録デバイス部３３は、例えば撮影時に撮像部１２で生成されて画像処理部２０で所定の符号化方式で符号化されてメモリ部３２に格納された画像信号を記録メディアに記録する。また、記録デバイス部３３は、記録メディアに記録されている画像信号をメモリ部３２に読み出す。
【００２７】
操作部３４は、シャッターボタンなどのハードウェアキー、操作ダイアル、タッチパネルなどの入力デバイスで構成されている。操作部３４は、ユーザの入力操作に応じた操作信号を生成して制御部４０に出力する。
【００２８】
センサ部３５は、ジャイロセンサ、加速度センサ、地磁気センサ、位置測位センサなどで構成され、各種情報の検出を行う。これらの情報は、撮影された画像データに対して、メタデータとして付加されるほか、各種画像処理、制御処理にも利用される。
【００２９】
制御部４０は、操作部３４から供給された操作信号に基づき各部の動作を制御して、撮像装置１０の動作がユーザ操作に応じた動作となるように各部を制御する。
【００３０】
＜２．画像処理部においてオブジェクトの対応付け処理を行う部分の構成＞
図２は、画像処理部２０においてオブジェクトの対応付け処理を行う部分の構成を例示している。画像処理部２０には、特徴点検出処理部２１と二画像間で同一オブジェクトの対応付けを行うために用いる特徴量を生成する特徴量生成処理部２２が設けられている。さらに、特徴量に基づいてオブジェクトの対応付けを行うために、対応点探索処理部２３と変換行列算出処理部２４が設けられている。
【００３１】
特徴点検出処理部２１は、撮像画像に対して特徴点検出処理を行う。特徴点検出処理部２１は、例えばＨａｒｒｉｓコーナー検出器、ＦＡＳＴ、ＤｏＧｍａｘｉｍａなどを用いて特徴点を検出する。また、Hessianフィルタ等を用いて特徴点を検出してもよい。
【００３２】
特徴量生成処理部２２は、特徴点を中心とした局所領域を記述する特徴量の生成を行う。特徴量生成処理部２２は、特徴点を中心とした局所領域における二画素間の輝度勾配を二値化して、二値化情報を特徴量の一成分とする。なお、特徴量生成処理については後述する。
【００３３】
対応点探索処理部２３は、画像間で類似する特徴量を探索して、最も類似した特徴量の特徴点同士を同一オブジェクトの対応する点とする。特徴量の成分は、二値化情報であることから、特徴量の成分毎に排他論理和を算出する。排他論理和の演算結果は、成分が等しい場合に排他論理和が「０」、成分が異なる場合に排他論理和が「１」となる。したがって、対応点探索処理部２３は、各成分の排他論理和の演算結果の合計が最も小さい特徴点を類似度が最も高い特徴点である対応点とする。
【００３４】
変換行列算出処理部２４は、特徴点の座標と対応点探索処理部２３で得られた対応点の座標から、２枚間の座標系の関係を記述する最適なアフィン変換行列や射影変換行列（Homography）を求める。なお、これらの行列を画像変換行列と呼ぶ。変換行列算出処理部２４は、画像変換行列を求める際にロバスト推定手法を用いることで、より正しい画像変換行列を求める。
【００３５】
ロバスト推定手法としては、例えばＲＡＮＳＡＣ（RANndom SAmple Consensus）の手法を用いて画像変換行列を求める。すなわち、特徴点と対応点の組みを幾つかランダムに抽出して画像変換行列の算出を繰り返し、算出した画像変換行列のなかで、特徴点と対応点の組みが最も多く対応している画像変換行列を正しい推定結果とする。また、ロバスト推定手法は、ＲＡＮＳＡＣに限らず他の手法を用いるようにしてもよい。
【００３６】
このように、画像間で特徴量が類似する特徴点を検出することで、特徴点の対応関係から同一オブジェクトの対応付けを行うことができるようになる。したがって、同一オブジェクトの検出が可能となる。また、特徴点の対応関係から画像変換行列を求めると、この画像変換行列を用いることで、一方の画像を他方の画像の座標系に変換することが可能となる。このため、例えば複数の撮像画像を用いて、オブジェクトの画像で欠落部分や重複部分を生じないように正しく画像を繋ぎ合わせてパノラマ画像を生成することができる。また、複数の撮像画像を生成するとき、撮像装置の傾き等生じても精度良く画像の繋ぎ合わせを行うことができる。さらに、同一オブジェクトの対応付けを行うことができることから、二画像間のグローバルな動きである画像変換行列を求めることで、ローカルに動いている被写体の検出が可能となり、動被写体領域を抽出できるようになる。また、画像データのコーデック処理においても、同一オブジェクトの検出結果を利用してもよい。例えば、同一オブジェクトの検出結果に基づき二画像間のグローバルな動きを求めて、コーデック処理で用いるようにしてもよい。
【００３７】
＜３．特徴量生成処理＞
次に、特徴量生成処理について説明する。特徴量生成処理では、任意の座標の二画素を選択して、その二画素の画素値の差分を計算する。この計算結果を閾値と比較して、比較結果に基づき二値化情報を生成して特徴量の一成分とする。式（１）において「Ｖ」は特徴量（特徴ベクトル）を示しており、「Ｖ1〜Ｖn」は特徴量の各成分を示している。
【００３８】
【数１】
【００３９】
特徴量の成分「Ｖi」は、式（２）に示すように、座標ｐｉにおける画素値Ｉ(pi)と、座標ｑｉにおける画素値Ｉ(qi)と閾値ｔｈｉから、関数ｆにより二値化情報として求める。なお、閾値ｔｈｉは、座標ｐｉ毎に設定する必要はなく、各座標で共通の閾値を用いるようにしてもよい。
【００４０】
【数２】
【００４１】
式（３）は式（２）に示す関数ｆの一例を示している。
【００４２】
【数３】
【００４３】
式（３）に示す関数において閾値ｔｈｉを「０」とすると、二画素間の画素値の差分が「０」以上であれば二値化情報を「１」、差分が負の数であれば二値化情報を「０」として特徴量の成分とする。すなわち、二画素間で輝度変化がない場合や輝度が高くなる輝度勾配を有する場合、この特徴量の成分の値は「１」となる。また、二画素間で輝度が低下する輝度勾配を有する場合、この特徴量の成分の値は「０」となる。したがって、二画素の画素値に応じて正規化を行わなくとも、輝度勾配に応じた特徴量を生成できる。
【００４４】
次に、特徴量生成処理において、特徴量の成分の生成に用いる二画素のバリエーションについて説明する。
【００４５】
図３は、矩形状の局所領域の各画素を用いて特徴量を生成する場合を示している。局所領域の特徴量の生成では、例えば図３の（Ａ）に示すように、特徴点として検出された座標を中心に５×５画素の領域を用いる。なお、図中の数字は各画素の識別子ＩＤを示しており、特徴点として検出された座標Ｐｘは「１３」の位置である。また、Ｉ(ID)は、識別子ＩＤの画素の画素値とする。例えばＩ(1)は、左上に位置する画素（ＩＤ＝１）の画素値とする。
【００４６】
関数ｆとして式（３）に示す関数を用いた場合、閾値ｔｈｉを「０」とすると隣り合う画素の画素差分値が正か負かであるかによって二値化情報が出力され、これが特徴量の各成分となる。なお、図３の（Ｂ），（Ｃ）において、矢印は差分計算の引く側と引かれる側の画素を示しており、矢印の始点をＩ(pi) 、矢印の終点をＩ(qi)としている。図３の（Ｂ）に示す場合の特徴量の各成分は、式（４）に基づいて生成できる。同様に、図３の（Ｃ）に示す場合の特徴量の各成分も式（５）に基づいて生成できる。したがって、図３に示す矩形領域の場合、合計４０個の成分からなる特徴量を生成できる。
【００４７】
【数４】
【００４８】
図４は、矩形状の局所領域の各画素を用いて特徴量を生成する他の場合を示している。局所領域の特徴量の生成では、例えば図４の（Ａ）に示すように、特徴点として検出された座標Ｐｘを中心に５×５画素の領域を用いる。なお、図中の数字は各画素の識別子ＩＤを示している。
【００４９】
関数ｆとして式（３）に示す関数を用いた場合、外周状の方向に隣り合う画素の画素差分値が正か負かであるかによって二値化情報が出力され、これが特徴量の各成分となる。なお、図４の（Ｂ）において、矢印は差分計算の引く側と引かれる側の画素を示しており、矢印の始点をＩ(pi) 、矢印の終点をＩ(qi)としている。したがって、図４の（Ｂ）に示す場合の特徴量の各成分も、図３の場合と同様にして生成される。また、図４に示す矩形領域の場合、合計２５個の成分からなる特徴量を生成できる。
【００５０】
ところで、図３や図４に示す場合、二画素の組合せ数が多いことから、特徴量生成処理の演算量が多くなってしまう。そこで、特徴量生成処理の演算量を削減できる二画素の組合せについて説明する。例えば、コーナー検出によって特徴点を検出した場合、図５に示すように、特徴点を中心とした円は、図５の（Ａ）に示すようにコーナーが鋭角であっても、図５の（Ｂ）に示すようにコーナーが鈍角であっても、２つの点Ｕ1,Ｕ2でコーナーを示すエッジと交わる。したがって、矩形状の局所領域から円周状に画素を用いて特徴量を生成すれば、二画素の組合せ数が少なくとも、コーナーを示す特徴量を生成することが可能となり、特徴量生成処理の演算量を少なくできる。
【００５１】
図６は、矩形状の局所領域から円周状に画素を用いて特徴量を生成する場合を示している。局所領域の特徴量の生成では、例えば図６の（Ａ）に示すように、特徴点として検出された座標Ｐｘを中心とした７×７画素の領域において、座標Ｐｘを中心とした円周状の１６画素を用いる。なお、図中の数字は各画素の識別子ＩＤを示している。
【００５２】
関数ｆとして式（３）に示す関数を用いた場合、円周状に隣り合う画素の画素差分値が正か負かであるかによって二値化情報が出力され、これが特徴量の各成分となる。なお、図６の（Ｂ）において、矢印は差分計算の引く側と引かれる側の画素を示しており、矢印の始点をＩ(pi) 、矢印の終点をＩ(qi)としている。したがって、図６の（Ｂ）に示す場合の特徴量の各成分は、式（６）に基づいて生成される。したがって、図６に示す場合、合計１６個の成分からなる特徴量を生成できる。
【００５３】
【数５】
【００５４】
さらに、図５に示す円を多重化すれば、円とエッジが交わる部分が多くなることから、より精度のよい特徴量を生成できる。
【００５５】
図７は、矩形状の局所領域から多重の円周状に画素を用いて特徴量を生成する場合を示している。局所領域の特徴量の生成では、例えば図７の（Ａ）に示すように、特徴点として検出された座標Ｐｘを中心として、多段の円周状に３２画素を用いる。なお、図中の数字は各画素の識別子ＩＤを示している。
【００５６】
関数ｆとして式（３）に示す関数を用いた場合、円周状に隣り合う画素の画素差分値が正か負かであるかによって二値化情報が出力され、これが特徴量の各成分となる。なお、図７の（Ｂ）において、矢印は差分計算の引く側と引かれる側の画素を示している。したがって、図７に示す場合、合計３２個の成分からなる特徴量を生成できる。また、図６に示す場合に比べて、より精度良く特徴量を生成できる。
【００５７】
さらに、図３，図４，図６，図７では、規則的に画素を選択しているが、選択する画素は、機械学習によって特徴量の生成に優位な二点、または二点とその差分値を二値化する際の閾値を選択してもよい。例えば図８に示すように、学習によって指定された二画素を用いて、特徴量を生成してもよい。
【００５８】
特徴量の生成に優位というのは２つの意味を有する。１つ目の意味は、明るさ等の条件が変化しても、同一部分を示す特徴点が近い量で表現できるという意味である。２つ目の意味は、異なる部分を示す特徴点が遠い量で表現できるという意味である。機械学習では、一例としてアダブースト（Adaboost）と呼ばれる手法を用いることができる。例えば二点の組合せを大量に用意して、大量の弱仮説を生成する。また、弱仮説が正解したか否かを判断する。すなわち、二点の組合せが、同一オブジェクトの対応する点の識別に適した特徴量を生成できる組合せであるか否かを学習によって判別する。この判別結果に基づき、正解した組合せに対する重みを高くして、不正解の組合せの重みを低くする。さらに、重みの高い順から所望の数だけ組合せを選択することで、所望の数の成分からなる特徴量を生成することができる。
【００５９】
図８では、機械学習によって二点の組合せが三つ選択された場合を例示している。図８の（Ａ）は、機械学習によって選択された二点の組合せの画素位置を示している。また、図８の（Ｂ）において、矢印は差分計算の引く側と引かれる側の画素を示している。したがって、図８に示す場合、合計３個の成分からなる特徴量を生成できる。なお、ｎ個の成分からなる特徴量を生成する場合は、上述のように重みの高い順から二点の組合せをｎ個選択すればよい。
【００６０】
このように、任意の座標の二画素を選択して、その二画素の画素値の差分を計算する。この計算結果を閾値と比較して、比較結果に基づき二値化情報を生成して特徴量の一成分とする。したがって、二画像間で同一オブジェクトの対応付けを行うために用いる特徴量を精度よく低処理コストで生成できる。
【００６１】
また、閾値を「０」として特徴量を生成すると、特徴量は明るさの変化に対して不変となり、正規化処理が不要であるので計算コストを非常に小さくすることができる。
【００６２】
さらに、特徴量の各成分は二値化情報であるため、例えば特徴量が３２成分以下であれば３２ビット単位、特徴量が６４成分以下であれば６４ビット単位でパッキングすることが可能となる。したがって、特徴量のメモリ部への書き込みや、メモリ部からの特徴量の読み出しを行う際に、パッキング単位で処理することにより、メモリアクセスの時間を削減することが可能となる。また、メモリ部での特徴量の保存も効率よく行うことが可能となる。
【００６３】
特徴量を３２ビット単位、または６４ビット単位でパッキングする場合、排他的論理和を算出する命令と論理演算結果における「１」のビット数をカウントする命令を実行することが可能なＣＰＵ（Central Processing Unit）やＤＳＰ（Digital Signal Processor）を用いる。このようなＣＰＵやＤＳＰを用いれば、特徴量の類似度計算を非常に高速に行うことが可能となる。
【００６４】
明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
【００６５】
例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
【００６６】
また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ(Local Area Network)やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【００６７】
さらに、本技術は、上述した実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
【００６８】
なお、本技術は以下のような構成も取ることができる。
（１） 画像から特徴点を検出する特徴点検出処理部と、
前記検出した特徴点の位置を基準とした画像領域内における二画素の画素差分値を閾値と比較して、比較結果を示す二値化情報を前記特徴点に対応する特徴量の一成分として生成する特徴量生成処理部と
を備える画像処理装置。
（２） 前記特徴量生成処理部は、前記画像領域内における予め指定された二画素の画素差分値を閾値と比較する（１）に記載の画像処理装置。
（３） 前記特徴量生成処理部は、隣接する二画素の画素差分値を閾値と比較する（２）に記載の画像処理装置。
（４） 前記特徴量生成処理部は、前記特徴点の位置を中心とした円周状に位置する画素について、隣接する二画素の画素差分値を閾値と比較する（３）に記載の画像処理装置。
（５） 前記特徴量生成処理部は、学習によって予め決定された前記画像領域内における位置の二画素の画素差分値を閾値と比較する（２）に記載の画像処理装置。
（６） 前記特徴量生成処理部は、前記二画素の画素差分値と比較する閾値を「０」とする（２）乃至（５）の何れかに記載の画像処理装置。
（７） 第１の画像から検出された特徴点について、該特徴点に対応する特徴量と最も類似する特徴量を、第２の画像から検出された特徴点に対応する特徴量から探索して、前記第１の画像から検出された特徴点に対応する前記第２の画像の特徴点を検出する対応点探索処理部をさらに備える（１）乃至（６）の何れかに記載の画像処理装置。
（８） 前記対応点探索処理部は、前記第１の画像から検出された特徴点に対応する特徴量と前記第２の画像から検出された特徴点に対応する特徴量との排他的論理和演算を行い、演算結果に基づいて最も類似する特徴量の探索を行う（１）乃至（７）の何れかに記載の画像処理装置。
（９） 前記第１の画像から検出された特徴点と、該特徴点に対応する前記第２の画像の特徴点の対応関係から、前記第１の画像と前記第２の画像間で画像変換を行うための変換行列を算出する変換行列算出部をさらに備える（１）乃至（８）の何れかに記載の画像処理装置。
（１０） 前記変換行列算出部は、ロバスト推定を用いて前記変換行列の算出を行う（１）乃至（９）の何れかに記載の画像処理装置。
【産業上の利用可能性】
【００６９】
この技術の画像処理装置と画像処理方法およびプログラムでは、画像から特徴点が検出されて、この検出された特徴点の位置を基準とした画像領域内における二画素の画素差分値を閾値と比較して、比較結果を示す二値化情報が特徴点に対応する特徴量の一成分として生成される。このため、二画像間で同一オブジェクトの対応付けを行うための特徴量を精度よく低処理コストで生成できるようになる。したがって、複数の画像から同一オブジェクトの探索を容易に行うことができる。また、オブジェクトの画像で欠落部分や重複部分を生じないように正しく画像を繋ぎ合わせてパノラマ画像を容易に生成できる。さらに、動被写体領域を抽出できるようになる。また、画像データのコーデック処理にも利用できる。
【符号の説明】
【００７０】
１０・・・撮像装置、１１・・・レンズユニット、１２・・・撮像部、２０・・・画像処理部、２１・・・特徴点検出処理部、２２・・・特徴量生成処理部、２３・・・対応点探索処理部、２４・・・変換行列算出処理部、３１・・・表示部、３２・・・メモリ部、３３・・・記録デバイス部、３４・・・操作部、３５・・・センサ部、４０・・・制御部、４５・・・バス
【特許請求の範囲】
【請求項１】
画像から特徴点を検出する特徴点検出処理部と、
前記検出した特徴点の位置を基準とした画像領域内における二画素の画素差分値を閾値と比較して、比較結果を示す二値化情報を前記特徴点に対応する特徴量の一成分として生成する特徴量生成処理部と
を備える画像処理装置。
【請求項２】
前記特徴量生成処理部は、前記画像領域内における予め指定された二画素の画素差分値を閾値と比較する
請求項１記載の画像処理装置。
【請求項３】
前記特徴量生成処理部は、隣接する二画素の画素差分値を閾値と比較する
請求項２記載の画像処理装置。
【請求項４】
前記特徴量生成処理部は、前記特徴点の位置を中心とした円周状に位置する画素について、隣接する二画素の画素差分値を閾値と比較する
請求項３記載の画像処理装置。
【請求項５】
前記特徴量生成処理部は、学習によって予め決定された前記画像領域内における位置の二画素の画素差分値を閾値と比較する
請求項２記載の画像処理装置。
【請求項６】
前記特徴量生成処理部は、前記二画素の画素差分値と比較する閾値を「０」とする
請求項２記載の画像処理装置。
【請求項７】
第１の画像から検出された特徴点について、該特徴点に対応する特徴量と最も類似する特徴量を、第２の画像から検出された特徴点に対応する特徴量から探索して、前記第１の画像から検出された特徴点に対応する前記第２の画像の特徴点を検出する対応点探索処理部をさらに備える
請求項１記載の画像処理装置。
【請求項８】
前記対応点探索処理部は、前記第１の画像から検出された特徴点に対応する特徴量と前記第２の画像から検出された特徴点に対応する特徴量との排他的論理和演算を行い、演算結果に基づいて最も類似する特徴量の探索を行う
請求項７記載の画像処理装置。
【請求項９】
前記第１の画像から検出された特徴点と、該特徴点に対応する前記第２の画像の特徴点の対応関係から、前記第１の画像と前記第２の画像間で画像変換を行うための変換行列を算出する変換行列算出部をさらに備える
請求項７記載の画像処理装置。
【請求項１０】
前記変換行列算出部は、ロバスト推定を用いて前記変換行列の算出を行う
請求項９記載の画像処理装置。
【請求項１１】
画像から特徴点を検出する工程と、
前記検出した特徴点の位置を基準とした画像領域内における二画素の画素差分値を閾値と比較して、比較結果を示す二値化情報を前記特徴点に対応する特徴量の一成分として生成する工程と
を含む画像処理方法。
【請求項１２】
画像から特徴点を検出する手順と、
前記検出した特徴点の位置を基準とした画像領域内における二画素の画素差分値を閾値と比較して、比較結果を示す二値化情報を前記特徴点に対応する特徴量の一成分として生成する手順と
をコンピュータで実行させるプログラム。
【請求項１】
画像から特徴点を検出する特徴点検出処理部と、
前記検出した特徴点の位置を基準とした画像領域内における二画素の画素差分値を閾値と比較して、比較結果を示す二値化情報を前記特徴点に対応する特徴量の一成分として生成する特徴量生成処理部と
を備える画像処理装置。
【請求項２】
前記特徴量生成処理部は、前記画像領域内における予め指定された二画素の画素差分値を閾値と比較する
請求項１記載の画像処理装置。
【請求項３】
前記特徴量生成処理部は、隣接する二画素の画素差分値を閾値と比較する
請求項２記載の画像処理装置。
【請求項４】
前記特徴量生成処理部は、前記特徴点の位置を中心とした円周状に位置する画素について、隣接する二画素の画素差分値を閾値と比較する
請求項３記載の画像処理装置。
【請求項５】
前記特徴量生成処理部は、学習によって予め決定された前記画像領域内における位置の二画素の画素差分値を閾値と比較する
請求項２記載の画像処理装置。
【請求項６】
前記特徴量生成処理部は、前記二画素の画素差分値と比較する閾値を「０」とする
請求項２記載の画像処理装置。
【請求項７】
第１の画像から検出された特徴点について、該特徴点に対応する特徴量と最も類似する特徴量を、第２の画像から検出された特徴点に対応する特徴量から探索して、前記第１の画像から検出された特徴点に対応する前記第２の画像の特徴点を検出する対応点探索処理部をさらに備える
請求項１記載の画像処理装置。
【請求項８】
前記対応点探索処理部は、前記第１の画像から検出された特徴点に対応する特徴量と前記第２の画像から検出された特徴点に対応する特徴量との排他的論理和演算を行い、演算結果に基づいて最も類似する特徴量の探索を行う
請求項７記載の画像処理装置。
【請求項９】
前記第１の画像から検出された特徴点と、該特徴点に対応する前記第２の画像の特徴点の対応関係から、前記第１の画像と前記第２の画像間で画像変換を行うための変換行列を算出する変換行列算出部をさらに備える
請求項７記載の画像処理装置。
【請求項１０】
前記変換行列算出部は、ロバスト推定を用いて前記変換行列の算出を行う
請求項９記載の画像処理装置。
【請求項１１】
画像から特徴点を検出する工程と、
前記検出した特徴点の位置を基準とした画像領域内における二画素の画素差分値を閾値と比較して、比較結果を示す二値化情報を前記特徴点に対応する特徴量の一成分として生成する工程と
を含む画像処理方法。
【請求項１２】
画像から特徴点を検出する手順と、
前記検出した特徴点の位置を基準とした画像領域内における二画素の画素差分値を閾値と比較して、比較結果を示す二値化情報を前記特徴点に対応する特徴量の一成分として生成する手順と
をコンピュータで実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１２−２３４２５７（Ｐ２０１２−２３４２５７Ａ）
【公開日】平成２４年１１月２９日（２０１２．１１．２９）
【国際特許分類】
【出願番号】特願２０１１−１００８３５（Ｐ２０１１−１００８３５）
【出願日】平成２３年４月２８日（２０１１．４．２８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年１１月２９日（２０１２．１１．２９）
【国際特許分類】
【出願日】平成２３年４月２８日（２０１１．４．２８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]