画像処理装置と画像処理方法およびプログラム
【課題】簡単な構成で高速に特徴点を空間的に均一に間引くことができるようにする。
【解決手段】特徴点検出部２１１は、画像から特徴点を検出する。信頼度算出部２１２は、検出した特徴点の信頼度を算出する。間引き処理部２２は、画像を複数領域に分割して、分割領域毎に特徴点が予め設定した特徴点制限数以内となるように、検出した特徴点の間引きを信頼度に基づいて行う。例えば特徴点が特徴点制限数以内となるように信頼度の低い順から間引きする。特徴点の数は、分割領域毎に特徴点制限数以内の数となるので、特徴点を空間的に均一に間引くことができる。
【解決手段】特徴点検出部２１１は、画像から特徴点を検出する。信頼度算出部２１２は、検出した特徴点の信頼度を算出する。間引き処理部２２は、画像を複数領域に分割して、分割領域毎に特徴点が予め設定した特徴点制限数以内となるように、検出した特徴点の間引きを信頼度に基づいて行う。例えば特徴点が特徴点制限数以内となるように信頼度の低い順から間引きする。特徴点の数は、分割領域毎に特徴点制限数以内の数となるので、特徴点を空間的に均一に間引くことができる。
【発明の詳細な説明】
【技術分野】
【０００１】
この技術は、画像処理装置と画像処理方法およびプログラムに関する。詳しくは、画像から検出した特徴点を空間的に均一に間引くことができるようにする。
【背景技術】
【０００２】
従来、画像中のオブジェクト検索、画像シーケンス中の移動オブジェクトの検出、複数画像の位置合わせなど様々な状況で、複数画像間でのオブジェクトの対応付けが必要となっている。
【０００３】
オブジェクトの対応付けの手法としては、ブロックマッチングと呼ばれる手法や、特徴点ベースの手法が用いられている。
【０００４】
ブロックマッチングでは、ある画像をブロックごとの領域に分割して、差分絶対値和（ＳＡＤ：Sum of Absolute Difference）や正規化相互相関（ＮＣＣ：Normalized Cross Correlation）が算出される。また、算出された差分絶対値和や正規化相互相関に基づき、それぞれのブロックと類似度の高い領域がもう一枚の画像中から探索される。この手法は、探索範囲内でブロック中心座標を少しずつずらしながら、ブロック領域の類似度を計算する必要があるため、計算コストが非常に高い。更に、対応付けが難しい領域も対応する位置を探す必要があるために処理効率も悪い。
【０００５】
特徴点ベースの手法は、初めに、画像中の物体や絵柄のコーナーなど対応付けのしやすい位置を特徴点として検出する。特徴点の検出手法は様々あるが、代表的なものとして、Ｈａｒｒｉｓコーナー検出器（非特許文献１参照）やＦＡＳＴ（非特許文献２参照）、ＤｏＧ（Difference of Gaussian）ｍａｘｉｍａ（非特許文献３参照）などを挙げることができる。
【０００６】
このようにして検出された特徴点に対して、二画像間で対応付けを行うことで画像の位置合わせが可能となる。例えば、特徴点座標と対応関係からロバスト推定手法を用いて、二画像間の座標系の関係を記述する最適なアフィン変換行列や射影変換行列（Homography）などの画像変換行列を求める。この画像変換行列を用いることで、画像の位置合わせが可能となる。
【０００７】
また、細かい絵柄の多い画像（例えば木や草の多い画像）に対して特徴点の検出を行うと、大量の特徴点が検出されることがある。ここで、大量の特徴点が検出されると、特徴点に対応ずる対応点の探索や画像変換行列の算出に要する時間が長くなってしまう。このため、特徴点とみなす閾値を調整する第１の手法を用いることで特徴点の数を制御することができる。しかし、閾値を調整して特徴点の数を制御すると特徴点が空間的に偏った分布となってしまう場合がある。また、「Non Maximum Suppression」と呼ばれる第２の手法では、特徴点毎に特徴点としての信頼度（スコア）を求め、周囲の隣接する特徴点と比べてスコアの高い特徴点のみを残すことで、特徴点の数を削減する。この第２の手法では、スコアの高い特徴点がすべて残るため、特徴点数は絵柄依存となり、所望の特徴点数に制御することができない。また、空間的に均一に間引くことはできない。このため、第１および第２の手法を改善した「ＡＮＭＳ（Adaptive Non Maximal Suppression）」と呼ばれる手法が提案されている （非特許文献４参照）」。
【先行技術文献】
【非特許文献】
【０００８】
【非特許文献１】C. Harris, M.J. Stephens, "A combined corner and edge detector", In Alvey Vision Conference, pp. 147-152, 1988
【非特許文献２】Edward Rosten, Tom Drummond, "Machine learning for high-speed corner detection", European Conference on Computer Vision (ICCV), Vol. 1, pp. 430-443, 2006
【非特許文献３】David G. Lowe, "Distinctive Image Features from Scale-Invariant Keypoints", International Journal of Computer Vision (IJCV), Vol. 60, No. 2, pp. 91-110, 2004
【非特許文献４】M. Brown, R. Szeliski, S. Winder, "Multi-Image Matching Using Multi-Scale Oriented Patches", Computer Vision and Pattern Recognition (CVPR), Vol. 1, pp. 510-517, 2005
【発明の概要】
【発明が解決しようとする課題】
【０００９】
ところで、ＡＮＭＳは、特徴点数の上限をパラメータで制御しつつ、空間的に均一に間引くことができる。この手法は初めに、各特徴点に対して、自身のスコアより大きなスコアを持つ特徴点のうち、最も座標の近い特徴点までの距離（以下、半径と呼ぶ）を計算する必要がある。更に、すべての特徴点の座標とその半径をメモリに保持する必要がある。半径のサイズを初め「０」にセットし、そのときの特徴点数をカウントし、設定した上限数と比較して大きかった場合は、半径のサイズを少し大きくする。これを繰り返し、設定した上限数以下に収まった時に間引き終了となる。このため、高速なＣＰＵと容量の大きいメモリが必要となってしまう。
【００１０】
そこで、本技術では、簡単な構成で高速に特徴点を空間的に均一に間引くことができる画像処理装置と画像処理方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
この技術の第１の側面は、画像から特徴点を検出する特徴点検出部と、前記検出した特徴点の信頼度を算出する信頼度算出部と、前記画像を複数領域に分割して、該分割領域毎に特徴点の数が特徴点制限数以内となるように、前記検出した特徴点の間引きを前記信頼度に基づいて行う間引き処理部とを備える画像処理装置にある。
【００１２】
この技術においては、特徴点検出部によって、画像から特徴点が検出される。また、信頼度算出部によって、検出した特徴点の信頼度が算出される。さらに間引き処理部では、画像を複数領域に分割して、特徴点の数が分割領域毎に設定されている特徴点制限数以内となるように、検出した特徴点が信頼度の低い特徴点から間引きされる。ここで、画像から特徴点としてコーナーが検出される場合、コーナーの強度が信頼度として用いられる。また、画像をあらかじめ定められた平滑度で段階的に平滑化して生成したスケール画像の差分に基づいて特徴点の抽出が行われる場合、差分値が信頼度として用いられる。また、二次元の画像に新たな次元を加えた三次元領域を複数の領域に分割して、分割領域毎に間引きが行われる。
【００１３】
この技術の第２の側面は、画像から特徴点を検出する工程と、前記検出した特徴点の信頼度を算出する工程と、前記画像を複数領域に分割して、該分割領域毎に特徴点の数が特徴点制限数以内となるように、前記検出した特徴点の間引きを前記信頼度に基づいて行う工程とを備える画像処理方法にある。
【００１４】
この技術の第３の側面は、画像から特徴点を検出する手順と、前記検出した特徴点の信頼度を算出する手順と、前記画像を複数領域に分割して、該分割領域毎に特徴点の数が特徴点制限数以内となるように、前記検出した特徴点の間引きを前記信頼度に基づいて行う手順とをコンピュータで実行させるプログラムにある。
【００１５】
なお、本技術のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ上でプログラムに応じた処理が実現される。
【発明の効果】
【００１６】
この技術によれば、画像から特徴点が検出される。また、検出した特徴点の信頼度が算出される。さらに、画像を複数領域に分割して、分割領域毎に特徴点の数が特徴点制限数以内となるように、検出した特徴点の間引きが信頼度に基づいて行われる。このため、簡単な構成で高速に特徴点を空間的に均一に間引くことができるようになる。
【図面の簡単な説明】
【００１７】
【図１】撮像装置の概略構成を示す図である。
【図２】画像処理部においてオブジェクトの対応付け処理を行う部分の構成を例示した図である。
【図３】画像をブロック単位で分割した図である。
【図４】特徴点の間引き処理を説明するための図である。
【図５】ＤｏＧ画像を説明するための図である。
【発明を実施するための形態】
【００１８】
以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．撮像装置の概略構成
２．画像処理部においてオブジェクトの対応付け処理を行う部分の構成
３．間引き処理
【００１９】
＜１．撮像装置の構成＞
図１は、本技術の実施の形態における画像処理装置を用いた撮像装置の概略構成を示す図である。
【００２０】
撮像装置１０は、レンズユニット１１、撮像部１２、画像処理部２０、表示部３１、メモリ部３２、記録デバイス部３３、操作部３４、センサ部３５、制御部４０を有している。また、各部はバス４５を介して接続されている。
【００２１】
レンズユニット１１は、フォーカスレンズやズームレンズ、絞り機構等を有している。レンズユニット１１は、制御部４０からの指示に従いレンズを駆動して、被写体の光画像を撮像部１２の撮像面上に結像させる。また、レンズユニット１１は、撮像素子の１２の撮像面上に結像される光学像が所望の明るさとなるように、絞り機構を調整する。
【００２２】
撮像部１２は、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等の撮像素子と、撮像素子を駆動する駆動回路等を有している。撮像部１２は、光電変換を行い、撮像素子の撮像面上に結像された光画像を電気信号に変換する。さらに、撮像部１２は電気信号のノイズ除去やアナログ／デジタル変換を行い、画像信号を生成して画像処理部２０、または画像処理部２０を介してメモリ部３２に出力する。
【００２３】
画像処理部２０は、画像信号に対して、種々のカメラ信号処理、画像信号の符号化処理や復号処理等を制御部４０からの制御信号に基づいて行う。さらに、画像処理部２０は、オブジェクトの対応付け処理、対応付け結果を用いた画像処理を、制御部４０からの制御信号に基づいて行う。なお、オブジェクトの対応付け処理、対応付け結果を用いた画像処理については後述する。
【００２４】
表示部３１は、液晶表示素子等を用いて構成されており、画像処理部２０によって処理された画像信号や、メモリ部３２に格納されている画像信号に基づき画像表示を行う。
【００２５】
メモリ部３２は、ＤＲＡＭ（Dynamic Random Access Memory）などの半導体メモリから構成されており、画像処理部２０で処理する画像データや画像処理部２０で処理された画像データ、制御部４０における制御プログラム及び各種データなどが一時記憶される。
【００２６】
記録デバイス部３３では、フラッシュメモリなどの半導体メモリ、磁気ディスク、光ディスク、光磁気ディスクなどの記録メディアが用いられている。記録デバイス部３３は、例えば撮影時に撮像部１２で生成されて画像処理部２０で所定の符号化方式で符号化されてメモリ部３２に格納された画像信号を記録メディアに記録する。また、記録デバイス部３３は、記録メディアに記録されている画像信号をメモリ部３２に読み出す。
【００２７】
操作部３４は、シャッターボタンなどのハードウェアキー、操作ダイアル、タッチパネルなどの入力デバイスで構成されている。操作部３４は、ユーザの入力操作に応じた操作信号を生成して制御部４０に出力する。
【００２８】
センサ部３５は、ジャイロセンサ、加速度センサ、地磁気センサ、位置測位センサなどで構成され、各種情報の検出を行う。これらの情報は、撮影された画像データに対して、メタデータとして付加されるほか、各種画像処理、制御処理にも利用される。
【００２９】
制御部４０は、操作部３４から供給された操作信号に基づき各部の動作を制御して、撮像装置１０の動作がユーザ操作に応じた動作となるように各部を制御する。
【００３０】
＜２．画像処理部においてオブジェクトの対応付け処理を行う部分の構成＞
図２は、画像処理部２０においてオブジェクトの対応付け処理を行う部分の構成を例示している。画像処理部２０には、特徴点検出処理部２１と特徴点の間引きを行う間引き処理部２２が設けられている。さらに、二画像間で同一オブジェクトの対応付けを行うために用いる特徴量を生成する特徴量生成処理部２３、特徴量に基づいてオブジェクトの対応付けを行うための対応点探索処理部２４と変換行列算出処理部２５が設けられている。
【００３１】
特徴点処理部２１は、撮像画像に対して特徴点の検出を行う特徴点検出部２１１と、検出した特徴点の信頼度を算出する信頼度算出部２１２を有している。特徴点検出部２１１は、例えばＨａｒｒｉｓコーナー検出器、ＦＡＳＴ、ＤｏＧｍａｘｉｍａなどを用いて特徴点を検出する。また、Hessianフィルタ等を用いて特徴点を検出してもよい。信頼度算出部２１２は、特徴点検出部２１１で検出された特徴点について、特徴点としての信頼度（スコア）を算出する。特徴点処理部２１は、検出した特徴点の座標および信頼度を間引き処理部２２に出力する。
【００３２】
間引き処理部２２は、特徴点処理部２１で検出された特徴点の間引き処理を行う。検出された特徴点が多いと、その後に行われる対応点探索処理等で処理時間が長くなってしまう。また、隣接する特徴点や多すぎる特徴点は画像間での誤対応を引き起こす傾向にある。したがって、間引き処理部２２は、特徴点が空間的に均一となるように、特徴点毎の信頼度（スコア）を利用して特徴点の間引きを行う。具体的には、画像を複数領域に分割して、分割領域毎に特徴点の数が特徴点制限数以内となるように、特徴点毎の信頼度を利用して特徴点の間引きを行う。なお、間引き処理については後述する。
【００３３】
特徴量生成処理部２３は、特徴点を中心とした局所領域を記述する特徴量の生成を行う。特徴量生成処理部２３は、間引き処理後に残った特徴点に対して特徴量生成処理を行い、特徴点毎に特徴点を中心とした局所領域に応じた特徴量を生成する。特徴量の生成は、ＳＩＦＴやＳＵＲＦなど様々な手法を用いることができる。また、特徴量生成処理では、任意の座標の二画素を選択して、その二画素の画素値の差分を計算する。この計算結果を閾値と比較して、比較結果に基づき二値化情報を生成して特徴量の一成分としてもよい。
【００３４】
対応点探索処理部２４は、画像間で類似する特徴量を探索して、最も類似した特徴量の特徴点同士を同一オブジェクトの対応する点とする。特徴量の成分は、二値化データであることから、特徴量の成分毎に排他論理和を算出する。排他論理和の演算結果は、成分が等しい場合に排他論理和が「０」、成分が異なる場合に排他論理和が「１」となる。したがって、対応点探索処理部２４は、各成分の排他論理和の演算結果の合計が最も小さい特徴点を類似度が最も高い特徴点である対応点とする。
【００３５】
変換行列算出処理部２５は、特徴点の座標と対応点探索処理部２４で得られた対応点の座標からロバスト推定手法を用いて、２枚間の座標系の関係を記述する最適なアフィン変換行列や射影変換行列（Homography）を求める。なお、これらの行列を画像変換行列と呼ぶ。すなわち、画像変換行列を用いれば、一方の画像を他方の画像の座標系に変換することが可能となる。このため、例えば複数の撮像画像を用いて、オブジェクトの画像で欠落部分や重複部分を生じないように正しく画像を繋ぎ合わせてパノラマ画像を生成することができる。また、複数の撮像画像を生成するとき、撮像装置の傾き等生じても精度良く画像の繋ぎ合わせを行うことができる。
【００３６】
＜３．間引き処理＞
次に、間引き処理について説明する。間引き処理部２２は、画像をブロック単位に分割する。図３は、ブロックのサイズを縦方向「Ｗ」、横方向「Ｈ」とした場合を例示している。なお、所定サイズで画像を複数ブロックに分割する場合、画像端で所定サイズよりも小さいサイズのブロックが生じてもよい。
【００３７】
図４は、間引き処理を説明するための図である。図４の（Ａ）（Ｂ）に示すように、分割後の１つのブロックにおいて、例えば特徴点検出処理によって７点の特徴点が検出されたとする。間引き処理部２２は、検出された特徴点の順位付けを、特注点の信頼度（スコア）に基づいて行う。なお、図４の（Ｂ）では、信頼度の高い順に「ａ1，ａ2，ａ3，・・・，ａ7」と定義している。
【００３８】
特徴点の信頼度としては、例えば特徴点検出処理でＨａｒｒｉｓコーナー検出を行って特徴点を検出した場合、コーナー検出で算出されたコーナーらしさを示す関数値（コーナー強度）を信頼度として用いて、関数値が大きい特徴点を信頼度の高い特徴点とする。すなわち画像のある位置（ｘ，ｙ）における画素値をＩ（ｘ，ｙ）とするとき、式（１）に示す行列Ｍの固有値を求める。
【００３９】
【数１】
【００４０】
行列Ｍの２個の固有値α，βが共に大きいときにはその位置にコーナーが存在する事を示していることから、コーナーらしさを示す関数値、つまり式（２）に示す特徴点検出関数Ｒの関数値を信頼度として用いる。なお、式（２）において、Ｄｅｔ（Ｍ）は式（３）、Ｔｒ（Ｍ）は式（４）に示す値である。また、式（４）におけるｋは定数である。
【００４１】
【数２】
【００４２】
また、ＤｏＧ（Difference of Gaussian）ｍａｘｉｍａによって特徴点を検出した場合、ＤｏＧを信頼度として用いて、ＤｏＧ値が大きい特徴点を信頼度の高い特徴点とすればよい。ここで、位置（ｘ，ｙ）における画素値をＩ（ｘ，ｙ）とするとき、式（５）から平滑画像Ｌ（ｘ,ｙ,σ）を生成できる。なお、式（５）において、「Ｇ（ｘ,ｙ,σ）」は式（６）に示すガウス関数である。
【００４３】
【数３】
【００４４】
さらに、式（７）および図５に示すように、スケールの異なる平滑画像との差分を算出することで、ＤｏＧ画像Ｄ（ｘ,ｙ,σ）を生成できる。すなわちＤｏＧ値を算出できる。なお、式（７）および図５におけるｋは、増加率を示している。
【００４５】
【数４】
【００４６】
間引き処理部２２は、特徴点の信頼度に基づき、信頼度の高い順から所望の数の特徴点を選択して、選択されていない特徴点の間引きを行う。例えば、ブロック毎の特徴点制限数を４とする場合、図４の（Ｃ）に示すように、間引き処理部２２は、信頼度の高い４つの特徴点ａ1〜ａ4を選択して、特徴点ａ5〜ａ7を間引く。なお、ブロック内の特徴点が４つ以下である場合は、間引かれる特徴点がない。
【００４７】
間引き処理部２２は、上述のように、特徴点の信頼度に基づき、信頼度の高い順から所望の数の特徴点を選択して残りの特徴点を間引く処理をブロック毎に行う。したがって、間引き処理部２２で間引き処理が行われた後の特徴点は、画像の一部に偏ることなく画像全体に分散した状態となる。
【００４８】
間引き処理部２２は、このような間引き処理を行うことにより、簡単な構成で高速に特徴点を空間的に均一となるように間引くことができる。
【００４９】
また、画像処理部２０では、特徴点の検出と間引き処理を、異なるスケールの画像毎に行うようにしてもよい。この場合、特徴点処理部２１から対応点探索処理部２４までの処理を異なるスケールの画像毎に行い、スケールの画像毎に検出した特徴点と対応点を用いて変換行列算出処理部２５で画像変換行列を算出する。また、特徴点処理部２１から間引き処理部２２までの処理を異なるスケールの画像毎に行い、スケールの画像毎に検出した特徴点を用いて、特徴量生成処理部２３から変換行列算出処理部２５までの処理を行うようにしてもよい。なお、異なるスケールの画像から検出した特徴点や対応点の位置は、所定のスケールの画像例えば入力画像に対応させた位置に変換して、変換後の位置の特徴点や対応点を用いて変換行列算出処理や特徴量生成処理を行う。
【００５０】
特徴点制限数は、予め設定されている値でもよく、ブロックのサイズやブロックの位置に応じて設定してもよい。例えばブロックサイズの面積が１／２倍のブロックについては特徴点制限数を１／２倍とする。また、所望のオブジェクトが特定の範囲内の位置となることが明らかな場合には、特定の範囲を除くブロックについての特徴点制限数を少なくするようにしてもよい。
【００５１】
特徴点の間引きは、二次元の画像に新たな次元を加えた三次元領域を複数の領域に分割して、分割領域毎に間引きを行うことで、３次元空間で特徴点が均一となるように間引きを行うようにしてもよい。例えば、特徴点の検出において画像中の位置（x, y）だけでなく、スケール（s）の異なる画像を用いる。このような場合、特徴点は（x, y, s）の３次元空間上に分布していると考えられる。この空間を直方体で分割して、各直方体に含まれる特徴点の数の上限を設定して、各直方体に含まれる特徴点の数が上限値以内となるように、信頼度の低い順から間引きする。このような間引き処理を各直方体に対して行うことで、三次元空間においても、簡単な構成で高速に特徴点の数が空間的に均一となるように間引くことができる。また、ＸＹ平面の二次元空間に対して、ＸＹ平面と直交するＺ方向を含めた三次元空間で、特徴点の数が空間的に均一となるように間引きを行うようにしてもよい。
【００５２】
このように、本技術によれば、特徴点の数を空間的に均一に間引くことが可能となり、特徴点の対応付けの精度を向上させることができる。また、画像間で重なり領域が少ない場合でも安定して位置合わせを行うことが可能となる。
【００５３】
さらに、ブロック内の特徴点の数が特徴点制限数以内となるように、信頼度の低い特徴点を間引くことから、間引き処理を簡単な構成で高速に行うことができる。したがって、限られたリソースの組み込み機器でも高速な位置合わせが可能となる。
【００５４】
明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
【００５５】
例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
【００５６】
また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ(Local Area Network)やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【００５７】
さらに、本技術は、上述した実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
【００５８】
なお、本技術は以下のような構成も取ることができる。
（１） 画像から特徴点を検出する特徴点検出部と、
前記検出した特徴点の信頼度を算出する信頼度算出部と、
前記画像を複数領域に分割して、該分割領域毎に特徴点の数が特徴点制限数以内となるように、前記検出した特徴点の間引きを前記信頼度に基づいて行う間引き処理部と
を備える画像処理装置。
（２） 前記間引き処理部は、前記信頼度の低い特徴点から順に間引きする（１）に記載の画像処理装置。
（３） 前記間引き処理部は、前記領域毎に前記特徴点制限数を設定する（１）または（２）に記載の画像処理装置。
（４） 前記特徴点検出部は、前記画像から特徴点としてコーナーを検出し、
前記信頼度算出部は、前記コーナーの強度を前記信頼度とする（１）乃至（３）の何れかに記載の画像処理装置。
（５） 前記特徴点検出部は、前記画像をあらかじめ定められた平滑度で段階的に平滑化して生成したスケール画像に基づいて前記特徴点を抽出し、
前記信頼度算出部は、前記スケール画像間の差分値を前記信頼度とする（１）乃至（３）の何れかに記載の画像処理装置。
（６） 前記間引き処理部は、二次元の前記画像に新たな次元を加えた三次元領域を複数の領域に分割して、該分割領域毎に間引きを行う（１）乃至（５）の何れかに記載の画像処理装置。
（７） 前記間引き処理部は、二次元の前記画像にスケールを含めて三次元領域を設定する（６）に記載の画像処理装置。
【産業上の利用可能性】
【００５９】
この技術の画像処理装置と画像処理方法およびプログラムでは、画像から特徴点が検出される。また、検出した特徴点の信頼度が算出される。さらに、画像を複数領域に分割して、分割領域毎に特徴点が予め設定した特徴点制限数以内となるように、検出した特徴点の間引きが信頼度に基づいて行われる。このため、簡単な構成で高速に特徴点を空間的に均一に間引くことができるようになる。したがって、複数の画像間の特徴点の対応関係から同一オブジェクトを探索する場合、効率よく同一オブジェクトを探索できるようになり、例えばオブジェクトの画像で欠落部分や重複部分を生じないように正しく画像を繋ぎ合わせてパノラマ画像を容易に生成できるようになる。
【符号の説明】
【００６０】
１０・・・撮像装置、１１・・・レンズユニット、１２・・・撮像部、２０・・・画像処理部、２１・・・特徴点処理部、２２・・・間引き処理部、２３・・・特徴量生成処理部、２４・・・対応点探索処理部、２５・・・変換行列算出処理部、３１・・・表示部、３２・・・メモリ部、３３・・・記録デバイス部、３４・・・操作部、３５・・・センサ部、４０・・・制御部、４５・・・バス、２１１・・・特徴点検出部、２１２・・・信頼度算出部
【技術分野】
【０００１】
この技術は、画像処理装置と画像処理方法およびプログラムに関する。詳しくは、画像から検出した特徴点を空間的に均一に間引くことができるようにする。
【背景技術】
【０００２】
従来、画像中のオブジェクト検索、画像シーケンス中の移動オブジェクトの検出、複数画像の位置合わせなど様々な状況で、複数画像間でのオブジェクトの対応付けが必要となっている。
【０００３】
オブジェクトの対応付けの手法としては、ブロックマッチングと呼ばれる手法や、特徴点ベースの手法が用いられている。
【０００４】
ブロックマッチングでは、ある画像をブロックごとの領域に分割して、差分絶対値和（ＳＡＤ：Sum of Absolute Difference）や正規化相互相関（ＮＣＣ：Normalized Cross Correlation）が算出される。また、算出された差分絶対値和や正規化相互相関に基づき、それぞれのブロックと類似度の高い領域がもう一枚の画像中から探索される。この手法は、探索範囲内でブロック中心座標を少しずつずらしながら、ブロック領域の類似度を計算する必要があるため、計算コストが非常に高い。更に、対応付けが難しい領域も対応する位置を探す必要があるために処理効率も悪い。
【０００５】
特徴点ベースの手法は、初めに、画像中の物体や絵柄のコーナーなど対応付けのしやすい位置を特徴点として検出する。特徴点の検出手法は様々あるが、代表的なものとして、Ｈａｒｒｉｓコーナー検出器（非特許文献１参照）やＦＡＳＴ（非特許文献２参照）、ＤｏＧ（Difference of Gaussian）ｍａｘｉｍａ（非特許文献３参照）などを挙げることができる。
【０００６】
このようにして検出された特徴点に対して、二画像間で対応付けを行うことで画像の位置合わせが可能となる。例えば、特徴点座標と対応関係からロバスト推定手法を用いて、二画像間の座標系の関係を記述する最適なアフィン変換行列や射影変換行列（Homography）などの画像変換行列を求める。この画像変換行列を用いることで、画像の位置合わせが可能となる。
【０００７】
また、細かい絵柄の多い画像（例えば木や草の多い画像）に対して特徴点の検出を行うと、大量の特徴点が検出されることがある。ここで、大量の特徴点が検出されると、特徴点に対応ずる対応点の探索や画像変換行列の算出に要する時間が長くなってしまう。このため、特徴点とみなす閾値を調整する第１の手法を用いることで特徴点の数を制御することができる。しかし、閾値を調整して特徴点の数を制御すると特徴点が空間的に偏った分布となってしまう場合がある。また、「Non Maximum Suppression」と呼ばれる第２の手法では、特徴点毎に特徴点としての信頼度（スコア）を求め、周囲の隣接する特徴点と比べてスコアの高い特徴点のみを残すことで、特徴点の数を削減する。この第２の手法では、スコアの高い特徴点がすべて残るため、特徴点数は絵柄依存となり、所望の特徴点数に制御することができない。また、空間的に均一に間引くことはできない。このため、第１および第２の手法を改善した「ＡＮＭＳ（Adaptive Non Maximal Suppression）」と呼ばれる手法が提案されている （非特許文献４参照）」。
【先行技術文献】
【非特許文献】
【０００８】
【非特許文献１】C. Harris, M.J. Stephens, "A combined corner and edge detector", In Alvey Vision Conference, pp. 147-152, 1988
【非特許文献２】Edward Rosten, Tom Drummond, "Machine learning for high-speed corner detection", European Conference on Computer Vision (ICCV), Vol. 1, pp. 430-443, 2006
【非特許文献３】David G. Lowe, "Distinctive Image Features from Scale-Invariant Keypoints", International Journal of Computer Vision (IJCV), Vol. 60, No. 2, pp. 91-110, 2004
【非特許文献４】M. Brown, R. Szeliski, S. Winder, "Multi-Image Matching Using Multi-Scale Oriented Patches", Computer Vision and Pattern Recognition (CVPR), Vol. 1, pp. 510-517, 2005
【発明の概要】
【発明が解決しようとする課題】
【０００９】
ところで、ＡＮＭＳは、特徴点数の上限をパラメータで制御しつつ、空間的に均一に間引くことができる。この手法は初めに、各特徴点に対して、自身のスコアより大きなスコアを持つ特徴点のうち、最も座標の近い特徴点までの距離（以下、半径と呼ぶ）を計算する必要がある。更に、すべての特徴点の座標とその半径をメモリに保持する必要がある。半径のサイズを初め「０」にセットし、そのときの特徴点数をカウントし、設定した上限数と比較して大きかった場合は、半径のサイズを少し大きくする。これを繰り返し、設定した上限数以下に収まった時に間引き終了となる。このため、高速なＣＰＵと容量の大きいメモリが必要となってしまう。
【００１０】
そこで、本技術では、簡単な構成で高速に特徴点を空間的に均一に間引くことができる画像処理装置と画像処理方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
この技術の第１の側面は、画像から特徴点を検出する特徴点検出部と、前記検出した特徴点の信頼度を算出する信頼度算出部と、前記画像を複数領域に分割して、該分割領域毎に特徴点の数が特徴点制限数以内となるように、前記検出した特徴点の間引きを前記信頼度に基づいて行う間引き処理部とを備える画像処理装置にある。
【００１２】
この技術においては、特徴点検出部によって、画像から特徴点が検出される。また、信頼度算出部によって、検出した特徴点の信頼度が算出される。さらに間引き処理部では、画像を複数領域に分割して、特徴点の数が分割領域毎に設定されている特徴点制限数以内となるように、検出した特徴点が信頼度の低い特徴点から間引きされる。ここで、画像から特徴点としてコーナーが検出される場合、コーナーの強度が信頼度として用いられる。また、画像をあらかじめ定められた平滑度で段階的に平滑化して生成したスケール画像の差分に基づいて特徴点の抽出が行われる場合、差分値が信頼度として用いられる。また、二次元の画像に新たな次元を加えた三次元領域を複数の領域に分割して、分割領域毎に間引きが行われる。
【００１３】
この技術の第２の側面は、画像から特徴点を検出する工程と、前記検出した特徴点の信頼度を算出する工程と、前記画像を複数領域に分割して、該分割領域毎に特徴点の数が特徴点制限数以内となるように、前記検出した特徴点の間引きを前記信頼度に基づいて行う工程とを備える画像処理方法にある。
【００１４】
この技術の第３の側面は、画像から特徴点を検出する手順と、前記検出した特徴点の信頼度を算出する手順と、前記画像を複数領域に分割して、該分割領域毎に特徴点の数が特徴点制限数以内となるように、前記検出した特徴点の間引きを前記信頼度に基づいて行う手順とをコンピュータで実行させるプログラムにある。
【００１５】
なお、本技術のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ上でプログラムに応じた処理が実現される。
【発明の効果】
【００１６】
この技術によれば、画像から特徴点が検出される。また、検出した特徴点の信頼度が算出される。さらに、画像を複数領域に分割して、分割領域毎に特徴点の数が特徴点制限数以内となるように、検出した特徴点の間引きが信頼度に基づいて行われる。このため、簡単な構成で高速に特徴点を空間的に均一に間引くことができるようになる。
【図面の簡単な説明】
【００１７】
【図１】撮像装置の概略構成を示す図である。
【図２】画像処理部においてオブジェクトの対応付け処理を行う部分の構成を例示した図である。
【図３】画像をブロック単位で分割した図である。
【図４】特徴点の間引き処理を説明するための図である。
【図５】ＤｏＧ画像を説明するための図である。
【発明を実施するための形態】
【００１８】
以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．撮像装置の概略構成
２．画像処理部においてオブジェクトの対応付け処理を行う部分の構成
３．間引き処理
【００１９】
＜１．撮像装置の構成＞
図１は、本技術の実施の形態における画像処理装置を用いた撮像装置の概略構成を示す図である。
【００２０】
撮像装置１０は、レンズユニット１１、撮像部１２、画像処理部２０、表示部３１、メモリ部３２、記録デバイス部３３、操作部３４、センサ部３５、制御部４０を有している。また、各部はバス４５を介して接続されている。
【００２１】
レンズユニット１１は、フォーカスレンズやズームレンズ、絞り機構等を有している。レンズユニット１１は、制御部４０からの指示に従いレンズを駆動して、被写体の光画像を撮像部１２の撮像面上に結像させる。また、レンズユニット１１は、撮像素子の１２の撮像面上に結像される光学像が所望の明るさとなるように、絞り機構を調整する。
【００２２】
撮像部１２は、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等の撮像素子と、撮像素子を駆動する駆動回路等を有している。撮像部１２は、光電変換を行い、撮像素子の撮像面上に結像された光画像を電気信号に変換する。さらに、撮像部１２は電気信号のノイズ除去やアナログ／デジタル変換を行い、画像信号を生成して画像処理部２０、または画像処理部２０を介してメモリ部３２に出力する。
【００２３】
画像処理部２０は、画像信号に対して、種々のカメラ信号処理、画像信号の符号化処理や復号処理等を制御部４０からの制御信号に基づいて行う。さらに、画像処理部２０は、オブジェクトの対応付け処理、対応付け結果を用いた画像処理を、制御部４０からの制御信号に基づいて行う。なお、オブジェクトの対応付け処理、対応付け結果を用いた画像処理については後述する。
【００２４】
表示部３１は、液晶表示素子等を用いて構成されており、画像処理部２０によって処理された画像信号や、メモリ部３２に格納されている画像信号に基づき画像表示を行う。
【００２５】
メモリ部３２は、ＤＲＡＭ（Dynamic Random Access Memory）などの半導体メモリから構成されており、画像処理部２０で処理する画像データや画像処理部２０で処理された画像データ、制御部４０における制御プログラム及び各種データなどが一時記憶される。
【００２６】
記録デバイス部３３では、フラッシュメモリなどの半導体メモリ、磁気ディスク、光ディスク、光磁気ディスクなどの記録メディアが用いられている。記録デバイス部３３は、例えば撮影時に撮像部１２で生成されて画像処理部２０で所定の符号化方式で符号化されてメモリ部３２に格納された画像信号を記録メディアに記録する。また、記録デバイス部３３は、記録メディアに記録されている画像信号をメモリ部３２に読み出す。
【００２７】
操作部３４は、シャッターボタンなどのハードウェアキー、操作ダイアル、タッチパネルなどの入力デバイスで構成されている。操作部３４は、ユーザの入力操作に応じた操作信号を生成して制御部４０に出力する。
【００２８】
センサ部３５は、ジャイロセンサ、加速度センサ、地磁気センサ、位置測位センサなどで構成され、各種情報の検出を行う。これらの情報は、撮影された画像データに対して、メタデータとして付加されるほか、各種画像処理、制御処理にも利用される。
【００２９】
制御部４０は、操作部３４から供給された操作信号に基づき各部の動作を制御して、撮像装置１０の動作がユーザ操作に応じた動作となるように各部を制御する。
【００３０】
＜２．画像処理部においてオブジェクトの対応付け処理を行う部分の構成＞
図２は、画像処理部２０においてオブジェクトの対応付け処理を行う部分の構成を例示している。画像処理部２０には、特徴点検出処理部２１と特徴点の間引きを行う間引き処理部２２が設けられている。さらに、二画像間で同一オブジェクトの対応付けを行うために用いる特徴量を生成する特徴量生成処理部２３、特徴量に基づいてオブジェクトの対応付けを行うための対応点探索処理部２４と変換行列算出処理部２５が設けられている。
【００３１】
特徴点処理部２１は、撮像画像に対して特徴点の検出を行う特徴点検出部２１１と、検出した特徴点の信頼度を算出する信頼度算出部２１２を有している。特徴点検出部２１１は、例えばＨａｒｒｉｓコーナー検出器、ＦＡＳＴ、ＤｏＧｍａｘｉｍａなどを用いて特徴点を検出する。また、Hessianフィルタ等を用いて特徴点を検出してもよい。信頼度算出部２１２は、特徴点検出部２１１で検出された特徴点について、特徴点としての信頼度（スコア）を算出する。特徴点処理部２１は、検出した特徴点の座標および信頼度を間引き処理部２２に出力する。
【００３２】
間引き処理部２２は、特徴点処理部２１で検出された特徴点の間引き処理を行う。検出された特徴点が多いと、その後に行われる対応点探索処理等で処理時間が長くなってしまう。また、隣接する特徴点や多すぎる特徴点は画像間での誤対応を引き起こす傾向にある。したがって、間引き処理部２２は、特徴点が空間的に均一となるように、特徴点毎の信頼度（スコア）を利用して特徴点の間引きを行う。具体的には、画像を複数領域に分割して、分割領域毎に特徴点の数が特徴点制限数以内となるように、特徴点毎の信頼度を利用して特徴点の間引きを行う。なお、間引き処理については後述する。
【００３３】
特徴量生成処理部２３は、特徴点を中心とした局所領域を記述する特徴量の生成を行う。特徴量生成処理部２３は、間引き処理後に残った特徴点に対して特徴量生成処理を行い、特徴点毎に特徴点を中心とした局所領域に応じた特徴量を生成する。特徴量の生成は、ＳＩＦＴやＳＵＲＦなど様々な手法を用いることができる。また、特徴量生成処理では、任意の座標の二画素を選択して、その二画素の画素値の差分を計算する。この計算結果を閾値と比較して、比較結果に基づき二値化情報を生成して特徴量の一成分としてもよい。
【００３４】
対応点探索処理部２４は、画像間で類似する特徴量を探索して、最も類似した特徴量の特徴点同士を同一オブジェクトの対応する点とする。特徴量の成分は、二値化データであることから、特徴量の成分毎に排他論理和を算出する。排他論理和の演算結果は、成分が等しい場合に排他論理和が「０」、成分が異なる場合に排他論理和が「１」となる。したがって、対応点探索処理部２４は、各成分の排他論理和の演算結果の合計が最も小さい特徴点を類似度が最も高い特徴点である対応点とする。
【００３５】
変換行列算出処理部２５は、特徴点の座標と対応点探索処理部２４で得られた対応点の座標からロバスト推定手法を用いて、２枚間の座標系の関係を記述する最適なアフィン変換行列や射影変換行列（Homography）を求める。なお、これらの行列を画像変換行列と呼ぶ。すなわち、画像変換行列を用いれば、一方の画像を他方の画像の座標系に変換することが可能となる。このため、例えば複数の撮像画像を用いて、オブジェクトの画像で欠落部分や重複部分を生じないように正しく画像を繋ぎ合わせてパノラマ画像を生成することができる。また、複数の撮像画像を生成するとき、撮像装置の傾き等生じても精度良く画像の繋ぎ合わせを行うことができる。
【００３６】
＜３．間引き処理＞
次に、間引き処理について説明する。間引き処理部２２は、画像をブロック単位に分割する。図３は、ブロックのサイズを縦方向「Ｗ」、横方向「Ｈ」とした場合を例示している。なお、所定サイズで画像を複数ブロックに分割する場合、画像端で所定サイズよりも小さいサイズのブロックが生じてもよい。
【００３７】
図４は、間引き処理を説明するための図である。図４の（Ａ）（Ｂ）に示すように、分割後の１つのブロックにおいて、例えば特徴点検出処理によって７点の特徴点が検出されたとする。間引き処理部２２は、検出された特徴点の順位付けを、特注点の信頼度（スコア）に基づいて行う。なお、図４の（Ｂ）では、信頼度の高い順に「ａ1，ａ2，ａ3，・・・，ａ7」と定義している。
【００３８】
特徴点の信頼度としては、例えば特徴点検出処理でＨａｒｒｉｓコーナー検出を行って特徴点を検出した場合、コーナー検出で算出されたコーナーらしさを示す関数値（コーナー強度）を信頼度として用いて、関数値が大きい特徴点を信頼度の高い特徴点とする。すなわち画像のある位置（ｘ，ｙ）における画素値をＩ（ｘ，ｙ）とするとき、式（１）に示す行列Ｍの固有値を求める。
【００３９】
【数１】
【００４０】
行列Ｍの２個の固有値α，βが共に大きいときにはその位置にコーナーが存在する事を示していることから、コーナーらしさを示す関数値、つまり式（２）に示す特徴点検出関数Ｒの関数値を信頼度として用いる。なお、式（２）において、Ｄｅｔ（Ｍ）は式（３）、Ｔｒ（Ｍ）は式（４）に示す値である。また、式（４）におけるｋは定数である。
【００４１】
【数２】
【００４２】
また、ＤｏＧ（Difference of Gaussian）ｍａｘｉｍａによって特徴点を検出した場合、ＤｏＧを信頼度として用いて、ＤｏＧ値が大きい特徴点を信頼度の高い特徴点とすればよい。ここで、位置（ｘ，ｙ）における画素値をＩ（ｘ，ｙ）とするとき、式（５）から平滑画像Ｌ（ｘ,ｙ,σ）を生成できる。なお、式（５）において、「Ｇ（ｘ,ｙ,σ）」は式（６）に示すガウス関数である。
【００４３】
【数３】
【００４４】
さらに、式（７）および図５に示すように、スケールの異なる平滑画像との差分を算出することで、ＤｏＧ画像Ｄ（ｘ,ｙ,σ）を生成できる。すなわちＤｏＧ値を算出できる。なお、式（７）および図５におけるｋは、増加率を示している。
【００４５】
【数４】
【００４６】
間引き処理部２２は、特徴点の信頼度に基づき、信頼度の高い順から所望の数の特徴点を選択して、選択されていない特徴点の間引きを行う。例えば、ブロック毎の特徴点制限数を４とする場合、図４の（Ｃ）に示すように、間引き処理部２２は、信頼度の高い４つの特徴点ａ1〜ａ4を選択して、特徴点ａ5〜ａ7を間引く。なお、ブロック内の特徴点が４つ以下である場合は、間引かれる特徴点がない。
【００４７】
間引き処理部２２は、上述のように、特徴点の信頼度に基づき、信頼度の高い順から所望の数の特徴点を選択して残りの特徴点を間引く処理をブロック毎に行う。したがって、間引き処理部２２で間引き処理が行われた後の特徴点は、画像の一部に偏ることなく画像全体に分散した状態となる。
【００４８】
間引き処理部２２は、このような間引き処理を行うことにより、簡単な構成で高速に特徴点を空間的に均一となるように間引くことができる。
【００４９】
また、画像処理部２０では、特徴点の検出と間引き処理を、異なるスケールの画像毎に行うようにしてもよい。この場合、特徴点処理部２１から対応点探索処理部２４までの処理を異なるスケールの画像毎に行い、スケールの画像毎に検出した特徴点と対応点を用いて変換行列算出処理部２５で画像変換行列を算出する。また、特徴点処理部２１から間引き処理部２２までの処理を異なるスケールの画像毎に行い、スケールの画像毎に検出した特徴点を用いて、特徴量生成処理部２３から変換行列算出処理部２５までの処理を行うようにしてもよい。なお、異なるスケールの画像から検出した特徴点や対応点の位置は、所定のスケールの画像例えば入力画像に対応させた位置に変換して、変換後の位置の特徴点や対応点を用いて変換行列算出処理や特徴量生成処理を行う。
【００５０】
特徴点制限数は、予め設定されている値でもよく、ブロックのサイズやブロックの位置に応じて設定してもよい。例えばブロックサイズの面積が１／２倍のブロックについては特徴点制限数を１／２倍とする。また、所望のオブジェクトが特定の範囲内の位置となることが明らかな場合には、特定の範囲を除くブロックについての特徴点制限数を少なくするようにしてもよい。
【００５１】
特徴点の間引きは、二次元の画像に新たな次元を加えた三次元領域を複数の領域に分割して、分割領域毎に間引きを行うことで、３次元空間で特徴点が均一となるように間引きを行うようにしてもよい。例えば、特徴点の検出において画像中の位置（x, y）だけでなく、スケール（s）の異なる画像を用いる。このような場合、特徴点は（x, y, s）の３次元空間上に分布していると考えられる。この空間を直方体で分割して、各直方体に含まれる特徴点の数の上限を設定して、各直方体に含まれる特徴点の数が上限値以内となるように、信頼度の低い順から間引きする。このような間引き処理を各直方体に対して行うことで、三次元空間においても、簡単な構成で高速に特徴点の数が空間的に均一となるように間引くことができる。また、ＸＹ平面の二次元空間に対して、ＸＹ平面と直交するＺ方向を含めた三次元空間で、特徴点の数が空間的に均一となるように間引きを行うようにしてもよい。
【００５２】
このように、本技術によれば、特徴点の数を空間的に均一に間引くことが可能となり、特徴点の対応付けの精度を向上させることができる。また、画像間で重なり領域が少ない場合でも安定して位置合わせを行うことが可能となる。
【００５３】
さらに、ブロック内の特徴点の数が特徴点制限数以内となるように、信頼度の低い特徴点を間引くことから、間引き処理を簡単な構成で高速に行うことができる。したがって、限られたリソースの組み込み機器でも高速な位置合わせが可能となる。
【００５４】
明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
【００５５】
例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
【００５６】
また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ(Local Area Network)やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【００５７】
さらに、本技術は、上述した実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
【００５８】
なお、本技術は以下のような構成も取ることができる。
（１） 画像から特徴点を検出する特徴点検出部と、
前記検出した特徴点の信頼度を算出する信頼度算出部と、
前記画像を複数領域に分割して、該分割領域毎に特徴点の数が特徴点制限数以内となるように、前記検出した特徴点の間引きを前記信頼度に基づいて行う間引き処理部と
を備える画像処理装置。
（２） 前記間引き処理部は、前記信頼度の低い特徴点から順に間引きする（１）に記載の画像処理装置。
（３） 前記間引き処理部は、前記領域毎に前記特徴点制限数を設定する（１）または（２）に記載の画像処理装置。
（４） 前記特徴点検出部は、前記画像から特徴点としてコーナーを検出し、
前記信頼度算出部は、前記コーナーの強度を前記信頼度とする（１）乃至（３）の何れかに記載の画像処理装置。
（５） 前記特徴点検出部は、前記画像をあらかじめ定められた平滑度で段階的に平滑化して生成したスケール画像に基づいて前記特徴点を抽出し、
前記信頼度算出部は、前記スケール画像間の差分値を前記信頼度とする（１）乃至（３）の何れかに記載の画像処理装置。
（６） 前記間引き処理部は、二次元の前記画像に新たな次元を加えた三次元領域を複数の領域に分割して、該分割領域毎に間引きを行う（１）乃至（５）の何れかに記載の画像処理装置。
（７） 前記間引き処理部は、二次元の前記画像にスケールを含めて三次元領域を設定する（６）に記載の画像処理装置。
【産業上の利用可能性】
【００５９】
この技術の画像処理装置と画像処理方法およびプログラムでは、画像から特徴点が検出される。また、検出した特徴点の信頼度が算出される。さらに、画像を複数領域に分割して、分割領域毎に特徴点が予め設定した特徴点制限数以内となるように、検出した特徴点の間引きが信頼度に基づいて行われる。このため、簡単な構成で高速に特徴点を空間的に均一に間引くことができるようになる。したがって、複数の画像間の特徴点の対応関係から同一オブジェクトを探索する場合、効率よく同一オブジェクトを探索できるようになり、例えばオブジェクトの画像で欠落部分や重複部分を生じないように正しく画像を繋ぎ合わせてパノラマ画像を容易に生成できるようになる。
【符号の説明】
【００６０】
１０・・・撮像装置、１１・・・レンズユニット、１２・・・撮像部、２０・・・画像処理部、２１・・・特徴点処理部、２２・・・間引き処理部、２３・・・特徴量生成処理部、２４・・・対応点探索処理部、２５・・・変換行列算出処理部、３１・・・表示部、３２・・・メモリ部、３３・・・記録デバイス部、３４・・・操作部、３５・・・センサ部、４０・・・制御部、４５・・・バス、２１１・・・特徴点検出部、２１２・・・信頼度算出部
【特許請求の範囲】
【請求項１】
画像から特徴点を検出する特徴点検出部と、
前記検出した特徴点の信頼度を算出する信頼度算出部と、
前記画像を複数領域に分割して、該分割領域毎に特徴点の数が特徴点制限数以内となるように、前記検出した特徴点の間引きを前記信頼度に基づいて行う間引き処理部と
を備える画像処理装置。
【請求項２】
前記間引き処理部は、前記信頼度の低い特徴点から順に間引きする
請求項１記載の画像処理装置。
【請求項３】
前記間引き処理部は、前記領域毎に前記特徴点制限数を設定する
請求項１記載の画像処理装置。
【請求項４】
前記特徴点検出部は、前記画像から特徴点としてコーナーを検出し、
前記信頼度算出部は、前記コーナーの強度を前記信頼度とする
請求項１記載の画像処理装置。
【請求項５】
前記特徴点検出部は、前記画像をあらかじめ定められた平滑度で段階的に平滑化して生成したスケール画像に基づいて前記特徴点を抽出し、
前記信頼度算出部は、前記スケール画像間の差分値を前記信頼度とする
請求項１記載の画像処理装置。
【請求項６】
前記間引き処理部は、二次元の前記画像に新たな次元を加えた三次元領域を複数の領域に分割して、該分割領域毎に間引きを行う
請求項１記載の画像処理装置。
【請求項７】
前記間引き処理部は、二次元の前記画像にスケールを含めて三次元領域を設定する
請求項６記載の画像処理装置。
【請求項８】
画像から特徴点を検出する工程と、
前記検出した特徴点の信頼度を算出する工程と、
前記画像を複数領域に分割して、該分割領域毎に特徴点の数が特徴点制限数以内となるように、前記検出した特徴点の間引きを前記信頼度に基づいて行う工程と
を備える画像処理方法。
【請求項９】
画像から特徴点を検出する手順と、
前記検出した特徴点の信頼度を算出する手順と、
前記画像を複数領域に分割して、該分割領域毎に特徴点の数が特徴点制限数以内となるように、前記検出した特徴点の間引きを前記信頼度に基づいて行う手順と
をコンピュータで実行させるプログラム。
【請求項１】
画像から特徴点を検出する特徴点検出部と、
前記検出した特徴点の信頼度を算出する信頼度算出部と、
前記画像を複数領域に分割して、該分割領域毎に特徴点の数が特徴点制限数以内となるように、前記検出した特徴点の間引きを前記信頼度に基づいて行う間引き処理部と
を備える画像処理装置。
【請求項２】
前記間引き処理部は、前記信頼度の低い特徴点から順に間引きする
請求項１記載の画像処理装置。
【請求項３】
前記間引き処理部は、前記領域毎に前記特徴点制限数を設定する
請求項１記載の画像処理装置。
【請求項４】
前記特徴点検出部は、前記画像から特徴点としてコーナーを検出し、
前記信頼度算出部は、前記コーナーの強度を前記信頼度とする
請求項１記載の画像処理装置。
【請求項５】
前記特徴点検出部は、前記画像をあらかじめ定められた平滑度で段階的に平滑化して生成したスケール画像に基づいて前記特徴点を抽出し、
前記信頼度算出部は、前記スケール画像間の差分値を前記信頼度とする
請求項１記載の画像処理装置。
【請求項６】
前記間引き処理部は、二次元の前記画像に新たな次元を加えた三次元領域を複数の領域に分割して、該分割領域毎に間引きを行う
請求項１記載の画像処理装置。
【請求項７】
前記間引き処理部は、二次元の前記画像にスケールを含めて三次元領域を設定する
請求項６記載の画像処理装置。
【請求項８】
画像から特徴点を検出する工程と、
前記検出した特徴点の信頼度を算出する工程と、
前記画像を複数領域に分割して、該分割領域毎に特徴点の数が特徴点制限数以内となるように、前記検出した特徴点の間引きを前記信頼度に基づいて行う工程と
を備える画像処理方法。
【請求項９】
画像から特徴点を検出する手順と、
前記検出した特徴点の信頼度を算出する手順と、
前記画像を複数領域に分割して、該分割領域毎に特徴点の数が特徴点制限数以内となるように、前記検出した特徴点の間引きを前記信頼度に基づいて行う手順と
をコンピュータで実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１２−２３４２５８（Ｐ２０１２−２３４２５８Ａ）
【公開日】平成２４年１１月２９日（２０１２．１１．２９）
【国際特許分類】
【出願番号】特願２０１１−１００８３６（Ｐ２０１１−１００８３６）
【出願日】平成２３年４月２８日（２０１１．４．２８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年１１月２９日（２０１２．１１．２９）
【国際特許分類】
【出願日】平成２３年４月２８日（２０１１．４．２８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]