特徴抽出装置、特徴抽出方法、画像処理装置、及び、プログラム
【課題】対象物体の検出又は認識を好適に行うこと。
【解決手段】特徴抽出装置は、複数の前記画像データのそれぞれに対し、該画像データが有する画素毎に複数の画素特徴量を算出する画素特徴量算出部と、前記複数の前記画像データにおいて、対応する画素の間の前記画素特徴量を比較することにより、前記複数の画素特徴量の共起頻度を算出する共起頻度算出部と、前記共起頻度を出力する共起頻度出力部と、を有する。
【解決手段】特徴抽出装置は、複数の前記画像データのそれぞれに対し、該画像データが有する画素毎に複数の画素特徴量を算出する画素特徴量算出部と、前記複数の前記画像データにおいて、対応する画素の間の前記画素特徴量を比較することにより、前記複数の画素特徴量の共起頻度を算出する共起頻度算出部と、前記共起頻度を出力する共起頻度出力部と、を有する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、特徴抽出装置、特徴抽出方法、画像処理装置、及び、プログラムに関する。
【背景技術】
【0002】
従来から、画像の特徴を抽出して物体の認識等に用いる技術がある。例えば、特許第3247305号公報(特許文献1参照。)に記載の特徴領域抽出方法等は、異なる画像間で濃度値の相互相関演算を行い、相互相関値の分布を計算することで特徴領域を抽出している。また、例えば、非特許文献1は、輝度勾配方向の共起行列を用い、照明などの変動に頑健な特徴を抽出する技術が記載されている。非特許文献1には、さらに、その技術が模様の識別に対して有効な特徴であることが示されている。なお、共起行列は、共起ヒストグラムの一種である。
【0003】
【特許文献1】特許第3247305号公報
【非特許文献1】Rami Rautkorpi and Jukka Iivarinen. A Novel Shape Feature for Image Classification and Retrieval. In Proceedings of the International Conference on Image Analysis and Recognition, LNCS 3211, Part I, pages 753−760, Porto, Portugal, September 29−October 1, 2004.
【非特許文献2】J. Shotton et al., “TextonBoost: Joint Appearance, Shape and Context Modeling for Multi−Class Object Recognition and Segmentation”, In Proceedings of the European Conference on Computer Vision (2006), pp. 1−15.
【発明の開示】
【発明が解決しようとする課題】
【0004】
しかしながら、ある特定の対象物体を検出したり認識したりする際には、異なる画像間の情報を利用することが望ましいが、特許文献1に開示の技術は、特徴領域の抽出を目的としており、異なる画像間の情報は考慮しているけれども、認識を目的としていないために認識に用いると性能が低いという問題がある。また、非特許文献1に開示の技術は、単一の画像を対象としているため、例えば、歩行動作のように時間的に変化のある画像など複数枚の画像を扱うことが考慮されていない。
【0005】
本発明は、上記の点に鑑みて、これらの問題を解消するために発明されたものであり、対象物体の検出又は認識を好適に行うことを目的としている。
【課題を解決するための手段】
【0006】
上記目的を達成するために、本発明の特徴抽出装置は次の如き構成を採用した。
本発明の特徴抽出装置は、複数の画像データのそれぞれに対し、該画像データが有する画素毎に複数の画素特徴量を算出する画素特徴量算出部と、前記複数の画像データにおいて、対応する画素の間の前記画素特徴量を比較することにより、前記複数の画素特徴量の共起頻度を算出する共起頻度算出部と、前記共起頻度を出力する共起頻度出力部と、を有する構成とすることができる。
【0007】
なお、上記課題を解決するため、本発明は、上記特徴抽出装置における特徴抽出方法、又は、その特徴抽出方法をコンピュータに実行させるためのプログラムとしてもよい。
【発明の効果】
【0008】
本発明によれば、対象物体の検出又は認識を好適に行うことが可能になる。
【発明を実施するための最良の形態】
【0009】
以下、本発明の実施の形態を図面を参照して説明する。
〔本発明の実施の形態〕
【0010】
図1は、本発明の実施の形態に係る特徴抽出装置を示す図である。特徴抽出装置100は、画素特徴量算出部103、共起ヒストグラム算出部104、及び、共起ヒストグラム出力部105を有する。特徴抽出装置100はまた、後述するように画像入力部101、記憶部102、及び、特徴量出力部106に接続されうる。
【0011】
画像入力部101は、イメージセンサなどの撮像手段等を含み、互いに異なる複数の画像データを取得する。画像入力部101は、例えば、それぞれ異なる撮像手段に接続された画像データ入力部101a及び画像データ入力部101bを有する。なお、画像データ入力部の個数は2つに限定されない。
【0012】
記憶部102は、画像入力部101で取得された画像データを記憶する。記憶部102は、例えば、画像データ記憶部102a及び画像データ記憶部102bを有する。画像データ記憶部102aは、画像データ入力部101aから入力された画像データを保持し、画像データ記憶部102bは、画像データ入力部101bから入力された画像データを保持する。なお、画像データ記憶部の個数は2つに限定されない。
【0013】
画素特徴量算出部103は、記憶部102に記憶されている画像データ毎に、画素特徴量を算出する。画素特徴量算出部103は、異なる複数の画素特徴について、それぞれ一以上の値を算出してもよく、また、一の画素特徴について、複数の値を算出してもよい。なお、画素特徴とは、例えば、画素の濃度値、又は、輝度勾配方向である。
【0014】
共起ヒストグラム算出部104は、複数の画像データ間における対応する画素毎に、画素特徴量の共起頻度を算出する。例えば、異なる画像データ間で、座標が同一の画素、又は、第1の画像データが有する第1の画素と座標が同一の第2の画像データが有する画素から、予め設定された距離だけ離れた第2の画素がある場合に、この第1の画素と第2の画素を対応する画素とするとよい。予め設定された距離は、例えば、異なる画像データの関係に応じて定められるとよい。
共起ヒストグラム出力部105は、算出された共起頻度を、共起ヒストグラムとして特徴量出力部106に対して出力する。
【0015】
図2は、共起ヒストグラムを出力する処理を説明するフロー図である。ステップS101では、N個(ただし、N≧2)の画像データ入力部101a、b、…に対し、N枚の画像データI1(r)、…、IN(r)(rは画像座標を表す変数)を取得する。より詳細には、一の画像データ入力部毎に1枚の画像データを取得する。なお、一の画像データ入力部で連続して複数の画像データを取得してもよい。取得された画像データは、記憶部102に格納される。
【0016】
図3から図5は、取得される画像データの例である。図3は、撮像の際の視点が異なる画像の例である。視点が異なる画像に対して、例えば、ステレオマッチングの技術を用いて画像間の対応関係を計算することにより、同一対象物体が含まれると判断される領域を切り出し、画像入力部101により取得してもよい。
【0017】
図4は、時系列画像の例である。時系列画像とは、例えば、動画像のように予め設定された時間間隔で連続して撮影された複数毎の画像をいう。例えば、時系列画像の画像に含まれる物体の画像を追跡し、追跡した物体の領域を切り出した画像を、画像入力部101により取得してもよい。
【0018】
図5は、特性の異なる複数の撮像手段によって取得された画像の例である。撮像手段によって取得される画像は、例えば、可視光画像、赤外線画像、X線画像、超音波画像、距離画像等がある。また、触覚センサ等のセンサの出力値を画像化したもの等を画像として取得してもよい。
【0019】
画像入力部101が取得する画像は、また、予めフィルタ処理が適用された画像でもよい。フィルタ処理は、複数の画像データに対して同一でもよく、互いに異なるフィルタ処理でもよい。フィルタ処理は、例えば、エッジ抽出処理、左右反転処理、平滑化処理、アフィン変換処理等であり、処理前の画像に対し処理を行って異なる画像を出力する変換であればよい。なお、取得される複数毎の画像において、互いに画像サイズが異なるときは、正規化処理を施すことによって同じサイズにしてもよい。
【0020】
ステップS102では、画素特徴量算出部103が、ステップS101で取得されたN枚の画像データI1(r)、…、IN(r)に対し、画素毎の画素特徴量f1(r)、…、fN(r)を算出する。
【0021】
画素特徴量算出部103が算出する画素特徴量は、離散値であるとよい。これにより、共起ヒストグラム算出部104が、共起頻度を算出する際に、より容易に共起頻度を算出することのできる画素特徴量を得ることができる。なお、画素特徴量算出部103は、画素特徴量が連続値の場合には、量子化して離散値にする。
【0022】
画素特徴量は、例えば、画素の濃淡値、又は、輝度勾配方向の値である。画素特徴量は、また、濃淡値に対してk平均法等を用いてクラスタリングして得られた画素の属するクラスタ番号でもよい。濃淡値に対するクラスタリングの他に、例えば、画素の近傍を含めた濃淡パターンに対するクラスタリングでもよい。画素特徴量は、またさらに、非特許文献2に記載の識別手法により識別された画素の属するカテゴリ番号でもよい。
【0023】
なお、画像データIi(r)は、濃淡画像以外にも、カラー画像などの多チャンネル画像でもよい。また、画像データIi(r)に対応する画素特徴量fi(r)は、必ずしもIi(r)のみを用いて算出されなくてもよい。例えば、I1(r)、…、IN(r)の全てを用いてもよい。より詳細には、例えば、2枚の画像データの差分を画素特徴量としてもよく、また例えば、複数枚の画像データの平均値である画像を画素特徴量としてもよい。
【0024】
また、画素特徴量f1(r)、…、fN(r)は同じ種類の画素特徴量でなくてもよい。より詳細には、例えば、f1(r)が濃淡値であり、f2(r)が輝度勾配方向の値であってもよい。
【0025】
ステップS103では、共起ヒストグラム算出部104が、ステップS102において算出された画素特徴量f1(r)、…、fN(r)から共起ヒストグラムh(a1,…,aM;i1,…,iM,d1,…,dM)を算出する。ここで、i1,…,iM,d1,…,dMは固定パラメータ、Mは2以上の自然数である。
【0026】
なお、固定パラメータi1,…,iMは、用いる画素特徴量の番号、すなわち画素特徴量fi1(r),…,fiM(r)を用いることを表し、d1,…,dMは、それぞれ注目画素rからの変位を表す。
【0027】
すなわち、共起ヒストグラムh(a1,…,aM;i1,…,iM,d1,…,dM)はM階のテンソルであり、画素特徴量の組み合わせの共起頻度を表す。画素特徴量fiが0からLi−1までのLi個の整数値をとるとすると、共起ヒストグラムh(a1,…,aM;i1,…,iM,d1,…,dM)は次式(1)で与えられ、合計Li1×Li2×…×LiM個の値を持つことになる。
【0028】
【数1】
但し、Dは画像上の領域、
Zは整数の集合、
である。
また、関数gは次式(2)で表される。
【0029】
【数2】
【0030】
式(1)で表される共起ヒストグラムと従来技術との違いについて、以下説明する。
図6は、従来技術による画像データの画素特徴量を説明する図であって複数の画像データ間の相関を用いる例を説明する図である。特許文献1に記載の特徴領域抽出方法等の技術では、図6に示す画素特徴量が取得されている。図6の例では、2枚の画像データ間の関係を考慮した相関値を算出するが、画素rからの変位d1つあたりに対して1つの評価値のみを算出するため、対象の情報を十分に表現できない。
【0031】
図7は、従来技術による画像データの特徴量を説明する図であって一の画像データ内で特徴量を取得する例を説明する図である。非特許文献1に記載の技術は、図7に示す特徴量が取得されている。図7では、1つの変位dに対して複数の評価値を算出している。より詳細には、8×8=64個の評価値を算出している。これにより、対象の情報を十分に表現した特徴量を取得することができる。
【0032】
しかしながら、図7に記載の方法では、一枚の画像データに対して適用しており、複数枚の画像データが与えられた場合に、画像間の関係を考慮した特徴を抽出することについては、考慮されていない。
【0033】
図8は、本実施の形態に係る特徴抽出装置により抽出される画像の特徴量を説明する図である。図8の処理は、画素特徴量算出部103及び共起ヒストグラム算出部104により行われる。
【0034】
図8の例では、画像1及び画像2の間の対応する画素毎に、画素特徴量の組み合わせの共起頻度を算出している。したがって、図8の例では、図6及び図7の例における良い点を継承しつつ、双方の問題点を解消している。すなわち、複数枚の画像間の関係を考慮し、かつ、対象の情報を十分に表現している。
【0035】
なお、図8の例では、共起関係を判断する画素特徴量は、互いに異なってもよい。そこで、画素rからの変位d1つあたりの評価値が、平方数でなくてもよい。例えば、図8の例では8×16=128個の評価値が取得されている。
【0036】
式(1)において、djは画像上の位置rに対する相対的な変位を表すベクトルであるから、d1,…,dMのうち1つは零ベクトルでもよく、2つ以上が零ベクトルになってもよい。また、r+djは必ずしも領域Dに含まれていなくてもよい。
【0037】
さらに、固定パラメータi1,…,iM,d1,…,dMを変えて、複数の共起ヒストグラムを算出してもよい。図9は、複数の共起ヒストグラムを算出する処理を説明する図である。図9の例では、d1,…,dMを原点からのチェビシェフ距離が一定値以下の範囲で変動させて、複数の共起ヒストグラムを算出している。なお、チェビシェフ距離の代わりに、マンハッタン距離やユークリッド距離を用いてもよい。また、d1,…,dMに任意のベクトルを設定してもよい。
【0038】
パラメータi1,…,iMについては、例えば、N=4、M=3の場合、(i1,i2,i3)=(1,2,3),(2,3,4),(3,4,1),(4,1,2)のように全ての組み合わせを用いてもよい。またさらに、重複を許して、(i1,i2,i3)=(1,1,1),(1,1,2),(1,1,3),(1,1,4),(2,2,1),(2,2,2),(2,2,3),(2,2,4),(3,3,1),(3,3,2),(3,3,3),(3,3,4),(4,4,1),(4,4,2),(4,4,3),(4,4,4)を加えてもよい。
【0039】
ステップS104では、共起ヒストグラム出力部105が、ステップS103で算出された共起ヒストグラムを、取得された画像データの特徴量として特徴量出力部106に出力する。
【0040】
本実施形態に係る特徴抽出装置によれば、複数の画像データに対して複数の画素特徴量を算出し、算出された複数の画素特徴量の組み合わせの共起頻度を算出することで、複数の画像間の関係を十分に利用した特徴量を抽出することが可能となる。この特徴量を用いることで、1枚の画像のみから抽出した特徴量を用いたときよりも、高精度な物体検出や物体認識が可能となる。
【0041】
図10は、本発明の実施の形態に係る特徴抽出装置100の各機能を実現するコンピュータなどの画像処理装置の構成を例示的に説明する図である。図10のコンピュータは、例えば、主処理部400、入力部410、表示部420、記憶部490、入力I/F419、表示I/F429、画像入力I/F489、及び、メモリI/F499を有する。
【0042】
主処理部400は、図2の各手順を実行するプログラムを実行させて特徴抽出装置100の各機能を実現する。主処理部400は、例えば、CPU401、ROM408、及び、RAM409を有する。CPU401は、プログラムを実行することにより、コンピュータが有する各デバイス等の制御を行う。ROM408は、例えば、プログラムやパラメータ等が格納され、CPU401にそれらが供せられる。RAM409は、例えば、CPU401がプログラムを実行する際のワークメモリとして供せられ、図1の記憶部102としても機能しうる。
【0043】
入力部410は、例えば、キーボードやマウス等の入力手段であり、コンピュータに対する指示が入力される。表示部420は、CPU401の処理結果等を表示する。
【0044】
入力I/F419、表示I/F429、メモリI/F499、及び、画像入力I/F489は、それぞれ、入力部410、表示部420、記憶部490、画像入力部101がバスを介して主処理部400と接続される際のインタフェースである。
【0045】
本実施の形態に係る特徴抽出装置100によって処理される画像データは、例えば、画像入力部101で取得するか、又は、ネットワークを経由して外部から入力される。従って、本実施の形態に係る画像処理装置は、画像入力部101を内部に備えてもよいし、外部の画像データ入力部と通信可能に接続されてもよい。本実施の形態に係る特徴抽出装置100によって処理される画像データはまた、例えば、不図示の駆動装置に挿入された記録媒体から読み出されてもよい。
【0046】
本実施の形態に係る特徴抽出装置100によって抽出される画像データの特徴量は、例えば、表示部420、又は、ネットワークから出力される。本実施の形態に係る特徴抽出装置100によって抽出される画像データの特徴量はまた、例えば、駆動部に挿入された記録媒体、又は、記録部490に記録されてもよい。
【0047】
図1の特徴抽出装置100のプログラムは、ROM408、及び、記憶部490等の不揮発性の記憶装置に格納される他に、CD,DVD等の記録媒体に記録され、駆動部に挿入されることにより、コンピュータがそのプログラムを読み取って実行されてもよい。
【0048】
以上、発明を実施するための最良の形態について説明を行ったが、本発明は、この最良の形態で述べた実施の形態に限定されるものではない。本発明の主旨を逸脱しない範囲で変更することが可能である。
【0049】
例えば、共起ヒストグラムを算出する画像上の領域Dを1つだけでなく複数設定して、それぞれの領域で共起ヒストグラムを算出してもよい。より詳細には、例えば、対象画像が歩行者である場合、図11に示すように脚部、胴体部、腕部、頭部といったように領域を設定することで、より詳細な特徴を抽出することができる。
【0050】
取得されるN枚の画像データI1(r)、…、IN(r)からT(T≠N)個の画素特徴量f1(r)、…、fT(r)を算出してもよい。例えば、前記画像データI1(r)、…、IN(r)が時系列画像であり、時間的に隣合う画像の差分画像を画素特徴量とする場合、N−1枚の差分画像が生成できることから算出される画素特徴量の個数はT=N−1となる。
【0051】
また、複数の画素特徴量を用いることで、T(>N)個の画素特徴量を算出することができる。例えば、画素特徴量として輝度値の1階微分の方向(輝度勾配方向)と輝度値の2階微分の方向の2つを用いる場合には、算出される画素特徴量の個数はT=2Nである。これに合わせて、共起ヒストグラム算出部104において算出する共起ヒストグラムは式(1)のNをTで置換したもの、すなわち式(3)のようになる。
【0052】
【数3】
【図面の簡単な説明】
【0053】
【図1】本発明の実施の形態に係る特徴抽出装置を示す図である。
【図2】共起行列を出力する処理を説明するフロー図である。
【図3】撮像の際の視点が異なる画像の例である。
【図4】時系列画像の例である。
【図5】特性の異なる複数の撮像手段によって取得された画像の例である。
【図6】複数の画像データ間の相関を用いて画素特徴量を算出する例を説明する図である。
【図7】一の画像データ内で画素特徴量を取得する例を説明する図である。
【図8】本実施の形態に係る特徴抽出装置により抽出される画像の特徴量を説明する図である。
【図9】複数の共起ヒストグラムを算出する処理を説明する図である。
【図10】本発明の実施の形態に係る特徴抽出装置を実現するコンピュータの構成を説明する図である。
【図11】一の画像データに複数の領域を設定する例を説明する図である。
【符号の説明】
【0054】
100 特徴抽出装置
101 画像入力部
102 記憶部
103 画素特徴量算出部
104 共起ヒストグラム算出部
105 共起ヒストグラム出力部
106 特徴量出力部
【技術分野】
【0001】
本発明は、特徴抽出装置、特徴抽出方法、画像処理装置、及び、プログラムに関する。
【背景技術】
【0002】
従来から、画像の特徴を抽出して物体の認識等に用いる技術がある。例えば、特許第3247305号公報(特許文献1参照。)に記載の特徴領域抽出方法等は、異なる画像間で濃度値の相互相関演算を行い、相互相関値の分布を計算することで特徴領域を抽出している。また、例えば、非特許文献1は、輝度勾配方向の共起行列を用い、照明などの変動に頑健な特徴を抽出する技術が記載されている。非特許文献1には、さらに、その技術が模様の識別に対して有効な特徴であることが示されている。なお、共起行列は、共起ヒストグラムの一種である。
【0003】
【特許文献1】特許第3247305号公報
【非特許文献1】Rami Rautkorpi and Jukka Iivarinen. A Novel Shape Feature for Image Classification and Retrieval. In Proceedings of the International Conference on Image Analysis and Recognition, LNCS 3211, Part I, pages 753−760, Porto, Portugal, September 29−October 1, 2004.
【非特許文献2】J. Shotton et al., “TextonBoost: Joint Appearance, Shape and Context Modeling for Multi−Class Object Recognition and Segmentation”, In Proceedings of the European Conference on Computer Vision (2006), pp. 1−15.
【発明の開示】
【発明が解決しようとする課題】
【0004】
しかしながら、ある特定の対象物体を検出したり認識したりする際には、異なる画像間の情報を利用することが望ましいが、特許文献1に開示の技術は、特徴領域の抽出を目的としており、異なる画像間の情報は考慮しているけれども、認識を目的としていないために認識に用いると性能が低いという問題がある。また、非特許文献1に開示の技術は、単一の画像を対象としているため、例えば、歩行動作のように時間的に変化のある画像など複数枚の画像を扱うことが考慮されていない。
【0005】
本発明は、上記の点に鑑みて、これらの問題を解消するために発明されたものであり、対象物体の検出又は認識を好適に行うことを目的としている。
【課題を解決するための手段】
【0006】
上記目的を達成するために、本発明の特徴抽出装置は次の如き構成を採用した。
本発明の特徴抽出装置は、複数の画像データのそれぞれに対し、該画像データが有する画素毎に複数の画素特徴量を算出する画素特徴量算出部と、前記複数の画像データにおいて、対応する画素の間の前記画素特徴量を比較することにより、前記複数の画素特徴量の共起頻度を算出する共起頻度算出部と、前記共起頻度を出力する共起頻度出力部と、を有する構成とすることができる。
【0007】
なお、上記課題を解決するため、本発明は、上記特徴抽出装置における特徴抽出方法、又は、その特徴抽出方法をコンピュータに実行させるためのプログラムとしてもよい。
【発明の効果】
【0008】
本発明によれば、対象物体の検出又は認識を好適に行うことが可能になる。
【発明を実施するための最良の形態】
【0009】
以下、本発明の実施の形態を図面を参照して説明する。
〔本発明の実施の形態〕
【0010】
図1は、本発明の実施の形態に係る特徴抽出装置を示す図である。特徴抽出装置100は、画素特徴量算出部103、共起ヒストグラム算出部104、及び、共起ヒストグラム出力部105を有する。特徴抽出装置100はまた、後述するように画像入力部101、記憶部102、及び、特徴量出力部106に接続されうる。
【0011】
画像入力部101は、イメージセンサなどの撮像手段等を含み、互いに異なる複数の画像データを取得する。画像入力部101は、例えば、それぞれ異なる撮像手段に接続された画像データ入力部101a及び画像データ入力部101bを有する。なお、画像データ入力部の個数は2つに限定されない。
【0012】
記憶部102は、画像入力部101で取得された画像データを記憶する。記憶部102は、例えば、画像データ記憶部102a及び画像データ記憶部102bを有する。画像データ記憶部102aは、画像データ入力部101aから入力された画像データを保持し、画像データ記憶部102bは、画像データ入力部101bから入力された画像データを保持する。なお、画像データ記憶部の個数は2つに限定されない。
【0013】
画素特徴量算出部103は、記憶部102に記憶されている画像データ毎に、画素特徴量を算出する。画素特徴量算出部103は、異なる複数の画素特徴について、それぞれ一以上の値を算出してもよく、また、一の画素特徴について、複数の値を算出してもよい。なお、画素特徴とは、例えば、画素の濃度値、又は、輝度勾配方向である。
【0014】
共起ヒストグラム算出部104は、複数の画像データ間における対応する画素毎に、画素特徴量の共起頻度を算出する。例えば、異なる画像データ間で、座標が同一の画素、又は、第1の画像データが有する第1の画素と座標が同一の第2の画像データが有する画素から、予め設定された距離だけ離れた第2の画素がある場合に、この第1の画素と第2の画素を対応する画素とするとよい。予め設定された距離は、例えば、異なる画像データの関係に応じて定められるとよい。
共起ヒストグラム出力部105は、算出された共起頻度を、共起ヒストグラムとして特徴量出力部106に対して出力する。
【0015】
図2は、共起ヒストグラムを出力する処理を説明するフロー図である。ステップS101では、N個(ただし、N≧2)の画像データ入力部101a、b、…に対し、N枚の画像データI1(r)、…、IN(r)(rは画像座標を表す変数)を取得する。より詳細には、一の画像データ入力部毎に1枚の画像データを取得する。なお、一の画像データ入力部で連続して複数の画像データを取得してもよい。取得された画像データは、記憶部102に格納される。
【0016】
図3から図5は、取得される画像データの例である。図3は、撮像の際の視点が異なる画像の例である。視点が異なる画像に対して、例えば、ステレオマッチングの技術を用いて画像間の対応関係を計算することにより、同一対象物体が含まれると判断される領域を切り出し、画像入力部101により取得してもよい。
【0017】
図4は、時系列画像の例である。時系列画像とは、例えば、動画像のように予め設定された時間間隔で連続して撮影された複数毎の画像をいう。例えば、時系列画像の画像に含まれる物体の画像を追跡し、追跡した物体の領域を切り出した画像を、画像入力部101により取得してもよい。
【0018】
図5は、特性の異なる複数の撮像手段によって取得された画像の例である。撮像手段によって取得される画像は、例えば、可視光画像、赤外線画像、X線画像、超音波画像、距離画像等がある。また、触覚センサ等のセンサの出力値を画像化したもの等を画像として取得してもよい。
【0019】
画像入力部101が取得する画像は、また、予めフィルタ処理が適用された画像でもよい。フィルタ処理は、複数の画像データに対して同一でもよく、互いに異なるフィルタ処理でもよい。フィルタ処理は、例えば、エッジ抽出処理、左右反転処理、平滑化処理、アフィン変換処理等であり、処理前の画像に対し処理を行って異なる画像を出力する変換であればよい。なお、取得される複数毎の画像において、互いに画像サイズが異なるときは、正規化処理を施すことによって同じサイズにしてもよい。
【0020】
ステップS102では、画素特徴量算出部103が、ステップS101で取得されたN枚の画像データI1(r)、…、IN(r)に対し、画素毎の画素特徴量f1(r)、…、fN(r)を算出する。
【0021】
画素特徴量算出部103が算出する画素特徴量は、離散値であるとよい。これにより、共起ヒストグラム算出部104が、共起頻度を算出する際に、より容易に共起頻度を算出することのできる画素特徴量を得ることができる。なお、画素特徴量算出部103は、画素特徴量が連続値の場合には、量子化して離散値にする。
【0022】
画素特徴量は、例えば、画素の濃淡値、又は、輝度勾配方向の値である。画素特徴量は、また、濃淡値に対してk平均法等を用いてクラスタリングして得られた画素の属するクラスタ番号でもよい。濃淡値に対するクラスタリングの他に、例えば、画素の近傍を含めた濃淡パターンに対するクラスタリングでもよい。画素特徴量は、またさらに、非特許文献2に記載の識別手法により識別された画素の属するカテゴリ番号でもよい。
【0023】
なお、画像データIi(r)は、濃淡画像以外にも、カラー画像などの多チャンネル画像でもよい。また、画像データIi(r)に対応する画素特徴量fi(r)は、必ずしもIi(r)のみを用いて算出されなくてもよい。例えば、I1(r)、…、IN(r)の全てを用いてもよい。より詳細には、例えば、2枚の画像データの差分を画素特徴量としてもよく、また例えば、複数枚の画像データの平均値である画像を画素特徴量としてもよい。
【0024】
また、画素特徴量f1(r)、…、fN(r)は同じ種類の画素特徴量でなくてもよい。より詳細には、例えば、f1(r)が濃淡値であり、f2(r)が輝度勾配方向の値であってもよい。
【0025】
ステップS103では、共起ヒストグラム算出部104が、ステップS102において算出された画素特徴量f1(r)、…、fN(r)から共起ヒストグラムh(a1,…,aM;i1,…,iM,d1,…,dM)を算出する。ここで、i1,…,iM,d1,…,dMは固定パラメータ、Mは2以上の自然数である。
【0026】
なお、固定パラメータi1,…,iMは、用いる画素特徴量の番号、すなわち画素特徴量fi1(r),…,fiM(r)を用いることを表し、d1,…,dMは、それぞれ注目画素rからの変位を表す。
【0027】
すなわち、共起ヒストグラムh(a1,…,aM;i1,…,iM,d1,…,dM)はM階のテンソルであり、画素特徴量の組み合わせの共起頻度を表す。画素特徴量fiが0からLi−1までのLi個の整数値をとるとすると、共起ヒストグラムh(a1,…,aM;i1,…,iM,d1,…,dM)は次式(1)で与えられ、合計Li1×Li2×…×LiM個の値を持つことになる。
【0028】
【数1】
但し、Dは画像上の領域、
Zは整数の集合、
である。
また、関数gは次式(2)で表される。
【0029】
【数2】
【0030】
式(1)で表される共起ヒストグラムと従来技術との違いについて、以下説明する。
図6は、従来技術による画像データの画素特徴量を説明する図であって複数の画像データ間の相関を用いる例を説明する図である。特許文献1に記載の特徴領域抽出方法等の技術では、図6に示す画素特徴量が取得されている。図6の例では、2枚の画像データ間の関係を考慮した相関値を算出するが、画素rからの変位d1つあたりに対して1つの評価値のみを算出するため、対象の情報を十分に表現できない。
【0031】
図7は、従来技術による画像データの特徴量を説明する図であって一の画像データ内で特徴量を取得する例を説明する図である。非特許文献1に記載の技術は、図7に示す特徴量が取得されている。図7では、1つの変位dに対して複数の評価値を算出している。より詳細には、8×8=64個の評価値を算出している。これにより、対象の情報を十分に表現した特徴量を取得することができる。
【0032】
しかしながら、図7に記載の方法では、一枚の画像データに対して適用しており、複数枚の画像データが与えられた場合に、画像間の関係を考慮した特徴を抽出することについては、考慮されていない。
【0033】
図8は、本実施の形態に係る特徴抽出装置により抽出される画像の特徴量を説明する図である。図8の処理は、画素特徴量算出部103及び共起ヒストグラム算出部104により行われる。
【0034】
図8の例では、画像1及び画像2の間の対応する画素毎に、画素特徴量の組み合わせの共起頻度を算出している。したがって、図8の例では、図6及び図7の例における良い点を継承しつつ、双方の問題点を解消している。すなわち、複数枚の画像間の関係を考慮し、かつ、対象の情報を十分に表現している。
【0035】
なお、図8の例では、共起関係を判断する画素特徴量は、互いに異なってもよい。そこで、画素rからの変位d1つあたりの評価値が、平方数でなくてもよい。例えば、図8の例では8×16=128個の評価値が取得されている。
【0036】
式(1)において、djは画像上の位置rに対する相対的な変位を表すベクトルであるから、d1,…,dMのうち1つは零ベクトルでもよく、2つ以上が零ベクトルになってもよい。また、r+djは必ずしも領域Dに含まれていなくてもよい。
【0037】
さらに、固定パラメータi1,…,iM,d1,…,dMを変えて、複数の共起ヒストグラムを算出してもよい。図9は、複数の共起ヒストグラムを算出する処理を説明する図である。図9の例では、d1,…,dMを原点からのチェビシェフ距離が一定値以下の範囲で変動させて、複数の共起ヒストグラムを算出している。なお、チェビシェフ距離の代わりに、マンハッタン距離やユークリッド距離を用いてもよい。また、d1,…,dMに任意のベクトルを設定してもよい。
【0038】
パラメータi1,…,iMについては、例えば、N=4、M=3の場合、(i1,i2,i3)=(1,2,3),(2,3,4),(3,4,1),(4,1,2)のように全ての組み合わせを用いてもよい。またさらに、重複を許して、(i1,i2,i3)=(1,1,1),(1,1,2),(1,1,3),(1,1,4),(2,2,1),(2,2,2),(2,2,3),(2,2,4),(3,3,1),(3,3,2),(3,3,3),(3,3,4),(4,4,1),(4,4,2),(4,4,3),(4,4,4)を加えてもよい。
【0039】
ステップS104では、共起ヒストグラム出力部105が、ステップS103で算出された共起ヒストグラムを、取得された画像データの特徴量として特徴量出力部106に出力する。
【0040】
本実施形態に係る特徴抽出装置によれば、複数の画像データに対して複数の画素特徴量を算出し、算出された複数の画素特徴量の組み合わせの共起頻度を算出することで、複数の画像間の関係を十分に利用した特徴量を抽出することが可能となる。この特徴量を用いることで、1枚の画像のみから抽出した特徴量を用いたときよりも、高精度な物体検出や物体認識が可能となる。
【0041】
図10は、本発明の実施の形態に係る特徴抽出装置100の各機能を実現するコンピュータなどの画像処理装置の構成を例示的に説明する図である。図10のコンピュータは、例えば、主処理部400、入力部410、表示部420、記憶部490、入力I/F419、表示I/F429、画像入力I/F489、及び、メモリI/F499を有する。
【0042】
主処理部400は、図2の各手順を実行するプログラムを実行させて特徴抽出装置100の各機能を実現する。主処理部400は、例えば、CPU401、ROM408、及び、RAM409を有する。CPU401は、プログラムを実行することにより、コンピュータが有する各デバイス等の制御を行う。ROM408は、例えば、プログラムやパラメータ等が格納され、CPU401にそれらが供せられる。RAM409は、例えば、CPU401がプログラムを実行する際のワークメモリとして供せられ、図1の記憶部102としても機能しうる。
【0043】
入力部410は、例えば、キーボードやマウス等の入力手段であり、コンピュータに対する指示が入力される。表示部420は、CPU401の処理結果等を表示する。
【0044】
入力I/F419、表示I/F429、メモリI/F499、及び、画像入力I/F489は、それぞれ、入力部410、表示部420、記憶部490、画像入力部101がバスを介して主処理部400と接続される際のインタフェースである。
【0045】
本実施の形態に係る特徴抽出装置100によって処理される画像データは、例えば、画像入力部101で取得するか、又は、ネットワークを経由して外部から入力される。従って、本実施の形態に係る画像処理装置は、画像入力部101を内部に備えてもよいし、外部の画像データ入力部と通信可能に接続されてもよい。本実施の形態に係る特徴抽出装置100によって処理される画像データはまた、例えば、不図示の駆動装置に挿入された記録媒体から読み出されてもよい。
【0046】
本実施の形態に係る特徴抽出装置100によって抽出される画像データの特徴量は、例えば、表示部420、又は、ネットワークから出力される。本実施の形態に係る特徴抽出装置100によって抽出される画像データの特徴量はまた、例えば、駆動部に挿入された記録媒体、又は、記録部490に記録されてもよい。
【0047】
図1の特徴抽出装置100のプログラムは、ROM408、及び、記憶部490等の不揮発性の記憶装置に格納される他に、CD,DVD等の記録媒体に記録され、駆動部に挿入されることにより、コンピュータがそのプログラムを読み取って実行されてもよい。
【0048】
以上、発明を実施するための最良の形態について説明を行ったが、本発明は、この最良の形態で述べた実施の形態に限定されるものではない。本発明の主旨を逸脱しない範囲で変更することが可能である。
【0049】
例えば、共起ヒストグラムを算出する画像上の領域Dを1つだけでなく複数設定して、それぞれの領域で共起ヒストグラムを算出してもよい。より詳細には、例えば、対象画像が歩行者である場合、図11に示すように脚部、胴体部、腕部、頭部といったように領域を設定することで、より詳細な特徴を抽出することができる。
【0050】
取得されるN枚の画像データI1(r)、…、IN(r)からT(T≠N)個の画素特徴量f1(r)、…、fT(r)を算出してもよい。例えば、前記画像データI1(r)、…、IN(r)が時系列画像であり、時間的に隣合う画像の差分画像を画素特徴量とする場合、N−1枚の差分画像が生成できることから算出される画素特徴量の個数はT=N−1となる。
【0051】
また、複数の画素特徴量を用いることで、T(>N)個の画素特徴量を算出することができる。例えば、画素特徴量として輝度値の1階微分の方向(輝度勾配方向)と輝度値の2階微分の方向の2つを用いる場合には、算出される画素特徴量の個数はT=2Nである。これに合わせて、共起ヒストグラム算出部104において算出する共起ヒストグラムは式(1)のNをTで置換したもの、すなわち式(3)のようになる。
【0052】
【数3】
【図面の簡単な説明】
【0053】
【図1】本発明の実施の形態に係る特徴抽出装置を示す図である。
【図2】共起行列を出力する処理を説明するフロー図である。
【図3】撮像の際の視点が異なる画像の例である。
【図4】時系列画像の例である。
【図5】特性の異なる複数の撮像手段によって取得された画像の例である。
【図6】複数の画像データ間の相関を用いて画素特徴量を算出する例を説明する図である。
【図7】一の画像データ内で画素特徴量を取得する例を説明する図である。
【図8】本実施の形態に係る特徴抽出装置により抽出される画像の特徴量を説明する図である。
【図9】複数の共起ヒストグラムを算出する処理を説明する図である。
【図10】本発明の実施の形態に係る特徴抽出装置を実現するコンピュータの構成を説明する図である。
【図11】一の画像データに複数の領域を設定する例を説明する図である。
【符号の説明】
【0054】
100 特徴抽出装置
101 画像入力部
102 記憶部
103 画素特徴量算出部
104 共起ヒストグラム算出部
105 共起ヒストグラム出力部
106 特徴量出力部
【特許請求の範囲】
【請求項1】
複数の画像データのそれぞれに対し、該画像データが有する画素毎に複数の画素特徴量を算出する画素特徴量算出部と、
前記複数の画像データにおいて、対応する画素の間の前記画素特徴量を比較することにより、前記複数の画素特徴量の共起頻度を算出する共起頻度算出部と、
前記共起頻度を出力する共起頻度出力部と、
を有する特徴抽出装置。
【請求項2】
前記共起頻度は、共起ヒストグラムである請求項1に記載の特徴抽出装置。
【請求項3】
前記複数の画像データは、撮像の視点が異なるようにそれぞれ撮像され、
前記共起頻度算出部は、前記互いの撮像の視点が異なる複数の画像データから算出された画素特徴量の共起頻度を算出する請求項1又は請求項2に記載の特徴抽出装置。
【請求項4】
前記複数の画像データは、撮像時刻が異なるようにそれぞれ撮像され、
前記共起頻度算出部は、前記互いの撮像時刻が異なる複数の画像データから算出された画素特徴量の共起頻度を算出する請求項1乃至請求項3の何れか1項に記載の特徴抽出装置。
【請求項5】
前記共起頻度算出部は、互いに特性の異なる撮像手段により取得された複数の画像データから算出された画素特徴量の共起頻度を算出する請求項1乃至請求項4の何れか1項に記載の特徴抽出装置。
【請求項6】
前記共起頻度算出部は、前記複数の画像データのうちの第1の画像データが有する第1の画素と、前記複数の画像データのうちの第2の画像データにおいて前記第1の画素と同一の座標を有する画素から予め設定された距離だけ離れた第2の画素と、を対応づける請求項1乃至請求項5の何れか1項に記載の特徴抽出装置。
【請求項7】
前記共起頻度算出部は、前記複数の画像データにおいて、複数の前記予め設定された距離毎に、前記第1の画素と前記第2の画素とを対応づける請求項6に記載の特徴抽出装置。
【請求項8】
前記共起頻度算出部は、前記複数の画像データの各々の画像データ内に領域を設定し、前記複数の画像データにおいて、対応する前記領域における前記共起頻度を算出する請求項1乃至請求項7の何れか1項に記載の特徴抽出装置。
【請求項9】
前記共起頻度算出部は、前記複数の画像データのうちの一の画像データ内に複数の前記領域を設定し、前記複数の画像データにおいて、対応する前記領域毎に前記共起頻度を算出する請求項8に記載の特徴抽出装置。
【請求項10】
前記画素特徴量は、輝度勾配方向の値及び画素の濃度値の少なくとも一方である請求項1乃至請求項9の何れか1項に記載の特徴抽出装置。
【請求項11】
前記画像データを取得するための画像入力部と、
請求項1乃至請求項10のいずれか1項に記載の特徴抽出装置と、
を有する画像処理装置。
【請求項12】
複数の画像データのそれぞれに対し、該画像データが有する画素毎の画素特徴量を算出する画素特徴量算出ステップと、
前記複数の画像データにおいて、対応する画素の間の前記画素特徴量を比較することにより、前記画素特徴量の共起頻度を算出する共起頻度算出ステップと、
前記共起頻度を出力する共起頻度出力ステップと、
を有する特徴抽出方法。
【請求項13】
複数の画像データのそれぞれに対し、該画像データが有する画素毎の画素特徴量を算出する画素特徴量算出ステップと、
前記複数の画像データにおいて、対応する画素の間の前記画素特徴量を比較することにより、前記画素特徴量の共起頻度を算出する共起頻度算出ステップと、
前記共起頻度を出力する共起頻度出力ステップと、
をコンピュータに実行させるためのプログラム。
【請求項1】
複数の画像データのそれぞれに対し、該画像データが有する画素毎に複数の画素特徴量を算出する画素特徴量算出部と、
前記複数の画像データにおいて、対応する画素の間の前記画素特徴量を比較することにより、前記複数の画素特徴量の共起頻度を算出する共起頻度算出部と、
前記共起頻度を出力する共起頻度出力部と、
を有する特徴抽出装置。
【請求項2】
前記共起頻度は、共起ヒストグラムである請求項1に記載の特徴抽出装置。
【請求項3】
前記複数の画像データは、撮像の視点が異なるようにそれぞれ撮像され、
前記共起頻度算出部は、前記互いの撮像の視点が異なる複数の画像データから算出された画素特徴量の共起頻度を算出する請求項1又は請求項2に記載の特徴抽出装置。
【請求項4】
前記複数の画像データは、撮像時刻が異なるようにそれぞれ撮像され、
前記共起頻度算出部は、前記互いの撮像時刻が異なる複数の画像データから算出された画素特徴量の共起頻度を算出する請求項1乃至請求項3の何れか1項に記載の特徴抽出装置。
【請求項5】
前記共起頻度算出部は、互いに特性の異なる撮像手段により取得された複数の画像データから算出された画素特徴量の共起頻度を算出する請求項1乃至請求項4の何れか1項に記載の特徴抽出装置。
【請求項6】
前記共起頻度算出部は、前記複数の画像データのうちの第1の画像データが有する第1の画素と、前記複数の画像データのうちの第2の画像データにおいて前記第1の画素と同一の座標を有する画素から予め設定された距離だけ離れた第2の画素と、を対応づける請求項1乃至請求項5の何れか1項に記載の特徴抽出装置。
【請求項7】
前記共起頻度算出部は、前記複数の画像データにおいて、複数の前記予め設定された距離毎に、前記第1の画素と前記第2の画素とを対応づける請求項6に記載の特徴抽出装置。
【請求項8】
前記共起頻度算出部は、前記複数の画像データの各々の画像データ内に領域を設定し、前記複数の画像データにおいて、対応する前記領域における前記共起頻度を算出する請求項1乃至請求項7の何れか1項に記載の特徴抽出装置。
【請求項9】
前記共起頻度算出部は、前記複数の画像データのうちの一の画像データ内に複数の前記領域を設定し、前記複数の画像データにおいて、対応する前記領域毎に前記共起頻度を算出する請求項8に記載の特徴抽出装置。
【請求項10】
前記画素特徴量は、輝度勾配方向の値及び画素の濃度値の少なくとも一方である請求項1乃至請求項9の何れか1項に記載の特徴抽出装置。
【請求項11】
前記画像データを取得するための画像入力部と、
請求項1乃至請求項10のいずれか1項に記載の特徴抽出装置と、
を有する画像処理装置。
【請求項12】
複数の画像データのそれぞれに対し、該画像データが有する画素毎の画素特徴量を算出する画素特徴量算出ステップと、
前記複数の画像データにおいて、対応する画素の間の前記画素特徴量を比較することにより、前記画素特徴量の共起頻度を算出する共起頻度算出ステップと、
前記共起頻度を出力する共起頻度出力ステップと、
を有する特徴抽出方法。
【請求項13】
複数の画像データのそれぞれに対し、該画像データが有する画素毎の画素特徴量を算出する画素特徴量算出ステップと、
前記複数の画像データにおいて、対応する画素の間の前記画素特徴量を比較することにより、前記画素特徴量の共起頻度を算出する共起頻度算出ステップと、
前記共起頻度を出力する共起頻度出力ステップと、
をコンピュータに実行させるためのプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【公開番号】特開2010−44438(P2010−44438A)
【公開日】平成22年2月25日(2010.2.25)
【国際特許分類】
【出願番号】特願2008−206007(P2008−206007)
【出願日】平成20年8月8日(2008.8.8)
【出願人】(000003078)株式会社東芝 (54,554)
【Fターム(参考)】
【公開日】平成22年2月25日(2010.2.25)
【国際特許分類】
【出願日】平成20年8月8日(2008.8.8)
【出願人】(000003078)株式会社東芝 (54,554)
【Fターム(参考)】
[ Back to top ]