画像を表す特徴ベクトルを導き出す方法、画像分類方法、および画像解析装置
【課題】画像の記述、分類、かつ／またはマッチングを行う方法および装置であって、計算的に単純である、方法および装置を提供する。
【解決手段】画像、特に画像のテクスチャを分類する方法は、まず、所定のマッピング関数を使用して画像の二次元表現を一次元表現にマッピングすることによってテクスチャを表す特徴ベクトルを導き出すこと、そしてそれから、（ｉ）表現レベルがしきい値と交差するレート、（ｉｉ）しきい値に交差するときのレベルの変化レート、および（ｉｉｉ）レベルがしきい値を上回った（または下回った）ままである平均持続期間を求めること、とを含む。
【解決手段】画像、特に画像のテクスチャを分類する方法は、まず、所定のマッピング関数を使用して画像の二次元表現を一次元表現にマッピングすることによってテクスチャを表す特徴ベクトルを導き出すこと、そしてそれから、（ｉ）表現レベルがしきい値と交差するレート、（ｉｉ）しきい値に交差するときのレベルの変化レート、および（ｉｉｉ）レベルがしきい値を上回った（または下回った）ままである平均持続期間を求めること、とを含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を解析する方法および装置に関し、特に、画像のテクスチャの解析および分類に関するものである。
【０００２】
輝度／色パターンの規則性、粗さ、または滑らかさに関連する、画像中の領域の特定の視覚的特徴は一般にテクスチャ属性と呼ばれる。テクスチャ属性は人間の物体知覚および物体認識にとって重要である。テクスチャ属性はマシンビジョンにおける様々なタスク、たとえば、自動目視検査または衛星画像の解析等の遠隔探査にも適用することが可能である。
【０００３】
テクスチャ解析は通常、画像または領域から固有のテクスチャ特徴を抽出することを含み、このテクスチャ特徴を後に画像マッチング、領域分類等に使用することができる。
【０００４】
多くの既存のテクスチャ解析手法は３つの大きなクラス：ｉ）構造的手法、ｉｉ）統計的手法、およびｉｉｉ）スペクトル的手法の中の１つに分類することができる。
【０００５】
構造的手法では、テクスチャは、小塊（blob）、線分、角等、特定の視覚的基本物（visual primitives）の特徴および空間配置によって特徴付けられる。
【０００６】
統計的手法では、テクスチャは、関心領域内の輝度値の統計的な分布によって特徴付けられる。
【０００７】
スペクトル的手法では、属性の異なるフィルタのセットが使用され、基礎をなす画像に対するそれぞれの応答が特徴ベクトルとして使用される。たとえば、方向応答および周波数応答が変化するガボールフィルタを使用することが可能である。（D. Dunn, W. HigginsおよびJ. Wakeley著「Texture segmentation using 2-D Gabor elementary functions」、IEEE Trans. Pattern Anal. And Machine Intell., vol. 16, no. 2, Feb. 1994を参照のこと）。
【０００８】
これら既知の方法は概して、二次元（２−Ｄ）格子として通常定義される画像領域において動作する。
【０００９】
画像を、マッピング関数、たとえばペアノ曲線またはヒルベルト曲線等の平面充填曲線を使用して一次元（１−Ｄ）表現にマッピングすることができるということも既知である。（Peano G.著「Sur une courbe que remplit toute une aire plane」、 Math Annln., 36, pp.157-160 (1890)、 およびD. Hilbert著「Uber die stetige Abbildung einer Linie auf ein Flachenstuck」、 Math, Annln, 38, pp. 459-460 (1891）を参照のこと）。続けて、１−Ｄ信号の属性を、たとえば、フーリエ解析によって解析して、画像のテクスチャ特性を決定することができる。
【００１０】
既存の手法の大半は計算集約的である。画像輝度の変化、領域の並行移動および回転に対して不変であるテクスチャの記述、分類、かつ／またはマッチングを行う方法および装置であって、方法は計算的に単純である、方法および装置を提供することが望ましい。
【００１１】
本発明の態様は添付の特許請求の範囲に記載される。
【００１２】
本発明のさらなる態様によれば、画像の一次元表現が統計的に解析されて、画像を表す特徴ベクトルが導き出される。
【００１３】
この解析は、好ましくは、一次元表現を少なくとも１つのしきい値と比較することを含み、以下の中のいずれか１つまたは複数を求めるように構成することができる。
（ａ）表現がしきい値と交差するレート。
（ｂ）しきい値に交差するポイントにおける表現の平均傾き。ポイントは、表現値が増加しているところにあるポイントを選択しても（平均「上向き傾き」を得る）、または表現値が減少しているところにあるポイントを選択しても（平均「下向き傾き」を得る）よい。代替として、平均上向き傾きおよび平均下向き傾きを両方とも求めてもよく、また単純にすべてのポイントにおける平均傾きを求めてもよい。
（ｃ）表現がしきい値を上回った（または下回った）ままである平均間隔。
【００１４】
計算的に単純に得ることのできる上記パラメータが多くの画像クラス、特に画像テクスチャの良好な識別を提供することがわかっている。パラメータ（ａ）および（ｂ）の組み合わせが特に有効であることが分かっている。
【００１５】
本発明による方法の好ましい実施形態は以下のステップを含む。
１．適宜選択された平面充填曲線、たとえば、ターゲット関数での隣接点がソース関数での隣接点でもあるという属性を有する自己回避型の曲線、に基づく変換を利用することにより、２−Ｄ関数（「ソース関数」）を１−Ｄ関数（「ターゲット関数」）にマッピングするステップ。このような曲線の例はペアノ曲線およびヒルベルト曲線である。
２．結果得られたターゲット関数にしかるべき変換を適用するステップ。このような変換の一例はスケール不変性のターゲット関数を生成する対数変換である。
３．ターゲット関数のダイナミックレンジ内で識別レベルを選択するステップ。
４．ターゲット関数が選択された識別レベルと交差するポイントセットを求めるステップ。
５．セットのしかるべき統計的特徴、たとえば（ｉ）ポイントが発生するレート、（ｉｉ）ポイントにおけるターゲット関数の平均傾き、および（ｉｉｉ）ターゲット関数が隣接ポイント間で識別レベルを上回った（または下回った）ままであった平均間隔、を求めるステップ。
６．選択された統計的特徴（ステップ５において求められる）を組み合わせて、ソース関数、ひいては画像を記述する特徴ベクトルを構築するステップ。
【００１６】
この特徴ベクトルは、一次元ターゲット関数の一部で表される画像の一部のみに関連してもよい。画像の他の部分についての特徴ベクトルもさらに導き出すことができる。好ましい実施形態では、一次元関数の連続した重複セグメントが解析されて、各特徴ベクトルが導き出される。しかし、セグメントの重複は必要不可欠なことではない。
【００１７】
好ましい実施形態では、統計的特徴のそれぞれは、一次元表現をしきい値レベルと比較することによって求められる。しきい値は異なる特徴に対して異なってもよく、またはこういった特徴の中の少なくともいくつかに対して同じであってもよい。また、単純な固定値しきい値を可変しきい値で置き換えることも可能である（本明細書において、「しきい値関数」という語は可変しきい値および固定値しきい値の両方を指すために使用され、関数は所定の定数である）。
【００１８】
本発明の改良において、ターゲット関数が異なるそれぞれのしきい値関数と交差するレートを別個に求めることによってより良好な識別が実現される。好ましくは、少なくとも１つのしきい値関数について、交点におけるターゲット関数の平均傾きに２つの別個の値：一方の値は、関数が増加しているときのその関数の傾き（「上向き傾き」）を表し、他方の値は、関数が減少しているときのその関数の傾き（「下向き傾き」）を表す、が導き出される。
【００１９】
特徴ベクトルの構築に使用される値のいずれかの導出に、平均値（mean)、中央値、または分散等、平均（average）以外の統計的特徴を使用してもよい。
【００２０】
本発明については主に、画像のグレーレベルで表されるテクスチャを解析する文脈の中で説明するが、テクスチャは追加または代替として、色等他の特徴で表すことも可能である。
【００２１】
これより、本発明を具現する構成について、添付図面を参照しながら例として説明することにする。
【００２２】
図１は、本発明によるテクスチャ分類器のブロック図である。
【００２３】
入力画像マッパー（ＩＩＭ）１００は、いわゆるペアノスキャンを採用して、入力２１０において受け取った二次元（２−Ｄ）入力画像のグレーレベル値を、出力２１２において生成される、ターゲット関数と呼ばれる一次元（１−Ｄ）関数で表す。図２Ａ〜図２Ｃは、９×９ピクセルの参照画像に適用されたペアノスキャンの一例を示す。画像は２１０'で示され、ペアノスキャンに対応するパスは２１１で示される。２１２'に示されるグラフは、出力２１２において生成されるターゲット関数を表す。この例では、ピクセル幅が１に等しく、したがってグラフ２１２'上のピクセルインデックスはインデックス０を有するピクセルからの距離に対応するものと想定する。
【００２４】
スケール不変変換器（ＳＩＴ）１０１はしかるべき対数変換を使用して、ＩＩＭ１００の出力２１２におけるターゲット関数を、２１４において、２−Ｄ入力画像のダイナミックレンジから独立した値を有するターゲット関数表現に変換する。入力画像のダイナミックレンジは、照明条件の変更、イメージセンサの局所感度の変更その他による影響を受けうる。
【００２５】
移動窓セレクタ（ＭＷＳ）１０２は、２１４においてスケール不変変換器（ＳＩＴ）１０１からの信号によって駆動され、それ以降の処理に適したターゲット関数表現のセグメントを選択する。これを図３に示す。プロット２１４'に示すターゲット関数は、それぞれ３２ピクセル長の連続し重複した４９個のセグメント（３００，・・・，３４８）に細分される。
【００２６】
ＭＷＳ１０２の出力は、交差レート推定器（ＣＲＥ）１０４、交差傾き推定器（ＣＳＥ）１０５、および滞留間隔推定器（ＳＴＥ）１０６を含む複数の特徴推定器の信号入力に並行して与えられる。
【００２７】
交差レート推定器（ＣＲＥ）１０４の制御入力は参照レベル発生器（ＲＬＧ）１０３に接続されて、ターゲット関数表現からの特徴抽出に使用する識別レベルを設定するのに適したレートしきい値関数（この実施形態では単純な定数値）を定義する信号をライン２０４上で受け取る。同様に、交差傾き推定器（ＣＳＥ）１０５および滞留間隔推定器（ＳＴＥ）１０６も、参照レベル発生器（ＲＬＧ）１０３からライン２０５および２０６上それぞれにおいて、これら推定器が特徴抽出に使用する識別レベルを設定するのに適した傾きしきい値関数および適した持続期間しきい値関数を定義する信号を受け取る。
【００２８】
本実施形態では、３つの推定器はすべて、図４〜図６中で４０１において示される共通の固定値識別レベルを定義する信号を受け取る。これは別様に選択してもよく、レベル４０１は、変換器２１４の一次元出力中の値の中央値を表してもよく、または現在の窓中の値の中央値を表してもよい。しかし代替として、推定器の識別レベルは互いに異なってもよく、また可変であってもよい。
【００２９】
図４を参照すると、交差レート推定器（ＣＲＥ）１０４は、ターゲット関数表現２１４がそれぞれ指定されたセグメント内で選択された識別レベル４０１に交差したポイント数を求める。ＣＲＥの出力２２０は、画像テクスチャ分類器ＩＴＣの入力に与えられる。図４の例は、４番目の窓であるＷ４に対して行われた解析に関連するものである。信号は識別レベル４０１に、Ｔ１、Ｔ２、・・・、Ｔ８とマークされた８回交差する。
【００３０】
図５を参照すると、交差傾き推定器（ＣＳＥ）１０５は、ターゲット関数表現２１４'がそれぞれ指定された窓内で選択された識別レベルと交差したポイントにおける傾きの平均値を求める。図５は、ターゲット関数が識別レベル４０１にポイント：Ｔ１、Ｔ３、Ｔ５、Ｔ７（上向き交差）およびＴ２、Ｔ４、Ｔ６、Ｔ８（下向き交差）で交差する窓Ｗ４に関する例を示している。Ψ１、−Ψ２、Ψ３等の傾き値が各ポイントＴ１、・・・、Ｔ８について算出され、それから下向き傾きおよび上向き傾きが別個に平均化され、これらの値が適宜組み合わせられる。交点における表現の傾きまたは勾配の平均を示す結果は、ＣＳＥの出力２２１に提供され、そして画像テクスチャ分類器ＩＴＣの入力に与えられる。
【００３１】
図６を参照すると、滞留間隔推定器（ＳＴＥ）１０６は、ターゲット関数表現２１４がそれぞれ指定されたセグメント内で選択された識別レベルを上回ったままである間隔の平均長を求める。図６は、識別レベル４０１を使用しての窓Ｗ４に関する滞留間隔計算の一例を示すものである。ターゲット関数は４つの間隔５０１、５０２、５０３、および５０４において識別レベルを上回っているため、ＳＴＥ１０６はこれら４つの間隔の長さの算術平均を算出する。ＳＴＥ１０６の出力は画像テクスチャ分類器ＩＴＣのさらなる入力２２２に与えられる。
【００３２】
画像テクスチャ分類器（ＩＴＣ）１０７は入力において利用可能な特徴データをまとめて処理して、２−Ｄ入力画像のテクスチャ分類を行う。テクスチャ分類に使用される手順は、特徴空間全体を関心のあるテクスチャクラスを表す指定数の領域に分割することに基づくことができる。
【００３３】
図７は、各次元がＣＲＥ１０４、ＣＳＥ１０５、およびＳＴＥ１０６のそれぞれ１つによって生成されたパラメータに対応する三次元（３Ｄ）特徴空間Ｓの一例を示す。空間Ｓは、各領域が関心のあるＭ個のテクスチャクラスのうちの１つを表すようにＭ個の領域Ｓ１、Ｓ２、・・・、ＳＭに分割される。これらの領域（複数の適した下位領域を含みうる）の１つは、未指定（未知）のテクスチャのクラスを表すために使用することができる。
【００３４】
領域は重複しない。すなわち、
【００３５】
Ｓｉ∩Ｓｊ＝φ， ｉ，ｊ＝１，２，．．．，Ｍ ｉ≠ｊ
【００３６】
であり、全体の特徴空間Ｓの分割は網羅的である、すなわち、
Ｓ１∪Ｓ２∪．．．∪ＳＭ＝Ｓ
である。
【００３７】
本発明による画像解析手順は、出力２２０、２２１、および２２２において、それぞれ利用可能な３つの推定器ＣＲＥ、ＣＳＥ、およびＳＴＥからの数値を生成する。３Ｄ特徴空間では、このような三つ組を、領域Ｓ１、Ｓ２、・・・、ＳＭの中の１つに入るはずのポイントとして見ることができる。ポイントがＳｋに入る（１≦ｋ≦Ｍ）場合、テスト中の画像がＭ個のテクスチャクラスの中のクラスｋに属するテクスチャを示していると判断される。
【００３８】
特徴空間ＳのＭ個の領域への分割は、最小費用や、最小確率の分類誤り等に基づく最適化基準に従って行うことができる。必要とされる分割手順は、統計的決定理論の様々な応用に実行される標準的な演算である。
【００３９】
再び図４を参照すると、本発明の改良された実施形態では、参照レベル発生器１０３は３つの別個の参照レベル４０１、４０２、および４０３を交差レート推定器１０４に提供する。したがって、ＣＲＥ１０４は、その他のしきい値４０２および４０３に交差する回数を表すさらに２つの値を提供することができる。図４では、レベル４０２および４０３には、それぞれ、Ｕ１、Ｕ２、・・・、Ｕ１８およびＬ１・・・Ｌ８に示されるように、１８回および８回交差または到達する。
【００４０】
また、図５を参照すると、ターゲット関数２１４'がしきい値と交差するポイントを上向き交差および下向き交差に分類可能なことに気付くことになる。改良された実施形態では、交差傾き推定器１０５は上向き傾きおよび下向き傾きを別個に平均化するため、１つの値ではなく２つの値を提供する。
【００４１】
この実施形態では、交差レート推定器１０４、交差傾き推定器１０５、および滞留間隔推定器１０６によって提供される６つの値が画像テクスチャ分類器１０７によって使用されて、６次元特徴空間内で画像が分類される。
【００４２】
代替の構成では、交差レート推定器１０４からの３つの値、および／または交差傾き推定器１０５からの２つの値は、たとえば、各種重み付け係数を使用することによって組み合わせ、それぞれ単一の値を形成することができる。
【００４３】
多くの用途において、たとえば一次元関数が、いくつかのビデオシステムで発生しうるように繰り返しスキャンされる画像から導き出される場合、一次元関数が時間領域を占有することが予期される。この場合、ひとつの時間間隔は、この表記上の時間期間中にスキャンされた画像のひとつのセグメントを表すであろう。したがって、この状況におけるターゲット関数の引数は、スキャン曲線上の選択されたポイントからの距離である場合もあれば、または選択された参照時間瞬間から経過した時間である場合もある。
【００４４】
実施例は説明を明確にするためにかなり単純なものである。多数の代替の実施例が存在する。代替の実施例は、
（ａ）異なるマッピング関数を適用すること、
（ｂ）タイプの異なるスケール不変変換を適用すること、
（ｃ）特徴セットの定義に使用するルールを変更すること、
（ｄ）識別信号の数およびレベルを変更すること、および／または
（ｅ）特徴セットの異なる統計的特徴を使用すること、
によって得ることができる。
【００４５】
本発明について二次元画像を解析する文脈の中で説明したが、本技法は、しかるべき空間充填曲線を採用することによって多次元データ、特に多次元画像の解析に拡張することが可能である。画像は、従来の視覚的画像であっても、または電磁スペクトルの非視覚的部分の画像であっても、または実際に、超音波画像等異なる領域のものであってもよい。
【図面の簡単な説明】
【００４６】
【図１】本発明によるテクスチャ分類システムのブロック図である。
【図２Ａ】画像のペアノスキャンを示す図である。
【図２Ｂ】画像のペアノスキャンを示す図である。
【図２Ｃ】画像のペアノスキャンを示す図である。
【図３】移動窓セレクタの動作を示す図である。
【図４】交差レート推定器の動作を示す図である。
【図５】交差傾き推定器の動作を示す図である。
【図６】滞留間隔推定器の動作を示す図である
【図７】テクスチャの分類を可能にする特徴空間の分割を示す図である。
【技術分野】
【０００１】
本発明は、画像を解析する方法および装置に関し、特に、画像のテクスチャの解析および分類に関するものである。
【０００２】
輝度／色パターンの規則性、粗さ、または滑らかさに関連する、画像中の領域の特定の視覚的特徴は一般にテクスチャ属性と呼ばれる。テクスチャ属性は人間の物体知覚および物体認識にとって重要である。テクスチャ属性はマシンビジョンにおける様々なタスク、たとえば、自動目視検査または衛星画像の解析等の遠隔探査にも適用することが可能である。
【０００３】
テクスチャ解析は通常、画像または領域から固有のテクスチャ特徴を抽出することを含み、このテクスチャ特徴を後に画像マッチング、領域分類等に使用することができる。
【０００４】
多くの既存のテクスチャ解析手法は３つの大きなクラス：ｉ）構造的手法、ｉｉ）統計的手法、およびｉｉｉ）スペクトル的手法の中の１つに分類することができる。
【０００５】
構造的手法では、テクスチャは、小塊（blob）、線分、角等、特定の視覚的基本物（visual primitives）の特徴および空間配置によって特徴付けられる。
【０００６】
統計的手法では、テクスチャは、関心領域内の輝度値の統計的な分布によって特徴付けられる。
【０００７】
スペクトル的手法では、属性の異なるフィルタのセットが使用され、基礎をなす画像に対するそれぞれの応答が特徴ベクトルとして使用される。たとえば、方向応答および周波数応答が変化するガボールフィルタを使用することが可能である。（D. Dunn, W. HigginsおよびJ. Wakeley著「Texture segmentation using 2-D Gabor elementary functions」、IEEE Trans. Pattern Anal. And Machine Intell., vol. 16, no. 2, Feb. 1994を参照のこと）。
【０００８】
これら既知の方法は概して、二次元（２−Ｄ）格子として通常定義される画像領域において動作する。
【０００９】
画像を、マッピング関数、たとえばペアノ曲線またはヒルベルト曲線等の平面充填曲線を使用して一次元（１−Ｄ）表現にマッピングすることができるということも既知である。（Peano G.著「Sur une courbe que remplit toute une aire plane」、 Math Annln., 36, pp.157-160 (1890)、 およびD. Hilbert著「Uber die stetige Abbildung einer Linie auf ein Flachenstuck」、 Math, Annln, 38, pp. 459-460 (1891）を参照のこと）。続けて、１−Ｄ信号の属性を、たとえば、フーリエ解析によって解析して、画像のテクスチャ特性を決定することができる。
【００１０】
既存の手法の大半は計算集約的である。画像輝度の変化、領域の並行移動および回転に対して不変であるテクスチャの記述、分類、かつ／またはマッチングを行う方法および装置であって、方法は計算的に単純である、方法および装置を提供することが望ましい。
【００１１】
本発明の態様は添付の特許請求の範囲に記載される。
【００１２】
本発明のさらなる態様によれば、画像の一次元表現が統計的に解析されて、画像を表す特徴ベクトルが導き出される。
【００１３】
この解析は、好ましくは、一次元表現を少なくとも１つのしきい値と比較することを含み、以下の中のいずれか１つまたは複数を求めるように構成することができる。
（ａ）表現がしきい値と交差するレート。
（ｂ）しきい値に交差するポイントにおける表現の平均傾き。ポイントは、表現値が増加しているところにあるポイントを選択しても（平均「上向き傾き」を得る）、または表現値が減少しているところにあるポイントを選択しても（平均「下向き傾き」を得る）よい。代替として、平均上向き傾きおよび平均下向き傾きを両方とも求めてもよく、また単純にすべてのポイントにおける平均傾きを求めてもよい。
（ｃ）表現がしきい値を上回った（または下回った）ままである平均間隔。
【００１４】
計算的に単純に得ることのできる上記パラメータが多くの画像クラス、特に画像テクスチャの良好な識別を提供することがわかっている。パラメータ（ａ）および（ｂ）の組み合わせが特に有効であることが分かっている。
【００１５】
本発明による方法の好ましい実施形態は以下のステップを含む。
１．適宜選択された平面充填曲線、たとえば、ターゲット関数での隣接点がソース関数での隣接点でもあるという属性を有する自己回避型の曲線、に基づく変換を利用することにより、２−Ｄ関数（「ソース関数」）を１−Ｄ関数（「ターゲット関数」）にマッピングするステップ。このような曲線の例はペアノ曲線およびヒルベルト曲線である。
２．結果得られたターゲット関数にしかるべき変換を適用するステップ。このような変換の一例はスケール不変性のターゲット関数を生成する対数変換である。
３．ターゲット関数のダイナミックレンジ内で識別レベルを選択するステップ。
４．ターゲット関数が選択された識別レベルと交差するポイントセットを求めるステップ。
５．セットのしかるべき統計的特徴、たとえば（ｉ）ポイントが発生するレート、（ｉｉ）ポイントにおけるターゲット関数の平均傾き、および（ｉｉｉ）ターゲット関数が隣接ポイント間で識別レベルを上回った（または下回った）ままであった平均間隔、を求めるステップ。
６．選択された統計的特徴（ステップ５において求められる）を組み合わせて、ソース関数、ひいては画像を記述する特徴ベクトルを構築するステップ。
【００１６】
この特徴ベクトルは、一次元ターゲット関数の一部で表される画像の一部のみに関連してもよい。画像の他の部分についての特徴ベクトルもさらに導き出すことができる。好ましい実施形態では、一次元関数の連続した重複セグメントが解析されて、各特徴ベクトルが導き出される。しかし、セグメントの重複は必要不可欠なことではない。
【００１７】
好ましい実施形態では、統計的特徴のそれぞれは、一次元表現をしきい値レベルと比較することによって求められる。しきい値は異なる特徴に対して異なってもよく、またはこういった特徴の中の少なくともいくつかに対して同じであってもよい。また、単純な固定値しきい値を可変しきい値で置き換えることも可能である（本明細書において、「しきい値関数」という語は可変しきい値および固定値しきい値の両方を指すために使用され、関数は所定の定数である）。
【００１８】
本発明の改良において、ターゲット関数が異なるそれぞれのしきい値関数と交差するレートを別個に求めることによってより良好な識別が実現される。好ましくは、少なくとも１つのしきい値関数について、交点におけるターゲット関数の平均傾きに２つの別個の値：一方の値は、関数が増加しているときのその関数の傾き（「上向き傾き」）を表し、他方の値は、関数が減少しているときのその関数の傾き（「下向き傾き」）を表す、が導き出される。
【００１９】
特徴ベクトルの構築に使用される値のいずれかの導出に、平均値（mean)、中央値、または分散等、平均（average）以外の統計的特徴を使用してもよい。
【００２０】
本発明については主に、画像のグレーレベルで表されるテクスチャを解析する文脈の中で説明するが、テクスチャは追加または代替として、色等他の特徴で表すことも可能である。
【００２１】
これより、本発明を具現する構成について、添付図面を参照しながら例として説明することにする。
【００２２】
図１は、本発明によるテクスチャ分類器のブロック図である。
【００２３】
入力画像マッパー（ＩＩＭ）１００は、いわゆるペアノスキャンを採用して、入力２１０において受け取った二次元（２−Ｄ）入力画像のグレーレベル値を、出力２１２において生成される、ターゲット関数と呼ばれる一次元（１−Ｄ）関数で表す。図２Ａ〜図２Ｃは、９×９ピクセルの参照画像に適用されたペアノスキャンの一例を示す。画像は２１０'で示され、ペアノスキャンに対応するパスは２１１で示される。２１２'に示されるグラフは、出力２１２において生成されるターゲット関数を表す。この例では、ピクセル幅が１に等しく、したがってグラフ２１２'上のピクセルインデックスはインデックス０を有するピクセルからの距離に対応するものと想定する。
【００２４】
スケール不変変換器（ＳＩＴ）１０１はしかるべき対数変換を使用して、ＩＩＭ１００の出力２１２におけるターゲット関数を、２１４において、２−Ｄ入力画像のダイナミックレンジから独立した値を有するターゲット関数表現に変換する。入力画像のダイナミックレンジは、照明条件の変更、イメージセンサの局所感度の変更その他による影響を受けうる。
【００２５】
移動窓セレクタ（ＭＷＳ）１０２は、２１４においてスケール不変変換器（ＳＩＴ）１０１からの信号によって駆動され、それ以降の処理に適したターゲット関数表現のセグメントを選択する。これを図３に示す。プロット２１４'に示すターゲット関数は、それぞれ３２ピクセル長の連続し重複した４９個のセグメント（３００，・・・，３４８）に細分される。
【００２６】
ＭＷＳ１０２の出力は、交差レート推定器（ＣＲＥ）１０４、交差傾き推定器（ＣＳＥ）１０５、および滞留間隔推定器（ＳＴＥ）１０６を含む複数の特徴推定器の信号入力に並行して与えられる。
【００２７】
交差レート推定器（ＣＲＥ）１０４の制御入力は参照レベル発生器（ＲＬＧ）１０３に接続されて、ターゲット関数表現からの特徴抽出に使用する識別レベルを設定するのに適したレートしきい値関数（この実施形態では単純な定数値）を定義する信号をライン２０４上で受け取る。同様に、交差傾き推定器（ＣＳＥ）１０５および滞留間隔推定器（ＳＴＥ）１０６も、参照レベル発生器（ＲＬＧ）１０３からライン２０５および２０６上それぞれにおいて、これら推定器が特徴抽出に使用する識別レベルを設定するのに適した傾きしきい値関数および適した持続期間しきい値関数を定義する信号を受け取る。
【００２８】
本実施形態では、３つの推定器はすべて、図４〜図６中で４０１において示される共通の固定値識別レベルを定義する信号を受け取る。これは別様に選択してもよく、レベル４０１は、変換器２１４の一次元出力中の値の中央値を表してもよく、または現在の窓中の値の中央値を表してもよい。しかし代替として、推定器の識別レベルは互いに異なってもよく、また可変であってもよい。
【００２９】
図４を参照すると、交差レート推定器（ＣＲＥ）１０４は、ターゲット関数表現２１４がそれぞれ指定されたセグメント内で選択された識別レベル４０１に交差したポイント数を求める。ＣＲＥの出力２２０は、画像テクスチャ分類器ＩＴＣの入力に与えられる。図４の例は、４番目の窓であるＷ４に対して行われた解析に関連するものである。信号は識別レベル４０１に、Ｔ１、Ｔ２、・・・、Ｔ８とマークされた８回交差する。
【００３０】
図５を参照すると、交差傾き推定器（ＣＳＥ）１０５は、ターゲット関数表現２１４'がそれぞれ指定された窓内で選択された識別レベルと交差したポイントにおける傾きの平均値を求める。図５は、ターゲット関数が識別レベル４０１にポイント：Ｔ１、Ｔ３、Ｔ５、Ｔ７（上向き交差）およびＴ２、Ｔ４、Ｔ６、Ｔ８（下向き交差）で交差する窓Ｗ４に関する例を示している。Ψ１、−Ψ２、Ψ３等の傾き値が各ポイントＴ１、・・・、Ｔ８について算出され、それから下向き傾きおよび上向き傾きが別個に平均化され、これらの値が適宜組み合わせられる。交点における表現の傾きまたは勾配の平均を示す結果は、ＣＳＥの出力２２１に提供され、そして画像テクスチャ分類器ＩＴＣの入力に与えられる。
【００３１】
図６を参照すると、滞留間隔推定器（ＳＴＥ）１０６は、ターゲット関数表現２１４がそれぞれ指定されたセグメント内で選択された識別レベルを上回ったままである間隔の平均長を求める。図６は、識別レベル４０１を使用しての窓Ｗ４に関する滞留間隔計算の一例を示すものである。ターゲット関数は４つの間隔５０１、５０２、５０３、および５０４において識別レベルを上回っているため、ＳＴＥ１０６はこれら４つの間隔の長さの算術平均を算出する。ＳＴＥ１０６の出力は画像テクスチャ分類器ＩＴＣのさらなる入力２２２に与えられる。
【００３２】
画像テクスチャ分類器（ＩＴＣ）１０７は入力において利用可能な特徴データをまとめて処理して、２−Ｄ入力画像のテクスチャ分類を行う。テクスチャ分類に使用される手順は、特徴空間全体を関心のあるテクスチャクラスを表す指定数の領域に分割することに基づくことができる。
【００３３】
図７は、各次元がＣＲＥ１０４、ＣＳＥ１０５、およびＳＴＥ１０６のそれぞれ１つによって生成されたパラメータに対応する三次元（３Ｄ）特徴空間Ｓの一例を示す。空間Ｓは、各領域が関心のあるＭ個のテクスチャクラスのうちの１つを表すようにＭ個の領域Ｓ１、Ｓ２、・・・、ＳＭに分割される。これらの領域（複数の適した下位領域を含みうる）の１つは、未指定（未知）のテクスチャのクラスを表すために使用することができる。
【００３４】
領域は重複しない。すなわち、
【００３５】
Ｓｉ∩Ｓｊ＝φ， ｉ，ｊ＝１，２，．．．，Ｍ ｉ≠ｊ
【００３６】
であり、全体の特徴空間Ｓの分割は網羅的である、すなわち、
Ｓ１∪Ｓ２∪．．．∪ＳＭ＝Ｓ
である。
【００３７】
本発明による画像解析手順は、出力２２０、２２１、および２２２において、それぞれ利用可能な３つの推定器ＣＲＥ、ＣＳＥ、およびＳＴＥからの数値を生成する。３Ｄ特徴空間では、このような三つ組を、領域Ｓ１、Ｓ２、・・・、ＳＭの中の１つに入るはずのポイントとして見ることができる。ポイントがＳｋに入る（１≦ｋ≦Ｍ）場合、テスト中の画像がＭ個のテクスチャクラスの中のクラスｋに属するテクスチャを示していると判断される。
【００３８】
特徴空間ＳのＭ個の領域への分割は、最小費用や、最小確率の分類誤り等に基づく最適化基準に従って行うことができる。必要とされる分割手順は、統計的決定理論の様々な応用に実行される標準的な演算である。
【００３９】
再び図４を参照すると、本発明の改良された実施形態では、参照レベル発生器１０３は３つの別個の参照レベル４０１、４０２、および４０３を交差レート推定器１０４に提供する。したがって、ＣＲＥ１０４は、その他のしきい値４０２および４０３に交差する回数を表すさらに２つの値を提供することができる。図４では、レベル４０２および４０３には、それぞれ、Ｕ１、Ｕ２、・・・、Ｕ１８およびＬ１・・・Ｌ８に示されるように、１８回および８回交差または到達する。
【００４０】
また、図５を参照すると、ターゲット関数２１４'がしきい値と交差するポイントを上向き交差および下向き交差に分類可能なことに気付くことになる。改良された実施形態では、交差傾き推定器１０５は上向き傾きおよび下向き傾きを別個に平均化するため、１つの値ではなく２つの値を提供する。
【００４１】
この実施形態では、交差レート推定器１０４、交差傾き推定器１０５、および滞留間隔推定器１０６によって提供される６つの値が画像テクスチャ分類器１０７によって使用されて、６次元特徴空間内で画像が分類される。
【００４２】
代替の構成では、交差レート推定器１０４からの３つの値、および／または交差傾き推定器１０５からの２つの値は、たとえば、各種重み付け係数を使用することによって組み合わせ、それぞれ単一の値を形成することができる。
【００４３】
多くの用途において、たとえば一次元関数が、いくつかのビデオシステムで発生しうるように繰り返しスキャンされる画像から導き出される場合、一次元関数が時間領域を占有することが予期される。この場合、ひとつの時間間隔は、この表記上の時間期間中にスキャンされた画像のひとつのセグメントを表すであろう。したがって、この状況におけるターゲット関数の引数は、スキャン曲線上の選択されたポイントからの距離である場合もあれば、または選択された参照時間瞬間から経過した時間である場合もある。
【００４４】
実施例は説明を明確にするためにかなり単純なものである。多数の代替の実施例が存在する。代替の実施例は、
（ａ）異なるマッピング関数を適用すること、
（ｂ）タイプの異なるスケール不変変換を適用すること、
（ｃ）特徴セットの定義に使用するルールを変更すること、
（ｄ）識別信号の数およびレベルを変更すること、および／または
（ｅ）特徴セットの異なる統計的特徴を使用すること、
によって得ることができる。
【００４５】
本発明について二次元画像を解析する文脈の中で説明したが、本技法は、しかるべき空間充填曲線を採用することによって多次元データ、特に多次元画像の解析に拡張することが可能である。画像は、従来の視覚的画像であっても、または電磁スペクトルの非視覚的部分の画像であっても、または実際に、超音波画像等異なる領域のものであってもよい。
【図面の簡単な説明】
【００４６】
【図１】本発明によるテクスチャ分類システムのブロック図である。
【図２Ａ】画像のペアノスキャンを示す図である。
【図２Ｂ】画像のペアノスキャンを示す図である。
【図２Ｃ】画像のペアノスキャンを示す図である。
【図３】移動窓セレクタの動作を示す図である。
【図４】交差レート推定器の動作を示す図である。
【図５】交差傾き推定器の動作を示す図である。
【図６】滞留間隔推定器の動作を示す図である
【図７】テクスチャの分類を可能にする特徴空間の分割を示す図である。
【特許請求の範囲】
【請求項１】
画像を表す特徴ベクトルを導き出す方法であって、
（ｉ）所定のマッピング関数を使用して前記画像の一次元表現を導き出すことであって、前記一次元表現は、連続的に変化して前記画像の隣接領域を表すレベルを有する、前記画像の一次元表現を導き出すことと、
（ｉｉ）少なくとも、前記レベルがレートしきい値関数のレベルと交差するレートを表すレート値を導き出すことによって前記特徴ベクトルを形成することと
を含む、画像を表す特徴ベクトルを導き出す方法。
【請求項２】
前記レートしきい値関数は所定の定数である、請求項１記載の画像を表す特徴ベクトルを導き出す方法。
【請求項３】
前記特徴ベクトルは、
前記一次元表現の前記レベルがそれぞれの異なる所定のレートしきい値関数のレベルと交差するレートをそれぞれ表す複数のレート値を導き出すこと
によって形成される、請求項１または２記載の画像を表す特徴ベクトルを導き出す方法。
【請求項４】
画像を表す特徴ベクトルを導き出す方法であって、
（ｉ）所定のマッピング関数を使用して前記画像の一次元表現を導き出すことであって、前記一次元表現は、連続的に変化して前記画像の隣接領域を表すレベルを有する、前記画像の一次元表現を導き出すことと、
（ｉｉ）少なくとも、前記レベルが持続期間しきい値関数のレベルを上回った（または下回った）ままである間隔の長さに依存する持続期間値を導き出すことによって前記特徴ベクトルを形成することと
を含む、画像を表す特徴ベクトルを導き出す方法。
【請求項５】
前記特徴ベクトルは、
前記レベルが持続期間しきい値関数のレベルを上回った（または下回った）ままである間隔の長さに依存する持続期間値も導き出すこと
によって形成される、請求項１〜３のいずれか一項記載の画像を表す特徴ベクトルを導き出す方法。
【請求項６】
前記持続期間しきい値関数は所定の定数である、請求項４または５記載の画像を表す特徴ベクトルを導き出す方法。
【請求項７】
前記持続期間値は、前記一次元表現の前記レベルが前記第３の所定の関数を上回った（または下回った）ままである複数の持続期間の統計関数である、請求項４、５、または６記載の画像を表す特徴ベクトルを導き出す方法。
【請求項８】
前記特徴ベクトルは、前記一次元表現の第１の部分から導き出され、
前記方法は、前記一次元表現の連続部分それぞれを表す特徴ベクトルをさらに導き出すステップを含む、
請求項１〜７のいずれか一項記載の画像を表す特徴ベクトルを導き出す方法。
【請求項９】
前記連続部分は互いに重複する、請求項８記載の画像を表す特徴ベクトルを導き出す方法。
【請求項１０】
前記特徴ベクトルを導き出す前に、
前記一次元表現をスケーリングするステップであって、それによって前記表現のダイナミックレンジの変動を補償する、前記一次元表現をスケーリングするステップ
を含む、請求項１〜９のいずれか一項記載の画像を表す特徴ベクトルを導き出す方法。
【請求項１１】
前記画像の前記一次元表現は前記画像のグレースケールでの変動を表す、請求項１〜１０のいずれか一項記載の画像を表す特徴ベクトルを導き出す方法。
【請求項１２】
二次元画像を表す特徴ベクトルを導き出すために使用される、請求項１〜１１のいずれか一項記載の画像を表す特徴ベクトルを導き出す方法。
【請求項１３】
請求項１〜１２のいずれか一項記載の方法を使用して特徴ベクトルを導き出すことと、
その次に、特徴空間内の複数の指定領域のいずれがその特徴ベクトルを包含するかを求めることと
を含む画像分類方法。
【請求項１４】
請求項１〜１２のいずれか一項記載の方法を使用して特徴ベクトルを導き出すように構成される画像解析装置。
【請求項１】
画像を表す特徴ベクトルを導き出す方法であって、
（ｉ）所定のマッピング関数を使用して前記画像の一次元表現を導き出すことであって、前記一次元表現は、連続的に変化して前記画像の隣接領域を表すレベルを有する、前記画像の一次元表現を導き出すことと、
（ｉｉ）少なくとも、前記レベルがレートしきい値関数のレベルと交差するレートを表すレート値を導き出すことによって前記特徴ベクトルを形成することと
を含む、画像を表す特徴ベクトルを導き出す方法。
【請求項２】
前記レートしきい値関数は所定の定数である、請求項１記載の画像を表す特徴ベクトルを導き出す方法。
【請求項３】
前記特徴ベクトルは、
前記一次元表現の前記レベルがそれぞれの異なる所定のレートしきい値関数のレベルと交差するレートをそれぞれ表す複数のレート値を導き出すこと
によって形成される、請求項１または２記載の画像を表す特徴ベクトルを導き出す方法。
【請求項４】
画像を表す特徴ベクトルを導き出す方法であって、
（ｉ）所定のマッピング関数を使用して前記画像の一次元表現を導き出すことであって、前記一次元表現は、連続的に変化して前記画像の隣接領域を表すレベルを有する、前記画像の一次元表現を導き出すことと、
（ｉｉ）少なくとも、前記レベルが持続期間しきい値関数のレベルを上回った（または下回った）ままである間隔の長さに依存する持続期間値を導き出すことによって前記特徴ベクトルを形成することと
を含む、画像を表す特徴ベクトルを導き出す方法。
【請求項５】
前記特徴ベクトルは、
前記レベルが持続期間しきい値関数のレベルを上回った（または下回った）ままである間隔の長さに依存する持続期間値も導き出すこと
によって形成される、請求項１〜３のいずれか一項記載の画像を表す特徴ベクトルを導き出す方法。
【請求項６】
前記持続期間しきい値関数は所定の定数である、請求項４または５記載の画像を表す特徴ベクトルを導き出す方法。
【請求項７】
前記持続期間値は、前記一次元表現の前記レベルが前記第３の所定の関数を上回った（または下回った）ままである複数の持続期間の統計関数である、請求項４、５、または６記載の画像を表す特徴ベクトルを導き出す方法。
【請求項８】
前記特徴ベクトルは、前記一次元表現の第１の部分から導き出され、
前記方法は、前記一次元表現の連続部分それぞれを表す特徴ベクトルをさらに導き出すステップを含む、
請求項１〜７のいずれか一項記載の画像を表す特徴ベクトルを導き出す方法。
【請求項９】
前記連続部分は互いに重複する、請求項８記載の画像を表す特徴ベクトルを導き出す方法。
【請求項１０】
前記特徴ベクトルを導き出す前に、
前記一次元表現をスケーリングするステップであって、それによって前記表現のダイナミックレンジの変動を補償する、前記一次元表現をスケーリングするステップ
を含む、請求項１〜９のいずれか一項記載の画像を表す特徴ベクトルを導き出す方法。
【請求項１１】
前記画像の前記一次元表現は前記画像のグレースケールでの変動を表す、請求項１〜１０のいずれか一項記載の画像を表す特徴ベクトルを導き出す方法。
【請求項１２】
二次元画像を表す特徴ベクトルを導き出すために使用される、請求項１〜１１のいずれか一項記載の画像を表す特徴ベクトルを導き出す方法。
【請求項１３】
請求項１〜１２のいずれか一項記載の方法を使用して特徴ベクトルを導き出すことと、
その次に、特徴空間内の複数の指定領域のいずれがその特徴ベクトルを包含するかを求めることと
を含む画像分類方法。
【請求項１４】
請求項１〜１２のいずれか一項記載の方法を使用して特徴ベクトルを導き出すように構成される画像解析装置。
【図１】
【図２Ａ】
【図２Ｂ】
【図２Ｃ】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２Ａ】
【図２Ｂ】
【図２Ｃ】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２００８−１９８２２４（Ｐ２００８−１９８２２４Ａ）
【公開日】平成２０年８月２８日（２００８．８．２８）
【国際特許分類】
【出願番号】特願２００８−７８８５０（Ｐ２００８−７８８５０）
【出願日】平成２０年３月２５日（２００８．３．２５）
【分割の表示】特願２００３−５３８９７９（Ｐ２００３−５３８９７９）の分割
【原出願日】平成１４年９月２５日（２００２．９．２５）
【出願人】（５０１２５３３１６）ミツビシ・エレクトリック・インフォメイション・テクノロジー・センター・ヨーロッパ・ビーヴィ (77)
【氏名又は名称原語表記】ＭＩＴＳＵＢＩＳＨＩ ＥＬＥＣＲＩＣ ＩＮＦＯＲＭＡＴＩＯＮ ＴＥＣＨＮＯＬＯＧＹ ＣＥＮＴＲＥ ＥＵＲＯＰＥ Ｂ．Ｖ．
【住所又は居所原語表記】２０ Ｆｒｅｄｅｒｉｃｋ Ｓａｎｇｅｒ Ｒｏａｄ， Ｔｈｅ Ｓｕｒｒｅｙ Ｒｅｓｅａｒｃｈ Ｐａｒｋ， Ｇｕｉｌｄｆｏｒｄ， Ｓｕｒｒｅｙ ＧＵ２ ５ＹＤ， Ｇｒｅａｔ Ｂｒｉｔａｉｎ
【Ｆターム（参考）】
【公開日】平成２０年８月２８日（２００８．８．２８）
【国際特許分類】
【出願日】平成２０年３月２５日（２００８．３．２５）
【分割の表示】特願２００３−５３８９７９（Ｐ２００３−５３８９７９）の分割
【原出願日】平成１４年９月２５日（２００２．９．２５）
【出願人】（５０１２５３３１６）ミツビシ・エレクトリック・インフォメイション・テクノロジー・センター・ヨーロッパ・ビーヴィ (77)
【氏名又は名称原語表記】ＭＩＴＳＵＢＩＳＨＩ ＥＬＥＣＲＩＣ ＩＮＦＯＲＭＡＴＩＯＮ ＴＥＣＨＮＯＬＯＧＹ ＣＥＮＴＲＥ ＥＵＲＯＰＥ Ｂ．Ｖ．
【住所又は居所原語表記】２０ Ｆｒｅｄｅｒｉｃｋ Ｓａｎｇｅｒ Ｒｏａｄ， Ｔｈｅ Ｓｕｒｒｅｙ Ｒｅｓｅａｒｃｈ Ｐａｒｋ， Ｇｕｉｌｄｆｏｒｄ， Ｓｕｒｒｅｙ ＧＵ２ ５ＹＤ， Ｇｒｅａｔ Ｂｒｉｔａｉｎ
【Ｆターム（参考）】
[ Back to top ]