説明

画像処理装置、画像処理方法及びプログラム

【課題】 画像のテクスチャ特性において、従来に比較して角度方向の分解能を向上させ、テクスチャ分類の精度を向上させる画像処理装置、方法及びプログラムを提供する。
【解決手段】 本発明の画像処理装置は、第1のスティーラブルフィルタと、該第1のスティーラブルフィルタをヒルベルト変換した第2のスティーラブルフィルタと、画像のスケール毎に、各々のフィルタリング結果から、テクスチャ特徴としてテクスチャ方向を算出するテクスチャ方向算出部と、テクスチャ方向の強度を画素毎に算出し、エッジ点を求め、このエッジ点からエッジを抽出するエッジ抽出部と、少なくともテクスチャ方向及びテクスチャ方向の強度とに基づいたテクスチャ特徴を、各画像毎に記憶するデータベースとを有する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像の特徴の一つであるテクスチャを用いた画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【0002】
データベース等における画像の検索に用いられる特徴として、テクスチャ特徴がある。
このテクスチャ特性は、画像に含まれる模様パターンの分布状態を示す特性であり、画像の有する空間的な構造を表現している。
そして、人間は、テクスチャ特性の違いから、画像の中の領域を区別することができ、また、テクスチャ特性のスケールの違い(分布の細かさの程度)により、細かい方が遠くに感じ、粗い方が近くに感じることで、テクスチャ特性により、遠近感を得ることができる。
【0003】
上述したように、テクスチャ特性は、人間の視覚的情報処理において、遠近感を得る重要な役割を果たしている。
したがって、人間がテクスチャ特性により視覚的な判断を行うことを考えると、類似する画像を含む大規模なデータベースから、効果的に人間が類似しているとする画像を、効果的に検索及び閲覧する際、各画像のテクスチャ特性を考慮して行う必要がある。
このため、テクスチャ特性をより、忠実に記述する方法が必要となる。
【0004】
例えば、ガボールフィルタを用いて、図19に示すように、テクスチャ特徴を、極座標周波数空間において角度方向(方向成分)及び放射方向(空間周波数)に分類した特徴チャンネルとして表現する方法がある(例えば、特許文献1を参照)。
上記ガボールフィルタを用いた方法においては、各特徴チャンネル毎の特徴値を求め、これを画像のテクスチャ特徴としてを抽出している。
【特許文献1】特表2003−515852号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献1に示すテクスチャ記述方法等にあっては、テクスチャ特性の重要な構成要素であるラインエッジ及びステップエッジと呼ばれる様々なエッジ(輪郭線)特徴を、テクスチャ特性に適応的に利用してはいない。
ここで、図20(a)に示すように、矢印Q方向がテクスチャの方向であり、エッジはこのテクスチャ方向の法線方向となる。
また、図20(b)に示すx−y座標系で示すテクスチャ画像の一部を拡大すると、その拡大領域において、図20(c)のようにテクスチャ方向が角度θで表すことができる。
【0006】
また、上述した特徴チャンネルを用いるテクスチャ記述には、上記角度θの分解能が所定の範囲(量子化ステップ)として設定されているため、分解能が理想的な量子化ステップにより低くなり、テクスチャ分類する際に、分類精度が低下する要因となる。
ここで、上記ガボールフィルタを設計する際に、高次の関数を用いてフィルタを設計することにより、分解能を上げることは可能であるが、ノイズの影響を受けることになり、実質的に分類精度を向上させることは困難である。
【0007】
本発明は、このような事情に鑑みてなされたもので、テクスチャ画像から得られるテクスチャ特性において、従来例に比較して角度方向の分解能を向上させ、テクスチャ分類の精度を向上させることか可能な画像処理装置、画像処理方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明の画像処理装置は、画像のテクスチャ特徴を抽出する画像処理装置であり、
第1のスティーラブルフィルタと、該第1のスティーラブルフィルタをヒルベルト変換した第2のスティーラブルフィルタと、画像のスケール毎に、前記各々のフィルタリング結果から、前記テクスチャ特徴としてテクスチャ方向を算出するテクスチャ方向算出部と、前記テクスチャ方向の強度を画素毎に算出し、エッジ点を求め、このエッジ点からエッジを抽出するエッジ抽出部と、少なくともテクスチャ方向及びテクスチャ方向の強度とに基づいたテクスチャ特徴を、各画像毎に記憶するデータベースとを有することを特徴とする。
【0009】
本発明の画像処理装置は、画像をテクスチャ特徴により検索する画像処理装置であり、テクスチャ方向及びテクスチャ方向強度に基づく蓄積テクスチャ特徴を、各画像毎に記憶するデータベースと、第1のスティーラブルフィルタと、該第1のスティーラブルフィルタをヒルベルト変換した第2のスティーラブルフィルタと、画像のスケール毎に、前記各々のフィルタリング結果から、前記テクスチャ特徴としてテクスチャ方向を算出するテクスチャ方向算出部と、前記テクスチャ方向の強度を画素毎に算出し、エッジ点を求め、このエッジ点からエッジを抽出するエッジ抽出部と、少なくともテクスチャ方向及びテクスチャ方向の強度とに基づいた識別対象テクスチャ特徴を求め、前記データベースに記憶された画像の蓄積テクスチャ特徴と比較し、類似度を算出する画像検索部とを有することを特徴とする。
【0010】
本発明の画像処理装置は、前記エッジ抽出部がエッジ点を第1のしきい値により検出し、この第1のしきい値より低い第2のしきい値により、該エッジ点に隣接する画素がエッジを構成する画素であるか否かを検出することを特徴とする。
【0011】
本発明の画像処理装置は、前記エッジ抽出部がテクスチャ方向のテクスチャ強度に対して、検出するエッジ種類のテクスチャ強度を出力させる位相制御パラメータを乗算し、各エッジのエッジ種類を検出することを特徴とする。
【0012】
本発明の画像処理装置は、前記エッジ種類毎のエッジを形成する画素数が全画素数に占める割合と、エッジを形成する画素のテクスチャ強度の平均値及び分散値と、エッジと判定された位置でのテクスチャ方向の分散値を有するテクスチャ特徴を算出する位置特徴抽出部を有することを特徴とする。
【0013】
本発明の画像処理装置は、テクスチャ方向算出部がスケール毎に算出したなかから、画素毎に極大値を有するスケールと、このときのテクスチャ方向とに基づき、テクスチャ画像の画素をクラスタリングし、このクラスタリングされた分類のラベルと、テクスチャ方向と、スケールとの組合せにより、テクスチャ強度及びフィルタリング結果を量子化し、量子化した結果に基づいて、エッジ抽出部がエッジ種類の検出を行うことを特徴とする。
【0014】
本発明の画像処理方法は、画像のテクスチャ特徴を抽出する画像処理方法であり、第1のスティーラブルフィルタにより画像のフィルタリングを行う過程と、該第1のスティーラブルフィルタをヒルベルト変換した第2のスティーラブルフィルタにより画像のフィルタリングを行う過程と、テクスチャ方向算出部が画像のスケール毎に、前記各々のフィルタリング結果から、前記テクスチャ特徴としてテクスチャ方向を算出する過程と、エッジ抽出部が前記テクスチャ方向の強度を画素毎に算出し、エッジ点を求め、このエッジ点からエッジを抽出する過程と、少なくともテクスチャ方向及びテクスチャ方向の強度とに基づいたテクスチャ特徴を、各画像毎にデータベースへ記憶する過程とを有することを特徴とする。
【0015】
本発明の画像処理方法は、画像をテクスチャ特徴により検索する画像処理方法であり、テクスチャ方向及びテクスチャ方向強度に基づく蓄積テクスチャ特徴を、各画像毎にデータベースへ記憶する過程と、第1のスティーラブルフィルタにより識別対象画像のフィルタリングを行う過程と、該第1のスティーラブルフィルタをヒルベルト変換した第2のスティーラブルフィルタにより前記識別対象画像のフィルタリングを行う過程と、テクスチャ方向算出部が画像のスケール毎に、前記各々のフィルタリング結果から、前記テクスチャ特徴としてテクスチャ方向を算出する過程と、エッジ抽出部が前記テクスチャ方向の強度を画素毎に算出し、エッジ点を求め、このエッジ点からエッジを抽出する過程と、画像検索部が、少なくともテクスチャ方向及びテクスチャ方向の強度とに基づいた識別対象テクスチャ特徴を求め、前記データベースに記憶された画像の蓄積テクスチャ特徴と比較し、類似度を算出する過程とを有することを特徴とする。
【0016】
本発明のプログラムは、画像のテクスチャ特徴を抽出する画像処理のプログラムであり、第1のスティーラブルフィルタにより画像のフィルタリングを行う処理と、該第1のスティーラブルフィルタをヒルベルト変換した第2のスティーラブルフィルタにより画像のフィルタリングを行う処理と、テクスチャ方向算出部が画像のスケール毎に、前記各々のフィルタリング結果から、前記テクスチャ特徴としてテクスチャ方向を算出する処理と、エッジ抽出部が前記テクスチャ方向の強度を画素毎に算出し、エッジ点を求め、このエッジ点からエッジを抽出する処理と、少なくともテクスチャ方向及びテクスチャ方向の強度とに基づいたテクスチャ特徴を、各画像毎にデータベースへ記憶する処理とを有する画像学習処理をコンピュータに実行させるプログラムである。
【0017】
本発明のプログラムは、画像をテクスチャ特徴により検索する画像処理のプログラムであり、テクスチャ方向及びテクスチャ方向強度に基づく蓄積テクスチャ特徴を、各画像毎にデータベースへ記憶する処理と、第1のスティーラブルフィルタにより識別対象画像のフィルタリングを行う過程と、該第1のスティーラブルフィルタをヒルベルト変換した第2のスティーラブルフィルタにより前記識別対象画像のフィルタリングを行う処理と、テクスチャ方向算出部が画像のスケール毎に、前記各々のフィルタリング結果から、前記テクスチャ特徴としてテクスチャ方向を算出する処理と、エッジ抽出部が前記テクスチャ方向の強度を画素毎に算出し、エッジ点を求め、このエッジ点からエッジを抽出する処理と、画像検索部が、少なくともテクスチャ方向及びテクスチャ方向の強度とに基づいた識別対象テクスチャ特徴を求め、前記データベースに記憶された画像の蓄積テクスチャ特徴と比較し、類似度を算出する処理とを有する画像識別処理をコンピュータに実行させるプログラムである。
【発明の効果】
【0018】
以上説明したように、本発明によれば、テクスチャ画像から得られるテクスチャ特性において、テクスチャ方向及びその方向のエネルギを、従来例のように予め決められた領域毎に分類するのでなく、各画素毎に連続的に抽出しているため、角度方向の分解能を向上させ、テクスチャ分類の精度を向上させることができる。
また、本発明によれば、テクスチャ方向及びその方向に対するエネルギから、テクスチャ画像におけるエッジの種類を抽出し、このエッジ種類をテクスチャ特性に含めたため、従来例に比較してテクスチャ画像のテクスチャの構造に対する分解能を向上させられるので、テクスチャ分類の精度を向上させることができる。
【発明を実施するための最良の形態】
【0019】
以下、本発明の一実施形態による画像処理システムを図面を参照して説明する。図1は同実施形態による画像処理システムの構成例を示すブロック図である。
この図において、画像処理システムは学習部1及び識別部2とから構成されており、学習部1はテクスチャ画像のテクスチャ特徴を算出し、このテクスチャ特徴と、テクスチャ画像とを対応させ、データベースDBに記憶させ、一方、識別部2は識別対象のテクスチャ画像(以下、識別対象テクスチャ画像)のテクスチャ特徴を算出し、この識別対象テクスチャ画像のテクスチャ特徴と、データベースDBに蓄積されている蓄積テクスチャのテクスチャ特徴との類似度を算出し、識別対象テクスチャ画像と類似度の高い蓄積テクスチャ画像の検索を行う。
【0020】
上記学習部1は、蓄積テクスチャ画像を入力する画像入力部11と、蓄積テクチャ画像のテクスチャ特徴を解析する画像解析部12と、解析結果から蓄積テクスチャ画像の蓄積テクスチャ特徴を算出する特徴抽出部13とを有している。
画像入力部11は、データベースDBに蓄積される、学習に用いられる蓄積テクスチャ画像を外部機器から入力し、画像解析部12へ出力する。
【0021】
画像解析部12は、テクスチャ方向算出部15及びエッジ抽出部16から構成されている。
テクスチャ方向算出部15は、予め設定されているスケール毎に、スティーラブルフィルタにより、蓄積テクスチャ画像に対するテクスチャ特徴の各画素のテクスチャ方向の算出を行う。
エッジ抽出部16は、テクスチャ方向毎のスティーラブルフィルタの強度から、エッジ及びエッジ方向を算出する。
【0022】
特徴抽出部13は、上記エッジ及びエッジ方向から、エッジの種類毎の画素の割合,エッジの種類毎の上記強度の平均値及び分散値,エッジ全体における強度の平均値及び分散値,エッジ位置での角度のヒストグラム(アングルヒストグラム)等を算出して、テクスチャ特徴の抽出を行う。
このテクスチャ特徴は、各エッジ方向,各エッジの種類毎の画素の割合,エッジの種類毎におけるスティーラブルフィルタの強度の平均値及び分散値,エッジ全体における強度の平均値及び分散値,エッジ位置での角度のヒストグラム(アングルヒストグラム)等の全て、またはいずれかの組合せ(少なくともエッジ方向及びその強度)により構成される。
データベースDBは、上記特徴抽出部13(学習部1内)の算出した、各蓄積テクスチャ画像に対応する蓄積テクスチャ特徴を、それぞれの蓄積テクスチャ画像に対応して記憶している。
【0023】
次に、識別部2は、識別対象テクスチャ画像を入力する画像入力部21と、識別対象テクスチャ画像のテクスチャ特徴を解析する画像解析部22と、解析結果から識別対象テクスチャ画像の対象テクスチャ特徴を算出する特徴抽出部23と、上記データベースDBに記憶されている各蓄積テクスチャ特徴と、対象テクスチャ特徴との類似度を計算し、識別対象テクスチャ画像に類似した蓄積テクスチャ画像を抽出する画像検索部24とを有している。
画像入力部21,画像解析部22,特徴抽出部23は、処理対象が蓄積テクスチャ画像でなく、識別対象テクスチャ画像であること以外、同様な処理が行われる。
【0024】
以下、本発明の画像処理システムで用いられるスティーラブルフィルタについて、簡単に説明する。
スティーラブルフィルタは、少数の基底フィルタの線形結合により、単一指向の特性を持たせられるフィルタである。
このため、上記基底フィルタの線形結合係数を連続的に変化させることにより、従来例のガボールフィルタのチャンネル単位でなく、連続的な方向検出特性を得ることができ、高い精度によりテクスチャ方向の検出を行うことができる。
【0025】
すなわち、スティーラブルフィルタに用いる関数は、スティーラブル定理を満たす関数、すなわち自身の回転変形の線形和により記載できる関数であれば用いることができ、例えばガウス関数の2階微分やエルミット多項式等を用いることができる。
以下、ガウス関数の2階微分を用いたスティーラブルフィルタによるテクスチャ特徴の抽出について説明する。
ガウス関数を2階微分した第1のスティーラブルフィルタGθは、以下の(1)式に示すように、基底フィルタ(G2a,G2b,G2c)の線形和により表せる。
【0026】
【数1】

【0027】
また、(1)式において、k(θ),k(θ),k(θ)は、それぞれ基底フィルタG2a,G2b,G2cに対する補間関数である。
そして、上記第1のスティーラブルフィルタGθに対して、以下の(2)式に示すような、quadrature pairの関係にある第2のスティーラブルフィルタHθを設定する。
【0028】
【数2】

【0029】
また、(2)式において、p(θ),p(θ),p(θ),p(θ)は、それぞれ基底フィルタH2a,H2b,H2c,H2dに対する補間関数である。
この第2のスティーラブルフィルタHθは、ガウス関数の2階微分に対して、周波数応答が等しく、π/2だけ位相のずれた(例えば、ヒルベルト変換された)フィルタである。
そして、第1及び第2のスティーラブルフィルタGθ及びHθを用いることにより、以下の(3)式に示すような、画素のテクスチャ方向に対するエネルギ関数を得ることができる。
【0030】
【数3】

【0031】
<第1の実施形態>
次に、図2〜図9により、本発明の第1の実施形態における画像処理システムの動作を説明する。図2〜図9は、本発明の第1の実施形態における画像処理システムの動作例を示すフローチャートである。
本発明の画像処理システムにおける全体的な動作として、図2〜図8に示すデータベースDBへの蓄積テクスチャ画像の蓄積処理を行う学習過程と、図9に示すデータベースDBから識別対象テクスチャ画像に類似した蓄積テクスチャ画像を検索する識別過程とに分けて説明を行う。
【0032】
<学習課程>
全体的な動作の概要が示す図2に示されており、外部機器から学習対象のテクスチャ画像、すなわち蓄積テクスチャ画像を入力し(ステップS0)、入力される蓄積テクスチャ画像に対して、第1及び第2のスティーラブルフィルタによるフィルタリング処理を行う(ステップS1)。
次に、フィルタリング処理結果に基づき、画素ごとのテクスチャ方向とその強度を算出し(ステップS2)、上記画素の強度からラインエッジを検出し(ステップS3)、上記強度からステップエッジを検出する(ステップS4)。
【0033】
そして、検出したラインエッジ及びステップエッジから、テクスチャ画像のテクスチャ特徴を算出(ステップS5)する。
次に、予め設定された全スケールに対してテクスチャ特徴を抽出したか否かを検出し、全てが終了したことが検出されると、次の蓄積テクスチャ画像の蓄積テクスチャ特徴の抽出を開始し、終了していない場合、次のスケールの蓄積テクスチャ特徴の抽出を行う(ステップS6)。
【0034】
ここで、スケールσとは、テクスチャ画像の放射方向の解像度を規定するパラメータとしたものである。
すなわち、スケールσを大きくすることにより、物体形状をぼかした状態(低い解像度)とし、一方、逆に小さくすることにより、物体細部の形状に近くなる(高い解像度)。
また、スケールσは、第1及び第2のスティーラブルフィルタの各基底フィルタ(バンドパスフィルタ)の出力値の重なりが抑制される数値として設定されている。例えば、スケールσは、最大出力値の1/2までの重なりまで許容する数値に設定される。
【0035】
次に、図3を用いて、ステップS0のイニシャライズの処理を、以下に詳細に説明する。
ユーザがテクスチャ画像を入力端末から入力する(ステップS01)。これにより、画像処理サーバ装置(画像処理システム)にテクスチャ画像が入力される(ステップS02)。
そして、テクスチャ方向算出部15に、画像入力部11から、テクスチャ画像が入力される(ステップS03)。
次に、テクスチャ方向算出部15は、内部の記憶部(例えば、メモリ)からフィルタスケール値(スケールσ)の初期値C0及び最終値Csを読み込み、設定レジスタに設定し(ステップS04)、スケール値カウンタを初期値C0に初期化する(ステップS05)。
【0036】
次に、図4を用いて、ステップS1の入力画像のフィルタリング処理について、以下に詳細に説明する。
テクスチャ方向算出部15は、スケール値カウンタを刻み幅単位で増加させ(開始値から最終値までスケールσを増加させる刻み幅ずつ増加させる)し、スケール値カウンタの数に対応するパラメータσの値を、上記内部の記憶部から読み込む(ステップS11)。
そして、テクスチャ方向算出部15は、入力したテクスチャ画像Iに対して用いる第1及び第2のスティーラブルフィルタGθ,Hθの各基底フィルタG2a(x,y,σ),G2b(x,y,σ),G2c(x,y,σ),H2a(x,y,σ),H2b(x,y,σ),H2c(x,y,σ),H2d(x,y,σ)を、上記スケールσに対応して、下記に示す(4)式のように生成する(ステップS12)。
【0037】
【数4】

【0038】
次に、テクスチャ方向算出部15は、上記各基底フィルタを、入力されたテクスチャ画像Iに畳み込み、この畳み込み演算の結果として、各基底フィルタG2a(x,y,σ),G2b(x,y,σ),G2c(x,y,σ),H2a(x,y,σ),H2b(x,y,σ),H2c(x,y,σ),H2d(x,y,σ)の出力として、各々フィルタ出力g2a,g2b,g2c,h2a,h2b,h2c,h2dを得る(ステップS13)。
【0039】
ここで、畳み込み演算の処理において、関数a(x,y)に対して関数b(x,y)の畳み込みを行うと、得られる演算結果は、以下に示す(5)式のようになる。
【0040】
【数5】

【0041】
そして、テクスチャ方向算出部15は、得られたフィルタ出力を、この時点のパラメータσに対応して、内部の記憶部に一時的に記憶する(ステップS14)。
【0042】
次に、図6を用いて、ステップS2のテクスチャ画像におけるテクスチャ方向の検出処理について、以下に詳細に説明する。
テクスチャ方向算出部15は、テクスチャ画像のサイズとして、横の長さxlと縦の長さylとを読み込み、テクスチャ画像の原点としてx=0,y=0とを、サイズカウンタに設定する。
ここで、横の長さxlと縦の長さylとは、例えば、テクスチャ画像における横の画素数と、縦の画素数とを、各々示している。
【0043】
テクスチャ方向算出部15は、テクスチャ画像の全ての画素に対して、すなわち、テクスチャ画像上の全座標点(0≦x≦xl,0≦y≦yl)に対して、テクスチャを支配する方向としてテクスチャ方向θを、記憶部に記憶したフィルタ出力g2a,g2b,g2c,h2a,h2b,h2c,h2dから求める(ステップS22)。
ここで、テクスチャ方向として、以下に示す(6)式の合成エネルギ関数が最大値となる角度θを求めることとなる。
【0044】
【数6】

【0045】
しかしながら、補間関数のパラメータである角度θを連続的に変化させて最大値を検出するとなると、計算量が膨大となる。
このため、(6)式をフーリエ級数展開し、テクスチャ特徴としては低次の項に含まれるため、またノイズを除去するため、高次の項を省略し、以下に示す(7)式により、(6)式を近似する。
【0046】
【数7】

【0047】
ここで、(7)式の最大値を与える角度をθdとすると、以下に示す(8)式により、θdを近似的に求めることができる。
【0048】
【数8】

【0049】
そして、テクスチャ方向算出部15は、得られた各画素毎のテクスチャ方向θdを、全座標値にわたって、記憶部に一時的に記憶する。
次に、テクスチャ方向算出部15は、上述の処理により得られたテクスチャ方向θdを、各画素毎に(6)式に代入して、全座標値における精度の高い合成エネルギ値Eθdを、−π/2≦θd≦π/2において算出し、内部の記憶部に一時的に記憶する。
【0050】
次に、図7及び図9のフローチャートを用い、ステップS3及びS4各々のテクスチャ画像における特徴の一つであるエッジ種類の抽出処理について以下に簡単に説明する。
エッジの形状としては、図8に示すように、輝度がステップ状に変化するステップエッジ(図8(a))と、輝度の変化がパルス状となるラインエッジ(図8(b))が存在する。
このため、テクスチャ画像のテクスチャ特徴の精度を向上させるため、本発明のエッジ抽出部16は、テクスチャ方向から検出されるエッジを、ステップエッジとラインエッジとに分離して抽出している。
【0051】
分離方法は、抽出対象のエッジ種類に依存する位相制御パラメータΛ(ψ)を、各画素の合成エネルギ関数Eθ(θ)に対して乗算することで実現される。この処理により、抽出対象外のエッジ種類に関する情報が抑制される。
この位相制御パラメータΛ(ψ)は、以下に示す(9)式の構成である。
【0052】
【数9】

【0053】
この(9)式において、ψは各画素における第1のスティーラブルフィルタ及び第2のスティーラブルフィルタの各出力gθ及びhθから求め、ψはラインエッジを抽出する際に0またはπを代入し、ステップエッジを抽出する際に+π/2または−π/2を代入する。
すなわち、ラインエッジを抽出する際に、ψに0またはπを代入し、−π/2≦ψ−ψ≦π/2となった場合、位相制御パラメータΛline(ψ)として、cos(ψ−ψ)を合成エネルギ関数Eθに対して乗算し、それ以外の場合、「0」を合成エネルギ関数Eθに対して乗算する。
一方、ステップエッジを抽出する際に、ψに−π/2またはπ/2を代入し、−π/2≦ψ−ψ≦π/2となった場合、位相制御パラメータΛstep(ψ)として、cos(ψ−ψ)を合成エネルギ関数Eθに対して乗算し、それ以外の場合、「0」を合成エネルギ関数Eθに対して乗算する。
以下に、ラインエッジ及びステップエッジの抽出処理を説明する。
【0054】
まず、図7のフローチャートを用い、ステップS3のテクスチャ画像におけるラインエッジの検出処理について、以下に詳細に説明する。
エッジ抽出部16は、内部の記憶部に記憶されている各画素のテクスチャ方向θdと合成エネルギ値Eθdとを読み出す。
そして、エッジ抽出部16は、各画素毎に、(9)式においてψ0を0またはπとして画素単位に求めた位相制御パラメータΛline(ψ)を合成エネルギ値Eθdに対して乗算し、エッジ点判定用エネルギ関数Λline(ψ)・Eθdを求める。
このとき、エッジ抽出部16は、エッジ点判定用エネルギ関数Λline(ψ)・Eθdを、全座標点(0≦x≦xl,0≦y≦yl)全ての画素に対して算出する(ステップS31)。
【0055】
次に、エッジ抽出部16は、算出した各エッジ点判定用エネルギ関数Λline(ψ)・ Eθdがθd方向に関して極大値を与えるか否かの判定を行う。ここで、エッジ抽出部16は、例えば(10)式により極大値の判定を行う。
【0056】
【数10】

【0057】
そして、エッジ抽出部16は、θd方向に極大値を与える場合、各画素のテクスチャ方向θdを代入して、得られるエッジ点判定用エネルギ関数Λline(ψ)・Eθdが、予め設定した第1の閾値を超えた場合、その座標の画素を強いラインエッジ点(Elg_xn,Elg_yn)と判定する。この(Elg_xn,Elg_yn)は、座標値である。
ここで、エッジ抽出部16は、上述した強いラインエッジ点(Elg_xn,Elg_yn)の抽出処理を、全座標点(0≦x≦xl,0≦y≦yl)全ての画素に対して行う(ステップS32)。
ここで、強いラインエッジ点におけるnは抽出された順番を示しており、1≦n≦nmaxの整数である。したがって、nmaxは抽出された強いラインエッジ点の総数となる。
【0058】
次に、エッジ抽出部16は、強いラインエッジ点であることが検出された画素の座標点近傍における他の画素に対して、弱いラインエッジ点であるか否かの判定を行う。
ここで、エッジ抽出部16は、弱いラインエッジ点の抽出処理を、強いラインエッジ点(Elg_xn,Elg_yn)とされた画素全て(1≦n≦nmax)の近傍において行う。
このとき、エッジ抽出部16は、弱いラインエッジ点の抽出を、強いラインエッジ点近傍における各画素のエッジ点判定用エネルギ関数Λline(ψ)・Eθdが、予め設定した第2の閾値(第1の閾値より低く設定されている)を超えた場合、その座標の画素を弱いラインエッジ点(elg_xm,elg_ym)と判定する。この(elg_xm,elg_ym)は、座標値である(ステップS33)。
ここで、弱いステップエッジ点におけるmは抽出された順番を示しており、1≦m≦mmaxの整数である。したがって、mmaxは抽出された弱いラインエッジ点の総数となる。
【0059】
次に、エッジ抽出部16は、強いラインエッジ点(Elg_xn,Elg_yn)と、強いラインエッジ点のエッジ点判定用エネルギ関数Λline(ψ)・Eθdとを、対応させて内部の記憶部に記憶させる。
同様に、エッジ抽出部16は、弱いラインエッジ点(elg_xm,elg_ym)と、弱いラインエッジ点のエッジ点判定用エネルギ関数Λline(ψ)・Eθdとを、対応させて内部の記憶部に記憶させる(ステップS34)。
【0060】
次に、図9のフローチャートを用い、ステップS4のテクスチャ画像におけるステップエッジの検出処理について、以下に詳細に説明する。
エッジ抽出部16は、内部の記憶部に記憶されている各画素のテクスチャ方向θdと合成エネルギ関数Eθdとを読み出す。
そして、エッジ抽出部16は、各画素毎に、(9)式においてψを−π/2または+π/2として画素単位に求めた位相制御パラメータΛstep(ψ)を合成エネルギ関数Eθdに対して乗算し、エッジ点判定用エネルギ関数Λstep(ψ)・Eθdを求める。
【0061】
このとき、エッジ抽出部16は、エッジ点判定用エネルギ関数Λstep(ψ)・Eθdを、全座標点(0≦x≦xl,0≦y≦yl)全ての画素に対して算出する(ステップS31)。
次に、エッジ抽出部16は、算出した各エッジ点判定用エネルギ関数Λstep(ψ)・ Eθdが、θd方向に関して極大値を与えるか否かの判定を行う。
【0062】
そして、エッジ抽出部16は、θd方向に極大値を与える場合、各画素のエッジ点判定用エネルギ関数Λstep(ψ)・Eθdが、予め設定した第1の閾値を超えた場合、その座標の画素を強いステップエッジ点(Esg_xq,Esg_yq)と判定する。この(Esg_xq,Esg_yq)は、座標値である。
ここで、エッジ抽出部16は、上述した強いステップエッジ点(Esg_xq,Esg_yq)の抽出処理を、全座標点(0≦x≦xl,0≦y≦yl)全ての画素に対して行う(ステップS32)。
ここで、強いステップエッジ点におけるqは抽出された順番を示しており、1≦q≦qmaxの整数である。したがって、qmaxは抽出された強いステップエッジ点の総数となる。
【0063】
次に、エッジ抽出部16は、強いステップエッジ点であることが検出された画素の座標点近傍における他の画素に対して、弱いステップエッジ点であるか否かの判定を行う。
ここで、エッジ抽出部16は、弱いステップエッジ点の抽出処理を、強いステップエッジ点(Esg_xq,Esg_yq)とされた画素全て(1≦q≦qmax)の近傍において行う。
このとき、エッジ抽出部16は、弱いステップエッジ点の抽出を、θd方向に極大値を与える場合、強いステップエッジ点近傍における各画素のエッジ点判定用エネルギ関数Λstep(ψ)・Eθdが、予め設定した第2の閾値(第1の閾値より低く設定されている)を超えた場合、その座標の画素を弱いステップエッジ点(esg_xr,esg_yr)と判定する。この(esg_xr,esg_yr)は、座標値である(ステップS33)。
ここで、弱いステップエッジ点におけるrは抽出された順番を示しており、1≦r≦rmaxの整数である。したがって、rmaxは抽出された弱いステップエッジ点の総数となる。
【0064】
次に、エッジ抽出部16は、強いステップエッジ点(Esg_xq,Esg_yq)と、強いステップエッジ点のエッジ点判定用エネルギ関数Λstep(ψ)・Eθdとを、対応させて内部の記憶部に記憶させる。
同様に、エッジ抽出部16は、弱いステップエッジ点(esg_xr,esg_yr)と、弱いステップエッジ点のエッジ点判定用エネルギ関数Λstep(ψ)・Eθdとを、対応させて内部の記憶部に記憶させる(ステップS34)。
【0065】
次に、図10のフローチャートを用い、ステップS5のテクスチャ画像におけるテクスチャ特徴の算出処理について、以下に詳細に説明する。
特徴抽出部13は、内部の記憶部から、nmax,mmax,xl及びylを用いて、入力されたテクスチャ画像Iに含まれる全画素において、ラインエッジを構成すると判定された画素の割合を、下記に示す(11)式により算出し、このラインエッジ割合Pelを、記憶部に記憶する(ステップS51)。
【0066】
【数11】

【0067】
次に、特徴抽出部13は、内部の記憶部から、qmax,rmax,xl及びylを用いて、入力されたテクスチャ画像Iに含まれる全画素において、ステップエッジを構成すると判定された画素の割合を、下記に示す(12)式により算出し、このステップエッジ割合Pesを、内部の記憶部に記憶する(ステップS52)。
【0068】
【数12】

【0069】
そして、特徴抽出部13は、ラインエッジ及びステップエッジと判定された画素のΛstep(ψ)・Eθd,Λline(ψ)・Eθdを加算した値(エッジを構成すると判定された画素全てのエネルギの加算値)を、nmax,mmax,qmax,rmaxを加算した値(エッジを構成すると判定された画素の全数)nedgeにより除算することにより、全エッジにおける画素の平均エネルギ値uEeを、下記に示す(13)式により算出し、内部の記憶部に記憶する(ステップS53)。
【0070】
【数13】

【0071】
次に、特徴抽出部13は、下記に示す(14)式により、エッジを構成する画素各々のエッジ点判定用エネルギエッジから平均エネルギ値uEeを減算した値を二乗して、エッジを構成する画素全てについて加算した値を、nedgeにより除算することにより、エッジを構成する画素におけるエッジ点判定用エネルギの分散値vEeを求め、内部の記憶部に記憶する(ステップS54)。
【0072】
【数14】

【0073】
次に、特徴抽出部13は、内部の記憶部に記憶されたエネルギEθdを読出し、下記に示す(15)式により、テクスチャ画像Iに含まれる全画素のエネルギEθdを加算した値を、テクスチャ画像に含まれる画素の全数で除算して、テクスチャ画像の画素当たりの平均エネルギuEを算出し、内部の記憶部に記憶する(ステップS55)。
【0074】
【数15】

【0075】
次に、特徴抽出部13は、内部の記憶部に記憶されたエネルギEθdを読出し、下記に示す(16)式により、テクスチャ画像Iに含まれる各画素のエネルギEθdから、平均エネルギuEを減算した値を二乗し、この二乗した値を全画素にわたり加算し、この加算した値をテクスチャ画像に含まれる画素の全数で除算して、テクスチャ画像の画素全体におけるエネルギの分散vEを算出し、内部の記憶部に記憶する(ステップS56)。
【0076】
【数16】

【0077】
次に、特徴抽出部13は、内部の記憶部に記憶されたエッジ点全て(ラインエッジ及びステップエッジを構成すると判定された強いエッジ点,弱いエッジ点)の座標値と、各エッジ点のテクスチャ方向θdと、エッジ画素の総数nedgeとを用い、テクスチャ方向θdのヒストグラム(アングルヒストグラム)を作成する。
ここで、−π/2≦θd≦π/2を所定の範囲に分割して、上記アングルヒストグラムを作成する。
【0078】
そして、特徴抽出部13は、アングルヒストグラムから、それぞれの範囲に振り分けられたテクスチャ方向θdを、その範囲を代表する角度を分割範囲で加算して、角度の平均値を算出し、各代表する角度から角度の平均値を減算した値に、その範囲に含まれる画素数を乗算し、全範囲にわたって加算し、この加算結果をエッジ画素の総数nedgeによりを除算して、角度の分散θangleを算出する(ステップS57)。
【0079】
次に、ステップ5の最終処理として、特徴抽出部13は、算出したステップエッジ割合Pes,ラインエッジ割合Pel,平均エネルギ値uEe,分散値vEe,平均エネルギuE,分散vE,角度の分散θangleを、各々テクスチャ特徴量として、現在設定されているパラメータσの番号に対応して、データベースDBのテクスチャ画像のファイル領域に記憶する。
ここで、平均エネルギ値uEe,分散値vEe,平均エネルギuE,分散vE,角度の分散θangleを算出する際、エネルギ値及び角度は、各計算に用いる中における最大値や平均値などの値により、他の画素の値を除算することにより、規格化して用いる。
【0080】
そして、特徴抽出部13は、上述したステップS51〜S57の各処理において、内部の記憶部に記憶した数値を消去する。
次に、図2のステップS6へ進み、全スケールが終了していれば、例えば次のテクスチャ画像のテクスチャ特徴の算出を行い、終了していなければ処理をステップS1へ戻し、次のスケールσによりテクスチャ特徴の算出処理を行う。
すなわち、特徴抽出部13は、スケール値カウンタのカウンタ値の検出を行い、スケール値カウンタが設定した最終値Csの数値であることを検出すると処理を終了し、スケール値カウンタが設定した最終値Csに到達していないことを検出すると処理をステップS1へ戻す。
【0081】
このように、学習部1は、ステップS1からS6の処理を、学習対象の各蓄積テクスチャ画像に対して行い、蓄積テクスチャ画像毎(例えば、テクスチャ画像1,2,3,…)に、蓄積テクスチャ画像のデータと、設定された各パラメータσ(例えば、スケールσ1,σ2,…)毎の蓄積テクスチャ特徴とを対応させて、図11に示す表構成によりデータベースDBへ記憶させる。
【0082】
<識別過程>
次に、図12を用いて、入力される識別対象テクスチャ画像に対して、データベースDBから類似性の高い蓄積テクスチャ画像を抽出するテクスチャ画像の識別処理について説明する。
ここで、この識別対象テクスチャ画像の識別対象テクスチャ特徴の抽出は、すでに学習課程において説明した蓄積テクスチャ画像の蓄積テクスチャ特徴の抽出と同様であり、ステップS0〜ステップS6までの処理において、蓄積テクスチャ特徴と同様のパラメータσの組みによりテクスチャ特徴として、ステップエッジ割合Pes,ラインエッジ割合Pel,平均エネルギ値uEe,分散値vEe,平均エネルギuE,分散vE,角度の分散θangleが算出される。
ここで、ユーザは、学習過程の入力端末に対応して、識別結果閲覧用端末から識別対象テクスチャ画像を入力させ、識別部2にデータベースDBからこの識別対象テクスチャ画像に類似した蓄積テクスチャ画像の検索を指示する。
【0083】
すなわち、識別部2における画像入力部21,テクスチャ方向算出部25,エッジ抽出部26,特徴抽出部23各々は、それぞれ学習部1の画像入力部11,テクスチャ方向算出部15,エッジ抽出部16,特徴抽出部13と同様な動作を行う。
そして、識別部2の画像検索部24は、特徴抽出部23が算出したテクスチャ特徴を入力する(ステップS71)。
【0084】
次に、画像検索部24は、データベースDBに蓄積されている蓄積テクスチャ画像の数を、データベースDBにおいて、蓄積されているテクスチャ画像数を記憶している領域から読み出す(ステップS72)。
そして、画像検索部24は、識別対象テクスチャ特徴と、順次読み出す蓄積テクスチャ特徴との類似度の算出を行う。
ここで、画像検索部24は、上記類似度dijを、例えば(17)式に示す重み付き平均絶対値距離や、(18)式に示す重み付きユークリッド距離により算出する(ステップS73)。
【0085】
【数17】

【0086】
【数18】

【0087】
そして、画像検索部24は、識別対象テクスチャ画像と、データベースDBに蓄積された蓄積テクスチャ画像全てとの類似度を、一時的に内部の記憶部に記憶する(ステップS74)。
次に、画像検索部24は、上記記憶部に記憶されている類似度において、上位T番目までの類似度の蓄積テクスチャ画像を抽出する(ステップS75)。
ここで、上記Tは、予め設定されている(例えば、ユーザにより入力端末から入力されて予め設定されているシステムファイルに設定されている)値である。
【0088】
そして、画像検索部24は、図13に示すように、上位T番目までの類似度の蓄積テクスチャ画像を、その画像データと、画像ファイル名と、類似度とが表形式に記載されたHTMLファイルを生成する(ステップS76)。
次に、画像検索部24は、識別結果閲覧用端末へ上記HTMLファイルを出力する(ステップS77)。
【0089】
<第2の実施形態>
次に、本発明の第2の実施形態について説明する。図2のステップS2の処理が異なり、他の処理が第1の実施形態と同様のため、異なったステップS2の処理のみの説明を行う。
図14は、第1の実施形態のステップS2に対応する、第2の実施形態の動作を示すフローチャートである。
ステップS1にてフィルタリング処理した後、図14のステップS201に処理が移行し、テクスチャ方向算出部15は、ステップS21及びS22と同様な処理を行い、各画素毎のテクスチャ方向θdを算出し、内部の記憶部に一時的に記憶する。
次に、テクスチャ方向算出部15は、スケールσにおける方向強度Sσを、(7)式におけるフーリエ級数の係数C2及びC3を用い、以下に示す(19)式により、テクスチャ画像の全ての画素に対して算出し、内部の記憶部に一時的に記憶する(ステップS201)。
【0090】
【数19】

【0091】
次に、テクスチャ方向算出部15は、図2のステップS6と同様の処理を行い、設定されたスケールσ全てにおいて、テクスチャ画像の全ての画素に対して、方向強度Sσを算出したか否かの検出、すなわちスケール値カウンタのカウンタ値の検出を行い、スケール値カウンタが設定した最終値Csの数値であることを検出すると、処理をステップS203へ進め、スケール値カウンタが設定した最終値Csに到達していないことを検出すると処理を図2のステップS1へ戻す(ステップS202)。
このとき、例えば、スケールσの範囲を初期値1.0から最終値5.0と設定し、スケールσを変化させる幅(刻み幅)を0.25とすると、0.25刻みで1.0から数値をインクリメントし、最終値5.0(Cs)に達したか否かを、テクスチャ方向算出部15により検出する。
【0092】
次に、テクスチャ方向算出部15は、フィルタの複数のスケールσ毎に求めた方向強度Sσを記憶部から順次読出し、各画素毎にテクスチャ方向θdにおいて方向強度Sσが極大値となるスケールσを抽出する。
そして、テクスチャ方向算出部15は、図15のグラフに示すような各画素毎に極大値を取るスケールσから代表値を1つ選択する。
【0093】
ここで、極大値の選択方法としては、例えば、極大値のなかの最大値を抽出したり、最初の極大値を代表値として抽出することが考えられる。
次に、テクスチャ方向算出部15は、選択したスケールσをスケールσdとして、このスケールσdに対応する方向強度Sσを方向強度Sσdとし、画素毎に、これらスケールσd及び方向強度Sσdを、この方向強度Sσdのテクスチャ方向θdに対応させて内部の記憶部に、抽出結果(θd,σd,Sσd)として一時的に記憶する(ステップS203)。
【0094】
次に、テクスチャ方向算出部15は、ステップS203において抽出した各画素の抽出結果(θd,σd,Sσd)におけるスケールσd及びテクスチャ方向θdを、テクスチャ画像全体において、特徴空間に写像処理する。
すなわち、テクスチャ方向算出部15は、例えば図16に示すように、ωとθとで定義される極座標系で表される特徴空間に、スケールσd及びテクスチャ方向θdを写像する。
ここで、ωは極座標系における放射方向の大きさを表し、「ω=1/σd」により求め、θは極座標系における角度を表し、「θ=θd」により求める。
【0095】
そして、テクスチャ方向算出部15は、上述した処理により、各画素のω及びθを求め、図16に示すように特徴空間に写像する(×印により変換後の各画素の座標を示す)。
これにより、テクスチャ方向算出部15は、写像した結果を含めて、新たな抽出結果として、各画素毎に抽出結果(θd,σd,Sσd,ω)を、内部の記憶部に一時的に記憶する(ステップS204)。
【0096】
次に、テクスチャ方向算出部15は、ステップS204で生成した特徴空間における抽出結果の分割、すなわちクラスタリングを行う。
ここで、テクスチャ方向算出部15は、クラスタリング処理における類似度を各特徴量(θd,ω)の特徴ベクトルの距離の逆数によって求めており、距離としてユークリッド距離,マハラノビス距離,べき乗距離等を用い、クラスタリングの手法としては、K-means法や、凝集法,Two-way(ブロッククラスタリング)法などを用いることができる。
【0097】
次に、テクスチャ方向算出部15は、図17に示すように、分割(分類)された画素の領域(集合)に対して、ラベル付け(例えば、1,2,3,…,kと行った番号ラベルl)を行う。
そして、テクスチャ方向算出部15は、クラスタリングを行った結果を含めて、新たな抽出結果として、各画素毎に抽出結果(θd,σd,Sσd,ω,l)を、内部の記憶部に一時的に記憶する(ステップS205)。
【0098】
次に、テクスチャ方向算出部15は、クラスタリングの結果を基に、画像空間におけるフィルタ出力値と合成エネルギ値との量子化処理を行う。
すなわち、テクスチャ方向算出部15は、記憶部に記憶されている抽出結果(θd,σd,Sσd,ω,l)から、画素毎にパラメータ(θd,σd,l)を読出し、順次、量子化処理を行う。
ここで、量子化処理は、量子化後のフィルタ出力値(gθ,hθ)と合成エネルギ値(Eθ)とが、θd,σd及びラベルlの組合せに対応して設定されており、量子化後にそれぞれ(gqθ,hqθ,Eqθ)として出力される。
【0099】
これにより、テクスチャ方向算出部15は、内部に図18(a)及び図18(b)のグラフに示す量子化テーブルが、フィルタ出力(gθ),フィルタ出力(hθ),合成エネルギ値(Eθ)各々の量子化に対して準備されており、入力信号としてパラメータ(θd,σd,l)が入力されると、そのパラメータに対応する量子化されたフィルタ出力(gqθ),フィルタ出力(hqθ),合成エネルギ値(Eqθ)を出力する。
そして、テクスチャ方向算出部15は、得られた量子化結果のフィルタ出力(gqθ),フィルタ出力(hqθ),合成エネルギ値(Eqθ)を、抽出結果(θd,σd,Sσd,ω,l)とともに画素毎に、内部の記憶部に記憶する(ステップS206)。
【0100】
また、量子化処理として、θd,σd及びラベルlの組合せに対応して、例えば、クラスタリングのラベルの数などに対応させて、複数の量子化テーブルを準備しておくようにしても良い。
さらに、図18(a)はθd,σd及びラベルlの組合せに対して、一様の刻みの量子化テーブルを示しているが、図18(b)のように、各量子化されたフィルタ出力(gqθ),フィルタ出力(hqθ),合成エネルギ値(Eqθ)の数値を有する画素数が、それぞれ等しくなるように、θd,σd及びラベルlの組合せに対して、非線形の量子化を行う量子化テーブルを準備してもよい。
【0101】
そして、ステップS206の処理後、図2のステップS3へ進み、図14のフローチャートの処理により得られた、量子化されたフィルタ出力(gqθ),フィルタ出力(hqθ),合成エネルギ値(Eqθ)により、テクスチャ画像におけるエッジの検出を行い、ステップS4及びS5の処理を行い、ステップS6を行わずに処理を終了する。
これにより、第1の実施形態においては、設定されたスケールσの全結果をテクスチャ特徴として有していたが、この第2の実施形態によれば、それぞれの画素が1つのスケールに対するテクスチャ特徴のみとなるため、テクスチャ特徴のデータ量を削減し、テクスチャ画像の識別処理がより高速に行えるようになる。
【0102】
なお、図1における学習部1及び識別部2の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、テクスチャ画像に対する学習処理及び識別処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境(あるいは表示環境)を備えたWWWシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。
【0103】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
【図面の簡単な説明】
【0104】
【図1】本発明の第1及び第2の実施形態による画像処理システムの構成例を示す ブロック図である。
【図2】図1における学習部1及び検索部2におけるテクスチャ画像からのテクスチャ特徴の抽出処理の流れを示すフローチャートである。
【図3】第1及び第2の実施形態におけるテクスチャ方向算出部15(または25)が行うイニシャライズ処理を説明するフローチャートである。
【図4】第1及び第2の実施形態におけるテクスチャ方向算出部15(または25)が行う入力されたテクスチャ画像に対するフィルタリング処理を説明するフローチャートである。
【図5】第1及び第2のスティーラブルフィルタによるフィルタリングを説明する概念図である。
【図6】図2の第1の実施形態におけるステップS2のテクスチャ方向を検出する処理を説明するフローチャートである。
【図7】第1及び第2の実施形態におけるステップS3のラインエッジの抽出処理を説明するフローチャートである。
【図8】テクスチャ画像におけるエッジ形状を説明する概念図である。
【図9】第1及び第2の実施形態におけるステップS4のステップエッジの抽出処理を説明するフローチャートである。
【図10】第1及び第2の実施形態におけるステップS5のテクスチャ特徴の算出処理を説明するフローチャートである。である。
【図11】各蓄積テクスチャ画像に対応して、データベースDBに記憶される各スケール毎のテキスチャ特徴のテーブル構成を示す概念図である。
【図12】第1及び第2の実施形態における識別対象テクスチャ画像を、データベースDBに蓄積された蓄積テキスチャ画像から抽出するの識別処理を説明するフローチャートである。
【図13】図12のフローチャートの処理において抽出された蓄積テクスチャ画像とその類似度を示す表形式のファイルを示す概念図である。
【図14】第1の実施形態におけるステップS2に対応する第2の実施形態におけるテクスチャ方向算出処理を説明するフローチャートである。
【図15】処理対象の画素において、複数のスケールσにおけるテクスチャ方向の強度に極大値のなかから、1つのスケールσをテクスチャ特徴の算出に用いる代表値とする処理を説明する概念図である。
【図16】角度θと放射方向の大きさωとの極座標系に、各画素のテクスチャ方向とスケールσとを各々写像処理する概念図である。
【図17】角度θと放射方向の大きさωとの極座標系に、各画素のテクスチャ方向とスケールσとが各々写像された特徴空間において、分類された画素の集合にラベル付けを行う処理を示す概念図である。
【図18】第2の実施形態におけるテクスチャ方向算出部13(23)による量子化処理を説明する概念図である。
【図19】従来例におけるガボールフィルタを用い、テクスチャ画像のテクスチャ特徴を極座標系において、テクスチャ特徴をテクスチャ方向及び放射方向に分類する特徴チャンネルを示す概念図である。
【図20】テクスチャ画像におけるテクスチャ方向とエッジとの対応を示す概念図である。
【符号の説明】
【0105】
1…学習部
2…識別部
11,21…画像入力部
12,22…画像解析部
13,23…特徴抽出部
15,25…テクスチャ方向算出部
16,26…エッジ抽出部
24…画像検索部
DB…データベース

【特許請求の範囲】
【請求項1】
画像のテクスチャ特徴を抽出する画像処理装置であり、
第1のスティーラブルフィルタと、
該第1のスティーラブルフィルタをヒルベルト変換した第2のスティーラブルフィルタと、
画像のスケール毎に、前記各々のフィルタリング結果から、前記テクスチャ特徴としてテクスチャ方向を算出するテクスチャ方向算出部と、
前記テクスチャ方向の強度を画素毎に算出し、エッジ点を求め、このエッジ点からエッジを抽出するエッジ抽出部と、
少なくともテクスチャ方向及びテクスチャ方向の強度とに基づいたテクスチャ特徴を、各画像毎に記憶するデータベースと
を有することを特徴とする画像処理装置。
【請求項2】
画像をテクスチャ特徴により検索する画像処理装置であり、
テクスチャ方向及びテクスチャ方向強度に基づく蓄積テクスチャ特徴を、各画像毎に記憶するデータベースと、
第1のスティーラブルフィルタと、
該第1のスティーラブルフィルタをヒルベルト変換した第2のスティーラブルフィルタと、
画像のスケール毎に、前記各々のフィルタリング結果から、前記テクスチャ特徴としてテクスチャ方向を算出するテクスチャ方向算出部と、
前記テクスチャ方向の強度を画素毎に算出し、エッジ点を求め、このエッジ点からエッジを抽出するエッジ抽出部と、
少なくともテクスチャ方向及びテクスチャ方向の強度とに基づいた識別対象テクスチャ特徴を求め、前記データベースに記憶された画像の蓄積テクスチャ特徴と比較し、類似度を算出する画像検索部と
を有することを特徴とする画像処理装置。
【請求項3】
前記エッジ抽出部がエッジ点を第1のしきい値により検出し、この第1のしきい値より低い第2のしきい値により、該エッジ点に隣接する画素がエッジを構成する画素であるか否かを検出することを特徴とする請求項1または2に記載の画像処理装置。
【請求項4】
前記エッジ抽出部がテクスチャ方向のテクスチャ強度に対して、検出するエッジ種類のテクスチャ強度を出力させる位相制御パラメータを乗算し、各エッジのエッジ種類を検出することを特徴とする請求項1から請求項3のいずれかに記載の画像処理装置。
【請求項5】
前記エッジ種類毎のエッジを形成する画素数が全画素数に占める割合と、エッジを形成する画素のテクスチャ強度の平均値及び分散値と、エッジと判定された位置でのテクスチャ方向の分散値を有するテクスチャ特徴を算出する特徴抽出部を有することを特徴とする請求項4に記載の画像処理装置。
【請求項6】
テクスチャ方向算出部がスケール毎に算出したなかから、画素毎に極大値を有するスケールと、このときのテクスチャ方向とに基づき、テクスチャ画像の画素をクラスタリングし、このクラスタリングされた分類のラベルと、テクスチャ方向と、スケールとの組合せにより、テクスチャ強度及びフィルタリング結果を量子化し、量子化した結果に基づいて、エッジ抽出部がエッジ種類の検出を行うことを特徴とする請求項1から請求項5のいずれかに記載の画像処理装置。
【請求項7】
画像のテクスチャ特徴を抽出する画像処理方法であり、
第1のスティーラブルフィルタにより画像のフィルタリングを行う過程と、
該第1のスティーラブルフィルタをヒルベルト変換した第2のスティーラブルフィルタにより画像のフィルタリングを行う過程と、
テクスチャ方向算出部が画像のスケール毎に、前記各々のフィルタリング結果から、前記テクスチャ特徴としてテクスチャ方向を算出する過程と、
エッジ抽出部が前記テクスチャ方向の強度を画素毎に算出し、エッジ点を求め、このエッジ点からエッジを抽出する過程と、
少なくともテクスチャ方向及びテクスチャ方向の強度とに基づいたテクスチャ特徴を、各画像毎にデータベースへ記憶する過程と
を有することを特徴とする画像処理方法。
【請求項8】
画像をテクスチャ特徴により検索する画像処理方法であり、
テクスチャ方向及びテクスチャ方向強度に基づく蓄積テクスチャ特徴を、各画像毎にデータベースへ記憶する過程と、
第1のスティーラブルフィルタにより識別対象画像のフィルタリングを行う過程と、
該第1のスティーラブルフィルタをヒルベルト変換した第2のスティーラブルフィルタにより前記識別対象画像のフィルタリングを行う過程と、
テクスチャ方向算出部が画像のスケール毎に、前記各々のフィルタリング結果から、前記テクスチャ特徴としてテクスチャ方向を算出する過程と、
エッジ抽出部が前記テクスチャ方向の強度を画素毎に算出し、エッジ点を求め、このエッジ点からエッジを抽出する過程と、
画像検索部が、少なくともテクスチャ方向及びテクスチャ方向の強度とに基づいた識別対象テクスチャ特徴を求め、前記データベースに記憶された画像の蓄積テクスチャ特徴と比較し、類似度を算出する過程と
を有することを特徴とする画像処理装置。
【請求項9】
画像のテクスチャ特徴を抽出する画像処理のプログラムであり、
第1のスティーラブルフィルタにより画像のフィルタリングを行う処理と、
該第1のスティーラブルフィルタをヒルベルト変換した第2のスティーラブルフィルタにより画像のフィルタリングを行う処理と、
テクスチャ方向算出部が画像のスケール毎に、前記各々のフィルタリング結果から、前記テクスチャ特徴としてテクスチャ方向を算出する処理と、
エッジ抽出部が前記テクスチャ方向の強度を画素毎に算出し、エッジ点を求め、このエッジ点からエッジを抽出する処理と、
少なくともテクスチャ方向及びテクスチャ方向の強度とに基づいたテクスチャ特徴を、各画像毎にデータベースへ記憶する処理と
を有する画像学習処理をコンピュータに実行させるプログラム。
【請求項10】
画像をテクスチャ特徴により検索する画像処理のプログラムであり、
テクスチャ方向及びテクスチャ方向強度に基づく蓄積テクスチャ特徴を、各画像毎にデータベースへ記憶する処理と、
第1のスティーラブルフィルタにより識別対象画像のフィルタリングを行う過程と、
該第1のスティーラブルフィルタをヒルベルト変換した第2のスティーラブルフィルタにより前記識別対象画像のフィルタリングを行う処理と、
テクスチャ方向算出部が画像のスケール毎に、前記各々のフィルタリング結果から、前記テクスチャ特徴としてテクスチャ方向を算出する処理と、
エッジ抽出部が前記テクスチャ方向の強度を画素毎に算出し、エッジ点を求め、このエッジ点からエッジを抽出する処理と、
画像検索部が、少なくともテクスチャ方向及びテクスチャ方向の強度とに基づいた識別対象テクスチャ特徴を求め、前記データベースに記憶された画像の蓄積テクスチャ特徴と比較し、類似度を算出する処理と
を有する画像識別処理をコンピュータに実行させるプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate