説明

画像に対応する信号を処理することで画像又は連続する画像に表示されるオブジェクトを表現する方法とその制御装置、装置、記憶媒体

【課題】形状記述子パラメータを効率的にコード化する方法等を提供する。
【解決手段】画像に対応する信号を処理することで、画像又は連続する画像に表示されるオブジェクトを表現する方法であって、オブジェクトの形状の曲率尺度空間(CSS)表現を得るステップであり、前記CSS表現は曲率尺度空間内の複数のピークの複数の組の座標値を含むものを備え、さらに、前記座標値を量子化して形状のコード化表現を得るステップを含み、所与の座標用の値を有する第1の組の座標値が、第2の組の座標値における対応する座標値より小さい場合に、第1の組の値のための前記所与の座標値の量子化表現に割り当てられるビットの数が、第2の組の値のための対応する座標値の量子化表現に割り当てられたビットの数よりも小さいことを特徴とする方法。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、例えば、マルチメディア・データベースに格納された画像などの静止画像またはビデオ画像に表示されるオブジェクトの表現に関し、詳細には、このような表現のコード化に関する。
【背景技術】
【0002】
画像ライブラリまたはビデオライブラリなどの用途では、静止画像またはビデオ画像に表示されるオブジェクトまたはオブジェクトの一部の輪郭線すなわち形状を効率的に表現および格納することが望ましい。形状を基本とするインデクシングおよび検索用の公知の技法は、CSS(Curvature Scale Space)(曲率尺度空間)表現を利用している。CSS表現の詳細は、「Robust and Efficient Shape Indexing through Curvature Scale Space(曲率尺度空間を通じてのロバストで、かつ効率的な形状インデクシング)」(British Machine Vision会議報告書、53〜62ページ、Edinburgh, UK, 1996)の論文と、「Indexing an Image Database by Shape Content using Curvature Scale Space(曲率尺度空間を用いて、形状内容により画像データベースをインデックスする)」(IEE Colloquium on Intelligent Databases、 London 1996)の論文に記載されている。双方の論文は、F. Mokhatarian氏,S. Abbasi氏、及びJ. Kittler氏によるもので、それらの内容は、参照によって、本明細書に組み入れられている。
【0003】
CSS表現は、オブジェクトの輪郭線上の任意の点から始まる、その輪郭線用の曲率関数を用いる。この形状を滑らかにする一連の変形により輪郭線形状が展開されるときに、この曲率関数が調べられる。さらに具体的に言えば、ガウスフィルタのファミリーで巻き込まれた曲率関数の導関数のゼロ交差を計算する。「曲率尺度空間」として知られているゼロ交差が、グラフ上にプロットされる。このグラフにおいて、x軸は、この曲線の正規化された弧長であり、またy軸は、その展開パラメータ、具体的に言えば、施されたフィルタのパラメータである。グラフ上のこれらのプロットは、この輪郭線の特性を示しているループを形成する。オブジェクト輪郭線のそれぞれの凸部または凹部は、CSS画像におけるループに対応する。CSS画像におけるもっとも顕著なループのピークの座標が、輪郭線の表現として利用される。
【0004】
データベースに格納された画像の中から、入力オブジェクトの形状に一致するオブジェクトを探すために、入力形状のCSS表現を計算する。入力形状と格納された形状とが類似するかどうかは、照合アルゴリズムを用いて、それぞれのCSS画像におけるピークの位置および高さを比較して、決定される。
【発明の概要】
【発明が解決しようとする課題】
【0005】
輪郭形状の性質を、記述子で表現するのに必要なビットの数は、効率的な格納および伝送を容易に行うために、できる限り少ないものでなければならない。
【0006】
本発明のいくつかの態様は、併記の特許請求の範囲に述べられる。
【課題を解決するための手段】
【0007】
本発明は、検索性能に著しい劣化がまったくなく、非常にコンパクトな(格納に用いられたビットの数に関して)表現を提供できる。
【図面の簡単な説明】
【0008】
【図1】ビデオ・データベースシステムのブロック図である。
【図2】輪郭線のCSS表現である。
【図3】CSS表現の座標値のコード化を示す図である。
【発明を実施するための形態】
【0009】
本発明の実施の形態は、添付図面を参照して述べられる。
図1は、本発明の一実施の形態によるコンピュータ・ビデオデータベースシステムを示している。このシステムは、コンピュータの形式の制御ユニット2、モニタの形式の表示ユニット4、マウスの形式のポインティング・デバイス6、格納された静止画像とビデオ画像を含む画像データベース8、および、画像データベース8に格納された画像に表示されるオブジェクトまたはオブジェクトの一部の記述子を格納する記述子データベース10を含む。
【0010】
画像データベース内の画像に表示されるそれぞれの該当オブジェクトの形状に関する記述子は、制御ユニット2によって得られて、記述子データベース10に格納される。制御ユニット2は、以下に述べられる方法を実施する適切なプログラムの制御のもとで働く記述子を得る。
【0011】
まず最初に、所与のオブジェクト輪郭線では、この輪郭線のCSS表現が得られる。これは、上述の論文の1つに記述される公知の方法を用いて行われる。
【0012】
さらに具体的に言えば、この輪郭線は、表現Ψ={x(u),y(u),u∈[0,1]}によって表わされる。式中、uは、正規化された弧長パラメータであり、また(x,y)は、オブジェクト輪郭上のこれらの点の座標である。
【0013】
この輪郭線は、Ψを、ガウス核g(u,σ)、もしくはそれに類する核で巻き込むことで、滑らかにされる。また、展開曲線の曲率ゼロ交差は、σが変わると調べられる。このゼロ交差は、曲率に関する以下の式を用いて、特定される:
【0014】
【数1】

【0015】
上記の説明において、*は、合成積(convolution)を表わし、また下つきの添字は、導関数を表わす。
【0016】
曲率ゼロ交差の数は、σが変わると変わり、またσが充分に大きいときには、Ψは、ゼロ交差のない凸曲線である。
【0017】
CSS画像空間として知られているゼロ交点(u,σ)が、グラフ上にプロットされる。これにより、もとの輪郭線の特性を示している複数の曲線が得られる。これらの特性曲線のピークが特定され、対応する座標が取り出されて、格納される。一般的に言うと、これは、n個の座標対から成る一組[(x1,y1),(x2,y2),・・・(xn,yn)]を与える。ここで、nはピークの数であり、またxiは、i番目のピークの弧長位置であり、またyiはピークの高さである。
【0018】
特性曲線がCSS画像空間に表示されるとき、特性曲線の順序と位置、および、対応するピークは、上述の曲率関数に対する始点によって決まる。これらのピーク座標は、以下に述べられるように、再び順序付けられる。
【0019】
パラメータを取り出す輪郭が、n個のピークを持つと仮定しよう。この場合、これらのピーク・パラメータは、図2に示されるように、{(x1,y1),(x2,y2),・・・,(xn,yn)}の一組を形成する。次に、これらのピークは、高さ(すなわち、y座標値)に基いて、大きい順か小さい順のいずれかに順序付けられる{(x1,y1),(x2,y2),・・・,(xn,yn)}(下つきの添字は、順序付け後のピーク順序数字を表わす)。もっとも大きいピークが第1のピーク(x1,y1)となり、また後続するピークのそれぞれが、この組の中のその直前のピークに等しいか、またはそれよりも小さいように、小さい順に順序付けられると仮定しよう(図3)。
【0020】
これらの再び順序付けられたピーク座標は、オブジェクト輪郭線用の記述子の基礎を成す。丸さC、偏心E、及びコンパクト性Dなどの、形状の追加パラメータ(一部、いわゆる「プロトタイプ輪郭形状」から取り出される)も計算し、格納して、同時係属中の出願第GB9916684.5号に記述される照合プロセスに利用され得る。この出願の内容は、参照によって、本明細書に組み入れられている。
【0021】
次に、ピークの高さの粗い量子化を実施する。量子化を実施する範囲は、ピークごとに異なり、さらに大きいピーク(例えば、この順序付けられた組の中で、先行するピークの高さ)の値によって決まる。
【0022】
図3を参照すると、第1のピークは、範囲I1=[0,Ymax]にわたって量子化される。ここで、Ymaxは、ある種類の形状で予想されるピーク用の最大値である。残りのピークはそれぞれ、先行するピークの1つまたはいくつかの値によって決まる範囲に量子化される。例えば、ピークy2は、間隔I2=[0,y1]にわたって量子化され(図3)、ピークy3は、間隔[0,y2]にわたって量子化され、以下同様に量子化される。
【0023】
この実施の形態では、第1のピークは、7ビットを用いて、間隔[0,1024]にわたって量子化され、また、残りのほかのピークは、上で取り上げられたように、適切なそれぞれの範囲にわたって、3ビットに量子化される。第1のピークの高さが例えば893であるとすると、y2は、3ビットを用いて、範囲[0,893]にわたって量子化され、以下同様に量子化される。よって、ピークy2〜y5では、その量子化間隔は短くされて、さらに少ないビットを用いるにもかかわらず、精度をさらに高める。各ピークのx位置は、[0,1]間隔に一様に配分された6ビットに量子化される。このx値は、例えば図2に示されるように、もとのx値であるか、あるいは、x軸に沿って、ある大きさだけ移した後で、最大ピークに対するx値を0になるようにする場合がある。
【0024】
本発明からの利益を調べてみよう。従来の解決法では、各ピークは、それぞれ4バイトの2つの浮動小数点数を必要とする。したがって、9つのピークを有する代表的な形状では、記憶要求値は、9*2*4=72バイト(576ビット)である。この提案された実施の形態を適用した後で、第1のピークは、このx値がゼロと見なされると仮定して7ビットを必要とし、また、それぞれの連続するピークは、6+3ビットを必要とし、したがって合計79ビットが必要となる。
【0025】
範囲[0,yi]でなく、範囲[0,R(yi)]を用いることもできる。ここで、R(yi)は、逆量子化の後で、値yiを再構成したものである。
【0026】
同様な効果を持つことになる代替実施の形態は、ピークのそれぞれの高さ{y2,y3,・・・,yn}(最大のものを除く)を、それぞれの前のピークの値で割ることである。このような演算の後では、全yiの範囲は、[0,1]の組からのものである。これにより、全yiに対して、さらに粗い量子化を利用することができる。
【0027】
いずれの例でも、最大ピークに対して7ビットまたは6ビットの量子化を用い、かつ、残るすべてのピークに対して4ビットまたは3ビットの量子化を用いれば、良好な結果を得ることができる。他のビット数を用いることもできる。
【0028】
上記の処理は、同時係属中の出願第GB9915699.4号に記述されるように、これらの座標値が、従法線フィルタリングと非線形変換を受けた後でも、実施できる。この出願の内容は、参照によって、本明細書に組み入れられている。上述の方針に従って、y値ではなくて、x座標をコード化できるか、あるいは、yの値だけでなく、x座標もコード化できる。
【0029】
結果として得られた値は、本願発明者らの同時係属中の出願第GB9915699.4号、第GB9915698.6号、第GB9916684.5号に述べられるように、例えば、適切な照合手順に用いるために、格納されることもあり、その場合、例えば、照合を実施する前に、それらの格納された記述子に逆量子化を実施して、適切な変更が加えられる。

【特許請求の範囲】
【請求項1】
画像に対応する信号を処理することで、画像又は連続する画像に表示されるオブジェクトを表現する方法であって、
オブジェクトの形状の曲率尺度空間(CSS)表現を得るステップであり、前記CSS表現は曲率尺度空間内の複数のピークの複数の組の座標値を含むものを備え、さらに、
前記座標値を量子化して形状のコード化表現を得るステップを含み、
所与の座標用の値を有する第1の組の座標値が、第2の組の座標値における対応する座標値より小さい場合に、
第1の組の値のための前記所与の座標値の量子化表現に割り当てられるビットの数が、第2の組の値のための対応する座標値の量子化表現に割り当てられたビットの数よりも小さいことを特徴とする方法。
【請求項2】
画像に対応する信号を処理することで、画像又は連続する画像に表示されるオブジェクトを表現するコンピュータで構成される装置であって、
オブジェクトの形状の曲率尺度空間(CSS)表現を得る手段であり、前記CSS表現は曲率尺度空間内の複数のピークの複数の組の座標値を含むものを備え、さらに、
前記座標値を量子化して形状のコード化表現を得る手段を含み、
所与の座標用の値を有する第1の組の座標値が、第2の組の座標値における対応する座標値より小さい場合に、
第1の組の値のための前記所与の座標値の量子化表現に割り当てられるビットの数が、第2の組の値のための対応する座標値の量子化表現に割り当てられたビットの数よりも小さいことを特徴とする装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate


【公開番号】特開2011−227924(P2011−227924A)
【公開日】平成23年11月10日(2011.11.10)
【国際特許分類】
【出願番号】特願2011−153177(P2011−153177)
【出願日】平成23年7月11日(2011.7.11)
【分割の表示】特願2001−564092(P2001−564092)の分割
【原出願日】平成13年2月27日(2001.2.27)
【出願人】(501253316)ミツビシ・エレクトリック・アールアンドディー・センター・ヨーロッパ・ビーヴィ (77)
【氏名又は名称原語表記】MITSUBISHI ELECTRIC R&D CENTRE EUROPE B.V.
【住所又は居所原語表記】20 Frederick Sanger Road, The Surrey Research Park, Guildford, Surrey GU2 5YD, Great Britain
【Fターム(参考)】