説明

画像処理

デジタルでコード化された画像のピクチャエレメントは、それぞれ色値によって表されている。あるエレメントの前記値は、まず、前記エレメントと画像内の他の場所にある複数のエレメントyとの間で比較を多く行うことによって、調整される。この比較は、(検討されているピクチャエレメントxと、その近接する少なくとも1つの追加のピクチャエレメントとを備える)第1のピクチャエレメントグループを、第2のピクチャエレメントグループと比較することを含む。前記第2のピクチャエレメントグループは、ベースピクチャエレメントyと少なくとも1つの追加のピクチャエレメントとを備え、前記第2のグループの中のピクチャエレメント数は、前記第1のグループの中のピクチャエレメントの数と同じであり、前記第2のグループの前記ベースピクチャエレメントを基準にした、前記第2のグループの前記又は各追加のエレメントの位置は、前記検討中のピクチャエレメントを基準とした、前記第1のグループの前記又はそれぞれの追加のエレメントの位置と同じである。前記比較は、前記2つのグループが、それらが類似する基準を満たすという意味で一致するかどうかを判断する(114)。少なくとも1つの比較が一致を生じさせると、検討中の前記ピクチャエレメントの置換色値が、一致が得られた前記又は各第2のグループの前記ベースピクチャエレメントの前記色値の関数として生成される(116)。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は画像処理に関する。
【発明の開示】
【0002】
本発明によると、ピクチャエレメントがそれぞれ色値によって表されるデジタルでコード化された画像を処理する方法であって、複数の前記ピクチャエレメントのそれぞれについて、
(a)複数の比較を実行し、各比較が、検討中の前記ピクチャエレメントとその近接する少なくとも1つの追加のピクチャエレメントとを備える第1のピクチャエレメントグループを、ベースピクチャエレメントと少なくとも1つの追加のピクチャエレメントとを備える第2のピクチャエレメントグループと比較することを備え、前記第2のグループの中のピクチャエレメント数が前記第1のグループの中のピクチャエレメント数と同じであり、前記第2のグループの前記ベースピクチャエレメントを基準にした前記第2のグループの前記又は各追加のエレメントの前記位置が、前記検討中のピクチャエレメントを基準にした前記第1のグループの前記又はそれぞれの追加のエレメントの位置と同じであり、各比較が、前記2つのグループがそれらが類似基準を満たすという意味で一致するかどうかを判断することと、
(b)少なくとも1つの比較が一致を生じさせるときに、前記検討中のピクチャエレメントの置換色値を計算し、前記置換色値は、一致が取得された前記又は各第2のグループの前記ベースピクチャエレメントの前記色値の関数であることと、
を備える方法が、提供される。
【0003】
好ましくは、前記方法は、弁別性の基準を満たすピクチャエレメントを識別することと、前記弁別性の基準を満たさないピクチャエレメントだけの置換色値を計算することとを含む。
【0004】
本発明の他の好ましい態様は請求項に定められている。
【0005】
本発明のいくつかの実施形態は、添付図面を参照して例としてここに説明される。
【発明を実施するための最良の形態】
【0006】
図1は、本発明の第1の実施形態による画像分析を実行するようにプログラミングされた汎用コンピュータからなる装置を示す。それは、中央演算処理装置2が接続されているバス1と、視覚表示装置3と、キーボード4と、画像の入力のためのスキャナ5(又は他の入力装置、図示せず)と、メモリ6とを有する。
【0007】
メモリ6の中に記憶されているのは、オペレーティングシステム601と、画像分析を実行するためのプログラム602と、処理される画像と処理された画像をそれぞれ記憶するための記憶領域603、604である。各画像は値の二次元アレイとして記憶され、各値は前記アレイの中のピクチャエレメントの輝度及び/又は色を表す。
【0008】
本発明の第1の実施形態では、プログラム602は図2のフローチャートに示されているように動作するように構成されている。処理される画像は、ピクセルの位置が、(x,x)等のデカルト座標で、あるいは例えばx=(x,x)等の(太字の)ベクトルとして表されるピクセルのアレイ[C]として記憶されている。xでのピクセルの色は、3つの成分からなるベクトルC(x)として記憶されている。これらの例では、r、g、b成分が使用されているが、他の色空間が利用できるであろう。白黒システムでは、Cはただ1つの(輝度)成分だけを有するであろう。このプロセスの結果は、類似するアレイCOUTに記憶されなければならない。
【0009】
前記プロセスは反復的であり、1つのピクセルxで始まり他のピクセルごとに繰り返す(これが実行される順序は重要ではない)ことを簡単に示すステップ100で開始し、すべてが処理されるとステップ102でループを終了する。しかしながら、すべてのピクセルを処理することは必須ではない。つまり、いくつかは、ここで説明される理由から意図的に排除されてもよい。
【0010】
ステップ104では、比較カウントIがゼロに設定され、一致カウントMが1に設定され、色ベクトルVがxでの色に設定される。Vは、例えば(r、g、b)等に利用される色空間に従って値を取る3つの成分を有する。
【0011】
ステップ106:x’=(x’i1、x’i2)i=1,...nでのn個(通常は3個)のランダムピクセルがxの近傍で選択され、ここで、
j=1,2であれば、
【数1】

【0012】
であり、rが矩形近傍(又はr=r2=rでの正方形の近傍)のサイズを定義する。rの典型的な値は640x416画像の場合2であろう。
【0013】
ステップ108:y=(y,y)でのピクセルは次に画像の中のどこか他の場所で無作為に選択され、(ステップ110)比較カウントIが増分される。このピクセルは、エッジ効果を回避するために画像境界から≧rであるように選択される。所望される場合には、yの選択はxから特定の最大距離内になるように制限できるであろう。ステップ112でIの値が閾値L(通常の値は10から100)の値を超えない場合には、xとyの近傍の間の一致についての試験が実行される。
【0014】
ステップ114:xでのピクセルの色をC(x)=(C(x),C(x)、C(x))=(r,g,b)とさせる。
【0015】
次に、近傍は、ピクセルx、x’のそれぞれ(つまり検討中の前記ピクセルとそのn個の近傍ピクセル)が、y、y’での対応するピクセルと一致する場合に一致し、その場合、yを基準にしたy’の位置はxを基準にしたx’の位置と同じである。すなわち、
i=1,...,nであれば、x−x’=y−y’であり、
この場合、xとyでのピクセルは、
j=1,2,3の場合に
【数2】

【0016】
であり、
x’とy’について同様に、
j=1,2,3かつi=1,...nの場合に
【数3】

【0017】
であるならば、一致するとみなされる。
【0018】
この場合dは、色成分jがピクセル不一致を構成するほど十分に異なっているかどうかを判断する閾値である。後述される試験では、色成分は0から255のスケールで表され、d=80の単一の値が使用された。一般的には、dはxに依存してよい。例えば、これらの領域でdを増加することによって、さらに暗い領域に与えられる強調が少なくなるように、注意をモデル化することが好ましい場合がある。
【0019】
一致が検出されたら、ステップ116でカウンタMは増分され、yでの色成分の値がVに加算される。
【0020】
V=V+C(y)
一致に続き、プロセスはn個のランダムピクセルを含むxの周りに新たな近傍を選択するステップ106に戻るのに対し、一致が検出されない場合には、プロセスはピクセル近傍を変更せずに新しいyを選択するためにステップ108に戻る。
【0021】
ステップ112でIの値が閾値Lを超える場合には、変換された画像の中のx=(x、x)でのピクセルの色が指定され(ステップ118)、M個のピクセルの色の平均値が、一致する近傍、つまり
OUT(x)=V/M
を有することが判明した。
【0022】
このプロセスは、画像中のすべてのピクセルが処理されるまでステップ100から繰り返される。結果として生じる変換された画像は、はるかに削減された色の広がりを有するが、アルゴリズムの無作為な性質から生じる小さなレベルの雑音も含む。この雑音は標準的な平滑化アルゴリズムを適用することによって単に除去できる(ステップ120)。この実施形態では、ピクセルには取り囲む3×3ウィンドウの中のピクセルの平均的な色が割り当てられる。
【0023】
図2に示されているアルゴリズムはすべてのピクセルxを処理し、近傍が画像の残りの部分に非常に似ていないため、一致が検出されないピクセルのケースを除きすべては、それらの色を改変されるであろう。前記プロセスが必ず情報の損失を含むという点で、画像の重要な部分を識別し、これらを除外することが好ましい。したがって、図3の実施形態はフィルタリングプロセスから重要な領域を除外する。図3では、図2のステップに同一であるステップに、同じ参照符号が付けられている。
【0024】
プロセスはステップ130で開始し、本発明者らの国際特許出願WO01/61648号(米国第20020080133号としても公開されている)の中で説明されている方法を使用して、注意スコアのアレイScores(x,x)からなる特徴(saliency)マップが作成される。その性能はこの応用例に必ずしも最もよく適していない可能性があるが、特徴マップを作成する他の方法も使用されてよい。例えば、L Itti、C Koch、及びE Niebur「高速場面分析のための特徴に基づいた視覚的な注意のモデル(A model of saliency−based visual attention for rapid scene analysis)」、IEEE PAMIに関する報告書、第20巻、第11号、1254ページから1259ページ、1998年11月、W Osberger及びA J Maeder「画像中の知覚的に重要な領域の自動識別(Automatic identification of perceptually important regions in an image)」、会議録(Proc)、パターン認識に関する第14回IEEE国際会議、701−704ページ、1998年8月、及びW Osberger、米国特許出願番号第2002/0126891号「視覚注意モデル(Visual Attention Model)」、2002年9月12日を参照。x=(x,x)で各ピクセルに、又は画像の中のピクセルのサブセットに割り当てられるScores(x,x)の値は、そのロケーションでの注意のレベルを反映する。
【0025】
値は、Scores(x,x)に閾値を設定し、
【数4】

【0026】
の場合に、xでのピクセルの色が変換されなければならないのかどうかを判断する変数T、通常は0.9に与えられる。しかしながら、その内のいくらかがxに依存することがある閾値の値を計算する他の手段が使用されてよい。
【0027】
ステップ132でScores(x,x)の値が閾値より大きい場合には、xでのオリジナル画像の中のピクセルは、ステップ134で、変換された画像アレイCOUT(x,x)に未変更でコピーされる。このピクセルは画像の中の高い注目の点を表し、このプロセスによって改変されない。
【0028】
プロセスの残りは前述されたとおりである。しかしながら、平滑化アルゴリズムの中の132での試験のために色値は、注目スコアが閾値の値未満であるピクセルについてだけ、平滑化された値で置換される。
【0029】
注目スコアが事前に計算されていない別の実施形態は図4に示されている。代わりに、ステップ112では、比較カウントIが閾値Lを超えると、試験は、一致カウントMが閾値mtより大きいかどうかを判断するためにステップ150で実行される。大きい場合には、前述したように、変換された画像の中の(x,x)でのピクセルの色が与えられ、ステップ118で、M個のピクセルの色の平均値が、一致する近傍つまりV/Mを有することが判明する。
【0030】
しかしながら、Mがmt未満である又はmtに等しい場合には、xでのオリジナル画像の中のピクセルが、ステップ152で、変換された画像アレイCOUT(x,x)に未変更のままコピーされる。これは、高い注目の領域を表すピクセルは、Mの低い値だけがこれらの画像領域内で取得されるために、改変される可能性は低いことを意味する。
【0031】
画像に適用されるフィルタリングの程度は、閾値dの値を選択することにより制御されてよい。代わりに、又はさらに、フィルタリングプロセスは、所望される場合は、3つすべてのバージョンでステップ170に示されているように反復できる。(図4のケースにおいて)オリジナルの注目スコアScores(x,x)を保持しながら変換された画像は再ロードされてよく、プロセス全体は、連続変換及び背景情報のさらに大きな抑制を取得するために繰り返されてよい。
【0032】
無作為選択が要求される場合、代わりに擬似乱数選択が使用されてよいことに留意されたい。
【0033】
いったんフィルタリングが完了すると、変換された画像は、ステップ180に示されているように、所望される場合にはJPEGフォーマット(又は任意の他の圧縮アルゴリズム)で符号化されてよい。重要性が低い領域に含まれている情報の削減により、オリジナル画像においてより、さらに高い圧縮効率を達成できるようになる。
【0034】
図4のアルゴリズムをフットボールソースに適用した結果が図5に示されており、左から右にオリジナル画像(GIFフォーマット)、JPEGコード化後の画像、及びJPEG CODINGが後に続くフィルタリングの後の画像を示している。範囲1から100の色相値の分散のヒストグラムも示されている。フィルタリングにより圧縮画像ファイルのサイズが13719バイトから10853バイトに削減されることが分かる。
【0035】
通常、ピクセル色置換及び平滑化の2つの反復が十分であるが、これは必要とされる色削減に応じて拡大できる。
【0036】
図6は、ボートと山の輪郭等の画像の重要な特徴を保存しながら、背景情報を実質的にどのようにして除去してよいかを図解する。オリジナルのJPEG符号化(図6a)は、変換されたバージョン(図6b)を一度処理し、JPEG符号化した後に10158バイトに削減される13361バイトを占有する。出力画像は同じVAスコアを使用して再処理され、8881バイトというファイルサイズを取得する(図6c)。追加の反復は8317バイトというサイズを取得する(図6d)。
【0037】
この方法は、(JPEG遮断効果等の)アーチファクトを含む画像に有利に適用されてよい。背景領域に対する色の再割り当ては、通常それらの周囲になんらかの類似性を有するアーチファクトを除去する傾向がある(オリジナルの画像が左側に示され、この方法による処理及びJPEGを使用する以後の再コード化の後に取得される画像が右側に示されている、図7を参照されたい)。しかしながら、非常に目障りで、主要な対象の素材を妨げるアーチファクトは除去されないであろう。
【0038】
前記方法をさらに適用すると、認知度を改善するために、図と地が強化されるか、あるいは背景の邪魔なものが除去される。この適用は、背景が一定の色でほぼ完全に置換され、犬の画像がはるかに鮮明である図8に描かれている。したがって、前記方法は、対象の素材の強化が写真家が自分の写真を組み立てることを支援する、カメラのデジタルファインダ内に表示される画像の処理に適用できるであろう。
【0039】
本質的な視覚情報は、重要ではない領域内の色の変わりやすさを削減する一方で、変換された画像内に保持される。交渉する色境界がさらに少なくなり、形状輪郭がより明確になるために、変換された画像はそれにより、従来のアルゴリズムを使用して分割するのが、はるかに容易になる。これは、この方法が、画像をどのような目的であれ、別々の有意義な一様な領域に区分しようとする多くの従来のアルゴリズムの性能を強化することを意味する。
【0040】
本発明者らが説明してきた実施形態においては、使用される置換色値は(実際、オリジナル値が含まれることは必須ではないが)オリジナル値と一致することが判明したすべてのピクセルのオリジナル値の平均である。実際問題としては、これは必ずしも画像中の異なる色値の数の削減を引き起こさないが、それにも関わらず、それにより色の変わりやすさは削減され、したがって、立証されたように、圧縮のための範囲は広がり、及び/又は画像中のアーチファクトの知覚は削減する。代わりに他の置換戦略が採用されてよい。例えば、平均を取得すると、置換は、平均が最も近い色のより限定された(つまり、より粗く量子化された)範囲のその平均であることが選ばれるであろう。あるいは、一致結果は、すべて同じ色値を割り当てられるであろうピクセルのグループを識別するために使用できるであろう。
【0041】
これらの実施形態は、低レベルの分割アルゴリズムが、高い視覚的な注目に値する画像中の領域に適用されてはならないと仮定している。このような領域は当然特異であり、観察者にとって高密度の重要な情報を含んでいる。これは、これらの領域を分割しようとするあらゆる試みは、取り囲む領域又は有効に外挿できる画像中のどこか他の場所において、ほとんど又はまったく情報がないために、独断的である可能性が高いことを意味する。他方、より包括的である画像のより重要ではない部分は、きわめて原始的且つ低レベルのアルゴリズムを使用して変換できることは当然である。逆説的に言えば、画像の中の独特のオブジェクト端縁は高い注目を引くため、この手法において改変を受けない。実際、本物の画像の中のピクセルレベルでのオブジェクトの端縁は、きわめて複雑且つ多様性があり、それぞれのケースで正しい結果を確信するためには特に調整されたアルゴリズムを必要とするであろう。
【0042】
本発明の第2の実施形態及び第3の実施形態は、変換されてはならない画像の中の視覚的に重要な領域を決定するために視覚注目アルゴリズムを利用する、色圧縮に対する手法を提供する。したがって、この手法は、領域アイデンティティを割り当てるプロセスが、最高密度の有意義な情報を通常保持する端縁を画定するという困難問題に対処する必要がないという、重要な利点を持っている。非注視(Non−attentive)領域は、画像の他の多くの部分と特性を共用する領域を示す、同じVAアルゴリズムから導出されるパラメータに従って変換される。視覚注目アルゴリズムは特徴の事前選択に依存しないため、選択された特徴測定に最も適した画像のカテゴリに作用するために調整される傾向がある、特徴をベースにした標準的な方法よりも、大きな範囲の画像に適用される。変換を受ける領域内のピクセルには平均的な色が割り当てられ、圧縮の強化はJPEG符号化又は任意の他の圧縮規格を通して取得される。圧縮は画像の最も注視されない領域に適用されるため、全体的な画像の知覚品質に影響を及ぼす可能性は低い。前記アルゴリズムは、さらに多くの背景の詳細を犠牲にして追加の圧縮を取得するために、変換された画像に反復して適用されてよい。
【図面の簡単な説明】
【0043】
【図1】本発明を実行するための装置のブロック図である。
【図2】本発明の一実施形態による図1の装置により実行されるステップのフローチャートである。
【図3】本発明の第2の実施形態の類似したフローチャートである。
【図4】本発明の第3の実施形態の類似したフローチャートである。
【図5】いくつかのサンプル画像に関するこの処理の影響を図解する。
【図6】いくつかのサンプル画像に関するこの処理の影響を図解する。
【図7】いくつかのサンプル画像に関するこの処理の影響を図解する。
【図8】いくつかのサンプル画像に関するこの処理の影響を図解する。

【特許請求の範囲】
【請求項1】
ピクチャエレメントがそれぞれ色値によって表現される、デジタルでコード化された画像を処理する方法であって、複数の前記ピクチャエレメントのそれぞれについて、
(a)複数の比較を実行し、各比較が、検討中の前記ピクチャエレメントとその近傍の少なくとも1つの追加のピクチャエレメントとを備える第1のピクチャエレメントグループを、ベースピクチャエレメントと少なくとも1つの追加のピクチャエレメントとを備える第2のピクチャエレメントグループと比較することを備え、前記第2のグループの中のピクチャエレメントの数は前記第1のグループのピクチャエレメントの数と同じであり、前記第2のグループの前記ベースピクチャエレメントを基準にした、前記第2のグループの前記又は各追加のエレメントの位置は、検討中の前記ピクチャエレメントを基準にした、前記第1のグループの前記又はそれぞれの追加のエレメントの位置と同じであり、各比較が、前記2つのグループがそれらが類似性の基準を満たすという意味で一致するかどうかを判断することと、
(b)少なくとも1つの比較が一致を生じさせるときに、検討中の前記ピクチャエレメントの置換色値を計算し、前記置換色値が、一致が取得された前記又は各第2のグループの前記ベースピクチャエレメントに関する前記色値の関数であることと、
を備える、方法。
【請求項2】
弁別性の基準を満たすピクチャエレメントを識別することと、前記弁別性の基準を満たさないピクチャエレメントについてだけ置換色値を計算することとを含む、請求項1に記載の方法。
【請求項3】
弁別性の基準を満たすピクチャエレメントを識別するステップが事前に実行され、前記比較が前記弁別性の基準を満たさないピクチャエレメントだけに実行される、請求項2に記載の方法。
【請求項4】
ピクチャエレメントの弁別性の前記基準は、このピクチャエレメントに関して取得される一致の数が閾値を超えることである、請求項2に記載の方法。
【請求項5】
前記第1のグループの前記又は各追加のピクチャエレメントの選択は、無作為に又は擬似乱数的に選択される、請求項1ないし請求項4のいずれか1項に記載の方法。
【請求項6】
前記第1のグループの前記又は各追加のピクチャエレメントの選択は、前記検討中のエレメントの所定の距離範囲内にあるピクチャエレメントから、無作為に又は擬似乱数的に選択される、請求項1ないし請求項4のいずれか1項に記載の方法。
【請求項7】
前記追加のエレメントは一致後に新たに選択される、請求項1ないし請求項6のいずれか1項に記載の方法。
【請求項8】
前記第2のグループの前記ベースピクチャエレメントの選択は、無作為に又は擬似乱数的に選択される、請求項1ないし請求項7のいずれか1項に記載の方法。
【請求項9】
前記第2のグループの前記ベースピクチャエレメントの選択は、前記検討中のエレメントの所定の距離範囲内にあるピクチャエレメントから、無作為に又は擬似乱数的に選択される、請求項1ないし請求項7のいずれか1項に記載の方法。
【請求項10】
前記第2のグループの前記ベースピクチャエレメントは、比較ごとに新たに選択される、請求項1ないし請求項9のいずれか1項に記載の方法。
【請求項11】
前記画像は白黒画像であり、前記色値は単一輝度成分である、請求項1ないし請求項10のいずれか1項に記載の方法。
【請求項12】
前記画像は色画像であり、前記色値は3つの成分を有する、請求項1ないし請求項10のいずれか1項に記載の方法。
【請求項13】
前記一致基準は、前記第1のグループの任意のピクチャエレメントの成分が、閾値の量より多く前記第2のグループの空間的に対応するエレメントの前記対応する成分と異ならないことである、請求項11又は請求項12に記載の方法。
【請求項14】
ピクセルの前記置換色値は、その既存の色値の関数でもある、請求項1ないし請求項13のいずれか1項に記載の方法。
【請求項15】
前記置換色値は、前記検討中のピクチャエレメントの前記色値と、一致が取得された前記又は各第2のグループの前記ベースピクチャエレメントの前記色値の平均である、請求項14に記載の方法。
【請求項16】
前記置換色値は、前記検討中のピクチャエレメントの前記色値と、一致が取得された前記又は各第2のグループの前記ベースピクチャエレメントの前記色値との平均に、最も近い色値の所定の集合の置換色値である、請求項14に記載の方法。
【請求項17】
請求項1の前記方法を使用して、前記処理された画像を再び処理するステップを含む、請求項1ないし請求項16のいずれか1項に記載の方法。
【請求項18】
前記処理された画像に空間フィルタリングを適用するステップを含む、請求項1ないし請求項17のいずれか1項に記載の方法。
【請求項19】
圧縮アルゴリズムを使用して前記処理された画像を符号化するステップを含む、請求項1ないし請求項18のいずれか1項に記載の方法。
【請求項20】
画像を記憶するための手段(603)と、請求項1ないし請求項19のいずれか1項に記載のステップを実行するように動作すべく構成された手段(2、602)とを備える、画像処理装置。
【請求項21】
請求項1ないし請求項19のいずれか1項に記載の方法を実行するための命令の集合を記憶しているデータキャリヤを備える、コンピュータプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate


【公表番号】特表2007−513555(P2007−513555A)
【公表日】平成19年5月24日(2007.5.24)
【国際特許分類】
【出願番号】特願2006−542004(P2006−542004)
【出願日】平成16年12月1日(2004.12.1)
【国際出願番号】PCT/GB2004/005049
【国際公開番号】WO2005/057490
【国際公開日】平成17年6月23日(2005.6.23)
【出願人】(390028587)ブリティッシュ・テレコミュニケーションズ・パブリック・リミテッド・カンパニー (104)
【氏名又は名称原語表記】BRITISH TELECOMMUNICATIONS PUBLIC LIMITED COMPANY
【Fターム(参考)】