説明

画像処理装置及び画像処理方法

【課題】スケールアウトを抑えつつ、簡単な処理で、画像の特徴に応じた的確なコントラスト強調を行う。
【解決手段】デジタル化された濃度値の画素から成る原画像のコントラストを強調する画像処理装置(10)が提供される。この画像処理装置(10)は、原画像の濃度値シフトを行う手段(13)と、この濃度値シフトが行なわれた原画像の画像データを多重解像度分解に付して低周波成分及び高周波成分の係数からなる係数データに分解する手段(13)と、原画像の濃度値が有する特徴に応じた重みを、多重解像度分解の複数レベルのうちの一部又は全部のレベルについてレベル毎に、高周波成分の係数に付ける手段(13)と、この重み付けされた高周波成分の係数を有する前記係数データを新たな画像に再構成する手段(13)とを備える。多重解像度分解は例えばウェーブレット変換により行われ、再構成は逆ウェーブレット変換により行われる。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、デジタル画像のコントラストを強調する画像処理装置及び画像処理方法に関する。
【背景技術】
【0002】
一般に、画像処理の分野において、画像のコントラストを強調する処理を後処理として必要になる場合は非常に多い。これは、単に画像の見栄えを良くするのみならず、コントラストを強調することで目的とする観察等の作業
の精度向上を支援できるからである。
【0003】
従来、このコントラスト強調のための画像処理法には、各種のものが知られている。その一つとして、例えば非特許文献1に見られるように、ヒストグラムを操作するHistogram Equalization (HE)法がある。このHE法は、画像の濃度値の出現頻度をできる限り均等にすることで、コントラストを強調する手法であり、画像全体を対象にしてヒストグラムを作成し、そのグレイレベルの出願頻度が均等化されるように濃度値を変化させるという手法である。コントラスト強調の度合いは、画像の対象領域の大きさやヒストグラムに大きく依存する。したがって、かかるHE法の場合、対象とする領域が画像全体となるので、コントラスト強調の度合いが低かった。
【0004】
そこで、コントラスト強調に局所性を与え、同時に、かかるコントラスト強調が過度になることを抑制するため、非特許文献2に見られるように、Contrast Limited Adaptive Histogram Equalization (CLAHE)法が提案された。このCLAHE法にあっては、濃度値をクリッピングして過度のコントラスト強調を抑制しているので、クリッピングの値を画像に依存して設定する必要がある。このクリッピングを適正に行うために、ファジー制御を用いることも提案されている。しかし、これには予め画像の特徴量を知っていないとパラメータを適正に設定することはできなかった。
【0005】
かかる状況に鑑みて、ウェーブレット変換などの多重解像度分解を利用した様々なコントラスト強調法が提案されている。その一つとして、非特許文献3に示されているコントラスト強調法は、画像の濃度勾配を用いる手法である。具体的には、まず画像を多重解像度分解し、多重解像度勾配の局所的最大値を求める。次いで、その局所的最大値を重み付けし、ウェーブレット変換復元アルゴリズムによりウェーブレット変換係数を合成する。最後に、逆ウェーブレット変換を施して画像を再構成する。この濃度勾配を用いることで、ヒストグラムを操作する手法とは異なり、過度なコントラスト強調を回避しようとするものである。
【0006】
この非特許文献3で示された画像の濃度勾配の情報を用いた様々な手法が、例えば、非特許文献4,5、特許文献1,2、及び非特許文献6に見られるように様々に提案されている。
【0007】
このうち、非特許文献4で提案されているコントラスト強調法は、対象画像をウェーブレット変換して多重解像度分解した後の低周波成分及び高周波成分に重み付けする手法である。この重み付けのパターンは、「k×低周波成分+高周波成分」(k=0.5〜1の間の値)に設定されている。
【0008】
また、非特許文献5で提案されているコントラスト強調法は、対象画像をウェーブレット変換して多重解像度分解した後の低周波成分及び高周波成分のうち、低周波成分に1よりも小さい係数を掛けることにより、高周波成分のパワーを相対的に上げてコントラスト強調を行う手法である。
【0009】
更に別のコントラスト強調の手法が、特許文献1に示されている。この手法の場合、対象画像をウェーブレット変換して多重解像度分解した後の低周波成分及び高周波成分の係数を、かかる変換の全レベルにわたって非線形的に重み付けするようにしている。かかる重み付けは、後述する図16に示すように、ウェーブレット変換係数の入力値と出力値(重み付け後の値)の関係として定義されている。つまり、入力値:出力値=1:1の直線に対して、相対的に小さい入力値は、かかる「1:1」の直線による出力値よりも大きな出力値をとり、入力値が上がって大きくなると、出力値の上昇が鈍化し、上述した「1:1」の直線による出力値よりも小さな出力値をとるように重み付け曲線が設定されている。この重み付けは、ウェーブレット変換の全レベル又は特定のレベルにて、同一の非線形の重み付け曲線を用いて実施される。
【0010】
また、特許文献2及び非特許文献6で提案されているコントラスト強調法も、特許文献1に記載のものと同様に、要約すると、画像を多重解像度分解し、この分解によって得た全てのサブバンド夫々の係数の値に非線形の加重を掛けることで係数値を伸縮させ、新たなサブバンドの値を生成する手法である。
【特許文献1】米国特許第5,467,404号明細書
【特許文献2】米国特許第5,960,123号明細書
【非特許文献1】W.K. Pratt: Digital image processing, John Wiley & Sons, New York, 1978
【非特許文献2】S.M. Pizer, et al.: “Adaptive histogram equalization and its variations,” Comput. Vision, graph. image proc., vol.39, pp.355-368, 1987.
【非特許文献3】S.G.Mallat, S.Zhong: “Characterization of signals from multiscale edges,” IEEE Trans. PAMI, vol. 14, pp.710-732, 1992
【非特許文献4】J. Lu, et al.: “Contrast enhancement via multiscale gradient transformation,” IEEE Int’l Conf Imag. Proc. (ICIP), pp.482-486, 1994.
【非特許文献5】J.J.Heine, et al.: “Multiresolution statistical analysis of high-resolution digital mammpgrams,” IEEE Trans. Medical Imaging, vol.16, pp.503-505, 1997
【非特許文献6】K.V.Velde: “Multi-scale color image enhancement,” IEEE Int Conf Image Proc (ICIP), vol.3, pp.584-587, 1999
【発明の開示】
【発明が解決しようとする課題】
【0011】
しかしながら、上述した非特許文献3〜6及び特許文献1,2に記載の、濃度勾配を用いたコントラスト強調法は、以下のような未解決の問題を有している。
【0012】
まず、非特許文献3に拠るコントラスト強調法の場合、第1に、多重解像度勾配表現からウェーブレット変換係数を合成する処理が複雑で演算量が多くなる。このため、より簡単な処理で済むコントラスト強調法が望まれていた。
【0013】
第2に、画像によっては、濃度レベルのスケールアウトが多数発生してしまうという問題がある。スケールアウトとは、画像の濃度ヒストグラム上でその曲線の一部が所定の濃度階調(例えば8ビット、すなわち256階調)の範囲を超えてしまう現象であり、このような事態に至ると、コントラスト強調どころか、画像情報が部分的に消失したり、画像がのっぺりとなったりして描出能が低下する。
【0014】
さらに、第3の問題として、強調の度合いは実際に処理をしてみないと分からないので、再度、処理を行う必要に迫られることが多いなどの、使い勝手に劣り作業性が低くなるという指摘もなされていた。
【0015】
また、非特許文献4に拠るコントラスト強調法の場合、第1に、画像全体の濃度値(平均値)が小さくなって、高周波の構造物が浮かび上がってコントラスト強調がなされることになるため、濃度値(平均値)が濃度階調(グレイスケール)の低い方に移動して、使用可能なダイナミックレンジが狭くなり、適用できる対象画像が限られるという問題がある。
【0016】
また、第2に、ウェーブレット変換の特定のレベルで重み係数が「1」から「0.5〜1未満の値」に急落するため、ブロックのアーチファクトが生じ易くなり、高画質なコントラスト強調は望めない。
【0017】
この非特許文献5に拠るコントラスト強調法の場合、相当程度の細かい特徴まで強調できるものの、画像全体としての広い濃度範囲のコントラストが常に適切に強調されているとは言い難い。
【0018】
さらに、特許文献1,2及び非特許文献6に拠るコントラスト強調法にあっては、多重解像度分解した後の低周波成分及び高周波成分の係数を全レベルにわたって非線形的に重み付けする処理が必要であるため、演算量が大きい。また、非線形の重み付けが必ずしも画像の特徴とマッチしているとは限らず、画像の内容によっては、過度なコントラスト強調が起こったり、ブロック状のアーチファクトが発生し易くなったりするという問題がある。
【0019】
本発明は、これらの問題に鑑みてなされたもので、スケールアウトを抑えつつ、比較的簡単な処理で、アーチファクトを確実に抑制して、画像の特徴に応じた的確なコントラスト強調を行うことができる画像処理装置及び画像処理方法を提供することを、その主要な目的とする。
【0020】
また、本発明は、上述した主要な目的に加え、コントラスト強調の再処理も殆ど不要になって作業性を向上させることができる画像処理装置及び画像処理方法を提供することを、別の目的とする。
【課題を解決するための手段】
【0021】
上述した主要な目的を達成するために、本発明に係る画像処理装置は、デジタル化された濃度値の画素から成る原画像のコントラストを強調する画像処理装置として提供される。この画像処理装置は、前記原画像の濃度ヒストグラムを所定の濃度階調上でシフトさせる濃度シフト手段と、この濃度シフト手段によるシフト処理を受けた前記原画像の画像データを多重解像度分解に付して低周波成分及び高周波成分の係数からなる係数データに分解する分解手段と、前記原画像の濃度値が有する特徴に応じた重みを、前記多重解像度分解の複数レベルのうちの一部又は全部のレベルについてレベル毎に、前記高周波成分の係数に付ける重み付け手段と、この重み付けされた高周波成分の係数を有する前記係数データを新たな画像に再構成する再構成手段と、を備えたことを特徴とする。
【0022】
また、本発明に係る画像処理方法は、デジタル化された濃度値の画素から成る原画像のコントラストを強調する画像処理方法であり、前記原画像の画像データを多重解像度分解に付して低周波成分及び高周波成分の係数からなる係数データに分解するステップと、前記原画像の濃度値が有する特徴に応じた重みを、前記多重解像度分解の複数レベルのうちの一部又は全部のレベルについてレベル毎に、前記高周波成分の係数につけるステップと、この重み付けされた高周波成分の係数を有する前記係数データを新たな画像に再構成するステップと、を有することを特徴とする。
【0023】
さらに、本発明に係るプログラムは、コンピュータに、デジタル化された濃度値の画素から成る原画像のコントラストを強調する処理を実行させるプログラムである。このプログラムは、前記コンピュータを、前記原画像の画像データを多重解像度分解に付して低周波成分及び高周波成分の係数からなる係数データに分解する分解手段と、前記原画像の濃度値が有する特徴に応じた重みを、前記多重解像度分解の複数レベルのうちの一部又は全部のレベルについてレベル毎に、前記高周波成分の係数に付ける重み付け手段と、この重み付けされた高周波成分の係数を有する前記係数データを新たな画像に再構成する再構成手段と、として機能させる。
【発明の効果】
【0024】
本発明によれば、濃度シフトによりスケールアウトが抑えられるとともに、多重解像度分解により得られる低周波成分及び高周波成分のうちの高周波成分に原画像の濃度値の特徴に応じた重みが付される。これにより、簡単な処理で、ブロックアーチファクトなどのアーチファクトを排除又は抑制して、画像の特徴に応じた的確なコントラスト強調が行なわれる。
【発明を実施するための最良の形態】
【0025】
以下、本発明の係る画像処理装置及び画像処理方法の実施形態を説明する。
【0026】
図1に、一つの実施形態に係る画像処理装置の構成の概要を示す。この画像処理装置により本発明に係る画像処理方法も実行される。
【0027】
この実施形態に係る画像処理装置10は、図1に示すように、ネットワークNを介して、グレイレベルの2次元又は3次元のデジタル画像を収集する、例えば医用モダリティなどの画像データ収集装置IMに接続されている。つまり、本実施形態にあっては、画像データ収集装置IMから収集した原画像としてのグレイレベルのデジタル医用画像をコントラスト強調処理の対象とする。
【0028】
ここで、本発明に係る画像処理装置の適用範囲を明確しておく。この画像処理の対象とする原画像は、X線マンモグラフィ、デジタルパノラマ画像、X線肺がん検診画像、X線CTスキャナの再構成画像、解像度の低い核医学画像、MRIの再構成画像、超音波画像などの医用画像であってもよい。また、そのような医用画像に限らず、デジタル化された画像であれば、コントラストの出ていない人物像、風景像、物の像;コントラストの出ていない印刷物や古ぼけたアナログ写真のデジタル化画像;衛星や惑星探査機からの不鮮明な画像;X線を用いた非破壊検査画像であってコントラストを強調した方が検査精度向上の観点から良いと判断された画像などであってもよい。
【0029】
また、グレイレベル画像に限らず、デジタル化されていればカラー画像であってもよく、カラー画像の場合には、RGB表示色系から明度、色相、及び彩度の成分を抽出し、明度成分についてコントラスト強調を行えばよい。
【0030】
また、画像処理装置10は必ずしも上述したようにネットワーク化されている必要は無く、スタンドアロン方式でオフライン処理を行うように構成されていてもよい。このため、端的には、ハードディスクドライブ(HDD)やスキャナなどの画像データを格納する手段を備えたパーソナルコンピュータ(PC)であっても、本発明に係る画像処理を実行することができる。
【0031】
逆に、画像処理装置10を医用モダリティなどのほかの装置やシステムに一体に組み込んで、かかる装置やシステムで収集・加工された原画像をその中でコントラスト強調するようにしてもよい。
【0032】
さらに、この画像処理装置10は、本実施形態では、ソフトウェア処理により画像コントラストを強調するように構成されているが、本発明に係る画像処理装置は、そのようなソフトウェア処理には必ずしも限定されるものでは無い。この画像処理装置10は、場合によっては、論理回路などのデジタル回路を用いるなり、専用のDSP(Digital Signal Processor)を開発して処理の高速化とリアルタイム性を図るようにしてもよい。
【0033】
図1に戻って、一実施形態を説明する。この画像処理装置10は、コンピュータの機能を有するハードウェアを備え、このハードウェアにインストールしたプログラムに基づくソフトウェア処理によりコントラストを強調した画像を提供するように構成されている。
【0034】
具体的には、画像処理装置10は、ネットワークNに接続されたインターフェース11と、このインターフェース11に接続されたバスBに繋がる種々のユニットとを備える。このユニットには、画像データ記憶装置12、コントラスト強調用の画像処理プロセッサ13、ROM14、RAM15、操作器16、及びモニタ17が含まれる。
【0035】
画像データ記憶装置12には、例えば、X線CTスキャナ、超音波診断装置、磁気共鳴イメージング装置などの医用モダリティで収集されたグレイレベルのデジタル画像データや、或いは、スキャナで取り込まれた設計図や写真などのグレイスケールのデジタル画像データが予め格納されている。
【0036】
なお、画像データ収集装置IMから送信されてくる画像データをリアルタイムに画像処理装置10に取り込んで、直接に、コントラスト強調処理を行うようにしてもよい。
【0037】
画像処理プロセッサ13は、その起動時に、ROM14に予め記憶させてある、本発明に係るコントラスト強調のプログラムをワークメモリに読み出し、かかるプログラムにしたがってコントラストを強調させるための処理を行う。この処理は、後述する図2に大略示すように実行され、本発明の主要な特徴を成すものである。ROM14は、予め与えられたコントラスト強調用のプログラムを記憶している。
【0038】
RAM15は、画像処理プロセッサ13によりコントラスト強調の処理の必要な一時記憶メモリとして使用される。操作器16はキーボード、マウスなどから成り、オペレータが所望の情報を画像処理装置10に与えることができる。モニタ17は、画像処理プロセッサ13の制御の元で、コントラスト強調処理に関わる画像や情報を表示するようになっている。
【0039】
続いて、この本実施形態に係るコントラスト強調処理を図2〜図8に基づいて説明する。
【0040】
なお、画像データ記憶装置12には、グレイレベルの2次元デジタル画像が事前に格納されているものとし、この2次元画像のコントラスト強調処理を行うものとする。
【0041】
図2は、画像処理プロセッサ13により実行されるコントラスト強調の一連の処理の流れを示す。
【0042】
このコントラスト強調の処理は、概略的には、原画像データの入力(ステップS1)、原画像データに施す濃度値シフトと呼ばれる前処理(ステップS2)、濃度値シフトされた原画像データに施す多重解像度分解としてのウェーブレット変換(ステップS3)、この変換により得られる係数に対するコントラスト強調のための重み付け処理(ステップS4)、重み付けされた係数に施される再構成処理としての逆ウェーブレット変換(ステップS5)、及び、逆ウェーブレット変換により得られたコントラスト強調画像の表示及び記憶(ステップS6)を含む。以下、この処理を順に詳述する。
【0043】
(原画像入力)
画像処理プロセッサ13は、まず、操作器16を介して与えられるオペレータの指令に応答して、画像データ記憶装置12からコントラスト強調処理対象のグレイレベルの2次元デジタル画像データをそのワークメモリに読み込む(ステップS1)。
【0044】
(濃度値シフト)
次いで、画像処理プロセッサ13は、読み込んだ画像データに、濃度値(シフト)と呼ばれる前処理を自動的に実行する(ステップS2)。
【0045】
この濃度値シフトは、画像の平均濃度値が濃度階調(スケール:本実施形態ではグレイレベルのスケール)の中心に在るように画像全体の濃度値を濃度階調上でシフトする前処理である。この濃度値シフトを行うことで、画像表示装置のダイナミックレンジ(モニタ17)を有効に活用し、処理対象の原画像にコントラスト強調を適正に掛けることができる。すなわち、スケールアウトする画素数を抑えてコントラスト強調を確実に掛けることができる。
【0046】
いま、例えば、濃度階調が8ビット(256階調)の原画像の濃度値をf(x、y)とすると、シフトさせる値=offsetは、
【数1】

【0047】
このため、画像処理プロセッサ13は、具体的には図3に示す処理を行う。最初に、画像処理プロセッサ13は、式(1)に基づいて各画素(x、y)の濃度値f(x、y)を用いてシフト値offsetを演算する(ステップS2A)。次いで、画像処理プロセッサ13は、予め定めたアルゴリズムにより画素位置(x、y)を指定する(ステップS2B)。これにより、2次元原画像の例えば1行1列目の画素が指定される。
【0048】
【数2】

【0049】
【数3】

【0050】
この後、画像処理プロセッサ13は全ての画素(x、y)について上述の処理が済んだか否かを判断する(ステップS2H)。この判断がNOとなる場合には、処理をステップS2Bに戻して、次の画素(x、y)に対して上述したステップS2B〜S2Gの処理を繰り返す。ステップS2Hにおける判断がYESになると、この濃度値シフトの処理は終了する。
【0051】
このように前処理としての濃度値シフトを実行することで、図4に例示するように、濃度ヒストグラム上で曲線がシフトする。ヒストグラム曲線Aの如く、濃度値シフト前にはスケールアウトする画素が非常に多かったものが、濃度値シフト後にはヒストグラム曲線全体がスケール中央に移動し、スケールアウトする画素が無くなるか又は少なくなる。
【0052】
(多重解像度分解)
図2に戻って説明すると、次いで、画像処理プロセッサ13は、濃度値シフトされた原画像に対して多重解像度分解の処理を、例えばウェーブレット変換を施すことで実行する(ステップS3)。このウェーブレット変換は、一例として、そのレベルj=1〜8まで順次実行される。このレベルjとは、多重解像度分解の度合いを示し、レベルjの数値が低いほど解像度が高い(したがって、レベルj=1の場合が最も解像度が高い)。
【0053】
【数4】

【0054】
このウェーブレット変換は、2乗可積分関数L(R)に属する関数を基底として、この関数L(R)に属する任意の信号を表現する手段であり、ウェーブレット(短い波:Wave-lets)関数を時間軸上でシフト或いは拡大縮小して求めた基底関数と処理対象との信号との内積である。
【0055】
【数5】

【0056】
【数6】

【0057】
【数7】

【0058】
【数8】

【0059】
なお、この多重解像度解析にはウェーブレット変換が重宝であるが、その他の適宜な変換を用いることもできる。また、ウェーブレット変換を用いた場合でも、必ずしもドベシイ関数を基底としたウェーブレット変換でなくてもよく、例えばハールウェーブレットなどを用いた変換であってもよい。
【0060】
図5には、n×m個の画素数の原画像S(0)(同図(a)参照)にレベルj=1のウェーブレット変換を施したときの係数画像(図5(b))、この係数画像の低周波成分の展開係数の画像S(1)にレベルj=2のウェーブレット変換を施したときの係数画像(同図(c))、及び、この係数画像の低周波成分の係数画像S(2)にレベルj=3のウェーブレット変換を施したときの係数画像(同図(d))に夫々模式的に示す。
【0061】
(重み付け処理)
このようにウェーブレット変換が済むと、画像処理プロセッサ13は、かかる変換により得られる係数にコントラスト強調のための重み付け処理を自動的に実行する(ステップS4)。この重み付け処理は、本発明の別の特徴の一つをなす。この重み付け処理の概要を図6に示す。この重み付け処理は、原画像の濃度値の特徴(属性)に応じて行なわれる。
【0062】
<基準重みの自動設定>
まず、画像処理プロセッサ13が自動的に行う基準重みの設定(指定)について説明する(ステップS4A)。
【0063】
前述したウェーブレット変換によりサブバンドの低周波成分の係数sと高周波成分の係数wとが各レベルj(本実施形態ではj=1〜8)の下で得られる。画像の濃度勾配情報は高周波成分に含まれているので、この高周波成分を操作することでコントラストの強調(又は調整)を行うことにする。そのために、各レベルjのサブバンドの高周波成分を重み付けすることにする。この重みをα(j)で表記する。
【0064】
この重みα(j)をいかに演算してどのように調整するか(重みの自動設定)について説明する。
【0065】
本発明者は、重みα(j)と濃度ヒストグラムの関係について研究して幾つかの特徴を見出した。その一つは、重みα(j)の値をレベルjの値に拠らずに同一の値に設定すると、重みα(j)の値の大きさに比例して画素濃度値のとり得る範囲が増加することである。しかし、この重みα(j)をあまり大きく設定し過ぎると、濃度値0〜255の範囲からスケールアウトする画素が多くなって好ましくないことも分った。そこで、本実施形態では、スケールアウトする画素数の全画素数に対する割合から自動的に重みα(j)を設定するように構成する。このためには、まず、以下のようにして基準となる重みα(=α(1))値を決める。
【0066】
この基準重みαは、コントラスト強調される画像のうち、最も周波数の高い(高分解能)の画像(レベルj=1の画像)を最優先させるために与えられるもので、この画像が最も大きな重み(=基準重みα)で重み付けられる。
【0067】
なお、この基準重みαの値は、条件設定によって変わるが、一例としては、3〜4程度の値を採る。
【0068】
【数9】

【0069】
【数10】

【0070】
<重み関数の設定>
上述のように基準重みαが処理対象の原画像自身の濃度ヒストグラム、すなわち原画像の属性から決まると、画像処理プロセッサ13はその基準重みαを用いて予め定めた複数種のパターンに応じた重み関数を自動的に設定する(ステップS4B)。
【0071】
つまり、画像処理プロセッサ13は、重みα(j)をサブバンド毎に変化させることでコントラストの強調効果も変わるので、本実施形態では、決定された基準重みαを下記の演算式に当てはめて5種類の重み関数を演算する。これにより設定された5種類の重み関数の関数値は、レベルj毎に、例えばテーブルに保管・記憶される。
【0072】
【数11】

【0073】
このうち、式(8)に基づいて設定される重み関数は、図7の直線Aで示すように、レベルjの値に拠らずに、常に一定値α(=基準重み)の重みα(j)を採る。この重みα(j)=αは、強調する画像のうちの最も周波数の高い(高分解能)の画像成分に与える重みである。
【0074】
また、式(10)に基づいて設定される重み関数は、図7の直線B1で示すように、レベルj=1のときに重みα(j)=基準重みαとなり、この値からレベルjが上がるにつれて直線的に低下し、レベルj=8のときに重みα(j)=1の値を採る。この重みα(j)=1を与える最高位のレベルj=8の画像成分は、原画像全体の平均の濃度値を意味し、本実施形態では濃度値シフトを前処理として行なっているため、かかる平均濃度値=128に対する重みということになる。
【0075】
式(9)に基づいて設定される重み関数は、図7の曲線B2で示すように、レベルj=1のときに重みα(j)=基準重みαとなり、この値からレベルjが上がるにつれて緩やかなS字状の非線形な軌跡を画いて低下し、レベルj=8のときに重みα(j)=1の値を採る。具体的には、レベルjが1から上がるにつれて下に緩やかに膨らんだ重み曲線を画きながら、途中のレベルj=4を境にして上に緩やかに膨らんだ重み曲線をみながら、最終的にはレベルj=8で重みα(j)=1に収まる。
【0076】
さらに、式(11)に基づいて設定される重み関数は、図7の曲線B3で示すように、レベルj=1のときに重みα(j)=基準重みαとなり、この値からレベルjが上がるにつれて緩やかに低下するが、レベルjが小さいうちの低下率は低く、レベルjが高い後半部分に急激に低下するという重み曲線を画いている。これとは反対に、式(12)に基づいて設定される重み関数は、図7の曲線B4で示すように、レベルj=1のときに重みα(j)=基準重みαとなり、この値からレベルjが上がるにつれて重みは低下するが、レベルjが小さいうちの低下率は高く、レベルjが高い後半部分に低下率が飽和するという重み曲線を画いている。
【0077】
これらの複数種の重み関数のうち、直線A及びB1及び曲線B2〜B4で表される重み関数は単調非増加関数として分類することができ、直線B1及び曲線B2〜B4で表される重み関数は単調減少関数として分類することができる。
【0078】
直線B1及び曲線B2〜B4で示す重み関数がレベルjに応じて非一定の重みを採る重み関数(単調非増加関数)であって、このうち、曲線B2〜B4で示す重み関数は非線形の重み関数である。因みに、直線Aは一定値の線形の重み関数である。また、直線B1の重み関数も線形の重み関数である。
【0079】
このように複数種の重み関数を設定するのは、処理対象の原画像がどのような画像内容(濃度値の属性)を有していても、その画像内容に応じた適正なコントラスト強調の選択の幅を広げるためである。
【0080】
ここで、図7に示した各種の重み関数の一般形を例示する。この重み関数は、変数jに関するべき関数であって、
【数12】

【0081】
α(1)=α及びα(8)=1を通り、且つ、j=1〜8については単調非増加の関数として表すことができる。実係数a、an−1、…、aを適宜な値に設定することにより、前述した図7に示す曲線B1〜B4のように重み関数を変化させることができる。なお、直線Aで表される関数は、α(8)=1という条件を満たさないが、強調のための全ての重みを一定にした場合として用いられる。
【0082】
なお、最高レベルjがどこまでの値になるかということは、画像の大きさ(マトリクスサイズ)に依存する。例えば、画像のマトリクスサイズ=256×256の場合には最高レベルj=8となり、画像のマトリクスサイズ=1024×1024の場合には最高レベルj=10となる。このため、最高レベルj=10までの重み関数が必要な場合、レベルj=1で重みα(j)=αとなり、レベルj=10で重みα(j)=1となるように減少する重み関数が用いられる。
【0083】
<重み関数の選択>
次いで、演算処理プロセッサ13は上述のように基準重みαに応じて自動設定した複数種の重み関数から、原画像の濃度値の属性に応じた最適な重み関数を選択(指定)する(ステップS4C〜S4J)。
【0084】
前述のように、本実施形態にあっては、高周波成分の重みα(j)を制御して再構成(逆ウェーブレット変換)を行い、コントラスト強調された画像を生成するのであるが、本発明者が行なった研究によれば、重みα(j)をいかに与えるかによって、その結果であるコントラスト強調の度合いが異なることが分っている。
【0085】
これを説明すると、一般的に、重み関数を図7の直線A(式(9))のように均一重みに設定してコントラスト強調を行うと、スケールアウトが目立つようになる。これは、重みα(j)をレベルjの値に拠らずに一定したことで、ダイナミックレンジは広がるが、選択される濃度値が限定されることに因る。また、重み関数を図7の曲線B4(式(12))のように非線形に設定した場合、レベルjが高いところでの重みα(j)が小さいので、コントラスト強調の度合いは低い。
【0086】
これに対して、重み関数を図7の曲線B2の曲線(式(9))、直線B2(式(10))、又は曲線B3(式(11))で表される非一定の重み関数を採用した場合、スケールアウトを抑制しつつ、原画像の内容の細かい特徴までも良く強調できる。
【0087】
しかしながら、必ずしも非一定の重みα(j)が万能ではないことも同時に分っている。例えば画像に写っている「空」のように特定の濃度値が多く存在する部分を有する原画像の場合、非一定の重み関数を適用すると、かかる部分でアーチファクトが発生することも分っている。このような原画像の場合、一定の重み関数を採用した方がアーチファクト抑制の観点から無難である。
【0088】
つまり、原画像に「空」のような一定濃度値の領域が多いのか、「家」の屋根、壁のように濃度値がシャープに変化する領域があるのか、「人物像」のように濃度値の変化が多いのかなど、原画像の濃度ヒストグラムがどのような分布を示すのかということを考慮した重み関数の選択が必要になる。つまりは、処理対象である原画像の濃度値の特徴を判断し、適切な重み関数を選択(切換)することが重要なのである。
【0089】
そこで、本実施形態では、この重み関数を適切に選択するための指標として、原画像の濃度値に含まれる低周波成分に対する高周波成分の割合を基礎的な指標として採用する。これは、かかる割合が原画像の特徴を判別する一つの指標になり得ることを見出したことに拠る。さらに、別の指標としては、累積ヒストグラムから得られる最大傾斜も有効である。本実施形態の場合、原画像の特徴を判別する手法として、上述の「高周波成分の割合」と「累積ヒストグラムの最大傾斜」を組み合わせて使用し、判別を高度化させるようにする。なお、処理の簡単化を重視した場合、「累積ヒストグラムの最大傾斜」の情報を用いずに、「高周波成分の割合」のみを用いた判別も可能である。
【0090】
以上のことを踏まえて、図6に戻って説明する。画像処理プロセッサ13は、各レベルjでのウェーブレット変換による多重解像度分解の係数情報から、低周波成分の絶対値の和に対する高周波成分の絶対値の和の割合Rをレベルj毎に演算する(ステップS4C)。これにより、例えば、レベルj=1〜8まで7個の割合Rが演算される。
【0091】
次いで、画像処理プロセッサ13は、この割合Rが予め定めた閾値Rth以下か否かを判断する(ステップS4D)。
【0092】
この判断がYES、すなわちR≦Rth以下となる場合、画像処理プロセッサ13は累積濃度ヒストグラムの最大傾斜INCmaxを演算する(ステップS4E)。累積濃度ヒストグラムの最大傾斜とは、濃度ヒストグラムを積分して得た曲線のうちの最大傾斜を言う(図8参照)。
【0093】
この最大傾斜INCmaxが得られると、画像処理プロセッサ13は最大傾斜INCmax≧閾値INCthか否かを判断する(ステップS4F)。ここで、閾値INCthは事前に設定した所望の値である。この判断でYES、すなわち最大傾斜INCmax≧閾値INCthの条件が成立する場合、画像処理プロセッサ13は重み関数として、式(8)に基づく一定重みα(j)の関数を選択する(ステップS4G)。
【0094】
これに対して、ステップS4FでNOの判断、すなわち最大傾斜INCmax<INCthとなるとき、及び、前述したステップS4DでNO、すなわち割合R>Rthとなるときには、一例として、式(9)に基づく非線形の重みα(j)(図7の曲線B2参照)を選択する(ステップS4H)。なお、このステップS4Hにおいて、式(9)〜(12)基づく適宜な重みα(j)を選択するようにしてもよい。
【0095】
このステップS4D〜S4Hまでの処理は、原画像の大きさに応じて予め決めた所定数のレベルj(例えばj=1,2)の夫々について繰り返し実行される(ステップS4I)。例えば、画素数256×256の2次元画像の場合、レベルj=1,2の夫々について割合R≦Rthか否かが判定され、上述した処理が繰り返される。また、画素数1024×1024の2次元画像の場合、レベルj=1,2,3の夫々について割合R≦Rthか否かが判定され、上述した処理が繰り返される。
【0096】
このように、画素数が多くなるほど判定対象のレベルjの数を多くすることで、原画像の濃度値が有する属性・特徴をきめ細かく判別することができる。ただし、かかる割合R≦Rthを全てのレベルj=1〜8について実行しないのは、通常、レベルjが高くなると、この割合Rはあまり意味が無くなるため、演算量との兼ね合いで適宜なレベルjまでに抑えることが懸命である。
【0097】
このため、かかる判別及び重み関数の選択が適宜なレベルj=1,2まで行なわれると、画像処理プロセッサ13は全体のレベルj=1〜8に対する重み関数の傾向を推定できるので、この推定に基づいて残りのレベルj=3〜8に対する重み関数を選択する(ステップS4J)。
【0098】
レベルj=1,2に対する判定の結果、レベルj=1、2共に、式(9)に基づく非線形の重み関数が選択される場合もあるし、式(8)に基づく一定値の重み関数が選択される場合もある。また、レベルj=1で式(9)に基づく非線形の重み関数が選択されるが、レベルj=2で式(8)に基づく一定値の重み関数が選択される場合もある。そこで、ステップS4Jでは、一例として、レベルj=2で選択した重み関数をレベルj=3〜8に対しても適用すればよい。なお、高い方のレベルjについては重み付けを省略する(すなわち、重み=1を設定する)こともできる。
【0099】
このように原画像の濃度値が有する属性・特徴に応じた最適な重み関数がレベルj毎に自動的に設定されると、画像処理プロセッサ13は、その重み関数の関数値(テーブル)を参照して重みα(j)の値を設定する(ステップ4K)。
【0100】
画像処理プロセッサ13は、この後、その処理を前述した図2のステップS5に移して、設定した重みα(j)を高周波成分に与えた画像再構成処理を行う。この処理は下記の式に基づく逆ウェーブレット変換で行われる。
【数13】

【0101】
この画像は、ステップS5において、表示器17に表示されるとともに、その画像データが例えば画像データ記憶装置12に格納される。
【0102】
なお、上述した一連の処理において、原画像における、濃度シフトの対象領域(濃度平均値を演算する領域)、多重解像度分解を行い対象領域、画像の特徴(濃度値の特質)の判別、及び、重み付け関数の設定に要するそれぞれの領域は同一領域とすることが望ましい。
【0103】
(作用効果)
このため、本実施形態に係るコントラスト強調処理によれば、前述したように、前処理として原画像の濃度値シフトを行なっているので、濃度階調度のダイナミックレンジを有効に利用でき、その後に行うコントラスト強調処理を適切化させることができる。これは、従来の非特許文献3に対比させるべき、特筆すべき効果である。
【0104】
また、重みα(j)の値をレベルj毎に変えているので、再構成画像は複数の濃度レベルを使うことになり、スケールアウトを抑えつつ、ブロックアーチファクトを抑制しかつ低周波成分の構造物を見せながら、原画像の細かい特徴まで適切にコントラスト強調でき、優れた階調表現性を得ることができるとともに、画像全体としての広い濃度範囲のコントラストが常に適切に強調される。これは、従来の非特許文献1〜6及び特許文献1,2に対して際立つ極めて有利な点である。
【0105】
さらに、従来の非特許文献1〜6及び特許文献1,2で提案されている各種の画像コントラスト強調法とは違って、本実施形態では、「低周波成分の絶対値に対する高周波成分の絶対値の割合」と「累積ヒストグラムの最大傾斜」を組み合わせて使用することで、画像の特徴を自動的に且つ的確に把握してコントラスト強調を行なっている。このため、コントラスト強調画像の中でアーチファクトを大幅に抑制でき、画質を向上させることができる。
【0106】
このように本実施形態に係るコントラスト強調法によれば、濃度値の変化の小さい領域で雑音を強調し過ぎることが無く且つ画像全体の質感を保ちつつ、原画像の特徴に応じたコントラスト強調を行うことができる。このため、例えば原画像が医用画像診断装置で得られた画像である場合、画像診断に有効な画像を提供することができる。
【0107】
さらに、前述したように、非特許文献4で実施する重み付けのパターンは、「k×低周波成分+高周波成分」(k=0.5〜1の間の値)に基づいている。このことを本実施形態の典型的な形態(図15(a)参照:図7の重み曲線B2に相当)と比較すると、図15(b)のように表される。
【0108】
この非特許文献4に係る図15(b)の重み付けの場合、画像全体の濃度値(平均値)を低下させて高周波成分を有する構造物が浮かび上げる(コントラスト強調される)ことを基本としている。つまり、画像全体の濃度値(平均値)を低下させるので、その分、濃度階調のダイナミックレンジを有効に使うことができず、のっぺりとした画像になってしまう。また、あるレベルjで重みが急落させるため、ブロックのアーチファクトが生じ易くなり、画質が安定しない。これに対して、本実施形態に係る図15(a)の重み付けの場合、前述したように、濃度シフトを行っているので、ダイナミックレンジを有効に利用してメリハリのある画像を提供できるとともに、滑らかな重み係数の設定によってブロックアーチファクトの発生を確実に抑制して画質を上げることができる。
【0109】
さらに、従来の特許文献1などの文献に記載されたコントラスト強調法は、ウェーブレット変換後の係数を全レベルjで非線形的に操作することに特徴がある。このときの変換曲線(非線形曲線)Cは図16のように表される。この曲線Cに従うと、ウェーブレット係数の小さい部分をより強調し、ウェーブレット係数の大きい部分はあまり強調せずに、濃度階調からのスケールアウトを抑制している。なお、図16において入力値とは重み付け前の係数値を示し、出力値とは重み付け後の係数値を示している。直線Lは入力値:出力値=1:1となる直線で、変換曲線Cの非直線性を見易くするために載せている。
【0110】
つまり、かかる従来のコントラスト強調法は、図17に示すように、各レベルjに対して同一の変換曲線Cで重み付けしている。これに例えて本実施形態に係る重み付けを説明すると、図18に示すように、各レベルでの重み付けは係数入力値の正比例した傾きの直線を用い、且つ、その傾きをレベル毎に変化させていることになる。
【0111】
これを、横軸にレベルjをとり且つ縦軸に重みα(j)をとって説明すると、図19(a)、(b)に示すように対比される。図19(a)のように、本実施形態の場合には、レベルjに応じて重みα(j)が変化するが、各レベルjにおける重みα(j)がウェーブレット変換係数に応じて変わることはない。これに対し、図19(b)に示すように、特許文献1などの場合には、重みα(j)はレベルjの如何を問わず一定であるが、その重みα(j)の大きさ自体はウェーブレット変換係数の値の大小に依存する。
【0112】
さらに、特許文献1,2及び非特許文献6に拠るコントラスト強調法とは違って、多重解像度分解した後の高周波成分の係数に重み付け処理を施すだけであるため、演算量はそれほど多くならず、演算負荷の増加を抑制できる。また、この重み付けが常に殆ど画像の特徴とマッチしており、画像の内容によっては、過度なコントラスト強調が起こったり、ブロック状のアーチファクトが発生し易くなったりするといったことも著しく軽減される。
【0113】
ところで、本実施形態にあっては、図2に代表的に示す一連のコントラスト強調処理は画像処理プロセッサ13により自動的に実行される。このため、オペレータは操作器16を介して処理実行を指示するだけで済む。しかも、この自動化されたコントラスト強調は、前述したように原画像の特徴に基づいて行なわれる。このため、オペレータにとって作業を省力化できる上に、的確にコントラスト強調された画像を得ることができる。
【0114】
(変形例)
上述した実施形態に係る各種の変形例を説明する。本発明に係る画像処理装置及び画像処理方法は、この変形例を一体に組み込んで実施するものである。
【0115】
(第1の変形例)
第1の変形例は、処理対象とする原画像の次元に関する。前述した実施形態にあっては、グレイレベルの2次元デジタル画像であると仮定したが、本発明に係る画像処理は必ずしも2次元である必要は無く、例えば複数スライスの画像から成る3次元のデジタル画像であってもよく、この場合には、各スライスの画像を原画像としてコントラスト強調を行う。この複数スライスの画像としては、例えば、3次元の対象物の内部構造を観察するCT画像やMR画像がある。
【0116】
図9に、この複数スライスの画像から成る3次元デジタル画像に対して画像処理プロセッサ13により実行されるコントラスト強調処理の概要を示す。画像処理プロセッサ13により、最初に、複数スライスの画像データが読み込まれ(ステップS11)、複数スライスの画像の全体の濃度値の平均値が演算され、この平均値を用いて各スライスの画像の濃度値シフトが前述したと同様に実行される(ステップS12)。次いで、各スライスの画像が多重解像度分解(例えばウェーブレット変換)に付された後(ステップS13)、複数スライスの画像全体から濃度値の特徴量が前述と同様に判断され、各スライスからの濃度値の高周波成分に対する重み付けがなされる(ステップS14)。この後、複数スライスそれぞれに対して画像再構成処理(逆ウェーブレット変換)が実行され、コントラスト強調された複数スライスから成る3次元画像のデータが表示・記憶される(ステップS15,S16)。
【0117】
このように、3次元画像であっても、本発明に係るコントラスト強調処理を好適に実施することができる。
【0118】
(第2の変形例)
第2の変形例は、濃度値シフトを行うときの濃度階調(グレイスケール)の中央に合わせる平均濃度値の演算法に関する。前述した実施形態にあっては2次元のデジタル画像であると仮定したので、画像の濃度値全体の平均値を単に求めるとして説明した。本発明に係る濃度値シフトの場合、必ずしもそのような平均値に限定されず、例えば2次元画像の場合に、オペレータが操作器16を用いて、その画像上の特定の領域にROI(関心領域)を設定し、このROI内の濃度値を平均値として設定してもよい。また、複数スライス画像から成る3次元画像の場合、その複数スライスの一部又は全部の領域の平均値を演算し、この平均値を各スライス画像の濃度値シフトに適用するようにしてもよい。
【0119】
図10に、原画像が医用画像診断装置で得られた複数スライスから成る3次元画像である場合に、特定スライス又は所望の領域を用いて平均値を演算するときのスライス又は領域の指定法の一例を示す。
【0120】
概略を説明すると、オペレータは画像処理装置10とインターラクティブに入力作業を行う。この入力作業を介して、画像処理プロセッサ13は濃度値シフトのための平均値演算の対象が3次元画像全体か否かを判断し(ステップS21)、この判断結果がYESの場合には、そのスライス全部の画素の濃度値の平均値を演算する(ステップS22)。3次元画像全体を平均値演算の対象とする場合には、次いで、特定のスライスを平均値演算の対象とするか否かをオペレータ入力から判断し(ステップS23)、この判断結果がYESの場合には、オペレータの入力情報にしたがう所望スライスを演算対象に指定する(ステップS24)。さらに、画像処理プロセッサ13は指定スライスのうちの特定の領域を平均値演算の対象とするか否かについて、オペレータの入力情報から判断し(ステップS25)、この判断結果がYESの場合には、オペレータのROI(関心領域)指定情報を受け付ける(ステップS26)。このようにROIが決まると、処理はステップS22に移されて、指定スライスのROI内の画素の濃度値の平均値が演算される。
【0121】
また、ステップS25の判断がNOとなるときには、そのままステップS22にて、かかる指定スライス全体の画素から濃度平均値が演算される。さらに、ステップS23の判断がNOとなる場合には、画像処理プロセッサ13が予め定めたデフォルトのスライス(例えばスライス方向における中央位置のスライス)を自動設定し(ステップS27)、このスライス全体から濃度の平均値が演算される。
【0122】
このように多様な平均値の演算法が用意されているので、医用画像のように変化に富んだ濃度値を有する3次元画像の場合でも、適宜な演算法を任意に選択できる。これにより、スケールアウトを極力少なくするための的確な濃度平均値を設定でき、濃度値シフトをより正確に実行してダイナミックレンジをより有効に利用することができる。
【0123】
なお、この濃度値シフトを実行するときに、平均濃度値をシフトさせる(合わせる)濃度階調の中央の値は、必ずしも中央値又はその近傍値でなくてもよい。この濃度値シフトの目的は、スケールアウトを防止又は抑制してダイナミックレンジを有効に利用するものであるから、取り扱う画像の種類に応じてシフト値に適宜な幅を持たせるようにしてもよい。つまり、平均濃度値のシフト先を常に濃度階調の中央値(例えば128)にするのではなく、画像の関心領域を適正に表示するための170程度の値(例えば胸部X線写真の場合)にシフトさせる等の手法を採ることもできる。
【0124】
さらに、シフトさせる対象値についても、必ずしも原画像の画素の平均濃度値である必要な無く、必要に応じて、中央値、最頻値、及び最大値と最小値の平均値のうちの何れかの値を濃度階調上でシフトさせるようにしてもよい。このシフト先の値は所定のアルゴリズムで自動的に演算するようにしてもよいし、オペレータが手動で指定した値を用いるようにしてもよい。この自動演算の場合には、画像処理プロセッサ13が所定のプログラムを実行することにより、自動指定の手段が構成される。また、手動指定の手段は、画像処理プロセッサ13、操作器16、及びモニタ17により構成される。
【0125】
(第3の変形例)
第3の変形例は、ウェーブレット変換によって得られた高周波成分の係数に重み付けするときの基準重みαの設定の仕方に関する。前述した実施形態では、画像処理プロセッサ13が全て自動化して実施するようにしたが、これに代えて、オペレータが一部手動で重み付けに介入できるように変形してもよい。
【0126】
図11に、オペレータが手動で重み付けの切換処理に介入する例を示す。画像処理プロセッサ13がモニタ17に処理したコントラスト強調像を表示すると、オペレータはこれを観察することができる(ステップS31)。画像処理プロセッサ13はオペレータからの操作器16を通した操作情報を読み込み、かかる表示像のコントラスト強調具合で満足(OK)するか否かを判断する(ステップS32)。オペレータが表示画像をアクセプトするのであれば、それ以上の処理はしないが、アクセプトしない場合、オペレータが操作器16に入力する所望の基準重みαを読み取り(ステップS33)、この基準重みαに基づいて前述と同様に(図6参照)、高周波成分に重み付け処理を再度実行する(ステップS34)。この再重み付けの後、画像再構成を行う(ステップS35)、この再構成像、すなわち新しい基準重みαで再重み付けして得たコントラスト強調像を再度、モニタ17に表示する(ステップS31)。この処理はオペレータが表示像をアクセプトするまで繰り返すことができる。
【0127】
このように、オペレータは手動で基準重みαを任意の値に変更して重み付けを調整し、画像のコントラスト強調具合を試行錯誤的に確かめることができる。このため、装置側で自動的にコントラスト強調する態様とは一味違ったコントラスト強調となり、個人の好みに応じたコントラスト強調像を得ることができる。
【0128】
なお、各変形例を組み合わせて実施することもできる。例えば第2及び第3の変形例の少なくとも一方を第1の変形例に組み合わせて実施することもできる。
【0129】
(第4の変形例)
第4の変形例を説明する。この変形例は、図7に示した重み関数の別の形態に関する。図7に示した重み関数は、重み関数の終点(end point)が画像の大きさ(マトリクスサイズ)に拠って決まる最高レベルjまで定義された関数となっていたが、本発明に適用可能な重み関数は必ずしもそのような関数に限定されない。一例として、図12に示すように、重み関数の終点が最高レベル(例えば、マトリクスサイズが256×256の場合には、最高レベル=8)まで達せずに、その途中の特定レベル(例えばレベルj=5)で重みα(j)=1となる関数を用いることができる。
【0130】
好適には、この終点は画像の分解能に応じて決められる。例えば、画素サイズが250μm×250μmのとき、レベルj=1では250μm×250μmの構造物を、レベルj=2では500μm×500μmの構造物を、さらにレベルj=3では1mm×1mmの構造物を見ていることになる。そこで、目的とする構造物の大きさ(分解能)が1mmよりも小さいときには、例えば図13の曲線C1〜C3に示すように、レベルj=3まで大きな重みにし、レベルj=4から急激に低下する重みにすることで、1mmよりも小さい構造物が強調される。かかる強調の程度は、図13の曲線C1〜C3で示すように、低下のシャープさで調整できる。
【0131】
なお、重み関数の終点を図13に示すように例えば特定レベルj=5に設定しつつも、必ずしも特定レベルj=5で重みα(j)=1にしなくてもよい。つまり、図14に示すように、特定レベルjを超えてもなお重みα(j)=1に漸近するように重み関数を設定してもよい。このとき、最終的にα(j)=1とする終点(レベルj)は構造物の大きさとピクセルサイズに拠って決められる。
【0132】
(第5の変形例)
第5の変形例は、前述した濃度シフトにおけるスケールアウト量の任意指定に関する。すなわち、前述した実施形態において、平均濃度値を濃度階調上でシフトさせることに伴って当該濃度階調からスケールアウトする原画像の画素の量をオペレータが任意に指定可能な指定手段を追加的に設けてもよい。具体的には、画像処理プロセッサ13は、前述した(1)式に基づくシフト量offsetの演算を止めて、その代わりに、操作器16からオペレータが指定した任意量を前述したシフト量offsetとして受け付けるようにしてもよい。
【0133】
(第6の変形例)
第6の変形例は、ウェーブレット変換を施す対象となるデジタル画像の大きさ(マトリクスサイズ)が必ずしも2×2の正方形ではない場合の例に関する。そのような例として、デンタルパノラマ画像のように横長の長方形画像(横方向マトリクス数の方が多い)が挙げられる。縦長の長方形画像であっても同様である。
【0134】
ウェーブレット変換は2×2の正方形のマトリクスサイズを基本としているため、かかる長方形画像の場合、そのままでウェーブレット変換を掛けることはできない。そこで、画像処理プロセッサ13は、図20に概説する処理を行う。すなち、まず長方形画像IRECを図21に示すように所望数の正方形領域R1〜R4に分割する(ステップS41)。次いで、画像処理プロセッサ13は、分割した複数の正方形領域SQ1〜SQ2それぞれに対して、前述した実施形態(又は各種の変形例を組み込んだ形態)でコントラスト強調処理を行う(ステップS42)。これが済むと、画像処理プロセッサ13は、正方形領域SQ1〜SQ2それぞれのコントラスト強調画像を1つの長方形画像IRECに合成し(ステップS43)、さらに、合成した画像データを表示・記憶の処理に付す(ステップS44)。
【0135】
この結果、原画像のマトリクスサイズが2×2の正方形で無い場合でも、前述した実施形態に係るコントラスト強調処理を確実に実行することができる。
【0136】
この場合に、原画像としての長方形画像IRECをきっかり、複数個の2×2の正方形画像に分割できない場合には、長方形画像IRECの外側に複数の長方形領域を付加して2×2の1個又は複数個の正方形領域を作り、各正方形領域に前述したコントラスト強調処理を実施する。その後、その1個の正方形領域の画像から切り出して、又は、複数の正方形領域の画像を合成して元の長方形画像IRECを再現する。この再現のための合成処理において重複領域が発生する場合、かかる重複領域については、画素値加算(平均)などの処理をソフトウェア的に行なって対処すればよい。
【0137】
さらに、複数個の正方形画像に分割して前述したコントラスト強調処理を行うときに、複数の正方形画像(マトリクス)が互いに少しずつオーバーラップするように所定画素数だけ大きめの正方形マトリクスを複数個、設定するようにしてもよい。この場合には、この大きめの複数の正方形マトリクスそれぞれをウェーブレット変換に拠るコントラスト強調処理に付す。このコントラスト強調処理に用いる画素値平均値などのパラメータは複数の画像全体から求める。コントラスト処理後の複数の正方形画像から、各正方形画像の端部の余分に足した画素を除いて合成し、原画像に相当する領域のコントラスト強調像を得る。これにより、合成後の画像から、複数画像に分割したことに伴う端部(合成画像内の接続端部)に生じ易いアーチファクトを確実に排除することができる。
【0138】
なお、この第6の変形例は、デンタルパノラマ画像のように画像マトリクスが2×2の正方形ではない場合について各種の処理例を示しているが、このように非正方形の画像については更に別の処理を施すこともできる。
【0139】
例えば、かかる非正方形画像を含む最小の1つの正方形マトリクスを設定し、この正方形マトリクスを対象領域として前述したウェーブレット変換に拠るコントラスト強調処理を行う。ただし、このときに、平均値などの各種パラメータを決定するときの対象領域は、設定した正方形マトリクスでは無く、原画像が実在する非正方形領域とし、この実在領域から求められたパラメータをコントラスト強調処理に用いる。さらに、コントラスト強調処理後に、正方形画像から原画像が実在する非正方形領域を切り出して表示するようにする。これにより、設定する正方形マトリクスは1つで済み、コントラスト強調処理に必要な演算量が少なくて済む。
【0140】
なお、必ずしも、長方形画像IRECの全域にコントラスト強調処理を施す必要が無い場合、図22に示すように、所望サイズの正方形状の関心領域ROIを長方形画像IRECの所望部分に1個又は複数個設定し、その設定領域それぞれに対して前述したコントラスト強調処理を行えばよい。この部分的な強調処理は、縦横のマトリクスサイズが同じ(すなわち、2×2のマトリクス)正方形画像についても同様に適用できる。
【0141】
(第7の変形例)
第7の変形例は、上述と同様に、デンタルパノラマ画像のような長方形画像を原画像として用いる場合に特に適しており、オペレータが、コントラスト強調領域を順次移動させながら観察することができる形態に関する。
【0142】
これを行うには、画像処理プロセッサ13が図23に示すように動作する。まず、画像処理プロセッサ13は、原画像としての長方形画像IRECを表示し(ステップS51)、オペレータからの操作器16を介した指令に応じて長方形画像IREC上に所望サイズの正方形状のROIを設定する(ステップS52)。次いで、画像処理プロセッサ13は、この設定された正方形ROIの範囲に対して、前述した実施形態(又は各種の変形例を組み込んだ形態)でコントラスト強調処理を行う(ステップS53)。次いで、画像処理プロセッサ13は、コントラスト強調した画像を、元の原画像を背景像にしてモニタ17に表示し(ステップS54)、オペレータからの次の指示を待つ(ステップS55)。この結果、オペレータがROI位置を移動・確定させた場合には、処理をステップS52に戻して、前述した一連のステップを繰り返す。
【0143】
この結果、モニタ17の表示画面では、図24に例示するように、長方形画像IREC上でオペレータが最初に指定した正方形領域SQ1のコントラスト強調像が表示される。オペレータがROIを次に所望位置に移動・確定すると、その位置で正方形領域SQ2のコントラスト強調像が表示される。つまり、オペレータはモニタ画面上の長方形画像IRECを見ながらROIを動かし、その都度、その場でコントラスト強調された視認性の良い画像が次々と得られる。
【0144】
このため、オペレータは長方形画像IREC上で所望の部位を順次、詳細に観察することができるので、非常に使い勝手が良くなる。また、一回のコントラスト強調処理に要する演算量が少ないので、ROIを次々と移動させても、短時間のうちに強調画像が表示され、リアルタイム性に優れたものになる。
【0145】
なお、この移動しながらコントラスト強調を行う処理は、必ずしも、原画像が長方形画像である必要は無く、比較的大きなマトリクスサイズの正方形画像であってもよい。
【0146】
(第8の変形例)
第8の変形例は、前述したコントラストの部分強調の処理を、複数のスライス画像が成る3次元のデジタル画像に展開した例である。
【0147】
この場合、画像処理プロセッサ13は、図25に示すように、複数のスライスA〜Cの画像(図の各画像に順次、前述した実施形態(又は各種の変形例を組み込んだ形態)でコントラスト強調処理を実行する。これにより、3次元画像であっても、的確にコントラスト強調を実行することができる。
【0148】
(第9の変形例)
第9の変形例は、原画像として医用画像に本発明にコントラスト強調の処理を適用するときに、事前処理として、ガンマ特性を補正する例に関する。
【0149】
つまり、医用画像の場合に、その画像のガンマ特性を、術者の所望特性になるように補正する。この補正は、例えば、操作者(術者)がモニタ17に表示される医用画像を見ながら操作器16を操作したときに、その操作信号に応答する画像処理プロセッサ13により実行される。画像処理プロセッサ13は、予め設定したプログラムに基づいて、かかる操作信号を入力し、操作信号の指示内容に応じて表示輝度を調整する。この補正により、画素値と表示輝度(グレイレベル)の対応を示す表示モニタ特性が術者の好みに対応して予め調整される。この調整は、画像処理プロセッサ13がモニタ17に与える表示輝度マップを更新することでなされる。
【0150】
この後、画像処理プロセッサにより、前述した濃度値シフト及び/又はコントラスト強調処理が実行される。
【0151】
このため、濃度階調度のダイナミックレンジを有効に利用でき、且つ、コントラスト強調処理を的確に実行できるのみならず、操作者の好みに確実にフィットさせた医用画像を提供することができる。
【0152】
本発明は、必ずしも、前述した実施形態及びその変形例で説明した構成に限定されるものではなく、本願の特許請求の範囲に記載した発明の要旨を逸脱しない範囲で更に適宜に周知技術と組み合わせて実行することもできる。
【図面の簡単な説明】
【0153】
【図1】本発明の一実施形態に係る画像処理装置の概要を説明するブロック図。
【図2】実施形態において画像処理プロセッサで実行される自動化されたコントラスト強調処理の概要を示すフローチャート。
【図3】画像処理プロセッサで実行される濃度値シフトを示す概略フローチャート。
【図4】スケールアウトと濃度値シフトの関係を説明する図。
【図5】多重解像度解析としてのウェーブレット変換を各レベルについて説明する模式図。
【図6】画像処理プロセッサで実行される自動化された重み付け処理を示す概略フローチャート。
【図7】ウェーブレット変換により得られた各レベルの高周波成分に対する重み関数を複数例示するグラフ。
【図8】濃度ヒストグラムと累積濃度ヒストグラムの最大傾斜の関係を定性的に説明する図。
【図9】第1の変形例において画像処理プロセッサにより実行される、3次元デジタル画像に対するコントラスト強調処理の概要を説明するフローチャート。
【図10】第2の変形例において画像処理プロセッサとオペレータの間でインターラクティブに実行される、濃度値シフトのための平均値演算のスライス又は領域を指定する処理を示す概略フローチャート。
【図11】第3の変形例において画像処理プロセッサとオペレータの間でインターラクティブに実行される、オペレータを一部介入させて重み付けを実行する処理を示す概略フローチャート。
【図12】第4の変形例に係る、別の重み関数を説明する図。
【図13】第4の変形例に係る重み関数を説明する図。
【図14】第4の変形例に係る重み関数を更に発展させた例を説明する図。
【図15】本実施形態の効果を従来例の一つと対比して説明するための図。
【図16】別の従来例を説明するための図。
【図17】上記別の従来例を更に説明するための図。
【図18】本実施形態の効果を説明するための図。
【図19】本実施形態の効果を上記別の従来例と対比して説明するための図。
【図20】第6の変形例に係るコントラストの分割強調処理の手順を説明する図。
【図21】かかる分割強調の概要を説明する図。
【図22】第6の変形例を発展させたコントラストの部分強調を説明する図。
【図23】第7の変形例に係るコントラストの移動強調処理の手順を説明する図。
【図24】かかる移動強調の概要を説明する図。
【図25】第8の変形例に係るコントラストの部分強調の概要を説明する図。
【符号の説明】
【0154】
10 画像処理装置
12 画像データ記憶装置
13 画像処理プロセッサ(CPU)
14 ROM(本発明に係るプログラムを記録した記録媒体)
15 RAM
16 操作器
17 モニタ
IM 画像データ収集装置としての医用画像診断装置

【特許請求の範囲】
【請求項1】
デジタル化された濃度値の画素から成る原画像のコントラストを強調する画像処理装置において、
前記原画像の濃度ヒストグラムを所定の濃度階調上でシフトさせる濃度シフト手段と、
この濃度シフト手段によるシフト処理を受けた前記原画像の画像データを多重解像度分解に付して低周波成分及び高周波成分の係数からなる係数データに分解する分解手段と、
前記原画像の濃度値が有する特徴に応じた重みを、前記多重解像度分解の複数レベルのうちの一部又は全部のレベルについてレベル毎に、前記高周波成分の係数に付ける重み付け手段と、
この重み付けされた高周波成分の係数を有する前記係数データを新たな画像に再構成する再構成手段と、を備えたことを特徴とする画像処理装置。
【請求項2】
前記分解手段は、ウェーブレット変換により前記複数レベルの前記多重解像度分解を行って前記原画像を、前記係数データを有するサブバンドに分解する手段であり、
前記再構成手段は、前記重み付け手段により重み付けされた前記サブバンドに逆ウェーブレット変換を施して前記新たな画像を再構成する手段であることを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記濃度シフト手段は、前記原画像の画素の平均濃度値、中央値、最頻値、及び最大値と最小値の平均値のうちの何れかの値を前記濃度階調上でシフトさせる手段であることを特徴とする請求項1又は2に記載の画像処理装置。
【請求項4】
前記濃度シフト手段は、前記平均濃度値を前記濃度階調上の所望値にシフトさせる手段であることを特徴とする請求項3に記載の画像処理装置。
【請求項5】
前記所望値は、前記濃度階調上の中央値又は当該中央値以外の指定値であることを特徴とする請求項4に記載の画像処理装置。
【請求項6】
前記濃度シフト手段は、前記原画像の画素の前記濃度階調上の移動を自動的に又はオペレータからの指令に応じて行う手段である請求項3〜5の何れか一項に記載の画像処理装置。
【請求項7】
前記濃度シフト手段は、各画素に対するシフト後の濃度値が前記濃度階調の下限値を下回ると判断したときには当該濃度値を当該下限値に留めるとともに、各画素に対するシフト後の濃度値が前記濃度階調の上限値を上回ると判断したときには当該濃度値を当該上限値に留める下限・上限制限手段を有することを特徴とする請求項3に記載の画像処理装置。
【請求項8】
前記原画像の画素の濃度値を前記濃度階調上でシフトさせることに伴って当該濃度階調からスケールアウトする前記原画像の画素の量をオペレータが任意に指定可能な指定手段を備えたことを特徴とする請求項3に記載の画像処理装置。
【請求項9】
前記重みは、前記ウェーブレット変換のレベルj=1で所望値α(>1)採り、当該レベルjが前記原画像のマトリクスサイズに依存する最高レベル又は当該最高レベル以下の所望レベル(レベル1を除く)で1を採るように当該レベルjの増大に応じて単調非増加関数に基づいて決まる値であることを特徴とする請求項2又は3に記載の画像処理装置。
【請求項10】
前記重みの単調非増加関数は、前記レベルjの値が増大したときに前記所望値αのまま一定となる一定関数と、前記レベルjの値が増大したときに前記所望値αから前記最高レベル又は前記所望レベルで1となる単調減少関数とから成る関数のうちの選択された何れか一方の関数であることを特徴とする請求項9に記載の画像処理装置。
【請求項11】
前記重み付け手段は、前記所望値αを自動的に演算するとともに、前記複数レベルそれぞれの前記高周波成分に前記一定関数で決まる前記所望値αである一定の重み又は前記単調減少関数の何れかで決まる非一定の重みを選択的に付ける手段であることを特徴とする請求項9に記載の画像処理装置。
【請求項12】
前記重み付け手段は、オペレータから任意値として与えられた前記所望値αを受け付けるとともに、前記複数レベルそれぞれの前記高周波成分に前記一定関数で決まる前記所望値αである一定の重み又は前記単調減少関数の何れかで決まる非一定の重みを選択的に付ける手段であることを特徴とする請求項9に記載の画像処理装置。
【請求項13】
前記重みの単調減少関数は、(i):前記レベルが増加するにつれて、前記重みが緩やかに低下し、その後に急激に減少し、その後に再び、緩やかに低下することで、前記レベルの増加に正比例して低下する直線に比してS字状の軌跡を画くように低下する関数、(ii):前記レベルが増加するにつれて、前記重みの低下度合いが徐々に大きくなる曲線を画くように低下する関数、又は、(iii):前記レベルが増加するにつれて、前記重みの低下度合いが徐々に小さくなる曲線を画くように低下する関数のうちの何れかであることを特徴とする請求項9に記載の画像処理装置。
【請求項14】
前記重み付け手段は、前記原画像の濃度値の特徴を判別する特徴判別手段と、この特徴判別手段による判別結果に応じて前記一定の重み又は非一定の重みを自動的に選択する選択手段と、この選択手段により選択された前記一定の重み又は非一定の重みの重み付け処理を実行する重み付け実行手段とを備えたことを特徴とする請求項3〜13の何れか一項に記載の画像処理装置。
【請求項15】
前記濃度シフト手段及び前記特徴判別手段は、前記原画像の全体の領域又は同一の一部の領域を対象にして前記平均濃度の演算及び前記濃度値の特徴判別を夫々実行するように構成したことを特徴とする請求項14に記載の画像処理装置。
【請求項16】
前記特徴判別手段は、前記各レベルにおける前記低周波成分の係数の絶対値の和に対する前記高周波成分の係数の絶対値の和の割合と、前記原画像の累積濃度ヒストグラムの最大傾斜値とを用いて前記特徴を判断するように構成したことを特徴とする請求項14又は15に記載の画像処理装置。
【請求項17】
前記特徴判別手段は、
前記低周波成分の係数の絶対値の和に対する前記高周波成分の係数の絶対値の和の割合を前記各レベルで算出する第1の手段と、
この割合が基準値以下か否かを判断する第2の手段と、
前記原画像の累積濃度ヒストグラムの最大傾斜値を算出する第3の手段と、
前記最大傾斜値が基準値以上か否かを判断する第4の手段と、
前記第2の手段により前記割合が基準値以下であると判断され且つ前記第4の手段により前記最大傾斜値が前記基準値以上であると判断されたときに、前記一定値の重みを選択する第5の手段と、
前記第2の手段により前記割合が基準値よりも大きいと判断されたときに、及び、前記第2の手段により前記割合が基準値以下であると判断され且つ前記4の手段により前記最大傾斜値が前記基準値よりも小さいと判断されたときに、前記非一定の重みを選択する第6の手段と
を備えたことを特徴とする請求項16に記載の画像処理装置。
【請求項18】
前記原画像は2次元又は3次元の画像であって、当該画像の各次元方向のマトリクスサイズは同じであることを特徴とする請求項1〜3の何れか一項に記載の画像処理装置。
【請求項19】
前記濃度シフト手段、前記分解手段、前記重み付け手段、及び前記再構成手段は、前記原画像の全体の領域又は同一の一部の領域を対象にして前記平均濃度の演算、前記分解、前記重み付け、及び前記再構成を夫々実行するように構成したことを特徴とする請求項18に記載の画像処理装置。
【請求項20】
前記原画像は2次元又は3次元の画像であって、当該画像の各次元方向のマトリクスサイズが異なることを特徴とする請求項1〜3の何れか一項に記載の画像処理装置。
【請求項21】
前記濃度シフト手段、前記分解手段、前記重み付け手段、及び前記再構成手段は、前記原画像の同一の一部の領域を対象にして前記平均濃度の演算、前記分解、前記重み付け、及び前記再構成を夫々実行するように構成したことを特徴とする請求項20に記載の画像処理装置。
【請求項22】
前記濃度シフト手段及び前記特徴判別手段は、前記原画像の全体の領域を対象として前記平均濃度の演算及び前記特徴の判別を夫々実行するように構成し、
前記分解手段、前記重み付け手段、及び前記再構成手段は、前記原画像の同一の一部の領域を対象にして前記分解、前記重み付け、及び前記再構成を夫々実行するように構成したことを特徴とする請求項14に記載の画像処理装置。
【請求項23】
前記一部の領域をオペレータが手動で指定可能な手段と、
前記再構成手段より再構成された画像を表示する手段とを備えたことを特徴とする請求項22に記載の画像処理装置。
【請求項24】
前記3次元の原画像は、複数のスライスの画像から成ることを特徴とする請求項16〜23の何れか一項に記載の画像処理装置。
【請求項25】
前記原画像は、医用画像診断装置により収集された被検体の画像であることを特徴とする請求項1〜24の何れか一項に記載の画像処理装置。
【請求項26】
デジタル化された濃度値の画素から成る原画像のコントラストを強調する画像処理方法において、
前記原画像の画像データを多重解像度分解に付して低周波成分及び高周波成分の係数からなる係数データに分解するステップと、
前記原画像の濃度値が有する特徴に応じた重みを、前記多重解像度分解の複数レベルのうちの一部又は全部のレベルについてレベル毎に、前記高周波成分の係数に付けるステップと、
この重み付けされた高周波成分の係数を有する前記係数データを新たな画像に再構成するステップと、を有することを特徴とする画像処理方法。
【請求項27】
前記分解ステップは、ウェーブレット変換により複数レベルの前記多重解像度分解を行って前記原画像を前記係数データを有するサブバンドに分解するステップであり、
前記再構成ステップは、前記重み付けされた前記サブバンドに逆ウェーブレット変換を施して前記新たな画像を再構成するステップであることを特徴とする請求項26に記載の画像処理方法。
【請求項28】
前記分解ステップの前に、前記原画像の画素の平均濃度値、中央値、最頻値、及び最大値と最小値の平均値のうちの何れかの値を、前記グレイレベルとして与えられた所定の濃度階調上でシフトさせるステップを前処理として置くことを特徴とする請求項27に記載の画像処理方法。
【請求項29】
コンピュータに、デジタル化された濃度値の画素から成る原画像のコントラストを強調する処理を実行させるプログラムであって、
前記コンピュータを、
前記原画像の画像データを多重解像度分解に付して低周波成分及び高周波成分の係数からなる係数データに分解する分解手段と、
前記原画像の濃度値が有する特徴に応じた重みを、前記多重解像度分解の複数レベルのうちの一部又は全部のレベルについてレベル毎に、前記高周波成分の係数に付ける重み付け手段と、
この重み付けされた高周波成分の係数を有する前記係数データを新たな画像に再構成する再構成手段と、として機能させることを特徴とするプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate

【図22】
image rotate

【図23】
image rotate

【図24】
image rotate

【図25】
image rotate


【公開番号】特開2006−41744(P2006−41744A)
【公開日】平成18年2月9日(2006.2.9)
【国際特許分類】
【出願番号】特願2004−216417(P2004−216417)
【出願日】平成16年7月23日(2004.7.23)
【出願人】(302060982)株式会社エムアンドシー (2)
【Fターム(参考)】