説明

画像処理方法及び装置

【課題】フレーム間の画素の対応関係を考慮してアベレージングを行うことにより、高周波成分の劣化を回避しつつノイズ成分を低減する。
【解決手段】実施形態によれば、画像処理方法は、注目フレーム内の濃度値変化と参照フレーム内の濃度値変化との間の差分の大きさを示すマスク画像内の各濃度値を閾値と比較し、マスク画像の注目位置の濃度値が閾値以下であれば参照フレームの参照フレームの高周波成分の注目位置の画素を平均化有効に設定し、そうでなければ参照フレームの高周波成分の注目位置の画素を平均化無効に設定し、参照フレームの高周波成分内の各画素の平均化有効/平均化無効の設定に従って注目フレームの高周波成分及び参照フレームの高周波成分を合成して合成高周波画像を生成すること(S507,S508,S509)と、合成高周波画像を注目フレームの低周波成分に加算すること(S510)とを含む。

【発明の詳細な説明】
【技術分野】
【0001】
実施形態は、画像のノイズ低減に関する。
【背景技術】
【0002】
電子部品などの検査を自動的に行う外観検査システムは、検査画像に含まれるノイズ成分を適切に低減することによって、高精度な検査が可能となる。同様に、X線検査システムもまた、検査画像に含まれるノイズ成分を適切に低減することによって、高精度な検査が可能となる。他にも、例えば画像の撮影、符号化、復号化、再生などを行うにあたって、画像に含まれるノイズ成分を適切に低減することによって、様々な有利な効果(例えば、符号化効率の向上、再生画像品質の向上など)を得ることができる。
【0003】
通常、画像に含まれるノイズ成分は、様々なノイズ低減技法によって低減される。しかしながら、係るノイズ低減技法によって、画像に含まれるノイズ成分だけでなく高周波成分までも低減されたり、高周波成分が不適切な値に変化したりすることがある。高周波成分が低減されたり不適切な値に変化したりすると、ノイズ低減による有利な効果が阻害されるおそれがある。
【0004】
例えば、ノイズ低減技法の1つとして平滑化フィルタが知られている。平滑化フィルタには、被写体の本来の信号成分(特に高周波成分)が劣化する(ぼやける)というデメリットがある。また、動画像におけるノイズ低減技法として、アベレージングが知られている。アベレージングとは、複数フレーム間で濃度値を平均化することによってランダムノイズを低減するものである。例えば、静止した被写体を撮影した動画像においてN枚のフレームを用いてアベレージングを行うと、ランダムノイズを理想的には1/√N倍に低減できる。更に、各フレームにおいて被写体の本来の信号成分は共通に含まれているので、係る信号成分はアベレージングによって劣化しない。しかしながら、被写体に動きがあると、フレーム間の画素の対応関係が崩れてしまう。故に、動きのある被写体を撮影した動画像に対してアベレージングを単純に適用することはできない。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2008−15741号公報
【特許文献2】特開2010−226646号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
実施形態は、動きのある被写体を撮影した画像に対してフレーム間の画素の対応関係を考慮してアベレージングを行うことにより、高周波成分の劣化を回避しつつノイズ成分を低減することを目的とする。
【課題を解決するための手段】
【0007】
実施形態によれば、画像処理方法は、注目フレームを第1の低周波成分及び第1の高周波成分に分解することと、第1の参照フレームを第2の低周波成分及び第2の高周波成分に分解することと、注目フレーム内の濃度値変化と第1の参照フレーム内の濃度値変化との間の差分の大きさを示す第1のマスク画像を生成することと、第1のマスク画像内の各濃度値を閾値と比較し、第1のマスク画像の注目位置の濃度値が閾値以下であれば第2の高周波成分の注目位置の画素を平均化有効に設定し、第1のマスク画像の注目位置の濃度値が閾値よりも大きければ第2の高周波成分の注目位置の画素を平均化無効に設定し、第2の高周波成分内の各画素の平均化有効/平均化無効の設定に従って第1の高周波成分及び第2の高周波成分を合成して合成高周波画像を生成することと、合成高周波画像を第1の低周波成分に加算し、出力画像を得ることとを含む。
【図面の簡単な説明】
【0008】
【図1】第1の実施形態に係る画像処理装置を例示するブロック図。
【図2】図1のマスク画像生成部を例示するブロック図。
【図3】第2の実施形態に係る画像処理装置を例示するブロック図。
【図4】第3の実施形態に係る画像処理装置を例示するブロック図。
【図5】第1の実施形態に係る画像処理装置の動作を例示するフローチャート。
【図6】第3の実施形態に係る画像処理装置の動作を例示するフローチャート。
【図7】移動平均を用いてマスク画像を生成することの技術的意義の説明図。
【図8】第3の実施形態に係る画像処理装置の動作の説明図。
【図9】第4の実施形態に係る画像処理装置の動作の説明図。
【図10】第2の実施形態に係る画像処理装置の比較例の効果の説明図。
【図11】第2の実施形態に係る画像処理装置の効果の説明図。
【図12】第7の実施形態に係る外観検査システムを例示するブロック図。
【図13】第8の実施形態に係るX線検査システムを例示するブロック図。
【図14】第5の実施形態において各参照フレームの高周波成分に関する重みを決定するための関数を例示するグラフ。
【図15】第6の実施形態に係る画像処理装置の動作を例示するフローチャート。
【図16】X線CTシステムにおいて撮影される断面画像の説明図。
【発明を実施するための形態】
【0009】
以下、図面を参照しながら実施形態の説明が述べられる。尚、以降の説明において、説明済みの要素と同一または類似の要素には同一または類似の符号が付され、重複する説明は基本的に省略される。また、以降の説明において、簡単化のために一次元の濃度値変化が示されることがあるが、これらは二次元の濃度値変化として適宜読み替えることができる。更に、以降の説明において、「平均」とは非一様な重みを用いた重み付き平均を含んでもよい。
【0010】
(第1の実施形態)
第1の実施形態に係る画像処理装置は、図1に示されるように、サブバンド分解部101と、サブバンド分解部102と、マスク画像生成部110と、高周波画像合成部120と、加算部130とを含む。
【0011】
図1の画像処理装置は、外部から注目フレーム10と参照フレーム20とを取得する。注目フレーム10及び参照フレーム20は、例えば、同一被写体を撮影した動画像の第nフレーム及び第n−1フレームであってよい。或いは、注目フレーム10及び参照フレーム20は、同一被写体を連続撮影した2枚の静止画像であってもよいし、同一被写体からX線CTによって撮影された2枚の断面画像であってもよい。図1の画像処理装置は、参照フレーム20を適応的に利用して平均化を行って注目フレーム10のノイズ成分を低減し、出力画像60を生成する。
【0012】
サブバンド分解部101は、注目フレーム10を外部から入力する。サブバンド分解部101は、注目フレーム10を2つのサブバンド成分に分解する。具体的には、サブバンド分解部101は、注目フレーム10を高周波成分11と低周波成分12とに分解する。サブバンド分解部101は、高周波成分11を高周波画像合成部120へと出力し、低周波成分12を加算部130へと出力する。
【0013】
サブバンド分解部101は、典型的には、注目フレーム10にウェーブレット変換を適用し、高周波成分11及び低周波成分12を得る。或いは、サブバンド分解部101は、フィルタリング処理によって注目フレーム10の低周波成分12を抽出してもよい。例えば、サブバンド分解部101は、注目フレーム10内の隣接4画素毎に濃度値を平均化することによって、低周波成分12を抽出してもよい。更に、サブバンド分解部101は、当該低周波成分12を注目フレーム10から減算して高周波成分11を抽出してもよい。
【0014】
サブバンド分解部102は、参照フレーム20を外部から入力する。サブバンド分解部102は、参照フレーム20を2つのサブバンド成分に分解する。具体的には、サブバンド分解部102は、参照フレーム20を高周波成分21と低周波成分とに分解する。但し、参照フレーム20の低周波成分は本実施形態において不要であるので、サブバンド分解部102は必ずしも当該低周波成分を導出しない。サブバンド分解部102は、高周波成分21を高周波画像合成部120へと出力する。
【0015】
サブバンド分解部102は、典型的には、参照フレーム20にウェーブレット変換を適用し、高周波成分21及び低周波成分を得る。或いは、サブバンド分解部102は、参照フレーム20の低周波成分を抽出してから当該低周波成分を参照フレーム20から減算することによって、高周波成分21を抽出してもよい。
【0016】
ここで、高周波成分11内の各画素と高周波成分21内の各画素とが対応しているならば(即ち、表現対象が同一であるならば)、高周波成分11と高周波成分21とを平均化することによって、高周波成分11に含まれる注目フレーム10のノイズ成分が低減される。しかしながら、例えば撮影位置のずれ、被写体の変化などの影響により、注目フレーム10内の各画素と参照フレーム20内の各画素とが必ずしも対応しない。
【0017】
例えば、参照フレーム20の注目位置にエッジ成分が含まれていて、かつ、注目フレーム10の注目位置に同一のエッジ成分が含まれていなければ、高周波成分の平均化を通じて注目位置の濃度値が大きく変化するおそれがある。即ち、平均化された高周波画像の注目位置の濃度値に参照フレーム20のエッジ成分の一部が漏れ込み、残像が生じる。また、注目フレーム10の注目位置にエッジ成分が含まれていて、かつ、参照フレーム20の注目位置に同一のエッジ成分が含まれていなければ、平均化を通じて注目位置の濃度値が大きく変化するおそれがある。即ち、平均化された高周波画像の注目位置において注目フレーム10のエッジ成分がぼやける。従って、高周波成分11及び高周波成分21を単純に平均化すると、高周波成分11の劣化する画素が局所的に生じるおそれがある。
【0018】
そこで、図1の画像処理装置は、後述されるように、マスク画像41を生成し、当該マスク画像41に基づいて高周波成分21の平均化有効/平均化無効を局所的に(例えば画素単位で)切り替える。
【0019】
マスク画像生成部110は、外部から注目フレーム10及び参照フレーム20を入力する。マスク画像生成部110は、注目フレーム10の微分画像71と、参照フレーム20の微分画像72との間の差分画像73を導出し、差分画像73の各画素値を局所領域(例えばブロック)毎に平均化(移動平均化)し、移動平均化後の各画素値を絶対値化することによって、マスク画像41を生成する。
【0020】
マスク画像生成部110は、図2に示されるように、微分部111と、微分部112と、減算部113と、移動平均計算部114と、絶対値化部115とを含む。尚、図2の例では、注目フレーム10の微分画像71を参照フレーム20の微分画像72から減算することによって、差分画像73を生成する。但し、差分画像73は、注目フレーム10を参照フレーム20から減算し、差分フレーム内の濃度値分布を微分することによって生成されてもよい。
【0021】
微分部111は、外部から注目フレーム10を入力する。微分部111は、注目フレーム10内の濃度値分布を微分し、微分画像71を得る。具体的には、微分部111は、注目フレーム10内の各濃度値の勾配ベクトルを算出することによって、微分画像71内の各画素値を導出する。微分部111は、微分画像71を減算部113へと出力する。
【0022】
微分部112は、外部から参照フレーム20を入力する。微分部112は、参照フレーム20内の濃度値分布を微分し、微分画像72を得る。具体的には、微分部112は、参照フレーム20内の各濃度値の勾配ベクトルを算出することによって、微分画像72内の各画素値を導出する。微分部112は、微分画像72を減算部113へと出力する。
【0023】
ここで、勾配ベクトルの算出手法が説明される。注目フレーム10内の位置(i,j)の濃度値をLF(0,i,j)で表し、参照フレーム20内の位置(i,j)の濃度値をLF(−1,i,j)で表すとする。勾配ベクトル(=grad(LF(m,i,j)))は、下記数式(1)によって算出できる。尚、mは注目フレーム10及び参照フレーム20を識別するためのインデックスであり、注目フレーム10を基準とする相対位置を表す。例えば、本実施形態においてm=0(注目フレーム10)または−1(参照フレーム20(注目フレーム10の1つ前のフレーム))である。即ち、grad(LF(0,i,j))は微分画像71内の位置(i,j)の画素値(勾配ベクトル)を表し、grad(LF(−1,i,j))は微分画像72内の位置(i,j)の画素値を表す。
【数1】

【0024】
減算部113は、微分部111から微分画像71を入力し、微分部112から微分画像72を入力する。減算部113は、微分画像71を微分画像72から減算し、差分画像73を得る。即ち、減算部113は、下記数式(2)に示されるように、微分画像71内の各画素値(勾配ベクトル)を微分画像72内の各画素値(勾配ベクトル)から減算することによって、差分画像73内の各画素値(勾配ベクトル)を導出する。尚、下記数式(2)において、mは0以外の値である。減算部113は、差分画像73を移動平均計算部114へと出力する。
【数2】

【0025】
移動平均計算部114は、減算部113から差分画像73を入力する。移動平均計算部114は、差分画像73の移動平均を計算し、移動平均画像を得る。即ち、移動平均計算部114は、下記数式(3)に示されるように、差分画像73内の各画素について周囲の局所領域(例えば、3画素×3画素ブロックであり、数式(3)においてblоckで表される)に含まれる画素値(勾配ベクトル)を平均化することによって、移動平均画像内の各画素値(勾配ベクトル)を得る。移動平均計算部114は、移動平均画像を絶対値化部115へと出力する。
【数3】

【0026】
尚、数式(3)において、厳密には、局所領域内の画素値の平均値ではなく総和が計算されている。しかしながら、後述される閾値が適切に調節されれば、平均値に代えて総和を用いたとしても同一または類似の効果を得ることができる。更に、平均値に代えて総和を用いれば除算の省略により計算量を低減させることができる。
【0027】
絶対値化部115は、移動平均計算部114から移動平均画像を入力する。絶対値化部115は、移動平均画像を絶対値化し、マスク画像41を生成する。具体的には、絶対値化部115は、下記数式(4)に示されるように、移動平均画像内の各画素値のx成分及びy成分の二乗和平方根を計算することによって、マスク画像41内の各濃度値を導出する。絶対値化部115は、マスク画像41を高周波画像合成部120へと出力する。
【数4】

【0028】
高周波画像合成部120は、サブバンド分解部101から高周波成分11を入力し、サブバンド分解部102から高周波成分21を入力し、マスク画像生成部110からマスク画像41を入力する。高周波画像合成部120は、マスク画像41内の各濃度値に応じて、高周波成分21内の各画素の平均化有効/平均化無効を切り替える。高周波画像合成部120は、高周波成分21内の各画素の平均化有効/平均化無効の設定に従って、高周波成分11及び高周波成分21を合成し、合成高周波画像50を生成する。
【0029】
具体的には、高周波画像合成部120は、マスク画像41内の各濃度値を閾値と比較する。マスク画像41の注目位置の濃度値が閾値以下であれば、高周波画像合成部120は高周波成分21の注目位置の画素を平均化有効に設定する。即ち、高周波画像合成部120は高周波成分11及び高周波成分21の注目位置の濃度値を平均化することによって、合成高周波画像50の注目位置の濃度値を導出する。
【0030】
他方、マスク画像41の注目位置の濃度値が閾値より大きければ、高周波画像合成部120は高周波成分21の注目位置の画素を平均化無効に設定する。即ち、高周波画像合成部120は、高周波成分21の注目位置の濃度値を平均化に利用しない。具体的には、高周波画像合成部120は、高周波成分21の注目位置の濃度値を高周波成分11の注目位置の濃度値に置き換えてから平均化を行うことによって、合成高周波画像50の注目位置の濃度値(高周波成分11の注目位置の濃度値に等しい)を導出する。或いは、高周波画像合成部120は、高周波成分11の注目位置の濃度値を平均化から除外してもよい。即ち、高周波画像合成部120は、合成高周波画像50の注目位置の濃度値として導出してもよい。
高周波画像合成部120は、合成高周波画像50を加算部130へと出力する。
【0031】
ここで、合成高周波画像50の技術的意義が説明される。前述のように、高周波成分11及び高周波成分21を単純に平均化すると、高周波成分の劣化する画素が局所的に生じるおそれがある。マスク画像41は、係る画素を判別するために利用できる。
【0032】
マスク画像41の注目位置の濃度値は、注目フレーム10の注目位置近傍の濃度値変化と参照フレーム20の注目位置近傍の濃度値変化との間の差分の大きさを示す。例えば、注目フレーム10及び参照フレーム20のいずれか一方の注目位置にエッジ成分が含まれており、かつ、他方の注目位置に同一のエッジ成分が含まれていなければ、マスク画像41の注目位置の濃度値は大きくなる。他方、注目位置近傍において注目フレーム10及び参照フレーム20内の濃度値が同様に変化していれば、マスク画像41の注目位置の濃度値は小さくなる。
【0033】
従って、マスク画像41の注目位置の濃度値の大小に基づいて、参照フレーム20の注目位置の画素が注目フレーム10の注目位置の画素に対応するか否かを判別すること可能である。尚、前述の通り、マスク画像41を生成するために移動平均が計算されている。移動平均を計算することによって、図7に示されるように、マスク画像41内の濃度値において、ノイズ成分の影響が抑制されると共にエッジ成分による影響が強調される。故に、閾値を用いた判別の精度が向上する。
【0034】
マスク画像41の注目位置の濃度値が閾値以下の場合、即ち、参照フレーム20の注目位置の画素が注目フレーム10の注目位置の画素に対応していると判別される場合には、高周波成分11及び高周波成分21の平均化によって高周波成分11に含まれるノイズ成分は低減されると予想される。故に、高周波画像合成部120は、高周波成分11の注目位置の濃度値及び高周波成分21の注目位置の濃度値を平均化し、合成高周波画像50の注目位置の濃度値を導出する。他方、マスク画像41の注目位置の濃度値が閾値より大きい場合、即ち、参照フレーム20の注目位置の画素が注目フレーム10の注目位置の画素に対応していないと判別される場合には、高周波成分11及び高周波成分21の平均化によって高周波成分11が劣化すると予想される。故に、高周波画像合成部120は、高周波成分21の注目位置の画素を平均化無効に設定して合成高周波画像50の注目位置の濃度値として導出する。
【0035】
加算部130は、サブバンド分解部101から注目フレーム10の低周波成分12を入力し、高周波画像合成部120から合成高周波画像50を入力する。加算部130は、合成高周波画像50を低周波成分12に加算し、出力画像60を得る。加算部130は、出力画像60を外部へと出力する。
【0036】
以下、図5を用いて本実施形態に係る画像処理装置の動作が説明される。
まず、サブバンド分解部101及び微分部111は注目フレーム10を取り込み、サブバンド分解部102及び微分部112は参照フレーム20を取り込む(ステップS501)。サブバンド分解部101はステップS501において取り込んだ注目フレーム10を高周波成分11及び低周波成分12に分解し、サブバンド分解部102はステップS501において取り込んだ参照フレーム20を高周波成分21及び低周波成分に分解する(ステップS502)。
【0037】
微分部111はステップS501において取り込んだ注目フレーム10内の濃度値分布を微分して微分画像71を生成し、微分部112はステップS501において取り込んだ参照フレーム20内の濃度値分布を微分して微分画像72を生成する(ステップS503)。減算部113は、ステップS503において生成された微分画像71からステップS503において生成された微分画像72を減算して差分画像73を生成する(ステップS504)。移動平均部114は、ステップS504において生成された差分画像73の移動平均を計算して移動平均画像を生成する(ステップS505)。絶対値化部115は、ステップS505において生成された移動平均画像を絶対値化してマスク画像41を生成する(ステップS506)。
【0038】
尚、ステップS502の処理と、ステップS503,・・・,S506の処理とは、図5と逆の順序で処理されてもよいし、並列に処理されてもよい。
高周波画像合成部120は、ステップS506において生成されたマスク画像41の注目位置の濃度値が閾値以下であるか否かを判定する(ステップS507)。マスク画像41の注目位置の濃度値が閾値以下であれば処理はステップS508に進み、そうでなければ処理はステップS509に進む。
【0039】
ステップS508において、高周波画像合成部120はステップS502において生成された高周波成分11及び高周波成分21の注目位置の濃度値を平均化して合成高周波画像50の注目位置の濃度値を導出し、処理はステップS510へと進む。ステップS509において、高周波成分21の注目位置の画素は平均化無効に設定されているので、高周波画像合成部120はステップS502において生成された高周波成分11の注目位置の濃度値を合成高周波画像50の注目位置の濃度値として導出し、処理はステップS510へと進む。
【0040】
ステップS510において、加算部130がステップS507,S508及びS509を通じて生成された合成高周波画像50をステップS502において生成された低周波成分12に加算して出力画像60を生成し、処理は終了する。
【0041】
以上説明したように、第1の実施形態に係る画像処理装置は、参照フレームの高周波成分内の各画素の平均化有効/平均化無効をマスク画像内の各濃度値に応じて適応的に切り替える。従って、この画像処理装置によれば、マスク画像の濃度値の大きい位置について参照フレームの高周波成分の画素を平均化無効に設定して注目フレームの高周波成分の劣化を回避し、これ以外の位置について参照フレームの高周波成分の画素を平均化有効に設定してノイズ成分を低減できる。即ち、この画像処置装置によれば、注目フレームの高周波成分を維持しつつノイズ成分を低減できる。
【0042】
(第2の実施形態)
第1の実施形態に係る画像処理装置は、1枚の参照フレームを用いてノイズ低減処理を行う。他方、第2の実施形態に係る画像処理装置は、2枚以上の参照フレームを利用してノイズ低減処理を行う。
【0043】
本実施形態に係る画像処理装置は、図3に示されるように、サブバンド分解部101と、サブバンド分解部102と、マスク画像生成部110と、サブバンド分解部203と、マスク画像生成部210と、高周波画像合成部220と、加算部230とを含む。
【0044】
図3の画像処理装置は、外部から注目フレーム10と、参照フレーム20と、参照フレーム30とを取得する。注目フレーム10、参照フレーム20及び参照フレーム30は、例えば同一被写体を撮影した動画像の第nフレーム、第n−1フレーム及び第n+1フレームであってよい。或いは、注目フレーム10、参照フレーム20及び参照フレーム30は同一被写体を連続撮影した3枚の静止画像であってもよいし、同一被写体からX線CTによって撮影された3枚の断面画像であってもよい。図3の画像処理装置は、参照フレーム20及び参照フレーム30を適応的に利用して平均化を行って注目フレーム10のノイズ成分を低減し、出力画像61を生成する。尚、説明の簡単化のために、図3の画像処理装置において2枚の参照フレームを利用する場合が想定されているが、本実施形態は3枚以上の参照フレームを利用する場合にも適用できる。
【0045】
サブバンド分解部203は、参照フレーム30を外部から入力する。サブバンド分解部203は、参照フレーム30を2つのサブバンド成分に分解する。具体的には、サブバンド分解部203は、参照フレーム30を高周波成分31と低周波成分とに分解する。但し、参照フレーム30の低周波成分は本実施形態において不要であるので、サブバンド分解部203は必ずしも当該低周波成分を導出しない。サブバンド分解部203は、高周波成分31を高周波画像合成部220へと出力する。
【0046】
サブバンド分解部203は、典型的には、参照フレーム30にウェーブレット変換を適用し、高周波成分31及び低周波成分を得る。或いは、サブバンド分解部203は、参照フレーム30の低周波成分を抽出してから当該低周波成分を参照フレーム30から減算することによって、高周波成分31を抽出してもよい。
【0047】
マスク画像生成部210は、外部から注目フレーム10及び参照フレーム30を入力する。マスク画像生成部210は、注目フレーム10の微分画像と、参照フレーム30の微分画像との間の差分画像を導出し、差分画像の各画素値を局所領域(例えばブロック)毎に平均化(移動平均化)し、移動平均化後の各画素値を絶対値化することによって、マスク画像42を生成する。尚、マスク画像生成部210の動作はマスク画像生成部110と同一または類似であってよいので、その詳細は省略される。
【0048】
高周波画像合成部220は、サブバンド分解部101から高周波成分11を入力し、サブバンド分解部102から高周波成分21を入力し、サブバンド分解部203から高周波成分31を入力し、マスク画像生成部110からマスク画像41を入力し、マスク画像生成部210からマスク画像42を入力する。高周波画像合成部220は、マスク画像41内の各濃度値に応じて高周波成分21内の各画素の平均化有効/平均化無効を切り替え、マスク画像42内の各濃度値に応じて高周波成分31内の各画素の平均化有効/平均化無効を切り替える。具体的には、高周波画像合成部220は、マスク画像41内の各濃度値を閾値と比較し、マスク画像42内の各濃度値を閾値と比較する。
【0049】
マスク画像41の注目位置の濃度値が閾値以下であれば、高周波画像合成部220は高周波成分21の注目位置の画素を平均化有効に設定する。他方、マスク画像41の注目位置の濃度値が閾値より大きければ、高周波画像合成部220は高周波成分21の注目位置の画素を平均化無効に設定する。マスク画像42の注目位置の濃度値が閾値以下であれば、高周波画像合成部220は高周波成分31の注目位置の画素を平均化有効に設定する。他方、マスク画像42の注目位置の濃度値が閾値より大きければ、高周波画像合成部220は高周波成分31の注目位置の画素を平均化無効に設定する。高周波画像合成部220は、高周波成分21及び高周波成分31内の各画素の平均化有効/平均化無効の設定に従って、高周波成分11、高周波成分21及び高周波成分31を合成し、合成高周波画像51を生成する。
【0050】
具体的には、高周波成分21及び高周波成分31の注目位置の画素がいずれも平均化有効に設定されていれば、高周波画像合成部220は、高周波成分11、高周波成分21及び高周波成分31の注目位置の濃度値を平均化し、合成高周波画像51の注目位置の濃度値を導出する。
【0051】
高周波成分21の注目位置の画素が平均化有効に設定され、かつ、高周波成分31の注目位置の画素が平均化無効に設定されていれば、高周波画像合成部220は、高周波成分31の注目位置の濃度値を高周波成分11の注目位置の濃度値に置き換えてから平均化を行って合成高周波画像51の注目位置の濃度値を導出する。或いは、高周波画像合成部220は、高周波成分31の注目位置の濃度値を平均化から除外してもよい。即ち、高周波画像合成部220は、高周波成分11及び高周波成分21の注目位置の濃度値を平均化し、合成高周波画像51の注目位置の濃度値を導出してもよい。
【0052】
高周波成分21の注目位置の画素が平均化無効に設定され、かつ、高周波成分31の注目位置の画素が平均化有効に設定されていれば、高周波画像合成部220は、高周波成分21の注目位置の濃度値を高周波成分11の注目位置の濃度値に置き換えてから平均化を行って合成高周波画像51の注目位置の濃度値を導出する。或いは、高周波画像合成部220は、高周波成分21の注目位置の濃度値を平均化から除外してもよい。即ち、高周波画像合成部220は、高周波成分11及び高周波成分31の注目位置の濃度値を平均化し、合成高周波画像51の注目位置の濃度値を導出してもよい。
【0053】
高周波成分21及び高周波成分31の注目位置の画素がいずれも平均化無効に設定されていれば、高周波画像合成部220は、高周波成分21及び高周波成分31の注目位置の濃度値を高周波成分11の注目位置の濃度値に置き換えてから平均化を行って合成高周波画像51の注目位置の濃度値(高周波成分11の注目位置の濃度値に等しい)を導出する。或いは、高周波画像合成部220は、高周波成分21及び高周波成分31の注目位置の濃度値を平均化から除外してもよい。即ち、高周波画像合成部220は、高周波成分11の注目位置の濃度値を合成高周波画像51の注目位置の濃度値として導出してもよい。
高周波画像合成部220は、合成高周波画像51を加算部230へと出力する。
【0054】
ここで、2枚以上の参照フレームを利用してノイズ低減処理を行うことの技術的意義が説明される。前述のように、マスク画像の濃度値の大きい位置について参照フレームの高周波成分の画素が平均化無効に設定されれば、注目フレームの高周波成分の劣化を回避できる。しかしながら、ある位置について全ての参照フレームの高周波成分の画素が平均化無効に設定されると、当該位置において平均化は実質的に行われないのでノイズ低減の効果を得ることもできない。換言すれば、ある位置においてノイズ低減の効果を得るためには1枚以上の参照フレームの高周波成分の画素が当該位置について平均化有効に設定される必要がある。従って、より多くの位置において1枚以上の参照フレームの高周波成分の画素が平均化有効に設定されることが望ましい。
【0055】
利用される参照フレームの総数が多くなれば、任意の位置において1枚以上の参照フレームの高周波成分の画素が平均化有効に設定される可能性が高くなる。即ち、第1の実施形態に比べて注目フレーム10内の多数の画素がノイズ低減の効果を得ることができる。
【0056】
例えば、第nフレーム(注目フレーム)の中央付近に輝度の高い被写体が存在し、第n−1フレーム及び第n+1フレーム(参照フレーム)において当該被写体の位置が左右にずれていると仮定する。これら第nフレーム、第n−1フレーム及び第n+1フレームの高周波成分を単純に平均化して第nフレームの低周波成分に加算すると、第nフレームの高周波成分の劣化を回避できない。故に、図10に示されるように、被写体の境界付近がぼやけた出力画像が得られる。他方、本実施形態に係るノイズ低減処理によれば、第n−1フレームの高周波成分の画素が平均化無効に設定される位置について第n+1フレームの高周波成分の画素が平均化有効に設定される可能性がある。また、第n+1フレームの高周波成分の画素が平均化無効に設定される位置について第n−1フレームの高周波成分の画素が平均化有効に設定される可能性がある。従って、図11に示されるように、第nフレームの高周波成分(例えばエッジ成分)の劣化を回避しつつノイズ成分を低減できる。
【0057】
加算部230は、サブバンド分解部101から注目フレーム10の低周波成分12を入力し、高周波画像合成部220から合成高周波画像51を入力する。加算部230は、合成高周波画像51を低周波成分12に加算し、出力画像61を得る。加算部230は、出力画像61を外部へと出力する。
【0058】
以上説明したように、第2の実施形態に係る画像処理装置は、2枚以上の参照フレームを利用して第1の実施形態に係る画像処理を行う。従って、この画像処理装置によれば、任意の位置において1枚以上の参照フレームの高周波成分の画素が平均化有効に設定される可能性が高い。即ち、第1の実施形態に比べて注目フレーム内の多数の画素がノイズ低減の効果を得ることができる。
【0059】
(第3の実施形態)
第1及び第2の実施形態に係る画像処理装置は、注目フレーム及び参照フレームを2つのサブバンド成分に分解してノイズ低減処理を行う。他方、第3の実施形態に係る画像処理装置は、注目フレーム及び参照フレームを3以上のサブバンド成分に分解してノイズ低減処理を行う。
【0060】
第3の実施形態に係る画像処理装置は、図4に示されるように、サブバンド分解部301と、サブバンド分解部302と、マスク画像生成部310と、高周波画像合成部320と、加算部330とを含む。
【0061】
図4の画像処理装置は、外部から注目フレーム10と参照フレーム20とを取得する。図4の画像処理装置は、参照フレーム20を適応的に利用して平均化を行って注目フレーム10のノイズ成分を低減し、出力画像62を生成する。図4の画像処理装置は、サブバンド分解を複数回に亘って再帰的に行い、注目フレーム10及び参照フレーム20を3以上のサブバンド成分に分解する。
【0062】
以降の説明では、注目フレーム10及び参照フレーム20内の位置(i,j)の濃度値はLF(m,0,i,j)と表される。尚、mは注目フレーム10及び参照フレーム20を識別するためのインデックスであり、注目フレーム10を基準とする相対位置を表す。例えば、本実施形態においてm=0(注目フレーム10)または−1(参照フレーム20(注目フレーム10の1つ前のフレーム))である。更に、第k+1回目のサブバンド分解によって得られるレベルk+1の低周波成分の位置(i,j)の濃度値はLF(m,k+1,i,j)と表され、レベルkの高周波成分の位置(i,j)の濃度値はHF(m,k+1,i,j)と表される。尚、kは0以上kmax以下の値を取り得る変数である。kmaxは、サブバンド分解の実施回数を決定するパラメータであり、ノイズ成分の周波数特性などに基づいて任意に定めることができる。以降の説明では簡単化のためにkmax=2と仮定されるが、kmax=3以上としても勿論よい。第k+1回目のサブバンド分解は、レベルkの低周波成分に対して行われる。故に、LF(m,k,i,j)=LF(m,k+1,i,j)+HF(m,k+1,i,j)である。即ち、注目フレーム10及び参照フレーム20は、最終的には、レベル1,・・・,kmaxの高周波成分とレベルkmaxの低周波成分とに分解される。
【0063】
サブバンド分解部301は、注目フレーム10を外部から入力する。サブバンド分解部301は、例えばウェーブレット変換を用いて注目フレーム10を2つのサブバンド成分に分解する。具体的には、サブバンド分解部301は、注目フレーム10をレベル1の高周波成分11−1とレベル1の低周波成分12−1とに分解する。サブバンド分解部301は、高周波成分11−1を高周波画像合成部320へと出力し、低周波成分12−1をマスク画像生成部310へと出力する。また、サブバンド分解部301は、第2回目のサブバンド分解のために、低周波成分12−1を自己にフィードバック出力する。
【0064】
更に、サブバンド分解部301は、第2,・・・,kmax回目のサブバンド分解のために、注目フレーム10のレベル1,・・・,kmax−1の低周波成分12−1,・・・,12−(kmax−1)をフィードバック入力する。サブバンド分解部301は、レベル1,・・・,kmax−1の低周波成分12−1,・・・,12−(kmax−1)の各々を2つのサブバンド成分に分解する。具体的には、サブバンド分解部301は、レベル1,・・・,kmax−1の低周波成分12−1,・・・,12−(kmax−1)の各々をレベル2,・・・,kmaxの高周波成分11−2,・・・,11−kmaxと低周波成分12−2,・・・,12−kmaxとに分解する。サブバンド分解部301は、高周波成分11−2,・・・,11−kmaxを高周波画像合成部320へと出力する。サブバンド分解部301は、低周波成分12−2,・・・,12−(kmax−1)をマスク画像生成部310へと出力する。また、サブバンド分解部301は、第3,・・・,kmax回目のサブバンド分解のために、低周波成分12−2,・・・,12−(kmax−1)を自己にフィードバック出力する。サブバンド分解部301は、低周波成分12−kmaxを加算部330へと出力する。
【0065】
サブバンド分解部302は、参照フレーム20を外部から入力する。サブバンド分解部302は、例えばウェーブレット変換を用いて参照フレーム20を2つのサブバンド成分に分解する。具体的には、サブバンド分解部302は、参照フレーム20をレベル1の高周波成分21−1とレベル1の低周波成分22−1とに分解する。サブバンド分解部302は、高周波成分21−1を高周波画像合成部320へと出力し、低周波成分22−1をマスク画像生成部310へと出力する。また、サブバンド分解部302は、第2回目のサブバンド分解のために、低周波成分22−1を自己にフィードバック出力する。
【0066】
更に、サブバンド分解部302は、第2,・・・,kmax回目のサブバンド分解のために、参照フレーム20のレベル1,・・・,kmax−1の低周波成分22−1,・・・,22−(kmax−1)をフィードバック入力する。サブバンド分解部302は、レベル1,・・・,kmax−1の低周波成分22−1,・・・,22−(kmax−1)の各々を2つのサブバンド成分に分解する。具体的には、サブバンド分解部302は、レベル1,・・・,kmax−1の低周波成分22−1,・・・,22−(kmax−1)の各々をレベル2,・・・,kmaxの高周波成分21−2,・・・,21−kmaxと低周波成分22−2,・・・,22−kmaxとに分解する。但し、レベルkmaxの低周波成分22−kmaxは、本実施形態において不要であるので、サブバンド分解部302は必ずしも当該低周波成分22−kmaxを導出しない。サブバンド分解部302は、高周波成分21−2,・・・,21−kmaxを高周波画像合成部320へと出力する。サブバンド分解部302は、低周波成分22−2,・・・,22−(kmax−1)をマスク画像生成部310へと出力する。また、サブバンド分解部302は、第3,・・・,kmax回目のサブバンド分解のために、低周波成分22−2,・・・,22−(kmax−1)を自己にフィードバック出力する。
【0067】
マスク画像生成部310は、外部から注目フレーム10及び参照フレーム20を入力する。マスク画像生成部310は、注目フレーム10及び参照フレーム20にマスク画像生成部110,210と同一または類似の処理を行って、レベル1のマスク画像41−1を生成する。更に、マスク画像生成部310は、サブバンド分解部301から注目フレーム10の低周波成分12−1,・・・,12−(kmax−1)を入力し、サブバンド分解部302から参照フレーム20の低周波成分22−1,・・・,22−(kmax−1)を入力する。マスク画像生成部310は、低周波成分12−1,22−1,・・・,12−(kmax−1),22−(kmax−1)の各々にマスク画像生成部110,210と同一または類似の処理を行って、レベル2,・・・,kmaxのマスク画像41−2,・・・,41−(kmax)を生成する。
【0068】
具体的には、上記数式(1)に代えて下記数式(5)を利用すれば、インデックスmによって識別されるフレームのレベルk+1の微分画像を導出できる。
【数5】

【0069】
また、上記数式(2)に代えて下記数式(6)を利用すれば、インデックスmによって識別されるフレームのレベルk+1の差分画像を導出できる。
【数6】

【0070】
また、上記数式(3)に代えて下記数式(7)を利用すれば、インデックスmによって識別されるフレームのレベルk+1の移動平均画像を導出できる。
【数7】

【0071】
また、上記数式(4)に代えて下記数式(8)を利用すれば、インデックスmによって識別されるフレームのレベルk+1のマスク画像41−(k+1)を導出できる。
【数8】

【0072】
高周波画像合成部320は、サブバンド分解部301からレベル1,・・・,kmaxの高周波成分11−1,・・・,11−kmaxを入力し、サブバンド分解部302からレベル1,・・・,kmaxの高周波成分21−1,・・・,21−kmaxを入力し、マスク画像生成部310からレベル1,・・・,kmaxのマスク画像41−1,・・・,41−kmaxを入力する。高周波画像合成部320は、レベルk+1のマスク画像41−(k+1)内の各濃度値に応じて、レベルk+1の高周波成分21−(k+1)内の各画素の平均化有効/平均化無効を切り替える。高周波画像合成部120は、レベルk+1の高周波成分21−(k+1)の各画素の平均化有効/平均化無効の設定に従って、レベルk+1の高周波成分11−(k+1)及び高周波成分21−(k+1)を合成し、レベルk+1の合成高周波画像50−(k+1)を生成する。
【0073】
具体的には、高周波画像合成部320は、レベルk+1のマスク画像41−(k+1)内の各濃度値を閾値と比較する。マスク画像41−(k+1)の注目位置の濃度値が閾値以下であれば、高周波画像合成部320はレベルk+1の高周波成分21−(k+1)の注目位置の画素を平均化有効に設定する。即ち、高周波画像合成部320は、レベルk+1の高周波成分11−(k+1)及び高周波成分21−(k+1)の注目位置の濃度値を平均化することによって、レベルk+1の合成高周波画像50−(k+1)の注目位置の濃度値を導出する。
【0074】
他方、マスク画像41−(k+1)の注目位置の濃度値が閾値より大きければ、高周波画像合成部320は高周波成分21−(k+1)の注目位置の画素を平均化無効に設定する。即ち、高周波画像合成部320は、高周波成分21−(k+1)の注目位置の濃度値を平均化に利用しない。具体的には、高周波画像合成部320は、高周波成分21−(k+1)の注目位置の濃度値を高周波成分11−(k+1)の注目位置の濃度値に置き換えてから平均化を行うことによって、合成高周波画像50−(k+1)の注目位置の濃度値(高周波成分11−(k+1)の濃度値に等しい)を導出する。或いは、高周波画像合成部320は、高周波成分21−(k+1)の注目位置の濃度値を平均化から除外してもよい。即ち、高周波画像合成部320は、高周波成分11−(k+1)の注目位置の濃度値を合成高周波画像50−(k+1)の注目位置の濃度値として導出してもよい。
高周波画像合成部320は、レベル1,・・・,kmaxの合成高周波画像50−1,・・・50−kmaxを加算部330へと出力する。
【0075】
加算部330は、サブバンド分解部301から注目フレーム10のレベルkmaxの低周波成分12−kmaxを入力し、高周波画像合成部320からレベル1,・・・,kmaxの合成高周波画像50−1,・・・,50−kmaxを入力する。加算部330は、合成高周波画像50−1,・・・,50−kmaxを低周波成分12−kmaxに加算し、出力画像62を得る。加算部330は、出力画像62を外部へと出力する。
【0076】
以下、図6を用いて本実施形態に係る画像処理装置の動作が説明される。まず、kを初期化するために0が代入され、処理はステップS602に進む(ステップS601)。
ステップS602において、サブバンド分解部301及びマスク画像生成部310は注目フレーム10のレベルkの低周波成分10または12−k(LF(m(=0),k,i,j))を取り込み、サブバンド分解部302及びマスク画像生成部310は参照フレーム20のレベルkの低周波成分20または22−k(LF(m(≠0),k,i,j))を取り込む。サブバンド分解部301はステップS602において取り込んだレベルkの低周波成分10または12−k(LF(m(=0),k,i,j))をレベルk+1の高周波成分11−(k+1)(HF(m(=0),k+1,i,j))及び低周波成分12−(k+1)(LF(m(=0),k+1,i,j))に分解し、サブバンド分解部302はステップS602において取り込んだレベルkの低周波成分20または22−k(LF(m(≠0),k,i,j))をレベルk+1の高周波成分21−(k+1)(HF(m(≠0),k+1,i,j))及び低周波成分22−(k+1)(LF(m(≠0),k+1,i,j))に分解する(ステップS603)。
【0077】
マスク画像生成部310は、ステップS602において取り込んだ注目フレーム10のレベルkの低周波成分10または12−k(LF(m(=0),k,i,j))内の濃度値分布を微分して注目フレーム10のレベルk+1の微分画像を生成し、ステップS602において取り込んだ参照フレーム20のレベルkの低周波成分20または22−k(LF(m(≠0),k,i,j))内の濃度値分布を微分して参照フレーム20のレベルk+1の微分画像を生成する(ステップS604)。マスク画像生成部310は、ステップS604において生成した注目フレーム10のレベルk+1の微分画像からステップS604において生成した参照フレーム20のレベルk+1の微分画像を減算してレベルk+1の差分画像を生成する(ステップS605)。マスク画像生成部310は、ステップS605において生成したレベルk+1の差分画像の移動平均を計算してレベルk+1の移動平均画像を生成する(ステップS606)。マスク画像生成部310は、ステップS606において生成したレベルk+1の移動平均画像を絶対値化してレベルk+1のマスク画像41−(k+1)を生成する(ステップS607)。以降の説明において、レベルk+1のマスク画像41−(k+1)の位置(i,j)の濃度値はMK(m(≠0),k+1,i,j)と表される。
【0078】
尚、ステップS603の処理と、ステップS604,・・・,S607の処理とは、図6と逆の順序で処理されてもよいし、並列に処理されてもよい。
高周波画像合成部320は、ステップS607において生成されたレベルk+1のマスク画像41−(k+1)の注目位置(i,j)の濃度値(MK(m,k+1,i,j))が閾値以下であるか否かを判定する(ステップS608)。マスク画像41−(k+1)の注目位置の濃度値が閾値以下であれば処理はステップS609に進み、そうでなければ処理はステップS610に進む。
【0079】
ステップS609において、高周波画像合成部320はステップS603において生成されたレベルk+1の高周波成分11−(k+1)の注目位置(i,j)の濃度値(HF(m(=0),k+1,i,j))及び高周波成分21−(k+1)の注目位置(i,j)の濃度値(HF(m(≠0),k+1,i,j))を平均化してレベルk+1の合成高周波画像50−(k+1)の注目位置(i,j)の濃度値を導出し、処理はステップS611へと進む。ステップS610において、高周波成分21−(k+1)の注目位置の画素は平均化無効に設定されているので、高周波画像合成部320はステップS603において生成されたレベルk+1の高周波成分11−(k+1)の注目位置(i,j)の濃度値(HF(m(=0),k+1,i,j))をレベルk+1の合成高周波画像50−(k+1)の注目位置(i,j)の濃度値として導出し、処理はステップS611へと進む。以降の説明において、レベルk+1の合成高周波画像50−(k+1)の位置(i,j)の濃度値はHFC(k+1,i,j)と表される。
【0080】
ステップS611において、k+1とkmaxとが比較される。k+1がkmax未満であれば処理はステップS612に進み、そうでなければ処理はステップS613に進む。ステップS612において、kが1だけインクリメントされ、処理はステップS602へと戻る。ステップS613において、加算部330が、第1回,・・・,第kmax回目のステップS608,S609及びS610を通じて生成されたレベル1,・・・,kmaxの合成高周波画像(HFC(1,i,j),・・・,HFC(kmax,i,j))を、第kmax回目のステップS603において生成された注目フレーム10のレベルkmaxの低周波成分12−kmax(LF(m(=0),kmax,i,j))に加算して出力画像62を生成し、処理は終了する。
【0081】
kmax=2、m=0,−1とした場合の本実施形態に係る画像処理装置の動作例が図8に描かれている。尚、図8において、LF(m,k,i,j)、HF(m,k,i,j)、MK(m,k,i,j)及びHFC(k,i,j)は、LF(m,k)、HF(m,k)、MK(m,k)及びHFC(k)と簡略化して表現されている。
【0082】
以上説明したように、第3の実施形態に係る画像処理装置は、注目フレーム及び参照フレームを3以上のサブバンド成分に分解することを許容する。従って、この画像処理装置によれば、所望の周波数成分をいずれかのレベルの高周波成分へと分類し、ノイズ低減処理の対象に加えることができる。即ち、この画像処理装置によれば、想定されるノイズ成分の周波数特性にマッチしたノイズ低減処理が可能である。
【0083】
(第4の実施形態)
第4の実施形態に係る画像処理装置は、図9に例示されるように、注目フレーム及び2枚以上の参照フレームを3以上のサブバンド成分に分解してノイズ低減処理を行う。即ち、第4の実施形態は、第2の実施形態及び第3の実施形態の組み合わせである。尚、説明の簡単化のために、図9において、2枚の参照フレームを利用する場合が想定されているが、本実施形態は3枚以上の参照フレームを利用する場合にも適用できる。
【0084】
(第5の実施形態)
前述の第1、第2、第3及び第4の実施形態に係る画像処理装置は、マスク画像の濃度値と閾値との比較に基づいて参照フレームの高周波成分の平均化有効/平均化無効を切り替える。第5の実施形態に係る画像処理装置は、各参照フレームの高周波成分について平均化有効/平均化無効を設定する代わりにマスク画像の濃度値によって決まる多値の重みを与える。例えば、各参照フレームの高周波成分に関する重みは、関数またはテーブルを利用して導出できる。
【0085】
図14は、参照フレームの高周波成分(=HF(m,k,i,j))に関する重み(=α(m,k,i,j))を決定するためのシグモイド関数を例示する。図14のシグモイド関数によれば、マスク画像の濃度値(=MK(m,k,i,j))の増大に伴って重みは1.0から0.0まで連続的に減少する。図14のシグモイド関数は、詳細には、下記の数式(9)においてTh(k)=10、β=8を設定した場合に相当する。
【数9】

【0086】
数式(9)において、Th(k)はマスク画像の濃度値(=MK(m,k,i,j))に対する閾値を表す。尚、Th(k)は固定値であってもよいし、kの値に依存する可変値であってもよい。数式(9)のシグモイド関数の中心は、MK(m,k,i,j)=Th(k)であり、この付近でα(m,k,i,j)が急激に変化する。変化の傾斜は、βの値によって調整できる。
【0087】
尚、数式(9)は例示に過ぎず、各参照フレームの高周波成分に関する重みはこれと異なる手法で定められてよい。例えば、重みは線形関数、非線形関数(ステップ関数など)、これらの組み合わせなどによって定められてよい。但し、重みは、マスク画像の濃度値の増大に対し単調減少であることが望ましい。尚、前述の各実施形態は、本実施形態において閾値を境に1/0を切り替えるステップ関数を用いて重みを決定する場合に相当する。
【0088】
重みは、例えば下記数式(10)に示されるように利用できる。尚、数式(10)において、Mは利用される参照フレームの枚数を表す。
【数10】

【0089】
上記数式(10)によれば、各参照フレームの高周波成分の注目位置の濃度値は、注目フレームの高周波成分の注目位置の濃度値(=HF(0,k,i,j))と参照フレームの高周波成分の注目位置の濃度値(=HF(m,k,i,j))との重み付き平均(=(1−α(m,k,i,j))・HF(0,k,i,j)+α(m,k,i,j)・HF(m,k,i,j))に置き換えられる。そして、注目フレームの高周波成分の注目位置の濃度値と、M枚の参照フレームの高周波成分の注目位置の濃度値とを平均化することによって、合成高周波画像の注目位置の濃度値(=HFC(k,i,j))が導出される。
【0090】
或いは、重みは、例えば下記数式(11)に示されるように利用されてもよい。
【数11】

【0091】
数式(11)によれば、注目フレームの高周波成分の注目位置の濃度値(=HF(0,k,i,j)に重み(=1)が与えられ、各参照フレームの高周波成分の注目位置の濃度値(=HF(m,k,i,j))に重み(=α(m,k,i,j))が与えられる。そして、注目フレーム及び各参照フレームの高周波成分を重み付き平均することによって、合成高周波画像の注目位置の濃度値(=HFC(k,i,j))が導出される。
【0092】
以上説明したように、第5の実施形態に係る画像処理装置は、参照フレームの高周波成分に2値(即ち、1/0)ではなく多値の重みを与えて平均化に利用する。従って、この画像処理装置によれば、マスク画像の濃度値が前述の第1、第2、第3及び第4の実施形態における閾値に近い場合に、対応する参照フレームの高周波成分の濃度値を部分的に取り込んで平均化を行うのでノイズ成分を効果的に低減できる。
【0093】
(第6の実施形態)
第6の実施形態に係る画像処理装置は、前述の第1、第2、第3、第4及び第5の実施形態に係る画像処理装置と同一または類似のノイズ低減処理を複数回に亘って繰り返し試行する。ノイズ低減処理を複数回に亘って繰り返し試行することによって、注目フレームのノイズ成分を段階的に低減できる。
【0094】
例えば、第3の実施形態に係る画像処理装置と同一または類似のノイズ低減処理を複数回に亘って繰り返し試行する場合に本実施形態に係る画像処理装置は図15に例示されるように動作する。具体的には、前述のステップS613の後に、ノイズ低減処理は直ちには終了せずにステップS914へと進む。
【0095】
ステップS914において、繰り返しを完了するか否かが判定される。例えば、繰り返し回数(=tmax≧2)が予め固定されている場合には、ノイズ低減処理の試行回数(=t)が係る繰り返し回数(=tmax)に達したか否かが判定される。或いは、ノイズ成分を評価することによって、ノイズ成分が十分に低減したか否かが判定されてもよい。繰り返しを完了する場合には処理は終了し、そうでなければ処理はステップS915へと進む。
【0096】
ステップS915において、注目フレームはステップS613において生成された出力画像に置き換えられることによって更新される。即ち、第t(<tmax)回目のステップS613において生成された出力画像は、第t+1回目のノイズ低減処理における注目フレームとして利用される。更に、ステップS915において、種々のパラメータが更新されてもよい。具体的には、利用される参照フレームの総数、利用される参照フレーム、閾値、移動平均が計算される局所領域のサイズなどが更新可能である。ステップS915の後に、処理はステップS601に戻る。
【0097】
以上説明したように、第6の実施形態に係る画像処理装置は、複数回に亘ってノイズ低減処理が試行されることを許容する。従って、この画像処理装置によれば、第1回目のノイズ低減処理によってノイズ成分が十分に低減されなかったとしても、第2回目以降のノイズ低減処理によってノイズ成分を段階的に低減できる。
【0098】
(第7の実施形態)
第7の実施形態に係る外観検査システムは、図12に示されるように、画像処理装置100、画像検査装置700、カメラ710及びステージ720を含む。
カメラ710は、例えばCCD(Charge−Coupled Device)、CMOS(Complementary Metal Oxide Semiconductor)などの固体撮像素子を用いたデジタルカメラである。カメラ710は、後述するステージ720の上方から、ステージ720の上面を電子撮影する。カメラ710は、撮像素子によって得られた画素情報をマトリックス状(格子状)に配列して映像化した画像データを生成し、後段の画像処理装置100に出力する。
【0099】
ステージ720は、外観検査の対象となる被測定物OJ(例えば、液晶パネル、集積回路などの電子部品)を載置するためのテーブル状の平面を有するステージである。被測定物OJは、ステージ720においてカメラ710によって撮影される範囲に載置される。被測定物OJがステージ720上で静止した状態で、カメラ710による撮影が行われる。
【0100】
画像処理装置100は、カメラ710によって得られた画像データに対して、第1、第2、第3、第4、第5または第6の実施形態と同様のノイズ低減処理を施す。例えば、画像処理装置100は図1、図3または図4の画像処理装置と同一または類似の構成を備える。即ち、画像処理装置100は、カメラ710によって撮影された2枚分(或いは3枚以上)の画像データを注目フレーム10、参照フレーム20(、参照フレーム30)としてそれぞれ取り込み、画像処理を行って出力画像60、出力画像61または出力画像62を得る。画像処理装置100は、出力画像60、出力画像61または出力画像62を画像検査装置700に供給する。
【0101】
画像検査装置700は、画像処理装置100によってノイズ低減された画像を検査画像として入力する。画像検査装置700は、検査画像の画像解析を行う。画像検査装置700は、係る画像解析の結果、被測定物OJの異常(例えば、被測定物OJの欠陥、被測定物OJに付着した異物など)を検出する。
【0102】
以上説明したように、第7の実施形態に係る外観検査システムは、第1、第2、第3、第4、第5または第6の実施形態に係る画像処理装置と同様のノイズ処理を行って検査画像を得る。従って、本実施形態に係る外観検査システムによれば、注目フレームの高周波成分が維持され、かつ、ノイズ成分が低減された検査画像を利用できるので、高精度な検査が可能となる。
【0103】
(第8の実施形態)
第8の実施形態に係るX線検査システムは、図13に示されるように、画像処理装置100、画像検査装置800、X線源810、カーボンステージ820及びX線イメージセンサ830を含む。
【0104】
カーボンステージ820は、X線検査の対象となる被測定物OJを載置するためのテーブル状の平面を有するステージである。被測定物OJは、カーボンステージ820においてX線源810によってX線が照射される範囲に載置される。被測定物OJがカーボンステージ820上で静止した状態で、X線源810及びX線イメージセンサ830によるX線撮影が行われる。
【0105】
X線源810は、カーボンステージ820に載置された被測定物OJに対してX線を照射する。X線イメージセンサ830は、X線源810によって照射されて被測定物OJを透過したX線を検出し、画像データを生成する。X線イメージセンサ830は、画像データを後段の画像処理装置100に出力する。
【0106】
画像処理装置100は、X線イメージセンサ830によって得られた画像データに対して、第1、第2、第3、第4、第5または第6の実施形態と同様のノイズ低減処理を施す。例えば、画像処理装置100は図1、図3または図4の画像処理装置と同一または類似の構成を備える。即ち、画像処理装置100は、X線イメージセンサ830によって撮影された2枚(或いは、3枚以上)の画像データを注目フレーム10、参照フレーム20(、参照フレーム30)としてそれぞれ取り込み、画像処理を行って出力画像60、出力画像61または出力画像62を得る。画像処理装置100は、出力画像60、出力画像61または出力画像62を画像検査装置800に供給する。
【0107】
画像検査装置800は、画像処理装置100によってノイズ低減された画像を検査画像として入力する。画像検査装置800は、検査画像の画像解析を行う。画像検査装置800は、係る画像解析の結果、被測定物OJの異常を検出する。
【0108】
以上説明したように、第8の実施形態に係るX線検査システムは、第1、第2、第3、第4、第5または第6の実施形態に係る画像処理装置と同様のノイズ処理を行って検査画像を得る。従って、本実施形態に係るX線検査システムによれば、注目フレームの高周波成分が維持され、かつ、ノイズ成分が低減された検査画像を利用できるので、高精度な検査が可能となる。
【0109】
尚、本実施形態に係るX線検査システムを医療診断などのために適用し、人間(例えば医師)が検査画像の解析を行う場合も考えられる。係る場合には、画像検査装置800は不要である。人間が検査画像の解析を行う場合にも、高周波成分が維持され、かつ、ノイズ成分が低減された検査画像を利用できるので、高精度な検査が可能となることは明らかである。
【0110】
(第9の実施形態)
前述の第1、第2、第3、第4、第5または第6の実施形態に係る画像処理装置は、X線CTシステム、監視カメラシステム、超音波検査システムなどの種々のシステムにおいて撮影画像にノイズ低減処理を適用してもよい。尚、X線CTシステムに各実施形態に係る画像処理装置を適用する場合には、例えば図16に示されるように、撮影された複数の断面画像の各々をフレームとみなせばよい。また、フレームを識別するためのインデックスは、例えば各断面画像の撮影位置に基づいて定めればよい。
【0111】
上記各実施形態の処理は、汎用のコンピュータを基本ハードウェアとして用いることで実現可能である。上記各実施形態の処理を実現するプログラムは、コンピュータで読み取り可能な記憶媒体に格納して提供されてもよい。プログラムは、インストール可能な形式のファイルまたは実行可能な形式のファイルとして記憶媒体に記憶される。記憶媒体としては、磁気ディスク、光ディスク(CD−ROM、CD−R、DVD等)、光磁気ディスク(MO等)、半導体メモリなどである。記憶媒体は、プログラムを記憶でき、かつ、コンピュータが読み取り可能であれば、何れであってもよい。また、上記各実施形態の処理を実現するプログラムを、インターネットなどのネットワークに接続されたコンピュータ(サーバ)上に格納し、ネットワーク経由でコンピュータ(クライアント)にダウンロードさせてもよい。
【0112】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0113】
10・・・注目フレーム,11,21,31・・・高周波成分,12,22・・・低周波成分,20,30・・・参照フレーム,41,42・・・マスク画像,50,51・・・合成高周波画像,60,61,62・・・出力画像,71,72・・・微分画像,73・・・差分画像,100・・・画像処理装置,101,102,203,301,302・・・サブバンド分解部,110,210,310・・・マスク画像生成部,111,112・・・微分部,113・・・減算部,114・・・移動平均計算部,115・・・絶対値化部,120,220,320・・・高周波画像合成部,130,230,330・・・加算部,700,800・・・画像検査装置,710・・・カメラ,720,ステージ,810・・・X線源,820・・・カーボンステージ,830・・・X線イメージセンサ

【特許請求の範囲】
【請求項1】
注目フレームを第1の低周波成分及び第1の高周波成分に分解することと、
第1の参照フレームを第2の低周波成分及び第2の高周波成分に分解することと、
前記注目フレーム内の濃度値変化と前記第1の参照フレーム内の濃度値変化との間の差分の大きさを示す第1のマスク画像を生成することと、
前記第1のマスク画像内の各濃度値を閾値と比較し、前記第1のマスク画像の注目位置の濃度値が前記閾値以下であれば前記第2の高周波成分の前記注目位置の画素を平均化有効に設定し、前記第1のマスク画像の前記注目位置の濃度値が前記閾値よりも大きければ前記第2の高周波成分の前記注目位置の画素を平均化無効に設定し、前記第2の高周波成分内の各画素の平均化有効/平均化無効の設定に従って前記第1の高周波成分及び前記第2の高周波成分を合成して合成高周波画像を生成することと、
前記合成高周波画像を前記第1の低周波成分に加算し、出力画像を得ることと
を具備する画像処理方法。
【請求項2】
前記注目フレーム内の濃度値分布を微分して第1の微分画像を生成することと、
前記第1の参照フレーム内の濃度値分布を微分して第2の微分画像を生成することと、
前記第2の微分画像を前記第1の微分画像から減算して差分画像を生成することと、
前記差分画像の移動平均を計算して移動平均画像を生成することと、
前記移動平均画像を絶対値化して前記第1のマスク画像を生成することと
を更に具備する、請求項1の画像処理方法。
【請求項3】
第2の参照フレームを第3の低周波成分及び第3の高周波成分に分解することと、
前記注目フレーム内の濃度値変化と前記第2の参照フレーム内の濃度値変化との間の差分の大きさを示す第2のマスク画像を生成することと、
前記第2のマスク画像内の各濃度値を前記閾値と比較し、前記第2のマスク画像の前記注目位置の濃度値が前記閾値以下であれば前記第3の高周波成分の前記注目位置の画素を平均化有効に設定し、前記第2のマスク画像の前記注目位置の濃度値が前記閾値よりも大きければ前記第3の高周波成分の前記注目位置の画素を平均化無効に設定し、前記第2の高周波成分内の各画素の平均化有効/平均化無効の設定と前記第3の高周波成分内の各画素の平均化有効/平均化無効の設定とに従って前記第1の高周波成分、前記第2の高周波成分及び前記第3の高周波成分を合成して前記合成高周波画像を生成することと
を更に具備する、請求項1の画像処理方法。
【請求項4】
注目フレームをレベル1の第1の低周波成分及び第1の高周波成分に分解することと、
レベルk(k=1,・・・,kmax−1)の第1の低周波成分をレベルk+1の第1の低周波成分及び第1の高周波成分に分解することと、
第1の参照フレームをレベル1の第2の低周波成分及び第2の高周波成分に分解することと、
レベルkの第2の低周波成分をレベルk+1の第2の低周波成分及び第2の高周波成分に分解することと、
前記注目フレーム内の濃度値変化と前記第1の参照フレーム内の濃度値変化との間の差分の大きさを示すレベル1の第1のマスク画像を生成することと、
前記レベルkの第1の低周波成分内の濃度値変化と前記レベルkの第2の低周波成分内の濃度値変化との間の差分の大きさを示すレベルk+1の第1のマスク画像を生成することと、
前記レベル1の第1のマスク画像内の各濃度値を閾値と比較し、前記レベル1の第1のマスク画像の注目位置の濃度値が前記閾値以下であれば前記レベル1の第2の高周波成分の前記注目位置の画素を平均化有効に設定し、前記レベル1の第1のマスク画像の前記注目位置の濃度値が前記閾値よりも大きければ前記レベル1の第2の高周波成分の前記注目位置の画素を平均化無効に設定し、前記レベル1の第2の高周波成分内の各画素の平均化有効/平均化無効の設定に従って前記レベル1の第1の高周波成分及び前記レベル1の第2の高周波成分を合成してレベル1の合成高周波画像を生成することと、
前記レベルk+1の第1のマスク画像内の各濃度値を前記閾値と比較し、前記レベルk+1の第1のマスク画像の前記注目位置の濃度値が前記閾値以下であれば前記レベルk+1の第2の高周波成分の前記注目位置の画素を平均化有効に設定し、前記レベルk+1の第1のマスク画像の前記注目位置の濃度値が前記閾値よりも大きければ前記レベルk+1の第2の高周波成分の前記注目位置の画素を平均化無効に設定し、前記レベルk+1の第2の高周波成分内の各画素の平均化有効/平均化無効の設定に従って前記レベルk+1の第1の高周波成分及び前記レベルk+1の第2の高周波成分を合成してレベルk+1の合成高周波画像を生成することと、
レベルkmaxの第1の低周波成分と、前記レベル1の合成高周波画像と、前記レベルk+1の合成高周波画像とを加算し、出力画像を得ることと
を具備する画像処理方法。
【請求項5】
第2の参照フレームをレベル1の第3の低周波成分及び第3の高周波成分に分解することと、
レベルkの第3の低周波成分をレベルk+1の第3の低周波成分及び第3の高周波成分に分解することと、
前記注目フレーム内の濃度値変化と前記第2の参照フレーム内の濃度値変化との間の差分の大きさを示すレベル1の第2のマスク画像を生成することと、
前記レベルkの第1の低周波成分内の濃度値変化と前記レベルkの第3の低周波成分内の濃度値変化との間の差分の大きさを示すレベルk+1の第2のマスク画像を生成することと、
前記レベル1の第2のマスク画像内の各濃度値を前記閾値と比較し、前記レベル1の第2のマスク画像の注目位置の濃度値が前記閾値以下であれば前記レベル1の第3の高周波成分の前記注目位置の画素を平均化有効に設定し、前記レベル1の第2のマスク画像の前記注目位置の濃度値が前記閾値よりも大きければ前記レベル1の第3の高周波成分の前記注目位置の画素を平均化無効に設定し、前記レベル1の第2の高周波成分内の各画素の平均化有効/平均化無効の設定と前記レベル1の第3の高周波成分内の各画素の平均化有効/平均化無効の設定とに従って前記レベル1の第1の高周波成分、前記レベル1の第2の高周波成分及び前記レベル1の第3の高周波成分を合成して前記レベル1の合成高周波画像を生成することと、
前記レベルk+1の第2のマスク画像内の各濃度値を前記閾値と比較し、前記レベルk+1の第2のマスク画像の前記注目位置の濃度値が前記閾値以下であれば前記レベルk+1の第3の高周波成分の前記注目位置の画素を平均化有効に設定し、前記レベルk+1の第2のマスク画像の前記注目位置の濃度値が前記閾値よりも大きければ前記レベルk+1の第3の高周波成分の前記注目位置の画素を平均化無効に設定し、前記レベルk+1の第2の高周波成分内の各画素の平均化有効/平均化無効の設定と前記レベルk+1の第3の高周波成分内の各画素の平均化有効/平均化無効の設定とに従って前記レベルk+1の第1の高周波成分、前記レベルk+1の第2の高周波成分及び前記レベルk+1の第3の高周波成分を合成して前記レベルk+1の合成高周波画像を生成することと
を更に具備する、請求項4の画像処理方法。
【請求項6】
注目フレームを第1の低周波成分及び第1の高周波成分に分解することと、
参照フレームを第2の低周波成分及び第2の高周波成分に分解することと、
前記注目フレーム内の濃度値変化と前記参照フレーム内の濃度値変化との間の差分の大きさを示すマスク画像を生成することと、
前記マスク画像の注目位置の濃度値が大きくなるほど前記第2の高周波成分の前記注目位置の濃度値に与えられる重みを相対的に小さくして前記第1の高周波成分及び前記第2の高周波成分の重み付き平均を計算し、合成高周波画像を生成することと、
前記合成高周波画像を前記第1の低周波成分に加算し、出力画像を得ることと
を具備する画像処理方法。
【請求項7】
前記注目フレームを前記出力画像によって置き換えることと、
前記画像処理方法を更に1回以上繰り返し、最終的な出力画像を得ることと
を更に具備する、請求項1の画像処理方法。
【請求項8】
被測定物を撮影して得られた注目フレームを第1の低周波成分及び第1の高周波成分に分解する第1の分解部と
前記被測定物を撮影して得られた参照フレームを第2の低周波成分及び第2の高周波成分に分解する第2の分解部と、
前記注目フレーム内の濃度値変化と前記参照フレーム内の濃度値変化との間の差分の大きさを示すマスク画像を生成する生成部と、
前記マスク画像内の各濃度値を閾値と比較し、前記マスク画像の注目位置の濃度値が前記閾値以下であれば前記第2の高周波成分の前記注目位置の画素を平均化有効に設定し、前記マスク画像の前記注目位置の濃度値が前記閾値よりも大きければ前記第2の高周波成分の前記注目位置の画素を平均化無効に設定し、前記第2の高周波成分内の各画素の平均化有効/平均化無効の設定に従って前記第1の高周波成分及び前記第2の高周波成分を合成して合成高周波画像を生成する合成部と、
前記合成高周波画像を前記第1の低周波成分に加算し、前記被非測定物の外観検査のための出力画像を得る加算部と
を具備する画像処理装置。
【請求項9】
被測定物をX線撮影して得られた注目フレームを第1の低周波成分及び第1の高周波成分に分解する第1の分解部と
前記被測定物をX線撮影して得られた参照フレームを第2の低周波成分及び第2の高周波成分に分解する第2の分解部と、
前記注目フレーム内の濃度値変化と前記参照フレーム内の濃度値変化との間の差分の大きさを示すマスク画像を生成する生成部と、
前記マスク画像内の各濃度値を閾値と比較し、前記マスク画像の注目位置の濃度値が前記閾値以下であれば前記第2の高周波成分の前記注目位置の画素を平均化有効に設定し、前記マスク画像の前記注目位置の濃度値が前記閾値よりも大きければ前記第2の高周波成分の前記注目位置の画素を平均化無効に設定し、前記第2の高周波成分内の各画素の平均化有効/平均化無効の設定に従って前記第1の高周波成分及び前記第2の高周波成分を合成して合成高周波画像を生成する合成部と、
前記合成高周波画像を前記第1の低周波成分に加算し、前記被測定物のX線検査のための出力画像を得る加算部と
を具備する画像処理装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate


【公開番号】特開2013−88924(P2013−88924A)
【公開日】平成25年5月13日(2013.5.13)
【国際特許分類】
【出願番号】特願2011−227094(P2011−227094)
【出願日】平成23年10月14日(2011.10.14)
【出願人】(390010308)東芝デジタルメディアエンジニアリング株式会社 (192)
【出願人】(391017540)東芝ITコントロールシステム株式会社 (107)
【Fターム(参考)】