説明

画像処理方法及び装置

【課題】画像の高周波成分を維持しつつノイズ成分を除去する。
【解決手段】実施形態によれば、画像処理方法は、N(Nは3以上の整数)枚の入力画像の平均画像を平滑化し、平滑化画像を得ること(S203)と、N枚の入力画像から平滑化画像をそれぞれ減算し、N枚の高周波画像を得ること(S204)とを含む。画像処理方法は、N枚の高周波画像に対して因子分析を行い、N枚の高周波画像にそれぞれ対応する因子負荷量を算出すること(S205)と、因子負荷量に基づいてN枚の高周波画像を合成し、合成画像を得ること(S206)とを含む。画像処理方法は、平滑化画像と合成画像とを加算し、出力画像を得ること(S207)を含む。

【発明の詳細な説明】
【技術分野】
【0001】
実施形態は、画像のノイズ除去に関する。
【背景技術】
【0002】
電子部品などの検査を自動的に行う外観検査システムは、検査画像に含まれるノイズ成分を適切に除去(抑圧)することによって、高精度な検査が可能となる。同様に、X線検査システムもまた、検査画像に含まれるノイズ成分を適切に除去することによって、高精度な検査が可能となる。また、画像処理(例えば撮影、符号化、復号化、再生など)を行うときに、画像に含まれるノイズ成分を適切に除去することによって、様々な有利な効果(例えば、符号化効率の向上、再生画像品質の向上など)が得られる。
【0003】
通常、画像に含まれるノイズ成分は、様々なフィルタリング処理によって除去される。しかしながら、係るフィルタリング処理によって、画像に含まれるノイズ成分だけでなく高周波成分までも除去されることがある。高周波成分が除去されると、ノイズ除去による有利な効果が阻害されるおそれがある。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2010−226646号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
従って、実施形態は、画像の高周波成分を維持しつつノイズ成分を除去することを目的とする。
【課題を解決するための手段】
【0006】
実施形態によれば、画像処理方法は、N(Nは3以上の整数)枚の入力画像の平均画像を平滑化し、平滑化画像を得ることと、N枚の入力画像から平滑化画像をそれぞれ減算し、N枚の高周波画像を得ることとを含む。画像処理方法は、N枚の高周波画像に対して因子分析を行い、N枚の高周波画像にそれぞれ対応する因子負荷量を算出することと、因子負荷量に基づいてN枚の高周波画像を合成し、合成画像を得ることとを含む。画像処理方法は、平滑化画像と合成画像とを加算し、出力画像を得ることを含む。
【図面の簡単な説明】
【0007】
【図1】第1の実施形態に係る画像処理装置を例示するブロック図。
【図2】画素ベクトルの説明図。
【図3】図1の画像処理装置の動作を例示するフローチャート。
【図4】図1の画像処理装置の効果の説明図。
【図5】第2の実施形態に係る画像処理装置を例示するブロック図。
【図6】図5の画像処理装置の動作を例示するフローチャート。
【図7】第3の実施形態に係る画像処理装置を例示するブロック図。
【図8】図7の画像処理装置の動作を例示するフローチャート。
【図9】第4の実施形態に係る外観検査システムを例示するブロック図。
【図10】第5の実施形態に係るX線検査システムを例示するブロック図。
【発明を実施するための形態】
【0008】
以下、図面を参照して実施形態について説明する。尚、各実施形態において、説明済みの要素と同一または類似の要素には同一または類似の符号を付し、重複する説明を基本的に省略する。
【0009】
(第1の実施形態)
第1の実施形態に係る画像処理装置は、図1に示されるように、平均化部101、平滑化部102、減算部103,104,105、因子負荷量算出部106、画像合成部107及び加算部108を含む。
【0010】
図1の画像処理装置は、外部から入力画像11,12,13を取得する。入力画像11,12,13は、典型的には同一の被写体を連続撮影した3枚の画像であるが、これに限られない。また、各実施形態に係る画像処理装置は、4枚以上の入力画像を処理してもよい。
【0011】
平均化部101は、入力画像11,12,13を取得する。平均化部101は、入力画像11,12,13を平均化し、平均画像14を得る。例えば、平均化部101は、入力画像11,12,13の算術平均を算出することにより、平均画像14を得る。平均化部101は、平均画像14を平滑化部102へ出力する。
【0012】
平滑化部102は、平均化部101から平均画像14を入力する。平滑化部102は、平均画像14に対して平滑化処理(例えば、公知の平滑化オペレータを用いた平滑化処理)を行い、平滑化画像15を得る。平滑化画像15において、入力画像11,12,13の高周波成分及びノイズ成分は抑圧され、入力画像11,12,13の低周波成分は維持されている。平滑化部102は、平滑化画像15を減算部103,104,105及び加算部108へそれぞれ出力する。
【0013】
減算部103は、入力画像11を取得し、平滑化部102から平滑化画像15を入力する。減算部103は、入力画像11から平滑化画像15を減算し、高周波画像16を得る。高周波画像16において、入力画像11の高周波成分及びノイズ成分は維持され、入力画像11の低周波成分は抑圧されている。減算部103は、高周波画像16を因子負荷量算出部106及び画像合成部107へそれぞれ出力する。
【0014】
減算部104は、入力画像12を取得し、平滑化部102から平滑化画像15を入力する。減算部104は、入力画像12から平滑化画像15を減算し、高周波画像17を得る。高周波画像17において、入力画像12の高周波成分及びノイズ成分は維持され、入力画像12の低周波成分は抑圧されている。減算部104は、高周波画像17を因子負荷量算出部106及び画像合成部107へそれぞれ出力する。
【0015】
減算部105は、入力画像13を取得し、平滑化部102から平滑化画像15を入力する。減算部105は、入力画像13から平滑化画像15を減算し、高周波画像18を得る。高周波画像18において、入力画像13の高周波成分及びノイズ成分は維持され、入力画像13の低周波成分は抑圧されている。減算部105は、高周波画像18を因子負荷量算出部106及び画像合成部107へそれぞれ出力する。
【0016】
因子負荷量算出部106は、後述されるように、高周波画像16,17,18の各々に対応する因子負荷量19を算出する。因子負荷量算出部106は、因子負荷量19を画像合成部107へ出力する。因子負荷量19は、高周波画像16,17,18の各画素の座標に対して算出される。具体的には、因子負荷量算出部106は、高周波画像16,17,18の各々の局所領域に含まれる複数の画素の濃度値(例えば、輝度値、色差値、色相値)を用いて画素ベクトルを作成する。局所領域は注目座標の画素を少なくとも含む。
【0017】
本実施形態の説明において、局所領域は、図2に示されるように、注目座標の画素とこの注目座標の左右で(即ち、水平方向上で)隣接する各2画素とからなる計5画素の画素列を指すものとする。但し、各実施形態を一般化すると、局所領域の形状及びサイズは特に限定されない。即ち、局所領域は、任意のサイズの水平方向、垂直方向または他の方向の画素列であってもよいし、注目座標を含む任意のサイズの矩形状または他の形状の画素領域(例えば、注目座標を中心とする3×3画素)であってもよい。画素ベクトルの定義(即ち、画素ベクトルの各要素を決定付ける局所領域の定義)次第で、注目座標に対して算出される因子負荷量は異なる。
【0018】
因子負荷量算出部106は、例えば、高周波画像16,17,18の局所領域に含まれる複数の画素の濃度値を取り出して、それぞれ標準化を行う。因子負荷量算出部106は、標準化された濃度値を所定の順序で配列して画素ベクトルz,z,zをそれぞれ作成する。ここで標準化とは、局所領域内において各画素の濃度値から濃度平均値を減算してから標準偏差で除する演算を意味する。図2の例に関して、因子負荷量算出部106は、下記の数式(1)に示される画素ベクトルを作成する。
【数1】

【0019】
因子分析の手法によれば、画素ベクトルz,z,zについて下記の数式(2)で表されるモデルを仮定することができる。尚、以降の説明においてXは、行列またはベクトルXの転置を表す。
【数2】

【0020】
数式(2)において、a,a,aは、画素ベクトルz,z,zの因子負荷量をそれぞれ表す。Fは、画素ベクトルz,z,zの各要素に対応する共通因子が配列された共通因子ベクトルを表す。e,e,eは、画素ベクトルz,z,zの各要素に対応する独自因子(ノイズ成分に相当する)が配列された独自因子ベクトルを表す。前述の通り、画素ベクトルz,z,zは標準化されているので、例えば画素ベクトルz,zの相関係数r12に関して下記の数式(3)が成立する。
【数3】

【0021】
ここで、異なる画素ベクトルのノイズ成分(即ち、独自因子ベクトル)間に相関が無く、共通因子ベクトルと各画素ベクトルのノイズ成分との間にも相関が無いと仮定することができる。係る仮定によれば、数式(3)に関して下記の数式(4)が成立する。更に、共通因子ベクトルは標準化されているので、数式(3)に関して下記の数式(5)も成立する。
【数4】

【0022】
【数5】

【0023】
上記解析に基づいて、画素ベクトルz,z間の相関係数rijに関して下記の数式(6)が成立する。
【数6】

【0024】
また、独自因子ベクトルe,e,eの分散は、下記の数式(7)で表現できる。
【数7】

【0025】
画素ベクトルz,z,zは標準化されているので、いずれも分散は1である。即ち、下記の数式(8)が成立する。
【数8】

【0026】
上記解析に基づいて、画素ベクトルz,z,z間の相関行列Rに関して下記の数式(9)が成立する。尚、数式(9)の右辺は相関行列Rを表す。
【数9】

【0027】
数式(9)によれば、相関行列Rに基づいて、3つの未知数(即ち、因子負荷量a,a,a)に対して3つの方程式からなる連立方程式を導出できる。因子負荷量算出部106は、この連立方程式を解くことにより、下記の数式(10)に示されるように、相関係数r12,r13,r23に基づいて因子負荷量a,a,aを直接的に計算することが可能である。
【数10】

【0028】
画像合成部107は、因子負荷量算出部106からの因子負荷量19に応じて高周波画像16,17,18を合成し、合成画像20を得る。画像合成部107は、合成画像20を加算部108へ出力する。例えば、画像合成部107は、数式(11)に示されるように、高周波画像16,17,18の各画素の濃度値を対応する因子負荷量19の二乗値によって重み付けし、重み付けされた濃度値の算術平均を算出する。
【数11】

【0029】
数式(11)において、Yijは合成画像20の座標(i,j)の濃度値を表し、X1ij,X2ij,X3ijは高周波画像16,17,18の座標(i,j)の濃度値を表す。
【0030】
加算部108は、平滑化部102から平滑化画像15を入力し、画像合成部107から合成画像20を入力する。加算部108は、平滑化画像15及び合成画像20を加算し、出力画像21を生成する。出力画像21において、入力画像11,12,13の低周波成分及び高周波成分は維持され、ノイズ成分は除去されている。
【0031】
以下、図3を用いて図1の画像処理装置の動作例を説明する。図3の処理が開始すると、図1の画像処理装置は、3枚の入力画像11,12,13を取り込む(ステップS201)。平均化部101は、ステップS201において取り込まれた3枚の入力画像11,12,13を平均化する(ステップS202)。
【0032】
平滑化部102は、ステップS202において得られた平均画像14に対して平滑化処理を行う(ステップS203)。減算部103,104,105は、3枚の入力画像11,12,13からステップS203において得られた平滑化画像15をそれぞれ減算する(ステップS204)。
【0033】
因子負荷量算出部106は、ステップS204において得られた3枚の高周波画像16,17,18に因子分析を行って、対応する因子負荷量19をそれぞれ算出する(ステップS205)。
【0034】
画像合成部107は、ステップS205において算出された因子負荷量19に基づいて、3枚の高周波画像16,17,18を合成する(ステップS206)。加算部108は、ステップS206において得られた合成画像20と、平滑化画像15とを加算し、出力画像21を生成する(ステップS207)。図3の処理はステップS207で終了する。
【0035】
図1の画像処理装置は、3枚の高周波画像16,17,18に対応する因子負荷量19をそれぞれ算出し、係る因子負荷量19の二乗値によって当該3枚の高周波画像16,17,18を重み付き合成する。従って、本実施形態に係る画像処理装置によれば、入力画像に含まれる高周波成分及びノイズ成分を分離して、高周波成分を維持しつつノイズ成分を除去することが可能である。図4は、図1の画像処理装置の効果を示している。ノイズ成分を含んだ入力画像について、平均化、平滑化及び本実施形態に係る画像処理をそれぞれ行うとする。平均化によって得られる画像は、ノイズ成分が十分に抑圧されない。平滑化によって得られる画像は、入力画像の高周波成分の減衰が目立つ。一方、本実施形態に係る画像処理によって得られる画像は、ノイズ成分が十分に抑圧されると共に入力画像の高周波成分が維持される。
【0036】
尚、上記説明では簡単化のために入力画像を3枚と仮定しているが、入力画像は4枚以上であってもよい。但し、入力画像が4枚以上になると、相関行列Rに基づく連立方程式を構成する方程式の数(相関係数の数)が未知数の数(因子負荷量の数=入力画像の数)を超えるので、解が存在しない。故に、因子負荷量算出部106は、前述と異なる手法(即ち、一般的な因子分析の手法)で因子負荷量を算出する必要がある。尚、入力画像が3枚であっても、因子負荷量算出部106は一般的な因子分析の手法によって因子負荷量を算出してもよい。以下、一般的な因子分析の手法による因子負荷量の算出について説明する。簡単化のためにこの説明は、入力画像を4枚と仮定しているが、5枚以上であっても同様に適用可能である。
【0037】
因子負荷量算出部106は、4枚の入力画像について4つの画素ベクトルz,z,z,zを作成する。下記の数式(12)に示されるように、画素ベクトルz,z,z,zについて上記の数式(2)と同様のモデルを仮定することができる。
【数12】

【0038】
また、画素ベクトルz,z,z,z間の相関行列Rに関して下記の数式(13)が成立する。尚、数式(13)の右辺は相関行列Rを表す。
【数13】

【0039】
相関行列Rの対角成分を変形すると、因子決定行列Rを定めることができる。尚、任意の整数iについて、因子決定行列Rの対角成分は共通性(1−d)と呼ばれる。因子決定行列Rに関して下記の数式(14)が成立する。数式(14)の右辺は因子決定行列Rを表す。
【数14】

【0040】
更に、因子負荷量a,a,a,aが配列された因子負荷ベクトルAを下記の数式(15)で表すことができる。
【数15】

【0041】
即ち、数式(14)及び数式(15)によれば、下記の数式(16)が成立する。
【数16】

【0042】
この因子負荷ベクトルA(即ち、因子負荷量a,a,a,a)を推定するために、以下に述べられるように、例えば主因子分析法を用いることができる。尚、因子負荷量算出部106は、主因子分析法に代えて最小二乗法または他の手法によって因子負荷量を算出してもよい。主因子分析法に関して、下記の数式(17)に示されるように、因子決定行列Rは、固有値λ及び固有ベクトルwを用いて展開することができる。
【数17】

【0043】
下記の数式(18)に示されるように、上記の数式(17)のうち右辺第1項によって因子決定行列Rを近似することができる。
【数18】

【0044】
即ち、下記の数式(19)に示されるように、因子決定行列Rの固有値λ及び固有ベクトルwを用いて因子負荷ベクトルAを推定することができる。
【数19】

【0045】
但し、前述の共通性、即ち、因子決定行列Rの対角成分は未知である。そこで、共通性を推定するために、以下に述べられるように、例えばSMC(Squared Multiple Correlation)法、RMAX法などが用いられる。
【0046】
SMC法は、注目している変数を目的変数、他の変数を説明変数としたときの重相関係数の2乗(決定係数または寄与率)を共通性として扱う手法である。即ち、SMC法は、下記の数式(20)によって共通性を推定する手法である。
【数20】

【0047】
数式(20)において、Rijは相関行列Rの逆行列の第i行第j列の成分を表し、Rijは因子決定行列Rの第i行第j列の成分を表す。
RMAX法は、因子決定行列Rの各対角成分Riiに関して、当該対角成分Riiと同一列(即ち、第i列)の成分のうちで最大の絶対値を与えるものを当該対角成分Riiとして扱う手法である。
【0048】
尚、SMC法及びRMAX法は共通性の近似値を与えるに過ぎないので、結果的に推定される因子負荷量は、数式(10)によって与えられる因子負荷量と異なることがある。係る場合には、推定された因子負荷量を因子決定行列Rの対角成分として扱い、数式(10)によって与えられる因子負荷量と一致するまで同様の計算を繰り返せばよい。
【0049】
以上説明したように、第1の実施形態に係る画像処理装置は、3枚以上の入力画像から低周波成分を除去した3枚以上の高周波画像に対応する因子負荷量をそれぞれ算出し、係る因子負荷量に基づいて当該3枚以上の高周波画像を重み付き合成する。従って、本実施形態に係る画像処理装置によれば、入力画像に含まれる高周波成分及びノイズ成分を分離して、高周波成分を維持しつつノイズ成分を除去することが可能である。
【0050】
(第2の実施形態)
第2の実施形態に係る画像処理装置は、図5に示されるように、平均化部101、平滑化部102、減算部103,104,105、因子負荷量算出部106、因子得点推定部111及び加算部112を含む。
【0051】
因子得点推定部111は、因子負荷量算出部106から因子負荷量19を入力し、当該因子負荷量19に基づいて因子得点を推定する。因子得点推定部111は、因子得点に対応する推定画像23を生成する。因子得点推定部111は、推定画像23を加算部112へ出力する。
【0052】
具体的には、因子得点推定部111は、以下の手法により因子得点を推定する。尚、以降の説明において、画素ベクトルは上記の数式(1)によって定義されるものであるとする。
【0053】
まず、共通因子ベクトルFについて下記の数式(21)を導出することができる。尚、数式(21)の導出過程は、例えば参考文献(田中豊、脇本和晶著、「多変量統計解析法」、現代数学社)から読み取ることができる。
【数21】

【0054】
例えば、下記の数式(22)に示されるように、共通因子ベクトルFにおいて、画素ベクトルz,z,zの各要素に対応する共通因子(即ち、因子得点)f,f,f,f,fが配列される。
【数22】

【0055】
上記の数式(22)に示される5つの要素のうち、fは注目座標の画素の濃度値に対応する因子得点を表す。下記の数式(23)に示されるように、上記の数式(21)における画素行列Zは、画素ベクトルz,z,zを用いて表すことができる。
【数23】

【0056】
因子得点推定部111は、上記の数式(22)の右辺各項に因子負荷量算出部106によって算出されたパラメータ(例えば、因子負荷量19)を代入することにより、注目座標の画素の濃度値に対応する因子得点(本例では、f)を算出できる。尚、因子得点fは標準化されているので、因子得点推定部111は適切な逆処理を行って因子得点を推定画像23における注目座標の画素の濃度値に変換する。ここで、逆処理は、下記の数式(24)で表すことができる。
【数24】

【0057】
上記の数式(24)において、f’は推定画像23における注目座標の画素の濃度値を表し、σ及びμは下記の数式(25)によって算出される。
【数25】

【0058】
上記の数式(25)において、μ,μ,μは画素ベクトルz,z,zを作成するための標準化において利用された平均濃度値をそれぞれ表す。また、σ,σ,σは、画素ベクトルz,z,zを作成するための標準化において利用された標準偏差をそれぞれ表す。
【0059】
加算部112は、平滑化部102から平滑化画像15を入力し、因子得点推定部111から推定画像23を入力する。加算部112は、平滑化画像15及び推定画像23を加算し、出力画像24を生成する。出力画像24において、入力画像11,12,13の低周波成分及び高周波成分は維持され、ノイズ成分は除去されている。
【0060】
以下、図6を用いて図5の画像処理装置の動作例を説明する。ステップS205に続いて処理はステップS211に進む。ステップS211において、因子得点推定部111は、ステップS205において算出された因子負荷量19に基づいて因子得点を推定し、因子得点に対応する推定画像23を生成する。加算部112は、ステップS211において生成された推定画像23と、ステップS203において得られた平滑化画像15とを加算し、出力画像24を生成する(ステップS212)。図6の処理はステップS212で終了する。
【0061】
以上説明したように、第2の実施形態に係る画像処理装置は、3枚以上の入力画像から低周波成分を除去した3枚以上の高周波画像に対応する因子負荷量をそれぞれ算出し、係る因子負荷量に基づいて因子得点を推定し、因子得点に対応する推定画像を生成する。従って、本実施形態に係る画像処理装置によれば、入力画像に含まれる高周波成分及びノイズ成分を分離して、高周波成分を維持しつつノイズ成分を除去することが可能である。
【0062】
尚、本実施形態に係るノイズ除去処理(即ち、因子得点の推定によるノイズ除去)と、第1の実施形態に係るノイズ除去処理(即ち、因子負荷量に基づく高周波画像の重み付き合成によるノイズ除去)とを選択的に適用することも想定できる。即ち、入力画像の特性、枚数などの諸条件に応じて、2種類のノイズ除去処理を切り替えてもよい。
【0063】
(第3の実施形態)
第3の実施形態に係る画像処理装置は、図7に示されるように、平均化部101、平滑化部102、減算部103,104,105、因子負荷量算出部106、画像合成部107、因子負荷量算出部121、画像合成部122、平均化部123及び加算部124を含む。尚、図7の合成画像生成部107,122の一方または両方が例えば図5の因子得点推定部111に相当する機能部に置き換えられてもよい。
【0064】
前述のように、画素ベクトルの定義(即ち、画素ベクトルの各要素を決定付ける局所領域の定義)次第で、注目座標に対して算出される因子負荷量は異なる。そこで、因子負荷量算出部121は、因子負荷量算出部106のものとは異なる定義に従う画素ベクトルを作成する。本実施形態の説明において、便宜的に、因子負荷量算出部106によって作成される画素ベクトルは第1の画素ベクトルと称され、因子負荷量算出部121によって作成される画素ベクトルは第2の画素ベクトルと称される。
【0065】
因子負荷量算出部121は、第2の画素ベクトルを作成して、高周波画像16,17,18の各々に対応する因子負荷量25を算出する。因子負荷量算出部121は、因子負荷量25を画像合成部122へ出力する。因子負荷量25は、因子負荷量19と同様に、高周波画像16,17,18の各画素の座標に対して算出される。例えば、第2の画素ベクトルに対応する局所領域は、注目座標の画素とこの注目座標の上下で(即ち、垂直方向上で)隣接する各2画素とからなる計5画素の画素列を指す。勿論、この局所領域の形状及びサイズは特に限定されない。因子負荷量算出部121は、高周波画像16,17,18の局所領域から第2の画素ベクトルを作成し、因子負荷量算出部121と同一または類似の手法で因子負荷量25を算出する。
【0066】
画像合成部122は、因子負荷量算出部121からの因子負荷量25に応じて高周波画像16,17,18を合成し、合成画像26を得る。画像合成部122は、合成画像26を平均化部123へ出力する。例えば、画像合成部122は、数式(11)と同様に、高周波画像16,17,18の各画素の濃度値を対応する因子負荷量25の二乗値によって重み付けし、重み付けされた濃度値の算術平均を算出する。
【0067】
平均化部123は、画像合成部107から合成画像20を入力し、画像合成部122から合成画像26を入力する。平均化部123は、合成画像20,26を平均化し、平均画像27を得る。平均化部123は、平均画像27を加算部124へ出力する。具体的には、平均化部123は、二乗平均平方根(RMS;Root Mean Square)、算術平均などを利用して平均画像27を生成できる。本例のように第1の画素ベクトルに対応する局所領域と第2の画素ベクトルに対応する局所領域とが略直交する場合には、好ましくは、平均化部123はRMSを利用して平均画像27を生成する。RMSを利用すれば、一方の合成画像に係る因子負荷量が小さく、かつ、他方の合成画像に係る因子負荷量が大きい場合に、当該他方の合成画像の濃度値(入力画像11,12,13の高周波成分に相当する)が平均画像27において過度に抑圧される事態を防ぎやすい。
【0068】
加算部124は、平滑化部102から平滑化画像15を入力し、平均化部123から平均画像27を入力する。加算部124は、平滑化画像15及び平均画像27を加算し、出力画像28を生成する。出力画像28において、入力画像11,12,13の低周波成分及び高周波成分は維持され、ノイズ成分は除去されている。
【0069】
以下、図8を用いて図7の画像処理装置の動作例を説明する。ステップS204に続いて処理はステップS221に進む。ステップS221において、因子負荷量算出部106は、ステップS204において得られた3枚の高周波画像16,17,18に因子分析を行って、対応する因子負荷量19(第1の因子負荷量)をそれぞれ算出する。更に、ステップS221において、因子負荷量算出部121は、3枚の高周波画像16,17,18に因子分析を行って、対応する因子負荷量25(第2の因子負荷量)をそれぞれ算出する。ステップS221に続いて処理はステップS222に進む。
【0070】
ステップS222において、画像合成部107は、ステップS221において算出された因子負荷量19に基づいて、3枚の高周波画像16,17,18を合成し、合成画像20(第1の合成画像)を得る。更に、ステップS222において、画像合成部122は、ステップS221において算出された因子負荷量25に基づいて、3枚の高周波画像16,17,18を合成し、合成画像26(第2の合成画像)を得る。
【0071】
平均化部123は、ステップS222において得られた合成画像20,26を平均化し、平均画像27(平均高周波画像)を得る(ステップS223)。加算部124は、ステップS223において得られた平均画像27と、ステップS203において得られた平滑化画像15とを加算し、出力画像28を生成する(ステップS224)。図8の処理はステップS224で終了する。
【0072】
以上説明したように、第3の実施形態に係る画像処理装置は、2種類の画素ベクトルを作成して2種類の因子負荷量を算出し、当該2種類の因子負荷量に基づく2種類の合成画像を平均化する。前述のように、画素ベクトルの定義(即ち、画素ベクトルの各要素を決定付ける局所領域の定義)次第で、注目座標に対して算出される因子負荷量は異なる。従って、本実施形態に係る画像処理装置によれば、より安定的に、入力画像に含まれる高周波成分及びノイズ成分を分離して、高周波成分を維持しつつノイズ成分を除去することが可能である。
【0073】
(第4の実施形態)
第4の実施形態に係る外観検査システムは、図9に示されるように、画像処理装置100、画像検査装置300、カメラ310及びステージ320を含む。
カメラ310は、例えばCCD(Charge−Coupled Device)、CMOS(Complementary Metal Oxide Semiconductor)などの固体撮像素子を用いたデジタルカメラである。カメラ310は、後述するステージ320の上方から、ステージ320の上面を電子撮影する。カメラ310は、撮像素子によって得られた画素情報をマトリックス状(格子状)に配列して映像化した画像データを生成し、後段の画像処理装置100に出力する。
【0074】
ステージ320は、外観検査の対象となる被測定物OJ(例えば、液晶パネル、集積回路などの電子部品)を載置するためのテーブル状の平面を有するステージである。被測定物OJは、ステージ320においてカメラ310によって撮影される範囲に載置される。被測定物OJがステージ320上で静止した状態で、カメラ310による撮影が行われる。
【0075】
画像処理装置100は、カメラ310によって得られた画像データに対して、第1、第2または第3の実施形態と同様のノイズ除去処理を施す。例えば、画像処理装置100は図1、図5または図7の画像処理装置と同一または類似の構成を備える。即ち、画像処理装置100は、カメラ310によって撮影された3枚分(或いは4枚以上)の画像データを入力画像11,12,13としてそれぞれ取り込み、画像処理を行って出力画像21、出力画像24または出力画像28を得る。画像処理装置100は、出力画像21、出力画像24または出力画像28を画像検査装置300に供給する。
【0076】
画像検査装置300は、画像処理装置100によってノイズ除去された画像を検査画像として入力する。画像検査装置300は、検査画像の画像解析を行う。画像検査装置300は、係る画像解析の結果、被測定物OJの異常(例えば、被測定物OJの欠陥、被測定物OJに付着した異物など)を検出する。
【0077】
以上説明したように、第4の実施形態に係る外観検査システムは、第1、第2または第3の実施形態に係る画像処理装置と同様のノイズ処理を行って検査画像を得る。従って、本実施形態に係る外観検査システムによれば、高周波成分が維持され、かつ、ノイズが除去された検査画像を利用できるので、高精度な検査が可能となる。
【0078】
(第5の実施形態)
第5の実施形態に係るX線検査システムは、図10に示されるように、画像処理装置100、画像検査装置400、X線源410、カーボンステージ420及びX線イメージセンサ430を含む。
【0079】
カーボンステージ420は、X線検査の対象となる被測定物OJを載置するためのテーブル状の平面を有するステージである。被測定物OJは、カーボンステージ420においてX線源410によってX線が照射される範囲に載置される。被測定物OJがカーボンステージ420上で静止した状態で、X線源410及びX線イメージセンサ430によるX線撮影が行われる。
【0080】
X線源410は、カーボンステージ420に載置された被測定物OJに対してX線を照射する。X線イメージセンサ430は、X線源410によって照射されて被測定物OJを透過したX線を検出し、画像データを生成する。X線イメージセンサ430は、画像データを後段の画像処理装置100に出力する。
【0081】
画像処理装置100は、X線イメージセンサ430によって得られた画像データに対して、第1、第2または第3の実施形態と同様のノイズ除去処理を施す。例えば、画像処理装置100は図1、図5または図7の画像処理装置と同一または類似の構成を備える。即ち、画像処理装置100は、X線イメージセンサ430によって撮影された3枚(或いは、4枚以上)の画像データを入力画像11,12,13としてそれぞれ取り込み、画像処理を行って出力画像21、出力画像24または出力画像28を得る。画像処理装置100は、出力画像21、出力画像24または出力画像28を画像検査装置400に供給する。
【0082】
画像検査装置400は、画像処理装置100によってノイズ除去された画像を検査画像として入力する。画像検査装置400は、検査画像の画像解析を行う。画像検査装置400は、係る画像解析の結果、被測定物OJの異常を検出する。
【0083】
以上説明したように、第5の実施形態に係るX線検査システムは、第1、第2または第3の実施形態に係る画像処理装置と同様のノイズ処理を行って検査画像を得る。従って、本実施形態に係るX線検査システムによれば、高周波成分が維持され、かつ、ノイズが除去された検査画像を利用できるので、高精度な検査が可能となる。
【0084】
尚、本実施形態に係るX線検査システムを医療診断などのために適用し、人間(例えば医師)が検査画像の解析を行う場合も考えられる。係る場合には、画像検査装置400は不要である。人間が検査画像の解析を行う場合にも、高周波成分が維持され、かつ、ノイズが除去された検査画像を利用できるので、高精度な検査が可能となることは明らかである。
【0085】
上記各実施形態の処理は、汎用のコンピュータを基本ハードウェアとして用いることで実現可能である。上記各実施形態の処理を実現するプログラムは、コンピュータで読み取り可能な記憶媒体に格納して提供されてもよい。プログラムは、インストール可能な形式のファイルまたは実行可能な形式のファイルとして記憶媒体に記憶される。記憶媒体としては、磁気ディスク、光ディスク(CD−ROM、CD−R、DVD等)、光磁気ディスク(MO等)、半導体メモリなど、プログラムを記憶でき、かつ、コンピュータが読み取り可能な記憶媒体であれば、何れであってもよい。また、上記各実施形態の処理を実現するプログラムを、インターネットなどのネットワークに接続されたコンピュータ(サーバ)上に格納し、ネットワーク経由でコンピュータ(クライアント)にダウンロードさせてもよい。
【0086】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0087】
11,12,13・・・入力画像、14・・・平均画像、15・・・平滑化画像、16,17,18・・・高周波画像、19・・・因子負荷量、20・・・合成画像、21・・・出力画像、23・・・推定画像、24・・・出力画像、25・・・因子負荷量、26・・・合成画像、27・・・平均画像、28・・・出力画像、100・・・画像処理装置、101・・・平均化部、102・・・平滑化部、103,104,105・・・減算部、106・・・因子負荷量算出部、107・・・画像合成部、108・・・加算部、111・・・因子得点推定部、112・・・加算部、121・・・因子負荷量算出部、122・・・画像合成部、123・・・平均化部、124・・・加算部、300・・・画像検査装置、310・・・カメラ、320・・・ステージ、400・・・画像検査装置、410・・・X線源、420・・・カーボンステージ、430・・・X線イメージセンサ

【特許請求の範囲】
【請求項1】
N(Nは3以上の整数)枚の入力画像の平均画像を平滑化し、平滑化画像を得ることと、
前記N枚の入力画像から前記平滑化画像をそれぞれ減算し、N枚の高周波画像を得ることと、
前記N枚の高周波画像に対して因子分析を行い、前記N枚の高周波画像にそれぞれ対応する因子負荷量を算出することと、
前記因子負荷量に基づいて前記N枚の高周波画像を合成し、合成画像を得ることと、
前記平滑化画像と前記合成画像とを加算し、出力画像を得ることと
を具備する、画像処理方法。
【請求項2】
N(Nは3以上の整数)枚の入力画像の平均画像を平滑化し、平滑化画像を得ることと、
前記N枚の入力画像から前記平滑化画像をそれぞれ減算し、N枚の高周波画像を得ることと、
前記N枚の高周波画像に対して因子分析を行い、前記N枚の高周波画像にそれぞれ対応する因子負荷量を算出することと、
前記因子負荷量に基づいて因子得点を推定し、前記因子得点に対応する推定画像を生成することと、
前記平滑化画像と前記推定画像とを加算し、出力画像を得ることと
を具備する、画像処理方法。
【請求項3】
前記入力画像の数(N)が3枚である場合に、前記因子負荷量は、3枚の前記高周波画像間の相関行列と当該因子負荷量との関係から得られる3つの方程式を解くことによって算出される、請求項1または2の画像処理方法。
【請求項4】
N(Nは3以上の整数)枚の入力画像の平均画像を平滑化し、平滑化画像を得ることと、
前記N枚の入力画像から前記平滑化画像をそれぞれ減算し、N枚の高周波画像を得ることと、
前記N枚の高周波画像の第1の局所領域に対応するN個の第1の画素ベクトルを作成し、前記N個の第1の画素ベクトルに対して因子分析を行い、前記N個の第1の画素ベクトルにそれぞれ対応する第1の因子負荷量を算出することと、
前記N枚の高周波画像の前記第1の局所領域と異なる第2の局所領域に対応するN個の第2の画素ベクトルを作成し、前記N個の第2の画素ベクトルに対して因子分析を行い、前記N個の第2の画素ベクトルにそれぞれ対応する第2の因子負荷量を算出することと、
前記第1の因子負荷量に基づいて前記N枚の高周波画像を合成し、第1の合成画像を得ることと、
前記第2の因子負荷量に基づいて前記N枚の高周波画像を合成し、第2の合成画像を得ることと、
前記第1の合成画像及び前記第2の合成画像を平均化し、平均高周波画像を得ることと、
前記平滑化画像と前記平均高周波画像とを加算し、出力画像を得ることと
を具備する、画像処理方法。
【請求項5】
被測定物を撮影して得られたN(Nは3以上の整数)枚の入力画像の平均画像を平滑化し、平滑化画像を得る平滑化部と、
前記N枚の入力画像から前記平滑化画像をそれぞれ減算し、N枚の高周波画像を得るN個の減算部と、
前記N枚の高周波画像に対して因子分析を行い、前記N枚の高周波画像にそれぞれ対応する因子負荷量を算出する算出部と、
前記因子負荷量に基づいて前記N枚の高周波画像を合成し、合成画像を得る合成部と、
前記平滑化画像と前記合成画像とを加算し、前記被測定物の外観検査のための出力画像を得る加算部と
を具備する、画像処理装置。
【請求項6】
被測定物をX線撮影して得られたN(Nは3以上の整数)枚の入力画像の平均画像を平滑化し、平滑化画像を得る平滑化部と、
前記N枚の入力画像から前記平滑化画像をそれぞれ減算し、N枚の高周波画像を得るN個の減算部と、
前記N枚の高周波画像に対して因子分析を行い、前記N枚の高周波画像にそれぞれ対応する因子負荷量を算出する算出部と、
前記因子負荷量に基づいて前記N枚の高周波画像を合成し、合成画像を得る合成部と、
前記平滑化画像と前記合成画像とを加算し、前記被測定物のX線検査のための出力画像を得る加算部と
を具備する、画像処理装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate


【公開番号】特開2012−203465(P2012−203465A)
【公開日】平成24年10月22日(2012.10.22)
【国際特許分類】
【出願番号】特願2011−64839(P2011−64839)
【出願日】平成23年3月23日(2011.3.23)
【出願人】(390010308)東芝デジタルメディアエンジニアリング株式会社 (192)
【Fターム(参考)】