画像合成のための３次元プロファイルマップの作成方法
【課題】光学顕微鏡を用いて、一つの立体的な試料に対して、焦点距離の異なる多数の画像を得、これらの画像を組み合わせて、全領域の焦点が合った１枚の２次元合成画像を得るため、試料の高さ情報を表示する３次元プロファイルマップの作成方法を提供する。
【解決手段】試料を異なる高さから撮像して、焦点部位の異なる２次元試料画像を得、離散ウェーブレット変換を行うことにより得られた詳細サブーバンドにおいて、最大の詳細サブーバンド係数値を示す画像の撮像高さで、初期の高さ地図を作成し、それぞれの入力画像において、焦点整合度を計算し、フィルターをかけて、非合焦点のピクセル（非境界点）の高さ情報は除去し、除去されたピクセル（非境界点）の高さを、フィルターを通過したピクセル（境界点）の高さ値から内挿して算出し、前記高さ情報の除去されたピクセルに対して前記内挿によって算出された高さを代入して高さ地図を作成する。
【解決手段】試料を異なる高さから撮像して、焦点部位の異なる２次元試料画像を得、離散ウェーブレット変換を行うことにより得られた詳細サブーバンドにおいて、最大の詳細サブーバンド係数値を示す画像の撮像高さで、初期の高さ地図を作成し、それぞれの入力画像において、焦点整合度を計算し、フィルターをかけて、非合焦点のピクセル（非境界点）の高さ情報は除去し、除去されたピクセル（非境界点）の高さを、フィルターを通過したピクセル（境界点）の高さ値から内挿して算出し、前記高さ情報の除去されたピクセルに対して前記内挿によって算出された高さを代入して高さ地図を作成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は３次元プロファイルマップの作成方法に係り、さらに詳しくは、光学顕微鏡などのカメラ装置を用いて、一つの立体的な試料に対して、焦点距離に応じた多数の画像を得、これらの画像を組み合わせて、全領域に亘ってピントの合った（合焦点の）１枚の２次元合成画像が得られるように、試料の高さ情報を表示する３次元プロファイルマップの作成方法に関する。
【背景技術】
【０００２】
一般に、試料の３次元プロファイル（高さ情報）を得るためには、焦点距離の異なるそれぞれの試料画像を得、それぞれの試料画像から領域別に明暗対比（コントラスト）を求め、それぞれの領域に対して、明暗対比が最も大きく現れる画像の焦点情報（すなわち、高さ情報）を取り合わせてイメージ地図を作成する。このような３次元プロファイルは、焦点距離の異なる多数の試料画像から、鮮やかな１枚の合成画像を得るのに用いられる。このとき、画像のノイズとぶれ（ブラー）によって、大きな明暗対比を示す部分が必ずしも画像内部の境界線を意味するわけではないため、これを補完しようとする様々な試みがなされている。例えば、最大の明暗対比を有する画像を組み合わせてなる１枚の画像において、各領域ごとに整合性を判断するウィンドウを設定し、ウィンドウの内部において最も多い明暗対比の頻度数を示す入力画像の番号を代表値として選択する最頻数選択法、最頻数の代わりに主として発生する黒−白ノイズの除去のために中央値を選択する中央値選択法などが単独でまたは他の方法と併用されている。しかしながら、前記方法の最大の問題は、焦点が全く合わない画像に対しては、境界線そのものが存在しないため、正しい情報が得られないという点にある。実際に、既存の３次元プロファイラーのほとんどは、簡単な低域フィルター方式により非合焦点の領域を処理するため、非合焦点の領域が広く分布すれば、上下に揺れる非正常的な高さ地図が形成される。それにも拘わらず、実質的に、入力画像の全体に亘って焦点が合うことは困難であるため、非合焦点の領域に対する適切な処理方式が必要である。
【０００３】
一方、画像の焦点整合度を判断する方法も様々に開発されている。画像内部の各点に対して高さ情報を得る必要があるため、焦点整合度は、ピクセル単位若しくは特定の領域単位で得られる。領域のくくり方についても、類似する特性を示す領域でくくる方式、一括的に同じ形状のウィンドウでくくる方式など、いろいろなくくり方があり、たとえ同じ形状のウィンドウであるとしても、入力画像の解像度に応じてウィンドウの大きさも異なるように設定されることがある。焦点整合度を求める方法としては、ゾーベル（Ｓｏｂｅｌ）フィルターやＬｏＧなどのマスク基盤の方式、ウィンドウを用いたフーリエ変換方式、ウェーブレット方式などが挙げられ、それぞれの大分類内においても様々な方法が用いられる。なお、合焦点の画像の番号（高さ）のみから構成された画像地図を取得したとしても、必ずしも正しい３次元情報が得られるとは限らない。これは、たとえ離散化した高さ情報を３次元モデリング過程で補正するとしても、勾配が急峻に増加する場合と緩やかに増加する場合とを区別することが困難であるためである。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の目的は、試料画像において、合焦点の領域の正確な位置情報を把握して、位置に応じた高さ変化を正しく反映する、３次元プロファイルマップの作成方法を提供することである。
【０００５】
本発明の他の目的は、合焦点の画像部分を有さない非合焦点の領域が関心領域の情報把握を妨げず、周辺の合焦点区間とは高さの連続性を有する、３次元プロファイルマップの作成方法を提供することである。
【０００６】
本発明のさらに他の目的は、画像の焦点整合度を正確に反映することのできる、３次元プロファイルマップの作成方法を提供することである。
【課題を解決するための手段】
【０００７】
前記目的を達成するために、本発明は、試料を互いに異なる高さから撮像して、焦点部位の異なる多数の２次元試料画像を得るステップと、多数の前記試料画像に対して、離散ウェーブレット変換（Ｄｉｓｃｒｅｔｅ Ｗａｖｅｌｅｔ Ｔｒａｎｓｆｏｒｍ：ＤＷＴ）を行うステップと、それぞれの試料画像に対して離散ウェーブレット変換（ＤＷＴ）を行うことにより得られた詳細サブーバンド（sub-band)において、各ピクセルの詳細サブーバンド（sub-band)係数値を比較して、最大係数値を示す画像の撮像高さで、各ピクセルに対する初期の高さ地図を作成するステップと、それぞれの入力画像において、離散ウェーブレット変換（ＤＷＴ）の行われた画像の近似サブーバンド（sub-band)領域に対して、ピントの度合い（焦点整合度）を計算するステップと、前記焦点整合度にフィルターをかけて、合焦点のピクセル（境界点）の高さ情報は残留させ、非合焦点のピクセル（非境界点）の高さ情報は除去するステップと、前記フィルターを通過できずに除去されたピクセル（非境界点）の高さを、フィルターを通過したピクセル（境界点）の高さ値から内挿して算出するステップと、前記高さ情報の除去されたピクセルに対して前記内挿によって算出された高さを代入して高さ地図を作成するステップと、を含む３次元プロファイルマップの作成方法を提供する。
【発明の効果】
【０００８】
本発明に係る３次元プロファイルマップの作成方法によれば、互いに異なる高さ情報とともに入力された多数の入力画像を用いて、合焦点の全領域から、試料の当該部分の高さ情報を得、非合焦点の部分に対して不連続的な高さを入力することに伴う、不正確な高さプロファイルの問題がない、整合性の良い高さ地図を提供することができる。本発明に従い製作された３次元プロファイルマップを用いて、試料の正確な測定および観察が可能になり、高さに応じて焦点部位が異なってくる試料の画像を、整合性よく１枚の合成画像として合成することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明に係る３次元プロファイルマップの作成方法が実現可能な光学顕微鏡の構成ブロック図。
【図２】本発明の一実施形態による３次元プロファイルマップの作成方法を説明するためのフローチャート。
【図３Ａ】試料の２次元画像に対して離散ウェーブレット変換（ＤＷＴ）を行った結果を説明するための図。
【図３Ｂ】試料の２次元画像に対して離散ウェーブレット変換（ＤＷＴ）を行った結果の一例を示す図。
【図４】ピクセル単位で作成された画像の初期の高さを示す地図（初期高さ地図）の一例を示す図。
【図５】ピクセルの高さが周辺のピクセルの高さと整合するように１次補正された高さ地図の一例を示す図。
【図６】高さ情報が不連続的に入力される場合において、実際の試料の高さ分布の一例を示す図。
【図７】高さ情報が不連続的に入力される場合において、焦点整合度から計算された高さ分布の一例を示す図。
【図８】離散ウェーブレット変換（ＤＷＴ）の行われた画像の近似サブーバンド（sub-band)領域に対して、焦点整合度を計算して、境界点を抽出する過程を説明するための図。
【図９】離散ウェーブレット変換（ＤＷＴ）の行われた画像の近似サブーバンド（sub-band)領域に対して、非合焦点のピクセルの高さ値が不十分に除去された場合における高さ地図を示す図。
【図１０】離散ウェーブレット変換（ＤＷＴ）の行われた画像の近似サブーバンド（sub-band)領域に対して、非合焦点のピクセルの高さ値が十分に除去された場合における高さ地図を示す図。
【図１１】連続的に高さが変化する試料において、焦点整合度にフィルターをかけて残留した点（１、２、３、４）と、消去される点（１′、２′、３′、４′）および高さ内挿法の適用後に得られた高さ分布値を示す図。
【図１２】階段状に高さが不連続的に変化する試料において、焦点整合度にフィルターをかけて残留した点（１、２、３、４）と、消去される点（１′、２′、３′、４′）および高さ内挿法の適用後に得られた高さ分布値を示す図。
【図１３】焦点が合わなくて消去された点の高さを内挿により算出するために、内挿に使われる境界点を抽出する過程を示す図。
【図１４】本発明に従い完成された３次元プロファイル（高さ）マップの一例を示す図。
【発明を実施するための形態】
【００１０】
以下、添付図面に基づき、本発明を詳述する。
【００１１】
図１は、本発明に係る３次元プロファイルマップの作成方法が実現可能な光学顕微鏡の構成ブロック図である。同図に示すように、本発明において採用可能な光学顕微鏡は、試料に照明光を照射する照明と、試料の画像を拡大する光学鏡筒および試料画像を結像するカメラを備え、試料の拡大された画像を得る顕微鏡部１０と、前記顕微鏡部１０の高さ、すなわち、焦点距離を調節する顕微鏡運転制御部１２と、前記顕微鏡部１０から試料の拡大された画像を受け取ってデジタル画像信号に変換する画像入力部２２と、前記顕微鏡運転制御部１２から試料の画像が得られる高さ（顕微鏡の高さ）が入力される高さ入力部２４、および前記画像入力部２２からデジタル画像信号が入力され、前記高さ入力部２４から試料画像が得られた高さ情報が入力されて、入力された画像の焦点整合度を評価し、試料の３次元プロファイルマップ（高さ地図）を生成する画像処理部２６と、を備える。なお、前記画像処理部２６は、前記３次元プロファイルマップを用いて、合焦点の画像からなる、深度の拡張された画像を生成することができる。
【００１２】
図２は、本発明の一実施形態による３次元プロファイルマップの作成方法（アルゴリズム）を説明するためのフローチャートである。図１および図２に示すように、本発明に係る３次元プロファイルマップの作成方法は、試料を互いに異なる高さから撮像して、焦点部位の異なる多数の２次元試料画像を得るステップ（Ｓ１０）と、前記試料画像に対して、離散ウェーブレット変換（ＤＷＴ）を行うステップ（Ｓ２０）と、それぞれの試料画像に対して離散ウェーブレット変換（ＤＷＴ）を行うことにより得られた詳細サブーバンド（sub-band)において、各ピクセルの詳細サブーバンド係数値を比較して、最大係数値を示す画像の撮像高さで、各ピクセルに対する初期の高さ地図を作成するステップ(Ｓ２２)と、それぞれの入力画像において、離散ウェーブレット変換（ＤＷＴ）の行われた画像の近似サブーバンド（sub-band)領域に対して、焦点整合度を計算するステップ(Ｓ２８)と、前記焦点整合度にフィルターをかけて、合焦点のピクセルの高さ情報は残留させ、非合焦点のピクセルの高さ情報は除去するステップ(Ｓ３０)と、前記フィルターを通過できずに除去されたピクセルの高さを、フィルターを通過したピクセルの高さ値から内挿して算出するステップ(Ｓ３２)と、前記高さ情報の除去されたピクセルに対して前記内挿によって算出された高さを代入して高さ地図を作成するステップ(Ｓ３４)と、を含む。ここで、前記ステップ(Ｓ２２)とステップ(Ｓ２８)との間に、各ピクセルを中心とする検証ウィンドウ内において、同じ高さとして計算されたピクセルの詳細サブーバンドウェーブレット係数を加算し、高さに応じたウェーブレット係数の和を比較して、最も大きな値を与える高さを当該ピクセルの実際の高さで補正するステップ(Ｓ２４)および／または前記（補正済みの）高さ地図に中央値フィルターをかけて、インパルスノイズの除去された高さ地図を作成するステップ(Ｓ２６)をさらに含むことが好ましい。ここで、前記試料画像を得るステップＳ１０は、顕微鏡部１０によって行われ、得られた試料画像は、画像入力部２２においてデジタル画像信号に変換された後、画像処理部２６において離散ウェーブレット変換（ＤＷＴ）などの残りの過程が行われても良い。必要に応じて、前記（カラー）デジタル画像信号は、画像処理部２６において、通常の方法によって黒白のデジタル画像信号に変換された後（Ｓ１２）、離散ウェーブレット変換（ＤＷＴ）などの残りの過程が行われてもよい。このような黒白画像の変換は、今後の画像信号データの数を減らして、画像処理部２６にかかる計算の負担を低減することができる。
【００１３】
以下、本発明に係る３次元プロファイルマップの作成方法をより具体的に説明する。本発明に係る３次元プロファイルマップの作成方法は、（ａ）試料画像の全体に対して高さ情報を得るステップ（初期の高さ地図の作成）と、（ｂ）試料の境界線（境界点）に相当する領域の情報を抽出し、前記ステップ（ａ）において求められた境界線領域の高さ情報を用いて境界線以外の領域の高さを内挿法により算出するステップ、といった２つのステップに大きく分けられる。前記ステップ（ａ）は、合焦点の領域に関する正確な高さ情報を得ることが目的である。本発明は、前記ステップ（ａ）においてより一層正確な高さ情報を得、ステップ（ｂ）において高さ情報の整合性を判断し、整合性の低いピクセルの高さ情報を整合性よく補正して、非合焦点の領域を処理する。
【００１４】
前記ステップ（ａ）において、画像の高さ情報を得るために、まず、試料を互いに異なる高さ（距離）から撮像して、焦点部位の異なる多数（例えば、２〜８枚、好ましくは、２〜５枚）の２次元画像を得（Ｓ１０）、前記２次元画像から、合焦点部分の位置情報と高さ情報を取り合わせて一つの高さ地図（例えば、ｘｙ平面上に当該位置の高さ値（入力画像番号）が表示された形のデータである２次元地図。区別し易くするために、カラーごとに高さを表示する場合もある。）を作成する。このために、得られた２次元画像の各ピクセルに対して、（ｉ）焦点整合度の評価、（ii）焦点整合度（焦点情報）からの各ピクセルの高さ情報の算出、および（iii）取り合わせられた高さ情報を用いた高さ地図の作成といった３ステップを行う。
【００１５】
まず、（ｉ）試料画像の各部分に対する焦点整合度の評価方法は、下記の通りである。一般に、合焦点の画像は境界がはっきりしており、最もピントの合った（合焦点が最高の）位置において、光の強さと明暗対比が最大となるため、ピクセル間の明暗対比を用いる境界検出方法により焦点整合度を評価することができる。本発明において、境界検出方法として、通常の信号または画像の分析方法である離散ウェーブレット変換（ＤＷＴ）法を採用する。離散ウェーブレット変換（ＤＷＴ）法は、局所化したウェーブレットを用いて信号を分析する方法であり、多層構造分析によって、様々な解像度の信号分析を行うことができ、局所的な信号の分析に役立つ。特に、離散ウェーブレット変換（ＤＷＴ）を繰り返し行うことにより（多重離散ウェーブレット変換）、上位レベルに上がるにつれて、平均値平滑化効果が高まるため、同型ノイズなどの非インパルス型ノイズが除去されるというメリットがあるが、インパルス型ノイズは依然として残留するため、高さ地図が整合性を有するように後加工してインパルス型ノイズを除去する。
【００１６】
試料の２次元画像に対して離散ウェーブレット変換（ＤＷＴ）を行うと（Ｓ２０）、図３ＡのＡに示すように、ＬＬ、ＨＬ、ＬＨ、ＨＨからなる４個のサブーバンドに画像が分けられる。ここで、ＬＬは解像度が１／４に減少された原画像の縮小画像であり、近似サブーバンド（Ａｐｐｒｏｘｉｍａｔｉｏｎ Ｓｕｂ−ｂａｎｄ）と呼ばれ、ＨＬサブーバンドは、垂直方向の画像情報の変化の度合い（例えば、原画像に対して離散ウェーブレット変換（ＤＷＴ）を１回行った場合、ＨＬサブーバンドの係数は垂直方向への画像の明るさの変化の度合いを示し、離散ウェーブレット変換（ＤＷＴ）を２回以上行った場合、ＨＬサブーバンドの係数は縮小された画像の情報変化を表わす。）、ＬＨは、水平方向の画像情報の変化の度合い、ＨＨは、対角線方向の画像情報の変化の度合いを表わす。例えば、ＬＨが大きいということは、水平方向への画像情報の変化が大きいことを意味するため、垂直方向の境界が存在することを意味する。前記ＬＨ、ＨＬ、ＨＨを詳細サブーバンド（Ｄｅｔａｉｌ Ｓｕｂ−ｂａｎｄ）と称する（例えば、米国特許６,１５１,４１５号などを参照されたい）。かかる離散ウェーブレット変換（ＤＷＴ）は、原画像の解像度に応じて、１枚の原画像に対して２回（図３ＡのＢおよび図３Ｂ）、３回（図３ＡのＣ）など、多数回に亘って行うことができる。既に離散ウェーブレット変換（ＤＷＴ）の行われた画像に重ねて離散ウェーブレット変換（ＤＷＴ）を行う場合、現在得られたＬＬサブーバンドに対して離散ウェーブレット変換（ＤＷＴ）を行うことにより、図３ＡのＢまたはＣなどの多層（マルチレベル）構造の画像を得る。このように、離散ウェーブレット変換（ＤＷＴ）を行うことにより得られた詳細サブーバンドのウェーブレット係数（例えば、図３Ｂには、１６個のピクセルに対するウェーブレット係数が示してある。）は、画像の明暗対比の特性を反映するため、詳細サブーバンドのウェーブレット係数のうち、絶対値が最大となる値を取り合わせると、境界検出が可能となる。なお、近似サブーバンド値は、ノイズの除去された低解像度の画像であるため、これを用いても、境界検出などの画像処理を行うことが可能である。すなわち、本発明は、従来より画像の境界検出や信号分析に用いられてきたフーリエ分析の代わりに、様々な解像度で局所的なデータアクセスが行える離散ウェーブレット変換（ＤＷＴ）法を応用して、焦点整合度を評価（計算）する。このような離散ウェーブレット変換（ＤＷＴ）を用いた焦点整合度の評価方法の一例は、本出願人による大韓民国特許出願第１０−２０１０−００５４８６１号（出願日：２０１０年０６月１０日）にも開示されており、前記特許出願の内容は、参照としてこの明細書中に取り込まれる。例えば、入力解像度が１６００ｘ１２００の画像から、解像度が約１００ｘ１００の画像を得るために、約３回に亘って離散ウェーブレット変換（ＤＷＴ）を行い、離散ウェーブレット変換（ＤＷＴ）を行うことにより得られた詳細サブーバンド（ＬＨ、ＨＬ、ＨＨ）のピクセル係数の最大値（すなわち、ＬＨ、ＨＬ、ＨＨサブーバンド係数値のうちの最大値）を、当該画像における各ピクセルの焦点整合度であると判断する。同様に、入力されたそれぞれの画像に対して、ピクセル係数の最大値を得る。本発明において、離散ウェーブレット変換（ＤＷＴ）は、１回以上の多重に行われ、変換回数は、原画像の解像度、合成されるピクセルの大きさなどに応じて、１〜１０回、好ましくは、２〜５回行われる。
【００１７】
次いで、各ピクセルに対して、前記ピクセルの係数値が最大となる画像の高さ（撮像または焦点距離）を、当該ピクセルに対する合焦点の位置（高さ）であると判断し、当該ピクセルにこの高さを指定する。これは、前記（ii）焦点整合度（焦点情報）から各ピクセルの高さ情報を算出する過程である。つまり、画像の各ピクセルに対する焦点整合度（焦点情報）から、各ピクセルの高さ情報を得るのである。次いで、（iii）取り合わせられた高さ情報を用いて高さ地図を作成するステップにおいて、ピクセル単位で画像の高さ地図を作成し、このようにして作成された初期の高さ地図の一例が図４に示してある。図４は、４枚の金属板と円形の金属構造物がほとんど同じ高さに構成されたサンプルの初期の高さ地図であり、前記円形の金属構造物の中央部（図４における真ん中の黒色部）が部分的に凹んでいる（窪んでいる）ような構造を有する。
【００１８】
このようにして得られた初期の高さ地図においては、上述したように、インパルス型ノイズが除去されていない状態であり、ピクセル単位の明暗対比値は外部の環境要素に敏感であるため、得られた高さの整合性を確認することが好ましい。ピクセル単位の敏感度を緩和しつつも、ウェーブレット係数の境界値情報を保持するには、ピクセルの周辺にウィンドウを設定し、このウィンドウ内においてウェーブレット係数を比較することが有効である（Ａ ｗａｖｅｌｅｔ−ｂａｓｅｄ ｉｍａｇｅ ｆｕｓｉｏｎ ｔｕｔｏｒｉａｌ， Ｇ． Ｐａｊａｒｅｓ ａｎｄ Ｊ．Ｍ． ｄｅ ｌａ Ｃｒｕｚ， Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ ３７ （２００４） １８５５〜１８７２参照）。かようなウィンドウ基盤の合成方法は、高さ地図を作成するに際して焦点整合度を判断するために用いられるか、あるいは、整合性を確認するに際して単にフィルターを適用するために用いられる。しかしながら、このようなウィンドウ基盤の方式を用いると、全ての入力画像の全てのピクセルに対してウィンドウ演算が必要となるため、速度が遅くなってしまう。このため、本発明においては、ウェーブレット係数の意味（焦点整合度）を保持しつつ、計算が簡単に行われるように、ウィンドウ（例えば、当該ピクセルを中心とする３ｘ３ピクセルサイズの検証ウィンドウ）内のウェーブレット係数を入力高さに応じてグループ化する。一般に、１つ若しくは２つのピクセルのみ特異的な高さを有する試料は多くないため、ウィンドウ中に境界が存在すれば、ほとんどの場合は境界点ではない境界線の形で存在し、同じ高さを有する境界線のウェーブレット係数の和は、異なる高さを有するウェーブレット係数の和よりも大きい。たとえウィンドウ内のいずれかのピクセルが周辺と高さが大きく異なるインパルスノイズの形を帯びて大きいウェーブレット係数を有するとしても、ウィンドウ中に境界が存在すれば、一般に境界点の数がインパルス型ノイズよりも多く、境界点のウェーブレット係数は大きな値を有するため、同じ高さにある境界点のウェーブレット係数の和は、普通、同じ高さにあるインパルスノイズのウェーブレット係数よりも大きい。このため、本発明においては、ウィンドウ内において同じ高さとして計算されたピクセルをグループ化し、グループ化されたピクセルのウェーブレット係数を加算し、高さに応じたウェーブレット係数の和を比較して、最も大きな値を与える高さを当該ピクセルの実際の高さで補正する（Ｓ２４）。以下、この方式をグループ化した係数和検証（Ｇｒｏｕｐｅｄ Ｃｏｅｆｆｉｃｉｅｎｔｓ Ｓｕｍｍａｔｉｏｎ Ｖｅｒｉｆｉｃａｔｉｏｎ：ＧＣＳＶ）方式と呼ぶ。検証ウィンドウ内において、同じ高さのウェーブレット係数のグループ化は、前記ステップ（ii）において得られた当該ピクセルの入力画像の番号（高さ）を基準としてグループ化される。すなわち、同じ高さのウェーブレット係数は、同じグループにくくる。例えば、互いに異なる３つの高さ（１、２および３）から試料を撮像して、焦点部位の異なる３つの２次元画像を得た場合、高さ１に相当するウェーブレット係数を同じグループにくくり、高さ２に相当するウェーブレット係数を同じグループにくくり、高さ３に相当するウェーブレット係数を同じグループにくくる。なお、上述した方法だけでは、インパルスノイズが完全に除去されないため、中央値フィルターリング（メディアンフィルターリング）を１回以上行うことにより、インパルスノイズの除去された１次補正済み高さ地図を作成することが好ましい（Ｓ２６）。前記中央値フィルターリングを行うためには、フィルターをかけようとするピクセルを中心として適当な領域のウィンドウ（例えば、５ｘ５ピクセル）を設定し、前記ウィンドウ内に存在する全ての高さ情報を昇順若しくは降順に並べ替え、その中央値で最初に選択したピクセルの高さ情報を補正（取り替え）する。このように、境界領域に対する正確な高さが反映されて、ピクセルの高さが周辺ピクセルの高さと整合されるように１次補正された画像地図の一例を図５に示す。図４は、離散ウェーブレット変換（ＤＷＴ）後に、単に焦点整合度を用いてプロットした高さ地図であり、図５は、図４の高さ地図に対して、前記グループ化された係数和検証方式（ＧＣＳＶ）と中央値フィルターリングを行うことにより得られた高さ地図である。図５は、図４に比べて、隣り合うピクセル間の高さのばらつきが低減されていることが分かる。
【００１９】
このようにして作成された１次補正済み高さ地図は、図５に示すように、非合焦点の領域において高さのばらつきが激しく現れ、高さ情報が不連続的に入力されるため、高さの変化を正しく表示することができないという問題がある。高さ情報が不連続的に（離散化して）入力され、実際の試料が図６に示すように連続的な高さ分布を有すると、図７（横軸は試料の位置、縦軸は試料の高さを表す）に示すように、図６の横軸に平行な点線よりも高い個所はＨ値、それよりも低い個所はＬ値を有する高さ分布を示す。図６および図７中、グラフは実際のサンプルのプロファイルを示すものであり、ボックス内の数は、デジタルの形で入力されたサンプルの高さ情報であり、例えば、０はＬ、１はＨに相当し、中央値はＨに設定してもよく、Ｌに設定してもよいため、０．５という値を使用した。ここで、一旦中央値が決定された限り、これを変えることはできない。このため、この方式では、試料が階段状の勾配を有するか、あるいは、連続的な勾配を有するかを区別することはできない。ところが、勾配が不連続的であるピクセルの位置を比較すれば、連続的な高さの変化と不連続的な高さの変化とを区別することができる。図７中、不連続的な勾配の位置は、階段が始まる１点であるか、あるいは、階段の勾配がやや緩やかな場合、階段が上がり始まる点と、階段が上がり終わる点といった２点である。連続的に高さが変化する試料の場合にも、高さが上がり始まる点と、それ以上上がらない点といった２点である。２つの場合を比較すれば、不連続的な勾配が現れる点が近づいた場合には勾配が急峻であり、そうではない場合には勾配が緩やかである。このため、勾配の不連続点が勾配を判断する上で重要な根拠となる。
【００２０】
高さ分布の判断に際して重要な根拠となる高さ勾配の不連続点は、焦点整合度により把握することができる。このために、それぞれの入力画像において、離散ウェーブレット変換（ＤＷＴ）の行われた、好ましくは、最高レベル（Ｈｉｇｈｅｓｔ ｌｅｖｅｌ）まで 離散ウェーブレット変換（ＤＷＴ）が行われ、必要に応じて、非インパルス型ノイズが除去された画像の近似サブーバンド領域に対して、焦点整合度を計算する（Ｓ２８）。図８は、Ｌ、Ｈといった２種類の高さを測定するとき、焦点が高さＬに結ばれる３つの光と、高さが連続的に変わる試料を示す図である。Ｌの位置に達した光１、２は焦点が正確に合ったため、焦点整合度が高く評価されるのに対し、ピントが合っていない（非合焦点）３の光は焦点整合度が低く評価される。前記近似サブーバンド領域において、特定のピクセルの焦点整合度は、次式１に示すように、当該ピクセル（座標：（ｘ，ｙ））の明るさ（Ｉ（ｘ，ｙ））と、周辺４点（座標：（（ｘ，ｙ＋１）、（ｘ，ｙ−１）、（ｘ＋１，ｙ）、（ｘ−１，ｙ））の明るさとの差の絶対値の和として計算され得る。
【００２１】
【数１】
【００２２】
このとき、前記焦点整合度にフィルターをかけて、例えば、閾値を設定して、高域通過フィルターをかけると（Ｓ３０）、合焦点の点（１、２の点）は残留し、非合焦点の点（３の点）は消える。例えば、隣り合う両ピクセルの明るさ（ｉｎｔｅｎｓｉｔｙ）の差が４０以上であれば、ピクセル間の境界がはっきりと現れるが、このような明るさの差を示すピクセルが上下左右の４方向に少なくとも２つ存在するとき、すなわち、フィルターをかけようとするピクセルが孤立されていない線としての意味を有するときを閾の条件とする。実験の結果、この場合、閾値が８０〜１２０の場合に、輪郭線の形態のみが全く残る。このため、この場合の閾値は８０、好ましくは、１００に設定することができる。よって、本発明においては、前記焦点整合度が、隣り合う両ピクセルの境界が現れる（すなわち、明らかになる）明るさの差の３倍未満、好ましくは、２．５倍未満、さらに好ましくは、２倍未満であれば、非合焦点のピクセルと見なして、高さ情報を除去する。ここで、「隣り合う両ピクセルの境界が現れる明るさの差」は、画像の輪郭線が現れる明るさの差を実験的に決定することができる。このように、焦点整合度にフィルターをかけると、残留した点は境界がはっきりしている境界点であり、ここには勾配が不連続的な点（図８における２番の位置）が含まれる。このとき、前記閾値をあまりにも低く設定すれば（例えば、５０）、非合焦点の部分が残留し（図９参照）、前記閾値を適度に設定すれば（例えば、１００）、境界点は残留し、非合焦点の領域の点を消去することができる（図１０参照）。図９および図１０において、円形の試料画像内の白抜き部は境界線として認識されて消去されずに残留した点であり、黒色部は境界線以外の部分として認識されて消去された部分である。図９に示すように、未消去点（白抜き部）が多ければ、画像は全体的に明るくなるが、境界としての意味は薄くなり、図１０においては、境界以外の点が十分に除去された状態を示す。前記ピクセルの高さ情報の消去において、境界に相当するピクセルの高さ情報のみ残留して、画像の境界線がいずれも鮮やかに見えることが好ましく、もし、一部の境界情報が失われるとしても、全体的な境界情報は残留し、且つ、境界線以外のピクセルはいずれも消去されることが好ましい。観察される試料の画像、高さの変化などによるが、焦点が合わなくて高さ情報が消去されるピクセルの数の非限定的な例は、全体のピクセルに対して１０〜７０％、具体的に２０〜５０％、さらに具体的には３０〜４０％である。ここで、閾値を通過した境界点がいずれも勾配が連続していない点ではないものの、図１１および図１２に示すように、同じ高さに存在し、且つ、隣り合う境界点の集まりの周縁にある点は、勾配が連続していない点である。具体的に、図１１および図１２中、１、２、３、４は境界点であり、１′、２′、３′、４′は高域通過フィルターによって消去された点である。
【００２３】
このように、前記フィルターを通過できずに消去された点の高さを、フィルターを通過した点の高さ値（例えば、前記ステップＳ２６において求められた１次補正済みの高さ値）を内挿して算出し（Ｓ３２）、これを用いて最終的に高さ地図を完成する。高さの不連続点は高さ分布を分析する上で重要な役割を果たすが、実際に高さ地図を作成するに際しては、別途に抽出を行う必要がない。境界点は高さ値をそのまま使用し、消去された点（非境界点）は、周辺において相対する最も近い２つの境界点の高さを内挿して、高さを求めることにより、勾配の変化に関する情報が十分に得られるためである。例えば、図１１および図１２において、１′のように、境界点ではないものの、境界点として残留した点と同じ高さにある点は、周辺にある境界点の内挿を通じて、周辺境界点と同じ高さを有する。これに対し、２′のように、高さの異なる境界点の間にある点は、周辺の境界点の高さから内挿して、中間の高さを有する。このとき、内挿される点の高さは、境界点の高さの重み付け平均を求めるものであり、重み付け値は近い境界値に一層大きく影響されるため、距離逆数（１／ｒ）の関数または距離のガウス関数として与えられる。例えば、ガウス関数と重み付け値関数を１／ｒで展開したとき（ここで、ｒは、内挿される点と境界点との距離を表わす。）、最も低い次数である１／ｒを重み付け値として適用するか、あるいは、ガウス関数の場合、ｅｘｐ（−ｒ２／１０００）を重み付け値として用いて、好適な結果を得ることができた。
【００２４】
一方、図６及び図７などに示す１次元試料とは異なり、２次元の実際の試料においては、境界値が閉曲線の形だけではなく、開曲線、点の集まりなどの形で存在してもよい。このため、本発明においては、高さが算出されるべき消去された点から最も近い個所に位置している３〜７個、例えば、５個の境界点から内挿を行うことが好ましい。内挿に用いられる境界点の検出には、内挿される点（消去された点）を中心とする同心円の検索と方位角の検索とを組み合わせて用いる。同心円の検索と方位角の検索が組み合わせられた方式は、図１３に示すように、内挿される点を中心として同心円または同心四角形を描き、中心から外方に向けて検索を行うが、境界点が見出されれば、見出された境界点から、例えば、±３０°、好ましくは、±１５°の範囲（すなわち、境界点が見出された方位角）内においてはそれ以上の境界点を検索しない方式である。図１３中、中空の四角形は、内挿される点の位置、中実の四角形は境界点、点線の四角形は、検索する同心円、薄色の点線で描かれた三角形の部分は、境界点の見出後に検索の対象から除外された方位角の領域を示す。前記方法は、内挿される点を含む単一閉曲線を検索する方法であり、１次元である図１１において２′の点を内挿するに際して、左側に検索する際に境界点２を検索したならば、左側にはそれ以上の検索を行わないことと同じ意味である。このように、境界点が検索されれば、１／ｒ若しくはｅｘｐ（−ｒ２／１０００）を重み付け値に設定し、内挿を行うことにより、消去された点の高さを算出し、前記高さ情報が除去されたピクセルに対して前記内挿によって算出された高さを代入して最終的に高さ地図を完成する（Ｓ３４）。図１４は、本発明に従い最終的に完成された３次元プロファイル（高さ）マップの一例を示す。
【００２５】
このように、試料画像の最終的な高さ地図が完成されれば、当該高さの離散ウェーブレット変換（ＤＷＴ）のサブーバンドで最高レベルのウェーブレットサブーバンド値を再構成し、Ｒ、Ｇ、Ｂそれぞれのカラーに対して、最高レベルのウェーブレットの近似サブーバンドを重み付け平均として、柔らかく連結した後、多重逆離散ウェーブレット変換（Ｉｎｖｅｒｓｅ ＤＷＴ）を行うことにより、入力画像の解像度レベルで最終的な合成画像が得られる。生成された最終的な合成画像は、画像の全領域に亘ってピントの合った（合焦点）、深度の拡張された２次元画像となる。
【技術分野】
【０００１】
本発明は３次元プロファイルマップの作成方法に係り、さらに詳しくは、光学顕微鏡などのカメラ装置を用いて、一つの立体的な試料に対して、焦点距離に応じた多数の画像を得、これらの画像を組み合わせて、全領域に亘ってピントの合った（合焦点の）１枚の２次元合成画像が得られるように、試料の高さ情報を表示する３次元プロファイルマップの作成方法に関する。
【背景技術】
【０００２】
一般に、試料の３次元プロファイル（高さ情報）を得るためには、焦点距離の異なるそれぞれの試料画像を得、それぞれの試料画像から領域別に明暗対比（コントラスト）を求め、それぞれの領域に対して、明暗対比が最も大きく現れる画像の焦点情報（すなわち、高さ情報）を取り合わせてイメージ地図を作成する。このような３次元プロファイルは、焦点距離の異なる多数の試料画像から、鮮やかな１枚の合成画像を得るのに用いられる。このとき、画像のノイズとぶれ（ブラー）によって、大きな明暗対比を示す部分が必ずしも画像内部の境界線を意味するわけではないため、これを補完しようとする様々な試みがなされている。例えば、最大の明暗対比を有する画像を組み合わせてなる１枚の画像において、各領域ごとに整合性を判断するウィンドウを設定し、ウィンドウの内部において最も多い明暗対比の頻度数を示す入力画像の番号を代表値として選択する最頻数選択法、最頻数の代わりに主として発生する黒−白ノイズの除去のために中央値を選択する中央値選択法などが単独でまたは他の方法と併用されている。しかしながら、前記方法の最大の問題は、焦点が全く合わない画像に対しては、境界線そのものが存在しないため、正しい情報が得られないという点にある。実際に、既存の３次元プロファイラーのほとんどは、簡単な低域フィルター方式により非合焦点の領域を処理するため、非合焦点の領域が広く分布すれば、上下に揺れる非正常的な高さ地図が形成される。それにも拘わらず、実質的に、入力画像の全体に亘って焦点が合うことは困難であるため、非合焦点の領域に対する適切な処理方式が必要である。
【０００３】
一方、画像の焦点整合度を判断する方法も様々に開発されている。画像内部の各点に対して高さ情報を得る必要があるため、焦点整合度は、ピクセル単位若しくは特定の領域単位で得られる。領域のくくり方についても、類似する特性を示す領域でくくる方式、一括的に同じ形状のウィンドウでくくる方式など、いろいろなくくり方があり、たとえ同じ形状のウィンドウであるとしても、入力画像の解像度に応じてウィンドウの大きさも異なるように設定されることがある。焦点整合度を求める方法としては、ゾーベル（Ｓｏｂｅｌ）フィルターやＬｏＧなどのマスク基盤の方式、ウィンドウを用いたフーリエ変換方式、ウェーブレット方式などが挙げられ、それぞれの大分類内においても様々な方法が用いられる。なお、合焦点の画像の番号（高さ）のみから構成された画像地図を取得したとしても、必ずしも正しい３次元情報が得られるとは限らない。これは、たとえ離散化した高さ情報を３次元モデリング過程で補正するとしても、勾配が急峻に増加する場合と緩やかに増加する場合とを区別することが困難であるためである。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の目的は、試料画像において、合焦点の領域の正確な位置情報を把握して、位置に応じた高さ変化を正しく反映する、３次元プロファイルマップの作成方法を提供することである。
【０００５】
本発明の他の目的は、合焦点の画像部分を有さない非合焦点の領域が関心領域の情報把握を妨げず、周辺の合焦点区間とは高さの連続性を有する、３次元プロファイルマップの作成方法を提供することである。
【０００６】
本発明のさらに他の目的は、画像の焦点整合度を正確に反映することのできる、３次元プロファイルマップの作成方法を提供することである。
【課題を解決するための手段】
【０００７】
前記目的を達成するために、本発明は、試料を互いに異なる高さから撮像して、焦点部位の異なる多数の２次元試料画像を得るステップと、多数の前記試料画像に対して、離散ウェーブレット変換（Ｄｉｓｃｒｅｔｅ Ｗａｖｅｌｅｔ Ｔｒａｎｓｆｏｒｍ：ＤＷＴ）を行うステップと、それぞれの試料画像に対して離散ウェーブレット変換（ＤＷＴ）を行うことにより得られた詳細サブーバンド（sub-band)において、各ピクセルの詳細サブーバンド（sub-band)係数値を比較して、最大係数値を示す画像の撮像高さで、各ピクセルに対する初期の高さ地図を作成するステップと、それぞれの入力画像において、離散ウェーブレット変換（ＤＷＴ）の行われた画像の近似サブーバンド（sub-band)領域に対して、ピントの度合い（焦点整合度）を計算するステップと、前記焦点整合度にフィルターをかけて、合焦点のピクセル（境界点）の高さ情報は残留させ、非合焦点のピクセル（非境界点）の高さ情報は除去するステップと、前記フィルターを通過できずに除去されたピクセル（非境界点）の高さを、フィルターを通過したピクセル（境界点）の高さ値から内挿して算出するステップと、前記高さ情報の除去されたピクセルに対して前記内挿によって算出された高さを代入して高さ地図を作成するステップと、を含む３次元プロファイルマップの作成方法を提供する。
【発明の効果】
【０００８】
本発明に係る３次元プロファイルマップの作成方法によれば、互いに異なる高さ情報とともに入力された多数の入力画像を用いて、合焦点の全領域から、試料の当該部分の高さ情報を得、非合焦点の部分に対して不連続的な高さを入力することに伴う、不正確な高さプロファイルの問題がない、整合性の良い高さ地図を提供することができる。本発明に従い製作された３次元プロファイルマップを用いて、試料の正確な測定および観察が可能になり、高さに応じて焦点部位が異なってくる試料の画像を、整合性よく１枚の合成画像として合成することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明に係る３次元プロファイルマップの作成方法が実現可能な光学顕微鏡の構成ブロック図。
【図２】本発明の一実施形態による３次元プロファイルマップの作成方法を説明するためのフローチャート。
【図３Ａ】試料の２次元画像に対して離散ウェーブレット変換（ＤＷＴ）を行った結果を説明するための図。
【図３Ｂ】試料の２次元画像に対して離散ウェーブレット変換（ＤＷＴ）を行った結果の一例を示す図。
【図４】ピクセル単位で作成された画像の初期の高さを示す地図（初期高さ地図）の一例を示す図。
【図５】ピクセルの高さが周辺のピクセルの高さと整合するように１次補正された高さ地図の一例を示す図。
【図６】高さ情報が不連続的に入力される場合において、実際の試料の高さ分布の一例を示す図。
【図７】高さ情報が不連続的に入力される場合において、焦点整合度から計算された高さ分布の一例を示す図。
【図８】離散ウェーブレット変換（ＤＷＴ）の行われた画像の近似サブーバンド（sub-band)領域に対して、焦点整合度を計算して、境界点を抽出する過程を説明するための図。
【図９】離散ウェーブレット変換（ＤＷＴ）の行われた画像の近似サブーバンド（sub-band)領域に対して、非合焦点のピクセルの高さ値が不十分に除去された場合における高さ地図を示す図。
【図１０】離散ウェーブレット変換（ＤＷＴ）の行われた画像の近似サブーバンド（sub-band)領域に対して、非合焦点のピクセルの高さ値が十分に除去された場合における高さ地図を示す図。
【図１１】連続的に高さが変化する試料において、焦点整合度にフィルターをかけて残留した点（１、２、３、４）と、消去される点（１′、２′、３′、４′）および高さ内挿法の適用後に得られた高さ分布値を示す図。
【図１２】階段状に高さが不連続的に変化する試料において、焦点整合度にフィルターをかけて残留した点（１、２、３、４）と、消去される点（１′、２′、３′、４′）および高さ内挿法の適用後に得られた高さ分布値を示す図。
【図１３】焦点が合わなくて消去された点の高さを内挿により算出するために、内挿に使われる境界点を抽出する過程を示す図。
【図１４】本発明に従い完成された３次元プロファイル（高さ）マップの一例を示す図。
【発明を実施するための形態】
【００１０】
以下、添付図面に基づき、本発明を詳述する。
【００１１】
図１は、本発明に係る３次元プロファイルマップの作成方法が実現可能な光学顕微鏡の構成ブロック図である。同図に示すように、本発明において採用可能な光学顕微鏡は、試料に照明光を照射する照明と、試料の画像を拡大する光学鏡筒および試料画像を結像するカメラを備え、試料の拡大された画像を得る顕微鏡部１０と、前記顕微鏡部１０の高さ、すなわち、焦点距離を調節する顕微鏡運転制御部１２と、前記顕微鏡部１０から試料の拡大された画像を受け取ってデジタル画像信号に変換する画像入力部２２と、前記顕微鏡運転制御部１２から試料の画像が得られる高さ（顕微鏡の高さ）が入力される高さ入力部２４、および前記画像入力部２２からデジタル画像信号が入力され、前記高さ入力部２４から試料画像が得られた高さ情報が入力されて、入力された画像の焦点整合度を評価し、試料の３次元プロファイルマップ（高さ地図）を生成する画像処理部２６と、を備える。なお、前記画像処理部２６は、前記３次元プロファイルマップを用いて、合焦点の画像からなる、深度の拡張された画像を生成することができる。
【００１２】
図２は、本発明の一実施形態による３次元プロファイルマップの作成方法（アルゴリズム）を説明するためのフローチャートである。図１および図２に示すように、本発明に係る３次元プロファイルマップの作成方法は、試料を互いに異なる高さから撮像して、焦点部位の異なる多数の２次元試料画像を得るステップ（Ｓ１０）と、前記試料画像に対して、離散ウェーブレット変換（ＤＷＴ）を行うステップ（Ｓ２０）と、それぞれの試料画像に対して離散ウェーブレット変換（ＤＷＴ）を行うことにより得られた詳細サブーバンド（sub-band)において、各ピクセルの詳細サブーバンド係数値を比較して、最大係数値を示す画像の撮像高さで、各ピクセルに対する初期の高さ地図を作成するステップ(Ｓ２２)と、それぞれの入力画像において、離散ウェーブレット変換（ＤＷＴ）の行われた画像の近似サブーバンド（sub-band)領域に対して、焦点整合度を計算するステップ(Ｓ２８)と、前記焦点整合度にフィルターをかけて、合焦点のピクセルの高さ情報は残留させ、非合焦点のピクセルの高さ情報は除去するステップ(Ｓ３０)と、前記フィルターを通過できずに除去されたピクセルの高さを、フィルターを通過したピクセルの高さ値から内挿して算出するステップ(Ｓ３２)と、前記高さ情報の除去されたピクセルに対して前記内挿によって算出された高さを代入して高さ地図を作成するステップ(Ｓ３４)と、を含む。ここで、前記ステップ(Ｓ２２)とステップ(Ｓ２８)との間に、各ピクセルを中心とする検証ウィンドウ内において、同じ高さとして計算されたピクセルの詳細サブーバンドウェーブレット係数を加算し、高さに応じたウェーブレット係数の和を比較して、最も大きな値を与える高さを当該ピクセルの実際の高さで補正するステップ(Ｓ２４)および／または前記（補正済みの）高さ地図に中央値フィルターをかけて、インパルスノイズの除去された高さ地図を作成するステップ(Ｓ２６)をさらに含むことが好ましい。ここで、前記試料画像を得るステップＳ１０は、顕微鏡部１０によって行われ、得られた試料画像は、画像入力部２２においてデジタル画像信号に変換された後、画像処理部２６において離散ウェーブレット変換（ＤＷＴ）などの残りの過程が行われても良い。必要に応じて、前記（カラー）デジタル画像信号は、画像処理部２６において、通常の方法によって黒白のデジタル画像信号に変換された後（Ｓ１２）、離散ウェーブレット変換（ＤＷＴ）などの残りの過程が行われてもよい。このような黒白画像の変換は、今後の画像信号データの数を減らして、画像処理部２６にかかる計算の負担を低減することができる。
【００１３】
以下、本発明に係る３次元プロファイルマップの作成方法をより具体的に説明する。本発明に係る３次元プロファイルマップの作成方法は、（ａ）試料画像の全体に対して高さ情報を得るステップ（初期の高さ地図の作成）と、（ｂ）試料の境界線（境界点）に相当する領域の情報を抽出し、前記ステップ（ａ）において求められた境界線領域の高さ情報を用いて境界線以外の領域の高さを内挿法により算出するステップ、といった２つのステップに大きく分けられる。前記ステップ（ａ）は、合焦点の領域に関する正確な高さ情報を得ることが目的である。本発明は、前記ステップ（ａ）においてより一層正確な高さ情報を得、ステップ（ｂ）において高さ情報の整合性を判断し、整合性の低いピクセルの高さ情報を整合性よく補正して、非合焦点の領域を処理する。
【００１４】
前記ステップ（ａ）において、画像の高さ情報を得るために、まず、試料を互いに異なる高さ（距離）から撮像して、焦点部位の異なる多数（例えば、２〜８枚、好ましくは、２〜５枚）の２次元画像を得（Ｓ１０）、前記２次元画像から、合焦点部分の位置情報と高さ情報を取り合わせて一つの高さ地図（例えば、ｘｙ平面上に当該位置の高さ値（入力画像番号）が表示された形のデータである２次元地図。区別し易くするために、カラーごとに高さを表示する場合もある。）を作成する。このために、得られた２次元画像の各ピクセルに対して、（ｉ）焦点整合度の評価、（ii）焦点整合度（焦点情報）からの各ピクセルの高さ情報の算出、および（iii）取り合わせられた高さ情報を用いた高さ地図の作成といった３ステップを行う。
【００１５】
まず、（ｉ）試料画像の各部分に対する焦点整合度の評価方法は、下記の通りである。一般に、合焦点の画像は境界がはっきりしており、最もピントの合った（合焦点が最高の）位置において、光の強さと明暗対比が最大となるため、ピクセル間の明暗対比を用いる境界検出方法により焦点整合度を評価することができる。本発明において、境界検出方法として、通常の信号または画像の分析方法である離散ウェーブレット変換（ＤＷＴ）法を採用する。離散ウェーブレット変換（ＤＷＴ）法は、局所化したウェーブレットを用いて信号を分析する方法であり、多層構造分析によって、様々な解像度の信号分析を行うことができ、局所的な信号の分析に役立つ。特に、離散ウェーブレット変換（ＤＷＴ）を繰り返し行うことにより（多重離散ウェーブレット変換）、上位レベルに上がるにつれて、平均値平滑化効果が高まるため、同型ノイズなどの非インパルス型ノイズが除去されるというメリットがあるが、インパルス型ノイズは依然として残留するため、高さ地図が整合性を有するように後加工してインパルス型ノイズを除去する。
【００１６】
試料の２次元画像に対して離散ウェーブレット変換（ＤＷＴ）を行うと（Ｓ２０）、図３ＡのＡに示すように、ＬＬ、ＨＬ、ＬＨ、ＨＨからなる４個のサブーバンドに画像が分けられる。ここで、ＬＬは解像度が１／４に減少された原画像の縮小画像であり、近似サブーバンド（Ａｐｐｒｏｘｉｍａｔｉｏｎ Ｓｕｂ−ｂａｎｄ）と呼ばれ、ＨＬサブーバンドは、垂直方向の画像情報の変化の度合い（例えば、原画像に対して離散ウェーブレット変換（ＤＷＴ）を１回行った場合、ＨＬサブーバンドの係数は垂直方向への画像の明るさの変化の度合いを示し、離散ウェーブレット変換（ＤＷＴ）を２回以上行った場合、ＨＬサブーバンドの係数は縮小された画像の情報変化を表わす。）、ＬＨは、水平方向の画像情報の変化の度合い、ＨＨは、対角線方向の画像情報の変化の度合いを表わす。例えば、ＬＨが大きいということは、水平方向への画像情報の変化が大きいことを意味するため、垂直方向の境界が存在することを意味する。前記ＬＨ、ＨＬ、ＨＨを詳細サブーバンド（Ｄｅｔａｉｌ Ｓｕｂ−ｂａｎｄ）と称する（例えば、米国特許６,１５１,４１５号などを参照されたい）。かかる離散ウェーブレット変換（ＤＷＴ）は、原画像の解像度に応じて、１枚の原画像に対して２回（図３ＡのＢおよび図３Ｂ）、３回（図３ＡのＣ）など、多数回に亘って行うことができる。既に離散ウェーブレット変換（ＤＷＴ）の行われた画像に重ねて離散ウェーブレット変換（ＤＷＴ）を行う場合、現在得られたＬＬサブーバンドに対して離散ウェーブレット変換（ＤＷＴ）を行うことにより、図３ＡのＢまたはＣなどの多層（マルチレベル）構造の画像を得る。このように、離散ウェーブレット変換（ＤＷＴ）を行うことにより得られた詳細サブーバンドのウェーブレット係数（例えば、図３Ｂには、１６個のピクセルに対するウェーブレット係数が示してある。）は、画像の明暗対比の特性を反映するため、詳細サブーバンドのウェーブレット係数のうち、絶対値が最大となる値を取り合わせると、境界検出が可能となる。なお、近似サブーバンド値は、ノイズの除去された低解像度の画像であるため、これを用いても、境界検出などの画像処理を行うことが可能である。すなわち、本発明は、従来より画像の境界検出や信号分析に用いられてきたフーリエ分析の代わりに、様々な解像度で局所的なデータアクセスが行える離散ウェーブレット変換（ＤＷＴ）法を応用して、焦点整合度を評価（計算）する。このような離散ウェーブレット変換（ＤＷＴ）を用いた焦点整合度の評価方法の一例は、本出願人による大韓民国特許出願第１０−２０１０−００５４８６１号（出願日：２０１０年０６月１０日）にも開示されており、前記特許出願の内容は、参照としてこの明細書中に取り込まれる。例えば、入力解像度が１６００ｘ１２００の画像から、解像度が約１００ｘ１００の画像を得るために、約３回に亘って離散ウェーブレット変換（ＤＷＴ）を行い、離散ウェーブレット変換（ＤＷＴ）を行うことにより得られた詳細サブーバンド（ＬＨ、ＨＬ、ＨＨ）のピクセル係数の最大値（すなわち、ＬＨ、ＨＬ、ＨＨサブーバンド係数値のうちの最大値）を、当該画像における各ピクセルの焦点整合度であると判断する。同様に、入力されたそれぞれの画像に対して、ピクセル係数の最大値を得る。本発明において、離散ウェーブレット変換（ＤＷＴ）は、１回以上の多重に行われ、変換回数は、原画像の解像度、合成されるピクセルの大きさなどに応じて、１〜１０回、好ましくは、２〜５回行われる。
【００１７】
次いで、各ピクセルに対して、前記ピクセルの係数値が最大となる画像の高さ（撮像または焦点距離）を、当該ピクセルに対する合焦点の位置（高さ）であると判断し、当該ピクセルにこの高さを指定する。これは、前記（ii）焦点整合度（焦点情報）から各ピクセルの高さ情報を算出する過程である。つまり、画像の各ピクセルに対する焦点整合度（焦点情報）から、各ピクセルの高さ情報を得るのである。次いで、（iii）取り合わせられた高さ情報を用いて高さ地図を作成するステップにおいて、ピクセル単位で画像の高さ地図を作成し、このようにして作成された初期の高さ地図の一例が図４に示してある。図４は、４枚の金属板と円形の金属構造物がほとんど同じ高さに構成されたサンプルの初期の高さ地図であり、前記円形の金属構造物の中央部（図４における真ん中の黒色部）が部分的に凹んでいる（窪んでいる）ような構造を有する。
【００１８】
このようにして得られた初期の高さ地図においては、上述したように、インパルス型ノイズが除去されていない状態であり、ピクセル単位の明暗対比値は外部の環境要素に敏感であるため、得られた高さの整合性を確認することが好ましい。ピクセル単位の敏感度を緩和しつつも、ウェーブレット係数の境界値情報を保持するには、ピクセルの周辺にウィンドウを設定し、このウィンドウ内においてウェーブレット係数を比較することが有効である（Ａ ｗａｖｅｌｅｔ−ｂａｓｅｄ ｉｍａｇｅ ｆｕｓｉｏｎ ｔｕｔｏｒｉａｌ， Ｇ． Ｐａｊａｒｅｓ ａｎｄ Ｊ．Ｍ． ｄｅ ｌａ Ｃｒｕｚ， Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ ３７ （２００４） １８５５〜１８７２参照）。かようなウィンドウ基盤の合成方法は、高さ地図を作成するに際して焦点整合度を判断するために用いられるか、あるいは、整合性を確認するに際して単にフィルターを適用するために用いられる。しかしながら、このようなウィンドウ基盤の方式を用いると、全ての入力画像の全てのピクセルに対してウィンドウ演算が必要となるため、速度が遅くなってしまう。このため、本発明においては、ウェーブレット係数の意味（焦点整合度）を保持しつつ、計算が簡単に行われるように、ウィンドウ（例えば、当該ピクセルを中心とする３ｘ３ピクセルサイズの検証ウィンドウ）内のウェーブレット係数を入力高さに応じてグループ化する。一般に、１つ若しくは２つのピクセルのみ特異的な高さを有する試料は多くないため、ウィンドウ中に境界が存在すれば、ほとんどの場合は境界点ではない境界線の形で存在し、同じ高さを有する境界線のウェーブレット係数の和は、異なる高さを有するウェーブレット係数の和よりも大きい。たとえウィンドウ内のいずれかのピクセルが周辺と高さが大きく異なるインパルスノイズの形を帯びて大きいウェーブレット係数を有するとしても、ウィンドウ中に境界が存在すれば、一般に境界点の数がインパルス型ノイズよりも多く、境界点のウェーブレット係数は大きな値を有するため、同じ高さにある境界点のウェーブレット係数の和は、普通、同じ高さにあるインパルスノイズのウェーブレット係数よりも大きい。このため、本発明においては、ウィンドウ内において同じ高さとして計算されたピクセルをグループ化し、グループ化されたピクセルのウェーブレット係数を加算し、高さに応じたウェーブレット係数の和を比較して、最も大きな値を与える高さを当該ピクセルの実際の高さで補正する（Ｓ２４）。以下、この方式をグループ化した係数和検証（Ｇｒｏｕｐｅｄ Ｃｏｅｆｆｉｃｉｅｎｔｓ Ｓｕｍｍａｔｉｏｎ Ｖｅｒｉｆｉｃａｔｉｏｎ：ＧＣＳＶ）方式と呼ぶ。検証ウィンドウ内において、同じ高さのウェーブレット係数のグループ化は、前記ステップ（ii）において得られた当該ピクセルの入力画像の番号（高さ）を基準としてグループ化される。すなわち、同じ高さのウェーブレット係数は、同じグループにくくる。例えば、互いに異なる３つの高さ（１、２および３）から試料を撮像して、焦点部位の異なる３つの２次元画像を得た場合、高さ１に相当するウェーブレット係数を同じグループにくくり、高さ２に相当するウェーブレット係数を同じグループにくくり、高さ３に相当するウェーブレット係数を同じグループにくくる。なお、上述した方法だけでは、インパルスノイズが完全に除去されないため、中央値フィルターリング（メディアンフィルターリング）を１回以上行うことにより、インパルスノイズの除去された１次補正済み高さ地図を作成することが好ましい（Ｓ２６）。前記中央値フィルターリングを行うためには、フィルターをかけようとするピクセルを中心として適当な領域のウィンドウ（例えば、５ｘ５ピクセル）を設定し、前記ウィンドウ内に存在する全ての高さ情報を昇順若しくは降順に並べ替え、その中央値で最初に選択したピクセルの高さ情報を補正（取り替え）する。このように、境界領域に対する正確な高さが反映されて、ピクセルの高さが周辺ピクセルの高さと整合されるように１次補正された画像地図の一例を図５に示す。図４は、離散ウェーブレット変換（ＤＷＴ）後に、単に焦点整合度を用いてプロットした高さ地図であり、図５は、図４の高さ地図に対して、前記グループ化された係数和検証方式（ＧＣＳＶ）と中央値フィルターリングを行うことにより得られた高さ地図である。図５は、図４に比べて、隣り合うピクセル間の高さのばらつきが低減されていることが分かる。
【００１９】
このようにして作成された１次補正済み高さ地図は、図５に示すように、非合焦点の領域において高さのばらつきが激しく現れ、高さ情報が不連続的に入力されるため、高さの変化を正しく表示することができないという問題がある。高さ情報が不連続的に（離散化して）入力され、実際の試料が図６に示すように連続的な高さ分布を有すると、図７（横軸は試料の位置、縦軸は試料の高さを表す）に示すように、図６の横軸に平行な点線よりも高い個所はＨ値、それよりも低い個所はＬ値を有する高さ分布を示す。図６および図７中、グラフは実際のサンプルのプロファイルを示すものであり、ボックス内の数は、デジタルの形で入力されたサンプルの高さ情報であり、例えば、０はＬ、１はＨに相当し、中央値はＨに設定してもよく、Ｌに設定してもよいため、０．５という値を使用した。ここで、一旦中央値が決定された限り、これを変えることはできない。このため、この方式では、試料が階段状の勾配を有するか、あるいは、連続的な勾配を有するかを区別することはできない。ところが、勾配が不連続的であるピクセルの位置を比較すれば、連続的な高さの変化と不連続的な高さの変化とを区別することができる。図７中、不連続的な勾配の位置は、階段が始まる１点であるか、あるいは、階段の勾配がやや緩やかな場合、階段が上がり始まる点と、階段が上がり終わる点といった２点である。連続的に高さが変化する試料の場合にも、高さが上がり始まる点と、それ以上上がらない点といった２点である。２つの場合を比較すれば、不連続的な勾配が現れる点が近づいた場合には勾配が急峻であり、そうではない場合には勾配が緩やかである。このため、勾配の不連続点が勾配を判断する上で重要な根拠となる。
【００２０】
高さ分布の判断に際して重要な根拠となる高さ勾配の不連続点は、焦点整合度により把握することができる。このために、それぞれの入力画像において、離散ウェーブレット変換（ＤＷＴ）の行われた、好ましくは、最高レベル（Ｈｉｇｈｅｓｔ ｌｅｖｅｌ）まで 離散ウェーブレット変換（ＤＷＴ）が行われ、必要に応じて、非インパルス型ノイズが除去された画像の近似サブーバンド領域に対して、焦点整合度を計算する（Ｓ２８）。図８は、Ｌ、Ｈといった２種類の高さを測定するとき、焦点が高さＬに結ばれる３つの光と、高さが連続的に変わる試料を示す図である。Ｌの位置に達した光１、２は焦点が正確に合ったため、焦点整合度が高く評価されるのに対し、ピントが合っていない（非合焦点）３の光は焦点整合度が低く評価される。前記近似サブーバンド領域において、特定のピクセルの焦点整合度は、次式１に示すように、当該ピクセル（座標：（ｘ，ｙ））の明るさ（Ｉ（ｘ，ｙ））と、周辺４点（座標：（（ｘ，ｙ＋１）、（ｘ，ｙ−１）、（ｘ＋１，ｙ）、（ｘ−１，ｙ））の明るさとの差の絶対値の和として計算され得る。
【００２１】
【数１】
【００２２】
このとき、前記焦点整合度にフィルターをかけて、例えば、閾値を設定して、高域通過フィルターをかけると（Ｓ３０）、合焦点の点（１、２の点）は残留し、非合焦点の点（３の点）は消える。例えば、隣り合う両ピクセルの明るさ（ｉｎｔｅｎｓｉｔｙ）の差が４０以上であれば、ピクセル間の境界がはっきりと現れるが、このような明るさの差を示すピクセルが上下左右の４方向に少なくとも２つ存在するとき、すなわち、フィルターをかけようとするピクセルが孤立されていない線としての意味を有するときを閾の条件とする。実験の結果、この場合、閾値が８０〜１２０の場合に、輪郭線の形態のみが全く残る。このため、この場合の閾値は８０、好ましくは、１００に設定することができる。よって、本発明においては、前記焦点整合度が、隣り合う両ピクセルの境界が現れる（すなわち、明らかになる）明るさの差の３倍未満、好ましくは、２．５倍未満、さらに好ましくは、２倍未満であれば、非合焦点のピクセルと見なして、高さ情報を除去する。ここで、「隣り合う両ピクセルの境界が現れる明るさの差」は、画像の輪郭線が現れる明るさの差を実験的に決定することができる。このように、焦点整合度にフィルターをかけると、残留した点は境界がはっきりしている境界点であり、ここには勾配が不連続的な点（図８における２番の位置）が含まれる。このとき、前記閾値をあまりにも低く設定すれば（例えば、５０）、非合焦点の部分が残留し（図９参照）、前記閾値を適度に設定すれば（例えば、１００）、境界点は残留し、非合焦点の領域の点を消去することができる（図１０参照）。図９および図１０において、円形の試料画像内の白抜き部は境界線として認識されて消去されずに残留した点であり、黒色部は境界線以外の部分として認識されて消去された部分である。図９に示すように、未消去点（白抜き部）が多ければ、画像は全体的に明るくなるが、境界としての意味は薄くなり、図１０においては、境界以外の点が十分に除去された状態を示す。前記ピクセルの高さ情報の消去において、境界に相当するピクセルの高さ情報のみ残留して、画像の境界線がいずれも鮮やかに見えることが好ましく、もし、一部の境界情報が失われるとしても、全体的な境界情報は残留し、且つ、境界線以外のピクセルはいずれも消去されることが好ましい。観察される試料の画像、高さの変化などによるが、焦点が合わなくて高さ情報が消去されるピクセルの数の非限定的な例は、全体のピクセルに対して１０〜７０％、具体的に２０〜５０％、さらに具体的には３０〜４０％である。ここで、閾値を通過した境界点がいずれも勾配が連続していない点ではないものの、図１１および図１２に示すように、同じ高さに存在し、且つ、隣り合う境界点の集まりの周縁にある点は、勾配が連続していない点である。具体的に、図１１および図１２中、１、２、３、４は境界点であり、１′、２′、３′、４′は高域通過フィルターによって消去された点である。
【００２３】
このように、前記フィルターを通過できずに消去された点の高さを、フィルターを通過した点の高さ値（例えば、前記ステップＳ２６において求められた１次補正済みの高さ値）を内挿して算出し（Ｓ３２）、これを用いて最終的に高さ地図を完成する。高さの不連続点は高さ分布を分析する上で重要な役割を果たすが、実際に高さ地図を作成するに際しては、別途に抽出を行う必要がない。境界点は高さ値をそのまま使用し、消去された点（非境界点）は、周辺において相対する最も近い２つの境界点の高さを内挿して、高さを求めることにより、勾配の変化に関する情報が十分に得られるためである。例えば、図１１および図１２において、１′のように、境界点ではないものの、境界点として残留した点と同じ高さにある点は、周辺にある境界点の内挿を通じて、周辺境界点と同じ高さを有する。これに対し、２′のように、高さの異なる境界点の間にある点は、周辺の境界点の高さから内挿して、中間の高さを有する。このとき、内挿される点の高さは、境界点の高さの重み付け平均を求めるものであり、重み付け値は近い境界値に一層大きく影響されるため、距離逆数（１／ｒ）の関数または距離のガウス関数として与えられる。例えば、ガウス関数と重み付け値関数を１／ｒで展開したとき（ここで、ｒは、内挿される点と境界点との距離を表わす。）、最も低い次数である１／ｒを重み付け値として適用するか、あるいは、ガウス関数の場合、ｅｘｐ（−ｒ２／１０００）を重み付け値として用いて、好適な結果を得ることができた。
【００２４】
一方、図６及び図７などに示す１次元試料とは異なり、２次元の実際の試料においては、境界値が閉曲線の形だけではなく、開曲線、点の集まりなどの形で存在してもよい。このため、本発明においては、高さが算出されるべき消去された点から最も近い個所に位置している３〜７個、例えば、５個の境界点から内挿を行うことが好ましい。内挿に用いられる境界点の検出には、内挿される点（消去された点）を中心とする同心円の検索と方位角の検索とを組み合わせて用いる。同心円の検索と方位角の検索が組み合わせられた方式は、図１３に示すように、内挿される点を中心として同心円または同心四角形を描き、中心から外方に向けて検索を行うが、境界点が見出されれば、見出された境界点から、例えば、±３０°、好ましくは、±１５°の範囲（すなわち、境界点が見出された方位角）内においてはそれ以上の境界点を検索しない方式である。図１３中、中空の四角形は、内挿される点の位置、中実の四角形は境界点、点線の四角形は、検索する同心円、薄色の点線で描かれた三角形の部分は、境界点の見出後に検索の対象から除外された方位角の領域を示す。前記方法は、内挿される点を含む単一閉曲線を検索する方法であり、１次元である図１１において２′の点を内挿するに際して、左側に検索する際に境界点２を検索したならば、左側にはそれ以上の検索を行わないことと同じ意味である。このように、境界点が検索されれば、１／ｒ若しくはｅｘｐ（−ｒ２／１０００）を重み付け値に設定し、内挿を行うことにより、消去された点の高さを算出し、前記高さ情報が除去されたピクセルに対して前記内挿によって算出された高さを代入して最終的に高さ地図を完成する（Ｓ３４）。図１４は、本発明に従い最終的に完成された３次元プロファイル（高さ）マップの一例を示す。
【００２５】
このように、試料画像の最終的な高さ地図が完成されれば、当該高さの離散ウェーブレット変換（ＤＷＴ）のサブーバンドで最高レベルのウェーブレットサブーバンド値を再構成し、Ｒ、Ｇ、Ｂそれぞれのカラーに対して、最高レベルのウェーブレットの近似サブーバンドを重み付け平均として、柔らかく連結した後、多重逆離散ウェーブレット変換（Ｉｎｖｅｒｓｅ ＤＷＴ）を行うことにより、入力画像の解像度レベルで最終的な合成画像が得られる。生成された最終的な合成画像は、画像の全領域に亘ってピントの合った（合焦点）、深度の拡張された２次元画像となる。
【特許請求の範囲】
【請求項１】
試料を互いに異なる高さから撮像して、焦点部位の異なる多数の２次元試料画像を得るステップと、
前記試料画像に対して、離散ウェーブレット変換を行うステップと、
それぞれの試料画像に対して離散ウェーブレット変換を行うことにより得られた詳細サブーバンドにおいて、各ピクセルの詳細サブーバンド係数値を比較して、最大係数値を示す画像の撮像高さで、各ピクセルに対する初期の高さ地図を作成するステップと、
それぞれの入力画像において、離散ウェーブレット変換の行われた画像の近似サブーバンド領域に対して、ピントの度合い（焦点整合度）を計算するステップと、
前記焦点整合度にフィルターをかけて、合焦点のピクセル（境界点）の高さ情報は残留させ、非合焦点のピクセル（非境界点）の高さ情報は除去するステップと、
前記フィルターを通過できずに除去されたピクセル（非境界点）の高さを、フィルターを通過したピクセル（境界点）の高さ値から内挿して算出するステップと、
前記高さ情報の除去されたピクセルに対して前記内挿によって算出された高さを代入して高さ地図を作成するステップと、
を含む３次元プロファイルマップの作成方法。
【請求項２】
前記初期の高さ地図を作成するステップ後に、各ピクセルを中心とする検証ウィンドウ内において、同じ高さとして計算されたピクセルの詳細サブーバンドウェーブレット係数を加算し、高さに応じたウェーブレット係数の和を比較して、最も大きな値を与える高さを当該ピクセルの実際の高さで補正するステップを
さらに含む、請求項１に記載の３次元プロファイルマップの作成方法。
【請求項３】
前記検証ウィンドウは、各ピクセルを中心として３ｘ３のピクセルサイズを有するものである、請求項２に記載の３次元プロファイルマップの作成方法。
【請求項４】
前記詳細サブーバンドウェーブレット係数が加算される、すなわち、グループ化されるピクセルを選定する方法は、検証ウィンドウ内において同じ高さに相当するピクセルを同じグループとして選定することである、請求項２に記載の３次元プロファイルマップの作成方法。
【請求項５】
前記近似サブーバンド領域の焦点整合度は、次式１に示すように、当該ピクセル（座標：（ｘ，ｙ））の明るさ（Ｉ（ｘ，ｙ））と、周辺４点（座標：（（ｘ，ｙ＋１）、（ｘ，ｙ−１）、（ｘ＋１，ｙ）、（ｘ−１，ｙ））の明るさとの差の絶対値の和として計算される、請求項１に記載の３次元プロファイルマップの作成方法。
【数１】
【請求項６】
前記焦点整合度が、隣り合う両ピクセルの境界が現れる明るさの差の３倍未満であれば、非合焦点のピクセルと見なして高さ情報を除去する、請求項５に記載の３次元プロファイルマップの作成方法。
【請求項７】
前記内挿される点の高さは、境界点の高さの重み付け平均から求められ、前記重み付け平均の重み付け値関数は、距離逆数（１／ｒ、ここで、ｒは、内挿される点と境界点との間の距離を表わす。）の関数であるか、あるいは、距離のガウス関数である、請求項１に記載の３次元プロファイルマップの作成方法。
【請求項８】
前記重み付け平均の重み付け値関数は、１／ｒまたはｅｘｐ（−ｒ２／１０００）である、請求項７に記載の３次元プロファイルマップの作成方法。
【請求項９】
前記非境界点の高さを内挿するための境界点の選択は、内挿される点（境界点）を中心として同心円または同心四角形を描き、中心から外方に向けて検索するが、境界点が見出されれば、見出された境界点から±３０°の範囲（境界点が見出された方位角）内においてはそれ以上の境界点を検索しないような方式により行われる、請求項１に記載の３次元プロファイルマップの作成方法。
【請求項１】
試料を互いに異なる高さから撮像して、焦点部位の異なる多数の２次元試料画像を得るステップと、
前記試料画像に対して、離散ウェーブレット変換を行うステップと、
それぞれの試料画像に対して離散ウェーブレット変換を行うことにより得られた詳細サブーバンドにおいて、各ピクセルの詳細サブーバンド係数値を比較して、最大係数値を示す画像の撮像高さで、各ピクセルに対する初期の高さ地図を作成するステップと、
それぞれの入力画像において、離散ウェーブレット変換の行われた画像の近似サブーバンド領域に対して、ピントの度合い（焦点整合度）を計算するステップと、
前記焦点整合度にフィルターをかけて、合焦点のピクセル（境界点）の高さ情報は残留させ、非合焦点のピクセル（非境界点）の高さ情報は除去するステップと、
前記フィルターを通過できずに除去されたピクセル（非境界点）の高さを、フィルターを通過したピクセル（境界点）の高さ値から内挿して算出するステップと、
前記高さ情報の除去されたピクセルに対して前記内挿によって算出された高さを代入して高さ地図を作成するステップと、
を含む３次元プロファイルマップの作成方法。
【請求項２】
前記初期の高さ地図を作成するステップ後に、各ピクセルを中心とする検証ウィンドウ内において、同じ高さとして計算されたピクセルの詳細サブーバンドウェーブレット係数を加算し、高さに応じたウェーブレット係数の和を比較して、最も大きな値を与える高さを当該ピクセルの実際の高さで補正するステップを
さらに含む、請求項１に記載の３次元プロファイルマップの作成方法。
【請求項３】
前記検証ウィンドウは、各ピクセルを中心として３ｘ３のピクセルサイズを有するものである、請求項２に記載の３次元プロファイルマップの作成方法。
【請求項４】
前記詳細サブーバンドウェーブレット係数が加算される、すなわち、グループ化されるピクセルを選定する方法は、検証ウィンドウ内において同じ高さに相当するピクセルを同じグループとして選定することである、請求項２に記載の３次元プロファイルマップの作成方法。
【請求項５】
前記近似サブーバンド領域の焦点整合度は、次式１に示すように、当該ピクセル（座標：（ｘ，ｙ））の明るさ（Ｉ（ｘ，ｙ））と、周辺４点（座標：（（ｘ，ｙ＋１）、（ｘ，ｙ−１）、（ｘ＋１，ｙ）、（ｘ−１，ｙ））の明るさとの差の絶対値の和として計算される、請求項１に記載の３次元プロファイルマップの作成方法。
【数１】
【請求項６】
前記焦点整合度が、隣り合う両ピクセルの境界が現れる明るさの差の３倍未満であれば、非合焦点のピクセルと見なして高さ情報を除去する、請求項５に記載の３次元プロファイルマップの作成方法。
【請求項７】
前記内挿される点の高さは、境界点の高さの重み付け平均から求められ、前記重み付け平均の重み付け値関数は、距離逆数（１／ｒ、ここで、ｒは、内挿される点と境界点との間の距離を表わす。）の関数であるか、あるいは、距離のガウス関数である、請求項１に記載の３次元プロファイルマップの作成方法。
【請求項８】
前記重み付け平均の重み付け値関数は、１／ｒまたはｅｘｐ（−ｒ２／１０００）である、請求項７に記載の３次元プロファイルマップの作成方法。
【請求項９】
前記非境界点の高さを内挿するための境界点の選択は、内挿される点（境界点）を中心として同心円または同心四角形を描き、中心から外方に向けて検索するが、境界点が見出されれば、見出された境界点から±３０°の範囲（境界点が見出された方位角）内においてはそれ以上の境界点を検索しないような方式により行われる、請求項１に記載の３次元プロファイルマップの作成方法。
【図４】
【図５】
【図１】
【図２】
【図３Ａ】
【図３Ｂ】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図５】
【図１】
【図２】
【図３Ａ】
【図３Ｂ】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１２−２２０４９０（Ｐ２０１２−２２０４９０Ａ）
【公開日】平成２４年１１月１２日（２０１２．１１．１２）
【国際特許分類】
【出願番号】特願２０１１−２８５８９５（Ｐ２０１１−２８５８９５）
【出願日】平成２３年１２月２７日（２０１１．１２．２７）
【出願人】（５０６４０８３９１）ヒュビッツ カンパニー リミテッド (1)
【Ｆターム（参考）】
【公開日】平成２４年１１月１２日（２０１２．１１．１２）
【国際特許分類】
【出願日】平成２３年１２月２７日（２０１１．１２．２７）
【出願人】（５０６４０８３９１）ヒュビッツ カンパニー リミテッド (1)
【Ｆターム（参考）】
[ Back to top ]