拡大観察装置、画像ファイル生成装置、画像ファイル生成プログラム、３次元画像表示プログラム及びコンピュータで読み取り可能な記録媒体又は記録した機器
【課題】照明を付した３次元画像を容易に管理、扱うことのできる拡大観察装置等を提供する。
【解決手段】拡大観察装置は、観察対象を撮像して２次元観察画像を取得するための撮像部と、撮像部で取得した複数の２次元観察画像と、撮像時の高さ情報に基づいて、観察対象の３次元の観察画像を生成すると共に、３次元観察画像に対して仮想的に光源を配置し、光源から発する照明光を３次元観察画像に照射して生じる光の反射の状態を表現した反射付３次元観察画像を生成可能な制御部と、光源によって得られる照明の効果を調整可能な照明設定部と、制御部で生成された３次元画像データ及び照明設定部で設定された照明条件データとを任意の２次元画像データに埋め込んで、一の画像データファイルとして生成可能なファイル生成部と、ファイル生成部で生成された画像データファイルを保存するための画像データ記憶部とを備える。
【解決手段】拡大観察装置は、観察対象を撮像して２次元観察画像を取得するための撮像部と、撮像部で取得した複数の２次元観察画像と、撮像時の高さ情報に基づいて、観察対象の３次元の観察画像を生成すると共に、３次元観察画像に対して仮想的に光源を配置し、光源から発する照明光を３次元観察画像に照射して生じる光の反射の状態を表現した反射付３次元観察画像を生成可能な制御部と、光源によって得られる照明の効果を調整可能な照明設定部と、制御部で生成された３次元画像データ及び照明設定部で設定された照明条件データとを任意の２次元画像データに埋め込んで、一の画像データファイルとして生成可能なファイル生成部と、ファイル生成部で生成された画像データファイルを保存するための画像データ記憶部とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、拡大した画像を撮像して表示するマイクロスコープや顕微鏡のような拡大観察装置、画像ファイル生成装置、画像ファイル生成プログラム、３次元画像表示プログラム及びコンピュータで読み取り可能な記録媒体又は記録した機器に関する。
【背景技術】
【０００２】
今日、微小物体等を拡大して表示する拡大観察装置として、光学レンズを使った光学顕微鏡やデジタルマイクロスコープ等が利用されている。マイクロスコープは、光学系を介して入射する観察対象固定部に固定された観察対象からの反射光または透過光を、２次元状に配置された画素毎に電気的に読み取るＣＣＤ等の受光素子を備える。ＣＣＤを用いて電気的に読み取られた画像をディスプレイ等の表示部に表示する（例えば特許文献１）。
【０００３】
拡大観察装置においては、一般に拡大倍率が高くなると焦点深度が浅くなり、ピントの合う領域が狭くなるため、観察対象の試料（ワーク）に凹凸や高低差があると全体を観察することが困難となる。このため、画像全体にピントの合った画像を深度合成によって作成する手法が利用されている。深度合成は、高さ方向にレンズまたは試料を移動させ、光軸方向における相対距離を変化させて複数の画像を撮影し、ピントの合った部分を抽出して合成することで、焦点深度の深い画像を撮像する。また、複数の画像を撮影する際に、レンズまたは観察対象の移動量を同時に記録しておけば、合成画像を作成する際に観察対象の高さ情報も得ることができるので、取得した画像を３次元データとして構築することも可能である。３次元データに基づいて３Ｄ画像を拡大観察装置の表示部に再現することで、様々な視点や角度から立体的に画像を観察、評価したり、高さ等表面形状の測定を行うことができる。
【０００４】
一方で、拡大観察においては観察対象の試料に照明を行い、陰影の付き方によって表面の凹凸状態を確認することが行われている。このような照明観察においては、照明の位置や角度、光量等を変化させることにより生じる様々な陰影パターンを比較して、表面の凹凸状態をより視覚的に把握し易くできる。しかしながら、実際に照明の位置や角度、強度といった条件を変化させて複数の観察像を撮像することは、非常に手間も時間もかかり面倒である。そこで、得られた３次元画像データに対し、仮想的に照明光を照射して陰影パターンを表現する照明シミュレーションを行うことで、照明パラメータを変化させた反射付３次元観察画像を擬似的に表現することができる（例えば特許文献２）。これにより、実際に照明位置や強度等を変化させて撮像を行うことなく、演算によって照明条件を変化させた観察像を容易に取得することが可能となる。
【０００５】
しかしながら、このような反射付３次元観察画像を再利用のために保存することは困難であった。従来、特定の照明条件で表示された反射付３次元観察画像を２次元画像として保存し、一方で３次元画像データを専用のフォーマットで個別に保存しており、照明条件を保存することはできなかった。このため、照明シミュレーションを再現するには、反射付３次元観察画像の２次元画像取得時に予めすべての照明条件をメモしておき、これと同じ条件を指定したり、あるいは反射付３次元観察画像を表示する２次元画像を参照しながら元の３次元画像に対して照明シミュレーションを実行し、２次元画像と同様の見え方となるように照明条件を調整していた。しかしながら前者の方法では照明シミュレーションを実行する毎にすべてのパラメータをメモし、かつ該当するデータとの関連付けを記録しておく必要があり、また照明シミュレーションを再現するにはメモを見ながらすべてのパラメータを同じ値に設定する必要があり、メモの管理も含めて煩雑であった。また後者の方法でも手間や時間がかかる上、完全な再現が困難であった。さらにいずれの方法でも、同じ観察対象に対して２次元と３次元という複数の画像データファイルを管理する必要が生じる。特に、３次元画像データファイルは通常２次元画像データファイルとの間で特別な関連付けがなされていないため、ユーザ側で同じファイル名を付ける、あるいはファイル同士の対応関係をメモしておく等の工夫が必要となり、管理が面倒となる。またファイル数が多くなるとファイルの対応関係の把握が複雑になり、必要なファイルが直ぐに探せ出せなかったり、ファイルが散逸するおそれもある。またファイルの保存、オープンも２次元画像データ、３次元画像データそれぞれで必要となり、操作が煩雑となる。
【０００６】
また、２次元画像データのフォーマットは規格化された汎用的なデータ形式が普及しており、例えばｊｐｅｇやｔｉｆｆといった２次元画像データを表示可能なアプリケーションソフトが広く普及しているため、多くの環境で容易に扱える。これに対して、３次元データを利用できるアプリケーションソフトは一般的でなく、ファイル形式も独自のフォーマットが多く併存する。このため、多くの環境では３次元データを利用できず、３次元データを扱える専用のアプリケーションソフトを使用していないユーザはこれを扱えないという問題があった。
【特許文献１】特開２０００−２１４７９０号公報
【特許文献２】特開平９−５０７０６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
本発明は、このような問題点を解決するためになされたものである。本発明の主な目的は、照明シミュレーションを容易に再現可能とした拡大観察装置、画像ファイル生成装置、画像ファイル生成プログラム、３次元画像表示プログラム及びコンピュータで読み取り可能な記録媒体又は記録した機器を提供することにある。
【課題を解決するための手段】
【０００８】
上記の目的を達成するために、本発明の拡大観察装置は、観察対象を撮像して２次元観察画像を取得するための撮像部と、撮像部で取得した複数の２次元観察画像と、撮像時の高さ情報に基づいて、観察対象の３次元の観察画像を生成すると共に、３次元観察画像に対して仮想的に光源を配置し、光源から発する照明光を３次元観察画像に照射して生じる光の反射の状態を表現した反射付３次元観察画像を生成可能な制御部と、光源によって得られる照明の効果を調整可能な照明設定部と、制御部で生成された３次元画像データ及び照明設定部で設定された照明条件データとを任意の２次元画像データに埋め込んで、一の画像データファイルとして生成可能なファイル生成部と、ファイル生成部で生成された画像データファイルを保存するための画像データ記憶部とを備える。これにより、画像データファイル中に３次元画像データのみならず照明条件データをも記録できるので、該データファイルに基づいて照明光の反射状態を擬似的に表現した照明シミュレーションを再現できる。またこれらのデータを一のファイルに統合することで、ユーザが扱うファイルが１つですみ、ファイルの管理や扱いを容易にできる利点も得られる。
【０００９】
また、本発明の他の拡大観察装置は、２次元画像データが、所定の照明条件で反射付３次元観察画像を特定の姿勢で表示した反射付２次元観察画像である。これにより、反射付２次元観察画像の観察時と同じ照明条件を保存しておくことで、該データに基づいて照明シミュレーションを実行すれば同一条件で反射付３次元観察画像を再現して観察することが可能となる。
【００１０】
さらに、本発明の他の拡大観察装置は、制御部が生成する反射付３次元観察画像が、観察対象の３次元観察画像の各部位における照明光の反射状態を、他の部位による影響を考慮することなく独立して演算することができる。これにより、３次元観察画像上の各部位において、他の部位によって陰が生じたり、逆に反射光により照明されるといった影響を排除し、本来見難くなるような部位であっても、各部位における照明の結果得られる観察画像のみを演算して表示できるので、陰影がより見易くなり観察に適した反射付３次元観察画像を表示できる。
【００１１】
さらにまた、本発明の他の拡大観察装置は、照明設定部が、光源の位置及び／又は角度を変更可能な光源調整部と、光源から３次元観察画像に仮想的に照射される照明光の反射状態を調整可能な反射調整部とを含む。これにより、光源の位置や角度、光の強度といった光源側のパラメータを調整したり、あるいは３次元観察画像の表面の反射率や拡散といった反射側のパラメータを調整することが可能となり、所望の条件で陰影を付した３次元観察画像を観察することが可能となる。
【００１２】
さらにまた、本発明の他の拡大観察装置は、照明設定部が、照明条件を構成する照明パラメータとして光源の位置、角度、照明光の明るさ、３次元観察画像の表面の反射率、反射する光束の太さ、反射光の拡散、環境光の明るさの少なくともいずれかを調整可能に構成している。これにより、ユーザは各照明パラメータを調整して所望の反射付３次元観察画像を生成することが可能となる。
【００１３】
さらにまた、本発明の他の拡大観察装置は、照明設定部が、予め所定の照明パラメータを設定した複数の照明条件セットに、生成される反射付３次元観察画像のイメージに基づいた名称を付けて選択可能に提示する。これにより、照明条件セットに付与された名称に基づいて、ユーザは感覚的に所望の画像を得るための照明パラメータに容易に設定でき、各パラメータの意味を意識することなく操作しやすい環境が実現される。
【００１４】
さらにまた、本発明の他の拡大観察装置はさらに、制御部で生成された３次元観察画像を表示するための表示部を備える。これにより、表示部で３次元観察画像を容易に確認できる。
【００１５】
さらにまた、本発明の他の拡大観察装置は、表示部において表示される３次元観察画像に、光源の位置を表示可能に構成している。これにより、どの位置に光源があるかをイメージ的に確認可能となり、照明の設定を容易に理解でき、また設定作業を容易に行える。
【００１６】
さらにまた、本発明の他の拡大観察装置は、光源の位置が照明を表現するイメージ画像で表示されている。これにより、照明イメージ画像で光源であることを直感的に理解でき、初心者ユーザでも違和感なく感覚的に操作できる。
【００１７】
さらにまた、本発明の他の拡大観察装置は、照明設定部が、照明イメージ画像を操作することで、光源の位置及び／又は角度を調整可能に構成している。これにより、マウスのドラッグ操作等の視覚的な操作により光源の位置を調整可能で、従来のように座標の入力等面倒な作業を経ることなく照明設定部を操作し易い環境が実現される。
【００１８】
さらにまた、本発明の他の拡大観察装置は、光源の位置から仮想的に照射される照明光の照射方向を示す照射線を、表示部上で反射付３次元観察画像に重ねて表示可能に構成している。これにより、光源から照射される照明光が照射線で線状に表示され、照明の状態をより判り易く表示できる。
【００１９】
さらにまた、本発明の他の拡大観察装置は、照射線が反射付３次元観察画像と交差する点まで延長されて表示可能に構成している。これにより、光源から照射される照明光が反射付３次元観察画像上のどの位置に照射されているかを、照射線の端縁の位置で容易に確認できる。
【００２０】
さらにまた、本発明の他の拡大観察装置は、照射線と直交する平面を表現する平面線を、表示部上で反射付３次元観察画像に重ねて表示可能に構成している。これにより、照明光が反射付３次元観察画像に照射される角度を容易に確認できる。
【００２１】
さらにまた、本発明の他の拡大観察装置は、表示部において表示される３次元観察画像において、表面の形状のみを表示可能に構成している。これにより、例えば３次元観察画像表面にテクスチャ等質感を表す情報を排除し、光源による陰影のみを表示できるため、より判り易い表示状態とできる。
【００２２】
さらにまた、本発明の他の拡大観察装置は、出力部で出力される画像データファイルのフォーマットが、汎用の２次元画像データフォーマットである。これにより、３次元画像データを利用可能なアプリケーションソフトを使用していなくても、２次元画像を読み込み可能な汎用のビューワソフト等で少なくとも２次元画像部分を閲覧することが可能となり、ファイルの汎用性を維持する一方で、専用のソフトを使用すれば３次元画像データの操作が可能となり、ファイルの汎用性と操作性を両立できる。
【００２３】
さらにまた、本発明の他の拡大観察装置は、出力部で２次元画像データ中に埋め込まれる３次元画像データに関する情報を、２次元画像データフォーマット中のユーザが利用可能な領域に記録する。これにより、２次元画像データフォーマットの規格に従い汎用の２次元画像データとしてビューワソフトでの扱いを容易にする一方で、専用のソフトを使用すれば３次元画像データの操作が可能となり、ファイルの汎用性と操作性を両立できる。
【００２４】
さらにまた、本発明の他の拡大観察装置は、出力部で２次元画像データ中に埋め込まれる３次元画像データに関する情報として、３次元画像データを結合していることを示すフラグデータ、３次元画像データの結合領域アドレス、３次元画像データのサイズの少なくともいずれかを含む情報を、２次元画像データフォーマット中のユーザが利用可能な領域に記録する。これにより、２次元画像データの利用を維持しつつ、専用ソフトにより３次元画像データを扱いを容易にできる。
【００２５】
さらにまた、本発明の他の拡大観察装置は、出力部で２次元画像データ中に埋め込まれる３次元画像データのデータ領域を圧縮する。これにより、３次元画像データを含む画像データファイルのサイズをコンパクトにできる。
【００２６】
さらにまた、本発明の他の拡大観察装置は、出力部で出力される画像データファイルのフォーマットが、ｊｐｅｇまたはｔｉｆｆのいずれかである。これにより、広く普及した２次元画像データのビューワソフトを利用して２次元画像データを利用できる。
【００２７】
また、本発明の画像ファイル生成装置は、３次元観察画像を生成するために必要なデータを取得するための入力部と、入力部で取得したデータに基づいて３次元観察画像を構築し表示するための表示部と、表示部に表示される３次元観察画像に対して仮想的に光源を配置し、光源から発する照明光を３次元観察画像に照射して生じる光の反射の状態を表現した反射付３次元観察画像を生成可能な制御部と、光源によって得られる照明の効果を調整可能な照明設定部と、照明設定部で設定された照明条件で表示部に表示される反射付３次元観察画像を２次元画像として取得すると共に、該反射付２次元画像データに、元となる反射付３次元観察画像を生成するための３次元画像データ及び照明条件データを埋め込んで、一の画像データファイルとして生成するためのファイル生成部と、ファイル生成部で生成された画像データファイルを保存するための画像データ記憶部とを備える。これにより、画像データファイル中に３次元画像データのみならず照明条件データをも記録できるので、該データファイルに基づいて照明光の反射状態を擬似的に表現した照明シミュレーションを再現できる。またこれらのデータを一のファイルに統合することで、ユーザが扱うファイルが１つですみ、ファイルの管理や扱いを容易にできる利点も得られる。
【００２８】
さらに、本発明の画像ファイル生成プログラムは、２次元画像データと、該２次元画像データ撮像時の高さ情報とを取得するための機能と、取得した一の観察対象に関する複数の２次元画像データとその高さ情報に基づいて、３次元の観察画像を生成し、表示部に表示する機能と、表示部に表示される３次元観察画像に対して仮想的に光源を配置し、光源から発する照明光を３次元観察画像に照射して生じる光の反射の状態を表現した反射付３次元観察画像を生成するための照明機能と、光源による照明の条件または３次元観察画像表面の反射の条件の少なくともいずれかを調整可能な照明条件設定機能と、照明条件設定機能で設定された照明条件で表示部に表示される反射付３次元観察画像を２次元画像として取得すると共に、該反射付２次元画像データに、元となる反射付３次元観察画像を生成するための３次元画像データ及び照明条件データを埋め込んで、一の画像データファイルとして生成するためのファイル生成機能と、ファイル生成機能で生成された画像データファイルを保存するための画像データ記憶機能とをコンピュータに実現させるものである。これにより、画像データファイル中に３次元画像データのみならず照明条件データをも記録できるので、該データファイルに基づいて照明光の反射状態を擬似的に表現した照明シミュレーションを再現できる。またこれらのデータを一のファイルに統合することで、ユーザが扱うファイルが１つですみ、ファイルの管理や扱いを容易にできる利点も得られる。
【００２９】
さらにまた、本発明の３次元画像表示プログラムは、２次元画像データフォーマットで構築された画像データファイル中に、２次元観察画像に関する２次元画像データと、３次元観察画像に関する３次元画像データとが記録されており、該画像データファイルに記録された画像データを表示可能な３次元画像表示プログラムであって、画像データファイルを読み込み、該画像データファイルに記録された３次元画像データに基づき、３次元観察画像を表示部に表示すると共に、該３次元観察画像に対して移動、回転、拡大／縮小の少なくともいずれかの操作が可能な表示機能と、画像データファイルが、該画像データファイル中に含まれる３次元画像データに対して仮想的に光源を配置した状態で、光源から発する照明光を該３次元観察画像に照射して生じる光の反射の状態を表現した反射付３次元観察画像を生成するための照明条件データを含む場合、表示機能で表示される３次元観察画像に対して、照明条件データに基づいて反射付３次元観察画像を生成すると共に、照明条件を構成する照明パラメータを変更可能な調整機能とをコンピュータに実現させるものである。これにより、画像データファイルに記録された３次元画像データを表示させると共に、照明条件を変化させて照明シミュレーションを実行することが可能となる。
【００３０】
さらにまた、本発明の他の３次元画像表示プログラムは、画像データファイルがさらに、該画像データファイル中に含まれる２次元画像データが、３次元画像データ及び照明条件データに基づいて生成される反射付３次元観察画像を２次元画像として表示した反射付２次元観察画像である場合、調整機能は、３次元画像データ及び照明条件データに基づいて、反射付２次元観察画像と同じ見え方で反射付３次元観察画像を構築可能である。これにより、画像データファイルに記録された反射付２次元観察画像を３次元画像で正確に再現可能とでき、照明シミュレーションを用いた観察を容易にできる。
【００３１】
さらにまた、本発明の他の３次元画像表示プログラムは、２次元画像データフォーマットで構築された画像データファイル中に、２次元観察画像に関する２次元画像データと、３次元観察画像に関する３次元画像データとが記録されており、該画像データファイルに記録された画像データを表示可能な３次元画像表示プログラムであって、画像データファイルを読み込み、該画像データファイルに記録された３次元画像データに基づき、３次元観察画像を表示部に表示すると共に、該３次元観察画像に対して移動、回転、拡大／縮小の少なくともいずれかの操作が可能な表示機能と、画像データファイルが、該画像データファイル中に含まれる３次元画像データに対して仮想的に光源を配置した状態で、光源から発する照明光を該３次元観察画像に照射して生じる光の反射の状態を表現した反射付３次元観察画像を生成するための照明条件データを含む場合、表示機能で表示される３次元観察画像に対して、照明条件データに基づいて反射付３次元観察画像を生成すると共に、照明条件を構成する照明パラメータを変更可能な調整機能と、調整機能により所望の照明条件に調整された反射付３次元観察画像を２次元画像として取得すると共に、画像データファイルに記録された２次元画像データを、該反射付３次元観察画像を表示する反射付２次元画像で更新する２次元画像更新機能とをコンピュータに実現させるものである。これにより、埋め込まれた３次元画像データを利用して視点、拡大率を変化させながら観察することができ、また画像データファイルに記録された２次元画像データの部分を、所望の照明条件で取得した３次元観察画像を示す２次元画像データに差し替えることができる。
【００３２】
また本発明のコンピュータで読み取り可能な記録媒体又は記録した機器は、上記プログラムを格納するものである。記録媒体には、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷやフレキシブルディスク、磁気テープ、ＭＯ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ、ＤＶＤ＋Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、Ｂｌｕ−ｒａｙ、ＨＤ ＤＶＤ（ＡＯＤ）等の磁気ディスク、光ディスク、光磁気ディスク、半導体メモリその他のプログラムを格納可能な媒体が含まれる。またプログラムには、上記記録媒体に格納されて配布されるものの他、インターネット等のネットワーク回線を通じてダウンロードによって配布される形態のものも含まれる。さらに記録した機器には、上記プログラムがソフトウェアやファームウェア等の形態で実行可能な状態に実装された汎用もしくは専用機器を含む。さらにまたプログラムに含まれる各処理や機能は、コンピュータで実行可能なプログラムソフトウエアにより実行してもよいし、各部の処理を所定のゲートアレイ（ＦＰＧＡ、ＡＳＩＣ）等のハードウエア、又はプログラムソフトウエアとハードウェアの一部の要素を実現する部分的ハードウエアモジュールとが混在する形式で実現してもよい。
【発明の効果】
【００３３】
本発明の拡大観察装置、画像ファイル生成装置、画像ファイル生成プログラム、３次元画像表示プログラム及びコンピュータで読み取り可能な記録媒体又は記録した機器によれば、２次元画像データ中に３次元画像データ及び照明条件を記録することができ、３次元画像のみならずこれに照明光を照射した反射付３次元画像をも再現できる。特に、汎用的に表示が容易な２次元画像データ中に、３次元画像データを埋め込んで利用することにより、ユーザは一のファイルのみを保存すればよく、３次元画像データと２次元画像データを個別に保存し管理する必要が無くなり、ファイルの扱いが容易となる。そして３次元画像データに、照明シミュレーションの実行に必要な照明条件データを持たせることで、既に行われた照明シミュレーションの正確な再現が可能となり、照明シミュレーションを使った観察において便利に使用できる。また一のファイル内に２次元画像データと３次元画像データが格納されているため、ユーザが３次元画像データを扱えるアプリケーションソフトを有していなくとも、２次元画像データの閲覧は汎用的な表示ソフトを利用すれば可能となる。また３次元画像データを利用できる専用のアプリケーションソフトがあれば、埋め込まれた３次元画像データを種々の照明条件を加えて利用できる。
【発明を実施するための最良の形態】
【００３４】
以下、本発明の実施の形態を図面に基づいて説明する。ただし、以下に示す実施の形態は、本発明の技術思想を具体化するための拡大観察装置、画像ファイル生成装置、画像ファイル生成プログラム、３次元画像表示プログラム及びコンピュータで読み取り可能な記録媒体又は記録した機器を例示するものであって、本発明は拡大観察装置、画像ファイル生成装置、画像ファイル生成プログラム、３次元画像表示プログラム及びコンピュータで読み取り可能な記録媒体又は記録した機器を以下のものに特定しない。また、本明細書は特許請求の範囲に示される部材を、実施の形態の部材に特定するものでは決してない。特に実施の形態に記載されている構成部品の寸法、材質、形状、その相対的配置等は特に特定的な記載がない限りは、本発明の範囲をそれのみに限定する趣旨ではなく、単なる説明例にすぎない。なお、各図面が示す部材の大きさや位置関係等は、説明を明確にするため誇張していることがある。さらに以下の説明において、同一の名称、符号については同一もしくは同質の部材を示しており、詳細説明を適宜省略する。さらに、本発明を構成する各要素は、複数の要素を同一の部材で構成して一の部材で複数の要素を兼用する態様としてもよいし、逆に一の部材の機能を複数の部材で分担して実現することもできる。
【００３５】
本発明の実施例において使用される拡大観察装置とこれに接続される操作、制御、表示、その他の処理等のためのコンピュータ、プリンタ、外部記憶装置その他の周辺機器との接続は、例えばＩＥＥＥ１３９４、ＲＳ−２３２ｘやＲＳ−４２２、ＵＳＢ等のシリアル接続、パラレル接続、あるいは１０ＢＡＳＥ−Ｔ、１００ＢＡＳＥ−ＴＸ、１０００ＢＡＳＥ−Ｔ等のネットワークを介して電気的、あるいは磁気的、光学的に接続して通信を行う。接続は有線を使った物理的な接続に限られず、ＩＥＥＥ８０２．１ｘ、ＯＦＤＭ方式等の無線ＬＡＮやＢｌｕｅｔｏｏｔｈ等の電波、赤外線、光通信等を利用した無線接続等でもよい。さらにデータの交換や設定の保存等を行うための記録媒体には、メモリカードや磁気ディスク、光ディスク、光磁気ディスク、半導体メモリ等が利用できる。なお本明細書において拡大観察装置とは、拡大観察装置本体のみならず、これにコンピュータ、外部記憶装置等の周辺機器を組み合わせた撮像システムも含む意味で使用する。
【００３６】
また、本明細書において拡大観察装置、画像ファイル生成装置、画像ファイル生成プログラム、３次元画像表示プログラムは、３次元画像データを含む画像ファイル生成を行うシステムそのもの、ならびに画像ファイル生成に関連する入出力、表示、演算、通信その他の処理をハードウェア的に行う装置や方法に限定するものではない。ソフトウェア的に処理を実現する装置や方法も本発明の範囲内に包含する。例えば汎用の回路やコンピュータにソフトウェアやプログラム、プラグイン、オブジェクト、ライブラリ、アプレット、コンパイラ、モジュール、特定のプログラム上で動作するマクロ等を組み込んで画像生成そのものあるいはこれに関連する処理を可能とした装置やシステムも、本発明の拡大観察装置、画像ファイル生成装置、画像ファイル生成プログラム、３次元画像表示プログラムに該当する。また本明細書においてコンピュータには、汎用あるいは専用の電子計算機の他、ワークステーション、端末、携帯型電子機器、ＰＤＣやＣＤＭＡ、Ｗ−ＣＤＭＡ、ＦＯＭＡ（登録商標）、ＧＳＭ、ＩＭＴ２０００や第４世代等の携帯電話、ＰＨＳ、ＰＤＡ、ページャ、スマートフォンその他の電子デバイスも包含する。さらに本明細書においてプログラムとは、単体で使用されるものに限られず、特定のコンピュータプログラムやソフトウェア、サービス等の一部として機能する態様や、必要時に呼び出されて機能する態様、ＯＳ等の環境においてサービスとして提供される態様、環境に常駐して動作する態様、バックグラウンドで動作する態様やその他の支援プログラムという位置付けで使用することもできる。
【００３７】
［第１の実施の形態］
以下、図１から図２を用いて、本発明の第１の実施の形態に係る拡大観察装置を説明する。拡大観察装置は、図１に示すように観察対象の試料を照明するための照明部６０と、照明部６０により照明された試料を撮像する撮像部１０と、撮像部１０で撮像された拡大画像を表示する表示部５２を有する情報処理装置５０を備える。さらに図１の拡大観察装置は、試料を固定する試料固定部（試料Ｓを載置するステージ３０）と、光学系１１を介して入射する試料固定部に固定された試料Ｓからの反射光または透過光を電気的に読み取る撮像素子（ＣＣＤ１２）と、試料固定部と光学系１１の光軸方向における相対距離を変化させ焦点を調整する焦点調整部（ステージ昇降器２０）とを備える。さらにまた情報処理装置５０は、図２に示すように、焦点調整部によって焦点を調整したときの試料固定部と光学系１１の光軸方向における相対距離に関する焦点距離情報を、光軸方向とほぼ垂直な面内における試料の２次元位置情報と共に記憶する焦点距離情報記憶部（メモリ５３）と、撮像素子によって読み取られた画像を表示する表示部５２と、表示部５２によって表示された画像の一部の領域を少なくとも一つ設定可能な領域設定部（操作部５５、ポインティングデバイス５５Ａ）と、領域設定部によって設定された領域に対応する試料Ｓの一部または全部に関する焦点距離情報記憶部に記憶された焦点距離情報に基づいて、領域設定部によって設定された領域に対応する試料Ｓの光軸方向における平均高さを演算する演算部（制御部５１）とを備える。この拡大観察装置は、光学系を介して入射する試料固定部に固定された試料からの反射光または透過光を電気的に読み取る撮像素子を用いて、指定された領域に対応する試料の光軸方向における平均高さ（深さ）を演算できる。
【００３８】
撮像部１０は、図２に示すように、試料Ｓを載置する試料固定部の一形態であるステージ３０と、ステージ３０を移動させるステージ昇降器２０と、ステージ３０に固定された試料に光学系を介して入射される光の反射光または透過光を、２次元状に配置された画素毎に電気的に読み取る撮像素子の一形態としてＣＣＤ１２と、ＣＣＤ１２を駆動制御するＣＣＤ制御回路１３とを備える。さらに撮像部１０には、拡大観察装置本体である情報処理装置５０が接続される。情報処理装置５０は、撮像素子によって電気的に読み取られた画像データを記憶する画像データ記憶部の一形態としてメモリ５３と、撮像素子によって電気的に読み取られた画像データに基づいて画像を表示するディスプレイやモニタ等の表示部５２と、表示部５２上に表示される画面に基づいて入力その他の操作を行う操作部５５と、操作部５５によって入力された情報に基づいて画像処理その他各種の処理を行う制御部５１とを備える。表示部５２を構成するディスプレイは、高解像度表示が可能なモニタであり、ＣＲＴや液晶パネル等が利用される。
【００３９】
操作部５５はコンピュータと有線もしくは無線で接続され、あるいはコンピュータに固定されている。一般的な操作部５５としては、例えばマウスやキーボード、スライドパッド、トラックポイント、タブレット、ジョイスティック、コンソール、ジョグダイヤル、デジタイザ、ライトペン、テンキー、タッチパッド、アキュポイント等の各種ポインティングデバイスが挙げられる。またこれらの操作部５５は、拡大観察用操作プログラムの操作の他、拡大観察装置自体やその周辺機器の操作にも利用できる。さらに、インターフェース画面を表示するディスプレイ自体にタッチスクリーンやタッチパネルを利用して、画面上をユーザが手で直接触れることにより入力や操作を可能としたり、または音声入力その他の既存の入力手段を利用、あるいはこれらを併用することもできる。図１の例では、操作部５５はマウス５５ａ等のポインティングデバイス５５Ａで構成される。操作部５５は、後述する観察視点や拡大／縮小率等を変更するための変更部として機能する。
【００４０】
図１に本発明の実施の形態に係る拡大観察装置の外観図を示す。光学系および撮像素子を有するカメラ１０ａは、スタンド台４１から鉛直方向に延びる支柱４２に固定されたカメラ取り付け部４３に取り付けられる。スタンド台４１には、試料Ｓを載置するステージ３０が上部に取り付けられたステージ昇降器２０が配置される。カメラ１０ａおよびステージ昇降器２０は情報処理装置５０に接続されて制御される。情報処理装置５０は、表示部５２、およびマウス５５ａ等の操作部５５を備える。表示部５２には、観察画像が表示される。
【００４１】
また、情報処理装置５０である拡大観察装置にはコンピュータ７０を接続可能であり、コンピュータ７０に別途拡大観察用操作プログラムをインストールして、コンピュータ７０側からも拡大観察装置を操作することもできる。本明細書において、コンピュータを使って拡大観察装置を操作する拡大観察用操作プログラムとは、拡大観察装置に外部接続された汎用もしくは専用コンピュータにインストールされる操作プログラムの他、上述した拡大観察装置の制御部である情報処理装置５０に内蔵された操作プログラムも含む。拡大観察装置には、予め拡大観察装置を操作する操作機能あるいは操作プログラムが内蔵されている。この操作プログラムは、書き換え可能なソフトウェア、ファームウェア等の形態で拡大観察装置に対してインストール、あるいはアップデートすることも可能である。従って、本明細書において拡大観察用操作プログラムを実行させるコンピュータには、拡大観察装置自体も含まれる。
【００４２】
図２に本発明の実施の形態に係る拡大観察装置のブロック図を示す。情報処理装置５０は、表示部５２と、制御プログラム・焦点距離情報・受光データ・２次元情報等を記憶するメモリ５３と、情報処理装置５０がカメラ１０ａおよびステージ昇降器２０とデータを通信するためのインターフェイス５４と、操作者が拡大観察装置に関する操作を行う操作部５５とから構成される。ステージ昇降器２０は、例えばステッピングモータ２１と、ステッピングモータ２１の昇降を制御するモータ制御部２２とから構成される。撮像部１０は、撮像素子として例えばＣＣＤ１２等の受光素子と、ＣＣＤ１２を駆動制御するＣＣＤ制御回路１３と、照明部６０からステージ３０上に載置された試料Ｓに対して照射された光の透過光や反射光をＣＣＤ１２上に結像させる光学系１１とを備える。
【００４３】
［画素ずらし手段］
さらに撮像部１０は、画素ずらしによってＣＣＤ１２の持つ解像度以上の高解像度を得るための画素ずらし手段を備えることができる。画素ずらしとは、例えば画素ピッチの半分だけ被写体をずらして撮影した画像と、ずらす前の画像とを合成することにより高解像度化を図るものである。代表的な画像ずらしの機構としては、撮像素子を移動させるＣＣＤ駆動方式、ＬＰＦを傾斜させるＬＰＦ傾斜方式、レンズを移動させるレンズ移動方式等がある。図２においては、ステージ３０に固定された試料Ｓから光学系１１を介してＣＣＤ１２に入射される反射光または透過光の入射光路を、少なくとも一の方向に、その方向におけるＣＣＤ１２の一画素の間隔よりも小さい距離で光学的にシフトさせる光路シフト部１４を備える。本発明の一実施形態において画素ずらしを実現するための機構や手法は、上記の構成に限られず、既知の方法や将来開発される方法が適宜利用できる。
【００４４】
情報処理装置５０は、モータ制御回路２２に対してステッピングモータ２１の制御に関する制御データを入力することによって、試料固定部であるステージ３０と、光学系１１および撮像素子であるＣＣＤ１２を有するカメラ１０ａとの光軸方向における相対距離、ここではｚ方向における高さを変化させる。具体的には、情報処理装置５０は、ステージ昇降器２０の制御に必要な制御データをモータ制御回路２２に入力することによってステッピングモータ２１の回転を制御し、ステージ３０の高さｚ（ｚ方向の位置）を昇降させる。ステッピングモータ２１は、回転に応じた回転信号を生成する。情報処理装置５０は、モータ制御回路２２を介して入力される回転信号に基づいて、試料固定部と光学系１１の光軸方向における相対距離に関する情報としてのステージ３０の高さｚを記憶する。なお本実施の形態においては、ステージ３０の高さを変化させることによって試料固定部と光学系の光軸方向における相対距離を変化させる例を示したが、ステージ３０を固定して光学系１１の高さ、例えばカメラ１０ａの高さを変化させてもよい。
【００４５】
ＣＣＤ１２は、ｘ方向およびｙ方向に２次元状に配置された画素毎に受光量を電気的に読み取ることができる。ＣＣＤ１２上に結像された試料Ｓの像は、ＣＣＤ１２の各画素において受光量に応じて電気信号に変換され、ＣＣＤ制御回路１３においてさらにデジタルデータに変換される。情報処理装置５０は、ＣＣＤ制御回路１３において変換されたデジタルデータを受光データＤとして、光軸方向（図２中のｚ方向）とほぼ垂直な面内（図２中のｘ、ｙ方向）における試料の２次元位置情報としての画素の配置情報（ｘ、ｙ）と共にメモリ５３に記憶する。ここで、光軸方向とほぼ垂直な面内とは、厳密に光軸に対して９０°をなす面である必要はなく、その光学系および撮像素子における解像度において試料の形状を認識できる程度の傾きの範囲内にある観察面であればよい。
【００４６】
また、以上の説明では試料固定部の一例として、試料がステージに載置される例を示したが、例えばステージの代わりにアームを取り付け、その先端に試料を固定する構成とすることもできる。さらにカメラ１０ａは、カメラ取り付け部４３に装着して使用する他、脱着可能として手持ち等の方法により所望の位置、角度に配置することもできる。
【００４７】
図１に示す照明部６０は、試料に落射光を照射するための落射照明６０Ａと、透過光を照射するための透過照明６０Ｂを備える。これらの照明は、光ファイバー６１を介して情報処理装置５０と接続される。情報処理装置５０は光ファイバー６１を接続するコネクタ６２を備えると共に、コネクタ６２を介して光ファイバー６１に光を送出するための光源（図示せず）を内蔵する。光源にはハロゲンランプ等が用いられる。
【００４８】
［制御部５１］
制御手段である制御部５１は、撮像した観察画像を、表示部５２で表示可能な解像度に変換して表示するよう制御する。図１の拡大観察装置においては、撮像部１０がＣＣＤ１２によって試料Ｓを撮像した観察画像を表示部５２に表示する。一般にＣＣＤ等の撮像素子の性能は、表示部での表示能力を上回ることが多いので、撮像した観察画像を一画面に表示するためには画像を間引く等して解像度を一画面で表示可能なサイズまで落とし、縮小表示している。撮像部１０で読み取ったときの読取解像度を第一の解像度とすると、表示部５２においては第一の解像度よりも低い第二の解像度で表示されることとなる。
【００４９】
［第２の実施の形態］
次に、本発明の第２の実施の形態に係る拡大観察装置を、図３を用いて説明する。第２の実施の形態の拡大観察装置において、撮像部であるカメラは、試料Ｓに対して照射された第一の光源（レーザ１０１）からの光の反射光を第一の光学系１００を介して第一の受光素子（フォトダイオード１１２）によって受光する第一の撮像部と、試料Ｓに対して照射された第二の光源（白色ランプ２０１）からの光の反射光を第二の光学系２００を介して第二の受光素子（ＣＣＤ２１２）によって受光する第二の撮像部とを備える。
【００５０】
まず、第一の撮像部について説明する。第一の光学系１００は、試料Ｓに単色光（例えばレーザ光）を照射するレーザ１０１、第一のコリメートレンズ１０２、偏光ビームスプリッタ１０３、１／４波長板１０４、水平偏向装置１０５、垂直偏向装置１０６、第一のリレーレンズ１０７、第二のリレーレンズ１０８、対物レンズ１０９、結像レンズ１１０、ピンホール板１１１、フォトダイオード１１２を有する。
【００５１】
第一の光源には、例えば赤色レーザ光を発する半導体レーザ１０１が用いられる。レーザ駆動回路１１５によって駆動されるレーザ１０１から出射されたレーザ光は、第一のコリメートレンズ１０２を通り、偏光ビームスプリッタ１０３で光路を変えられ、１／４波長板１０４を通過する。この後、水平偏向装置１０５および垂直偏向装置１０６によって水平（横）方向および垂直（縦）方向に偏向された後、第一のリレーレンズ１０７および第二のリレーレンズ１０８を通過し、対物レンズ１０９によってステージ３０上に置かれた試料Ｓの表面に集光される。
【００５２】
水平偏向装置１０５および垂直偏向装置１０６は、それぞれガルバノミラーで構成され、レーザ光を水平および垂直方向に偏向させることにより、試料Ｓの表面をレーザ光で走査する。ステージ３０は、ステージ昇降器２０によりｚ方向（光軸方向）に駆動される。これにより、対物レンズ１０９の焦点と試料Ｓとの光軸方向での相対距離を変化させることができる。
【００５３】
試料Ｓで反射されたレーザ光は、上記の光路を逆に辿る。すなわち、対物レンズ１０９、第二のリレーレンズ１０８および第一のリレーレンズ１０７を通り、水平偏向装置１０５および垂直偏向装置１０６を介して１／４波長板１０４を再び通る。この結果、レーザ光は偏光ビームスプリッタ１０３を透過し、結像レンズ１１０によって集光される。集光されたレーザ光は、結像レンズ１１０の焦点位置に配置されたピンホール板１１１のピンホールを通過してフォトダイオード１１２に入射する。フォトダイオード１１２は受光量を電気信号に変換する。受光量に相当する電気信号は、出力アンプおよびゲイン制御回路（図示せず）を介してＡ／Ｄコンバータ１１３に入力され、デジタルデータに変換される。ここでは、第一の受光素子としてフォトダイオードを用いる例を示したが、フォトマルチプライヤ等を用いてもよい。また、レーザ１０１は赤色レーザに限定されず、青色、紫外光レーザを用いてもよい。このような短波長レーザを用いることによって高解像度の高さデータが得られる。
【００５４】
上記のような構成の第一の撮像部により、試料Ｓの高さ（深さ）情報を得ることができる。以下に、その原理を簡単に説明する。上述のように、ステージ３０がステージ昇降器２０のステッピングモータ２１およびモータ制御回路２２によってｚ方向（光軸方向）に駆動されると、対物レンズ１０９の焦点と試料Ｓとの光軸方向における相対距離が変化する。そして、対物レンズ１０９の焦点が試料Ｓの表面（被測定面）に結ばれたときに、試料Ｓの表面で反射されたレーザ光は上記の光路を経て結像レンズ１１０で集光され、ほとんどすべてのレーザ光がピンホール板１１１のピンホールを通過する。したがって、このときにフォトダイオード１１２の受光量が最大になる。逆に、対物レンズ１０９の焦点が試料Ｓの表面（被測定面）からずれている状態では、結像レンズ１０９によって集光されたレーザ光はピンホール板１１１からずれた位置に焦点を結ぶので、一部のレーザ光しかピンホールを通過することができない。その結果、フォトダイオード１１２の受光量は著しく低下する。
【００５５】
したがって、試料Ｓの表面の任意の点について、ステージ３０をｚ方向（光軸方向）に駆動しながらフォトダイオード１１２の受光量を検出すれば、その受光量が最大になるときのステージ３０の高さを求めることができる。
【００５６】
実際には、ステージ３０を１ステップ移動するたびに水平偏向装置１０５および垂直偏向装置１０６によって試料Ｓの表面を走査してフォトダイオード１１２の受光量を取得する。図４は、１つの点（画素）におけるステージ３０の高さｚに対する受光データＤの変化を示す。ステージ３０を測定範囲の下端から上端までｚ方向に移動させたとき、走査範囲内の複数の点（画素）について、図４に示したように高さｚに応じて変化する受光データＤが得られる。この受光データＤに基づいて、最大受光量とそのときの焦点距離Ｚｆが各点（画素）ごとに得られる。この受光データＤの最大値に対応するステージ３０の高さｚが焦点距離Ｚｆとなる。したがって、この焦点距離Ｚｆに基づいて試料Ｓの表面高さのｘ−ｙ平面での分布が得られる。この処理は、インターフェイス５３を介して入力されると共にメモリ５３に記憶されたＣＣＤ１２の受光データＤを画素の配置情報（ｘ、ｙ）および高さ情報ｚに基づいて、制御部５１によって行われる。
【００５７】
得られた表面高さの分布は、いくつかの方法で表示部５２に表示することができる。例えば３次元表示によって試料の高さ分布（表面形状）を立体的に表示することができる。あるいは、高さデータを輝度データに変換することにより、明るさの２次元分布として表示できる。高さデータを色差データに変換することにより、高さの分布を色の分布として表示してもよい。
【００５８】
第２の実施の形態においても、第１の実施の形態と同様に、第一の撮像部によって得られた高さデータに基づき、ポインティングデバイス５５Ａ等によって表示部５２の画像上の２点を指定することによって矩形状に領域の設定を行い、領域内の平均高さや各領域間の相対高さを演算し、表示部５２に表示することができる。
【００５９】
また、ｘ−ｙ走査範囲内の各点（画素）について得られた受光量を輝度データとする輝度信号から、試料ｗの表面画像（白黒画像）が得られる。各画素における最大受光量を輝度データとして輝度信号を生成すれば、表面高さの異なる各点でピントの合った被写界深度の非常に深い共焦点画像が得られる。また、任意の注目画素で最大受光量が得られた高さ（ｚ方向位置）に固定した場合は、注目画素の部分と高低差が大きい部分の画素の受光量は著しく小さくなるので、注目画素と同じ高さの部分のみが明るい画像が得られる。
【００６０】
次に、第二の撮像部について説明する。第二の光学系２００は、試料Ｓに白色光（カラー画像撮影用の照明光）を照射するための第二の光源２０１、第二のコリメートレンズ２０２、第１ハーフミラー２０３、第２ハーフミラー２０４、第２受光素子としてのＣＣＤ２１２を有する。また、第二の光学系２００は第一の光学系１００の対物レンズ１０９を共用し、両光学系１００、２００の光軸は一致している。
【００６１】
第二の光源２０１には例えば白色ランプが用いられるが、特に専用の光源を設けず、自然光または室内光を利用してもよい。第二の光源２０１から出た白色光は、第二のコリメートレンズ２０２を通り、第一のハーフミラー２０３で光路を曲げられ、対物レンズ１０９によってステージ３０上に置かれた試料Ｓの表面に集光される。
【００６２】
試料Ｓで反射された白色光は、対物レンズ１０９、第一のハーフミラー２０３、第二のリレーレンズ１０８を通過し、第二のハーフミラー２０４で反射されてカラーで受光可能なＣＣＤ２１２に入射して結像する。ＣＣＤ２１２は、第一の光学系１００のピンホール板１１１のピンホールと共役または共役に近い位置に設けられている。ＣＣＤ２１２で撮像されたカラー画像は、ＣＣＤ制御回路２１３によって読み出されると共にデジタルデータに変換される。このようにして得られたカラー画像は、試料Ｓの観察用の拡大カラー画像として表示部５２に表示される。
【００６３】
また、第一の撮像部で得られた被写界深度の深い共焦点画像と第二の撮像部で得られた通常のカラー画像とを組み合わせて、すべての画素でピントの合った被写界深度の深いカラー共焦点画像を生成し、表示することもできる。例えば、第二の撮像部で得られたカラー画像を構成する輝度信号を第一の光学系１００で得られた共焦点画像の輝度信号で置き換えることにより、簡易的にカラー共焦点画像を生成することができる。
【００６４】
ここでは、共焦点光学系である第一の光学系１００を有する第一の撮像部と非共焦点光学系である第二の光学系２００を有する第二の撮像部を備える拡大観察装置を示したが、第１の撮像部のみを備える構成とすることもできる。
【００６５】
また、第１の実施の形態に係る拡大観察装置のように、受光素子は２次元状に配置された画素毎に受光量を読み取る２次元撮像素子（例えばＣＣＤ）であり、焦点調整部が領域設定部によって設定された領域に対応する試料の一部または全部に対応する受光量の和に基づいて焦点を調整する構成とした場合、共焦点光学系のような複雑な構成を必要とすることなく、簡単な構成で試料の高さを測定することができる。特に、この拡大観察装置においては、画素単位でなく、操作者によって設定された領域単位、すなわち相当数の画素の相対距離に対する受光データの変化から受光データの最大値を判断すると共に、そのときの平均焦点距離に基づいて平均高さを演算することから、白色光を光源としＣＣＤを受光素子として用いた場合であっても、各画素における受光データの焦点距離に対する変化のばらつきを低減でき、信頼性の高い平均高さの測定を行うことができる。さらに、２次元撮像素子としてカラーＣＣＤを用いる場合は、ＲＧＢの受光データに基づいてその画素の受光データを算出してもよく、またＲＧＢのうちの１または２の色調の受光データに基づいてその画素の受光データとしてもよい。
【００６６】
また、領域設定部によって設定された領域が、試料の大きさよりも大きく試料の全部を含んでいる場合には、試料以外の部分、すなわちステージの上面は平均高さの演算の対象から除外することが好ましい。より正確な試料の高さを演算することができるからである。この場合ステージの上面であるか否かは、その画素とその画素に隣接する画素との高さの差が所定高さ以上あるか否か等によって判別することができる。もちろん、領域設定部によって設定された領域が、試料の一部であっても、ステージの上面が領域に含まれる場合は、平均高さの演算の対象から除外することが好ましい。
【００６７】
また、以上の実施の形態においては、試料固定部に固定された試料からの反射光を電気的に読み取る例を示したが、試料の背面から光を照射してその透過光を電気的に読み取るように構成してもよい。また、以上の説明では、試料固定部の一例として、試料がステージに載置される例を示したが、例えばステージの代わりにアームを取り付けその先端に試料を固定する構成とすることもできる。
【００６８】
［３次元画像］
また拡大観察装置は、２次元的な画像のみならず、３次元画像を表示させることもできる。３次元データに基づいて３Ｄ画像を拡大観察装置の表示部５２に再現することで、様々な視点や角度から立体的に画像を観察、評価したり、高さ等表面形状やプロファイルの測定を行うことができる。３次元画像を生成して表示するには、例えば光軸方向における相対距離、すなわち観察対象の試料とレンズの距離を変化させて、画像を複数枚撮像し、同時に画像撮像時の移動量を記録しておく。これによって合成画像を作成する際に観察対象の高さ情報も得ることができるので、取得した画像を３次元データとして構築できる。
【００６９】
一般的な３次元データの撮像方法を図５に基づいて説明する。まずステップＳ５０１で撮像部１０、ステージ昇降器２０および情報処理装置５０等を初期化する。そしてステップＳ５０２で、レンズの移動量と移動範囲を設定する。レンズの移動範囲はレンズの高さの範囲であり、例えばユーザが大まかな高さを移動開始位置として指定する。またレンズの移動量はレンズの一回当たりの移動距離であり、細かく設定するほど詳細な画像が撮像できる反面、生成に時間がかかるので、観察目的に応じて適切な値に設定する。指定方法としては、ユーザが画像の精細さを指定し、これに応じた移動距離を拡大観察装置側が自動的に設定したり、ユーザが直接移動距離を数値等で指定する、あるいはデフォルトの既定値を利用する等の方法がある。
【００７０】
次にステップＳ５０３では、上記で指定された移動開始位置にレンズを設定する。そしてステップＳ５０４で撮像を開始する。撮像後、ステップＳ５０５でレンズをステップＳ５０２で設定された移動量だけ移動させ、ステップＳ５０６で移動範囲が終了位置に達したか否かを判定を行う。終了位置に達していない場合はステップＳ５０４に戻って撮像と移動ステップを繰り返す。移動の結果、ステップＳ５０２で設定された移動範囲を終えた時点でステップＳ５０７に移行し、２次元の撮像画像を合成する。そしてステップＳ５０８で、撮像された２次元データに基づいて３次元画像データを構築し、表示部５２に表示させる。３次元データの構築には、レンズの位置とそのときに撮像された画像から、高さ方向に変化するプロファイルが演算できるので、異なる高さ毎に撮像された複数枚の２次元画像データを合成することで、立体的な形状を構築できる。例えば撮像された２次元画像で得られる離散的なプロファイルを補完して、連続的なプロファイルを合成する。この処理はハードウェア的に高速に行うことができる。
【００７１】
以上のようにして構築された３次元画像は、自由に視点の変更や画像の回転、反転、変形、拡大／縮小等して表示させることができる。変更操作は、変更部の一形態であるマウス５５ａ等のポインティングデバイス５５Ａで行われる。画像の回転は、マウス５５ａを操作し、画像を選択してドラッグしたままマウスポインタを移動させることで、ドラッグされた方向に回転する。また拡大／縮小は、ホイールマウスのスクロールボタン５５ｄに画面の拡大、縮小機能を割り当てることも可能である。これらの方法に限られず、変更部として操作ボタンや操作ツール群をソフトウェア画面上に配置して操作したり、操作機能をキーボードの特定のキーに割り付けたり、操作用の専用ハードウェアを変更部とすることもできる。
【００７２】
このような３次元画像の取得方法や、取得された３次元データの表示を変更する手法は、既知の方法や将来開発される方法が適宜利用できる。例えば、オープンＧＬ（Open Graphics Library）等のＡＰＩが利用できる。
［３次元画像表示プログラム］
【００７３】
図６に、３次元画像観察のための３次元画像表示プログラムの操作を行うユーザインターフェース画面を示すイメージの一例として、コントローラ部を示す。コントローラ部３００は、図６のインターフェース画面によって３次元画像を観察、対比できる。以下、図６に示すコントローラ部３００の操作手順を示す。まず、上記の拡大観察装置で作成された３次元画像を表示部（図６に図示せず）に表示させる。なお、既に記録、保存された任意の３次元画像ファイルを開いて使用することもできる。表示部で表示される３次元画像に対して、ユーザは画像の拡大／縮小や回転、移動等を行うことができる。また、複数の３次元画像を同時に表示させて、これらを対比することもできる。図６の例では、基準３次元画像と比較したい比較３次元画像データを指定し、「３Ｄファイル比較」欄３１０の「比較モード」ボタン３１２を押下すると、表示部は複数の表示領域に分割され、既に表示されている基準３次元画像が表示領域Ａに表示されると共に、指定した比較３次元画像が表示領域Ｂに表示される。なお、基準３次元画像を保持したまま、比較３次元画像を入れ替える場合は、同様にして新たに選択したい基準３次元画像を指定し、「サブ切換」ボタン３１３を押下すると、表示領域Ａはそのままで、表示領域Ｂに、新たに選択した比較３次元画像が並んで表示される。また、図６の「３Ｄファイル比較」欄３１０の「連動モード」ボタン３１４を押下すると、比較３次元画像の表示倍率が変更されて、左側の基準３次元画像と同じ大きさとなるように縮小して表示される。拡大縮小倍率の調整は、３次元データと共に保存された撮像位置に関する基準情報に基づいて行われる。ここでは、各画像の撮像時の倍率を比較して、左側の基準３次元画像の倍率を基準として、右側の比較３次元画像の倍率を一致させるように自動的に拡大縮小率を演算し、演算された値に基づいて表示倍率を変更している。これによって、同じスケールで画像を並べて比較できるので、対比して観察する際に非常に便利となる。なお、倍率調整は、表示の拡大縮小倍率の調整を自動で行うこともできるが、手動で行うようにすることもできる。ユーザが手動で表示倍率を変更するには、例えばマウス５５ａで対象となる３次元画像を選択後、スクロールボタン５５ｄをクリックしたままマウス５５ａを下方に動かすと画像が縮小表示され、上方に動かすと拡大表示される。また「同期セット」ボタン３１６を押下すると、比較３次元画像の姿勢が基準３次元画像と同じ視点となるように変更される。
［２次元画像の保存］
【００７４】
またユーザは、表示中の３次元画像を表示状態を、２次元画像として保存することもできる。図６のコントローラ部３００画面上部の「高さ調整」スライダ３２０の下に設けられた「保存」ボタン３２２を押下すると、２次元画像として保存するダイヤログボックスが開くので、保存先やファイル名、ファイル形式等を指定して、３次元画像を現在表示中の２次元画像として保存する。ここでは、３次元画像ファイルとは個別の２次元画像データファイルとして保存される。
【００７５】
また、「保存」ボタン３２２の下に設けられた「リセット」ボタン３２４は、３次元画像を回転、移動等させた後初期状態に戻したい場合に押下すると、ファイルを開いた直後の状態での初期状態の姿勢に戻る。さらに「保存」ボタン３２２の上方に配置された「高さ調整」スライダ３２０は、３次元画像の立体感を調整するものである。「高さ調整」スライダ３２０を中間位置から下方に移動させるほど、立体感が強調され、逆に上方に移動させるほど立体感が弱められ平面に近付く。なお、ここで説明したコントローラ部３００の機能や操作方法は一例であって、プログラムのユーザインターフェース画面や操作方法等は、適宜変更可能であることはいうまでもない。また、コントローラ部に相当するハードウェアを拡大観察装置に設置することもできる。
［照明シミュレーション］
【００７６】
さらに、取得された３次元観察画像に対して、その近傍に仮想的に光源を配置して照明光を３次元観察画像に向けて照射し、３次元観察画像の表面でどのように反射するかをシミュレーションして表示する照明シミュレーションを実行することもできる。３次元観察画像に対して照明シミュレーションを行った例を図７〜図９に示す。これらの図において、図７は照明シミュレーション機能実行前の３次元画像を、図８は照明シミュレーション機能によって拡散反射させた例、図９は正反射成分を強調させた例を、それぞれ示す。このように照明シミュレーション機能によって、表面の陰影から凹凸状態を判別しやすくなり、立体的に画像を評価、観察することができる。さらに、光源の位置や角度、照明光の明るさ等を調整したり、また３次元観察画像自体を回転、移動、拡大／縮小等させることで、様々な視点や角度から観察を行える。このような照明シミュレーション機能を実現するアルゴリズムやハードウェアは、既存の、あるいは将来開発される手法が適宜利用できる。本実施の形態においては、照明シミュレーション機能は制御部５１により実行される。制御部５１は、３次元観察画像に対して所定の照明条件で照明光を照射して生じる光の反射の状態を表現した反射付３次元観察画像を演算して描画、構築する。これにより、ハードウェア的な照明の変更を行うことなく、容易にかつ迅速に照明と同様の結果を得ることができる。
（影情報の省略）
【００７７】
また、本実施の形態においては、反射付３次元観察画像の生成において他の部位によって生じる影情報を省略している。すなわち、観察対象の３次元観察画像の各部位における照明光の反射状態は、本来であれば他の部位によって影が投影されたり、逆に反射光による照り返しが加味されて表示されるべきであるが、これらの影響を考慮すると、表面状態の特定の部位のみを観察する際には却って見難くなり、また演算処理も複雑になる。そこで本実施の形態においては、このような他の部位による影響を考慮せず、各部位のみが単独で存在した場合に生じるであろう光の見え方のみを再現している。例えば突出部分によって影が投影される部分であっても、照明光が透過するかのように演算され、各部位毎に独立して照明によるユーザへの見え方を演算している。これにより、現実に照明を照射した場合の見え方とは異なる反射付３次元観察画像が生成されることとなるが、本来であれば見難くなるような部位であっても、明るく見易い状態で表示できるので、より観察に適した３次元観察画像を得ることができる。また、他の影響を考慮しない分、演算処理も軽くなりより高速かつ低負荷で実現できるメリットもある。ただ、この例に限られず他の部位による影響を考慮した反射付３次元観察画像を構築して表示することも可能である。この場合に得られる反射付３次元観察画像は、実際に照明を照射した際に見えるイメージと近い状態に表示できる。ただ、演算量が多くなる分、処理は重くなる。
（光源の位置表示）
【００７８】
また、表示部で表示される３次元観察画像に対して光源の位置を表示させ、どの位置に光源があるかの位置関係をユーザに視覚的に把握させることができる。従来、光源の位置は「左上」、「右下」といった大まかな位置を選択したり、あるいは座標を入力する等の方法が採用されていたが、前者では細かな調整ができず、後者では指定が面倒で位置関係を視覚的に把握できないという問題があった。そこで本実施の形態では、表示部上で表示される３次元観察画像近傍に光源の表示位置を示すことにより、位置の指定を容易にすると共に、設定された位置が３次元観察画像に対してどの位置にあるかを容易に把握できるようにしている。位置表示は、「○」、「×」等のマークで表示させてもよいが、好適には図１０に示すようにランプや懐中電灯といった照明を想起させるイメージ画像のアイコンＩやオブジェクトで表示させる。これによりユーザは視覚的に光源であることを認識し、その位置を把握できる。さらに、このような光源アイコンＩをマウス等でドラッグして移動可能とし、これによって光源の位置を調整可能とすることで、さらに直感的な操作により照明条件を設定する照明設定部（後述）を設定することが可能となる。またマウスでクリックした位置に光源アイコンＩをジャンプさせるようにして移動させることもできる。光源アイコンＩは、移動させた位置から照明光の光軸が３次元観察画像の中心に向かうように自動的に照射角度が調整される。ただ、照射角度をユーザが任意に調整可能に構成してもよい。
（照明シミュレーション設定部４００）
【００７９】
図１１に、３次元画像表示プログラムで照明シミュレーション機能を行うための設定部として、照明シミュレーション設定部４００の画面イメージの一例を示す。この照明シミュレーション設定部４００は、図６のインターフェース画面において「ライトＯＮ」ボタン３４０を押下すると、図１１に示す照明シミュレーション設定部４００に移行して照明シミュレーション機能を実行することができる。また図１１の照明シミュレーション設定部４００から「ライトＯＦＦ」ボタン４４０を押下すると、図６の３次元観察画像のコントローラ部３００に戻る。この例においては、３次元画像表示プログラムに３次元画像の表示機能と、照明シミュレーション機能を持たせており、ボタンの切換によってプログラムのインターフェース画面を切り換えている。ただ、これらの機能を別プログラムで実行させ、必要に応じて各プログラムを呼び出す構成とすることもできる。例えば３次元画像表示プログラムでは３次元画像の表示のみを行わせ、照明シミュレーションを実行する際には照明シミュレーションプログラムを呼び出し、また後述する反射付２次元画像データを生成する際には画像ファイル生成プログラムを呼び出すように構成してもよい。
【００８０】
図１１の照明シミュレーション設定部４００は、図７〜図１０に例示するように、表示部に表示される３次元観察画像に対して照明シミュレーションを実行する。図１１において上段に位置する「移動対象」欄４１０ではマウスのドラッグで操作する対象をラジオボタンで切り替える。「ワーク」を選択すると３次元観察画像を、「ライト」を選択すると光源アイコンＩを、それぞれ独立してマウスで移動、回転、拡大／縮小させることができる。また「ワーク＆ライト」を選択すると、表示中の３次元観察画像及び光源アイコンＩの位置関係を保ったまま、両方を同時に移動等させることができる。
【００８１】
また、「移動対象」欄４１０の下には、光源によって得られる照明の効果を調整可能な照明設定部が設けられる。照明設定部には、光源側の調整を行う光源調整部と、光源の照明光によって得られる３次元観察画像表面の反射状態を調整する反射調整部が含まれる。光源調整部に対応する「明るさ」欄４２０のスライダを操作すると、照明光の強度が可変される。また反射調整部に対応する「表面」欄４３０のスライダを操作すると、表面の反射状態が可変される。この例では、表面の反射率や拡散率を調整して反射の強弱を表現している。
［補助線］
【００８２】
一方、３次元観察画像に対して照明シミュレーションを実行する際、図１２〜図１３に示すように照明の光源の位置関係を表すための各種補助線を付加することもできる。図１２は図１０の光源アイコンＩに対し、光源から仮想的に照射される照明光の照射方向を示す照射線Ａを付加して表示部に表示させた例を、図１３はさらに照射線Ａと直交する平面を表現する平面線Ｂを表示部に表示させた例を、それぞれ示す。
（照射線Ａ）
【００８３】
図１２の照射線Ａは、光源の位置から反射付３次元観察画像に向けて仮想的に照射される照明光の軸線を示しており、光源アイコンＩに照射線Ａを付して反射付３次元観察画像に重ねて表示することで、照明の方向がユーザに感覚的に把握しやすくなる。この例では、光源の照明光が３次元観察画像の中心や重心に向かうように光源の配置角度が自動設定されるため、照射線Ａは常に反射付３次元観察画像の中心や重心に向かって延長される。また、照射線Ａが反射付３次元観察画像と交差する点を照射線Ａの端点とし、照射線Ａをこの点まで延長することで、レーザビームポインタのように照明光の光軸が反射付３次元観察画像上のどの位置に当たるかを示すことができる。なお、照射線Ａの開始点は光源アイコンＩとする他、図１２に示すように光軸に沿って光源アイコンＩの逆方向にも照射線Ａを延長することもでき、これによって光軸の角度をより判り易く表示できる。
（平面線Ｂ）
【００８４】
また、図１３の例では、この照射線Ａに加えて、照射線Ａと直交する平面を表現する平面線Ｂを表示している。平面線Ｂが表現する平面は反射付３次元観察画像上の重心または中心を通る。これにより、照明光の入射角度を視覚的に表現してより判り易くできる。なお、平面線Ｂを反射付３次元観察画像の重心や中心でなく、照射線Ａの端縁を通るように構成してもよい。また、照射線を表示せず平面線Ｂのみを表示させるように構成することもできる。
【００８５】
このように光源アイコンＩに補助線を付加することで、更に照明の光源の位置関係を見易くできる。図１１の照明シミュレーション設定部４００では、補助線のＯＮ／ＯＦＦを行うために照明設定部の下段に「ライト表示」欄４５０を設けている。ラジオボタンで「線」を選択すると照射線Ａが表示され、「平面」を選択すると照射線Ａと平面線Ｂが表示され、「なし」を選択するとこれらの表示がＯＦＦされる。
【００８６】
なお、上記の例では光源を一のみ配置しているが、複数の光源を配置することもできる。その際、各光源の光量や位置、角度等は各々独立して変化させることができる。さらに、バックグラウンドの全体光量と光源光量との光量比を調整することもできる。照明シミュレーションは、このような複数の光源に対して３次元観察画像上の各部位での見え方を演算して表示する。さらに、複数の３次元観察画像を一の画面上に並べて表示させたり、切り換えて表示させることもできる。これによって、各３次元画像を対比して観察することができる。また、基準となる一の３次元観察画像を固定して表示させ、他の３次元観察画像を切り換えて表示させることで、良品検査等に利用することも可能である。
（凹凸のみ表示機能）
【００８７】
さらに、「ライト表示」欄４５０の下部には「凹凸のみ表示」欄４６０のチェックボックスが設けられており、この欄のチェックを入れることにより３次元観察画像の表面の形状のみを表示部に表示させる。本実施の形態では、３次元観察画像は、ワイヤフレームモデルをベースにしたソリッドモデルで形状を表現し、さらに表面状態の質感を擬似的に表現したテクスチャデータをこの上に貼り付けることで、高速な描画処理を可能にしている。「凹凸のみ表示」欄４６０のチェックがＯＦＦの状態では、このテクスチャを貼り付ける処理を行っているが、チェックをＯＦＦとすることでテクスチャによる表面パターンの表現を省いたソリッドモデルで表示される。これにより、表面パターンを表す情報を排除し、光源による陰影のみを表示できるため、より判り易い表示状態とできる。また下段には「背景色」欄４７０が設けられ、背景色を白、黒等所望の色に変更できる。さらにその下段で「ライトＯＦＦ」ボタン４４０の上段には「保存」ボタン４８０が設けられる。
［反射付２次元画像データの保存］
【００８８】
さらに、照明条件を含んだ３次元データを２次元データに埋め込んだ形の画像ファイルフォーマットで保存することができる。３次元画像データは、拡大観察装置に内蔵されるメモリに保持されており、「保存」ボタン４８０が押下されると外部記憶装置等の記録媒体にデータファイルが保存される。３次元画像のみの保存には、３次元画像データを特定の３次元画像ファイルフォーマットとして保存する。さらに、任意の２次元画像に埋め込む形で２次元画像ファイルに従ったファイル形式で保存することができる。この動作は、３次元画像データのみの保存とは別の処理として行われる。ただ、一の保存命令で３次元画像データ専用フォーマットでの保存および２次元画像データへの埋め込み保存を同時に行わせてもよい。例えば、３次元画像を所望の姿勢や倍率、光源や透過等の条件で表示させ、さらに照明条件を設定した反射付３次元観察画像として表示された画像を、２次元画像として取得した上で、この反射付２次元画像データに元の３次元画像データおよび照明条件データを埋め込んで保存する。照明条件データとは、照明シミュレーションの実行に必要なパラメータ等の条件を含むデータである。ユーザは入出力デバイスであるマウス５５ａ等を使って３次元画像の視点や拡大率を調整して所望の姿勢とし、更に所望の照明条件で照明シミュレーションを実行した反射付３次元観察画像を表示部に表示させて、この表示中の３次元画像をキャプチャして、２次元画像として取り込む。
【００８９】
２次元画像のデータフォーマットは、汎用的な形式が望ましい。画像フォーマットとしては、ＪＰＥＧ、ＪＰＥＧ２０００、ＴＩＦＦ、ＢＭＰ、ＰＮＧ、ＧＩＦ、ＷＭＦ、ＥＭＦ等が挙げられる。この内、ユーザが自由に設定可能な領域を持つ形式が望ましく、特にＪＰＥＧ、ＴＩＦＦが好適に利用できる。なおここでいうユーザとは、装置の使用者でなく、装置を設計する者を指す。
【００９０】
ＪＰＥＧやＴＩＦＦ形式のデータファイルには、図１４、図１５に示すようなユーザが利用可能な領域が存在する。図１４はＪＰＥＧ圧縮データの基本構造を示す。圧縮データファイルはＩＳＯ／ＩＥＣ１０９１８−１に規定されるＪＰＥＧ ＢａｓｅｌｉｎｅＤＣＴフォーマットに準拠して記録し、これにアプリケーションマーカセグメント（ＡＰＰ１）を挿入する。また必要に応じてＡＰＰ１の直後に連続してＡＰＰ２を複数個記録することもできる。ＡＰＰ１の内部は、ＡＰＰ１マーカ、Ｅｘｉｆの識別コード、付属情報本体から構成される。これらをすべて含んだＡＰＰ１のサイズは、ＪＰＥＧの規格により６４ｋバイト以下とする。付属情報はファイルヘッダを含むＴＩＦＦの構造をとり、最大２つのＩＦＤ（０ｔｈ ＩＦＤ、１ｓｔ ＩＦＤ）を記録できる。この内、０ｔｈ ＩＦＤには圧縮されている二次元画像に関する付属情報を記録する。また１ｓｔ ＩＦＤにはサムネイル画像を記録することができる。一方、ＡＰＰ２の内部は、ＡＰＰ２マーカ、ＦＰＸＲ（FlashPix Ready）の識別コード、およびFlashPix用拡張データ記録のためのコンテンツリスト、またはストリームデータから構成される。ＡＰＰ２もＡＰＰ１と同じく６４ｋバイト以下の制限があり、これ以上のデータを記録する際はＡＰＰ２を複数個連続して記録する。また図１５は、Ｅｘｉｆ ＩＦＤに記録される付属情報（フィールド名、コード）一覧表である。この図に示すように、タグ情報として様々な情報をユーザは付加することができる。
【００９１】
このようにして３次元画像を所望の照明条件で表示させて取得した反射付２次元画像データに、元となる３次元画像データ及び照明条件を埋め込み、一の画像データファイルに統合することで、同一の観察対象に関する２次元データと３次元データを個別に保存することなく、１ファイルで利用できるようになる。また、このファイルを読み込むことで、反射付２次元画像データを取得した際と同一の照明条件で照明シミュレーションを再現できるので、照明を付した観察に好都合である。特に複数の観察対象物において照明条件を共通にすることで、比較が容易となる。
【００９２】
上述のとおり、ＪＰＥＧやＴＩＦＦ形式のデータにはユーザが利用可能な領域が存在するので、この領域に照明条件データ及び３次元画像データに関する情報を記録する。ここでは、３次元画像データ及び照明条件データを結合していることを示すフラグデータ、３次元画像データ及び照明条件データの結合領域アドレス、３次元画像データ及び照明条件データのサイズを上記の領域に書き込む。さらに、指定された領域に照明条件データ及び３次元画像データを結合した２次元画像データを作成する。このようにして生成されるファイルの構成の一例を図１６に示す。この図に示すように、２次元画像データファイルのヘッダ情報に３次元画像データに関する情報を記録し、さらに２次元画像データの後ろに照明条件データ、３次元画像データを追加している。
【００９３】
このファイルは、３次元画像データを埋め込んでいるものの、ファイル形式としては汎用的な２次元画像ファイルの形式に従っている。したがって、画像ファイルを表示可能なソフトウェアで読み込み、２次元画像データ部分を表示することが可能である。ソフトウェアとしては、例えばフォトレタッチソフト等の画像加工編集ソフトやインターネットブラウザ、ビューワソフト等が利用できる。なお、３次元データに非対応のソフトウェアでこの２次元画像データを加工すると、通常の２次元画像データ形式に書き換えられてしまうため３次元画像データ及び照明条件データは失われる。ファイルをオープンしても、閲覧のみで書き込みをしない限りは元のファイルのデータ構造は維持されるため、３次元データ及び照明条件データも保持される。
【００９４】
また、３次元データの閲覧に対応した３次元画像表示プログラム等の専用ソフトでこのファイルを読み込むと、２次元画像データと共に３次元画像データも表示でき、さらに照明条件データに基づき照明シミュレーションを再現できる。専用ソフトでファイルを読み込む場合は、ヘッダ情報に記録された３次元画像データ及び照明条件データの結合フラグを確認する。これによって３次元画像データ及び照明条件データが取り出され、反射付３次元画像の表示が可能となる。また上述のとおり、３次元画像データの表示視点の変更や拡大率を変化させて表示させることも可能である。さらに、ソフトの同一画面上で２次元画像データと３次元画像データを同時に表示可能としたり、それぞれ加工や編集も可能とすることもできる。さらにまた、３次元画像を所望のアングルに設定し、既に記録されている２次元画像データ部分を新たな２次元画像で書き換えることも可能となる。加えて、３次元画像データの結合を解除し、２次元画像データのみとすることもできるし、また新たな２次元画像データに３次元画像データを埋め込むこともできる。
【００９５】
以上のような画像データの生成、編集機能を備える装置やプログラムの他、このような機能を省き閲覧のみを可能とした簡易的な閲覧装置や閲覧プログラムとすることもできる。すなわち、３次元データおよび２次元データの表示や視点、拡大率等の変更は可能であるが、３次元データの生成はできない制限付のソフトウェアとする。例えば、閲覧プログラムを３次元データ付２次元画像データと共に送付あるいは配布することで、専用の画像ファイル生成プログラムが無くても３次元画像データを表示することが可能となる。例えば、閲覧プログラムを特定のホームページからダウンロード可能とする等、無償で配布すれば、作成された３次元画像データを誰でも利用できるようになるので、利用が促進され該画像ファイルフォーマットが普及し易くなる。また３次元画像データの生成は閲覧ソフトではできないため、画像ファイル生成プログラムの需要も高まり、さらに利用の拡大が期待できる。
【００９６】
なお、上述した実施形態によって、記録媒体に関する発明の実施行為は狭く限定されない。例えば、通信回線を介して上記プログラムを配送し、相手国先のコンピュータの記録媒体（システムメモリやハードディスク等）に上記プログラムを記録して（させて）もよい。この場合、プログラムの配送元は、相手国内において本発明の記録媒体を製造し、また現に製造された記録媒体を相手国内において配送先に譲渡したこととなる。
［画像ファイル生成装置］
【００９７】
以上の画像ファイルフォーマットを作成する処理は、拡大観察装置で行う他、専用の画像ファイル生成装置やプログラムで行うこともできる。本明細書において、２次元画像データと、該２次元画像データ撮像時の高さ情報とを取得するための機能とは、画像ファイル生成装置やプログラム自体が撮像を行う他、他の装置やプログラムで撮像された２次元画像データ及びその高さ情報データを入力する場合も包含する。したがって、画像ファイル生成装置やプログラムは、必ずしも撮像部等の画像撮像のためのハードウェアを持つことを要せず、取得された画像の照明シミュレーションや保存等の処理を行うものであれば足りる。
【００９８】
ここで、画像ファイル生成装置の構成を図１７のブロック図で説明する。図１７に示す画像ファイル生成装置５００は、制御部５１０に入力部５３０、表示部５２０、ファイル生成部５４０、および照明設定部５６０を接続している。入力部５３０は、既に取得された画像ファイルを画像ファイル生成装置５００に入力するための部材であり、外部メディア読み取り装置や通信インターフェース等が利用できる。また制御部５１０は、入力部５３０から入力された画像データファイルに対して、照明シミュレーションを行い、反射付３次元観察画像を演算するものであり、所定のゲートアレイ（ＦＰＧＡ、ＡＳＩＣ）等のハードウエアやソフトウエア、あるいはこれらの混在により実現できる。表示部５２０は、制御部５１０で演算された反射付３次元観察画像等を表示するための部材であり、液晶モニタやＣＲＴ等が利用できる。
（照明設定部５６０）
【００９９】
照明設定部５６０は、照明シミュレーションを行うための照明条件を設定する。ユーザは照明設定部５６０に接続された操作部５６０により、所望の照明条件を設定する。図１７の照明設定部５６０は、照明光を発する光源側の設定を行う光源調整部５６２と、照明光により反射して陰影パターンを生じる反射側の設定を行う反射調整部５６４とを有している。光源調整部５６２は、光源の位置や角度、光量等を調整する。ここでは、操作部５６０の一形態であるマウスで図１０に示す光源アイコンＩをドラッグして光源の位置を調整し、光量を図１１に示す「明るさ」欄４２０のスライダで調整する。また反射調整部５６４は、光源から３次元観察画像に仮想的に照射される照明光の反射状態を変化させることができる。例えば図１１に示す「表面」欄４３０のスライダを強にすれば、金属のように正反射成分が強められ、弱にすれば石膏のように拡散反射の成分を多くして反射を抑制する。これによって照明による表面の凹凸の様子の観察を容易にすることができる。このように、現実の照明観察であれば対象物表面の反射状態をコントロールすることができないが、本実施の形態のように演算処理によって仮想的に照明を照射する照明シミュレーションにおいては、反射状態を変化させて擬似的に金属のような正反射の強い状態や、石膏のような拡散反射する状態をシミュレーションすることができ、観察目的等に応じた見え方に調整できる利点が得られる。照明条件を構成する照明パラメータとしては、光源の空間的な位置、角度、照明光の明るさ、３次元観察画像の表面の反射率、反射する光束の太さ、反射光の拡散、環境光の明るさ等が挙げられる。この例では、３次元観察画像表面の反射率（スペキュラー）は、どれだけ明るく反射するかを示す指標であり、反射する光束の太さ（パワー）は反射する光の太さを示し、反射光の拡散（ディフューズ）は拡散の度合い、環境光の強さ（アンビエント）は背景光の強度を示す。図１１の例では、スライダによって表面の反射率や拡散率を調整して反射の強弱を表現しており、スライダのみの調整とすることでユーザに複雑な照明パラメータを意識させることなく調整を容易にしている。ただ、ユーザが上記照明パラメータを直接指定するように構成してもよく、より自由度の高い反射の調整を可能とできる。また、ユーザの嗜好に応じてこれらスライダによる簡易調整と、各照明パラメータの指定による詳細設定とを切換可能とすることもできる。
【０１００】
このようにして指定された照明条件で照明シミュレーションを実行し、反射付３次元観察画像を生成した後、ファイル生成部５４０によって画像ファイルを保存する。ファイル生成部５４０は、得られた反射付３次元観察画像を２次元画像データに変換し、反射付２次元画像データとして保存することができ、さらにこの反射付２次元画像データに、元の３次元画像データおよび照明条件データを埋め込んだ２次元画像フォーマットを生成して、一のファイルで照明シミュレーションを再現可能とできる。ファイル生成部５４０で生成された画像ファイルフォーマットは、ファイル生成部５４０に接続された画像データ記憶部５７０に保存される。画像データ記憶部５７０は、画像データファイルを保存する記録媒体であり、ハードディスク等の外部記憶装置や各種メディア等の記録媒体が利用できる。
【０１０１】
なお上述した各構成要素が必ずしも図１７等に示した構成と同一でなくてもよく、その機能が実質的に同一であるものや、一つの要素が図１７に示す構成における複数の要素の機能を備えるもの、逆に図１７の一つの部材の機能を複数の要素で実現するものは、本発明に含まれる。以下、画像ファイル生成装置５００で３次元画像を２次元画像に埋め込む手順を、図１８のフローチャートに基づき説明する。
【０１０２】
まずステップＳ１８０１で装置の初期化を行った後、高さの異なる２次元画像を撮影する（ステップＳ１８０２）。ここでは、撮像部と観察対象の相対高さを変更しながら、撮像部で観察対象のスライス画像を複数枚取得する。そしてステップＳ１８０３で３Ｄ処理と表示を行う。具体的には、複数のスライス画像と相対高さ情報から３次元の立体画像を構築して、作成された３次元画像を表示部５２０に表示させる。次に、作成された３次元画像に対して照明条件を設定し、照明シミュレーションを実行する（ステップＳ１８０４）。照明条件としては光源の位置、明るさ、３次元観察画像の位置、角度、表面の反射率等がある。これらのパラメータは、照明条件データとして記録される。さらに必要に応じて、得られた反射付３次元観察画像を所望の表示状態にて２次元画像として保存する（ステップＳ１８０５）。そして、この反射付２次元画像データを保存するか否かを判定する（ステップＳ１８０６）。保存しない場合は処理を終了し、保存する場合は、反射付２次元画像データ撮像時の照明条件データと３次元画像データとを、反射付２次元画像データに結合する（ステップＳ１８０７）。ここでは、汎用の２次元画像データの画像フォーマットをベースとして、この中に３次元画像データ等を埋め込んだ形の２次元画像データを生成する。具体的には、ＪＰＥＧ、ＴＩＦＦ等のユーザが利用可能な領域に、３次元画像データを結合していることを示すフラグデータ、３次元画像データの結合領域アドレス、３次元画像データのサイズを書き込み、指定された領域に３次元画像データを結合した２次元画像データを作成する。３次元画像データ領域には、照明シミュレーションで使用した３次元画像の位置、角度、反射率、光源の位置、明るさ等の照明条件データも併せて保存する。
【０１０３】
なお、ステップＳ１８０５とステップＳ１８０７を同時に行い、表示中の反射付３次元観察画像をそのまま２次元画像として保存すると共に、該２次元画像に照明条件と３次元画像データを埋め込むよう設定してもよい。これにより、ユーザの操作手順を簡略化して表示部５２０に表示中のイメージを速やかに２次元画像データとして保存できる。
（照明シミュレーションの再現）
【０１０４】
またこの２次元画像データを３次元画像表示プログラム等の専用ソフトで読み込めば、反射付２次元画像と同一の表示状態で反射付３次元観察画像を再構築できる。次に、構築された画像ファイルフォーマットを３次元画像表示プログラムで読み込み、反射付３次元観察画像を再構築する手順の一例について、図１９のフローチャートに基づいて説明する。まずステップＳ１９０１で画像ファイルを読み込む。そしてステップＳ１９０２で３次元画像データの結合フラグを確認し、フラグが存在する場合、すなわち３次元画像データが結合されている画像ファイルであれば、ステップＳ１９０３に進み、照明条件データが保存されているか否かを確認する。このようにして、照明シミュレーションの実行に必要なデータが揃っていることが確認されると、ステップＳ１９０４で照明シミュレーションの実行確認が行われ、ＹＥＳの場合はステップＳ１９０５に進み照明条件データに従って照明シミュレーションが実行される。なおステップＳ１９０２〜ステップＳ１９０４のいずれにおいてもＮＯの場合は、照明シミュレーションの実行に必要なデータが揃っていないと判断され、処理が終了する。なお、３次元画像表示プログラムでは、照明シミュレーションを行った反射付３次元観察画像表示、元の３次元画像表示、２次元画像表示を各々切り替えて表示することが可能である。また３次元画像表示プログラムに画像ファイル生成機能を持たせ、任意の２次元画像で２次元画像データを更新させたり、２次元画像データと３次元画像データとの結合を解除することも可能である。
【０１０５】
上記の２次元画像データに埋め込まれる３次元画像データ及び照明条件データは、圧縮してデータ容量をコンパクトにすることもできる。３次元画像データ及び照明条件データのデータ領域を既知の圧縮アルゴリズムで圧縮し、データサイズを小さくする。特に３次元画像データはデータサイズが大きくなる傾向にあるので、圧縮することで記憶領域を圧迫せず、また配布や転送、保存が容易となる。さらに、３次元画像データや照明条件データを暗号化して記録することもできる。データを暗号化することによってセキュリティを高め、情報漏洩のリスクを低減できる。暗号化のアルゴリズムも既知のアルゴリズムが適宜利用できる。また２次元画像データを含めたデータ領域を暗号化することもできる。
【０１０６】
なお３次元画像データを埋め込む２次元画像データは、３次元画像データに基づいて取得した照明付２次元観察画像に限られず、任意の画像を利用できることはいうまでもない。例えば、３次元画像データを生成する際の基準となった複数の２次元画像データから任意の一枚を選択して、選択された２次元画像データを３次元画像データの埋め込み先とする。あるいは、３次元画像データと無関係な２次元画像に３次元画像データを埋め込むことも可能である。例えば、機密性の求められる３次元画像データを電子メール等で送信する際に、意図的に無関係な２次元画像に埋め込むことで、万一第三者に盗み見られた場合でも偽装して隠蔽できる。このような既存の２次元画像データに３次元画像データを統合して画像ファイルフォーマットを構築するには、例えば拡大観察装置に保存されている２次元画像をサムネイル等の一覧形式で表示させ、ユーザにファイラー中から３次元画像データを埋め込む先の２次元画像を選択させる等の方法が利用できる。あるいは、照明条件データの記録を省いて、２次元画像データに３次元画像データのみを埋め込むことも可能であることはいうまでもない。
［第３の実施の形態］
【０１０７】
また操作画面や表示画面等のユーザインターフェース画面は、上記の例に限られず、例えば表示部と照明シミュレーション設定部を一体にした３次元画像表示プログラムとする等、デザインや配置、大きさや形状等を適宜変更することができる。図２０〜図３１に、本発明の第３の実施の形態に係る３次元画像表示プログラムのユーザインターフェース画面の例を示す。これらの図に示すユーザインターフェース画面６００では、画面の左側に表示部６２０を、右側に照明シミュレーション設定部６３０を配置している。照明シミュレーション設定部６３０は、上から操作対象を指定するための「ドラッグ対象」欄６３１、３次元観察画像の大きさを変更するための「大きさ」欄６３２、照明設定部５６０の一形態として照明の光量を調整するための「ライト明るさ」欄６３４及び３次元観察画像の表面における反射状態を設定するための「見え方」欄６３６、３次元観察画像の凹凸のみを表示するための「凹凸のみ表示」欄６６０、３次元観察画像や背景の色を指定、変更するための「色指定」欄６３８、３次元観察画像の高さを強調するための「高さ調整」欄６４０、３次元観察画像の高さ毎に等高線状に色分けした画像と実画像とを重ねて表示する比率を変更するための「高さ／ＳＥＭ像」欄６５０、高さの目安となるＸＹＺ軸に関する寸法を示したスケールの表示、非表示を選択するための「スケール」欄６７０、及び印刷、保存、リセット、比較、終了等の各種操作を行うためのボタン類６８０が設けられている。
【０１０８】
図２０は予め取得した３次元画像ファイルを開いた状態を示す。なお、ファイルのオープンは、「ファイルを開く」ダイヤログから選択する他、ウィンドウズエクスプローラ等のファイラー画面からファイルを選択してプログラムのウィンドウや表示部６２０にドラッグ＆ドロップすることでも可能である。図２０の画面では「ドラッグ対象」欄６３１のラジオボタンを「物」に選択しており、表示部６２０で表示される３次元観察画像をマウス等の操作部で移動、回転等操作できる。なおこの例では「大きさ」欄６３２のスライダを調整することで表示部６２０に表示される３次元観察画像を連続的に拡大／縮小できるが、例えばマウスのスクロールボタンにこの機能を割り当てることもできる。また図２１に示すように、「見え方」欄６３６のドロップダウンリストで「照明なし」から、様々な照明条件に予め設定された照明状態を選択することで、照明シミュレーションを実行した反射付３次元観察画像を表示できる。図２２は、「石膏風」の照明条件に設定された反射付３次元観察画像を表示する例を示している。この図に示すように、「ドラッグ対象」欄６３１で「ライト」を選択することにより、光源アイコンＩが表示部６２０に表示される。そして「ライト明るさ」欄６３４のスライダを調整することにより、照明光の光量を調整でき、図２３のように反射付３次元観察画像を明るく表示させたり、図２４のように暗く表示させることもできる。このように、「ドラッグ対象」欄６３１及び「ライト明るさ」欄６３４を光源調整部５６２として機能させることができる。また「凹凸のみ表示」欄６６０のチェックボックスをＯＮすることにより、図２５のように反射付３次元観察画像が表面のテクスチャを非表示とした凹凸のみのソリッドモデルで表示される。さらに図２６に示すように、「見え方」欄６３６のドロップダウンリストで「ワイヤフレーム」を選択すれば、ワイヤフレームで表示することもできる。
【０１０９】
「見え方」欄６３６は、反射調整部５６４の一形態であり、利用頻度が高いと思われる代表的な照明条件に設定するための照明条件セットをユーザに選択させる。ここでは、図２１に示すように照明条件セットを「石膏風」、「プラスチック風」、「金属風」、「蛙の肌」等、得られる反射付３次元観察画像のイメージを想起し易い名称とし、ユーザは観察目的等に応じてこれらの照明条件セットの名称を参考にして選択する。各照明条件セットは、各々名称に対応する反射付３次元観察画像が得られるよう、表面の反射係数や拡散係数等の照明パラメータを予め設定している。照明条件セットが選択されると、これに応じて照明パラメータが自動的に設定される。このように、ユーザは得たい反射付３次元観察画像のイメージに近い照明条件セットを選択することで、複雑な照明パラメータを意識することなく、容易に得たい反射付３次元観察画像を取得する。また「見え方」欄６３６で「カスタム」を選択すると、図２７に示すようにスライダ６３６Ｂが表示され、図１１と同様にスライダの調整によって反射状態を可変できる。
【０１１０】
以上のようにして反射付３次元観察画像を取得後、ユーザは光源アイコンＩを操作して照明の位置を仮想的に変更でき、表面の陰影状態の変化から凹凸の様子を立体的に把握できる。特に、現実に拡大観察装置に配置した照明の光源を移動させる方法に比べて、演算処理により仮想的に光源の移動を実現する本実施の形態によれば、手間もなく遙かに容易に反射付３次元観察画像を得ることができる。また、実際の照明の配置や移動といった手間もかからず、またそのような設備も不要とできるので、装置の小型化、低コスト化にも寄与できる。
（自動回転機能）
【０１１１】
図２８〜図３１に示すように、光源アイコンＩを反射付３次元観察画像の周囲で反時計回りに回転させると、各々の光源の位置に応じて表面の陰影のパターンが変化する様子が観察できる。また、このように光源アイコンＩを反射付３次元観察画像の周囲で自動的に回転させ、陰影パターンの変化を観察することもできる。本実施の形態では、マウスで光源アイコンＩをドラッグしたまま一方向に移動させると、反射付３次元観察画像を固定したまま次にボタン操作があるまで該移動方向に光源アイコンＩが回転を継続するように設定でき、観察を容易にできる。また、このような自動回転は、光源アイコンＩを固定したまま反射付３次元観察画像を回転させたり、あるいは光源アイコンＩと３次元観察画像との位置関係を維持したまま、両者を同時に回転させるよう構成してもよい。
【産業上の利用可能性】
【０１１２】
本発明の拡大観察装置、画像ファイル生成装置、画像ファイル生成プログラム、３次元画像表示プログラム及びコンピュータで読み取り可能な記録媒体又は記録した機器は、顕微鏡やデジタルマイクロスコープ、デジタルカメラに利用して、３次元画像データを含む２次元画像を生成し閲覧できる。
【図面の簡単な説明】
【０１１３】
【図１】本発明の実施の形態に係る拡大観察装置の外観図である。
【図２】本発明の第１の実施の形態に係る拡大観察装置のブロック図である。
【図３】本発明の第２の実施の形態に係る拡大観察装置のブロック図である。
【図４】高さｚに対する受光データの変化を示すグラフである。
【図５】３次元データの撮像方法の一例を示すフローチャートである。
【図６】３次元画像表示プログラムの操作を行うユーザインターフェース画面を示すイメージ図である。
【図７】照明シミュレーション機能実行前の３次元観察画像を示すイメージ図である。
【図８】照明シミュレーション機能によって拡散反射させた３次元観察画像を示すイメージ図である。
【図９】照明シミュレーション機能によって正反射成分を強調させた３次元観察画像を示すイメージ図である。
【図１０】３次元観察画像に光源アイコンを表示した例を示すイメージ図である。
【図１１】照明シミュレーション機能の設定画面を示すイメージ図である。
【図１２】光源から照射される照明光の照射方向を示す照射線を表示させたイメージ図である。
【図１３】照射線と直交する平面を表現する平面線を表示させたイメージ図である。
【図１４】ＪＰＥＧ圧縮データの基本構造を示す概念図である。
【図１５】図１４のＥｘｉｆ ＩＦＤに記録される付属情報を示す一覧表である。
【図１６】本発明の実施の形態に係る画像ファイル生成装置で生成されるファイル構成の一例を示す概念図である。
【図１７】画像ファイル生成装置の構成を示すブロック図である。
【図１８】３次元データの保存する手順を示すフローチャートである。
【図１９】反射付３次元観察画像を再構築する手順を示すフローチャートである。
【図２０】本発明の第３の実施の形態に係る３次元画像表示プログラムのユーザインターフェース画面を示すイメージ図である。
【図２１】図２０に示す画面において、「見え方」欄のドロップダウンリストを展開した状態を示すイメージ図である。
【図２２】図２１に示す画面において、「石膏風」の照明条件に設定された反射付３次元観察画像を表示するイメージ図である。
【図２３】図２２に示す画面において、光源を明るく表示させた状態を示すイメージ図である。
【図２４】図２３に示す画面において、光源を暗く表示させた状態を示すイメージ図である。
【図２５】図２３に示す画面において、「凹凸のみ表示」機能をＯＮとした状態を示すイメージ図である。
【図２６】図２２に示す画面において、ワイヤフレーム表示を選択した状態を示すイメージ図である。
【図２７】図２２に示す画面において、「見え方」欄で「カスタム」を選択した状態を示すイメージ図である。
【図２８】図２２に示す画面において、光源アイコンを反射付３次元観察画像の周囲で回転させる状態を示すイメージ図である。
【図２９】図２２に示す画面において、光源アイコンを反射付３次元観察画像の周囲で回転させる状態を示すイメージ図である。
【図３０】図２２に示す画面において、光源アイコンを反射付３次元観察画像の周囲で回転させる状態を示すイメージ図である。
【図３１】図２２に示す画面において、光源アイコンを反射付３次元観察画像の周囲で回転させる状態を示すイメージ図である。
【符号の説明】
【０１１４】
１０…撮像部；１０ａ…カメラ；１１…光学系
１２、２１２…ＣＣＤ；１３、２１３…ＣＣＤ制御回路
１４…光路シフト部；２０…ステージ昇降器；２１…ステッピングモータ
２２…モータ制御回路；３０…ステージ；
４１…スタンド台；４２…支柱；４３…カメラ取り付け部
５０…情報処理装置；５１、５１０…制御部；５２、５２０、６２０…表示部
５３…メモリ；５４…インターフェイス
５５、５５０…操作部；５５Ａ…ポインティングデバイス
５５ａ…マウス；５５ｂ…左ボタン；５５ｃ…右ボタン；５５ｄ…スクロールボタン
６０…照明部；６０Ａ…落射照明；６０Ｂ…透過照明
６１…光ファイバー；６２…コネクタ；７０…コンピュータ
１００…第一の光学系；１０１…レーザ；１０２…第一のコリメートレンズ
１０３…偏光ビームスプリッタ；１０４…１／４波長板
１０５…水平偏向装置；１０６…垂直偏向装置
１０７…第一のリレーレンズ；１０８…第二のリレーレンズ
１０９…対物レンズ；１１０…結像レンズ；１１１…ピンホール板
１１２…フォトダイオード；１１３…Ａ／Ｄコンバータ；１１５…レーザ駆動回路
２００…第二の光学系；２０１…白色ランプ；２０２…第二のコリメートレンズ
２０３…第１ハーフミラー；２０４…第２ハーフミラー
３００…コントローラ部；３１０…「３Ｄファイル比較」欄
３１２…「比較モード」ボタン；３１３…「サブ切換」ボタン
３１４…「連動モード」ボタン；３１６…「同期セット」ボタン
３２０…「高さ調整」スライダ；３２２…「保存」ボタン；３２４…「リセット」ボタン
３４０…「ライトＯＮ」ボタン；４００、６３０…照明シミュレーション設定部
４１０…「移動対象」欄；４２０…「明るさ」欄；４３０…「表面」欄
４４０…「ライトＯＦＦ」ボタン；４５０…「ライト表示」欄
４６０、６６０…「凹凸のみ表示」欄；４７０…「背景色」欄；４８０…「保存」ボタン
５００…画像ファイル生成装置；５３０…入力部；５４０…ファイル生成部
５６０…照明設定部；５６２…光源調整部；５６４…反射調整部
５７０…画像データ記憶部；６００…ユーザインターフェース画面
６３１…「ドラッグ対象」欄；６３２…「大きさ」欄；６３４…「ライト明るさ」欄
６３６…「見え方」欄；６３６Ｂ…スライダ；６３８…「色指定」欄
６４０…「高さ調整」欄；６５０…「高さ／ＳＥＭ像」欄；６７０…「スケール」欄
６８０…ボタン類；Ｓ…試料；Ｉ…光源アイコン；Ａ…照射線；Ｂ…平面線
【技術分野】
【０００１】
本発明は、拡大した画像を撮像して表示するマイクロスコープや顕微鏡のような拡大観察装置、画像ファイル生成装置、画像ファイル生成プログラム、３次元画像表示プログラム及びコンピュータで読み取り可能な記録媒体又は記録した機器に関する。
【背景技術】
【０００２】
今日、微小物体等を拡大して表示する拡大観察装置として、光学レンズを使った光学顕微鏡やデジタルマイクロスコープ等が利用されている。マイクロスコープは、光学系を介して入射する観察対象固定部に固定された観察対象からの反射光または透過光を、２次元状に配置された画素毎に電気的に読み取るＣＣＤ等の受光素子を備える。ＣＣＤを用いて電気的に読み取られた画像をディスプレイ等の表示部に表示する（例えば特許文献１）。
【０００３】
拡大観察装置においては、一般に拡大倍率が高くなると焦点深度が浅くなり、ピントの合う領域が狭くなるため、観察対象の試料（ワーク）に凹凸や高低差があると全体を観察することが困難となる。このため、画像全体にピントの合った画像を深度合成によって作成する手法が利用されている。深度合成は、高さ方向にレンズまたは試料を移動させ、光軸方向における相対距離を変化させて複数の画像を撮影し、ピントの合った部分を抽出して合成することで、焦点深度の深い画像を撮像する。また、複数の画像を撮影する際に、レンズまたは観察対象の移動量を同時に記録しておけば、合成画像を作成する際に観察対象の高さ情報も得ることができるので、取得した画像を３次元データとして構築することも可能である。３次元データに基づいて３Ｄ画像を拡大観察装置の表示部に再現することで、様々な視点や角度から立体的に画像を観察、評価したり、高さ等表面形状の測定を行うことができる。
【０００４】
一方で、拡大観察においては観察対象の試料に照明を行い、陰影の付き方によって表面の凹凸状態を確認することが行われている。このような照明観察においては、照明の位置や角度、光量等を変化させることにより生じる様々な陰影パターンを比較して、表面の凹凸状態をより視覚的に把握し易くできる。しかしながら、実際に照明の位置や角度、強度といった条件を変化させて複数の観察像を撮像することは、非常に手間も時間もかかり面倒である。そこで、得られた３次元画像データに対し、仮想的に照明光を照射して陰影パターンを表現する照明シミュレーションを行うことで、照明パラメータを変化させた反射付３次元観察画像を擬似的に表現することができる（例えば特許文献２）。これにより、実際に照明位置や強度等を変化させて撮像を行うことなく、演算によって照明条件を変化させた観察像を容易に取得することが可能となる。
【０００５】
しかしながら、このような反射付３次元観察画像を再利用のために保存することは困難であった。従来、特定の照明条件で表示された反射付３次元観察画像を２次元画像として保存し、一方で３次元画像データを専用のフォーマットで個別に保存しており、照明条件を保存することはできなかった。このため、照明シミュレーションを再現するには、反射付３次元観察画像の２次元画像取得時に予めすべての照明条件をメモしておき、これと同じ条件を指定したり、あるいは反射付３次元観察画像を表示する２次元画像を参照しながら元の３次元画像に対して照明シミュレーションを実行し、２次元画像と同様の見え方となるように照明条件を調整していた。しかしながら前者の方法では照明シミュレーションを実行する毎にすべてのパラメータをメモし、かつ該当するデータとの関連付けを記録しておく必要があり、また照明シミュレーションを再現するにはメモを見ながらすべてのパラメータを同じ値に設定する必要があり、メモの管理も含めて煩雑であった。また後者の方法でも手間や時間がかかる上、完全な再現が困難であった。さらにいずれの方法でも、同じ観察対象に対して２次元と３次元という複数の画像データファイルを管理する必要が生じる。特に、３次元画像データファイルは通常２次元画像データファイルとの間で特別な関連付けがなされていないため、ユーザ側で同じファイル名を付ける、あるいはファイル同士の対応関係をメモしておく等の工夫が必要となり、管理が面倒となる。またファイル数が多くなるとファイルの対応関係の把握が複雑になり、必要なファイルが直ぐに探せ出せなかったり、ファイルが散逸するおそれもある。またファイルの保存、オープンも２次元画像データ、３次元画像データそれぞれで必要となり、操作が煩雑となる。
【０００６】
また、２次元画像データのフォーマットは規格化された汎用的なデータ形式が普及しており、例えばｊｐｅｇやｔｉｆｆといった２次元画像データを表示可能なアプリケーションソフトが広く普及しているため、多くの環境で容易に扱える。これに対して、３次元データを利用できるアプリケーションソフトは一般的でなく、ファイル形式も独自のフォーマットが多く併存する。このため、多くの環境では３次元データを利用できず、３次元データを扱える専用のアプリケーションソフトを使用していないユーザはこれを扱えないという問題があった。
【特許文献１】特開２０００−２１４７９０号公報
【特許文献２】特開平９−５０７０６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
本発明は、このような問題点を解決するためになされたものである。本発明の主な目的は、照明シミュレーションを容易に再現可能とした拡大観察装置、画像ファイル生成装置、画像ファイル生成プログラム、３次元画像表示プログラム及びコンピュータで読み取り可能な記録媒体又は記録した機器を提供することにある。
【課題を解決するための手段】
【０００８】
上記の目的を達成するために、本発明の拡大観察装置は、観察対象を撮像して２次元観察画像を取得するための撮像部と、撮像部で取得した複数の２次元観察画像と、撮像時の高さ情報に基づいて、観察対象の３次元の観察画像を生成すると共に、３次元観察画像に対して仮想的に光源を配置し、光源から発する照明光を３次元観察画像に照射して生じる光の反射の状態を表現した反射付３次元観察画像を生成可能な制御部と、光源によって得られる照明の効果を調整可能な照明設定部と、制御部で生成された３次元画像データ及び照明設定部で設定された照明条件データとを任意の２次元画像データに埋め込んで、一の画像データファイルとして生成可能なファイル生成部と、ファイル生成部で生成された画像データファイルを保存するための画像データ記憶部とを備える。これにより、画像データファイル中に３次元画像データのみならず照明条件データをも記録できるので、該データファイルに基づいて照明光の反射状態を擬似的に表現した照明シミュレーションを再現できる。またこれらのデータを一のファイルに統合することで、ユーザが扱うファイルが１つですみ、ファイルの管理や扱いを容易にできる利点も得られる。
【０００９】
また、本発明の他の拡大観察装置は、２次元画像データが、所定の照明条件で反射付３次元観察画像を特定の姿勢で表示した反射付２次元観察画像である。これにより、反射付２次元観察画像の観察時と同じ照明条件を保存しておくことで、該データに基づいて照明シミュレーションを実行すれば同一条件で反射付３次元観察画像を再現して観察することが可能となる。
【００１０】
さらに、本発明の他の拡大観察装置は、制御部が生成する反射付３次元観察画像が、観察対象の３次元観察画像の各部位における照明光の反射状態を、他の部位による影響を考慮することなく独立して演算することができる。これにより、３次元観察画像上の各部位において、他の部位によって陰が生じたり、逆に反射光により照明されるといった影響を排除し、本来見難くなるような部位であっても、各部位における照明の結果得られる観察画像のみを演算して表示できるので、陰影がより見易くなり観察に適した反射付３次元観察画像を表示できる。
【００１１】
さらにまた、本発明の他の拡大観察装置は、照明設定部が、光源の位置及び／又は角度を変更可能な光源調整部と、光源から３次元観察画像に仮想的に照射される照明光の反射状態を調整可能な反射調整部とを含む。これにより、光源の位置や角度、光の強度といった光源側のパラメータを調整したり、あるいは３次元観察画像の表面の反射率や拡散といった反射側のパラメータを調整することが可能となり、所望の条件で陰影を付した３次元観察画像を観察することが可能となる。
【００１２】
さらにまた、本発明の他の拡大観察装置は、照明設定部が、照明条件を構成する照明パラメータとして光源の位置、角度、照明光の明るさ、３次元観察画像の表面の反射率、反射する光束の太さ、反射光の拡散、環境光の明るさの少なくともいずれかを調整可能に構成している。これにより、ユーザは各照明パラメータを調整して所望の反射付３次元観察画像を生成することが可能となる。
【００１３】
さらにまた、本発明の他の拡大観察装置は、照明設定部が、予め所定の照明パラメータを設定した複数の照明条件セットに、生成される反射付３次元観察画像のイメージに基づいた名称を付けて選択可能に提示する。これにより、照明条件セットに付与された名称に基づいて、ユーザは感覚的に所望の画像を得るための照明パラメータに容易に設定でき、各パラメータの意味を意識することなく操作しやすい環境が実現される。
【００１４】
さらにまた、本発明の他の拡大観察装置はさらに、制御部で生成された３次元観察画像を表示するための表示部を備える。これにより、表示部で３次元観察画像を容易に確認できる。
【００１５】
さらにまた、本発明の他の拡大観察装置は、表示部において表示される３次元観察画像に、光源の位置を表示可能に構成している。これにより、どの位置に光源があるかをイメージ的に確認可能となり、照明の設定を容易に理解でき、また設定作業を容易に行える。
【００１６】
さらにまた、本発明の他の拡大観察装置は、光源の位置が照明を表現するイメージ画像で表示されている。これにより、照明イメージ画像で光源であることを直感的に理解でき、初心者ユーザでも違和感なく感覚的に操作できる。
【００１７】
さらにまた、本発明の他の拡大観察装置は、照明設定部が、照明イメージ画像を操作することで、光源の位置及び／又は角度を調整可能に構成している。これにより、マウスのドラッグ操作等の視覚的な操作により光源の位置を調整可能で、従来のように座標の入力等面倒な作業を経ることなく照明設定部を操作し易い環境が実現される。
【００１８】
さらにまた、本発明の他の拡大観察装置は、光源の位置から仮想的に照射される照明光の照射方向を示す照射線を、表示部上で反射付３次元観察画像に重ねて表示可能に構成している。これにより、光源から照射される照明光が照射線で線状に表示され、照明の状態をより判り易く表示できる。
【００１９】
さらにまた、本発明の他の拡大観察装置は、照射線が反射付３次元観察画像と交差する点まで延長されて表示可能に構成している。これにより、光源から照射される照明光が反射付３次元観察画像上のどの位置に照射されているかを、照射線の端縁の位置で容易に確認できる。
【００２０】
さらにまた、本発明の他の拡大観察装置は、照射線と直交する平面を表現する平面線を、表示部上で反射付３次元観察画像に重ねて表示可能に構成している。これにより、照明光が反射付３次元観察画像に照射される角度を容易に確認できる。
【００２１】
さらにまた、本発明の他の拡大観察装置は、表示部において表示される３次元観察画像において、表面の形状のみを表示可能に構成している。これにより、例えば３次元観察画像表面にテクスチャ等質感を表す情報を排除し、光源による陰影のみを表示できるため、より判り易い表示状態とできる。
【００２２】
さらにまた、本発明の他の拡大観察装置は、出力部で出力される画像データファイルのフォーマットが、汎用の２次元画像データフォーマットである。これにより、３次元画像データを利用可能なアプリケーションソフトを使用していなくても、２次元画像を読み込み可能な汎用のビューワソフト等で少なくとも２次元画像部分を閲覧することが可能となり、ファイルの汎用性を維持する一方で、専用のソフトを使用すれば３次元画像データの操作が可能となり、ファイルの汎用性と操作性を両立できる。
【００２３】
さらにまた、本発明の他の拡大観察装置は、出力部で２次元画像データ中に埋め込まれる３次元画像データに関する情報を、２次元画像データフォーマット中のユーザが利用可能な領域に記録する。これにより、２次元画像データフォーマットの規格に従い汎用の２次元画像データとしてビューワソフトでの扱いを容易にする一方で、専用のソフトを使用すれば３次元画像データの操作が可能となり、ファイルの汎用性と操作性を両立できる。
【００２４】
さらにまた、本発明の他の拡大観察装置は、出力部で２次元画像データ中に埋め込まれる３次元画像データに関する情報として、３次元画像データを結合していることを示すフラグデータ、３次元画像データの結合領域アドレス、３次元画像データのサイズの少なくともいずれかを含む情報を、２次元画像データフォーマット中のユーザが利用可能な領域に記録する。これにより、２次元画像データの利用を維持しつつ、専用ソフトにより３次元画像データを扱いを容易にできる。
【００２５】
さらにまた、本発明の他の拡大観察装置は、出力部で２次元画像データ中に埋め込まれる３次元画像データのデータ領域を圧縮する。これにより、３次元画像データを含む画像データファイルのサイズをコンパクトにできる。
【００２６】
さらにまた、本発明の他の拡大観察装置は、出力部で出力される画像データファイルのフォーマットが、ｊｐｅｇまたはｔｉｆｆのいずれかである。これにより、広く普及した２次元画像データのビューワソフトを利用して２次元画像データを利用できる。
【００２７】
また、本発明の画像ファイル生成装置は、３次元観察画像を生成するために必要なデータを取得するための入力部と、入力部で取得したデータに基づいて３次元観察画像を構築し表示するための表示部と、表示部に表示される３次元観察画像に対して仮想的に光源を配置し、光源から発する照明光を３次元観察画像に照射して生じる光の反射の状態を表現した反射付３次元観察画像を生成可能な制御部と、光源によって得られる照明の効果を調整可能な照明設定部と、照明設定部で設定された照明条件で表示部に表示される反射付３次元観察画像を２次元画像として取得すると共に、該反射付２次元画像データに、元となる反射付３次元観察画像を生成するための３次元画像データ及び照明条件データを埋め込んで、一の画像データファイルとして生成するためのファイル生成部と、ファイル生成部で生成された画像データファイルを保存するための画像データ記憶部とを備える。これにより、画像データファイル中に３次元画像データのみならず照明条件データをも記録できるので、該データファイルに基づいて照明光の反射状態を擬似的に表現した照明シミュレーションを再現できる。またこれらのデータを一のファイルに統合することで、ユーザが扱うファイルが１つですみ、ファイルの管理や扱いを容易にできる利点も得られる。
【００２８】
さらに、本発明の画像ファイル生成プログラムは、２次元画像データと、該２次元画像データ撮像時の高さ情報とを取得するための機能と、取得した一の観察対象に関する複数の２次元画像データとその高さ情報に基づいて、３次元の観察画像を生成し、表示部に表示する機能と、表示部に表示される３次元観察画像に対して仮想的に光源を配置し、光源から発する照明光を３次元観察画像に照射して生じる光の反射の状態を表現した反射付３次元観察画像を生成するための照明機能と、光源による照明の条件または３次元観察画像表面の反射の条件の少なくともいずれかを調整可能な照明条件設定機能と、照明条件設定機能で設定された照明条件で表示部に表示される反射付３次元観察画像を２次元画像として取得すると共に、該反射付２次元画像データに、元となる反射付３次元観察画像を生成するための３次元画像データ及び照明条件データを埋め込んで、一の画像データファイルとして生成するためのファイル生成機能と、ファイル生成機能で生成された画像データファイルを保存するための画像データ記憶機能とをコンピュータに実現させるものである。これにより、画像データファイル中に３次元画像データのみならず照明条件データをも記録できるので、該データファイルに基づいて照明光の反射状態を擬似的に表現した照明シミュレーションを再現できる。またこれらのデータを一のファイルに統合することで、ユーザが扱うファイルが１つですみ、ファイルの管理や扱いを容易にできる利点も得られる。
【００２９】
さらにまた、本発明の３次元画像表示プログラムは、２次元画像データフォーマットで構築された画像データファイル中に、２次元観察画像に関する２次元画像データと、３次元観察画像に関する３次元画像データとが記録されており、該画像データファイルに記録された画像データを表示可能な３次元画像表示プログラムであって、画像データファイルを読み込み、該画像データファイルに記録された３次元画像データに基づき、３次元観察画像を表示部に表示すると共に、該３次元観察画像に対して移動、回転、拡大／縮小の少なくともいずれかの操作が可能な表示機能と、画像データファイルが、該画像データファイル中に含まれる３次元画像データに対して仮想的に光源を配置した状態で、光源から発する照明光を該３次元観察画像に照射して生じる光の反射の状態を表現した反射付３次元観察画像を生成するための照明条件データを含む場合、表示機能で表示される３次元観察画像に対して、照明条件データに基づいて反射付３次元観察画像を生成すると共に、照明条件を構成する照明パラメータを変更可能な調整機能とをコンピュータに実現させるものである。これにより、画像データファイルに記録された３次元画像データを表示させると共に、照明条件を変化させて照明シミュレーションを実行することが可能となる。
【００３０】
さらにまた、本発明の他の３次元画像表示プログラムは、画像データファイルがさらに、該画像データファイル中に含まれる２次元画像データが、３次元画像データ及び照明条件データに基づいて生成される反射付３次元観察画像を２次元画像として表示した反射付２次元観察画像である場合、調整機能は、３次元画像データ及び照明条件データに基づいて、反射付２次元観察画像と同じ見え方で反射付３次元観察画像を構築可能である。これにより、画像データファイルに記録された反射付２次元観察画像を３次元画像で正確に再現可能とでき、照明シミュレーションを用いた観察を容易にできる。
【００３１】
さらにまた、本発明の他の３次元画像表示プログラムは、２次元画像データフォーマットで構築された画像データファイル中に、２次元観察画像に関する２次元画像データと、３次元観察画像に関する３次元画像データとが記録されており、該画像データファイルに記録された画像データを表示可能な３次元画像表示プログラムであって、画像データファイルを読み込み、該画像データファイルに記録された３次元画像データに基づき、３次元観察画像を表示部に表示すると共に、該３次元観察画像に対して移動、回転、拡大／縮小の少なくともいずれかの操作が可能な表示機能と、画像データファイルが、該画像データファイル中に含まれる３次元画像データに対して仮想的に光源を配置した状態で、光源から発する照明光を該３次元観察画像に照射して生じる光の反射の状態を表現した反射付３次元観察画像を生成するための照明条件データを含む場合、表示機能で表示される３次元観察画像に対して、照明条件データに基づいて反射付３次元観察画像を生成すると共に、照明条件を構成する照明パラメータを変更可能な調整機能と、調整機能により所望の照明条件に調整された反射付３次元観察画像を２次元画像として取得すると共に、画像データファイルに記録された２次元画像データを、該反射付３次元観察画像を表示する反射付２次元画像で更新する２次元画像更新機能とをコンピュータに実現させるものである。これにより、埋め込まれた３次元画像データを利用して視点、拡大率を変化させながら観察することができ、また画像データファイルに記録された２次元画像データの部分を、所望の照明条件で取得した３次元観察画像を示す２次元画像データに差し替えることができる。
【００３２】
また本発明のコンピュータで読み取り可能な記録媒体又は記録した機器は、上記プログラムを格納するものである。記録媒体には、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷやフレキシブルディスク、磁気テープ、ＭＯ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ、ＤＶＤ＋Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、Ｂｌｕ−ｒａｙ、ＨＤ ＤＶＤ（ＡＯＤ）等の磁気ディスク、光ディスク、光磁気ディスク、半導体メモリその他のプログラムを格納可能な媒体が含まれる。またプログラムには、上記記録媒体に格納されて配布されるものの他、インターネット等のネットワーク回線を通じてダウンロードによって配布される形態のものも含まれる。さらに記録した機器には、上記プログラムがソフトウェアやファームウェア等の形態で実行可能な状態に実装された汎用もしくは専用機器を含む。さらにまたプログラムに含まれる各処理や機能は、コンピュータで実行可能なプログラムソフトウエアにより実行してもよいし、各部の処理を所定のゲートアレイ（ＦＰＧＡ、ＡＳＩＣ）等のハードウエア、又はプログラムソフトウエアとハードウェアの一部の要素を実現する部分的ハードウエアモジュールとが混在する形式で実現してもよい。
【発明の効果】
【００３３】
本発明の拡大観察装置、画像ファイル生成装置、画像ファイル生成プログラム、３次元画像表示プログラム及びコンピュータで読み取り可能な記録媒体又は記録した機器によれば、２次元画像データ中に３次元画像データ及び照明条件を記録することができ、３次元画像のみならずこれに照明光を照射した反射付３次元画像をも再現できる。特に、汎用的に表示が容易な２次元画像データ中に、３次元画像データを埋め込んで利用することにより、ユーザは一のファイルのみを保存すればよく、３次元画像データと２次元画像データを個別に保存し管理する必要が無くなり、ファイルの扱いが容易となる。そして３次元画像データに、照明シミュレーションの実行に必要な照明条件データを持たせることで、既に行われた照明シミュレーションの正確な再現が可能となり、照明シミュレーションを使った観察において便利に使用できる。また一のファイル内に２次元画像データと３次元画像データが格納されているため、ユーザが３次元画像データを扱えるアプリケーションソフトを有していなくとも、２次元画像データの閲覧は汎用的な表示ソフトを利用すれば可能となる。また３次元画像データを利用できる専用のアプリケーションソフトがあれば、埋め込まれた３次元画像データを種々の照明条件を加えて利用できる。
【発明を実施するための最良の形態】
【００３４】
以下、本発明の実施の形態を図面に基づいて説明する。ただし、以下に示す実施の形態は、本発明の技術思想を具体化するための拡大観察装置、画像ファイル生成装置、画像ファイル生成プログラム、３次元画像表示プログラム及びコンピュータで読み取り可能な記録媒体又は記録した機器を例示するものであって、本発明は拡大観察装置、画像ファイル生成装置、画像ファイル生成プログラム、３次元画像表示プログラム及びコンピュータで読み取り可能な記録媒体又は記録した機器を以下のものに特定しない。また、本明細書は特許請求の範囲に示される部材を、実施の形態の部材に特定するものでは決してない。特に実施の形態に記載されている構成部品の寸法、材質、形状、その相対的配置等は特に特定的な記載がない限りは、本発明の範囲をそれのみに限定する趣旨ではなく、単なる説明例にすぎない。なお、各図面が示す部材の大きさや位置関係等は、説明を明確にするため誇張していることがある。さらに以下の説明において、同一の名称、符号については同一もしくは同質の部材を示しており、詳細説明を適宜省略する。さらに、本発明を構成する各要素は、複数の要素を同一の部材で構成して一の部材で複数の要素を兼用する態様としてもよいし、逆に一の部材の機能を複数の部材で分担して実現することもできる。
【００３５】
本発明の実施例において使用される拡大観察装置とこれに接続される操作、制御、表示、その他の処理等のためのコンピュータ、プリンタ、外部記憶装置その他の周辺機器との接続は、例えばＩＥＥＥ１３９４、ＲＳ−２３２ｘやＲＳ−４２２、ＵＳＢ等のシリアル接続、パラレル接続、あるいは１０ＢＡＳＥ−Ｔ、１００ＢＡＳＥ−ＴＸ、１０００ＢＡＳＥ−Ｔ等のネットワークを介して電気的、あるいは磁気的、光学的に接続して通信を行う。接続は有線を使った物理的な接続に限られず、ＩＥＥＥ８０２．１ｘ、ＯＦＤＭ方式等の無線ＬＡＮやＢｌｕｅｔｏｏｔｈ等の電波、赤外線、光通信等を利用した無線接続等でもよい。さらにデータの交換や設定の保存等を行うための記録媒体には、メモリカードや磁気ディスク、光ディスク、光磁気ディスク、半導体メモリ等が利用できる。なお本明細書において拡大観察装置とは、拡大観察装置本体のみならず、これにコンピュータ、外部記憶装置等の周辺機器を組み合わせた撮像システムも含む意味で使用する。
【００３６】
また、本明細書において拡大観察装置、画像ファイル生成装置、画像ファイル生成プログラム、３次元画像表示プログラムは、３次元画像データを含む画像ファイル生成を行うシステムそのもの、ならびに画像ファイル生成に関連する入出力、表示、演算、通信その他の処理をハードウェア的に行う装置や方法に限定するものではない。ソフトウェア的に処理を実現する装置や方法も本発明の範囲内に包含する。例えば汎用の回路やコンピュータにソフトウェアやプログラム、プラグイン、オブジェクト、ライブラリ、アプレット、コンパイラ、モジュール、特定のプログラム上で動作するマクロ等を組み込んで画像生成そのものあるいはこれに関連する処理を可能とした装置やシステムも、本発明の拡大観察装置、画像ファイル生成装置、画像ファイル生成プログラム、３次元画像表示プログラムに該当する。また本明細書においてコンピュータには、汎用あるいは専用の電子計算機の他、ワークステーション、端末、携帯型電子機器、ＰＤＣやＣＤＭＡ、Ｗ−ＣＤＭＡ、ＦＯＭＡ（登録商標）、ＧＳＭ、ＩＭＴ２０００や第４世代等の携帯電話、ＰＨＳ、ＰＤＡ、ページャ、スマートフォンその他の電子デバイスも包含する。さらに本明細書においてプログラムとは、単体で使用されるものに限られず、特定のコンピュータプログラムやソフトウェア、サービス等の一部として機能する態様や、必要時に呼び出されて機能する態様、ＯＳ等の環境においてサービスとして提供される態様、環境に常駐して動作する態様、バックグラウンドで動作する態様やその他の支援プログラムという位置付けで使用することもできる。
【００３７】
［第１の実施の形態］
以下、図１から図２を用いて、本発明の第１の実施の形態に係る拡大観察装置を説明する。拡大観察装置は、図１に示すように観察対象の試料を照明するための照明部６０と、照明部６０により照明された試料を撮像する撮像部１０と、撮像部１０で撮像された拡大画像を表示する表示部５２を有する情報処理装置５０を備える。さらに図１の拡大観察装置は、試料を固定する試料固定部（試料Ｓを載置するステージ３０）と、光学系１１を介して入射する試料固定部に固定された試料Ｓからの反射光または透過光を電気的に読み取る撮像素子（ＣＣＤ１２）と、試料固定部と光学系１１の光軸方向における相対距離を変化させ焦点を調整する焦点調整部（ステージ昇降器２０）とを備える。さらにまた情報処理装置５０は、図２に示すように、焦点調整部によって焦点を調整したときの試料固定部と光学系１１の光軸方向における相対距離に関する焦点距離情報を、光軸方向とほぼ垂直な面内における試料の２次元位置情報と共に記憶する焦点距離情報記憶部（メモリ５３）と、撮像素子によって読み取られた画像を表示する表示部５２と、表示部５２によって表示された画像の一部の領域を少なくとも一つ設定可能な領域設定部（操作部５５、ポインティングデバイス５５Ａ）と、領域設定部によって設定された領域に対応する試料Ｓの一部または全部に関する焦点距離情報記憶部に記憶された焦点距離情報に基づいて、領域設定部によって設定された領域に対応する試料Ｓの光軸方向における平均高さを演算する演算部（制御部５１）とを備える。この拡大観察装置は、光学系を介して入射する試料固定部に固定された試料からの反射光または透過光を電気的に読み取る撮像素子を用いて、指定された領域に対応する試料の光軸方向における平均高さ（深さ）を演算できる。
【００３８】
撮像部１０は、図２に示すように、試料Ｓを載置する試料固定部の一形態であるステージ３０と、ステージ３０を移動させるステージ昇降器２０と、ステージ３０に固定された試料に光学系を介して入射される光の反射光または透過光を、２次元状に配置された画素毎に電気的に読み取る撮像素子の一形態としてＣＣＤ１２と、ＣＣＤ１２を駆動制御するＣＣＤ制御回路１３とを備える。さらに撮像部１０には、拡大観察装置本体である情報処理装置５０が接続される。情報処理装置５０は、撮像素子によって電気的に読み取られた画像データを記憶する画像データ記憶部の一形態としてメモリ５３と、撮像素子によって電気的に読み取られた画像データに基づいて画像を表示するディスプレイやモニタ等の表示部５２と、表示部５２上に表示される画面に基づいて入力その他の操作を行う操作部５５と、操作部５５によって入力された情報に基づいて画像処理その他各種の処理を行う制御部５１とを備える。表示部５２を構成するディスプレイは、高解像度表示が可能なモニタであり、ＣＲＴや液晶パネル等が利用される。
【００３９】
操作部５５はコンピュータと有線もしくは無線で接続され、あるいはコンピュータに固定されている。一般的な操作部５５としては、例えばマウスやキーボード、スライドパッド、トラックポイント、タブレット、ジョイスティック、コンソール、ジョグダイヤル、デジタイザ、ライトペン、テンキー、タッチパッド、アキュポイント等の各種ポインティングデバイスが挙げられる。またこれらの操作部５５は、拡大観察用操作プログラムの操作の他、拡大観察装置自体やその周辺機器の操作にも利用できる。さらに、インターフェース画面を表示するディスプレイ自体にタッチスクリーンやタッチパネルを利用して、画面上をユーザが手で直接触れることにより入力や操作を可能としたり、または音声入力その他の既存の入力手段を利用、あるいはこれらを併用することもできる。図１の例では、操作部５５はマウス５５ａ等のポインティングデバイス５５Ａで構成される。操作部５５は、後述する観察視点や拡大／縮小率等を変更するための変更部として機能する。
【００４０】
図１に本発明の実施の形態に係る拡大観察装置の外観図を示す。光学系および撮像素子を有するカメラ１０ａは、スタンド台４１から鉛直方向に延びる支柱４２に固定されたカメラ取り付け部４３に取り付けられる。スタンド台４１には、試料Ｓを載置するステージ３０が上部に取り付けられたステージ昇降器２０が配置される。カメラ１０ａおよびステージ昇降器２０は情報処理装置５０に接続されて制御される。情報処理装置５０は、表示部５２、およびマウス５５ａ等の操作部５５を備える。表示部５２には、観察画像が表示される。
【００４１】
また、情報処理装置５０である拡大観察装置にはコンピュータ７０を接続可能であり、コンピュータ７０に別途拡大観察用操作プログラムをインストールして、コンピュータ７０側からも拡大観察装置を操作することもできる。本明細書において、コンピュータを使って拡大観察装置を操作する拡大観察用操作プログラムとは、拡大観察装置に外部接続された汎用もしくは専用コンピュータにインストールされる操作プログラムの他、上述した拡大観察装置の制御部である情報処理装置５０に内蔵された操作プログラムも含む。拡大観察装置には、予め拡大観察装置を操作する操作機能あるいは操作プログラムが内蔵されている。この操作プログラムは、書き換え可能なソフトウェア、ファームウェア等の形態で拡大観察装置に対してインストール、あるいはアップデートすることも可能である。従って、本明細書において拡大観察用操作プログラムを実行させるコンピュータには、拡大観察装置自体も含まれる。
【００４２】
図２に本発明の実施の形態に係る拡大観察装置のブロック図を示す。情報処理装置５０は、表示部５２と、制御プログラム・焦点距離情報・受光データ・２次元情報等を記憶するメモリ５３と、情報処理装置５０がカメラ１０ａおよびステージ昇降器２０とデータを通信するためのインターフェイス５４と、操作者が拡大観察装置に関する操作を行う操作部５５とから構成される。ステージ昇降器２０は、例えばステッピングモータ２１と、ステッピングモータ２１の昇降を制御するモータ制御部２２とから構成される。撮像部１０は、撮像素子として例えばＣＣＤ１２等の受光素子と、ＣＣＤ１２を駆動制御するＣＣＤ制御回路１３と、照明部６０からステージ３０上に載置された試料Ｓに対して照射された光の透過光や反射光をＣＣＤ１２上に結像させる光学系１１とを備える。
【００４３】
［画素ずらし手段］
さらに撮像部１０は、画素ずらしによってＣＣＤ１２の持つ解像度以上の高解像度を得るための画素ずらし手段を備えることができる。画素ずらしとは、例えば画素ピッチの半分だけ被写体をずらして撮影した画像と、ずらす前の画像とを合成することにより高解像度化を図るものである。代表的な画像ずらしの機構としては、撮像素子を移動させるＣＣＤ駆動方式、ＬＰＦを傾斜させるＬＰＦ傾斜方式、レンズを移動させるレンズ移動方式等がある。図２においては、ステージ３０に固定された試料Ｓから光学系１１を介してＣＣＤ１２に入射される反射光または透過光の入射光路を、少なくとも一の方向に、その方向におけるＣＣＤ１２の一画素の間隔よりも小さい距離で光学的にシフトさせる光路シフト部１４を備える。本発明の一実施形態において画素ずらしを実現するための機構や手法は、上記の構成に限られず、既知の方法や将来開発される方法が適宜利用できる。
【００４４】
情報処理装置５０は、モータ制御回路２２に対してステッピングモータ２１の制御に関する制御データを入力することによって、試料固定部であるステージ３０と、光学系１１および撮像素子であるＣＣＤ１２を有するカメラ１０ａとの光軸方向における相対距離、ここではｚ方向における高さを変化させる。具体的には、情報処理装置５０は、ステージ昇降器２０の制御に必要な制御データをモータ制御回路２２に入力することによってステッピングモータ２１の回転を制御し、ステージ３０の高さｚ（ｚ方向の位置）を昇降させる。ステッピングモータ２１は、回転に応じた回転信号を生成する。情報処理装置５０は、モータ制御回路２２を介して入力される回転信号に基づいて、試料固定部と光学系１１の光軸方向における相対距離に関する情報としてのステージ３０の高さｚを記憶する。なお本実施の形態においては、ステージ３０の高さを変化させることによって試料固定部と光学系の光軸方向における相対距離を変化させる例を示したが、ステージ３０を固定して光学系１１の高さ、例えばカメラ１０ａの高さを変化させてもよい。
【００４５】
ＣＣＤ１２は、ｘ方向およびｙ方向に２次元状に配置された画素毎に受光量を電気的に読み取ることができる。ＣＣＤ１２上に結像された試料Ｓの像は、ＣＣＤ１２の各画素において受光量に応じて電気信号に変換され、ＣＣＤ制御回路１３においてさらにデジタルデータに変換される。情報処理装置５０は、ＣＣＤ制御回路１３において変換されたデジタルデータを受光データＤとして、光軸方向（図２中のｚ方向）とほぼ垂直な面内（図２中のｘ、ｙ方向）における試料の２次元位置情報としての画素の配置情報（ｘ、ｙ）と共にメモリ５３に記憶する。ここで、光軸方向とほぼ垂直な面内とは、厳密に光軸に対して９０°をなす面である必要はなく、その光学系および撮像素子における解像度において試料の形状を認識できる程度の傾きの範囲内にある観察面であればよい。
【００４６】
また、以上の説明では試料固定部の一例として、試料がステージに載置される例を示したが、例えばステージの代わりにアームを取り付け、その先端に試料を固定する構成とすることもできる。さらにカメラ１０ａは、カメラ取り付け部４３に装着して使用する他、脱着可能として手持ち等の方法により所望の位置、角度に配置することもできる。
【００４７】
図１に示す照明部６０は、試料に落射光を照射するための落射照明６０Ａと、透過光を照射するための透過照明６０Ｂを備える。これらの照明は、光ファイバー６１を介して情報処理装置５０と接続される。情報処理装置５０は光ファイバー６１を接続するコネクタ６２を備えると共に、コネクタ６２を介して光ファイバー６１に光を送出するための光源（図示せず）を内蔵する。光源にはハロゲンランプ等が用いられる。
【００４８】
［制御部５１］
制御手段である制御部５１は、撮像した観察画像を、表示部５２で表示可能な解像度に変換して表示するよう制御する。図１の拡大観察装置においては、撮像部１０がＣＣＤ１２によって試料Ｓを撮像した観察画像を表示部５２に表示する。一般にＣＣＤ等の撮像素子の性能は、表示部での表示能力を上回ることが多いので、撮像した観察画像を一画面に表示するためには画像を間引く等して解像度を一画面で表示可能なサイズまで落とし、縮小表示している。撮像部１０で読み取ったときの読取解像度を第一の解像度とすると、表示部５２においては第一の解像度よりも低い第二の解像度で表示されることとなる。
【００４９】
［第２の実施の形態］
次に、本発明の第２の実施の形態に係る拡大観察装置を、図３を用いて説明する。第２の実施の形態の拡大観察装置において、撮像部であるカメラは、試料Ｓに対して照射された第一の光源（レーザ１０１）からの光の反射光を第一の光学系１００を介して第一の受光素子（フォトダイオード１１２）によって受光する第一の撮像部と、試料Ｓに対して照射された第二の光源（白色ランプ２０１）からの光の反射光を第二の光学系２００を介して第二の受光素子（ＣＣＤ２１２）によって受光する第二の撮像部とを備える。
【００５０】
まず、第一の撮像部について説明する。第一の光学系１００は、試料Ｓに単色光（例えばレーザ光）を照射するレーザ１０１、第一のコリメートレンズ１０２、偏光ビームスプリッタ１０３、１／４波長板１０４、水平偏向装置１０５、垂直偏向装置１０６、第一のリレーレンズ１０７、第二のリレーレンズ１０８、対物レンズ１０９、結像レンズ１１０、ピンホール板１１１、フォトダイオード１１２を有する。
【００５１】
第一の光源には、例えば赤色レーザ光を発する半導体レーザ１０１が用いられる。レーザ駆動回路１１５によって駆動されるレーザ１０１から出射されたレーザ光は、第一のコリメートレンズ１０２を通り、偏光ビームスプリッタ１０３で光路を変えられ、１／４波長板１０４を通過する。この後、水平偏向装置１０５および垂直偏向装置１０６によって水平（横）方向および垂直（縦）方向に偏向された後、第一のリレーレンズ１０７および第二のリレーレンズ１０８を通過し、対物レンズ１０９によってステージ３０上に置かれた試料Ｓの表面に集光される。
【００５２】
水平偏向装置１０５および垂直偏向装置１０６は、それぞれガルバノミラーで構成され、レーザ光を水平および垂直方向に偏向させることにより、試料Ｓの表面をレーザ光で走査する。ステージ３０は、ステージ昇降器２０によりｚ方向（光軸方向）に駆動される。これにより、対物レンズ１０９の焦点と試料Ｓとの光軸方向での相対距離を変化させることができる。
【００５３】
試料Ｓで反射されたレーザ光は、上記の光路を逆に辿る。すなわち、対物レンズ１０９、第二のリレーレンズ１０８および第一のリレーレンズ１０７を通り、水平偏向装置１０５および垂直偏向装置１０６を介して１／４波長板１０４を再び通る。この結果、レーザ光は偏光ビームスプリッタ１０３を透過し、結像レンズ１１０によって集光される。集光されたレーザ光は、結像レンズ１１０の焦点位置に配置されたピンホール板１１１のピンホールを通過してフォトダイオード１１２に入射する。フォトダイオード１１２は受光量を電気信号に変換する。受光量に相当する電気信号は、出力アンプおよびゲイン制御回路（図示せず）を介してＡ／Ｄコンバータ１１３に入力され、デジタルデータに変換される。ここでは、第一の受光素子としてフォトダイオードを用いる例を示したが、フォトマルチプライヤ等を用いてもよい。また、レーザ１０１は赤色レーザに限定されず、青色、紫外光レーザを用いてもよい。このような短波長レーザを用いることによって高解像度の高さデータが得られる。
【００５４】
上記のような構成の第一の撮像部により、試料Ｓの高さ（深さ）情報を得ることができる。以下に、その原理を簡単に説明する。上述のように、ステージ３０がステージ昇降器２０のステッピングモータ２１およびモータ制御回路２２によってｚ方向（光軸方向）に駆動されると、対物レンズ１０９の焦点と試料Ｓとの光軸方向における相対距離が変化する。そして、対物レンズ１０９の焦点が試料Ｓの表面（被測定面）に結ばれたときに、試料Ｓの表面で反射されたレーザ光は上記の光路を経て結像レンズ１１０で集光され、ほとんどすべてのレーザ光がピンホール板１１１のピンホールを通過する。したがって、このときにフォトダイオード１１２の受光量が最大になる。逆に、対物レンズ１０９の焦点が試料Ｓの表面（被測定面）からずれている状態では、結像レンズ１０９によって集光されたレーザ光はピンホール板１１１からずれた位置に焦点を結ぶので、一部のレーザ光しかピンホールを通過することができない。その結果、フォトダイオード１１２の受光量は著しく低下する。
【００５５】
したがって、試料Ｓの表面の任意の点について、ステージ３０をｚ方向（光軸方向）に駆動しながらフォトダイオード１１２の受光量を検出すれば、その受光量が最大になるときのステージ３０の高さを求めることができる。
【００５６】
実際には、ステージ３０を１ステップ移動するたびに水平偏向装置１０５および垂直偏向装置１０６によって試料Ｓの表面を走査してフォトダイオード１１２の受光量を取得する。図４は、１つの点（画素）におけるステージ３０の高さｚに対する受光データＤの変化を示す。ステージ３０を測定範囲の下端から上端までｚ方向に移動させたとき、走査範囲内の複数の点（画素）について、図４に示したように高さｚに応じて変化する受光データＤが得られる。この受光データＤに基づいて、最大受光量とそのときの焦点距離Ｚｆが各点（画素）ごとに得られる。この受光データＤの最大値に対応するステージ３０の高さｚが焦点距離Ｚｆとなる。したがって、この焦点距離Ｚｆに基づいて試料Ｓの表面高さのｘ−ｙ平面での分布が得られる。この処理は、インターフェイス５３を介して入力されると共にメモリ５３に記憶されたＣＣＤ１２の受光データＤを画素の配置情報（ｘ、ｙ）および高さ情報ｚに基づいて、制御部５１によって行われる。
【００５７】
得られた表面高さの分布は、いくつかの方法で表示部５２に表示することができる。例えば３次元表示によって試料の高さ分布（表面形状）を立体的に表示することができる。あるいは、高さデータを輝度データに変換することにより、明るさの２次元分布として表示できる。高さデータを色差データに変換することにより、高さの分布を色の分布として表示してもよい。
【００５８】
第２の実施の形態においても、第１の実施の形態と同様に、第一の撮像部によって得られた高さデータに基づき、ポインティングデバイス５５Ａ等によって表示部５２の画像上の２点を指定することによって矩形状に領域の設定を行い、領域内の平均高さや各領域間の相対高さを演算し、表示部５２に表示することができる。
【００５９】
また、ｘ−ｙ走査範囲内の各点（画素）について得られた受光量を輝度データとする輝度信号から、試料ｗの表面画像（白黒画像）が得られる。各画素における最大受光量を輝度データとして輝度信号を生成すれば、表面高さの異なる各点でピントの合った被写界深度の非常に深い共焦点画像が得られる。また、任意の注目画素で最大受光量が得られた高さ（ｚ方向位置）に固定した場合は、注目画素の部分と高低差が大きい部分の画素の受光量は著しく小さくなるので、注目画素と同じ高さの部分のみが明るい画像が得られる。
【００６０】
次に、第二の撮像部について説明する。第二の光学系２００は、試料Ｓに白色光（カラー画像撮影用の照明光）を照射するための第二の光源２０１、第二のコリメートレンズ２０２、第１ハーフミラー２０３、第２ハーフミラー２０４、第２受光素子としてのＣＣＤ２１２を有する。また、第二の光学系２００は第一の光学系１００の対物レンズ１０９を共用し、両光学系１００、２００の光軸は一致している。
【００６１】
第二の光源２０１には例えば白色ランプが用いられるが、特に専用の光源を設けず、自然光または室内光を利用してもよい。第二の光源２０１から出た白色光は、第二のコリメートレンズ２０２を通り、第一のハーフミラー２０３で光路を曲げられ、対物レンズ１０９によってステージ３０上に置かれた試料Ｓの表面に集光される。
【００６２】
試料Ｓで反射された白色光は、対物レンズ１０９、第一のハーフミラー２０３、第二のリレーレンズ１０８を通過し、第二のハーフミラー２０４で反射されてカラーで受光可能なＣＣＤ２１２に入射して結像する。ＣＣＤ２１２は、第一の光学系１００のピンホール板１１１のピンホールと共役または共役に近い位置に設けられている。ＣＣＤ２１２で撮像されたカラー画像は、ＣＣＤ制御回路２１３によって読み出されると共にデジタルデータに変換される。このようにして得られたカラー画像は、試料Ｓの観察用の拡大カラー画像として表示部５２に表示される。
【００６３】
また、第一の撮像部で得られた被写界深度の深い共焦点画像と第二の撮像部で得られた通常のカラー画像とを組み合わせて、すべての画素でピントの合った被写界深度の深いカラー共焦点画像を生成し、表示することもできる。例えば、第二の撮像部で得られたカラー画像を構成する輝度信号を第一の光学系１００で得られた共焦点画像の輝度信号で置き換えることにより、簡易的にカラー共焦点画像を生成することができる。
【００６４】
ここでは、共焦点光学系である第一の光学系１００を有する第一の撮像部と非共焦点光学系である第二の光学系２００を有する第二の撮像部を備える拡大観察装置を示したが、第１の撮像部のみを備える構成とすることもできる。
【００６５】
また、第１の実施の形態に係る拡大観察装置のように、受光素子は２次元状に配置された画素毎に受光量を読み取る２次元撮像素子（例えばＣＣＤ）であり、焦点調整部が領域設定部によって設定された領域に対応する試料の一部または全部に対応する受光量の和に基づいて焦点を調整する構成とした場合、共焦点光学系のような複雑な構成を必要とすることなく、簡単な構成で試料の高さを測定することができる。特に、この拡大観察装置においては、画素単位でなく、操作者によって設定された領域単位、すなわち相当数の画素の相対距離に対する受光データの変化から受光データの最大値を判断すると共に、そのときの平均焦点距離に基づいて平均高さを演算することから、白色光を光源としＣＣＤを受光素子として用いた場合であっても、各画素における受光データの焦点距離に対する変化のばらつきを低減でき、信頼性の高い平均高さの測定を行うことができる。さらに、２次元撮像素子としてカラーＣＣＤを用いる場合は、ＲＧＢの受光データに基づいてその画素の受光データを算出してもよく、またＲＧＢのうちの１または２の色調の受光データに基づいてその画素の受光データとしてもよい。
【００６６】
また、領域設定部によって設定された領域が、試料の大きさよりも大きく試料の全部を含んでいる場合には、試料以外の部分、すなわちステージの上面は平均高さの演算の対象から除外することが好ましい。より正確な試料の高さを演算することができるからである。この場合ステージの上面であるか否かは、その画素とその画素に隣接する画素との高さの差が所定高さ以上あるか否か等によって判別することができる。もちろん、領域設定部によって設定された領域が、試料の一部であっても、ステージの上面が領域に含まれる場合は、平均高さの演算の対象から除外することが好ましい。
【００６７】
また、以上の実施の形態においては、試料固定部に固定された試料からの反射光を電気的に読み取る例を示したが、試料の背面から光を照射してその透過光を電気的に読み取るように構成してもよい。また、以上の説明では、試料固定部の一例として、試料がステージに載置される例を示したが、例えばステージの代わりにアームを取り付けその先端に試料を固定する構成とすることもできる。
【００６８】
［３次元画像］
また拡大観察装置は、２次元的な画像のみならず、３次元画像を表示させることもできる。３次元データに基づいて３Ｄ画像を拡大観察装置の表示部５２に再現することで、様々な視点や角度から立体的に画像を観察、評価したり、高さ等表面形状やプロファイルの測定を行うことができる。３次元画像を生成して表示するには、例えば光軸方向における相対距離、すなわち観察対象の試料とレンズの距離を変化させて、画像を複数枚撮像し、同時に画像撮像時の移動量を記録しておく。これによって合成画像を作成する際に観察対象の高さ情報も得ることができるので、取得した画像を３次元データとして構築できる。
【００６９】
一般的な３次元データの撮像方法を図５に基づいて説明する。まずステップＳ５０１で撮像部１０、ステージ昇降器２０および情報処理装置５０等を初期化する。そしてステップＳ５０２で、レンズの移動量と移動範囲を設定する。レンズの移動範囲はレンズの高さの範囲であり、例えばユーザが大まかな高さを移動開始位置として指定する。またレンズの移動量はレンズの一回当たりの移動距離であり、細かく設定するほど詳細な画像が撮像できる反面、生成に時間がかかるので、観察目的に応じて適切な値に設定する。指定方法としては、ユーザが画像の精細さを指定し、これに応じた移動距離を拡大観察装置側が自動的に設定したり、ユーザが直接移動距離を数値等で指定する、あるいはデフォルトの既定値を利用する等の方法がある。
【００７０】
次にステップＳ５０３では、上記で指定された移動開始位置にレンズを設定する。そしてステップＳ５０４で撮像を開始する。撮像後、ステップＳ５０５でレンズをステップＳ５０２で設定された移動量だけ移動させ、ステップＳ５０６で移動範囲が終了位置に達したか否かを判定を行う。終了位置に達していない場合はステップＳ５０４に戻って撮像と移動ステップを繰り返す。移動の結果、ステップＳ５０２で設定された移動範囲を終えた時点でステップＳ５０７に移行し、２次元の撮像画像を合成する。そしてステップＳ５０８で、撮像された２次元データに基づいて３次元画像データを構築し、表示部５２に表示させる。３次元データの構築には、レンズの位置とそのときに撮像された画像から、高さ方向に変化するプロファイルが演算できるので、異なる高さ毎に撮像された複数枚の２次元画像データを合成することで、立体的な形状を構築できる。例えば撮像された２次元画像で得られる離散的なプロファイルを補完して、連続的なプロファイルを合成する。この処理はハードウェア的に高速に行うことができる。
【００７１】
以上のようにして構築された３次元画像は、自由に視点の変更や画像の回転、反転、変形、拡大／縮小等して表示させることができる。変更操作は、変更部の一形態であるマウス５５ａ等のポインティングデバイス５５Ａで行われる。画像の回転は、マウス５５ａを操作し、画像を選択してドラッグしたままマウスポインタを移動させることで、ドラッグされた方向に回転する。また拡大／縮小は、ホイールマウスのスクロールボタン５５ｄに画面の拡大、縮小機能を割り当てることも可能である。これらの方法に限られず、変更部として操作ボタンや操作ツール群をソフトウェア画面上に配置して操作したり、操作機能をキーボードの特定のキーに割り付けたり、操作用の専用ハードウェアを変更部とすることもできる。
【００７２】
このような３次元画像の取得方法や、取得された３次元データの表示を変更する手法は、既知の方法や将来開発される方法が適宜利用できる。例えば、オープンＧＬ（Open Graphics Library）等のＡＰＩが利用できる。
［３次元画像表示プログラム］
【００７３】
図６に、３次元画像観察のための３次元画像表示プログラムの操作を行うユーザインターフェース画面を示すイメージの一例として、コントローラ部を示す。コントローラ部３００は、図６のインターフェース画面によって３次元画像を観察、対比できる。以下、図６に示すコントローラ部３００の操作手順を示す。まず、上記の拡大観察装置で作成された３次元画像を表示部（図６に図示せず）に表示させる。なお、既に記録、保存された任意の３次元画像ファイルを開いて使用することもできる。表示部で表示される３次元画像に対して、ユーザは画像の拡大／縮小や回転、移動等を行うことができる。また、複数の３次元画像を同時に表示させて、これらを対比することもできる。図６の例では、基準３次元画像と比較したい比較３次元画像データを指定し、「３Ｄファイル比較」欄３１０の「比較モード」ボタン３１２を押下すると、表示部は複数の表示領域に分割され、既に表示されている基準３次元画像が表示領域Ａに表示されると共に、指定した比較３次元画像が表示領域Ｂに表示される。なお、基準３次元画像を保持したまま、比較３次元画像を入れ替える場合は、同様にして新たに選択したい基準３次元画像を指定し、「サブ切換」ボタン３１３を押下すると、表示領域Ａはそのままで、表示領域Ｂに、新たに選択した比較３次元画像が並んで表示される。また、図６の「３Ｄファイル比較」欄３１０の「連動モード」ボタン３１４を押下すると、比較３次元画像の表示倍率が変更されて、左側の基準３次元画像と同じ大きさとなるように縮小して表示される。拡大縮小倍率の調整は、３次元データと共に保存された撮像位置に関する基準情報に基づいて行われる。ここでは、各画像の撮像時の倍率を比較して、左側の基準３次元画像の倍率を基準として、右側の比較３次元画像の倍率を一致させるように自動的に拡大縮小率を演算し、演算された値に基づいて表示倍率を変更している。これによって、同じスケールで画像を並べて比較できるので、対比して観察する際に非常に便利となる。なお、倍率調整は、表示の拡大縮小倍率の調整を自動で行うこともできるが、手動で行うようにすることもできる。ユーザが手動で表示倍率を変更するには、例えばマウス５５ａで対象となる３次元画像を選択後、スクロールボタン５５ｄをクリックしたままマウス５５ａを下方に動かすと画像が縮小表示され、上方に動かすと拡大表示される。また「同期セット」ボタン３１６を押下すると、比較３次元画像の姿勢が基準３次元画像と同じ視点となるように変更される。
［２次元画像の保存］
【００７４】
またユーザは、表示中の３次元画像を表示状態を、２次元画像として保存することもできる。図６のコントローラ部３００画面上部の「高さ調整」スライダ３２０の下に設けられた「保存」ボタン３２２を押下すると、２次元画像として保存するダイヤログボックスが開くので、保存先やファイル名、ファイル形式等を指定して、３次元画像を現在表示中の２次元画像として保存する。ここでは、３次元画像ファイルとは個別の２次元画像データファイルとして保存される。
【００７５】
また、「保存」ボタン３２２の下に設けられた「リセット」ボタン３２４は、３次元画像を回転、移動等させた後初期状態に戻したい場合に押下すると、ファイルを開いた直後の状態での初期状態の姿勢に戻る。さらに「保存」ボタン３２２の上方に配置された「高さ調整」スライダ３２０は、３次元画像の立体感を調整するものである。「高さ調整」スライダ３２０を中間位置から下方に移動させるほど、立体感が強調され、逆に上方に移動させるほど立体感が弱められ平面に近付く。なお、ここで説明したコントローラ部３００の機能や操作方法は一例であって、プログラムのユーザインターフェース画面や操作方法等は、適宜変更可能であることはいうまでもない。また、コントローラ部に相当するハードウェアを拡大観察装置に設置することもできる。
［照明シミュレーション］
【００７６】
さらに、取得された３次元観察画像に対して、その近傍に仮想的に光源を配置して照明光を３次元観察画像に向けて照射し、３次元観察画像の表面でどのように反射するかをシミュレーションして表示する照明シミュレーションを実行することもできる。３次元観察画像に対して照明シミュレーションを行った例を図７〜図９に示す。これらの図において、図７は照明シミュレーション機能実行前の３次元画像を、図８は照明シミュレーション機能によって拡散反射させた例、図９は正反射成分を強調させた例を、それぞれ示す。このように照明シミュレーション機能によって、表面の陰影から凹凸状態を判別しやすくなり、立体的に画像を評価、観察することができる。さらに、光源の位置や角度、照明光の明るさ等を調整したり、また３次元観察画像自体を回転、移動、拡大／縮小等させることで、様々な視点や角度から観察を行える。このような照明シミュレーション機能を実現するアルゴリズムやハードウェアは、既存の、あるいは将来開発される手法が適宜利用できる。本実施の形態においては、照明シミュレーション機能は制御部５１により実行される。制御部５１は、３次元観察画像に対して所定の照明条件で照明光を照射して生じる光の反射の状態を表現した反射付３次元観察画像を演算して描画、構築する。これにより、ハードウェア的な照明の変更を行うことなく、容易にかつ迅速に照明と同様の結果を得ることができる。
（影情報の省略）
【００７７】
また、本実施の形態においては、反射付３次元観察画像の生成において他の部位によって生じる影情報を省略している。すなわち、観察対象の３次元観察画像の各部位における照明光の反射状態は、本来であれば他の部位によって影が投影されたり、逆に反射光による照り返しが加味されて表示されるべきであるが、これらの影響を考慮すると、表面状態の特定の部位のみを観察する際には却って見難くなり、また演算処理も複雑になる。そこで本実施の形態においては、このような他の部位による影響を考慮せず、各部位のみが単独で存在した場合に生じるであろう光の見え方のみを再現している。例えば突出部分によって影が投影される部分であっても、照明光が透過するかのように演算され、各部位毎に独立して照明によるユーザへの見え方を演算している。これにより、現実に照明を照射した場合の見え方とは異なる反射付３次元観察画像が生成されることとなるが、本来であれば見難くなるような部位であっても、明るく見易い状態で表示できるので、より観察に適した３次元観察画像を得ることができる。また、他の影響を考慮しない分、演算処理も軽くなりより高速かつ低負荷で実現できるメリットもある。ただ、この例に限られず他の部位による影響を考慮した反射付３次元観察画像を構築して表示することも可能である。この場合に得られる反射付３次元観察画像は、実際に照明を照射した際に見えるイメージと近い状態に表示できる。ただ、演算量が多くなる分、処理は重くなる。
（光源の位置表示）
【００７８】
また、表示部で表示される３次元観察画像に対して光源の位置を表示させ、どの位置に光源があるかの位置関係をユーザに視覚的に把握させることができる。従来、光源の位置は「左上」、「右下」といった大まかな位置を選択したり、あるいは座標を入力する等の方法が採用されていたが、前者では細かな調整ができず、後者では指定が面倒で位置関係を視覚的に把握できないという問題があった。そこで本実施の形態では、表示部上で表示される３次元観察画像近傍に光源の表示位置を示すことにより、位置の指定を容易にすると共に、設定された位置が３次元観察画像に対してどの位置にあるかを容易に把握できるようにしている。位置表示は、「○」、「×」等のマークで表示させてもよいが、好適には図１０に示すようにランプや懐中電灯といった照明を想起させるイメージ画像のアイコンＩやオブジェクトで表示させる。これによりユーザは視覚的に光源であることを認識し、その位置を把握できる。さらに、このような光源アイコンＩをマウス等でドラッグして移動可能とし、これによって光源の位置を調整可能とすることで、さらに直感的な操作により照明条件を設定する照明設定部（後述）を設定することが可能となる。またマウスでクリックした位置に光源アイコンＩをジャンプさせるようにして移動させることもできる。光源アイコンＩは、移動させた位置から照明光の光軸が３次元観察画像の中心に向かうように自動的に照射角度が調整される。ただ、照射角度をユーザが任意に調整可能に構成してもよい。
（照明シミュレーション設定部４００）
【００７９】
図１１に、３次元画像表示プログラムで照明シミュレーション機能を行うための設定部として、照明シミュレーション設定部４００の画面イメージの一例を示す。この照明シミュレーション設定部４００は、図６のインターフェース画面において「ライトＯＮ」ボタン３４０を押下すると、図１１に示す照明シミュレーション設定部４００に移行して照明シミュレーション機能を実行することができる。また図１１の照明シミュレーション設定部４００から「ライトＯＦＦ」ボタン４４０を押下すると、図６の３次元観察画像のコントローラ部３００に戻る。この例においては、３次元画像表示プログラムに３次元画像の表示機能と、照明シミュレーション機能を持たせており、ボタンの切換によってプログラムのインターフェース画面を切り換えている。ただ、これらの機能を別プログラムで実行させ、必要に応じて各プログラムを呼び出す構成とすることもできる。例えば３次元画像表示プログラムでは３次元画像の表示のみを行わせ、照明シミュレーションを実行する際には照明シミュレーションプログラムを呼び出し、また後述する反射付２次元画像データを生成する際には画像ファイル生成プログラムを呼び出すように構成してもよい。
【００８０】
図１１の照明シミュレーション設定部４００は、図７〜図１０に例示するように、表示部に表示される３次元観察画像に対して照明シミュレーションを実行する。図１１において上段に位置する「移動対象」欄４１０ではマウスのドラッグで操作する対象をラジオボタンで切り替える。「ワーク」を選択すると３次元観察画像を、「ライト」を選択すると光源アイコンＩを、それぞれ独立してマウスで移動、回転、拡大／縮小させることができる。また「ワーク＆ライト」を選択すると、表示中の３次元観察画像及び光源アイコンＩの位置関係を保ったまま、両方を同時に移動等させることができる。
【００８１】
また、「移動対象」欄４１０の下には、光源によって得られる照明の効果を調整可能な照明設定部が設けられる。照明設定部には、光源側の調整を行う光源調整部と、光源の照明光によって得られる３次元観察画像表面の反射状態を調整する反射調整部が含まれる。光源調整部に対応する「明るさ」欄４２０のスライダを操作すると、照明光の強度が可変される。また反射調整部に対応する「表面」欄４３０のスライダを操作すると、表面の反射状態が可変される。この例では、表面の反射率や拡散率を調整して反射の強弱を表現している。
［補助線］
【００８２】
一方、３次元観察画像に対して照明シミュレーションを実行する際、図１２〜図１３に示すように照明の光源の位置関係を表すための各種補助線を付加することもできる。図１２は図１０の光源アイコンＩに対し、光源から仮想的に照射される照明光の照射方向を示す照射線Ａを付加して表示部に表示させた例を、図１３はさらに照射線Ａと直交する平面を表現する平面線Ｂを表示部に表示させた例を、それぞれ示す。
（照射線Ａ）
【００８３】
図１２の照射線Ａは、光源の位置から反射付３次元観察画像に向けて仮想的に照射される照明光の軸線を示しており、光源アイコンＩに照射線Ａを付して反射付３次元観察画像に重ねて表示することで、照明の方向がユーザに感覚的に把握しやすくなる。この例では、光源の照明光が３次元観察画像の中心や重心に向かうように光源の配置角度が自動設定されるため、照射線Ａは常に反射付３次元観察画像の中心や重心に向かって延長される。また、照射線Ａが反射付３次元観察画像と交差する点を照射線Ａの端点とし、照射線Ａをこの点まで延長することで、レーザビームポインタのように照明光の光軸が反射付３次元観察画像上のどの位置に当たるかを示すことができる。なお、照射線Ａの開始点は光源アイコンＩとする他、図１２に示すように光軸に沿って光源アイコンＩの逆方向にも照射線Ａを延長することもでき、これによって光軸の角度をより判り易く表示できる。
（平面線Ｂ）
【００８４】
また、図１３の例では、この照射線Ａに加えて、照射線Ａと直交する平面を表現する平面線Ｂを表示している。平面線Ｂが表現する平面は反射付３次元観察画像上の重心または中心を通る。これにより、照明光の入射角度を視覚的に表現してより判り易くできる。なお、平面線Ｂを反射付３次元観察画像の重心や中心でなく、照射線Ａの端縁を通るように構成してもよい。また、照射線を表示せず平面線Ｂのみを表示させるように構成することもできる。
【００８５】
このように光源アイコンＩに補助線を付加することで、更に照明の光源の位置関係を見易くできる。図１１の照明シミュレーション設定部４００では、補助線のＯＮ／ＯＦＦを行うために照明設定部の下段に「ライト表示」欄４５０を設けている。ラジオボタンで「線」を選択すると照射線Ａが表示され、「平面」を選択すると照射線Ａと平面線Ｂが表示され、「なし」を選択するとこれらの表示がＯＦＦされる。
【００８６】
なお、上記の例では光源を一のみ配置しているが、複数の光源を配置することもできる。その際、各光源の光量や位置、角度等は各々独立して変化させることができる。さらに、バックグラウンドの全体光量と光源光量との光量比を調整することもできる。照明シミュレーションは、このような複数の光源に対して３次元観察画像上の各部位での見え方を演算して表示する。さらに、複数の３次元観察画像を一の画面上に並べて表示させたり、切り換えて表示させることもできる。これによって、各３次元画像を対比して観察することができる。また、基準となる一の３次元観察画像を固定して表示させ、他の３次元観察画像を切り換えて表示させることで、良品検査等に利用することも可能である。
（凹凸のみ表示機能）
【００８７】
さらに、「ライト表示」欄４５０の下部には「凹凸のみ表示」欄４６０のチェックボックスが設けられており、この欄のチェックを入れることにより３次元観察画像の表面の形状のみを表示部に表示させる。本実施の形態では、３次元観察画像は、ワイヤフレームモデルをベースにしたソリッドモデルで形状を表現し、さらに表面状態の質感を擬似的に表現したテクスチャデータをこの上に貼り付けることで、高速な描画処理を可能にしている。「凹凸のみ表示」欄４６０のチェックがＯＦＦの状態では、このテクスチャを貼り付ける処理を行っているが、チェックをＯＦＦとすることでテクスチャによる表面パターンの表現を省いたソリッドモデルで表示される。これにより、表面パターンを表す情報を排除し、光源による陰影のみを表示できるため、より判り易い表示状態とできる。また下段には「背景色」欄４７０が設けられ、背景色を白、黒等所望の色に変更できる。さらにその下段で「ライトＯＦＦ」ボタン４４０の上段には「保存」ボタン４８０が設けられる。
［反射付２次元画像データの保存］
【００８８】
さらに、照明条件を含んだ３次元データを２次元データに埋め込んだ形の画像ファイルフォーマットで保存することができる。３次元画像データは、拡大観察装置に内蔵されるメモリに保持されており、「保存」ボタン４８０が押下されると外部記憶装置等の記録媒体にデータファイルが保存される。３次元画像のみの保存には、３次元画像データを特定の３次元画像ファイルフォーマットとして保存する。さらに、任意の２次元画像に埋め込む形で２次元画像ファイルに従ったファイル形式で保存することができる。この動作は、３次元画像データのみの保存とは別の処理として行われる。ただ、一の保存命令で３次元画像データ専用フォーマットでの保存および２次元画像データへの埋め込み保存を同時に行わせてもよい。例えば、３次元画像を所望の姿勢や倍率、光源や透過等の条件で表示させ、さらに照明条件を設定した反射付３次元観察画像として表示された画像を、２次元画像として取得した上で、この反射付２次元画像データに元の３次元画像データおよび照明条件データを埋め込んで保存する。照明条件データとは、照明シミュレーションの実行に必要なパラメータ等の条件を含むデータである。ユーザは入出力デバイスであるマウス５５ａ等を使って３次元画像の視点や拡大率を調整して所望の姿勢とし、更に所望の照明条件で照明シミュレーションを実行した反射付３次元観察画像を表示部に表示させて、この表示中の３次元画像をキャプチャして、２次元画像として取り込む。
【００８９】
２次元画像のデータフォーマットは、汎用的な形式が望ましい。画像フォーマットとしては、ＪＰＥＧ、ＪＰＥＧ２０００、ＴＩＦＦ、ＢＭＰ、ＰＮＧ、ＧＩＦ、ＷＭＦ、ＥＭＦ等が挙げられる。この内、ユーザが自由に設定可能な領域を持つ形式が望ましく、特にＪＰＥＧ、ＴＩＦＦが好適に利用できる。なおここでいうユーザとは、装置の使用者でなく、装置を設計する者を指す。
【００９０】
ＪＰＥＧやＴＩＦＦ形式のデータファイルには、図１４、図１５に示すようなユーザが利用可能な領域が存在する。図１４はＪＰＥＧ圧縮データの基本構造を示す。圧縮データファイルはＩＳＯ／ＩＥＣ１０９１８−１に規定されるＪＰＥＧ ＢａｓｅｌｉｎｅＤＣＴフォーマットに準拠して記録し、これにアプリケーションマーカセグメント（ＡＰＰ１）を挿入する。また必要に応じてＡＰＰ１の直後に連続してＡＰＰ２を複数個記録することもできる。ＡＰＰ１の内部は、ＡＰＰ１マーカ、Ｅｘｉｆの識別コード、付属情報本体から構成される。これらをすべて含んだＡＰＰ１のサイズは、ＪＰＥＧの規格により６４ｋバイト以下とする。付属情報はファイルヘッダを含むＴＩＦＦの構造をとり、最大２つのＩＦＤ（０ｔｈ ＩＦＤ、１ｓｔ ＩＦＤ）を記録できる。この内、０ｔｈ ＩＦＤには圧縮されている二次元画像に関する付属情報を記録する。また１ｓｔ ＩＦＤにはサムネイル画像を記録することができる。一方、ＡＰＰ２の内部は、ＡＰＰ２マーカ、ＦＰＸＲ（FlashPix Ready）の識別コード、およびFlashPix用拡張データ記録のためのコンテンツリスト、またはストリームデータから構成される。ＡＰＰ２もＡＰＰ１と同じく６４ｋバイト以下の制限があり、これ以上のデータを記録する際はＡＰＰ２を複数個連続して記録する。また図１５は、Ｅｘｉｆ ＩＦＤに記録される付属情報（フィールド名、コード）一覧表である。この図に示すように、タグ情報として様々な情報をユーザは付加することができる。
【００９１】
このようにして３次元画像を所望の照明条件で表示させて取得した反射付２次元画像データに、元となる３次元画像データ及び照明条件を埋め込み、一の画像データファイルに統合することで、同一の観察対象に関する２次元データと３次元データを個別に保存することなく、１ファイルで利用できるようになる。また、このファイルを読み込むことで、反射付２次元画像データを取得した際と同一の照明条件で照明シミュレーションを再現できるので、照明を付した観察に好都合である。特に複数の観察対象物において照明条件を共通にすることで、比較が容易となる。
【００９２】
上述のとおり、ＪＰＥＧやＴＩＦＦ形式のデータにはユーザが利用可能な領域が存在するので、この領域に照明条件データ及び３次元画像データに関する情報を記録する。ここでは、３次元画像データ及び照明条件データを結合していることを示すフラグデータ、３次元画像データ及び照明条件データの結合領域アドレス、３次元画像データ及び照明条件データのサイズを上記の領域に書き込む。さらに、指定された領域に照明条件データ及び３次元画像データを結合した２次元画像データを作成する。このようにして生成されるファイルの構成の一例を図１６に示す。この図に示すように、２次元画像データファイルのヘッダ情報に３次元画像データに関する情報を記録し、さらに２次元画像データの後ろに照明条件データ、３次元画像データを追加している。
【００９３】
このファイルは、３次元画像データを埋め込んでいるものの、ファイル形式としては汎用的な２次元画像ファイルの形式に従っている。したがって、画像ファイルを表示可能なソフトウェアで読み込み、２次元画像データ部分を表示することが可能である。ソフトウェアとしては、例えばフォトレタッチソフト等の画像加工編集ソフトやインターネットブラウザ、ビューワソフト等が利用できる。なお、３次元データに非対応のソフトウェアでこの２次元画像データを加工すると、通常の２次元画像データ形式に書き換えられてしまうため３次元画像データ及び照明条件データは失われる。ファイルをオープンしても、閲覧のみで書き込みをしない限りは元のファイルのデータ構造は維持されるため、３次元データ及び照明条件データも保持される。
【００９４】
また、３次元データの閲覧に対応した３次元画像表示プログラム等の専用ソフトでこのファイルを読み込むと、２次元画像データと共に３次元画像データも表示でき、さらに照明条件データに基づき照明シミュレーションを再現できる。専用ソフトでファイルを読み込む場合は、ヘッダ情報に記録された３次元画像データ及び照明条件データの結合フラグを確認する。これによって３次元画像データ及び照明条件データが取り出され、反射付３次元画像の表示が可能となる。また上述のとおり、３次元画像データの表示視点の変更や拡大率を変化させて表示させることも可能である。さらに、ソフトの同一画面上で２次元画像データと３次元画像データを同時に表示可能としたり、それぞれ加工や編集も可能とすることもできる。さらにまた、３次元画像を所望のアングルに設定し、既に記録されている２次元画像データ部分を新たな２次元画像で書き換えることも可能となる。加えて、３次元画像データの結合を解除し、２次元画像データのみとすることもできるし、また新たな２次元画像データに３次元画像データを埋め込むこともできる。
【００９５】
以上のような画像データの生成、編集機能を備える装置やプログラムの他、このような機能を省き閲覧のみを可能とした簡易的な閲覧装置や閲覧プログラムとすることもできる。すなわち、３次元データおよび２次元データの表示や視点、拡大率等の変更は可能であるが、３次元データの生成はできない制限付のソフトウェアとする。例えば、閲覧プログラムを３次元データ付２次元画像データと共に送付あるいは配布することで、専用の画像ファイル生成プログラムが無くても３次元画像データを表示することが可能となる。例えば、閲覧プログラムを特定のホームページからダウンロード可能とする等、無償で配布すれば、作成された３次元画像データを誰でも利用できるようになるので、利用が促進され該画像ファイルフォーマットが普及し易くなる。また３次元画像データの生成は閲覧ソフトではできないため、画像ファイル生成プログラムの需要も高まり、さらに利用の拡大が期待できる。
【００９６】
なお、上述した実施形態によって、記録媒体に関する発明の実施行為は狭く限定されない。例えば、通信回線を介して上記プログラムを配送し、相手国先のコンピュータの記録媒体（システムメモリやハードディスク等）に上記プログラムを記録して（させて）もよい。この場合、プログラムの配送元は、相手国内において本発明の記録媒体を製造し、また現に製造された記録媒体を相手国内において配送先に譲渡したこととなる。
［画像ファイル生成装置］
【００９７】
以上の画像ファイルフォーマットを作成する処理は、拡大観察装置で行う他、専用の画像ファイル生成装置やプログラムで行うこともできる。本明細書において、２次元画像データと、該２次元画像データ撮像時の高さ情報とを取得するための機能とは、画像ファイル生成装置やプログラム自体が撮像を行う他、他の装置やプログラムで撮像された２次元画像データ及びその高さ情報データを入力する場合も包含する。したがって、画像ファイル生成装置やプログラムは、必ずしも撮像部等の画像撮像のためのハードウェアを持つことを要せず、取得された画像の照明シミュレーションや保存等の処理を行うものであれば足りる。
【００９８】
ここで、画像ファイル生成装置の構成を図１７のブロック図で説明する。図１７に示す画像ファイル生成装置５００は、制御部５１０に入力部５３０、表示部５２０、ファイル生成部５４０、および照明設定部５６０を接続している。入力部５３０は、既に取得された画像ファイルを画像ファイル生成装置５００に入力するための部材であり、外部メディア読み取り装置や通信インターフェース等が利用できる。また制御部５１０は、入力部５３０から入力された画像データファイルに対して、照明シミュレーションを行い、反射付３次元観察画像を演算するものであり、所定のゲートアレイ（ＦＰＧＡ、ＡＳＩＣ）等のハードウエアやソフトウエア、あるいはこれらの混在により実現できる。表示部５２０は、制御部５１０で演算された反射付３次元観察画像等を表示するための部材であり、液晶モニタやＣＲＴ等が利用できる。
（照明設定部５６０）
【００９９】
照明設定部５６０は、照明シミュレーションを行うための照明条件を設定する。ユーザは照明設定部５６０に接続された操作部５６０により、所望の照明条件を設定する。図１７の照明設定部５６０は、照明光を発する光源側の設定を行う光源調整部５６２と、照明光により反射して陰影パターンを生じる反射側の設定を行う反射調整部５６４とを有している。光源調整部５６２は、光源の位置や角度、光量等を調整する。ここでは、操作部５６０の一形態であるマウスで図１０に示す光源アイコンＩをドラッグして光源の位置を調整し、光量を図１１に示す「明るさ」欄４２０のスライダで調整する。また反射調整部５６４は、光源から３次元観察画像に仮想的に照射される照明光の反射状態を変化させることができる。例えば図１１に示す「表面」欄４３０のスライダを強にすれば、金属のように正反射成分が強められ、弱にすれば石膏のように拡散反射の成分を多くして反射を抑制する。これによって照明による表面の凹凸の様子の観察を容易にすることができる。このように、現実の照明観察であれば対象物表面の反射状態をコントロールすることができないが、本実施の形態のように演算処理によって仮想的に照明を照射する照明シミュレーションにおいては、反射状態を変化させて擬似的に金属のような正反射の強い状態や、石膏のような拡散反射する状態をシミュレーションすることができ、観察目的等に応じた見え方に調整できる利点が得られる。照明条件を構成する照明パラメータとしては、光源の空間的な位置、角度、照明光の明るさ、３次元観察画像の表面の反射率、反射する光束の太さ、反射光の拡散、環境光の明るさ等が挙げられる。この例では、３次元観察画像表面の反射率（スペキュラー）は、どれだけ明るく反射するかを示す指標であり、反射する光束の太さ（パワー）は反射する光の太さを示し、反射光の拡散（ディフューズ）は拡散の度合い、環境光の強さ（アンビエント）は背景光の強度を示す。図１１の例では、スライダによって表面の反射率や拡散率を調整して反射の強弱を表現しており、スライダのみの調整とすることでユーザに複雑な照明パラメータを意識させることなく調整を容易にしている。ただ、ユーザが上記照明パラメータを直接指定するように構成してもよく、より自由度の高い反射の調整を可能とできる。また、ユーザの嗜好に応じてこれらスライダによる簡易調整と、各照明パラメータの指定による詳細設定とを切換可能とすることもできる。
【０１００】
このようにして指定された照明条件で照明シミュレーションを実行し、反射付３次元観察画像を生成した後、ファイル生成部５４０によって画像ファイルを保存する。ファイル生成部５４０は、得られた反射付３次元観察画像を２次元画像データに変換し、反射付２次元画像データとして保存することができ、さらにこの反射付２次元画像データに、元の３次元画像データおよび照明条件データを埋め込んだ２次元画像フォーマットを生成して、一のファイルで照明シミュレーションを再現可能とできる。ファイル生成部５４０で生成された画像ファイルフォーマットは、ファイル生成部５４０に接続された画像データ記憶部５７０に保存される。画像データ記憶部５７０は、画像データファイルを保存する記録媒体であり、ハードディスク等の外部記憶装置や各種メディア等の記録媒体が利用できる。
【０１０１】
なお上述した各構成要素が必ずしも図１７等に示した構成と同一でなくてもよく、その機能が実質的に同一であるものや、一つの要素が図１７に示す構成における複数の要素の機能を備えるもの、逆に図１７の一つの部材の機能を複数の要素で実現するものは、本発明に含まれる。以下、画像ファイル生成装置５００で３次元画像を２次元画像に埋め込む手順を、図１８のフローチャートに基づき説明する。
【０１０２】
まずステップＳ１８０１で装置の初期化を行った後、高さの異なる２次元画像を撮影する（ステップＳ１８０２）。ここでは、撮像部と観察対象の相対高さを変更しながら、撮像部で観察対象のスライス画像を複数枚取得する。そしてステップＳ１８０３で３Ｄ処理と表示を行う。具体的には、複数のスライス画像と相対高さ情報から３次元の立体画像を構築して、作成された３次元画像を表示部５２０に表示させる。次に、作成された３次元画像に対して照明条件を設定し、照明シミュレーションを実行する（ステップＳ１８０４）。照明条件としては光源の位置、明るさ、３次元観察画像の位置、角度、表面の反射率等がある。これらのパラメータは、照明条件データとして記録される。さらに必要に応じて、得られた反射付３次元観察画像を所望の表示状態にて２次元画像として保存する（ステップＳ１８０５）。そして、この反射付２次元画像データを保存するか否かを判定する（ステップＳ１８０６）。保存しない場合は処理を終了し、保存する場合は、反射付２次元画像データ撮像時の照明条件データと３次元画像データとを、反射付２次元画像データに結合する（ステップＳ１８０７）。ここでは、汎用の２次元画像データの画像フォーマットをベースとして、この中に３次元画像データ等を埋め込んだ形の２次元画像データを生成する。具体的には、ＪＰＥＧ、ＴＩＦＦ等のユーザが利用可能な領域に、３次元画像データを結合していることを示すフラグデータ、３次元画像データの結合領域アドレス、３次元画像データのサイズを書き込み、指定された領域に３次元画像データを結合した２次元画像データを作成する。３次元画像データ領域には、照明シミュレーションで使用した３次元画像の位置、角度、反射率、光源の位置、明るさ等の照明条件データも併せて保存する。
【０１０３】
なお、ステップＳ１８０５とステップＳ１８０７を同時に行い、表示中の反射付３次元観察画像をそのまま２次元画像として保存すると共に、該２次元画像に照明条件と３次元画像データを埋め込むよう設定してもよい。これにより、ユーザの操作手順を簡略化して表示部５２０に表示中のイメージを速やかに２次元画像データとして保存できる。
（照明シミュレーションの再現）
【０１０４】
またこの２次元画像データを３次元画像表示プログラム等の専用ソフトで読み込めば、反射付２次元画像と同一の表示状態で反射付３次元観察画像を再構築できる。次に、構築された画像ファイルフォーマットを３次元画像表示プログラムで読み込み、反射付３次元観察画像を再構築する手順の一例について、図１９のフローチャートに基づいて説明する。まずステップＳ１９０１で画像ファイルを読み込む。そしてステップＳ１９０２で３次元画像データの結合フラグを確認し、フラグが存在する場合、すなわち３次元画像データが結合されている画像ファイルであれば、ステップＳ１９０３に進み、照明条件データが保存されているか否かを確認する。このようにして、照明シミュレーションの実行に必要なデータが揃っていることが確認されると、ステップＳ１９０４で照明シミュレーションの実行確認が行われ、ＹＥＳの場合はステップＳ１９０５に進み照明条件データに従って照明シミュレーションが実行される。なおステップＳ１９０２〜ステップＳ１９０４のいずれにおいてもＮＯの場合は、照明シミュレーションの実行に必要なデータが揃っていないと判断され、処理が終了する。なお、３次元画像表示プログラムでは、照明シミュレーションを行った反射付３次元観察画像表示、元の３次元画像表示、２次元画像表示を各々切り替えて表示することが可能である。また３次元画像表示プログラムに画像ファイル生成機能を持たせ、任意の２次元画像で２次元画像データを更新させたり、２次元画像データと３次元画像データとの結合を解除することも可能である。
【０１０５】
上記の２次元画像データに埋め込まれる３次元画像データ及び照明条件データは、圧縮してデータ容量をコンパクトにすることもできる。３次元画像データ及び照明条件データのデータ領域を既知の圧縮アルゴリズムで圧縮し、データサイズを小さくする。特に３次元画像データはデータサイズが大きくなる傾向にあるので、圧縮することで記憶領域を圧迫せず、また配布や転送、保存が容易となる。さらに、３次元画像データや照明条件データを暗号化して記録することもできる。データを暗号化することによってセキュリティを高め、情報漏洩のリスクを低減できる。暗号化のアルゴリズムも既知のアルゴリズムが適宜利用できる。また２次元画像データを含めたデータ領域を暗号化することもできる。
【０１０６】
なお３次元画像データを埋め込む２次元画像データは、３次元画像データに基づいて取得した照明付２次元観察画像に限られず、任意の画像を利用できることはいうまでもない。例えば、３次元画像データを生成する際の基準となった複数の２次元画像データから任意の一枚を選択して、選択された２次元画像データを３次元画像データの埋め込み先とする。あるいは、３次元画像データと無関係な２次元画像に３次元画像データを埋め込むことも可能である。例えば、機密性の求められる３次元画像データを電子メール等で送信する際に、意図的に無関係な２次元画像に埋め込むことで、万一第三者に盗み見られた場合でも偽装して隠蔽できる。このような既存の２次元画像データに３次元画像データを統合して画像ファイルフォーマットを構築するには、例えば拡大観察装置に保存されている２次元画像をサムネイル等の一覧形式で表示させ、ユーザにファイラー中から３次元画像データを埋め込む先の２次元画像を選択させる等の方法が利用できる。あるいは、照明条件データの記録を省いて、２次元画像データに３次元画像データのみを埋め込むことも可能であることはいうまでもない。
［第３の実施の形態］
【０１０７】
また操作画面や表示画面等のユーザインターフェース画面は、上記の例に限られず、例えば表示部と照明シミュレーション設定部を一体にした３次元画像表示プログラムとする等、デザインや配置、大きさや形状等を適宜変更することができる。図２０〜図３１に、本発明の第３の実施の形態に係る３次元画像表示プログラムのユーザインターフェース画面の例を示す。これらの図に示すユーザインターフェース画面６００では、画面の左側に表示部６２０を、右側に照明シミュレーション設定部６３０を配置している。照明シミュレーション設定部６３０は、上から操作対象を指定するための「ドラッグ対象」欄６３１、３次元観察画像の大きさを変更するための「大きさ」欄６３２、照明設定部５６０の一形態として照明の光量を調整するための「ライト明るさ」欄６３４及び３次元観察画像の表面における反射状態を設定するための「見え方」欄６３６、３次元観察画像の凹凸のみを表示するための「凹凸のみ表示」欄６６０、３次元観察画像や背景の色を指定、変更するための「色指定」欄６３８、３次元観察画像の高さを強調するための「高さ調整」欄６４０、３次元観察画像の高さ毎に等高線状に色分けした画像と実画像とを重ねて表示する比率を変更するための「高さ／ＳＥＭ像」欄６５０、高さの目安となるＸＹＺ軸に関する寸法を示したスケールの表示、非表示を選択するための「スケール」欄６７０、及び印刷、保存、リセット、比較、終了等の各種操作を行うためのボタン類６８０が設けられている。
【０１０８】
図２０は予め取得した３次元画像ファイルを開いた状態を示す。なお、ファイルのオープンは、「ファイルを開く」ダイヤログから選択する他、ウィンドウズエクスプローラ等のファイラー画面からファイルを選択してプログラムのウィンドウや表示部６２０にドラッグ＆ドロップすることでも可能である。図２０の画面では「ドラッグ対象」欄６３１のラジオボタンを「物」に選択しており、表示部６２０で表示される３次元観察画像をマウス等の操作部で移動、回転等操作できる。なおこの例では「大きさ」欄６３２のスライダを調整することで表示部６２０に表示される３次元観察画像を連続的に拡大／縮小できるが、例えばマウスのスクロールボタンにこの機能を割り当てることもできる。また図２１に示すように、「見え方」欄６３６のドロップダウンリストで「照明なし」から、様々な照明条件に予め設定された照明状態を選択することで、照明シミュレーションを実行した反射付３次元観察画像を表示できる。図２２は、「石膏風」の照明条件に設定された反射付３次元観察画像を表示する例を示している。この図に示すように、「ドラッグ対象」欄６３１で「ライト」を選択することにより、光源アイコンＩが表示部６２０に表示される。そして「ライト明るさ」欄６３４のスライダを調整することにより、照明光の光量を調整でき、図２３のように反射付３次元観察画像を明るく表示させたり、図２４のように暗く表示させることもできる。このように、「ドラッグ対象」欄６３１及び「ライト明るさ」欄６３４を光源調整部５６２として機能させることができる。また「凹凸のみ表示」欄６６０のチェックボックスをＯＮすることにより、図２５のように反射付３次元観察画像が表面のテクスチャを非表示とした凹凸のみのソリッドモデルで表示される。さらに図２６に示すように、「見え方」欄６３６のドロップダウンリストで「ワイヤフレーム」を選択すれば、ワイヤフレームで表示することもできる。
【０１０９】
「見え方」欄６３６は、反射調整部５６４の一形態であり、利用頻度が高いと思われる代表的な照明条件に設定するための照明条件セットをユーザに選択させる。ここでは、図２１に示すように照明条件セットを「石膏風」、「プラスチック風」、「金属風」、「蛙の肌」等、得られる反射付３次元観察画像のイメージを想起し易い名称とし、ユーザは観察目的等に応じてこれらの照明条件セットの名称を参考にして選択する。各照明条件セットは、各々名称に対応する反射付３次元観察画像が得られるよう、表面の反射係数や拡散係数等の照明パラメータを予め設定している。照明条件セットが選択されると、これに応じて照明パラメータが自動的に設定される。このように、ユーザは得たい反射付３次元観察画像のイメージに近い照明条件セットを選択することで、複雑な照明パラメータを意識することなく、容易に得たい反射付３次元観察画像を取得する。また「見え方」欄６３６で「カスタム」を選択すると、図２７に示すようにスライダ６３６Ｂが表示され、図１１と同様にスライダの調整によって反射状態を可変できる。
【０１１０】
以上のようにして反射付３次元観察画像を取得後、ユーザは光源アイコンＩを操作して照明の位置を仮想的に変更でき、表面の陰影状態の変化から凹凸の様子を立体的に把握できる。特に、現実に拡大観察装置に配置した照明の光源を移動させる方法に比べて、演算処理により仮想的に光源の移動を実現する本実施の形態によれば、手間もなく遙かに容易に反射付３次元観察画像を得ることができる。また、実際の照明の配置や移動といった手間もかからず、またそのような設備も不要とできるので、装置の小型化、低コスト化にも寄与できる。
（自動回転機能）
【０１１１】
図２８〜図３１に示すように、光源アイコンＩを反射付３次元観察画像の周囲で反時計回りに回転させると、各々の光源の位置に応じて表面の陰影のパターンが変化する様子が観察できる。また、このように光源アイコンＩを反射付３次元観察画像の周囲で自動的に回転させ、陰影パターンの変化を観察することもできる。本実施の形態では、マウスで光源アイコンＩをドラッグしたまま一方向に移動させると、反射付３次元観察画像を固定したまま次にボタン操作があるまで該移動方向に光源アイコンＩが回転を継続するように設定でき、観察を容易にできる。また、このような自動回転は、光源アイコンＩを固定したまま反射付３次元観察画像を回転させたり、あるいは光源アイコンＩと３次元観察画像との位置関係を維持したまま、両者を同時に回転させるよう構成してもよい。
【産業上の利用可能性】
【０１１２】
本発明の拡大観察装置、画像ファイル生成装置、画像ファイル生成プログラム、３次元画像表示プログラム及びコンピュータで読み取り可能な記録媒体又は記録した機器は、顕微鏡やデジタルマイクロスコープ、デジタルカメラに利用して、３次元画像データを含む２次元画像を生成し閲覧できる。
【図面の簡単な説明】
【０１１３】
【図１】本発明の実施の形態に係る拡大観察装置の外観図である。
【図２】本発明の第１の実施の形態に係る拡大観察装置のブロック図である。
【図３】本発明の第２の実施の形態に係る拡大観察装置のブロック図である。
【図４】高さｚに対する受光データの変化を示すグラフである。
【図５】３次元データの撮像方法の一例を示すフローチャートである。
【図６】３次元画像表示プログラムの操作を行うユーザインターフェース画面を示すイメージ図である。
【図７】照明シミュレーション機能実行前の３次元観察画像を示すイメージ図である。
【図８】照明シミュレーション機能によって拡散反射させた３次元観察画像を示すイメージ図である。
【図９】照明シミュレーション機能によって正反射成分を強調させた３次元観察画像を示すイメージ図である。
【図１０】３次元観察画像に光源アイコンを表示した例を示すイメージ図である。
【図１１】照明シミュレーション機能の設定画面を示すイメージ図である。
【図１２】光源から照射される照明光の照射方向を示す照射線を表示させたイメージ図である。
【図１３】照射線と直交する平面を表現する平面線を表示させたイメージ図である。
【図１４】ＪＰＥＧ圧縮データの基本構造を示す概念図である。
【図１５】図１４のＥｘｉｆ ＩＦＤに記録される付属情報を示す一覧表である。
【図１６】本発明の実施の形態に係る画像ファイル生成装置で生成されるファイル構成の一例を示す概念図である。
【図１７】画像ファイル生成装置の構成を示すブロック図である。
【図１８】３次元データの保存する手順を示すフローチャートである。
【図１９】反射付３次元観察画像を再構築する手順を示すフローチャートである。
【図２０】本発明の第３の実施の形態に係る３次元画像表示プログラムのユーザインターフェース画面を示すイメージ図である。
【図２１】図２０に示す画面において、「見え方」欄のドロップダウンリストを展開した状態を示すイメージ図である。
【図２２】図２１に示す画面において、「石膏風」の照明条件に設定された反射付３次元観察画像を表示するイメージ図である。
【図２３】図２２に示す画面において、光源を明るく表示させた状態を示すイメージ図である。
【図２４】図２３に示す画面において、光源を暗く表示させた状態を示すイメージ図である。
【図２５】図２３に示す画面において、「凹凸のみ表示」機能をＯＮとした状態を示すイメージ図である。
【図２６】図２２に示す画面において、ワイヤフレーム表示を選択した状態を示すイメージ図である。
【図２７】図２２に示す画面において、「見え方」欄で「カスタム」を選択した状態を示すイメージ図である。
【図２８】図２２に示す画面において、光源アイコンを反射付３次元観察画像の周囲で回転させる状態を示すイメージ図である。
【図２９】図２２に示す画面において、光源アイコンを反射付３次元観察画像の周囲で回転させる状態を示すイメージ図である。
【図３０】図２２に示す画面において、光源アイコンを反射付３次元観察画像の周囲で回転させる状態を示すイメージ図である。
【図３１】図２２に示す画面において、光源アイコンを反射付３次元観察画像の周囲で回転させる状態を示すイメージ図である。
【符号の説明】
【０１１４】
１０…撮像部；１０ａ…カメラ；１１…光学系
１２、２１２…ＣＣＤ；１３、２１３…ＣＣＤ制御回路
１４…光路シフト部；２０…ステージ昇降器；２１…ステッピングモータ
２２…モータ制御回路；３０…ステージ；
４１…スタンド台；４２…支柱；４３…カメラ取り付け部
５０…情報処理装置；５１、５１０…制御部；５２、５２０、６２０…表示部
５３…メモリ；５４…インターフェイス
５５、５５０…操作部；５５Ａ…ポインティングデバイス
５５ａ…マウス；５５ｂ…左ボタン；５５ｃ…右ボタン；５５ｄ…スクロールボタン
６０…照明部；６０Ａ…落射照明；６０Ｂ…透過照明
６１…光ファイバー；６２…コネクタ；７０…コンピュータ
１００…第一の光学系；１０１…レーザ；１０２…第一のコリメートレンズ
１０３…偏光ビームスプリッタ；１０４…１／４波長板
１０５…水平偏向装置；１０６…垂直偏向装置
１０７…第一のリレーレンズ；１０８…第二のリレーレンズ
１０９…対物レンズ；１１０…結像レンズ；１１１…ピンホール板
１１２…フォトダイオード；１１３…Ａ／Ｄコンバータ；１１５…レーザ駆動回路
２００…第二の光学系；２０１…白色ランプ；２０２…第二のコリメートレンズ
２０３…第１ハーフミラー；２０４…第２ハーフミラー
３００…コントローラ部；３１０…「３Ｄファイル比較」欄
３１２…「比較モード」ボタン；３１３…「サブ切換」ボタン
３１４…「連動モード」ボタン；３１６…「同期セット」ボタン
３２０…「高さ調整」スライダ；３２２…「保存」ボタン；３２４…「リセット」ボタン
３４０…「ライトＯＮ」ボタン；４００、６３０…照明シミュレーション設定部
４１０…「移動対象」欄；４２０…「明るさ」欄；４３０…「表面」欄
４４０…「ライトＯＦＦ」ボタン；４５０…「ライト表示」欄
４６０、６６０…「凹凸のみ表示」欄；４７０…「背景色」欄；４８０…「保存」ボタン
５００…画像ファイル生成装置；５３０…入力部；５４０…ファイル生成部
５６０…照明設定部；５６２…光源調整部；５６４…反射調整部
５７０…画像データ記憶部；６００…ユーザインターフェース画面
６３１…「ドラッグ対象」欄；６３２…「大きさ」欄；６３４…「ライト明るさ」欄
６３６…「見え方」欄；６３６Ｂ…スライダ；６３８…「色指定」欄
６４０…「高さ調整」欄；６５０…「高さ／ＳＥＭ像」欄；６７０…「スケール」欄
６８０…ボタン類；Ｓ…試料；Ｉ…光源アイコン；Ａ…照射線；Ｂ…平面線
【特許請求の範囲】
【請求項１】
観察対象を撮像して２次元観察画像を取得するための撮像部と、
前記撮像部で取得した複数の２次元観察画像と、撮像時の高さ情報に基づいて、観察対象の３次元の観察画像を生成すると共に、前記３次元観察画像に対して仮想的に光源を配置し、前記光源から発する照明光を３次元観察画像に照射して生じる光の反射の状態を表現した反射付３次元観察画像を生成可能な制御部と、
前記光源によって得られる照明の効果を調整可能な照明設定部と、
前記制御部で生成された３次元画像データ及び前記照明設定部で設定された照明条件データとを任意の２次元画像データに埋め込んで、一の画像データファイルとして生成可能なファイル生成部と、
前記ファイル生成部で生成された画像データファイルを保存するための画像データ記憶部と、
を備えることを特徴とする拡大観察装置。
【請求項２】
請求項１に記載の拡大観察装置であって、
前記２次元画像データが、所定の照明条件で前記反射付３次元観察画像を特定の姿勢で表示した反射付２次元観察画像であることを特徴とする拡大観察装置。
【請求項３】
請求項１または２に記載の拡大観察装置であって、
前記制御部が生成する反射付３次元観察画像が、観察対象の３次元観察画像の各部位における照明光の反射状態を、他の部位による影響を考慮することなく独立して演算してなることを特徴とする拡大観察装置。
【請求項４】
請求項１から３のいずれかに記載の拡大観察装置であって、前記照明設定部が、
前記光源の位置及び／又は角度を変更可能な光源調整部と、
前記光源から前記３次元観察画像に仮想的に照射される照明光の反射状態を調整可能な反射調整部とを含むことを特徴とする拡大観察装置。
【請求項５】
請求項１から３のいずれかに記載の拡大観察装置であって、
前記照明設定部が、照明条件を構成する照明パラメータとして光源の位置、角度、照明光の明るさ、３次元観察画像の表面の反射率、反射する光束の太さ、反射光の拡散、環境光の明るさの少なくともいずれかを調整可能に構成してなることを特徴とする拡大観察装置。
【請求項６】
請求項１から３のいずれかに記載の拡大観察装置であって、
前記照明設定部が、予め所定の照明パラメータを設定した複数の照明条件セットに、生成される反射付３次元観察画像のイメージに基づいた名称を付けて選択可能に提示してなることを特徴とする拡大観察装置。
【請求項７】
請求項１から６のいずれかに記載の拡大観察装置であって、さらに、
前記制御部で生成された３次元観察画像を表示するための表示部を備えることを特徴とする拡大観察装置。
【請求項８】
請求項７に記載の拡大観察装置であって、
前記表示部において表示される３次元観察画像に、前記光源の位置を表示可能に構成してなることを特徴とする拡大観察装置。
【請求項９】
請求項８に記載の拡大観察装置であって、
前記光源の位置が照明を表現するイメージ画像で表示されてなることを特徴とする拡大観察装置。
【請求項１０】
請求項９に記載の拡大観察装置であって、
前記照明設定部が、前記照明イメージ画像を操作することで、光源の位置及び／又は角度を調整可能に構成してなることを特徴とする拡大観察装置。
【請求項１１】
請求項８から１０のいずれかに記載の拡大観察装置であって、
前記光源の位置から仮想的に照射される照明光の照射方向を示す照射線を、前記表示部上で反射付３次元観察画像に重ねて表示可能に構成してなることを特徴とする拡大観察装置。
【請求項１２】
請求項１１に記載の拡大観察装置であって、
前記照射線が反射付３次元観察画像と交差する点まで延長されて表示可能に構成してなることを特徴とする拡大観察装置。
【請求項１３】
請求項１２に記載の拡大観察装置であって、
前記照射線と直交する平面を表現する平面線を、前記表示部上で反射付３次元観察画像に重ねて表示可能に構成してなることを特徴とする拡大観察装置。
【請求項１４】
請求項１から１３のいずれかに記載の拡大観察装置であって、
前記表示部において表示される３次元観察画像において、表面の形状のみを表示可能に構成してなることを特徴とする拡大観察装置。
【請求項１５】
請求項１から１４のいずれかに記載の拡大観察装置であって、
前記出力部で出力される画像データファイルのフォーマットが、汎用の２次元画像データフォーマットであることを特徴とする拡大観察装置。
【請求項１６】
請求項１５に記載の拡大観察装置であって、
前記出力部で２次元画像データ中に埋め込まれる３次元画像データに関する情報を、２次元画像データフォーマット中のユーザが利用可能な領域に記録することを特徴とする拡大観察装置。
【請求項１７】
請求項１６に記載の拡大観察装置であって、
前記出力部で２次元画像データ中に埋め込まれる前記３次元画像データに関する情報として、３次元画像データを結合していることを示すフラグデータ、３次元画像データの結合領域アドレス、３次元画像データのサイズの少なくともいずれかを含む情報を、２次元画像データフォーマット中のユーザが利用可能な領域に記録することを特徴とする拡大観察装置。
【請求項１８】
請求項１５から１７のいずれかに記載の拡大観察装置であって、
前記出力部で２次元画像データ中に埋め込まれる３次元画像データのデータ領域を圧縮することを特徴とする拡大観察装置。
【請求項１９】
請求項１から１８のいずれかに記載の拡大観察装置であって、
前記出力部で出力される画像データファイルのフォーマットが、ｊｐｅｇまたはｔｉｆｆのいずれかであることを特徴とする拡大観察装置。
【請求項２０】
３次元観察画像を生成するために必要なデータを取得するための入力部と、
前記入力部で取得したデータに基づいて３次元観察画像を構築し表示するための表示部と、
前記表示部に表示される３次元観察画像に対して仮想的に光源を配置し、前記光源から発する照明光を３次元観察画像に照射して生じる光の反射の状態を表現した反射付３次元観察画像を生成可能な制御部と、
前記光源によって得られる照明の効果を調整可能な照明設定部と、
前記照明設定部で設定された照明条件で前記表示部に表示される反射付３次元観察画像を２次元画像として取得すると共に、該反射付２次元画像データに、元となる反射付３次元観察画像を生成するための３次元画像データ及び照明条件データを埋め込んで、一の画像データファイルとして生成するためのファイル生成部と、
前記ファイル生成部で生成された画像データファイルを保存するための画像データ記憶部と、
を備えることを特徴とする画像ファイル生成装置。
【請求項２１】
２次元画像データと、該２次元画像データ撮像時の高さ情報とを取得するための機能と、
取得した一の観察対象に関する複数の２次元画像データとその高さ情報に基づいて、３次元の観察画像を生成し、表示部に表示する機能と、
前記表示部に表示される前記３次元観察画像に対して仮想的に光源を配置し、前記光源から発する照明光を３次元観察画像に照射して生じる光の反射の状態を表現した反射付３次元観察画像を生成するための照明機能と、
前記光源による照明の条件または３次元観察画像表面の反射の条件の少なくともいずれかを調整可能な照明条件設定機能と、
前記照明条件設定機能で設定された照明条件で前記表示部に表示される反射付３次元観察画像を２次元画像として取得すると共に、該反射付２次元画像データに、元となる反射付３次元観察画像を生成するための３次元画像データ及び照明条件データを埋め込んで、一の画像データファイルとして生成するためのファイル生成機能と、
前記ファイル生成機能で生成された画像データファイルを保存するための画像データ記憶機能と、
をコンピュータに実現させることを特徴とする画像ファイル生成プログラム。
【請求項２２】
２次元画像データフォーマットで構築された画像データファイル中に、２次元観察画像に関する２次元画像データと、３次元観察画像に関する３次元画像データとが記録されており、該画像データファイルに記録された画像データを表示可能な３次元画像表示プログラムであって、
前記画像データファイルを読み込み、該画像データファイルに記録された３次元画像データに基づき、３次元観察画像を表示部に表示すると共に、該３次元観察画像に対して移動、回転、拡大／縮小の少なくともいずれかの操作が可能な表示機能と、
前記画像データファイルが、該画像データファイル中に含まれる３次元画像データに対して仮想的に光源を配置した状態で、前記光源から発する照明光を該３次元観察画像に照射して生じる光の反射の状態を表現した反射付３次元観察画像を生成するための照明条件データを含む場合、前記表示機能で表示される３次元観察画像に対して、前記照明条件データに基づいて反射付３次元観察画像を生成すると共に、照明条件を構成する照明パラメータを変更可能な調整機能と、
をコンピュータに実現させることを特徴とする３次元画像表示プログラム。
【請求項２３】
請求項２２に記載の画像ファイル生成装置であって、
前記画像データファイルがさらに、該画像データファイル中に含まれる２次元画像データが、前記３次元画像データ及び照明条件データに基づいて生成される反射付３次元観察画像を２次元画像として表示した反射付２次元観察画像である場合、前記調整機能は、前記３次元画像データ及び照明条件データに基づいて、反射付２次元観察画像と同じ見え方で反射付３次元観察画像を構築可能であることを特徴とする３次元画像表示プログラム。
【請求項２４】
２次元画像データフォーマットで構築された画像データファイル中に、２次元観察画像に関する２次元画像データと、３次元観察画像に関する３次元画像データとが記録されており、該画像データファイルに記録された画像データを表示可能な３次元画像表示プログラムであって、
前記画像データファイルを読み込み、該画像データファイルに記録された３次元画像データに基づき、３次元観察画像を表示部に表示すると共に、該３次元観察画像に対して移動、回転、拡大／縮小の少なくともいずれかの操作が可能な表示機能と、
前記画像データファイルが、該画像データファイル中に含まれる３次元画像データに対して仮想的に光源を配置した状態で、前記光源から発する照明光を該３次元観察画像に照射して生じる光の反射の状態を表現した反射付３次元観察画像を生成するための照明条件データを含む場合、前記表示機能で表示される３次元観察画像に対して、前記照明条件データに基づいて反射付３次元観察画像を生成すると共に、照明条件を構成する照明パラメータを変更可能な調整機能と、
前記調整機能により所望の照明条件に調整された反射付３次元観察画像を２次元画像として取得すると共に、前記画像データファイルに記録された２次元画像データを、該反射付３次元観察画像を表示する反射付２次元画像で更新する２次元画像更新機能と、
をコンピュータに実現させることを特徴とする３次元画像表示プログラム。
【請求項２５】
請求項２１から２４のいずれかに記載されるプログラムを格納したコンピュータで読み取り可能な記録媒体又は記録した機器。
【請求項１】
観察対象を撮像して２次元観察画像を取得するための撮像部と、
前記撮像部で取得した複数の２次元観察画像と、撮像時の高さ情報に基づいて、観察対象の３次元の観察画像を生成すると共に、前記３次元観察画像に対して仮想的に光源を配置し、前記光源から発する照明光を３次元観察画像に照射して生じる光の反射の状態を表現した反射付３次元観察画像を生成可能な制御部と、
前記光源によって得られる照明の効果を調整可能な照明設定部と、
前記制御部で生成された３次元画像データ及び前記照明設定部で設定された照明条件データとを任意の２次元画像データに埋め込んで、一の画像データファイルとして生成可能なファイル生成部と、
前記ファイル生成部で生成された画像データファイルを保存するための画像データ記憶部と、
を備えることを特徴とする拡大観察装置。
【請求項２】
請求項１に記載の拡大観察装置であって、
前記２次元画像データが、所定の照明条件で前記反射付３次元観察画像を特定の姿勢で表示した反射付２次元観察画像であることを特徴とする拡大観察装置。
【請求項３】
請求項１または２に記載の拡大観察装置であって、
前記制御部が生成する反射付３次元観察画像が、観察対象の３次元観察画像の各部位における照明光の反射状態を、他の部位による影響を考慮することなく独立して演算してなることを特徴とする拡大観察装置。
【請求項４】
請求項１から３のいずれかに記載の拡大観察装置であって、前記照明設定部が、
前記光源の位置及び／又は角度を変更可能な光源調整部と、
前記光源から前記３次元観察画像に仮想的に照射される照明光の反射状態を調整可能な反射調整部とを含むことを特徴とする拡大観察装置。
【請求項５】
請求項１から３のいずれかに記載の拡大観察装置であって、
前記照明設定部が、照明条件を構成する照明パラメータとして光源の位置、角度、照明光の明るさ、３次元観察画像の表面の反射率、反射する光束の太さ、反射光の拡散、環境光の明るさの少なくともいずれかを調整可能に構成してなることを特徴とする拡大観察装置。
【請求項６】
請求項１から３のいずれかに記載の拡大観察装置であって、
前記照明設定部が、予め所定の照明パラメータを設定した複数の照明条件セットに、生成される反射付３次元観察画像のイメージに基づいた名称を付けて選択可能に提示してなることを特徴とする拡大観察装置。
【請求項７】
請求項１から６のいずれかに記載の拡大観察装置であって、さらに、
前記制御部で生成された３次元観察画像を表示するための表示部を備えることを特徴とする拡大観察装置。
【請求項８】
請求項７に記載の拡大観察装置であって、
前記表示部において表示される３次元観察画像に、前記光源の位置を表示可能に構成してなることを特徴とする拡大観察装置。
【請求項９】
請求項８に記載の拡大観察装置であって、
前記光源の位置が照明を表現するイメージ画像で表示されてなることを特徴とする拡大観察装置。
【請求項１０】
請求項９に記載の拡大観察装置であって、
前記照明設定部が、前記照明イメージ画像を操作することで、光源の位置及び／又は角度を調整可能に構成してなることを特徴とする拡大観察装置。
【請求項１１】
請求項８から１０のいずれかに記載の拡大観察装置であって、
前記光源の位置から仮想的に照射される照明光の照射方向を示す照射線を、前記表示部上で反射付３次元観察画像に重ねて表示可能に構成してなることを特徴とする拡大観察装置。
【請求項１２】
請求項１１に記載の拡大観察装置であって、
前記照射線が反射付３次元観察画像と交差する点まで延長されて表示可能に構成してなることを特徴とする拡大観察装置。
【請求項１３】
請求項１２に記載の拡大観察装置であって、
前記照射線と直交する平面を表現する平面線を、前記表示部上で反射付３次元観察画像に重ねて表示可能に構成してなることを特徴とする拡大観察装置。
【請求項１４】
請求項１から１３のいずれかに記載の拡大観察装置であって、
前記表示部において表示される３次元観察画像において、表面の形状のみを表示可能に構成してなることを特徴とする拡大観察装置。
【請求項１５】
請求項１から１４のいずれかに記載の拡大観察装置であって、
前記出力部で出力される画像データファイルのフォーマットが、汎用の２次元画像データフォーマットであることを特徴とする拡大観察装置。
【請求項１６】
請求項１５に記載の拡大観察装置であって、
前記出力部で２次元画像データ中に埋め込まれる３次元画像データに関する情報を、２次元画像データフォーマット中のユーザが利用可能な領域に記録することを特徴とする拡大観察装置。
【請求項１７】
請求項１６に記載の拡大観察装置であって、
前記出力部で２次元画像データ中に埋め込まれる前記３次元画像データに関する情報として、３次元画像データを結合していることを示すフラグデータ、３次元画像データの結合領域アドレス、３次元画像データのサイズの少なくともいずれかを含む情報を、２次元画像データフォーマット中のユーザが利用可能な領域に記録することを特徴とする拡大観察装置。
【請求項１８】
請求項１５から１７のいずれかに記載の拡大観察装置であって、
前記出力部で２次元画像データ中に埋め込まれる３次元画像データのデータ領域を圧縮することを特徴とする拡大観察装置。
【請求項１９】
請求項１から１８のいずれかに記載の拡大観察装置であって、
前記出力部で出力される画像データファイルのフォーマットが、ｊｐｅｇまたはｔｉｆｆのいずれかであることを特徴とする拡大観察装置。
【請求項２０】
３次元観察画像を生成するために必要なデータを取得するための入力部と、
前記入力部で取得したデータに基づいて３次元観察画像を構築し表示するための表示部と、
前記表示部に表示される３次元観察画像に対して仮想的に光源を配置し、前記光源から発する照明光を３次元観察画像に照射して生じる光の反射の状態を表現した反射付３次元観察画像を生成可能な制御部と、
前記光源によって得られる照明の効果を調整可能な照明設定部と、
前記照明設定部で設定された照明条件で前記表示部に表示される反射付３次元観察画像を２次元画像として取得すると共に、該反射付２次元画像データに、元となる反射付３次元観察画像を生成するための３次元画像データ及び照明条件データを埋め込んで、一の画像データファイルとして生成するためのファイル生成部と、
前記ファイル生成部で生成された画像データファイルを保存するための画像データ記憶部と、
を備えることを特徴とする画像ファイル生成装置。
【請求項２１】
２次元画像データと、該２次元画像データ撮像時の高さ情報とを取得するための機能と、
取得した一の観察対象に関する複数の２次元画像データとその高さ情報に基づいて、３次元の観察画像を生成し、表示部に表示する機能と、
前記表示部に表示される前記３次元観察画像に対して仮想的に光源を配置し、前記光源から発する照明光を３次元観察画像に照射して生じる光の反射の状態を表現した反射付３次元観察画像を生成するための照明機能と、
前記光源による照明の条件または３次元観察画像表面の反射の条件の少なくともいずれかを調整可能な照明条件設定機能と、
前記照明条件設定機能で設定された照明条件で前記表示部に表示される反射付３次元観察画像を２次元画像として取得すると共に、該反射付２次元画像データに、元となる反射付３次元観察画像を生成するための３次元画像データ及び照明条件データを埋め込んで、一の画像データファイルとして生成するためのファイル生成機能と、
前記ファイル生成機能で生成された画像データファイルを保存するための画像データ記憶機能と、
をコンピュータに実現させることを特徴とする画像ファイル生成プログラム。
【請求項２２】
２次元画像データフォーマットで構築された画像データファイル中に、２次元観察画像に関する２次元画像データと、３次元観察画像に関する３次元画像データとが記録されており、該画像データファイルに記録された画像データを表示可能な３次元画像表示プログラムであって、
前記画像データファイルを読み込み、該画像データファイルに記録された３次元画像データに基づき、３次元観察画像を表示部に表示すると共に、該３次元観察画像に対して移動、回転、拡大／縮小の少なくともいずれかの操作が可能な表示機能と、
前記画像データファイルが、該画像データファイル中に含まれる３次元画像データに対して仮想的に光源を配置した状態で、前記光源から発する照明光を該３次元観察画像に照射して生じる光の反射の状態を表現した反射付３次元観察画像を生成するための照明条件データを含む場合、前記表示機能で表示される３次元観察画像に対して、前記照明条件データに基づいて反射付３次元観察画像を生成すると共に、照明条件を構成する照明パラメータを変更可能な調整機能と、
をコンピュータに実現させることを特徴とする３次元画像表示プログラム。
【請求項２３】
請求項２２に記載の画像ファイル生成装置であって、
前記画像データファイルがさらに、該画像データファイル中に含まれる２次元画像データが、前記３次元画像データ及び照明条件データに基づいて生成される反射付３次元観察画像を２次元画像として表示した反射付２次元観察画像である場合、前記調整機能は、前記３次元画像データ及び照明条件データに基づいて、反射付２次元観察画像と同じ見え方で反射付３次元観察画像を構築可能であることを特徴とする３次元画像表示プログラム。
【請求項２４】
２次元画像データフォーマットで構築された画像データファイル中に、２次元観察画像に関する２次元画像データと、３次元観察画像に関する３次元画像データとが記録されており、該画像データファイルに記録された画像データを表示可能な３次元画像表示プログラムであって、
前記画像データファイルを読み込み、該画像データファイルに記録された３次元画像データに基づき、３次元観察画像を表示部に表示すると共に、該３次元観察画像に対して移動、回転、拡大／縮小の少なくともいずれかの操作が可能な表示機能と、
前記画像データファイルが、該画像データファイル中に含まれる３次元画像データに対して仮想的に光源を配置した状態で、前記光源から発する照明光を該３次元観察画像に照射して生じる光の反射の状態を表現した反射付３次元観察画像を生成するための照明条件データを含む場合、前記表示機能で表示される３次元観察画像に対して、前記照明条件データに基づいて反射付３次元観察画像を生成すると共に、照明条件を構成する照明パラメータを変更可能な調整機能と、
前記調整機能により所望の照明条件に調整された反射付３次元観察画像を２次元画像として取得すると共に、前記画像データファイルに記録された２次元画像データを、該反射付３次元観察画像を表示する反射付２次元画像で更新する２次元画像更新機能と、
をコンピュータに実現させることを特徴とする３次元画像表示プログラム。
【請求項２５】
請求項２１から２４のいずれかに記載されるプログラムを格納したコンピュータで読み取り可能な記録媒体又は記録した機器。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図１１】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図７】
【図８】
【図９】
【図１０】
【図１２】
【図１３】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図１１】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図７】
【図８】
【図９】
【図１０】
【図１２】
【図１３】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【公開番号】特開２００６−２３８２０（Ｐ２００６−２３８２０Ａ）
【公開日】平成１８年１月２６日（２００６．１．２６）
【国際特許分類】
【出願番号】特願２００４−１９９２７８（Ｐ２００４−１９９２７８）
【出願日】平成１６年７月６日（２００４．７．６）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．Ｂｌｕｅｔｏｏｔｈ
２．ウィンドウズ
【出願人】（０００１２９２５３）株式会社キーエンス (681)
【Ｆターム（参考）】
【公開日】平成１８年１月２６日（２００６．１．２６）
【国際特許分類】
【出願日】平成１６年７月６日（２００４．７．６）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．Ｂｌｕｅｔｏｏｔｈ
２．ウィンドウズ
【出願人】（０００１２９２５３）株式会社キーエンス (681)
【Ｆターム（参考）】
[ Back to top ]