拡大観察装置、拡大観察方法及び拡大観察プログラム
【課題】解像感に優れた画像を撮像可能としつつ、カラー観察も可能な拡大観察装置等を提供する。
【解決手段】カラー画像を得るためのカラー撮像素子（撮像素子１２）と、カラー撮像素子（撮像素子１２）から得られるカラー画像の色情報と、カラー撮像素子（撮像素子１２）からの画素情報のうち波長の短い色に対応する画素情報により得られるモノクロ画像の輝度情報とを合成してカラー観察像を得る合成手段（画像合成手段８５）を備える。
【解決手段】カラー画像を得るためのカラー撮像素子（撮像素子１２）と、カラー撮像素子（撮像素子１２）から得られるカラー画像の色情報と、カラー撮像素子（撮像素子１２）からの画素情報のうち波長の短い色に対応する画素情報により得られるモノクロ画像の輝度情報とを合成してカラー観察像を得る合成手段（画像合成手段８５）を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、拡大した画像を撮像して表示するデジタルマイクロスコープや顕微鏡のような拡大観察装置、拡大観察方法、拡大観察プログラム及びコンピュータで読み取り可能な記録媒体に関する。
【背景技術】
【０００２】
微小物体等の試料やワーク等の被写体を拡大して表示する拡大観察装置として、光学レンズを使った光学顕微鏡やデジタルマイクロスコープ等が利用されている。デジタルマイクロスコープは、光学系を介して入射する観察対象固定部に固定された観察対象からの反射光又は透過光を、２次元状に配置された画素毎に電気的に読み取るＣＣＤやＣＭＯＳ等の撮像素子で受光し、電気的に読み取られた画像をディスプレイ等の表示部に表示する（例えば特許文献１）。
【０００３】
このような光学系の拡大観察装置においては、その分解能は原理的には照明光の波長に比例する。このため、紫外線顕微鏡のように短波長の光を用いることで光学系の分解能を向上させ、より微細な観察を可能とした拡大観察装置も開発されている。
【０００４】
また撮像素子の画素数が大きいほど詳細な表示が可能となる。特に近年は高画質化の要求が高まっており、撮像素子もこれに応じて画素数の多い、例えば２００万画素クラスあるいは８００万画素クラスのＣＣＤが利用されている。このようなＣＣＤ等の撮像素子は、受光の強弱を検知するセンサであり、色を識別することはできない。このため、従来のＣＣＤでは、各画素を構成するＣＣＤ素子にあらかじめ単色のフィルタをかけておき、隣接する他色のフィルタをかけた画素で得られた信号と組み合わせることで、色情報を得ている。このような単板タイプの、いわゆる１ＣＣＤ方式では、図１に示すように異なる色のフィルタが適用された複数のＣＣＤ素子が隣接されるように、ベイヤー配列される。ベイヤー配列では、隣接する４画素に注目すると、一般にＲＧＢの画素数は１：２：１となる。この構成では、各画素の撮像素子では１色の色信号のみしか取得できないため、本来的には画素毎に色情報を取得できない。そこで、各画素毎に色情報を取得するため、（１）周囲の画素で得られた異なる色情報に基づいて、画素毎に他の色情報も演算する方法、（２）ＣＣＤを微小移動させて画素単位でＲＧＢの受光信号を取得し、複数の画像を合成することによって、画素単位での色情報を取得する、いわゆる画素ずらしの方法（例えば特許文献２）、（３）画素単位にＲＧＢのＣＣＤを配置する３板タイプの、いわゆる３ＣＣＤ方式（例えば特許文献３）等が知られている。
【特許文献１】特開２００２−１３５６４８号公報
【特許文献２】特開昭５８−１１１５８０号公報
【特許文献３】特開平１−１２３５８０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
また一方で、拡大観察装置においては、試料に照射する照明光の波長を変化させて観察することが行われている。照射光の波長を変化させることで異なる観察像を取得できる。例えば緑色のフレキシブル基板を観察する場合、照明光が赤色であれば照明光が内部に透過され、透視図のような観察像が得られる。一方、青色光で照明すれば、照明光が内部に透過されないため、表面の傷模様が観察される。このように照明光を変化させることで、試料の内部のみ、もしくは表層のみを選択的に観察したり、試料のコントラストを改善したりといった見え方の変化が生み出せる。
【０００６】
しかしながら、照明光の波長を変えて観察を行う際、ＣＣＤ等、通常の２次元カラー撮像素子を使って観察を行うと、撮像素子のベイヤー配列の影響により実効的な画素数が低下してしまうという問題があった。上述した図１に示すように、通常の撮像素子はＲＧＢの画素数の比が１：２：１となっているため、例えば青の照明光を用いた場合には実効的な画素数は白色照明光を用いた撮影時の１／４になってしまう。このため照明光の波長を変えて観察を行うと、白色光を使って観察する場合に比較した場合極端に低解像度の画像しか得ることができない。この結果、上述した短波長の照明光で照明することで分解能を向上させようとしても、撮像素子の実効画素数が低下するため、システム全体としての分解能の向上を得ることは困難であった。
【０００７】
一方、照明光の波長を変化させて観察を行う際に、モノクロの撮像素子を用いて観察を行えば、上記の実効的な画素数の低下を防ぐことができる。ただこの方法では、白色光を用いて観察した際にもモノクロの画像しか得ることができないという問題があった。この場合にカラー観察を行うには、高速でＲＧＢのフィルタを切り替えて撮影画像を合成する方法が考えられる。しかしながらこの方法では、機構が複雑になる上、切り替え動作等が必要になるためフレームレートが低下する等、カラーの操像素子を用いた場合に比べて利便性が低下するという問題があった。
【０００８】
また、いわゆる３ＣＣＤ方式において画素ずらしを行い、ＲＧＢそれぞれの画像を合成することで高解像度のカラー画像を取得する方法が提案されている（特許文献３）。しかしながらこの方法では、色収差の補正が困難であるという問題がある。すなわち、レンズを構成する光学材料の屈折率が光の波長により異なるため、像点の位置が波長によってずれ、色の滲んだ像になったり、波長により焦点距離が変わるために像面上周辺に近づくに従い像位置がずれて色のふちどりが生じるといった色収差が発生する。このため、ＲＧＢ各色の色収差を補正して結像点が一定になるよう、例えば屈折率とその波長依存性の異なる種々の光学材料を組み合わせた複合レンズで補正する作業が必要となり、複雑な構成を要するという問題があった。また３ＣＣＤは高価であり、撮像素子のサイズも大きくなるといった問題もある。
【０００９】
本発明は、従来のこのような問題点を解決するためになされたものである。本発明の主な目的は、解像感に優れた画像を撮像可能としつつ、カラー観察も可能な拡大観察装置、拡大画像観察方法、拡大画像観察プログラム及びコンピュータで読み取り可能な記録媒体を提供することにある。
【課題を解決するための手段及び発明の効果】
【００１０】
上記の目的を達成するために、第１の拡大観察装置は、撮像対象の試料に照明光を照射し、該照明光の反射光又は透過光の受光量を検出して、試料の観察像を撮像可能な拡大観察装置であって、少なくとも可視光の領域において所定の波長帯域のスペクトルを有する照明光用の照明光源と、照明光源が発する光の波長帯域に含まれる複数の異なる波長域について、いずれかの波長域に切り替え可能な照明光選択手段と、照明光源が発する光の波長を、照明光選択手段で選択された波長域とした照明光で試料に照射し、該照明光に対する受光量の内、特定の波長域について受光可能な単板の撮像素子であって、複数が画素毎に配列されると共に、一定の画素間隔で隣接する画素同士では異なる波長域の受光特性を備える素子が配置されてなる複数の撮像素子と、異なる波長域の受光特性を備える撮像素子同士が相互に隣接して配置される３以上の注目画素群について、注目画素群を構成する各撮像素子の画素の位置を一巡して受光量が各々の位置で検出されるよう、撮像素子の画素間隔に相当する変位量分、注目画素群を構成するいずれかの撮像素子の検出位置を相対的にシフトさせるための光路シフト手段と、照明光選択手段で選択された波長域の照明光が試料に照射される際、複数の撮像素子の内、該波長域に対応する撮像素子で受光量を検出するように、光路シフト手段を作動させる光路シフト制御手段とを備えることができる。これにより、観察目的に応じた波長域の照明光を試料に照射し、観察像を高解像度で撮像できる。それは、照明光選択手段で選択された波長帯域の照明光に応じた撮像素子が、画素単位で受光信号を取得するよう、光路シフト制御手段が光路シフト手段を制御しているからである。この結果、照明光に応じた受光信号を画素単位で取得でき、高精細な観察像を撮像できるという優れた特徴が実現される。
【００１１】
また第２の拡大観察装置は、照明光選択手段が、照明光源と試料との間に配置され、照明光源が発する光を、異なる波長域の照明光として取り出す複数の照明フィルタを切り替え可能に備えるフィルタ手段と、フィルタ手段が備える複数の照明フィルタから、所望の照明フィルタを選択するためのフィルタ選択手段とを含むことができる。これにより、フィルタ選択手段で選択された波長帯域の照明光に応じた撮像素子が画素単位で受光信号を取得するように、光路シフト制御手段が光路シフト手段を制御して、照明光に応じた受光信号を画素単位で取得でき、高精細な観察像を撮像できる。
【００１２】
さらに第３の拡大観察装置は、フィルタ手段が、照明フィルタとして、照明光源が照射する光の波長域を略全域で透過する透過フィルタと、青色成分の波長域を透過させる青色フィルタを少なくとも備えることができる。これにより、透過フィルタを使用すればカラー観察像を撮像できる一方、青色フィルタを使用すれば狭帯域でかつ短波長のため高解像度の観察像を撮像できる。また、これらを合成すれば、高解像度のカラー観察像を得ることもできる。
【００１３】
さらにまた、第４の拡大観察装置はさらに、撮像素子で撮像された観察像を表示可能な表示手段と、フィルタ部材が備える複数の照明フィルタを用いて、試料の同一の視野について撮像した複数の観察像を表示手段に同時に表示した状態から、一を選択可能な画像選択手段と、画像選択手段で選択された観察像の撮像に使用された照明フィルタの種別を含む像観察条件を、撮像条件として設定する撮像条件設定手段とを備えることができる。これにより、複数の照明フィルタを用いて実際に撮像した観察像の中から、ユーザは所望の観察像を選択することで、以降の観察において必要な観察条件を自動的に設定することができる。特に、観察条件として設定すべき項目に詳しくないユーザであっても、実際の画像イメージに基づいて設定できるため、操作の習熟度に拘わらず設定作業を容易に行えるという利点が得られる。
【００１４】
さらにまた、第５の拡大観察装置はさらに、同一の試料を異なる照明フィルタを用いて撮像した少なくとも２つの観察像を合成する画像合成手段を備えることができる。これにより、例えば高解像度のモノクロ画像に、カラー画像を合成して、高解像度のカラー画像を合成する等、複数の観察像を合成した合成画像を取得できる。
【００１５】
さらにまた、第６の拡大観察装置は、画像合成手段で合成される少なくとも２つの観察像は、一の観察像が、照明光源が照射する光の波長域を略全域で透過する透過フィルタを用いて、光路シフト手段を作動させて各画素位置においてすべての撮像素子で撮像した白色波長域のカラー画像であり、他の観察像が、青色成分の波長域を透過させる青色フィルタを用いて、光路シフト手段を作動させて各画素位置において青色の撮像素子で撮像した青色波長域の高解像度観察像とできる。これにより、波長の短い青色波長の照明光にて撮像した高解像度の単一色観察像に、カラー画像を合成して、高解像度のカラー画像を取得することができる。
【００１６】
さらにまた、第７の拡大観察装置はさらに、画像合成手段で観察像を合成する際、フィルタ選択手段で青色フィルタを選択すると共に、光路シフト制御手段が光路シフト手段を作動させて、青色照明光に対応した青色の撮像素子を各画素位置において撮像し合成した青色波長域の高解像度観察像を得る動作と、フィルタ選択手段で透過フィルタを選択すると共に、光路シフト制御手段が光路シフト手段を作動させて、すべての撮像素子を各画素位置において撮像した白色波長域のカラー観察像を得る動作と、画像合成手段で、高解像度観察像にカラー観察像の色情報を合成して、カラーの高解像画像観察像を取得する動作とを自動で行う自動合成手段を備えることができる。これにより、カラーの高解像度合成観察像の取得作業を自動化でき、ユーザは照明光に応じた照明フィルタの選択や撮像素子の切り替え、光路シフト等の適切な選択や切り替え操作から解放され、操作の煩雑さや誤操作を解消できる。
【００１７】
さらにまた、第８の拡大観察装置は、撮像素子がベイヤー配列でマトリクス状に画素毎に配置されており、光路シフト手段が、隣接する２×２の画素位置にシフトさせるよう切り替えることができる。これにより、ベイヤー配列された異なる受光特性の撮像素子を、隣接する２×２の注目画素につき、一巡するように光路シフト手段でシフトさせて、２×２のすべての画素位置で受光信号を取得することができ、高解像度の観察像を得ることができる。
【００１８】
さらにまた、第９の拡大観察装置は、光路シフト手段が、注目画素群の内選択した撮像素子を画素間隔分移動させるアクチュエータを備えることができる。これにより、選択した撮像素子をピクセル単位で上下左右に移動させて複数回撮影を行うことができる。
【００１９】
さらにまた、第１０の拡大観察装置は、照明光源が、異なる波長域の発光素子を複数備えており、照明光選択手段を、照明光源の内で所望の波長域の発光素子を選択するための発光素子選択手段とすることができる。これにより、フィルタ等を使用することなく発光素子で直接所望の波長域の照明光を得ることができる。またＬＥＤ等の半導体発光素子を利用すれば、応答性に優れた低消費電力、長寿命であり、より安定した信頼性の高い拡大観察装置を得ることができる。
【００２０】
さらにまた、第１１の拡大観察方法は、異なる波長の受光特性を備える撮像素子が一定の画素間隔で隣接して配置された撮像手段を備える拡大観察装置を用いて、撮像対象の試料に照明光を照射し、該照明光の反射光又は透過光の受光量を撮像手段で検出して、試料の観察像を撮像する拡大観察方法であって、照明光の波長域の選択を促す工程と、少なくとも可視光の領域において所定の波長帯域のスペクトルを有する照明光用の照明光源からの光を、選択された波長域に従って切り替える工程と、切り替えられた波長域の照明光を試料に照射して得られる受光量を、撮像手段に配置される撮像素子の内、選択された波長域の照明光と対応する受光特性を備える撮像素子で撮像する工程と、撮像素子の画素間隔に相当する変位量分、撮像素子を相対的にシフトさせて、シフト後の異なる位置での受光量を撮像素子で検出する工程と、シフト及び受光量検出工程を、撮像素子と相互に隣接する３以上の注目画素群について、注目画素群の画素位置を一巡するように繰り返す工程と、注目画素群の各画素位置で検出された受光量を合成して、選択された波長域の照明光につき観察像を取得する工程と、を含むことができる。これにより、観察目的に応じた波長域の照明光を試料に照射し、観察像を高解像度で撮像できる。それは、選択された波長帯域の照明光に応じた撮像素子が、画素単位で受光信号を取得するように撮像素子をシフトさせているからである。この結果、照明光に応じた受光信号を画素単位で取得でき、高精細な観察像を撮像できるという優れた特徴が実現される。
【００２１】
さらにまた、第１２の拡大観察プログラムは、異なる波長の受光特性を備える撮像素子が一定の画素間隔で隣接して配置された撮像手段を備える拡大観察装置を操作して、撮像対象の試料に照明光を照射し、該照明光の反射光又は透過光の受光量を撮像手段で検出して、試料の観察像を撮像するための拡大観察プログラムであって、照明光の波長域の選択を促す機能と、少なくとも可視光の領域において所定の波長帯域のスペクトルを有する照明光用の照明光源が発する光を、選択された波長域に従って切り替える機能と、切り替えられた波長域の照明光を試料に照射して得られる受光量を、撮像手段に配置される撮像素子の内、選択された波長域の照明光と対応する受光特性を備える撮像素子で撮像する機能と、撮像素子の画素間隔に相当する変位量分、撮像素子を相対的にシフトさせて、シフト後の異なる位置での受光量を撮像素子で検出する機能と、シフト及び受光量検出機能を、撮像素子と相互に隣接する３以上の注目画素群について、注目画素群の画素位置を一巡するように繰り返す機能と、注目画素群の各画素位置で検出された受光量を合成して、選択された波長域の照明光につき観察像を取得する機能と、をコンピュータに実現させることができる。これにより、観察目的に応じた波長域の照明光を試料に照射し、観察像を高解像度で撮像できる。それは、選択された波長帯域の照明光に応じた撮像素子が、画素単位で受光信号を取得するように撮像素子をシフトさせているからである。この結果、照明光に応じた受光信号を画素単位で取得でき、高精細な観察像を撮像できるという優れた特徴が実現される。
【００２２】
さらにまた第１３のコンピュータで読み取り可能な記録媒体は、上記プログラムを格納したものである。記録媒体には、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷやフレキシブルディスク、磁気テープ、ＭＯ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ、ＤＶＤ＋Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、Ｂｌｕ−ｒａｙ、ＨＤ、ＤＶＤ（ＡＯＤ）等の磁気ディスク、光ディスク、光磁気ディスク、半導体メモリその他のプログラムを格納可能な媒体が含まれる。またプログラムには、上記記録媒体に格納されて配布されるものの他、インターネット等のネットワーク回線を通じてダウンロードによって配布される形態のものも含まれる。さらに記録媒体にはプログラムを記録可能な機器、例えば上記プログラムがソフトウェアやファームウェア等の形態で実行可能な状態に実装された汎用もしくは専用機器を含む。さらにまたプログラムに含まれる各処理や機能は、コンピュータで実行可能なプログラムソフトウエアにより実行してもよいし、各部の処理を所定のゲートアレイ（ＦＰＧＡ、ＡＳＩＣ）等のハードウエア、又はプログラムソフトウエアとハードウェアの一部の要素を実現する部分的ハードウエアモジュールとが混在する形式で実現してもよい。
【発明を実施するための最良の形態】
【００２３】
以下、本発明の実施の形態を図面に基づいて説明する。ただし、以下に示す実施の形態は、本発明の技術思想を具体化するための拡大観察装置、拡大画像観察方法、拡大画像観察プログラム及びコンピュータで読み取り可能な記録媒体を例示するものであって、本発明は拡大観察装置、拡大画像観察方法、拡大画像観察プログラム及びコンピュータで読み取り可能な記録媒体を以下のものに特定しない。また、本明細書は特許請求の範囲に示される部材を、実施の形態の部材に特定するものでは決してない。特に実施の形態に記載されている構成部品の寸法、材質、形状、その相対的配置等は特に特定的な記載がない限りは、本発明の範囲をそれのみに限定する趣旨ではなく、単なる説明例にすぎない。なお、各図面が示す部材の大きさや位置関係等は、説明を明確にするため誇張していることがある。さらに以下の説明において、同一の名称、符号については同一もしくは同質の部材を示しており、詳細説明を適宜省略する。さらに、本発明を構成する各要素は、複数の要素を同一の部材で構成して一の部材で複数の要素を兼用する態様としてもよいし、逆に一の部材の機能を複数の部材で分担して実現することもできる。また、一部の実施例、実施形態において説明された内容は、他の実施例、実施形態等に利用可能なものもある。
【００２４】
本発明の実施例において使用される拡大観察装置、拡大画像観察方法、拡大画像観察プログラム及びコンピュータで読み取り可能な記録媒体とこれに接続される操作、制御、表示、その他の処理等のためのコンピュータ、プリンタ、外部記憶装置その他の周辺機器との接続は、例えばＩＥＥＥ１３９４、ＲＳ−２３２ｘやＲＳ−４２２、ＵＳＢ等のシリアル接続、パラレル接続、あるいは１０ＢＡＳＥ−Ｔ、１００ＢＡＳＥ−ＴＸ、１０００ＢＡＳＥ−Ｔ等のネットワークを介して電気的、あるいは磁気的、光学的に接続して通信を行う。接続は有線を使った物理的な接続に限られず、ＩＥＥＥ８０２．ｘ等の無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）等の電波、赤外線、光通信等を利用した無線接続等でもよい。さらにデータの交換や設定の保存等を行うための記録媒体には、メモリカードや磁気ディスク、光ディスク、光磁気ディスク、半導体メモリ等が利用できる。なお本明細書において拡大観察装置とは、拡大観察装置本体のみならず、これにコンピュータ、外部記憶装置等の周辺機器を組み合わせた拡大観察システムも含む意味で使用する。
【００２５】
また、本明細書において拡大観察装置は、拡大観察を行うシステムそのもの、ならびに撮像に関連する入出力、表示、演算、通信その他の処理をハードウェア的に行う装置や方法に限定するものではない。ソフトウェア的に処理を実現する装置や方法も本発明の範囲内に包含する。例えば汎用の回路やコンピュータにソフトウェアやプログラム、プラグイン、オブジェクト、ライブラリ、アプレット、コンパイラ、モジュール、特定のプログラム上で動作するマクロ等を組み込んで撮像そのものあるいはこれに関連する処理を可能とした装置やシステムも、本発明の拡大観察装置に該当する。また本明細書においてコンピュータには、汎用あるいは専用の電子計算機の他、ワークステーション、端末、携帯型電子機器、ＰＤＣやＣＤＭＡ、Ｗ−ＣＤＭＡ、ＦＯＭＡ（登録商標）、ＧＳＭ、ＩＭＴ２０００や第４世代等の携帯電話、ＰＨＳ、ＰＤＡ、ページャ、スマートフォンその他の電子デバイスも包含する。さらに本明細書においてプログラムとは、単体で使用されるものに限られず、特定のコンピュータプログラムやソフトウェア、サービス等の一部として機能する態様や、必要時に呼び出されて機能する態様、ＯＳ等の環境においてサービスとして提供される態様、環境に常駐して動作する態様、バックグラウンドで動作する態様やその他の支援プログラムという位置付けで使用することもできる。
【００２６】
以下、図２から図３を用いて、本発明の一実施の形態に係る拡大観察装置１００を説明する。拡大観察装置１００は、図２に示すように観察対象の試料（又はワークその他の被写体）Ｓを照明するための照明手段６０と、照明手段６０により照明された試料Ｓを撮像する撮像部１０と、撮像部１０で撮像された拡大画像を表示する表示手段５２を有する本体部５０を備える。撮像部１０はヘッド部１５ととして、ケーブル部２４を介して本体部５０と接続される。さらに図２の拡大観察装置１００は、試料Ｓを固定する試料固定部として、試料Ｓを載置するステージ３０と、光学系１１を介して入射するステージ３０に固定された試料Ｓからの反射光又は透過光を電気的に読み取る撮像素子１２と、ステージ３０と光学系１１の光軸方向における相対距離を変化させ焦点を調整する焦点調整部としてステージ昇降器２０とを備える。さらにまた本体部５０は、図３に示すようにステージ昇降器２０によって焦点を調整したときのステージ３０と光学系１１の光軸方向における相対距離に関する焦点距離情報を、光軸方向とほぼ垂直な面内における試料Ｓの２次元位置情報と共に記憶する焦点距離情報記憶部としてメモリ５３と、撮像素子１２によって読み取られた画像を表示する表示手段５２と、ヘッド部１５およびステージ昇降器２０とデータを通信するためのインターフェイス５４とを備える。この拡大観察装置１００は、光学系１１を介して入射するステージ３０に固定された試料Ｓからの反射光又は透過光を電気的に読み取る撮像素子１２を用いて観察像を撮像し、表示手段５２に表示させる。
【００２７】
さらに拡大観察装置１００は、表示手段５２によって表示された画像上で領域を設定可能な領域設定部として操作部５５と、領域設定部によって設定された領域に対応する試料Ｓの一部又は全部に関するメモリ５３に記憶された焦点距離情報に基づいて、領域設定部によって設定された領域に対応する試料Ｓの光軸方向における高さを演算する制御部５１を備える。この拡大観察装置１００は、撮像素子１２を用いて指定された領域に対応する試料Ｓの光軸方向における平均高さ（深さ）を演算できる。
【００２８】
この制御部５１は、後述する光路シフト手段１４を作動させる光路シフト制御手段８１、複数の照明フィルタを用いて試料Ｓの同一の視野について撮像した複数の観察像を表示手段５２に同時に表示した状態から、一を選択可能な画像選択手段８２、画像選択手段８２で選択された観察像の撮像に使用された照明フィルタの種別を含む像観察条件を、撮像条件として設定する撮像条件設定手段８３、同一の試料Ｓを異なる照明フィルタを用いて撮像した少なくとも２つの観察像を合成する画像合成手段８５、画像合成手段８５で観察像を合成してカラーの高解像画像観察像を取得する動作を自動で行う自動合成手段８４、照明光源６３が発する光の波長帯域に含まれる複数の異なる波長域について、いずれかの波長域に選択的に切り替え可能な照明光選択手段９０等の機能を実現する。この制御部５１はＡＳＩＣやＦＰＧＡ等のゲートアレイ等で構成できる。
【００２９】
操作部５５は本体部５０又はコンピュータと有線もしくは無線で接続され、あるいはコンピュータに固定されている。一般的な操作部５５としては、例えばマウスやキーボード、スライドパッド、トラックポイント、タブレット、ジョイスティック、コンソール、ジョグダイヤル、デジタイザ、ライトペン、テンキー、タッチパッド、アキュポイント等の各種ポインティングデバイスが挙げられる。またこれらの操作部５５は、拡大観察用操作プログラムの操作の他、拡大観察装置１００自体やその周辺機器の操作にも利用できる。さらに、インターフェース画面を表示するディスプレイ自体にタッチスクリーンやタッチパネルを利用して、画面上をユーザが手で直接触れることにより入力や操作を可能としたり、又は音声入力その他の既存の入力手段を利用、あるいはこれらを併用することもできる。図２の例では、操作部５５はマウス等のポインティングデバイスで構成される。
（照明手段６０）
【００３０】
照明手段６０は、撮像素子１２に結像される試料Ｓを照明する照明光を生成する。照明手段６０の照明光源６３（図５）は、本体部５０に内蔵され、光ファイバ６１を介して照明光がヘッド部１５の照明手段６０に伝達される。照明手段６０は、ヘッド部１５に組み込み式としたり、ヘッド部１５と脱着可能な別体のいずれも採用できる。また照明光の照明方式としては、落射照明や透過照明等が適宜利用できる。図２に示す照明手段６０は、試料Ｓに落射光を照射するための落射照明６０Ａと、透過光を照射するための透過照明６０Ｂを備えている。これらの照明は、光ファイバー６１を介して本体部５０と接続される。本体部５０は光ファイバー６１を接続するコネクタ６２を備えると共に、コネクタ６２を介して光ファイバー６１に光を送出するための照明光源６３を内蔵する。また落射照明６０Ａはリング状照明としている。リング状照明は、全周照明と側射照明を切り替えることができる。これを実現するため、照明光の一部をカットするターレット式のマスクや、リング状照明として複数のＬＥＤを環状に配置し、一部のＬＥＤをＯＮ／ＯＦＦする構成等が利用できる。
（照明光源６３）
【００３１】
照明光源６３としては、幅広い波長域の白色光を発する白色光源として、ハロゲンランプ、キセノンランプ、ＨＩＤランプ等が利用できる。また可視光のみならず赤外光を照射可能な光源が好ましい。特にハロゲンランプは、発光波長の波長域が広いため好ましい。また、単一の光源を利用するのみならず、複数の光源を備え、これらを同時に点灯して混色光を照明光としたり、あるいは切り替えて照明することもできる。さらにＬＥＤ（Light Emitting Diode）やＬＤ（Laser Diode）といった半導体発光素子を照明光源として利用することもできる。例えば、ＲＧＢの波長域を有するＬＥＤを用意し、各ＬＥＤの点灯により照明光を赤、緑、青色にそれぞれ切り替えたり、これらの混色によって白色光を得ることができる。特にＬＥＤはＯＮ／ＯＦＦ応答性に優れるため、測定のスループットを向上できる利点も得られる。また長寿命で低消費電力であり、発熱量も少なく、機械的衝撃に強いといった特長も備える。あるいは、光源光の紫外線や可視光線で励起される蛍光体等の波長変換部材を利用した光源とすることもできる。これにより、１個のＬＥＤでも白色光を発光できる。さらに、可視光以外に紫外光や赤外光を照射可能なＬＥＤを光源として用いることもできる。例えば赤外光による観察は、不良品の解析や生体組織の組織分布等において有用である。
（ＬＥＤ照明）
【００３２】
図１２にこのような照明光源６３’の例として、緑色、赤色、青色、白色に発光可能なＬＥＤ、Ｇ、Ｒ、Ｂ、Ｗを順に配列した環状のリング状照明６０Ａ’の例を示す。このリング状照明６０Ａ’は、図２に示すように光学系１１および撮像素子１２を有するヘッド部１５の先端近傍の周囲に配置されて、試料Ｓを照明する。またこの照明光源６３’は、照明光を選択する照明光選択手段９０として発光素子選択手段９１と電気的に接続されており、発光素子選択手段９１によりＬＥＤの選択及び点灯が制御される。すなわち、照明光として緑色を選択した場合は、緑色ＬＥＤ、Ｇのみを点灯させ、また赤色、青色、白色の照明光が選択された場合は、各照明光に該当するＬＥＤ、Ｒ、Ｂ、Ｗが選択されて点灯制御される。このように異なる発光色のＬＥＤで構成した照明光源は、発光色の変更を容易に行える利点が得られる。
【００３３】
なおこの例ではＬＥＤとして緑色Ｇ、赤色Ｒ、青色Ｂ、白色Ｗの４種類が一定周期で交互に並ぶように配置しているが、配置パターンや個数、発光色の組み合わせ等は適宜変更できることはいうまでもない。例えば、緑色ＬＥＤの出力を上げたい場合は緑色ＬＥＤをより多く配置したり、あるいはＲＧＢの同時点灯で白色光を得る場合は、白色ＬＥＤを排除できる。またＲＧＢの混色によって白色光に限られず種々の発光色を得ることができる。またフィルタを使用しないためフィルタの切り替えといった機械的な動作を不要とでき、電気信号のみでの安定した高速な照明光切り替えが実現される。またＬＥＤは長寿命であるため、電球の交換等のメンテナンス作業も省力化できる。さらに、半導体発光素子はバルブに比べ小型であるため、複数種類の発光素子を省スペースで配置できる利点もある。例えば赤外光発光素子や紫外光発光素子も備えることで、照明光を可視光のみならず赤外光、紫外光等に切り替えることが容易に行える。このようにして、異なる波長域の発光素子を複数備える照明光源を照明光選択手段９０で制御し、所望の波長域の発光素子を選択して点灯し照明光を照射することができる。
（フィルタ手段８６；フィルタ選択手段８８）
【００３４】
照明光源６３と試料固定部との間には、照明光選択手段９０の一形態としてフィルタ手段８６が配置される。照明手段６０は、照明光源６３からの白色光を、フィルタ手段８６を介してＲＧＢあるいは白色光を照明光として取り出すことができる。フィルタ手段８６は複数の照明フィルタを備えており、フィルタ選択手段８８によってこれらを切り替える。例えば、図４に示すように、回転式のターレットに赤色フィルタＲＦ、青色フィルタＢＦ、緑色フィルタＧＦ、及び透過フィルタＰＦの各照明フィルタを設け、ターレットの回転によって機械的にこれらを切り替える。透過フィルタＰＦは照明光源６３が照射する光の波長をすべて透過するものであり、典型的には開口である。青色フィルタＢＦ、赤色フィルタＲＦ、緑色フィルタＧＦは、それぞれの色に対応する波長域を透過するカラーフィルタであり、透過する波長域を規定したガラス等が利用できる。またカラーフィルタは、ＲＧＢ３原色の他、これらの補色（例えばシアン・マゼンダ・イエロー）を適宜利用することもできる。その他、フィルタとして紫外光や赤外光を透過させるフィルタを利用することもできる。フィルタ選択手段８８は、図５に示すようにターレットを回転させることで照明フィルタを切り替えることができる。ターレットはフィルタ回転モータ８９の回転軸に固定されて、フィルタ回転モータ８９により回転自在に制御される。またターレットには、フィルタ位置センサ８７が備えられており、フィルタ位置センサ８７の出力及びフィルタ回転モータ８９の回転制御入力はフィルタ選択手段８８に接続される。これによりフィルタ選択手段８８は現在選択中の照明フィルタの種別を判別でき、またフィルタ回転モータ８９を回転させることでターレットを所望の姿勢に回転でき、照明光源６３の光軸に対し選択した照明フィルタを配置できる。ユーザはフィルタ選択手段８８で照明フィルタを選択することで、所望の波長の照明光を照射できる。
【００３５】
なお、照明フィルタの配置は、試料Ｓの透過光を観察する場合は照明光源６３と試料Ｓとの間に配置し、試料Ｓの反射光もしくは励起光を観察する場合は、照明光源６３と試料Ｓの間に配置するか、もしくは対物レンズと接眼レンズ又は撮像素子の間に配置する。加えてフィルタ手段８６には、カラーフィルタ以外に、拡散フィルタ、偏光フィルタ等を備えることもできる。このようにフィルタ手段８６は、フィルタを切り替えることで照明光の波長のみならず、強度、偏光状態等の特性を変化させることができる。また、フィルタを２段あるいは３段以上の複数構成とすることで、波長と強度、偏光状態等複数の特性を変化させることもできる。
【００３６】
あるいは、ターレット式の照明フィルタに代わって、液晶ＲＧＢフィルタを用いて印加電圧によってＲ、Ｇ、Ｂと透過分光特性をスイッチング、若しくは透過を切り替えることもできる。この場合、フィルタ選択手段８８は液晶ＲＧＢフィルタの印加電圧を制御して、照明光を選択できる。さらには、照明光源としてハロゲンランプ等の白色光に代わり、ＬＥＤやＬＤ等の半導体発光素子を使用することもできる。例えば、ＲＧＢのＬＥＤを用意し、各ＬＥＤを点灯させることで、照明光をＲＧＢに切り替えでき、さらにＲＧＢを同時に点灯させることで混色により白色光を得ることができる。またＲＧＢ３原色に限られず、その補色を利用することも可能である点は上述の通りである。
（撮像部１０）
【００３７】
撮像部１０は、照明手段６０により照明された観察対象の試料Ｓから、光学系１１を介して入射する反射光を電気的に読み取る撮像素子１２を備える。撮像素子１２は、この例ではＣＭＯＳを利用しているが、ＣＣＤ等、他の受光素子も利用できる。この撮像素子１２は、照明光源６３からフィルタ手段８６を介して試料Ｓに照射された照明光に対する受光量の内、特定の波長について受光可能な単板の撮像素子を、異なる波長域に対応させた複数種類用意し、画素毎に一素子を配列した２次元カラー撮像素子であり、これによりカラー画像の撮像が可能となる。各撮像素子は、一定の画素間隔で配置しており、さらに隣接する画素同士が異なる波長の受光特性を備えるよう配置される。好ましくは、２次元カラー撮像素子は図１に示すようなベイヤー配列とする。撮像素子１２で取得された画像は、必要に応じてメモリ５３に保持される。なお、照明光の波長域に対応する撮像素子とは、照明光の波長域に対して感度の高い撮像素子であり、例えば照明光が赤色の場合は、赤色光の波長域に受光感度の高い撮像素子を指す。また撮像素子として照明光の補色を利用している場合は、該当する補色の領域に受光感度の高い撮像素子を指し、例えば赤色の照明光に対して赤色の補色である緑色領域に受光感度を有する撮像素子が該当する。
（光路シフト手段１４）
【００３８】
さらに拡大観察装置１００は、撮像素子１２の検出位置を相対的にシフトさせるための光路シフト手段１４と、光路シフト手段１４を作動させる光路シフト制御手段８１とを備えている。具体的には、３以上の注目画素群について、注目画素群を構成する各撮像素子の画素の位置で受光信号が一巡して受光量が各々の位置で検出されるよう、撮像素子の画素間隔に相当する変位量分、注目画素群を構成するいずれかの撮像素子の検出位置を光路シフト手段１４で相対的にシフトさせる。
（光路シフト制御手段８１）
【００３９】
一方光路シフト制御手段８１は、フィルタ選択手段８８で選択された照明フィルタを介して所定波長の照明光が試料Ｓに照射される際、複数の撮像素子の内、該波長域に対応する撮像素子で受光量を検出するように、光路シフト手段１４を作動させる。これにより、照明フィルタと撮像素子の選択及び画素ずらしを連動させることが可能となり、ユーザは面倒な切り替えや照明光とこれに応じた照明フィルタ、撮像素子の選択の組み合わせを意識することなく、高解像度の観察像を簡単に取得できる。
【００４０】
図３の例では、撮像部１０に光路シフト手段１４が備えられており、画素ずらしによってＣＭＯＳの持つ解像度以上の高解像度を得ることができる。画素ずらしとは、例えば単板タイプについて特許文献２や、３板タイプについて特許文献３に記載されるように、圧電素子等を用いることにより、隣接する素子と素子（画素）との間の空間に、素子を物理的にシフトさせるピクセルシフトにより、例えば画素ピッチの半分だけ試料Ｓをずらして撮影した画像と、ずらす前の画像とを合成することにより高解像度化を図るものである。また１画素ピッチ分ずらして各画素でＲＧＢのデータを取得することにより、色再現性も向上される。代表的な画像ずらしの機構としては、撮像素子１２をアクチュエータＡＣ等により移動させる撮像素子駆動方式、ＬＰＦを傾斜させるＬＰＦ傾斜方式、レンズを移動させるレンズ移動方式等がある。
【００４１】
画素ずらし機能を実行すると、図１に示すように、撮像素子がベイヤー配列でマトリクス状に画素毎に配置された状態において、光路シフト手段１４は図６に示すように、隣接する２×２の画素位置にシフトさせるよう切り替えることができる。これにより、ベイヤー配列された異なる受光特性の撮像素子を、隣接する２×２の注目画素につき、一巡するように光路シフト手段１４でシフトさせて、２×２のすべての画素位置で受光信号を取得することができ、高解像度の観察像を得ることができる。なお、光路シフト手段１４で撮像素子を相対的にシフトさせるシフト量は、図６の例では撮像素子の画素間隔に相当する変位量分として、反時計回りに４回、計４画素分移動させているが、上下、左右等隣接する２画素のみ、あるいは３画素分だけ移動させることもできる。また、移動量は撮像素子の１画素分に限られず、１／２画素分や１／３画素分等とすることもできる。撮像素子を構成する各画素の受光感度のピーク位置やレンジに応じて移動量を調整することで、１画素分以下の移動量でも受光量を向上できるので、高解像度化を図ることができる。このように、撮像素子の画素間隔に相当する変位量分とは、画素ピッチと同等もしくはその整数倍に限られず、１／２画素分や１／３画素分といった分数倍も含まれる。
（表示手段５２）
【００４２】
またこのような画像データやメモリ５３に保持された設定内容は、表示手段５２にて表示させることができる。表示手段５２はＣＲＴや液晶ディスプレイ、有機ＥＬ等のモニタが利用できる。また、制御部５１に対して、ユーザが各種操作を行うための操作部５５を接続している。操作部５５はコンソールやマウス等の入力デバイスである。なおこの例においても表示手段や操作部は、本体部と一体的に組み込むことも、外付けの部材とすることもできる。さらに表示手段をタッチパネルで構成すれば、表示手段と操作部を一体に構成することもできる。
【００４３】
本体部５０は、モータ制御回路２２に対してステッピングモータ２１の制御に関する制御データを入力することによって、試料固定部であるステージ３０と、光学系１１および撮像素子１２を有するヘッド部１５との光軸方向における相対距離、ここではｚ方向における高さを変化させる。具体的には、本体部５０は、ステージ昇降器２０の制御に必要な制御データをモータ制御回路２２に入力することによってステッピングモータ２１の回転を制御し、ステージ３０の高さｚ（ｚ方向の位置）を昇降させる。ステッピングモータ２１は、回転に応じた回転信号を生成する。本体部５０は、モータ制御回路２２を介して入力される回転信号に基づいて、試料固定部と光学系１１の光軸方向における相対距離に関する情報としてのステージ３０の高さｚを記憶する。このステージ３０は、試料Ｓに対して観察位置の位置決めを行う観察位置決め手段として機能する。なお本実施の形態においては、ステージ３０の高さを変化させることによって試料固定部と光学系１１の光軸方向における相対距離を変化させる例を示したが、ステージを固定して光学系の高さ、例えばカメラの高さを変化させてもよい。また、ステージは拡大観察装置本体に設ける他、本体と別部材としたヘッド部に設けたり、あるいはステージを省略した撮像部をヘッド部に設けることもできる。ステージを省略した撮像部は、取り付けスタンドに装着したり、ユーザが手持ち可能とすることもできる。このようなヘッド部は拡大観察装置本体とケーブルにより接続される。
【００４４】
撮像素子１２は、ｘ方向およびｙ方向に２次元状に配置された画素毎に受光量を電気的に読み取ることができる。撮像素子１２上に結像された試料Ｓの像は、撮像素子１２の各画素において受光量に応じて電気信号に変換され、撮像素子制御回路１３においてさらにデジタルデータに変換される。本体部５０は、撮像素子制御回路１３において変換されたデジタルデータを受光データＤとして、光軸方向（図３中のｚ方向）とほぼ垂直な面内（図３中のｘ、ｙ方向）における試料Ｓの２次元位置情報としての画素の配置情報（ｘ、ｙ）と共にメモリ５３に記憶する。ここで、光軸方向とほぼ垂直な面内とは、厳密に光軸に対して９０°をなす面である必要はなく、その光学系および撮像素子における解像度において試料Ｓの形状を認識できる程度の傾きの範囲内にある観察面であればよい。
【００４５】
また、以上の説明では試料固定部の一例として、試料Ｓがステージ３０に載置される例を示したが、例えばステージの代わりにアームを取り付け、その先端に試料Ｓを固定する構成とすることもできる。さらにヘッド部１５は、カメラ取り付け部４３に装着して使用する他、脱着可能として手持ち等の方法により所望の位置、角度に配置することもできる。
（制御部５１）
【００４６】
制御部５１は、撮像した観察画像を、表示手段５２で表示可能な解像度に変換して表示するよう制御する。図２の拡大観察装置１００においては、撮像部１０が撮像素子１２によって試料Ｓを撮像した観察画像を表示手段５２に表示する。一般にＣＭＯＳやＣＣＤ等の撮像素子の性能は、表示手段での表示能力を上回ることが多いので、撮像した観察画像を一画面に表示するためには画像を間引く等して解像度を一画面で表示可能なサイズまで落とし、縮小表示している。撮像部１０で読み取ったときの読取解像度を第一の解像度とすると、表示手段５２においては第一の解像度よりも低い第二の解像度で表示されることとなる。
【００４７】
さらに、観察像の静止画を連続的に撮像し、これを表示手段５２で表示する際にも、連続的に撮像画像を切り替えて表示することで、あたかも動画のように表示させてもよい。このような連続撮影モードは、制御部５１によって通常の静止画像の撮影、表示モードと切り替えることができる。またこのような連続撮影に際しても、画素ずらし機能を働かせることもできる。
（拡大観察装置操作プログラム）
【００４８】
図７に観察条件設定画面の一例として、照明条件選択画面２００を示す。この図は拡大観察装置１００を操作するための拡大観察装置操作プログラムのユーザインターフェース画面であり、操作画面は、拡大観察装置１００の表示手段５２や外部接続されたコンピュータ７０のモニタ上に表示できる。ユーザは表示された画面上から、拡大観察装置１００の各種設定や操作を行う。拡大観察装置操作プログラムは、本体部５０に組み込まれている。
（照明光切り替えの手順）
【００４９】
図７に示す照明条件選択画面２００では、照明光を切り替えることができる。具体的には、「波長切替」ボタンを押すと、波長帯域を選択するダイアログが現れる。ここではプルダウンメニュー形式で、青色照明、緑色照明、赤色照明、赤外照明、高解像度カラー画像取得、赤外＋カラー画像取得のいずれかを選択できる。照明手段６０には複数の照明フィルタが用意されており、ここで選択した波長に応じて、図５に示すようにカラーフィルタが切り替わる。ここでは、照明光として白色光以外を選択した場合、画像を表示させる際、あるいは静止画を保存する際に常時画素ずらし機能が働くように設定されている。このような画素ずらしによって、解像感を損なうことなく単色の観察像を取得できる。
（撮像条件選択画面３００）
【００５０】
さらに、本実施の形態では照明光を変化させた観察が簡便に行えることから、試料Ｓの同一視野に対して、複数の異なる照明光で取得した画像を並べて撮像条件選択画面３００として表示し、ユーザが所望の画像を選択することで、選択した画像に設定された観察条件（照明光や照明フィルタ、撮像素子の選択等）に決定する観察条件のイージー設定機能も実現できる。撮像条件選択画面３００の例としては、図８に示すように照明光を白色光、赤色光、緑色光、青色光としてそれぞれ撮像した観察像を、表示手段５２を４分割して一覧表示したものが利用できる。ユーザはこの撮像条件選択画面３００を画像選択手段８２として、実際に得られた種々の観察像を対比しながら、所望の観察像を画面上から選択すると、選択された画像の撮像に用いた照明フィルタ、撮像素子１２の組み合わせが読み出され、以降の観察においてこの条件が像観察条件として撮像条件設定手段８３により自動的に設定される。また、撮像条件選択画面３００で取得する観察像は、通常の観察像とする他、例えばフレームレートを落とす等してより短時間で簡易的に撮像した簡易観察像とすることもできる。簡易観察像を取得するための簡易撮像条件は、演算手段の撮像条件設定手段８３が自動的に設定する。このようにして各観察像の撮像時間を短縮することで、複数枚の簡易観察像を短時間で取得できる。ここでは、「プレビュー機能」ボタン（図示せず）を押下することで、すべての照明フィルタを用いた簡易観察像を各々取得し、自動的に撮像条件選択画面３００を表示する。これにより、ユーザは複数の照明フィルタの切り替え操作や観察像の取得、保存等の操作を行うことなく、短時間で像観察条件の異なる複数の観察像を取得でき、しかも実際に得られた画像イメージに基づいて感覚的に像観察条件を選択できるので、複数のパラメータの意味や相関、調整作業等に煩わされることなく、容易に所望の観察を行うことができる。なお図８の例では、照明光のみを変化させた例を示しているが、フレームレートや画素ずらしの有無等、その他の像観察条件を変更した撮像条件選択画面を構成することもできる。
（画像合成手段８５）
【００５１】
さらに画像合成手段８５を用いて、高分解能のカラー画像を取得することもできる。短波長の照明光で観察を行えば、分解能の高い画像が得られる。この性質を利用して、青色の照明光を用い、かつ画素ずらしを行うことによって、図９に示すような高分解能の単色画像を得ることができる。特に照明光の波長域を制限することで色収差の影響を抑制でき、これによって分解能を一層向上させる効果が得られる。ただしこの画像には青色の情報しかなく、フルカラー画像ではない。そこで、別途白色の照明光を用いたフルカラー画像を取得し（図１０）、画像合成手段８５で単色画像の輝度情報にフルカラー画像の色情報（色度、彩度）を重ね合わせることにより、図１１に示すような分解能の高いカラー画像を得ることができる。すなわち、単板の撮像素子の内、波長の短い照明光を撮像可能な撮像素子、具体的には青色用の撮像素子を用いてモノクロの高解像度画像を撮像し、別途撮影したカラーの観察像と合成することで、高解像度のモノクロ観察像に色情報を加えて、カラーの高解像度観察像を得ることができる。
【００５２】
従来の拡大観察装置では、一画素で検出できる色情報が単一であるため、カラー画像を得るためには、（１）各画素において検出できない色情報について、周囲に隣接する（該検出できない色情報を検出できる）画素の色情報に基づいて、色情報を予測したり、（２）いわゆる３ＣＣＤ等の３板タイプの撮像素子を用いる等の必要があった。
【００５３】
これに対し、上記の画像合成手段８５による合成方法では、（１）の予測によるカラー化よりも分解能が高く、試料のエッジが鋭く現れるカラー画像が得られ、また（２）の３ＣＣＤよりも安価に構成できる。さらに３ＣＣＤに比べ撮像素子すなわちカメラのサイズも小さくできる。また画素ずらしは１画素分だけ画素をずらす他、１／２や１／３画素分だけずらすことも可能であり、同じ画素数の３ＣＣＤに比べてより高解像度の画像を取得できる利点も得られる。さらに、ＲＧＢ各波長毎に画素ずらしを行う必要が無く、波長の短い高解像度の画像につき１回画素ずらしを行い、通常の白色光によるカラー画像を撮像して合成するのみで足りるため、短時間で高解像度のカラー画像を合成できるという利点も得られる。
（自動合成手段８４）
【００５４】
さらに、この一連の画像取得し、画像を合成する工程を、ユーザが手動で行うことなく、自動合成手段８４で自動的に行わせることもできる。これにより、ユーザは高解像度のカラー画像を簡単に取得できるようになり、高精細な観察が実現される。自動合成手段８４で合成画像を自動的に取得する手順は、ユーザが図７に示す拡大観察装置操作プログラムの操作画面上から、「高解像度カラー画像取得」ボタンを押下すると、自動合成手段８４が、（１）フィルタ選択手段８８に対して青色フィルタＢＦを選択する指示を送ると共に、光路シフト制御手段８１に光路シフト手段１４を作動させて、青色の撮像素子を各画素位置において撮像し合成した青色波長域の高解像度観察像を得る動作；
（２）フィルタ選択手段８８に対して透過フィルタＰＦを選択する指示を送ると共に、光路シフト制御手段８１に光路シフト手段１４を作動させて、すべての撮像素子を各画素位置において撮像した白色波長域のカラー観察像を得る動作；
（３）画像合成手段８５で、高解像度観察像にカラー観察像の色情報を合成して、カラーの高解像画像観察像を合成させる動作
を自動で行わせる。これにより、カラーの高解像度画像を、ほぼワンタッチで取得でき、ユーザの使い勝手は極めて高い。なお、上記（１）、（２）の動作は、いずれを先に行ってもよい。すなわち、先に白色光でカラー画像を撮像した後、青色高解像画像を撮像して合成することでも、同様の結果を得ることができる。また、上記の例では青色照明光を使用して高解像度画像を撮像したが、観察用途に応じて、緑色、赤色照明光と白色光とを合成することもできる。赤色光や緑色光の照明による観察像は、寸法計測用途でのエッジ検出等において有益である。例えば着色された反射率の低いワークのエッジ部分を強調して、エッジ検出を容易にできる。またこれらの色に限られず、用途に応じて種々の照明光が利用でき、例えば照明光を黄色にすれば、感光に敏感なイエロールームでの画像測定が可能となる。さらに、青色光、緑色光、赤色光で各々撮像した単色画像を合成することでも、高解像度のカラー画像を取得できる。この場合は、３枚の観察像を取得するため、撮像時間が長くかかる一方、ＲＧＢそれぞれの波長成分につき輝度信号を取得できるため、より鮮明な画像を取得できる利点が得られる。
（拡大観察装置の使用方法）
【００５５】
以上の拡大観察装置１００を用いて、解像度の高い鮮明な観察像を撮像し、表示手段５２に表示させて観察することができる。ユーザは目的に応じて選択した特定波長域の光を試料に対して照射する。例えば解像度を向上させる用途においては波長の短い青色照明、透過率を向上させる用途においては波長の長い赤色照明、可視光を透過しない試料の内部を観察する用途においては赤外照明等である。また赤外照明と白色光照明を組み合わせることで、試料の内部と外部を同時に観察することができる。例えば観察対象の試料がＩＣチップの場合、赤外線の効果によりシリコン内部に存在する構造物を確認できる一方で、白色光によりチップ表面上にマーキングされている番号等の文字情報を認識できる。このように赤外光を併用すれば、試料の内部と外部の両方を観察できる利点が得られる。
【００５６】
これら照明光の組み合わせは、フィルタ選択手段８８を用いて、光源光に対して適切な照明フィルタをフィルタ手段８６から選択する。画像撮影時には、ユーザがフィルタ選択手段８８で選択した照明光に対し、撮像素子において最も感度の高いカラーフィルタの画素情報のみを撮像素子制御回路１３が選択して観察像を取得する。さらに画素ずらし機能によって、光路シフト手段１４として２次元カラー撮像素子に微細なアクチュエータＡＣを連結させ、図６に示すように、選択した素子を光路シフト手段１４がピクセル単位で上下左右に移動させて複数回撮影を行う。このようにして得られた画素情報を元に全体の画像情報を再構築することで、高解像度の単一色（モノクロ）画像が得られる。このように、ユーザが選択した照射光の波長に応じてＲ・Ｇ・Ｂ３色のうちから最適な画素情報を選択的に利用した高画質の画像を作成することができる。例えば、図７に示す拡大観察装置の操作画面上からユーザが照射光として青色光を選択した場合には、最も感度の高い撮像素子の画素は青色カラーフィルタの画素である。そこで、赤、緑の画素情報は無視して、画素ずらし機能を用いることによって青の色情報だけで画像を作成する。これによって、通常のカラー撮像素子を用いたカメラを利用しながら、照明条件によってカメラの解像度と感度を損なうことなく、最適な観察画像を取得することが可能となる。
【産業上の利用可能性】
【００５７】
本発明の拡大観察装置、拡大画像観察方法、拡大画像観察プログラム及びコンピュータで読み取り可能な記録媒体は、顕微鏡や反射、透過型等のデジタルマイクロスコープ、デジタルカメラに好適に利用できる。また、本技術を蛍光顕微鏡に適用する場合、照明光に対する試料からの反射光若しくは透過光は、励起光として読み替えることができる。
【図面の簡単な説明】
【００５８】
【図１】異なる色の撮像素子がベイヤー配列される状態を示す平面図である。
【図２】本発明の一実施の形態に係る拡大観察装置の外観図である。
【図３】本発明の一実施の形態に係る拡大観察装置のブロック図である。
【図４】照明フィルタを備える回転式のターレットを示す平面図である。
【図５】図４のターレットを回転させる様子を示す斜視図である。
【図６】注目画素群について、各撮像素子の画素の位置を一巡して受光量を検出するよう、光路シフト手段で撮像素子の検出位置を相対的にシフトさせる様子を示す平面図である。
【図７】照明条件選択画面の例を示すイメージ図である。
【図８】撮像条件選択画面の例を示すイメージ図である。
【図９】青色照明光で撮像した高分解能の観察像を示すイメージ図である。
【図１０】白色照明光で撮像したカラーの観察像を示すイメージ図である。
【図１１】図９及び図１０を合成した合成画像を示すイメージ図である。
【図１２】照明光源の一例を示す模式断面図である。
【符号の説明】
【００５９】
１００…拡大観察装置
１０…撮像部
１１…光学系
１２…撮像素子；１３…撮像素子制御回路
１４…光路シフト手段；１５…ヘッド部
２０…ステージ昇降器；２１…ステッピングモータ；２２…モータ制御回路
２４…ケーブル部
３０…ステージ
４３…カメラ取り付け部
５０…本体部；５１…制御部；５２…表示手段
５３…メモリ；５４…インターフェイス；５５…操作部
６０…照明部；６０Ａ…落射照明；６０Ｂ…透過照明；６０Ａ’…リング状照明
６１…光ファイバー；６２…コネクタ；６３、６３’…照明光源
７０…コンピュータ
８１…光路シフト制御手段
８２…画像選択手段
８３…撮像条件設定手段
８４…自動合成手段
８５…画像合成手段
８６…フィルタ手段
８７…フィルタ位置センサ
８８…フィルタ選択手段
８９…フィルタ回転モータ
９０…照明光選択手段
９１…発光素子選択手段
２００…照明条件選択画面
３００…撮像条件選択画面
Ｓ…試料
ＡＣ…アクチュエータ
ＲＦ…赤色フィルタ；ＢＦ…青色フィルタ；ＧＦ…緑色フィルタ；ＰＦ…透過フィルタ
Ｒ…赤色ＬＥＤ；Ｇ…緑色ＬＥＤ；；Ｂ…青色ＬＥＤ；Ｗ…白色ＬＥＤ
【技術分野】
【０００１】
本発明は、拡大した画像を撮像して表示するデジタルマイクロスコープや顕微鏡のような拡大観察装置、拡大観察方法、拡大観察プログラム及びコンピュータで読み取り可能な記録媒体に関する。
【背景技術】
【０００２】
微小物体等の試料やワーク等の被写体を拡大して表示する拡大観察装置として、光学レンズを使った光学顕微鏡やデジタルマイクロスコープ等が利用されている。デジタルマイクロスコープは、光学系を介して入射する観察対象固定部に固定された観察対象からの反射光又は透過光を、２次元状に配置された画素毎に電気的に読み取るＣＣＤやＣＭＯＳ等の撮像素子で受光し、電気的に読み取られた画像をディスプレイ等の表示部に表示する（例えば特許文献１）。
【０００３】
このような光学系の拡大観察装置においては、その分解能は原理的には照明光の波長に比例する。このため、紫外線顕微鏡のように短波長の光を用いることで光学系の分解能を向上させ、より微細な観察を可能とした拡大観察装置も開発されている。
【０００４】
また撮像素子の画素数が大きいほど詳細な表示が可能となる。特に近年は高画質化の要求が高まっており、撮像素子もこれに応じて画素数の多い、例えば２００万画素クラスあるいは８００万画素クラスのＣＣＤが利用されている。このようなＣＣＤ等の撮像素子は、受光の強弱を検知するセンサであり、色を識別することはできない。このため、従来のＣＣＤでは、各画素を構成するＣＣＤ素子にあらかじめ単色のフィルタをかけておき、隣接する他色のフィルタをかけた画素で得られた信号と組み合わせることで、色情報を得ている。このような単板タイプの、いわゆる１ＣＣＤ方式では、図１に示すように異なる色のフィルタが適用された複数のＣＣＤ素子が隣接されるように、ベイヤー配列される。ベイヤー配列では、隣接する４画素に注目すると、一般にＲＧＢの画素数は１：２：１となる。この構成では、各画素の撮像素子では１色の色信号のみしか取得できないため、本来的には画素毎に色情報を取得できない。そこで、各画素毎に色情報を取得するため、（１）周囲の画素で得られた異なる色情報に基づいて、画素毎に他の色情報も演算する方法、（２）ＣＣＤを微小移動させて画素単位でＲＧＢの受光信号を取得し、複数の画像を合成することによって、画素単位での色情報を取得する、いわゆる画素ずらしの方法（例えば特許文献２）、（３）画素単位にＲＧＢのＣＣＤを配置する３板タイプの、いわゆる３ＣＣＤ方式（例えば特許文献３）等が知られている。
【特許文献１】特開２００２−１３５６４８号公報
【特許文献２】特開昭５８−１１１５８０号公報
【特許文献３】特開平１−１２３５８０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
また一方で、拡大観察装置においては、試料に照射する照明光の波長を変化させて観察することが行われている。照射光の波長を変化させることで異なる観察像を取得できる。例えば緑色のフレキシブル基板を観察する場合、照明光が赤色であれば照明光が内部に透過され、透視図のような観察像が得られる。一方、青色光で照明すれば、照明光が内部に透過されないため、表面の傷模様が観察される。このように照明光を変化させることで、試料の内部のみ、もしくは表層のみを選択的に観察したり、試料のコントラストを改善したりといった見え方の変化が生み出せる。
【０００６】
しかしながら、照明光の波長を変えて観察を行う際、ＣＣＤ等、通常の２次元カラー撮像素子を使って観察を行うと、撮像素子のベイヤー配列の影響により実効的な画素数が低下してしまうという問題があった。上述した図１に示すように、通常の撮像素子はＲＧＢの画素数の比が１：２：１となっているため、例えば青の照明光を用いた場合には実効的な画素数は白色照明光を用いた撮影時の１／４になってしまう。このため照明光の波長を変えて観察を行うと、白色光を使って観察する場合に比較した場合極端に低解像度の画像しか得ることができない。この結果、上述した短波長の照明光で照明することで分解能を向上させようとしても、撮像素子の実効画素数が低下するため、システム全体としての分解能の向上を得ることは困難であった。
【０００７】
一方、照明光の波長を変化させて観察を行う際に、モノクロの撮像素子を用いて観察を行えば、上記の実効的な画素数の低下を防ぐことができる。ただこの方法では、白色光を用いて観察した際にもモノクロの画像しか得ることができないという問題があった。この場合にカラー観察を行うには、高速でＲＧＢのフィルタを切り替えて撮影画像を合成する方法が考えられる。しかしながらこの方法では、機構が複雑になる上、切り替え動作等が必要になるためフレームレートが低下する等、カラーの操像素子を用いた場合に比べて利便性が低下するという問題があった。
【０００８】
また、いわゆる３ＣＣＤ方式において画素ずらしを行い、ＲＧＢそれぞれの画像を合成することで高解像度のカラー画像を取得する方法が提案されている（特許文献３）。しかしながらこの方法では、色収差の補正が困難であるという問題がある。すなわち、レンズを構成する光学材料の屈折率が光の波長により異なるため、像点の位置が波長によってずれ、色の滲んだ像になったり、波長により焦点距離が変わるために像面上周辺に近づくに従い像位置がずれて色のふちどりが生じるといった色収差が発生する。このため、ＲＧＢ各色の色収差を補正して結像点が一定になるよう、例えば屈折率とその波長依存性の異なる種々の光学材料を組み合わせた複合レンズで補正する作業が必要となり、複雑な構成を要するという問題があった。また３ＣＣＤは高価であり、撮像素子のサイズも大きくなるといった問題もある。
【０００９】
本発明は、従来のこのような問題点を解決するためになされたものである。本発明の主な目的は、解像感に優れた画像を撮像可能としつつ、カラー観察も可能な拡大観察装置、拡大画像観察方法、拡大画像観察プログラム及びコンピュータで読み取り可能な記録媒体を提供することにある。
【課題を解決するための手段及び発明の効果】
【００１０】
上記の目的を達成するために、第１の拡大観察装置は、撮像対象の試料に照明光を照射し、該照明光の反射光又は透過光の受光量を検出して、試料の観察像を撮像可能な拡大観察装置であって、少なくとも可視光の領域において所定の波長帯域のスペクトルを有する照明光用の照明光源と、照明光源が発する光の波長帯域に含まれる複数の異なる波長域について、いずれかの波長域に切り替え可能な照明光選択手段と、照明光源が発する光の波長を、照明光選択手段で選択された波長域とした照明光で試料に照射し、該照明光に対する受光量の内、特定の波長域について受光可能な単板の撮像素子であって、複数が画素毎に配列されると共に、一定の画素間隔で隣接する画素同士では異なる波長域の受光特性を備える素子が配置されてなる複数の撮像素子と、異なる波長域の受光特性を備える撮像素子同士が相互に隣接して配置される３以上の注目画素群について、注目画素群を構成する各撮像素子の画素の位置を一巡して受光量が各々の位置で検出されるよう、撮像素子の画素間隔に相当する変位量分、注目画素群を構成するいずれかの撮像素子の検出位置を相対的にシフトさせるための光路シフト手段と、照明光選択手段で選択された波長域の照明光が試料に照射される際、複数の撮像素子の内、該波長域に対応する撮像素子で受光量を検出するように、光路シフト手段を作動させる光路シフト制御手段とを備えることができる。これにより、観察目的に応じた波長域の照明光を試料に照射し、観察像を高解像度で撮像できる。それは、照明光選択手段で選択された波長帯域の照明光に応じた撮像素子が、画素単位で受光信号を取得するよう、光路シフト制御手段が光路シフト手段を制御しているからである。この結果、照明光に応じた受光信号を画素単位で取得でき、高精細な観察像を撮像できるという優れた特徴が実現される。
【００１１】
また第２の拡大観察装置は、照明光選択手段が、照明光源と試料との間に配置され、照明光源が発する光を、異なる波長域の照明光として取り出す複数の照明フィルタを切り替え可能に備えるフィルタ手段と、フィルタ手段が備える複数の照明フィルタから、所望の照明フィルタを選択するためのフィルタ選択手段とを含むことができる。これにより、フィルタ選択手段で選択された波長帯域の照明光に応じた撮像素子が画素単位で受光信号を取得するように、光路シフト制御手段が光路シフト手段を制御して、照明光に応じた受光信号を画素単位で取得でき、高精細な観察像を撮像できる。
【００１２】
さらに第３の拡大観察装置は、フィルタ手段が、照明フィルタとして、照明光源が照射する光の波長域を略全域で透過する透過フィルタと、青色成分の波長域を透過させる青色フィルタを少なくとも備えることができる。これにより、透過フィルタを使用すればカラー観察像を撮像できる一方、青色フィルタを使用すれば狭帯域でかつ短波長のため高解像度の観察像を撮像できる。また、これらを合成すれば、高解像度のカラー観察像を得ることもできる。
【００１３】
さらにまた、第４の拡大観察装置はさらに、撮像素子で撮像された観察像を表示可能な表示手段と、フィルタ部材が備える複数の照明フィルタを用いて、試料の同一の視野について撮像した複数の観察像を表示手段に同時に表示した状態から、一を選択可能な画像選択手段と、画像選択手段で選択された観察像の撮像に使用された照明フィルタの種別を含む像観察条件を、撮像条件として設定する撮像条件設定手段とを備えることができる。これにより、複数の照明フィルタを用いて実際に撮像した観察像の中から、ユーザは所望の観察像を選択することで、以降の観察において必要な観察条件を自動的に設定することができる。特に、観察条件として設定すべき項目に詳しくないユーザであっても、実際の画像イメージに基づいて設定できるため、操作の習熟度に拘わらず設定作業を容易に行えるという利点が得られる。
【００１４】
さらにまた、第５の拡大観察装置はさらに、同一の試料を異なる照明フィルタを用いて撮像した少なくとも２つの観察像を合成する画像合成手段を備えることができる。これにより、例えば高解像度のモノクロ画像に、カラー画像を合成して、高解像度のカラー画像を合成する等、複数の観察像を合成した合成画像を取得できる。
【００１５】
さらにまた、第６の拡大観察装置は、画像合成手段で合成される少なくとも２つの観察像は、一の観察像が、照明光源が照射する光の波長域を略全域で透過する透過フィルタを用いて、光路シフト手段を作動させて各画素位置においてすべての撮像素子で撮像した白色波長域のカラー画像であり、他の観察像が、青色成分の波長域を透過させる青色フィルタを用いて、光路シフト手段を作動させて各画素位置において青色の撮像素子で撮像した青色波長域の高解像度観察像とできる。これにより、波長の短い青色波長の照明光にて撮像した高解像度の単一色観察像に、カラー画像を合成して、高解像度のカラー画像を取得することができる。
【００１６】
さらにまた、第７の拡大観察装置はさらに、画像合成手段で観察像を合成する際、フィルタ選択手段で青色フィルタを選択すると共に、光路シフト制御手段が光路シフト手段を作動させて、青色照明光に対応した青色の撮像素子を各画素位置において撮像し合成した青色波長域の高解像度観察像を得る動作と、フィルタ選択手段で透過フィルタを選択すると共に、光路シフト制御手段が光路シフト手段を作動させて、すべての撮像素子を各画素位置において撮像した白色波長域のカラー観察像を得る動作と、画像合成手段で、高解像度観察像にカラー観察像の色情報を合成して、カラーの高解像画像観察像を取得する動作とを自動で行う自動合成手段を備えることができる。これにより、カラーの高解像度合成観察像の取得作業を自動化でき、ユーザは照明光に応じた照明フィルタの選択や撮像素子の切り替え、光路シフト等の適切な選択や切り替え操作から解放され、操作の煩雑さや誤操作を解消できる。
【００１７】
さらにまた、第８の拡大観察装置は、撮像素子がベイヤー配列でマトリクス状に画素毎に配置されており、光路シフト手段が、隣接する２×２の画素位置にシフトさせるよう切り替えることができる。これにより、ベイヤー配列された異なる受光特性の撮像素子を、隣接する２×２の注目画素につき、一巡するように光路シフト手段でシフトさせて、２×２のすべての画素位置で受光信号を取得することができ、高解像度の観察像を得ることができる。
【００１８】
さらにまた、第９の拡大観察装置は、光路シフト手段が、注目画素群の内選択した撮像素子を画素間隔分移動させるアクチュエータを備えることができる。これにより、選択した撮像素子をピクセル単位で上下左右に移動させて複数回撮影を行うことができる。
【００１９】
さらにまた、第１０の拡大観察装置は、照明光源が、異なる波長域の発光素子を複数備えており、照明光選択手段を、照明光源の内で所望の波長域の発光素子を選択するための発光素子選択手段とすることができる。これにより、フィルタ等を使用することなく発光素子で直接所望の波長域の照明光を得ることができる。またＬＥＤ等の半導体発光素子を利用すれば、応答性に優れた低消費電力、長寿命であり、より安定した信頼性の高い拡大観察装置を得ることができる。
【００２０】
さらにまた、第１１の拡大観察方法は、異なる波長の受光特性を備える撮像素子が一定の画素間隔で隣接して配置された撮像手段を備える拡大観察装置を用いて、撮像対象の試料に照明光を照射し、該照明光の反射光又は透過光の受光量を撮像手段で検出して、試料の観察像を撮像する拡大観察方法であって、照明光の波長域の選択を促す工程と、少なくとも可視光の領域において所定の波長帯域のスペクトルを有する照明光用の照明光源からの光を、選択された波長域に従って切り替える工程と、切り替えられた波長域の照明光を試料に照射して得られる受光量を、撮像手段に配置される撮像素子の内、選択された波長域の照明光と対応する受光特性を備える撮像素子で撮像する工程と、撮像素子の画素間隔に相当する変位量分、撮像素子を相対的にシフトさせて、シフト後の異なる位置での受光量を撮像素子で検出する工程と、シフト及び受光量検出工程を、撮像素子と相互に隣接する３以上の注目画素群について、注目画素群の画素位置を一巡するように繰り返す工程と、注目画素群の各画素位置で検出された受光量を合成して、選択された波長域の照明光につき観察像を取得する工程と、を含むことができる。これにより、観察目的に応じた波長域の照明光を試料に照射し、観察像を高解像度で撮像できる。それは、選択された波長帯域の照明光に応じた撮像素子が、画素単位で受光信号を取得するように撮像素子をシフトさせているからである。この結果、照明光に応じた受光信号を画素単位で取得でき、高精細な観察像を撮像できるという優れた特徴が実現される。
【００２１】
さらにまた、第１２の拡大観察プログラムは、異なる波長の受光特性を備える撮像素子が一定の画素間隔で隣接して配置された撮像手段を備える拡大観察装置を操作して、撮像対象の試料に照明光を照射し、該照明光の反射光又は透過光の受光量を撮像手段で検出して、試料の観察像を撮像するための拡大観察プログラムであって、照明光の波長域の選択を促す機能と、少なくとも可視光の領域において所定の波長帯域のスペクトルを有する照明光用の照明光源が発する光を、選択された波長域に従って切り替える機能と、切り替えられた波長域の照明光を試料に照射して得られる受光量を、撮像手段に配置される撮像素子の内、選択された波長域の照明光と対応する受光特性を備える撮像素子で撮像する機能と、撮像素子の画素間隔に相当する変位量分、撮像素子を相対的にシフトさせて、シフト後の異なる位置での受光量を撮像素子で検出する機能と、シフト及び受光量検出機能を、撮像素子と相互に隣接する３以上の注目画素群について、注目画素群の画素位置を一巡するように繰り返す機能と、注目画素群の各画素位置で検出された受光量を合成して、選択された波長域の照明光につき観察像を取得する機能と、をコンピュータに実現させることができる。これにより、観察目的に応じた波長域の照明光を試料に照射し、観察像を高解像度で撮像できる。それは、選択された波長帯域の照明光に応じた撮像素子が、画素単位で受光信号を取得するように撮像素子をシフトさせているからである。この結果、照明光に応じた受光信号を画素単位で取得でき、高精細な観察像を撮像できるという優れた特徴が実現される。
【００２２】
さらにまた第１３のコンピュータで読み取り可能な記録媒体は、上記プログラムを格納したものである。記録媒体には、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷやフレキシブルディスク、磁気テープ、ＭＯ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ、ＤＶＤ＋Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、Ｂｌｕ−ｒａｙ、ＨＤ、ＤＶＤ（ＡＯＤ）等の磁気ディスク、光ディスク、光磁気ディスク、半導体メモリその他のプログラムを格納可能な媒体が含まれる。またプログラムには、上記記録媒体に格納されて配布されるものの他、インターネット等のネットワーク回線を通じてダウンロードによって配布される形態のものも含まれる。さらに記録媒体にはプログラムを記録可能な機器、例えば上記プログラムがソフトウェアやファームウェア等の形態で実行可能な状態に実装された汎用もしくは専用機器を含む。さらにまたプログラムに含まれる各処理や機能は、コンピュータで実行可能なプログラムソフトウエアにより実行してもよいし、各部の処理を所定のゲートアレイ（ＦＰＧＡ、ＡＳＩＣ）等のハードウエア、又はプログラムソフトウエアとハードウェアの一部の要素を実現する部分的ハードウエアモジュールとが混在する形式で実現してもよい。
【発明を実施するための最良の形態】
【００２３】
以下、本発明の実施の形態を図面に基づいて説明する。ただし、以下に示す実施の形態は、本発明の技術思想を具体化するための拡大観察装置、拡大画像観察方法、拡大画像観察プログラム及びコンピュータで読み取り可能な記録媒体を例示するものであって、本発明は拡大観察装置、拡大画像観察方法、拡大画像観察プログラム及びコンピュータで読み取り可能な記録媒体を以下のものに特定しない。また、本明細書は特許請求の範囲に示される部材を、実施の形態の部材に特定するものでは決してない。特に実施の形態に記載されている構成部品の寸法、材質、形状、その相対的配置等は特に特定的な記載がない限りは、本発明の範囲をそれのみに限定する趣旨ではなく、単なる説明例にすぎない。なお、各図面が示す部材の大きさや位置関係等は、説明を明確にするため誇張していることがある。さらに以下の説明において、同一の名称、符号については同一もしくは同質の部材を示しており、詳細説明を適宜省略する。さらに、本発明を構成する各要素は、複数の要素を同一の部材で構成して一の部材で複数の要素を兼用する態様としてもよいし、逆に一の部材の機能を複数の部材で分担して実現することもできる。また、一部の実施例、実施形態において説明された内容は、他の実施例、実施形態等に利用可能なものもある。
【００２４】
本発明の実施例において使用される拡大観察装置、拡大画像観察方法、拡大画像観察プログラム及びコンピュータで読み取り可能な記録媒体とこれに接続される操作、制御、表示、その他の処理等のためのコンピュータ、プリンタ、外部記憶装置その他の周辺機器との接続は、例えばＩＥＥＥ１３９４、ＲＳ−２３２ｘやＲＳ−４２２、ＵＳＢ等のシリアル接続、パラレル接続、あるいは１０ＢＡＳＥ−Ｔ、１００ＢＡＳＥ−ＴＸ、１０００ＢＡＳＥ−Ｔ等のネットワークを介して電気的、あるいは磁気的、光学的に接続して通信を行う。接続は有線を使った物理的な接続に限られず、ＩＥＥＥ８０２．ｘ等の無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）等の電波、赤外線、光通信等を利用した無線接続等でもよい。さらにデータの交換や設定の保存等を行うための記録媒体には、メモリカードや磁気ディスク、光ディスク、光磁気ディスク、半導体メモリ等が利用できる。なお本明細書において拡大観察装置とは、拡大観察装置本体のみならず、これにコンピュータ、外部記憶装置等の周辺機器を組み合わせた拡大観察システムも含む意味で使用する。
【００２５】
また、本明細書において拡大観察装置は、拡大観察を行うシステムそのもの、ならびに撮像に関連する入出力、表示、演算、通信その他の処理をハードウェア的に行う装置や方法に限定するものではない。ソフトウェア的に処理を実現する装置や方法も本発明の範囲内に包含する。例えば汎用の回路やコンピュータにソフトウェアやプログラム、プラグイン、オブジェクト、ライブラリ、アプレット、コンパイラ、モジュール、特定のプログラム上で動作するマクロ等を組み込んで撮像そのものあるいはこれに関連する処理を可能とした装置やシステムも、本発明の拡大観察装置に該当する。また本明細書においてコンピュータには、汎用あるいは専用の電子計算機の他、ワークステーション、端末、携帯型電子機器、ＰＤＣやＣＤＭＡ、Ｗ−ＣＤＭＡ、ＦＯＭＡ（登録商標）、ＧＳＭ、ＩＭＴ２０００や第４世代等の携帯電話、ＰＨＳ、ＰＤＡ、ページャ、スマートフォンその他の電子デバイスも包含する。さらに本明細書においてプログラムとは、単体で使用されるものに限られず、特定のコンピュータプログラムやソフトウェア、サービス等の一部として機能する態様や、必要時に呼び出されて機能する態様、ＯＳ等の環境においてサービスとして提供される態様、環境に常駐して動作する態様、バックグラウンドで動作する態様やその他の支援プログラムという位置付けで使用することもできる。
【００２６】
以下、図２から図３を用いて、本発明の一実施の形態に係る拡大観察装置１００を説明する。拡大観察装置１００は、図２に示すように観察対象の試料（又はワークその他の被写体）Ｓを照明するための照明手段６０と、照明手段６０により照明された試料Ｓを撮像する撮像部１０と、撮像部１０で撮像された拡大画像を表示する表示手段５２を有する本体部５０を備える。撮像部１０はヘッド部１５ととして、ケーブル部２４を介して本体部５０と接続される。さらに図２の拡大観察装置１００は、試料Ｓを固定する試料固定部として、試料Ｓを載置するステージ３０と、光学系１１を介して入射するステージ３０に固定された試料Ｓからの反射光又は透過光を電気的に読み取る撮像素子１２と、ステージ３０と光学系１１の光軸方向における相対距離を変化させ焦点を調整する焦点調整部としてステージ昇降器２０とを備える。さらにまた本体部５０は、図３に示すようにステージ昇降器２０によって焦点を調整したときのステージ３０と光学系１１の光軸方向における相対距離に関する焦点距離情報を、光軸方向とほぼ垂直な面内における試料Ｓの２次元位置情報と共に記憶する焦点距離情報記憶部としてメモリ５３と、撮像素子１２によって読み取られた画像を表示する表示手段５２と、ヘッド部１５およびステージ昇降器２０とデータを通信するためのインターフェイス５４とを備える。この拡大観察装置１００は、光学系１１を介して入射するステージ３０に固定された試料Ｓからの反射光又は透過光を電気的に読み取る撮像素子１２を用いて観察像を撮像し、表示手段５２に表示させる。
【００２７】
さらに拡大観察装置１００は、表示手段５２によって表示された画像上で領域を設定可能な領域設定部として操作部５５と、領域設定部によって設定された領域に対応する試料Ｓの一部又は全部に関するメモリ５３に記憶された焦点距離情報に基づいて、領域設定部によって設定された領域に対応する試料Ｓの光軸方向における高さを演算する制御部５１を備える。この拡大観察装置１００は、撮像素子１２を用いて指定された領域に対応する試料Ｓの光軸方向における平均高さ（深さ）を演算できる。
【００２８】
この制御部５１は、後述する光路シフト手段１４を作動させる光路シフト制御手段８１、複数の照明フィルタを用いて試料Ｓの同一の視野について撮像した複数の観察像を表示手段５２に同時に表示した状態から、一を選択可能な画像選択手段８２、画像選択手段８２で選択された観察像の撮像に使用された照明フィルタの種別を含む像観察条件を、撮像条件として設定する撮像条件設定手段８３、同一の試料Ｓを異なる照明フィルタを用いて撮像した少なくとも２つの観察像を合成する画像合成手段８５、画像合成手段８５で観察像を合成してカラーの高解像画像観察像を取得する動作を自動で行う自動合成手段８４、照明光源６３が発する光の波長帯域に含まれる複数の異なる波長域について、いずれかの波長域に選択的に切り替え可能な照明光選択手段９０等の機能を実現する。この制御部５１はＡＳＩＣやＦＰＧＡ等のゲートアレイ等で構成できる。
【００２９】
操作部５５は本体部５０又はコンピュータと有線もしくは無線で接続され、あるいはコンピュータに固定されている。一般的な操作部５５としては、例えばマウスやキーボード、スライドパッド、トラックポイント、タブレット、ジョイスティック、コンソール、ジョグダイヤル、デジタイザ、ライトペン、テンキー、タッチパッド、アキュポイント等の各種ポインティングデバイスが挙げられる。またこれらの操作部５５は、拡大観察用操作プログラムの操作の他、拡大観察装置１００自体やその周辺機器の操作にも利用できる。さらに、インターフェース画面を表示するディスプレイ自体にタッチスクリーンやタッチパネルを利用して、画面上をユーザが手で直接触れることにより入力や操作を可能としたり、又は音声入力その他の既存の入力手段を利用、あるいはこれらを併用することもできる。図２の例では、操作部５５はマウス等のポインティングデバイスで構成される。
（照明手段６０）
【００３０】
照明手段６０は、撮像素子１２に結像される試料Ｓを照明する照明光を生成する。照明手段６０の照明光源６３（図５）は、本体部５０に内蔵され、光ファイバ６１を介して照明光がヘッド部１５の照明手段６０に伝達される。照明手段６０は、ヘッド部１５に組み込み式としたり、ヘッド部１５と脱着可能な別体のいずれも採用できる。また照明光の照明方式としては、落射照明や透過照明等が適宜利用できる。図２に示す照明手段６０は、試料Ｓに落射光を照射するための落射照明６０Ａと、透過光を照射するための透過照明６０Ｂを備えている。これらの照明は、光ファイバー６１を介して本体部５０と接続される。本体部５０は光ファイバー６１を接続するコネクタ６２を備えると共に、コネクタ６２を介して光ファイバー６１に光を送出するための照明光源６３を内蔵する。また落射照明６０Ａはリング状照明としている。リング状照明は、全周照明と側射照明を切り替えることができる。これを実現するため、照明光の一部をカットするターレット式のマスクや、リング状照明として複数のＬＥＤを環状に配置し、一部のＬＥＤをＯＮ／ＯＦＦする構成等が利用できる。
（照明光源６３）
【００３１】
照明光源６３としては、幅広い波長域の白色光を発する白色光源として、ハロゲンランプ、キセノンランプ、ＨＩＤランプ等が利用できる。また可視光のみならず赤外光を照射可能な光源が好ましい。特にハロゲンランプは、発光波長の波長域が広いため好ましい。また、単一の光源を利用するのみならず、複数の光源を備え、これらを同時に点灯して混色光を照明光としたり、あるいは切り替えて照明することもできる。さらにＬＥＤ（Light Emitting Diode）やＬＤ（Laser Diode）といった半導体発光素子を照明光源として利用することもできる。例えば、ＲＧＢの波長域を有するＬＥＤを用意し、各ＬＥＤの点灯により照明光を赤、緑、青色にそれぞれ切り替えたり、これらの混色によって白色光を得ることができる。特にＬＥＤはＯＮ／ＯＦＦ応答性に優れるため、測定のスループットを向上できる利点も得られる。また長寿命で低消費電力であり、発熱量も少なく、機械的衝撃に強いといった特長も備える。あるいは、光源光の紫外線や可視光線で励起される蛍光体等の波長変換部材を利用した光源とすることもできる。これにより、１個のＬＥＤでも白色光を発光できる。さらに、可視光以外に紫外光や赤外光を照射可能なＬＥＤを光源として用いることもできる。例えば赤外光による観察は、不良品の解析や生体組織の組織分布等において有用である。
（ＬＥＤ照明）
【００３２】
図１２にこのような照明光源６３’の例として、緑色、赤色、青色、白色に発光可能なＬＥＤ、Ｇ、Ｒ、Ｂ、Ｗを順に配列した環状のリング状照明６０Ａ’の例を示す。このリング状照明６０Ａ’は、図２に示すように光学系１１および撮像素子１２を有するヘッド部１５の先端近傍の周囲に配置されて、試料Ｓを照明する。またこの照明光源６３’は、照明光を選択する照明光選択手段９０として発光素子選択手段９１と電気的に接続されており、発光素子選択手段９１によりＬＥＤの選択及び点灯が制御される。すなわち、照明光として緑色を選択した場合は、緑色ＬＥＤ、Ｇのみを点灯させ、また赤色、青色、白色の照明光が選択された場合は、各照明光に該当するＬＥＤ、Ｒ、Ｂ、Ｗが選択されて点灯制御される。このように異なる発光色のＬＥＤで構成した照明光源は、発光色の変更を容易に行える利点が得られる。
【００３３】
なおこの例ではＬＥＤとして緑色Ｇ、赤色Ｒ、青色Ｂ、白色Ｗの４種類が一定周期で交互に並ぶように配置しているが、配置パターンや個数、発光色の組み合わせ等は適宜変更できることはいうまでもない。例えば、緑色ＬＥＤの出力を上げたい場合は緑色ＬＥＤをより多く配置したり、あるいはＲＧＢの同時点灯で白色光を得る場合は、白色ＬＥＤを排除できる。またＲＧＢの混色によって白色光に限られず種々の発光色を得ることができる。またフィルタを使用しないためフィルタの切り替えといった機械的な動作を不要とでき、電気信号のみでの安定した高速な照明光切り替えが実現される。またＬＥＤは長寿命であるため、電球の交換等のメンテナンス作業も省力化できる。さらに、半導体発光素子はバルブに比べ小型であるため、複数種類の発光素子を省スペースで配置できる利点もある。例えば赤外光発光素子や紫外光発光素子も備えることで、照明光を可視光のみならず赤外光、紫外光等に切り替えることが容易に行える。このようにして、異なる波長域の発光素子を複数備える照明光源を照明光選択手段９０で制御し、所望の波長域の発光素子を選択して点灯し照明光を照射することができる。
（フィルタ手段８６；フィルタ選択手段８８）
【００３４】
照明光源６３と試料固定部との間には、照明光選択手段９０の一形態としてフィルタ手段８６が配置される。照明手段６０は、照明光源６３からの白色光を、フィルタ手段８６を介してＲＧＢあるいは白色光を照明光として取り出すことができる。フィルタ手段８６は複数の照明フィルタを備えており、フィルタ選択手段８８によってこれらを切り替える。例えば、図４に示すように、回転式のターレットに赤色フィルタＲＦ、青色フィルタＢＦ、緑色フィルタＧＦ、及び透過フィルタＰＦの各照明フィルタを設け、ターレットの回転によって機械的にこれらを切り替える。透過フィルタＰＦは照明光源６３が照射する光の波長をすべて透過するものであり、典型的には開口である。青色フィルタＢＦ、赤色フィルタＲＦ、緑色フィルタＧＦは、それぞれの色に対応する波長域を透過するカラーフィルタであり、透過する波長域を規定したガラス等が利用できる。またカラーフィルタは、ＲＧＢ３原色の他、これらの補色（例えばシアン・マゼンダ・イエロー）を適宜利用することもできる。その他、フィルタとして紫外光や赤外光を透過させるフィルタを利用することもできる。フィルタ選択手段８８は、図５に示すようにターレットを回転させることで照明フィルタを切り替えることができる。ターレットはフィルタ回転モータ８９の回転軸に固定されて、フィルタ回転モータ８９により回転自在に制御される。またターレットには、フィルタ位置センサ８７が備えられており、フィルタ位置センサ８７の出力及びフィルタ回転モータ８９の回転制御入力はフィルタ選択手段８８に接続される。これによりフィルタ選択手段８８は現在選択中の照明フィルタの種別を判別でき、またフィルタ回転モータ８９を回転させることでターレットを所望の姿勢に回転でき、照明光源６３の光軸に対し選択した照明フィルタを配置できる。ユーザはフィルタ選択手段８８で照明フィルタを選択することで、所望の波長の照明光を照射できる。
【００３５】
なお、照明フィルタの配置は、試料Ｓの透過光を観察する場合は照明光源６３と試料Ｓとの間に配置し、試料Ｓの反射光もしくは励起光を観察する場合は、照明光源６３と試料Ｓの間に配置するか、もしくは対物レンズと接眼レンズ又は撮像素子の間に配置する。加えてフィルタ手段８６には、カラーフィルタ以外に、拡散フィルタ、偏光フィルタ等を備えることもできる。このようにフィルタ手段８６は、フィルタを切り替えることで照明光の波長のみならず、強度、偏光状態等の特性を変化させることができる。また、フィルタを２段あるいは３段以上の複数構成とすることで、波長と強度、偏光状態等複数の特性を変化させることもできる。
【００３６】
あるいは、ターレット式の照明フィルタに代わって、液晶ＲＧＢフィルタを用いて印加電圧によってＲ、Ｇ、Ｂと透過分光特性をスイッチング、若しくは透過を切り替えることもできる。この場合、フィルタ選択手段８８は液晶ＲＧＢフィルタの印加電圧を制御して、照明光を選択できる。さらには、照明光源としてハロゲンランプ等の白色光に代わり、ＬＥＤやＬＤ等の半導体発光素子を使用することもできる。例えば、ＲＧＢのＬＥＤを用意し、各ＬＥＤを点灯させることで、照明光をＲＧＢに切り替えでき、さらにＲＧＢを同時に点灯させることで混色により白色光を得ることができる。またＲＧＢ３原色に限られず、その補色を利用することも可能である点は上述の通りである。
（撮像部１０）
【００３７】
撮像部１０は、照明手段６０により照明された観察対象の試料Ｓから、光学系１１を介して入射する反射光を電気的に読み取る撮像素子１２を備える。撮像素子１２は、この例ではＣＭＯＳを利用しているが、ＣＣＤ等、他の受光素子も利用できる。この撮像素子１２は、照明光源６３からフィルタ手段８６を介して試料Ｓに照射された照明光に対する受光量の内、特定の波長について受光可能な単板の撮像素子を、異なる波長域に対応させた複数種類用意し、画素毎に一素子を配列した２次元カラー撮像素子であり、これによりカラー画像の撮像が可能となる。各撮像素子は、一定の画素間隔で配置しており、さらに隣接する画素同士が異なる波長の受光特性を備えるよう配置される。好ましくは、２次元カラー撮像素子は図１に示すようなベイヤー配列とする。撮像素子１２で取得された画像は、必要に応じてメモリ５３に保持される。なお、照明光の波長域に対応する撮像素子とは、照明光の波長域に対して感度の高い撮像素子であり、例えば照明光が赤色の場合は、赤色光の波長域に受光感度の高い撮像素子を指す。また撮像素子として照明光の補色を利用している場合は、該当する補色の領域に受光感度の高い撮像素子を指し、例えば赤色の照明光に対して赤色の補色である緑色領域に受光感度を有する撮像素子が該当する。
（光路シフト手段１４）
【００３８】
さらに拡大観察装置１００は、撮像素子１２の検出位置を相対的にシフトさせるための光路シフト手段１４と、光路シフト手段１４を作動させる光路シフト制御手段８１とを備えている。具体的には、３以上の注目画素群について、注目画素群を構成する各撮像素子の画素の位置で受光信号が一巡して受光量が各々の位置で検出されるよう、撮像素子の画素間隔に相当する変位量分、注目画素群を構成するいずれかの撮像素子の検出位置を光路シフト手段１４で相対的にシフトさせる。
（光路シフト制御手段８１）
【００３９】
一方光路シフト制御手段８１は、フィルタ選択手段８８で選択された照明フィルタを介して所定波長の照明光が試料Ｓに照射される際、複数の撮像素子の内、該波長域に対応する撮像素子で受光量を検出するように、光路シフト手段１４を作動させる。これにより、照明フィルタと撮像素子の選択及び画素ずらしを連動させることが可能となり、ユーザは面倒な切り替えや照明光とこれに応じた照明フィルタ、撮像素子の選択の組み合わせを意識することなく、高解像度の観察像を簡単に取得できる。
【００４０】
図３の例では、撮像部１０に光路シフト手段１４が備えられており、画素ずらしによってＣＭＯＳの持つ解像度以上の高解像度を得ることができる。画素ずらしとは、例えば単板タイプについて特許文献２や、３板タイプについて特許文献３に記載されるように、圧電素子等を用いることにより、隣接する素子と素子（画素）との間の空間に、素子を物理的にシフトさせるピクセルシフトにより、例えば画素ピッチの半分だけ試料Ｓをずらして撮影した画像と、ずらす前の画像とを合成することにより高解像度化を図るものである。また１画素ピッチ分ずらして各画素でＲＧＢのデータを取得することにより、色再現性も向上される。代表的な画像ずらしの機構としては、撮像素子１２をアクチュエータＡＣ等により移動させる撮像素子駆動方式、ＬＰＦを傾斜させるＬＰＦ傾斜方式、レンズを移動させるレンズ移動方式等がある。
【００４１】
画素ずらし機能を実行すると、図１に示すように、撮像素子がベイヤー配列でマトリクス状に画素毎に配置された状態において、光路シフト手段１４は図６に示すように、隣接する２×２の画素位置にシフトさせるよう切り替えることができる。これにより、ベイヤー配列された異なる受光特性の撮像素子を、隣接する２×２の注目画素につき、一巡するように光路シフト手段１４でシフトさせて、２×２のすべての画素位置で受光信号を取得することができ、高解像度の観察像を得ることができる。なお、光路シフト手段１４で撮像素子を相対的にシフトさせるシフト量は、図６の例では撮像素子の画素間隔に相当する変位量分として、反時計回りに４回、計４画素分移動させているが、上下、左右等隣接する２画素のみ、あるいは３画素分だけ移動させることもできる。また、移動量は撮像素子の１画素分に限られず、１／２画素分や１／３画素分等とすることもできる。撮像素子を構成する各画素の受光感度のピーク位置やレンジに応じて移動量を調整することで、１画素分以下の移動量でも受光量を向上できるので、高解像度化を図ることができる。このように、撮像素子の画素間隔に相当する変位量分とは、画素ピッチと同等もしくはその整数倍に限られず、１／２画素分や１／３画素分といった分数倍も含まれる。
（表示手段５２）
【００４２】
またこのような画像データやメモリ５３に保持された設定内容は、表示手段５２にて表示させることができる。表示手段５２はＣＲＴや液晶ディスプレイ、有機ＥＬ等のモニタが利用できる。また、制御部５１に対して、ユーザが各種操作を行うための操作部５５を接続している。操作部５５はコンソールやマウス等の入力デバイスである。なおこの例においても表示手段や操作部は、本体部と一体的に組み込むことも、外付けの部材とすることもできる。さらに表示手段をタッチパネルで構成すれば、表示手段と操作部を一体に構成することもできる。
【００４３】
本体部５０は、モータ制御回路２２に対してステッピングモータ２１の制御に関する制御データを入力することによって、試料固定部であるステージ３０と、光学系１１および撮像素子１２を有するヘッド部１５との光軸方向における相対距離、ここではｚ方向における高さを変化させる。具体的には、本体部５０は、ステージ昇降器２０の制御に必要な制御データをモータ制御回路２２に入力することによってステッピングモータ２１の回転を制御し、ステージ３０の高さｚ（ｚ方向の位置）を昇降させる。ステッピングモータ２１は、回転に応じた回転信号を生成する。本体部５０は、モータ制御回路２２を介して入力される回転信号に基づいて、試料固定部と光学系１１の光軸方向における相対距離に関する情報としてのステージ３０の高さｚを記憶する。このステージ３０は、試料Ｓに対して観察位置の位置決めを行う観察位置決め手段として機能する。なお本実施の形態においては、ステージ３０の高さを変化させることによって試料固定部と光学系１１の光軸方向における相対距離を変化させる例を示したが、ステージを固定して光学系の高さ、例えばカメラの高さを変化させてもよい。また、ステージは拡大観察装置本体に設ける他、本体と別部材としたヘッド部に設けたり、あるいはステージを省略した撮像部をヘッド部に設けることもできる。ステージを省略した撮像部は、取り付けスタンドに装着したり、ユーザが手持ち可能とすることもできる。このようなヘッド部は拡大観察装置本体とケーブルにより接続される。
【００４４】
撮像素子１２は、ｘ方向およびｙ方向に２次元状に配置された画素毎に受光量を電気的に読み取ることができる。撮像素子１２上に結像された試料Ｓの像は、撮像素子１２の各画素において受光量に応じて電気信号に変換され、撮像素子制御回路１３においてさらにデジタルデータに変換される。本体部５０は、撮像素子制御回路１３において変換されたデジタルデータを受光データＤとして、光軸方向（図３中のｚ方向）とほぼ垂直な面内（図３中のｘ、ｙ方向）における試料Ｓの２次元位置情報としての画素の配置情報（ｘ、ｙ）と共にメモリ５３に記憶する。ここで、光軸方向とほぼ垂直な面内とは、厳密に光軸に対して９０°をなす面である必要はなく、その光学系および撮像素子における解像度において試料Ｓの形状を認識できる程度の傾きの範囲内にある観察面であればよい。
【００４５】
また、以上の説明では試料固定部の一例として、試料Ｓがステージ３０に載置される例を示したが、例えばステージの代わりにアームを取り付け、その先端に試料Ｓを固定する構成とすることもできる。さらにヘッド部１５は、カメラ取り付け部４３に装着して使用する他、脱着可能として手持ち等の方法により所望の位置、角度に配置することもできる。
（制御部５１）
【００４６】
制御部５１は、撮像した観察画像を、表示手段５２で表示可能な解像度に変換して表示するよう制御する。図２の拡大観察装置１００においては、撮像部１０が撮像素子１２によって試料Ｓを撮像した観察画像を表示手段５２に表示する。一般にＣＭＯＳやＣＣＤ等の撮像素子の性能は、表示手段での表示能力を上回ることが多いので、撮像した観察画像を一画面に表示するためには画像を間引く等して解像度を一画面で表示可能なサイズまで落とし、縮小表示している。撮像部１０で読み取ったときの読取解像度を第一の解像度とすると、表示手段５２においては第一の解像度よりも低い第二の解像度で表示されることとなる。
【００４７】
さらに、観察像の静止画を連続的に撮像し、これを表示手段５２で表示する際にも、連続的に撮像画像を切り替えて表示することで、あたかも動画のように表示させてもよい。このような連続撮影モードは、制御部５１によって通常の静止画像の撮影、表示モードと切り替えることができる。またこのような連続撮影に際しても、画素ずらし機能を働かせることもできる。
（拡大観察装置操作プログラム）
【００４８】
図７に観察条件設定画面の一例として、照明条件選択画面２００を示す。この図は拡大観察装置１００を操作するための拡大観察装置操作プログラムのユーザインターフェース画面であり、操作画面は、拡大観察装置１００の表示手段５２や外部接続されたコンピュータ７０のモニタ上に表示できる。ユーザは表示された画面上から、拡大観察装置１００の各種設定や操作を行う。拡大観察装置操作プログラムは、本体部５０に組み込まれている。
（照明光切り替えの手順）
【００４９】
図７に示す照明条件選択画面２００では、照明光を切り替えることができる。具体的には、「波長切替」ボタンを押すと、波長帯域を選択するダイアログが現れる。ここではプルダウンメニュー形式で、青色照明、緑色照明、赤色照明、赤外照明、高解像度カラー画像取得、赤外＋カラー画像取得のいずれかを選択できる。照明手段６０には複数の照明フィルタが用意されており、ここで選択した波長に応じて、図５に示すようにカラーフィルタが切り替わる。ここでは、照明光として白色光以外を選択した場合、画像を表示させる際、あるいは静止画を保存する際に常時画素ずらし機能が働くように設定されている。このような画素ずらしによって、解像感を損なうことなく単色の観察像を取得できる。
（撮像条件選択画面３００）
【００５０】
さらに、本実施の形態では照明光を変化させた観察が簡便に行えることから、試料Ｓの同一視野に対して、複数の異なる照明光で取得した画像を並べて撮像条件選択画面３００として表示し、ユーザが所望の画像を選択することで、選択した画像に設定された観察条件（照明光や照明フィルタ、撮像素子の選択等）に決定する観察条件のイージー設定機能も実現できる。撮像条件選択画面３００の例としては、図８に示すように照明光を白色光、赤色光、緑色光、青色光としてそれぞれ撮像した観察像を、表示手段５２を４分割して一覧表示したものが利用できる。ユーザはこの撮像条件選択画面３００を画像選択手段８２として、実際に得られた種々の観察像を対比しながら、所望の観察像を画面上から選択すると、選択された画像の撮像に用いた照明フィルタ、撮像素子１２の組み合わせが読み出され、以降の観察においてこの条件が像観察条件として撮像条件設定手段８３により自動的に設定される。また、撮像条件選択画面３００で取得する観察像は、通常の観察像とする他、例えばフレームレートを落とす等してより短時間で簡易的に撮像した簡易観察像とすることもできる。簡易観察像を取得するための簡易撮像条件は、演算手段の撮像条件設定手段８３が自動的に設定する。このようにして各観察像の撮像時間を短縮することで、複数枚の簡易観察像を短時間で取得できる。ここでは、「プレビュー機能」ボタン（図示せず）を押下することで、すべての照明フィルタを用いた簡易観察像を各々取得し、自動的に撮像条件選択画面３００を表示する。これにより、ユーザは複数の照明フィルタの切り替え操作や観察像の取得、保存等の操作を行うことなく、短時間で像観察条件の異なる複数の観察像を取得でき、しかも実際に得られた画像イメージに基づいて感覚的に像観察条件を選択できるので、複数のパラメータの意味や相関、調整作業等に煩わされることなく、容易に所望の観察を行うことができる。なお図８の例では、照明光のみを変化させた例を示しているが、フレームレートや画素ずらしの有無等、その他の像観察条件を変更した撮像条件選択画面を構成することもできる。
（画像合成手段８５）
【００５１】
さらに画像合成手段８５を用いて、高分解能のカラー画像を取得することもできる。短波長の照明光で観察を行えば、分解能の高い画像が得られる。この性質を利用して、青色の照明光を用い、かつ画素ずらしを行うことによって、図９に示すような高分解能の単色画像を得ることができる。特に照明光の波長域を制限することで色収差の影響を抑制でき、これによって分解能を一層向上させる効果が得られる。ただしこの画像には青色の情報しかなく、フルカラー画像ではない。そこで、別途白色の照明光を用いたフルカラー画像を取得し（図１０）、画像合成手段８５で単色画像の輝度情報にフルカラー画像の色情報（色度、彩度）を重ね合わせることにより、図１１に示すような分解能の高いカラー画像を得ることができる。すなわち、単板の撮像素子の内、波長の短い照明光を撮像可能な撮像素子、具体的には青色用の撮像素子を用いてモノクロの高解像度画像を撮像し、別途撮影したカラーの観察像と合成することで、高解像度のモノクロ観察像に色情報を加えて、カラーの高解像度観察像を得ることができる。
【００５２】
従来の拡大観察装置では、一画素で検出できる色情報が単一であるため、カラー画像を得るためには、（１）各画素において検出できない色情報について、周囲に隣接する（該検出できない色情報を検出できる）画素の色情報に基づいて、色情報を予測したり、（２）いわゆる３ＣＣＤ等の３板タイプの撮像素子を用いる等の必要があった。
【００５３】
これに対し、上記の画像合成手段８５による合成方法では、（１）の予測によるカラー化よりも分解能が高く、試料のエッジが鋭く現れるカラー画像が得られ、また（２）の３ＣＣＤよりも安価に構成できる。さらに３ＣＣＤに比べ撮像素子すなわちカメラのサイズも小さくできる。また画素ずらしは１画素分だけ画素をずらす他、１／２や１／３画素分だけずらすことも可能であり、同じ画素数の３ＣＣＤに比べてより高解像度の画像を取得できる利点も得られる。さらに、ＲＧＢ各波長毎に画素ずらしを行う必要が無く、波長の短い高解像度の画像につき１回画素ずらしを行い、通常の白色光によるカラー画像を撮像して合成するのみで足りるため、短時間で高解像度のカラー画像を合成できるという利点も得られる。
（自動合成手段８４）
【００５４】
さらに、この一連の画像取得し、画像を合成する工程を、ユーザが手動で行うことなく、自動合成手段８４で自動的に行わせることもできる。これにより、ユーザは高解像度のカラー画像を簡単に取得できるようになり、高精細な観察が実現される。自動合成手段８４で合成画像を自動的に取得する手順は、ユーザが図７に示す拡大観察装置操作プログラムの操作画面上から、「高解像度カラー画像取得」ボタンを押下すると、自動合成手段８４が、（１）フィルタ選択手段８８に対して青色フィルタＢＦを選択する指示を送ると共に、光路シフト制御手段８１に光路シフト手段１４を作動させて、青色の撮像素子を各画素位置において撮像し合成した青色波長域の高解像度観察像を得る動作；
（２）フィルタ選択手段８８に対して透過フィルタＰＦを選択する指示を送ると共に、光路シフト制御手段８１に光路シフト手段１４を作動させて、すべての撮像素子を各画素位置において撮像した白色波長域のカラー観察像を得る動作；
（３）画像合成手段８５で、高解像度観察像にカラー観察像の色情報を合成して、カラーの高解像画像観察像を合成させる動作
を自動で行わせる。これにより、カラーの高解像度画像を、ほぼワンタッチで取得でき、ユーザの使い勝手は極めて高い。なお、上記（１）、（２）の動作は、いずれを先に行ってもよい。すなわち、先に白色光でカラー画像を撮像した後、青色高解像画像を撮像して合成することでも、同様の結果を得ることができる。また、上記の例では青色照明光を使用して高解像度画像を撮像したが、観察用途に応じて、緑色、赤色照明光と白色光とを合成することもできる。赤色光や緑色光の照明による観察像は、寸法計測用途でのエッジ検出等において有益である。例えば着色された反射率の低いワークのエッジ部分を強調して、エッジ検出を容易にできる。またこれらの色に限られず、用途に応じて種々の照明光が利用でき、例えば照明光を黄色にすれば、感光に敏感なイエロールームでの画像測定が可能となる。さらに、青色光、緑色光、赤色光で各々撮像した単色画像を合成することでも、高解像度のカラー画像を取得できる。この場合は、３枚の観察像を取得するため、撮像時間が長くかかる一方、ＲＧＢそれぞれの波長成分につき輝度信号を取得できるため、より鮮明な画像を取得できる利点が得られる。
（拡大観察装置の使用方法）
【００５５】
以上の拡大観察装置１００を用いて、解像度の高い鮮明な観察像を撮像し、表示手段５２に表示させて観察することができる。ユーザは目的に応じて選択した特定波長域の光を試料に対して照射する。例えば解像度を向上させる用途においては波長の短い青色照明、透過率を向上させる用途においては波長の長い赤色照明、可視光を透過しない試料の内部を観察する用途においては赤外照明等である。また赤外照明と白色光照明を組み合わせることで、試料の内部と外部を同時に観察することができる。例えば観察対象の試料がＩＣチップの場合、赤外線の効果によりシリコン内部に存在する構造物を確認できる一方で、白色光によりチップ表面上にマーキングされている番号等の文字情報を認識できる。このように赤外光を併用すれば、試料の内部と外部の両方を観察できる利点が得られる。
【００５６】
これら照明光の組み合わせは、フィルタ選択手段８８を用いて、光源光に対して適切な照明フィルタをフィルタ手段８６から選択する。画像撮影時には、ユーザがフィルタ選択手段８８で選択した照明光に対し、撮像素子において最も感度の高いカラーフィルタの画素情報のみを撮像素子制御回路１３が選択して観察像を取得する。さらに画素ずらし機能によって、光路シフト手段１４として２次元カラー撮像素子に微細なアクチュエータＡＣを連結させ、図６に示すように、選択した素子を光路シフト手段１４がピクセル単位で上下左右に移動させて複数回撮影を行う。このようにして得られた画素情報を元に全体の画像情報を再構築することで、高解像度の単一色（モノクロ）画像が得られる。このように、ユーザが選択した照射光の波長に応じてＲ・Ｇ・Ｂ３色のうちから最適な画素情報を選択的に利用した高画質の画像を作成することができる。例えば、図７に示す拡大観察装置の操作画面上からユーザが照射光として青色光を選択した場合には、最も感度の高い撮像素子の画素は青色カラーフィルタの画素である。そこで、赤、緑の画素情報は無視して、画素ずらし機能を用いることによって青の色情報だけで画像を作成する。これによって、通常のカラー撮像素子を用いたカメラを利用しながら、照明条件によってカメラの解像度と感度を損なうことなく、最適な観察画像を取得することが可能となる。
【産業上の利用可能性】
【００５７】
本発明の拡大観察装置、拡大画像観察方法、拡大画像観察プログラム及びコンピュータで読み取り可能な記録媒体は、顕微鏡や反射、透過型等のデジタルマイクロスコープ、デジタルカメラに好適に利用できる。また、本技術を蛍光顕微鏡に適用する場合、照明光に対する試料からの反射光若しくは透過光は、励起光として読み替えることができる。
【図面の簡単な説明】
【００５８】
【図１】異なる色の撮像素子がベイヤー配列される状態を示す平面図である。
【図２】本発明の一実施の形態に係る拡大観察装置の外観図である。
【図３】本発明の一実施の形態に係る拡大観察装置のブロック図である。
【図４】照明フィルタを備える回転式のターレットを示す平面図である。
【図５】図４のターレットを回転させる様子を示す斜視図である。
【図６】注目画素群について、各撮像素子の画素の位置を一巡して受光量を検出するよう、光路シフト手段で撮像素子の検出位置を相対的にシフトさせる様子を示す平面図である。
【図７】照明条件選択画面の例を示すイメージ図である。
【図８】撮像条件選択画面の例を示すイメージ図である。
【図９】青色照明光で撮像した高分解能の観察像を示すイメージ図である。
【図１０】白色照明光で撮像したカラーの観察像を示すイメージ図である。
【図１１】図９及び図１０を合成した合成画像を示すイメージ図である。
【図１２】照明光源の一例を示す模式断面図である。
【符号の説明】
【００５９】
１００…拡大観察装置
１０…撮像部
１１…光学系
１２…撮像素子；１３…撮像素子制御回路
１４…光路シフト手段；１５…ヘッド部
２０…ステージ昇降器；２１…ステッピングモータ；２２…モータ制御回路
２４…ケーブル部
３０…ステージ
４３…カメラ取り付け部
５０…本体部；５１…制御部；５２…表示手段
５３…メモリ；５４…インターフェイス；５５…操作部
６０…照明部；６０Ａ…落射照明；６０Ｂ…透過照明；６０Ａ’…リング状照明
６１…光ファイバー；６２…コネクタ；６３、６３’…照明光源
７０…コンピュータ
８１…光路シフト制御手段
８２…画像選択手段
８３…撮像条件設定手段
８４…自動合成手段
８５…画像合成手段
８６…フィルタ手段
８７…フィルタ位置センサ
８８…フィルタ選択手段
８９…フィルタ回転モータ
９０…照明光選択手段
９１…発光素子選択手段
２００…照明条件選択画面
３００…撮像条件選択画面
Ｓ…試料
ＡＣ…アクチュエータ
ＲＦ…赤色フィルタ；ＢＦ…青色フィルタ；ＧＦ…緑色フィルタ；ＰＦ…透過フィルタ
Ｒ…赤色ＬＥＤ；Ｇ…緑色ＬＥＤ；；Ｂ…青色ＬＥＤ；Ｗ…白色ＬＥＤ
【特許請求の範囲】
【請求項１】
カラー画像を得るためのカラー撮像素子と、
該カラー撮像素子から得られるカラー画像の色情報と、該カラー撮像素子からの画素情報のうち波長の短い色に対応する画素情報により得られるモノクロ画像の輝度情報とを合成してカラー観察像を得る合成手段と、を備えることを特徴とする拡大観察装置。
【請求項２】
上記カラー撮像素子は、赤色カラーフィルタの画素と、緑色カラーフィルタの画素と、青色カラーフィルタの画素とを有し、上記モノクロ画像は、上記青色カラーフィルタの画素のる画素情報により得られることを特徴とする請求項１に記載の拡大観察装置。
【請求項３】
上記拡大観察装置は、さらに、
上記カラー撮像素子の検出位置を相対的にシフトさせるための光路シフト手段と、
該光路シフト手段により上記カラー撮像素子の検出位置を相対的に所定の画素ピッチ分シフトさせ、上記カラー撮像素子からの画素情報のうち波長の短い色に対応する画素情報により得られるモノクロ画像と、シフト前のモノクロ画像とを合成して高解像度のモノクロ画像を得る光路シフト制御手段と、を備え、
上記合成手段は、上記カラー像観察像を得るために合成するモノクロ画像として、上記光路シフト制御手段により得られる高解像度のモノクロ画像を用いることを特徴とする請求項１又は２に記載の拡大観察装置。
【請求項４】
上記拡大観察装置は、さらに、
ＬＥＤ光源と、該ＬＥＤ光源により励起される波長変換部材とを有し、上記カラー撮像素子の撮像領域を照射するための白色光源を備えることを特徴とする請求項１〜３のいずれか一に記載の拡大観察装置。
【請求項５】
カラー画像を得るためのカラー撮像素子を備える拡大観察装置を用いて、試料のカラー観察像を得る拡大観察方法であって、
該カラー撮像素子から得られるカラー画像の色情報と、該カラー撮像素子からの画素情報のうち波長の短い色に対応する画素情報により得られるモノクロ画像の輝度情報とを合成してカラー観察像を得る合成工程と、
を含むことを特徴とする拡大観察方法。
【請求項６】
カラー画像を得るためのカラー撮像素子を備える拡大観察装置を操作して、試料のカラー観察像を得るための拡大観察プログラムであって、
該カラー撮像素子から得られるカラー画像の色情報と、該カラー撮像素子からの画素情報のうち波長の短い色に対応する画素情報により得られるモノクロ画像の輝度情報とを合成してカラー観察像を得る合成機能をコンピュータに実現させることを特徴とする拡大観察プログラム。
【請求項１】
カラー画像を得るためのカラー撮像素子と、
該カラー撮像素子から得られるカラー画像の色情報と、該カラー撮像素子からの画素情報のうち波長の短い色に対応する画素情報により得られるモノクロ画像の輝度情報とを合成してカラー観察像を得る合成手段と、を備えることを特徴とする拡大観察装置。
【請求項２】
上記カラー撮像素子は、赤色カラーフィルタの画素と、緑色カラーフィルタの画素と、青色カラーフィルタの画素とを有し、上記モノクロ画像は、上記青色カラーフィルタの画素のる画素情報により得られることを特徴とする請求項１に記載の拡大観察装置。
【請求項３】
上記拡大観察装置は、さらに、
上記カラー撮像素子の検出位置を相対的にシフトさせるための光路シフト手段と、
該光路シフト手段により上記カラー撮像素子の検出位置を相対的に所定の画素ピッチ分シフトさせ、上記カラー撮像素子からの画素情報のうち波長の短い色に対応する画素情報により得られるモノクロ画像と、シフト前のモノクロ画像とを合成して高解像度のモノクロ画像を得る光路シフト制御手段と、を備え、
上記合成手段は、上記カラー像観察像を得るために合成するモノクロ画像として、上記光路シフト制御手段により得られる高解像度のモノクロ画像を用いることを特徴とする請求項１又は２に記載の拡大観察装置。
【請求項４】
上記拡大観察装置は、さらに、
ＬＥＤ光源と、該ＬＥＤ光源により励起される波長変換部材とを有し、上記カラー撮像素子の撮像領域を照射するための白色光源を備えることを特徴とする請求項１〜３のいずれか一に記載の拡大観察装置。
【請求項５】
カラー画像を得るためのカラー撮像素子を備える拡大観察装置を用いて、試料のカラー観察像を得る拡大観察方法であって、
該カラー撮像素子から得られるカラー画像の色情報と、該カラー撮像素子からの画素情報のうち波長の短い色に対応する画素情報により得られるモノクロ画像の輝度情報とを合成してカラー観察像を得る合成工程と、
を含むことを特徴とする拡大観察方法。
【請求項６】
カラー画像を得るためのカラー撮像素子を備える拡大観察装置を操作して、試料のカラー観察像を得るための拡大観察プログラムであって、
該カラー撮像素子から得られるカラー画像の色情報と、該カラー撮像素子からの画素情報のうち波長の短い色に対応する画素情報により得られるモノクロ画像の輝度情報とを合成してカラー観察像を得る合成機能をコンピュータに実現させることを特徴とする拡大観察プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図１２】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図１２】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１２−２３０４０１（Ｐ２０１２−２３０４０１Ａ）
【公開日】平成２４年１１月２２日（２０１２．１１．２２）
【国際特許分類】
【出願番号】特願２０１２−１４２６８９（Ｐ２０１２−１４２６８９）
【出願日】平成２４年６月２６日（２０１２．６．２６）
【分割の表示】特願２００７−３０５１１４（Ｐ２００７−３０５１１４）の分割
【原出願日】平成１９年１１月２６日（２００７．１１．２６）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．Ｂｌｕ−ｒａｙ
２．ＧＳＭ
【出願人】（０００１２９２５３）株式会社キーエンス (681)
【Ｆターム（参考）】
【公開日】平成２４年１１月２２日（２０１２．１１．２２）
【国際特許分類】
【出願日】平成２４年６月２６日（２０１２．６．２６）
【分割の表示】特願２００７−３０５１１４（Ｐ２００７−３０５１１４）の分割
【原出願日】平成１９年１１月２６日（２００７．１１．２６）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．Ｂｌｕ−ｒａｙ
２．ＧＳＭ
【出願人】（０００１２９２５３）株式会社キーエンス (681)
【Ｆターム（参考）】
[ Back to top ]