画像処理装置および方法
【課題】簡便に、観察対象物の３次元観察を行うことができるようにする。
【解決手段】画像取得部３１１は、観察対象物を拡大観察する実体顕微鏡の左右眼光路上に配置された撮像素子により撮影された左右一対の観察画像を取得し、奥行き量演算部３１２は、それらの左右一対の観察画像の対応する各位置における奥行き量を演算し、３次元モデル生成部３１３は、対応する各位置ごとに演算された奥行き量に基づいて、３次元モデルを生成する。そして、３次元観察画像生成部３１４は、生成された３次元モデルに基づいて、３次元観察画像を生成し、画像出力部３１５は、生成された３次元観察画像を表示装置に出力して表示させる。本発明は、例えば、実体顕微鏡から取得した観察画像に対して画像処理を行う画像処理装置に適用できる。
【解決手段】画像取得部３１１は、観察対象物を拡大観察する実体顕微鏡の左右眼光路上に配置された撮像素子により撮影された左右一対の観察画像を取得し、奥行き量演算部３１２は、それらの左右一対の観察画像の対応する各位置における奥行き量を演算し、３次元モデル生成部３１３は、対応する各位置ごとに演算された奥行き量に基づいて、３次元モデルを生成する。そして、３次元観察画像生成部３１４は、生成された３次元モデルに基づいて、３次元観察画像を生成し、画像出力部３１５は、生成された３次元観察画像を表示装置に出力して表示させる。本発明は、例えば、実体顕微鏡から取得した観察画像に対して画像処理を行う画像処理装置に適用できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および方法に関する。
【背景技術】
【０００２】
従来、観察対象物を３次元観察するために、コンフォーカル顕微鏡が用いられている。コンフォーカル顕微鏡は、レーザ光などを観察対象物上で２次元走査させたときに観察対象物により反射した光をピンホール上に集光させて、このピンホールを通過した光の強度を検出し、観察対象物の表面情報として極めて浅い焦点深度を持つ２次元画像を生成する。そして、その動作をＺ軸方向で複数回繰り返して取得される複数の焦点面の２次元画像を重ね合わせることにより、３次元画像を生成するものである。
【０００３】
つまり、コンフォーカル顕微鏡では、観察対象物の高さの情報を得るために、観察対象物の観測位置をＺ軸方向に移動させながら２次元画像を順次取得し、これらの２次元画像に基づいて、観察対象物の各点においてピンホールを通過した光の強度が最大となるときの観察対象物の位置を検出することになる（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−１０２１０２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、コンフォーカル顕微鏡では、観察対象物の高さの情報を得るために、観測位置をＺ軸方向に移動させながら、複数枚の２次元画像を取得する必要があったため、３次元画像を生成する元となる２次元画像の取得時の処理負荷を軽減して、より簡便に、観察対象物の３次元観察を行いたいという要求があった。
【０００６】
本発明はこのような状況に鑑みてなされたものであり、実体顕微鏡から取得される左右一対の観察画像を１度に取得するだけで、簡便に、観察対象物の３次元観察を行うことができるようにするものである。
【課題を解決するための手段】
【０００７】
本発明の画像処理装置は、観察対象物を拡大観察する実体顕微鏡の左右眼光路上に配置された撮像手段により撮像された左右一対の観察画像を取得する画像取得手段と、取得された前記左右一対の観察画像に基づいて、前記左右一対の観察画像の対応する各位置における、前記実体顕微鏡の中心軸に対する奥行き量を演算する演算手段と、対応する各位置ごとに演算された前記奥行き量に基づいて、前記観察対象物に対応する３次元モデルを生成する３次元モデル生成手段と、生成された前記３次元モデルに基づいて、前記観察対象物の３次元観察用の画像である３次元観察画像を生成する３次元観察画像生成手段とを備えることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、簡便に、観察対象物の３次元観察を行うことができる。
【図面の簡単な説明】
【０００９】
【図１】本発明を適用した実体顕微鏡の一実施の形態を示す外観図である。
【図２】実体顕微鏡の照明方法の例を示す図である。
【図３】本発明を適用した顕微鏡システムの第１の実施の形態を示す図である。
【図４】コントロールボックスの機能的構成例を示す図である。
【図５】３次元観察画像の生成処理を説明するフローチャートである。
【図６】奥行き量の演算方法について説明する図である。
【図７】奥行き量の演算例を示す図である。
【図８】本発明を適用した顕微鏡システムの第２の実施の形態を示す図である。
【図９】本発明を適用した顕微鏡システムの第３の実施の形態を示す図である。
【図１０】本発明を適用した顕微鏡システムの第４の実施の形態を示す図である。
【図１１】実体顕微鏡の照明方法の他の例を示す図である。
【発明を実施するための形態】
【００１０】
以下、本発明を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態
２．第２の実施の形態
３．第３の実施の形態
４．第４の実施の形態
５．変形例
【００１１】
＜１．第１の実施の形態＞
最初に、図１乃至図７を参照して、本発明の第１の実施の形態について説明する。
【００１２】
［実体顕微鏡の構成例］
図１は、本発明を適用した実体顕微鏡の一実施の形態の外観図である。
【００１３】
実体顕微鏡１０１は、単対物双眼構成の平行光学系（ガリレオ式）の実体顕微鏡である。実体顕微鏡１０１は、ベース部（照明部）１１１、変倍レンズ鏡筒１１２、および、焦点合わせ装置１１３を備えている。焦点合わせ装置１１３は、ベース部１１１の上面の後端かつ左右方向の中央に立設され、変倍レンズ鏡筒１１２は、焦点合わせ装置１１３の前面の上部に設けられている。
【００１４】
ベース部１１１には、透過照明装置（不図示）が内蔵され、透明部材が埋め込まれた観察対象載置台１１４が上面に設けられている。観察対象載置台１１４には、観察する対象となる観察対象物（後述する図２，図３等の観察対象物１０２）が載置される。
【００１５】
変倍レンズ鏡筒１１２の下面には、対物レンズ１１５が設けられている。対物レンズ１１５は、図１に示すように、対物レンズを１つだけ取付けてもよいし複数取付けてもよい。そして、観察者は、例えば、予め定められた複数の低倍率の対物レンズおよび複数の高倍率の対物レンズの中から、取付け可能な個数以下の対物レンズ１１５を選択して、実体顕微鏡１０１を使用する。
【００１６】
変倍レンズ鏡筒１１２の左側面および右側面には、変倍ノブ１１６が設けられている。さらに、変倍レンズ鏡筒１１２には、左右両眼用の撮影ユニット（図３等の撮影ユニット１６１Ｌ，１６１Ｒ）を取付けることが可能である。
【００１７】
変倍レンズ鏡筒１１２の上部には、双眼鏡筒１１７が設けられている。双眼鏡筒１１７には、左眼用の接眼レンズ１１７ａ、および、右眼用の接眼レンズ１１７ｂ等が取り付けられている。観察者は、それらの接眼レンズを介して、左眼用および右眼の観察像をそれぞれ左眼および右眼で見ることにより、観察対象載置台１１４に載置される観察対象物の像を立体視することができる。
【００１８】
焦点合わせ装置１１３の左右の側面の上部には、焦点合わせノブ１１８が設けられている。また、焦点合わせ装置１１３には、焦点合わせノブ１１８の回転に伴い、変倍レンズ鏡筒１１２を観察対象載置台１１４に垂直な方向に沿って上下動させる機構部（不図示）が設けられている。
【００１９】
［照明方法の例］
図２は、実体顕微鏡１０１の照明方法の一例を示している。この例は、例えば、プリント基板など、観察対象物１０２の表面が不透明である場合に用いられる照明方法のひとつである。
【００２０】
光源装置２０１Ｌおよび光源装置２０１Ｒは、それぞれ独立して光量および分光分布を変更することができる光源装置である。光源装置２０１Ｌから発せられた照明光は、導光用バンドルファイバ２０２Ｌによって導かれ、左斜め上方向から観察対象物１０２に照射される。また、光源装置２０１Ｒから発せられた照明光は、導光用バンドルファイバ２０２Ｒによって導かれ、右斜め上方向から観察対象物１０２に照射される。このように左右の異なる方向から照明光を観察対象物１０２に照射することにより、色再現性が良く、凹凸部に対して適度な陰影によるコントラストをつけた観察像および観察画像を得ることができる。
【００２１】
［顕微鏡システムの構成例］
図３は、図１および図２で説明した実体顕微鏡１０１、その実体顕微鏡１０１の制御を行うコントロールボックス３０１、並びに２Ｄディスプレイ装置３０３からなる顕微鏡システムの構成例を示している。なお、図３に示すように、観察対象物１０２を拡大観察する実体顕微鏡１０１には、左眼用の撮影ユニット１６１Ｌおよび右眼用の撮影ユニット１６１Ｒが取り付けられ、ケーブル１６２Ｌ，１６２Ｒによりコントロールボックス３０１と接続されている。
【００２２】
実体顕微鏡１０１において、観察対象物１０２からの光（以下、観察光という）は、対物レンズ１５１を透過した後、その光路によってアフォーカルズーム系１５２Ｌおよびアフォーカルズーム系１５２Ｒに分かれて入射する。アフォーカルズーム系１５２Ｌおよびアフォーカルズーム系１５２Ｒは、それぞれ開口絞りと変倍レンズ群から構成され、各変倍レンズ群には、観察倍率を調整するための可動群が含まれている。すなわち、図１の変倍レンズ鏡筒１１２の左側面および右側面に設けられた変倍ノブ１１６を回転することにより、回転量に応じた距離だけ各可動群が光軸方向に移動し、観察倍率を調整することができる。また、図１の変倍レンズ鏡筒１１２に設けられている調節機構（不図示）により、開口絞りの絞り量を調節することができる。
【００２３】
アフォーカルズーム系１５２Ｌから射出された観察光は、結像レンズ１５３Ｌに入射して、撮影ユニット１６１Ｌの撮像素子１７１Ｌの撮像面に結像される。同様に、アフォーカルズーム系１５２Ｒから射出された観察光は、結像レンズ１５３Ｒに入射して、撮影ユニット１６１Ｒの撮像素子１７１Ｒの撮像面に結像される。
【００２４】
そして、撮影ユニット１６１Ｌの撮像素子１７１Ｌは、結像レンズ１５３Ｌにより結像された観察光による像を撮影し、得られた左眼用の画像（以下、観察画像という）を示す画像信号を、ケーブル１６２Ｌを介してコントロールボックス３０１に供給する。同様に、撮影ユニット１６１Ｒの撮像素子１７１Ｒは、結像レンズ１５３Ｒにより結像された観察光による像を撮影し、得られた右眼用の観察画像を示す信号を、ケーブル１６２Ｒを介してコントロールボックス３０１に供給する。
【００２５】
コントロールボックス３０１は、実体顕微鏡１０１を制御して、実体顕微鏡１０１から供給される左観察画像４０１Ｌと右観察画像４０１Ｒに対応する画像信号に基づいて、観察対象物１０２の３次元観察用の画像（以下、３次元観察画像という）のデータを生成して、２Ｄディスプレイ装置３０３に表示させる。コントロールボックス３０１は、例えば、コンピュータ、または、CPU（Central Processing Unit）などのプロセッサ等により構成され、所定の制御プログラムを実行することにより、図４に示すような、画像取得部３１１、奥行き量演算部３１２、３次元モデル生成部３１３、３次元観察画像生成部３１４、画像出力部３１５、およびCADデータ変換部３１６を含む機能を実現する。なお、これらの図４の画像取得部３１１乃至画像出力部３１５の一連の処理例の詳細については、図５のフローチャートを用いて後述する。また、CADデータ変換部３１６の処理例の詳細については、後述する「５．変形例」で説明する。
【００２６】
図３に戻り、入力装置３０２は、例えばマウスやキーボードに代表される観察者による指示を受け付ける機器である。入力装置３０２は、例えば、コントロールボックス３０１により実行される処理の内容の選択や、画像処理に関するパラメータの調整の指示などの、観察者の操作に応じた操作信号をコントロールボックス３０１に供給する。
【００２７】
２Ｄディスプレイ装置３０３は、画像を平面的に表示する平面像表示装置である。２Ｄディスプレイ装置３０３は、コントロールボックス３０１から出力される３次元観察画像のデータに基づく画像を鳥瞰図的に表示する。これにより、観察者は、実体顕微鏡１０１の双眼鏡筒１１７に取り付けられた接眼レンズを覗き込んで観察することなく、２Ｄディスプレイ装置３０３に表示された３次元観察画像（例えば、図３の２Ｄディスプレイ装置３０３の画面に表示された三角柱の３次元画像）を見ることで、図３の形状参考図４００に示した形状を有する観察対象物１０２の像を観察することができる。なお、この形状参考図４００には、観察対象物１０２の三角柱となる形状の図の他、実体顕微鏡１０１の中心軸に沿った方向Ａから見たときの矢視図も示されている。
【００２８】
［コントロールボックスの処理の詳細］
次に、図５のフローチャートを参照して、図４のコントロールボックス３０１により実行される、３次元観察画像の生成処理について説明する。
【００２９】
ステップＳ１１において、画像取得部３１１は、実体顕微鏡１０１の左右両眼の光路上に配置された撮像素子１７１Ｌ，１７１Ｒにより撮像された左右一対の左観察画像４０１Ｌと右観察画像４０１Ｒを取得し、奥行き量演算部３１２および３次元モデル生成部３１３に供給する。
【００３０】
ステップＳ１２において、奥行き量演算部３１２は、画像取得部３１１により取得された左右一対の左観察画像４０１Ｌと右観察画像４０１Ｒに基づいて、左右一対の左観察画像４０１Ｌと右観察画像４０１Ｒとの対応する各位置における奥行き量を求める。
【００３１】
ここで、図６を参照しながら、奥行き量演算部３１２により求められる奥行き量の演算方法について説明する。
【００３２】
図６においては、画像取得部３１１により取得される、左右一対の観察画像のうちの、左眼光路上の撮像素子１７１Ｌにより撮像された左観察画像４０１Ｌが図６ａに示され、右眼光路上の撮像素子１７１Ｒにより撮像された右観察画像４０１Ｒが図６ｂに示される。
【００３３】
奥行き量演算部３１２は、これらの左観察画像４０１Ｌと右観察画像４０１Ｒにおいて、同様の特徴を有する特徴点を対応付けるための対応点を決定して、その各対応点における実体顕微鏡１０１の中心軸に対する奥行き量を求めることになるが、その方法としては、３次元形状復元方法の一つであるステレオマッチング法を用いることができる。
【００３４】
すなわち、ステレオマッチング法により、左観察画像４０１Ｌが、右観察画像４０１Ｒのどの部分に対応するかを面積相関の演算により求めて、その対応関係に基づく三角測量の原理を用いることにより奥行き量を求めることが可能となる。
【００３５】
ここで面積相関とは、注目している画素の周囲を含む所定の領域により比較を行って、その領域中の点それぞれについて左右の画像中で差分をとり、その合計が最も小さいものを対応点とする方法である。具体的には、図６に示すように、左観察画像４０１Ｌのある点Ａｌ（ｘ，ｙ）の輝度Ｉｌ（ｘ，ｙ）と、右観察画像４０１Ｒにおいて点Ａｌの座標からＸ方向にｄだけずれた点Ａｒ（ｘ−ｄ，ｙ）の輝度Ｉｒ（ｘ−ｄ，ｙ）とが比較される。つまり、Ｉｌ（ｘ，ｙ）−Ｉｒ（ｘ−ｄ，ｙ）の値が最も小さい値となるｄ＝ｄminを求めることにより、Ａｌ（ｘ，ｙ）の対応点は、点Ａｒ（ｘ−ｄmin，ｙ）と決定される。
【００３６】
この例であると、一点のみの比較であるが、２ｍ×２ｎの領域に拡張して考えれば、下記の式（１）を演算することで、所定の領域の面内での輝度値の差分をとることが可能となる。
【００３７】
【数１】
【００３８】
この式（１）を演算することにより所定の領域内での輝度値の差分をとることができるため、オクルージョンがあっても演算の破綻を避けることができる。なお、オクルージョンとは、立体構造物を観察するときに、全ての部分を両眼で見ることができずに片目にだけ見える部分がある状態のことである。例えば複数の物体が存在するために手前にある物体が背後にある物体を隠してしまう状況で、左右眼で隠れる部分がずれる場合や、立体構造物の傾斜した面が右目には見えて左目には見えないといった状況で発生するものである。
【００３９】
続いて、位置の検出を行うが、ここでは、三角測量の原理を用いた方法を説明する。左右眼光路上に配置された撮像素子１７１Ｌ，１７１Ｒ（以下、カメラＬ，Ｒともいう）が観察対象物１０２上の点（物点）を見込む角は、実体顕微鏡１０１の光軸の傾きとなる。例えば、左右眼光路の軸間距離D=22、対物レンズ１５１の焦点距離fo=100mmであるとき、光軸上の物体面を左右のカメラＬ，Ｒで見込む角（輻輳角）θは、半角で、次の式（２）により求めることができる。
【００４０】
θ=arctan(D/(2×fo))= arctan(22/(2×100))=6.3°・・・（２）
【００４１】
そして、左右のカメラＬ，Ｒの光軸の開き角が2θであることと、左観察画像４０１Ｌ上の点Ａｌと、右観察画像４０１Ｒ上の対応点Ａｒのそれぞれの座標から、左眼光路上に配置されたカメラＬを基準にしたときの物点Ａの座標（ｘ，ｚ）を求めることができる。この物点Ａの座標（ｘ，ｚ）は、公知の演算方法を用いて求めることができる。
【００４２】
ここで、図７を参照して、三角測量の原理を用いた奥行き量を示すｚ座標の演算方法の一例について説明する。図７には、観察光をＸＺ平面に正射影して２次元的に表した図が示されており、図中の点Ｌ，ＲはカメラＬ，Ｒを示し、点Ａ，Ｂは物点を示すものとする。また、この例では、左右のカメラＬ，Ｒのうち、カメラＬを基準とした場合について説明する。
【００４３】
いま、図７において、点Ｌ，Ｒ，Ａを頂点とする三角形Ａ、又は点Ｌ，Ｒ，Ｂを頂点とする三角形Ｂについて考える。なお、三角形Ａでは、各頂点は、点Ｌがａ，点Ｒがｂ，点Ａが180°−ａ−ｂの角度からなり、各辺の長さは、ＬＲ＝Ｄ，ＬＡ＝ｒとなる。また、三角形Ｂでは、各頂点は、点Ｌがａ，点Ｒがｂ，点Ｂが180°−ａ−ｂの角度からなり、各辺の長さは、ＬＲ＝Ｄ，ＬＢ＝ｒとなる。このような条件では、図７より明らかなように、点Ｌの角度ａ，点Ｒの角度ｂは、それぞれ、ａ＝90°−θ−ｘＬ，ｂ＝90°−θ＋ｘＲの関係を有することになる。また、ｒは、正弦定理を用いて、ｒ＝Ｄ×(sinb/sin(180°−ａ−ｂ))により得ることができる。そして、ａ，ｂ，ｒの関係が求められると、ｘＬ，ｘＲから、ｘ＝ｒcosａ，ｚ＝ｒsinａを演算することで、物点の座標（ｘ，ｚ）が求められる。
【００４４】
なお、実体顕微鏡１０１の撮像素子１７１Ｌ，１７１Ｒにより撮像された左観察画像４０１Ｌと、右観察画像４０１Ｒは、左右方向（Ｘ軸方向）のみ視差を持つため、原理的にはｙ座標は一致するはずであるが、製造、組み立て誤差などにより若干のずれを持つ場合がある。その場合は、奥行き量を示すｚ座標を決定する処理の前段において、ｙ座標の差分がゼロになるように、画像を補正する処理を施した後、奥行き量を示すｚ座標を決定するのが望ましい。
【００４５】
以上のようにして、各対応点おける奥行き量が決定される。
【００４６】
図５のフローチャートに戻り、ステップＳ１３において、３次元モデル生成部３１３は、画像取得部３１１により取得された左右一対の観察画像から得られる情報および奥行き量演算部３１２により演算された奥行き量に基づいて、各対応点において決定した奥行き量を、実体顕微鏡１０１の中心軸に垂直な平面全体にマッピングして、いわゆるデプスマップ（Depth Map）を生成する。そして、３次元モデル生成部３１３は、この奥行き量の情報が表現されたデプスマップに対して、左観察画像４０１Ｌと右観察画像４０１Ｒから抽出される、観察対象物１０２上の各座標における表面の色情報が表されたテクスチャを貼り付ける（いわゆるテクスチャマッピング）ことにより、観察対象物１０２に対応する３次元モデルを生成する。
【００４７】
なお、３次元モデルに対して貼り付けるテクスチャであるが、左観察画像４０１Ｌと右観察画像４０１Ｒのいずれか一方の観察画像のみから生成してもよいが、一方の観察画像からの情報では得ることのできないオクルージョンの領域に対する対応のために両方の観察画像から必要な部分を切り出してくるようなアルゴリズムを適応したほうが、より自然で、観察対象物１０２の表面情報の欠落領域が少ないテクスチャを生成できる。
【００４８】
ステップＳ１４において、３次元観察画像生成部３１４は、生成した３次元モデルに基づいて、３次元モデルを含んだ仮想空間上の所定の視点位置から見たときの３次元観察画像を生成し、画像出力部３１５に供給する。例えば、３次元観察画像生成部３１４は、３次元観察画像として、２Ｄディスプレイ装置３０３において３次元表示される３次元画像を生成する。
【００４９】
ステップＳ１５において、画像出力部３１５は、３次元観察画像生成部３１４により生成された３次元観察画像を、２Ｄディスプレイ装置３０３に出力して、表示させる。これにより、２Ｄディスプレイ装置３０３の画面には、図３に示すように、例えば、その画面に表示された三角柱の３次元画像や３次元画像４０２が表示される。
【００５０】
以上のようにして、コントロールボックス３０１においては、観察対象物１０２を拡大観察する実体顕微鏡１０１から取得した左観察画像４０１Ｌと右観察画像４０１Ｒの２枚の観察画像を用いて、それらの観察画像の対応する各位置ごとに奥行き量が演算され、演算された奥行き量に基づいた観察対象物１０２の３次元モデルが生成され、生成された３次元モデルから、観察対象物１０２の３次元観察画像が生成され、２Ｄディスプレイ装置３０３に表示される。
【００５１】
これにより、従来、コンフォーカル顕微鏡では、観察対象物の高さの情報を得るために、観測位置をＺ軸方向に移動させながら、複数枚の２次元画像を取得する必要があったことは先に述べた通りであるが、コントロールボックス３０１においては、実体顕微鏡１０１から１度に取得される左観察画像４０１Ｌと右観察画像４０１Ｒという２枚の観察画像のみを用いて所定の画像処理を行うことで、観察対象物の３次元観察画像を表示させることができる。その結果、簡便に、観察対象物の３次元観察を行うことができる。
【００５２】
また、コンフォーカル顕微鏡においては、観測位置のＺ軸方向の移動のため、Ｚ軸方向の駆動機構が必要となるが、実体顕微鏡１０１では、左観察画像４０１Ｌと右観察画像４０１Ｒを撮影するためにＺ軸方向の駆動を特に要しないため、Ｚ軸方向の駆動機構を設けなくてもよい。さらに、コンフォーカル顕微鏡では、Ｚ軸方向の駆動に時間が必要となるため、例えば生きたメダカなどを観察対象物とする場合、観察対象物が動いてしまうため３次元観察画像を得ることができない。一方、コントロールボックス３０１では、２つの撮像素子１７１Ｌ，１７１Ｒにより、観察対象物の一瞬を捉えて撮像された左観察画像４０１Ｌと右観察画像４０１Ｒを取得できるので、従来では不可能であった動く観察対象物の３次元観察画像を構築することが可能となる。
【００５３】
＜２．第２の実施の形態＞
［顕微鏡システムの構成例］
次に、図８を参照して、本発明の第２の実施の形態について説明する。本発明の第２の実施の形態（図８）は、第１の実施の形態（図３）と比較して、実体顕微鏡１０１の結像レンズ１５３Ｌ，１５３Ｒにより結像される観察光を、撮影用と接眼用の光に分割するための偏向素子１５４Ｌ，１５４Ｒが設けられている点が異なる。すなわち、結像レンズ１５３Ｌにより結像される観察光は、例えば、ビームスプリッタプリズムにより構成される偏向素子１５４Ｌに入射し、偏向素子１５４Ｌを透過し、接眼レンズ１５５Ｌに入射する接眼用の光と、偏向素子１５４Ｌにより反射され、撮影ユニット１６１Ｌに入射する撮影用の光に分割される。
【００５４】
同様に、結像レンズ１５３Ｒにより結像された観察光は、偏向素子１５４Ｌと同様の構成の偏向素子１５４Ｒに入射し、偏向素子１５４Ｒを透過し、接眼レンズ１５５Ｒに入射する接眼用の光と、偏向素子１５４Ｒにより反射され、撮影ユニット１６１Ｒに入射する撮影用の光に分割される。
【００５５】
そして、接眼レンズ１５５Ｌおよび接眼レンズ１５５Ｒにより、互いに視差が異なる左眼用および右眼用の像（以下、観察像という）が形成される。観察者は、接眼レンズ１５５Ｌおよび接眼レンズ１５５Ｒを介して、左眼用および右眼の観察像をそれぞれ左眼および右眼で見ることにより、観察対象物１０２の像を立体視することができる。
【００５６】
また、第１の実施の形態と同様に、撮影ユニット１６１Ｌの撮像素子１７１Ｌは、偏向素子１５４Ｌにより反射された観察光による像を撮影し、得られた左眼用の左観察画像４０１Ｌを示す画像信号を、ケーブル１６２Ｌを介してコントロールボックス３０１に供給する。同様に、撮影ユニット１６１Ｒの撮像素子１７１Ｒは、偏向素子１５４Ｒにより反射された観察光による像を撮影し、得られた右眼用の右観察画像４０１Ｒを示す画像信号を、ケーブル１６２Ｒを介してコントロールボックス３０１に供給する。
【００５７】
コントロールボックス３０１は、上述した図４のコントロールボックス３０１と同様の機能的構成を有しており、図５のフローチャートに示した処理と同様の処理を行うことで、実体顕微鏡１０１から取得した左観察画像４０１Ｌと右観察画像４０１Ｒの２枚の観察画像を用いて、それらの観察画像の対応する各位置ごとに奥行き量を演算し、演算された奥行き量に基づいた観察対象物１０２の３次元モデルを生成する。そして、コントロールボックス３０１は、３次元モデルに基づいて、観察対象物１０２を垂直視したときの画像（以下、垂直視画像という）を生成して、２Ｄディスプレイ装置３０３に表示させる。例えば、図８の２Ｄディスプレイ装置３０３の画面に表示された三角形の垂直視画像が表示される。なお、図８の２Ｄディスプレイ装置３０３に表示された三角形の垂直視画像は、図８の形状参考図４００の観察対象物１０２の矢視図に対応するものとなる。
【００５８】
これにより、観察者は、接眼レンズ１５５Ｌおよび接眼レンズ１５５Ｒを介して、左眼用および右眼の観察像を観察することにより、観察対象物１０２の像を立体視することができるとともに、２Ｄディスプレイ装置３０３に表示された垂直視した観察対象物１０２の像（垂直視画像）も確認することができる。
【００５９】
また、第２の実施の形態においては、上述した第１の実施の形態と同様に、実体顕微鏡１０１から１度に取得される左観察画像４０１Ｌと右観察画像４０１Ｒという２枚の観察画像のみを用いた所定の画像処理により、垂直視画像を表示させることができるので、簡便に、観察対象物の３次元観察を行うことができる。
【００６０】
＜３．第３の実施の形態＞
［顕微鏡システムの構成例］
次に、図９を参照して、本発明の第３の実施の形態について説明する。本発明の第３の実施の形態（図９）は、第１の実施の形態（図３）と比較して、図１のコントロールボックス３０１の代わりにパーソナルコンピュータ３０４が設けられている点が異なる。また、パーソナルコンピュータ３０４には、撮影ユニット１６１Ｌを制御する撮影コントローラ３０５Ｌと、撮影ユニット１６１Ｒを制御する撮影コントローラ３０５Ｒが接続されている。
【００６１】
撮影コントローラ３０５Ｌは、撮影ユニット１６１Ｌを制御して、結像レンズ１５３Ｌにより結像された観察光による像を撮像素子１７１Ｌで撮影し、得られた左眼用の左観察画像４０１Ｌを示す画像信号を、ケーブル１６２Ｌを介して取得し、パーソナルコンピュータ３０４に供給する。同様に、撮影コントローラ３０５Ｒは、撮影ユニット１６１Ｒを制御して、結像レンズ１５３Ｒにより結像された観察光による像を撮像素子１７１Ｒで撮影し、得られた右眼用の右観察画像４０１Ｒを示す画像信号を、ケーブル１６２Ｒを介して取得し、パーソナルコンピュータ３０４に供給する。
【００６２】
パーソナルコンピュータ３０４は、上述した図４のコントロールボックス３０１と同様の機能的構成を有しており、図５のフローチャートに示した処理と同様の処理を行うことで、実体顕微鏡１０１から取得した左観察画像４０１Ｌと右観察画像４０１Ｒの２枚の観察画像を用いて、それらの観察画像の対応する各位置ごとに奥行き量を演算し、演算された奥行き量に基づいた観察対象物１０２の３次元モデルを生成する。そして、パーソナルコンピュータ３０４は、３次元モデルに基づいて、観察対象物１０２の３次元観察画像や、観察対象物１０２を垂直視したときの垂直視画像を生成して、２Ｄディスプレイ装置３０３に表示させる。例えば、図９の２Ｄディスプレイ装置３０３には、その画面に表示された三角柱の３次元画像や図９の３次元画像４０２、あるいは、図９の形状参考図４００の観察対象物１０２の矢視図に対応する垂直視画像が表示される。
【００６３】
これにより、パーソナルコンピュータ３０４により実行されるプログラムのバージョンアップを行うだけで、既存の実体顕微鏡を用いた顕微鏡システムを、簡単に本発明の３次元観察画像を表示可能な顕微鏡システムに更新することができる。また、プログラムを更新するだけで、特に新たな光学部材などを追加する必要がないため、より安価に顕微鏡システムを構築できる。
【００６４】
また、第３の実施の形態においては、上述した第１の実施の形態と同様に、実体顕微鏡１０１から１度に取得される左観察画像４０１Ｌと右観察画像４０１Ｒという２枚の観察画像のみを用いた所定の画像処理により、３次元観察画像や垂直視画像を表示させることができるので、簡便に、観察対象物の３次元観察を行うことができる。
【００６５】
＜４．第４の実施の形態＞
［顕微鏡システムの構成例］
次に、図１０を参照して、本発明の第４の実施の形態について説明する。本発明の第４の実施の形態（図１０）は、第１の実施の形態（図３）と比較して、図３の２Ｄディスプレイ装置３０３の代わりに３Ｄディスプレイ装置３０６が設けられている点が異なる。また、説明を簡略化するため、実体顕微鏡１０１の記載を省略して撮影ユニット１６１Ｌ，１６１Ｒの撮像素子１７１Ｌ，１７１Ｒのみを記載しているが、撮像素子１７１Ｌ，１７１Ｒによって、結像レンズ１５３Ｌ，１５３Ｒにより結像された観察光による像が撮影され、得られた左眼用の左観察画像４０１Ｌ，右目用の右観察画像４０１Ｒを示す画像信号が、ケーブル１６２Ｌ，１６２Ｒを介して取得され、コントロールボックス３０１に供給される点は一致している。
【００６６】
コントロールボックス３０１は、上述した図４のコントロールボックス３０１と同様の機能的構成を有しており、図５のフローチャートに示した処理と同様の処理を行うことで、実体顕微鏡１０１から取得した左観察画像４０１Ｌと右観察画像４０１Ｒの２枚の観察画像を用いて、それらの観察画像の対応する各位置ごとに奥行き量を演算し、演算された奥行き量に基づいた観察対象物１０２の３次元モデルを生成する。そして、コントロールボックス３０１（の３次元観察画像生成部３１４）は、３次元モデルに対してレンダリングを行い、３次元観察用画像として、左右両眼用の２枚の２次元画像（以下、左右両眼用画像という）を生成し、３Ｄディスプレイ装置３０６に供給する。
【００６７】
３Ｄディスプレイ装置３０６は、画像を立体的に表示する立体像表示装置であって、例えば、レンチキュラー方式またはパララックスバリア方式などの裸眼立体視ディスプレイ装置により構成される。そして、３Ｄディスプレイ装置３０６は、コントロールボックス３０１から供給される左右両眼用画像のデータに基づく左右両眼用画像を表示したときに、左眼用の画素列から発せられた光が観察者３０７の左眼に入射し、右眼用の画素列から発せられた光が観察者３０７の右眼に入射するように、各画素からの光の進路を調整する。
【００６８】
これにより、観察者３０７は、専用の３Ｄ眼鏡等を用いずに、左眼用画像を左眼で見て、右眼用画像を右眼で見ることができ、観察対象物１０２の像を立体視することができる。また、３Ｄディスプレイ装置３０６は、上述の裸眼立体視方式だけでなく、偏光や液晶シャッタを利用した眼鏡タイプのディスプレイにも適用可能である。
【００６９】
また、第４の実施の形態においては、上述した第１の実施の形態と同様に、実体顕微鏡１０１から１度に取得される左観察画像４０１Ｌと右観察画像４０１Ｒという２枚の観察画像のみを用いた所定の画像処理により、左右両眼用画像を表示させることができるので、簡便に、観察対象物の３次元観察を行うことができる。
【００７０】
＜５．変形例＞
上述した本発明の第１乃至第４の実施の形態において生成される３次元モデルまたは３次元観察画像のデータを３次元CAD（Computer Aided Design：コンピュータ支援設計)用のデータに変換することで、３次元CAD上で、コントロールボックス３０１やパーソナルコンピュータ３０４により生成された３次元モデルや３次元観察画像を表示させることも可能となる。
【００７１】
具体的には、図４に示すように、CADデータ変換部３１６は、３次元モデル生成部３１３により生成された３次元モデル、または、３次元観察画像生成部３１４により生成された３次元観察画像のデータを、３次元CADデータに変換する。CADデータ変換部３１６は、変換により得られた３次元CADデータを、３次元CADを実行可能な３次元CAD装置に出力する。なお、第３の実施の形態の場合には、３次元CADデータを３次元CAD装置に出力せずに、パーソナルコンピュータ３０４上で実行させるようにしてもよい。
【００７２】
これにより、例えば、３次元CADにより作成された設計データと、実体顕微鏡１０１により拡大観察された観察対象物１０２（設計データを基に実際に製作された製品など）とを３次元CAD上で比較することが可能となり、両者の相違点を直感的に認識させることができる。また、実験などにより製作したものや、例えばデザイン性が求められるものなどの３次元的には表示し難かったものを３次元データにする場合には、それらの実物を実体顕微鏡１０１により観察して、コントロールボックス３０１などにより３次元観察画像のデータを生成後、３次元CAD用のデータに変換することで、簡単に図面化することが可能となる。
【００７３】
また、以上の説明では、実体顕微鏡１０１、撮影ユニット１６１Ｌおよび撮影ユニット１６１Ｒ、コントロールボックス３０１、２Ｄディスプレイ装置３０３を別装置として説明したが、コントロールボックス３０１の全部または一部の機能を、実体顕微鏡１０１や、撮影ユニット１６１Ｌおよび撮影ユニット１６１Ｒ、２Ｄディスプレイ装置３０３に内蔵するようにしてもよい。
【００７４】
また、第１の実施の形態において、観察者による入力装置３０２の操作により、３次元表示された観察対象物１０２の３次元観察画像の任意の方向への回転が指示された場合、３次元観察画像生成部３１４は、３次元モデルの仮想空間上において回転に応じた視点位置から、３次元モデルを見たときの３次元観察画像を生成し、２Ｄディスプレイ装置３０３に表示させることもできる。例えば、図３の３次元画像４０２は、観察対象物１０２の３次元画像を２Ｄディスプレイ装置３０３上で回転させ状態を示しているが、従来の実体顕微鏡でこのような状態を実現するためには、観察対象物１０２を傾けたり、あるいは、実体顕微鏡１０１そのものを傾けなければ、このような角度で観察することは不可能であった。また、一度それらの情報を取得すれば、実際に観察対象物１０２が実体顕微鏡１０１（ピント面）に載置されていなくても、過去に取得した情報を用いて、様々な角度から観察対象物１０２の観察が可能となる。
【００７５】
これにより、観察者は、任意の方向から観察対象物１０２を観察することができる。この操作方法としては、入力装置３０２により、例えば、「Ｚキー」＋「マウスドラッグ」が操作された場合は、「パン操作」とし、「Ｘキー」＋「マウスドラッグ」が操作された場合は、「回転操作」とし、「Ｃキー」＋「マウスドラッグ」が操作された場合は、「ズーム操作」等とすることができる。また、勿論、２Ｄディスプレイ装置３０３に操作用のGUIとして、「パン操作」、「回転操作」、「ズーム操作」などの各操作を専用のツールバーとして表示し、入力装置３０２により選択させるようにしてもよい。
【００７６】
また、実体顕微鏡１０１の照明方法は、図２に示される例に限定されるものではなく、任意の方法を採用することができる。例えば、図１１に示されるように、左右にＬＥＤアレイ５１１ＬおよびＬＥＤアレイ５１１Ｒを備えるＬＥＤアレイ光源装置５０１を、対物レンズ１１５の取付部に取付けて、左斜め上方向および右斜め上方向から照明光を観察対象物１０２に照射するようにしてもよい。
【００７７】
また、照明光を照射する方向は、図２および図１１に示されるように左右の２方向に限定されるものではなく、例えば、３方向以上の方向から照明光を観察対象物１０２に照射するようにして、各照明光の光量または分光分布を制御するようにしてもよい。
【００７８】
また、コントロールボックス３０１と外部記録装置（不図示）とを接続して、左観察画像４０１Ｌと、右目用の右観察画像４０１Ｒから生成された３次元モデルを保存しておくことで、観察終了後に、保存された３次元モデルから観察対象物１０２の３次元観察画像を生成して表示することも可能となる。また、この保存の際には、第２の実施の形態で説明した、垂直視したときの垂直視画像を保存しておくようにしてもよい。これにより、例えば、観察し忘れた角度から観察対象物１０２を再度観察するといったことが可能となる。
【００７９】
また、第４の実施の形態においては、３Ｄディスプレイ装置３０６として、裸眼立体視ディスプレイ装置を用いて左右両眼用画像を観察する例を示したが、本発明は、３Ｄ眼鏡等を用いて左右両眼用画像を観察する場合にも適用することができる。
【００８０】
なお、本明細書において、プログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【００８１】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【００８２】
さらに、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【００８３】
１０１ 実体顕微鏡， １０２ 観察対象物, １５１ 対物レンズ, １５２Ｌ,１５２Ｒ アフォーカルズーム系, １５３Ｌ,１５３Ｒ 結像レンズ, １５４Ｌ,１５４Ｒ 偏向素子, １５５Ｌ,１５５Ｒ 接眼レンズ， １６１Ｌ，１６１Ｒ 撮影ユニット， １７１Ｌ，１７１Ｒ 撮像素子， ３０１ コントロールボックス， ３０２ 入力装置， ３０３ ２Ｄディスプレイ装置， ３０４ パーソナルコンピュータ， ３０６ ３Ｄディスプレイ装置， ３１１ 画像取得部， ３１２ 奥行き量演算部， ３１３ ３次元モデル生成部， ３１４ ３次元観察画像生成部， ３１５ 画像出力部， ３１６ CADデータ変換部
【技術分野】
【０００１】
本発明は、画像処理装置および方法に関する。
【背景技術】
【０００２】
従来、観察対象物を３次元観察するために、コンフォーカル顕微鏡が用いられている。コンフォーカル顕微鏡は、レーザ光などを観察対象物上で２次元走査させたときに観察対象物により反射した光をピンホール上に集光させて、このピンホールを通過した光の強度を検出し、観察対象物の表面情報として極めて浅い焦点深度を持つ２次元画像を生成する。そして、その動作をＺ軸方向で複数回繰り返して取得される複数の焦点面の２次元画像を重ね合わせることにより、３次元画像を生成するものである。
【０００３】
つまり、コンフォーカル顕微鏡では、観察対象物の高さの情報を得るために、観察対象物の観測位置をＺ軸方向に移動させながら２次元画像を順次取得し、これらの２次元画像に基づいて、観察対象物の各点においてピンホールを通過した光の強度が最大となるときの観察対象物の位置を検出することになる（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−１０２１０２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、コンフォーカル顕微鏡では、観察対象物の高さの情報を得るために、観測位置をＺ軸方向に移動させながら、複数枚の２次元画像を取得する必要があったため、３次元画像を生成する元となる２次元画像の取得時の処理負荷を軽減して、より簡便に、観察対象物の３次元観察を行いたいという要求があった。
【０００６】
本発明はこのような状況に鑑みてなされたものであり、実体顕微鏡から取得される左右一対の観察画像を１度に取得するだけで、簡便に、観察対象物の３次元観察を行うことができるようにするものである。
【課題を解決するための手段】
【０００７】
本発明の画像処理装置は、観察対象物を拡大観察する実体顕微鏡の左右眼光路上に配置された撮像手段により撮像された左右一対の観察画像を取得する画像取得手段と、取得された前記左右一対の観察画像に基づいて、前記左右一対の観察画像の対応する各位置における、前記実体顕微鏡の中心軸に対する奥行き量を演算する演算手段と、対応する各位置ごとに演算された前記奥行き量に基づいて、前記観察対象物に対応する３次元モデルを生成する３次元モデル生成手段と、生成された前記３次元モデルに基づいて、前記観察対象物の３次元観察用の画像である３次元観察画像を生成する３次元観察画像生成手段とを備えることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、簡便に、観察対象物の３次元観察を行うことができる。
【図面の簡単な説明】
【０００９】
【図１】本発明を適用した実体顕微鏡の一実施の形態を示す外観図である。
【図２】実体顕微鏡の照明方法の例を示す図である。
【図３】本発明を適用した顕微鏡システムの第１の実施の形態を示す図である。
【図４】コントロールボックスの機能的構成例を示す図である。
【図５】３次元観察画像の生成処理を説明するフローチャートである。
【図６】奥行き量の演算方法について説明する図である。
【図７】奥行き量の演算例を示す図である。
【図８】本発明を適用した顕微鏡システムの第２の実施の形態を示す図である。
【図９】本発明を適用した顕微鏡システムの第３の実施の形態を示す図である。
【図１０】本発明を適用した顕微鏡システムの第４の実施の形態を示す図である。
【図１１】実体顕微鏡の照明方法の他の例を示す図である。
【発明を実施するための形態】
【００１０】
以下、本発明を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態
２．第２の実施の形態
３．第３の実施の形態
４．第４の実施の形態
５．変形例
【００１１】
＜１．第１の実施の形態＞
最初に、図１乃至図７を参照して、本発明の第１の実施の形態について説明する。
【００１２】
［実体顕微鏡の構成例］
図１は、本発明を適用した実体顕微鏡の一実施の形態の外観図である。
【００１３】
実体顕微鏡１０１は、単対物双眼構成の平行光学系（ガリレオ式）の実体顕微鏡である。実体顕微鏡１０１は、ベース部（照明部）１１１、変倍レンズ鏡筒１１２、および、焦点合わせ装置１１３を備えている。焦点合わせ装置１１３は、ベース部１１１の上面の後端かつ左右方向の中央に立設され、変倍レンズ鏡筒１１２は、焦点合わせ装置１１３の前面の上部に設けられている。
【００１４】
ベース部１１１には、透過照明装置（不図示）が内蔵され、透明部材が埋め込まれた観察対象載置台１１４が上面に設けられている。観察対象載置台１１４には、観察する対象となる観察対象物（後述する図２，図３等の観察対象物１０２）が載置される。
【００１５】
変倍レンズ鏡筒１１２の下面には、対物レンズ１１５が設けられている。対物レンズ１１５は、図１に示すように、対物レンズを１つだけ取付けてもよいし複数取付けてもよい。そして、観察者は、例えば、予め定められた複数の低倍率の対物レンズおよび複数の高倍率の対物レンズの中から、取付け可能な個数以下の対物レンズ１１５を選択して、実体顕微鏡１０１を使用する。
【００１６】
変倍レンズ鏡筒１１２の左側面および右側面には、変倍ノブ１１６が設けられている。さらに、変倍レンズ鏡筒１１２には、左右両眼用の撮影ユニット（図３等の撮影ユニット１６１Ｌ，１６１Ｒ）を取付けることが可能である。
【００１７】
変倍レンズ鏡筒１１２の上部には、双眼鏡筒１１７が設けられている。双眼鏡筒１１７には、左眼用の接眼レンズ１１７ａ、および、右眼用の接眼レンズ１１７ｂ等が取り付けられている。観察者は、それらの接眼レンズを介して、左眼用および右眼の観察像をそれぞれ左眼および右眼で見ることにより、観察対象載置台１１４に載置される観察対象物の像を立体視することができる。
【００１８】
焦点合わせ装置１１３の左右の側面の上部には、焦点合わせノブ１１８が設けられている。また、焦点合わせ装置１１３には、焦点合わせノブ１１８の回転に伴い、変倍レンズ鏡筒１１２を観察対象載置台１１４に垂直な方向に沿って上下動させる機構部（不図示）が設けられている。
【００１９】
［照明方法の例］
図２は、実体顕微鏡１０１の照明方法の一例を示している。この例は、例えば、プリント基板など、観察対象物１０２の表面が不透明である場合に用いられる照明方法のひとつである。
【００２０】
光源装置２０１Ｌおよび光源装置２０１Ｒは、それぞれ独立して光量および分光分布を変更することができる光源装置である。光源装置２０１Ｌから発せられた照明光は、導光用バンドルファイバ２０２Ｌによって導かれ、左斜め上方向から観察対象物１０２に照射される。また、光源装置２０１Ｒから発せられた照明光は、導光用バンドルファイバ２０２Ｒによって導かれ、右斜め上方向から観察対象物１０２に照射される。このように左右の異なる方向から照明光を観察対象物１０２に照射することにより、色再現性が良く、凹凸部に対して適度な陰影によるコントラストをつけた観察像および観察画像を得ることができる。
【００２１】
［顕微鏡システムの構成例］
図３は、図１および図２で説明した実体顕微鏡１０１、その実体顕微鏡１０１の制御を行うコントロールボックス３０１、並びに２Ｄディスプレイ装置３０３からなる顕微鏡システムの構成例を示している。なお、図３に示すように、観察対象物１０２を拡大観察する実体顕微鏡１０１には、左眼用の撮影ユニット１６１Ｌおよび右眼用の撮影ユニット１６１Ｒが取り付けられ、ケーブル１６２Ｌ，１６２Ｒによりコントロールボックス３０１と接続されている。
【００２２】
実体顕微鏡１０１において、観察対象物１０２からの光（以下、観察光という）は、対物レンズ１５１を透過した後、その光路によってアフォーカルズーム系１５２Ｌおよびアフォーカルズーム系１５２Ｒに分かれて入射する。アフォーカルズーム系１５２Ｌおよびアフォーカルズーム系１５２Ｒは、それぞれ開口絞りと変倍レンズ群から構成され、各変倍レンズ群には、観察倍率を調整するための可動群が含まれている。すなわち、図１の変倍レンズ鏡筒１１２の左側面および右側面に設けられた変倍ノブ１１６を回転することにより、回転量に応じた距離だけ各可動群が光軸方向に移動し、観察倍率を調整することができる。また、図１の変倍レンズ鏡筒１１２に設けられている調節機構（不図示）により、開口絞りの絞り量を調節することができる。
【００２３】
アフォーカルズーム系１５２Ｌから射出された観察光は、結像レンズ１５３Ｌに入射して、撮影ユニット１６１Ｌの撮像素子１７１Ｌの撮像面に結像される。同様に、アフォーカルズーム系１５２Ｒから射出された観察光は、結像レンズ１５３Ｒに入射して、撮影ユニット１６１Ｒの撮像素子１７１Ｒの撮像面に結像される。
【００２４】
そして、撮影ユニット１６１Ｌの撮像素子１７１Ｌは、結像レンズ１５３Ｌにより結像された観察光による像を撮影し、得られた左眼用の画像（以下、観察画像という）を示す画像信号を、ケーブル１６２Ｌを介してコントロールボックス３０１に供給する。同様に、撮影ユニット１６１Ｒの撮像素子１７１Ｒは、結像レンズ１５３Ｒにより結像された観察光による像を撮影し、得られた右眼用の観察画像を示す信号を、ケーブル１６２Ｒを介してコントロールボックス３０１に供給する。
【００２５】
コントロールボックス３０１は、実体顕微鏡１０１を制御して、実体顕微鏡１０１から供給される左観察画像４０１Ｌと右観察画像４０１Ｒに対応する画像信号に基づいて、観察対象物１０２の３次元観察用の画像（以下、３次元観察画像という）のデータを生成して、２Ｄディスプレイ装置３０３に表示させる。コントロールボックス３０１は、例えば、コンピュータ、または、CPU（Central Processing Unit）などのプロセッサ等により構成され、所定の制御プログラムを実行することにより、図４に示すような、画像取得部３１１、奥行き量演算部３１２、３次元モデル生成部３１３、３次元観察画像生成部３１４、画像出力部３１５、およびCADデータ変換部３１６を含む機能を実現する。なお、これらの図４の画像取得部３１１乃至画像出力部３１５の一連の処理例の詳細については、図５のフローチャートを用いて後述する。また、CADデータ変換部３１６の処理例の詳細については、後述する「５．変形例」で説明する。
【００２６】
図３に戻り、入力装置３０２は、例えばマウスやキーボードに代表される観察者による指示を受け付ける機器である。入力装置３０２は、例えば、コントロールボックス３０１により実行される処理の内容の選択や、画像処理に関するパラメータの調整の指示などの、観察者の操作に応じた操作信号をコントロールボックス３０１に供給する。
【００２７】
２Ｄディスプレイ装置３０３は、画像を平面的に表示する平面像表示装置である。２Ｄディスプレイ装置３０３は、コントロールボックス３０１から出力される３次元観察画像のデータに基づく画像を鳥瞰図的に表示する。これにより、観察者は、実体顕微鏡１０１の双眼鏡筒１１７に取り付けられた接眼レンズを覗き込んで観察することなく、２Ｄディスプレイ装置３０３に表示された３次元観察画像（例えば、図３の２Ｄディスプレイ装置３０３の画面に表示された三角柱の３次元画像）を見ることで、図３の形状参考図４００に示した形状を有する観察対象物１０２の像を観察することができる。なお、この形状参考図４００には、観察対象物１０２の三角柱となる形状の図の他、実体顕微鏡１０１の中心軸に沿った方向Ａから見たときの矢視図も示されている。
【００２８】
［コントロールボックスの処理の詳細］
次に、図５のフローチャートを参照して、図４のコントロールボックス３０１により実行される、３次元観察画像の生成処理について説明する。
【００２９】
ステップＳ１１において、画像取得部３１１は、実体顕微鏡１０１の左右両眼の光路上に配置された撮像素子１７１Ｌ，１７１Ｒにより撮像された左右一対の左観察画像４０１Ｌと右観察画像４０１Ｒを取得し、奥行き量演算部３１２および３次元モデル生成部３１３に供給する。
【００３０】
ステップＳ１２において、奥行き量演算部３１２は、画像取得部３１１により取得された左右一対の左観察画像４０１Ｌと右観察画像４０１Ｒに基づいて、左右一対の左観察画像４０１Ｌと右観察画像４０１Ｒとの対応する各位置における奥行き量を求める。
【００３１】
ここで、図６を参照しながら、奥行き量演算部３１２により求められる奥行き量の演算方法について説明する。
【００３２】
図６においては、画像取得部３１１により取得される、左右一対の観察画像のうちの、左眼光路上の撮像素子１７１Ｌにより撮像された左観察画像４０１Ｌが図６ａに示され、右眼光路上の撮像素子１７１Ｒにより撮像された右観察画像４０１Ｒが図６ｂに示される。
【００３３】
奥行き量演算部３１２は、これらの左観察画像４０１Ｌと右観察画像４０１Ｒにおいて、同様の特徴を有する特徴点を対応付けるための対応点を決定して、その各対応点における実体顕微鏡１０１の中心軸に対する奥行き量を求めることになるが、その方法としては、３次元形状復元方法の一つであるステレオマッチング法を用いることができる。
【００３４】
すなわち、ステレオマッチング法により、左観察画像４０１Ｌが、右観察画像４０１Ｒのどの部分に対応するかを面積相関の演算により求めて、その対応関係に基づく三角測量の原理を用いることにより奥行き量を求めることが可能となる。
【００３５】
ここで面積相関とは、注目している画素の周囲を含む所定の領域により比較を行って、その領域中の点それぞれについて左右の画像中で差分をとり、その合計が最も小さいものを対応点とする方法である。具体的には、図６に示すように、左観察画像４０１Ｌのある点Ａｌ（ｘ，ｙ）の輝度Ｉｌ（ｘ，ｙ）と、右観察画像４０１Ｒにおいて点Ａｌの座標からＸ方向にｄだけずれた点Ａｒ（ｘ−ｄ，ｙ）の輝度Ｉｒ（ｘ−ｄ，ｙ）とが比較される。つまり、Ｉｌ（ｘ，ｙ）−Ｉｒ（ｘ−ｄ，ｙ）の値が最も小さい値となるｄ＝ｄminを求めることにより、Ａｌ（ｘ，ｙ）の対応点は、点Ａｒ（ｘ−ｄmin，ｙ）と決定される。
【００３６】
この例であると、一点のみの比較であるが、２ｍ×２ｎの領域に拡張して考えれば、下記の式（１）を演算することで、所定の領域の面内での輝度値の差分をとることが可能となる。
【００３７】
【数１】
【００３８】
この式（１）を演算することにより所定の領域内での輝度値の差分をとることができるため、オクルージョンがあっても演算の破綻を避けることができる。なお、オクルージョンとは、立体構造物を観察するときに、全ての部分を両眼で見ることができずに片目にだけ見える部分がある状態のことである。例えば複数の物体が存在するために手前にある物体が背後にある物体を隠してしまう状況で、左右眼で隠れる部分がずれる場合や、立体構造物の傾斜した面が右目には見えて左目には見えないといった状況で発生するものである。
【００３９】
続いて、位置の検出を行うが、ここでは、三角測量の原理を用いた方法を説明する。左右眼光路上に配置された撮像素子１７１Ｌ，１７１Ｒ（以下、カメラＬ，Ｒともいう）が観察対象物１０２上の点（物点）を見込む角は、実体顕微鏡１０１の光軸の傾きとなる。例えば、左右眼光路の軸間距離D=22、対物レンズ１５１の焦点距離fo=100mmであるとき、光軸上の物体面を左右のカメラＬ，Ｒで見込む角（輻輳角）θは、半角で、次の式（２）により求めることができる。
【００４０】
θ=arctan(D/(2×fo))= arctan(22/(2×100))=6.3°・・・（２）
【００４１】
そして、左右のカメラＬ，Ｒの光軸の開き角が2θであることと、左観察画像４０１Ｌ上の点Ａｌと、右観察画像４０１Ｒ上の対応点Ａｒのそれぞれの座標から、左眼光路上に配置されたカメラＬを基準にしたときの物点Ａの座標（ｘ，ｚ）を求めることができる。この物点Ａの座標（ｘ，ｚ）は、公知の演算方法を用いて求めることができる。
【００４２】
ここで、図７を参照して、三角測量の原理を用いた奥行き量を示すｚ座標の演算方法の一例について説明する。図７には、観察光をＸＺ平面に正射影して２次元的に表した図が示されており、図中の点Ｌ，ＲはカメラＬ，Ｒを示し、点Ａ，Ｂは物点を示すものとする。また、この例では、左右のカメラＬ，Ｒのうち、カメラＬを基準とした場合について説明する。
【００４３】
いま、図７において、点Ｌ，Ｒ，Ａを頂点とする三角形Ａ、又は点Ｌ，Ｒ，Ｂを頂点とする三角形Ｂについて考える。なお、三角形Ａでは、各頂点は、点Ｌがａ，点Ｒがｂ，点Ａが180°−ａ−ｂの角度からなり、各辺の長さは、ＬＲ＝Ｄ，ＬＡ＝ｒとなる。また、三角形Ｂでは、各頂点は、点Ｌがａ，点Ｒがｂ，点Ｂが180°−ａ−ｂの角度からなり、各辺の長さは、ＬＲ＝Ｄ，ＬＢ＝ｒとなる。このような条件では、図７より明らかなように、点Ｌの角度ａ，点Ｒの角度ｂは、それぞれ、ａ＝90°−θ−ｘＬ，ｂ＝90°−θ＋ｘＲの関係を有することになる。また、ｒは、正弦定理を用いて、ｒ＝Ｄ×(sinb/sin(180°−ａ−ｂ))により得ることができる。そして、ａ，ｂ，ｒの関係が求められると、ｘＬ，ｘＲから、ｘ＝ｒcosａ，ｚ＝ｒsinａを演算することで、物点の座標（ｘ，ｚ）が求められる。
【００４４】
なお、実体顕微鏡１０１の撮像素子１７１Ｌ，１７１Ｒにより撮像された左観察画像４０１Ｌと、右観察画像４０１Ｒは、左右方向（Ｘ軸方向）のみ視差を持つため、原理的にはｙ座標は一致するはずであるが、製造、組み立て誤差などにより若干のずれを持つ場合がある。その場合は、奥行き量を示すｚ座標を決定する処理の前段において、ｙ座標の差分がゼロになるように、画像を補正する処理を施した後、奥行き量を示すｚ座標を決定するのが望ましい。
【００４５】
以上のようにして、各対応点おける奥行き量が決定される。
【００４６】
図５のフローチャートに戻り、ステップＳ１３において、３次元モデル生成部３１３は、画像取得部３１１により取得された左右一対の観察画像から得られる情報および奥行き量演算部３１２により演算された奥行き量に基づいて、各対応点において決定した奥行き量を、実体顕微鏡１０１の中心軸に垂直な平面全体にマッピングして、いわゆるデプスマップ（Depth Map）を生成する。そして、３次元モデル生成部３１３は、この奥行き量の情報が表現されたデプスマップに対して、左観察画像４０１Ｌと右観察画像４０１Ｒから抽出される、観察対象物１０２上の各座標における表面の色情報が表されたテクスチャを貼り付ける（いわゆるテクスチャマッピング）ことにより、観察対象物１０２に対応する３次元モデルを生成する。
【００４７】
なお、３次元モデルに対して貼り付けるテクスチャであるが、左観察画像４０１Ｌと右観察画像４０１Ｒのいずれか一方の観察画像のみから生成してもよいが、一方の観察画像からの情報では得ることのできないオクルージョンの領域に対する対応のために両方の観察画像から必要な部分を切り出してくるようなアルゴリズムを適応したほうが、より自然で、観察対象物１０２の表面情報の欠落領域が少ないテクスチャを生成できる。
【００４８】
ステップＳ１４において、３次元観察画像生成部３１４は、生成した３次元モデルに基づいて、３次元モデルを含んだ仮想空間上の所定の視点位置から見たときの３次元観察画像を生成し、画像出力部３１５に供給する。例えば、３次元観察画像生成部３１４は、３次元観察画像として、２Ｄディスプレイ装置３０３において３次元表示される３次元画像を生成する。
【００４９】
ステップＳ１５において、画像出力部３１５は、３次元観察画像生成部３１４により生成された３次元観察画像を、２Ｄディスプレイ装置３０３に出力して、表示させる。これにより、２Ｄディスプレイ装置３０３の画面には、図３に示すように、例えば、その画面に表示された三角柱の３次元画像や３次元画像４０２が表示される。
【００５０】
以上のようにして、コントロールボックス３０１においては、観察対象物１０２を拡大観察する実体顕微鏡１０１から取得した左観察画像４０１Ｌと右観察画像４０１Ｒの２枚の観察画像を用いて、それらの観察画像の対応する各位置ごとに奥行き量が演算され、演算された奥行き量に基づいた観察対象物１０２の３次元モデルが生成され、生成された３次元モデルから、観察対象物１０２の３次元観察画像が生成され、２Ｄディスプレイ装置３０３に表示される。
【００５１】
これにより、従来、コンフォーカル顕微鏡では、観察対象物の高さの情報を得るために、観測位置をＺ軸方向に移動させながら、複数枚の２次元画像を取得する必要があったことは先に述べた通りであるが、コントロールボックス３０１においては、実体顕微鏡１０１から１度に取得される左観察画像４０１Ｌと右観察画像４０１Ｒという２枚の観察画像のみを用いて所定の画像処理を行うことで、観察対象物の３次元観察画像を表示させることができる。その結果、簡便に、観察対象物の３次元観察を行うことができる。
【００５２】
また、コンフォーカル顕微鏡においては、観測位置のＺ軸方向の移動のため、Ｚ軸方向の駆動機構が必要となるが、実体顕微鏡１０１では、左観察画像４０１Ｌと右観察画像４０１Ｒを撮影するためにＺ軸方向の駆動を特に要しないため、Ｚ軸方向の駆動機構を設けなくてもよい。さらに、コンフォーカル顕微鏡では、Ｚ軸方向の駆動に時間が必要となるため、例えば生きたメダカなどを観察対象物とする場合、観察対象物が動いてしまうため３次元観察画像を得ることができない。一方、コントロールボックス３０１では、２つの撮像素子１７１Ｌ，１７１Ｒにより、観察対象物の一瞬を捉えて撮像された左観察画像４０１Ｌと右観察画像４０１Ｒを取得できるので、従来では不可能であった動く観察対象物の３次元観察画像を構築することが可能となる。
【００５３】
＜２．第２の実施の形態＞
［顕微鏡システムの構成例］
次に、図８を参照して、本発明の第２の実施の形態について説明する。本発明の第２の実施の形態（図８）は、第１の実施の形態（図３）と比較して、実体顕微鏡１０１の結像レンズ１５３Ｌ，１５３Ｒにより結像される観察光を、撮影用と接眼用の光に分割するための偏向素子１５４Ｌ，１５４Ｒが設けられている点が異なる。すなわち、結像レンズ１５３Ｌにより結像される観察光は、例えば、ビームスプリッタプリズムにより構成される偏向素子１５４Ｌに入射し、偏向素子１５４Ｌを透過し、接眼レンズ１５５Ｌに入射する接眼用の光と、偏向素子１５４Ｌにより反射され、撮影ユニット１６１Ｌに入射する撮影用の光に分割される。
【００５４】
同様に、結像レンズ１５３Ｒにより結像された観察光は、偏向素子１５４Ｌと同様の構成の偏向素子１５４Ｒに入射し、偏向素子１５４Ｒを透過し、接眼レンズ１５５Ｒに入射する接眼用の光と、偏向素子１５４Ｒにより反射され、撮影ユニット１６１Ｒに入射する撮影用の光に分割される。
【００５５】
そして、接眼レンズ１５５Ｌおよび接眼レンズ１５５Ｒにより、互いに視差が異なる左眼用および右眼用の像（以下、観察像という）が形成される。観察者は、接眼レンズ１５５Ｌおよび接眼レンズ１５５Ｒを介して、左眼用および右眼の観察像をそれぞれ左眼および右眼で見ることにより、観察対象物１０２の像を立体視することができる。
【００５６】
また、第１の実施の形態と同様に、撮影ユニット１６１Ｌの撮像素子１７１Ｌは、偏向素子１５４Ｌにより反射された観察光による像を撮影し、得られた左眼用の左観察画像４０１Ｌを示す画像信号を、ケーブル１６２Ｌを介してコントロールボックス３０１に供給する。同様に、撮影ユニット１６１Ｒの撮像素子１７１Ｒは、偏向素子１５４Ｒにより反射された観察光による像を撮影し、得られた右眼用の右観察画像４０１Ｒを示す画像信号を、ケーブル１６２Ｒを介してコントロールボックス３０１に供給する。
【００５７】
コントロールボックス３０１は、上述した図４のコントロールボックス３０１と同様の機能的構成を有しており、図５のフローチャートに示した処理と同様の処理を行うことで、実体顕微鏡１０１から取得した左観察画像４０１Ｌと右観察画像４０１Ｒの２枚の観察画像を用いて、それらの観察画像の対応する各位置ごとに奥行き量を演算し、演算された奥行き量に基づいた観察対象物１０２の３次元モデルを生成する。そして、コントロールボックス３０１は、３次元モデルに基づいて、観察対象物１０２を垂直視したときの画像（以下、垂直視画像という）を生成して、２Ｄディスプレイ装置３０３に表示させる。例えば、図８の２Ｄディスプレイ装置３０３の画面に表示された三角形の垂直視画像が表示される。なお、図８の２Ｄディスプレイ装置３０３に表示された三角形の垂直視画像は、図８の形状参考図４００の観察対象物１０２の矢視図に対応するものとなる。
【００５８】
これにより、観察者は、接眼レンズ１５５Ｌおよび接眼レンズ１５５Ｒを介して、左眼用および右眼の観察像を観察することにより、観察対象物１０２の像を立体視することができるとともに、２Ｄディスプレイ装置３０３に表示された垂直視した観察対象物１０２の像（垂直視画像）も確認することができる。
【００５９】
また、第２の実施の形態においては、上述した第１の実施の形態と同様に、実体顕微鏡１０１から１度に取得される左観察画像４０１Ｌと右観察画像４０１Ｒという２枚の観察画像のみを用いた所定の画像処理により、垂直視画像を表示させることができるので、簡便に、観察対象物の３次元観察を行うことができる。
【００６０】
＜３．第３の実施の形態＞
［顕微鏡システムの構成例］
次に、図９を参照して、本発明の第３の実施の形態について説明する。本発明の第３の実施の形態（図９）は、第１の実施の形態（図３）と比較して、図１のコントロールボックス３０１の代わりにパーソナルコンピュータ３０４が設けられている点が異なる。また、パーソナルコンピュータ３０４には、撮影ユニット１６１Ｌを制御する撮影コントローラ３０５Ｌと、撮影ユニット１６１Ｒを制御する撮影コントローラ３０５Ｒが接続されている。
【００６１】
撮影コントローラ３０５Ｌは、撮影ユニット１６１Ｌを制御して、結像レンズ１５３Ｌにより結像された観察光による像を撮像素子１７１Ｌで撮影し、得られた左眼用の左観察画像４０１Ｌを示す画像信号を、ケーブル１６２Ｌを介して取得し、パーソナルコンピュータ３０４に供給する。同様に、撮影コントローラ３０５Ｒは、撮影ユニット１６１Ｒを制御して、結像レンズ１５３Ｒにより結像された観察光による像を撮像素子１７１Ｒで撮影し、得られた右眼用の右観察画像４０１Ｒを示す画像信号を、ケーブル１６２Ｒを介して取得し、パーソナルコンピュータ３０４に供給する。
【００６２】
パーソナルコンピュータ３０４は、上述した図４のコントロールボックス３０１と同様の機能的構成を有しており、図５のフローチャートに示した処理と同様の処理を行うことで、実体顕微鏡１０１から取得した左観察画像４０１Ｌと右観察画像４０１Ｒの２枚の観察画像を用いて、それらの観察画像の対応する各位置ごとに奥行き量を演算し、演算された奥行き量に基づいた観察対象物１０２の３次元モデルを生成する。そして、パーソナルコンピュータ３０４は、３次元モデルに基づいて、観察対象物１０２の３次元観察画像や、観察対象物１０２を垂直視したときの垂直視画像を生成して、２Ｄディスプレイ装置３０３に表示させる。例えば、図９の２Ｄディスプレイ装置３０３には、その画面に表示された三角柱の３次元画像や図９の３次元画像４０２、あるいは、図９の形状参考図４００の観察対象物１０２の矢視図に対応する垂直視画像が表示される。
【００６３】
これにより、パーソナルコンピュータ３０４により実行されるプログラムのバージョンアップを行うだけで、既存の実体顕微鏡を用いた顕微鏡システムを、簡単に本発明の３次元観察画像を表示可能な顕微鏡システムに更新することができる。また、プログラムを更新するだけで、特に新たな光学部材などを追加する必要がないため、より安価に顕微鏡システムを構築できる。
【００６４】
また、第３の実施の形態においては、上述した第１の実施の形態と同様に、実体顕微鏡１０１から１度に取得される左観察画像４０１Ｌと右観察画像４０１Ｒという２枚の観察画像のみを用いた所定の画像処理により、３次元観察画像や垂直視画像を表示させることができるので、簡便に、観察対象物の３次元観察を行うことができる。
【００６５】
＜４．第４の実施の形態＞
［顕微鏡システムの構成例］
次に、図１０を参照して、本発明の第４の実施の形態について説明する。本発明の第４の実施の形態（図１０）は、第１の実施の形態（図３）と比較して、図３の２Ｄディスプレイ装置３０３の代わりに３Ｄディスプレイ装置３０６が設けられている点が異なる。また、説明を簡略化するため、実体顕微鏡１０１の記載を省略して撮影ユニット１６１Ｌ，１６１Ｒの撮像素子１７１Ｌ，１７１Ｒのみを記載しているが、撮像素子１７１Ｌ，１７１Ｒによって、結像レンズ１５３Ｌ，１５３Ｒにより結像された観察光による像が撮影され、得られた左眼用の左観察画像４０１Ｌ，右目用の右観察画像４０１Ｒを示す画像信号が、ケーブル１６２Ｌ，１６２Ｒを介して取得され、コントロールボックス３０１に供給される点は一致している。
【００６６】
コントロールボックス３０１は、上述した図４のコントロールボックス３０１と同様の機能的構成を有しており、図５のフローチャートに示した処理と同様の処理を行うことで、実体顕微鏡１０１から取得した左観察画像４０１Ｌと右観察画像４０１Ｒの２枚の観察画像を用いて、それらの観察画像の対応する各位置ごとに奥行き量を演算し、演算された奥行き量に基づいた観察対象物１０２の３次元モデルを生成する。そして、コントロールボックス３０１（の３次元観察画像生成部３１４）は、３次元モデルに対してレンダリングを行い、３次元観察用画像として、左右両眼用の２枚の２次元画像（以下、左右両眼用画像という）を生成し、３Ｄディスプレイ装置３０６に供給する。
【００６７】
３Ｄディスプレイ装置３０６は、画像を立体的に表示する立体像表示装置であって、例えば、レンチキュラー方式またはパララックスバリア方式などの裸眼立体視ディスプレイ装置により構成される。そして、３Ｄディスプレイ装置３０６は、コントロールボックス３０１から供給される左右両眼用画像のデータに基づく左右両眼用画像を表示したときに、左眼用の画素列から発せられた光が観察者３０７の左眼に入射し、右眼用の画素列から発せられた光が観察者３０７の右眼に入射するように、各画素からの光の進路を調整する。
【００６８】
これにより、観察者３０７は、専用の３Ｄ眼鏡等を用いずに、左眼用画像を左眼で見て、右眼用画像を右眼で見ることができ、観察対象物１０２の像を立体視することができる。また、３Ｄディスプレイ装置３０６は、上述の裸眼立体視方式だけでなく、偏光や液晶シャッタを利用した眼鏡タイプのディスプレイにも適用可能である。
【００６９】
また、第４の実施の形態においては、上述した第１の実施の形態と同様に、実体顕微鏡１０１から１度に取得される左観察画像４０１Ｌと右観察画像４０１Ｒという２枚の観察画像のみを用いた所定の画像処理により、左右両眼用画像を表示させることができるので、簡便に、観察対象物の３次元観察を行うことができる。
【００７０】
＜５．変形例＞
上述した本発明の第１乃至第４の実施の形態において生成される３次元モデルまたは３次元観察画像のデータを３次元CAD（Computer Aided Design：コンピュータ支援設計)用のデータに変換することで、３次元CAD上で、コントロールボックス３０１やパーソナルコンピュータ３０４により生成された３次元モデルや３次元観察画像を表示させることも可能となる。
【００７１】
具体的には、図４に示すように、CADデータ変換部３１６は、３次元モデル生成部３１３により生成された３次元モデル、または、３次元観察画像生成部３１４により生成された３次元観察画像のデータを、３次元CADデータに変換する。CADデータ変換部３１６は、変換により得られた３次元CADデータを、３次元CADを実行可能な３次元CAD装置に出力する。なお、第３の実施の形態の場合には、３次元CADデータを３次元CAD装置に出力せずに、パーソナルコンピュータ３０４上で実行させるようにしてもよい。
【００７２】
これにより、例えば、３次元CADにより作成された設計データと、実体顕微鏡１０１により拡大観察された観察対象物１０２（設計データを基に実際に製作された製品など）とを３次元CAD上で比較することが可能となり、両者の相違点を直感的に認識させることができる。また、実験などにより製作したものや、例えばデザイン性が求められるものなどの３次元的には表示し難かったものを３次元データにする場合には、それらの実物を実体顕微鏡１０１により観察して、コントロールボックス３０１などにより３次元観察画像のデータを生成後、３次元CAD用のデータに変換することで、簡単に図面化することが可能となる。
【００７３】
また、以上の説明では、実体顕微鏡１０１、撮影ユニット１６１Ｌおよび撮影ユニット１６１Ｒ、コントロールボックス３０１、２Ｄディスプレイ装置３０３を別装置として説明したが、コントロールボックス３０１の全部または一部の機能を、実体顕微鏡１０１や、撮影ユニット１６１Ｌおよび撮影ユニット１６１Ｒ、２Ｄディスプレイ装置３０３に内蔵するようにしてもよい。
【００７４】
また、第１の実施の形態において、観察者による入力装置３０２の操作により、３次元表示された観察対象物１０２の３次元観察画像の任意の方向への回転が指示された場合、３次元観察画像生成部３１４は、３次元モデルの仮想空間上において回転に応じた視点位置から、３次元モデルを見たときの３次元観察画像を生成し、２Ｄディスプレイ装置３０３に表示させることもできる。例えば、図３の３次元画像４０２は、観察対象物１０２の３次元画像を２Ｄディスプレイ装置３０３上で回転させ状態を示しているが、従来の実体顕微鏡でこのような状態を実現するためには、観察対象物１０２を傾けたり、あるいは、実体顕微鏡１０１そのものを傾けなければ、このような角度で観察することは不可能であった。また、一度それらの情報を取得すれば、実際に観察対象物１０２が実体顕微鏡１０１（ピント面）に載置されていなくても、過去に取得した情報を用いて、様々な角度から観察対象物１０２の観察が可能となる。
【００７５】
これにより、観察者は、任意の方向から観察対象物１０２を観察することができる。この操作方法としては、入力装置３０２により、例えば、「Ｚキー」＋「マウスドラッグ」が操作された場合は、「パン操作」とし、「Ｘキー」＋「マウスドラッグ」が操作された場合は、「回転操作」とし、「Ｃキー」＋「マウスドラッグ」が操作された場合は、「ズーム操作」等とすることができる。また、勿論、２Ｄディスプレイ装置３０３に操作用のGUIとして、「パン操作」、「回転操作」、「ズーム操作」などの各操作を専用のツールバーとして表示し、入力装置３０２により選択させるようにしてもよい。
【００７６】
また、実体顕微鏡１０１の照明方法は、図２に示される例に限定されるものではなく、任意の方法を採用することができる。例えば、図１１に示されるように、左右にＬＥＤアレイ５１１ＬおよびＬＥＤアレイ５１１Ｒを備えるＬＥＤアレイ光源装置５０１を、対物レンズ１１５の取付部に取付けて、左斜め上方向および右斜め上方向から照明光を観察対象物１０２に照射するようにしてもよい。
【００７７】
また、照明光を照射する方向は、図２および図１１に示されるように左右の２方向に限定されるものではなく、例えば、３方向以上の方向から照明光を観察対象物１０２に照射するようにして、各照明光の光量または分光分布を制御するようにしてもよい。
【００７８】
また、コントロールボックス３０１と外部記録装置（不図示）とを接続して、左観察画像４０１Ｌと、右目用の右観察画像４０１Ｒから生成された３次元モデルを保存しておくことで、観察終了後に、保存された３次元モデルから観察対象物１０２の３次元観察画像を生成して表示することも可能となる。また、この保存の際には、第２の実施の形態で説明した、垂直視したときの垂直視画像を保存しておくようにしてもよい。これにより、例えば、観察し忘れた角度から観察対象物１０２を再度観察するといったことが可能となる。
【００７９】
また、第４の実施の形態においては、３Ｄディスプレイ装置３０６として、裸眼立体視ディスプレイ装置を用いて左右両眼用画像を観察する例を示したが、本発明は、３Ｄ眼鏡等を用いて左右両眼用画像を観察する場合にも適用することができる。
【００８０】
なお、本明細書において、プログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【００８１】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【００８２】
さらに、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【００８３】
１０１ 実体顕微鏡， １０２ 観察対象物, １５１ 対物レンズ, １５２Ｌ,１５２Ｒ アフォーカルズーム系, １５３Ｌ,１５３Ｒ 結像レンズ, １５４Ｌ,１５４Ｒ 偏向素子, １５５Ｌ,１５５Ｒ 接眼レンズ， １６１Ｌ，１６１Ｒ 撮影ユニット， １７１Ｌ，１７１Ｒ 撮像素子， ３０１ コントロールボックス， ３０２ 入力装置， ３０３ ２Ｄディスプレイ装置， ３０４ パーソナルコンピュータ， ３０６ ３Ｄディスプレイ装置， ３１１ 画像取得部， ３１２ 奥行き量演算部， ３１３ ３次元モデル生成部， ３１４ ３次元観察画像生成部， ３１５ 画像出力部， ３１６ CADデータ変換部
【特許請求の範囲】
【請求項１】
観察対象物を拡大観察する実体顕微鏡の左右眼光路上に配置された撮像手段により撮像された左右一対の観察画像を取得する画像取得手段と、
取得された前記左右一対の観察画像に基づいて、前記左右一対の観察画像の対応する各位置における、前記実体顕微鏡の中心軸に対する奥行き量を演算する演算手段と、
対応する各位置ごとに演算された前記奥行き量に基づいて、前記観察対象物に対応する３次元モデルを生成する３次元モデル生成手段と、
生成された前記３次元モデルに基づいて、前記観察対象物の３次元観察用の画像である３次元観察画像を生成する３次元観察画像生成手段と
を備えることを特徴とする画像処理装置。
【請求項２】
生成された前記３次元観察画像を、表示装置に出力する画像出力手段をさらに備える
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記表示装置は、画像を平面的に表示する平面像表示装置であり、
前記３次元観察画像生成手段は、前記３次元観察画像として、前記平面像表示装置において３次元表示される３次元画像を生成し、
前記画像出力手段は、生成された前記３次元画像を前記平面像表示装置に出力する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記３次元観察画像生成手段は、前記観察対象物を前記実体顕微鏡の中心軸に沿った方向から垂直視したときの垂直視画像を生成し、
前記画像出力手段は、生成された前記垂直視画像を前記平面像表示装置に出力する
ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記表示装置は、画像を立体的に表示する立体像表示装置であり、
前記３次元観察画像生成手段は、前記３次元観察画像として、前記立体像表示装置において立体視可能となる左右両眼用の２次元画像である左右両眼用画像を生成し、
前記画像出力手段は、生成された前記左右両眼用画像を前記立体像表示装置に出力する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項６】
前記３次元モデルまたは前記３次元観察画像のデータを３次元CADデータに変換する変換手段をさらに備える
ことを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記画像処理装置は、前記実体顕微鏡の制御を行う顕微鏡用制御装置である
ことを特徴とする請求項１から６の何れか一項に記載の画像処理装置。
【請求項８】
画像処理装置が、
観察対象物を拡大観察する実体顕微鏡の左右眼光路上に配置された撮像手段により撮像された左右一対の観察画像を取得し、
取得された前記左右一対の観察画像に基づいて、前記左右一対の観察画像の対応する各位置における、前記実体顕微鏡の中心軸に対する奥行き量を演算し、
対応する各位置ごとに演算された前記奥行き量に基づいて、前記観察対象物に対応する３次元モデルを生成し、
生成された前記３次元モデルに基づいて、前記観察対象物の３次元観察用の画像である３次元観察画像を生成する
ステップを含むことを特徴とする画像処理方法。
【請求項１】
観察対象物を拡大観察する実体顕微鏡の左右眼光路上に配置された撮像手段により撮像された左右一対の観察画像を取得する画像取得手段と、
取得された前記左右一対の観察画像に基づいて、前記左右一対の観察画像の対応する各位置における、前記実体顕微鏡の中心軸に対する奥行き量を演算する演算手段と、
対応する各位置ごとに演算された前記奥行き量に基づいて、前記観察対象物に対応する３次元モデルを生成する３次元モデル生成手段と、
生成された前記３次元モデルに基づいて、前記観察対象物の３次元観察用の画像である３次元観察画像を生成する３次元観察画像生成手段と
を備えることを特徴とする画像処理装置。
【請求項２】
生成された前記３次元観察画像を、表示装置に出力する画像出力手段をさらに備える
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記表示装置は、画像を平面的に表示する平面像表示装置であり、
前記３次元観察画像生成手段は、前記３次元観察画像として、前記平面像表示装置において３次元表示される３次元画像を生成し、
前記画像出力手段は、生成された前記３次元画像を前記平面像表示装置に出力する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記３次元観察画像生成手段は、前記観察対象物を前記実体顕微鏡の中心軸に沿った方向から垂直視したときの垂直視画像を生成し、
前記画像出力手段は、生成された前記垂直視画像を前記平面像表示装置に出力する
ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記表示装置は、画像を立体的に表示する立体像表示装置であり、
前記３次元観察画像生成手段は、前記３次元観察画像として、前記立体像表示装置において立体視可能となる左右両眼用の２次元画像である左右両眼用画像を生成し、
前記画像出力手段は、生成された前記左右両眼用画像を前記立体像表示装置に出力する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項６】
前記３次元モデルまたは前記３次元観察画像のデータを３次元CADデータに変換する変換手段をさらに備える
ことを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記画像処理装置は、前記実体顕微鏡の制御を行う顕微鏡用制御装置である
ことを特徴とする請求項１から６の何れか一項に記載の画像処理装置。
【請求項８】
画像処理装置が、
観察対象物を拡大観察する実体顕微鏡の左右眼光路上に配置された撮像手段により撮像された左右一対の観察画像を取得し、
取得された前記左右一対の観察画像に基づいて、前記左右一対の観察画像の対応する各位置における、前記実体顕微鏡の中心軸に対する奥行き量を演算し、
対応する各位置ごとに演算された前記奥行き量に基づいて、前記観察対象物に対応する３次元モデルを生成し、
生成された前記３次元モデルに基づいて、前記観察対象物の３次元観察用の画像である３次元観察画像を生成する
ステップを含むことを特徴とする画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１２−４２５２４（Ｐ２０１２−４２５２４Ａ）
【公開日】平成２４年３月１日（２０１２．３．１）
【国際特許分類】
【出願番号】特願２０１０−１８１２３０（Ｐ２０１０−１８１２３０）
【出願日】平成２２年８月１３日（２０１０．８．１３）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２４年３月１日（２０１２．３．１）
【国際特許分類】
【出願日】平成２２年８月１３日（２０１０．８．１３）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]