実体顕微鏡装置
【課題】高分解能で立体観察することができる実体顕微鏡装置を提供する。
【解決手段】観察光学系１０により集光された標本Ｓからの光をそれぞれ受ける位置に配列された複数のマイクロレンズＭＬを有するマイクロレンズアレイ１４と、マイクロレンズＭＬごとに複数の画素が割り当てられてなる撮像素子１５と、撮像素子１５の出力に対して所定の処理を施して左眼用画像及び右眼用画像を生成する画像処理回路２２と、画像処理回路２２において生成された左眼用画像及び右眼用画像をそれぞれ表示する左眼用表示装置１６Ｌ及び右眼用表示装置１６Ｒとを備え、画像処理回路２２は、マイクロレンズＭＬに割り当てられた複数の画素ごとに互いに同一の配置となる所定数の画素の画素データをそれぞれ抽出し、この抽出された画素データを当該配置に応じて合成することで互いに視差の異なる複数の視差画像を生成し、複数の視差画像の中から左眼用画像及び右眼用画像を取得する。
【解決手段】観察光学系１０により集光された標本Ｓからの光をそれぞれ受ける位置に配列された複数のマイクロレンズＭＬを有するマイクロレンズアレイ１４と、マイクロレンズＭＬごとに複数の画素が割り当てられてなる撮像素子１５と、撮像素子１５の出力に対して所定の処理を施して左眼用画像及び右眼用画像を生成する画像処理回路２２と、画像処理回路２２において生成された左眼用画像及び右眼用画像をそれぞれ表示する左眼用表示装置１６Ｌ及び右眼用表示装置１６Ｒとを備え、画像処理回路２２は、マイクロレンズＭＬに割り当てられた複数の画素ごとに互いに同一の配置となる所定数の画素の画素データをそれぞれ抽出し、この抽出された画素データを当該配置に応じて合成することで互いに視差の異なる複数の視差画像を生成し、複数の視差画像の中から左眼用画像及び右眼用画像を取得する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、標本を立体的に観察することができる実体顕微鏡装置に関する。
【背景技術】
【０００２】
従来から、生物分野や工業分野等において立体観察などの用途で実体顕微鏡が広く利用されている。例えば、平行系実体顕微鏡では、単対物レンズで被検物体(標本)からの光を集光した後、左右独立した光学系（アフォーカルズームレンズと結像レンズを組み合わせた結像光学系）に分割することにより、互いに視差の異なる像をそれぞれ結像させる。観察者は、各像を接眼レンズを通して個別に左右の眼で観察することにより立体視が可能である。
【０００３】
このような平行系実体顕微鏡では、対物レンズで集光された光が左右の光学系において２つの光路に分割されるため、左右の光学系の各有効径（光束のＮＡ）が対物レンズの有効径の約半分程度になってしまい、それに応じて分解能が低下することとなる。そのため、有効径を左右の光学系で非対称に構成して有効径に差を付けることで、有効径の大きい一方の光学系では分解能を向上させ、有効径の小さい他方の光学系では焦点深度を深くさせた実体顕微鏡が提案されている（例えば、特許文献１を参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−６５６５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記従来の実体顕微鏡においても、対物レンズからの光を２つの光路に分割しているため、左右の光学系で有効径に差を付けた場合に、一方の光学系の有効径を大きく確保すると、他方の光学系の有効径は小さくしなければならず、それに応じて分解能がさらに低下するという課題があった。
【０００６】
本発明は、このような課題に鑑みてなされたものであり、高分解能で立体観察することができる実体顕微鏡装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
このような目的を達成するため、本発明に係る実体顕微鏡装置は、標本からの光を集光する観察光学系と、前記観察光学系により集光された前記標本からの光をそれぞれ受ける位置に配列された複数のマイクロレンズを有するレンズアレイと、前記マイクロレンズごとに複数の画素が割り当てられてなる撮像素子と、前記撮像素子の出力に対して所定の処理を施して左眼用画像及び右眼用画像を生成する画像処理部と、前記画像処理部において生成された前記左眼用画像及び前記右眼用画像をそれぞれ表示する左眼用表示部及び右眼用表示部とを備え、前記画像処理部は、前記マイクロレンズに割り当てられた前記複数の画素ごとに互いに同一の配置となる所定数の画素の画素データをそれぞれ抽出し、この抽出された画素データを当該配置に応じて合成することで互いに視差の異なる複数の視差画像を生成し、前記複数の視差画像の中から前記左眼用画像及び前記右眼用画像を取得する。
【０００８】
なお、本発明に係る実体顕微鏡装置において、前記複数の画素において、前記左眼用画像を生成するために抽出される前記所定数と、前記右眼用画像を生成するために抽出される前記所定数とが互いに相違するように構成してもよい。
【０００９】
また、本発明に係る実体顕微鏡装置において、前記左眼用画像を生成するために抽出される前記所定数と、前記右眼用画像を生成するために抽出される前記所定数とのうちの、いずれか一方の所定数が１であり、他方の所定数が複数である構成でもよい。
【００１０】
また、本発明に係る実体顕微鏡装置において、前記観察光学系が、前記標本からの光を入射させて略平行光束として射出する対物レンズと、前記対物レンズからの光束を受けて当該光束径を変更する変倍光学系と、前記変倍光学系からの光束を受けて前記マイクロレンズの近傍位置に一次像面を形成する結像レンズとを有し、以下の条件式を満足することが好ましい。
ＮＡＬ ≦ Ｄ／２ｆ
ｐ／ｆ ≦ ＮＡＨ
但し、
ＮＡＬ：前記変倍光学系の最低倍率時における１次像面での光束のＮＡ、
ＮＡＨ：前記変倍光学系の最高倍率時における１次像面での光束のＮＡ、
ｆ ：前記マイクロレンズの焦点距離、
Ｄ ：前記マイクロレンズの有効径、
ｐ ：前記撮像素子の画素ピッチ。
【００１１】
また、本発明に係る実体顕微鏡装置において、前記結像レンズと前記レンズアレイとの間の光路に、フィールドレンズが前記変倍光学系の変倍率に応じて挿抜自在に配置されている構成でもよい。
【発明の効果】
【００１２】
本発明によれば、高分解能で立体観察することができる実体顕微鏡装置を提供することが可能である。
【図面の簡単な説明】
【００１３】
【図１】本実施形態に係る実体顕微鏡の斜視図である。
【図２】上記実体顕微鏡の要部構成を示す図である。
【図３】本実施形態の光学系の概要を説明するための図である。
【図４】撮像素子面におけるＭＬ領域の一例を示す図である。
【図５】ＭＬ領域における画素信号の検出方法を説明するための図である。
【図６】１画素単位の画素ブロックによる画素信号の検出方法を説明するための図である。
【図７】１画素単位の画素ブロックにおいて撮像素子の出力から左眼用画像及び右眼用画像を生成する処理を示す図である。
【図８】複数画素単位の画素ブロックによる画素信号の検出方法を説明するための図である。
【図９】複数画素単位の画素ブロックにおいて撮像素子の出力から左眼用画像及び右眼用画像を生成する処理を示す図である。
【図１０】ズーム光学系を変倍したときの一次像面での光束のＮＡの変化を示す図である。
【図１１】上記実体顕微鏡においてフィールドレンズを配置した変形例を示す図である。
【図１２】ズーム光学系の変倍に応じてフィールドレンズを挿抜したときの光線の変化の様子を示す図である。
【図１３】画素ブロックの取り方の変形例を示す図である。
【図１４】画素ブロックの上記変形例において、撮像素子の出力から左眼用画像及び右眼用画像を生成する処理を示す図である。
【発明を実施するための形態】
【００１４】
以下、本発明の一実施形態に係る実体顕微鏡について図面を参照して説明する。なお、以下の実施の形態は、発明の理解の容易化のためのものに過ぎず、本発明の技術的思想を逸脱しない範囲において当業者により実施可能な付加・置換等を施すことを排除することは意図していない。
【００１５】
図１に本実施形態に係る実体顕微鏡１００の斜視図を示しており、先ず、この図を参照して実体顕微鏡１００の全体構成を概要説明する。この実体顕微鏡１００は、単対物双眼構成の顕微鏡装置であり、透過照明装置を内蔵するベース部（照明部）１０１と、内部にズーム光学系を有するズーム鏡体１０３と、ズーム鏡体１０３の上部に取り付けられた鏡筒１０４と、この鏡筒１０４に取り付けられた左右の双眼部１０５と、ズーム鏡体１０３を上下動させる焦準機構１０６等を備えて構成される。
【００１６】
ベース部１０１の上面にはステージガラスを埋め込んだ標本載置台１０２が設けられている。また、ベース部１０１の基部側に支柱１０７が立設されて、この支柱１０７に焦準機構１０６が設けられている。
【００１７】
ズーム鏡体１０３は、焦準機構１０６を介してベース部１０１に設けられており、その下部には対物レンズ取付部１０８が設けられ、この対物レンズ取付部１０８に交換可能な対物レンズが取り付けられている。この対物レンズ取付部１０８には、予め定められた複数の低倍率の対物レンズ及び複数の高倍率の対物レンズのうちから一つが選択されて取り付けられる構成の場合と、予め定められた複数の低倍率の対物レンズ及び複数の高倍率の対物レンズのうちから複数が選択されて取り付けられる構成の場合などがある。
【００１８】
ズーム鏡体１０３の内部にはズーム光学系（アフォーカルズームレンズ）が配置され、このズーム鏡体１０３の外側にはズーム光学系を移動させるためのズームハンドル１０９が配置されている。ズーム光学系は、変倍のための可動群を含んでおり、ズームハンドルの回動操作に連動して予め定められた移動量に則り光軸方向に移動してズーム変倍される。また、ズーム鏡体１０３の上部には、鏡筒１０４が取り付けられ、この鏡筒１０４には接眼レンズを有する左右の双眼部１０５が取り付けられている。
【００１９】
焦準機構１０６は、標本に焦点を合わせるための焦準ハンドル１１０と、この焦準ハンドル１１０の回動操作に伴いズーム鏡体１０３を軸に沿って上下動させる機構部（図示せず）とを有している。そのため、焦準機構１０６は、ズーム鏡体１０３と共に鏡筒１０４及び双眼部１０５を一体的に標本載置台１０２に対して相対的に上下動させ、標本に対する焦点合わせを行う。
【００２０】
標本は、ベース部１０１の標本載置台（ステージガラス）１０２上に載置され、対物レンズの光軸近傍に配置されるとともに、ベース部１０１の内部に配設された透過照明装置により透過照明される。照明された標本は、ズーム鏡体１０３、鏡筒１０４及び双眼部１０５等を介して観察される。以上のようにして、左右両眼において標本を立体視可能な実体顕微鏡１００が構成されている。
【００２１】
引き続き、図２及び図３を追加参照して、実体顕微鏡１００について更に詳細な構成を説明する。ここで、図２は実体顕微鏡１００の要部構成を示す図である。
【００２２】
この実体顕微鏡１００では、標本Ｓに照明光を照射する透過照明装置（図示せず）と、標本Ｓの像を観察するための対物レンズを含む観察光学系１０と、観察光学系１０によって形成される一次像面に配置されたマイクロレンズアレイ１４と、マイクロレンズアレイ１４の焦点面に配置された撮像素子１５と、撮像素子１５からの出力に基づいて左眼用画像及び右眼用画像を表示する左眼用表示装置１６Ｌ及び右眼用表示装置１６Ｒと、左右一対の接眼レンズ１７Ｌ，１７Ｒとを備えており、これらが前述のベース部１０１、ズーム鏡体１０３、鏡筒１０４及び双眼部１０５に搭載されている。観察光学系１０は、標本Ｓ側から順に、対物レンズ１１、この対物レンズ１１から射出された略平行光束の径を変倍して再び略平行光束として射出するズーム光学系（変倍光学系）１２、ズーム光学系１２からの平行光束を集光して物体の像を結像する結像レンズ１３を有している。
【００２３】
更に、実体顕微鏡１００は、この顕微鏡の作動を統括的に制御する制御ユニット２０として、駆動回路２１、画像処理回路２２、メモリ２３、制御回路２４、ユーザインターフェース２５等を備えている。結像レンズ１３の焦点面近傍に入射した結像光束は、撮像素子１５において電気信号に変換される。この撮像素子１５は駆動回路２１によって駆動され、撮像素子１５からの出力信号は、この駆動回路２１を介して画像処理回路２２に取り込まれる。画像処理回路２２は、その出力信号に基づき標本の画像データを合成する。合成された画像データは、メモリ２３に格納されるとともに、左眼及び右眼表示装置１６Ｌ，１６Ｒにおいて画像表示される。
【００２４】
また、以上の駆動回路２１、画像処理回路２２、及びメモリ２３は、制御回路２４によって制御される。制御回路２４は、例えばマイクロコンピュータなどにより構成され、ユーザインターフェース２５を介してユーザから入力された指示に従ってその制御を実行する。このユーザ操作は、例えば、所定のディスプレイに表示されるＧＵＩ（Graphical User Interface）の表示画面に基づく、マウスやキーボード操作等の入力装置の操作によって実現される。
【００２５】
図３は、この実体顕微鏡１００において左右二視点の視差画像を生成する原理を示しており、以下において実体顕微鏡１００の光学系の概要を中心としてこれを説明する。なお、その説明を簡略化するために、図３においては、観察光学系１０を構成する対物レンズ１１、ズーム光学系１２及び結像レンズ１３を、纏めて主レンズ１０Ｌとして図示している。
【００２６】
この構成では、所定の位置にある標本Ｓの表面（以下、標本面Ｓとも称する）が主レンズ１０Ｌで結像する面にマイクロレンズアレイ１４を配置し、マイクロレンズアレイ１４の焦点距離だけ離れた位置に撮像素子１５を配置している。マイクロレンズアレイ１５は、複数のマイクロレンズＭＬを二次元状に配列してなる光学素子である。このとき、撮像素子１５の面が、主レンズ１０Ｌ（対物レンズ１１）の瞳面と共役になっており、各マイクロレンズＭＬで結像した像のできる領域（以下、「ＭＬ領域」と称する）から得られる各画素の画像信号は、瞳を分割した像となっている。換言すると、結像された光線が、瞳面から見て違う角度ごとの光線に振り分けられている。
【００２７】
撮像素子１５は、マイクロレンズ１４からの光を受光して撮像データを取得するものである。撮像素子１５は、例えば、ＣＣＤ（Charge Coupled Device）センサや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどの固体撮像素子であり、各マイクロレンズＭＬを通過した光を受光する画素配列を、マイクロレンズＭＬに対応した配置パターンで配置してなる。すなわち、ＭＬ領域として複数の画素群が割り当てられるようになっている。
【００２８】
図４は、撮像素子１５における撮像面上のＭＬ領域の一例を示す図である。図４において、６×６個の円の各々は、マイクロレンズアレイ１４を主レンズ１０Ｌの光軸方向から見た場合に二次元状に配列されたマイクロレンズＭＬを示しており、これに重なるように格子状に配列された６×６個の四角のそれぞれの領域が、撮像素子１５におけるＭＬ領域を示している。１つのＭＬ領域に注目してみると、（各マイクロレンズＭＬに割り当てられた）ＭＬ領域の縦方向の画素数及び横方向の画素数はそれぞれ５個（つまり、５×５個の画素配列）である。すなわち、マイクロレンズアレイ１４を構成する３６個のマイクロレンズＭＬによって結像された像のそれぞれが、撮像素子１５の撮像面上の５×５個からなる画素群上にＭＬ領域を形成している。この図４の例では、撮像素子１５の画素数は３０×３０個を想定しており、各マイクロレンズＭＬを通過してきた光線がＭＬ領域における２５個（５×５個）の画素の各々に受光されるようになっている。
【００２９】
ここで、図３においては説明を分かり易くするために、撮像素子１５において光軸と垂直な面内における一方向（これをＸ方向（左右方向）とする）に並んだ５つの画素ａ，ｂ，ｃ，ｄ，ｅに入射する各光線（対応するマイクロレンズＭＬの中心を通る主光線のみ）を示している。図３において、標本面Ｓ上の点Ｓ１からの光線は、主レンズ１０Ｌを通過する際に瞳面を通って（ここではｒ１〜ｒ５の）光線群となり、各マイクロレンズＭＬで結像した像のできる領域、すなわち各ＭＬ領域の撮像素子１５の画像信号となる。図示のように、焦点位置（ピント面）からの光線ｒ１，ｒ２，ｒ３，ｒ４，ｒ５は、マイクロレンズアレイ１４の表面の１点に集まり、マイクロレンズＭＬのレンズ作用によって撮像素子１５の面上では、各ＭＬ領域のそれぞれの画素ａ，ｂ，ｃ，ｄ，ｅに対応して、ａｉ，ｂｉ，ｃｉ，ｄｉ，ｅｉの画素信号となる。ここで、符号ａｉ，ｂｉ，ｃｉ，ｄｉ，ｅｉで示すのは、Ｘ方向に並ぶ５つの画素ａ，ｂ，ｃ，ｄ，ｅが個別に出力する画素信号（画素値）の概念である。なお、ここでは、Ｘ方向に並ぶ５つの画素ａ，ｂ，ｃ，ｄ，ｅのみに着目しているが、実際はＸ，Ｙ方向（互いに直交する２方向）に並ぶ２５個の画素の各々から個別に画素信号が出力される。
【００３０】
撮像素子１５では、駆動回路２１による駆動動作に応じて、画素単位で光線情報の読み出しが行われて、画像データが得られる。このように撮像素子１５で捉えた画像データでは、標本面Ｓからの光線に対して、その強度情報とともに、マイクロレンズＭＬの配置によって光線の位置情報と、各マイクロレンズＭＬに割り当てられたＭＬ領域内の画素の配置によって光線の進行方向とが独立に検出される。すなわち、光線の視差情報を検出することができる。
【００３１】
本実施形態では、例えば、標本面Ｓ上の点Ｓ１からの光線のうち、中心の光線ｒ３よりも右側にある光線（例えば、光線ｒ４，ｒ５）については右眼用の視差情報を有しているとみなせる。一方、中心の光線ｒ３よりも左側にある光線（例えば、光線ｒ１，ｒ２）については左眼用の視差情報を有しているとみなせる。
【００３２】
画像処理回路２２は、撮像素子１５からの出力に基づいて、所定の画像処理を施して、左右２つの視点における視差画像を生成する。この視差画像の解像度はマイクロレンズＭＬの個数で決まり、視差数は各マイクロレンズＭＬに割り当てられたＭＬ領域の画素数で決まる。ここで、各マイクロレンズＭＬに割り当てられたＭＬ領域を、１画素単位もしくは複数画素単位でいくつかの領域に分割し、それぞれの領域だけで選択処理した画像データを生成する。主レンズ１０Ｌ（対物レンズ１１）の瞳面と撮像素子１５の撮像面とは共役なので、これにより、領域分割の数だけその瞳面が分割された画像が得られる。
【００３３】
このようにＭＬ領域を１画素単位または複数画素単位で分割してなる一つの領域（所定数の画素からなる画素領域）を以降では画素ブロックＧＢと称して説明する。ＭＬ領域を１画素単位で領域分割する場合（すなわち画素ブロックＧＢが１画素の場合）、生成できる視差画像（多視点画像）の数は最大で５×５＝２５個である。
【００３４】
図５はＭＬ領域における画素信号の検出方法を説明するための図であり、図６は撮像素子１５全体としての画素信号の検出方法を説明するための図である。ここでは説明を簡略化するために、ＭＬ領域においてＸ方向（左右方向）に異なる５つの領域で、画素ブロックＧＢを１画素単位として検出することで視差画像を生成する場合を例示する。撮像素子１５は主レンズ１０Ｌ（対物レンズ１１）の瞳面と光学的に共役な関係になっているので、左右方向５つの視点（角度）で、１画素に相当するレンズの開口からの光線により画像データが生成されることになる。ここで検出した５つの画素は、図３における画素ａ，ｂ，ｃ，ｄ，ｅと同じ画素と考えてよい。各マイクロレンズＭＬに割り当てられた画素ブロックＧＢの画素数は、共役関係にある瞳面での検出する光線の大きさ（光束径）を決める。つまりレンズのＦ値に相当し、これが小さいと焦点深度が深くなり、大きいと焦点深度が浅くなる。よって、画素ブロックＧＢとして１画素検出した場合では焦点深度の深い画像（視差画像）が得られる。
【００３５】
図６において、各ＭＬ領域で互いに同じ位置の画素（ここでは、Ｘ方向に並ぶ画素ａ，ｂ，ｃ，ｄ，ｅごと）における画素信号をそれぞれ抽出し、この抽出した画素信号同士を合成することで、互いに視差の異なる５つの視差画像が得られる。つまり、ＭＬ領域ごとに、画素信号ａｉを集めた画像、画素信号ｂｉを集めた画像、画素信号ｃｉを集めた画像、画素信号ｄｉを集めた画像、及び画素信号ｅｉを集めた画像、のそれぞれが視差画像として生成される。なお、ここでは、ＭＬ領域でＸ方向に並ぶ５つの画素ａ，ｂ，ｃ，ｄ，ｅのみに着目し、それら５つの画素に基づいて５つの視差画像を生成しているが、実際はＭＬ領域でＸ，Ｙ方向（２方向）に並ぶ２５個の画素に基づいて２５個の視差画像を生成できる。
【００３６】
画像処理回路２２は、このように生成される視差画像のうち、左視点における視差画像を左眼用画像とし、右視点における視差画像を右眼用画像として取得する。例えば、図７に示すように、各ＭＬ領域の最左列中央に位置する画素ａの出力に基づいて得られる左視点の視差画像を左眼用画像３０Ｌとし、各ＭＬ領域の最右列中央に位置する画素ｅの出力に基づいて得られる右視点の視差画像を右眼用画像３０Ｒとする。このとき、各ＭＬ領域の画素ａの出力（画素信号）が左眼用画像３０Ｌの画素１つ１つに対応され、各ＭＬ領域の画素ｅの出力（画素信号）が右眼用画像３０Ｒの画素１つ１つに対応される。ここで、画素ａ及び画素ｅの出力のみに基づいて左右二視点の左眼用画像３０Ｌ及び右眼用画像３０Ｒを取得する場合には、画素ａ及び画素ｅ以外の画素信号は実質的に不要であるため、駆動回路２１の制御により、撮像素子１５からは必要とされる画素ａ及び画素ｅの画素信号のみを選択的に取り出すようにすることが好ましい。
【００３７】
なお、これに限定されず、画素ｂの出力から生成した視差画像を左眼用画像とし、画素ｄの出力から生成した視差画像を右眼用画像としてもよく、また、画素ａの出力から生成した視差画像を左眼用画像とし、画素ｃの出力から生成した視差画像を右眼用画像としてもよく、これらはユーザインターフェース２５を利用してユーザが任意に指定することが可能である。
【００３８】
一方、図８では、撮像素子１５の各ＭＬ領域において光軸と垂直な面内におけるＸ方向に異なる領域で、画素ブロックＧＢとして複数画素単位（例えば、短冊状に６個（２×３個）の画素）で検出する場合を例示する。図８において、各ＭＬ領域で互いに同じ位置の画素領域（ここでは、図８で塗り潰された６画素の画素ブロックＧＢ）における画素信号をそれぞれ抽出し、この画素ブロックＧＢを構成する６つの画素の画素信号の和を視差画像の１画素分の画素信号として求め、この画素信号同士をその配置に応じて合成することで互いに視差の異なる４つの視差画像が得られる。
【００３９】
画像処理回路２２は、このように生成される視差画像のうち、左視点における視差画像を左眼用画像とし、右視点における視差画像を右眼用画像として取得する。例えば、図９に示すように、ＭＬ領域の左端中央に位置する６つの画素（画素ブロック）の出力に基づいて得られる左視点の視差画像を左眼用画像４０Ｌとし、右端中央に位置する６つの画素（画素ブロック）の出力に基づいて得られる右視点の視差画像を右眼用画像４０Ｒとする。このとき、ＭＬ領域の左端中央に位置する６つの画素の出力（画素信号）が左眼用画像４０Ｌの画素１つ１つに対応され、ＭＬ領域の右端中央に位置する６つの画素の出力（画素信号）が右眼用画像４０Ｒの画素１つ１つに対応される。ここでも、１画素単位の画素ブロックＧＢの場合と同様に、撮像素子１５からは必要とされる画素ブロックＧＢの画素信号のみを選択的に取り出すようにすることが好ましい。また、図８（Ｂ）に示す６つの画素（画素ブロック）の出力から生成した視差画像を左眼用画像とし、図８（Ｃ）に示す６つの画素（画素ブロック）の出力から生成した視差画像を右眼用画像としてもよく、これらはユーザインターフェース２５を利用してユーザが任意に指定することが可能である。
【００４０】
なお、この画素ブロックＧＢとして６画素単位の検出においては、この画素ブロックＧＢで捉える瞳面を通過する光線は上述の１画素単位の検出の場合と比して６倍広いので（Ｆ値が小さくなり）、得られる視差画像（左眼用画像４０Ｌ及び右眼用画像４０Ｒ）の焦点深度は浅くなるが、分解能は高められる。従って、画素ブロックＧＢ（光束のＮＡ）を小さくとると焦点深度の深い視差画像が得られ、画素ブロックＧＢ（光束のＮＡ）を大きくとると分解能の高い視差画像が得られることになる。ここで、画素ブロックＧＢの取り方としては、上述の形態に限定されず、所望の分解能及び焦点深度に応じて、１画素単位または複数画素単位で任意に設定することが可能である。
【００４１】
画像処理回路２２は、これら左右二視点の視差画像を左眼用画像及び右眼用画像としてメモリ２３に記憶するとともに、左眼用表示装置１６Ｌ及び右眼用表示装置１６Ｒに出力して標本の拡大像として画像を表示させる。ユーザは、左右の眼で個別に表示装置１６Ｌ，１６Ｒ（双眼部１０５）を覗くと、視差を持った左眼用画像及び右眼用画像を左右の眼で個別に捉えられるので、標本の立体視が実現する。
【００４２】
ここで、ユーザインターフェース２５（ユーザ操作）によって、各ＭＬ領域内で画素ブロックＧＢを任意に選択設定して、左眼用画像及び右眼用画像を、左右視点で共に焦点深度の深い視差画像としてそれぞれ表示させたり、左右視点で共に分解能の高い画像としてそれぞれ表示させることができるが、左眼用画像と右眼用画像とを異なる画素数の画素ブロックＧＢから取得し、これを左右視点の視差画像として表示させることも可能である。より具体的には、左眼用画像及び右眼用画像のうち、一方の画像を１画素単位の画素ブロックＧＢで生成（例えば、図６（Ａ）に示すように上述の画素ａの出力に基づく左視点の視差画像３０Ｌを生成）し、他方の画像を複数画素単位の画素ブロックＧＢで生成（例えば、図８（Ｄ）に示すように、上述の右端中央の６画素の出力に基づく右視点の視差画像４０Ｒを生成）することで、一方の眼では焦点深度の深い視差画像として捉え、他方の眼では分解能の高い視差画像として捉えることができ、これにより、焦点深度の深い画像と分解能の高い画像とを両眼視差の画像として同時に観察することができる。
【００４３】
以上説明した本実施形態に係る実体顕微鏡によれば、対物レンズ１１で集光された光束を複数の光路に分割する必要がないため、観察光学系１０の開口数を大きく確保して、標本Ｓを高分解能で立体観察することが可能である。また、左右の像を形成する光束のＮＡの比率を調整することで（左右で画素ブロックＧＢの取り方を相違させることで）、一方では分解能の高い画像を取得し、他方では焦点深度の深い画像を取得して、高分解能で深い焦点深度の画像を同時に観察することができる。従って、所望の分解能及び焦点深度を得ることが可能な実体顕微鏡を提供することが可能である。
【００４４】
ところで、図１０に示すように、実体顕微鏡１００において、ズーム光学系（アフォーカルズームレンズ）１２を用いるとき、以下の条件式（１），（２）を満足することが好ましい。
ＮＡＬ ＜ Ｄ／２ｆ …（１）
２ｐ／２ｆ ＜ ＮＡＨ …（２）
但し、
ＮＡＬ：ズーム光学系１２の最低倍率時における一次像面での光束のＮＡ、
ＮＡＨ：ズーム光学系１２の最高倍率時における一次像面での光束のＮＡ、
ｆ：マイクロレンズＭＬの焦点距離、
Ｄ：マイクロレンズＭＬの有効径、
ｐ：撮像素子１５の画素ピッチ（画素サイズ）。
【００４５】
条件式（１），（２）は、一次像面での光束のＮＡの適切な範囲を規定するものであり、その光束径を画素サイズｐの２倍以上の大きさであってマイクロレンズＭＬの有効径Ｄよりも小さい範囲で調整することが望ましい。これは左右視点の視差画像を得るためには、各マイクロレンズＭＬに割り当てられる撮像素子１５のＭＬ領域として、少なくとも１画素単位の画素ブロックＧＢで一方向（Ｘ方向）に並ぶ２つ以上の画素が必要だからである。この条件式（１），（２）を満足する範囲内においてズーム光学系１２を変倍操作して、光束のＮＡを大きくすることで分解能の高い視差画像が得られ、光束のＮＡを小さくすることで焦点深度の深い視差画像を得ることができる。なお、図１０においては、マイクロレンズＭＬに割り当てられる画素の数が、ズーム光学系１２の最低倍率時に３×３個（図１０ではＸ方向の３個のみが現れる）、最高倍率時に５×５個（図１０ではＸ方向の５個のみが現れる）となっているが、このマイクロレンズＭＬによる画素割り当て数はこれに限定されるものではなく、上記条件式（１），（２）を満足する範囲において、必要な分解能に応じて適宜設定されることが望ましい。
【００４６】
なお、本実施形態に係る実体顕微鏡１００は、上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。
【００４７】
例えば、実体顕微鏡の変形例を図１１に示す。この実体顕微鏡においては、図１１に示すように、マイクロレンズアレイ１４の直前に（結像レンズ１３とマイクロレンズアレイ１４との間に）、不図示のアクチュエータ等によりフィールドレンズＦＬが挿抜自在に配置されていることが好ましい。ズーム光学系１２では射出瞳の位置が変倍の際に焦点距離の変化に応じて移動する（一般に変倍比が高くなるほど射出瞳位置の変動は大きくなる）ため、このズーム光学系１２の変倍の際に撮像素子１５における結像位置が面内方向（画素配列方向）にずれてしまうおそれがある。そこで、一次像面の近傍にフィールドレンズＦＬを配置することで、ズーム光学系１２の変倍による射出瞳位置の変動を補正することができる。例えば、図１２では、ズーム光学系１２の低倍率時にフィールドレンズＦＬを系外へ抜脱し、高倍率時にマイクロレンズアレイ１４の直前にフィールドレンズＦＬを挿入してその射出瞳位置のずれを補正する形態が例示されている。これとは反対に、フィールドレンズＦＬをズーム光学系１２の低倍率時に挿入し、高倍率時に系外へ抜脱する形態としてもよい。
【００４８】
また、上述の実体顕微鏡１００では、照明光学系としてベース部１０１に内蔵された透過照明光学系（透過照明装置）を用いた場合について例示したが、落射照明光学系を採用してもよい。
【００４９】
また、画素ブロックＧＢ（における画素の個数、画素の配列）の取り方としては上述の実施形態に限定されず、観察に必要とする分解能及び焦点深度などに応じて適宜設定することができる。例えば、図１３に示すように、画素ブロックＧＢとして９個の画素（３×３個の画素）を選択して、左眼用画像５０Ｌ及び右眼用画像５０Ｒを生成してもよい。このとき、図１３及び図１４に示すように、ＭＬ領域内において左右視点で選択した一対の画素ブロックに互いにオーバーラップする領域（ここでは縦方向に並ぶ中央３個の画素）が生じているが、当該オーバーラップする領域が大きすぎると、その分だけ視差情報の共有量が大きくなるため、左右で適度な視差が得られない。そのため、画素ブロックＧＢの取り方としては、左右の視点でオーバーラップする領域が生じないように選択することが望ましい。
【符号の説明】
【００５０】
１０ 観察光学系
１１ 対物レンズ
１２ ズーム光学系（変倍光学系）
１３ 結像レンズ
１４ マイクロレンズアレイ
１５ 撮像素子
１７Ｌ 左眼用表示装置
１７Ｒ 右眼用表示装置
２０ 制御ユニット
２２ 画像処理回路
１００ 実体顕微鏡
Ｓ 標本
ＭＬ マイクロレンズ
ＧＢ 画素ブロック（所定数）
ＦＬ フィールドレンズ
【技術分野】
【０００１】
本発明は、標本を立体的に観察することができる実体顕微鏡装置に関する。
【背景技術】
【０００２】
従来から、生物分野や工業分野等において立体観察などの用途で実体顕微鏡が広く利用されている。例えば、平行系実体顕微鏡では、単対物レンズで被検物体(標本)からの光を集光した後、左右独立した光学系（アフォーカルズームレンズと結像レンズを組み合わせた結像光学系）に分割することにより、互いに視差の異なる像をそれぞれ結像させる。観察者は、各像を接眼レンズを通して個別に左右の眼で観察することにより立体視が可能である。
【０００３】
このような平行系実体顕微鏡では、対物レンズで集光された光が左右の光学系において２つの光路に分割されるため、左右の光学系の各有効径（光束のＮＡ）が対物レンズの有効径の約半分程度になってしまい、それに応じて分解能が低下することとなる。そのため、有効径を左右の光学系で非対称に構成して有効径に差を付けることで、有効径の大きい一方の光学系では分解能を向上させ、有効径の小さい他方の光学系では焦点深度を深くさせた実体顕微鏡が提案されている（例えば、特許文献１を参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−６５６５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記従来の実体顕微鏡においても、対物レンズからの光を２つの光路に分割しているため、左右の光学系で有効径に差を付けた場合に、一方の光学系の有効径を大きく確保すると、他方の光学系の有効径は小さくしなければならず、それに応じて分解能がさらに低下するという課題があった。
【０００６】
本発明は、このような課題に鑑みてなされたものであり、高分解能で立体観察することができる実体顕微鏡装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
このような目的を達成するため、本発明に係る実体顕微鏡装置は、標本からの光を集光する観察光学系と、前記観察光学系により集光された前記標本からの光をそれぞれ受ける位置に配列された複数のマイクロレンズを有するレンズアレイと、前記マイクロレンズごとに複数の画素が割り当てられてなる撮像素子と、前記撮像素子の出力に対して所定の処理を施して左眼用画像及び右眼用画像を生成する画像処理部と、前記画像処理部において生成された前記左眼用画像及び前記右眼用画像をそれぞれ表示する左眼用表示部及び右眼用表示部とを備え、前記画像処理部は、前記マイクロレンズに割り当てられた前記複数の画素ごとに互いに同一の配置となる所定数の画素の画素データをそれぞれ抽出し、この抽出された画素データを当該配置に応じて合成することで互いに視差の異なる複数の視差画像を生成し、前記複数の視差画像の中から前記左眼用画像及び前記右眼用画像を取得する。
【０００８】
なお、本発明に係る実体顕微鏡装置において、前記複数の画素において、前記左眼用画像を生成するために抽出される前記所定数と、前記右眼用画像を生成するために抽出される前記所定数とが互いに相違するように構成してもよい。
【０００９】
また、本発明に係る実体顕微鏡装置において、前記左眼用画像を生成するために抽出される前記所定数と、前記右眼用画像を生成するために抽出される前記所定数とのうちの、いずれか一方の所定数が１であり、他方の所定数が複数である構成でもよい。
【００１０】
また、本発明に係る実体顕微鏡装置において、前記観察光学系が、前記標本からの光を入射させて略平行光束として射出する対物レンズと、前記対物レンズからの光束を受けて当該光束径を変更する変倍光学系と、前記変倍光学系からの光束を受けて前記マイクロレンズの近傍位置に一次像面を形成する結像レンズとを有し、以下の条件式を満足することが好ましい。
ＮＡＬ ≦ Ｄ／２ｆ
ｐ／ｆ ≦ ＮＡＨ
但し、
ＮＡＬ：前記変倍光学系の最低倍率時における１次像面での光束のＮＡ、
ＮＡＨ：前記変倍光学系の最高倍率時における１次像面での光束のＮＡ、
ｆ ：前記マイクロレンズの焦点距離、
Ｄ ：前記マイクロレンズの有効径、
ｐ ：前記撮像素子の画素ピッチ。
【００１１】
また、本発明に係る実体顕微鏡装置において、前記結像レンズと前記レンズアレイとの間の光路に、フィールドレンズが前記変倍光学系の変倍率に応じて挿抜自在に配置されている構成でもよい。
【発明の効果】
【００１２】
本発明によれば、高分解能で立体観察することができる実体顕微鏡装置を提供することが可能である。
【図面の簡単な説明】
【００１３】
【図１】本実施形態に係る実体顕微鏡の斜視図である。
【図２】上記実体顕微鏡の要部構成を示す図である。
【図３】本実施形態の光学系の概要を説明するための図である。
【図４】撮像素子面におけるＭＬ領域の一例を示す図である。
【図５】ＭＬ領域における画素信号の検出方法を説明するための図である。
【図６】１画素単位の画素ブロックによる画素信号の検出方法を説明するための図である。
【図７】１画素単位の画素ブロックにおいて撮像素子の出力から左眼用画像及び右眼用画像を生成する処理を示す図である。
【図８】複数画素単位の画素ブロックによる画素信号の検出方法を説明するための図である。
【図９】複数画素単位の画素ブロックにおいて撮像素子の出力から左眼用画像及び右眼用画像を生成する処理を示す図である。
【図１０】ズーム光学系を変倍したときの一次像面での光束のＮＡの変化を示す図である。
【図１１】上記実体顕微鏡においてフィールドレンズを配置した変形例を示す図である。
【図１２】ズーム光学系の変倍に応じてフィールドレンズを挿抜したときの光線の変化の様子を示す図である。
【図１３】画素ブロックの取り方の変形例を示す図である。
【図１４】画素ブロックの上記変形例において、撮像素子の出力から左眼用画像及び右眼用画像を生成する処理を示す図である。
【発明を実施するための形態】
【００１４】
以下、本発明の一実施形態に係る実体顕微鏡について図面を参照して説明する。なお、以下の実施の形態は、発明の理解の容易化のためのものに過ぎず、本発明の技術的思想を逸脱しない範囲において当業者により実施可能な付加・置換等を施すことを排除することは意図していない。
【００１５】
図１に本実施形態に係る実体顕微鏡１００の斜視図を示しており、先ず、この図を参照して実体顕微鏡１００の全体構成を概要説明する。この実体顕微鏡１００は、単対物双眼構成の顕微鏡装置であり、透過照明装置を内蔵するベース部（照明部）１０１と、内部にズーム光学系を有するズーム鏡体１０３と、ズーム鏡体１０３の上部に取り付けられた鏡筒１０４と、この鏡筒１０４に取り付けられた左右の双眼部１０５と、ズーム鏡体１０３を上下動させる焦準機構１０６等を備えて構成される。
【００１６】
ベース部１０１の上面にはステージガラスを埋め込んだ標本載置台１０２が設けられている。また、ベース部１０１の基部側に支柱１０７が立設されて、この支柱１０７に焦準機構１０６が設けられている。
【００１７】
ズーム鏡体１０３は、焦準機構１０６を介してベース部１０１に設けられており、その下部には対物レンズ取付部１０８が設けられ、この対物レンズ取付部１０８に交換可能な対物レンズが取り付けられている。この対物レンズ取付部１０８には、予め定められた複数の低倍率の対物レンズ及び複数の高倍率の対物レンズのうちから一つが選択されて取り付けられる構成の場合と、予め定められた複数の低倍率の対物レンズ及び複数の高倍率の対物レンズのうちから複数が選択されて取り付けられる構成の場合などがある。
【００１８】
ズーム鏡体１０３の内部にはズーム光学系（アフォーカルズームレンズ）が配置され、このズーム鏡体１０３の外側にはズーム光学系を移動させるためのズームハンドル１０９が配置されている。ズーム光学系は、変倍のための可動群を含んでおり、ズームハンドルの回動操作に連動して予め定められた移動量に則り光軸方向に移動してズーム変倍される。また、ズーム鏡体１０３の上部には、鏡筒１０４が取り付けられ、この鏡筒１０４には接眼レンズを有する左右の双眼部１０５が取り付けられている。
【００１９】
焦準機構１０６は、標本に焦点を合わせるための焦準ハンドル１１０と、この焦準ハンドル１１０の回動操作に伴いズーム鏡体１０３を軸に沿って上下動させる機構部（図示せず）とを有している。そのため、焦準機構１０６は、ズーム鏡体１０３と共に鏡筒１０４及び双眼部１０５を一体的に標本載置台１０２に対して相対的に上下動させ、標本に対する焦点合わせを行う。
【００２０】
標本は、ベース部１０１の標本載置台（ステージガラス）１０２上に載置され、対物レンズの光軸近傍に配置されるとともに、ベース部１０１の内部に配設された透過照明装置により透過照明される。照明された標本は、ズーム鏡体１０３、鏡筒１０４及び双眼部１０５等を介して観察される。以上のようにして、左右両眼において標本を立体視可能な実体顕微鏡１００が構成されている。
【００２１】
引き続き、図２及び図３を追加参照して、実体顕微鏡１００について更に詳細な構成を説明する。ここで、図２は実体顕微鏡１００の要部構成を示す図である。
【００２２】
この実体顕微鏡１００では、標本Ｓに照明光を照射する透過照明装置（図示せず）と、標本Ｓの像を観察するための対物レンズを含む観察光学系１０と、観察光学系１０によって形成される一次像面に配置されたマイクロレンズアレイ１４と、マイクロレンズアレイ１４の焦点面に配置された撮像素子１５と、撮像素子１５からの出力に基づいて左眼用画像及び右眼用画像を表示する左眼用表示装置１６Ｌ及び右眼用表示装置１６Ｒと、左右一対の接眼レンズ１７Ｌ，１７Ｒとを備えており、これらが前述のベース部１０１、ズーム鏡体１０３、鏡筒１０４及び双眼部１０５に搭載されている。観察光学系１０は、標本Ｓ側から順に、対物レンズ１１、この対物レンズ１１から射出された略平行光束の径を変倍して再び略平行光束として射出するズーム光学系（変倍光学系）１２、ズーム光学系１２からの平行光束を集光して物体の像を結像する結像レンズ１３を有している。
【００２３】
更に、実体顕微鏡１００は、この顕微鏡の作動を統括的に制御する制御ユニット２０として、駆動回路２１、画像処理回路２２、メモリ２３、制御回路２４、ユーザインターフェース２５等を備えている。結像レンズ１３の焦点面近傍に入射した結像光束は、撮像素子１５において電気信号に変換される。この撮像素子１５は駆動回路２１によって駆動され、撮像素子１５からの出力信号は、この駆動回路２１を介して画像処理回路２２に取り込まれる。画像処理回路２２は、その出力信号に基づき標本の画像データを合成する。合成された画像データは、メモリ２３に格納されるとともに、左眼及び右眼表示装置１６Ｌ，１６Ｒにおいて画像表示される。
【００２４】
また、以上の駆動回路２１、画像処理回路２２、及びメモリ２３は、制御回路２４によって制御される。制御回路２４は、例えばマイクロコンピュータなどにより構成され、ユーザインターフェース２５を介してユーザから入力された指示に従ってその制御を実行する。このユーザ操作は、例えば、所定のディスプレイに表示されるＧＵＩ（Graphical User Interface）の表示画面に基づく、マウスやキーボード操作等の入力装置の操作によって実現される。
【００２５】
図３は、この実体顕微鏡１００において左右二視点の視差画像を生成する原理を示しており、以下において実体顕微鏡１００の光学系の概要を中心としてこれを説明する。なお、その説明を簡略化するために、図３においては、観察光学系１０を構成する対物レンズ１１、ズーム光学系１２及び結像レンズ１３を、纏めて主レンズ１０Ｌとして図示している。
【００２６】
この構成では、所定の位置にある標本Ｓの表面（以下、標本面Ｓとも称する）が主レンズ１０Ｌで結像する面にマイクロレンズアレイ１４を配置し、マイクロレンズアレイ１４の焦点距離だけ離れた位置に撮像素子１５を配置している。マイクロレンズアレイ１５は、複数のマイクロレンズＭＬを二次元状に配列してなる光学素子である。このとき、撮像素子１５の面が、主レンズ１０Ｌ（対物レンズ１１）の瞳面と共役になっており、各マイクロレンズＭＬで結像した像のできる領域（以下、「ＭＬ領域」と称する）から得られる各画素の画像信号は、瞳を分割した像となっている。換言すると、結像された光線が、瞳面から見て違う角度ごとの光線に振り分けられている。
【００２７】
撮像素子１５は、マイクロレンズ１４からの光を受光して撮像データを取得するものである。撮像素子１５は、例えば、ＣＣＤ（Charge Coupled Device）センサや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどの固体撮像素子であり、各マイクロレンズＭＬを通過した光を受光する画素配列を、マイクロレンズＭＬに対応した配置パターンで配置してなる。すなわち、ＭＬ領域として複数の画素群が割り当てられるようになっている。
【００２８】
図４は、撮像素子１５における撮像面上のＭＬ領域の一例を示す図である。図４において、６×６個の円の各々は、マイクロレンズアレイ１４を主レンズ１０Ｌの光軸方向から見た場合に二次元状に配列されたマイクロレンズＭＬを示しており、これに重なるように格子状に配列された６×６個の四角のそれぞれの領域が、撮像素子１５におけるＭＬ領域を示している。１つのＭＬ領域に注目してみると、（各マイクロレンズＭＬに割り当てられた）ＭＬ領域の縦方向の画素数及び横方向の画素数はそれぞれ５個（つまり、５×５個の画素配列）である。すなわち、マイクロレンズアレイ１４を構成する３６個のマイクロレンズＭＬによって結像された像のそれぞれが、撮像素子１５の撮像面上の５×５個からなる画素群上にＭＬ領域を形成している。この図４の例では、撮像素子１５の画素数は３０×３０個を想定しており、各マイクロレンズＭＬを通過してきた光線がＭＬ領域における２５個（５×５個）の画素の各々に受光されるようになっている。
【００２９】
ここで、図３においては説明を分かり易くするために、撮像素子１５において光軸と垂直な面内における一方向（これをＸ方向（左右方向）とする）に並んだ５つの画素ａ，ｂ，ｃ，ｄ，ｅに入射する各光線（対応するマイクロレンズＭＬの中心を通る主光線のみ）を示している。図３において、標本面Ｓ上の点Ｓ１からの光線は、主レンズ１０Ｌを通過する際に瞳面を通って（ここではｒ１〜ｒ５の）光線群となり、各マイクロレンズＭＬで結像した像のできる領域、すなわち各ＭＬ領域の撮像素子１５の画像信号となる。図示のように、焦点位置（ピント面）からの光線ｒ１，ｒ２，ｒ３，ｒ４，ｒ５は、マイクロレンズアレイ１４の表面の１点に集まり、マイクロレンズＭＬのレンズ作用によって撮像素子１５の面上では、各ＭＬ領域のそれぞれの画素ａ，ｂ，ｃ，ｄ，ｅに対応して、ａｉ，ｂｉ，ｃｉ，ｄｉ，ｅｉの画素信号となる。ここで、符号ａｉ，ｂｉ，ｃｉ，ｄｉ，ｅｉで示すのは、Ｘ方向に並ぶ５つの画素ａ，ｂ，ｃ，ｄ，ｅが個別に出力する画素信号（画素値）の概念である。なお、ここでは、Ｘ方向に並ぶ５つの画素ａ，ｂ，ｃ，ｄ，ｅのみに着目しているが、実際はＸ，Ｙ方向（互いに直交する２方向）に並ぶ２５個の画素の各々から個別に画素信号が出力される。
【００３０】
撮像素子１５では、駆動回路２１による駆動動作に応じて、画素単位で光線情報の読み出しが行われて、画像データが得られる。このように撮像素子１５で捉えた画像データでは、標本面Ｓからの光線に対して、その強度情報とともに、マイクロレンズＭＬの配置によって光線の位置情報と、各マイクロレンズＭＬに割り当てられたＭＬ領域内の画素の配置によって光線の進行方向とが独立に検出される。すなわち、光線の視差情報を検出することができる。
【００３１】
本実施形態では、例えば、標本面Ｓ上の点Ｓ１からの光線のうち、中心の光線ｒ３よりも右側にある光線（例えば、光線ｒ４，ｒ５）については右眼用の視差情報を有しているとみなせる。一方、中心の光線ｒ３よりも左側にある光線（例えば、光線ｒ１，ｒ２）については左眼用の視差情報を有しているとみなせる。
【００３２】
画像処理回路２２は、撮像素子１５からの出力に基づいて、所定の画像処理を施して、左右２つの視点における視差画像を生成する。この視差画像の解像度はマイクロレンズＭＬの個数で決まり、視差数は各マイクロレンズＭＬに割り当てられたＭＬ領域の画素数で決まる。ここで、各マイクロレンズＭＬに割り当てられたＭＬ領域を、１画素単位もしくは複数画素単位でいくつかの領域に分割し、それぞれの領域だけで選択処理した画像データを生成する。主レンズ１０Ｌ（対物レンズ１１）の瞳面と撮像素子１５の撮像面とは共役なので、これにより、領域分割の数だけその瞳面が分割された画像が得られる。
【００３３】
このようにＭＬ領域を１画素単位または複数画素単位で分割してなる一つの領域（所定数の画素からなる画素領域）を以降では画素ブロックＧＢと称して説明する。ＭＬ領域を１画素単位で領域分割する場合（すなわち画素ブロックＧＢが１画素の場合）、生成できる視差画像（多視点画像）の数は最大で５×５＝２５個である。
【００３４】
図５はＭＬ領域における画素信号の検出方法を説明するための図であり、図６は撮像素子１５全体としての画素信号の検出方法を説明するための図である。ここでは説明を簡略化するために、ＭＬ領域においてＸ方向（左右方向）に異なる５つの領域で、画素ブロックＧＢを１画素単位として検出することで視差画像を生成する場合を例示する。撮像素子１５は主レンズ１０Ｌ（対物レンズ１１）の瞳面と光学的に共役な関係になっているので、左右方向５つの視点（角度）で、１画素に相当するレンズの開口からの光線により画像データが生成されることになる。ここで検出した５つの画素は、図３における画素ａ，ｂ，ｃ，ｄ，ｅと同じ画素と考えてよい。各マイクロレンズＭＬに割り当てられた画素ブロックＧＢの画素数は、共役関係にある瞳面での検出する光線の大きさ（光束径）を決める。つまりレンズのＦ値に相当し、これが小さいと焦点深度が深くなり、大きいと焦点深度が浅くなる。よって、画素ブロックＧＢとして１画素検出した場合では焦点深度の深い画像（視差画像）が得られる。
【００３５】
図６において、各ＭＬ領域で互いに同じ位置の画素（ここでは、Ｘ方向に並ぶ画素ａ，ｂ，ｃ，ｄ，ｅごと）における画素信号をそれぞれ抽出し、この抽出した画素信号同士を合成することで、互いに視差の異なる５つの視差画像が得られる。つまり、ＭＬ領域ごとに、画素信号ａｉを集めた画像、画素信号ｂｉを集めた画像、画素信号ｃｉを集めた画像、画素信号ｄｉを集めた画像、及び画素信号ｅｉを集めた画像、のそれぞれが視差画像として生成される。なお、ここでは、ＭＬ領域でＸ方向に並ぶ５つの画素ａ，ｂ，ｃ，ｄ，ｅのみに着目し、それら５つの画素に基づいて５つの視差画像を生成しているが、実際はＭＬ領域でＸ，Ｙ方向（２方向）に並ぶ２５個の画素に基づいて２５個の視差画像を生成できる。
【００３６】
画像処理回路２２は、このように生成される視差画像のうち、左視点における視差画像を左眼用画像とし、右視点における視差画像を右眼用画像として取得する。例えば、図７に示すように、各ＭＬ領域の最左列中央に位置する画素ａの出力に基づいて得られる左視点の視差画像を左眼用画像３０Ｌとし、各ＭＬ領域の最右列中央に位置する画素ｅの出力に基づいて得られる右視点の視差画像を右眼用画像３０Ｒとする。このとき、各ＭＬ領域の画素ａの出力（画素信号）が左眼用画像３０Ｌの画素１つ１つに対応され、各ＭＬ領域の画素ｅの出力（画素信号）が右眼用画像３０Ｒの画素１つ１つに対応される。ここで、画素ａ及び画素ｅの出力のみに基づいて左右二視点の左眼用画像３０Ｌ及び右眼用画像３０Ｒを取得する場合には、画素ａ及び画素ｅ以外の画素信号は実質的に不要であるため、駆動回路２１の制御により、撮像素子１５からは必要とされる画素ａ及び画素ｅの画素信号のみを選択的に取り出すようにすることが好ましい。
【００３７】
なお、これに限定されず、画素ｂの出力から生成した視差画像を左眼用画像とし、画素ｄの出力から生成した視差画像を右眼用画像としてもよく、また、画素ａの出力から生成した視差画像を左眼用画像とし、画素ｃの出力から生成した視差画像を右眼用画像としてもよく、これらはユーザインターフェース２５を利用してユーザが任意に指定することが可能である。
【００３８】
一方、図８では、撮像素子１５の各ＭＬ領域において光軸と垂直な面内におけるＸ方向に異なる領域で、画素ブロックＧＢとして複数画素単位（例えば、短冊状に６個（２×３個）の画素）で検出する場合を例示する。図８において、各ＭＬ領域で互いに同じ位置の画素領域（ここでは、図８で塗り潰された６画素の画素ブロックＧＢ）における画素信号をそれぞれ抽出し、この画素ブロックＧＢを構成する６つの画素の画素信号の和を視差画像の１画素分の画素信号として求め、この画素信号同士をその配置に応じて合成することで互いに視差の異なる４つの視差画像が得られる。
【００３９】
画像処理回路２２は、このように生成される視差画像のうち、左視点における視差画像を左眼用画像とし、右視点における視差画像を右眼用画像として取得する。例えば、図９に示すように、ＭＬ領域の左端中央に位置する６つの画素（画素ブロック）の出力に基づいて得られる左視点の視差画像を左眼用画像４０Ｌとし、右端中央に位置する６つの画素（画素ブロック）の出力に基づいて得られる右視点の視差画像を右眼用画像４０Ｒとする。このとき、ＭＬ領域の左端中央に位置する６つの画素の出力（画素信号）が左眼用画像４０Ｌの画素１つ１つに対応され、ＭＬ領域の右端中央に位置する６つの画素の出力（画素信号）が右眼用画像４０Ｒの画素１つ１つに対応される。ここでも、１画素単位の画素ブロックＧＢの場合と同様に、撮像素子１５からは必要とされる画素ブロックＧＢの画素信号のみを選択的に取り出すようにすることが好ましい。また、図８（Ｂ）に示す６つの画素（画素ブロック）の出力から生成した視差画像を左眼用画像とし、図８（Ｃ）に示す６つの画素（画素ブロック）の出力から生成した視差画像を右眼用画像としてもよく、これらはユーザインターフェース２５を利用してユーザが任意に指定することが可能である。
【００４０】
なお、この画素ブロックＧＢとして６画素単位の検出においては、この画素ブロックＧＢで捉える瞳面を通過する光線は上述の１画素単位の検出の場合と比して６倍広いので（Ｆ値が小さくなり）、得られる視差画像（左眼用画像４０Ｌ及び右眼用画像４０Ｒ）の焦点深度は浅くなるが、分解能は高められる。従って、画素ブロックＧＢ（光束のＮＡ）を小さくとると焦点深度の深い視差画像が得られ、画素ブロックＧＢ（光束のＮＡ）を大きくとると分解能の高い視差画像が得られることになる。ここで、画素ブロックＧＢの取り方としては、上述の形態に限定されず、所望の分解能及び焦点深度に応じて、１画素単位または複数画素単位で任意に設定することが可能である。
【００４１】
画像処理回路２２は、これら左右二視点の視差画像を左眼用画像及び右眼用画像としてメモリ２３に記憶するとともに、左眼用表示装置１６Ｌ及び右眼用表示装置１６Ｒに出力して標本の拡大像として画像を表示させる。ユーザは、左右の眼で個別に表示装置１６Ｌ，１６Ｒ（双眼部１０５）を覗くと、視差を持った左眼用画像及び右眼用画像を左右の眼で個別に捉えられるので、標本の立体視が実現する。
【００４２】
ここで、ユーザインターフェース２５（ユーザ操作）によって、各ＭＬ領域内で画素ブロックＧＢを任意に選択設定して、左眼用画像及び右眼用画像を、左右視点で共に焦点深度の深い視差画像としてそれぞれ表示させたり、左右視点で共に分解能の高い画像としてそれぞれ表示させることができるが、左眼用画像と右眼用画像とを異なる画素数の画素ブロックＧＢから取得し、これを左右視点の視差画像として表示させることも可能である。より具体的には、左眼用画像及び右眼用画像のうち、一方の画像を１画素単位の画素ブロックＧＢで生成（例えば、図６（Ａ）に示すように上述の画素ａの出力に基づく左視点の視差画像３０Ｌを生成）し、他方の画像を複数画素単位の画素ブロックＧＢで生成（例えば、図８（Ｄ）に示すように、上述の右端中央の６画素の出力に基づく右視点の視差画像４０Ｒを生成）することで、一方の眼では焦点深度の深い視差画像として捉え、他方の眼では分解能の高い視差画像として捉えることができ、これにより、焦点深度の深い画像と分解能の高い画像とを両眼視差の画像として同時に観察することができる。
【００４３】
以上説明した本実施形態に係る実体顕微鏡によれば、対物レンズ１１で集光された光束を複数の光路に分割する必要がないため、観察光学系１０の開口数を大きく確保して、標本Ｓを高分解能で立体観察することが可能である。また、左右の像を形成する光束のＮＡの比率を調整することで（左右で画素ブロックＧＢの取り方を相違させることで）、一方では分解能の高い画像を取得し、他方では焦点深度の深い画像を取得して、高分解能で深い焦点深度の画像を同時に観察することができる。従って、所望の分解能及び焦点深度を得ることが可能な実体顕微鏡を提供することが可能である。
【００４４】
ところで、図１０に示すように、実体顕微鏡１００において、ズーム光学系（アフォーカルズームレンズ）１２を用いるとき、以下の条件式（１），（２）を満足することが好ましい。
ＮＡＬ ＜ Ｄ／２ｆ …（１）
２ｐ／２ｆ ＜ ＮＡＨ …（２）
但し、
ＮＡＬ：ズーム光学系１２の最低倍率時における一次像面での光束のＮＡ、
ＮＡＨ：ズーム光学系１２の最高倍率時における一次像面での光束のＮＡ、
ｆ：マイクロレンズＭＬの焦点距離、
Ｄ：マイクロレンズＭＬの有効径、
ｐ：撮像素子１５の画素ピッチ（画素サイズ）。
【００４５】
条件式（１），（２）は、一次像面での光束のＮＡの適切な範囲を規定するものであり、その光束径を画素サイズｐの２倍以上の大きさであってマイクロレンズＭＬの有効径Ｄよりも小さい範囲で調整することが望ましい。これは左右視点の視差画像を得るためには、各マイクロレンズＭＬに割り当てられる撮像素子１５のＭＬ領域として、少なくとも１画素単位の画素ブロックＧＢで一方向（Ｘ方向）に並ぶ２つ以上の画素が必要だからである。この条件式（１），（２）を満足する範囲内においてズーム光学系１２を変倍操作して、光束のＮＡを大きくすることで分解能の高い視差画像が得られ、光束のＮＡを小さくすることで焦点深度の深い視差画像を得ることができる。なお、図１０においては、マイクロレンズＭＬに割り当てられる画素の数が、ズーム光学系１２の最低倍率時に３×３個（図１０ではＸ方向の３個のみが現れる）、最高倍率時に５×５個（図１０ではＸ方向の５個のみが現れる）となっているが、このマイクロレンズＭＬによる画素割り当て数はこれに限定されるものではなく、上記条件式（１），（２）を満足する範囲において、必要な分解能に応じて適宜設定されることが望ましい。
【００４６】
なお、本実施形態に係る実体顕微鏡１００は、上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。
【００４７】
例えば、実体顕微鏡の変形例を図１１に示す。この実体顕微鏡においては、図１１に示すように、マイクロレンズアレイ１４の直前に（結像レンズ１３とマイクロレンズアレイ１４との間に）、不図示のアクチュエータ等によりフィールドレンズＦＬが挿抜自在に配置されていることが好ましい。ズーム光学系１２では射出瞳の位置が変倍の際に焦点距離の変化に応じて移動する（一般に変倍比が高くなるほど射出瞳位置の変動は大きくなる）ため、このズーム光学系１２の変倍の際に撮像素子１５における結像位置が面内方向（画素配列方向）にずれてしまうおそれがある。そこで、一次像面の近傍にフィールドレンズＦＬを配置することで、ズーム光学系１２の変倍による射出瞳位置の変動を補正することができる。例えば、図１２では、ズーム光学系１２の低倍率時にフィールドレンズＦＬを系外へ抜脱し、高倍率時にマイクロレンズアレイ１４の直前にフィールドレンズＦＬを挿入してその射出瞳位置のずれを補正する形態が例示されている。これとは反対に、フィールドレンズＦＬをズーム光学系１２の低倍率時に挿入し、高倍率時に系外へ抜脱する形態としてもよい。
【００４８】
また、上述の実体顕微鏡１００では、照明光学系としてベース部１０１に内蔵された透過照明光学系（透過照明装置）を用いた場合について例示したが、落射照明光学系を採用してもよい。
【００４９】
また、画素ブロックＧＢ（における画素の個数、画素の配列）の取り方としては上述の実施形態に限定されず、観察に必要とする分解能及び焦点深度などに応じて適宜設定することができる。例えば、図１３に示すように、画素ブロックＧＢとして９個の画素（３×３個の画素）を選択して、左眼用画像５０Ｌ及び右眼用画像５０Ｒを生成してもよい。このとき、図１３及び図１４に示すように、ＭＬ領域内において左右視点で選択した一対の画素ブロックに互いにオーバーラップする領域（ここでは縦方向に並ぶ中央３個の画素）が生じているが、当該オーバーラップする領域が大きすぎると、その分だけ視差情報の共有量が大きくなるため、左右で適度な視差が得られない。そのため、画素ブロックＧＢの取り方としては、左右の視点でオーバーラップする領域が生じないように選択することが望ましい。
【符号の説明】
【００５０】
１０ 観察光学系
１１ 対物レンズ
１２ ズーム光学系（変倍光学系）
１３ 結像レンズ
１４ マイクロレンズアレイ
１５ 撮像素子
１７Ｌ 左眼用表示装置
１７Ｒ 右眼用表示装置
２０ 制御ユニット
２２ 画像処理回路
１００ 実体顕微鏡
Ｓ 標本
ＭＬ マイクロレンズ
ＧＢ 画素ブロック（所定数）
ＦＬ フィールドレンズ
【特許請求の範囲】
【請求項１】
標本からの光を集光する観察光学系と、
前記観察光学系により集光された前記標本からの光をそれぞれ受ける位置に配列された複数のマイクロレンズを有するレンズアレイと、
前記マイクロレンズごとに複数の画素が割り当てられてなる撮像素子と、
前記撮像素子の出力に対して所定の処理を施して左眼用画像及び右眼用画像を生成する画像処理部と、
前記画像処理部において生成された前記左眼用画像及び前記右眼用画像をそれぞれ表示する左眼用表示部及び右眼用表示部とを備え、
前記画像処理部は、前記マイクロレンズに割り当てられた前記複数の画素ごとに互いに同一の配置となる所定数の画素の画素データをそれぞれ抽出し、この抽出された画素データを当該配置に応じて合成することで互いに視差の異なる複数の視差画像を生成し、前記複数の視差画像の中から前記左眼用画像及び前記右眼用画像を取得することを特徴とする実体顕微鏡装置。
【請求項２】
前記複数の画素において、前記左眼用画像を生成するために抽出される前記所定数と、前記右眼用画像を生成するために抽出される前記所定数とが互いに相違することを特徴とする請求項１に記載の実体顕微鏡装置。
【請求項３】
前記左眼用画像を生成するために抽出される前記所定数と、前記右眼用画像を生成するために抽出される前記所定数とのうちの、いずれか一方の所定数が１であり、他方の所定数が複数であることを特徴とする請求項２に記載の実体顕微鏡装置。
【請求項４】
前記観察光学系が、前記標本からの光を入射させて略平行光束として射出する対物レンズと、前記対物レンズからの光束を受けて当該光束径を変更する変倍光学系と、前記変倍光学系からの光束を受けて前記マイクロレンズの近傍位置に一次像面を形成する結像レンズとを有し、
以下の条件式を満足することを特徴とする請求項１〜３のいずれか一項に記載の実体顕微鏡装置。
ＮＡＬ ≦ Ｄ／２ｆ
ｐ／ｆ ≦ ＮＡＨ
但し、
ＮＡＬ：前記変倍光学系の最低倍率時における１次像面での光束のＮＡ、
ＮＡＨ：前記変倍光学系の最高倍率時における１次像面での光束のＮＡ、
ｆ ：前記マイクロレンズの焦点距離、
Ｄ ：前記マイクロレンズの有効径、
ｐ ：前記撮像素子の画素ピッチ。
【請求項５】
前記結像レンズと前記レンズアレイとの間の光路に、フィールドレンズが前記変倍光学系の変倍率に応じて挿抜自在に配置されていることを特徴とする請求項４に記載の実体顕微鏡装置。
【請求項１】
標本からの光を集光する観察光学系と、
前記観察光学系により集光された前記標本からの光をそれぞれ受ける位置に配列された複数のマイクロレンズを有するレンズアレイと、
前記マイクロレンズごとに複数の画素が割り当てられてなる撮像素子と、
前記撮像素子の出力に対して所定の処理を施して左眼用画像及び右眼用画像を生成する画像処理部と、
前記画像処理部において生成された前記左眼用画像及び前記右眼用画像をそれぞれ表示する左眼用表示部及び右眼用表示部とを備え、
前記画像処理部は、前記マイクロレンズに割り当てられた前記複数の画素ごとに互いに同一の配置となる所定数の画素の画素データをそれぞれ抽出し、この抽出された画素データを当該配置に応じて合成することで互いに視差の異なる複数の視差画像を生成し、前記複数の視差画像の中から前記左眼用画像及び前記右眼用画像を取得することを特徴とする実体顕微鏡装置。
【請求項２】
前記複数の画素において、前記左眼用画像を生成するために抽出される前記所定数と、前記右眼用画像を生成するために抽出される前記所定数とが互いに相違することを特徴とする請求項１に記載の実体顕微鏡装置。
【請求項３】
前記左眼用画像を生成するために抽出される前記所定数と、前記右眼用画像を生成するために抽出される前記所定数とのうちの、いずれか一方の所定数が１であり、他方の所定数が複数であることを特徴とする請求項２に記載の実体顕微鏡装置。
【請求項４】
前記観察光学系が、前記標本からの光を入射させて略平行光束として射出する対物レンズと、前記対物レンズからの光束を受けて当該光束径を変更する変倍光学系と、前記変倍光学系からの光束を受けて前記マイクロレンズの近傍位置に一次像面を形成する結像レンズとを有し、
以下の条件式を満足することを特徴とする請求項１〜３のいずれか一項に記載の実体顕微鏡装置。
ＮＡＬ ≦ Ｄ／２ｆ
ｐ／ｆ ≦ ＮＡＨ
但し、
ＮＡＬ：前記変倍光学系の最低倍率時における１次像面での光束のＮＡ、
ＮＡＨ：前記変倍光学系の最高倍率時における１次像面での光束のＮＡ、
ｆ ：前記マイクロレンズの焦点距離、
Ｄ ：前記マイクロレンズの有効径、
ｐ ：前記撮像素子の画素ピッチ。
【請求項５】
前記結像レンズと前記レンズアレイとの間の光路に、フィールドレンズが前記変倍光学系の変倍率に応じて挿抜自在に配置されていることを特徴とする請求項４に記載の実体顕微鏡装置。
【図１】
【図２】
【図３】
【図７】
【図１０】
【図１１】
【図１２】
【図４】
【図５】
【図６】
【図８】
【図９】
【図１３】
【図１４】
【図２】
【図３】
【図７】
【図１０】
【図１１】
【図１２】
【図４】
【図５】
【図６】
【図８】
【図９】
【図１３】
【図１４】
【公開番号】特開２０１２−１４５７４７（Ｐ２０１２−１４５７４７Ａ）
【公開日】平成２４年８月２日（２０１２．８．２）
【国際特許分類】
【出願番号】特願２０１１−３８０９（Ｐ２０１１−３８０９）
【出願日】平成２３年１月１２日（２０１１．１．１２）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２４年８月２日（２０１２．８．２）
【国際特許分類】
【出願日】平成２３年１月１２日（２０１１．１．１２）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]