顕微鏡システム、サーバー及びプログラム
【課題】 適した照明光の強度分布で観察できる顕微鏡システムを提供する。
【解決手段】 顕微鏡システム（１００）は、被検体を観察する顕微鏡（３０〜８０）と顕微鏡に接続されるコンピュータ（２０）とを含む。顕微鏡（３０〜８０）は、被検体に所定照明条件で照射する照明光学系（４０）と、被検体の像を形成する結像光学系（７０）と、画像信号を出力するイメージセンサ（８０）と、を備える。コンピュータ（２０）は、イメージセンサで検出される画像信号に基づいて、被検体の画像の特徴量を取得する画像解析部（２０２）と、被検体の画像特徴量と複数のサンプル被検体の画像特徴量とを比較し、被検体の画像特徴量に近似するサンプル被検体の画像特徴量を特定する比較部（２０５）と、比較部で特定された画像特徴量を有するサンプル被検体の観察に適した照明状態に基づいて、照明光学系の照明条件を設定する設定部（２１２）と、を備える。
【解決手段】 顕微鏡システム（１００）は、被検体を観察する顕微鏡（３０〜８０）と顕微鏡に接続されるコンピュータ（２０）とを含む。顕微鏡（３０〜８０）は、被検体に所定照明条件で照射する照明光学系（４０）と、被検体の像を形成する結像光学系（７０）と、画像信号を出力するイメージセンサ（８０）と、を備える。コンピュータ（２０）は、イメージセンサで検出される画像信号に基づいて、被検体の画像の特徴量を取得する画像解析部（２０２）と、被検体の画像特徴量と複数のサンプル被検体の画像特徴量とを比較し、被検体の画像特徴量に近似するサンプル被検体の画像特徴量を特定する比較部（２０５）と、比較部で特定された画像特徴量を有するサンプル被検体の観察に適した照明状態に基づいて、照明光学系の照明条件を設定する設定部（２１２）と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、観察に適した照明光の強度分布を導き出して形成する顕微鏡システム、サーバー及びプログラムに関する。
【背景技術】
【０００２】
明視野顕微鏡では、照明光の強度分布の調整を円形の絞りを可変させて調整する。また、観察者の判断で絞りの形状を選択して使用することもあった。位相差顕微鏡では、リング（輪帯）絞り及び位相リングが照明光の強度分布を形成している。
【０００３】
照明光の強度分布は被検体の観察像に大きな影響を及ぼすため、円形の絞り、リング絞り及び位相リング等に改良を加えて被検体の観察画像をより良いものにするような工夫がされている。例えば、特許文献１では位相リングのリング状に設けられたリング領域を取り囲むように変調部を設け、変調部と変調部以外の領域との透過軸の方向が異なるように形成することによりコントラストを連続可変可能な位相差顕微鏡が示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−２３７１０９
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、上記のような明視野顕微鏡又は位相差顕微鏡では、絞りの形状がある程度決まっており、照明光の強度分布の調整には制限があった。また、絞りの形状を選ぶ場合も観察者の判断又は経験を元にして選ぶため、必ずしも絞りの形状が観察中の物体の像を最良の状態で観察できる形状になっているわけではなかった。一方、絞り形状を任意に選べるようにすると、どのような絞り形状が被検体に対して最適な形状であるかを選択することが観察者にとって困難であった。
そこで本発明は、被検体を観察するためにその被検体に適した照明光の強度分布を求める顕微鏡システム、サーバー及びプログラムを提供する。
【課題を解決するための手段】
【０００６】
第１観点の顕微鏡システムは、被検体を観察する光学式の顕微鏡と顕微鏡に接続されるコンピュータとを含む顕微鏡システムである。顕微鏡は、光源からの照明光を被検体に所定照明条件で照射する照明光学系と、被検体からの光から被検体の像を形成する結像光学系と、結像光学系による被検体像を検出して画像信号を出力するイメージセンサと、を備える。コンピュータは、イメージセンサで検出される画像信号に基づいて、被検体の画像の特徴量を取得する画像解析部と、被検体の画像特徴量と複数のサンプル被検体の画像特徴量とを比較し、被検体の画像特徴量に近似するサンプル被検体の画像特徴量を特定する比較部と、比較部で特定された画像特徴量を有するサンプル被検体の観察に適した照明状態に基づいて、照明光学系の照明条件を設定する設定部と、を備える。
【０００７】
第２観点のサーバーは、第１観点の顕微鏡システムから被検体の画像特徴量を受信する第２受信部と、第２受信部で受信された被検体の画像特徴量と複数のサンプル被検体との画像特徴量とを比較し、被検体の画像特徴量に近似するサンプル被検体の画像特徴量を特定する第２比較部と、第２比較部で特定された画像特徴量を有するサンプル被検体の観察に適した照明状態に基づいて、照明光学系の照明条件を設定する第２設定部と、第２設定部で設定された照明光学系の照明条件を顕微鏡システムに送信する第２送信部と、を備える。
【０００８】
第３観点のプログラムは、光源からの照明光を被検体に所定照明条件で照射する照明光学系と、被検体からの光から被検体の像を形成する結像光学系と、結像光学系による被検体像を検出して画像信号を出力するイメージセンサと、を備える顕微鏡と、顕微鏡に接続されるコンピュータとを含む顕微鏡システムに用いられる。そのプログラムは、コンピュータに、イメージセンサで検出される画像信号に基づいて被検体の画像の特徴量を取得する画像解析と、被検体の画像特徴量と複数のサンプル被検体の画像特徴量との比較と、被検体の画像特徴量に近似するサンプル被検体の画像特徴量の特定と、比較部で特定された画像特徴量を有するサンプル被検体の観察に適した照明状態に基づいて照明光学系の照明条件を設定する設定と、を実行させる。
【発明の効果】
【０００９】
本発明によれば、観察中の物体の像を良い状態で観察するために適した照明条件を設定する顕微鏡システム、サーバー及びプログラムが提供される。
【図面の簡単な説明】
【００１０】
【図１】顕微鏡システム１００の概略構成図である。
【図２】計算部２０の概略構成図である。
【図３】記憶部２０６に記憶される空間周波数成分などの概念図である。
【図４】顕微鏡システム１００の動作のフローチャートの一例である。
【図５】（ａ）は、顕微鏡システム３００の概略構成図である。 （ｂ）は、第１空間光変調素子３９０の平面図である。 （ｃ）は、第２空間光変調素子３９６の平面図である。
【図６】計算部１２０の概略構成図である。
【図７】記憶部２０６に記憶される別の空間周波数成分などの概念図である。
【図８】顕微鏡システム３００の動作のフローチャートの一例である。
【図９】山登り法を用いたフローチャートである。
【図１０】遺伝的アルゴリズムを用いたフローチャートである。
【図１１】サーバーを使った空間周波数成分の集中管理の概略構成図である。
【発明を実施するための形態】
【００１１】
（第１実施形態）
第１実施形態として、絞りの形状を自由に変えることができ明視野顕微鏡を有する顕微鏡システム１００について説明する。顕微鏡システム１００は、観察中の物体の像を良い状態で観察するために適した照明光の強度分布を導き出して自動的に調整される。
【００１２】
＜顕微鏡システム１００＞
図１は、顕微鏡システム１００の概略構成図である。顕微鏡システム１００は主に、照明光源３０と、照明光学系４０と、ステージ５０と、結像光学系７０と、イメージセンサ８０と、計算部２０と、を有している。以下、照明光源３０から射出される光束の中心軸をＺ軸方向とし、Ｚ軸に垂直で互いに直交する方向をＸ軸方向及びＹ軸方向として説明する。
【００１３】
照明光源３０は、例えば被検体６０に白色の照明光を照射する。照明光学系４０は、第１コンデンサレンズ４１、波長フィルタ４４、第１空間光変調素子９０及び第２コンデンサレンズ４２を備えている。また、結像光学系７０は対物レンズ７１を備えている。ステージ５０は、例えば細胞組織等の未知の構造を有する被検体６０を載置してＸＹ軸方向に移動可能である。また、結像光学系７０は、被検体６０の透過光又は反射光をイメージセンサ８０に結像させる。
【００１４】
照明光学系４０の第１空間光変調素子９０は、例えば照明光学系４０の中の結像光学系７０の瞳の位置に対して共役となる位置に配置される。第１空間光変調素子９０は具体的には液晶パネル又はデジタルマイクロミラーディバイスなどを使用することができる。また、第１空間光変調素子９０は自由に形状及び大きさを変化させることができる照明領域９１を有しており、照明領域９１の大きさ又は形状を変えて、照明光の強度分布を任意に可変させることができる。つまり、第１空間光変調素子９０は結像光学系７０の瞳の共役位置における照明光の強度分布を可変することができる。一般に第１空間光変調素子９０の透過領域９１の直径を大きくすると透過光の開口数が上がるため解像度を上げることができる。また波長フィルタ４４は、透過する光束の波長を特定の範囲内に制限する。波長フィルタ４４には、例えば特定範囲の波長の光のみを透過するバンドパスフィルタが用いられる。波長フィルタ４４は脱着が可能であり、複数のそれぞれ異なる波長の光を透過するバンドパスフィルタを用意してその入れ替えを行うことにより波長フィルタ４４を透過する光の波長を制御することができる。
【００１５】
計算部２０はイメージセンサ８０で検出される画像信号を受信し、その画像信号を画像処理してモニター等の表示部２１に表示させる。また計算部２０は画像信号を解析する。計算部２０が行う解析等については図２を使って後述する。
【００１６】
図１では、照明光源３０から射出された光が点線で示されている。照明光源３０から射出された光ＬＷ１１は第１コンデンサレンズ４１で平行な光ＬＷ１２に変換される。光ＬＷ１２は、波長フィルタ４４を透過することにより波長の範囲が特定されて第１空間光変調素子９０に入射する。第１空間光変調素子９０の照明領域９１を通過した光ＬＷ１３は第２コンデンサレンズ４２を透過して光ＬＷ１４になり、ステージ５０に向かう。ステージ５０を透過した光ＬＷ１５は結像光学系７０を透過して光ＬＷ１６となり、イメージセンサ８０に被検体６０の像を形成する。
【００１７】
＜計算部２０の構成＞
図２は計算部２０の構成を示した概念図である。計算部２０は、画像処理部２０１、フーリエ解析部２０２、比較部２０５、記憶部２０６、及び設定部２１２を有している。
【００１８】
画像処理部２０１及びフーリエ解析部２０２は、イメージセンサ８０からの画像信号を受け取る。画像処理部２０１は、イメージセンサ８０からの画像信号を表示部２１に表示するために画像処理する。画像処理された信号は表示部２１に送られ、表示部２１で被検体の像が表示される。フーリエ解析部２０２はイメージセンサ８０からの画像信号をフーリエ変換し、空間周波数成分を算出する。そして被検体６０の空間周波数成分が解析される。空間周波数成分は比較部２０５に送られるとともに、空間周波数成分を記憶するために記憶部２０６にも送られる。なお、フーリエ解析部２０２はイメージセンサ８０からの被検体６０のすべての画像信号をフーリエ変換してもよいし、観察者が選択した被検体６０の一部領域の画像信号をフーリエ変換してもよい。一部領域の設定は、観察者が設定してもよいし、自動で設定されてもよい。
【００１９】
比較部２０５は、フーリエ解析部２０２で解析された被検体６０の空間周波数成分と予め記憶部２０６に記憶されている空間周波数成分とを比較する。記憶部２０６にはすでに複数サンプル被検体の空間周波数成分が記憶されている。この空間周波数成分はサンプル被検体の画像信号に基づいてフーリエ変換されたものである。また記憶部２０６は各サンプル被検体に対して適した照明光の強度分布又は照明光の波長を記憶している。顕微鏡システムを製造する製造者がデフォルト値としてサンプル被検体を用意していてもよい。比較部２０５で比較された結果に基づいて、比較部２０５は記憶部２０６から最も近似する空間周波数成分を特定する。比較部２０５は最も近似する空間周波数成分のサンプル被検体に適した照明光の強度分布又は照明光の波長を出力する。
【００２０】
適した照明光の強度分布又は適した照明光の波長に関するデータは、照明光の照明条件を設定する設定部２１２に送られる。設定部２１２は素子変調部２０８及びフィルタ駆動部２０９を有している。素子変調部２０８は、適した照明光の強度分布に基づいて第１空間光変調素子９０の照明領域９１の大きさ又は形状を変える。またフィルタ駆動部２０９は、適した照明光の波長のデータに基づいて波長フィルタ４４が透過する波長領域を変える。
【００２１】
＜記憶部に記憶される被検体の空間周波数成分＞
図３は、記憶部２０６に記憶される空間周波数成分などの概念図である。図３（ａ）は、被検体６０の空間周波数成分の例である。図３（ｂ）はサンプル被検体ＳＭ０１からＳＭ１０までの空間周波数成分などの例である。
【００２２】
今回、被検体６０は、照明光の所定の強度分布でイメージセンサ８０により検出される。例えば、照明光の所定の強度分布は第１空間光変調素子９０の照明領域９１が全開口の分布である。この第１空間光変調素子９０の照明領域９１も、図３（ａ）に示されるように、被検体６０の空間周波数成分ＦＣとともに被検体６０と関連付けられて記憶される。なお、図示していないが、被検体６０を最初に検出する際には、波長フィルタ４４は可視光の全領域（４００ｎｍ〜８００ｎｍ）を透過するフィルタが使われている。
【００２３】
被検体６０と以下に説明するサンプル被検体とが統一した照明光の強度分布で検出される。これにより同一被検体であれば、同一空間周波数成分になる。第１実施形態では、照明光の所定の強度分布は照明領域９１が全開口の分布である。これに限られず、また所定の強度分布が複数であってもよい。
【００２４】
空間周波数成分ＦＣは周波数と強度（振幅）と位相との関係で表現される。なお、図３（ａ）及び（ｂ）においては模式的に一次元方向の周波数と強度との関係が描かれているが、イメージセンサ８０で検出された画像は二次元画像であるため二次元方向の周波数と強度とを含んでいる。
【００２５】
サンプル被検体ＳＭ（ＳＭ０１〜ＳＭ１０）は予め実験などで求めていた空間周波数成分ＦＣ（ＦＣ０１〜ＦＣ１０）である。図３（ｂ）において、サンプル被検体ＳＭ０１〜ＳＭ１０が記憶されているが、これは例示であって数百ものサンプル被検体が記憶されていることが好ましい。
【００２６】
サンプル被検体ＳＭ０１〜ＳＭ１０は、第１空間光変調素子９０の照明領域９１が全開口の強度分布で取得された空間周波数成分ＦＣ０１〜ＦＣ１０が記憶部２０６に記憶されている。空間周波数成分ＦＣ０１〜ＦＣ１０は数式で記憶されていてもよく、周波数ごとの強度データとして記憶されていてもよい。なお、図示していないが、サンプル被検体ＳＭ０１〜ＳＭ１０の空間周波数成分ＦＣ０１〜ＦＣ１０も、可視光を透過するフィルタが使われて検出されたものである。
【００２７】
サンプル被検体ＳＭ（ＳＭ０１〜ＳＭ１０）は、さらに各サンプル被検体ＳＭに適した照明光の強度分布が記憶されている。また最適な波長フィルタが記憶されている。例えば、サンプル被検体ＳＭ０１では、１つの透過領域９１で半径がやや小さい半径Ｒ１を有する照明光の強度分布が適していることを示している。またサンプル被検体ＳＭ０１では、波長フィルタ４４Ａ（例えば４００ｎｍ〜８００ｎｍ）が適していることを示している。また、サンプル被検体ＳＭ０２では、２つの透過領域９１を有する照明光の強度分布が適していることを示している。またサンプル被検体ＳＭ０２では、波長フィルタ４４Ｂ（例えば４００ｎｍ〜６００ｎｍ）が適していることを示している。サンプル被検体ＳＭ０３では、１つの透過領域９１で半径が小さい半径Ｒ２を有する照明光の強度分布が適し、且つ波長フィルタ４４Ａが適していることを示している。
【００２８】
サンプル被検体ＳＭ０８では、楕円状の透過領域９１を有する照明光の強度分布が適し、且つ波長フィルタ４４Ｃ（例えば６００ｎｍ〜８００ｎｍ）が適していることを示している。サンプル被検体ＳＭ０９では、全開口の照明領域９１を有する照明光の強度分布が適し、且つ波長フィルタ４４Ａが適していることを示している。サンプル被検体ＳＭ１０では、三日月型の透過領域９１を有する照明光の強度分布が適し、且つ波長フィルタ４４Ａが適していることを示している。
【００２９】
＜顕微鏡システム１００の動作＞
図４は顕微鏡システム１００の動作を説明したフローチャートの一例である。
ステップＳ１０１では、まず第１空間光変換素子９０の照明領域９１が所定の強度分布に設定される。図３（ａ）で示されたように、例えば照明光の所定の強度分布は最大円径の照明領域９１である。そして、波長フィルタ４４は可視光の全領域（４００ｎｍ〜８００ｎｍ）を透過するフィルタが選択される。そして被検体６０である細胞等がイメージセンサ８０で撮影される。
【００３０】
ステップＳ１０３では、フーリエ解析部２０２がイメージセンサ８０で撮影された二次元画像を解析する。また、撮影された二次元画像は画像処理部２０１で処理されて表示部２１に表示される。なお、表示部２１に表示された二次元画像のうち観察者が被検体６０の一部領域を選択するようにしてもよい。一部領域は、被検体６０の１カ所であってもよいし２カ所以上であってもよい。観察者は被検体６０の観察したい領域を中央に移動させるため、自動的にイメージセンサ８０の中央領域を一部領域として選択してもよい。一部領域が選択された際にはフーリエ解析部２０２は選択された被検体６０の一部領域の画像信号を解析してもよい。一部領域の設定は、観察者が設定してもよいし、自動で設定されてもよい。
【００３１】
ステップＳ１０５では、比較部２０５が、図３（ａ）に示された被検体６０の空間周波数成分ＦＣと図３（ｂ）に示された空間周波数成分ＦＣ０１〜ＦＣ１０とを比較する。そして比較部２０５は、最小二乗法等のカーブフィッティング手法等によって、空間周波数成分ＦＣにもっとも近似する空間周波数成分ＦＣ０１〜ＦＣ１０の一つを特定する。図３（ｂ）の例示の中では、被検体６０の空間周波数成分ＦＣはサンプル被検体ＳＭ０３の空間周波数成分ＦＣ０３に最も近い。このため、比較部２０５は、サンプル被検体ＳＭ０３の空間周波数成分ＦＣ０３を特定する。被検体６０の空間周波数成分ＦＣとサンプル被検体ＳＭ０３の空間周波数成分ＦＣ０３とが近似しているということは、例えば被検体６０が細胞である場合、被検体６０の細胞構造がサンプル被検体ＳＭ０３の細胞構造と似ていると推定される。このため、すでに記憶部２０２で記憶されている、サンプル被検体ＳＭ０３を観察するに適した照明光の所定の強度分布及び波長フィルタも特定できる。すなわち、被検体６０には、透過領域９１で半径が小さい半径Ｒ２を有する照明光の強度分布が適し、且つ波長フィルタ４４Ａが適していると推定される。
【００３２】
ステップＳ１０７では、比較部２０５がさらに、特定されたサンプル被検体ＳＭ０３の観察に適した照明光の強度分布及び波長フィルタを記憶部２０６から読み出す。
【００３３】
ステップＳ１０９では、適した照明光の強度分布及び波長フィルタがそれぞれ素子変調部２０８及びフィルタ駆動部２０９に送られる。そして第１空間光変換素子９０の照明領域９１が適した照明光の強度分布に設定される。また、適した波長フィルタ４４に設定される。そしてイメージセンサ８０で被検体６０が撮影される。その撮影された二次元画像は表示部２１に表示される。観察者が被検体６０を観察するにはどのような照明光の強度分布又は波長フィルタが適切か否かわからない場合であっても、顕微鏡システム１００は、適した照明光の強度分布又は波長フィルタを自動的に選ぶことができる。また、顕微鏡システム１００は、被検体６０に適した照明光の強度分布又は波長フィルタを短時間で見つけ出すことができる。
【００３４】
ステップＳ１１１では、観察者が表示部２１に表示された二次元画像が満足する画像であるか否かを判断する。適した照明光の強度分布又は波長フィルタで被検体６０が撮影されているが、観察者がより良い被検体６０を観察したいと希望することもある。また、被検体６０の空間周波数成分ＦＣとサンプル被検体ＳＭの空間周波数成分ＦＣとが近似していても必ずしも同一ではないため、最適な二次元画像でないこともある。観察者が表示部２１に表示された二次元画像で満足すれば（ＹＥＳ）、被検体６０の観察は終了する。また点線で示されるように、ステップＳ１１７に進み被検体６０が所定の強度分布で撮影された際の空間周波数成分を記憶してから終了してもよい。より良い二次元画像を観察する際（ＮＯ）にはステップＳ１１３に進む。
【００３５】
ステップＳ１１３では、焼きなまし法、タブーサーチ、山登り法又は遺伝的アルゴリズム等を用いて、照明光の強度分布又は波長フィルタの最適化計算を行う。そしてより良い照明光の強度分布又は波長フィルタを求める。
【００３６】
ステップＳ１１５では、ステップＳ１１３で求められた照明光の強度分布又は波長フィルタで被検体６０がイメージセンサ８０で撮影される。
ステップＳ１１７では、顕微鏡システム１００で今回の被検体６０を撮影するに適した照明光の強度分布又は波長フィルタとして記憶部２０６に記憶される。また、この被検体６０が所定の強度分布で撮影された際の空間周波数成分が記憶部２０６に記憶される。この結果は、次に被検体を観察する際のサンプル被検体としての役割を担う。
【００３７】
以上説明したように、本実施形態の顕微鏡システム１００は、被検体６０を観察する際に、画像特徴量である空間周波数成分を使って、適した照明光の強度分布又は適した波長フィルタを容易に選び出すことができる。
【００３８】
図４に示したフローチャートの処理は、プログラムとして記憶媒体に記憶させてもよい。そしてこの記憶媒体に記憶されているプログラムをコンピュータにインストールさせることで、このコンピュータに計算などを行わせることができる。
【００３９】
（第２実施形態）
第１実施形態では明視野顕微鏡を有する顕微鏡システム１００について説明したが、第２実施形態では、位相差顕微鏡を有する顕微鏡システム３００について説明する。
【００４０】
＜顕微鏡システム３００＞
図５（ａ）は、顕微鏡システム３００の概略構成図である。顕微鏡システム３００は、被検体６０を観察するための光学式の顕微鏡システムである。顕微鏡システム３００は主に、照明光源３０と、照明光学系４０と、結像光学系７０と、イメージセンサ８０と、計算部１２０とにより構成されている。また照明光学系４０は、第１コンデンサレンズ４１、第１空間光変調素子３９０及び第２コンデンサレンズ４２を備えており、結像光学系７０は対物レンズ７１及び第２空間光変調素子３９６を含んでいる。また、照明光学系４０と結像光学系７０との間にはステージ５０が配置され、ステージ５０には被検体６０が設置される。
【００４１】
第２空間光変調素子３９６は、結像光学系７０の瞳の位置又はその近傍に配置される。また、第１空間光変調素子３９０は、照明光学系４０の中の結像光学系７０の瞳に共役となる位置に配置される。第１空間光変調素子３９０は透過する光の強度分布を任意に可変することができる素子であり、液晶パネル又はＤＭＤ等により構成される。第２空間光変調素子３９６は、位相を変えることができる素子である液晶パネル等により構成される。また、第２空間光変調素子は、位相と共に光の強度分布も自由に変えられるような構成とすることが望ましい。
【００４２】
図５（ａ）では、照明光源３０から射出された光が点線で示されている。照明光源３０から射出された照明光ＬＷ３１は第１コンデンサレンズ４１で光ＬＷ３２になる。光ＬＷ３２は、第１空間光変調素子３９０に入射する。第１空間光変調素子３９０を透過した光ＬＷ３３は第２コンデンサレンズ４２を透過して光ＬＷ３４となり、被検体６０に向かう。被検体６０を通過した光ＬＷ３５は、対物レンズ７１を透過して光ＬＷ３６となり第２空間光変調素子３９６に入射する。光ＬＷ３６は第２空間光変調素子３９６を通過して光ＬＷ３７となり、イメージセンサ８０に結像する。イメージセンサ８０に結像した画像の画像信号は計算部１２０に送られる。計算部１２０では、イメージセンサ８０から得られた画像に基づいて、被検体６０の空間周波数成分を解析する。そして、被検体６０の観察に適した照明形状が第１空間光変調素子３９０及び第２空間光変調素子３９６に送信される。
【００４３】
図５（ｂ）は、第１空間光変調素子３９０の平面図である。第１空間光変調素子３９０には、リング状に光の透過領域（照明領域）３９１が形成されており、透過領域３９１以外の領域は遮光領域３９２となっている。
【００４４】
図５（ｃ）は第２空間光変調素子３９６の平面図である。第２空間光変調素子３９６にはリング状に位相変調領域３９７が形成されており、この位相変調領域３９７を透過する光は位相が４分の１波長だけ付加される。位相変調領域３９７以外の領域である回折光透過領域３９８を透過する光は位相がそのままである。位相変調領域３９７は、第１空間光変調素子３９０の透過領域３９１と共役になるように形成されている。
【００４５】
顕微鏡システム３００の０次光（透過光）は、第１空間光変調素子３９０の透過領域３９１を透過し、第２空間光変調素子３９６の位相変調領域３９７を透過してイメージセンサ８０に至る。また、被検体６０から発せられた回折光は、第２空間光変調素子３９６の回折光透過領域３９８を透過してイメージセンサ８０に至る。そして、０次光と回折光とがイメージセンサ８０上に像を形成する。一般に０次光は回折光に比べて光の強度が強いので、位相変調領域３９７の光の強度を調節するフィルタが形成されることが望ましい。
【００４６】
第１空間光変調素子３９０及び第２空間光変調素子３９６は、その透過領域３９１及び位相変調領域３９７の大きさ、形状を自由に変えることができる。すなわち、透過光に与える付加位相の空間分布又は透過率の空間分布が変えられる。また、第１実施形態で示したように記憶部に記憶された照明形状を導き出して第１空間光変調素子３９０の透過領域３９１の形状を最適化してもよい。第２空間光変調素子３９６のリング状の領域３９７は常に第１空間光変調素子３９０の透過領域３９１と共役になるように形成される。そのため、透過領域３９１とリング状の領域３９７とは同期して形状が変化することが望ましい。
【００４７】
＜計算部１２０の構成＞
図６は計算部１２０の構成を示した概念図である。基本的に図３で示された計算部２０と同じであるが、計算部１２０は新たに判断部２０４を有しその一方でフィルタ駆動部２０９を有していない点で計算部２０と異なる。また照明条件を設定する設定部２１２は１つの素子変調部２０８しか有していない。また１つの素子変調部２０８は第１空間光変調素子３９０と第２空間光変調素子３９６とに接続されている点で計算部２０と異なる。以下、計算部２０と異なる点を主に説明する。
【００４８】
判断部２０４は、イメージセンサ８０からの画像信号を受け取る。そして判断部２０４は、画像のコントラストに関連する信号に基づいて被検体６０が位相物体と吸収物体とのいずれかであるかを判断する。位相物体とは，透過光では光の強度を変えず位相のみを変える無色透明な物体である。吸収物体とは、吸光物体又は強度物体とも呼ばれ、透過光において光の強度を変える有色な物体である。
【００４９】
判断部２０４は、以下のように２つの条件で撮影された被検体６０の画像に基づいて、位相物体と吸収物体とを判断する。第１の条件では、イメージセンサ８０は、第１空間光変調素子３９０の透過領域３９１が円形で遮光領域３９２がなく、且つ第２空間光変調素子３９６は位相透過領域３９７がなく全面の位相差がない状態で、被検体６０を検出する。第２の条件では、イメージセンサ８０は、第１空間光変調素子３９０の透過領域３９１がリング状、且つ第２空間光変調素子３９６は位相透過領域３９７がリング状で位相差が４分の１波長ある状態で、被検体６０を検出する。
【００５０】
判断部２０４は、第１の条件で撮影した被検体６０の画像のコントラストが閾値よりも高いか否か、第２の条件で撮影した被検体６０の画像のコントラストが閾値より高いか否かを判断する。例えば被検体６０が位相物体であれば、第１の条件で撮影した被検体６０の画像のコントラストは低くなり、第２の条件で撮影した被検体６０の画像のコントラストは高くなる。逆に被検体６０が吸収物体であれば、第１の条件で撮影した被検体６０の画像のコントラストは高くなり、第２の条件で撮影した被検体６０の画像のコントラストは低くなる。このように、判断部２０４は、被検体６０が位相物体と吸収物体とのいずれかであるかを判断する。判断部２０４が判断した結果は比較部２０５に送られる。
【００５１】
比較部２０５は、被検体６０の空間周波数成分と予め記憶部２０６に記憶されている空間周波数成分とを比較する際に、判断部２０４から送られてきた結果を利用する。
【００５２】
素子変調部２０８は、適した照明光の強度分布に基づいて第１空間光変調素子３９０の照明領域３９１の大きさ又は形状を変える。また素子変調部２０８は、適した照明光の強度分布に基づいて第２空間光変調素子３９６の位相変調領域３９７の大きさ又は形状を変える。
【００５３】
＜記憶部に記憶される被検体の空間周波数成分＞
図７は、記憶部２０６に記憶される別の空間周波数成分などの概念図である。図７（ａ）は、リング状の照明光の強度分布で得られた被検体６０の空間周波数成分の例である。図７（ｂ）はサンプル被検体ＳＭ０１からＳＳ１３までの空間周波数成分などの例である。
【００５４】
第２実施形態では、被検体６０は、２つの所定条件でイメージセンサ８０により検出される。例えば、第１の条件は照明光の所定の強度分布は第１空間光変調素子３９０の照明領域３９１が全開口の分布で第２空間光変調素子３９６の位相差がない条件である。第２の条件は第１空間光変調素子３９０の照明領域３９１がリング状の強度分布で且つ第２空間光変調素子３９６の位相変調領域３９７がリング状の強度分布で位相が４分の１波長擦れた条件である。
【００５５】
照明光の所定の強度分布として、この第２の条件も記憶される。図７（ａ）に示されるように、被検体６０の空間周波数成分ＦＣとともに所定の強度分布が被検体６０と関連付けられて記憶される。なお、図示していないが、被検体６０を最初に検出する際には、波長フィルタ４４は可視光の全領域（４００ｎｍ〜８００ｎｍ）を透過するフィルタが使われている。
【００５６】
サンプル被検体ＳＭ（ＳＭ０１〜ＳＭ１３）は予め実験などで求めていた空間周波数成分ＦＣ（ＦＣ０１〜ＦＣ１３）である。サンプル被検体ＳＭは、位相物体と吸収物体とが記憶されている。位相物体とは，透過光では光の強度を変えず位相のみを変える無色透明な物体である。吸収物体とは，透過光において光の強度を変える有色な物体である。図７（ｂ）において、吸収物体としてサンプル被検体ＳＭ０１〜ＳＭ０３が記憶されている。また位相物体としてサンプル被検体ＳＭ１１〜ＳＭ１３が記憶されている。これは例示であって位相物体のサンプル被検体が何百も記憶されていることが好ましい。なお、吸収物体のサンプル被検体ＳＭ０１〜ＳＭ０３は、図３で示されたサンプル被検体ＳＭ０１〜ＳＭ０３と同じである。このため以下の説明ではそれらの説明を割愛する。
【００５７】
位相物体のサンプル被検体ＳＭ１１〜ＳＭ１３は、第１空間光変調素子３９０の照明領域３９１がリング状（輪帯状）の強度分布で取得された空間周波数成分ＦＣ１１〜ＦＣ１３が記憶部２０６に記憶されている。なお、図示していないが、サンプル被検体ＳＭ１１〜ＳＭ１３の空間周波数成分ＦＣ１１〜Ｆ１３も、可視光を透過するフィルタが使われて検出されたものである。
【００５８】
位相物体のサンプル被検体ＳＭ（ＳＭ１１〜ＳＭ１３）は、さらに各サンプル被検体ＳＭに適した照明光の強度分布が記憶されている。また最適な波長フィルタが記憶されている。例えば、サンプル被検体ＳＭ１１では、リングの幅の広い透過領域３９１を有する照明光の強度分布が適し、且つ波長フィルタ４４Ｃ（例えば６００ｎｍ〜８００ｎｍ）が適していることを示している。サンプル被検体ＳＭ１２では、リングが四つに分割された透過領域３９１を有する照明光の強度分布が適し、且つ波長フィルタ４４Ａが適していることを示している。サンプル被検体ＳＭ１３では、リングの幅の狭い透過領域３９１を有する照明光の強度分布が適し、且つ波長フィルタ４４Ａが適していることを示している。なお顕微鏡システム３００は、記憶部２０６に波長フィルタ４４の情報が記憶されていても、使用しない。波長フィルタ４４を備えている顕微鏡システム３００であれば、記憶部２０６に記憶されている波長フィルタ４４の情報を利用することができる。
【００５９】
＜顕微鏡システム３００の動作＞
図８は顕微鏡システム３００の動作を説明したフローチャートの一例である。
ステップＳ２０１では、第１空間光変換素子３９０及び第２空間光変換素子３９６が２つの所定の強度分布（第１条件：円形の均一照明、第２条件：リング照明（位相リング））に変調される。それぞれの条件で被検体６０がイメージセンサ８０で撮影される。
【００６０】
ステップＳ２０３では、判断部２０４が被検体６０の画像のコントラストに基づいて、被検体６０が吸収物体又は位相物体であるかを判断する。例えば被検体６０が位相物体であれば、第１の条件で撮影した被検体６０の画像のコントラストは低くなり、第２の条件で撮影した被検体６０の画像のコントラストは高くなる。このフローチャートでは判断部２０４が、被検体６０が位相物体であると判断したことを前提に説明する。
【００６１】
ステップＳ２０５では、フーリエ解析部２０２がイメージセンサ８０で撮影された位相物体の二次元画像を解析する。また、撮影された二次元画像は画像処理部２０１で処理されて表示部２１に表示される。
【００６２】
ステップＳ２０７では、比較部２０５が、図７（ａ）に示された被検体６０の空間周波数成分ＦＣと図７（ｂ）に示された空間周波数成分ＦＣ１１〜ＦＣ１３とを比較する。判断部２０４から被検体６０が位相物体であるとの結果を受け取っているため、比較部２０５は比較対象を位相物体のサンプル被検体ＳＭ１１〜ＳＭ１３に絞り込み、それらの空間周波数成分ＦＣ１１〜ＦＣ１３と検体６０の空間周波数成分ＦＣとを比較している。
【００６３】
比較部２０５は、最小二乗法等のカーブフィッティング手法等によって、空間周波数成分ＦＣにもっとも近似する空間周波数成分ＦＣ１１〜ＦＣ１３の一つを特定する。図７（ｂ）の例示の中では、被検体６０の空間周波数成分ＦＣはサンプル被検体ＳＭ１３の空間周波数成分ＦＣ１３に最も近い。このため、比較部２０５は、サンプル被検体ＳＭ１３の空間周波数成分ＦＣ０３を特定する。そして例えば被検体６０が細胞であれば、その細胞構造がサンプル被検体ＳＭ１３の細胞構造と似ていると推定される。このため、サンプル被検体ＳＭ１３を観察するに適した照明光の所定の強度分布を特定する。
【００６４】
ステップＳ２０９では、比較部２０５が、特定された位相物体のサンプル被検体ＳＭ１３の観察に適した照明光の強度分布を記憶部２０６から読み出す。
【００６５】
ステップＳ２１１では、適した照明光の強度分布が素子変調部２０８に送られる。そして第１空間光変換素子３９０の照明領域３９１及び第２空間光変換素子３９６の位相変調領域３９７が適した照明光の強度分布に設定される。そしてイメージセンサ８０で被検体６０が撮影される。その撮影された二次元画像は表示部２１に表示される。観察者が被検体６０を観察するにはどのような照明光の強度分布が適切か否かわからない場合であっても、顕微鏡システム３００は、適した照明光の強度分布を自動的に選ぶことができる。また、顕微鏡システム３００は、被検体６０に適した照明光の強度分布を短時間で見つけ出すことができる。
【００６６】
ステップＳ２１３では、観察者が表示部２１に表示された二次元画像が満足する画像であるか否かを判断する。適した照明光の強度分布で被検体６０が撮影されているが、観察者がより良い被検体６０を観察したいと希望することもある。また、被検体６０の空間周波数成分ＦＣとサンプル被検体ＳＭの空間周波数成分ＦＣとが近似していても必ずしも同一ではないため、最適な二次元画像でないこともある。観察者が表示部２１に表示された二次元画像で満足すれば（ＹＥＳ）、被検体６０の観察は終了する。また点線で示されるように、ステップＳ２１９に進み被検体６０が所定の強度分布で撮影された際の空間周波数成分を記憶してから終了してもよい。より良い二次元画像を観察する際には（ＮＯ）ステップＳ２１５に進む。
【００６７】
ステップＳ２１５では、焼きなまし法、タブーサーチ、山登り法又は遺伝的アルゴリズム等を用いて、照明光の強度分布又は波長フィルタの最適化計算を行う。そしてより良い照明光の強度分布を求める。
【００６８】
ステップＳ２１７では、ステップＳ２１５で求められた照明光の強度分布で被検体６０がイメージセンサ８０で撮影される。
ステップＳ２１９では、顕微鏡システム３００で今回の被検体６０を撮影するに適した照明光の強度分布として記憶部２０６に記憶される。また、この被検体６０が所定の強度分布で撮影された際の空間周波数成分が記憶部２０６に記憶される。この結果は、次に被検体を観察する際のサンプル被検体としての役割を担う。
【００６９】
以上説明したように、本実施形態の顕微鏡システム３００は、被検体６０を観察する際に、空間周波数成分を含む画像特徴量を使って、適した照明光の強度分布を容易に選び出すことができる。
【００７０】
図８に示したフローチャートの処理は、プログラムとして記憶媒体に記憶させてもよい。そしてこの記憶媒体に記憶されているプログラムをコンピュータにインストールさせることで、このコンピュータに計算などを行わせることができる。
【００７１】
＜照明光の強度分布の導き方＞
図４のステップＳ１１３又は図８のステップＳ２１５では、被検体６０の観察に適した照明光の強度分布を求めた。いろいろな導き方があるが、山登り法と遺伝的アルゴリズムを用いた方法との２つの方法について説明する。以下のフローチャートは第２実施形態の顕微鏡システム３００に山登り法と遺伝的アルゴリズムを用いた方法とを適用させた例である。説明を割愛するが、同様に第１実施形態の顕微鏡システム１００にも適用できる。
【００７２】
＜山登り法＞
山登り法は、最初に設定された照明形状を少しずつ変化させていき、変化ごとに画像の画像信号を取得して、この画像信号が観察者によって設定された条件に最も近くなる条件を探していく方法である。図９を参照しながら説明する。
【００７３】
図９は、照明光の強度分布を少しずつ変化させて適した強度分布を見つける山登り法のフローチャートである。
ステップＳ３０１では、まず記憶部２０６から読み出された第１空間光変換素子３９０の照明領域３９１及び第２空間光変換素子３９６の位相変調領域３９７が適した照明光の強度分布に設定される。なお、このステップＳ３０１は図８のステップＳ２１１の結果を流用してもよい。
【００７４】
ステップＳ３０３は、素子変調部２０８が第１空間光変換素子３９０の照明領域３９１及び第２空間光変換素子３９６の位相変調領域３９７の大きさを少し変化させる。つまりステップＳ３０３は、照明光の強度分布を少し変化させる。
【００７５】
ステップＳ３０５では、イメージセンサ８０で被検体６０の像が検出される。そして画像信号が計算部１２０に送られる。
【００７６】
ステップＳ３０７では、計算部１２０に送られてきた画像信号に基づく画像が前回の画像よりも悪いか否かを判断する。例えば、今回の画像信号に基づいて計算されたコントラストが、前回得られた画像信号に基づいて計算されたコントラストよりも悪いかを比較する。悪くなっていなければステップＳ３０３に戻り照明領域３９１及び位相変調領域３９７の大きさもしくは形状を変化させ、その画像信号を検出する（ステップＳ３０５）。つまり、今回の画像信号のコントラストが上がっているためステップＳ３０３に戻って照明領域３９１及び位相変調領域３９７の大きさもしくは形状を変化させる。一方、コントラストが前回より今回が悪くなっていれば、前回の照明領域３９１及び位相変調領域３９７の大きさもしくは形状が最もコントラストが高いことになる。そこで次のステップＳ３０９に進む。
【００７７】
ステップＳ３０９は、被検体６０の観察に適した照明形状が選択される。つまり、観察領域２４のコントラストが悪くなる直前に使用された照明領域３９１及び位相変調領域３９７が被検体６０の観察に適した照明光の強度分布であるとして、被検体６０の観察に使用される。なお、図８のステップＳ２１９で説明したように、この求められた照明領域３９１及び位相変調領域３９７が記憶部２０６に記憶される。
【００７８】
＜遺伝的アルゴリズムを用いた方法＞
次に遺伝的アルゴリズムを用いた方法について説明する。遺伝的アルゴリズムは、用意された複数の照明光の強度分布のそれぞれについて画像信号を取得し、その中で被検体６０の観察に適した強度分布同士の組み合わせを行うことにより照明光の強度分布を探していく方法である。
【００７９】
図１０は、遺伝的アルゴリズムを用いたフローチャートである。
まず、ステップＳ４０１で、まず記憶部２０６から読み出された第１空間光変換素子３９０の照明領域３９１及び第２空間光変換素子３９６の位相変調領域３９７が適した照明光の強度分布に設定される。
【００８０】
ステップＳ４０３では、読み出された照明領域３９１及び位相変調領域３９７の強度分布と別の複数の強度分布とを用いて被検体６０の像がイメージセンサ８０で検出される。なお、この読み出された照明領域３９１及び位相変調領域３９７の強度分布の画像は、図８のステップＳ２１１の結果を流用してもよい。
【００８１】
ステップＳ４０５では、遺伝的アルゴリズムの交叉又は突然変異の手法によって次世代の照明光の強度分布を複数形成する。
【００８２】
ステップＳ４０７では、次世代の複数の照明光の強度分布を用いて被検体６０の像がイメージセンサ８０で検出される。
【００８３】
ステップＳ４０９では、ステップＳ４０７で入手した被検体６０の画像のコントラスト等を比較し、この中で最も適した照明光の強度分布である第１照明光強度分布と２番目に適した照明光の強度分布である第２照明光強度分布とが選択される。
【００８４】
ステップＳ４１１では、所定の世代、例えば１０００世代まで交叉又は突然変異が行われたかを判断する。所定の世代まで交叉等が行われていない場合はステップＳ４０５に戻ってより被検体の観察に適した照明強度分布を探索していく。所定の世代まで交叉等が行われればステップＳ４１３に進む。
【００８５】
ステップＳ４１３では、所定の世代、例えば１０００世代までの交叉等で得られた照明領域３９１から、観察者が要望した条件に近い世代の照明形状が選択される。その世代の照明光の強度形状の第１空間光変換素子３９０の照明領域３９１及び第２空間光変換素子３９６の位相変調領域３９７が被検体６０の観察に使用される。なお、図８のステップＳ２１９で説明したように、この求められた照明領域３９１及び位相変調領域３９７が記憶部２０６に記憶される
【００８６】
＜空間周波数成分の集中管理＞
図１１はサーバー４００を使った空間周波数成分の集中管理の概略構成図である。
【００８７】
顕微鏡システム１００は計算部２５を有している。計算部２５は計算部２０（図２）とは異なり、比較部２０５を有しておらず、サンプル被検体ＳＭの空間周波数成分ＦＣを記憶する記憶部２０６を有していない。その一方で、計算部２５はインターネット等の通信機能として、一時的にデータを蓄えるバッファ部２２０、外部に空間周波数成分ＦＣ等の情報を送信する送信部２２２、外部から適した照明光の強度分布に関する情報等を受信する受信部２２４を有している。
【００８８】
顕微鏡システム３００は計算部１２５を有している。計算部１２５は計算部１２０（図６）とは異なり、比較部２０５を有しておらず、サンプル被検体ＳＭの空間周波数成分ＦＣを記憶する記憶部２０６を有していない。その一方で、計算部１２５はバッファ部２２０、送信部２２２、受信部２２４を有している。
【００８９】
サーバー４００は、被検体６０の空間周波数成分ＦＣとサンプル被検体の空間周波数成分とを比較する比較部４０５及びサンプル被検体ＳＭの空間周波数成分ＦＣを記憶する記憶部４０６を有している。また、サーバー４００は外部に適した照明光の強度分布に関する情報等を送信する送信部４２２、外部から空間周波数成分ＦＣ等の情報を受信する受信部４２４を有している。
【００９０】
顕微鏡システム１００及び顕微鏡システム３００は、１つずつ描かれているが多数配置されている。その一方でサーバー４００は１又は少数である。顕微鏡システム１００及び顕微鏡システム３００は、所定の照明光の強度分布で被検体６０を撮像する。その被検体６０の画像信号は、顕微鏡システム１００及び顕微鏡システム３００のそれぞれのフーリエ解析部２０２で解析される。それぞれの送信部２２２は、被検体６０の空間周波数成分ＦＣをサーバー４００に送信する。しかし各システムは被検体６０の画像信号は必ずしも送信する必要はない。サーバー４００の受信部４２４は被検体の空間周波数成分ＦＣを受信する。
【００９１】
サーバー４００の比較部４０５は、記憶部４０６に記憶されたサンプル被検体ＳＭの空間周波数成分ＦＣと送信されてきた被検体６０の空間周波数成分ＦＣとを比較する。そして最も近いサンプル被検体の空間周波数成分を特定する。そして比較部４０５がそのサンプル被検体を観察するに適した照明光の所定の強度分布又は波長フィルタを特定する。比較部４０５は特定されたサンプル被検体の観察に適した照明光の強度分布又は波長フィルタを記憶部４０６から読み出す。読み出された照明光の強度分布又は波長フィルタは顕微鏡システム１００及び顕微鏡システム３００に送信部４２２を介して送信される。
【００９２】
顕微鏡システム１００及び顕微鏡システム３００の受信部２２４は、観察に適した照明光の強度分布又は波長フィルタを受信し、その受信した結果に基づいて設定部２１２は照明条件を設定する。素子変調部２０８は適した照明光の強度分布に第１空間光変調素子９０、３９０を変調させる。フィルタ駆動部２０９は波長フィルタ４４の透過波長を変更する。顕微鏡システム１００及び顕微鏡システム３００は、被検体６０を観察する際に、空間周波数成分を含む画像特徴量を使って、適した照明光の強度分布を容易に選び出すことができる。
【００９３】
観察者が、適した照明光の強度分布でイメージセンサ８０が検出した被検体６０の二次元画像を観察し、観察者が二次元画像で満足すれば、被検体６０の観察は終了する。より良い二次元画像を観察する際には、各顕微鏡システム１００及び顕微鏡システム３００で、山登り法又は遺伝的アルゴリズム等を用いて、照明光の強度分布又は波長フィルタの最適化計算が行われる。
【００９４】
各顕微鏡システム１００及び顕微鏡システム３００で最適化計算された結果は、送信部２２２を介してサーバー４００に送られ、サーバー４００の記憶部４０６に空間周波数成分とともにサンプル被検体として記憶される。サーバー４００の記憶部には複数の顕微鏡システム１００及び顕微鏡システム３００から送られた照明光の強度分布等が記憶されるため、きわめて多くの空間周波数成分が記憶される。したがって、サーバー４００の比較部４０５はきわめて近似する空間周波数成分を特定することができる。
【００９５】
以上のような方法により、被検体６０情報を検出し、計算部２０は被検体の観察に適した照明形状を自動的に設定することができるが、実施形態には更に様々な変更を加えることができる。
【００９６】
例えば、顕微鏡システム１００では照明光源３０は白色の照明光を照射し、波長フィルタ４４で透過する光束の波長を特定の範囲のみを透過させた。波長フィルタ４４を用いる代わりに、異なる波長の光（例えば、赤色、緑色、青色）を照射するＬＥＤを複数有する照明光源３０を使用してもよい。例えば被検体６０に白色光を照射する際には赤色、緑色及び青色のＬＥＤを同時に点灯させ、被検体６０に赤色を照射する際には赤色のＬＥＤのみを点灯させる。このように、照明光の波長が選択されてもよい。
【００９７】
さらに例えば、図５に示した顕微鏡システム３００でも波長フィルタを備えてもよい。また、第１及び第２実施形態は、画像特徴量として空間周波数成分を使用したがこれに限られない。例えば、階調値の出現頻度を表すヒストグラム（縦軸：出現頻度、横軸：階調値）も画像特徴量として使用することができる。さらに画像特徴量として最大傾斜量を使用することができる。最大傾斜量とは空間的な輝度値プロファイル（横軸：例えばＸ方向位置、縦軸：輝度値）での輝度値の変化の最大値である。画像特徴量はコントラストでもよい。
【符号の説明】
【００９８】
２０、２５，１２０，１２５ … 計算部
２１ … 表示部
３０ … 照明光源
４０ … 照明光学系
４１ … 第１コンデンサレンズ、 ４２ … 第２コンデンサレンズ
４４ … 波長フィルタ
５０ … ステージ
６０ … 被検体
７０ … 結像光学系、 ７１ … 対物レンズ
８０ … イメージセンサ
９０、３９０ … 第１空間光変調素子
９１ … 照明領域
９２ … 遮光部
１００、３００ … 顕微鏡システム
２０１ … 画像処理部
２０２、４０２ … フーリエ解析部
２０４ … 判断部
２０５、４０５ … 比較部
２０６，４０６ … 記憶部
２０８ … 素子変調部
２０９ … フィルタ駆動部
２２２、４２２ … 送信部
２２４，４２４ … 受信部
３９６ … 第２空間光変調素子
３９７ … 位相変調領域
３９８ … 回折光透過領域
４００ … サーバー
【技術分野】
【０００１】
本発明は、観察に適した照明光の強度分布を導き出して形成する顕微鏡システム、サーバー及びプログラムに関する。
【背景技術】
【０００２】
明視野顕微鏡では、照明光の強度分布の調整を円形の絞りを可変させて調整する。また、観察者の判断で絞りの形状を選択して使用することもあった。位相差顕微鏡では、リング（輪帯）絞り及び位相リングが照明光の強度分布を形成している。
【０００３】
照明光の強度分布は被検体の観察像に大きな影響を及ぼすため、円形の絞り、リング絞り及び位相リング等に改良を加えて被検体の観察画像をより良いものにするような工夫がされている。例えば、特許文献１では位相リングのリング状に設けられたリング領域を取り囲むように変調部を設け、変調部と変調部以外の領域との透過軸の方向が異なるように形成することによりコントラストを連続可変可能な位相差顕微鏡が示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−２３７１０９
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、上記のような明視野顕微鏡又は位相差顕微鏡では、絞りの形状がある程度決まっており、照明光の強度分布の調整には制限があった。また、絞りの形状を選ぶ場合も観察者の判断又は経験を元にして選ぶため、必ずしも絞りの形状が観察中の物体の像を最良の状態で観察できる形状になっているわけではなかった。一方、絞り形状を任意に選べるようにすると、どのような絞り形状が被検体に対して最適な形状であるかを選択することが観察者にとって困難であった。
そこで本発明は、被検体を観察するためにその被検体に適した照明光の強度分布を求める顕微鏡システム、サーバー及びプログラムを提供する。
【課題を解決するための手段】
【０００６】
第１観点の顕微鏡システムは、被検体を観察する光学式の顕微鏡と顕微鏡に接続されるコンピュータとを含む顕微鏡システムである。顕微鏡は、光源からの照明光を被検体に所定照明条件で照射する照明光学系と、被検体からの光から被検体の像を形成する結像光学系と、結像光学系による被検体像を検出して画像信号を出力するイメージセンサと、を備える。コンピュータは、イメージセンサで検出される画像信号に基づいて、被検体の画像の特徴量を取得する画像解析部と、被検体の画像特徴量と複数のサンプル被検体の画像特徴量とを比較し、被検体の画像特徴量に近似するサンプル被検体の画像特徴量を特定する比較部と、比較部で特定された画像特徴量を有するサンプル被検体の観察に適した照明状態に基づいて、照明光学系の照明条件を設定する設定部と、を備える。
【０００７】
第２観点のサーバーは、第１観点の顕微鏡システムから被検体の画像特徴量を受信する第２受信部と、第２受信部で受信された被検体の画像特徴量と複数のサンプル被検体との画像特徴量とを比較し、被検体の画像特徴量に近似するサンプル被検体の画像特徴量を特定する第２比較部と、第２比較部で特定された画像特徴量を有するサンプル被検体の観察に適した照明状態に基づいて、照明光学系の照明条件を設定する第２設定部と、第２設定部で設定された照明光学系の照明条件を顕微鏡システムに送信する第２送信部と、を備える。
【０００８】
第３観点のプログラムは、光源からの照明光を被検体に所定照明条件で照射する照明光学系と、被検体からの光から被検体の像を形成する結像光学系と、結像光学系による被検体像を検出して画像信号を出力するイメージセンサと、を備える顕微鏡と、顕微鏡に接続されるコンピュータとを含む顕微鏡システムに用いられる。そのプログラムは、コンピュータに、イメージセンサで検出される画像信号に基づいて被検体の画像の特徴量を取得する画像解析と、被検体の画像特徴量と複数のサンプル被検体の画像特徴量との比較と、被検体の画像特徴量に近似するサンプル被検体の画像特徴量の特定と、比較部で特定された画像特徴量を有するサンプル被検体の観察に適した照明状態に基づいて照明光学系の照明条件を設定する設定と、を実行させる。
【発明の効果】
【０００９】
本発明によれば、観察中の物体の像を良い状態で観察するために適した照明条件を設定する顕微鏡システム、サーバー及びプログラムが提供される。
【図面の簡単な説明】
【００１０】
【図１】顕微鏡システム１００の概略構成図である。
【図２】計算部２０の概略構成図である。
【図３】記憶部２０６に記憶される空間周波数成分などの概念図である。
【図４】顕微鏡システム１００の動作のフローチャートの一例である。
【図５】（ａ）は、顕微鏡システム３００の概略構成図である。 （ｂ）は、第１空間光変調素子３９０の平面図である。 （ｃ）は、第２空間光変調素子３９６の平面図である。
【図６】計算部１２０の概略構成図である。
【図７】記憶部２０６に記憶される別の空間周波数成分などの概念図である。
【図８】顕微鏡システム３００の動作のフローチャートの一例である。
【図９】山登り法を用いたフローチャートである。
【図１０】遺伝的アルゴリズムを用いたフローチャートである。
【図１１】サーバーを使った空間周波数成分の集中管理の概略構成図である。
【発明を実施するための形態】
【００１１】
（第１実施形態）
第１実施形態として、絞りの形状を自由に変えることができ明視野顕微鏡を有する顕微鏡システム１００について説明する。顕微鏡システム１００は、観察中の物体の像を良い状態で観察するために適した照明光の強度分布を導き出して自動的に調整される。
【００１２】
＜顕微鏡システム１００＞
図１は、顕微鏡システム１００の概略構成図である。顕微鏡システム１００は主に、照明光源３０と、照明光学系４０と、ステージ５０と、結像光学系７０と、イメージセンサ８０と、計算部２０と、を有している。以下、照明光源３０から射出される光束の中心軸をＺ軸方向とし、Ｚ軸に垂直で互いに直交する方向をＸ軸方向及びＹ軸方向として説明する。
【００１３】
照明光源３０は、例えば被検体６０に白色の照明光を照射する。照明光学系４０は、第１コンデンサレンズ４１、波長フィルタ４４、第１空間光変調素子９０及び第２コンデンサレンズ４２を備えている。また、結像光学系７０は対物レンズ７１を備えている。ステージ５０は、例えば細胞組織等の未知の構造を有する被検体６０を載置してＸＹ軸方向に移動可能である。また、結像光学系７０は、被検体６０の透過光又は反射光をイメージセンサ８０に結像させる。
【００１４】
照明光学系４０の第１空間光変調素子９０は、例えば照明光学系４０の中の結像光学系７０の瞳の位置に対して共役となる位置に配置される。第１空間光変調素子９０は具体的には液晶パネル又はデジタルマイクロミラーディバイスなどを使用することができる。また、第１空間光変調素子９０は自由に形状及び大きさを変化させることができる照明領域９１を有しており、照明領域９１の大きさ又は形状を変えて、照明光の強度分布を任意に可変させることができる。つまり、第１空間光変調素子９０は結像光学系７０の瞳の共役位置における照明光の強度分布を可変することができる。一般に第１空間光変調素子９０の透過領域９１の直径を大きくすると透過光の開口数が上がるため解像度を上げることができる。また波長フィルタ４４は、透過する光束の波長を特定の範囲内に制限する。波長フィルタ４４には、例えば特定範囲の波長の光のみを透過するバンドパスフィルタが用いられる。波長フィルタ４４は脱着が可能であり、複数のそれぞれ異なる波長の光を透過するバンドパスフィルタを用意してその入れ替えを行うことにより波長フィルタ４４を透過する光の波長を制御することができる。
【００１５】
計算部２０はイメージセンサ８０で検出される画像信号を受信し、その画像信号を画像処理してモニター等の表示部２１に表示させる。また計算部２０は画像信号を解析する。計算部２０が行う解析等については図２を使って後述する。
【００１６】
図１では、照明光源３０から射出された光が点線で示されている。照明光源３０から射出された光ＬＷ１１は第１コンデンサレンズ４１で平行な光ＬＷ１２に変換される。光ＬＷ１２は、波長フィルタ４４を透過することにより波長の範囲が特定されて第１空間光変調素子９０に入射する。第１空間光変調素子９０の照明領域９１を通過した光ＬＷ１３は第２コンデンサレンズ４２を透過して光ＬＷ１４になり、ステージ５０に向かう。ステージ５０を透過した光ＬＷ１５は結像光学系７０を透過して光ＬＷ１６となり、イメージセンサ８０に被検体６０の像を形成する。
【００１７】
＜計算部２０の構成＞
図２は計算部２０の構成を示した概念図である。計算部２０は、画像処理部２０１、フーリエ解析部２０２、比較部２０５、記憶部２０６、及び設定部２１２を有している。
【００１８】
画像処理部２０１及びフーリエ解析部２０２は、イメージセンサ８０からの画像信号を受け取る。画像処理部２０１は、イメージセンサ８０からの画像信号を表示部２１に表示するために画像処理する。画像処理された信号は表示部２１に送られ、表示部２１で被検体の像が表示される。フーリエ解析部２０２はイメージセンサ８０からの画像信号をフーリエ変換し、空間周波数成分を算出する。そして被検体６０の空間周波数成分が解析される。空間周波数成分は比較部２０５に送られるとともに、空間周波数成分を記憶するために記憶部２０６にも送られる。なお、フーリエ解析部２０２はイメージセンサ８０からの被検体６０のすべての画像信号をフーリエ変換してもよいし、観察者が選択した被検体６０の一部領域の画像信号をフーリエ変換してもよい。一部領域の設定は、観察者が設定してもよいし、自動で設定されてもよい。
【００１９】
比較部２０５は、フーリエ解析部２０２で解析された被検体６０の空間周波数成分と予め記憶部２０６に記憶されている空間周波数成分とを比較する。記憶部２０６にはすでに複数サンプル被検体の空間周波数成分が記憶されている。この空間周波数成分はサンプル被検体の画像信号に基づいてフーリエ変換されたものである。また記憶部２０６は各サンプル被検体に対して適した照明光の強度分布又は照明光の波長を記憶している。顕微鏡システムを製造する製造者がデフォルト値としてサンプル被検体を用意していてもよい。比較部２０５で比較された結果に基づいて、比較部２０５は記憶部２０６から最も近似する空間周波数成分を特定する。比較部２０５は最も近似する空間周波数成分のサンプル被検体に適した照明光の強度分布又は照明光の波長を出力する。
【００２０】
適した照明光の強度分布又は適した照明光の波長に関するデータは、照明光の照明条件を設定する設定部２１２に送られる。設定部２１２は素子変調部２０８及びフィルタ駆動部２０９を有している。素子変調部２０８は、適した照明光の強度分布に基づいて第１空間光変調素子９０の照明領域９１の大きさ又は形状を変える。またフィルタ駆動部２０９は、適した照明光の波長のデータに基づいて波長フィルタ４４が透過する波長領域を変える。
【００２１】
＜記憶部に記憶される被検体の空間周波数成分＞
図３は、記憶部２０６に記憶される空間周波数成分などの概念図である。図３（ａ）は、被検体６０の空間周波数成分の例である。図３（ｂ）はサンプル被検体ＳＭ０１からＳＭ１０までの空間周波数成分などの例である。
【００２２】
今回、被検体６０は、照明光の所定の強度分布でイメージセンサ８０により検出される。例えば、照明光の所定の強度分布は第１空間光変調素子９０の照明領域９１が全開口の分布である。この第１空間光変調素子９０の照明領域９１も、図３（ａ）に示されるように、被検体６０の空間周波数成分ＦＣとともに被検体６０と関連付けられて記憶される。なお、図示していないが、被検体６０を最初に検出する際には、波長フィルタ４４は可視光の全領域（４００ｎｍ〜８００ｎｍ）を透過するフィルタが使われている。
【００２３】
被検体６０と以下に説明するサンプル被検体とが統一した照明光の強度分布で検出される。これにより同一被検体であれば、同一空間周波数成分になる。第１実施形態では、照明光の所定の強度分布は照明領域９１が全開口の分布である。これに限られず、また所定の強度分布が複数であってもよい。
【００２４】
空間周波数成分ＦＣは周波数と強度（振幅）と位相との関係で表現される。なお、図３（ａ）及び（ｂ）においては模式的に一次元方向の周波数と強度との関係が描かれているが、イメージセンサ８０で検出された画像は二次元画像であるため二次元方向の周波数と強度とを含んでいる。
【００２５】
サンプル被検体ＳＭ（ＳＭ０１〜ＳＭ１０）は予め実験などで求めていた空間周波数成分ＦＣ（ＦＣ０１〜ＦＣ１０）である。図３（ｂ）において、サンプル被検体ＳＭ０１〜ＳＭ１０が記憶されているが、これは例示であって数百ものサンプル被検体が記憶されていることが好ましい。
【００２６】
サンプル被検体ＳＭ０１〜ＳＭ１０は、第１空間光変調素子９０の照明領域９１が全開口の強度分布で取得された空間周波数成分ＦＣ０１〜ＦＣ１０が記憶部２０６に記憶されている。空間周波数成分ＦＣ０１〜ＦＣ１０は数式で記憶されていてもよく、周波数ごとの強度データとして記憶されていてもよい。なお、図示していないが、サンプル被検体ＳＭ０１〜ＳＭ１０の空間周波数成分ＦＣ０１〜ＦＣ１０も、可視光を透過するフィルタが使われて検出されたものである。
【００２７】
サンプル被検体ＳＭ（ＳＭ０１〜ＳＭ１０）は、さらに各サンプル被検体ＳＭに適した照明光の強度分布が記憶されている。また最適な波長フィルタが記憶されている。例えば、サンプル被検体ＳＭ０１では、１つの透過領域９１で半径がやや小さい半径Ｒ１を有する照明光の強度分布が適していることを示している。またサンプル被検体ＳＭ０１では、波長フィルタ４４Ａ（例えば４００ｎｍ〜８００ｎｍ）が適していることを示している。また、サンプル被検体ＳＭ０２では、２つの透過領域９１を有する照明光の強度分布が適していることを示している。またサンプル被検体ＳＭ０２では、波長フィルタ４４Ｂ（例えば４００ｎｍ〜６００ｎｍ）が適していることを示している。サンプル被検体ＳＭ０３では、１つの透過領域９１で半径が小さい半径Ｒ２を有する照明光の強度分布が適し、且つ波長フィルタ４４Ａが適していることを示している。
【００２８】
サンプル被検体ＳＭ０８では、楕円状の透過領域９１を有する照明光の強度分布が適し、且つ波長フィルタ４４Ｃ（例えば６００ｎｍ〜８００ｎｍ）が適していることを示している。サンプル被検体ＳＭ０９では、全開口の照明領域９１を有する照明光の強度分布が適し、且つ波長フィルタ４４Ａが適していることを示している。サンプル被検体ＳＭ１０では、三日月型の透過領域９１を有する照明光の強度分布が適し、且つ波長フィルタ４４Ａが適していることを示している。
【００２９】
＜顕微鏡システム１００の動作＞
図４は顕微鏡システム１００の動作を説明したフローチャートの一例である。
ステップＳ１０１では、まず第１空間光変換素子９０の照明領域９１が所定の強度分布に設定される。図３（ａ）で示されたように、例えば照明光の所定の強度分布は最大円径の照明領域９１である。そして、波長フィルタ４４は可視光の全領域（４００ｎｍ〜８００ｎｍ）を透過するフィルタが選択される。そして被検体６０である細胞等がイメージセンサ８０で撮影される。
【００３０】
ステップＳ１０３では、フーリエ解析部２０２がイメージセンサ８０で撮影された二次元画像を解析する。また、撮影された二次元画像は画像処理部２０１で処理されて表示部２１に表示される。なお、表示部２１に表示された二次元画像のうち観察者が被検体６０の一部領域を選択するようにしてもよい。一部領域は、被検体６０の１カ所であってもよいし２カ所以上であってもよい。観察者は被検体６０の観察したい領域を中央に移動させるため、自動的にイメージセンサ８０の中央領域を一部領域として選択してもよい。一部領域が選択された際にはフーリエ解析部２０２は選択された被検体６０の一部領域の画像信号を解析してもよい。一部領域の設定は、観察者が設定してもよいし、自動で設定されてもよい。
【００３１】
ステップＳ１０５では、比較部２０５が、図３（ａ）に示された被検体６０の空間周波数成分ＦＣと図３（ｂ）に示された空間周波数成分ＦＣ０１〜ＦＣ１０とを比較する。そして比較部２０５は、最小二乗法等のカーブフィッティング手法等によって、空間周波数成分ＦＣにもっとも近似する空間周波数成分ＦＣ０１〜ＦＣ１０の一つを特定する。図３（ｂ）の例示の中では、被検体６０の空間周波数成分ＦＣはサンプル被検体ＳＭ０３の空間周波数成分ＦＣ０３に最も近い。このため、比較部２０５は、サンプル被検体ＳＭ０３の空間周波数成分ＦＣ０３を特定する。被検体６０の空間周波数成分ＦＣとサンプル被検体ＳＭ０３の空間周波数成分ＦＣ０３とが近似しているということは、例えば被検体６０が細胞である場合、被検体６０の細胞構造がサンプル被検体ＳＭ０３の細胞構造と似ていると推定される。このため、すでに記憶部２０２で記憶されている、サンプル被検体ＳＭ０３を観察するに適した照明光の所定の強度分布及び波長フィルタも特定できる。すなわち、被検体６０には、透過領域９１で半径が小さい半径Ｒ２を有する照明光の強度分布が適し、且つ波長フィルタ４４Ａが適していると推定される。
【００３２】
ステップＳ１０７では、比較部２０５がさらに、特定されたサンプル被検体ＳＭ０３の観察に適した照明光の強度分布及び波長フィルタを記憶部２０６から読み出す。
【００３３】
ステップＳ１０９では、適した照明光の強度分布及び波長フィルタがそれぞれ素子変調部２０８及びフィルタ駆動部２０９に送られる。そして第１空間光変換素子９０の照明領域９１が適した照明光の強度分布に設定される。また、適した波長フィルタ４４に設定される。そしてイメージセンサ８０で被検体６０が撮影される。その撮影された二次元画像は表示部２１に表示される。観察者が被検体６０を観察するにはどのような照明光の強度分布又は波長フィルタが適切か否かわからない場合であっても、顕微鏡システム１００は、適した照明光の強度分布又は波長フィルタを自動的に選ぶことができる。また、顕微鏡システム１００は、被検体６０に適した照明光の強度分布又は波長フィルタを短時間で見つけ出すことができる。
【００３４】
ステップＳ１１１では、観察者が表示部２１に表示された二次元画像が満足する画像であるか否かを判断する。適した照明光の強度分布又は波長フィルタで被検体６０が撮影されているが、観察者がより良い被検体６０を観察したいと希望することもある。また、被検体６０の空間周波数成分ＦＣとサンプル被検体ＳＭの空間周波数成分ＦＣとが近似していても必ずしも同一ではないため、最適な二次元画像でないこともある。観察者が表示部２１に表示された二次元画像で満足すれば（ＹＥＳ）、被検体６０の観察は終了する。また点線で示されるように、ステップＳ１１７に進み被検体６０が所定の強度分布で撮影された際の空間周波数成分を記憶してから終了してもよい。より良い二次元画像を観察する際（ＮＯ）にはステップＳ１１３に進む。
【００３５】
ステップＳ１１３では、焼きなまし法、タブーサーチ、山登り法又は遺伝的アルゴリズム等を用いて、照明光の強度分布又は波長フィルタの最適化計算を行う。そしてより良い照明光の強度分布又は波長フィルタを求める。
【００３６】
ステップＳ１１５では、ステップＳ１１３で求められた照明光の強度分布又は波長フィルタで被検体６０がイメージセンサ８０で撮影される。
ステップＳ１１７では、顕微鏡システム１００で今回の被検体６０を撮影するに適した照明光の強度分布又は波長フィルタとして記憶部２０６に記憶される。また、この被検体６０が所定の強度分布で撮影された際の空間周波数成分が記憶部２０６に記憶される。この結果は、次に被検体を観察する際のサンプル被検体としての役割を担う。
【００３７】
以上説明したように、本実施形態の顕微鏡システム１００は、被検体６０を観察する際に、画像特徴量である空間周波数成分を使って、適した照明光の強度分布又は適した波長フィルタを容易に選び出すことができる。
【００３８】
図４に示したフローチャートの処理は、プログラムとして記憶媒体に記憶させてもよい。そしてこの記憶媒体に記憶されているプログラムをコンピュータにインストールさせることで、このコンピュータに計算などを行わせることができる。
【００３９】
（第２実施形態）
第１実施形態では明視野顕微鏡を有する顕微鏡システム１００について説明したが、第２実施形態では、位相差顕微鏡を有する顕微鏡システム３００について説明する。
【００４０】
＜顕微鏡システム３００＞
図５（ａ）は、顕微鏡システム３００の概略構成図である。顕微鏡システム３００は、被検体６０を観察するための光学式の顕微鏡システムである。顕微鏡システム３００は主に、照明光源３０と、照明光学系４０と、結像光学系７０と、イメージセンサ８０と、計算部１２０とにより構成されている。また照明光学系４０は、第１コンデンサレンズ４１、第１空間光変調素子３９０及び第２コンデンサレンズ４２を備えており、結像光学系７０は対物レンズ７１及び第２空間光変調素子３９６を含んでいる。また、照明光学系４０と結像光学系７０との間にはステージ５０が配置され、ステージ５０には被検体６０が設置される。
【００４１】
第２空間光変調素子３９６は、結像光学系７０の瞳の位置又はその近傍に配置される。また、第１空間光変調素子３９０は、照明光学系４０の中の結像光学系７０の瞳に共役となる位置に配置される。第１空間光変調素子３９０は透過する光の強度分布を任意に可変することができる素子であり、液晶パネル又はＤＭＤ等により構成される。第２空間光変調素子３９６は、位相を変えることができる素子である液晶パネル等により構成される。また、第２空間光変調素子は、位相と共に光の強度分布も自由に変えられるような構成とすることが望ましい。
【００４２】
図５（ａ）では、照明光源３０から射出された光が点線で示されている。照明光源３０から射出された照明光ＬＷ３１は第１コンデンサレンズ４１で光ＬＷ３２になる。光ＬＷ３２は、第１空間光変調素子３９０に入射する。第１空間光変調素子３９０を透過した光ＬＷ３３は第２コンデンサレンズ４２を透過して光ＬＷ３４となり、被検体６０に向かう。被検体６０を通過した光ＬＷ３５は、対物レンズ７１を透過して光ＬＷ３６となり第２空間光変調素子３９６に入射する。光ＬＷ３６は第２空間光変調素子３９６を通過して光ＬＷ３７となり、イメージセンサ８０に結像する。イメージセンサ８０に結像した画像の画像信号は計算部１２０に送られる。計算部１２０では、イメージセンサ８０から得られた画像に基づいて、被検体６０の空間周波数成分を解析する。そして、被検体６０の観察に適した照明形状が第１空間光変調素子３９０及び第２空間光変調素子３９６に送信される。
【００４３】
図５（ｂ）は、第１空間光変調素子３９０の平面図である。第１空間光変調素子３９０には、リング状に光の透過領域（照明領域）３９１が形成されており、透過領域３９１以外の領域は遮光領域３９２となっている。
【００４４】
図５（ｃ）は第２空間光変調素子３９６の平面図である。第２空間光変調素子３９６にはリング状に位相変調領域３９７が形成されており、この位相変調領域３９７を透過する光は位相が４分の１波長だけ付加される。位相変調領域３９７以外の領域である回折光透過領域３９８を透過する光は位相がそのままである。位相変調領域３９７は、第１空間光変調素子３９０の透過領域３９１と共役になるように形成されている。
【００４５】
顕微鏡システム３００の０次光（透過光）は、第１空間光変調素子３９０の透過領域３９１を透過し、第２空間光変調素子３９６の位相変調領域３９７を透過してイメージセンサ８０に至る。また、被検体６０から発せられた回折光は、第２空間光変調素子３９６の回折光透過領域３９８を透過してイメージセンサ８０に至る。そして、０次光と回折光とがイメージセンサ８０上に像を形成する。一般に０次光は回折光に比べて光の強度が強いので、位相変調領域３９７の光の強度を調節するフィルタが形成されることが望ましい。
【００４６】
第１空間光変調素子３９０及び第２空間光変調素子３９６は、その透過領域３９１及び位相変調領域３９７の大きさ、形状を自由に変えることができる。すなわち、透過光に与える付加位相の空間分布又は透過率の空間分布が変えられる。また、第１実施形態で示したように記憶部に記憶された照明形状を導き出して第１空間光変調素子３９０の透過領域３９１の形状を最適化してもよい。第２空間光変調素子３９６のリング状の領域３９７は常に第１空間光変調素子３９０の透過領域３９１と共役になるように形成される。そのため、透過領域３９１とリング状の領域３９７とは同期して形状が変化することが望ましい。
【００４７】
＜計算部１２０の構成＞
図６は計算部１２０の構成を示した概念図である。基本的に図３で示された計算部２０と同じであるが、計算部１２０は新たに判断部２０４を有しその一方でフィルタ駆動部２０９を有していない点で計算部２０と異なる。また照明条件を設定する設定部２１２は１つの素子変調部２０８しか有していない。また１つの素子変調部２０８は第１空間光変調素子３９０と第２空間光変調素子３９６とに接続されている点で計算部２０と異なる。以下、計算部２０と異なる点を主に説明する。
【００４８】
判断部２０４は、イメージセンサ８０からの画像信号を受け取る。そして判断部２０４は、画像のコントラストに関連する信号に基づいて被検体６０が位相物体と吸収物体とのいずれかであるかを判断する。位相物体とは，透過光では光の強度を変えず位相のみを変える無色透明な物体である。吸収物体とは、吸光物体又は強度物体とも呼ばれ、透過光において光の強度を変える有色な物体である。
【００４９】
判断部２０４は、以下のように２つの条件で撮影された被検体６０の画像に基づいて、位相物体と吸収物体とを判断する。第１の条件では、イメージセンサ８０は、第１空間光変調素子３９０の透過領域３９１が円形で遮光領域３９２がなく、且つ第２空間光変調素子３９６は位相透過領域３９７がなく全面の位相差がない状態で、被検体６０を検出する。第２の条件では、イメージセンサ８０は、第１空間光変調素子３９０の透過領域３９１がリング状、且つ第２空間光変調素子３９６は位相透過領域３９７がリング状で位相差が４分の１波長ある状態で、被検体６０を検出する。
【００５０】
判断部２０４は、第１の条件で撮影した被検体６０の画像のコントラストが閾値よりも高いか否か、第２の条件で撮影した被検体６０の画像のコントラストが閾値より高いか否かを判断する。例えば被検体６０が位相物体であれば、第１の条件で撮影した被検体６０の画像のコントラストは低くなり、第２の条件で撮影した被検体６０の画像のコントラストは高くなる。逆に被検体６０が吸収物体であれば、第１の条件で撮影した被検体６０の画像のコントラストは高くなり、第２の条件で撮影した被検体６０の画像のコントラストは低くなる。このように、判断部２０４は、被検体６０が位相物体と吸収物体とのいずれかであるかを判断する。判断部２０４が判断した結果は比較部２０５に送られる。
【００５１】
比較部２０５は、被検体６０の空間周波数成分と予め記憶部２０６に記憶されている空間周波数成分とを比較する際に、判断部２０４から送られてきた結果を利用する。
【００５２】
素子変調部２０８は、適した照明光の強度分布に基づいて第１空間光変調素子３９０の照明領域３９１の大きさ又は形状を変える。また素子変調部２０８は、適した照明光の強度分布に基づいて第２空間光変調素子３９６の位相変調領域３９７の大きさ又は形状を変える。
【００５３】
＜記憶部に記憶される被検体の空間周波数成分＞
図７は、記憶部２０６に記憶される別の空間周波数成分などの概念図である。図７（ａ）は、リング状の照明光の強度分布で得られた被検体６０の空間周波数成分の例である。図７（ｂ）はサンプル被検体ＳＭ０１からＳＳ１３までの空間周波数成分などの例である。
【００５４】
第２実施形態では、被検体６０は、２つの所定条件でイメージセンサ８０により検出される。例えば、第１の条件は照明光の所定の強度分布は第１空間光変調素子３９０の照明領域３９１が全開口の分布で第２空間光変調素子３９６の位相差がない条件である。第２の条件は第１空間光変調素子３９０の照明領域３９１がリング状の強度分布で且つ第２空間光変調素子３９６の位相変調領域３９７がリング状の強度分布で位相が４分の１波長擦れた条件である。
【００５５】
照明光の所定の強度分布として、この第２の条件も記憶される。図７（ａ）に示されるように、被検体６０の空間周波数成分ＦＣとともに所定の強度分布が被検体６０と関連付けられて記憶される。なお、図示していないが、被検体６０を最初に検出する際には、波長フィルタ４４は可視光の全領域（４００ｎｍ〜８００ｎｍ）を透過するフィルタが使われている。
【００５６】
サンプル被検体ＳＭ（ＳＭ０１〜ＳＭ１３）は予め実験などで求めていた空間周波数成分ＦＣ（ＦＣ０１〜ＦＣ１３）である。サンプル被検体ＳＭは、位相物体と吸収物体とが記憶されている。位相物体とは，透過光では光の強度を変えず位相のみを変える無色透明な物体である。吸収物体とは，透過光において光の強度を変える有色な物体である。図７（ｂ）において、吸収物体としてサンプル被検体ＳＭ０１〜ＳＭ０３が記憶されている。また位相物体としてサンプル被検体ＳＭ１１〜ＳＭ１３が記憶されている。これは例示であって位相物体のサンプル被検体が何百も記憶されていることが好ましい。なお、吸収物体のサンプル被検体ＳＭ０１〜ＳＭ０３は、図３で示されたサンプル被検体ＳＭ０１〜ＳＭ０３と同じである。このため以下の説明ではそれらの説明を割愛する。
【００５７】
位相物体のサンプル被検体ＳＭ１１〜ＳＭ１３は、第１空間光変調素子３９０の照明領域３９１がリング状（輪帯状）の強度分布で取得された空間周波数成分ＦＣ１１〜ＦＣ１３が記憶部２０６に記憶されている。なお、図示していないが、サンプル被検体ＳＭ１１〜ＳＭ１３の空間周波数成分ＦＣ１１〜Ｆ１３も、可視光を透過するフィルタが使われて検出されたものである。
【００５８】
位相物体のサンプル被検体ＳＭ（ＳＭ１１〜ＳＭ１３）は、さらに各サンプル被検体ＳＭに適した照明光の強度分布が記憶されている。また最適な波長フィルタが記憶されている。例えば、サンプル被検体ＳＭ１１では、リングの幅の広い透過領域３９１を有する照明光の強度分布が適し、且つ波長フィルタ４４Ｃ（例えば６００ｎｍ〜８００ｎｍ）が適していることを示している。サンプル被検体ＳＭ１２では、リングが四つに分割された透過領域３９１を有する照明光の強度分布が適し、且つ波長フィルタ４４Ａが適していることを示している。サンプル被検体ＳＭ１３では、リングの幅の狭い透過領域３９１を有する照明光の強度分布が適し、且つ波長フィルタ４４Ａが適していることを示している。なお顕微鏡システム３００は、記憶部２０６に波長フィルタ４４の情報が記憶されていても、使用しない。波長フィルタ４４を備えている顕微鏡システム３００であれば、記憶部２０６に記憶されている波長フィルタ４４の情報を利用することができる。
【００５９】
＜顕微鏡システム３００の動作＞
図８は顕微鏡システム３００の動作を説明したフローチャートの一例である。
ステップＳ２０１では、第１空間光変換素子３９０及び第２空間光変換素子３９６が２つの所定の強度分布（第１条件：円形の均一照明、第２条件：リング照明（位相リング））に変調される。それぞれの条件で被検体６０がイメージセンサ８０で撮影される。
【００６０】
ステップＳ２０３では、判断部２０４が被検体６０の画像のコントラストに基づいて、被検体６０が吸収物体又は位相物体であるかを判断する。例えば被検体６０が位相物体であれば、第１の条件で撮影した被検体６０の画像のコントラストは低くなり、第２の条件で撮影した被検体６０の画像のコントラストは高くなる。このフローチャートでは判断部２０４が、被検体６０が位相物体であると判断したことを前提に説明する。
【００６１】
ステップＳ２０５では、フーリエ解析部２０２がイメージセンサ８０で撮影された位相物体の二次元画像を解析する。また、撮影された二次元画像は画像処理部２０１で処理されて表示部２１に表示される。
【００６２】
ステップＳ２０７では、比較部２０５が、図７（ａ）に示された被検体６０の空間周波数成分ＦＣと図７（ｂ）に示された空間周波数成分ＦＣ１１〜ＦＣ１３とを比較する。判断部２０４から被検体６０が位相物体であるとの結果を受け取っているため、比較部２０５は比較対象を位相物体のサンプル被検体ＳＭ１１〜ＳＭ１３に絞り込み、それらの空間周波数成分ＦＣ１１〜ＦＣ１３と検体６０の空間周波数成分ＦＣとを比較している。
【００６３】
比較部２０５は、最小二乗法等のカーブフィッティング手法等によって、空間周波数成分ＦＣにもっとも近似する空間周波数成分ＦＣ１１〜ＦＣ１３の一つを特定する。図７（ｂ）の例示の中では、被検体６０の空間周波数成分ＦＣはサンプル被検体ＳＭ１３の空間周波数成分ＦＣ１３に最も近い。このため、比較部２０５は、サンプル被検体ＳＭ１３の空間周波数成分ＦＣ０３を特定する。そして例えば被検体６０が細胞であれば、その細胞構造がサンプル被検体ＳＭ１３の細胞構造と似ていると推定される。このため、サンプル被検体ＳＭ１３を観察するに適した照明光の所定の強度分布を特定する。
【００６４】
ステップＳ２０９では、比較部２０５が、特定された位相物体のサンプル被検体ＳＭ１３の観察に適した照明光の強度分布を記憶部２０６から読み出す。
【００６５】
ステップＳ２１１では、適した照明光の強度分布が素子変調部２０８に送られる。そして第１空間光変換素子３９０の照明領域３９１及び第２空間光変換素子３９６の位相変調領域３９７が適した照明光の強度分布に設定される。そしてイメージセンサ８０で被検体６０が撮影される。その撮影された二次元画像は表示部２１に表示される。観察者が被検体６０を観察するにはどのような照明光の強度分布が適切か否かわからない場合であっても、顕微鏡システム３００は、適した照明光の強度分布を自動的に選ぶことができる。また、顕微鏡システム３００は、被検体６０に適した照明光の強度分布を短時間で見つけ出すことができる。
【００６６】
ステップＳ２１３では、観察者が表示部２１に表示された二次元画像が満足する画像であるか否かを判断する。適した照明光の強度分布で被検体６０が撮影されているが、観察者がより良い被検体６０を観察したいと希望することもある。また、被検体６０の空間周波数成分ＦＣとサンプル被検体ＳＭの空間周波数成分ＦＣとが近似していても必ずしも同一ではないため、最適な二次元画像でないこともある。観察者が表示部２１に表示された二次元画像で満足すれば（ＹＥＳ）、被検体６０の観察は終了する。また点線で示されるように、ステップＳ２１９に進み被検体６０が所定の強度分布で撮影された際の空間周波数成分を記憶してから終了してもよい。より良い二次元画像を観察する際には（ＮＯ）ステップＳ２１５に進む。
【００６７】
ステップＳ２１５では、焼きなまし法、タブーサーチ、山登り法又は遺伝的アルゴリズム等を用いて、照明光の強度分布又は波長フィルタの最適化計算を行う。そしてより良い照明光の強度分布を求める。
【００６８】
ステップＳ２１７では、ステップＳ２１５で求められた照明光の強度分布で被検体６０がイメージセンサ８０で撮影される。
ステップＳ２１９では、顕微鏡システム３００で今回の被検体６０を撮影するに適した照明光の強度分布として記憶部２０６に記憶される。また、この被検体６０が所定の強度分布で撮影された際の空間周波数成分が記憶部２０６に記憶される。この結果は、次に被検体を観察する際のサンプル被検体としての役割を担う。
【００６９】
以上説明したように、本実施形態の顕微鏡システム３００は、被検体６０を観察する際に、空間周波数成分を含む画像特徴量を使って、適した照明光の強度分布を容易に選び出すことができる。
【００７０】
図８に示したフローチャートの処理は、プログラムとして記憶媒体に記憶させてもよい。そしてこの記憶媒体に記憶されているプログラムをコンピュータにインストールさせることで、このコンピュータに計算などを行わせることができる。
【００７１】
＜照明光の強度分布の導き方＞
図４のステップＳ１１３又は図８のステップＳ２１５では、被検体６０の観察に適した照明光の強度分布を求めた。いろいろな導き方があるが、山登り法と遺伝的アルゴリズムを用いた方法との２つの方法について説明する。以下のフローチャートは第２実施形態の顕微鏡システム３００に山登り法と遺伝的アルゴリズムを用いた方法とを適用させた例である。説明を割愛するが、同様に第１実施形態の顕微鏡システム１００にも適用できる。
【００７２】
＜山登り法＞
山登り法は、最初に設定された照明形状を少しずつ変化させていき、変化ごとに画像の画像信号を取得して、この画像信号が観察者によって設定された条件に最も近くなる条件を探していく方法である。図９を参照しながら説明する。
【００７３】
図９は、照明光の強度分布を少しずつ変化させて適した強度分布を見つける山登り法のフローチャートである。
ステップＳ３０１では、まず記憶部２０６から読み出された第１空間光変換素子３９０の照明領域３９１及び第２空間光変換素子３９６の位相変調領域３９７が適した照明光の強度分布に設定される。なお、このステップＳ３０１は図８のステップＳ２１１の結果を流用してもよい。
【００７４】
ステップＳ３０３は、素子変調部２０８が第１空間光変換素子３９０の照明領域３９１及び第２空間光変換素子３９６の位相変調領域３９７の大きさを少し変化させる。つまりステップＳ３０３は、照明光の強度分布を少し変化させる。
【００７５】
ステップＳ３０５では、イメージセンサ８０で被検体６０の像が検出される。そして画像信号が計算部１２０に送られる。
【００７６】
ステップＳ３０７では、計算部１２０に送られてきた画像信号に基づく画像が前回の画像よりも悪いか否かを判断する。例えば、今回の画像信号に基づいて計算されたコントラストが、前回得られた画像信号に基づいて計算されたコントラストよりも悪いかを比較する。悪くなっていなければステップＳ３０３に戻り照明領域３９１及び位相変調領域３９７の大きさもしくは形状を変化させ、その画像信号を検出する（ステップＳ３０５）。つまり、今回の画像信号のコントラストが上がっているためステップＳ３０３に戻って照明領域３９１及び位相変調領域３９７の大きさもしくは形状を変化させる。一方、コントラストが前回より今回が悪くなっていれば、前回の照明領域３９１及び位相変調領域３９７の大きさもしくは形状が最もコントラストが高いことになる。そこで次のステップＳ３０９に進む。
【００７７】
ステップＳ３０９は、被検体６０の観察に適した照明形状が選択される。つまり、観察領域２４のコントラストが悪くなる直前に使用された照明領域３９１及び位相変調領域３９７が被検体６０の観察に適した照明光の強度分布であるとして、被検体６０の観察に使用される。なお、図８のステップＳ２１９で説明したように、この求められた照明領域３９１及び位相変調領域３９７が記憶部２０６に記憶される。
【００７８】
＜遺伝的アルゴリズムを用いた方法＞
次に遺伝的アルゴリズムを用いた方法について説明する。遺伝的アルゴリズムは、用意された複数の照明光の強度分布のそれぞれについて画像信号を取得し、その中で被検体６０の観察に適した強度分布同士の組み合わせを行うことにより照明光の強度分布を探していく方法である。
【００７９】
図１０は、遺伝的アルゴリズムを用いたフローチャートである。
まず、ステップＳ４０１で、まず記憶部２０６から読み出された第１空間光変換素子３９０の照明領域３９１及び第２空間光変換素子３９６の位相変調領域３９７が適した照明光の強度分布に設定される。
【００８０】
ステップＳ４０３では、読み出された照明領域３９１及び位相変調領域３９７の強度分布と別の複数の強度分布とを用いて被検体６０の像がイメージセンサ８０で検出される。なお、この読み出された照明領域３９１及び位相変調領域３９７の強度分布の画像は、図８のステップＳ２１１の結果を流用してもよい。
【００８１】
ステップＳ４０５では、遺伝的アルゴリズムの交叉又は突然変異の手法によって次世代の照明光の強度分布を複数形成する。
【００８２】
ステップＳ４０７では、次世代の複数の照明光の強度分布を用いて被検体６０の像がイメージセンサ８０で検出される。
【００８３】
ステップＳ４０９では、ステップＳ４０７で入手した被検体６０の画像のコントラスト等を比較し、この中で最も適した照明光の強度分布である第１照明光強度分布と２番目に適した照明光の強度分布である第２照明光強度分布とが選択される。
【００８４】
ステップＳ４１１では、所定の世代、例えば１０００世代まで交叉又は突然変異が行われたかを判断する。所定の世代まで交叉等が行われていない場合はステップＳ４０５に戻ってより被検体の観察に適した照明強度分布を探索していく。所定の世代まで交叉等が行われればステップＳ４１３に進む。
【００８５】
ステップＳ４１３では、所定の世代、例えば１０００世代までの交叉等で得られた照明領域３９１から、観察者が要望した条件に近い世代の照明形状が選択される。その世代の照明光の強度形状の第１空間光変換素子３９０の照明領域３９１及び第２空間光変換素子３９６の位相変調領域３９７が被検体６０の観察に使用される。なお、図８のステップＳ２１９で説明したように、この求められた照明領域３９１及び位相変調領域３９７が記憶部２０６に記憶される
【００８６】
＜空間周波数成分の集中管理＞
図１１はサーバー４００を使った空間周波数成分の集中管理の概略構成図である。
【００８７】
顕微鏡システム１００は計算部２５を有している。計算部２５は計算部２０（図２）とは異なり、比較部２０５を有しておらず、サンプル被検体ＳＭの空間周波数成分ＦＣを記憶する記憶部２０６を有していない。その一方で、計算部２５はインターネット等の通信機能として、一時的にデータを蓄えるバッファ部２２０、外部に空間周波数成分ＦＣ等の情報を送信する送信部２２２、外部から適した照明光の強度分布に関する情報等を受信する受信部２２４を有している。
【００８８】
顕微鏡システム３００は計算部１２５を有している。計算部１２５は計算部１２０（図６）とは異なり、比較部２０５を有しておらず、サンプル被検体ＳＭの空間周波数成分ＦＣを記憶する記憶部２０６を有していない。その一方で、計算部１２５はバッファ部２２０、送信部２２２、受信部２２４を有している。
【００８９】
サーバー４００は、被検体６０の空間周波数成分ＦＣとサンプル被検体の空間周波数成分とを比較する比較部４０５及びサンプル被検体ＳＭの空間周波数成分ＦＣを記憶する記憶部４０６を有している。また、サーバー４００は外部に適した照明光の強度分布に関する情報等を送信する送信部４２２、外部から空間周波数成分ＦＣ等の情報を受信する受信部４２４を有している。
【００９０】
顕微鏡システム１００及び顕微鏡システム３００は、１つずつ描かれているが多数配置されている。その一方でサーバー４００は１又は少数である。顕微鏡システム１００及び顕微鏡システム３００は、所定の照明光の強度分布で被検体６０を撮像する。その被検体６０の画像信号は、顕微鏡システム１００及び顕微鏡システム３００のそれぞれのフーリエ解析部２０２で解析される。それぞれの送信部２２２は、被検体６０の空間周波数成分ＦＣをサーバー４００に送信する。しかし各システムは被検体６０の画像信号は必ずしも送信する必要はない。サーバー４００の受信部４２４は被検体の空間周波数成分ＦＣを受信する。
【００９１】
サーバー４００の比較部４０５は、記憶部４０６に記憶されたサンプル被検体ＳＭの空間周波数成分ＦＣと送信されてきた被検体６０の空間周波数成分ＦＣとを比較する。そして最も近いサンプル被検体の空間周波数成分を特定する。そして比較部４０５がそのサンプル被検体を観察するに適した照明光の所定の強度分布又は波長フィルタを特定する。比較部４０５は特定されたサンプル被検体の観察に適した照明光の強度分布又は波長フィルタを記憶部４０６から読み出す。読み出された照明光の強度分布又は波長フィルタは顕微鏡システム１００及び顕微鏡システム３００に送信部４２２を介して送信される。
【００９２】
顕微鏡システム１００及び顕微鏡システム３００の受信部２２４は、観察に適した照明光の強度分布又は波長フィルタを受信し、その受信した結果に基づいて設定部２１２は照明条件を設定する。素子変調部２０８は適した照明光の強度分布に第１空間光変調素子９０、３９０を変調させる。フィルタ駆動部２０９は波長フィルタ４４の透過波長を変更する。顕微鏡システム１００及び顕微鏡システム３００は、被検体６０を観察する際に、空間周波数成分を含む画像特徴量を使って、適した照明光の強度分布を容易に選び出すことができる。
【００９３】
観察者が、適した照明光の強度分布でイメージセンサ８０が検出した被検体６０の二次元画像を観察し、観察者が二次元画像で満足すれば、被検体６０の観察は終了する。より良い二次元画像を観察する際には、各顕微鏡システム１００及び顕微鏡システム３００で、山登り法又は遺伝的アルゴリズム等を用いて、照明光の強度分布又は波長フィルタの最適化計算が行われる。
【００９４】
各顕微鏡システム１００及び顕微鏡システム３００で最適化計算された結果は、送信部２２２を介してサーバー４００に送られ、サーバー４００の記憶部４０６に空間周波数成分とともにサンプル被検体として記憶される。サーバー４００の記憶部には複数の顕微鏡システム１００及び顕微鏡システム３００から送られた照明光の強度分布等が記憶されるため、きわめて多くの空間周波数成分が記憶される。したがって、サーバー４００の比較部４０５はきわめて近似する空間周波数成分を特定することができる。
【００９５】
以上のような方法により、被検体６０情報を検出し、計算部２０は被検体の観察に適した照明形状を自動的に設定することができるが、実施形態には更に様々な変更を加えることができる。
【００９６】
例えば、顕微鏡システム１００では照明光源３０は白色の照明光を照射し、波長フィルタ４４で透過する光束の波長を特定の範囲のみを透過させた。波長フィルタ４４を用いる代わりに、異なる波長の光（例えば、赤色、緑色、青色）を照射するＬＥＤを複数有する照明光源３０を使用してもよい。例えば被検体６０に白色光を照射する際には赤色、緑色及び青色のＬＥＤを同時に点灯させ、被検体６０に赤色を照射する際には赤色のＬＥＤのみを点灯させる。このように、照明光の波長が選択されてもよい。
【００９７】
さらに例えば、図５に示した顕微鏡システム３００でも波長フィルタを備えてもよい。また、第１及び第２実施形態は、画像特徴量として空間周波数成分を使用したがこれに限られない。例えば、階調値の出現頻度を表すヒストグラム（縦軸：出現頻度、横軸：階調値）も画像特徴量として使用することができる。さらに画像特徴量として最大傾斜量を使用することができる。最大傾斜量とは空間的な輝度値プロファイル（横軸：例えばＸ方向位置、縦軸：輝度値）での輝度値の変化の最大値である。画像特徴量はコントラストでもよい。
【符号の説明】
【００９８】
２０、２５，１２０，１２５ … 計算部
２１ … 表示部
３０ … 照明光源
４０ … 照明光学系
４１ … 第１コンデンサレンズ、 ４２ … 第２コンデンサレンズ
４４ … 波長フィルタ
５０ … ステージ
６０ … 被検体
７０ … 結像光学系、 ７１ … 対物レンズ
８０ … イメージセンサ
９０、３９０ … 第１空間光変調素子
９１ … 照明領域
９２ … 遮光部
１００、３００ … 顕微鏡システム
２０１ … 画像処理部
２０２、４０２ … フーリエ解析部
２０４ … 判断部
２０５、４０５ … 比較部
２０６，４０６ … 記憶部
２０８ … 素子変調部
２０９ … フィルタ駆動部
２２２、４２２ … 送信部
２２４，４２４ … 受信部
３９６ … 第２空間光変調素子
３９７ … 位相変調領域
３９８ … 回折光透過領域
４００ … サーバー
【特許請求の範囲】
【請求項１】
被検体を観察する光学式の顕微鏡と前記顕微鏡に接続されるコンピュータとを含む顕微鏡システムであって、
前記顕微鏡は、
光源からの照明光を前記被検体に所定照明条件で照射する照明光学系と、
前記被検体からの光から前記被検体の像を形成する結像光学系と、
前記結像光学系による被検体像を検出して画像信号を出力するイメージセンサと、を備え、
前記コンピュータは、
前記イメージセンサで検出される画像信号に基づいて、前記被検体の画像の特徴量を取得する画像解析部と、
前記被検体の画像特徴量と複数のサンプル被検体の画像特徴量とを比較し、前記被検体の画像特徴量に近似するサンプル被検体の画像特徴量を特定する比較部と、
前記比較部で特定された画像特徴量を有するサンプル被検体の観察に適した照明状態に基づいて、前記照明光学系の照明条件を設定する設定部と、
を備える顕微鏡システム。
【請求項２】
前記所定照明条件における前記複数のサンプル被検体の画像特徴量と、各サンプル被検体の観察に適した照明状態とを記憶する記憶部を備える請求項１に記載の顕微鏡システム。
【請求項３】
前記照明光学系は、前記結像光学系の瞳の共役位置における前記照明光の強度分布を可変する第１空間変調素子を有し、
前記設定部は、前記第１空間変調素子を変調させる素子変調部を有する請求項１又は請求項２に記載の顕微鏡システム。
【請求項４】
前記被検体の画像特徴量は前記被検体の画像の少なくとも一部における空間周波数成分、ヒストグラム、コントラスト又は最大傾斜量を含む請求項１から請求項３のいずれか一項に記載の顕微鏡システム。
【請求項５】
前記素子変調部で変調された前記第１空間変調素子による前記照明光の強度分布の下で、前記イメージセンサが検出した前記被検体の画像信号を初期データとして、前記照明光の強度分布を微小量変化させ、前記照明光の強度分布を変化させる毎に前記画像信号を取得して、適した前記照明光の強度分布の大きさを逐次的に計算する計算部を備える請求項３又は請求項４に記載の顕微鏡システム。
【請求項６】
前記計算部は、前記初期データから前記照明光の強度分布を変化させて第１及び第２の照明光強度分布を形成し、それらに対応する第１及び第２の画像信号を取得し、遺伝的アルゴリズムにより最適な照明光強度分布を求める請求項５に記載の顕微鏡システム。
【請求項７】
前記結像光学系の瞳位置または瞳の共役位置近傍で且つ前記第１空間光変調素子と共役の位置に配置された第２空間光変調素子を備え、
前記第２空間光変調素子は、透過光に与える付加位相の空間分布又は透過率の空間分布を可変とする請求項３から請求項６のいずれか１項に記載の顕微鏡システム。
【請求項８】
前記イメージセンサで検出される画像信号に基づいて、前記被検体が吸収物体であるか位相物体であるかを判断する判断部を備える請求項１から請求項７のいずれか１項に記載の顕微鏡システム。
【請求項９】
前記顕微鏡は前記照明光の波長領域を選択する波長フィルタを備えており、
前記イメージセンサで検出される画像信号は、前記波長フィルタを介して検出される請求項１から請求項８のいずれか一項に記載の顕微鏡システム。
【請求項１０】
前記サンプル被検体は、前記顕微鏡システムで過去に観察した被検体を含む請求項１から請求項９のいずれか一項に記載の顕微鏡システム。
【請求項１１】
前記被検体の画像特徴量をサーバーに送信する送信部と、
前記サーバーで設定された前記照明光学系の照明条件を受信する受信部と、を備え、
前記サーバーは、
前記被検体の画像特徴量と複数のサンプル被検体との画像特徴量とを比較し、前記被検体の画像特徴量に近似するサンプル被検体の画像特徴量を特定する第２比較部と、
前記第２比較部で特定された画像特徴量を有するサンプル被検体の観察に適した照明状態に基づいて、前記照明光学系の照明条件を設定する第２設定部と、
を備える請求項１に記載の顕微鏡システム。
【請求項１２】
請求項１に記載の顕微鏡システムから前記被検体の画像特徴量を受信する第２受信部と、
前記第２受信部で受信された前記被検体の画像特徴量と複数のサンプル被検体との画像特徴量とを比較し、前記被検体の画像特徴量に近似するサンプル被検体の画像特徴量を特定する第２比較部と、
前記第２比較部で特定された画像特徴量を有するサンプル被検体の観察に適した照明状態に基づいて、前記照明光学系の照明条件を設定する第２設定部と、
前記第２設定部で設定された前記照明光学系の照明条件を前記顕微鏡システムに送信する第２送信部と、
を備えるサーバー。
【請求項１３】
光源からの照明光を被検体に所定照明条件で照射する照明光学系と、前記被検体からの光から前記被検体の像を形成する結像光学系と、前記結像光学系による被検体像を検出して画像信号を出力するイメージセンサと、を備える顕微鏡と、前記顕微鏡に接続されるコンピュータとを含む顕微鏡システムを用いて、前記被検体を観察するプログラムであって、
前記コンピュータに、
前記イメージセンサで検出される画像信号に基づいて、前記被検体の画像の特徴量を取得する画像解析と、
前記被検体の画像特徴量と複数のサンプル被検体の画像特徴量との比較と、
前記被検体の画像特徴量に近似するサンプル被検体の画像特徴量の特定と、
前記比較部で特定された画像特徴量を有するサンプル被検体の観察に適した照明状態に基づいて、前記照明光学系の照明条件を設定する設定と、
を実行させるプログラム。
【請求項１】
被検体を観察する光学式の顕微鏡と前記顕微鏡に接続されるコンピュータとを含む顕微鏡システムであって、
前記顕微鏡は、
光源からの照明光を前記被検体に所定照明条件で照射する照明光学系と、
前記被検体からの光から前記被検体の像を形成する結像光学系と、
前記結像光学系による被検体像を検出して画像信号を出力するイメージセンサと、を備え、
前記コンピュータは、
前記イメージセンサで検出される画像信号に基づいて、前記被検体の画像の特徴量を取得する画像解析部と、
前記被検体の画像特徴量と複数のサンプル被検体の画像特徴量とを比較し、前記被検体の画像特徴量に近似するサンプル被検体の画像特徴量を特定する比較部と、
前記比較部で特定された画像特徴量を有するサンプル被検体の観察に適した照明状態に基づいて、前記照明光学系の照明条件を設定する設定部と、
を備える顕微鏡システム。
【請求項２】
前記所定照明条件における前記複数のサンプル被検体の画像特徴量と、各サンプル被検体の観察に適した照明状態とを記憶する記憶部を備える請求項１に記載の顕微鏡システム。
【請求項３】
前記照明光学系は、前記結像光学系の瞳の共役位置における前記照明光の強度分布を可変する第１空間変調素子を有し、
前記設定部は、前記第１空間変調素子を変調させる素子変調部を有する請求項１又は請求項２に記載の顕微鏡システム。
【請求項４】
前記被検体の画像特徴量は前記被検体の画像の少なくとも一部における空間周波数成分、ヒストグラム、コントラスト又は最大傾斜量を含む請求項１から請求項３のいずれか一項に記載の顕微鏡システム。
【請求項５】
前記素子変調部で変調された前記第１空間変調素子による前記照明光の強度分布の下で、前記イメージセンサが検出した前記被検体の画像信号を初期データとして、前記照明光の強度分布を微小量変化させ、前記照明光の強度分布を変化させる毎に前記画像信号を取得して、適した前記照明光の強度分布の大きさを逐次的に計算する計算部を備える請求項３又は請求項４に記載の顕微鏡システム。
【請求項６】
前記計算部は、前記初期データから前記照明光の強度分布を変化させて第１及び第２の照明光強度分布を形成し、それらに対応する第１及び第２の画像信号を取得し、遺伝的アルゴリズムにより最適な照明光強度分布を求める請求項５に記載の顕微鏡システム。
【請求項７】
前記結像光学系の瞳位置または瞳の共役位置近傍で且つ前記第１空間光変調素子と共役の位置に配置された第２空間光変調素子を備え、
前記第２空間光変調素子は、透過光に与える付加位相の空間分布又は透過率の空間分布を可変とする請求項３から請求項６のいずれか１項に記載の顕微鏡システム。
【請求項８】
前記イメージセンサで検出される画像信号に基づいて、前記被検体が吸収物体であるか位相物体であるかを判断する判断部を備える請求項１から請求項７のいずれか１項に記載の顕微鏡システム。
【請求項９】
前記顕微鏡は前記照明光の波長領域を選択する波長フィルタを備えており、
前記イメージセンサで検出される画像信号は、前記波長フィルタを介して検出される請求項１から請求項８のいずれか一項に記載の顕微鏡システム。
【請求項１０】
前記サンプル被検体は、前記顕微鏡システムで過去に観察した被検体を含む請求項１から請求項９のいずれか一項に記載の顕微鏡システム。
【請求項１１】
前記被検体の画像特徴量をサーバーに送信する送信部と、
前記サーバーで設定された前記照明光学系の照明条件を受信する受信部と、を備え、
前記サーバーは、
前記被検体の画像特徴量と複数のサンプル被検体との画像特徴量とを比較し、前記被検体の画像特徴量に近似するサンプル被検体の画像特徴量を特定する第２比較部と、
前記第２比較部で特定された画像特徴量を有するサンプル被検体の観察に適した照明状態に基づいて、前記照明光学系の照明条件を設定する第２設定部と、
を備える請求項１に記載の顕微鏡システム。
【請求項１２】
請求項１に記載の顕微鏡システムから前記被検体の画像特徴量を受信する第２受信部と、
前記第２受信部で受信された前記被検体の画像特徴量と複数のサンプル被検体との画像特徴量とを比較し、前記被検体の画像特徴量に近似するサンプル被検体の画像特徴量を特定する第２比較部と、
前記第２比較部で特定された画像特徴量を有するサンプル被検体の観察に適した照明状態に基づいて、前記照明光学系の照明条件を設定する第２設定部と、
前記第２設定部で設定された前記照明光学系の照明条件を前記顕微鏡システムに送信する第２送信部と、
を備えるサーバー。
【請求項１３】
光源からの照明光を被検体に所定照明条件で照射する照明光学系と、前記被検体からの光から前記被検体の像を形成する結像光学系と、前記結像光学系による被検体像を検出して画像信号を出力するイメージセンサと、を備える顕微鏡と、前記顕微鏡に接続されるコンピュータとを含む顕微鏡システムを用いて、前記被検体を観察するプログラムであって、
前記コンピュータに、
前記イメージセンサで検出される画像信号に基づいて、前記被検体の画像の特徴量を取得する画像解析と、
前記被検体の画像特徴量と複数のサンプル被検体の画像特徴量との比較と、
前記被検体の画像特徴量に近似するサンプル被検体の画像特徴量の特定と、
前記比較部で特定された画像特徴量を有するサンプル被検体の観察に適した照明状態に基づいて、前記照明光学系の照明条件を設定する設定と、
を実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１２−２２０８０１（Ｐ２０１２−２２０８０１Ａ）
【公開日】平成２４年１１月１２日（２０１２．１１．１２）
【国際特許分類】
【出願番号】特願２０１１−８７８２２（Ｐ２０１１−８７８２２）
【出願日】平成２３年４月１２日（２０１１．４．１２）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２４年１１月１２日（２０１２．１１．１２）
【国際特許分類】
【出願日】平成２３年４月１２日（２０１１．４．１２）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]