説明

画像取得装置、画像取得方法、及び画像取得プログラム

【課題】 画像取得の対象となる試料のマクロ画像を好適に取得することが可能な画像取得装置、画像取得方法、及び画像取得プログラムを提供する。
【解決手段】 試料の画像を取得するための画像取得装置を、試料のマクロ画像を取得するためのマクロ画像取得部20と、マクロ画像として試料の暗視野マクロ画像を取得する際に用いられる暗視野光源26と、マクロ画像の画像データに対して加工処理を行って、参照用マクロ画像を生成するマクロ画像処理部66と、参照用マクロ画像を参照し、試料のミクロ画像の撮像条件として、画像取得の対象物を含む範囲に応じた画像取得範囲を設定する撮像条件設定部65とを備える構成とする。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、試料の画像を取得するための画像取得装置、画像取得方法、及び画像取得プログラムに関するものである。
【背景技術】
【0002】
近年、病理学の分野などにおいて、パーソナルコンピュータ等の仮想空間上であたかも実際の顕微鏡で試料を見ているかのように操作可能なバーチャル顕微鏡が知られている。このバーチャル顕微鏡で扱われる試料データは、予め実際の顕微鏡を利用して高解像度で取得された試料の画像データに基づいている。
【0003】
このようにバーチャル顕微鏡で利用される試料の画像データを取得する画像取得装置では、バーチャル顕微鏡での画像操作を実現するために、充分に高解像度で試料の画像を取得することが要求される。また、このような高解像度の画像を効率的に取得するため、マクロ画像取得用のカメラと、高解像度のミクロ画像取得用のカメラとを用いて試料の画像を取得する構成が、文献1:米国特許第6816606号公報に記載されている。
【特許文献1】米国特許第6816606号公報
【特許文献2】特開2005−37902号公報
【特許文献3】特開2005−234262号公報
【特許文献4】特許第3427068号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
上記したようにマクロ用カメラとミクロ用カメラとを備えた構成では、例えば、最初にマクロ用カメラでマクロ画像を取得して、マクロ画像を参照して試料に対する撮像条件を設定し、次に、設定された撮像条件を参照してミクロ用カメラでミクロ画像を取得する方法が考えられる。また、従来、バーチャル顕微鏡で利用される試料の画像データの取得においては、主に吸光性の色素で染色された生体サンプルなどの試料が密封されたスライドが対象となっている。この場合、通常の透過照明によって、充分なコントラストで試料のマクロ画像を取得することができる。
【0005】
一方、バーチャル顕微鏡等で対象となる試料としては、従来の吸光性の色素で染色された試料のみではなく、例えば、蛍光性の色素で染色された試料を対象とすることが考えられる。しかしながら、このような試料のマクロ画像の取得に透過照明を用いると、得られるマクロ画像でのコントラストが低くなり、画像中にある試料を認識することが困難となる場合がある。このことは、上記したようにマクロ画像を、高解像度のミクロ画像を取得する際の撮像条件の設定などに利用する上で問題となる。
【0006】
本発明は、以上の問題点を解決するためになされたものであり、試料のマクロ画像を好適に取得することが可能な画像取得装置、画像取得方法、及び画像取得プログラムを提供することを目的とする。
【課題を解決するための手段】
【0007】
このような目的を達成するために、本発明による画像取得装置は、(1)試料のマクロ画像を取得するためのマクロ画像取得手段と、(2)マクロ画像として試料の暗視野マクロ画像を取得する際に用いられる暗視野照明手段と、(3)マクロ画像の画像データに対して加工処理を行って、参照用マクロ画像を生成するマクロ画像処理手段と、(4)参照用マクロ画像を参照し、試料のミクロ画像の撮像条件として、画像取得の対象物を含む範囲に応じた画像取得範囲を設定する撮像条件設定手段とを備えることを特徴とする。
【0008】
また、本発明による画像取得方法は、(a)暗視野照明手段を用い、試料のマクロ画像として暗視野マクロ画像を取得する暗視野マクロ画像取得ステップと、(b)マクロ画像の画像データに対して加工処理を行って、参照用マクロ画像を生成するマクロ画像処理ステップと、(c)参照用マクロ画像を参照し、試料のミクロ画像の撮像条件として、画像取得の対象物を含む範囲に応じた画像取得範囲を設定する撮像条件設定ステップとを備えることを特徴とする。
【0009】
また、本発明による画像取得プログラムは、(a)暗視野照明手段を用い、試料のマクロ画像として暗視野マクロ画像を取得する取得動作を制御する暗視野マクロ画像取得制御処理と、(b)マクロ画像の画像データに対して加工処理を行って、参照用マクロ画像を生成するマクロ画像加工処理と、(c)参照用マクロ画像を参照し、試料のミクロ画像の撮像条件として、画像取得の対象物を含む範囲に応じた画像取得範囲を設定する撮像条件設定処理とをコンピュータに実行させることを特徴とする。
【0010】
上記した画像取得装置、画像取得方法、及び画像取得プログラムにおいては、画像取得の対象となる試料に対してマクロ画像取得手段を設けて試料の全体像を示すマクロ画像を取得し、このマクロ画像に所定の加工処理を行って得られた参照用マクロ画像を用いて、ミクロ画像を取得する際の撮像条件である画像取得範囲を設定している。これにより、例えばバーチャル顕微鏡で用いられる試料の画像データとなるような高解像度の試料のミクロ画像を取得する場合に、設定された画像取得範囲を参照して対象物(例えばスライド中の生体サンプル)を含む好適な範囲でミクロ画像を取得することができる。
【0011】
さらに、上記した試料のマクロ画像の取得において、斜光照明などの暗視野照明手段を用いて試料を照明して、暗視野マクロ画像を取得している。このような構成によれば、例えば蛍光性の色素で染色された試料が画像取得の対象となっている場合でも、試料のマクロ画像を充分なコントラストで好適に取得することができる。このような高コントラストのマクロ画像は、ミクロ画像を取得する際の画像取得範囲などの撮像条件の設定に利用する上で有効であり、ミクロ画像の撮像条件を確実に設定することが可能となる。
【0012】
ここで、マクロ画像を取得する際に用いられる暗視野照明手段の具体的な構成については、暗視野照明手段が、マクロ画像を取得する際の光軸と直交する面に対して、マクロ画像取得手段とは反対側から斜めに光を照射することが好ましい。これにより、試料の暗視野マクロ画像を好適に取得することができる。このような構成としては、例えば、暗視野照明手段が、マクロ画像を取得する際の光軸に対して、試料の斜め下方から光を照射する構成がある。あるいは、暗視野照明手段が、マクロ画像を取得する際の光軸と直交する面に対して、マクロ画像取得手段側から斜めに光を照射する構成としても良い。
【0013】
また、画像取得装置は、試料のミクロ画像を取得するためのミクロ画像取得手段と、撮像条件設定手段で設定された画像取得範囲を含む上記撮像条件を参照して、ミクロ画像取得手段によるミクロ画像の取得動作を制御するミクロ画像取得制御手段とを備えることが好ましい。同様に、画像取得方法は、試料のミクロ画像を取得するミクロ画像取得ステップと、撮像条件設定ステップで設定された画像取得範囲を含む上記撮像条件を参照して、ミクロ画像取得ステップによるミクロ画像の取得動作を制御するミクロ画像取得制御ステップとを備えることが好ましい。同様に、画像取得プログラムは、撮像条件設定処理で設定された画像取得範囲を含む上記撮像条件を参照して、試料のミクロ画像を取得する取得動作を制御するミクロ画像取得制御処理をコンピュータに実行させることが好ましい。
【0014】
このように、画像取得の対象となる試料に対してマクロ画像取得手段とミクロ画像取得手段とを設け、試料の全体像を示すマクロ画像を参照して撮像条件を設定した上で高解像度のミクロ画像の取得を行う構成とすることにより、試料のミクロ画像を効率良く取得することができる。また、試料のマクロ画像として上記したように暗視野マクロ画像を取得することにより、例えば蛍光性の色素で染色された試料が対象となっている場合でも、試料のマクロ画像を充分なコントラストで好適に取得して、ミクロ画像の撮像条件を確実に設定することが可能となる。
【0015】
また、画像取得装置は、撮像条件設定手段が、撮像条件として、画像取得範囲での対象物の画像取得についての焦点関連情報を設定することが好ましい。同様に、画像取得方法は、撮像条件設定ステップが、撮像条件として、画像取得範囲での対象物の画像取得についての焦点関連情報を設定することが好ましい。同様に、画像取得プログラムは、撮像条件設定処理が、撮像条件として、画像取得範囲での対象物の画像取得についての焦点関連情報を設定することが好ましい。
【0016】
このように、ミクロ画像の撮像条件として、画像取得範囲に加えて、撮像の焦点についての焦点関連情報を設定することにより、試料のミクロ画像を好適な条件で取得することが可能となる。このような焦点関連情報としては、例えば、画像取得範囲内での1点または複数点の焦点計測位置がある。あるいは、焦点関連情報として、画像取得範囲での対象物の画像取得についての焦点面などの焦点情報がある。また、焦点計測位置が設定された場合、撮像の焦点面などの焦点情報については、焦点計測位置に対して焦点計測を行った計測結果を参照して焦点情報を取得、設定することが好ましい。
【0017】
また、マクロ画像に対して参照用マクロ画像を生成するために行われる加工処理としては、マクロ画像に対し、所定の輝度閾値によって画像を二値化して対象領域と背景領域とを判別可能な二値化画像を生成する処理を行うことが好ましい。このように画像を二値化することにより、マクロ画像中で対象物に対応する対象領域と、それ以外の背景領域とを確実に判別することができ、これに基づいてミクロ画像の撮像条件である画像取得範囲等を好適に設定することが可能となる。
【0018】
上記したようにマクロ画像を二値化して用いる場合、さらに、二値化画像に対し、対象領域の輪郭を所定量で拡大する処理を行うことが好ましい。これにより、例えば輪郭が入り組んでいるなどの複雑な形状の対象物であっても、その対象領域を好適に判別することができる。
【0019】
また、二値化画像に対し、所定の画素数閾値によって対象領域のうちで除外すべき領域があるかどうかを判定する処理を行うことが好ましい。このような処理としては、具体的には例えば、対象領域のうちでそのサイズが画素数閾値以下の小さい領域について、対象物ではなくゴミによるものとして除外する処理がある。
【0020】
さらに、マクロ画像に対して行われる加工処理としては、試料に対して取得されたマクロ画像と、試料がない状態で取得されたコントロール画像との間で所定の画像演算処理を行うことが好ましい。これにより、マクロ画像中で対象物以外に起因するノイズの影響を除去することができる。
【0021】
また、画像取得装置は、マクロ画像として試料の明視野マクロ画像を取得する際に用いられる明視野照明手段を備えることとしても良い。同様に、画像取得方法は、明視野照明手段を用い、試料のマクロ画像として明視野マクロ画像を取得する明視野マクロ画像取得ステップを備えることとしても良い。同様に、画像取得プログラムは、明視野照明手段を用い、試料のマクロ画像として明視野マクロ画像を取得する取得動作を制御する明視野マクロ画像取得制御処理をコンピュータに実行させることとしても良い。
【0022】
この場合、マクロ画像に対して行われる加工処理としては、暗視野マクロ画像と、明視野マクロ画像との間で所定の画像演算処理を行うことが好ましい。このように暗視野マクロ画像に加えて、透過照明などの明視野照明手段を用いた明視野マクロ画像を用いることにより、マクロ画像でのコントラストを向上することができる。
【発明の効果】
【0023】
本発明の画像取得装置、画像取得方法、及び画像取得プログラムによれば、試料に対して取得されたマクロ画像に所定の加工処理を行って得られた参照用マクロ画像を用いて、ミクロ画像を取得する際の撮像条件である画像取得範囲を設定するとともに、試料のマクロ画像の取得において、斜光照明などの暗視野照明手段を用いて試料を照明して、暗視野マクロ画像を取得することにより、例えば蛍光性の色素で染色された試料が画像取得の対象となっている場合でも、試料のマクロ画像を好適に取得することが可能となる。
【発明を実施するための最良の形態】
【0024】
以下、図面とともに本発明による画像取得装置、画像取得方法、及び画像取得プログラムの好適な実施形態について詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。また、図面の寸法比率は、説明のものと必ずしも一致していない。
【0025】
まず、画像取得装置の全体構成について説明する。図1は、本発明による画像取得装置の一実施形態の構成を示すブロック図である。本実施形態による画像取得装置は、試料Sの画像を高解像度で取得するために用いられる顕微鏡システムであり、試料Sの画像取得を行う顕微鏡装置10と、顕微鏡装置10における画像取得の制御等を行う制御装置60とを備える。画像取得の対象となる試料Sとしては、バーチャル顕微鏡で利用される画像データを取得する場合における、スライドガラスに吸光性の色素または蛍光性の色素で染色された組織切片等の生体サンプルが密封されたスライド(プレパラート)が、例として挙げられる。
【0026】
顕微鏡装置10は、試料格納部11と、マクロ画像取得部20と、ミクロ画像取得部30とを有している。試料格納部11は、それぞれ画像取得の対象となる複数の試料(例えばそれぞれ生体サンプルが密封された複数のスライド)Sを格納可能に構成された格納手段である。この試料格納部11には、操作者による試料Sの格納、及び取り出し等に用いられる扉12が設けられている。また、本実施形態においては、画像取得中に誤って扉12が開放されることを防止するためのインターロック機構13が付設されている。
【0027】
マクロ画像取得部20は、試料Sの低倍率画像であるマクロ画像を取得するための第1の画像取得手段である。この画像取得部20では、試料Sの全体像に相当する低解像度でのマクロ画像が取得される。また、マクロ画像取得部20に対して、マクロ画像取得時に試料Sの光像を生成するための光を照射するマクロ用光源25が設置されている。
【0028】
一方、ミクロ画像取得部30は、試料Sの高倍率画像であるミクロ画像を取得するための第2の画像取得手段である。この画像取得部30では、目的とする試料Sの高解像度でのミクロ画像が取得される。また、ミクロ画像取得部30に対して、ミクロ画像取得時に試料Sの光像を生成するための光を照射するミクロ用光源35が設置されている。
【0029】
また、顕微鏡装置10には、顕微鏡装置10内での各位置の間で試料Sを移動させる試料移動手段として、試料搬送部14及び試料ステージ15が設けられている。試料搬送部14は、試料格納部11での試料Sの格納位置と、マクロ画像取得部20及びミクロ画像取得部30のそれぞれでの画像取得位置との間で、必要に応じて試料Sを搬送する搬送手段である。また、試料ステージ15は、マクロ画像またはミクロ画像の画像取得時に試料Sが載置されるとともに、試料Sの画像取得位置の設定、調整等に用いられる。
【0030】
制御装置60は、顕微鏡装置10における画像取得動作の制御、画像取得条件の設定、及び取得された試料Sの画像データの処理等を行う制御手段である。制御装置60は、例えばCPU及び必要なメモリ、ハードディスクなどの記憶装置を含むコンピュータによって構成される。また、この制御装置60に対して、表示装置71、及び入力装置72が接続されている。表示装置71は、例えばCRTディスプレイまたは液晶ディスプレイであり、本画像取得装置の動作に必要な操作画面の表示、あるいは取得された試料Sの画像の表示等に用いられる。また、入力装置72は、例えばキーボードまたはマウスであり、画像取得に必要な情報の入力、画像取得動作についての指示の入力等に用いられる。
【0031】
図1に示した画像取得装置の構成について、さらに説明する。図2は、画像取得装置における顕微鏡装置10、及び制御装置60の構成の一例を示すブロック図である。また、図3は、顕微鏡装置10におけるマクロ画像取得用の光学系の構成の一例を概略的に示す図である。また、図4は、顕微鏡装置10におけるミクロ画像取得用の光学系の構成の一例を概略的に示す図である。
【0032】
ここで、図3及び図4中に示すように、顕微鏡装置10の構成について水平方向で互いに直交する2方向をX軸方向及びY軸方向とし、水平方向に直交する垂直方向をZ軸方向とする。これらのうち、垂直方向であるZ軸方向が本顕微鏡システムにおける画像取得の光軸の方向となっている。また、図2においては、試料格納部11及び試料搬送部14等については図示を省略している。また、ここでは、蛍光性の色素で染色された試料を画像取得の対象とした場合を例として顕微鏡装置10の構成を説明する。
【0033】
試料Sは、画像取得部20、30における画像取得時には、試料ステージ15上に載置される。この試料ステージ15は、ステッピングモータ、DCモータ、またはサーボモータ等を用い、X軸方向及びY軸方向に移動可能なXYステージとして構成されている。このような構成において、試料ステージ15をXY面内で駆動することにより、画像取得部20、30での試料Sに対する画像取得位置の設定、調整が行われる。また、本実施形態においては、この試料ステージ15は、マクロ画像取得部20での画像取得位置、及びミクロ画像取得部30での画像取得位置の間で移動可能となっている。
【0034】
試料Sのマクロ画像を取得するためのマクロ画像取得位置に対し、図3に示すように、光軸20aに対して所定位置にそれぞれマクロ画像取得部20、及びマクロ用光源25が設置されている。マクロ用光源25は、試料Sに対してマクロ画像取得用の光像を生成するための光を照射する照明手段である。
【0035】
また、マクロ画像取得部20は、試料Sの光像による2次元画像の取得が可能な2次元CCDセンサなどのマクロ用撮像装置21を用いて構成されている。また、試料Sが配置されるマクロ画像取得位置と、撮像装置21との間には、試料Sの光像を導く光学系として撮像光学系22が設けられている。
【0036】
本実施形態においては、図2及び図3に示すように、マクロ用光源25として、暗視野光源26、及び明視野光源27の2つの光源が設けられている。これらのうち、マクロ用暗視野光源26は、試料Sのマクロ画像として暗視野マクロ画像を取得する際に用いられる暗視野照明手段であり、マクロ画像を取得する際の光軸と直交する面に対して、マクロ画像取得部20とは反対側から斜めに光を照射する位置に配置されている。このとき、暗視野光源26は、マクロ画像を取得する際の光路(試料Sと、マクロ用撮像装置21との間で光像が導かれる光の経路)に対して、マクロ画像取得部20とは反対側から斜めに光を照射する構成となっている。具体的には、図3に示す構成においては、暗視野光源26は、光軸20aに対して、試料Sの斜め下方から光を照射する位置に斜光照明手段として設置されている。また、マクロ用明視野光源27は、試料Sのマクロ画像として明視野マクロ画像を取得する際に用いられる明視野照明手段であり、試料ステージ15の下方に透過照明手段として設置されている。
【0037】
一方、試料Sのミクロ画像を取得するためのミクロ画像取得位置に対し、図4に示すように、光軸30a上の所定位置にミクロ画像取得部30が設置されている。ミクロ画像取得部30は、試料Sの光像による1次元画像の取得が可能な1次元CCDセンサなどのミクロ用撮像装置31を用いて構成されている。また、試料Sが配置されるミクロ画像取得位置と、撮像装置31との間には、試料Sの光像を導く光学系として、対物レンズ32、及び導光光学系34が設けられている。対物レンズ32は、試料Sからの光を入射して試料Sの光像を生成する。また、導光光学系34は、例えばチューブレンズから構成され、試料Sの光像を撮像装置31へと導く。
【0038】
また、本実施形態においては、ミクロ画像取得位置に配置された試料Sに対し、ミクロ画像取得用の光像を生成するための光を照射する照明手段のミクロ用光源35として励起光源36が設置されている。図4に示す構成においては、対物レンズ32と、導光光学系34との間に、ダイクロイックミラー37が配置されている。ダイクロイックミラー37は、励起光源36からレンズ等の光学系を介して入射される励起光を反射して試料Sへと照射するとともに、試料Sで発生した蛍光を導光光学系34へと通過させる。
【0039】
これにより、図4に示すミクロ画像取得用の光学系は、落射照明による蛍光顕微鏡として構成されている。また、このような蛍光顕微鏡において、ミクロ画像取得部30で取得されるミクロ画像は、試料Sからの蛍光による蛍光観察像となる。なお、試料Sと撮像装置31との間の光路上、あるいは励起光源36とダイクロイックミラー37との間の光路上には、必要に応じて励起光または蛍光を選択するための光フィルタを設置しても良い。
【0040】
また、対物レンズ32に対して、ステッピングモータまたはピエゾアクチュエータ等を用いたZステージ33が設けられており、このZステージ33で対物レンズ32をZ軸方向に駆動することで、試料Sに対する焦点合わせ等が可能となっている。なお、このミクロ画像取得部30での撮像装置31としては、1次元画像の取得が可能な撮像装置に限らず、2次元画像の取得及びTDI駆動が可能な撮像装置を用いることも可能である。
【0041】
また、このミクロ画像取得用の撮像装置31としては、例えば3板式CCDカメラなどのカラー画像が取得可能な撮像装置を用いることが好ましい。なお、マクロ画像取得用の撮像装置21については、必要に応じて、白黒画像取得用の撮像装置、またはカラー画像が取得可能な撮像装置のいずれを用いても良い。また、撮像装置31についても、カラー画像を取得する必要がない場合には、白黒画像取得用の撮像装置を用いても良い。
【0042】
これらの試料ステージ15、マクロ画像取得部20、ミクロ画像取得部30、マクロ用光源25である光源26、27、及びミクロ用光源35である光源36に対して、それらを駆動制御する制御手段としてステージ制御部41、マクロ撮像制御部42、ミクロ撮像制御部43、マクロ用光源制御部44、及びミクロ用光源制御部45が設けられている。ステージ制御部41は、XYステージである試料ステージ15、及びZステージ33を駆動制御することにより、試料Sに対する撮像条件の設定、調整等を行う。
【0043】
マクロ撮像制御部42は、マクロ用撮像装置21を含む画像取得部20を駆動制御することにより、試料Sのマクロ画像取得を制御する。また、ミクロ撮像制御部43は、ミクロ用撮像装置31を含む画像取得部30を駆動制御することにより、試料Sのミクロ画像取得を制御する。また、マクロ用光源制御部44は、暗視野光源26及び明視野光源27を駆動制御することにより、試料Sの暗視野マクロ画像及び明視野マクロ画像を取得する際の光の照射を制御する。また、ミクロ用光源制御部45は、励起光源36を駆動制御することにより、試料Sのミクロ画像(本実施形態においては蛍光観察像)を取得する際の光(励起光)の照射を制御する。
【0044】
制御装置60は、マクロ画像取得制御部61及びミクロ画像取得制御部62を含む画像取得制御部と、マクロ画像処理部66及びミクロ画像処理部67を含む画像データ処理部と、撮像条件設定部65とを有している。画像取得制御部は、上記した制御部41〜45を介して、顕微鏡装置10における試料Sの画像取得動作を制御する。
【0045】
また、画像データ処理部には、画像取得部20で取得されたマクロ画像の画像データ、及び画像取得部30で取得されたミクロ画像の画像データが入力されており、これらの画像データについて必要なデータ処理が行われる。また、画像データ処理部に入力された画像データ、画像データを処理して得られた各種のデータや情報、あるいは画像取得制御部で用いられる制御情報等は、必要に応じてデータ記憶部に記憶、保持される。
【0046】
具体的には、画像取得制御部のマクロ画像取得制御部61は、ステージ制御部41、マクロ撮像制御部42、及びマクロ用光源制御部44を介し、試料Sのマクロ画像取得位置の設定動作、マクロ画像取得部20によるマクロ画像の取得動作、暗視野光源26による暗視野マクロ画像取得用の光の照射動作、及び明視野光源27による明視野マクロ画像取得用の光の照射動作を制御する。
【0047】
ミクロ画像取得制御部62は、ステージ制御部41、ミクロ撮像制御部43、及びミクロ用光源制御部45を介し、試料Sのミクロ画像取得位置の設定動作、ミクロ画像取得部30によるミクロ画像の取得動作、及びミクロ用光源35によるミクロ画像取得用の光の照射動作を制御する。また、ミクロ画像取得制御部62は、後述する撮像条件設定部65で設定された撮像条件を参照して、試料Sのミクロ画像の取得を制御する。
【0048】
マクロ画像処理部66には、マクロ撮像制御部42を介して、マクロ画像取得部20の撮像装置21によって取得された試料Sのマクロ画像の画像データが入力されている。この画像処理部66は、入力されたマクロ画像の画像データに対して補正、加工、記憶などの必要なデータ処理を実行する。本実施形態においては、マクロ画像処理部66は、マクロ画像の画像データに対して所定の加工処理を行って、参照用マクロ画像を生成する機能を有する。
【0049】
ミクロ画像処理部67には、ミクロ撮像制御部43を介して、ミクロ画像取得部30の撮像装置31によって取得された試料Sのミクロ画像の画像データが入力されている。この画像処理部67は、画像処理部66と同様に、入力されたミクロ画像の画像データに対して補正、加工、記憶などの必要なデータ処理を実行する。本実施形態においては、ミクロ画像処理部67は、取得されたミクロ画像の画像データを用い、目的とする試料Sの高解像度の画像データである試料データを作成する機能を有する。
【0050】
撮像条件設定部65は、顕微鏡装置10のマクロ画像取得部20で取得された試料Sのマクロ画像を参照してミクロ画像の撮像条件を設定する設定手段である。本実施形態においては、この撮像条件設定部65には、マクロ画像の画像データに対して加工処理を行って生成された参照用マクロ画像が、マクロ画像処理部66から入力されている。そして、撮像条件設定部65は、この参照用マクロ画像を参照し、試料Sのミクロ画像の撮像条件として、画像取得の対象物を含む範囲に応じた画像取得範囲を設定する。あるいは、撮像条件設定部65は、必要に応じて他の撮像条件、例えば焦点合わせを実行するための焦点計測位置、画像取得範囲での対象物の画像取得についての焦点情報などの焦点関連情報を設定する。
【0051】
ここで、画像取得部20、30における試料Sのマクロ画像及びミクロ画像の取得について説明しておく。マクロ画像取得部20では、ミクロ画像の撮像条件の設定に用いられる試料Sの全体像であるマクロ画像が取得される。例えば、上記したスライドガラスに組織切片等の生体サンプルが密封されたスライド(プレパラート)を試料Sとした場合、マクロ画像としては、スライド全体、または生体サンプルを含む所定範囲の画像が取得される。
【0052】
また、図2〜図4に示した構成の画像取得装置では、マクロ画像の取得においては、対象となる試料Sの種類、あるいは取得しようとするマクロ画像の種類等に応じて、試料Sに対して斜め下方に配置された暗視野光源26による斜光照明、または試料Sの下方に配置された明視野光源27による透過照明が、適宜選択されて用いられる。これにより、本画像取得装置は、試料Sのマクロ画像として、暗視野マクロ画像、及び明視野マクロ画像の両者を取得可能な構成となっている。
【0053】
また、ミクロ画像取得部30では、設定された撮像条件を参照して、目的とする解像度での試料Sのミクロ画像が取得される。このミクロ画像の取得は、好ましくは図5(a)に模式的に示すように、マクロ画像よりも高い所定の解像度で試料Sを2次元に走査することによって行われる。ここで、1次元CCDカメラなどの撮像装置31を用いたミクロ画像の取得では、試料Sに対して平行なXY面内において、撮像装置31での撮像面の長手方向をX軸方向、この長手方向に直交する方向をY軸方向とする。このとき、ミクロ画像の取得においては、撮像装置31での撮像面の長手方向に直交する方向、図5(a)においてはY軸の負の方向が、試料Sに対する走査方向となる。
【0054】
1次元CCDカメラなどの撮像装置31を用いたミクロ画像の取得では、まず、撮像装置31によって試料ステージ15上の試料Sを走査方向(Y軸の負の方向)に走査して、所望の解像度を有するストリップ状の部分画像Aを取得する。さらに、図5(a)に示すように、このような部分画像の取得を撮像面の長手方向(X軸の正の方向)に沿って撮像位置をずらしながら複数回繰り返して、複数の部分画像A、B、…、Iを取得する。
【0055】
このようにして得られた部分画像A〜IをX軸方向に並べて合成することで、試料Sの全体のミクロ画像を生成することができる。このようなミクロ画像の取得方法によれば、試料Sの画像データを充分に高い解像度で好適に取得することが可能である。なお、図5(a)中において、部分画像A内に斜線で示したX軸方向を長手方向とする領域は、撮像装置31での撮像面に対応する撮像領域を示している。
【0056】
また、ミクロ画像の撮像条件の設定については、マクロ画像取得部20の撮像装置21で取得されたマクロ画像を参照して、ミクロ画像の撮像条件として画像取得範囲、及び焦点計測位置を設定することが好ましい。これにより、試料Sの全体像である暗視野マクロ画像または明視野マクロ画像などのマクロ画像で得られる情報から、ミクロ画像取得に用いられるパラメータを好適に設定して、高解像度で良好な状態の試料の画像データを取得することが可能となる。
【0057】
具体的には、上記と同様にスライドを試料Sとした場合、図5(b)に示すように、試料Sに対する画像取得範囲は、画像取得の対象であるスライド中の生体サンプルLを含む矩形状の範囲Rによって設定することができる。ミクロ画像取得部30における試料Sの2次元の走査(図5(a)参照)は、このように設定された画像取得範囲R内について行われる。
【0058】
また、焦点計測位置は、ミクロ画像取得部30において、試料Sのミクロ画像の取得に先立って試料Sに対する焦点情報を取得する際に用いられるものである。ミクロ画像取得部30では、設定された焦点計測位置について撮像装置31を用いて焦点計測を行って、試料Sのミクロ画像を取得する際の焦点情報としての焦点位置を決定する。このような焦点計測位置の設定、及び焦点情報の取得、設定は、撮像条件設定部65により、また必要があればミクロ画像取得制御部62等を介して実行される。
【0059】
焦点情報を取得するための焦点計測位置は、例えば試料Sの水平面内での傾き、すなわち水平面内での焦点位置のずれが問題にならない場合には、試料Sに対して1点の焦点計測位置を設定すれば良い。また、水平面内での焦点位置のずれを考慮する必要がある場合には、試料Sに対して3点以上の焦点計測位置を設定することが好ましい。このように、3点もしくはそれ以上の焦点計測位置を設定して焦点計測を行うことにより、試料Sの画像取得範囲Rに対する2次元の焦点マップを求めることができる。
【0060】
例えば、焦点位置についての焦点マップを平面状の焦点面として決定する場合、3点の焦点計測位置での計測結果点を含む平面から焦点面を求めることができる。また、4点以上の焦点計測位置を用いた場合、その計測結果点から最小二乗法等のフィッティング手法を用いて焦点面を求めることができる。
【0061】
図5(b)においては、マクロ画像を用いた焦点計測位置の設定について、9点の焦点計測位置を自動で設定する場合の例を示している。ここでは、試料Sに対して先に設定された画像取得範囲Rを3×3で9等分し、そのそれぞれの領域の中心点によって、9点の焦点計測位置Pを設定している。
【0062】
また、ここでは、9点の焦点計測位置のうち8点については初期設定された位置が画像取得の対象物である生体サンプルLの範囲内に含まれているため、そのまま焦点計測位置として設定される。一方、左下の1点については生体サンプルLの範囲外にあり、そのままでは焦点計測位置とすることができない。このため、この左下の焦点計測位置については、例えば画像取得範囲R内で中心に向けて移動するなどの方法で求められる位置Qを焦点計測位置として設定しても良い。あるいは、このような位置については焦点計測位置から除外しても良い。
【0063】
なお、4点以上の焦点計測位置から最小二乗法を用いて焦点面を求める場合、焦点計測位置の中で求められた焦点面から離れすぎている計測位置があれば、それを除いて再度、焦点面を求め直すことが好ましい。また、焦点面を正常に求めることができなかった場合には、その対象物はゴミであるとして除外することが好ましい。
【0064】
以上説明した例のように、試料Sをスライドとした場合、ミクロ画像を取得するための撮像条件については、好ましくは、まず、マクロ画像取得部20で取得されたマクロ画像を参照して、ミクロ画像の撮像条件として生体サンプルLを含む画像取得範囲R、及び所定の点数の焦点計測位置Pを設定する。そして、ミクロ画像取得部30において焦点計測位置Pに基づいて試料Sに対する焦点位置または焦点面などについての焦点情報を取得するとともに、得られた焦点情報、及び設定された画像取得範囲Rなどの撮像条件に基づいて、試料Sのミクロ画像の取得が行われる。
【0065】
なお、試料Sのマクロ画像を用いた画像取得範囲R、及び焦点計測位置Pの設定については、図5(b)に示した例に限らず、具体的には様々な方法を用いて良い。例えば、図5(b)においては、焦点計測位置Pの設定については所定の設定アルゴリズムを用いて自動で設定する例を示したが、手動で焦点計測位置を設定する場合には、操作者がマクロ画像を確認した上で、適当な点数、配置となるように焦点計測位置を設定すれば良い。
【0066】
また、ミクロ画像処理部67における試料Sの画像データの作成は、例えば図5(a)に示した複数の部分画像A、B、…、Iを元にして、図6に示すように行われる。ここでは、ミクロ画像取得部30で取得されたミクロ画像の画像データとして、ストリップ状の部分画像A、B、C、…の画像データ群が制御装置60に入力される。ミクロ画像処理部67は、これらの複数の部分画像を並べて合成し、試料Sの全体に対するミクロ画像となる画像データを生成して試料データとする。この試料データは、例えば、バーチャル顕微鏡での画像データとして利用することができる。なお、試料Sの画像データについては、必要に応じて、データ圧縮を行っても良い。
【0067】
図1〜図4に示した画像取得装置において実行される本発明による画像取得方法について、さらに説明する。図7は、画像取得方法の一例を示すフローチャートである。また、図8は、図7に示した画像取得方法におけるミクロ画像の取得方法の一例を示すフローチャートである。また、ここでは、顕微鏡装置10の試料格納部11に複数のスライドSをセットし、これらの複数のスライドSのそれぞれを画像取得の対象の試料とする場合の例を示している。試料格納部11に格納可能なスライド数は具体的な装置構成によって異なるが、例えば数百枚程度である。
【0068】
まず、複数のスライドSのうちで、画像取得を実行するスライドSを試料格納部11から取り出して、試料搬送部14で搬送して試料ステージ15上の所定位置にロードし(ステップS101)、試料ステージ15を駆動制御して、スライドSをマクロ画像取得位置へと移動する(S102)。そして、暗視野光源26及びマクロ画像取得部20により、生体サンプルLを含むスライドSの暗視野マクロ画像を取得する(S103、暗視野マクロ画像取得ステップ)。
【0069】
具体的には、画像取得の対象となるスライドSに対して、その斜め下方に設置された暗視野光源26を点灯する(S104)。そして、光源26からの斜光照明の光がスライドSに照射された状態で、マクロ用撮像装置21により、スライドSからの散乱光によって形成される暗視野マクロ画像を取得する(S105)。暗視野マクロ画像の取得を終了したら、暗視野光源26を消灯する(S106)。
【0070】
マクロ画像取得部20で取得された暗視野マクロ画像の画像データは、マクロ撮像制御部42を介して制御装置60のマクロ画像処理部66へと入力される。マクロ画像処理部66は、入力されたマクロ画像の画像データに対して撮像条件の設定に適した所定の加工処理を行って、参照用マクロ画像を生成する(S107、マクロ画像処理ステップ)。そして、この加工処理がなされたマクロ画像を参照して、ミクロ用光源である励起光源36及びミクロ画像取得部30により、スライドSのミクロ画像である蛍光観察像を取得する(S108、ミクロ画像取得ステップ)。
【0071】
このステップS108に示すスライドSのミクロ画像の取得は、例えば、図8のフローチャートに示すような方法で行われる。ここでは、まず、撮像条件設定部65において、マクロ画像処理部66で生成された参照用マクロ画像を参照して、スライドSのミクロ画像の撮像条件が設定される(S121、撮像条件設定ステップ)。そして、ミクロ画像取得制御部62により、設定された撮像条件を参照して、スライドSのミクロ画像の取得が実行される(S126、ミクロ画像取得制御ステップ)。
【0072】
具体的には、図5(b)に示したように、マクロ画像処理部66で加工処理された参照用マクロ画像を参照し、ミクロ画像の撮像条件として、画像取得の対象物である生体サンプルLを含む範囲に応じた画像取得範囲Rを設定し(S122)、さらに、焦点計測位置Pを設定する(S123)。これらの撮像条件の設定は、操作者により手動で、あるいは所定のアルゴリズムを用いて自動で行われる。
【0073】
一方、マクロ画像の取得が完了したスライドSは、試料搬送部14、または試料ステージ15により、マクロ画像取得部20での画像取得位置から移動され、ミクロ画像取得部30での画像取得位置にセットされる(S124)。そして、設定された焦点計測位置Pのそれぞれに対して焦点計測を行うことによる自動焦点合わせが実行され、ミクロ画像の撮像条件として、画像取得範囲Rでの対象物である生体サンプルLの画像取得についての焦点情報が取得される(S125)。この焦点情報は、具体的には例えば、生体サンプルLの画像取得に最適な焦点面などによって設定される。
【0074】
撮像条件設定部65によるミクロ画像の撮像条件の設定が終了したら、その撮像条件を参照して、画像取得部30の撮像装置31により、スライドSのミクロ画像の取得が実行される(S126)。すなわち、焦点情報として求められた焦点面に基づいて焦点制御を行いつつ、画像取得範囲Rについて撮像装置31によってスライドSを2次元に走査し、複数のストリップ状の部分画像を取得する。この複数の部分画像は、制御装置60のミクロ画像処理部67で所定のデータ合成処理が行われることにより、スライドSの高解像度のミクロ画像(例えばバーチャル顕微鏡でのデジタルスライド)となる。
【0075】
続いて、ミクロ画像の取得が完了したスライドSは、試料搬送部14によりミクロ画像取得部30での画像取得位置から試料格納部11での格納位置に戻される。そして、図7に示すように、複数のスライドSのうちで画像取得処理が完了していない次のスライドSがあるかどうかが確認される(S109)。ここで、さらに画像取得処理を行うべきスライドSがあれば、上記したステップS101〜S108を繰り返して実行する。また、すべてのスライドSについての画像取得処理が完了していれば、試料格納部11にセットされた複数のスライドSに対する画像取得を終了する。
【0076】
なお、図1に示した画像取得装置において実行される画像取得方法に対応する処理は、画像取得処理をコンピュータに実行させるための画像取得プログラムによって実現可能である。例えば、画像取得装置における制御装置60は、画像取得処理に必要な各ソフトウェアプログラムを動作させるCPUと、上記ソフトウェアプログラムなどが記憶されるROMと、プログラムの実行中に一時的にデータが記憶されるRAMとによって構成することができる。このような構成において、CPUによって所定の画像取得プログラムを実行することにより、上記した画像取得装置、及び画像取得方法を実現することができる。
【0077】
また、試料の画像取得のための各処理をCPUによって実行させるための上記プログラムは、コンピュータ読取可能な記録媒体に記録して頒布することが可能である。このような記録媒体には、例えば、ハードディスク及びフレキシブルディスクなどの磁気媒体、CD−ROM及びDVD−ROMなどの光学媒体、フロプティカルディスクなどの磁気光学媒体、あるいはプログラム命令を実行または格納するように特別に配置された、例えばRAM、ROM、及び半導体不揮発性メモリなどのハードウェアデバイスなどが含まれる。
【0078】
本実施形態による画像取得装置、画像取得方法、及び画像取得プログラムの効果について説明する。
【0079】
上記した画像取得装置、画像取得方法、及び画像取得プログラムにおいては、画像取得の対象となる試料Sに対してマクロ画像取得部20を設けて試料Sの全体像を示すマクロ画像を取得する。そして、このマクロ画像に対してマクロ画像処理部66で所定の加工処理を行って得られた参照用マクロ画像を用い、撮像条件設定部65において、ミクロ画像を取得する際の撮像条件である画像取得範囲を設定している。これにより、例えばバーチャル顕微鏡で用いられる試料Sの画像データとなるような高解像度の試料Sのミクロ画像を取得する場合に、設定された画像取得範囲を参照して対象物(例えばスライドS中の生体サンプルL)を含む好適な範囲でミクロ画像を取得することができる。
【0080】
さらに、上記した試料Sのマクロ画像の取得において、暗視野光源26を用いて試料Sを照明し、斜光照明による試料Sからの散乱光を検出することで暗視野マクロ画像を取得している。このように、試料Sからの散乱光による画像を取得する構成によれば、例えば蛍光性の色素で染色された試料が画像取得の対象となっている場合でも、試料Sのマクロ画像を充分なコントラストで好適に取得することができる。このような高コントラストのマクロ画像は、ミクロ画像を取得する際の画像取得範囲などの撮像条件の設定に利用する上で有効であり、ミクロ画像の撮像条件を確実に設定することが可能となる。また、このような暗視野マクロ画像は、吸光性の色素で染色された試料が画像取得の対象となっている場合等においても、好適に利用することが可能である。
【0081】
試料Sのミクロ画像として蛍光観察像を取得する場合、ミクロ画像取得用の光学系としては、例えば、上記したように、図4に示した落射照明による蛍光顕微鏡の構成を用いることができる。また、このようなミクロ画像取得用の光学系の構成については、試料Sの種類、及び取得しようとするミクロ画像の種類等に応じて、様々な構成を用いて良い。
【0082】
試料Sのミクロ画像として透過観察像を取得する場合のミクロ画像取得用の光学系の例を図9に示す。この例では、ミクロ画像取得用の光像を生成するための光を照射するミクロ用光源35として、集光レンズ39とともに試料ステージ15の下方に設置された透過照明用のミクロ用光源35を用いている。また、ミクロ画像取得用の光学系の構成としては、蛍光顕微鏡、透過顕微鏡以外にも、例えば反射観察像を取得するための反射顕微鏡、微分観察像を取得するための微分干渉顕微鏡、位相差観察像を取得するための位相差顕微鏡、偏光観察像を取得するための偏光顕微鏡、暗視野観察像を取得するための暗視野顕微鏡など、様々な構成を用いることができる。
【0083】
ここで、マクロ画像を取得する際に用いられる暗視野照明手段の具体的な構成については、図3に示したように、暗視野光源26が、マクロ画像を取得する際の光軸20aに対して、試料Sの斜め下方から光を照射することが好ましい。また、一般には、暗視野光源26が、マクロ画像を取得する際の光軸と直交する面に対して、マクロ画像取得部20とは反対側(対物レンズとは反対側)から斜めに光を照射することが好ましい。また、暗視野光源26が、マクロ画像を取得する際の光路からみて、マクロ画像取得部20とは反対側から斜めに光を照射することが好ましい。また、暗視野光源26が、試料ステージの対物レンズと対向する面の反対側の面に対して斜めに光を照射することが好ましい。このような構成によれば、組織切片等の試料Sで散乱された光が対物レンズに入射しやすくなるため、試料の暗視野マクロ画像を明るい画像として好適に取得することができる。
【0084】
あるいは、図10にマクロ画像取得用の光学系の構成の他の例を示すように、暗視野光源26が、マクロ画像を取得する際の光軸20aに対して、試料Sの斜め上方から光を照射する構成を用いても良い。また、一般には、マクロ画像を取得する際の光軸と直交する面に対して、マクロ画像取得部20側から斜めに光を照射する構成を用いても良い。
【0085】
斜光照明の具体的な例として、キセノンランプからの光を光ファイバで導光して試料Sに照射する構成において、試料Sの横方向を0°として斜め下方の−45°、−60°、及び斜め上方の+45°、+60°で光を照射して、試料Sの暗視野マクロ画像を取得した。このとき、試料Sに対して斜め下方で角度−45°〜−60°からの照明により、マクロ画像中で試料Sの明るい像が得られた。また、斜め上方からの照明でも、斜め下方の場合に比べると像が暗いものの、充分に試料Sを識別可能なマクロ画像が得られた。
【0086】
また、上記した画像取得装置では、マクロ画像取得部20に加えて、試料Sのミクロ画像を取得するためのミクロ画像取得部30と、設定された撮像条件を参照してミクロ画像の取得動作を制御するミクロ画像取得制御部62とを設けている。このように、マクロ画像取得部20とミクロ画像取得部30とを設け、試料Sの全体像を示すマクロ画像を参照して撮像条件を設定した上で高解像度のミクロ画像の取得を行う構成とすることにより、試料Sのミクロ画像を効率良く取得することができる。また、このような構成において、試料Sのマクロ画像として暗視野マクロ画像を取得することにより、例えば蛍光性の色素で染色された試料Sが対象となっている場合でも、試料Sのマクロ画像を充分なコントラストで好適に取得して、ミクロ画像の撮像条件を確実に設定することが可能となる。
【0087】
また、試料Sに対するマクロ用光源25については、図2及び図3に示した構成では、暗視野光源26と明視野光源27との両者を設置している。このような構成では、試料Sの種類等によって暗視野光源26と明視野光源27とを切り換えて用いるなど、様々な条件でのマクロ画像の取得が可能となる。
【0088】
また、上記した画像取得装置では、撮像条件設定部65において、ミクロ画像の撮像条件として、画像取得範囲に加えて、画像取得範囲での対象物の画像取得についての焦点関連情報を設定している。これにより、試料Sのミクロ画像を好適な条件で取得することが可能となる。このような焦点関連情報としては、例えば、画像取得範囲内での1点または複数点の焦点計測位置がある。あるいは、焦点関連情報として、画像取得範囲での対象物の画像取得についての焦点情報(例えば撮像の焦点面)がある。また、焦点計測位置が設定された場合、撮像の焦点面などの焦点情報については、焦点計測位置に対して焦点計測を行った計測結果を参照して焦点情報を取得、設定することが好ましい。
【0089】
試料Sの暗視野マクロ画像を取得するための暗視野光源26としては、具体的には様々な構成の光源を用いて良いが、暗視野照明として充分な指向性を有する光を供給可能な光源を用いることが好ましい。図11は、暗視野光源26の構成の一例を示す図であり、図11(a)は上面図、図11(b)は側面図を示している。この構成例では、一方向に延びるベース部材26b上に、指向性を持った光を供給するLED26aを複数、ライン状に設置して、帯状の照明を行う構成となっている。
【0090】
また、図12は、暗視野光源26の構成の他の例を示す図である。この構成例では、ベース部材26b上にライン状に設置されたLED26aに対して、その周囲を覆うようにカバー部材26cを設置するとともに、LED26aからの光の出射方向においてカバー部材26cに開口部26dを設けた構成となっている。このような構成では、カバー部材26cは、LED26aから開口部26dを通って試料Sへと照射される光の指向性を向上させる導光部材として機能する。このような暗視野照明での光の指向性の向上は、暗視野マクロ画像における光ノイズの低減などの点で有効である。また、カバー部材26cについては、具体的には例えば、内部が白色、また、外部が迷光の影響を抑えるべく黒色の部材を用いることができる。なお、図11、図12に示した構成の暗視野光源26は、図3、図10に示した構成のいずれにおいても適用が可能である。
【0091】
図7のフローチャートに示した画像取得方法におけるマクロ画像の画像データの加工処理(ステップS107)については、例えば、図13に示す方法を用いることができる。図13は、マクロ画像の加工処理方法の一例を示すフローチャートである。また、図14〜図17は、マクロ画像の加工処理方法について示す図である。このようなマクロ画像の加工処理は、特に、マクロ画像を参照して行われるミクロ画像の撮像条件の設定を自動で行う場合に有効である。
【0092】
図13に示す加工処理方法では、マクロ画像処理部66において、顕微鏡装置10で取得されたマクロ画像データA0に対し、所定の輝度閾値によって画像を二値化する処理を行う(ステップS141)。具体的には、図14のグラフ(a)に示すように、マクロ画像中での輝度分布に対して輝度閾値Tを設定する。そして、この閾値Tを境界として画像を二値化することにより、図15に示す画像(a)のマクロ画像が、画像(b)の二値化画像に加工される。
【0093】
ここで、上記の実施形態で取得される暗視野マクロ画像では、斜光照明の構成により、対象物である生体サンプルL等が存在する領域のみで散乱光が検出される。したがって、上記のように輝度閾値Tを設定した場合、閾値Tよりも高い輝度の画像部分(白)が対象物が存在する可能性がある対象領域、それ以外で閾値Tよりも低い輝度の画像部分(黒)が背景領域として、二値化画像中で判別可能となる。このような二値化画像を用いることにより、ミクロ画像の画像取得範囲等の撮像条件を好適に設定することが可能となる。
【0094】
また、マクロ画像に対する輝度閾値の設定については、例えば、図14のグラフ(a)に示すように、一番暗い輝度を0%、明るい輝度を100%とし、その中間で任意の輝度(例えば50%の輝度)に閾値Tを設定する。また、このような画像の二値化において、図14のグラフ(b)に示すように、二値化の上限を100%から例えば95%等に減少させることにより、サチュレーションを起こしている細かいゴミ等に対応する画像部分をマクロ画像中での対象領域から除去することができる。なお、明視野マクロ画像のように画像中での明暗パターンが反転している場合には、例えば画像の階調を反転した上で同様の処理を行えば良い。
【0095】
次に、上記した二値化画像に対し、対象領域の輪郭を所定量で拡大する処理を行う(S142)。これにより、図16に示す画像(a)の二値化画像が、画像(b)の拡大二値化画像に加工される。
【0096】
ここで、マクロ画像から対象物が存在する対象領域を判別する場合には、その輪郭が入り組んでいる、あるいは輪郭が分断されているなどの複雑な形状の対象物が、その各部分で個々の対象物として誤って認識される可能性がある。これに対して、上記のように対象領域の輪郭の拡大処理を行うことにより、そのような複雑な形状の対象物であっても、マクロ画像中での対象領域の個数、あるいは個々の対象領域等を好適に判別することが可能となる。
【0097】
続いて、上記した二値化処理及び拡大処理がなされた画像に対し、所定の画素数閾値によって対象領域のうちで除外すべき小さい領域があるかどうかを判定する処理を行う(S143)。これにより、図17に示す画像(a)の拡大二値化画像が、画像(b)のマクロ画像に加工され、最終的な参照用マクロ画像データA5が得られる。
【0098】
ここで、斜光照明によって取得される暗視野マクロ画像では、透過照明では問題にならないスライド上の埃などの小さいゴミについても、その散乱光によるゴミの像が強調されて取得される。これに対して、上記のように対象領域のサイズについての閾値である画素数閾値を設定し、対象領域のうちでサイズが画素数閾値以下の小さい領域を除外することにより、マクロ画像中でのゴミなどによる画像部分を対象領域から確実に除外することが可能となる。
【0099】
本発明による画像取得装置、画像取得方法、及び画像取得プログラムについて、さらに説明する。
【0100】
図18は、画像取得方法の他の例を示すフローチャートである。本画像取得方法は、試料に対するマクロ画像の取得に先立ってコントロール画像を取得している点で、図7に示した画像取得方法と異なっている。
【0101】
本実施形態では、まず、試料がない状態でのマクロ画像であるコントロール画像を取得する(ステップS201、コントロール画像取得ステップ)。具体的には、画像取得の対象物である生体サンプルLが密封されていないスライド(ブランクスライド)を試料ステージ15上に配置し、このブランクスライドに対して、その斜め下方に設置された暗視野光源26を点灯する(S202)。そして、光源26からの斜光照明の光がブランクスライドに照射された状態で、マクロ用撮像装置21によってブランクスライドの暗視野マクロ画像を取得する(S203)。この暗視野マクロ画像が、試料がない状態でのコントロール画像となる。コントロール画像の取得を終了したら、暗視野光源26を消灯する(S204)。
【0102】
次に、画像取得を実行するスライドSを試料ステージ15上にロードし(S205)、試料ステージ15を駆動制御して、スライドSをマクロ画像取得位置へと移動する(S206)。そして、暗視野光源26及びマクロ画像取得部20により、生体サンプルLを含むスライドSの暗視野マクロ画像を取得する(S207)。
【0103】
マクロ画像取得部20で取得された各マクロ画像の画像データは、マクロ撮像制御部42を介して制御装置60のマクロ画像処理部66へと入力される。マクロ画像処理部66は、入力されたマクロ画像の画像データに対して撮像条件の設定に適した所定の補正・加工処理を行って、参照用マクロ画像を生成する(S208)。そして、この加工処理がなされたマクロ画像を参照して撮像条件を設定し、ミクロ用光源35及びミクロ画像取得部30により、スライドSのミクロ画像を取得する(S209)。
【0104】
続いて、画像取得が完了したスライドSは試料格納部11へと戻され、画像取得処理が完了していない次のスライドSがあるかどうかが確認される(S210)。ここで、さらに画像取得処理を行うべきスライドSがあれば、上記したステップS205〜S209を繰り返して実行する。また、すべてのスライドSについての画像取得処理が完了していれば、試料格納部11にセットされた複数のスライドSに対する画像取得を終了する。
【0105】
図19は、図18に示した画像取得方法に適用されるマクロ画像の加工処理方法の例を示すフローチャートである。本加工処理方法では、マクロ画像処理部66において、コントロール画像データB1、及び暗視野マクロ画像データB2を用いて、画像中のノイズを除去するための処理が行われる(S221)。
【0106】
ここで、斜光照明によって取得される暗視野マクロ画像では、生体サンプルLなどの画像取得の対象物以外にも、例えばスライドガラスや試料ステージなどからも散乱光、反射光が発生する。このような光が検出されると、マクロ画像におけるノイズとなり、対象物の識別に影響を与える。これに対して、暗視野マクロ画像データB2からコントロール画像データB1を差し引く画像演算処理を行って、マクロ画像データB0=B2−B1を生成することにより、マクロ画像中で対象物以外に起因するノイズの影響を除去することができる。
【0107】
次に、このコントロール画像を用いた画像演算処理を行って得られたマクロ画像データB0に対し、マクロ画像処理部66において、必要な加工処理が行われる(S222)。図19に示す加工処理方法においては、図13に示した加工処理方法と同様に、マクロ画像の二値化処理(S223)、対象領域の輪郭の拡大処理(S224)、及び小さい領域の除外処理(S225)を行う。これにより、最終的な参照用マクロ画像データB5が得られる。
【0108】
図20は、画像取得方法のさらに他の例を示すフローチャートである。本画像取得方法は、試料Sに対して暗視野マクロ画像に加えて明視野マクロ画像を取得している点で、図18に示した画像取得方法とは異なっている。
【0109】
本実施形態では、まず、試料がない状態でのマクロ画像であるコントロール画像を取得する(ステップS301)。次に、画像取得を実行するスライドSを試料ステージ15上にロードし(S302)、試料ステージ15を駆動制御して、スライドSをマクロ画像取得位置へと移動する(S303)。そして、暗視野光源26及びマクロ画像取得部20により、生体サンプルLを含むスライドSの暗視野マクロ画像を取得する(S304)。さらに、明視野光源27及びマクロ画像取得部20により、生体サンプルLを含むスライドSの明視野マクロ画像を取得する(S305、明視野マクロ画像取得ステップ)。
【0110】
マクロ画像取得部20で取得された各マクロ画像の画像データは、マクロ撮像制御部42を介して制御装置60のマクロ画像処理部66へと入力される。マクロ画像処理部66は、入力されたマクロ画像の画像データに対して撮像条件の設定に適した所定の補正・加工処理を行って、参照用マクロ画像を生成する(S306)。そして、この加工処理がなされたマクロ画像を参照して撮像条件を設定し、ミクロ用光源35及びミクロ画像取得部30により、スライドSのミクロ画像を取得する(S307)。
【0111】
続いて、画像取得が完了したスライドSは試料格納部11へと戻され、画像取得処理が完了していない次のスライドSがあるかどうかが確認される(S308)。ここで、さらに画像取得処理を行うべきスライドSがあれば、上記したステップS302〜S307を繰り返して実行する。また、すべてのスライドSについての画像取得処理が完了していれば、試料格納部11にセットされた複数のスライドSに対する画像取得を終了する。
【0112】
図21は、図20に示した画像取得方法に適用されるマクロ画像の加工処理方法の例を示すフローチャートである。本加工処理方法では、マクロ画像処理部66において、コントロール画像データC1、及び暗視野マクロ画像データC2を用いて、画像中のノイズを除去するための処理が行われる(S321)。すなわち、暗視野マクロ画像データC2からコントロール画像データC1を差し引く画像演算処理を行って、マクロ画像データC4=C2−C1を生成することにより、マクロ画像中で対象物以外に起因するノイズの影響を除去することができる。
【0113】
続いて、マクロ画像処理部66において、明視野マクロ画像データC3、及び補正された暗視野マクロ画像データC4を用いて、所定の画像演算処理が行われる(S322)。
【0114】
ここで、暗視野マクロ画像では斜光照明による試料Sからの散乱光によって試料Sの画像を取得するが、例えば試料Sにわずかでも色が付いていると、照明光の一部が試料Sで吸収されてしまうために散乱光が少なくなり、結果として得られるマクロ画像のコントラストが低くなる場合がある。これに対して、透過画像である明視野マクロ画像データC3から、散乱画像である暗視野マクロ画像データC4を差し引く画像演算処理を行って、マクロ画像データC0=C3−C4を生成することにより、双方の画像でのコントラストが加算されて、マクロ画像でのコントラストを向上することができる。このような方法は、例えば染色が薄い透過光用の試料Sの画像を取得するような場合に有効である。
【0115】
次に、このコントロール画像及び明視野マクロ画像を用いた画像演算処理を行って得られたマクロ画像データC0に対し、マクロ画像処理部66において、必要な加工処理が行われる(S323)。図21に示す加工処理方法においては、図13に示した加工処理方法と同様に、マクロ画像の二値化処理(S324)、対象領域の輪郭の拡大処理(S325)、及び小さい領域の除外処理(S326)を行う。これにより、最終的な参照用マクロ画像データC5が得られる。
【0116】
ここで、暗視野照明、あるいは明視野照明を用いて取得されるマクロ画像の具体的な例を示しておく。図22及び図23は、それぞれ画像取得装置で取得されるマクロ画像の例を示す図である。これらの図に示すマクロ画像では、いずれも、無染色の生体サンプルが密封されたスライドを画像取得の対象としている。
【0117】
図22において、画像(a)は、露光時間20msの明視野照明で取得されたマクロ画像である。無染色サンプルの場合、この画像(a)に示すように、明視野照明ではサンプルの認識が困難である。一方、画像(b)は、露光時間200msの暗視野照明で取得されたマクロ画像である。この暗視野マクロ画像では、生体サンプルからの散乱光によるサンプル像を明確に確認することができる。
【0118】
ただし、この画像では、サンプル像とともに、スライドの下方に設置された明視野光源(図3参照)の拡散板の像が見えている。これは、試料ステージやスライドからの反射光等が明視野光源の拡散板に映り込んだものと考えられる。また、このような拡散板への映り込みは、露光時間を例えば500msと長くすると、さらにその影響が強くなる。これに対して、画像(c)は、ブランクスライドに対して取得されたコントロール画像を差し引く画像演算処理を行った暗視野マクロ画像を示している。このように、コントロール画像を用いた画像演算処理を行うことにより、拡散板への映り込みの影響を除去することができる。
【0119】
また、このような拡散板への映り込みの影響を抑制するため、明視野光源側にNDフィルタを設置する構成を用いることも可能である。図23において、画像(a)は、50%のNDフィルタ有りで露光時間50msの明視野照明で取得されたマクロ画像である。このように、NDフィルタを設置した場合でも、露光時間を長くすることによりNDフィルタ無しの場合と同等の明視野マクロ画像を取得することができる。
【0120】
また、画像(b)は、50%のNDフィルタ有りで露光時間500msの暗視野照明で取得されたマクロ画像、画像(c)は、同様の条件でコントロール画像を差し引く画像演算処理を行った暗視野マクロ画像である。このように、明視野光源側にNDフィルタを設置することにより、暗視野マクロ画像における拡散板への映り込みの影響を抑制することができる。また、拡散板として、粗面の拡散板を用いることも有効である。このような暗視野光源及び明視野光源の配置、拡散板やNDフィルタを含む光学系の構成、拡散板の種類、NDフィルタの種類、画像取得時の露光時間などの各条件については、具体的な画像取得条件に応じて設定することが好ましい。
【0121】
本発明による画像取得装置、画像取得方法、及び画像取得プログラムは、上記実施形態及び構成例に限られるものではなく、様々な変形が可能である。例えば、マクロ画像取得部及びミクロ画像取得部の具体的な構成については、図3及び図4はその一例を示すものであり、具体的には様々な構成を用いて良い。また、ミクロ用撮像装置については、上記実施形態では1次元センサ、及びTDI駆動2次元センサを例示したが、通常の2次元センサでミクロ画像を取得する構成としても良い。
【0122】
また、マクロ用撮像装置とミクロ用撮像装置とで同一の撮像装置を用い、対物レンズを含む光学系を切り換えてマクロ画像、及びミクロ画像を取得する構成としても良い。この場合、例えば、対物レンズ切り換え用のレボルバに、マクロ画像取得用の低倍率対物レンズと、ミクロ画像取得用の高倍率対物レンズとを取り付けておく構成を用いることができる。また、試料Sのマクロ画像の取得において、1枚の画像では全体のマクロ画像を取得できない場合には、試料ステージを順次移動させつつ複数の部分マクロ画像を取得し、それらを並べて合成することでマクロ画像としても良い。
【産業上の利用可能性】
【0123】
本発明は、試料のマクロ画像を好適に取得することが可能な画像取得装置、画像取得方法、及び画像取得プログラムとして利用可能である。
【図面の簡単な説明】
【0124】
【図1】画像取得装置の一実施形態の構成を示すブロック図である。
【図2】顕微鏡装置及び制御装置の構成の一例を示すブロック図である。
【図3】マクロ画像取得用の光学系の構成の一例を概略的に示す図である。
【図4】ミクロ画像取得用の光学系の構成の一例を概略的に示す図である。
【図5】試料の画像の取得方法を模式的に示す図である。
【図6】ミクロ画像を用いた試料データの作成について模式的に示す図である。
【図7】画像取得方法の一例を示すフローチャートである。
【図8】ミクロ画像の取得方法の一例を示すフローチャートである。
【図9】ミクロ画像取得用の光学系の構成の他の例を概略的に示す図である。
【図10】マクロ画像取得用の光学系の構成の他の例を概略的に示す図である。
【図11】暗視野光源の構成の一例を示す図である。
【図12】暗視野光源の構成の他の例を示す図である。
【図13】マクロ画像の加工処理方法の一例を示すフローチャートである。
【図14】マクロ画像の加工処理方法について示す図である。
【図15】マクロ画像の加工処理方法について示す図である。
【図16】マクロ画像の加工処理方法について示す図である。
【図17】マクロ画像の加工処理方法について示す図である。
【図18】画像取得方法の他の例を示すフローチャートである。
【図19】マクロ画像の加工処理方法の他の例を示すフローチャートである。
【図20】画像取得方法の他の例を示すフローチャートである。
【図21】マクロ画像の加工処理方法の他の例を示すフローチャートである。
【図22】画像取得装置で取得されるマクロ画像の例を示す図である。
【図23】画像取得装置で取得されるマクロ画像の例を示す図である。
【符号の説明】
【0125】
10…顕微鏡装置、11…試料格納部、12…扉、13…インターロック機構、14…試料搬送部、15…試料ステージ、20…マクロ画像取得部、21…マクロ用撮像装置、22…撮像光学系、25…マクロ用光源、26…マクロ用暗視野光源、27…マクロ用明視野光源、30…ミクロ画像取得部、31…ミクロ用撮像装置、32…対物レンズ、33…Zステージ、34…導光光学系、35…ミクロ用光源、36…励起光源、37…ダイクロイックミラー、39…集光レンズ、41…ステージ制御部、42…マクロ撮像制御部、43…ミクロ撮像制御部、44…マクロ用光源制御部、45…ミクロ用光源制御部、
60…制御装置、61…マクロ画像取得制御部、62…ミクロ画像取得制御部、65…撮像条件設定部、66…マクロ画像処理部、67…ミクロ画像処理部、71…表示装置、72…入力装置。

【特許請求の範囲】
【請求項1】
試料のマクロ画像を取得するためのマクロ画像取得手段と、
前記マクロ画像として前記試料の暗視野マクロ画像を取得する際に用いられる暗視野照明手段と、
前記マクロ画像の画像データに対して加工処理を行って、参照用マクロ画像を生成するマクロ画像処理手段と、
前記参照用マクロ画像を参照し、前記試料のミクロ画像の撮像条件として、画像取得の対象物を含む範囲に応じた画像取得範囲を設定する撮像条件設定手段と
を備えることを特徴とする画像取得装置。
【請求項2】
前記暗視野照明手段は、前記マクロ画像を取得する際の光軸と直交する面に対して、前記マクロ画像取得手段とは反対側から斜めに光を照射することを特徴とする請求項1記載の画像取得装置。
【請求項3】
前記試料のミクロ画像を取得するためのミクロ画像取得手段と、
前記撮像条件設定手段で設定された前記画像取得範囲を含む前記撮像条件を参照して、前記ミクロ画像取得手段による前記ミクロ画像の取得動作を制御するミクロ画像取得制御手段と
を備えることを特徴とする請求項1または2記載の画像取得装置。
【請求項4】
前記撮像条件設定手段は、前記撮像条件として、前記画像取得範囲での前記対象物の画像取得についての焦点関連情報を設定することを特徴とする請求項1〜3のいずれか一項記載の画像取得装置。
【請求項5】
前記マクロ画像処理手段は、前記マクロ画像に対し、所定の輝度閾値によって画像を二値化して対象領域と背景領域とを判別可能な二値化画像を生成する処理を行うことを特徴とする請求項1〜4のいずれか一項記載の画像取得装置。
【請求項6】
前記マクロ画像処理手段は、前記二値化画像に対し、前記対象領域の輪郭を所定量で拡大する処理を行うことを特徴とする請求項5記載の画像取得装置。
【請求項7】
前記マクロ画像処理手段は、前記二値化画像に対し、所定の画素数閾値によって前記対象領域のうちで除外すべき領域があるかどうかを判定する処理を行うことを特徴とする請求項5または6記載の画像取得装置。
【請求項8】
前記マクロ画像処理手段は、前記試料に対して取得された前記マクロ画像と、前記試料がない状態で取得されたコントロール画像との間で所定の画像演算処理を行うことを特徴とする請求項1〜7のいずれか一項記載の画像取得装置。
【請求項9】
前記マクロ画像として前記試料の明視野マクロ画像を取得する際に用いられる明視野照明手段を備えることを特徴とする請求項1〜8のいずれか一項記載の画像取得装置。
【請求項10】
前記マクロ画像処理手段は、前記暗視野マクロ画像と、前記明視野マクロ画像との間で所定の画像演算処理を行うことを特徴とする請求項9記載の画像取得装置。
【請求項11】
暗視野照明手段を用い、試料のマクロ画像として暗視野マクロ画像を取得する暗視野マクロ画像取得ステップと、
前記マクロ画像の画像データに対して加工処理を行って、参照用マクロ画像を生成するマクロ画像処理ステップと、
前記参照用マクロ画像を参照し、前記試料のミクロ画像の撮像条件として、画像取得の対象物を含む範囲に応じた画像取得範囲を設定する撮像条件設定ステップと
を備えることを特徴とする画像取得方法。
【請求項12】
前記暗視野マクロ画像取得ステップにおいて、前記暗視野照明手段は、前記マクロ画像を取得する際の光軸と直交する面に対して、マクロ画像取得手段とは反対側から斜めに光を照射することを特徴とする請求項11記載の画像取得方法。
【請求項13】
前記試料のミクロ画像を取得するミクロ画像取得ステップと、
前記撮像条件設定ステップで設定された前記画像取得範囲を含む前記撮像条件を参照して、前記ミクロ画像取得ステップによる前記ミクロ画像の取得動作を制御するミクロ画像取得制御ステップと
を備えることを特徴とする請求項11または12記載の画像取得方法。
【請求項14】
前記撮像条件設定ステップは、前記撮像条件として、前記画像取得範囲での前記対象物の画像取得についての焦点関連情報を設定することを特徴とする請求項11〜13のいずれか一項記載の画像取得方法。
【請求項15】
前記マクロ画像処理ステップは、前記マクロ画像に対し、所定の輝度閾値によって画像を二値化して対象領域と背景領域とを判別可能な二値化画像を生成する処理を行うことを特徴とする請求項11〜14のいずれか一項記載の画像取得方法。
【請求項16】
前記マクロ画像処理ステップは、前記二値化画像に対し、前記対象領域の輪郭を所定量で拡大する処理を行うことを特徴とする請求項15記載の画像取得方法。
【請求項17】
前記マクロ画像処理ステップは、前記二値化画像に対し、所定の画素数閾値によって前記対象領域のうちで除外すべき領域があるかどうかを判定する処理を行うことを特徴とする請求項15または16記載の画像取得方法。
【請求項18】
前記マクロ画像処理ステップは、前記試料に対して取得された前記マクロ画像と、前記試料がない状態で取得されたコントロール画像との間で所定の画像演算処理を行うことを特徴とする請求項11〜17のいずれか一項記載の画像取得方法。
【請求項19】
明視野照明手段を用い、前記試料の前記マクロ画像として明視野マクロ画像を取得する明視野マクロ画像取得ステップを備えることを特徴とする請求項11〜18のいずれか一項記載の画像取得方法。
【請求項20】
前記マクロ画像処理ステップは、前記暗視野マクロ画像と、前記明視野マクロ画像との間で所定の画像演算処理を行うことを特徴とする請求項19記載の画像取得方法。
【請求項21】
暗視野照明手段を用い、試料のマクロ画像として暗視野マクロ画像を取得する取得動作を制御する暗視野マクロ画像取得制御処理と、
前記マクロ画像の画像データに対して加工処理を行って、参照用マクロ画像を生成するマクロ画像加工処理と、
前記参照用マクロ画像を参照し、前記試料のミクロ画像の撮像条件として、画像取得の対象物を含む範囲に応じた画像取得範囲を設定する撮像条件設定処理と
をコンピュータに実行させる画像取得プログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate

【図22】
image rotate

【図23】
image rotate


【公開番号】特開2007−310231(P2007−310231A)
【公開日】平成19年11月29日(2007.11.29)
【国際特許分類】
【出願番号】特願2006−140567(P2006−140567)
【出願日】平成18年5月19日(2006.5.19)
【出願人】(000236436)浜松ホトニクス株式会社 (1,479)
【Fターム(参考)】