自動焦点合焦装置を備えた画像撮像装置
【課題】露光時間を除く時間、すなわち画像取り込み手段から画像記録装置へ画像を転送している時間を含めて自動焦点合焦を行うことで、トータルの撮影時間を短縮することを可能とした画像撮像装置を提供すること。
【解決手段】画像取り込み手段と、画像記憶手段と、対物レンズ４と、標本１と、前記標本を固定するステージ３と、光学素子を切り替える手段と、前記標本と前記対物レンズの距離を相対的に変化させることができる手段と、光源１０と、自動焦点合焦装置６とを有し、前記標本と前記対物レンズの相対位置を変化させて合焦調整を行う自動焦点合焦方法を用いて自動的に繰り返し前記標本の撮像を行う撮像装置において、前記画像取り込み手段から前記画像記憶手段への画像転送時間の全部又は一部が自動焦点合焦動作期間に含まれている。
【解決手段】画像取り込み手段と、画像記憶手段と、対物レンズ４と、標本１と、前記標本を固定するステージ３と、光学素子を切り替える手段と、前記標本と前記対物レンズの距離を相対的に変化させることができる手段と、光源１０と、自動焦点合焦装置６とを有し、前記標本と前記対物レンズの相対位置を変化させて合焦調整を行う自動焦点合焦方法を用いて自動的に繰り返し前記標本の撮像を行う撮像装置において、前記画像取り込み手段から前記画像記憶手段への画像転送時間の全部又は一部が自動焦点合焦動作期間に含まれている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、医学、生物学などの分野において生物組織等の状態を観察するときに利用される光学機器、例えば自動焦点調節装置を備えた画像撮像装置に関する。
【背景技術】
【０００２】
このような画像撮像装置では、１つの視野で自動的に複数の条件により画像撮影を行ったり、あるいは自動的に複数のエリアで大量の画像撮影を行ったりし、そしてそのようにして撮像した画像からの解析が行われている。この場合撮像条件の変化、たとえば対物レンズ交換や、撮像位置の移動、または撮影環境の変化により、装置本体の寸法が変わってしまうため、最初に焦点位置の設定を行っても焦点位置が変化してしまう。
そこで、自動的に繰り返して複数の撮影を行うために、自動焦点合焦装置により撮像位置に焦点を合わせる方法が用いられている。
【０００３】
例えば、特許文献１には撮像部から照明光像の撮像結果を取得して合焦評価を行い、照明光像の合焦評価に従って、対物レンズおよび標本の少なくとも一方を駆動することにより、蛍光像を撮像面に合焦させる焦点制御部を備えた蛍光顕微鏡が記載されている。
【０００４】
また、特許文献２には駆動ステージを備え、駆動ステージにより、試料を特定の位置に移動させている間、対物レンズの瞳の反対側の片側半分の領域を通過した反射光に基づいて焦点合わせを行い、試料が特定の位置に移動した後に２次元光検出器で検出された光源から対物レンズを介して試料に入射した光のうち、試料で反射された反射光により試料を観察するようにした光学顕微鏡が記載されている。
【特許文献１】特開２００６-１１１４９号公報
【特許文献２】特開２００６-１６３１２２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１に記載されている方法では、撮影画像の記録中に次の撮影条件での焦点合焦や光学素子の変更を行っておらず、効率が悪くなり、トータルの撮影時間が長くなってしまうという問題点がある。
【０００６】
また、特許文献２に記載されている方法では、ステージの移動中に焦点位置の調整を行っているが、光学素子の変更時間は自動焦点調整の時間に含まれていないので、やはりトータルの撮影時間が長くなってしまうという問題点がある。
【０００７】
ところで、１４０万画素(1360×1024ピクセル)の冷却ＣＣＤカメラを使用して撮影を行った場合、冷却ＣＣＤカメラから画像記記憶装置に転送にかかる時間は、例えば０．８秒である。画像の解像度がさらに求められた場合、１１００画素(4008×2672ピクセル)の冷却ＣＣＤカメラで画像を撮影した場合の画像転送時間は例えば、３．５秒である。また、今後さらに高精細のカメラが開発されることが考えられ、さらに転送時間が長くなることが考えられる。転送速度も改善によって少しは早くなることが考えられるが、転送時間は必ず発生する。
【０００８】
医学、生物学などの分野で生物組織等の状態を観察する場合は、マイクロプレートと呼ばれる容器に複数のウェルが形成された細胞培養容器が使用されている。例えば９６穴箇所のウェルが形成されているマイクロプレートの、１つのウェルを２０倍の対物レンズを使用して観察を行った場合、１つのウェル全体を撮影するためには、２００回撮影する必要がある。
【０００９】
このような撮影を例えば、１４０万画素のカメラを使用して撮影すると、自動焦点合焦に１．５秒、露光時間に１．５秒かかる。したがって、画像転送後に自動焦点合焦を行う場合、１回の撮影で、焦点合焦から撮影完了まで３秒必要であり、画像記記憶装置に転送するのに０．８秒必要である。また、１箇所で２色の染色を行って、フィルタを交換して２回撮影を行うと撮影時間は３秒×２回で６秒となる。その結果、画像転送時間を含めると、（３＋０．８＋３＋０．８）秒×２００箇所×９６ウェルで約４０．５時間かかることになる。この工程の一部のシーケンス図を図５に示す。
【００１０】
また、１１００万画素のカメラを使用して撮影すると、自動焦点合焦に１．５秒、露光時間に１．５秒かかる。したがって、画像転送後自動焦点合焦を行った場合は、１回の撮影で、焦点合焦から撮影完了まで３秒必要であり、画像記記憶装置に転送するのに３．５秒必要である。また、１箇所で２色の染色を行って、フィルタを交換して２回撮影を行うと撮影時間は３秒×２回で６秒となる。その結果、画像転送時間を含めると、（３＋３．５＋３＋３．５）秒×２００箇所×９６ウェル＝約６９時間かかる。この工程の一部のシーケンス図を図６に示す。
【００１１】
このように、１枚のマイクロプレートを撮影する場合であってもトータルの撮影回数が多いので、そのたびに自動焦点合焦を行い、そのたびに画像転送を行うと、上記のように撮影を完了するのに数日要することになる。
【００１２】
そこで、撮影時間の短縮化が望まれることになる。ここで、撮影サイクルを検討してみるに、通常３秒程度要している自動焦点合焦動作期間に、同時期に行うことが可能な動作をその間に行うようにすれば、それだけ撮影に要する時間が短縮できることになる。そして、自動焦点合焦動作期間と同時期に行うことが可能な動作を検討した結果、画像取り込み手段から画像記憶手段への画像転送を行えることがわかった。また、光学素子の交換も行えることがわかった。これらの動作は自動焦点合焦動作とは基本的には無関係に行える動作である。
【００１３】
ここで例えば、１４０万画素のカメラを使用して、画像転送中に自動焦点合焦を行った場合は、画像記憶装置に転送するのに要していた０．８秒が不要となるため、１箇所で２色の染色を行い、フィルタを交換して２回撮影行うと６秒必要なので、トータルの撮影時間は画像転送時間も含め、６秒×２００箇所×９６ウェルで約３２時間となる。この場合の工程の一部のシーケンス図を図７に示す。
よって、画像転送中に自動焦点合焦時間を含めることで、従来の画像転送後に自動焦点合焦を行う場合と比べ８．５時間短縮できることになる。
【００１４】
また、１１００万画素のカメラを使用して、画像転送中に自動焦点合焦を行ったときにかかる時間は、焦点合焦から撮影が終わるまでに、３．５秒＋１．５秒で５秒かかる。したがって、１箇所で２色の染色を行い、フィルタを交換して２回撮影行うと、トータルの撮影時間は画像転送時間も含め、１０秒×２００箇所×９６ウェル＝約５３時間となる。この場合の工程の一部のシーケンス図を図８に示す。
よって、画像転送中に自動焦点合焦時間を含めることで、従来の画像転送後に自動焦点合焦を行う場合と比べ１７時間短縮できることになる。
【００１５】
すなわち、従来個別の時間帯に行うようにしていた、自動焦点合焦と画像転送を同時期に行うようにすれば、それだけ全撮影時間に要する時間の短縮化が可能となる。また、光学素子の交換を自動焦点合焦と同時期に行うことでも、全撮影時間に要する時間の短縮化が可能となる。自動焦点合焦と画像転送と光学素子の交換は平行処理が可能な動作であることに着目したのである。
【００１６】
そこで本発明は、上記課題に鑑みてなされたものであり、露光時間を除く時間、すなわち画像取り込み手段から画像記録装置へ画像を転送している時間を含めて自動焦点合焦を行うことで、トータルの撮影時間を短縮することを可能とした画像撮像装置を提供することを目的としている。また、自動焦点合焦中に光学素子の交換時間を含めることでさらにトータルの撮影時間の短縮を実現した画像撮像装置を提供することを目的としている。
【課題を解決するための手段】
【００１７】
上記目的を達成するために、本発明の自動焦点合焦装置を備えた画像撮像装置は、画像取り込み手段と、画像記憶手段と、対物レンズと、標本と、前記標本を固定するステージと、光学素子を切り替える手段と、前記標本と前記対物レンズの距離を相対的に変化させることができる手段と、光源と、自動焦点合焦装置とを有し、前記標本と前記対物レンズの相対位置を変化させて合焦調整を行う自動焦点合焦方法を用いて自動的に繰り返し前記標本の撮像を行う撮像装置において、前記画像取り込み手段から前記画像記憶手段への画像転送時間の全部又は一部が自動焦点合焦動作期間に含まれていることを特徴としている。
【００１８】
また、本発明の自動焦点合焦装置を備えた画像撮像装置は、前記標本の露光時間が、前記自動焦点合焦動作期間に含まれていないことが好ましい。
【００１９】
また、本発明の自動焦点合焦装置を備えた画像撮像装置は、前記光学素子の交換時間が、前記自動焦点合焦動作期間に含まれていることが好ましい。
【００２０】
また、本発明の自動焦点合焦装置を備えた画像撮像装置は、前記標本が、ウェルプレート又はスライドガラスであることが好ましい。
【００２１】
また、本発明の自動焦点合焦装置を備えた画像撮像装置は、前記ステージが、標本をＸＹ平面上を自由に移動することが可能な電動ステージであることが好ましい。
【００２２】
また、本発明の自動焦点合焦装置を備えた画像撮像装置は、前記画像取り込み手段が、冷却ＣＣＤカメラであることが好ましい。
【００２３】
また、本発明の自動焦点合焦装置を備えた画像撮像装置は、前記光学素子とは、励起フィルタ，ダイクロイックミラー及び吸収フィルタであることが好ましい。
【００２４】
また、本発明の自動焦点合焦装置を備えた画像撮像装置は、前記自動焦点合焦装置が、レーザー光を前記対物レンズを介して前記標本に照射し、反射した光を前記対物レンズを介して受光部で受光して、演算結果により焦点合焦を行う、瞳分割方式であることが好ましい。
【発明の効果】
【００２５】
ＣＣＤカメラの露光終了直後、すなわち画像記憶装置に転送している時間に合焦動作を開始することで、トータルの撮影時間の短縮につながった。また、自動焦点合焦時間に光学素子を構成する励起フィルタ，ダイクロイックミラー及び吸収フィルタの交換を行うことにより効率がよくなり、さらに時間短縮につながった。
【発明を実施するための最良の形態】
【００２６】
次に、本発明の自動焦点合焦装置を備えた画像撮像装置の詳細な説明に先立ち概略と制御手順について説明する。
本発明の自動焦点合焦装置を備えた画像撮像装置は、画像取り込み手段と、画像記憶手段と、対物レンズと、標本と、前記標本を固定するステージと、光学素子を切り替える手段と、標本と対物レンズの距離を相対的に変化させることができる手段と、光源と、自動焦点合焦装置とを有している。
【００２７】
本発明の画像撮像装置の構成は、画像取り込み手段としてＣＣＤカメラを用い、画像記録装置としてコンピュータを用い、標本と対物レンズの距離を相対的に変化させる手段として蛍光顕微鏡のレボルバとステージを用いる。レボルバには対物レンズが、ステージには標本が搭載されている。光学素子の切り替え手段にはフィルタチェンジャーを用いる。
標本としては、マルチウェルプレート又はスライドガラス又はディッシュに蛍光標識された細胞を培養したものを使用する。
光源には白色照明またはＬＥＤ光源を使用し、光源から照明された光は光学素子を通過し、対物レンズを介して励起光が標本に照射され、蛍光を発する。蛍光をＣＣＤカメラによって露光する。
【００２８】
また、本発明の自動焦点合焦装置を備えた画像撮像装置は、標本と対物レンズの相対位置を変化させて合焦調整を行う自動焦点合焦方法を用いて、自動的に繰り返し標本の撮像を行う。
【００２９】
自動焦点合焦装置の原理について説明すると、半導体レーザーから出射されたレーザー光は、スリットにより半分をカットされコリメートレンズによって平行光に変えられる。その後ＰＢＳ（偏光ビームスプリッタ：Polarization Beam Splitter）でＰ偏光成分のみが透過し、λ／４板で４５°偏光され対物レンズを通過し標本に反射され、再びλ／４板により、４５°偏光されコリメートレンズを通過し、受光センサに結像される。
受光センサは、光軸を中心に設置された２分割（Ａ領域とＢ領域）のフォトダイオードとなっている。
受光センサに入った信号は（Ａ−Ｂ）／（Ａ＋Ｂ）の演算を行う。その値は評価関数値（Ｅｆ値）と呼ばれ合焦判定に用いられる。対物レンズと標本の距離を相対的に変化させＥｆ値が０となる箇所を合焦位置と判定する。
【００３０】
これを用いて照射されたレーザーは対物レンズを介して、標本に照射され反射光は再び対物レンズを介して自動焦点合焦装置の受光部に戻り、演算結果により合焦位置が特定される。
【００３１】
そして、本発明の自動焦点合焦装置を備えた画像撮像装置は、前記画像取り込み手段から前記画像記憶手段への画像転送時間の全部又は一部が自動焦点合焦動作期間に含まれている。
【００３２】
ＣＣＤカメラによる撮像した画像の転送を、次の撮影のための自動焦点合焦動作期間に行うことにより、画像転送のための独自の時間が不要となり、結果としてトータルの撮影時間を短縮できる。また、画像転送の開始時期と自動焦点合焦動作の開始時期は、同時期であることを基本とするが、必ずしも同時期でなくてもよい。
なお、自動焦点合焦動作期間よりも画像転送時間の方が長い場合は、この長い部分が自動焦点合焦動作期間に含まれない場合もある。その場合でも、画像転送時間のうち自動焦点合焦動作期間の長さ分は短縮されることになる。
【００３３】
また、本発明の自動焦点合焦装置を備えた画像撮像装置において好ましくは、標本の露光時間は、自動焦点合焦動作期間に含まれていない。
【００３４】
自動焦点合焦動作期間には、ＣＣＤカメラによる標本の露光は行わない。一方、露光終了後の画像転送は、次の撮影のための自動焦点合焦動作期間に行うのである。
【００３５】
また、本発明の自動焦点合焦装置を備えた画像撮像装置において好ましくは、光学素子の交換時間は、自動焦点合焦動作期間に含まれている。
【００３６】
光学素子の交換は、自動焦点合焦動作期間においても行うことが可能である。そこで光学素子の交換を、自動焦点合焦動作期間に同時に行うことにより、トータルでの撮影時間の短縮化を図れる。
【００３７】
また、本発明の自動焦点合焦装置を備えた画像撮像装置において好ましくは、標本は、ウェルプレート又はスライドガラスである。
【００３８】
本発明の画像撮像装置は、主に医学、生物学などの分野で生物組織等の状態を観察するのに使用するものであるので、標本はこのようなものが用いられ、そして本発明はこのような標本の撮影に特に適したものである。
【００３９】
また、本発明の自動焦点合焦装置を備えた画像撮像装置において好ましくは、ステージは、標本をＸＹ平面上を自由に移動することが可能な電動ステージである。
【００４０】
本発明の画像撮像装置は、上記したように主に医学、生物学などの分野で生物組織等の状態を観察するのに使用するものであり、標本はウェルプレートやスライドガラスなどが使用されるので、自動的に繰り返して多くの回数の撮影を行うためには電動ステージを用いることになる。
【００４１】
また、本発明の自動焦点合焦装置を備えた画像撮像装置において好ましくは、画像取り込み手段は、冷却ＣＣＤカメラである。
【００４２】
長時間にわたり多くの回数の撮影を行うので、安定した状態で撮影を行うためには冷却ＣＣＤカメラを使用することになる。
【００４３】
また、本発明の自動焦点合焦装置を備えた画像撮像装置において好ましくは、光学素子とは、励起フィルタ，ダイクロイックミラー及び吸収フィルタである。
【００４４】
蛍光観察を行う場合にこのような光学素子が必要となる。そして、励起する波長に合わせて交換をしやすくするために、通常は一体となっている。
【００４５】
また、本発明の自動焦点合焦装置を備えた画像撮像装置において好ましくは、自動焦点合焦装置は、レーザー光を対物レンズを介して標本に照射し、反射した光を対物レンズを介して受光部で受光して、演算結果により焦点合焦を行う、瞳分割方式である。
【００４６】
この方式が本発明の画像撮像装置の自動焦点合焦には、合焦に要する時間や正確さからみて適している。
【００４７】
次に、本発明の自動焦点合焦装置を備えた画像撮像装置の制御手順を図１のシーケンス図に基づいて説明する。
【００４８】
まず、自動焦点合焦装置のレーザーがＯＮとなると、演算により合焦位置が検出され、レボルバが駆動され、対物レンズと標本の距離が制御されて対物レンズが焦点合焦位置に移動させられる。
対物レンズが焦点合焦位置に移動させられると、自動焦点合焦装置のレーザーはＯＦＦとなる。
【００４９】
次に光源のシャッタが開けられ、標本に励起光が照射され、ＣＣＤカメラの露光が行われる。
【００５０】
ＣＣＤカメラの露光が終わると光源のシャッタが閉じられ、ＣＣＤカメラに蓄積した画像は画像記憶装置であるコンピュータに転送される。
また、露光が停止した直後から次の撮像を行うために、自動焦点合焦装置のレーザーがＯＮとなり、合焦位置の検出が行われる。
合焦位置の検出が行われている間にフィルタチェンジャーが駆動され、フィルタの交換が行われる。
フィルタチェンジャーの動作終了をうけて、光源のシャッタが開かれ、ＣＣＤカメラにより露光が行われる。
【００５１】
これにより、ＣＣＤカメラの露光が終わった直後すなわち画像の転送時間を含めて自動焦点調整を行うため、工程に無駄が無くなり、トータル時間の削減につながる。さらに光学素子の交換を自動焦点調整の時間に含めることで、効率がさらによくなる。
【実施例１】
【００５２】
次に、本発明の自動焦点合焦装置を備えた画像撮像装置の一実施例を図２及び図３に基づいて説明する。図２は、本発明の自動焦点合焦装置を備えた画像撮像装置の説明図である。図３は、図２に示す画像撮像装置の制御方法の詳細を示すシーケンス図である。
【００５３】
まず、図２に基づいて本発明の自動焦点合焦装置を備えた画像撮像装置について説明する。
本発明の自動焦点合焦装置を備えた画像撮像装置は、画像取り込み手段として冷却ＣＣＤカメラ１１が用いられる。画像記録装置１５としてはコンピュータが用いられる。標本１としてはウェルプレートやスライドガラスが使用される。そして、標本１と対物レンズ４の距離を相対的に変化させる手段としては蛍光顕微鏡のレボルバ１６と電動ＸＹステージ３が用いられる。レボルバ１６には対物レンズ４が搭載され、電動ＸＹステージ３には標本１が搭載されている。また、光学素子の切り替え手段としてはフィルタチェンジャー１７が用いられる。
【００５４】
光源１０としては白色照明またはＬＥＤ光源が使用される。光源１０から照明された光は光学素子を通過し、対物レンズ４を介して励起光１３が標本１に照射され、蛍光が発せられる。そして、蛍光は冷却ＣＣＤカメラ１１によって露光される。なお、光学素子は、励起フィルタ８と、第二ダイクロイックミラー７と吸収フィルタ９により構成され、これらはフィルタチェンジャー１７による交換の便宜のために一体となっている。
【００５５】
また、自動焦点合焦装置６から照射されたレーザー光１２は、第一ダイクロイックミラー５で折り返され、対物レンズ４を介してスライドガラス１により反射されるようになっている。反射光は対物レンズ４を介して第一ダイクロイックミラー５で折り返され自動焦点合焦装置６に戻り受光センサで受光され、演算結果により合焦位置が判断される。
【００５６】
そして、制御装置１４により、電動ＸＹステージ３、自動焦点合焦装置６、光源１０、光源シャッタ１０’、冷却ＣＣＤカメラ１１、画像記憶装置１５、レボルバ１６の制御が統合して行われるようになっている。自動焦点合焦装置６の演算結果に基づき、標本１と対物レンズ４の相対位置が変化させられて合焦調整が行われる。また、制御装置１４により所定の順序で、自動焦点合焦と撮影と画像転送と光学素子の交換が行われる。
【００５７】
次に、上記した本発明の自動焦点合焦装置を備えた画像撮像装置の制御方法の一例を図３に基づいて説明する。
なお、本実施例では同一の撮像エリアについて光学素子を変更し、第１の撮像条件と第２の撮像条件により２回撮影している。
【００５８】
標本として、スライドガラス１上の撮像範囲２に細胞を培養し、核をＤＡＰＩ、細胞質をＧＦＰで染色したものを用意した。
スライドガラス１を電動ＸＹステージ３に取り付け、撮像条件を設定し、撮像範囲２に対して３×３箇所の撮像エリア（２ａ１〜２ｃ３）を撮像するように、制御装置１４にプログラムを設定した。制御装置１４により、電動ＸＹステージ３、自動焦点合焦装置６、光源１０、光源シャッタ１０’、冷却ＣＣＤカメラ１１、画像記憶装置１５、レボルバ１６の制御が行われる。
【００５９】
まず、第１の撮像条件として核を撮影するための自動焦点調整が行われる。自動焦点合焦装置６から照射されたレーザー光１２は、第一ダイクロイックミラー５で折り返されて対物レンズ４を介してスライドガラス１により反射される。反射光は対物レンズ４を介して第一ダイクロイックミラー５で折り返され自動焦点合焦装置６に戻り受光センサで受光され、演算結果により合焦位置が判断される。そして、レボルバ１６がＺ方向に動かされ対物レンズ４とスライドガラス１の相対的な距離が変更され、合焦位置に合わせられる。
【００６０】
自動焦点調整を行っている間にフィルタチェンジャー１７により、励起フィルタ８、第二ダイクロイックミラー７、吸収フィルタ９が交換される。光学素子となる励起フィルタ８，第二ダイクロイックミラー７及び吸収フィルタ９は、励起する波長に合わせて交換をしやすくするために、一体となっている。
【００６１】
そして、焦点合焦が完了したら自動焦点合焦装置６のレーザー光１２が止められる。
それと同時に、光源１０の光源シャッタ１０’が開かれ、照射された光は励起フィルタ８により特定の波長のみが通過し、第二ダイクロイックミラー７により折り返され、対物レンズ４を介して最初の撮像エリア（２a１）が照射される。
【００６２】
反射された光は、対物レンズ４を介して吸収フィルタ９を通過して冷却ＣＣＤカメラ１１によって指定の露光時間で撮像される。
【００６３】
次に、第２の撮像条件で細胞質の撮影を行うために、露光が終了した直後、すなわち冷却ＣＣＤカメラ１１から画像記憶装置１５に第１の撮像条件での画像の転送を開始すると同時に、自動焦点合焦装置６からレーザー光１２が照射され、第２の撮像条件での撮影のための焦点合焦が行われる。焦点合焦を行っている間にフィルタチェンジャー１７により、光学素子を構成する励起フィルタ８，第二ダイクロイックミラー７及び吸収フィルタ９の交換が行われる。
【００６４】
そして、焦点合焦が完了したら自動焦点合焦装置６のレーザー光１２が止められる。
それと同時に、光源シャッタ１０’が開放され照射された光は励起フィルタ８により特定の波長のみが通過し、第二ダイクロイックミラー７により折り返され、対物レンズ４を介して最初の撮像エリア（２ａ１）が照射される。
反射された光は、対物レンズ４を介して吸収フィルタ９を通過して冷却ＣＣＤカメラ１１によって指定の露光時間で撮像される。
【００６５】
最初の撮像エリア（２ａ１）での第１の撮像条件と第２の撮像条件での露光が終了すると、スライドガラス１は電動ＸＹステージ３により次の撮像エリア（２ａ２）に移動される。そして、以上の動作を自動的に繰り返して最終の撮像エリア（２ｃ３）まで撮像が行われることになる。
【実施例２】
【００６６】
次に、標本として図４に示す９６穴マイクロプレート１を準備し、上記した図２に示す画像撮像装置により撮影を行った例を示す。
各ウェル２には細胞の核をＤＡＰＩ、細胞質をＧＦＰで染色したものがウェル２底面に固定されている。マイクロプレート１は、底面が平らで、透明になっており下面から観察が可能になっている。
【００６７】
マイクロプレート１を画像撮影装置の電動ＸＹステージ３に取り付けた。露光時間１．５秒、２０倍対物レンズに設定し、１つのウェル２につきそれぞれ全体の撮影がなされるように、横方向４００μｍピッチ、縦方向３００μｍピッチで、１４×１４箇所の撮影エリア(２ａ１〜２ｎ１４)を設定した。
【００６８】
制御装置１４からは、電動ＸＹステージ３、自動焦点合焦装置６、光源１０、光源シャッタ１０’、冷却ＣＣＤカメラ１１、画像記録装置１５、レボルバ１２の制御が行われる。
冷却ＣＣＤカメラ１１には、ビットラン社製BS41を使用した。仕様は１４０万画素(1326×1024ピクセル)で、画像１枚を画像記録装置１５に転送するために０．８秒を要する。
【００６９】
まず電動ＸＹステージ３が移動され、マイクロプレート１のウェル２が第１の撮影場所に移動させられる。同時にレボルバ１６が回転させられ、２０倍の対物レンズ４が光路に入るように制御される。
【００７０】
まず初めに、ＤＡＰＩで染色された核を撮影するためにフィルタチェンジャー１７により、光学素子となる励起フィルタ８、第二ダイクロイックミラー７、吸収フィルタ９の交換が行われる。励起フィルタ８、第二ダイクロイックミラー７、吸収フィルタ９は、励起する波長に合わせて交換をしやすくするために、一体となっている。
なお、ＤＡＰＩで染色された核を観察するための光学素子は、オリンパス社製フィルタキューブU-MWG2を使用した。
【００７１】
また同時に、自動焦点合焦装置６のレーザー光１２がＯＮとなり、焦点合焦が行われる。自動焦点合焦装置６から照射されたレーザー光１２は第一ダイクロイックミラー５で折り返され、マイクロプレート１の上面で反射され、再び第一ダイクロイックミラー５で折り返され自動焦点合焦装置６の受光センサに戻る。
【００７２】
受光センサは、光軸を中心に設置された２分割（Ａ領域とＢ領域）のフォトダイオードとなっている。受光センサに入った信号は（Ａ−Ｂ）／（Ａ＋Ｂ）の演算を行う。その値は評価関数値（Ｅｆ値）と呼ばれ合焦判定に用いられる。対物レンズと標本の距離を相対的に変化させＥｆ値が０となる箇所を合焦位置と判定する。Ｅｆ値が０となる位置は、マイクロプレート１上面位置であるため合焦位置とは異なる。そこでマイクロプレート１の上面から観察したい位置までは、あらかじめ決まった値だけオフセット値を設定しておき、観察位置まで自動で、距離を設定するようになっている。
【００７３】
そして、レボルバ１６により対物レンズ４とマイクロプレート１の間の距離が相対的に変更されて、合焦位置にあわせられる。
【００７４】
そして、焦点合焦が完了したら自動焦点合焦装置６のレーザー光１２が止められる。
【００７５】
ついで、光源１０の光源シャッタ１０’が開かれ、照射された光は励起フィルタ８により特定の波長のみが通過し、第二ダイクロイックミラー７により折り返され、対物レンズ４を介して最初の撮像エリア(２ａ１)が照射される。
【００７６】
反射された光は対物レンズ４を介して吸収フィルタ７を通過して冷却ＣＣＤカメラ１１によって露光される。
【００７７】
冷却ＣＣＤカメラ１１によって蓄積された画像は、画像記憶装置１５に転送される。
それと同時に、次にＧＦＰで染色された細胞質の撮影を行うために、露光が終了した直後、すなわち冷却ＣＣＤカメラ１１から画像記憶装置１５に画像の転送を開始すると同時に、自動焦点装置６からレーザー光１２が照射され、焦点合焦が行われる。また同時に、フィルタチェンジャー１７により、励起フィルタ８とダイクロイックミラー７と吸収フィルタ９の交換が行われる。
なお、ＧＦＰで染色された細胞質を撮像するための光学素子は、オリンパス社製フィルタキューブU-MGFPHQを使用した。
【００７８】
焦点合焦が完了したら自動焦点合焦装置のレーザー光１２が止められる。そして光源シャッタ１０’が開放されて、冷却ＣＣＤカメラ１１によって露光が行われる。
【００７９】
撮像エリア(２ａ１)の露光が終了すると、冷却ＣＣＤカメラ１１によって蓄積された画像は、画像記憶装置１５に転送される。それと同時に、次の撮像エリア(２ａ２)を撮影するために、マイクロプレート１は電動ＸＹステージ３により移動される。また同時に、自動焦点合焦装置６からレーザー光１２が照射され、焦点合焦が行われる。さらに同時に、次の撮像エリア(２ａ２)においてＤＡＰＩで染色された核を撮影するためにフィルタチェンジャー１７により、光学素子となる励起フィルタ８、第二ダイクロイックミラー７、吸収フィルタ９の交換が行われる。
【００８０】
焦点合焦が完了したら自動焦点合焦装置のレーザー光１２が止められる。そして光源シャッタ１０’が開放されて、冷却ＣＣＤカメラ１１によって露光が行われる。
【００８１】
以上の動作を繰り返し、最後の撮像エリア（２ｎ１４）までのウェル２内全ての撮像を行い、マイクロプレート１の９６個のウェル２全部の撮影を行う。
その結果、マイクロプレート１の９６個のウェル２全部の撮影に要した時間は３２時間であった。また、画像転送後に自動焦点合焦動作を行った場合には、４０．５時間要したので本実施例では８．５時間の短縮になった。
【図面の簡単な説明】
【００８２】
【図１】本発明の自動焦点合焦装置を備えた画像撮像装置の制御手順を示すシーケンス図である。
【図２】本発明の自動焦点合焦装置を備えた画像撮像装置の説明図である、
【図３】図２に示す画像撮像装置の制御方法の詳細を示すシーケンス図である。
【図４】マイクロプレートの一例を示す説明図である。
【図５】１４０万画素のカメラを使用して、画像転送後に自動焦点合焦を行う場合の工程の一部を示すシーケンス図である。
【図６】１１００万画素のカメラを使用して、画像転送後に自動焦点合焦を行う場合の工程の一部を示すシーケンス図である。
【図７】１４０万画素のカメラを使用して、画像転送中に自動焦点合焦を行う場合の工程の一部を示すシーケンス図である。
【図８】１１００万画素のカメラを使用して、画像転送中に自動焦点合焦を行う場合の工程の一部を示すシーケンス図である。
【符号の説明】
【００８３】
１ スライドガラス（マイクロプレート、標本）
２ 撮像範囲（ウェル）
２ａ１〜２ｎ１４ 撮像エリア
３ 電動ＸＹステージ
４ 対物レンズ
５ 第一ダイクロイックミラー
６ 自動焦点合焦装置
７ 第二ダイクロイックミラー
８ 励起フィルタ
９ 吸収フィルタ
１０ 光源
１０’ 光源シャッタ
１１ 冷却ＣＣＤカメラ
１２ レーザー光
１３ 励起光
１４ 制御装置
１５ 画像記憶装置
１６ レボルバ
１７ フィルタチェンジャー
【技術分野】
【０００１】
本発明は、医学、生物学などの分野において生物組織等の状態を観察するときに利用される光学機器、例えば自動焦点調節装置を備えた画像撮像装置に関する。
【背景技術】
【０００２】
このような画像撮像装置では、１つの視野で自動的に複数の条件により画像撮影を行ったり、あるいは自動的に複数のエリアで大量の画像撮影を行ったりし、そしてそのようにして撮像した画像からの解析が行われている。この場合撮像条件の変化、たとえば対物レンズ交換や、撮像位置の移動、または撮影環境の変化により、装置本体の寸法が変わってしまうため、最初に焦点位置の設定を行っても焦点位置が変化してしまう。
そこで、自動的に繰り返して複数の撮影を行うために、自動焦点合焦装置により撮像位置に焦点を合わせる方法が用いられている。
【０００３】
例えば、特許文献１には撮像部から照明光像の撮像結果を取得して合焦評価を行い、照明光像の合焦評価に従って、対物レンズおよび標本の少なくとも一方を駆動することにより、蛍光像を撮像面に合焦させる焦点制御部を備えた蛍光顕微鏡が記載されている。
【０００４】
また、特許文献２には駆動ステージを備え、駆動ステージにより、試料を特定の位置に移動させている間、対物レンズの瞳の反対側の片側半分の領域を通過した反射光に基づいて焦点合わせを行い、試料が特定の位置に移動した後に２次元光検出器で検出された光源から対物レンズを介して試料に入射した光のうち、試料で反射された反射光により試料を観察するようにした光学顕微鏡が記載されている。
【特許文献１】特開２００６-１１１４９号公報
【特許文献２】特開２００６-１６３１２２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１に記載されている方法では、撮影画像の記録中に次の撮影条件での焦点合焦や光学素子の変更を行っておらず、効率が悪くなり、トータルの撮影時間が長くなってしまうという問題点がある。
【０００６】
また、特許文献２に記載されている方法では、ステージの移動中に焦点位置の調整を行っているが、光学素子の変更時間は自動焦点調整の時間に含まれていないので、やはりトータルの撮影時間が長くなってしまうという問題点がある。
【０００７】
ところで、１４０万画素(1360×1024ピクセル)の冷却ＣＣＤカメラを使用して撮影を行った場合、冷却ＣＣＤカメラから画像記記憶装置に転送にかかる時間は、例えば０．８秒である。画像の解像度がさらに求められた場合、１１００画素(4008×2672ピクセル)の冷却ＣＣＤカメラで画像を撮影した場合の画像転送時間は例えば、３．５秒である。また、今後さらに高精細のカメラが開発されることが考えられ、さらに転送時間が長くなることが考えられる。転送速度も改善によって少しは早くなることが考えられるが、転送時間は必ず発生する。
【０００８】
医学、生物学などの分野で生物組織等の状態を観察する場合は、マイクロプレートと呼ばれる容器に複数のウェルが形成された細胞培養容器が使用されている。例えば９６穴箇所のウェルが形成されているマイクロプレートの、１つのウェルを２０倍の対物レンズを使用して観察を行った場合、１つのウェル全体を撮影するためには、２００回撮影する必要がある。
【０００９】
このような撮影を例えば、１４０万画素のカメラを使用して撮影すると、自動焦点合焦に１．５秒、露光時間に１．５秒かかる。したがって、画像転送後に自動焦点合焦を行う場合、１回の撮影で、焦点合焦から撮影完了まで３秒必要であり、画像記記憶装置に転送するのに０．８秒必要である。また、１箇所で２色の染色を行って、フィルタを交換して２回撮影を行うと撮影時間は３秒×２回で６秒となる。その結果、画像転送時間を含めると、（３＋０．８＋３＋０．８）秒×２００箇所×９６ウェルで約４０．５時間かかることになる。この工程の一部のシーケンス図を図５に示す。
【００１０】
また、１１００万画素のカメラを使用して撮影すると、自動焦点合焦に１．５秒、露光時間に１．５秒かかる。したがって、画像転送後自動焦点合焦を行った場合は、１回の撮影で、焦点合焦から撮影完了まで３秒必要であり、画像記記憶装置に転送するのに３．５秒必要である。また、１箇所で２色の染色を行って、フィルタを交換して２回撮影を行うと撮影時間は３秒×２回で６秒となる。その結果、画像転送時間を含めると、（３＋３．５＋３＋３．５）秒×２００箇所×９６ウェル＝約６９時間かかる。この工程の一部のシーケンス図を図６に示す。
【００１１】
このように、１枚のマイクロプレートを撮影する場合であってもトータルの撮影回数が多いので、そのたびに自動焦点合焦を行い、そのたびに画像転送を行うと、上記のように撮影を完了するのに数日要することになる。
【００１２】
そこで、撮影時間の短縮化が望まれることになる。ここで、撮影サイクルを検討してみるに、通常３秒程度要している自動焦点合焦動作期間に、同時期に行うことが可能な動作をその間に行うようにすれば、それだけ撮影に要する時間が短縮できることになる。そして、自動焦点合焦動作期間と同時期に行うことが可能な動作を検討した結果、画像取り込み手段から画像記憶手段への画像転送を行えることがわかった。また、光学素子の交換も行えることがわかった。これらの動作は自動焦点合焦動作とは基本的には無関係に行える動作である。
【００１３】
ここで例えば、１４０万画素のカメラを使用して、画像転送中に自動焦点合焦を行った場合は、画像記憶装置に転送するのに要していた０．８秒が不要となるため、１箇所で２色の染色を行い、フィルタを交換して２回撮影行うと６秒必要なので、トータルの撮影時間は画像転送時間も含め、６秒×２００箇所×９６ウェルで約３２時間となる。この場合の工程の一部のシーケンス図を図７に示す。
よって、画像転送中に自動焦点合焦時間を含めることで、従来の画像転送後に自動焦点合焦を行う場合と比べ８．５時間短縮できることになる。
【００１４】
また、１１００万画素のカメラを使用して、画像転送中に自動焦点合焦を行ったときにかかる時間は、焦点合焦から撮影が終わるまでに、３．５秒＋１．５秒で５秒かかる。したがって、１箇所で２色の染色を行い、フィルタを交換して２回撮影行うと、トータルの撮影時間は画像転送時間も含め、１０秒×２００箇所×９６ウェル＝約５３時間となる。この場合の工程の一部のシーケンス図を図８に示す。
よって、画像転送中に自動焦点合焦時間を含めることで、従来の画像転送後に自動焦点合焦を行う場合と比べ１７時間短縮できることになる。
【００１５】
すなわち、従来個別の時間帯に行うようにしていた、自動焦点合焦と画像転送を同時期に行うようにすれば、それだけ全撮影時間に要する時間の短縮化が可能となる。また、光学素子の交換を自動焦点合焦と同時期に行うことでも、全撮影時間に要する時間の短縮化が可能となる。自動焦点合焦と画像転送と光学素子の交換は平行処理が可能な動作であることに着目したのである。
【００１６】
そこで本発明は、上記課題に鑑みてなされたものであり、露光時間を除く時間、すなわち画像取り込み手段から画像記録装置へ画像を転送している時間を含めて自動焦点合焦を行うことで、トータルの撮影時間を短縮することを可能とした画像撮像装置を提供することを目的としている。また、自動焦点合焦中に光学素子の交換時間を含めることでさらにトータルの撮影時間の短縮を実現した画像撮像装置を提供することを目的としている。
【課題を解決するための手段】
【００１７】
上記目的を達成するために、本発明の自動焦点合焦装置を備えた画像撮像装置は、画像取り込み手段と、画像記憶手段と、対物レンズと、標本と、前記標本を固定するステージと、光学素子を切り替える手段と、前記標本と前記対物レンズの距離を相対的に変化させることができる手段と、光源と、自動焦点合焦装置とを有し、前記標本と前記対物レンズの相対位置を変化させて合焦調整を行う自動焦点合焦方法を用いて自動的に繰り返し前記標本の撮像を行う撮像装置において、前記画像取り込み手段から前記画像記憶手段への画像転送時間の全部又は一部が自動焦点合焦動作期間に含まれていることを特徴としている。
【００１８】
また、本発明の自動焦点合焦装置を備えた画像撮像装置は、前記標本の露光時間が、前記自動焦点合焦動作期間に含まれていないことが好ましい。
【００１９】
また、本発明の自動焦点合焦装置を備えた画像撮像装置は、前記光学素子の交換時間が、前記自動焦点合焦動作期間に含まれていることが好ましい。
【００２０】
また、本発明の自動焦点合焦装置を備えた画像撮像装置は、前記標本が、ウェルプレート又はスライドガラスであることが好ましい。
【００２１】
また、本発明の自動焦点合焦装置を備えた画像撮像装置は、前記ステージが、標本をＸＹ平面上を自由に移動することが可能な電動ステージであることが好ましい。
【００２２】
また、本発明の自動焦点合焦装置を備えた画像撮像装置は、前記画像取り込み手段が、冷却ＣＣＤカメラであることが好ましい。
【００２３】
また、本発明の自動焦点合焦装置を備えた画像撮像装置は、前記光学素子とは、励起フィルタ，ダイクロイックミラー及び吸収フィルタであることが好ましい。
【００２４】
また、本発明の自動焦点合焦装置を備えた画像撮像装置は、前記自動焦点合焦装置が、レーザー光を前記対物レンズを介して前記標本に照射し、反射した光を前記対物レンズを介して受光部で受光して、演算結果により焦点合焦を行う、瞳分割方式であることが好ましい。
【発明の効果】
【００２５】
ＣＣＤカメラの露光終了直後、すなわち画像記憶装置に転送している時間に合焦動作を開始することで、トータルの撮影時間の短縮につながった。また、自動焦点合焦時間に光学素子を構成する励起フィルタ，ダイクロイックミラー及び吸収フィルタの交換を行うことにより効率がよくなり、さらに時間短縮につながった。
【発明を実施するための最良の形態】
【００２６】
次に、本発明の自動焦点合焦装置を備えた画像撮像装置の詳細な説明に先立ち概略と制御手順について説明する。
本発明の自動焦点合焦装置を備えた画像撮像装置は、画像取り込み手段と、画像記憶手段と、対物レンズと、標本と、前記標本を固定するステージと、光学素子を切り替える手段と、標本と対物レンズの距離を相対的に変化させることができる手段と、光源と、自動焦点合焦装置とを有している。
【００２７】
本発明の画像撮像装置の構成は、画像取り込み手段としてＣＣＤカメラを用い、画像記録装置としてコンピュータを用い、標本と対物レンズの距離を相対的に変化させる手段として蛍光顕微鏡のレボルバとステージを用いる。レボルバには対物レンズが、ステージには標本が搭載されている。光学素子の切り替え手段にはフィルタチェンジャーを用いる。
標本としては、マルチウェルプレート又はスライドガラス又はディッシュに蛍光標識された細胞を培養したものを使用する。
光源には白色照明またはＬＥＤ光源を使用し、光源から照明された光は光学素子を通過し、対物レンズを介して励起光が標本に照射され、蛍光を発する。蛍光をＣＣＤカメラによって露光する。
【００２８】
また、本発明の自動焦点合焦装置を備えた画像撮像装置は、標本と対物レンズの相対位置を変化させて合焦調整を行う自動焦点合焦方法を用いて、自動的に繰り返し標本の撮像を行う。
【００２９】
自動焦点合焦装置の原理について説明すると、半導体レーザーから出射されたレーザー光は、スリットにより半分をカットされコリメートレンズによって平行光に変えられる。その後ＰＢＳ（偏光ビームスプリッタ：Polarization Beam Splitter）でＰ偏光成分のみが透過し、λ／４板で４５°偏光され対物レンズを通過し標本に反射され、再びλ／４板により、４５°偏光されコリメートレンズを通過し、受光センサに結像される。
受光センサは、光軸を中心に設置された２分割（Ａ領域とＢ領域）のフォトダイオードとなっている。
受光センサに入った信号は（Ａ−Ｂ）／（Ａ＋Ｂ）の演算を行う。その値は評価関数値（Ｅｆ値）と呼ばれ合焦判定に用いられる。対物レンズと標本の距離を相対的に変化させＥｆ値が０となる箇所を合焦位置と判定する。
【００３０】
これを用いて照射されたレーザーは対物レンズを介して、標本に照射され反射光は再び対物レンズを介して自動焦点合焦装置の受光部に戻り、演算結果により合焦位置が特定される。
【００３１】
そして、本発明の自動焦点合焦装置を備えた画像撮像装置は、前記画像取り込み手段から前記画像記憶手段への画像転送時間の全部又は一部が自動焦点合焦動作期間に含まれている。
【００３２】
ＣＣＤカメラによる撮像した画像の転送を、次の撮影のための自動焦点合焦動作期間に行うことにより、画像転送のための独自の時間が不要となり、結果としてトータルの撮影時間を短縮できる。また、画像転送の開始時期と自動焦点合焦動作の開始時期は、同時期であることを基本とするが、必ずしも同時期でなくてもよい。
なお、自動焦点合焦動作期間よりも画像転送時間の方が長い場合は、この長い部分が自動焦点合焦動作期間に含まれない場合もある。その場合でも、画像転送時間のうち自動焦点合焦動作期間の長さ分は短縮されることになる。
【００３３】
また、本発明の自動焦点合焦装置を備えた画像撮像装置において好ましくは、標本の露光時間は、自動焦点合焦動作期間に含まれていない。
【００３４】
自動焦点合焦動作期間には、ＣＣＤカメラによる標本の露光は行わない。一方、露光終了後の画像転送は、次の撮影のための自動焦点合焦動作期間に行うのである。
【００３５】
また、本発明の自動焦点合焦装置を備えた画像撮像装置において好ましくは、光学素子の交換時間は、自動焦点合焦動作期間に含まれている。
【００３６】
光学素子の交換は、自動焦点合焦動作期間においても行うことが可能である。そこで光学素子の交換を、自動焦点合焦動作期間に同時に行うことにより、トータルでの撮影時間の短縮化を図れる。
【００３７】
また、本発明の自動焦点合焦装置を備えた画像撮像装置において好ましくは、標本は、ウェルプレート又はスライドガラスである。
【００３８】
本発明の画像撮像装置は、主に医学、生物学などの分野で生物組織等の状態を観察するのに使用するものであるので、標本はこのようなものが用いられ、そして本発明はこのような標本の撮影に特に適したものである。
【００３９】
また、本発明の自動焦点合焦装置を備えた画像撮像装置において好ましくは、ステージは、標本をＸＹ平面上を自由に移動することが可能な電動ステージである。
【００４０】
本発明の画像撮像装置は、上記したように主に医学、生物学などの分野で生物組織等の状態を観察するのに使用するものであり、標本はウェルプレートやスライドガラスなどが使用されるので、自動的に繰り返して多くの回数の撮影を行うためには電動ステージを用いることになる。
【００４１】
また、本発明の自動焦点合焦装置を備えた画像撮像装置において好ましくは、画像取り込み手段は、冷却ＣＣＤカメラである。
【００４２】
長時間にわたり多くの回数の撮影を行うので、安定した状態で撮影を行うためには冷却ＣＣＤカメラを使用することになる。
【００４３】
また、本発明の自動焦点合焦装置を備えた画像撮像装置において好ましくは、光学素子とは、励起フィルタ，ダイクロイックミラー及び吸収フィルタである。
【００４４】
蛍光観察を行う場合にこのような光学素子が必要となる。そして、励起する波長に合わせて交換をしやすくするために、通常は一体となっている。
【００４５】
また、本発明の自動焦点合焦装置を備えた画像撮像装置において好ましくは、自動焦点合焦装置は、レーザー光を対物レンズを介して標本に照射し、反射した光を対物レンズを介して受光部で受光して、演算結果により焦点合焦を行う、瞳分割方式である。
【００４６】
この方式が本発明の画像撮像装置の自動焦点合焦には、合焦に要する時間や正確さからみて適している。
【００４７】
次に、本発明の自動焦点合焦装置を備えた画像撮像装置の制御手順を図１のシーケンス図に基づいて説明する。
【００４８】
まず、自動焦点合焦装置のレーザーがＯＮとなると、演算により合焦位置が検出され、レボルバが駆動され、対物レンズと標本の距離が制御されて対物レンズが焦点合焦位置に移動させられる。
対物レンズが焦点合焦位置に移動させられると、自動焦点合焦装置のレーザーはＯＦＦとなる。
【００４９】
次に光源のシャッタが開けられ、標本に励起光が照射され、ＣＣＤカメラの露光が行われる。
【００５０】
ＣＣＤカメラの露光が終わると光源のシャッタが閉じられ、ＣＣＤカメラに蓄積した画像は画像記憶装置であるコンピュータに転送される。
また、露光が停止した直後から次の撮像を行うために、自動焦点合焦装置のレーザーがＯＮとなり、合焦位置の検出が行われる。
合焦位置の検出が行われている間にフィルタチェンジャーが駆動され、フィルタの交換が行われる。
フィルタチェンジャーの動作終了をうけて、光源のシャッタが開かれ、ＣＣＤカメラにより露光が行われる。
【００５１】
これにより、ＣＣＤカメラの露光が終わった直後すなわち画像の転送時間を含めて自動焦点調整を行うため、工程に無駄が無くなり、トータル時間の削減につながる。さらに光学素子の交換を自動焦点調整の時間に含めることで、効率がさらによくなる。
【実施例１】
【００５２】
次に、本発明の自動焦点合焦装置を備えた画像撮像装置の一実施例を図２及び図３に基づいて説明する。図２は、本発明の自動焦点合焦装置を備えた画像撮像装置の説明図である。図３は、図２に示す画像撮像装置の制御方法の詳細を示すシーケンス図である。
【００５３】
まず、図２に基づいて本発明の自動焦点合焦装置を備えた画像撮像装置について説明する。
本発明の自動焦点合焦装置を備えた画像撮像装置は、画像取り込み手段として冷却ＣＣＤカメラ１１が用いられる。画像記録装置１５としてはコンピュータが用いられる。標本１としてはウェルプレートやスライドガラスが使用される。そして、標本１と対物レンズ４の距離を相対的に変化させる手段としては蛍光顕微鏡のレボルバ１６と電動ＸＹステージ３が用いられる。レボルバ１６には対物レンズ４が搭載され、電動ＸＹステージ３には標本１が搭載されている。また、光学素子の切り替え手段としてはフィルタチェンジャー１７が用いられる。
【００５４】
光源１０としては白色照明またはＬＥＤ光源が使用される。光源１０から照明された光は光学素子を通過し、対物レンズ４を介して励起光１３が標本１に照射され、蛍光が発せられる。そして、蛍光は冷却ＣＣＤカメラ１１によって露光される。なお、光学素子は、励起フィルタ８と、第二ダイクロイックミラー７と吸収フィルタ９により構成され、これらはフィルタチェンジャー１７による交換の便宜のために一体となっている。
【００５５】
また、自動焦点合焦装置６から照射されたレーザー光１２は、第一ダイクロイックミラー５で折り返され、対物レンズ４を介してスライドガラス１により反射されるようになっている。反射光は対物レンズ４を介して第一ダイクロイックミラー５で折り返され自動焦点合焦装置６に戻り受光センサで受光され、演算結果により合焦位置が判断される。
【００５６】
そして、制御装置１４により、電動ＸＹステージ３、自動焦点合焦装置６、光源１０、光源シャッタ１０’、冷却ＣＣＤカメラ１１、画像記憶装置１５、レボルバ１６の制御が統合して行われるようになっている。自動焦点合焦装置６の演算結果に基づき、標本１と対物レンズ４の相対位置が変化させられて合焦調整が行われる。また、制御装置１４により所定の順序で、自動焦点合焦と撮影と画像転送と光学素子の交換が行われる。
【００５７】
次に、上記した本発明の自動焦点合焦装置を備えた画像撮像装置の制御方法の一例を図３に基づいて説明する。
なお、本実施例では同一の撮像エリアについて光学素子を変更し、第１の撮像条件と第２の撮像条件により２回撮影している。
【００５８】
標本として、スライドガラス１上の撮像範囲２に細胞を培養し、核をＤＡＰＩ、細胞質をＧＦＰで染色したものを用意した。
スライドガラス１を電動ＸＹステージ３に取り付け、撮像条件を設定し、撮像範囲２に対して３×３箇所の撮像エリア（２ａ１〜２ｃ３）を撮像するように、制御装置１４にプログラムを設定した。制御装置１４により、電動ＸＹステージ３、自動焦点合焦装置６、光源１０、光源シャッタ１０’、冷却ＣＣＤカメラ１１、画像記憶装置１５、レボルバ１６の制御が行われる。
【００５９】
まず、第１の撮像条件として核を撮影するための自動焦点調整が行われる。自動焦点合焦装置６から照射されたレーザー光１２は、第一ダイクロイックミラー５で折り返されて対物レンズ４を介してスライドガラス１により反射される。反射光は対物レンズ４を介して第一ダイクロイックミラー５で折り返され自動焦点合焦装置６に戻り受光センサで受光され、演算結果により合焦位置が判断される。そして、レボルバ１６がＺ方向に動かされ対物レンズ４とスライドガラス１の相対的な距離が変更され、合焦位置に合わせられる。
【００６０】
自動焦点調整を行っている間にフィルタチェンジャー１７により、励起フィルタ８、第二ダイクロイックミラー７、吸収フィルタ９が交換される。光学素子となる励起フィルタ８，第二ダイクロイックミラー７及び吸収フィルタ９は、励起する波長に合わせて交換をしやすくするために、一体となっている。
【００６１】
そして、焦点合焦が完了したら自動焦点合焦装置６のレーザー光１２が止められる。
それと同時に、光源１０の光源シャッタ１０’が開かれ、照射された光は励起フィルタ８により特定の波長のみが通過し、第二ダイクロイックミラー７により折り返され、対物レンズ４を介して最初の撮像エリア（２a１）が照射される。
【００６２】
反射された光は、対物レンズ４を介して吸収フィルタ９を通過して冷却ＣＣＤカメラ１１によって指定の露光時間で撮像される。
【００６３】
次に、第２の撮像条件で細胞質の撮影を行うために、露光が終了した直後、すなわち冷却ＣＣＤカメラ１１から画像記憶装置１５に第１の撮像条件での画像の転送を開始すると同時に、自動焦点合焦装置６からレーザー光１２が照射され、第２の撮像条件での撮影のための焦点合焦が行われる。焦点合焦を行っている間にフィルタチェンジャー１７により、光学素子を構成する励起フィルタ８，第二ダイクロイックミラー７及び吸収フィルタ９の交換が行われる。
【００６４】
そして、焦点合焦が完了したら自動焦点合焦装置６のレーザー光１２が止められる。
それと同時に、光源シャッタ１０’が開放され照射された光は励起フィルタ８により特定の波長のみが通過し、第二ダイクロイックミラー７により折り返され、対物レンズ４を介して最初の撮像エリア（２ａ１）が照射される。
反射された光は、対物レンズ４を介して吸収フィルタ９を通過して冷却ＣＣＤカメラ１１によって指定の露光時間で撮像される。
【００６５】
最初の撮像エリア（２ａ１）での第１の撮像条件と第２の撮像条件での露光が終了すると、スライドガラス１は電動ＸＹステージ３により次の撮像エリア（２ａ２）に移動される。そして、以上の動作を自動的に繰り返して最終の撮像エリア（２ｃ３）まで撮像が行われることになる。
【実施例２】
【００６６】
次に、標本として図４に示す９６穴マイクロプレート１を準備し、上記した図２に示す画像撮像装置により撮影を行った例を示す。
各ウェル２には細胞の核をＤＡＰＩ、細胞質をＧＦＰで染色したものがウェル２底面に固定されている。マイクロプレート１は、底面が平らで、透明になっており下面から観察が可能になっている。
【００６７】
マイクロプレート１を画像撮影装置の電動ＸＹステージ３に取り付けた。露光時間１．５秒、２０倍対物レンズに設定し、１つのウェル２につきそれぞれ全体の撮影がなされるように、横方向４００μｍピッチ、縦方向３００μｍピッチで、１４×１４箇所の撮影エリア(２ａ１〜２ｎ１４)を設定した。
【００６８】
制御装置１４からは、電動ＸＹステージ３、自動焦点合焦装置６、光源１０、光源シャッタ１０’、冷却ＣＣＤカメラ１１、画像記録装置１５、レボルバ１２の制御が行われる。
冷却ＣＣＤカメラ１１には、ビットラン社製BS41を使用した。仕様は１４０万画素(1326×1024ピクセル)で、画像１枚を画像記録装置１５に転送するために０．８秒を要する。
【００６９】
まず電動ＸＹステージ３が移動され、マイクロプレート１のウェル２が第１の撮影場所に移動させられる。同時にレボルバ１６が回転させられ、２０倍の対物レンズ４が光路に入るように制御される。
【００７０】
まず初めに、ＤＡＰＩで染色された核を撮影するためにフィルタチェンジャー１７により、光学素子となる励起フィルタ８、第二ダイクロイックミラー７、吸収フィルタ９の交換が行われる。励起フィルタ８、第二ダイクロイックミラー７、吸収フィルタ９は、励起する波長に合わせて交換をしやすくするために、一体となっている。
なお、ＤＡＰＩで染色された核を観察するための光学素子は、オリンパス社製フィルタキューブU-MWG2を使用した。
【００７１】
また同時に、自動焦点合焦装置６のレーザー光１２がＯＮとなり、焦点合焦が行われる。自動焦点合焦装置６から照射されたレーザー光１２は第一ダイクロイックミラー５で折り返され、マイクロプレート１の上面で反射され、再び第一ダイクロイックミラー５で折り返され自動焦点合焦装置６の受光センサに戻る。
【００７２】
受光センサは、光軸を中心に設置された２分割（Ａ領域とＢ領域）のフォトダイオードとなっている。受光センサに入った信号は（Ａ−Ｂ）／（Ａ＋Ｂ）の演算を行う。その値は評価関数値（Ｅｆ値）と呼ばれ合焦判定に用いられる。対物レンズと標本の距離を相対的に変化させＥｆ値が０となる箇所を合焦位置と判定する。Ｅｆ値が０となる位置は、マイクロプレート１上面位置であるため合焦位置とは異なる。そこでマイクロプレート１の上面から観察したい位置までは、あらかじめ決まった値だけオフセット値を設定しておき、観察位置まで自動で、距離を設定するようになっている。
【００７３】
そして、レボルバ１６により対物レンズ４とマイクロプレート１の間の距離が相対的に変更されて、合焦位置にあわせられる。
【００７４】
そして、焦点合焦が完了したら自動焦点合焦装置６のレーザー光１２が止められる。
【００７５】
ついで、光源１０の光源シャッタ１０’が開かれ、照射された光は励起フィルタ８により特定の波長のみが通過し、第二ダイクロイックミラー７により折り返され、対物レンズ４を介して最初の撮像エリア(２ａ１)が照射される。
【００７６】
反射された光は対物レンズ４を介して吸収フィルタ７を通過して冷却ＣＣＤカメラ１１によって露光される。
【００７７】
冷却ＣＣＤカメラ１１によって蓄積された画像は、画像記憶装置１５に転送される。
それと同時に、次にＧＦＰで染色された細胞質の撮影を行うために、露光が終了した直後、すなわち冷却ＣＣＤカメラ１１から画像記憶装置１５に画像の転送を開始すると同時に、自動焦点装置６からレーザー光１２が照射され、焦点合焦が行われる。また同時に、フィルタチェンジャー１７により、励起フィルタ８とダイクロイックミラー７と吸収フィルタ９の交換が行われる。
なお、ＧＦＰで染色された細胞質を撮像するための光学素子は、オリンパス社製フィルタキューブU-MGFPHQを使用した。
【００７８】
焦点合焦が完了したら自動焦点合焦装置のレーザー光１２が止められる。そして光源シャッタ１０’が開放されて、冷却ＣＣＤカメラ１１によって露光が行われる。
【００７９】
撮像エリア(２ａ１)の露光が終了すると、冷却ＣＣＤカメラ１１によって蓄積された画像は、画像記憶装置１５に転送される。それと同時に、次の撮像エリア(２ａ２)を撮影するために、マイクロプレート１は電動ＸＹステージ３により移動される。また同時に、自動焦点合焦装置６からレーザー光１２が照射され、焦点合焦が行われる。さらに同時に、次の撮像エリア(２ａ２)においてＤＡＰＩで染色された核を撮影するためにフィルタチェンジャー１７により、光学素子となる励起フィルタ８、第二ダイクロイックミラー７、吸収フィルタ９の交換が行われる。
【００８０】
焦点合焦が完了したら自動焦点合焦装置のレーザー光１２が止められる。そして光源シャッタ１０’が開放されて、冷却ＣＣＤカメラ１１によって露光が行われる。
【００８１】
以上の動作を繰り返し、最後の撮像エリア（２ｎ１４）までのウェル２内全ての撮像を行い、マイクロプレート１の９６個のウェル２全部の撮影を行う。
その結果、マイクロプレート１の９６個のウェル２全部の撮影に要した時間は３２時間であった。また、画像転送後に自動焦点合焦動作を行った場合には、４０．５時間要したので本実施例では８．５時間の短縮になった。
【図面の簡単な説明】
【００８２】
【図１】本発明の自動焦点合焦装置を備えた画像撮像装置の制御手順を示すシーケンス図である。
【図２】本発明の自動焦点合焦装置を備えた画像撮像装置の説明図である、
【図３】図２に示す画像撮像装置の制御方法の詳細を示すシーケンス図である。
【図４】マイクロプレートの一例を示す説明図である。
【図５】１４０万画素のカメラを使用して、画像転送後に自動焦点合焦を行う場合の工程の一部を示すシーケンス図である。
【図６】１１００万画素のカメラを使用して、画像転送後に自動焦点合焦を行う場合の工程の一部を示すシーケンス図である。
【図７】１４０万画素のカメラを使用して、画像転送中に自動焦点合焦を行う場合の工程の一部を示すシーケンス図である。
【図８】１１００万画素のカメラを使用して、画像転送中に自動焦点合焦を行う場合の工程の一部を示すシーケンス図である。
【符号の説明】
【００８３】
１ スライドガラス（マイクロプレート、標本）
２ 撮像範囲（ウェル）
２ａ１〜２ｎ１４ 撮像エリア
３ 電動ＸＹステージ
４ 対物レンズ
５ 第一ダイクロイックミラー
６ 自動焦点合焦装置
７ 第二ダイクロイックミラー
８ 励起フィルタ
９ 吸収フィルタ
１０ 光源
１０’ 光源シャッタ
１１ 冷却ＣＣＤカメラ
１２ レーザー光
１３ 励起光
１４ 制御装置
１５ 画像記憶装置
１６ レボルバ
１７ フィルタチェンジャー
【特許請求の範囲】
【請求項１】
画像取り込み手段と、画像記憶手段と、対物レンズと、標本と、前記標本を固定するステージと、光学素子を切り替える手段と、前記標本と前記対物レンズの距離を相対的に変化させることができる手段と、光源と、自動焦点合焦装置とを有し、前記標本と前記対物レンズの相対位置を変化させて合焦調整を行う自動焦点合焦方法を用いて自動的に繰り返し前記標本の撮像を行う撮像装置において、前記画像取り込み手段から前記画像記憶手段への画像転送時間の全部又は一部が自動焦点合焦動作期間に含まれていることを特徴とする自動焦点合焦装置を備えた画像撮像装置。
【請求項２】
前記標本の露光時間が、前記自動焦点合焦動作期間に含まれていないことを特徴とする請求項１に記載の自動焦点合焦装置を備えた画像撮像装置。
【請求項３】
前記光学素子の交換時間が、前記自動焦点合焦動作期間に含まれていることを特徴とする請求項１又は２に記載の自動焦点合焦装置を備えた画像撮像装置。
【請求項４】
前記標本が、ウェルプレート又はスライドガラスであることを特徴とする請求項１〜３のいずれかに記載の自動焦点合焦装置を備えた画像撮像装置。
【請求項５】
前記ステージが、標本をＸＹ平面上を自由に移動することが可能な電動ステージであることを特徴とする請求項１〜３のいずれかに記載の自動焦点合焦装置を備えた画像撮像装置。
【請求項６】
前記画像取り込み手段が、冷却ＣＣＤカメラであることを特徴とする請求項１〜３のいずれかに記載の自動焦点合焦装置を備えた画像撮像装置。
【請求項７】
前記光学素子とは、励起フィルタ，ダイクロイックミラー及び吸収フィルタであることを特徴とする請求項１〜３のいずれかに記載の自動焦点合焦装置を備えた画像撮像装置。
【請求項８】
前記自動焦点合焦装置が、レーザー光を前記対物レンズを介して前記標本に照射し、反射した光を前記対物レンズを介して受光部で受光して、演算結果により焦点合焦を行う、瞳分割方式であることを特徴とする請求項１〜３のいずれかに記載の自動焦点合焦装置を備えた画像撮像装置。
【請求項１】
画像取り込み手段と、画像記憶手段と、対物レンズと、標本と、前記標本を固定するステージと、光学素子を切り替える手段と、前記標本と前記対物レンズの距離を相対的に変化させることができる手段と、光源と、自動焦点合焦装置とを有し、前記標本と前記対物レンズの相対位置を変化させて合焦調整を行う自動焦点合焦方法を用いて自動的に繰り返し前記標本の撮像を行う撮像装置において、前記画像取り込み手段から前記画像記憶手段への画像転送時間の全部又は一部が自動焦点合焦動作期間に含まれていることを特徴とする自動焦点合焦装置を備えた画像撮像装置。
【請求項２】
前記標本の露光時間が、前記自動焦点合焦動作期間に含まれていないことを特徴とする請求項１に記載の自動焦点合焦装置を備えた画像撮像装置。
【請求項３】
前記光学素子の交換時間が、前記自動焦点合焦動作期間に含まれていることを特徴とする請求項１又は２に記載の自動焦点合焦装置を備えた画像撮像装置。
【請求項４】
前記標本が、ウェルプレート又はスライドガラスであることを特徴とする請求項１〜３のいずれかに記載の自動焦点合焦装置を備えた画像撮像装置。
【請求項５】
前記ステージが、標本をＸＹ平面上を自由に移動することが可能な電動ステージであることを特徴とする請求項１〜３のいずれかに記載の自動焦点合焦装置を備えた画像撮像装置。
【請求項６】
前記画像取り込み手段が、冷却ＣＣＤカメラであることを特徴とする請求項１〜３のいずれかに記載の自動焦点合焦装置を備えた画像撮像装置。
【請求項７】
前記光学素子とは、励起フィルタ，ダイクロイックミラー及び吸収フィルタであることを特徴とする請求項１〜３のいずれかに記載の自動焦点合焦装置を備えた画像撮像装置。
【請求項８】
前記自動焦点合焦装置が、レーザー光を前記対物レンズを介して前記標本に照射し、反射した光を前記対物レンズを介して受光部で受光して、演算結果により焦点合焦を行う、瞳分割方式であることを特徴とする請求項１〜３のいずれかに記載の自動焦点合焦装置を備えた画像撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１０−９１７３９（Ｐ２０１０−９１７３９Ａ）
【公開日】平成２２年４月２２日（２０１０．４．２２）
【国際特許分類】
【出願番号】特願２００８−２６０９０４（Ｐ２００８−２６０９０４）
【出願日】平成２０年１０月７日（２００８．１０．７）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２２年４月２２日（２０１０．４．２２）
【国際特許分類】
【出願日】平成２０年１０月７日（２００８．１０．７）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]