生体観察装置
【課題】挙動が速い動的な生体を観察しても、観察部位の位置が安定した鮮明な画像を得る。
【解決手段】ステージ２上の生体Ａからの光を対物光学系１０により集光して撮像する撮像部７ａ，７ｂと、対物光学系１０とステージ２とを相対的に移動させる移動機構９と、撮像部７ａ，７ｂにより撮像された画像内の注目点の位置を検出する注目点位置検出部１３と、移動機構９を停止させた状態で、注目点位置検出部１３により検出された位置と撮像部７ａ，７ｂによる画像取得の取得時刻に関する情報とを対応づけた履歴を記憶する履歴記憶部１４と、撮像部７ａ，７ｂにより取得された注目点の現在位置と履歴記憶部１４に記憶された履歴とに基づいて所定時間後の生体Ａの動作を推定する動作推定部１５と、動作推定部１５により推定された動作に従って対物光学系１０とステージ２とを移動させるよう移動機構９を制御する制御部１６とを備える生体観察装置１を提供する。
【解決手段】ステージ２上の生体Ａからの光を対物光学系１０により集光して撮像する撮像部７ａ，７ｂと、対物光学系１０とステージ２とを相対的に移動させる移動機構９と、撮像部７ａ，７ｂにより撮像された画像内の注目点の位置を検出する注目点位置検出部１３と、移動機構９を停止させた状態で、注目点位置検出部１３により検出された位置と撮像部７ａ，７ｂによる画像取得の取得時刻に関する情報とを対応づけた履歴を記憶する履歴記憶部１４と、撮像部７ａ，７ｂにより取得された注目点の現在位置と履歴記憶部１４に記憶された履歴とに基づいて所定時間後の生体Ａの動作を推定する動作推定部１５と、動作推定部１５により推定された動作に従って対物光学系１０とステージ２とを移動させるよう移動機構９を制御する制御部１６とを備える生体観察装置１を提供する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、生体観察装置に関するものである。
【背景技術】
【０００２】
近年、光学顕微鏡を用いて蛍光プローブによるイオン濃度や膜電位等の可視化が行われている。例えば、標本として神経細胞等の生体機能観察、特に動的挙動の観察が行われるようになっている。このような動的挙動を観察する装置としては、特開２００５−３００２７８号公報のような生体観察装置が知られている。また、観察対象部位を追従して観察する方法としては特開２００６−２０９６９８号公報が知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−３００２７８号公報
【特許文献２】特開２００６−２０９６９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、動的な生体を観察する場合、対物レンズの焦点や視野を一定に保つと、生体が深さ方向へ移動して像が不鮮明になったり、観察部位が視野から外れてしまうという問題点がある。
また、特許文献１の生体観察装置や特許文献２の観察方法では、生体の脈動や拍動などにより観察部位が３次元方向に速く動く場合には対応できないという課題がある。
【０００５】
本発明は上述した事情に鑑みてなされたものであって、挙動の速い生体であっても常に観察部位の位置が安定した鮮明な画像を得ることができる生体観察装置を提供することを目的としている。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明は以下の手段を提供する。
本発明は、生体を載せるステージと、前記生体からの光を集光する対物光学系と、該対物光学系により集光された光を撮像する撮像部と、前記対物光学系と前記ステージとを相対的に移動させる移動機構と、前記撮像部により撮像された前記生体の画像内の注目点の位置を検出する注目点位置検出部と、前記移動機構を停止させた状態で、前記注目点位置検出部により検出された注目点の位置と前記撮像部による画像取得の取得時刻に関する情報とを対応づけた履歴を記憶する履歴記憶部と、前記撮像部により取得された画像内の前記注目点の現在位置と、前記履歴記憶部内に記憶されている履歴とに基づいて、所定時間後の前記生体の動作を推定する動作推定部と、該動作推定部により推定された動作に従って前記対物光学系と前記ステージとを相対的に移動させるよう前記移動機構を制御する制御部とを備える生体観察装置を提供する。
【０００７】
本発明によれば、ステージ上の生体からの光は対物光学系により集光され、撮像部において生体の画像が取得される。そして、注目点位置検出部により各画像内の注目点の位置が検出され、その位置と画像取得の時刻とが対応づけられた履歴が履歴記憶部に記憶される。
【０００８】
この後に、移動機構が動作する状態で生体の画像を取得して注目点の位置を検出したら、動作推定部において、現在の位置と履歴記憶部にすでに記憶されている履歴とを比較し、注目点の次の画像取得時刻までの動作を推定する。制御部は移動機構を制御して、推定された動作と同様に対物光学系とステージとを相対的に移動させてから、次の画像取得を行う。この画像取得から移動機構の動作を繰り返すことにより生体を観察することができる。
【０００９】
すなわち、画像が取得された時点における注目点の位置と時刻とを対応づけた履歴から、履歴記憶部には注目点の過去の軌跡の情報が蓄積される。そして、注目点の現在の位置と過去の軌跡とを比較することにより、注目点が次の画像取得時刻に存在するであろう軌跡上の位置を推定し、その位置までの動作、つまり移動方向および移動量を算出することができる。
【００１０】
また、撮像の度に推定された動作に合わせて対物光学系とステージとを相対的に移動させることにより、生体の注目点の位置と対物光学系の位置とが相対的に一定に保たれ、生体の挙動により注目点が移動しても、画像内においては注目点の位置を静止させるができる。
したがって、本発明によれば、挙動が速い動的な生体を観察しても、観察部位の位置が安定した鮮明な画像を得ることができる。
【００１１】
上記発明においては、前記注目点位置検出部が、前記画像内の一部の範囲内において検出してもよい。
予備観察により注目点の移動する範囲を把握しておく。そして、各画像の移動範囲内においてのみ注目点の位置の検出を行うことにより、取り扱うデータの量や演算値を少なくすることができる。これにより、画像取得間隔を短くして移動機構の制御速度を向上させ、注目点の移動により正確に追従させることができる、つまり、観察部位の位置がより安定した画像を取得することができる。
【００１２】
また、上記発明においては、前記注目点が、前記生体の特徴点であってもよい。
このようにすることで、注目点として生体外部からマーカのような物質を生体に付与することなく、位置を検出することがきる。
【００１３】
また、上記発明においては、前記履歴記憶部が、周期的な挙動を示す前記生体の複数サイクルの挙動について履歴を記憶し、前記動作推定部が、前記履歴から統計的に前記生体の動作を推定してもよい。
このようにすることで、生体のイレギュラーな挙動の軌跡についても記憶しておき、生体がこのような挙動をした場合にも、観察部位の位置がずれる程度やその確率を減らしてより観察部位の位置が安定した画像を取得することができる。
【発明の効果】
【００１４】
本発明によれば、挙動が速い動的な生体を観察しても、観察部位の位置が安定した鮮明な画像を得ることができるという効果を奏する。
【図面の簡単な説明】
【００１５】
【図１】本発明の第１の実施形態に係る生体観察装置を示す全体構成図である。
【図２】第１の実施形態に係る移動機構制御システムの構成を示す図である。
【図３】生体の拍動による注目点の移動量を示す図である。
【図４】生体の拍動により注目点が移動する様子を示した図である。
【図５】本発明の第２の実施形態に係る生体試察装置を示す全体構成図である。
【図６】画像検出システムの構成を示す図である。
【図７】第２の実施形態に係る移動機構制御システムの構成を示す図である。
【発明を実施するための形態】
【００１６】
本発明の第１の実施形態に係る生体観察装置１について、図１〜図４を参照して以下に説明する。
本実施形態に係る生体試料観察装置１は、図１に示されるように、正立型顕微鏡をベースとしており、生体Ａを載せるステージ２と、筐体３内部に配置された撮像光学系４と、筐体３を支持する支柱５およびアーム６と、筐体３外部に配置された撮像部７ａ，７ｂおよび光源８と、筐体３の底部に移動機構９を介して配置された対物レンズ（対物光学系）１０と、移動機構制御システム１１とを備えている。
【００１７】
筐体３は、ステージ２に垂直に固定された支柱５に沿って移動するアーム６により垂直方向に移動可能になっている。
撮像部７ａ，７ｂは、例えば、第１および第２のＣＣＤカメラ（以下、ＣＣＤカメラ７ａ，７ｂともいう。）である。第１のＣＣＤカメラ７ａは移動機構制御システム１１に接続され、第２のＣＣＤカメラ７ｂはコントローラ１２を介して図示しないモニタに接続されている。
【００１８】
撮像光学系４は、複数の波長フィルタ４ａ，４ｂ，４ｃおよびダイクロイックミラー４ｄ，４ｅと、図示しないレンズ群により構成されている。
光源８から発せられた光は、筐体３内の第１の波長フィルタ４ａにおいて設定された波長の光のみが第１のダイクロイックミラー４ｄによって反射され、第２のダイクロイックミラー４ｅおよび対物レンズを１０透過して生体Ａに照射される。
【００１９】
また、対物レンズ１０で集光された光は、その一部が、第２のダイクロイックミラー４ｅを透過した後、第１のダイクロイックミラー４ｄおよび第２の波長フィルタ４ｂを透過した波長の光が第１のＣＣＤカメラ７ａで検出される。また対物レンズ１０で集光された光のうち他の一部は、第２のダイクロイックミラー４ｅで反射された後、第３の波長フィルタ４ｃを透過した波長の光が第２のＣＣＤカメラ７ｂで検出される。
【００２０】
移動機構９は、対物レンズ１０を水平方向に移動させるＸ軸ステージ９ａおよびＹ軸ステージ９ｂと、フォーカス方向（Ｚ方向）に移動させるＺ軸ステージ９ｃとにより構成されている。
【００２１】
移動機構制御システム１１は、例えば、一般のコンピュータやＣＰＵであり、図２に示されるように、画像内の注目点の位置を検出する注目点位置検出部１３と、検出された位置についての履歴を記憶する履歴記憶部１４と、注目点の次の動作を推定する動作推定部１５と、移動機構９を制御する制御部１６とを備えている。また、注目点位置検出部１３は第１のＣＣＤカメラ７ａに、制御部１６は移動機構９に接続されている。
【００２２】
注目点位置検出部１３は、画像処理により注目点を抽出し、その重心位置をＸ，Ｙ位置として検出する。また、注目点位置検出部１３は、注目点の大きさと傾きの変化からＺ方向の移動量を算出する。そして、初期のＺ方向位置をＺ位置の原点とし、Ｚ方向の初期位置からの移動量をＺ位置として検出するようになっている。
履歴記憶部１４は、検出された各画像内の注目点のＸ，Ｙ，Ｚ位置に、各画像が取得された順番（取得時刻に関連する情報）をアドレスとして付して、これらを履歴として記憶するようになっている。
【００２３】
このように構成された本実施形態に係る生体観察装置１の作用について以下に説明する。
本実施形態においては、生きたマウスなどの周期的に拍動する生体Ａを観察対象とし、生体Ａ上の蛍光ビーズのようなマーカＢを注目点とする。図３は、生体Ａの拍動に従ってマーカＢの位置が移動する様子を示した図であり、横軸が時間、縦軸がマーカＢの位置の移動量である。符号ａ１，ａ２の位置においてはマーカＢの位置が安定し、符号ｂの位置においては拍動によりマーカＢの位置が大きく移動している。また、図４は、マーカＢが水平方向に移動する様子を示した図である。生体Ａの動きが安定している符号ａ１，ａ２の位置においては、ＣＣＤカメラの視野ｔ１内にマーカＢが存在するが、生体Ａが拍動して大きく動く符号ｂの位置においては、マーカＢの位置が視野ｔ１外部へ移動する状態を表している。
【００２４】
本実施形態に係る生体観察装置１を使用して生体Ａを観察するには、ステージ２に生体Ａを載せ、光源８により生体Ａを照明する。そして生体Ａ表面からの反射光、または、照明光により励起された蛍光を対物レンズ１０により集光して、第２のＣＣＤカメラ７ｂで検出された画像をモニタで観察しながら、アーム６と生体Ａの位置を移動させて対物レンズ１０の視野とフォーカスを調節する。
【００２５】
次に、移動機構９を停止させた状態で予備観察を行う。マーカＢが符号ａ１の位置から符号ｂの位置を経由して符号ａ２の位置まで移動する挙動を１サイクルとし、１サイクルだけ生体Ａの観察を行い第１のＣＣＤカメラ７ａで所定の時間間隔で画像を取得する。取得された画像は注目点位置検出部１３に送られて、各画像内のマーカＢのＸ，Ｙ，Ｚ位置が検出され、履歴記憶部１４においてマーカＢの挙動１サイクルの履歴が記憶される。
【００２６】
続いて、移動機構９を動作させて本観察を開始する。生体Ａの画像が取得されると画像内のマーカＢのＸ，Ｙ，Ｚ位置が検出され、これと履歴記憶部１４に記憶されている予備観察の履歴とを動作推定部１５において比較する。そして、次の画像取得時刻までにマーカＢが移動しているであろう位置を推定し、その位置までのＸ、Ｙ、Ｚ方向の各移動量を算出する。制御部１６は、算出された移動量だけ対物レンズ１０が移動するよう移動機構９を制御して、次の画像を取得する。この画像取得から対物レンズ１０の移動までの動作を繰り返すことにより、生体Ａを観察することができる。
【００２７】
すなわち、第１のＣＣＤカメラ７ａの画像取得の間隔が一定のため、一定時間間隔のマーカＢの位置座標の履歴が履歴記憶部１４に記憶される。これにより、周期的な挙動をするマーカＢの１サイクル分の過去の軌跡の情報を取得することができる。そして、現在のマーカＢの位置を過去の軌跡と比較することで、次の画像取得時刻にマーカＢが軌跡上のどの位置に移動しているかを推定することができる。
【００２８】
そして、推定された注目点の移動と同様に対物レンズ１０も移動させられるので、対物レンズ１０はマーカＢと同様の軌跡上を移動させられながら生体Ａを観察する。つまり、対物レンズ１０とマーカＢの相対位置は一定に保たれるので、対物レンズ１０の視野内でマーカＢの位置は静止した状態となる。
【００２９】
また、対物レンズ１０は、画像取得の度にマーカＢの次の位置へ移動させられるので、マーカＢが速く移動してもその移動に追従して画像を取得できる。
したがって、本実施形態によれば、拍動のような３次元方向の速い挙動をする生体Ａであっても、観察部位が水平方向およびフォーカス方向移動して視野から外れたりフォーカスがずれたりすることなく、常に観察部位に焦点が合いその位置が安定した画像を得ることができる。
【００３０】
上記実施形態においては、前記注目点位置検出部が、前記画像内の一部の範囲内において検出してもよい。
予備観察により、マーカＢの移動範囲を予め把握しておき、各画像においてその移動範囲内のみマーカＢの位置の検出を行う。このように検出する範囲を狭めることにより、処理するデータ量や演算値が減るので、画像取得の間隔を短くして移動機構９の制御速度を向上させ、マーカＢの挙動により正確に一致させて対物レンズ１０を移動させることができる。つまり、マーカＢの位置がより安定した画像を得ることができる。
【００３１】
また、上記実施形態においては、前記注目点がマーカであるとしたが、これに代えて、画像中の高輝度部分や特徴的な形状を有する部分などの特徴点であってもよい。
このようにすることでマーカＢが不要となり、マーカＢの付与による生体Ａへの影響をさらに少なくすることができる。
【００３２】
また、上記実施形態においては、予備観察として注目点の挙動１サイクルの履歴を記憶したが、これに代えて、複数サイクルの履歴を記憶し、動作推定部が履歴から統計的に生体の動作を推定してもよい。
【００３３】
このようにすることで、マーカＢがイレギュラーな挙動をしたときの履歴も記憶しておき、本観察でこのような挙動があってもその移動を推定することが可能になる。これにより、視野内でマーカＢの位置がずれる程度やその確率を減らし、より観察部位の位置が安定した画像を得ることができる。
【００３４】
また、上記実施形態においては、正立型顕微鏡をベースとし、撮像部としてＣＣＤカメラを用いることとしたが、これに代えて、レーザ走査型顕微鏡をベースとし、撮像部としてホトマルチプライヤ（ＰＭＴ）を用いてもよい。
この場合、撮像光学系４はさらに、ガルバノスキャナやメムススキャナ等の２次元走査手段を備え、光源８としてレーザ光源を用いる。
【００３５】
レーザ光源より出力されたレーザ光はガルバノスキャナによって１ピクセルずつ移動させられ、生体Ａ表面を走査する。そして、生体Ａ表面で励起された蛍光は対物レンズ１０によって集光されてＰＭＴで検出され、図示しない演算部、例えば、コンピュータによって、検出された蛍光の輝度と走査位置とが対応付けられて並べられ、画像が取得される。その後、上述した作用と同様に、注目点の位置の検出から移動機構９の制御まで一連の処理および制御が行われ、生体Ａを観察することができる。
【００３６】
なお、本実施形態においては、予備観察において所定時間間隔で取得した画像から抽出された注目点の位置を、画像が取得された順番とともに記憶することで履歴を記憶したが、これに代えて、画像の取得時刻あるいは相対時刻と対応づけて履歴としてもよい。
【００３７】
本発明の第２の実施形態に係る生体観察装置１について、図５〜図７を参照して以下に説明する。
なお、本実施形態の説明において、上述した第１の実施形態に係る生観察装置１と構成を共通とする箇所には同一の符号を付して説明を省略する。
【００３８】
本実施形態における生体試料観察装置１は、図５に示されるように、ベース１７上にＺ軸ステージ９ｃを介して配置されたＸＹステージ９ｄと、生体Ａを斜め上方から照明する光源８と、筐体３内部に配置された撮像光学系４と、筐体３外部に配置された対物レンズ１０および撮像部７と、移動機構制御システム１１とを備えている。
【００３９】
第１の実施形態においては、撮像部７ａ，７ｂとして、第１および第２のＣＣＤカメラ７ａ，７ｂを用い、それぞれ注目点の位置検出用と画像観察用とに用途を区別した。本実施形態においては、第２のＣＣＤカメラ７ｂは第１の実施形態と同様であるが、第１のＣＣＤカメラ７ａに代えてＣＣＤカメラの撮像機能部７ｃを用い、図６に示されるように、これと注目点位置検出部１３とを一つの構成にした画像検出システム１８を備えている。
【００４０】
注目点位置検出部１３は、第１の実施形態と同様に注目点のＸ，Ｙ位置を検出する。また、注目点位置検出部１３は、斜め上方から照明することにより生じる注目点の影の長さと方向からＺ方向の変位量を求め、Ｚ方向の初期位置からの変位量をＺ位置として検出する。そして、検出されたＸ，Ｙ，Ｚ位置を、画像を取得した順番に画像検出システム１８外部へ出力する。
【００４１】
対物レンズ１０で集光された光のうち一部は、第２のダイクロイックミラー４ｅで反射された後、第３の波長フィルタ４ｃを透過した波長の光のみがＣＣＤカメラ７ｂで検出される。また、対物レンズ１０で集光された光のうち他の一部は、第２のダイクロイックミラー４ｅおよび第２の波長フィルタ４ｂを透過した波長の光のみが画像検出システム１８で検出される。
【００４２】
ＸＹステージ９ｄは、生体Ａを載せるステージ２であると同時に、対物レンズ１０に対して移動する移動機構９である。
対物レンズ１０の視野は、ＸＹステージ９ｄを水平方向に、Ｚ軸ステージ９ｃをフォーカス方向に制御して生体Ａを移動させることにより選択する。
【００４３】
移動機構制御システム１１は、図７に示されるように、履歴記憶部１４と動作推定部１５と制御部１６とを備えており、画像検出システム１８並びに移動機構９であるＸＹステージ９ｄおよびＺ軸ステージ９ｃに接続されている。
履歴記憶部１４は、画像検出システム１８から送られてきた３次元位置情報に、各情報が送られてきた順番に対応する画像番号（取得時刻に関連する情報）をアドレスとして付し、これを履歴として記憶する。
【００４４】
本実施形態に係る生体観察装置１を用いて生体Ａを観察するには、生体ＡをＸＹステージ９ｄに載せて光源８により照明する。生体Ａは斜め上方から照明されているので、照明光は生体Ａの凹凸に応じた角度で反射される。反射光は対物レンズ１０で集光されてＣＣＤカメラ７ｂで検出され、図示しないモニタで生体Ａの画像を観察する。そして、第１の実施形態と同様に予備観察および本観察を行うと、生体Ａを観察することができる。
【００４５】
上記実施形態によれば、ＣＣＤカメラの撮像機能部７ｃと注目点位置検出部１３とを一つの構成にすることで、移動機構制御システム１１へ伝送する情報量を、画像１枚分からＸ，Ｙ，Ｚ位置情報のみへ減らすことができる。これにより、データの伝送および移動機構制御システム１１の処理速度を高速化して、ＣＣＤカメラ７ｂの撮像時間を短くして画像内のぶれを抑えることができると同時に、ＣＣＤカメラの撮像機能部７ｃの撮像の間隔を短くしてよりマーカＢの位置が安定した画像を取得できる。
【符号の説明】
【００４６】
１ 生体観察装置
２ ステージ
３ 筐体
４ 撮像光学系
４ａ，４ｂ，４ｃ 波長フィルタ
４ｄ，４ｅ ダイクロイックミラー
５ 支柱
６ アーム
７ａ 第１の撮像部（第１のＣＣＤカメラ）
７ｂ 第２の撮像部（第２のＣＣＤカメラ）
７ｃ ＣＣＤカメラの撮像機能部
８ 光源
９ 移動機構
９ａ Ｘ軸ステージ
９ｂ Ｙ軸ステージ
９ｃ Ｚ軸ステージ
９ｄ ＸＹステージ
１０ 対物レンズ（対物光学系）
１１ 移動機構制御システム
１２ コントローラ
１３ 注目点位置検出部
１４ 履歴記憶部
１５ 動作推定部
１６ 制御部
１７ ベース
１８ 画像検出システム
Ａ 生体
Ｂ マーカ
【技術分野】
【０００１】
本発明は、生体観察装置に関するものである。
【背景技術】
【０００２】
近年、光学顕微鏡を用いて蛍光プローブによるイオン濃度や膜電位等の可視化が行われている。例えば、標本として神経細胞等の生体機能観察、特に動的挙動の観察が行われるようになっている。このような動的挙動を観察する装置としては、特開２００５−３００２７８号公報のような生体観察装置が知られている。また、観察対象部位を追従して観察する方法としては特開２００６−２０９６９８号公報が知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−３００２７８号公報
【特許文献２】特開２００６−２０９６９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、動的な生体を観察する場合、対物レンズの焦点や視野を一定に保つと、生体が深さ方向へ移動して像が不鮮明になったり、観察部位が視野から外れてしまうという問題点がある。
また、特許文献１の生体観察装置や特許文献２の観察方法では、生体の脈動や拍動などにより観察部位が３次元方向に速く動く場合には対応できないという課題がある。
【０００５】
本発明は上述した事情に鑑みてなされたものであって、挙動の速い生体であっても常に観察部位の位置が安定した鮮明な画像を得ることができる生体観察装置を提供することを目的としている。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明は以下の手段を提供する。
本発明は、生体を載せるステージと、前記生体からの光を集光する対物光学系と、該対物光学系により集光された光を撮像する撮像部と、前記対物光学系と前記ステージとを相対的に移動させる移動機構と、前記撮像部により撮像された前記生体の画像内の注目点の位置を検出する注目点位置検出部と、前記移動機構を停止させた状態で、前記注目点位置検出部により検出された注目点の位置と前記撮像部による画像取得の取得時刻に関する情報とを対応づけた履歴を記憶する履歴記憶部と、前記撮像部により取得された画像内の前記注目点の現在位置と、前記履歴記憶部内に記憶されている履歴とに基づいて、所定時間後の前記生体の動作を推定する動作推定部と、該動作推定部により推定された動作に従って前記対物光学系と前記ステージとを相対的に移動させるよう前記移動機構を制御する制御部とを備える生体観察装置を提供する。
【０００７】
本発明によれば、ステージ上の生体からの光は対物光学系により集光され、撮像部において生体の画像が取得される。そして、注目点位置検出部により各画像内の注目点の位置が検出され、その位置と画像取得の時刻とが対応づけられた履歴が履歴記憶部に記憶される。
【０００８】
この後に、移動機構が動作する状態で生体の画像を取得して注目点の位置を検出したら、動作推定部において、現在の位置と履歴記憶部にすでに記憶されている履歴とを比較し、注目点の次の画像取得時刻までの動作を推定する。制御部は移動機構を制御して、推定された動作と同様に対物光学系とステージとを相対的に移動させてから、次の画像取得を行う。この画像取得から移動機構の動作を繰り返すことにより生体を観察することができる。
【０００９】
すなわち、画像が取得された時点における注目点の位置と時刻とを対応づけた履歴から、履歴記憶部には注目点の過去の軌跡の情報が蓄積される。そして、注目点の現在の位置と過去の軌跡とを比較することにより、注目点が次の画像取得時刻に存在するであろう軌跡上の位置を推定し、その位置までの動作、つまり移動方向および移動量を算出することができる。
【００１０】
また、撮像の度に推定された動作に合わせて対物光学系とステージとを相対的に移動させることにより、生体の注目点の位置と対物光学系の位置とが相対的に一定に保たれ、生体の挙動により注目点が移動しても、画像内においては注目点の位置を静止させるができる。
したがって、本発明によれば、挙動が速い動的な生体を観察しても、観察部位の位置が安定した鮮明な画像を得ることができる。
【００１１】
上記発明においては、前記注目点位置検出部が、前記画像内の一部の範囲内において検出してもよい。
予備観察により注目点の移動する範囲を把握しておく。そして、各画像の移動範囲内においてのみ注目点の位置の検出を行うことにより、取り扱うデータの量や演算値を少なくすることができる。これにより、画像取得間隔を短くして移動機構の制御速度を向上させ、注目点の移動により正確に追従させることができる、つまり、観察部位の位置がより安定した画像を取得することができる。
【００１２】
また、上記発明においては、前記注目点が、前記生体の特徴点であってもよい。
このようにすることで、注目点として生体外部からマーカのような物質を生体に付与することなく、位置を検出することがきる。
【００１３】
また、上記発明においては、前記履歴記憶部が、周期的な挙動を示す前記生体の複数サイクルの挙動について履歴を記憶し、前記動作推定部が、前記履歴から統計的に前記生体の動作を推定してもよい。
このようにすることで、生体のイレギュラーな挙動の軌跡についても記憶しておき、生体がこのような挙動をした場合にも、観察部位の位置がずれる程度やその確率を減らしてより観察部位の位置が安定した画像を取得することができる。
【発明の効果】
【００１４】
本発明によれば、挙動が速い動的な生体を観察しても、観察部位の位置が安定した鮮明な画像を得ることができるという効果を奏する。
【図面の簡単な説明】
【００１５】
【図１】本発明の第１の実施形態に係る生体観察装置を示す全体構成図である。
【図２】第１の実施形態に係る移動機構制御システムの構成を示す図である。
【図３】生体の拍動による注目点の移動量を示す図である。
【図４】生体の拍動により注目点が移動する様子を示した図である。
【図５】本発明の第２の実施形態に係る生体試察装置を示す全体構成図である。
【図６】画像検出システムの構成を示す図である。
【図７】第２の実施形態に係る移動機構制御システムの構成を示す図である。
【発明を実施するための形態】
【００１６】
本発明の第１の実施形態に係る生体観察装置１について、図１〜図４を参照して以下に説明する。
本実施形態に係る生体試料観察装置１は、図１に示されるように、正立型顕微鏡をベースとしており、生体Ａを載せるステージ２と、筐体３内部に配置された撮像光学系４と、筐体３を支持する支柱５およびアーム６と、筐体３外部に配置された撮像部７ａ，７ｂおよび光源８と、筐体３の底部に移動機構９を介して配置された対物レンズ（対物光学系）１０と、移動機構制御システム１１とを備えている。
【００１７】
筐体３は、ステージ２に垂直に固定された支柱５に沿って移動するアーム６により垂直方向に移動可能になっている。
撮像部７ａ，７ｂは、例えば、第１および第２のＣＣＤカメラ（以下、ＣＣＤカメラ７ａ，７ｂともいう。）である。第１のＣＣＤカメラ７ａは移動機構制御システム１１に接続され、第２のＣＣＤカメラ７ｂはコントローラ１２を介して図示しないモニタに接続されている。
【００１８】
撮像光学系４は、複数の波長フィルタ４ａ，４ｂ，４ｃおよびダイクロイックミラー４ｄ，４ｅと、図示しないレンズ群により構成されている。
光源８から発せられた光は、筐体３内の第１の波長フィルタ４ａにおいて設定された波長の光のみが第１のダイクロイックミラー４ｄによって反射され、第２のダイクロイックミラー４ｅおよび対物レンズを１０透過して生体Ａに照射される。
【００１９】
また、対物レンズ１０で集光された光は、その一部が、第２のダイクロイックミラー４ｅを透過した後、第１のダイクロイックミラー４ｄおよび第２の波長フィルタ４ｂを透過した波長の光が第１のＣＣＤカメラ７ａで検出される。また対物レンズ１０で集光された光のうち他の一部は、第２のダイクロイックミラー４ｅで反射された後、第３の波長フィルタ４ｃを透過した波長の光が第２のＣＣＤカメラ７ｂで検出される。
【００２０】
移動機構９は、対物レンズ１０を水平方向に移動させるＸ軸ステージ９ａおよびＹ軸ステージ９ｂと、フォーカス方向（Ｚ方向）に移動させるＺ軸ステージ９ｃとにより構成されている。
【００２１】
移動機構制御システム１１は、例えば、一般のコンピュータやＣＰＵであり、図２に示されるように、画像内の注目点の位置を検出する注目点位置検出部１３と、検出された位置についての履歴を記憶する履歴記憶部１４と、注目点の次の動作を推定する動作推定部１５と、移動機構９を制御する制御部１６とを備えている。また、注目点位置検出部１３は第１のＣＣＤカメラ７ａに、制御部１６は移動機構９に接続されている。
【００２２】
注目点位置検出部１３は、画像処理により注目点を抽出し、その重心位置をＸ，Ｙ位置として検出する。また、注目点位置検出部１３は、注目点の大きさと傾きの変化からＺ方向の移動量を算出する。そして、初期のＺ方向位置をＺ位置の原点とし、Ｚ方向の初期位置からの移動量をＺ位置として検出するようになっている。
履歴記憶部１４は、検出された各画像内の注目点のＸ，Ｙ，Ｚ位置に、各画像が取得された順番（取得時刻に関連する情報）をアドレスとして付して、これらを履歴として記憶するようになっている。
【００２３】
このように構成された本実施形態に係る生体観察装置１の作用について以下に説明する。
本実施形態においては、生きたマウスなどの周期的に拍動する生体Ａを観察対象とし、生体Ａ上の蛍光ビーズのようなマーカＢを注目点とする。図３は、生体Ａの拍動に従ってマーカＢの位置が移動する様子を示した図であり、横軸が時間、縦軸がマーカＢの位置の移動量である。符号ａ１，ａ２の位置においてはマーカＢの位置が安定し、符号ｂの位置においては拍動によりマーカＢの位置が大きく移動している。また、図４は、マーカＢが水平方向に移動する様子を示した図である。生体Ａの動きが安定している符号ａ１，ａ２の位置においては、ＣＣＤカメラの視野ｔ１内にマーカＢが存在するが、生体Ａが拍動して大きく動く符号ｂの位置においては、マーカＢの位置が視野ｔ１外部へ移動する状態を表している。
【００２４】
本実施形態に係る生体観察装置１を使用して生体Ａを観察するには、ステージ２に生体Ａを載せ、光源８により生体Ａを照明する。そして生体Ａ表面からの反射光、または、照明光により励起された蛍光を対物レンズ１０により集光して、第２のＣＣＤカメラ７ｂで検出された画像をモニタで観察しながら、アーム６と生体Ａの位置を移動させて対物レンズ１０の視野とフォーカスを調節する。
【００２５】
次に、移動機構９を停止させた状態で予備観察を行う。マーカＢが符号ａ１の位置から符号ｂの位置を経由して符号ａ２の位置まで移動する挙動を１サイクルとし、１サイクルだけ生体Ａの観察を行い第１のＣＣＤカメラ７ａで所定の時間間隔で画像を取得する。取得された画像は注目点位置検出部１３に送られて、各画像内のマーカＢのＸ，Ｙ，Ｚ位置が検出され、履歴記憶部１４においてマーカＢの挙動１サイクルの履歴が記憶される。
【００２６】
続いて、移動機構９を動作させて本観察を開始する。生体Ａの画像が取得されると画像内のマーカＢのＸ，Ｙ，Ｚ位置が検出され、これと履歴記憶部１４に記憶されている予備観察の履歴とを動作推定部１５において比較する。そして、次の画像取得時刻までにマーカＢが移動しているであろう位置を推定し、その位置までのＸ、Ｙ、Ｚ方向の各移動量を算出する。制御部１６は、算出された移動量だけ対物レンズ１０が移動するよう移動機構９を制御して、次の画像を取得する。この画像取得から対物レンズ１０の移動までの動作を繰り返すことにより、生体Ａを観察することができる。
【００２７】
すなわち、第１のＣＣＤカメラ７ａの画像取得の間隔が一定のため、一定時間間隔のマーカＢの位置座標の履歴が履歴記憶部１４に記憶される。これにより、周期的な挙動をするマーカＢの１サイクル分の過去の軌跡の情報を取得することができる。そして、現在のマーカＢの位置を過去の軌跡と比較することで、次の画像取得時刻にマーカＢが軌跡上のどの位置に移動しているかを推定することができる。
【００２８】
そして、推定された注目点の移動と同様に対物レンズ１０も移動させられるので、対物レンズ１０はマーカＢと同様の軌跡上を移動させられながら生体Ａを観察する。つまり、対物レンズ１０とマーカＢの相対位置は一定に保たれるので、対物レンズ１０の視野内でマーカＢの位置は静止した状態となる。
【００２９】
また、対物レンズ１０は、画像取得の度にマーカＢの次の位置へ移動させられるので、マーカＢが速く移動してもその移動に追従して画像を取得できる。
したがって、本実施形態によれば、拍動のような３次元方向の速い挙動をする生体Ａであっても、観察部位が水平方向およびフォーカス方向移動して視野から外れたりフォーカスがずれたりすることなく、常に観察部位に焦点が合いその位置が安定した画像を得ることができる。
【００３０】
上記実施形態においては、前記注目点位置検出部が、前記画像内の一部の範囲内において検出してもよい。
予備観察により、マーカＢの移動範囲を予め把握しておき、各画像においてその移動範囲内のみマーカＢの位置の検出を行う。このように検出する範囲を狭めることにより、処理するデータ量や演算値が減るので、画像取得の間隔を短くして移動機構９の制御速度を向上させ、マーカＢの挙動により正確に一致させて対物レンズ１０を移動させることができる。つまり、マーカＢの位置がより安定した画像を得ることができる。
【００３１】
また、上記実施形態においては、前記注目点がマーカであるとしたが、これに代えて、画像中の高輝度部分や特徴的な形状を有する部分などの特徴点であってもよい。
このようにすることでマーカＢが不要となり、マーカＢの付与による生体Ａへの影響をさらに少なくすることができる。
【００３２】
また、上記実施形態においては、予備観察として注目点の挙動１サイクルの履歴を記憶したが、これに代えて、複数サイクルの履歴を記憶し、動作推定部が履歴から統計的に生体の動作を推定してもよい。
【００３３】
このようにすることで、マーカＢがイレギュラーな挙動をしたときの履歴も記憶しておき、本観察でこのような挙動があってもその移動を推定することが可能になる。これにより、視野内でマーカＢの位置がずれる程度やその確率を減らし、より観察部位の位置が安定した画像を得ることができる。
【００３４】
また、上記実施形態においては、正立型顕微鏡をベースとし、撮像部としてＣＣＤカメラを用いることとしたが、これに代えて、レーザ走査型顕微鏡をベースとし、撮像部としてホトマルチプライヤ（ＰＭＴ）を用いてもよい。
この場合、撮像光学系４はさらに、ガルバノスキャナやメムススキャナ等の２次元走査手段を備え、光源８としてレーザ光源を用いる。
【００３５】
レーザ光源より出力されたレーザ光はガルバノスキャナによって１ピクセルずつ移動させられ、生体Ａ表面を走査する。そして、生体Ａ表面で励起された蛍光は対物レンズ１０によって集光されてＰＭＴで検出され、図示しない演算部、例えば、コンピュータによって、検出された蛍光の輝度と走査位置とが対応付けられて並べられ、画像が取得される。その後、上述した作用と同様に、注目点の位置の検出から移動機構９の制御まで一連の処理および制御が行われ、生体Ａを観察することができる。
【００３６】
なお、本実施形態においては、予備観察において所定時間間隔で取得した画像から抽出された注目点の位置を、画像が取得された順番とともに記憶することで履歴を記憶したが、これに代えて、画像の取得時刻あるいは相対時刻と対応づけて履歴としてもよい。
【００３７】
本発明の第２の実施形態に係る生体観察装置１について、図５〜図７を参照して以下に説明する。
なお、本実施形態の説明において、上述した第１の実施形態に係る生観察装置１と構成を共通とする箇所には同一の符号を付して説明を省略する。
【００３８】
本実施形態における生体試料観察装置１は、図５に示されるように、ベース１７上にＺ軸ステージ９ｃを介して配置されたＸＹステージ９ｄと、生体Ａを斜め上方から照明する光源８と、筐体３内部に配置された撮像光学系４と、筐体３外部に配置された対物レンズ１０および撮像部７と、移動機構制御システム１１とを備えている。
【００３９】
第１の実施形態においては、撮像部７ａ，７ｂとして、第１および第２のＣＣＤカメラ７ａ，７ｂを用い、それぞれ注目点の位置検出用と画像観察用とに用途を区別した。本実施形態においては、第２のＣＣＤカメラ７ｂは第１の実施形態と同様であるが、第１のＣＣＤカメラ７ａに代えてＣＣＤカメラの撮像機能部７ｃを用い、図６に示されるように、これと注目点位置検出部１３とを一つの構成にした画像検出システム１８を備えている。
【００４０】
注目点位置検出部１３は、第１の実施形態と同様に注目点のＸ，Ｙ位置を検出する。また、注目点位置検出部１３は、斜め上方から照明することにより生じる注目点の影の長さと方向からＺ方向の変位量を求め、Ｚ方向の初期位置からの変位量をＺ位置として検出する。そして、検出されたＸ，Ｙ，Ｚ位置を、画像を取得した順番に画像検出システム１８外部へ出力する。
【００４１】
対物レンズ１０で集光された光のうち一部は、第２のダイクロイックミラー４ｅで反射された後、第３の波長フィルタ４ｃを透過した波長の光のみがＣＣＤカメラ７ｂで検出される。また、対物レンズ１０で集光された光のうち他の一部は、第２のダイクロイックミラー４ｅおよび第２の波長フィルタ４ｂを透過した波長の光のみが画像検出システム１８で検出される。
【００４２】
ＸＹステージ９ｄは、生体Ａを載せるステージ２であると同時に、対物レンズ１０に対して移動する移動機構９である。
対物レンズ１０の視野は、ＸＹステージ９ｄを水平方向に、Ｚ軸ステージ９ｃをフォーカス方向に制御して生体Ａを移動させることにより選択する。
【００４３】
移動機構制御システム１１は、図７に示されるように、履歴記憶部１４と動作推定部１５と制御部１６とを備えており、画像検出システム１８並びに移動機構９であるＸＹステージ９ｄおよびＺ軸ステージ９ｃに接続されている。
履歴記憶部１４は、画像検出システム１８から送られてきた３次元位置情報に、各情報が送られてきた順番に対応する画像番号（取得時刻に関連する情報）をアドレスとして付し、これを履歴として記憶する。
【００４４】
本実施形態に係る生体観察装置１を用いて生体Ａを観察するには、生体ＡをＸＹステージ９ｄに載せて光源８により照明する。生体Ａは斜め上方から照明されているので、照明光は生体Ａの凹凸に応じた角度で反射される。反射光は対物レンズ１０で集光されてＣＣＤカメラ７ｂで検出され、図示しないモニタで生体Ａの画像を観察する。そして、第１の実施形態と同様に予備観察および本観察を行うと、生体Ａを観察することができる。
【００４５】
上記実施形態によれば、ＣＣＤカメラの撮像機能部７ｃと注目点位置検出部１３とを一つの構成にすることで、移動機構制御システム１１へ伝送する情報量を、画像１枚分からＸ，Ｙ，Ｚ位置情報のみへ減らすことができる。これにより、データの伝送および移動機構制御システム１１の処理速度を高速化して、ＣＣＤカメラ７ｂの撮像時間を短くして画像内のぶれを抑えることができると同時に、ＣＣＤカメラの撮像機能部７ｃの撮像の間隔を短くしてよりマーカＢの位置が安定した画像を取得できる。
【符号の説明】
【００４６】
１ 生体観察装置
２ ステージ
３ 筐体
４ 撮像光学系
４ａ，４ｂ，４ｃ 波長フィルタ
４ｄ，４ｅ ダイクロイックミラー
５ 支柱
６ アーム
７ａ 第１の撮像部（第１のＣＣＤカメラ）
７ｂ 第２の撮像部（第２のＣＣＤカメラ）
７ｃ ＣＣＤカメラの撮像機能部
８ 光源
９ 移動機構
９ａ Ｘ軸ステージ
９ｂ Ｙ軸ステージ
９ｃ Ｚ軸ステージ
９ｄ ＸＹステージ
１０ 対物レンズ（対物光学系）
１１ 移動機構制御システム
１２ コントローラ
１３ 注目点位置検出部
１４ 履歴記憶部
１５ 動作推定部
１６ 制御部
１７ ベース
１８ 画像検出システム
Ａ 生体
Ｂ マーカ
【特許請求の範囲】
【請求項１】
生体を載せるステージと、
前記生体からの光を集光する対物光学系と、
該対物光学系により集光された光を撮像する撮像部と、
前記対物光学系と前記ステージとを相対的に移動させる移動機構と、
前記撮像部により撮像された前記生体の画像内の注目点の位置を検出する注目点位置検出部と、
前記移動機構を停止させた状態で、前記注目点位置検出部により検出された注目点の位置と前記撮像部による画像取得の取得時刻に関する情報とを対応づけた履歴を記憶する履歴記憶部と、
前記撮像部により取得された画像内の前記注目点の現在位置と、前記履歴記憶部内に記憶されている履歴とに基づいて、所定時間後の前記生体の動作を推定する動作推定部と、
該動作推定部により推定された動作に従って前記対物光学系と前記ステージとを相対的に移動させるよう前記移動機構を制御する制御部とを備える生体観察装置。
【請求項２】
前記注目点位置検出部が、前記画像内の一部の範囲内において検出する請求項１に記載の生体観察装置。
【請求項３】
前記注目点が、前記生体の特徴点である請求項１または請求項２に記載の生体観察装置。
【請求項４】
前記履歴記憶部が、周期的な挙動を示す前記生体の複数サイクルの挙動について履歴を記憶し、
前記動作推定部が、前記履歴から統計的に前記生体の動作を推定する請求項１から請求項３のいずれかに記載の生体観察装置。
【請求項１】
生体を載せるステージと、
前記生体からの光を集光する対物光学系と、
該対物光学系により集光された光を撮像する撮像部と、
前記対物光学系と前記ステージとを相対的に移動させる移動機構と、
前記撮像部により撮像された前記生体の画像内の注目点の位置を検出する注目点位置検出部と、
前記移動機構を停止させた状態で、前記注目点位置検出部により検出された注目点の位置と前記撮像部による画像取得の取得時刻に関する情報とを対応づけた履歴を記憶する履歴記憶部と、
前記撮像部により取得された画像内の前記注目点の現在位置と、前記履歴記憶部内に記憶されている履歴とに基づいて、所定時間後の前記生体の動作を推定する動作推定部と、
該動作推定部により推定された動作に従って前記対物光学系と前記ステージとを相対的に移動させるよう前記移動機構を制御する制御部とを備える生体観察装置。
【請求項２】
前記注目点位置検出部が、前記画像内の一部の範囲内において検出する請求項１に記載の生体観察装置。
【請求項３】
前記注目点が、前記生体の特徴点である請求項１または請求項２に記載の生体観察装置。
【請求項４】
前記履歴記憶部が、周期的な挙動を示す前記生体の複数サイクルの挙動について履歴を記憶し、
前記動作推定部が、前記履歴から統計的に前記生体の動作を推定する請求項１から請求項３のいずれかに記載の生体観察装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１０−１６００２２（Ｐ２０１０−１６００２２Ａ）
【公開日】平成２２年７月２２日（２０１０．７．２２）
【国際特許分類】
【出願番号】特願２００９−１７１４（Ｐ２００９−１７１４）
【出願日】平成２１年１月７日（２００９．１．７）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２２年７月２２日（２０１０．７．２２）
【国際特許分類】
【出願日】平成２１年１月７日（２００９．１．７）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]