顕微鏡制御装置、顕微鏡装置、画像処理装置およびプログラム
【課題】被検物間の位置関係を把握しやすい画像表示を実現する。
【解決手段】顕微鏡制御装置の撮像部３７は、顕微鏡の対物レンズ３１によって結像された被検物の画像を撮像する。位置調整部５１は、対物レンズと被検物との相対位置を、対物レンズの光軸ＡＸと交差する方向に調整する。情報取得部５２は、被検物を撮像したときの対物レンズの光軸と交差する方向の撮像座標の情報を、画像に対応付けて取得する。表示制御部５４は、表示装置１４の表示領域に画像のみを表示させるとともに、表示領域内で撮像座標が写像される位置に画像のみを表示させる。
【解決手段】顕微鏡制御装置の撮像部３７は、顕微鏡の対物レンズ３１によって結像された被検物の画像を撮像する。位置調整部５１は、対物レンズと被検物との相対位置を、対物レンズの光軸ＡＸと交差する方向に調整する。情報取得部５２は、被検物を撮像したときの対物レンズの光軸と交差する方向の撮像座標の情報を、画像に対応付けて取得する。表示制御部５４は、表示装置１４の表示領域に画像のみを表示させるとともに、表示領域内で撮像座標が写像される位置に画像のみを表示させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顕微鏡制御装置、顕微鏡装置、画像処理装置およびプログラムに関する。
【背景技術】
【０００２】
従来から、細胞の多点タイムラプス観察を行うときに、顕微鏡で撮像された複数の画像を１画面内に格子状に配列して一括表示することが行われている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−２２０９０４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来の技術では、各々の画像が培養容器のどの部分の細胞を撮像したものかユーザが直感的に把握しづらい点で改善の余地があった。
【課題を解決するための手段】
【０００５】
本発明の一態様である顕微鏡制御装置は、撮像部と、位置調整部と、情報取得部と、表示制御部とを備える。撮像部は、顕微鏡の対物レンズによって結像された被検物の画像を撮像する。位置調整部は、対物レンズと被検物との相対位置を、対物レンズの光軸と交差する方向に調整する。情報取得部は、被検物を撮像したときの対物レンズの光軸と交差する方向の撮像座標の情報を、画像に対応付けて取得する。表示制御部は、表示装置の表示領域に画像のみを表示させるとともに、表示領域内で撮像座標が写像される位置に画像のみを表示させる。
【０００６】
本発明の他の態様である顕微鏡装置は、対物レンズと、移動ステージと、移動ステージを移動させるステージ駆動手段と、ステージ位置検出手段と、表示制御装置とを備える。移動ステージは、被検物を載置し、対物レンズの光軸に対して垂直方向に移動可能である。ステージ位置検出手段は、被検物を撮像する撮像位置である、対物レンズの光軸に対する垂直方向の移動ステージの位置を検出する。表示制御装置は、撮像装置で撮像された画像を表示装置に表示する際、ステージ位置検出手段で検出された撮像位置情報に基づき、撮像した画像のみを表示装置の表示領域に表示する。
【０００７】
本発明の他の態様である画像処理装置は、取得部と、表示制御部とを備える。取得部は、顕微鏡の対物レンズによって結像された被検物の画像と、被検物を撮像したときの対物レンズの光軸と交差する方向の撮像座標の情報とを対応付けして取得する。表示制御部は、表示装置の表示領域に画像のみを表示させるとともに、表示領域内で撮像座標の写像される位置に画像のみを表示させる。
【０００８】
なお、コンピュータを上記の顕微鏡制御装置または上記の画像処理装置として動作させるプログラムや、当該プログラムを記憶した記憶媒体や、上記の顕微鏡制御装置または上記の画像処理装置の動作を方法のカテゴリで表現したものは、いずれも本発明の具体的態様として有効である。
【発明の効果】
【０００９】
表示装置の表示領域内において撮像座標が写像される位置に画像を表示させることで、被検物間の位置関係を把握しやすい画像表示を実現する。
【図面の簡単な説明】
【００１０】
【図１】第１実施形態の顕微鏡システムの構成例を示す図
【図２】第１実施形態の顕微鏡システムにおけるタイムラプス観察での動作例を示す流れ図
【図３】（ａ），（ｂ）：図２の＃１０６での処理の概要図
【図４】画像の再生表示例を示す図
【図５】画像の再生表示例を示す図
【図６】画像の再生表示例を示す図
【図７】画像の再生表示例を示す図
【図８】第１実施形態の顕微鏡システムでの画像再生動作の例を示す流れ図
【図９】第２実施形態の画像処理装置の構成例を示す図
【図１０】培養装置を有する顕微鏡の構成例を示す図
【発明を実施するための形態】
【００１１】
＜第１実施形態の説明＞
図１は、顕微鏡装置および顕微鏡制御装置の一例である第１実施形態の顕微鏡システムの構成例を示す図である。
【００１２】
顕微鏡システムは、標本１が載置される移動ステージ１１と、顕微鏡装置１２と、コンピュータ１３と、画像を表示する表示装置１４と、画像等を記憶する記憶装置１５と、ユーザの入力を受け付ける入力装置１６とを有する。移動ステージ１１、顕微鏡装置１２、表示装置１４、記憶装置１５、入力装置１６は、それぞれコンピュータ１３に接続されている。また、一例として、第１実施形態での標本１は、観察対象の被検物（複数の細胞）が培地とともに収納された培養容器である。
【００１３】
移動ステージ１１は、顕微鏡の対物レンズ３１の光学系の光軸ＡＸに対して垂直な方向（図１に示すＸ方向およびＹ方向）へそれぞれ移動可能である。この移動により、標本１に対する顕微鏡の視野（観察領域）の位置調節や焦点調節が行われる。移動ステージ１１のＸＹ方向への駆動は、コンピュータ１３に接続されたモータユニット２１（位置調整手段、ステージ駆動手段）によって行われる。また、移動ステージ１１には、ステージのＸＹ方向位置を検出するエンコーダ２２（ステージ位置検出手段）が設けられており、このステージのＸＹ方向の位置情報はコンピュータ１３に入力される。
【００１４】
顕微鏡装置１２は、対物レンズ３１、焦点調節機構３２、励起光照明装置３３、蛍光フィルタブロック３４、第２対物レンズ３５、光路切替器３６、撮像部の一例としての撮像装置３７、透過照明装置４０、コンデンサレンズ４３を有している。このうち、透過照明装置４０およびコンデンサレンズ４３は、図１において培養容器の上方に配置され、それ以外の要素は図１において培養容器の下方に配置される。また、蛍光フィルタブロック３４には、ダイクロイックミラー、励起フィルタ、蛍光フィルタなどが装着されている。また、光路切替器３６は光路に対して挿脱可能なミラー３６ａを備えている。
【００１５】
対物レンズ３１は、焦点調節機構３２により光軸ＡＸの方向（図１に示すＺ方向）に移動可能である。このＺ方向への移動により、培養容器の細胞に対する対物レンズ３１の焦点調節が行われる。
【００１６】
透過照明装置４０は、光源４１およびコリメータレンズ４２を備え、明視野観察用の照明光束を出射する。なお、透過照明装置４０は、明視野観察時にオンされ、蛍光観察時にオフされる。また、励起光照明装置３３は、蛍光観察用の励起光束を出射する。励起光照明装置３３は、蛍光観察時にオンされ、明視野観察時にオフされる。
【００１７】
ここで、明視野観察時には、透過照明装置４０から射出した照明光束は、コンデンサレンズ４３を通り、標本１の観察領域を照明する。標本１を透過した光束は、対物レンズ３１に入射する。対物レンズ３１に入射した光束は、蛍光フィルタブロック３４、第２対物レンズ３５を通り、光路切替器３６へ入射する。光路切替器３６のミラー３６ａが光路に挿入されている場合、上記の光束はミラー３６ａで反射して不図示の接眼レンズへ導かれる。一方、光路切替器３６のミラー３６ａが光路から離脱されている場合、上記の光束は光路切替器３６を通過して撮像装置３７へ入射する。撮像装置３７へ入射した光束は、撮像装置３７内の撮像素子３７ａに観察領域の明視野像を形成する。撮像素子３７ａは、上記の明視野像を撮像して、画像のデータ（以下、「明視野画像」と称する）を取得する。
【００１８】
蛍光観察時には、励起光照明装置３３から射出した励起光束は、調光フィルタ３３ａ、蛍光フィルタブロック３４を通り、像側から対物レンズ３１へ入射すると、対物レンズ３１を介して標本１の観察領域を照射する。上記の励起光束に応じて標本１で発生した蛍光は、物体側から対物レンズ３１へ入射し、蛍光フィルタブロック３４、第２対物レンズ３５を通り、光路切替器３６へ入射する。光路切替器３６のミラー３６ａが光路に挿入されている場合、上記の光束はミラー３６ａで反射して不図示の接眼レンズへ導かれる。一方、光路切替器３６のミラー３６ａが光路から離脱されている場合、上記の光束は光路切替器３６を通過して撮像装置３７へ入射する。撮像装置３７へ入射した光束は、撮像装置３７内の撮像素子３７ａに観察領域の蛍光像を形成する。撮像素子３７ａは、上記の蛍光像を撮像して、画像のデータ（以下、「蛍光画像」と称する）を取得する。
【００１９】
本実施形態で説明する顕微鏡は倒立顕微鏡であるが、正立顕微鏡でもよい。
【００２０】
また、対物レンズ３１から撮像装置３７を結ぶ光路、及び対物レンズ３１から接眼レンズ（不図示）を結ぶ光路は観察光路と称する。この観察光路は、励起光照明装置３３と蛍光フィルタブロック３４と対物レンズ３１を結ぶ励起光照明光路と称する光路と一部共通する部分を有する。
【００２１】
蛍光フィルタブロック３４、第２対物レンズ３５及び光路切替器３６は、観察光路上に配置される。
【００２２】
また、透過照明装置と標本１までの光路は透過照明光路と称し、透過照明光路にはコリメータレンズが配置される。
【００２３】
コンピュータ１３は、顕微鏡システムの動作を統括的に制御するＣＰＵ１３ａと、不揮発性のメモリ１３ｂとを備えたモジュールである。ここで、第１実施形態でのコンピュータ１３は、顕微鏡装置１２を制御して、指定された撮像座標における細胞の明視野画像や蛍光画像を撮像する。このとき、コンピュータ１３は、一定時間おきに同じ細胞を継続的に撮像するタイムラプス観察を行うこともできる。コンピュータ１３は、複数の細胞について上記のタイムラプス観察を並行して行うことも可能である（多点タイムラプス観察）。
【００２４】
ＣＰＵ１３ａは、プログラムの実行により、位置調整部５１と、情報取得部５２と、追尾処理部５３と、表示制御部５４としてそれぞれ機能する。なお、上記のプログラムは、例えばメモリ１３ｂに記憶される。
【００２５】
位置調整部５１は、モータユニット２１を制御するドライバであって、顕微鏡の対物レンズの光学系と被検物（細胞）との相対位置を、光軸ＡＸと交差するＸＹ方向に調整する。このＸＹ方向の調整によりＸＹ方向の観察位置の移動が行われる。本実施形態では、移動ステージ１１のＸＹ方向の位置を調整するが、対物レンズ３１のＸＹ方向の位置調整を行うものでもよく、また、移動ステージ１１と対物レンズ３１の両者を移動させる構成とし、両者の位置調整を行うようにしてもよい。
【００２６】
情報取得部５２は、被検物（細胞）を撮像したときの撮像座標（移動ステージ１１のＸＹ座標）の情報と、撮像時刻の情報とを取得する。撮像座標および撮像時刻の各情報は、情報取得部５２により、各々の画像に対応付けされた状態で記録される。
【００２７】
追尾処理部５３は、細胞のタイムラプス観察を行うときに、撮像装置３７の撮像範囲を細胞のＸＹ方向の移動方向に追尾させる処理を行う。
【００２８】
表示制御部５４は、表示装置１４への画像の表示を制御する。なお、表示制御部５４の動作については後述する。
【００２９】
以下、第１実施形態の顕微鏡システムでの動作例を、タイムラプス観察での動作と、タイムラプス観察で取得した画像の再生動作とに分けてそれぞれ説明する。
【００３０】
（タイムラプス観察での動作）
図２は、第１実施形態の顕微鏡システムにおけるタイムラプス観察での動作例を示す流れ図である。
【００３１】
ステップ＃１０１：コンピュータ１３のＣＰＵ１３ａは、細胞の観察スケジュールを初期設定する。観察スケジュールは、タイムラプス観察の観察回数および観察のインターバルと、各観察時刻での撮像ポイント等とを示す情報である。
【００３２】
例えば、ＣＰＵ１３ａは、培養容器の観察スケジュールの項目として、以下の（１）〜（４）の入力を入力装置１６から受け付ける。
（１）培養容器上での撮像座標（Ｘ方向、Ｙ方向）
（２）観察方法（明視野／蛍光）
（３）対物レンズの倍率（２倍，４倍，１０倍，２０倍等）
（４）タイムラプス観察の時間間隔および観察回数
なお、上記（１）の撮像座標は、培養容器上で複数指定することができる。そして、ＣＰＵ１３ａは、上記の入力に基づいて観察スケジュールを設定する。観察スケジュールのデータは、ＣＰＵ１３ａの制御によってメモリ１３ｂに記憶される。
【００３３】
ステップ＃１０２：ＣＰＵ１３ａは、観察スケジュールと現在時刻とを比較して、培養容器の観察時刻が到来したか否かを判定する。上記要件を満たす場合（ＹＥＳ側）には＃１０３に処理が移行する。一方、上記要件を満たさない場合（ＮＯ側）、ＣＰＵ１３ａは次の観察時期まで待機する。
【００３４】
ステップ＃１０３：ＣＰＵ１３ａは、顕微鏡装置１２に対して細胞の撮像を指示する。このとき、位置調整部５１は、顕微鏡の対物レンズの光軸ＡＸの位置が撮像座標と合致するように、移動ステージ１１をＸＹ方向に移動させる。そして、撮像装置３７は、観察スケジュールの設定に基づいて、撮像座標の細胞の画像（明視野画像や蛍光画像）を撮像する。なお、撮像装置３７は、同じ撮像座標で明視野画像と蛍光画像とを撮像してもよい。また、撮像座標が複数設定されている場合、撮像装置３７は、各撮像座標に対応する細胞の画像をそれぞれ撮像する。
【００３５】
ステップ＃１０４：情報取得部５２は、＃１０３で撮像された細胞の画像のデータに、撮像条件を示す付帯情報を対応付けて記憶装置１５に記録する。上記の付帯情報は、観察時刻の情報、撮像座標の情報、画像の種別情報（明視野画像／蛍光画像）、観察対象の識別情報を含む。なお、観察対象の識別情報は細胞の同一性を示す識別符号であって、タイムラプス観察で同じ細胞を時系列に撮像したときには各画像間で同じ符号が付与される。
【００３６】
ステップ＃１０５：ＣＰＵ１３ａは、前回のタイムラプス観察で取得した画像が存在するか否かを判定する。上記要件を満たす場合（ＹＥＳ側）には＃１０６に処理が移行する。一方、上記要件を満たさない場合（初回観察の場合：ＮＯ側）には＃１０７に処理が移行する。
【００３７】
ステップ＃１０６：追尾処理部５３は、識別情報が共通で観察時刻が前後する２つの画像（今回および前回の観察で取得された画像）を比較して、細胞のＸＹ方向の移動量を求める。そして、追尾処理部５３は、細胞の移動量に応じて、次回観察での撮像装置３７の撮像範囲（観察視野）を変更する。なお、追尾処理部５３は、観察対象の識別情報ごとに、＃１０６の処理を実行するものとする。
【００３８】
一例として、＃１０６での追尾処理部５３は、上記の２つの画像でそれぞれ細胞の重心位置を求め、両者の重心位置のズレを算出する。そして、追尾処理部５３は、上記の重心位置のズレ（細胞の移動量）が相殺されるように、次回観察で適用される撮像座標を移動させる（図３（ａ）参照）。なお、２つの画像間で撮像座標が相違する場合（後述する細胞の追尾が行われている場合）、追尾処理部５３は、撮像座標を用いて２つの画像の相対位置を補正した状態で、上記の重心位置のズレ（細胞の移動量）を算出すればよい（図３（ｂ）参照）。
【００３９】
その後、追尾処理部５３は、細胞の識別情報に対応する観察スケジュールを参照し、次回観察で適用される撮像座標の情報を更新する。なお、次回観察時には更新後の撮像座標を基準として画像が撮像されるので、＃１０６での追尾処理部５３の処理により、撮像装置３７の撮像範囲は細胞を追尾するように移動することとなる。
【００４０】
ステップ＃１０７：ＣＰＵ１３ａは、観察スケジュールを参照して、タイムラプス観察が終了したか否かを判定する。上記要件を満たす場合（ＹＥＳ側）には図２の流れ図の処理が終了する。一方、上記要件を満たさない場合（ＮＯ側）には＃１０２に戻って上記の処理が繰り返される。
【００４１】
上記の＃１０２から＃１０７のループにより、撮像座標に対応する細胞について、細胞の動きを追尾しながらタイムラプス観察を行うことができる（＃１０６）。
【００４２】
（画像再生動作）
図４〜図７は、第１実施形態の顕微鏡システムにおける画像の再生表示例を示している。
【００４３】
第１実施形態の顕微鏡システムにおいて、上記のタイムラプス観察で取得した画像を再生するとき、表示制御部５４は、表示装置１４の表示領域（例えば表示画面上の１ウインドウ）に同時期に撮像された細胞の画像のみを表示させる。なお、表示領域に表示される画像は、明視野画像または蛍光画像のいずれでもよい。また、明視野画像と蛍光画像とを重畳させて表示領域に表示してもよい。表示画像を除く領域（表示画像のバックグラウンド）には、標本画像は表示しない。例えば、標本とは無関係な単色画像を表示したり、標本とは無関係な模様を表示する。つまり、表示領域には撮影した画像が撮像位置を加味し表示される。
【００４４】
このとき、表示制御部５４は、表示領域内で撮像座標が写像される位置に各々の画像を表示させる。つまり、表示領域内での細胞の画像の表示位置は、タイムラプス観察時における培養容器内での細胞の相対的な位置関係がそのまま反映される。通常、表示領域での画像の配置は、表示領域内で画像がランダムに分散したレイアウトになる。
【００４５】
例えば、ある観察時期の培養容器を平面視したときに、細胞Ａに対して斜め左下の近傍に細胞Ｂが位置し、細胞Ａに対して斜め右下の遠方に細胞Ｃが位置する状態で、各細胞が撮像された場合を考える。上記の観察時期に対応する画像が表示領域に表示されるとき、細胞Ｂの画像は細胞Ａの画像の斜め左下に一部が重なるように表示され、細胞Ｃの画像は細胞Ａの画像の斜め右下に離れて表示される（図４参照）。
【００４６】
かかる表示により、ユーザは、表示領域の画像から個々の細胞の状態を把握でき、同時に表示領域内での表示位置から細胞の相対位置を把握できる。
【００４７】
また、タイムラプス観察時に細胞を追尾させているため、表示制御部５４は、上記の表示領域での画像表示を観察時期に応じて時系列に切り替えることで、培養容器内での細胞の動きを動画表示することもできる。図５は、細胞の画像の動画表示の例を示している。
【００４８】
図５の例では、表示制御部５４の制御によって、時間Ｔ１〜Ｔ３の順に、撮像座標に応じて各細胞の画像（Ａ〜Ｃ）を表示領域に動画表示している。なお、細胞が移動している場合、表示領域での画像の表示位置は経時的に変化する。かかる表示により、ユーザはタイムラプス観察中での細胞の移動状態を把握できる。
【００４９】
ここで、表示制御部５４は、個々の細胞の識別を容易にするため、上記の動画表示を行うときに時間軸方向での細胞の共通性を示す識別表示を表示領域に表示させてもよい。一例として、表示制御部５４は、識別情報が共通する画像の外周を同色で強調表示してもよく、あるいは画像の周囲に識別情報に応じた文字やマークを表示してもよい。図４、図５の例では、上記の識別情報として文字（「ＣＥＬＬ＿Ａ」等）を表示した状態を示している。
【００５０】
また、表示制御部５４は、細胞の移動状態をより把握しやすくするために、上記の動画表示を行うときに、同じ細胞の経時的な位置変化を示す移動表示を表示領域に表示させてもよい。一例として、表示制御部５４は、時間Ｔ２での画像を表示するときに時間Ｔ１での画像の外縁を表示領域に重畳表示させる。そして、表示制御部５４は、時間Ｔ３での画像を表示するときに時間Ｔ１、Ｔ２での画像の外縁を表示領域に重畳表示させる（図５参照）。他の例として、表示制御部５４は、細胞の移動軌跡を示す線を表示領域に表示させてもよい（この場合の図示は省略する）。
【００５１】
また、表示制御部５４は、表示領域内で画像の表示倍率を変更するときの動作モードとして、第１ズームモードと第２ズームモードとを有している。ズームの動作は、ユーザの指示に応じて表示制御部５４が画像の再生時にリアルタイムに実行する。また、第１ズームモードと第２ズームモードとの切り替えは、ユーザの指示に応じて行われる。
【００５２】
図６は、上記の第１ズームモードでの表示例を示している。第１ズームモードでの表示制御部５４は、画像の表示倍率を変更するときに、表示領域での画像間の相対距離を表示倍率に応じて変更する。つまり、第１ズームモードでは各画像の大きさと画像間の相対距離がズームの前後で表示倍率に応じて変化する。なお、表示領域内に培養容器のすべての範囲を表示できない場合、表示制御部５４は表示領域で表示される範囲を切り替えるユーザインタフェース（例えばスクロールバー）を表示装置１４に表示してもよい。そして、ユーザは、上記のユーザインタフェースを用いて表示範囲を変更すればよい。
【００５３】
また、図７は、上記の第２ズームモードでの表示例を示している。第２ズームモードでの表示制御部５４は、画像の表示倍率を変更するときに、表示領域での画像間の相対距離を維持しつつ、表示倍率に応じて画像のみをズームさせる。つまり、第２ズームモードでの画像間の相対距離はズームの前後で変化しないが、第２ズームモードでの各画像の大きさはズームの前後で表示倍率に応じて変化する。
【００５４】
ここで、図８は、第１実施形態の顕微鏡システムでの画像再生動作の例を示す流れ図である。なお、図８の例では、上記のタイムラプス観察（図２）で取得された画像のデータが予め記憶装置１５に記録されていることを前提として説明を行う。
【００５５】
ステップ＃２０１：ＣＰＵ１３ａは、付帯情報の観察時刻を参照し、指定された観察時期に対応する細胞の画像を記憶装置１５から読み出して取得する。例えば、タイムラプス観察の画像を動画表示する場合、＃２０１の処理では１回目から最終回の観察時期がＣＰＵ１３ａによって順次指定される。
【００５６】
ステップ＃２０２：表示制御部５４は、付帯情報の撮像座標を参照し、＃２０１で取得した画像を表示装置１４の表示領域に表示させる。このとき、表示制御部５４は、表示領域内で撮像座標が写像される位置に各画像を表示させる。これにより、表示装置１４の表示領域には、細胞の画像が図４に示すように表示される。
【００５７】
ステップ＃２０３：表示制御部５４は、ユーザからズームの指示を受け付けたか否かを判定する。上記要件を満たす場合（ＹＥＳ側）には＃２０４に処理が移行する。一方、上記要件を満たさない場合（ＮＯ側）には＃２０５に処理が移行する。
【００５８】
ステップ＃２０４：表示制御部５４は、表示領域内での画像の表示倍率を変更するズーム動作を実行し、表示装置１４の表示を更新する。＃２０４でのズーム動作は、第１ズームモード（図６参照）であってもよく、第２ズームモード（図７参照）であってもよい。
【００５９】
ステップ＃２０５：表示制御部５４は、画像の再生表示を終了するか否かを判定する。例えば、タイムラプス観察の最終回の画像を現在再生している場合には次回に再生する画像がないので、表示制御部５４は画像の再生表示を終了すると判定する。また、再生終了の指示を受け付けた場合も、表示制御部５４は画像の再生表示を終了すると判定する。
【００６０】
上記要件を満たす場合（ＹＥＳ側）には、表示制御部５４は図８の画像再生動作を終了させる。
【００６１】
一方、上記要件を満たさない場合（ＮＯ側）には、＃２０１に戻って上記の動作が繰り返される。ループ後の＃２０１の処理では、次回の観察時期の画像がＣＰＵ１３ａによって読み込まれる。そして、ループ後の＃２０２の処理では、次回の観察時期の画像が表示領域に再生表示される。これにより、図５のような動画表示が行われることとなる。以上で、図８の画像再生動作の説明を終了する。
【００６２】
＜第２実施形態の説明＞
第２実施形態では、第１実施形態の顕微鏡システムで撮像された細胞の画像を外部から読み込んで、図４〜図７に示すような画像再生表示を行う例を説明する。
【００６３】
図９は、第２実施形態の画像処理装置の構成例を示す図である。図９に示す画像処理装置は、画像処理プログラムがインストールされたパーソナルコンピュータである。
【００６４】
図９の画像処理装置（コンピュータ）６１は、データ読込部６２、記憶装置６３、ＣＰＵ６４、メモリ６５および入出力Ｉ／Ｆ６６、バス６７を有している。データ読込部６２、記憶装置６３、ＣＰＵ６４、メモリ６５および入出力Ｉ／Ｆ６６は、バス６７を介して相互に接続されている。さらに、コンピュータ６１には、入出力Ｉ／Ｆ６６を介して、入力デバイス６８（キーボード、ポインティングデバイスなど）と、表示装置の一例であるモニタ６９とがそれぞれ接続されている。なお、入出力Ｉ／Ｆ６６は、入力デバイス６８からの各種入力を受け付けるとともに、モニタ６９に対して表示用のデータを出力する。
【００６５】
データ読込部６２は、画像のデータや、プログラムを外部から読み込むときに用いられる。例えば、データ読込部６２は、着脱可能な記憶媒体からデータを取得する読込デバイス（光ディスク、磁気ディスク、光磁気ディスクの読込装置など）や、公知の通信規格に準拠して外部の装置と通信を行う通信デバイス（ＵＳＢインターフェース、ＬＡＮモジュール、無線ＬＡＮモジュールなど）である。なお、第２実施形態でのデータ読込部６２は、第１実施形態の顕微鏡システムから、画像のデータを付帯情報とともに取得する取得部として機能する。
【００６６】
記憶装置６３は、例えば、ハードディスクや、不揮発性の半導体メモリなどの記憶媒体で構成される。この記憶装置６３には、画像処理プログラムが記録される。なお、記憶装置６３には、データ読込部６２から読み込んだ画像のデータを記憶しておくこともできる。
【００６７】
ＣＰＵ６４は、コンピュータの各部を統括的に制御するプロセッサである。このＣＰＵ６４は、画像処理プログラムの実行によって、第１実施形態の表示制御部５４として動作する。
【００６８】
メモリ６５は、画像処理プログラムでの各種演算結果を一時的に記憶する。このメモリ６５は、例えば揮発性のＳＤＲＡＭである。
【００６９】
なお、第２実施形態の画像処理装置での画像再生動作は、画像処理装置が細胞の画像のデータおよび付帯情報をデータ読込部６２から取得する点を除いて、図８の流れ図と共通するので説明を省略する。かかる第２実施形態の画像再生動作においても、上記の第１実施形態の画像の再生動作とほぼ同様の効果を得ることができる。
【００７０】
＜実施形態の補足事項＞
（補足１）上記実施形態での明視野画像は、位相差観察法、微分干渉観察法、偏光観察法などで撮像された画像であってもよい。また、上記実施形態において、観察対象となる被検物は細胞に限定されない。
【００７１】
（補足２）本発明の顕微鏡は、少なくとも観察標本を設置する領域の環境（温度、湿度、酸素濃度、二酸化炭素濃度等）が一定の環境となるチャンバーを備え、培養中の生きた標本を観察可能な培養装置を備えた顕微鏡でもよい。
【００７２】
図１０に、培養装置を有する顕微鏡の構成例を示す。なお、図１０において、図１と共通の要素には同一符号を付して重複説明は省略する。図１０では、顕微鏡装置１２がチャンバー７０に収容される。チャンバー７０の内部雰囲気は、コンピュータ１３に制御された環境制御装置７１によって、細胞の培養に適した環境条件（例えば、温度３７℃、湿度９０％、ＣＯ2濃度５％）に維持される。
【００７３】
（補足３）上記実施形態では、位置調整部５１、情報取得部５２、追尾処理部５３、表示制御部５４の各機能をプログラムによってソフトウエア的に実現する例を説明した。しかし、本発明において、位置調整部５１、情報取得部５２、追尾処理部５３、表示制御部５４の機能をＡＳＩＣでハードウエア的に実現しても勿論かまわない。
【００７４】
以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図する。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物によることも可能である。
【符号の説明】
【００７５】
１…標本、１１…移動ステージ、１２…顕微鏡装置、１３…コンピュータ、１３ａ…ＣＰＵ、１３ｂ…メモリ、１４…表示装置、１５…記憶装置、１６…入力装置、２１…モータユニット、２２…エンコーダ、３１…対物レンズ、３２…焦点調節機構、３３…励起光照明装置、３３ａ…調光フィルタ、３４…蛍光フィルタブロック、３５…第２対物レンズ、３６…光路切替器、３６ａ…ミラー、３７…撮像装置、３７ａ…撮像素子、４０…透過照明装置、４１…光源、４２…コリメータレンズ、４３…コンデンサレンズ、５１…位置調整部、５２…情報取得部、５３…追尾処理部、５４…表示制御部、６１…コンピュータ、６２…データ読込部、６３…記憶装置、６４…ＣＰＵ、６５…メモリ、６６…入出力Ｉ／Ｆ、６７…バス、６８…入力デバイス、６９…モニタ、７０…チャンバー、７１…環境制御装置
【技術分野】
【０００１】
本発明は、顕微鏡制御装置、顕微鏡装置、画像処理装置およびプログラムに関する。
【背景技術】
【０００２】
従来から、細胞の多点タイムラプス観察を行うときに、顕微鏡で撮像された複数の画像を１画面内に格子状に配列して一括表示することが行われている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−２２０９０４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来の技術では、各々の画像が培養容器のどの部分の細胞を撮像したものかユーザが直感的に把握しづらい点で改善の余地があった。
【課題を解決するための手段】
【０００５】
本発明の一態様である顕微鏡制御装置は、撮像部と、位置調整部と、情報取得部と、表示制御部とを備える。撮像部は、顕微鏡の対物レンズによって結像された被検物の画像を撮像する。位置調整部は、対物レンズと被検物との相対位置を、対物レンズの光軸と交差する方向に調整する。情報取得部は、被検物を撮像したときの対物レンズの光軸と交差する方向の撮像座標の情報を、画像に対応付けて取得する。表示制御部は、表示装置の表示領域に画像のみを表示させるとともに、表示領域内で撮像座標が写像される位置に画像のみを表示させる。
【０００６】
本発明の他の態様である顕微鏡装置は、対物レンズと、移動ステージと、移動ステージを移動させるステージ駆動手段と、ステージ位置検出手段と、表示制御装置とを備える。移動ステージは、被検物を載置し、対物レンズの光軸に対して垂直方向に移動可能である。ステージ位置検出手段は、被検物を撮像する撮像位置である、対物レンズの光軸に対する垂直方向の移動ステージの位置を検出する。表示制御装置は、撮像装置で撮像された画像を表示装置に表示する際、ステージ位置検出手段で検出された撮像位置情報に基づき、撮像した画像のみを表示装置の表示領域に表示する。
【０００７】
本発明の他の態様である画像処理装置は、取得部と、表示制御部とを備える。取得部は、顕微鏡の対物レンズによって結像された被検物の画像と、被検物を撮像したときの対物レンズの光軸と交差する方向の撮像座標の情報とを対応付けして取得する。表示制御部は、表示装置の表示領域に画像のみを表示させるとともに、表示領域内で撮像座標の写像される位置に画像のみを表示させる。
【０００８】
なお、コンピュータを上記の顕微鏡制御装置または上記の画像処理装置として動作させるプログラムや、当該プログラムを記憶した記憶媒体や、上記の顕微鏡制御装置または上記の画像処理装置の動作を方法のカテゴリで表現したものは、いずれも本発明の具体的態様として有効である。
【発明の効果】
【０００９】
表示装置の表示領域内において撮像座標が写像される位置に画像を表示させることで、被検物間の位置関係を把握しやすい画像表示を実現する。
【図面の簡単な説明】
【００１０】
【図１】第１実施形態の顕微鏡システムの構成例を示す図
【図２】第１実施形態の顕微鏡システムにおけるタイムラプス観察での動作例を示す流れ図
【図３】（ａ），（ｂ）：図２の＃１０６での処理の概要図
【図４】画像の再生表示例を示す図
【図５】画像の再生表示例を示す図
【図６】画像の再生表示例を示す図
【図７】画像の再生表示例を示す図
【図８】第１実施形態の顕微鏡システムでの画像再生動作の例を示す流れ図
【図９】第２実施形態の画像処理装置の構成例を示す図
【図１０】培養装置を有する顕微鏡の構成例を示す図
【発明を実施するための形態】
【００１１】
＜第１実施形態の説明＞
図１は、顕微鏡装置および顕微鏡制御装置の一例である第１実施形態の顕微鏡システムの構成例を示す図である。
【００１２】
顕微鏡システムは、標本１が載置される移動ステージ１１と、顕微鏡装置１２と、コンピュータ１３と、画像を表示する表示装置１４と、画像等を記憶する記憶装置１５と、ユーザの入力を受け付ける入力装置１６とを有する。移動ステージ１１、顕微鏡装置１２、表示装置１４、記憶装置１５、入力装置１６は、それぞれコンピュータ１３に接続されている。また、一例として、第１実施形態での標本１は、観察対象の被検物（複数の細胞）が培地とともに収納された培養容器である。
【００１３】
移動ステージ１１は、顕微鏡の対物レンズ３１の光学系の光軸ＡＸに対して垂直な方向（図１に示すＸ方向およびＹ方向）へそれぞれ移動可能である。この移動により、標本１に対する顕微鏡の視野（観察領域）の位置調節や焦点調節が行われる。移動ステージ１１のＸＹ方向への駆動は、コンピュータ１３に接続されたモータユニット２１（位置調整手段、ステージ駆動手段）によって行われる。また、移動ステージ１１には、ステージのＸＹ方向位置を検出するエンコーダ２２（ステージ位置検出手段）が設けられており、このステージのＸＹ方向の位置情報はコンピュータ１３に入力される。
【００１４】
顕微鏡装置１２は、対物レンズ３１、焦点調節機構３２、励起光照明装置３３、蛍光フィルタブロック３４、第２対物レンズ３５、光路切替器３６、撮像部の一例としての撮像装置３７、透過照明装置４０、コンデンサレンズ４３を有している。このうち、透過照明装置４０およびコンデンサレンズ４３は、図１において培養容器の上方に配置され、それ以外の要素は図１において培養容器の下方に配置される。また、蛍光フィルタブロック３４には、ダイクロイックミラー、励起フィルタ、蛍光フィルタなどが装着されている。また、光路切替器３６は光路に対して挿脱可能なミラー３６ａを備えている。
【００１５】
対物レンズ３１は、焦点調節機構３２により光軸ＡＸの方向（図１に示すＺ方向）に移動可能である。このＺ方向への移動により、培養容器の細胞に対する対物レンズ３１の焦点調節が行われる。
【００１６】
透過照明装置４０は、光源４１およびコリメータレンズ４２を備え、明視野観察用の照明光束を出射する。なお、透過照明装置４０は、明視野観察時にオンされ、蛍光観察時にオフされる。また、励起光照明装置３３は、蛍光観察用の励起光束を出射する。励起光照明装置３３は、蛍光観察時にオンされ、明視野観察時にオフされる。
【００１７】
ここで、明視野観察時には、透過照明装置４０から射出した照明光束は、コンデンサレンズ４３を通り、標本１の観察領域を照明する。標本１を透過した光束は、対物レンズ３１に入射する。対物レンズ３１に入射した光束は、蛍光フィルタブロック３４、第２対物レンズ３５を通り、光路切替器３６へ入射する。光路切替器３６のミラー３６ａが光路に挿入されている場合、上記の光束はミラー３６ａで反射して不図示の接眼レンズへ導かれる。一方、光路切替器３６のミラー３６ａが光路から離脱されている場合、上記の光束は光路切替器３６を通過して撮像装置３７へ入射する。撮像装置３７へ入射した光束は、撮像装置３７内の撮像素子３７ａに観察領域の明視野像を形成する。撮像素子３７ａは、上記の明視野像を撮像して、画像のデータ（以下、「明視野画像」と称する）を取得する。
【００１８】
蛍光観察時には、励起光照明装置３３から射出した励起光束は、調光フィルタ３３ａ、蛍光フィルタブロック３４を通り、像側から対物レンズ３１へ入射すると、対物レンズ３１を介して標本１の観察領域を照射する。上記の励起光束に応じて標本１で発生した蛍光は、物体側から対物レンズ３１へ入射し、蛍光フィルタブロック３４、第２対物レンズ３５を通り、光路切替器３６へ入射する。光路切替器３６のミラー３６ａが光路に挿入されている場合、上記の光束はミラー３６ａで反射して不図示の接眼レンズへ導かれる。一方、光路切替器３６のミラー３６ａが光路から離脱されている場合、上記の光束は光路切替器３６を通過して撮像装置３７へ入射する。撮像装置３７へ入射した光束は、撮像装置３７内の撮像素子３７ａに観察領域の蛍光像を形成する。撮像素子３７ａは、上記の蛍光像を撮像して、画像のデータ（以下、「蛍光画像」と称する）を取得する。
【００１９】
本実施形態で説明する顕微鏡は倒立顕微鏡であるが、正立顕微鏡でもよい。
【００２０】
また、対物レンズ３１から撮像装置３７を結ぶ光路、及び対物レンズ３１から接眼レンズ（不図示）を結ぶ光路は観察光路と称する。この観察光路は、励起光照明装置３３と蛍光フィルタブロック３４と対物レンズ３１を結ぶ励起光照明光路と称する光路と一部共通する部分を有する。
【００２１】
蛍光フィルタブロック３４、第２対物レンズ３５及び光路切替器３６は、観察光路上に配置される。
【００２２】
また、透過照明装置と標本１までの光路は透過照明光路と称し、透過照明光路にはコリメータレンズが配置される。
【００２３】
コンピュータ１３は、顕微鏡システムの動作を統括的に制御するＣＰＵ１３ａと、不揮発性のメモリ１３ｂとを備えたモジュールである。ここで、第１実施形態でのコンピュータ１３は、顕微鏡装置１２を制御して、指定された撮像座標における細胞の明視野画像や蛍光画像を撮像する。このとき、コンピュータ１３は、一定時間おきに同じ細胞を継続的に撮像するタイムラプス観察を行うこともできる。コンピュータ１３は、複数の細胞について上記のタイムラプス観察を並行して行うことも可能である（多点タイムラプス観察）。
【００２４】
ＣＰＵ１３ａは、プログラムの実行により、位置調整部５１と、情報取得部５２と、追尾処理部５３と、表示制御部５４としてそれぞれ機能する。なお、上記のプログラムは、例えばメモリ１３ｂに記憶される。
【００２５】
位置調整部５１は、モータユニット２１を制御するドライバであって、顕微鏡の対物レンズの光学系と被検物（細胞）との相対位置を、光軸ＡＸと交差するＸＹ方向に調整する。このＸＹ方向の調整によりＸＹ方向の観察位置の移動が行われる。本実施形態では、移動ステージ１１のＸＹ方向の位置を調整するが、対物レンズ３１のＸＹ方向の位置調整を行うものでもよく、また、移動ステージ１１と対物レンズ３１の両者を移動させる構成とし、両者の位置調整を行うようにしてもよい。
【００２６】
情報取得部５２は、被検物（細胞）を撮像したときの撮像座標（移動ステージ１１のＸＹ座標）の情報と、撮像時刻の情報とを取得する。撮像座標および撮像時刻の各情報は、情報取得部５２により、各々の画像に対応付けされた状態で記録される。
【００２７】
追尾処理部５３は、細胞のタイムラプス観察を行うときに、撮像装置３７の撮像範囲を細胞のＸＹ方向の移動方向に追尾させる処理を行う。
【００２８】
表示制御部５４は、表示装置１４への画像の表示を制御する。なお、表示制御部５４の動作については後述する。
【００２９】
以下、第１実施形態の顕微鏡システムでの動作例を、タイムラプス観察での動作と、タイムラプス観察で取得した画像の再生動作とに分けてそれぞれ説明する。
【００３０】
（タイムラプス観察での動作）
図２は、第１実施形態の顕微鏡システムにおけるタイムラプス観察での動作例を示す流れ図である。
【００３１】
ステップ＃１０１：コンピュータ１３のＣＰＵ１３ａは、細胞の観察スケジュールを初期設定する。観察スケジュールは、タイムラプス観察の観察回数および観察のインターバルと、各観察時刻での撮像ポイント等とを示す情報である。
【００３２】
例えば、ＣＰＵ１３ａは、培養容器の観察スケジュールの項目として、以下の（１）〜（４）の入力を入力装置１６から受け付ける。
（１）培養容器上での撮像座標（Ｘ方向、Ｙ方向）
（２）観察方法（明視野／蛍光）
（３）対物レンズの倍率（２倍，４倍，１０倍，２０倍等）
（４）タイムラプス観察の時間間隔および観察回数
なお、上記（１）の撮像座標は、培養容器上で複数指定することができる。そして、ＣＰＵ１３ａは、上記の入力に基づいて観察スケジュールを設定する。観察スケジュールのデータは、ＣＰＵ１３ａの制御によってメモリ１３ｂに記憶される。
【００３３】
ステップ＃１０２：ＣＰＵ１３ａは、観察スケジュールと現在時刻とを比較して、培養容器の観察時刻が到来したか否かを判定する。上記要件を満たす場合（ＹＥＳ側）には＃１０３に処理が移行する。一方、上記要件を満たさない場合（ＮＯ側）、ＣＰＵ１３ａは次の観察時期まで待機する。
【００３４】
ステップ＃１０３：ＣＰＵ１３ａは、顕微鏡装置１２に対して細胞の撮像を指示する。このとき、位置調整部５１は、顕微鏡の対物レンズの光軸ＡＸの位置が撮像座標と合致するように、移動ステージ１１をＸＹ方向に移動させる。そして、撮像装置３７は、観察スケジュールの設定に基づいて、撮像座標の細胞の画像（明視野画像や蛍光画像）を撮像する。なお、撮像装置３７は、同じ撮像座標で明視野画像と蛍光画像とを撮像してもよい。また、撮像座標が複数設定されている場合、撮像装置３７は、各撮像座標に対応する細胞の画像をそれぞれ撮像する。
【００３５】
ステップ＃１０４：情報取得部５２は、＃１０３で撮像された細胞の画像のデータに、撮像条件を示す付帯情報を対応付けて記憶装置１５に記録する。上記の付帯情報は、観察時刻の情報、撮像座標の情報、画像の種別情報（明視野画像／蛍光画像）、観察対象の識別情報を含む。なお、観察対象の識別情報は細胞の同一性を示す識別符号であって、タイムラプス観察で同じ細胞を時系列に撮像したときには各画像間で同じ符号が付与される。
【００３６】
ステップ＃１０５：ＣＰＵ１３ａは、前回のタイムラプス観察で取得した画像が存在するか否かを判定する。上記要件を満たす場合（ＹＥＳ側）には＃１０６に処理が移行する。一方、上記要件を満たさない場合（初回観察の場合：ＮＯ側）には＃１０７に処理が移行する。
【００３７】
ステップ＃１０６：追尾処理部５３は、識別情報が共通で観察時刻が前後する２つの画像（今回および前回の観察で取得された画像）を比較して、細胞のＸＹ方向の移動量を求める。そして、追尾処理部５３は、細胞の移動量に応じて、次回観察での撮像装置３７の撮像範囲（観察視野）を変更する。なお、追尾処理部５３は、観察対象の識別情報ごとに、＃１０６の処理を実行するものとする。
【００３８】
一例として、＃１０６での追尾処理部５３は、上記の２つの画像でそれぞれ細胞の重心位置を求め、両者の重心位置のズレを算出する。そして、追尾処理部５３は、上記の重心位置のズレ（細胞の移動量）が相殺されるように、次回観察で適用される撮像座標を移動させる（図３（ａ）参照）。なお、２つの画像間で撮像座標が相違する場合（後述する細胞の追尾が行われている場合）、追尾処理部５３は、撮像座標を用いて２つの画像の相対位置を補正した状態で、上記の重心位置のズレ（細胞の移動量）を算出すればよい（図３（ｂ）参照）。
【００３９】
その後、追尾処理部５３は、細胞の識別情報に対応する観察スケジュールを参照し、次回観察で適用される撮像座標の情報を更新する。なお、次回観察時には更新後の撮像座標を基準として画像が撮像されるので、＃１０６での追尾処理部５３の処理により、撮像装置３７の撮像範囲は細胞を追尾するように移動することとなる。
【００４０】
ステップ＃１０７：ＣＰＵ１３ａは、観察スケジュールを参照して、タイムラプス観察が終了したか否かを判定する。上記要件を満たす場合（ＹＥＳ側）には図２の流れ図の処理が終了する。一方、上記要件を満たさない場合（ＮＯ側）には＃１０２に戻って上記の処理が繰り返される。
【００４１】
上記の＃１０２から＃１０７のループにより、撮像座標に対応する細胞について、細胞の動きを追尾しながらタイムラプス観察を行うことができる（＃１０６）。
【００４２】
（画像再生動作）
図４〜図７は、第１実施形態の顕微鏡システムにおける画像の再生表示例を示している。
【００４３】
第１実施形態の顕微鏡システムにおいて、上記のタイムラプス観察で取得した画像を再生するとき、表示制御部５４は、表示装置１４の表示領域（例えば表示画面上の１ウインドウ）に同時期に撮像された細胞の画像のみを表示させる。なお、表示領域に表示される画像は、明視野画像または蛍光画像のいずれでもよい。また、明視野画像と蛍光画像とを重畳させて表示領域に表示してもよい。表示画像を除く領域（表示画像のバックグラウンド）には、標本画像は表示しない。例えば、標本とは無関係な単色画像を表示したり、標本とは無関係な模様を表示する。つまり、表示領域には撮影した画像が撮像位置を加味し表示される。
【００４４】
このとき、表示制御部５４は、表示領域内で撮像座標が写像される位置に各々の画像を表示させる。つまり、表示領域内での細胞の画像の表示位置は、タイムラプス観察時における培養容器内での細胞の相対的な位置関係がそのまま反映される。通常、表示領域での画像の配置は、表示領域内で画像がランダムに分散したレイアウトになる。
【００４５】
例えば、ある観察時期の培養容器を平面視したときに、細胞Ａに対して斜め左下の近傍に細胞Ｂが位置し、細胞Ａに対して斜め右下の遠方に細胞Ｃが位置する状態で、各細胞が撮像された場合を考える。上記の観察時期に対応する画像が表示領域に表示されるとき、細胞Ｂの画像は細胞Ａの画像の斜め左下に一部が重なるように表示され、細胞Ｃの画像は細胞Ａの画像の斜め右下に離れて表示される（図４参照）。
【００４６】
かかる表示により、ユーザは、表示領域の画像から個々の細胞の状態を把握でき、同時に表示領域内での表示位置から細胞の相対位置を把握できる。
【００４７】
また、タイムラプス観察時に細胞を追尾させているため、表示制御部５４は、上記の表示領域での画像表示を観察時期に応じて時系列に切り替えることで、培養容器内での細胞の動きを動画表示することもできる。図５は、細胞の画像の動画表示の例を示している。
【００４８】
図５の例では、表示制御部５４の制御によって、時間Ｔ１〜Ｔ３の順に、撮像座標に応じて各細胞の画像（Ａ〜Ｃ）を表示領域に動画表示している。なお、細胞が移動している場合、表示領域での画像の表示位置は経時的に変化する。かかる表示により、ユーザはタイムラプス観察中での細胞の移動状態を把握できる。
【００４９】
ここで、表示制御部５４は、個々の細胞の識別を容易にするため、上記の動画表示を行うときに時間軸方向での細胞の共通性を示す識別表示を表示領域に表示させてもよい。一例として、表示制御部５４は、識別情報が共通する画像の外周を同色で強調表示してもよく、あるいは画像の周囲に識別情報に応じた文字やマークを表示してもよい。図４、図５の例では、上記の識別情報として文字（「ＣＥＬＬ＿Ａ」等）を表示した状態を示している。
【００５０】
また、表示制御部５４は、細胞の移動状態をより把握しやすくするために、上記の動画表示を行うときに、同じ細胞の経時的な位置変化を示す移動表示を表示領域に表示させてもよい。一例として、表示制御部５４は、時間Ｔ２での画像を表示するときに時間Ｔ１での画像の外縁を表示領域に重畳表示させる。そして、表示制御部５４は、時間Ｔ３での画像を表示するときに時間Ｔ１、Ｔ２での画像の外縁を表示領域に重畳表示させる（図５参照）。他の例として、表示制御部５４は、細胞の移動軌跡を示す線を表示領域に表示させてもよい（この場合の図示は省略する）。
【００５１】
また、表示制御部５４は、表示領域内で画像の表示倍率を変更するときの動作モードとして、第１ズームモードと第２ズームモードとを有している。ズームの動作は、ユーザの指示に応じて表示制御部５４が画像の再生時にリアルタイムに実行する。また、第１ズームモードと第２ズームモードとの切り替えは、ユーザの指示に応じて行われる。
【００５２】
図６は、上記の第１ズームモードでの表示例を示している。第１ズームモードでの表示制御部５４は、画像の表示倍率を変更するときに、表示領域での画像間の相対距離を表示倍率に応じて変更する。つまり、第１ズームモードでは各画像の大きさと画像間の相対距離がズームの前後で表示倍率に応じて変化する。なお、表示領域内に培養容器のすべての範囲を表示できない場合、表示制御部５４は表示領域で表示される範囲を切り替えるユーザインタフェース（例えばスクロールバー）を表示装置１４に表示してもよい。そして、ユーザは、上記のユーザインタフェースを用いて表示範囲を変更すればよい。
【００５３】
また、図７は、上記の第２ズームモードでの表示例を示している。第２ズームモードでの表示制御部５４は、画像の表示倍率を変更するときに、表示領域での画像間の相対距離を維持しつつ、表示倍率に応じて画像のみをズームさせる。つまり、第２ズームモードでの画像間の相対距離はズームの前後で変化しないが、第２ズームモードでの各画像の大きさはズームの前後で表示倍率に応じて変化する。
【００５４】
ここで、図８は、第１実施形態の顕微鏡システムでの画像再生動作の例を示す流れ図である。なお、図８の例では、上記のタイムラプス観察（図２）で取得された画像のデータが予め記憶装置１５に記録されていることを前提として説明を行う。
【００５５】
ステップ＃２０１：ＣＰＵ１３ａは、付帯情報の観察時刻を参照し、指定された観察時期に対応する細胞の画像を記憶装置１５から読み出して取得する。例えば、タイムラプス観察の画像を動画表示する場合、＃２０１の処理では１回目から最終回の観察時期がＣＰＵ１３ａによって順次指定される。
【００５６】
ステップ＃２０２：表示制御部５４は、付帯情報の撮像座標を参照し、＃２０１で取得した画像を表示装置１４の表示領域に表示させる。このとき、表示制御部５４は、表示領域内で撮像座標が写像される位置に各画像を表示させる。これにより、表示装置１４の表示領域には、細胞の画像が図４に示すように表示される。
【００５７】
ステップ＃２０３：表示制御部５４は、ユーザからズームの指示を受け付けたか否かを判定する。上記要件を満たす場合（ＹＥＳ側）には＃２０４に処理が移行する。一方、上記要件を満たさない場合（ＮＯ側）には＃２０５に処理が移行する。
【００５８】
ステップ＃２０４：表示制御部５４は、表示領域内での画像の表示倍率を変更するズーム動作を実行し、表示装置１４の表示を更新する。＃２０４でのズーム動作は、第１ズームモード（図６参照）であってもよく、第２ズームモード（図７参照）であってもよい。
【００５９】
ステップ＃２０５：表示制御部５４は、画像の再生表示を終了するか否かを判定する。例えば、タイムラプス観察の最終回の画像を現在再生している場合には次回に再生する画像がないので、表示制御部５４は画像の再生表示を終了すると判定する。また、再生終了の指示を受け付けた場合も、表示制御部５４は画像の再生表示を終了すると判定する。
【００６０】
上記要件を満たす場合（ＹＥＳ側）には、表示制御部５４は図８の画像再生動作を終了させる。
【００６１】
一方、上記要件を満たさない場合（ＮＯ側）には、＃２０１に戻って上記の動作が繰り返される。ループ後の＃２０１の処理では、次回の観察時期の画像がＣＰＵ１３ａによって読み込まれる。そして、ループ後の＃２０２の処理では、次回の観察時期の画像が表示領域に再生表示される。これにより、図５のような動画表示が行われることとなる。以上で、図８の画像再生動作の説明を終了する。
【００６２】
＜第２実施形態の説明＞
第２実施形態では、第１実施形態の顕微鏡システムで撮像された細胞の画像を外部から読み込んで、図４〜図７に示すような画像再生表示を行う例を説明する。
【００６３】
図９は、第２実施形態の画像処理装置の構成例を示す図である。図９に示す画像処理装置は、画像処理プログラムがインストールされたパーソナルコンピュータである。
【００６４】
図９の画像処理装置（コンピュータ）６１は、データ読込部６２、記憶装置６３、ＣＰＵ６４、メモリ６５および入出力Ｉ／Ｆ６６、バス６７を有している。データ読込部６２、記憶装置６３、ＣＰＵ６４、メモリ６５および入出力Ｉ／Ｆ６６は、バス６７を介して相互に接続されている。さらに、コンピュータ６１には、入出力Ｉ／Ｆ６６を介して、入力デバイス６８（キーボード、ポインティングデバイスなど）と、表示装置の一例であるモニタ６９とがそれぞれ接続されている。なお、入出力Ｉ／Ｆ６６は、入力デバイス６８からの各種入力を受け付けるとともに、モニタ６９に対して表示用のデータを出力する。
【００６５】
データ読込部６２は、画像のデータや、プログラムを外部から読み込むときに用いられる。例えば、データ読込部６２は、着脱可能な記憶媒体からデータを取得する読込デバイス（光ディスク、磁気ディスク、光磁気ディスクの読込装置など）や、公知の通信規格に準拠して外部の装置と通信を行う通信デバイス（ＵＳＢインターフェース、ＬＡＮモジュール、無線ＬＡＮモジュールなど）である。なお、第２実施形態でのデータ読込部６２は、第１実施形態の顕微鏡システムから、画像のデータを付帯情報とともに取得する取得部として機能する。
【００６６】
記憶装置６３は、例えば、ハードディスクや、不揮発性の半導体メモリなどの記憶媒体で構成される。この記憶装置６３には、画像処理プログラムが記録される。なお、記憶装置６３には、データ読込部６２から読み込んだ画像のデータを記憶しておくこともできる。
【００６７】
ＣＰＵ６４は、コンピュータの各部を統括的に制御するプロセッサである。このＣＰＵ６４は、画像処理プログラムの実行によって、第１実施形態の表示制御部５４として動作する。
【００６８】
メモリ６５は、画像処理プログラムでの各種演算結果を一時的に記憶する。このメモリ６５は、例えば揮発性のＳＤＲＡＭである。
【００６９】
なお、第２実施形態の画像処理装置での画像再生動作は、画像処理装置が細胞の画像のデータおよび付帯情報をデータ読込部６２から取得する点を除いて、図８の流れ図と共通するので説明を省略する。かかる第２実施形態の画像再生動作においても、上記の第１実施形態の画像の再生動作とほぼ同様の効果を得ることができる。
【００７０】
＜実施形態の補足事項＞
（補足１）上記実施形態での明視野画像は、位相差観察法、微分干渉観察法、偏光観察法などで撮像された画像であってもよい。また、上記実施形態において、観察対象となる被検物は細胞に限定されない。
【００７１】
（補足２）本発明の顕微鏡は、少なくとも観察標本を設置する領域の環境（温度、湿度、酸素濃度、二酸化炭素濃度等）が一定の環境となるチャンバーを備え、培養中の生きた標本を観察可能な培養装置を備えた顕微鏡でもよい。
【００７２】
図１０に、培養装置を有する顕微鏡の構成例を示す。なお、図１０において、図１と共通の要素には同一符号を付して重複説明は省略する。図１０では、顕微鏡装置１２がチャンバー７０に収容される。チャンバー７０の内部雰囲気は、コンピュータ１３に制御された環境制御装置７１によって、細胞の培養に適した環境条件（例えば、温度３７℃、湿度９０％、ＣＯ2濃度５％）に維持される。
【００７３】
（補足３）上記実施形態では、位置調整部５１、情報取得部５２、追尾処理部５３、表示制御部５４の各機能をプログラムによってソフトウエア的に実現する例を説明した。しかし、本発明において、位置調整部５１、情報取得部５２、追尾処理部５３、表示制御部５４の機能をＡＳＩＣでハードウエア的に実現しても勿論かまわない。
【００７４】
以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図する。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物によることも可能である。
【符号の説明】
【００７５】
１…標本、１１…移動ステージ、１２…顕微鏡装置、１３…コンピュータ、１３ａ…ＣＰＵ、１３ｂ…メモリ、１４…表示装置、１５…記憶装置、１６…入力装置、２１…モータユニット、２２…エンコーダ、３１…対物レンズ、３２…焦点調節機構、３３…励起光照明装置、３３ａ…調光フィルタ、３４…蛍光フィルタブロック、３５…第２対物レンズ、３６…光路切替器、３６ａ…ミラー、３７…撮像装置、３７ａ…撮像素子、４０…透過照明装置、４１…光源、４２…コリメータレンズ、４３…コンデンサレンズ、５１…位置調整部、５２…情報取得部、５３…追尾処理部、５４…表示制御部、６１…コンピュータ、６２…データ読込部、６３…記憶装置、６４…ＣＰＵ、６５…メモリ、６６…入出力Ｉ／Ｆ、６７…バス、６８…入力デバイス、６９…モニタ、７０…チャンバー、７１…環境制御装置
【特許請求の範囲】
【請求項１】
顕微鏡の対物レンズによって結像された被検物の画像を撮像する撮像部と、
前記対物レンズと前記被検物との相対位置を、前記対物レンズの光軸と交差する方向に調整する位置調整部と、
前記被検物を撮像したときの前記対物レンズの光軸と交差する方向の撮像座標の情報を、前記画像に対応付けて取得する情報取得部と、
表示装置の表示領域に前記画像のみを表示させるとともに、前記表示領域内で前記撮像座標が写像される位置に前記画像のみを表示させる表示制御部と、
を備える顕微鏡制御装置。
【請求項２】
請求項１に記載の顕微鏡制御装置において、
同じ被検物について撮像時刻が異なる複数の画像を撮像するときに、前記撮像部の撮像範囲を前記被検物の移動方向に追尾させる追尾処理部をさらに備え、
前記情報取得部は、前記撮像時刻の情報を前記画像に対応付けて取得し、
前記表示制御部は、前記撮像時刻の情報および前記撮像座標の情報を用いて、前記表示領域での前記画像の表示位置を変化させつつ、時系列に撮像された前記画像のみを撮像された時系列に従って表示させる顕微鏡制御装置。
【請求項３】
請求項２に記載の顕微鏡制御装置において、
前記表示制御部は、時間軸方向での被検物の共通性を示す識別表示を前記表示領域に表示させる顕微鏡制御装置。
【請求項４】
請求項２または請求項３に記載の顕微鏡制御装置において、
前記表示制御部は、同じ被検物の経時的な位置変化を示す移動表示を前記表示領域に表示させる顕微鏡制御装置。
【請求項５】
請求項１から請求項４のいずれか１項に記載の顕微鏡制御装置において、
前記表示制御部は、前記画像の表示倍率を変更するときに、前記表示領域での前記画像間の相対距離を前記表示倍率に応じて変更する顕微鏡制御装置。
【請求項６】
請求項１から請求項４のいずれか１項に記載の顕微鏡制御装置において、
前記表示制御部は、前記画像の表示倍率を変更するときに、前記表示領域での前記画像間の相対距離を維持しつつ、前記画像をズームさせる顕微鏡制御装置。
【請求項７】
対物レンズと、
被検物を載置し、前記対物レンズの光軸に対して垂直方向に移動可能な移動ステージと、
前記移動ステージを移動させるステージ駆動手段と、
前記被検物を撮像する撮像位置である、前記対物レンズの光軸に対する垂直方向の前記移動ステージの位置を検出するステージ位置検出手段と、
撮像装置で撮像された画像を表示装置に表示する際、前記ステージ位置検出手段で検出された撮像位置情報に基づき、撮像した前記画像のみを前記表示装置の表示領域に表示する表示制御装置と、
を備える顕微鏡装置。
【請求項８】
請求項７に記載の顕微鏡装置において、
前記顕微鏡装置は、
前記被検物に対して蛍光観察のための励起光を照射する励起光照明装置と、
前記被検物に対して明視野観察のための透過照明光を照射する透過照明装置と、をさらに備え、
前記励起光により励起された蛍光画像と前記透過照明光の照射により照明された明視野観察とが同じ撮像位置で撮像され、
前記表示制御装置は、各々の画像を前記撮像位置情報に基づき、撮像した前記画像のみを前記表示装置の表示領域に表示する顕微鏡装置。
【請求項９】
請求項７または請求項８に記載の顕微鏡装置において、
前記被検物を収納し、前記被検物の観察環境を一定の環境に保持するチャンバーを備えた培養装置を有する顕微鏡装置。
【請求項１０】
請求項７に記載の顕微鏡装置において、
前記顕微鏡装置は、タイムラプス観察の際、予め設定された前記対物レンズの倍率とタイムラプス観察する観察位置の座標情報及び観察のタイミング情報に従って、前記対物レンズの切り替えと前記ステージ駆動手段の駆動を行うことを特徴とする顕微鏡装置。
【請求項１１】
請求項７に記載の顕微鏡装置において、
前記顕微鏡装置は、被検物が移動した際、前記ステージ駆動手段により前記ステージを移動方向に移動させ、画像取得位置を移動させることを特徴とする顕微鏡装置。
【請求項１２】
顕微鏡の対物レンズによって結像された被検物の画像を撮像する処理と、
前記対物レンズと前記被検物との相対位置を、前記対物レンズの光軸と交差する方向に調整する処理と、
前記被検物を撮像したときの前記対物レンズの光軸と交差する方向の撮像座標の情報を、前記画像に対応付けて取得する処理と、
表示装置の表示領域に前記画像のみを表示させるとともに、前記表示領域内で前記撮像座標が写像される位置に前記画像のみを表示させる処理と、
を顕微鏡を制御するコンピュータに実行させるプログラム。
【請求項１３】
顕微鏡の対物レンズによって結像された被検物の画像と、前記被検物を撮像したときの前記対物レンズの光軸と交差する方向の撮像座標の情報とを対応付けして取得する取得部と、
表示装置の表示領域に前記画像のみを表示させるとともに、前記表示領域内で前記撮像座標の写像される位置に前記画像のみを表示させる表示制御部と、
を備える画像処理装置。
【請求項１４】
請求項１３に記載の画像処理装置において、
前記取得部は、同じ被検物を撮像した撮像時刻が異なる複数の前記画像を取得し、
前記表示制御部は、前記撮像時刻の情報および前記撮像座標の情報を用いて、前記表示領域での前記画像の表示位置を変化させつつ、時系列に撮像された前記画像のみを撮像された時系列に従って表示させる画像処理装置。
【請求項１５】
請求項１４に記載の画像処理装置において、
前記表示制御部は、時間軸方向での被検物の共通性を示す識別表示を前記表示領域に表示させる画像処理装置。
【請求項１６】
請求項１４または請求項１５に記載の画像処理装置において、
前記表示制御部は、同じ被検物の経時的な位置変化を示す移動表示を前記表示領域に表示させる画像処理装置。
【請求項１７】
請求項１３から請求項１６のいずれか１項に記載の画像処理装置において、
前記表示制御部は、前記画像の表示倍率を変更するときに、前記表示領域での前記画像間の相対距離を前記表示倍率に応じて変更する画像処理装置。
【請求項１８】
請求項１３から請求項１６のいずれか１項に記載の画像処理装置において、
前記表示制御部は、前記画像の表示倍率を変更するときに、前記表示領域での前記画像間の相対距離を維持しつつ、前記画像をズームさせる画像処理装置。
【請求項１９】
顕微鏡の対物レンズによって結像された被検物の画像と、前記被検物を撮像したときの前記対物レンズの光軸と交差する方向の撮像座標の情報とを対応付けして取得する処理と、
表示装置の表示領域に前記画像のみを表示させるとともに、前記表示領域内で前記撮像座標の写像される位置に前記画像のみを表示させる処理と、
をコンピュータに実行させるプログラム。
【請求項１】
顕微鏡の対物レンズによって結像された被検物の画像を撮像する撮像部と、
前記対物レンズと前記被検物との相対位置を、前記対物レンズの光軸と交差する方向に調整する位置調整部と、
前記被検物を撮像したときの前記対物レンズの光軸と交差する方向の撮像座標の情報を、前記画像に対応付けて取得する情報取得部と、
表示装置の表示領域に前記画像のみを表示させるとともに、前記表示領域内で前記撮像座標が写像される位置に前記画像のみを表示させる表示制御部と、
を備える顕微鏡制御装置。
【請求項２】
請求項１に記載の顕微鏡制御装置において、
同じ被検物について撮像時刻が異なる複数の画像を撮像するときに、前記撮像部の撮像範囲を前記被検物の移動方向に追尾させる追尾処理部をさらに備え、
前記情報取得部は、前記撮像時刻の情報を前記画像に対応付けて取得し、
前記表示制御部は、前記撮像時刻の情報および前記撮像座標の情報を用いて、前記表示領域での前記画像の表示位置を変化させつつ、時系列に撮像された前記画像のみを撮像された時系列に従って表示させる顕微鏡制御装置。
【請求項３】
請求項２に記載の顕微鏡制御装置において、
前記表示制御部は、時間軸方向での被検物の共通性を示す識別表示を前記表示領域に表示させる顕微鏡制御装置。
【請求項４】
請求項２または請求項３に記載の顕微鏡制御装置において、
前記表示制御部は、同じ被検物の経時的な位置変化を示す移動表示を前記表示領域に表示させる顕微鏡制御装置。
【請求項５】
請求項１から請求項４のいずれか１項に記載の顕微鏡制御装置において、
前記表示制御部は、前記画像の表示倍率を変更するときに、前記表示領域での前記画像間の相対距離を前記表示倍率に応じて変更する顕微鏡制御装置。
【請求項６】
請求項１から請求項４のいずれか１項に記載の顕微鏡制御装置において、
前記表示制御部は、前記画像の表示倍率を変更するときに、前記表示領域での前記画像間の相対距離を維持しつつ、前記画像をズームさせる顕微鏡制御装置。
【請求項７】
対物レンズと、
被検物を載置し、前記対物レンズの光軸に対して垂直方向に移動可能な移動ステージと、
前記移動ステージを移動させるステージ駆動手段と、
前記被検物を撮像する撮像位置である、前記対物レンズの光軸に対する垂直方向の前記移動ステージの位置を検出するステージ位置検出手段と、
撮像装置で撮像された画像を表示装置に表示する際、前記ステージ位置検出手段で検出された撮像位置情報に基づき、撮像した前記画像のみを前記表示装置の表示領域に表示する表示制御装置と、
を備える顕微鏡装置。
【請求項８】
請求項７に記載の顕微鏡装置において、
前記顕微鏡装置は、
前記被検物に対して蛍光観察のための励起光を照射する励起光照明装置と、
前記被検物に対して明視野観察のための透過照明光を照射する透過照明装置と、をさらに備え、
前記励起光により励起された蛍光画像と前記透過照明光の照射により照明された明視野観察とが同じ撮像位置で撮像され、
前記表示制御装置は、各々の画像を前記撮像位置情報に基づき、撮像した前記画像のみを前記表示装置の表示領域に表示する顕微鏡装置。
【請求項９】
請求項７または請求項８に記載の顕微鏡装置において、
前記被検物を収納し、前記被検物の観察環境を一定の環境に保持するチャンバーを備えた培養装置を有する顕微鏡装置。
【請求項１０】
請求項７に記載の顕微鏡装置において、
前記顕微鏡装置は、タイムラプス観察の際、予め設定された前記対物レンズの倍率とタイムラプス観察する観察位置の座標情報及び観察のタイミング情報に従って、前記対物レンズの切り替えと前記ステージ駆動手段の駆動を行うことを特徴とする顕微鏡装置。
【請求項１１】
請求項７に記載の顕微鏡装置において、
前記顕微鏡装置は、被検物が移動した際、前記ステージ駆動手段により前記ステージを移動方向に移動させ、画像取得位置を移動させることを特徴とする顕微鏡装置。
【請求項１２】
顕微鏡の対物レンズによって結像された被検物の画像を撮像する処理と、
前記対物レンズと前記被検物との相対位置を、前記対物レンズの光軸と交差する方向に調整する処理と、
前記被検物を撮像したときの前記対物レンズの光軸と交差する方向の撮像座標の情報を、前記画像に対応付けて取得する処理と、
表示装置の表示領域に前記画像のみを表示させるとともに、前記表示領域内で前記撮像座標が写像される位置に前記画像のみを表示させる処理と、
を顕微鏡を制御するコンピュータに実行させるプログラム。
【請求項１３】
顕微鏡の対物レンズによって結像された被検物の画像と、前記被検物を撮像したときの前記対物レンズの光軸と交差する方向の撮像座標の情報とを対応付けして取得する取得部と、
表示装置の表示領域に前記画像のみを表示させるとともに、前記表示領域内で前記撮像座標の写像される位置に前記画像のみを表示させる表示制御部と、
を備える画像処理装置。
【請求項１４】
請求項１３に記載の画像処理装置において、
前記取得部は、同じ被検物を撮像した撮像時刻が異なる複数の前記画像を取得し、
前記表示制御部は、前記撮像時刻の情報および前記撮像座標の情報を用いて、前記表示領域での前記画像の表示位置を変化させつつ、時系列に撮像された前記画像のみを撮像された時系列に従って表示させる画像処理装置。
【請求項１５】
請求項１４に記載の画像処理装置において、
前記表示制御部は、時間軸方向での被検物の共通性を示す識別表示を前記表示領域に表示させる画像処理装置。
【請求項１６】
請求項１４または請求項１５に記載の画像処理装置において、
前記表示制御部は、同じ被検物の経時的な位置変化を示す移動表示を前記表示領域に表示させる画像処理装置。
【請求項１７】
請求項１３から請求項１６のいずれか１項に記載の画像処理装置において、
前記表示制御部は、前記画像の表示倍率を変更するときに、前記表示領域での前記画像間の相対距離を前記表示倍率に応じて変更する画像処理装置。
【請求項１８】
請求項１３から請求項１６のいずれか１項に記載の画像処理装置において、
前記表示制御部は、前記画像の表示倍率を変更するときに、前記表示領域での前記画像間の相対距離を維持しつつ、前記画像をズームさせる画像処理装置。
【請求項１９】
顕微鏡の対物レンズによって結像された被検物の画像と、前記被検物を撮像したときの前記対物レンズの光軸と交差する方向の撮像座標の情報とを対応付けして取得する処理と、
表示装置の表示領域に前記画像のみを表示させるとともに、前記表示領域内で前記撮像座標の写像される位置に前記画像のみを表示させる処理と、
をコンピュータに実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１３−５０６６６（Ｐ２０１３−５０６６６Ａ）
【公開日】平成２５年３月１４日（２０１３．３．１４）
【国際特許分類】
【出願番号】特願２０１１−１８９８０２（Ｐ２０１１−１８９８０２）
【出願日】平成２３年８月３１日（２０１１．８．３１）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２５年３月１４日（２０１３．３．１４）
【国際特許分類】
【出願日】平成２３年８月３１日（２０１１．８．３１）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]