説明

顕微鏡システム

【課題】所望の貼り合わせ画像を得るために適切にステージを駆動することができる顕微鏡システムを提供する。
【解決手段】標本試料Sを載置し、水平方向に移動可能なステージ21と、ステージ21を駆動するステージ駆動部211と、ステージ21に載置された標本試料Sを撮像して標本試料Sの画像データを連続して生成する撮像装置4と、撮像装置4が生成した画像データに対応するライブ画像を生成順に表示する表示部62と、撮像装置4が生成した時間が前後する2つのライブ画像が重なり有する移動速度でステージ駆動部211を駆動する駆動制御部748と、を備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、対物レンズを用いてステージ上に載置された標本試料を撮像することによって生成された画像データに対応する画像を表示する顕微鏡システムに関する。
【背景技術】
【0002】
従来から、標本試料を観察する視野を変更しながら撮影した複数の静止画像を貼り合わせることによって、撮像装置の観察領域よりも広い1枚の貼り合わせ画像を生成する技術が知られている(特許文献1および特許文献2)。この技術では、表示モニタに表示される標本試料の貼り合わせ画像上に撮像装置が連続的に生成するライブ画像を重ねて表示し、このライブ画像により、次に貼り合わせを行う画像の位置をユーザに把握させることで、所望とする標本試料の貼り合わせ画像の作成を可能にしている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2010−141697号公報
【特許文献2】特開2010−141698号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上述した技術では、ユーザが標本試料の貼り合わせ画像を作成する場合、ユーザが標本試料を載置したステージを移動させながら表示モニタに表示される貼り合わせ画像上にライブ画像を重ねて表示し、ライブ画像を所望とする貼り合わせ位置に移動させて貼り合わせる。この場合、ユーザがステージを移動させながら所望とする貼り合わせ位置にライブ画像を移動させるため、ステージの移動速度が速すぎる場合には、貼り合わせ画像上にライブ画像を適切に貼り合わせることができないという問題点があった。また、貼り合わせを適切に行うため、ユーザがステージの移動速度を調整しながら貼り合わせを行う必要があり、ユーザには負担となっていた。
【0005】
本発明は、上記に鑑みてなされたものであって、貼り合わせ時のユーザへの負担を軽減し、所望の貼り合わせ画像を得るために適切にステージを駆動することができる顕微鏡システムを提供することを目的とする。
【課題を解決するための手段】
【0006】
上述した課題を解決し、目的を達成するために、本発明にかかる顕微鏡システムは、標本試料を載置し、水平方向に移動可能なステージと、前記ステージを駆動するステージ駆動部と、前記ステージに載置された前記標本試料を撮像して該標本試料の画像データを連続して生成する撮像装置と、前記撮像装置が生成した前記画像データに対応する画像を生成順に表示する表示部と、前記撮像装置が生成した時間が前後する2つの前記画像が重なりを有する移動速度で前記ステージ駆動部を駆動する駆動制御部と、を備えたことを特徴とする。
【0007】
また、本発明にかかる顕微鏡システムは、上記発明において、前記画像は、矩形状をなし、前記駆動制御部は、前記画像の一辺を含む端部同士が重なりを有する移動速度で前記ステージ駆動部を駆動することを特徴とする。
【0008】
また、本発明にかかる顕微鏡システムは、上記発明において、前記撮像装置が連続して生成した前記画像データから前記撮像装置の観察領域より外縁が広い観察領域を有する貼り合わせ画像データを生成し、該貼り合わせ画像データに対応する貼り合わせ画像を前記表示部に表示させる貼り合わせ画像観察モードと、前記撮像装置が連続して生成した前記画像データに対応する前記画像を生成順に前記表示部に表示させる通常観察モードとの間で当該顕微鏡システムの観察モードを切替えるモード切替部をさらに備え、前記駆動制御部は、前記モード切替部によって前記通常観察モードから前記貼り合わせ画像観察モードに切替えられた場合、前記移動速度で前記ステージ駆動部を駆動することを特徴とする。
【0009】
また、本発明にかかる顕微鏡システムは、上記発明において、前記貼り合わせ画像観察モードの設定時における前記ステージの前記移動速度は、前記通常観察モードの設定時における前記ステージの移動速度に比して遅いことを特徴とする。
【0010】
また、本発明にかかる顕微鏡システムは、上記発明において、前記モード切替部に観察モードの切替えを指示する指示信号および前記ステージを駆動する駆動信号の入力を受け付ける入力部をさらに備えたことを特徴とする。
【0011】
また、本発明にかかる顕微鏡システムは、上記発明において、前記撮像装置が生成した時間的に連続する前記画像データに基づいて、前記ステージに対する前記撮像装置の観察領域の相対的な移動量を算出する移動量算出部と、前記撮像装置の観察領域を示すライブ位置枠を生成するライブ枠生成部と、前記移動量算出部が算出した前記移動量に基づいて、現在の前記撮像装置の観察領域に対応する表示位置に前記ライブ位置枠を前記表示部に表示させる表示制御部と、をさらに備えたことを特徴とする。
【0012】
また、本発明にかかる顕微鏡システムは、上記発明において、前記移動量算出部が前記移動量を算出することができたか否かを判定する移動量判定部をさらに備え、前記駆動制御部は、前記移動量判定部によって前記移動量算出部が前記移動量を算出することができなかったと判定された場合、前記ステージ駆動部を駆動することにより、前記ステージを初期位置に移動させることを特徴とする。
【0013】
また、本発明にかかる顕微鏡システムは、上記発明において、前記駆動制御部は、前記移動量判定部によって前記移動量算出部が前記移動量を算出することができなかったと判定された場合、前記移動速度をさらに遅くして前記ステージ駆動部を駆動することを特徴とする。
【発明の効果】
【0014】
本発明にかかる顕微鏡システムによれば、駆動制御部が撮像装置によって生成された時間が前後する2つのライブ画像が重なりを有する移動速度でステージ駆動部を駆動するので、ユーザが貼り合わせ画像を作成する際に適切な移動速度でステージを駆動することができるという効果を奏する。
【図面の簡単な説明】
【0015】
【図1】図1は、本発明の一実施の形態にかかる顕微鏡システムの構成の一例を示す概念図である。
【図2】図2は、本発明の一実施の形態にかかる顕微鏡システムの機能構成を示すブロック図である。
【図3】図3は、本発明の一実施の形態にかかる顕微鏡システムの表示部の一例を示す図である。
【図4】図4は、本発明の一実施の形態にかかる顕微鏡システムが行う処理の概要を示すフローチャートである。
【図5】図5は、本発明の一実施の形態にかかる顕微鏡システムの行う処理を模式的に説明する図である。
【図6】図6は、本発明の一実施の形態にかかる顕微鏡システムの行う処理を模式的に説明する図である。
【発明を実施するための形態】
【0016】
以下、図面を参照して、本発明を実施するための形態(以下、「実施の形態」という)について説明する。なお、以下に説明する実施の形態によって本発明が限定されるものではない。さらに、図面の記載において、同一の部分には同一の符号を付して説明する。
【0017】
図1は、本発明の一実施の形態にかかる顕微鏡システムの構成の一例を示す概念図である。図2は、本発明の一実施の形態にかかる顕微鏡システムの機能構成を示すブロック図である。なお、図1および図2において、顕微鏡システム1が載置される平面をXY平面とし、XY平面と垂直な方向をZ方向として説明する。
【0018】
図1および図2に示すように、顕微鏡システム1は、標本試料Sを観察する顕微鏡装置2と、顕微鏡装置2を駆動制御する顕微鏡制御部3と、顕微鏡装置2を介して標本試料Sを撮像して画像データを生成する撮像装置4と、撮像装置4の駆動を制御する撮像制御部5と制御端末7を介して撮像装置4が撮像した画像データに対応する画像を表示するとともに、顕微鏡システム1の各種の操作の入力を受け付ける表示入力部6と、顕微鏡システム1の各部を制御する制御端末7と、を備える。顕微鏡装置2、顕微鏡制御部3、撮像装置4、撮像制御部5、表示入力部6および制御端末7は、データが送受信可能に有線または無線で接続されている。
【0019】
顕微鏡装置2は、標本試料Sが載置されるステージ21と、側面視略C字状をなし、ステージ21を支持するとともに、レボルバ22を介して対物レンズ23を保持する顕微鏡本体部24と、標本試料Sに光を照射する落射照明用光源25と、を備える。
【0020】
ステージ21は、XYZ方向に移動自在に構成されている。ステージ21は、ステージ駆動部211によってXY平面内で移動自在である。ステージ21は、顕微鏡制御部3の制御のもと、図示しないXY位置の原点センサによってXY平面における所定の原点位置を検出し、この原点位置を基点としてステージ駆動部211の駆動量が制御されることによって、標本試料S上の観察箇所(観察領域)を移動する。ステージ21は、観察時のX位置およびY位置に関する位置信号(XY座標)を顕微鏡制御部3に出力する。また、ステージ21は、モータ212によってZ方向に移動自在である。ステージ21は、顕微鏡制御部3の制御のもと、図示しないZ位置の原点センサによってステージ21のZ方向における所定の原点位置を検出し、この原点位置を基点としてモータ212の駆動量が制御されることによって、所定の高さ範囲内の任意のZ位置に標本試料Sを焦準移動させる。ステージ21は、観察時のZ位置に関する位置信号を顕微鏡制御部3に出力する。
【0021】
レボルバ22は、顕微鏡本体部24に対してスライド自在または回転自在に設けられ、対物レンズ23を標本試料Sの上方に配置する。レボルバ22は、ノーズピースやスイングレボルバ等を用いて構成される。レボルバ22は、マウンタ221によって倍率(観察倍率)が異なる複数の対物レンズ23を保持する。レボルバ22は、観察光の光路上に挿入されて標本試料Sの観察に用いる対物レンズ23を択一的に切換えるため、マウンタ221をスライド移動又は回転させるレボルバ駆動部222と、レボルバ22の接続状態等を検出するレボルバ検出部223と、を有する。
【0022】
レボルバ駆動部222は、顕微鏡制御部3の制御のもと、マウンタ221をスライド移動又は回転させる。レボルバ検出部223は、レボルバ22が顕微鏡本体部24に接続されていることを検知するレボルバ接続センサ(図示せず)と、対物レンズ23が観察光の光路上に挿入された対物レンズ23の種類を識別するレボルバセンサ(図示せず)と、対物レンズ23が観察光の光路上に挿入されたことを検知する移動完了センサ(図示せず)と、を有する。レボルバ検出部223は、各種センサが検出した検出結果を顕微鏡制御部3へ出力する。
【0023】
対物レンズ23は、たとえば1倍,2倍,4倍の比較的倍率の低い対物レンズ231(以下、「低倍対物レンズ231」という)と、10倍,20倍,40倍の低倍対物レンズ231の倍率に対して高倍率である対物レンズ232(以下、「高倍対物レンズ232」という)とを少なくとも一つずつマウンタ221に装着される。なお、低倍対物レンズ231および高倍対物レンズ232の倍率は一例であり、高倍対物レンズ232が低倍対物レンズ231に対して高ければよい。
【0024】
顕微鏡本体部24は、ファイバー251を介して落射照明用光源25から出射された照明光L1(以下、「落射照明光L1」という)を集光する照明レンズ241と、落射照明光L1の光路を対物レンズ23の光軸に沿って偏向させるハーフミラー242と、標本試料Sを拡大するズームレンズ部243と、対物レンズ23、ズームレンズ部243およびハーフミラー242を介して入射される標本試料Sの反射光を集光して観察像を結像する結像レンズ244とが内部に設けられている。
【0025】
ズームレンズ部243は、1または複数のレンズからなり、標本試料Sに対してズーム可能なズーム光学系243aと、ズーム光学系243aを光軸に沿って駆動するズーム駆動部243bとを有する。ズーム駆動部243bは、顕微鏡制御部3の制御のもと、ズーム光学系243aを光軸に沿って移動させることにより、ズームレンズ部243のズーム倍率を変更する。
【0026】
落射照明光L1は、照明レンズ241、ハーフミラー242、ズーム光学系243aおよび対物レンズ23を経て標本試料Sに照射される。標本試料Sで反射した反射光L2(以下、「観察光L2」という)は、対物レンズ23、ズーム光学系243a、ハーフミラー242および結像レンズ244を経て撮像装置4に入射する。
【0027】
落射照明用光源25は、ハロゲンランプ、キセノンランプまたはLED(Light Emitting Diode)等によって構成される。落射照明用光源25は、ファイバー251を介して標本試料Sの観察像を形成するための落射照明光L1を顕微鏡本体部24に出射する。
【0028】
顕微鏡制御部3は、CPU(Central Processing Unit)等を用いて構成され、制御端末7の制御のもと、顕微鏡装置2を構成する各部の動作を統括的に制御する。具体的には、顕微鏡制御部3は、レボルバ駆動部222を駆動することにより、マウンタ221を回転させて観察光L2の光路上に配置する対物レンズ23を切換える切換処理、ステージ駆動部211またはモータ212を駆動することにより、ステージ21の駆動処理、および標本試料Sの観察に伴う顕微鏡装置2の各部の調整を行う調整処理等を行う。また、顕微鏡制御部3は、顕微鏡装置2を構成する各部の状態、たとえばステージ21の位置情報(XY位置、Z位置)およびレボルバ22に装着された対物レンズ23の種類情報等を制御端末7に出力する。
【0029】
撮像装置4は、CCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)等の撮像素子41を用いて構成される。撮像装置4は、撮像制御部5の制御のもと、結像レンズ244を経て入射された標本試料Sの観察像を撮像して標本試料Sの画像データを連続して生成する。撮像装置4は、カメラケーブルを介して生成した標本試料Sの画像データを制御端末7へ出力する。
【0030】
撮像制御部5は、CPU等を用いて構成され、撮像装置4の動作を制御する。具体的には、撮像制御部5は、撮像装置4の自動ゲイン制御のON/OFF切換処理、ゲインの設定処理およびフレームレートの設定処理等を行って撮像装置4の撮影動作を制御する。撮像制御部5は、AE処理部51と、AF処理部52と、を有する。
【0031】
AE処理部51は、撮像装置4が生成した画像データに基づいて、撮像装置4の露出条件を自動的に設定する。具体的には、AE処理部51は、制御端末7を介して取得した画像データから輝度を算出し、算出した輝度に基づいて撮像装置4の露出条件、たとえば露光時間を決定することで撮像装置4の露出を自動的に調整するAE処理を行う。
【0032】
AF処理部52は、撮像装置4が生成した画像データに基づいて、撮像装置4のピントを自動的に調整する。具体的には、AF処理部52は、画像データに含まれるコントラストを評価し、合焦している合焦位置(焦点位置)を検出することにより、撮像装置4のピントを自動的に調整するAF処理を行う。なお、AF処理部52は、画像データに基づいて、ステージ21の各Z位置における画像のコントラストを評価することにより、合焦している焦点位置(Z位置)を検出してもよい。
【0033】
表示入力部6は、制御端末7との通信を行う表示通信部61と、画像を表示する表示部62と、外部からの物体の接触に応じた位置信号を出力するタッチパネル63と、を有する。
【0034】
表示通信部61は、制御端末7との通信を行うための通信インターフェースである。表示通信部61は、制御端末7から出力される画像データを表示部62へ出力する。
【0035】
表示部62は、液晶または有機EL(Electro Luminescence)等からなる表示パネルを用いて構成される。表示部62は、表示通信部61を介して入力される画像データに対応する画像および顕微鏡システム1の各種操作情報を表示する。具体的には、表示部62は、撮像装置4によって連続して生成された画像データに対応するライブ画像または撮像装置4の観察領域よりも外縁が広い観察領域を有する標本試料Sの貼り合わせ画像データに対応する貼り合わせ画像を表示する。なお、表示部62が表示するライブ画像および貼り合わせ画像の表示領域の詳細については後述する。
【0036】
タッチパネル63は、表示部62の表示画面上に設けられ、外部からの物体の接触位置に応じた入力を受け付ける。具体的には、タッチパネル63は、ユーザが表示部62に表示される操作アイコンに従ってタッチ(接触)した位置を検出し、この検出したタッチ位置に応じた位置信号を制御端末7へ出力する。タッチパネル63は、表示部62が顕微鏡システム1の各種操作情報を画像表示領域A1内で表示することで、グラフィカルユーザインターフェース(GUI)として機能する(図3を参照)。一般に、タッチパネルとしては、抵抗膜方式、静電容量方式および光学方式等がある。本実施の形態では、いずれの方式のタッチパネルであっても適用可能である。
【0037】
制御端末7は、顕微鏡制御部3、撮像制御部5および表示入力部6との通信を行う制御通信部71と、顕微鏡システム1の各種情報を記憶する記憶部73と、顕微鏡システム1の各部の駆動を指示する駆動指示信号の入力を受け付ける入力部72と、顕微鏡システム1の各部を制御する制御部74と、を備える。
【0038】
制御通信部71は、顕微鏡制御部3、撮像制御部5および表示入力部6それぞれとの通信を行うための通信インターフェースである。また、制御通信部71は、カメラケーブルを介して撮像装置4から出力される画像データを制御部74へ出力する。
【0039】
入力部72は、キーボード、マウス、ジョイスティックおよび各種スイッチ等を用いて構成され、各種スイッチの操作入力に応じた操作信号を制御部74に出力する。
【0040】
記憶部73は、制御端末7の内部に固定的に設けられるフラッシュメモリおよびRAM(Random Access Memory)等の半導体メモリを用いて実現される。記憶部73は、顕微鏡システム1に実行させる各種プログラム、プログラムの実行中に使用される各種データを記憶する。また、記憶部73は、制御部74の処理中の情報を一次的に記憶する。記憶部73は、撮像装置4が撮像した画像データを記憶する画像データ記憶部731を有する。なお、記憶部73は、外部から装着されるメモリカード等を用いて構成されてもよい。
【0041】
制御部74は、CPU等を用いて構成され、入力部72からの操作信号およびタッチパネル63から位置信号に応じて顕微鏡システム1を構成する各部に対応する指示やデータの転送等を行って顕微鏡システム1の動作を統括的に制御する。
【0042】
制御部74の詳細な構成について説明する。制御部74は、ライブ画像生成部741と、移動量算出部742と、移動量判定部743と、ライブ枠生成部744と、撮影画像生成部745と、貼り合わせ画像生成部746と、モード切替部747と、駆動制御部748と、表示制御部749と、を有する。
【0043】
ライブ画像生成部741は、撮像装置4が連続して生成した画像データから表示部62に表示させるライブ画像データを順次生成する。ライブ画像生成部741は、ライブ画像データを画像データ記憶部731に出力する。また、ライブ画像生成部741は、画像データに対し、所定の画像処理、たとえばオプティカルブラック減算処理、ホワイトバランス調整処理、同時化処理、カラーマトリクス演算処理、γ補正処理、色再現処理およびエッジ強調処理等を含む画像処理を行う。
【0044】
移動量算出部742は、制御通信部71を介して入力される撮像装置4によって生成された時間が前後する2つの画像データに対応する2の画像に基づいて、ステージ21に対する撮像装置4の観察領域における相対的な移動量を算出する。具体的には、移動量算出部742は、時間的に前後する2つの画像データに対応するライブ画像にそれぞれ含まれる特徴点を抽出し、2つのライブ画像間において同一となる複数の対応点の移動量(画素数)を算出することにより、ステージ21に対する撮像装置4の観察領域における相対的な移動量(ずれ量)を算出する。ここで、特徴点とは、輝度情報、色情報またはエッジ情報である。なお、移動量算出部742は、撮像装置4の観察領域における相対的な移動量をパターンマッチング等の周知技術を用いて算出してもよい。
【0045】
移動量判定部743は、移動量算出部742が時間的に前後する2つのライブ画像に基づいてステージ21に対する撮像装置4の観察領域における相対的な移動量が算出できたか否かを判断する。具体的には、移動量判定部743は、移動量算出部742が2つのライブ画像間において対応する特徴点を抽出することができたか否かを判定する。たとえば、移動量判定部743は、移動量算出部742が2つのライブ画像間において互いに対応する特徴点を抽出することができなった場合、移動量算出部742がステージ21に対する撮像装置4の観察領域における相対的な移動量を算出することができなかったと判定する。
【0046】
ライブ枠生成部744は、撮像装置4の観察領域を示すライブ位置枠を生成する。具体的には、ライブ枠生成部744は、撮像装置4の観察領域を示すライブ位置枠として矩形状の枠を生成する。
【0047】
撮影画像生成部745は、制御通信部71を介して入力される画像データに対して、所定の画像処理を施して貼り合わせ画像生成部746および画像データ記憶部731に出力する。具体的には、撮影画像生成部745は、画像データに対して、オプティカルブラック減算処理、ホワイトバランス調整処理、同時化処理、カラーマトリクス演算処理、γ補正処理、色再現処理およびエッジ強調処理等を含む画像処理を行う。なお、撮影画像生成部745は、画像データを所定の方式、たとえばJPEG(Joint Photographic Experts Group)方式で圧縮し、圧縮した画像データを貼り合わせ画像生成部746および画像データ記憶部731に出力してもよい。
【0048】
貼り合わせ画像生成部746は、移動量算出部742が算出したステージ21に対する撮像装置4の観察領域の相対的な移動量に基づいて、撮像装置4が生成した画像データから撮像装置4の観察領域よりも外縁が広い観察領域を有する貼り合わせ画像データを生成する。具体的には、貼り合わせ画像生成部746は、画像データ記憶部731が記憶する貼り合わせ画像データを取得し、撮影画像生成部745から出力された撮影画像データを、移動量算出部742が算出したステージ21に対する撮像装置4の観察領域の相対的な移動量によって定まる貼り合わせ画像の表示位置に合成することにより、貼り合わせ画像データを生成する。たとえば、貼り合わせ画像生成部746は、貼り合わせ画像に撮影画像を貼り合わせる際に、繋ぎ目を目立たなくするため、貼り合わせ画像と撮影画像との重複領域に画素値のブレンディング処理を行うことによって貼り合わせ画像を生成する。ここで、ブレンディング処理とは、画像間で画素値を加重平均して合成画像の画素値を算出する画像処理である。なお、貼り合わせ画像生成部746は、ブレンディング処理において加重平均の際の重みを画素の位置に応じて変化させてもよい。
【0049】
モード切替部747は、撮像装置4が連続して生成した画像データから撮像装置4の観察領域より外縁が広い観察領域を有する貼り合わせ画像データを生成し、この貼り合わせ画像データに対応する貼り合わせ画像を表示部62に表示させる貼り合わせ画像観察モードと、撮像装置4が連続して生成した画像データに対応するライブ画像を生成順に表示部62に表示させる通常観察モードとの間で顕微鏡システム1の観察モードを切替える。具体的には、モード切替部747は、入力部72から入力される指示信号またはタッチパネル63から入力される指示信号に基づいて、顕微鏡システム1の観察モードを貼り合わせ画像観察モードと通常観察モードとの間で切替える。
【0050】
駆動制御部748は、入力部72から入力される操作信号またはタッチパネル63から入力される位置信号や指示信号に基づいて、顕微鏡装置2および撮像装置4の駆動を制御する。具体的には、駆動制御部748は、入力部72から撮影を指示する撮影指示信号が入力された場合、撮像制御部5に撮影を指示する指示信号を出力することにより、撮像装置4に撮影動作を実行させる。また、駆動制御部748は、撮像装置4が生成した時間が前後する2つの画像が重なりを有する移動速度でステージ21を駆動する。たとえば、駆動制御部748は、画像の一辺を含む端部同士が重なりを有する移動速度で前記ステージ駆動部を駆動する。さらに、駆動制御部748は、モード切替部747によって顕微鏡システム1の観察モードが貼り合わせ画像観察モードに設定された場合において、入力部72からステージ21の移動を指示する指示信号が入力されたとき、ステージ21を通常観察モード時における移動速度より遅い移動速度で駆動する。
【0051】
表示制御部749は、表示部62の表示態様を制御する。具体的には、表示制御部749は、制御通信部71および表示通信部61を介してライブ画像生成部741によって生成されたライブ画像および貼り合わせ画像生成部746によって生成された貼り合わせ画像を表示部62に表示させる。表示制御部749は、移動量算出部742が算出したステージ21に対する撮像装置4の観察領域の移動量に基づいて、現在の撮像装置4の観察領域に対応する貼り合わせ画像上の表示位置に、ライブ枠生成部744によって生成されたライブ位置枠を重畳して表示部62の画像表示領域A1に表示させる。
【0052】
このように構成された顕微鏡システム1は、制御部74の制御のもと、撮像装置4で撮像された標本試料Sの画像データを表示部62に表示することによってユーザに標本試料Sの画像を観察させることができる。さらに、顕微鏡システム1は、入力部72から入力される操作信号に基づいて、制御部74が顕微鏡システム1の各部に指示信号や駆動信号を出力することにより、顕微鏡装置2および撮像装置4が駆動する。
【0053】
つぎに、顕微鏡システム1が行う動作について説明する。図4は、本実施の形態にかかる顕微鏡システム1が行う処理の概要を示すフローチャートである。
【0054】
図4に示すように、駆動制御部748は、モード切替部747によって顕微鏡システム1に設定された観察モードが貼り合わせ画像観察モードであるか否かを判断する(ステップS101)。顕微鏡システム1に設定された観察モードが貼り合わせ画像観察モードであると制御部74が判断した場合(ステップS101:Yes)、顕微鏡システム1は、後述するステップS102へ移行する。一方、顕微鏡システム1に設定された観察モードが貼り合わせ画像観察モードでないと制御部74が判断した場合(ステップS101:No)、顕微鏡システム1は、後述するステップS119へ移行する。
【0055】
続いて、駆動制御部748は、貼り合わせ画像観察モードに応じてステージ21を駆動する際の移動速度を切替える(ステップS102)。
【0056】
その後、ライブ枠生成部744は、表示部62で表示する現在の撮像装置4の観察領域に対応するライブ位置枠を生成する(ステップS103)。
【0057】
続いて、表示制御部749は、ライブ枠生成部744が生成したライブ位置枠B1を表示部62に表示させる(ステップS104)。
【0058】
その後、ライブ画像生成部741は、撮像装置4によって生成された画像データからライブ画像データを生成する(ステップS105)。
【0059】
続いて、表示制御部749は、ライブ画像生成部741が生成したライブ画像データに対応するライブ画像を表示部62に表示させる(ステップS106)。
【0060】
その後、制御部74は、ステージ21が移動したか否かを判断する(ステップS107)。具体的には、図5に示すように、制御部74は、入力部72を介してステージ21を駆動する指示信号が入力されることによって、駆動制御部748が貼り合わせ画像P1とライブ画像P2の少なくとも端部の領域が互いに重なる移動速度でステージ駆動部211を駆動させてステージ21を移動させたか否かを判断する。ステージ21が移動していると制御部74が判断した場合(ステップS107:Yes)、顕微鏡システム1は、ステップS108へ移行する。一方、ステージ21が移動していないと制御部74が判断した場合(ステップS107:No)、顕微鏡システム1は、ステップS105へ戻る。
【0061】
ステップS108において、移動量算出部742は、最新のライブ画像と直前のライブ画像とに基づいて、ステージ21に対する撮像装置4の観察領域の相対的な移動量を算出する。具体的には、移動量算出部742は、ライブ画像生成部741によって生成された最新のライブ画像と、画像データ記憶部731によって記憶された直前のライブ画像とに基づいて、ステージ21に対する撮像装置4の観察領域における相対的な移動量を算出する。
【0062】
続いて、移動量判定部743は、移動量算出部742がステージ21に対する撮像装置4の観察領域の相対的な移動量を算出することができたか否かを判定する(ステップS109)。具体的には、移動量判定部743は、移動量算出部742が直前のライブ画像から抽出した複数の特徴点それぞれに対応する対応点を最新のライブ画像から抽出することにより、ステージ21に対する撮像装置4の観察領域の移動量を算出することができたか否かを判定する。たとえば、図6に示すように、移動量判定部743は、ステージ21の移動速度が速く、ステージ21の移動量が大きかった場合において、移動量算出部742が直前のライブ画像(たとえば貼り合わせ画像P1に該当)から抽出した特徴点に対応する対応点を最新のライブ画像P3から抽出できなかったとき、移動量算出部742がステージ21に対する撮像装置4の観察領域の相対的な移動量を算出することができなかったと判定する。移動量算出部742がステージ21に対する撮像装置4の観察領域の相対的な移動量を算出することができたと移動量判定部743が判定した場合(ステップS109:Yes)、顕微鏡システム1は、後述するステップS110へ移行する。一方、移動量算出部742がステージ21に対する撮像装置4の観察領域の相対的な移動量を算出することができなかったと移動量判定部743が判定した場合(ステップS109:No)、顕微鏡システム1は、後述するステップS117へ移行する。
【0063】
ステップS110において、制御部74は、入力部72を介して撮影指示信号が入力されたか否かを判断する。撮影指示信号が入力されたと制御部74が判断した場合(ステップS110:Yes)、顕微鏡システム1は、ステップS111へ移行する。一方、入力部72を介して撮影指示信号が入力されていないと制御部74が判断した場合(ステップS110:No)、顕微鏡システム1は、ステップS105へ戻る。
【0064】
ステップS111において、駆動制御部748は、ライブ画像生成部741によるライブ画像データの生成を停止させる。
【0065】
続いて、駆動制御部748は、撮像制御部5に撮影駆動信号を出力して撮像装置4に撮影動作を実行させて画像データを生成させる(ステップS112)。
【0066】
その後、撮影画像生成部745は、撮像装置4によって生成された画像データから撮影画像データを生成する(ステップS113)。この際、撮影画像生成部745は、撮像装置4によって生成された1フレームの画像データから撮影画像データを生成する。さらに、撮影画像生成部745は、撮像装置4が複数フレームの画像データを生成した場合、この複数フレームの画像データから全焦点画像データおよび3D画像データを生成してもよい。
【0067】
続いて、貼り合わせ画像生成部746は、画像データ記憶部731から貼り合わせ画像データと撮影画像生成部745から撮影画像データとを取得後、移動量算出部742によって算出された移動量から貼り合わせ画像上での撮影画像データの表示位置を算出し、この算出した表示位置に撮影画像生成部745によって生成された撮影画像データを合成することにより、貼り合わせ画像データを生成する(ステップS114)。具体的には、図5に示すように、貼り合わせ画像生成部746は、移動量算出部742によって算出された移動量に基づいて、貼り合わせ画像P1上で撮影画像P2を合成する表示位置を算出し、算出した表示位置に撮影画像P2を貼り合わせ画像P1の領域の一部が重なるように重畳して合成する。これにより、貼り合わせ画像P1と撮影画像P2との繋ぎ目が滑らかな標本試料Sの貼り合わせ画像P1を生成することができる。
【0068】
その後、表示制御部749は、貼り合わせ画像生成部746が生成した貼り合わせ画像データに対応する貼り合わせ画像を表示部62に表示させる(ステップS115)。
【0069】
続いて、制御部74は、入力部72を介して完了指示信号が入力されたか否かを判断する(ステップS116)。完了指示信号が入力されたと制御部74が判断した場合(ステップS116:Yes)、顕微鏡システム1は、本処理を終了する。一方、入力部72を介して完了指示信号が入力されていないと制御部74が判断した場合(ステップS116:No)、顕微鏡システム1は、ステップS105へ戻る。
【0070】
ステップS117において、駆動制御部748は、ステージ21を移動させる移動速度をより遅い速度に切り替え、ステージ駆動部211を駆動することにより、ステージ21が移動する直前の位置に移動させる(ステップS118)。その後、顕微鏡システム1は、ステップS105へ戻る。
【0071】
ステップS119において、顕微鏡システム1は、撮像装置4が連続して生成する画像データに対応するライブ画像を生成順に表示部62に表示させて標本試料Sを観察する通常観察モードにおける通常観察処理を実行する。その後、顕微鏡システム1は、本処理を終了する。
【0072】
以上説明した本発明の一実施の形態によれば、駆動制御部748が撮像装置4によって生成された時間が前後する2つの画像が重なり有する移動速度でステージ駆動部211を駆動するので、ユーザが貼り合わせ画像を作成する際に適切な移動速度でステージを駆動することができる。
【0073】
また、本発明の一実施の形態によれば、駆動制御部748が移動量判定部743によって移動量算出部742が撮像装置4の観察領域の相対的な移動量を算出することができなかったと判定された場合、ステージ21を移動する移動速度をさらに遅くしてステージ駆動部211を駆動するので、ユーザが貼り合わせ画像を作成する際により適切な移動速度でステージ21を駆動することができる。
【0074】
さらに、本発明の一実施の形態によれば、駆動制御部748がモード切替部747によって顕微鏡システム1の観察モードが貼り合わせ画像観察モードに切替えられた場合、ステージ21を移動させる移動速度を通常観察モードの移動速度より遅くしてステージ21を駆動する。これにより、ユーザは、入力部72を介して観察モードを設定するだけで、貼り合わせ画像に適したステージ21の移動速度で貼り合わせ画像を作成することができる。
【0075】
また、本発明の一実施の形態では、駆動制御部748が移動量判定部743によって移動量算出部742が撮像装置4の観察領域における相対的な移動量を算出することができなかった場合、ステージ21の移動速度をさらに遅くしていたが、たとえば標本試料Sの種類に応じて照明、対物レンズ23の倍率、ズームレンズ部243のズーム倍率およびステージ21の垂直方向の高さを加味してステージ21の移動速度を設定するようにしてもよい。
【0076】
また、本発明の一実施の形態では、駆動制御部748がモード切替部747によって顕微鏡システム1の観察モードが貼り合わせ画像観察モードに設定された場合において、入力部72からステージ21の移動を指示する指示信号が入力されたとき、ステージ21を通常観察モード時における移動速度より遅い移動速度で駆動していたが、たとえば、入力部72から入力される指示信号に応じて、ステージ21を移動させる移動量を変更するようにしてもよい。この場合、駆動制御部748は、撮像装置4が時間的に連続する2つの画像の少なくとも端部の領域が互いに重なる移動量でステージ駆動部211を駆動するようにしてもよい。さらに、駆動制御部748は、顕微鏡システム1が貼り合わせ画像観察モードの場合において、入力部72から入力される指示信号の長さに関わらず、ステージ21を移動させる移動量または移動速度を一定にするようにステージ駆動部211を駆動するようにしてもよい。
【0077】
なお、上述した実施の形態では、顕微鏡装置、撮像装置、表示入力部および制御端末を備えた顕微鏡システムを例に説明したが、たとえば標本試料を拡大する対物レンズ、対物レンズを介して標本試料を撮像する撮像機能、および画像を表示する表示機能を備えた撮像装置、たとえばビデオマイクロスコープ等であっても、本発明を適用することができる。
【0078】
また、上述した実施の形態では、顕微鏡装置として正立型顕微鏡装置を例に説明したが、たとえば倒立型顕微鏡装置であっても本発明を適用することができる。さらに、顕微鏡装置を組み込んだライン装置といった各種システムにも、本発明を適用することができる。
【0079】
また、上述した実施の形態では、入力部を介して顕微鏡システムの各種設定を行っていたが、タッチパネルを介して顕微鏡システムの各種設定を行ってもよい。
【0080】
また、上述した実施の形態では、表示入力部と制御端末とが別々に構成されていたが、たとえば表示入力部と制御端末とが一体的に形成された携帯型端末であってもよい。
【0081】
また、上述した実施の形態では、ステージ21をモータ212によってZ方向に移動自在としたが、対物レンズ23又は、対物レンズ23を含む観察光学系全体をZ方向に移動自在としてもよい。
【符号の説明】
【0082】
1 顕微鏡システム
2 顕微鏡装置
3 顕微鏡制御部
4 撮像装置
5 撮像制御部
6 表示入力部
7 制御端末
21 ステージ
22 レボルバ
23 対物レンズ
24 顕微鏡本体部
25 落射照明用光源
41 撮像素子
51 AE処理部
52 AF処理部
61 表示通信部
62 表示部
63 タッチパネル
71 制御通信部
72 入力部
73 記憶部
74 制御部
211 ステージ駆動部
212 モータ
221 マウンタ
222 レボルバ駆動部
241 照明レンズ
242 ハーフミラー
243 ズームレンズ部
243a ズーム光学系
243b ズーム駆動部
244 結像レンズ
731 画像データ記憶部
741 ライブ画像生成部
742 移動量算出部
743 移動量判定部
744 ライブ枠生成部
745 撮影画像生成部
746 貼り合わせ画像生成部
747 モード切替部
748 駆動制御部
749 表示制御部

【特許請求の範囲】
【請求項1】
標本試料を載置し、水平方向に移動可能なステージと、
前記ステージを駆動するステージ駆動部と、
前記ステージに載置された前記標本試料を撮像して該標本試料の画像データを連続して生成する撮像装置と、
前記撮像装置が生成した前記画像データに対応する画像を生成順に表示する表示部と、
前記撮像装置が生成した時間が前後する2つの前記画像が重なりを有する移動速度で前記ステージ駆動部を駆動する駆動制御部と、
を備えたことを特徴とする顕微鏡システム。
【請求項2】
前記画像は、矩形状をなし、
前記駆動制御部は、前記画像の一辺を含む端部同士が重なりを有する移動速度で前記ステージ駆動部を駆動することを特徴とする請求項1に記載の顕微鏡システム。
【請求項3】
前記撮像装置が連続して生成した前記画像データから前記撮像装置の観察領域より外縁が広い観察領域を有する貼り合わせ画像データを生成し、該貼り合わせ画像データに対応する貼り合わせ画像を前記表示部に表示させる貼り合わせ画像観察モードと、前記撮像装置が連続して生成した前記画像データに対応する前記画像を生成順に前記表示部に表示させる通常観察モードとの間で当該顕微鏡システムの観察モードを切替えるモード切替部をさらに備え、
前記駆動制御部は、前記モード切替部によって前記通常観察モードから前記貼り合わせ画像観察モードに切替えられた場合、前記移動速度で前記ステージ駆動部を駆動することを特徴とする請求項1または2に記載の顕微鏡システム。
【請求項4】
前記貼り合わせ画像観察モードの設定時における前記ステージの前記移動速度は、前記通常観察モードの設定時における前記ステージの移動速度に比して遅いことを特徴とする請求項3に記載の顕微鏡システム。
【請求項5】
前記モード切替部に観察モードの切替えを指示する指示信号および前記ステージを駆動する駆動信号の入力を受け付ける入力部をさらに備えたことを特徴とする請求項4に記載の顕微鏡システム。
【請求項6】
前記撮像装置が生成した時間的に連続する前記画像データに基づいて、前記ステージに対する前記撮像装置の観察領域の相対的な移動量を算出する移動量算出部と、
前記撮像装置の観察領域を示すライブ位置枠を生成するライブ枠生成部と、
前記移動量算出部が算出した前記移動量に基づいて、現在の前記撮像装置の観察領域に対応する表示位置に前記ライブ位置枠を前記表示部に表示させる表示制御部と、
をさらに備えたことを特徴とする請求項1〜5のいずれか一つに記載の顕微鏡システム。
【請求項7】
前記移動量算出部が前記移動量を算出することができたか否かを判定する移動量判定部をさらに備え、
前記駆動制御部は、前記移動量判定部によって前記移動量算出部が前記移動量を算出することができなかったと判定された場合、前記ステージ駆動部を駆動することにより、前記ステージを初期位置に移動させることを特徴とする請求項6に記載の顕微鏡システム。
【請求項8】
前記駆動制御部は、前記移動量判定部によって前記移動量算出部が前記移動量を算出することができなかったと判定された場合、前記移動速度をさらに遅くして前記ステージ駆動部を駆動することを特徴とする請求項7に記載の顕微鏡システム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate


【公開番号】特開2013−72999(P2013−72999A)
【公開日】平成25年4月22日(2013.4.22)
【国際特許分類】
【出願番号】特願2011−211629(P2011−211629)
【出願日】平成23年9月27日(2011.9.27)
【出願人】(000000376)オリンパス株式会社 (11,466)
【Fターム(参考)】