顕微鏡システム
【課題】簡易な操作で貼り合わせ画像を容易に作成することができる顕微鏡システムを提供する。
【解決手段】撮像装置４が生成した時間的に連続する画像データに基づいて、ステージ２１に対する撮像装置４の観察領域の相対的な移動量を算出する移動量算出部７４２と、移動量算出部７４２が算出した移動量に基づいて、撮像装置４が連続して生成した画像データから撮像装置４の観察領域よりも外縁が広い観察領域を有する貼り合わせ画像データを生成する貼り合わせ画像生成部７４６と、撮像装置４の観察領域に対応するライブ位置枠を生成するライブ枠生成部７４４と、ライブ画像と貼り合わせ画像とを異なる表示領域に表示させるとともに、移動量算出部７４２が算出した移動量に基づいて、現在の撮像装置の観察領域に対応する貼り合わせ画像上の表示位置にライブ位置枠を重畳して表示部６２に表示させる表示制御部７４９と、を備える。
【解決手段】撮像装置４が生成した時間的に連続する画像データに基づいて、ステージ２１に対する撮像装置４の観察領域の相対的な移動量を算出する移動量算出部７４２と、移動量算出部７４２が算出した移動量に基づいて、撮像装置４が連続して生成した画像データから撮像装置４の観察領域よりも外縁が広い観察領域を有する貼り合わせ画像データを生成する貼り合わせ画像生成部７４６と、撮像装置４の観察領域に対応するライブ位置枠を生成するライブ枠生成部７４４と、ライブ画像と貼り合わせ画像とを異なる表示領域に表示させるとともに、移動量算出部７４２が算出した移動量に基づいて、現在の撮像装置の観察領域に対応する貼り合わせ画像上の表示位置にライブ位置枠を重畳して表示部６２に表示させる表示制御部７４９と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対物レンズを用いてステージ上に載置された標本試料を撮像することによって生成された画像データに対応する画像を表示する顕微鏡システムに関する。
【背景技術】
【０００２】
従来から、標本試料を観察する視野を変更しながら撮影した複数の静止画像を貼り合わせることによって、撮像装置の観察領域よりも広い１枚の貼り合わせ画像を生成する技術が知られている（特許文献１および特許文献２）。この技術では、表示モニタに表示される標本試料の貼り合わせ画像上に撮像装置が連続的に生成するライブ画像を重ねて表示し、このライブ画像により、次に貼り合わせを行う標本試料の位置関係をユーザに把握させることで、所望とする標本試料の貼り合わせ画像の作成を可能にしている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１４１６９７号公報
【特許文献２】特開２０１０−１４１６９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した技術では、ユーザが標本試料の貼り合わせ画像を作成する場合には、貼り合わせ画像全体におけるライブ画像の位置把握を行うためにライブ画像を含む貼り合わせ画像全体が表示領域に収まるように画像全体を縮小して表示する場合と、貼り合わせ画像上のライブ画像の詳細な位置把握を行うために、ライブ画像を含む貼り合わせ画像の表示倍率を固定にして、ライブ画像を中心とする画像を表示する場合と、をその都度切替えて表示モニタに表示しなければならず、作業が煩雑になるという問題点があった。
【０００５】
本発明は、上記に鑑みてなされたものであって、簡易な操作で所望とする貼り合わせ画像を容易に作成することができる顕微鏡システムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、本発明にかかる顕微鏡システムは、標本試料を載置し、水平方向に移動可能なステージと、前記ステージに載置された前記標本試料を撮像して該標本試料の画像データを連続して生成する撮像装置と、前記撮像装置が生成した画像データに対応する画像を表示可能な表示部と、前記撮像装置が連続して生成した前記画像データから前記表示部に表示させるライブ画像を順次生成するライブ画像生成部と、前記撮像装置が生成した時間的に連続する前記画像データに基づいて、前記ステージに対する前記撮像装置の観察領域の相対的な移動量を算出する移動量算出部と、前記移動量算出部が算出した前記移動量に基づいて、前記撮像装置が連続して生成した前記画像データから前記撮像装置の観察領域よりも外縁が広い観察領域を有する貼り合わせ画像データを生成する貼り合わせ画像生成部と、前記表示部の表示領域において前記撮像装置の観察領域を示すライブ位置枠を生成するライブ枠生成部と、前記ライブ画像データに対応するライブ画像と前記貼り合わせ画像データに対応する貼り合わせ画像とを異なる前記表示領域にそれぞれ表示させるとともに、前記移動量算出部が算出した前記移動量に基づいて、現在の前記撮像装置の観察領域に対応する前記貼り合わせ画像上の表示位置に前記ライブ位置枠を重畳して前記表示部に表示させる表示制御部と、を備えたことを特徴とする。
【０００７】
また、本発明にかかる顕微鏡システムは、上記発明において、前記移動量算出部が算出した前記移動量に基づいて、前記表示部が表示する前記ライブ画像の表示領域において該ライブ画像の周辺に位置する前記貼り合わせ画像の領域を切出して周辺画像を生成する周辺画像生成部をさらに備え、前記表示制御部は、前記表示部が表示する前記ライブ画像の周辺に前記周辺画像を貼り合わせて前記表示部に表示させることを特徴とする。
【０００８】
また、本発明にかかる顕微鏡システムは、上記発明において、前記移動量算出部が前記移動量を算出することができたか否かを判定する移動量判定部をさらに備え、前記表示制御部は、前記移動量判定部によって前記移動量算出部が前記移動量を算出することができなかったと判定された場合、前記表示部に前記移動量が算出することができなかった旨を示す情報を前記表示部に表示させることを特徴とする。
【０００９】
また、本発明にかかる顕微鏡システムは、上記発明において、前記表示制御部は、前記移動量判定部によって前記移動量算出部が前記移動量を算出することができなかったと判定された場合、前記ライブ位置枠の表示態様を変更して前記表示部に表示させることを特徴とする。
【００１０】
また、本発明にかかる顕微鏡システムは、上記発明において、前記表示部が表示する前記貼り合わせ画像の表示サイズを切替える指示信号の入力を受け付ける表示サイズ切替部をさらに備え、前記表示制御部は、前記表示サイズ切替部から入力される指示信号に応じた前記表示サイズで前記貼り合わせ画像および前記ライブ位置枠をそれぞれ前記表示部に表示させることを特徴とする。
【００１１】
また、本発明にかかる顕微鏡システムは、上記発明において、前記貼り合わせ画像の実サイズを計測するスケールの表示の有無を選択する指示信号の入力を受け付けるスケール表示選択部をさらに備え、前記表示制御部は、前記スケール表示選択部から入力される指示信号に応じて前記スケールを前記表示部に表示させることを特徴とする。
【００１２】
また、本発明にかかる顕微鏡システムは、上記発明において、前記表示部が前記貼り合わせ画像を表示する表示領域上において所定の間隔で形成された格子を示すグリッド線の表示の有無を選択する指示信号の入力を受け付けるグリッド表示選択部をさらに備え、前記表示制御部は、前記グリット表示選択部から入力される指示信号に応じて前記グリット線を前記表示部に表示させることを特徴とする。
【００１３】
また、本発明にかかる顕微鏡システムは、上記発明において、前記表示部が前記貼り合わせ画像を表示する表示領域上において前記ライブ位置枠の基準位置を選択する指示信号の入力を受け付ける表示位置選択部をさらに備え、前記表示制御部は、前記表示位置選択部から入力される指示信号に応じた基準位置に前記ライブ位置枠を前記表示部に表示させることを特徴とする。
【発明の効果】
【００１４】
本発明にかかる顕微鏡システムによれば、表示制御部がライブ画像と貼り合わせ画像とを異なる表示領域に表示させるとともに、移動量算出部によって算出されたステージに対する撮像装置の観察領域の相対的な移動量に基づいて、現在の撮像装置の観察領域に対応する貼り合わせ画像上の表示位置にライブ位置枠を重畳して表示部に表示させる。これにより、ユーザは、表示部が表示する貼り合わせ画像とライブ画像とを確認することにより、貼り合わせ画像上に貼り合わせる領域の特定とライブ画像の位置決めを容易に行うことができる。この結果、標本試料の貼り合わせ画像を効率よく作成することができるという効果を奏する。
【図面の簡単な説明】
【００１５】
【図１】図１は、本発明の一実施の形態にかかる顕微鏡システムの構成の一例を示す概念図である。
【図２】図２は、本発明の一実施の形態にかかる顕微鏡システムの機能構成を示すブロック図である。
【図３】図３は、本発明の一実施の形態にかかる顕微鏡システムの表示部が表示する操作画面の一例を示す図である。
【図４】図４は、本発明の一実施の形態にかかる顕微鏡システムが行う処理の概要を示すフローチャートである。
【図５】図５は、本発明の一実施の形態にかかる顕微鏡システムの行う処理を模式的に説明する図である。
【図６】図６は、本発明の一実施の形態の変形例２にかかる顕微鏡システムの表示部が表示する操作画面の別の一例を示す図である。
【図７】図７は、本発明の一実施の形態の変形例３にかかる顕微鏡システムの表示部が表示する操作画面の別の一例を示す図である。
【図８Ａ】図８Ａは、本発明の一実施の形態の変形例４にかかる顕微鏡システムの表示部が表示する操作画面の別の一例を示す図である。
【図８Ｂ】図８Ｂは、本発明の一実施の形態の変形例４にかかる顕微鏡システムの表示部が表示する操作画面の別の一例を示す図である。
【図９】図９は、本発明の一実施の形態の変形例５にかかる顕微鏡システムの表示部が表示する操作画面の別の一例を示す図である。
【発明を実施するための形態】
【００１６】
以下、図面を参照して、本発明を実施するための形態（以下、「実施の形態」という）について説明する。なお、以下に説明する実施の形態によって本発明が限定されるものではない。さらに、図面の記載において、同一の部分には同一の符号を付して説明する。
【００１７】
図１は、本発明の一実施の形態にかかる顕微鏡システムの構成の一例を示す概念図である。図２は、本発明の一実施の形態にかかる顕微鏡システムの機能構成を示すブロック図である。なお、図１および図２において、顕微鏡システム１が載置される平面をＸＹ平面とし、ＸＹ平面と垂直な方向をＺ方向として説明する。
【００１８】
図１および図２に示すように、顕微鏡システム１は、標本試料Ｓを観察する顕微鏡装置２と、顕微鏡装置２を駆動制御する顕微鏡制御部３と、顕微鏡装置２を介して標本試料Ｓを撮像して画像データを生成する撮像装置４と、撮像装置４の駆動を制御する撮像制御部５と制御端末７を介して撮像装置４が撮像した画像データに対応する画像を表示するとともに、顕微鏡システム１の各種の操作の入力を受け付ける表示入力部６と、顕微鏡システム１の各部を制御する制御端末７と、を備える。顕微鏡装置２、顕微鏡制御部３、撮像装置４、撮像制御部５、表示入力部６および制御端末７は、データが送受信可能に有線または無線で接続されている。
【００１９】
顕微鏡装置２は、標本試料Ｓが載置されるステージ２１と、側面視略Ｃ字状をなし、ステージ２１を支持するとともに、レボルバ２２を介して対物レンズ２３を保持する顕微鏡本体部２４と、標本試料Ｓに光を照射する落射照明用光源２５と、を備える。
【００２０】
ステージ２１は、ＸＹＺ方向に移動自在に構成されている。ステージ２１は、ステージ駆動部２１１によってＸＹ平面内で移動自在である。ステージ２１は、顕微鏡制御部３の制御のもと、図示しないＸＹ位置の原点センサによってＸＹ平面における所定の原点位置を検出し、この原点位置を基点としてステージ駆動部２１１の駆動量が制御されることによって、標本試料Ｓ上の観察箇所（観察領域）を移動する。ステージ２１は、観察時のＸ位置およびＹ位置に関する位置信号（ＸＹ座標）を顕微鏡制御部３に出力する。また、ステージ２１は、モータ２１２によってＺ方向に移動自在である。ステージ２１は、顕微鏡制御部３の制御のもと、図示しないＺ位置の原点センサによってステージ２１のＺ方向における所定の原点位置を検出し、この原点位置を基点としてモータ２１２の駆動量が制御されることによって、所定の高さ範囲内の任意のＺ位置に標本試料Ｓを焦準移動させる。ステージ２１は、観察時のＺ位置に関する位置信号を顕微鏡制御部３に出力する。
【００２１】
レボルバ２２は、顕微鏡本体部２４に対してスライド自在または回転自在に設けられ、対物レンズ２３を標本試料Ｓの上方に配置する。レボルバ２２は、ノーズピースやスイングレボルバ等を用いて構成される。レボルバ２２は、マウンタ２２１によって倍率（観察倍率）が異なる複数の対物レンズ２３を保持する。レボルバ２２は、観察光の光路上に挿入されて標本試料Ｓの観察に用いる対物レンズ２３を択一的に切換えるため、マウンタ２２１をスライド移動又は、回転させるレボルバ駆動部２２２と、レボルバ２２の接続状態等を検出するレボルバ検出部２２３と、を有する。
【００２２】
レボルバ駆動部２２２は、顕微鏡制御部３の制御のもと、マウンタ２２１をスライド移動又は、回転させる。レボルバ検出部２２３は、レボルバ２２が顕微鏡本体部２４に接続されていることを検知するレボルバ接続センサ（図示せず）と、対物レンズ２３が観察光の光路上に挿入された対物レンズ２３の種類を識別するレボルバセンサ（図示せず）と、対物レンズ２３が観察光の光路上に挿入されたことを検知する移動完了センサ（図示せず）と、を有する。レボルバ検出部２２３は、各種センサが検出した検出結果を顕微鏡制御部３へ出力する。
【００２３】
対物レンズ２３は、たとえば１倍，２倍，４倍の比較的倍率の低い対物レンズ２３１（以下、「低倍対物レンズ２３１」という）と、１０倍，２０倍，４０倍の低倍対物レンズ２３１の倍率に対して高倍率である対物レンズ２３２（以下、「高倍対物レンズ２３２」という）とを少なくとも一つずつマウンタ２２１に装着される。なお、低倍対物レンズ２３１および高倍対物レンズ２３２の倍率は一例であり、高倍対物レンズ２３２が低倍対物レンズ２３１に対して高ければよい。
【００２４】
顕微鏡本体部２４は、ファイバー２５１を介して落射照明用光源２５から出射された照明光Ｌ１（以下、「落射照明光Ｌ１」という）を集光する照明レンズ２４１と、落射照明光Ｌ１の光路を対物レンズ２３の光軸に沿って偏向させるハーフミラー２４２と、標本試料Ｓを拡大するズームレンズ部２４３と、対物レンズ２３、ズームレンズ部２４３およびハーフミラー２４２を介して入射される標本試料Ｓの反射光を集光して観察像を結像する結像レンズ２４４とが内部に設けられている。
【００２５】
ズームレンズ部２４３は、１または複数のレンズからなり、標本試料Ｓに対してズーム可能なズーム光学系２４３ａと、ズーム光学系２４３ａを光軸に沿って駆動するズーム駆動部２４３ｂとを有する。ズーム駆動部２４３ｂは、顕微鏡制御部３の制御のもと、ズーム光学系２４３ａを光軸に沿って移動させることにより、ズームレンズ部２４３のズーム倍率を変更する。
【００２６】
落射照明光Ｌ１は、照明レンズ２４１、ハーフミラー２４２、ズーム光学系２４３ａおよび対物レンズ２３を経て標本試料Ｓに照射される。標本試料Ｓで反射した反射光Ｌ２（以下、「観察光Ｌ２」という）は、対物レンズ２３、ズーム光学系２４３ａ、ハーフミラー２４２および結像レンズ２４４を経て撮像装置４に入射する。
【００２７】
落射照明用光源２５は、ハロゲンランプ、キセノンランプまたはＬＥＤ（Light Emitting Diode）等によって構成される。落射照明用光源２５は、ファイバー２５１を介して標本試料Ｓの観察像を形成するための落射照明光Ｌ１を顕微鏡本体部２４に出射する。
【００２８】
顕微鏡制御部３は、ＣＰＵ（Central Processing Unit）等を用いて構成され、制御端末７の制御のもと、顕微鏡装置２を構成する各部の動作を統括的に制御する。具体的には、顕微鏡制御部３は、レボルバ駆動部２２２を駆動することにより、マウンタ２２１を回転させて観察光Ｌ２の光路上に配置する対物レンズ２３を切換える切換処理、ステージ駆動部２１１またはモータ２１２を駆動することにより、ステージ２１の駆動処理、および標本試料Ｓの観察に伴う顕微鏡装置２の各部の調整を行う調整処理等を行う。また、顕微鏡制御部３は、顕微鏡装置２を構成する各部の状態、たとえばステージ２１の位置情報（ＸＹ位置、Ｚ位置）およびレボルバ２２に装着された対物レンズ２３の種類情報等を制御端末７に出力する。
【００２９】
撮像装置４は、ＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子４１を用いて構成される。撮像装置４は、撮像制御部５の制御のもと、結像レンズ２４４を経て入射された標本試料Ｓの観察像を撮像して標本試料Ｓの画像データを連続して生成する。撮像装置４は、カメラケーブルを介して生成した標本試料Ｓの画像データを制御端末７へ出力する。
【００３０】
撮像制御部５は、ＣＰＵ等を用いて構成され、撮像装置４の動作を制御する。具体的には、撮像制御部５は、撮像装置４の自動ゲイン制御のＯＮ／ＯＦＦ切換処理、ゲインの設定処理およびフレームレートの設定処理等を行って撮像装置４の撮影動作を制御する。撮像制御部５は、ＡＥ処理部５１と、ＡＦ処理部５２と、を有する。
【００３１】
ＡＥ処理部５１は、撮像装置４が生成した画像データに基づいて、撮像装置４の露出条件を自動的に設定する。具体的には、ＡＥ処理部５１は、制御端末７を介して取得した画像データから輝度を算出し、算出した輝度に基づいて撮像装置４の露出条件、たとえば露光時間を決定することで撮像装置４の自動的に調整するＡＥ処理を行う。
【００３２】
ＡＦ処理部５２は、撮像装置４が生成した画像データに基づいて、撮像装置４のピントを自動的に調整する。具体的には、ＡＦ処理部５２は、画像データに含まれるコントラストを評価し、合焦している合焦位置（焦点位置）を検出することにより、撮像装置４のピントを自動的に調整するＡＦ処理を行う。なお、ＡＦ処理部５２は、画像データに基づいて、ステージ２１の各Ｚ位置における画像のコントラストを評価することにより、合焦している焦点位置（Ｚ位置）を検出してもよい。
【００３３】
表示入力部６は、制御端末７との通信を行う表示通信部６１と、画像を表示する表示部６２と、外部からの物体の接触に応じた位置信号を出力するタッチパネル６３と、を有する。
【００３４】
表示通信部６１は、制御端末７との通信を行うための通信インターフェースである。表示通信部６１は、制御端末７から出力される画像データを表示部６２へ出力する。
【００３５】
表示部６２は、液晶または有機ＥＬ（Electro Luminescence）等からなる表示パネルを用いて構成される。表示部６２は、表示通信部６１を介して入力される画像データに対応する画像および顕微鏡システム１の各種操作情報を表示する。具体的には、表示部６２は、撮像装置４によって連続して生成された画像データに対応するライブ画像と撮像装置４の観察領域よりも外縁が広い観察領域を有する標本試料Ｓの貼り合わせ画像データに対応する貼り合わせ画像とを異なる表示領域にそれぞれ表示する。なお、表示部６２が表示するライブ画像および貼り合わせ画像の表示領域の詳細については後述する。
【００３６】
タッチパネル６３は、表示部６２の表示画面上に設けられ、外部からの物体の接触位置に応じた入力を受け付ける。具体的には、タッチパネル６３は、ユーザが表示部６２に表示される操作アイコンに従ってタッチ（接触）した位置を検出し、この検出したタッチ位置に応じた位置信号を制御端末７へ出力する。タッチパネル６３は、表示部６２が顕微鏡システム１の各種操作情報を表示領域内で表示することで、グラフィカルユーザインターフェース（ＧＵＩ）として機能する。一般に、タッチパネルとしては、抵抗膜方式、静電容量方式および光学方式等がある。本実施の形態では、いずれの方式のタッチパネルであっても適用可能である。
【００３７】
制御端末７は、顕微鏡制御部３、撮像制御部５および表示入力部６との通信を行う制御通信部７１と、顕微鏡システム１の各種情報を記憶する記憶部７３と、顕微鏡システム１の各部の駆動を指示する駆動指示信号の入力を受け付ける入力部７２と、顕微鏡システム１の各部を制御する制御部７４と、を備える。
【００３８】
制御通信部７１は、顕微鏡制御部３、撮像制御部５および表示入力部６それぞれとの通信を行うための通信インターフェースである。また、制御通信部７１は、カメラケーブルを介して撮像装置４から出力される画像データを制御部７４へ出力する。
【００３９】
入力部７２は、キーボード、マウス、ジョイスティックおよび各種スイッチ等を用いて構成され、各種スイッチの操作入力に応じた操作信号を制御部７４に出力する。
【００４０】
記憶部７３は、制御端末７の内部に固定的に設けられるフラッシュメモリおよびＲＡＭ（Random Access Memory）等の半導体メモリを用いて実現される。記憶部７３は、顕微鏡システム１に実行させる各種プログラム、プログラムの実行中に使用される各種データを記憶する。また、記憶部７３は、制御部７４の処理中の情報を一次的に記憶する。記憶部７３は、撮像装置４が撮像した画像データを記憶する画像データ記憶部７３１を有する。なお、記憶部７３は、外部から装着されるメモリカード等を用いて構成されてもよい。
【００４１】
制御部７４は、ＣＰＵ等を用いて構成され、入力部７２からの操作信号およびタッチパネル６３から位置信号に応じて顕微鏡システム１を構成する各部に対応する指示やデータの転送等を行って顕微鏡システム１の動作を統括的に制御する。
【００４２】
制御部７４の詳細な構成について説明する。制御部７４は、ライブ画像生成部７４１と、移動量算出部７４２と、移動量判定部７４３と、ライブ枠生成部７４４と、撮影画像生成部７４５と、貼り合わせ画像生成部７４６と、周辺画像生成部７４７と、駆動制御部７４８と、表示制御部７４９と、を有する。
【００４３】
ライブ画像生成部７４１は、撮像装置４が連続して生成した画像データから表示部６２に表示させるライブ画像データを順次生成する。ライブ画像生成部７４１は、ライブ画像データを画像データ記憶部７３１に出力する。また、ライブ画像生成部７４１は、画像データに対し、所定の画像処理、たとえばオプティカルブラック減算処理、ホワイトバランス調整処理、同時化処理、カラーマトリクス演算処理、γ補正処理、色再現処理およびエッジ強調処理等を含む画像処理を行う。
【００４４】
移動量算出部７４２は、制御通信部７１を介して入力される撮像装置４によって生成された時間的に連続する画像データに対応する画像データに基づいて、ステージ２１に対する撮像装置４の観察領域における相対的な移動量を算出する。具体的には、移動量算出部７４２は、時間的に前後する２つの画像データに対応するライブ画像にそれぞれ含まれる特徴点を抽出し、２つのライブ画像間において同一となる複数の対応点の移動量（画素数）を算出することにより、ステージ２１に対する撮像装置４の観察領域における相対的な移動量（ずれ量）を算出する。ここで、特徴点とは、輝度情報、色情報またはエッジ情報である。なお、移動量算出部７４２は、撮像装置４の観察領域における相対的な移動量をパターンマッチング等の周知技術を用いて算出してもよい。
【００４５】
移動量判定部７４３は、移動量算出部７４２が時間的に前後する２つのライブ画像に基づいて、ステージ２１に対する撮像装置４の観察領域における相対的な移動量が算出できたか否かを判断する。具体的には、移動量判定部７４３は、移動量算出部７４２が２つのライブ画像間において対応する特徴点を抽出することができたか否かを判定する。たとえば、移動量判定部７４３は、移動量算出部７４２が２つのライブ画像間において互いに対応する特徴点を抽出することができなった場合、移動量算出部７４２がステージ２１に対する撮像装置４の観察領域における相対的な移動量を算出することができなかったと判定する。
【００４６】
ライブ枠生成部７４４は、撮像装置４の観察領域を示すライブ位置枠を生成する。具体的には、ライブ枠生成部７４４は、撮像装置４の観察領域を示すライブ位置枠として矩形状の枠を生成する。
【００４７】
撮影画像生成部７４５は、制御通信部７１を介して入力される画像データに対して、所定の画像処理を施して貼り合わせ画像生成部７４６および画像データ記憶部７３１に出力する。具体的には、撮影画像生成部７４５は、画像データに対して、オプティカルブラック減算処理、ホワイトバランス調整処理、同時化処理、カラーマトリクス演算処理、γ補正処理、色再現処理およびエッジ強調処理等を含む画像処理を行う。なお、撮影画像生成部７４５は、画像データを所定の方式、たとえばＪＰＥＧ（Joint Photographic Experts Group）方式で圧縮し、圧縮した画像データを貼り合わせ画像生成部７４６および画像データ記憶部７３１に出力してもよい。
【００４８】
貼り合わせ画像生成部７４６は、移動量算出部７４２が算出したステージ２１に対する撮像装置４の観察領域の相対的な移動量に基づいて、撮像装置４が連続して生成した画像データから撮像装置４の観察領域よりも外縁が広い観察領域を有する貼り合わせ画像データを生成する。具体的には、貼り合わせ画像生成部７４６は、画像データ記憶部７３１が記憶する貼り合わせ画像データを取得し、撮影画像生成部７４５から出力された撮影画像データを、移動量算出部７４２が算出したステージ２１に対する撮像装置４の観察領域の相対的な移動量によって定まる貼り合わせ画像の表示位置に合成することにより、貼り合わせ画像データを生成する。たとえば、貼り合わせ画像生成部７４６は、貼り合わせ画像に撮影画像を貼り合わせる際に、繋ぎ目を目立たなくするため、貼り合わせ画像と撮影画像との重複領域に画素値のブレンディング処理を行うことによって貼り合わせ画像を生成する。ここで、ブレンディング処理とは、画像間で画素値を加重平均して合成画像の画素値を算出する画像処理である。なお、貼り合わせ画像生成部７４６は、ブレンディング処理において加重平均の際の重みを画素の位置に応じて変化させてもよい。
【００４９】
周辺画像生成部７４７は、移動量算出部７４２が算出したステージ２１に対する撮像装置４の観察領域の相対的な移動量に基づいて、表示部６２が表示するライブ画像の表示領域においてライブ画像の周辺に対応する周辺画像を貼り合わせ画像データから切出して周辺画像データを生成する。
【００５０】
駆動制御部７４８は、入力部７２から入力される操作信号またはタッチパネル６３から入力される位置信号や指示信号に基づいて、顕微鏡装置２および撮像装置４の駆動を制御する。具体的には、駆動制御部７４８は、入力部７２から撮影を指示する撮影指示信号が入力された場合、撮像制御部５に撮影を指示する指示信号を出力することにより、撮像装置４に撮影動作を実行させる。
【００５１】
表示制御部７４９は、表示部６２の表示態様を制御する。具体的には、表示制御部７４９は、制御通信部７１および表示通信部６１を介してライブ画像生成部７４１によって生成されたライブ画像および貼り合わせ画像生成部７４６によって生成された貼り合わせ画像を異なる表示部６２の表示領域にそれぞれ表示させる。表示制御部７４９は、移動量算出部７４２が算出したステージ２１に対する撮像装置４の観察領域の移動量に基づいて、現在の撮像装置４の観察領域に対応する貼り合わせ画像上の表示位置に、ライブ枠生成部７４４によって生成されたライブ位置枠を重畳して表示部６２に表示させる。
【００５２】
ここで、表示制御部７４９の制御のもと、表示部６２が表示する顕微鏡システム１の操作画面について説明する。図３は、表示部６２が表示する顕微鏡システム１の操作画面の一例を示す図である。
【００５３】
図３に示すように、表示部６２が表示する操作画面Ｗ１は、貼り合わせ画像表示部Ｗ１０と、ライブ画像表示部Ｗ１１と、撮影指示部Ｗ１２と、完了指示部Ｗ１３と、基準位置選択部Ｗ１４と、スケール表示選択部Ｗ１５と、表示サイズ切替部Ｗ１６と、グリッド表示選択部Ｗ１７と、を有する。
【００５４】
貼り合わせ画像表示部Ｗ１０は、表示制御部７４９の制御もと、貼り合わせ画像生成部７４６によって生成された貼り合わせ画像データに対応する貼り合わせ画像Ｐ１およびライブ枠生成部７４４によって生成されたライブ位置枠Ｂ１を表示する。
【００５５】
ライブ画像表示部Ｗ１１は、表示制御部７４９の制御のもと、ライブ画像生成部７４１によって生成されたライブ画像データに対応するライブ画像Ｐ２および周辺画像生成部７４７によって生成された周辺画像データに対応する周辺画像Ｐ３を表示する。ライブ画像表示部Ｗ１１は、ライブ画像Ｐ２を中央領域で固定して表示する。なお、周辺画像Ｐ３は、固定して表示されるライブ画像P２に対して移動して表示する。
【００５６】
撮影指示部Ｗ１２は、撮像装置４による撮影を指示する撮影指示信号の入力を受け付ける。具体的には、撮影指示部Ｗ１２は、ユーザが入力部７２のマウス等を操作することにより、マウスポインタＫ１を撮影指示部Ｗ１２の表示領域上に移動させてドラック操作（以下、「ドラック操作」という）を行って選択されることにより、撮影指示信号の入力を受け付ける。
【００５７】
完了指示部Ｗ１３は、ユーザが入力部７２のマウス等によってドラック操作を行って選択されることにより、標本試料Ｓの貼り合わせ画像の生成を終了する終了指示信号の入力を受け付ける。
【００５８】
基準位置選択部Ｗ１４は、ライブ位置枠Ｂ１が貼り合わせ画像表示部Ｗ１０の表示領域において表示される表示位置を選択する基準位置選択リストボックスである。基準位置選択部Ｗ１４は、ユーザが入力部７２のマウス等によって基準位置選択リストボックスＷ１４１をドラック操作してライブ位置枠Ｂ１の表示位置を選択することにより、ライブ位置枠Ｂ１の表示位置を指定する表示位置指定信号の入力を受け付ける。
【００５９】
スケール表示選択部Ｗ１５は、貼り合わせ画像表示部Ｗ１０の表示領域上に貼り合わせ画像Ｐ１の実サイズを計測するスケールの表示選択を設定する選択ボタンである。スケール表示選択部Ｗ１５は、ユーザがドラック操作してＯＮスイッチＷ１５１を選択することにより、スケールを貼り合わせ画像表示部Ｗ１０の表示領域に表示させる指示信号の入力を受け付ける。一方、ユーザがドラッグ操作してＯＦＦスイッチＷ１５２を選択することにより、スケールを貼り合わせ画像表示部Ｗ１０の表示領域において非表示させる指示信号の入力を受け付ける。
【００６０】
表示サイズ切替部Ｗ１６は、貼り合わせ画像表示部Ｗ１０の表示領域上において表示される貼り合わせ画像Ｐ１の表示サイズを切替える表示サイズ切替ボタンである。表示サイズ切替部Ｗ１６は、ユーザがドラック操作してリストボックスＷ１６１を選択して所望の表示サイズを選択することにより、貼り合わせ画像Ｐ１の表示サイズを切替える指示信号の入力を受け付ける。
【００６１】
グリッド表示選択部Ｗ１７は、貼り合わせ画像表示部Ｗ１０の表示領域において所定の間隔で形成されたグリッド線（ガイドライン）の表示選択を設定するグリッド設定ボタンである。グリッド表示選択部Ｗ１７は、グリッド線の分割数を切り替えるガイド分割数選択リストボックスである。グリッド表示選択部Ｗ１７は、ユーザがドラッグ操作してリストボックスＷ１７１を選択することにより、グリッド線の分割数の指示信号の入力を受け付ける。
【００６２】
このように構成された顕微鏡システム１は、制御部７４の制御のもと、撮像装置４で撮像された標本試料Ｓの画像データを表示部６２に表示することによってユーザに標本試料Ｓの画像を観察させることができる。さらに、顕微鏡システム１は、入力部７２から入力される操作信号に基づいて、制御部７４が顕微鏡システム１の各部に指示信号や駆動信号を出力することにより、顕微鏡装置２および撮像装置４が駆動する。
【００６３】
つぎに、顕微鏡システム１が行う動作について説明する。図４は、本実施の形態にかかる顕微鏡システム１が行う処理の概要を示すフローチャートである。なお、以下においては、顕微鏡システム１が行う標本試料Ｓの貼り合わせ画像を生成する貼り合わせ画像生成モードについて説明する。
【００６４】
図４に示すように、ライブ枠生成部７４４は、貼り合わせ画像表示部Ｗ１０で表示する現在の撮像装置４の観察領域に対応するライブ位置枠Ｂ１を生成する（ステップＳ１０１）。
【００６５】
続いて、表示制御部７４９は、ライブ枠生成部７４４が生成したライブ位置枠Ｂ１を、基準位置選択部Ｗ１４によって設定された貼り合わせ画像表示部Ｗ１０の基準の位置に表示させる（ステップＳ１０２）。具体的には、図５（ａ）に示すように、表示制御部７４９は、基準位置選択部Ｗ１４によって選択された位置に基づいて、ライブ位置枠Ｂ１を貼り合わせ画像表示部Ｗ１０に表示させる。
【００６６】
その後、ライブ画像生成部７４１は、撮像装置４によって生成された画像データから表示部６２に表示するライブ画像データを生成する（ステップＳ１０３）。
【００６７】
続いて、表示制御部７４９は、ライブ画像生成部７４１が生成したライブ画像データに対応するライブ画像をライブ画像表示部Ｗ１１の表示領域上に表示させる（ステップＳ１０４）。具体的には、図５（ａ）に示すように、表示制御部７４９は、ライブ画像生成部７４１が生成した標本試料Ｓのライブ画像Ｐ２をライブ画像表示部Ｗ１１の表示領域上の左上に表示させる。
【００６８】
その後、制御部７４は、ライブ画像表示部Ｗ１１によるライブ画像の表示が１回目であるか否かを判断する（ステップＳ１０５）。ライブ画像表示部Ｗ１１によるライブ画像の表示が１回目であると制御部７４が判断した場合（ステップＳ１０５：Ｙｅｓ）、顕微鏡システム１は、ステップＳ１０３へ戻る。一方、ライブ画像表示部Ｗ１１によるライブ画像の表示が１回目でないと制御部７４が判断した場合（ステップＳ１０５：Ｎｏ）、顕微鏡システム１は、ステップＳ１０６へ移行する。
【００６９】
ステップＳ１０５の後、移動量算出部７４２は、最新のライブ画像と直前のライブ画像とに基づいて、ステージ２１に対する撮像装置４の観察領域の相対的な移動量を算出する（ステップＳ１０６）。具体的には、移動量算出部７４２は、ライブ画像生成部７４１によって生成された最新のライブ画像と、画像データ記憶部７３１によって記憶された直前のライブ画像とに基づいて、ステージ２１に対する撮像装置４の観察領域における相対的な移動量を算出する。
【００７０】
続いて、移動量判定部７４３は、移動量算出部７４２がステージ２１に対する撮像装置４の観察領域の相対的な移動量を算出することができたか否かを判定する（ステップＳ１０７）。具体的には、移動量判定部７４３は、移動量算出部７４２が直前のライブ画像から抽出した複数の特徴点それぞれに対応する対応点を最新のライブ画像から抽出することにより、ステージ２１に対する撮像装置４の観察領域の移動量を算出することができたか否かを判定する。たとえば、移動量判定部７４３は、ステージ２１が移動する移動量が大きい場合において、移動量算出部７４２が直前のライブ画像から抽出した特徴点に対応する対応点を最新のライブ画像から抽出できなかったとき、移動量算出部７４２がステージ２１に対する撮像装置４の観察領域の相対的な移動量を算出することができなかったと判定する。移動量算出部７４２がステージ２１に対する撮像装置４の観察領域の相対的な移動量を算出することができたと移動量判定部７４３が判定した場合（ステップＳ１０７：Ｙｅｓ）、顕微鏡システム１は、後述するステップＳ１０８へ移行する。一方、移動量算出部７４２がステージ２１に対する撮像装置４の観察領域の相対的な移動量を算出することができなかったと移動量判定部７４３が判定した場合（ステップＳ１０７：Ｎｏ）、顕微鏡システム１は、後述するステップＳ１２０へ移行する。
【００７１】
ステップＳ１０８において、駆動制御部７４８は、ライブ画像生成部７４１によって生成された最新のライブ画像データを画像データ記憶部７３１に記憶する。
【００７２】
続いて、制御部７４は、画像データ記憶部７３１に貼り合わせ画像データが記憶されているか否かを判断する（ステップＳ１０９）。画像データ記憶部７３１に貼り合わせ画像データが記憶されていると制御部７４が判断した場合（ステップＳ１０９：Ｙｅｓ）、顕微鏡システム１は、後述するステップＳ１１０へ移行する。一方、画像データ記憶部７３１に貼り合わせ画像データが記憶されていないと制御部７４が判断した場合（ステップＳ１０９：Ｎｏ）、顕微鏡システム１は、後述するステップＳ１１３へ移行する。
【００７３】
ステップＳ１１０において、周辺画像生成部７４７は、移動量算出部７４２が算出した移動量に基づいて、ライブ画像表示部Ｗ１１の表示領域においてライブ画像Ｐ２の周辺に対応する周辺画像を画像データ記憶部７３１が記憶する貼り合わせ画像データから切出して周辺画像データを生成する。具体的には、周辺画像生成部７４７は、画像データ記憶部７３１が記憶する貼り合わせ画像データを取得後、この貼り合わせ画像データに対して移動量算出部７４２によって算出されたステージ２１に対する撮像装置４の観察領域の相対的な移動量からライブ画像Ｐ２の周辺領域を特定し、この特定した周辺領域を貼り合わせ画像データから切り出す（トリミング処理）ことによって周辺画像データを生成する。
【００７４】
その後、表示制御部７４９は、周辺画像生成部７４７が生成した周辺画像データに対応する周辺画像をライブ画像表示部Ｗ１１の表示領域で表示されるライブ画像Ｐ２の周辺に表示させ（ステップＳ１１１）、移動量算出部７４２によって算出された撮像装置４の観察領域の相対的な移動量に基づいて、貼り合わせ画像表示部Ｗ１０の表示領域上におけるライブ位置枠Ｂ１の表示位置を更新する（ステップＳ１１２）。具体的には、図５（ｂ）および図５（ｃ）に示すように、表示制御部７４９は、ライブ画像表示部Ｗ１１の表示領域上で表示されるライブ画像Ｐ２の周辺に対応する貼り合わせ画像Ｐ１の周辺画像Ｐ３を仮想的に張り合わせて表示させるとともに、貼り合わせ画像表示部Ｗ１０の表示領域上におけるライブ位置枠Ｂ１の表示位置を更新する。これにより、ユーザは、ライブ画像Ｐ２と周辺画像Ｐ３を十分な表示サイズで確認することができるので、貼り合わせ画像Ｐ１を作成する際に貼り合わせの繋ぎ目の精度を高めて貼り合わせ画像Ｐ１を作成することができる。
【００７５】
続いて、制御部７４は、入力部７２を介して撮影指示部Ｗ１２が操作されることにより、撮影指示信号が入力されたか否かを判断する（ステップＳ１１３）。撮影指示信号が入力されたと制御部７４が判断した場合（ステップＳ１１３：Ｙｅｓ）、顕微鏡システム１は、ステップＳ１１４へ移行する。一方、入力部７２を介して撮影指示部Ｗ１２から撮影指示信号が入力されていないと制御部７４が判断した場合（ステップＳ１１３：Ｎｏ）、顕微鏡システム１は、ステップＳ１０３へ戻る。
【００７６】
ステップＳ１１４において、駆動制御部７４８は、ライブ画像生成部７４１によるライブ画像データの生成を停止させる。
【００７７】
続いて、駆動制御部７４８は、撮像制御部５に撮影駆動信号を出力して撮像装置４に撮影動作を実行させて画像データを生成させる（ステップＳ１１５）。
【００７８】
その後、撮影画像生成部７４５は、撮像装置４によって生成された画像データから撮影画像データを生成する（ステップＳ１１６）。この際、撮影画像生成部７４５は、撮像装置４によって生成された１フレームの画像データから撮影画像データを生成する。さらに、撮影画像生成部７４５は、撮像装置４が複数フレームの画像データを生成した場合、この複数フレームの画像データから全焦点画像データおよび３Ｄ画像データを生成してもよい。
【００７９】
続いて、貼り合わせ画像生成部７４６は、画像データ記憶部７３１から貼り合わせ画像データと撮影画像生成部７４５から撮影画像データとを取得後、移動量算出部７４２によって算出された移動量から貼り合わせ画像Ｐ１上での撮影画像データの表示位置を算出し、この算出した表示位置に撮影画像生成部７４５によって生成された撮影画像データを合成することにより、貼り合わせ画像データを生成する（ステップＳ１１７）。具体的には、図５（ｄ）に示すように、貼り合わせ画像生成部７４６は、移動量算出部７４２によって算出された移動量に基づいて、貼り合わせ画像Ｐ１上で撮影画像を合成する表示位置を算出し、算出した表示位置に撮影画像Ｐ４を貼り合わせ画像Ｐ１の領域の一部が重なるように重畳して合成する（図５（ｅ）を参照）。これにより、貼り合わせ画像Ｐ１と撮影画像Ｐ４との繋ぎ目が滑らかな標本試料Ｓの貼り合わせ画像Ｐ１を生成することができる。
【００８０】
その後、表示制御部７４９は、貼り合わせ画像生成部７４６が生成した貼り合わせ画像データに対応する貼り合わせ画像を貼り合わせ画像表示部Ｗ１０の表示領域上に表示させる（ステップＳ１１８）。具体的には、図５（ｃ）または図５（ｅ）に示すように、表示制御部７４９は、貼り合わせ画像生成部７４６が生成した貼り合わせ画像データに対応する貼り合わせ画像Ｐ１を貼り合わせ画像表示部Ｗ１０の表示領域上に表示させる。
【００８１】
続いて、制御部７４は、入力部７２を介して完了指示部Ｗ１３が操作されることにより、完了指示信号が入力されたか否かを判断する（ステップＳ１１９）。完了指示信号が入力されたと制御部７４が判断した場合（ステップＳ１１９：Ｙｅｓ）、顕微鏡システム１は、本処理を終了する。一方、入力部７２を介して完了指示信号が入力されていないと制御部７４が判断した場合（ステップＳ１１９：Ｎｏ）、顕微鏡システム１は、ステップＳ１０３へ戻る。
【００８２】
ステップＳ１２０において、表示制御部７４９は、移動量算出部７４２がステージ２１に対する撮像装置４の観察領域の相対的な移動量を算出することができなかった旨の警告を表示部６２に表示させる。具体的には、表示制御部７４９は、貼り合わせ画像表示部Ｗ１０の表示領域上で表示されているライブ位置枠Ｂ１の表示態様を変更、たとえば「緑」から「赤」に変更することにより、移動量算出部７４２が撮像装置４の観察領域の相対的な移動量を算出することができなかった旨の警告を表示部６２に表示させる。これにより、ユーザは、ステージ２１の移動量が大きいため、貼り合わせ画像Ｐ１を生成することができないことを直感的に把握することができる。ステップＳ１２０の後、顕微鏡システム１は、ステップＳ１１９へ移行する。
【００８３】
以上説明した本発明の一実施の形態によれば、表示制御部７４９がライブ画像Ｐ２と貼り合わせ画像Ｐ１とを異なる表示部６２の表示領域それぞれに表示させるとともに、移動量算出部７４２によって算出されたステージ２１に対する撮像装置４の観察領域の相対的な移動量に基づいて、現在の撮像装置４の観察領域に対応する貼り合わせ画像Ｐ１上の表示位置にライブ位置枠Ｂ１を重畳して表示部６２に表示させる。これにより、ユーザは、表示部６２が表示する貼り合わせ画像Ｐ１とライブ画像Ｐ２とを確認することにより、ライブ画像Ｐ２を貼り合わせる貼り合わせ画像Ｐ１上の領域の特定とライブ画像Ｐ２の位置決めを容易に行うことができる。この結果、精度の高い標本試料Ｓの貼り合わせ画像を効率よく作成することができる。
【００８４】
また、本発明の一実施の形態によれば、表示制御部７４９が表示部６２によって表示されるライブ画像Ｐ２の周辺に、周辺画像生成部７４７によって生成された周辺画像を貼り合わせて表示部６２に表示させる。これにより、ユーザは、貼り合わせ画像Ｐ１の表示サイズに関わらず、ライブ画像Ｐ２と、ライブ画像Ｐ２の周辺の標本試料Ｓの画像を直感的に把握することができるので、貼り合わせ画像Ｐ１の繋ぎ目の精度が高い貼り合わせ画像を生成することができる。
【００８５】
（変形例１）
また、本発明の一実施の形態において、入力部７２を介して表示サイズ切替部Ｗ１６を操作することにより、貼り合わせ画像表示部Ｗ１０の表示領域上において表示される貼り合わせ画像Ｐ１の表示サイズを自動または手動に切り替えることができる。
【００８６】
図３において、表示制御部７４９は、入力部７２を介して表示サイズ切替部Ｗ１６で自動（Ａｕｔｏ）が選択された場合、貼り合わせ画像Ｐ１が貼り合わせ画像表示部Ｗ１０の表示領域内に収まる縮小率で貼り合わせ画像Ｐ１を自動的に縮小しながら表示させる。一方、表示制御部７４９は、入力部７２を介して表示サイズ切替部Ｗ１６で手動が選択された場合、貼り合わせ画像Ｐ１を指定のサイズで貼り合わせ画像表示部Ｗ１０の表示領域上で表示させる。なお、指定のサイズとしては、実サイズに対する割合、たとえば画像ピクセル数または画像の長さであればよい。
【００８７】
また、表示制御部７４９は、入力部７２を介して表示サイズ切替部Ｗ１６で手動が選択された場合において、貼り合わせ画像Ｐ１が貼り合わせ画像表示部Ｗ１０の表示領域より大きいとき、入力部７２のスクロール操作に応じた貼り合わせ画像Ｐ１を縮小するようにしてもよい。さらに、表示制御部７４９は、入力部７２を介して表示サイズ切替部Ｗ１６で自動が選択された場合、貼り合わせ画像Ｐ１を縮小する縮小率を貼り合わせ画像表示部Ｗ１０の表示領域の端部分にマージンをもって縮小するようにしてもよい。
【００８８】
このように、本発明の一実施の形態にかかる変形例１によれば、表示サイズ切替部Ｗ１６で自動が選択された場合、ユーザが表示サイズを操作する必要がなく、貼り合わせ画像Ｐ１の実サイズが大きくなったとしても、貼り合わせ画像Ｐ１全体を確認することができる。この結果、貼り合わせ画像Ｐ１を作成する作業効率を向上させることができる。一方、ユーザが表示サイズ切替部Ｗ１６で手動を選択した場合、ユーザが所望する表示サイズで貼り合わせ画像Ｐ１を表示する。これにより、ユーザは、貼り合わせ画像Ｐ１の詳細を確認することができる。この結果、貼り合わせ画像Ｐ１の精度を向上させることができる。
【００８９】
（変形例２）
また、本発明の一実施の形態において、入力部７２を介してスケール表示選択部Ｗ１５を操作することにより、貼り合わせ画像表示部Ｗ１０の表示領域上においてスケールを表示することもできる。
【００９０】
図６は、本発明の一実施の形態の変形例２にかかる顕微鏡システム１の表示部６２が表示する操作画面の別の一例を示す図である。
【００９１】
図６に示すように、表示制御部７４９は、入力部７２を介してスケール表示選択部Ｗ１５でＯＮスイッチＷ１５１が選択されて設定された場合、貼り合わせ画像表示部Ｗ１０の表示領域上にスケールＳ１を表示させる。スケールＳ１は、Ｘ軸およびＹ軸の線を有し、この線上には目盛が設けられている。
【００９２】
また、表示制御部７４９は、スケールＳ１のＸ軸およびＹ軸それぞれの長さ（Ｘ：５μｍ，Ｙ：５μｍ）、および角度（Ａｎｇｌｅ：９０）を貼り合わせ画像表示部Ｗ１０で表示されているスケールＳ１の付近に表示させる。さらに、表示制御部７４９は、入力部７２の操作内容に応じて、スケールＳ１のＸ軸およびＹ軸の長さや角度を変更して表示してもよい。さらにまた、表示制御部７４９は、入力部７２の操作内容に応じて、スケールＳ１の表示位置を移動させて表示してもよい。なお、スケールＳ１は、Ｘ軸またはＹ軸の一方向のみであってもよい。
【００９３】
以上説明した本発明の一実施の形態にかかる変形例２によれば、表示制御部７４９が入力部７２を介してスケール表示選択部Ｗ１５でＯＮスイッチＷ１５１が選択された場合、貼り合わせ画像表示部Ｗ１０の表示領域上に貼り合わせ画像Ｐ１を計測するスケールＳ１を表示するので、スケールＳ１を用いることで貼り合わせ画像Ｐ１の実サイズを測定することができる。この結果、無駄なく貼り合わせ画像Ｐ１を作成することができ、貼り合わせ画像Ｐ１を作成する作業効率が向上する。
【００９４】
（変形例３）
また、本発明の一実施の形態において、入力部７２を介してグリッド表示選択部Ｗ１７を操作することにより、貼り合わせ画像表示部Ｗ１０の表示領域上にグリッド線（ガイドライン）を表示させることもできる。
【００９５】
図７は、本発明の一実施の形態の変形例３にかかる顕微鏡システム１の表示部６２が表示する操作画面Ｗ１の別の一例を示す図である。
【００９６】
図７に示すように、表示制御部７４９は、入力部７２を介してグリッド表示選択部Ｗ１７でグリッド線の分割数が選択されて設定された場合、貼り合わせ画像表示部Ｗ１０の表示領域上にグリッド線Ｇ１を表示させる。図７に示す状況下では、表示制御部７４９は、グリッド線Ｇ１を３×３で貼り合わせ画像表示部Ｗ１０の表示領域上に表示させる。グリッド線Ｇ１の分割数の指定種類は、適宜設定することができる、また、入力部７２を介してグリッド線Ｇ１の数を手動で移動できるようにしてもよい。
【００９７】
以上説明した本発明の一実施の形態にかかる変形例３によれば、表示制御部７４９が入力部７２を介してグリッド表示選択部Ｗ１７で選択されたグリッド線Ｇ１の分割数に基づいて、貼り合わせ画像表示部Ｗ１０の表示領域上で表示させるグリッド線Ｇ１を表示させる。これにより、貼り合わせ画像表示部Ｗ１０の表示領域上でグリッド線Ｇ１が表示されることで、ユーザは、貼り合わせ画像Ｐ１に撮影画像を貼り合わせる際に貼り合わせの位置決めを容易に行うことができ、貼り合わせ画像Ｐ１を作成する作業効率が向上する。
【００９８】
（変形例４）
また、本発明の一実施の形態において、入力部７２を介して基準位置選択部Ｗ１４を操作することにより、貼り合わせ画像表示部Ｗ１０の表示領域上において最初に表示されるライブ位置枠Ｂ１の表示位置を変更することもできる。
【００９９】
図８は、本発明の一実施の形態の変形例４にかかる顕微鏡システム１の表示部６２が表示する操作画面Ｗ１の別の一例を示す図である。
【０１００】
図８に示すように、表示制御部７４９は、入力部７２を介して基準位置選択部Ｗ１４で操作された設定された表示位置に応じて、貼り合わせ画像表示部Ｗ１０の表示領域上におけるライブ位置枠Ｂ１の表示位置を表示する。具体的には、図８Ａに示すように、表示制御部７４９は、入力部７２を介して基準位置選択部Ｗ１４で右上が選択されて設定された場合、貼り合わせ画像表示部Ｗ１０の表示領域上において最初にライブ位置枠Ｂ１を表示する表示位置を右上に設定して表示させる。また、図８Ｂに示すように、表示制御部７４９は、基準位置選択部Ｗ１４によって選択された表示位置に応じて、最初に表示するライブ位置枠Ｂ１の表示位置を設定して表示させる。なお、表示制御部７４９は、入力部７２の操作に応じてライブ位置枠Ｂ１の表示位置を変更して表示させてもよい。
【０１０１】
以上説明した本発明の一実施の形態にかかる変形例４によれば、表示制御部７４９が入力部７２を介して基準位置選択部Ｗ１４で操作されて設定された表示位置に応じて、貼り合わせ画像表示部Ｗ１０の表示領域上におけるライブ位置枠Ｂ１の表示位置を表示するので、貼り合わせ画像Ｐ１を作成する際の基準位置を指定することができる。この結果、ユーザは、標本試料Ｓに合わせて貼り合わせる順序を変更することができるので、貼り合わせ画像Ｐ１を作成する際の作業効率を向上させることができる。
【０１０２】
（変形例５）
また、本発明の一実施の形態において、ライブ位置枠Ｂ１が貼り合わせ画像Ｐ１の表示領域よりも外側に移動したときに、警告することもできる。
【０１０３】
図９は、本発明の一実施の形態の変形例５にかかる顕微鏡システム１の表示部６２が表示する操作画面の別の一例を示す図である。
【０１０４】
図９に示すように、表示制御部７４９は、ライブ位置枠Ｂ１の表示位置が貼り合わせ画像Ｐ１の表示領域よりも外側に表示されている場合において（図９（ａ））、入力部７２を介して撮像装置４の撮影指示信号が入力されたとき、ライブ位置枠Ｂ１の表示態様を変更、たとえば「緑」から「赤」に変更することにより、貼り合わせ画像Ｐ１の形状が不正になる旨を警告する（図９（ｂ））。なお、表示制御部７４９は、ライブ位置枠Ｂ１の表示態様の変更に替えメッセージ等を表示部６２に表示させることにより、貼り合わせ画像Ｐ１の形状が不正になる旨を警告するようにしてもよい。また、図９においては、実線を緑で表現し、点線を赤で表現した。
【０１０５】
以上説明した本発明の一実施の形態の変形例５によれば、表示制御部７４９が貼り合わせ画像Ｐ１の表示領域よりもライブ位置枠Ｂ１の表示位置が外側に表示されている場合において（図９（ａ））、入力部７２を介して撮像装置４の撮影指示信号が入力されたとき、ライブ位置枠Ｂ１の表示態様を変更する。これにより、ユーザは、貼り合わせ画像Ｐ１の形状がいびつになることを直感的に把握することができる。
【０１０６】
なお、上述した実施の形態では、顕微鏡装置、撮像装置、表示入力部および制御端末を備えた顕微鏡システムを例に説明したが、たとえば標本試料を拡大する対物レンズ、対物レンズを介して標本試料を撮像する撮像機能、および画像を表示する表示機能を備えた撮像装置、たとえばビデオマイクロスコープ等であっても、本発明を適用することができる。
【０１０７】
また、上述した実施の形態では、顕微鏡装置として正立型顕微鏡装置を例に説明したが、たとえば倒立型顕微鏡装置であっても本発明を適用することができる。さらに、顕微鏡装置を組み込んだライン装置といった各種システムにも、本発明を適用することができる。
【０１０８】
また、上述した実施の形態では、入力部を介して顕微鏡システムの各種設定を行っていたが、タッチパネルを介して顕微鏡システムの各種設定を行ってもよい。
【０１０９】
また、上述した実施の形態では、ステージとして電動ステージを例に説明したが、たとえば手動で移動させるマニュアルステージであっても、本発明を適用することができる。
【０１１０】
また、上述した実施の形態では、表示入力部と制御端末とが別々に構成されていたが、たとえば表示入力部と制御端末とが一体的に形成された携帯型端末であってもよい。
【０１１１】
また、上述した実施の形態では、ステージ２１をモータ２１２によってＺ方向に移動自在としたが、対物レンズ２３又は、対物レンズ２３を含む観察光学系全体をＺ方向に移動自在としてもよい。
【符号の説明】
【０１１２】
１ 顕微鏡システム
２ 顕微鏡装置
３ 顕微鏡制御部
４ 撮像装置
５ 撮像制御部
６ 表示入力部
７ 制御端末
２１ ステージ
２２ レボルバ
２３ 対物レンズ
２４ 顕微鏡本体部
２５ 落射照明用光源
４１ 撮像素子
５１ ＡＥ処理部
５２ ＡＦ処理部
６１ 表示通信部
６２ 表示部
６３ タッチパネル
７１ 制御通信部
７２ 入力部
７３ 記憶部
７４ 制御部
２１１ ステージ駆動部
２１２ モータ
２２１ マウンタ
２２２ レボルバ駆動部
２４１ 照明レンズ
２４２ ハーフミラー
２４３ ズームレンズ部
２４３ａ ズーム光学系
２４３ｂ ズーム駆動部
２４４ 結像レンズ
７３１ 画像データ記憶部
７４１ ライブ画像生成部
７４２ 移動量算出部
７４３ 移動量判定部
７４４ ライブ枠生成部
７４５ 撮影画像生成部
７４６ 貼り合わせ画像生成部
７４７ 周辺画像生成部
７４８ 駆動制御部
７４９ 表示制御部
Ｗ１ 操作画面
Ｗ１０ 貼り合わせ画像表示部
Ｗ１１ ライブ画像表示部
Ｗ１４ 基準位置選択部
Ｗ１５ スケール表示選択部
Ｗ１６ 表示サイズ切替部
Ｗ１７ グリッド表示選択部
【技術分野】
【０００１】
本発明は、対物レンズを用いてステージ上に載置された標本試料を撮像することによって生成された画像データに対応する画像を表示する顕微鏡システムに関する。
【背景技術】
【０００２】
従来から、標本試料を観察する視野を変更しながら撮影した複数の静止画像を貼り合わせることによって、撮像装置の観察領域よりも広い１枚の貼り合わせ画像を生成する技術が知られている（特許文献１および特許文献２）。この技術では、表示モニタに表示される標本試料の貼り合わせ画像上に撮像装置が連続的に生成するライブ画像を重ねて表示し、このライブ画像により、次に貼り合わせを行う標本試料の位置関係をユーザに把握させることで、所望とする標本試料の貼り合わせ画像の作成を可能にしている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１４１６９７号公報
【特許文献２】特開２０１０−１４１６９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した技術では、ユーザが標本試料の貼り合わせ画像を作成する場合には、貼り合わせ画像全体におけるライブ画像の位置把握を行うためにライブ画像を含む貼り合わせ画像全体が表示領域に収まるように画像全体を縮小して表示する場合と、貼り合わせ画像上のライブ画像の詳細な位置把握を行うために、ライブ画像を含む貼り合わせ画像の表示倍率を固定にして、ライブ画像を中心とする画像を表示する場合と、をその都度切替えて表示モニタに表示しなければならず、作業が煩雑になるという問題点があった。
【０００５】
本発明は、上記に鑑みてなされたものであって、簡易な操作で所望とする貼り合わせ画像を容易に作成することができる顕微鏡システムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、本発明にかかる顕微鏡システムは、標本試料を載置し、水平方向に移動可能なステージと、前記ステージに載置された前記標本試料を撮像して該標本試料の画像データを連続して生成する撮像装置と、前記撮像装置が生成した画像データに対応する画像を表示可能な表示部と、前記撮像装置が連続して生成した前記画像データから前記表示部に表示させるライブ画像を順次生成するライブ画像生成部と、前記撮像装置が生成した時間的に連続する前記画像データに基づいて、前記ステージに対する前記撮像装置の観察領域の相対的な移動量を算出する移動量算出部と、前記移動量算出部が算出した前記移動量に基づいて、前記撮像装置が連続して生成した前記画像データから前記撮像装置の観察領域よりも外縁が広い観察領域を有する貼り合わせ画像データを生成する貼り合わせ画像生成部と、前記表示部の表示領域において前記撮像装置の観察領域を示すライブ位置枠を生成するライブ枠生成部と、前記ライブ画像データに対応するライブ画像と前記貼り合わせ画像データに対応する貼り合わせ画像とを異なる前記表示領域にそれぞれ表示させるとともに、前記移動量算出部が算出した前記移動量に基づいて、現在の前記撮像装置の観察領域に対応する前記貼り合わせ画像上の表示位置に前記ライブ位置枠を重畳して前記表示部に表示させる表示制御部と、を備えたことを特徴とする。
【０００７】
また、本発明にかかる顕微鏡システムは、上記発明において、前記移動量算出部が算出した前記移動量に基づいて、前記表示部が表示する前記ライブ画像の表示領域において該ライブ画像の周辺に位置する前記貼り合わせ画像の領域を切出して周辺画像を生成する周辺画像生成部をさらに備え、前記表示制御部は、前記表示部が表示する前記ライブ画像の周辺に前記周辺画像を貼り合わせて前記表示部に表示させることを特徴とする。
【０００８】
また、本発明にかかる顕微鏡システムは、上記発明において、前記移動量算出部が前記移動量を算出することができたか否かを判定する移動量判定部をさらに備え、前記表示制御部は、前記移動量判定部によって前記移動量算出部が前記移動量を算出することができなかったと判定された場合、前記表示部に前記移動量が算出することができなかった旨を示す情報を前記表示部に表示させることを特徴とする。
【０００９】
また、本発明にかかる顕微鏡システムは、上記発明において、前記表示制御部は、前記移動量判定部によって前記移動量算出部が前記移動量を算出することができなかったと判定された場合、前記ライブ位置枠の表示態様を変更して前記表示部に表示させることを特徴とする。
【００１０】
また、本発明にかかる顕微鏡システムは、上記発明において、前記表示部が表示する前記貼り合わせ画像の表示サイズを切替える指示信号の入力を受け付ける表示サイズ切替部をさらに備え、前記表示制御部は、前記表示サイズ切替部から入力される指示信号に応じた前記表示サイズで前記貼り合わせ画像および前記ライブ位置枠をそれぞれ前記表示部に表示させることを特徴とする。
【００１１】
また、本発明にかかる顕微鏡システムは、上記発明において、前記貼り合わせ画像の実サイズを計測するスケールの表示の有無を選択する指示信号の入力を受け付けるスケール表示選択部をさらに備え、前記表示制御部は、前記スケール表示選択部から入力される指示信号に応じて前記スケールを前記表示部に表示させることを特徴とする。
【００１２】
また、本発明にかかる顕微鏡システムは、上記発明において、前記表示部が前記貼り合わせ画像を表示する表示領域上において所定の間隔で形成された格子を示すグリッド線の表示の有無を選択する指示信号の入力を受け付けるグリッド表示選択部をさらに備え、前記表示制御部は、前記グリット表示選択部から入力される指示信号に応じて前記グリット線を前記表示部に表示させることを特徴とする。
【００１３】
また、本発明にかかる顕微鏡システムは、上記発明において、前記表示部が前記貼り合わせ画像を表示する表示領域上において前記ライブ位置枠の基準位置を選択する指示信号の入力を受け付ける表示位置選択部をさらに備え、前記表示制御部は、前記表示位置選択部から入力される指示信号に応じた基準位置に前記ライブ位置枠を前記表示部に表示させることを特徴とする。
【発明の効果】
【００１４】
本発明にかかる顕微鏡システムによれば、表示制御部がライブ画像と貼り合わせ画像とを異なる表示領域に表示させるとともに、移動量算出部によって算出されたステージに対する撮像装置の観察領域の相対的な移動量に基づいて、現在の撮像装置の観察領域に対応する貼り合わせ画像上の表示位置にライブ位置枠を重畳して表示部に表示させる。これにより、ユーザは、表示部が表示する貼り合わせ画像とライブ画像とを確認することにより、貼り合わせ画像上に貼り合わせる領域の特定とライブ画像の位置決めを容易に行うことができる。この結果、標本試料の貼り合わせ画像を効率よく作成することができるという効果を奏する。
【図面の簡単な説明】
【００１５】
【図１】図１は、本発明の一実施の形態にかかる顕微鏡システムの構成の一例を示す概念図である。
【図２】図２は、本発明の一実施の形態にかかる顕微鏡システムの機能構成を示すブロック図である。
【図３】図３は、本発明の一実施の形態にかかる顕微鏡システムの表示部が表示する操作画面の一例を示す図である。
【図４】図４は、本発明の一実施の形態にかかる顕微鏡システムが行う処理の概要を示すフローチャートである。
【図５】図５は、本発明の一実施の形態にかかる顕微鏡システムの行う処理を模式的に説明する図である。
【図６】図６は、本発明の一実施の形態の変形例２にかかる顕微鏡システムの表示部が表示する操作画面の別の一例を示す図である。
【図７】図７は、本発明の一実施の形態の変形例３にかかる顕微鏡システムの表示部が表示する操作画面の別の一例を示す図である。
【図８Ａ】図８Ａは、本発明の一実施の形態の変形例４にかかる顕微鏡システムの表示部が表示する操作画面の別の一例を示す図である。
【図８Ｂ】図８Ｂは、本発明の一実施の形態の変形例４にかかる顕微鏡システムの表示部が表示する操作画面の別の一例を示す図である。
【図９】図９は、本発明の一実施の形態の変形例５にかかる顕微鏡システムの表示部が表示する操作画面の別の一例を示す図である。
【発明を実施するための形態】
【００１６】
以下、図面を参照して、本発明を実施するための形態（以下、「実施の形態」という）について説明する。なお、以下に説明する実施の形態によって本発明が限定されるものではない。さらに、図面の記載において、同一の部分には同一の符号を付して説明する。
【００１７】
図１は、本発明の一実施の形態にかかる顕微鏡システムの構成の一例を示す概念図である。図２は、本発明の一実施の形態にかかる顕微鏡システムの機能構成を示すブロック図である。なお、図１および図２において、顕微鏡システム１が載置される平面をＸＹ平面とし、ＸＹ平面と垂直な方向をＺ方向として説明する。
【００１８】
図１および図２に示すように、顕微鏡システム１は、標本試料Ｓを観察する顕微鏡装置２と、顕微鏡装置２を駆動制御する顕微鏡制御部３と、顕微鏡装置２を介して標本試料Ｓを撮像して画像データを生成する撮像装置４と、撮像装置４の駆動を制御する撮像制御部５と制御端末７を介して撮像装置４が撮像した画像データに対応する画像を表示するとともに、顕微鏡システム１の各種の操作の入力を受け付ける表示入力部６と、顕微鏡システム１の各部を制御する制御端末７と、を備える。顕微鏡装置２、顕微鏡制御部３、撮像装置４、撮像制御部５、表示入力部６および制御端末７は、データが送受信可能に有線または無線で接続されている。
【００１９】
顕微鏡装置２は、標本試料Ｓが載置されるステージ２１と、側面視略Ｃ字状をなし、ステージ２１を支持するとともに、レボルバ２２を介して対物レンズ２３を保持する顕微鏡本体部２４と、標本試料Ｓに光を照射する落射照明用光源２５と、を備える。
【００２０】
ステージ２１は、ＸＹＺ方向に移動自在に構成されている。ステージ２１は、ステージ駆動部２１１によってＸＹ平面内で移動自在である。ステージ２１は、顕微鏡制御部３の制御のもと、図示しないＸＹ位置の原点センサによってＸＹ平面における所定の原点位置を検出し、この原点位置を基点としてステージ駆動部２１１の駆動量が制御されることによって、標本試料Ｓ上の観察箇所（観察領域）を移動する。ステージ２１は、観察時のＸ位置およびＹ位置に関する位置信号（ＸＹ座標）を顕微鏡制御部３に出力する。また、ステージ２１は、モータ２１２によってＺ方向に移動自在である。ステージ２１は、顕微鏡制御部３の制御のもと、図示しないＺ位置の原点センサによってステージ２１のＺ方向における所定の原点位置を検出し、この原点位置を基点としてモータ２１２の駆動量が制御されることによって、所定の高さ範囲内の任意のＺ位置に標本試料Ｓを焦準移動させる。ステージ２１は、観察時のＺ位置に関する位置信号を顕微鏡制御部３に出力する。
【００２１】
レボルバ２２は、顕微鏡本体部２４に対してスライド自在または回転自在に設けられ、対物レンズ２３を標本試料Ｓの上方に配置する。レボルバ２２は、ノーズピースやスイングレボルバ等を用いて構成される。レボルバ２２は、マウンタ２２１によって倍率（観察倍率）が異なる複数の対物レンズ２３を保持する。レボルバ２２は、観察光の光路上に挿入されて標本試料Ｓの観察に用いる対物レンズ２３を択一的に切換えるため、マウンタ２２１をスライド移動又は、回転させるレボルバ駆動部２２２と、レボルバ２２の接続状態等を検出するレボルバ検出部２２３と、を有する。
【００２２】
レボルバ駆動部２２２は、顕微鏡制御部３の制御のもと、マウンタ２２１をスライド移動又は、回転させる。レボルバ検出部２２３は、レボルバ２２が顕微鏡本体部２４に接続されていることを検知するレボルバ接続センサ（図示せず）と、対物レンズ２３が観察光の光路上に挿入された対物レンズ２３の種類を識別するレボルバセンサ（図示せず）と、対物レンズ２３が観察光の光路上に挿入されたことを検知する移動完了センサ（図示せず）と、を有する。レボルバ検出部２２３は、各種センサが検出した検出結果を顕微鏡制御部３へ出力する。
【００２３】
対物レンズ２３は、たとえば１倍，２倍，４倍の比較的倍率の低い対物レンズ２３１（以下、「低倍対物レンズ２３１」という）と、１０倍，２０倍，４０倍の低倍対物レンズ２３１の倍率に対して高倍率である対物レンズ２３２（以下、「高倍対物レンズ２３２」という）とを少なくとも一つずつマウンタ２２１に装着される。なお、低倍対物レンズ２３１および高倍対物レンズ２３２の倍率は一例であり、高倍対物レンズ２３２が低倍対物レンズ２３１に対して高ければよい。
【００２４】
顕微鏡本体部２４は、ファイバー２５１を介して落射照明用光源２５から出射された照明光Ｌ１（以下、「落射照明光Ｌ１」という）を集光する照明レンズ２４１と、落射照明光Ｌ１の光路を対物レンズ２３の光軸に沿って偏向させるハーフミラー２４２と、標本試料Ｓを拡大するズームレンズ部２４３と、対物レンズ２３、ズームレンズ部２４３およびハーフミラー２４２を介して入射される標本試料Ｓの反射光を集光して観察像を結像する結像レンズ２４４とが内部に設けられている。
【００２５】
ズームレンズ部２４３は、１または複数のレンズからなり、標本試料Ｓに対してズーム可能なズーム光学系２４３ａと、ズーム光学系２４３ａを光軸に沿って駆動するズーム駆動部２４３ｂとを有する。ズーム駆動部２４３ｂは、顕微鏡制御部３の制御のもと、ズーム光学系２４３ａを光軸に沿って移動させることにより、ズームレンズ部２４３のズーム倍率を変更する。
【００２６】
落射照明光Ｌ１は、照明レンズ２４１、ハーフミラー２４２、ズーム光学系２４３ａおよび対物レンズ２３を経て標本試料Ｓに照射される。標本試料Ｓで反射した反射光Ｌ２（以下、「観察光Ｌ２」という）は、対物レンズ２３、ズーム光学系２４３ａ、ハーフミラー２４２および結像レンズ２４４を経て撮像装置４に入射する。
【００２７】
落射照明用光源２５は、ハロゲンランプ、キセノンランプまたはＬＥＤ（Light Emitting Diode）等によって構成される。落射照明用光源２５は、ファイバー２５１を介して標本試料Ｓの観察像を形成するための落射照明光Ｌ１を顕微鏡本体部２４に出射する。
【００２８】
顕微鏡制御部３は、ＣＰＵ（Central Processing Unit）等を用いて構成され、制御端末７の制御のもと、顕微鏡装置２を構成する各部の動作を統括的に制御する。具体的には、顕微鏡制御部３は、レボルバ駆動部２２２を駆動することにより、マウンタ２２１を回転させて観察光Ｌ２の光路上に配置する対物レンズ２３を切換える切換処理、ステージ駆動部２１１またはモータ２１２を駆動することにより、ステージ２１の駆動処理、および標本試料Ｓの観察に伴う顕微鏡装置２の各部の調整を行う調整処理等を行う。また、顕微鏡制御部３は、顕微鏡装置２を構成する各部の状態、たとえばステージ２１の位置情報（ＸＹ位置、Ｚ位置）およびレボルバ２２に装着された対物レンズ２３の種類情報等を制御端末７に出力する。
【００２９】
撮像装置４は、ＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子４１を用いて構成される。撮像装置４は、撮像制御部５の制御のもと、結像レンズ２４４を経て入射された標本試料Ｓの観察像を撮像して標本試料Ｓの画像データを連続して生成する。撮像装置４は、カメラケーブルを介して生成した標本試料Ｓの画像データを制御端末７へ出力する。
【００３０】
撮像制御部５は、ＣＰＵ等を用いて構成され、撮像装置４の動作を制御する。具体的には、撮像制御部５は、撮像装置４の自動ゲイン制御のＯＮ／ＯＦＦ切換処理、ゲインの設定処理およびフレームレートの設定処理等を行って撮像装置４の撮影動作を制御する。撮像制御部５は、ＡＥ処理部５１と、ＡＦ処理部５２と、を有する。
【００３１】
ＡＥ処理部５１は、撮像装置４が生成した画像データに基づいて、撮像装置４の露出条件を自動的に設定する。具体的には、ＡＥ処理部５１は、制御端末７を介して取得した画像データから輝度を算出し、算出した輝度に基づいて撮像装置４の露出条件、たとえば露光時間を決定することで撮像装置４の自動的に調整するＡＥ処理を行う。
【００３２】
ＡＦ処理部５２は、撮像装置４が生成した画像データに基づいて、撮像装置４のピントを自動的に調整する。具体的には、ＡＦ処理部５２は、画像データに含まれるコントラストを評価し、合焦している合焦位置（焦点位置）を検出することにより、撮像装置４のピントを自動的に調整するＡＦ処理を行う。なお、ＡＦ処理部５２は、画像データに基づいて、ステージ２１の各Ｚ位置における画像のコントラストを評価することにより、合焦している焦点位置（Ｚ位置）を検出してもよい。
【００３３】
表示入力部６は、制御端末７との通信を行う表示通信部６１と、画像を表示する表示部６２と、外部からの物体の接触に応じた位置信号を出力するタッチパネル６３と、を有する。
【００３４】
表示通信部６１は、制御端末７との通信を行うための通信インターフェースである。表示通信部６１は、制御端末７から出力される画像データを表示部６２へ出力する。
【００３５】
表示部６２は、液晶または有機ＥＬ（Electro Luminescence）等からなる表示パネルを用いて構成される。表示部６２は、表示通信部６１を介して入力される画像データに対応する画像および顕微鏡システム１の各種操作情報を表示する。具体的には、表示部６２は、撮像装置４によって連続して生成された画像データに対応するライブ画像と撮像装置４の観察領域よりも外縁が広い観察領域を有する標本試料Ｓの貼り合わせ画像データに対応する貼り合わせ画像とを異なる表示領域にそれぞれ表示する。なお、表示部６２が表示するライブ画像および貼り合わせ画像の表示領域の詳細については後述する。
【００３６】
タッチパネル６３は、表示部６２の表示画面上に設けられ、外部からの物体の接触位置に応じた入力を受け付ける。具体的には、タッチパネル６３は、ユーザが表示部６２に表示される操作アイコンに従ってタッチ（接触）した位置を検出し、この検出したタッチ位置に応じた位置信号を制御端末７へ出力する。タッチパネル６３は、表示部６２が顕微鏡システム１の各種操作情報を表示領域内で表示することで、グラフィカルユーザインターフェース（ＧＵＩ）として機能する。一般に、タッチパネルとしては、抵抗膜方式、静電容量方式および光学方式等がある。本実施の形態では、いずれの方式のタッチパネルであっても適用可能である。
【００３７】
制御端末７は、顕微鏡制御部３、撮像制御部５および表示入力部６との通信を行う制御通信部７１と、顕微鏡システム１の各種情報を記憶する記憶部７３と、顕微鏡システム１の各部の駆動を指示する駆動指示信号の入力を受け付ける入力部７２と、顕微鏡システム１の各部を制御する制御部７４と、を備える。
【００３８】
制御通信部７１は、顕微鏡制御部３、撮像制御部５および表示入力部６それぞれとの通信を行うための通信インターフェースである。また、制御通信部７１は、カメラケーブルを介して撮像装置４から出力される画像データを制御部７４へ出力する。
【００３９】
入力部７２は、キーボード、マウス、ジョイスティックおよび各種スイッチ等を用いて構成され、各種スイッチの操作入力に応じた操作信号を制御部７４に出力する。
【００４０】
記憶部７３は、制御端末７の内部に固定的に設けられるフラッシュメモリおよびＲＡＭ（Random Access Memory）等の半導体メモリを用いて実現される。記憶部７３は、顕微鏡システム１に実行させる各種プログラム、プログラムの実行中に使用される各種データを記憶する。また、記憶部７３は、制御部７４の処理中の情報を一次的に記憶する。記憶部７３は、撮像装置４が撮像した画像データを記憶する画像データ記憶部７３１を有する。なお、記憶部７３は、外部から装着されるメモリカード等を用いて構成されてもよい。
【００４１】
制御部７４は、ＣＰＵ等を用いて構成され、入力部７２からの操作信号およびタッチパネル６３から位置信号に応じて顕微鏡システム１を構成する各部に対応する指示やデータの転送等を行って顕微鏡システム１の動作を統括的に制御する。
【００４２】
制御部７４の詳細な構成について説明する。制御部７４は、ライブ画像生成部７４１と、移動量算出部７４２と、移動量判定部７４３と、ライブ枠生成部７４４と、撮影画像生成部７４５と、貼り合わせ画像生成部７４６と、周辺画像生成部７４７と、駆動制御部７４８と、表示制御部７４９と、を有する。
【００４３】
ライブ画像生成部７４１は、撮像装置４が連続して生成した画像データから表示部６２に表示させるライブ画像データを順次生成する。ライブ画像生成部７４１は、ライブ画像データを画像データ記憶部７３１に出力する。また、ライブ画像生成部７４１は、画像データに対し、所定の画像処理、たとえばオプティカルブラック減算処理、ホワイトバランス調整処理、同時化処理、カラーマトリクス演算処理、γ補正処理、色再現処理およびエッジ強調処理等を含む画像処理を行う。
【００４４】
移動量算出部７４２は、制御通信部７１を介して入力される撮像装置４によって生成された時間的に連続する画像データに対応する画像データに基づいて、ステージ２１に対する撮像装置４の観察領域における相対的な移動量を算出する。具体的には、移動量算出部７４２は、時間的に前後する２つの画像データに対応するライブ画像にそれぞれ含まれる特徴点を抽出し、２つのライブ画像間において同一となる複数の対応点の移動量（画素数）を算出することにより、ステージ２１に対する撮像装置４の観察領域における相対的な移動量（ずれ量）を算出する。ここで、特徴点とは、輝度情報、色情報またはエッジ情報である。なお、移動量算出部７４２は、撮像装置４の観察領域における相対的な移動量をパターンマッチング等の周知技術を用いて算出してもよい。
【００４５】
移動量判定部７４３は、移動量算出部７４２が時間的に前後する２つのライブ画像に基づいて、ステージ２１に対する撮像装置４の観察領域における相対的な移動量が算出できたか否かを判断する。具体的には、移動量判定部７４３は、移動量算出部７４２が２つのライブ画像間において対応する特徴点を抽出することができたか否かを判定する。たとえば、移動量判定部７４３は、移動量算出部７４２が２つのライブ画像間において互いに対応する特徴点を抽出することができなった場合、移動量算出部７４２がステージ２１に対する撮像装置４の観察領域における相対的な移動量を算出することができなかったと判定する。
【００４６】
ライブ枠生成部７４４は、撮像装置４の観察領域を示すライブ位置枠を生成する。具体的には、ライブ枠生成部７４４は、撮像装置４の観察領域を示すライブ位置枠として矩形状の枠を生成する。
【００４７】
撮影画像生成部７４５は、制御通信部７１を介して入力される画像データに対して、所定の画像処理を施して貼り合わせ画像生成部７４６および画像データ記憶部７３１に出力する。具体的には、撮影画像生成部７４５は、画像データに対して、オプティカルブラック減算処理、ホワイトバランス調整処理、同時化処理、カラーマトリクス演算処理、γ補正処理、色再現処理およびエッジ強調処理等を含む画像処理を行う。なお、撮影画像生成部７４５は、画像データを所定の方式、たとえばＪＰＥＧ（Joint Photographic Experts Group）方式で圧縮し、圧縮した画像データを貼り合わせ画像生成部７４６および画像データ記憶部７３１に出力してもよい。
【００４８】
貼り合わせ画像生成部７４６は、移動量算出部７４２が算出したステージ２１に対する撮像装置４の観察領域の相対的な移動量に基づいて、撮像装置４が連続して生成した画像データから撮像装置４の観察領域よりも外縁が広い観察領域を有する貼り合わせ画像データを生成する。具体的には、貼り合わせ画像生成部７４６は、画像データ記憶部７３１が記憶する貼り合わせ画像データを取得し、撮影画像生成部７４５から出力された撮影画像データを、移動量算出部７４２が算出したステージ２１に対する撮像装置４の観察領域の相対的な移動量によって定まる貼り合わせ画像の表示位置に合成することにより、貼り合わせ画像データを生成する。たとえば、貼り合わせ画像生成部７４６は、貼り合わせ画像に撮影画像を貼り合わせる際に、繋ぎ目を目立たなくするため、貼り合わせ画像と撮影画像との重複領域に画素値のブレンディング処理を行うことによって貼り合わせ画像を生成する。ここで、ブレンディング処理とは、画像間で画素値を加重平均して合成画像の画素値を算出する画像処理である。なお、貼り合わせ画像生成部７４６は、ブレンディング処理において加重平均の際の重みを画素の位置に応じて変化させてもよい。
【００４９】
周辺画像生成部７４７は、移動量算出部７４２が算出したステージ２１に対する撮像装置４の観察領域の相対的な移動量に基づいて、表示部６２が表示するライブ画像の表示領域においてライブ画像の周辺に対応する周辺画像を貼り合わせ画像データから切出して周辺画像データを生成する。
【００５０】
駆動制御部７４８は、入力部７２から入力される操作信号またはタッチパネル６３から入力される位置信号や指示信号に基づいて、顕微鏡装置２および撮像装置４の駆動を制御する。具体的には、駆動制御部７４８は、入力部７２から撮影を指示する撮影指示信号が入力された場合、撮像制御部５に撮影を指示する指示信号を出力することにより、撮像装置４に撮影動作を実行させる。
【００５１】
表示制御部７４９は、表示部６２の表示態様を制御する。具体的には、表示制御部７４９は、制御通信部７１および表示通信部６１を介してライブ画像生成部７４１によって生成されたライブ画像および貼り合わせ画像生成部７４６によって生成された貼り合わせ画像を異なる表示部６２の表示領域にそれぞれ表示させる。表示制御部７４９は、移動量算出部７４２が算出したステージ２１に対する撮像装置４の観察領域の移動量に基づいて、現在の撮像装置４の観察領域に対応する貼り合わせ画像上の表示位置に、ライブ枠生成部７４４によって生成されたライブ位置枠を重畳して表示部６２に表示させる。
【００５２】
ここで、表示制御部７４９の制御のもと、表示部６２が表示する顕微鏡システム１の操作画面について説明する。図３は、表示部６２が表示する顕微鏡システム１の操作画面の一例を示す図である。
【００５３】
図３に示すように、表示部６２が表示する操作画面Ｗ１は、貼り合わせ画像表示部Ｗ１０と、ライブ画像表示部Ｗ１１と、撮影指示部Ｗ１２と、完了指示部Ｗ１３と、基準位置選択部Ｗ１４と、スケール表示選択部Ｗ１５と、表示サイズ切替部Ｗ１６と、グリッド表示選択部Ｗ１７と、を有する。
【００５４】
貼り合わせ画像表示部Ｗ１０は、表示制御部７４９の制御もと、貼り合わせ画像生成部７４６によって生成された貼り合わせ画像データに対応する貼り合わせ画像Ｐ１およびライブ枠生成部７４４によって生成されたライブ位置枠Ｂ１を表示する。
【００５５】
ライブ画像表示部Ｗ１１は、表示制御部７４９の制御のもと、ライブ画像生成部７４１によって生成されたライブ画像データに対応するライブ画像Ｐ２および周辺画像生成部７４７によって生成された周辺画像データに対応する周辺画像Ｐ３を表示する。ライブ画像表示部Ｗ１１は、ライブ画像Ｐ２を中央領域で固定して表示する。なお、周辺画像Ｐ３は、固定して表示されるライブ画像P２に対して移動して表示する。
【００５６】
撮影指示部Ｗ１２は、撮像装置４による撮影を指示する撮影指示信号の入力を受け付ける。具体的には、撮影指示部Ｗ１２は、ユーザが入力部７２のマウス等を操作することにより、マウスポインタＫ１を撮影指示部Ｗ１２の表示領域上に移動させてドラック操作（以下、「ドラック操作」という）を行って選択されることにより、撮影指示信号の入力を受け付ける。
【００５７】
完了指示部Ｗ１３は、ユーザが入力部７２のマウス等によってドラック操作を行って選択されることにより、標本試料Ｓの貼り合わせ画像の生成を終了する終了指示信号の入力を受け付ける。
【００５８】
基準位置選択部Ｗ１４は、ライブ位置枠Ｂ１が貼り合わせ画像表示部Ｗ１０の表示領域において表示される表示位置を選択する基準位置選択リストボックスである。基準位置選択部Ｗ１４は、ユーザが入力部７２のマウス等によって基準位置選択リストボックスＷ１４１をドラック操作してライブ位置枠Ｂ１の表示位置を選択することにより、ライブ位置枠Ｂ１の表示位置を指定する表示位置指定信号の入力を受け付ける。
【００５９】
スケール表示選択部Ｗ１５は、貼り合わせ画像表示部Ｗ１０の表示領域上に貼り合わせ画像Ｐ１の実サイズを計測するスケールの表示選択を設定する選択ボタンである。スケール表示選択部Ｗ１５は、ユーザがドラック操作してＯＮスイッチＷ１５１を選択することにより、スケールを貼り合わせ画像表示部Ｗ１０の表示領域に表示させる指示信号の入力を受け付ける。一方、ユーザがドラッグ操作してＯＦＦスイッチＷ１５２を選択することにより、スケールを貼り合わせ画像表示部Ｗ１０の表示領域において非表示させる指示信号の入力を受け付ける。
【００６０】
表示サイズ切替部Ｗ１６は、貼り合わせ画像表示部Ｗ１０の表示領域上において表示される貼り合わせ画像Ｐ１の表示サイズを切替える表示サイズ切替ボタンである。表示サイズ切替部Ｗ１６は、ユーザがドラック操作してリストボックスＷ１６１を選択して所望の表示サイズを選択することにより、貼り合わせ画像Ｐ１の表示サイズを切替える指示信号の入力を受け付ける。
【００６１】
グリッド表示選択部Ｗ１７は、貼り合わせ画像表示部Ｗ１０の表示領域において所定の間隔で形成されたグリッド線（ガイドライン）の表示選択を設定するグリッド設定ボタンである。グリッド表示選択部Ｗ１７は、グリッド線の分割数を切り替えるガイド分割数選択リストボックスである。グリッド表示選択部Ｗ１７は、ユーザがドラッグ操作してリストボックスＷ１７１を選択することにより、グリッド線の分割数の指示信号の入力を受け付ける。
【００６２】
このように構成された顕微鏡システム１は、制御部７４の制御のもと、撮像装置４で撮像された標本試料Ｓの画像データを表示部６２に表示することによってユーザに標本試料Ｓの画像を観察させることができる。さらに、顕微鏡システム１は、入力部７２から入力される操作信号に基づいて、制御部７４が顕微鏡システム１の各部に指示信号や駆動信号を出力することにより、顕微鏡装置２および撮像装置４が駆動する。
【００６３】
つぎに、顕微鏡システム１が行う動作について説明する。図４は、本実施の形態にかかる顕微鏡システム１が行う処理の概要を示すフローチャートである。なお、以下においては、顕微鏡システム１が行う標本試料Ｓの貼り合わせ画像を生成する貼り合わせ画像生成モードについて説明する。
【００６４】
図４に示すように、ライブ枠生成部７４４は、貼り合わせ画像表示部Ｗ１０で表示する現在の撮像装置４の観察領域に対応するライブ位置枠Ｂ１を生成する（ステップＳ１０１）。
【００６５】
続いて、表示制御部７４９は、ライブ枠生成部７４４が生成したライブ位置枠Ｂ１を、基準位置選択部Ｗ１４によって設定された貼り合わせ画像表示部Ｗ１０の基準の位置に表示させる（ステップＳ１０２）。具体的には、図５（ａ）に示すように、表示制御部７４９は、基準位置選択部Ｗ１４によって選択された位置に基づいて、ライブ位置枠Ｂ１を貼り合わせ画像表示部Ｗ１０に表示させる。
【００６６】
その後、ライブ画像生成部７４１は、撮像装置４によって生成された画像データから表示部６２に表示するライブ画像データを生成する（ステップＳ１０３）。
【００６７】
続いて、表示制御部７４９は、ライブ画像生成部７４１が生成したライブ画像データに対応するライブ画像をライブ画像表示部Ｗ１１の表示領域上に表示させる（ステップＳ１０４）。具体的には、図５（ａ）に示すように、表示制御部７４９は、ライブ画像生成部７４１が生成した標本試料Ｓのライブ画像Ｐ２をライブ画像表示部Ｗ１１の表示領域上の左上に表示させる。
【００６８】
その後、制御部７４は、ライブ画像表示部Ｗ１１によるライブ画像の表示が１回目であるか否かを判断する（ステップＳ１０５）。ライブ画像表示部Ｗ１１によるライブ画像の表示が１回目であると制御部７４が判断した場合（ステップＳ１０５：Ｙｅｓ）、顕微鏡システム１は、ステップＳ１０３へ戻る。一方、ライブ画像表示部Ｗ１１によるライブ画像の表示が１回目でないと制御部７４が判断した場合（ステップＳ１０５：Ｎｏ）、顕微鏡システム１は、ステップＳ１０６へ移行する。
【００６９】
ステップＳ１０５の後、移動量算出部７４２は、最新のライブ画像と直前のライブ画像とに基づいて、ステージ２１に対する撮像装置４の観察領域の相対的な移動量を算出する（ステップＳ１０６）。具体的には、移動量算出部７４２は、ライブ画像生成部７４１によって生成された最新のライブ画像と、画像データ記憶部７３１によって記憶された直前のライブ画像とに基づいて、ステージ２１に対する撮像装置４の観察領域における相対的な移動量を算出する。
【００７０】
続いて、移動量判定部７４３は、移動量算出部７４２がステージ２１に対する撮像装置４の観察領域の相対的な移動量を算出することができたか否かを判定する（ステップＳ１０７）。具体的には、移動量判定部７４３は、移動量算出部７４２が直前のライブ画像から抽出した複数の特徴点それぞれに対応する対応点を最新のライブ画像から抽出することにより、ステージ２１に対する撮像装置４の観察領域の移動量を算出することができたか否かを判定する。たとえば、移動量判定部７４３は、ステージ２１が移動する移動量が大きい場合において、移動量算出部７４２が直前のライブ画像から抽出した特徴点に対応する対応点を最新のライブ画像から抽出できなかったとき、移動量算出部７４２がステージ２１に対する撮像装置４の観察領域の相対的な移動量を算出することができなかったと判定する。移動量算出部７４２がステージ２１に対する撮像装置４の観察領域の相対的な移動量を算出することができたと移動量判定部７４３が判定した場合（ステップＳ１０７：Ｙｅｓ）、顕微鏡システム１は、後述するステップＳ１０８へ移行する。一方、移動量算出部７４２がステージ２１に対する撮像装置４の観察領域の相対的な移動量を算出することができなかったと移動量判定部７４３が判定した場合（ステップＳ１０７：Ｎｏ）、顕微鏡システム１は、後述するステップＳ１２０へ移行する。
【００７１】
ステップＳ１０８において、駆動制御部７４８は、ライブ画像生成部７４１によって生成された最新のライブ画像データを画像データ記憶部７３１に記憶する。
【００７２】
続いて、制御部７４は、画像データ記憶部７３１に貼り合わせ画像データが記憶されているか否かを判断する（ステップＳ１０９）。画像データ記憶部７３１に貼り合わせ画像データが記憶されていると制御部７４が判断した場合（ステップＳ１０９：Ｙｅｓ）、顕微鏡システム１は、後述するステップＳ１１０へ移行する。一方、画像データ記憶部７３１に貼り合わせ画像データが記憶されていないと制御部７４が判断した場合（ステップＳ１０９：Ｎｏ）、顕微鏡システム１は、後述するステップＳ１１３へ移行する。
【００７３】
ステップＳ１１０において、周辺画像生成部７４７は、移動量算出部７４２が算出した移動量に基づいて、ライブ画像表示部Ｗ１１の表示領域においてライブ画像Ｐ２の周辺に対応する周辺画像を画像データ記憶部７３１が記憶する貼り合わせ画像データから切出して周辺画像データを生成する。具体的には、周辺画像生成部７４７は、画像データ記憶部７３１が記憶する貼り合わせ画像データを取得後、この貼り合わせ画像データに対して移動量算出部７４２によって算出されたステージ２１に対する撮像装置４の観察領域の相対的な移動量からライブ画像Ｐ２の周辺領域を特定し、この特定した周辺領域を貼り合わせ画像データから切り出す（トリミング処理）ことによって周辺画像データを生成する。
【００７４】
その後、表示制御部７４９は、周辺画像生成部７４７が生成した周辺画像データに対応する周辺画像をライブ画像表示部Ｗ１１の表示領域で表示されるライブ画像Ｐ２の周辺に表示させ（ステップＳ１１１）、移動量算出部７４２によって算出された撮像装置４の観察領域の相対的な移動量に基づいて、貼り合わせ画像表示部Ｗ１０の表示領域上におけるライブ位置枠Ｂ１の表示位置を更新する（ステップＳ１１２）。具体的には、図５（ｂ）および図５（ｃ）に示すように、表示制御部７４９は、ライブ画像表示部Ｗ１１の表示領域上で表示されるライブ画像Ｐ２の周辺に対応する貼り合わせ画像Ｐ１の周辺画像Ｐ３を仮想的に張り合わせて表示させるとともに、貼り合わせ画像表示部Ｗ１０の表示領域上におけるライブ位置枠Ｂ１の表示位置を更新する。これにより、ユーザは、ライブ画像Ｐ２と周辺画像Ｐ３を十分な表示サイズで確認することができるので、貼り合わせ画像Ｐ１を作成する際に貼り合わせの繋ぎ目の精度を高めて貼り合わせ画像Ｐ１を作成することができる。
【００７５】
続いて、制御部７４は、入力部７２を介して撮影指示部Ｗ１２が操作されることにより、撮影指示信号が入力されたか否かを判断する（ステップＳ１１３）。撮影指示信号が入力されたと制御部７４が判断した場合（ステップＳ１１３：Ｙｅｓ）、顕微鏡システム１は、ステップＳ１１４へ移行する。一方、入力部７２を介して撮影指示部Ｗ１２から撮影指示信号が入力されていないと制御部７４が判断した場合（ステップＳ１１３：Ｎｏ）、顕微鏡システム１は、ステップＳ１０３へ戻る。
【００７６】
ステップＳ１１４において、駆動制御部７４８は、ライブ画像生成部７４１によるライブ画像データの生成を停止させる。
【００７７】
続いて、駆動制御部７４８は、撮像制御部５に撮影駆動信号を出力して撮像装置４に撮影動作を実行させて画像データを生成させる（ステップＳ１１５）。
【００７８】
その後、撮影画像生成部７４５は、撮像装置４によって生成された画像データから撮影画像データを生成する（ステップＳ１１６）。この際、撮影画像生成部７４５は、撮像装置４によって生成された１フレームの画像データから撮影画像データを生成する。さらに、撮影画像生成部７４５は、撮像装置４が複数フレームの画像データを生成した場合、この複数フレームの画像データから全焦点画像データおよび３Ｄ画像データを生成してもよい。
【００７９】
続いて、貼り合わせ画像生成部７４６は、画像データ記憶部７３１から貼り合わせ画像データと撮影画像生成部７４５から撮影画像データとを取得後、移動量算出部７４２によって算出された移動量から貼り合わせ画像Ｐ１上での撮影画像データの表示位置を算出し、この算出した表示位置に撮影画像生成部７４５によって生成された撮影画像データを合成することにより、貼り合わせ画像データを生成する（ステップＳ１１７）。具体的には、図５（ｄ）に示すように、貼り合わせ画像生成部７４６は、移動量算出部７４２によって算出された移動量に基づいて、貼り合わせ画像Ｐ１上で撮影画像を合成する表示位置を算出し、算出した表示位置に撮影画像Ｐ４を貼り合わせ画像Ｐ１の領域の一部が重なるように重畳して合成する（図５（ｅ）を参照）。これにより、貼り合わせ画像Ｐ１と撮影画像Ｐ４との繋ぎ目が滑らかな標本試料Ｓの貼り合わせ画像Ｐ１を生成することができる。
【００８０】
その後、表示制御部７４９は、貼り合わせ画像生成部７４６が生成した貼り合わせ画像データに対応する貼り合わせ画像を貼り合わせ画像表示部Ｗ１０の表示領域上に表示させる（ステップＳ１１８）。具体的には、図５（ｃ）または図５（ｅ）に示すように、表示制御部７４９は、貼り合わせ画像生成部７４６が生成した貼り合わせ画像データに対応する貼り合わせ画像Ｐ１を貼り合わせ画像表示部Ｗ１０の表示領域上に表示させる。
【００８１】
続いて、制御部７４は、入力部７２を介して完了指示部Ｗ１３が操作されることにより、完了指示信号が入力されたか否かを判断する（ステップＳ１１９）。完了指示信号が入力されたと制御部７４が判断した場合（ステップＳ１１９：Ｙｅｓ）、顕微鏡システム１は、本処理を終了する。一方、入力部７２を介して完了指示信号が入力されていないと制御部７４が判断した場合（ステップＳ１１９：Ｎｏ）、顕微鏡システム１は、ステップＳ１０３へ戻る。
【００８２】
ステップＳ１２０において、表示制御部７４９は、移動量算出部７４２がステージ２１に対する撮像装置４の観察領域の相対的な移動量を算出することができなかった旨の警告を表示部６２に表示させる。具体的には、表示制御部７４９は、貼り合わせ画像表示部Ｗ１０の表示領域上で表示されているライブ位置枠Ｂ１の表示態様を変更、たとえば「緑」から「赤」に変更することにより、移動量算出部７４２が撮像装置４の観察領域の相対的な移動量を算出することができなかった旨の警告を表示部６２に表示させる。これにより、ユーザは、ステージ２１の移動量が大きいため、貼り合わせ画像Ｐ１を生成することができないことを直感的に把握することができる。ステップＳ１２０の後、顕微鏡システム１は、ステップＳ１１９へ移行する。
【００８３】
以上説明した本発明の一実施の形態によれば、表示制御部７４９がライブ画像Ｐ２と貼り合わせ画像Ｐ１とを異なる表示部６２の表示領域それぞれに表示させるとともに、移動量算出部７４２によって算出されたステージ２１に対する撮像装置４の観察領域の相対的な移動量に基づいて、現在の撮像装置４の観察領域に対応する貼り合わせ画像Ｐ１上の表示位置にライブ位置枠Ｂ１を重畳して表示部６２に表示させる。これにより、ユーザは、表示部６２が表示する貼り合わせ画像Ｐ１とライブ画像Ｐ２とを確認することにより、ライブ画像Ｐ２を貼り合わせる貼り合わせ画像Ｐ１上の領域の特定とライブ画像Ｐ２の位置決めを容易に行うことができる。この結果、精度の高い標本試料Ｓの貼り合わせ画像を効率よく作成することができる。
【００８４】
また、本発明の一実施の形態によれば、表示制御部７４９が表示部６２によって表示されるライブ画像Ｐ２の周辺に、周辺画像生成部７４７によって生成された周辺画像を貼り合わせて表示部６２に表示させる。これにより、ユーザは、貼り合わせ画像Ｐ１の表示サイズに関わらず、ライブ画像Ｐ２と、ライブ画像Ｐ２の周辺の標本試料Ｓの画像を直感的に把握することができるので、貼り合わせ画像Ｐ１の繋ぎ目の精度が高い貼り合わせ画像を生成することができる。
【００８５】
（変形例１）
また、本発明の一実施の形態において、入力部７２を介して表示サイズ切替部Ｗ１６を操作することにより、貼り合わせ画像表示部Ｗ１０の表示領域上において表示される貼り合わせ画像Ｐ１の表示サイズを自動または手動に切り替えることができる。
【００８６】
図３において、表示制御部７４９は、入力部７２を介して表示サイズ切替部Ｗ１６で自動（Ａｕｔｏ）が選択された場合、貼り合わせ画像Ｐ１が貼り合わせ画像表示部Ｗ１０の表示領域内に収まる縮小率で貼り合わせ画像Ｐ１を自動的に縮小しながら表示させる。一方、表示制御部７４９は、入力部７２を介して表示サイズ切替部Ｗ１６で手動が選択された場合、貼り合わせ画像Ｐ１を指定のサイズで貼り合わせ画像表示部Ｗ１０の表示領域上で表示させる。なお、指定のサイズとしては、実サイズに対する割合、たとえば画像ピクセル数または画像の長さであればよい。
【００８７】
また、表示制御部７４９は、入力部７２を介して表示サイズ切替部Ｗ１６で手動が選択された場合において、貼り合わせ画像Ｐ１が貼り合わせ画像表示部Ｗ１０の表示領域より大きいとき、入力部７２のスクロール操作に応じた貼り合わせ画像Ｐ１を縮小するようにしてもよい。さらに、表示制御部７４９は、入力部７２を介して表示サイズ切替部Ｗ１６で自動が選択された場合、貼り合わせ画像Ｐ１を縮小する縮小率を貼り合わせ画像表示部Ｗ１０の表示領域の端部分にマージンをもって縮小するようにしてもよい。
【００８８】
このように、本発明の一実施の形態にかかる変形例１によれば、表示サイズ切替部Ｗ１６で自動が選択された場合、ユーザが表示サイズを操作する必要がなく、貼り合わせ画像Ｐ１の実サイズが大きくなったとしても、貼り合わせ画像Ｐ１全体を確認することができる。この結果、貼り合わせ画像Ｐ１を作成する作業効率を向上させることができる。一方、ユーザが表示サイズ切替部Ｗ１６で手動を選択した場合、ユーザが所望する表示サイズで貼り合わせ画像Ｐ１を表示する。これにより、ユーザは、貼り合わせ画像Ｐ１の詳細を確認することができる。この結果、貼り合わせ画像Ｐ１の精度を向上させることができる。
【００８９】
（変形例２）
また、本発明の一実施の形態において、入力部７２を介してスケール表示選択部Ｗ１５を操作することにより、貼り合わせ画像表示部Ｗ１０の表示領域上においてスケールを表示することもできる。
【００９０】
図６は、本発明の一実施の形態の変形例２にかかる顕微鏡システム１の表示部６２が表示する操作画面の別の一例を示す図である。
【００９１】
図６に示すように、表示制御部７４９は、入力部７２を介してスケール表示選択部Ｗ１５でＯＮスイッチＷ１５１が選択されて設定された場合、貼り合わせ画像表示部Ｗ１０の表示領域上にスケールＳ１を表示させる。スケールＳ１は、Ｘ軸およびＹ軸の線を有し、この線上には目盛が設けられている。
【００９２】
また、表示制御部７４９は、スケールＳ１のＸ軸およびＹ軸それぞれの長さ（Ｘ：５μｍ，Ｙ：５μｍ）、および角度（Ａｎｇｌｅ：９０）を貼り合わせ画像表示部Ｗ１０で表示されているスケールＳ１の付近に表示させる。さらに、表示制御部７４９は、入力部７２の操作内容に応じて、スケールＳ１のＸ軸およびＹ軸の長さや角度を変更して表示してもよい。さらにまた、表示制御部７４９は、入力部７２の操作内容に応じて、スケールＳ１の表示位置を移動させて表示してもよい。なお、スケールＳ１は、Ｘ軸またはＹ軸の一方向のみであってもよい。
【００９３】
以上説明した本発明の一実施の形態にかかる変形例２によれば、表示制御部７４９が入力部７２を介してスケール表示選択部Ｗ１５でＯＮスイッチＷ１５１が選択された場合、貼り合わせ画像表示部Ｗ１０の表示領域上に貼り合わせ画像Ｐ１を計測するスケールＳ１を表示するので、スケールＳ１を用いることで貼り合わせ画像Ｐ１の実サイズを測定することができる。この結果、無駄なく貼り合わせ画像Ｐ１を作成することができ、貼り合わせ画像Ｐ１を作成する作業効率が向上する。
【００９４】
（変形例３）
また、本発明の一実施の形態において、入力部７２を介してグリッド表示選択部Ｗ１７を操作することにより、貼り合わせ画像表示部Ｗ１０の表示領域上にグリッド線（ガイドライン）を表示させることもできる。
【００９５】
図７は、本発明の一実施の形態の変形例３にかかる顕微鏡システム１の表示部６２が表示する操作画面Ｗ１の別の一例を示す図である。
【００９６】
図７に示すように、表示制御部７４９は、入力部７２を介してグリッド表示選択部Ｗ１７でグリッド線の分割数が選択されて設定された場合、貼り合わせ画像表示部Ｗ１０の表示領域上にグリッド線Ｇ１を表示させる。図７に示す状況下では、表示制御部７４９は、グリッド線Ｇ１を３×３で貼り合わせ画像表示部Ｗ１０の表示領域上に表示させる。グリッド線Ｇ１の分割数の指定種類は、適宜設定することができる、また、入力部７２を介してグリッド線Ｇ１の数を手動で移動できるようにしてもよい。
【００９７】
以上説明した本発明の一実施の形態にかかる変形例３によれば、表示制御部７４９が入力部７２を介してグリッド表示選択部Ｗ１７で選択されたグリッド線Ｇ１の分割数に基づいて、貼り合わせ画像表示部Ｗ１０の表示領域上で表示させるグリッド線Ｇ１を表示させる。これにより、貼り合わせ画像表示部Ｗ１０の表示領域上でグリッド線Ｇ１が表示されることで、ユーザは、貼り合わせ画像Ｐ１に撮影画像を貼り合わせる際に貼り合わせの位置決めを容易に行うことができ、貼り合わせ画像Ｐ１を作成する作業効率が向上する。
【００９８】
（変形例４）
また、本発明の一実施の形態において、入力部７２を介して基準位置選択部Ｗ１４を操作することにより、貼り合わせ画像表示部Ｗ１０の表示領域上において最初に表示されるライブ位置枠Ｂ１の表示位置を変更することもできる。
【００９９】
図８は、本発明の一実施の形態の変形例４にかかる顕微鏡システム１の表示部６２が表示する操作画面Ｗ１の別の一例を示す図である。
【０１００】
図８に示すように、表示制御部７４９は、入力部７２を介して基準位置選択部Ｗ１４で操作された設定された表示位置に応じて、貼り合わせ画像表示部Ｗ１０の表示領域上におけるライブ位置枠Ｂ１の表示位置を表示する。具体的には、図８Ａに示すように、表示制御部７４９は、入力部７２を介して基準位置選択部Ｗ１４で右上が選択されて設定された場合、貼り合わせ画像表示部Ｗ１０の表示領域上において最初にライブ位置枠Ｂ１を表示する表示位置を右上に設定して表示させる。また、図８Ｂに示すように、表示制御部７４９は、基準位置選択部Ｗ１４によって選択された表示位置に応じて、最初に表示するライブ位置枠Ｂ１の表示位置を設定して表示させる。なお、表示制御部７４９は、入力部７２の操作に応じてライブ位置枠Ｂ１の表示位置を変更して表示させてもよい。
【０１０１】
以上説明した本発明の一実施の形態にかかる変形例４によれば、表示制御部７４９が入力部７２を介して基準位置選択部Ｗ１４で操作されて設定された表示位置に応じて、貼り合わせ画像表示部Ｗ１０の表示領域上におけるライブ位置枠Ｂ１の表示位置を表示するので、貼り合わせ画像Ｐ１を作成する際の基準位置を指定することができる。この結果、ユーザは、標本試料Ｓに合わせて貼り合わせる順序を変更することができるので、貼り合わせ画像Ｐ１を作成する際の作業効率を向上させることができる。
【０１０２】
（変形例５）
また、本発明の一実施の形態において、ライブ位置枠Ｂ１が貼り合わせ画像Ｐ１の表示領域よりも外側に移動したときに、警告することもできる。
【０１０３】
図９は、本発明の一実施の形態の変形例５にかかる顕微鏡システム１の表示部６２が表示する操作画面の別の一例を示す図である。
【０１０４】
図９に示すように、表示制御部７４９は、ライブ位置枠Ｂ１の表示位置が貼り合わせ画像Ｐ１の表示領域よりも外側に表示されている場合において（図９（ａ））、入力部７２を介して撮像装置４の撮影指示信号が入力されたとき、ライブ位置枠Ｂ１の表示態様を変更、たとえば「緑」から「赤」に変更することにより、貼り合わせ画像Ｐ１の形状が不正になる旨を警告する（図９（ｂ））。なお、表示制御部７４９は、ライブ位置枠Ｂ１の表示態様の変更に替えメッセージ等を表示部６２に表示させることにより、貼り合わせ画像Ｐ１の形状が不正になる旨を警告するようにしてもよい。また、図９においては、実線を緑で表現し、点線を赤で表現した。
【０１０５】
以上説明した本発明の一実施の形態の変形例５によれば、表示制御部７４９が貼り合わせ画像Ｐ１の表示領域よりもライブ位置枠Ｂ１の表示位置が外側に表示されている場合において（図９（ａ））、入力部７２を介して撮像装置４の撮影指示信号が入力されたとき、ライブ位置枠Ｂ１の表示態様を変更する。これにより、ユーザは、貼り合わせ画像Ｐ１の形状がいびつになることを直感的に把握することができる。
【０１０６】
なお、上述した実施の形態では、顕微鏡装置、撮像装置、表示入力部および制御端末を備えた顕微鏡システムを例に説明したが、たとえば標本試料を拡大する対物レンズ、対物レンズを介して標本試料を撮像する撮像機能、および画像を表示する表示機能を備えた撮像装置、たとえばビデオマイクロスコープ等であっても、本発明を適用することができる。
【０１０７】
また、上述した実施の形態では、顕微鏡装置として正立型顕微鏡装置を例に説明したが、たとえば倒立型顕微鏡装置であっても本発明を適用することができる。さらに、顕微鏡装置を組み込んだライン装置といった各種システムにも、本発明を適用することができる。
【０１０８】
また、上述した実施の形態では、入力部を介して顕微鏡システムの各種設定を行っていたが、タッチパネルを介して顕微鏡システムの各種設定を行ってもよい。
【０１０９】
また、上述した実施の形態では、ステージとして電動ステージを例に説明したが、たとえば手動で移動させるマニュアルステージであっても、本発明を適用することができる。
【０１１０】
また、上述した実施の形態では、表示入力部と制御端末とが別々に構成されていたが、たとえば表示入力部と制御端末とが一体的に形成された携帯型端末であってもよい。
【０１１１】
また、上述した実施の形態では、ステージ２１をモータ２１２によってＺ方向に移動自在としたが、対物レンズ２３又は、対物レンズ２３を含む観察光学系全体をＺ方向に移動自在としてもよい。
【符号の説明】
【０１１２】
１ 顕微鏡システム
２ 顕微鏡装置
３ 顕微鏡制御部
４ 撮像装置
５ 撮像制御部
６ 表示入力部
７ 制御端末
２１ ステージ
２２ レボルバ
２３ 対物レンズ
２４ 顕微鏡本体部
２５ 落射照明用光源
４１ 撮像素子
５１ ＡＥ処理部
５２ ＡＦ処理部
６１ 表示通信部
６２ 表示部
６３ タッチパネル
７１ 制御通信部
７２ 入力部
７３ 記憶部
７４ 制御部
２１１ ステージ駆動部
２１２ モータ
２２１ マウンタ
２２２ レボルバ駆動部
２４１ 照明レンズ
２４２ ハーフミラー
２４３ ズームレンズ部
２４３ａ ズーム光学系
２４３ｂ ズーム駆動部
２４４ 結像レンズ
７３１ 画像データ記憶部
７４１ ライブ画像生成部
７４２ 移動量算出部
７４３ 移動量判定部
７４４ ライブ枠生成部
７４５ 撮影画像生成部
７４６ 貼り合わせ画像生成部
７４７ 周辺画像生成部
７４８ 駆動制御部
７４９ 表示制御部
Ｗ１ 操作画面
Ｗ１０ 貼り合わせ画像表示部
Ｗ１１ ライブ画像表示部
Ｗ１４ 基準位置選択部
Ｗ１５ スケール表示選択部
Ｗ１６ 表示サイズ切替部
Ｗ１７ グリッド表示選択部
【特許請求の範囲】
【請求項１】
標本試料を載置し、水平方向に移動可能なステージと、
前記ステージに載置された前記標本試料を撮像して該標本試料の画像データを連続して生成する撮像装置と、
前記撮像装置が生成した画像データに対応する画像を表示可能な表示部と、
前記撮像装置が連続して生成した前記画像データから前記表示部に表示させるライブ画像を順次生成するライブ画像生成部と、
前記撮像装置が生成した時間的に連続する前記画像データに基づいて、前記ステージに対する前記撮像装置の観察領域の相対的な移動量を算出する移動量算出部と、
前記移動量算出部が算出した前記移動量に基づいて、前記撮像装置が連続して生成した前記画像データから前記撮像装置の観察領域よりも外縁が広い観察領域を有する貼り合わせ画像データを生成する貼り合わせ画像生成部と、
前記表示部の表示領域において前記撮像装置の観察領域を示すライブ位置枠を生成するライブ枠生成部と、
前記ライブ画像データに対応するライブ画像と前記貼り合わせ画像データに対応する貼り合わせ画像とを異なる前記表示領域にそれぞれ表示させるとともに、前記移動量算出部が算出した前記移動量に基づいて、現在の前記撮像装置の観察領域に対応する前記貼り合わせ画像上の表示位置に前記ライブ位置枠を重畳して前記表示部に表示させる表示制御部と、
を備えたことを特徴とする顕微鏡システム。
【請求項２】
前記移動量算出部が算出した前記移動量に基づいて、前記表示部が表示する前記ライブ画像の表示領域において該ライブ画像の周辺に位置する前記貼り合わせ画像の領域を切出して周辺画像を生成する周辺画像生成部をさらに備え、
前記表示制御部は、前記表示部が表示する前記ライブ画像の周辺に前記周辺画像を貼り合わせて前記表示部に表示させることを特徴とする請求項１に記載の顕微鏡システム。
【請求項３】
前記移動量算出部が前記移動量を算出することができたか否かを判定する移動量判定部をさらに備え、
前記表示制御部は、前記移動量判定部によって前記移動量算出部が前記移動量を算出することができなかったと判定された場合、前記表示部に前記移動量が算出することができなかった旨を示す情報を前記表示部に表示させることを特徴とする請求項１または２に記載の顕微鏡システム。
【請求項４】
前記表示制御部は、前記移動量判定部によって前記移動量算出部が前記移動量を算出することができなかったと判定された場合、前記ライブ位置枠の表示態様を変更して前記表示部に表示させることを特徴とする請求項３に記載の顕微鏡システム。
【請求項５】
前記表示部が表示する前記貼り合わせ画像の表示サイズを切替える指示信号の入力を受け付ける表示サイズ切替部をさらに備え、
前記表示制御部は、前記表示サイズ切替部から入力される指示信号に応じた前記表示サイズで前記貼り合わせ画像および前記ライブ位置枠をそれぞれ前記表示部に表示させることを特徴とする請求項１〜４のいずれか一つに記載の顕微鏡システム。
【請求項６】
前記貼り合わせ画像の実サイズを計測するスケールの表示の有無を選択する指示信号の入力を受け付けるスケール表示選択部をさらに備え、
前記表示制御部は、前記スケール表示選択部から入力される指示信号に応じて前記スケールを前記表示部に表示させることを特徴とする請求項１〜４のいずれか一つに記載の顕微鏡システム。
【請求項７】
前記表示部が前記貼り合わせ画像を表示する表示領域上において所定の間隔で形成された格子を示すグリッド線の表示の有無を選択する指示信号の入力を受け付けるグリッド表示選択部をさらに備え、
前記表示制御部は、前記グリット表示選択部から入力される指示信号に応じて前記グリット線を前記表示部に表示させることを特徴とする請求項１〜４のいずれか一つに記載の顕微鏡システム。
【請求項８】
前記表示部が前記貼り合わせ画像を表示する表示領域上において前記ライブ位置枠の基準位置を選択する指示信号の入力を受け付ける表示位置選択部をさらに備え、
前記表示制御部は、前記表示位置選択部から入力される指示信号に応じた基準位置に前記ライブ位置枠を前記表示部に表示させることを特徴とする請求項１〜４のいずれか一つに記載の顕微鏡システム。
【請求項１】
標本試料を載置し、水平方向に移動可能なステージと、
前記ステージに載置された前記標本試料を撮像して該標本試料の画像データを連続して生成する撮像装置と、
前記撮像装置が生成した画像データに対応する画像を表示可能な表示部と、
前記撮像装置が連続して生成した前記画像データから前記表示部に表示させるライブ画像を順次生成するライブ画像生成部と、
前記撮像装置が生成した時間的に連続する前記画像データに基づいて、前記ステージに対する前記撮像装置の観察領域の相対的な移動量を算出する移動量算出部と、
前記移動量算出部が算出した前記移動量に基づいて、前記撮像装置が連続して生成した前記画像データから前記撮像装置の観察領域よりも外縁が広い観察領域を有する貼り合わせ画像データを生成する貼り合わせ画像生成部と、
前記表示部の表示領域において前記撮像装置の観察領域を示すライブ位置枠を生成するライブ枠生成部と、
前記ライブ画像データに対応するライブ画像と前記貼り合わせ画像データに対応する貼り合わせ画像とを異なる前記表示領域にそれぞれ表示させるとともに、前記移動量算出部が算出した前記移動量に基づいて、現在の前記撮像装置の観察領域に対応する前記貼り合わせ画像上の表示位置に前記ライブ位置枠を重畳して前記表示部に表示させる表示制御部と、
を備えたことを特徴とする顕微鏡システム。
【請求項２】
前記移動量算出部が算出した前記移動量に基づいて、前記表示部が表示する前記ライブ画像の表示領域において該ライブ画像の周辺に位置する前記貼り合わせ画像の領域を切出して周辺画像を生成する周辺画像生成部をさらに備え、
前記表示制御部は、前記表示部が表示する前記ライブ画像の周辺に前記周辺画像を貼り合わせて前記表示部に表示させることを特徴とする請求項１に記載の顕微鏡システム。
【請求項３】
前記移動量算出部が前記移動量を算出することができたか否かを判定する移動量判定部をさらに備え、
前記表示制御部は、前記移動量判定部によって前記移動量算出部が前記移動量を算出することができなかったと判定された場合、前記表示部に前記移動量が算出することができなかった旨を示す情報を前記表示部に表示させることを特徴とする請求項１または２に記載の顕微鏡システム。
【請求項４】
前記表示制御部は、前記移動量判定部によって前記移動量算出部が前記移動量を算出することができなかったと判定された場合、前記ライブ位置枠の表示態様を変更して前記表示部に表示させることを特徴とする請求項３に記載の顕微鏡システム。
【請求項５】
前記表示部が表示する前記貼り合わせ画像の表示サイズを切替える指示信号の入力を受け付ける表示サイズ切替部をさらに備え、
前記表示制御部は、前記表示サイズ切替部から入力される指示信号に応じた前記表示サイズで前記貼り合わせ画像および前記ライブ位置枠をそれぞれ前記表示部に表示させることを特徴とする請求項１〜４のいずれか一つに記載の顕微鏡システム。
【請求項６】
前記貼り合わせ画像の実サイズを計測するスケールの表示の有無を選択する指示信号の入力を受け付けるスケール表示選択部をさらに備え、
前記表示制御部は、前記スケール表示選択部から入力される指示信号に応じて前記スケールを前記表示部に表示させることを特徴とする請求項１〜４のいずれか一つに記載の顕微鏡システム。
【請求項７】
前記表示部が前記貼り合わせ画像を表示する表示領域上において所定の間隔で形成された格子を示すグリッド線の表示の有無を選択する指示信号の入力を受け付けるグリッド表示選択部をさらに備え、
前記表示制御部は、前記グリット表示選択部から入力される指示信号に応じて前記グリット線を前記表示部に表示させることを特徴とする請求項１〜４のいずれか一つに記載の顕微鏡システム。
【請求項８】
前記表示部が前記貼り合わせ画像を表示する表示領域上において前記ライブ位置枠の基準位置を選択する指示信号の入力を受け付ける表示位置選択部をさらに備え、
前記表示制御部は、前記表示位置選択部から入力される指示信号に応じた基準位置に前記ライブ位置枠を前記表示部に表示させることを特徴とする請求項１〜４のいずれか一つに記載の顕微鏡システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８Ａ】
【図８Ｂ】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８Ａ】
【図８Ｂ】
【図９】
【公開番号】特開２０１３−７２９９８（Ｐ２０１３−７２９９８Ａ）
【公開日】平成２５年４月２２日（２０１３．４．２２）
【国際特許分類】
【出願番号】特願２０１１−２１１６２８（Ｐ２０１１−２１１６２８）
【出願日】平成２３年９月２７日（２０１１．９．２７）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２５年４月２２日（２０１３．４．２２）
【国際特許分類】
【出願日】平成２３年９月２７日（２０１１．９．２７）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]