画像処理装置および画像表示システム
【課題】標本の高さ方向が異なる画像において、高さ方向に垂直な平面間の撮像領域のずれを補正して、高精度の全焦点画像および３次元画像を構築することができる画像処理装置および画像表示システムを提供すること。
【解決手段】固定された軸に沿って移動しながら撮像された一群の画像をもとに全焦点画像および／または３次元画像の構築処理を行う画像処理部３３であって、一群の画像において、各画像における軸に垂直な平面内のずれの検出を行なう検出部３３１と、検出部３３１の検出結果に応じてずれの補正を行う補正部３３２と、固定された軸に沿って移動して撮像された画像および／または補正部３３２で補正された画像を含む一群の画像をもとに、全焦点画像および／または３次元画像を構築する画像構築部３３３と、を備えた。
【解決手段】固定された軸に沿って移動しながら撮像された一群の画像をもとに全焦点画像および／または３次元画像の構築処理を行う画像処理部３３であって、一群の画像において、各画像における軸に垂直な平面内のずれの検出を行なう検出部３３１と、検出部３３１の検出結果に応じてずれの補正を行う補正部３３２と、固定された軸に沿って移動して撮像された画像および／または補正部３３２で補正された画像を含む一群の画像をもとに、全焦点画像および／または３次元画像を構築する画像構築部３３３と、を備えた。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、ＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）カメラ等によって撮像された画像の画像処理を行う画像処理装置および画像表示システムに関するものである。
【背景技術】
【０００２】
従来から、医学や生物学等の分野では、細胞等の観察に、標本を照明して観察する顕微鏡が用いられている。また、工業分野においても、金属組織等の品質管理や、新素材の研究開発、電子デバイスや磁気ヘッドの検査等、種々の用途で顕微鏡が利用されている。顕微鏡による標本の観察は、目視によるものの他、ＣＣＤカメラ等の撮像素子を用いて標本像を撮像し、モニタ表示する構成を有するものが知られている。
【０００３】
ところで、顕微鏡のような焦点距離の浅い光学系を有する装置では、観察の際に標本全体の把握が困難であった。このため、ＣＣＤカメラ等で撮像された画像に対し、全ての領域に焦点が合った画像である全焦点画像および凹凸を容易に把握できる画像である３次元画像の構築が求められている。
【０００４】
この要望に対して、標本の高さ方向において所定間隔で撮像される画像に基づいて全焦点画像および３次元画像を構築する方法が開示されている（例えば、特許文献１を参照）。この方法では、例えば、画像における各画素についてそれぞれ近傍の画素との輝度の微分値を算出し、この微分値を評価値として他の同一の高さ方向に沿って撮像した画像の評価値と比較し、最も評価値の高い画像を高さ方向におけるその画素の焦点とみなして全焦点画像を構築する。また、各画像における高さ方向の座標がわかるため、座標から算出される距離をもとに、３次元画像を構築することもできる。
【０００５】
このような方法は、一般的にＳｈａｐｅ Ｆｒｏｍ Ｆｏｃｕｓ（ＳＦＦ）法と呼ばれている。また、ＳＦＦ法のほか、合焦時の合焦位置からの距離を算出するＤｅｐｔｈ Ｆｒｏｍ Ｆｏｃｕｓ（ＤＦＦ）法や、ぼけを解析して焦点を推定するＤｅｐｔｈ Ｆｒｏｍ Ｄｅｆｏｃｕｓ（ＤＦＤ）法があり、このＤＦＤ法においても全焦点画像および３次元画像を構築することができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１０−１１７２２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、ＣＣＤカメラ等で画像を取得する過程において、顕微鏡等の振動が影響し、高さ方向に沿って画像を平面視した際に、各画像の撮像領域にずれが生じてしまうことがあった。しかしながら、特許文献１が開示する方法は、このずれに対する考慮がなされずに画像構築が行われていたため、画像間でずれが生じた場合、構築された画像に歪みが生じるなど、構築された画像の精度が低下してしまうというおそれがあった。
【０００８】
本発明は、上記に鑑みてなされたものであり、標本の高さ方向が異なる画像において、高さ方向に垂直な平面間の撮像領域のずれを補正して、高精度の全焦点画像および３次元画像を構築することができる画像処理装置および画像表示システムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上述した課題を解決し、目的を達成するために、本発明にかかる画像処理装置は、固定された軸に沿って移動しながら撮像された一群の画像をもとに全焦点画像および／または３次元画像の構築処理を行う画像処理装置であって、前記一群の画像において、各画像における前記軸に垂直な平面内のずれの検出を行なう検出部と、前記検出部の検出結果に応じて前記ずれの補正を行う補正部と、前記固定された軸に沿って移動して撮像された画像および／または前記補正部で補正された画像を含む前記一群の画像をもとに、全焦点画像および／または３次元画像を構築する画像構築部と、を備えたことを特徴とする。
【００１０】
また、本発明にかかる画像処理装置は、上記の発明において、前記一群の画像は、倍率が異なる複数の対物レンズを有する顕微鏡を介して撮像された画像であって、前記一群の画像の撮像倍率を判断する判断部を備え、前記判断部が所定倍率より低倍の対物レンズを介して撮像された画像であると判断した場合、前記画像構築部が、前記一群の画像を用いて全焦点画像および／または３次元画像を構築することを特徴とする。
【００１１】
また、本発明にかかる画像処理装置は、上記の発明において、前記検出部は、ずれが生じている画像を検出した際、前記ずれのずれ量を算出し、該ずれ量と閾値との大小関係を判断し、前記ずれ量が前記閾値より大きい場合、当該画像を削除することを特徴とする。
【００１２】
また、本発明にかかる画像処理装置は、上記の発明において、前記検出部は、ずれが生じている画像を検出した際、前記ずれのずれ量を算出し、該ずれ量と閾値との大小関係を判断し、前記ずれ量が前記閾値より大きい場合、対応する画像を再取得することを特徴とする。
【００１３】
また、本発明にかかる画像表示システムは、上記の発明にかかる画像処理装置と、前記画像処理装置によって構築された前記全焦点画像および／または３次元画像を表示する表示部と、を備えたことを特徴とする。
【発明の効果】
【００１４】
本発明にかかる画像処理装置および画像表示システムは、順次取得される標本の高さ方向が異なる画像（固定された軸に沿って移動して撮像された画像）において、各画像間のずれの補正を行い、補正された画像を用いて全焦点画像および３次元画像の構築を行うようにしたので、標本の高さ方向が異なる画像において、高さ方向に垂直な平面間の撮像領域のずれを補正して、高精度の全焦点画像および３次元画像を構築することができるという効果を奏する。
【図面の簡単な説明】
【００１５】
【図１】図１は、本発明の実施の形態にかかる顕微鏡システムの全体構成を示す模式図である。
【図２】図２は、本発明の実施の形態にかかる顕微鏡システムの画像処理を示すフローチャートである。
【図３】図３は、本発明の実施の形態にかかる顕微鏡システムの画像処理の変形例１を示すフローチャートである。
【図４】図４は、本発明の実施の形態にかかる顕微鏡システムの画像処理の変形例２を示すフローチャートである。
【図５】図５は、本発明の実施の形態にかかる顕微鏡システムの画像処理の変形例３を示すフローチャートである。
【発明を実施するための形態】
【００１６】
以下、本発明を実施するための形態を図面と共に詳細に説明する。なお、以下の実施の形態により本発明が限定されるものではない。また、以下の説明において参照する各図は、本発明の内容を理解し得る程度に形状、大きさ、および位置関係を概略的に示してあるに過ぎない。すなわち、本発明は各図で例示された形状、大きさ、および位置関係のみに限定されるものではない。
【００１７】
まず、実施の形態の顕微鏡システム１の構成について説明する。図１は、顕微鏡システム１の全体構成例を説明する模式図である。図１に示すように、顕微鏡システム１は、顕微鏡装置２と画像表示システムとしてのホストシステム３とが情報を送受可能に接続されて構成される。以下、図１に示す対物レンズ２１の光軸方向をＺ方向とし、Ｚ方向と垂直な平面をＸＹ平面として定義する。
【００１８】
顕微鏡装置２は、標本Ｓが載置される電動ステージ２２と、側面視略コの字状を有し、電動ステージ２２を支持するとともにレボルバ２３を介して対物レンズ２１を保持する顕微鏡本体２４と、顕微鏡本体２４の底部後方（図１の右方）に配設された光源２５と、顕微鏡本体２４の上部に載置された鏡筒２６とを備える。また、鏡筒２６には、標本Ｓの標本像を目視観察するための双眼部２７と、標本Ｓの標本像を撮像するためのＣＣＤカメラ２８が取り付けられている。顕微鏡装置２は、顕微鏡装置２を構成する各部の動作を統括的に制御する制御部Ｃ１を備える。
【００１９】
電動ステージ２２は、移動自在（図中のＸＹＺ方向に移動自在）に構成されている。具体的には、電動ステージ２２は、電動ステージ２２の標本Ｓの載置面をこの載置面に平行な平面（ＸＹ平面）上で移動させるモータ２２１およびこのモータ２２１の駆動を制御するＸＹ駆動制御部Ｃ１１によってＸＹ平面内で移動自在である。ＸＹ駆動制御部Ｃ１１は、制御部Ｃ１の制御のもと、図示しないＸＹ位置の原点センサによって電動ステージ２２のＸＹ平面における所定の原点位置を検知し、この原点位置を基点としてモータ２２１の駆動量を制御することによって、標本Ｓ上の観察箇所を移動させる。そして、ＸＹ駆動制御部Ｃ１１は、観察時の電動ステージ２２のＸ位置およびＹ位置を適宜制御部Ｃ１に出力する。
【００２０】
また、電動ステージ２２は、電動ステージ２２の標本Ｓの載置面をこの載置面（ＸＹ平面）に垂直な方向（Ｚ方向）に移動させるモータ２２２およびこのモータ２２２の駆動を制御するＺ駆動制御部Ｃ１２によってＺ方向に移動自在である。Ｚ駆動制御部Ｃ１２は、制御部Ｃ１の制御のもと、図示しないＺ位置の原点センサによって電動ステージ２２のＺ方向における所定の原点位置を検知し、この原点位置を基点としてモータ２２２の駆動量を制御することによって、所定の高さ範囲内の任意のＺ位置に標本Ｓを焦準移動させる。そして、Ｚ駆動制御部Ｃ１２は、観察時の電動ステージ２２のＺ位置を適宜制御部Ｃ１に出力する。
【００２１】
レボルバ２３は、顕微鏡本体２４に対して回転自在に保持され、対物レンズ２１を標本Ｓの上方に配置する。対物レンズ２１は、レボルバ２３に対して倍率（観察倍率）の異なる他の対物レンズとともに交換自在に装着されており、レボルバ２３の回転に応じて観察光の光路上に挿入されて標本Ｓの観察に用いる対物レンズ２１が択一的に切り換えられるようになっている。なお、実施の形態１では、レボルバ２３は、倍率の異なる複数の対物レンズを保持している。レボルバ２３は、対物レンズ２１として、例えば２倍，４倍といった比較的倍率の低い対物レンズ（以下、適宜「低倍対物レンズ」と呼ぶ）と、１０倍，２０倍，４０倍といった低倍対物レンズの倍率に対して高倍率である対物レンズ（以下、適宜「高倍対物レンズ」と呼ぶ）と、を少なくとも１つずつ保持していることとする。ただし、低倍および高倍とした倍率は一例であり、レボルバ２３は、所定倍率よりも低倍の対物レンズと所定倍率よりも高倍の対物レンズとを保持していればよい。
【００２２】
顕微鏡本体２４は、底部において標本Ｓを透過照明するための照明光学系を内設している。この照明光学系は、例えば、光源２５から射出された照明光を集光するコレクタレンズ２５１、照明系フィルタユニット２５２、視野絞り２５３、開口絞り２５４、照明光の光路を対物レンズ２１の光軸に沿って偏向させる折曲げミラー２５５、コンデンサ光学素子ユニット２５６、トップレンズユニット２５７等が、照明光の光路に沿って適所に配置されて構成される。光源２５から射出された照明光は、照明光学系によって標本Ｓに照射され、観察光として対物レンズ２１に入射する。
【００２３】
また、顕微鏡本体２４は、その上部においてフィルタユニット２９を内設している。フィルタユニット２９は、標本像として結像する光の波長帯域を所定範囲に制限するための複数の光学フィルタ２９１を回転自在に保持し、使用対象の光学フィルタ２９１を、適宜対物レンズ２１後段において観察光の光路上に挿入する。対物レンズ２１を経た観察光は、このフィルタユニット２９を経由して鏡筒２６に入射する。
【００２４】
鏡筒２６は、フィルタユニット２９を経た観察光の光路を切り換えて双眼部２７またはＣＣＤカメラ２８へと導くビームスプリッタ２６１を内設している。標本Ｓの標本像は、このビームスプリッタ２６１によって双眼部２７内に導入され、接眼レンズ２７１を介して検鏡者に目視観察される。あるいはＣＣＤカメラ２８によって撮像される。
【００２５】
ＣＣＤカメラ２８は、標本像（詳細には対物レンズ２１の視野範囲）を結像するＣＣＤやＣＭＯＳ等の撮像素子を備えて構成され、標本像を撮像し、標本像の画像データをホストシステム３に出力する。ＣＣＤカメラ２８は、入射する観察光を電気信号に変換することによって、標本Ｓの画像を取得する。
【００２６】
ここで、顕微鏡装置２は、図１に示すように、制御部Ｃ１とＣＣＤカメラコントローラＣ２とを備える。制御部Ｃ１は、ホストシステム３の制御のもと、顕微鏡装置２を構成する各部の動作を統括的に制御する。例えば、制御部Ｃ１は、レボルバ２３を回転させて観察光の光路上に配置する対物レンズ２１を切り換える処理や、切り換えた対物レンズ２１
の倍率等に応じた光源２５の調光制御や各種光学素子の切り換え、あるいはＸＹ駆動制御部Ｃ１１やＺ駆動制御部Ｃ１２に対する電動ステージ２２の移動指示等、標本Ｓの観察に伴う顕微鏡装置２の各部の調整を行うとともに、各部の状態を適宜ホストシステム３に通知する。ＣＣＤカメラコントローラＣ２は、ホストシステム３の制御のもと、自動ゲイン制御のＯＮ／ＯＦＦ切換、ゲインの設定、自動露出制御のＯＮ／ＯＦＦ切換、露光時間の設定等を行ってＣＣＤカメラ２８を駆動し、ＣＣＤカメラ２８の撮像動作を制御する。
【００２７】
一方、ホストシステム３は、入力部３１と、表示部３２と、画像処理部３３と、記憶部３４と、ホストシステム３を構成する各部への動作タイミングの指示やデータの転送等を行い、各部の動作を統括的に制御する制御部Ｃ３とを備える。
【００２８】
入力部３１は、例えば、キーボードやマウス、タッチパネル、各種スイッチ等によって実現されるものであり、操作入力に応じた操作信号を制御部Ｃ３に出力する。表示部３２は、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）や有機ＥＬ（ＥｌｅｃｔｒｏＬｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等の表示装置によって実現されるものであり、制御部Ｃ３から入力される表示信号をもとに各種画面を表示する。なお、表示部３２がタッチパネル機能を有する場合、表示部３２が入力部３１の機能を担ってもよい。
【００２９】
画像処理部３３は、画像処理装置として機能し、制御部Ｃ３を介して顕微鏡装置２で撮像された標本画像を観察モード情報とともに取得し、撮像時の観察モードに応じて標本画像を画像処理する。具体的には、画像処理部３３は、通常観察モードで得られた標本画像については、必要な画像処理を施して制御部Ｃ３を介して記憶部３４に記憶させ、あるいは表示部３２に表示出力させる。
【００３０】
また、画像処理部３３は、Ｚ方向に移動して所定間隔で撮像された画像を構成する各画素におけるＸＹ平面内のずれを検出する検出部３３１と、検出部３３１の検出結果に応じて対象画像のＸＹ平面内のずれを補正する補正部３３２と、補正部３３２によって補正された画像を含むＣＣＤカメラ２８によって撮像された画像をもとに全焦点画像または３次元画像を構築する画像構築部３３３と、を含む。
【００３１】
記憶部３４は、更新記憶可能なフラッシュメモリ等のＲＯＭやＲＡＭといった各種ＩＣメモリ、内蔵或いはデータ通信端子で接続されたハードディスク、ＣＤ−ＲＯＭ等の記憶媒体およびその読書装置等によって実現されるものである。この記憶部３４には、ホストシステム３を動作させ、このホストシステム３が備える種々の機能を実現するためのプログラム、例えば本実施の形態にかかる画像処理プログラムや、このプログラムの実行中に使用されるデータ等が記録される。
【００３２】
なお、ホストシステム３は、ＣＰＵやビデオボード、メインメモリ等の主記憶装置、ハードディスクや各種記憶媒体等の外部記憶装置、通信装置、表示装置や印刷装置等の出力装置、入力装置、各部を接続し、あるいは外部入力を接続するインターフェース装置等を備えた公知のハードウェア構成で実現でき、例えばワークステーションやパソコン等の汎用コンピュータを利用することができる。
【００３３】
次に、本実施の形態にかかる顕微鏡システム１の制御部Ｃ３が行う画像処理について、図２を参照して説明する。まず、制御部Ｃ３は、入力部３１から画像処理に関する条件を取得して設定を行う（ステップＳ１０２）。ステップＳ１０２における条件設定では、標本ＳのＺ方向の範囲や、ピッチ（撮像間隔）を設定する。
【００３４】
続いて、制御部Ｃ３は、Ｚ駆動制御部Ｃ１２およびＣＣＤカメラコントローラＣ２に対して、標本Ｓを撮像するよう指示する（ステップＳ１０４）。制御部Ｃ３は、ステップＳ１０２で設定されたピッチにおける同一ＸＹ平面でＺ方向が異なる画像（Ｚスタック画像）を撮像領域における複数のＸＹ平面ごとに取得する。
【００３５】
このとき、Ｚ駆動制御部Ｃ１２は、標本ＳのＺ方向における一端と一致する位置まで電動ステージ２２を移動した後、電動ステージ２２をステップＳ１０２で設定されたＺ方向の範囲で移動させる。ここで、Ｚ駆動制御部Ｃ１２は、ステップＳ１０２で設定されたピッチごとに移動と停止とを繰り返して電動ステージ２２を移動させてもよいし、ある一定の速度で電動ステージ２２を連続的に移動させてもよい。また、電動ステージ２２が移動するＺ方向の範囲は、対物レンズ２１を含む拡大光学系の焦点深度以下であることが好ましい。これにより、標本Ｓの各撮像領域（同一ＸＹ座標）のＺスタック画像において、合焦された画像を少なくとも１つ得ることができる。
【００３６】
制御部Ｃ３は、画像取得後、取得した画像を記憶部３４に記憶させる（ステップＳ１０６）。制御部Ｃ３は、画像に少なくとも画像の中心座標（ｘ，ｙ，ｚ）を対応付けて記憶部３４に記憶させる。
【００３７】
画像を記憶部３４に記憶後、制御部Ｃ３は、各Ｚスタック画像の各画素においてＸＹ方向にずれが生じているか否かを検出部３３１に検出するよう指示する（ステップＳ１０８）。ここで、検出部３３１が行なうずれ検出は、例えばテンプレートマッチングや、コーナー検出等の特徴点を利用したマッチング処理によって行われる。この際、ずれ検出を行なうためのテンプレート画像は、Ｚスタック画像における最初の画像であってもよいし、ずれ検出対象のＺスタック画像の直前のＺスタック画像（１ピッチ前のＺスタック画像）であってもよい。検出部３３１は、ずれ検出対象のＺスタック画像と、Ｚスタック画像における最初の画像またはずれ検出対象Ｚスタック画像の直前のＺスタック画像とを記憶部３４から取得してずれの有無を検出する。
【００３８】
検出部３３１によってＺスタック画像のずれが検出されると（ステップＳ１１０：Ｙｅｓ）、制御部Ｃ３は、Ｚスタック画像のずれを補正するよう補正部３３２に指示する（ステップＳ１１２）。補正部３３２は、例えばニアレストネイバー（ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒ）法、バイリニア（ｂｉｌｉｎｅａｒ）法、またはバイキュービック法（ｂｉｃｕｂｉｃ）法を用いてずれの補正（補間）を行う。補正されたＺスタック画像は、再度記憶部３４に記憶される。このとき、記憶部３４は、補正されたＺスタック画像をＣＣＤカメラ２８から取得した画像と置き換えてもよいし、これらの画像を別々に記憶するようにしてもよい。
【００３９】
一方、検出部３３１によってＺスタック画像のずれが検出されない場合（ステップＳ１１０：Ｎｏ）、制御部Ｃ３は、ステップＳ１１４に移行して、次の取得画像があるか否かを判断する。
【００４０】
ずれ補正処理終了後、制御部Ｃ３は、ずれの検出を行なう次の取得画像（Ｚスタック画像）があるか否かを判断し、次の取得画像がない場合（ステップＳ１１４：Ｎｏ）、ステップＳ１０４で取得されたＺスタック画像またはステップＳ１１２で補正されたＺスタック画像を用いて、全焦点画像または３次元画像を構築するよう画像構築部３３３に指示する（ステップＳ１１６）。また、ずれの検出を行なう次の取得画像がある場合（ステップＳ１１４：Ｙｅｓ）、制御部Ｃ３は、ステップＳ１０８に移行して、検出部３３１に次の取得画像に対するずれ検出処理を行わせる。
【００４１】
画像構築部３３３は、上述したＤＦＦ法を用いて全焦点画像または３次元画像を構築する。画像構築部３３３は、各Ｚスタック画像を合成して、全体に焦点が合った２次元画像（全焦点画像）を構築する。また、画像構築部３３３は、各Ｚスタック画像の座標情報をもとに基準座標からの焦点位置までの距離をそれぞれ算出して、３次元画像を構築する。
【００４２】
画像構築部３３３による画像構築が終了すると、制御部Ｃ３は、構築された全焦点画像および／または３次元画像を記憶部３４に記憶させるとともに、全焦点画像および／または３次元画像を表示するよう表示部３２に指示する（ステップＳ１１８）。このとき、表示部３２は、全焦点画像および３次元画像において、入力部３１からの指示により、指示のあった画像の表示を行う。
【００４３】
上述した本実施の形態によれば、順次取得されるＺスタック画像において、各Ｚスタック画像間のずれの補正を行い、補正されたＺスタック画像を用いて全焦点画像および３次元画像の構築を行うようにしたので、Ｚスタック画像においてＺ方向に垂直な平面間の撮像領域のずれを補正して、高精度の全焦点画像および３次元画像を構築することができる。
【００４４】
なお、電動ステージ２２が移動するＺ方向の範囲が対物レンズ２１を含む拡大光学系の焦点深度以下であるものとして説明したが、焦点深度に近い距離であればよい。これにより、電動ステージ２２が移動するＺ方向の範囲が狭まり、取得するＺスタック画像を少なくすることができる。
【００４５】
また、制御部Ｃ１（Ｚ駆動制御部Ｃ１２）は、各Ｚスタック画像を取得する際、電動ステージ２２をＺ方向に移動させるものとして説明したが、電動ステージ２２は移動させず、レボルバ２３と共に対物レンズ２１をＺ方向に移動させるものであってもよい。
【００４６】
図３は、本発明の実施の形態にかかる顕微鏡システムの画像処理の変形例１を示すフローチャートである。まず、制御部Ｃ３は、上述したステップＳ１０２〜Ｓ１０６に対応する画像取得処理および記憶処理（ステップＳ２０２〜Ｓ２０６）を行い、Ｚスタック画像を取得する。
【００４７】
Ｚスタック画像取得後、制御部Ｃ３は、取得されたＺスタック画像の撮像倍率を判断する（ステップＳ２０８）。具体的には、制御部Ｃ３は、取得されたＺスタック画像が、所定の倍率よりも低倍の対物レンズを介して撮像されたものであるのか、所定の倍率よりも高倍の対物レンズを介して撮像されたものであるのかを判断する。ここで、低倍対物レンズを介して撮像されたものである場合（ステップＳ２０８：低倍）、制御部Ｃ３は、ステップＳ２１６に移行して、Ｚスタック画像の補正を行わずに、次の取得画像があるか否かを判断する。
【００４８】
また、高倍対物レンズを介して撮像されたものである場合（ステップＳ２０８：高倍）、制御部Ｃ３は、上述したステップＳ１０８〜Ｓ１１２に対応するずれ補正処理（ステップＳ２１０〜Ｓ２１４）を行う。
【００４９】
ずれ補正処理終了後、制御部Ｃ３は、ずれの検出を行なう次の取得画像（Ｚスタック画像）があるか否かを判断し、次の取得画像がない場合（ステップＳ２１６：Ｎｏ）、ステップＳ２０４で取得されたＺスタック画像またはステップＳ２１４で補正されたＺスタック画像を用いて、全焦点画像または３次元画像を構築するよう画像構築部３３３に指示する（ステップＳ２１８）。また、ずれの検出を行なう次の取得画像がある場合（ステップＳ２１６：Ｙｅｓ）、制御部Ｃ３は、ステップＳ２０８に移行して、次の取得画像に対する処理を行う。
【００５０】
画像構築部３３３は、上述したＤＦＦ法を用いて全焦点画像または３次元画像を構築する。画像構築部３３３は、各Ｚスタック画像を合成して、全体に焦点が合った２次元画像（全焦点画像）を構築する。また、画像構築部３３３は、各Ｚスタック画像の座標情報をもとに基準座標からの焦点位置までの距離をそれぞれ算出して、３次元画像を構築する。
【００５１】
画像構築部３３３による画像構築が終了すると、制御部Ｃ３は、構築された全焦点画像および／または３次元画像を記憶部３４に記憶させるとともに、全焦点画像および／または３次元画像を表示するよう表示部３２に指示する（ステップＳ２２０）。このとき、表示部３２は、全焦点画像および３次元画像において、入力部３１からの指示により、指示のあった画像の表示を行う。
【００５２】
上述した変形例１によれば、上述した本実施の形態と同様、順次取得されるＺスタック画像において、各Ｚスタック画像間のずれの補正を行い、補正されたＺスタック画像を用いて全焦点画像および３次元画像の構築を行うようにしたので、Ｚスタック画像においてＺ方向に垂直な平面間の撮像領域のずれを補正して、高精度の全焦点画像および３次元画像を構築することができる。
【００５３】
また、変形例１では、全焦点画像および３次元画像の構築に影響するほどのずれが生じにくい低倍対物レンズを介して取得されたＺスタック画像について、ずれ検出処理およびずれ補正処理を行わずに全焦点画像および３次元画像の構築を行うため、画像処理にかかる負荷を軽減することが可能となる。
【００５４】
図４は、本発明の実施の形態にかかる顕微鏡システムの画像処理の変形例２を示すフローチャートである。まず、制御部Ｃ３は、上述したステップＳ１０２〜Ｓ１０６に対応する画像取得処理および記憶処理（ステップＳ３０２〜Ｓ３０６）を行い、Ｚスタック画像を取得する。
【００５５】
Ｚスタック画像取得後、制御部Ｃ３は、取得されたＺスタック画像が、低倍対物レンズを介して撮像されたものであるのか、高倍対物レンズを介して撮像されたものであるのかを判断する（ステップＳ３０８）。ここで、低倍対物レンズを介して撮像されたものである場合（ステップＳ３０８：低倍）、制御部Ｃ３は、ステップＳ３２０に移行して、Ｚスタック画像の補正を行わずに、次の取得画像があるか否かを判断する。
【００５６】
また、高倍対物レンズを介して撮像されたものである場合（ステップＳ３０８：高倍）、制御部Ｃ３は、各Ｚスタック画像の各画素においてＸＹ方向にずれが生じているか否かを検出部３３１に検出するよう指示する（ステップＳ３１０）。ここで、検出部３３１によってＺスタック画像のずれが検出されない場合（ステップＳ３１２：Ｎｏ）、制御部Ｃ３は、ステップＳ３２０に移行して、次の取得画像があるか否かを判断する。
【００５７】
一方、検出部３３１によってＺスタック画像のずれが検出されると（ステップＳ３１２：Ｙｅｓ）、制御部Ｃ３は、検出部３３１にずれ量を算出させ、そのずれ量と閾値との大小関係を判断させる（ステップＳ３１４）。
【００５８】
ここで、ずれ量が閾値以上の場合（ステップＳ３１４：Ｎｏ）、制御部Ｃ３は、ステップＳ３１６に移行して、対象画像（ずれ量が閾値以上のＺスタック画像）を削除する。その後、制御部Ｃ３は、ステップＳ３２０に移行して次の取得画像があるか否かを判断する。
【００５９】
一方、ずれ量が閾値より小さい場合（ステップＳ３１４：Ｙｅｓ）、制御部Ｃ３は、ステップＳ３１８に移行して、Ｚスタック画像のずれを補正するよう補正部３３２に指示する。
【００６０】
ずれ補正処理終了後、制御部Ｃ３は、ずれの検出を行なう次の取得画像（Ｚスタック画像）があるか否かを判断し、次の取得画像がない場合（ステップＳ３２０：Ｎｏ）、ステップＳ３０４で取得されたＺスタック画像またはステップＳ３１８で補正されたＺスタック画像を用いて、全焦点画像または３次元画像を構築するよう画像構築部３３３に指示する（ステップＳ３２２）。また、ずれの検出を行なう次の取得画像がある場合（ステップＳ３２０：Ｙｅｓ）、制御部Ｃ３は、ステップＳ３０８に移行して、次の取得画像に対する処理を行う。
【００６１】
画像構築部３３３による画像構築が終了すると、制御部Ｃ３は、構築された全焦点画像および／または３次元画像を記憶部３４に記憶させるとともに、全焦点画像および／または３次元画像を表示するよう表示部３２に指示する（ステップＳ３２４）。このとき、表示部３２は、全焦点画像および３次元画像において、入力部３１からの指示により、指示のあった画像の表示を行う。
【００６２】
上述した変形例２によれば、上述した本実施の形態と同様、順次取得されるＺスタック画像において、各Ｚスタック画像間のずれの補正を行い、補正されたＺスタック画像を用いて全焦点画像および３次元画像の構築を行うようにしたので、Ｚスタック画像においてＺ方向に垂直な平面間の撮像領域のずれを補正して、高精度の全焦点画像および３次元画像を構築することができる。
【００６３】
また、変形例２では、全焦点画像および３次元画像の構築に影響するほどのずれが生じにくい低倍対物レンズを介して取得されたＺスタック画像について、ずれ検出処理およびずれ補正処理を行わずに全焦点画像および３次元画像の構築を行うとともに、ずれ量の大きさに応じて対象のＺスタック画像を間引くようにしたため、画像処理にかかる負荷を一段と軽減することができる。
【００６４】
図５は、本発明の実施の形態にかかる顕微鏡システムの画像処理の変形例３を示すフローチャートである。まず、制御部Ｃ３は、上述したステップＳ１０２〜Ｓ１０６に対応する画像取得処理および記憶処理（ステップＳ４０２〜Ｓ４０６）を行い、Ｚスタック画像を取得する。
【００６５】
Ｚスタック画像取得後、制御部Ｃ３は、取得されたＺスタック画像が、低倍対物レンズを介して撮像されたものであるのか、高倍対物レンズを介して撮像されたものであるのかを判断する（ステップＳ４０８）。ここで、低倍対物レンズを介して撮像されたものである場合（ステップＳ４０８：低倍）、制御部Ｃ３は、ステップＳ４２０に移行して、Ｚスタック画像の補正を行わずに、次の取得画像があるか否かを判断する。
【００６６】
また、高倍対物レンズを介して撮像されたものである場合（ステップＳ４０８：高倍）、制御部Ｃ３は、各Ｚスタック画像の各画素においてＸＹ方向にずれが生じているか否かを検出部３３１に検出するよう指示する（ステップＳ４１０）。ここで、検出部３３１によってＺスタック画像のずれが検出されない場合（ステップＳ４１２：Ｎｏ）、制御部Ｃ３は、ステップＳ４２０に移行して、次の取得画像があるか否かを判断する。
【００６７】
一方、検出部３３１によってＺスタック画像のずれが検出されると（ステップＳ４１２：Ｙｅｓ）、制御部Ｃ３は、検出部３３１にずれ量を算出させ、そのずれ量と閾値との大小関係を判断させる（ステップＳ４１４）。
【００６８】
ここで、ずれ量が閾値以上の場合（ステップＳ４１４：Ｎｏ）、制御部Ｃ３は、ステップＳ４１６に移行して、ずれ量が閾値以上のＺスタック画像に対応する画像（対象画像に対応する座標における画像）の再取得を行う。再取得後、制御部Ｃ３は、ステップＳ４０６に移行して上述した処理を再度行う。
【００６９】
一方、ずれ量が閾値より小さい場合（ステップＳ４１４：Ｙｅｓ）、制御部Ｃ３は、ステップＳ４１８に移行して、Ｚスタック画像のずれを補正するよう補正部３３２に指示する。
【００７０】
ずれ補正処理終了後、制御部Ｃ３は、ずれの検出を行なう次の取得画像（Ｚスタック画像）があるか否かを判断し、次の取得画像がない場合（ステップＳ４２０：Ｎｏ）、ステップＳ４０４で取得されたＺスタック画像またはステップＳ４１８で補正されたＺスタック画像を用いて、全焦点画像または３次元画像を構築するよう画像構築部３３３に指示する（ステップＳ４２２）。また、ずれの検出を行なう次の取得画像がある場合（ステップＳ４２０：Ｙｅｓ）、制御部Ｃ３は、ステップＳ４０８に移行して、次の取得画像に対する処理を行う。
【００７１】
画像構築部３３３による画像構築が終了すると、制御部Ｃ３は、構築された全焦点画像および／または３次元画像を記憶部３４に記憶させるとともに、全焦点画像および／または３次元画像を表示するよう表示部３２に指示する（ステップＳ４２４）。このとき、表示部３２は、全焦点画像および３次元画像において、入力部３１からの指示により、指示のあった画像の表示を行う。
【００７２】
上述した変形例３よれば、全焦点画像および３次元画像の構築に影響するほどのずれが生じにくい低倍対物レンズを介して取得されたＺスタック画像について、ずれ検出処理およびずれ補正処理を行わずに全焦点画像および３次元画像の構築を行うとともに、ずれ量の大きさに応じて対象のＺスタック画像の再取得を行うようにしたため、画像処理にかかる負荷を軽減し、かつ精度の高い全焦点画像および３次元画像の構築を行うことができる。
【００７３】
なお、上述した変形例３のステップＳ４１６における対象画像の再取得と、変形例２のステップＳ３１６で行なう対象画像の削除と、を選択して処理できるようにしてもよい。これにより、状況に応じて、画像を再取得するか間引くかを選択し、処理の選択的に効率よく行うことが可能となる。
【００７４】
以上のように、本発明にかかる画像処理装置および画像表示システムは、標本の高さ方向が異なる画像において、高さ方向に垂直な平面間の撮像領域のずれを補正して、高精度の全焦点画像および３次元画像を構築することに有用である。
【符号の説明】
【００７５】
１ 顕微鏡システム
２ 顕微鏡装置
３ ホストシステム
２１ 対物レンズ
２２ 電動ステージ
２３ レボルバ
２４ 顕微鏡本体
２５ 光源
２６ 鏡筒
２７ 双眼部
２８ ＣＣＤカメラ
３１ 入力部
３２ 表示部
３３ 画像処理部
３４ 記憶部
２９ フィルタユニット
２２１，２２２ モータ
２５１ コレクタレンズ
２５２ 照明系フィルタユニット
２５３ 視野絞り
２５４ 開口絞り
２５５ 折曲げミラー
２５６ コンデンサ光学素子ユニット
２５７ トップレンズユニット
２６１ ビームスプリッタ
２７１ 接眼レンズ
２９１ 光学フィルタ
Ｃ１，Ｃ３ 制御部
Ｃ２ ＣＣＤカメラコントローラ
Ｃ１１ ＸＹ駆動制御部
Ｃ１２ Ｚ駆動制御部
【技術分野】
【０００１】
本発明は、例えば、ＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）カメラ等によって撮像された画像の画像処理を行う画像処理装置および画像表示システムに関するものである。
【背景技術】
【０００２】
従来から、医学や生物学等の分野では、細胞等の観察に、標本を照明して観察する顕微鏡が用いられている。また、工業分野においても、金属組織等の品質管理や、新素材の研究開発、電子デバイスや磁気ヘッドの検査等、種々の用途で顕微鏡が利用されている。顕微鏡による標本の観察は、目視によるものの他、ＣＣＤカメラ等の撮像素子を用いて標本像を撮像し、モニタ表示する構成を有するものが知られている。
【０００３】
ところで、顕微鏡のような焦点距離の浅い光学系を有する装置では、観察の際に標本全体の把握が困難であった。このため、ＣＣＤカメラ等で撮像された画像に対し、全ての領域に焦点が合った画像である全焦点画像および凹凸を容易に把握できる画像である３次元画像の構築が求められている。
【０００４】
この要望に対して、標本の高さ方向において所定間隔で撮像される画像に基づいて全焦点画像および３次元画像を構築する方法が開示されている（例えば、特許文献１を参照）。この方法では、例えば、画像における各画素についてそれぞれ近傍の画素との輝度の微分値を算出し、この微分値を評価値として他の同一の高さ方向に沿って撮像した画像の評価値と比較し、最も評価値の高い画像を高さ方向におけるその画素の焦点とみなして全焦点画像を構築する。また、各画像における高さ方向の座標がわかるため、座標から算出される距離をもとに、３次元画像を構築することもできる。
【０００５】
このような方法は、一般的にＳｈａｐｅ Ｆｒｏｍ Ｆｏｃｕｓ（ＳＦＦ）法と呼ばれている。また、ＳＦＦ法のほか、合焦時の合焦位置からの距離を算出するＤｅｐｔｈ Ｆｒｏｍ Ｆｏｃｕｓ（ＤＦＦ）法や、ぼけを解析して焦点を推定するＤｅｐｔｈ Ｆｒｏｍ Ｄｅｆｏｃｕｓ（ＤＦＤ）法があり、このＤＦＤ法においても全焦点画像および３次元画像を構築することができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１０−１１７２２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、ＣＣＤカメラ等で画像を取得する過程において、顕微鏡等の振動が影響し、高さ方向に沿って画像を平面視した際に、各画像の撮像領域にずれが生じてしまうことがあった。しかしながら、特許文献１が開示する方法は、このずれに対する考慮がなされずに画像構築が行われていたため、画像間でずれが生じた場合、構築された画像に歪みが生じるなど、構築された画像の精度が低下してしまうというおそれがあった。
【０００８】
本発明は、上記に鑑みてなされたものであり、標本の高さ方向が異なる画像において、高さ方向に垂直な平面間の撮像領域のずれを補正して、高精度の全焦点画像および３次元画像を構築することができる画像処理装置および画像表示システムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上述した課題を解決し、目的を達成するために、本発明にかかる画像処理装置は、固定された軸に沿って移動しながら撮像された一群の画像をもとに全焦点画像および／または３次元画像の構築処理を行う画像処理装置であって、前記一群の画像において、各画像における前記軸に垂直な平面内のずれの検出を行なう検出部と、前記検出部の検出結果に応じて前記ずれの補正を行う補正部と、前記固定された軸に沿って移動して撮像された画像および／または前記補正部で補正された画像を含む前記一群の画像をもとに、全焦点画像および／または３次元画像を構築する画像構築部と、を備えたことを特徴とする。
【００１０】
また、本発明にかかる画像処理装置は、上記の発明において、前記一群の画像は、倍率が異なる複数の対物レンズを有する顕微鏡を介して撮像された画像であって、前記一群の画像の撮像倍率を判断する判断部を備え、前記判断部が所定倍率より低倍の対物レンズを介して撮像された画像であると判断した場合、前記画像構築部が、前記一群の画像を用いて全焦点画像および／または３次元画像を構築することを特徴とする。
【００１１】
また、本発明にかかる画像処理装置は、上記の発明において、前記検出部は、ずれが生じている画像を検出した際、前記ずれのずれ量を算出し、該ずれ量と閾値との大小関係を判断し、前記ずれ量が前記閾値より大きい場合、当該画像を削除することを特徴とする。
【００１２】
また、本発明にかかる画像処理装置は、上記の発明において、前記検出部は、ずれが生じている画像を検出した際、前記ずれのずれ量を算出し、該ずれ量と閾値との大小関係を判断し、前記ずれ量が前記閾値より大きい場合、対応する画像を再取得することを特徴とする。
【００１３】
また、本発明にかかる画像表示システムは、上記の発明にかかる画像処理装置と、前記画像処理装置によって構築された前記全焦点画像および／または３次元画像を表示する表示部と、を備えたことを特徴とする。
【発明の効果】
【００１４】
本発明にかかる画像処理装置および画像表示システムは、順次取得される標本の高さ方向が異なる画像（固定された軸に沿って移動して撮像された画像）において、各画像間のずれの補正を行い、補正された画像を用いて全焦点画像および３次元画像の構築を行うようにしたので、標本の高さ方向が異なる画像において、高さ方向に垂直な平面間の撮像領域のずれを補正して、高精度の全焦点画像および３次元画像を構築することができるという効果を奏する。
【図面の簡単な説明】
【００１５】
【図１】図１は、本発明の実施の形態にかかる顕微鏡システムの全体構成を示す模式図である。
【図２】図２は、本発明の実施の形態にかかる顕微鏡システムの画像処理を示すフローチャートである。
【図３】図３は、本発明の実施の形態にかかる顕微鏡システムの画像処理の変形例１を示すフローチャートである。
【図４】図４は、本発明の実施の形態にかかる顕微鏡システムの画像処理の変形例２を示すフローチャートである。
【図５】図５は、本発明の実施の形態にかかる顕微鏡システムの画像処理の変形例３を示すフローチャートである。
【発明を実施するための形態】
【００１６】
以下、本発明を実施するための形態を図面と共に詳細に説明する。なお、以下の実施の形態により本発明が限定されるものではない。また、以下の説明において参照する各図は、本発明の内容を理解し得る程度に形状、大きさ、および位置関係を概略的に示してあるに過ぎない。すなわち、本発明は各図で例示された形状、大きさ、および位置関係のみに限定されるものではない。
【００１７】
まず、実施の形態の顕微鏡システム１の構成について説明する。図１は、顕微鏡システム１の全体構成例を説明する模式図である。図１に示すように、顕微鏡システム１は、顕微鏡装置２と画像表示システムとしてのホストシステム３とが情報を送受可能に接続されて構成される。以下、図１に示す対物レンズ２１の光軸方向をＺ方向とし、Ｚ方向と垂直な平面をＸＹ平面として定義する。
【００１８】
顕微鏡装置２は、標本Ｓが載置される電動ステージ２２と、側面視略コの字状を有し、電動ステージ２２を支持するとともにレボルバ２３を介して対物レンズ２１を保持する顕微鏡本体２４と、顕微鏡本体２４の底部後方（図１の右方）に配設された光源２５と、顕微鏡本体２４の上部に載置された鏡筒２６とを備える。また、鏡筒２６には、標本Ｓの標本像を目視観察するための双眼部２７と、標本Ｓの標本像を撮像するためのＣＣＤカメラ２８が取り付けられている。顕微鏡装置２は、顕微鏡装置２を構成する各部の動作を統括的に制御する制御部Ｃ１を備える。
【００１９】
電動ステージ２２は、移動自在（図中のＸＹＺ方向に移動自在）に構成されている。具体的には、電動ステージ２２は、電動ステージ２２の標本Ｓの載置面をこの載置面に平行な平面（ＸＹ平面）上で移動させるモータ２２１およびこのモータ２２１の駆動を制御するＸＹ駆動制御部Ｃ１１によってＸＹ平面内で移動自在である。ＸＹ駆動制御部Ｃ１１は、制御部Ｃ１の制御のもと、図示しないＸＹ位置の原点センサによって電動ステージ２２のＸＹ平面における所定の原点位置を検知し、この原点位置を基点としてモータ２２１の駆動量を制御することによって、標本Ｓ上の観察箇所を移動させる。そして、ＸＹ駆動制御部Ｃ１１は、観察時の電動ステージ２２のＸ位置およびＹ位置を適宜制御部Ｃ１に出力する。
【００２０】
また、電動ステージ２２は、電動ステージ２２の標本Ｓの載置面をこの載置面（ＸＹ平面）に垂直な方向（Ｚ方向）に移動させるモータ２２２およびこのモータ２２２の駆動を制御するＺ駆動制御部Ｃ１２によってＺ方向に移動自在である。Ｚ駆動制御部Ｃ１２は、制御部Ｃ１の制御のもと、図示しないＺ位置の原点センサによって電動ステージ２２のＺ方向における所定の原点位置を検知し、この原点位置を基点としてモータ２２２の駆動量を制御することによって、所定の高さ範囲内の任意のＺ位置に標本Ｓを焦準移動させる。そして、Ｚ駆動制御部Ｃ１２は、観察時の電動ステージ２２のＺ位置を適宜制御部Ｃ１に出力する。
【００２１】
レボルバ２３は、顕微鏡本体２４に対して回転自在に保持され、対物レンズ２１を標本Ｓの上方に配置する。対物レンズ２１は、レボルバ２３に対して倍率（観察倍率）の異なる他の対物レンズとともに交換自在に装着されており、レボルバ２３の回転に応じて観察光の光路上に挿入されて標本Ｓの観察に用いる対物レンズ２１が択一的に切り換えられるようになっている。なお、実施の形態１では、レボルバ２３は、倍率の異なる複数の対物レンズを保持している。レボルバ２３は、対物レンズ２１として、例えば２倍，４倍といった比較的倍率の低い対物レンズ（以下、適宜「低倍対物レンズ」と呼ぶ）と、１０倍，２０倍，４０倍といった低倍対物レンズの倍率に対して高倍率である対物レンズ（以下、適宜「高倍対物レンズ」と呼ぶ）と、を少なくとも１つずつ保持していることとする。ただし、低倍および高倍とした倍率は一例であり、レボルバ２３は、所定倍率よりも低倍の対物レンズと所定倍率よりも高倍の対物レンズとを保持していればよい。
【００２２】
顕微鏡本体２４は、底部において標本Ｓを透過照明するための照明光学系を内設している。この照明光学系は、例えば、光源２５から射出された照明光を集光するコレクタレンズ２５１、照明系フィルタユニット２５２、視野絞り２５３、開口絞り２５４、照明光の光路を対物レンズ２１の光軸に沿って偏向させる折曲げミラー２５５、コンデンサ光学素子ユニット２５６、トップレンズユニット２５７等が、照明光の光路に沿って適所に配置されて構成される。光源２５から射出された照明光は、照明光学系によって標本Ｓに照射され、観察光として対物レンズ２１に入射する。
【００２３】
また、顕微鏡本体２４は、その上部においてフィルタユニット２９を内設している。フィルタユニット２９は、標本像として結像する光の波長帯域を所定範囲に制限するための複数の光学フィルタ２９１を回転自在に保持し、使用対象の光学フィルタ２９１を、適宜対物レンズ２１後段において観察光の光路上に挿入する。対物レンズ２１を経た観察光は、このフィルタユニット２９を経由して鏡筒２６に入射する。
【００２４】
鏡筒２６は、フィルタユニット２９を経た観察光の光路を切り換えて双眼部２７またはＣＣＤカメラ２８へと導くビームスプリッタ２６１を内設している。標本Ｓの標本像は、このビームスプリッタ２６１によって双眼部２７内に導入され、接眼レンズ２７１を介して検鏡者に目視観察される。あるいはＣＣＤカメラ２８によって撮像される。
【００２５】
ＣＣＤカメラ２８は、標本像（詳細には対物レンズ２１の視野範囲）を結像するＣＣＤやＣＭＯＳ等の撮像素子を備えて構成され、標本像を撮像し、標本像の画像データをホストシステム３に出力する。ＣＣＤカメラ２８は、入射する観察光を電気信号に変換することによって、標本Ｓの画像を取得する。
【００２６】
ここで、顕微鏡装置２は、図１に示すように、制御部Ｃ１とＣＣＤカメラコントローラＣ２とを備える。制御部Ｃ１は、ホストシステム３の制御のもと、顕微鏡装置２を構成する各部の動作を統括的に制御する。例えば、制御部Ｃ１は、レボルバ２３を回転させて観察光の光路上に配置する対物レンズ２１を切り換える処理や、切り換えた対物レンズ２１
の倍率等に応じた光源２５の調光制御や各種光学素子の切り換え、あるいはＸＹ駆動制御部Ｃ１１やＺ駆動制御部Ｃ１２に対する電動ステージ２２の移動指示等、標本Ｓの観察に伴う顕微鏡装置２の各部の調整を行うとともに、各部の状態を適宜ホストシステム３に通知する。ＣＣＤカメラコントローラＣ２は、ホストシステム３の制御のもと、自動ゲイン制御のＯＮ／ＯＦＦ切換、ゲインの設定、自動露出制御のＯＮ／ＯＦＦ切換、露光時間の設定等を行ってＣＣＤカメラ２８を駆動し、ＣＣＤカメラ２８の撮像動作を制御する。
【００２７】
一方、ホストシステム３は、入力部３１と、表示部３２と、画像処理部３３と、記憶部３４と、ホストシステム３を構成する各部への動作タイミングの指示やデータの転送等を行い、各部の動作を統括的に制御する制御部Ｃ３とを備える。
【００２８】
入力部３１は、例えば、キーボードやマウス、タッチパネル、各種スイッチ等によって実現されるものであり、操作入力に応じた操作信号を制御部Ｃ３に出力する。表示部３２は、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）や有機ＥＬ（ＥｌｅｃｔｒｏＬｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等の表示装置によって実現されるものであり、制御部Ｃ３から入力される表示信号をもとに各種画面を表示する。なお、表示部３２がタッチパネル機能を有する場合、表示部３２が入力部３１の機能を担ってもよい。
【００２９】
画像処理部３３は、画像処理装置として機能し、制御部Ｃ３を介して顕微鏡装置２で撮像された標本画像を観察モード情報とともに取得し、撮像時の観察モードに応じて標本画像を画像処理する。具体的には、画像処理部３３は、通常観察モードで得られた標本画像については、必要な画像処理を施して制御部Ｃ３を介して記憶部３４に記憶させ、あるいは表示部３２に表示出力させる。
【００３０】
また、画像処理部３３は、Ｚ方向に移動して所定間隔で撮像された画像を構成する各画素におけるＸＹ平面内のずれを検出する検出部３３１と、検出部３３１の検出結果に応じて対象画像のＸＹ平面内のずれを補正する補正部３３２と、補正部３３２によって補正された画像を含むＣＣＤカメラ２８によって撮像された画像をもとに全焦点画像または３次元画像を構築する画像構築部３３３と、を含む。
【００３１】
記憶部３４は、更新記憶可能なフラッシュメモリ等のＲＯＭやＲＡＭといった各種ＩＣメモリ、内蔵或いはデータ通信端子で接続されたハードディスク、ＣＤ−ＲＯＭ等の記憶媒体およびその読書装置等によって実現されるものである。この記憶部３４には、ホストシステム３を動作させ、このホストシステム３が備える種々の機能を実現するためのプログラム、例えば本実施の形態にかかる画像処理プログラムや、このプログラムの実行中に使用されるデータ等が記録される。
【００３２】
なお、ホストシステム３は、ＣＰＵやビデオボード、メインメモリ等の主記憶装置、ハードディスクや各種記憶媒体等の外部記憶装置、通信装置、表示装置や印刷装置等の出力装置、入力装置、各部を接続し、あるいは外部入力を接続するインターフェース装置等を備えた公知のハードウェア構成で実現でき、例えばワークステーションやパソコン等の汎用コンピュータを利用することができる。
【００３３】
次に、本実施の形態にかかる顕微鏡システム１の制御部Ｃ３が行う画像処理について、図２を参照して説明する。まず、制御部Ｃ３は、入力部３１から画像処理に関する条件を取得して設定を行う（ステップＳ１０２）。ステップＳ１０２における条件設定では、標本ＳのＺ方向の範囲や、ピッチ（撮像間隔）を設定する。
【００３４】
続いて、制御部Ｃ３は、Ｚ駆動制御部Ｃ１２およびＣＣＤカメラコントローラＣ２に対して、標本Ｓを撮像するよう指示する（ステップＳ１０４）。制御部Ｃ３は、ステップＳ１０２で設定されたピッチにおける同一ＸＹ平面でＺ方向が異なる画像（Ｚスタック画像）を撮像領域における複数のＸＹ平面ごとに取得する。
【００３５】
このとき、Ｚ駆動制御部Ｃ１２は、標本ＳのＺ方向における一端と一致する位置まで電動ステージ２２を移動した後、電動ステージ２２をステップＳ１０２で設定されたＺ方向の範囲で移動させる。ここで、Ｚ駆動制御部Ｃ１２は、ステップＳ１０２で設定されたピッチごとに移動と停止とを繰り返して電動ステージ２２を移動させてもよいし、ある一定の速度で電動ステージ２２を連続的に移動させてもよい。また、電動ステージ２２が移動するＺ方向の範囲は、対物レンズ２１を含む拡大光学系の焦点深度以下であることが好ましい。これにより、標本Ｓの各撮像領域（同一ＸＹ座標）のＺスタック画像において、合焦された画像を少なくとも１つ得ることができる。
【００３６】
制御部Ｃ３は、画像取得後、取得した画像を記憶部３４に記憶させる（ステップＳ１０６）。制御部Ｃ３は、画像に少なくとも画像の中心座標（ｘ，ｙ，ｚ）を対応付けて記憶部３４に記憶させる。
【００３７】
画像を記憶部３４に記憶後、制御部Ｃ３は、各Ｚスタック画像の各画素においてＸＹ方向にずれが生じているか否かを検出部３３１に検出するよう指示する（ステップＳ１０８）。ここで、検出部３３１が行なうずれ検出は、例えばテンプレートマッチングや、コーナー検出等の特徴点を利用したマッチング処理によって行われる。この際、ずれ検出を行なうためのテンプレート画像は、Ｚスタック画像における最初の画像であってもよいし、ずれ検出対象のＺスタック画像の直前のＺスタック画像（１ピッチ前のＺスタック画像）であってもよい。検出部３３１は、ずれ検出対象のＺスタック画像と、Ｚスタック画像における最初の画像またはずれ検出対象Ｚスタック画像の直前のＺスタック画像とを記憶部３４から取得してずれの有無を検出する。
【００３８】
検出部３３１によってＺスタック画像のずれが検出されると（ステップＳ１１０：Ｙｅｓ）、制御部Ｃ３は、Ｚスタック画像のずれを補正するよう補正部３３２に指示する（ステップＳ１１２）。補正部３３２は、例えばニアレストネイバー（ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒ）法、バイリニア（ｂｉｌｉｎｅａｒ）法、またはバイキュービック法（ｂｉｃｕｂｉｃ）法を用いてずれの補正（補間）を行う。補正されたＺスタック画像は、再度記憶部３４に記憶される。このとき、記憶部３４は、補正されたＺスタック画像をＣＣＤカメラ２８から取得した画像と置き換えてもよいし、これらの画像を別々に記憶するようにしてもよい。
【００３９】
一方、検出部３３１によってＺスタック画像のずれが検出されない場合（ステップＳ１１０：Ｎｏ）、制御部Ｃ３は、ステップＳ１１４に移行して、次の取得画像があるか否かを判断する。
【００４０】
ずれ補正処理終了後、制御部Ｃ３は、ずれの検出を行なう次の取得画像（Ｚスタック画像）があるか否かを判断し、次の取得画像がない場合（ステップＳ１１４：Ｎｏ）、ステップＳ１０４で取得されたＺスタック画像またはステップＳ１１２で補正されたＺスタック画像を用いて、全焦点画像または３次元画像を構築するよう画像構築部３３３に指示する（ステップＳ１１６）。また、ずれの検出を行なう次の取得画像がある場合（ステップＳ１１４：Ｙｅｓ）、制御部Ｃ３は、ステップＳ１０８に移行して、検出部３３１に次の取得画像に対するずれ検出処理を行わせる。
【００４１】
画像構築部３３３は、上述したＤＦＦ法を用いて全焦点画像または３次元画像を構築する。画像構築部３３３は、各Ｚスタック画像を合成して、全体に焦点が合った２次元画像（全焦点画像）を構築する。また、画像構築部３３３は、各Ｚスタック画像の座標情報をもとに基準座標からの焦点位置までの距離をそれぞれ算出して、３次元画像を構築する。
【００４２】
画像構築部３３３による画像構築が終了すると、制御部Ｃ３は、構築された全焦点画像および／または３次元画像を記憶部３４に記憶させるとともに、全焦点画像および／または３次元画像を表示するよう表示部３２に指示する（ステップＳ１１８）。このとき、表示部３２は、全焦点画像および３次元画像において、入力部３１からの指示により、指示のあった画像の表示を行う。
【００４３】
上述した本実施の形態によれば、順次取得されるＺスタック画像において、各Ｚスタック画像間のずれの補正を行い、補正されたＺスタック画像を用いて全焦点画像および３次元画像の構築を行うようにしたので、Ｚスタック画像においてＺ方向に垂直な平面間の撮像領域のずれを補正して、高精度の全焦点画像および３次元画像を構築することができる。
【００４４】
なお、電動ステージ２２が移動するＺ方向の範囲が対物レンズ２１を含む拡大光学系の焦点深度以下であるものとして説明したが、焦点深度に近い距離であればよい。これにより、電動ステージ２２が移動するＺ方向の範囲が狭まり、取得するＺスタック画像を少なくすることができる。
【００４５】
また、制御部Ｃ１（Ｚ駆動制御部Ｃ１２）は、各Ｚスタック画像を取得する際、電動ステージ２２をＺ方向に移動させるものとして説明したが、電動ステージ２２は移動させず、レボルバ２３と共に対物レンズ２１をＺ方向に移動させるものであってもよい。
【００４６】
図３は、本発明の実施の形態にかかる顕微鏡システムの画像処理の変形例１を示すフローチャートである。まず、制御部Ｃ３は、上述したステップＳ１０２〜Ｓ１０６に対応する画像取得処理および記憶処理（ステップＳ２０２〜Ｓ２０６）を行い、Ｚスタック画像を取得する。
【００４７】
Ｚスタック画像取得後、制御部Ｃ３は、取得されたＺスタック画像の撮像倍率を判断する（ステップＳ２０８）。具体的には、制御部Ｃ３は、取得されたＺスタック画像が、所定の倍率よりも低倍の対物レンズを介して撮像されたものであるのか、所定の倍率よりも高倍の対物レンズを介して撮像されたものであるのかを判断する。ここで、低倍対物レンズを介して撮像されたものである場合（ステップＳ２０８：低倍）、制御部Ｃ３は、ステップＳ２１６に移行して、Ｚスタック画像の補正を行わずに、次の取得画像があるか否かを判断する。
【００４８】
また、高倍対物レンズを介して撮像されたものである場合（ステップＳ２０８：高倍）、制御部Ｃ３は、上述したステップＳ１０８〜Ｓ１１２に対応するずれ補正処理（ステップＳ２１０〜Ｓ２１４）を行う。
【００４９】
ずれ補正処理終了後、制御部Ｃ３は、ずれの検出を行なう次の取得画像（Ｚスタック画像）があるか否かを判断し、次の取得画像がない場合（ステップＳ２１６：Ｎｏ）、ステップＳ２０４で取得されたＺスタック画像またはステップＳ２１４で補正されたＺスタック画像を用いて、全焦点画像または３次元画像を構築するよう画像構築部３３３に指示する（ステップＳ２１８）。また、ずれの検出を行なう次の取得画像がある場合（ステップＳ２１６：Ｙｅｓ）、制御部Ｃ３は、ステップＳ２０８に移行して、次の取得画像に対する処理を行う。
【００５０】
画像構築部３３３は、上述したＤＦＦ法を用いて全焦点画像または３次元画像を構築する。画像構築部３３３は、各Ｚスタック画像を合成して、全体に焦点が合った２次元画像（全焦点画像）を構築する。また、画像構築部３３３は、各Ｚスタック画像の座標情報をもとに基準座標からの焦点位置までの距離をそれぞれ算出して、３次元画像を構築する。
【００５１】
画像構築部３３３による画像構築が終了すると、制御部Ｃ３は、構築された全焦点画像および／または３次元画像を記憶部３４に記憶させるとともに、全焦点画像および／または３次元画像を表示するよう表示部３２に指示する（ステップＳ２２０）。このとき、表示部３２は、全焦点画像および３次元画像において、入力部３１からの指示により、指示のあった画像の表示を行う。
【００５２】
上述した変形例１によれば、上述した本実施の形態と同様、順次取得されるＺスタック画像において、各Ｚスタック画像間のずれの補正を行い、補正されたＺスタック画像を用いて全焦点画像および３次元画像の構築を行うようにしたので、Ｚスタック画像においてＺ方向に垂直な平面間の撮像領域のずれを補正して、高精度の全焦点画像および３次元画像を構築することができる。
【００５３】
また、変形例１では、全焦点画像および３次元画像の構築に影響するほどのずれが生じにくい低倍対物レンズを介して取得されたＺスタック画像について、ずれ検出処理およびずれ補正処理を行わずに全焦点画像および３次元画像の構築を行うため、画像処理にかかる負荷を軽減することが可能となる。
【００５４】
図４は、本発明の実施の形態にかかる顕微鏡システムの画像処理の変形例２を示すフローチャートである。まず、制御部Ｃ３は、上述したステップＳ１０２〜Ｓ１０６に対応する画像取得処理および記憶処理（ステップＳ３０２〜Ｓ３０６）を行い、Ｚスタック画像を取得する。
【００５５】
Ｚスタック画像取得後、制御部Ｃ３は、取得されたＺスタック画像が、低倍対物レンズを介して撮像されたものであるのか、高倍対物レンズを介して撮像されたものであるのかを判断する（ステップＳ３０８）。ここで、低倍対物レンズを介して撮像されたものである場合（ステップＳ３０８：低倍）、制御部Ｃ３は、ステップＳ３２０に移行して、Ｚスタック画像の補正を行わずに、次の取得画像があるか否かを判断する。
【００５６】
また、高倍対物レンズを介して撮像されたものである場合（ステップＳ３０８：高倍）、制御部Ｃ３は、各Ｚスタック画像の各画素においてＸＹ方向にずれが生じているか否かを検出部３３１に検出するよう指示する（ステップＳ３１０）。ここで、検出部３３１によってＺスタック画像のずれが検出されない場合（ステップＳ３１２：Ｎｏ）、制御部Ｃ３は、ステップＳ３２０に移行して、次の取得画像があるか否かを判断する。
【００５７】
一方、検出部３３１によってＺスタック画像のずれが検出されると（ステップＳ３１２：Ｙｅｓ）、制御部Ｃ３は、検出部３３１にずれ量を算出させ、そのずれ量と閾値との大小関係を判断させる（ステップＳ３１４）。
【００５８】
ここで、ずれ量が閾値以上の場合（ステップＳ３１４：Ｎｏ）、制御部Ｃ３は、ステップＳ３１６に移行して、対象画像（ずれ量が閾値以上のＺスタック画像）を削除する。その後、制御部Ｃ３は、ステップＳ３２０に移行して次の取得画像があるか否かを判断する。
【００５９】
一方、ずれ量が閾値より小さい場合（ステップＳ３１４：Ｙｅｓ）、制御部Ｃ３は、ステップＳ３１８に移行して、Ｚスタック画像のずれを補正するよう補正部３３２に指示する。
【００６０】
ずれ補正処理終了後、制御部Ｃ３は、ずれの検出を行なう次の取得画像（Ｚスタック画像）があるか否かを判断し、次の取得画像がない場合（ステップＳ３２０：Ｎｏ）、ステップＳ３０４で取得されたＺスタック画像またはステップＳ３１８で補正されたＺスタック画像を用いて、全焦点画像または３次元画像を構築するよう画像構築部３３３に指示する（ステップＳ３２２）。また、ずれの検出を行なう次の取得画像がある場合（ステップＳ３２０：Ｙｅｓ）、制御部Ｃ３は、ステップＳ３０８に移行して、次の取得画像に対する処理を行う。
【００６１】
画像構築部３３３による画像構築が終了すると、制御部Ｃ３は、構築された全焦点画像および／または３次元画像を記憶部３４に記憶させるとともに、全焦点画像および／または３次元画像を表示するよう表示部３２に指示する（ステップＳ３２４）。このとき、表示部３２は、全焦点画像および３次元画像において、入力部３１からの指示により、指示のあった画像の表示を行う。
【００６２】
上述した変形例２によれば、上述した本実施の形態と同様、順次取得されるＺスタック画像において、各Ｚスタック画像間のずれの補正を行い、補正されたＺスタック画像を用いて全焦点画像および３次元画像の構築を行うようにしたので、Ｚスタック画像においてＺ方向に垂直な平面間の撮像領域のずれを補正して、高精度の全焦点画像および３次元画像を構築することができる。
【００６３】
また、変形例２では、全焦点画像および３次元画像の構築に影響するほどのずれが生じにくい低倍対物レンズを介して取得されたＺスタック画像について、ずれ検出処理およびずれ補正処理を行わずに全焦点画像および３次元画像の構築を行うとともに、ずれ量の大きさに応じて対象のＺスタック画像を間引くようにしたため、画像処理にかかる負荷を一段と軽減することができる。
【００６４】
図５は、本発明の実施の形態にかかる顕微鏡システムの画像処理の変形例３を示すフローチャートである。まず、制御部Ｃ３は、上述したステップＳ１０２〜Ｓ１０６に対応する画像取得処理および記憶処理（ステップＳ４０２〜Ｓ４０６）を行い、Ｚスタック画像を取得する。
【００６５】
Ｚスタック画像取得後、制御部Ｃ３は、取得されたＺスタック画像が、低倍対物レンズを介して撮像されたものであるのか、高倍対物レンズを介して撮像されたものであるのかを判断する（ステップＳ４０８）。ここで、低倍対物レンズを介して撮像されたものである場合（ステップＳ４０８：低倍）、制御部Ｃ３は、ステップＳ４２０に移行して、Ｚスタック画像の補正を行わずに、次の取得画像があるか否かを判断する。
【００６６】
また、高倍対物レンズを介して撮像されたものである場合（ステップＳ４０８：高倍）、制御部Ｃ３は、各Ｚスタック画像の各画素においてＸＹ方向にずれが生じているか否かを検出部３３１に検出するよう指示する（ステップＳ４１０）。ここで、検出部３３１によってＺスタック画像のずれが検出されない場合（ステップＳ４１２：Ｎｏ）、制御部Ｃ３は、ステップＳ４２０に移行して、次の取得画像があるか否かを判断する。
【００６７】
一方、検出部３３１によってＺスタック画像のずれが検出されると（ステップＳ４１２：Ｙｅｓ）、制御部Ｃ３は、検出部３３１にずれ量を算出させ、そのずれ量と閾値との大小関係を判断させる（ステップＳ４１４）。
【００６８】
ここで、ずれ量が閾値以上の場合（ステップＳ４１４：Ｎｏ）、制御部Ｃ３は、ステップＳ４１６に移行して、ずれ量が閾値以上のＺスタック画像に対応する画像（対象画像に対応する座標における画像）の再取得を行う。再取得後、制御部Ｃ３は、ステップＳ４０６に移行して上述した処理を再度行う。
【００６９】
一方、ずれ量が閾値より小さい場合（ステップＳ４１４：Ｙｅｓ）、制御部Ｃ３は、ステップＳ４１８に移行して、Ｚスタック画像のずれを補正するよう補正部３３２に指示する。
【００７０】
ずれ補正処理終了後、制御部Ｃ３は、ずれの検出を行なう次の取得画像（Ｚスタック画像）があるか否かを判断し、次の取得画像がない場合（ステップＳ４２０：Ｎｏ）、ステップＳ４０４で取得されたＺスタック画像またはステップＳ４１８で補正されたＺスタック画像を用いて、全焦点画像または３次元画像を構築するよう画像構築部３３３に指示する（ステップＳ４２２）。また、ずれの検出を行なう次の取得画像がある場合（ステップＳ４２０：Ｙｅｓ）、制御部Ｃ３は、ステップＳ４０８に移行して、次の取得画像に対する処理を行う。
【００７１】
画像構築部３３３による画像構築が終了すると、制御部Ｃ３は、構築された全焦点画像および／または３次元画像を記憶部３４に記憶させるとともに、全焦点画像および／または３次元画像を表示するよう表示部３２に指示する（ステップＳ４２４）。このとき、表示部３２は、全焦点画像および３次元画像において、入力部３１からの指示により、指示のあった画像の表示を行う。
【００７２】
上述した変形例３よれば、全焦点画像および３次元画像の構築に影響するほどのずれが生じにくい低倍対物レンズを介して取得されたＺスタック画像について、ずれ検出処理およびずれ補正処理を行わずに全焦点画像および３次元画像の構築を行うとともに、ずれ量の大きさに応じて対象のＺスタック画像の再取得を行うようにしたため、画像処理にかかる負荷を軽減し、かつ精度の高い全焦点画像および３次元画像の構築を行うことができる。
【００７３】
なお、上述した変形例３のステップＳ４１６における対象画像の再取得と、変形例２のステップＳ３１６で行なう対象画像の削除と、を選択して処理できるようにしてもよい。これにより、状況に応じて、画像を再取得するか間引くかを選択し、処理の選択的に効率よく行うことが可能となる。
【００７４】
以上のように、本発明にかかる画像処理装置および画像表示システムは、標本の高さ方向が異なる画像において、高さ方向に垂直な平面間の撮像領域のずれを補正して、高精度の全焦点画像および３次元画像を構築することに有用である。
【符号の説明】
【００７５】
１ 顕微鏡システム
２ 顕微鏡装置
３ ホストシステム
２１ 対物レンズ
２２ 電動ステージ
２３ レボルバ
２４ 顕微鏡本体
２５ 光源
２６ 鏡筒
２７ 双眼部
２８ ＣＣＤカメラ
３１ 入力部
３２ 表示部
３３ 画像処理部
３４ 記憶部
２９ フィルタユニット
２２１，２２２ モータ
２５１ コレクタレンズ
２５２ 照明系フィルタユニット
２５３ 視野絞り
２５４ 開口絞り
２５５ 折曲げミラー
２５６ コンデンサ光学素子ユニット
２５７ トップレンズユニット
２６１ ビームスプリッタ
２７１ 接眼レンズ
２９１ 光学フィルタ
Ｃ１，Ｃ３ 制御部
Ｃ２ ＣＣＤカメラコントローラ
Ｃ１１ ＸＹ駆動制御部
Ｃ１２ Ｚ駆動制御部
【特許請求の範囲】
【請求項１】
固定された軸に沿って移動しながら撮像された一群の画像をもとに全焦点画像および／または３次元画像の構築処理を行う画像処理装置であって、
前記一群の画像において、各画像における前記軸に垂直な平面内のずれの検出を行なう検出部と、
前記検出部の検出結果に応じて前記ずれの補正を行う補正部と、
前記固定された軸に沿って移動して撮像された画像および／または前記補正部で補正された画像を含む前記一群の画像をもとに、全焦点画像および／または３次元画像を構築する画像構築部と、
を備えたことを特徴とする画像処理装置。
【請求項２】
前記一群の画像は、倍率が異なる複数の対物レンズを有する顕微鏡を介して撮像された画像であって、
前記一群の画像の撮像倍率を判断する判断部を備え、
前記判断部が所定倍率より低倍の対物レンズを介して撮像された画像であると判断した場合、前記画像構築部が、前記一群の画像を用いて全焦点画像および／または３次元画像を構築することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記検出部は、ずれが生じている画像を検出した際、前記ずれのずれ量を算出し、該ずれ量と閾値との大小関係を判断し、前記ずれ量が前記閾値より大きい場合、当該画像を削除することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記検出部は、ずれが生じている画像を検出した際、前記ずれのずれ量を算出し、該ずれ量と閾値との大小関係を判断し、前記ずれ量が前記閾値より大きい場合、対応する画像を再取得することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
請求項１〜４のいずれか一つに記載の画像処理装置と、
前記画像処理装置によって構築された前記全焦点画像および／または３次元画像を表示する表示部と、
を備えたことを特徴とする画像表示システム。
【請求項１】
固定された軸に沿って移動しながら撮像された一群の画像をもとに全焦点画像および／または３次元画像の構築処理を行う画像処理装置であって、
前記一群の画像において、各画像における前記軸に垂直な平面内のずれの検出を行なう検出部と、
前記検出部の検出結果に応じて前記ずれの補正を行う補正部と、
前記固定された軸に沿って移動して撮像された画像および／または前記補正部で補正された画像を含む前記一群の画像をもとに、全焦点画像および／または３次元画像を構築する画像構築部と、
を備えたことを特徴とする画像処理装置。
【請求項２】
前記一群の画像は、倍率が異なる複数の対物レンズを有する顕微鏡を介して撮像された画像であって、
前記一群の画像の撮像倍率を判断する判断部を備え、
前記判断部が所定倍率より低倍の対物レンズを介して撮像された画像であると判断した場合、前記画像構築部が、前記一群の画像を用いて全焦点画像および／または３次元画像を構築することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記検出部は、ずれが生じている画像を検出した際、前記ずれのずれ量を算出し、該ずれ量と閾値との大小関係を判断し、前記ずれ量が前記閾値より大きい場合、当該画像を削除することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記検出部は、ずれが生じている画像を検出した際、前記ずれのずれ量を算出し、該ずれ量と閾値との大小関係を判断し、前記ずれ量が前記閾値より大きい場合、対応する画像を再取得することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
請求項１〜４のいずれか一つに記載の画像処理装置と、
前記画像処理装置によって構築された前記全焦点画像および／または３次元画像を表示する表示部と、
を備えたことを特徴とする画像表示システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１３−２０１４０（Ｐ２０１３−２０１４０Ａ）
【公開日】平成２５年１月３１日（２０１３．１．３１）
【国際特許分類】
【出願番号】特願２０１１−１５４０９０（Ｐ２０１１−１５４０９０）
【出願日】平成２３年７月１２日（２０１１．７．１２）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２５年１月３１日（２０１３．１．３１）
【国際特許分類】
【出願日】平成２３年７月１２日（２０１１．７．１２）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]