説明

画像処理装置、顕微鏡システム、画像処理方法、画像処理プログラム

【課題】スライドガラスの傾斜に起因するシェーディング及び光路中の異物の影を適切に補正する。
【解決手段】標本が存在する領域の撮像視野で撮像された標本画像と、標本が存在しない領域の撮像視野で撮像されたブランク画像とを複数記憶する記憶部130と、該記憶部に記憶されたブランク画像のうち、少なくとも、スライドガラスが存在する領域の撮像視野で撮像されたガラス画像を含む複数のブランク画像に対し、複数のブランク画像の各々を構成する画素の画素値を、該画素値の傾斜に対応するバイアス成分と、ノイズに対応するノイズ成分とに分離する画像分離部151と、ガラス画像が有するバイアス成分と、複数のブランク画像の各々が有するノイズ成分から算出された成分とを画素値の成分として有する補正ブランク画像を作成する補正ブランク画像作成部152と、補正ブランク画像を用いて標本画像を校正する画像校正部153とを備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、顕微鏡により観察した標本を撮像した標本画像に対して画像処理を施す画像処理装置、顕微鏡システム、画像処理方法、及び画像処理プログラムに関する。
【背景技術】
【0002】
カメラ等の光学機器においては、通常、レンズ等の結像光学系の特性により、光軸と直交する面内の中心に比べて周辺領域の光量が低下する現象が生じる。この現象は、一般に、シェーディングと呼ばれる。このため、従来、撮像後の画像に対して経験的に得られた補正値や実測値等に基づく画像処理を施すことにより、画像の劣化を抑制していた。このような画像処理は、シェーディング補正と呼ばれる。
【0003】
顕微鏡においても同様に、シェーディングは生じる。特に、顕微鏡の場合、対物レンズによって周辺領域における光量低下の特性が異なるため、対物レンズ毎に画像処理を最適化することが好ましい。そのため、例えば特許文献1においては、対物レンズ毎にシェーディング補正用データを用意し、使用する対物レンズに応じてシェーディング補正用データを切り換えて画像処理を施している。
【0004】
しかしながら、このような手法によれば、対物レンズ毎にシェーディング補正パターンを予め用意しなくてはならないため、若干処理が煩雑である。また、光源の心ずれ等の環境変化により、現在のシェーディングの状態と予め用意したシェーディング補正パターンとが対応しなくなる場合もある。そこで、特許文献2においては、試料が撮影領域に存在しない状態で撮像領域の像を撮像して取得した画像信号に基づいてシェーディング補正パターンを作成し、試料が撮像領域に存在する状態で撮像領域の像を撮像して取得した画像信号を上記シェーディング補正パターンで補正することとしている。それにより、対物レンズ毎にシェーディング補正パターンを予め用意する必要がなくなると共に、環境の変化に応じたシェーディング補正を画像に施すことができる。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2001−292369号公報
【特許文献2】特開2004−272077号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
ところで、顕微鏡においては、ステージにスライドガラスを載置した際に、光軸とスライスガラスとが直交せず、わずかでも傾斜していた場合、傾斜方向にシェーディングが生じることがある。このような場合、撮像領域をスライドガラス上で試料の存在しない領域に設定して撮像を行い、それによって取得した画像信号に基づくシェーディング補正パターンを用いることにより、傾斜方向のシェーディングを補正することができる。
【0007】
また、顕微鏡においては、光路中にごみ等の異物が存在する場合に、異物の影が画像に写り込んでしまうことがある。このような場合、特許文献2に開示されている方式で作成したシェーディング補正パターンを用いることにより、異物の影を補正で消去することができる。
【0008】
しかしながら、異物がスライドガラス上に存在している場合、撮像領域をスライドガラス上で試料の存在しない領域に設定してシェーディング補正パターンを作成すると、このときの撮像領域中に存在する異物がシェーディング補正パターンに反映され、試料を撮像した画像に対するシェーディング補正に影響を与えてしまう。これを避けるために、撮像領域をスライドガラス自体が存在しない領域に設定してシェーディング補正パターンを作成すると、スライドガラスの傾斜に起因するシェーディングを補正することができなくなってしまう。
【0009】
本発明は、上記に鑑みてなされたものであって、スライドガラスの傾斜に起因するシェーディング及び光路中の異物の影を適切に補正することができる画像処理装置、顕微鏡システム、画像処理方法、及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【0010】
上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、標本が存在する領域の撮像視野で撮像された標本画像と、前記標本が存在しない領域の撮像視野で撮像されたブランク画像と、を複数記憶する記憶部と、前記記憶部に記憶されたブランク画像のうち、少なくとも、スライドガラスが存在する領域の撮像視野で撮像されたガラス画像を含む複数のブランク画像に対し、前記複数のブランク画像の各々を構成する画素の画素値を、該画素値の傾斜に対応するバイアス成分と、ノイズに対応するノイズ成分とに分離する画像分離部と、前記ガラス画像が有するバイアス成分と、前記複数のブランク画像の各々が有するノイズ成分から算出された成分とを画素値の成分として有する補正ブランク画像を作成する補正ブランク画像作成部と、前記補正ブランク画像を用いて前記標本画像を校正する画像校正部とを備えることを特徴とする。
【0011】
上記画像処理装置において、前記複数のブランク画像は、前記ガラス画像に加えて、前記スライドガラスが存在しない領域の撮像視野で撮像された白色画像を含み、前記補正ブランク画像作成部は、前記ガラス画像が有する前記バイアス成分と、前記ガラス画像及び前記白色画像が有する前記ノイズ成分から算出された成分とから、前記補正ブランク画像を作成することを特徴とする。
【0012】
上記画像処理装置において、前記複数のブランク画像は複数のガラス画像を含み、前記補正ブランク画像作成部は、前記複数のガラス画像がそれぞれ有する前記ノイズ成分から互いに共通するノイズ成分を抽出するノイズ成分抽出部を有し、前記共通するノイズ成分と、前記複数のガラス画像がそれぞれ有する前記バイアス成分の内の少なくとも1つとから、前記補正ブランク画像を作成することを特徴とする。
【0013】
上記画像処理装置において、前記ノイズ成分抽出部は、前記複数のガラス画像の内の2つのガラス画像間で、対応する所定の画素におけるノイズ成分の値の差が所定の閾値以下である場合、前記所定の画素におけるいずれかのノイズ成分の値を、前記共通のノイズ成分の値とすることを特徴とする。
【0014】
上記画像処理装置において、前記補正ブランク画像作成部は、前記複数のガラス画像で対応する画素におけるノイズ成分の平均値を、前記共通のノイズ成分の値とすることを特徴とする。
【0015】
上記画像処理装置において、前記画像分離部は、メディアンフィルタ処理を用いて、前記複数のブランク画像の各々を構成する画素の画素値を前記バイアス成分と前記ノイズ成分とに分離することを特徴とする。
【0016】
上記画像処理装置において、前記画像分離部は、ローリングボール処理を用いて、前記複数のブランク画像の各々を構成する画素の画素値を前記バイアス成分と前記ノイズ成分とに分離することを特徴とする。
【0017】
上記画像処理装置において、前記補正ブランク画像作成部は、前記ガラス画像が有する前記バイアス成分を近似した近似値と、前記複数のブランク画像の各々が有するノイズ成分とから、前記補正ブランク画像を構成する画素の画素値を算出することを特徴とする。
【0018】
上記画像処理装置において、前記顕微鏡の倍率に基づく補間処理を行うことにより補正ブランク画像の大きさを変更する補正ブランク画像サイズ変更部をさらに有し、前記画像校正部は、前記補正ブランク画像サイズ変更部により大きさを変更された前記補正ブランク画像を用いて前記標本画像を校正することを特徴とする。
【0019】
上記画像処理装置において、前記画像分離部、前記補正ブランク画像作成部、及び、画像校正部の内の少なくとも1つは、前記標本画像のバンド毎に処理を実行することを特徴とする。
【0020】
本発明に係る顕微鏡システムは、上記画像処理装置と、前記スライドガラスを載置可能なステージと、前記ステージに対向して設けられる光学系と、前記光学系を介して前記撮像視野を撮像して画像を取得する画像取得部と、前記ステージと前記光学系との内の少なくとも一方を、前記光学系の光軸と直交する方向に移動させることにより、前記撮像視野を変化させる視野変更部とを有する顕微鏡とを備えることを特徴とする。
【0021】
上記顕微鏡システムは、前記顕微鏡に対し、前記撮像視野を前記標本が存在しない領域に合わせて撮像を実行させブランク画像を取得させると共に、前記撮像視野を標本が存在する領域に合わせて撮像を実行させ標本画像を取得させる制御を行う制御部をさらに有することを特徴とする。
【0022】
上記顕微鏡システムにおいて、前記制御部は、前記標本画像及び前記ブランク画像を同一の焦点深度で前記顕微鏡に撮像させることを特徴とする。
【0023】
上記顕微鏡システムにおいて、前記制御部は、前記顕微鏡装置に、前記標本が載置された前記ステージと前記光学系とを前記光学系の光軸と直交する方向に相対的に移動させながら前記標本を撮像させることにより、複数の標本画像を撮像させ、前記画像校正部は、前記複数の標本画像の各々を校正し、前記画像処理装置は、校正された前記複数の標本画像を相互に繋ぎ合わせたバーチャルスライド画像を生成するバーチャルスライド生成部をさらに有することを特徴とする。
【0024】
上記顕微鏡システムにおいて、前記顕微鏡装置は、撮像する画像の倍率を変更する倍率変更部をさらに有することを特徴とする。
【0025】
本発明に係る画像処理方法は、標本が存在する領域の撮像視野で撮像された標本画像と、前記標本が存在しない領域の撮像視野で撮像されたブランク画像と、を複数記憶する記憶ステップと、前記記憶ステップにおいて記憶されたブランク画像のうち、少なくとも、スライドガラスが存在する領域の撮像視野で撮像されたガラス画像を含む複数のブランク画像に対し、前記複数のブランク画像の各々を構成する画素の画素値を、該画素値の傾斜に対応するバイアス成分と、ノイズに対応するノイズ成分とに分離する画像分離ステップと、前記ガラス画像が有するバイアス成分と、前記複数のブランク画像の各々が有するノイズ成分から算出された成分とを画素値の成分として有する補正ブランク画像を作成する補正ブランク画像作成ステップと、前記補正ブランク画像を用いて前記標本画像を校正する画像校正ステップとを含むことを特徴とする。
【0026】
本発明に係る画像処理プログラムは、標本が存在する領域の撮像視野で撮像された標本画像と、前記標本が存在しない領域の撮像視野で撮像されたブランク画像と、を複数記憶する記憶ステップと、前記記憶ステップにおいて記憶されたブランク画像のうち、少なくとも、スライドガラスが存在する領域の撮像視野で撮像されたガラス画像を含む複数のブランク画像に対し、前記複数のブランク画像の各々を構成する画素の画素値を、該画素値の傾斜に対応するバイアス成分と、ノイズに対応するノイズ成分とに分離する画像分離ステップと、前記ガラス画像が有するバイアス成分と、前記複数のブランク画像の各々が有するノイズ成分から算出された成分とを画素値の成分として有する補正ブランク画像を作成する補正ブランク画像作成ステップと、前記補正ブランク画像を用いて前記標本画像を校正する画像校正ステップとをコンピュータに実行させることを特徴とする。
【発明の効果】
【0027】
本発明によれば、少なくともガラス画像を含む複数のブランク画像の各々を構成する画素の画素値をバイアス成分とノイズ成分とに分離し、ガラス画像が有するバイアス成分と、複数のブランク画像の各々が有するノイズ成分とを画素の成分とする補正ブランク画像を作成し、該補正ブランク画像を用いて標本画像を校正するので、スライドガラスの傾斜に起因するシェーディング及び光路中の異物の影を適切に補正することが可能となる。
【図面の簡単な説明】
【0028】
【図1】図1は、本発明の実施の形態1に係る顕微鏡システムの構成例を示す模式図である。
【図2】図2は、図1に示す顕微鏡装置の構成を概略的に示す模式図である。
【図3A】図3Aは、図2に示すステージを対物レンズ側から見た模式図である。
【図3B】図3Bは、図2に示すステージを対物レンズ側から見た模式図である。
【図3C】図3Cは、図2に示すステージを対物レンズ側から見た模式図である。
【図4】図4は、図1に示す顕微鏡システムの動作を示すブロック図である。
【図5】図5は、実施の形態1における複数のブランク画像の取得処理を示すフローチャートである。
【図6】図6は、複数のブランク画像から補正ブランク画像を作成する過程の例を示す模式図である。
【図7】図7は、実施の形態1における補正ブランク画像の作成処理を示すフローチャートである。
【図8】図8は、メディアンフィルタ処理を説明するための模式図である。
【図9A】図9Aは、白色画像内の1次元領域における画素値を示すグラフである。
【図9B】図9Bは、白色画像内の1次元領域におけるバイアス成分を示すグラフである。
【図9C】図9Cは、白色画像内の1次元領域におけるノイズ成分を示すグラフである。
【図10A】図10Aは、ガラス画像内の1次元領域における画素値を示すグラフである。
【図10B】図10Bは、ガラス画像内の1次元領域におけるバイアス成分を示すグラフである。
【図10C】図10Cは、ガラス画像内の1次元領域におけるノイズ成分を示すグラフである。
【図11】図11は、補正ブランク画像内の1次元領域における画素値を示すグラフである。
【図12】図12は、標本画像を補正ブランク画像によって校正する過程の例を示す模式図である。
【図13】図13は、本発明の実施の形態2に係る顕微鏡システムの構成例を示す模式図である。
【図14】図14は、実施の形態2における複数の補正ブランク画像の取得処理を示すフローチャートである。
【図15】図15は、複数のガラス画像から補正ブランク画像を作成する過程の例を示す模式図である。
【図16】図16は、実施の形態2における補正ブランク画像の作成処理を示すフローチャートである。
【図17】図17は、本発明の実施の形態3に係る顕微鏡システムの構成例を示す模式図である。
【図18】図18は、実施の形態3における補正ブランク画像の作成処理を示すフローチャートである。
【図19】図19は、バイリニア補間演算の原理を説明するための模式図である。
【図20】図20は、本発明の実施の形態4に係る顕微鏡システムの構成例を示す模式図である。
【図21】図21は、図20に示す顕微鏡システムの動作を示すフローチャートである。
【図22】図22は、拡大された標本画像を補正ブランク画像によって校正する過程の例を示す模式図である。
【図23】図23は、本発明の実施の形態5に係る顕微鏡システムの構成例を示す模式図である。
【図24】図24は、バーチャルスライド画像の作成方法を説明するための模式図である。
【発明を実施するための形態】
【0029】
以下、本発明に係る実施の形態について、図面を参照しながら詳細に説明する。なお、これらの実施の形態により本発明が限定されるものではない。
(実施の形態1)
図1は、本発明の実施の形態1に係る顕微鏡システムの構成を示す模式図である。図1に示すように、実施の形態1に係る顕微鏡システム1は、顕微鏡装置10と、該顕微鏡装置10の動作を制御すると共に、該顕微鏡装置10によって取得された画像を処理する画像処理装置11とを備える。
【0030】
図2は、顕微鏡装置10の構成を概略的に示す模式図である。図2に示すように、顕微鏡装置10は、略C字形のアーム100と、該アーム100に取り付けられたステージ101と、ステージ101上において標本が配置されたスライドガラスを移動可能に保持する保持部101aと、鏡筒103の一端側に三眼鏡筒ユニット106を介してステージ101と対向するように設けられた対物レンズ102と、鏡筒103の他端側に設けられた画像取得部104と、画像取得部104の撮像視野を変更する視野変更部105とを有する。三眼鏡筒ユニット106は、対物レンズ102から入射した標本の観察光を、画像取得部104と後述する接眼レンズユニット107に分岐する。接眼レンズユニット107は、ユーザが標本を直接観察するためのものである。なお、以下において、対物レンズ102の光軸方向をZ軸方向とし、このZ軸方向と直交する面をXY平面とする。図2において、顕微鏡装置10は、ステージ101の主面が概ねXY平面と一致するように設置されている。
【0031】
対物レンズ102は、倍率が互いに異なる複数の対物レンズ(例えば、対物レンズ102’)を保持可能なレボルバ108に取り付けられている。このレボルバ108を回転させて、ステージ101と対向する対物レンズ102、102’を変更することにより、画像取得部104が撮像する画像の倍率を変化させることができる。
【0032】
鏡筒103の内部には、複数のズームレンズと、これらのズームレンズの位置を変化させる駆動部(いずれも図示せず)とを含むズーム部が設けられている。ズーム部は、ズームレンズの位置を調整することにより、撮像視野内の撮像対象を拡大又は縮小させる。
【0033】
画像取得部104は、例えばCCD等の撮像素子を含み、例えば、各画素においてR(赤)、G(緑)、B(青)の各バンドにおける画素レベル(画素値)を持つカラー画像を撮像可能なカメラである。画像取得部104は、対物レンズ102にから出射し、鏡筒103内の光学系を介して入射した光(観察光)を受光し、観察光に対応する画像データを生成して画像処理装置11に出力する。
なお、画像取得部104は、特にRGBの三原色で撮像可能な3バンドカメラには限らず、4色以上のバンドによって撮像可能なカメラであってもよい。
【0034】
なお、画像取得部104に、液晶チューナブルフィルタ、音響チューナブルフィルタ、又は、複数の狭帯域フィルタ等を設け、マルチスペクトル画像の取得が可能なマルチスペクトルカメラを構成しても良い。
【0035】
視野変更部105は、例えば、モータ105aを含み、保持部101aに保持されたスライドガラスをXY平面内で移動させることにより、撮像視野を変化させる。
図3A〜図3Cは、ステージ101を対物レンズ102側から見た模式図であり、対物レンズ102と対向するステージ101の中央部付近が撮像視野VFとなっている。図3A〜図3Cに示すように、視野変更部105は、保持部101aに取り付けられ、モータ105a(図2参照)と連動して保持部101aをXY平面内で移動させる走査部105bを有する。
【0036】
視野変更部105は、走査部105bにより保持部101aを走査することにより、スライドガラスSGに対する撮像視野VFの相対的な位置を変更する。例えば、図3Aは、撮像視野VFがスライドガラスSGから外れた位置にある状態を示している。また、図3Bは、撮像視野VFが標本SPを除くスライドガラスSG上の領域と重なった状態を示している。さらに、図3Cは、撮像視野VFが標本SPと重なった状態を示している。
【0037】
なお、保持部101a側を観察光学系に対して移動させる代わりに、保持部101aを固定し、観察光学系側をXY平面内で移動させて撮像視野を変化させることとしても良い。或いは、スライドガラスSG及び観察光学系の両方を相対的に移動させても良い。
【0038】
図1に示すように、画像処理装置11は、当該画像処理装置11に対する指示や情報の入力を受け付ける入力部110と、画像取得部104により取得された標本の画像(以下、標本画像という)やその他の情報を表示する表示部120と、記憶部130と、顕微鏡装置10及び画像処理装置11の各部の動作を制御する制御部140と、顕微鏡装置10により取得された画像に対して所定の画像処理を施す演算部150とを有する。
【0039】
入力部110は、キーボード、各種ボタン、各種スイッチ等の入力デバイスや、マウスやタッチパネル等のポインティングデバイスを含み、これらのデバイスを介して入力された信号を受け付け、制御部140に入力する。
【0040】
表示部120は、例えば、LCD(Liquid Crystal Display)やEL(Electro Luminescence)ディスプレイ、CRT(Cathode Ray Tube)ディスプレイ等の表示装置によって実現され、制御部140から出力された制御信号に従って、各種画面を表示する。
【0041】
記憶部130は、更新記録可能なフラッシュメモリ、RAM、ROM等の半導体メモリや、内蔵若しくはデータ通信端子で接続されたハードディスク、MO、CD−R、DVD−R等の記録媒体及び該記録媒体に記録された情報を読み取る読取装置等によって実現される。記憶部130は、画像取得部10から出力された画像データや、制御部140が実行する各種プログラムや各種設定情報を記憶する。具体的には、記憶部130は、顕微鏡装置10により取得された標本画像を校正する画像処理プログラム131を記憶する。
【0042】
制御部140及び演算部150は、例えば、CPU等のハードウェアに記憶部130に記憶された各種プログラムを読み込むことにより実現される。
制御部140は、記憶部130に記憶された各種データや入力部110から入力される各種情報に基づき、画像処理装置11の各部に指示やデータの転送を行うことにより、画像処理装置11全体の動作を統括的に制御する。
【0043】
また、制御部140は、顕微鏡装置10に対し、標本画像を取得する動作を制御すると共に、標本画像の校正用の補正ブランク画像を作成するために用いるブランク画像を取得する動作を制御する。ここで、ブランク画像とは、撮像視野VFを標本SPが存在しない領域に合わせて撮像を行うことにより取得した画像のことであり、スライドガラスSGが存在しない領域(図3A参照)を撮像した白色画像と、標本SPを除くスライドガラスSG上の領域(図3B参照)を撮像したガラス画像とを含む。
【0044】
詳細には、制御部140は、ブランク画像の取得を指示するブランク画像取得指示部141と、標本画像の取得を指示する標本画像取得指示部142と、これらのブランク画像取得指示部141及び標本画像取得指示部142の指示に従って、顕微鏡装置10に撮像を実行させる撮像制御部143と、同指示に従って顕微鏡装置10における撮像視野VFを変更させる制御を行う視野変更制御部144とを有する。この内、ブランク画像取得指示部141は、上述の白色画像を取得する指示を行う白色画像取得指示部141a及び上述のガラス画像を取得する指示を行うガラス画像取得指示部141bを含む。
【0045】
演算部150は、記憶部130に記憶された画像データに対応する画像に対し、ホワイトバランス処理、デモザイキング、ガンマ変換といった所定の画像処理を施すと共に、これらの処理が施された標本画像を校正する演算処理を行う。より詳細には、演算部150は、画像分離部151と、補正ブランク画像作成部152と、画像校正部153とを有する。
【0046】
画像分離部151は、記憶部130に記憶された画像の内、複数のブランク画像の各々に対して、当該ブランク画像をバイアス成分とノイズ成分とに分離する処理を行う。ここで、バイアス成分とは、ブランク画像における画素値の傾斜(バイアス)を表す成分であり、顕微鏡装置10の観察光学系(各レンズ等)の特性や、スライドガラスSGの光軸Lに対する傾斜に起因する光量のばらつきに対応する成分である。一方、ノイズ成分は、顕微鏡装置10の観察光学系(コンデンサレンズと対物レンズの間等)に入り込んだ異物(ゴミや埃等)や、スライドガラスSGに付着した異物等に起因する成分である。画像分離部151は、白色画像分離部151a及びガラス画像分離部151bを含み、白色画像及びガラス画像の両方に対して、上記分離処理を行う。
【0047】
補正ブランク画像作成部152は、画像分離部151によって分離された各ブランク画像のバイアス成分及びノイズ成分を用いて補正ブランク画像を作成する。
画像校正部153は、作成された補正ブランク画像を用いて、標本画像の校正を行う。
【0048】
次に、顕微鏡システム1の動作について説明する。図4は、顕微鏡システム1の動作を示すフローチャートである。
まず、ステップS10において、顕微鏡システム1は、複数のブランク画像を取得する。
【0049】
図5は、複数のブランク画像の取得処理の詳細を示すフローチャートである。
まず、ステップS101において、白色画像取得指示部141aが白色画像を取得する指示を出力すると、視野変更制御部144はこれに応じて、視野変更部105に対し、撮像視野VFをスライドガラスSGが存在しない領域に移動させる(図3A参照)。
【0050】
続くステップS102において、撮像制御部143は画像取得部104に対し、撮像視野VFを撮像させる。これにより、白色画像が取得される。図6に示す画像MW1は、このようにして取得された白色画像の一例を示す。この画像MW1は、記憶部130に一旦記憶される。
【0051】
ステップS103において、ガラス画像取得指示部141bがガラス画像を取得する指示を出力すると、視野変更制御部144はこれに応じて、視野変更部105に対し、撮像視野VFを標本SPが存在しないスライドガラスSG上の領域に移動させる(図3B参照)。
【0052】
続くステップS104において、撮像制御部143は画像取得部104に対し、撮像視野VFを撮像させる。これにより、ガラス画像が取得される。なお、この際、焦点深度を、後述する標本画像の撮像時に合わせて設定すると良い。図6に示す画像MG1は、このようにして取得されたガラス画像の一例を示す。この画像MG1は、記憶部130に一旦記憶される。
この後、処理はメインルーチンに戻る。
【0053】
ステップS11において、演算部150は、複数のブランク画像を用いて補正ブランク画像を作成する。
図7は、補正ブランク画像の作成処理の詳細を示すフローチャートである。
ステップS111において、白色画像分離部151aは記憶部130から白色画像を構成する各画素の画素値Wをバンドz(zは、R、G、又はB)毎に読み出し、バイアス成分とノイズ成分とに分離する処理を実行する。以下、白色画像の座標(x,y)に位置する画素におけるバンドzの画素値をW(x,y,z)等と記す。なお、画像取得部104が4色以上のバンドで撮像可能である場合には、各バンドの画素値Wを読み出す。
【0054】
より詳細には、まず、白色画像分離部151aは、白色画像の各画素に対してメディアンフィルタ処理を施す。ここで、メディアンフィルタ処理とは、図8に示すように、注目画素Pに対し、その周囲の所定領域内(図8においては5×5画素)の画素Pi(i=1〜n)の画素値の内の中央値を出力する処理のことである。以下において、画素値I(x,y,z)に対応する画素に対するメディアンフィルタ処理の出力値を、Med(I(x,y,z))等と記す。
【0055】
これより、画素値W(x,y,z)に対応する画素に対するメディアンフィルタ処理の出力値を、画素値W(x,y,z)のバイアス成分Wbias(x,y,z)とする。
bias(x,y,z)=Med(W(x,y,z)) …(1)
【0056】
また、画素値W(x,y,z)のノイズ成分Wnoise(x,y,z)は、次式(2)に示すように、画素値W(x,y,z)とバイアス成分Wbias(x,y,z)との差分によって与えられる。
noise(x,y,z)=W(x,y,z)−Wbias(x,y,z) …(2)
【0057】
図9Aは、白色画像内のある1次元領域における画素値W(x,y,z)を示す。また、図9Bは、同じ領域について算出されたバイアス成分Wbias(x,y,z)を示す。さらに、図9Cは、同じ領域について算出されたノイズ成分Wnoise(x,y,z)を示す。なお、図9A〜図9Cにおいて、横軸は一列に並んだ画素の並び順を示し、縦軸は規格化された画素値(強度)を示す。また、図6に示す画像MWB1は、画像MW1から抽出された白色画像のバイアス成分Wbias(x,y,z)に対応する画像であり、画像MWN1は、画像MW1から抽出されたノイズ成分Wnoise(x,y,z)に対応する画像である。この内、画像MWN1内には、ノイズN1、N2が写り込んでいる。
【0058】
続くステップS112において、ガラス画像分離部151bは、記憶部130からガラス画像を構成する各画素の画素値Gをバンドz(zは、R、G、又はB)毎に読み出し、バイアス成分とノイズ成分とに分離する処理を実行する。この分離処理の詳細は、ステップS111において説明したものと同じである。これにより、ガラス画像を構成する画素値G(x,y,z)のバイアス成分Gbias(x,y,z)及びノイズ成分Gnoise(x,y,z)は、次式(3)及び(4)によって与えられる。
bias(x,y,z)=Med(G(x,y,z)) …(3)
noise(x,y,z)=G(x,y,z)−Gbias(x,y,z) …(4)
【0059】
図10Aは、ガラス画像内のある1次元領域における画素値G(x,y,z)を示す。また、図10Bは、上記1次元領域におけるバイアス成分Gbias(x,y,z)を示す。さらに、図10Cは、上記1次元領域におけるノイズ成分Gnoise(x,y,z)を示す。なお、図10A〜図10Cにおいて、横軸は一列に並んだ画素の並び順を示し、縦軸は規格化された画素値(強度)を示す。また、図6に示す画像MGB1は、画像MG1から抽出されたガラス画像のバイアス成分Gbias(x,y,z)に対応する画像であり、画像MGN1は、画像MG1から抽出されたノイズ成分Gnoise(x,y,z)に対応する画像である。この内、画像MGN1内には、ノイズN3〜N5が写り込んでいる。
【0060】
ここで、画像MWN1と画像MGN1とを比較すると、ノイズN1とN3、ノイズN2とN5は撮像視野が異なるにも関わらず共通に現れているため、これらのノイズは、観察光学系に由来するノイズ(レンズ等の間に入り込んだ異物の影)と考えられる。一方、ノイズN4は、ガラス画像のみに表れているので、スライドガラスSG上に付着した異物の影と考えられる。
【0061】
さらにステップS113において、補正ブランク画像作成部152は、ガラス画像のバイアス成分Gbias(x,y,z)と白色画像のノイズ成分Wnoise(x,y,z)とから、次式(5)を用いて補正ブランク画像G^を算出する。なお、符号G^は、符号Gの上に記号「^(ハット)」が付いていることを示す。
【数1】

【0062】
図6に示す画像MCB1は、このようにして作成された補正ブランク画像である。また、図11は、補正ブランク画像内のある1次元領域における画素値G^(x,y,z)を示す。図6及び図11に示すように、この補正ブランク画像MCB1は、スライドガラスSGの光軸Lに対する傾斜に起因するシェーディングや、観察光学系に由来するノイズ(例えば、ノイズ、N1、N2、N3、N5)のように、撮像視野を変更した場合にも複数の画像に対して及ぼされる影響のみを反映したものである。一方、スライドガラスSGに付着した異物の影(例えば、ノイズN4)のように、撮像視野を変化させれば消滅するような局所的な影響は反映していない。
その後、処理はメインルーチンに戻る。
【0063】
ステップS12において、顕微鏡システム1は、標本画像を取得する。より詳細には、標本画像取得指示部142が標本画像を取得する指示を出力すると、視野変更制御部144はこれに応じて、視野変更部105に対し、撮像視野VFを標本SPが存在する領域に移動させる(図3C参照)。続いて、撮像制御部143は画像取得部104に対し、撮像視野VFを撮像させる。これによって得られた標本画像は、記憶部130に一旦記憶される。
【0064】
続くステップS13において、画像校正部153は、補正ブランク画像を用いて標本画像を校正する。より詳細には、画像校正部153は、記憶部130から校正対象である標本画像の各画素値S(x,y,z)を取得し、補正ブランク画像の画素値G^と、ガラス画像内の全画素のバイアス成分の平均値Gbias(ave)とを用いて、次式(6)により補正済み標本画像の画素値S^(x,y,z)を算出する。ここで、S^は、Sの上に記号「^(ハット)」が付いていることを示す。
【数2】

【0065】
図12は、標本画像MOR1を補正ブランク画像MCB1によって校正した校正済み標本画像MCR1を示す。なお、図11に示す画像MCB1’は、バイアス成分の平均値Gbias(ave)を補正ブランク画像の画素値G^で除したものに相当する。図11に示すように、補正済み標本画像MCR1においては、標本画像MOR1において観察されたスライドガラスSGの傾斜に起因するシェーディング及び観察光学系に由来するノイズ(ノイズN1、N2、N3、N5)が校正されている。
【0066】
以上説明したように、実施の形態1によれば、スライドガラスの傾斜に起因するシェーディング及び観察光学系に由来するノイズのみを反映した補正ブランク画像を作成することができる。従って、このような補正ブランク画像を用いることにより、標本画像に対し、スライドガラスに付着した局所的なノイズは残したまま、スライドガラスの傾斜に起因するシェーディング及び観察光学系に由来するノイズのみを校正することができる。
【0067】
また、実施の形態1においては、補正ブランク画像を作成する際に白色画像を用いるので、スライドガラス上に付着した異物の影といった局所的なノイズの影響を抑制することができる。従って、煩雑な演算処理を行うことなく、種々のノイズの内で観察光学系に由来するノイズ成分のみを除去することができる補正ブランク画像を作成することが可能となる。
【0068】
また、実施の形態1においては、ガラス画像を撮像する際に、焦点深度を標本画像の撮像時に合わせて設定するので、スライドガラスの傾斜に起因するシェーディングを精度良く校正することができる。
【0069】
(変形例1−1)
次に、実施の形態1の変形例1−1について説明する。
ステップS113においては、上述した式(5)の代わりに、次式(7)を用いて補正ブランク画像の画素値W^を作成しても良い。式(7)においては、ガラス画像のバイアス成分Gbias(x,y,z)と、ガラス画像内の全画素のバイアス成分の平均値Gbias(ave)と、白色画像内の全画素のバイアス成分の平均値Wbias(ave)と、白色画像のノイズ成分Wnoise(x,y,z)とが用いられる。なお、W^は、Wの上に記号「^(ハット)」が付いていることを示す。
【数3】

【0070】
ここで、式(6)において、白色画像のバイアス成分の平均値Wbias(ave)をガラス画像のバイアス成分の平均値Gbias(ave)で除した値をガラス画像のバイアス成分に掛けるのは、白色画像とガラス画像とのダイナミックレンジを揃えるためである。
【0071】
この場合、校正済み標本画像の画素値は、次式(8)によって与えられる。
【数4】

【0072】
(変形例1−2)
次に、実施の形態1の変形例1−2について説明する。
ステップS111及びS112においては、ブランク画像をバイアス成分とノイズ成分に分離する際には、ローリングボール(Rolling ball)アルゴリズム(スタンリー・スタンバーグ(Stanley Sternberg)、「バイオメディカル イメージ プロセシング(Biomedical Image Processing)」、IEEE コンピュータ、1983年1月 参照)を用いても良い。
【0073】
具体的には、ローリングボールアルゴリズムを顕微鏡画像に適用するため、まず、半球面状のカーネル(Kernel)を設定する。なお、カーネルの半径は、ノイズが除去されるように好適に設定する。以下、カーネル内で値が最大の画素値をWMAXとする。このカーネルの設定は、事前に行っておいてもよい。
この後、顕微鏡画像の各画素の画素値Wを次式にしたがって変換することにより、変換画素値W’を算出する。
W’=WMAX−W
【0074】
続いて、変換画素値W’を高さ方向の成分とし、横軸方向の成分を中心画素からの距離とする空間において、対象画素に対してカーネルの中心(半球面の中心)を当てはめ、カーネルの範囲に含まれる全ての画素(即ち、対象画素の周辺画素)に対し、次式で定義される出力値WOUTを算出する。
OUT=W’+WKER
この式の右辺のWKERは、カーネル値である。
【0075】
それによって算出された出力値WOUTの内で最小の値を、対象画素におけるバイアス成分とする。また、ノイズ成分は、対象画素の変換画素値からバイアス成分を引くことにより算出される。
【0076】
(実施の形態2)
次に本発明の実施の形態2について説明する。
図13は、実施の形態2に係る顕微鏡システムを示すブロック図である。図13に示すように、実施の形態2に係る顕微鏡システム2は、図1に示す画像処理装置11の代わりに、画像処理装置21を備える。なお、顕微鏡装置10の構成については、実施の形態1と同様である。
【0077】
画像処理装置21は、図1に示す記憶部130、制御部140、及び演算部150の代わりに、記憶部210、制御部220、及び演算部230をそれぞれ備える。
記憶部210は、各種制御プログラムや各種設定情報に加え、複数のガラス画像を用いて作成した補正ブランク画像を用いて標本画像を校正する画像処理プログラム211を記憶している。
【0078】
また、制御部220は、ガラス画像取得指示部221aを含むブランク画像取得指示部221と、標本画像取得指示部142と、撮像制御部143と、視野変更制御部144とを有する。この内、標本画像取得指示部142、撮像制御部143、及び視野変更制御部144の動作については、実施の形態1と同様である。
【0079】
演算部230は、ガラス画像分離部231aを含む画像分離部231と、共通ノイズ成分抽出部232aを含む補正ブランク画像作成部232と、画像校正部153とを有する。この内、画像校正部153の動作については、実施の形態1と同様である。
【0080】
次に、顕微鏡システム2の動作について説明する。顕微鏡システム2全体の動作は、図4に示すものと同様であり、複数の補正ブランク画像の取得処理(ステップS10)及び補正ブランク画像の作成処理(ステップS11)の詳細が実施の形態1とは異なっている。
【0081】
図14は、複数の補正ブランク画像の取得処理の詳細を示すフローチャートである。
まず、顕微鏡システム2は、ステップS201〜S202を含むループAの処理をN回実行する。ここで、Nは3以上とする。
【0082】
具体的には、ステップS201において、ガラス画像取得指示部221aがガラス画像を取得する指示を出力すると、視野変更制御部144はこれに応じて、視野変更部105に対し、撮像視野VFを標本SPが存在しないスライドガラスSG上の領域に移動させる(図3B参照)。続くステップS202において、撮像制御部143は画像取得部104に対し、撮像視野VF(即ち、ガラス画像)を撮像させる。
【0083】
ループAの処理をN回実行した後、処理はメインルーチンに戻る。それにより、N枚のガラス画像が取得される。
図15に示す画像MG1〜MG3は、このようにして取得された複数(N=3)のガラス画像の一例を示す。これらの画像MG1〜MG3は、記憶部210に一旦記憶される。
【0084】
図16は、補正ブランク画像の作成処理の詳細を示すフローチャートである。
まず、顕微鏡システム2は、ステップS211を含むループBの処理をN回、即ち、ステップS10において取得したガラス画像の枚数分だけ実行する。
【0085】
ステップS211において、ガラス画像分離部231aは、記憶部210からガラス画像を構成する各画素の各画素値W(x,y)を読み出し、バイアス成分Gbias(x,y,z)とノイズ成分Gnoise(x,y,z)とに分離する処理を実行する。なお、ステップS211における処理の詳細は、実施の形態1と同様である(図7のステップS112参照)。或いは、変形例1−2において説明したように、ローリングボールアルゴリズムによりガラス画像をバイアス成分とノイズ成分とに分離しても良い。
【0086】
これにより、例えば図15の場合、画像MG1〜MG3のバイアス成分Gbias(x,y,z)に対応する画像MGB1〜MGB3と、画像MG1〜MG3のノイズ成分Gnoise(x,y,z)に対応する画像MGN1〜MGN3とが取得される。
【0087】
ステップS212において、共通ノイズ成分抽出部232aは、複数枚のガラス画像のノイズ成分から共通のノイズ成分を抽出する。
より詳細には、共通ノイズ成分抽出部232aは、まず、任意で選択した2枚のガラス画像における同一画素のノイズ成分Gnoise(i)(x,y,z)、Gnoise(j)(x,y,z)(i≠j)を比較する。そして、両ノイズ成分の差の絶対値|Gnoise(i)(x,y,z)−Gnoise(j)(x,y,z)|が所定の閾値よりも小さい場合に、これらのノイズ成分Gnoise(i)(x,y,z)、Gnoise(j)(x,y,z)は共通であると判定し、共通のノイズ成分G^noise(x,y,z)(=Gnoise(i)(x,y,z))として抽出する。このときの閾値としては、画像取得部104において発生するノイズの平均値が用いられる。
【0088】
共通ノイズ成分抽出部232aは、このような判定を、ステップS10において取得したガラス画像の全ての組み合わせについて行う。
例えば図15の場合、画像MGN1と画像MGN2との組み合わせにおいては、ノイズN11とN14、及びノイズN13とN16がそれぞれ共通のノイズ成分として抽出される。また、画像MGN2と画像MGN3との組み合わせにおいては、ノイズN14とN18、及びノイズN15とN19がそれぞれ共通のノイズ成分として抽出される。さらに、画像MGN3と画像MGN1との組み合わせにおいては、ノイズN18とN11、及びノイズN19とN13がそれぞれ共通のノイズ成分として抽出される。
【0089】
このような処理により、観察光学系に由来するノイズ成分G^noise(x,y,z)を抽出することができる。なお、この判定によって抽出されなかったノイズN12、ノイズN16、及びノイズN17は、スライドガラスSGに付着した局所的なものと判断することができる。
【0090】
ステップS213において、補正ブランク画像作成部232は、ステップS212において抽出した共通のノイズ成分G^noise(x,y,z)と、ガラス画像のバイアス成分Gbias(x,y,z)とを用いて、次式(9)によって与えられる補正ブランク画像の画素値G^(x,y,z)を算出する。この際、ガラス画像のバイアス成分Gbias(x,y,z)としては、複数のガラス画像の内の任意の1つのバイアス成分を用いても良いし、全てのガラス画像のバイアス成分の平均値を用いても良い。
【数5】

この後、処理はメインルーチンに戻る。
【0091】
以上説明したように、実施の形態2によれば、観察光学系に由来するノイズ成分をガラス画像のみを用いて算出することができる。従って、ガラス画像上におけるノイズ量を正確に反映したノイズ成分を抽出することが可能となる。
また、実施の形態2によれば、白色画像を取得する必要がないので、保持部101aの移動量を低減することが可能となる。
【0092】
(変形例2)
次に、実施の形態2の変形例2について説明する。
ステップS212においては、上述した式(9)の代わりに、次式(10)を用いて共通のノイズ成分を算出しても良い。式(10)において、Nはガラス画像の枚数である。
【数6】

【0093】
(実施の形態3)
次に、本発明の実施の形態3について説明する。
図17は、実施の形態3に係る顕微鏡システムを示すブロック図である。図17に示すように、実施の形態3に係る顕微鏡システム3は、図1に示す画像処理装置11の代わりに、画像処理装置31を備える。なお、顕微鏡装置10の構成については、実施の形態1と同様である。
【0094】
画像処理装置31は、図1に示す記憶部130及び演算部150の代わりに、記憶部310及び演算部320をそれぞれ備える。
記憶部310は、各種制御プログラムや各種設定情報に加えて、ガラス画像のバイアス成分を近似したバイアスモデルを用いて作成した補正ブランク画像により標本画像を校正する画像処理プログラム311を記憶している。
【0095】
演算部320は、画像分離部151と、補正ブランク画像作成部321と、画像校正部153とを有する。この内、画像分離部151及び画像校正部153の動作については、実施の形態1と同様である。
【0096】
補正ブランク画像作成部321は、ガラス画像のバイアス成分を近似したバイアスモデルを算出するバイアスモデル算出部321aと、このバイアスモデルを用いて近似演算を行うことにより補正ブランク画像近似部321bとを含む。
【0097】
次に、顕微鏡システム3の動作について説明する。顕微鏡システム3全体の動作は、図4に示すものと同様であり、補正ブランク画像の作成処理(ステップS11)の詳細が実施の形態1とは異なっている。
【0098】
図18は、補正ブランク画像の作成処理の詳細を示すフローチャートである。
まず、顕微鏡システム3は、ステップS301を含むループCの処理をN回実行する。
ステップS301において、画像分離部151は、記憶部310からブランク画像を読み出し、バイアス成分Bbias(x,y,z)とノイズ成分Bnoise(x,y,z)とに分離する処理を実行する。なお、ステップS301における処理の詳細は、実施の形態1と同様である(図7のステップS112参照)。或いは、変形例1−2において説明したように、ローリングボールアルゴリズムによりガラス画像をバイアス成分とノイズ成分とに分離しても良い。
【0099】
ステップS302において、バイアスモデル算出部321aは、ガラス画像のバイアス成分Bbias(x,y,z)を近似する近似式を算出する。より詳細には、まず、バイアスモデル算出部321aは、バイアス成分Bbias(x,y,z)に対して、バイリニア補間(Bilinear Interpolation)を行う。
【0100】
ここで、バイリニア補間とは、図19に示すように、補間対象座標(x,y)を囲む4座標(x1,y1)、(x2,y1)、(x1,y2)、(x2,y2)の値Src(x1,y1)、Src(x2,y1)、Src(x1,y2)、Src(x2,y2)から、次式(11)により補間値Dstを算出する手法である。
【数7】

【0101】
そこで、バイアスモデル算出部321aは、このバイリニア補間演算をガラス画像のバイアス成分Bbias(x,y,z)に適用する。ここで、補間対象座標(x,y)における輝度値をI^(x,y,z)、補間対象座標の周囲4座標における輝度値をI11(x1,y1、z)、I21(x2,y1、z)、I12(x1,y2,z)、I22(x2,y2、z)として、バイリニア補間演算を次式(12)で表す。なお、符号I^は、符号Iの上に記号「^(ハット)」が付いていることを示す。また、演算記号BIは、バイリニア補間演算を表す。
【数8】

式(12’)は、式(12)をさらに簡略化して示したものである。
【0102】
以下、この式(12’)を、ガラス画像におけるバイアス成分Bbias(x,y,z)の近似式として用いる。なお、補間方法としては、バイリニア補間のほか、バイキュービック補間を行っても良い。また、平面に限らず、曲面で近似しても良い。
【0103】
続くステップS303において、補正ブランク画像近似部321bは、ガラス画像のバイアス成分の近似式Bbias^=(Bbias,x,y,z)と、観察光学系に由来するノイズ成分Bnoise(x,y,z)とから、次式(13)により補正ブランク画像の画素値B^を算出する。なお、観察光学系に由来するノイズ成分Bnoise(x,y,z)は、実施の形態1において説明したように、白色画像のノイズ成分から取得しても良いし、実施の形態2において説明したように、3枚以上のガラス画像のノイズ成分から取得しても良い。
【数9】

この後、処理はメインルーチンに戻る。
【0104】
以上説明したように、実施の形態3によれば、補間ブランク画像を作成する際に、バイアス成分の近似式を用いるので、演算量を低減することができる。従って、バイアス成分のデータ容量やメモリの使用量を削減することが可能となる。
【0105】
(実施の形態4)
次に、本発明の実施の形態4について説明する。
図20は、実施の形態4に係る顕微鏡システムを示すブロック図である。図20に示すように、実施の形態4に係る顕微鏡システム4は、図1に示す顕微鏡装置10及び画像処理装置11の代わりに、顕微鏡装置40及び画像処理装置41をそれぞれ備える。
【0106】
顕微鏡装置40は、図1及び図2に示す顕微鏡装置10の構成加えて、倍率変更部109をさらに有する。倍率変更部109は、例えば図2に示すレボルバ108を回転させることにより、対物レンズ102の倍率を変更する操作を行う。
【0107】
画像処理装置41は、図1に示す記憶部130、制御部140、及び演算部150の代わりに、記憶部410、制御部420、及び演算部430をそれぞれ備える。
記憶部410は、各種制御プログラムや各種設定情報に加えて、顕微鏡装置10が倍率を変更して標本を撮像した標本画像に対し、補正ブランク画像を用いて校正を行う画像処理プログラム411を記憶している。
【0108】
制御部420は、図1に示す制御部140の構成に加えて、倍率変更部109の動作を制御する倍率変更制御部421をさらに有する。
演算部430は、図1に示す演算部150の構成に加えて、補正ブランク画像サイズ変更部431をさらに有する。補正ブランク画像サイズ変更部431は、補正ブランク画像作成部152が作成した補正ブランク画像のサイズ(大きさ)を、標本画像の倍率に応じて変更する。
【0109】
次に、顕微鏡システム4の動作について説明する。図21は、顕微鏡システム4の動作を示すフローチャートである。なお、図21に示すステップS10及びS11は、図4に示すステップS10及びS11と対応している。
【0110】
ステップS11に続くステップS41において、標本画像取得指示部142が標本画像を取得する指示を出力すると、視野変更制御部144はこれに応じて、視野変更部105に対し、撮像視野VFを撮像対象の標本SPが存在領域に移動させる。
【0111】
ステップS42において、標本画像取得指示部142の指示に応じて、倍率変更制御部421は倍率変更部109に対し、倍率を変更させる。
ステップS43において、撮像制御部143は、画像取得部104に標本画像の撮像を実行させる。それにより、例えば図22に示すように、標本画像MOR1に対して拡大された標本画像MOR2が取得される。この標本画像MOR2は、一旦記憶部410に記憶される。
【0112】
ステップS44において、補正ブランク画像サイズ変更部431は、ステップS42において変更された倍率に従って、ステップS11において作成された補正ブランク画像のサイズを、上式(11)で表されるバイリニア補間演算により変更する。サイズ変更後の新たな補正ブランク画像の画素値B^^(x’,y’,z)は、サイズ変更前の補正ブランク画像の画素値B^(x,y,z)に対応する画素値B^(x’,y’,z)を用いて、式(14)によって与えられる。ここで、座標(x’,y’)は、サイズ変更後のブランク画像における座標を表す。サイズ変更前のブランク画像における座標(x,y)と、サイズ変更後のブランク画像における座標(x’,y’)との関係は、次のとおりである。
y=(Scale/Scale’)×y’’
Scaleはサイズ変更前の倍率を表し、Scale’はサイズ変更後の倍率を示す。また、式(14)において、符号B^^は、符号Bの上に記号「^(ハット)」が2つ重ねてついていることを示す。
【数10】

なお、この際の補間方法としては、バイキュービック補間を用いても良い。
例えば図22に示す画像MCB3は、標本画像MOR2に対応するサイズの補正ブランク画像MCB1をバイリニア補間演算により拡大したものである。
【0113】
続くステップS45において、画像校正部153は、サイズ変更後の補正ブランク画像を用いて、倍率を変更して撮像された標本画像を校正する。なお、補正ブランク画像を用いた標本画像の校正方法については、実施の形態1と同様である。それにより、スライドガラスの傾斜に起因するシェーディング及び観察光学系に由来するノイズが除去された標本画像を得ることができる。
例えば図22に示す画像MCB3’は、バイアス成分の平均値Gbias(ave)を補正ブランク画像の画素値G^で除したものに相当する。この画像MCB3’と拡大された画像MOR2とを積算することにより、校正済みの標本画像MCR2が得られる。
【0114】
以上説明したように、実施の形態4によれば、標本画像の倍率を変更した場合でも、スライドガラスの傾斜に起因するシェーディング及び観察光学系に由来するノイズを拡大後の標本画像から除去することができる。また、実施の形態4は、対物レンズを交換するほか、インナーフォーカス、リアフォーカス、又は、電子ズームにより倍率を変更した場合にも適用することができる。
【0115】
(実施の形態5)
次に、本発明の実施の形態5について説明する。
図23は、実施の形態5に係る顕微鏡システムを示すブロック図である。図23に示すように、実施の形態5に係る顕微鏡システム5は、図1に示す画像処理装置11の代わりに、画像処理装置51を備える。
【0116】
画像処理装置51は、図1に示す記憶部130、制御部140、及び演算部150の代わりに、記憶部510、制御部520、及び演算部530をそれぞれ備える。
記憶部510は、各種制御プログラムや各種設定情報に加えて、顕微鏡装置10によって標本SPを部分的にマルチバンド撮像することによって得られる複数の標本画像を処理して繋ぎ合わせたバーチャルスライド(VS)画像を生成する画像処理プログラム511を記憶している。
【0117】
制御部520は、図1に示す標本画像取得指示部142の代わりに、VS画像取得指示部521を有する。VS画像取得指示部521は、VS画像を生成するために、標本SPを部分的にマルチバンド撮像する支持を撮像制御部143及び視野変更制御部144に与える。このVS画像取得指示部521の指示により、例えば図24に示すように、標本SPを含むスライドガラス上の撮像対象領域A1が、複数の小領域P1、P2、…に分割され、これらの小領域P1、P2、…が図に示す矢印に沿って順次撮像される。それにより、各小領域P1、P2、…に対応する標本画像が記憶部510に順次記憶される。
【0118】
また、演算部530は、図1に示す演算部150の構成に加えて、VS画像生成部531を有する。VS画像生成部531は、顕微鏡装置10により撮像され、画像校正部153により校正処理が施された後の各小領域P1、P2、…に対応する標本画像を繋ぎ合わせて、VS画像を生成する。このVS画像生成部531の動作により、図24に示す撮像対象領域A1全体に対応する画質の良好な標本画像が得られる。
【0119】
なお、演算部530において、各小領域P1、P2、…に対応する標本画像の校正に用いる補正ブランク画像を作成する際には、標本SPを含まない小領域(例えば、小領域P1、P2等)を撮像した画像(即ち、ガラス画像)を用いれば良い。或いは、撮像領域をスライドガラスSGから一旦外して、白色画像を撮像することとしても良い。
【0120】
以上説明したように、実施の形態5によれば、スライドガラスの傾斜に起因するシェーディングや観察光学系に由来するノイズが除去された画質の良いVS画像を取得することが可能となる。
【0121】
本発明は、上述した各実施の形態及び変形例そのままに限定されるものではなく、各実施の形態に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素からいくつかの構成要素を除外して形成してもよい。あるいは、異なる実施の形態に示した構成要素を適宜組み合わせて形成してもよい。
【0122】
(付記1)
顕微鏡において撮像視野を標本が存在する領域に合わせて撮像を行うことにより取得される標本画像を校正する画像処理装置であって、
前記撮像視野を前記標本が存在しない領域に合わせて撮像を行うことにより取得される複数のブランク画像であって、少なくとも、前記撮像視野をスライドガラスが存在する領域に合わせて撮像を行うことにより取得されるガラス画像を含む複数のブランク画像に対し、前記複数のブランク画像の各々を構成する画素の画素値を、該画素値の傾斜に対応するバイアス成分と、ノイズに対応するノイズ成分とに分離する画像分離部と、
前記ガラス画像が有するバイアス成分と、前記複数のブランク画像の各々が有するノイズ成分から算出された成分とを画素値の成分として有する補正ブランク画像を作成する補正ブランク画像作成部と、
前記補正ブランク画像を用いて前記標本画像を校正する画像校正部と、
を備えることを特徴とする画像処理装置。
【0123】
(付記2)
前記複数のブランク画像は、前記ガラス画像に加えて、前記撮像視野をスライドガラスが存在しない領域に合わせて撮像を行うことにより取得される白色画像を含み、
前記補正ブランク画像作成部は、前記ガラス画像が有する前記バイアス成分と、前記ガラス画像及び前記白色画像が有する前記ノイズ成分から算出された成分とから、前記補正ブランク画像を作成することを特徴とする付記1に記載の画像処理装置。
【0124】
(付記3)
前記複数のブランク画像は複数のガラス画像を含み、
前記補正ブランク画像作成部は、前記複数のガラス画像がそれぞれ有する前記ノイズ成分から互いに共通するノイズ成分を抽出するノイズ成分抽出部を有し、前記共通するノイズ成分と、前記複数のガラス画像がそれぞれ有する前記バイアス成分の内の少なくとも1つとから、前記補正ブランク画像を作成することを特徴とする付記1に記載の画像処理装置。
【0125】
(付記4)
前記ノイズ成分抽出部は、前記複数のガラス画像の内の2つのガラス画像間で、対応する所定の画素におけるノイズ成分の値の差が所定の閾値以下である場合、前記所定の画素におけるいずれかのノイズ成分の値を、前記共通のノイズ成分の値とすることを特徴とする付記3に記載の画像処理装置。
【0126】
(付記5)
前記補正ブランク画像作成部は、前記複数のガラス画像で対応する画素におけるノイズ成分の平均値を、前記共通のノイズ成分の値とすることを特徴とする付記3に記載の画像処理装置。
【0127】
(付記6)
前記画像分離部は、メディアンフィルタ処理を用いて、前記複数のブランク画像の各々を構成する画素の画素値を前記バイアス成分と前記ノイズ成分とに分離することを特徴とする付記1〜5のいずれか1項に記載の画像処理装置。
【0128】
(付記7)
前記画像分離部は、ローリングボール処理を用いて、前記複数のブランク画像の各々を構成する画素の画素値を前記バイアス成分と前記ノイズ成分とに分離することを特徴とする付記1〜5のいずれか1項に記載の画像処理装置。
【0129】
(付記8)
前記補正ブランク画像作成部は、前記ガラス画像が有する前記バイアス成分を近似した近似値と、前記複数のブランク画像の各々が有するノイズ成分とから、前記補正ブランク画像を構成する画素の画素値を算出することを特徴とする付記1〜7のいずれか1項に記載の画像処理装置。
【0130】
(付記9)
前記顕微鏡の倍率に基づく補間処理を行うことにより補正ブランク画像の大きさを変更する補正ブランク画像サイズ変更部をさらに有し、
前記画像校正部は、前記補正ブランク画像サイズ変更部により大きさを変更された前記補正ブランク画像を用いて前記標本画像を校正することを特徴とする付記1〜8のいずれか1項に記載の画像処理装置。
【0131】
(付記10)
前記画像分離部、前記補正ブランク画像作成部、及び、画像校正部の内の少なくとも1つは、前記標本画像のバンド毎に処理を実行することを特徴とする付記1〜9のいずれか1項に記載の画像処理装置。
【0132】
(付記11)
付記1〜10のいずれか1項に記載の画像処理装置と、
前記スライドガラスを載置可能なステージと、
前記ステージに対向して設けられる光学系と、
前記光学系を介して前記撮像視野を撮像して画像を取得する画像取得部と、
前記ステージと前記光学系との内の少なくとも一方を、前記光学系の光軸と直交する方向に移動させることにより、前記撮像視野を変化させる視野変更部と、
を有する顕微鏡と、
を備えることを特徴とする顕微鏡システム。
【0133】
(付記12)
前記顕微鏡に対し、前記撮像視野を前記標本が存在しない領域に合わせて撮像を実行させブランク画像を取得させると共に、前記撮像視野を標本が存在する領域に合わせて撮像を実行させ標本画像を取得させる制御を行う制御部をさらに有することを特徴とする付記11に記載の顕微鏡システム。
【0134】
(付記13)
前記制御部は、前記標本画像及び前記ブランク画像を同一の焦点深度で前記顕微鏡に撮像させることを特徴とする付記12に記載の顕微鏡システム。
【0135】
(付記14)
前記制御部は、前記顕微鏡装置に、前記標本が載置された前記ステージと前記光学系とを前記光学系の光軸と直交する方向に相対的に移動させながら前記標本を撮像させることにより、複数の標本画像を撮像させ、
前記画像校正部は、前記複数の標本画像の各々を校正し、
前記画像処理装置は、校正された前記複数の標本画像を相互に繋ぎ合わせたバーチャルスライド画像を生成するバーチャルスライド生成部をさらに有することを特徴とする付記12又は13に記載の顕微鏡システム。
【0136】
(付記15)
前記顕微鏡装置は、撮像する画像の倍率を変更する倍率変更部をさらに有することを特徴とする付記11〜14のいずれか1項に記載の顕微鏡システム。
【0137】
(付記16)
顕微鏡において標本を含む領域を撮像することにより取得された標本画像を校正する画像処理方法であって、
前記撮像視野を前記標本が存在しない領域に合わせて撮像を行うことにより取得される複数のブランク画像であって、少なくとも、前記撮像視野をスライドガラスが存在する領域に合わせて撮像を行うことにより取得されるガラス画像を含む複数のブランク画像に対し、前記複数のブランク画像の各々を構成する画素の画素値を、該画素値の傾斜に対応するバイアス成分と、ノイズに対応するノイズ成分とに分離する画像分離ステップと、
前記ガラス画像が有するバイアス成分と、前記複数のブランク画像の各々が有するノイズ成分から算出された成分とを画素値の成分として有する補正ブランク画像を作成する補正ブランク画像作成ステップと、
前記補正ブランク画像を用いて前記標本画像を校正する画像校正ステップと、
を含むことを特徴とする画像処理方法。
【0138】
(付記17)
顕微鏡において標本を含む領域を撮像することにより取得された標本画像を校正する処理をコンピュータに実行させる画像処理プログラムであって、
前記撮像視野を前記標本が存在しない領域に合わせて撮像を行うことにより取得される複数のブランク画像であって、少なくとも、前記撮像視野をスライドガラスが存在する領域に合わせて撮像を行うことにより取得されるガラス画像を含む複数のブランク画像に対し、前記複数のブランク画像の各々を構成する画素の画素値を、該画素値の傾斜に対応するバイアス成分と、ノイズに対応するノイズ成分とに分離する画像分離ステップと、
前記ガラス画像が有するバイアス成分と、前記複数のブランク画像の各々が有するノイズ成分から算出された成分とを画素値の成分として有する補正ブランク画像を作成する補正ブランク画像作成ステップと、
前記補正ブランク画像を用いて前記標本画像を校正する画像校正ステップと、
を含むことを特徴とする画像処理プログラム。
【符号の説明】
【0139】
1〜5 顕微鏡システム
10、40 顕微鏡装置
100 アーム
101 ステージ
101a 保持部
102 対物レンズ
103 鏡筒
104 画像取得部
105 視野変更部
105a モータ
105b 走査部
106 三眼鏡筒ユニット
107 接眼レンズユニット
108 レボルバ
109 倍率変更部
11、21、31、41、51 画像処理装置
110 入力部
120 表示部
130、210、310、410、510 記憶部
131、211、311、411、511 画像処理プログラム
140、220、420、520 制御部
141、221 ブランク画像取得指示部
141a 白色画像取得指示部
141b、221a ガラス画像取得指示部
142 標本画像取得指示部
143 撮像制御部
144 視野変更制御部
150、230、320、430、530 演算部
151、231 画像分離部
151a 白色画像分離部
151b、231a ガラス画像分離部
152、232、321 補正ブランク画像作成部
153 画像校正部
232a 共通ノイズ成分抽出部
321a バイアスモデル算出部
321b 補正ブランク画像近似部
421 倍率変更制御部
431 補正ブランク画像サイズ変更部
521 VS画像取得指示部
531 VS画像生成部

【特許請求の範囲】
【請求項1】
標本が存在する領域の撮像視野で撮像された標本画像と、前記標本が存在しない領域の撮像視野で撮像されたブランク画像と、を複数記憶する記憶部と、
前記記憶部に記憶されたブランク画像のうち、少なくとも、スライドガラスが存在する領域の撮像視野で撮像されたガラス画像を含む複数のブランク画像に対し、前記複数のブランク画像の各々を構成する画素の画素値を、該画素値の傾斜に対応するバイアス成分と、ノイズに対応するノイズ成分とに分離する画像分離部と、
前記ガラス画像が有するバイアス成分と、前記複数のブランク画像の各々が有するノイズ成分から算出された成分とを画素値の成分として有する補正ブランク画像を作成する補正ブランク画像作成部と、
前記補正ブランク画像を用いて前記標本画像を校正する画像校正部と、
を備えることを特徴とする画像処理装置。
【請求項2】
前記複数のブランク画像は、前記ガラス画像に加えて、前記スライドガラスが存在しない領域の撮像視野で撮像された白色画像を含み、
前記補正ブランク画像作成部は、前記ガラス画像が有する前記バイアス成分と、前記ガラス画像及び前記白色画像が有する前記ノイズ成分から算出された成分とから、前記補正ブランク画像を作成することを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記複数のブランク画像は複数のガラス画像を含み、
前記補正ブランク画像作成部は、前記複数のガラス画像がそれぞれ有する前記ノイズ成分から互いに共通するノイズ成分を抽出するノイズ成分抽出部を有し、前記共通するノイズ成分と、前記複数のガラス画像がそれぞれ有する前記バイアス成分の内の少なくとも1つとから、前記補正ブランク画像を作成することを特徴とする請求項1に記載の画像処理装置。
【請求項4】
前記ノイズ成分抽出部は、前記複数のガラス画像の内の2つのガラス画像間で、対応する所定の画素におけるノイズ成分の値の差が所定の閾値以下である場合、前記所定の画素におけるいずれかのノイズ成分の値を、前記共通のノイズ成分の値とすることを特徴とする請求項3に記載の画像処理装置。
【請求項5】
前記補正ブランク画像作成部は、前記複数のガラス画像で対応する画素におけるノイズ成分の平均値を、前記共通のノイズ成分の値とすることを特徴とする請求項3に記載の画像処理装置。
【請求項6】
前記画像分離部は、メディアンフィルタ処理を用いて、前記複数のブランク画像の各々を構成する画素の画素値を前記バイアス成分と前記ノイズ成分とに分離することを特徴とする請求項1〜5のいずれか1項に記載の画像処理装置。
【請求項7】
前記画像分離部は、ローリングボール処理を用いて、前記複数のブランク画像の各々を構成する画素の画素値を前記バイアス成分と前記ノイズ成分とに分離することを特徴とする請求項1〜5のいずれか1項に記載の画像処理装置。
【請求項8】
前記補正ブランク画像作成部は、前記ガラス画像が有する前記バイアス成分を近似した近似値と、前記複数のブランク画像の各々が有するノイズ成分とから、前記補正ブランク画像を構成する画素の画素値を算出することを特徴とする請求項1〜7のいずれか1項に記載の画像処理装置。
【請求項9】
前記顕微鏡の倍率に基づく補間処理を行うことにより補正ブランク画像の大きさを変更する補正ブランク画像サイズ変更部をさらに有し、
前記画像校正部は、前記補正ブランク画像サイズ変更部により大きさを変更された前記補正ブランク画像を用いて前記標本画像を校正することを特徴とする請求項1〜8のいずれか1項に記載の画像処理装置。
【請求項10】
前記画像分離部、前記補正ブランク画像作成部、及び、画像校正部の内の少なくとも1つは、前記標本画像のバンド毎に処理を実行することを特徴とする請求項1〜9のいずれか1項に記載の画像処理装置。
【請求項11】
請求項1〜10のいずれか1項に記載の画像処理装置と、
前記スライドガラスを載置可能なステージと、
前記ステージに対向して設けられる光学系と、
前記光学系を介して前記撮像視野を撮像して画像を取得する画像取得部と、
前記ステージと前記光学系との内の少なくとも一方を、前記光学系の光軸と直交する方向に移動させることにより、前記撮像視野を変化させる視野変更部と、
を有する顕微鏡と、
を備えることを特徴とする顕微鏡システム。
【請求項12】
前記顕微鏡に対し、前記撮像視野を前記標本が存在しない領域に合わせて撮像を実行させブランク画像を取得させると共に、前記撮像視野を標本が存在する領域に合わせて撮像を実行させ標本画像を取得させる制御を行う制御部をさらに有することを特徴とする請求項11に記載の顕微鏡システム。
【請求項13】
前記制御部は、前記標本画像及び前記ブランク画像を同一の焦点深度で前記顕微鏡に撮像させることを特徴とする請求項12に記載の顕微鏡システム。
【請求項14】
前記制御部は、前記顕微鏡装置に、前記標本が載置された前記ステージと前記光学系とを前記光学系の光軸と直交する方向に相対的に移動させながら前記標本を撮像させることにより、複数の標本画像を撮像させ、
前記画像校正部は、前記複数の標本画像の各々を校正し、
前記画像処理装置は、校正された前記複数の標本画像を相互に繋ぎ合わせたバーチャルスライド画像を生成するバーチャルスライド生成部をさらに有することを特徴とする請求項12又は13に記載の顕微鏡システム。
【請求項15】
前記顕微鏡装置は、撮像する画像の倍率を変更する倍率変更部をさらに有することを特徴とする請求項11〜14のいずれか1項に記載の顕微鏡システム。
【請求項16】
標本が存在する領域の撮像視野で撮像された標本画像と、前記標本が存在しない領域の撮像視野で撮像されたブランク画像と、を複数記憶する記憶ステップと、
前記記憶ステップにおいて記憶されたブランク画像のうち、少なくとも、スライドガラスが存在する領域の撮像視野で撮像されたガラス画像を含む複数のブランク画像に対し、前記複数のブランク画像の各々を構成する画素の画素値を、該画素値の傾斜に対応するバイアス成分と、ノイズに対応するノイズ成分とに分離する画像分離ステップと、
前記ガラス画像が有するバイアス成分と、前記複数のブランク画像の各々が有するノイズ成分から算出された成分とを画素値の成分として有する補正ブランク画像を作成する補正ブランク画像作成ステップと、
前記補正ブランク画像を用いて前記標本画像を校正する画像校正ステップと、
を含むことを特徴とする画像処理方法。
【請求項17】
標本が存在する領域の撮像視野で撮像された標本画像と、前記標本が存在しない領域の撮像視野で撮像されたブランク画像と、を複数記憶する記憶ステップと、
前記記憶ステップにおいて記憶されたブランク画像のうち、少なくとも、スライドガラスが存在する領域の撮像視野で撮像されたガラス画像を含む複数のブランク画像に対し、前記複数のブランク画像の各々を構成する画素の画素値を、該画素値の傾斜に対応するバイアス成分と、ノイズに対応するノイズ成分とに分離する画像分離ステップと、
前記ガラス画像が有するバイアス成分と、前記複数のブランク画像の各々が有するノイズ成分から算出された成分とを画素値の成分として有する補正ブランク画像を作成する補正ブランク画像作成ステップと、
前記補正ブランク画像を用いて前記標本画像を校正する画像校正ステップと、
をコンピュータに実行させることを特徴とする画像処理プログラム。

【図1】
image rotate

【図2】
image rotate

【図3A】
image rotate

【図3B】
image rotate

【図3C】
image rotate

【図4】
image rotate

【図5】
image rotate

【図8】
image rotate

【図9A】
image rotate

【図9B】
image rotate

【図9C】
image rotate

【図10A】
image rotate

【図10B】
image rotate

【図10C】
image rotate

【図13】
image rotate

【図14】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図23】
image rotate

【図24】
image rotate

【図6】
image rotate

【図7】
image rotate

【図11】
image rotate

【図12】
image rotate

【図15】
image rotate

【図21】
image rotate

【図22】
image rotate


【公開番号】特開2013−92636(P2013−92636A)
【公開日】平成25年5月16日(2013.5.16)
【国際特許分類】
【出願番号】特願2011−234393(P2011−234393)
【出願日】平成23年10月25日(2011.10.25)
【出願人】(000000376)オリンパス株式会社 (11,466)
【Fターム(参考)】