説明

バーチャルスライド作成装置およびバーチャルスライド作成方法

【課題】観察対象に起伏が存在しても、隣接して取得された顕微鏡画像間の境界を目立たなくして、全体として鮮明なバーチャルスライドを作成する。
【解決手段】標本Aを搭載するステージ3と、標本Aからの光を集光する対物レンズ4と、ステージ3および対物レンズ4の少なくとも一方を対物レンズ4の光軸に交差する方向に相対的に移動させる相対移動機構12と、標本Aの部分画像を取得する撮像部6と、各部分画像の撮影範囲内の少なくとも2カ所において合焦状態を検出する合焦検出部10と、検出された2カ所の合焦状態に基づいて物レンズ4の光軸に対する撮像部6の角度を調節する角度調節部11と、取得された複数枚の部分画像を貼り合わせてバーチャルスライドを合成する画像処理部8とを備えるバーチャルスライド作成装置1を提供する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、バーチャルスライド作成装置およびバーチャルスライド作成方法に関するものである。
【背景技術】
【0002】
従来、病理診断等の医療の現場では、組織や細胞等の観察対象のごく一部の限定された微細構造を把握するだけでなく、観察対象の全体像も把握しながら診断を行う必要があり、全体像と微細な観察像とを効率的に観察する手法としてバーチャルスライドが知られている(例えば、特許文献1参照。)。
バーチャルスライドは、観察対象の各部を部分的に撮影した高倍率の顕微鏡画像の撮影を、撮影範囲が部分的に重なるようにずらして繰り返し行い、取得された複数枚の顕微鏡画像を画像処理してズレのないように貼り合わせることにより、仮想的に、観察対象全体を一度に撮影したようなスライド画像を観察可能にするものである。
【0003】
また、一般的な撮影技術として、観察対象にピントを合わせるための種々のオートフォーカス装置が知られている(例えば、特許文献2および特許文献3参照。)。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2007−17930号公報
【特許文献2】特開平5−93845号公報
【特許文献3】特開2002−365524号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、観察対象全体を複数の部分に分けて、各部の顕微鏡画像を別個に取得するバーチャルスライドにおいて、各顕微鏡画像の取得に際して特許文献2または特許文献3のオートフォーカス装置を用いる場合には、以下の問題がある。
すなわち、複数枚の顕微鏡画像を貼り合わせるバーチャルスライドにおいては、各部の顕微鏡画像の所定位置(例えば中心位置)における合焦を最大限に達成するだけでは、観察対象全体の鮮明なバーチャルスライドを得ることはできない。
【0006】
例えば、観察対象の起伏、ステージやスライドガラスの傾きまたはセンサの傾き等によって、一の顕微鏡画像の撮影範囲において、一端と他端との間に高低差が存在する場合には、中心のみの合焦を達成しただけでは両端部の合焦が失われ、隣接する他の撮影範囲を撮影した顕微鏡画像と貼り合わせたときに、境界のはっきりしたバーチャルスライドが作成されてしまうという不都合がある。
【0007】
本発明は上述した事情に鑑みてなされたものであって、観察対象に起伏が存在しても、隣接して取得された顕微鏡画像間の境界を目立たなくして、全体として鮮明なバーチャルスライドを作成することができるバーチャルスライド作成装置およびバーチャルスライド作成方法を提供することを目的としている。
【課題を解決するための手段】
【0008】
上記目的を達成するために、本発明は以下の手段を提供する。
本発明は、標本を搭載するステージと、該ステージ上に搭載された標本からの光を集光する対物レンズと、前記ステージおよび前記対物レンズの少なくとも一方を該対物レンズの光軸に交差する方向に相対的に移動させる相対移動機構と、前記対物レンズにより集光された光を撮影して標本の部分的な部分画像を取得する撮像部と、該撮像部による各部分画像の撮影範囲内の少なくとも2カ所において合焦状態を検出する合焦検出部と、該合焦検出部により検出された2カ所の合焦状態に基づいて前記ステージに対する前記対物レンズの光軸の角度または前記対物レンズの光軸に対する前記撮像部の角度を調節する角度調節部と、前記撮像部により取得された複数枚の部分画像を貼り合わせてバーチャルスライドを合成する画像処理部とを備えるバーチャルスライド作成装置を提供する。
【0009】
本発明によれば、相対移動機構の作動によりステージおよび対物レンズを相対的に移動させることによって撮像部による撮影範囲を標本に対して移動させて、標本各部の部分的な部分画像を撮像部により取得し、取得された複数枚の部分画像を画像処理部によって貼り合わせて合成することによりバーチャルスライドを作成することができる。各部分画像の取得に際しては、合焦検出部により、各部分画像の撮影範囲内の少なくとも2カ所の合焦状態を検出することにより、撮影範囲の傾きを検出することができ、角度調節部によって対物レンズの光軸の角度または対物レンズの光軸に対する撮像部の角度を調節することで、撮影範囲の傾きを補償することができる。これにより、標本の起伏等によって撮影範囲が一方向に傾斜していても、各部分画像の両端におけるピントのずれによるボケを抑制して、相互に隣接する部分画像の境界を目立たなくし、全体として鮮明なバーチャルスライドを作成することができる。
【0010】
上記発明においては、前記角度調節部が、前記ステージに対する前記対物レンズの光軸の角度を調節し、該角度調節部による角度の調節による前記標本上の焦点位置の変位を補償する焦点補償部を備えていてもよい。
このようにすることで、角度調節部の作動によってステージに対する対物レンズの光軸の角度を調節することにより、撮影範囲の傾きを補償することができる。この場合に、傾きの補償によって焦点位置が変動しても、焦点補償部によって焦点位置の変位を補償するので、傾き補償動作の前後において焦点位置のズレを抑制することができる。
【0011】
また、上記発明においては、前記焦点補償部が、前記対物レンズの光軸の角度調節による前記焦点位置の移動方向とは逆方向に、前記対物レンズを移動させてもよい。
このようにすることで、対物レンズの光軸の角度調節によって焦点位置が移動しても、その逆方向に対物レンズを移動することで、焦点位置のズレを軽減することができる。すなわち、対物レンズの光軸方向および光軸に交差する方向のいずれにも対物レンズを移動させることによって、焦点位置のズレを抑制し、傾き補償動作の前後における焦点位置のズレを抑制することができる。
【0012】
また、上記発明においては、前記焦点補償部が、前記対物レンズの光軸の角度調節による前記焦点位置の移動方向と同方向に、前記ステージを移動させてもよい。
このようにすることで、対物レンズの光軸の角度調節によって焦点位置が移動しても、それと同じ方向にステージを移動することで、焦点位置のズレを軽減することができる。
【0013】
また、本発明は、ステージに搭載した標本からの光を対物レンズによって集光し撮像部により撮影して、前記標本の複数枚の部分画像を取得する撮像ステップと、該撮像ステップにおいて取得された複数枚の部分画像を貼り合わせてバーチャルスライドを合成する合成ステップとを含み、前記撮像ステップが、撮像部による各部分画像の撮影範囲内の少なくとも2カ所において合焦状態を検出する合焦検出ステップと、検出された2カ所の合焦状態に基づいて、前記ステージに対する前記対物レンズの光軸の角度または前記対物レンズの光軸に対する前記撮像部の角度を調節する角度調節ステップとを含むバーチャルスライド作成方法を提供する。
【0014】
本発明によれば、撮像ステップにおいて取得された複数枚の標本の部分画像を合成ステップにおいて貼り合わせ留ことによりバーチャルスライドが作成される。撮像に際しては、合焦検出ステップにおいて検出された各部分画像の撮影範囲内の少なくとも2カ所における合焦状態に基づいて、角度調節ステップにおいて、ステージに対する対物レンズの光軸の角度または対物レンズの光軸に対する撮像部の角度を調節することにより、標本の起伏等によって撮影範囲が一方向に傾斜していても、各部分画像の両端におけるピントのずれによるボケを抑制して、相互に隣接する部分画像の境界を目立たなくし、全体として鮮明なバーチャルスライドを作成することができる。
【0015】
上記発明においては、前記角度調節ステップが、前記ステージに対する前記対物レンズの光軸の角度を調節し、該角度調節ステップによる角度の調節による前記標本上の焦点位置の変位を補償する補償ステップを含んでいてもよい。
また、上記発明においては、前記補償ステップが、前記対物レンズの光軸の角度調節による前記焦点位置の移動方向とは逆方向に、前記対物レンズを移動させてもよい。
また、上記発明においては、前記補償ステップが、前記対物レンズの光軸の角度調節による前記焦点位置の移動方向と同方向に、前記ステージを移動させてもよい。
【発明の効果】
【0016】
本発明によれば、観察対象に起伏が存在しても、隣接して取得された顕微鏡画像間の境界を目立たなくして、全体として鮮明なバーチャルスライドを作成することができるという効果を奏する。
【図面の簡単な説明】
【0017】
【図1】本発明の一実施形態に係るバーチャルスライド作成装置を模式的に示す全体構成図である。
【図2】図1のバーチャルスライド作成装置による合焦状態の検出を説明する図である。
【図3】図1のバーチャルスライド作成装置を用いたバーチャルスライド作成方法を示すフローチャートである。
【図4】図1のバーチャルスライド作成装置の第1の変形例を示す全体構成図である。
【図5】図1のバーチャルスライド作成装置の第2の変形例を示す全体構成図である。
【図6】図1のバーチャルスライド作成装置によりライン状の領域を撮影範囲とする場合の合焦状態の検出を説明する図である。
【図7】標本の像を撮像するイメージセンサの2つの撮像領域での前ピント位置と後ピント位置のコントラスト値の特性を夫々示すグラフである。
【図8】図7に示す後ピント位置のコントラスト値から前ピント位置のコントラスト値の差分特性を示すグラフである。
【発明を実施するための形態】
【0018】
本発明の一実施形態に係るバーチャルスライド作成装置1について、図面を参照して以下に説明する。
本実施形態に係るバーチャルスライド作成装置1は、図1に示されるように、スライドガラス2に載置された標本Aを載置するステージ3と、ステージ3上の標本Aからの光を集光する対物レンズ4と、標本A上の像を結像させる結像レンズ5と、該結像レンズ5によって結像された標本A上の像を撮影して標本Aの部分的な部分画像を取得するCCDのような撮像部6と、撮像部6により取得された部分画像を記憶する記憶部7と、記憶部7に記憶された複数枚の部分画像を合成してバーチャルスライドを生成する制御部(画像処理部)8とを備えている。
【0019】
また、本実施形態に係るバーチャルスライド作成装置1は、結像レンズ5によって集光された光を分岐するハーフミラー9と、該ハーフミラー9によって分岐された光を用いて合焦状態を検出する合焦検出部10と、該合焦検出部10による検出結果に基づいて、撮像部6の角度を調節する角度調節部11とを備えている。
【0020】
ステージ3は、制御部8からの指令信号に基づいて、モータ(相対移動機構)12により対物レンズ4の光軸に直交する方向に移動可能に設けられている。ステージ3の作動により、ステージ3に載置した標本Aを対物レンズ4に対して、対物レンズ4の光軸に直交する2方向(XY方向)に移動させることができる。これにより、標本Aにおける撮影範囲を順次ずらすことができるようになっている。また、ステージ3は撮影範囲全体の合焦状態を調節するために対物レンズ4の光軸方向(Z方向)にも移動可能に設けられている。
【0021】
対物レンズ4は、図2に示されるように、標本A上の部分的な領域Bの部分画像を撮像部6により取得するような倍率を有している。
撮像部6は、取得した標本Aの部分画像を制御部8に送信するようになっている。
【0022】
また、制御部8は、画像取得に先立って、合焦検出部10から送られてくる合焦状態を示す情報に基づいて、ステージ3に対して対物レンズ4の光軸方向への移動指令信号を出力するとともに、角度調節部11に対しても移動指令信号を出力するようになっている。
合焦検出部10は、図1に示されるように、ハーフミラー9によって分岐された光路に配置された3つの光路差プリズム13(図1には2つのみ表示している。)と、各光路差プリズム13によって分割された2つの平行な光線をそれぞれ受光するイメージセンサ14とを備えている。
【0023】
各光路差プリズム13によって分割された2つの光線によって予定焦点面前方および予定焦点面後方の像がイメージセンサ14の受光面上に投影され、そのコントラスト差に応じて各位置における合焦状態を検出することができるようになっている。
例えば、3つの光路差プリズム13は、図2に示す例では、部分画像の撮影範囲の中心から等距離の位置に等間隔で配置された3カ所の領域C,C,Cにそれぞれ対応しており、これらの合焦状態を別々に検出することによって、標本Aの表面における傾きを検出することができるようになっている。
【0024】
特に、光路差プリズム13とイメージセンサ14を用いた光路差方式の合焦検出部10により、対物レンズ4とステージ3とを光軸方向に移動させることなく、その合焦状態を瞬時に検出することができるようになっている。
具体的に、この点について、図7および図8を用いて説明する。
【0025】
図7は標本Aの像を撮像するイメージセンサ14の2つの撮像領域14a,14bでの前ピント位置と後ピント位置のコントラスト値の特性を夫々示すグラフである。
図8は図7に示す後ピント位置のコントラスト値から前ピント位置のコントラスト値の差分特性を示すグラフである。
【0026】
図7は、図1におけるイメージセンサ14の撮像領域14a(14a)で撮像された画像のコントラスト値をP、イメージセンサ14の撮像領域14b(14b)で撮像された画像のコントラスト値をQと示している。また、図7中、Fは合焦位置である。
図8に示されるように、合焦位置Fでは、これらのコントラスト値の差P−Qがゼロになる。また、図8に示されるように、合焦位置F近傍(図中の点線部分)では、合焦位置FからのZ方向へのずれの度合いに比例して変位信号が直線状に変化する。このため、イメージセンサ14が2つの撮像領域14a(14a),14b(14b)で撮像した時点の位置から合焦位置Fまでの方向(Z方向)及び距離を予測することが可能となる。この予測は、図2に示す3カ所の領域C,C,Cに対して行う。
【0027】
すなわち、イメージセンサ14は、第1の領域C(図2参照)に対応する撮像領域14a,14bでの前ピント位置と後ピント位置のコントラスト値に基づいて、第1の領域Cの合焦状態を表す信号を出力する。また、イメージセンサ14は、第2の領域C(図2参照)に対応する撮像領域14a,14bでの前ピント位置と後ピント位置のコントラスト値に基づいて、第2の領域Cの合焦状態を表す信号を出力する。さらに、イメージセンサ14は、第3の領域C(図2参照)に対応する図示しない2つの撮像領域での前ピント位置と後ピント位置のコントラスト値に基づいて、第3の領域Cの合焦状態を表す信号を出力する。
【0028】
制御部8は、イメージセンサ14から出力されてきた3カ所の合焦状態を表す信号を受けると、標本A表面の傾きを算出し、これを補正するように角度調節部11に対して、図1に鎖線で示されるように、撮像部6を傾斜させるための角度指令信号を出力するようになっている。角度調節部11は、例えば、ピエゾ素子により構成され、撮像部6の撮像面の角度を任意の方向に傾斜させることができるようになっている。
【0029】
また、制御部8は、角度調節部11による撮像部6の撮像面の角度調節およびステージ3による合焦動作が終了した時点で、撮像部6から送られてきている標本Aの部分画像を、その取得時点でのステージ3の位置情報と対応づけて記憶部7に記憶するようになっている。
また、制御部8は、記憶部7に記憶されている複数枚の部分画像を読み出して、対応づけて記憶されているステージ3の位置情報に従って配列することにより、バーチャルスライドを生成するようになっている。
【0030】
このように構成された本実施形態に係るバーチャルスライド作成装置1を用いたバーチャルスライド作成方法について、以下に説明する。
本実施形態に係るバーチャルスライド作成装置1を用いてバーチャルスライドを作成するには、図3に示されるように、撮像ステップS1において、標本Aの各部の部分画像を取得し、合成ステップS3において、複数枚の部分画像を合成してバーチャルスライドを生成する。
【0031】
撮像ステップS1においては、制御部8が、予め設定された動作パターンでステージ3を、対物レンズ4の光軸に直交する方向に移動させ、標本A上の所定位置に撮影範囲を位置決めする(ステップS11)。
この状態で、イメージセンサ14によって、撮影範囲内の間隔を空けた3カ所の領域Cの合焦状態を検出し(ステップS12)、検出結果に基づいて、制御部8が、撮影範囲内における標本Aの表面の傾きを算出する(ステップS13)。
【0032】
制御部8は、算出された標本Aの表面の傾きに基づいて、角度調節部11を作動させ、撮像部6を傾斜させることで、標本Aの表面の傾きによる部分画像の端部のボケを補正する(ステップS14)。また、撮影範囲全体の合焦状態については、ステージ3を対物レンズ4の光軸方向に移動させることにより補正する。
【0033】
そして、角度調節部11の作動およびステージ3の作動が終了した時点で、撮像部6による撮影が行われて、標本Aの撮影範囲の部分画像が取得され(ステップS15)、取得された部分画像がステージ3の位置情報と共に記憶部7に記憶される(ステップS16)。
上記撮像ステップS1が、標本A全体を網羅する複数枚の部分画像を取得し終わるまで繰り返され(ステップS2)、その後に、部分画像の合成によるバーチャルスライドの生成が行われる(ステップS3)。
【0034】
このように、本実施形態に係るバーチャルスライド作成装置1およびバーチャルスライド作成方法によれば、標本Aの起伏等によって、各撮影範囲内に配置される標本Aの表面が傾いていた場合においても、これを補正して部分画像の端部におけるボケを抑制するので、ステップS3において合成される部分画像どうしの境界を目立たなくして、全体として鮮明なバーチャルスライドを作成することができるという利点がある。
【0035】
なお、本実施形態においては、標本Aの表面の傾きを検出して、撮像部6を傾斜させることとしたが、これに代えて、図4に示されるように、ステージ3に対する対物レンズ4の光軸の傾斜角度を調節することにしてもよい。図中、符号15は角度調節部であり、例えば、円環状のピエゾ素子により構成され、対物レンズ4を鎖線で示されるように任意の方向に傾斜させることができる。
【0036】
この場合には、対物レンズ4の光軸の角度の変化とともに、焦点位置が、ステージ3の表面に沿う方向およびステージ3の表面に直交する方向のいずれにも変位するので、その変位と同方向にステージ3を移動させることが好ましい。なお、本実施形態では、ステージ3を水平方向および鉛直方向に移動させるモータ12を焦点補償部としたが、これに限らず、モータ12とは別の駆動部を設けて、それを焦点補償部としてもよい。これにより、傾き補正によって撮影範囲がずれたり、合焦状態がずれたりしてしまうのを防止することができる。
【0037】
また、対物レンズ4の傾きによる焦点位置のズレをステージ3の移動によって補正することに代えて、対物レンズ4自体を光軸方向および光軸に交差する方向に移動させることで焦点位置のズレを防止することとしてもよい。この場合には、対物レンズ4の傾きによる焦点位置の変位の方向と逆方向に対物レンズ4を移動させることにすればよい。この場合、対物レンズ4を水平方向および鉛直方向に移動させる焦点補償部として、モータ12とは別の駆動部を設ける。
また、図5に示されるように、対物レンズ4の光軸を固定したままの状態で、ステージ3の傾きを調節することにしてもよい。図中、符号16は角度調節部である。
【0038】
また、本実施形態においては、撮像部6により取得する部分画像として図2に示されるような2次元的な領域Bを撮影範囲とする場合を例示したが、これに代えて、図6に示されるように、直線状に延びる1次元的なライン状の領域Dを撮影範囲としてもよい。この場合には、ライン状の領域D上の間隔を空けた2カ所の領域Eの合焦状態を検出するで、領域D内の標本Aの傾きを検出することができる。
【0039】
また、本実施形態においては、全ての部分画像を取得して記憶部7に記憶した後に、これらを合成してバーチャルスライドを生成することとしたが、これに代えて、部分画像が取得される毎に、順次バーチャルスライドを合成することにしてもよい。
また、本実施形態においては、光路差方式の合焦検出部10を採用したが、これに代えて、他の任意の方式のものを採用してもよい。
また、ステージ3により走査する方式のものを例示したが、これに代えて、ガルバノミラー等のスキャナによって走査する方式のものを採用してもよい。
【0040】
また、本実施形態においては、2次元的な部分画像を取得する場合は、撮影範囲内の3カ所の領域Cを、1次元的な部分画像を取得する場合には、撮影班以内の2カ所の領域Eをにおける合焦状態を検出することとしたが、2次元的な部分画像の場合は3カ所以上、1次元的な部分画像の場合は2カ所以上の合焦状態を検出すればよい。
【符号の説明】
【0041】
A 標本
1 バーチャルスライド作成装置
3 ステージ
4 対物レンズ
6 撮像部
8 制御部(画像処理部)
10 合焦検出部
11,15,16 角度調節部
12 モータ(相対移動機構)

【特許請求の範囲】
【請求項1】
標本を搭載するステージと、
該ステージ上に搭載された標本からの光を集光する対物レンズと、
前記ステージおよび前記対物レンズの少なくとも一方を該対物レンズの光軸に交差する方向に相対的に移動させる相対移動機構と、
前記対物レンズにより集光された光を撮影して標本の部分的な部分画像を取得する撮像部と、
該撮像部による各部分画像の撮影範囲内の少なくとも2カ所において合焦状態を検出する合焦検出部と、
該合焦検出部により検出された2カ所の合焦状態に基づいて前記ステージに対する前記対物レンズの光軸の角度または前記対物レンズの光軸に対する前記撮像部の角度を調節する角度調節部と、
前記撮像部により取得された複数枚の部分画像を貼り合わせてバーチャルスライドを合成する画像処理部とを備えるバーチャルスライド作成装置。
【請求項2】
前記角度調節部が、前記ステージに対する前記対物レンズの光軸の角度を調節し、
該角度調節部による角度の調節による前記標本上の焦点位置の変位を補償する焦点補償部を備える請求項1に記載のバーチャルスライド作成装置。
【請求項3】
前記焦点補償部が、前記対物レンズの光軸の角度調節による前記焦点位置の移動方向とは逆方向に、前記対物レンズを移動させる請求項2に記載のバーチャルスライド作成装置。
【請求項4】
前記焦点補償部が、前記対物レンズの光軸の角度調節による前記焦点位置の移動方向と同方向に、前記ステージを移動させる請求項2に記載のバーチャルスライド作成装置。
【請求項5】
ステージに搭載した標本からの光を対物レンズによって集光し撮像部により撮影して、前記標本の複数枚の部分画像を取得する撮像ステップと、
該撮像ステップにおいて取得された複数枚の部分画像を貼り合わせてバーチャルスライドを合成する合成ステップとを含み、
前記撮像ステップが、撮像部による各部分画像の撮影範囲内の少なくとも2カ所において合焦状態を検出する合焦検出ステップと、検出された2カ所の合焦状態に基づいて、前記ステージに対する前記対物レンズの光軸の角度または前記対物レンズの光軸に対する前記撮像部の角度を調節する角度調節ステップとを含むバーチャルスライド作成方法。
【請求項6】
前記角度調節ステップが、前記ステージに対する前記対物レンズの光軸の角度を調節し、
該角度調節ステップによる角度の調節による前記標本上の焦点位置の変位を補償する補償ステップを含む請求項5に記載のバーチャルスライド作成方法。
【請求項7】
前記補償ステップが、前記対物レンズの光軸の角度調節による前記焦点位置の移動方向とは逆方向に、前記対物レンズを移動させる請求項6に記載のバーチャルスライド作成方法。
【請求項8】
前記補償ステップが、前記対物レンズの光軸の角度調節による前記焦点位置の移動方向と同方向に、前記ステージを移動させる請求項6に記載のバーチャルスライド作成方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate