説明

バーチャルスライド作成装置

【課題】合焦検出に係る計算量を減らしつつ標本全体として標本に正確に合焦したバーチャルスライドを作成する。
【解決手段】標本を搭載するステージと標本からの光を集光する対物レンズとの光軸方向および光軸に交差する方向の相対位置を調節する移動機構5と、標本の部分画像を取得する撮像部7と、該撮像部7の視野の一部に対応して設定した合焦検出領域の合焦状態を検出する合焦検出部93と、該合焦検出部93により検出された合焦状態に基づき対物レンズとステージとの光軸方向の相対位置を移動機構5に調節させる合焦制御部94と、標本の輪郭を検出する輪郭検出部91と、該輪郭検出部91によって検出された輪郭の位置に基づき合焦検出領域と部分画像の撮影範囲との相対位置を移動機構5により調節させる合焦検出位置制御部92と、撮像部7により取得された複数の部分画像からVSを合成する画像処理部96とを備えるVS作成装置を提供する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、バーチャルスライド作成装置に関するものである。
【背景技術】
【0002】
従来、病理診断において、検体から作成した標本を極めて高い分解能で撮影したバーチャルスライドが利用されている。バーチャルスライドは、観察対象の部分的な高倍率での撮影を、撮影範囲をずらしながら繰り返し行い、取得された複数の部分画像を2次元に配列することにより作成される。このようなバーチャルスライド用の撮像装置として、合焦位置を標本の複数点において事前に測定し、測定した合焦位置をフィティングした面に基づいて合焦調節を行いながら標本の部分的な撮影を行う撮像装置が知られている(例えば、特許文献1参照。)。また、顕微鏡等の合焦状態を検出する際に、計算量を低減するために撮影範囲の一部に対応する合焦検出領域のみにおいて合焦状態を検出することが行われている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】米国特許出願公開第2006/0204072号明細書
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1のように標本上で撮影範囲を移動させながらその一部分である合焦検出領域のみにおいて合焦状態の検出を行った場合、標本の縁部分等においては合焦検出領域の一部にしか標本が含まれないことがある。この状態で合焦状態の検出が行われると、標本が載置されているスライドガラス表面の光軸方向の位置も検出に加味されてしまい、観察対象である標本に対して正確な合焦状態が検出されなくなる。その結果、標本の縁部分等を撮影した部分画像において標本が不鮮明に写されてしまうという問題がある。
【0005】
本発明は、上述した事情に鑑みてなされたものであって、合焦検出に係る計算量を減らしながら標本全体として標本に正確に合焦したバーチャルスライドを作成することができるバーチャルスライド作成装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
上記目的を達成するため、本発明は以下の手段を提供する。
本発明は、標本を搭載するステージと、該ステージ上に搭載された標本からの光を集光する対物レンズと、前記ステージまたは前記対物レンズの少なくとも一方を光軸方向および光軸に交差する方向に相対的に移動させる移動機構と、前記対物レンズにより集光された光を撮影して前記標本の部分的な部分画像を取得する撮像部と、該撮像部の視野の一部に対応する合焦検出領域を設定するとともに該合焦検出領域における合焦状態を検出する合焦検出部と、該合焦検出部により検出された合焦状態に基づいて前記対物レンズと前記ステージとの光軸方向の相対位置を前記移動機構によって調節させる合焦制御部と、前記標本の輪郭を検出する輪郭検出部と、該輪郭検出部によって検出された輪郭の位置に基づいて、前記合焦検出領域と前記部分画像の撮影範囲との相対位置を前記移動機構または前記合焦検出領域により調節させる合焦検出位置制御部と、前記撮像部により取得された複数の部分画像を貼り合わせてバーチャルスライドを合成する画像処理部とを備えるバーチャルスライド作成装置を提供する。
【0007】
本発明によれば、移動機構の作動によりステージおよび対物レンズを光軸に交差する方向に相対的に移動させることによって撮像部による撮影範囲を標本に対して移動させ、標本の部分的な部分画像を撮像部により取得し、取得された複数の部分画像を画像処理部によって貼り合わせて合成することによりバーチャルスライドを作成することができる。
【0008】
各部分画像の取得に際しては、各部分画像の撮影範囲の一部に対応する合焦検出領域の合焦状態が合焦検出部によって検出され、合焦状態が検出される位置に対物レンズとステージとの光軸方向の相対位置が位置決めされるように移動機構が合焦制御部によって作動させられる。これにより、焦点検出に係る計算量を減らすことができる。
【0009】
この場合に、合焦検出位置制御部は、輪郭検出部によって検出された標本の輪郭が撮影範囲に含まれる場合には、輪郭の内側に合焦検出領域が配置されるように、合焦検出部または移動機構によって撮影範囲に対する合焦検出領域の位置を調節する。これにより、合焦検出領域には標本のみが含まれることとなるので、合焦検出部は標本に対して正確に合焦状態を検出することとなり、標本全体にわたって標本に正確に合焦したバーチャルスライドを作成することができる。
【0010】
上記発明においては、前記合焦検出部が、前記撮像部の視野に対して所定位置に前記合焦検出領域を設定し、前記合焦検出位置制御部は、前記部分画像の撮影範囲に前記輪郭が含まれる場合に、前記合焦検出領域が前記輪郭の内側に配置されるように前記移動機構により前記部分画像の撮影範囲を調節することとしてもよい。
このようにすることで、合焦検出部の構成を簡略にすることができる。
【0011】
また、上記発明においては、前記合焦検出部が、前記撮像部の視野に対して異なる位置に前記合焦検出領域を設定可能であり、前記合焦検出位置制御部は、前記部分画像の撮影範囲に前記輪郭が含まれる場合に、前記合焦検出領域が前記輪郭の内側に配置されるように前記合焦検出部により前記合焦検出領域の位置を調節することとしてもよい。
このようにすることで、移動機構は部分画像の撮影範囲を一定の間隔でずらしていけばよいので、移動機構の制御および画像処理部によるバーチャルスライドの合成の位置合わせの処理を簡便にすることができる。
【発明の効果】
【0012】
本発明によれば、合焦検出に係る計算量を減らしながら標本全体として標本に正確に合焦したバーチャルスライドを作成することができるという効果を奏する。
【図面の簡単な説明】
【0013】
【図1】本発明の一実施形態に係るバーチャルスライド作成装置の全体構成図である。
【図2】図1のバーチャルスライド作成装置が備える撮像部の視野と合焦検出領域との関係を示す図である。
【図3】図1のバーチャルスライド作成装置が備える制御ユニットの機能ブロック図である。
【図4】図1のバーチャルスライド作成装置による部分画像取得時の撮影範囲の移動を説明する図である。
【図5】部分画像の撮影範囲に対する合焦検出領域の移動を説明する図であり、(a)標本の縁部に配置された部分画像の撮影範囲と(b)イメージセンサの撮影領域とを示している。
【発明を実施するための形態】
【0014】
本発明の一実施形態に係るバーチャルスライド(VS)作成装置1について、図面を参照して以下に説明する。
本実施形態に係るVS作成装置1は、図1に示されるように、標本Aが貼り付けられたスライドガラス2を載置するステージ3と、該ステージ3上の標本Aからの光を集光する倍率の異なる2つの対物レンズ41,42と、ステージ3を対物レンズ41,42の光軸方向(Z方向)および該光軸方向に直交する2方向(XY方向に)に移動させるモータ(移動機構)5と、標本Aの像を結像させる結像レンズ6と、該結像レンズ6によって結像された標本Aの像を撮影して標本Aの画像を取得するCCDのような撮像部7と、撮像部7により取得された画像を記憶する記憶部8と、ステージ3および撮像部7の動作を制御する制御ユニット9とを備えている。
【0015】
また、本実施形態に係るVS作成装置1は、結像レンズ6によって集光された光を分岐するハーフミラー10と、該ハーフミラー10によって分岐された光を撮像するイメージセンサ11とを備えている。
【0016】
ステージ3は、後述するXY制御部92およびZ制御部94からの移動指令信号に基づいてモータ5によってXY方向およびZ方向に移動させられる。これにより、標本Aの撮影範囲を順次ずらし、また、対物レンズ41,42を標本Aに合焦するZ方向の位置(Z位置)に調節することができる。
【0017】
対物レンズ41,42は、図示しないレボルバに取り付けられ、該レボルバの回転によって標本Aと撮像部7との間の光路に挿入される対物レンズ41,42が切り替え可能になっている。図2は、2つの対物レンズ41,42を使用して撮影される画像の関係を示す図である。倍率が低い方の対物レンズ(以下、広視野対物レンズという。)41は、標本A全体を含む十分に広い視野を有している。倍率が高い方の対物レンズ(以下、高解像対物レンズという。)42は、標本Aの一部分のみを含む広視野対物レンズ41に比べて十分に狭い視野を有している。
【0018】
撮像部7は、広視野対物レンズ41が光路に挿入されているときには標本Aの全体像を含む大きさの第1の視野F1を撮影した広視野画像を取得し、高分解対物レンズ42が光路に挿入されているときは標本Aの一部のみを含む大きさの第2の視野(視野)F2を撮影して部分画像を取得する。撮像部7は、取得した広視野画像および部分画像を制御ユニット9に送信する。
【0019】
イメージセンサ11は、第2の視野F2の一部の領域に対応する合焦検出領域Bを撮影するように構成されている。図2には、合焦検出領域Bとして、第2の視野F2の中心に設定された矩形の領域を例示しているが、合焦検出領域Bの形状および位置は適宜変更することができる。
【0020】
制御ユニット9は、図3に示されるように、広視野画像から標本Aの輪郭を検出する輪郭検出部91と、該輪郭検出部91によって検出された輪郭の位置に基づいてモータ5にXY方向の移動を指令するXY制御部(合焦検出位置制御部)92と、イメージセンサ11から入力された合焦検出領域Bの画像の合焦状態を検出する合焦検出部93と、該合焦検出部93からの検出信号に基づいてモータ5にZ方向の移動を指令するZ制御部(合焦制御部)94と、VS作成装置1の動作を統括的に制御する主制御部95と、記憶部8に記憶された部分画像からVSを生成する画像処理部96とを備えている。
【0021】
輪郭検出部91は、広視野画像から、例えば、輝度の微分値等に基づいて標本Aの輪郭を検出し、広視野画像における輪郭の位置の情報をXY制御部92に出力する。
【0022】
XY制御部92は、ステージ3の移動方向および移動量を指定したXY移動指令信号をモータ5に出力する。このときに、XY制御部92は、予め設定された基本の移動パターンと輪郭検出部91から入力された輪郭の位置の情報とに基づいてステージ3の移動方向および移動量を決定する。
【0023】
具体的には、XY制御部92は、隣接する部分画像の撮影範囲同士が縁部分において所定の重なり幅だけ共有するような一定の移動量でXY方向に順番にステージ3を移動させるように、基本の移動パターンが設定される。ただし、XY制御部92は、部分画像の撮影範囲に標本Aの輪郭が含まれる場合、合焦検出領域Bが輪郭の内側に配置されるように、基本の移動パターンに対して変更された各方向の移動量でステージ3を移動させる。
【0024】
合焦検出部93は、イメージセンサ11によって撮影された合焦検出領域Bの画像のコントラスト値を計算し、算出されたコントラスト値を示す検出信号をZ制御部94に出力する。コントラスト値は、高解像対物レンズ42が標本Aに合焦しているときに最も高くなり、高解像対物レンズ42の合焦位置が標本Aに対してずれるほど低くなる値である。したがって、算出されるコントラスト値が最も大きくなったときに高解像対物レンズ42が標本Aの合焦検出領域Bに合焦している状態であると判断することができる。
【0025】
Z制御部94は、合焦検出部93から入力される検出信号の変化を監視しながらモータ5によってステージ3をZ方向に移動させ、検出信号が最も大きくなるZ位置にステージ3を位置決めする。
【0026】
主制御部95は、広視野画像および部分画像の取得に係る他の構成の一連の動作を制御し、撮像部7によって取得された部分画像を、その取得時点でのステージ3のXY方向の位置情報と対応づけて記憶部8に記憶する。
画像処理部96は、主制御部95による一連の制御が完了して標本A全体にわたって部分画像が取得された後、記憶部8に記憶されている複数の部分画像を読み出し、対応づけて記憶されているステージ3のXY方向の位置情報に従って部分画像を配列することによりVSを生成する。
【0027】
次に、このように構成されたVS作成装置1の作用について以下に説明する。
本実施形態に係るVS作成装置1によれば、まず、主制御部95は、レボルバを回転させることにより広視野対物レンズ41を光路に挿入し、撮像部7によって標本Aの広視野画像を取得する。主制御部95は、取得された広視野画像を輪郭検出部91に入力させる。輪郭検出部91は、入力された広視野画像から標本Aの輪郭を検出する。
【0028】
次に、主制御部95は、光路に高解像対物レンズ42を挿入し、XY制御部92およびZ制御部94によるステージ3の位置決め動作と撮像部7による部分画像の取得動作とを繰り返させる。
【0029】
具体的には、XY制御部92が、ステージ3をXY方向に移動させて標本Aに対して部分画像の撮影範囲を位置決めする。続いて、合焦検出部93およびZ制御部94によって合焦動作を行う。すなわち、合焦検出部93は部分画像の撮影範囲の一部である合焦検出領域Bの合焦状態を検出し、その検出信号に基づいてZ制御部94がステージ3のZ位置を調節する。これにより、高解像対物レンズ42の合焦位置に標本Aが配置される。続いて、主制御部95は撮像部7によって部分画像を取得させる。主制御部95は、取得された部分画像をステージ3のXY方向の位置情報と共に記憶部8に記憶する。
【0030】
ここで、XY制御部92は、部分画像の撮影範囲全体に標本Aまたはスライドガラス2の一方のみが含まれる場合には一定の移動量でステージ3をXY方向に移動させる。一方、XY制御部92は、部分画像の撮影範囲が標本Aを輪郭をまたいでいる場合には、合焦検出領域B全体に標本Aが含まれるようにステージ3のXY方向の各移動量を変更する。これにより、部分画像の撮影範囲は、図4に示されるように、標本Aの中心部分においては端部が一定の重なり幅で重なりながら移動させられ、標本Aの縁部分においては重なり幅がばらつくこととなる。
【0031】
主制御部95は、標本A全体を網羅する複数の部分画像が取得されるまで、XY制御部92によって部分画像の撮影範囲を順番に移動させながら、ステージ3の位置決め動作、合焦動作および部分画像の取得動作を繰り返えさせる。
【0032】
なお、主制御部95は、撮影範囲に標本Aが含まれているときのみ合焦動作を行わせ、撮影範囲に標本Aが含まれていないときには合焦動作を省略して部分画像の取得を行わせてもよい。撮影範囲に標本Aが含まれているか否かの判定は、撮影範囲のコントラスト値に基づいて行われる。すなわち、主制御部95は、撮影範囲のコントラスト値が所定の閾値以上のときには標本Aが含まれると判定し、コントラスト値が所定の閾値よりも小さいときには標本Aが含まれていないと判定する。
【0033】
主制御部95による一連の部分画像の取得の制御が完了した後、画像処理部96は、記憶部8に記憶された部分画像を合成してVSを生成する。
【0034】
このように、本実施形態に係るVS作成装置1によれば、標本Aの縁部分の部分画像が撮影されるときには、合焦検出領域B全体に標本Aが含まれるようにステージ3のXY方向の位置が調節される。これにより、合焦検出部93は標本Aに対して正確な合焦状態を検出することとなるので、高解像対物レンズ42の合焦位置に標本Aが配置されるようにステージ3のZ位置が決定され、それにより、標本A全体にわたって標本Aが鮮明に撮影されたVSを作成することができるという利点がある。
【0035】
なお、本実施形態においては、第2の視野F2に対して合焦検出領域Bの位置が固定され、ステージ3のXY方向の移動によって合焦検出領域Bの位置を標本Aの輪郭に対して調節することとしたが、これに代えて、第2の視野F2に対して合焦検出領域Bを移動させることとしてもよい。合焦検出領域Bの移動は、例えば、イメージセンサ11が第2の視野F2を包含する大きさの撮像面11cを有し、合焦検出部93が該撮像面11c内において合焦検出領域Bと対応する撮影領域Cを移動させることにより行われる。
【0036】
例えば、図5(a)に示されるように、撮影範囲の上部のみに標本Aが含まれる場合、図5(b)に示されるように、イメージセンサ11の撮像面11a内において撮影領域Cを撮影範囲に対して上方に移動させればよい。合焦検出部93は、撮像面11a内に設定された複数の撮影領域を有し、輪郭の位置に応じて合焦検出に用いる撮像領域を1つ選択することとしてもよい。
【0037】
画像処理部96によって部分画像を合成する際に、部分画像同士の継ぎ目が目立ってしまうことを防ぐために、互いに重なり合う端部にスムージング処理を施すことが行われる。この場合、端部の重なり幅が部分画像によって異なると、スムージング処理を適用する領域を部分画像毎に判断する必要が生じ、計算量が増えてしまう。このような不都合に対し、第2の視野F2に対して合焦検出領域Bを移動させることにより一定の移動量で撮影範囲を移動させることが可能となるので、VSを生成する際の計算量の増大を防ぐことができる。
【0038】
また、本実施形態においては、Z制御部94によって位置決めされたステージ3のZ位置の履歴を記憶するZ位置記憶部(図示略)を備え、合焦検出領域Bに標本Aの輪郭が含まれている場合にはZ位置記憶部に記憶されているZ位置の履歴に基づいてステージ3のZ位置を予測して決定することとしてもよい。
【0039】
Z位置記憶部に記憶されたZ位置をフィッティングした面は標本Aの表面の形状を反映したものとなる。したがって、フィッティングした面の勾配等に基づいて未だ撮影していない撮影範囲に対して適切なステージ3のZ位置を計算することができる。このようにすることで、合焦検出領域B全体に標本Aが含まれていない場合でも該標本Aに対して合焦するZ位置にステージ3を調節し、標本Aが十分に鮮明に撮影された部分画像を取得することができる。また、基本の移動パターンに従って一定の移動量で撮影範囲を移動させることができるので、部分画像の端部の重なり幅を一定にし、VSの生成に係る計算量を減らすことができる。
【0040】
また、本実施形態においては、全ての部分画像について、合焦検出部93による合焦状態の検出およびZ制御部94によるステージ3のZ位置の位置決めを行うこととしたが、これに代えて、一部の部分画像についてはユーザによってステージ3のZ位置が決定されることとしてもよい。この場合、VS作成装置1は、上述したように制御ユニット9によってステージ3および撮像部7の動作が制御されるオートフォーカス(AF)モードと、ユーザによってステージ3および撮像部7の動作が制御されるマニュアルフォーカス(MF)モードとを有する。
【0041】
このように構成されたVS作成装置1によれば、まず、MFモードにおいてユーザにより前処理が行われる。すなわち、ユーザは、広視野画像内の標本Aの全体像を観察し、標本A内において自身でステージ3のZ位置を決定したい部分、例えば、ゴミを含む部分や特定の組織を含む部分を選択する。標本Aが厚い切片である場合、例えば、細胞の核を観察対象とする場合に、核以外の部分に合焦されてしまうと核が不鮮明に撮影されてしまう。
【0042】
ユーザは、このように、AFモードでは標本Aの観察対象に対して正確に合焦されない可能性のある部分については自身でステージ3のZ位置を決定する。決定されたZ位置の情報は、そのXY方向の位置と対応付けてZ制御部94に保持される。その後、ユーザは、AFモードに切り替えることにより、上述したようにステージ3の位置決め動作と部分画像の取得動作とを繰り返し行わせる。
【0043】
このときに、Z制御部94は、MFモードによってステージ3のZ位置が決定されたXY方向の位置を含む撮影範囲については、合焦動作を省略してユーザにより決定されたZ位置にステージ3を調節し、他の撮影範囲については合焦検出部93によって検出される合焦状態に基づいてステージ3のZ位置を調節する。
このようにすることで、AFモードのみでは標本Aの観察対象に正確に合焦させることが困難な部分についても観察対象を鮮明に撮影することができる。
【0044】
また、本実施形態においては、移動機構としてステージ3を3軸方向に移動させるモータ5について説明したが、移動機構の構成はこれに限定されるものではない。例えば、移動機構がレボルバを3軸方向に移動させるモータによって構成され、位置が固定されたステージ3に対して対物レンズ41,42が3軸方向に移動させられることとしてもよい。または、移動機構が、ステージ3をXY方向に移動させる第1のモータとレボルバをZ方向に移動させる第2のモータとによって構成されていてもよい。
【符号の説明】
【0045】
1 バーチャルスライド作成装置
2 スライドガラス
3 ステージ
5 モータ(移動機構、焦点調節機構)
6 結像レンズ
7 撮像部
8 記憶部
9 制御ユニット
10 ハーフミラー
11 イメージセンサ
11a 撮像面
41 広視野対物レンズ
42 高解像対物レンズ(対物レンズ)
91 輪郭検出部
92 XY制御部(合焦検出位置制御部)
93 合焦検出部
94 Z制御部(合焦制御部)
95 主制御部
96 画像処理部
A 標本
B 合焦検出領域
C 撮影領域
F1 第1の視野
F2 第2の視野

【特許請求の範囲】
【請求項1】
標本を搭載するステージと、
該ステージ上に搭載された標本からの光を集光する対物レンズと、
前記ステージまたは前記対物レンズの少なくとも一方を光軸方向および光軸に交差する方向に相対的に移動させる移動機構と、
前記対物レンズにより集光された光を撮影して前記標本の部分的な部分画像を取得する撮像部と、
該撮像部の視野の一部に対応する合焦検出領域を設定するとともに該合焦検出領域における合焦状態を検出する合焦検出部と、
該合焦検出部により検出された合焦状態に基づいて前記対物レンズと前記ステージとの光軸方向の相対位置を前記移動機構によって調節させる合焦制御部と、
前記標本の輪郭を検出する輪郭検出部と、
該輪郭検出部によって検出された輪郭の位置に基づいて、前記合焦検出領域と前記部分画像の撮影範囲との相対位置を前記移動機構または前記合焦検出領域により調節させる合焦検出位置制御部と、
前記撮像部により取得された複数の部分画像を貼り合わせてバーチャルスライドを合成する画像処理部とを備えるバーチャルスライド作成装置。
【請求項2】
前記合焦検出部が、前記撮像部の視野に対して所定位置に前記合焦検出領域を設定し、
前記合焦検出位置制御部は、前記部分画像の撮影範囲に前記輪郭が含まれる場合に、前記合焦検出領域が前記輪郭の内側に配置されるように前記移動機構により前記部分画像の撮影範囲を調節する請求項1に記載のバーチャルスライド作成装置。
【請求項3】
前記合焦検出部が、前記撮像部の視野に対して異なる位置に前記合焦検出領域を設定可能であり、
前記合焦検出位置制御部は、前記部分画像の撮影範囲に前記輪郭が含まれる場合に、前記合焦検出領域が前記輪郭の内側に配置されるように前記合焦検出領域の位置を調節する請求項1に記載のバーチャルスライド作成装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate