バーチャル顕微鏡システム
【課題】染色標本を撮像した染色標本画像とスペクトルの統計データとを短時間で取得できるバーチャル顕微鏡システムを提供する。
【解決手段】染色標本11の１バンド以上の染色標本画像を取得する画像取得部110と、染色標本画像の１以上の所定部分のスペクトルを取得するスペクトル取得部130と、画像取得部110が染色標本画像を取得する毎に、スペクトル取得部130により当該染色標本画像のスペクトルを取得し得るように、画像取得部110およびスペクトル取得部130に対して染色標本を経た光束の光路を設定する光路設定部150と、染色標本11のバーチャルスライドとスペクトルテーブルとを作成するように、染色標本11の２以上の観察視野において、画像取得部110による染色標本画像の取得と、スペクトル取得部130による当該染色標本画像のスペクトル取得とを繰り返すように制御する制御部210と、を備える。
【解決手段】染色標本11の１バンド以上の染色標本画像を取得する画像取得部110と、染色標本画像の１以上の所定部分のスペクトルを取得するスペクトル取得部130と、画像取得部110が染色標本画像を取得する毎に、スペクトル取得部130により当該染色標本画像のスペクトルを取得し得るように、画像取得部110およびスペクトル取得部130に対して染色標本を経た光束の光路を設定する光路設定部150と、染色標本11のバーチャルスライドとスペクトルテーブルとを作成するように、染色標本11の２以上の観察視野において、画像取得部110による染色標本画像の取得と、スペクトル取得部130による当該染色標本画像のスペクトル取得とを繰り返すように制御する制御部210と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、染色標本を撮像した染色標本画像から染色標本のスペクトルを推定するバーチャル顕微鏡システムに関するものである。
【背景技術】
【０００２】
被写体に固有の物理的性質を表す物理量の一つに、分光透過率スペクトルがある。分光透過率は、各波長における入射光に対する透過光の割合を表す物理量であり、照明光の変化に依存するＲＧＢ値等の色情報とは異なり、外因的影響によって値が変化しない物体固有の情報である。このため、分光透過率は、被写体自体の色を再現するための情報として様々な分野で利用されている。例えば、生体組織標本、特に病理標本を用いた病理診断の分野では、標本を撮像した画像の解析に分光特性値の一例として分光透過率が利用されている。以下、病理診断における分光透過率の利用例について、さらに詳細に説明する。
【０００３】
病理診断における病理検査の一つとして、病変部位の組織を採取して顕微鏡で観察することにより、病気の診断または病変の拡大の程度を調べる組織診が知られている。この組織診は、生検（バイオプシー）とも呼ばれ、臓器摘出によって得たブロック標本や針生検によって得た病理標本を、厚さ数ミクロン程度に薄切りした後、様々な所見を得るために顕微鏡を用いて拡大観察することが広く行われている。なかでも、光学顕微鏡を用いた透過観察は、機材が比較的安価で取り扱いが容易である上、歴史的に古くから行われてきたこともあって、最も普及している観察方法の一つである。この場合、薄切りされた標本は、光を殆ど吸収および散乱せず無色透明に近いため、観察に先立って色素による染色を施すのが一般的である。
【０００４】
染色手法としては、種々のものが提案されており、その総数は１００種類以上にも達するが、特に病理標本に関しては、色素として青紫色のヘマトキシリンと赤色のエオジンの２つを用いるヘマトキシリン−エオジン染色（以下、「ＨＥ染色」と称す）が標準的に用いられている。
【０００５】
ヘマトキシリンは、植物から採取された天然の物質であり、それ自身には染色性はない。しかし、その酸化物であるヘマチンは、好塩基性の色素であり、負に帯電した物質と結合する。細胞核に含まれるデオキシリボ核酸（ＤＮＡ）は、構成要素として含むリン酸基によって負に帯電しているため、ヘマチンと結合して青紫色に染色される。なお、前述の通り、染色性を有するのはヘマトキシリンではなく、その酸化物であるヘマチンであるが、色素の名称としてはヘマトキシリンを用いるのが一般的であるため、以下それに従う。
【０００６】
一方、エオジンは、好酸性の色素であり、正に帯電した物質と結合する。アミノ酸やタンパク質が正負どちらに帯電するかは、ｐＨ環境に影響を受け、酸性下では正に帯電する傾向が強くなる。このため、エオジン溶液に酢酸を加えて用いることがある。細胞質に含まれるタンパク質は、エオジンと結合して赤から薄赤に染色される。
【０００７】
ＨＥ染色後の標本（染色標本）では、細胞核や骨組織等が青紫色に、細胞質や結合組織、赤血球等が赤色に染色され、容易に視認できるようになる。この結果、観察者は、細胞核等の組織を構成する要素の大きさや位置関係等を把握でき、標本の状態を形態学的に判断することが可能となる。
【０００８】
染色された標本の観察は、観察者の目視によるものの他、この染色された標本をマルチバンド撮像して外部装置の表示画面に表示することによっても行われている。表示画面に表示する場合には、撮像したマルチバンド画像から標本各点の分光透過率を推定する処理や、推定した分光透過率をもとに標本を染色している色素の色素量を推定する処理等が行われ、表示用の標本のＲＧＢ画像である表示画像が合成される。
【０００９】
標本のマルチバンド画像から標本各点の分光透過率を推定する手法としては、例えば、主成分分析による推定法や、ウィナー（Wiener）推定による推定法等が挙げられる。ウィナー推定は、ノイズの重畳された観測信号から原信号を推定する線形フィルタ手法の一つとして広く知られており、観測対象の統計的性質とノイズ（観測ノイズ）の特性とを考慮して誤差の最小化を行う手法である。カメラからの信号には、何らかのノイズが含まれるため、ウィナー推定は原信号を推定する手法として極めて有用である。
【００１０】
以下、標本のマルチバンド画像から表示画像を合成したバーチャルスライドを作成する方法について説明する。ここで、バーチャルスライドとは、顕微鏡装置によってマルチバンド撮像した１枚以上の画像を繋ぎ合せて生成した画像であり、例えば高倍率の顕微鏡対物レンズを用いて染色標本を部分毎に撮像した複数の高解像画像を繋ぎ合せて生成した画像であって、染色標本の全域を映した広視野でかつ高精細のマルチバンド画像のことを言う。
【００１１】
先ず、標本のマルチバンド画像を撮像する。例えば、１６枚のバンドパスフィルタをフィルタホイールで回転させて切り替えながら、面順次方式でマルチバンド画像を撮像する。これにより、標本の各点において１６バンドの画素値を有するマルチバンド画像が得られる。なお、色素は、本来、観察対象となる標本内に３次元的に分布しているが、通常の透過観察系ではそのまま３次元像として捉えることはできず、標本内を透過した照明光をカメラの撮像素子上に投影した２次元像として観察される。したがって、ここでいう各点は、投影された撮像素子の各画素に対応する標本上の点を意味している。
【００１２】
ここで、撮像されたマルチバンド画像の任意の点（画素）ｘについて、バンドｂにおける画素値ｇ（ｘ，ｂ）と、対応する標本上の点の分光透過率ｔ（ｘ，λ）との間には、カメラの応答システムに基づく次式（１）の関係が成り立つ。
【００１３】
【数１】
【００１４】
式（１）において、λは波長、ｆ（ｂ，λ）はｂ番目のフィルタの分光透過率、ｓ（λ）はカメラの分光感度特性、ｅ（λ）は照明の分光放射特性、ｎ（ｂ）はバンドｂにおける観測ノイズをそれぞれ表す。ｂはバンドを識別する通し番号であり、ここでは１≦ｂ≦１６を満たす整数値である。実際の計算では、式（１）を波長方向に離散化した次式（２）が用いられる。
G(x)=FSET(x)＋N ・・・（２）
【００１５】
式（２）において、波長方向のサンプル点数をＤ、バンド数をＢ（ここではＢ＝１６）とすれば、Ｇ（ｘ）は、点ｘにおける画素値ｇ（ｘ，ｂ）に対応するＢ行１列の行列である。同様に、Ｔ（ｘ）は、ｔ（ｘ，λ）に対応するＤ行１列の行列、Ｆは、ｆ（ｂ，λ）に対応するＢ行Ｄ列の行列である。一方、Ｓは、Ｄ行Ｄ列の対角行列であり、対角要素がｓ（λ）に対応している。同様に、Ｅは、Ｄ行Ｄ列の対角行列であり、対角要素がｅ（λ）に対応している。Ｎは、ｎ（ｂ）に対応するＢ行１列の行列である。なお、式（２）では、行列を用いて複数のバンドに関する式を集約しているため、バンドを表す変数ｂが記述されていない。また、波長λに関する積分は、行列の積に置き換えられている。
【００１６】
ここで、表記を簡単にするため、次式（３）で定義される行列Ｈを導入する。この行列Ｈはシステム行列とも呼ばれる。
H=FSE ・・・（３）
【００１７】
よって、式（３）は、次式（４）に置き換えられる。
G(x)=HT(x)＋N ・・・（４）
【００１８】
次に、ウィナー推定を用いて、撮像したマルチバンド画像から標本各点における分光透過率を推定する。分光透過率の推定値（分光透過率データ）Ｔ＾（ｘ）は、次式（５）で計算することができる。なお、Ｔ＾は、Ｔの上に推定値を表す記号「＾（ハット）」が付いていることを示す。
【００１９】
【数２】
【００２０】
ここで、Ｗは次式（６）で表され、「ウィナー推定行列」あるいは「ウィナー推定に用いる推定オペレータ」と呼ばれる。
Ｗ＝ＲＳＳＨｔ（ＨＲＳＳＨｔ＋ＲＮＮ）−１ ・・・（６）
ただし、（）ｔ：転置行列、（）−１：逆行列
【００２１】
式（６）において、Ｒｓｓは、Ｄ行Ｄ列の行列であり、標本の分光透過率の自己相関行列を表す。また、ＲＮＮは、Ｂ行Ｂ列の行列であり、撮像に使用するカメラのノイズの自己相関行列を表す。
【００２２】
ところで、標本の細胞核、細胞質、赤血球、腔等の各主要要素をそれぞれ好適に推定可能な推定オペレータＷを算出するには、事前に、標本の細胞核、細胞質、赤血球、腔等の各主要要素を含むスペクトルが必要である。このため、ユーザは、事前に測定位置を移動させながら標本の各主要要素のスペクトルを分光計で測定しなければならず、手間がかかることが懸念される。
【００２３】
この種の問題を解決するものとして、例えば特許文献１には、自動的に好適な推定オペレータＷを算出する画像処理装置が開示されている。この画像処理装置では、自動的に測定位置を移動させながら標本の各主要要素のスペクトルを分光計で測定し、測定したスペクトルから推定オペレータＷを算出する。そして、推定オペレータＷを評価し、好適でなければ、再度、標本の各主要要素のスペクトルを測定する。これにより、自動的に好適な推定オペレータＷを算出する。
【先行技術文献】
【特許文献】
【００２４】
【特許文献１】特開２００９−０１４３５４号公報
【発明の概要】
【発明が解決しようとする課題】
【００２５】
上記の特許文献１に開示された画像処理装置によると、自動的に好適な推定オペレータＷが算出されるので、ユーザに対する負担を軽減することができる。しかしながら、本発明者による検討によると、上記の画像処理装置では、事前に測定位置を移動させながら標本の複数の要素のスペクトルを分光計で測定しなければならないため、その処理に時間を要し、結果として標本のスペクトル推定に時間がかかることになる。
【００２６】
したがって、かかる点に鑑みてなされた本発明の目的は、染色標本を撮像した染色標本画像とスペクトルの統計データとを短時間で取得できるバーチャル顕微鏡システムを提供することにある。
【課題を解決するための手段】
【００２７】
上記目的を達成する第１の観点に係るバーチャル顕微鏡システムの発明は、染色標本を撮像してスペクトルを推定するバーチャル顕微鏡システムであって、
前記染色標本の１バンド以上の染色標本画像を取得する画像取得部と、
前記染色標本画像の１以上の所定部分のスペクトルを取得するスペクトル取得部と、
前記画像取得部が前記染色標本画像を取得する毎に、前記スペクトル取得部により当該染色標本画像のスペクトルを取得し得るように、前記画像取得部および前記スペクトル取得部に対して前記染色標本を経た光束の光路を設定する光路設定部と、
前記染色標本のバーチャルスライドとスペクトルテーブルとを作成するように、前記染色標本の２以上の観察視野において、前記画像取得部による前記染色標本画像の取得と、前記スペクトル取得部による当該染色標本画像のスペクトル取得とを繰り返すように制御する制御部と、
を備えることを特徴とするものである。
【００２８】
第２の観点に係る発明は、第１の観点に係るバーチャル顕微鏡システムにおいて、
前記スペクトルテーブルから推定オペレータを算出する推定オペレータ算出部と、
前記推定オペレータを用いて前記バーチャルスライドを構成する画素のスペクトルを推定するスペクトル推定部と、
をさらに備えることを特徴とするものである。
【００２９】
第３の観点に係る発明は、第２の観点に係るバーチャル顕微鏡システムにおいて、
前記光路設定部は、前記染色標本を経た光束を前記画像取得部および前記スペクトル取得部に選択的に入射させるように前記光束の光路を切換える光路切換ミラーを備える、ことを特徴とするものである。
【００３０】
第４の観点に係る発明は、第２の観点に係るバーチャル顕微鏡システムにおいて、
前記光路設定部は、前記染色標本を経た光束の光路上に、前記画像取得部および前記スペクトル取得部を選択的に位置させる配置切換機構を備える、ことを特徴とするものである。
【００３１】
第５の観点に係る発明は、第２の観点に係るバーチャル顕微鏡システムにおいて、
前記光路設定部は、前記染色標本を経た光束を前記画像取得部および前記スペクトル取得部に同時に入射させるように前記光束の光路を分岐するビームスプリッタを備える、ことを特徴とするものである。
【００３２】
第６の観点に係る発明は、第２〜５のいずれか一つの観点に係るバーチャル顕微鏡システムにおいて、
前記画像取得部は、ＲＧＢカメラ、モノクロカメラ、２バンド以上のカメラ、カメラおよび光学フィルタで構成された多バンドカメラのいずれかである、ことを特徴とするものである。
【００３３】
第７の観点に係る発明は、第２〜６のいずれか一つの観点に係るバーチャル顕微鏡システムにおいて、
前記スペクトル取得部は、前記染色標本画像を拡大する光学倍率拡大部を備え、該光学倍率拡大部により拡大された前記染色標本画像から前記スペクトルを取得する、ことを特徴とするものである。
【００３４】
第８の観点に係る発明は、第２〜７のいずれか一つの観点に係るバーチャル顕微鏡システムにおいて、
前記スペクトル取得部による前記スペクトルの取得位置の画素値を前記画像取得部が取得した前記染色標本画像から取得するスペクトル取得位置画素値算出部をさらに備え、
前記スペクトルテーブルとして、少なくとも前記スペクトルと前記画素値とを含むスペクトルテーブルを作成する、ことを特徴とするものである。
【００３５】
第９の観点に係る発明は、第８の観点に係るバーチャル顕微鏡システムにおいて、
前記スペクトルテーブルから前記バーチャルスライドを構成する画素の画素値に応じたスペクトルを複数選択するスペクトル選択部をさらに備え、
前記推定オペレータ算出部は、前記スペクトル選択部で選択された複数のスペクトルから画素値毎の推定オペレータを算出し、
前記スペクトル推定部は、前記画素値毎の推定オペレータを用いて前記バーチャルスライドを構成する画素のスペクトルを推定する、
ことを特徴とするものである。
【００３６】
第１０の観点に係る発明は、第８の観点に係るバーチャル顕微鏡システムにおいて、
前記スペクトルテーブルから前記バーチャルスライドを構成する画素の画素値に応じたスペクトルを選択するスペクトル選択部をさらに備え、
該スペクトル選択部で選択された前記スペクトルをスペクトル推定値とする、
ことを特徴とするものである。
【００３７】
第１１の観点に係る発明は、第８〜１０のいずれか一つの観点に係るバーチャル顕微鏡システムにおいて、
前記スペクトルテーブルに格納される画素値は、取得画素値、色空間に変換した画素値、画素値から算出した特徴量のいずれかである、ことを特徴とするものである。
【００３８】
第１２の観点に係る発明は、第８〜１１のいずれか一つの観点に係るバーチャル顕微鏡システムにおいて、
前記スペクトルテーブルは、少なくとも前記スペクトル、前記画素値および前記スペクトルを取得した画素位置情報を含むデータセットからなる、ことを特徴とするものである。
【００３９】
第１３の観点に係る発明は、第８〜１２のいずれか一つの観点に係るバーチャル顕微鏡システムにおいて、
前記スペクトル取得位置画素値算出部は、前記スペクトルの取得範囲の中心画素の画素値、前記取得範囲の画素の画素値の統計値、前記取得範囲の画素値と前記スペクトル取得部の受光特性との畳み込みで算出される値のいずれかである、ことを特徴とするものである。
【発明の効果】
【００４０】
本発明に係るバーチャル顕微鏡システムによれば、バーチャルスライドの作成とほぼ同時に、スペクトルの統計データを作成することができる。したがって、染色標本のスペクトルを高速に推定することが可能となる。
【図面の簡単な説明】
【００４１】
【図１】本発明の第１実施の形態に係るバーチャル顕微鏡システムの原理を説明するための図である。
【図２】本発明の第１実施の形態に係るバーチャル顕微鏡システムの原理を説明するための図である。
【図３】図１に示したスペクトル取得部の変形例を示す図である。
【図４】図１に示した光路設定部の他の構成を示す図である。
【図５】第１実施の形態に係るバーチャル顕微鏡システムの構成を示す機能ブロック図である。
【図６】図５に示した画像取得部の要部の構成を示す模式図である。
【図７】図６に示したＲＧＢカメラの分光感度特性を示す図である。
【図８】図６に示したフィルタ部を構成する二つの光学フィルタの分光透過率特性を示す図である。
【図９】図５に示した顕微鏡装置の具体的構成を示す図である。
【図１０】図５に示したバーチャル顕微鏡システムによるバーチャルスライドおよびスペクトルテーブルの作成処理を示すフローチャートである。
【図１１】図５に示したバーチャル顕微鏡システムによるスペクトルの推定処理を示すフローチャートである。
【図１２】本発明の第２実施の形態に係るバーチャル顕微鏡システムの原理を説明するための図である。
【図１３】第２実施の形態に係るバーチャル顕微鏡システムの構成を示す機能ブロック図である。
【図１４】図１３に示したバーチャル顕微鏡システムによるバーチャルスライドおよびスペクトルテーブルの作成処理を示すフローチャートである。
【図１５】図１４に示した処理によって作成されるスペクトルテーブルの一例を示す図である。
【図１６】図１３に示したバーチャル顕微鏡システムによるスペクトルの推定処理を示すフローチャートである。
【図１７】複数の組織を有する対象標本を示す図である。
【図１８】図１に示した光路設定部のさらに他の構成を示す図である。
【発明を実施するための形態】
【００４２】
以下、本発明の好適実施の形態について、図を参照して詳細に説明する。なお、本発明は、以下の実施の形態によって限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。
【００４３】
（第１実施の形態）
図１および図２は、本発明の第１実施の形態に係るバーチャル顕微鏡システムの原理を説明するための図である。本実施の形態に係るバーチャル顕微鏡システムでは、顕微鏡装置のステージに載置された対象の染色標本（以下、「対象標本」と称す）１１を、光源１２により照明光学系１３を経て照明し、その透過光を顕微鏡対物レンズを含む観察光学系１４を経て光路設定部１５に入射させる。光路設定部１５は、例えば、入射光の光路に対して退避可能な反射ミラーからなる光路切換ミラー１５ａで構成され、光路切換ミラー１５ａを入射光路から退避させることにより、観察光学系１４からの入射光の光路を画像取得部１６に設定し、光路切換ミラー１５ａを入射光路に挿入することにより、観察光学系１４からの入射光の光路をスペクトル取得部１７に設定する。
【００４４】
そして、光路切換ミラー１５ａを入射光路から退避させた状態で、画像取得部１６により、図２（ａ）に示すように対象標本１１の１バンド以上の対象標本画像２１を取得し、その取得した対象標本画像２１を、バーチャルスライド２２の一部として、図示しない記憶部に格納する。その後、光路切換ミラー１５ａを入射光路に挿入させた状態で、スペクトル取得部１７により、画像取得部１６で取得される対象標本画像２１の１以上の所定部分２３（図１参照）のスペクトル２４（図２（ｂ）参照）を取得して、その取得した各所定部分２３のスペクトル２４を、図２に示すようにスペクトルテーブル２５に登録する。図１は、対象標本画像２１の２箇所の各所定部分２３のスペクトル２４を取得する例を示している。この対象標本画像２１の取得と、そのスペクトル２４の取得とを、対象標本１１を移動させながら繰り返すことにより、ｍ×ｎ枚のバーチャルスライド２２とスペクトルテーブル２５とをほぼ同時に作成する。
【００４５】
上記の説明では、対象標本画像２１を取得した後、その所定部分２３のスペクトル２４を取得するようにしたが、その順番は逆でもよい。また、スペクトル取得部１７は、対象標本画像２１の２つの各所定部分２３のスペクトル２４に限らず、１つの所定部分２３、あるいは図３に示すように、光路切換ミラー１５ａを経た観察光学系１４からの入射光を拡大光学系２７により拡大して、３つ以上の各所定部分２３のスペクトル２４をそれぞれ取得するように構成することもできる。
【００４６】
さらに、光路設定部１５は、図４に示すように、ハーフミラー等のビームスプリッタ１５ｂを用い、これにより観察光学系１４からの入射光の光路を分岐して、画像取得部１６とスペクトル取得部１７とのそれぞれに光路を設定することもできる。この場合は、画像取得部１６による対象標本画像２１の取得と、スペクトル取得部１７による対象標本画像２１のスペクトル２４の取得とを同時に行うことができる。
【００４７】
なお、図１および図３に示したように、退避可能な光路切換ミラー１５ａを用いて光路設定部１５を構成した場合は、対象標本１１の透過光の有効利用が図られ、図４の場合と比較して、照明光の光量を低下させることが可能となる。また、図４に示したように、ビームスプリッタ１５ｂを用いて光路設定部１５を構成した場合は、図１や図３の場合と比較して、より短時間でバーチャルスライド２２とスペクトルテーブル２５とを作成することが可能となる。
【００４８】
図５は、上記の原理に基づく本実施の形態に係るバーチャル顕微鏡システムの構成を示す機能ブロック図である。このバーチャル顕微鏡システムは、顕微鏡装置１００と、該顕微鏡装置１００を制御して、バーチャルスライド作成およびスペクトル推定等を行うホストシステム２００とからなる。顕微鏡装置１００は、画像取得部１１０、スペクトル取得部１３０、光路設定部１５０およびステージ１７０を備える。
【００４９】
画像取得部１１０（図１の画像取得部１６に相当）は、対象標本の顕微鏡による１バンド以上の対象標本画像（ここでは、６バンド画像）を取得するもので、例えば、図６に要部の構成を模式的に示すように、ＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子等を備えたＲＧＢカメラ１１１、結像する光の波長帯域を所定範囲に制限するフィルタ部１１３を備える。
【００５０】
ＲＧＢカメラ１１１は、例えば図７に示すようなＲ（赤），Ｇ（緑），Ｂ（青）の各バンドの分光感度特性を有するものとする。フィルタ部１１３は、回転式のフィルタ切り替え部１１５を備え、このフィルタ切り替え部１１５に、Ｒ，Ｇ，Ｂの各バンドの透過波長領域を２分するように、それぞれ異なる分光透過率特性を有する２枚の光学フィルタ１１７ａ，１１７ｂを保持する。図８（ａ）は、一方の光学フィルタ１１７ａの分光透過率特性を示し、図８（ｂ）は、他方の光学フィルタ１１７ｂの分光透過率特性を示す。
【００５１】
そして、先ず、例えば光学フィルタ１１７ａを、光源１１９（図１の光源１２に相当）からＲＧＢカメラ１１１に至る光路上に位置させて、光源１１９によりステージ１７０上に載置された対象標本１１を照明し、その透過光を結像光学系１２１（図１の観察光学系１４に相当）および光学フィルタ１１７ａを経てＲＧＢカメラ１１１に結像させて第１の撮像を行う。次いで、フィルタ切り替え部１１５を回転させて、光学フィルタ１１７ｂを光源１１９からＲＧＢカメラ１１１に至る光路上に位置させて、同様にして第２の撮像を行う。
【００５２】
これにより、第１の撮像および第２の撮像でそれぞれ異なる３バンドの画像を得て、合計で６バンドのマルチバンド画像を得る。なお、フィルタ部１１３に設ける光学フィルタの数は２枚に限らず、３枚以上の光学フィルタを用いて、さらに多くのバンドの画像を得ることも可能である。取得された対象標本１１の対象標本画像は、ホストシステム２００の後述する記憶部２３０にバーチャルスライドの一部として格納される。なお、画像取得部１１０は、ＲＧＢカメラ１１１によりＲＧＢ画像のみを取得するようにしてもよい。
【００５３】
図５において、スペクトル取得部１３０（図１のスペクトル取得部１７に相当）は、画像取得部１１０で取得される対象標本画像の１以上の所定部分のスペクトルを取得するもので、所定部分に対応する光ファイバやシリコンディテクタを用いた分光計を備える。したがって、所定部分が複数設定されている場合は、複数の分光計を備える。
【００５４】
光路設定部１５０は、画像取得部１１０が対象標本画像を取得する毎に、スペクトル取得部１３０により当該対象標本画像の所定部分のスペクトルを取得し得るように、画像取得部１１０およびスペクトル取得部１３０に対して顕微鏡対物レンズによる光束の光路を設定するもので、図１または図４に示したように、光路切換ミラー１５ａやビームスプリッタ１５ｂを用いて構成される。
【００５５】
ステージ１７０は、対象標本を載置するとともに、顕微鏡対物レンズに対して対象標本の位置を位置決めするもので、例えば顕微鏡対物レンズの光軸に対して垂直な平面内で二次元方向に移動可能な電動ステージにより構成される。
【００５６】
一方、ホストシステム２００は、制御部２１０、記憶部２３０、演算部２５０、入力部２７０および表示部２９０を備える。
【００５７】
入力部２７０は、例えば、キーボードやマウス、タッチパネル、各種スイッチ等の入力装置によって実現されるものであり、操作入力に応じた入力信号を制御部２１０に出力する。
【００５８】
表示部２９０は、ＬＣＤ（Liquid Crystal Display）やＥＬ（Electro Luminescence）ディスプレイ、ＣＲＴ（Cathode Ray Tube）ディスプレイ等の表示装置によって実現されるものであり、制御部２１０から入力される表示信号をもとに各種画面を表示する。
【００５９】
演算部２５０は、推定オペレータ算出部２５５、スペクトル推定部２５７およびバーチャルスライド作成部２５９を有する。バーチャルスライド作成部２５９は、顕微鏡装置１００が対象標本１１を部分的にマルチバンド撮像することによって得られる複数の対象標本画像をそれぞれ処理して、バーチャルスライド画像を作成する。
【００６０】
記憶部２３０は、更新記憶可能なフラッシュメモリ等のＲＯＭやＲＡＭといった各種ＩＣメモリ、内蔵あるいはデータ通信端子で接続されたハードディスク、ＣＤ−ＲＯＭ等の情報記憶媒体およびその読取装置等によって実現されるものである。この記憶部２３０には、画像取得部１１０が取得した画像を処理する画像処理プログラム２３１、バーチャルスライドを作成するためのバーチャルスライド作成プログラム２３３、作成されたバーチャルスライド２３５、スペクトル取得部１３０で取得されたスペクトルテーブル２３７（図２のスペクトルテーブル２５に相当）、プログラムの実行中に使用されるデータ、等が格納される。
【００６１】
制御部２１０は、画像取得部１１０の動作を制御して対象標本の画像を取得する画像取得制御部２１１、スペクトル取得部１３０の動作を制御して対象標本のスペクトルを取得するスペクトル取得制御部２１３、光路設定部１５０の動作を制御して光路を切換える光路設定制御部２１５、ステージ１７０を制御して観察視野を移動するステージ制御部２１７を含む。そして、制御部２１０は、入力部２７０から入力される入力信号や画像取得部１１０から入力される対象標本画像、記憶部２３０に格納されているプログラムやデータ等に基づいてバーチャル顕微鏡システムを構成する各部への指示やデータの転送等を行い、全体の動作を統括的に制御する。この制御部２１０は、ＣＰＵ等のハードウェアによって実現される。なお、光路設定部１５０が、図４に示したように、ビームスプリッタ１５ｂを用いて構成される場合、光路設定制御部２１５は不要である。
【００６２】
図５には、ホストシステム２００の機能構成を示したが、実際のホストシステム２００は、ＣＰＵやビデオボード、メインメモリ（ＲＡＭ）等の主記憶装置、ハードディスクや各種記憶媒体等の外部記憶装置、通信装置、外部入力を接続するインターフェース装置等を備えた公知のハードウェア構成で実現でき、例えばワークステーションやパソコン等の汎用コンピュータを利用することができる。
【００６３】
図９は、図５に示した顕微鏡装置１００の具体的構成を示す図である。顕微鏡装置１００は、対象標本１１が載置されるステージ１７０と、側面視略コの字状を有し、ステージ１７０を支持するとともにレボルバ１２３を介して対物レンズ１２５（図１の観察光学系１４に相当）を保持する顕微鏡本体１２７と、顕微鏡本体１２７の底部後方に配設された光源１１９と、顕微鏡本体１２７の上部に載置された鏡筒１２９とを備える。また、鏡筒１２９には、対象標本１１の標本像を目視観察するための双眼部１３１と、対象標本１１の標本像を撮像して対象標本画像を取得するためのＴＶカメラ１３３（図６のＲＧＢカメラ１１１に相当）とが取り付けられている。ここで、図９に示す対物レンズ１２５の光軸方向をＺ方向とし、Ｚ方向と垂直な平面をＸＹ平面として定義する。
【００６４】
ステージ１７０は、ＸＹＺ方向に移動自在に構成されている。すなわち、ステージ１７０は、モータ１３５およびこのモータ１３５の駆動を制御するＸＹ駆動制御部１３７によってＸＹ平面内で移動自在である。ＸＹ駆動制御部１３７は、図示しないＸＹ位置の原点センサによってステージ１７０のＸＹ平面における所定の原点位置を検知し、この原点位置を基点としてモータ１３５の駆動量を制御することによって、対象標本１１の観察視野を移動させる。
【００６５】
また、ステージ１７０は、モータ１３９およびこのモータ１３９の駆動を制御するＺ駆動制御部１４１によってＺ方向に移動自在である。Ｚ駆動制御部１４１は、図示しないＺ位置の原点センサによってステージ１７０のＺ方向における所定の原点位置を検知し、この原点位置を基点としてモータ１３９の駆動量を制御することによって、所定の高さ範囲内の任意のＺ位置に対象標本１１を焦準移動させる。
【００６６】
レボルバ１２３は、顕微鏡本体１２７に対して回転自在に保持され、対物レンズ１２５を対象標本１１の上方に配置される。対物レンズ１２５は、レボルバ１２３に対して倍率（観察倍率）の異なる他の対物レンズとともに交換自在に装着されており、レボルバ１２３の回転に応じて観察光の光路上に挿入されて対象標本１１の観察に用いる対物レンズ１２５が択一的に切換えられるようになっている。
【００６７】
顕微鏡本体１２７は、底部において対象標本１１を透過照明するための照明光学系（図１の照明光学系１３に相当）を内設している。この照明光学系は、光源１１９から射出された照明光を集光するコレクタレンズ１４３、照明系フィルタユニット１４５、視野絞り１４７、開口絞り１４９、照明光の光路を対物レンズ１２５の光軸に沿って偏向させる折曲げミラー１５１、コンデンサ光学素子ユニット１５３、トップレンズユニット１５５等が、照明光の光路に沿って適所に配置されて構成される。光源１１９から射出された照明光は、この照明光学系によって対象標本１１に照射され、その透過光が観察光として対物レンズ１２５に入射する。
【００６８】
また、顕微鏡本体１２７は、スペクトル取得部１３０を備えるとともに、このスペクトル取得部１３０と鏡筒１２９とに光路を設定するように、対物レンズ１２５と鏡筒１２９との間の光路に光路設定部１５０を備える。この光路設定部１５０は、図１または図４に示した光路切換ミラー１５ａやビームスプリッタ１５ｂを用いて構成される。
【００６９】
さらに、顕微鏡本体１２７は、光路設定部１５０と鏡筒１２９との間の光路にフィルタユニット１５７を内設している。フィルタユニット１５７は、図７に示したフィルタ部１１３に相当するもので、標本像として結像する光の波長帯域を所定範囲に制限するための２枚以上の光学フィルタ１５９を回転自在に保持し、この光学フィルタ１５９を、適宜、対物レンズ１２５の後段において観察光の光路上に挿入する。
【００７０】
鏡筒１２９は、フィルタユニット１５７を経た観察光の光路を切換えて双眼部１３１またはＴＶカメラ１３３へと導くビームスプリッタ１６１を内設している。対象標本１１の標本像は、ビームスプリッタ１６１によって双眼部１３１内に導入され、接眼レンズ１６３を介して検鏡者に目視観察される。あるいは、ＴＶカメラ１３３によって撮像される。ＴＶカメラ１３３は、標本像（詳細には、対物レンズ１２５の視野範囲の標本像）を結像するＣＣＤやＣＭＯＳ等の撮像素子を備えて構成され、標本像を撮像し、標本像の画像データ（対象標本画像）をホストシステム２００に出力する。
【００７１】
さらに、顕微鏡装置１００は、顕微鏡コントローラ１６５、ＴＶカメラコントローラ１６７、およびスペクトル取得コントローラ１６９を備える。顕微鏡コントローラ１６５は、ホストシステム２００の制御のもと、顕微鏡装置１００を構成する各部の動作を統括的に制御する。例えば、顕微鏡コントローラ１６５は、レボルバ１２３を回転させて観察光の光路上に配置する対物レンズ１２５を切換える処理や、切換えた対物レンズ１２５の倍率等に応じた光源１１９の調光制御や各種光学素子の切換え、あるいはＸＹ駆動制御部１３７やＺ駆動制御部１４１に対するステージ１７０の移動指示等、対象標本１１の観察に伴う顕微鏡装置１００の各部の調整を行うとともに、各部の状態を適宜ホストシステム２００に通知する。
【００７２】
ＴＶカメラコントローラ１６７は、ホストシステム２００の制御のもと、自動ゲイン制御のＯＮ／ＯＦＦ切換、ゲインの設定、自動露出制御のＯＮ／ＯＦＦ切換、露光時間の設定等を行ってＴＶカメラ１３３を駆動し、ＴＶカメラ１３３の撮像動作を制御する。また、スペクトル取得コントローラ１６９は、ホストシステム２００の制御のもと、スペクトル取得部１３０によるスペクトルの取得を制御して、取得されたスペクトルをホストシステム２００に供給する。
【００７３】
以下、本実施の形態に係るバーチャル顕微鏡システムの要部の動作について、図１０および図１１に示すフローチャートを参照しながら説明する。
【００７４】
図１０は、バーチャルスライドおよびスペクトルテーブルの作成処理を示すフローチャートである。先ず、制御部２１０は、ステージ制御部２１７によりステージ１７０の動作を制御して対象標本１１の観察視野を移動する（ステップＳ１０１）。次に、制御部２１０は、光路設定制御部２１５により光路設定部１５０の動作を制御して画像取得部１１０に光路を設定する（ステップＳ１０３）。
【００７５】
そして、制御部２１０は、画像取得制御部２１１により画像取得部１１０の動作を制御して対象標本１１の対象標本画像を取得し（ステップＳ１０５）、その取得した対象標本画像をバーチャルスライド２３５の一部として記憶部２３０に格納する（ステップＳ１０７）。
【００７６】
次に、制御部２１０は、光路設定制御部２１５により光路設定部１５０の動作を制御してスペクトル取得部１３０に光路を設定する（ステップＳ１０９）。そして、制御部２１０は、スペクトル取得制御部２１３によりスペクトル取得部１３０の動作を制御して対象標本１１のスペクトルを取得し（ステップＳ１１１）、その取得した対象標本１１のスペクトルを記憶部２３０のスペクトルテーブル２３７に格納する（ステップＳ１１３）。スペクトル取得部１３０において、対象標本画像の複数部分のスペクトルを取得する場合は、その全てのスペクトルを取得する（ステップＳ１１５）。
【００７７】
その後、制御部２１０は、対象標本１１の必要な視野を取得するまで、ステップＳ１０１からステップＳ１１５を繰り返して、対象標本１１の全体あるいは一部分のバーチャルスライド２３５とスペクトルテーブル２３７とを作成する（ステップＳ１１７）。なお、光路設定部１５０が、図４に示したようにビームスプリッタ１５ｂにより構成されている場合は、ステップＳ１０３およびＳ１０９は不要である。この場合は、画像取得部１１０による対象標本画像の取得処理と、スペクトル取得部１３０によるスペクトルの取得処理とを並行して、あるいは順次に実行する。
【００７８】
このように、画像取得部１１０により対象標本画像を取得する毎に、スペクトル取得部１３０により当該対象標本画像のスペクトルを取得することで、バーチャルスライド２３５とスペクトルテーブル２３７とを高速に作成することができる。特に、光路設定部１５０が、図４に示したようにビームスプリッタ１５ｂにより構成されている場合は、可動の光路切換ミラー１５ａを用いる場合のような、光路切換ミラー１５ａの切換時間が不要となるので、バーチャルスライド２３５とスペクトルテーブル２３７とをより高速に作成することができる。
【００７９】
また、スペクトル取得部１３０が対象標本画像の複数部分のスペクトルを取得する場合は、より豊富なスペクトルテーブル２３７を作成することができる。しかも、スペクトルテーブル２３７に格納されているスペクトルは、対象標本１１から取得したスペクトルであるから、対象標本１１のスペクトルを推定する場合に用いる推定オペレータＷを算出するために用いる統計データとして好適な統計データである。
【００８０】
図１１は、スペクトルの推定処理を示すフローチャートである。先ず、制御部２１０は、推定オペレータ算出部２５５により、スペクトルテーブル２３７に格納されている複数のスペクトルに基づいて、式（６）に示された推定オペレータＷを算出する（ステップＳ２０１）。そのため、推定オペレータ算出部２５５は、先ず、スペクトルテーブル２３７に格納されている複数のスペクトルから平均ベクトルＶを求める。続いて、平均ベクトルＶに基づいて、次式（７）により自己相関行列Ｒｓｓを算出する。ここで、添え字Ｔは行列式の転置を示す。
【００８１】
【数３】
【００８２】
その後、推定オペレータ算出部２５５は、自己相関行列Ｒｓｓに基づいて、上述した式（６）より推定オペレータＷを算出する。ここに、式（６）を再掲する。
Ｗ＝ＲＳＳＨｔ（ＨＲＳＳＨｔ＋ＲＮＮ）−１ ・・・（６）
ただし、（）ｔ：転置行列、（）−１：逆行列
【００８３】
これにより、対象標本画像のスペクトルを推定するのに好適な推定オペレータＷが得られる。得られた推定オペレータＷは、記憶部２３０に格納される。なお、自己相関行列算出に用いるスペクトルは、スペクトルテーブル２３７に格納されるスペクトルを全て用いてもよいし、特異なデータを除く等、何らかの目的に沿って一部分を抽出して用いてもよい。また、データ量が不十分である場合は、他の標本のスペクトル、あるいは、汎用的なスペクトルを合わせても良い。また、自己相関行列の代わりに、共分散行列を用いてもよい。
【００８４】
続いて、制御部２１０は、スペクトル推定部２５７により、バーチャルスライド２３５を構成する推定対象画素の画素値に基づいて、対象標本１１のスペクトルを推定する（ステップＳ２０３）。すなわち、スペクトル推定部２５７において、上述した式（５）により、推定オペレータＷを用いて、推定対象画素の画素値Ｇ（ｘ）から対応する対象標本１１の標本点における分光透過率の推定値Ｔ＾（ｘ）を推定する。ここに、式（５）を再掲する。
【数４】
【００８５】
このようにして、分光透過率の推定値Ｔ＾（ｘ）を推定することにより、スペクトル推定誤差を低減することができる。この分光透過率の推定値Ｔ＾（ｘ）は、記憶部２３０に格納される。
【００８６】
以上のように、本実施の形態に係るバーチャル顕微鏡システムによれば、バーチャルスライド２３５の作成とほぼ同時に、スペクトルテーブル２３７を作成することができる。したがって、高速にスペクトルを推定することができる。また、光路設定部１５０がビームスプリッタ１５ｂで構成されている場合は、より高速にスペクトルを推定することができる。また、対象標本に好適な推定オペレータを算出できるので、スペクトル推定の推定誤差を低減することができる。また、スペクトル取得部１３０により対象標本画像の複数部分のスペクトルを取得する場合は、スペクトル推定の推定誤差をより低減することができる。
【００８７】
（第２実施の形態）
図１２（ａ）および（ｂ）は、本発明の第２実施の形態に係るバーチャル顕微鏡システムの原理を説明するための図である。本実施の形態に係るバーチャル顕微鏡システムでは、図２（ａ）および（ｂ）で説明した第１実施の形態における動作原理に加えて、対象標本画像から取得したスペクトル２４をスペクトルテーブル２５に登録する際に、そのスペクトル２４を測定した部分２３の画素の画素値と位置情報とを対象標本画像２１から取得し、それらのデータをデータセット２６としてスペクトルテーブル２５に格納する。これにより、バーチャルスライドの作成とほぼ同時に、画素値が付されたスペクトルテーブルを作成する。その他は、図２（ａ）および（ｂ）と同様である。
【００８８】
図１３は、上記の原理に基づく本実施の形態に係るバーチャル顕微鏡システムの構成を示す機能ブロック図である。このバーチャル顕微鏡システムは、ホストシステム２００の演算部２５０の構成が、図５に示した構成と異なるものである。すなわち、演算部２５０は、図５に示した推定オペレータ算出部２５５、スペクトル推定部２５７、バーチャルスライド作成部２５９の他に、対象標本画像からスペクトル取得範囲の画素値を算出するスペクトル取得範囲画素値算出部２５１と、スペクトルテーブル２３７からスペクトルを選択するスペクトル選択部２５３とを備える。その他の構成は、図５と同様であるので、同一作用を成す構成要素には同一参照符号を付して説明を省略する。
【００８９】
以下、本実施の形態に係るバーチャル顕微鏡システムの要部の動作について説明する。
【００９０】
図１４は、バーチャルスライドおよびスペクトルテーブルの作成処理を示すフローチャートである。先ず、制御部２１０は、図１０に示した第１実施の形態の場合と同様のステップＳ１０１〜Ｓ１１１を実行する。続いて、制御部２１０は、スペクトル取得範囲画素値算出部２５１により、スペクトル取得範囲の画素値を対応する対象標本画像から算出する（ステップＳ１１２ａ）。ここで、画像取得部１１０とスペクトル取得部１３０とは、光路設定部１５０により光軸が位置合わせされているので、スペクトル取得範囲画素値算出部２５１は、スペクトルが取得された範囲の画素を取得できる。
【００９１】
なお、一般に、スペクトル取得部１３０の空間分解能は、画像取得部１１０の空間分解能よりも低い。そのため、スペクトル取得範囲画素値算出部２５１は、式（８）により、スペクトルが取得された範囲の画素の画素値Ｇと、スペクトル取得部１３０の受光特性Ａとを畳み込むことで、スペクトルが取得された範囲の画素の画素値から、スペクトルに対応する画素値を算出する。
【００９２】
【数５】
【００９３】
スペクトルに対応した画素値は、上記に限らず、スペクトルが取得された範囲の中心の画素の画素値、または、スペクトルが取得された範囲の画素の画素値の平均値、最頻値、中央値等の統計値でもよい。また、画素値は、取得画素値、Ｌ＊ａ＊ｂ＊空間等の色空間に変換した画素値、あるいは画素値から算出した特徴量でもよい。
【００９４】
ステップＳ１１１で取得したスペクトルおよびステップＳ１１２ａで算出した画素値は、スペクトルを取得した位置情報とともにデータセットとしてスペクトルテーブル２３７に格納する（ステップＳ１１２ｂ）。以降、ステップＳ１１５〜Ｓ１１７は、第１実施の形態と同様である。
【００９５】
これにより、例えば図１５に示すように、画素値と、スペクトル値と、画素位置とがデータセットとして関連付けられたスペクトルテーブル２３７を得ることができる。したがって、対象標本のスペクトルを推定する推定オペレータＷを算出する、より好適な統計データを得ることができる。
【００９６】
図１６は、スペクトルの推定処理を示すフローチャートである。先ず、制御部２１０は、スペクトル選択部２５３により、バーチャルスライド２３５を構成する推定対象画素の画素値に基づいて、スペクトルテーブル２３７からスペクトルを選択する（ステップＳ２０２ａ）。そのため、スペクトル選択部２５３では、先ず、推定対象画素の画素値と、スペクトルテーブル２３７上の各データセットにおける画素値の類似度ｄとを算出する。
【００９７】
類似度ｄは、例えば、２つの画素値間のユークリッド距離等の統計値を用いる。この場合、Ｌ＊ａ＊ｂ＊空間に変換した２つの画素値間のユークリッド距離は、色差を意味する。また、類似度ｄは、バンド毎に算出し、全バンドが条件を満たす、あるいは、一部のバンドが条件を満たすこととしてもよい。また、比較するスペクトルテーブル２３７上のデータセットは、２つの画素値の差が任意の閾値内のデータセットに限定してもよい。こうすることで、高速に検索することができる。
【００９８】
類似度ｄが２つの画素値間のユークリッド距離である場合、同値間でのユークリッド距離は０であるから、類似しているほど０に近い。そこで、類似度が小さい方から順に所定の数だけデータセットを選択する。この際の所定の数は、経験的に定めればよい。また、類似度が所定の閾値より小さいデータセットを選択してもよい。この際の所定の閾値は、経験的に定めればよい。こうすることで、推定対象画素の画素値と類似した統計データを選択できる。したがって、推定対象画素のスペクトルを推定する推定オペレータＷを算出する統計データとして最適な統計データを選択できる。選択したデータセットおよび算出した類似度ｄは、記憶部２３０に記憶される。
【００９９】
続いて、制御部２１０は、推定オペレータ算出部２５５により、選択されたデータセットに基づいて上述した式（６）から推定オペレータＷを算出する（ステップＳ２０２ｂ）。このため、推定オペレータ算出部２５５は、先ず、選択されたデータセットと類似度ｄとから、例えば、次式（９）より重み付き平均ベクトルＶ’を求める。
【０１００】
【数６】
【０１０１】
続いて、推定オペレータ算出部２５５は、重み付き平均ベクトルＶ’をもとに次式（１０）より自己相関行列Ｒｓｓを算出する。ここで、添え字Ｔは行列式の転置を示す。
【０１０２】
【数７】
【０１０３】
その後、推定オペレータ算出部２５５は、自己相関行列Ｒｓｓに基づいて、上述した式（６）により推定オペレータＷを算出する。ここに、式（６）を再掲する。
Ｗ＝ＲＳＳＨｔ（ＨＲＳＳＨｔ＋ＲＮＮ）−１ ・・・（６）
ただし、（）ｔ：転置行列、（）−１：逆行列
【０１０４】
これにより、推定対象画素のスペクトルを推定する場合に最適な推定オペレータＷが得られる。得られた推定オペレータＷは、記憶部２３０に格納する。その後、図１１に示した第１実施の形態の場合と同様に、ステップＳ２０３により、算出された推定オペレータを用いて推定対象画素のスペクトルを推定する。こうすることで、各画素でスペクトル推定の推定誤差を低減することができる。
【０１０５】
以上のように、本実施の形態に係るバーチャル顕微鏡システムによれば、バーチャルスライドを作成すると同時に、スペクトルと、そのスペクトルを取得した部分の画素値および位置情報とをデータセットとしたスペクトルテーブル２３７を得るので、第１実施の形態における効果に加えて、より正確にスペクトルを推定することができる。
【０１０６】
例えば、複数の組織を有する対象標本１１から、図１７に示すように、１回の撮像で図示のサイズの対象標本画像２１（タイル）を取得してバーチャルスライド２３５を作成する場合、タイルが近ければ同じ組織あるいは近い特性の組織である可能性が高い。したがって、このような場合、スペクトルを推定するにあたって、同じ組織あるいは近い特性の組織で測定したスペクトルを教師データとするのがより好適である。本実施の形態によれば、上述したように、スペクトルと、そのスペクトルを取得した部分の画素値および位置情報とをデータセットとしたスペクトルテーブル２３７を得るので、スペクトルを推定するにあたって、その位置情報から近傍の位置の教師データを使用することができる。これにより、同じ組織あるいは近い特性の組織である可能性の高い教師データからスペクトルを推定できるので、スペクトルをより正確に推定することが可能となる。
【０１０７】
なお、本発明は、上記実施の形態に限定されるものではなく、幾多の変形または変更が可能である。例えば、図１、図３および図４に示した光路設定部１５は、図１８（ａ）および（ｂ）に示すように、観察光学系１４の光路に対して、画像取得部１６とスペクトル取得部１７との配置を機械的に切換える配置切換機構１５ｃにより構成して、図１８（ａ）の状態で観察光を画像取得部１６に入射させ、図１８（ｂ）の状態で観察光をスペクトル取得部１７に入射させるようにすることもできる。また、対象標本の観察視野は、ステージを移動させる場合に限らず、顕微鏡対物レンズを移動させたり、ステージと顕微鏡対物レンズとの双方を移動させたりして切換えるようにしてもよい。
【０１０８】
また、第２実施の形態においては、類似度ｄが最小のスペクトルをスペクトル推定値としてもよい。この場合、スペクトルを推定するよりもスペクトル推定誤差が大きくなるが、スペクトルを推定しないので高速に処理する。また、重み付き平均ベクトルＶ’の重みは、式（９）に限らず、適宜設定することが可能である。また、このような重み付けを行うことなく、また、他の標本のスペクトル、あるいは、汎用的なスペクトルを合わせて、推定オペレータを算出することも可能である。また、自己相関行列の代わりに、共分散行列を用いて、推定オペレータを算出することもできる。また、スペクトルを含むデータセットは、スペクトルとその取得位置の画素値とのデータセット、あるいは、スペクトルとその取得画素位置とのデータセットとすることもできる。
【符号の説明】
【０１０９】
１１ 染色標本（対象標本）
１２ 光源
１３ 照明光学系
１４ 観察光学系
１５ 光路設定部
１５ａ 光路切換ミラー
１５ｂ ビームスプリッタ
１５ｃ 配置切換機構
１６ 画像取得部
１７ スペクトル取得部
２１ 対象標本画像
２２ バーチャルスライド
２３ 所定部分
２４ スペクトル
２５ スペクトルテーブル
２７ 拡大光学系
１００ 顕微鏡装置
１１０ 画像取得部
１３０ スペクトル取得部
１５０ 光路設定部
１７０ ステージ
２００ ホストシステム
２１０ 制御部
２１１ 画像取得制御部
２１３ スペクトル取得制御部
２１５ 光路設定制御部
２１７ ステージ制御部
２３０ 記憶部
２５０ 演算部
２５５ 推定オペレータ算出部
２５７ スペクトル推定部
２５９ バーチャルスライド作成部
２７０ 入力部
２９０ 表示部
【技術分野】
【０００１】
本発明は、染色標本を撮像した染色標本画像から染色標本のスペクトルを推定するバーチャル顕微鏡システムに関するものである。
【背景技術】
【０００２】
被写体に固有の物理的性質を表す物理量の一つに、分光透過率スペクトルがある。分光透過率は、各波長における入射光に対する透過光の割合を表す物理量であり、照明光の変化に依存するＲＧＢ値等の色情報とは異なり、外因的影響によって値が変化しない物体固有の情報である。このため、分光透過率は、被写体自体の色を再現するための情報として様々な分野で利用されている。例えば、生体組織標本、特に病理標本を用いた病理診断の分野では、標本を撮像した画像の解析に分光特性値の一例として分光透過率が利用されている。以下、病理診断における分光透過率の利用例について、さらに詳細に説明する。
【０００３】
病理診断における病理検査の一つとして、病変部位の組織を採取して顕微鏡で観察することにより、病気の診断または病変の拡大の程度を調べる組織診が知られている。この組織診は、生検（バイオプシー）とも呼ばれ、臓器摘出によって得たブロック標本や針生検によって得た病理標本を、厚さ数ミクロン程度に薄切りした後、様々な所見を得るために顕微鏡を用いて拡大観察することが広く行われている。なかでも、光学顕微鏡を用いた透過観察は、機材が比較的安価で取り扱いが容易である上、歴史的に古くから行われてきたこともあって、最も普及している観察方法の一つである。この場合、薄切りされた標本は、光を殆ど吸収および散乱せず無色透明に近いため、観察に先立って色素による染色を施すのが一般的である。
【０００４】
染色手法としては、種々のものが提案されており、その総数は１００種類以上にも達するが、特に病理標本に関しては、色素として青紫色のヘマトキシリンと赤色のエオジンの２つを用いるヘマトキシリン−エオジン染色（以下、「ＨＥ染色」と称す）が標準的に用いられている。
【０００５】
ヘマトキシリンは、植物から採取された天然の物質であり、それ自身には染色性はない。しかし、その酸化物であるヘマチンは、好塩基性の色素であり、負に帯電した物質と結合する。細胞核に含まれるデオキシリボ核酸（ＤＮＡ）は、構成要素として含むリン酸基によって負に帯電しているため、ヘマチンと結合して青紫色に染色される。なお、前述の通り、染色性を有するのはヘマトキシリンではなく、その酸化物であるヘマチンであるが、色素の名称としてはヘマトキシリンを用いるのが一般的であるため、以下それに従う。
【０００６】
一方、エオジンは、好酸性の色素であり、正に帯電した物質と結合する。アミノ酸やタンパク質が正負どちらに帯電するかは、ｐＨ環境に影響を受け、酸性下では正に帯電する傾向が強くなる。このため、エオジン溶液に酢酸を加えて用いることがある。細胞質に含まれるタンパク質は、エオジンと結合して赤から薄赤に染色される。
【０００７】
ＨＥ染色後の標本（染色標本）では、細胞核や骨組織等が青紫色に、細胞質や結合組織、赤血球等が赤色に染色され、容易に視認できるようになる。この結果、観察者は、細胞核等の組織を構成する要素の大きさや位置関係等を把握でき、標本の状態を形態学的に判断することが可能となる。
【０００８】
染色された標本の観察は、観察者の目視によるものの他、この染色された標本をマルチバンド撮像して外部装置の表示画面に表示することによっても行われている。表示画面に表示する場合には、撮像したマルチバンド画像から標本各点の分光透過率を推定する処理や、推定した分光透過率をもとに標本を染色している色素の色素量を推定する処理等が行われ、表示用の標本のＲＧＢ画像である表示画像が合成される。
【０００９】
標本のマルチバンド画像から標本各点の分光透過率を推定する手法としては、例えば、主成分分析による推定法や、ウィナー（Wiener）推定による推定法等が挙げられる。ウィナー推定は、ノイズの重畳された観測信号から原信号を推定する線形フィルタ手法の一つとして広く知られており、観測対象の統計的性質とノイズ（観測ノイズ）の特性とを考慮して誤差の最小化を行う手法である。カメラからの信号には、何らかのノイズが含まれるため、ウィナー推定は原信号を推定する手法として極めて有用である。
【００１０】
以下、標本のマルチバンド画像から表示画像を合成したバーチャルスライドを作成する方法について説明する。ここで、バーチャルスライドとは、顕微鏡装置によってマルチバンド撮像した１枚以上の画像を繋ぎ合せて生成した画像であり、例えば高倍率の顕微鏡対物レンズを用いて染色標本を部分毎に撮像した複数の高解像画像を繋ぎ合せて生成した画像であって、染色標本の全域を映した広視野でかつ高精細のマルチバンド画像のことを言う。
【００１１】
先ず、標本のマルチバンド画像を撮像する。例えば、１６枚のバンドパスフィルタをフィルタホイールで回転させて切り替えながら、面順次方式でマルチバンド画像を撮像する。これにより、標本の各点において１６バンドの画素値を有するマルチバンド画像が得られる。なお、色素は、本来、観察対象となる標本内に３次元的に分布しているが、通常の透過観察系ではそのまま３次元像として捉えることはできず、標本内を透過した照明光をカメラの撮像素子上に投影した２次元像として観察される。したがって、ここでいう各点は、投影された撮像素子の各画素に対応する標本上の点を意味している。
【００１２】
ここで、撮像されたマルチバンド画像の任意の点（画素）ｘについて、バンドｂにおける画素値ｇ（ｘ，ｂ）と、対応する標本上の点の分光透過率ｔ（ｘ，λ）との間には、カメラの応答システムに基づく次式（１）の関係が成り立つ。
【００１３】
【数１】
【００１４】
式（１）において、λは波長、ｆ（ｂ，λ）はｂ番目のフィルタの分光透過率、ｓ（λ）はカメラの分光感度特性、ｅ（λ）は照明の分光放射特性、ｎ（ｂ）はバンドｂにおける観測ノイズをそれぞれ表す。ｂはバンドを識別する通し番号であり、ここでは１≦ｂ≦１６を満たす整数値である。実際の計算では、式（１）を波長方向に離散化した次式（２）が用いられる。
G(x)=FSET(x)＋N ・・・（２）
【００１５】
式（２）において、波長方向のサンプル点数をＤ、バンド数をＢ（ここではＢ＝１６）とすれば、Ｇ（ｘ）は、点ｘにおける画素値ｇ（ｘ，ｂ）に対応するＢ行１列の行列である。同様に、Ｔ（ｘ）は、ｔ（ｘ，λ）に対応するＤ行１列の行列、Ｆは、ｆ（ｂ，λ）に対応するＢ行Ｄ列の行列である。一方、Ｓは、Ｄ行Ｄ列の対角行列であり、対角要素がｓ（λ）に対応している。同様に、Ｅは、Ｄ行Ｄ列の対角行列であり、対角要素がｅ（λ）に対応している。Ｎは、ｎ（ｂ）に対応するＢ行１列の行列である。なお、式（２）では、行列を用いて複数のバンドに関する式を集約しているため、バンドを表す変数ｂが記述されていない。また、波長λに関する積分は、行列の積に置き換えられている。
【００１６】
ここで、表記を簡単にするため、次式（３）で定義される行列Ｈを導入する。この行列Ｈはシステム行列とも呼ばれる。
H=FSE ・・・（３）
【００１７】
よって、式（３）は、次式（４）に置き換えられる。
G(x)=HT(x)＋N ・・・（４）
【００１８】
次に、ウィナー推定を用いて、撮像したマルチバンド画像から標本各点における分光透過率を推定する。分光透過率の推定値（分光透過率データ）Ｔ＾（ｘ）は、次式（５）で計算することができる。なお、Ｔ＾は、Ｔの上に推定値を表す記号「＾（ハット）」が付いていることを示す。
【００１９】
【数２】
【００２０】
ここで、Ｗは次式（６）で表され、「ウィナー推定行列」あるいは「ウィナー推定に用いる推定オペレータ」と呼ばれる。
Ｗ＝ＲＳＳＨｔ（ＨＲＳＳＨｔ＋ＲＮＮ）−１ ・・・（６）
ただし、（）ｔ：転置行列、（）−１：逆行列
【００２１】
式（６）において、Ｒｓｓは、Ｄ行Ｄ列の行列であり、標本の分光透過率の自己相関行列を表す。また、ＲＮＮは、Ｂ行Ｂ列の行列であり、撮像に使用するカメラのノイズの自己相関行列を表す。
【００２２】
ところで、標本の細胞核、細胞質、赤血球、腔等の各主要要素をそれぞれ好適に推定可能な推定オペレータＷを算出するには、事前に、標本の細胞核、細胞質、赤血球、腔等の各主要要素を含むスペクトルが必要である。このため、ユーザは、事前に測定位置を移動させながら標本の各主要要素のスペクトルを分光計で測定しなければならず、手間がかかることが懸念される。
【００２３】
この種の問題を解決するものとして、例えば特許文献１には、自動的に好適な推定オペレータＷを算出する画像処理装置が開示されている。この画像処理装置では、自動的に測定位置を移動させながら標本の各主要要素のスペクトルを分光計で測定し、測定したスペクトルから推定オペレータＷを算出する。そして、推定オペレータＷを評価し、好適でなければ、再度、標本の各主要要素のスペクトルを測定する。これにより、自動的に好適な推定オペレータＷを算出する。
【先行技術文献】
【特許文献】
【００２４】
【特許文献１】特開２００９−０１４３５４号公報
【発明の概要】
【発明が解決しようとする課題】
【００２５】
上記の特許文献１に開示された画像処理装置によると、自動的に好適な推定オペレータＷが算出されるので、ユーザに対する負担を軽減することができる。しかしながら、本発明者による検討によると、上記の画像処理装置では、事前に測定位置を移動させながら標本の複数の要素のスペクトルを分光計で測定しなければならないため、その処理に時間を要し、結果として標本のスペクトル推定に時間がかかることになる。
【００２６】
したがって、かかる点に鑑みてなされた本発明の目的は、染色標本を撮像した染色標本画像とスペクトルの統計データとを短時間で取得できるバーチャル顕微鏡システムを提供することにある。
【課題を解決するための手段】
【００２７】
上記目的を達成する第１の観点に係るバーチャル顕微鏡システムの発明は、染色標本を撮像してスペクトルを推定するバーチャル顕微鏡システムであって、
前記染色標本の１バンド以上の染色標本画像を取得する画像取得部と、
前記染色標本画像の１以上の所定部分のスペクトルを取得するスペクトル取得部と、
前記画像取得部が前記染色標本画像を取得する毎に、前記スペクトル取得部により当該染色標本画像のスペクトルを取得し得るように、前記画像取得部および前記スペクトル取得部に対して前記染色標本を経た光束の光路を設定する光路設定部と、
前記染色標本のバーチャルスライドとスペクトルテーブルとを作成するように、前記染色標本の２以上の観察視野において、前記画像取得部による前記染色標本画像の取得と、前記スペクトル取得部による当該染色標本画像のスペクトル取得とを繰り返すように制御する制御部と、
を備えることを特徴とするものである。
【００２８】
第２の観点に係る発明は、第１の観点に係るバーチャル顕微鏡システムにおいて、
前記スペクトルテーブルから推定オペレータを算出する推定オペレータ算出部と、
前記推定オペレータを用いて前記バーチャルスライドを構成する画素のスペクトルを推定するスペクトル推定部と、
をさらに備えることを特徴とするものである。
【００２９】
第３の観点に係る発明は、第２の観点に係るバーチャル顕微鏡システムにおいて、
前記光路設定部は、前記染色標本を経た光束を前記画像取得部および前記スペクトル取得部に選択的に入射させるように前記光束の光路を切換える光路切換ミラーを備える、ことを特徴とするものである。
【００３０】
第４の観点に係る発明は、第２の観点に係るバーチャル顕微鏡システムにおいて、
前記光路設定部は、前記染色標本を経た光束の光路上に、前記画像取得部および前記スペクトル取得部を選択的に位置させる配置切換機構を備える、ことを特徴とするものである。
【００３１】
第５の観点に係る発明は、第２の観点に係るバーチャル顕微鏡システムにおいて、
前記光路設定部は、前記染色標本を経た光束を前記画像取得部および前記スペクトル取得部に同時に入射させるように前記光束の光路を分岐するビームスプリッタを備える、ことを特徴とするものである。
【００３２】
第６の観点に係る発明は、第２〜５のいずれか一つの観点に係るバーチャル顕微鏡システムにおいて、
前記画像取得部は、ＲＧＢカメラ、モノクロカメラ、２バンド以上のカメラ、カメラおよび光学フィルタで構成された多バンドカメラのいずれかである、ことを特徴とするものである。
【００３３】
第７の観点に係る発明は、第２〜６のいずれか一つの観点に係るバーチャル顕微鏡システムにおいて、
前記スペクトル取得部は、前記染色標本画像を拡大する光学倍率拡大部を備え、該光学倍率拡大部により拡大された前記染色標本画像から前記スペクトルを取得する、ことを特徴とするものである。
【００３４】
第８の観点に係る発明は、第２〜７のいずれか一つの観点に係るバーチャル顕微鏡システムにおいて、
前記スペクトル取得部による前記スペクトルの取得位置の画素値を前記画像取得部が取得した前記染色標本画像から取得するスペクトル取得位置画素値算出部をさらに備え、
前記スペクトルテーブルとして、少なくとも前記スペクトルと前記画素値とを含むスペクトルテーブルを作成する、ことを特徴とするものである。
【００３５】
第９の観点に係る発明は、第８の観点に係るバーチャル顕微鏡システムにおいて、
前記スペクトルテーブルから前記バーチャルスライドを構成する画素の画素値に応じたスペクトルを複数選択するスペクトル選択部をさらに備え、
前記推定オペレータ算出部は、前記スペクトル選択部で選択された複数のスペクトルから画素値毎の推定オペレータを算出し、
前記スペクトル推定部は、前記画素値毎の推定オペレータを用いて前記バーチャルスライドを構成する画素のスペクトルを推定する、
ことを特徴とするものである。
【００３６】
第１０の観点に係る発明は、第８の観点に係るバーチャル顕微鏡システムにおいて、
前記スペクトルテーブルから前記バーチャルスライドを構成する画素の画素値に応じたスペクトルを選択するスペクトル選択部をさらに備え、
該スペクトル選択部で選択された前記スペクトルをスペクトル推定値とする、
ことを特徴とするものである。
【００３７】
第１１の観点に係る発明は、第８〜１０のいずれか一つの観点に係るバーチャル顕微鏡システムにおいて、
前記スペクトルテーブルに格納される画素値は、取得画素値、色空間に変換した画素値、画素値から算出した特徴量のいずれかである、ことを特徴とするものである。
【００３８】
第１２の観点に係る発明は、第８〜１１のいずれか一つの観点に係るバーチャル顕微鏡システムにおいて、
前記スペクトルテーブルは、少なくとも前記スペクトル、前記画素値および前記スペクトルを取得した画素位置情報を含むデータセットからなる、ことを特徴とするものである。
【００３９】
第１３の観点に係る発明は、第８〜１２のいずれか一つの観点に係るバーチャル顕微鏡システムにおいて、
前記スペクトル取得位置画素値算出部は、前記スペクトルの取得範囲の中心画素の画素値、前記取得範囲の画素の画素値の統計値、前記取得範囲の画素値と前記スペクトル取得部の受光特性との畳み込みで算出される値のいずれかである、ことを特徴とするものである。
【発明の効果】
【００４０】
本発明に係るバーチャル顕微鏡システムによれば、バーチャルスライドの作成とほぼ同時に、スペクトルの統計データを作成することができる。したがって、染色標本のスペクトルを高速に推定することが可能となる。
【図面の簡単な説明】
【００４１】
【図１】本発明の第１実施の形態に係るバーチャル顕微鏡システムの原理を説明するための図である。
【図２】本発明の第１実施の形態に係るバーチャル顕微鏡システムの原理を説明するための図である。
【図３】図１に示したスペクトル取得部の変形例を示す図である。
【図４】図１に示した光路設定部の他の構成を示す図である。
【図５】第１実施の形態に係るバーチャル顕微鏡システムの構成を示す機能ブロック図である。
【図６】図５に示した画像取得部の要部の構成を示す模式図である。
【図７】図６に示したＲＧＢカメラの分光感度特性を示す図である。
【図８】図６に示したフィルタ部を構成する二つの光学フィルタの分光透過率特性を示す図である。
【図９】図５に示した顕微鏡装置の具体的構成を示す図である。
【図１０】図５に示したバーチャル顕微鏡システムによるバーチャルスライドおよびスペクトルテーブルの作成処理を示すフローチャートである。
【図１１】図５に示したバーチャル顕微鏡システムによるスペクトルの推定処理を示すフローチャートである。
【図１２】本発明の第２実施の形態に係るバーチャル顕微鏡システムの原理を説明するための図である。
【図１３】第２実施の形態に係るバーチャル顕微鏡システムの構成を示す機能ブロック図である。
【図１４】図１３に示したバーチャル顕微鏡システムによるバーチャルスライドおよびスペクトルテーブルの作成処理を示すフローチャートである。
【図１５】図１４に示した処理によって作成されるスペクトルテーブルの一例を示す図である。
【図１６】図１３に示したバーチャル顕微鏡システムによるスペクトルの推定処理を示すフローチャートである。
【図１７】複数の組織を有する対象標本を示す図である。
【図１８】図１に示した光路設定部のさらに他の構成を示す図である。
【発明を実施するための形態】
【００４２】
以下、本発明の好適実施の形態について、図を参照して詳細に説明する。なお、本発明は、以下の実施の形態によって限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。
【００４３】
（第１実施の形態）
図１および図２は、本発明の第１実施の形態に係るバーチャル顕微鏡システムの原理を説明するための図である。本実施の形態に係るバーチャル顕微鏡システムでは、顕微鏡装置のステージに載置された対象の染色標本（以下、「対象標本」と称す）１１を、光源１２により照明光学系１３を経て照明し、その透過光を顕微鏡対物レンズを含む観察光学系１４を経て光路設定部１５に入射させる。光路設定部１５は、例えば、入射光の光路に対して退避可能な反射ミラーからなる光路切換ミラー１５ａで構成され、光路切換ミラー１５ａを入射光路から退避させることにより、観察光学系１４からの入射光の光路を画像取得部１６に設定し、光路切換ミラー１５ａを入射光路に挿入することにより、観察光学系１４からの入射光の光路をスペクトル取得部１７に設定する。
【００４４】
そして、光路切換ミラー１５ａを入射光路から退避させた状態で、画像取得部１６により、図２（ａ）に示すように対象標本１１の１バンド以上の対象標本画像２１を取得し、その取得した対象標本画像２１を、バーチャルスライド２２の一部として、図示しない記憶部に格納する。その後、光路切換ミラー１５ａを入射光路に挿入させた状態で、スペクトル取得部１７により、画像取得部１６で取得される対象標本画像２１の１以上の所定部分２３（図１参照）のスペクトル２４（図２（ｂ）参照）を取得して、その取得した各所定部分２３のスペクトル２４を、図２に示すようにスペクトルテーブル２５に登録する。図１は、対象標本画像２１の２箇所の各所定部分２３のスペクトル２４を取得する例を示している。この対象標本画像２１の取得と、そのスペクトル２４の取得とを、対象標本１１を移動させながら繰り返すことにより、ｍ×ｎ枚のバーチャルスライド２２とスペクトルテーブル２５とをほぼ同時に作成する。
【００４５】
上記の説明では、対象標本画像２１を取得した後、その所定部分２３のスペクトル２４を取得するようにしたが、その順番は逆でもよい。また、スペクトル取得部１７は、対象標本画像２１の２つの各所定部分２３のスペクトル２４に限らず、１つの所定部分２３、あるいは図３に示すように、光路切換ミラー１５ａを経た観察光学系１４からの入射光を拡大光学系２７により拡大して、３つ以上の各所定部分２３のスペクトル２４をそれぞれ取得するように構成することもできる。
【００４６】
さらに、光路設定部１５は、図４に示すように、ハーフミラー等のビームスプリッタ１５ｂを用い、これにより観察光学系１４からの入射光の光路を分岐して、画像取得部１６とスペクトル取得部１７とのそれぞれに光路を設定することもできる。この場合は、画像取得部１６による対象標本画像２１の取得と、スペクトル取得部１７による対象標本画像２１のスペクトル２４の取得とを同時に行うことができる。
【００４７】
なお、図１および図３に示したように、退避可能な光路切換ミラー１５ａを用いて光路設定部１５を構成した場合は、対象標本１１の透過光の有効利用が図られ、図４の場合と比較して、照明光の光量を低下させることが可能となる。また、図４に示したように、ビームスプリッタ１５ｂを用いて光路設定部１５を構成した場合は、図１や図３の場合と比較して、より短時間でバーチャルスライド２２とスペクトルテーブル２５とを作成することが可能となる。
【００４８】
図５は、上記の原理に基づく本実施の形態に係るバーチャル顕微鏡システムの構成を示す機能ブロック図である。このバーチャル顕微鏡システムは、顕微鏡装置１００と、該顕微鏡装置１００を制御して、バーチャルスライド作成およびスペクトル推定等を行うホストシステム２００とからなる。顕微鏡装置１００は、画像取得部１１０、スペクトル取得部１３０、光路設定部１５０およびステージ１７０を備える。
【００４９】
画像取得部１１０（図１の画像取得部１６に相当）は、対象標本の顕微鏡による１バンド以上の対象標本画像（ここでは、６バンド画像）を取得するもので、例えば、図６に要部の構成を模式的に示すように、ＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子等を備えたＲＧＢカメラ１１１、結像する光の波長帯域を所定範囲に制限するフィルタ部１１３を備える。
【００５０】
ＲＧＢカメラ１１１は、例えば図７に示すようなＲ（赤），Ｇ（緑），Ｂ（青）の各バンドの分光感度特性を有するものとする。フィルタ部１１３は、回転式のフィルタ切り替え部１１５を備え、このフィルタ切り替え部１１５に、Ｒ，Ｇ，Ｂの各バンドの透過波長領域を２分するように、それぞれ異なる分光透過率特性を有する２枚の光学フィルタ１１７ａ，１１７ｂを保持する。図８（ａ）は、一方の光学フィルタ１１７ａの分光透過率特性を示し、図８（ｂ）は、他方の光学フィルタ１１７ｂの分光透過率特性を示す。
【００５１】
そして、先ず、例えば光学フィルタ１１７ａを、光源１１９（図１の光源１２に相当）からＲＧＢカメラ１１１に至る光路上に位置させて、光源１１９によりステージ１７０上に載置された対象標本１１を照明し、その透過光を結像光学系１２１（図１の観察光学系１４に相当）および光学フィルタ１１７ａを経てＲＧＢカメラ１１１に結像させて第１の撮像を行う。次いで、フィルタ切り替え部１１５を回転させて、光学フィルタ１１７ｂを光源１１９からＲＧＢカメラ１１１に至る光路上に位置させて、同様にして第２の撮像を行う。
【００５２】
これにより、第１の撮像および第２の撮像でそれぞれ異なる３バンドの画像を得て、合計で６バンドのマルチバンド画像を得る。なお、フィルタ部１１３に設ける光学フィルタの数は２枚に限らず、３枚以上の光学フィルタを用いて、さらに多くのバンドの画像を得ることも可能である。取得された対象標本１１の対象標本画像は、ホストシステム２００の後述する記憶部２３０にバーチャルスライドの一部として格納される。なお、画像取得部１１０は、ＲＧＢカメラ１１１によりＲＧＢ画像のみを取得するようにしてもよい。
【００５３】
図５において、スペクトル取得部１３０（図１のスペクトル取得部１７に相当）は、画像取得部１１０で取得される対象標本画像の１以上の所定部分のスペクトルを取得するもので、所定部分に対応する光ファイバやシリコンディテクタを用いた分光計を備える。したがって、所定部分が複数設定されている場合は、複数の分光計を備える。
【００５４】
光路設定部１５０は、画像取得部１１０が対象標本画像を取得する毎に、スペクトル取得部１３０により当該対象標本画像の所定部分のスペクトルを取得し得るように、画像取得部１１０およびスペクトル取得部１３０に対して顕微鏡対物レンズによる光束の光路を設定するもので、図１または図４に示したように、光路切換ミラー１５ａやビームスプリッタ１５ｂを用いて構成される。
【００５５】
ステージ１７０は、対象標本を載置するとともに、顕微鏡対物レンズに対して対象標本の位置を位置決めするもので、例えば顕微鏡対物レンズの光軸に対して垂直な平面内で二次元方向に移動可能な電動ステージにより構成される。
【００５６】
一方、ホストシステム２００は、制御部２１０、記憶部２３０、演算部２５０、入力部２７０および表示部２９０を備える。
【００５７】
入力部２７０は、例えば、キーボードやマウス、タッチパネル、各種スイッチ等の入力装置によって実現されるものであり、操作入力に応じた入力信号を制御部２１０に出力する。
【００５８】
表示部２９０は、ＬＣＤ（Liquid Crystal Display）やＥＬ（Electro Luminescence）ディスプレイ、ＣＲＴ（Cathode Ray Tube）ディスプレイ等の表示装置によって実現されるものであり、制御部２１０から入力される表示信号をもとに各種画面を表示する。
【００５９】
演算部２５０は、推定オペレータ算出部２５５、スペクトル推定部２５７およびバーチャルスライド作成部２５９を有する。バーチャルスライド作成部２５９は、顕微鏡装置１００が対象標本１１を部分的にマルチバンド撮像することによって得られる複数の対象標本画像をそれぞれ処理して、バーチャルスライド画像を作成する。
【００６０】
記憶部２３０は、更新記憶可能なフラッシュメモリ等のＲＯＭやＲＡＭといった各種ＩＣメモリ、内蔵あるいはデータ通信端子で接続されたハードディスク、ＣＤ−ＲＯＭ等の情報記憶媒体およびその読取装置等によって実現されるものである。この記憶部２３０には、画像取得部１１０が取得した画像を処理する画像処理プログラム２３１、バーチャルスライドを作成するためのバーチャルスライド作成プログラム２３３、作成されたバーチャルスライド２３５、スペクトル取得部１３０で取得されたスペクトルテーブル２３７（図２のスペクトルテーブル２５に相当）、プログラムの実行中に使用されるデータ、等が格納される。
【００６１】
制御部２１０は、画像取得部１１０の動作を制御して対象標本の画像を取得する画像取得制御部２１１、スペクトル取得部１３０の動作を制御して対象標本のスペクトルを取得するスペクトル取得制御部２１３、光路設定部１５０の動作を制御して光路を切換える光路設定制御部２１５、ステージ１７０を制御して観察視野を移動するステージ制御部２１７を含む。そして、制御部２１０は、入力部２７０から入力される入力信号や画像取得部１１０から入力される対象標本画像、記憶部２３０に格納されているプログラムやデータ等に基づいてバーチャル顕微鏡システムを構成する各部への指示やデータの転送等を行い、全体の動作を統括的に制御する。この制御部２１０は、ＣＰＵ等のハードウェアによって実現される。なお、光路設定部１５０が、図４に示したように、ビームスプリッタ１５ｂを用いて構成される場合、光路設定制御部２１５は不要である。
【００６２】
図５には、ホストシステム２００の機能構成を示したが、実際のホストシステム２００は、ＣＰＵやビデオボード、メインメモリ（ＲＡＭ）等の主記憶装置、ハードディスクや各種記憶媒体等の外部記憶装置、通信装置、外部入力を接続するインターフェース装置等を備えた公知のハードウェア構成で実現でき、例えばワークステーションやパソコン等の汎用コンピュータを利用することができる。
【００６３】
図９は、図５に示した顕微鏡装置１００の具体的構成を示す図である。顕微鏡装置１００は、対象標本１１が載置されるステージ１７０と、側面視略コの字状を有し、ステージ１７０を支持するとともにレボルバ１２３を介して対物レンズ１２５（図１の観察光学系１４に相当）を保持する顕微鏡本体１２７と、顕微鏡本体１２７の底部後方に配設された光源１１９と、顕微鏡本体１２７の上部に載置された鏡筒１２９とを備える。また、鏡筒１２９には、対象標本１１の標本像を目視観察するための双眼部１３１と、対象標本１１の標本像を撮像して対象標本画像を取得するためのＴＶカメラ１３３（図６のＲＧＢカメラ１１１に相当）とが取り付けられている。ここで、図９に示す対物レンズ１２５の光軸方向をＺ方向とし、Ｚ方向と垂直な平面をＸＹ平面として定義する。
【００６４】
ステージ１７０は、ＸＹＺ方向に移動自在に構成されている。すなわち、ステージ１７０は、モータ１３５およびこのモータ１３５の駆動を制御するＸＹ駆動制御部１３７によってＸＹ平面内で移動自在である。ＸＹ駆動制御部１３７は、図示しないＸＹ位置の原点センサによってステージ１７０のＸＹ平面における所定の原点位置を検知し、この原点位置を基点としてモータ１３５の駆動量を制御することによって、対象標本１１の観察視野を移動させる。
【００６５】
また、ステージ１７０は、モータ１３９およびこのモータ１３９の駆動を制御するＺ駆動制御部１４１によってＺ方向に移動自在である。Ｚ駆動制御部１４１は、図示しないＺ位置の原点センサによってステージ１７０のＺ方向における所定の原点位置を検知し、この原点位置を基点としてモータ１３９の駆動量を制御することによって、所定の高さ範囲内の任意のＺ位置に対象標本１１を焦準移動させる。
【００６６】
レボルバ１２３は、顕微鏡本体１２７に対して回転自在に保持され、対物レンズ１２５を対象標本１１の上方に配置される。対物レンズ１２５は、レボルバ１２３に対して倍率（観察倍率）の異なる他の対物レンズとともに交換自在に装着されており、レボルバ１２３の回転に応じて観察光の光路上に挿入されて対象標本１１の観察に用いる対物レンズ１２５が択一的に切換えられるようになっている。
【００６７】
顕微鏡本体１２７は、底部において対象標本１１を透過照明するための照明光学系（図１の照明光学系１３に相当）を内設している。この照明光学系は、光源１１９から射出された照明光を集光するコレクタレンズ１４３、照明系フィルタユニット１４５、視野絞り１４７、開口絞り１４９、照明光の光路を対物レンズ１２５の光軸に沿って偏向させる折曲げミラー１５１、コンデンサ光学素子ユニット１５３、トップレンズユニット１５５等が、照明光の光路に沿って適所に配置されて構成される。光源１１９から射出された照明光は、この照明光学系によって対象標本１１に照射され、その透過光が観察光として対物レンズ１２５に入射する。
【００６８】
また、顕微鏡本体１２７は、スペクトル取得部１３０を備えるとともに、このスペクトル取得部１３０と鏡筒１２９とに光路を設定するように、対物レンズ１２５と鏡筒１２９との間の光路に光路設定部１５０を備える。この光路設定部１５０は、図１または図４に示した光路切換ミラー１５ａやビームスプリッタ１５ｂを用いて構成される。
【００６９】
さらに、顕微鏡本体１２７は、光路設定部１５０と鏡筒１２９との間の光路にフィルタユニット１５７を内設している。フィルタユニット１５７は、図７に示したフィルタ部１１３に相当するもので、標本像として結像する光の波長帯域を所定範囲に制限するための２枚以上の光学フィルタ１５９を回転自在に保持し、この光学フィルタ１５９を、適宜、対物レンズ１２５の後段において観察光の光路上に挿入する。
【００７０】
鏡筒１２９は、フィルタユニット１５７を経た観察光の光路を切換えて双眼部１３１またはＴＶカメラ１３３へと導くビームスプリッタ１６１を内設している。対象標本１１の標本像は、ビームスプリッタ１６１によって双眼部１３１内に導入され、接眼レンズ１６３を介して検鏡者に目視観察される。あるいは、ＴＶカメラ１３３によって撮像される。ＴＶカメラ１３３は、標本像（詳細には、対物レンズ１２５の視野範囲の標本像）を結像するＣＣＤやＣＭＯＳ等の撮像素子を備えて構成され、標本像を撮像し、標本像の画像データ（対象標本画像）をホストシステム２００に出力する。
【００７１】
さらに、顕微鏡装置１００は、顕微鏡コントローラ１６５、ＴＶカメラコントローラ１６７、およびスペクトル取得コントローラ１６９を備える。顕微鏡コントローラ１６５は、ホストシステム２００の制御のもと、顕微鏡装置１００を構成する各部の動作を統括的に制御する。例えば、顕微鏡コントローラ１６５は、レボルバ１２３を回転させて観察光の光路上に配置する対物レンズ１２５を切換える処理や、切換えた対物レンズ１２５の倍率等に応じた光源１１９の調光制御や各種光学素子の切換え、あるいはＸＹ駆動制御部１３７やＺ駆動制御部１４１に対するステージ１７０の移動指示等、対象標本１１の観察に伴う顕微鏡装置１００の各部の調整を行うとともに、各部の状態を適宜ホストシステム２００に通知する。
【００７２】
ＴＶカメラコントローラ１６７は、ホストシステム２００の制御のもと、自動ゲイン制御のＯＮ／ＯＦＦ切換、ゲインの設定、自動露出制御のＯＮ／ＯＦＦ切換、露光時間の設定等を行ってＴＶカメラ１３３を駆動し、ＴＶカメラ１３３の撮像動作を制御する。また、スペクトル取得コントローラ１６９は、ホストシステム２００の制御のもと、スペクトル取得部１３０によるスペクトルの取得を制御して、取得されたスペクトルをホストシステム２００に供給する。
【００７３】
以下、本実施の形態に係るバーチャル顕微鏡システムの要部の動作について、図１０および図１１に示すフローチャートを参照しながら説明する。
【００７４】
図１０は、バーチャルスライドおよびスペクトルテーブルの作成処理を示すフローチャートである。先ず、制御部２１０は、ステージ制御部２１７によりステージ１７０の動作を制御して対象標本１１の観察視野を移動する（ステップＳ１０１）。次に、制御部２１０は、光路設定制御部２１５により光路設定部１５０の動作を制御して画像取得部１１０に光路を設定する（ステップＳ１０３）。
【００７５】
そして、制御部２１０は、画像取得制御部２１１により画像取得部１１０の動作を制御して対象標本１１の対象標本画像を取得し（ステップＳ１０５）、その取得した対象標本画像をバーチャルスライド２３５の一部として記憶部２３０に格納する（ステップＳ１０７）。
【００７６】
次に、制御部２１０は、光路設定制御部２１５により光路設定部１５０の動作を制御してスペクトル取得部１３０に光路を設定する（ステップＳ１０９）。そして、制御部２１０は、スペクトル取得制御部２１３によりスペクトル取得部１３０の動作を制御して対象標本１１のスペクトルを取得し（ステップＳ１１１）、その取得した対象標本１１のスペクトルを記憶部２３０のスペクトルテーブル２３７に格納する（ステップＳ１１３）。スペクトル取得部１３０において、対象標本画像の複数部分のスペクトルを取得する場合は、その全てのスペクトルを取得する（ステップＳ１１５）。
【００７７】
その後、制御部２１０は、対象標本１１の必要な視野を取得するまで、ステップＳ１０１からステップＳ１１５を繰り返して、対象標本１１の全体あるいは一部分のバーチャルスライド２３５とスペクトルテーブル２３７とを作成する（ステップＳ１１７）。なお、光路設定部１５０が、図４に示したようにビームスプリッタ１５ｂにより構成されている場合は、ステップＳ１０３およびＳ１０９は不要である。この場合は、画像取得部１１０による対象標本画像の取得処理と、スペクトル取得部１３０によるスペクトルの取得処理とを並行して、あるいは順次に実行する。
【００７８】
このように、画像取得部１１０により対象標本画像を取得する毎に、スペクトル取得部１３０により当該対象標本画像のスペクトルを取得することで、バーチャルスライド２３５とスペクトルテーブル２３７とを高速に作成することができる。特に、光路設定部１５０が、図４に示したようにビームスプリッタ１５ｂにより構成されている場合は、可動の光路切換ミラー１５ａを用いる場合のような、光路切換ミラー１５ａの切換時間が不要となるので、バーチャルスライド２３５とスペクトルテーブル２３７とをより高速に作成することができる。
【００７９】
また、スペクトル取得部１３０が対象標本画像の複数部分のスペクトルを取得する場合は、より豊富なスペクトルテーブル２３７を作成することができる。しかも、スペクトルテーブル２３７に格納されているスペクトルは、対象標本１１から取得したスペクトルであるから、対象標本１１のスペクトルを推定する場合に用いる推定オペレータＷを算出するために用いる統計データとして好適な統計データである。
【００８０】
図１１は、スペクトルの推定処理を示すフローチャートである。先ず、制御部２１０は、推定オペレータ算出部２５５により、スペクトルテーブル２３７に格納されている複数のスペクトルに基づいて、式（６）に示された推定オペレータＷを算出する（ステップＳ２０１）。そのため、推定オペレータ算出部２５５は、先ず、スペクトルテーブル２３７に格納されている複数のスペクトルから平均ベクトルＶを求める。続いて、平均ベクトルＶに基づいて、次式（７）により自己相関行列Ｒｓｓを算出する。ここで、添え字Ｔは行列式の転置を示す。
【００８１】
【数３】
【００８２】
その後、推定オペレータ算出部２５５は、自己相関行列Ｒｓｓに基づいて、上述した式（６）より推定オペレータＷを算出する。ここに、式（６）を再掲する。
Ｗ＝ＲＳＳＨｔ（ＨＲＳＳＨｔ＋ＲＮＮ）−１ ・・・（６）
ただし、（）ｔ：転置行列、（）−１：逆行列
【００８３】
これにより、対象標本画像のスペクトルを推定するのに好適な推定オペレータＷが得られる。得られた推定オペレータＷは、記憶部２３０に格納される。なお、自己相関行列算出に用いるスペクトルは、スペクトルテーブル２３７に格納されるスペクトルを全て用いてもよいし、特異なデータを除く等、何らかの目的に沿って一部分を抽出して用いてもよい。また、データ量が不十分である場合は、他の標本のスペクトル、あるいは、汎用的なスペクトルを合わせても良い。また、自己相関行列の代わりに、共分散行列を用いてもよい。
【００８４】
続いて、制御部２１０は、スペクトル推定部２５７により、バーチャルスライド２３５を構成する推定対象画素の画素値に基づいて、対象標本１１のスペクトルを推定する（ステップＳ２０３）。すなわち、スペクトル推定部２５７において、上述した式（５）により、推定オペレータＷを用いて、推定対象画素の画素値Ｇ（ｘ）から対応する対象標本１１の標本点における分光透過率の推定値Ｔ＾（ｘ）を推定する。ここに、式（５）を再掲する。
【数４】
【００８５】
このようにして、分光透過率の推定値Ｔ＾（ｘ）を推定することにより、スペクトル推定誤差を低減することができる。この分光透過率の推定値Ｔ＾（ｘ）は、記憶部２３０に格納される。
【００８６】
以上のように、本実施の形態に係るバーチャル顕微鏡システムによれば、バーチャルスライド２３５の作成とほぼ同時に、スペクトルテーブル２３７を作成することができる。したがって、高速にスペクトルを推定することができる。また、光路設定部１５０がビームスプリッタ１５ｂで構成されている場合は、より高速にスペクトルを推定することができる。また、対象標本に好適な推定オペレータを算出できるので、スペクトル推定の推定誤差を低減することができる。また、スペクトル取得部１３０により対象標本画像の複数部分のスペクトルを取得する場合は、スペクトル推定の推定誤差をより低減することができる。
【００８７】
（第２実施の形態）
図１２（ａ）および（ｂ）は、本発明の第２実施の形態に係るバーチャル顕微鏡システムの原理を説明するための図である。本実施の形態に係るバーチャル顕微鏡システムでは、図２（ａ）および（ｂ）で説明した第１実施の形態における動作原理に加えて、対象標本画像から取得したスペクトル２４をスペクトルテーブル２５に登録する際に、そのスペクトル２４を測定した部分２３の画素の画素値と位置情報とを対象標本画像２１から取得し、それらのデータをデータセット２６としてスペクトルテーブル２５に格納する。これにより、バーチャルスライドの作成とほぼ同時に、画素値が付されたスペクトルテーブルを作成する。その他は、図２（ａ）および（ｂ）と同様である。
【００８８】
図１３は、上記の原理に基づく本実施の形態に係るバーチャル顕微鏡システムの構成を示す機能ブロック図である。このバーチャル顕微鏡システムは、ホストシステム２００の演算部２５０の構成が、図５に示した構成と異なるものである。すなわち、演算部２５０は、図５に示した推定オペレータ算出部２５５、スペクトル推定部２５７、バーチャルスライド作成部２５９の他に、対象標本画像からスペクトル取得範囲の画素値を算出するスペクトル取得範囲画素値算出部２５１と、スペクトルテーブル２３７からスペクトルを選択するスペクトル選択部２５３とを備える。その他の構成は、図５と同様であるので、同一作用を成す構成要素には同一参照符号を付して説明を省略する。
【００８９】
以下、本実施の形態に係るバーチャル顕微鏡システムの要部の動作について説明する。
【００９０】
図１４は、バーチャルスライドおよびスペクトルテーブルの作成処理を示すフローチャートである。先ず、制御部２１０は、図１０に示した第１実施の形態の場合と同様のステップＳ１０１〜Ｓ１１１を実行する。続いて、制御部２１０は、スペクトル取得範囲画素値算出部２５１により、スペクトル取得範囲の画素値を対応する対象標本画像から算出する（ステップＳ１１２ａ）。ここで、画像取得部１１０とスペクトル取得部１３０とは、光路設定部１５０により光軸が位置合わせされているので、スペクトル取得範囲画素値算出部２５１は、スペクトルが取得された範囲の画素を取得できる。
【００９１】
なお、一般に、スペクトル取得部１３０の空間分解能は、画像取得部１１０の空間分解能よりも低い。そのため、スペクトル取得範囲画素値算出部２５１は、式（８）により、スペクトルが取得された範囲の画素の画素値Ｇと、スペクトル取得部１３０の受光特性Ａとを畳み込むことで、スペクトルが取得された範囲の画素の画素値から、スペクトルに対応する画素値を算出する。
【００９２】
【数５】
【００９３】
スペクトルに対応した画素値は、上記に限らず、スペクトルが取得された範囲の中心の画素の画素値、または、スペクトルが取得された範囲の画素の画素値の平均値、最頻値、中央値等の統計値でもよい。また、画素値は、取得画素値、Ｌ＊ａ＊ｂ＊空間等の色空間に変換した画素値、あるいは画素値から算出した特徴量でもよい。
【００９４】
ステップＳ１１１で取得したスペクトルおよびステップＳ１１２ａで算出した画素値は、スペクトルを取得した位置情報とともにデータセットとしてスペクトルテーブル２３７に格納する（ステップＳ１１２ｂ）。以降、ステップＳ１１５〜Ｓ１１７は、第１実施の形態と同様である。
【００９５】
これにより、例えば図１５に示すように、画素値と、スペクトル値と、画素位置とがデータセットとして関連付けられたスペクトルテーブル２３７を得ることができる。したがって、対象標本のスペクトルを推定する推定オペレータＷを算出する、より好適な統計データを得ることができる。
【００９６】
図１６は、スペクトルの推定処理を示すフローチャートである。先ず、制御部２１０は、スペクトル選択部２５３により、バーチャルスライド２３５を構成する推定対象画素の画素値に基づいて、スペクトルテーブル２３７からスペクトルを選択する（ステップＳ２０２ａ）。そのため、スペクトル選択部２５３では、先ず、推定対象画素の画素値と、スペクトルテーブル２３７上の各データセットにおける画素値の類似度ｄとを算出する。
【００９７】
類似度ｄは、例えば、２つの画素値間のユークリッド距離等の統計値を用いる。この場合、Ｌ＊ａ＊ｂ＊空間に変換した２つの画素値間のユークリッド距離は、色差を意味する。また、類似度ｄは、バンド毎に算出し、全バンドが条件を満たす、あるいは、一部のバンドが条件を満たすこととしてもよい。また、比較するスペクトルテーブル２３７上のデータセットは、２つの画素値の差が任意の閾値内のデータセットに限定してもよい。こうすることで、高速に検索することができる。
【００９８】
類似度ｄが２つの画素値間のユークリッド距離である場合、同値間でのユークリッド距離は０であるから、類似しているほど０に近い。そこで、類似度が小さい方から順に所定の数だけデータセットを選択する。この際の所定の数は、経験的に定めればよい。また、類似度が所定の閾値より小さいデータセットを選択してもよい。この際の所定の閾値は、経験的に定めればよい。こうすることで、推定対象画素の画素値と類似した統計データを選択できる。したがって、推定対象画素のスペクトルを推定する推定オペレータＷを算出する統計データとして最適な統計データを選択できる。選択したデータセットおよび算出した類似度ｄは、記憶部２３０に記憶される。
【００９９】
続いて、制御部２１０は、推定オペレータ算出部２５５により、選択されたデータセットに基づいて上述した式（６）から推定オペレータＷを算出する（ステップＳ２０２ｂ）。このため、推定オペレータ算出部２５５は、先ず、選択されたデータセットと類似度ｄとから、例えば、次式（９）より重み付き平均ベクトルＶ’を求める。
【０１００】
【数６】
【０１０１】
続いて、推定オペレータ算出部２５５は、重み付き平均ベクトルＶ’をもとに次式（１０）より自己相関行列Ｒｓｓを算出する。ここで、添え字Ｔは行列式の転置を示す。
【０１０２】
【数７】
【０１０３】
その後、推定オペレータ算出部２５５は、自己相関行列Ｒｓｓに基づいて、上述した式（６）により推定オペレータＷを算出する。ここに、式（６）を再掲する。
Ｗ＝ＲＳＳＨｔ（ＨＲＳＳＨｔ＋ＲＮＮ）−１ ・・・（６）
ただし、（）ｔ：転置行列、（）−１：逆行列
【０１０４】
これにより、推定対象画素のスペクトルを推定する場合に最適な推定オペレータＷが得られる。得られた推定オペレータＷは、記憶部２３０に格納する。その後、図１１に示した第１実施の形態の場合と同様に、ステップＳ２０３により、算出された推定オペレータを用いて推定対象画素のスペクトルを推定する。こうすることで、各画素でスペクトル推定の推定誤差を低減することができる。
【０１０５】
以上のように、本実施の形態に係るバーチャル顕微鏡システムによれば、バーチャルスライドを作成すると同時に、スペクトルと、そのスペクトルを取得した部分の画素値および位置情報とをデータセットとしたスペクトルテーブル２３７を得るので、第１実施の形態における効果に加えて、より正確にスペクトルを推定することができる。
【０１０６】
例えば、複数の組織を有する対象標本１１から、図１７に示すように、１回の撮像で図示のサイズの対象標本画像２１（タイル）を取得してバーチャルスライド２３５を作成する場合、タイルが近ければ同じ組織あるいは近い特性の組織である可能性が高い。したがって、このような場合、スペクトルを推定するにあたって、同じ組織あるいは近い特性の組織で測定したスペクトルを教師データとするのがより好適である。本実施の形態によれば、上述したように、スペクトルと、そのスペクトルを取得した部分の画素値および位置情報とをデータセットとしたスペクトルテーブル２３７を得るので、スペクトルを推定するにあたって、その位置情報から近傍の位置の教師データを使用することができる。これにより、同じ組織あるいは近い特性の組織である可能性の高い教師データからスペクトルを推定できるので、スペクトルをより正確に推定することが可能となる。
【０１０７】
なお、本発明は、上記実施の形態に限定されるものではなく、幾多の変形または変更が可能である。例えば、図１、図３および図４に示した光路設定部１５は、図１８（ａ）および（ｂ）に示すように、観察光学系１４の光路に対して、画像取得部１６とスペクトル取得部１７との配置を機械的に切換える配置切換機構１５ｃにより構成して、図１８（ａ）の状態で観察光を画像取得部１６に入射させ、図１８（ｂ）の状態で観察光をスペクトル取得部１７に入射させるようにすることもできる。また、対象標本の観察視野は、ステージを移動させる場合に限らず、顕微鏡対物レンズを移動させたり、ステージと顕微鏡対物レンズとの双方を移動させたりして切換えるようにしてもよい。
【０１０８】
また、第２実施の形態においては、類似度ｄが最小のスペクトルをスペクトル推定値としてもよい。この場合、スペクトルを推定するよりもスペクトル推定誤差が大きくなるが、スペクトルを推定しないので高速に処理する。また、重み付き平均ベクトルＶ’の重みは、式（９）に限らず、適宜設定することが可能である。また、このような重み付けを行うことなく、また、他の標本のスペクトル、あるいは、汎用的なスペクトルを合わせて、推定オペレータを算出することも可能である。また、自己相関行列の代わりに、共分散行列を用いて、推定オペレータを算出することもできる。また、スペクトルを含むデータセットは、スペクトルとその取得位置の画素値とのデータセット、あるいは、スペクトルとその取得画素位置とのデータセットとすることもできる。
【符号の説明】
【０１０９】
１１ 染色標本（対象標本）
１２ 光源
１３ 照明光学系
１４ 観察光学系
１５ 光路設定部
１５ａ 光路切換ミラー
１５ｂ ビームスプリッタ
１５ｃ 配置切換機構
１６ 画像取得部
１７ スペクトル取得部
２１ 対象標本画像
２２ バーチャルスライド
２３ 所定部分
２４ スペクトル
２５ スペクトルテーブル
２７ 拡大光学系
１００ 顕微鏡装置
１１０ 画像取得部
１３０ スペクトル取得部
１５０ 光路設定部
１７０ ステージ
２００ ホストシステム
２１０ 制御部
２１１ 画像取得制御部
２１３ スペクトル取得制御部
２１５ 光路設定制御部
２１７ ステージ制御部
２３０ 記憶部
２５０ 演算部
２５５ 推定オペレータ算出部
２５７ スペクトル推定部
２５９ バーチャルスライド作成部
２７０ 入力部
２９０ 表示部
【特許請求の範囲】
【請求項１】
染色標本を撮像してスペクトルを推定するバーチャル顕微鏡システムであって、
前記染色標本の１バンド以上の染色標本画像を取得する画像取得部と、
前記染色標本画像の１以上の所定部分のスペクトルを取得するスペクトル取得部と、
前記画像取得部が前記染色標本画像を取得する毎に、前記スペクトル取得部により当該染色標本画像のスペクトルを取得し得るように、前記画像取得部および前記スペクトル取得部に対して前記染色標本を経た光束の光路を設定する光路設定部と、
前記染色標本のバーチャルスライドとスペクトルテーブルとを作成するように、前記染色標本の２以上の観察視野において、前記画像取得部による前記染色標本画像の取得と、前記スペクトル取得部による当該染色標本画像のスペクトル取得とを繰り返すように制御する制御部と、
を備えることを特徴とするバーチャル顕微鏡システム。
【請求項２】
前記スペクトルテーブルから推定オペレータを算出する推定オペレータ算出部と、
前記推定オペレータを用いて前記バーチャルスライドを構成する画素のスペクトルを推定するスペクトル推定部と、
をさらに備えることを特徴とする請求項１に記載のバーチャル顕微鏡システム。
【請求項３】
前記光路設定部は、前記染色標本を経た光束を前記画像取得部および前記スペクトル取得部に選択的に入射させるように前記光束の光路を切換える光路切換ミラーを備える、ことを特徴とする請求項１または２に記載のバーチャル顕微鏡システム。
【請求項４】
前記光路設定部は、前記染色標本を経た光束の光路上に、前記画像取得部および前記スペクトル取得部を選択的に位置させる配置切換機構を備える、ことを特徴とする請求項１または２に記載のバーチャル顕微鏡システム。
【請求項５】
前記光路設定部は、前記染色標本を経た光束を前記画像取得部および前記スペクトル取得部に同時に入射させるように前記光束の光路を分岐するビームスプリッタを備える、ことを特徴とする請求項１または２に記載のバーチャル顕微鏡システム。
【請求項６】
前記画像取得部は、ＲＧＢカメラ、モノクロカメラ、２バンド以上のカメラ、カメラおよび光学フィルタで構成された多バンドカメラのいずれかである、ことを特徴とする請求項１〜５のいずれか一項に記載のバーチャル顕微鏡システム。
【請求項７】
前記スペクトル取得部は、前記染色標本画像を拡大する光学倍率拡大部を備え、該光学倍率拡大部により拡大された前記染色標本画像から前記スペクトルを取得する、ことを特徴とする請求項１〜６のいずれか一項に記載のバーチャル顕微鏡システム。
【請求項８】
前記スペクトル取得部による前記スペクトルの取得位置の画素値を前記画像取得部が取得した前記染色標本画像から取得するスペクトル取得位置画素値算出部をさらに備え、
前記スペクトルテーブルとして、少なくとも前記スペクトルと前記画素値とを含むスペクトルテーブルを作成する、ことを特徴とする請求項１〜７のいずれか一項に記載のバーチャル顕微鏡システム。
【請求項９】
前記スペクトルテーブルから前記バーチャルスライドを構成する画素の画素値に応じたスペクトルを複数選択するスペクトル選択部をさらに備え、
前記推定オペレータ算出部は、前記スペクトル選択部で選択された複数のスペクトルから画素値毎の推定オペレータを算出し、
前記スペクトル推定部は、前記画素値毎の推定オペレータを用いて前記バーチャルスライドを構成する画素のスペクトルを推定する、
ことを特徴とする請求項８に記載のバーチャル顕微鏡システム。
【請求項１０】
前記スペクトルテーブルから前記バーチャルスライドを構成する画素の画素値に応じたスペクトルを選択するスペクトル選択部をさらに備え、
該スペクトル選択部で選択された前記スペクトルをスペクトル推定値とする、
ことを特徴とする請求項８に記載のバーチャル顕微鏡システム。
【請求項１１】
前記スペクトルテーブルに格納される画素値は、取得画素値、色空間に変換した画素値、画素値から算出した特徴量のいずれかである、ことを特徴とする請求項８〜１０のいずれか一項に記載のバーチャル顕微鏡システム。
【請求項１２】
前記スペクトルテーブルは、少なくとも前記スペクトル、前記画素値および前記スペクトルを取得した画素位置情報を含むデータセットからなる、ことを特徴とする請求項８〜１１のいずれか一項に記載のバーチャル顕微鏡システム。
【請求項１３】
前記スペクトル取得位置画素値算出部は、前記スペクトルの取得範囲の中心画素の画素値、前記取得範囲の画素の画素値の統計値、前記取得範囲の画素値と前記スペクトル取得部の受光特性との畳み込みで算出される値のいずれかである、ことを特徴とする請求項８〜１２のいずれか一項に記載のバーチャル顕微鏡システム。
【請求項１】
染色標本を撮像してスペクトルを推定するバーチャル顕微鏡システムであって、
前記染色標本の１バンド以上の染色標本画像を取得する画像取得部と、
前記染色標本画像の１以上の所定部分のスペクトルを取得するスペクトル取得部と、
前記画像取得部が前記染色標本画像を取得する毎に、前記スペクトル取得部により当該染色標本画像のスペクトルを取得し得るように、前記画像取得部および前記スペクトル取得部に対して前記染色標本を経た光束の光路を設定する光路設定部と、
前記染色標本のバーチャルスライドとスペクトルテーブルとを作成するように、前記染色標本の２以上の観察視野において、前記画像取得部による前記染色標本画像の取得と、前記スペクトル取得部による当該染色標本画像のスペクトル取得とを繰り返すように制御する制御部と、
を備えることを特徴とするバーチャル顕微鏡システム。
【請求項２】
前記スペクトルテーブルから推定オペレータを算出する推定オペレータ算出部と、
前記推定オペレータを用いて前記バーチャルスライドを構成する画素のスペクトルを推定するスペクトル推定部と、
をさらに備えることを特徴とする請求項１に記載のバーチャル顕微鏡システム。
【請求項３】
前記光路設定部は、前記染色標本を経た光束を前記画像取得部および前記スペクトル取得部に選択的に入射させるように前記光束の光路を切換える光路切換ミラーを備える、ことを特徴とする請求項１または２に記載のバーチャル顕微鏡システム。
【請求項４】
前記光路設定部は、前記染色標本を経た光束の光路上に、前記画像取得部および前記スペクトル取得部を選択的に位置させる配置切換機構を備える、ことを特徴とする請求項１または２に記載のバーチャル顕微鏡システム。
【請求項５】
前記光路設定部は、前記染色標本を経た光束を前記画像取得部および前記スペクトル取得部に同時に入射させるように前記光束の光路を分岐するビームスプリッタを備える、ことを特徴とする請求項１または２に記載のバーチャル顕微鏡システム。
【請求項６】
前記画像取得部は、ＲＧＢカメラ、モノクロカメラ、２バンド以上のカメラ、カメラおよび光学フィルタで構成された多バンドカメラのいずれかである、ことを特徴とする請求項１〜５のいずれか一項に記載のバーチャル顕微鏡システム。
【請求項７】
前記スペクトル取得部は、前記染色標本画像を拡大する光学倍率拡大部を備え、該光学倍率拡大部により拡大された前記染色標本画像から前記スペクトルを取得する、ことを特徴とする請求項１〜６のいずれか一項に記載のバーチャル顕微鏡システム。
【請求項８】
前記スペクトル取得部による前記スペクトルの取得位置の画素値を前記画像取得部が取得した前記染色標本画像から取得するスペクトル取得位置画素値算出部をさらに備え、
前記スペクトルテーブルとして、少なくとも前記スペクトルと前記画素値とを含むスペクトルテーブルを作成する、ことを特徴とする請求項１〜７のいずれか一項に記載のバーチャル顕微鏡システム。
【請求項９】
前記スペクトルテーブルから前記バーチャルスライドを構成する画素の画素値に応じたスペクトルを複数選択するスペクトル選択部をさらに備え、
前記推定オペレータ算出部は、前記スペクトル選択部で選択された複数のスペクトルから画素値毎の推定オペレータを算出し、
前記スペクトル推定部は、前記画素値毎の推定オペレータを用いて前記バーチャルスライドを構成する画素のスペクトルを推定する、
ことを特徴とする請求項８に記載のバーチャル顕微鏡システム。
【請求項１０】
前記スペクトルテーブルから前記バーチャルスライドを構成する画素の画素値に応じたスペクトルを選択するスペクトル選択部をさらに備え、
該スペクトル選択部で選択された前記スペクトルをスペクトル推定値とする、
ことを特徴とする請求項８に記載のバーチャル顕微鏡システム。
【請求項１１】
前記スペクトルテーブルに格納される画素値は、取得画素値、色空間に変換した画素値、画素値から算出した特徴量のいずれかである、ことを特徴とする請求項８〜１０のいずれか一項に記載のバーチャル顕微鏡システム。
【請求項１２】
前記スペクトルテーブルは、少なくとも前記スペクトル、前記画素値および前記スペクトルを取得した画素位置情報を含むデータセットからなる、ことを特徴とする請求項８〜１１のいずれか一項に記載のバーチャル顕微鏡システム。
【請求項１３】
前記スペクトル取得位置画素値算出部は、前記スペクトルの取得範囲の中心画素の画素値、前記取得範囲の画素の画素値の統計値、前記取得範囲の画素値と前記スペクトル取得部の受光特性との畳み込みで算出される値のいずれかである、ことを特徴とする請求項８〜１２のいずれか一項に記載のバーチャル顕微鏡システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公開番号】特開２０１１−９９８２３（Ｐ２０１１−９９８２３Ａ）
【公開日】平成２３年５月１９日（２０１１．５．１９）
【国際特許分類】
【出願番号】特願２００９−２５６３１２（Ｐ２００９−２５６３１２）
【出願日】平成２１年１１月９日（２００９．１１．９）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２３年５月１９日（２０１１．５．１９）
【国際特許分類】
【出願日】平成２１年１１月９日（２００９．１１．９）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]