説明

顕微鏡システム、標本観察方法およびプログラム

【課題】複数の色素で多重染色された標本を撮像した標本画像を表示する際の視認性を向上させること。
【解決手段】本発明のある実施の形態において、高解像画像取得処理部453は、顕微鏡装置2に対する動作指示を行い、標本領域を部分毎に撮像した複数の標本領域区画画像を取得する。そして、高解像画像取得処理部453は、各標本領域区画画像を繋ぎ合せてVS画像を生成する。色素量算出部455は、VS画像の画素毎に、対応する標本位置における染色色素毎の色素量を算出する。色素選択処理部456は、染色色素の中から表示対象色素を選択する。表示画像生成部457は、VS画像の各画素における表示対象色素の色素量をもとに、表示対象色素による標本Sの染色状態を表した表示画像を生成する。そして、VS画像表示処理部454は、生成した表示画像を表示部43に表示する処理を行う。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、複数の色素によって多重染色された標本を撮像した標本画像を顕微鏡を用いて取得し、取得した標本画像を表示して標本を観察する顕微鏡システム、標本観察方法およびプログラムに関するものである。
【背景技術】
【0002】
例えば病理診断では、臓器摘出や針生検によって得た組織検体を厚さ数ミクロン程度に薄切して標本を作成し、様々な所見を得るために光学顕微鏡を用いて拡大観察することが広く行われている。ここで、標本は光を殆ど吸収および散乱せず無色透明に近いため、観察に先立って色素による染色を施すのが一般的である。
【0003】
染色手法としては種々のものが提案されているが、特に組織標本に関しては、標本の形態を観察するための形態観察染色として、ヘマトキシリンおよびエオジンの2つの色素を用いるヘマトキシリン・エオジン染色(以下、「HE染色」と称す。)が標準的に用いられている。例えば、HE染色された標本をマルチバンド撮像し、標本位置の分光スペクトルを推定することで標本を染色している色素の色素量を算出(推定)して、表示用のRGB画像を合成する手法が開示されている(例えば、特許文献1,2,3等を参照)。なお、この他の形態観察染色としては、例えば細胞診では、パパニコロウ染色(Pap染色)等が知られている。
【0004】
また、病理診断では、標本に分子情報の発現を確認するための分子標的染色を施し、遺伝子やタンパクの発現異常といった機能異常の診断に用いている。例えば、IHC(immunohistochemistry:免疫組織化学)法、ICC(immunocytochemistry:免疫細胞化学)法、ISH(in situ hybridization)法等で標本を蛍光標識して蛍光観察し、あるいは酵素標識して明視野観察するといったことが行われている。ここで、蛍光標識による標本の蛍光観察では、例えば共焦点レーザ顕微鏡が使用される。この蛍光標識による観察では、感度の高いシャープな画像が得られ、標本を3次元的に観察し、あるいは標本を所望の方向から観察することができる。また、複数の標的分子を同時に標識することができるといった利点がある。しかしながら、標本を長期間保存できず、診断に時間を要するとともに、専用の暗室が必要となるため、手軽に実施できないという問題があった。加えて、標本の形態観察と同時に行うことが困難であるという難点もあり、病理診断では実用的でない面があった。
【0005】
これに対し、酵素標識による明視野観察(IHC法、ICC法、CISH法)では、標本を半永久的に保存できる。また、光学顕微鏡を用いるため、その観察を形態観察と併せて行うことができ、病理診断では標準的に用いられている。
【0006】
ところで、顕微鏡を用いて標本を観察する場合、1度に観察可能な範囲(視野範囲)は、主に対物レンズの倍率によって決定される。ここで、対物レンズの倍率が高いほど高精細な画像が得られる反面、視野範囲が狭くなる。この種の問題を解決するため、従来から、標本を載置する電動ステージを動かす等して視野範囲を移動させながら、倍率の高い対物レンズを用いて標本像を部分毎に撮像し、撮像した部分毎の画像を繋ぎ合わせることによって高精細でかつ広視野の標本画像を生成するといったことが行われており(例えば特許文献4,5を参照)、バーチャル顕微鏡システムと呼ばれている。以下、バーチャル顕微鏡システムで生成される標本画像を、「VS画像」と称す。
【0007】
このバーチャル顕微鏡システムによれば、実際に標本が存在しない環境であっても観察が行える。また、生成したVS画像をネットワークを介して閲覧可能に公開しておけば、時間や場所を問わずに標本の観察が行える。このため、バーチャル顕微鏡システムは、病理診断の教育現場、あるいは遠隔地に在る病理医間のコンサルテーション等で活用されている。
【0008】
【特許文献1】特開2008−51654号公報
【特許文献2】特開平7−120324号公報
【特許文献3】特表2002−521682号公報
【特許文献4】特開平9−281405号公報
【特許文献5】特開2006−343573号公報
【発明の開示】
【発明が解決しようとする課題】
【0009】
例えば標本に形態観察のための染色を施すとともに、明視野観察可能な分子標的染色によって標的分子を標識する場合、あるいは分子標的染色によって複数の標的分子を標識する場合、特許文献1,2,3等に開示されている技術を適用することで、標本を染色している色素毎に色素量を算出することができ、表示用に合成したRGB画像を表示装置上に表示して観察することができる。しかしながら、各色素の染め分けは難しく、複数の色素の色が重畳されて表示されてしまうため、視認性が劣化し、異常部位を見落とす等診断に悪影響を及ぼすという問題があった。また、同一の標本上でこれらを同時に観察するのは困難であり、このような場合には、個別に標本を用意して染色を施さなければならず、手間であるとともに観察効率が低下するという問題もあった。また、生検組織材料のような小さな標本を扱う場合、複数の標本を用意できない場合もある。
【0010】
本発明は、上記した従来の問題点に鑑みて為されたものであり、複数の色素で多重染色された標本を撮像した標本画像を表示する際の視認性を向上させることができる顕微鏡システム、標本観察方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【0011】
上記した課題を解決し、目的を達成するための、本発明のある態様にかかる顕微鏡システムは、顕微鏡を用い、複数の色素によって多重染色された標本を撮像した標本画像を取得する画像取得手段と、前記標本画像の画素毎に、対応する標本上の位置を染色している色素毎の色素量を取得する色素量取得手段と、前記複数の色素の中から表示対象色素を選択する色素選択手段と、前記標本画像の各画素における前記表示対象色素の色素量をもとに、前記表示対象色素による前記標本の染色状態を表した表示画像を生成する表示画像生成手段と、前記表示画像を表示部に表示する処理を行う表示処理手段と、を備えることを特徴とする。
【0012】
また、本発明の別の態様にかかる顕微鏡システムは、上記の発明において、前記複数の色素のうちの少なくとも1つの色素の選択を依頼する色素選択依頼手段を備え、前記色素選択手段は、前記色素選択依頼手段による依頼に応答して選択された色素を前記表示対象色素として選択することを特徴とする。
【0013】
また、本発明の別の態様にかかる顕微鏡システムは、上記の発明において、前記色素量取得手段によって前記表示対象色素について取得された色素量を所定の補正係数を用いて補正する色素量補正手段を備え、前記表示画像生成手段は、前記色素量補正手段による補正後の前記表示対象色素の色素量をもとに、前記表示画像を生成することを特徴とする。
【0014】
また、本発明の別の態様にかかる顕微鏡システムは、上記の発明において、前記複数の色素のうちの所定の色素に対して、該色素による染色状態を表すための表示色を割り当てる表示色割当手段を備え、前記表示画像生成手段は、前記表示色割当手段によって前記表示対象色素に前記表示色が割り当てられている場合に、該表示対象色素の色素量をもとに、前記表示対象色素による前記標本の染色状態を前記割り当てられている表示色で表した表示画像を生成することを特徴とする。
【0015】
また、本発明の別の態様にかかる顕微鏡システムは、上記の発明において、前記表示画像生成手段は、前記表示対象色素の色素量をもとに、前記割り当てられている表示色の分光特性を用いて前記表示画像の画素値を算出し、前記表示画像を生成することを特徴とする。
【0016】
また、本発明の別の態様にかかる顕微鏡システムは、上記の発明において、前記複数の色素は、所定の標的分子の発現を標識することによって前記標本を染色する分子標的用色素を含み、前記表示色割当手段は、前記分子標的用色素に対して前記表示色を割り当てることを特徴とする。
【0017】
また、本発明の別の態様にかかる顕微鏡システムは、上記の発明において、前記画像取得手段は、前記標本と対物レンズとを前記対物レンズの光軸と直交する面内で相対的に移動させながら、前記標本を部分毎に撮像して複数の標本画像を取得し、前記複数の標本画像を繋ぎ合せて1枚の標本画像を生成する標本画像生成手段を備えることを特徴とする。
【0018】
また、本発明の別の態様にかかる顕微鏡システムは、上記の発明において、前記標本画像中に注目領域を設定する注目領域設定手段と、前記顕微鏡による前記標本の観察倍率を、前記標本画像を取得したときの前記標本の観察倍率よりも高い観察倍率に変更する倍率変更手段と、前記倍率変更手段によって変更された観察倍率で、前記注目領域を撮像した注目領域画像を取得する注目領域画像取得手段と、を備えることを特徴とする。
【0019】
また、本発明の別の態様にかかる顕微鏡システムは、上記の発明において、前記複数の色素は、所定の標的分子の発現を標識することによって前記標本を染色する分子標的用色素を含み、前記注目領域設定手段は、前記分子標的用色素によって標識されている前記標的分子の高発現部位を抽出し、前記注目領域として設定することを特徴とする。
【0020】
また、本発明の別の態様にかかる顕微鏡システムは、上記の発明において、前記注目領域設定手段は、前記標本画像中から低輝度部位を抽出し、前記注目領域として設定することを特徴とする。
【0021】
また、本発明の別の態様にかかる顕微鏡システムは、上記の発明において、前記注目領域画像取得手段は、前記対物レンズの光軸方向に沿って前記標本と前記対物レンズとの相対距離を変化させながら、前記注目領域を撮像した複数の注目領域画像を取得することを特徴とする。
【0022】
また、本発明の別の態様にかかる顕微鏡システムは、上記の発明において、前記画像取得手段は、前記標本を撮像する際の露光条件を段階的に設定する露光条件設定手段を有し、前記露光条件設定手段によって設定された露光条件に従って前記標本画像を取得することを特徴とする。
【0023】
また、本発明の別の態様にかかる顕微鏡システムは、上記の発明において、前記画像取得手段によって取得された前記標本画像の明るさを判定する明るさ判定手段を備え、前記露光条件設定手段は、前記明るさ判定手段によって判定された明るさに応じて前記露光条件の段階的な設定を行うことを特徴とする。
【0024】
また、本発明の別の態様にかかる顕微鏡システムは、上記の発明において、前記露光条件設定手段は、前記画像取得手段によって取得された前記標本画像を構成する画素に対応する標本上の位置が所定の色素によって染色されている場合に、前記露光条件の段階的な設定を行うことを特徴とする。
【0025】
また、本発明の別の態様にかかる顕微鏡システムは、上記の発明において、前記露光条件設定手段は、前記画像取得手段によって取得された前記標本画像を構成する画素に対応する標本上の位置が所定の色素によって染色されている場合であって、前記標本画像において前記染色されている位置が占める面積が所定の面積以上である場合に、前記露光条件の段階的な設定を行うことを特徴とする。
【0026】
また、本発明の別の態様にかかる標本観察方法は、顕微鏡を用い、複数の色素によって多重染色された標本を撮像した標本画像を取得する画像取得工程と、前記標本画像の画素毎に、対応する標本上の位置を染色している色素毎の色素量を取得する色素量取得工程と、前記複数の色素の中から表示対象色素を選択する色素選択工程と、前記標本画像の各画素における前記表示対象色素の色素量をもとに、前記表示対象色素による前記標本の染色状態を表した表示画像を生成する表示画像生成工程と、前記表示画像を表示部に表示する処理を行う表示処理工程と、を含むことを特徴とする。
【0027】
また、本発明の別の態様にかかるプログラムは、コンピュータに、顕微鏡に対する動作指示を用い、複数の色素によって多重染色された標本を撮像した標本画像を取得する画像取得ステップと、前記標本画像の画素毎に、対応する標本上の位置を染色している色素毎の色素量を取得する色素量取得ステップと、前記複数の色素の中から表示対象色素を選択する色素選択ステップと、前記標本画像の各画素における前記表示対象色素の色素量をもとに、前記表示対象色素による前記標本の染色状態を表した表示画像を生成する表示画像生成ステップと、前記表示画像を表示部に表示する処理を行う表示処理ステップと、を実行させることを特徴とする。
【発明の効果】
【0028】
本発明によれば、標本を染色している複数の色素の中から選択した表示対象色素の色素量をもとに、表示対象色素による標本の染色状態を表した表示画像を生成して表示部に表示することができる。したがって、複数の色素で多重染色された標本を撮像した標本画像を高い視認性で表示することができるという効果を奏する。
【発明を実施するための最良の形態】
【0029】
以下、図面を参照し、本発明の好適な実施の形態について詳細に説明する。なお、この実施の形態によって本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。
【0030】
(実施の形態1)
図1は、実施の形態1の顕微鏡システム1の全体構成例を説明する模式図である。図1に示すように、顕微鏡システム1は、顕微鏡装置2とホストシステム4とがデータの送受可能に接続されて構成されている。なお、図1では、顕微鏡装置2の構成を模式的に示すとともに、ホストシステム4の主要な機能ブロックを示している。以下、図1に示す対物レンズ27の光軸方向をZ方向とし、Z方向と垂直な平面をXY平面として定義する。
【0031】
顕微鏡装置2は、標本Sが載置される電動ステージ21と、側面視略コの字状を有し、電動ステージ21を支持するとともにレボルバ26を介して対物レンズ27を保持する顕微鏡本体24と、顕微鏡本体24の底部後方(図1の右方)に配設された光源28と、顕微鏡本体24の上部に載置された鏡筒29とを備える。また、鏡筒29には、標本Sの標本像を目視観察するための双眼部31と、標本Sの標本像を撮像するためのTVカメラ32が取り付けられている。
【0032】
ここで、電動ステージ21に載置される標本Sは、複数の色素で多重染色された多重染色標本である。より具体的には、標本Sは、その形態を観察するための形態観察染色と、分子情報の発現を確認するための分子標的染色とを施したものである。
【0033】
形態観察染色は、細胞核や細胞質、結合組織等を染色して可視化するものである。この形態観察染色によれば、組織を構成する要素の大きさや位置関係等を把握でき、標本の状態を形態学的に判断することが可能となる。ここで、形態観察染色としては、上記したHE染色やPap染色の他、ヘマトキシリン染色(E染色)、ギムザ染色、エラスチカワンギーソン染色といった特殊染色、HE染色と併せて弾性繊維を特異的に染色するビクトリア青染色を施す3重染色等がある。なお、Pap染色やギムザ染色は、細胞診用標本を対象とした染色手法である。
【0034】
一方、分子標的染色の中のIHC法又はICC法は、局在を検討したい物質(主にタンパク質)に対する特異的な抗体を組織に作用させてその物質に結合させることにより、その状態を可視化するものである。例えば、抗原に結合した抗体の局在を酵素反応による発色によって可視化する酵素抗体法が知られており、酵素としては、例えばペルオキシダーゼやアルカリホスファターゼが汎用的に用いられている。
【0035】
すなわち、本発明において標本Sを染色する色素とは、染色によって可視化される色成分と、例えば酵素反応による発色等によって可視化される色成分とを含む意味である。以下、形態観察染色によって可視化される色素を「形態観察用色素」と呼び、分子標的染色によって可視化される色素を「分子標的用色素」と呼び、実際に標本Sを染色している色素を「染色色素」と称す。
【0036】
そして、以下では、形態観察染色としてヘマトキシリン(以下、「H色素」と称す。)およびエオジン(以下、「E色素」と称す。)の2つの色素を用いたHE染色を施すとともに、分子標的染色としてKi−67抗原を認識するMIB−1抗体を用い、DAB反応による発色(以下、「DAB色素」と称す。)で標識を施した組織標本を例にとって説明する。すなわち、標本Sの染色色素がH色素、E色素およびDAB色素であり、標本Sが、H色素によって細胞核が青紫色に染色され、E色素によって細胞質や結合組織が薄赤色に染色され、DAB色素によってKi−67抗原が茶褐色に標識されているものとして説明する。ここで、Ki−67抗原は、細胞周期の増殖期に発現する核内タンパクである。なお、本発明は、酵素抗体法によって多重に染色された標本を観察する場合にも適用できる。また、酵素抗体法によって染色された標本に限定されるものではなく、例えばCISH法で標識された標本にも適用できる。あるいは、IHC法およびCISH法で同時標識された(多重に染色された)標本にも適用できる。
【0037】
電動ステージ21は、XYZ方向に移動自在に構成されている。すなわち、電動ステージ21は、モータ221およびこのモータ221の駆動を制御するXY駆動制御部223によってXY平面内で移動自在である。XY駆動制御部223は、顕微鏡コントローラ33の制御のもと、図示しないXY位置の原点センサによって電動ステージ21のXY平面における所定の原点位置を検知し、この原点位置を基点としてモータ221の駆動量を制御することによって、標本S上の観察箇所を移動させる。そして、XY駆動制御部223は、観察時の電動ステージ21のX位置およびY位置を適宜顕微鏡コントローラ33に出力する。また、電動ステージ21は、モータ231およびこのモータ231の駆動を制御するZ駆動制御部233によってZ方向に移動自在である。Z駆動制御部233は、顕微鏡コントローラ33の制御のもと、図示しないZ位置の原点センサによって電動ステージ21のZ方向における所定の原点位置を検知し、この原点位置を基点としてモータ231の駆動量を制御することによって、所定の高さ範囲内の任意のZ位置に標本Sを焦準移動させる。そして、Z駆動制御部233は、観察時の電動ステージ21のZ位置を適宜顕微鏡コントローラ33に出力する。
【0038】
レボルバ26は、顕微鏡本体24に対して回転自在に保持され、対物レンズ27を標本Sの上方に配置する。対物レンズ27は、レボルバ26に対して倍率(観察倍率)の異なる他の対物レンズとともに交換自在に装着されており、レボルバ26の回転に応じて観察光の光路上に挿入されて標本Sの観察に用いる対物レンズ27が択一的に切り換えられるようになっている。なお、実施の形態1では、レボルバ26は、対物レンズ27として、例えば2倍,4倍といった比較的倍率の低い対物レンズ(以下、適宜「低倍対物レンズ」と称す。)と、10倍,20倍,40倍といった低倍対物レンズの倍率に対して高倍率である対物レンズ(以下、適宜「高倍対物レンズ」と称す。)とを少なくとも1つずつ保持していることとする。ただし、低倍および高倍とした倍率は一例であり、少なくとも一方の倍率が他方の倍率に対して高ければよい。
【0039】
顕微鏡本体24は、底部において標本Sを透過照明するための照明光学系を内設している。この照明光学系は、光源28から射出された照明光を集光するコレクタレンズ251、照明系フィルタユニット252、視野絞り253、開口絞り254、照明光の光路を対物レンズ27の光軸に沿って偏向させる折曲げミラー255、コンデンサ光学素子ユニット256、トップレンズユニット257等が、照明光の光路に沿って適所に配置されて構成される。光源28から射出された照明光は、照明光学系によって標本Sに照射され、観察光として対物レンズ27に入射する。
【0040】
また、顕微鏡本体24は、その上部においてフィルタユニット30を内設している。フィルタユニット30は、標本像として結像する光の波長帯域を所定範囲に制限するための光学フィルタ303を回転自在に保持し、この光学フィルタ303を、適宜対物レンズ27後段において観察光の光路上に挿入する。対物レンズ27を経た観察光は、このフィルタユニット30を経由して鏡筒29に入射する。
【0041】
鏡筒29は、フィルタユニット30を経た観察光の光路を切り換えて双眼部31またはTVカメラ32へと導くビームスプリッタ291を内設している。標本Sの標本像は、このビームスプリッタ291によって双眼部31内に導入され、接眼レンズ311を介して検鏡者に目視観察される。あるいはTVカメラ32によって撮像される。TVカメラ32は、標本像(詳細には対物レンズ27の視野範囲)を結像するCCDやCMOS等の撮像素子を備えて構成され、標本像を撮像し、標本像の画像データをホストシステム4に出力する。
【0042】
ここで、フィルタユニット30について詳細に説明する。フィルタユニット30は、TVカメラ32によって標本像をマルチバンド撮像する際に用いられる。図2は、フィルタユニット30の構成を説明する模式図である。図2に示すフィルタユニット30は、光学素子を装着するための装着穴が例えば3つ形成された回転式の光学フィルタ切換部301を有し、この3つの装着穴のうちの2つにそれぞれ異なる分光透過率特性を有する2枚の光学フィルタ303(303a,303b)が装着され、残りの1つの穴が空穴305として構成されている。
【0043】
図3は、一方の光学フィルタ303aの分光透過率特性を示す図であり、図4は、他方の光学フィルタ303bの分光透過率特性を示す図である。図3,4に示すように、各光学フィルタ303a,303bは、それぞれTVカメラ32のR,G,B各バンドを2分割する分光特性を有している。標本Sをマルチバンド撮像する場合は先ず、光学フィルタ切換部301を回転させて光学フィルタ303aを観察光の光路上に挿入し、TVカメラ32によって標本像の第1の撮像を行う。次いで、光学フィルタ切換部301の回転によって光学フィルタ303bを観察光の光路上に挿入し、TVカメラ32によって標本像の第2の撮像を行う。この第1の撮像及び第2の撮像によって、それぞれ3バンドの画像が得られ、双方を合わせることによって6バンドのマルチバンド画像が得られる。
【0044】
このように、フィルタユニット30を用いて標本像をマルチバンド撮像する場合には、光源28から射出されて照明光学系によって標本Sに照射された照明光は、観察光として対物レンズ27に入射し、その後光学フィルタ303aまたは光学フィルタ303bを経由してTVカメラ32の撮像素子上に結像する。図5は、標本像をTVカメラ32で撮像する際のR,G,B各バンドの分光感度の例を示す図である。
【0045】
なお、通常の撮像を行う場合(標本像のRGB画像を撮像する場合)には、図2の光学フィルタ切換部301を回転させて空穴305を観察光の光路上に配置すればよい。また、ここでは、光学フィルタ303a,303bを対物レンズ27後段に配置する場合を例示したが、これに限定されずるものではなく、光源28からTVカメラ32に至る光路上のいずれかの位置に配置することとしてよい。また、光学フィルタの数は2枚に限定されず、適宜3枚以上の光学フィルタを用いてフィルタユニットを構成してよく、マルチバンド画像のバンド数も6バンドに限定されるものではない。例えば、背景技術で示した特許文献2に開示されている技術を用い、16枚のバンドパスフィルタを切り換えながら面順次方式でマルチバンド画像を撮像し、16バンドのマルチバンド画像を撮像するようにしてもよい。また、マルチバンド画像を撮像する構成は、光学フィルタを切り換える手法に限定されるものではない。例えば、複数のTVカメラを用意する。そして、ビームスプリッタ等を介して各TVカメラに観察光を導き、分光特性を相補的に補完する結像光学系を構成してもよい。これによれば、各TVカメラで同時に標本像を撮像し、これらを合わせることによって1度にマルチバンド画像が得られるので、処理の高速化が図れる。
【0046】
そして、顕微鏡装置2は、図1に示すように、顕微鏡コントローラ33とTVカメラコントローラ34とを備える。顕微鏡コントローラ33は、ホストシステム4の制御のもと、顕微鏡装置2を構成する各部の動作を統括的に制御する。例えば、顕微鏡コントローラ33は、レボルバ26を回転させて観察光の光路上に配置する対物レンズ27を切り換える処理や、切り換えた対物レンズ27の倍率等に応じた光源28の調光制御や各種光学素子の切り換え、あるいはXY駆動制御部223やZ駆動制御部233に対する電動ステージ21の移動指示等、標本Sの観察に伴う顕微鏡装置2の各部の調整を行うとともに、各部の状態を適宜ホストシステム4に通知する。TVカメラコントローラ34は、ホストシステム4の制御のもと、自動ゲイン制御のON/OFF切換、ゲインの設定、自動露出制御のON/OFF切換、露光時間の設定等を行ってTVカメラ32を駆動し、TVカメラ32の撮像動作を制御する。
【0047】
一方、ホストシステム4は、入力部41、表示部43、処理部45、記録部47等を備える。
【0048】
入力部41は、例えば、キーボードやマウス、タッチパネル、各種スイッチ等によって実現されるものであり、操作入力に応じた操作信号を処理部45に出力する。表示部43は、LCDやELディスプレイ等の表示装置によって実現されるものであり、処理部45から入力される表示信号をもとに各種画面を表示する。
【0049】
処理部45は、CPU等のハードウェアによって実現される。この処理部45は、入力部41から入力される入力信号や、顕微鏡コントローラ33から入力される顕微鏡装置2各部の状態、TVカメラ32から入力される画像データ、記録部47に記録されるプログラムやデータ等をもとにホストシステム4を構成する各部への指示やデータの転送等を行い、あるいは顕微鏡コントローラ33やTVカメラコントローラ34に対する顕微鏡装置2各部の動作指示を行い、顕微鏡システム1全体の動作を統括的に制御する。そして例えば、処理部45は、電動ステージ21をZ方向に移動させながら、TVカメラ32から入力される画像データをもとに各Z位置における画像のコントラストを評価し、合焦している焦点位置(合焦位置)を検出するAF(自動焦点)の処理を行う。また、処理部45は、TVカメラ32から入力される画像データの記録部47への記録処理や表示部43への表示処理に際し、JPEGやJPEG2000等の圧縮方式に基づく圧縮処理や伸張処理を行う。この処理部45は、VS画像生成部451と、表示処理手段としてのVS画像表示処理部454とを備える。
【0050】
VS画像生成部451は、標本像の低解像画像および高解像画像を取得してVS画像を生成する。ここで、VS画像とは、顕微鏡装置2によって撮像した1枚または2枚以上の画像を繋ぎ合せて生成した画像のことであるが、以下では、高倍対物レンズを用いて標本Sを部分毎に撮像した複数の高解像画像を繋ぎ合せて生成した画像であって、標本Sの全域を映した広視野で且つ高精細のマルチバンド画像のことをVS画像と称す。
【0051】
このVS画像生成部451は、低解像画像取得処理部452と、画像取得手段および標本画像生成手段としての高解像画像取得処理部453とを含む。低解像画像取得処理部452は、顕微鏡装置2各部の動作指示を行って標本像の低解像画像を取得する。高解像画像取得処理部453は、顕微鏡装置2各部の動作指示を行って標本像の高解像画像を取得する。ここで、低解像画像は、標本Sの観察に低倍対物レンズを用い、RGB画像として取得される。これに対し、高解像画像は、標本Sの観察に高倍対物レンズを用い、マルチバンド画像として取得される。
【0052】
VS画像表示処理部454は、VS画像をもとに標本S上の各標本位置を染色している染色色素毎の色素量を算出するとともに、染色色素のうちの表示対象の色素(表示対象色素)の色素量を選択的に表示した表示画像を表示部43に表示する処理を行う。このVS画像表示処理部454は、色素量取得手段としての色素量算出部455と、色素選択手段および色素選択依頼手段としての色素選択処理部456と、表示画像生成手段としての表示画像生成部457とを含む。色素量算出部455は、VS画像を構成する画素毎に対応する標本S上の各標本位置における分光透過率を推定し、推定した分光透過率(推定スペクトル)をもとに各標本位置における染色色素毎の色素量を算出する。色素選択処理部456は、入力部41を介してユーザによる表示対象色素の選択操作を受け付け、操作入力に従って表示対象色素を選択する。表示画像生成部457は、表示対象色素の色素量をもとに、表示対象色素による染色状態を表した表示画像を生成する。
【0053】
記録部47は、更新記憶可能なフラッシュメモリ等のROMやRAMといった各種ICメモリ、内蔵或いはデータ通信端子で接続されたハードディスク、CD−ROM等の記憶媒体およびその読書装置等によって実現されるものである。この記録部47には、ホストシステム4を動作させ、このホストシステム4が備える種々の機能を実現するためのプログラムや、このプログラムの実行中に使用されるデータ等が記録される。
【0054】
そして、記録部47には、処理部45をVS画像生成部451として機能させてVS画像生成処理を実現するためのVS画像生成プログラム471と、処理部45をVS画像表示処理部454として機能させてVS画像表示処理を実現するためのVS画像表示処理プログラム473とが記録される。また、記録部47には、VS画像ファイル5が記録される。このVS画像ファイル5は、例えば標本像の低解像画像や高解像画像の画像データ、各標本位置における色素量のデータ等を、標本Sの識別情報や標本Sの染色情報等とともに記録したものである。なお、このVS画像ファイル5の詳細については後述する。
【0055】
なお、ホストシステム4は、CPUやビデオボード、メインメモリ(RAM)等の主記憶装置、ハードディスクや各種記憶媒体等の外部記憶装置、通信装置、表示装置や印刷装置等の出力装置、入力装置、各部を接続し、あるいは外部入力を接続するインターフェース装置等を備えた公知のハードウェア構成で実現でき、例えばワークステーションやパソコン等の汎用コンピュータを利用することができる。
【0056】
次に、実施の形態1におけるVS画像生成処理およびVS画像表示処理の処理について順番に説明する。先ず、VS画像生成処理について説明する。図6は、ホストシステム4の処理部45がVS画像生成処理を行うことによって実現される顕微鏡システム1の動作を示すフローチャートである。なお、ここで説明する顕微鏡システム1の動作は、VS画像生成部451が記録部47に記録されたVS画像生成プログラム471を読み出して実行することによって実現される。
【0057】
先ず、VS画像生成部451の低解像画像取得処理部452が、標本Sの観察に用いる対物レンズ27を低倍対物レンズに切り換える指示を顕微鏡コントローラ33に出力する(ステップa1)。これに応答して顕微鏡コントローラ33は、必要に応じてレボルバ26を回転させ、低倍対物レンズを観察光の光路上に配置する。
【0058】
続いて、低解像画像取得処理部452は、フィルタユニット30を空穴305に切り換える指示を顕微鏡コントローラ33に出力する(ステップa3)。これに応答して、顕微鏡コントローラ33は、必要に応じてフィルタユニット30の光学フィルタ切換部301を回転させ、空穴305を観察光の光路上に配置する。
【0059】
続いて、低解像画像取得処理部452は、顕微鏡コントローラ33やTVカメラコントローラ34に対する顕微鏡装置2各部の動作指示を行って、標本像の低解像画像(RGB画像)を取得する(ステップa5)。
【0060】
図7は、スライドガラス標本6の一例を示す図である。図1に示した電動ステージ21上の標本Sは、実際には、図7に示すように、スライドガラス60上に標本Sを載置したスライドガラス標本6として電動ステージ21上に載置される。標本Sは、スライドガラス60上の予め定められた所定の領域(例えば、スライドガラス60の図7に向かって左側の縦:25mm×横:50mmの領域)である標本サーチ範囲61に載置されるようになっている。そして、このスライドガラス60には、標本サーチ範囲61に載置した標本Sに関する情報を記載したラベル63が予め定められた所定の領域(例えば標本サーチ範囲61の右側の領域)に貼付される。このラベル63には、例えば、標本Sを特定するための識別情報であるスライド標本番号を所定の規格に従ってコード化したバーコードが印字され、顕微鏡システム1を構成する図示しないバーコードリーダによって読み取られるようになっている。
【0061】
図6のステップa5の低解像画像取得処理部452による動作指示に応答して、顕微鏡装置2は、図7に示すスライドガラス60の標本サーチ範囲61の画像を撮像する。具体的には、ステップa1で切り換えた低倍対物レンズの倍率に応じて定まる視野範囲(換言すると、標本Sの観察に低倍対物レンズを用いたときのTVカメラ32の撮像範囲)のサイズをもとに標本サーチ範囲61を分割し、分割した区画サイズに従って電動ステージ21をXY平面内で移動させながら、標本サーチ範囲61の標本像を区画毎にTVカメラ32で順次撮像していく。ここで撮像された画像データはホストシステム4に出力され、低解像画像取得処理部452において標本像の低解像画像として取得される。
【0062】
そして、低解像画像取得処理部452は、図6に示すように、ステップa5で取得した区画毎の低解像画像を結合し、図7の標本サーチ範囲61を映した1枚の画像をスライド標本全体画像として生成する(ステップa7)。
【0063】
続いて、高解像画像取得処理部453が、標本Sの観察に用いる対物レンズ27を高倍対物レンズに切り換える指示を顕微鏡コントローラ33に出力する(ステップa9)。これに応答して顕微鏡コントローラ33は、レボルバ26を回転させ、高倍対物レンズを観察光の光路上に配置する。
【0064】
続いて、高解像画像取得処理部453は、ステップa7で生成したスライド標本全体画像をもとに、図7の標本サーチ範囲61内の実際に標本Sが載置されている標本領域65を自動抽出して決定する(ステップa11)。この標本領域の自動抽出は、公知の手法を適宜採用して行うことができる。例えば、スライド標本全体画像の各画素を2値化して標本Sの有無を画素毎に判定し、標本Sを映した画素と判定された画素範囲を囲う矩形領域を標本領域として決定する。なお、入力部41を介してユーザによる標本領域の選択操作を受け付け、操作入力に従って標本領域を決定することとしてもよい。
【0065】
続いて、高解像画像取得処理部453は、スライド標本全体画像からステップa11で決定した標本領域の画像(標本領域画像)を切り出し、この標本領域画像の中から合焦位置を実測する位置を選出してフォーカス位置を抽出する(ステップa13)。
【0066】
図8は、スライド標本全体画像から切り出した標本領域画像7の一例を示す図であり、図8では、図7の標本領域65の画像を示している。先ず高解像画像取得処理部453は、図8に示すように、標本領域画像7を格子状に分割し、複数の小区画を形成する。ここで、小区画の区画サイズは、ステップa9で切り換えた高倍対物レンズの倍率に応じて定まる視野範囲(換言すると、標本Sの観察に高倍対物レンズを用いたときのTVカメラ32の撮像範囲)のサイズに相当する。
【0067】
次いで高解像画像取得処理部453は、形成した複数の小区画の中から、フォーカス位置とする小区画を選出する。これは、全ての小区画について合焦位置を実測しようとすると処理時間が増大してしまうためであり、例えば各小区画の中から所定数の小区画をランダムに選出する。あるいは、フォーカス位置とする小区画を例えば所定数の小区画おきに選出する等、所定の規則に従って選出してもよい。また、小区画の数が少ない場合には、全ての小区画をフォーカス位置として選出するようにしてもよい。そして、高解像画像取得処理部453は、標本領域画像7の座標系(x,y)における選出した小区画の中心座標を算出するとともに、算出した中心座標を顕微鏡装置2の電動ステージ21の座標系(X,Y)に変換してフォーカス位置を得る。なお、この座標変換は、標本Sの観察に用いる対物レンズ27の倍率、あるいはTVカメラ32を構成する撮像素子の画素数や画素サイズ等に基づいて行われ、例えば特許文献4に記載の公知技術を適用して実現できる。
【0068】
続いて、高解像画像取得処理部453は、図6に示すように、顕微鏡コントローラ33やTVカメラコントローラ34に対する顕微鏡装置2各部の動作指示を行って、フォーカス位置の合焦位置を測定する(ステップa15)。このとき、高解像画像取得処理部453は、抽出した各フォーカス位置を顕微鏡コントローラ33に出力する。これに応答して、顕微鏡装置2は、電動ステージ21をXY平面内で移動させて各フォーカス位置を順次対物レンズ27の光軸位置に移動させる。そして、顕微鏡装置2は、各フォーカス位置で電動ステージ21をZ方向に移動させながらTVカメラ32によってフォーカス位置の画像データを取り込む。取り込まれた画像データはホストシステム4に出力され、高解像画像取得処理部453において取得される。高解像画像取得処理部453は、各Z位置における画像データのコントラストを評価して各フォーカス位置における標本Sの合焦位置(Z位置)を測定する。
【0069】
高解像画像取得処理部453は、以上のようにして各フォーカス位置における合焦位置を測定したならば、続いて、各フォーカス位置の合焦位置の測定結果をもとにフォーカスマップを作成し、記録部47に記録する(ステップa17)。具体的には、高解像画像取得処理部453は、ステップa13でフォーカス位置として抽出されなかった小区画の合焦位置を、近傍するフォーカス位置の合焦位置で補間演算することによって全ての小区画について合焦位置を設定し、フォーカスマップを作成する。
【0070】
図9は、フォーカスマップのデータ構成例を示す図である。図9に示すように、フォーカスマップは、配列番号と電動ステージ位置とを対応付けたデータテーブルである。配列番号は、図8に示した標本領域画像7の各小区画を示している。具体的には、xで示す配列番号は、左端を初順としてx方向に沿って各列に順番に付した通し番号であり、yで示す配列番号は、最上段を初順としてy方向に沿って各行に順番に付した通し番号である。なお、zで示す配列番号は、VS画像を3次元画像として生成する場合に設定される値である。電動ステージ位置は、対応する配列番号が示す標本領域画像の小区画について合焦位置と設定された電動ステージ21のX,Y,Zの各位置である。例えば、(x,y,z)=(1,1,−)の配列番号は、図8の小区画71を示しており、座標系(x,y)における小区画71の中心座標を電動ステージ21の座標系(X,Y)に変換したときのZ位置及びY位置が、X11およびY11にそれぞれ相当する。また、この小区画について設定した合焦位置(Z位置)がZ11に相当する。
【0071】
続いて高解像画像取得処理部453は、図6に示すように、フィルタユニット30を光学フィルタ303a,303bに切り換える指示を顕微鏡コントローラ33に順次出力するとともに、フォーカスマップを参照しながら顕微鏡コントローラ33やTVカメラコントローラ34に対する顕微鏡装置2各部の動作指示を行って、標本領域画像の小区画毎に標本像をマルチバンド撮像し、高解像画像(以下、適宜「標本領域区画画像」と称す。)を取得する(ステップa19)。
【0072】
これに応答して、顕微鏡装置2は、フィルタユニット30の光学フィルタ切換部301を回転させ、先ず光学フィルタ303aを観察光の光路上に配置した状態で電動ステージ21を移動させながら、標本領域画像の小区画毎の標本像をそれぞれの合焦位置においてTVカメラ32で順次撮像していく。次いで、観察光の光路上に光学フィルタ303bを切り換えて配置し、同様にして標本領域画像の小区画毎の標本像を撮像する。ここで撮像された画像データはホストシステム4に出力され、高解像画像取得処理部453において標本像の高解像画像(標本領域区画画像)として取得される。
【0073】
続いて高解像画像取得処理部453は、ステップa19で取得した高解像画像である標本領域区画画像を結合し、図7の標本領域65の全域を映した1枚の画像をVS画像として生成する(ステップa21)。
【0074】
なお、上記のステップa13〜ステップa21では、標本領域画像を高倍対物レンズの視野範囲に相当する小区画に分割することとした。そして、この小区画毎に標本像を撮像して標本領域区画画像を取得し、これらを結合してVS画像を生成することとした。これに対し、隣接する標本領域区画画像がその隣接位置で互いに一部重複(オーバーラップ)するように小区画を設定するようにしてもよい。そして、隣接する標本領域区画画像間の位置関係が合うように貼り合わせて合成し、1枚のVS画像を生成するようにしてもよい。具体的な処理は、例えば特許文献4や特許文献5に記載の公知技術を適用して実現できるが、この場合には、取得される各標本領域区画画像の端部部分がそれぞれ隣接する標本領域区画画像との間で重複するように、小区画の区画サイズを高倍対物レンズの視野範囲よりも小さいサイズに設定する。このようにすれば、電動ステージ21の移動制御の精度が低く、隣接する標本領域区画画像間が不連続となる場合であっても、重複部分によって繋ぎ目が連続した自然なVS画像を生成できる。
【0075】
以上説明したVS画像生成処理の結果、標本Sの全域を映した広視野で且つ高精細なマルチバンド画像が得られる。ここで、ステップa1〜ステップa21の処理は自動的に行われる。このため、ユーザは、標本S(詳細には図7のスライドガラス標本6)を電動ステージ21上に載置し、入力部41を介してVS画像生成処理の開始指示を操作入力するだけでよい。なお、ステップa1〜ステップa21の各ステップで適宜処理を中断し、ユーザの操作を介在可能に構成してもよい。例えば、ステップa9の後の操作入力に従って、使用する高倍対物レンズを別の倍率の対物レンズに変更する処理や、ステップa11の後の操作入力に従って、決定した標本領域を修正する処理、ステップa13の後の操作入力に従って、抽出したフォーカス位置を変更、追加または削除する処理等を適宜行うようにしてもよい。
【0076】
図10〜図12は、VS画像生成処理の結果得られて記録部47に記録されるVS画像ファイル5のデータ構成例を説明する図である。図10(a)に示すように、VS画像ファイル5は、付帯情報51と、スライド標本全体画像データ52と、VS画像データ53とを含む。
【0077】
付帯情報51には、図10(b)に示すように、観察法511やスライド標本番号512、スライド標本全体画像の撮像倍率513、染色情報514、データ種別517等が設定される。
【0078】
観察法511は、VS画像の生成に用いた顕微鏡装置2の観察法であり、実施の形態1では、例えば「明視野観察法」が設定される。暗視野観察や蛍光観察、微分干渉観察等の他の観察法で標本の観察が可能な顕微鏡装置を用いた場合には、VS画像を生成したときの観察法が設定される。
【0079】
スライド標本番号512には、例えば図7に示したスライドガラス標本6のラベル63から読み取ったスライド標本番号が設定される。このスライド標本番号は、例えば、スライドガラス標本6に固有に割り当てられたIDであり、これによって、標本Sを個別に識別できる。スライド標本全体画像の撮像倍率513には、スライド標本全体画像の取得時に用いた低倍対物レンズの倍率が設定される。スライド標本全体画像データ52は、スライド標本全体画像の画像データである。
【0080】
染色情報514には、標本Sの染色色素が設定される。すなわち、実施の形態1では、H色素、E色素およびDAB色素が設定されるが、この染色情報514は、後述のVS画像表示処理の過程でユーザが標本Sを染色している色素を操作入力して登録することで設定される。
【0081】
具体的には、染色情報514は、図11(a)に示すように、染色色素のうちの形態観察用色素が設定される形態観察染色情報515と、分子標的用色素が設定される分子標的染色情報516とを含む。
【0082】
そして、図11(b)に示すように、形態観察染色情報515は、色素数5151と、色素数5151に相当する数の色素情報(1)〜(n)5153とを含む。色素数5151には、標本Sを染色している形態観察用色素の数が設定され、色素情報(1)〜(n)5153には、例えば形態観察用色素の色素名がそれぞれ設定される。実施の形態1では、色素数5151として「2」が設定され、「H色素」および「E色素」が2つの色素情報5153として設定される。分子標的染色情報516も同様に構成され、図11(c)に示すように、色素数5161と、色素数5161に相当する数の色素情報(1)〜(n)5163とを含む。そして、色素数5161には、標本Sを染色している分子標的用色素の数が設定され、色素情報(1)〜(n)5163には、例えば分子標的用色素の色素名がそれぞれ設定される。実施の形態1では、色素数5161として「1」が設定され、「DAB色素」が1つの色素情報5163として設定される。
【0083】
図10(b)のデータ種別517は、VS画像のデータ種別を表す。例えば、VS画像データ53において、画像データ58(図12(b)を参照)としてVS画像の画像データ(生データ)のみが記録されているのか、あるいは、各画素について色素量が算出されており、色素量データ59(図12(b)を参照)として記録されているのかを識別するためのものである。例えば、VS画像生成処理の実行時は、その生データが画像データ58として記録されるのみであるので、データ種別517には、生データを示す識別情報が設定される。なお、後述のVS画像表示処理の実行時においてVS画像の各画素における色素毎の色素量が算出され、色素量データ58として記録される。このとき、データ種別517は、色素量データを示す識別情報に更新される。
【0084】
VS画像データ53には、VS画像に関する各種情報が設定される。すなわち、図12(a)に示すように、VS画像データ53は、VS画像数54と、VS画像数54に相当する数のVS画像情報(1)〜(n)55とを含む。VS画像数54は、VS画像データ53に記録されるVS画像情報55の数であり、nに相当する。図12(a)に示すVS画像データ53のデータ構成例は、1つの標本について複数のVS画像を生成する場合を想定している。図7に示して上述した例では、スライドガラス標本6において実際に標本Sが載置されている領域として1つの標本領域65を抽出する場合を説明したが、顕微鏡システム1において観察対象とするスライド標本の中には、複数の標本が離れて点在しているものも存在する。このような場合には、標本が存在しない領域のVS画像を生成する必要はない。このため、複数の標本がある程度離れて点在している場合には、これらの点在する標本の領域をそれぞれ個別に抽出し、抽出した標本の領域毎にVS画像を生成するが、このときに生成するVS画像の数がVS画像数54として設定される。そして、各VS画像に関する各種情報が、それぞれVS画像情報(1)〜(n)55として設定される。なお、図7の例においても、標本領域65内に2つの標本の領域が含まれるが、これらの位置が近いために1つの標本領域65として抽出される。そして、各VS画像情報55には、図12(b)に示すように、撮影情報56、フォーカスマップデータ57、画像データ58、色素量データ59等が設定される。
【0085】
撮影情報56には、図12(c)に示すように、VS画像の撮像倍率561、スキャン開始位置(X位置)562、スキャン開始位置(Y位置)563、x方向のピクセル数564、y方向のピクセル数565、Z方向の枚数566、バンド数567等が設定される。
【0086】
VS画像の撮像倍率561には、VS画像の取得時に用いた高倍対物レンズの倍率が設定される。また、スキャン開始位置(X位置)562、スキャン開始位置(Y位置)563、x方向のピクセル数564およびy方向のピクセル数565は、VS画像の撮像範囲を示している。すなわち、スキャン開始位置(X位置)562は、VS画像を構成する各標本領域区画画像の撮像を開始したときの電動ステージ21のスキャン開始位置のX位置であり、スキャン開始位置(Y位置)563は、スキャン開始位置のY位置である。そして、x方向のピクセル数564はVS画像のx方向のピクセル数であり、y方向のピクセル数565はy方向のピクセル数であって、VS画像のサイズを示している。
【0087】
Z方向の枚数566は、Z方向のセクショニング数に相当し、実施の形態1では「1」が設定される。なお、VS画像を3次元画像として生成する際には、Z方向の撮像枚数が設定される。また、VS画像は、マルチバンド画像として生成される。そのバンド数がバンド数567に設定され、実施の形態1では、「6」が設定される。
【0088】
図12(b)のフォーカスマップデータ57は、図9に示したフォーカスマップのデータである。画像データ58は、VS画像の画像データである。例えば、画像データ58には、VS画像生成処理の実行時は6バンドの生データが設定される。色素量データ59には、後述のVS画像表示処理の過程で画素毎に算出される染色色素毎の色素量のデータが設定される。
【0089】
次に、VS画像表示処理について説明する。ここで、実施の形態1のVS画像表示処理では、画素毎の色素量を算出する処理(色素量の算出処理)と、この色素量の算出処理の結果算出された色素量を用いてVS画像を表示する処理(VS画像の表示処理)とを行なう。図13は、色素量の算出処理の処理手順を示すフローチャートである。一方、図14は、VS画像の表示処理の処理手順を示すフローチャートである。なお、図13および図14を参照して説明する各処理は、VS画像表示処理部454が記録部47に記録されたVS画像生成プログラム471を読み出して実行することによって実現される。
【0090】
色素量の算出処理では、図13に示すように、先ずVS画像表示処理部454の色素量算出部455が、標本Sを染色している染色色素の登録依頼の通知を表示部43に表示する処理を行う(ステップb11)。続いて色素量算出部455は、この登録依頼の通知に応答してユーザが操作入力した色素を染色色素とし、染色情報514(図10(b)等を参照)としてVS画像ファイル5に設定して登録する(ステップb13)。すなわち実施の形態1では、ここで、H色素、E色素およびDAB色素が染色色素として登録される。
【0091】
そして、色素量算出部455は、生成したVS画像の各画素の画素値をもとに、対応する標本S上の各標本位置における色素量を染色色素毎にを算出する(ステップb15)。色素量の算出は、例えば特許文献1に記載の公知技術を適用して実現できる。
【0092】
簡単に処理手順を説明すると先ず、色素量算出部455は、VS画像の画素値をもとに、対応する標本S上の各標本位置のスペクトル(推定スペクトル)を画素毎に推定する。マルチバンド画像からスペクトルを推定する手法としては例えば、ウィナー(Wiener)推定を用いることができる。次いで色素量算出部455は、予め測定されて記録部47に記録されている算出対象の色素(染色色素)の基準色素スペクトルを用いて標本Sの色素量を画素毎に推定(算出)する。
【0093】
ここで、色素量の算出について簡単に説明する。一般に、光を透過する物質では、波長λ毎の入射光の強度I0(λ)と射出光の強度I(λ)との間に、次式(1)で表されるランベルト・ベール(Lambert-Beer)の法則が成り立つことが知られている。
【数1】

k(λ)は波長に依存して決まる物質固有の値、dは物質の厚さをそれぞれ表す。また、式(1)の左辺は分光透過率t(λ)を意味している。
【0094】
例えば、標本が色素1,色素2,・・・,色素nのn種類の色素で染色されている場合、ランベルト・ベールの法則により各波長λにおいて次式(2)が成立する。
【数2】

1(λ),k2(λ),・・・,kn(λ)は、それぞれ色素1,色素2,・・・,色素nに対応するk(λ)を表し、例えば、標本を染色している各色素の基準色素スペクトルである。またd1,d2,・・・,dnは、マルチバンド画像の各画像位置に対応する標本S上の標本位置における色素1,色素2,・・・,色素nの仮想的な厚さを表す。本来色素は、標本中に分散して存在するため、厚さという概念は正確ではないが、標本が単一の色素で染色されていると仮定した場合と比較して、どの程度の量の色素が存在しているかを表す相対的な色素量の指標となる。すなわち、d1,d2,・・・,dnはそれぞれ色素1,色素2,・・・,色素nの色素量を表しているといえる。なお、k1(λ),k2(λ),・・・,kn(λ)は、色素1,色素2,・・・,色素nの各色素を用いてそれぞれ個別に染色した標本を予め用意し、その分光透過率を分光器で測定することによって、ランベルト・ベールの法則から容易に求めることができる。
【0095】
式(2)の両辺の対数を取ると、次式(3)となる。
【数3】

【0096】
上記のようにしてVS画像の画素毎に推定した推定スペクトルの波長λに対応する要素をt^(x,λ)とし、これを式(3)に代入すると、次式(4)を得る。なお、t^は、tの上に推定値を表すハット「^」が付いていることを示す。
【数4】

【0097】
式(4)において未知変数はd1,d2,・・・,dnのn個であるから、少なくともn個の異なる波長λについて式(4)を連立させれば、これらを解くことができる。より精度を高めるために、n個以上の異なる波長λに対して式(4)を連立させ、重回帰分析を行ってもよい。
【0098】
以上が、色素量算出の簡単な手順であるが、実施の形態1で算出対象とする染色色素はH色素、E色素およびDAB色素であり、n=3となる。色素量算出部455は、VS画像の各画素について推定した推定スペクトルをもとに、対応する各標本位置に固定されたH色素、E色素およびDAB色素それぞれの色素量を推定する。
【0099】
一方、VS画像の表示処理では、図14に示すように、先ず色素選択処理部456が、表示対象色素の選択依頼の通知を表示部43に表示する処理を行う(ステップb21)。そして、この選択依頼の通知に応答した操作入力がなければ(ステップb22:No)、ステップb26に移行する。一方、ユーザが色素を操作入力した場合には(ステップb22:Yes)、色素選択処理部456は、その色素を表示対象色素として選択する(ステップb23)。
【0100】
そして、表示画像生成部457が、VS画像ファイル5を参照し、選択した表示対象色素の色素量をもとにVS画像の表示画像を生成する(ステップb24)。具体的には、各画素における表示対象色素の色素量をもとに各画素のRGB値を算出し、VS画像の表示画像として生成する。ここで、色素量をRGB値に変換する処理は、例えば特許文献1に記載の公知技術を適用して実現できる。
【0101】
簡単に処理手順を説明すると先ず、ステップb15で算出した色素量d1,d2,・・・,dnに選択係数α1,α2,・・・,αnをそれぞれ乗じて上記した式(2)に代入し、次式(5)を得る。そして、表示対象色素に乗じる選択係数αnを1とし、非対象とする色素に乗じる選択係数αnを0とすることで、選択した表示対象色素の色素量のみを対象とした分光透過率t*(x,λ)を得る。
【数5】

【0102】
撮像されたマルチバンド画像の任意の点(画素)xについて、バンドbにおける画素値g(x,b)と、対応する標本上の点の分光透過率t(x,λ)との間には、カメラの応答システムに基づく次式(6)の関係が成り立つ。
【数6】

λは波長、f(b,λ)はb番目のフィルタの分光透過率、s(λ)はカメラの分光感度特性、e(λ)は照明の分光放射特性、n(b)はバンドbにおける観測ノイズをそれぞれ表す。bはバンドを識別する通し番号であり、ここでは1≦b≦6を満たす整数値である。
【0103】
したがって、式(5)を上記した式(6)に代入し、次式(7)に従って画素値を求めることによって、選択された表示対象色素の色素量を表示した表示画像(表示対象色素による染色状態を表した表示画像)の画素値g*(x,b)を求めることができる。この場合、観測ノイズn(b)をゼロとして計算してよい。
【数7】

【0104】
そして、VS画像表示処理部454が、生成した表示画像を表示部43に表示する処理を行う(ステップb25)。その後、ステップb26に移行し、VS画像表示処理部454は、VS画像表示処理の終了判定を行う。終了する場合には(ステップb26:Yes)、本処理を終える。一方、終了しない場合には(ステップb26:No)、ステップb22に戻って操作入力を受け付ける。
【0105】
なお、色素量の算出処理は、VS画像の表示処理に先立って1度行なえばよい。一方、VS画像の表示処理は、そのVS画像を表示するたびに行われる。
【0106】
次に、VS画像を観察する際の操作例について説明する。先ず、VS画像の観察に先立って行う染色色素の登録操作について説明する。図15は、標本Sの染色色素の登録依頼を通知する色素登録画面の一例を示す図である。図15に示すように、色素登録画面は、形態観察用登録画面W11および分子標的用登録画面W13の2画面で構成される。
【0107】
形態観察用登録画面W11は、形態観察用色素の数を入力する入力ボックスB113と、形態観察用色素を選択するための複数のスピンボックスB115とが配置されている。スピンボックスB115は、それぞれ色素名の一覧を選択肢として提示し、選択を促す。提示される色素については特に例示しないが、形態観察染色で知られている色素を適宜含む。ユーザは、入力部41を操作し、入力ボックスB113において実際に標本Sを染色している形態観察用色素の数を入力するとともに、スピンボックスB115でその色素名を選択することによって染色色素を登録する。形態観察用色素が2以上の場合には、別個のスピンボックスB115で該当する色素名をそれぞれ選択する。
【0108】
また、形態観察用登録画面W11は、定型染色選択部B111を備え、この定型染色選択部B111において、形態観察染色として代表的なHE染色で用いる色素(HE)、Pap染色で用いる色素(Pap)およびH染色で用いる色素(Hのみ)がそれぞれ選択肢として個別に提示されている。なお、この定型染色選択部B111で提示する選択肢は例示したものに限らず、ユーザが設定できるようにしてもよいが、ここで提示した色素については該当する項目をチェックすることで登録でき、登録操作が簡略化される。例えば図15に示すように、「HE」をチェックすると、入力ボックスB113に「2」が自動入力されるとともに、色素(1)および(2)のスピンボックスB115にそれぞれ「H」と「E」とが自動入力される。実施の形態1では、標本SをHE染色しているため、ユーザは、定型染色選択部B111で「HE」にチェックすることで染色色素(形態観察用色素)を登録できる。ここで登録した染色色素の情報は、染色情報514(図10(b)参照)の形態観察染色情報515(図11(b)を参照)としてVS画像ファイル5に設定される。
【0109】
分子標的用登録画面W13は、形態観察用登録画面W11と同様に、分子標的用色素の数を入力する入力ボックスB133と、分子標的用色素を選択するためのスピンボックスB135とが配置されている。スピンボックスB135は、色素名の一覧を選択肢として提示し、選択を促す。提示される色素については特に例示しないが、分子標的染色で知られている色素を適宜含む。ユーザは、入力部41を操作して入力ボックスB133に実際に標本Sを染色している分子標的用色素の数を入力するとともに、スピンボックスB135でその色素名を選択することによって染色情報を登録する。
【0110】
また、分子標的用登録画面W13は、主要な標識酵素やその組み合わせを提示した定型染色選択部B131を備える。なお、この定型染色選択部B131で提示する選択肢は例示したものに限らず、ユーザが設定できるようにしてもよい。実施の形態1の分子標的用色素はDAB色素であり、図15に示すように、定型染色選択部B131において「DAB」をチェックすることで、染色色素(分子標的用色素)を登録できる。ここで登録した染色色素の情報は、染色情報514(図10(b)参照)の分子標的染色情報516(図11(b)を参照)としてVS画像ファイル5に設定される。またチェックの結果、入力ボックスB133に「1」が自動入力されるとともに、色素(1)のスピンボックスB135に「DAB」が自動入力される。
【0111】
次に、表示画像を表示部43に表示してVS画像を観察する際の操作例について説明する。図16は、VS画像観察画面の一例を示す図である。図16に示すように、VS画像観察画面は、メイン画面W21と、標本全体像ナビゲーション画面W23と、倍率選択部B21と、観察範囲選択部B23と、表示切換ボタンB27とを備える。
【0112】
メイン画面W21には、高解像画像である標本領域区画画像を結合して得たVS画像をもとに、表示対象色素に従って表示用に生成した表示画像が表示される。ユーザは、このメイン画面W21において、実際に顕微鏡装置2で高倍対物レンズを用いて標本Sを観察するのと同様の要領で、標本Sの全域あるいは標本Sを部分毎に高解像度で観察することができる。
【0113】
このメイン画面W21に表示されている表示画像上でマウスを右クリックすると、図16に例示するような表示対象色素の選択メニューB251が表示されるようになっている。表示対象色素の選択メニューB251には、染色色素が選択肢として提示されており、この表示対象色素の選択メニューB251でチェックされた染色色素が表示対象色素として選択される。実施の形態1では、染色色素である「H」「E」「DAB」が提示される。そして、例えば表示対象色素の選択メニューB251において「H」をチェックすると、図14のステップb23〜ステップb25の処理が行われる。すなわち、表示画像生成部457がVS画像の現在の観察範囲内の各画素におけるH色素の色素量をもとにH色素の染色状態のみを表した表示画像を生成し、VS画像表示処理部454が表示画像を表示部43(詳細にはメイン画面W21)に表示する。「E」や「DAB」を選択した場合も同様である。なお、図16に示した表示対象色素の選択メニューB251では、「H」「E」「DAB」が全てチェックされており、メイン画面W21の表示画像は、染色色素「H」「E」「DAB」の色素量をもとに、各色素の染色状態を全て表したものとなる。
【0114】
標本全体像ナビゲーション画面W23には、スライド標本全体画像が縮小表示される。そして、スライド標本全体画像上において、現在メイン画面W21に表示されている表示画像の範囲である観察範囲を示すカーソルK231が表示される。ユーザは、この標本全体像ナビゲーション画面W23において、標本Sのどの部位を観察しているのかが容易に把握できる。
【0115】
倍率選択部B21は、メイン画面W21の表示画像の表示倍率を選択するためのものであり、図示の例では、「全体」「1倍」「2倍」「4倍」「10倍」「20倍」の各表示倍率を選択する倍率変更ボタンB211が配置されている。なお、この倍率選択部B21では、例えば標本Sの観察に用いた高倍対物レンズの倍率を最大の表示倍率として提示する。ユーザが、例えば入力部41を構成するマウスで所望する倍率変更ボタンB211をクリックすると、メイン画面W21に表示されている表示画像が選択された表示倍率に従って拡縮されて表示される。
【0116】
観察範囲選択部B23は、メイン画面W21の観察範囲を移動させるためのものであり、例えば上下左右の各矢印をマウスでクリックすると、所望の移動方向に観察範囲が移動した表示画像がメイン画面W21に表示される。また、例えば入力部41を構成するキーボードが備える矢印キーの操作や、メイン画面W21上でのマウスのドラッグ操作等に応じて観察範囲を移動させることができるようにしてもよい。ユーザは、この観察範囲選択部B23を操作する等してメイン画面W21の観察範囲を移動させることで、メイン画面W21において標本Sを部位毎に観察できる。
【0117】
表示切換ボタンB27は、メイン画面W21の表示を切り換える。図17は、表示切換ボタンB27の押下によって切り替えられるメイン画面W21−2の一例を示す図である。図16のメイン画面W21および図17のメイン画面W21−2に示すように、表示切換ボタンB27の押下によって、1枚の表示画像をメイン画面W21に表示する単一モードと、メイン画面W21−2を2以上の複数画面に分割して複数の表示画像を表示するマルチモードとを切り換えることができる。なお、図17では、マルチモードとして2画面構成のメイン画面W21−2を例示しているが、3つ以上に画面分割して3枚以上の表示画像を表示してもよい。
【0118】
メイン画面W21−2の各分割画面W211,W213では、それぞれ個別に表示対象色素を選択できるようになっており、その色素量を表示した表示画像を表示する。具体的には、図17に示すように、分割画面W211上でマウスを右クリックすると表示対象色素の選択メニューB253が表示され、この表示対象色素の選択メニューB253で表示対象色素をチェックすることで所望の色素の色素量を表示した表示画像を表示させることができる。同様に、分割画面W213上でマウスを右クリックすれば、表示対象色素の選択メニューB255が表示され、この表示対象色素の選択メニューB255で表示対象色素をチェックすることで所望の色素の色素量を表示した表示画像を表示させることができる。例えば、図17に向かって左側の分割画面W211上の表示対象色素の選択メニューB253では「H」および「E」が選択されており、分割画面W211の表示画像は、染色色素「H」「E」の色素量をもとに、これら2つの色素の染色状態を表したものとなる。一方、図17に向かって右側の分割画面W213上の表示対象色素の選択メニューB255では「H」および「DAB」が選択されており、分割画面W213の表示画像は、染色色素「H」「DAB」の色素量をもとに、これら2つの色素の染色状態を表したものとなる。なお、この表示対象色素の選択メニューB253,B255や図16に示した表示対象色素の選択メニューB251は、これらの表示を避けて画面上をマウスで左クリックすると消えるようになっており、必要に応じて表示させることが可能である。
【0119】
これによれば、例えば、単一モードでは、図16のメイン画面W21に示すようにH色素、E色素およびDAB色素の各色素の染色状態を全て表した表示画像を観察する一方、マルチモードでは、例えば図17のメイン画面W21−2に例示するように、形態観察用色素であるH色素およびE色素の染色状態を表した表示画像と、分子標的用色素であるDAB色素および対比染色であるH色素の染色状態を表した表示画像とを並べて、両者を比較しながら観察するといったことが可能となる。
【0120】
以上説明したように、実施の形態1によれば、複数の色素で多重に染色されている標本Sの全域を映した広視野でかつ高精細なVS画像を生成するとともに、このVS画像をもとに表示画像を生成して表示部43に表示することができる。そしてこのとき、ユーザ操作に従って選択した表示対象色素の染色状態を表した表示画像を生成して表示部43に表示することができるので、表示画像の視認性を向上させることができるという効果を奏する。ユーザは、染色色素のうち、所望の色素を選択してその染色状態を個別にあるいは組み合わせて観察することができる。したがって、標本Sの形態と発現している分子情報とを同一の標本上で対比させながら観察することができる。
【0121】
なお、上記した実施の形態1では、VS画像の表示画像を表示対象色素が選択されるたびに生成することとしたが、表示対象色素をH色素およびE色素とした表示画像や、表示対象色素をH色素およびDAB色素とした表示画像(すなわち、H染色による核の対比染色付きの標的分子の発現を表した表示画像)等、予め代表的な色素を組み合わせた表示画像を生成し、VS画像ファイル5に記録しておくこととしてもよい。そして、表示対象画素としてこの代表的な色素の組み合わせが選択された場合には、記録しておいた表示画像を読み出して表示部43に表示するようにしてもよい。これによれば、VS画像表示処理の高速化が実現できる。
【0122】
(実施の形態2)
実施の形態1では、VS画像の各画素の画素値をもとに、対応する標本S上の各標本位置における色素量を算出することとした。これに対し、算出した色素量を補正可能に構成してもよい。図18は、実施の形態2におけるホストシステム4aの主要な機能ブロックを示す図である。なお、実施の形態1で説明した構成と同一の構成については、同一の符号を付する。図18に示すように、実施の形態2の顕微鏡システムを構成するホストシステム4aは、入力部41、表示部43、処理部45a、記録部47a等を備える。
【0123】
そして、処理部45aのVS画像表示処理部454aは、色素量算出部455と、色素選択処理部456と、表示画像生成部457aと、色素量補正手段としての色素量補正部458aとを含む。色素量補正部458aは、ユーザによる補正対象の色素(補正対象色素)の選択およびその補正係数の操作入力を受け付け、入力された補正係数に従って各画素における補正対象色素の色素量を補正する。また、記録部47aには、処理部45aをVS画像表示処理部454aとして機能させるためのVS画像表示処理プログラム473aが記録される。
【0124】
実施の形態2では、例えば色素量補正部458aは、VS画像表示処理の実行中に入力部41を介して色素量の補正指示が操作入力された場合に、補正係数に従って補正対象色素の色素量を補正する。色素量補正部458aが色素量を補正した場合には、続いて表示画像生成部457aが、補正後の色素量(補正色素量)をもとに各画素のRGB値を再度算出して表示画像を生成する。そして、VS画像表示処理部454aが、生成した表示画像を表示部43(例えば、図16に示した単一モードのメイン画面W21や図17に示したマルチモードのメイン画面21−2)に更新表示する処理を行う。
【0125】
ここで、色素量補正部458aが行う色素量の補正は、例えば特許文献1に記載の公知技術を適用して実現できる。簡単に処理手順を説明すると先ず、表示対象色素の色素量のうち、補正対象色素として選択された色素の色素量に入力された補正係数を乗じて上記した式(2)に代入し、図14のステップb24で説明した色素量をRGB値に変換する処理と同様にして各画素のRGB値を算出する。すなわち、表示対象色素の色素量のみを対象とし、かつ、表示対象色素のうちの補正対象色素の色素量を補正色素量として、RGB値を求める。
【0126】
ここで、色素量を補正する際の操作例について説明する。実施の形態2では、例えば図16に示したVS画像観察画面において色素量の補正メニューを提示する。補正メニューの提示は、例えば画面上に補正メニューを選択するためのボタンを配置して実現してもよいし、VS画像観察画面上でのマウスの右クリックに応じて提示するようにしてもよい。ユーザは、補正対象色素を選択して色素量を補正する際には、この補正メニューを選択する。
【0127】
図19は、補正メニューの選択時に表示部43に表示される色素補正画面の一例を示す図である。図19に示すように、色素補正画面は、補正色素選択画面W31と、補正係数調整画面W33とを備える。補正色素選択画面W31には、現在選択している表示対象色素を個別に選択するための色素選択ボタンが配置されている。例えば、色素選択ボタンB31を押下すると、DAB色素が補正対象色素として選択される。一方、補正係数調整画面W33には、補正係数を調整するためのスライダーS33が表示されており、ユーザは、このスライダーS33を移動させて補正対象色素に対する所望の補正係数を操作入力する。
【0128】
また、図20は、補正係数調整画面の他の例を示す図である。図20の補正係数調整画面W41には、補正係数の値を大きく調整する+ボタンB41と、補正係数の値を小さく調整する−ボタンB43とが配置されている。ユーザは、この+ボタンB41や−ボタンB43を押下して補正対象色素に対する所望の補正係数を操作入力する。
【0129】
例えば、図16のメイン画面W21上にH色素、E色素およびDAB色素を表示対象色素とした表示画像を表示している場合に、形態観察を優先させたいといった場合がある。実施の形態2によれば、このような場合において、形態観察がし易いようにDAB色素の色素量を抑え(淡くして)、H色素およびE色素の視認性を向上させた表示画像を表示することができる。
【0130】
あるいは例えば、H色素とDAB色素とを表示対象色素とした表示画像を表示しているとする。このようにH色素とDAB色素とを表示対象色素とすると、H色素による核の対比染色下において、DAB色素の染色状態(すなわちその標的分子の発現)を観察することができる。この場合に、観察がし易いように、H色素の色素量を抑え、DAB色素の視認性を向上させた表示画像を表示することができる。
【0131】
また、標本に形態観察染色を施し、さらに分子標的染色を施して多重染色する場合、標本上で複数の色素が重畳し、標本の透過率が低下するという問題がある。実施の形態2によれば、例えば標本のHE染色を通常よりも薄く施し、表示画像を生成する際に適切にHE染色された標本と同等の色を有する画像に補正するといったことが可能となり、前述の問題を解決できる。
【0132】
以上のように、実施の形態2によれば、実施の形態1と同様の効果を奏することができるとともに、ユーザが表示対象色素の明るさを選択的に調整することができ、表示画像上での表示対象色素の染色状態の視認性を向上させることができる。
【0133】
なお、色素量の補正は、図19や図20で示したように補正係数の値を直接的に入力することによって行う場合に限定されるものではない。例えば、VS画像の画素値をもとに算出した色素量を入力色素量として入力し、補正色素量を出力色素量として出力するルックアップテーブルを予め定義して記録部47aに記録しておき、このルックアップテーブルを参照して色素量を補正するようにしてもよい。図21は、ルックアップテーブルの一例を示す図であり、図22は、ルックアップテーブルの他の例を示す図である。図21および図22では、それぞれ横軸を入力される色素量(入力色素量)、縦軸を出力される補正色素量(出力色素量)としてルックアップテーブルを模式的に示している。すなわち、ルックアップテーブルは、図21に示すように、入力色素量と補正色素量との対応関係を定義したデータテーブルとして定義しておくこととしてもよいし、図22に示すように関数として定義しておくこととしてもよい。
【0134】
また、実施の形態2では、1つの補正対象色素を選択し、選択した補正対象色素について色素量を補正することとしたが、次のようにしてもよい。すなわち、補正メニューが選択された場合に、各表示対象色素の補正係数をそれぞれ調整するためのスライダーやボタンを並べて配置した補正係数調整画面を表示し、複数の表示対象色素を補正対象色素とし、同時に調整できるようにしてもよい。
【0135】
また、補正係数調整画面は、図16のメイン画面W21や図17のメイン画面W21−2上に表示し、スライダーやボタンの操作に応じてメイン画面W21,W21−2上の表示画像をリアルタイムに更新表示するようにしてもよい。これによれば、ユーザは、メイン画面W21,W21−2上で表示画像を見ながら補正係数を調整し、その表示対象色素の染色状態を見易いように変更するといったことが可能となり、操作性が向上する。
【0136】
(実施の形態3)
図23は、実施の形態3におけるホストシステム4bの主要な機能ブロックを示す図である。なお、実施の形態1で説明した構成と同一の構成については、同一の符号を付する。図23に示すように、実施の形態3の顕微鏡システムを構成するホストシステム4bは、入力部41、表示部43、処理部45b、記録部47b等を備える。
【0137】
そして、処理部45bのVS画像表示処理部454bは、色素量算出部455bと、色素選択処理部456と、表示画像生成部457bと、表示色割当手段としての擬似表示色割当部459bとを含む。一方、記録部47bには、処理部45bをVS画像表示処理部454bとして機能させるためのVS画像表示処理プログラム473bが記録される。また、記録部47bには、擬似表示色データ475bが記録される。
【0138】
図24は、擬似表示色の分光透過率特性(スペクトル)の一例を示す図であり、図24では、2種類の擬似表示色C1および擬似表示色C2のスペクトルとともに、H色素、E色素およびDAB色素のスペクトルを示している。実施の形態3では、図24に示す擬似表示色C1や擬似表示色C2のように、形態染色用色素であるH色素やE色素のスペクトルとは異なるスペクトルであって、例えばH色素やE色素と比べて彩度の高いスペクトルを有する擬似表示色のスペクトルを用意する。そして、擬似表示色データ475bとして予め記録部47bに記録しておき、この擬似表示色のスペクトルを分子標的用色素のスペクトルとして用いる。
【0139】
図25は、実施の形態3におけるVS画像の表示処理の処理手順を示すフローチャートである。なお、ここで説明する処理は、VS画像表示処理部454bが記録部47bに記録されたVS画像表示処理プログラム473bを読み出して実行することによって実現される処理であり、実施の形態1と同様の処理工程には、同一の符号を付する。
【0140】
図25に示すように、実施の形態3では、先ず擬似表示色割当部459bが、染色色素に含まれる分子標的用色素に割り当てる擬似表示色の割当依頼の通知を表示部43に表示する処理を行う(ステップc201)。例えば、擬似表示色割当部459bは、用意しておいた擬似表示色を一覧で提示し、分子標的用色素に割り当てる擬似表示色の選択操作を受け付ける。また、染色色素に分子標的用色素が複数含まれる場合には、各分子標的用色素に割り当てる擬似表示色の選択操作を個別に受け付ける。そして、擬似表示色割当部459bは、割当依頼の通知に応答したユーザの操作入力に応じて分子標的用色素に擬似表示色を割り当てる(ステップc202)。
【0141】
続いて、色素選択処理部456が、実施の形態1と同様にして、表示対象色素の選択依頼の通知を表示部43に表示する処理を行う(ステップb21)。そして、この選択依頼の通知に応答した操作入力がなければ(ステップb22:No)、ステップb26に移行する。一方、ユーザが色素を操作入力した場合には(ステップb22:Yes)、色素選択処理部456は、その色素を表示対象色素として選択する(ステップb23)。
【0142】
続いて、表示画像生成部457bが、表示対象色素として分子標的用色素が選択されたか否かを判定する。分子標的用色素が選択されなかった場合には(ステップc241:No)、ステップc243に移行する。一方、分子標的用色素が選択された場合には(ステップc241:Yes)、表示画像生成部457bは、ステップc202でこの分子標的用色素に割り当てられた擬似表示色を取得する(ステップc242)。
【0143】
そして、続くステップc243では、表示画像生成部457bは、各画素における表示対象色素毎の色素量をもとに各画素のRGB値を算出して表示画像を生成するが、このとき、表示対象色素に分子標的用色素が含まれる場合には、分子標的用色素の基準色素スペクトルとして、ステップc202で取得した擬似表示色(すなわち、擬似表示色割当部459bがこの分子標的用色素に割り当てた擬似表示色)のスペクトルを用い、RGB値を算出する。詳細には、上記した式(5)に代入して用いる分子標的用色素の基準色素スペクトルkn(λ)を、その分子標的用色素に割り当てた擬似表示色のスペクトルに置き換えてスペクトル推定を行い、推定結果をもとにRGB値を算出する。
【0144】
上記した実施の形態1では、VS画像を構成する画素毎に対応する標本S上の各標本位置における色素量を算出し、算出した色素量をもとに各画素のRGB値を算出して表示画像を生成することとした。ここで、形態観察染色が形態を観察するためのものであるのに対し、標本の分子標的染色は、標的分子の発現の程度を知るためのものである。このため、分子標的染色による染色状態の表示については、実際の標本を染色している色とは別の色で表示しても問題がない。
【0145】
以上説明したように、実施の形態3によれば、実施の形態1と同様の効果を奏することができるとともに、分子標的用色素に擬似表示色を割り当てることができる。そして、分子標的用色素の基準色素スペクトルとして、本来その色素が有しているスペクトル(ここでは分光透過率特性)とは別のスペクトルを用いることができる。すなわち例えば、形態観察用色素の染色状態については、実際に標本を染色している色素と同様の色を再現して表し、分子標的用色素の染色状態については、例えば形態観察用色素に対してコントラストが向上するような擬似表示色で表示することができる。このようにすれば、例えば分子標的用色素による染色状態を高コントラストで表示することができる。したがって、分子標的用色素と形態観察用色素や他の分子標的用色素とが類似色で可視化される場合であっても、これらを識別容易に表示することが可能となり、観察時の視認性を高めることができる。
【0146】
なお、擬似表示色割当部459bが分子標的用色素に擬似表示色を割り当てた場合に、この分子標的用色素と擬似表示色との対応関係を記録部47bに記録しておくようにしてもよい。これによれば、標本が変わるたびに図25のステップc201〜c202の処理を行ってその染色色素に含まれる分子標的用色素の擬似表示色を設定する必要がなく、操作性を向上させることができる。
【0147】
(実施の形態4)
図26は、実施の形態4におけるホストシステム4cの主要な機能ブロックを示す図である。なお、実施の形態1と同様の構成には同一の符号を付する。図26に示すように、ホストシステム4cは、入力部41、表示部43、処理部45c、記録部47c等を備える。
【0148】
なお、図示しないが、実施の形態4の顕微鏡システムでは、このホストシステム4cと接続される顕微鏡装置のレボルバに、実施の形態1で説明した高倍対物レンズおよび低倍対物レンズと、高倍対物レンズよりもさらに高倍率の対物レンズ(最高倍対物レンズ)とが装着されている。以下、倍率が例えば2倍の対物レンズを低倍対物レンズとし、10倍の対物レンズを高倍対物レンズとし、60倍の対物レンズを最高倍対物レンズとして例示する。
【0149】
実施の形態4のホストシステム4cでは、処理部45cのVS画像生成部451cが、低解像画像取得処理部452と、高解像画像取得処理部453と、色素量算出部460cと、注目領域設定手段としての注目領域設定部461cと、注目領域画像取得手段および倍率変更手段としての注目領域画像取得処理部462cとを含む。注目領域設定部461cは、例えば標的分子が高発現している部位を注目領域として選択する。注目領域画像取得処理部462cは、顕微鏡装置各部の動作指示を行って注目領域の高解像画像を取得する。ここで、注目領域画像は、最高倍対物レンズを標本の観察に用い、マルチバンド画像として複数のZ位置で取得される。
【0150】
すなわち、実施の形態4では、低解像画像取得処理部452が2倍の対物レンズ(低倍対物レンズ)を用いて低解像画像を取得し、高解像画像取得処理部453が10倍の対物レンズ(高倍対物レンズ)を用いて高解像画像を取得し、注目領域画像取得処理部462cが60倍の対物レンズ(最高倍対物レンズ)を用いて注目領域の3次元画像(注目領域画像)を取得する。そして、色素量算出部460cは、実施の形態1と同様の手法で、高解像画像を構成する各画素の画素値をもとに対応する標本上の各標本位置における染色色素毎の色素量を算出するとともに、注目領域画像を構成する各画素の画素値をもとに対応する標本上の各標本位置における染色色素毎の色素量を算出する。
【0151】
また、VS画像表示処理部454cは、色素選択処理部456と、表示画像生成部457とを含む。実施の形態4では、VS画像表示処理部454cは、VS画像表示処理として、図14に示して説明したVS画像の表示処理を行う。色素量の算出については、VS画像生成処理で行う。
【0152】
一方、記録部47cには、処理部45cをVS画像生成部451cとして機能させるためのVS画像生成プログラム471cと、処理部45cをVS画像表示処理部454cとして機能させるためのVS画像表示処理プログラム473cと、VS画像ファイル5cが記録される。
【0153】
次に、実施の形態4におけるVS画像生成処理について説明する。図27は、ホストシステム4cの処理部45cがVS画像生成処理を行うことによって実現される実施の形態4の顕微鏡システムの動作を示すフローチャートである。なお、ここで説明する顕微鏡システムの動作は、処理部45cが記録部47cに記録されたVS画像生成プログラム471cを読み出して実行することによって実現される処理であり、実施の形態1と同様の処理工程には、同一の符号を付する。
【0154】
実施の形態4では、ステップa21において高解像画像取得処理部453がVS画像を生成した後、続いてVS画像生成部451cが、標本を染色している染色色素の登録依頼の通知を表示部43に表示する処理を行う(ステップd23)。続いてVS画像生成部451cは、この登録依頼の通知に応答してユーザが操作入力した色素を染色色素として登録する(ステップd25)。そして、色素量算出部460cが、生成したVS画像の各画素の画素値をもとに、対応する標本上の各標本位置における色素量を染色色素毎に算出する(ステップd27)。
【0155】
続いて注目領域設定部461cが、VS画像から、例えば標的分子が高発現している部位を抽出し、注目領域として設定する(ステップd29)。例えば、注目領域設定部461cは、染色色素に含まれる分子標的用色素であるDAB色素の色素量が予め設定される所定の閾値以上の高濃度の場合であって、かつ高発現している領域の面積が予め設定される所定面積(例えば高倍対物レンズの視野範囲)より大きい部位を、N個所(例えば5箇所)選択する。
【0156】
具体的には先ず、注目領域設定部461cは、前述の所定面積に従ってVS画像内を領域分割し、分割した領域毎に、その領域内においてDAB色素の色素量が所定の閾値以上である画素数を計数する。そして、注目領域設定部461cは、計数値が所定の基準画素数以上の領域のうち、値の大きい領域から順に5つを選択して注目領域とする。計数値が基準画素数以上である領域が5つ未満の場合には、この5つ未満の全ての領域を注目領域とする。なお、VS画像上を例えば左上端部からスキャンし、n画素毎(例えば4画素毎)に所定面積の領域をシフトさせながら、各領域についてDAB色素の色素量が所定の閾値以上である画素数を計数することとしてもよい。そして、計数値が基準画素数以上の領域のうちの5つを注目領域としてもよい。
【0157】
そして、注目領域として設定した領域がない場合、すなわち、領域毎に計数した計数値が基準画素数以上である領域がない場合には(ステップd31:No)、本処理を終える。すなわち、標的分子が高発現している部位のない標本については、最高倍対物レンズを用いた注目領域画像の生成を行わない。
【0158】
一方、注目領域が設定された場合には(ステップd31:Yes)、注目領域画像取得処理部462cが、標本の観察に用いる対物レンズを最高倍対物レンズに切り換える指示を顕微鏡装置の顕微鏡コントローラに出力する(ステップd33)。これに応答して顕微鏡コントローラは、レボルバを回転させて最高倍対物レンズを観察光の光路上に配置する。
【0159】
続いて、注目領域画像取得処理部462cは、対象注目領域番号Mを“1”に初期化する(ステップd35)。そして、注目領域画像取得処理部462cは、標本をマルチバンド撮像するための光学フィルタを順次切り換える指示を顕微鏡コントローラに出力するとともに、顕微鏡コントローラやTVカメラコントローラに対する顕微鏡装置各部の動作指示を行って、対象注目領域番号Mの注目領域の標本像を異なる複数のZ位置でマルチバンド撮像し、Z位置毎の注目領域画像を取得する(ステップd37)。
【0160】
これに応答して、顕微鏡装置は、先ずフィルタユニットの一方の光学フィルタを観察光の光路上に配置した状態で、電動ステージのZ位置を移動させながら対象注目領域番号Mの注目領域の標本像をTVカメラで順次撮像していく。次いで、観察光の光路上に他方の光学フィルタを切り換えて配置し、同様にして対象注目領域番号Mの注目領域の標本像を異なる複数のZ位置で撮像する。撮像された画像データはホストシステム4cに出力され、注目領域画像取得処理部462cにおいて対象注目領域番号Mの注目領域のZ位置毎の注目領域画像(3次元画像)として取得される。
【0161】
なお、3次元画像の生成は、例えば特許文献5に記載の公知技術を適用して実現できるが、撮像するZ方向の注目領域画像の枚数(セクショニング数)は、予めVS画像ファイル5cにおいてZ方向の枚数566(図12(c)を参照)として設定される。
【0162】
続いて注目領域画像取得処理部462cは、対象注目領域番号Mをインクリメントして更新する(ステップd39)。そして、注目領域画像取得処理部462cは、対象注目領域番号Mが注目領域数を超えない間は(ステップd41:No),ステップd37に戻って処理を繰り返し、設定された各注目領域それぞれについて、Z位置毎の注目領域画像を取得する。
【0163】
そして、対象注目領域番号Mが注目領域数を超えた場合には(ステップd41:Yes)、続いて色素量算出部460cが、各注目領域について取得したZ位置毎の注目領域画像それぞれについて、各画素における染色色素毎の色素量を算出する(ステップd43)。
【0164】
図28は、VS画像生成処理の結果得られて記録部47cに記録されるVS画像ファイル5cのデータ構成例を説明する図である。実施の形態4のVS画像ファイル5cは、図28(a)に示すように、付帯情報51と、スライド標本全体画像データ52と、VS画像データ53と、注目領域指定情報8とを含む。
【0165】
注目領域指定情報8は、図28(b)に示すように、注目領域数81と、注目領域画像の撮像倍率82と、注目領域数81に相当する数の注目領域情報(1)〜(n)83とを含む。注目領域数81は、nに相当し、図27のステップd29の処理で用いたNの値が設定される。注目領域情報(1)〜(n)83は、注目領域毎に取得した注目領域画像に関する各種情報が設定される。すなわち、各注目領域情報83には、図28(c)に示すように、VS画像番号831、左上コーナー位置(x座標)832、左上コーナー位置(y座標)833、x方向のピクセル数834、y方向のピクセル数835、Z方向の枚数836、画像データ837、色素量データ838等が設定される。
【0166】
VS画像番号831は、その注目領域が属するVS画像の画像番号である。1つの標本について複数のVS画像を生成する場合があり得るため、そのVS画像を識別するために設定される。左上コーナー位置(x座標)832、左上コーナー位置(y座標)833、x方向のピクセル数834およびy方向のピクセル数835は、該当する注目領域画像のVS画像中における位置を特定するための情報である。すなわち、左上コーナー位置(x座標)832は、VS画像中における該当する注目領域画像の左上コーナー位置のx座標であり、左上コーナー位置(y座標)833は、左上コーナー位置のy座標である。そして、x方向のピクセル数834は該当する注目領域画像のx方向のピクセル数であり、y方向のピクセル数835はy方向のピクセル数であって、注目領域画像のサイズを示している。Z方向の枚数836は、Z方向のセクショニング数であり、その注目領域について生成した注目領域画像の枚数(Z位置の数)が設定される。
【0167】
画像データ837には、該当する注目領域のZ位置毎の注目領域画像の画像データが設定される。そして、色素量データ838には、図27のVS画像表示処理のステップd37でZ位置毎の注目領域画像それぞれについて画素毎に算出される染色色素毎の色素量のデータが設定される。
【0168】
分子標的染色によって過剰発現が確認された部位について、発現の妥当性を判断するために、さらに高い倍率の対物レンズで核情報を立体的に観察したい場合がある。実施の形態4によれば、実施の形態1と同様の効果を奏することができるとともに、分子標的用色素の色素量をもとに、標的分子の高発現部位を抽出して注目領域とすることができる。そして、この注目領域について、高倍対物レンズよりもさらに倍率の高い最高倍対物レンズで観察した注目領域画像を3次元画像として取得することができる。したがって、分子標的染色によって発現が確認される標的分子が高発現している部位の細胞状態を高精細でかつ立体的に確認でき、標本の形態と発現している分子情報とを対比させながら観察し、細胞の詳細な核所見等を得ることができる。またこのとき、ユーザは、VS画像から標的分子が高発現している部位を選択したり、対物レンズを交換するといった操作入力が必要ないため、操作性が向上する。
【0169】
なお、VS画像生成処理において、図27のステップd23,d25の処理を事前にまたはVS画像生成処理の最初に行う構成とすれば、途中でユーザによる操作の介在が不要となる。
【0170】
また、上記した実施の形態4では、染色色素に含まれる分子標的用色素を1種類とし、1種類の標的分子を対象として高発現部位を抽出する場合について説明した。これに対し、染色色素に複数の分子標的用色素が含まれる場合には、その標的分子毎にそれぞれ高発現部位を抽出して注目領域を設定するようにしてもよい。あるいは、ユーザ操作に従って注目領域を設定する標的分子を選択し、選択した標的分子の高発現部位を注目領域として設定するようにしてもよい。またこの場合に、高発現部位を抽出する標的分子の選択を事前にまたはVS画像生成処理の最初に行う構成とすれば、途中でユーザによる操作の介在が不要となる。
【0171】
また、ユーザ操作に従って注目領域の設定を行うようにしてもよい。例えば、図27のステップa21で生成したVS画像を表示部43に表示する処理を行ってユーザに提示し、このVS画像上での領域選択操作を受け付けて注目領域を設定することとしてもよい。
【0172】
また、VS画像中の低輝度部位を注目領域として設定するようにしてもよい。具体的には、VS画像中の低輝度部位を抽出して注目領域を設定する。そして、設定した注目領域のZ位置毎の注目領域画像を取得するようにしてもよい。これによれば、例えば標本上で色素が重畳する等した低輝度部位を高精細でかつ立体的に確認できる。
【0173】
また、低輝度部位を注目領域として設定する場合には、図27のステップa7で生成したスライド標本全体画像中の低輝度部位を注目領域として設定するようにしてもよい。この場合には、図27のVS画像生成処理において、ステップa11〜ステップa21の処理を行わない構成としてもよい。これによれば、高解像度での観察が必要と推定される低輝度部位のみ高解像画像を取得するので、処理負荷が軽減し、記録部47cへの記録に要する記録容量も削減できる。また、染色色素を途中で登録する必要がないのでユーザによる操作が介在しない。したがって例えば、標本のオートローダシステムと組み合わせた場合に、大量の標本に対するバッチ処理による連続自動化処理が可能となる。
【0174】
(実施の形態5)
図29は、実施の形態5におけるホストシステム4dの主要な機能ブロックを示す図である。なお、実施の形態1で説明した構成と同一の構成については、同一の符号を付する。図29に示すように、実施の形態5の顕微鏡システムを構成するホストシステム4dは、入力部41、表示部43、処理部45d、記録部47d等を備える。
【0175】
そして、処理部45dのVS画像生成部451dは、低解像画像取得処理部452と、高解像画像取得処理部453dと、色素量算出部460dと、露光条件設定手段としての露光条件設定部463dとを含む。高解像画像取得処理部453dは、顕微鏡装置2各部の動作指示を行って、露光条件を段階的に変化させながら標本像の高解像画像(標本領域区画画像)を順次取得する。露光条件設定部463dは、露光条件の一例である露出時間Tを段階的に増加させて設定し、高解像画像取得処理部453dに出力する。
【0176】
ここで、ホストシステム4dと接続される顕微鏡装置を構成するTVカメラの露光量は、露出時間と入射光量の積によって定まる。したがって、入射光量が一定であれば、TVカメラの露光量は露出時間によって決定される。例えば、露出時間が2倍になれば露光量も2倍になる。すなわち、低輝度の画素については、露出時間を長くすることによってダイナミックレンジを広くでき、色素量の推定精度を向上させることができる。実施の形態5は、露出時間Tを順次定数倍(例えば2倍)して段階的に設定し、露出時間Tを設定するたびに標本領域区画画像をマルチバンド撮像することによって色素量の推定精度を向上させるものである。
【0177】
また、VS画像表示処理部454dは、色素選択処理部456と、表示画像生成部457とを含む。実施の形態5では、VS画像表示処理部454dは、VS画像表示処理として、図14に示して説明したVS画像の表示処理を行う。色素量の算出については、VS画像生成処理で行う。
【0178】
一方、記録部47dには、処理部45dをVS画像生成部451dとして機能させるためのVS画像生成プログラム471dと、処理部45dをVS画像表示処理部454dとして機能させるためのVS画像表示処理プログラム473dと、VS画像ファイル5が記録される。
【0179】
図30は、実施の形態5のVS画像生成処理によって実現される顕微鏡システムの動作を示すフローチャートである。なお、ここで説明する処理は、VS画像生成部451dが記録部47dに記録されたVS画像生成プログラム471dを読み出して実行することによって実現される処理であり、実施の形態1と同様の処理工程には、同一の符号を付する。
【0180】
図30に示すように、実施の形態5では、先ず、VS画像生成部451dが、標本を染色している染色色素の登録依頼の通知を表示部43に表示する処理を行う(ステップe11)。続いてVS画像生成部451dは、この登録依頼の通知に応答してユーザが操作入力した色素を染色色素として登録する(ステップe13)。そして、ステップa1に移る。
【0181】
また、ステップa17においてフォーカスマップを作成した後、多段色素量算出処理に移る(ステップe19)。図31は、多段色素量算出処理の詳細な処理手順を示すフローチャートである。
【0182】
図31に示すように、多段色素量算出処理では先ず、露光条件設定部463dが、繰り返し回数iを“1”に初期化し(ステップf1)、露出時間Tを予め設定される初期値に設定する(ステップf3)。なお、ここで露出時間Tの初期値として設定される値は、例えば撮像素子の出力信号を8bitのA/D変換器でA/D変換する場合であれば、背景部分(標本が存在しない透過率が最も高い部分)のR,G,Bの各値が230〜190の範囲内に入るように決定される。
【0183】
続いて高解像画像取得処理部433dが、標本をマルチバンド撮像するための光学フィルタを順次切り換える指示を顕微鏡コントローラに出力するとともに、顕微鏡コントローラやTVカメラコントローラに対する顕微鏡装置各部の動作指示を行って、標本領域画像の小区画毎の標本像を露光条件設定部463dによって設定された今回の露出時間Tでマルチバンド撮像し、小区画毎の標本領域区画画像(高解像画像)を取得する(ステップf5)。
【0184】
これに応答して、顕微鏡装置は、先ずフィルタユニットの一方の光学フィルタを観察光の光路上に配置した状態で、TVカメラにより標本領域画像の小区画毎の標本像を指示された今回の露出時間Tで順次撮像していく。次いで、観察光の光路上に他方の光学フィルタを切り換えて配置し、同様にして標本領域画像の小区画毎の標本像を今回の露出時間Tで撮像する。撮像された画像データはホストシステム4dに出力され、高解像画像取得処理部453dにおいて標本領域区画画像として取得される。
【0185】
続いて露光条件設定部463dが、繰り返し回数iをインクリメントして更新するとともに(ステップf7)、前回露光条件設定部463dが設定した現在の露出時間Tを例えば2倍して今回の露出時間Tを更新する(ステップf9)。そして、繰り返し回数iが予め設定されている最大回数(例えば5回)を超えない間は(ステップf11:No)、ステップf5に戻って処理を繰り返し、露出時間Tを段階的に設定して標本領域区画画像を取得する。
【0186】
そして、繰り返し回数iが最大回数を超えた場合には(ステップf11:Yes)、続いて色素量算出部460dが、異なる露出時間Tで取得された標本領域区画画像それぞれについて、各画素における染色色素毎の色素量を算出する(ステップf13)。具体的には、色素量算出部460dは、画素毎に次の処理を行う。先ず、各バンドにおいてTVカメラの撮像素子の検出能を超えない最大の画素値を最適画素値として選択し、その露出時間に応じて補正する。そして、補正後の最適画素値をもとに、実施の形態1と同様の要領で対応する標本位置の色素量を染色色素毎に推定(算出)する。これによって、ダイナミックレンジを拡大して色素量を推定できる。その後、得られた色素量を、露出時間Tの初期値に相当する色素量に変換する。
【0187】
以上説明したように、実施の形態5によれば、実施の形態1と同様の効果を奏することができるとともに、標本上で色素が重畳する等した低輝度部位の色素量を精度良く算出することが可能となる。結果的に、VS画像表示処理において表示対象色素の色素量のみを表示対象とした表示画像の表示精度を向上させることができる。
【0188】
なお、上記した実施の形態5では、標本領域画像の各小区画それぞれについて多段色素量算出処理を行うこととした。これに対し、スライド標本全体画像画素値(RGB値)をもとに、各画素の輝度値(輝度値Y=0.29891R+0.58661G+0.11448B)を算出する。そして、全ての輝度値が所定値以上である小区画については色素量の算出精度を十分確保できると判定し、多段色素量算出処理を行わないこととしてもよい。これによれば、処理時間が短縮できる。
【0189】
また、上記した実施の形態5では、予め設定される最大回数(5回)に従って露光条件を段階的に変化させ、露出時間Tの異なる5枚の標本領域区画画像を取得することとしたが、必ず5枚の標本領域区画画像を取得する必要はない。すなわち、露出時間Tを変更して標本領域区画画像を取得するたびに取得した標本領域区画画像を構成する各画素の画素値を参照し、予め設定される基準画素値に満たない画素の有無を判定するようにしてもよい。そして、基準画素値に満たない画素がない場合には、標本領域区画画像の取得を終了して色素量の算出ステップ(図31のステップf13)に移行するようにしてもよい。このようにすることで、処理時間の短縮が図れる。
【0190】
また、上記した実施の形態5では、露出時間を変更することで露光条件を段階的に設定する場合について説明したが、顕微鏡装置を構成する絞りの調整や照明特性の調整によって露光条件を決定することとしてもよい。また、本実施の形態5は、実施の形態4で説明した注目領域の3次元画像を取得する場合にも同様に適用可能である。
【0191】
また、上記した実施の形態5では、常に多段色素量算出処理を行うこととしたが、所定の条件を満たした場合に多段色素量算出処理を行うようにしてもよい。図32は、本変形例のVS画像生成処理によって実現される顕微鏡システムの動作を示すフローチャートである。なお、実施の形態5と同様の処理工程には、同一の符号を付する。
【0192】
図32に示すように、本変形例では、ステップa17でフォーカスマップを作成した後、標本領域画像の小区画毎にループAの処理を行う(ステップg19〜ステップg31)。以下、ループAで処理の対象とする標本領域画像の小区画を「処理小区画」と称す。
【0193】
すなわち先ず、高解像画像取得処理部453dが、標本をマルチバンド撮像するための光学フィルタを順次切り換える指示を顕微鏡コントローラに出力するとともに、顕微鏡コントローラやTVカメラコントローラに対する顕微鏡装置各部の動作指示を行い、処理小区画の標本像をマルチバンド撮像して高解像画像(標本領域区画画像)を取得する(ステップg21)。続いて色素量算出部460dが、取得した標本領域区画画像の各画素の画素値をもとに、処理小区画に対応する標本上の各標本位置における色素量を染色色素毎に算出する(ステップg23)。
【0194】
続いてVS画像生成部451dが、標本領域区画画像の画素値をもとに、輝度値が予め設定される基準輝度値以下の画素数を計数することにより、明るさ判定手段として標本領域区画画像の明るさを判定する。そして、所定数より多い場合、すなわち標本領域区画画像が暗ければ(ステップg25:No)、多段色素量算出処理に移る(ステップg29)。
【0195】
またVS画像生成部451dは、輝度値が基準輝度値以下である画素数が所定数以下の場合には(ステップg25:Yes)、処理小区画が標的分子の高発現部位か否かを判定する。具体的には例えば、VS画像生成部451dは、標本領域区画画像を構成する画素のうち、分子標的用色素であるDAB色素の色素量が予め設定される所定の閾値以上の高濃度である画素数を計数する。次いで、VS画像生成部451dは、画素数をもとに高濃度である領域の面積が予め設定される所定面積より大きいか否かを判定する。そして、VS画像生成部451dは、所定面積より大きい場合に、処理小区画を標的分子の高発現部位と判定する。判定の結果、処理小区画が標的分子の高発現部位でなければ(ステップg27:No)、処理小区画についてのループAの処理を終える。
【0196】
一方、高発現部位がある場合には(ステップg27:Yes)、多段色素量算出処理に移る(ステップg29)。そして、標本領域画像の全ての小区画についてループAの処理を実行したならば、本処理を終える。
【0197】
本変形例によれば、標本領域画像の小区画のうち、輝度値が基準輝度値以下である画素数が所定数より多い小区画について多段色素量算出処理を行い、露光条件を段階的に変化させて撮像した標本領域区画画像を取得し、色素量を算出することができる。すなわち、ある程度明るい小区画については多段色素量算出処理を行わない。また、標的分子の高発現部位と判定された小区画について多段色素量算出処理を行い、露光条件を段階的に変化させて撮像した標本領域区画画像を取得し、色素量を算出することができる。すなわち例えば、分子標的染色による標的分子の発現がある程度の範囲に広がって目視確認できる場合に、発現評価対象となる場合がある。このような事態を事前に判定し、多段色素量算出処理を適切に行うことができる。したがって、処理効率を向上させ、処理時間の短縮化が図れる。
【0198】
なお、本変形例では、輝度値が基準輝度値以下である画素数が所定数より多く、暗い小区画について多段色素量算出処理を行うこととした。これに対し、輝度値が基準輝度値以下である画素数が所定数より多い場合であって、且つこの小区画の画素がDAB色素によって染色されている標本位置の画素を含む場合に、多段色素量算出処理を行うようにしてもよい。
【図面の簡単な説明】
【0199】
【図1】実施の形態1の顕微鏡システムの全体構成例を説明する模式図である。
【図2】フィルタユニットの構成を説明する模式図である。
【図3】一方の光学フィルタの分光透過率特性を示す図である。
【図4】他方の光学フィルタの分光透過率特性を示す図である。
【図5】R,G,B各バンドの分光感度の例を示す図である。
【図6】実施の形態1における顕微鏡システムの動作を示すフローチャートである。
【図7】スライドガラス標本の一例を示す図である。
【図8】標本領域画像の一例を示す図である。
【図9】フォーカスマップのデータ構成例を示す図である。
【図10】実施の形態1におけるVS画像ファイルのデータ構成例を説明する図である。
【図11】実施の形態1におけるVS画像ファイルのデータ構成例を説明する他の図である。
【図12】実施の形態1におけるVS画像ファイルのデータ構成例を説明する他の図である。
【図13】実施の形態1における色素量の算出処理の処理手順を示すフローチャートである。
【図14】実施の形態1におけるVS画像の表示処理の処理手順を示すフローチャートである。
【図15】標本の染色色素の登録依頼を通知する色素登録画面の一例を示す図である。
【図16】VS画像観察画面の一例を示す図である。
【図17】表示切換ボタンの押下によって切り替えられるメイン画面の一例を示す図である。
【図18】実施の形態2におけるホストシステムの主要な機能ブロックを示す図である。
【図19】色素補正画面の一例を示す図である。
【図20】補正係数調整画面の他の例を示す図である。
【図21】ルックアップテーブルの一例を示す図である。
【図22】ルックアップテーブルの他の例を示す図である。
【図23】実施の形態3におけるホストシステムの主要な機能ブロックを示す図である。
【図24】擬似表示色のスペクトルの一例を示す図である。
【図25】実施の形態3におけるVS画像の表示処理の処理手順を示すフローチャートである。
【図26】実施の形態4におけるホストシステムの主要な機能ブロックを示す図である。
【図27】実施の形態4における顕微鏡システムの動作を示すフローチャートである。
【図28】実施の形態4におけるVS画像ファイルのデータ構成例を説明する図である。
【図29】実施の形態5におけるホストシステムの主要な機能ブロックを示す図である。
【図30】実施の形態5における顕微鏡システムの動作を示すフローチャートである。
【図31】多段色素量算出処理の詳細な処理手順を示すフローチャートである。
【図32】変形例における顕微鏡システムの動作を示すフローチャートである。
【符号の説明】
【0200】
1 顕微鏡システム
2 顕微鏡装置
21 電動ステージ
221,231 モータ
223 XY駆動制御部
233 Z駆動制御部
24 顕微鏡本体
251 コレクタレンズ
252 照明系フィルタユニット
253 視野絞り
254 開口絞り
255 折曲げミラー
256 コンデンサ光学素子ユニット
257 トップレンズユニット
26 レボルバ
27 対物レンズ
28 光源
29 鏡筒
291 ビームスプリッタ
30 フィルタユニット
303 光学フィルタ
31 双眼部
311 接眼レンズ
32 TVカメラ
33 顕微鏡コントローラ
34 TVカメラコントローラ
4,4a,4b,4c,4d ホストシステム
41 入力部
43 表示部
45,45a,45b,45c,45d 処理部
451,451c,451d VS画像生成部
452 低解像画像取得処理部
453,453d 高解像画像取得処理部
454,454a,454b,454c,454d VS画像表示処理部
455,455b,460c,460d 色素量算出部
456 色素選択処理部
457,457a,457b 表示画像生成部
458a 色素量補正部
459b 擬似表示色割当部
461c 注目領域設定部
462c 注目領域画像取得処理部
463d 露光条件設定部
47,47a,47b,47c,47d 記録部
471,471c,471d VS画像生成プログラム
473,473a,473b,473c,473d VS画像表示処理プログラム
475b 擬似表示色データ
5,5c VS画像ファイル
S 標本

【特許請求の範囲】
【請求項1】
顕微鏡を用い、複数の色素によって多重染色された標本を撮像した標本画像を取得する画像取得手段と、
前記標本画像の画素毎に、対応する標本上の位置を染色している色素毎の色素量を取得する色素量取得手段と、
前記複数の色素の中から表示対象色素を選択する色素選択手段と、
前記標本画像の各画素における前記表示対象色素の色素量をもとに、前記表示対象色素による前記標本の染色状態を表した表示画像を生成する表示画像生成手段と、
前記表示画像を表示部に表示する処理を行う表示処理手段と、
を備えることを特徴とする顕微鏡システム。
【請求項2】
前記複数の色素のうちの少なくとも1つの色素の選択を依頼する色素選択依頼手段を備え、
前記色素選択手段は、前記色素選択依頼手段による依頼に応答して選択された色素を前記表示対象色素として選択することを特徴とする請求項1に記載の顕微鏡システム。
【請求項3】
前記色素量取得手段によって前記表示対象色素について取得された色素量を所定の補正係数を用いて補正する色素量補正手段を備え、
前記表示画像生成手段は、前記色素量補正手段による補正後の前記表示対象色素の色素量をもとに、前記表示画像を生成することを特徴とする請求項1または2に記載の顕微鏡システム。
【請求項4】
前記複数の色素のうちの所定の色素に対して、該色素による染色状態を表すための表示色を割り当てる表示色割当手段を備え、
前記表示画像生成手段は、前記表示色割当手段によって前記表示対象色素に前記表示色が割り当てられている場合に、該表示対象色素の色素量をもとに、前記表示対象色素による前記標本の染色状態を前記割り当てられている表示色で表した表示画像を生成することを特徴とする請求項1〜3のいずれか1つに記載の顕微鏡システム。
【請求項5】
前記表示画像生成手段は、前記表示対象色素の色素量をもとに、前記割り当てられている表示色の分光特性を用いて前記表示画像の画素値を算出し、前記表示画像を生成することを特徴とする請求項4に記載の顕微鏡システム。
【請求項6】
前記複数の色素は、所定の標的分子の発現を標識することによって前記標本を染色する分子標的用色素を含み、
前記表示色割当手段は、前記分子標的用色素に対して前記表示色を割り当てることを特徴とする請求項5に記載の顕微鏡システム。
【請求項7】
前記画像取得手段は、前記標本と対物レンズとを前記対物レンズの光軸と直交する面内で相対的に移動させながら、前記標本を部分毎に撮像して複数の標本画像を取得し、
前記複数の標本画像を繋ぎ合せて1枚の標本画像を生成する標本画像生成手段を備えることを特徴とする請求項1〜6のいずれか1つに記載の顕微鏡システム。
【請求項8】
前記標本画像中に注目領域を設定する注目領域設定手段と、
前記顕微鏡による前記標本の観察倍率を、前記標本画像を取得したときの前記標本の観察倍率よりも高い観察倍率に変更する倍率変更手段と、
前記倍率変更手段によって変更された観察倍率で、前記注目領域を撮像した注目領域画像を取得する注目領域画像取得手段と、
を備えることを特徴とする請求項1〜7のいずれか1つに記載の顕微鏡システム。
【請求項9】
前記複数の色素は、所定の標的分子の発現を標識することによって前記標本を染色する分子標的用色素を含み、
前記注目領域設定手段は、前記分子標的用色素によって標識されている前記標的分子の高発現部位を抽出し、前記注目領域として設定することを特徴とする請求項8に記載の顕微鏡システム。
【請求項10】
前記注目領域設定手段は、前記標本画像中から低輝度部位を抽出し、前記注目領域として設定することを特徴とする請求項8に記載の顕微鏡システム。
【請求項11】
前記注目領域画像取得手段は、前記対物レンズの光軸方向に沿って前記標本と前記対物レンズとの相対距離を変化させながら、前記注目領域を撮像した複数の注目領域画像を取得することを特徴とする請求項8〜10のいずれか1つに記載の顕微鏡システム。
【請求項12】
前記画像取得手段は、前記標本を撮像する際の露光条件を段階的に設定する露光条件設定手段を有し、前記露光条件設定手段によって設定された露光条件に従って前記標本画像を取得することを特徴とする請求項1〜11のいずれか1つに記載の顕微鏡システム。
【請求項13】
前記画像取得手段によって取得された前記標本画像の明るさを判定する明るさ判定手段を備え、
前記露光条件設定手段は、前記明るさ判定手段によって判定された明るさに応じて前記露光条件の段階的な設定を行うことを特徴とする請求項12に記載の顕微鏡システム。
【請求項14】
前記露光条件設定手段は、前記画像取得手段によって取得された前記標本画像を構成する画素に対応する標本上の位置が所定の色素によって染色されている場合に、前記露光条件の段階的な設定を行うことを特徴とする請求項12または13に記載の顕微鏡システム。
【請求項15】
前記露光条件設定手段は、前記画像取得手段によって取得された前記標本画像を構成する画素に対応する標本上の位置が所定の色素によって染色されている場合であって、前記標本画像において前記染色されている位置が占める面積が所定の面積以上である場合に、前記露光条件の段階的な設定を行うことを特徴とする請求項12〜14のいずれか1つに記載の顕微鏡システム。
【請求項16】
顕微鏡を用い、複数の色素によって多重染色された標本を撮像した標本画像を取得する画像取得工程と、
前記標本画像の画素毎に、対応する標本上の位置を染色している色素毎の色素量を取得する色素量取得工程と、
前記複数の色素の中から表示対象色素を選択する色素選択工程と、
前記標本画像の各画素における前記表示対象色素の色素量をもとに、前記表示対象色素による前記標本の染色状態を表した表示画像を生成する表示画像生成工程と、
前記表示画像を表示部に表示する処理を行う表示処理工程と、
を含むことを特徴とする標本観察方法。
【請求項17】
コンピュータに、
顕微鏡に対する動作指示を用い、複数の色素によって多重染色された標本を撮像した標本画像を取得する画像取得ステップと、
前記標本画像の画素毎に、対応する標本上の位置を染色している色素毎の色素量を取得する色素量取得ステップと、
前記複数の色素の中から表示対象色素を選択する色素選択ステップと、
前記標本画像の各画素における前記表示対象色素の色素量をもとに、前記表示対象色素による前記標本の染色状態を表した表示画像を生成する表示画像生成ステップと、
前記表示画像を表示部に表示する処理を行う表示処理ステップと、
を実行させることを特徴とするプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate

【図22】
image rotate

【図23】
image rotate

【図24】
image rotate

【図25】
image rotate

【図26】
image rotate

【図27】
image rotate

【図28】
image rotate

【図29】
image rotate

【図30】
image rotate

【図31】
image rotate

【図32】
image rotate

【図16】
image rotate

【図17】
image rotate


【公開番号】特開2010−134195(P2010−134195A)
【公開日】平成22年6月17日(2010.6.17)
【国際特許分類】
【出願番号】特願2008−310136(P2008−310136)
【出願日】平成20年12月4日(2008.12.4)
【出願人】(000000376)オリンパス株式会社 (11,466)
【出願人】(000173588)財団法人癌研究会 (34)
【Fターム(参考)】