医療診断支援装置、画像処理方法、画像処理プログラム、およびバーチャル顕微鏡システム
【課題】癌や遺伝子疾患に関連する染色体異数性や遺伝子増幅などを容易かつ精度良く判別できる医療診断支援情報を取得できる医療診断支援装置を提供する。
【解決手段】２以上の染色方法で染色された標本を透過光で撮像した染色標本画像から医療診断支援情報を取得する医療診断支援装置であって、染色標本画像の画素値に基づいて各染色の特徴量を取得する染色特徴量取得手段142と、取得された各染色の特徴量に基づいて標識を強調する標識強調手段143と、標識が強調された特徴量に基づいて各染色の標識を抽出する標識抽出手段144と、抽出された各染色の標識に基づいて標識状態を判定する標識状態判定手段145と、その判定結果に基づいて標識状態を強調して表示する標識状態強調表示手段147,130と、を備える。
【解決手段】２以上の染色方法で染色された標本を透過光で撮像した染色標本画像から医療診断支援情報を取得する医療診断支援装置であって、染色標本画像の画素値に基づいて各染色の特徴量を取得する染色特徴量取得手段142と、取得された各染色の特徴量に基づいて標識を強調する標識強調手段143と、標識が強調された特徴量に基づいて各染色の標識を抽出する標識抽出手段144と、抽出された各染色の標識に基づいて標識状態を判定する標識状態判定手段145と、その判定結果に基づいて標識状態を強調して表示する標識状態強調表示手段147,130と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、染色標本を撮像した染色標本画像から医療診断支援情報を取得する医療診断支援装置、画像処理方法、画像処理プログラム、およびバーチャル顕微鏡システムに関するものである。
【背景技術】
【０００２】
被写体に固有の物理的性質を表す物理量の一つに分光透過率スペクトルがある。分光透過率は、各波長における入射光に対する透過光の割合を表す物理量であり、照明光の変化に依存するＲＧＢ値等の色情報とは異なり、外因的影響によって値が変化しない物体固有の情報である。このため、分光透過率は、被写体自体の色を再現するための情報として様々な分野で利用されている。例えば、生体組織標本、特に病理標本を用いた病理診断の分野では、標本を撮像した画像の解析に分光特性値の一例として分光透過率が利用されている。
【０００３】
病理診断では、臓器摘出によって得たブロック標本や針生検によって得た病理標本を、厚さ数ミクロン程度に薄切りした後、様々な所見を得るために顕微鏡を用いて拡大観察することが広く行われている。なかでも光学顕微鏡を用いた透過観察は、機材が比較的安価で取り扱いが容易である上、歴史的に古くから行われてきたこともあって、最も普及している観察方法の一つである。この場合、薄切りされた標本は、光を殆ど吸収および散乱せず無色透明に近いため、観察に先立って色素による染色を施すのが一般的である。
【０００４】
染色手法としては、種々のものが提案されており、その総数は１００種類以上にも達するが、特に病理標本に関しては、色素として青紫色のヘマトキシリンと赤色のエオジンの２つを用いるヘマトキシリン−エオジン染色（以下、「ＨＥ染色」と称す）が標準的に用いられている。
【０００５】
ヘマトキシリンは、植物から採取された天然の物質であり、それ自身には染色性はない。しかし、その酸化物であるヘマチンは、好塩基性の色素であり、負に帯電した物質と結合する。細胞核に含まれるデオキシリボ核酸（ＤＮＡ）は、構成要素として含むリン酸基によって負に帯電しているため、ヘマチンと結合して青紫色に染色される。なお、前述の通り、染色性を有するのはヘマトキシリンではなく、その酸化物であるヘマチンであるが、色素の名称としてはヘマトキシリンを用いるのが一般的であるため、以下それに従う。
【０００６】
一方、エオジンは、好酸性の色素であり、正に帯電した物質と結合する。アミノ酸やタンパク質が正負どちらに帯電するかは、ｐＨ環境に影響を受け、酸性下では正に帯電する傾向が強くなる。このため、エオジン溶液に酢酸を加えて用いることがある。細胞質に含まれるタンパク質は、エオジンと結合して赤から薄赤に染色される。
【０００７】
ＨＥ染色後の標本（染色標本）では、細胞核や骨組織等が青紫色に、細胞質や結合組織、赤血球等が赤色に染色され、容易に視認できるようになる。この結果、観察者は、細胞核等の組織を構成する要素の大きさや位置関係等を把握でき、標本の状態を形態学的に判断することが可能となる。
【０００８】
染色された標本の観察は、観察者の目視によるものの他、この染色された標本をマルチバンド撮像して外部装置の表示画面に表示することによっても行われている。表示画面に表示する場合には、撮像したマルチバンド画像から標本各点の分光透過率を推定する処理や、推定した分光透過率をもとに標本を染色している色素の色素量を推定する処理等が行われ、表示用の標本のＲＧＢ画像である表示画像が合成される。
【０００９】
標本のマルチバンド画像から標本各点の分光透過率を推定する手法としては、例えば、主成分分析による推定法や、ウィナー（Wiener）推定による推定法等が挙げられる。ウィナー推定は、ノイズの重畳された観測信号から原信号を推定する線形フィルタ手法の一つとして広く知られており、観測対象の統計的性質とノイズ（観測ノイズ）の特性とを考慮して誤差の最小化を行う手法である。カメラからの信号には、何らかのノイズが含まれるため、ウィナー推定は原信号を推定する手法として極めて有用である。
【００１０】
以下、標本のマルチバンド画像から表示画像を合成する従来の方法について説明する。
【００１１】
先ず、標本のマルチバンド画像を撮像する。例えば、１６枚のバンドパスフィルタをフィルタホイールで回転させて切り替えながら、面順次方式でマルチバンド画像を撮像する。これにより、標本の各点において１６バンドの画素値を有するマルチバンド画像が得られる。なお、色素は、本来、観察対象となる標本内に３次元的に分布しているが、通常の透過観察系ではそのまま３次元像として捉えることはできず、標本内を透過した照明光をカメラの撮像素子上に投影した２次元像として観察される。したがって、ここでいう各点は、投影された撮像素子の各画素に対応する標本上の点を意味している。
【００１２】
ここで、撮像されたマルチバンド画像の任意の点（画素）ｘについて、バンドｂにおける画素値ｇ（ｘ，ｂ）と、対応する標本上の点の分光透過率ｔ（ｘ，λ）との間には、カメラの応答システムに基づく次式（１）の関係が成り立つ。
【００１３】
【数１】
【００１４】
式（１）において、λは波長、ｆ（ｂ，λ）はｂ番目のフィルタの分光透過率、ｓ（λ）はカメラの分光感度特性、ｅ（λ）は照明の分光放射特性、ｎ（ｂ）はバンドｂにおける観測ノイズをそれぞれ表す。ｂはバンドを識別する通し番号であり、ここでは１≦ｂ≦１６を満たす整数値である。実際の計算では、式（１）を波長方向に離散化した次式（２）が用いられる。
G(x)=FSET(x)＋N ・・・（２）
【００１５】
式（２）において、波長方向のサンプル点数をＤ、バンド数をＢ（ここではＢ＝１６）とすれば、Ｇ（ｘ）は、点ｘにおける画素値ｇ（ｘ，ｂ）に対応するＢ行１列の行列である。同様に、Ｔ（ｘ）は、ｔ（ｘ，λ）に対応するＤ行１列の行列、Ｆは、ｆ（ｂ，λ）に対応するＢ行Ｄ列の行列である。一方、Ｓは、Ｄ行Ｄ列の対角行列であり、対角要素がｓ（λ）に対応している。同様に、Ｅは、Ｄ行Ｄ列の対角行列であり、対角要素がｅ（λ）に対応している。Ｎは、ｎ（ｂ）に対応するＢ行１列の行列である。なお、式（２）では、行列を用いて複数のバンドに関する式を集約しているため、バンドを表す変数ｂが記述されていない。また、波長λに関する積分は、行列の積に置き換えられている。
【００１６】
ここで、表記を簡単にするため、次式（３）で定義される行列Ｈを導入する。この行列Ｈはシステム行列とも呼ばれる。
H=FSE ・・・（３）
【００１７】
よって、式（３）は、次式（４）に置き換えられる。
G(x)=HT(x)＋N ・・・（４）
【００１８】
次に、ウィナー推定を用いて、撮像したマルチバンド画像から標本各点における分光透過率を推定する。分光透過率の推定値（分光透過率データ）Ｔ＾（ｘ）は、次式（５）で計算することができる。なお、Ｔ＾は、Ｔの上に推定値を表す記号「＾（ハット）」が付いていることを示す。
【００１９】
【数２】
【００２０】
ここで、Ｗは次式（６）で表され、「ウィナー推定行列」あるいは「ウィナー推定に用いる推定オペレータ」と呼ばれる。
Ｗ＝ＲＳＳＨｔ（ＨＲＳＳＨｔ＋ＲＮＮ）−１ ・・・（６）
ただし、（）ｔ：転置行列、（）−１：逆行列
【００２１】
式（６）において、ＲＳＳは、Ｄ行Ｄ列の行列であり、標本の分光透過率の自己相関行列を表す。また、ＲＮＮは、Ｂ行Ｂ列の行列であり、撮像に使用するカメラのノイズの自己相関行列を表す。
【００２２】
このようにして分光透過率データＴ＾（ｘ）を推定したら、次に、このＴ＾（ｘ）をもとに対応する標本上の点（標本点）における色素量を推定する。推定の対象とする色素は、ヘマトキシリン、細胞質を染色したエオジン、赤血球を染色したエオジンまたは染色されていない赤血球本来の色素の３種類であり、それぞれ色素Ｈ，色素Ｅ，色素Ｒと略記する。なお、厳密には、染色を施さない状態であっても、赤血球はそれ自身特有の色を有しており、ＨＥ染色後は、赤血球自身の色と染色過程において変化したエオジンの色が重畳して観察される。このため、正確には両者を併せたものを色素Ｒと呼称する。
【００２３】
一般に、光を透過する物質では、波長λ毎の入射光の強度Ｉ0（λ）と射出光の強度Ｉ（λ）との間に、次式（７）で表されるランベルト・ベール（Lambert-Beer）の法則が成り立つことが知られている。
【００２４】
【数３】
【００２５】
式（７）において、ｋ（λ）は波長に依存して決まる物質固有の値、ｄは物質の厚さをそれぞれ表す。
【００２６】
ここで、式（７）の左辺は、分光透過率ｔ（λ）を意味している。したがって、式（７）は次式（８）に置き換えられる。
ｔ（λ）＝ｅ−ｋ（λ）・ｄ ・・・（８）
【００２７】
また、分光吸光度ａ（λ）は次式（９）で表される。
ａ（λ）＝ｋ（λ）・ｄ ・・・（９）
【００２８】
したがって、式（８）は次式（１０）に置き換えられる。
ｔ（λ）＝ｅ−ａ（λ） ・・・（１０）
【００２９】
ここで、ＨＥ染色された標本が、色素Ｈ，色素Ｅ，色素Ｒの３種類の色素で染色されている場合、ランベルト・ベールの法則により各波長λにおいて次式（１１）が成立する。
【００３０】
【数４】
【００３１】
式（１１）において、ｋＨ（λ），ｋＥ（λ），ｋＲ（λ）は、それぞれ色素Ｈ，色素Ｅ，色素Ｒに対応するｋ（λ）を表し、例えば、標本を染色している各色素の色素スペクトル（以下、「基準色素スペクトル」と称す）である。また、ｄＨ，ｄＥ，ｄＲは、マルチバンド画像の各画像位置に対応する標本各点における色素Ｈ，色素Ｅ，色素Ｒの仮想的な厚さを表す。なお、色素は標本中に分散して存在するため、厚さという概念は正確ではないが、標本が単一の色素で染色されていると仮定した場合と比較して、どの程度の量の色素が存在しているかを表す相対的な色素量の指標となる。すなわち、ｄＨ，ｄＥ，ｄＲは、それぞれ色素Ｈ，色素Ｅ，色素Ｒの色素量を表しているといえる。なお、ｋＨ（λ），ｋＥ（λ），ｋＲ（λ）は、色素Ｈ，色素Ｅ，色素Ｒを用いてそれぞれ個別に染色した標本を予め用意し、その分光透過率を分光器で測定することによって、ランベルト・ベールの法則から容易に求めることができる。
【００３２】
ここで、位置ｘにおける分光透過率をｔ（ｘ，λ）とし、分光吸光度をａ（ｘ，λ）とすると、式（９）は次式（１２）に置き換えられる。
ａ（ｘ，λ）＝ｋＨ（λ）・ｄＨ＋ｋＥ（λ）・ｄＥ＋ｋＲ（λ）・ｄＲ ・・・（１２）
【００３３】
そして、式（５）を用いて推定された分光透過率Ｔ＾（ｘ）の波長λにおける推定分光透過率をｔ＾（ｘ，λ）、推定吸光度をａ＾（ｘ，λ）とすると、式（１２）は次式（１３）に置き換えられる。なお、ｔ＾は、ｔの上に記号「＾」が付いていることを示し、ａ＾は、ａの上に記号「＾」が付いていることを示す。
【００３４】
【数５】
【００３５】
式（１３）において、未知変数は、ｄＨ，ｄＥ，ｄＲの３つであるから、少なくとも３つの異なる波長λについて式（１３）を連立させれば、これらを解くことができる。より精度を高めるために、４つ以上の異なる波長λに対して式（１３）を連立させ、重回帰分析を行ってもよい。例えば、３つの波長λ１，λ２，λ３について式（１３）を連立させた場合、次式（１４）のように行列表記できる。
【００３６】
【数６】
【００３７】
ここで、式（１４）を次式（１５）に置き換える。
【００３８】
【数７】
【００３９】
式（１５）において、波長方向のサンプル点数をＤとすれば、Ａ＾（ｘ）は、ａ＾（ｘ，λ）に対応するＤ行１列の行列であり、Ｋは、ｋ（λ）に対応するＤ行３列の行列、ｄ（ｘ）は、点ｘにおけるｄＨ，ｄＥ，ｄＲに対応する３行１列の行列である。なお、Ａ＾は、Ａの上に記号「＾」が付いていることを示す。
【００４０】
そして、式（１５）に従い、最小二乗法を用いて色素量ｄＨ，ｄＥ，ｄＲを算出する。最小二乗法とは、単回帰式において誤差の二乗和を最小にするようにｄ（ｘ）を決定する方法であり、次式（１６）で算出できる。なお、式（１６）において、ｄ＾（ｘ）は、推定された色素量である。
【００４１】
【数８】
【００４２】
以上のようにして標本を染色している色素の色素量を推定したら、その推定した色素量に基づいて、標本の表示画像であるＲＧＢ画像を合成する。
【００４３】
ところで、色素量を用いた病理診断法として、２種類の染料で病理標本を染色し、スペクトル画像から色素量を推定して、２つの色素量の比から癌細胞の有無を判定する方法が知られている（例えば、特許文献１参照）。この病理診断法は、癌細胞と正常細胞とで、２つの色素量の比が明らかに異なる比を示す場合に、癌細胞の検出に適用することができる。しかし、ＨＥ染色は、単に核と細胞質とを染色する染料であり、癌細胞を特異的に染色しない。このため、別途、癌細胞を特異的に染色する染料を施す必要がある。
【００４４】
一方、蛍光観察により、癌や遺伝子疾患に関連する染色体異数性や遺伝子増幅を検出する方法として、Fluorescence In Situ Hybridization（FISH）法が知られている。FISH法においては、標識を蛍光物質や酵素などで標識させ、目的の遺伝子をハイブリダイゼーションさせて蛍光顕微鏡で観察する。また、複数の蛍光で染色された標本から、アンミキシング法を用いて染色毎に画像を分離して観察する方法も知られている（例えば、特許文献２参照）。この特許文献２に開示の観察方法をFISH法に適用すれば、FISH法においては標識が強く発色するので、分離された各染色画像上の標識を容易に視認することが可能となる。
【００４５】
また、明視野観察により、FISH法と同じように癌や遺伝子疾患に関連する染色体異数性や遺伝子増幅を検出する方法として、Chromogenic In Situ Hybridization (CISH)法が知られている。CISH法は、免疫染色のような手順で光学顕微鏡を用いて標識を検出する方法である。このCISH法には、FISH法と比較して以下の利点がある。
【００４６】
（１）標識と形態を同時に観察できる。
（２）標識は非常に安定で、スライドを常温で保存できる。
（３）高価な顕微鏡が必要ない。
【先行技術文献】
【特許文献】
【００４７】
【特許文献１】特表２００１−５２５５８０号公報
【特許文献２】特開２００７−１０３４０号公報
【発明の概要】
【発明が解決しようとする課題】
【００４８】
しかしながら、従来、CISH法を用いて、同一標本に対して複数の染色を行うことは技術的に困難であった。このため、複数の染色を施して観察したい場合は、FISH法が用いられていた。しかし、近年になって、CISH染色法でも、２重に染色を行うDual CISH染色法が提案されるようになった。このDual CISH染色法によると、異なる標識を、例えば、赤・青の２色で染色し、各染色による標識の位置が同じか（正常）、離れているか（転座）で確定診断を行うことができる。
【００４９】
ところが、CISH染色はFISH染色と比較して、標識以外の細胞質も染色される。染色の度合いは各細胞によってバラツキがあり、濃く染色された細胞の細胞質の染色濃度と薄く染色された細胞の標識の染色濃度が同程度となる場合が生じる。このため、標識の判断がFISH法より難しい。特に、Dual CISH染色では、両染色が混ざるため、各染色の標識を容易に判別できず、転座の判断が容易ではなかった。
【００５０】
以上のようなことから、病理診断の分野では、Dual CISH染色法のような明視野観察によって、癌や遺伝子疾患に関連する染色体異数性や遺伝子増幅などを容易かつ精度良く判別できる医療診断支援情報が取得できる技術の開発が望まれている。
【００５１】
本発明は、かかる要望に応えるべくなされたもので、その目的とするは、２以上の染色方法で染色された標本を明視野観察して、癌や遺伝子疾患に関連する染色体異数性や遺伝子増幅などを容易かつ精度良く判別できる医療診断支援情報を取得できる医療診断支援装置、画像処理方法、画像処理プログラム、およびバーチャル顕微鏡システムを提供することにある。
【課題を解決するための手段】
【００５２】
上記目的を達成する医療診断支援装置の発明は、
２以上の染色方法で染色された標本を透過光で撮像した染色標本画像から医療診断支援情報を取得する医療診断支援装置であって、
前記染色標本画像の画素値に基づいて各染色の特徴量を取得する染色特徴量取得手段と、
該染色特徴量取得手段により取得された各染色の特徴量に基づいて標識を強調する標識強調手段と、
該標識強調手段により標識が強調された特徴量に基づいて各染色の標識を抽出する標識抽出手段と、
該標識抽出手段により抽出された各染色の標識に基づいて標識状態を判定する標識状態判定手段と、
該標識状態判定手段による判定結果に基づいて前記標識状態を識別して表示する標識状態識別表示手段と、
を備えることを特徴とするものである。
【００５３】
さらに、上記目的を達成する画像処理方法の発明は、
２以上の染色方法で染色された標本を透過光で撮像した染色標本画像から医療診断支援情報を取得する画像処理方法であって、
前記染色標本画像の画素値に基づいて各染色の特徴量を取得するステップと、
取得された各染色の特徴量に基づいて標識を強調するステップと、
標識が強調された特徴量に基づいて各染色の標識を抽出するステップと、
抽出された各染色の標識に基づいて標識状態を判定するステップと、
判定結果に基づいて前記標識状態を識別して表示するステップと、
を含むことを特徴とするものである。
【００５４】
さらに、上記目的を達成する画像処理プログラムの発明は、
２以上の染色方法で染色された標本を透過光で撮像した染色標本画像から医療診断支援情報を取得する画像処理プログラムであって、
前記染色標本画像の画素値に基づいて各染色の特徴量を取得する処理と、
取得された各染色の特徴量に基づいて標識を強調する処理と、
標識が強調された特徴量に基づいて各染色の標識を抽出する処理と、
抽出された各染色の標識に基づいて標識状態を判定する処理と、
判定結果に基づいて前記標識状態を識別して表示する処理と、
をコンピュータに実行させることを特徴とするものである。
【００５５】
さらに、上記目的を達成するバーチャル顕微鏡システムの発明は、
２以上の染色方法で染色された標本から医療診断支援情報を取得するバーチャル顕微鏡システムであって、
顕微鏡を用いて前記標本を投過光で撮像して染色標本画像を取得する画像取得手段と、
該画像取得手段により取得された染色標本画像の画素値に基づいて各染色の特徴量を取得する染色特徴量取得手段と、
該染色特徴量取得手段により取得された各染色の特徴量に基づいて標識を強調する標識強調手段と、
該標識強調手段により標識が強調された特徴量に基づいて各染色の標識を抽出する標識抽出手段と、
該標識抽出手段により抽出された各染色の標識に基づいて標識状態を判定する標識状態判定手段と、
該標識状態判定手段による判定結果に基づいて前記標識状態を識別して表示する標識状態識別表示手段と、
を備えることを特徴とするものである。
【００５６】
さらに、上記目的を達成する医療診断支援装置の発明は、
２以上の染色方法で染色された標本を透過光で撮像した染色標本画像から医療診断支援情報を取得する医療診断支援装置であって、
前記染色標本画像の画素値に基づいて標識および細胞をそれぞれ強調する対象領域強調手段と、
該対象領域強調手段により強調された標識および細胞を抽出する対象領域抽出手段と、
該対象領域抽出手段により抽出された標識に基づいて、当該対象領域抽出手段により抽出された細胞の細胞状態を判定する細胞状態判定手段と、
該細胞状態判定手段による判定結果に基づいて前記細胞状態を識別して表示する細胞状態識別表示手段と、
を備えることを特徴とするものである。
【００５７】
さらに、上記目的を達成する画像処理方法の発明は、
２以上の染色方法で染色された標本を透過光で撮像した染色標本画像から医療診断支援情報を取得する画像処理方法であって、
前記染色標本画像の画素値に基づいて各染色の特徴量を取得するステップと、
取得された各染色の特徴量に基づいて細胞を強調するステップと、
細胞が強調された特徴量に基づいて細胞を抽出するステップと、
前記取得された各染色の特徴量に基づいて標識を強調するステップと、
標識が強調された特徴量に基づいて各染色の標識を抽出するステップと、
抽出された標識に基づいて抽出された細胞の細胞状態を判定するステップと、
判定結果に基づいて前記細胞状態を識別して表示するステップと、
を含むことを特徴とするものである。
【００５８】
さらに、上記目的を達成する画像処理プログラムの発明は、
２以上の染色方法で染色された標本を透過光で撮像した染色標本画像から医療診断支援情報を取得する画像処理プログラムであって、
前記染色標本画像の画素値に基づいて各染色の特徴量を取得する処理と、
取得された各染色の特徴量に基づいて標識および細胞をそれぞれ強調する処理と、
強調された標識および細胞のそれぞれの特徴量に基づいて標識および細胞を抽出する処理と、
抽出された標識に基づいて抽出された細胞の細胞状態を判定する処理と、
判定結果に基づいて前記細胞状態を識別して表示する処理と、
をコンピュータに実行させることを特徴とするものである。
【００５９】
さらに、上記目的を達成するバーチャル顕微鏡システムの発明は、
２以上の染色方法で染色された標本から医療診断支援情報を取得するバーチャル顕微鏡システムであって、
顕微鏡を用いて前記標本を投過光で撮像して染色標本画像を取得する画像取得手段と、
該画像取得手段により取得された染色標本画像の画素値に基づいて各染色の特徴量を取得する染色特徴量取得手段と、
該染色特徴量取得手段により取得された各染色の特徴量に基づいて標識および細胞をそれぞれ強調する対象領域強調手段と、
該対象領域強調手段により強調された標識および細胞のそれぞれの特徴量に基づいて標識および細胞を抽出する対象領域抽出手段と、
該対象領域抽出手段により抽出された標識に基づいて、当該対象領域抽出手段により抽出された細胞の細胞状態を判定する細胞状態判定手段と、
該細胞状態判定手段による判定結果に基づいて前記細胞状態を識別して表示する細胞状態識別表示手段と、
を備えることを特徴とするものである。
【発明の効果】
【００６０】
本発明によれば、各細胞によってバラツキがあっても、標識のみが識別されて表示されるので、医師等のユーザは、標識を容易に視認することができる。また、陽性な標識状態と陰性な標識状態とが容易に判別できるように表示されるので、医師等のユーザは、標識状態の陽性／陰性を容易に視認することができる。これにより、癌や遺伝子疾患に関連する染色体異数性や遺伝子増幅などを容易かつ精度良く判別することが可能となる。
【００６１】
また、本発明によれば、標識および細胞がそれぞれ強調して抽出され、その抽出された標識に基づいて抽出された細胞の細胞状態を識別されて表示されるので、医師等のユーザは、細胞を容易に視認することができる。また、陽性な細胞状態と陰性な細胞状態とが容易に判別できるように識別されて表示されるので、医師等のユーザは、細胞状態の陽性／陰性を容易に視認することができる。これにより、癌や遺伝子疾患に関連する染色体異数性や遺伝子増幅などを容易かつ精度良く判別することが可能となる。
【図面の簡単な説明】
【００６２】
【図１】本発明の第１実施の形態に係る医療診断支援装置の要部の機能構成を示すブロック図である。
【図２】図１に示した画像取得部の要部の構成を示す模式図である。
【図３】図２に示したＲＧＢカメラに配置されるカラーフィルタの配列例およびＲＧＢ各バンドの画素配列を模式的に示す図である。
【図４】図２に示したＲＧＢカメラの分光感度特性を示す図である。
【図５】図２に示したフィルタ部を構成する一方の光学フィルタの分光透過率特性を示す図である。
【図６】図２に示したフィルタ部を構成する他方の光学フィルタの分光透過率特性を示す図である。
【図７】図１に示した医療診断支援装置の概略動作を示すフローチャートである。
【図８】図７に示す色素量の推定処理を説明するイメージ画像を示す図である。
【図９】図７に示す標識の強調処理を示すフローチャートである。
【図１０】図９に示す処理により標識が強調されたイメージ画像である。
【図１１】図７に示す標識の抽出処理によって得られる標識のイメージ画像を示す図である。
【図１２】図７に示す標識状態の判定処理の一例を示すフローチャートである。
【図１３】図１２に示す両標識の重心間の距離算出処理を説明するための図である。
【図１４】図７に示す標識状態の判定処理の他の例を示すフローチャートである。
【図１５】図１４に示す判定処理による判定例を説明するための図である。
【図１６】図１に示した識別表示指定部によるＧＵＩによる表示モードの指定態様を示す図である。
【図１７】図１に示した医療診断支援装置による染色標識の識別表示態様を示す図である。
【図１８】本発明の第２実施の形態に係る医療診断支援装置による標識間の特徴量の算出方法を説明するための図である。
【図１９】本発明の第３実施の形態に係る医療診断支援装置による標識間の特徴量の算出方法を説明するための図である。
【図２０】本発明の第４実施の形態に係るバーチャル顕微鏡システムを構成する顕微鏡装置の要部の構成を示す図である。
【図２１】図２０に示したホストシステムの要部の構成を示す図である。
【図２２】本発明の第５実施の形態に係る医療診断支援装置の要部の機能構成を示すブロック図である。
【図２３】図２２に示した医療診断支援装置の概略動作を示すフローチャートである。
【図２４】図２２に示した医療診断支援装置による細胞状態の判定例を説明するための図である。
【図２５】図２２に示した医療診断支援装置による細胞状態の識別表示態様を示す図である。
【発明を実施するための形態】
【００６３】
以下、本発明の好適実施の形態について、図を参照して詳細に説明する。
【００６４】
（第１実施の形態）
図１は、本発明の第１実施の形態に係る医療診断支援装置の要部の機能構成を示すブロック図である。この医療診断支援装置は、パーソナルコンピュータ等のコンピュータを含んで構成されるもので、顕微鏡を含む画像取得部１１０、入力部１２０、表示部１３０、演算部１４０、記憶部１５０、および各部を制御する制御部１６０を備える。
【００６５】
画像取得部１１０は、対象の染色標本（以下、「対象標本」と称す）の顕微鏡によるマルチバンド画像（ここでは、６バンド画像）を取得するもので、図２に要部の構成を模式的に示すように、ＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子等を備えたＲＧＢカメラ１１１、対象標本Ｓが載置される標本保持部１１２、標本保持部１１２上の対象標本Ｓを透過照明する照明部１１３、対象標本Ｓからの透過光を集光して結像させる顕微鏡対物レンズを含む光学系１１４、結像する光の波長帯域を所定範囲に制限するためのフィルタ部１１５を備える。
【００６６】
ＲＧＢカメラ１１１は、例えばデジタルカメラ等で広く用いられているもので、モノクロの撮像素子上に、例えば図３（ａ）に示すようなベイヤー配列のＲＧＢのカラーフィルタ１１６が配置された単板式のものを用いる。このＲＧＢカメラ１１１は、撮像される画像の中心が照明光の光軸上に位置するように設置される。このＲＧＢカメラ１１１の場合、各画素は、図３（ｂ）に示すように、Ｒ，Ｇ，Ｂいずれかの成分しか撮像することはできないが、近傍の画素値を利用することで、不足するＲ，Ｇ，Ｂ成分が補間される。この手法は、例えば特許第３５１００３７号公報において公知である。
【００６７】
なお、ＲＧＢカメラ１１１は、３ＣＣＤタイプ（３板式）のカメラを使用すれば、最初から各画素におけるＲ，Ｇ，Ｂ成分を取得できる。本実施の形態では、単板式または３板式のいずれを用いても構わないが、以下ではＲＧＢカメラ１１１で撮像された画像の各画素においてＲ，Ｇ，Ｂ成分が取得できているものとする。また、ＲＧＢカメラ１１１は、照明部１１３からの照明光を、光学系１１４を介して撮像する際、図４に示すような、Ｒ，Ｇ，Ｂの各バンドの分光感度特性を有するものとする。
【００６８】
本実施の形態では、図４に示した分光感度特性を有するＲＧＢカメラ１１１を用いて６バンドの画像を取得するため、フィルタ部１１５に、回転式のフィルタ切り替え部１１７を設け、このフィルタ切り替え部１１７に、Ｒ，Ｇ，Ｂの各バンドの透過波長領域を２分するように、それぞれ異なる分光透過率特性を有する２枚の光学フィルタ１１８ａ，１１８ｂを保持する。図５は、この場合の一方の光学フィルタ１１８ａの分光透過率特性を示し、図６は、他方の光学フィルタ１１８ｂの分光透過率特性を示す。
【００６９】
そして、制御部１６０により、先ず、例えば光学フィルタ１１８ａを、照明部１１３からＲＧＢカメラ１１１に至る光路上に位置させて、照明部１１３により標本保持部１１２上に載置された対象標本Ｓを照明し、その透過光を光学系１１４および光学フィルタ１１８ａを経てＲＧＢカメラ１１１の撮像素子上に結像させて第１の撮像を行う。次いで、制御部１６０により、フィルタ切り替え部１１７を回転させて、光学フィルタ１１８ｂを照明部１１３からＲＧＢカメラ１１１に至る光路上に位置させて、同様にして第２の撮像を行う。
【００７０】
これにより、第１の撮像および第２の撮像でそれぞれ異なる３バンドの画像を得て、合計で６バンドのマルチバンド画像を得る。なお、フィルタ部１１５に設ける光学フィルタの数は２枚に限定されるものではなく、３枚以上の光学フィルタを用いて、さらに多くのバンドの画像を得ることも可能である。
【００７１】
上記の画像取得部１１０で取得された対象標本Ｓのマルチバンド画像（以下、「対象標本画像」と称す）は、マルチバンド画像データとして記憶部１５０に格納される。
【００７２】
入力部１２０は、例えば、キーボードやマウス、タッチパネル、各種スイッチ等の各種入力装置によって実現されるものであり、操作入力に応じた入力信号を制御部１６０に出力する。
【００７３】
表示部１３０は、ＬＣＤ（Liquid Crystal Display）やＥＬ（Electro Luminescence）ディスプレイ、ＣＲＴ（Cathode Ray Tube）ディスプレイ等の表示装置によって実現されるものであり、制御部１６０から入力される表示信号をもとに各種画面を表示する。
【００７４】
演算部１４０は、画像再構成部１４１、染色特徴量取得部１４２、標識強調部１４３、標識抽出部１４４、標識状態判定部１４５、標識状態識別部１４６、および標本陽性判定部１４７を有する。染色特徴量取得部１４２は、スペクトル推定部１４２ａを含む色素量推定部１４２ｂを有する。標識強調部１４３は、フィルタサイズ設定部１４３ａ、平滑化処理部１４３ｂおよび差分特徴量算出部１４３ｃを有する。標識状態判定部１４５は、標識間特徴量算出部１４５ａおよび標識陽性判定部１４５ｂを有する。また、標識状態識別部１４６は、識別表示指定部１４６ａを有する。この演算部１４０は、ＣＰＵ等のハードウェアによって実現される。
【００７５】
記憶部１５０は、更新記憶可能なフラッシュメモリ等のＲＯＭやＲＡＭといった各種ＩＣメモリ、内蔵あるいはデータ通信端子で接続されたハードディスク、ＣＤ−ＲＯＭ等の情報記憶媒体およびその読取装置等によって実現されるものである。この記憶部１５０には、本実施の形態に係る医療診断支援装置を動作させて、この医療診断支援装置が備える種々の機能を実現するための画像処理プログラム１５１や、このプログラムの実行中に使用されるデータ等が格納される。
【００７６】
制御部１６０は、入力部１２０から入力される入力信号や画像取得部１１０から入力される画像データ、記憶部１５０に格納されているプログラムやデータ等に基づいて医療診断支援装置を構成する各部への指示やデータの転送等を行い、全体の動作を統括的に制御する。また、制御部１６０は、画像取得部１１０の動作を制御して対象標本画像を取得する画像取得制御部１６１を含む。この制御部１６０は、ＣＰＵ等のハードウェアによって実現される。
【００７７】
以下、本実施の形態に係る医療診断支援装置の動作について、Dual CISH染色法により、赤色（Ｒ）と青色（Ｂ）とに染色された標本をマルチバンド撮像して医療診断支援情報を得る場合を例にとって説明する。なお、ここで説明する処理は、記憶部１５０に格納された画像処理プログラム１５１に従って医療診断支援装置の各部が動作することにより実現される。
【００７８】
図７は、本実施の形態に係る医療診断支援装置の概略動作を示すフローチャートである。先ず、制御部１６０は、画像取得制御部１６１により画像取得部１１０の動作を制御して対象標本Ｓをマルチバンド撮像し、その各バンドの対象標本画像を取得する（ステップＳ１０１）。この対象標本画像の画像データは、記憶部１５０に格納される。
【００７９】
本実施の形態では、各バンドの対象標本画像を、例えば、深度の異なる複数枚の画像から再構成して取得する。このため、図２において、対象標本Ｓに対する光学系１１４のフォーカス位置（深度）を変更しながら、各深度で対象標本Ｓをマルチバンド撮像して、深度の異なる画像データを記憶部１５０に格納する。ここで、マルチバンド撮像する深度単位は、細胞核の直径が５〜１０μｍであるから、例えば、１μｍ単位とする。
【００８０】
そして、画像再構成部１４１により、記憶部１５０に格納されている深度の異なる複数枚の画像データに基づいて、各バンドの対象標本画像を再構成して取得する。なお、画像再構成部１４１は、例えば、深度の異なる複数枚の画像データから各領域で焦点が合うように画像を再構成するか（例えば、特開２００５−３７９０２号公報参照）、あるいは、深度の異なる複数枚の画像データを平均して画像を再構成する。
【００８１】
このように、対象標本Ｓの深度の異なるマルチバンド画像を撮像して、その深度の異なる複数枚の画像データに基づいて、各バンドの対象標本画像を再構成して取得すれば、深度の異なる細胞核をより反映した画像を得ることができる。
【００８２】
各バンドの対象標本画像を取得したら、制御部１６０は、次に、染色特徴量取得部１４２により、各バンドの対象標本画像の各画素における各染色の特徴量を取得し、その特徴量に基づいて染色毎の分離画像（染色分離画像）を作成する。ここで、各染色の特徴量には、（１）各染色の色素量、（２）任意のバンドの画素値、すなわち任意の波長帯域の照明光で撮像した染色標本画像の画素値、（３）色相等の任意の数式で変換した画像の特徴量、（４）リニア・アンミキシングで算出した特徴量、等があり、いずれの特徴量を取得してもよい。本実施の形態では、各染色の特徴量として、（１）の色素量を取得する。以下、画素値からスペクトルを推定し、スペクトルから各染色の色素量を推定して、色素量に基づいて染色分離画像を作成する処理を説明する。
【００８３】
先ず、スペクトル推定部１４２ａにより、ステップＳ１０１で取得した対象標本画像の画素値をもとに、対象標本のスペクトル（分光透過率）を推定する（ステップＳ１０３）。そして、上述した式（５）に従って、対象標本画像の推定対象画素である任意の点ｘにおける画素の画素値の行列表現Ｇ（ｘ）から、対応する対象標本の標本点における分光透過率の推定値Ｔ＾（ｘ）を推定する。得られた分光透過率の推定値Ｔ＾（ｘ）は、記憶部１５０に格納する。
【００８４】
次に、色素量推定部１４２ｂにより、ステップＳ１０３で推定した分光透過率の推定値Ｔ＾（ｘ）に基づいて、対象標本の色素量を推定する（ステップＳ１０５）。ここで、色素量推定部１４２ｂは、対象標本の染色に用いた染色方法の各色素の基準分光特性に基づいて、対象標本画像の任意の点ｘに対応する標本点における各染色方法の色素量を推定する。具体的には、対象標本画像の点ｘにおける分光透過率の推定値Ｔ＾（ｘ）に基づいて、点ｘに対応する対象標本の標本点に固定されたそれぞれの色素量を推定する。すなわち、上述した式（１６）に従って、ｄ＾Ｒ，ｄ＾Ｂについて解く。推定された対象標本画像の点ｘにおける色素量ｄ＾Ｒ，ｄ＾Ｂは、記憶部１５０に格納される。これにより、例えば、図８（ａ）に示すような原画像から、図８（ｂ）に示す色素量ｄ＾Ｒの画像および図８（ｃ）に示す色素量ｄ＾Ｂの画像がそれぞれ得られる。なお、図８（ａ）〜（ｃ）は、イメージ画像で、背景の右上がり斜線は薄く赤みかかった部分を表し、右下がり斜線は薄く青みかかった部分を表している。
【００８５】
以上により、各染色の特徴量を取得して染色分離画像を作成したら、次に、標識強調部１４３により、ステップＳ１０５で推定した各染色の特徴量すなわち色素量に基づいて、各染色分離画像における標識を強調する（ステップＳ１０７）。以下、図９に示すフローチャートを参照して、着目画素における染色の特徴量と近傍画素における染色の特徴量とに基づいて、標識を強調する場合の処理を説明する。
【００８６】
先ず、フィルタサイズ設定部１４３ａにより２つの異なるフィルタサイズを設定する（ステップＳ２０１）。ここで、一方のフィルタサイズは、１すなわち着目画素のみに設定し、他方のフィルタサイズは標識と同サイズに設定する。次に、２つのフィルタサイズそれぞれを用いて、平滑化処理部１４３ｂにより、染色の特徴量に平滑化処理を行う（ステップＳ２０３）。平滑化処理は、ガウシアンフィルタ、メディアンフィルタ、平均値フィルタ、ローパスフィルタのいずれを用いてもよい。その後、差分特徴量算出部１４３ｃにより、平滑化処理により算出した２つの特徴量の差分を算出する（ステップＳ２０５）。
【００８７】
ここで、平滑化処理部１４３ｂにおいて、大きいサイズのフィルタを用いて平滑化すると、細胞内の構造による染色のバラツキが平滑化されるので、各細胞による染色のバラツキを示す特徴量が算出される。これに対し、小さいサイズのフィルタを用いて平滑化すると、細胞内の構造による染色のバラツキと各細胞による染色のバラツキとの両方を含む特徴量が算出される。また、両フィルタによる平滑化により、ＲＧＢカメラ１１１の撮像素子によるセンサノイズも低減される。したがって、差分特徴量算出部１４３ｃにおいて、両特徴量の差分を求めると、細胞内の構造による染色のバラツキ、つまり、所望のエッジである標識のみを強調できる。
【００８８】
フィルタサイズ設定部１４３ａによる２つの異なるフィルタサイズは、上述したように標識のみが強調されるように、入力部１２０を介して適切に設定する。なお、標識は、顕微鏡の倍率によって画像上におけるサイズが異なるので、少なくとも一方のフィルタサイズは顕微鏡の倍率に応じて適宜調整する。差分特徴量算出部１４３ｃにより算出された２つの特徴量の差分は、標識が強調された特徴量（色素量）として記憶部１５０に格納される。これにより、図１０（ａ）に示すように、背景の赤みかかった部分が低減されて標識が強調された色素量ｄ＾Ｒの画像が得られるとともに、図１０（ｂ）に示すように、背景の青みかかった部分が低減されて標識が強調された色素量ｄ＾Ｂの画像が得られる。なお、図１０（ａ）は図８（ｂ）に対応するイメージ画像であり、図１０（ｂ）は図８（ｃ）に対応するイメージ画像である。
【００８９】
図７において、ステップＳ１０７による標識の強調処理が終了したら、次に、標識が強調された特徴量に基づいて、標識抽出部１４４により各染色の標識を抽出する（ステップＳ１０９）。ここでは、染色毎に所定の閾値（第１の閾値）を用い、各染色分離画像から対応する第１の閾値と特徴量との比較に基づいて標識を抽出する。この標識抽出部１４４で抽出された標識データは、記憶部１５０に格納される。これにより、図１１（ａ）に示すような色素量ｄ＾Ｒに基づく標識の画像と、図１１（ｂ）に示すような色素量ｄ＾Ｂに基づく標識の画像とが得られる。なお、図１１（ａ）は図１０（ａ）に対応するイメージ画像であり、図１１（ｂ）は図１０（ｂ）に対応するイメージ画像である。
【００９０】
ここで、標識を抽出するための染色毎の第１の閾値は、標本の染色状態に関わらず一義的に設定するか、あるいは、任意のアルゴリズムにより標本の染色状態に応じて適応的に設定する。アルゴリズムにより適応的に設定する場合は、例えば、非階層型クラスタリング手法の単純な手法であるK-means（K平均法とも呼ぶ）を用いて算出する。K-meansは、クラスタの平均を用い、与えられたクラスタ数Ｋ個に分類する。K-meansは、一般には、以下のような流れで実行される。
【００９１】
（１）データの数をｎ、クラスタの数をＫとしておく。
（２）各データに対してランダムにクラスタを割り振る。
（３）割り振ったデータをもとに各クラスタの中心を計算する。計算は通常割り当てられたデータの各要素の平均が使用される。
（４）各データと各クラスタの中心との距離を求めて、当該データを最も近い中心のクラスタに割り当て直す。
（５）上記の処理で全てのデータのクラスタの割り当てが変化しなかった場合は処理を終了する。それ以外の場合は新しく割り振られたクラスタから各クラスタの中心を再計算して上記の処理を繰り返す。
【００９２】
K-meansによる結果は、最初のクラスタのランダムな割り振りに大きく依存するので、例えば、特徴量の最小値から最大値の範囲を均等に分割してクラスタを割り振ってもよい。これにより、結果を常に同等の値に収束させることができる。そして、いずれかのクラスタの平均値を閾値とする。クラスタ数や何番目のクラスタの平均値を閾値とするかは、適宜設定する。以上により、標本の染色状態に応じた適切な閾値が設定される。
【００９３】
各染色の標識を抽出したら、次に、標識状態判定部１４５により標識状態を判定する（ステップＳ１１１）。この標識状態判定処理では、先ず、標識間特徴量算出部１４５ａにより、各染色分離画像を重畳（合成）した状態で、各染色の標識データから異なる染色の標識間の特徴量を算出する。本実施の形態では、この標識間の特徴量として、異なる両標識の重心間距離を用いる。
【００９４】
以下、異なる両標識の重心間の距離を用いる標識状態判定処理の一例について、図１２に示すフローチャートを参照して説明する。先ず、次式（１７）により、各標識の重心を求める（ステップＳ３０１）。
【００９５】
【数９】
【００９６】
次に、下式（１８）により、異なる両標識の重心間の距離を求める（ステップＳ３０３）。図１３は、式（１８）により算出される標識Ｉ，Ｊの重心間の距離distanceijの一例を示す。
【００９７】
【数１０】
【００９８】
その後、標識状態判定部１４５は、両標識の重心間の距離に基づいて標識状態を判定する。そのため、例えば、両標識の重心間の距離を所定の閾値（第２の閾値）と比較する（ステップＳ３０５）。その結果、第２の閾値以下である場合、当該標識対を正常と判定する（ステップＳ３０７）。これに対し、一方の染色における任意の標識と、他方の染色における全標識との重心間の距離が、第２の閾値を満たさない場合、すなわち第２の閾値を超える場合は、当該任意の標識を転座と判定する（ステップＳ３０９）。これにより、全標識は、２標識の標識対で構成される正常状態と、１標識のみで構成される転座状態とのいずれかに判定される。なお、両標識の重心間の距離は、顕微鏡の倍率によって画像上における距離が異なるので、第２の閾値は、例えば、次式（１９）に従って顕微鏡の倍率に応じて適切に調整する。
【００９９】
【数１１】
【０１００】
なお、両標識の重心間の距離を用いる標識状態の判定処理は、図１２に限らず、図１４に示すフローチャートに従って実行することもできる。図１４において、各標識の重心を算出して（ステップＳ４０１）、両標識の重心間の距離を求める（ステップＳ４０３）までは、図１２のステップＳ３０１〜Ｓ３０３と同様である。その後、標識状態判定部１４５は、例えば、一方の染色における任意の標識が他方の染色における２以上の標識に対して、両標識の重心間の距離が第３の閾値を満たすか否かを判定する（ステップＳ４０５）。その結果、満たす（Yes）場合は、次式（２０）により両標識の重心間の距離が最小となる標識対を正常と判定し、それ以外の標識を転座と判定する（ステップＳ４０７）。図１５は、この場合の判定例を説明するための図である。図１５において、標識Ｉ，Ｊの重心間の距離distanceij、標識Ｉ，Ｋの重心間の距離distanceiｋj、標識Ｉ，Ｌの重心間の距離distanceiｌ、がそれぞれ第３の閾値を満たす場合、重心間の距離が最小の標識Ｉ，Ｊの対が正常と判定され、他の標識Ｋ，Ｌは転座と判定される。
【０１０１】
【数１２】
【０１０２】
これに対し、ステップＳ４０５において、一方の染色における任意の標識が他方の染色における２以上の標識に対して、両標識の重心間の距離が第３の閾値を満たさない（No）場合は、他方の染色における１つの標識に対して、両標識の重心間の距離が第３の閾値を満たすか否かを判定する（ステップＳ４０９）。その結果、満たす場合は、上述した判定処理の場合と同様に、当該標識対を正常と判定する（ステップＳ４１１）。これに対し一方の染色における任意の標識と、他方の染色における全標識との重心間の距離が、第３の閾値を満たさない場合は、当該任意の標識を転座と判定する（ステップＳ４１３）。これにより、全標識は、上述した判定処理の場合と同様に、２標識の標識対で構成される正常状態と、１標識のみで構成される転座状態とのいずれかに判定される。なお、両標識の重心間の距離は、顕微鏡の倍率によって画像上における距離が異なるので、第３の閾値は、例えば、上式（１９）に従って顕微鏡の倍率に応じて適切に調整する。この第３の閾値は、上述した判定処理における第２の閾値と同じとすることもできる。
【０１０３】
図７において、ステップＳ１１１により、上述したようにして判定された標識状態の判定結果は、記憶部１５０に格納される。その後、標識陽性判定部１４５ｂは、標識状態の判定結果に基づいて、２標識の標識対で構成される正常状態の場合を陰性、１標識のみで構成される転座状態の場合を陽性と判定して、その陽性判定結果を記憶部１５０に格納する。
【０１０４】
以上により、標識状態判定部１４５による判定処理が終了したら、次に、標識状態識別部１４６により、識別表示指定部１４６ａに指定されている表示モードに応じて、標識状態を、染色を特徴的に表す原色、パターンやテクスチャー、あるいは半透明な色で識別して表示部１３０に表示する（ステップＳ１１３）。したがって、本実施の形態において、標識状態識別部１４６および表示部１３０は、標識状態識別表示手段を構成している。なお、識別表示指定部１４６ａにより表示モードを指定するにあたっては、制御部１６０の制御のもとに、例えば、図１６に示すように、表示部１３０にグラフィカルユーザーインターフェース（ＧＵＩ）により「陽性」ボタン１７１および「陰性」ボタン１７２を表示させて、ユーザにより入力部１２０を介して所望のボタンを選択させる。
【０１０５】
そして、例えば、「陽性」ボタン１７１が選択された場合は、陽性表示モードを指定して、図１７（ａ）に示すように、陽性な標識のみを識別して表示させ、「陰性」ボタン１７２が選択された場合は、陰性表示モードを指定して、図１７（ｂ）に示すように、陰性な標識対のみを識別して表示させ、「陽性」ボタン１７１および「陰性」ボタン１７２の両方が選択された場合は、全表示モードを指定して、図１７（ｃ）に示すように、陽性な標識および陰性な標識対の両方を識別して表示させる。
【０１０６】
なお、図１７（ｃ）に示す全表示モードの場合は、図１７（ｄ）に示すように、陽性な標識と陰性な標識対とを異なる色の破線等で囲むように表示してもよい。また、図１７（ｅ）に示すように、陽性な標識と陰性な標識対とをそれぞれ異なる色で識別して表示してもよい。例えば、各染色の陽性な標識をともに赤色（図では白抜き）に、陰性な標識対の２標識をともに青色（図では黒塗り）に表示してもよい。
【０１０７】
また、後述するように、例えば、対象標本Ｓの陽性判定を行う場合は、図１７（ｆ）に示すように、標識対の重畳部分を異なる色で表示してもよい。例えば、ある染色による標識を青色、もう一方の染色による標識を赤色、両染色による標識の重畳部分を緑色（図では黒塗り）に表示する。
【０１０８】
その後、標本陽性判定部１４７により、対称標本Ｓが陽性か否かを判定する。この標本陽性判定においては、例えば、標識状態判定部１４５で判定された陽性な標識対と陰性な標識との比率を、次式（２１）で算出する。
【０１０９】
【数１３】
【０１１０】
あるいは、標識抽出部１４４で抽出された各染色の全標識の画素のうち、他方の染色の標識の画素と重畳している比率を、次式（２２）で算出する。
【０１１１】
【数１４】
【０１１２】
そして、上式（２１）または（２２）で算出された標本の陽性度と、所定の閾値との比較に基づいて、対象標本Ｓが陽性か否かを判定して、その結果を記憶部１５０に格納する。あるいは、上記の標本の陽性度を、そのまま対象標本Ｓの病状を表す参考値として、記憶部１５０に格納してもよい。
【０１１３】
本実施の形態に係る医療診断支援装置によれば、各細胞によってバラツキがあっても、Dual CISH染色法により染色された標識のみが識別されて表示されるので、医師等のユーザは、標識を容易に視認することができる。また、陽性な標識状態と陰性な標識状態とが容易に判別できるように識別されて表示されるので、医師等のユーザは、標識状態の陽性／陰性を容易に視認することができる。これにより、癌や遺伝子疾患に関連する染色体異数性や遺伝子増幅などを容易かつ精度良く判別することが可能となる。
【０１１４】
なお、上記実施の形態では、対象標本Ｓを各深度でマルチバンド撮像して得た複数枚の画像データに基づいて、画像再構成部１４１により各バンドの対象標本画像を再構成して取得したが、画像再構成部１４１を省略し、画像を再構成することなく、対象標本Ｓを所定の深度でマルチバンド撮像して各バンドの対象標本画像を取得してもよい。
【０１１５】
また、標識強調部１４３は、２つの異なるフィルタサイズを用いてそれぞれ平滑化した２つの特徴量の差を算出して標識を強調処理したが、例えば、エッジ強調処理により標識を強調してもよい。エッジ強調処理の場合は、１つのフィルタサイズを用いて、染色の特徴量にエッジ強調処理を行う。これにより、細胞内の構造による染色のバラツキ、つまり、標識のみが強調された特徴量を得て記憶部１５０に格納する。このエッジ強調処理に用いるフィルタは、ソーベルフィルタ、ラプラシアンフィルタ、ハイパスフィルタのいずれでもよいが、フィルタサイズは、標識が強調されるように適切に設定する。なお、エッジ強調処理により標識を強調する場合も、フィルタサイズは顕微鏡の倍率に応じて適宜調整するのが好ましい。
【０１１６】
また、標識抽出部１４４は、K-meansに限らず、形態解析により標識データから標識のみを抽出してもよい。例えば、標識画像の各粒子に対して、標識の形態を示す円形度や面積を算出し、その算出した円形度や面積と所定の閾値とを比較することにより、標識のみをフィルタリングして抽出する。これにより、標識と誤って強調された非円形の細胞質の端による粒子等を除去することが可能となる。
【０１１７】
さらに、上記実施の形態では、標識状態判定部１４５による標識状態の判定結果に基づいて、標本陽性判定部１４７により対象標本Ｓの陽性判定を行うようにしたが、標本陽性判定部１４７を省略して、標識状態を識別して表示するのみでもよい。
【０１１８】
（第２実施の形態）
本発明の第２実施の形態に係る医療診断支援装置は、上述した第１実施の形態において、図７のステップＳ１１１で標識状態を判定するにあたり、標識間の特徴量として、各染色の標識が重畳している面積と重畳していない面積との比率を用いる。すなわち、図１８（ａ）に示す標識Ｉあるいは標識Ｊの面積に対して、図１８（ｂ）に示す標識Ｉおよび標識Ｊが重畳する面積との比率を用いる。そして、この面積の比率と所定の閾値との比較に基づいて、上記と同様にして、正常および転座の標識状態を判定する。
【０１１９】
ここで、上記の面積の比率は、次式（２３）により求めることができる。なお、式（２３）において、overlay_rateiは標識Ｉの重畳面積比を、overlay(x,y)は該画素が重畳しているかどうかを表し、重畳している場合は１、重畳していない場合は０とする。その他の構成および動作は、第１実施の形態と同様であるので、説明を省略する。
【０１２０】
【数１５】
【０１２１】
このように、各染色の標識が重畳している面積と重畳していない面積との比率を標識間の特徴量として用いれば、第１実施の形態と同様の効果が得られる。
【０１２２】
（第３実施の形態）
本発明の第３実施の形態に係る医療診断支援装置は、上述した第１実施の形態において、画像取得部１１０により取得した対象標本Ｓの各深度におけるマルチバンド画像に基づいて、図７のステップＳ１０３〜Ｓ１０９の処理を実行して、深度毎の各染色の標識を抽出する。
【０１２３】
その後、図７のステップＳ１１１において、次式（２４）により、標識間の特徴量として、異なる深度における異なる両標識の重心間距離を算出して、その算出した重心間距離と所定の閾値との比較に基づいて、上記と同様にして、正常および転座の標識状態を判定する。図１９は、式（２４）により算出される深度（ｚ方向）の異なる標識Ｉ，Ｊの重心間の距離distanceijの一例を示す。その他の構成および動作は、第１実施の形態と同様であるので、説明を省略する。
【０１２４】
【数１６】
【０１２５】
このように、深度の異なる両標識の重心間の距離を標識間の特徴量として用いれば、第１実施の形態と同様の効果が得られる他、ｚ方向の距離も考慮されるので、実際の３次元空間に即した重心間距離を算出できる効果が得られる。
【０１２６】
（第４実施の形態）
図２０および図２１は、本発明の第４実施の形態に係るバーチャル顕微鏡システムの要部の構成を示す図である。このバーチャル顕微鏡システムは、顕微鏡装置２００とホストシステム４００とがデータの送受信が可能に接続されて構成されている。図２０は、顕微鏡装置２００の概略構成を示し、図２１は、ホストシステム４００の概略構成を示す。
【０１２７】
図２０に示すように、顕微鏡装置２００は、対象標本Ｓが載置される電動ステージ２１０と、側面視略コの字状を有し、電動ステージ２１０を支持するとともにレボルバ２６０を介して対物レンズ２７０（図２の光学系１１４に相当）を保持する顕微鏡本体２４０と、顕微鏡本体２４０の底部後方に配設された光源２８０と、顕微鏡本体２４０の上部に載置された鏡筒２９０とを備える。また、鏡筒２９０には、対象標本Ｓの標本像を目視観察するための双眼部３１０と、対象標本Ｓの標本像を撮像するためのＴＶカメラ３２０とが取り付けられている。すなわち、顕微鏡装置２００は、図１の画像取得部１１０に相当する。ここで、図２０に示す対物レンズ２７０の光軸方向をＺ方向とし、Ｚ方向と垂直な平面をＸＹ平面として定義する。
【０１２８】
電動ステージ２１０は、ＸＹＺ方向に移動自在に構成されている。すなわち、電動ステージ２１０は、モータ２２１およびこのモータ２２１の駆動を制御するＸＹ駆動制御部２２３によってＸＹ平面内で移動自在である。ＸＹ駆動制御部２２３は、顕微鏡コントローラ３３０の制御のもと、図示しないＸＹ位置の原点センサによって電動ステージ２１０のＸＹ平面における所定の原点位置を検知し、この原点位置を基点としてモータ２２１の駆動量を制御することによって、対象標本Ｓ上の観察箇所を移動させる。そして、ＸＹ駆動制御部２２３は、観察時の電動ステージ２１０のＸ位置およびＹ位置を適宜顕微鏡コントローラ３３０に出力する。
【０１２９】
また、電動ステージ２１０は、モータ２３１およびこのモータ２３１の駆動を制御するＺ駆動制御部２３３によってＺ方向に移動自在である。Ｚ駆動制御部２３３は、顕微鏡コントローラ３３０の制御のもと、図示しないＺ位置の原点センサによって電動ステージ２１０のＺ方向における所定の原点位置を検知し、この原点位置を基点としてモータ２３１の駆動量を制御することによって、所定の高さ範囲内の任意のＺ位置に対象標本Ｓを焦準移動させる。そして、Ｚ駆動制御部２３３は、観察時の電動ステージ２１０のＺ位置を適宜顕微鏡コントローラ３３０に出力する。
【０１３０】
レボルバ２６０は、顕微鏡本体２４０に対して回転自在に保持され、対物レンズ２７０を対象標本Ｓの上方に配置する。対物レンズ２７０は、レボルバ２６０に対して倍率（観察倍率）の異なる他の対物レンズとともに交換自在に装着されており、レボルバ２６０の回転に応じて観察光の光路上に挿入されて対象標本Ｓの観察に用いる対物レンズ２７０が択一的に切り換えられるようになっている。
【０１３１】
顕微鏡本体２４０は、底部において対象標本Ｓを透過照明するための照明光学系を内設している。この照明光学系は、光源２８０から射出された照明光を集光するコレクタレンズ２５１、照明系フィルタユニット２５２、視野絞り２５３、開口絞り２５４、照明光の光路を対物レンズ２７０の光軸に沿って偏向させる折曲げミラー２５５、コンデンサ光学素子ユニット２５６、トップレンズユニット２５７等が、照明光の光路に沿って適所に配置されて構成される。光源２８０から射出された照明光は、照明光学系によって対象標本Ｓに照射され、その透過光が観察光として対物レンズ２７０に入射する。したがって、光源２８０および照明光学系は、図２の照明部１１３に相当する。
【０１３２】
また、顕微鏡本体２４０は、その上部においてフィルタユニット３００を内設している。フィルタユニット３００は、標本像として結像する光の波長帯域を所定範囲に制限するための２枚以上の光学フィルタ３０３を回転自在に保持し、この光学フィルタ３０３を、適宜対物レンズ２７０後段において観察光の光路上に挿入する。このフィルタユニット３００は、図２に示したフィルタ部１１５に相当する。なお、ここでは、光学フィルタ３０３を対物レンズ２７０の後段に配置する場合を例示したが、これに限定されずるものではなく、光源２８０からＴＶカメラ３２０に至る光路上のいずれかの位置に配置することとしてよい。対物レンズ２７０を経た観察光は、このフィルタユニット３００を経由して鏡筒２９０に入射する。
【０１３３】
鏡筒２９０は、フィルタユニット３００を経た観察光の光路を切り換えて双眼部３１０またはＴＶカメラ３２０へと導くビームスプリッタ２９１を内設している。対象標本Ｓの標本像は、ビームスプリッタ２９１によって双眼部３１０内に導入され、接眼レンズ３１１を介して検鏡者に目視観察される。あるいはＴＶカメラ３２０によって撮像される。ＴＶカメラ３２０は、標本像（詳細には対物レンズ２７０の視野範囲の標本像）を結像するＣＣＤやＣＭＯＳ等の撮像素子を備えて構成され、標本像を撮像し、標本像の画像データをホストシステム４００に出力する。すなわち、ＴＶカメラ３２０は、図２に示したＲＧＢカメラ１１１に相当する。
【０１３４】
さらに、顕微鏡装置２００は、顕微鏡コントローラ３３０とＴＶカメラコントローラ３４０とを備える。顕微鏡コントローラ３３０は、ホストシステム４００の制御のもと、顕微鏡装置２００を構成する各部の動作を統括的に制御する。例えば、顕微鏡コントローラ３３０は、レボルバ２６０を回転させて観察光の光路上に配置する対物レンズ２７０を切り換える処理や、切り換えた対物レンズ２７０の倍率等に応じた光源２８０の調光制御や各種光学素子の切り換え、あるいはＸＹ駆動制御部２２３やＺ駆動制御部２３３に対する電動ステージ２１０の移動指示等、対象標本Ｓの観察に伴う顕微鏡装置２００の各部の調整を行うとともに、各部の状態を適宜ホストシステム４００に通知する。
【０１３５】
ＴＶカメラコントローラ３４０は、ホストシステム４００の制御のもと、自動ゲイン制御のＯＮ／ＯＦＦ切換、ゲインの設定、自動露出制御のＯＮ／ＯＦＦ切換、露光時間の設定等を行ってＴＶカメラ３２０を駆動し、ＴＶカメラ３２０の撮像動作を制御する。
【０１３６】
一方、ホストシステム４００は、図２１に示すように、入力部４１０、表示部４２０、演算部４３０、記憶部５００、装置各部を制御する制御部５４０を備えている。入力部４１０は、図１の入力部１２０に相当し、表示部４２０は、図１の表示部１３０に相当する。なお、図２１には、ホストシステム４００の機能構成を示したが、実際のホストシステム４００は、ＣＰＵやビデオボード、メインメモリ（ＲＡＭ）等の主記憶装置、ハードディスクや各種記憶媒体等の外部記憶装置、通信装置、表示装置や印刷装置等の出力装置、入力装置、各部を接続し、あるいは外部入力を接続するインターフェース装置等を備えた公知のハードウェア構成で実現でき、例えばワークステーションやパソコン等の汎用コンピュータを利用することができる。
【０１３７】
本実施の形態に係るバーチャル顕微鏡システムは、第１〜３実施の形態のいずれかの実施の形態に係る医療診断支援装置の機能を有するもので、演算部４３０は図１の演算部１４０に相当し、記憶部５００は図１の記憶部１５０に相当し、制御部５４０は図１の制御部１６０に相当する。したがって、演算部４３０は、図１と同様の、染色特徴量取得部１４２、標識強調部１４３、標識抽出部１４４、標識状態判定部１４５、標識状態識別部１４６、標本陽性判定部１４７を有する。また、演算部４３０は、ＶＳ画像生成部４４０を備えている。なお、演算部４３０は、第１実施の形態の変形例の構成を適用することも可能である。
【０１３８】
ＶＳ画像生成部４４０は、顕微鏡装置２００が対象標本Ｓを部分的にマルチバンド撮像することによって得られる複数の対象標本画像をそれぞれ処理して、ＶＳ画像を生成する。ここで、ＶＳ画像とは、顕微鏡装置２００によってマルチバンド撮像した１枚以上の画像を繋ぎ合せて生成した画像であり、例えば高倍率の対物レンズ２７０を用いて対象標本Ｓを部分毎に撮像した複数の高解像画像を繋ぎ合せて生成した画像であって、対象標本Ｓの全域を映した広視野でかつ高精細のマルチバンド画像のことを言う。なお、第３実施の形態で説明した医療診断支援装置の機能を実現する場合は、対象標本Ｓの異なる深度について生成した上記の広視野でかつ高精細のマルチバンド画像を含む。
【０１３９】
記憶部５００は、更新記憶可能なフラッシュメモリ等のＲＯＭやＲＡＭといった各種ＩＣメモリ、内蔵あるいはデータ通信端子で接続されたハードディスク、ＣＤ−ＲＯＭ等の情報記憶媒体およびその読取装置等によって実現されるものである。この記憶部５００には、ホストシステム４００を動作させ、このホストシステム４００が備える種々の機能を実現するためのプログラムや、このプログラムの実行中に使用されるデータ等が格納される。
【０１４０】
例えば、記憶部５００には、ＶＳ画像生成プログラム５１０を含む画像処理プログラム５１１と、ＶＳ画像データ（マルチバンド画像データ）５２０が格納される。ＶＳ画像生成プログラム５１０は、対象標本ＳのＶＳ画像を生成する処理を実現するためのプログラムである。したがって、このＶＳ画像に対して、画像処理プログラム５１１により、上述した第１実施の形態と同様に、標識の強調、抽出、判定等の処理が実行されて、標識状態が識別されて表示部４２０に表示される。
【０１４１】
制御部５４０は、ＣＰＵ等のハードウェアによって実現されるもので、顕微鏡装置２００各部の動作指示を行って対象標本Ｓを部分毎に撮像したマルチバンドの対象標本画像を取得するための画像取得制御部５５０を有する。そして、制御部５４０は、入力部４１０から入力される入力信号や、顕微鏡コントローラ３３０から入力される顕微鏡装置２００の各部の状態、ＴＶカメラ３２０から入力される画像データ、記憶部５００に記録されるプログラムやデータ等をもとにホストシステム４００を構成する各部への指示やデータの転送等を行い、あるいは顕微鏡コントローラ３３０やＴＶカメラコントローラ３４０に対する顕微鏡装置２００の各部の動作指示を行い、バーチャル顕微鏡システム全体の動作を統括的に制御する。
【０１４２】
これにより、本実施の形態に係るバーチャル顕微鏡システムによれば、上記実施の形態で説明した医療診断支援装置と同様の効果を奏することができる。
【０１４３】
（第５実施の形態）
図２２は、本発明の第５実施の形態に係る医療診断支援装置の要部の機能構成を示すブロック図である。この医療診断支援装置は、演算部６００の構成が、図１に示した医療診断支援装置の演算部１４０と異なるものである。すなわち、演算部６００は、画像再構成部６０１、染色特徴量取得部６０２、対象領域強調部６０３、対象領域抽出部６０４、細胞状態判定部６０５、細胞状態識別部６０６、および標本陽性判定部６０７を有する。染色特徴量取得部６０２は、図１と同様に、スペクトル推定部６０２ａを含む色素量推定部６０２ｂを有する。対象領域強調部６０３は、フィルタサイズ設定部６０３ａ、平滑化処理部６０３ｂおよび差分特徴量算出部６０３ｃを有する。また、標識状態識別部６０６は、識別表示指定部６０６ａを有する。その他の構成は、図１と同様であるので、同一構成要素には、同一参照符号を付して説明を省略する。
【０１４４】
図２３は、本実施の形態に係る医療診断支援装置の概略動作を示すフローチャートである。先ず、制御部１６０は、上記実施の形態の場合と同様に、画像取得制御部１６１により画像取得部１１０の動作を制御して対象標本Ｓをマルチバンド撮像し、その各バンドの対象標本画像を取得する（ステップＳ５０１）。次に、制御部１６０は、染色特徴量取得部６０２において、ステップＳ５０１で取得した対象標本画像の画素値をもとに、スペクトル推定部６０２ａにより対象標本のスペクトル（分光透過率）を推定し（ステップＳ５０３）、その推定した分光透過率の推定値に基づいて、対象標本の各染色分離画像を作成する特徴量（ここでは、色素量）を推定する（ステップＳ５０５）。
【０１４５】
その後、制御部１６０は、対象領域強調部６０３により、ステップＳ５０５で推定した各染色の色素量のうちの一方の染色、例えば赤色（Ｒ）の染色の色素量に基づいて、当該染色分離画像における細胞を強調する（ステップＳ５０７）。この細胞強調処理においては、図９に示した標識の強調処理と同様にして、着目画素における染色の特徴量と近傍画素における染色の特徴量とに基づいて細胞を強調する。すなわち、フィルタサイズ設定部６０３ａにより２つの異なるフィルタサイズを設定して、平滑化処理部６０３ｂにより染色の特徴量をそれぞれ平滑化し、その平滑化処理された２つの特徴量の差分を差分特徴量算出部６０３ｃにより算出して細胞を強調する。ここで、フィルタサイズ設定部６０３ａにより設定する一方のフィルタサイズは、１すなわち着目画素のみに設定し、他方のフィルタサイズは細胞と同サイズに設定する。
【０１４６】
次に、制御部１６０は、対象領域抽出部６０４において、対象領域強調部６０３で強調された細胞の特徴量と閾値との比較に基づいて細胞を抽出する（ステップＳ５０９）。この抽出された細胞データは、記憶部１５０に格納される。
【０１４７】
以上により、細胞を強調して抽出したら、次に、制御部１６０は、上記第１〜３実施の形態で説明したと同様にして、ステップＳ５０３で推定した特徴量（ここでは、色素量）に基づいて、対象領域強調部６０３において各染色の標識を強調し（ステップＳ５１１）、その後、対象領域抽出部６０４において、対象領域強調部６０３で強調された各染色の標識の特徴量と閾値との比較に基づいて各標識を抽出する（ステップＳ５１３）。この抽出された標識データは、記憶部１５０に格納される。
【０１４８】
その後、制御部１６０は、細胞状態判定部６０５により細胞状態を判定する（ステップＳ５１５）。この細胞状態判定処理では、ステップＳ５０９で抽出された細胞と、ステップＳ５１３で抽出された各染色の標識とに基づいて、陰性か陽性かを判定する。例えば、図２４（ａ）に示すように、抽出された細胞Ｃ内に含まれる異なる染色の標識数が一致する場合を陰性と判定し、図２４（ｂ）や（ｃ）に示すように一致しない場合を陽性と判定する。また、染色によっては、細胞内の異なる染色の各標識数が１である場合を陰性と判定し、異なる染色の各標識数が１でない場合を陽性と判定する。
【０１４９】
以上により、細胞状態判定部６０５による判定処理が終了したら、次に、制御部１６０は、細胞状態識別部６０６により、識別表示指定部６０６ａに指定されている表示モードに応じて、細胞状態を識別して表示部１３０に表示する（ステップＳ５１７）。したがって、本実施の形態において、細胞状態識別部６０６および表示部１３０は、細胞状態識別表示手段を構成している。なお、識別表示指定部６０６ａにより表示モードを指定するにあたっては、上記実施の形態の場合と同様、制御部１６０の制御のもとに、例えば、図１６に示したように、表示部１３０にグラフィカルユーザーインターフェース（ＧＵＩ）により「陽性」ボタン１７１および「陰性」ボタン１７２を表示させて、ユーザにより入力部１２０を介して所望のボタンを選択させる。
【０１５０】
そして、例えば、「陰性」ボタン１７２が選択された場合は、陰性表示モードを指定して、図２５（ａ）に示すように、陰性な細胞のみを識別して表示させ、「陽性」ボタン１７１が選択された場合は、陽性表示モードを指定して、図２５（ｂ）や（ｃ）に示すように、陽性な細胞のみを識別して表示させ、「陰性」ボタン１７２および「陽性」ボタン１７１の両方が選択された場合は、全表示モードを指定して、陰性な細胞および陽性な細胞の両方を識別して表示させる。
【０１５１】
その後、制御部１６０は、必要に応じて、標本陽性判定部１４７により、例えば、細胞状態判定部６０５で判定された陽性な細胞と陰性な細胞との比率に基づいて、対称標本Ｓが陽性か否かを判定して、その結果を記憶部１５０に格納する。あるいは、上記の標本の陽性度を、そのまま対象標本Ｓの病状を表す参考値として、記憶部１５０に格納する。
【０１５２】
このように、本実施の形態に係る医療診断支援装置によれば、Dual CISH染色法により染色された標識を有する細胞の「陰性」および「陽性」を表す細胞状態が識別されて表示されるので、医師等のユーザは、細胞の陽性／陰性を容易に視認することができる。これにより、癌や遺伝子疾患に関連する染色体異数性や遺伝子増幅などを容易かつ精度良く判別することが可能となる。
【０１５３】
なお、本発明は、上記実施の形態にのみ限定されるものではなく、幾多の変形または変更が可能である。例えば、本発明は、Dual CISH染色法により染色された標本に限らず、２以上の染色方法で染色された標本を透過光で撮像して、染色画像を表示する場合に広く適用することができる。また、上記実施の形態では、各染色の色素量を推定するために、染色標本を撮像したマルチバンド画像から分光透過率のスペクトル特徴値を推定したが、分光反射率や吸光度等のスペクトル特徴値を推定して、色素量を推定することもできる。さらに、上記実施の形態では、染色標本に対して６バンドのマルチバンド画像を取得するようにしたが、４バンド以上の任意のマルチバンド画像、あるいは、ＲＧＢの３バンドの画像を取得して、各染色の特徴量を取得することもできる。
【０１５４】
また、第５実施の形態では、細胞を強調して抽出してから、標識を強調して抽出するようにしたが、逆に、標識を強調して抽出してから、細胞を強調して抽出してもよいし、細胞の強調および抽出処理と標識の強調および抽出とを同時に並行して実行することも可能である。また、細胞は、染色以外の特徴量を用いて強調することもできるし、その強調の際に、フィルタサイズ設定部６０３ａにおける２つのフィルタサイズの一方を標識と同サイズに、他方を細胞と同サイズに設定することもできる。さらに、第５実施の形態に示した医療診断支援装置を適用して、第４実施の形態で示したようなバーチャル顕微鏡システムを構成することも可能である。
【０１５５】
また、本発明は、上述した医療診断支援装置やバーチャル顕微鏡システムに限らず、これらの処理を実質的に実行する、画像処理方法、画像処理プログラム、プログラムを記録した記憶媒体としても実現し得るものであり、本発明はこれらも包含するものと理解されたい。
【符号の説明】
【０１５６】
１１０ 画像取得部
１１１ ＲＧＢカメラ
１１２ 標本保持部
１１３ 照明部
１１４ 光学系
１１５ フィルタ部
１１６ カラーフィルタ
１１７ フィルタ切り替え部
１１８ａ，１１８ｂ 光学フィルタ
１２０ 入力部
１３０ 表示部
１４０ 演算部
１４１ 画像再構成部
１４２ 染色特徴量取得部
１４２ａ スペクトル推定部
１４２ｂ 色素量推定部
１４３ 標識強調部
１４３ａ フィルタサイズ設定部
１４３ｂ 平滑化処理部
１４３ｃ 差分特徴量算出部
１４４ 標識抽出部
１４５ 標識状態判定部
１４５ａ 標識間特徴量算出部
１４５ｂ 標識陽性判定部
１４６ 標識状態識別部
１４６ａ 識別表示指定部
１４７ 標本陽性判定部
１５０ 記憶部
１６０ 制御部
１６１ 画像取得制御部
２００ 顕微鏡装置
２１０ 電動ステージ
２４０ 顕微鏡本体
２７０ 対物レンズ
２８０ 光源
２９０ 鏡筒
３００ フィルタユニット
３０３ 光学フィルタ
３１０ 双眼部
３２０ ＴＶカメラ
３３０ 顕微鏡コントローラ
３４０ ＴＶカメラコントローラ
４００ ホストシステム
４１０ 入力部
４２０ 表示部
４３０ 演算部
４４０ ＶＳ画像生成部
５００ 記憶部
５４０ 制御部
６００ 演算部
６０１ 画像再構成部
６０２ 染色特徴量取得部
６０２ａ スペクトル推定部
６０２ｂ 色素量推定部
６０３ 対象領域強調部
６０３ａ フィルタサイズ設定部
６０３ｂ 平滑化処理部
６０３ｃ 差分特徴量算出部
６０４ 対象領域抽出部
６０５ 細胞状態判定部
６０６ 細胞状態識別部
６０６ａ 識別表示指定部
６０７ 標本陽性判定部
【技術分野】
【０００１】
本発明は、染色標本を撮像した染色標本画像から医療診断支援情報を取得する医療診断支援装置、画像処理方法、画像処理プログラム、およびバーチャル顕微鏡システムに関するものである。
【背景技術】
【０００２】
被写体に固有の物理的性質を表す物理量の一つに分光透過率スペクトルがある。分光透過率は、各波長における入射光に対する透過光の割合を表す物理量であり、照明光の変化に依存するＲＧＢ値等の色情報とは異なり、外因的影響によって値が変化しない物体固有の情報である。このため、分光透過率は、被写体自体の色を再現するための情報として様々な分野で利用されている。例えば、生体組織標本、特に病理標本を用いた病理診断の分野では、標本を撮像した画像の解析に分光特性値の一例として分光透過率が利用されている。
【０００３】
病理診断では、臓器摘出によって得たブロック標本や針生検によって得た病理標本を、厚さ数ミクロン程度に薄切りした後、様々な所見を得るために顕微鏡を用いて拡大観察することが広く行われている。なかでも光学顕微鏡を用いた透過観察は、機材が比較的安価で取り扱いが容易である上、歴史的に古くから行われてきたこともあって、最も普及している観察方法の一つである。この場合、薄切りされた標本は、光を殆ど吸収および散乱せず無色透明に近いため、観察に先立って色素による染色を施すのが一般的である。
【０００４】
染色手法としては、種々のものが提案されており、その総数は１００種類以上にも達するが、特に病理標本に関しては、色素として青紫色のヘマトキシリンと赤色のエオジンの２つを用いるヘマトキシリン−エオジン染色（以下、「ＨＥ染色」と称す）が標準的に用いられている。
【０００５】
ヘマトキシリンは、植物から採取された天然の物質であり、それ自身には染色性はない。しかし、その酸化物であるヘマチンは、好塩基性の色素であり、負に帯電した物質と結合する。細胞核に含まれるデオキシリボ核酸（ＤＮＡ）は、構成要素として含むリン酸基によって負に帯電しているため、ヘマチンと結合して青紫色に染色される。なお、前述の通り、染色性を有するのはヘマトキシリンではなく、その酸化物であるヘマチンであるが、色素の名称としてはヘマトキシリンを用いるのが一般的であるため、以下それに従う。
【０００６】
一方、エオジンは、好酸性の色素であり、正に帯電した物質と結合する。アミノ酸やタンパク質が正負どちらに帯電するかは、ｐＨ環境に影響を受け、酸性下では正に帯電する傾向が強くなる。このため、エオジン溶液に酢酸を加えて用いることがある。細胞質に含まれるタンパク質は、エオジンと結合して赤から薄赤に染色される。
【０００７】
ＨＥ染色後の標本（染色標本）では、細胞核や骨組織等が青紫色に、細胞質や結合組織、赤血球等が赤色に染色され、容易に視認できるようになる。この結果、観察者は、細胞核等の組織を構成する要素の大きさや位置関係等を把握でき、標本の状態を形態学的に判断することが可能となる。
【０００８】
染色された標本の観察は、観察者の目視によるものの他、この染色された標本をマルチバンド撮像して外部装置の表示画面に表示することによっても行われている。表示画面に表示する場合には、撮像したマルチバンド画像から標本各点の分光透過率を推定する処理や、推定した分光透過率をもとに標本を染色している色素の色素量を推定する処理等が行われ、表示用の標本のＲＧＢ画像である表示画像が合成される。
【０００９】
標本のマルチバンド画像から標本各点の分光透過率を推定する手法としては、例えば、主成分分析による推定法や、ウィナー（Wiener）推定による推定法等が挙げられる。ウィナー推定は、ノイズの重畳された観測信号から原信号を推定する線形フィルタ手法の一つとして広く知られており、観測対象の統計的性質とノイズ（観測ノイズ）の特性とを考慮して誤差の最小化を行う手法である。カメラからの信号には、何らかのノイズが含まれるため、ウィナー推定は原信号を推定する手法として極めて有用である。
【００１０】
以下、標本のマルチバンド画像から表示画像を合成する従来の方法について説明する。
【００１１】
先ず、標本のマルチバンド画像を撮像する。例えば、１６枚のバンドパスフィルタをフィルタホイールで回転させて切り替えながら、面順次方式でマルチバンド画像を撮像する。これにより、標本の各点において１６バンドの画素値を有するマルチバンド画像が得られる。なお、色素は、本来、観察対象となる標本内に３次元的に分布しているが、通常の透過観察系ではそのまま３次元像として捉えることはできず、標本内を透過した照明光をカメラの撮像素子上に投影した２次元像として観察される。したがって、ここでいう各点は、投影された撮像素子の各画素に対応する標本上の点を意味している。
【００１２】
ここで、撮像されたマルチバンド画像の任意の点（画素）ｘについて、バンドｂにおける画素値ｇ（ｘ，ｂ）と、対応する標本上の点の分光透過率ｔ（ｘ，λ）との間には、カメラの応答システムに基づく次式（１）の関係が成り立つ。
【００１３】
【数１】
【００１４】
式（１）において、λは波長、ｆ（ｂ，λ）はｂ番目のフィルタの分光透過率、ｓ（λ）はカメラの分光感度特性、ｅ（λ）は照明の分光放射特性、ｎ（ｂ）はバンドｂにおける観測ノイズをそれぞれ表す。ｂはバンドを識別する通し番号であり、ここでは１≦ｂ≦１６を満たす整数値である。実際の計算では、式（１）を波長方向に離散化した次式（２）が用いられる。
G(x)=FSET(x)＋N ・・・（２）
【００１５】
式（２）において、波長方向のサンプル点数をＤ、バンド数をＢ（ここではＢ＝１６）とすれば、Ｇ（ｘ）は、点ｘにおける画素値ｇ（ｘ，ｂ）に対応するＢ行１列の行列である。同様に、Ｔ（ｘ）は、ｔ（ｘ，λ）に対応するＤ行１列の行列、Ｆは、ｆ（ｂ，λ）に対応するＢ行Ｄ列の行列である。一方、Ｓは、Ｄ行Ｄ列の対角行列であり、対角要素がｓ（λ）に対応している。同様に、Ｅは、Ｄ行Ｄ列の対角行列であり、対角要素がｅ（λ）に対応している。Ｎは、ｎ（ｂ）に対応するＢ行１列の行列である。なお、式（２）では、行列を用いて複数のバンドに関する式を集約しているため、バンドを表す変数ｂが記述されていない。また、波長λに関する積分は、行列の積に置き換えられている。
【００１６】
ここで、表記を簡単にするため、次式（３）で定義される行列Ｈを導入する。この行列Ｈはシステム行列とも呼ばれる。
H=FSE ・・・（３）
【００１７】
よって、式（３）は、次式（４）に置き換えられる。
G(x)=HT(x)＋N ・・・（４）
【００１８】
次に、ウィナー推定を用いて、撮像したマルチバンド画像から標本各点における分光透過率を推定する。分光透過率の推定値（分光透過率データ）Ｔ＾（ｘ）は、次式（５）で計算することができる。なお、Ｔ＾は、Ｔの上に推定値を表す記号「＾（ハット）」が付いていることを示す。
【００１９】
【数２】
【００２０】
ここで、Ｗは次式（６）で表され、「ウィナー推定行列」あるいは「ウィナー推定に用いる推定オペレータ」と呼ばれる。
Ｗ＝ＲＳＳＨｔ（ＨＲＳＳＨｔ＋ＲＮＮ）−１ ・・・（６）
ただし、（）ｔ：転置行列、（）−１：逆行列
【００２１】
式（６）において、ＲＳＳは、Ｄ行Ｄ列の行列であり、標本の分光透過率の自己相関行列を表す。また、ＲＮＮは、Ｂ行Ｂ列の行列であり、撮像に使用するカメラのノイズの自己相関行列を表す。
【００２２】
このようにして分光透過率データＴ＾（ｘ）を推定したら、次に、このＴ＾（ｘ）をもとに対応する標本上の点（標本点）における色素量を推定する。推定の対象とする色素は、ヘマトキシリン、細胞質を染色したエオジン、赤血球を染色したエオジンまたは染色されていない赤血球本来の色素の３種類であり、それぞれ色素Ｈ，色素Ｅ，色素Ｒと略記する。なお、厳密には、染色を施さない状態であっても、赤血球はそれ自身特有の色を有しており、ＨＥ染色後は、赤血球自身の色と染色過程において変化したエオジンの色が重畳して観察される。このため、正確には両者を併せたものを色素Ｒと呼称する。
【００２３】
一般に、光を透過する物質では、波長λ毎の入射光の強度Ｉ0（λ）と射出光の強度Ｉ（λ）との間に、次式（７）で表されるランベルト・ベール（Lambert-Beer）の法則が成り立つことが知られている。
【００２４】
【数３】
【００２５】
式（７）において、ｋ（λ）は波長に依存して決まる物質固有の値、ｄは物質の厚さをそれぞれ表す。
【００２６】
ここで、式（７）の左辺は、分光透過率ｔ（λ）を意味している。したがって、式（７）は次式（８）に置き換えられる。
ｔ（λ）＝ｅ−ｋ（λ）・ｄ ・・・（８）
【００２７】
また、分光吸光度ａ（λ）は次式（９）で表される。
ａ（λ）＝ｋ（λ）・ｄ ・・・（９）
【００２８】
したがって、式（８）は次式（１０）に置き換えられる。
ｔ（λ）＝ｅ−ａ（λ） ・・・（１０）
【００２９】
ここで、ＨＥ染色された標本が、色素Ｈ，色素Ｅ，色素Ｒの３種類の色素で染色されている場合、ランベルト・ベールの法則により各波長λにおいて次式（１１）が成立する。
【００３０】
【数４】
【００３１】
式（１１）において、ｋＨ（λ），ｋＥ（λ），ｋＲ（λ）は、それぞれ色素Ｈ，色素Ｅ，色素Ｒに対応するｋ（λ）を表し、例えば、標本を染色している各色素の色素スペクトル（以下、「基準色素スペクトル」と称す）である。また、ｄＨ，ｄＥ，ｄＲは、マルチバンド画像の各画像位置に対応する標本各点における色素Ｈ，色素Ｅ，色素Ｒの仮想的な厚さを表す。なお、色素は標本中に分散して存在するため、厚さという概念は正確ではないが、標本が単一の色素で染色されていると仮定した場合と比較して、どの程度の量の色素が存在しているかを表す相対的な色素量の指標となる。すなわち、ｄＨ，ｄＥ，ｄＲは、それぞれ色素Ｈ，色素Ｅ，色素Ｒの色素量を表しているといえる。なお、ｋＨ（λ），ｋＥ（λ），ｋＲ（λ）は、色素Ｈ，色素Ｅ，色素Ｒを用いてそれぞれ個別に染色した標本を予め用意し、その分光透過率を分光器で測定することによって、ランベルト・ベールの法則から容易に求めることができる。
【００３２】
ここで、位置ｘにおける分光透過率をｔ（ｘ，λ）とし、分光吸光度をａ（ｘ，λ）とすると、式（９）は次式（１２）に置き換えられる。
ａ（ｘ，λ）＝ｋＨ（λ）・ｄＨ＋ｋＥ（λ）・ｄＥ＋ｋＲ（λ）・ｄＲ ・・・（１２）
【００３３】
そして、式（５）を用いて推定された分光透過率Ｔ＾（ｘ）の波長λにおける推定分光透過率をｔ＾（ｘ，λ）、推定吸光度をａ＾（ｘ，λ）とすると、式（１２）は次式（１３）に置き換えられる。なお、ｔ＾は、ｔの上に記号「＾」が付いていることを示し、ａ＾は、ａの上に記号「＾」が付いていることを示す。
【００３４】
【数５】
【００３５】
式（１３）において、未知変数は、ｄＨ，ｄＥ，ｄＲの３つであるから、少なくとも３つの異なる波長λについて式（１３）を連立させれば、これらを解くことができる。より精度を高めるために、４つ以上の異なる波長λに対して式（１３）を連立させ、重回帰分析を行ってもよい。例えば、３つの波長λ１，λ２，λ３について式（１３）を連立させた場合、次式（１４）のように行列表記できる。
【００３６】
【数６】
【００３７】
ここで、式（１４）を次式（１５）に置き換える。
【００３８】
【数７】
【００３９】
式（１５）において、波長方向のサンプル点数をＤとすれば、Ａ＾（ｘ）は、ａ＾（ｘ，λ）に対応するＤ行１列の行列であり、Ｋは、ｋ（λ）に対応するＤ行３列の行列、ｄ（ｘ）は、点ｘにおけるｄＨ，ｄＥ，ｄＲに対応する３行１列の行列である。なお、Ａ＾は、Ａの上に記号「＾」が付いていることを示す。
【００４０】
そして、式（１５）に従い、最小二乗法を用いて色素量ｄＨ，ｄＥ，ｄＲを算出する。最小二乗法とは、単回帰式において誤差の二乗和を最小にするようにｄ（ｘ）を決定する方法であり、次式（１６）で算出できる。なお、式（１６）において、ｄ＾（ｘ）は、推定された色素量である。
【００４１】
【数８】
【００４２】
以上のようにして標本を染色している色素の色素量を推定したら、その推定した色素量に基づいて、標本の表示画像であるＲＧＢ画像を合成する。
【００４３】
ところで、色素量を用いた病理診断法として、２種類の染料で病理標本を染色し、スペクトル画像から色素量を推定して、２つの色素量の比から癌細胞の有無を判定する方法が知られている（例えば、特許文献１参照）。この病理診断法は、癌細胞と正常細胞とで、２つの色素量の比が明らかに異なる比を示す場合に、癌細胞の検出に適用することができる。しかし、ＨＥ染色は、単に核と細胞質とを染色する染料であり、癌細胞を特異的に染色しない。このため、別途、癌細胞を特異的に染色する染料を施す必要がある。
【００４４】
一方、蛍光観察により、癌や遺伝子疾患に関連する染色体異数性や遺伝子増幅を検出する方法として、Fluorescence In Situ Hybridization（FISH）法が知られている。FISH法においては、標識を蛍光物質や酵素などで標識させ、目的の遺伝子をハイブリダイゼーションさせて蛍光顕微鏡で観察する。また、複数の蛍光で染色された標本から、アンミキシング法を用いて染色毎に画像を分離して観察する方法も知られている（例えば、特許文献２参照）。この特許文献２に開示の観察方法をFISH法に適用すれば、FISH法においては標識が強く発色するので、分離された各染色画像上の標識を容易に視認することが可能となる。
【００４５】
また、明視野観察により、FISH法と同じように癌や遺伝子疾患に関連する染色体異数性や遺伝子増幅を検出する方法として、Chromogenic In Situ Hybridization (CISH)法が知られている。CISH法は、免疫染色のような手順で光学顕微鏡を用いて標識を検出する方法である。このCISH法には、FISH法と比較して以下の利点がある。
【００４６】
（１）標識と形態を同時に観察できる。
（２）標識は非常に安定で、スライドを常温で保存できる。
（３）高価な顕微鏡が必要ない。
【先行技術文献】
【特許文献】
【００４７】
【特許文献１】特表２００１−５２５５８０号公報
【特許文献２】特開２００７−１０３４０号公報
【発明の概要】
【発明が解決しようとする課題】
【００４８】
しかしながら、従来、CISH法を用いて、同一標本に対して複数の染色を行うことは技術的に困難であった。このため、複数の染色を施して観察したい場合は、FISH法が用いられていた。しかし、近年になって、CISH染色法でも、２重に染色を行うDual CISH染色法が提案されるようになった。このDual CISH染色法によると、異なる標識を、例えば、赤・青の２色で染色し、各染色による標識の位置が同じか（正常）、離れているか（転座）で確定診断を行うことができる。
【００４９】
ところが、CISH染色はFISH染色と比較して、標識以外の細胞質も染色される。染色の度合いは各細胞によってバラツキがあり、濃く染色された細胞の細胞質の染色濃度と薄く染色された細胞の標識の染色濃度が同程度となる場合が生じる。このため、標識の判断がFISH法より難しい。特に、Dual CISH染色では、両染色が混ざるため、各染色の標識を容易に判別できず、転座の判断が容易ではなかった。
【００５０】
以上のようなことから、病理診断の分野では、Dual CISH染色法のような明視野観察によって、癌や遺伝子疾患に関連する染色体異数性や遺伝子増幅などを容易かつ精度良く判別できる医療診断支援情報が取得できる技術の開発が望まれている。
【００５１】
本発明は、かかる要望に応えるべくなされたもので、その目的とするは、２以上の染色方法で染色された標本を明視野観察して、癌や遺伝子疾患に関連する染色体異数性や遺伝子増幅などを容易かつ精度良く判別できる医療診断支援情報を取得できる医療診断支援装置、画像処理方法、画像処理プログラム、およびバーチャル顕微鏡システムを提供することにある。
【課題を解決するための手段】
【００５２】
上記目的を達成する医療診断支援装置の発明は、
２以上の染色方法で染色された標本を透過光で撮像した染色標本画像から医療診断支援情報を取得する医療診断支援装置であって、
前記染色標本画像の画素値に基づいて各染色の特徴量を取得する染色特徴量取得手段と、
該染色特徴量取得手段により取得された各染色の特徴量に基づいて標識を強調する標識強調手段と、
該標識強調手段により標識が強調された特徴量に基づいて各染色の標識を抽出する標識抽出手段と、
該標識抽出手段により抽出された各染色の標識に基づいて標識状態を判定する標識状態判定手段と、
該標識状態判定手段による判定結果に基づいて前記標識状態を識別して表示する標識状態識別表示手段と、
を備えることを特徴とするものである。
【００５３】
さらに、上記目的を達成する画像処理方法の発明は、
２以上の染色方法で染色された標本を透過光で撮像した染色標本画像から医療診断支援情報を取得する画像処理方法であって、
前記染色標本画像の画素値に基づいて各染色の特徴量を取得するステップと、
取得された各染色の特徴量に基づいて標識を強調するステップと、
標識が強調された特徴量に基づいて各染色の標識を抽出するステップと、
抽出された各染色の標識に基づいて標識状態を判定するステップと、
判定結果に基づいて前記標識状態を識別して表示するステップと、
を含むことを特徴とするものである。
【００５４】
さらに、上記目的を達成する画像処理プログラムの発明は、
２以上の染色方法で染色された標本を透過光で撮像した染色標本画像から医療診断支援情報を取得する画像処理プログラムであって、
前記染色標本画像の画素値に基づいて各染色の特徴量を取得する処理と、
取得された各染色の特徴量に基づいて標識を強調する処理と、
標識が強調された特徴量に基づいて各染色の標識を抽出する処理と、
抽出された各染色の標識に基づいて標識状態を判定する処理と、
判定結果に基づいて前記標識状態を識別して表示する処理と、
をコンピュータに実行させることを特徴とするものである。
【００５５】
さらに、上記目的を達成するバーチャル顕微鏡システムの発明は、
２以上の染色方法で染色された標本から医療診断支援情報を取得するバーチャル顕微鏡システムであって、
顕微鏡を用いて前記標本を投過光で撮像して染色標本画像を取得する画像取得手段と、
該画像取得手段により取得された染色標本画像の画素値に基づいて各染色の特徴量を取得する染色特徴量取得手段と、
該染色特徴量取得手段により取得された各染色の特徴量に基づいて標識を強調する標識強調手段と、
該標識強調手段により標識が強調された特徴量に基づいて各染色の標識を抽出する標識抽出手段と、
該標識抽出手段により抽出された各染色の標識に基づいて標識状態を判定する標識状態判定手段と、
該標識状態判定手段による判定結果に基づいて前記標識状態を識別して表示する標識状態識別表示手段と、
を備えることを特徴とするものである。
【００５６】
さらに、上記目的を達成する医療診断支援装置の発明は、
２以上の染色方法で染色された標本を透過光で撮像した染色標本画像から医療診断支援情報を取得する医療診断支援装置であって、
前記染色標本画像の画素値に基づいて標識および細胞をそれぞれ強調する対象領域強調手段と、
該対象領域強調手段により強調された標識および細胞を抽出する対象領域抽出手段と、
該対象領域抽出手段により抽出された標識に基づいて、当該対象領域抽出手段により抽出された細胞の細胞状態を判定する細胞状態判定手段と、
該細胞状態判定手段による判定結果に基づいて前記細胞状態を識別して表示する細胞状態識別表示手段と、
を備えることを特徴とするものである。
【００５７】
さらに、上記目的を達成する画像処理方法の発明は、
２以上の染色方法で染色された標本を透過光で撮像した染色標本画像から医療診断支援情報を取得する画像処理方法であって、
前記染色標本画像の画素値に基づいて各染色の特徴量を取得するステップと、
取得された各染色の特徴量に基づいて細胞を強調するステップと、
細胞が強調された特徴量に基づいて細胞を抽出するステップと、
前記取得された各染色の特徴量に基づいて標識を強調するステップと、
標識が強調された特徴量に基づいて各染色の標識を抽出するステップと、
抽出された標識に基づいて抽出された細胞の細胞状態を判定するステップと、
判定結果に基づいて前記細胞状態を識別して表示するステップと、
を含むことを特徴とするものである。
【００５８】
さらに、上記目的を達成する画像処理プログラムの発明は、
２以上の染色方法で染色された標本を透過光で撮像した染色標本画像から医療診断支援情報を取得する画像処理プログラムであって、
前記染色標本画像の画素値に基づいて各染色の特徴量を取得する処理と、
取得された各染色の特徴量に基づいて標識および細胞をそれぞれ強調する処理と、
強調された標識および細胞のそれぞれの特徴量に基づいて標識および細胞を抽出する処理と、
抽出された標識に基づいて抽出された細胞の細胞状態を判定する処理と、
判定結果に基づいて前記細胞状態を識別して表示する処理と、
をコンピュータに実行させることを特徴とするものである。
【００５９】
さらに、上記目的を達成するバーチャル顕微鏡システムの発明は、
２以上の染色方法で染色された標本から医療診断支援情報を取得するバーチャル顕微鏡システムであって、
顕微鏡を用いて前記標本を投過光で撮像して染色標本画像を取得する画像取得手段と、
該画像取得手段により取得された染色標本画像の画素値に基づいて各染色の特徴量を取得する染色特徴量取得手段と、
該染色特徴量取得手段により取得された各染色の特徴量に基づいて標識および細胞をそれぞれ強調する対象領域強調手段と、
該対象領域強調手段により強調された標識および細胞のそれぞれの特徴量に基づいて標識および細胞を抽出する対象領域抽出手段と、
該対象領域抽出手段により抽出された標識に基づいて、当該対象領域抽出手段により抽出された細胞の細胞状態を判定する細胞状態判定手段と、
該細胞状態判定手段による判定結果に基づいて前記細胞状態を識別して表示する細胞状態識別表示手段と、
を備えることを特徴とするものである。
【発明の効果】
【００６０】
本発明によれば、各細胞によってバラツキがあっても、標識のみが識別されて表示されるので、医師等のユーザは、標識を容易に視認することができる。また、陽性な標識状態と陰性な標識状態とが容易に判別できるように表示されるので、医師等のユーザは、標識状態の陽性／陰性を容易に視認することができる。これにより、癌や遺伝子疾患に関連する染色体異数性や遺伝子増幅などを容易かつ精度良く判別することが可能となる。
【００６１】
また、本発明によれば、標識および細胞がそれぞれ強調して抽出され、その抽出された標識に基づいて抽出された細胞の細胞状態を識別されて表示されるので、医師等のユーザは、細胞を容易に視認することができる。また、陽性な細胞状態と陰性な細胞状態とが容易に判別できるように識別されて表示されるので、医師等のユーザは、細胞状態の陽性／陰性を容易に視認することができる。これにより、癌や遺伝子疾患に関連する染色体異数性や遺伝子増幅などを容易かつ精度良く判別することが可能となる。
【図面の簡単な説明】
【００６２】
【図１】本発明の第１実施の形態に係る医療診断支援装置の要部の機能構成を示すブロック図である。
【図２】図１に示した画像取得部の要部の構成を示す模式図である。
【図３】図２に示したＲＧＢカメラに配置されるカラーフィルタの配列例およびＲＧＢ各バンドの画素配列を模式的に示す図である。
【図４】図２に示したＲＧＢカメラの分光感度特性を示す図である。
【図５】図２に示したフィルタ部を構成する一方の光学フィルタの分光透過率特性を示す図である。
【図６】図２に示したフィルタ部を構成する他方の光学フィルタの分光透過率特性を示す図である。
【図７】図１に示した医療診断支援装置の概略動作を示すフローチャートである。
【図８】図７に示す色素量の推定処理を説明するイメージ画像を示す図である。
【図９】図７に示す標識の強調処理を示すフローチャートである。
【図１０】図９に示す処理により標識が強調されたイメージ画像である。
【図１１】図７に示す標識の抽出処理によって得られる標識のイメージ画像を示す図である。
【図１２】図７に示す標識状態の判定処理の一例を示すフローチャートである。
【図１３】図１２に示す両標識の重心間の距離算出処理を説明するための図である。
【図１４】図７に示す標識状態の判定処理の他の例を示すフローチャートである。
【図１５】図１４に示す判定処理による判定例を説明するための図である。
【図１６】図１に示した識別表示指定部によるＧＵＩによる表示モードの指定態様を示す図である。
【図１７】図１に示した医療診断支援装置による染色標識の識別表示態様を示す図である。
【図１８】本発明の第２実施の形態に係る医療診断支援装置による標識間の特徴量の算出方法を説明するための図である。
【図１９】本発明の第３実施の形態に係る医療診断支援装置による標識間の特徴量の算出方法を説明するための図である。
【図２０】本発明の第４実施の形態に係るバーチャル顕微鏡システムを構成する顕微鏡装置の要部の構成を示す図である。
【図２１】図２０に示したホストシステムの要部の構成を示す図である。
【図２２】本発明の第５実施の形態に係る医療診断支援装置の要部の機能構成を示すブロック図である。
【図２３】図２２に示した医療診断支援装置の概略動作を示すフローチャートである。
【図２４】図２２に示した医療診断支援装置による細胞状態の判定例を説明するための図である。
【図２５】図２２に示した医療診断支援装置による細胞状態の識別表示態様を示す図である。
【発明を実施するための形態】
【００６３】
以下、本発明の好適実施の形態について、図を参照して詳細に説明する。
【００６４】
（第１実施の形態）
図１は、本発明の第１実施の形態に係る医療診断支援装置の要部の機能構成を示すブロック図である。この医療診断支援装置は、パーソナルコンピュータ等のコンピュータを含んで構成されるもので、顕微鏡を含む画像取得部１１０、入力部１２０、表示部１３０、演算部１４０、記憶部１５０、および各部を制御する制御部１６０を備える。
【００６５】
画像取得部１１０は、対象の染色標本（以下、「対象標本」と称す）の顕微鏡によるマルチバンド画像（ここでは、６バンド画像）を取得するもので、図２に要部の構成を模式的に示すように、ＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子等を備えたＲＧＢカメラ１１１、対象標本Ｓが載置される標本保持部１１２、標本保持部１１２上の対象標本Ｓを透過照明する照明部１１３、対象標本Ｓからの透過光を集光して結像させる顕微鏡対物レンズを含む光学系１１４、結像する光の波長帯域を所定範囲に制限するためのフィルタ部１１５を備える。
【００６６】
ＲＧＢカメラ１１１は、例えばデジタルカメラ等で広く用いられているもので、モノクロの撮像素子上に、例えば図３（ａ）に示すようなベイヤー配列のＲＧＢのカラーフィルタ１１６が配置された単板式のものを用いる。このＲＧＢカメラ１１１は、撮像される画像の中心が照明光の光軸上に位置するように設置される。このＲＧＢカメラ１１１の場合、各画素は、図３（ｂ）に示すように、Ｒ，Ｇ，Ｂいずれかの成分しか撮像することはできないが、近傍の画素値を利用することで、不足するＲ，Ｇ，Ｂ成分が補間される。この手法は、例えば特許第３５１００３７号公報において公知である。
【００６７】
なお、ＲＧＢカメラ１１１は、３ＣＣＤタイプ（３板式）のカメラを使用すれば、最初から各画素におけるＲ，Ｇ，Ｂ成分を取得できる。本実施の形態では、単板式または３板式のいずれを用いても構わないが、以下ではＲＧＢカメラ１１１で撮像された画像の各画素においてＲ，Ｇ，Ｂ成分が取得できているものとする。また、ＲＧＢカメラ１１１は、照明部１１３からの照明光を、光学系１１４を介して撮像する際、図４に示すような、Ｒ，Ｇ，Ｂの各バンドの分光感度特性を有するものとする。
【００６８】
本実施の形態では、図４に示した分光感度特性を有するＲＧＢカメラ１１１を用いて６バンドの画像を取得するため、フィルタ部１１５に、回転式のフィルタ切り替え部１１７を設け、このフィルタ切り替え部１１７に、Ｒ，Ｇ，Ｂの各バンドの透過波長領域を２分するように、それぞれ異なる分光透過率特性を有する２枚の光学フィルタ１１８ａ，１１８ｂを保持する。図５は、この場合の一方の光学フィルタ１１８ａの分光透過率特性を示し、図６は、他方の光学フィルタ１１８ｂの分光透過率特性を示す。
【００６９】
そして、制御部１６０により、先ず、例えば光学フィルタ１１８ａを、照明部１１３からＲＧＢカメラ１１１に至る光路上に位置させて、照明部１１３により標本保持部１１２上に載置された対象標本Ｓを照明し、その透過光を光学系１１４および光学フィルタ１１８ａを経てＲＧＢカメラ１１１の撮像素子上に結像させて第１の撮像を行う。次いで、制御部１６０により、フィルタ切り替え部１１７を回転させて、光学フィルタ１１８ｂを照明部１１３からＲＧＢカメラ１１１に至る光路上に位置させて、同様にして第２の撮像を行う。
【００７０】
これにより、第１の撮像および第２の撮像でそれぞれ異なる３バンドの画像を得て、合計で６バンドのマルチバンド画像を得る。なお、フィルタ部１１５に設ける光学フィルタの数は２枚に限定されるものではなく、３枚以上の光学フィルタを用いて、さらに多くのバンドの画像を得ることも可能である。
【００７１】
上記の画像取得部１１０で取得された対象標本Ｓのマルチバンド画像（以下、「対象標本画像」と称す）は、マルチバンド画像データとして記憶部１５０に格納される。
【００７２】
入力部１２０は、例えば、キーボードやマウス、タッチパネル、各種スイッチ等の各種入力装置によって実現されるものであり、操作入力に応じた入力信号を制御部１６０に出力する。
【００７３】
表示部１３０は、ＬＣＤ（Liquid Crystal Display）やＥＬ（Electro Luminescence）ディスプレイ、ＣＲＴ（Cathode Ray Tube）ディスプレイ等の表示装置によって実現されるものであり、制御部１６０から入力される表示信号をもとに各種画面を表示する。
【００７４】
演算部１４０は、画像再構成部１４１、染色特徴量取得部１４２、標識強調部１４３、標識抽出部１４４、標識状態判定部１４５、標識状態識別部１４６、および標本陽性判定部１４７を有する。染色特徴量取得部１４２は、スペクトル推定部１４２ａを含む色素量推定部１４２ｂを有する。標識強調部１４３は、フィルタサイズ設定部１４３ａ、平滑化処理部１４３ｂおよび差分特徴量算出部１４３ｃを有する。標識状態判定部１４５は、標識間特徴量算出部１４５ａおよび標識陽性判定部１４５ｂを有する。また、標識状態識別部１４６は、識別表示指定部１４６ａを有する。この演算部１４０は、ＣＰＵ等のハードウェアによって実現される。
【００７５】
記憶部１５０は、更新記憶可能なフラッシュメモリ等のＲＯＭやＲＡＭといった各種ＩＣメモリ、内蔵あるいはデータ通信端子で接続されたハードディスク、ＣＤ−ＲＯＭ等の情報記憶媒体およびその読取装置等によって実現されるものである。この記憶部１５０には、本実施の形態に係る医療診断支援装置を動作させて、この医療診断支援装置が備える種々の機能を実現するための画像処理プログラム１５１や、このプログラムの実行中に使用されるデータ等が格納される。
【００７６】
制御部１６０は、入力部１２０から入力される入力信号や画像取得部１１０から入力される画像データ、記憶部１５０に格納されているプログラムやデータ等に基づいて医療診断支援装置を構成する各部への指示やデータの転送等を行い、全体の動作を統括的に制御する。また、制御部１６０は、画像取得部１１０の動作を制御して対象標本画像を取得する画像取得制御部１６１を含む。この制御部１６０は、ＣＰＵ等のハードウェアによって実現される。
【００７７】
以下、本実施の形態に係る医療診断支援装置の動作について、Dual CISH染色法により、赤色（Ｒ）と青色（Ｂ）とに染色された標本をマルチバンド撮像して医療診断支援情報を得る場合を例にとって説明する。なお、ここで説明する処理は、記憶部１５０に格納された画像処理プログラム１５１に従って医療診断支援装置の各部が動作することにより実現される。
【００７８】
図７は、本実施の形態に係る医療診断支援装置の概略動作を示すフローチャートである。先ず、制御部１６０は、画像取得制御部１６１により画像取得部１１０の動作を制御して対象標本Ｓをマルチバンド撮像し、その各バンドの対象標本画像を取得する（ステップＳ１０１）。この対象標本画像の画像データは、記憶部１５０に格納される。
【００７９】
本実施の形態では、各バンドの対象標本画像を、例えば、深度の異なる複数枚の画像から再構成して取得する。このため、図２において、対象標本Ｓに対する光学系１１４のフォーカス位置（深度）を変更しながら、各深度で対象標本Ｓをマルチバンド撮像して、深度の異なる画像データを記憶部１５０に格納する。ここで、マルチバンド撮像する深度単位は、細胞核の直径が５〜１０μｍであるから、例えば、１μｍ単位とする。
【００８０】
そして、画像再構成部１４１により、記憶部１５０に格納されている深度の異なる複数枚の画像データに基づいて、各バンドの対象標本画像を再構成して取得する。なお、画像再構成部１４１は、例えば、深度の異なる複数枚の画像データから各領域で焦点が合うように画像を再構成するか（例えば、特開２００５−３７９０２号公報参照）、あるいは、深度の異なる複数枚の画像データを平均して画像を再構成する。
【００８１】
このように、対象標本Ｓの深度の異なるマルチバンド画像を撮像して、その深度の異なる複数枚の画像データに基づいて、各バンドの対象標本画像を再構成して取得すれば、深度の異なる細胞核をより反映した画像を得ることができる。
【００８２】
各バンドの対象標本画像を取得したら、制御部１６０は、次に、染色特徴量取得部１４２により、各バンドの対象標本画像の各画素における各染色の特徴量を取得し、その特徴量に基づいて染色毎の分離画像（染色分離画像）を作成する。ここで、各染色の特徴量には、（１）各染色の色素量、（２）任意のバンドの画素値、すなわち任意の波長帯域の照明光で撮像した染色標本画像の画素値、（３）色相等の任意の数式で変換した画像の特徴量、（４）リニア・アンミキシングで算出した特徴量、等があり、いずれの特徴量を取得してもよい。本実施の形態では、各染色の特徴量として、（１）の色素量を取得する。以下、画素値からスペクトルを推定し、スペクトルから各染色の色素量を推定して、色素量に基づいて染色分離画像を作成する処理を説明する。
【００８３】
先ず、スペクトル推定部１４２ａにより、ステップＳ１０１で取得した対象標本画像の画素値をもとに、対象標本のスペクトル（分光透過率）を推定する（ステップＳ１０３）。そして、上述した式（５）に従って、対象標本画像の推定対象画素である任意の点ｘにおける画素の画素値の行列表現Ｇ（ｘ）から、対応する対象標本の標本点における分光透過率の推定値Ｔ＾（ｘ）を推定する。得られた分光透過率の推定値Ｔ＾（ｘ）は、記憶部１５０に格納する。
【００８４】
次に、色素量推定部１４２ｂにより、ステップＳ１０３で推定した分光透過率の推定値Ｔ＾（ｘ）に基づいて、対象標本の色素量を推定する（ステップＳ１０５）。ここで、色素量推定部１４２ｂは、対象標本の染色に用いた染色方法の各色素の基準分光特性に基づいて、対象標本画像の任意の点ｘに対応する標本点における各染色方法の色素量を推定する。具体的には、対象標本画像の点ｘにおける分光透過率の推定値Ｔ＾（ｘ）に基づいて、点ｘに対応する対象標本の標本点に固定されたそれぞれの色素量を推定する。すなわち、上述した式（１６）に従って、ｄ＾Ｒ，ｄ＾Ｂについて解く。推定された対象標本画像の点ｘにおける色素量ｄ＾Ｒ，ｄ＾Ｂは、記憶部１５０に格納される。これにより、例えば、図８（ａ）に示すような原画像から、図８（ｂ）に示す色素量ｄ＾Ｒの画像および図８（ｃ）に示す色素量ｄ＾Ｂの画像がそれぞれ得られる。なお、図８（ａ）〜（ｃ）は、イメージ画像で、背景の右上がり斜線は薄く赤みかかった部分を表し、右下がり斜線は薄く青みかかった部分を表している。
【００８５】
以上により、各染色の特徴量を取得して染色分離画像を作成したら、次に、標識強調部１４３により、ステップＳ１０５で推定した各染色の特徴量すなわち色素量に基づいて、各染色分離画像における標識を強調する（ステップＳ１０７）。以下、図９に示すフローチャートを参照して、着目画素における染色の特徴量と近傍画素における染色の特徴量とに基づいて、標識を強調する場合の処理を説明する。
【００８６】
先ず、フィルタサイズ設定部１４３ａにより２つの異なるフィルタサイズを設定する（ステップＳ２０１）。ここで、一方のフィルタサイズは、１すなわち着目画素のみに設定し、他方のフィルタサイズは標識と同サイズに設定する。次に、２つのフィルタサイズそれぞれを用いて、平滑化処理部１４３ｂにより、染色の特徴量に平滑化処理を行う（ステップＳ２０３）。平滑化処理は、ガウシアンフィルタ、メディアンフィルタ、平均値フィルタ、ローパスフィルタのいずれを用いてもよい。その後、差分特徴量算出部１４３ｃにより、平滑化処理により算出した２つの特徴量の差分を算出する（ステップＳ２０５）。
【００８７】
ここで、平滑化処理部１４３ｂにおいて、大きいサイズのフィルタを用いて平滑化すると、細胞内の構造による染色のバラツキが平滑化されるので、各細胞による染色のバラツキを示す特徴量が算出される。これに対し、小さいサイズのフィルタを用いて平滑化すると、細胞内の構造による染色のバラツキと各細胞による染色のバラツキとの両方を含む特徴量が算出される。また、両フィルタによる平滑化により、ＲＧＢカメラ１１１の撮像素子によるセンサノイズも低減される。したがって、差分特徴量算出部１４３ｃにおいて、両特徴量の差分を求めると、細胞内の構造による染色のバラツキ、つまり、所望のエッジである標識のみを強調できる。
【００８８】
フィルタサイズ設定部１４３ａによる２つの異なるフィルタサイズは、上述したように標識のみが強調されるように、入力部１２０を介して適切に設定する。なお、標識は、顕微鏡の倍率によって画像上におけるサイズが異なるので、少なくとも一方のフィルタサイズは顕微鏡の倍率に応じて適宜調整する。差分特徴量算出部１４３ｃにより算出された２つの特徴量の差分は、標識が強調された特徴量（色素量）として記憶部１５０に格納される。これにより、図１０（ａ）に示すように、背景の赤みかかった部分が低減されて標識が強調された色素量ｄ＾Ｒの画像が得られるとともに、図１０（ｂ）に示すように、背景の青みかかった部分が低減されて標識が強調された色素量ｄ＾Ｂの画像が得られる。なお、図１０（ａ）は図８（ｂ）に対応するイメージ画像であり、図１０（ｂ）は図８（ｃ）に対応するイメージ画像である。
【００８９】
図７において、ステップＳ１０７による標識の強調処理が終了したら、次に、標識が強調された特徴量に基づいて、標識抽出部１４４により各染色の標識を抽出する（ステップＳ１０９）。ここでは、染色毎に所定の閾値（第１の閾値）を用い、各染色分離画像から対応する第１の閾値と特徴量との比較に基づいて標識を抽出する。この標識抽出部１４４で抽出された標識データは、記憶部１５０に格納される。これにより、図１１（ａ）に示すような色素量ｄ＾Ｒに基づく標識の画像と、図１１（ｂ）に示すような色素量ｄ＾Ｂに基づく標識の画像とが得られる。なお、図１１（ａ）は図１０（ａ）に対応するイメージ画像であり、図１１（ｂ）は図１０（ｂ）に対応するイメージ画像である。
【００９０】
ここで、標識を抽出するための染色毎の第１の閾値は、標本の染色状態に関わらず一義的に設定するか、あるいは、任意のアルゴリズムにより標本の染色状態に応じて適応的に設定する。アルゴリズムにより適応的に設定する場合は、例えば、非階層型クラスタリング手法の単純な手法であるK-means（K平均法とも呼ぶ）を用いて算出する。K-meansは、クラスタの平均を用い、与えられたクラスタ数Ｋ個に分類する。K-meansは、一般には、以下のような流れで実行される。
【００９１】
（１）データの数をｎ、クラスタの数をＫとしておく。
（２）各データに対してランダムにクラスタを割り振る。
（３）割り振ったデータをもとに各クラスタの中心を計算する。計算は通常割り当てられたデータの各要素の平均が使用される。
（４）各データと各クラスタの中心との距離を求めて、当該データを最も近い中心のクラスタに割り当て直す。
（５）上記の処理で全てのデータのクラスタの割り当てが変化しなかった場合は処理を終了する。それ以外の場合は新しく割り振られたクラスタから各クラスタの中心を再計算して上記の処理を繰り返す。
【００９２】
K-meansによる結果は、最初のクラスタのランダムな割り振りに大きく依存するので、例えば、特徴量の最小値から最大値の範囲を均等に分割してクラスタを割り振ってもよい。これにより、結果を常に同等の値に収束させることができる。そして、いずれかのクラスタの平均値を閾値とする。クラスタ数や何番目のクラスタの平均値を閾値とするかは、適宜設定する。以上により、標本の染色状態に応じた適切な閾値が設定される。
【００９３】
各染色の標識を抽出したら、次に、標識状態判定部１４５により標識状態を判定する（ステップＳ１１１）。この標識状態判定処理では、先ず、標識間特徴量算出部１４５ａにより、各染色分離画像を重畳（合成）した状態で、各染色の標識データから異なる染色の標識間の特徴量を算出する。本実施の形態では、この標識間の特徴量として、異なる両標識の重心間距離を用いる。
【００９４】
以下、異なる両標識の重心間の距離を用いる標識状態判定処理の一例について、図１２に示すフローチャートを参照して説明する。先ず、次式（１７）により、各標識の重心を求める（ステップＳ３０１）。
【００９５】
【数９】
【００９６】
次に、下式（１８）により、異なる両標識の重心間の距離を求める（ステップＳ３０３）。図１３は、式（１８）により算出される標識Ｉ，Ｊの重心間の距離distanceijの一例を示す。
【００９７】
【数１０】
【００９８】
その後、標識状態判定部１４５は、両標識の重心間の距離に基づいて標識状態を判定する。そのため、例えば、両標識の重心間の距離を所定の閾値（第２の閾値）と比較する（ステップＳ３０５）。その結果、第２の閾値以下である場合、当該標識対を正常と判定する（ステップＳ３０７）。これに対し、一方の染色における任意の標識と、他方の染色における全標識との重心間の距離が、第２の閾値を満たさない場合、すなわち第２の閾値を超える場合は、当該任意の標識を転座と判定する（ステップＳ３０９）。これにより、全標識は、２標識の標識対で構成される正常状態と、１標識のみで構成される転座状態とのいずれかに判定される。なお、両標識の重心間の距離は、顕微鏡の倍率によって画像上における距離が異なるので、第２の閾値は、例えば、次式（１９）に従って顕微鏡の倍率に応じて適切に調整する。
【００９９】
【数１１】
【０１００】
なお、両標識の重心間の距離を用いる標識状態の判定処理は、図１２に限らず、図１４に示すフローチャートに従って実行することもできる。図１４において、各標識の重心を算出して（ステップＳ４０１）、両標識の重心間の距離を求める（ステップＳ４０３）までは、図１２のステップＳ３０１〜Ｓ３０３と同様である。その後、標識状態判定部１４５は、例えば、一方の染色における任意の標識が他方の染色における２以上の標識に対して、両標識の重心間の距離が第３の閾値を満たすか否かを判定する（ステップＳ４０５）。その結果、満たす（Yes）場合は、次式（２０）により両標識の重心間の距離が最小となる標識対を正常と判定し、それ以外の標識を転座と判定する（ステップＳ４０７）。図１５は、この場合の判定例を説明するための図である。図１５において、標識Ｉ，Ｊの重心間の距離distanceij、標識Ｉ，Ｋの重心間の距離distanceiｋj、標識Ｉ，Ｌの重心間の距離distanceiｌ、がそれぞれ第３の閾値を満たす場合、重心間の距離が最小の標識Ｉ，Ｊの対が正常と判定され、他の標識Ｋ，Ｌは転座と判定される。
【０１０１】
【数１２】
【０１０２】
これに対し、ステップＳ４０５において、一方の染色における任意の標識が他方の染色における２以上の標識に対して、両標識の重心間の距離が第３の閾値を満たさない（No）場合は、他方の染色における１つの標識に対して、両標識の重心間の距離が第３の閾値を満たすか否かを判定する（ステップＳ４０９）。その結果、満たす場合は、上述した判定処理の場合と同様に、当該標識対を正常と判定する（ステップＳ４１１）。これに対し一方の染色における任意の標識と、他方の染色における全標識との重心間の距離が、第３の閾値を満たさない場合は、当該任意の標識を転座と判定する（ステップＳ４１３）。これにより、全標識は、上述した判定処理の場合と同様に、２標識の標識対で構成される正常状態と、１標識のみで構成される転座状態とのいずれかに判定される。なお、両標識の重心間の距離は、顕微鏡の倍率によって画像上における距離が異なるので、第３の閾値は、例えば、上式（１９）に従って顕微鏡の倍率に応じて適切に調整する。この第３の閾値は、上述した判定処理における第２の閾値と同じとすることもできる。
【０１０３】
図７において、ステップＳ１１１により、上述したようにして判定された標識状態の判定結果は、記憶部１５０に格納される。その後、標識陽性判定部１４５ｂは、標識状態の判定結果に基づいて、２標識の標識対で構成される正常状態の場合を陰性、１標識のみで構成される転座状態の場合を陽性と判定して、その陽性判定結果を記憶部１５０に格納する。
【０１０４】
以上により、標識状態判定部１４５による判定処理が終了したら、次に、標識状態識別部１４６により、識別表示指定部１４６ａに指定されている表示モードに応じて、標識状態を、染色を特徴的に表す原色、パターンやテクスチャー、あるいは半透明な色で識別して表示部１３０に表示する（ステップＳ１１３）。したがって、本実施の形態において、標識状態識別部１４６および表示部１３０は、標識状態識別表示手段を構成している。なお、識別表示指定部１４６ａにより表示モードを指定するにあたっては、制御部１６０の制御のもとに、例えば、図１６に示すように、表示部１３０にグラフィカルユーザーインターフェース（ＧＵＩ）により「陽性」ボタン１７１および「陰性」ボタン１７２を表示させて、ユーザにより入力部１２０を介して所望のボタンを選択させる。
【０１０５】
そして、例えば、「陽性」ボタン１７１が選択された場合は、陽性表示モードを指定して、図１７（ａ）に示すように、陽性な標識のみを識別して表示させ、「陰性」ボタン１７２が選択された場合は、陰性表示モードを指定して、図１７（ｂ）に示すように、陰性な標識対のみを識別して表示させ、「陽性」ボタン１７１および「陰性」ボタン１７２の両方が選択された場合は、全表示モードを指定して、図１７（ｃ）に示すように、陽性な標識および陰性な標識対の両方を識別して表示させる。
【０１０６】
なお、図１７（ｃ）に示す全表示モードの場合は、図１７（ｄ）に示すように、陽性な標識と陰性な標識対とを異なる色の破線等で囲むように表示してもよい。また、図１７（ｅ）に示すように、陽性な標識と陰性な標識対とをそれぞれ異なる色で識別して表示してもよい。例えば、各染色の陽性な標識をともに赤色（図では白抜き）に、陰性な標識対の２標識をともに青色（図では黒塗り）に表示してもよい。
【０１０７】
また、後述するように、例えば、対象標本Ｓの陽性判定を行う場合は、図１７（ｆ）に示すように、標識対の重畳部分を異なる色で表示してもよい。例えば、ある染色による標識を青色、もう一方の染色による標識を赤色、両染色による標識の重畳部分を緑色（図では黒塗り）に表示する。
【０１０８】
その後、標本陽性判定部１４７により、対称標本Ｓが陽性か否かを判定する。この標本陽性判定においては、例えば、標識状態判定部１４５で判定された陽性な標識対と陰性な標識との比率を、次式（２１）で算出する。
【０１０９】
【数１３】
【０１１０】
あるいは、標識抽出部１４４で抽出された各染色の全標識の画素のうち、他方の染色の標識の画素と重畳している比率を、次式（２２）で算出する。
【０１１１】
【数１４】
【０１１２】
そして、上式（２１）または（２２）で算出された標本の陽性度と、所定の閾値との比較に基づいて、対象標本Ｓが陽性か否かを判定して、その結果を記憶部１５０に格納する。あるいは、上記の標本の陽性度を、そのまま対象標本Ｓの病状を表す参考値として、記憶部１５０に格納してもよい。
【０１１３】
本実施の形態に係る医療診断支援装置によれば、各細胞によってバラツキがあっても、Dual CISH染色法により染色された標識のみが識別されて表示されるので、医師等のユーザは、標識を容易に視認することができる。また、陽性な標識状態と陰性な標識状態とが容易に判別できるように識別されて表示されるので、医師等のユーザは、標識状態の陽性／陰性を容易に視認することができる。これにより、癌や遺伝子疾患に関連する染色体異数性や遺伝子増幅などを容易かつ精度良く判別することが可能となる。
【０１１４】
なお、上記実施の形態では、対象標本Ｓを各深度でマルチバンド撮像して得た複数枚の画像データに基づいて、画像再構成部１４１により各バンドの対象標本画像を再構成して取得したが、画像再構成部１４１を省略し、画像を再構成することなく、対象標本Ｓを所定の深度でマルチバンド撮像して各バンドの対象標本画像を取得してもよい。
【０１１５】
また、標識強調部１４３は、２つの異なるフィルタサイズを用いてそれぞれ平滑化した２つの特徴量の差を算出して標識を強調処理したが、例えば、エッジ強調処理により標識を強調してもよい。エッジ強調処理の場合は、１つのフィルタサイズを用いて、染色の特徴量にエッジ強調処理を行う。これにより、細胞内の構造による染色のバラツキ、つまり、標識のみが強調された特徴量を得て記憶部１５０に格納する。このエッジ強調処理に用いるフィルタは、ソーベルフィルタ、ラプラシアンフィルタ、ハイパスフィルタのいずれでもよいが、フィルタサイズは、標識が強調されるように適切に設定する。なお、エッジ強調処理により標識を強調する場合も、フィルタサイズは顕微鏡の倍率に応じて適宜調整するのが好ましい。
【０１１６】
また、標識抽出部１４４は、K-meansに限らず、形態解析により標識データから標識のみを抽出してもよい。例えば、標識画像の各粒子に対して、標識の形態を示す円形度や面積を算出し、その算出した円形度や面積と所定の閾値とを比較することにより、標識のみをフィルタリングして抽出する。これにより、標識と誤って強調された非円形の細胞質の端による粒子等を除去することが可能となる。
【０１１７】
さらに、上記実施の形態では、標識状態判定部１４５による標識状態の判定結果に基づいて、標本陽性判定部１４７により対象標本Ｓの陽性判定を行うようにしたが、標本陽性判定部１４７を省略して、標識状態を識別して表示するのみでもよい。
【０１１８】
（第２実施の形態）
本発明の第２実施の形態に係る医療診断支援装置は、上述した第１実施の形態において、図７のステップＳ１１１で標識状態を判定するにあたり、標識間の特徴量として、各染色の標識が重畳している面積と重畳していない面積との比率を用いる。すなわち、図１８（ａ）に示す標識Ｉあるいは標識Ｊの面積に対して、図１８（ｂ）に示す標識Ｉおよび標識Ｊが重畳する面積との比率を用いる。そして、この面積の比率と所定の閾値との比較に基づいて、上記と同様にして、正常および転座の標識状態を判定する。
【０１１９】
ここで、上記の面積の比率は、次式（２３）により求めることができる。なお、式（２３）において、overlay_rateiは標識Ｉの重畳面積比を、overlay(x,y)は該画素が重畳しているかどうかを表し、重畳している場合は１、重畳していない場合は０とする。その他の構成および動作は、第１実施の形態と同様であるので、説明を省略する。
【０１２０】
【数１５】
【０１２１】
このように、各染色の標識が重畳している面積と重畳していない面積との比率を標識間の特徴量として用いれば、第１実施の形態と同様の効果が得られる。
【０１２２】
（第３実施の形態）
本発明の第３実施の形態に係る医療診断支援装置は、上述した第１実施の形態において、画像取得部１１０により取得した対象標本Ｓの各深度におけるマルチバンド画像に基づいて、図７のステップＳ１０３〜Ｓ１０９の処理を実行して、深度毎の各染色の標識を抽出する。
【０１２３】
その後、図７のステップＳ１１１において、次式（２４）により、標識間の特徴量として、異なる深度における異なる両標識の重心間距離を算出して、その算出した重心間距離と所定の閾値との比較に基づいて、上記と同様にして、正常および転座の標識状態を判定する。図１９は、式（２４）により算出される深度（ｚ方向）の異なる標識Ｉ，Ｊの重心間の距離distanceijの一例を示す。その他の構成および動作は、第１実施の形態と同様であるので、説明を省略する。
【０１２４】
【数１６】
【０１２５】
このように、深度の異なる両標識の重心間の距離を標識間の特徴量として用いれば、第１実施の形態と同様の効果が得られる他、ｚ方向の距離も考慮されるので、実際の３次元空間に即した重心間距離を算出できる効果が得られる。
【０１２６】
（第４実施の形態）
図２０および図２１は、本発明の第４実施の形態に係るバーチャル顕微鏡システムの要部の構成を示す図である。このバーチャル顕微鏡システムは、顕微鏡装置２００とホストシステム４００とがデータの送受信が可能に接続されて構成されている。図２０は、顕微鏡装置２００の概略構成を示し、図２１は、ホストシステム４００の概略構成を示す。
【０１２７】
図２０に示すように、顕微鏡装置２００は、対象標本Ｓが載置される電動ステージ２１０と、側面視略コの字状を有し、電動ステージ２１０を支持するとともにレボルバ２６０を介して対物レンズ２７０（図２の光学系１１４に相当）を保持する顕微鏡本体２４０と、顕微鏡本体２４０の底部後方に配設された光源２８０と、顕微鏡本体２４０の上部に載置された鏡筒２９０とを備える。また、鏡筒２９０には、対象標本Ｓの標本像を目視観察するための双眼部３１０と、対象標本Ｓの標本像を撮像するためのＴＶカメラ３２０とが取り付けられている。すなわち、顕微鏡装置２００は、図１の画像取得部１１０に相当する。ここで、図２０に示す対物レンズ２７０の光軸方向をＺ方向とし、Ｚ方向と垂直な平面をＸＹ平面として定義する。
【０１２８】
電動ステージ２１０は、ＸＹＺ方向に移動自在に構成されている。すなわち、電動ステージ２１０は、モータ２２１およびこのモータ２２１の駆動を制御するＸＹ駆動制御部２２３によってＸＹ平面内で移動自在である。ＸＹ駆動制御部２２３は、顕微鏡コントローラ３３０の制御のもと、図示しないＸＹ位置の原点センサによって電動ステージ２１０のＸＹ平面における所定の原点位置を検知し、この原点位置を基点としてモータ２２１の駆動量を制御することによって、対象標本Ｓ上の観察箇所を移動させる。そして、ＸＹ駆動制御部２２３は、観察時の電動ステージ２１０のＸ位置およびＹ位置を適宜顕微鏡コントローラ３３０に出力する。
【０１２９】
また、電動ステージ２１０は、モータ２３１およびこのモータ２３１の駆動を制御するＺ駆動制御部２３３によってＺ方向に移動自在である。Ｚ駆動制御部２３３は、顕微鏡コントローラ３３０の制御のもと、図示しないＺ位置の原点センサによって電動ステージ２１０のＺ方向における所定の原点位置を検知し、この原点位置を基点としてモータ２３１の駆動量を制御することによって、所定の高さ範囲内の任意のＺ位置に対象標本Ｓを焦準移動させる。そして、Ｚ駆動制御部２３３は、観察時の電動ステージ２１０のＺ位置を適宜顕微鏡コントローラ３３０に出力する。
【０１３０】
レボルバ２６０は、顕微鏡本体２４０に対して回転自在に保持され、対物レンズ２７０を対象標本Ｓの上方に配置する。対物レンズ２７０は、レボルバ２６０に対して倍率（観察倍率）の異なる他の対物レンズとともに交換自在に装着されており、レボルバ２６０の回転に応じて観察光の光路上に挿入されて対象標本Ｓの観察に用いる対物レンズ２７０が択一的に切り換えられるようになっている。
【０１３１】
顕微鏡本体２４０は、底部において対象標本Ｓを透過照明するための照明光学系を内設している。この照明光学系は、光源２８０から射出された照明光を集光するコレクタレンズ２５１、照明系フィルタユニット２５２、視野絞り２５３、開口絞り２５４、照明光の光路を対物レンズ２７０の光軸に沿って偏向させる折曲げミラー２５５、コンデンサ光学素子ユニット２５６、トップレンズユニット２５７等が、照明光の光路に沿って適所に配置されて構成される。光源２８０から射出された照明光は、照明光学系によって対象標本Ｓに照射され、その透過光が観察光として対物レンズ２７０に入射する。したがって、光源２８０および照明光学系は、図２の照明部１１３に相当する。
【０１３２】
また、顕微鏡本体２４０は、その上部においてフィルタユニット３００を内設している。フィルタユニット３００は、標本像として結像する光の波長帯域を所定範囲に制限するための２枚以上の光学フィルタ３０３を回転自在に保持し、この光学フィルタ３０３を、適宜対物レンズ２７０後段において観察光の光路上に挿入する。このフィルタユニット３００は、図２に示したフィルタ部１１５に相当する。なお、ここでは、光学フィルタ３０３を対物レンズ２７０の後段に配置する場合を例示したが、これに限定されずるものではなく、光源２８０からＴＶカメラ３２０に至る光路上のいずれかの位置に配置することとしてよい。対物レンズ２７０を経た観察光は、このフィルタユニット３００を経由して鏡筒２９０に入射する。
【０１３３】
鏡筒２９０は、フィルタユニット３００を経た観察光の光路を切り換えて双眼部３１０またはＴＶカメラ３２０へと導くビームスプリッタ２９１を内設している。対象標本Ｓの標本像は、ビームスプリッタ２９１によって双眼部３１０内に導入され、接眼レンズ３１１を介して検鏡者に目視観察される。あるいはＴＶカメラ３２０によって撮像される。ＴＶカメラ３２０は、標本像（詳細には対物レンズ２７０の視野範囲の標本像）を結像するＣＣＤやＣＭＯＳ等の撮像素子を備えて構成され、標本像を撮像し、標本像の画像データをホストシステム４００に出力する。すなわち、ＴＶカメラ３２０は、図２に示したＲＧＢカメラ１１１に相当する。
【０１３４】
さらに、顕微鏡装置２００は、顕微鏡コントローラ３３０とＴＶカメラコントローラ３４０とを備える。顕微鏡コントローラ３３０は、ホストシステム４００の制御のもと、顕微鏡装置２００を構成する各部の動作を統括的に制御する。例えば、顕微鏡コントローラ３３０は、レボルバ２６０を回転させて観察光の光路上に配置する対物レンズ２７０を切り換える処理や、切り換えた対物レンズ２７０の倍率等に応じた光源２８０の調光制御や各種光学素子の切り換え、あるいはＸＹ駆動制御部２２３やＺ駆動制御部２３３に対する電動ステージ２１０の移動指示等、対象標本Ｓの観察に伴う顕微鏡装置２００の各部の調整を行うとともに、各部の状態を適宜ホストシステム４００に通知する。
【０１３５】
ＴＶカメラコントローラ３４０は、ホストシステム４００の制御のもと、自動ゲイン制御のＯＮ／ＯＦＦ切換、ゲインの設定、自動露出制御のＯＮ／ＯＦＦ切換、露光時間の設定等を行ってＴＶカメラ３２０を駆動し、ＴＶカメラ３２０の撮像動作を制御する。
【０１３６】
一方、ホストシステム４００は、図２１に示すように、入力部４１０、表示部４２０、演算部４３０、記憶部５００、装置各部を制御する制御部５４０を備えている。入力部４１０は、図１の入力部１２０に相当し、表示部４２０は、図１の表示部１３０に相当する。なお、図２１には、ホストシステム４００の機能構成を示したが、実際のホストシステム４００は、ＣＰＵやビデオボード、メインメモリ（ＲＡＭ）等の主記憶装置、ハードディスクや各種記憶媒体等の外部記憶装置、通信装置、表示装置や印刷装置等の出力装置、入力装置、各部を接続し、あるいは外部入力を接続するインターフェース装置等を備えた公知のハードウェア構成で実現でき、例えばワークステーションやパソコン等の汎用コンピュータを利用することができる。
【０１３７】
本実施の形態に係るバーチャル顕微鏡システムは、第１〜３実施の形態のいずれかの実施の形態に係る医療診断支援装置の機能を有するもので、演算部４３０は図１の演算部１４０に相当し、記憶部５００は図１の記憶部１５０に相当し、制御部５４０は図１の制御部１６０に相当する。したがって、演算部４３０は、図１と同様の、染色特徴量取得部１４２、標識強調部１４３、標識抽出部１４４、標識状態判定部１４５、標識状態識別部１４６、標本陽性判定部１４７を有する。また、演算部４３０は、ＶＳ画像生成部４４０を備えている。なお、演算部４３０は、第１実施の形態の変形例の構成を適用することも可能である。
【０１３８】
ＶＳ画像生成部４４０は、顕微鏡装置２００が対象標本Ｓを部分的にマルチバンド撮像することによって得られる複数の対象標本画像をそれぞれ処理して、ＶＳ画像を生成する。ここで、ＶＳ画像とは、顕微鏡装置２００によってマルチバンド撮像した１枚以上の画像を繋ぎ合せて生成した画像であり、例えば高倍率の対物レンズ２７０を用いて対象標本Ｓを部分毎に撮像した複数の高解像画像を繋ぎ合せて生成した画像であって、対象標本Ｓの全域を映した広視野でかつ高精細のマルチバンド画像のことを言う。なお、第３実施の形態で説明した医療診断支援装置の機能を実現する場合は、対象標本Ｓの異なる深度について生成した上記の広視野でかつ高精細のマルチバンド画像を含む。
【０１３９】
記憶部５００は、更新記憶可能なフラッシュメモリ等のＲＯＭやＲＡＭといった各種ＩＣメモリ、内蔵あるいはデータ通信端子で接続されたハードディスク、ＣＤ−ＲＯＭ等の情報記憶媒体およびその読取装置等によって実現されるものである。この記憶部５００には、ホストシステム４００を動作させ、このホストシステム４００が備える種々の機能を実現するためのプログラムや、このプログラムの実行中に使用されるデータ等が格納される。
【０１４０】
例えば、記憶部５００には、ＶＳ画像生成プログラム５１０を含む画像処理プログラム５１１と、ＶＳ画像データ（マルチバンド画像データ）５２０が格納される。ＶＳ画像生成プログラム５１０は、対象標本ＳのＶＳ画像を生成する処理を実現するためのプログラムである。したがって、このＶＳ画像に対して、画像処理プログラム５１１により、上述した第１実施の形態と同様に、標識の強調、抽出、判定等の処理が実行されて、標識状態が識別されて表示部４２０に表示される。
【０１４１】
制御部５４０は、ＣＰＵ等のハードウェアによって実現されるもので、顕微鏡装置２００各部の動作指示を行って対象標本Ｓを部分毎に撮像したマルチバンドの対象標本画像を取得するための画像取得制御部５５０を有する。そして、制御部５４０は、入力部４１０から入力される入力信号や、顕微鏡コントローラ３３０から入力される顕微鏡装置２００の各部の状態、ＴＶカメラ３２０から入力される画像データ、記憶部５００に記録されるプログラムやデータ等をもとにホストシステム４００を構成する各部への指示やデータの転送等を行い、あるいは顕微鏡コントローラ３３０やＴＶカメラコントローラ３４０に対する顕微鏡装置２００の各部の動作指示を行い、バーチャル顕微鏡システム全体の動作を統括的に制御する。
【０１４２】
これにより、本実施の形態に係るバーチャル顕微鏡システムによれば、上記実施の形態で説明した医療診断支援装置と同様の効果を奏することができる。
【０１４３】
（第５実施の形態）
図２２は、本発明の第５実施の形態に係る医療診断支援装置の要部の機能構成を示すブロック図である。この医療診断支援装置は、演算部６００の構成が、図１に示した医療診断支援装置の演算部１４０と異なるものである。すなわち、演算部６００は、画像再構成部６０１、染色特徴量取得部６０２、対象領域強調部６０３、対象領域抽出部６０４、細胞状態判定部６０５、細胞状態識別部６０６、および標本陽性判定部６０７を有する。染色特徴量取得部６０２は、図１と同様に、スペクトル推定部６０２ａを含む色素量推定部６０２ｂを有する。対象領域強調部６０３は、フィルタサイズ設定部６０３ａ、平滑化処理部６０３ｂおよび差分特徴量算出部６０３ｃを有する。また、標識状態識別部６０６は、識別表示指定部６０６ａを有する。その他の構成は、図１と同様であるので、同一構成要素には、同一参照符号を付して説明を省略する。
【０１４４】
図２３は、本実施の形態に係る医療診断支援装置の概略動作を示すフローチャートである。先ず、制御部１６０は、上記実施の形態の場合と同様に、画像取得制御部１６１により画像取得部１１０の動作を制御して対象標本Ｓをマルチバンド撮像し、その各バンドの対象標本画像を取得する（ステップＳ５０１）。次に、制御部１６０は、染色特徴量取得部６０２において、ステップＳ５０１で取得した対象標本画像の画素値をもとに、スペクトル推定部６０２ａにより対象標本のスペクトル（分光透過率）を推定し（ステップＳ５０３）、その推定した分光透過率の推定値に基づいて、対象標本の各染色分離画像を作成する特徴量（ここでは、色素量）を推定する（ステップＳ５０５）。
【０１４５】
その後、制御部１６０は、対象領域強調部６０３により、ステップＳ５０５で推定した各染色の色素量のうちの一方の染色、例えば赤色（Ｒ）の染色の色素量に基づいて、当該染色分離画像における細胞を強調する（ステップＳ５０７）。この細胞強調処理においては、図９に示した標識の強調処理と同様にして、着目画素における染色の特徴量と近傍画素における染色の特徴量とに基づいて細胞を強調する。すなわち、フィルタサイズ設定部６０３ａにより２つの異なるフィルタサイズを設定して、平滑化処理部６０３ｂにより染色の特徴量をそれぞれ平滑化し、その平滑化処理された２つの特徴量の差分を差分特徴量算出部６０３ｃにより算出して細胞を強調する。ここで、フィルタサイズ設定部６０３ａにより設定する一方のフィルタサイズは、１すなわち着目画素のみに設定し、他方のフィルタサイズは細胞と同サイズに設定する。
【０１４６】
次に、制御部１６０は、対象領域抽出部６０４において、対象領域強調部６０３で強調された細胞の特徴量と閾値との比較に基づいて細胞を抽出する（ステップＳ５０９）。この抽出された細胞データは、記憶部１５０に格納される。
【０１４７】
以上により、細胞を強調して抽出したら、次に、制御部１６０は、上記第１〜３実施の形態で説明したと同様にして、ステップＳ５０３で推定した特徴量（ここでは、色素量）に基づいて、対象領域強調部６０３において各染色の標識を強調し（ステップＳ５１１）、その後、対象領域抽出部６０４において、対象領域強調部６０３で強調された各染色の標識の特徴量と閾値との比較に基づいて各標識を抽出する（ステップＳ５１３）。この抽出された標識データは、記憶部１５０に格納される。
【０１４８】
その後、制御部１６０は、細胞状態判定部６０５により細胞状態を判定する（ステップＳ５１５）。この細胞状態判定処理では、ステップＳ５０９で抽出された細胞と、ステップＳ５１３で抽出された各染色の標識とに基づいて、陰性か陽性かを判定する。例えば、図２４（ａ）に示すように、抽出された細胞Ｃ内に含まれる異なる染色の標識数が一致する場合を陰性と判定し、図２４（ｂ）や（ｃ）に示すように一致しない場合を陽性と判定する。また、染色によっては、細胞内の異なる染色の各標識数が１である場合を陰性と判定し、異なる染色の各標識数が１でない場合を陽性と判定する。
【０１４９】
以上により、細胞状態判定部６０５による判定処理が終了したら、次に、制御部１６０は、細胞状態識別部６０６により、識別表示指定部６０６ａに指定されている表示モードに応じて、細胞状態を識別して表示部１３０に表示する（ステップＳ５１７）。したがって、本実施の形態において、細胞状態識別部６０６および表示部１３０は、細胞状態識別表示手段を構成している。なお、識別表示指定部６０６ａにより表示モードを指定するにあたっては、上記実施の形態の場合と同様、制御部１６０の制御のもとに、例えば、図１６に示したように、表示部１３０にグラフィカルユーザーインターフェース（ＧＵＩ）により「陽性」ボタン１７１および「陰性」ボタン１７２を表示させて、ユーザにより入力部１２０を介して所望のボタンを選択させる。
【０１５０】
そして、例えば、「陰性」ボタン１７２が選択された場合は、陰性表示モードを指定して、図２５（ａ）に示すように、陰性な細胞のみを識別して表示させ、「陽性」ボタン１７１が選択された場合は、陽性表示モードを指定して、図２５（ｂ）や（ｃ）に示すように、陽性な細胞のみを識別して表示させ、「陰性」ボタン１７２および「陽性」ボタン１７１の両方が選択された場合は、全表示モードを指定して、陰性な細胞および陽性な細胞の両方を識別して表示させる。
【０１５１】
その後、制御部１６０は、必要に応じて、標本陽性判定部１４７により、例えば、細胞状態判定部６０５で判定された陽性な細胞と陰性な細胞との比率に基づいて、対称標本Ｓが陽性か否かを判定して、その結果を記憶部１５０に格納する。あるいは、上記の標本の陽性度を、そのまま対象標本Ｓの病状を表す参考値として、記憶部１５０に格納する。
【０１５２】
このように、本実施の形態に係る医療診断支援装置によれば、Dual CISH染色法により染色された標識を有する細胞の「陰性」および「陽性」を表す細胞状態が識別されて表示されるので、医師等のユーザは、細胞の陽性／陰性を容易に視認することができる。これにより、癌や遺伝子疾患に関連する染色体異数性や遺伝子増幅などを容易かつ精度良く判別することが可能となる。
【０１５３】
なお、本発明は、上記実施の形態にのみ限定されるものではなく、幾多の変形または変更が可能である。例えば、本発明は、Dual CISH染色法により染色された標本に限らず、２以上の染色方法で染色された標本を透過光で撮像して、染色画像を表示する場合に広く適用することができる。また、上記実施の形態では、各染色の色素量を推定するために、染色標本を撮像したマルチバンド画像から分光透過率のスペクトル特徴値を推定したが、分光反射率や吸光度等のスペクトル特徴値を推定して、色素量を推定することもできる。さらに、上記実施の形態では、染色標本に対して６バンドのマルチバンド画像を取得するようにしたが、４バンド以上の任意のマルチバンド画像、あるいは、ＲＧＢの３バンドの画像を取得して、各染色の特徴量を取得することもできる。
【０１５４】
また、第５実施の形態では、細胞を強調して抽出してから、標識を強調して抽出するようにしたが、逆に、標識を強調して抽出してから、細胞を強調して抽出してもよいし、細胞の強調および抽出処理と標識の強調および抽出とを同時に並行して実行することも可能である。また、細胞は、染色以外の特徴量を用いて強調することもできるし、その強調の際に、フィルタサイズ設定部６０３ａにおける２つのフィルタサイズの一方を標識と同サイズに、他方を細胞と同サイズに設定することもできる。さらに、第５実施の形態に示した医療診断支援装置を適用して、第４実施の形態で示したようなバーチャル顕微鏡システムを構成することも可能である。
【０１５５】
また、本発明は、上述した医療診断支援装置やバーチャル顕微鏡システムに限らず、これらの処理を実質的に実行する、画像処理方法、画像処理プログラム、プログラムを記録した記憶媒体としても実現し得るものであり、本発明はこれらも包含するものと理解されたい。
【符号の説明】
【０１５６】
１１０ 画像取得部
１１１ ＲＧＢカメラ
１１２ 標本保持部
１１３ 照明部
１１４ 光学系
１１５ フィルタ部
１１６ カラーフィルタ
１１７ フィルタ切り替え部
１１８ａ，１１８ｂ 光学フィルタ
１２０ 入力部
１３０ 表示部
１４０ 演算部
１４１ 画像再構成部
１４２ 染色特徴量取得部
１４２ａ スペクトル推定部
１４２ｂ 色素量推定部
１４３ 標識強調部
１４３ａ フィルタサイズ設定部
１４３ｂ 平滑化処理部
１４３ｃ 差分特徴量算出部
１４４ 標識抽出部
１４５ 標識状態判定部
１４５ａ 標識間特徴量算出部
１４５ｂ 標識陽性判定部
１４６ 標識状態識別部
１４６ａ 識別表示指定部
１４７ 標本陽性判定部
１５０ 記憶部
１６０ 制御部
１６１ 画像取得制御部
２００ 顕微鏡装置
２１０ 電動ステージ
２４０ 顕微鏡本体
２７０ 対物レンズ
２８０ 光源
２９０ 鏡筒
３００ フィルタユニット
３０３ 光学フィルタ
３１０ 双眼部
３２０ ＴＶカメラ
３３０ 顕微鏡コントローラ
３４０ ＴＶカメラコントローラ
４００ ホストシステム
４１０ 入力部
４２０ 表示部
４３０ 演算部
４４０ ＶＳ画像生成部
５００ 記憶部
５４０ 制御部
６００ 演算部
６０１ 画像再構成部
６０２ 染色特徴量取得部
６０２ａ スペクトル推定部
６０２ｂ 色素量推定部
６０３ 対象領域強調部
６０３ａ フィルタサイズ設定部
６０３ｂ 平滑化処理部
６０３ｃ 差分特徴量算出部
６０４ 対象領域抽出部
６０５ 細胞状態判定部
６０６ 細胞状態識別部
６０６ａ 識別表示指定部
６０７ 標本陽性判定部
【特許請求の範囲】
【請求項１】
２以上の染色方法で染色された標本を透過光で撮像した染色標本画像から医療診断支援情報を取得する医療診断支援装置であって、
前記染色標本画像の画素値に基づいて各染色の特徴量を取得する染色特徴量取得手段と、
該染色特徴量取得手段により取得された各染色の特徴量に基づいて標識を強調する標識強調手段と、
該標識強調手段により標識が強調された特徴量に基づいて各染色の標識を抽出する標識抽出手段と、
該標識抽出手段により抽出された各染色の標識に基づいて標識状態を判定する標識状態判定手段と、
該標識状態判定手段による判定結果に基づいて前記標識状態を識別して表示する標識状態識別表示手段と、
を備えることを特徴とする医療診断支援装置。
【請求項２】
前記標識状態識別表示手段は、
前記標識状態を識別して表示する表示モードを指定する識別表示指定手段を備え、
該識別表示指定手段による指定に基づいて前記標識状態を識別して表示する、
ことを特徴とする請求項１に記載の医療診断支援装置。
【請求項３】
前記識別表示指定手段は、
陽性な標識状態のみを識別して表示する陽性表示モード、陰性な標識状態のみを識別して表示する陰性表示モード、陽性な標識状態および陰性な標識状態の両方を識別して表示する全表示モードの中から選択される１つの表示モードを指定する、
ことを特徴とする請求項２に記載の医療診断支援装置。
【請求項４】
前記標識状態識別表示手段は、
前記全表示モードにおいて、陽性な標識状態と陰性な標識状態とを異なる色で表示する、
ことを特徴とする請求項３に記載の医療診断支援装置。
【請求項５】
前記標識状態識別表示手段は、
前記全表示モードにおいて、陰性な標識状態にある各染色の標識の重畳部を異なる色で表示する、
ことを特徴とする請求項３に記載の医療診断支援装置。
【請求項６】
前記染色特徴量取得手段は、
深度の異なる複数枚の画像から再構成された染色標本画像の画素値に基づいて各染色の特徴量を取得する、
ことを特徴とする請求項１〜５のいずれか一項に記載の医療診断支援装置。
【請求項７】
前記再構成された染色標本画像は、
深度の異なる複数枚の画像から各領域で焦点が合っている画素を張り合わせた合焦画像である、
ことを特徴とする請求項６に記載の医療診断支援装置。
【請求項８】
前記再構成された染色標本画像は、
深度の異なる複数枚の画像の平均値画像である、
ことを特徴とする請求項６に記載の医療診断支援装置。
【請求項９】
前記染色特徴量取得手段は、
前記染色標本画像の画素値に基づいて色素量を推定する色素量推定手段を備え、
該色素量推定手段により推定された色素量を前記各染色の特徴量として取得する、
ことを特徴とする請求項１〜８のいずれか一項に記載の医療診断支援装置。
【請求項１０】
前記色素量推定手段は、
前記染色標本画像の画素値からスペクトルを推定するスペクトル推定手段を備え、
該スペクトル推定手段により推定されたスペクトルに基づいて色素量を推定する、
ことを特徴とする請求項９に記載の医療診断支援装置。
【請求項１１】
前記染色特徴量取得手段は、
前記各染色の特徴量として、それぞれ任意の波長帯域の照明光で撮像した染色標本画像の画素値を取得する、
ことを特徴とする請求項１〜８のいずれか一項に記載の医療診断支援装置。
【請求項１２】
前記染色特徴量取得手段は、
前記染色標本画像の画素値を任意の数式で変換して前記各染色の特徴量を取得する、
ことを特徴とする請求項１〜８のいずれか一項に記載の医療診断支援装置。
【請求項１３】
前記標識強調手段は、
着目画素における染色の特徴量と近傍画素における染色の特徴量とに基づいて標識を強調する、
ことを特徴とする請求項１〜１２のいずれか一項に記載の医療診断支援装置。
【請求項１４】
前記標識強調手段は、
２つの異なるフィルタサイズを設定するフィルタサイズ設定手段と、
該フィルタサイズ設定手段により設定された２つのフィルタサイズに基づいて前記各染色の特徴量を平滑化処理する平滑化処理手段と、
前記平滑化処理により算出した２つの特徴量の差分を算出する差分特徴量算出手段と、
を備えることを特徴とする請求項１３に記載の医療診断支援装置。
【請求項１５】
前記フィルタサイズ設定手段は、
前記２つのフィルタサイズの一方を１に設定する、
ことを特徴とする請求項１４に記載の医療診断支援装置。
【請求項１６】
前記フィルタサイズ設定手段は、
前記２つのフィルタサイズの他方を標識と同サイズに設定する、
ことを特徴とする請求項１５に記載の医療診断支援装置。
【請求項１７】
前記フィルタサイズ設定手段は、
前記標本を撮像する倍率に応じて少なくとも一方のフィルタサイズを調整する、
ことを特徴とする請求項１４に記載の医療診断支援装置。
【請求項１８】
前記平滑化処理手段は、
ガウシアンフィルタ、メディアンフィルタ、平均値フィルタ、ローパスフィルタのいずれかを有する、
ことを特徴とする請求項１４〜１７のいずれか一項に記載の医療診断支援装置。
【請求項１９】
前記標識強調手段は、
前記染色特徴量取得手段により取得された各染色の特徴量をエッジ強調処理して標識を強調する、
ことを特徴とする請求項１〜１２のいずれか一項に記載の医療診断支援装置。
【請求項２０】
前記エッジ強調処理は、
ソーベルフィルタ、ラプラシアンフィルタ、ハイパスフィルタのいずれかを用いて実行する、
ことを特徴とする請求項１９に記載の医療診断支援装置。
【請求項２１】
前記標識抽出手段は、
前記標識強調手段により標識が強調された特徴量から第１の閾値に基づいて標識を抽出する、
ことを特徴とする請求項１〜２０のいずれか一項に記載の医療診断支援装置。
【請求項２２】
前記第１の閾値は、
K-means法を用いて算出する、
ことを特徴とする請求項２１に記載の医療診断支援装置。
【請求項２３】
前記標識抽出手段は、
前記標識強調手段により標識が強調された特徴量から、標識の形態を示す面積をフィルタリングして標識を抽出する、
ことを特徴とする請求項１〜２０のいずれか一項に記載の医療診断支援装置。
【請求項２４】
前記標識抽出手段は、
前記標識強調手段により標識が強調された特徴量から、標識の形態を示す円形度をフィルタリングして標識を抽出する、
ことを特徴とする請求項１〜２０のいずれか一項に記載の医療診断支援装置。
【請求項２５】
前記標識状態判定手段は、
前記標識抽出手段により抽出された各染色の標識に基づいて異なる染色の標識間の特徴量を算出する標識間特徴量算出手段を備え、
該標識間特徴量算出手段により算出された標識間の特徴量に基づいて標識状態を判定する、
ことを特徴とする請求項１〜２４のいずれか一項に記載の医療診断支援装置。
【請求項２６】
前記標識間特徴量算出手段は、
前記標識間の特徴量として、異なる染色の標識の重心間の距離を算出する、
ことを特徴とする請求項２５に記載の医療診断支援装置。
【請求項２７】
前記標識間特徴量算出手段は、
前記標識間の特徴量として、各染色の標識が他の染色の標識と重畳している面積と重畳していない面積との比率を算出する、
ことを特徴とする請求項２５に記載の医療診断支援装置。
【請求項２８】
前記標識間特徴量算出手段は、
前記標識間の特徴量として、異なる深度における異なる染色の標識の重心間の距離を算出する、
ことを特徴とする請求項２５に記載の医療診断支援装置。
【請求項２９】
前記標識状態判定手段は、
前記標識間の特徴量が第２の閾値を満たす標識状態を正常と判定する、
ことを特徴とする請求項２５〜２７のいずれか一項に記載の医療診断支援装置。
【請求項３０】
前記標識状態判定手段は、
一方の染色における任意の標識と、他方の染色における全標識との標識間の特徴量が前記第２の閾値を満たさない場合、前記任意の標識を転座と判定する、
ことを特徴とする請求項２９に記載の医療診断支援装置。
【請求項３１】
前記標識状態判定手段は、
一方の染色における任意の標識が他方の染色における２以上の標識に対して、前記標識間の特徴量が第３の閾値を満たす場合、前記標識間の特徴量が前記第３の閾値を最大限満たす両標識を正常と判定し、それ以外の標識を転座と判定する、
ことを特徴とする請求項２５〜２７のいずれか一項に記載の医療診断支援装置。
【請求項３２】
前記標識状態判定手段は、
一方の染色における任意の標識と、他方の染色における全標識との標識間の特徴量が前記第３の閾値を満たさない場合、前記任意の標識を転座と判定する、
ことを特徴とする請求項３１に記載の医療診断支援装置。
【請求項３３】
前記標識状態判定手段は、
前記標本を撮像する倍率に応じて前記第２の閾値を調整する、
ことを特徴とする請求項２９または３０に記載の医療診断支援装置。
【請求項３４】
前記標識状態判定手段は、
前記標本を撮像する倍率に応じて前記第３の閾値を調整する、
ことを特徴とする請求項３１または３２に記載の医療診断支援装置。
【請求項３５】
前記標識状態判定手段は、
２つの染色の標識が重畳された標識状態を陰性、１染色の標識のみの標識状態を陽性と判定する標識陽性判定手段を備える、
ことを特徴とする請求項１〜３４のいずれか一項に記載の医療診断支援装置。
【請求項３６】
前記標識抽出手段により抽出された各染色の標識に基づいて前記標本の陽性を判定する標本陽性判定手段を、さらに備える、
ことを特徴とする請求項１〜３５のいずれか一項に記載の医療診断支援装置。
【請求項３７】
前記標本陽性判定手段は、
前記各染色の全標識の画素のうち、他方の染色の標識の画素と重畳している比率に基づいて前記標本の陽性を判定する、
ことを特徴とする請求項３６に記載の医療診断支援装置。
【請求項３８】
前記標識状態判定手段による判定結果に基づいて前記標本の陽性を判定する標本陽性判定手段を、さらに備える、
ことを特徴とする請求項１〜３５のいずれか一項に記載の医療診断支援装置。
【請求項３９】
前記標本陽性判定手段は、
２つの染色の標識が重畳された陰性の標識状態と、１染色の標識のみの陽性の標識状態との比率に基づいて前記標本の陽性を判定する、
ことを特徴とする請求項３８に記載の医療診断支援装置。
【請求項４０】
２以上の染色方法で染色された標本を透過光で撮像した染色標本画像から医療診断支援情報を取得する画像処理方法であって、
前記染色標本画像の画素値に基づいて各染色の特徴量を取得するステップと、
取得された各染色の特徴量に基づいて標識を強調するステップと、
標識が強調された特徴量に基づいて各染色の標識を抽出するステップと、
抽出された各染色の標識に基づいて標識状態を判定するステップと、
判定結果に基づいて前記標識状態を識別して表示するステップと、
を含むことを特徴とする画像処理方法。
【請求項４１】
２以上の染色方法で染色された標本を透過光で撮像した染色標本画像から医療診断支援情報を取得する画像処理プログラムであって、
前記染色標本画像の画素値に基づいて各染色の特徴量を取得する処理と、
取得された各染色の特徴量に基づいて標識を強調する処理と、
標識が強調された特徴量に基づいて各染色の標識を抽出する処理と、
抽出された各染色の標識に基づいて標識状態を判定する処理と、
判定結果に基づいて前記標識状態を識別して表示する処理と、
をコンピュータに実行させるための画像処理プログラム。
【請求項４２】
２以上の染色方法で染色された標本から医療診断支援情報を取得するバーチャル顕微鏡システムであって、
顕微鏡を用いて前記標本を投過光で撮像して染色標本画像を取得する画像取得手段と、
該画像取得手段により取得された染色標本画像の画素値に基づいて各染色の特徴量を取得する染色特徴量取得手段と、
該染色特徴量取得手段により取得された各染色の特徴量に基づいて標識を強調する標識強調手段と、
該標識強調手段により標識が強調された特徴量に基づいて各染色の標識を抽出する標識抽出手段と、
該標識抽出手段により抽出された各染色の標識に基づいて標識状態を判定する標識状態判定手段と、
該標識状態判定手段による判定結果に基づいて前記標識状態を識別して表示する標識状態識別表示手段と、
を備えることを特徴とするバーチャル顕微鏡システム。
【請求項４３】
２以上の染色方法で染色された標本を透過光で撮像した染色標本画像から医療診断支援情報を取得する医療診断支援装置であって、
前記染色標本画像の画素値に基づいて標識および細胞をそれぞれ強調する対象領域強調手段と、
該対象領域強調手段により強調された標識および細胞を抽出する対象領域抽出手段と、
該対象領域抽出手段により抽出された標識に基づいて、当該対象領域抽出手段により抽出された細胞の細胞状態を判定する細胞状態判定手段と、
該細胞状態判定手段による判定結果に基づいて前記細胞状態を識別して表示する細胞状態識別表示手段と、
を備えることを特徴とする医療診断支援装置。
【請求項４４】
前記対象領域強調手段は、
着目画素における染色の特徴量と近傍画素における染色の特徴量とに基づいて細胞を強調する、
ことを特徴とする請求項４３に記載の医療診断支援装置。
【請求項４５】
前記対象領域強調手段は、
２つの異なるフィルタサイズを設定するフィルタサイズ設定手段と、
該フィルタサイズ設定手段により設定された２つのフィルタサイズに基づいて前記各染色の特徴量を平滑化処理する平滑化処理手段と、
前記平滑化処理により算出した２つの特徴量の差分を算出する差分特徴量算出手段と、
を備えることを特徴とする請求項４４に記載の医療診断支援装置。
【請求項４６】
前記フィルタサイズ設定手段は、
前記２つのフィルタサイズの一方を標識と同サイズに、他方を細胞と同サイズに設定する、
ことを特徴とする請求項４５に記載の医療診断支援装置。
【請求項４７】
前記細胞状態判定手段は、
細胞内に含まれる異なる染色の標識数に基づいて細胞状態を判定する、
ことを特徴とする請求項４３〜４６のいずれか一項に記載の医療診断支援装置。
【請求項４８】
前記細胞状態判定手段は、
異なる染色の標識数が一致する場合を陰性と判定する、
ことを特徴とする請求項４７に記載の医療診断支援装置。
【請求項４９】
前記細胞状態判定手段は、
異なる染色の標識数が一致しない場合を陽性と判定する、
ことを特徴とする請求項４７または４８に記載の医療診断支援装置。
【請求項５０】
前記細胞状態判定手段は、
異なる染色の各標識数が１である場合を陰性と判定する、
ことを特徴とする請求項４７に記載の医療診断支援装置。
【請求項５１】
前記細胞状態判定手段は、
異なる染色の各標識数が１でない場合を陽性と判定する、
ことを特徴とする請求項４７または５０に記載の医療診断支援装置。
【請求項５２】
前記細胞状態識別表示手段は、
前記細胞状態を識別して表示する表示モードを指定する識別表示指定手段を備え、
該識別表示指定手段による指定に基づいて前記細胞状態を識別して表示する、
ことを特徴とする請求項４３〜５１のいずれか一項に記載の医療診断支援装置。
【請求項５３】
２以上の染色方法で染色された標本を透過光で撮像した染色標本画像から医療診断支援情報を取得する画像処理方法であって、
前記染色標本画像の画素値に基づいて各染色の特徴量を取得するステップと、
取得された各染色の特徴量に基づいて細胞を強調するステップと、
細胞が強調された特徴量に基づいて細胞を抽出するステップと、
前記取得された各染色の特徴量に基づいて標識を強調するステップと、
標識が強調された特徴量に基づいて各染色の標識を抽出するステップと、
抽出された標識に基づいて抽出された細胞の細胞状態を判定するステップと、
判定結果に基づいて前記細胞状態を識別して表示するステップと、
を含むことを特徴とする画像処理方法。
【請求項５４】
２以上の染色方法で染色された標本を透過光で撮像した染色標本画像から医療診断支援情報を取得する画像処理プログラムであって、
前記染色標本画像の画素値に基づいて各染色の特徴量を取得する処理と、
取得された各染色の特徴量に基づいて標識および細胞をそれぞれ強調する処理と、
強調された標識および細胞のそれぞれの特徴量に基づいて標識および細胞を抽出する処理と、
抽出された標識に基づいて抽出された細胞の細胞状態を判定する処理と、
判定結果に基づいて前記細胞状態を識別して表示する処理と、
をコンピュータに実行させるための画像処理プログラム。
【請求項５５】
２以上の染色方法で染色された標本から医療診断支援情報を取得するバーチャル顕微鏡システムであって、
顕微鏡を用いて前記標本を投過光で撮像して染色標本画像を取得する画像取得手段と、
該画像取得手段により取得された染色標本画像の画素値に基づいて各染色の特徴量を取得する染色特徴量取得手段と、
該染色特徴量取得手段により取得された各染色の特徴量に基づいて標識および細胞をそれぞれ強調する対象領域強調手段と、
該対象領域強調手段により強調された標識および細胞のそれぞれの特徴量に基づいて標識および細胞を抽出する対象領域抽出手段と、
該対象領域抽出手段により抽出された標識に基づいて、当該対象領域抽出手段により抽出された細胞の細胞状態を判定する細胞状態判定手段と、
該細胞状態判定手段による判定結果に基づいて前記細胞状態を識別して表示する細胞状態識別表示手段と、
を備えることを特徴とするバーチャル顕微鏡システム。
【請求項１】
２以上の染色方法で染色された標本を透過光で撮像した染色標本画像から医療診断支援情報を取得する医療診断支援装置であって、
前記染色標本画像の画素値に基づいて各染色の特徴量を取得する染色特徴量取得手段と、
該染色特徴量取得手段により取得された各染色の特徴量に基づいて標識を強調する標識強調手段と、
該標識強調手段により標識が強調された特徴量に基づいて各染色の標識を抽出する標識抽出手段と、
該標識抽出手段により抽出された各染色の標識に基づいて標識状態を判定する標識状態判定手段と、
該標識状態判定手段による判定結果に基づいて前記標識状態を識別して表示する標識状態識別表示手段と、
を備えることを特徴とする医療診断支援装置。
【請求項２】
前記標識状態識別表示手段は、
前記標識状態を識別して表示する表示モードを指定する識別表示指定手段を備え、
該識別表示指定手段による指定に基づいて前記標識状態を識別して表示する、
ことを特徴とする請求項１に記載の医療診断支援装置。
【請求項３】
前記識別表示指定手段は、
陽性な標識状態のみを識別して表示する陽性表示モード、陰性な標識状態のみを識別して表示する陰性表示モード、陽性な標識状態および陰性な標識状態の両方を識別して表示する全表示モードの中から選択される１つの表示モードを指定する、
ことを特徴とする請求項２に記載の医療診断支援装置。
【請求項４】
前記標識状態識別表示手段は、
前記全表示モードにおいて、陽性な標識状態と陰性な標識状態とを異なる色で表示する、
ことを特徴とする請求項３に記載の医療診断支援装置。
【請求項５】
前記標識状態識別表示手段は、
前記全表示モードにおいて、陰性な標識状態にある各染色の標識の重畳部を異なる色で表示する、
ことを特徴とする請求項３に記載の医療診断支援装置。
【請求項６】
前記染色特徴量取得手段は、
深度の異なる複数枚の画像から再構成された染色標本画像の画素値に基づいて各染色の特徴量を取得する、
ことを特徴とする請求項１〜５のいずれか一項に記載の医療診断支援装置。
【請求項７】
前記再構成された染色標本画像は、
深度の異なる複数枚の画像から各領域で焦点が合っている画素を張り合わせた合焦画像である、
ことを特徴とする請求項６に記載の医療診断支援装置。
【請求項８】
前記再構成された染色標本画像は、
深度の異なる複数枚の画像の平均値画像である、
ことを特徴とする請求項６に記載の医療診断支援装置。
【請求項９】
前記染色特徴量取得手段は、
前記染色標本画像の画素値に基づいて色素量を推定する色素量推定手段を備え、
該色素量推定手段により推定された色素量を前記各染色の特徴量として取得する、
ことを特徴とする請求項１〜８のいずれか一項に記載の医療診断支援装置。
【請求項１０】
前記色素量推定手段は、
前記染色標本画像の画素値からスペクトルを推定するスペクトル推定手段を備え、
該スペクトル推定手段により推定されたスペクトルに基づいて色素量を推定する、
ことを特徴とする請求項９に記載の医療診断支援装置。
【請求項１１】
前記染色特徴量取得手段は、
前記各染色の特徴量として、それぞれ任意の波長帯域の照明光で撮像した染色標本画像の画素値を取得する、
ことを特徴とする請求項１〜８のいずれか一項に記載の医療診断支援装置。
【請求項１２】
前記染色特徴量取得手段は、
前記染色標本画像の画素値を任意の数式で変換して前記各染色の特徴量を取得する、
ことを特徴とする請求項１〜８のいずれか一項に記載の医療診断支援装置。
【請求項１３】
前記標識強調手段は、
着目画素における染色の特徴量と近傍画素における染色の特徴量とに基づいて標識を強調する、
ことを特徴とする請求項１〜１２のいずれか一項に記載の医療診断支援装置。
【請求項１４】
前記標識強調手段は、
２つの異なるフィルタサイズを設定するフィルタサイズ設定手段と、
該フィルタサイズ設定手段により設定された２つのフィルタサイズに基づいて前記各染色の特徴量を平滑化処理する平滑化処理手段と、
前記平滑化処理により算出した２つの特徴量の差分を算出する差分特徴量算出手段と、
を備えることを特徴とする請求項１３に記載の医療診断支援装置。
【請求項１５】
前記フィルタサイズ設定手段は、
前記２つのフィルタサイズの一方を１に設定する、
ことを特徴とする請求項１４に記載の医療診断支援装置。
【請求項１６】
前記フィルタサイズ設定手段は、
前記２つのフィルタサイズの他方を標識と同サイズに設定する、
ことを特徴とする請求項１５に記載の医療診断支援装置。
【請求項１７】
前記フィルタサイズ設定手段は、
前記標本を撮像する倍率に応じて少なくとも一方のフィルタサイズを調整する、
ことを特徴とする請求項１４に記載の医療診断支援装置。
【請求項１８】
前記平滑化処理手段は、
ガウシアンフィルタ、メディアンフィルタ、平均値フィルタ、ローパスフィルタのいずれかを有する、
ことを特徴とする請求項１４〜１７のいずれか一項に記載の医療診断支援装置。
【請求項１９】
前記標識強調手段は、
前記染色特徴量取得手段により取得された各染色の特徴量をエッジ強調処理して標識を強調する、
ことを特徴とする請求項１〜１２のいずれか一項に記載の医療診断支援装置。
【請求項２０】
前記エッジ強調処理は、
ソーベルフィルタ、ラプラシアンフィルタ、ハイパスフィルタのいずれかを用いて実行する、
ことを特徴とする請求項１９に記載の医療診断支援装置。
【請求項２１】
前記標識抽出手段は、
前記標識強調手段により標識が強調された特徴量から第１の閾値に基づいて標識を抽出する、
ことを特徴とする請求項１〜２０のいずれか一項に記載の医療診断支援装置。
【請求項２２】
前記第１の閾値は、
K-means法を用いて算出する、
ことを特徴とする請求項２１に記載の医療診断支援装置。
【請求項２３】
前記標識抽出手段は、
前記標識強調手段により標識が強調された特徴量から、標識の形態を示す面積をフィルタリングして標識を抽出する、
ことを特徴とする請求項１〜２０のいずれか一項に記載の医療診断支援装置。
【請求項２４】
前記標識抽出手段は、
前記標識強調手段により標識が強調された特徴量から、標識の形態を示す円形度をフィルタリングして標識を抽出する、
ことを特徴とする請求項１〜２０のいずれか一項に記載の医療診断支援装置。
【請求項２５】
前記標識状態判定手段は、
前記標識抽出手段により抽出された各染色の標識に基づいて異なる染色の標識間の特徴量を算出する標識間特徴量算出手段を備え、
該標識間特徴量算出手段により算出された標識間の特徴量に基づいて標識状態を判定する、
ことを特徴とする請求項１〜２４のいずれか一項に記載の医療診断支援装置。
【請求項２６】
前記標識間特徴量算出手段は、
前記標識間の特徴量として、異なる染色の標識の重心間の距離を算出する、
ことを特徴とする請求項２５に記載の医療診断支援装置。
【請求項２７】
前記標識間特徴量算出手段は、
前記標識間の特徴量として、各染色の標識が他の染色の標識と重畳している面積と重畳していない面積との比率を算出する、
ことを特徴とする請求項２５に記載の医療診断支援装置。
【請求項２８】
前記標識間特徴量算出手段は、
前記標識間の特徴量として、異なる深度における異なる染色の標識の重心間の距離を算出する、
ことを特徴とする請求項２５に記載の医療診断支援装置。
【請求項２９】
前記標識状態判定手段は、
前記標識間の特徴量が第２の閾値を満たす標識状態を正常と判定する、
ことを特徴とする請求項２５〜２７のいずれか一項に記載の医療診断支援装置。
【請求項３０】
前記標識状態判定手段は、
一方の染色における任意の標識と、他方の染色における全標識との標識間の特徴量が前記第２の閾値を満たさない場合、前記任意の標識を転座と判定する、
ことを特徴とする請求項２９に記載の医療診断支援装置。
【請求項３１】
前記標識状態判定手段は、
一方の染色における任意の標識が他方の染色における２以上の標識に対して、前記標識間の特徴量が第３の閾値を満たす場合、前記標識間の特徴量が前記第３の閾値を最大限満たす両標識を正常と判定し、それ以外の標識を転座と判定する、
ことを特徴とする請求項２５〜２７のいずれか一項に記載の医療診断支援装置。
【請求項３２】
前記標識状態判定手段は、
一方の染色における任意の標識と、他方の染色における全標識との標識間の特徴量が前記第３の閾値を満たさない場合、前記任意の標識を転座と判定する、
ことを特徴とする請求項３１に記載の医療診断支援装置。
【請求項３３】
前記標識状態判定手段は、
前記標本を撮像する倍率に応じて前記第２の閾値を調整する、
ことを特徴とする請求項２９または３０に記載の医療診断支援装置。
【請求項３４】
前記標識状態判定手段は、
前記標本を撮像する倍率に応じて前記第３の閾値を調整する、
ことを特徴とする請求項３１または３２に記載の医療診断支援装置。
【請求項３５】
前記標識状態判定手段は、
２つの染色の標識が重畳された標識状態を陰性、１染色の標識のみの標識状態を陽性と判定する標識陽性判定手段を備える、
ことを特徴とする請求項１〜３４のいずれか一項に記載の医療診断支援装置。
【請求項３６】
前記標識抽出手段により抽出された各染色の標識に基づいて前記標本の陽性を判定する標本陽性判定手段を、さらに備える、
ことを特徴とする請求項１〜３５のいずれか一項に記載の医療診断支援装置。
【請求項３７】
前記標本陽性判定手段は、
前記各染色の全標識の画素のうち、他方の染色の標識の画素と重畳している比率に基づいて前記標本の陽性を判定する、
ことを特徴とする請求項３６に記載の医療診断支援装置。
【請求項３８】
前記標識状態判定手段による判定結果に基づいて前記標本の陽性を判定する標本陽性判定手段を、さらに備える、
ことを特徴とする請求項１〜３５のいずれか一項に記載の医療診断支援装置。
【請求項３９】
前記標本陽性判定手段は、
２つの染色の標識が重畳された陰性の標識状態と、１染色の標識のみの陽性の標識状態との比率に基づいて前記標本の陽性を判定する、
ことを特徴とする請求項３８に記載の医療診断支援装置。
【請求項４０】
２以上の染色方法で染色された標本を透過光で撮像した染色標本画像から医療診断支援情報を取得する画像処理方法であって、
前記染色標本画像の画素値に基づいて各染色の特徴量を取得するステップと、
取得された各染色の特徴量に基づいて標識を強調するステップと、
標識が強調された特徴量に基づいて各染色の標識を抽出するステップと、
抽出された各染色の標識に基づいて標識状態を判定するステップと、
判定結果に基づいて前記標識状態を識別して表示するステップと、
を含むことを特徴とする画像処理方法。
【請求項４１】
２以上の染色方法で染色された標本を透過光で撮像した染色標本画像から医療診断支援情報を取得する画像処理プログラムであって、
前記染色標本画像の画素値に基づいて各染色の特徴量を取得する処理と、
取得された各染色の特徴量に基づいて標識を強調する処理と、
標識が強調された特徴量に基づいて各染色の標識を抽出する処理と、
抽出された各染色の標識に基づいて標識状態を判定する処理と、
判定結果に基づいて前記標識状態を識別して表示する処理と、
をコンピュータに実行させるための画像処理プログラム。
【請求項４２】
２以上の染色方法で染色された標本から医療診断支援情報を取得するバーチャル顕微鏡システムであって、
顕微鏡を用いて前記標本を投過光で撮像して染色標本画像を取得する画像取得手段と、
該画像取得手段により取得された染色標本画像の画素値に基づいて各染色の特徴量を取得する染色特徴量取得手段と、
該染色特徴量取得手段により取得された各染色の特徴量に基づいて標識を強調する標識強調手段と、
該標識強調手段により標識が強調された特徴量に基づいて各染色の標識を抽出する標識抽出手段と、
該標識抽出手段により抽出された各染色の標識に基づいて標識状態を判定する標識状態判定手段と、
該標識状態判定手段による判定結果に基づいて前記標識状態を識別して表示する標識状態識別表示手段と、
を備えることを特徴とするバーチャル顕微鏡システム。
【請求項４３】
２以上の染色方法で染色された標本を透過光で撮像した染色標本画像から医療診断支援情報を取得する医療診断支援装置であって、
前記染色標本画像の画素値に基づいて標識および細胞をそれぞれ強調する対象領域強調手段と、
該対象領域強調手段により強調された標識および細胞を抽出する対象領域抽出手段と、
該対象領域抽出手段により抽出された標識に基づいて、当該対象領域抽出手段により抽出された細胞の細胞状態を判定する細胞状態判定手段と、
該細胞状態判定手段による判定結果に基づいて前記細胞状態を識別して表示する細胞状態識別表示手段と、
を備えることを特徴とする医療診断支援装置。
【請求項４４】
前記対象領域強調手段は、
着目画素における染色の特徴量と近傍画素における染色の特徴量とに基づいて細胞を強調する、
ことを特徴とする請求項４３に記載の医療診断支援装置。
【請求項４５】
前記対象領域強調手段は、
２つの異なるフィルタサイズを設定するフィルタサイズ設定手段と、
該フィルタサイズ設定手段により設定された２つのフィルタサイズに基づいて前記各染色の特徴量を平滑化処理する平滑化処理手段と、
前記平滑化処理により算出した２つの特徴量の差分を算出する差分特徴量算出手段と、
を備えることを特徴とする請求項４４に記載の医療診断支援装置。
【請求項４６】
前記フィルタサイズ設定手段は、
前記２つのフィルタサイズの一方を標識と同サイズに、他方を細胞と同サイズに設定する、
ことを特徴とする請求項４５に記載の医療診断支援装置。
【請求項４７】
前記細胞状態判定手段は、
細胞内に含まれる異なる染色の標識数に基づいて細胞状態を判定する、
ことを特徴とする請求項４３〜４６のいずれか一項に記載の医療診断支援装置。
【請求項４８】
前記細胞状態判定手段は、
異なる染色の標識数が一致する場合を陰性と判定する、
ことを特徴とする請求項４７に記載の医療診断支援装置。
【請求項４９】
前記細胞状態判定手段は、
異なる染色の標識数が一致しない場合を陽性と判定する、
ことを特徴とする請求項４７または４８に記載の医療診断支援装置。
【請求項５０】
前記細胞状態判定手段は、
異なる染色の各標識数が１である場合を陰性と判定する、
ことを特徴とする請求項４７に記載の医療診断支援装置。
【請求項５１】
前記細胞状態判定手段は、
異なる染色の各標識数が１でない場合を陽性と判定する、
ことを特徴とする請求項４７または５０に記載の医療診断支援装置。
【請求項５２】
前記細胞状態識別表示手段は、
前記細胞状態を識別して表示する表示モードを指定する識別表示指定手段を備え、
該識別表示指定手段による指定に基づいて前記細胞状態を識別して表示する、
ことを特徴とする請求項４３〜５１のいずれか一項に記載の医療診断支援装置。
【請求項５３】
２以上の染色方法で染色された標本を透過光で撮像した染色標本画像から医療診断支援情報を取得する画像処理方法であって、
前記染色標本画像の画素値に基づいて各染色の特徴量を取得するステップと、
取得された各染色の特徴量に基づいて細胞を強調するステップと、
細胞が強調された特徴量に基づいて細胞を抽出するステップと、
前記取得された各染色の特徴量に基づいて標識を強調するステップと、
標識が強調された特徴量に基づいて各染色の標識を抽出するステップと、
抽出された標識に基づいて抽出された細胞の細胞状態を判定するステップと、
判定結果に基づいて前記細胞状態を識別して表示するステップと、
を含むことを特徴とする画像処理方法。
【請求項５４】
２以上の染色方法で染色された標本を透過光で撮像した染色標本画像から医療診断支援情報を取得する画像処理プログラムであって、
前記染色標本画像の画素値に基づいて各染色の特徴量を取得する処理と、
取得された各染色の特徴量に基づいて標識および細胞をそれぞれ強調する処理と、
強調された標識および細胞のそれぞれの特徴量に基づいて標識および細胞を抽出する処理と、
抽出された標識に基づいて抽出された細胞の細胞状態を判定する処理と、
判定結果に基づいて前記細胞状態を識別して表示する処理と、
をコンピュータに実行させるための画像処理プログラム。
【請求項５５】
２以上の染色方法で染色された標本から医療診断支援情報を取得するバーチャル顕微鏡システムであって、
顕微鏡を用いて前記標本を投過光で撮像して染色標本画像を取得する画像取得手段と、
該画像取得手段により取得された染色標本画像の画素値に基づいて各染色の特徴量を取得する染色特徴量取得手段と、
該染色特徴量取得手段により取得された各染色の特徴量に基づいて標識および細胞をそれぞれ強調する対象領域強調手段と、
該対象領域強調手段により強調された標識および細胞のそれぞれの特徴量に基づいて標識および細胞を抽出する対象領域抽出手段と、
該対象領域抽出手段により抽出された標識に基づいて、当該対象領域抽出手段により抽出された細胞の細胞状態を判定する細胞状態判定手段と、
該細胞状態判定手段による判定結果に基づいて前記細胞状態を識別して表示する細胞状態識別表示手段と、
を備えることを特徴とするバーチャル顕微鏡システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【公開番号】特開２０１１−２２１３１（Ｐ２０１１−２２１３１Ａ）
【公開日】平成２３年２月３日（２０１１．２．３）
【国際特許分類】
【出願番号】特願２０１０−１０５９７７（Ｐ２０１０−１０５９７７）
【出願日】平成２２年４月３０日（２０１０．４．３０）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【出願人】（０００１７３５８８）財団法人癌研究会 (34)
【Ｆターム（参考）】
【公開日】平成２３年２月３日（２０１１．２．３）
【国際特許分類】
【出願日】平成２２年４月３０日（２０１０．４．３０）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【出願人】（０００１７３５８８）財団法人癌研究会 (34)
【Ｆターム（参考）】
[ Back to top ]