説明

顕微鏡システム、標本観察方法およびプログラム

【課題】標本内の細胞における複数の標的分子の発現パターンを視認性良く表した画像を提示し、診断精度を向上させること。
【解決手段】色素量算出部457は、VS画像の画素毎に分子標的色素の色素量を算出する。細胞コンポーネント同定処理部458は、細胞コンポーネントを可視化する分子標的色素の色素量をもとに、細胞コンポーネントの同定を行う。標的分子発現部位抽出部460は、細胞コンポーネントの領域における複数の標的分子の発現部位を抽出する。細胞亜型設定部461は、複数の標的分子の発現の有無を組み合わせた細胞亜型を設定する。細胞亜型分類判定部462は、細胞領域に含まれる複数の標的分子の発現部位の組み合わせをもとにVS画像中の細胞領域を細胞亜型に分類する。表示画像生成部463は、細胞亜型に分類された細胞領域を識別表示したVS画像の表示画像を生成する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、顕微鏡を用いて標本を撮像した標本画像を取得し、取得した標本画像を表示して標本を観察する顕微鏡システム、標本観察方法およびプログラムに関するものである。
【背景技術】
【0002】
例えば病理診断では、臓器摘出や針生検によって得た組織検体を厚さ数ミクロン程度に薄切して標本を作成し、様々な所見を得るために光学顕微鏡を用いて拡大観察することが広く行われている。ここで、標本は光をほとんど吸収および散乱せず無色透明に近いため、観察に先立って色素による染色を施すのが一般的である。
【0003】
染色手法としては種々のものが提案されているが、特に組織標本に関しては、標本の形態を観察するための形態観察染色として、ヘマトキシリンおよびエオジンの2つの色素を用いるヘマトキシリン・エオジン染色(以下、「HE染色」と呼ぶ。)が標準的に用いられている。例えば、HE染色された標本をマルチバンド撮像し、標本位置の分光スペクトルを推定することで標本を染色している色素の色素量を算出(推定)して、表示用のRGB画像を合成する手法が開示されている(特許文献1,2,3等を参照)。なお、この他の形態観察染色としては、例えば細胞診では、パパニコロウ染色(Pap染色)等が知られている。
【0004】
また、病理診断では、標本に分子情報の発現を確認するための分子標的染色を施し、遺伝子やタンパクの発現異常といった機能異常の診断に用いている。例えば、IHC(immunohistochemistry:免疫組織化学)法、ICC(immunocytochemistry:免疫細胞化学)法、ISH(in situ hybridization)法等で標本を蛍光標識して蛍光観察し、あるいは酵素標識して明視野観察するといったことが行われている。ここで、蛍光標識による標本の蛍光観察では、例えば共焦点レーザ顕微鏡が使用される。この蛍光標識による観察では、感度の高いシャープな画像が得られ、標本を3次元的に観察し、あるいは標本を所望の方向から観察することができる。また、複数の標的分子(抗原)を同時に標識することができるといった利点がある。
【0005】
また、酵素標識による明視野観察(IHC法,ICC法,CISH法)では、光学顕微鏡を用いるため、その観察を形態観察と併せて行うことができる。
【0006】
一方、近年では、癌等の治療として、特定の分子を標的として作用する治療薬(抗体治療薬)を用いた分子標的治療と呼ばれる治療が行われており、治療効果と副作用の軽減効果とが期待されている。この分子標的治療による癌治療では、癌細胞に特異的な分子(抗原タンパク質)を標的とする抗体治療薬が用いられ、治療に先立って、例えば、細胞の表面、すなわち細胞膜上に抗体治療薬の標的分子となる抗原が発現しているか否かをIHC法等で観察し、適応患者の選択が行われている。この抗体治療薬として使用が認められているものとしては、例えば、乳癌に対する抗HER2抗体製剤であるトラスツズマブ(ハーセプチン(登録商標))や、大腸癌に対する抗EGFR抗体製剤であるセツキシマブ(アービタックス(登録商標))等が挙げられる。
【0007】
また、複数の標的分子(抗原)に対する抗体を作用させて各抗原を標識し、その発現の有無の組み合わせ(発現パターン)を評価する(抗体パネル評価)といったことも行われている。例えば、細胞膜上で発現している抗原の組み合わせを評価することによって、癌幹細胞の同定が行われている。具体例としては例えば、乳癌の診断では、細胞膜上でCD44分子が発現しており、かつ、細胞膜上でCD24分子が発現していない(あるいは発現の程度が低い)細胞を幹細胞として同定している。一方、大腸癌の診断では、細胞膜上でCD44分子およびCD133分子が発現している細胞を幹細胞として同定している。その他、原発巣不明癌における原発巣の推定(例えば大腸癌や乳癌、肺癌の上皮性癌の鑑別)や、B細胞リンパ腫とT細胞リンパ腫との鑑別、中皮腫の同定、扁平上皮細胞癌と腺癌との鑑別等、目的に応じた抗体を作用させて抗原を標識することで、各種抗体パネル評価が行われている。
【0008】
さらに、近年の乳癌治療においては、抗体治療薬を選択的に用いたターゲット治療が進んでおり、腫瘍部における複数の標的分子の発現パターンに応じて病型(細胞亜型)を「Luminal B」「Luminal A」「HER2 disease」「Basal like」と称す4つに分類し、治療法の基本的な選択をすることが一般的となっている(非特許文献1を参照)。例えば、ホルモン受容体であるエストロゲン受容体(以下、「ER」と略記する。)やプロゲステロン受容体(以下、「PgR」と略記する。)の細胞核上での発現の有無によってホルモン依存性に増殖する癌か否かを判断し、内分泌療法(ホルモン療法)の適用可否を選択する。また、HER2受容体(以下、「HER2」と略記する。)の細胞膜上での発現の有無に応じて抗HER2抗体製剤であるトラスツズマブ(ハーセプチン(登録商標))の適用可否を選択する。そして、ER、PgR、HER2のいずれも発現していない所謂トリプルネガティブ乳癌(Triple Negative Breast Cancer:TNBC」と呼ばれるタイプでは、化学療法を中心に治療を行う。
【先行技術文献】
【特許文献】
【0009】
【特許文献1】特開2008−51654号公報
【特許文献2】特開平7−120324号公報
【特許文献3】特表2002−521682号公報
【特許文献4】特開平9−281405号公報
【特許文献5】特開2006−343573号公報
【特許文献6】特開2009−175334号公報
【非特許文献】
【0010】
【非特許文献1】圭友会 浜松オンコロジーセンター/渡辺 亨/田原 梨絵,“乳癌;新しい病型分類と分子標的薬剤の使い方”,[平成22年5月7日検索]、インターネット<URL:http://www.cancertherapy.jp/molecule/2009_spring/06.html>
【発明の概要】
【発明が解決しようとする課題】
【0011】
例えば、分子標的染色によって標的分子を標識する場合、あるいは分子標的染色によって複数の標的分子を標識する場合、特許文献1,2,3等に開示されている技術を適用することで、標本を染色している色素(分子標的染色によって可視化される色素)毎に色素量を算出することができ、表示用に合成したRGB画像を表示装置上に表示して観察することができる。
【0012】
しかしながら、上記したように、癌等の診断・治療においては、複数の標的分子の発現パターンを観察・評価したい場合がある。例えば、乳癌治療では、細胞核上でのER,PgRの発現の有無および細胞膜上でのHER2の発現の有無によって定まる細胞亜型に応じて治療法を選択している。このような場合、特許文献1,2,3等の技術を用いて単に分子標的色素による染色状態を表しただけでは、標本内の各細胞がどの細胞亜型に該当するのかを識別するのは難しく、医師等のユーザは、RGB画像中の細胞の領域に順次着目して標的分子の発現パターンを確認しなければならなった。
【0013】
また、複数の標的分子の発現を可視化するために複数の分子標的染色を標本に施す場合、これら複数の分子標的色素の色が重畳されて表示されてしまい、視認性が劣化して診断効率が悪化するという問題もあった。
【0014】
本発明は、上記した従来の問題点に鑑みて為されたものであり、標本内の細胞における複数の標的分子の発現パターンを視認性良く表した画像を提示し、診断精度を向上させることができる顕微鏡システム、標本観察方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【0015】
上述した課題を解決し、目的を達成するため、本発明にかかる顕微鏡システムは、顕微鏡を用い、細胞を構成する1つ以上の細胞構成要素を可視化する要素特定用色素と、複数の標的分子を可視化する分子標的色素とによって染色された標本を撮像した標本画像を取得する画像取得手段と、前記標本画像の画素毎に、対応する標本上の位置を染色している前記要素特定用色素および前記分子標的色素の色素量を取得する色素量取得手段と、前記要素特定用色素の色素量をもとに、前記標本画像内の前記細胞構成要素の領域を特定する要素領域特定手段と、前記細胞構成要素の領域内の画素における前記分子標的色素の色素量をもとに、前記細胞構成要素上の前記複数の標的分子の発現部位を抽出する発現部位抽出手段と、前記複数の標的分子の発現の有無を組み合わせた標的分子の発現パターンを設定する発現パターン設定手段と、前記細胞の領域に含まれる前記複数の標的分子の発現部位の組み合わせをもとに、前記設定された標的分子の発現パターンに該当する細胞の領域を分類する発現パターン分類手段と、前記標的分子の発現パターンに分類された細胞の領域を他の細胞の領域と識別表示した表示画像を生成する表示画像生成手段と、前記表示画像を表示する処理を行う表示処理手段と、を備えることを特徴とする。
【0016】
また、本発明にかかる顕微鏡システムは、上記の発明において、前記発現パターン設定手段は、前記標的分子の発現パターンを複数設定し、前記発現パターン分類手段は、前記設定された複数の前記標的分子の発現パターンのそれぞれに該当する細胞の領域を分類し、前記表示画像生成手段は、前記複数の前記標的分子の発現パターンのそれぞれに分類された細胞の領域を、前記標的分子の発現パターン毎に識別表示して前記表示画像を生成することを特徴とする。
【0017】
また、本発明にかかる顕微鏡システムは、上記の発明において、前記標本は、所定の形態観察色素によって染色されており、前記色素量取得手段は、前記標本画像の画素毎に対応する標本上の位置を染色している前記形態観察色素の色素量をさらに取得し、前記表示画像生成手段は、前記標本画像の各画素における前記形態観察色素の色素量をもとに前記形態観察色素による前記標本の染色状態を表した画像を生成し、該画像中の前記標的分子の発現パターンに分類された細胞の領域の画素値を所定の表示色で置き換えて前記表示画像を生成することを特徴とする。
【0018】
また、本発明にかかる顕微鏡システムは、上記の発明において、少なくとも前記発現パターン分類手段によって前記標的分子の発現パターンに分類された前記細胞の領域の数、または、該細胞の領域の数の前記標本内に存在する前記細胞の総数に対する割合を算出する統計量算出手段を備えることを特徴とする。
【0019】
また、本発明にかかる顕微鏡システムは、上記の発明において、前記標本画像中の分類対象領域または非分類対象領域を設定する領域設定手段を備え、前記発現パターン分類手段は、前記分類対象領域内の細胞の領域または前記非分類対象領域外の細胞の領域について前記標的分子の発現パターンに分類することを特徴とする。
【0020】
また、本発明にかかる顕微鏡システムは、上記の発明において、前記標本は、エストロゲン受容体、プロゲステロン受容体およびHER2受容体を可視化する分子標的色素によって染色され、前記発現パターン設定手段は、前記エストロゲン受容体、前記プロゲステロン受容体および前記HER2受容体の発現の有無を組み合わせて前記標的分子の発現パターンを設定することを特徴とする。
【0021】
また、本発明にかかる顕微鏡システムは、上記の発明において、前記標本は、エストロゲン受容体、プロゲステロン受容体、HER2受容体およびKi−67を可視化する分子標的色素によって染色され、前記発現パターン設定手段は、前記エストロゲン受容体、前記プロゲステロン受容体、前記HER2受容体および前記Ki−67の発現の有無を組み合わせて前記標的分子の発現パターンを設定することを特徴とする。
【0022】
また、本発明にかかる顕微鏡システムは、上記の発明において、前記画像取得手段は、前記標本と対物レンズとを前記対物レンズの光軸と直交する面内で相対的に移動させながら、前記標本を部分毎に撮像して複数の標本画像を取得し、前記複数の標本画像を繋ぎ合せて1枚の標本画像を生成する標本画像生成手段を備えることを特徴とする。
【0023】
また、本発明にかかる標本観察方法は、顕微鏡を用い、細胞を構成する1つ以上の細胞構成要素を可視化する要素特定用色素と、複数の標的分子を可視化する分子標的色素とによって染色された標本を撮像した標本画像を取得する画像取得工程と、前記標本画像の画素毎に、対応する標本上の位置を染色している前記要素特定用色素および前記分子標的色素の色素量を取得する色素量取得工程と、前記要素特定用色素の色素量をもとに、前記標本画像内の前記細胞構成要素の領域を特定する要素領域特定工程と、前記細胞構成要素の領域内の画素における前記分子標的色素の色素量をもとに、前記細胞構成要素上の前記複数の標的分子の発現部位を抽出する発現部位抽出工程と、前記複数の標的分子の発現の有無を組み合わせた標的分子の発現パターンを設定する発現パターン設定工程と、前記細胞の領域に含まれる前記複数の標的分子の発現部位の組み合わせをもとに、前記設定された標的分子の発現パターンに該当する細胞の領域を分類する発現パターン分類工程と、前記標的分子の発現パターンに分類された細胞の領域を他の細胞の領域と識別表示した表示画像を生成する表示画像生成工程と、前記表示画像を表示する処理を行う表示処理工程と、を含むことを特徴とする。
【0024】
また、本発明にかかるプログラムは、コンピュータに、顕微鏡に対する動作指示を用い、細胞を構成する1つ以上の細胞構成要素を可視化する要素特定用色素と、複数の標的分子を可視化する分子標的色素とによって染色された標本を撮像した標本画像を取得する画像取得手順と、前記標本画像の画素毎に、対応する標本上の位置を染色している前記要素特定用色素および前記分子標的色素の色素量を取得する色素量取得手順と、前記要素特定用色素の色素量をもとに、前記標本画像内の前記細胞構成要素の領域を特定する要素領域特定手順と、前記細胞構成要素の領域内の画素における前記分子標的色素の色素量をもとに、前記細胞構成要素上の前記複数の標的分子の発現部位を抽出する発現部位抽出手順と、前記複数の標的分子の発現の有無を組み合わせた標的分子の発現パターンを設定する発現パターン設定手順と、前記細胞の領域に含まれる前記複数の標的分子の発現部位の組み合わせをもとに、前記設定された標的分子の発現パターンに該当する細胞の領域を分類する発現パターン分類手順と、前記標的分子の発現パターンに分類された細胞の領域を他の細胞の領域と識別表示した表示画像を生成する表示画像生成手順と、前記表示画像を表示する処理を行う表示処理手順と、を実行させることを特徴とする。
【発明の効果】
【0025】
本発明では、標本画像の画素毎に対応する標本上の位置を染色している1つ以上の細胞構成要素を可視化する要素特定用色素および複数の標的分子を可視化する分子標的色素の色素量を取得し、細胞構成要素の領域内の画素の分子標的色素の色素量をもとに、細胞構成要素の領域における複数の標的分子の発現部位を抽出することとした。また、複数の標的分子の発現の有無を組み合わせた標的分子の発現パターンを設定し、細胞の領域に含まれる複数の標的分子の発現部位の組み合わせをもとに設定した標的分子の発現パターンに該当する細胞の領域を分類することとした。そして、設定した標的分子の発現パターンに分類した細胞の領域を他の細胞の領域と識別表示した表示画像を生成することとした。これによれば、標本内の細胞における複数の標的分子の発現パターンを視認性良く表した表示画像を提示することができ、診断精度を向上させることが可能となる。
【図面の簡単な説明】
【0026】
【図1】図1は、細胞亜型の一例を示す図である。
【図2】図2は、実施の形態1における顕微鏡システムの全体構成例を説明する模式図である。
【図3】図3は、実施の形態1におけるホストシステムの主要な機能構成を示すブロック図である。
【図4】図4は、フィルタユニットの構成を説明する模式図である。
【図5】図5は、一方の光学フィルタの分光透過率特性を示す図である。
【図6】図6は、他方の光学フィルタの分光透過率特性を示す図である。
【図7】図7は、R,G,B各バンドの分光感度の例を示す図である。
【図8】図8は、擬似表示色の分光透過率特性の一例を示す図である。
【図9】図9は、顕微鏡システムの動作を示すフローチャートである。
【図10】図10は、スライドガラス標本の一例を示す図である。
【図11】図11は、標本領域画像の一例を示す図である。
【図12】図12は、フォーカスマップのデータ構成例を説明する図である。
【図13】図13は、VS画像ファイルのデータ構成例を説明する図である。
【図14】図14は、染色情報のデータ構成例を説明する図である。
【図15】図15は、VS画像データのデータ構成例を説明する図である。
【図16】図16は、実施の形態1におけるVS画像表示処理の処理手順を示すフローチャートである。
【図17】図17は、色素量算出処理の処理手順を示すフローチャートである。
【図18】図18は、色素登録画面の一例を示す図である。
【図19】図19は、同定用色素選択画面の一例を示す図である。
【図20】図20は、細胞コンポーネント同定処理の処理手順を示すフローチャートである。
【図21】図21は、細胞核のマップデータのデータ構成例を説明する模式図である。
【図22】図22は、細胞膜のマップデータのデータ構成例を説明する模式図である。
【図23】図23は、細胞核の形態特徴データのデータ構成例を説明する図である。
【図24】図24は、細胞膜の形態特徴データのデータ構成例を説明する図である。
【図25】図25は、同定コンポーネント情報のデータ構成例を説明する図である。
【図26】図26は、同定コンポーネント一覧のデータ構成例を説明する図である。
【図27】図27は、細胞一覧テーブルのデータ構成例を説明する図である。
【図28】図28は、抽出条件設定画面の一例を示す図である。
【図29】図29は、実施の形態1における標的分子発現部位抽出処理の原理を説明する説明図である。
【図30】図30は、標的分子発現部位情報のデータ構成例を説明する図である。
【図31】図31は、名称設定画面の一例を示す図である。
【図32】図32は、発現パターン設定画面の一例を示す図である。
【図33】図33は、細胞亜型設定情報のデータ構成例を説明する図である。
【図34】図34は、実施の形態1における細胞亜型分類処理の原理を説明する説明図である。
【図35】図35は、細胞亜型分類テーブルのデータ構成例を説明する図である。
【図36】図36は、表示画像生成処理の処理手順を示すフローチャートである。
【図37】図37は、表示色選択画面の一例を示す図である。
【図38】図38は、VS画像観察画面の一例を示す図である。
【図39】図39は、表示切換ボタンの押下によって切り換えられるメイン画面の一例を示す図である。
【図40】図40は、変形例における細胞亜型の一例を示す図である。
【図41】図41は、実施の形態2におけるVS画像表示処理部の機能ブロックを示す図である。
【図42】図42は、実施の形態2におけるVS画像表示処理の処理手順を示すフローチャートである。
【図43】図43は、統計量算出処理の処理手順を示すフローチャートである。
【図44】図44は、実施の形態3におけるVS画像表示処理部の機能ブロックを示す図である。
【図45】図45は、実施の形態3におけるVS画像表示処理の処理手順を示すフローチャートである。
【図46】図46は、変形例における細胞亜型の一例を示す図である。
【図47】図47は、DAPIの励起波長特性および蛍光波長特性を示す図である。
【図48】図48は、Qdot(登録商標)545,605,655の蛍光波長特性を示す図である。
【発明を実施するための形態】
【0027】
以下、図面を参照し、本発明の好適な実施の形態について詳細に説明する。なお、この実施の形態によって本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。
【0028】
顕微鏡を用いて標本を観察する場合、1度に観察可能な範囲(視野範囲)は、主に対物レンズの倍率によって決定される。ここで、対物レンズの倍率が高いほど高精細な画像が得られる反面、視野範囲が狭くなる。この種の問題を解決するため、従来から、標本を載置する電動ステージを動かす等して視野範囲を移動させながら、倍率の高い対物レンズを用いて標本像を部分毎に撮像し、撮像した部分毎の画像を繋ぎ合わせることによって高精細でかつ広視野の画像を生成するといったことが行われており(例えば特許文献4や特許文献5を参照)、バーチャル顕微鏡システムと呼ばれている。以下、バーチャル顕微鏡システムで生成される高精細かつ広視野の画像(標本画像)を、「VS画像」と呼ぶ。
【0029】
このバーチャル顕微鏡システムによれば、実際に標本が存在しない環境であっても観察が行える。また、生成したVS画像をネットワークを介して閲覧可能に公開しておけば、時間や場所を問わずに標本の観察が行える。このため、バーチャル顕微鏡システムは、病理診断の教育現場、あるいは遠隔地に在る病理医間のコンサルテーション等で活用されている。以下では、本発明をこのバーチャル顕微鏡システムに適用した場合を例にとって説明する。
【0030】
(実施の形態1)
実施の形態1は、所定の細胞コンポーネント上に発現する所定の標的分子の有無の組み合わせによって定義される細胞亜型を事前に設定し、設定した細胞亜型に従ってVS画像中に映る細胞を分類するものである。ここで、細胞コンポーネントとは、細胞を構成する細胞構成要素である細胞核や細胞膜、細胞質等を包括した呼称である。
【0031】
図1は、実施の形態1で例示する細胞亜型を示す図である。非特許文献1を参照して上記したように、乳癌の治療においては、ホルモン受容体であるエストロゲン受容体(ER)やプロゲステロン受容体(PgR)、あるいはHER2受容体(HER2)の発現に着目し、これら標的分子の発現パターンを4つの細胞亜型に分類することで治療法の選択が行われている。実施の形態1では、VS画像中に映る細胞をこの4つの細胞亜型に分類する場合を例にとって説明する。
【0032】
具体的には、図1に示すように、細胞核上でホルモン受容体(ERおよび/またはPgR)が発現しており陽性(+)で、かつ、細胞膜上でHER2が発現しており陽性(+)である細胞を「Luminal B」と称す細胞亜型に分類する。非特許文献1に開示されているように、乳癌症例の約10%がこの「Luminal B」に該当し、内分泌療法あるいは抗HER2療法が優先的に使用され、化学療法の効果も期待できるとされている。
【0033】
また、細胞核上でホルモン受容体(ERおよび/またはPgR)が発現しており陽性(+)である一方、細胞膜上でHER2が発現していないあるいは発現の程度が低く陰性(−)である細胞を「Luminal A」と称す細胞亜型に分類する。非特許文献1に開示されているように、乳癌症例の約70%がこの「Luminal A」に該当し、内分泌療法の効果が期待できるとされている。一方で、化学療法の効果はあまり期待できないという見解がある。
【0034】
また、細胞核上でホルモン受容体(ERおよび/またはPgR)が発現していないあるいは発現の程度が低く陰性(−)である一方、細胞膜上でHER2が発現しており陽性(+)である細胞を「HER2 disease」と称す細胞亜型に分類する。非特許文献1に開示されているように、乳癌症例の約10%がこの「HER2 disease」に該当し、抗HER2療法が優先的に使用され、化学療法の効果も期待できるとされている。
【0035】
そして、細胞核上でホルモン受容体(ERおよび/またはPgR)が発現していないあるいは発現の程度が低く陰性(−)であり、かつ、細胞膜上でHER2が発現していないあるいは発現の程度が低く陰性(−)である細胞を「Basal like」と称す細胞亜型に分類する。非特許文献1に開示されているように、乳癌症例の約10%がこの「Basal like」に該当する。上記したように、トリプルネガティブ乳癌と呼ばれるこのタイプは、効果の望める薬物療法は化学療法のみとされている。
【0036】
次に、実施の形態1で観察・診断対象とする標本(以下、「対象標本」と呼ぶ。)について説明する。対象標本は、複数の色素で多重染色された多重染色標本である。より具体的には、対象標本は、その形態を観察するための形態観察染色と、分子情報の発現を確認するための分子標的染色とを施したものであり、組織診用の標本および細胞診用の標本を含む。また、細胞診では、例えば細胞集塊の立体構造等の細胞内の構造を観察するためにセルブロック法によって標本(セルブロック)を作製する場合があるが、細胞診用の標本は、このセルブロックを含む。
【0037】
形態観察染色は、細胞核や細胞質、結合組織等を染色して可視化するものである。この形態観察染色によれば、組織を構成する要素の大きさや位置関係等を把握でき、標本の状態を形態学的に判断することが可能となる。ここで、形態観察染色としては、上記したHE染色やPap染色の他、ヘマトキシリン染色(E染色)、ギムザ染色、エラスチカワンギーソン染色といった特殊染色、HE染色と併せて弾性繊維を特異的に染色するビクトリア青染色を施す3重染色等がある。なお、Pap染色やギムザ染色は、細胞診用標本を対象とした染色手法である。
【0038】
一方、分子標的染色の中のIHC法又はICC法は、局在を検討したい物質(主にタンパク質)に対する特異的な抗体を組織に作用させてその物質に結合させることにより、その状態を可視化するものである。例えば、抗原に結合した抗体の局在を酵素反応による発色によって可視化する酵素抗体法が知られており、酵素としては、例えばペルオキシダーゼやアルカリホスファターゼが汎用的に用いられている。
【0039】
すなわち、以下の説明において標本を染色する色素とは、染色によって可視化される色成分と、例えば酵素反応による発色等によって可視化される色成分とを含む意味である。以下、形態観察染色によって可視化される色素を「形態観察色素」と呼び、分子標的染色によって可視化される色素を「分子標的色素」と呼び、実際に対象標本を染色している色素を「染色色素」と呼ぶ。
【0040】
また、実施の形態1では、前述のように対象標本を染色している染色色素である形態観察染色または分子標的染色のうちの少なくともいずれか1つが、細胞コンポーネントを同定するための細胞コンポーネント同定用染色に相当する。この細胞コンポーネント同定用染色は、細胞コンポーネントである細胞核、細胞膜または細胞質を特異的に染色するものであり、以下、細胞核を同定するための細胞コンポーネント同定用染色によって可視化される染色色素のことを適宜「細胞核同定用色素」と呼び、細胞膜を同定するための細胞コンポーネント同定用染色によって可視化される染色色素のことを適宜「細胞膜同定用色素」と呼び、細胞質を同定するための細胞コンポーネント同定用染色によって可視化される色素染色色素のことを適宜「細胞質同定用色素」と呼び、細胞核同定用色素と細胞膜同定用色素と細胞質同定用色素とを包括して「細胞コンポーネント同定用色素」と呼ぶ。この細胞コンポーネント同定用色素は、要素特定用色素に相当する。
【0041】
より具体的には、実施の形態1で観察・診断対象として例示する対象標本は、形態観察染色としてヘマトキシリン(以下、「H色素」と呼ぶ。)およびエオジン(以下、「E色素」と呼ぶ。)の2つの色素を用いたHE染色を施した組織標本である。加えて、この組織標本に、分子標的染色として、エストロゲン受容体(ER)を認識する抗ER抗体およびプロゲステロン受容体(PgR)を認識する抗PgR抗体を用い、DAB反応による発色(以下、「DAB色素」と呼ぶ。)で標識を施したものである。また、HER2受容体(HER2)を認識する抗HER2抗体を用い、Vector Laboratories社製の「Vector VIP基質」による発色(以下、「VV色素」と呼ぶ。)で標識を施したものである。さらに、上皮細胞の細胞膜上に発現する糖蛋白の一種である上皮特異抗原ESA(Epithelial Specific Antigen)を認識するESA抗体を用い、Vector Laboratories社製の「Vector NovaRed基質」による発色(以下、「VR色素」と呼ぶ。)で標識を施したものである。すなわち、実施の形態1において観察・診断対象とする対象標本の染色色素は、H色素、E色素、DAB色素、VV色素およびVR色素の5種類であり、H色素によって細胞核が青紫色に染色され、E色素によって細胞質や結合組織が薄赤色に染色され、DAB色素によってERおよびPgRが茶褐色に標識され、VV色素によってHER2が紫色に標識され、VR色素によって上皮細胞の細胞膜が赤レンガ色に標識されたものである。そして、実施の形態1では、これら5つの染色色素のうちのH色素を細胞核同定用色素、VR色素を細胞膜同定用色素としてそれぞれ用い、ER,PgRやHER2の発現パターン、具体的には、細胞核上でのERおよび/またはPgRの発現の有無と、細胞膜上でのHER2の発現の有無との組み合わせに従ってVS画像中に映る対象標本内の細胞を事前に設定される細胞亜型に分類する場合を例にとって説明する。
【0042】
なお、本発明は、酵素抗体法によって染色された標本を観察する場合に限定されるものではなく、例えばCISH法で標識された標本にも適用できる。あるいは、IHC法およびCISH法で同時標識された(多重に染色された)標本にも適用できる。
【0043】
次に、実施の形態1の顕微鏡システム1の構成について説明する。図2は、顕微鏡システム1の全体構成例を説明する模式図である。また、図3は、顕微鏡システム1を構成するホストシステム4の主要な機能構成を示すブロック図である。図2に示すように、顕微鏡システム1は、顕微鏡装置2とホストシステム4とがデータの送受可能に接続されて構成される。以下、図2に示す対物レンズ271の光軸方向をZ方向とし、Z方向と垂直な平面をXY平面として定義する。
【0044】
顕微鏡装置2は、対象標本Sが載置される電動ステージ20と、側面視略コの字状を有し、電動ステージ20を支持するとともにレボルバ27を介して対物レンズ271を保持する顕微鏡本体23と、顕微鏡本体23の底部後方(図2の右方)に配設された透過照明用光源281と、顕微鏡本体23の上部後方(図2の右方)に配設された落射照明用光源283と、顕微鏡本体23の上部に載置された鏡筒29とを備える。また、鏡筒29には、対象標本Sの標本像を目視観察するための双眼部31と、対象標本Sの標本像を撮像するためのTVカメラ32が取り付けられている。
【0045】
また、顕微鏡装置2は、明視野観察と蛍光観察とに共用されるものであり、蛍光観察用の観察キューブ(蛍光キューブ)261を観察光の光路上(詳細には、観察光の光路が落射照明用光源283から射出された照明光(以下、「落射照明光」と呼ぶ。)の光路と交差する位置)に挿脱自在に配置するキューブ切換部26を備える。このキューブ切換部26は、観察キューブを装着するための装着部を2つ備え、一方の装着部において蛍光キューブ261が装着され、他方の装着部は、観察キューブが未装着の空穴265として構成されている。そして、キューブ切換部26は、明視野観察時には、空穴265を観察光の光路上(前述の交差位置)に配置する一方、蛍光観察時には蛍光キューブ261を観察光の光路上(前述の交差位置)に配置する。ここで、蛍光キューブ261は、特定の励起波長の光(励起光)を透過させる励起フィルター262と、この励起光によって励起された対象標本Sから発せられる蛍光を透過させる吸収フィルター263と、励起光を反射し、蛍光を透過させるダイクロイックミラー264とを設置してユニット化したものである。
【0046】
電動ステージ20は、XYZ方向に移動自在に構成されている。具体的には、電動ステージ20は、モータ211およびこのモータ211の駆動を制御するXY駆動制御部213によってXY平面内で移動自在である。XY駆動制御部213は、顕微鏡コントローラ33の制御のもと、図示しないXY位置の原点センサによって電動ステージ20のXY平面における所定の原点位置を検知し、この原点位置を基点としてモータ211の駆動量を制御することによって、対象標本S上の観察箇所を移動させる。そして、XY駆動制御部213は、観察時の電動ステージ20のX位置およびY位置を適宜顕微鏡コントローラ33に出力する。また、電動ステージ20は、モータ221およびこのモータ221の駆動を制御するZ駆動制御部223によってZ方向に移動自在である。Z駆動制御部223は、顕微鏡コントローラ33の制御のもと、図示しないZ位置の原点センサによって電動ステージ20のZ方向における所定の原点位置を検知し、この原点位置を基点としてモータ221の駆動量を制御することによって、所定の高さ範囲内の任意のZ位置に対象標本Sを焦準移動させる。そして、Z駆動制御部223は、観察時の電動ステージ20のZ位置を適宜顕微鏡コントローラ33に出力する。
【0047】
レボルバ27は、顕微鏡本体23に対して回転自在に設けられ、対物レンズ271を対象標本Sの上方に配置する。対物レンズ271は、レボルバ27に対して倍率(観察倍率)の異なる他の対物レンズとともに交換自在に装着されており、レボルバ27の回転に応じて観察光の光路上に挿入されて対象標本Sの観察に用いる対物レンズ271が択一的に切り換えられるようになっている。なお、実施の形態1では、レボルバ27は、対物レンズ271として、例えば2倍,4倍といった比較的倍率の低い対物レンズ(以下、適宜「低倍対物レンズ」と呼ぶ。)と、10倍,20倍,40倍といった低倍対物レンズの倍率に対して高倍率である対物レンズ(以下、適宜「高倍対物レンズ」と呼ぶ。)とを少なくとも1つずつ保持していることとする。ただし、低倍および高倍とした倍率は一例であり、少なくとも一方の倍率が他方の倍率に対して高ければよい。
【0048】
顕微鏡本体23は、底部において対象標本Sを透過照明するための照明光学系(透過照明光学系)を内設するとともに、上部において対象標本Sを落射照明するための照明光学系(落射照明光学系)を内設している。
【0049】
対象標本Sを透過照明するための透過照明光学系は、透過照明用光源281から射出された照明光(以下、「透過照明光」と呼ぶ。)を集光するコレクタレンズ241、透過用フィルタユニット242、透過用視野絞り243、透過用開口絞り244、透過照明光の光路を対物レンズ271の光軸に沿って偏向させる折曲げミラー244、コンデンサ光学素子ユニット246、トップレンズユニット247等が、透過照明光の光路に沿って適所に配置されて構成される。透過照明用光源281からの透過照明光は、この透過照明光学系によって対象標本Sに照射され、観察光として対物レンズ271に入射する。
【0050】
一方、対象標本Sを落射照明するための落射照明光学系は、コレクタレンズ251、落射用フィルタユニット252、落射シャッタ253、落射用視野絞り254、落射用開口絞り255等が、落射照明光の光路に沿って適所に配置されて構成される。ここで、落射照明光学系を構成する落射シャッタ253は、透過照明光学系によって対象標本Sを照明する場合に落射照明光の光路上に挿入され、落射照明光を遮断する。一方、落射照明光学系によって対象標本Sを照明する場合には、落射シャッタ253は、落射照明光の光路上から退避する。
【0051】
また、顕微鏡本体23は、その上部においてフィルタユニット30を内設している。フィルタユニット30は、標本像として結像する光の波長帯域を所定範囲に制限するための光学フィルタ303を回転自在に保持し、この光学フィルタ303を、適宜対物レンズ271後段において観察光の光路上に挿入する。対物レンズ271を経た観察光は、このフィルタユニット30を経由して鏡筒29に入射する。
【0052】
鏡筒29は、フィルタユニット30を経た観察光の光路を切り換えて双眼部31またはTVカメラ32へと導くビームスプリッタ291を内設している。対象標本Sの標本像は、このビームスプリッタ291によって双眼部31内に導入され、接眼レンズ311を介して検鏡者に目視観察される。あるいはTVカメラ32によって撮像される。TVカメラ32は、標本像(詳細には対物レンズ271の視野範囲)を結像するCCDやCMOS等の撮像素子を備えて構成され、標本像を撮像し、標本像の画像データをホストシステム4に出力する。
【0053】
実施の形態1では、以上のように構成される顕微鏡装置2において、キューブ切換部26が空穴265を観察光の光路上に配置し、透過照明用光源281からの透過照明光を透過照明光学系によって対象標本Sに照射して、対象標本Sの明視野観察を行う。
【0054】
ここで、フィルタユニット30について詳細に説明する。フィルタユニット30は、TVカメラ32によって標本像をマルチバンド撮像する際に用いられる。図4は、フィルタユニット30の構成を説明する模式図である。図4に示すフィルタユニット30は、光学素子を装着するための装着穴が例えば3つ形成された回転式の光学フィルタ切換部301を有し、この3つの装着穴のうちの2つにそれぞれ異なる分光透過率特性を有する2枚の光学フィルタ303(303a,303b)が装着され、残りの1つの穴が空穴305として構成されている。
【0055】
図5は、一方の光学フィルタ303aの分光透過率特性を示す図であり、図6は、他方の光学フィルタ303bの分光透過率特性を示す図である。図5,6に示すように、各光学フィルタ303a,303bは、それぞれTVカメラ32のR,G,B各バンドを2分割する分光特性を有している。対象標本Sをマルチバンド撮像する場合は先ず、光学フィルタ切換部301を回転させて光学フィルタ303aを観察光の光路上に挿入し、TVカメラ32によって標本像の第1の撮像を行う。次いで、光学フィルタ切換部301の回転によって光学フィルタ303bを観察光の光路上に挿入し、TVカメラ32によって標本像の第2の撮像を行う。この第1の撮像及び第2の撮像によって、それぞれ3バンドの画像が得られ、双方を合わせることによって6バンドのマルチバンド画像(分光スペクトル画像)が得られる。
【0056】
このように、フィルタユニット30を用いて標本像をマルチバンド撮像する場合には、透過照明用光源281から射出されて透過照明光学系によって対象標本Sに照射された透過照明光は、観察光として対物レンズ271に入射し、その後光学フィルタ303aまたは光学フィルタ303bを経由してTVカメラ32の撮像素子上に結像する。図7は、標本像をTVカメラ32で撮像する際のR,G,B各バンドの分光感度の例を示す図である。
【0057】
なお、通常の撮像を行う場合(標本像のRGB画像を撮像する場合)には、図4の光学フィルタ切換部301を回転させて空穴305を観察光の光路上に配置すればよい。また、ここでは、光学フィルタ303a,303bを対物レンズ271後段に配置する場合を例示したが、これに限定されるものではなく、透過照明用光源281からTVカメラ32に至る光路上のいずれかの位置に配置することとしてよい。また、光学フィルタの数は2枚に限定されず、適宜3枚以上の光学フィルタを用いてフィルタユニットを構成してよく、マルチバンド画像のバンド数も6バンドに限定されるものではない。例えば、特許文献1に開示されている技術を用い、16枚のバンドパスフィルタを切り換えながら面順次方式でマルチバンド画像を撮像し、16バンドのマルチバンド画像を撮像するようにしてもよい。また、マルチバンド画像を撮像する構成は、光学フィルタを切り換える手法に限定されるものではない。例えば、複数のTVカメラを用意する。そして、ビームスプリッタ等を介して各TVカメラに観察光を導き、分光特性を相補的に補完する結像光学系を構成してもよい。これによれば、各TVカメラで同時に標本像を撮像し、これらを合わせることによって1度にマルチバンド画像が得られるので、処理の高速化が図れる。
【0058】
そして、顕微鏡装置2は、図2に示すように、顕微鏡コントローラ33とTVカメラコントローラ34とを備える。顕微鏡コントローラ33は、ホストシステム4の制御のもと、顕微鏡装置2を構成する各部の動作を統括的に制御する。例えば、顕微鏡コントローラ33は、レボルバ27を回転させて観察光の光路上に配置する対物レンズ271を切り換える処理や、切り換えた対物レンズ271の倍率等に応じた透過照明用光源281あるいは落射照明用光源283の調光制御や各種光学素子の切り換え、あるいはXY駆動制御部213やZ駆動制御部223に対する電動ステージ20の移動指示等、対象標本Sの観察に伴う顕微鏡装置2の各部の調整を行うとともに、各部の状態を適宜ホストシステム4に通知する。TVカメラコントローラ34は、ホストシステム4の制御のもと、自動ゲイン制御のON/OFF切換、ゲインの設定、自動露出制御のON/OFF切換、露光時間の設定等を行ってTVカメラ32を駆動し、TVカメラ32の撮像動作を制御する。
【0059】
一方、ホストシステム4は、入力部41、表示部43、処理部45、記録部47等を備える。
【0060】
入力部41は、例えば、キーボードやマウス、タッチパネル、各種スイッチ等によって実現されるものであり、操作入力に応じた操作信号を処理部45に出力する。表示部43は、LCDやELディスプレイ等の表示装置によって実現されるものであり、処理部45から入力される表示信号をもとに各種画面を表示する。
【0061】
処理部45は、CPU等のハードウェアによって実現される。この処理部45は、入力部41から入力される入力信号や、顕微鏡コントローラ33から入力される顕微鏡装置2各部の状態、TVカメラ32から入力される画像データ、記録部47に記録されるプログラムやデータ等をもとにホストシステム4を構成する各部への指示やデータの転送等を行い、あるいは顕微鏡コントローラ33やTVカメラコントローラ34に対する顕微鏡装置2各部の動作指示を行い、顕微鏡システム1全体の動作を統括的に制御する。そして例えば、処理部45は、電動ステージ20をZ方向に移動させながら、TVカメラ32から入力される画像データをもとに各Z位置における画像のコントラストを評価し、合焦している焦点位置(合焦位置)を検出するAF(自動焦点)の処理を行う。また、処理部45は、TVカメラ32から入力される画像データの記録部47への記録処理や表示部43への表示処理に際し、JPEGやJPEG2000等の圧縮方式に基づく圧縮処理や伸張処理を行う。この処理部45は、VS画像生成部451と、表示処理手段としてのVS画像表示処理部454とを備える。
【0062】
VS画像生成部451は、標本像の低解像画像および高解像画像を取得してVS画像を生成する。ここで、VS画像とは、顕微鏡装置2によって撮像した1枚または2枚以上の画像を繋ぎ合せて生成した画像のことであるが、以下では、高倍対物レンズを用いて対象標本Sを部分毎に撮像した複数の高解像画像を繋ぎ合せて生成した画像であって、対象標本Sの全域を映した広視野でかつ高精細のマルチバンド画像のことをVS画像と呼ぶ。
【0063】
このVS画像生成部451は、低解像画像取得処理部452と、画像取得手段および標本画像生成手段としての高解像画像取得処理部453とを含む。低解像画像取得処理部452は、顕微鏡装置2各部の動作指示を行って標本像の低解像画像を取得する。高解像画像取得処理部453は、顕微鏡装置2各部の動作指示を行って標本像の高解像画像を取得する。ここで、低解像画像は、対象標本Sの観察に低倍対物レンズを用い、RGB画像として取得される。これに対し、高解像画像は、対象標本Sの観察に高倍対物レンズを用い、マルチバンド画像として取得される。
【0064】
VS画像表示処理部454は、VS画像をもとに対象標本S上の各標本位置を染色している染色色素毎の色素量を算出し、VS画像の表示用のRGB画像(表示画像)を生成して表示部43に表示する処理を行う。このVS画像表示処理部454は、染色色素設定部455と、細胞コンポーネント同定用色素設定部456と、色素量取得手段としての色素量算出部457と、要素領域特定手段としての細胞コンポーネント同定処理部458と、細胞認識部459と、発現部位抽出手段としての標的分子発現部位抽出部460と、発現パターン設定手段としての細胞亜型設定部461と、発現パターン分類手段としての細胞亜型分類判定部462と、表示画像生成手段としての表示画像生成部463とを含む。
【0065】
染色色素設定部455は、入力部41を介してユーザによる染色色素の登録操作を受け付け、操作入力に従って染色色素を設定する。細胞コンポーネント同定用色素設定部456は、入力部41を介してユーザによる細胞コンポーネント同定用色素の選択操作を受け付け、操作入力に従って細胞コンポーネント同定用色素を設定する。
【0066】
色素量算出部457は、VS画像を構成する画素毎に対応する対象標本S上の各標本位置における分光透過率を推定し、推定した分光透過率(推定スペクトル)をもとに各標本位置における染色色素毎の色素量を算出する。細胞コンポーネント同定処理部458は、細胞コンポーネント同定用色素設定部456によって細胞コンポーネント同定用色素が設定された細胞コンポーネントの同定を行う。
【0067】
細胞認識部459は、細胞コンポーネント同定処理部458によって同定された細胞コンポーネントの領域をもとに、VS画像中の細胞の領域(細胞領域)を認識する。標的分子発現部位抽出部460は、入力部41を介してユーザによる抽出条件の設定操作を受け付け、操作入力に従って標的部位の抽出条件を設定するとともに、設定した抽出条件を満たすVS画像内の標的分子発現部位の領域を抽出する。
【0068】
細胞亜型設定部461は、入力部41を介してユーザによる細胞亜型の設定操作を受け付け、操作入力に従って複数の標的分子の発現の有無を組み合わせた標的分子の発現パターンを細胞亜型として設定する。細胞亜型分類判定部462は、VS画像中の細胞領域毎に標的分子の発現パターンを判定し、各細胞領域をその標的分子の発現パターンに該当する細胞亜型に分類する。各細胞領域における標的分子の発現パターンは、細胞領域に含まれる標的分子発現部位の組み合わせによって判定する。
【0069】
表示画像生成部463は、表示対象の染色色素および/または細胞亜型を表したVS画像の表示画像を生成し、表示部43に表示する処理を行う。表示対象は、入力部41を介してユーザによる表示対象の染色色素および/または細胞亜型の選択操作を受け付け、操作入力に従って選択する。表示対象として染色色素が選択された場合には、表示画像生成部463は、選択された染色色素の染色状態を表した表示画像を生成する。また、表示対象として細胞亜型が選択された場合には、表示画像生成部463は、選択された細胞亜型に分類された細胞領域を識別表示した表示画像を生成する。
【0070】
記録部47は、更新記憶可能なフラッシュメモリ等のROMやRAMといった各種ICメモリ、内蔵或いはデータ通信端子で接続されたハードディスク、CD−ROM等の記憶媒体およびその読書装置等によって実現されるものである。この記録部47には、ホストシステム4を動作させ、このホストシステム4が備える種々の機能を実現するためのプログラムや、このプログラムの実行中に使用されるデータ等が記録される。
【0071】
そして、記録部47には、処理部45をVS画像生成部451として機能させて実施の形態1のVS画像生成処理を実現するためのVS画像生成プログラム471と、処理部45をVS画像表示処理部454として機能させてVS画像表示処理を実現するためのVS画像表示処理プログラム473とが記録される。また、記録部47には、VS画像ファイル5が記録される。このVS画像ファイル5の詳細については後述する。
【0072】
また、記録部47には、擬似表示色データ475が記録される。図8は、擬似表示色の分光透過率特性(スペクトル)の一例を示す図であり、図8では、2種類の擬似表示色C1および擬似表示色C2のスペクトルとともに、染色色素であるH色素、E色素およびDAB色素のスペクトル(VV色素およびVR色素のスペクトルについては不図示)を示している。実施の形態1では、図8にそれぞれ実線で示す擬似表示色C1や擬似表示色C2のように、各染色色素のスペクトルとは異なるスペクトルであって、例えば各染色色素と比べて彩度の高いスペクトルを有する擬似表示色のスペクトルを用意する。そして、擬似表示色データ475として予め記録部47に記録しておき、この擬似表示色のスペクトルをユーザ操作に応じて適宜染色色素のスペクトルとして用いる。
【0073】
なお、ホストシステム4は、CPUやビデオボード、メインメモリ等の主記憶装置、ハードディスクや各種記憶媒体等の外部記憶装置、通信装置、表示装置や印刷装置等の出力装置、入力装置、各部を接続し、あるいは外部入力を接続するインターフェース装置等を備えた公知のハードウェア構成で実現でき、例えばワークステーションやパソコン等の汎用コンピュータを利用することができる。
【0074】
次に、実施の形態1におけるVS画像生成処理およびVS画像表示処理について順番に説明する。先ず、VS画像生成処理について説明する。図9は、ホストシステム4の処理部45がVS画像生成処理を行うことによって実現される顕微鏡システム1の動作を示すフローチャートである。なお、ここで説明する顕微鏡システム1の動作は、VS画像生成部451が記録部47に記録されたVS画像生成プログラム471を読み出して実行することによって実現される。
【0075】
図9に示すように、先ずVS画像生成部451の低解像画像取得処理部452が、対象標本Sの観察に用いる対物レンズ271を低倍対物レンズに切り換える指示を顕微鏡コントローラ33に出力する(ステップa1)。これに応答して顕微鏡コントローラ33は、必要に応じてレボルバ27を回転させ、低倍対物レンズを観察光の光路上に配置する。
【0076】
続いて、低解像画像取得処理部452は、フィルタユニット30を空穴305に切り換える指示を顕微鏡コントローラ33に出力する(ステップa3)。これに応答して、顕微鏡コントローラ33は、必要に応じてフィルタユニット30の光学フィルタ切換部301を回転させ、空穴305を観察光の光路上に配置する。
【0077】
続いて、低解像画像取得処理部452は、顕微鏡コントローラ33やTVカメラコントローラ34に対する顕微鏡装置2各部の動作指示を行って、標本像の低解像画像(RGB画像)を取得する(ステップa5)。
【0078】
図10は、電動ステージ20上に載置されるスライドガラス標本6の一例を示す図である。図2に示した電動ステージ20上の対象標本Sは、実際には、図10に示すように、スライドガラス60上に対象標本Sを載置したスライドガラス標本6として電動ステージ20上に載置される。対象標本Sは、スライドガラス60上の予め定められた所定の領域(例えば、スライドガラス60の図10に向かって左側の例えば縦:25mm×横:50mmの領域)である標本サーチ範囲61に載置されるようになっている。そして、このスライドガラス60には、標本サーチ範囲61に載置した対象標本Sに関する情報を記載したシール63が予め定められた所定の領域(例えば標本サーチ範囲61の右側の領域)に貼付される。このシール63には、例えば、対象標本Sを特定するための識別情報であるスライド標本番号を所定の規格に従ってコード化したバーコードが印字され、顕微鏡システム1を構成する図示しないバーコードリーダによって読み取られるようになっている。
【0079】
図9のステップa5の低解像画像取得処理部452による動作指示に応答して、顕微鏡装置2は、図10に示すスライドガラス60の標本サーチ範囲61の画像を撮像する。具体的には、ステップa1で切り換えた低倍対物レンズの倍率に応じて定まる視野範囲(換言すると、対象標本Sの観察に低倍対物レンズを用いたときのTVカメラ32の撮像範囲)のサイズをもとに標本サーチ範囲61を分割し、分割した区画サイズに従って電動ステージ20をXY平面内で移動させながら、標本サーチ範囲61の標本像を区画毎にTVカメラ32で順次撮像していく。ここで撮像された画像データはホストシステム4に出力され、低解像画像取得処理部452において標本像の低解像画像として取得される。
【0080】
そして、低解像画像取得処理部452は、図9に示すように、ステップa5で取得した区画毎の低解像画像を結合し、図10の標本サーチ範囲61を映した1枚の画像をスライド標本全体画像として生成する(ステップa7)。
【0081】
続いて、高解像画像取得処理部453が、対象標本Sの観察に用いる対物レンズ271を高倍対物レンズに切り換える指示を顕微鏡コントローラ33に出力する(ステップa9)。これに応答して顕微鏡コントローラ33は、レボルバ27を回転させ、高倍対物レンズを観察光の光路上に配置する。
【0082】
続いて、高解像画像取得処理部453は、ステップa7で生成したスライド標本全体画像をもとに、図10の標本サーチ範囲61内の実際に対象標本Sが載置されている標本領域65を自動抽出して決定する(ステップa11)。この標本領域の自動抽出は、公知の手法を適宜採用して行うことができる。例えば、スライド標本全体画像の各画素を2値化して標本の有無を画素毎に判定し、対象標本Sを映した画素と判定された画素範囲を囲う矩形領域を標本領域として決定する。なお、入力部41を介してユーザによる標本領域の選択操作を受け付け、操作入力に従って標本領域を決定することとしてもよい。
【0083】
続いて、高解像画像取得処理部453は、スライド標本全体画像からステップa11で決定した標本領域の画像(標本領域画像)を切り出し、この標本領域画像の中から合焦位置を実測する位置を選出してフォーカス位置を抽出する(ステップa13)。
【0084】
図11は、スライド標本全体画像から切り出した標本領域画像7の一例を示す図であり、図11では、図10の標本領域65の画像を示している。先ず高解像画像取得処理部453は、図11に示すように、標本領域画像7を格子状に分割し、複数の小区画を形成する。ここで、小区画の区画サイズは、ステップa9で切り換えた高倍対物レンズの倍率に応じて定まる視野範囲(換言すると、対象標本Sの観察に高倍対物レンズを用いたときのTVカメラ32の撮像範囲)のサイズに相当する。
【0085】
次いで高解像画像取得処理部453は、形成した複数の小区画の中から、図11に示すように、フォーカス位置とする小区画を選出する。これは、全ての小区画について合焦位置を実測しようとすると処理時間が増大してしまうためであり、例えば各小区画の中から所定数の小区画をランダムに選出する。あるいは、フォーカス位置とする小区画を例えば所定数の小区画おきに選出する等、所定の規則に従って選出してもよい。また、小区画の数が少ない場合には、全ての小区画をフォーカス位置として選出するようにしてもよい。そして、高解像画像取得処理部453は、標本領域画像7の座標系(x,y)における選出した小区画の中心座標を算出するとともに、算出した中心座標を顕微鏡装置2の電動ステージ20の座標系(X,Y)に変換してフォーカス位置を得る。なお、この座標変換は、対象標本Sの観察に用いる対物レンズ271の倍率、あるいはTVカメラ32を構成する撮像素子の画素数や画素サイズ等に基づいて行われ、例えば特許文献4に記載の公知技術を適用して実現できる。
【0086】
続いて、高解像画像取得処理部453は、図9に示すように、顕微鏡コントローラ33やTVカメラコントローラ34に対する顕微鏡装置2各部の動作指示を行って、フォーカス位置の合焦位置を測定する(ステップa15)。このとき、高解像画像取得処理部453は、抽出した各フォーカス位置を顕微鏡コントローラ33に出力する。これに応答して、顕微鏡装置2は、電動ステージ20をXY平面内で移動させて各フォーカス位置を順次対物レンズ271の光軸位置に移動させる。そして、顕微鏡装置2は、各フォーカス位置で電動ステージ20をZ方向に移動させながらTVカメラ32によってフォーカス位置の画像データを取り込む。取り込まれた画像データはホストシステム4に出力され、高解像画像取得処理部453において取得される。高解像画像取得処理部453は、各Z位置における画像データのコントラストを評価して各フォーカス位置における対象標本Sの合焦位置(Z位置)を測定する。
【0087】
高解像画像取得処理部453は、以上のようにして各フォーカス位置における合焦位置を測定したならば、続いて、各フォーカス位置の合焦位置の測定結果をもとにフォーカスマップを作成し、記録部47に記録する(ステップa17)。具体的には、高解像画像取得処理部453は、ステップa13でフォーカス位置として抽出されなかった小区画の合焦位置を、近傍するフォーカス位置の合焦位置で補間演算することによって全ての小区画について合焦位置を設定し、フォーカスマップを作成する。
【0088】
図12は、フォーカスマップのデータ構成例を説明する図である。図12に示すように、フォーカスマップは、配列番号と電動ステージ位置とを対応付けたデータテーブルである。配列番号は、図11に示した標本領域画像7の各小区画を示している。具体的には、xで示す配列番号は、左端を初順としてx方向に沿って各列に順番に付した通し番号であり、yで示す配列番号は、最上段を初順としてy方向に沿って各行に順番に付した通し番号である。なお、zで示す配列番号は、VS画像を3次元画像として生成する場合に設定される値である。電動ステージ位置は、対応する配列番号が示す標本領域画像の小区画について合焦位置と設定された電動ステージ20のX,Y,Zの各位置である。例えば、(x,y,z)=(1,1,−)の配列番号は、図11の小区画71を示しており、座標系(x,y)における小区画71の中心座標を電動ステージ20の座標系(X,Y)に変換したときのX位置及びY位置が、X11およびY11にそれぞれ相当する。また、この小区画について設定した合焦位置(Z位置)がZ11に相当する。
【0089】
続いて高解像画像取得処理部453は、図9に示すように、フィルタユニット30を光学フィルタ303a,303bに切り換える指示を顕微鏡コントローラ33に順次出力するとともに、フォーカスマップを参照しながら顕微鏡コントローラ33やTVカメラコントローラ34に対する顕微鏡装置2各部の動作指示を行って、標本領域画像の小区画毎に標本像をマルチバンド撮像し、高解像画像(以下、適宜「標本領域区画画像」と呼ぶ。)を取得する(ステップa19)。
【0090】
これに応答して、顕微鏡装置2は、フィルタユニット30の光学フィルタ切換部301を回転させ、先ず光学フィルタ303aを観察光の光路上に配置した状態で電動ステージ20を移動させながら、標本領域画像の小区画毎の標本像をそれぞれの合焦位置においてTVカメラ32で順次撮像していく。次いで、観察光の光路上に光学フィルタ303bを切り換えて配置し、同様にして標本領域画像の小区画毎の標本像を撮像する。ここで撮像された画像データはホストシステム4に出力され、高解像画像取得処理部453において標本像の高解像画像(標本領域区画画像)として取得される。
【0091】
続いて高解像画像取得処理部453は、ステップa19で取得した高解像画像である標本領域区画画像を結合し、図10の標本領域65の全域を映した1枚の画像をVS画像として生成する(ステップa21)。
【0092】
なお、上記のステップa13〜ステップa21では、標本領域画像を高倍対物レンズの視野範囲に相当する小区画に分割することとした。そして、この小区画毎に標本像を撮像して標本領域区画画像を取得し、これらを結合してVS画像を生成することとした。これに対し、隣接する標本領域区画画像がその隣接位置で互いに一部重複(オーバーラップ)するように小区画を設定するようにしてもよい。そして、隣接する標本領域区画画像間の位置関係が合うように貼り合わせて合成し、1枚のVS画像を生成するようにしてもよい。具体的な処理は、例えば特許文献4や特許文献5に記載の公知技術を適用して実現できるが、この場合には、取得される各標本領域区画画像の端部部分がそれぞれ隣接する標本領域区画画像との間で重複するように、小区画の区画サイズを高倍対物レンズの視野範囲よりも小さいサイズに設定する。このようにすれば、電動ステージ20の移動制御の精度が低く、隣接する標本領域区画画像間が不連続となる場合であっても、重複部分によって繋ぎ目が連続した自然なVS画像を生成できる。
【0093】
以上説明したVS画像生成処理の結果、対象標本Sの全域を映した広視野でかつ高精細なマルチバンド画像が得られる。ここで、ステップa1〜ステップa21の処理は自動的に行われる。このため、ユーザは、対象標本S(詳細には図10のスライドガラス標本6)を電動ステージ20上に載置し、入力部41を介してVS画像生成処理の開始指示操作を入力するだけでよい。なお、ステップa1〜ステップa21の各ステップで適宜処理を中断し、ユーザの操作を介在可能に構成してもよい。例えば、ステップa9の後の操作入力に従って、使用する高倍対物レンズを別の倍率の対物レンズに変更する処理や、ステップa11の後の操作入力に従って、決定した標本領域を修正する処理、ステップa13の後の操作入力に従って、抽出したフォーカス位置を変更、追加または削除する処理等を適宜行うようにしてもよい。
【0094】
図13〜図15は、VS画像生成処理の結果得られて記録部47に記録されるVS画像ファイル5のデータ構成例を説明する図である。図13(a)に示すように、VS画像ファイル5は、付帯情報51と、スライド標本全体画像データ52と、VS画像データ53とを含む。
【0095】
付帯情報51には、図13(b)に示すように、観察法511やスライド標本番号512、スライド標本全体画像の撮像倍率513、染色情報514、細胞亜型設定情報518、データ種別519等が設定される。
【0096】
観察法511は、VS画像の生成に用いた顕微鏡装置2の観察法であり、実施の形態1では、例えば「明視野観察法」が設定される。暗視野観察や蛍光観察、微分干渉観察等の他の観察法で標本の観察が可能な顕微鏡装置を用いた場合には、VS画像を生成したときの観察法が設定される。
【0097】
スライド標本番号512には、例えば図10に示したスライドガラス標本6のシール63から読み取ったスライド標本番号が設定される。このスライド標本番号は、例えば、スライドガラス標本6に固有に割り当てられたIDであり、これによって、対象標本Sを個別に識別できる。スライド標本全体画像の撮像倍率513には、スライド標本全体画像の取得時に用いた低倍対物レンズの倍率が設定される。スライド標本全体画像データ52は、スライド標本全体画像の画像データである。
【0098】
染色情報514には、対象標本Sを染色している染色色素が設定される。すなわち、実施の形態1では、H色素、E色素、DAB色素、VV色素、およびVR色素が設定されるが、この染色情報514は、後述のVS画像表示処理の過程でユーザが対象標本Sを染色している色素を操作入力して登録することで設定される。
【0099】
具体的には、染色情報514は、図14(a)に示すように、染色色素のうちの形態観察色素が設定される形態観察染色情報515と、分子標的色素が設定される分子標的染色情報516と、これら形態観察染色情報515または分子標的染色情報516に設定されている染色色素(形態観察色素または分子標的色素)の中から選択されて設定される細胞コンポーネント同定用染色情報517とを含む。
【0100】
そして、図14(b)に示すように、形態観察染色情報515は、色素数5151と、色素数5151に相当する数の色素情報(1)〜(m)5153とを含む。色素数5151には、対象標本Sを染色している形態観察色素の数が設定され、色素情報(1)〜(m)5153には、例えば形態観察色素の色素名がそれぞれ設定される。実施の形態1では、色素数5151として「2」が設定され、「H色素」および「E色素」が2つの色素情報5153として設定される。分子標的染色情報516も同様に構成され、図14(c)に示すように、色素数5161と、色素数5161に相当する数の色素情報(1)〜(n)5163とを含む。そして、色素数5161には、対象標本Sを染色している分子標的色素の数が設定され、色素情報(1)〜(n)5163には、例えば分子標的色素の色素名がそれぞれ設定される。また、色素情報(1)〜(n)5163には、後述する色素登録画面(図23を参照)においてユーザが対応する分子標的色素について入力したコメント情報が適宜設定される。実施の形態1では、色素数5161として「3」が設定され、「DAB色素」、「VV色素」、「VR色素」が3つの色素情報5163として設定される。
【0101】
また、図14(d)に示すように、細胞コンポーネント同定用染色情報517は、細胞核同定用色素情報5171と、細胞膜同定用色素情報5172と、細胞質同定用色素情報5173とを含む。細胞核同定用色素情報5171には、細胞核同定用色素の色素名や、細胞核を同定する際の基準として用いる色素量閾値が設定される。細胞膜同定用色素情報5172には、細胞膜同定用色素の色素名や、細胞膜を同定する際の基準として用いる色素量閾値が設定される。細胞質同定用色素情報5173には、細胞質同定用色素の色素名や、細胞質を同定する際の基準として用いる色素量閾値が設定される。なお、色素量閾値には、後述する同定用色素選択画面(図19を参照)でユーザが対応する細胞コンポーネント(細胞核、細胞膜または細胞質)について入力した値が設定される。実施の形態1では、細胞核同定用色素情報5171として、「H色素」およびこのH色素である細胞核同定用色素についてユーザが入力した色素量閾値の値が設定される。そして、細胞膜同定用色素情報5172として、「VR色素」およびこのVR色素である細胞膜同定用色素についてユーザが入力した色素量閾値の値が設定される。また、実施の形態1では、細胞質の同定は行わないため、細胞質同定用色素情報5173には「未使用」が設定される(あるいは何も設定されない)。
【0102】
図13(b)の細胞亜型設定情報518は、後述のVS画像表示処理の過程でユーザが細胞亜型の呼称や該当する細胞亜型に分類する標的分子の発現パターン等を記録する。この細胞亜型設定情報518の詳細については、図33に示して後述する。
【0103】
データ種別519は、VS画像のデータ種別を表す。例えば、VS画像データ53において、画像データ552(図15(b)を参照)としてVS画像の画像データ(生データ)553(図15(d)を参照)のみが記録されているのか、あるいは、各画素について既に色素量が算出されており、色素量データ554(図15(d))が記録されているのかを識別するためのものである。例えば、VS画像生成処理の実行時は、画像データ552としてその生データ553が記録されるのみであるので、データ種別519には、生データを示す識別情報が設定される。なお、後述のVS画像表示処理の実行時においてVS画像の各画素における色素毎の色素量が算出され、色素量データ554として記録される。このとき、データ種別519は、色素量データを示す識別情報に更新される。
【0104】
VS画像データ53には、VS画像に関する各種情報が設定される。すなわち、図15(a)に示すように、VS画像データ53は、VS画像数531と、VS画像数531に相当する数のVS画像情報(1)〜(i)532とを含む。VS画像数531は、VS画像データ53に記録されるVS画像情報532の数であり、iに相当する。ここで、図15(a)に示すVS画像データ53のデータ構成例は、1つの標本について複数のVS画像を生成する場合を想定している。具体的には、図10に示して上述した例では、スライドガラス標本6において実際に対象標本Sが載置されている領域として1つの標本領域65を抽出する場合を説明したが、スライドガラス標本の中には、複数の標本が離れて点在しているものも存在する。このような場合には、標本が存在しない領域のVS画像を生成する必要はない。このため、複数の標本がある程度離れて点在している場合には、これらの点在する標本の領域をそれぞれ個別に抽出し、抽出した標本の領域毎にVS画像を生成するが、このときに生成するVS画像の数がVS画像数531として設定される。そして、各VS画像に関する各種情報が、それぞれVS画像情報(1)〜(i)532として設定される。なお、図10の例においても、標本領域65内に2つの標本の領域が含まれるが、これらの位置が近いために1つの標本領域65として抽出される。
【0105】
各VS画像情報532には、図15(b)に示すように、撮影情報54、フォーカスマップデータ551、画像データ552、同定コンポーネント情報56、細胞一覧テーブル57、標的分子発現部位情報58、細胞亜型分類テーブル59等が設定される。
【0106】
撮影情報54には、図15(c)に示すように、VS画像の撮像倍率541、スキャン開始位置(X位置)542、スキャン開始位置(Y位置)543、x方向のピクセル数544、y方向のピクセル数545、Z方向の枚数546、バンド数547等が設定される。
【0107】
VS画像の撮像倍率541には、VS画像の取得時に用いた高倍対物レンズの倍率が設定される。また、スキャン開始位置(X位置)542、スキャン開始位置(Y位置)543、x方向のピクセル数544およびy方向のピクセル数545は、VS画像の撮像範囲を示している。すなわち、スキャン開始位置(X位置)542は、VS画像を構成する各標本領域区画画像の撮像を開始したときの電動ステージ20のスキャン開始位置のX位置であり、スキャン開始位置(Y位置)543は、スキャン開始位置のY位置である。そして、x方向のピクセル数544はVS画像のx方向のピクセル数であり、y方向のピクセル数545はy方向のピクセル数であって、VS画像のサイズを示している。
【0108】
Z方向の枚数546には、Z方向のセクショニング数に相当し、VS画像を3次元画像として生成する際には、Z方向の撮像枚数が設定される。実施の形態1では、このZ方向の枚数546には「1」が設定される。また、VS画像は、マルチバンド画像として生成される。そのバンド数がバンド数547に設定され、実施の形態1では、「6」が設定される。
【0109】
また、図15(b)のフォーカスマップデータ551は、図12に示したフォーカスマップのデータである。画像データ552は、VS画像の画像データである。この画像データ552には、図15(d)に示すように、6バンドの生データが設定される生データ553と、後述のVS画像表示処理の過程で画素毎に算出される染色色素毎の色素量のデータが設定される色素量データ554とを含む。
【0110】
同定コンポーネント情報56は、VS画像の各画素が細胞コンポーネントの画素か否かを設定したマップデータや細胞コンポーネントとして同定された領域の形態的な特徴量を設定した形態特徴データ、同定された細胞コンポーネントの領域内の画素位置の一覧等を記録する。この同定コンポーネント情報56の詳細については、図25および図26に示して後述する。
【0111】
細胞一覧テーブル57は、VS画像中で認識された個々の細胞領域を構成する細胞構成要素(細胞核や細胞膜、細胞質等)の領域を特定する細胞情報を記録する。この細胞一覧テーブル57の詳細については、図27に示して後述する。
【0112】
標的分子発現部位情報58は、VS画像中で抽出された標的分子発現部位の領域を設定したマップデータや、標的分子発現部位を含む細胞コンポーネント(陽性細胞コンポーネント)の領域内の画素位置の一覧等を記録する。この標的分子発現部位情報58の詳細については、図30に示して後述する。
【0113】
細胞亜型分類テーブル59は、VS画像中の各細胞領域の細胞亜型を記録する。この細胞亜型分類テーブル59の詳細については、図35に示して後述する。
【0114】
次に、実施の形態1におけるVS画像表示処理について説明する。図16は、実施の形態1におけるVS画像表示処理の処理手順を示すフローチャートである。なお、ここで説明する処理は、VS画像表示処理部454が記録部47に記録されたVS画像表示処理プログラム473を読み出して実行することによって実現される。
【0115】
VS画像表示処理では、VS画像表示処理部454は先ず、VS画像ファイル5からデータ種別519(図13(b)を参照)を読み出し、VS画像のデータ種別を判定する(ステップb1)。データ種別519に色素量データを示す識別情報が設定されており、既にVS画像の各画素について色素量が算出されている場合には(ステップb3:Yes)、ステップb11に移行する。
【0116】
一方、データ種別519に生データを示す識別情報が設定されており、未だVS画像の各画素について色素量が算出されていない場合には(ステップb3:No)、色素量算出処理に移る(ステップb5)。図17は、色素量算出処理の処理手順を示すフローチャートである。
【0117】
色素量算出処理では、先ず、染色色素設定部455が、対象標本Sを染色している染色色素の登録依頼の通知を表示部43に表示する処理を行う(ステップc1)。例えば、色素登録画面を表示部43に表示する処理を行って染色色素の登録依頼を通知し、この色素登録画面上でユーザによる染色色素の登録操作を受け付ける。図18は、色素登録画面の一例を示す図である。図18に示すように、色素登録画面は、形態観察用登録画面W11および分子標的用登録画面W13の2画面で構成される。
【0118】
形態観察用登録画面W11には、形態観察色素の数を入力する入力ボックスB113と、形態観察色素を選択するための複数(m個)の選択ボックスB115とが配置されている。選択ボックスB115は、それぞれ色素名の一覧を選択肢として提示し、選択を促す。提示される色素については特に例示しないが、形態観察染色で知られている色素を適宜含む。ユーザは、入力部41を操作し、入力ボックスB113において実際に対象標本Sを染色している形態観察色素の数を入力するとともに、選択ボックスB115でその色素名を選択することによって染色色素を登録する。形態観察色素が2以上の場合には、別個の選択ボックスB115で該当する色素名をそれぞれ選択する。
【0119】
また、形態観察用登録画面W11は、定型染色選択部B111を備え、この定型染色選択部B111において、形態観察染色として代表的なHE染色で用いる色素(HE)、Pap染色で用いる色素(Pap)、H染色で用いる色素(Hのみ)およびその他の4つの選択肢が提示されている。なお、この定型染色選択部B111で提示する選択肢は例示したものに限らず、ユーザが設定できるようにしてもよいが、ここで提示した色素については該当する項目をチェックすることで登録でき、登録操作が簡略化される。例えば図18に示すように、「HE」をチェックすると、入力ボックスB113に「2」が自動入力されるとともに、色素(1)および(2)の選択ボックスB115にそれぞれ「H」と「E」とが自動入力される。実施の形態1では、対象標本SをHE染色しているため、ユーザは、定型染色選択部B111で「HE」にチェックすることで染色色素(形態観察色素)を登録できる。
【0120】
一方、分子標的用登録画面W13には、分子標的色素の数を入力する入力ボックスB133と、分子標的色素を選択するための複数(n個)の選択ボックスB135と、各選択ボックスB135のそれぞれに対応する複数(n個)のコメント入力欄B137が配置されている。選択ボックスB135は、色素名の一覧を選択肢として提示し、選択を促す。提示される色素については特に例示しないが、分子標的染色で知られている色素を適宜含む。ユーザは、入力部41を操作して入力ボックスB133に実際に対象標本Sを染色している分子標的色素の数を入力するとともに、選択ボックスB135でその色素名を選択することによって染色情報を登録する。また、コメント入力欄B137には、例えば対応する選択ボックスB135で選択した分子標的色素に関する事項(コメント情報)をユーザが自由に記入できるようになっている。例えば、ユーザは、対応する分子標的色素によって染色された(可視化された)抗体の名称や、この抗体によって標識される抗原(すなわち標的分子)の名称等を適宜コメント情報としてコメント入力欄B137に入力する。
【0121】
また、分子標的用登録画面W13は、形態観察用登録画面W11と同様に、主要な標識酵素やその組み合わせを提示した定型染色選択部B131を備える。なお、この定型染色選択部B131で提示する選択肢は例示したものに限らず、ユーザが設定できるようにしてもよい。実施の形態1の分子標的色素はDAB色素、VV色素およびVR色素であり、図18に示すように、定型染色選択部B131において「DAB(茶)+VV(紫)+VR(赤レンガ)」をチェックすることで、染色色素(分子標的色素)を登録できる。具体的にはこのとき、入力ボックスB133に「3」が自動入力されるとともに、色素(1)、色素(2)および色素(3)の選択ボックスB135にそれぞれ「DAB」と「VV」と「VR」とが自動入力される。
【0122】
図17に戻り、染色色素設定部455は、以上のようにして色素登録画面においてユーザが操作入力して登録した形態観察色素の情報を染色情報514(図13(b)を参照)の形態観察染色情報515(図14(a),(b)を参照)とし、分子標的色素の情報を分子標的染色情報516(図14(a),(c)を参照)としてVS画像ファイル5に設定する(ステップc3)。実施の形態1では、ここでの処理によって、H色素、E色素、DAB色素、VV色素およびVR色素が染色色素として設定される。
【0123】
次に、細胞コンポーネント同定用色素設定部456が、細胞コンポーネント同定用色素の選択依頼の通知を表示部43に表示する処理を行う(ステップc5)。例えば、同定用色素選択画面を表示部43に表示する処理を行って細胞コンポーネント同定用色素の選択依頼を通知し、この同定用色素選択画面上でユーザによる細胞コンポーネント同定用色素の選択操作を受け付ける。このとき、ステップc3で設定した染色色素の一覧を提示し、この一覧の中から細胞コンポーネント同定用色素の選択操作を受け付けるようになっている。図19は、同定用色素選択画面の一例を示す図である。
【0124】
図19に示すように、同定用色素選択画面は、細胞核同定用色素を選択するための選択ボックスB21およびその色素量閾値を入力する入力ボックスB22と、細胞膜同定用色素を選択するための選択ボックスB23およびその色素量閾値を入力する入力ボックスB24と、細胞質同定用色素を選択するための選択ボックスB25およびその色素量閾値を入力する入力ボックスB26とが配置されている。
【0125】
ここで、選択ボックスB21,B23,B25では、図17のステップc3において染色色素として設定した形態観察色素および分子標的色素の一覧が選択肢として提示される。また、各入力ボックスB22,B24,B26に入力された色素量閾値の値は、以降の処理において対応する細胞コンポーネントを同定する際の基準として用いられる。例えば細胞核を同定する際に、選択ボックスB21で選択された細胞核同定用色素の色素量が入力ボックスB22に入力された値以上の画素を細胞核の候補画素として選出する。同様に、細胞膜を同定する際に、選択ボックスB23で選択された細胞膜同定用色素の色素量が入力ボックスB24に入力された値以上の画素を細胞膜の候補画素として選出する。細胞質を同定する際には、選択ボックスB25で選択された細胞質同定用色素の色素量が入力ボックスB26に入力された値以上の画素を細胞質の候補画素として選出する。
【0126】
ユーザは、入力部41を操作し、選択ボックスB21,B23,B25において、染色色素の中から細胞核同定用色素、細胞膜同定用色素または細胞質同定用色素として用いる染色色素を選択するとともに、入力ボックスB22,B24,B26において対応する細胞コンポーネントを同定する際の色素量閾値を入力する。実施の形態1では、例えば選択ボックスB21で細胞核同定用色素である「H」を選択するとともに、その色素量閾値の値を入力する。また、選択ボックスB23で細胞膜同定用色素である「VR」を選択するとともに、その色素量閾値の値を入力する。
【0127】
なお、図19では、細胞コンポーネント毎にそれぞれ1種類の細胞コンポーネント同定用色素を設定する場合を例示したが、細胞コンポーネント同定用色素は必ずしも1種類とは限らない。例えば、細胞診の形態観察染色として知られ、子宮頸部細胞診標本等に対して施されるパパニコロウ染色では、ヘマトキシリンによって細胞核が暗紫色に染色される。一方、このパパニコロウ染色において、細胞質は、オレンジG、エオジンYおよびライトグリーンSFYの3種類の色素によって、細胞の種類毎、具体的には基底細胞の場合に濃青緑色、中層細胞の場合に淡青緑色、表層細胞の場合に淡赤色〜橙黄色に染め分けられる。このような場合に細胞コンポーネント同定用色素を複数種類設定できるように(例えば、前述の例において細胞質同定用色素としてオレンジG、エオジンYおよびライトグリーンSFYの3種類の色素を設定できるように)、図19において、選択ボックスB21,B23,B25や入力ボックスB22,B24,B26を複数組配置し、細胞コンポーネント毎に複数種類の細胞コンポーネント同定用色素を設定できるようにしてもよい。
【0128】
図17に戻り、細胞コンポーネント同定用色素設定部456は、以上のようにして同定用色素選択画面においてユーザが操作入力した色素名および色素量閾値を細胞コンポーネント同定用染色情報517(図14(a),(d)を参照)とし、VS画像ファイル5に設定する(ステップc7)。実施の形態1では、ここでの処理によってH色素およびその色素量閾値が細胞核同定用色素情報5171として設定され、VR色素およびその色素量閾値が細胞膜同定用色素情報5172として設定される。そして、以降の処理(図20の細胞コンポーネント同定処理)では、細胞核および細胞膜について同定が行われることとなる。
【0129】
続いて、色素量算出部457が、生成したVS画像の各画素の画素値をもとに、対応する対象標本S上の各標本位置における色素量をステップc3で設定した染色色素毎に算出する(ステップc9)。色素量の算出は、例えば特許文献1に記載の公知技術を適用して実現できる。
【0130】
簡単に処理手順を説明すると先ず、色素量算出部457は、VS画像の画素値をもとに、対応する対象標本S上の各標本位置のスペクトル(推定スペクトル)を画素毎に推定する。マルチバンド画像からスペクトルを推定する手法としては例えば、ウィナー(Wiener)推定を用いることができる。次いで色素量算出部457は、予め測定されて記録部47に記録されている算出対象の色素(染色色素)の基準色素スペクトルを用いて対象標本Sの色素量を画素毎に推定(算出)する。
【0131】
ここで、色素量の算出について簡単に説明する。一般に、光を透過する物質では、波長λ毎の入射光の強度I0(λ)と射出光の強度I(λ)との間に、次式(1)で表されるランベルト・ベール(Lambert-Beer)の法則が成り立つことが知られている。
【数1】

k(λ)は波長に依存して決まる物質固有の値、dは物質の厚さをそれぞれ表す。また、式(1)の左辺は分光透過率t(λ)を意味している。
【0132】
例えば、標本が色素1,色素2,・・・,色素nのn種類の色素で染色されている場合、ランベルト・ベールの法則により各波長λにおいて次式(2)が成立する。
【数2】

1(λ),k2(λ),・・・,kn(λ)は、それぞれ色素1,色素2,・・・,色素nに対応するk(λ)を表し、例えば、標本を染色している各色素の基準色素スペクトルである。またd1,d2,・・・,dnは、マルチバンド画像の各画像位置に対応する対象標本S上の標本位置における色素1,色素2,・・・,色素nの仮想的な厚さを表す。本来色素は、標本中に分散して存在するため、厚さという概念は正確ではないが、標本が単一の色素で染色されていると仮定した場合と比較して、どの程度の量の色素が存在しているかを表す相対的な色素量の指標となる。すなわち、d1,d2,・・・,dnはそれぞれ色素1,色素2,・・・,色素nの色素量を表しているといえる。なお、k1(λ),k2(λ),・・・,kn(λ)は、色素1,色素2,・・・,色素nの各色素を用いてそれぞれ個別に染色した標本を予め用意し、その分光透過率を分光器で測定することによって、ランベルト・ベールの法則から容易に求めることができる。
【0133】
式(2)の両辺の対数を取ると、次式(3)となる。
【数3】

【0134】
上記のようにしてVS画像の画素毎に推定した推定スペクトルの波長λに対応する要素をt^(x,λ)とし、これを式(3)に代入すると、次式(4)を得る。なお、t^は、tの上に推定値を表すハット「^」が付いていることを示す。
【数4】

【0135】
式(4)において未知変数はd1,d2,・・・,dnのn個であるから、少なくともn個の異なる波長λについて式(4)を連立させれば、これらを解くことができる。より精度を高めるために、n個以上の異なる波長λに対して式(4)を連立させ、重回帰分析を行ってもよい。
【0136】
以上が、色素量算出の簡単な手順であるが、実施の形態1で算出対象とする染色色素はH色素、E色素、DAB色素、VV色素およびVR色素であり、n=5となる。色素量算出部457は、VS画像の各画素について推定した推定スペクトルをもとに、対応する各標本位置に固定されたH色素、E色素、DAB色素、VV色素およびVR色素それぞれの色素量を推定する。
【0137】
以上のようにして各染色色素の色素量を算出したならば、色素量算出部457は、データ種別に色素量データを示す識別情報を設定して更新し(ステップc11)、色素量算出処理を終える。そして、図16のステップb5にリターンし、その後ステップb7の細胞コンポーネント同定処理に移る。図20は、細胞コンポーネント同定処理の処理手順を示すフローチャートである。
【0138】
細胞コンポーネント同定処理では、細胞コンポーネント同定処理部458が、図17のステップc7において色素名および色素量閾値が設定された細胞コンポーネントを同定対象とし、同定対象の細胞コンポーネント毎にループAの処理を行う(ステップd1〜ステップd17)。以下、ループAで処理対象とする細胞コンポーネントを「処理コンポーネント」と呼ぶ。実施の形態1では、細胞核および細胞膜を順次処理コンポーネントとしてループAの処理を行う。
【0139】
すなわち、ループAでは、細胞コンポーネント同定処理部458は先ず、細胞コンポーネント同定用染色情報517から処理コンポーネントについて設定されている細胞コンポーネント同定用色素の色素名および色素量閾値を読み出す(ステップd3)。例えば、細胞核を処理コンポーネントとして処理する場合には、細胞核同定用色素情報5171から色素名(実施の形態1ではH色素)およびその色素量閾値を読み出す。同様に、細胞膜を処理コンポーネントとして処理する場合であれば、細胞膜同定用色素情報5172から色素名(実施の形態1ではVR色素)およびその色素量閾値を読み出す。なお、実施の形態1では細胞質を同定対象としないため行わないが、細胞質を処理コンポーネントとして処理する場合には、細胞質同定用色素情報5173から色素名およびその色素量閾値を読み出す。なお、細胞質同定用色素としては、例えば細胞質、結合組織等を染色するE色素が挙げられる。
【0140】
続いて、細胞コンポーネント同定処理部458は、色素量データ554を参照し、VS画像の各画素の中から、ステップd3で色素名を読み出した細胞コンポーネント同定用色素の色素量がステップd3で読み出した色素量閾値以上の値である画素を選出する(ステップd5)。そして、細胞コンポーネント同定処理部458は、選出結果を設定したマップデータを作成する(ステップd7)。
【0141】
図21は、細胞核を処理コンポーネントとして図20のステップd3〜d7の処理を行った結果作成される細胞核のマップデータのデータ構成例を説明する模式図である。図21に示すように、細胞核のマップデータは、VS画像を構成する各画素位置に対応するマスM3のそれぞれに「0」または「1」が設定されたデータ構成を有する。ステップd5で選出された画素に対応するマスM3には、例えばマスM3−1に示すように「1」が設定される。ステップd5で選出されなかった画素に対応するマスM3には、例えばマスM3−2に示すように「0」が設定される。
【0142】
一方、図22は、細胞膜を処理コンポーネントとして図20のステップd3〜d7の処理を行った結果作成される細胞膜のマップデータのデータ構成例を説明する模式図である。細胞膜のマップデータも同様に、図22に示すように、VS画像を構成する各画素位置に対応する複数のマスのそれぞれに「0」または「1」が設定されたデータ構成を有する。そして、ステップd5で選出された画素に対応するマスには「1」が設定され、ステップd5で選出されなかった画素に対応するマスには「0」が設定される。
【0143】
なお、図示しないが、細胞質を処理コンポーネントとして図20のステップd3〜d7の処理を行った結果作成される細胞質のマップデータも同様のデータ構成を有し、VS画像を構成する各画素位置に対応するマスのうち、ステップd5で選出された画素に対応するマスに「1」が設定される。ステップd5で選出されなかった画素に対応するマスには「0」が設定される。
【0144】
図20に戻り、続いて細胞コンポーネント同定処理部458は、ステップd7で作成したマップデータを参照してステップd5で選出した画素を連結成分毎に区切り、区切った画素群毎に個々の処理コンポーネントを識別するための固有のラベルを付すことによって、各画素群のそれぞれを処理コンポーネントの候補領域として取得する(ステップd8)。続いて、細胞コンポーネント同定処理部458は、ステップd8で取得した処理コンポーネントの候補領域毎に形態特徴データを作成する(ステップd9)。そして、細胞コンポーネント同定処理部458は、作成した形態特徴データをもとに処理コンポーネントの候補領域が処理コンポーネントの領域か否かを判定することで、該当する処理コンポーネントの同定を行う(ステップd11)。なお、この処理コンポーネントの同定は、例えば特許文献6に記載の公知技術を適用して実現できる。その後、細胞コンポーネント同定処理部458は、処理コンポーネントの同定結果をもとにマップデータおよび形態特徴データを修正して更新する(ステップd13)。
【0145】
ここで、処理コンポーネントが細胞核、細胞膜および細胞質の場合のステップd8〜ステップd13の処理について順次簡単に説明する。
【0146】
処理コンポーネントが細胞核の場合には先ず、ステップd8の処理として、細胞核のマップデータを参照し、細胞核の候補領域(細胞核候補領域)を取得する。具体的には、例えば連結して「1」が設定されている画素(マス)群に固有のラベル(細胞核識別ラベル)を付し、同一のラベル(細胞核識別ラベル)を付した画素群を1つの細胞核候補領域として取得する。
【0147】
次に、ステップd9の処理として、例えば先ず、輪郭追跡等の公知の手法を適用し、取得した細胞核候補領域毎に輪郭を抽出する。そして、抽出した細胞核候補領域の輪郭をもとにその形態的な特徴を表す形態特徴量を算出し、算出した形態特徴量を設定して細胞核の形態特徴データを作成する。
【0148】
図23は、細胞核の形態特徴データのデータ構成例を説明する図である。図23に示すように、細胞核の形態特徴量としては、例えば、外接長方形や重心、面積、周囲長、円形度、長径、短径、アスペクト比等が挙げられる。
【0149】
ここで、外接長方形は、その細胞核候補領域に外接し、各辺の向きがx座標軸およびy座標軸に平行である長方形であり、例えば左上の頂点のVS画像中でのx座標、y座標、x方向の幅(x方向のピクセル数:W)およびy方向の高さ(y方向のピクセル数:H)として算出する。
【0150】
重心は、そのVS画像中でのx座標およびy座標として算出する。面積は、その細胞核候補領域の面積である。周囲長は、その細胞核候補領域の外部輪郭の長さとして算出する。
【0151】
円形度は、例えば、次式(5)に従って算出する。ここで、この式(5)によって算出される値は、その細胞核候補領域の輪郭形状が真円のときに最大値(=1)となり、輪郭形状が複雑になるほど小さな値として得られる。
円形度=4π×面積/周囲長 ・・・(5)
【0152】
長径および短径は、その細胞核候補領域の外接する外接矩形が最小面積となるときの長軸の長さおよび短軸の長さとして算出する。
【0153】
アスペクト比は、長径と短径との比率であり、例えば次式(6)に従って算出する。
アスペクト比=長径/短径 ・・・(6)
【0154】
細胞コンポーネント同定処理部458は、これら形態特徴量の各値をその細胞核候補領域に付されたラベル(細胞核識別ラベル)と対応付けて形態特徴データを作成する。例えば、図21の例では、2つの画素群B31,B33にそれぞれ異なるラベル(細胞核識別ラベル)が付され、これら画素群B31,B33のそれぞれが細胞核候補領域として取得される。そして、これら2つの細胞核候補領域毎に形態特徴量が算出され、2レコード分の形態特徴データが作成される。
【0155】
次に、ステップd11の処理として、作成した形態特徴データをもとに、細胞核候補領域が細胞核の領域か否かを判定する。一般的に、細胞核の大きさは10μm前後といわれている。そこで、実施の形態1では、例えば各形態特徴量の値がこの大きさに当てはまる場合にその細胞核候補領域を細胞核の領域と判定し、当てはまらなければ細胞核の領域ではないと判定する。ここで、TVカメラ32の1画素(正方画素とする)の大きさと観察倍率とからVS画像の1画素の実寸を求めることができ、画素数から実寸への変換は容易に行える。なお、VS画像中に映る細胞核の形態特徴量の標準的な値を基準値として予め設定しておき、この基準値との比較によって細胞核候補領域が細胞核の領域か否かを判定するようにしてもよい。
【0156】
次に、ステップd13の処理として、細胞核の領域ではないと判定した細胞核候補領域をもとに細胞核のマップデータを修正するとともに、この細胞核候補領域の形態特徴データを削除し、細胞核のマップデータおよび形態特徴データを更新する。例えば、図21に示す画素群B31,B33のうち、画素群B31の細胞核候補領域が細胞核の領域と判定され、画素群B33の細胞核候補領域が細胞核の領域ではないと判定されて画素群B31の細胞核候補領域のみが細胞核として同定されたとする。この場合には、図21の画素群B33を構成する各画素(マス)の値を「1」から「0」に修正してマップデータを更新する。そして、図20のステップd9で作成した形態特徴データ、画素群B33の細胞核候補領域のラベル(細胞核識別ラベル)が設定された1レコード分の形態特徴データを削除し、形態特徴データを更新する。
【0157】
続いて、処理コンポーネントが細胞膜の場合について説明する。細胞膜の場合も、上記した処理コンポーネントが細胞核の場合と同様の処理手順でその同定を行うが、処理コンポーネントが細胞膜の場合には、図20のステップd9において例えば外接長方形や重心、厚さ、周囲長、円形度、長径、短径、アスペクト比、核の有無(数)等を形態特徴量として算出し、形態特徴データを作成する。図24は、細胞膜の形態特徴データのデータ構成例を説明する図である。ここで、細胞膜は、細胞の最外層を形成するものであり、所定の厚さを有する。細胞膜の形態特徴量として算出する厚さは、細胞膜候補領域の径方向の幅に相当する。外接長方形や重心、周囲長、円形度、長径、短径、アスペクト比は、例えば外側の輪郭をもとに算出する。算出手法は、細胞核の場合と同様である。また、核の有無には、細胞膜候補領域の内側に細胞核の領域を含むか否か(あるいはその数)が設定される。この核の有無(数)は、同定対象の細胞コンポーネントとして細胞核が含まれる場合には、上記した要領で作成した細胞核のマップデータを参照することで設定できる。具体的には、細胞膜候補領域の内側に細胞核の領域が含まれる場合に「あり(あるいはその数)」を設定し、含まれなければ「なし」を設定する。
【0158】
そして、例えば、予め標準的な細胞膜の厚さの範囲を設定しておき、形態特徴量の1つとして算出した厚さの値がこの範囲内の場合にその細胞膜候補領域を細胞膜の領域と判定し、含まれなければ細胞膜の領域ではないと判定する。あるいは、予め標準的な細胞の大きさの範囲を設定しておき、各形態特徴量の値がこの大きさに当てはまる場合にその細胞膜候補領域を細胞膜の領域と判定し、当てはまらない場合に細胞膜の領域ではないと判定するようにしてもよい。また、同定対象の細胞コンポーネントが細胞核を含み、形態特徴量として核の有無が求まっている場合には、「あり」が設定されている場合に細胞膜の領域と判定し、「なし」が設定されている場合に細胞膜の領域ではないと判定するようにしてもよい。
【0159】
続いて、処理コンポーネントが細胞質の場合について説明する。細胞質の場合も、上記した処理コンポーネントが細胞核や細胞膜の場合と同様の処理手順でその同定を行うが、処理コンポーネントが細胞質の場合には、図20のステップd9において例えば外接長方形や重心、面積、周囲長、円形度、長径、短径、アスペクト比、核の有無(数)等を形態特徴量として算出し、形態特徴データを作成する。ここで、細胞質は、細胞膜の内側であって、細胞核の領域を除く領域を形成するものである。このため、これら形態特徴量の各値は、例えば外側の輪郭をもとに算出する。算出手法は、細胞核あるいは細胞膜の場合と同様である。
【0160】
そして、例えば、上記した要領で作成した細胞核のマップデータおよび/または細胞膜のマップデータを参照することで細胞質の領域を判定する。なお、この判定手法は、同定対象の細胞コンポーネントとして少なくとも細胞核または細胞膜が含まれることを前提としている。具体的には、細胞質候補領域の外側に細胞膜の領域が存在する場合にこの細胞質候補領域を細胞質の領域と判定し、細胞質候補領域の外側に細胞膜の領域が存在しない場合には、細胞質の領域ではないと判定する。あるいは、細胞質候補領域の内側に細胞核の領域が存在する場合にこの細胞質候補領域を細胞質の領域と判定し、細胞質候補領域の内側に細胞核の領域が存在しない場合には、細胞質の領域ではないと判定する。また、細胞質候補領域の外側に細胞膜の領域が存在し、細胞質候補領域の内側に細胞核の領域が存在する場合にこの細胞質候補領域を細胞質の領域と判定するようにしてもよい。
【0161】
図20に戻り、続いて細胞コンポーネント同定処理部458は、マップデータにおいて「1」が設定されている画素の位置座標の一覧(画素位置一覧)を、割り振られたラベル毎に作成し(ステップd15)、処理コンポーネントについてループAの処理を終える。
【0162】
そして、同定対象の全ての細胞コンポーネントをそれぞれ処理コンポーネントとしてループAの処理を行ったならば、細胞コンポーネント同定処理を終えて図16のステップb7にリターンし、ステップb9に移行する。
【0163】
図25は、この細胞コンポーネント同定処理の結果得られてVS画像ファイル5に設定される同定コンポーネント情報56(図15(b)を参照)のデータ構成例を説明する図である。図25(a)に示すように、同定コンポーネント情報56は、細胞核同定情報561と、細胞膜同定情報562と、細胞質同定情報563とで構成される。これら細胞核同定情報561、細胞膜同定情報562および細胞質同定情報563は同様のデータ構成を有し、図25(b)に示すように、それぞれマップデータ564と、形態特徴データ565と、同定コンポーネント一覧566とを含む。
【0164】
図26は、同定コンポーネント一覧566のデータ構成例を説明する図である。同定コンポーネント一覧566は、図26(a)に示すように、同定コンポーネント数567と、同定コンポーネント数567に相当する数の同定コンポーネント情報(1)〜(o)568とを含む。
【0165】
同定コンポーネント数567には、同定された該当する細胞コンポーネントの数が設定される。例えば、細胞核同定情報561の同定コンポーネント一覧566に設定される同定コンポーネント数567には、細胞核の領域と判定された領域の数が設定される。そして、各細胞核の領域に関する情報が、それぞれ同定コンポーネント情報(1)〜(o)568に設定される。具体的には、同定コンポーネント情報(1)〜(o)568には、図26(b),(c)に示すように、その細胞核の領域に付されたラベル(細胞核識別ラベル)5681と、その細胞核の領域内の画素位置一覧である位置座標(1)〜(p)/(1)〜(q)5682が設定される。
【0166】
実施の形態1では、細胞核同定情報561として、ステップd7およびステップd9で作成され、ステップd13で修正されて更新された細胞核のマップデータ564および細胞核の形態特徴データ565が設定される。同定コンポーネント一覧566には、細胞核の領域数が同定コンポーネント数567として設定される。そして、同定コンポーネント情報(1)〜(o)568のそれぞれにおいて、該当する細胞核の領域に付されたラベル(細胞核識別ラベル)5681が設定されるとともに、ステップd15で作成された細胞核の画素位置一覧が位置座標(1)〜(p)/(1)〜(q)5682として設定される。同様に、細胞膜同定情報562として、ステップd7およびステップd9で作成され、ステップd13で修正されて更新された細胞膜のマップデータ564および細胞膜の形態特徴データ565が設定される。同定コンポーネント一覧566には、細胞膜の領域数が同定コンポーネント数567として設定される。そして、同定コンポーネント情報(1)〜(o)568のそれぞれにおいて、その細胞膜の領域に付されたラベル(細胞膜識別ラベル)5681が設定されるとともに、ステップd15で作成された細胞膜の画素位置一覧が位置座標(1)〜(p)/(1)〜(q)5682として設定される。なお、実施の形態1では、細胞核および細胞膜の同定を行うので、細胞質同定情報563には特に値は設定されない。
【0167】
図16に戻り、続くステップb9では、細胞認識部459が、図16のステップb7で細胞コンポーネント同定処理部458によって同定された細胞コンポーネントの領域をもとに、VS画像中の細胞領域を認識する。
【0168】
ここで、細胞は、最外層を形成する細胞膜の内側に細胞質を有する。また、細胞質の内側には、通常1つの細胞核が存在する。また、複数の細胞が融合することで細胞膜の一部が消失し、1つの細胞膜で囲まれた細胞集塊を形成する場合があり、対象標本S内には、このような細胞集塊も存在する。すなわち、1つの細胞膜の内側に複数の細胞核が存在する場合もある。実施の形態1では、細胞膜と、この細胞膜の内側に存在する細胞核および細胞質とを1つの細胞とし、細胞膜で囲まれた領域を1つの細胞領域(細胞集塊の領域を含む)と認識する。
【0169】
処理手順としては、細胞核、細胞膜および細胞質について作成されている細胞核同定情報561や細胞膜同定情報562、細胞質同定情報563のマップデータ564あるいは位置座標(1)〜(p)/(1)〜(q)5682(図25や図26を参照)を参照して1つの細胞領域を認識し、各細胞領域に個々の細胞を識別するための固有のラベル(細胞識別ラベル)を付す。
【0170】
図27は、ステップb9の処理の結果得られてVS画像ファイル5に設定される細胞一覧テーブル57(図15(b)を参照)のデータ構成例を説明する図である。図27(a)に示すように、細胞一覧テーブル57は、総細胞数571と、総細胞数571に相当する数の細胞情報(1)〜(s)572とを含む。
【0171】
総細胞数571には、認識されたVS画像中の細胞領域の数が設定される。そして、各細胞核の領域に関する情報が、それぞれ細胞情報(1)〜(s)572に設定される。具体的には、細胞情報(1)〜(s)572には、図27(b)に示すように、細胞識別ラベル573と、細胞核識別ラベル574と、細胞膜識別ラベル575と、細胞質識別ラベル576とが設定される。細胞識別ラベル573には、その細胞に付された細胞識別ラベルが設定される。細胞核識別ラベル574には、その細胞を構成する細胞核に対して図16のステップb7の細胞コンポーネント同定処理で付されたラベル(細胞核識別ラベル)が設定される。細胞膜識別ラベル575には、その細胞を構成する細胞膜に対して図16のステップb7の細胞コンポーネント同定処理で付されたラベル(細胞膜識別ラベル)が設定される。細胞質識別ラベル576には、その細胞を構成する細胞質に対して図16のステップb7の細胞コンポーネント同定処理で付されたラベル(細胞質識別ラベル)が設定される。
【0172】
続いて、図16に示すように、標的分子発現部位抽出部460が、標的分子発現部位を抽出する際の抽出条件の設定依頼の通知を表示部43に表示する処理を行う(ステップb11)。例えば、抽出条件設定画面を表示部43に表示する処理を行って抽出条件の設定依頼を通知し、この抽出条件設定画面上でユーザによる抽出条件の設定操作を受け付ける。図28は、抽出条件設定画面の一例を示す図である。
【0173】
図28に示すように、抽出条件設定画面は、同様に構成された複数の抽出標的分子設定画面W41(図28では2つの抽出標的分子設定画面W41−1,W41−2)を備える。ユーザは、この抽出標的分子設定画面W41において、標的分子の発現状況を抽出条件として設定する。なお、抽出標的分子設定画面W41の配置数は1以上であればよく、適宜の数の抽出標的分子設定画面W41を配置することで、1以上の標的分子についての発現状況を抽出条件として設定可能な画面構成を実現できる。
【0174】
抽出標的分子設定画面W41は、標的分子を標識するために対象標本Sに施されている分子標的染色の色素(分子標的色素)を選択するための選択ボックスB41を備え、この選択ボックスB41の下方には、コメント表示欄B43が配置されている。
【0175】
選択ボックスB41は、図17のステップc3において染色色素として設定された分子標的色素の一覧を選択肢として提示し、選択を促す。実施の形態1では、DAB色素、VV色素およびVR色素の3つが選択肢として提示される。この選択ボックスB41において、ユーザは、対象標本Sを染色している染色色素のうちのどの染色色素が標的分子を標識するための分子標的色素なのかを設定する。なお、染色色素として設定されている分子標的色素が細胞コンポーネント同定用色素を含む場合には、この細胞コンポーネント同定用色素を選択肢から外して提示する構成としてもよい。この構成の場合には、実施の形態1では、DAB色素とVV色素の2つが選択肢として提示されることとなる。このようにすれば、ユーザによる操作性が向上する。
【0176】
コメント表示欄B43には、選択ボックスB41で選択した分子標的色素について上記した色素登録画面(図18を参照)で入力された抗体や抗原(標的分子)の名称等のコメント情報が表示される。したがって、観察・診断対象とする対象標本に対して異なる複数の分子標的染色が施され、異なる標的分子が標識されている場合であっても、ユーザは、このコメント表示欄B43を参考にしながら、対応する選択ボックスB41において所望の標的分子を標識するための分子標的色素を選択することができる。
【0177】
また、抽出標的分子設定画面W41は、標的分子が発現する細胞コンポーネントを選択するための3つのチェックボックスCB41,CB42,CB43を備え、これら3つのチェックボックスCB41,CB42,CB43毎に、2つの入力ボックスB45,B47が配置されている。なお、これらチェックボックスCB41,CB42,CB43のチェックによって設定できるのは、図20に示して説明した細胞コンポーネント同定処理で同定対象とした細胞コンポーネントに限定される。このため、同定対象としていない細胞コンポーネント(例えば実施の形態1では細胞質)のチェックボックスについては、選択できないように構成してもよい。これによれば、ユーザの操作性が向上する。
【0178】
入力ボックスB45は、対応する細胞コンポーネント上での標的分子の発現濃度を抽出条件として設定するためのものであり、後述する図16のステップb13で標的分子発現部位を抽出する際に、この発現濃度を標的分子が発現しているか否かの判定基準として用いる。ユーザは、この入力ボックスB45に、標的分子の発現濃度として例えば選択した分子標的色素の色素量の値を入力する。これによれば、対応する細胞コンポーネントの領域内の各画素のうち、選択した分子標的色素の色素量が所望の色素量の値以上である画素を、標的分子が発現している画素として抽出することができる。
【0179】
また、対象標本S内に発現する標的分子を観察・診断する場合、その標的分子がどの細胞コンポーネント上に発現するのかだけでなく、その発現濃度が重要な場合がある。例えば、所定の細胞コンポーネント上に発現する標的分子であっても、発現濃度が高濃度の場合に問題となり、発現濃度が低濃度であれば問題とならない場合がある。逆も同様である。このような場合には、ユーザは、入力ボックスB45に、標的分子の発現濃度として例えば選択した分子標的色素の色素量の範囲を入力する。これによれば、対応する細胞コンポーネント上において標的分子が所望の発現濃度で発現している領域(すなわち、対応する細胞コンポーネントの領域内の各画素のうち、選択した分子標的色素の色素量が入力ボックスB45で入力した色素量の範囲内である画素)を標的分子発現部位として抽出することが可能となる。なお、単に分子標的色素の色素量を含む画素を標的分子発現部位として抽出したい場合には、入力ボックスB45に値を入力しなければよい。
【0180】
入力ボックスB47は、対応する細胞コンポーネント上での標的分子の発現割合を抽出条件として設定するためのものである。対象標本S内に発現する標的分子を観察・診断する場合、前述の発現濃度の他にも、標的分子が所定の細胞コンポーネント上でどの程度の領域を占めているのかが重要な場合もある。このような場合に、ユーザは、この入力ボックスB47に、細胞コンポーネント上での標的分子の発現割合の値を入力する。例えば、細胞膜内の10%以上の領域で標的分子が発現していることを条件としたい場合であれば、細胞膜のチェックボックスCB42をチェックし、対応する入力ボックスB47において、「10%以上」を入力する。なお、単に細胞コンポーネント上に発現している標的分子を抽出したい場合には、入力ボックスB47に値を入力しなければよい。
【0181】
ユーザは、以上のように構成される抽出条件設定画面において、抽出したい標的分子発現部位毎に抽出条件を設定する。具体的には、標的分子を標識するための分子標的色素を選択するとともに、その標的分子が発現する細胞コンポーネントを選択し、適宜選択した細胞コンポーネント上での発現濃度や発現割合を入力することによって抽出条件を設定する。
【0182】
上記したように、実施の形態1で観察・診断対象とする対象標本Sは、エストロゲン受容体(ER)を認識する抗ER抗体およびプロゲステロン受容体(PgR)を認識する抗PgR抗体を用い、DAB反応による発色で標識を施すとともに、HER2受容体(HER2)を認識する抗HER2抗体を用い、VV色素で標識を施したものである。そして、この対象標本Sを撮像したVS画像中の各細胞領域を、細胞核上でのERおよび/またはPgRの発現の有無と細胞膜上でのHER2の発現の有無との組み合わせによって定義される細胞亜型に分類するものである。そこで、実施の形態1では、細胞核上でERおよび/またはPgRが発現している箇所を1つ目の標的分子発現部位とし、細胞膜上でHER2が発現している箇所を2つ目の標的分子発現部位とする。そして、1つ目の標的分子発現部位に対応する抽出条件(1)として、抽出標的分子設定画面W41−1の選択ボックスB41でDAB色素を選択する。また、チェックボックスCB41をチェックして細胞核を選択し、入力ボックスB45において標的分子が発現していると判定するDAB色素の色素量の値を入力する。また、必要があれば、入力ボックスB47において発現割合の値を入力する。さらに、2つ目の標的分子発現部位に対応する抽出条件(2)として、抽出標的分子設定画面W41−2の選択ボックスB41でVV色素を選択する。また、チェックボックスCB42をチェックして細胞膜を選択し、入力ボックスB45において標的分子が発現していると判定するVV色素の色素量の値を入力する。また、必要があれば、入力ボックスB47において発現割合の値を入力する。
【0183】
なお、この抽出条件設定画面は、異なる抽出標的分子設定画面W41の選択ボックスB41において同一の分子標的色素を選択する場合を妨げるものではない。すなわち、例えば、同じ標的分子について、細胞膜上で発現しているものと、細胞質上で発現しているものとをそれぞれ標的分子発現部位として抽出したい場合がある。この場合には、例えば抽出標的分子設定画面W41−1の選択ボックスB41でその標的分子を標識するための分子標的色素を選択し、チェックボックスCB42をチェックして細胞膜を選択するとともに、抽出標的分子設定画面W41−2の選択ボックスB41で同じ分子標的色素を選択し、チェックボックスCB43をチェックして細胞質を選択する。
【0184】
図16に戻り、標的分子発現部位抽出部460は、以上のようにして抽出条件設定画面においてユーザが操作入力した内容をもとに、抽出条件を設定する(ステップb13)。実施の形態1では、分子標的色素をDAB色素とし、細胞コンポーネントを細胞核とし、細胞核上での発現濃度を入力値とした抽出条件(1)と、分子標的色素をVV色素とし、細胞コンポーネントを細胞膜とし、細胞膜上での発現濃度を入力値とした抽出条件(2)の2つの抽出条件を設定する。なお、図28の抽出条件設定画面において入力ボックスB47に対する入力があれば、この入力値を細胞核上または細胞膜上での発現割合として抽出条件を設定すればよい。
【0185】
そして、標的分子発現部位抽出部460が、ステップb11で設定した抽出条件に従って標的分子発現部位を抽出する処理(標的分子発現部位抽出処理)を行い、標的分子発現部位マップを作成する(ステップb15)。
【0186】
ここで、標的分子発現部位抽出処理の原理について説明する。この標的分子発現部位抽出処理では、標的分子発現部位抽出部460は先ず、抽出条件に従い、設定されている細胞コンポーネントのマップデータ564(図25(b)を参照)を読み出す。
【0187】
続いて、標的分子発現部位抽出部460は、抽出条件に従い、設定されている分子標的色素の色素量をもとに発現状況マップを作成する。具体的には、設定されている分子標的色素の色素量を含み、かつその色素量の値が設定されている発現濃度の値以上である画素を発現部位候補画素として選出する。あるいは、設定されている分子標的色素の色素量を含み、かつその色素量の値が設定されている発現濃度の値の範囲内である画素を発現部位候補画素として選出する。発現濃度が設定されていなければ、設定されている分子標的色素の色素量を含む画素を発現部位候補画素として選出すればよい。そして、選出した画素位置に「1」を設定した発現状況マップを作成する。
【0188】
そして、設定されている細胞コンポーネントのマップデータ564に「1」が設定されている画素のうち、発現状況マップに「1」が設定されている各発現部位候補画素を標的分子発現部位の領域の画素として抽出し、標的分子発現部位マップを作成する。ここで、抽出条件として発現割合が設定されている場合には、同一のラベル(細胞核識別ラベル/細胞膜識別ラベル/脂肪質識別ラベル)が付された1つの細胞コンポーネント毎に、発現割合を算出する。具体的には、同一のラベルが付された細胞コンポーネントを順番に処理対象とし、処理対象の細胞コンポーネントの領域内の画素数をもとに、この処理対象の細胞コンポーネントの領域内における発現部位候補画素数の割合を求めることで処理対象の細胞コンポーネントにおける発現割合を得る。なお、発現濃度を加味して発現割合を求めることとしてもよい。すなわち、処理対象の細胞コンポーネントの領域内における発現部位候補画素のうち、その発現濃度が予め設定される所定の発現濃度以上である(色素量の値が予め設定される所定値以上である)画素の数を計数することとしてもよい。そして、処理対象の細胞コンポーネントの領域内の画素数に対する計数した数の割合を求めることで発現割合を得ることとしてもよい。そして、算出した発現割合の値が設定されている発現割合の値以上の場合に、処理対象の細胞コンポーネントの領域内における発現部位候補画素を標的分子発現部位の領域の画素として抽出する。
【0189】
図29は、実施の形態1における標的分子発現部位抽出処理の原理を説明する説明図であり、図29(a)は細胞核のマップデータ564の一例を示し、図29(b)は抽出条件(1)に従って作成した発現状況マップの一例を示し、図29(c)は標的分子発現部位マップの一例を示している。
【0190】
実施の形態1では、先ず、抽出条件(1)に従い、図29(a)に示す細胞核のマップデータ564を読み出す。続いて、図29(b)に示すように、VS画像の各画素の中から、DAB色素の色素量を含み、かつその値が設定されている発現濃度の値以上である発現部位候補画素を選出し、選出した発現部位候補画素に「1」を設定した発現状況マップを作成する。そして、図29(c)に示すように、細胞核のマップデータ564において「1」が設定されている画素のうち、発現状況マップにおいて「1」が設定されている各発現部位候補画素を標的分子発現部位の領域の画素として抽出する。この結果、標的分子発現部位の領域の画素に「1」が設定された抽出条件(1)についての標的分子発現部位マップが得られる。なお、図示しないが、同様の要領で、VV色素についても発現状況マップを作成する。そして、細胞膜のマップデータ564と、作成した発現状況マップとをもとに標的分子発現部位の領域の画素を抽出し、抽出条件(2)についての標的分子発現部位マップを得る。
【0191】
以上、標的分子発現部位抽出処理の原理について説明したが、実際の標的分子発現部位抽出処理では、同一のラベル(細胞核識別ラベル/細胞膜識別ラベル/脂肪質識別ラベル)が付された個々の細胞コンポーネント毎に標的分子発現部位の抽出を行う。具体的には、その1つの細胞コンポーネントの領域内に発現部位候補画素が含まれれば、その細胞コンポーネントを標的分子発現部位を含む細胞コンポーネント(以下、「陽性細胞コンポーネント」と呼ぶ。)とし、その発現部位候補画素を標的分子発現部位の領域の画素として抽出する。例えば、設定されている細胞コンポーネントが細胞膜の場合であれば、細胞膜同定情報562(図25を参照)を参照する。そして、その同定コンポーネント一覧566に設定されている同定コンポーネント情報(1)〜(o)568(図26を参照)毎に、その位置座標(1)〜(p)/(1)〜(q)5682の各画素が発現部位候補画素として選出されているか否かによって、標的分子発現部位の領域の画素を抽出する。
【0192】
図30は、この標的分子発現部位抽出処理の結果得られてVS画像ファイル5に設定される標的分子発現部位情報58(図15(b)を参照)のデータ構成例を説明する図である。図30(a)に示すように、標的分子発現部位情報58は、抽出標的分子数581と、抽出標的分子数581に相当する数の抽出標的分子情報(1)〜(j)582とを含む。
【0193】
抽出標的分子数581には、抽出された標的分子発現部位の数、すなわち、ステップb13で設定された抽出条件の数が設定される。そして、各標的分子発現部位に関する情報が、それぞれ抽出標的分子情報(1)〜(j)582に設定される。具体的には、抽出標的分子情報(1)〜(j)582には、図30(b)に示すように、標的分子発現部位マップ583と、陽性細胞コンポーネント一覧584とが設定される。
【0194】
陽性細胞コンポーネント一覧584は、図30(c)に示すように、陽性細胞コンポーネント数585と、陽性細胞コンポーネント数585に相当する数の陽性細胞コンポーネント情報(1)〜(k)586とを含む。
【0195】
陽性細胞コンポーネント数585には、標的分子発現部位を含む細胞コンポーネント(陽性細胞コンポーネント)の数が設定される。そして、各陽性細胞コンポーネントに関する情報が、それぞれ陽性細胞コンポーネント情報(1)〜(k)586に設定される。具体的には、陽性細胞コンポーネント情報(1)〜(k)586には、図30(d)に示すように、その陽性細胞コンポーネントの領域に付されたラベル(標的分子発現部位を含む細胞コンポーネントが細胞核であればその細胞核に付された細胞核識別ラベル、細胞膜であればその細胞膜識別ラベル、細胞質であればその細胞質識別ラベル)587と、その細胞コンポーネントの領域内の標的分子発現部位の画素位置一覧である位置座標(1)〜(l)588が設定される。
【0196】
続いて、図16に示すように、細胞亜型設定部461が、細胞亜型の設定依頼の通知を表示部43に表示する処理を行う(ステップb17)。例えば、名称設定画面および発現パターン設定画面を細胞亜型設定画面として順次表示部43に表示する処理を行って細胞亜型の設定依頼を通知し、この名称設定画面および発現パターン設定画面上でユーザによる細胞亜型の設定操作を受け付ける。図31は、名称設定画面の一例を示す図であり、図32は、発現パターン設定画面の一例を示す図である。
【0197】
図31に示す名称設定画面は、設定する細胞亜型の数を入力する入力ボックスB61と、設定する細胞亜型の呼称(細胞亜型名称)を入力する入力ボックスB62とを備える。ここで、入力ボックスB62は、例えば、入力ボックスB61に入力した細胞亜型数分表示され、各細胞亜型それぞれの細胞亜型名称の入力を受け付ける。実施の形態1では、VS画像中の各細胞領域を上記した「Luminal B」「Luminal A」「HER2 disease」「Basal like」の4つの細胞亜型に分類するため、図31に示すように、入力ボックスB61において「4」を入力し、4つの入力ボックスB62にそれぞれの細胞亜型名称を入力する。
【0198】
また、図32に示す発現パターン設定画面は、図31の名称設定画面で細胞亜型名称が入力された細胞亜型毎に、図17のステップc3で設定された分子標的色素によって標識される標的分子の発現の有無を選択するための選択ボックスB63が配列されて構成される。選択ボックスB63は、「○:標的分子の発現あり」「×:標的分子の発現なし」「−:無関係」の3つの選択肢を提示し、選択を促す。
【0199】
この発現パターン設定画面において、ユーザは、4つの細胞亜型毎に、DAB色素によって標識されるERおよび/またはPgR、VV色素によって標識されるHER2、およびVR色素によって標識されるESAの発現の有無をそれぞれ対応する選択ボックスB63で選択することで、各細胞亜型について標的分子の発現パターンを設定する。例えば、「Luminal B」は、細胞核上にERおよび/またはPgRが発現しており、細胞膜上にHER2が発現している細胞領域を分類する細胞亜型であり、図32に示すように、ERおよび/またはPgRの発現の有無を選択するための選択ボックスB63−1で「○」を選択し、HER2の発現の有無を選択するための選択ボックスB63−2で「○」を選択する。また、実施の形態1において、VR色素は、細胞コンポーネント同定用色素(詳細には細胞膜同定用色素)であり、ESAの発現の有無を選択するための選択ボックスB63−3では「−」を選択する。同様に、「Luminal A」「HER2 disease」「Basal like」についても、各標的分子の発現の有無を図32に示すようにそれぞれ対応する選択ボックスB63で選択する。
【0200】
なお、図32では、細胞亜型毎に一組の標的分子の発現パターンを設定することとしたが、複数の標的分子の発現パターンのうちのいずれか1つに該当する細胞領域を分類する細胞亜型を設定したい場合もある。このような場合に1つの細胞亜型に対して複数通りの標的分子の発現パターンを設定できるように、図32において、選択ボックスB63を細胞亜型毎に複数組配置し、細胞亜型毎に標的分子の発現パターンを複数通り設定できるようにしてもよい。
【0201】
図16に戻り、細胞亜型設定部461は、以上のようにして細胞亜型設定画面においてユーザが操作入力した内容をもとに、細胞亜型を設定する(ステップb19)。具体的には、細胞亜型名称およびその細胞亜型についての標的分子の発現パターンを設定した細胞亜型設定情報518を作成し、VS画像ファイル5(図13(b)を参照)に設定する。
【0202】
図33は、細胞亜型設定情報518のデータ構成例を説明する図である。図33(a)に示すように、細胞亜型設定情報518は、細胞亜型数5181と、細胞亜型数5181に相当する数の細胞亜型情報(1)〜(t)5182とを含む。細胞亜型数5181には、図31の名称設定画面において入力ボックスB61に入力された値が設定される。また、図33(b)に示すように、細胞亜型情報(1)〜(t)5182は、細胞亜型名称5183と、標的分子発現パターン情報5184とを含む。細胞亜型名称5183には、図31の名称設定画面において入力ボックスB62に入力された細胞亜型名称が設定される。また、標的分子発現パターン情報5184には、図32の発現パターン設定画面において、細胞亜型名称5183の細胞亜型について対応する選択ボックスB63で選択された複数の標的分子の発現の有無の組み合わせが設定される。
【0203】
続いて、図16に示すように、細胞亜型分類判定部462が、ステップb9で認識した細胞領域毎に標的分子の発現パターンを判定し、各細胞領域をステップb19で設定した細胞亜型に分類する処理(細胞亜型分類処理)を行う(ステップb21)。
【0204】
図34は、実施の形態1における細胞亜型分類処理の原理を説明する説明図である。ここで、図34(a)は、細胞核同定情報561のマップデータ564および細胞膜同定情報562のマップデータ564を重ねて示し、これらマップデータ564を用いて認識された8つの細胞領域C51〜C58を破線によって示している。また、図34(b)は、抽出条件(1)についての標的分子発現部位マップ(細胞核上でERおよび/またはPgRが発現している箇所)の一例を示し、図34(c)は、抽出条件(2)についての標的分子発現部位マップ(細胞膜上でHER2が発現している箇所)の一例を示している。
【0205】
前段の処理である図16のステップb15では、所定の細胞コンポーネント上で所定の標的分子が発現している箇所を標的分子発現部位として抽出している。ステップb21の細胞亜型分類処理では、細胞亜型分類判定部462は、各細胞領域に含まれる標的分子発現部位の組み合わせによって各細胞領域における標的分子の発現パターンを判定し、各細胞領域をその標的分子の発現パターンに該当する細胞亜型に分類する。
【0206】
例えば、細胞領域C53は、図34(b)に示すように細胞核上でERおよび/またはPgRが発現している箇所である標的分子発現部位を含み、かつ、図34(c)に示すように細胞膜上でHER2が発現している箇所である標的分子発現部位を含むため、図34(d)に示すように「Luminal B」に分類される。細胞領域C57も同様である。
【0207】
また、細胞領域C52は、図34(b)に示すように、細胞核上でERおよび/またはPgRが発現している箇所である標的分子発現部位を含む。一方で、図34(c)に示すように、細胞膜上でHER2が発現している箇所である標的分子発現部位を含まない。このため、細胞領域C52は、図34(e)に示すように「Luminal A」に分類される。細胞領域C55も同様である。
【0208】
また、細胞領域C51は、図34(b)に示すように、細胞核上でERおよび/またはPgRが発現している箇所である標的分子発現部位を含まない。一方で、図34(c)に示すように、細胞膜上でHER2が発現している箇所である標的分子発現部位を含む。このため、細胞領域C51は、図34(f)に示すように「HER2 disease」に分類される。細胞領域C54,C56も同様である。
【0209】
そして、細胞領域C58は、図34(b)に示すように細胞核上でERおよび/またはPgRが発現している箇所である標的分子発現部位を含まず、かつ、図34(c)に示すように細胞膜上でHER2が発現している箇所である標的分子発現部位を含まないため、図34(g)に示すように「Basal like」に分類される。
【0210】
なお、実施の形態1では、全ての細胞領域がいずれかの細胞亜型に分類されるが、細胞亜型として設定される標的分子の発現パターンによっては、いずれにも分類されない細胞領域が存在する場合もあり得る。このような場合には、いずれにも分類されない細胞領域を例えば「Others」とし、以降の処理を行えばよい。
【0211】
以上、細胞亜型分類処理の原理について説明したが、実際の細胞亜型分類処理では、同一の細胞識別ラベルが付された個々の細胞領域毎に標的分子の発現パターンを判定する。具体的には、細胞亜型分類判定部462は、細胞一覧テーブル57に設定されている細胞情報(1)〜(s)572(図27を参照)を順番に参照していき、その細胞領域を構成する細胞核、細胞膜、細胞質の領域にそれぞれ付された細胞核識別ラベル574、細胞膜識別ラベル575、細胞質識別ラベル576が、標的分子発現部位情報58の抽出標的分子情報(1)〜(j)582の陽性細胞コンポーネント一覧584においていずれかの陽性細胞コンポーネント情報(1)〜(k)586のラベル587(図30を参照)として設定されている場合に該当する標的分子発現部位を含むと判定する。そして、含むと判定した標的分子発現部位の組み合わせをもとに、細胞亜型設定情報518に設定されている細胞亜型情報(1)〜(t)5182の標的分子発現パターン情報5184(図33を参照)において発現ありと設定されている標的分子の標的分子発現部位を含み、発現なしと設定されている標的分子の標的分子発現部位を含まない細胞領域をその細胞亜型に分類する。
【0212】
図35は、この細胞亜型分類処理の結果得られてVS画像ファイル5に設定される細胞亜型分類テーブル59(図15(b)を参照)のデータ構成例を説明する図である。図35(a)に示すように、細胞亜型分類テーブル59は、細胞亜型分類数591と、細胞亜型分類数591に相当する数の細胞亜型分類情報(1)〜(u)592とを含む。
【0213】
細胞亜型分類数591には、図16のステップb19で設定された細胞亜型の数、すなわち、図33(a)の細胞亜型数5181が設定される。そして、各細胞亜型に分類された細胞領域に関する情報が、それぞれ細胞亜型分類情報(1)〜(u)592に設定される。具体的には、細胞亜型分類情報(1)〜(u)592には、図35(b)に示すように、細胞亜型名称593と、分類細胞一覧594とが設定される。分類細胞一覧594には、図35(c)に示すように、その細胞亜型名称593の細胞亜型に分類された細胞領域の一覧として、該当する細胞亜型に分類された各細胞領域に付された細胞識別ラベル(1)〜(v)595が設定される。
【0214】
以上のようにしてVS画像中の各細胞領域を細胞亜型に分類したならば、図16に示すように、表示画像生成処理に移る(ステップb23)。図36は、表示画像生成処理の処理手順を示すフローチャートである。
【0215】
図36に示すように、表示画像生成処理では、表示画像生成部463が、先ず、染色色素および/または細胞亜型に対する表示色の割当依頼の通知を表示部43に表示する処理を行う(ステップe1)。例えば、表示画像生成部463は、表示色選択画面を表示部43に表示する処理を行って表示色の選択依頼を通知し、この表示色選択画面上でユーザによる表示色の選択操作を受け付ける。
【0216】
図37は、表示色選択画面の一例を示す図である。図37に示すように、表示色選択画面は、色素表示用の表示色選択画面W61と、亜型別表示用の表示色選択画面W62とを備える。
【0217】
図38および図39を参照して後述するように、実施の形態1では、表示モードとして、「色素表示」と「亜型別表示」とを選択できるようになっており、「色素表示」を選択して表示対象の染色色素を選択すると、この表示対象とした染色色素の染色状態を表した表示画像を表示するようになっている。また、この「色素表示」と組み合わせて表示対象とする細胞亜型の選択も可能であり、細胞亜型を選択すると、この表示対象とした細胞亜型に分類された細胞領域について表示対象とした染色色素の染色状態を表した表示画像を表示する。図37に示す色素表示用の表示色選択画面W61では、染色状態を実際の染色色素の色とは別の色で表したい染色色素について、表示色を選択する。染色状態をその染色色素の色のまま表したい場合には、表示色を選択しなければよい。これによれば、染色色素同士が類似した色で可視化される場合であっても、これらを識別容易に表示することが可能となり、観察時の視認性を高めることができる。
【0218】
一方、「亜型別表示」を選択して表示対象の細胞亜型を選択すると、この表示対象とした細胞亜型に分類された細胞領域をその表示色によって識別表示した表示画像を表示するようになっている。「亜型別表示」を選択し、VS画像中の各細胞領域を分類された細胞亜型毎に色分けして表したい場合には、亜型別表示用の表示色選択画面W62において、細胞亜型毎に表示色を選択する。なお、この「亜型別表示」と組み合わせて表示対象とする染色色素の選択も可能となっており、染色色素を選択すると、この表示対象とした染色色素の染色状態を表した表示画像上で、表示対象とした細胞亜型に分類された細胞領域をその表示色によって識別表示した表示画像を表示する。
【0219】
具体的には、図37に示すように、色素表示用の表示色選択画面W61は、染色色素毎に対応する表示色を選択するための選択ボックスB61を備える。選択ボックスB61は、擬似表示色データ475にスペクトルが記録されている擬似表示色の一覧を選択肢として提示し、選択を促す。実施の形態1では、H色素、E色素、DAB色素、VV色素およびVR色素の5種類を染色色素としており、図37では、これら5つの染色色素毎に選択ボックスB61が5つ配置されている。
【0220】
一方、亜型別表示用の表示色選択画面W62は、細胞亜型毎に対応する表示色を選択するための選択ボックスW62を備える。選択ボックスW62は、予め亜型表示用に用意された表示色の一覧を選択肢として提示し、選択を促す。実施の形態1では、「Luminal B」「Luminal A」「HER2 disease」「Basal like」の4つを細胞亜型として例示しており、図37では、これら4つの細胞亜型毎に選択ボックスB62が4つ配置されている。
【0221】
そして、図36に示すように、表示画像生成部463は、割当依頼の通知に応答したユーザの操作入力に応じて染色色素および/または細胞亜型に表示色を割り当てる(ステップe3)。
【0222】
続いて、表示画像生成部463は、表示モードの選択依頼の通知と、表示対象とする染色色素および/または細胞亜型の選択依頼の通知とを表示部43に表示する処理を行う(ステップe5)。ユーザは、この選択依頼の通知に応答して表示モードを選択し、染色色素および/または細胞亜型のうちの1つまたは複数を表示対象として選択する。
【0223】
ここで、選択依頼の通知に応答した選択操作が入力されなければ(ステップe7:No)、ステップe21に移行する。一方、表示モードおよび/または表示対象の選択操作が入力された場合には(ステップe7:Yes)、表示画像生成部463は、操作入力に従って表示モードを選択し、表示対象を選択する(ステップe9)。
【0224】
続いて、表示画像生成部463は、ステップe9において選択した表示モードを判定する。そして、表示モードとして「色素表示」を選択した場合には(ステップe11:Yes)、表示画像生成部463は、表示対象の染色色素の色素量をもとに、その染色状態を表したVS画像のRGB画像を合成する(ステップe13)。具体的には、各画素における表示対象の染色色素の色素量をもとに各画素のRGB値を算出し、RGB画像を合成する。
【0225】
このとき、表示対象の染色色素が、ステップe3で表示色(擬似表示色)を割り当てた染色色素を含む場合には、擬似表示色データ475から該当する擬似表示色のスペクトルを読み出して取得する。そして、この染色色素の基準色素スペクトルとして取得した擬似表示色のスペクトルを用い、RGB値を算出する。具体的には、RGB値の算出に際し、該当する分子標的色素の基準色素スペクトルkn(λ)を擬似表示色のスペクトルに置き換えてスペクトル推定を行い、推定結果をもとにRGB値を算出する。
【0226】
また、染色色素と併せて細胞亜型のうちの1つまたは複数を表示対象として選択した場合には、表示対象の細胞亜型に分類された細胞領域内の画素における表示対象の染色色素の色素量をもとに、この表示対象の細胞亜型に分類された細胞領域内の画素のRGB値を算出し、RGB画像を合成することで、表示対象の細胞亜型に分類された細胞領域内における表示対象の染色色素の染色状態を表した表示画像を生成する。
【0227】
ここで、色素量をもとにRGB値を算出し、RGB画像を合成する処理は、例えば特許文献1に記載の公知技術を適用して実現できる。簡単に処理手順を説明すると先ず、色素量データ554に設定されている(図17のステップc9で算出した)色素量d1,d2,・・・,dnに選択係数α1,α2,・・・,αnをそれぞれ乗じて上記した式(2)に代入し、次式(7)を得る。そして、表示対象の染色色素に乗じる選択係数αnを1とし、表示対象としない染色色素に乗じる選択係数αnを0とすることで、表示対象の染色色素の色素量のみを対象とした分光透過率t*(x,λ)を得る。
【数5】

【0228】
撮像されたマルチバンド画像の任意の点(画素)xについて、バンドbにおける画素値g(x,b)と、対応する標本上の点の分光透過率t(x,λ)との間には、カメラの応答システムに基づく次式(8)の関係が成り立つ。
【数6】

λは波長、f(b,λ)はb番目のフィルタの分光透過率、s(λ)はカメラの分光感度特性、e(λ)は照明の分光放射特性、n(b)はバンドbにおける観測ノイズをそれぞれ表す。bはバンドを識別する通し番号であり、ここでは1≦b≦6を満たす整数値である。
【0229】
したがって、式(7)を上記した式(8)に代入し、次式(9)に従って画素値を求めることによって、表示対象の染色色素の色素量を表示した表示画像(表示対象の染色色素による染色状態を表した表示画像)の画素値g*(x,b)を求めることができる。この場合、観測ノイズn(b)をゼロとして計算してよい。
【数7】

【0230】
なお、表示対象の細胞亜型に分類された細胞領域の特定は、次のようにして行う。先ず、細胞亜型分類テーブル59を参照し、表示対象の細胞亜型名称593が設定された細胞亜型分類情報591から分類細胞一覧594(図35を参照)を読み出して表示対象の細胞亜型に分類された細胞領域に付された細胞識別ラベルを取得する。続いて、細胞一覧テーブル57を参照し、取得した細胞識別ラベルが付された細胞領域を構成する細胞核、細胞膜、細胞質の領域にそれぞれ付された細胞核識別ラベル574、細胞膜識別ラベル575、細胞質識別ラベル576(図27を参照)を取得する。そして、同定コンポーネント情報56を参照し、同定コンポーネント一覧566から、取得した細胞核識別ラベル、細胞膜識別ラベル、細胞質識別ラベルがラベル5681として対応付けられた位置座標(1)〜(p)/(1)〜(q)5682(図25,図26を参照)を読み出す。
【0231】
その後、VS画像表示処理部454が、ステップe13で合成したRGB画像をVS画像の表示画像として表示部43に表示する処理を行う(ステップe15)。その後、ステップe21に移行する。
【0232】
一方、ステップe9において選択した表示モードが「色素表示」ではない場合、すなわち、表示モードが「亜型別表示」の場合には(ステップe11:No)、表示対象として選択した細胞亜型に分類された細胞領域を識別表示したVS画像の表示画像を生成する(ステップe17)。具体的には、先ず、表示対象の細胞亜型に分類された細胞領域を特定する。続いて、特定した細胞領域内の画素の画素値を、ステップe3で表示対象の細胞亜型に割り当てた表示色(亜型表示用の表示色)の値とした表示画像を生成する。
【0233】
また、細胞亜型と併せて染色色素のうちの1つまたは複数を表示対象として選択した場合には、先ず、表示対象の染色色素の色素量をもとに、その染色状態を表したVS画像のRGB画像を合成する。そして、合成したRGB画像において、表示対象の細胞亜型に分類された細胞領域内の画素の画素値をその表示対象の細胞亜型に割り当てた表示色の値で置き換えて、表示画像を生成する。
【0234】
そして、VS画像表示処理部454が、ステップe17で生成した表示画像を表示部43に表示する処理を行う(ステップe19)。その後、ステップe21に移行する。
【0235】
ステップe21では、VS画像表示処理部454は、VS画像表示処理の終了判定を行う。例えば、表示終了操作を受け付けて、表示終了操作が入力されなければ(ステップe21:No)、ステップe7に戻る。一方、表示終了操作が入力された場合には(ステップe21:Yes)、図16のステップb23にリターンし、その後ステップb25に移る。
【0236】
ステップb25では、細胞亜型の変更指示操作を監視し、変更指示操作が入力された場合には(ステップb25:Yes)、ステップb17に戻る。一方、細胞亜型の変更指示操作が入力されない場合には(ステップb25:No)、VS画像表示処理の終了判定を行い、終了する場合には(ステップb27:Yes)、本処理を終える。終了しない場合には(ステップb27:No)、ステップb25に戻る。
【0237】
次に、表示画像を表示部43に表示してVS画像を観察する際の操作例について説明する。図38は、VS画像観察画面の一例を示す図である。また、図39は、表示切換ボタンB77の押下によって切り換えられるメイン画面W71−2の一例を示す図である。図38に示すように、VS画像観察画面は、メイン画面W71と、標本全体像ナビゲーション画面W73と、倍率選択部B71と、観察範囲選択部B73と、表示切換ボタンB77と、表示色変更ボタンB78と、表示終了ボタンB79とを備える。
【0238】
図38のメイン画面W71や図39のメイン画面W71−2(詳細にはメイン画面W71−2の後述する各分割画面W711,W713)には、高解像画像である標本領域区画画像を結合して得たVS画像をもとに、表示用に生成した表示画像が表示される。ユーザは、このメイン画面W71等において、実際に顕微鏡装置2で高倍対物レンズを用いて対象標本Sを観察するのと同様の要領で、対象標本Sの全域あるいは対象標本Sを部分毎に高解像度で観察することができる。
【0239】
標本全体像ナビゲーション画面W73には、スライド標本全体画像が縮小表示される。そして、スライド標本全体画像上において、現在メイン画面W71,W71−2に表示されている表示画像の範囲である観察範囲を示すカーソルK731が表示される。ユーザは、この標本全体像ナビゲーション画面W73において、対象標本Sのどの部位を観察しているのかが容易に把握できる。
【0240】
倍率選択部B71は、メイン画面W71,W71−2の表示画像の表示倍率を選択するためのものであり、図示の例では、「全体」「1倍」「2倍」「4倍」「10倍」「20倍」の各表示倍率を選択する倍率変更ボタンB711が配置されている。なお、この倍率選択部B71では、例えば対象標本Sの観察に用いた高倍対物レンズの倍率を最大の表示倍率として提示する。ユーザが、例えば入力部41を構成するマウスで所望する倍率変更ボタンB711をクリックすると、メイン画面W71,W71−2に表示されている表示画像が選択された表示倍率に従って拡縮されて表示される。
【0241】
観察範囲選択部B73は、メイン画面W71,W71−2の観察範囲を移動させるためのものであり、例えば上下左右の各矢印をマウスでクリックすると、所望の移動方向に観察範囲が移動した表示画像がメイン画面W71,W71−2に表示される。また、例えば入力部41を構成するキーボードが備える矢印キーの操作や、メイン画面W71,W71−2上でのマウスのドラッグ操作等に応じて観察範囲を移動させることができるようにしてもよい。ユーザは、この観察範囲選択部B73を操作する等してメイン画面W71,W71−2の観察範囲を移動させることで、メイン画面W71,W71−2において対象標本Sを部位毎に観察できる。
【0242】
表示切換ボタンB77は、メイン画面W71,W71−2の表示を切り換える。具体的には、図38のメイン画面W71および図39のメイン画面W71−2に示すように、表示切換ボタンB77の押下によって、1枚の表示画像をメイン画面W71に表示する単一モードと、メイン画面W71−2を2以上の複数画面に分割して複数の表示画像を表示するマルチモードとを切り換えることができる。なお、図39では、マルチモードとして2画面構成のメイン画面W71−2を例示しているが、3つ以上に画面分割して3枚以上の表示画像を表示してもよい。
【0243】
このメイン画面W71あるいはメイン画面W71−2の各分割画面W711,W713に表示された表示画像上でマウスを右クリックすると、図38や図39に例示するような染色色素および/または細胞亜型の選択メニュー(以下、単に「表示対象の選択メニュー」と呼ぶ。)B751が表示されるようになっている。表示対象の選択メニューB751は、表示モードを選択するための選択ボックスB752を備える。選択ボックスB752は、表示モードの一覧を選択肢として提示し、選択を促す。表示モードは、例えば上記した「色素表示」および「亜型別表示」の2つであるが、図38および図39では、「亜型別表示」として「亜型別表示(細胞)」と「亜型別表示(核)」の2つが提示される。ここで、「亜型別表示(細胞)」は、表示対象の細胞亜型に分類された細胞領域の全域をその表示対象の細胞亜型に割り当てた表示色で識別表示した表示画像を表示する。一方、「亜型別表示(核)」は、表示対象の細胞亜型に分類された細胞領域を構成する細胞核の領域をその表示対象の細胞亜型に割り当てた表示色で識別表示した表示画像を表示する。
【0244】
そして、図38のメイン画面W71では、表示モードとして「色素表示」を選択した場合の表示対象の選択メニューB751を示し、図39の分割画面W713では、表示モードとして「亜型別表示(核)」を選択した場合の表示対象の選択メニューB751を示している。選択ボックスB752でいずれの表示モードを選択した場合も、表示対象の選択メニューB751には、染色色素の一覧および細胞亜型の一覧が選択肢として提示され、この表示対象の選択メニューB751でチェックされた染色色素および/または細胞亜型が表示対象として選択される。実施の形態1では、「H」「E」「DAB」「VV」「VR」の5つが染色色素についての選択肢として提示され、「Luminal B」「Luminal A」「HER2 disease」「Basal like」の4つが細胞亜型についての選択肢として提示される。
【0245】
この表示対象の選択メニューB751において表示モードを選択し、表示対象とする染色色素および/または細胞亜型をチェックすると、図36のステップe9〜ステップe19の処理が行われ、図38のメイン画面W71や、図39のメイン画面W71−2の各分割画面W711,W713において個別に、所望の染色色素の染色状態を表した(所望の染色色素の色素量を表示した)表示画像、あるいは所望の細胞亜型を識別表示した表示画像を表示させることができる。
【0246】
例えば、図38に示す表示対象の選択メニューB751では、表示モードとして「亜型別表示(核)」が選択され、表示対象の細胞亜型として4つの細胞亜型全てがチェックされるとともに、表示対象の染色色素として「H」がチェックされている。この場合には、表示画像生成部463が、VS画像の現在の観察範囲内の各画素におけるH色素の色素量をもとにH色素の染色状態を表したRGB画像を合成する。そして、表示画像生成部463は、合成したRGB画像上で、4つの各細胞亜型に分類された細胞領域を構成する細胞核の領域を、それぞれその細胞亜型に割り当てた表示色で識別表示した表示画像を生成する。H色素は、細胞核を主に染色するため、メイン画面W71の表示画像は、細胞核を対比染色として各細胞亜型に分類された細胞領域の分布(存在状況)を表したものとなる。その後、VS画像表示処理部454が、表示画像を表示部43(詳細にはメイン画面W71)に表示する。表示対象の組み合わせを変更した場合も同様である。なお、ここでは、各細胞亜型に分類された細胞領域を異なる表示色で識別表示することとしたが、識別表示の態様はこれに限定されるものではなく、各細胞亜型に分類された細胞領域が視覚的に識別できればどのような態様であってもよい。
【0247】
ここで、メイン画面W71では、別々のハッチングを付して示した領域A711や領域A713が、異なる細胞亜型に分類された細胞領域を表している。これによれば、VS画像中の各細胞領域を所望の細胞亜型毎に識別表示した表示画像をユーザに提示することができる。また、いずれか1つの細胞亜型を表示対象として選択すれば、対象標本S内の細胞領域うち、所望の細胞亜型に分類された細胞領域のみを識別表示した表示画像をユーザに提示することができる。これによれば、各細胞亜型に分類された細胞領域の分布、あるいは細胞亜型毎の分類を視認性良く表示させることができる。したがって、医師等のユーザは、所望の細胞亜型に分類される細胞が対象標本S内でどのように分布しているのかや、異なる細胞亜型に分類される細胞が対象標本S内でどのように分布(混在)しているのかを視覚的に容易に確認することができ、診断効率が向上する。
【0248】
また、図39において、右側の分割画面W713上の表示対象の選択メニューB751では、表示モードとして「色素表示」が選択され、表示対象の染色色素として「H」「DAB」「VV」がチェックされるとともに、表示対象の細胞亜型として「Luminal B」がチェックされている。この場合には、表示画像生成部463が、VS画像の現在の観察範囲内において、細胞亜型が「Luminal B」に分類された細胞領域内の画素におけるH色素、DAB色素、VV色素の色素量をもとにこれら3つの染色色素の染色状態を表したRGB画像を表示画像として合成する。その後、VS画像表示処理部454が、表示画像を表示部43(詳細には分割画面W713)に表示する。表示対象の組み合わせを変更した場合も同様である。なお、左側の分割画面W711では、図38のメイン画面W71と同じ表示モードで同じ表示対象を選択した様子を示している。
【0249】
ここで、分割画面W713では、例えば領域A731がH色素の染色状態を表し、領域A732がDAB色素の染色状態を表し、領域A733がVV色素の染色状態を表している。これによれば、対象標本Sの所望の染色色素による染色状態を、所望の細胞亜型に分類された細胞領域毎に表した表示画像をユーザに提示することができる。さらに、マルチモードでは、表示モードや表示対象の異なる表示画像を並べて、両者を比較しながら観察するといったことが可能となる。例えば、図39の例では、左側の分割画面W711で各細胞領域の細胞亜型毎の分布を把握しながら、右側の分割画面W713で個々の細胞亜型に分類された細胞領域における標的分子の発現状況を詳細に観察することができる。
【0250】
なお、染色色素の表示色として擬似表示色を割り当てたい場合や、細胞亜型に対する表示色の割り当て・変更を行いたい場合には、図38に示す表示色変更ボタンB78を押下して図37に示した表示色選択画面を表示させ、染色色素および/または細胞亜型に割り当てる表示色を選択する操作を行う。また、VS画像の観察を終える場合には、表示終了ボタンB79を押下する。
【0251】
以上説明したように、実施の形態1では、所定の細胞コンポーネント上に発現する所定の標的分子の有無の組み合わせを細胞亜型として設定することとした。また、設定した細胞亜型に該当する標的分子の発現パターンを判定するため、所定の細胞コンポーネント上で所定の標的分子が発現している箇所(標的分子発現部位)を抽出することとした。そして、各細胞領域に含まれる標的分子発現部位の組み合わせによって各細胞領域における標的分子の発現パターンを判定し、各細胞領域を該当する細胞亜型に分類することとした。そして、各細胞領域をその分類された細胞亜型毎の表示色で識別表示したVS画像中の表示画像を表示することとした。これによれば、対象標本S内の細胞における複数の標的分子の発現パターンを視認性良く表し、所望の細胞亜型に分類された細胞領域の分布や細胞亜型毎の分布を容易に視認することが可能な表示画像をユーザに提示することができる。したがって、医師等のユーザによる診断効率を向上させることができ、観察・診断結果を治療法の選択や予後予測、診断確定等に活用することができる。
【0252】
(実施の形態1の変形例)
実施の形態1では、ホルモン受容体であるエストロゲン受容体(ER)やプロゲステロン受容体(PgR)、あるいはHER2受容体(HER2)の発現に着目し、これら標的分子の発現パターンを4つの細胞亜型に分類する場合について説明したが、例示した標的分子は一例であって、細胞亜型として定義する標的分子の種類やその発現の有無の組み合わせは自由に設定できる。
【0253】
例えば、細胞増殖マーカであるKi−67は、分化度や血管浸襲、リンパ節転移といった腫瘍の悪性度や予後と相関することが知られている。このため、例えばホルモン感受性乳癌の治療では、前述のKi−67の発現の有無を加味して化学療法を治療に取り入れるか否かを判断するといったことが行われている。そこで、実施の形態1で例示した対象標本に対し、Ki−67を認識する分子標的染色をさらに施すようにしてもよい。そして、Ki−67の発現の有無をさらに組み合わせた細胞亜型を設定し、各細胞領域を分類するようにしてもよい。
【0254】
具体的には、実施の形態1の対象標本に対し、Ki−67を認識する抗Ki−67抗体を用い、Diagnostic Biosystems社製の「PermaGreen」による発色(以下、「PG色素」と呼ぶ。)で標識を施す。すなわち、本変形例において観察・診断対象とする対象標本の染色色素は、H色素、E色素、DAB色素、VV色素、PF色素、およびVR色素の6種類であり、H色素によって細胞核が青紫色に染色され、E色素によって細胞質や結合組織が薄赤色に染色され、DAB色素によってERおよびPgRが茶褐色に標識され、VV色素によってHER2が紫色に染色され、PG色素によってKi−67が緑色に染色され、VR色素によって上皮細胞の細胞膜が赤レンガ色に標識されたものである。
【0255】
図40は、本変形例における細胞亜型の一例を示す図である。本変形例では、図40に示すように、VS画像中の各細胞領域を「Luminal B1」「Luminal B2」「Luminal A1」「Luminal A2」「HER2 disease1」「HER2 disease2」「Basal like1」「Basal like2」の8つの細胞亜型に分類する。
【0256】
例えば、「Luminal B1」は、ER,PgRについて発現ありとし、HER2について発現ありとし、Ki−67について発現なしとし、ESAについて無関係としたものである。一方、「Luminal B2」は、ER,PgRについて発現ありとし、HER2について発現ありとし、Ki−67について発現ありとし、ESAについて無関係としたものである。
【0257】
この場合の標的分子発現部位抽出処理(図16のステップb15)では、細胞核上でERおよび/またはPgRが発現している箇所と、細胞膜上でHER2が発現している箇所と、細胞核上でKi−67が発現している箇所とをそれぞれ標的分子発現部位として抽出する。そして、細胞亜型分類処理(図16のステップb21)では、各細胞領域に含まれる前述の3つの標的分子発現部位の組み合わせによって各細胞領域における標的分子の発現パターンを判定し、各細胞領域をその標的分子の発現パターンに該当する細胞亜型に分類する。
【0258】
また、図38や図39に示したVS画像観察画面では、「Luminal B1」「Luminal B2」「Luminal A1」「Luminal A2」「HER2 disease1」「HER2 disease2」「Basal like1」「Basal like2」の8つの細胞亜型をそれぞれ表示対象として選択できるようにする。このとき、例えば、「Luminal B1」と「Luminal B2」とに異なる表示色を割り当てておけば、細胞核上でERおよび/またはPgRが発現し、細胞膜上でHER2が発現している細胞領域のうち、細胞核上でKi−67が発現しているもの(Luminal B2)と発現していないもの(Luminal B1)とを異なる表示色で表示させることが可能となる。また、いずれか一方のみを表示させることもできる。また、「Luminal B1」と「Luminal B2」とに同じ表示色を割り当てておけば、これら2つを区別せずに、細胞核上でERおよび/またはPgRが発現し、細胞膜上でHER2が発現している細胞領域を全て同じ表示色で表示させることも可能である。
【0259】
実際の診断では、例えば、細胞核上でERおよび/またはPgRが発現し、細胞膜上でHER2が発現している細胞領域において細胞核上でKi−67が発現している場合(Luminal B2)には、化学療法の効果も高いと判断して治療に組み込む一方、細胞核上でKi−67が発現していなければ(Luminal B1)、化学療法の効果は低いと判断するといったことが行われており、本変形例によれば、より一層診断精度が向上する。
【0260】
(実施の形態2)
実施の形態1で説明した細胞核同定情報561、細胞膜同定情報562および細胞質同定情報563(図25や図26を参照)、細胞膜一覧テーブル57(図27を参照)、および細胞亜型分類テーブル59(図35を参照)を用いれば、各細胞亜型に該当する細胞の数やその割合といった統計量を算出することができる。
【0261】
図41は、実施の形態2におけるホストシステムの処理部を構成するVS画像表示処理部454bの機能ブロックを示す図である。実施の形態2のホストシステムは、実施の形態1のホストシステム4において、図3に示す処理部45のVS画像表示処理部454を図41に示すVS画像表示処理部454bで置き換えた構成で実現できる。また、図示しないが、記録部47(図3を参照)には、VS画像表示処理プログラム473にかえて、処理部45をVS画像表示処理部454bとして機能させて実施の形態2のVS画像表示処理を実現するためのVS画像表示処理プログラムが記録される。
【0262】
そして、図41に示すように、実施の形態2のVS画像表示処理部454bは、染色色素設定部455と、細胞コンポーネント同定用色素設定部456と、色素量算出部457と、細胞コンポーネント同定処理部458と、細胞認識部459と、標的分子発現部位抽出部460と、細胞亜型設定部461と、細胞亜型分類判定部462と、表示画像生成部463と、統計量算出手段としての統計量算出部464bとを含む。統計量算出部464bは、細胞亜型分類判定部462によって分類された細胞亜型毎の細胞領域をもとに各細胞亜型についての統計量を算出する。
【0263】
図42は、実施の形態2におけるVS画像表示処理の処理手順を示すフローチャートである。なお、図42において、実施の形態1と同様の処理工程には同一の符号を付する。図42に示すように、実施の形態2のVS画像表示処理では、ステップb21において細胞亜型分類判定部462が細胞亜型分類処理を実行した後、統計量算出部464bが統計量算出処理を実行する(ステップf22)。図43は、統計量算出処理の処理手順を示すフローチャートである。
【0264】
図43に示すように、統計量算出処理では、統計量算出部464bは、図42のステップb19において設定された細胞亜型を順次処理対象とし、細胞亜型毎にループBの処理を行う(ステップg1〜ステップg11)。
【0265】
すなわち、ループBでは、統計量算出部464bは、先ず、処理対象の細胞亜型に分類された細胞領域の数を取得し、その出現割合を算出する(ステップg3)。処理対象の細胞亜型に分類された細胞領域の数は、VS画像ファイル5において細胞亜型分類テーブル59に設定される細胞亜型分類数591(図35を参照)を読み出して取得する。また、出現割合は、次式(10)に従って算出する。ここで、細胞亜型分類数は、処理対象の細胞亜型に分類された細胞領域の数である。また、総細胞数は、図42のステップb9で認識された細胞領域の数であり、VS画像ファイル5において細胞一覧テーブル57に設定される総細胞数571(図27を参照)を読み出して取得する。なお、設定した細胞亜型のいずれにも分類されない(Others)の細胞領域が存在する場合には、この細胞領域を除いた細胞領域の数を総細胞数として出現割合を算出することとしてもよい。
出現割合(%)=(細胞亜型分類数/総細胞数)×100 ・・・(10)
【0266】
続いて、統計量算出部464bは、処理対象の細胞亜型の形態特徴量を算出する(ステップg5)。具体的には、統計量算出部464bは、先ず、処理対象の細胞亜型に分類された各細胞領域の形態特徴量を算出する。細胞領域の形態特徴量としては、外接長方形、重心、面積、周囲長、円形度、長径、短径、アスペクト比、細胞核の数、細胞核の面積、核面積の分散、細胞核の円形度、細胞核におけるH色素の濃度等が挙げられる。そして、統計量算出部464bは、細胞領域毎に算出した形態特徴量の例えば平均値や分散値を算出し、処理対象の細胞亜型の形態特徴量とする。
【0267】
ここで、各細胞領域の外接長方形、重心、面積、周囲長、円形度、長径、短径およびアスペクト比の各値は、実施の形態1で説明した細胞核の形態特徴量の算出手法と同様に算出でき、これらの各値は、細胞領域の輪郭をもとに算出する。細胞領域の輪郭は、細胞の境界を形成する画素によって定めることができる。細胞領域が細胞膜によって完全に囲まれた状態であれば、細胞膜の外側の輪郭をその細胞領域の輪郭とすればよい。細胞膜が途中で途切れている場合には、途切れた部分を補間して輪郭とすればよい。
【0268】
細胞核の数は、その細胞領域の内側に存在している細胞核の領域数である。細胞核の面積は、その細胞領域の内側に存在している細胞核の面積であり、細胞集塊のように細胞核の領域が複数存在している場合には、それぞれの面積の平均値として算出する。核面積の分散は、その細胞領域の内側に細胞核の領域が複数存在している場合に、それぞれの面積の分散値として算出する。細胞核の円形度は、実施の形態1で細胞核の領域について算出した円形度に相当する。細胞核におけるH色素の濃度は、その細胞領域の内側に存在している細胞核の領域を構成する画素の色素H(すなわち細胞核同定用色素)の色素量の例えば平均値として算出する。
【0269】
続いて、統計量算出部464bは、処理対象の細胞亜型における標的分子の発現濃度を算出する(ステップg7)。具体的には、統計量算出部464bは、先ず、処理対象の細胞亜型に分類された細胞領域に含まれる標的分子発現部位の画素について算出した分子標的色素の色素量を取得する。処理手順としては、VS画像ファイル5の色素量データ554(図15(d)を参照)から該当する標的分子を標識する分子標的色素の色素量を読み出して取得する。そして、取得した色素量の例えば平均値を標的分子の発現濃度とする。処理対象の細胞亜型に分類された細胞領域が複数種類の標的分子発現部位を含む場合には、その標的分子毎に発現濃度を算出する。
【0270】
続いて、統計量算出部464bは、ステップg3〜ステップg7で算出した値を処理対象の細胞亜型の細胞亜型名称と対応付けた統計量情報を作成し(ステップg9)、処理対象の細胞亜型についてのループBの処理を終える。そして、全ての細胞亜型についてループBの処理を行ったならば、統計量算出処理を終えて図42のステップf22にリターンし、その後ステップb23に移行する。
【0271】
なお、以上のように算出した細胞亜型毎の統計量は、例えばユーザが統計量の表示指示操作を入力した時点等の任意のタイミングで表示部43に表示処理する。この細胞亜型毎の統計量の表示方法は特に限定されるものではないが、例えば、図38のVS画像観察画面に統計量を表示させるための統計量表示ボタンを配置する。そして、この統計量表示ボタンが押下された際に、細胞亜型毎の統計量を表示した統計量表示画面を図38のメイン画面W71や図39のメイン画面W71−2と並べて表示するようにする。これによれば、医師等のユーザは、メイン画面W71やメイン画面W71−2において所望の細胞亜型に分類された細胞領域の分布や細胞亜型毎の分布を確認しながら、統計量表示画面において各細胞亜型の統計量を確認することができる。
【0272】
以上説明したように、実施の形態2によれば、設定した細胞亜型毎の細胞領域をもとに、各細胞亜型についての統計量を算出することができる。そして、算出した統計量を表示部43に表示してユーザに提示することができる。したがって、医師等のユーザは、VS画像中の各細胞領域がいずれの細胞亜型に分類されるのかに加えて、各細胞亜型の出現割合や、各細胞亜型に分類された細胞領域の形態的な特徴、あるいは各細胞亜型における標的分子の発現濃度といった統計量を加味した診断を行うことができる。したがって、医師等のユーザによる診断効率をさらに向上させることができ、観察・診断結果を治療法の選択や予後予測、診断確定等に活用することができる。
【0273】
(実施の形態3)
図44は、実施の形態3におけるホストシステムの処理部を構成するVS画像表示処理部454cの機能ブロックを示す図である。実施の形態3のホストシステムは、実施の形態1のホストシステム4において、図3に示す処理部45のVS画像表示処理部454を図44に示すVS画像表示処理部454cで置き換えた構成で実現できる。また、図示しないが、記録部47(図3を参照)には、VS画像表示処理プログラム473にかえて、処理部45をVS画像表示処理部454cとして機能させて実施の形態3のVS画像表示処理を実現するためのVS画像表示処理プログラムが記録される。
【0274】
そして、図44に示すように、実施の形態3のVS画像表示処理部454cは、染色色素設定部455と、細胞コンポーネント同定用色素設定部456と、色素量算出部457と、細胞コンポーネント同定処理部458と、細胞認識部459と、標的分子発現部位抽出部460と、細胞亜型設定部461と、細胞亜型分類判定部462cと、表示画像生成部463と、領域設定手段としての分類対象領域設定部465cとを含む。分類対象領域設定部465cは、細胞亜型分類処理の対象とするVS画像中の領域を分類対象領域として設定する。細胞亜型分類判定部462cは、分類対象領域設定部465cによって設定された分類対象領域内に存在する細胞領域について標的分子の発現パターンを判定し、この分類対象領域内の細胞領域をその標的分子の発現パターンに該当する細胞亜型に分類する。
【0275】
図45は、実施の形態3におけるVS画像表示処理の処理手順を示すフローチャートである。なお、図45において、実施の形態1と同様の処理工程には同一の符号を付する。図45に示すように、実施の形態3のVS画像表示処理では、ステップb19において細胞亜型設定部461が細胞亜型を設定した後、分類対象領域設定部465cが、分類対象領域の選択依頼の通知を表示部43に表示する処理を行う(ステップh201)。例えば、ステップe13で説明した処理手順でVS画像のRGB画像を合成して表示する処理を行って分類対象領域の選択依頼を通知し、このRGB画像上でユーザによる分類対象領域の選択操作を受け付ける。
【0276】
実施の形態1では、VS画像の全域を対象として各細胞領域を細胞亜型に分類することとしたが、実際の癌の診断においては、腫瘍の領域(腫瘍部)内に存在する細胞領域がいずれの細胞亜型に分類されるのかを観察するといったことが一般的に行われている。ステップh201では、この腫瘍部等の分類対象領域の選択操作を受け付ける。なお、前述のような腫瘍部は、VS画像中において離れた箇所に複数存在する場合もあるため、ステップh201では、適宜複数の分類対象領域の選択操作を受け付ける。
【0277】
そして、分類対象領域設定部465cは、ステップh201で受け付けた分類対象領域の選択操作に従って分類対象領域を設定する(ステップh203)。その後、細胞亜型分類判定部462cが、ステップb9で認識した細胞領域のうち、ステップh203で設定した分類対象領域内に存在する細胞領域について標的分子の発現パターンを判定し、分類対象領域内の細胞領域をステップb19で設定した細胞亜型に分類する(ステップh21)。その後、ステップb23に移行する。
【0278】
以上説明したように、実施の形態3によれば、VS画像中の分類対象領域内に存在する細胞領域について標的分子の発現パターンを判定し、該当する細胞亜型に分類することとした。したがって、VS画像中の例えば診断が必要な領域内に存在する細胞領域のみを対象として細胞亜型に分類することができるので、処理負荷を低減できる。また、医師等のユーザにとっては、所望の細胞亜型に分類される細胞が腫瘍部においてどのように分布しているのかや、異なる細胞亜型に分類される細胞が腫瘍部においてどのように分布(混在)しているのかを視覚的に容易に確認することができ、診断効率が向上する。
【0279】
(実施の形態3の変形例)
実施の形態3では、ユーザによる選択操作に従って分類対象領域を設定することとしたが、分類対象領域としない領域(非分類対象領域)の選択操作を受け付けるようにしてもよい。そして、受け付けた非分類対象領域の選択操作に従い、非分類対象領域外に存在する細胞領域を細胞亜型に分類するようにしてもよい。この場合には、ユーザは、RGB画像上で例えば分類対象領域とする腫瘍部以外の領域を選択する操作を行う。
【0280】
また、実施の形態3では、ユーザによる選択操作に従って分類対象領域を設定することとしたが、所定の標的分子が発現している細胞領域を分類対象の細胞領域として選択し、選択した細胞領域について細胞亜型に分類するようにしてもよい。
【0281】
例えば、上皮細胞を細胞亜型に分類し、間質細胞は分類の対象外とする場合には、ESA抗体を標識する分子標的色素によって染色された細胞領域を分類対象として細胞亜型に分類すればよい。上記したように、ESA抗体は、上皮細胞の細胞膜上に発現する上皮特異抗原ESAを認識する標的分子である。図46は、この場合の細胞亜型の一例を示す図である。図46に示す各細胞亜型の標的分子の発現パターンでは、ESAの発現がありとして設定されている。例えば、「Luminal B」は、ER,PgRについて発現ありとし、HER2について発現ありとし、ESAについて発現ありとしたものである。実際の操作は、実施の形態1で図32に示した発現パターン設定画面において、VR色素によって標識されるESAの発現の有無を対応する選択ボックスB63において「○:標的分子の発現あり」を選択すればよい。
【0282】
そして、この場合の標的分子発現部位抽出処理(図16のステップb15)では、実施の形態1で説明した細胞核上でERおよび/またはPgRが発現している箇所および細胞膜上でHER2が発現している箇所に加えて、細胞膜上でESAが発現している箇所を標的分子発現部位として抽出する。そして、細胞亜型分類処理(図16のステップb21)では、細胞核上でERおよび/またはPgRが発現しており、細胞膜上でHER2が発現している細胞領域のうち、細胞膜上でESAが発現している細胞領域を「Luminal B」に分類し、細胞膜上でESAが発現していない細胞領域については、例えば「Others」とする。これによれば、細胞膜上でESAが発現している上皮細胞の細胞領域のみを分類対象とし、分類対象の細胞領域を「Luminal B」「Luminal A」「HER2 disease」「Basal like」の各細胞亜型に分類することができる。
【0283】
なお、ここでは、分類対象とする細胞領域をESAの発現の有無によって選択する場合について説明したが、これに限定されるものではない。例えば、癌細胞を同定するための所定の抗体(癌細胞に発現する標的分子を認識する所定の抗体)を用い、この抗体を標識する分子標的色素によって染色された細胞領域を分類対象とするようにしてもよい。
【0284】
また、本発明は、蛍光抗体法によって染色された標本を観察する場合、具体的には、所望の抗原等の標的分子に作用させる蛍光色素(染色色素)を用いて染色(蛍光標識)した標本を対象標本Sとして観察する場合にも同様に適用できる。
【0285】
例えば、分子標的染色として、蛍光色素であるDAPI、Qdot(登録商標)545、Qdot(登録商標)605およびQdot(登録商標)655を用い、DAPIによって細胞核を蛍光標識し、Qdot(登録商標)655によって上皮特異抗原ESAを標識し、Qdot(登録商標)605によってエストロゲン受容体(ER)およびプロゲステロン受容体(PgR)を標識し、Qdot(登録商標)545によってHER2受容体(HER2)を標識した標本を対象標本Sとして用意する。
【0286】
図47は、DAPIの励起波長特性および蛍光波長特性を示す図であり、励起波長特性の変化曲線L81を破線で示し、蛍光波長特性の変化曲線L83を実線で示している。図47に示すように、DAPIは、励起波長が360nm付近であり、蛍光波長が460nm付近であって、この360nm付近の励起光を照射すると、460nm付近の蛍光を発する。
【0287】
また、図48は、Qdot(登録商標)545の蛍光波長特性の変化曲線L91、Qdot(登録商標)605の蛍光波長特性の変化曲線L92、およびQdot(登録商標)655の蛍光波長特性の変化曲線L93を示す図である。図48に示すように、Qdot(登録商標)545の蛍光波長は545nm付近であり、Qdot(登録商標)605の蛍光波長は605nm付近であり、Qdot(登録商標)655の蛍光波長は655nm付近である。なお、図示しないが、Qdot(登録商標)545,605,655は、いずれも励起波長が350nm〜488nmである。したがって、Qdot(登録商標)545は、350nm〜488nmの励起光を照射すると、545nm付近の蛍光を発し、Qdot(登録商標)605は、350nm〜488nmの励起光を照射すると、605nm付近の蛍光を発し、Qdot(登録商標)655は、350nm〜488nmの励起光を照射すると、655nm付近の蛍光を発する。
【0288】
この場合には、図2に示した顕微鏡装置2において、キューブ切換部26が蛍光キューブ261を観察光の光路上に配置し、落射照明用光源283からの落射照明光を落射照明光学系によって対象標本Sに照射して、対象標本Sの蛍光観察を行う。
【0289】
より詳細には、キューブ切換部26が備える蛍光キューブ261として、対象標本Sを染色した蛍光色素の励起波長の光を透過させる励起フィルター262と、対象標本Sを染色した全ての蛍光色素の蛍光波長を含む波長の光を透過させる吸収フィルター263と、ダイクロイックミラー264とを設置してユニット化したものを用いる。ここでは、DAPI、Qdot(登録商標)545,605,655の励起波長(例えば350nm〜488nm)の光を透過させる励起フィルター262を用意する。そして、DAPI、Qdot(登録商標)545,605,655の蛍光波長を含む波長(例えば460nm〜655nm)の光を透過させる吸収フィルター263を用意し、蛍光キューブ261を構成する。なお、対象標本Sを染色した蛍光色素の励起波長が異なる場合には、各励起波長の光を透過させる励起フィルター262を設置した蛍光キューブを個別に用意し、キューブ切換部26に装着すればよい。
【0290】
また、フィルタユニット30の光学フィルタ切換部301として、光学素子を装着するための装着穴が少なくとも4つ形成されたものを用意する。そして、4つの装着穴にそれぞれDAPI、Qdot(登録商標)545,605,655の蛍光波長の光を透過させる4枚の光学フィルタ303を装着する。
【0291】
落射照明用光源283から射出されて落射照明光学系によって対象標本Sに照射された落射照明光は、落射照明光学系を経て蛍光キューブ261に入射し、DAPI、Qdot(登録商標)545,605,655の励起波長(350nm〜488nm)の光が励起フィルター262を透過する。そして、励起フィルター262を透過した励起波長(350nm〜488nm)の励起光がダイクロイックミラー264によって反射され、対物レンズ271を経て対象標本Sに照射される。対象標本Sに励起光が照射されると、この励起光によって励起され、対象標本Sから発せられた蛍光(DAPI、Qdot(登録商標)545,605,655が発した蛍光)が観察光として対物レンズ271に入射する。対物レンズ271を経た観察光(蛍光)は、蛍光キューブ261に入射してダイクロイックミラー264を通過する。そして、吸収フィルター263を透過したDAPI、Qdot(登録商標)545,605,655の蛍光波長(460nm〜655nm)の観察光(蛍光)が、フィルタユニット30を経由して鏡筒29に入射する。
【0292】
そして、この場合の対象標本Sの標本像のマルチバンド撮像は、光学フィルタ切換部301を回転させて4枚の光学フィルタ303を順次観察光の光路上に挿入し、TVカメラ32によって標本像を撮像する。これによって、DAPI、Qdot(登録商標)545,605,655の蛍光波長毎の分光スペクトル画像が得られる。
【0293】
一方、ホストシステム4では、実施の形態1と同様に対象標本SのVS画像を生成し、VS画像を表示する。具体的には、DAPIを細胞核同定用色素、Qdot(登録商標)655を細胞膜同定用色素としてそれぞれ用い、実施の形態1と同様に、細胞核上でのERおよび/またはPgRの発現の有無と、細胞膜上でのHER2の発現の有無との組み合わせに従ってVS画像中に映る対象標本内の細胞領域を事前に設定される細胞亜型に分類した後、各細胞領域をその分類された細胞亜型毎の表示色で識別表示したVS画像中の表示画像を表示する。
【0294】
また、本発明は、上記した各実施の形態そのままに限定されるものではなく、各実施の形態に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成できる。例えば、実施の形態に示される全構成要素からいくつかの構成要素を除外して形成してもよい。あるいは、異なる実施の形態に示した構成要素を適宜組み合わせて形成してもよい。
【産業上の利用可能性】
【0295】
以上のように、本発明の顕微鏡システム、標本観察方法およびプログラムは、標本内の細胞における複数の標的分子の発現パターンを視認性良く表した画像を提示し、診断精度を向上させるのに適している。
【符号の説明】
【0296】
1 顕微鏡システム
2 顕微鏡装置
20 電動ステージ
211,221 モータ
213 XY駆動制御部
223 Z駆動制御部
23 顕微鏡本体
241 コレクタレンズ
242 透過用フィルタユニット
243 透過用視野絞り
244 透過用開口絞り
245 折曲げミラー
246 コンデンサ光学素子ユニット
247 トップレンズユニット
251 コレクタレンズ
252 落射用フィルタユニット
253 落射シャッタ
254 落射用視野絞り
255 落射用開口絞り
26 キューブ切換部
261 蛍光キューブ
27 レボルバ
271 対物レンズ
281 透過照明用光源
283 落射照明用光源
29 鏡筒
291 ビームスプリッタ
30 フィルタユニット
303 光学フィルタ
31 双眼部
311 接眼レンズ
32 TVカメラ
33 顕微鏡コントローラ
34 TVカメラコントローラ
4 ホストシステム
41 入力部
43 表示部
45 処理部
451 VS画像生成部
452 低解像画像取得処理部
453 高解像画像取得処理部
454,454b,454c VS画像表示処理部
455 染色色素設定部
456 細胞コンポーネント同定用色素設定部
457 色素量算出部
458 細胞コンポーネント同定処理部
459 細胞認識部
460 標的分子発現部位抽出部
461 細胞亜型設定部
462,462c 細胞亜型分類判定部
463 表示画像生成部
464b 統計量算出部
465c 分類対象領域設定部
47 記録部
471 VS画像生成プログラム
473 VS画像表示処理プログラム
475 擬似表示色データ
5 VS画像ファイル
S 標本(対象標本)

【特許請求の範囲】
【請求項1】
顕微鏡を用い、細胞を構成する1つ以上の細胞構成要素を可視化する要素特定用色素と、複数の標的分子を可視化する分子標的色素とによって染色された標本を撮像した標本画像を取得する画像取得手段と、
前記標本画像の画素毎に、対応する標本上の位置を染色している前記要素特定用色素および前記分子標的色素の色素量を取得する色素量取得手段と、
前記要素特定用色素の色素量をもとに、前記標本画像内の前記細胞構成要素の領域を特定する要素領域特定手段と、
前記細胞構成要素の領域内の画素における前記分子標的色素の色素量をもとに、前記細胞構成要素上の前記複数の標的分子の発現部位を抽出する発現部位抽出手段と、
前記複数の標的分子の発現の有無を組み合わせた標的分子の発現パターンを設定する発現パターン設定手段と、
前記細胞の領域に含まれる前記複数の標的分子の発現部位の組み合わせをもとに、前記設定された標的分子の発現パターンに該当する細胞の領域を分類する発現パターン分類手段と、
前記標的分子の発現パターンに分類された細胞の領域を他の細胞の領域と識別表示した表示画像を生成する表示画像生成手段と、
前記表示画像を表示する処理を行う表示処理手段と、
を備えることを特徴とする顕微鏡システム。
【請求項2】
前記発現パターン設定手段は、前記標的分子の発現パターンを複数設定し、
前記発現パターン分類手段は、前記設定された複数の前記標的分子の発現パターンのそれぞれに該当する細胞の領域を分類し、
前記表示画像生成手段は、前記複数の前記標的分子の発現パターンのそれぞれに分類された細胞の領域を、前記標的分子の発現パターン毎に識別表示して前記表示画像を生成することを特徴とする請求項1に記載の顕微鏡システム。
【請求項3】
前記標本は、所定の形態観察色素によって染色されており、
前記色素量取得手段は、前記標本画像の画素毎に対応する標本上の位置を染色している前記形態観察色素の色素量をさらに取得し、
前記表示画像生成手段は、前記標本画像の各画素における前記形態観察色素の色素量をもとに前記形態観察色素による前記標本の染色状態を表した画像を生成し、該画像中の前記標的分子の発現パターンに分類された細胞の領域の画素値を所定の表示色で置き換えて前記表示画像を生成することを特徴とする請求項1または2に記載の顕微鏡システム。
【請求項4】
少なくとも前記発現パターン分類手段によって前記標的分子の発現パターンに分類された前記細胞の領域の数、または、該細胞の領域の数の前記標本内に存在する前記細胞の総数に対する割合を算出する統計量算出手段を備えることを特徴とする請求項1〜3のいずれか1つに記載の顕微鏡システム。
【請求項5】
前記標本画像中の分類対象領域または非分類対象領域を設定する領域設定手段を備え、
前記発現パターン分類手段は、前記分類対象領域内の細胞の領域または前記非分類対象領域外の細胞の領域について前記標的分子の発現パターンに分類することを特徴とする請求項1〜4のいずれか1つに記載の顕微鏡システム。
【請求項6】
前記標本は、エストロゲン受容体、プロゲステロン受容体およびHER2受容体を可視化する分子標的色素によって染色され、
前記発現パターン設定手段は、前記エストロゲン受容体、前記プロゲステロン受容体および前記HER2受容体の発現の有無を組み合わせて前記標的分子の発現パターンを設定することを特徴とする請求項1〜5のいずれか1つに記載の顕微鏡システム。
【請求項7】
前記標本は、エストロゲン受容体、プロゲステロン受容体、HER2受容体およびKi−67を可視化する分子標的色素によって染色され、
前記発現パターン設定手段は、前記エストロゲン受容体、前記プロゲステロン受容体、前記HER2受容体および前記Ki−67の発現の有無を組み合わせて前記標的分子の発現パターンを設定することを特徴とする請求項1〜6のいずれか1つに記載の顕微鏡システム。
【請求項8】
前記画像取得手段は、前記標本と対物レンズとを前記対物レンズの光軸と直交する面内で相対的に移動させながら、前記標本を部分毎に撮像して複数の標本画像を取得し、
前記複数の標本画像を繋ぎ合せて1枚の標本画像を生成する標本画像生成手段を備えることを特徴とする請求項1〜7のいずれか1つに記載の顕微鏡システム。
【請求項9】
顕微鏡を用い、細胞を構成する1つ以上の細胞構成要素を可視化する要素特定用色素と、複数の標的分子を可視化する分子標的色素とによって染色された標本を撮像した標本画像を取得する画像取得工程と、
前記標本画像の画素毎に、対応する標本上の位置を染色している前記要素特定用色素および前記分子標的色素の色素量を取得する色素量取得工程と、
前記要素特定用色素の色素量をもとに、前記標本画像内の前記細胞構成要素の領域を特定する要素領域特定工程と、
前記細胞構成要素の領域内の画素における前記分子標的色素の色素量をもとに、前記細胞構成要素上の前記複数の標的分子の発現部位を抽出する発現部位抽出工程と、
前記複数の標的分子の発現の有無を組み合わせた標的分子の発現パターンを設定する発現パターン設定工程と、
前記細胞の領域に含まれる前記複数の標的分子の発現部位の組み合わせをもとに、前記設定された標的分子の発現パターンに該当する細胞の領域を分類する発現パターン分類工程と、
前記標的分子の発現パターンに分類された細胞の領域を他の細胞の領域と識別表示した表示画像を生成する表示画像生成工程と、
前記表示画像を表示する処理を行う表示処理工程と、
を含むことを特徴とする標本観察方法。
【請求項10】
コンピュータに、
顕微鏡に対する動作指示を用い、細胞を構成する1つ以上の細胞構成要素を可視化する要素特定用色素と、複数の標的分子を可視化する分子標的色素とによって染色された標本を撮像した標本画像を取得する画像取得手順と、
前記標本画像の画素毎に、対応する標本上の位置を染色している前記要素特定用色素および前記分子標的色素の色素量を取得する色素量取得手順と、
前記要素特定用色素の色素量をもとに、前記標本画像内の前記細胞構成要素の領域を特定する要素領域特定手順と、
前記細胞構成要素の領域内の画素における前記分子標的色素の色素量をもとに、前記細胞構成要素上の前記複数の標的分子の発現部位を抽出する発現部位抽出手順と、
前記複数の標的分子の発現の有無を組み合わせた標的分子の発現パターンを設定する発現パターン設定手順と、
前記細胞の領域に含まれる前記複数の標的分子の発現部位の組み合わせをもとに、前記設定された標的分子の発現パターンに該当する細胞の領域を分類する発現パターン分類手順と、
前記標的分子の発現パターンに分類された細胞の領域を他の細胞の領域と識別表示した表示画像を生成する表示画像生成手順と、
前記表示画像を表示する処理を行う表示処理手順と、
を実行させることを特徴とするプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate

【図22】
image rotate

【図23】
image rotate

【図24】
image rotate

【図25】
image rotate

【図26】
image rotate

【図27】
image rotate

【図28】
image rotate

【図29】
image rotate

【図30】
image rotate

【図31】
image rotate

【図32】
image rotate

【図33】
image rotate

【図34】
image rotate

【図35】
image rotate

【図36】
image rotate

【図37】
image rotate

【図38】
image rotate

【図39】
image rotate

【図40】
image rotate

【図41】
image rotate

【図42】
image rotate

【図43】
image rotate

【図44】
image rotate

【図45】
image rotate

【図46】
image rotate

【図47】
image rotate

【図48】
image rotate