病理診断支援装置、病理診断支援方法、病理診断支援のための制御プログラムおよび該制御プログラムを記録した記録媒体
【課題】医師による病理診断をコンピュータシステム等によって支援する技術分野において、病理診断をより効率よく行うことができる技術を提供する。
【解決手段】検体組織を撮像した対象画像内で（ステップＳ１０１）、好酸性クリスタロイド固有の特徴を有する領域を抽出する（ステップＳ１０２）。対象画像を複数のグリッド画像に分割し（ステップＳ１０３）、好酸性クリスタロイドが検出された領域を含むグリッド画像およびそれに隣接するグリッド画像を病変を含む部位に分類する（ステップＳ１０４）。分類されなかったグリッド画像については所定の基準画像に基づく分類を行っていくつかのカテゴリに分類する（ステップＳ１０５）。これらの分類結果を集合演算処理し（ステップＳ１０６）、その結果に基づく色分けなどの視覚情報を原画像に合成して表示する（ステップＳ１０７）。
【解決手段】検体組織を撮像した対象画像内で（ステップＳ１０１）、好酸性クリスタロイド固有の特徴を有する領域を抽出する（ステップＳ１０２）。対象画像を複数のグリッド画像に分割し（ステップＳ１０３）、好酸性クリスタロイドが検出された領域を含むグリッド画像およびそれに隣接するグリッド画像を病変を含む部位に分類する（ステップＳ１０４）。分類されなかったグリッド画像については所定の基準画像に基づく分類を行っていくつかのカテゴリに分類する（ステップＳ１０５）。これらの分類結果を集合演算処理し（ステップＳ１０６）、その結果に基づく色分けなどの視覚情報を原画像に合成して表示する（ステップＳ１０７）。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、病理診断をコンピュータシステム等によって支援するための技術に関するものである。
【背景技術】
【０００２】
病理診断の１つに、患者から臓器の一部を検体として採取し、これを組織切片ガラススライド標本（プレパラート）にして顕微鏡下で観察し診断を行う生検組織診断がある。このような診断自体は医師が行わなければならないが、そのための作業量は膨大であり、医師の負担は重い。そこで、診断のための観察作業を効率よく行い医師の負担を軽減するために、コンピュータシステムによる画像処理技術を利用した種々の診断支援装置が従来より提案されている（例えば、特許文献１ないし４）。これらの技術においては、検体を撮像した画像の中から、対象臓器の病変に特有の特徴を抽出することで、検体中の異常な部位を検出するようにしている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１０−１９７５２２号公報
【特許文献２】特開２００９−００９２９０号公報
【特許文献３】特開２００９−１１５５９８号公報
【特許文献４】特開２００９−１８０５３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
この種の装置を用いて診断を効率よく行うためには、ある特徴を有する細胞や組織所見が検体内においてどのような分布をしているかが容易に判る機能が重要である。しかしながら、従来技術の病理診断支援装置では、このような要求に十分に応えるに至っていなかった。その主な理由は以下の通りである。すなわち、従来の技術においては、検体内で撮像された画像を個別に評価して既知の異常組織のサンプル画像と共通する特徴を有する画像を抽出したり、抽出された画像が病変に起因するものか否かを判定することに主眼が置かれている。しかしながら、このような抽出・判定の結果を上記のような検体内での分布を判りやすくする態様で表示することで診断の効率化を図るという点において、従来の診断支援技術はさらなる改善の余地が残されていた。
【０００５】
この発明は上記課題に鑑みなされたものであり、医師による病理診断をコンピュータシステム等によって支援する技術分野において、病理診断（例えば、断端判定など）をより効率よく行うことができる技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
この発明にかかる病理診断支援装置は、上記目的を達成するため、検体組織を撮像した原画像を取得する画像取得手段と、前記原画像から、前記検体組織の病変に特有の特徴を有する特殊部位を検出する特殊部位検出手段と、前記特殊部位検出手段が検出した前記特殊部位の前記原画像内における位置に関する視覚情報を前記原画像に合成した合成画像を作成する視覚情報処理手段と、前記合成画像を表示する表示手段とを備えることを特徴としている。
【０００７】
また、この発明にかかる病理診断支援方法は、上記目的を達成するため、検体組織を撮像した原画像を取得する画像取得工程と、前記原画像から、前記検体組織の病変に特有の特徴を有する特殊部位を検出する特殊部位検出工程と、検出した前記特殊部位の前記原画像内における位置に関する視覚情報を前記原画像に合成した合成画像を作成する視覚情報処理工程と、前記合成画像を表示する表示工程とを備えることを特徴としている。
【０００８】
このように構成された発明では、検体組織の病変に特有の所見を有する特殊部位が検出されるとともに、検出された特殊部位の位置に関する視覚情報が原画像に合成されて表示される。このため、ユーザは検体組織内における特殊部位の分布状況を直感的に把握することができ、病理診断を効率よく行うことができる。ここでいう「視覚情報」を伴う表示としては、例えば原画像のうち特殊部位が検出された部分を他の部分と異なる色や明度で表示したり、原画像内における特殊部位の位置座標を表示するなどの方法が可能である。
【０００９】
これらの発明において、特殊部位を検出する際に使用する具体的なパラメータとしては、例えばヘマトキシリン・エオジン染色（以下、「ＨＥ染色」という）された検体組織の原画像について、彩度レベルと、赤色成分の強度と、青色成分の強度と、当該原画像内に存在する構造物の幾何学的特徴とを用いることができる。これらのパラメータが検出しようとする特殊部位の特徴と一致するまたは類似する検体組織内の構造物を検出することで、対象となる特殊部位を精度よく検出することができる。
【００１０】
より具体的には、例えば、原画像内に存在する構造物のうち、彩度レベルが所定の低彩度条件を満たす低彩度領域に囲まれ、赤色成分の強度が所定の高強度条件を満たすとともに青色成分の強度が所定の低強度条件を満たし、かつ面積が所定の面積範囲にある構造物を特殊部位として検出することができる。
【００１１】
このような条件での検出によれば、臓器内の癌化した組織、特に腺管組織に見られる好酸性クリスタロイドを特殊部位として高確率で検出することが可能である。ＨＥ染色では、腺管組織などに含まれる上皮細胞の細胞質や腔は染色されても彩度が低い。このことから、彩度の低い領域は高い確率で腺管組織を含む。したがって、好酸性クリスタロイドは、低彩度領域に囲まれた構造物として対象画像中に存在する。
【００１２】
そして、腺管組織に存在する好酸性クリスタロイドは、針状でＨＥ染色により赤色にかつ光輝性に強く染まる性質を有しており、また形状や大きさのばらつきが比較的少ない。但し、赤色に強く染まる性質を示す領域としては、好酸性クリスタロイド以外にも、赤血球、アミロイド小体等のクリスタロイド類似物質が含まれており、赤色の染色性という条件だけではこれらの物質を排除することができない。一方、これらの類似物質に比べて、好酸性クリスタロイドはＨＥ染色では青色に染まりにくい性質を有し、かつ形状についても他の類似物質と分別可能であることが、本願発明者らの実験により確認された。
【００１３】
そこで、本発明では、低彩度領域に囲まれた領域のうち強い赤色成分を有するが青色成分は弱く、しかも所定の幾何学的特徴を有するもの、例えば面積、形状係数等が所定条件を満たすものを抽出することで、対象画像内に存在する好酸性クリスタロイドを他の物質と区別して検出することが可能となる。このような作用効果は、病変の兆候として好酸性クリスタロイドが生成される病気、例えば前立腺癌を早期発見するための診断を効果的に支援するのに役立つ。
【００１４】
また、これらの発明において、例えば、原画像を複数のグリッド画像に分割し、複数のグリッド画像を原画像における配置に基づく配置で表示し、しかも、特殊部位が含まれるグリッド画像に対して、当該グリッド画像が病変部位であることを表す視覚情報を付して表示するようにしてもよい。このような構成によれば、ユーザは、表示された画像内において特殊部位が検出された位置を概観することができ、病変部位の分布を容易に把握することができる。
【００１５】
この場合においては、例えば、特殊部位が含まれるグリッド画像のみでなく、これに隣接するグリッド画像に対しても、当該グリッド画像が病変部位であることを表す視覚情報を付すようにしてもよい。なぜなら、特殊部位の周辺部位が病変である（病変像を示す）ことが多いためである。特殊部位が検出されたグリッド画像だけでなく隣接するグリッド画像も病変部位とすることで、このような用途に合致した支援を行うことが可能となる。
【００１６】
また、病変部位とされたグリッド画像以外のグリッド画像について、該グリッド画像を各グリッド画像ごとの特徴量に基づいて複数の分類カテゴリに分類し、分類されたグリッド画像に対して、分類カテゴリごとに異なる態様の視覚情報を付した合成画像を作成するようにしてもよい。ここでの分類としては、既知の病理画像を教師画像とする分類や、グリッド画像相互間の比較に基づく分類などが可能である。こうすることで、特殊部位を示す視覚情報を表示するだけでなく、例えば既知の病理画像と類似する部位を視覚的に表示することが可能となり、診断をより効率よく支援することが可能となる。
【００１７】
また、視覚情報を表示する他の方法として、例えば、原画像のうちの部分画像と、当該部分画像内で検出された特殊部位の数を表す視覚情報とを合成して表示するようにしてもよい。ユーザとしては、原画像全体を表示させて全体的な状況を把握したい場合と、そのうちの一部を表示させて精査したい場合とがあるが、原画像の一部である部分画像が表示される際に当該部分画像内で検出された特殊部位の数が表示されれば、精査すべき部分画像を選択しやすくなり診断の効率をさらに向上させることができる。また、定量的な情報を提供することで、ユーザによる診断精度の向上につなげることができる。
【００１８】
また、この発明にかかる制御プログラムは、上記目的を達成するため、検体組織を撮像した原画像を取得する画像取得工程と、前記原画像から、前記検体組織の病変に特有の特徴を有する特殊部位を検出する特殊部位検出工程と、検出した前記特殊部位の前記原画像内における位置に関する視覚情報を前記原画像に合成した合成画像を作成する視覚情報処理工程と、前記合成画像を表示する表示工程とをコンピュータに実行させることを特徴としている。さらに、この発明にかかる記録媒体は、コンピュータ読み取り可能な記録媒体であって、上記した病理診断支援のための制御プログラムを記録したことを特徴としている。これらの発明によれば、上記発明にかかる病理診断支援方法をコンピュータにより実行させることができ、ユーザによる診断を効率よく行わせることができる。
【発明の効果】
【００１９】
この発明にかかる病理診断支援技術によれば、ユーザ（診断医）による病理診断（例えば、断端判定など）を効率よく行わせることが可能である。
【図面の簡単な説明】
【００２０】
【図１】この発明にかかる病理診断支援装置の一実施形態を示す図である。
【図２】この病理診断支援装置の構成を示すブロック図である。
【図３】この装置における診断支援処理を示すフローチャートである。
【図４】対象画像の例を示す図である。
【図５】好酸性クリスタロイド検出処理の第１の例を示すフローチャートである。
【図６】図５の処理において画像内の構造物が選別される過程を模式的に示す図である。
【図７】分類器のモデル例を示す図である。
【図８】分類器による分類処理を示すフローチャートである。
【図９】この実施形態における表示処理を示すフローチャートである。
【図１０】画面に表示される画像の例を示す図である。
【図１１】好酸性クリスタロイド検出処理の第２の例を示すフローチャートである。
【図１２】図１１の処理において画像内の構造物が選別される過程を模式的に示す図である。
【図１３】好酸性クリスタロイド検出処理の第３の例を示すフローチャートである。
【図１４】図１３の処理において画像内の構造物が選別される過程を模式的に示す図である。
【発明を実施するための形態】
【００２１】
図１はこの発明にかかる病理診断支援装置の一実施形態を示す図である。この病理診断支援装置１は、ホストコンピュータ１０と撮像部２０とを備えている。ホストコンピュータ１０は、例えば公知のパーソナルコンピュータやワークステーション端末と同等の構成および機能を有するものであり、各種の制御プログラムを実行するプロセッサ部１００と、ユーザからの操作入力を受け付ける入力部１５０と、各種の情報を表示する表示部１６０と、制御プログラムや画像データなどの各種データを記録した外部記録媒体である光学ディスクＯＤにアクセスしてデータを読み出すディスクドライブ１７０と、インターフェース１８０とを備えている。このホストコンピュータ１０は、インターフェース１８０を介して構内ＬＡＮやインターネットなどの電気通信回線３０に接続可能となっている。
【００２２】
表示部１６０としては例えば液晶ディスプレイを用いることができる。また、入力部１５０としては、例えばマウスのようなポインティングデバイスやキーボードのほか、表示部１６０と一体となったタッチパネルを用いてもよい。また、制御プログラムや画像データを記録した記録媒体としては、光学ディスクに限定されず、ハードディスクやメモリーカード、ＵＳＢメモリなど任意のものを用いることができる。
【００２３】
撮像部２０は、ＣＣＤカメラ２０１が取り付けられた顕微鏡２０２を有している。顕微鏡２０２は、患者から採取された検体組織から作成されたプレパラートの拡大光学像をＣＣＤカメラ２０１の受光部に結像し、ＣＣＤカメラ２０１はこれを撮像しデジタルデータ化していわゆるバーチャルスライドを作成する。検体組織は観察目的に応じて適宜の染色法によって染色される（例えばヘマトキシリン・エオジン（ＨＥ）染色）。
【００２４】
ホストコンピュータ１０は、光学ディスクＯＤから読み込まれた制御プログラムにしたがって、撮像部２０によって撮像されデジタルデータ（ＲＧＢデータ）化された検体組織の画像に各種の画像処理を施して表示部１６０に表示させることで、ユーザ（診断医）による病理診断を支援する。
【００２５】
図２はこの病理診断支援装置１の構成を示すブロック図である。より詳しくは、ホストコンピュータ１０が光学ディスクＯＤから読み込んだ制御プログラムを実行することにより、図２の一点鎖線で囲んだ各機能ブロックがプロセッサ部１００内でソフトウェアにより実現される。これらの機能ブロックにより実現される診断支援処理の内容については後に詳述するが、ここでは個々の機能ブロックの概要について簡単に説明しておく。
【００２６】
この病理診断支援装置１において処理対象となる画像（対象画像）は、例えば、検体組織を撮像しデータ化してなるバーチャルスライドの全体またはそれを複数に分割した画像である。また、同一または複数の患者から採取した複数の検体組織のそれぞれを個別に撮像した複数の画像を対象画像としてもよい。１つのバーチャルスライドを複数に分割して複数の対象画像とする場合には、後の処理でバーチャルスライドを復元できるように、元のバーチャルスライドにおける各対象画像の位置を特定できる情報（例えば、座標情報）を各対象画像データに付しておくことが望ましい。
【００２７】
ここでは、患者の前立腺から採取された組織を検体組織として用いることとする。撮像部２０で撮像された対象画像に対応するＲＧＢ画像データは、グリッド画像生成部１０１および特殊部位検出部１２１に与えられる。特殊部位検出部１２１の動作については後で詳しく説明する。
【００２８】
グリッド画像生成部１０１は、撮像部２０から入力された対象画像を予め定められた、あるいはユーザにより指定された任意の大きさのグリッドで複数のグリッド画像に分割する。この際、各グリッド画像が元の対象画像においてどの位置にあったかを示す情報（例えば、座標情報）を、グリッド画像データに付与しておく。入力受付部１０２は入力部１５０を介したユーザからの操作入力を受け付けるインターフェースとして機能し、ユーザからの各種操作入力を受け付ける。入力受付部１０２は、ユーザにより入力された各種の操作指示に対応する制御信号を装置各部に送信する。
【００２９】
画像特徴量計算部１２２は、作成された各グリッド画像の特徴量を計算する機能を有している。なお、全てのグリッド画像の特徴量を計算してもよく、また特殊部位検出部１２１の検出結果に基づいて選択した所定のグリッド画像の特徴量を計算してもよい。画像の特徴量としては、例えば画像の輝度、テクスチャ情報、所定の条件を満たす領域の大きさなど種々のものを用いることができる。特徴量としてどのような物理量を採用するかについては、予め設定されたパラメータまたはユーザからの操作入力に応じて決定されるパラメータによって定められる。
【００３０】
画像特徴量計算部１２２で計算されたグリッド画像の特徴量は分類器１２３に入力される。分類器１２３は、予めサンプル画像記憶部１１２に保存されているサンプル画像、例えば癌化した細胞に特有の特徴が現れている画像を基準画像として用いて、あるいは、撮像された対象画像の中からユーザにより選ばれたグリッド画像を基準画像として用いて、各グリッド画像をいくつかの分類カテゴリに分類する。分類は公知の分類技術、例えば特徴量空間内におけるユークリッド距離に基づく分類技術を適用することができる。
【００３１】
こうして分類器１２３により処理された分類結果、および、後述する特殊部位検出部１２１による処理結果は、分類結果集積部１０９に集積される。そして、それらの分類結果が必要に応じて集合演算部１１０によって集合演算され、その結果が表示処理部１１１によって処理されて表示用データが作成され、表示部１６０に送られて目的の画像が表示部１６０に表示される。
【００３２】
図３はこの装置における診断支援処理を示すフローチャートである。また、図４は対象画像の例を示す図である。診断支援処理においては、まず最初に診断の対象となる対象画像を取得する（ステップＳ１０１）。対象画像は、図４（ａ）に示すように、主として検体組織Ｓの全体を撮像したバーチャルスライド画像Ｉvであるが、同図に破線で示すように、画像のサイズが大きい場合にはバーチャルスライド画像Ｉvを複数の部分画像Ｉpに分割して各部分画像をそれぞれ対象画像としてもよい。また、バーチャルスライド画像Ｉvについては撮像部２０から受け取ることができるほか、他の撮像装置やストレージから電気通信回線３０等を介して受け取ってもよい。
【００３３】
こうして取得した対象画像（ここではバーチャルスライド画像Ｉvの部分画像Ｉp）内から、前立腺癌、特に高分化癌において特徴的に見られる腺管組織内の好酸性クリスタロイド（晶質）を特殊部位として、これを特殊部位検出部１２１が行う画像処理によって検出する。図４（ｂ）において、符号Ｃは腺管組織内に分布する好酸性クリスタロイドを示している。
【００３４】
図５は好酸性クリスタロイド検出処理の第１の例を示すフローチャートである。また、図６はこの処理において画像内の構造物が選別される過程を模式的に示す図である。前立腺組織における好酸性クリスタロイドは、
（１）主に腺管領域内に存在しており、
（２）大きさが比較的揃っており、
（３）ＨＥ染色によって赤色に染まりやすく、
（４）ＨＥ染色によって青色に染まりにくい、
という特徴を有しており、前立腺内の他の組織や物質でこれらの全ての特徴を備えたものは知られていない。
【００３５】
図６（ａ）は対象画像（前立腺組織から取得した部分画像Ｉp）の一例であり、前立腺組織では、間質領域Ｒ1内に脈管Ｒ2、腺管構造Ｒ4等が点在している。間質領域Ｒ1や脈管Ｒ2内には赤血球Ｒ3が見られることもある。また、腺管構造Ｒ4の内部空間（腺管領域）にはアミロイド小体Ｒ5や好酸性クリスタロイドＲ6が含まれる場合がある。
【００３６】
上記性質（１）、（２）および（３）に基づいて胃癌組織における好酸性クリスタロイドを検出する技術について、性質（２）に関して「形状が四角い」という条件が用いられた例が、前記した特許文献４（特開２００９−１８０５３９号公報）に記載されている。しかしながら、前立腺組織についての本願発明者らの研究によれば、検体組織に含まれる他の物質、例えば赤血球、アミロイド小体等も同様の性質を有しており、これらの条件に基づく判定では、これらの類似物質と好酸性クリスタロイドとを明瞭に区別することは難しい。一方、好酸性クリスタロイドは、ＨＥ染色では青色に染まりにくいという、上記した他の類似物質とは異なる性質をさらに有している。したがって、好酸性クリスタロイドをより精度よく検出するためには、上記した４つの性質を組み合わせて判定を行うことが望ましい。
【００３７】
そこで、まず好酸性クリスタロイドを含む可能性のある腺管領域を対象画像から抽出するために、対象画像のうち彩度レベルが所定の第１閾値よりも低い画素が環状に連続している領域を見つけ出し、この環に囲まれた内部の閉領域を候補領域１として抽出する（ステップＳ２０１）。ＨＥ染色した前立腺組織を透過光で撮像した場合、腺管領域のオブジェクト、すなわち腺管領域を構成する上皮細胞の細胞質や腔の彩度は比較的低い。このため、上記のように彩度の低い閉領域（例えば、細胞質および／または腔）を抽出した候補領域１は、腺管領域を含む可能性が高い。
【００３８】
ここで、画像の彩度については画素単位で処理を行い、第１閾値より低い彩度を有するという条件（低彩度条件）を満たすと判断された画素の集合体として候補領域１が定められる。上記条件を満たす画素の集合体が同条件を満たさない領域を内包しているとき、この内包された領域を含む集合体全体が候補領域１とされる。すなわち候補領域１内には上記第１閾値よりも彩度レベルの高い領域を含んでいてもよい。また、条件を満たす領域が対象画像内に複数ある場合には、それぞれが候補領域１とされる。また、第１閾値については、腺管領域を撮像した既知の画像の解析結果に基づき予め設定される。
【００３９】
図６（ｂ）では、彩度レベルが上記した第１閾値よりも高い領域にハッチングを付している。すなわち、ハッチングのない白抜き部分Ｃ10が、第１閾値よりも低い彩度を有する領域である。そして、図６（ｃ）に示すように、第１閾値よりも低い彩度を有する領域およびその内部に含まれる（より高彩度の）領域を合わせた白抜きの領域Ｃ11が、上記した候補領域１に該当する。
【００４０】
なお、図６（ｂ）ないし６（ｆ）においては、対象画像である部分画像Ｉpのうち、指定された条件に合致するとして抽出された領域を白抜きで、除外された領域をハッチング付きで示している。このことは後述する図１２および図１４においても同じである。
【００４１】
次いで、候補領域１中の各画素について、青色成分が比較的弱い画素からなる領域を候補領域２として抽出する（ステップＳ２０２）。青色成分の強度については、ＲＧＢ画像信号のＢ輝度レベルまたは色差成分を用いて定量的に表すことができ、例えばこれらが所定の第２閾値より低いという条件（低強度条件）に合致するものを抽出すればよい。これにより、候補領域１のうち青色成分が比較的強い領域、例えば赤血球を含む部分が除外され、残余が図６（ｄ）に符号Ｃ12で示される候補領域２となる。
【００４２】
次に、候補領域２の中で、赤色成分が比較的強い画素からなる領域を候補領域３として抽出する（ステップＳ２０３）。赤色成分の強度についても、ＲＧＢ画像信号のＲ輝度レベルまたは色差成分を用いて定量的に表すことができ、例えばこれらが所定の第３閾値より高いという条件（高強度条件）に合致するものを抽出すればよい。これにより、図６（ｅ）に示すように、候補領域２の中から赤色成分の強度が比較的強い領域Ｃ13が候補領域３として抽出される。前立腺組織においてここまでの条件に合致する構造物としては、アミロイド小体および好酸性クリスタロイドが該当する。
【００４３】
前記したように、好酸性クリスタロイドは形状や大きさが比較的揃っている。そこで、こうして抽出された候補領域３のそれぞれについて、その面積を算出し、所定の面積範囲内にあるものを抽出する（ステップＳ２０４）。この場合には、画素単位ではなく、画素の集合体である領域全体を１つの処理対象として扱う。面積範囲は既知の病理画像に含まれる好酸性クリスタロイドの画像解析結果に基づき予め設定される。ここでは好酸性クリスタロイドの大きさのばらつきが比較的小さいという知見に基づいてこのようにしているが、好酸性クリスタロイドが一軸方向に長い針状結晶であることが多いことから、その形状による判断を行うようにしてもよい。これにより、図６（ｆ）に示すように、候補領域からアミロイド小体が除外され、残った領域Ｃ14は高い確度で好酸性クリスタロイドであると判定することができる（ステップＳ２０５）。
【００４４】
こうして対象画像内の好酸性クリスタロイドが検出されると、これまでの処理結果から好酸性クリスタロイドに関連する情報、例えば各好酸性クリスタロイドの大きさ、対象画像内での位置、検出個数などを取得する（ステップＳ２０６）。得られた情報については分類結果集積部１０９に保存しておく。以上が好酸性クリスタロイドを検出するための処理である。
【００４５】
図３に戻って、診断支援処理の説明を続ける。続いて、対象画像（バーチャルスライド画像Ｉvまたはその部分画像Ｉp）を、図４（ｂ）に示すように任意の大きさのグリッドによって複数のグリッド画像Ｉgに分割する（ステップＳ１０３）。こうして分割されたグリッド画像Ｉgのうち、上記した好酸性クリスタロイドの位置情報から、好酸性クリスタロイドが含まれるグリッド画像およびこのグリッド画像に隣接するグリッド画像を抽出し、これらを癌化している可能性が極めて高い病変部位に分類する（ステップＳ１０４）。続いて、病変部位と判定されなかった各グリッド画像Ｉgについて、以下に説明するように分類器による分類を実施する。
【００４６】
図７は分類器のモデル例を示す図である。本実施形態における分類器１２３では、図７（ａ）に示す分類器５のように、ある基準画像と入力画像とが入力され、これらが互いに類似しているか、非類似であるかを判定し出力する。より具体的には、分類器５は基準画像および入力画像それぞれの特徴量から特徴量空間における両者のユークリッド距離を求め、その距離が所定の閾値より小さければ両者は類似していると判定する一方、距離が閾値よりも大きければ非類似と判定する。
【００４７】
このような分類器５に、対象画像内の各グリッド画像を入れ替えて順次入力することで、各グリッド画像を基準画像に類似するものとそうでないものとに分類することができる。分類結果は基準画像の選び方や使用する特徴量などの分類ルールを変えればその都度変化する。したがって、この実施形態における分類器５は図７（ｂ）のように表すことができる。すなわち、分類器５にはＮ個のグリッド画像＃１，＃２，…，＃Ｎが入力画像として入力され、これに分類ルールが与えられることでグリッド画像が分類される。例えばある分類ルールでは分類結果Ａが、また他の分類ルールでは分類結果Ｂ、Ｃ、Ｄがそれぞれ得られる。なお、このような分類器のアルゴリズムとしてはニューラルネットワークや判別分析など各種のモデルが提案されており、本実施形態でも上記に限定されずそのような公知の分類器（例えば特開２００３−３１７０８２号公報に記載のもの）を適宜選択して使用することが可能である。
【００４８】
図８は分類器による分類処理を示すフローチャートである。まず、各グリッド画像Ｉgの特徴量が計算される（ステップＳ３０１）。各グリッド画像の特徴量が計算されると、続いて上記した分類器によりグリッド画像の分類を行うが、それに先立って、分類の判断基準となる基準画像が設定される（ステップＳ３０２）。この基準画像としては、サンプル画像記憶部１１２に予め記憶された既知の病理画像、撮像された対象画像から選択されたグリッド画像のいずれを用いてもよい。既知の病理画像を用いた場合には、対象画像内における既知の病理画像と類似する部分の有無を判定することができる。また、対象画像内から選択されたグリッド画像を用いた場合には、対象画像内で類似した構造を有する部分を抽出することができるので、個体差に起因する誤判定を低減することができる。基準画像の設定ルールは予め定められたものでもよく、また入力部１５０からの操作入力によりユーザが指定したものであってもよい。
【００４９】
こうして選択された基準画像と、対象画像内の各グリッド画像との特徴量に基づき、分類器による分類を行う（ステップＳ３０３）。分類結果については、分類結果集積部１０９に保存しておく（ステップＳ３０４）。以上がこの実施形態における分類処理である。なお、ここでは全てのグリッド画像を分類対象としているが、特殊部位検出部１２１の検出結果に基づき、既に好酸性クリスタロイドが検出されているグリッド画像については分類対象から除外してもよい。分類を行うまでもなく、好酸性クリスタロイドの存在によって病変と判断することができるからである。
【００５０】
再び図３に戻って、診断支援処理の説明を続ける。上記した処理（好酸性クリスタロイド検出処理、分類処理）の結果、各グリッド画像は、好酸性クリスタロイドが検出されたことにより癌化していると判定された病変部位、好酸性クリスタロイドは検出されなかったが別の異常要素を含む部位、正常な部位などいくつかのカテゴリに分類される。次に、こうして得られた分類結果を表示画面に反映させて、医師による診断を効果的に支援する具体的な方法を説明する。
【００５１】
この実施形態では、上記のように、好酸性クリスタロイドの検出結果に基づくグリッド画像の分類および分類器によるグリッド画像の分類を行い、その分類結果を分類結果集積部１０９に集積記録している。そして、これらの分類結果を単独で、あるいは例えばユーザの要求に応じて適宜組み合わせて合成画像とし表示部１６０に表示することで、ユーザによる診断の効率化を図っている。複数の分類結果を組み合わせて表示するために、分類結果の集合演算（ステップＳ１０６）が行われる。ここでは、各種の分類結果の和集合や積集合などを求めることにより、複数の分類結果の同時表示を可能とする。
【００５２】
図９はこの実施形態における表示処理を示すフローチャートである。また、図１０は画面に表示される画像の例を示す図である。表示処理部１１１では、分類結果に基づいて各グリッド画像の色分けを行う（ステップＳ５０１）。この色分けは、例えば、病変部位であると判定されたグリッド画像は赤く、それ以外のグリッド画像は原画像どおりの色とする、というように行うことができる。これにより、各グリッド画像には分類結果を反映させた視覚情報が付される。なお、視覚情報としてはこのような色分けに限定されず、前記したように、例えばグリッド画像ごとの明暗や画像に付す枠など種々のものを用いることが可能である。
【００５３】
次に、各グリッド画像に付されている、元の対象画像内における座標情報に基づいて各グリッド画像を配置することで、当該対象画像をバーチャルスライド画像Ｉvの部分画像Ｉpとして再構成する（ステップＳ５０２）。この実施形態では、バーチャルスライド画像の全体を表示させるかその一部分を表示させるかをユーザに選択させる。この選択内容を判断して（ステップＳ５０３）、全体表示が選択されていなければ、上記のようにして得られた部分画像Ｉpを表示部１６０の画面に表示させる（ステップＳ５０６）。
こうして再構成され表示された部分画像Ｉpは、撮像部２０によって撮像されたバーチャルスライド画像またはその一部に、特殊部位検出部１２１による検出結果および分類器１２３による分類結果に応じた色分けが合成されて表示されたものである。したがって、ユーザは表示されたバーチャルスライド画像内で所定の特徴を有する細胞や組織がどのように分布しているかを一目で把握することができる。
【００５４】
バーチャルスライド画像Ｉvは複数の部分画像Ｉpから構成されている。そこで、全体表示が選択されている場合には、バーチャルスライド画像Ｉvを構成する各部分画像をそのバーチャルスライド画像Ｉv内の位置を示す座標情報に基づいて配置することで、バーチャルスライド画像Ｉvを再構成する（ステップＳ５０４）。そして、再構成されたバーチャルスライド画像Ｉvの全体が表示部１６０の画面（図示省略）に収まるように縮小画像データを作成して（ステップＳ５０５）、該画像データに対応する画像を表示する（ステップＳ５０６）。こうすることで、表示部１６０の画面にはバーチャルスライド画像Ｉvの全体が表示される。
【００５５】
このとき、バーチャルスライド画像Ｉvを構成する各グリッド画像には色分け等によって分類結果が反映されているため、ユーザは先に指定した分類ルールに対応する細胞や組織が、バーチャルスライド内でどのように分布しているかを一目で把握することができる。また、必要に応じて全体画像と部分画像とを切り替えることで、画像の拡大・縮小を行うことができる。また、拡大表示される部分画像を切り替えることで、バーチャルスライド内の位置を変えて観察を行うことができる。
【００５６】
好酸性クリスタロイド検出結果に基づく分類結果のみの表示が求められた場合、図１０（ａ）に示すように、好酸性クリスタロイドＣが検出されたグリッド画像およびこれに隣接するグリッド画像が他のグリッド画像と異なる視覚情報を伴って（ここでは他のグリッド画像よりも濃く）表示される。また、好酸性クリスタロイド検出結果と分類器による分類結果の和集合の表示が求められた場合、図１０（ｂ）に示すように、好酸性クリスタロイドＣが検出されたグリッド画像およびこれに隣接するグリッド画像、分類器によりいくつかの分類カテゴリに分類されたグリッド画像がそれぞれ異なる色調（または濃度）で塗り分けられた状態で表示される。なお、図１０はユーザにより部分画像Ｉpの表示が選択された場合の表示内容を示している。
【００５７】
また、図１０（ｃ）に符号Ｔｘで示すように、原画像と分類結果とを重ねた画像とともに、例えば好酸性クリスタロイドの位置や検出個数に関連する情報をテキスト表示するようにしてもよい。この場合において、表示対象として部分画像Ｉpが選択されているときには、現在表示されている部分画像Ｉpにおいて検出された好酸性クリスタロイドの個数をテキスト表示してもよく、またバーチャルスライド画像Ｉv全体において検出された好酸性クリスタロイドの個数を併せて表示するようにしてもよい。このような定量的な情報を併せて表示することで、ユーザはバーチャルスライド画像Ｉv内における好酸性クリスタロイドの分布状況をより直感的に把握することができ、診断を効率よく行うことができる。
【００５８】
なお、ここでは部分画像Ｉpを表示する場合について説明したが、バーチャルスライド画像Ｉvの全体を表示する場合についても同様である。
【００５９】
以上のように、この実施形態では、検体組織を撮像してなるバーチャルスライド画像を画像処理し、当該組織の病変に特徴的な特殊部位（ここでは前立腺癌における好酸性クリスタロイド）を検出し、その検出位置が視覚的に判るように、原画像とともに表示する。具体的には、原画像を複数のグリッド画像に分割し、そのうち好酸性クリスタロイドを含むグリッド画像に他のグリッド画像とは異なる視覚情報（色彩、濃淡など）を付して表示する。こうすることで、ユーザ（診断医）は、特殊部位を画像の目視によって見つけ出す必要はなく、検体組織内における特殊部位の分布を直感的に把握することができる。そのため、少ない作業量で的確な診断を効率よく行うことが可能となり、診断医の負担が大きく軽減される。
【００６０】
また、特殊部位が検出されたグリッド画像以外のグリッド画像についても、既知の病理画像や検体組織内から選択されたグリッド画像を基準画像とする分類を行うことで、異常な部位を検出することができ、その分類結果を原画像および特殊部位の検出結果と重ねて表示することで、ユーザによる種々の診断を効果的に支援することができる。
【００６１】
また、特殊部位の検出に際しては、前記した性質（１）ないし（４）を全て備える領域を対象画像内から抽出する。このようにすることで、腺管組織内の好酸性クリスタロイドを他の類似物質と区別して的確に検出することが可能となる。これにより、好酸性クリスタロイドが病変の兆候とされる、例えば前立腺における高分化癌の発見が容易になり、診断のための作業効率を大きく向上させることができる。
【００６２】
以上説明したように、この実施形態においては、撮像部２０が本発明の「画像取得手段」として機能する一方、表示部１６０が本発明の「表示手段」として機能している。また、この実施形態では、特殊部位検出部１２１および表示処理部１１１がそれぞれ本発明の「特殊部位検出手段」および「視覚情報処理手段」として機能している。また、分類器１２３が本発明の「分類手段」として機能している。したがって、この実施形態では、プロセッサ部１００が本発明の「特殊部位検出手段」、「視覚情報処理手段」および「分類手段」としての機能を兼ね備えている。さらに、この実施形態では、バーチャルスライド画像Ｉvが本発明の「原画像」に相当している。
【００６３】
また、上記実施形態の病理診断支援処理（図３）では、ステップＳ１０１が本発明の「画像取得工程」に相当しており、ステップＳ１０２が本発明の「特殊部位検出工程」に相当している。また、ステップＳ１０３、Ｓ１０４およびＳ１０６が本発明の「視覚情報処理工程」に相当している。さらに、ステップＳ１０５が本発明の「分類工程」に相当し、ステップＳ１０７が本発明の「表示工程」に相当している。
【００６４】
なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能である。例えば、上記性質（１）〜（４）に基づく好酸性クリスタロイドの検出は、上記した態様に限定されず、例えば次のようにしても行うことができる。
【００６５】
図１１は好酸性クリスタロイド検出処理の第２の例を示すフローチャートである。また、図１２はこの処理において画像内の構造物が選別される過程を模式的に示す図である。この例では、前記した例と同様の条件に基づいて、彩度レベルが低い閉領域、青色成分が弱い領域および赤色成分が強い領域が、それぞれ対象画像内から候補領域１、２および３として個別に抽出される（ステップＳ７０１、Ｓ７０２およびＳ７０３）。
【００６６】
そして、これらの領域の積集合、つまり全ての条件を満たす共通領域が、候補領域４として抽出される（ステップＳ７０４）。ここまでの条件を全て満たすものは、アミロイド小体か好酸性クリスタロイドである可能性が高い。第１の処理例と同様に、候補領域４の中から所定の面積を有するものを抽出することで（ステップＳ７０５）、アミロイド小体を除外することができる。こうして抽出された領域を好酸性クリスタロイドと判定して（ステップＳ７０６）、必要な情報を取得することができる（ステップＳ７０７）。
【００６７】
図１３は好酸性クリスタロイド検出処理の第３の例を示すフローチャートである。また、図１４はこの処理において画像内の構造物が選別される過程を模式的に示す図である。この例においても、前記した例と同様の条件に基づいて、彩度レベルが低い閉領域、青色成分が弱い領域および赤色成分が強い領域が、それぞれ対象画像内から候補領域１、２および３として個別に抽出される（ステップＳ８０１、Ｓ８０２およびＳ８０３）。このうち、赤色成分の強い候補領域３について、所定の面積範囲にあるもののみを候補領域４として抽出することで（ステップＳ８０４）、候補領域４からアミロイド小体が除外される。
【００６８】
候補領域４には好酸性クリスタロイド以外の赤血球等も含まれるが、候補領域１、２と候補領域４との共通領域を抽出することによって（ステップＳ８０５）、赤血球は除外され、この例によっても、上記した２つの例と同様に好酸性クリスタロイドのみを検出することができる（ステップＳ８０６、Ｓ８０７）。
【００６９】
このように、この発明によれば、低彩度の画素からなる領域で囲まれた閉領域内の構造物であって、赤色成分および青色成分が所定の強度範囲にあり、かつ所定の面積を有するもののみを抽出することにより、高い精度で好酸性クリスタロイドを検出することが可能であり、これらの条件の適用順序は任意である。
【００７０】
また、上記実施形態の好酸性クリスタロイド検出処理においては、彩度、赤色成分および青色成分の閾値について、上限値または下限値の一方のみを設定しているが、閾値の上限値と下限値を両方設定して、これらの閾値で指定される範囲によって抽出条件を規定するようにしてもよい。また、構造物の幾何学的特徴に関わるパラメータとしては、上記した面積の他に、形状係数や円形度等を用いてもよい。
【００７１】
また、上記実施形態では、ＣＣＤカメラ２０１および顕微鏡２０２を有する撮像部２０を「画像取得手段」として備えているが、本発明において撮像部は必須ではない。前記したように電気通信回線３０からインターフェース１８０を介して、あるいは外部記録媒体から適宜のインターフェースを介して原画像を受け取ることも可能であり、その場合にはこれらのインターフェースが「画像取得手段」として機能することになる。また、この意味において、本発明の制御プログラムにおいては「画像を取得するための工程」は必須ではない。
【００７２】
また、上記実施形態では、腺管組織内の好酸性クリスタロイドを検出する特殊部位検出部１２１に加えて、基準画像に基づきグリッド画像を分類する分類器１２３を備えているが、分類器を備えず、特殊部位の検出結果のみを表示するようにしても、ユーザの診断を十分に支援することが可能である。
【００７３】
また、この実施形態では、光学ディスクＯＤに記録された制御プログラムをホストコンピュータ１０が実行することで各機能ブロックによる処理が実現されているが、制御プログラムを記録する記録媒体は光学ディスクに限定されるものではなく、前記したとおり他の任意の記録媒体を用いることができる。また、この制御プログラムは電気通信回線３０を通じて頒布されるものであってもよい。
【００７４】
また、上記実施形態の病理診断支援装置１は汎用のホストコンピュータ１０と撮像部２０とを組み合わせて構成されているが、撮像部と専用端末とを組み合わせて病理診断支援装置を構成するようにしてもよい。また、既存のバーチャルスライド作成装置に本発明にかかる制御プログラムを組み込むことで、バーチャルスライド作成装置を病理診断支援装置として機能させるようにしてもよい。
【００７５】
また、例えば、分類の結果や集合演算の結果については表示部１６０に表示させるのに代えて、あるいはそれに加えて、電気通信回線３０を通じて外部に配信したり、外部記録媒体に記録することができるようにしてもよい。
【産業上の利用可能性】
【００７６】
この発明は、医師による各種の病理診断をコンピュータシステム等によって支援する技術分野に好適に適用することができる。
【符号の説明】
【００７７】
２０ 撮像部（画像取得手段）
１００ プロセッサ部（特殊部位検出手段、視覚情報処理手段、分類手段）
１１１ 表示処理部（視覚情報処理手段）
１２１ 特殊部位検出部（特殊部位検出手段）
１２３ 分類器（分類手段）
１６０ 表示部（表示手段）
Ｉg グリッド画像
Ｉp 部分画像
Ｉv バーチャルスライド画像（原画像）
Ｓ１０１ 画像取得工程
Ｓ１０２ 特殊部位検出工程
Ｓ１０３、Ｓ１０４、Ｓ１０６ 視覚情報処理工程
Ｓ１０５ 分類工程
Ｓ１０７ 表示工程
【技術分野】
【０００１】
この発明は、病理診断をコンピュータシステム等によって支援するための技術に関するものである。
【背景技術】
【０００２】
病理診断の１つに、患者から臓器の一部を検体として採取し、これを組織切片ガラススライド標本（プレパラート）にして顕微鏡下で観察し診断を行う生検組織診断がある。このような診断自体は医師が行わなければならないが、そのための作業量は膨大であり、医師の負担は重い。そこで、診断のための観察作業を効率よく行い医師の負担を軽減するために、コンピュータシステムによる画像処理技術を利用した種々の診断支援装置が従来より提案されている（例えば、特許文献１ないし４）。これらの技術においては、検体を撮像した画像の中から、対象臓器の病変に特有の特徴を抽出することで、検体中の異常な部位を検出するようにしている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１０−１９７５２２号公報
【特許文献２】特開２００９−００９２９０号公報
【特許文献３】特開２００９−１１５５９８号公報
【特許文献４】特開２００９−１８０５３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
この種の装置を用いて診断を効率よく行うためには、ある特徴を有する細胞や組織所見が検体内においてどのような分布をしているかが容易に判る機能が重要である。しかしながら、従来技術の病理診断支援装置では、このような要求に十分に応えるに至っていなかった。その主な理由は以下の通りである。すなわち、従来の技術においては、検体内で撮像された画像を個別に評価して既知の異常組織のサンプル画像と共通する特徴を有する画像を抽出したり、抽出された画像が病変に起因するものか否かを判定することに主眼が置かれている。しかしながら、このような抽出・判定の結果を上記のような検体内での分布を判りやすくする態様で表示することで診断の効率化を図るという点において、従来の診断支援技術はさらなる改善の余地が残されていた。
【０００５】
この発明は上記課題に鑑みなされたものであり、医師による病理診断をコンピュータシステム等によって支援する技術分野において、病理診断（例えば、断端判定など）をより効率よく行うことができる技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
この発明にかかる病理診断支援装置は、上記目的を達成するため、検体組織を撮像した原画像を取得する画像取得手段と、前記原画像から、前記検体組織の病変に特有の特徴を有する特殊部位を検出する特殊部位検出手段と、前記特殊部位検出手段が検出した前記特殊部位の前記原画像内における位置に関する視覚情報を前記原画像に合成した合成画像を作成する視覚情報処理手段と、前記合成画像を表示する表示手段とを備えることを特徴としている。
【０００７】
また、この発明にかかる病理診断支援方法は、上記目的を達成するため、検体組織を撮像した原画像を取得する画像取得工程と、前記原画像から、前記検体組織の病変に特有の特徴を有する特殊部位を検出する特殊部位検出工程と、検出した前記特殊部位の前記原画像内における位置に関する視覚情報を前記原画像に合成した合成画像を作成する視覚情報処理工程と、前記合成画像を表示する表示工程とを備えることを特徴としている。
【０００８】
このように構成された発明では、検体組織の病変に特有の所見を有する特殊部位が検出されるとともに、検出された特殊部位の位置に関する視覚情報が原画像に合成されて表示される。このため、ユーザは検体組織内における特殊部位の分布状況を直感的に把握することができ、病理診断を効率よく行うことができる。ここでいう「視覚情報」を伴う表示としては、例えば原画像のうち特殊部位が検出された部分を他の部分と異なる色や明度で表示したり、原画像内における特殊部位の位置座標を表示するなどの方法が可能である。
【０００９】
これらの発明において、特殊部位を検出する際に使用する具体的なパラメータとしては、例えばヘマトキシリン・エオジン染色（以下、「ＨＥ染色」という）された検体組織の原画像について、彩度レベルと、赤色成分の強度と、青色成分の強度と、当該原画像内に存在する構造物の幾何学的特徴とを用いることができる。これらのパラメータが検出しようとする特殊部位の特徴と一致するまたは類似する検体組織内の構造物を検出することで、対象となる特殊部位を精度よく検出することができる。
【００１０】
より具体的には、例えば、原画像内に存在する構造物のうち、彩度レベルが所定の低彩度条件を満たす低彩度領域に囲まれ、赤色成分の強度が所定の高強度条件を満たすとともに青色成分の強度が所定の低強度条件を満たし、かつ面積が所定の面積範囲にある構造物を特殊部位として検出することができる。
【００１１】
このような条件での検出によれば、臓器内の癌化した組織、特に腺管組織に見られる好酸性クリスタロイドを特殊部位として高確率で検出することが可能である。ＨＥ染色では、腺管組織などに含まれる上皮細胞の細胞質や腔は染色されても彩度が低い。このことから、彩度の低い領域は高い確率で腺管組織を含む。したがって、好酸性クリスタロイドは、低彩度領域に囲まれた構造物として対象画像中に存在する。
【００１２】
そして、腺管組織に存在する好酸性クリスタロイドは、針状でＨＥ染色により赤色にかつ光輝性に強く染まる性質を有しており、また形状や大きさのばらつきが比較的少ない。但し、赤色に強く染まる性質を示す領域としては、好酸性クリスタロイド以外にも、赤血球、アミロイド小体等のクリスタロイド類似物質が含まれており、赤色の染色性という条件だけではこれらの物質を排除することができない。一方、これらの類似物質に比べて、好酸性クリスタロイドはＨＥ染色では青色に染まりにくい性質を有し、かつ形状についても他の類似物質と分別可能であることが、本願発明者らの実験により確認された。
【００１３】
そこで、本発明では、低彩度領域に囲まれた領域のうち強い赤色成分を有するが青色成分は弱く、しかも所定の幾何学的特徴を有するもの、例えば面積、形状係数等が所定条件を満たすものを抽出することで、対象画像内に存在する好酸性クリスタロイドを他の物質と区別して検出することが可能となる。このような作用効果は、病変の兆候として好酸性クリスタロイドが生成される病気、例えば前立腺癌を早期発見するための診断を効果的に支援するのに役立つ。
【００１４】
また、これらの発明において、例えば、原画像を複数のグリッド画像に分割し、複数のグリッド画像を原画像における配置に基づく配置で表示し、しかも、特殊部位が含まれるグリッド画像に対して、当該グリッド画像が病変部位であることを表す視覚情報を付して表示するようにしてもよい。このような構成によれば、ユーザは、表示された画像内において特殊部位が検出された位置を概観することができ、病変部位の分布を容易に把握することができる。
【００１５】
この場合においては、例えば、特殊部位が含まれるグリッド画像のみでなく、これに隣接するグリッド画像に対しても、当該グリッド画像が病変部位であることを表す視覚情報を付すようにしてもよい。なぜなら、特殊部位の周辺部位が病変である（病変像を示す）ことが多いためである。特殊部位が検出されたグリッド画像だけでなく隣接するグリッド画像も病変部位とすることで、このような用途に合致した支援を行うことが可能となる。
【００１６】
また、病変部位とされたグリッド画像以外のグリッド画像について、該グリッド画像を各グリッド画像ごとの特徴量に基づいて複数の分類カテゴリに分類し、分類されたグリッド画像に対して、分類カテゴリごとに異なる態様の視覚情報を付した合成画像を作成するようにしてもよい。ここでの分類としては、既知の病理画像を教師画像とする分類や、グリッド画像相互間の比較に基づく分類などが可能である。こうすることで、特殊部位を示す視覚情報を表示するだけでなく、例えば既知の病理画像と類似する部位を視覚的に表示することが可能となり、診断をより効率よく支援することが可能となる。
【００１７】
また、視覚情報を表示する他の方法として、例えば、原画像のうちの部分画像と、当該部分画像内で検出された特殊部位の数を表す視覚情報とを合成して表示するようにしてもよい。ユーザとしては、原画像全体を表示させて全体的な状況を把握したい場合と、そのうちの一部を表示させて精査したい場合とがあるが、原画像の一部である部分画像が表示される際に当該部分画像内で検出された特殊部位の数が表示されれば、精査すべき部分画像を選択しやすくなり診断の効率をさらに向上させることができる。また、定量的な情報を提供することで、ユーザによる診断精度の向上につなげることができる。
【００１８】
また、この発明にかかる制御プログラムは、上記目的を達成するため、検体組織を撮像した原画像を取得する画像取得工程と、前記原画像から、前記検体組織の病変に特有の特徴を有する特殊部位を検出する特殊部位検出工程と、検出した前記特殊部位の前記原画像内における位置に関する視覚情報を前記原画像に合成した合成画像を作成する視覚情報処理工程と、前記合成画像を表示する表示工程とをコンピュータに実行させることを特徴としている。さらに、この発明にかかる記録媒体は、コンピュータ読み取り可能な記録媒体であって、上記した病理診断支援のための制御プログラムを記録したことを特徴としている。これらの発明によれば、上記発明にかかる病理診断支援方法をコンピュータにより実行させることができ、ユーザによる診断を効率よく行わせることができる。
【発明の効果】
【００１９】
この発明にかかる病理診断支援技術によれば、ユーザ（診断医）による病理診断（例えば、断端判定など）を効率よく行わせることが可能である。
【図面の簡単な説明】
【００２０】
【図１】この発明にかかる病理診断支援装置の一実施形態を示す図である。
【図２】この病理診断支援装置の構成を示すブロック図である。
【図３】この装置における診断支援処理を示すフローチャートである。
【図４】対象画像の例を示す図である。
【図５】好酸性クリスタロイド検出処理の第１の例を示すフローチャートである。
【図６】図５の処理において画像内の構造物が選別される過程を模式的に示す図である。
【図７】分類器のモデル例を示す図である。
【図８】分類器による分類処理を示すフローチャートである。
【図９】この実施形態における表示処理を示すフローチャートである。
【図１０】画面に表示される画像の例を示す図である。
【図１１】好酸性クリスタロイド検出処理の第２の例を示すフローチャートである。
【図１２】図１１の処理において画像内の構造物が選別される過程を模式的に示す図である。
【図１３】好酸性クリスタロイド検出処理の第３の例を示すフローチャートである。
【図１４】図１３の処理において画像内の構造物が選別される過程を模式的に示す図である。
【発明を実施するための形態】
【００２１】
図１はこの発明にかかる病理診断支援装置の一実施形態を示す図である。この病理診断支援装置１は、ホストコンピュータ１０と撮像部２０とを備えている。ホストコンピュータ１０は、例えば公知のパーソナルコンピュータやワークステーション端末と同等の構成および機能を有するものであり、各種の制御プログラムを実行するプロセッサ部１００と、ユーザからの操作入力を受け付ける入力部１５０と、各種の情報を表示する表示部１６０と、制御プログラムや画像データなどの各種データを記録した外部記録媒体である光学ディスクＯＤにアクセスしてデータを読み出すディスクドライブ１７０と、インターフェース１８０とを備えている。このホストコンピュータ１０は、インターフェース１８０を介して構内ＬＡＮやインターネットなどの電気通信回線３０に接続可能となっている。
【００２２】
表示部１６０としては例えば液晶ディスプレイを用いることができる。また、入力部１５０としては、例えばマウスのようなポインティングデバイスやキーボードのほか、表示部１６０と一体となったタッチパネルを用いてもよい。また、制御プログラムや画像データを記録した記録媒体としては、光学ディスクに限定されず、ハードディスクやメモリーカード、ＵＳＢメモリなど任意のものを用いることができる。
【００２３】
撮像部２０は、ＣＣＤカメラ２０１が取り付けられた顕微鏡２０２を有している。顕微鏡２０２は、患者から採取された検体組織から作成されたプレパラートの拡大光学像をＣＣＤカメラ２０１の受光部に結像し、ＣＣＤカメラ２０１はこれを撮像しデジタルデータ化していわゆるバーチャルスライドを作成する。検体組織は観察目的に応じて適宜の染色法によって染色される（例えばヘマトキシリン・エオジン（ＨＥ）染色）。
【００２４】
ホストコンピュータ１０は、光学ディスクＯＤから読み込まれた制御プログラムにしたがって、撮像部２０によって撮像されデジタルデータ（ＲＧＢデータ）化された検体組織の画像に各種の画像処理を施して表示部１６０に表示させることで、ユーザ（診断医）による病理診断を支援する。
【００２５】
図２はこの病理診断支援装置１の構成を示すブロック図である。より詳しくは、ホストコンピュータ１０が光学ディスクＯＤから読み込んだ制御プログラムを実行することにより、図２の一点鎖線で囲んだ各機能ブロックがプロセッサ部１００内でソフトウェアにより実現される。これらの機能ブロックにより実現される診断支援処理の内容については後に詳述するが、ここでは個々の機能ブロックの概要について簡単に説明しておく。
【００２６】
この病理診断支援装置１において処理対象となる画像（対象画像）は、例えば、検体組織を撮像しデータ化してなるバーチャルスライドの全体またはそれを複数に分割した画像である。また、同一または複数の患者から採取した複数の検体組織のそれぞれを個別に撮像した複数の画像を対象画像としてもよい。１つのバーチャルスライドを複数に分割して複数の対象画像とする場合には、後の処理でバーチャルスライドを復元できるように、元のバーチャルスライドにおける各対象画像の位置を特定できる情報（例えば、座標情報）を各対象画像データに付しておくことが望ましい。
【００２７】
ここでは、患者の前立腺から採取された組織を検体組織として用いることとする。撮像部２０で撮像された対象画像に対応するＲＧＢ画像データは、グリッド画像生成部１０１および特殊部位検出部１２１に与えられる。特殊部位検出部１２１の動作については後で詳しく説明する。
【００２８】
グリッド画像生成部１０１は、撮像部２０から入力された対象画像を予め定められた、あるいはユーザにより指定された任意の大きさのグリッドで複数のグリッド画像に分割する。この際、各グリッド画像が元の対象画像においてどの位置にあったかを示す情報（例えば、座標情報）を、グリッド画像データに付与しておく。入力受付部１０２は入力部１５０を介したユーザからの操作入力を受け付けるインターフェースとして機能し、ユーザからの各種操作入力を受け付ける。入力受付部１０２は、ユーザにより入力された各種の操作指示に対応する制御信号を装置各部に送信する。
【００２９】
画像特徴量計算部１２２は、作成された各グリッド画像の特徴量を計算する機能を有している。なお、全てのグリッド画像の特徴量を計算してもよく、また特殊部位検出部１２１の検出結果に基づいて選択した所定のグリッド画像の特徴量を計算してもよい。画像の特徴量としては、例えば画像の輝度、テクスチャ情報、所定の条件を満たす領域の大きさなど種々のものを用いることができる。特徴量としてどのような物理量を採用するかについては、予め設定されたパラメータまたはユーザからの操作入力に応じて決定されるパラメータによって定められる。
【００３０】
画像特徴量計算部１２２で計算されたグリッド画像の特徴量は分類器１２３に入力される。分類器１２３は、予めサンプル画像記憶部１１２に保存されているサンプル画像、例えば癌化した細胞に特有の特徴が現れている画像を基準画像として用いて、あるいは、撮像された対象画像の中からユーザにより選ばれたグリッド画像を基準画像として用いて、各グリッド画像をいくつかの分類カテゴリに分類する。分類は公知の分類技術、例えば特徴量空間内におけるユークリッド距離に基づく分類技術を適用することができる。
【００３１】
こうして分類器１２３により処理された分類結果、および、後述する特殊部位検出部１２１による処理結果は、分類結果集積部１０９に集積される。そして、それらの分類結果が必要に応じて集合演算部１１０によって集合演算され、その結果が表示処理部１１１によって処理されて表示用データが作成され、表示部１６０に送られて目的の画像が表示部１６０に表示される。
【００３２】
図３はこの装置における診断支援処理を示すフローチャートである。また、図４は対象画像の例を示す図である。診断支援処理においては、まず最初に診断の対象となる対象画像を取得する（ステップＳ１０１）。対象画像は、図４（ａ）に示すように、主として検体組織Ｓの全体を撮像したバーチャルスライド画像Ｉvであるが、同図に破線で示すように、画像のサイズが大きい場合にはバーチャルスライド画像Ｉvを複数の部分画像Ｉpに分割して各部分画像をそれぞれ対象画像としてもよい。また、バーチャルスライド画像Ｉvについては撮像部２０から受け取ることができるほか、他の撮像装置やストレージから電気通信回線３０等を介して受け取ってもよい。
【００３３】
こうして取得した対象画像（ここではバーチャルスライド画像Ｉvの部分画像Ｉp）内から、前立腺癌、特に高分化癌において特徴的に見られる腺管組織内の好酸性クリスタロイド（晶質）を特殊部位として、これを特殊部位検出部１２１が行う画像処理によって検出する。図４（ｂ）において、符号Ｃは腺管組織内に分布する好酸性クリスタロイドを示している。
【００３４】
図５は好酸性クリスタロイド検出処理の第１の例を示すフローチャートである。また、図６はこの処理において画像内の構造物が選別される過程を模式的に示す図である。前立腺組織における好酸性クリスタロイドは、
（１）主に腺管領域内に存在しており、
（２）大きさが比較的揃っており、
（３）ＨＥ染色によって赤色に染まりやすく、
（４）ＨＥ染色によって青色に染まりにくい、
という特徴を有しており、前立腺内の他の組織や物質でこれらの全ての特徴を備えたものは知られていない。
【００３５】
図６（ａ）は対象画像（前立腺組織から取得した部分画像Ｉp）の一例であり、前立腺組織では、間質領域Ｒ1内に脈管Ｒ2、腺管構造Ｒ4等が点在している。間質領域Ｒ1や脈管Ｒ2内には赤血球Ｒ3が見られることもある。また、腺管構造Ｒ4の内部空間（腺管領域）にはアミロイド小体Ｒ5や好酸性クリスタロイドＲ6が含まれる場合がある。
【００３６】
上記性質（１）、（２）および（３）に基づいて胃癌組織における好酸性クリスタロイドを検出する技術について、性質（２）に関して「形状が四角い」という条件が用いられた例が、前記した特許文献４（特開２００９−１８０５３９号公報）に記載されている。しかしながら、前立腺組織についての本願発明者らの研究によれば、検体組織に含まれる他の物質、例えば赤血球、アミロイド小体等も同様の性質を有しており、これらの条件に基づく判定では、これらの類似物質と好酸性クリスタロイドとを明瞭に区別することは難しい。一方、好酸性クリスタロイドは、ＨＥ染色では青色に染まりにくいという、上記した他の類似物質とは異なる性質をさらに有している。したがって、好酸性クリスタロイドをより精度よく検出するためには、上記した４つの性質を組み合わせて判定を行うことが望ましい。
【００３７】
そこで、まず好酸性クリスタロイドを含む可能性のある腺管領域を対象画像から抽出するために、対象画像のうち彩度レベルが所定の第１閾値よりも低い画素が環状に連続している領域を見つけ出し、この環に囲まれた内部の閉領域を候補領域１として抽出する（ステップＳ２０１）。ＨＥ染色した前立腺組織を透過光で撮像した場合、腺管領域のオブジェクト、すなわち腺管領域を構成する上皮細胞の細胞質や腔の彩度は比較的低い。このため、上記のように彩度の低い閉領域（例えば、細胞質および／または腔）を抽出した候補領域１は、腺管領域を含む可能性が高い。
【００３８】
ここで、画像の彩度については画素単位で処理を行い、第１閾値より低い彩度を有するという条件（低彩度条件）を満たすと判断された画素の集合体として候補領域１が定められる。上記条件を満たす画素の集合体が同条件を満たさない領域を内包しているとき、この内包された領域を含む集合体全体が候補領域１とされる。すなわち候補領域１内には上記第１閾値よりも彩度レベルの高い領域を含んでいてもよい。また、条件を満たす領域が対象画像内に複数ある場合には、それぞれが候補領域１とされる。また、第１閾値については、腺管領域を撮像した既知の画像の解析結果に基づき予め設定される。
【００３９】
図６（ｂ）では、彩度レベルが上記した第１閾値よりも高い領域にハッチングを付している。すなわち、ハッチングのない白抜き部分Ｃ10が、第１閾値よりも低い彩度を有する領域である。そして、図６（ｃ）に示すように、第１閾値よりも低い彩度を有する領域およびその内部に含まれる（より高彩度の）領域を合わせた白抜きの領域Ｃ11が、上記した候補領域１に該当する。
【００４０】
なお、図６（ｂ）ないし６（ｆ）においては、対象画像である部分画像Ｉpのうち、指定された条件に合致するとして抽出された領域を白抜きで、除外された領域をハッチング付きで示している。このことは後述する図１２および図１４においても同じである。
【００４１】
次いで、候補領域１中の各画素について、青色成分が比較的弱い画素からなる領域を候補領域２として抽出する（ステップＳ２０２）。青色成分の強度については、ＲＧＢ画像信号のＢ輝度レベルまたは色差成分を用いて定量的に表すことができ、例えばこれらが所定の第２閾値より低いという条件（低強度条件）に合致するものを抽出すればよい。これにより、候補領域１のうち青色成分が比較的強い領域、例えば赤血球を含む部分が除外され、残余が図６（ｄ）に符号Ｃ12で示される候補領域２となる。
【００４２】
次に、候補領域２の中で、赤色成分が比較的強い画素からなる領域を候補領域３として抽出する（ステップＳ２０３）。赤色成分の強度についても、ＲＧＢ画像信号のＲ輝度レベルまたは色差成分を用いて定量的に表すことができ、例えばこれらが所定の第３閾値より高いという条件（高強度条件）に合致するものを抽出すればよい。これにより、図６（ｅ）に示すように、候補領域２の中から赤色成分の強度が比較的強い領域Ｃ13が候補領域３として抽出される。前立腺組織においてここまでの条件に合致する構造物としては、アミロイド小体および好酸性クリスタロイドが該当する。
【００４３】
前記したように、好酸性クリスタロイドは形状や大きさが比較的揃っている。そこで、こうして抽出された候補領域３のそれぞれについて、その面積を算出し、所定の面積範囲内にあるものを抽出する（ステップＳ２０４）。この場合には、画素単位ではなく、画素の集合体である領域全体を１つの処理対象として扱う。面積範囲は既知の病理画像に含まれる好酸性クリスタロイドの画像解析結果に基づき予め設定される。ここでは好酸性クリスタロイドの大きさのばらつきが比較的小さいという知見に基づいてこのようにしているが、好酸性クリスタロイドが一軸方向に長い針状結晶であることが多いことから、その形状による判断を行うようにしてもよい。これにより、図６（ｆ）に示すように、候補領域からアミロイド小体が除外され、残った領域Ｃ14は高い確度で好酸性クリスタロイドであると判定することができる（ステップＳ２０５）。
【００４４】
こうして対象画像内の好酸性クリスタロイドが検出されると、これまでの処理結果から好酸性クリスタロイドに関連する情報、例えば各好酸性クリスタロイドの大きさ、対象画像内での位置、検出個数などを取得する（ステップＳ２０６）。得られた情報については分類結果集積部１０９に保存しておく。以上が好酸性クリスタロイドを検出するための処理である。
【００４５】
図３に戻って、診断支援処理の説明を続ける。続いて、対象画像（バーチャルスライド画像Ｉvまたはその部分画像Ｉp）を、図４（ｂ）に示すように任意の大きさのグリッドによって複数のグリッド画像Ｉgに分割する（ステップＳ１０３）。こうして分割されたグリッド画像Ｉgのうち、上記した好酸性クリスタロイドの位置情報から、好酸性クリスタロイドが含まれるグリッド画像およびこのグリッド画像に隣接するグリッド画像を抽出し、これらを癌化している可能性が極めて高い病変部位に分類する（ステップＳ１０４）。続いて、病変部位と判定されなかった各グリッド画像Ｉgについて、以下に説明するように分類器による分類を実施する。
【００４６】
図７は分類器のモデル例を示す図である。本実施形態における分類器１２３では、図７（ａ）に示す分類器５のように、ある基準画像と入力画像とが入力され、これらが互いに類似しているか、非類似であるかを判定し出力する。より具体的には、分類器５は基準画像および入力画像それぞれの特徴量から特徴量空間における両者のユークリッド距離を求め、その距離が所定の閾値より小さければ両者は類似していると判定する一方、距離が閾値よりも大きければ非類似と判定する。
【００４７】
このような分類器５に、対象画像内の各グリッド画像を入れ替えて順次入力することで、各グリッド画像を基準画像に類似するものとそうでないものとに分類することができる。分類結果は基準画像の選び方や使用する特徴量などの分類ルールを変えればその都度変化する。したがって、この実施形態における分類器５は図７（ｂ）のように表すことができる。すなわち、分類器５にはＮ個のグリッド画像＃１，＃２，…，＃Ｎが入力画像として入力され、これに分類ルールが与えられることでグリッド画像が分類される。例えばある分類ルールでは分類結果Ａが、また他の分類ルールでは分類結果Ｂ、Ｃ、Ｄがそれぞれ得られる。なお、このような分類器のアルゴリズムとしてはニューラルネットワークや判別分析など各種のモデルが提案されており、本実施形態でも上記に限定されずそのような公知の分類器（例えば特開２００３−３１７０８２号公報に記載のもの）を適宜選択して使用することが可能である。
【００４８】
図８は分類器による分類処理を示すフローチャートである。まず、各グリッド画像Ｉgの特徴量が計算される（ステップＳ３０１）。各グリッド画像の特徴量が計算されると、続いて上記した分類器によりグリッド画像の分類を行うが、それに先立って、分類の判断基準となる基準画像が設定される（ステップＳ３０２）。この基準画像としては、サンプル画像記憶部１１２に予め記憶された既知の病理画像、撮像された対象画像から選択されたグリッド画像のいずれを用いてもよい。既知の病理画像を用いた場合には、対象画像内における既知の病理画像と類似する部分の有無を判定することができる。また、対象画像内から選択されたグリッド画像を用いた場合には、対象画像内で類似した構造を有する部分を抽出することができるので、個体差に起因する誤判定を低減することができる。基準画像の設定ルールは予め定められたものでもよく、また入力部１５０からの操作入力によりユーザが指定したものであってもよい。
【００４９】
こうして選択された基準画像と、対象画像内の各グリッド画像との特徴量に基づき、分類器による分類を行う（ステップＳ３０３）。分類結果については、分類結果集積部１０９に保存しておく（ステップＳ３０４）。以上がこの実施形態における分類処理である。なお、ここでは全てのグリッド画像を分類対象としているが、特殊部位検出部１２１の検出結果に基づき、既に好酸性クリスタロイドが検出されているグリッド画像については分類対象から除外してもよい。分類を行うまでもなく、好酸性クリスタロイドの存在によって病変と判断することができるからである。
【００５０】
再び図３に戻って、診断支援処理の説明を続ける。上記した処理（好酸性クリスタロイド検出処理、分類処理）の結果、各グリッド画像は、好酸性クリスタロイドが検出されたことにより癌化していると判定された病変部位、好酸性クリスタロイドは検出されなかったが別の異常要素を含む部位、正常な部位などいくつかのカテゴリに分類される。次に、こうして得られた分類結果を表示画面に反映させて、医師による診断を効果的に支援する具体的な方法を説明する。
【００５１】
この実施形態では、上記のように、好酸性クリスタロイドの検出結果に基づくグリッド画像の分類および分類器によるグリッド画像の分類を行い、その分類結果を分類結果集積部１０９に集積記録している。そして、これらの分類結果を単独で、あるいは例えばユーザの要求に応じて適宜組み合わせて合成画像とし表示部１６０に表示することで、ユーザによる診断の効率化を図っている。複数の分類結果を組み合わせて表示するために、分類結果の集合演算（ステップＳ１０６）が行われる。ここでは、各種の分類結果の和集合や積集合などを求めることにより、複数の分類結果の同時表示を可能とする。
【００５２】
図９はこの実施形態における表示処理を示すフローチャートである。また、図１０は画面に表示される画像の例を示す図である。表示処理部１１１では、分類結果に基づいて各グリッド画像の色分けを行う（ステップＳ５０１）。この色分けは、例えば、病変部位であると判定されたグリッド画像は赤く、それ以外のグリッド画像は原画像どおりの色とする、というように行うことができる。これにより、各グリッド画像には分類結果を反映させた視覚情報が付される。なお、視覚情報としてはこのような色分けに限定されず、前記したように、例えばグリッド画像ごとの明暗や画像に付す枠など種々のものを用いることが可能である。
【００５３】
次に、各グリッド画像に付されている、元の対象画像内における座標情報に基づいて各グリッド画像を配置することで、当該対象画像をバーチャルスライド画像Ｉvの部分画像Ｉpとして再構成する（ステップＳ５０２）。この実施形態では、バーチャルスライド画像の全体を表示させるかその一部分を表示させるかをユーザに選択させる。この選択内容を判断して（ステップＳ５０３）、全体表示が選択されていなければ、上記のようにして得られた部分画像Ｉpを表示部１６０の画面に表示させる（ステップＳ５０６）。
こうして再構成され表示された部分画像Ｉpは、撮像部２０によって撮像されたバーチャルスライド画像またはその一部に、特殊部位検出部１２１による検出結果および分類器１２３による分類結果に応じた色分けが合成されて表示されたものである。したがって、ユーザは表示されたバーチャルスライド画像内で所定の特徴を有する細胞や組織がどのように分布しているかを一目で把握することができる。
【００５４】
バーチャルスライド画像Ｉvは複数の部分画像Ｉpから構成されている。そこで、全体表示が選択されている場合には、バーチャルスライド画像Ｉvを構成する各部分画像をそのバーチャルスライド画像Ｉv内の位置を示す座標情報に基づいて配置することで、バーチャルスライド画像Ｉvを再構成する（ステップＳ５０４）。そして、再構成されたバーチャルスライド画像Ｉvの全体が表示部１６０の画面（図示省略）に収まるように縮小画像データを作成して（ステップＳ５０５）、該画像データに対応する画像を表示する（ステップＳ５０６）。こうすることで、表示部１６０の画面にはバーチャルスライド画像Ｉvの全体が表示される。
【００５５】
このとき、バーチャルスライド画像Ｉvを構成する各グリッド画像には色分け等によって分類結果が反映されているため、ユーザは先に指定した分類ルールに対応する細胞や組織が、バーチャルスライド内でどのように分布しているかを一目で把握することができる。また、必要に応じて全体画像と部分画像とを切り替えることで、画像の拡大・縮小を行うことができる。また、拡大表示される部分画像を切り替えることで、バーチャルスライド内の位置を変えて観察を行うことができる。
【００５６】
好酸性クリスタロイド検出結果に基づく分類結果のみの表示が求められた場合、図１０（ａ）に示すように、好酸性クリスタロイドＣが検出されたグリッド画像およびこれに隣接するグリッド画像が他のグリッド画像と異なる視覚情報を伴って（ここでは他のグリッド画像よりも濃く）表示される。また、好酸性クリスタロイド検出結果と分類器による分類結果の和集合の表示が求められた場合、図１０（ｂ）に示すように、好酸性クリスタロイドＣが検出されたグリッド画像およびこれに隣接するグリッド画像、分類器によりいくつかの分類カテゴリに分類されたグリッド画像がそれぞれ異なる色調（または濃度）で塗り分けられた状態で表示される。なお、図１０はユーザにより部分画像Ｉpの表示が選択された場合の表示内容を示している。
【００５７】
また、図１０（ｃ）に符号Ｔｘで示すように、原画像と分類結果とを重ねた画像とともに、例えば好酸性クリスタロイドの位置や検出個数に関連する情報をテキスト表示するようにしてもよい。この場合において、表示対象として部分画像Ｉpが選択されているときには、現在表示されている部分画像Ｉpにおいて検出された好酸性クリスタロイドの個数をテキスト表示してもよく、またバーチャルスライド画像Ｉv全体において検出された好酸性クリスタロイドの個数を併せて表示するようにしてもよい。このような定量的な情報を併せて表示することで、ユーザはバーチャルスライド画像Ｉv内における好酸性クリスタロイドの分布状況をより直感的に把握することができ、診断を効率よく行うことができる。
【００５８】
なお、ここでは部分画像Ｉpを表示する場合について説明したが、バーチャルスライド画像Ｉvの全体を表示する場合についても同様である。
【００５９】
以上のように、この実施形態では、検体組織を撮像してなるバーチャルスライド画像を画像処理し、当該組織の病変に特徴的な特殊部位（ここでは前立腺癌における好酸性クリスタロイド）を検出し、その検出位置が視覚的に判るように、原画像とともに表示する。具体的には、原画像を複数のグリッド画像に分割し、そのうち好酸性クリスタロイドを含むグリッド画像に他のグリッド画像とは異なる視覚情報（色彩、濃淡など）を付して表示する。こうすることで、ユーザ（診断医）は、特殊部位を画像の目視によって見つけ出す必要はなく、検体組織内における特殊部位の分布を直感的に把握することができる。そのため、少ない作業量で的確な診断を効率よく行うことが可能となり、診断医の負担が大きく軽減される。
【００６０】
また、特殊部位が検出されたグリッド画像以外のグリッド画像についても、既知の病理画像や検体組織内から選択されたグリッド画像を基準画像とする分類を行うことで、異常な部位を検出することができ、その分類結果を原画像および特殊部位の検出結果と重ねて表示することで、ユーザによる種々の診断を効果的に支援することができる。
【００６１】
また、特殊部位の検出に際しては、前記した性質（１）ないし（４）を全て備える領域を対象画像内から抽出する。このようにすることで、腺管組織内の好酸性クリスタロイドを他の類似物質と区別して的確に検出することが可能となる。これにより、好酸性クリスタロイドが病変の兆候とされる、例えば前立腺における高分化癌の発見が容易になり、診断のための作業効率を大きく向上させることができる。
【００６２】
以上説明したように、この実施形態においては、撮像部２０が本発明の「画像取得手段」として機能する一方、表示部１６０が本発明の「表示手段」として機能している。また、この実施形態では、特殊部位検出部１２１および表示処理部１１１がそれぞれ本発明の「特殊部位検出手段」および「視覚情報処理手段」として機能している。また、分類器１２３が本発明の「分類手段」として機能している。したがって、この実施形態では、プロセッサ部１００が本発明の「特殊部位検出手段」、「視覚情報処理手段」および「分類手段」としての機能を兼ね備えている。さらに、この実施形態では、バーチャルスライド画像Ｉvが本発明の「原画像」に相当している。
【００６３】
また、上記実施形態の病理診断支援処理（図３）では、ステップＳ１０１が本発明の「画像取得工程」に相当しており、ステップＳ１０２が本発明の「特殊部位検出工程」に相当している。また、ステップＳ１０３、Ｓ１０４およびＳ１０６が本発明の「視覚情報処理工程」に相当している。さらに、ステップＳ１０５が本発明の「分類工程」に相当し、ステップＳ１０７が本発明の「表示工程」に相当している。
【００６４】
なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能である。例えば、上記性質（１）〜（４）に基づく好酸性クリスタロイドの検出は、上記した態様に限定されず、例えば次のようにしても行うことができる。
【００６５】
図１１は好酸性クリスタロイド検出処理の第２の例を示すフローチャートである。また、図１２はこの処理において画像内の構造物が選別される過程を模式的に示す図である。この例では、前記した例と同様の条件に基づいて、彩度レベルが低い閉領域、青色成分が弱い領域および赤色成分が強い領域が、それぞれ対象画像内から候補領域１、２および３として個別に抽出される（ステップＳ７０１、Ｓ７０２およびＳ７０３）。
【００６６】
そして、これらの領域の積集合、つまり全ての条件を満たす共通領域が、候補領域４として抽出される（ステップＳ７０４）。ここまでの条件を全て満たすものは、アミロイド小体か好酸性クリスタロイドである可能性が高い。第１の処理例と同様に、候補領域４の中から所定の面積を有するものを抽出することで（ステップＳ７０５）、アミロイド小体を除外することができる。こうして抽出された領域を好酸性クリスタロイドと判定して（ステップＳ７０６）、必要な情報を取得することができる（ステップＳ７０７）。
【００６７】
図１３は好酸性クリスタロイド検出処理の第３の例を示すフローチャートである。また、図１４はこの処理において画像内の構造物が選別される過程を模式的に示す図である。この例においても、前記した例と同様の条件に基づいて、彩度レベルが低い閉領域、青色成分が弱い領域および赤色成分が強い領域が、それぞれ対象画像内から候補領域１、２および３として個別に抽出される（ステップＳ８０１、Ｓ８０２およびＳ８０３）。このうち、赤色成分の強い候補領域３について、所定の面積範囲にあるもののみを候補領域４として抽出することで（ステップＳ８０４）、候補領域４からアミロイド小体が除外される。
【００６８】
候補領域４には好酸性クリスタロイド以外の赤血球等も含まれるが、候補領域１、２と候補領域４との共通領域を抽出することによって（ステップＳ８０５）、赤血球は除外され、この例によっても、上記した２つの例と同様に好酸性クリスタロイドのみを検出することができる（ステップＳ８０６、Ｓ８０７）。
【００６９】
このように、この発明によれば、低彩度の画素からなる領域で囲まれた閉領域内の構造物であって、赤色成分および青色成分が所定の強度範囲にあり、かつ所定の面積を有するもののみを抽出することにより、高い精度で好酸性クリスタロイドを検出することが可能であり、これらの条件の適用順序は任意である。
【００７０】
また、上記実施形態の好酸性クリスタロイド検出処理においては、彩度、赤色成分および青色成分の閾値について、上限値または下限値の一方のみを設定しているが、閾値の上限値と下限値を両方設定して、これらの閾値で指定される範囲によって抽出条件を規定するようにしてもよい。また、構造物の幾何学的特徴に関わるパラメータとしては、上記した面積の他に、形状係数や円形度等を用いてもよい。
【００７１】
また、上記実施形態では、ＣＣＤカメラ２０１および顕微鏡２０２を有する撮像部２０を「画像取得手段」として備えているが、本発明において撮像部は必須ではない。前記したように電気通信回線３０からインターフェース１８０を介して、あるいは外部記録媒体から適宜のインターフェースを介して原画像を受け取ることも可能であり、その場合にはこれらのインターフェースが「画像取得手段」として機能することになる。また、この意味において、本発明の制御プログラムにおいては「画像を取得するための工程」は必須ではない。
【００７２】
また、上記実施形態では、腺管組織内の好酸性クリスタロイドを検出する特殊部位検出部１２１に加えて、基準画像に基づきグリッド画像を分類する分類器１２３を備えているが、分類器を備えず、特殊部位の検出結果のみを表示するようにしても、ユーザの診断を十分に支援することが可能である。
【００７３】
また、この実施形態では、光学ディスクＯＤに記録された制御プログラムをホストコンピュータ１０が実行することで各機能ブロックによる処理が実現されているが、制御プログラムを記録する記録媒体は光学ディスクに限定されるものではなく、前記したとおり他の任意の記録媒体を用いることができる。また、この制御プログラムは電気通信回線３０を通じて頒布されるものであってもよい。
【００７４】
また、上記実施形態の病理診断支援装置１は汎用のホストコンピュータ１０と撮像部２０とを組み合わせて構成されているが、撮像部と専用端末とを組み合わせて病理診断支援装置を構成するようにしてもよい。また、既存のバーチャルスライド作成装置に本発明にかかる制御プログラムを組み込むことで、バーチャルスライド作成装置を病理診断支援装置として機能させるようにしてもよい。
【００７５】
また、例えば、分類の結果や集合演算の結果については表示部１６０に表示させるのに代えて、あるいはそれに加えて、電気通信回線３０を通じて外部に配信したり、外部記録媒体に記録することができるようにしてもよい。
【産業上の利用可能性】
【００７６】
この発明は、医師による各種の病理診断をコンピュータシステム等によって支援する技術分野に好適に適用することができる。
【符号の説明】
【００７７】
２０ 撮像部（画像取得手段）
１００ プロセッサ部（特殊部位検出手段、視覚情報処理手段、分類手段）
１１１ 表示処理部（視覚情報処理手段）
１２１ 特殊部位検出部（特殊部位検出手段）
１２３ 分類器（分類手段）
１６０ 表示部（表示手段）
Ｉg グリッド画像
Ｉp 部分画像
Ｉv バーチャルスライド画像（原画像）
Ｓ１０１ 画像取得工程
Ｓ１０２ 特殊部位検出工程
Ｓ１０３、Ｓ１０４、Ｓ１０６ 視覚情報処理工程
Ｓ１０５ 分類工程
Ｓ１０７ 表示工程
【特許請求の範囲】
【請求項１】
検体組織を撮像した原画像を取得する画像取得手段と、
前記原画像から、前記検体組織の病変に特有の特徴を有する特殊部位を検出する特殊部位検出手段と、
前記特殊部位検出手段が検出した前記特殊部位の前記原画像内における位置に関する視覚情報を前記原画像に合成した合成画像を作成する視覚情報処理手段と、
前記合成画像を表示する表示手段と
を備えることを特徴とする病理診断支援装置。
【請求項２】
前記特殊部位検出手段は、ヘマトキシリン・エオジン染色された前記検体組織の前記原画像について、彩度レベルと、赤色成分の強度と、青色成分の強度と、当該原画像内に存在する構造物の幾何学的特徴とに基づき前記特殊部位を検出する請求項１に記載の病理診断支援装置。
【請求項３】
前記特殊部位検出手段は、前記原画像内に存在する構造物のうち、彩度レベルが所定の低彩度条件を満たす低彩度領域に囲まれ、赤色成分の強度が所定の高強度条件を満たすとともに青色成分の強度が所定の低強度条件を満たし、かつ面積が所定の面積範囲にある構造物を前記特殊部位として検出する請求項２に記載の病理診断支援装置。
【請求項４】
前記視覚情報処理手段は、前記原画像を複数のグリッド画像に分割し、複数の前記グリッド画像を前記原画像における配置に基づく配置で前記表示手段に表示させ、しかも、前記特殊部位が含まれる前記グリッド画像に対して、当該グリッド画像が病変部位であることを表す前記視覚情報を付す請求項１ないし３のいずれかに記載の病理診断支援装置。
【請求項５】
前記視覚情報処理手段は、前記特殊部位が含まれる前記グリッド画像およびこれに隣接するグリッド画像に対して、当該グリッド画像が病変部位であることを表す前記視覚情報を付す請求項４に記載の病理診断支援装置。
【請求項６】
前記病変部位とされたグリッド画像以外の前記グリッド画像について、該グリッド画像を各グリッド画像ごとの特徴量に基づいて複数の分類カテゴリに分類する分類手段をさらに備え、
前記視覚情報処理手段は、前記分類手段により分類された前記グリッド画像に対して、前記分類カテゴリごとに異なる態様の前記視覚情報を付した前記合成画像を作成する請求項４または５に記載の病理診断支援装置。
【請求項７】
前記視覚情報処理手段は、前記原画像のうちの部分画像と、当該部分画像内で検出された前記特殊部位の数を表す前記視覚情報とを合成して前記合成画像を作成する請求項１ないし６のいずれかに記載の病理診断支援装置。
【請求項８】
検体組織を撮像した原画像を取得する画像取得工程と、
前記原画像から、前記検体組織の病変に特有の特徴を有する特殊部位を検出する特殊部位検出工程と、
検出した前記特殊部位の前記原画像内における位置に関する視覚情報を前記原画像に合成した合成画像を作成する視覚情報処理工程と、
前記合成画像を表示する表示工程と
を備えることを特徴とする病理診断支援方法。
【請求項９】
前記特殊部位検出工程では、ヘマトキシリン・エオジン染色された前記検体組織の前記原画像について、彩度レベルと、赤色成分の強度と、青色成分の強度と、当該原画像内に存在する構造物の幾何学的特徴とに基づき前記特殊部位を検出する請求項８に記載の病理診断支援方法。
【請求項１０】
前記特殊部位検出工程では、前記原画像内に存在する構造物のうち、彩度レベルが所定の低彩度条件を満たす低彩度領域に囲まれ、赤色成分の強度が所定の高強度条件を満たすとともに青色成分の強度が所定の低強度条件を満たし、かつ面積が所定の面積範囲にあるものを前記特殊部位として検出する請求項９に記載の病理診断支援方法。
【請求項１１】
前記視覚情報処理工程では、前記原画像を複数のグリッド画像に分割し、複数の前記グリッド画像を前記原画像における配置に基づく配置で表示し、しかも、前記特殊部位が含まれる前記グリッド画像に対して、当該グリッド画像が病変部位であることを表す前記視覚情報を付す請求項８または９に記載の病理診断支援方法。
【請求項１２】
前記病変部位とされたグリッド画像以外の前記グリッド画像について、該グリッド画像を各グリッド画像ごとの特徴量に基づいて複数の分類カテゴリに分類する分類工程をさらに備え、
前記視覚情報処理工程では、前記分類工程で分類された前記グリッド画像に対して、前記分類カテゴリごとに異なる態様の前記視覚情報を付した前記合成画像を作成する請求項１１に記載の病理診断支援方法。
【請求項１３】
検体組織を撮像した原画像を取得する画像取得工程と、
前記原画像から、前記検体組織の病変に特有の特徴を有する特殊部位を検出する特殊部位検出工程と、
検出した前記特殊部位の前記原画像内における位置に関する視覚情報を前記原画像に合成した合成画像を作成する視覚情報処理工程と、
前記合成画像を表示する表示工程と
をコンピュータに実行させることを特徴とする、病理診断支援のための制御プログラム。
【請求項１４】
請求項１３に記載の制御プログラムを記録した、コンピュータ読み取り可能な記録媒体。
【請求項１】
検体組織を撮像した原画像を取得する画像取得手段と、
前記原画像から、前記検体組織の病変に特有の特徴を有する特殊部位を検出する特殊部位検出手段と、
前記特殊部位検出手段が検出した前記特殊部位の前記原画像内における位置に関する視覚情報を前記原画像に合成した合成画像を作成する視覚情報処理手段と、
前記合成画像を表示する表示手段と
を備えることを特徴とする病理診断支援装置。
【請求項２】
前記特殊部位検出手段は、ヘマトキシリン・エオジン染色された前記検体組織の前記原画像について、彩度レベルと、赤色成分の強度と、青色成分の強度と、当該原画像内に存在する構造物の幾何学的特徴とに基づき前記特殊部位を検出する請求項１に記載の病理診断支援装置。
【請求項３】
前記特殊部位検出手段は、前記原画像内に存在する構造物のうち、彩度レベルが所定の低彩度条件を満たす低彩度領域に囲まれ、赤色成分の強度が所定の高強度条件を満たすとともに青色成分の強度が所定の低強度条件を満たし、かつ面積が所定の面積範囲にある構造物を前記特殊部位として検出する請求項２に記載の病理診断支援装置。
【請求項４】
前記視覚情報処理手段は、前記原画像を複数のグリッド画像に分割し、複数の前記グリッド画像を前記原画像における配置に基づく配置で前記表示手段に表示させ、しかも、前記特殊部位が含まれる前記グリッド画像に対して、当該グリッド画像が病変部位であることを表す前記視覚情報を付す請求項１ないし３のいずれかに記載の病理診断支援装置。
【請求項５】
前記視覚情報処理手段は、前記特殊部位が含まれる前記グリッド画像およびこれに隣接するグリッド画像に対して、当該グリッド画像が病変部位であることを表す前記視覚情報を付す請求項４に記載の病理診断支援装置。
【請求項６】
前記病変部位とされたグリッド画像以外の前記グリッド画像について、該グリッド画像を各グリッド画像ごとの特徴量に基づいて複数の分類カテゴリに分類する分類手段をさらに備え、
前記視覚情報処理手段は、前記分類手段により分類された前記グリッド画像に対して、前記分類カテゴリごとに異なる態様の前記視覚情報を付した前記合成画像を作成する請求項４または５に記載の病理診断支援装置。
【請求項７】
前記視覚情報処理手段は、前記原画像のうちの部分画像と、当該部分画像内で検出された前記特殊部位の数を表す前記視覚情報とを合成して前記合成画像を作成する請求項１ないし６のいずれかに記載の病理診断支援装置。
【請求項８】
検体組織を撮像した原画像を取得する画像取得工程と、
前記原画像から、前記検体組織の病変に特有の特徴を有する特殊部位を検出する特殊部位検出工程と、
検出した前記特殊部位の前記原画像内における位置に関する視覚情報を前記原画像に合成した合成画像を作成する視覚情報処理工程と、
前記合成画像を表示する表示工程と
を備えることを特徴とする病理診断支援方法。
【請求項９】
前記特殊部位検出工程では、ヘマトキシリン・エオジン染色された前記検体組織の前記原画像について、彩度レベルと、赤色成分の強度と、青色成分の強度と、当該原画像内に存在する構造物の幾何学的特徴とに基づき前記特殊部位を検出する請求項８に記載の病理診断支援方法。
【請求項１０】
前記特殊部位検出工程では、前記原画像内に存在する構造物のうち、彩度レベルが所定の低彩度条件を満たす低彩度領域に囲まれ、赤色成分の強度が所定の高強度条件を満たすとともに青色成分の強度が所定の低強度条件を満たし、かつ面積が所定の面積範囲にあるものを前記特殊部位として検出する請求項９に記載の病理診断支援方法。
【請求項１１】
前記視覚情報処理工程では、前記原画像を複数のグリッド画像に分割し、複数の前記グリッド画像を前記原画像における配置に基づく配置で表示し、しかも、前記特殊部位が含まれる前記グリッド画像に対して、当該グリッド画像が病変部位であることを表す前記視覚情報を付す請求項８または９に記載の病理診断支援方法。
【請求項１２】
前記病変部位とされたグリッド画像以外の前記グリッド画像について、該グリッド画像を各グリッド画像ごとの特徴量に基づいて複数の分類カテゴリに分類する分類工程をさらに備え、
前記視覚情報処理工程では、前記分類工程で分類された前記グリッド画像に対して、前記分類カテゴリごとに異なる態様の前記視覚情報を付した前記合成画像を作成する請求項１１に記載の病理診断支援方法。
【請求項１３】
検体組織を撮像した原画像を取得する画像取得工程と、
前記原画像から、前記検体組織の病変に特有の特徴を有する特殊部位を検出する特殊部位検出工程と、
検出した前記特殊部位の前記原画像内における位置に関する視覚情報を前記原画像に合成した合成画像を作成する視覚情報処理工程と、
前記合成画像を表示する表示工程と
をコンピュータに実行させることを特徴とする、病理診断支援のための制御プログラム。
【請求項１４】
請求項１３に記載の制御プログラムを記録した、コンピュータ読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１１】
【図１２】
【図１３】
【図１４】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１１】
【図１２】
【図１３】
【図１４】
【図１０】
【公開番号】特開２０１２−８０２７（Ｐ２０１２−８０２７Ａ）
【公開日】平成２４年１月１２日（２０１２．１．１２）
【国際特許分類】
【出願番号】特願２０１０−１４４６８３（Ｐ２０１０−１４４６８３）
【出願日】平成２２年６月２５日（２０１０．６．２５）
【出願人】（０００２０７５５１）大日本スクリーン製造株式会社 (2,640)
【出願人】（５１００８９２０３）
【Ｆターム（参考）】
【公開日】平成２４年１月１２日（２０１２．１．１２）
【国際特許分類】
【出願日】平成２２年６月２５日（２０１０．６．２５）
【出願人】（０００２０７５５１）大日本スクリーン製造株式会社 (2,640)
【出願人】（５１００８９２０３）
【Ｆターム（参考）】
[ Back to top ]