画像処理装置及び画像処理方法
【課題】 断層像を画像処理する画像処理装置において、複数の層に存在する病変同士の関連性を、疾病に応じて操作者が容易に把握できるようにする。
【解決手段】 眼部の断層像を画像処理する画像処理装置100であって、前記断層像の解剖学的な特徴である眼部特徴を取得する眼部特徴取得部331と、前記眼部特徴により特定される複数の層の中から、所定の種類の疾病に対応する病変を検出するための層を少なくとも2つ指定する層指定部332と、層指定部332により指定された層それぞれから、前記所定の種類の疾病に対応する病変を検出する病変取得部333と、病変取得部333により前記層それぞれから検出された病変を、所定の2次元の画像上に投影することで、合成画像を生成し、表示する合成表示部340とを備える。
【解決手段】 眼部の断層像を画像処理する画像処理装置100であって、前記断層像の解剖学的な特徴である眼部特徴を取得する眼部特徴取得部331と、前記眼部特徴により特定される複数の層の中から、所定の種類の疾病に対応する病変を検出するための層を少なくとも2つ指定する層指定部332と、層指定部332により指定された層それぞれから、前記所定の種類の疾病に対応する病変を検出する病変取得部333と、病変取得部333により前記層それぞれから検出された病変を、所定の2次元の画像上に投影することで、合成画像を生成し、表示する合成表示部340とを備える。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は断層像を処理するための画像処理技術に関するものである。
【背景技術】
【0002】
生活習慣病や失明原因の上位を占める疾病の早期診断を目的として、従来より眼部の検査が行われてきた。一般に、このような眼部の検査では、光干渉断層計(OCT:Optical Coherence Tomography)等の眼部断層像撮像装置が用いられる。かかる眼部断層像撮像装置を用いた場合、網膜層内部の状態を3次元的に観察することができるため、より的確に診断を行うことが可能となるからである。
【0003】
眼部断層像撮像装置を用いて撮像された断層像は、通常、コンピュータにて画像処理され、網膜の各層の境界や血管が検出された後、各層の形状や血管の形状といった組織形状が計測される。図14は、眼部断層像撮像装置を用いて撮像された各種断層像において、各層の境界や血管が検出され、眼部の組織形状が計測された様子を示す図である。
【0004】
図14(a)の例では、内境界膜B1、内網状層境界B4、視細胞内節外節境界B5、網膜色素上皮境界B6を検出した後に、網膜厚T1やGCC(Ganglion Cell Complex)厚T2を計測した様子が示されている。また、図14(c)の例では、網膜血管Vを検出した後に、網膜血管Vの直径を計測した様子が示されている。
【0005】
このように、眼部の組織形状を計測し、計測結果(網膜厚T1、GCC厚T2や網膜血管Vの直径等)が正常値の範囲内にあるか否かを比較することで、異常(つまり、病変)を検出することが可能となる。
【0006】
ここで、眼部の疾病の中には、互いに関連性の深い病変(主病変と付随病変)が複数の層にわかれて存在する場合がある。このような疾病の場合、診断や治療計画の際には、病変同士の関連性(主病変と付随病変との間の距離、付随病変の有無や大きさ等)を把握することも重要となってくる。
【0007】
一例として、糖尿病網膜症について説明する。図14(b)は、糖尿病網膜症の被検者の眼部の断層像を示す図である。図14(b)に示すように、糖尿病網膜症の場合、網膜内層に存在する網膜血管の毛細血管が肥大化し、毛細血管瘤MAi(i=1,・・・n1)が形成される。また、毛細血管瘤MAiの中には血液中の血漿成分を漏出するものがあり、漏出した血漿成分は網膜外層に貯留される。一般に、血漿成分が塊状に集積して形成される滲出性の病変は嚢胞Cj(j=1,・・・n2)と呼ばれている。
【0008】
このような病変を有する糖尿病網膜症の場合、治療においては血漿成分が漏出している毛細血管瘤MAi(主病変)を特定し、毛細血管瘤MAiに対してレーザを照射することで漏出が止められる。このとき、血漿成分が漏出している毛細血管瘤MAiの近傍には、図14(b)に示すように、嚢胞Cjが付随することがしばしばあり、当該付随する嚢胞Cj(付随病変)の大きさを計測することにより血漿成分の漏出量を把握することができる。
【0009】
従って、近傍に大きな嚢胞Cjを持つ毛細血管瘤MAiほど、治療計画においてはレーザ治療の必要性が高い主病変ということになる。ただし、視力への影響の大きい部位(中心窩F1)や視神経への影響の大きい部位(視神経乳頭部)にはレーザを照射することができない。このため、レーザ治療の計画を立てるにあたっては漏出点がこれらの部位から十分に離れているか否かを確認すべく、その距離を計測しておく必要がある。
【0010】
つまり、断層像の表示に際しては嚢胞Cjの大きさや位置、嚢胞Cjから毛細血管瘤MAiや中心窩F1、視神経乳頭部までの距離等が一目でわかるようにすることで、診断や治療計画を行うにあたっての利便性が大きく向上するものと期待される。
【0011】
このようなことから、眼部断層像撮像装置を用いて撮像された断層像を画像処理することにより得られた処理結果の表示においては、操作者が、疾病ごとに病変の関連性を容易に把握できるように表示されることが望ましい。
【0012】
一方で、従来より、眼部断層像撮像装置を用いて撮像された断層像を画像処理することで検出された病変を表示するための、種々の方法が提案されている。
【0013】
例えば、下記特許文献1には、網膜内の一部の層に限局して単一の投影像を生成し、網膜血管走行の強調表示を行う構成が開示されている。また、下記特許文献2には、単一の層における形状異常(菲薄化)を網膜神経線維走行沿いの複数点間で比較し、表示する構成が開示されている。
【先行技術文献】
【特許文献】
【0014】
【特許文献1】米国特許第7505142号明細書
【特許文献2】特開2009−89792号公報
【非特許文献】
【0015】
【非特許文献1】K. Lee et al.;”3-D segmentation of retinal blood vessels in spectral-domain OCT volumes of the optic nerve head”, Proceedings of SPIE Medical Imaging 2010, Vol.7626, 76260V, 2010.
【発明の概要】
【発明が解決しようとする課題】
【0016】
しかしながら、上記特許文献1に記載の構成は、一部の層における単一の投影像を作成するものであり、また、上記特許文献2に記載の構成は、単一の層についての表示を行うものである。つまり、複数の層にわかれて存在する病変について、その関連性を考慮しながら表示させる構成とはなっておらず、複数の層にまたがる病変同士の関連性を把握することが必要な疾病についての診断や治療計画を行うのに適した表示とは言い難い。
【0017】
本発明は上記の課題に鑑みてなされたものであり、断層像を画像処理する画像処理装置において、複数の層に存在する病変同士の関連性を、疾病に応じて操作者が容易に把握できるようにすることを目的とする。
【課題を解決するための手段】
【0018】
上記の目的を達成するために本発明に係る画像処理装置は以下のような構成を備える。即ち、
眼部の断層像を画像処理する画像処理装置であって、
前記断層像の解剖学的な特徴である眼部特徴を取得する眼部特徴取得手段と、
前記眼部特徴取得手段により取得された眼部特徴により特定される複数の層の中から、所定の種類の疾病に対応する病変を検出するための層を少なくとも2つ指定する指定手段と、
前記指定手段により指定された層それぞれから、前記所定の種類の疾病に対応する病変を検出する病変取得手段と、
前記病変取得手段により前記層それぞれから検出された病変を、所定の2次元の画像上に投影することで、合成画像を生成する生成手段と、
前記生成手段により生成された合成画像を表示する表示手段とを備える。
【発明の効果】
【0019】
本発明によれば、断層像を画像処理する画像処理装置において、複数の層に存在する病変同士の関連性を、疾病ごとに操作者が容易に把握できるようになる。
【図面の簡単な説明】
【0020】
【図1】本発明の第1の実施形態に係る画像処理装置100を備える画像処理システムの一例を示す図である。
【図2】画像処理装置100のハードウェア構成を示す図である。
【図3】画像処理装置100の機能構成を示す図である。
【図4】画像処理装置100の画像処理機能を実行する際に用いられる眼部断層像の一例を示す図である。
【図5】画像処理装置100における画像処理の流れを示すフローチャートである。
【図6】画像処理装置100における病変取得処理の流れを示すフローチャートである。
【図7】画像処理装置100における合成画像生成処理の流れを示すフローチャートである。
【図8】画像処理装置100における合成画像生成処理により生成された合成画像の一例を示す図である。
【図9】本発明の第2の実施形態に係る画像処理装置900の機能構成を示す図である。
【図10】画像処理装置900の画像処理機能を実行する際に用いられる眼部断層像の一例を示す図である。
【図11】画像処理装置900における病変取得処理の流れを示すフローチャートである。
【図12】画像処理装置900における合成画像生成処理の流れを示すフローチャートである。
【図13】画像処理装置900における合成画像生成処理により生成された合成画像の一例を示す図である。
【図14】眼部断層像撮像装置を用いて撮像された各種断層像において、各層の境界や血管が検出され、眼部の組織形状が計測された様子を示す図である。
【発明を実施するための形態】
【0021】
以下、添付図面を参照しながら本発明の各実施形態について詳説する。ただし、本発明の範囲は以下の実施形態に限定されるものではない。
【0022】
[第1の実施形態]
はじめに本実施形態に係る画像処理装置の概要について説明する。本実施形態に係る画像処理装置では、糖尿病網膜症の被検者の眼部断層像について、当該疾病(糖尿病網膜症)に対応する病変を検出するための層(網膜内層、網膜外層)を指定するよう構成されている点に特徴がある。
【0023】
また、指定された層のうち、網膜内層からは主病変として毛細血管瘤を、網膜外層からは付随病変として嚢胞をそれぞれ検出し、眼部特徴とともに両病変を所定の眼底像上に投影することで合成画像として表示する点に特徴がある。
【0024】
このような構成とすることで、毛細血管瘤からの血漿成分の漏出の有無や、主病変に対する治療の可否、主病変に対する治療の優先度等を、操作者が容易に把握することが可能となる。以下、これらの特徴を有する本実施形態について詳細に説明する。
【0025】
なお、解剖学的には内境界膜B1から内顆粒層(不図示)までを網膜内層、外網状層(非図示)から網膜色素上皮層Bまでを網膜外層と定義される。しかし、実際の眼部断層像上では外網状層の少し内層側に存在する内網状層境界B4の方がより確実に検出できるため、本実施形態では網膜内層を内境界膜B1から内網状層境界B4まで、網膜外層を網膜内の網膜内層以外の領域として記述する。もちろん、解剖学的な定義通りに網膜内層・網膜外層を定義して(外網状層境界(不図示)を検出した上で)実施してもよいことは言うまでもない。
【0026】
<1.画像処理システムの構成>
図1は、本実施形態に係る画像処理装置100を備える画像処理システムの一例を示す図である。
【0027】
図1に示すように画像処理装置100と眼部断層像撮像装置102とは、光ファイバやUSB、IEEE1394等のインターフェイスを介して接続される。また、データサーバ101は、画像処理装置100及び眼部断層像撮像装置102と、イーサネット(登録商標)等によるローカル・エリア・ネットワーク(LAN)103を介して接続される。なお、これらの装置は、インターネット等の外部ネットワークを介して接続されていてもよい。
【0028】
眼部断層像撮像装置102は眼部の断層像を撮像する装置であり、例えばタイムドメイン方式もしくはフーリエドメイン方式のOCTである。眼部断層像撮像装置102は不図示の操作者による操作に応じ、不図示の被検眼の断層像を3次元的に撮像する。撮像した断層像は画像処理装置100へと送信される。
【0029】
データサーバ101は被検眼の断層像や被検眼の眼部特徴(眼部の断層像から取得される解剖学的な特徴)、眼部特徴の正常値データなどを保持するサーバである。データサーバ101では、眼部断層像撮像装置102から出力される被検眼の断層像や画像処理装置100から出力される眼部特徴を保存する。また画像処理装置100からの要求に応じ、被検眼に関するデータ(断層像、眼部特徴)や眼部特徴の正常値データを画像処理装置100に送信する。
【0030】
<2.画像処理装置100のハードウェア構成>
次に、図2を用いて画像処理装置100のハードウェア構成について説明する。図2において、201は中央演算処理装置(CPU)、202はメモリ(RAM)、203は制御メモリ(ROM)、204は外部記憶装置、205はモニタ、206はキーボード、207はマウス、208はインタフェースである。本実施形態に係る画像処理機能を実現するための制御プログラムや、当該制御プログラムが実行される際に用いられるデータは、外部記憶装置204に記憶されている。これらの制御プログラムやデータは、CPU201による制御のもと、バス209を通じて適宜RAM202に取り込まれ、CPU201によって実行される。
【0031】
<3.画像処理装置100の機能構成>
次に、本実施形態に係る画像処理機能を実現するための画像処理装置100の機能構成について図3及び図4を参照しながら説明する。図3は、画像処理装置100の画像処理機能に関する機能構成を示す図であり、図4は、画像処理装置100の画像処理機能を実行する際に用いられる眼部断層像の一例を示す図である。
【0032】
図3に示すように、画像処理装置100は、断層像取得部310、記憶部320、画像処理部330、合成表示部340、指示取得部350を備える。
【0033】
また、画像処理部330は、更に、眼部特徴取得部331、層指定部332、病変取得部333を備え、病変取得部333は、更に、関連性判定部333−1、治療可能性判定部333−2、治療優先度判定部333−3を備える。
【0034】
また、合成表示部340は、更に、画像合成部341、関連性表示部342、治療可能性表示部343、治療優先度表示部344を備える。
【0035】
以下、画像処理装置100を構成する各機能ブロックについて詳説する。
【0036】
(1)断層像取得部310
断層像取得部310は、眼部断層像撮像装置102に対して断層像の取得要求を送信する。また、当該取得要求に応じて、LAN103を介して眼部断層像撮像装置102より送信された断層像を受信し、記憶部320に格納する。
【0037】
(2)眼部特徴取得部331
眼部特徴取得部331は、記憶部320に格納された断層像から、眼部特徴として、内境界膜、視神経線維層境界、神経節細胞層境界、内網状層境界、外網状層境界、視細胞内節外節境界、網膜色素上皮境界、視神経乳頭部、中心窩を抽出する。そして、抽出した眼部特徴のうち、図4に示すように、内境界膜B1、内網状層境界B4、視細胞内節外節境界B5、網膜色素上皮境界B6及び中心窩F1を取得する。また、取得した各々の眼部特徴を記憶部320に格納する。
【0038】
ここで、眼部特徴取得部331による眼部特徴の抽出手順を具体的に説明する。はじめに、層の境界を抽出するための抽出手順について説明する。なお、ここでは処理対象である3次元断層像を2次元断層像(Bスキャン像)の集合と考え、各2次元断層像に対して以下の処理を行う。
【0039】
まず、着目する2次元断層像に平滑化処理を行い、ノイズ成分を除去する。次に2次元断層像からエッジ成分を検出し、その連結性に基づいて何本かの線分を層境界の候補として抽出する。
【0040】
そして、該抽出した候補から1番上の線分を内境界膜B1、上から2番目の線分を神経線維層境界B2、3番目の線分を内網状層境界B4として抽出する。また、内境界膜B1よりも外層側(図4(a)において、z座標が大きい側)にあるコントラスト最大の線分を視細胞内節外節境界B5として抽出する。さらに、該層境界候補群のうち一番下の線分を網膜色素上皮境界B6として抽出する。
【0041】
なお、これらの線分を初期値としてSnakesやレベルセット法等の可変形状モデルを適用し、更に精密抽出を行うように構成してもよい。また、グラフカット法により層の境界を抽出するように構成してもよい。
【0042】
なお、可変形状モデルやグラフカットを用いた境界抽出は、3次元断層像に対し3次元的に実行してもよいし、各々の2次元断層像に対し2次元的に実行してもよい。また、層の境界を抽出する方法は、眼部の断層像から層の境界を抽出可能な方法であれば、いずれの方法を用いてもよいことはいうまでもない。
【0043】
眼部断層像から層の境界を抽出した後は、更に、当該抽出した内境界膜B1の形状から陥凹の深い順に2か所の陥凹部を検出することにより、視神経乳頭部(不図示)及び中心窩F1を抽出する。ここではより陥凹の浅い方を中心窩F1として、陥凹の深い方を視神経乳頭部として抽出する。
【0044】
(3)層指定部332
層指定部332では、眼部断層像から所定の疾病に対応する主病変及び付随病変を検出するために指定する層の種類を決定する。病変を検出するために指定する層の種類は、診断対象とする疾病の種類によって決まる。本実施形態の場合、診断対象疾病が糖尿病網膜症、主病変が毛細血管瘤、付随病変が嚢胞であるため、毛細血管瘤MAiを検出するための層の種類として網膜血管Vが存在する網膜内層(図4(a)のP1)を指定する。また嚢胞Cjを検出するための層の種類として、漏出した血漿成分が蓄積される網膜外層(図4(b)のP2)を指定する。なお、網膜内層P1及び網膜外層P2を含む各層は、眼部特徴取得部331により取得された眼部特徴に基づいて予め特定されているものとする。
【0045】
(4)病変取得部333
病変取得部333は、眼部特徴取得部331により取得された眼部特徴の位置情報と、層指定部332により指定された層の種類の情報とに基づいて主病変及び付随病変の検出を行う。
【0046】
具体的には、層指定部332により指定された網膜内層から網膜血管Vを検出し、検出した網膜血管Vの直径を正常値と比較することにより、主病変として毛細血管瘤MAiを検出する。更に、層指定部332により指定された網膜外層から、付随病変として嚢胞Cjを検出する。
【0047】
更に、病変取得部333の関連性判定部333−1では、検出した毛細血管瘤MAiと嚢胞Cjとの距離に基づいて、病変同士の関連性を判定することで、治療必要度を判定する。更に、病変取得部333の治療可能性判定部333−2では、毛細血管瘤MAiと中心窩F1との距離に基づいて、毛細血管瘤MAiの治療の可否を判定する。更に、病変取得部333の治療優先度判定部333−3では、毛細血管瘤MAiに対して最短距離にある嚢胞Cjのサイズに基づいて、各毛細血管瘤MAiに対する治療優先度の値を設定する。なお、病変取得部333によるこれらの処理の詳細は、後述するものとする。
【0048】
(5)合成表示部340
合成表示部340は、病変取得部333において検出された網膜血管V及び毛細血管瘤MAiの分布、嚢胞Ciの分布、治療必要度についての情報、治療の可否についての情報、治療優先度の値を用いて、断層像に対する合成画像を生成する。なお、合成画像の生成処理の詳細については後述するものとする。
【0049】
(6)指示取得部350
指示取得部350は、画像処理装置100における画像処理の開始の指示や、被検眼についての画像処理の結果をデータサーバ101へ保存するための保存の指示、画像処理装置100による画像処理を終了するための終了の指示を取得する。当該指示は、例えば、キーボード206やマウス207を介して操作者により入力される。
【0050】
なお、保存の指示がなされた場合、画像処理部330及び合成表示部340では、検査日時、被検眼を同定する情報、断層像、眼部特徴及び合成画像を、相互に関連付けてデータサーバ101へ送信する。
【0051】
<4.画像処理装置100における画像処理の流れ>
次に、画像処理装置100における画像処理の流れについて、図5〜図7を用いて説明する。指示取得部350により画像処理の開始の指示が取得されると、画像処理装置100では図5に示す画像処理を開始する。
【0052】
(1)画像処理全体の流れ(図5)
ステップS501では、断層像取得部310が眼部断層像撮像装置102に対して断層像の取得要求を行うことで断層像を取得し、記憶部320に格納する。ステップS502では、眼部特徴取得部331が記憶部320に格納された断層像から、眼部特徴(内境界膜B1、内網状層境界B4、視細胞内節外節境界B5、網膜色素上皮境界B6及び中心窩F1)の位置情報を取得する。
【0053】
ステップS503では、層指定部332が診断対象とする疾病の種類に応じた層の種類を指定する。ステップS504では、病変取得部333が、ステップS502において眼部特徴取得部331により取得された眼部特徴の位置情報と、ステップS503において層指定部332により指定された層の種類とに基づいて、主病変及び付随病変を検出する。
【0054】
ステップS505では、合成表示部340が、ステップS504において検出された主病変及び付随病変を用いて合成画像を生成し、表示する。ステップS506では、指示取得部350が、画像処理の結果をデータサーバ101へ保存するための保存の指示を取得したか否かを判定し、取得したと判定した場合には、ステップS507に進む。
【0055】
ステップS507では、画像処理部330及び合成表示部340が、画像処理の結果をデータサーバ101に送信し、ステップS508に進む。一方、ステップS506において、保存の指示が取得されなかったと判定した場合には、直接、ステップS508に進む。
【0056】
ステップS508では、指示取得部350が、画像処理の終了の指示を取得したか否かを判定し、取得していないと判定した場合には、ステップS501に戻り、次の被検眼に対する画像処理(または同一の被検眼に対する再画像処理)を実行する。一方、ステップS508において、画像処理の終了の指示を取得したと判定した場合には、画像処理を終了する。
【0057】
(2)病変取得処理の流れ(図6)
次に、病変取得部333において実行される病変取得処理(ステップS504)の詳細について図6を用いて説明する。
【0058】
ステップS601では、病変取得部333が、層指定部332において指定された層のうち、網膜内層P1から網膜血管Vを検出する。具体的には、網膜内層P1に限定して深度方向に画素値を積算することで投影像を生成し、生成した投影像から任意の公知の線強調フィルタを用いることで、網膜血管Vを検出する。
【0059】
なお、ここでは平面投影像から網膜血管Vを検出する手法について述べたが、血管検出法はこれに限られない。例えば、関心領域(Region of Interest:ROI)を網膜内層P1に設定した上で、投影像を生成せずに非特許文献1に示す手法を用いて3次元的に網膜血管Vを検出するようにしてよい。
【0060】
ステップS602では、病変取得部333が、ステップS601で検出された網膜血管Vの直径を計測する。具体的には、網膜血管領域を細線化して得られる血管の中心軸に対して直交する方向の距離を網膜血管Vの直径として計測する。
【0061】
ステップS603では、病変取得部333が、ステップS602で計測された網膜血管Vの直径と、あらかじめ記憶部320に読み出された網膜血管の直径の正常値とを比較する。そして、計測された網膜血管Vの直径が正常値よりTvd%以上大きい場合には、毛細血管瘤MAi(i=1,2,・・・,n1)と判定し、その発生位置(xi,yi)と網膜血管Vの直径Tdiとを記憶部320に格納する。なお、網膜血管Vの直径の計測法はこれに限られず、任意の公知の計測法を用いるように構成してもよい。
【0062】
ステップS604では、病変取得部333が、ステップS503で指定された網膜外層P2から嚢胞Cj(j=1,2・・・,n2)を検出する。具体的には網膜外層P2に限定して深度方向に画素値を積算することで投影像を生成する。そして、生成した投影像から、輝度値がTg以下の画素をラべリングし、面積がTa以上で円形度がTc以上の低輝度領域を嚢胞Cjとして検出する。
【0063】
ステップS604では、更に、付随病変のサイズを示す情報として、検出した嚢胞Cjの面積Tajを計測する。
【0064】
なお、嚢胞Cjの検出法はこれに限られない。例えば、網膜外層P2を関心領域(ROI)に設定した上で、投影像を生成せずに3次元的にTg以下の輝度値を持つ画素をラべリングし、体積がTv以上で球形度がTs以上の値を持つ低輝度領域を嚢胞Cjとして検出するようにしてもよい。この場合、嚢胞Cjのサイズを示す情報として、体積Tvjが計測されることとなる。
【0065】
図6に戻る。ステップS605では、関連性判定部333−1が、ステップS603において取得された毛細血管瘤MAiと、ステップS604において検出された嚢胞Cjとの間の距離LDi(病変間の距離)を計測する。更に、最短距離minLDiの組み合わせ(MAi,Cj)のうちminLDiが閾値以下(閾値=Tmin)のものを主病変、付随病変の組み合わせとして判定する。ここで、対応する付随病変を持たない毛細血管瘤MAiの最短距離は0としておく。
【0066】
ステップS606では、治療可能性判定部333−2が、各毛細血管瘤MAiと中心窩F1との距離FDiを計算し、距離FDiが所定の距離以下(閾値=Tf)の毛細血管瘤MAiには治療可能ラベルLiを0に設定する。ここで、毛細血管瘤MAiが治療(レーザ照射)可能な領域内に存在する場合にはLiを1に、治療(レーザ照射)不可能な領域内に存在する場合にはLiを0に設定する。なお、治療可能ラベルLiが1に設定された毛細血管瘤MAiの総数をn3とする。
【0067】
更に、ステップS606では、治療可能ラベルLiが1に設定された毛細血管瘤MAiに対して、治療優先度判定部333−3が、治療優先度Pi(1≦i≦n3)を算出する。具体的には、ステップS604で算出した嚢胞Cjの面積Taj(または体積Tvj)に基づいて嚢胞Cjをソートし、Taj(Tvj)が大きいものほど治療優先度Piが高くなるように設定する。
【0068】
(3)合成画像の生成処理の流れ(図7)
次に、合成表示部340において実行される合成画像生成処理(ステップS505)の詳細について図7を用いて説明する。
【0069】
ステップS701では、合成表示部340が、画像処理部330より中心窩F1の位置、網膜血管V及び毛細血管瘤MAiの分布、嚢胞Cjの分布、毛細血管瘤MAiに対する治療可能ラベルLi、治療優先度Piの値を取得する。
【0070】
ステップS702では、画像合成部341が、ステップS701で取得された網膜血管V、毛細血管瘤MAi、嚢胞Cjの分布、中心窩F1の位置、治療可能範囲の境界(中心窩F1を中心とした直径1mmの円)を断層像から生成した所定の眼底像に重畳する。また、これにより生成された合成画像を表示する。
【0071】
また、関連性表示部342が、ステップS605において関連性があると判定された主病変(毛細血管瘤MAi)と付随病変(嚢胞Cj)の組み合わせに対しては、毛細血管瘤MAiから嚢胞Cjに対して関連性があることを識別可能な態様により表示する。本実施形態では、ステップS702にて生成された合成画像上の毛細血管瘤MAiから嚢胞Cjに対して矢印を表示する。
【0072】
なお、関連性の表示法はこれに限られず、関連性があることを識別可能な表示法であれば任意の手法を用いてもよい。例えば、関連性があると判定された毛細血管瘤MAiと嚢胞Cjを囲む枠線を表示するようにしてもよい。あるいは、操作者がマウスカーソルを毛細血管瘤MAiの近くに移動させた場合にのみ関連性を示す情報を表示するように構成してもよい。
【0073】
ステップS703では、治療可能性表示部343が、ステップS606で算出された毛細血管瘤MAiに対する治療可能ラベルLiに基づいて、治療可能ラベルLiが0であるような毛細血管瘤MAiを他の毛細血管瘤と異なる態様(色)で表示する。本実施形態では網膜血管V及びLi=1であるような毛細血管瘤MAiを赤色で、Li=0であるような毛細血管瘤MAiを灰色で表示する。
【0074】
なお、治療可能性の表示態様はこれに限定されない。例えば、治療可能ラベルLiが0であるような毛細血管瘤MAiの横に×印を表示するように構成してもよい。あるいは、操作者がマウスカーソルを毛細血管瘤MAiの近くに移動させた場合にのみ、治療可能性を示す情報を表示するように構成してもよい。あるいは、治療可能範囲の境界付近にある毛細血管瘤MAiに対して精査が必要であるという意味で強調表示したり、中心窩F1からの距離を毛細血管瘤MAiの近傍に表示するように構成してもよい。
【0075】
ステップS704では、治療優先度表示部344が、ステップS606で算出された治療優先度Piを合成画像中に表示する。本実施形態では、毛細血管瘤MAiの近傍に治療優先度Piの値を表示する。
【0076】
なお、治療優先度Piの表示態様はこれに限定されない。例えば、治療優先度の大きさとカラーバーを対応付けておき、合成画像中の毛細血管瘤MAiを治療優先度を示す色でカラー表示するように構成してもよい。あるいは、操作者がマウスカーソルを毛細血管瘤MAiの近くに動かした場合にのみ、治療優先度を示す情報を表示するように構成してもよい。あるいは、治療優先度が一定値Tpより高いもののみを合成画像中に治療優先度を示す情報として表示するように構成してもよい。
【0077】
<5.合成画像の一例>
次に、画像処理装置100における合成画像生成処理により生成された合成画像について説明する。図8は、画像処理装置100における合成画像生成処理により生成された合成画像の一例を示す図である。
【0078】
図8に示すように、画像処理装置100により生成された合成画像では、網膜内層P1から検出された主病変と、網膜外層P2から検出された付随病変とが合成して表示される。これにより、毛細血管瘤からの血漿成分の漏出の有無、主病変に対する治療の優先度等を、操作者が容易に把握することが可能となる。
【0079】
また、中心窩F1の位置も同時に表示されるため、毛細血管瘤MA1がレーザ治療可能範囲内にあるか否か(主病変に対する治療の可否)を、操作者は容易に把握することができる。
【0080】
以上の説明から明らかなように、本実施形態に係る画像処理装置100によれば、複数の層に存在する病変同士の関連性を、操作者が容易に把握できるようになる。
【0081】
[第2の実施形態]
上記第1の実施形態では、診断対象疾病が糖尿病網膜症、主病変が毛細血管瘤、付随病変が嚢胞である場合に、所定の断層像について合成画像を生成する構成について説明したが、本発明はこれに限定されない。
【0082】
例えば、緑内障などのように、複数の層にまたがって走行する細胞の異なる部位(細胞核と軸索)に病変が存在する場合には、これらの病変同士の関連性を操作者が容易に把握できるように構成することが重要となってくる。
【0083】
本実施形態では、緑内障等の疾病のこのような特性を考慮し、神経節細胞の細胞核部分が含まれる層の厚みを示す画像と、軸索部分が含まれる層の厚みを示す画像と、神経線維走行を示す画像とを合成した合成画像を表示するよう構成する。かかる構成とすることで、操作者は、異なる層に存在する病変が同一の細胞もしくは組織に生じているか否かを容易に把握することが可能となる。
【0084】
緑内障を例として具体的に説明すると、緑内障の場合、一般に、神経節細胞は、細胞核が神経節細胞層L2に、軸索が神経線維層L1に存在しており、疾病の早期には神経節細胞の細胞核の障害が軸索の障害に先行して発生する。このため、例えば、神経線維層L1の菲薄化が検出された場合には、当該菲薄化領域を走行する神経節細胞の細胞核が含まれる領域(神経節細胞層L2)にも形状異常(菲薄化)が生じていると考えられる。
【0085】
そこで、本実施形態では、眼部断層像から層厚等の組織形状を計測して異常が検出された際に、黄斑部の神経節細胞層厚分布と、視神経乳頭部の神経線維層厚分布と、眼底内の神経線維走行を示す図とを重畳させた合成画像を表示する構成とする。このような構成とすることにより、神経線維層L1に存在する病変(層の菲薄化)を走行する神経線維が神経節細胞層L2の病変(層の菲薄化)を通過しているかを確認することが容易となるからである。この結果、操作者は、神経節細胞の細胞核の障害を検出したのか、ノイズ等を誤検出したのかを容易に判断することができるようになり、病変検出結果の信頼性を向上させることが可能となる。
【0086】
以下、本実施形態に係る画像処理装置900について、上記第1の実施形態に係る画像処理装置100との相違点を中心に説明する。
【0087】
なお、以下の説明では、診断対象疾病が緑内障の場合について説明する。
【0088】
また、以下の説明では、神経節細胞の細胞核部分の障害(菲薄化病変)の程度を表す値として神経節細胞層L2の層厚もしくは該層厚の正常値との差分に関する統計値(deviation)を用いることとする。ただし、本発明はこれに限定されず、例えば、GCC(Ganglion Cell Complex)の層厚もしくは該層厚のdeviationを用いてもよい。
【0089】
<1.画像処理装置900の機能構成>
はじめに、本実施形態に係る画像処理装置900の機能構成について図9及び図10を用いて説明する。図9は、本実施形態に係る画像処理装置900の機能構成を示す図である。また、図10は、画像処理装置900の画像処理機能を実行する際に用いられる眼部断層像の一例を示す図である。
【0090】
(1)断層像取得部310
断層像取得部310は、眼部断層像撮像装置102に対して断層像の取得要求を送信する。なお、本実施形態で取得される断層像は、黄斑部及び視神経乳頭部を含む断層像であるとする。取得した断層像は記憶部320に格納する。
【0091】
(2)眼部特徴取得部931
眼部特徴取得部931は、記憶部320に格納された断層像から、眼部特徴として内境界膜B1、神経線維層境界B2、神経節細胞層境界B3、内網状層境界B4、視細胞内節外節境界B5、網膜色素上皮境界B6、及び中心窩F1を抽出する(図10参照)。
【0092】
また、視神経乳頭部D1の中心位置及び視神経乳頭部における網膜色素上皮境界B6の端部(RPE tip)の位置を抽出する。なお、網膜色素上皮境界B6の端部の位置は各Bスキャン像に対して求められるものとする。
【0093】
なお、各層境界B1、B2、B4〜B6及び中心窩F1、視神経乳頭部D1の抽出方法は、上記第1の実施形態において説明した抽出方法と同様であるため、ここでは神経節細胞層境界B3の抽出方法について説明する。
【0094】
即ち、神経線維層境界B2と内網状層境界B4を取得した後、双方の境界で囲まれる領域内の各点(x,y)において、局所領域を設定して画素値の分散を求める。そして当該分散が最大となる局所領域内に層境界が存在すると判定し、その境界位置をx軸及びy軸方向に接続することで神経節細胞層境界B3を抽出する(図10参照)。なお、このようにして抽出したそれぞれの眼部特徴は、記憶部320に格納される。
【0095】
更に、眼部特徴取得部931は、神経節細胞の眼底内の走行(図10におけるx−y平面に投影した神経節細胞の走行)を示す情報Nk(k=1,2・・・,n)を記憶部320から取得する。この眼底内の神経節細胞の走行情報は、例えば走査型レーザ検眼鏡(Scanning Laser Ophthalmoscope;SLO)のred−Freeモードで撮像したSLO像から取得することができる。本実施形態では、あらかじめ複数の健常眼に対してred−Freeモードで撮影したSLO像に基づいて生成された平均的な神経線維走行を示す曲線群Nk(k=1,2,・・・n)が記憶部320に保存されているものとする。
【0096】
なお、神経線維走行情報の取得方法はこれに限定されない。例えば、画像処理装置100に表面像取得部(不図示)を配し、表面像取得部から眼部断層像と同一被検者のSLO像(red−free)を取得して記憶部320に格納しておき、当該格納したSLO像を取得するようにしてもよい。
【0097】
(3)層指定部932
層指定部932は、第1の層として神経線維層L1を指定し、第2の層として神経節細胞層L2を指定する。なお、神経線維層L1は神経節細胞層L2の軸索部分が集合して形成される層であり、神経節細胞層L2は神経節細胞の細胞核部分が集合して形成される層である。
【0098】
(4)病変取得部933
病変取得部933は、眼部特徴取得部931により取得された眼部特徴に基づいて、神経線維層厚及び神経節細胞層厚を計測する。また、計測した神経線維層厚及び神経節細胞層厚を各々の正常値と比較することで、菲薄化領域を検出する。更に、関連性判定部933−1が、検出した菲薄化領域と、眼部特徴取得部931により取得された組織構造(神経線維走行)情報との関連性を判定する。なお、病変取得部933によるこれらの処理の詳細は、後述する。
【0099】
(5)合成表示部940
合成表示部940は、病変取得部933から組織構造(神経線維走行)情報、神経線維層L1の層厚分布及び神経節細胞層L2の層厚分布を取得する。また、神経線維層L1の病変である菲薄化領域NFi及び神経節細胞層L2の病変である菲薄化領域GCj、各菲薄化領域の検出信頼度DRiを取得する。そして、これらの情報を用いて、SLO像について合成画像を生成する。なお、合成画像の生成処理の詳細は後述する。
【0100】
<2.画像処理装置900における画像処理の流れ>
(1)病変取得処理の流れ(図11)
次に、病変取得部933において実行される病変取得処理(ステップS504)の詳細について図11を用いて説明する。
【0101】
ステップS1101では、病変取得部933が、眼部特徴取得部931が取得した層境界、中心窩F1や視神経乳頭部D1の位置、組織構造(神経線維走行)情報、及び記憶部320に格納された各層厚に関する正常値をそれぞれ取得する。
【0102】
ステップS1102では、ステップS1001で取得した層境界に基づいて、眼底内の各点(x,y)について神経線維層厚及び神経節細胞層厚を計測する。ただし、中心窩F1を中心とした直径1mmの範囲内及び視神経乳頭部のDisc境界の内部は神経線維層厚及び神経節細胞層厚とも計測を行わない。
【0103】
なお、Disc境界の位置は、本実施形態では以下のようにして設定する。すなわち、取得した網膜色素上皮境界B6の端部を各Bスキャン像(画像番号i)内で接続した線Aiを求める。そして、線Aiに関して直交する方向に閾値Thだけ内層側に移動させた場合の線Ai’と内境界膜B1との交点E1i、E2iを各Bスキャン像に対して求める。得られた交点の集合{E1i,E2i}をx−y平面内で滑らかに接続したものをDisc境界とする。
【0104】
図11に戻る。ステップS1103では、神経線維層厚及び神経節細胞層厚を各々の正常値(一定の範囲を持つ値)と比較する。そして、正常値よりも薄い場合に、神経線維層L1の菲薄化領域NFi及び神経節細胞層L2の菲薄化領域GCjと判定し、それぞれを検出する。
【0105】
ステップS1004では、関連性判定部933−1が、眼部特徴取得部931により取得された組織構造(神経線維走行)情報に基づいて、病変取得部933により取得された菲薄化領域NFiと菲薄化領域GCjとの関連性を判定する。すなわち、神経線維層L1の菲薄化領域NFi及び神経節細胞層L2の菲薄化領域GCjが同一の神経線維走行上(Nk上)に存在するかどうかを判定する。
【0106】
判定にあたっては、まず組織構造(神経線維走行)情報Nk(x,y)の座標系と、病変分布NFi(x,y)及びGCj(x,y)の座標系とを以下のようにして位置合わせする。すなわち、各々の座標系において中心窩F1の位置及び視神経乳頭部D1の位置が既に求められているので、この2点が同一の位置となるように合成位置合わせの並進(x,y)及び回転パラメータを求める。なお、本実施形態では、SLO像及び断層像を取得する際の撮像条件を揃えているため、組織構造情報及び病変分布の画素サイズはあらかじめ同一に設定されている。
【0107】
病変取得部933では、更に、位置合わせの結果求められた位置合わせパラメータの値に基づいて組織構造(神経線維走行)情報及び病変分布を重ね合わせる。
【0108】
さらに、各神経線維走行Nk上に存在する神経線維層L1の菲薄化領域NFiを求め、神経線維走行Nk上に菲薄化領域NFiが存在する場合には、同一のNk上に菲薄化領域GCjが存在するか否かを調べる。もし、同一のNk上に神経線維層L1の菲薄化領域NFiと神経節細胞層L2の菲薄化領域GCjが存在する場合には、同一の神経節細胞が障害を受けている可能性が高い。このため、神経線維層L1の菲薄化領域NFiの検出信頼度DRiを1に設定する。
【0109】
なお、神経線維層L1の菲薄化領域NFiの検出信頼度DRiの設定法はこれに限定されない。例えば、上記のようにDRiを2値(0または1)データとするのではなく、菲薄化領域NFiと菲薄化領域GCiをともに通過するNkの本数に比例して高く設定できるよう多値データとしてもよい。
【0110】
(2)合成画像生成処理の流れ(図12)
次に、合成表示部940において実行される合成画像生成処理(ステップS505)の詳細について図12を用いて説明する。
【0111】
ステップS1201では、合成表示部940が、ステップS1101で取得された組織構造(神経線維走行)情報と、ステップS1102で取得された神経線維層L1の層厚分布及び神経節細胞層L2の層厚分布とを画像処理部330から取得する。更に、ステップS1103で取得された神経線維層L1の菲薄化領域NFi及び神経節細胞層L2の菲薄化領域GCjと、ステップS1104で取得された各菲薄化領域NFiの検出信頼度DRiとを画像処理部330から取得する。
【0112】
ステップS1202では、組織構造表示部943が、ステップS1201で取得された組織構造(神経線維走行)情報をモニタ205上に表示する。
【0113】
ステップS1203では、画像合成部341が、ステップS1202で表示された組織構造(神経線維走行)情報に対して以下の情報を表示する。即ち、視神経乳頭部D1を中心とした直径R1内の領域上には、神経線維層厚のDeviationマップ及び神経線維層の菲薄化領域NFiを半透明で合成表示する。また、それ以外の領域上には神経節細胞層厚のDeviationマップ及び神経節細胞層の菲薄化領域GCjを半透明で合成表示する。また、視神経乳頭部における標準的な神経線維層厚計測位置(視神経乳頭部D1を中心とした直径3.45mmの円周上の位置M1)も参考に表示しておく。
【0114】
なお、合成表示の態様はこれに限定されない。例えば、合成表示された画像上の菲薄化領域NFiの近傍にステップS1104で取得された菲薄化領域NFiに対する検出信頼度DRiを表示するようにしてもよい。あるいは合成画像の全面に組織構造(神経線維走行)情報を表示するのではなく、菲薄化領域NFiもしくは菲薄化領域GCjを通過する神経線維走行Nkのみを表示するように構成してもよい。あるいは、常に組織構造情報や検出信頼度を表示するのではなく、マウスカーソルで指定した箇所にのみ組織構造情報や検出信頼度DRiを表示するように構成してもよい。
【0115】
<3.合成画像の一例>
次に、画像処理装置900における合成画像生成処理により生成された合成画像について説明する。図13は、画像処理装置900における合成画像生成処理により生成された合成画像の一例を示す図である。
【0116】
図13に示すように、画像処理装置900により生成された合成画像では、黄斑部の神経節細胞層L2の菲薄化領域および神経乳頭部の神経線維層L1の菲薄化領域が、神経線維走行を示す情報に合成して表示される。これにより、異なる層に存在する緑内障の病変である菲薄化領域が同一の細胞もしくは組織であるか否かを、操作者は容易に把握することが可能となる。
【0117】
以上の説明から明らかなように、本実施形態に係る画像処理装置900によれば、複数の層に存在する病変同士の関連性を、操作者が容易に把握できるようになる。
【0118】
[他の実施形態]
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
【技術分野】
【0001】
本発明は断層像を処理するための画像処理技術に関するものである。
【背景技術】
【0002】
生活習慣病や失明原因の上位を占める疾病の早期診断を目的として、従来より眼部の検査が行われてきた。一般に、このような眼部の検査では、光干渉断層計(OCT:Optical Coherence Tomography)等の眼部断層像撮像装置が用いられる。かかる眼部断層像撮像装置を用いた場合、網膜層内部の状態を3次元的に観察することができるため、より的確に診断を行うことが可能となるからである。
【0003】
眼部断層像撮像装置を用いて撮像された断層像は、通常、コンピュータにて画像処理され、網膜の各層の境界や血管が検出された後、各層の形状や血管の形状といった組織形状が計測される。図14は、眼部断層像撮像装置を用いて撮像された各種断層像において、各層の境界や血管が検出され、眼部の組織形状が計測された様子を示す図である。
【0004】
図14(a)の例では、内境界膜B1、内網状層境界B4、視細胞内節外節境界B5、網膜色素上皮境界B6を検出した後に、網膜厚T1やGCC(Ganglion Cell Complex)厚T2を計測した様子が示されている。また、図14(c)の例では、網膜血管Vを検出した後に、網膜血管Vの直径を計測した様子が示されている。
【0005】
このように、眼部の組織形状を計測し、計測結果(網膜厚T1、GCC厚T2や網膜血管Vの直径等)が正常値の範囲内にあるか否かを比較することで、異常(つまり、病変)を検出することが可能となる。
【0006】
ここで、眼部の疾病の中には、互いに関連性の深い病変(主病変と付随病変)が複数の層にわかれて存在する場合がある。このような疾病の場合、診断や治療計画の際には、病変同士の関連性(主病変と付随病変との間の距離、付随病変の有無や大きさ等)を把握することも重要となってくる。
【0007】
一例として、糖尿病網膜症について説明する。図14(b)は、糖尿病網膜症の被検者の眼部の断層像を示す図である。図14(b)に示すように、糖尿病網膜症の場合、網膜内層に存在する網膜血管の毛細血管が肥大化し、毛細血管瘤MAi(i=1,・・・n1)が形成される。また、毛細血管瘤MAiの中には血液中の血漿成分を漏出するものがあり、漏出した血漿成分は網膜外層に貯留される。一般に、血漿成分が塊状に集積して形成される滲出性の病変は嚢胞Cj(j=1,・・・n2)と呼ばれている。
【0008】
このような病変を有する糖尿病網膜症の場合、治療においては血漿成分が漏出している毛細血管瘤MAi(主病変)を特定し、毛細血管瘤MAiに対してレーザを照射することで漏出が止められる。このとき、血漿成分が漏出している毛細血管瘤MAiの近傍には、図14(b)に示すように、嚢胞Cjが付随することがしばしばあり、当該付随する嚢胞Cj(付随病変)の大きさを計測することにより血漿成分の漏出量を把握することができる。
【0009】
従って、近傍に大きな嚢胞Cjを持つ毛細血管瘤MAiほど、治療計画においてはレーザ治療の必要性が高い主病変ということになる。ただし、視力への影響の大きい部位(中心窩F1)や視神経への影響の大きい部位(視神経乳頭部)にはレーザを照射することができない。このため、レーザ治療の計画を立てるにあたっては漏出点がこれらの部位から十分に離れているか否かを確認すべく、その距離を計測しておく必要がある。
【0010】
つまり、断層像の表示に際しては嚢胞Cjの大きさや位置、嚢胞Cjから毛細血管瘤MAiや中心窩F1、視神経乳頭部までの距離等が一目でわかるようにすることで、診断や治療計画を行うにあたっての利便性が大きく向上するものと期待される。
【0011】
このようなことから、眼部断層像撮像装置を用いて撮像された断層像を画像処理することにより得られた処理結果の表示においては、操作者が、疾病ごとに病変の関連性を容易に把握できるように表示されることが望ましい。
【0012】
一方で、従来より、眼部断層像撮像装置を用いて撮像された断層像を画像処理することで検出された病変を表示するための、種々の方法が提案されている。
【0013】
例えば、下記特許文献1には、網膜内の一部の層に限局して単一の投影像を生成し、網膜血管走行の強調表示を行う構成が開示されている。また、下記特許文献2には、単一の層における形状異常(菲薄化)を網膜神経線維走行沿いの複数点間で比較し、表示する構成が開示されている。
【先行技術文献】
【特許文献】
【0014】
【特許文献1】米国特許第7505142号明細書
【特許文献2】特開2009−89792号公報
【非特許文献】
【0015】
【非特許文献1】K. Lee et al.;”3-D segmentation of retinal blood vessels in spectral-domain OCT volumes of the optic nerve head”, Proceedings of SPIE Medical Imaging 2010, Vol.7626, 76260V, 2010.
【発明の概要】
【発明が解決しようとする課題】
【0016】
しかしながら、上記特許文献1に記載の構成は、一部の層における単一の投影像を作成するものであり、また、上記特許文献2に記載の構成は、単一の層についての表示を行うものである。つまり、複数の層にわかれて存在する病変について、その関連性を考慮しながら表示させる構成とはなっておらず、複数の層にまたがる病変同士の関連性を把握することが必要な疾病についての診断や治療計画を行うのに適した表示とは言い難い。
【0017】
本発明は上記の課題に鑑みてなされたものであり、断層像を画像処理する画像処理装置において、複数の層に存在する病変同士の関連性を、疾病に応じて操作者が容易に把握できるようにすることを目的とする。
【課題を解決するための手段】
【0018】
上記の目的を達成するために本発明に係る画像処理装置は以下のような構成を備える。即ち、
眼部の断層像を画像処理する画像処理装置であって、
前記断層像の解剖学的な特徴である眼部特徴を取得する眼部特徴取得手段と、
前記眼部特徴取得手段により取得された眼部特徴により特定される複数の層の中から、所定の種類の疾病に対応する病変を検出するための層を少なくとも2つ指定する指定手段と、
前記指定手段により指定された層それぞれから、前記所定の種類の疾病に対応する病変を検出する病変取得手段と、
前記病変取得手段により前記層それぞれから検出された病変を、所定の2次元の画像上に投影することで、合成画像を生成する生成手段と、
前記生成手段により生成された合成画像を表示する表示手段とを備える。
【発明の効果】
【0019】
本発明によれば、断層像を画像処理する画像処理装置において、複数の層に存在する病変同士の関連性を、疾病ごとに操作者が容易に把握できるようになる。
【図面の簡単な説明】
【0020】
【図1】本発明の第1の実施形態に係る画像処理装置100を備える画像処理システムの一例を示す図である。
【図2】画像処理装置100のハードウェア構成を示す図である。
【図3】画像処理装置100の機能構成を示す図である。
【図4】画像処理装置100の画像処理機能を実行する際に用いられる眼部断層像の一例を示す図である。
【図5】画像処理装置100における画像処理の流れを示すフローチャートである。
【図6】画像処理装置100における病変取得処理の流れを示すフローチャートである。
【図7】画像処理装置100における合成画像生成処理の流れを示すフローチャートである。
【図8】画像処理装置100における合成画像生成処理により生成された合成画像の一例を示す図である。
【図9】本発明の第2の実施形態に係る画像処理装置900の機能構成を示す図である。
【図10】画像処理装置900の画像処理機能を実行する際に用いられる眼部断層像の一例を示す図である。
【図11】画像処理装置900における病変取得処理の流れを示すフローチャートである。
【図12】画像処理装置900における合成画像生成処理の流れを示すフローチャートである。
【図13】画像処理装置900における合成画像生成処理により生成された合成画像の一例を示す図である。
【図14】眼部断層像撮像装置を用いて撮像された各種断層像において、各層の境界や血管が検出され、眼部の組織形状が計測された様子を示す図である。
【発明を実施するための形態】
【0021】
以下、添付図面を参照しながら本発明の各実施形態について詳説する。ただし、本発明の範囲は以下の実施形態に限定されるものではない。
【0022】
[第1の実施形態]
はじめに本実施形態に係る画像処理装置の概要について説明する。本実施形態に係る画像処理装置では、糖尿病網膜症の被検者の眼部断層像について、当該疾病(糖尿病網膜症)に対応する病変を検出するための層(網膜内層、網膜外層)を指定するよう構成されている点に特徴がある。
【0023】
また、指定された層のうち、網膜内層からは主病変として毛細血管瘤を、網膜外層からは付随病変として嚢胞をそれぞれ検出し、眼部特徴とともに両病変を所定の眼底像上に投影することで合成画像として表示する点に特徴がある。
【0024】
このような構成とすることで、毛細血管瘤からの血漿成分の漏出の有無や、主病変に対する治療の可否、主病変に対する治療の優先度等を、操作者が容易に把握することが可能となる。以下、これらの特徴を有する本実施形態について詳細に説明する。
【0025】
なお、解剖学的には内境界膜B1から内顆粒層(不図示)までを網膜内層、外網状層(非図示)から網膜色素上皮層Bまでを網膜外層と定義される。しかし、実際の眼部断層像上では外網状層の少し内層側に存在する内網状層境界B4の方がより確実に検出できるため、本実施形態では網膜内層を内境界膜B1から内網状層境界B4まで、網膜外層を網膜内の網膜内層以外の領域として記述する。もちろん、解剖学的な定義通りに網膜内層・網膜外層を定義して(外網状層境界(不図示)を検出した上で)実施してもよいことは言うまでもない。
【0026】
<1.画像処理システムの構成>
図1は、本実施形態に係る画像処理装置100を備える画像処理システムの一例を示す図である。
【0027】
図1に示すように画像処理装置100と眼部断層像撮像装置102とは、光ファイバやUSB、IEEE1394等のインターフェイスを介して接続される。また、データサーバ101は、画像処理装置100及び眼部断層像撮像装置102と、イーサネット(登録商標)等によるローカル・エリア・ネットワーク(LAN)103を介して接続される。なお、これらの装置は、インターネット等の外部ネットワークを介して接続されていてもよい。
【0028】
眼部断層像撮像装置102は眼部の断層像を撮像する装置であり、例えばタイムドメイン方式もしくはフーリエドメイン方式のOCTである。眼部断層像撮像装置102は不図示の操作者による操作に応じ、不図示の被検眼の断層像を3次元的に撮像する。撮像した断層像は画像処理装置100へと送信される。
【0029】
データサーバ101は被検眼の断層像や被検眼の眼部特徴(眼部の断層像から取得される解剖学的な特徴)、眼部特徴の正常値データなどを保持するサーバである。データサーバ101では、眼部断層像撮像装置102から出力される被検眼の断層像や画像処理装置100から出力される眼部特徴を保存する。また画像処理装置100からの要求に応じ、被検眼に関するデータ(断層像、眼部特徴)や眼部特徴の正常値データを画像処理装置100に送信する。
【0030】
<2.画像処理装置100のハードウェア構成>
次に、図2を用いて画像処理装置100のハードウェア構成について説明する。図2において、201は中央演算処理装置(CPU)、202はメモリ(RAM)、203は制御メモリ(ROM)、204は外部記憶装置、205はモニタ、206はキーボード、207はマウス、208はインタフェースである。本実施形態に係る画像処理機能を実現するための制御プログラムや、当該制御プログラムが実行される際に用いられるデータは、外部記憶装置204に記憶されている。これらの制御プログラムやデータは、CPU201による制御のもと、バス209を通じて適宜RAM202に取り込まれ、CPU201によって実行される。
【0031】
<3.画像処理装置100の機能構成>
次に、本実施形態に係る画像処理機能を実現するための画像処理装置100の機能構成について図3及び図4を参照しながら説明する。図3は、画像処理装置100の画像処理機能に関する機能構成を示す図であり、図4は、画像処理装置100の画像処理機能を実行する際に用いられる眼部断層像の一例を示す図である。
【0032】
図3に示すように、画像処理装置100は、断層像取得部310、記憶部320、画像処理部330、合成表示部340、指示取得部350を備える。
【0033】
また、画像処理部330は、更に、眼部特徴取得部331、層指定部332、病変取得部333を備え、病変取得部333は、更に、関連性判定部333−1、治療可能性判定部333−2、治療優先度判定部333−3を備える。
【0034】
また、合成表示部340は、更に、画像合成部341、関連性表示部342、治療可能性表示部343、治療優先度表示部344を備える。
【0035】
以下、画像処理装置100を構成する各機能ブロックについて詳説する。
【0036】
(1)断層像取得部310
断層像取得部310は、眼部断層像撮像装置102に対して断層像の取得要求を送信する。また、当該取得要求に応じて、LAN103を介して眼部断層像撮像装置102より送信された断層像を受信し、記憶部320に格納する。
【0037】
(2)眼部特徴取得部331
眼部特徴取得部331は、記憶部320に格納された断層像から、眼部特徴として、内境界膜、視神経線維層境界、神経節細胞層境界、内網状層境界、外網状層境界、視細胞内節外節境界、網膜色素上皮境界、視神経乳頭部、中心窩を抽出する。そして、抽出した眼部特徴のうち、図4に示すように、内境界膜B1、内網状層境界B4、視細胞内節外節境界B5、網膜色素上皮境界B6及び中心窩F1を取得する。また、取得した各々の眼部特徴を記憶部320に格納する。
【0038】
ここで、眼部特徴取得部331による眼部特徴の抽出手順を具体的に説明する。はじめに、層の境界を抽出するための抽出手順について説明する。なお、ここでは処理対象である3次元断層像を2次元断層像(Bスキャン像)の集合と考え、各2次元断層像に対して以下の処理を行う。
【0039】
まず、着目する2次元断層像に平滑化処理を行い、ノイズ成分を除去する。次に2次元断層像からエッジ成分を検出し、その連結性に基づいて何本かの線分を層境界の候補として抽出する。
【0040】
そして、該抽出した候補から1番上の線分を内境界膜B1、上から2番目の線分を神経線維層境界B2、3番目の線分を内網状層境界B4として抽出する。また、内境界膜B1よりも外層側(図4(a)において、z座標が大きい側)にあるコントラスト最大の線分を視細胞内節外節境界B5として抽出する。さらに、該層境界候補群のうち一番下の線分を網膜色素上皮境界B6として抽出する。
【0041】
なお、これらの線分を初期値としてSnakesやレベルセット法等の可変形状モデルを適用し、更に精密抽出を行うように構成してもよい。また、グラフカット法により層の境界を抽出するように構成してもよい。
【0042】
なお、可変形状モデルやグラフカットを用いた境界抽出は、3次元断層像に対し3次元的に実行してもよいし、各々の2次元断層像に対し2次元的に実行してもよい。また、層の境界を抽出する方法は、眼部の断層像から層の境界を抽出可能な方法であれば、いずれの方法を用いてもよいことはいうまでもない。
【0043】
眼部断層像から層の境界を抽出した後は、更に、当該抽出した内境界膜B1の形状から陥凹の深い順に2か所の陥凹部を検出することにより、視神経乳頭部(不図示)及び中心窩F1を抽出する。ここではより陥凹の浅い方を中心窩F1として、陥凹の深い方を視神経乳頭部として抽出する。
【0044】
(3)層指定部332
層指定部332では、眼部断層像から所定の疾病に対応する主病変及び付随病変を検出するために指定する層の種類を決定する。病変を検出するために指定する層の種類は、診断対象とする疾病の種類によって決まる。本実施形態の場合、診断対象疾病が糖尿病網膜症、主病変が毛細血管瘤、付随病変が嚢胞であるため、毛細血管瘤MAiを検出するための層の種類として網膜血管Vが存在する網膜内層(図4(a)のP1)を指定する。また嚢胞Cjを検出するための層の種類として、漏出した血漿成分が蓄積される網膜外層(図4(b)のP2)を指定する。なお、網膜内層P1及び網膜外層P2を含む各層は、眼部特徴取得部331により取得された眼部特徴に基づいて予め特定されているものとする。
【0045】
(4)病変取得部333
病変取得部333は、眼部特徴取得部331により取得された眼部特徴の位置情報と、層指定部332により指定された層の種類の情報とに基づいて主病変及び付随病変の検出を行う。
【0046】
具体的には、層指定部332により指定された網膜内層から網膜血管Vを検出し、検出した網膜血管Vの直径を正常値と比較することにより、主病変として毛細血管瘤MAiを検出する。更に、層指定部332により指定された網膜外層から、付随病変として嚢胞Cjを検出する。
【0047】
更に、病変取得部333の関連性判定部333−1では、検出した毛細血管瘤MAiと嚢胞Cjとの距離に基づいて、病変同士の関連性を判定することで、治療必要度を判定する。更に、病変取得部333の治療可能性判定部333−2では、毛細血管瘤MAiと中心窩F1との距離に基づいて、毛細血管瘤MAiの治療の可否を判定する。更に、病変取得部333の治療優先度判定部333−3では、毛細血管瘤MAiに対して最短距離にある嚢胞Cjのサイズに基づいて、各毛細血管瘤MAiに対する治療優先度の値を設定する。なお、病変取得部333によるこれらの処理の詳細は、後述するものとする。
【0048】
(5)合成表示部340
合成表示部340は、病変取得部333において検出された網膜血管V及び毛細血管瘤MAiの分布、嚢胞Ciの分布、治療必要度についての情報、治療の可否についての情報、治療優先度の値を用いて、断層像に対する合成画像を生成する。なお、合成画像の生成処理の詳細については後述するものとする。
【0049】
(6)指示取得部350
指示取得部350は、画像処理装置100における画像処理の開始の指示や、被検眼についての画像処理の結果をデータサーバ101へ保存するための保存の指示、画像処理装置100による画像処理を終了するための終了の指示を取得する。当該指示は、例えば、キーボード206やマウス207を介して操作者により入力される。
【0050】
なお、保存の指示がなされた場合、画像処理部330及び合成表示部340では、検査日時、被検眼を同定する情報、断層像、眼部特徴及び合成画像を、相互に関連付けてデータサーバ101へ送信する。
【0051】
<4.画像処理装置100における画像処理の流れ>
次に、画像処理装置100における画像処理の流れについて、図5〜図7を用いて説明する。指示取得部350により画像処理の開始の指示が取得されると、画像処理装置100では図5に示す画像処理を開始する。
【0052】
(1)画像処理全体の流れ(図5)
ステップS501では、断層像取得部310が眼部断層像撮像装置102に対して断層像の取得要求を行うことで断層像を取得し、記憶部320に格納する。ステップS502では、眼部特徴取得部331が記憶部320に格納された断層像から、眼部特徴(内境界膜B1、内網状層境界B4、視細胞内節外節境界B5、網膜色素上皮境界B6及び中心窩F1)の位置情報を取得する。
【0053】
ステップS503では、層指定部332が診断対象とする疾病の種類に応じた層の種類を指定する。ステップS504では、病変取得部333が、ステップS502において眼部特徴取得部331により取得された眼部特徴の位置情報と、ステップS503において層指定部332により指定された層の種類とに基づいて、主病変及び付随病変を検出する。
【0054】
ステップS505では、合成表示部340が、ステップS504において検出された主病変及び付随病変を用いて合成画像を生成し、表示する。ステップS506では、指示取得部350が、画像処理の結果をデータサーバ101へ保存するための保存の指示を取得したか否かを判定し、取得したと判定した場合には、ステップS507に進む。
【0055】
ステップS507では、画像処理部330及び合成表示部340が、画像処理の結果をデータサーバ101に送信し、ステップS508に進む。一方、ステップS506において、保存の指示が取得されなかったと判定した場合には、直接、ステップS508に進む。
【0056】
ステップS508では、指示取得部350が、画像処理の終了の指示を取得したか否かを判定し、取得していないと判定した場合には、ステップS501に戻り、次の被検眼に対する画像処理(または同一の被検眼に対する再画像処理)を実行する。一方、ステップS508において、画像処理の終了の指示を取得したと判定した場合には、画像処理を終了する。
【0057】
(2)病変取得処理の流れ(図6)
次に、病変取得部333において実行される病変取得処理(ステップS504)の詳細について図6を用いて説明する。
【0058】
ステップS601では、病変取得部333が、層指定部332において指定された層のうち、網膜内層P1から網膜血管Vを検出する。具体的には、網膜内層P1に限定して深度方向に画素値を積算することで投影像を生成し、生成した投影像から任意の公知の線強調フィルタを用いることで、網膜血管Vを検出する。
【0059】
なお、ここでは平面投影像から網膜血管Vを検出する手法について述べたが、血管検出法はこれに限られない。例えば、関心領域(Region of Interest:ROI)を網膜内層P1に設定した上で、投影像を生成せずに非特許文献1に示す手法を用いて3次元的に網膜血管Vを検出するようにしてよい。
【0060】
ステップS602では、病変取得部333が、ステップS601で検出された網膜血管Vの直径を計測する。具体的には、網膜血管領域を細線化して得られる血管の中心軸に対して直交する方向の距離を網膜血管Vの直径として計測する。
【0061】
ステップS603では、病変取得部333が、ステップS602で計測された網膜血管Vの直径と、あらかじめ記憶部320に読み出された網膜血管の直径の正常値とを比較する。そして、計測された網膜血管Vの直径が正常値よりTvd%以上大きい場合には、毛細血管瘤MAi(i=1,2,・・・,n1)と判定し、その発生位置(xi,yi)と網膜血管Vの直径Tdiとを記憶部320に格納する。なお、網膜血管Vの直径の計測法はこれに限られず、任意の公知の計測法を用いるように構成してもよい。
【0062】
ステップS604では、病変取得部333が、ステップS503で指定された網膜外層P2から嚢胞Cj(j=1,2・・・,n2)を検出する。具体的には網膜外層P2に限定して深度方向に画素値を積算することで投影像を生成する。そして、生成した投影像から、輝度値がTg以下の画素をラべリングし、面積がTa以上で円形度がTc以上の低輝度領域を嚢胞Cjとして検出する。
【0063】
ステップS604では、更に、付随病変のサイズを示す情報として、検出した嚢胞Cjの面積Tajを計測する。
【0064】
なお、嚢胞Cjの検出法はこれに限られない。例えば、網膜外層P2を関心領域(ROI)に設定した上で、投影像を生成せずに3次元的にTg以下の輝度値を持つ画素をラべリングし、体積がTv以上で球形度がTs以上の値を持つ低輝度領域を嚢胞Cjとして検出するようにしてもよい。この場合、嚢胞Cjのサイズを示す情報として、体積Tvjが計測されることとなる。
【0065】
図6に戻る。ステップS605では、関連性判定部333−1が、ステップS603において取得された毛細血管瘤MAiと、ステップS604において検出された嚢胞Cjとの間の距離LDi(病変間の距離)を計測する。更に、最短距離minLDiの組み合わせ(MAi,Cj)のうちminLDiが閾値以下(閾値=Tmin)のものを主病変、付随病変の組み合わせとして判定する。ここで、対応する付随病変を持たない毛細血管瘤MAiの最短距離は0としておく。
【0066】
ステップS606では、治療可能性判定部333−2が、各毛細血管瘤MAiと中心窩F1との距離FDiを計算し、距離FDiが所定の距離以下(閾値=Tf)の毛細血管瘤MAiには治療可能ラベルLiを0に設定する。ここで、毛細血管瘤MAiが治療(レーザ照射)可能な領域内に存在する場合にはLiを1に、治療(レーザ照射)不可能な領域内に存在する場合にはLiを0に設定する。なお、治療可能ラベルLiが1に設定された毛細血管瘤MAiの総数をn3とする。
【0067】
更に、ステップS606では、治療可能ラベルLiが1に設定された毛細血管瘤MAiに対して、治療優先度判定部333−3が、治療優先度Pi(1≦i≦n3)を算出する。具体的には、ステップS604で算出した嚢胞Cjの面積Taj(または体積Tvj)に基づいて嚢胞Cjをソートし、Taj(Tvj)が大きいものほど治療優先度Piが高くなるように設定する。
【0068】
(3)合成画像の生成処理の流れ(図7)
次に、合成表示部340において実行される合成画像生成処理(ステップS505)の詳細について図7を用いて説明する。
【0069】
ステップS701では、合成表示部340が、画像処理部330より中心窩F1の位置、網膜血管V及び毛細血管瘤MAiの分布、嚢胞Cjの分布、毛細血管瘤MAiに対する治療可能ラベルLi、治療優先度Piの値を取得する。
【0070】
ステップS702では、画像合成部341が、ステップS701で取得された網膜血管V、毛細血管瘤MAi、嚢胞Cjの分布、中心窩F1の位置、治療可能範囲の境界(中心窩F1を中心とした直径1mmの円)を断層像から生成した所定の眼底像に重畳する。また、これにより生成された合成画像を表示する。
【0071】
また、関連性表示部342が、ステップS605において関連性があると判定された主病変(毛細血管瘤MAi)と付随病変(嚢胞Cj)の組み合わせに対しては、毛細血管瘤MAiから嚢胞Cjに対して関連性があることを識別可能な態様により表示する。本実施形態では、ステップS702にて生成された合成画像上の毛細血管瘤MAiから嚢胞Cjに対して矢印を表示する。
【0072】
なお、関連性の表示法はこれに限られず、関連性があることを識別可能な表示法であれば任意の手法を用いてもよい。例えば、関連性があると判定された毛細血管瘤MAiと嚢胞Cjを囲む枠線を表示するようにしてもよい。あるいは、操作者がマウスカーソルを毛細血管瘤MAiの近くに移動させた場合にのみ関連性を示す情報を表示するように構成してもよい。
【0073】
ステップS703では、治療可能性表示部343が、ステップS606で算出された毛細血管瘤MAiに対する治療可能ラベルLiに基づいて、治療可能ラベルLiが0であるような毛細血管瘤MAiを他の毛細血管瘤と異なる態様(色)で表示する。本実施形態では網膜血管V及びLi=1であるような毛細血管瘤MAiを赤色で、Li=0であるような毛細血管瘤MAiを灰色で表示する。
【0074】
なお、治療可能性の表示態様はこれに限定されない。例えば、治療可能ラベルLiが0であるような毛細血管瘤MAiの横に×印を表示するように構成してもよい。あるいは、操作者がマウスカーソルを毛細血管瘤MAiの近くに移動させた場合にのみ、治療可能性を示す情報を表示するように構成してもよい。あるいは、治療可能範囲の境界付近にある毛細血管瘤MAiに対して精査が必要であるという意味で強調表示したり、中心窩F1からの距離を毛細血管瘤MAiの近傍に表示するように構成してもよい。
【0075】
ステップS704では、治療優先度表示部344が、ステップS606で算出された治療優先度Piを合成画像中に表示する。本実施形態では、毛細血管瘤MAiの近傍に治療優先度Piの値を表示する。
【0076】
なお、治療優先度Piの表示態様はこれに限定されない。例えば、治療優先度の大きさとカラーバーを対応付けておき、合成画像中の毛細血管瘤MAiを治療優先度を示す色でカラー表示するように構成してもよい。あるいは、操作者がマウスカーソルを毛細血管瘤MAiの近くに動かした場合にのみ、治療優先度を示す情報を表示するように構成してもよい。あるいは、治療優先度が一定値Tpより高いもののみを合成画像中に治療優先度を示す情報として表示するように構成してもよい。
【0077】
<5.合成画像の一例>
次に、画像処理装置100における合成画像生成処理により生成された合成画像について説明する。図8は、画像処理装置100における合成画像生成処理により生成された合成画像の一例を示す図である。
【0078】
図8に示すように、画像処理装置100により生成された合成画像では、網膜内層P1から検出された主病変と、網膜外層P2から検出された付随病変とが合成して表示される。これにより、毛細血管瘤からの血漿成分の漏出の有無、主病変に対する治療の優先度等を、操作者が容易に把握することが可能となる。
【0079】
また、中心窩F1の位置も同時に表示されるため、毛細血管瘤MA1がレーザ治療可能範囲内にあるか否か(主病変に対する治療の可否)を、操作者は容易に把握することができる。
【0080】
以上の説明から明らかなように、本実施形態に係る画像処理装置100によれば、複数の層に存在する病変同士の関連性を、操作者が容易に把握できるようになる。
【0081】
[第2の実施形態]
上記第1の実施形態では、診断対象疾病が糖尿病網膜症、主病変が毛細血管瘤、付随病変が嚢胞である場合に、所定の断層像について合成画像を生成する構成について説明したが、本発明はこれに限定されない。
【0082】
例えば、緑内障などのように、複数の層にまたがって走行する細胞の異なる部位(細胞核と軸索)に病変が存在する場合には、これらの病変同士の関連性を操作者が容易に把握できるように構成することが重要となってくる。
【0083】
本実施形態では、緑内障等の疾病のこのような特性を考慮し、神経節細胞の細胞核部分が含まれる層の厚みを示す画像と、軸索部分が含まれる層の厚みを示す画像と、神経線維走行を示す画像とを合成した合成画像を表示するよう構成する。かかる構成とすることで、操作者は、異なる層に存在する病変が同一の細胞もしくは組織に生じているか否かを容易に把握することが可能となる。
【0084】
緑内障を例として具体的に説明すると、緑内障の場合、一般に、神経節細胞は、細胞核が神経節細胞層L2に、軸索が神経線維層L1に存在しており、疾病の早期には神経節細胞の細胞核の障害が軸索の障害に先行して発生する。このため、例えば、神経線維層L1の菲薄化が検出された場合には、当該菲薄化領域を走行する神経節細胞の細胞核が含まれる領域(神経節細胞層L2)にも形状異常(菲薄化)が生じていると考えられる。
【0085】
そこで、本実施形態では、眼部断層像から層厚等の組織形状を計測して異常が検出された際に、黄斑部の神経節細胞層厚分布と、視神経乳頭部の神経線維層厚分布と、眼底内の神経線維走行を示す図とを重畳させた合成画像を表示する構成とする。このような構成とすることにより、神経線維層L1に存在する病変(層の菲薄化)を走行する神経線維が神経節細胞層L2の病変(層の菲薄化)を通過しているかを確認することが容易となるからである。この結果、操作者は、神経節細胞の細胞核の障害を検出したのか、ノイズ等を誤検出したのかを容易に判断することができるようになり、病変検出結果の信頼性を向上させることが可能となる。
【0086】
以下、本実施形態に係る画像処理装置900について、上記第1の実施形態に係る画像処理装置100との相違点を中心に説明する。
【0087】
なお、以下の説明では、診断対象疾病が緑内障の場合について説明する。
【0088】
また、以下の説明では、神経節細胞の細胞核部分の障害(菲薄化病変)の程度を表す値として神経節細胞層L2の層厚もしくは該層厚の正常値との差分に関する統計値(deviation)を用いることとする。ただし、本発明はこれに限定されず、例えば、GCC(Ganglion Cell Complex)の層厚もしくは該層厚のdeviationを用いてもよい。
【0089】
<1.画像処理装置900の機能構成>
はじめに、本実施形態に係る画像処理装置900の機能構成について図9及び図10を用いて説明する。図9は、本実施形態に係る画像処理装置900の機能構成を示す図である。また、図10は、画像処理装置900の画像処理機能を実行する際に用いられる眼部断層像の一例を示す図である。
【0090】
(1)断層像取得部310
断層像取得部310は、眼部断層像撮像装置102に対して断層像の取得要求を送信する。なお、本実施形態で取得される断層像は、黄斑部及び視神経乳頭部を含む断層像であるとする。取得した断層像は記憶部320に格納する。
【0091】
(2)眼部特徴取得部931
眼部特徴取得部931は、記憶部320に格納された断層像から、眼部特徴として内境界膜B1、神経線維層境界B2、神経節細胞層境界B3、内網状層境界B4、視細胞内節外節境界B5、網膜色素上皮境界B6、及び中心窩F1を抽出する(図10参照)。
【0092】
また、視神経乳頭部D1の中心位置及び視神経乳頭部における網膜色素上皮境界B6の端部(RPE tip)の位置を抽出する。なお、網膜色素上皮境界B6の端部の位置は各Bスキャン像に対して求められるものとする。
【0093】
なお、各層境界B1、B2、B4〜B6及び中心窩F1、視神経乳頭部D1の抽出方法は、上記第1の実施形態において説明した抽出方法と同様であるため、ここでは神経節細胞層境界B3の抽出方法について説明する。
【0094】
即ち、神経線維層境界B2と内網状層境界B4を取得した後、双方の境界で囲まれる領域内の各点(x,y)において、局所領域を設定して画素値の分散を求める。そして当該分散が最大となる局所領域内に層境界が存在すると判定し、その境界位置をx軸及びy軸方向に接続することで神経節細胞層境界B3を抽出する(図10参照)。なお、このようにして抽出したそれぞれの眼部特徴は、記憶部320に格納される。
【0095】
更に、眼部特徴取得部931は、神経節細胞の眼底内の走行(図10におけるx−y平面に投影した神経節細胞の走行)を示す情報Nk(k=1,2・・・,n)を記憶部320から取得する。この眼底内の神経節細胞の走行情報は、例えば走査型レーザ検眼鏡(Scanning Laser Ophthalmoscope;SLO)のred−Freeモードで撮像したSLO像から取得することができる。本実施形態では、あらかじめ複数の健常眼に対してred−Freeモードで撮影したSLO像に基づいて生成された平均的な神経線維走行を示す曲線群Nk(k=1,2,・・・n)が記憶部320に保存されているものとする。
【0096】
なお、神経線維走行情報の取得方法はこれに限定されない。例えば、画像処理装置100に表面像取得部(不図示)を配し、表面像取得部から眼部断層像と同一被検者のSLO像(red−free)を取得して記憶部320に格納しておき、当該格納したSLO像を取得するようにしてもよい。
【0097】
(3)層指定部932
層指定部932は、第1の層として神経線維層L1を指定し、第2の層として神経節細胞層L2を指定する。なお、神経線維層L1は神経節細胞層L2の軸索部分が集合して形成される層であり、神経節細胞層L2は神経節細胞の細胞核部分が集合して形成される層である。
【0098】
(4)病変取得部933
病変取得部933は、眼部特徴取得部931により取得された眼部特徴に基づいて、神経線維層厚及び神経節細胞層厚を計測する。また、計測した神経線維層厚及び神経節細胞層厚を各々の正常値と比較することで、菲薄化領域を検出する。更に、関連性判定部933−1が、検出した菲薄化領域と、眼部特徴取得部931により取得された組織構造(神経線維走行)情報との関連性を判定する。なお、病変取得部933によるこれらの処理の詳細は、後述する。
【0099】
(5)合成表示部940
合成表示部940は、病変取得部933から組織構造(神経線維走行)情報、神経線維層L1の層厚分布及び神経節細胞層L2の層厚分布を取得する。また、神経線維層L1の病変である菲薄化領域NFi及び神経節細胞層L2の病変である菲薄化領域GCj、各菲薄化領域の検出信頼度DRiを取得する。そして、これらの情報を用いて、SLO像について合成画像を生成する。なお、合成画像の生成処理の詳細は後述する。
【0100】
<2.画像処理装置900における画像処理の流れ>
(1)病変取得処理の流れ(図11)
次に、病変取得部933において実行される病変取得処理(ステップS504)の詳細について図11を用いて説明する。
【0101】
ステップS1101では、病変取得部933が、眼部特徴取得部931が取得した層境界、中心窩F1や視神経乳頭部D1の位置、組織構造(神経線維走行)情報、及び記憶部320に格納された各層厚に関する正常値をそれぞれ取得する。
【0102】
ステップS1102では、ステップS1001で取得した層境界に基づいて、眼底内の各点(x,y)について神経線維層厚及び神経節細胞層厚を計測する。ただし、中心窩F1を中心とした直径1mmの範囲内及び視神経乳頭部のDisc境界の内部は神経線維層厚及び神経節細胞層厚とも計測を行わない。
【0103】
なお、Disc境界の位置は、本実施形態では以下のようにして設定する。すなわち、取得した網膜色素上皮境界B6の端部を各Bスキャン像(画像番号i)内で接続した線Aiを求める。そして、線Aiに関して直交する方向に閾値Thだけ内層側に移動させた場合の線Ai’と内境界膜B1との交点E1i、E2iを各Bスキャン像に対して求める。得られた交点の集合{E1i,E2i}をx−y平面内で滑らかに接続したものをDisc境界とする。
【0104】
図11に戻る。ステップS1103では、神経線維層厚及び神経節細胞層厚を各々の正常値(一定の範囲を持つ値)と比較する。そして、正常値よりも薄い場合に、神経線維層L1の菲薄化領域NFi及び神経節細胞層L2の菲薄化領域GCjと判定し、それぞれを検出する。
【0105】
ステップS1004では、関連性判定部933−1が、眼部特徴取得部931により取得された組織構造(神経線維走行)情報に基づいて、病変取得部933により取得された菲薄化領域NFiと菲薄化領域GCjとの関連性を判定する。すなわち、神経線維層L1の菲薄化領域NFi及び神経節細胞層L2の菲薄化領域GCjが同一の神経線維走行上(Nk上)に存在するかどうかを判定する。
【0106】
判定にあたっては、まず組織構造(神経線維走行)情報Nk(x,y)の座標系と、病変分布NFi(x,y)及びGCj(x,y)の座標系とを以下のようにして位置合わせする。すなわち、各々の座標系において中心窩F1の位置及び視神経乳頭部D1の位置が既に求められているので、この2点が同一の位置となるように合成位置合わせの並進(x,y)及び回転パラメータを求める。なお、本実施形態では、SLO像及び断層像を取得する際の撮像条件を揃えているため、組織構造情報及び病変分布の画素サイズはあらかじめ同一に設定されている。
【0107】
病変取得部933では、更に、位置合わせの結果求められた位置合わせパラメータの値に基づいて組織構造(神経線維走行)情報及び病変分布を重ね合わせる。
【0108】
さらに、各神経線維走行Nk上に存在する神経線維層L1の菲薄化領域NFiを求め、神経線維走行Nk上に菲薄化領域NFiが存在する場合には、同一のNk上に菲薄化領域GCjが存在するか否かを調べる。もし、同一のNk上に神経線維層L1の菲薄化領域NFiと神経節細胞層L2の菲薄化領域GCjが存在する場合には、同一の神経節細胞が障害を受けている可能性が高い。このため、神経線維層L1の菲薄化領域NFiの検出信頼度DRiを1に設定する。
【0109】
なお、神経線維層L1の菲薄化領域NFiの検出信頼度DRiの設定法はこれに限定されない。例えば、上記のようにDRiを2値(0または1)データとするのではなく、菲薄化領域NFiと菲薄化領域GCiをともに通過するNkの本数に比例して高く設定できるよう多値データとしてもよい。
【0110】
(2)合成画像生成処理の流れ(図12)
次に、合成表示部940において実行される合成画像生成処理(ステップS505)の詳細について図12を用いて説明する。
【0111】
ステップS1201では、合成表示部940が、ステップS1101で取得された組織構造(神経線維走行)情報と、ステップS1102で取得された神経線維層L1の層厚分布及び神経節細胞層L2の層厚分布とを画像処理部330から取得する。更に、ステップS1103で取得された神経線維層L1の菲薄化領域NFi及び神経節細胞層L2の菲薄化領域GCjと、ステップS1104で取得された各菲薄化領域NFiの検出信頼度DRiとを画像処理部330から取得する。
【0112】
ステップS1202では、組織構造表示部943が、ステップS1201で取得された組織構造(神経線維走行)情報をモニタ205上に表示する。
【0113】
ステップS1203では、画像合成部341が、ステップS1202で表示された組織構造(神経線維走行)情報に対して以下の情報を表示する。即ち、視神経乳頭部D1を中心とした直径R1内の領域上には、神経線維層厚のDeviationマップ及び神経線維層の菲薄化領域NFiを半透明で合成表示する。また、それ以外の領域上には神経節細胞層厚のDeviationマップ及び神経節細胞層の菲薄化領域GCjを半透明で合成表示する。また、視神経乳頭部における標準的な神経線維層厚計測位置(視神経乳頭部D1を中心とした直径3.45mmの円周上の位置M1)も参考に表示しておく。
【0114】
なお、合成表示の態様はこれに限定されない。例えば、合成表示された画像上の菲薄化領域NFiの近傍にステップS1104で取得された菲薄化領域NFiに対する検出信頼度DRiを表示するようにしてもよい。あるいは合成画像の全面に組織構造(神経線維走行)情報を表示するのではなく、菲薄化領域NFiもしくは菲薄化領域GCjを通過する神経線維走行Nkのみを表示するように構成してもよい。あるいは、常に組織構造情報や検出信頼度を表示するのではなく、マウスカーソルで指定した箇所にのみ組織構造情報や検出信頼度DRiを表示するように構成してもよい。
【0115】
<3.合成画像の一例>
次に、画像処理装置900における合成画像生成処理により生成された合成画像について説明する。図13は、画像処理装置900における合成画像生成処理により生成された合成画像の一例を示す図である。
【0116】
図13に示すように、画像処理装置900により生成された合成画像では、黄斑部の神経節細胞層L2の菲薄化領域および神経乳頭部の神経線維層L1の菲薄化領域が、神経線維走行を示す情報に合成して表示される。これにより、異なる層に存在する緑内障の病変である菲薄化領域が同一の細胞もしくは組織であるか否かを、操作者は容易に把握することが可能となる。
【0117】
以上の説明から明らかなように、本実施形態に係る画像処理装置900によれば、複数の層に存在する病変同士の関連性を、操作者が容易に把握できるようになる。
【0118】
[他の実施形態]
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
【特許請求の範囲】
【請求項1】
眼部の断層像を画像処理する画像処理装置であって、
前記断層像の解剖学的な特徴である眼部特徴を取得する眼部特徴取得手段と、
前記眼部特徴取得手段により取得された眼部特徴により特定される複数の層の中から、所定の種類の疾病に対応する病変を検出するための層を少なくとも2つ指定する指定手段と、
前記指定手段により指定された層それぞれから、前記所定の種類の疾病に対応する病変を検出する病変取得手段と、
前記病変取得手段により前記層それぞれから検出された病変を、所定の2次元の画像上に投影することで、合成画像を生成する生成手段と、
前記生成手段により生成された合成画像を表示する表示手段と
を備えることを特徴とする画像処理装置。
【請求項2】
前記層それぞれから検出された病変間の距離が、所定の閾値以下であった場合に、前記表示手段は、当該病変を、互いに関連性があることを識別可能な態様により表示することを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記層のうち、第1の層から検出された病変が、前記取得された眼部特徴に対して、所定の距離以下に存在していた場合に、前記表示手段は、該所定の距離以下に存在することを識別可能な態様により、該第1の層から検出された病変を表示することを特徴とする請求項2に記載の画像処理装置。
【請求項4】
前記表示手段は、前記層のうち、第2の層から検出された病変を、該病変のサイズに応じた態様により表示することを特徴とする請求項3に記載の画像処理装置。
【請求項5】
前記疾病は、糖尿病網膜症であり、前記病変は、網膜内層から検出される毛細血管瘤と、網膜外層から検出される嚢胞であることを特徴とする請求項4に記載の画像処理装置。
【請求項6】
前記2次元の画像は、眼部の神経線維走行を示す画像であり、前記表示手段は、前記層それぞれから検出された病変が、該2次元の画像上において、同一の神経線維走行上に存在していた場合に、当該病変を、互いに関連性があることを識別可能な態様により表示することを特徴とする請求項1に記載の画像処理装置。
【請求項7】
前記疾病は、緑内障であり、前記病変は、神経線維層の菲薄化領域と、神経節細胞層の菲薄化領域であることを特徴とする請求項6に記載の画像処理装置。
【請求項8】
眼部の断層像を画像処理する画像処理装置における画像処理方法であって、
眼部特徴取得手段が、前記断層像の解剖学的な特徴である眼部特徴を取得する眼部特徴取得工程と、
指定手段が、前記眼部特徴取得工程において取得された眼部特徴により特定される複数の層の中から、所定の種類の疾病に対応する病変を検出するための層を少なくとも2つ指定する指定工程と、
病変取得手段が、前記指定工程において指定された層それぞれから、前記所定の種類の疾病に対応する病変を検出する病変取得工程と、
生成手段が、前記病変取得工程において前記層それぞれから検出された病変を、所定の2次元の画像上に投影することで、合成画像を生成する生成工程と、
表示手段が、前記生成工程において生成された合成画像を表示する表示工程と
を備えることを特徴とする画像処理方法。
【請求項9】
眼部の断層像を画像処理する画像処理装置のコンピュータに、
前記断層像の解剖学的な特徴である眼部特徴を取得する眼部特徴取得工程と、
前記眼部特徴取得工程において取得された眼部特徴により特定される複数の層の中から、所定の種類の疾病に対応する病変を検出するための層を少なくとも2つ指定する指定工程と、
前記指定工程において指定された層それぞれから、前記所定の種類の疾病に対応する病変を検出する病変取得工程と、
前記病変取得工程において前記層それぞれから検出された病変を、所定の2次元の画像上に投影することで、合成画像を生成する生成工程と、
前記生成工程において生成された合成画像を表示する表示工程と
を実行させるためのプログラム。
【請求項1】
眼部の断層像を画像処理する画像処理装置であって、
前記断層像の解剖学的な特徴である眼部特徴を取得する眼部特徴取得手段と、
前記眼部特徴取得手段により取得された眼部特徴により特定される複数の層の中から、所定の種類の疾病に対応する病変を検出するための層を少なくとも2つ指定する指定手段と、
前記指定手段により指定された層それぞれから、前記所定の種類の疾病に対応する病変を検出する病変取得手段と、
前記病変取得手段により前記層それぞれから検出された病変を、所定の2次元の画像上に投影することで、合成画像を生成する生成手段と、
前記生成手段により生成された合成画像を表示する表示手段と
を備えることを特徴とする画像処理装置。
【請求項2】
前記層それぞれから検出された病変間の距離が、所定の閾値以下であった場合に、前記表示手段は、当該病変を、互いに関連性があることを識別可能な態様により表示することを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記層のうち、第1の層から検出された病変が、前記取得された眼部特徴に対して、所定の距離以下に存在していた場合に、前記表示手段は、該所定の距離以下に存在することを識別可能な態様により、該第1の層から検出された病変を表示することを特徴とする請求項2に記載の画像処理装置。
【請求項4】
前記表示手段は、前記層のうち、第2の層から検出された病変を、該病変のサイズに応じた態様により表示することを特徴とする請求項3に記載の画像処理装置。
【請求項5】
前記疾病は、糖尿病網膜症であり、前記病変は、網膜内層から検出される毛細血管瘤と、網膜外層から検出される嚢胞であることを特徴とする請求項4に記載の画像処理装置。
【請求項6】
前記2次元の画像は、眼部の神経線維走行を示す画像であり、前記表示手段は、前記層それぞれから検出された病変が、該2次元の画像上において、同一の神経線維走行上に存在していた場合に、当該病変を、互いに関連性があることを識別可能な態様により表示することを特徴とする請求項1に記載の画像処理装置。
【請求項7】
前記疾病は、緑内障であり、前記病変は、神経線維層の菲薄化領域と、神経節細胞層の菲薄化領域であることを特徴とする請求項6に記載の画像処理装置。
【請求項8】
眼部の断層像を画像処理する画像処理装置における画像処理方法であって、
眼部特徴取得手段が、前記断層像の解剖学的な特徴である眼部特徴を取得する眼部特徴取得工程と、
指定手段が、前記眼部特徴取得工程において取得された眼部特徴により特定される複数の層の中から、所定の種類の疾病に対応する病変を検出するための層を少なくとも2つ指定する指定工程と、
病変取得手段が、前記指定工程において指定された層それぞれから、前記所定の種類の疾病に対応する病変を検出する病変取得工程と、
生成手段が、前記病変取得工程において前記層それぞれから検出された病変を、所定の2次元の画像上に投影することで、合成画像を生成する生成工程と、
表示手段が、前記生成工程において生成された合成画像を表示する表示工程と
を備えることを特徴とする画像処理方法。
【請求項9】
眼部の断層像を画像処理する画像処理装置のコンピュータに、
前記断層像の解剖学的な特徴である眼部特徴を取得する眼部特徴取得工程と、
前記眼部特徴取得工程において取得された眼部特徴により特定される複数の層の中から、所定の種類の疾病に対応する病変を検出するための層を少なくとも2つ指定する指定工程と、
前記指定工程において指定された層それぞれから、前記所定の種類の疾病に対応する病変を検出する病変取得工程と、
前記病変取得工程において前記層それぞれから検出された病変を、所定の2次元の画像上に投影することで、合成画像を生成する生成工程と、
前記生成工程において生成された合成画像を表示する表示工程と
を実行させるためのプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【公開番号】特開2012−110373(P2012−110373A)
【公開日】平成24年6月14日(2012.6.14)
【国際特許分類】
【出願番号】特願2010−259519(P2010−259519)
【出願日】平成22年11月19日(2010.11.19)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
【公開日】平成24年6月14日(2012.6.14)
【国際特許分類】
【出願日】平成22年11月19日(2010.11.19)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
[ Back to top ]