画像処理装置及び画像処理方法
【課題】被写体を構成する層の正常構造を精度良く推定する仕組みを提供する。
【解決手段】被写体である眼部の眼底の断層画像から層を検出する層検出部221と、層検出部221で検出された層の形状に基づいて眼底の深さ方向に凸な曲線を求める正常構造推定部222と、層検出部221で検出された層と正常構造推定部222で求められた曲線との差異を定量化する定量化部223を具備する。
【解決手段】被写体である眼部の眼底の断層画像から層を検出する層検出部221と、層検出部221で検出された層の形状に基づいて眼底の深さ方向に凸な曲線を求める正常構造推定部222と、層検出部221で検出された層と正常構造推定部222で求められた曲線との差異を定量化する定量化部223を具備する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、被写体の断層画像の処理を行う画像処理装置及び画像処理方法、当該画像処理方法をコンピュータに実行させるためのプログラムに関するものである。
【背景技術】
【0002】
生活習慣病や失明原因の上位を占める各種疾病の早期診断を目的として、従来、被写体として眼部の撮影による検査が広く行われている。例えば光干渉断層計(Optical Coherence Tomography:以下「OCT」と称する)などを用いた眼部の断層画像取得装置は、眼部の網膜層内部の状態を3次元的に観察することが可能である。このため、この断層画像取得装置は、疾病の診断をより的確に行うために有用であると期待されている。
【0003】
OCTを用いて得られた眼部の断層像(断層画像)において、眼部における神経線維層などの網膜の各層の厚みや網膜層全体の厚みを計測できれば、緑内障、加齢黄斑変性、黄斑浮腫などの疾病の進行度や治療後の回復具合を定量的に診断することが可能となる。従来、これらの層の厚みを計測するためには、3次元的に撮像される断層画像から注目断面を切り出した2次元断層画像(B−scan画像)上において、医師や技師が手動で網膜の各層の境界を指定する必要があった。また、層の厚みの3次元的な分布を得るためには、3次元断層画像を幾つかの2次元断層画像の集合と捉えて、それぞれの2次元断層画像上において注目する層の境界を指定する必要があった。
【0004】
しかしながら、層の境界を手動で指定する作業は、医師や技師の作業者にとって負担の掛かるものであった。また、層の境界を手動で指定する作業は、その作業者や作業日時の相違に起因するばらつきが発生するため、期待する精度で定量化を行うことが難しかった。この作業者の負担や作業におけるばらつきの軽減を目的として、コンピュータが断層画像から網膜の各層の境界を検出して、各層の厚みを計測する技術が提案されている(例えば、下記の特許文献1及び特許文献2参照)。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2008−73099号公報
【特許文献2】特開2007−325831号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
ここで、加齢黄斑変性のような疾病においては、病状に応じて網膜色素上皮層の形状が凹凸に変形する。そのため、その変形の度合いを定量化することが病状の把握に有効である。このとき、疾病になる前の正常時であれば網膜色素上皮層が存在したであろう境界の位置を、正常構造として推定することが求められる。従来、この作業も医師や技師の手作業によって行われることが多く、その負担やその結果のばらつきが課題となっている。そのため、断層画像からの網膜色素上皮層境界の検出と、その正常構造の推定を自動化することが求められている。
しかしながら、断層画像上の画像特徴としては観測できないので、特許文献1や特許文献2の技術では、その正常構造を推定することができない。
【0007】
本発明は、このような問題点に鑑みてなされたものであり、被写体を構成する層の正常構造を精度良く推定する仕組みを提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明の画像処理装置は、眼部の眼底の断層画像から層を検出する層検出手段と、前記層の形状に基づいて、前記眼底の深さ方向に凸な曲線を求める演算手段と、前記層と前記曲線との差異を定量化する定量化手段と、を有する。
【0009】
本発明の画像処理方法は、眼部の眼底の断層画像から層を検出する工程と、前記層の形状に基づいて、前記眼底の深さ方向に凸な曲線を求める工程と、前記層と前記曲線との差異を定量化する工程と、を有する。
【0010】
本発明のプログラムは、前記画像処理方法の各工程をコンピュータに実行させるためのものである。
【発明の効果】
【0011】
本発明によれば、被写体を構成する層の正常構造を精度良く推定することができる。これにより、被写体における疾病の進行度や治療後の回復具合等を定量化することが可能となる。
【図面の簡単な説明】
【0012】
【図1】本発明の第1の実施形態に係る画像処理システムの概略構成(ハードウェア構成)の一例を示す模式図である。
【図2】本発明の第1の実施形態に係る画像処理装置の機能構成の一例を示す模式図である。
【図3】図2に示す画像処理部に入力される断層画像の一例を示す模式図である。
【図4】本発明の第1の実施形態に係る画像処理装置の制御方法の処理手順の一例を示すフローチャートである。
【図5】本発明の第1の実施形態を示し、断層画像に含まれる層の正常構造の推定を説明するための模式図である。
【図6】本発明の第1の実施形態を示し、断層画像に含まれる層の正常構造の推定する際に利用する重み関数の一例を示す模式図である。
【図7】本発明の第1の実施形態を示し、断層画像の平面化処理を説明するための模式図である。
【図8】本発明の第1の実施形態を示し、図1に示す画像処理装置によって得られた画像処理結果の表示例を示す模式図である。
【図9】本発明の第2の実施形態に係る画像処理システムの概略構成(ハードウェア構成)の一例を示す模式図である。
【図10】本発明の第2の実施形態に係る画像処理装置の機能構成の一例を示す模式図である。
【図11】本発明の第2の実施形態に係る画像処理装置の制御方法の処理手順の一例を示すフローチャートである。
【図12】本発明の第2の実施形態を示し、断層画像に含まれる層の境界の表示例を示す模式図である。
【図13】本発明の第3の実施形態を示し、断層画像に含まれる層の正常構造の推定を説明するための模式図である。
【図14】一般的な網膜の層構造の一例を示す模式図である。
【発明を実施するための形態】
【0013】
以下に、図面を参照しながら、本発明を実施するための形態(実施形態)について説明する。なお、以下に示す実施形態は、一例に過ぎず、本発明は、図示された構成等に限定されるものではない。また、以下の本明細書においては、網膜色素上皮層と、その上部或いは下部の層との境界を、「網膜色素上皮層境界」、または、単に「層境界」と称する。また、疾病になる前の正常時であれば同層境界が存在したであろう境界の推定位置を、「網膜色素上皮層境界の正常構造」、または、単に「正常構造」と称する。
【0014】
(第1の実施形態)
まず、本発明の第1の実施形態について説明する。
図1は、本発明の第1の実施形態に係る画像処理システム100の概略構成(ハードウェア構成)の一例を示す模式図である。
【0015】
図1に示すように、本実施形態に係る画像処理システム100は、画像処理装置110と、断層画像撮像装置120と、ローカルエリアネットワーク(LAN)130を有して構成されている。ここで、以下の説明においては、図1に示す画像処理装置110を、「画像処理装置110−1」とする。即ち、図1に示す画像処理システム100は、画像処理装置110−1が、LAN130を介して、断層画像撮像装置120に接続される構成となっている。
【0016】
本実施形態に係る画像処理装置110−1は、例えば、断層画像撮像装置120で撮像された被写体(本例では眼部)の断層画像から、眼部を構成する網膜色素上皮層境界などの層境界を検出する。そして、画像処理装置110−1は、例えば、加齢黄斑変性等の疾病によって層の形状が凹凸に変形するという特徴に基づいて、当該網膜色素上皮層等の正常構造を推定し、疾病の定量化を行うものである。なお、本実施形態では、被写体の一例として、眼部を適用する例を示すが、本発明においては、これに限定されるものではなく、断層画像として撮像対象になるものであれば適用可能である。
【0017】
この画像処理装置110−1は、図1に示すように、中央処理装置(CPU)111、主メモリ112、磁気ディスク113、表示メモリ114、モニタ115、マウス116、キーボード117、及び、共通バス118を有して構成されている。また、磁気ディスク113の内部には、制御プログラム1131が格納されている。
【0018】
CPU111は、主として、画像処理装置110−1の各構成要素の動作を制御して、画像処理装置110−1の動作を統括的に制御する。
【0019】
主メモリ112は、例えばCPU111が処理の実行に際して磁気ディスク113からロードした制御プログラム1131を格納したり、CPU111による制御プログラム1131の実行時の作業領域となったりする。
【0020】
磁気ディスク113は、オペレーティングシステム(OS)や、周辺機器のデバイスドライバ、制御プログラム1131等を記憶(格納)する。また、磁気ディスク113には、必要に応じて、CPU111が制御プログラム1131を用いた処理を行う際に必要な各種の情報やデータ、更には、CPU111による制御プログラム1131を用いた処理によって得られた各種の情報やデータが記憶される。ここで、CPU111は、磁気ディスク113に格納されている制御プログラム1131を実行することにより、画像処理装置110−1で行う各種の動作を統括的に制御する。
【0021】
表示メモリ114は、モニタ115に表示するための表示用データを一時記憶する。
【0022】
モニタ115は、例えばCRTモニタや液晶モニタ等で構成されており、CPU111の制御に従って、表示メモリ114の表示用データに基づく画像等を表示する。
【0023】
マウス116及びキーボード117は、それぞれ、ユーザによるポインティング入力及び文字等の入力を行うためのものである。
【0024】
共通バス118は、画像処理装置110−1の内部の各構成要素を相互に通信可能に接続するとともに、当該画像処理装置110−1の内部構成要素とLAN130及び断層画像撮像装置120とを通信可能に接続する。
【0025】
断層画像撮像装置120は、例えば眼部等の断層画像を撮像する装置であり、例えば、タイムドメイン方式のOCTやフーリエドメイン方式のOCTを備えて構成されている。断層画像撮像装置120は、ユーザ(技師や医師)による操作に応じて、不図示の被検者(患者)の眼部等の断層画像を3次元的に撮像する。そして、断層画像撮像装置120は、得られた断層画像を画像処理装置110−1へ出力する。
【0026】
LAN130は、必要に応じて、画像処理装置110−1と、断層画像撮像装置120とを通信可能に接続するものである。このLAN130は、例えば、イーサネット(登録商標)等で構成されている。なお、画像処理装置110−1と断層画像撮像装置120との接続は、LAN130によらずに、例えば、USBやIEEE1394等のインターフェイスを介して直接接続する形態であってもよい。
【0027】
次に、図1に示す画像処理装置110−1の機能構成について説明を行う。
図2は、本発明の第1の実施形態に係る画像処理装置110−1の機能構成の一例を示す模式図である。
【0028】
図2に示すように、画像処理装置110−1は、画像取得部210、画像処理部220、記憶部230、及び、表示部240の各機能構成を有して構成されている。
【0029】
ここで、本実施形態においては、例えば、図1に示すCPU111が磁気ディスク113に記憶されている制御プログラム1131を実行することにより、図2に示す画像取得部210及び画像処理部220が構成される。また、例えば、図1に示すCPU111及び制御プログラム1131、並びに、主メモリ112、磁気ディスク113、或いは、表示メモリ114から、図2に示す記憶部230が構成される。さらに、例えば、図1に示す図1に示すCPU111及び制御プログラム1131、並びに、モニタ115から、表示部240が構成される。
【0030】
画像取得部210は、断層画像撮像装置120に対して被写体である眼部の断層画像の送信を要求し、断層画像撮像装置120から送信される眼部の断層画像を受信して取得する処理を行う。そして、画像取得部210は、取得した断層画像を画像処理部220及び記憶部230に送る。
【0031】
画像処理部220は、画像取得部210から送られた断層画像の処理を行うものであり、図2に示すように、層検出部221、正常構造推定部222、及び、定量化部223を有して構成されている。ここで、図3を用いて、画像処理部220で行う画像処理について説明を行う。
【0032】
図3は、図2に示す画像処理部220に入力される断層画像の一例を示す模式図である。具体的に、図3には、眼部における網膜の層構造の一例が示されている。なお、以下の説明では、眼底の深度方向をz座標の正方向と定義し、z座標と直交する方向にxy平面を定義する。
【0033】
層検出部221は、入力された断層画像から、眼部を構成する、内境界膜の層境界(図3のB1)と、網膜色素上皮層境界(図3のB21)をそれぞれ検出する。この層検出部221が行う具体的な処理の内容については、後述する。
【0034】
正常構造推定部222は、層検出部221で検出された網膜色素上皮層境界(図3のB21)と、当該網膜色素上皮層の病変によって変形する特徴とに基づいて、その正常構造(図3のB22)を推定する処理を行う。なお、図3では、層検出部221が検出した層の境界(B1及びB21)は実線で示し、正常構造推定部222が推定した層の境界(B21)は点線で示している。この正常構造推定部222が行う具体的な処理の内容については、後述する。
【0035】
定量化部223は、層検出部221による検出結果から、層L1の層厚T1、その面積及び体積を算出する処理を行う。また、定量化部223は、層検出部221で検出された網膜色素上皮層境界(図3のB21)と、正常構造推定部222で推定されたその正常構造(図3のB22)に基づいて、当該網膜色素上皮層の状態(具体的には、当該網膜色素上皮層の乱れ)を定量化する。この定量化部223が行う具体的な処理の内容については、後述する。
【0036】
次に、図2の記憶部230について説明する。
記憶部230は、図2に示すように、画像記憶部231と、データ記憶部232を有して構成されている。
【0037】
画像記憶部231は、画像取得部210で取得した断層画像(更には必要に応じて画像処理部220で画像処理した断層画像)等を記憶する。
【0038】
データ記憶部232は、画像処理部220で利用する関数やパラメータのデータを記憶している。具体的に、データ記憶部232は、正常構造推定部222が網膜色素上皮層の正常構造を推定する際に利用する関数や、層検出部221が断層画像から層の境界を求める際に利用する各種のパラメータのデータなどを記憶している。
【0039】
さらに、データ記憶部232は、画像記憶部231に記憶されている各種の断層画像と、画像処理部220で処理した各種の処理結果の情報を関連付けて、これを患者データとして保存する。本例では、記憶部230は、例えば磁気ディスク113等を含み構成されるため、磁気ディスク113等に、各種の断層画像と、画像処理部220で処理した各種の処理結果の情報とが関連付けられて、記憶される。
【0040】
具体的に、記憶部230は、画像取得部210で取得した断層画像データ、層検出部221で検出した層の境界データ、正常構造推定部222で推定した正常構造データ、定量化部223で定量化した数値データを関連付けて保存する。また、記憶部230(データ記憶部232)に保存されている各種のデータは、LAN130により接続された不図示の外部サーバに保存してもよく、この場合、記憶部230に保存されている各種のデータは、当該外部サーバへと送信される。
【0041】
次に、表示部240について説明する。
表示部240は、画像取得部210により得られた断層画像、層検出部221や正常構造推定部222により得られた層の境界や、定量化部223により定量化された各種の定量結果を表示する。
【0042】
次に、図4を参照して、本実施形態の画像処理装置110−1により実行される、具体的な処理手順を説明する。
図4は、本発明の第1の実施形態に係る画像処理装置110−1の制御方法の処理手順の一例を示すフローチャートである。
【0043】
<ステップS101>
まず、ステップS101において、画像取得部210は、断層画像撮像装置120に対して、被写体である眼部の断層画像の送信を要求し、断層画像撮像装置120から送信される眼部の断層画像を取得する。そして、画像取得部210は、断層画像撮像装置120から取得した断層画像を、画像処理部220及び記憶部230(画像記憶部231)に入力する。
【0044】
<ステップS102>
続いて、ステップS102において、層検出部221は、ステップS101で取得された断層画像から、被写体である眼部を構成する所定の層の境界を検出する処理を行う。
【0045】
以下、層検出部221による層の境界検出の具体的な処理方法を説明する。
本例では、入力した3次元断層画像を2次元断層画像(B−scan画像)の集合と考え、それぞれの2次元断層画像に対して以下に示す2次元画像処理を実行する。
【0046】
まず、層検出部221は、注目する2次元断層画像に対して平滑化フィルタ処理を行い、ノイズ成分を除去する。そして、層検出部221は、エッジ検出フィルタ処理を行い、断層画像からエッジ成分を検出し、層の境界に相当するエッジを各層において抽出する。例えば、層検出部221は、硝子体側から眼底の深度方向にエッジを探索し、最初のピーク位置を硝子体と網膜層との境界とする。さらに、例えば、層検出部221は、眼底の深度方向にエッジを探索し、最後のピーク位置を網膜色素上皮層境界とする。以上の処理によって、層の境界を検出することができる。
【0047】
他に、層の境界検出方法として、Snakesやレベルセット法のような動的輪郭法を適用して検出してもよい。ここで、レベルセット法の場合、検出対象の領域の次元よりも一次元高いレベルセット関数を定義し、検出したい層の境界をそのゼロ等高線であるとみなす。そして、レベルセット関数を更新することで輪郭を制御し、これにより、層の境界を検出することができる。
【0048】
その他に、層の境界検出方法として、GraphCutのようなグラフ理論を用いて層の境界を検出してもよい。この場合、画像の各ピクセルに対応したノードと、sinkとsourceと呼ばれるターミナルを設定し、ノード間を結ぶエッジ(n―link)と、ターミナル間を結ぶエッジ(t−link)を設定する。そして、これらのエッジに対して重みを与えて、作成したグラフに対して、最小カットを求めることにより、層の境界を検出することができる。
【0049】
なお、動的輪郭法やGraphCutを用いた境界検出法は、3次元断層画像を対象として3次元的に行ってもよいし、入力した3次元断層画像を2次元断層画像の集合と考え、それぞれの2次元断層画像に対して2次元的に適用してもよい。また、層の境界を検出するために、画像特徴量のみだけではなく、確率アトラスや統計アトラスのように事前知識を利用して検出するようにしてもよい。なお、層の境界を検出する方法は、これらの方法に限定されるものではなく、眼部の断層画像から層の境界を検出可能な方法であれば、いずれの方法を用いてもよい。
【0050】
<ステップS103>
続いて、ステップS103において、正常構造推定部222は、ステップS102で検出された所定の層の境界(本例では、網膜色素上皮層境界)と、当該層の病変によって変形する特徴とに基づいて、その正常構造を推定する処理を行う。
【0051】
以下、正常構造推定部222による網膜色素上皮層の正常構造を推定する具体的な処理方法について、図5を用いて説明する。
図5は、本発明の第1の実施形態を示し、断層画像に含まれる層の正常構造の推定を説明するための模式図である。
【0052】
図5に示す断層画像には、図3と同様に、層L1、層境界B1、層境界B21と推定した層境界B22が示されている。また、図5中の符号d1及びd2は、それぞれ、層境界B21の座標(x1、z1)、(x2、z2)と、推定した層境界B22の座標(x1、z1')、(x2、z2')との差異を示している。図5において、座標x1では、検出した層境界B21は、推定した層境界B22よりも網膜色素上皮層の深部に位置し、座標x2では、検出した層境界B21は、推定した層境界B22よりも網膜色素上皮層の表面部に位置している。
【0053】
正常構造推定部222による正常構造の推定は、検出外れ値を除き、層検出部221の検出結果である層境界B21が正常構造B22の下に出ることがないように行う。これは、加齢黄斑変性による網膜色素上皮層の変形は、その下部に発生した新生血管によって生じるものであり、変形した層境界の位置は、正常時の上側に位置するという知見に基づいている。
【0054】
ここで、正常構造の推定を行う具体的方法として、入力した3次元断層画像を2次元断層画像(B−scan画像)の集合と考え、それぞれの2次元断層画像に対して正常構造の推定を行う場合について説明する。また、ここで用いる手法は、注目する2次元断層画像内で検出されている層境界を表す座標点群に2次関数をあてはめて、正常構造を推定するというものである。この場合、正常構造は、それぞれの2次元断層画像内において、2次曲線を表す関数で近似される。
【0055】
この手法の要点は、検出された座標点群に関数のあてはめを行う際に、点群と関数との差異の距離に応じた重みを与えるだけではなく、差異の符号に応じて使用する重みを変更することにある。例えば、正常構造推定部222は、以下の(1)式に基づいて、使用する重み関数の選択を行う。
【0056】
【数1】
【0057】
ここで、(1)式において、ziは座標xiにおいて検出した層境界のz座標、zi'は座標xiにおける推定した正常構造のz座標である。εiはziとzi'の差異である。a、b、cは推定する関数のパラメータである。ρ1、ρ2は重み関数であり、ρ1、ρ2はx=0で唯一の最小値を持つ正定値偶関数である。(1)式で示すように、εiの符号に応じて重み関数を選択する。
【0058】
図5中の符号d1及びd2の場合、差異の大きさは同じだとしても、差異の符号が異なる(ε1は正、ε2は負となる)ため、使用する重み関数は異なる。図5の場合では、符号d1で用いる重み関数はρ1、符号d2で用いる重み関数はρ2となる。また、εi≦0の関係が成り立つように正常構造を推定するのが望ましいので、zがz'よりも網膜の深部に位置する場合の重みが大きくなるように、重み関数を設定しておく。言い換えると、差異εiにおいて、ρ1(εi)≧ρ2(−εi)となるように、重み関数ρ1及びρ2を定義しておく。また、重み関数の選択は、上記の条件(即ち、眼部を構成する層(本例では網膜色素上皮層)の病変によって変形する特徴に基づく条件)を満たしていれば、どのような関数を用いてもよい。
【0059】
次に、近似関数を求めるための評価式の例を以下の(2)式に示す。
【0060】
【数2】
【0061】
(2)式において、ρ(εi)はεiの符号に応じて選択された重み関数(すなわち、ρ1またはρ2)である。
図6は、本発明の第1の実施形態を示し、断層画像に含まれる層の正常構造の推定する際に利用する重み関数の一例を示す模式図である。
【0062】
図6(a)、図6(b)及び図6(c)において、差異εiを横軸にとり、これをxとし、縦軸が重み関数ρ(x)とする。断層画像に含まれる層の正常構造の推定する際に利用する重み関数は、図6に示したものが全てではなく、どのような関数を設定してもよい。また、ρ(x)によって実際にどれほどの重みが与えられているかを確認するためには、ρ(x)の微分を取ればよい。本例では、正常構造推定部222は、上記の(2)式において、評価値Mが最小になるように関数を推定する。
【0063】
このように、誤差の符号に応じて適切な重み関数を選択することで、図3で示すように、層検出部221で検出した層境界B21が、正常構造推定部222で推定した正常構造B22の下側にはみ出してしまうことを抑制できる。そして、その結果として、正常構造の推定を精度よく行うことが可能となる。
【0064】
なお、ここでは、入力した3次元断層画像を2次元断層画像(B−scan画像)の集合と考え、それぞれの2次元断層画像に対して正常構造を推定する方法について説明を行った。しかしながら、正常構造の推定方法は、この方法に限定されるものではなく、例えば、3次元断層画像に対して処理を行ってもよい。この場合、ステップS102で検出した層境界の3次元的な座標点群に、上記と同様な重み関数の選択基準を用いて楕円体あてはめを行えばよい。なお、正常構造を近似する形状は、2次の関数に限定されるものではなく、他の次数の関数を用いて推定してもよい。
【0065】
(別の正常構造の推定方法)
ここで、上述した方法とは別の正常構造の推定方法について、図14を用いて説明する。なお、図14(a)は、正常眼における網膜の層構造の一例を示す図である。また、図14(b)は、加齢黄斑変性における網膜の層構造の一例を示す図である。図14(a)に示す正常眼における網膜色素上皮層1400aは、滑らかなカーブを有する構造を成している。一方、図14(b)に示す加齢黄斑変性における網膜色素上皮層1400bは、その領域の一部が上下に波打った形状となっている。なお、OCTによる眼部の断層画像は、3次元的に得られるものであるが、図14では説明を簡単にするために、その一断面を2次元的に表している。また、網膜色素上皮層は、厚みの少ない層なので、図14では一本の線で表している。
【0066】
このとき、OCTを用いた加齢黄斑変性の診断方法として、図14(b)に示す画像に基づいて、断層画像上で観察可能な現実の網膜色素上皮層境界(図14(c)の1401)と、同断層画像上におけるその正常構造(図14(c)の1402)とを得る。そして、断層画像上で観察可能な現実の網膜色素上皮層境界(1401)と、同断層画像上におけるその正常構造(1402)との差異部分(図14(c)の斜線部分)の面積や体積などによって病気の状態を定量化する。
【0067】
例えば、2次元断層画像(B−scan画像)から検出した網膜色素上皮層境界に対して二乗誤差が最小となるようにあてはめた楕円曲線を、その正常構造として用いることができる。なお、このような最小二乗法による楕円曲線のあてはめによって推定した正常構造は、実際の正常構造とは異なる場合がある。そのため、検出した層境界との差異に基づく面積を求めたとしても、病状を定量化する尺度として用いるのには、信頼性が不十分な場合もある。これにより、上述した正常構造の推定方法(点群と関数との差異の符号に応じて適切な重み関数に変更する手法)を用いることが好ましい。
【0068】
<ステップS104>
続いて、ステップS104において、定量化部223は、各種の定量化処理を行う。
まず、定量化部223は、ステップS102において層検出部221が検出した層の境界に基づいて、図3に示す、層L1の層厚T1、その層の面積及び体積を算出する処理を行う。ここで層厚T1は、xy平面上の各座標点で、層境界B1と層境界B21のz座標の差の絶対値を求めることで計算できる。また、層L1の面積は、それぞれのy座標ごとにx軸方向の各座標点での層厚を加算することによって計算できる。また、層L1の体積は、求めた面積をy軸方向に加算することで計算できる。
【0069】
さらに、定量化部223は、ステップS102で層検出部221が検出した網膜色素上皮層境界B21と、ステップS103で正常構造推定部222が推定したその正常構造B22に基づいて、ステップS102で検出された網膜色素上皮層の乱れを定量化する。
【0070】
具体的には、xy平面上の各座標点におけるB21の構造とB22の構造との差異T2(図3)を、両者のz座標の差として算出する。そして、求めた差異T2をx軸方向に加算することで差異のなす面積をy座標ごとに求め、さらに、求めた面積をy軸方向に加算することで差異のなす体積を算出する。なお、網膜色素上皮層の乱れを表す特徴量は、B21とB22の差異を定量化するものであれば、いずれのものであってもよい。例えば、求めた差異T2の最大値、中央値、分散、平均、標準偏差、閾値以上の点の数やその割合などを求め、これを用いてもよい。さらには、B21とB22のなす領域の濃度特徴として、平均濃度値、濃度分散値、コントラストなどを求めてもよい。
【0071】
また、定量化部223による定量化の方法として、定量化時に層の境界を平面に変換して、それを基準位置として定量化をしてもよい。その例を図7に示す。
図7は、本発明の第1の実施形態を示し、断層画像の平面化処理を説明するための模式図である。具体的に、図7は、図3における層の境界を、網膜層の一番深部の境界B22(例えば、網膜色素上皮層境界)を平面に変換し、他の層もその変形に合わせて変換した例を示したものである。
【0072】
さらに、定量化部223は、過去に定量化した層厚、面積、体積や形状特徴、濃度特徴などがある場合には、過去の定量化データとの比較を行う。以下に、過去の定量化データとの比較方法の例について説明する。
【0073】
この場合、まず、定量化部223は、過去と現在の断層画像の位置合わせを行う。この際、断層画像の位置合わせには、剛体アフィン変形や、非線形変形のFFD(Free form deforamation)などの公知の手法を用いることができる。そして、過去に撮影された断層画像と現在の断層画像との位置の対応が取れているならば、任意の断面での層厚、面積などの比較や、任意の領域の体積などを比較することができる。
【0074】
ここでは、過去と現在の断層画像の位置合わせをしてから、各種のデータを比較する例を示したが、例えば断層画像撮像装置120に追尾機能などが搭載されており、画像撮影時に前回と同じ位置を撮影できるのであれば、位置合わせを行う必要はない。さらには、位置合わせを行わずに、単純にB−scan画像のスライス番号同士での比較や、3Dで比較をしてもよい。
【0075】
なお、定量化部223では、上述した数値データの少なくとも1つを求めればよく、定量化するデータは、任意に設定できるものとする。もしも、1つも求めることができなければ、次のステップS105において、定量化できない旨を表示部240に表示してもよい。
【0076】
<ステップS105>
続いて、ステップS105において、表示部240は、断層画像と、断層画像の層と層の境界を検出した結果と、正常構造を推定した結果と、断層画像の層に関して定量化した結果を表示する処理を行う。本例では、表示部240は、例えばモニタ115を含み構成されるため、ステップS105の処理では、モニタ115上に各種のデータが表示される。ここで、過去のデータがある場合には、過去データと比較して表示するようにしてもよい。
【0077】
図8は、本発明の第1の実施形態を示し、図1に示す画像処理装置110−1によって得られた画像処理結果の表示例を示す模式図である。図8に示す例では、モニタ115の上部に、画像処理部220で検出した層と層の境界や推定した正常構造に係る断層画像801を表示し、モニタ115の下部に、断層画像801の解析結果として網膜層厚のグラフ802を表示している。
【0078】
なお、断層画像の表示として、画像取得部210で取得した断層画像に、画像処理部220で検出した層と層の境界や推定した正常構造を重畳表示してもよい。また、断層画像の表示として、特定の層の境界を平面に変換して、それを基準とした断層画像(図7)を生成して表示してもよい。なお、変形する層の範囲は、B−scan画像1枚であってもよいし、3次元断層画像でもよい。
【0079】
<ステップS106>
続いて、ステップS106において、記憶部230(データ記憶部232等)は、以上のステップS101〜S104で取得された各種のデータを関連付けて、ある患者の患者データとして磁気ディスク113に保存する。具体的には、ステップS101で得られた断層画像データ、ステップS102で得られた層及び層の境界のデータ、ステップS103で推定された層の正常構造データ、ステップS104で得られた層の定量化処理の結果が関連付けられて、保存される。なお、磁気ディスク113に保存するデータは、これらのデータうちの少なくとも1つでよい。
【0080】
ここで、正常構造の推定結果を保存する場合には、推定時に利用した重み関数ρ((1)式)と関数のパラメータ(例えば、(1)式のa、b、c)も同時に関連付けて保存しておき、経過観察時に同じ関数やパラメータを用いて推定するようにしてもよい。
【0081】
また、これらのデータの保存は、不図示の外部サーバに行ってもよい。この場合、記憶部230は、これらのデータを外部サーバへと送信する。
【0082】
なお、本実施形態において、層検出部221が検出する層としては、内境界膜と網膜色素上皮層に限定されるものではなく、神経線維層、視細胞層、外境界膜などの各層や膜を検出してよい。さらに、正常構造を推定する層の境界としては、網膜色素上皮層に限定されるものではなく、疾病により形状が凹凸に変化する層であれば、いずれの層並びに層境界を推定してもよい。
【0083】
以上説明した第1の実施形態によれば、被写体である眼部の断層画像において、当該眼部を構成する層(本実施形態では網膜色素上皮層)の正常構造を精度良く推定することができる。これにより、眼部における疾病の進行度や治療後の回復具合等を精度良く定量化することが可能となる。
【0084】
(第1の実施形態の変形例1)
第1の実施形態における画像処理装置110−1は、既に撮像された状態で保存されている眼部の断層画像を保持する画像蓄積サーバ(不図示)と、直接またはLAN130を介して接続し、当該画像蓄積サーバから断層画像を入力する構成であってもよい。この場合、図4のステップS101において、画像取得部210は、画像蓄積サーバ(不図示)に断層画像の送信を要求し、当該画像蓄積サーバから送信される断層画像を取得して、記憶部230に入力する。その後、上述したように、層の境界検出(S102)や定量化処理(S104)を行う。
【0085】
(第1の実施形態の変形例2)
第1の実施形態における画像処理装置110−1は、1枚または複数枚の二次元の断層画像を入力し、それに対して上述した解析処理(画像処理)を行う構成であってもよい。また、入力された三次元の断層画像から注目すべき断面を選択して、選択された二次元断層画像に対して処理を行う構成であってもよい。この場合、二次元断層画像の選択は、ユーザがマウス116やキーボード117を用いて、或いは、不図示のインターフェイスを用いて行ってもよいし、予め定めた眼底の特定部分(例えば黄斑部の中心を含む断面)に対して処理を行ってもよい。
【0086】
(第2の実施形態)
次に、本発明の第2の実施形態について説明する。
図9は、本発明の第2の実施形態に係る画像処理システム200の概略構成(ハードウェア構成)の一例を示す模式図である。
【0087】
図9に示すように、本実施形態に係る画像処理システム200は、画像処理装置110と、断層画像撮像装置120と、ローカルエリアネットワーク(LAN)130と、広域画像撮像装置140を有して構成されている。ここで、以下の説明においては、図9に示す画像処理装置110を、「画像処理装置110−2」とする。即ち、図9に示す画像処理システム200は、画像処理装置110−2が、LAN130を介して、断層画像撮像装置120のみならず、広域画像撮像装置140とも接続される構成となっている。なお、画像処理装置110−2と広域画像撮像装置140との接続は、USBやIEEE1394等のインターフェイスを介して直接行ってもよい。
【0088】
本実施形態に係る画像処理装置110−2は、第1の実施形態に係る画像処理装置110−1と同様に、眼部の断層画像から、網膜色素上皮層境界などの層境界を検出する。そして、画像処理装置110−2は、第1の実施形態に係る画像処理装置110−1と同様に、例えば、加齢黄斑変性等の疾病により層の形状が凹凸に変形するという特徴に基づいて、当該網膜色素上皮層の正常構造を推定し、疾病の定量化を行うものである。ただし、本実施形態に係る画像処理装置110−2は、眼部の断層画像から検出した網膜色素上皮層の形状が正常か異常かを局所領域ごとに判断し、正常と判断した範囲(正常範囲)の情報に基づいて、その正常構造を推定する。これに伴って、図9に示す画像処理装置110−2には、磁気ディスク113の内部に、第1の実施形態とは異なる、制御プログラム1132が格納されている。
【0089】
広域画像撮像装置140は、例えば眼部等の広域画像を撮像する装置であり、例えば、眼底カメラを備えて構成されている。広域像撮像装置30は、ユーザ(技師や医師)による操作に応じて、不図示の被検者(患者)の眼部等の広域画像を撮像する。そして、広域画像撮像装置140は、得られた広域画像を画像処理装置110−2へ出力する。
【0090】
次に、図9に示す画像処理装置110−2の機能構成について説明を行う。
図10は、本発明の第2の実施形態に係る画像処理装置110−2の機能構成の一例を示す模式図である。
【0091】
図10に示すように、画像処理装置110−2は、画像取得部210、画像処理部220、記憶部230、及び、表示部240の各機能構成を有して構成されている。第2の実施形態に係る画像処理装置110−2の機能構成については、図2に示す第1の実施形態に係る画像処理装置110−1の機能構成と基本的には同様の構成となる。ただし、第2の実施形態に係る画像処理装置110−2では、画像取得部210が広域画像取得部211と断層画像取得部212とから構成され、また、正常構造推定部222の内部に、層の形状が正常か異常かを判断する判断部2221が構成されている。
【0092】
次に、図11を参照して、本実施形態の画像処理装置110−2により実行される、具体的な処理手順を説明する。
図11は、本発明の第2の実施形態に係る画像処理装置110−2の制御方法の処理手順の一例を示すフローチャートである。
【0093】
<ステップS201>
まず、ステップS201において、断層画像取得部212は、断層画像撮像装置120に対して、被写体である眼部の断層画像の送信を要求し、断層画像撮像装置120から送信される眼部の断層画像を取得する。そして、断層画像取得部212は、断層画像撮像装置120から取得した断層画像を、画像処理部220及び記憶部230(画像記憶部231)に入力する。同様に、広域画像取得部211は、広域画像撮像装置140に対して、被写体である眼部の広域画像の送信を要求し、広域画像撮像装置140から送信される眼部の広域画像を取得する。そして、広域画像取得部211は、取得した広域画像を、画像処理部220及び記憶部230(画像記憶部231)に入力する。
【0094】
<ステップS202>
続いて、ステップS202において、層検出部221は、ステップS201で取得された断層画像から、被写体である眼部を構成する所定の層の境界を検出する処理を行う。ここで、層の検出方法については、第1の実施形態における図4のステップS102と同様である。なお、層の境界を検出するために、断層画像だけではなく、広域画像から病変や血管を抽出し、その情報を利用して検出するようにしてもよい。
【0095】
<ステップS203>
続いて、ステップS203において、正常構造推定部222の判断部2221は、ステップS202において層検出部221が検出した層境界(本例では、網膜色素上皮層境界(B21))について、正常範囲及び異常範囲を判断して検出する。そして、判断部2221は、ステップS202において層検出部221が検出した層境界を正常範囲と異常範囲とに分類する。
【0096】
具体的には、まず、例えば、層が正常構造である条件として、層境界の曲率は滑らかであると定義する。この場合、判断部2221による異常範囲の検出では、検出した層境界の局所的な曲率を計算し、層の境界形状を評価することで、曲率が滑らかに変化していない部分は異常範囲であるとする。或いは、判断部2221による異常範囲の検出では、眼部の広域画像から白斑や出血やドルーゼンを検出し、病変が存在する広域画像の(x,y)領域に対応する断層画像のz方向の網膜層構造は異常であるとする。そして、判断部2221は、断層画像中での正常範囲と異常範囲の位置を分類しておく。
【0097】
<ステップS204>
続いて、ステップS204において、正常構造推定部222は、ステップS203で正常と判断された範囲に含まれている層境界と、当該層の病変によって変形する特徴とに基づいて、当該層の正常構造を推定する処理を行う。
【0098】
ここで、ステップS204における正常構造の推定方法としては、第1の実施形態における図4のステップS103と同様に、多項式を用いて正常構造を近似して推定を行う。この際、正常構造推定部222は、判断部2221で正常と判断された座標群のみを用いて多項式のパラメータを計算し、正常構造を近似する。或いは、正常構造推定部222は、多項式で近似せず、判断部2221で正常と判断された座標群をスプライン補間などの補間処理を行って、正常構造を推定するようにしてもよい。
【0099】
<ステップS205>
続いて、ステップS205において、定量化部223は、第1の実施形態における図4のステップS104と同様に、各種の定量化処理を行う。
【0100】
<ステップS206>
続いて、ステップS206において、表示部240は、第1の実施形態における図4のステップS105と基本的には同様の表示処理を行う。この際、本実施形態では、さらに、推定した正常構造と検出した層境界の表示において、任意の情報を選択して表示できるようにしてもよい。これについて、図12を用いて説明する。
【0101】
図12は、本発明の第2の実施形態を示し、断層画像に含まれる層の境界の表示例を示す模式図である。
図12において、層検出部221が検出した層境界は実線で示し、正常構造推定部222が推定した正常構造は点線で示している。
【0102】
具体的に、図12(a)は、検出した層境界と推定した正常構造を同時に表示する一例である。図12(b)は、推定した正常構造のみを表示する一例である。図12(c)は、同一の層境界内で、正常範囲については検出した層境界を表示し、異常範囲については検出した層境界と推定した正常構造を同時に表示する一例である。図12(d)は、同一の層境界内で、正常範囲については検出した層境界を表示し、異常範囲については推定した正常構造のみを表示する一例である。
【0103】
ステップS206における表示の方法として、図12(a)〜図12(d)に示した検出結果と推定結果を断層画像上に重畳表示してもよいし、検出結果と推定結果を、断層画像と別に表示するようにしてもよい。このように、層境界に関する情報の表示方法を選択し、任意の情報を表示できるようにしてもよい。
【0104】
<ステップS207>
続いて、ステップS207において、記憶部230は、第1の実施形態における図4のステップS106と基本的には同様の記憶処理を行う。この際、さらに、撮像部位の確認等の理由で、広域画像と広域画像上における断層画像の取得範囲を一緒に記憶して提示できるようにしてもよい。
【0105】
以上説明した第2の実施形態によれば、被写体である眼部の断層画像において、網膜色素上皮層の構造が正常か異常かを局所領域ごとに判断するようにしたので、正常と判断した領域から、疾病により変化した当該層の正常構造を精度良く推定することができる。これにより、その結果を用いて疾病の進行度や治療後の回復具合を精度良く定量化することが可能となる。
【0106】
(第3の実施形態)
次に、本発明の第3の実施形態について説明する。
第3の実施形態に係る画像処理システムの概略構成は、図1に示す第1の実施形態に係る画像処理システム100と同様である。また、第3の実施形態に係る画像処理装置110の機能構成は、図2に示す第1の実施形態に係る画像処理装置110−1の機能構成と基本的には同様である。ただし、正常構造推定部222の処理が異なるため、ここでは、第3の実施形態に係る画像処理装置110を「画像処理装置110−3」とする。
【0107】
また、本実施形態の画像処理装置110−3は、第1の実施形態に係る画像処理装置110−1等と同様に、眼部の断層画像から、網膜色素上皮層境界などの層境界を検出する。そして、画像処理装置110−3は、第1の実施形態に係る画像処理装置110−1と同様に、例えば、加齢黄斑変性等の疾病により層の形状が凹凸に変形するという特徴に基づいて、当該網膜色素上皮層等の正常構造を推定し、疾病の定量化を行うものである。ただし、本実施形態に係る画像処理装置110−3は、眼部の断層画像から検出した網膜色素上皮層境界の形状が、正常構造を表す1つの多項式に係る関数と、病変によるn個の上に凸のガウス関数の混合分布であると仮定して、正常構造を推定する。これは、下からの隆起によって発生した層の凹凸をガウス関数で近似し、それ以外の大局的な形状を多項式で推定するためである。
【0108】
本実施形態における図2の正常構造推定部222は、検出された座標点群に関数のあてはめを行う際、層境界の形状が、正常構造を表す2次関数と、n個のガウス関数の混合分布であると仮定する。そして、本実施形態における正常構造推定部222は、これらの混合分布を推定することで、形状が凹凸に変形した層の正常構造を推定する。この例を図13に示す。
【0109】
図13は、本発明の第3の実施形態を示し、断層画像に含まれる層の正常構造の推定を説明するための模式図である。具体的に、図13(a)の1300は、加齢黄斑変性における網膜色素上皮層境界の形状例を示している。また、図13(b)の1301及び1302は、それぞれ、図13(a)の網膜色素上皮層境界1300から求められる多項式、及び、ガウス関数の例を示している。
【0110】
2次関数とガウス関数の混合分布は、EMアルゴリズムを用いて解を求めることができる。この際、混合分布は、多項式と複数のガウス関数とを組み合わせた確率モデルで、多項式とガウス関数の確率に重みをつけて加算したものである。
【0111】
本実施形態における正常構造推定部222は、2次関数のパラメータ(a、b、c)とガウス関数のパラメータ(平均、分散共分散行列)と、2次関数とガウス関数との混合率を、EMアルゴリズムを用いて推定する。この際、n個のガウス関数の設定は、多項式と検出した層境界との差異の符号において、負のピークの数に応じてnを設定してもよいし、あるいは、1〜Nの間でnを順番に増やしていき、評価値が最大になる数nを設定するようにしてもよい。
【0112】
また、EMアルゴリズムは、初期値としてパラメータを仮に設定し、Estepにおいてパラメータの妥当性を判断し、Mstepにおいて、妥当性が向上するようにパラメータを選択するものである。本例では、これらのEstepとMstepを繰り返し計算して、収束した時点のパラメータを選択する。ここで、妥当性は、現時点での尤度で判断し、パラメータの選択は、現時点での尤度より大きくなるパラメータを選択する。
【0113】
本実施形態では、n個の上に凸のガウス関数を、滑らかな1つの2次関数に混合しているとしている。これは、下からの隆起によって発生した層の凹凸を前者のガウス関数で近似し、それ以外の大局的な形状を2次関数で推定するためである。なお、ここでは、入力した3次元断層画像を2次元断層画像(B−scan画像)の集合と考え、それぞれの2次元断層画像に対して正常構造を推定する方法を示している。しかしながら、正常構造の推定方法は、これに限定されるものではなく、3次元の断層画像に対して処理を行ってもよい。また、正常構造を近似する形状は、2次関数に限定されるものではなく、他の次数の関数を用いて推定してもよい。さらに、正常構造を推定する層の境界は、網膜色素上皮層に限定されるものではなく、疾病により形状が凹凸に変化する層であれば、いずれの層並びに層境界を推定してもよい。
【0114】
(その他の実施形態)
前述した本発明の各実施形態に係る画像処理装置110を構成する図2及び図10の各構成部、並びに、図4及び図11の各ステップは、CPU111が磁気ディスク113に記憶されている制御プログラムを実行することによって実現できる。この制御プログラム及び当該制御プログラムを記憶したコンピュータ読み取り可能な記録媒体(実施形態では磁気ディスク113)は本発明に含まれる。
【0115】
また、本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、1つの機器からなる装置に適用してもよい。
【0116】
なお、本発明は、前述した各実施形態の機能を実現するソフトウェアのプログラム(実施形態では図4及び図11に示すフローチャートに対応したプログラム)を、システム或いは装置に直接、或いは遠隔から供給するものを含む。そして、そのシステム或いは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合も本発明に含まれる。
【0117】
したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【0118】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等の形態であってもよい。
【0119】
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、MO、CD−ROM、CD−R、CD−RWなどがある。また、磁気テープ、不揮発性のメモリカード、ROM、DVD(DVD−ROM,DVD−R)などもある。
【0120】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、若しくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。
【0121】
また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるWWWサーバも、本発明に含まれるものである。
【0122】
また、本発明のプログラムを暗号化してCD−ROM等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、ダウンロードした鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【0123】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他、そのプログラムの指示に基づき、コンピュータ上で稼動しているOSなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
【0124】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現される。
【0125】
なお、前述した各実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【0126】
110−1 画像処理装置
210 画像取得部
220 画像処理部
221 層検出部
222 正常構造推定部
223 定量化部
230 記憶部
231 画像記憶部
232 データ記憶部
240 表示部
【技術分野】
【0001】
本発明は、被写体の断層画像の処理を行う画像処理装置及び画像処理方法、当該画像処理方法をコンピュータに実行させるためのプログラムに関するものである。
【背景技術】
【0002】
生活習慣病や失明原因の上位を占める各種疾病の早期診断を目的として、従来、被写体として眼部の撮影による検査が広く行われている。例えば光干渉断層計(Optical Coherence Tomography:以下「OCT」と称する)などを用いた眼部の断層画像取得装置は、眼部の網膜層内部の状態を3次元的に観察することが可能である。このため、この断層画像取得装置は、疾病の診断をより的確に行うために有用であると期待されている。
【0003】
OCTを用いて得られた眼部の断層像(断層画像)において、眼部における神経線維層などの網膜の各層の厚みや網膜層全体の厚みを計測できれば、緑内障、加齢黄斑変性、黄斑浮腫などの疾病の進行度や治療後の回復具合を定量的に診断することが可能となる。従来、これらの層の厚みを計測するためには、3次元的に撮像される断層画像から注目断面を切り出した2次元断層画像(B−scan画像)上において、医師や技師が手動で網膜の各層の境界を指定する必要があった。また、層の厚みの3次元的な分布を得るためには、3次元断層画像を幾つかの2次元断層画像の集合と捉えて、それぞれの2次元断層画像上において注目する層の境界を指定する必要があった。
【0004】
しかしながら、層の境界を手動で指定する作業は、医師や技師の作業者にとって負担の掛かるものであった。また、層の境界を手動で指定する作業は、その作業者や作業日時の相違に起因するばらつきが発生するため、期待する精度で定量化を行うことが難しかった。この作業者の負担や作業におけるばらつきの軽減を目的として、コンピュータが断層画像から網膜の各層の境界を検出して、各層の厚みを計測する技術が提案されている(例えば、下記の特許文献1及び特許文献2参照)。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2008−73099号公報
【特許文献2】特開2007−325831号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
ここで、加齢黄斑変性のような疾病においては、病状に応じて網膜色素上皮層の形状が凹凸に変形する。そのため、その変形の度合いを定量化することが病状の把握に有効である。このとき、疾病になる前の正常時であれば網膜色素上皮層が存在したであろう境界の位置を、正常構造として推定することが求められる。従来、この作業も医師や技師の手作業によって行われることが多く、その負担やその結果のばらつきが課題となっている。そのため、断層画像からの網膜色素上皮層境界の検出と、その正常構造の推定を自動化することが求められている。
しかしながら、断層画像上の画像特徴としては観測できないので、特許文献1や特許文献2の技術では、その正常構造を推定することができない。
【0007】
本発明は、このような問題点に鑑みてなされたものであり、被写体を構成する層の正常構造を精度良く推定する仕組みを提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明の画像処理装置は、眼部の眼底の断層画像から層を検出する層検出手段と、前記層の形状に基づいて、前記眼底の深さ方向に凸な曲線を求める演算手段と、前記層と前記曲線との差異を定量化する定量化手段と、を有する。
【0009】
本発明の画像処理方法は、眼部の眼底の断層画像から層を検出する工程と、前記層の形状に基づいて、前記眼底の深さ方向に凸な曲線を求める工程と、前記層と前記曲線との差異を定量化する工程と、を有する。
【0010】
本発明のプログラムは、前記画像処理方法の各工程をコンピュータに実行させるためのものである。
【発明の効果】
【0011】
本発明によれば、被写体を構成する層の正常構造を精度良く推定することができる。これにより、被写体における疾病の進行度や治療後の回復具合等を定量化することが可能となる。
【図面の簡単な説明】
【0012】
【図1】本発明の第1の実施形態に係る画像処理システムの概略構成(ハードウェア構成)の一例を示す模式図である。
【図2】本発明の第1の実施形態に係る画像処理装置の機能構成の一例を示す模式図である。
【図3】図2に示す画像処理部に入力される断層画像の一例を示す模式図である。
【図4】本発明の第1の実施形態に係る画像処理装置の制御方法の処理手順の一例を示すフローチャートである。
【図5】本発明の第1の実施形態を示し、断層画像に含まれる層の正常構造の推定を説明するための模式図である。
【図6】本発明の第1の実施形態を示し、断層画像に含まれる層の正常構造の推定する際に利用する重み関数の一例を示す模式図である。
【図7】本発明の第1の実施形態を示し、断層画像の平面化処理を説明するための模式図である。
【図8】本発明の第1の実施形態を示し、図1に示す画像処理装置によって得られた画像処理結果の表示例を示す模式図である。
【図9】本発明の第2の実施形態に係る画像処理システムの概略構成(ハードウェア構成)の一例を示す模式図である。
【図10】本発明の第2の実施形態に係る画像処理装置の機能構成の一例を示す模式図である。
【図11】本発明の第2の実施形態に係る画像処理装置の制御方法の処理手順の一例を示すフローチャートである。
【図12】本発明の第2の実施形態を示し、断層画像に含まれる層の境界の表示例を示す模式図である。
【図13】本発明の第3の実施形態を示し、断層画像に含まれる層の正常構造の推定を説明するための模式図である。
【図14】一般的な網膜の層構造の一例を示す模式図である。
【発明を実施するための形態】
【0013】
以下に、図面を参照しながら、本発明を実施するための形態(実施形態)について説明する。なお、以下に示す実施形態は、一例に過ぎず、本発明は、図示された構成等に限定されるものではない。また、以下の本明細書においては、網膜色素上皮層と、その上部或いは下部の層との境界を、「網膜色素上皮層境界」、または、単に「層境界」と称する。また、疾病になる前の正常時であれば同層境界が存在したであろう境界の推定位置を、「網膜色素上皮層境界の正常構造」、または、単に「正常構造」と称する。
【0014】
(第1の実施形態)
まず、本発明の第1の実施形態について説明する。
図1は、本発明の第1の実施形態に係る画像処理システム100の概略構成(ハードウェア構成)の一例を示す模式図である。
【0015】
図1に示すように、本実施形態に係る画像処理システム100は、画像処理装置110と、断層画像撮像装置120と、ローカルエリアネットワーク(LAN)130を有して構成されている。ここで、以下の説明においては、図1に示す画像処理装置110を、「画像処理装置110−1」とする。即ち、図1に示す画像処理システム100は、画像処理装置110−1が、LAN130を介して、断層画像撮像装置120に接続される構成となっている。
【0016】
本実施形態に係る画像処理装置110−1は、例えば、断層画像撮像装置120で撮像された被写体(本例では眼部)の断層画像から、眼部を構成する網膜色素上皮層境界などの層境界を検出する。そして、画像処理装置110−1は、例えば、加齢黄斑変性等の疾病によって層の形状が凹凸に変形するという特徴に基づいて、当該網膜色素上皮層等の正常構造を推定し、疾病の定量化を行うものである。なお、本実施形態では、被写体の一例として、眼部を適用する例を示すが、本発明においては、これに限定されるものではなく、断層画像として撮像対象になるものであれば適用可能である。
【0017】
この画像処理装置110−1は、図1に示すように、中央処理装置(CPU)111、主メモリ112、磁気ディスク113、表示メモリ114、モニタ115、マウス116、キーボード117、及び、共通バス118を有して構成されている。また、磁気ディスク113の内部には、制御プログラム1131が格納されている。
【0018】
CPU111は、主として、画像処理装置110−1の各構成要素の動作を制御して、画像処理装置110−1の動作を統括的に制御する。
【0019】
主メモリ112は、例えばCPU111が処理の実行に際して磁気ディスク113からロードした制御プログラム1131を格納したり、CPU111による制御プログラム1131の実行時の作業領域となったりする。
【0020】
磁気ディスク113は、オペレーティングシステム(OS)や、周辺機器のデバイスドライバ、制御プログラム1131等を記憶(格納)する。また、磁気ディスク113には、必要に応じて、CPU111が制御プログラム1131を用いた処理を行う際に必要な各種の情報やデータ、更には、CPU111による制御プログラム1131を用いた処理によって得られた各種の情報やデータが記憶される。ここで、CPU111は、磁気ディスク113に格納されている制御プログラム1131を実行することにより、画像処理装置110−1で行う各種の動作を統括的に制御する。
【0021】
表示メモリ114は、モニタ115に表示するための表示用データを一時記憶する。
【0022】
モニタ115は、例えばCRTモニタや液晶モニタ等で構成されており、CPU111の制御に従って、表示メモリ114の表示用データに基づく画像等を表示する。
【0023】
マウス116及びキーボード117は、それぞれ、ユーザによるポインティング入力及び文字等の入力を行うためのものである。
【0024】
共通バス118は、画像処理装置110−1の内部の各構成要素を相互に通信可能に接続するとともに、当該画像処理装置110−1の内部構成要素とLAN130及び断層画像撮像装置120とを通信可能に接続する。
【0025】
断層画像撮像装置120は、例えば眼部等の断層画像を撮像する装置であり、例えば、タイムドメイン方式のOCTやフーリエドメイン方式のOCTを備えて構成されている。断層画像撮像装置120は、ユーザ(技師や医師)による操作に応じて、不図示の被検者(患者)の眼部等の断層画像を3次元的に撮像する。そして、断層画像撮像装置120は、得られた断層画像を画像処理装置110−1へ出力する。
【0026】
LAN130は、必要に応じて、画像処理装置110−1と、断層画像撮像装置120とを通信可能に接続するものである。このLAN130は、例えば、イーサネット(登録商標)等で構成されている。なお、画像処理装置110−1と断層画像撮像装置120との接続は、LAN130によらずに、例えば、USBやIEEE1394等のインターフェイスを介して直接接続する形態であってもよい。
【0027】
次に、図1に示す画像処理装置110−1の機能構成について説明を行う。
図2は、本発明の第1の実施形態に係る画像処理装置110−1の機能構成の一例を示す模式図である。
【0028】
図2に示すように、画像処理装置110−1は、画像取得部210、画像処理部220、記憶部230、及び、表示部240の各機能構成を有して構成されている。
【0029】
ここで、本実施形態においては、例えば、図1に示すCPU111が磁気ディスク113に記憶されている制御プログラム1131を実行することにより、図2に示す画像取得部210及び画像処理部220が構成される。また、例えば、図1に示すCPU111及び制御プログラム1131、並びに、主メモリ112、磁気ディスク113、或いは、表示メモリ114から、図2に示す記憶部230が構成される。さらに、例えば、図1に示す図1に示すCPU111及び制御プログラム1131、並びに、モニタ115から、表示部240が構成される。
【0030】
画像取得部210は、断層画像撮像装置120に対して被写体である眼部の断層画像の送信を要求し、断層画像撮像装置120から送信される眼部の断層画像を受信して取得する処理を行う。そして、画像取得部210は、取得した断層画像を画像処理部220及び記憶部230に送る。
【0031】
画像処理部220は、画像取得部210から送られた断層画像の処理を行うものであり、図2に示すように、層検出部221、正常構造推定部222、及び、定量化部223を有して構成されている。ここで、図3を用いて、画像処理部220で行う画像処理について説明を行う。
【0032】
図3は、図2に示す画像処理部220に入力される断層画像の一例を示す模式図である。具体的に、図3には、眼部における網膜の層構造の一例が示されている。なお、以下の説明では、眼底の深度方向をz座標の正方向と定義し、z座標と直交する方向にxy平面を定義する。
【0033】
層検出部221は、入力された断層画像から、眼部を構成する、内境界膜の層境界(図3のB1)と、網膜色素上皮層境界(図3のB21)をそれぞれ検出する。この層検出部221が行う具体的な処理の内容については、後述する。
【0034】
正常構造推定部222は、層検出部221で検出された網膜色素上皮層境界(図3のB21)と、当該網膜色素上皮層の病変によって変形する特徴とに基づいて、その正常構造(図3のB22)を推定する処理を行う。なお、図3では、層検出部221が検出した層の境界(B1及びB21)は実線で示し、正常構造推定部222が推定した層の境界(B21)は点線で示している。この正常構造推定部222が行う具体的な処理の内容については、後述する。
【0035】
定量化部223は、層検出部221による検出結果から、層L1の層厚T1、その面積及び体積を算出する処理を行う。また、定量化部223は、層検出部221で検出された網膜色素上皮層境界(図3のB21)と、正常構造推定部222で推定されたその正常構造(図3のB22)に基づいて、当該網膜色素上皮層の状態(具体的には、当該網膜色素上皮層の乱れ)を定量化する。この定量化部223が行う具体的な処理の内容については、後述する。
【0036】
次に、図2の記憶部230について説明する。
記憶部230は、図2に示すように、画像記憶部231と、データ記憶部232を有して構成されている。
【0037】
画像記憶部231は、画像取得部210で取得した断層画像(更には必要に応じて画像処理部220で画像処理した断層画像)等を記憶する。
【0038】
データ記憶部232は、画像処理部220で利用する関数やパラメータのデータを記憶している。具体的に、データ記憶部232は、正常構造推定部222が網膜色素上皮層の正常構造を推定する際に利用する関数や、層検出部221が断層画像から層の境界を求める際に利用する各種のパラメータのデータなどを記憶している。
【0039】
さらに、データ記憶部232は、画像記憶部231に記憶されている各種の断層画像と、画像処理部220で処理した各種の処理結果の情報を関連付けて、これを患者データとして保存する。本例では、記憶部230は、例えば磁気ディスク113等を含み構成されるため、磁気ディスク113等に、各種の断層画像と、画像処理部220で処理した各種の処理結果の情報とが関連付けられて、記憶される。
【0040】
具体的に、記憶部230は、画像取得部210で取得した断層画像データ、層検出部221で検出した層の境界データ、正常構造推定部222で推定した正常構造データ、定量化部223で定量化した数値データを関連付けて保存する。また、記憶部230(データ記憶部232)に保存されている各種のデータは、LAN130により接続された不図示の外部サーバに保存してもよく、この場合、記憶部230に保存されている各種のデータは、当該外部サーバへと送信される。
【0041】
次に、表示部240について説明する。
表示部240は、画像取得部210により得られた断層画像、層検出部221や正常構造推定部222により得られた層の境界や、定量化部223により定量化された各種の定量結果を表示する。
【0042】
次に、図4を参照して、本実施形態の画像処理装置110−1により実行される、具体的な処理手順を説明する。
図4は、本発明の第1の実施形態に係る画像処理装置110−1の制御方法の処理手順の一例を示すフローチャートである。
【0043】
<ステップS101>
まず、ステップS101において、画像取得部210は、断層画像撮像装置120に対して、被写体である眼部の断層画像の送信を要求し、断層画像撮像装置120から送信される眼部の断層画像を取得する。そして、画像取得部210は、断層画像撮像装置120から取得した断層画像を、画像処理部220及び記憶部230(画像記憶部231)に入力する。
【0044】
<ステップS102>
続いて、ステップS102において、層検出部221は、ステップS101で取得された断層画像から、被写体である眼部を構成する所定の層の境界を検出する処理を行う。
【0045】
以下、層検出部221による層の境界検出の具体的な処理方法を説明する。
本例では、入力した3次元断層画像を2次元断層画像(B−scan画像)の集合と考え、それぞれの2次元断層画像に対して以下に示す2次元画像処理を実行する。
【0046】
まず、層検出部221は、注目する2次元断層画像に対して平滑化フィルタ処理を行い、ノイズ成分を除去する。そして、層検出部221は、エッジ検出フィルタ処理を行い、断層画像からエッジ成分を検出し、層の境界に相当するエッジを各層において抽出する。例えば、層検出部221は、硝子体側から眼底の深度方向にエッジを探索し、最初のピーク位置を硝子体と網膜層との境界とする。さらに、例えば、層検出部221は、眼底の深度方向にエッジを探索し、最後のピーク位置を網膜色素上皮層境界とする。以上の処理によって、層の境界を検出することができる。
【0047】
他に、層の境界検出方法として、Snakesやレベルセット法のような動的輪郭法を適用して検出してもよい。ここで、レベルセット法の場合、検出対象の領域の次元よりも一次元高いレベルセット関数を定義し、検出したい層の境界をそのゼロ等高線であるとみなす。そして、レベルセット関数を更新することで輪郭を制御し、これにより、層の境界を検出することができる。
【0048】
その他に、層の境界検出方法として、GraphCutのようなグラフ理論を用いて層の境界を検出してもよい。この場合、画像の各ピクセルに対応したノードと、sinkとsourceと呼ばれるターミナルを設定し、ノード間を結ぶエッジ(n―link)と、ターミナル間を結ぶエッジ(t−link)を設定する。そして、これらのエッジに対して重みを与えて、作成したグラフに対して、最小カットを求めることにより、層の境界を検出することができる。
【0049】
なお、動的輪郭法やGraphCutを用いた境界検出法は、3次元断層画像を対象として3次元的に行ってもよいし、入力した3次元断層画像を2次元断層画像の集合と考え、それぞれの2次元断層画像に対して2次元的に適用してもよい。また、層の境界を検出するために、画像特徴量のみだけではなく、確率アトラスや統計アトラスのように事前知識を利用して検出するようにしてもよい。なお、層の境界を検出する方法は、これらの方法に限定されるものではなく、眼部の断層画像から層の境界を検出可能な方法であれば、いずれの方法を用いてもよい。
【0050】
<ステップS103>
続いて、ステップS103において、正常構造推定部222は、ステップS102で検出された所定の層の境界(本例では、網膜色素上皮層境界)と、当該層の病変によって変形する特徴とに基づいて、その正常構造を推定する処理を行う。
【0051】
以下、正常構造推定部222による網膜色素上皮層の正常構造を推定する具体的な処理方法について、図5を用いて説明する。
図5は、本発明の第1の実施形態を示し、断層画像に含まれる層の正常構造の推定を説明するための模式図である。
【0052】
図5に示す断層画像には、図3と同様に、層L1、層境界B1、層境界B21と推定した層境界B22が示されている。また、図5中の符号d1及びd2は、それぞれ、層境界B21の座標(x1、z1)、(x2、z2)と、推定した層境界B22の座標(x1、z1')、(x2、z2')との差異を示している。図5において、座標x1では、検出した層境界B21は、推定した層境界B22よりも網膜色素上皮層の深部に位置し、座標x2では、検出した層境界B21は、推定した層境界B22よりも網膜色素上皮層の表面部に位置している。
【0053】
正常構造推定部222による正常構造の推定は、検出外れ値を除き、層検出部221の検出結果である層境界B21が正常構造B22の下に出ることがないように行う。これは、加齢黄斑変性による網膜色素上皮層の変形は、その下部に発生した新生血管によって生じるものであり、変形した層境界の位置は、正常時の上側に位置するという知見に基づいている。
【0054】
ここで、正常構造の推定を行う具体的方法として、入力した3次元断層画像を2次元断層画像(B−scan画像)の集合と考え、それぞれの2次元断層画像に対して正常構造の推定を行う場合について説明する。また、ここで用いる手法は、注目する2次元断層画像内で検出されている層境界を表す座標点群に2次関数をあてはめて、正常構造を推定するというものである。この場合、正常構造は、それぞれの2次元断層画像内において、2次曲線を表す関数で近似される。
【0055】
この手法の要点は、検出された座標点群に関数のあてはめを行う際に、点群と関数との差異の距離に応じた重みを与えるだけではなく、差異の符号に応じて使用する重みを変更することにある。例えば、正常構造推定部222は、以下の(1)式に基づいて、使用する重み関数の選択を行う。
【0056】
【数1】
【0057】
ここで、(1)式において、ziは座標xiにおいて検出した層境界のz座標、zi'は座標xiにおける推定した正常構造のz座標である。εiはziとzi'の差異である。a、b、cは推定する関数のパラメータである。ρ1、ρ2は重み関数であり、ρ1、ρ2はx=0で唯一の最小値を持つ正定値偶関数である。(1)式で示すように、εiの符号に応じて重み関数を選択する。
【0058】
図5中の符号d1及びd2の場合、差異の大きさは同じだとしても、差異の符号が異なる(ε1は正、ε2は負となる)ため、使用する重み関数は異なる。図5の場合では、符号d1で用いる重み関数はρ1、符号d2で用いる重み関数はρ2となる。また、εi≦0の関係が成り立つように正常構造を推定するのが望ましいので、zがz'よりも網膜の深部に位置する場合の重みが大きくなるように、重み関数を設定しておく。言い換えると、差異εiにおいて、ρ1(εi)≧ρ2(−εi)となるように、重み関数ρ1及びρ2を定義しておく。また、重み関数の選択は、上記の条件(即ち、眼部を構成する層(本例では網膜色素上皮層)の病変によって変形する特徴に基づく条件)を満たしていれば、どのような関数を用いてもよい。
【0059】
次に、近似関数を求めるための評価式の例を以下の(2)式に示す。
【0060】
【数2】
【0061】
(2)式において、ρ(εi)はεiの符号に応じて選択された重み関数(すなわち、ρ1またはρ2)である。
図6は、本発明の第1の実施形態を示し、断層画像に含まれる層の正常構造の推定する際に利用する重み関数の一例を示す模式図である。
【0062】
図6(a)、図6(b)及び図6(c)において、差異εiを横軸にとり、これをxとし、縦軸が重み関数ρ(x)とする。断層画像に含まれる層の正常構造の推定する際に利用する重み関数は、図6に示したものが全てではなく、どのような関数を設定してもよい。また、ρ(x)によって実際にどれほどの重みが与えられているかを確認するためには、ρ(x)の微分を取ればよい。本例では、正常構造推定部222は、上記の(2)式において、評価値Mが最小になるように関数を推定する。
【0063】
このように、誤差の符号に応じて適切な重み関数を選択することで、図3で示すように、層検出部221で検出した層境界B21が、正常構造推定部222で推定した正常構造B22の下側にはみ出してしまうことを抑制できる。そして、その結果として、正常構造の推定を精度よく行うことが可能となる。
【0064】
なお、ここでは、入力した3次元断層画像を2次元断層画像(B−scan画像)の集合と考え、それぞれの2次元断層画像に対して正常構造を推定する方法について説明を行った。しかしながら、正常構造の推定方法は、この方法に限定されるものではなく、例えば、3次元断層画像に対して処理を行ってもよい。この場合、ステップS102で検出した層境界の3次元的な座標点群に、上記と同様な重み関数の選択基準を用いて楕円体あてはめを行えばよい。なお、正常構造を近似する形状は、2次の関数に限定されるものではなく、他の次数の関数を用いて推定してもよい。
【0065】
(別の正常構造の推定方法)
ここで、上述した方法とは別の正常構造の推定方法について、図14を用いて説明する。なお、図14(a)は、正常眼における網膜の層構造の一例を示す図である。また、図14(b)は、加齢黄斑変性における網膜の層構造の一例を示す図である。図14(a)に示す正常眼における網膜色素上皮層1400aは、滑らかなカーブを有する構造を成している。一方、図14(b)に示す加齢黄斑変性における網膜色素上皮層1400bは、その領域の一部が上下に波打った形状となっている。なお、OCTによる眼部の断層画像は、3次元的に得られるものであるが、図14では説明を簡単にするために、その一断面を2次元的に表している。また、網膜色素上皮層は、厚みの少ない層なので、図14では一本の線で表している。
【0066】
このとき、OCTを用いた加齢黄斑変性の診断方法として、図14(b)に示す画像に基づいて、断層画像上で観察可能な現実の網膜色素上皮層境界(図14(c)の1401)と、同断層画像上におけるその正常構造(図14(c)の1402)とを得る。そして、断層画像上で観察可能な現実の網膜色素上皮層境界(1401)と、同断層画像上におけるその正常構造(1402)との差異部分(図14(c)の斜線部分)の面積や体積などによって病気の状態を定量化する。
【0067】
例えば、2次元断層画像(B−scan画像)から検出した網膜色素上皮層境界に対して二乗誤差が最小となるようにあてはめた楕円曲線を、その正常構造として用いることができる。なお、このような最小二乗法による楕円曲線のあてはめによって推定した正常構造は、実際の正常構造とは異なる場合がある。そのため、検出した層境界との差異に基づく面積を求めたとしても、病状を定量化する尺度として用いるのには、信頼性が不十分な場合もある。これにより、上述した正常構造の推定方法(点群と関数との差異の符号に応じて適切な重み関数に変更する手法)を用いることが好ましい。
【0068】
<ステップS104>
続いて、ステップS104において、定量化部223は、各種の定量化処理を行う。
まず、定量化部223は、ステップS102において層検出部221が検出した層の境界に基づいて、図3に示す、層L1の層厚T1、その層の面積及び体積を算出する処理を行う。ここで層厚T1は、xy平面上の各座標点で、層境界B1と層境界B21のz座標の差の絶対値を求めることで計算できる。また、層L1の面積は、それぞれのy座標ごとにx軸方向の各座標点での層厚を加算することによって計算できる。また、層L1の体積は、求めた面積をy軸方向に加算することで計算できる。
【0069】
さらに、定量化部223は、ステップS102で層検出部221が検出した網膜色素上皮層境界B21と、ステップS103で正常構造推定部222が推定したその正常構造B22に基づいて、ステップS102で検出された網膜色素上皮層の乱れを定量化する。
【0070】
具体的には、xy平面上の各座標点におけるB21の構造とB22の構造との差異T2(図3)を、両者のz座標の差として算出する。そして、求めた差異T2をx軸方向に加算することで差異のなす面積をy座標ごとに求め、さらに、求めた面積をy軸方向に加算することで差異のなす体積を算出する。なお、網膜色素上皮層の乱れを表す特徴量は、B21とB22の差異を定量化するものであれば、いずれのものであってもよい。例えば、求めた差異T2の最大値、中央値、分散、平均、標準偏差、閾値以上の点の数やその割合などを求め、これを用いてもよい。さらには、B21とB22のなす領域の濃度特徴として、平均濃度値、濃度分散値、コントラストなどを求めてもよい。
【0071】
また、定量化部223による定量化の方法として、定量化時に層の境界を平面に変換して、それを基準位置として定量化をしてもよい。その例を図7に示す。
図7は、本発明の第1の実施形態を示し、断層画像の平面化処理を説明するための模式図である。具体的に、図7は、図3における層の境界を、網膜層の一番深部の境界B22(例えば、網膜色素上皮層境界)を平面に変換し、他の層もその変形に合わせて変換した例を示したものである。
【0072】
さらに、定量化部223は、過去に定量化した層厚、面積、体積や形状特徴、濃度特徴などがある場合には、過去の定量化データとの比較を行う。以下に、過去の定量化データとの比較方法の例について説明する。
【0073】
この場合、まず、定量化部223は、過去と現在の断層画像の位置合わせを行う。この際、断層画像の位置合わせには、剛体アフィン変形や、非線形変形のFFD(Free form deforamation)などの公知の手法を用いることができる。そして、過去に撮影された断層画像と現在の断層画像との位置の対応が取れているならば、任意の断面での層厚、面積などの比較や、任意の領域の体積などを比較することができる。
【0074】
ここでは、過去と現在の断層画像の位置合わせをしてから、各種のデータを比較する例を示したが、例えば断層画像撮像装置120に追尾機能などが搭載されており、画像撮影時に前回と同じ位置を撮影できるのであれば、位置合わせを行う必要はない。さらには、位置合わせを行わずに、単純にB−scan画像のスライス番号同士での比較や、3Dで比較をしてもよい。
【0075】
なお、定量化部223では、上述した数値データの少なくとも1つを求めればよく、定量化するデータは、任意に設定できるものとする。もしも、1つも求めることができなければ、次のステップS105において、定量化できない旨を表示部240に表示してもよい。
【0076】
<ステップS105>
続いて、ステップS105において、表示部240は、断層画像と、断層画像の層と層の境界を検出した結果と、正常構造を推定した結果と、断層画像の層に関して定量化した結果を表示する処理を行う。本例では、表示部240は、例えばモニタ115を含み構成されるため、ステップS105の処理では、モニタ115上に各種のデータが表示される。ここで、過去のデータがある場合には、過去データと比較して表示するようにしてもよい。
【0077】
図8は、本発明の第1の実施形態を示し、図1に示す画像処理装置110−1によって得られた画像処理結果の表示例を示す模式図である。図8に示す例では、モニタ115の上部に、画像処理部220で検出した層と層の境界や推定した正常構造に係る断層画像801を表示し、モニタ115の下部に、断層画像801の解析結果として網膜層厚のグラフ802を表示している。
【0078】
なお、断層画像の表示として、画像取得部210で取得した断層画像に、画像処理部220で検出した層と層の境界や推定した正常構造を重畳表示してもよい。また、断層画像の表示として、特定の層の境界を平面に変換して、それを基準とした断層画像(図7)を生成して表示してもよい。なお、変形する層の範囲は、B−scan画像1枚であってもよいし、3次元断層画像でもよい。
【0079】
<ステップS106>
続いて、ステップS106において、記憶部230(データ記憶部232等)は、以上のステップS101〜S104で取得された各種のデータを関連付けて、ある患者の患者データとして磁気ディスク113に保存する。具体的には、ステップS101で得られた断層画像データ、ステップS102で得られた層及び層の境界のデータ、ステップS103で推定された層の正常構造データ、ステップS104で得られた層の定量化処理の結果が関連付けられて、保存される。なお、磁気ディスク113に保存するデータは、これらのデータうちの少なくとも1つでよい。
【0080】
ここで、正常構造の推定結果を保存する場合には、推定時に利用した重み関数ρ((1)式)と関数のパラメータ(例えば、(1)式のa、b、c)も同時に関連付けて保存しておき、経過観察時に同じ関数やパラメータを用いて推定するようにしてもよい。
【0081】
また、これらのデータの保存は、不図示の外部サーバに行ってもよい。この場合、記憶部230は、これらのデータを外部サーバへと送信する。
【0082】
なお、本実施形態において、層検出部221が検出する層としては、内境界膜と網膜色素上皮層に限定されるものではなく、神経線維層、視細胞層、外境界膜などの各層や膜を検出してよい。さらに、正常構造を推定する層の境界としては、網膜色素上皮層に限定されるものではなく、疾病により形状が凹凸に変化する層であれば、いずれの層並びに層境界を推定してもよい。
【0083】
以上説明した第1の実施形態によれば、被写体である眼部の断層画像において、当該眼部を構成する層(本実施形態では網膜色素上皮層)の正常構造を精度良く推定することができる。これにより、眼部における疾病の進行度や治療後の回復具合等を精度良く定量化することが可能となる。
【0084】
(第1の実施形態の変形例1)
第1の実施形態における画像処理装置110−1は、既に撮像された状態で保存されている眼部の断層画像を保持する画像蓄積サーバ(不図示)と、直接またはLAN130を介して接続し、当該画像蓄積サーバから断層画像を入力する構成であってもよい。この場合、図4のステップS101において、画像取得部210は、画像蓄積サーバ(不図示)に断層画像の送信を要求し、当該画像蓄積サーバから送信される断層画像を取得して、記憶部230に入力する。その後、上述したように、層の境界検出(S102)や定量化処理(S104)を行う。
【0085】
(第1の実施形態の変形例2)
第1の実施形態における画像処理装置110−1は、1枚または複数枚の二次元の断層画像を入力し、それに対して上述した解析処理(画像処理)を行う構成であってもよい。また、入力された三次元の断層画像から注目すべき断面を選択して、選択された二次元断層画像に対して処理を行う構成であってもよい。この場合、二次元断層画像の選択は、ユーザがマウス116やキーボード117を用いて、或いは、不図示のインターフェイスを用いて行ってもよいし、予め定めた眼底の特定部分(例えば黄斑部の中心を含む断面)に対して処理を行ってもよい。
【0086】
(第2の実施形態)
次に、本発明の第2の実施形態について説明する。
図9は、本発明の第2の実施形態に係る画像処理システム200の概略構成(ハードウェア構成)の一例を示す模式図である。
【0087】
図9に示すように、本実施形態に係る画像処理システム200は、画像処理装置110と、断層画像撮像装置120と、ローカルエリアネットワーク(LAN)130と、広域画像撮像装置140を有して構成されている。ここで、以下の説明においては、図9に示す画像処理装置110を、「画像処理装置110−2」とする。即ち、図9に示す画像処理システム200は、画像処理装置110−2が、LAN130を介して、断層画像撮像装置120のみならず、広域画像撮像装置140とも接続される構成となっている。なお、画像処理装置110−2と広域画像撮像装置140との接続は、USBやIEEE1394等のインターフェイスを介して直接行ってもよい。
【0088】
本実施形態に係る画像処理装置110−2は、第1の実施形態に係る画像処理装置110−1と同様に、眼部の断層画像から、網膜色素上皮層境界などの層境界を検出する。そして、画像処理装置110−2は、第1の実施形態に係る画像処理装置110−1と同様に、例えば、加齢黄斑変性等の疾病により層の形状が凹凸に変形するという特徴に基づいて、当該網膜色素上皮層の正常構造を推定し、疾病の定量化を行うものである。ただし、本実施形態に係る画像処理装置110−2は、眼部の断層画像から検出した網膜色素上皮層の形状が正常か異常かを局所領域ごとに判断し、正常と判断した範囲(正常範囲)の情報に基づいて、その正常構造を推定する。これに伴って、図9に示す画像処理装置110−2には、磁気ディスク113の内部に、第1の実施形態とは異なる、制御プログラム1132が格納されている。
【0089】
広域画像撮像装置140は、例えば眼部等の広域画像を撮像する装置であり、例えば、眼底カメラを備えて構成されている。広域像撮像装置30は、ユーザ(技師や医師)による操作に応じて、不図示の被検者(患者)の眼部等の広域画像を撮像する。そして、広域画像撮像装置140は、得られた広域画像を画像処理装置110−2へ出力する。
【0090】
次に、図9に示す画像処理装置110−2の機能構成について説明を行う。
図10は、本発明の第2の実施形態に係る画像処理装置110−2の機能構成の一例を示す模式図である。
【0091】
図10に示すように、画像処理装置110−2は、画像取得部210、画像処理部220、記憶部230、及び、表示部240の各機能構成を有して構成されている。第2の実施形態に係る画像処理装置110−2の機能構成については、図2に示す第1の実施形態に係る画像処理装置110−1の機能構成と基本的には同様の構成となる。ただし、第2の実施形態に係る画像処理装置110−2では、画像取得部210が広域画像取得部211と断層画像取得部212とから構成され、また、正常構造推定部222の内部に、層の形状が正常か異常かを判断する判断部2221が構成されている。
【0092】
次に、図11を参照して、本実施形態の画像処理装置110−2により実行される、具体的な処理手順を説明する。
図11は、本発明の第2の実施形態に係る画像処理装置110−2の制御方法の処理手順の一例を示すフローチャートである。
【0093】
<ステップS201>
まず、ステップS201において、断層画像取得部212は、断層画像撮像装置120に対して、被写体である眼部の断層画像の送信を要求し、断層画像撮像装置120から送信される眼部の断層画像を取得する。そして、断層画像取得部212は、断層画像撮像装置120から取得した断層画像を、画像処理部220及び記憶部230(画像記憶部231)に入力する。同様に、広域画像取得部211は、広域画像撮像装置140に対して、被写体である眼部の広域画像の送信を要求し、広域画像撮像装置140から送信される眼部の広域画像を取得する。そして、広域画像取得部211は、取得した広域画像を、画像処理部220及び記憶部230(画像記憶部231)に入力する。
【0094】
<ステップS202>
続いて、ステップS202において、層検出部221は、ステップS201で取得された断層画像から、被写体である眼部を構成する所定の層の境界を検出する処理を行う。ここで、層の検出方法については、第1の実施形態における図4のステップS102と同様である。なお、層の境界を検出するために、断層画像だけではなく、広域画像から病変や血管を抽出し、その情報を利用して検出するようにしてもよい。
【0095】
<ステップS203>
続いて、ステップS203において、正常構造推定部222の判断部2221は、ステップS202において層検出部221が検出した層境界(本例では、網膜色素上皮層境界(B21))について、正常範囲及び異常範囲を判断して検出する。そして、判断部2221は、ステップS202において層検出部221が検出した層境界を正常範囲と異常範囲とに分類する。
【0096】
具体的には、まず、例えば、層が正常構造である条件として、層境界の曲率は滑らかであると定義する。この場合、判断部2221による異常範囲の検出では、検出した層境界の局所的な曲率を計算し、層の境界形状を評価することで、曲率が滑らかに変化していない部分は異常範囲であるとする。或いは、判断部2221による異常範囲の検出では、眼部の広域画像から白斑や出血やドルーゼンを検出し、病変が存在する広域画像の(x,y)領域に対応する断層画像のz方向の網膜層構造は異常であるとする。そして、判断部2221は、断層画像中での正常範囲と異常範囲の位置を分類しておく。
【0097】
<ステップS204>
続いて、ステップS204において、正常構造推定部222は、ステップS203で正常と判断された範囲に含まれている層境界と、当該層の病変によって変形する特徴とに基づいて、当該層の正常構造を推定する処理を行う。
【0098】
ここで、ステップS204における正常構造の推定方法としては、第1の実施形態における図4のステップS103と同様に、多項式を用いて正常構造を近似して推定を行う。この際、正常構造推定部222は、判断部2221で正常と判断された座標群のみを用いて多項式のパラメータを計算し、正常構造を近似する。或いは、正常構造推定部222は、多項式で近似せず、判断部2221で正常と判断された座標群をスプライン補間などの補間処理を行って、正常構造を推定するようにしてもよい。
【0099】
<ステップS205>
続いて、ステップS205において、定量化部223は、第1の実施形態における図4のステップS104と同様に、各種の定量化処理を行う。
【0100】
<ステップS206>
続いて、ステップS206において、表示部240は、第1の実施形態における図4のステップS105と基本的には同様の表示処理を行う。この際、本実施形態では、さらに、推定した正常構造と検出した層境界の表示において、任意の情報を選択して表示できるようにしてもよい。これについて、図12を用いて説明する。
【0101】
図12は、本発明の第2の実施形態を示し、断層画像に含まれる層の境界の表示例を示す模式図である。
図12において、層検出部221が検出した層境界は実線で示し、正常構造推定部222が推定した正常構造は点線で示している。
【0102】
具体的に、図12(a)は、検出した層境界と推定した正常構造を同時に表示する一例である。図12(b)は、推定した正常構造のみを表示する一例である。図12(c)は、同一の層境界内で、正常範囲については検出した層境界を表示し、異常範囲については検出した層境界と推定した正常構造を同時に表示する一例である。図12(d)は、同一の層境界内で、正常範囲については検出した層境界を表示し、異常範囲については推定した正常構造のみを表示する一例である。
【0103】
ステップS206における表示の方法として、図12(a)〜図12(d)に示した検出結果と推定結果を断層画像上に重畳表示してもよいし、検出結果と推定結果を、断層画像と別に表示するようにしてもよい。このように、層境界に関する情報の表示方法を選択し、任意の情報を表示できるようにしてもよい。
【0104】
<ステップS207>
続いて、ステップS207において、記憶部230は、第1の実施形態における図4のステップS106と基本的には同様の記憶処理を行う。この際、さらに、撮像部位の確認等の理由で、広域画像と広域画像上における断層画像の取得範囲を一緒に記憶して提示できるようにしてもよい。
【0105】
以上説明した第2の実施形態によれば、被写体である眼部の断層画像において、網膜色素上皮層の構造が正常か異常かを局所領域ごとに判断するようにしたので、正常と判断した領域から、疾病により変化した当該層の正常構造を精度良く推定することができる。これにより、その結果を用いて疾病の進行度や治療後の回復具合を精度良く定量化することが可能となる。
【0106】
(第3の実施形態)
次に、本発明の第3の実施形態について説明する。
第3の実施形態に係る画像処理システムの概略構成は、図1に示す第1の実施形態に係る画像処理システム100と同様である。また、第3の実施形態に係る画像処理装置110の機能構成は、図2に示す第1の実施形態に係る画像処理装置110−1の機能構成と基本的には同様である。ただし、正常構造推定部222の処理が異なるため、ここでは、第3の実施形態に係る画像処理装置110を「画像処理装置110−3」とする。
【0107】
また、本実施形態の画像処理装置110−3は、第1の実施形態に係る画像処理装置110−1等と同様に、眼部の断層画像から、網膜色素上皮層境界などの層境界を検出する。そして、画像処理装置110−3は、第1の実施形態に係る画像処理装置110−1と同様に、例えば、加齢黄斑変性等の疾病により層の形状が凹凸に変形するという特徴に基づいて、当該網膜色素上皮層等の正常構造を推定し、疾病の定量化を行うものである。ただし、本実施形態に係る画像処理装置110−3は、眼部の断層画像から検出した網膜色素上皮層境界の形状が、正常構造を表す1つの多項式に係る関数と、病変によるn個の上に凸のガウス関数の混合分布であると仮定して、正常構造を推定する。これは、下からの隆起によって発生した層の凹凸をガウス関数で近似し、それ以外の大局的な形状を多項式で推定するためである。
【0108】
本実施形態における図2の正常構造推定部222は、検出された座標点群に関数のあてはめを行う際、層境界の形状が、正常構造を表す2次関数と、n個のガウス関数の混合分布であると仮定する。そして、本実施形態における正常構造推定部222は、これらの混合分布を推定することで、形状が凹凸に変形した層の正常構造を推定する。この例を図13に示す。
【0109】
図13は、本発明の第3の実施形態を示し、断層画像に含まれる層の正常構造の推定を説明するための模式図である。具体的に、図13(a)の1300は、加齢黄斑変性における網膜色素上皮層境界の形状例を示している。また、図13(b)の1301及び1302は、それぞれ、図13(a)の網膜色素上皮層境界1300から求められる多項式、及び、ガウス関数の例を示している。
【0110】
2次関数とガウス関数の混合分布は、EMアルゴリズムを用いて解を求めることができる。この際、混合分布は、多項式と複数のガウス関数とを組み合わせた確率モデルで、多項式とガウス関数の確率に重みをつけて加算したものである。
【0111】
本実施形態における正常構造推定部222は、2次関数のパラメータ(a、b、c)とガウス関数のパラメータ(平均、分散共分散行列)と、2次関数とガウス関数との混合率を、EMアルゴリズムを用いて推定する。この際、n個のガウス関数の設定は、多項式と検出した層境界との差異の符号において、負のピークの数に応じてnを設定してもよいし、あるいは、1〜Nの間でnを順番に増やしていき、評価値が最大になる数nを設定するようにしてもよい。
【0112】
また、EMアルゴリズムは、初期値としてパラメータを仮に設定し、Estepにおいてパラメータの妥当性を判断し、Mstepにおいて、妥当性が向上するようにパラメータを選択するものである。本例では、これらのEstepとMstepを繰り返し計算して、収束した時点のパラメータを選択する。ここで、妥当性は、現時点での尤度で判断し、パラメータの選択は、現時点での尤度より大きくなるパラメータを選択する。
【0113】
本実施形態では、n個の上に凸のガウス関数を、滑らかな1つの2次関数に混合しているとしている。これは、下からの隆起によって発生した層の凹凸を前者のガウス関数で近似し、それ以外の大局的な形状を2次関数で推定するためである。なお、ここでは、入力した3次元断層画像を2次元断層画像(B−scan画像)の集合と考え、それぞれの2次元断層画像に対して正常構造を推定する方法を示している。しかしながら、正常構造の推定方法は、これに限定されるものではなく、3次元の断層画像に対して処理を行ってもよい。また、正常構造を近似する形状は、2次関数に限定されるものではなく、他の次数の関数を用いて推定してもよい。さらに、正常構造を推定する層の境界は、網膜色素上皮層に限定されるものではなく、疾病により形状が凹凸に変化する層であれば、いずれの層並びに層境界を推定してもよい。
【0114】
(その他の実施形態)
前述した本発明の各実施形態に係る画像処理装置110を構成する図2及び図10の各構成部、並びに、図4及び図11の各ステップは、CPU111が磁気ディスク113に記憶されている制御プログラムを実行することによって実現できる。この制御プログラム及び当該制御プログラムを記憶したコンピュータ読み取り可能な記録媒体(実施形態では磁気ディスク113)は本発明に含まれる。
【0115】
また、本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、1つの機器からなる装置に適用してもよい。
【0116】
なお、本発明は、前述した各実施形態の機能を実現するソフトウェアのプログラム(実施形態では図4及び図11に示すフローチャートに対応したプログラム)を、システム或いは装置に直接、或いは遠隔から供給するものを含む。そして、そのシステム或いは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合も本発明に含まれる。
【0117】
したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【0118】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等の形態であってもよい。
【0119】
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、MO、CD−ROM、CD−R、CD−RWなどがある。また、磁気テープ、不揮発性のメモリカード、ROM、DVD(DVD−ROM,DVD−R)などもある。
【0120】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、若しくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。
【0121】
また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるWWWサーバも、本発明に含まれるものである。
【0122】
また、本発明のプログラムを暗号化してCD−ROM等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、ダウンロードした鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【0123】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他、そのプログラムの指示に基づき、コンピュータ上で稼動しているOSなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
【0124】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現される。
【0125】
なお、前述した各実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【0126】
110−1 画像処理装置
210 画像取得部
220 画像処理部
221 層検出部
222 正常構造推定部
223 定量化部
230 記憶部
231 画像記憶部
232 データ記憶部
240 表示部
【特許請求の範囲】
【請求項1】
眼部の眼底の断層画像から層を検出する層検出手段と、
前記層の形状に基づいて、前記眼底の深さ方向に凸な曲線を求める演算手段と、
前記層と前記曲線との差異を定量化する定量化手段と、
を有することを特徴とする画像処理装置。
【請求項2】
前記層の形状に基づいて、前記層の複数の特徴箇所を検出する特徴箇所検出手段を更に有し、
前記演算手段は、前記複数の特徴箇所に基づいて、前記曲線を求めることを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記特徴箇所検出手段は、前記深さ方向における前記層の深部に位置する深部箇所を検出し、
前記演算手段は、前記深部箇所を含む前記複数の特徴箇所に基づいて、前記曲線を求めることを特徴とする請求項2に記載の画像処理装置。
【請求項4】
前記演算手段は、前記複数の特徴箇所に基づく2次曲線を前記曲線として求めることを特徴とする請求項2または3に記載の画像処理装置。
【請求項5】
前記層との差が最小になる2次曲線を最小二乗法によって求めることを特徴とする請求項4に記載の画像処理装置。
【請求項6】
前記演算手段は、前記複数の特徴箇所それぞれに関数をあてはめて、前記複数の特徴箇所と前記関数との差異の符号に応じて、前記関数の重みを変更して、前記曲線を前記層の正常構造として推定することを特徴とする請求項2乃至5のいずれか1項に記載の画像処理装置。
【請求項7】
前記特徴箇所検出手段は、前記層の境界を表す座標点群を前記複数の特徴箇所として検出し、
前記演算手段は、前記座標点群に2次関数をあてはめて、前記曲線を前記層の正常構造として推定することを特徴とする請求項2乃至6のいずれか1項に記載の画像処理装置。
【請求項8】
前記定量化手段により定量化した結果を示す表示形態を表示手段に表示させる表示制御手段を更に有することを特徴とする請求項1乃至7のいずれか1項に記載の画像処理装置。
【請求項9】
前記表示制御手段は、前記定量化手段により定量化した結果を過去の定量化データと比較して前記表示手段に表示させることを特徴とする請求項8に記載の画像処理装置。
【請求項10】
前記表示制御手段は、前記層と前記曲線との差異を示す差異領域を前記断層画像上に重畳して前記表示手段に表示させることを特徴とする請求項8または9に記載の画像処理装置。
【請求項11】
前記表示制御手段は、前記曲線を示す表示形態を前記断層画像上に重畳して前記表示手段に表示させることを特徴とする請求項8乃至10のいずれか1項に記載の画像処理装置。
【請求項12】
前記定量化手段により定量化した結果が、前記層と前記曲線との距離、面積、体積のうちの少なくとも1つであることを特徴とする請求項1乃至11のいずれか1項に記載の画像処理装置。
【請求項13】
前記演算手段は、前記眼底の3次元断層画像を構成する複数の2次元断層画像それぞれに対して前記曲線を求めることを特徴とする請求項1乃至12のいずれか1項に記載の画像処理装置。
【請求項14】
前記層検出手段は、前記眼底の網膜色素上皮層に相当する前記断層画像中の層を検出することを特徴とする請求項1乃至13のいずれか1項に記載の画像処理装置。
【請求項15】
前記層検出手段は、前記断層画像からエッジ成分を前記層の境界として検出することを特徴とする請求項1乃至14のいずれか1項に記載の画像処理装置。
【請求項16】
眼部の眼底の断層画像から層を検出する工程と、
前記層の形状に基づいて、前記眼底の深さ方向に凸な曲線を求める工程と、
前記層と前記曲線との差異を定量化する工程と、
を有することを特徴とする画像処理方法。
【請求項17】
請求項16に記載の画像処理方法の各工程をコンピュータに実行させることを特徴とするプログラム。
【請求項1】
眼部の眼底の断層画像から層を検出する層検出手段と、
前記層の形状に基づいて、前記眼底の深さ方向に凸な曲線を求める演算手段と、
前記層と前記曲線との差異を定量化する定量化手段と、
を有することを特徴とする画像処理装置。
【請求項2】
前記層の形状に基づいて、前記層の複数の特徴箇所を検出する特徴箇所検出手段を更に有し、
前記演算手段は、前記複数の特徴箇所に基づいて、前記曲線を求めることを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記特徴箇所検出手段は、前記深さ方向における前記層の深部に位置する深部箇所を検出し、
前記演算手段は、前記深部箇所を含む前記複数の特徴箇所に基づいて、前記曲線を求めることを特徴とする請求項2に記載の画像処理装置。
【請求項4】
前記演算手段は、前記複数の特徴箇所に基づく2次曲線を前記曲線として求めることを特徴とする請求項2または3に記載の画像処理装置。
【請求項5】
前記層との差が最小になる2次曲線を最小二乗法によって求めることを特徴とする請求項4に記載の画像処理装置。
【請求項6】
前記演算手段は、前記複数の特徴箇所それぞれに関数をあてはめて、前記複数の特徴箇所と前記関数との差異の符号に応じて、前記関数の重みを変更して、前記曲線を前記層の正常構造として推定することを特徴とする請求項2乃至5のいずれか1項に記載の画像処理装置。
【請求項7】
前記特徴箇所検出手段は、前記層の境界を表す座標点群を前記複数の特徴箇所として検出し、
前記演算手段は、前記座標点群に2次関数をあてはめて、前記曲線を前記層の正常構造として推定することを特徴とする請求項2乃至6のいずれか1項に記載の画像処理装置。
【請求項8】
前記定量化手段により定量化した結果を示す表示形態を表示手段に表示させる表示制御手段を更に有することを特徴とする請求項1乃至7のいずれか1項に記載の画像処理装置。
【請求項9】
前記表示制御手段は、前記定量化手段により定量化した結果を過去の定量化データと比較して前記表示手段に表示させることを特徴とする請求項8に記載の画像処理装置。
【請求項10】
前記表示制御手段は、前記層と前記曲線との差異を示す差異領域を前記断層画像上に重畳して前記表示手段に表示させることを特徴とする請求項8または9に記載の画像処理装置。
【請求項11】
前記表示制御手段は、前記曲線を示す表示形態を前記断層画像上に重畳して前記表示手段に表示させることを特徴とする請求項8乃至10のいずれか1項に記載の画像処理装置。
【請求項12】
前記定量化手段により定量化した結果が、前記層と前記曲線との距離、面積、体積のうちの少なくとも1つであることを特徴とする請求項1乃至11のいずれか1項に記載の画像処理装置。
【請求項13】
前記演算手段は、前記眼底の3次元断層画像を構成する複数の2次元断層画像それぞれに対して前記曲線を求めることを特徴とする請求項1乃至12のいずれか1項に記載の画像処理装置。
【請求項14】
前記層検出手段は、前記眼底の網膜色素上皮層に相当する前記断層画像中の層を検出することを特徴とする請求項1乃至13のいずれか1項に記載の画像処理装置。
【請求項15】
前記層検出手段は、前記断層画像からエッジ成分を前記層の境界として検出することを特徴とする請求項1乃至14のいずれか1項に記載の画像処理装置。
【請求項16】
眼部の眼底の断層画像から層を検出する工程と、
前記層の形状に基づいて、前記眼底の深さ方向に凸な曲線を求める工程と、
前記層と前記曲線との差異を定量化する工程と、
を有することを特徴とする画像処理方法。
【請求項17】
請求項16に記載の画像処理方法の各工程をコンピュータに実行させることを特徴とするプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【公開番号】特開2012−148141(P2012−148141A)
【公開日】平成24年8月9日(2012.8.9)
【国際特許分類】
【出願番号】特願2012−102702(P2012−102702)
【出願日】平成24年4月27日(2012.4.27)
【分割の表示】特願2009−48514(P2009−48514)の分割
【原出願日】平成21年3月2日(2009.3.2)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
【公開日】平成24年8月9日(2012.8.9)
【国際特許分類】
【出願日】平成24年4月27日(2012.4.27)
【分割の表示】特願2009−48514(P2009−48514)の分割
【原出願日】平成21年3月2日(2009.3.2)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
[ Back to top ]