説明

画像処理装置、画像処理方法及びプログラム。

【課題】 同一眼において、複数の層の厚みを関連関連付けて表示することで、複数層の層情報を把握し易い画像処理装置を提供する。
【解決手段】 眼部の断層画像から複数の層厚に関する情報を取得する取得手段と、
前記複数の層厚に関する情報を関連付けて表示手段に表示させる表示制御手段と、
を有する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、眼部の断層画像を表示するための画像処理装置に関し、特に眼部の層厚に関する情報を表示するための画像処理装置に関する。
【背景技術】
【0002】
光干渉断層計(OCT;Optical Coherence Tomography)などの眼部の断層画像撮影装置は、網膜層内部の状態を三次元的に観察することが可能である。この断層画像撮影装置は、疾病の診断をより的確に行うのに有用であることから近年注目を集めている。
【0003】
眼科の診断においては、網膜層全体の状態を把握するためにボリューム画像と、低画質な断層画像には写らない層を把握するための高画質な二次元断層画像とが用いられる場合がある。なお、ボリューム画像とは二次元断層画像の集合のことをいう。
【0004】
図3にOCTで撮影した網膜の黄斑部断層画像の模式図を示す。図3では、網膜層内の各層1〜10と、z軸方向に並行な1列の画素列A(A−scan)を示している。断層画像は、同一平面上に位置する複数のA−scanで構成される。例えば、このような断層画像が入力された場合に、層の厚みを計測できれば、緑内障などの疾病の進行度や治療後の回復具合を定量的に診断することが可能となる。これらの層の厚みを定量的に計測するために、コンピュータを用いて断層画像から網膜の各層の境界を検出し、層の厚みを計測する技術が開示されている(特許文献1参照)。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2008−073099号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかし、特許文献1では、複数の層間の厚み情報を関連付ける思想はない。そのため、複数層の層厚分布を把握しづらい場合がある。
本発明は上記課題に鑑みてなされたものであり、複数の層情報を関連付けて表示することで、複数層の層情報を把握し易い画像処理装置を提供する。
【課題を解決するための手段】
【0007】
上記の目的を達成するための、本発明の一態様による画像処理装置は、
眼部の断層画像から複数の層厚に関する情報を取得する取得手段と、
前記複数の層厚に関する情報を関連付けて表示手段に表示させる表示制御手段と、
を有する。
【発明の効果】
【0008】
本発明によれば、複数の層情報を関連付けて表示することで、複数層の層情報を把握し易くなる。
【図面の簡単な説明】
【0009】
【図1】画像処理システムの構成を示す図である。
【図2】画像処理装置における処理の流れを示すフローチャートである。
【図3】網膜の黄斑部断層画像の模式図である。
【図4】層厚グラフを説明するための図である。
【図5】画像処理装置の表示の一例を示す図である。
【図6】画像処理装置の表示の一例を示す図である。
【図7】画像処理システムの構成を示す図である。
【図8】画像処理装置における処理の流れを示すフローチャートである。
【図9】画像処理装置の表示の一例を示す図である。
【発明を実施するための形態】
【0010】
[実施例1]
以下、図面を参照しながら、本発明の第1の実施形態について説明する。なお、本実施形態に係る眼科装置は、基準となる層境界に対して複数の層の厚みを1つのグラフに視認性良く表示することを特徴としている。
以下、本実施形態に係る画像処理装置を備える画像処理システムについて、詳細を説明する。
【0011】
図1は、本実施形態に係る画像処理装置110を備える画像処理システム100の構成を示す図である。図1に示すように、画像処理システム100は、画像処理装置110が、インタフェースを介して断層画像撮影装置120と接続されることにより構成されている。
【0012】
断層画像撮影装置120は、眼部の断層画像を撮影する装置であり、例えばタイムドメイン方式のOCTやフーリエドメイン方式のOCTからなる。なお、断層画像撮影装置120は既知の装置であるため、詳細な説明は省略する。
【0013】
画像処理装置110は、画像取得部111、記憶部112、層解析部113、表示制御部114とを備える。層解析部113は、取得部115、層厚計算部116、層厚グラフ作成部117からなる。画像取得部111は、断層画像撮影装置120により撮影された断層画像を取得し、記憶部112に格納する。取得部115では、記憶部112で記憶している断層画像から層を検出する。層厚計算部116では、画像処理部で検出した層の厚みを計算し、層厚グラフ作成部117では、計算した層の厚みから層厚グラフを作成する。次に、図2(a)を参照して本実施形態の画像処理装置110の処理手順を示す。
【0014】
<ステップS201>
ステップS201では、画像取得部111は、断層画像撮像装置120から断層画像を取得する。そして、記憶部112に断層画像を記憶する。
【0015】
<ステップS202>
ステップS202において、取得部115は、ステップS201で取得した断層画像の各A−scanから網膜層内部の各層を検出する。網膜層内部の層検出について図3を用いて説明をする。図3は、網膜の黄斑部断層画像を示している。1は内境界膜(ILM)、2は神経線維層(NFL)、3は神経節細胞層(GCL)、4は内網状層(IPL)、5は内顆粒層(INL)、6は外網状層(OPL)、7は外顆粒層(ONL)、8は外境界膜(ELM)、9は視細胞内節外節接合部(IS/OS)、10は網膜色素上皮層(RPE)を表す。取得部115は1〜10の各層の少なくとも1層を検出する。ここで、取得部115が層を検出するというのは、層と層の境界を検出することと同じである。例えば、硝子体と網膜との境界の内境界膜1と、神経線維層2/神経節細胞層3との境界を検出することで、神経線維層2を検出することになる。
【0016】
網膜層の検出について、まず、断層画像に対して、メディアンフィルタとSobelフィルタをそれぞれ適用して画像を作成する(以下、メディアン画像、Sobel画像とする)。次に、変換したメディアン画像とSobel画像から、A−scan毎にプロファイルを作成する。メディアン画像では輝度値のプロファイル、Sobel画像では勾配のプロファイルとなる。そして、Sobel画像から作成したプロファイル内のピークを検出する。検出したピークの前後やピーク間に対応するメディアン画像のプロファイルを参照することで、網膜層を検出する。
【0017】
<ステップS203>
ステップS203では、層厚計算部116が網膜層の厚みを計算する。この処理について図3を用いて説明する。例えば、ステップS202において、内境界膜1と、神経線維層2/神経節細胞層3との境界を検出したとする。この場合、神経線維層2の厚みを計算することとなる。層の厚みは、xz平面上の各x座標において、内境界膜1のz座標と、神経線維層2/神経節細胞層3境界のz座標との差を求めることで計算出来る。さらに、層厚計算部116は、厚みだけではなく、層の面積や体積を求めても良い。神経線維層2の面積は、1枚の断層画像においてx軸の各座標点での層厚を加算することによって計算出来る。また、神経線維層2の体積は、求めた面積をy軸方向に加算することで計算出来る。層厚計算部116で求めた計算結果は記憶部112に記憶しておく。
【0018】
ここでは、神経線維層2の計算を例に説明したが、他の層や網膜層全体の厚み、面積、体積も同様にして求めることが出来る。
【0019】
<ステップS204>
ステップS204において、層厚グラフ作成部117は、層厚グラフに厚みの結果を表示する層の選択を行う。層厚グラフに表示する層は、記憶部113に保存されている初期化時に決められている層を選択するようにしても良いし、病名に応じて層を選択してもよい。病名に応じて層を選択する場合の病名の取得方法例として、撮影時のスキャンパターンと病名とを関連付けておくことで、入力された断層画像の撮影パターンによって病名を取得する。あるいは、患者情報に記載されている病名を取得する。あるいは、取得部115が断層画像から網膜層を検出する時に、画像特徴や網膜層の形状特徴から病名を判定するなどの方法がある。
【0020】
本実施例においては、緑内障眼の断層画像が入力された場合について説明をする。
【0021】
<ステップS205>
ステップS205において、層厚グラフ作成部117は、ステップS203で求めた層の厚みから層厚グラフを作成する。この処理について図4を参照して説明をする。図4は、神経線維層2、神経節細胞層3、内網状層4の三層を合計した網膜神経節細胞複合体(GCC)の層厚グラフを作成する例である。
【0022】
緑内障は神経節細胞が死滅することによって、神経節細胞層3、神経線維層2の層厚が薄くなっていく。そのため、神経線維層2、神経節細胞層3、内網状層4の三層を合計した網膜神経節細胞複合体を用いて層厚の評価を行うことで、緑内障の進行具合や治療の効果などをみる。これら三層の中で層厚の変化が大きいのは神経節細胞層3であり、次に神経線維層2、最後に内網状層4である。そのため、全体厚の変化と各層との厚みの変化を同時に表示することで、各層の厚み変化の相関を見ることが出来る。
【0023】
層厚グラフ作成処理では、断層画像での層と層厚グラフとの対応付けを行う処理と、基準とする層の選択処理がある。これについて図2(b)と図4を用いて説明する。
【0024】
<ステップS250>
ステップS250において、同一眼において、複数の層厚を含んだ1つの層厚グラフを作成する場合、層厚グラフにおける層の厚みが、断層画像のどの層に対応しているのかを分かり易くする必要がある。そのため、断層画像に重畳する層境界線の色と層厚グラフの線の色とを同じにして層厚グラフを作成する。層厚グラフ作成部117は、記憶部112に記憶されている層境界線カラーテーブルを参照して線の色を決定する。例えば、層境界線カラーテーブルに、内境界膜1は赤色、神経線維層2/神経節細胞層3との境界線は橙色、神経節細胞層3/内網状層4との境界線は青色、内網状層4/内顆粒層5との境界線は黄色として保存されているとする。その場合、図4(a)〜(c)の層厚グラフにおいてB1は赤色、B2は橙色、B3は青色、B4は黄色となる。
【0025】
<ステップS251>
ステップS251において、複数の層厚を表示する際の基準となる層を選択する。基準となる層は所定の層を選択できるものである。
【0026】
図4(a)、(b)は、複数の層の中に位置する境界を基準として、その上下に層厚グラフを作成する。図4(a)、(b)は、ステップS202において神経節細胞層3を検出した場合の例である。
【0027】
図4(a)は、神経線維層2/神経節細胞層3との境界を基準(B2)とし、基準線の上に神経線維層2の層厚、基準の下に神経節細胞層3、内網状層4の層厚グラフを作成し、網膜神経節細胞複合体全体の層厚を表している。ここでは、網膜神経節細胞複合体の厚みと各層2〜4の厚みを表示しているが、神経線維層2と神経節細胞層3に注目して、神経線維層2と神経節細胞層3のグラフとしても良い。
【0028】
図4(b)は、神経線維層2/神経節細胞層3との境界を基準線(B2)とし、基準線の上に神経線維層2、基準の下に神経節細胞層3の厚みをグラフとして作成した例である。図4(b)において、N2、N3は、複数の正常眼で層の厚みを計測した、層厚の正常眼データベースを示している。ここで、N2は神経線維層2の厚みの正常眼データベース、N3は神経節細胞層3の厚みの正常眼データベースを示している。正常眼データベースが帯状の形状をしているのは、複数の正常眼の層厚を計測した際の層厚のばらつきを帯状表示しているためである。すなわち、層の厚みグラフがこの帯状の範囲に収まっていなければ、層の厚みが正常値から外れていることが示される。
【0029】
図4(c)では、表示する層の一番深部(z座標の正の方向)に位置する層境界を基準とし、その上に層厚グラフを作成する例を説明する。
【0030】
図4(c)は、ステップS202において、神経節細胞層3を検出していない場合の例である。内網状層4/内顆粒層5との境界を基準線(B4)とし、基準の上に神経線維層2、神経節細胞層3+内網状層4の層厚グラフとして作成している。ここでは図示しないが、図4(c)のように基準の片側にのみ層厚グラフを表示する場合においても、図4(b)で示すような層厚の正常眼データベースを含んだ層厚グラフを作成しても良い。
【0031】
なお、ステップS205からステップS251において、神経線維層2、神経節細胞層3、内網状層4の層厚グラフを作成する場合の例を示したが、これらの層に限定するものではなく、他の層も同様にして層厚グラフを作成する事が出来る。例えば、加齢黄斑変性の場合は、老化現象によって黄斑部に異常が生じる病気であり、網膜が一部凹凸の形状になる。そのため、病気の程度を定量化するために、本来の網膜の形状からどれだけ形状が変化したのかを計測する。その際には、不図示の網膜色素上皮層の推定位置を基準とし、内境界膜1、網膜色素上皮層10の厚みを計測した層厚グラフを作成する。ここで、網膜色素上皮層の推定位置とは、取得部115において検出した網膜色素上皮層10の形状から、加齢黄斑変性でない場合の網膜色素上皮層の形状を推定したものである。推定方法としては、検出した網膜色素上皮層10の座標点からM推定法などを用いて任意の関数(例えば、二次曲線)で形状を推定する。あるいは、同一の被検眼において、加齢黄斑変性にかかる前の網膜色素上皮層の形状データがある場合には、その過去データを用いて形状を推定してもよい。もしくは、複数の正常眼から作成した一般の網膜色素上皮層の形状データがある場合には、その一般データを用いて形状を推定してもよい。
【0032】
<ステップS206>
ステップS206において、表示制御部114は、断層画像と、取得部115で検出した層の検出結果と、層厚グラフ作成部117で作成した層厚グラフを不図示の表示部に表示する。この処理について図5を用いて説明をする。図5は断層画像501と層厚グラフ502を表示部に表示する一例を示している。図5において、B1’〜B4’は取得部115が各層の境界を検出した結果を断層画像501の上に重畳表示したものである。図5(a)は、断層画像501に層境界線B1’〜B4’を重畳表示する際に、記憶部112に記憶している層境界線カラーテーブルを参照して層境界線の色を決定する。したがって、本実施例において断層画像501の上に重畳表示する層境界線の色は、B1’は赤色、B2’は橙色、B3’は青色、B4’は黄色となる。図5(b)は、層厚グラフ502に表示している層全体に色を付けて、対応をとる例を示している。本実施例においては、神経線維層2は橙色、神経節細胞層3は青色、内網状層4は黄色となる。網膜層全体に色を表示する場合には、透明度を設定して半透明で表示をする。なお、透明度は任意に変更できるものである。
【0033】
図6に、色以外での対応関係をとる場合の断層画像601と層厚グラフ602と層境界線B1’〜B4’との表示例を示す。図6(a)は、断層像に重畳する層境界線B1’〜B4’と層厚グラフの線B1〜B4の種類(実線、点線、一点差線など)を揃えた場合の表示例である。また、図6(b)は、層厚グラフ602の中に対応する層の名前を表示した例である。この場合は、層厚グラフ内部に対応する層の名前を表示しているが、グラフ線の横に層の境界線の名前を表示するようにしても良い。なお、名前の表記については、神経線維層、NFL、nerve fiver layerなど実際の網膜層を判断出来るものであれば任意のものを用いてよい。
【0034】
その他に、図示はしないが、層厚グラフに表示している層厚のグラフ線と断層画像中の層とを線で結ぶことで対応付けを行っても良い。
【0035】
なお、図5〜図6に示した層と層厚グラフとの対応方法は1つだけ用いても良いし、複数組み合わせて用いても良い。複数組み合わせる例として、層境界線と層厚グラフ線との色を同じにし、層厚グラフ内部に層の名前を表示する方法が考えられる。
【0036】
<ステップS207>
ステップS207において、不図示の指示取得部は、画像処理装置110による断層画像の処理を終了するか否かの指示を外部から取得する。この指示は、不図示のユーザーインターフェイスを用いて、操作者によって入力される。処理を終了する指示を取得した場合には、画像処理装置110はその処理を終了する。一方、処理を終了せずに、表示する層厚を変更する場合には、ステップS204に処理を戻して、別の層厚グラフを作成して結果を表示する。
以上によって、画像処理装置110の処理が行われる。
【0037】
以上で述べた構成によれば、基準となる層境界に対して複数の層の厚みを1つのグラフに視認性良く表示する。そのため、層厚全体の変化と各層との厚み変化を同時に表示することで、各層の厚み変化の相関を見ることが出来る。
【0038】
[実施例2]
上記第1の実施形態では、同一眼において、複数の層を1つのグラフに視認性良く表示する方法について述べた。本実施形態では、異なる複数眼の複数の層厚を1つのグラフに表示することを特徴としている。
【0039】
図7は、本実施形態に係る画像処理装置710を備える画像処理システム700の構成を示す図である。図7に示すように、画像処理装置710は、画像取得部111、記憶部712、層解析部713、表示制御部714、取得部115、層厚計算部116、層厚グラフ作成部717とを備える。このうち、上記第1の実施形態と同様の機能を有するものに関しては、ここでは説明を省略する。
【0040】
層厚グラフ作成部717は、異なる眼の複数の層厚を1つのグラフにまとめた層厚グラフを作成する。異なる眼とは、例えば、右眼と左眼、同一眼の過去と現在などである。本実施例では右眼と左眼の場合について説明をする。
【0041】
以下、図8、図9を参照して本実施形態の画像処理装置710の処理手順を示す。なお、ステップS805、ステップS850、ステップS806以外は、第1実施形態と同様なので説明は省略する。
【0042】
<ステップS805>
ステップS805において、層厚グラフ作成部717は、ステップS803で求めた層の厚みから層厚グラフを作成する。本実施例では、神経線維層2、神経節細胞層3の層厚グラフを作成する例を説明する。
【0043】
<ステップS850>
ステップS850において、異なる眼の複数の層厚を含んだ1つの層厚グラフを作成する場合、層厚グラフにおける層の厚みが、断層画像のどの層に対応しているのかを分かり易くする必要がある。そのため、断層画像に重畳する層境界線の色と層厚グラフのグラフ線の色を同じにして層厚グラフを作成する。層厚グラフ作成部717は、記憶部712に記憶されている層境界線カラーテーブル1と層境界線カラーテーブル2を参照して線の色を決定する。例えば、層境界線カラーテーブル1に、内境界膜1は赤色、神経線維層2/神経節細胞層3との境界線は橙色、神経節細胞層3/内網状層4との境界線は青色として保存されているとする。そして、層境界線カラーテーブル2に、内境界膜1は桃色、神経線維層2/神経節細胞層3との境界線は山吹色、神経節細胞層3/内網状層4との境界線は水色として保存されている。その場合、右眼のグラフ線には層境界線カラーテーブル1を適用し、左眼のグラフ線には層境界線カラーテーブル2を適用する。色の組み合わせはここで述べたものに限定されるわけではなく、層境界線カラーテーブル1と2において、同じ境界線を示す色は補色の関係にあるものにしても良い。あるいは、層境界線カラーテーブル1を原色、層境界線カラーテーブル2をパステルカラーなどにしても良い。
【0044】
また、層境界線の色と層厚グラフのグラフ線の色を合わせるのではなく、層境界線とグラフ線の種類を揃えるようにしても良い。例えば、記憶部712に層境界線種類1が実線、層境界線種類2が点線として記憶されているとする場合、右眼のグラフ線は実線、左眼のグラフ線は点線とする。
【0045】
なお、右眼と左眼の層厚のグラフ線を1つの層厚グラフとする場合、右眼と左眼の層構造は左右対称になっているため、片方の眼の層厚をxの中心座標を中心に入れ替える。本実施例では左眼の厚みを入れ替える。例えば、層の厚さを検出したx座標の範囲が0〜nの場合、xの厚みThと、xの厚みThを入れ替える。同様にして、xの厚みThと、xn−1の厚みThn−1を入れ替える。そうすることで、左右対称になっている層の厚みを、同じ座標で比較することが出来る。同一眼の過去と現在を比較する場合には、上記の処理は行わない。
【0046】
<ステップS806>
ステップS806では、表示制御部714は、断層画像と、取得部115で検出した層の検出結果と、層厚グラフ作成部717で作成した層厚グラフを不図示の表示部に表示する。
【0047】
この処理について図9を用いて説明をする。図9は、右眼の断層画像901と、左眼の断層画像902と、層厚グラフ903を表示部に表示する一例を示している。図9において、Br1’〜Br3’、Bl1’〜Bl3’は取得部115が各層の境界を検出した結果を断層画像901、902の上に重畳表示したものである。断層画像901、902に層境界Br1’〜Br3’、Bl1’〜Bl3’を重畳表示する際に、記憶部712に記憶している層境界線カラーテーブル1、層境界線カラーテーブル2を参照して層境界線の色を決定する。したがって、本実施例の場合、断層画像901の上に重畳表示する層境界線の色は、Br1’は赤色、Br2’は橙色、Br3’は青色となり、断層画像902の上に重畳表示する層境界線の色は、Bl1’は桃色、Bl2’は山吹色、Bl3’は水色となる。
【0048】
さらに、色で対応を付けるのではなく、層境界線Br1’〜Br3’、Bl1’〜Bl3’と層厚グラフの線Br1〜Br3、Bl1〜Bl3の種類(実線、点線、一点差線など)を揃えて表示しても良い。例えば、層境界線Br1’〜Br3’と層厚グラフの線Br1〜Br3を実線とし、層境界線Bl1’〜Bl3’と層厚グラフの線Bl1〜Bl3を点線とする。
【0049】
以上で述べた構成によれば、基準となる層境界に対して異なる複数眼の複数の層厚を1つのグラフに視認性良く表示する。そのため、異なる複数眼の層厚全体の変化と各層との厚み変化を同時に表示することで、各層の厚み変化の相関を見ることが出来る。
【0050】
(その他の実施形態)
上記のそれぞれの実施形態は、本発明を画像処理装置として実現したものである。しかしながら、本発明の実施形態は画像処理装置のみに限定されるものではない。本発明をコンピュータ上で動作するソフトウェアとして実現することも可能である。画像処理装置のCPUは、RAMやROMに格納されたコンピュータプログラムやデータを用いてコンピュータ全体の制御を行う。また、画像処理装置の各部に対応するソフトウェアの実行を制御して、各部の機能を実現する。
【符号の説明】
【0051】
100 画像処理システム
110 画像処理装置
111 画像取得部
112 記憶部
113 層解析部
114 表示制御部
115 取得部
116 層厚計算部
117 層厚グラフ作成部
700 画像処理システム
710 画像処理装置
712 記憶部
713 層解析部
714 表示制御部
717 層厚グラフ作成部

【特許請求の範囲】
【請求項1】
眼部の断層画像から複数の層厚に関する情報を取得する取得手段と、
前記複数の層厚に関する情報を関連付けて表示手段に表示させる表示制御手段と、
を有することを特徴とする画像処理装置。
【請求項2】
前記複数の層厚に関する情報に基づいて複数の層厚を同一のグラフの上に示す層厚グラフを作成する層厚グラフ作成手段と、をさらに有し、
前記表示制御手段は、前記層厚グラフ作成手段で作成した層厚グラフを表示手段に表示させることを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記層厚グラフ作成手段は、基準線に対して前記複数の層厚を同一のグラフの上に示す層厚グラフを作成することを特徴とする請求項2に記載の画像処理装置。
【請求項4】
前記層厚グラフ作成手段は、基準線の上下に単数のグラフ、基準線の上下に複数のグラフ、基準線の上に複数のグラフ、基準線の下に複数のグラフのいずれかとする層厚グラフを作成することを特徴とする請求項3記載の画像処理装置。
【請求項5】
さらに、前記表示制御手段は、前記眼部の断層画像の層を表示し、前記層厚グラフ作成手段で作成した層厚グラフは、前記眼部の断層画像の層と関連付けていることを特徴とする請求項1乃至4のいずれか一項に記載の画像処理装置。
【請求項6】
前記関連付けは、色、線の種類、透明度のいずれかであることを特徴とする請求項5に記載の画像処理装置。
【請求項7】
眼部の断層画像から複数の層厚に関する情報を取得する取得工程と、
前記複数の層厚に関する情報を関連付けて表示手段に表示させる表示制御工程と
を有することを特徴とする画像処理方法。
【請求項8】
請求項7に記載の画像処理方法をコンピュータに実行させるためのプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate


【公開番号】特開2012−45102(P2012−45102A)
【公開日】平成24年3月8日(2012.3.8)
【国際特許分類】
【出願番号】特願2010−188489(P2010−188489)
【出願日】平成22年8月25日(2010.8.25)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】