説明

画像処理装置及び方法

【課題】 断層画像撮影装置でボリューム画像を取得する際に、被検査物が動いてしまったとしても、精度良くボリューム画像の歪みを補正する。
【解決手段】 複数の測定光を被検査物に照射することで得られるそれぞれの戻り光と参照光の合成光により、被検査物の断層画像を取得する画像処理装置であって、撮影手段により複数の測定光で眼底部の断層画像を得、検出手段にて該断層画像から網膜層を検出し、検出された網膜層に基づき眼底部の形状を推定し、推定した眼底部の形状に基づいて、断層画像間の位置ずれを補正することを特徴とする。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置及び方法に関し、特に眼科診療などに用いられる断層画像を補正する画像処理装置及び方法に関する。
【背景技術】
【0002】
光干渉断層計(OCT;Optical Coherence Tomography)などの眼部の断層画像撮影装置は、網膜層内部の状態を三次元的に観察することが可能である。この断層画像撮影装置は、疾病の診断をより的確に行うのに有用であることから近年注目を集めている。
【0003】
断層画像撮影装置は、低コヒーレント光を、参照光と測定光に分け、測定光を被検査物に照射し、その被検査物からの戻り光と参照光を干渉させることによって被検査物の断層を測定することができる。つまり、測定光を被検査物上でスキャンすることで2次元断層画像(以下、断層画像と呼ぶ)や、複数の断層画像の集合である3次元画像(以下、ボリューム画像)を得ることができる。ただし、被検査物が眼のような生体である場合、眼の動きによってボリューム画像に歪みが生じてしまう。そこで、高速で高感度に測定することが求められている。
【0004】
その方法の一つとして、被検査物の複数点を同時に測定する方法が特許文献1に公開されている。それによると、一つの光源からの光をスリットで分割することによって複数の光を作り出す。そしてそれらの光を、ビームスプリッタにより、複数の測定光と参照光にそれぞれ分ける。測定光は被検査物に照射され、被検査物からの戻り光と参照光をビームスプリッタで合成する。そして、複数の合成光はグレーティングに入射されて、2次元センサで同時に検出される。このように特許文献1は、複数の測定光による同時測定で高速化を可能としている。
【0005】
また、特許文献2では、測定光は1つとし、ボリューム画像を生成する際に測定光の主走査方向に交差する補正用の画像を形成する。そして、その補正用の画像を用いることでボリューム画像の歪みを補正している。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】米国公開特許2008/0284981
【特許文献2】特開2007−130403号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
特許文献1では、複数の測定光による同時測定で高速化を可能としているが、眼の動きについては何ら開示が無く、仮に、ボリューム画像を生成した場合には、眼の動きの影響により隣接する断層画像の間で位置ずれが起こるため、ボリューム画像には歪みが生じてしまう。
【0008】
特許文献2では、ボリューム画像の歪み補正のために、補正用の断層画像を取得しなければならない。
【0009】
本発明の目的は、ボリューム画像を取得する際に、被検査物が動いてしまったとしても、精度よくボリューム画像の歪みを補正することにある。
また、本発明の他の目的は、補正のための断層画像を取得することなく、複数の測定光で撮影したボリューム画像において、空間的に離れた個所を同時に撮影した複数の断層画像から形状モデルを推定し、その形状モデルを利用して、断層画像間の位置ずれによるボリューム画像の歪みを補正することにある。
【課題を解決するための手段】
【0010】
上記の目的を達成するための、本発明の一態様による画像処理装置は、以下の構成を備える。
即ち、本発明の一態様に係る画像処理装置は、複数の測定光を被検査物に照射することで得られるそれぞれの戻り光と、対応する参照光との合成光により、前記被検査物の断層画像を取得する画像処理装置であって、複数の測定光で眼底部の断層画像を撮影する撮影手段と、前記撮影された断層画像から網膜層を検出する検出手段と、前記検出された網膜層に基づき眼底部の形状を推定する推定手段と、前記推定した眼底部の形状に基づいて、断層画像間の位置ずれを補正する画像歪み補正手段を備えることを特徴とする。
【0011】
また、本発明の一態様に係る画像処理方法は、複数の測定光を被検査物に照射することで得られるそれぞれの戻り光と対応する参照光との合成光により、前記被検査物の断層画像を取得する画像処理方法であって、複数の測定光で眼底部の断層画像を撮影する撮影工程と、前記撮影された断層画像から網膜層を検出する検出工程と、前記検出された網膜層に基づき眼底部の形状を推定する推定工程と、前記推定した眼底部の形状に基づいて、断層画像間の位置ずれを補正する画像歪み補正工程を備えることを特徴とする。
【発明の効果】
【0012】
本発明によれば、補正のための画像を取得することなく、ボリューム画像の歪みを補正することが出来る。
【図面の簡単な説明】
【0013】
【図1】画像処理システムの構成を示す図である。
【図2】装置構成と装置で撮影される断層画像を説明するための図である。
【図3】画像処理システムにおける処理の流れを示すフローチャートである。
【図4】複数の測定光による撮影領域を説明するための図である。
【図5】画像の歪み補正の方法を説明するための図である。
【図6】歪み補正前後の画像の一例を示す図である。
【図7】パラメータ推定の一例を説明するための図である。
【図8】検出部における処理の流れを示すフローチャートである。
【図9】画像処理システムの構成を示す図である。
【図10】画像処理システムにおける処理の流れを示すフローチャートである。
【図11】複数の測定光におけるコヒーレンスゲート位置の移動を説明するための図である。
【発明を実施するための形態】
【0014】
(実施例1)
以下、図面を参照しながら、本発明の第1の実施形態について説明する。なお、本実施形態に係る画像処理装置は、複数の測定光でボリューム画像を撮影する際に、空間的に離れた個所を同時に撮影した複数の断層画像から、形状モデルを推定する。そして、その形状モデルを利用して、隣接する断層画像同士の位置合わせを行うことで、ボリューム画像の歪みを補正することを特徴とする。以下、本実施形態に係る画像処理装置を備える画像処理システムについて詳細を説明する。
【0015】
図1は、本実施形態に係る画像処理装置110を備える画像処理システム100の構成を示す図である。図1に示すように、画像処理システム100は、画像処理装置110が、インタフェースを介して断層画像撮影装置200と接続されることにより構成されている。
【0016】
断層画像撮影装置200は、本発明における被検査物たる眼部の断層画像を撮影する装置であり、図2(a)に本実施例における断層画像撮影装置200の構成を示す。断層画像撮影装置200は、図2(a)に示されるように、全体としてマイケルソン干渉系を構成している。本実施形態における断層画像撮影装置200は、3本の測定光を有する構成として説明を行う。当該断層画像撮影装置200は本発明における撮影手段に対応し、本形態では3本とされた測定光の本数は複数本あれば良い。また、これら測定光は眼底上に照射される際に各々の副走査方向での間隔が予め定められ、該間隔は得られた断層画像を合成する際の操作が容易となるように適宜定められる。
【0017】
光源201から出射した光である出射光204はシングルモードファイバ210に導かれて光カプラ256に入射し、光カプラ256にて第1の光路と第2の光路と第3の光路の3つの光路を通る出射光204−1〜3に分割される。さらに、この3つの出射光204−1〜3のそれぞれは、偏光コントローラ253−1を通過し、光カプラ231−1〜3にて参照光205−1〜3と測定光206−1〜3とに分割される。このように分割された3つの測定光206−1〜3は、観察対象である被検眼207における網膜227等のそれぞれの測定個所によって反射あるいは散乱された戻り光208−1〜3となって戻される。そして、光カプラ231−1〜3によって、参照光路を経由してきた参照光205−1〜3と合波され合成光242−1〜3となる。合成光242−1〜3は、透過型回折格子241によって波長毎にそれぞれ分光され、ラインセンサ239の異なる領域に入射される。ラインセンサ239はセンサ素子毎に各波長の光強度を電圧に変換し、その信号を用いて制御部250で、被検眼207の断層画像が構成される。
【0018】
ここで、参照光205の参照光路について説明する。光カプラ231−1〜3によって分割された3つの参照光205−1〜3のそれぞれは、偏光コントローラ253−2を通過し、レンズ235−1にて略平行光となって、出射される。次に、参照光205−1〜3は分散補償用ガラス215を通過し、レンズ235−2にて、ミラー214−1〜3にそれぞれ集光される。そして、参照光205−1〜3はミラー214−1〜3にてそれぞれ方向を変え、再び光カプラ231−1〜3に向かう。参照光205−1〜3は光カプラ231−1〜3を通過し、ラインセンサ239に導かれる。なお、分散補償用ガラス215は被検眼207および走査光学系を測定光206が往復した時の分散を、参照光205に対して補償するものである。なお、日本人の平均的な眼球の直径として代表的な値を想定し23mmとする。さらに、217−1〜3は電動ステージであり、矢印で図示している方向に移動することができ、参照光205−1〜3のそれぞれの光路長を、調整・制御することができる。そして、電動ステージ217−1〜3は、制御部250により制御される。ところで測定光路において、参照光路と光学距離が一致する位置をコヒーレンスゲートと言う。電動ステージ217−1〜3の移動によってこのコヒーレンスゲートの調整ができ、深さ方向の計測範囲を設定することができる。
【0019】
次に、測定光206の測定光路について説明する。光カプラ231−1〜3によって分割された測定光206−1〜3のそれぞれは、偏光コントローラ253−4を通過し、レンズ220−3にて、略平行光となって出射され、走査光学系を構成するXYスキャナ219のミラーに入射される。ここでは、簡単のため、XYスキャナ219は一つのミラーとして記したが、実際にはXスキャン(主走査)用ミラーとYスキャン(副走査)用ミラーとの2枚のミラーが近接して配置され、網膜227上を光軸に垂直な方向にラスタースキャンするものである。これらミラーは複数の測定光を主走査方向及び副走査方向に走査する走査手段として機能する。また、測定光206−1〜3のそれぞれの中心はXYスキャナ219のミラーの回転中心と略一致するようにレンズ220−1、3等が調整されている。レンズ220−1、220−2は測定光206−1〜3が網膜227を走査するための光学系であり、測定光206−1〜3を角膜226の付近を支点として、網膜227をスキャンする役割がある。測定光206−1〜3はそれぞれ網膜上の任意の位置に結像するように構成されている。
【0020】
また、217−4は電動ステージであり、矢印で図示している方向に移動することができ、付随するレンズ220−2の位置を、調整・制御することができる。レンズ220−2の位置を調整することで、被検眼207の網膜227の所望の層に測定光206−1〜3のそれぞれを集光し、観察することができる。測定光206−1〜3は被検眼207に入射すると、網膜227からの反射や散乱により戻り光208−1〜3となり、光カプラ231−1〜3を通過し、ラインセンサ239に導かれる。なお、電動ステージ217−4は制御部250により制御される。以上の構成により3つの測定光を同時にスキャンすることができる。
【0021】
図2(b)に、3本の測定光で模型眼を撮影した断層画像のYZ平面を示す。この図は、3本の測定光でボリューム画像を撮影した際の断面図である。模型眼とは、生体眼同様の光学特性、大きさ、容量を持つガラス球である。複数の測定光で撮影を行う場合、各測定光のコヒーレンスゲートの位置を調整しておかないと、図2(b)に示すように、被検査物の形状を正しく復元することが出来ない。そのため、本実施形態においては、模型眼のような動かない被検査物を撮影した場合に、図2(c)に示すように、被検査物の形状を復元するように、3本のコヒーレンスゲートの位置関係を事前に調整しておく。
【0022】
例えば、深さ分解能が6μmで、分光器の画素数が1000画素だとすると、計測できる深さは6×500=3mmである。数百μmずれていると所望の領域が測定できなくなる可能性がある。これらのずれを無くすようにコヒーレンスゲートの位置を調整し、干渉距離を所定の適当な間隔とすれば、1本の測定光で測定したのと同様にデータを扱うことができる。なお、深さ分解能の校正は、コヒーレンスゲートを同じ量動かした時に、断層画像において同じピクセル数動くように調整する。断層画像における深さ分解能の調整は、分光器のデータにゼロを追加するゼロパッティングなどで行う。コヒーレンスゲートの位置を合せるには、測定光間での重なり領域を使って合せる。別の方法として、YZ平面の断層画像が1回の測定でとれる向きに走査して、断層画像が違和感なく接続できるようにしてもよい。この測定データから得られるずれ等を補正するために必要な情報(補正値)は、断層画像撮影装置毎に、記憶部112に保存される。
【0023】
次に、画像処理装置110について説明をする。画像処理装置110は、画像取得部111、記憶部112、画像処理部113、表示制御部114を備える。画像処理部113は、検出部131、推定部132、画像歪み補正部133からなる。画像取得部111は、断層画像撮影装置200により撮影された断層画像を取得し、記憶部112に格納する。検出部131では、記憶部112で記憶している断層画像から網膜層等の層を検出する。その際、本発明における検出手段に対応する該検出部131は、得られた眼底像中の各層について、得られた構造が正常な層構造を有するか異常な層構造を有するかについて判定することが好ましい。推定部132では、同時刻に撮影された複数の断層画像において、検出部131で検出した層の結果を用いて形状モデルを推定する。本発明の推定手段に対応する当該推定部132は、検出部131において正常な層構造を有する部分であると検出された層構造部分から眼底部の形状を推測することが好ましい。画像歪み補正部133では、推定部132で推定した形状モデルを利用して、ボリューム画像の歪みを補正する。即ち本発明における画像歪み補正手段にあたる画像歪み補正部133は推定された眼底部の形状に基づいて、断層画像間の位置ズレを補正する。画像ひずみ補正部133は、前述したXYスキャナ219を制御する制御手段の制御した値に基づいて断層画像の網膜層位置を補正することが好ましい。
【0024】
次に、図3(a)を参照して本実施形態の画像処理システム100の処理手順を示す。
【0025】
<ステップS301>
図4に複数の測定光による被検眼の撮影例を示す。図4(a)は、スキャンラインを説明するための眼底の模式図、図4(b)は、断層画像撮影装置200で撮影した網膜のボリューム画像である。3本の測定光それぞれに対して矢印で示される測定光206−1で走査される第1の領域401、測定光206−2で走査される第2の領域402、測定光206−3で走査される第3の領域403がある。各測定光でN枚断層画像を撮影した場合、各測定光の断層画像は、測定光206−1で走査されるT401−1、T401−2、・・・T401−N、測定光206−2で走査されるT402−1、・・・T402−N、測定光206−3で走査されるT403−1、・・・T403−Nである。なお、図示はしないが、隣接する測定光の撮影領域は、一部の領域が重なるように撮影をしてもよい。
【0026】
ステップS301では、網膜層を撮影するために、被検眼の平面方向(図4(a)のxy方向)と深度方向(図4(b)のz方向)の位置を調整する。ここで深度方向の位置を合わせるとは、断層画像を得るためのコヒーレントゲートの位置を合わせることに相当する。なお、本実施形態においては、3本の測定光のコヒーレンスゲートの位置は、初期設定の位置関係を保ったまま連動して動作するものとする。
【0027】
<ステップS302>
ステップS301で、網膜層を撮影するのに適した位置に調整を行った後、ステップS302で、不図示の撮影指示部からの指示により撮影を開始する。
【0028】
<ステップS303>
ステップS303では、操作者が撮影指示をすると、走査光学系を構成するXYスキャナ219が網膜227上を光軸に垂直な方向にラスタースキャンする。ここでは、簡単のため、XYスキャナ219は一つのミラーとして記したが、実際にはXスキャン用ミラーとYスキャン用ミラーとの2枚のミラーが近接して配置され、網膜227上を光軸に垂直な方向にラスタースキャンするものである。ラスタースキャンにより、網膜のボリューム画像を取得する。そして、画像取得部111は、断層画像撮影装置200により撮影された断層画像を取得し、記憶部112に格納する。当該工程は、本発明における複数の測定光で眼底部の断層画像を撮影する撮影工程に対応する。
【0029】
<ステップS304>
ステップS304では、画像処理部113が形状モデルを推定し、その形状モデルを利用してボリューム画像の歪み補正を行う。この処理について、図3(b)を参照して説明をする。
【0030】
<ステップS310>
ステップS310において、検出部131は、ステップS303で取得した断層画像から網膜層を検出する。網膜層内部の層構造は、内境界膜(ILM)、神経線維層(NFL)、神経節細胞層(GCL)、内網状層(IPL)、内顆粒層(INL)、外網状層(OPL)、外顆粒層(ONL)、外境界膜(ELM)、視細胞内節外節接合部(IS/OS)、網膜色素上皮層(RPE)である。検出部131はこれらの層のうち少なくとも1層を検出すれば良いが、IS/OSやRPEを検出してある方が形状モデルで推定を行いやすい。検出部131が層を検出するというのは、層と層の境界を検出することと同じである。例えば、硝子体と網膜との境界の内境界膜1と、神経線維層2/神経節細胞層3との境界を検出することで、神経線維層2を検出することになる。ここで検出部131は、得られた層構造が前述した正常な層構造であるか異常な層構造であるかを検出・判定し、推定部132が眼底部の形状を推定する際に用いるべきデータとして正常な層構造を提供する。当該工程は、本発明において撮影された眼底画像より網膜層等の層を検出する検出工程に対応する。なお、ここで述べる正常な層構造とは、前述した網膜層内部において通常存在すべき層が一般的な層厚さにて存在する構造を指し、異常な層構造とは病気、怪我或いは先天的な欠陥等により本来存在すべき層或いは境界が正しい強度にて信号として得られない構造を指す。
【0031】
網膜層の検出について、まず、断層画像に対して、メディアンフィルタとSobelフィルタをそれぞれ適用して画像を作成する(以下、メディアン画像、Sobel画像とする)。次に、変換したメディアン画像とSobel画像から、A−scan毎にプロファイルを作成する。メディアン画像では輝度値のプロファイル、Sobel画像では勾配のプロファイルとなる。そして、Sobel画像から作成したプロファイル内のピークを検出する。検出したピークの前後やピーク間に対応するメディアン画像のプロファイルを参照することで、網膜層を検出する。
【0032】
網膜層の検出方法については、上記の方法に限られるものではなく、GraphCutやActiveContourなどの方法で層を検出してもよい。
【0033】
<ステップS311>
ステップS311において、推定部132は、ステップS310で検出した網膜層の情報を用いて形状モデルを推定する。当該工程は、本発明において検出された網膜層に基づいて眼底部の形状を推定する推定工程に対応する。
【0034】
ここでは、形状モデルとして2次曲線と2次曲面のモデルパラメータを推定する場合について説明を行う。
【0035】
初めに、形状モデルとして2次曲線を利用する場合について図5(a)を用いて説明を行う。ここでは、同時(時刻iとする)に撮影した3本の測定光から得られる断層画像T401−i、T402−i、T403−iの同じx座標において、ステップS310で検出した網膜層の位置(本実施例ではRPE)から2次曲線を推定する。本実施例で同時とは、1枚の断層画像を取得するためのスキャン開始から終了までの時間が同じことを指し、3本の測定光の場合、3枚の断層画像が取得できる時間のことを指す。図5(a)において、点線CLがxk座標における2次曲線を示している。図5(a)において、xk座標の場合、座標 (xk, y401-i, z401-ik)、(xk, y402-i, z402-ik)、(xk, y403-i, z403-ik)から2次曲線CLを推定する。数1に図5(a)の座標系における2次曲線CLの式を示す。2次曲線CLのパラメータa、b、cは、数1〜数4を計算することで求めることが出来る。数2において、“

”はほぼ等しいを表し、数3において“

”は、左側の式を最小にすることを表す。これは最小二乗法の式であり、a、b、cでそれぞれ偏微分を解くことで数4の正規方程式を得る。
【0036】
【数1】

【0037】
【数2】

【0038】
【数3】

【0039】
【数4】

【0040】
形状モデルとして2次曲線を用いる場合、3本の測定光で同時刻に撮影した断層画像T401−i、T402−i、T403−iから、任意のx座標における網膜層の位置座標を用いてモデルパラメータを推定する。本実施例においては、任意の1箇所のx座標においてモデルパラメータを推定したが、複数のx座標からパラメータを求めて、各パラメータの平均値を用いるようにしてもよい。さらに、異なる時刻(時刻jとする)に同時に撮影した断層画像T401−j、T402−j、T403−jから、任意のx座標における網膜層の位置座標を用いてモデルパラメータを推定し、時刻i、jで求めたパラメータの平均値を用いるようにしてもよい。
【0041】
次に、形状モデルとして2次曲面を利用する場合について、図5(b)を用いて説明を行う。3本の測定光が同時(時刻iとする)に撮影した断層画像T401−i、T402−i、T403−iにおいて、ステップS310で検出した網膜層の位置(本実施例ではRPE)から2次曲面を推定する。図5(b)では、断層画像T402−iと2次曲面CSを示している。なお、2次曲面CSは、断層画像T402−i上と、xj座標上のみを示している。図5(b)において、座標 (x1, y401-i, z401-i 1)、(x2, y401-i, z401-i 2)、・・・、(xm, y401-i, z401-i m)、(x1, y402-i, z402-i 1)、(x2, y402-i, z402-i 2)、・・・、(xm, y402-i, z402-i m)、(x1, y403-i, z403-i 1)、(x2, y403-i, z403-i 2)、・・・、(xm, y403-i, z403-i m)から2次曲面CSを推定する。数5に図5(b)の座標系における2次曲面の式を示す。2次曲面CSのパラメータa、b、c、d、e、fは、数5〜数8を計算することで求めることが出来る。数6〜数8において、Mは2次曲面を求める際の座標点の数である。
【0042】
【数5】

【0043】
【数6】

【0044】
【数7】

【0045】
【数8】

【0046】
形状モデルとして、2次曲面を用いる場合、3本の測定光で同時刻に撮影した断層画像T401−i、T402−i、T403−iの網膜層の位置から、モデルパラメータを推定することが出来る。2次曲面においても、異なる時刻(時刻jとする)に同時に撮影した断層画像T401−j、T402−j、T403−jから、網膜層の位置座標を用いてモデルパラメータを推定し、時刻i、jで求めたパラメータの平均値を用いるようにしてもよい。
【0047】
ここでは、2次曲線と2次曲面のモデルパラメータを推定する場合について説明を行ったが、形状モデルはこれらに限定されるものではなく、n次曲線やn次曲面を用いてもよい。なお、形状モデルを求める方法として最小二乗法の例を示したが、形状モデルを求める方法はこれらに限定されるものではない。M推定、LMedS(Least Median of Squares)、RANSAC(RANdom SAmple Consensus)などのロバスト推定手法を用いて形状モデルを求めてもよい。
【0048】
<ステップS312>
ステップS312では、ステップS311で推定した形状モデルを用いてボリューム画像の歪み補正を行う。当該工程は、本発明において推定した眼底部の形状に基づいて断層画像間の位置すれを補正する画像歪み補正工程に対応する。ここでは、断層画像iの位置を例に説明をする。断層画像iにおいて、形状モデルのzModel iの値が求まるので、形状モデルで求めたzModel iの値と、断層画像の網膜層の座標位置zRPE i(本実施例ではRPE)との差分Δziが断層画像毎における深度方向の補正値となる。従って、ステップS312では、断層画像毎に求めた補正値に基づいて、深度方向の断層画像位置補正を行う。図6に形状モデルを用いてボリューム画像の歪み補正を行う場合の例を示す。図6は、3本の測定光で網膜を撮影した場合の断層画像のYZ平面である。図6(a)は、歪み補正をする前のボリューム画像のYZ平面であり、図6(b)は、形状モデルを用いて歪み補正をしたボリューム画像のYZ平面である。図6に示すように、形状モデルを用いることで、網膜層の形状を復元することが出来る。なお、図6(a)から図6(b)の画像を作成する際に、断層画像毎に計算される補正値に応じて深度方向にシフトさせるため、シフトさせた部分に空白領域が生じる。この空白領域には、シフトさせる前の領域から計算した値を代入する。計算方法としては、例えば、バイリニアやバイキュービック法などを用いる。あるいは、補間ではなく0や画像の最大値(16bit画像の場合は、65535)など特定の値を代入してもよい。
【0049】
<ステップS305>
ステップS305では、表示制御部114は、ステップS304で画像の歪みを補正したボリューム画像を不図示の表示部に表示する。なお、画像を表示するだけではなく、網膜層の厚み計測などを行う場合には、ステップS310で求めた網膜層の検出結果から層の厚みを計測し、その検出結果を境界線として断層画像に重畳して表示してもよい。さらには、厚みのマップを作成して表示してもよい。
【0050】
以上で述べた構成によれば、複数の測定光でボリューム画像を撮影する際に、空間的に離れた個所を同時に撮影した複数の断層画像から網膜層を検出し、検出した網膜層を用いて形状モデルを推定する。そして、その形状モデルを用いてボリューム画像の歪みを補正することで、断層画像撮影装置でスキャンを行っている間に、被検査物が動いてしまったとしても、精度良くボリューム画像の歪みを補正することが出来る。
【0051】
(実施例2)
上記第1の実施形態では、形状モデルを求める際に、任意の断層画像のセット(本実施形態において、1セットは3枚の断層画像群)から、形状モデルのパラメータを求めた。そして、その他の断層画像のセットは、求めた形状モデルと各断層画像における網膜層位置との差分量に応じて、深度方向の位置合わせを行った。本実施形態においては、全ての断層画像のセット(本実施形態においては、Nセット)を用いて、形状モデルパラメータと各断層画像セットにおける平行移動量パラメータを求めて、ボリューム画像の歪みを補正する例を示す。本実施形態においては、形状モデルは2次曲面の場合で説明を行う。そして、パラメータを求める方法として、各断層画像セットでまず形状モデルパラメータと平行移動パラメータを求め、それを初期値として全体のパラメータを求める方法について説明を行う。なお、本実施形態は第1の実施形態のステップS311、S312に相当する。
【0052】
以下、各断層画像セット(各セットをG、G、…、Gとする)でモデル形状を求め、それを初期値として全体のパラメータを求める方法について説明を行う。図7に各断層画像セットの例を示す。即ち同時刻に撮影された複数の断層画像を、同時刻に撮影された複数の断層画像を1組とする複数の組に分け、各組毎について眼底部の形状が推定される各セットは、3本の測定光で同時に撮影された3枚の断層画像である。本実施形態においては、3本の測定光がそれぞれN枚の断層画像を撮影するため、断層画像のセットはN個となる。
【0053】
式を数9〜数11に示す。ここでは、数9と数10で求めたパラメータを初期値として数11を求める。数9は、断層画像セット毎に形状モデルパラメータと平行移動量を計算する式で、数10は、数9で求めた形状モデルパラメータの平均値を求める式である。
【0054】
数9は、非線形の最小化問題なので、各パラメータは、準ニュートン法、共役勾配法、Powell法などにより求めることが出来る。数9を解くための初期値としては、平均形状モデルを事前に作成しておき、その平均形状モデルのパラメータa、b、c、d、e、fと、ボリューム画像の中心を平行移動量tx、tyの初期値として与える。ここで、平均形状モデルとは、複数の網膜層の形状モデルから作成したモデルである。作成方法は、複数の網膜層データに対し自動あるいは手動で網膜層を検出する。そして、それぞれ検出した結果を基準位置に合わせて座標値の平均を計算することで、平均形状モデルを求めることが出来る。数9、数11において、

の添え字は、各断層画像セット(G、G、…、G)におけるα番目の座標値を示す。そして、Mは2次曲面を求める際の座標点の数である。
【0055】
【数9】

【0056】
【数10】

【0057】
【数11】

【0058】
【数12】

【0059】
数11は、ボリューム画像全体の形状モデルと平行移動量を求める式である。数10で求めた値を、数11における形状モデルパラメータの初期値として用いる。そして、数9で求めた平行移動のパラメータtx、…txN、ty、…tyNを、数11における平行移動パラメータの初期値として用いる。数11も数9と同様に、非線形の最小化問題なので、各パラメータ(a、b、c、d、e、fと、tx、…txN、ty、…tyN)は、準ニュートン法、共役勾配法、Powell法などにより求めることが出来る。
【0060】
【数13】

【0061】
本実施形態において、各パラメータ(a、b、c、d、e、fと、tx、…txN、ty、…tyN)を求める方法として、数9と数10で各断層画像セットにおける形状モデルパラメータと平行移動パラメータを求め、それを初期値として数11で全体のパラメータを求める方法について説明を行った。しかし、全体のパラメータを求めるための初期値を与える方法はこれに限らない。たとえば、数9、数10の代わりに、実施例1で求めた形状モデルパラメータと平行移動量を初期値として、数11を求めてもよい。また、数9、数10の代わりに、平均形状モデルのパラメータを初期値として数11を求めてもよい。
【0062】
以上で述べた構成によれば、全ての断層画像のセット(本実施形態においては、Nセット)を用いて、形状モデルパラメータと各断層画像セットにおける平行移動量パラメータを求めるので、ロバストに形状モデルを推定することが出来る。そして、その形状モデルを用いてボリューム画像の歪みを補正することで、断層画像撮影装置でスキャンを行っている間に、被検査物が動いてしまったとしても、精度良くボリューム画像の歪みを補正することが出来る。
【0063】
(実施例3)
上記第1、第2の実施形態では、網膜層全体を検出し、任意の座標点、あるいは検出した全座標点データを用いて形状モデルを推定した。本実施形態においては、形状モデルを推定するために用いる座標点を選択し、選択された座標点を用いて被検査物の形状を復元する場合について説明をする。以下、図8を参照して本実施形態の検出部131の処理手順を示す。
【0064】
<ステップS801>
ステップS801において、断層画像に対して画像変換を行う。本実施形態では断層画像に対して、メディアンフィルタとSobelフィルタをそれぞれ適用して、メディアン画像とSobel画像を作成する。ここで、画素値は信号の強度が強い場合に大きく、弱い場合に小さくなるとする。
【0065】
本実施形態において、SobelフィルタはA−scanにおける浅い方向(画像の上方)から見て、低い輝度値から高い輝度値への境界を強調するように方向性をもたせている。その理由は以下のとおりである。本件では、網膜層構造が変化したとき、その原因を特定するための構造情報として、各A−scanにおけるILM境界、IS/OS境界、硝子体皮質の位置情報と偽像の有無を用いている。網膜層構造において、ILM境界と硝子体皮質は輝度値の低い硝子体と比較的輝度値の高い網膜組織との境界であり、IS/OS境界も浅い方向に比較的暗い組織と接している。また、偽像が存在した場合、IS/OS境界下の輝度が低下するため、Sobel画像における画素値から偽像の有無を判定することができる。つまり、上記のような方向性をもたせることでILM境界、IS/OS境界、硝子体皮質がより強調され、更には偽像の有無の判定も行える。なお、硝子体皮質においては、網膜層構造情報取得処理よりも後段で最終的に特定処理を行うため、網膜層構造情報取得処理においては硝子体皮質候補として扱う。
【0066】
<ステップS802>
ステップS802において、ステップS801で作成したメディアン画像を用いて、背景(硝子体)の平均輝度値を算出する。本実施形態では、まず、メディアン画像に対してP−tile法による二値化処理を行い、背景領域を特定する。次に、背景領域におけるメディアン画像の輝度値の平均値を算出する。
【0067】
P−tile法による二値化処理とは、処理対象となる画像のヒストグラムを作成し、輝度値の高い方、もしくは低い方から累積して、所定の割合Pに達したときの輝度値を閾値として二値化する方法である。本実施形態では、画像中における網膜領域の割合がおおよそわかっているため、経験的にPの値を、輝度値の高い方から30パーセントとして二値化処理を行い、輝度値が閾値以下の画素を背景画素とする。
背景画素を特定したら、背景画素におけるメディアン画像の輝度値を参照し、背景の平均輝度値を算出する。
【0068】
<ステップS803>
ステップS803において、ステップS801で作成した変換画像からプロファイルを作成する。本実施形態では、メディアン画像とSobel画像の両方からA−scan毎にプロファイルを作成する。メディアン画像からプロファイルを作成することで、断層画像において特に問題となるノイズを抑制し、より輝度値の傾向を把握しやすくなるという効果がある。また、Sobel画像からプロファイルを作成することで、後段で行われる網膜層境界の特定において、網膜層境界の候補点を検出しやすくなるという効果がある。また、必ずしもこれらの変換画像からプロファイルを作成する必要はなく、原画像やその他の変換画像から所定の強さのエッジを検出できればよい。
【0069】
<ステップS804>
ステップS804において、ステップS803で作成したプロファイルから極大点(以下、ピークとする)を検出する。本実施形態では、Sobel画像から作成したプロファイルにおけるピークを検出する。検出には経験的、または画像情報に基づいて定められる閾値を用いる。網膜において、ILM境界下、IS/OS境界下、硝子体皮質は多くの信号を反射または散乱させる。そのため、ステップS801で述べた浅い方向から見て、低い輝度値から高い輝度値への境界を強調するように方向性をもつSobelフィルタを用いれば、強いエッジとして検出し易い。これらの層の他に、この方向性をもつSobelフィルタで検出される強いエッジは病変部以外に存在しないため、閾値を調整することによって、ILM境界、IS/OS境界、硝子体皮質候補を優先的に抽出することができる。
【0070】
<ステップS805>
ステップS805において、ステップS804で検出したピークを数え、その数を基に処理を分岐させる。本実施形態では、本ステップ入力時に網膜層境界や硝子体皮質候補として特定されていないピークが2点以上存在する場合(ステップS805でYes)、A−scanにおいて、浅い方向から順に2つのピークを選ぶ。そして、それぞれ第一ピーク、第二ピークとして、ステップS806へ進む。また、ピークが1つの場合(ステップS805でNo)、一番大きなピークを第一ピークとして、ステップS809に進む。
【0071】
<ステップS806>
ステップS806において、ステップS805で選ばれた2つのピーク間のメディアン画像のプロファイルと背景の平均輝度値を比較する。本実施形態では、まず、第一ピークと第二ピークの間に存在する画素に対して、ステップS802で算出した背景の平均輝度値に係数である1.2を掛けた値を閾値として設定する。次に、この閾値よりも大きい輝度値をもつ画素数から、ピーク間に存在する全画素数に対する数の割合を算出する。
なお、この係数は経験的に求めたものであり、これに限定されるものではない。例えば、背景の平均輝度値と背景以外の領域(二値化処理における閾値以上の領域)の平均輝度値との割合などを用いて、画像情報から動的に係数を決定してもよい。
【0072】
<ステップS807>
ステップS807において、ステップS806で算出した割合を基に処理を分岐させる。本実施形態では、算出された割合が1/2より小さいとき(ステップS807でNo)、ピーク間は背景であると判断し、ステップS808へ進む。算出された割合が1/2以上のとき(ステップS807でYes)、ピーク間に網膜組織が存在すると判断し、ステップS809へ進む。
【0073】
なお、本実施形態では、閾値以上の画素の割合から網膜組織であるか、背景であるかを判断しているが、これに限定されるものではない。例えば、プロファイルから特徴量を算出し、それを入力として識別器を用いた判定を行ってもよい。
【0074】
<ステップS808>
ステップS808において、ピークの一つを硝子体皮質候補として特定する。本実施形態では、ステップS807において、ピーク間が背景であると判断された第一ピークと第二ピークについて、硝子体皮質が剥がれている場合、下には背景が存在することから、第一ピークを硝子体皮質候補として特定する。そしてステップS805へ戻り、第二ピークを含めて2点のピークを選び直す。
【0075】
<ステップS809>
ステップS809において、ピークの一つをILM境界として特定する。本実施形態では、ステップS807において、ピーク間に網膜組織が存在すると判断された第一ピークと第二ピークについて、ILM境界は網膜組織の上端に存在することから、第一ピークをILM境界として特定する。また、ステップS805から分岐されてきた場合も、第一ピークをILM境界として特定する。
【0076】
<ステップS810>
ステップS810において、ステップS809で特定したILM境界よりも、同じA−scan上で深い方向(画像の下方)に閾値以上の特徴点が存在するか調べる。本実施形態では、同じA−scan上で特定したILM境界のピークの大きさに係数である0.8を掛けた値を閾値として設定する。この閾値以上のピークがILM境界よりも深い方向に存在するかを調べる。存在した場合(ステップS810でYes)、ステップS811に進む。存在しなかった場合(ステップS810でNo)、ステップS812に進む。
なお、この閾値は経験的に求めたものであり、これに限定されるものではない。例えば、ピークの大きさの他に、ピーク間の距離などを用いてもよい。
【0077】
<ステップS811>
ステップS811において、ステップS810で設定した閾値以上のピークをIS/OS境界として特定する。閾値以上のピークが複数存在した場合、本実施例では、閾値以上のピーク群の中で、一番浅い位置に存在するピークをIS/OS境界とする。
【0078】
<ステップS812>
ステップS812において、IS/OS境界を特定することができなかったとし、A−scanに「偽像」ラベルを付ける。
【0079】
<ステップS813>
ステップS813において、画像中の全てのA−scanにおいて、構造情報を取得したか調べる。全てのA−scanについて処理を行った場合(ステップS813でYes)、処理を終了する。まだ構造情報を取得していないA−scanが存在する場合(ステップS813でNo)、ステップS803に戻る。
【0080】
このように、ピーク間にある組織を判定し、その結果に基づいて網膜層の構造情報を取得することにより、構造情報の誤りを減らすことができる。ILM境界は全てのA−scanで特定されている。一方、IS/OS境界は特定できないA−scanも存在し、そのようなA−scanにはステップS812で述べたとおり、「偽像」ラベルが付けられている。
【0081】
推定部132では、「偽像」ラベルが割り当てられていないA−scanでの網膜層の検出結果から形状モデルを推定する。なお、形状モデルの推定方法は実施例1、実施例2で述べたとおりである。
【0082】
以上で述べた構成によれば、形状モデルを推定するために用いる座標点を選択することで、精度良く形状モデルを推定できる。そのため、精度良くボリューム画像の歪みを補正することが出来る。
【0083】
(実施例4)
上記第1の実施形態では、模型眼のような動かない被検査物を撮影した場合に、被検査物の形状を復元するように、3本の測定光のコヒーレンスゲート位置を事前に調整しておいた。そして、コヒーレンスゲート位置を変更する際には、3本の測定光が連動して動作する例を示した。本実施形態においては、コヒーレンスゲートの位置をそれぞれの測定光で独立に変更させた時に、被検査物の形状を復元する場合について説明をする。
【0084】
図9は、本実施形態に係る画像処理装置910を備える画像処理システム900の構成を示す図である。図9に示すように、画像処理装置910は、画像取得部111、記憶部912、画像処理部915、表示制御部114、検出部131、推定部132、画像歪み補正部133、補正部934を備える。このうち、上記第1の実施形態と同様の機能を有するものに関しては、ここでは説明を省略する。
【0085】
記憶部912は、被検査物の形状を正しく復元する位置関係にあるコヒーレンスゲートの位置から、それぞれのコヒーレンスゲートの位置を独立に調整した移動量を記憶する。
補正部934は、被検査物の形状を復元するために、独立に調整した移動量から各測定光の深度方向(Z方向)の位置を補正する。
【0086】
以下、図10、図11を参照して本実施形態の画像処理システム900の処理手順を示す。なお、ステップS1001、ステップS1004、ステップS1011以外は、第1実施形態と同様なので説明は省略する。
【0087】
<ステップS1001>
ステップS1001では、被検査物を撮影するために、平面方向と深度方向の位置を調整する。ここでは、図11を用いて被検査物が模型眼の場合について説明を行う。また、コヒーレンスゲートの位置は画像上部に設定されているものとする。図11(a)は、模型眼を撮影した断層画像のYZ平面である。ここで、模型眼がきれいに撮影出来るように深度方向の位置を調整する。図11(b)は、3本のコヒーレンスゲートの位置を連動して動作させる場合の断層画像のYZ平面である。そして、図11(c)は真ん中のコヒーレンスゲートの位置だけを移動させる場合の断層画像のYZ平面である。図11(b)に示すように、3本のコヒーレンスゲートの位置を連動して動作させる場合には、網膜層は形状を保ったまま上下に移動をする。しかし、図11(c)に示すように、独立に移動させる場合には、網膜層の形状を保たなくなってしまう。そのため、図11(c)で示すような、各コヒーレンスゲートを独立に移動させる移動量dを記憶部912に保存する。
【0088】
<ステップS1004>
ステップS1004では、画像処理部913が、コヒーレンスゲートの移動量dを考慮し、形状モデルを利用してボリューム画像の歪み補正を行う。この処理について、図10(b)を参照して説明をする。
【0089】
<ステップS1011>
ステップS1011で補正部934が、独立に移動したコヒーレンスゲート位置の移動量dを用いて断層画像の深度方向の位置補正を行う。装置の初期設定を行う際に、測定光毎にコヒーレンスゲートの移動量と、断層画像におけるピクセルとの対応を取っておく。本実施例におけるコヒーレンスゲートの移動量と画像ピクセルとの対応を表1に示す。表1において、2000は本実施例におけるコヒーレンスゲートの送りピッチである。
【0090】
【表1】

【0091】
表1に示すように、測定光毎にコヒーレンスゲートの移動量と画像ピクセルとの対応が事前に取れていれば、各コヒーレンスゲートを独立に移動させる移動量dから断層画像におけるピクセルの移動量を算出することが出来る。例えば、真ん中のコヒーレンスゲート(表1における測定光2)の位置だけを500動かした場合、断層画像においては44pixel動かしたことと同じである。従って、補正部934は、コヒーレンスゲートを各測定光で独立に移動させる移動量dから断層画像における移動量を求めて、断層画像の網膜層深度位置を補正する。なお、表1における数値は本実施例における一例を示したものであるので、この数値に限定されるものではない。
【0092】
本実施例において、撮影時に独立に移動させる例を示したが、これに限らない。例えば、装置の初期設定を行う際に、それぞれのコヒーレンスゲート位置をずらしておくようにしてもよい。撮影対象物の位置はコヒーレンスゲートに近い状態で撮影した方が鮮明な画像を得られる可能性が高い。一般的に網膜層は湾曲形状であるので、最初から真ん中のコヒーレンスゲート位置をずらして設定をしておき、撮影時には全てのコヒーレンスゲートが連動して動作するものでもよい。初期設定時にずらしておく場合には、被検査物の形状を復元する位置からのコヒーレンスゲート位置のずれ量を記憶部912に記憶しておき、そのずれ量を補正して形状モデルを推定する。
【0093】
以上で述べた構成によれば、複数の測定光でボリューム画像を撮影する際に、それぞれの測定光のコヒーレンスゲート位置を独立に変更させる。そして、空間的に離れた個所を同時に撮影した複数の断層画像から網膜層を検出し、検出した網膜層の位置を独立に変更させた変更量を基に補正して形状モデルを推定する。そして、その形状モデルを用いてボリューム画像の歪みを補正することで、コヒーレンスゲートの位置を独立に移動させた場合のボリューム画像においても、精度良くボリューム画像の歪みを補正することが出来る。
【0094】
(その他の実施例)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
【符号の説明】
【0095】
100 画像処理システム
110 画像処理装置
111 画像取得部
112 記憶部
113 画像処理部
114 表示制御部
131 検出部
132 推定部
133 画像歪み補正部
200 断層画像撮影装置
900 画像処理システム
910 画像処理装置
912 記憶部
913 画像処理部
934 補正部

【特許請求の範囲】
【請求項1】
複数の測定光を被検査物に照射することで得られるそれぞれの戻り光と、対応する参照光との合成光により、前記被検査物の断層画像を取得する画像処理装置であって、
複数の測定光で眼底部の断層画像を撮影する撮影手段と、
前記撮影された断層画像から網膜層を検出する検出手段と、
前記検出された網膜層に基づき眼底部の形状を推定する推定手段と、
前記推定した眼底部の形状に基づいて、断層画像間の位置ずれを補正する画像歪み補正手段を備えることを特徴とする。
【請求項2】
前記推定手段は、前記撮影された断層画像のうち、同時刻に撮影された複数の断層画像での網膜層に基づき、眼底部の形状を推定することを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記推定手段は、前記撮影された断層画像を、同時刻に撮影された複数の断層画像を1組とする複数の組に分け、各組毎に前記眼底部の形状を推定することを特徴とする請求項2に記載の画像処理装置。
【請求項4】
前記検出手段は、正常な層構造と異常な層構造部分を判定し、前記推定手段は、前記検出手段で検出した正常な層構造部分から眼底部の形状を推定することを特徴とする請求項1乃至3に記載の画像処理装置。
【請求項5】
複数の測定光の干渉距離をそれぞれ制御する制御手段と、前記制御した値を基に断層画像の網膜層位置を補正する補正手段を含むことを特徴とする請求項1乃至4に記載の画像処理装置。
【請求項6】
前記撮影手段は、前記複数の測定光を主走査方向と副走査方向に走査する走査手段を含み、
前記推定手段は、前記眼底部の前記副走査方向の形状を推定することを特徴とすることを特徴とする請求項1乃至5に記載の画像処理装置。
【請求項7】
前記複数の測定光は、前記副走査方向に所定の間隔離れた位置で照射されることを特徴とする請求項6に記載の画像処理装置。
【請求項8】
複数の測定光を被検査物に照射することで得られるそれぞれの戻り光と対応する参照光との合成光により、前記被検査物の断層画像を取得する画像処理方法であって、
複数の測定光で眼底部の断層画像を撮影する撮影工程と、
前記撮影された断層画像から網膜層を検出する検出工程と、
前記検出された網膜層に基づき眼底部の形状を推定する推定工程と、
前記推定した眼底部の形状に基づいて、断層画像間の位置ずれを補正する画像歪み補正工程を備えることを特徴とする。
【請求項9】
請求項8に記載の画像処理方法をコンピュータに実行させるためのプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate


【公開番号】特開2012−235835(P2012−235835A)
【公開日】平成24年12月6日(2012.12.6)
【国際特許分類】
【出願番号】特願2011−105391(P2011−105391)
【出願日】平成23年5月10日(2011.5.10)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】