画像処理装置、画像処理方法、画像処理システム及びプログラム
【課題】 異なる撮影装置で得られる複数の画像から抽出される構造を表示する。
【解決手段】 画像取得部１１が取得した断層画像に基づいて投影画像生成部１２は深さ方向に垂直な面に投影した投影画像を生成する。患者データ確認部１３は撮影された断層画像に対応する表面画像またはＳＬＯ画像を保存部３０にて探索する。位置合わせ部１４は断層画像と表面画像またはＳＬＯ画像の位置合わせを行う。解析部１５は断層画像と表面画像またはＳＬＯ画像のそれぞれから血管等の構造を抽出する。表示画像作成部１９は抽出結果を眼底の画像に重畳して表示するための画像データを作成する。表示部４０は作成された画像データを表示する。
【解決手段】 画像取得部１１が取得した断層画像に基づいて投影画像生成部１２は深さ方向に垂直な面に投影した投影画像を生成する。患者データ確認部１３は撮影された断層画像に対応する表面画像またはＳＬＯ画像を保存部３０にて探索する。位置合わせ部１４は断層画像と表面画像またはＳＬＯ画像の位置合わせを行う。解析部１５は断層画像と表面画像またはＳＬＯ画像のそれぞれから血管等の構造を抽出する。表示画像作成部１９は抽出結果を眼底の画像に重畳して表示するための画像データを作成する。表示部４０は作成された画像データを表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮影対象の画像を表示させる画像処理装置、画像処理方法、画像処理システム及びプログラムに関する。
【背景技術】
【０００２】
医療分野では、被検体を撮影した画像を見て病変の発見や病状を把握するなどの画像診断が広く行われている。この画像診断では、複数の異なる撮影装置により得られる画像を比較または検討してより詳細な検討を行うことも多い。例えば眼科では、眼底カメラ、走査型レーザ検眼鏡（ＳＬＯ）または光干渉断層計（ＯＣＴ）などの撮影装置で得られる画像を用いて診断を行う。ここで眼底カメラは眼底の表面のカラー画像を得ることができる。走査型レーザ検眼鏡は解像度が高い眼底表面や、網膜内部の構造の画像を得ることができる。光干渉断層計からは網膜の断層画像を得ることができる。これら撮影装置による画像を用いることで、眼底の表面及び内部構造を詳細に検討した上で診断することができる。
【０００３】
このような診断を支援する技術として特許文献１には、ＯＣＴによる断層画像群を投影した画像（以下、投影画像とする）を眼底画像と重ねて表示させることが開示されている。また、ＯＣＴ断層画像から抽出した血管領域などの構造情報を眼底画像上に重ねて表示させる技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−１５４７０４号広報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ＯＣＴ画像から血管を抽出しようとする場合には画像のノイズ等の影響により抽出が難しい。そのため、誤診を防ぐ観点から抽出の信頼性の高いごく一部の構造しか診断者に提示することができなかった。
【課題を解決するための手段】
【０００６】
本発明はかかる課題を解決するためになされたものであり、光干渉断層計で被検眼を撮影して得られるＯＣＴ画像から前記被検眼の構造を抽出するとともに、眼底カメラまたは走査型レーザ検眼鏡のいずれかで前記被検眼を撮影して得られる眼底画像から前記被検眼の構造を抽出する抽出手段と、前記抽出手段によりそれぞれ抽出された構造を眼底の画像に表示させる表示制御手段と、を有することを特徴とする。
【発明の効果】
【０００７】
かかる本発明によれば、光干渉断層計で得られる画像だけでなく眼底カメラまたは走査型レーザ検眼鏡で得られる画像から抽出された構造も診断者に提示することができる。
【０００８】
更に、光干渉断層計と眼底カメラまたは走査型レーザ検眼鏡で撮影される画像の特性が異なるため、それぞれの特性に応じた構造が抽出される。これにより豊富な情報をユーザに提供することができる。
【図面の簡単な説明】
【０００９】
【図１】撮影システム１の構成を示す図である。
【図２】撮影部２２の機能構成を示す図である。
【図３】画像処理装置１０の処理の概要を示す図である。
【図４】画像処理装置１０の処理の流れを示すフローチャートである。
【図５】ＯＣＴ断層画像群と投影画像を示す図である。
【図６】ＯＣＴ断層画像とＡ−ｓｃａｎのプロファイルを示す図である。
【図７】表示部４０での表示例を示す図である。
【図８】画像処理装置１０のその他の処理手順を示すフローチャートである。
【図９】投影画像の透明度を変えて表面画像に重畳した表示例を示す図である。
【図１０】画像処理装置１０のその他の処理手順を示すフローチャートである。
【図１１】眼底画像とＯＣＴ断層画像から血管領域を抽出した図と、表示部４０でのその他の表示例を示す図である。
【図１２】画像処理装置１０のその他の処理手順を示すフローチャートである。
【図１３】表示部４０でのその他の表示例を示す図である。
【図１４】表示部４０でのその他の表示例を示す図である。
【発明を実施するための形態】
【００１０】
以下に図面を適宜参照しながら本発明の実施形態を説明する。
【実施例１】
【００１１】
本実施例にかかる撮影システムの構成を図１に基づいて説明する。この撮影システム１では、光干渉断層計２０が被検眼を撮影して断層画像を得る。また、画像処理装置１０はこの断層画像と、別途眼底カメラで撮影した眼底の表面画像または走査型レーザ検眼鏡で撮影したＳＬＯ画像（以下、表面画像とＳＬＯ画像をまとめて眼底画像とする）とから血管等の構造を抽出する。表示部４０は抽出結果を画像に重畳して表示する。保存部３０は撮影された断層画像と、別途眼底カメラで撮影された画像を保存する。
【００１２】
画像処理装置１０は光干渉断層計２０、保存部３０、表示部４０と通信可能に接続されている。画像処理装置１０は、図１に示す各ブロックをＡＳＩＣやＦＰＧＡその他のハードウェアとして有しており、後述する図４の処理を実行するように構成されている。
【００１３】
画像取得部１１が取得した断層画像に基づいて投影画像生成部１２は深さ方向に垂直な面に投影した投影画像を生成する。患者データ確認部１３は撮影された断層画像と同一被検眼でかつ断層画像の撮影日時から所定の期間内に撮影された画像を保存部３０にて探索する。ここで探索する画像は眼底カメラにて撮影された眼底の表面画像か、走査型レーザ検眼鏡（ＳＬＯ：Ｓｃａｎｎｉｎｇ Ｌａｓｅｒ Ｏｐｈｔｈａｌｍｏｓｃｏｐｅ）にて撮影されたＳＬＯ画像とする。位置合わせ部１４は断層画像と表面画像またはＳＬＯ画像の位置合わせを行う。解析部１５は断層画像と表面画像またはＳＬＯ画像のそれぞれから血管等の組織構造を抽出する。ＯＣＴ画像解析部１６は断層画像の解析を行う。表面画像解析部１７は眼底カメラで得られた表面画像の解析を行う。ＳＬＯ画像解析部１８はＳＬＯで得られた画像の解析を行う。表示画像作成部１９は抽出結果を眼底の画像に重畳して表示するための画像データを作成する。なお表示画像作成部１９が表示部４０を制御する表示制御部として機能し、表示部４０に作成した画像データを表示させる。
【００１４】
次に図２に基づき、断層画像を形成する光干渉断層計２０の構成を説明する。ここで光干渉断層計２０は光干渉断層計（ＯＣＴ；Ｏｐｔｉｃａｌ Ｃｏｈｅｒｅｎｃｅ Ｔｏｍｏｇｒａｐｈｙ）の原理を用いた撮影装置である。指示取得部２１は、被検眼の眼底表面に対して二次元の計測範囲及び計測深度を調整する指示情報を取得する。指示情報に基づいてガルバノミラー駆動機構２０１はガルバノミラー２０２が駆動する。低コヒーレンス光源２０３からの光をハーフミラー２０４で信号光と参照光に分割する。信号光はガルバノミラー２０２、対物レンズ２０５を経由して被検眼２０６で反射または散乱される。参照光は固定配置された参照ミラー２０７で反射または散乱される。これら信号光および参照光の戻り光をハーフミラー２０４は重畳して干渉光を生成する。回折格子２０８はこの干渉光を波長λ１〜λｎの波長成分に分光して、各波長成分を１次元光センサアレイ２０９によって検出する。画像再構成部２１０は１次元光センサアレイ２０９から出力された干渉光の各波長成分の検出信号に基づいて、網膜の断層画像が再構成する。
【００１５】
なお、眼底の任意の位置に信号光を照射して一次元の画像を得ることをＡスキャンと呼ぶ。またこの深さ方向の一次元の画像をＡスキャン画像と呼ぶ。さらにガルバノミラー２０２により任意の線に沿って信号光を断続的に眼底へ入射させることにより眼底上を走査することをＢスキャンと呼ぶ。また、Ｂスキャンにより得られた断層画像をＢスキャン画像と呼ぶ。さらに、眼底表面の所定の領域内の複数の位置でＡスキャンして得られた画像からＡスキャンの方向と交差する画像をＣスキャン画像と呼ぶ。
【００１６】
このように、光干渉断層計２０は被検眼の網膜を３次元的に走査し、網膜の層構造の画像を得るのに適した装置である。そのため、ＯＣＴの断層画像は網膜の深部の構造を抽出しやすい。
【００１７】
これに対して眼底カメラでは、眼底に可視光を照射しその反射光を受光することにより眼底の表面画像を得る。可視光を用いることができるので、輝度情報だけでなく色情報をも取得することができ、眼底表面に現れる構造を抽出しやすい。
【００１８】
また走査型レーザ検眼鏡（ＳＬＯ）では、微弱なレーザ光を２次的に走査して被検眼の所定部位に照射し、その反射光を検出し画像を形成する。特に共焦点光学系（Ｃｏｎｆｏｃａｌ ｏｐｔｉｃａｌ ｓｙｓｔｅｍ）を用いたＳＬＯでは、入射光と反射光とを両方同時に走査（二重走査）して、反射光をピンホール等の共焦点開口を介して検出する。これにより不要散乱光の影響を抑えて画像のコントラストを著しく向上すると共に、３次元的な空間分解能を向上させている。ＳＬＯでは表面画像や網膜内の構造を画像化することができる。そのため、表面の情報や内部構造の情報を抽出することができる。
【００１９】
保存部３０には上述のＯＣＴにより得られた断層画像に対応する表面画像やＳＬＯ画像が格納される。これら特性の異なる複数の画像を解析することで異なる構造を抽出することができる。また、抽出の信頼性を確認することができる。
【００２０】
このことを図３に基づいて具体的に説明する。図３において、ＲＩ１は眼底カメラにより得られた眼底の表面画像、ＰＩ１はＯＣＴによる断層画像から生成された投影画像である。画像処理装置１０は表面画像ＲＩ１と断層画像または投影画像（以下、ＯＣＴ画像）から血管領域を抽出する。ＲＩ２、ＰＩ２は血管抽出結果をそれぞれ眼底画像、投影画像に重ねた画像であり、抽出された血管領域は太い線で表示している。次に画像処理装置１０は眼底画像と投影画像の画像を重ねた画像ＦＩ１を形成し、それぞれから抽出した血管領域を併せて表示部４０に表示する。このようにすることで、１つの画像上で眼底の表面画像と、積算画像と、それぞれの画像から抽出した構造の情報とを１つの画像で確認することができる。
【００２１】
更に、眼底画像ＲＩ２では比較的太い血管は抽出しやすい。しかし血管と網膜のコントラストが低い場合には血管領域を抽出できないこともある。一方投影画像ＰＩ２では、血管の太さにかかわらず抽出が可能である。また、脈絡膜新生血管など表面画像からは抽出が不可能な構造を抽出することができる。しかし解像度やノイズの問題から、血管の末端部ＢＰ２などは途切れ途切れの抽出結果になることが多い。このように異なる特性を有する眼底画像とＯＣＴ画像から抽出した構造情報を併せて表示することで、それぞれの画像で情報を補い合い、より多くの情報を提供することができる。
【００２２】
また、それぞれの画像からの抽出結果を確認することで、抽出結果の信頼性の情報を得ることができる。例えば、表面画像と断層画像の双方で抽出された血管は血管である信頼性が高い領域であると判断することができる。
【００２３】
次に図４に従い、上述の表示を行う画像処理装置１０の処理の流れを説明する。
【００２４】
（ステップＳ４０１）ステップＳ４０１で画像取得部１１は光干渉断層計２０で撮像した断層画像を取得する。ここで取得する断層画像は、図５に示すように、複数のＢスキャン画像からなる断層画像群である。また、この断層画像に対応する同一被検眼を撮影したその他の画像を保存部３０から取得する。その他の画像としては、眼底カメラで撮影された眼底の表面画像か、走査型レーザ検眼鏡（ＳＬＯ）で撮影されたＳＬＯ画像である。なお以下の処理は表面画像を取得した場合を説明する。
【００２５】
（ステップＳ４０２）ステップＳ４０２で投影画像生成部１２は断層画像群から投影画像を生成する。図５のように、断層画像Ｔ１〜Ｔｎの各画素における輝度値をｚ軸の正方向に単純加算した値を投影画像ＰＩ５の画素値とする。別の例では、該輝度値の和を加算した画素数で割った値を投影画像ＰＩ５の画素値とする。また別の例では各深度位置における輝度値の最大値や最小値を投影画像ＰＩ５の画素値とする。更に別の例では、ｚ軸方向に任意の範囲、もしくは特定の層間のみ加算した画素値を用いる。
【００２６】
更に別の例では、網膜の内境界膜（ＩＬＭ）と視細胞内節外節接合部（ＩＳ／ＯＳ）の間の網膜層領域を投影画像の生成に用いる領域とする。この領域における輝度値の最大値を投影画像ＰＩ５の画素値とする。ＩＬＭとＩＳ／ＯＳの間の領域で高輝度な領域は比較的少ない一方、白斑等の病変は高輝度な領域として画像化される。よってかかる投影画像により、投影画像において病変領域をわかりやすく表示することができる。
【００２７】
（ステップＳ４０３）ステップＳ４０３で位置合わせ部１４は投影画像と画像の位置合わせを行う。本実施形態では投影画像の座標系を基準とし、眼底画像のスケール（Ｓｘ，Ｓｙ）、位置座標（ｘ，ｙ）、回転（ｒｏｔ）成分を求めることにより、投影画像と眼底画像の位置を合わせる。また、画像同士が合っているかの指標を算出するため、投影画像と眼底画像における画像全体の輝度値の平均二乗誤差を用いる。つまり平均二乗誤差が最も小さくなるパラメータを本ステップの結果とする。
【００２８】
なお、位置合わせの指標はこれに限定されるものではない。輝度値の平均二乗誤差の代わりに相関係数、相互情報量などを用いてもよい。なお、後述するステップＳ４０５にて抽出する構造情報を用いて投影画像と眼底画像との位置合わせを行うことで、より精度よく位置合わせを行うことができる。
【００２９】
（ステップＳ４０５）ステップＳ４０５で解析部１５は眼底画像から血管、視神経乳頭部、黄斑部をなどの組織構造を抽出する。眼底画像において、血管は細い線状構造で現れる。そこで、線状構造を強調するフィルタを用いて血管を抽出する。ここでは、線分を構造要素としたときに構造要素内での輝度値の平均値と構造要素を囲む局所領域内での平均値の差を計算するようなコントラストに基づく線分強調フィルタを用いる。ここでフィルタの処理結果として得られる多値領域をそのまま血管抽出結果としても良いし、ある閾値で２値化した領域を抽出結果としてもよい。ただし、線状構造を強調する方法はこれに限らない。例えば、ＳｏｂｅｌフィルタやＬａｐｌａｃｉａｎフィルタのような差分型フィルタを用いてもよい。また、画素ごとにヘッセ行列の固有値を計算し、結果として得られる２つの固有値の組み合わせから線分状の領域を抽出してもよい。さらには単純に線分を構造要素とするトップハット演算など、任意の公知の血管抽出法を用いてよい。また画像の輝度値の情報等を用いて視神経乳頭部と黄斑部を抽出する。
【００３０】
また解析部１５は病変部として白斑部を抽出する。白斑領域は、眼底画像内で局所的に存在し、且つ周辺に比べて輝度値が高いという特徴をもつ。トップハット演算と閾値処理を行うことで白斑領域を検出する。ドルーゼン、出血なども同様に解剖学的特徴を用いて抽出できる。眼底画像から得られる解剖学的特徴として、ドルーゼンは白い塊状の特徴をもつ。出血領域は、出血していない領域よりもＲＧＢ各成分において輝度値が低く、大量出血している箇所に関しては、血管部分の輝度値よりもかなり低くなるという特徴がある。このような特徴を考慮して抽出処理を行う。
【００３１】
（ステップＳ４０６）ステップＳ４０６で解析部１５はＯＣＴ画像から血管、視神経乳頭部、黄斑部、病変部を抽出する。ＯＣＴ画像において、血管が存在した場合、吸収物質である血管よりも深度方向では信号が減衰するため偽像が発生することがある。これらの特徴を考慮して血管の検出を行う。具体的には、まず、Ａ−ｓｃａｎの深度方向に見て、輝度値が低い画素から高い画素へのコントラストを強調するＳｏｂｅｌフィルタを用いる。変換後の画像をＳｏｂｅｌ画像とする。このようにＳｏｂｅｌフィルタに方向性をもたせることで、図６に示されている網膜内の内境界膜（ＩＬＭ）Ｌ１と視細胞内接外接接合部（ＩＳ／ＯＳ）Ｌ２が強調される。次にＳｏｂｅｌ画像の各Ａ−ｓｃａｎにおいて輝度値のプロファイルを作成し、極大点を数える。図６には、血管が存在しないＡ−ｓｃａｎ位置Ａ１におけるＳｏｂｅｌ画像のプロファイルＰＳ１と血管が存在するＡ−ｓｃａｎ位置Ａ２におけるＳｏｂｅｌ画像のプロファイルＰＳ２が示されている。これらプロファイルを深度方向に見て、閾値以上の極大点を数える。図６におけるＰＳ１のように正常な網膜層構造であれば閾値以上の極大点が２つ存在するのに対して、ＰＳ２のように、極大点が１つ以下の場合は、そのＡ−ｓｃａｎには血管が存在すると判定する。この処理を全Ａ−ｓｃａｎでおこない血管構造を抽出する。血管の抽出方法の別の例として、投影画像から血管を抽出する。投影画像上での血管は偽像の影響により、周辺より輝度値の低い線状構造が現れる。そこで、ステップＳ４０５で説明した線上構造を強調するフィルタを用いて血管構造を抽出する。
【００３２】
視神経乳頭部の抽出は、視神経乳頭部にて網膜色素上皮の層が存在していないことを利用して行う。黄斑部の抽出は、神経線維層（ＮＦＬ）が存在していないことを利用して行う。
【００３３】
また病変部として脈絡膜新生血管及び白斑を抽出する。脈絡膜新生血管が存在するとＯＣＴ断層画像において、視細胞内節外節接合部よりも深度方向に高輝度の領域が現れる。この特徴を利用して、各Ａ−ｓｃａｎにおいて視細胞内節外節接合部よりも深度方向に輝度値を積算し、閾値以上の場合は脈絡膜新生血管が存在すると判定することで抽出する。白斑の抽出は、ＩＬＭとＩＳ／ＯＳの間において所定の閾値より高輝度な領域を特定することにより行う。
【００３４】
別の例としては、ステップＳ４０５及びＳ４０６での組織構造の抽出例として、それぞれから異なる組織構造を抽出することとする。各画像から抽出する組織構造は、抽出の精度を基準に選択する。例えば、眼底カメラの表面画像からは血管、白斑、視神経乳頭部のディスク領域、黄斑部を抽出する。ＯＣＴ画像からは脈絡膜新生血管、視神経乳頭部のカップ領域を抽出する。これら抽出された組織構造を表示することにより、それぞれの画像の特徴を生かして抽出される構造を明示することができる。
【００３５】
（ステップＳ４０７）ステップＳ４０７で表示画像作成部１９は画面に表示する画像を作成する。ここで、投影画像に所定の透明度を設定し、この投影画像を表面画像に重畳する。透明度の設定はアルファブレンディング処理を用いる。表示される画素の値ｖａｌｕｅは、表面画像の画素値をｉｍｇ１、重畳する投影画像の画素値をｉｍｇ２、透明度に関する値であるαを用いて、以下の式（１）により決定する。
ｖａｌｕｅ＝ｉｍｇ１×（１．０−α）＋ｉｍｇ２×α ・・・（１）
【００３６】
ここでαの値が小さいとき透明度が高くなり、αが大きいとき透明度が低くなる。１−αの値が透明度を示している。
【００３７】
（ステップＳ４０８）ステップＳ４０８で表示制御部として機能する表示画像作成部１９は表示部４０にステップＳ４０７で形成した画像を表示させる。
【００３８】
図７には表示制御部が表示部４０に表示させる画面の例を示したものである。この表示例では、所定の透明度をもたせた投影画像を表面画像に重畳している。ＯＣＴ断層画像から抽出した構造を投影画像中に、表面画像から抽出した血管領域を表面画像中に重畳した画像を形成する。血管や病変部などの構造には、色をつけるなどして画像に示す。このように、眼底カメラの画像とＯＣＴの断層画像という異なる特性の画像から抽出された構造を１つの画像で容易に確認することができる。よって医師の診断効率を向上させることができる。特に投影画像に透明度を持たせて表示しているため、投影画像が重畳された表面画像中の領域には、眼底表面の色情報と、投影画像からのみ抽出された構造と、表面画像から抽出された構造とが同時に表示される。これにより豊富な情報をユーザに提供することができる。また診断者に被検眼の異なる特徴を１つの眼底画像でまとめて確認させることができる。これにより診断効率を向上させることができる。
【００３９】
別の表示例としては、ＯＣＴ断層画像の血管領域と眼底画像の血管領域は異なる色で画像中に示す。これによりいずれの画像から抽出された血管であるかをユーザにわかりやすく提示することができる。また色を変えるだけでなく、点滅のさせ方を変える、領域を囲む枠線の種類を変える等の方法により抽出元の画像を区別して表示してもよい。特に、抽出元に合わせた種類の枠線で囲むことにより、抽出元の画像が区別されると共に、抽出の対象となった領域の画素値を画像中で容易に確認することができる。
【００４０】
更に別の表示例としては、ＯＣＴ断層画像と眼底画像の両方から抽出された血管領域と、ＯＣＴ断層画像の身から抽出された血管領域と、眼底画像から抽出された血管領域とをそれぞれ異なる色で画像中に示す。これにより、色情報によっていずれの画像から抽出された血管であるかをユーザが容易に認識することができる。また、両方の画像から抽出された血管と、眼底カメラによる表面画像から抽出された血管と、ＯＣＴの断層画像から抽出された血管とをユーザは容易に区別することができる。両方の画像から抽出された血管領域は信頼性が高いと判断できるため、抽出の信頼性を示すことができる。
【００４１】
このように、ＯＣＴ断層画像、眼底画像から抽出した構造情報を併せて表示することで、それぞれの画像から特徴を補い合うことができ、結果としてより精度の高い、豊富な情報をユーザに提供することができる。
【実施例２】
【００４２】
本実施例では、解析部１５による構造の抽出結果を用いて投影画像の表示形態を変更する例を説明する。画像中から、ある構造情報が抽出された場合、構造の種類によって投影画像と眼底画像でその構造の見え易さが違ってくる。そこで本実施形態では、表示画像における投影画像の透明度について、投影画像のほうが見え易い構造が存在する場合、透明度を低く、眼底画像のほうが見え易い構造が存在する場合、透明度を高く設定する。
【００４３】
装置の構成は、実施例１における表示画像作成部１９が抽出した構造に応じて投影画像の透明度を決定する点で異なっている。表示画像作成部１９が行う処理は後述する。
【００４４】
図８に従い、実施例２に係るステップＳ８０７の詳細を説明する。なお、ステップＳ８０１乃至Ｓ８０５、Ｓ８０７及びＳ８０８の処理については実施例１の図４におけるステップＳ４０１乃至Ｓ４０７までの処理と同様であるため、説明は省略する。
【００４５】
（ステップＳ８０７）ステップＳ８０７で表示画像作成部１９は解析部１５の抽出結果を用いて投影画像の透明度を決定する。ここでの透明度は０〜１００％で表し、数値が高いほど透けて表示される。本実施形態では、ステップＳ８０５とステップＳ８０６で何らかの構造情報が抽出された場合、その情報に基づき透明度を決定する。
【００４６】
図９（ａ）ではＯＣＴ断層画像から脈絡膜新生血管Ｂ９が抽出された場合を表示例を示している。脈絡膜新生血管は投影画像ＰＩ９１のほうが病変を見易いため、ＰＩ９１の透明度を２５％とする。また、図９（ｂ）のように投影画像が重畳される領域内に白斑Ｅ９が抽出された場合、眼底画像ＲＩ９２のほうが病変を見易いため、投影画像ＰＩ９２の透明度を７５％とする。これら各画像から抽出される病変の種類と透明度とを対応付けたテーブル情報を不図示の記憶部に格納しておく。表示画像作成部１９は適宜このテーブル情報を参照して透明度を設定する。設定された透明度を用いて、ステップＳ８０８にて表示画像作成部１９が表示画像の形成を行うと、重ね合わせ画像はそれぞれＦＩ９１、ＦＩ９２のようになる。これにより白斑がある場合には、表面画像との関係で白斑の状態を確認した方がよいと考えられるため、より透明度を上げて表面画像を見やすくし、白斑の状態が確認しやすい画像をユーザに提供することができる。一方で脈絡膜新生血管がある場合には、この病変は抽出元である断層画像または投影画像との関係で状態を確認したほうがよいと考えられるため、透明度を下げることでより病変を確認しやすくすることができる。また、抽出された血管や病変の領域を枠で囲うことで構造を表示する場合において、脈絡膜新生血管の領域がある場合には透明度を下げることで見やすさを上げることができる。また、白斑の領域では投影画像の透明度が上がるため、表面画像における白斑領域の状態をより確認しやすくなる。
【００４７】
透明度の設定に関する別の例を説明する。被検体が病気に犯され、病気がある程度進行しているような状態では複数種類の病変が同時に現れる場合が多い。例えば表面画像にて白斑が抽出され、断層画像にて脈絡膜新生血管が抽出されるような場合である。この場合に対応するため、表示画像作成部１９は投影画像の透明度を部分毎に変える処理を行う。脈絡膜新生血管が抽出された位置の周囲の部分領域では、投影画像の透明度を下げる。一方で白斑が抽出された位置の周囲の部分領域では投影画像の透明度を上げる。このように透明度を部分毎に変更することでそれぞれの画像から抽出された構造をよりわかりやすくユーザに確認させることができる。
【００４８】
表示形態の変更の別の例としては、透明度に替えて、輝度値を上下させてもよいし、このように、画像解析結果によって重ねる投影画像の透明度を全体的、または局所的に変えることで、より病変部が見易い画像をユーザに提供することができる。
【実施例３】
【００４９】
実施例３は、実施例１のステップＳ４０３とＳ４０４で眼底画像、ＯＣＴ断層画像から構造情報を抽出した後、その抽出結果の信頼度を計算し、表示形態に反映させる例を説明する。例えば構造情報として血管に注目した場合、眼底画像とＯＣＴ断層画像の両方から抽出される血管もあれば、どちらか片方からのみ抽出される血管もある。そこで本実施形態では、眼底画像、ＯＣＴ断層画像の血管抽出結果から信頼度を計算し、画像上に表示するか否かを決定する。
【００５０】
装置の構成としては、解析部１５がそれぞれ抽出した構造の信頼性を示す信頼度の値を算出する点が異なっている。また表示画像作成部１９が信頼度に応じて画像の表示形態を変更する点で異なっている。これら解析部１５及び表示画像作成部１９が行う処理は後述する。以下、図１０に従い、実施例３に係るステップＳ１００６とステップＳ１００７の詳細を説明する。なお、ステップＳ１００１乃至Ｓ１００５、Ｓ１００８及びＳ１００９の処理については実施例１の図４のフローチャートにおけるステップＳ４０１乃至Ｓ４０７の処理と同様であるため、説明は省略する。
【００５１】
（ステップＳ１００６）ステップＳ１００６において、解析部１５は、ＯＣＴ画像解析部１６、表面画像解析部１７からの抽出結果を用いて構造情報の信頼度を計算する。本実施形態では、ステップＳ１００４とステップＳ１００５の血管抽出結果を用いて信頼度を計算する。図１１（ａ）に眼底画像から血管を抽出した結果ＲＩ１１１とＯＣＴ断層画像から血管を抽出し、投影画像に重ねた結果ＰＩ１１１を示す。図１１（ａ）のＢＲ１１１やＢＰ１１１のように、血管なのかノイズを抽出してしまったのかわからない結果も存在する。また、ＢＰ１１２は眼底画像からは抽出されず、ＯＣＴ投影画像のみから抽出された血管である。これらの結果を用いて信頼度を計算するには、まず、それぞれの画像の各画素（注目画素）と隣り合う画素（近傍画素）に血管が含まれているかを調べる。そして、注目画素が血管である、且つ近傍画素に血管が存在する場合には信頼度２を付与する。さらに、注目画素は血管であるが近傍画素には血管が存在しない場合と、注目画素は血管ではないが近傍画素に血管が存在する場合は信頼度１を付与する。それ以外は信頼度を付与しない。これを眼底画像、投影画像それぞれについて行う。また、信頼度の計算は血管に限られず、ステップＳ１００４、Ｓ１００５で抽出される病変部などについても算出する。このように信頼度を付与することで、ノイズ等の影響によりよって誤抽出された構造の信頼度を下げることができるため、ノイズが大きい画像において有効である。
【００５２】
信頼度の算出方法についてその他の例を説明する。Ｓ１００４において眼底画像から血管を抽出するとき、線分強調フィルタで各画素について得られる成分値をそのまま信頼度として用いる。ここで成分値とは、線分を構造要素としたときに構造要素内での画像濃度値の平均値と構造要素を囲む局所領域内での平均値の差であり、各画素毎に算出される値である。同様の値がＳｏｂｅｌフィルタやＬａｐｌａｃｉａｎフィルタのような差分型フィルタでも算出できるため、かかるフィルタを用いた場合でもこの成分値を用いることができる。
【００５３】
更に別の例としては、表面画像と投影画像のそれぞれで同一位置に同一の構造が抽出されている場合には誤りの可能性が低いとして高い信頼度を付与する。一方の画像でしか抽出されない構造については信頼度を下げる。特に、血管領域や白斑については一般に表面画像からの抽出精度が高いため、表面画像のみで抽出された血管領域は、断層画像のみで抽出された血管領域に対して高い信頼度を付与する。このように各画像の一般的な特性を用いて信頼度を設定することができる。
【００５４】
（ステップＳ１００７）ステップＳ１００７において、表示画像作成部１９は、ステップＳ１００６で算出した信頼度を基に表示する構造情報を決定する。本実施形態では、ステップＳ１００６で算出した血管についての信頼度から、画素単位で血管を表示するか否かを決定する。図１１（ｂ）のように、眼底画像と投影画像を重ね合わせた画像ＦＩ１２の各画素において、血管の信頼度を調べる。そして、眼底画像の血管抽出結果における信頼度とＯＣＴ断層画像における信頼度を足し合わせて，合計が２以上の画素に関しては血管として表示することとする。信頼度の結果から表示される血管を黒の太い線で表わした画像がＦＭ１２である。図１１（ｂ）におけるＢＲ１１１やＢＰ１１１は信頼度が３であるので表示されている。また、ＢＰ１１２については信頼度が１であるので表示されない。眼底画像のみ、ＯＣＴ断層画像のみからの抽出結果では血管であるか、ノイズであるか判定できなかった画素について、両者の抽出結果から信頼度を考慮することで判定することができる。
【００５５】
その他の表示形態の例では、抽出の信頼度に応じた透明度で投影画像を表示させる。信頼度が大きいほど注目すべき構造が存在していることとなるため、透明度を下げて抽出された構造を見えやすくする。一方で信頼度が小さいほど注目すべき構造は少ないと考えられるため透明度を上げ、表面画像を見えやすくする。抽出された構造は枠で囲み表示する。
【００５６】
また別の表示形態の例として、同一の領域における投影画像での抽出の信頼度と表面画像での抽出の信頼度との差の値に応じて透明度を設定する。信頼度の差が正の値を取りかつ大きいときにはより投影画像に注目させる必要があると考えられるため透明度を下げる。信頼度の差が負の値を取りかつ絶対値が大きい場合には、より表面画像に注目させる必要があると考えられるため透明度を上げる。これにより、投影画像と表面画像の信頼度を比較して透明度を設定し、注目させるべき部位をわかりやすく表示させることができる。
【００５７】
このように、抽出された構造情報の結果から信頼度を計算することで、より信頼度の高い情報をユーザに提供することができる。また、信頼度に応じて表示形態を変えることにより、表示から注目すべき部位を直感的に理解させると共に、注目すべき部位をわかりやすく表示することができる。
【実施例４】
【００５８】
本実施例では、患者データ確認部１３は保存部３０にて断層画像に対応する眼底カメラの画像やＳＬＯ画像を検索する。検索の結果発見できない場合には、例外処理として投影画像を拡大して表示させる。また、表示画像作成部１９は位置合わせされた表面画像と断層画像を、投影画像を固定して表面画像を回転させて表示させる。
【００５９】
本実施例の構成は患者データ確認部１３及び表示画像作成部１９が異なっている。これについては後述する。次に図１２に従い画像処理装置１０の処理の流れを説明する。なおステップＳ１２０１、Ｓ１２０２及びＳ１２０４乃至Ｓ１２０７の処理は実施例１と同様であるため説明を省略する。
【００６０】
（ステップＳ１２０３）ステップＳ１２０３で患者データ確認部１３は取得したＯＣＴ断層画像と同一被検眼の対応する眼底画像が保存部３０に存在するかを確認する。ここで断層画像の撮影日時から数えて所定期間以上昔の画像である場合には、対応しないと判定する。同一患者の眼底画像が存在する場合（ステップＳ１２０３でＹｅｓ）、ステップＳ１２０４に進む。存在しない場合（ステップＳ１２０３でＮｏ）、ステップＳ１２０９に進む。
【００６１】
（ステップＳ１２０８）ステップＳ１２０８で表示画像作成部１９は位置合わせがされた表面画像と投影画像を表示部４０に表示させる。ステップＳ１２０４にて位置合わせ部１４が回転成分Δθを取得している場合には、まず投影画像を通常通り表示し、この投影画像に対して表面画像をこのΔθだけ回転させて表示させる。この表示例を示したのが図１３である。図１３に示す表示例では、画面のＸ方向及びＹ方向とそれぞれ平行な２組の線分で囲まれる矩形で投影画像ＦＭ１３が所定の透明度で示されている。これに対して、略円形で表される眼底画像ＦＩ１３を位置合わせ時の回転成分Δθだけ回転させて表示される。
【００６２】
更に図１３の表示例では、投影画像上にＯＣＴのＢスキャンラインＳＬ１３を表示させており、このスキャンラインに対応する断層画像Ｔ１３が表面画像と並べて表示される。このＢスキャンラインＳＬ１３はユーザのマウス操作によって上下に平行移動させることができる。このＢスキャンラインＳＬ１３の位置が変わること応じて対応する断層画像が表示される。投影画像を回転させずに表示することで、投影画像上においてＢスキャンラインが画面のＸ方向と平行になるため、マウス等で操作するとき操作しやすい。仮に投影画像が回転されて画面上に表示されている場合には、マウスの操作によってラインが斜めに動くこととなる。これは、マウスによる上下操作の方向とラインの移動方向が一致せず、不自然である。このように断層画像と表面画像の両方を確認して診断を行う場合には、直感的な操作を実現できるため診断者が利用しやすい。
【００６３】
（ステップＳ１２０９）ステップＳ１２０９で表示画像作成部１９は表示部４０に投影画像を表示させる。この際に、表面画像がある場合に比べて投影画像を拡大して表示させる。これは、表面画像がない場合に投影画像を拡大して詳細に表示させることを意図するものである。また、投影画像の透明度を０に設定して表示させる。
【００６４】
本実施例では断層画像があることを前提とし、断層画像に対応する表面画像が存在するか否かを判定しているが、表面画像が得られている場合に、保存部３０に記憶された断層画像を探索することとしてもよい。また両方の場合を兼ね備えて、一方の画像と対応する他方の画像が存在するか否かを判定することとしてもよい。
【実施例５】
【００６５】
本実施例では、上述の表面画像と共に表面画像から抽出された構造の位置を示した断層画像も表示させる。装置の構成及び処理としては、表示画像作成部１９が先述の実施例とは異なる画像を作成する点で異なっている。
【００６６】
解析部１５は表面画像にて視神経乳頭部を抽出すると共に、断層画像においても視神経乳頭部を抽出する。表示画像作成部１９は解析部１５が抽出した視神経乳頭部の位置座標を取得する。その座標値に基づいて断層画像中に視神経乳頭部の位置を表示する。図１４は本実施例における断層画像の表示例を示したものである。表示画面において断層画像の上部には表面画像から抽出した視神経乳頭部の位置を表示している。また、断層画像の株には断層画像から抽出した視神経乳頭部の位置を表示している。
【００６７】
別の例としては、同様の手法を用いることにより、視神経乳頭部のカップ領域とディスク領域の位置を断層画像上に表示させる。これにより、緑内障の指標となるカップ領域やディスク領域の状態を断層画像において確認することができる。
【００６８】
このように、断層画像において表面画像で抽出された構造の位置を表示することにより、断層画像において断層画像と表面画像の両方から抽出された構造をユーザに確認させることができる。
【００６９】
（その他の実施例）
上述の実施例では眼底カメラにより撮影された眼底の表面画像とＯＣＴの断層画像を用いる例を説明した。本発明の範囲はこれに限らず、ＳＬＯにより得られるＳＬＯ画像と、ＯＣＴにより得られる断層画像または投影画像を表示させることとしてもよい。または、眼底カメラで得られる表面画像と、ＳＬＯで得られるＳＬＯ画像と、ＯＣＴで得られる断層画像または投影画像とを表示させることとしてもよい。
【００７０】
また、投影画像を表面画像に重畳せずに、各画像から抽出した構造を直接表面画像に重畳して表示してもよい。更には抽出した構造を、眼底カメラで得られる表面画像ではなくて、眼底の表面を模式的に示した画像に示してもよい。また、抽出した構造のみを表示することとしてもよい。
【００７１】
更にその他の実施例としては、表面画像と断層画像のそれぞれで抽出された構造に不一致がある場合には画面上に警告を示す表示させ、ユーザに通知する。装置の構成及び処理は表示画像作成部１９が警告を示す表示を画像に付す点が異なっている。表示画像作成部１９は抽出された血管が投影画像のみから抽出された血管がある場合に、その旨を示す文字または画像を表示させ、ユーザに通知する。これによりユーザはその文字または画像を確認して、断層画像のみから抽出された血管であることを知ることができる。更に、投影画像から抽出される血管の位置と、表面画像から抽出される血管の位置とが不連続となっている位置を表示することでユーザに対して通知する。
【００７２】
また別の実施例としては、断層画像のみで抽出された構造は既定では表示させない設定としておき、ユーザの指示に応じて表示、非表示を切り替え可能に制御する。表示制御部として機能する表示画像作成部１９は、ユーザのキーボード入力に応じて断層画像のみで抽出された構造の表示、非表示を切り替える。また、表面画像及び断層画像から抽出された構造の表示（抽出された構造を囲む等）をユーザの操作に応じて切り替える。更には、投影画像の表示、非表示もユーザの操作に応じて切り替える。これにより、ユーザは各画像を単独で確認したり、装置により抽出された構造の位置を合わせて確認したりするなど、ユーザの希望に応じた情報をわかりやすい表示で確認することができる。
【００７３】
また画像処理装置内で行われている処理を複数の装置で分散させ画像処理システムとして実現しても、１つの機能ブロックとしてまとめられている処理を複数の回路または機能ブロックで分散させて実現してもよい。また、撮影装置または検出器に上述の実施例における画像処理装置及び表示装置の機能を組み込んで撮影装置により本発明を実現することとしてもよい。この場合には画像取得部１１が光干渉断層計２０を有し、この画像取得部１１により被写体を撮影して画像を取得する。
【００７４】
上述の画像処理装置１０では各ブロックは回路として実装されているが、ソフトウェアとコンピュータのハードウェアとの協働により各ブロックに対応する機能を実装してもよい。具体的には、電子計算機は例えばＣＰＵ、ＲＯＭ、ＲＡＭ、ＨＤＤ、マウス、キーボード、ネットワークＩ／Ｆ、表示部を有するものがある。ここで、ＲＯＭまたはＨＤＤには、画像処理装置１０であるコンピュータの各ハードウェアと協働して図１に示す機能を発揮し、図４に示される処理をコンピュータに実行させるためのプログラムが格納される。このプログラムが、ＲＡＭに展開され、ＣＰＵがその命令を実行することで、図１に示す機能が発揮され、図４に示す処理が実現される。
【００７５】
ここでＣＰＵは１つのコンピュータ内に複数含まれていてもよく、この場合複数のＣＰＵで分散させて本発明を実現することとしてもよい。
【００７６】
また本発明を電子計算機のハードウェアとソフトウェアの協働により実現する場合、電子計算機が読み出したプログラムコードを実行させる。電子計算機上で稼動しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施例の機能が実現される場合も本発明の範囲に含まれる。更にこの場合には、プログラムまたはプログラムコードを記録した記録媒体は本発明を構成する。
【００７７】
なお、上述した本実施の形態における記述は、本発明に係る好適な画像処理装置の一例であり、本発明はこれに限定されるものではない。
【符号の説明】
【００７８】
１ 撮影システム
１０ 画像処理装置
１３ 患者データ確認部
１４ 位置合わせ部
１５ 解析部
１６ ＯＣＴ画像解析部
１７ 表面画像解析部
１８ ＳＬＯ画像解析部
１９ 表示画像作成部
４０ 表示部
【技術分野】
【０００１】
本発明は撮影対象の画像を表示させる画像処理装置、画像処理方法、画像処理システム及びプログラムに関する。
【背景技術】
【０００２】
医療分野では、被検体を撮影した画像を見て病変の発見や病状を把握するなどの画像診断が広く行われている。この画像診断では、複数の異なる撮影装置により得られる画像を比較または検討してより詳細な検討を行うことも多い。例えば眼科では、眼底カメラ、走査型レーザ検眼鏡（ＳＬＯ）または光干渉断層計（ＯＣＴ）などの撮影装置で得られる画像を用いて診断を行う。ここで眼底カメラは眼底の表面のカラー画像を得ることができる。走査型レーザ検眼鏡は解像度が高い眼底表面や、網膜内部の構造の画像を得ることができる。光干渉断層計からは網膜の断層画像を得ることができる。これら撮影装置による画像を用いることで、眼底の表面及び内部構造を詳細に検討した上で診断することができる。
【０００３】
このような診断を支援する技術として特許文献１には、ＯＣＴによる断層画像群を投影した画像（以下、投影画像とする）を眼底画像と重ねて表示させることが開示されている。また、ＯＣＴ断層画像から抽出した血管領域などの構造情報を眼底画像上に重ねて表示させる技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−１５４７０４号広報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ＯＣＴ画像から血管を抽出しようとする場合には画像のノイズ等の影響により抽出が難しい。そのため、誤診を防ぐ観点から抽出の信頼性の高いごく一部の構造しか診断者に提示することができなかった。
【課題を解決するための手段】
【０００６】
本発明はかかる課題を解決するためになされたものであり、光干渉断層計で被検眼を撮影して得られるＯＣＴ画像から前記被検眼の構造を抽出するとともに、眼底カメラまたは走査型レーザ検眼鏡のいずれかで前記被検眼を撮影して得られる眼底画像から前記被検眼の構造を抽出する抽出手段と、前記抽出手段によりそれぞれ抽出された構造を眼底の画像に表示させる表示制御手段と、を有することを特徴とする。
【発明の効果】
【０００７】
かかる本発明によれば、光干渉断層計で得られる画像だけでなく眼底カメラまたは走査型レーザ検眼鏡で得られる画像から抽出された構造も診断者に提示することができる。
【０００８】
更に、光干渉断層計と眼底カメラまたは走査型レーザ検眼鏡で撮影される画像の特性が異なるため、それぞれの特性に応じた構造が抽出される。これにより豊富な情報をユーザに提供することができる。
【図面の簡単な説明】
【０００９】
【図１】撮影システム１の構成を示す図である。
【図２】撮影部２２の機能構成を示す図である。
【図３】画像処理装置１０の処理の概要を示す図である。
【図４】画像処理装置１０の処理の流れを示すフローチャートである。
【図５】ＯＣＴ断層画像群と投影画像を示す図である。
【図６】ＯＣＴ断層画像とＡ−ｓｃａｎのプロファイルを示す図である。
【図７】表示部４０での表示例を示す図である。
【図８】画像処理装置１０のその他の処理手順を示すフローチャートである。
【図９】投影画像の透明度を変えて表面画像に重畳した表示例を示す図である。
【図１０】画像処理装置１０のその他の処理手順を示すフローチャートである。
【図１１】眼底画像とＯＣＴ断層画像から血管領域を抽出した図と、表示部４０でのその他の表示例を示す図である。
【図１２】画像処理装置１０のその他の処理手順を示すフローチャートである。
【図１３】表示部４０でのその他の表示例を示す図である。
【図１４】表示部４０でのその他の表示例を示す図である。
【発明を実施するための形態】
【００１０】
以下に図面を適宜参照しながら本発明の実施形態を説明する。
【実施例１】
【００１１】
本実施例にかかる撮影システムの構成を図１に基づいて説明する。この撮影システム１では、光干渉断層計２０が被検眼を撮影して断層画像を得る。また、画像処理装置１０はこの断層画像と、別途眼底カメラで撮影した眼底の表面画像または走査型レーザ検眼鏡で撮影したＳＬＯ画像（以下、表面画像とＳＬＯ画像をまとめて眼底画像とする）とから血管等の構造を抽出する。表示部４０は抽出結果を画像に重畳して表示する。保存部３０は撮影された断層画像と、別途眼底カメラで撮影された画像を保存する。
【００１２】
画像処理装置１０は光干渉断層計２０、保存部３０、表示部４０と通信可能に接続されている。画像処理装置１０は、図１に示す各ブロックをＡＳＩＣやＦＰＧＡその他のハードウェアとして有しており、後述する図４の処理を実行するように構成されている。
【００１３】
画像取得部１１が取得した断層画像に基づいて投影画像生成部１２は深さ方向に垂直な面に投影した投影画像を生成する。患者データ確認部１３は撮影された断層画像と同一被検眼でかつ断層画像の撮影日時から所定の期間内に撮影された画像を保存部３０にて探索する。ここで探索する画像は眼底カメラにて撮影された眼底の表面画像か、走査型レーザ検眼鏡（ＳＬＯ：Ｓｃａｎｎｉｎｇ Ｌａｓｅｒ Ｏｐｈｔｈａｌｍｏｓｃｏｐｅ）にて撮影されたＳＬＯ画像とする。位置合わせ部１４は断層画像と表面画像またはＳＬＯ画像の位置合わせを行う。解析部１５は断層画像と表面画像またはＳＬＯ画像のそれぞれから血管等の組織構造を抽出する。ＯＣＴ画像解析部１６は断層画像の解析を行う。表面画像解析部１７は眼底カメラで得られた表面画像の解析を行う。ＳＬＯ画像解析部１８はＳＬＯで得られた画像の解析を行う。表示画像作成部１９は抽出結果を眼底の画像に重畳して表示するための画像データを作成する。なお表示画像作成部１９が表示部４０を制御する表示制御部として機能し、表示部４０に作成した画像データを表示させる。
【００１４】
次に図２に基づき、断層画像を形成する光干渉断層計２０の構成を説明する。ここで光干渉断層計２０は光干渉断層計（ＯＣＴ；Ｏｐｔｉｃａｌ Ｃｏｈｅｒｅｎｃｅ Ｔｏｍｏｇｒａｐｈｙ）の原理を用いた撮影装置である。指示取得部２１は、被検眼の眼底表面に対して二次元の計測範囲及び計測深度を調整する指示情報を取得する。指示情報に基づいてガルバノミラー駆動機構２０１はガルバノミラー２０２が駆動する。低コヒーレンス光源２０３からの光をハーフミラー２０４で信号光と参照光に分割する。信号光はガルバノミラー２０２、対物レンズ２０５を経由して被検眼２０６で反射または散乱される。参照光は固定配置された参照ミラー２０７で反射または散乱される。これら信号光および参照光の戻り光をハーフミラー２０４は重畳して干渉光を生成する。回折格子２０８はこの干渉光を波長λ１〜λｎの波長成分に分光して、各波長成分を１次元光センサアレイ２０９によって検出する。画像再構成部２１０は１次元光センサアレイ２０９から出力された干渉光の各波長成分の検出信号に基づいて、網膜の断層画像が再構成する。
【００１５】
なお、眼底の任意の位置に信号光を照射して一次元の画像を得ることをＡスキャンと呼ぶ。またこの深さ方向の一次元の画像をＡスキャン画像と呼ぶ。さらにガルバノミラー２０２により任意の線に沿って信号光を断続的に眼底へ入射させることにより眼底上を走査することをＢスキャンと呼ぶ。また、Ｂスキャンにより得られた断層画像をＢスキャン画像と呼ぶ。さらに、眼底表面の所定の領域内の複数の位置でＡスキャンして得られた画像からＡスキャンの方向と交差する画像をＣスキャン画像と呼ぶ。
【００１６】
このように、光干渉断層計２０は被検眼の網膜を３次元的に走査し、網膜の層構造の画像を得るのに適した装置である。そのため、ＯＣＴの断層画像は網膜の深部の構造を抽出しやすい。
【００１７】
これに対して眼底カメラでは、眼底に可視光を照射しその反射光を受光することにより眼底の表面画像を得る。可視光を用いることができるので、輝度情報だけでなく色情報をも取得することができ、眼底表面に現れる構造を抽出しやすい。
【００１８】
また走査型レーザ検眼鏡（ＳＬＯ）では、微弱なレーザ光を２次的に走査して被検眼の所定部位に照射し、その反射光を検出し画像を形成する。特に共焦点光学系（Ｃｏｎｆｏｃａｌ ｏｐｔｉｃａｌ ｓｙｓｔｅｍ）を用いたＳＬＯでは、入射光と反射光とを両方同時に走査（二重走査）して、反射光をピンホール等の共焦点開口を介して検出する。これにより不要散乱光の影響を抑えて画像のコントラストを著しく向上すると共に、３次元的な空間分解能を向上させている。ＳＬＯでは表面画像や網膜内の構造を画像化することができる。そのため、表面の情報や内部構造の情報を抽出することができる。
【００１９】
保存部３０には上述のＯＣＴにより得られた断層画像に対応する表面画像やＳＬＯ画像が格納される。これら特性の異なる複数の画像を解析することで異なる構造を抽出することができる。また、抽出の信頼性を確認することができる。
【００２０】
このことを図３に基づいて具体的に説明する。図３において、ＲＩ１は眼底カメラにより得られた眼底の表面画像、ＰＩ１はＯＣＴによる断層画像から生成された投影画像である。画像処理装置１０は表面画像ＲＩ１と断層画像または投影画像（以下、ＯＣＴ画像）から血管領域を抽出する。ＲＩ２、ＰＩ２は血管抽出結果をそれぞれ眼底画像、投影画像に重ねた画像であり、抽出された血管領域は太い線で表示している。次に画像処理装置１０は眼底画像と投影画像の画像を重ねた画像ＦＩ１を形成し、それぞれから抽出した血管領域を併せて表示部４０に表示する。このようにすることで、１つの画像上で眼底の表面画像と、積算画像と、それぞれの画像から抽出した構造の情報とを１つの画像で確認することができる。
【００２１】
更に、眼底画像ＲＩ２では比較的太い血管は抽出しやすい。しかし血管と網膜のコントラストが低い場合には血管領域を抽出できないこともある。一方投影画像ＰＩ２では、血管の太さにかかわらず抽出が可能である。また、脈絡膜新生血管など表面画像からは抽出が不可能な構造を抽出することができる。しかし解像度やノイズの問題から、血管の末端部ＢＰ２などは途切れ途切れの抽出結果になることが多い。このように異なる特性を有する眼底画像とＯＣＴ画像から抽出した構造情報を併せて表示することで、それぞれの画像で情報を補い合い、より多くの情報を提供することができる。
【００２２】
また、それぞれの画像からの抽出結果を確認することで、抽出結果の信頼性の情報を得ることができる。例えば、表面画像と断層画像の双方で抽出された血管は血管である信頼性が高い領域であると判断することができる。
【００２３】
次に図４に従い、上述の表示を行う画像処理装置１０の処理の流れを説明する。
【００２４】
（ステップＳ４０１）ステップＳ４０１で画像取得部１１は光干渉断層計２０で撮像した断層画像を取得する。ここで取得する断層画像は、図５に示すように、複数のＢスキャン画像からなる断層画像群である。また、この断層画像に対応する同一被検眼を撮影したその他の画像を保存部３０から取得する。その他の画像としては、眼底カメラで撮影された眼底の表面画像か、走査型レーザ検眼鏡（ＳＬＯ）で撮影されたＳＬＯ画像である。なお以下の処理は表面画像を取得した場合を説明する。
【００２５】
（ステップＳ４０２）ステップＳ４０２で投影画像生成部１２は断層画像群から投影画像を生成する。図５のように、断層画像Ｔ１〜Ｔｎの各画素における輝度値をｚ軸の正方向に単純加算した値を投影画像ＰＩ５の画素値とする。別の例では、該輝度値の和を加算した画素数で割った値を投影画像ＰＩ５の画素値とする。また別の例では各深度位置における輝度値の最大値や最小値を投影画像ＰＩ５の画素値とする。更に別の例では、ｚ軸方向に任意の範囲、もしくは特定の層間のみ加算した画素値を用いる。
【００２６】
更に別の例では、網膜の内境界膜（ＩＬＭ）と視細胞内節外節接合部（ＩＳ／ＯＳ）の間の網膜層領域を投影画像の生成に用いる領域とする。この領域における輝度値の最大値を投影画像ＰＩ５の画素値とする。ＩＬＭとＩＳ／ＯＳの間の領域で高輝度な領域は比較的少ない一方、白斑等の病変は高輝度な領域として画像化される。よってかかる投影画像により、投影画像において病変領域をわかりやすく表示することができる。
【００２７】
（ステップＳ４０３）ステップＳ４０３で位置合わせ部１４は投影画像と画像の位置合わせを行う。本実施形態では投影画像の座標系を基準とし、眼底画像のスケール（Ｓｘ，Ｓｙ）、位置座標（ｘ，ｙ）、回転（ｒｏｔ）成分を求めることにより、投影画像と眼底画像の位置を合わせる。また、画像同士が合っているかの指標を算出するため、投影画像と眼底画像における画像全体の輝度値の平均二乗誤差を用いる。つまり平均二乗誤差が最も小さくなるパラメータを本ステップの結果とする。
【００２８】
なお、位置合わせの指標はこれに限定されるものではない。輝度値の平均二乗誤差の代わりに相関係数、相互情報量などを用いてもよい。なお、後述するステップＳ４０５にて抽出する構造情報を用いて投影画像と眼底画像との位置合わせを行うことで、より精度よく位置合わせを行うことができる。
【００２９】
（ステップＳ４０５）ステップＳ４０５で解析部１５は眼底画像から血管、視神経乳頭部、黄斑部をなどの組織構造を抽出する。眼底画像において、血管は細い線状構造で現れる。そこで、線状構造を強調するフィルタを用いて血管を抽出する。ここでは、線分を構造要素としたときに構造要素内での輝度値の平均値と構造要素を囲む局所領域内での平均値の差を計算するようなコントラストに基づく線分強調フィルタを用いる。ここでフィルタの処理結果として得られる多値領域をそのまま血管抽出結果としても良いし、ある閾値で２値化した領域を抽出結果としてもよい。ただし、線状構造を強調する方法はこれに限らない。例えば、ＳｏｂｅｌフィルタやＬａｐｌａｃｉａｎフィルタのような差分型フィルタを用いてもよい。また、画素ごとにヘッセ行列の固有値を計算し、結果として得られる２つの固有値の組み合わせから線分状の領域を抽出してもよい。さらには単純に線分を構造要素とするトップハット演算など、任意の公知の血管抽出法を用いてよい。また画像の輝度値の情報等を用いて視神経乳頭部と黄斑部を抽出する。
【００３０】
また解析部１５は病変部として白斑部を抽出する。白斑領域は、眼底画像内で局所的に存在し、且つ周辺に比べて輝度値が高いという特徴をもつ。トップハット演算と閾値処理を行うことで白斑領域を検出する。ドルーゼン、出血なども同様に解剖学的特徴を用いて抽出できる。眼底画像から得られる解剖学的特徴として、ドルーゼンは白い塊状の特徴をもつ。出血領域は、出血していない領域よりもＲＧＢ各成分において輝度値が低く、大量出血している箇所に関しては、血管部分の輝度値よりもかなり低くなるという特徴がある。このような特徴を考慮して抽出処理を行う。
【００３１】
（ステップＳ４０６）ステップＳ４０６で解析部１５はＯＣＴ画像から血管、視神経乳頭部、黄斑部、病変部を抽出する。ＯＣＴ画像において、血管が存在した場合、吸収物質である血管よりも深度方向では信号が減衰するため偽像が発生することがある。これらの特徴を考慮して血管の検出を行う。具体的には、まず、Ａ−ｓｃａｎの深度方向に見て、輝度値が低い画素から高い画素へのコントラストを強調するＳｏｂｅｌフィルタを用いる。変換後の画像をＳｏｂｅｌ画像とする。このようにＳｏｂｅｌフィルタに方向性をもたせることで、図６に示されている網膜内の内境界膜（ＩＬＭ）Ｌ１と視細胞内接外接接合部（ＩＳ／ＯＳ）Ｌ２が強調される。次にＳｏｂｅｌ画像の各Ａ−ｓｃａｎにおいて輝度値のプロファイルを作成し、極大点を数える。図６には、血管が存在しないＡ−ｓｃａｎ位置Ａ１におけるＳｏｂｅｌ画像のプロファイルＰＳ１と血管が存在するＡ−ｓｃａｎ位置Ａ２におけるＳｏｂｅｌ画像のプロファイルＰＳ２が示されている。これらプロファイルを深度方向に見て、閾値以上の極大点を数える。図６におけるＰＳ１のように正常な網膜層構造であれば閾値以上の極大点が２つ存在するのに対して、ＰＳ２のように、極大点が１つ以下の場合は、そのＡ−ｓｃａｎには血管が存在すると判定する。この処理を全Ａ−ｓｃａｎでおこない血管構造を抽出する。血管の抽出方法の別の例として、投影画像から血管を抽出する。投影画像上での血管は偽像の影響により、周辺より輝度値の低い線状構造が現れる。そこで、ステップＳ４０５で説明した線上構造を強調するフィルタを用いて血管構造を抽出する。
【００３２】
視神経乳頭部の抽出は、視神経乳頭部にて網膜色素上皮の層が存在していないことを利用して行う。黄斑部の抽出は、神経線維層（ＮＦＬ）が存在していないことを利用して行う。
【００３３】
また病変部として脈絡膜新生血管及び白斑を抽出する。脈絡膜新生血管が存在するとＯＣＴ断層画像において、視細胞内節外節接合部よりも深度方向に高輝度の領域が現れる。この特徴を利用して、各Ａ−ｓｃａｎにおいて視細胞内節外節接合部よりも深度方向に輝度値を積算し、閾値以上の場合は脈絡膜新生血管が存在すると判定することで抽出する。白斑の抽出は、ＩＬＭとＩＳ／ＯＳの間において所定の閾値より高輝度な領域を特定することにより行う。
【００３４】
別の例としては、ステップＳ４０５及びＳ４０６での組織構造の抽出例として、それぞれから異なる組織構造を抽出することとする。各画像から抽出する組織構造は、抽出の精度を基準に選択する。例えば、眼底カメラの表面画像からは血管、白斑、視神経乳頭部のディスク領域、黄斑部を抽出する。ＯＣＴ画像からは脈絡膜新生血管、視神経乳頭部のカップ領域を抽出する。これら抽出された組織構造を表示することにより、それぞれの画像の特徴を生かして抽出される構造を明示することができる。
【００３５】
（ステップＳ４０７）ステップＳ４０７で表示画像作成部１９は画面に表示する画像を作成する。ここで、投影画像に所定の透明度を設定し、この投影画像を表面画像に重畳する。透明度の設定はアルファブレンディング処理を用いる。表示される画素の値ｖａｌｕｅは、表面画像の画素値をｉｍｇ１、重畳する投影画像の画素値をｉｍｇ２、透明度に関する値であるαを用いて、以下の式（１）により決定する。
ｖａｌｕｅ＝ｉｍｇ１×（１．０−α）＋ｉｍｇ２×α ・・・（１）
【００３６】
ここでαの値が小さいとき透明度が高くなり、αが大きいとき透明度が低くなる。１−αの値が透明度を示している。
【００３７】
（ステップＳ４０８）ステップＳ４０８で表示制御部として機能する表示画像作成部１９は表示部４０にステップＳ４０７で形成した画像を表示させる。
【００３８】
図７には表示制御部が表示部４０に表示させる画面の例を示したものである。この表示例では、所定の透明度をもたせた投影画像を表面画像に重畳している。ＯＣＴ断層画像から抽出した構造を投影画像中に、表面画像から抽出した血管領域を表面画像中に重畳した画像を形成する。血管や病変部などの構造には、色をつけるなどして画像に示す。このように、眼底カメラの画像とＯＣＴの断層画像という異なる特性の画像から抽出された構造を１つの画像で容易に確認することができる。よって医師の診断効率を向上させることができる。特に投影画像に透明度を持たせて表示しているため、投影画像が重畳された表面画像中の領域には、眼底表面の色情報と、投影画像からのみ抽出された構造と、表面画像から抽出された構造とが同時に表示される。これにより豊富な情報をユーザに提供することができる。また診断者に被検眼の異なる特徴を１つの眼底画像でまとめて確認させることができる。これにより診断効率を向上させることができる。
【００３９】
別の表示例としては、ＯＣＴ断層画像の血管領域と眼底画像の血管領域は異なる色で画像中に示す。これによりいずれの画像から抽出された血管であるかをユーザにわかりやすく提示することができる。また色を変えるだけでなく、点滅のさせ方を変える、領域を囲む枠線の種類を変える等の方法により抽出元の画像を区別して表示してもよい。特に、抽出元に合わせた種類の枠線で囲むことにより、抽出元の画像が区別されると共に、抽出の対象となった領域の画素値を画像中で容易に確認することができる。
【００４０】
更に別の表示例としては、ＯＣＴ断層画像と眼底画像の両方から抽出された血管領域と、ＯＣＴ断層画像の身から抽出された血管領域と、眼底画像から抽出された血管領域とをそれぞれ異なる色で画像中に示す。これにより、色情報によっていずれの画像から抽出された血管であるかをユーザが容易に認識することができる。また、両方の画像から抽出された血管と、眼底カメラによる表面画像から抽出された血管と、ＯＣＴの断層画像から抽出された血管とをユーザは容易に区別することができる。両方の画像から抽出された血管領域は信頼性が高いと判断できるため、抽出の信頼性を示すことができる。
【００４１】
このように、ＯＣＴ断層画像、眼底画像から抽出した構造情報を併せて表示することで、それぞれの画像から特徴を補い合うことができ、結果としてより精度の高い、豊富な情報をユーザに提供することができる。
【実施例２】
【００４２】
本実施例では、解析部１５による構造の抽出結果を用いて投影画像の表示形態を変更する例を説明する。画像中から、ある構造情報が抽出された場合、構造の種類によって投影画像と眼底画像でその構造の見え易さが違ってくる。そこで本実施形態では、表示画像における投影画像の透明度について、投影画像のほうが見え易い構造が存在する場合、透明度を低く、眼底画像のほうが見え易い構造が存在する場合、透明度を高く設定する。
【００４３】
装置の構成は、実施例１における表示画像作成部１９が抽出した構造に応じて投影画像の透明度を決定する点で異なっている。表示画像作成部１９が行う処理は後述する。
【００４４】
図８に従い、実施例２に係るステップＳ８０７の詳細を説明する。なお、ステップＳ８０１乃至Ｓ８０５、Ｓ８０７及びＳ８０８の処理については実施例１の図４におけるステップＳ４０１乃至Ｓ４０７までの処理と同様であるため、説明は省略する。
【００４５】
（ステップＳ８０７）ステップＳ８０７で表示画像作成部１９は解析部１５の抽出結果を用いて投影画像の透明度を決定する。ここでの透明度は０〜１００％で表し、数値が高いほど透けて表示される。本実施形態では、ステップＳ８０５とステップＳ８０６で何らかの構造情報が抽出された場合、その情報に基づき透明度を決定する。
【００４６】
図９（ａ）ではＯＣＴ断層画像から脈絡膜新生血管Ｂ９が抽出された場合を表示例を示している。脈絡膜新生血管は投影画像ＰＩ９１のほうが病変を見易いため、ＰＩ９１の透明度を２５％とする。また、図９（ｂ）のように投影画像が重畳される領域内に白斑Ｅ９が抽出された場合、眼底画像ＲＩ９２のほうが病変を見易いため、投影画像ＰＩ９２の透明度を７５％とする。これら各画像から抽出される病変の種類と透明度とを対応付けたテーブル情報を不図示の記憶部に格納しておく。表示画像作成部１９は適宜このテーブル情報を参照して透明度を設定する。設定された透明度を用いて、ステップＳ８０８にて表示画像作成部１９が表示画像の形成を行うと、重ね合わせ画像はそれぞれＦＩ９１、ＦＩ９２のようになる。これにより白斑がある場合には、表面画像との関係で白斑の状態を確認した方がよいと考えられるため、より透明度を上げて表面画像を見やすくし、白斑の状態が確認しやすい画像をユーザに提供することができる。一方で脈絡膜新生血管がある場合には、この病変は抽出元である断層画像または投影画像との関係で状態を確認したほうがよいと考えられるため、透明度を下げることでより病変を確認しやすくすることができる。また、抽出された血管や病変の領域を枠で囲うことで構造を表示する場合において、脈絡膜新生血管の領域がある場合には透明度を下げることで見やすさを上げることができる。また、白斑の領域では投影画像の透明度が上がるため、表面画像における白斑領域の状態をより確認しやすくなる。
【００４７】
透明度の設定に関する別の例を説明する。被検体が病気に犯され、病気がある程度進行しているような状態では複数種類の病変が同時に現れる場合が多い。例えば表面画像にて白斑が抽出され、断層画像にて脈絡膜新生血管が抽出されるような場合である。この場合に対応するため、表示画像作成部１９は投影画像の透明度を部分毎に変える処理を行う。脈絡膜新生血管が抽出された位置の周囲の部分領域では、投影画像の透明度を下げる。一方で白斑が抽出された位置の周囲の部分領域では投影画像の透明度を上げる。このように透明度を部分毎に変更することでそれぞれの画像から抽出された構造をよりわかりやすくユーザに確認させることができる。
【００４８】
表示形態の変更の別の例としては、透明度に替えて、輝度値を上下させてもよいし、このように、画像解析結果によって重ねる投影画像の透明度を全体的、または局所的に変えることで、より病変部が見易い画像をユーザに提供することができる。
【実施例３】
【００４９】
実施例３は、実施例１のステップＳ４０３とＳ４０４で眼底画像、ＯＣＴ断層画像から構造情報を抽出した後、その抽出結果の信頼度を計算し、表示形態に反映させる例を説明する。例えば構造情報として血管に注目した場合、眼底画像とＯＣＴ断層画像の両方から抽出される血管もあれば、どちらか片方からのみ抽出される血管もある。そこで本実施形態では、眼底画像、ＯＣＴ断層画像の血管抽出結果から信頼度を計算し、画像上に表示するか否かを決定する。
【００５０】
装置の構成としては、解析部１５がそれぞれ抽出した構造の信頼性を示す信頼度の値を算出する点が異なっている。また表示画像作成部１９が信頼度に応じて画像の表示形態を変更する点で異なっている。これら解析部１５及び表示画像作成部１９が行う処理は後述する。以下、図１０に従い、実施例３に係るステップＳ１００６とステップＳ１００７の詳細を説明する。なお、ステップＳ１００１乃至Ｓ１００５、Ｓ１００８及びＳ１００９の処理については実施例１の図４のフローチャートにおけるステップＳ４０１乃至Ｓ４０７の処理と同様であるため、説明は省略する。
【００５１】
（ステップＳ１００６）ステップＳ１００６において、解析部１５は、ＯＣＴ画像解析部１６、表面画像解析部１７からの抽出結果を用いて構造情報の信頼度を計算する。本実施形態では、ステップＳ１００４とステップＳ１００５の血管抽出結果を用いて信頼度を計算する。図１１（ａ）に眼底画像から血管を抽出した結果ＲＩ１１１とＯＣＴ断層画像から血管を抽出し、投影画像に重ねた結果ＰＩ１１１を示す。図１１（ａ）のＢＲ１１１やＢＰ１１１のように、血管なのかノイズを抽出してしまったのかわからない結果も存在する。また、ＢＰ１１２は眼底画像からは抽出されず、ＯＣＴ投影画像のみから抽出された血管である。これらの結果を用いて信頼度を計算するには、まず、それぞれの画像の各画素（注目画素）と隣り合う画素（近傍画素）に血管が含まれているかを調べる。そして、注目画素が血管である、且つ近傍画素に血管が存在する場合には信頼度２を付与する。さらに、注目画素は血管であるが近傍画素には血管が存在しない場合と、注目画素は血管ではないが近傍画素に血管が存在する場合は信頼度１を付与する。それ以外は信頼度を付与しない。これを眼底画像、投影画像それぞれについて行う。また、信頼度の計算は血管に限られず、ステップＳ１００４、Ｓ１００５で抽出される病変部などについても算出する。このように信頼度を付与することで、ノイズ等の影響によりよって誤抽出された構造の信頼度を下げることができるため、ノイズが大きい画像において有効である。
【００５２】
信頼度の算出方法についてその他の例を説明する。Ｓ１００４において眼底画像から血管を抽出するとき、線分強調フィルタで各画素について得られる成分値をそのまま信頼度として用いる。ここで成分値とは、線分を構造要素としたときに構造要素内での画像濃度値の平均値と構造要素を囲む局所領域内での平均値の差であり、各画素毎に算出される値である。同様の値がＳｏｂｅｌフィルタやＬａｐｌａｃｉａｎフィルタのような差分型フィルタでも算出できるため、かかるフィルタを用いた場合でもこの成分値を用いることができる。
【００５３】
更に別の例としては、表面画像と投影画像のそれぞれで同一位置に同一の構造が抽出されている場合には誤りの可能性が低いとして高い信頼度を付与する。一方の画像でしか抽出されない構造については信頼度を下げる。特に、血管領域や白斑については一般に表面画像からの抽出精度が高いため、表面画像のみで抽出された血管領域は、断層画像のみで抽出された血管領域に対して高い信頼度を付与する。このように各画像の一般的な特性を用いて信頼度を設定することができる。
【００５４】
（ステップＳ１００７）ステップＳ１００７において、表示画像作成部１９は、ステップＳ１００６で算出した信頼度を基に表示する構造情報を決定する。本実施形態では、ステップＳ１００６で算出した血管についての信頼度から、画素単位で血管を表示するか否かを決定する。図１１（ｂ）のように、眼底画像と投影画像を重ね合わせた画像ＦＩ１２の各画素において、血管の信頼度を調べる。そして、眼底画像の血管抽出結果における信頼度とＯＣＴ断層画像における信頼度を足し合わせて，合計が２以上の画素に関しては血管として表示することとする。信頼度の結果から表示される血管を黒の太い線で表わした画像がＦＭ１２である。図１１（ｂ）におけるＢＲ１１１やＢＰ１１１は信頼度が３であるので表示されている。また、ＢＰ１１２については信頼度が１であるので表示されない。眼底画像のみ、ＯＣＴ断層画像のみからの抽出結果では血管であるか、ノイズであるか判定できなかった画素について、両者の抽出結果から信頼度を考慮することで判定することができる。
【００５５】
その他の表示形態の例では、抽出の信頼度に応じた透明度で投影画像を表示させる。信頼度が大きいほど注目すべき構造が存在していることとなるため、透明度を下げて抽出された構造を見えやすくする。一方で信頼度が小さいほど注目すべき構造は少ないと考えられるため透明度を上げ、表面画像を見えやすくする。抽出された構造は枠で囲み表示する。
【００５６】
また別の表示形態の例として、同一の領域における投影画像での抽出の信頼度と表面画像での抽出の信頼度との差の値に応じて透明度を設定する。信頼度の差が正の値を取りかつ大きいときにはより投影画像に注目させる必要があると考えられるため透明度を下げる。信頼度の差が負の値を取りかつ絶対値が大きい場合には、より表面画像に注目させる必要があると考えられるため透明度を上げる。これにより、投影画像と表面画像の信頼度を比較して透明度を設定し、注目させるべき部位をわかりやすく表示させることができる。
【００５７】
このように、抽出された構造情報の結果から信頼度を計算することで、より信頼度の高い情報をユーザに提供することができる。また、信頼度に応じて表示形態を変えることにより、表示から注目すべき部位を直感的に理解させると共に、注目すべき部位をわかりやすく表示することができる。
【実施例４】
【００５８】
本実施例では、患者データ確認部１３は保存部３０にて断層画像に対応する眼底カメラの画像やＳＬＯ画像を検索する。検索の結果発見できない場合には、例外処理として投影画像を拡大して表示させる。また、表示画像作成部１９は位置合わせされた表面画像と断層画像を、投影画像を固定して表面画像を回転させて表示させる。
【００５９】
本実施例の構成は患者データ確認部１３及び表示画像作成部１９が異なっている。これについては後述する。次に図１２に従い画像処理装置１０の処理の流れを説明する。なおステップＳ１２０１、Ｓ１２０２及びＳ１２０４乃至Ｓ１２０７の処理は実施例１と同様であるため説明を省略する。
【００６０】
（ステップＳ１２０３）ステップＳ１２０３で患者データ確認部１３は取得したＯＣＴ断層画像と同一被検眼の対応する眼底画像が保存部３０に存在するかを確認する。ここで断層画像の撮影日時から数えて所定期間以上昔の画像である場合には、対応しないと判定する。同一患者の眼底画像が存在する場合（ステップＳ１２０３でＹｅｓ）、ステップＳ１２０４に進む。存在しない場合（ステップＳ１２０３でＮｏ）、ステップＳ１２０９に進む。
【００６１】
（ステップＳ１２０８）ステップＳ１２０８で表示画像作成部１９は位置合わせがされた表面画像と投影画像を表示部４０に表示させる。ステップＳ１２０４にて位置合わせ部１４が回転成分Δθを取得している場合には、まず投影画像を通常通り表示し、この投影画像に対して表面画像をこのΔθだけ回転させて表示させる。この表示例を示したのが図１３である。図１３に示す表示例では、画面のＸ方向及びＹ方向とそれぞれ平行な２組の線分で囲まれる矩形で投影画像ＦＭ１３が所定の透明度で示されている。これに対して、略円形で表される眼底画像ＦＩ１３を位置合わせ時の回転成分Δθだけ回転させて表示される。
【００６２】
更に図１３の表示例では、投影画像上にＯＣＴのＢスキャンラインＳＬ１３を表示させており、このスキャンラインに対応する断層画像Ｔ１３が表面画像と並べて表示される。このＢスキャンラインＳＬ１３はユーザのマウス操作によって上下に平行移動させることができる。このＢスキャンラインＳＬ１３の位置が変わること応じて対応する断層画像が表示される。投影画像を回転させずに表示することで、投影画像上においてＢスキャンラインが画面のＸ方向と平行になるため、マウス等で操作するとき操作しやすい。仮に投影画像が回転されて画面上に表示されている場合には、マウスの操作によってラインが斜めに動くこととなる。これは、マウスによる上下操作の方向とラインの移動方向が一致せず、不自然である。このように断層画像と表面画像の両方を確認して診断を行う場合には、直感的な操作を実現できるため診断者が利用しやすい。
【００６３】
（ステップＳ１２０９）ステップＳ１２０９で表示画像作成部１９は表示部４０に投影画像を表示させる。この際に、表面画像がある場合に比べて投影画像を拡大して表示させる。これは、表面画像がない場合に投影画像を拡大して詳細に表示させることを意図するものである。また、投影画像の透明度を０に設定して表示させる。
【００６４】
本実施例では断層画像があることを前提とし、断層画像に対応する表面画像が存在するか否かを判定しているが、表面画像が得られている場合に、保存部３０に記憶された断層画像を探索することとしてもよい。また両方の場合を兼ね備えて、一方の画像と対応する他方の画像が存在するか否かを判定することとしてもよい。
【実施例５】
【００６５】
本実施例では、上述の表面画像と共に表面画像から抽出された構造の位置を示した断層画像も表示させる。装置の構成及び処理としては、表示画像作成部１９が先述の実施例とは異なる画像を作成する点で異なっている。
【００６６】
解析部１５は表面画像にて視神経乳頭部を抽出すると共に、断層画像においても視神経乳頭部を抽出する。表示画像作成部１９は解析部１５が抽出した視神経乳頭部の位置座標を取得する。その座標値に基づいて断層画像中に視神経乳頭部の位置を表示する。図１４は本実施例における断層画像の表示例を示したものである。表示画面において断層画像の上部には表面画像から抽出した視神経乳頭部の位置を表示している。また、断層画像の株には断層画像から抽出した視神経乳頭部の位置を表示している。
【００６７】
別の例としては、同様の手法を用いることにより、視神経乳頭部のカップ領域とディスク領域の位置を断層画像上に表示させる。これにより、緑内障の指標となるカップ領域やディスク領域の状態を断層画像において確認することができる。
【００６８】
このように、断層画像において表面画像で抽出された構造の位置を表示することにより、断層画像において断層画像と表面画像の両方から抽出された構造をユーザに確認させることができる。
【００６９】
（その他の実施例）
上述の実施例では眼底カメラにより撮影された眼底の表面画像とＯＣＴの断層画像を用いる例を説明した。本発明の範囲はこれに限らず、ＳＬＯにより得られるＳＬＯ画像と、ＯＣＴにより得られる断層画像または投影画像を表示させることとしてもよい。または、眼底カメラで得られる表面画像と、ＳＬＯで得られるＳＬＯ画像と、ＯＣＴで得られる断層画像または投影画像とを表示させることとしてもよい。
【００７０】
また、投影画像を表面画像に重畳せずに、各画像から抽出した構造を直接表面画像に重畳して表示してもよい。更には抽出した構造を、眼底カメラで得られる表面画像ではなくて、眼底の表面を模式的に示した画像に示してもよい。また、抽出した構造のみを表示することとしてもよい。
【００７１】
更にその他の実施例としては、表面画像と断層画像のそれぞれで抽出された構造に不一致がある場合には画面上に警告を示す表示させ、ユーザに通知する。装置の構成及び処理は表示画像作成部１９が警告を示す表示を画像に付す点が異なっている。表示画像作成部１９は抽出された血管が投影画像のみから抽出された血管がある場合に、その旨を示す文字または画像を表示させ、ユーザに通知する。これによりユーザはその文字または画像を確認して、断層画像のみから抽出された血管であることを知ることができる。更に、投影画像から抽出される血管の位置と、表面画像から抽出される血管の位置とが不連続となっている位置を表示することでユーザに対して通知する。
【００７２】
また別の実施例としては、断層画像のみで抽出された構造は既定では表示させない設定としておき、ユーザの指示に応じて表示、非表示を切り替え可能に制御する。表示制御部として機能する表示画像作成部１９は、ユーザのキーボード入力に応じて断層画像のみで抽出された構造の表示、非表示を切り替える。また、表面画像及び断層画像から抽出された構造の表示（抽出された構造を囲む等）をユーザの操作に応じて切り替える。更には、投影画像の表示、非表示もユーザの操作に応じて切り替える。これにより、ユーザは各画像を単独で確認したり、装置により抽出された構造の位置を合わせて確認したりするなど、ユーザの希望に応じた情報をわかりやすい表示で確認することができる。
【００７３】
また画像処理装置内で行われている処理を複数の装置で分散させ画像処理システムとして実現しても、１つの機能ブロックとしてまとめられている処理を複数の回路または機能ブロックで分散させて実現してもよい。また、撮影装置または検出器に上述の実施例における画像処理装置及び表示装置の機能を組み込んで撮影装置により本発明を実現することとしてもよい。この場合には画像取得部１１が光干渉断層計２０を有し、この画像取得部１１により被写体を撮影して画像を取得する。
【００７４】
上述の画像処理装置１０では各ブロックは回路として実装されているが、ソフトウェアとコンピュータのハードウェアとの協働により各ブロックに対応する機能を実装してもよい。具体的には、電子計算機は例えばＣＰＵ、ＲＯＭ、ＲＡＭ、ＨＤＤ、マウス、キーボード、ネットワークＩ／Ｆ、表示部を有するものがある。ここで、ＲＯＭまたはＨＤＤには、画像処理装置１０であるコンピュータの各ハードウェアと協働して図１に示す機能を発揮し、図４に示される処理をコンピュータに実行させるためのプログラムが格納される。このプログラムが、ＲＡＭに展開され、ＣＰＵがその命令を実行することで、図１に示す機能が発揮され、図４に示す処理が実現される。
【００７５】
ここでＣＰＵは１つのコンピュータ内に複数含まれていてもよく、この場合複数のＣＰＵで分散させて本発明を実現することとしてもよい。
【００７６】
また本発明を電子計算機のハードウェアとソフトウェアの協働により実現する場合、電子計算機が読み出したプログラムコードを実行させる。電子計算機上で稼動しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施例の機能が実現される場合も本発明の範囲に含まれる。更にこの場合には、プログラムまたはプログラムコードを記録した記録媒体は本発明を構成する。
【００７７】
なお、上述した本実施の形態における記述は、本発明に係る好適な画像処理装置の一例であり、本発明はこれに限定されるものではない。
【符号の説明】
【００７８】
１ 撮影システム
１０ 画像処理装置
１３ 患者データ確認部
１４ 位置合わせ部
１５ 解析部
１６ ＯＣＴ画像解析部
１７ 表面画像解析部
１８ ＳＬＯ画像解析部
１９ 表示画像作成部
４０ 表示部
【特許請求の範囲】
【請求項１】
光干渉断層計で被検眼を撮影して得られるＯＣＴ画像から前記被検眼の構造を抽出するとともに、眼底カメラまたは走査型レーザ検眼鏡のいずれかで前記被検眼を撮影して得られる眼底画像から前記被検眼の構造を抽出する抽出手段と、
前記抽出手段によりそれぞれ抽出された構造を眼底の画像に表示させる表示制御手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記表示制御手段は、前記抽出された構造に応じて、該抽出された構造の透明度を変えて表示させる
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記抽出された構造について前記抽出の信頼度を算出する算出手段を更に有し、
前記表示制御手段は、前記算出された信頼性に応じて前記抽出された構造の表示形態を変えることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記ＯＣＴ画像または前記眼底画像の少なくとも一方から抽出された構造を、該構造について前記算出された信頼度に応じた透明度で表示させる
ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記算出手段は、前記抽出された構造について複数の部分毎に前記抽出の信頼度を算出し、
前記表示制御手段は、前記ＯＣＴ画像にて抽出された構造のうち信頼度が高い部分の透明度を前記信頼度が低い部分の透明度よりも低くして表示させる
ことを特徴とする請求項３に記載の画像処理装置。
【請求項６】
前記表示制御手段は、前記ＯＣＴ画像である投影画像を所定の透明度で前記眼底画像に重畳して表示させるとともに、前記抽出手段で抽出された構造の位置を前記眼底画像に表示させる
ことを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記表示制御手段は、前記ＯＣＴ画像から前記抽出された構造と、前記眼底画像から前記抽出された構造とを区別して表示させる
ことを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記表示制御手段は、前記ＯＣＴ画像である断層画像に前記眼底画像から前記抽出手段により抽出される構造の位置を表示させる
ことを特徴とする請求項１に記載の画像処理装置。
【請求項９】
前記ＯＣＴ画像または前記眼底画像の一方と対応する他方の画像が存在するか否かを判定する判定手段を有することを特徴とする請求項１に記載の画像処理装置。
【請求項１０】
前記表示制御手段は、前記ＯＣＴ画像である投影画像に対応する前記眼底画像が存在していないと判定された場合には、前記眼底画像が存在している場合よりも前記投影画像を大きく表示させる
ことを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記ＯＣＴ画像である投影画像と前記眼底画像の位置ずれの回転成分を取得する位置合わせ手段を更に有し、
前記表示制御手段は、前記回転成分がある場合には、前記眼底画像を位置ずれの回転成分がない場合と比べて前記回転成分だけ回転させて表示させる
ことを特徴とする請求項１に記載の画像処理装置。
【請求項１２】
前記表示制御手段は、前記抽出手段により前記ＯＣＴ画像から抽出される血管の位置と前記眼底画像から抽出される血管の位置とが不連続となっている位置を通知する通知手段を更に有する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項１３】
前記抽出手段は、前記ＯＣＴ画像である断層画像から血管、視神経乳頭部、黄斑部または白斑の少なくとも１つを抽出し、前記眼底画像から血管、視神経乳頭部、黄斑部、白斑または脈絡膜新生血管の少なくとも１つを抽出する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項１４】
光干渉断層計、眼底カメラ、または走査型レーザ検眼鏡の少なくとも２つから得られる画像のそれぞれから、被検眼の構造を抽出する抽出手段と、
眼底の画像を表示させ、前記抽出手段により抽出された構造の位置を該眼底の画像に表示する表示手段と、
を有することを特徴とする画像処理システム。
【請求項１５】
光干渉断層計、眼底カメラ、または走査型レーザ検眼鏡の少なくとも２つから得られる画像のそれぞれから、被検眼の構造を抽出する抽出ステップと、
眼底の画像を表示させ、前記抽出手段により抽出された構造の位置を該眼底の画像に表示する表示ステップと、
を有することを特徴とする画像処理方法。
【請求項１６】
光干渉断層計、眼底カメラ、または走査型レーザ検眼鏡の少なくとも２つから得られる画像のそれぞれから、被検眼の構造を抽出する処理と、
眼底の画像を表示させ、前記抽出手段により抽出された構造の位置を該眼底の画像に表示する画像を作成する処理と、
をコンピュータに実行させるためのプログラム。
【請求項１】
光干渉断層計で被検眼を撮影して得られるＯＣＴ画像から前記被検眼の構造を抽出するとともに、眼底カメラまたは走査型レーザ検眼鏡のいずれかで前記被検眼を撮影して得られる眼底画像から前記被検眼の構造を抽出する抽出手段と、
前記抽出手段によりそれぞれ抽出された構造を眼底の画像に表示させる表示制御手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記表示制御手段は、前記抽出された構造に応じて、該抽出された構造の透明度を変えて表示させる
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記抽出された構造について前記抽出の信頼度を算出する算出手段を更に有し、
前記表示制御手段は、前記算出された信頼性に応じて前記抽出された構造の表示形態を変えることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記ＯＣＴ画像または前記眼底画像の少なくとも一方から抽出された構造を、該構造について前記算出された信頼度に応じた透明度で表示させる
ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記算出手段は、前記抽出された構造について複数の部分毎に前記抽出の信頼度を算出し、
前記表示制御手段は、前記ＯＣＴ画像にて抽出された構造のうち信頼度が高い部分の透明度を前記信頼度が低い部分の透明度よりも低くして表示させる
ことを特徴とする請求項３に記載の画像処理装置。
【請求項６】
前記表示制御手段は、前記ＯＣＴ画像である投影画像を所定の透明度で前記眼底画像に重畳して表示させるとともに、前記抽出手段で抽出された構造の位置を前記眼底画像に表示させる
ことを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記表示制御手段は、前記ＯＣＴ画像から前記抽出された構造と、前記眼底画像から前記抽出された構造とを区別して表示させる
ことを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記表示制御手段は、前記ＯＣＴ画像である断層画像に前記眼底画像から前記抽出手段により抽出される構造の位置を表示させる
ことを特徴とする請求項１に記載の画像処理装置。
【請求項９】
前記ＯＣＴ画像または前記眼底画像の一方と対応する他方の画像が存在するか否かを判定する判定手段を有することを特徴とする請求項１に記載の画像処理装置。
【請求項１０】
前記表示制御手段は、前記ＯＣＴ画像である投影画像に対応する前記眼底画像が存在していないと判定された場合には、前記眼底画像が存在している場合よりも前記投影画像を大きく表示させる
ことを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記ＯＣＴ画像である投影画像と前記眼底画像の位置ずれの回転成分を取得する位置合わせ手段を更に有し、
前記表示制御手段は、前記回転成分がある場合には、前記眼底画像を位置ずれの回転成分がない場合と比べて前記回転成分だけ回転させて表示させる
ことを特徴とする請求項１に記載の画像処理装置。
【請求項１２】
前記表示制御手段は、前記抽出手段により前記ＯＣＴ画像から抽出される血管の位置と前記眼底画像から抽出される血管の位置とが不連続となっている位置を通知する通知手段を更に有する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項１３】
前記抽出手段は、前記ＯＣＴ画像である断層画像から血管、視神経乳頭部、黄斑部または白斑の少なくとも１つを抽出し、前記眼底画像から血管、視神経乳頭部、黄斑部、白斑または脈絡膜新生血管の少なくとも１つを抽出する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項１４】
光干渉断層計、眼底カメラ、または走査型レーザ検眼鏡の少なくとも２つから得られる画像のそれぞれから、被検眼の構造を抽出する抽出手段と、
眼底の画像を表示させ、前記抽出手段により抽出された構造の位置を該眼底の画像に表示する表示手段と、
を有することを特徴とする画像処理システム。
【請求項１５】
光干渉断層計、眼底カメラ、または走査型レーザ検眼鏡の少なくとも２つから得られる画像のそれぞれから、被検眼の構造を抽出する抽出ステップと、
眼底の画像を表示させ、前記抽出手段により抽出された構造の位置を該眼底の画像に表示する表示ステップと、
を有することを特徴とする画像処理方法。
【請求項１６】
光干渉断層計、眼底カメラ、または走査型レーザ検眼鏡の少なくとも２つから得られる画像のそれぞれから、被検眼の構造を抽出する処理と、
眼底の画像を表示させ、前記抽出手段により抽出された構造の位置を該眼底の画像に表示する画像を作成する処理と、
をコンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１２−４５２９８（Ｐ２０１２−４５２９８Ａ）
【公開日】平成２４年３月８日（２０１２．３．８）
【国際特許分類】
【出願番号】特願２０１０−１９２３８５（Ｐ２０１０−１９２３８５）
【出願日】平成２２年８月３０日（２０１０．８．３０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年３月８日（２０１２．３．８）
【国際特許分類】
【出願日】平成２２年８月３０日（２０１０．８．３０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]