画像処理装置および画像処理方法
【課題】 脈絡膜側から酸素等の供給が行われる視細胞に関して、その供給量の減少が新生血管の発生につながることが指摘されている。但し、各視細胞に対する供給量は視認性よく提示されていなかった。
【解決手段】 眼部を撮影した複数の画像を解析する画像処理装置であって、第一の画像から各視細胞の領域を解析する視細胞解析部と、第二の画像から眼底の特徴を解析する眼底解析部と、前記第一の画像と前記第二の画像を対応づける画像対応付け部と、前記対応づけにより、前記各視細胞の領域ごとの前記特徴の値を算出する特徴値演算手段と前記各視細胞ごとに算出された特徴値に基づき表示する表示部を備えることを特徴とする。
【解決手段】 眼部を撮影した複数の画像を解析する画像処理装置であって、第一の画像から各視細胞の領域を解析する視細胞解析部と、第二の画像から眼底の特徴を解析する眼底解析部と、前記第一の画像と前記第二の画像を対応づける画像対応付け部と、前記対応づけにより、前記各視細胞の領域ごとの前記特徴の値を算出する特徴値演算手段と前記各視細胞ごとに算出された特徴値に基づき表示する表示部を備えることを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理方法に関し、特に眼科診療等に用いられる画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
生活習慣病や失明原因の上位を占める疾病の早期診断を目的として、眼底部の検査が広く行われている。共焦点レーザー顕微鏡の原理を利用した眼科装置である走査型レーザー検眼鏡（ＳＬＯ：Ｓｃａｎｎｉｎｇ Ｌａｓｅｒ Ｏｐｈｔｈａｌｍｏｓｃｏｐｅ）は、測定光であるレーザーを眼底に対してラスタースキャンを行い、その戻り光の強度から平面画像を高分解能かつ高速に得る装置である。
近年、被検眼の収差を波面センサでリアルタイムに測定し、被検眼にて発生する測定光やその戻り光の収差を波面補正デバイスで補正する補償光学系を有する補償光学ＳＬＯが開発され、高横分解能な平面画像の取得を可能にしている。さらに、取得した網膜の平面画像を用いて網膜における視細胞を抽出し、その密度や分布の解析から疾病の診断や薬剤応答の評価が試みられている。
【０００３】
補償光学ＳＬＯを用いて視細胞の可視化を行った例として、非特許文献１においては、網膜の平面画像を取得し、視細胞の自動抽出を可能とした眼科撮影装置が提案されている。この眼科撮影装置では、高横分解能の網膜の平面画像を撮像し、画像に描出される視細胞の配置の周期性を利用して高周波成分を除去することにより、極大値検出による視細胞の自動検出を行っている。また視細胞の検出結果を用いて，視細胞の密度や視細胞間の距離を計測し、空間内分布のボロノイ解析による分析を行っている。 さらに非特許文献２においては、検出した視細胞の密度と網膜疾患の相関について分析を行い，視細胞密度が低下している領域と，視野感度の低下している領域や嚢胞様黄斑浮腫（ＣＭＥ）との対応付けを行っている。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Kaccie Y. Li and Austin Roorda, “Automated identification of cone photoreceptors in adaptive optics retinal images”J. Opt. Soc. Am. A, May 2007, Vol. 24, No. 5, 1358
【非特許文献２】Jacque L. Duncan et al, “High-Resolution Imaging with Adaptive Optics in Patients with Inherited Retinal Degeneration”Investigative Ophthalmology & Visual Science, July 2007, Vol. 48, No. 7, 3283
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来例では、補償光学ＳＬＯにより取得した平面画像を用いて、視細胞の密度や視細胞間の間隔を算出するなどの方法で視細胞の分析を行っている。そしてそこで見つかった低密度領域などの異常を、他のモダリティから得られる情報、例えばＯＣＴにより観察される網膜厚の変化などと比較し、所見箇所と一致するかなどの議論をしている。しかし視細胞密度の変化は、例えば各視細胞に供給される酸素量の変化などをもたらすが、その影響の大きさは酸素の供給源の状態によっても変化する。つまり供給が豊富な領域では多少の密度変化があっても各視細胞への影響は小さいが，供給が少ない領域では同じ密度変化の影響が大きくなる。
【０００６】
視細胞への酸素供給源としては脈絡膜の影響が注目され、脈絡膜の厚みを計測する手法も提案されている。このように、他モダリティから得られる情報との相互関係を考慮して初めてわかる影響に関しては，それぞれのモダリティから得られる異常個所を比較するだけでは十分な解析ができない。
【０００７】
本発明は、上記課題に鑑み、視細胞の検出結果から得られる視細胞密度や分布などの情報を、他の手段によって得られた情報の視細胞への影響を各視細胞ごとに評価することによって、より正確な異常所見を算出できる装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的に対応して、本発明に係る眼部を撮影した複数の画像を解析する画像処理装置は、眼部の眼底の視細胞を含む第一の画像のうち所定の領域に対応する該眼部の眼底の第二の画像の領域の特徴値を算出する特徴値演算手段と、
前記特徴値を可視化した画像を表示手段に表示させる表示制御手段と、
を備えることを特徴とする。
また、上記目的に対応して、本発明に係る眼部を撮影した複数の画像を解析する画像処理方法は、眼部の眼底の視細胞を含む第一の画像のうち所定の領域に対応する該眼部の眼底の第二の画像の領域における特徴値を算出する工程と、
前記特徴値を可視化した画像を表示手段に表示させる工程と、
を含むことを特徴とする。
【発明の効果】
【０００９】
本発明によれば、各視細胞の評価指標を提示することができる。
【図面の簡単な説明】
【００１０】
【図１】実施例１に係る画像処理装置１０の機能構成を示す図
【図２】実施例１に係る画像処理装置１０の処理手順を示すフローチャート
【図３】補償光学ＳＬＯ装置により視細胞を撮影した高精細な平面画像の模式図
【図４】ボロノイ図の説明と視細胞のボロノイ解析の例を示す図
【図５】光断層画像撮影装置による網脈絡膜断層画像群、及びその投影像の模式図
【図６】補償光学ＳＬＯ装置により広域撮影した平面画像の模式図
【図７】広域撮影した画像と固視、高精細な画像との関係を示す模式図
【図８】実施例３に係る画像処理装置１０の処理手順を示すフローチャート
【図９】実施例１におけるマップ表示例
【図１０】実施例３におけるマップ表示例
【発明を実施するための形態】
【００１１】
（実施例１）
本実施例は、視細胞へ酸素等の供給を担うとされている脈絡膜の厚さから、各視細胞へ供給される酸素量を推定し、これを可視化する場合の処理について説明する。具体的には、補償光学ＳＬＯにより取得された眼底平面画像（以下、平面画像）から得られる視細胞の分布情報と、光断層画像撮影装置（ＯＣＴ；Ｏｐｔｉｃａｌ Ｃｏｈｅｒｅｎｃｅ Ｔｏｍｏｇｒａｐｈｙ）により取得された眼底断層画像（以下、断層画像）から得られる脈絡膜の厚みの情報を組み合わせ、各視細胞あたりの脈絡膜の体積を計算して可視化する。
【００１２】
一般に視細胞は黄斑付近で密度が高く、黄斑から離れるにしたがい密度が低くなる。密度が高い領域と低い領域では、脈絡膜が薄くなることによる効果が異なることが予想される。本実施例においては、脈絡膜の厚さのマップ、視細胞の密度のマップと同時に、各視細胞あたりの脈絡膜の体積マップを提示することで、酸素の供給源である脈絡膜量が不足していると考えられる視細胞が集まる領域を明示することが可能になる。
【００１３】
＜平面画像＞
図３に補償光学ＳＬＯで撮影された平面画像を模式的に示す。図３（ａ）及び（ｂ）に示すように、輝度が比較的大きい小領域として、各視細胞ＰＲが一つ一つ区別される形で描出される。また視細胞の輝度に比較して輝度の低い領域の血管領域Ｖが描出される。この血管領域Ｖは視細胞より上層にある血管の影が描出されているものである。
【００１４】
＜断層画像＞
光の干渉を利用して眼底の断層画像を撮影するＯＣＴは、眼底の網膜の内部構造の状態を３次元的に観察することが可能であるため、眼科診療の現場で広く用いられている。図５に、ＯＣＴにより取得された黄斑付近の断層画像を模式的に示す。図５に示すＴ1〜Ｔnは各断層画像（Ｂ−ｓｃａｎ像）を表し、それらを複数枚集めた断層画像群によって、網膜の情報を三次元的に表す。
図５においてＬ１〜Ｌ５は網脈絡膜の層構造の境界を示しており、Ｌ１は内境界膜とその上部の組織との境界（以下ＩＬＭとする）、Ｌ２は神経線維層とその下部の層との境界（以下ＮＦＬとする）、Ｌ３は視細胞内節外節接合部との上部の層との境界（以下ＩＳ／ＯＳとする）、Ｌ４は網膜色素上皮とその下部の組織との境界（以下ＲＰＥとする）、Ｌ５は脈絡膜とその下部の強膜組織との境界を示している。
脈絡膜より下部の組織の画像を取得するためには、長波長光源を用いた高侵達ＯＣＴ（ＨＰ−ＯＣＴ）や通常のＳＤ−ＯＣＴをできるだけ眼に近づけ、脈絡膜側にコヒーレンスゲート位置を合わせて撮影を行う。
【００１５】
＜画像処理装置の構成＞
図１は、本発明の一実施例に係る画像処理装置１０の機能構成を示したものである。
図１において、１００は画像取得部であり、補償光学ＳＬＯから網膜の平面画像及びＯＣＴから網脈絡膜の断層画像を取得する。
１１０は入力情報取得部であり、補償光学ＳＬＯによる平面画像の撮影の際の固視灯の位置情報を補償光学ＳＬＯ装置より取得する。取得した位置情報は制御部１２０を通じて記憶部１３０に記憶される。
１４０は画像処理部であり、血管抽出部１４１、視細胞抽出部１４２、層抽出部１４３、位置合わせ部１４４、分析部１４５を含む。画像処理部１４０は、取得した平面画像及び断層画像それぞれから血管（血管に対応する領域）を抽出して位置合わせを行い、平面画像より抽出した視細胞（視細胞に対応する領域）、断層画像より抽出した脈絡膜層（脈絡層に対応する領域）から、視細胞あたりの脈絡膜の体積を算出し、記憶部１３０に記憶する。
１５０は出力部であり、分析結果をモニタ等に出力する他、記憶部１３０に記憶されている処理結果をデータベースに出力する。
【００１６】
本実施例において、画像処理装置１０は、補償光学ＳＬＯ及びＯＣＴから直接平面画像、及び断層画像を取得する構成としたが、ネットワークを介してそれらの画像を取得してもよい。その場合には、ネットワークを介して接続されたデータベースに補償光学ＳＬＯ及びＯＣＴで撮影された平面画像、断層画像、及びそれら画像の被検眼情報や撮影時の情報が保存され、画像処理装置１０はそのデータベースから画像及び情報を取得する構成となる。
【００１７】
＜画像処理装置の処理手順＞
次に、図２（ａ）のフローチャートを参照して、本実施形態の画像処理装置１０の処理手順を説明する。
【００１８】
＜ステップＳ２１０＞
ステップＳ２１０において、画像取得部１００は、画像処理装置１０に接続される補償光学ＳＬＯ、もしくは該装置により撮影された平面画像を保存するデータベースから、解析対象となる平面画像を取得する。取得された平面画像は、制御部１２０を通じて記憶部１３０に記憶さる。
またこのとき、取得された平面画像が撮影された際の撮影パラメタ情報を取得し、制御部１２０を通じて記憶部１３０に記憶する。ここで撮影パラメタ情報とは、撮影の際の固視灯の位置などのことである。固視灯の位置などの撮影パラメタ情報は、平面画像に付加している画像撮影情報ファイルに記載されている場合もあれば、画像のタグ情報として含まれている場合もある。
【００１９】
＜ステップＳ２２０＞
ステップＳ２２０において、入力情報取得部１１０は、データベースもしくは操作者の入力部（不図示）による入力により被検眼の情報を取得する。ここで被検眼の情報とは、被検眼の患者ＩＤ、氏名、年齢、性別、検査対象が右目であるか左眼であるか、撮影日時等のことであり、これら取得した情報は、制御部１２０を通じて記憶部１３０に記憶される。
【００２０】
＜ステップＳ２３０＞
ステップＳ２３０において、視細胞抽出部１４２は、記憶部１３０に記憶されている補償光学ＳＬＯにより取得された平面画像から、視細胞に対応する領域を抽出する。
図３に示したように、視細胞は平面画像内で輝度の高い小領域として観察される。図３（ａ）は血管が撮影領域に含まれる場合であり，血管部分は視細胞が観察されない領域として観察される。図３（ｂ）は血管等が撮影領域に含まれない場合であり，画像全体に視細胞が一様に観察される場合を示している。このような視細胞に対応する小領域を抽出するためには、極大点を検出するフィルタの組み合わせによって行う。本実施例では、ノイズを除去するためのガウシアンフィルタ、極大点を検出するためのラプラシアンフィルタによる処理を行い、経験に基づく閾値を用いて二値化し視細胞の候補領域を選択する。その後、孤立点除去及び穴埋め処理を行ったのち、各独立領域を抽出する。各独立領域の重心を求めることで、各視細胞の位置とする。
さらに、各視細胞あたりの面積を算出する。ここで面積の算出法としては、ある領域を選択し、該領域の面積と領域内に含まれる視細胞の数から、視細胞あたりの面積を求める方法がある。このような手法を用いてもよいが、視細胞の空間分布を分析する際によく用いられる、ボロノイ解析を行ってもよい。
【００２１】
図４（ａ）にボロノイ解析の概略を示す。図４でＭＰは母点、ＶＰはボロノイ点、ＶＲはボロノイ領域、ＶＢはボロノイ境界を示す。ボロノイ解析では、まず近隣に存在する母点ＭＰ間を直線で結び、その直線の垂直二等分線によって領域を分割する。このような垂直二等分線同士で囲まれた最小の領域を、各母点のボロノイ領域ＶＲと呼び、そのボロノイ領域の頂点をボロノイ点ＶＰ、辺をボロノイ境界ＶＢと呼ぶ。ボロノイ解析により、各母点あたりの面積や隣接する母点との位置関係を分析することができる。
図４（ｂ）に、検出された各視細胞を母点と考えてボロノイ解析を行った場合の模式図を示す。ここでは各ボロノイ領域を、領域の面積に応じて明るさを変えて表示している。このようにボロノイ解析により、各視細胞の分布の様子や密度の変化を可視化することができる。
【００２２】
視細胞抽出部１４２は、本発明において、眼部から得られた第一の画像から各視細胞に対応する領域を抽出し、これらの面積を求める等の解析を行う視細胞解析手段として機能する。本実施例では第一の画像は、補償光学ＳＬＯにより取得された平面画像に対応する。
ここで、求められた視細胞の抽出結果は、制御部１２０を通じて記憶部１３０に記憶される。
【００２３】
＜ステップＳ２４０＞
ステップＳ２４０において、画像取得部１００は、画像処理装置１０に接続されるＯＣＴ、もしくは該装置により撮影された断層画像を保存するデータベースから、解析対象となる断層画像群を取得する。取得された断層画像群は、制御部１２０を通じて記憶部１３０に記憶される。ここで解析対象となる断層画像群とは、すでに記憶部１３０に保存されている平面画像と同一被検眼を撮影したものである。またデータベースに複数の断層画像群が存在する場合には、撮影時期が平面画像と最も近い断層画像群を取得する。取得された断層画像群は、制御部１２０を通じて記憶部１３０に記憶される。
【００２４】
＜ステップＳ２５０＞
ステップＳ２５０において、層抽出部１４３は、記憶部１３０に記憶されている各断層画像から網脈絡膜の層境界を検出する。層のセグメンテーション手法に関しては様々な手法が知られているが、本実施形態ではエッジ強調フィルタを用いて層境界となるエッジを抽出し、その後網脈絡膜層に関する医学知識を用いて検出されたエッジと層境界を対応づける手法を用いた場合について説明する。脈絡膜の厚みを計測するためにはＲＰＥ（Ｌ４）と強膜境界（Ｌ５）の検出が必要であるため、ＲＰＥと強膜境界の検出について述べるが、他の層境界についても同様の手法により検出することが可能である。
【００２５】
まず層抽出部１４３は、断層画像に対して平滑化フィルタ処理を行い、ノイズ成分を除去する。そして、エッジ検出フィルタ処理を行い断層画像からエッジ成分を検出し、層の境界に相当するエッジを抽出する。さらに、エッジ検出をした断層画像から背景領域を特定し、背景領域の輝度値を断層画像から抽出する。そして、次に、エッジ成分の輝度値のピーク値と、ピーク間の輝度値を用いることで、各層の境界を判定する。
【００２６】
例えば層抽出部１４３は、硝子体側から眼底の深度方向にエッジを探索し、エッジ成分での輝度値のピークと、その上下の輝度値と、背景の輝度値とから、硝子体と網膜層との境界（ＩＬＭ）を判定する。さらに、眼底の深度方向にエッジを探索し、エッジ成分のピークと、ピーク間の輝度値と、背景の輝度値とを参照して、網膜色素上皮層境界（ＲＰＥ）を判定する。さらに、強膜側から眼底の浅度方向にエッジを探索し、エッジ成分のピークと、その上下の輝度値と、背景の輝度値とから、強膜境界（Ｌ５）を判定する。以上の処理によって、層の境界を検出することができる。
【００２７】
これら層検出の操作は断層画像内の各位置に対して行われる。上述した輝度値は層検出のために用いられるパラメタの例示であり、本発明において深度方向での画像の特徴を示す特徴値として把握される。層抽出部１４３は、本発明において、眼底から得られる第二の画像から該眼底画像内の各位置で得られる特徴値を抽出、これらの層の存在状態を解析する眼底解析手段として機能する。
このようにして検出したＲＰＥ（Ｌ４）と強膜境界（Ｌ５）の境界（コントロールポイント）を制御部１２０へ送信するとともに、記憶部１３０に記憶する。
【００２８】
＜ステップＳ２６０＞
ステップＳ２６０において、位置合わせ部１４４は、記憶部１３０に保存されている平面画像と、断層画像群の位置合わせを行う。次に、図２（ｂ）のフローチャートを参照して，ステップＳ２６０における位置合わせ処理の手順を説明する。
【００２９】
＜ステップＳ２６１＞
ステップＳ２６０において、位置合わせ部１４４は、記憶部１３０に保存されているＯＣＴ装置により撮影した断層画像群を取得し、各断層画像（Ｂ−ｓｃａｎ像）を深度方向に積算した投影像を作成する。図５（ａ）は、黄斑部の断面像Ｔ1〜Ｔnであり、図５（ｂ）は断面像Ｔ1〜Ｔnから作成した投影像Ｐである。深度方向とは、図５（ａ）のｚ方向であり、深度方向に積算するとは、図５（ａ）のｚ方向の各深度位置における光強度（輝度値）を足し合わせる処理である。投影像Ｐは、各深度位置における輝度値を単純加算した値でもよいし、加算値を加算数で割った平均値でもよい。投影像Ｐは、深度方向に全画素の輝度値を加算する必要はなく、任意の深度方向の範囲のみ加算するようにしてもよい。例えば、事前に網膜層全体を検出しておいて、網膜層内のみ加算してもよい。さらには、網膜層内の任意の層のみ加算してもよい。図５（ｂ）の投影像Ｐは、積算値が大きいほど輝度値が明るく、積算値が小さいほど輝度値が暗くなるように表している。図５（ｂ）の投影像Ｐ内の曲線Ｖは血管を示しており、画像中心の円Ｍは黄斑部を示している。血管がある場所は、血管より深部の位置における光の反射光強度は弱くなりやすく、ｚ方向に積算した値は、血管がない場所に比べて小さくなる。そのため、投影像Ｐを作成することで、血管とそれ以外でのコントラストのある画像を得ることが出来る。
【００３０】
＜ステップＳ２６２＞
ステップＳ２６２において、画像取得部１００は、画像処理装置１０に接続される補償光学ＳＬＯ装置、もしくは該装置により撮影された平面画像を保存するデータベースから、解析対象となる平面画像を含む広域平面画像を取得する。それと同時に、該広域平面画像が撮影されたときの固視の位置を取得する。広域平面画像を撮影する際の固視の位置は、固定された基準固視位置となるが、疾病眼などで固視を移動させて撮影される場合もある。取得された広域平面画像及びその固視の位置は、制御部１２０を通じて記憶部１３０に記憶される。
ここで解析対象となる広域平面画像とは、すでに記憶部１３０に保存されている平面画像と同一被検眼を、同一撮影日に撮影したものであり、該平面画像に比べて広域を撮影したものである。図６（ａ）に広域平面画像Ｗの模式図を示す。但し、同一撮影日に撮影された広域平面画像が存在しない場合には、データベースに存在する他の同一被検眼の広域平面画像の中から、撮影時期が平面画像と最も近い広域平面画像を取得して用いる。
【００３１】
＜ステップＳ２６３＞
ステップＳ２６３において、位置合わせ部１４４は、ステップＳ２６１で作成された投影像と、ステップＳ２６２で取得された広域平面画像の重ね合わせを行う。図６（ｂ）に、図５（ｂ）に示した投影像に対して重ね合わせられた広域平面画像Ｗを示す。
位置合わせは投影像、広域平面画像双方から、血管抽出部１４１が血管を抽出し、その血管特徴を用いて行う。血管は細い線状構造を有しているため、線状構造を強調するフィルタを用いて血管を抽出する。線状構造を強調するフィルタとしては、線分を構造要素としたときに構造要素内での画像濃度値の平均値と構造要素を囲む局所領域内での平均値の差を計算するフィルタを利用する。ただし、これに限らずＳｏｂｅｌフィルタのような差分フィルタでもよい。また、濃度値画像の画素ごとにヘッセ行列の固有値を計算し、結果として得られる２つの固有値の組み合わせから線分状の領域を抽出してもよい。さらには、単純に線分を構造要素とするトップハット演算でもよい。
【００３２】
投影像と広域平面画像からそれぞれ抽出した血管を用いて、画像間の位置合わせを行う。投影像を基準画像として、広域平面画像のスケール（Ｓx，Ｓy）、位置座標（ｘ，ｙ）、回転（ｒｏｔ）パラメタを求めることにより、投影像と広域平面画像の位置を合わせることが出来る。
位置合わせを行う際には、２つの画像間の類似度を表す評価値を事前に定義し、この評価値が最も良くなるように画像の変形を行う。評価値としては、前記処理により得られた投影像血管領域と眼底画像血管領域の重なりの程度を表す値や、血管の分岐部など特徴的な幾何形状を有する領域に注目した時の対応ランドマーク間の距離などが利用できる。また、本実施形態では解剖学的に特徴的な領域として血管を利用したが、視神経乳頭領域のようなその他の解剖学的特徴や、疾患により生じた白斑や出血領域を利用しても良い。さらに、血管などの解剖学的特徴にのみ注目するのではなく、画像全体から計算される評価値、例えば輝度値の平均２乗誤差、相関係数、相互情報量なども利用可能である。
【００３３】
＜ステップＳ２６４＞
ステップＳ２６４において、位置合わせ部１４４は、記憶部１３０に保存されている、補償光学ＳＬＯにより撮影された平面画像を取得すると同時に、該平面画像が撮影されたときの固視の位置を取得する。広域平面画像を撮影した際の固視位置と、平面画像を撮影した際の固視位置から、平面画像と広域平面画像の位置合わせを行う。ここでの位置合わせは、固視灯を設定した際に固視位置と撮影位置との対応づけをしておき、その対応づけに基づき行う。
以上に述べた位置合わせ部１４４は、本発明において、第一の画像である広域平面画像と第二の画像である投影像とを各々対応付け、これらの重ね合わせを可能とする画像対応付け手段として機能する。
このようにして取得した位置合わせ結果を、制御部１２０へ送信するとともに、記憶部１３０に記憶する。
【００３４】
＜ステップＳ２７０＞
ステップＳ２７０において、分析部１４５は、記憶部１３０に保存されている平面画像から取得した視細胞分布と、断層画像群より取得した脈絡膜の厚さ情報から、視細胞あたりの脈絡膜量を算出する。
ステップＳ２３０で検出された各視細胞位置及び各視細胞ごとの面積、ステップＳ２５０で検出された脈絡膜厚、ステップＳ２６０で求められた位置合わせ結果に基づき、各視細胞ごとの脈絡膜の体積を算出する。
ステップＳ２５０では、各断層画像（Ｂ−ｓｃａｎ像）内で脈絡膜厚を算出しているため、断層画像間の補完を行う。補完の方法としては、隣接する断層画像間で線形補完を行ってもよいし、より解剖学的構造を反映させたスプライン補完などの処理を行ってもよい。このようにして、断層画像群よりもとめられた投影像上の全域に対して、脈絡膜厚が対応することになる。
【００３５】
次に、ステップＳ２６０の位置合わせ結果に基づき、補償光学ＳＬＯで撮影された平面画像及びその画像上に検出されている各視細胞の、上記投影像上の位置を取得する。そして対応する位置の脈絡膜厚を取得し、各視細胞が占める領域内での積分値を算出する。該積分値に基づきボロノイ図の配色を変えるなどして可視化するためのマップを作製する。
図７（ａ）に、ステップ２６２で取得された広域平面画像中においてボロノイ表示を行った部分を領域Ｓとして示す。また、図７（ｂ）に、当該広域平面画像をステップ２６１で作成された投影像に重ね合わせた状態を示す。
【００３６】
以上の操作を為す分析部１４５は、本発明において、画像対応付け手段によって対応付けられた平面画像中の各領域と投影像中の各部分の特徴値とより、各領域ごとの特徴値を算出する特徴値演算手段として機能する。すなわち、該特徴値演算手段は、本発明における第一の画像である広域平面画像中の内の所定の領域に対応する第二の画像である断層画像内の領域の特徴値を算出する。
このようにして算出した視細胞あたりの脈絡膜量を可視化するためのマップを、制御部１２０へ送信するとともに、記憶部１３０に記憶する。
【００３７】
＜ステップＳ２８０＞
ステップＳ２８０において、出力部１５０は、ステップＳ２７０において記憶部に保存された視細胞ごとの脈絡膜量を可視化するためのマップを、出力部１５０を通じてモニタに表示する。さらに、ステップＳ２１０〜ステップＳ２９０で記憶部１３０に保存された解析結果情報を、データベースに保存する。図９にモニタに表示されたマップを示す。なお、該モニタは本発明における画像を表示する表示手段に対応し、出力部１５０は特徴値を可視化した画像をモニタに表示させる表示制御手段に対応する。
【００３８】
図９（ａ）はＯＣＴにより検出された脈絡膜厚が薄くなっている箇所（ＣＤ）を投影像上にマップして示している。このときＣＤは補償光学ＳＬＯ上の撮影位置の右側に位置しているので、図４（ｂ）で示した補償光学ＳＬＯ画像のボロノイ表示を脈絡膜厚のみで色付けすると、図９（ｂ）に示したようになる。ここでは、色が濃いほど脈絡膜厚が薄くなることを示している。図９（ｃ）には、各視細胞ごとにそれぞれのボロノイ領域で対応する脈絡膜厚を積算した値に基づき、色付けした図を示す。ここでは、各視細胞の脈絡膜量が少ないほど濃い色で表示されている。
なお、このようなマップ表示は、分析部１４５において表示色づけ手段として機能する領域により実行され、当該表示色づけ手段によって色づけされた各々のマップが出力部１５０より出力される。即ち、この色づけ等の操作は、前述した視細胞の脈絡膜量等の特徴値に応じて実行される。前述した表示制御手段は、色づけ後の画像の色及びコントラスト等を出力部１５０からの出力に応じて指定してモニタに表示させる。
【００３９】
図４（ｂ）では視細胞密度が中心部分で高くなっていることが示されているのに対して，図９（ｂ）では脈絡膜厚が右側に行くほど薄くなっていることが示されている。これら二つの効果が統合されて、図９（ｃ）では視細胞ごとの脈絡膜量が少ない領域として、色の濃い領域が表示されている。このような表示を行うことにより、各視細胞あたりの脈絡膜量の分布を知ることができる。
出力部１５０は、本発明において、特徴値演算手段によって領域ごとに算出された特徴値に基づいて可視化の処理がなされた画像をモニタに表示させる表示制御手段として機能する。
【００４０】
以上の構成により、補償光学ＳＬＯ装置により取得される平面画像を用いて視細胞の分析を行う場合に、単一の平面画像のみから取得した視細胞密度等の情報のみではなく、ＯＣＴにより得られた情報を組み合わせた表示を行うことが可能になる。このような組み合わせにより、例えば視細胞あたりの脈絡膜量を可視化することが可能になり、脈絡膜が薄くなる場合の影響の視細胞あたりの影響を可視化する効果がある。
【００４１】
なお、上述した実施例では、ボロノイ解析により視細胞毎の境界を設定し、その結果特定した視細胞と対応する領域の脈絡膜の厚さとより上述したマップの生成と表示とを行っている。しかしながら本発明は当該例に限定されず、視細胞に対応した眼底中の例えば脈絡層等の特定の層について断層画像からこれを解析、検出する。その解析結果に基づいて該特定の層における眼底の平面画像中にて任意に指定した視細胞等の領域に対応した領域の厚さを算出し、算出された層厚さを指定した領域毎に濃淡、色づけ等によって可視化してこれを表示する様式とすれば良い。この場合、断層画像からの特定の層の解析及び検出は当該態様における解析手段として機能する層抽出部１４３及び分析部１４５により実行される。また、視細胞に対応する任意の領域の設定は視細胞抽出部１４２により実行され、該領域に対応した部分での特定の層の厚さの算出は当該態様において算出手段として機能する分析部１４５により実行される。更に得られた領域を濃淡、色づけ等による可視化し及びこれらのモニタ等表示手段へ表示は、本態様において表示制御手段として機能する出力部１５０及び制御部１２０により実行される。
また、この場合、前述した算出手段は、上述したように任意の領域に対応した特定の層の厚さを算出することとしても良く、或いは当該領域の密度を算出する構成としても良い。この場合、表示制御手段は、層の厚さと体積と、或いは層の厚さと密度と、を対応付けて可視化した画像を生成し、表示させることが好ましい
【００４２】
（実施例２）
実施例1では、補償光学ＳＬＯによる平面画像から視細胞を検出し、該平面画像からは得ることのできない脈絡膜の厚さという情報をＯＣＴで撮影した断層画像群から取得することで、視細胞ごとの脈絡膜の体積を可視化した。しかし、視細胞ごとの解析を行う対象は脈絡膜に限定されるものではなく、視機能に影響があるとされる様々な疾患の所見を、所見単独でではなく、視細胞分布を関連づけて可視化することが考えられる。
【００４３】
ＯＣＴを用いるならば、網膜からの情報として、網膜全体の厚みや各層の厚み、とくに神経線維層や神経節細胞層の厚みなどを用いることが考えられ、ステップＳ２５０と同様の手法で抽出することが可能である。他にも、網膜変性によって輝度が減少するとされる外境界膜（ＥＬＭ）や視細胞内節外節境界（ＩＳ／ＯＳ）、ＣＯＳＴ（ｃｏｎｅ ｏｕｔｅｒ ｓｅｇｍｅｎｔ ｔｉｐｓ）、ＲＰＥ、ＧＣＣを含む網膜より検出される各々の層の輝度値、或いはその厚みを用いることもできる。さらに、白斑やのう胞、網膜剥離などの異常部位等の網膜の病変に基づいて得られる値を検出して、これらを特徴値として関連づけてもよい。
また異なるモダリティとしては、眼底写真、蛍光眼底造影、自発蛍光から検出される所見があげられる。それらは例えば、黄斑委縮や黄色斑である。この場合、本発明での特徴値は自発蛍光のシグナル強度に対応する。
【００４４】
実施例１では、脈絡膜全体の厚みを用いて分析を行ったが、脈絡膜中でもより直接的に脈絡膜血管画像を作成するＯＣＡ（Ｏｐｔｉｃａｌ Ｃｏｈｅｒｅｎｃｅ Ａｎｇｉｏｇｒａｐｈｙ）により作成された脈絡膜血管の体積を、各視細胞ごとに表示してもよい。その他にも、ドップラーＯＣＴやＳｃａｔｔｅｒｉｎｇＯＣＴなど、より直接的に脈絡膜循環を観察するとされるモダリティから、血管に相当する領域のみを抽出し、それらの視細胞ごとの体積を表示してもよい。即ち、本発明における第二の画像は、被検眼の眼底から得られる画像であることが好ましく、さらには眼底の断層画像であることが好ましい。
【００４５】
（実施例３）
本実施例では、実施例１で示した方法により視細胞あたりの脈絡膜の体積を算出した際に、同一被検眼を経時的に撮影した場合の脈絡膜厚の値に基づき、時間的にも積算した値を用いて可視化する場合を示す。視細胞が受けるダメージは、ある撮影時点での状況のみによるのではなく、これまでの経時的な影響の積み重ねである場合が多い。よって本実施例では、そのような経時的な影響の積み重ねの可視化について記述する。
【００４６】
本実施例に関わる画像処理装置１０の機能構成は、図１と同様なので説明は省略する。
次に、図８のフローチャートを参照して、本実施形態の画像処理装置１０の処理手順を説明する。ここでステップＳ２１０、Ｓ２２０、Ｓ２３０、Ｓ２８０に関しては、実施例１で示した処理手順と変わらないために、説明は省略する。
実施例１においては、補償光学ＳＬＯにより取得される平面画像に対して、一つの断層画像群を対応づけていたが、本実施例においては、経時的に取得された複数の断層画像群より時間的変化の情報も取得し利用する点が異なっている。よってステップＳ５４０によって取得される断層画像群は、ステップＳ２１０で取得された平面画像と同一被検眼で、ことなる撮影日時のものであり、ステップＳ５５０ではそれらすべての断層像群から脈絡膜厚を計測する。ステップＳ５５０では、一つの平面画像と一つの断層画像群より生成された投影画像の位置合わせを行うが、それと同時に、複数の断層画像群より生成された投影画像同士の位置合わせを行うことで、すべての画像の対応づけを行う。ステップＳ５７０では、各視細胞ごとに、経時変化も考慮した分析を行い、可視化する。
以下に各ステップについてより詳細に説明する。
【００４７】
＜ステップＳ５４０＞
ステップＳ５４０において、画像取得部１００は、画像処理装置１０に接続されるＯＣＴ、もしくは該装置により撮影された断層画像を保存するデータベースから、解析対象となる複数の断層画像群を取得する。取得された断層画像群は、制御部１２０を通じて記憶部１３０に記憶される。ここで解析対象となる複数の断層画像群とは、すでに記憶部１３０に保存されている平面画像と同一被検眼を撮影したものであり、撮影時期が平面画像と最も近い断層画像を含む、少なくとも２つの断層画像群である。取得された断層画像群は、制御部１２０を通じて記憶部１３０に記憶さる。
【００４８】
＜ステップＳ５５０＞
ステップＳ５５０において、層抽出部１４３は、記憶部１３０に記憶されている複数の断層画像群に対して、それぞれ網脈絡膜の層境界を検出する。層のセグメンテーション手法に関しては、ステップＳ２５０と同様であるため、説明は省略する。
【００４９】
＜ステップＳ５６０＞
ステップＳ５６０において、位置合わせ部１４４は、記憶部１３０に保存されている平面画像と、複数の断層画像群の位置合わせを行う。そのために、複数の断層画像群のそれぞれに対して、ステップＳ２６０に示したのと同様の方法により、投影像を作成する。
次に、それぞれ作成された複数の投影像同士の位置合わせを行う。位置合わせは、投影像上に見られる血管等解剖学的な特徴を利用して、この評価値が最もよくなるように自動で位置合わせを行う。ここでは主に、各投影像より抽出される血管領域の重なりの程度が最も大きくなるようにして位置合わせを行う。しかしステップＳ２６０に記載したのと同様に、血管の分岐部など特徴的な幾何形状を有する領域に注目した時の対応ランドマーク間の距離などや、画像全体から計算される評価値、例えば輝度値の平均２乗誤差、相関係数、相互情報量なども利用可能である。
さらに、位置合わせされた複数の投影像に対して、補償光学ＳＬＯにより取得された平面画像の位置合わせを行う。ここでの位置合わせの方法は、ステップＳ２６０に記載したのと同様である。
【００５０】
＜ステップＳ５７０＞
ステップＳ５７０において、分析部１４５は、記憶部１３０に保存されている平面画像から取得した視細胞分布と、複数の断層画像群より取得した脈絡膜の厚さ情報から、経時変化も考慮にいれた視細胞あたりの脈絡膜量を算出する。
まずは、ステップＳ２７０と同様の手法を用いて、それぞれの断層画像群間で、脈絡膜厚の補完を行う。これにより、位置合わせされた複数の投影像上の領域に対して、複数の異なる時間の脈絡膜厚が対応することになる。
【００５１】
次に、ステップ５６０位置合わせ結果に基づき、補償光学ＳＬＯで撮影された平面画像及びその画像上に検出されている各視細胞の、上記投影像上の位置を取得する。そして対応する位置の、異なる時間の脈絡膜厚を取得する。ステップＳ２７０と同様に、各撮影日時において各視細胞が占める領域内での脈絡膜の積分値を算出した後、時間方向にも加算して積算値を求める。ここで加算の方法としては、複数の断層画像群の撮影日時の間隔が異なることを反映して線形補完し、その補完値を用いて加算して積算値を算出する。
該積算値に基づきボロノイ図の配色を変えるなどして可視化したマップを作製する。
即ち、本実施例では、本発明における特徴値は経時的に変化するデータであるとして用いられ、特徴値演算手段はこの様に計時的に変化する特徴値を積算し、これを画像の可視化の際のデータとして使用する。
【００５２】
このようにして算出した、経時変化も考慮した視細胞あたりの脈絡膜量を可視化したマップを、制御部１２０へ送信するとともに、記憶部１３０に記憶する。
図１０に本実施例によるマップの表示例を示す。図１０（ａ）は、ＯＣＴにより検出された脈絡膜厚が薄くなっている箇所（ＣＤ）の経時変化を投影像上のマップで示した図である。ＣＤは補償光学ＳＬＯ上の撮影位置の右上側から、右側全体に広がっていく様子が示されている。図９と同様、図４（ｂ）で示した補償光学ＳＬＯ画像のボロノイ表示を脈絡膜厚のみで色付けすると、図１０（ｂ）に示したような経時変化を示す。ここでは、色が濃いほど脈絡膜厚が薄くなることを表している。
【００５３】
実施例１の場合と同様、視細胞の密度が高い領域においては，脈絡膜厚の変化の影響が大きくなる。そして脈絡膜厚が薄くなっている状態が長いほど、各視細胞への影響は大きくなる。そのことを反映させるために，脈絡膜の厚さを経時的に積算して各ボロノイ領域に色を決めた場合を図１０（ｃ）に示す。ここでは、各視細胞の脈絡膜量が少ないほど濃い色で表示されている。
図１０（ｃ）では、図１０（ｂ）で示されたように、右上方向がより脈絡膜が薄い状態であった時間が長かった効果を反映して、図９（ｃ）に比べて色の濃い領域が上方に集中していることが示されている。
【００５４】
以上の構成により、補償光学ＳＬＯ装置により取得される平面画像を用いて視細胞の分析を行う場合に、ＯＣＴにより得られた情報を経時的に積算した情報を組み合わせた表示を行うことが可能になる。このような表示により、例えば視細胞あたりの経時的な脈絡膜量を可視化することが可能になり、脈絡膜厚の変化が、各視細胞に与える効果を可視化することができる。
【００５５】
（その他の実施形態）
本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。
【００５６】
（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００５７】
１０ 画像処理装置
１００ 画像取得部
１１０ 入力情報取得部
１２０ 制御部
１３０ 記憶部
１４０ 画像処理部
１４１ 血管抽出部
１４２ 視細胞抽出部
１４３ 層抽出部
１４４ 位置合わせ部
１４５ 分析部
１５０ 出力部
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理方法に関し、特に眼科診療等に用いられる画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
生活習慣病や失明原因の上位を占める疾病の早期診断を目的として、眼底部の検査が広く行われている。共焦点レーザー顕微鏡の原理を利用した眼科装置である走査型レーザー検眼鏡（ＳＬＯ：Ｓｃａｎｎｉｎｇ Ｌａｓｅｒ Ｏｐｈｔｈａｌｍｏｓｃｏｐｅ）は、測定光であるレーザーを眼底に対してラスタースキャンを行い、その戻り光の強度から平面画像を高分解能かつ高速に得る装置である。
近年、被検眼の収差を波面センサでリアルタイムに測定し、被検眼にて発生する測定光やその戻り光の収差を波面補正デバイスで補正する補償光学系を有する補償光学ＳＬＯが開発され、高横分解能な平面画像の取得を可能にしている。さらに、取得した網膜の平面画像を用いて網膜における視細胞を抽出し、その密度や分布の解析から疾病の診断や薬剤応答の評価が試みられている。
【０００３】
補償光学ＳＬＯを用いて視細胞の可視化を行った例として、非特許文献１においては、網膜の平面画像を取得し、視細胞の自動抽出を可能とした眼科撮影装置が提案されている。この眼科撮影装置では、高横分解能の網膜の平面画像を撮像し、画像に描出される視細胞の配置の周期性を利用して高周波成分を除去することにより、極大値検出による視細胞の自動検出を行っている。また視細胞の検出結果を用いて，視細胞の密度や視細胞間の距離を計測し、空間内分布のボロノイ解析による分析を行っている。 さらに非特許文献２においては、検出した視細胞の密度と網膜疾患の相関について分析を行い，視細胞密度が低下している領域と，視野感度の低下している領域や嚢胞様黄斑浮腫（ＣＭＥ）との対応付けを行っている。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Kaccie Y. Li and Austin Roorda, “Automated identification of cone photoreceptors in adaptive optics retinal images”J. Opt. Soc. Am. A, May 2007, Vol. 24, No. 5, 1358
【非特許文献２】Jacque L. Duncan et al, “High-Resolution Imaging with Adaptive Optics in Patients with Inherited Retinal Degeneration”Investigative Ophthalmology & Visual Science, July 2007, Vol. 48, No. 7, 3283
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来例では、補償光学ＳＬＯにより取得した平面画像を用いて、視細胞の密度や視細胞間の間隔を算出するなどの方法で視細胞の分析を行っている。そしてそこで見つかった低密度領域などの異常を、他のモダリティから得られる情報、例えばＯＣＴにより観察される網膜厚の変化などと比較し、所見箇所と一致するかなどの議論をしている。しかし視細胞密度の変化は、例えば各視細胞に供給される酸素量の変化などをもたらすが、その影響の大きさは酸素の供給源の状態によっても変化する。つまり供給が豊富な領域では多少の密度変化があっても各視細胞への影響は小さいが，供給が少ない領域では同じ密度変化の影響が大きくなる。
【０００６】
視細胞への酸素供給源としては脈絡膜の影響が注目され、脈絡膜の厚みを計測する手法も提案されている。このように、他モダリティから得られる情報との相互関係を考慮して初めてわかる影響に関しては，それぞれのモダリティから得られる異常個所を比較するだけでは十分な解析ができない。
【０００７】
本発明は、上記課題に鑑み、視細胞の検出結果から得られる視細胞密度や分布などの情報を、他の手段によって得られた情報の視細胞への影響を各視細胞ごとに評価することによって、より正確な異常所見を算出できる装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的に対応して、本発明に係る眼部を撮影した複数の画像を解析する画像処理装置は、眼部の眼底の視細胞を含む第一の画像のうち所定の領域に対応する該眼部の眼底の第二の画像の領域の特徴値を算出する特徴値演算手段と、
前記特徴値を可視化した画像を表示手段に表示させる表示制御手段と、
を備えることを特徴とする。
また、上記目的に対応して、本発明に係る眼部を撮影した複数の画像を解析する画像処理方法は、眼部の眼底の視細胞を含む第一の画像のうち所定の領域に対応する該眼部の眼底の第二の画像の領域における特徴値を算出する工程と、
前記特徴値を可視化した画像を表示手段に表示させる工程と、
を含むことを特徴とする。
【発明の効果】
【０００９】
本発明によれば、各視細胞の評価指標を提示することができる。
【図面の簡単な説明】
【００１０】
【図１】実施例１に係る画像処理装置１０の機能構成を示す図
【図２】実施例１に係る画像処理装置１０の処理手順を示すフローチャート
【図３】補償光学ＳＬＯ装置により視細胞を撮影した高精細な平面画像の模式図
【図４】ボロノイ図の説明と視細胞のボロノイ解析の例を示す図
【図５】光断層画像撮影装置による網脈絡膜断層画像群、及びその投影像の模式図
【図６】補償光学ＳＬＯ装置により広域撮影した平面画像の模式図
【図７】広域撮影した画像と固視、高精細な画像との関係を示す模式図
【図８】実施例３に係る画像処理装置１０の処理手順を示すフローチャート
【図９】実施例１におけるマップ表示例
【図１０】実施例３におけるマップ表示例
【発明を実施するための形態】
【００１１】
（実施例１）
本実施例は、視細胞へ酸素等の供給を担うとされている脈絡膜の厚さから、各視細胞へ供給される酸素量を推定し、これを可視化する場合の処理について説明する。具体的には、補償光学ＳＬＯにより取得された眼底平面画像（以下、平面画像）から得られる視細胞の分布情報と、光断層画像撮影装置（ＯＣＴ；Ｏｐｔｉｃａｌ Ｃｏｈｅｒｅｎｃｅ Ｔｏｍｏｇｒａｐｈｙ）により取得された眼底断層画像（以下、断層画像）から得られる脈絡膜の厚みの情報を組み合わせ、各視細胞あたりの脈絡膜の体積を計算して可視化する。
【００１２】
一般に視細胞は黄斑付近で密度が高く、黄斑から離れるにしたがい密度が低くなる。密度が高い領域と低い領域では、脈絡膜が薄くなることによる効果が異なることが予想される。本実施例においては、脈絡膜の厚さのマップ、視細胞の密度のマップと同時に、各視細胞あたりの脈絡膜の体積マップを提示することで、酸素の供給源である脈絡膜量が不足していると考えられる視細胞が集まる領域を明示することが可能になる。
【００１３】
＜平面画像＞
図３に補償光学ＳＬＯで撮影された平面画像を模式的に示す。図３（ａ）及び（ｂ）に示すように、輝度が比較的大きい小領域として、各視細胞ＰＲが一つ一つ区別される形で描出される。また視細胞の輝度に比較して輝度の低い領域の血管領域Ｖが描出される。この血管領域Ｖは視細胞より上層にある血管の影が描出されているものである。
【００１４】
＜断層画像＞
光の干渉を利用して眼底の断層画像を撮影するＯＣＴは、眼底の網膜の内部構造の状態を３次元的に観察することが可能であるため、眼科診療の現場で広く用いられている。図５に、ＯＣＴにより取得された黄斑付近の断層画像を模式的に示す。図５に示すＴ1〜Ｔnは各断層画像（Ｂ−ｓｃａｎ像）を表し、それらを複数枚集めた断層画像群によって、網膜の情報を三次元的に表す。
図５においてＬ１〜Ｌ５は網脈絡膜の層構造の境界を示しており、Ｌ１は内境界膜とその上部の組織との境界（以下ＩＬＭとする）、Ｌ２は神経線維層とその下部の層との境界（以下ＮＦＬとする）、Ｌ３は視細胞内節外節接合部との上部の層との境界（以下ＩＳ／ＯＳとする）、Ｌ４は網膜色素上皮とその下部の組織との境界（以下ＲＰＥとする）、Ｌ５は脈絡膜とその下部の強膜組織との境界を示している。
脈絡膜より下部の組織の画像を取得するためには、長波長光源を用いた高侵達ＯＣＴ（ＨＰ−ＯＣＴ）や通常のＳＤ−ＯＣＴをできるだけ眼に近づけ、脈絡膜側にコヒーレンスゲート位置を合わせて撮影を行う。
【００１５】
＜画像処理装置の構成＞
図１は、本発明の一実施例に係る画像処理装置１０の機能構成を示したものである。
図１において、１００は画像取得部であり、補償光学ＳＬＯから網膜の平面画像及びＯＣＴから網脈絡膜の断層画像を取得する。
１１０は入力情報取得部であり、補償光学ＳＬＯによる平面画像の撮影の際の固視灯の位置情報を補償光学ＳＬＯ装置より取得する。取得した位置情報は制御部１２０を通じて記憶部１３０に記憶される。
１４０は画像処理部であり、血管抽出部１４１、視細胞抽出部１４２、層抽出部１４３、位置合わせ部１４４、分析部１４５を含む。画像処理部１４０は、取得した平面画像及び断層画像それぞれから血管（血管に対応する領域）を抽出して位置合わせを行い、平面画像より抽出した視細胞（視細胞に対応する領域）、断層画像より抽出した脈絡膜層（脈絡層に対応する領域）から、視細胞あたりの脈絡膜の体積を算出し、記憶部１３０に記憶する。
１５０は出力部であり、分析結果をモニタ等に出力する他、記憶部１３０に記憶されている処理結果をデータベースに出力する。
【００１６】
本実施例において、画像処理装置１０は、補償光学ＳＬＯ及びＯＣＴから直接平面画像、及び断層画像を取得する構成としたが、ネットワークを介してそれらの画像を取得してもよい。その場合には、ネットワークを介して接続されたデータベースに補償光学ＳＬＯ及びＯＣＴで撮影された平面画像、断層画像、及びそれら画像の被検眼情報や撮影時の情報が保存され、画像処理装置１０はそのデータベースから画像及び情報を取得する構成となる。
【００１７】
＜画像処理装置の処理手順＞
次に、図２（ａ）のフローチャートを参照して、本実施形態の画像処理装置１０の処理手順を説明する。
【００１８】
＜ステップＳ２１０＞
ステップＳ２１０において、画像取得部１００は、画像処理装置１０に接続される補償光学ＳＬＯ、もしくは該装置により撮影された平面画像を保存するデータベースから、解析対象となる平面画像を取得する。取得された平面画像は、制御部１２０を通じて記憶部１３０に記憶さる。
またこのとき、取得された平面画像が撮影された際の撮影パラメタ情報を取得し、制御部１２０を通じて記憶部１３０に記憶する。ここで撮影パラメタ情報とは、撮影の際の固視灯の位置などのことである。固視灯の位置などの撮影パラメタ情報は、平面画像に付加している画像撮影情報ファイルに記載されている場合もあれば、画像のタグ情報として含まれている場合もある。
【００１９】
＜ステップＳ２２０＞
ステップＳ２２０において、入力情報取得部１１０は、データベースもしくは操作者の入力部（不図示）による入力により被検眼の情報を取得する。ここで被検眼の情報とは、被検眼の患者ＩＤ、氏名、年齢、性別、検査対象が右目であるか左眼であるか、撮影日時等のことであり、これら取得した情報は、制御部１２０を通じて記憶部１３０に記憶される。
【００２０】
＜ステップＳ２３０＞
ステップＳ２３０において、視細胞抽出部１４２は、記憶部１３０に記憶されている補償光学ＳＬＯにより取得された平面画像から、視細胞に対応する領域を抽出する。
図３に示したように、視細胞は平面画像内で輝度の高い小領域として観察される。図３（ａ）は血管が撮影領域に含まれる場合であり，血管部分は視細胞が観察されない領域として観察される。図３（ｂ）は血管等が撮影領域に含まれない場合であり，画像全体に視細胞が一様に観察される場合を示している。このような視細胞に対応する小領域を抽出するためには、極大点を検出するフィルタの組み合わせによって行う。本実施例では、ノイズを除去するためのガウシアンフィルタ、極大点を検出するためのラプラシアンフィルタによる処理を行い、経験に基づく閾値を用いて二値化し視細胞の候補領域を選択する。その後、孤立点除去及び穴埋め処理を行ったのち、各独立領域を抽出する。各独立領域の重心を求めることで、各視細胞の位置とする。
さらに、各視細胞あたりの面積を算出する。ここで面積の算出法としては、ある領域を選択し、該領域の面積と領域内に含まれる視細胞の数から、視細胞あたりの面積を求める方法がある。このような手法を用いてもよいが、視細胞の空間分布を分析する際によく用いられる、ボロノイ解析を行ってもよい。
【００２１】
図４（ａ）にボロノイ解析の概略を示す。図４でＭＰは母点、ＶＰはボロノイ点、ＶＲはボロノイ領域、ＶＢはボロノイ境界を示す。ボロノイ解析では、まず近隣に存在する母点ＭＰ間を直線で結び、その直線の垂直二等分線によって領域を分割する。このような垂直二等分線同士で囲まれた最小の領域を、各母点のボロノイ領域ＶＲと呼び、そのボロノイ領域の頂点をボロノイ点ＶＰ、辺をボロノイ境界ＶＢと呼ぶ。ボロノイ解析により、各母点あたりの面積や隣接する母点との位置関係を分析することができる。
図４（ｂ）に、検出された各視細胞を母点と考えてボロノイ解析を行った場合の模式図を示す。ここでは各ボロノイ領域を、領域の面積に応じて明るさを変えて表示している。このようにボロノイ解析により、各視細胞の分布の様子や密度の変化を可視化することができる。
【００２２】
視細胞抽出部１４２は、本発明において、眼部から得られた第一の画像から各視細胞に対応する領域を抽出し、これらの面積を求める等の解析を行う視細胞解析手段として機能する。本実施例では第一の画像は、補償光学ＳＬＯにより取得された平面画像に対応する。
ここで、求められた視細胞の抽出結果は、制御部１２０を通じて記憶部１３０に記憶される。
【００２３】
＜ステップＳ２４０＞
ステップＳ２４０において、画像取得部１００は、画像処理装置１０に接続されるＯＣＴ、もしくは該装置により撮影された断層画像を保存するデータベースから、解析対象となる断層画像群を取得する。取得された断層画像群は、制御部１２０を通じて記憶部１３０に記憶される。ここで解析対象となる断層画像群とは、すでに記憶部１３０に保存されている平面画像と同一被検眼を撮影したものである。またデータベースに複数の断層画像群が存在する場合には、撮影時期が平面画像と最も近い断層画像群を取得する。取得された断層画像群は、制御部１２０を通じて記憶部１３０に記憶される。
【００２４】
＜ステップＳ２５０＞
ステップＳ２５０において、層抽出部１４３は、記憶部１３０に記憶されている各断層画像から網脈絡膜の層境界を検出する。層のセグメンテーション手法に関しては様々な手法が知られているが、本実施形態ではエッジ強調フィルタを用いて層境界となるエッジを抽出し、その後網脈絡膜層に関する医学知識を用いて検出されたエッジと層境界を対応づける手法を用いた場合について説明する。脈絡膜の厚みを計測するためにはＲＰＥ（Ｌ４）と強膜境界（Ｌ５）の検出が必要であるため、ＲＰＥと強膜境界の検出について述べるが、他の層境界についても同様の手法により検出することが可能である。
【００２５】
まず層抽出部１４３は、断層画像に対して平滑化フィルタ処理を行い、ノイズ成分を除去する。そして、エッジ検出フィルタ処理を行い断層画像からエッジ成分を検出し、層の境界に相当するエッジを抽出する。さらに、エッジ検出をした断層画像から背景領域を特定し、背景領域の輝度値を断層画像から抽出する。そして、次に、エッジ成分の輝度値のピーク値と、ピーク間の輝度値を用いることで、各層の境界を判定する。
【００２６】
例えば層抽出部１４３は、硝子体側から眼底の深度方向にエッジを探索し、エッジ成分での輝度値のピークと、その上下の輝度値と、背景の輝度値とから、硝子体と網膜層との境界（ＩＬＭ）を判定する。さらに、眼底の深度方向にエッジを探索し、エッジ成分のピークと、ピーク間の輝度値と、背景の輝度値とを参照して、網膜色素上皮層境界（ＲＰＥ）を判定する。さらに、強膜側から眼底の浅度方向にエッジを探索し、エッジ成分のピークと、その上下の輝度値と、背景の輝度値とから、強膜境界（Ｌ５）を判定する。以上の処理によって、層の境界を検出することができる。
【００２７】
これら層検出の操作は断層画像内の各位置に対して行われる。上述した輝度値は層検出のために用いられるパラメタの例示であり、本発明において深度方向での画像の特徴を示す特徴値として把握される。層抽出部１４３は、本発明において、眼底から得られる第二の画像から該眼底画像内の各位置で得られる特徴値を抽出、これらの層の存在状態を解析する眼底解析手段として機能する。
このようにして検出したＲＰＥ（Ｌ４）と強膜境界（Ｌ５）の境界（コントロールポイント）を制御部１２０へ送信するとともに、記憶部１３０に記憶する。
【００２８】
＜ステップＳ２６０＞
ステップＳ２６０において、位置合わせ部１４４は、記憶部１３０に保存されている平面画像と、断層画像群の位置合わせを行う。次に、図２（ｂ）のフローチャートを参照して，ステップＳ２６０における位置合わせ処理の手順を説明する。
【００２９】
＜ステップＳ２６１＞
ステップＳ２６０において、位置合わせ部１４４は、記憶部１３０に保存されているＯＣＴ装置により撮影した断層画像群を取得し、各断層画像（Ｂ−ｓｃａｎ像）を深度方向に積算した投影像を作成する。図５（ａ）は、黄斑部の断面像Ｔ1〜Ｔnであり、図５（ｂ）は断面像Ｔ1〜Ｔnから作成した投影像Ｐである。深度方向とは、図５（ａ）のｚ方向であり、深度方向に積算するとは、図５（ａ）のｚ方向の各深度位置における光強度（輝度値）を足し合わせる処理である。投影像Ｐは、各深度位置における輝度値を単純加算した値でもよいし、加算値を加算数で割った平均値でもよい。投影像Ｐは、深度方向に全画素の輝度値を加算する必要はなく、任意の深度方向の範囲のみ加算するようにしてもよい。例えば、事前に網膜層全体を検出しておいて、網膜層内のみ加算してもよい。さらには、網膜層内の任意の層のみ加算してもよい。図５（ｂ）の投影像Ｐは、積算値が大きいほど輝度値が明るく、積算値が小さいほど輝度値が暗くなるように表している。図５（ｂ）の投影像Ｐ内の曲線Ｖは血管を示しており、画像中心の円Ｍは黄斑部を示している。血管がある場所は、血管より深部の位置における光の反射光強度は弱くなりやすく、ｚ方向に積算した値は、血管がない場所に比べて小さくなる。そのため、投影像Ｐを作成することで、血管とそれ以外でのコントラストのある画像を得ることが出来る。
【００３０】
＜ステップＳ２６２＞
ステップＳ２６２において、画像取得部１００は、画像処理装置１０に接続される補償光学ＳＬＯ装置、もしくは該装置により撮影された平面画像を保存するデータベースから、解析対象となる平面画像を含む広域平面画像を取得する。それと同時に、該広域平面画像が撮影されたときの固視の位置を取得する。広域平面画像を撮影する際の固視の位置は、固定された基準固視位置となるが、疾病眼などで固視を移動させて撮影される場合もある。取得された広域平面画像及びその固視の位置は、制御部１２０を通じて記憶部１３０に記憶される。
ここで解析対象となる広域平面画像とは、すでに記憶部１３０に保存されている平面画像と同一被検眼を、同一撮影日に撮影したものであり、該平面画像に比べて広域を撮影したものである。図６（ａ）に広域平面画像Ｗの模式図を示す。但し、同一撮影日に撮影された広域平面画像が存在しない場合には、データベースに存在する他の同一被検眼の広域平面画像の中から、撮影時期が平面画像と最も近い広域平面画像を取得して用いる。
【００３１】
＜ステップＳ２６３＞
ステップＳ２６３において、位置合わせ部１４４は、ステップＳ２６１で作成された投影像と、ステップＳ２６２で取得された広域平面画像の重ね合わせを行う。図６（ｂ）に、図５（ｂ）に示した投影像に対して重ね合わせられた広域平面画像Ｗを示す。
位置合わせは投影像、広域平面画像双方から、血管抽出部１４１が血管を抽出し、その血管特徴を用いて行う。血管は細い線状構造を有しているため、線状構造を強調するフィルタを用いて血管を抽出する。線状構造を強調するフィルタとしては、線分を構造要素としたときに構造要素内での画像濃度値の平均値と構造要素を囲む局所領域内での平均値の差を計算するフィルタを利用する。ただし、これに限らずＳｏｂｅｌフィルタのような差分フィルタでもよい。また、濃度値画像の画素ごとにヘッセ行列の固有値を計算し、結果として得られる２つの固有値の組み合わせから線分状の領域を抽出してもよい。さらには、単純に線分を構造要素とするトップハット演算でもよい。
【００３２】
投影像と広域平面画像からそれぞれ抽出した血管を用いて、画像間の位置合わせを行う。投影像を基準画像として、広域平面画像のスケール（Ｓx，Ｓy）、位置座標（ｘ，ｙ）、回転（ｒｏｔ）パラメタを求めることにより、投影像と広域平面画像の位置を合わせることが出来る。
位置合わせを行う際には、２つの画像間の類似度を表す評価値を事前に定義し、この評価値が最も良くなるように画像の変形を行う。評価値としては、前記処理により得られた投影像血管領域と眼底画像血管領域の重なりの程度を表す値や、血管の分岐部など特徴的な幾何形状を有する領域に注目した時の対応ランドマーク間の距離などが利用できる。また、本実施形態では解剖学的に特徴的な領域として血管を利用したが、視神経乳頭領域のようなその他の解剖学的特徴や、疾患により生じた白斑や出血領域を利用しても良い。さらに、血管などの解剖学的特徴にのみ注目するのではなく、画像全体から計算される評価値、例えば輝度値の平均２乗誤差、相関係数、相互情報量なども利用可能である。
【００３３】
＜ステップＳ２６４＞
ステップＳ２６４において、位置合わせ部１４４は、記憶部１３０に保存されている、補償光学ＳＬＯにより撮影された平面画像を取得すると同時に、該平面画像が撮影されたときの固視の位置を取得する。広域平面画像を撮影した際の固視位置と、平面画像を撮影した際の固視位置から、平面画像と広域平面画像の位置合わせを行う。ここでの位置合わせは、固視灯を設定した際に固視位置と撮影位置との対応づけをしておき、その対応づけに基づき行う。
以上に述べた位置合わせ部１４４は、本発明において、第一の画像である広域平面画像と第二の画像である投影像とを各々対応付け、これらの重ね合わせを可能とする画像対応付け手段として機能する。
このようにして取得した位置合わせ結果を、制御部１２０へ送信するとともに、記憶部１３０に記憶する。
【００３４】
＜ステップＳ２７０＞
ステップＳ２７０において、分析部１４５は、記憶部１３０に保存されている平面画像から取得した視細胞分布と、断層画像群より取得した脈絡膜の厚さ情報から、視細胞あたりの脈絡膜量を算出する。
ステップＳ２３０で検出された各視細胞位置及び各視細胞ごとの面積、ステップＳ２５０で検出された脈絡膜厚、ステップＳ２６０で求められた位置合わせ結果に基づき、各視細胞ごとの脈絡膜の体積を算出する。
ステップＳ２５０では、各断層画像（Ｂ−ｓｃａｎ像）内で脈絡膜厚を算出しているため、断層画像間の補完を行う。補完の方法としては、隣接する断層画像間で線形補完を行ってもよいし、より解剖学的構造を反映させたスプライン補完などの処理を行ってもよい。このようにして、断層画像群よりもとめられた投影像上の全域に対して、脈絡膜厚が対応することになる。
【００３５】
次に、ステップＳ２６０の位置合わせ結果に基づき、補償光学ＳＬＯで撮影された平面画像及びその画像上に検出されている各視細胞の、上記投影像上の位置を取得する。そして対応する位置の脈絡膜厚を取得し、各視細胞が占める領域内での積分値を算出する。該積分値に基づきボロノイ図の配色を変えるなどして可視化するためのマップを作製する。
図７（ａ）に、ステップ２６２で取得された広域平面画像中においてボロノイ表示を行った部分を領域Ｓとして示す。また、図７（ｂ）に、当該広域平面画像をステップ２６１で作成された投影像に重ね合わせた状態を示す。
【００３６】
以上の操作を為す分析部１４５は、本発明において、画像対応付け手段によって対応付けられた平面画像中の各領域と投影像中の各部分の特徴値とより、各領域ごとの特徴値を算出する特徴値演算手段として機能する。すなわち、該特徴値演算手段は、本発明における第一の画像である広域平面画像中の内の所定の領域に対応する第二の画像である断層画像内の領域の特徴値を算出する。
このようにして算出した視細胞あたりの脈絡膜量を可視化するためのマップを、制御部１２０へ送信するとともに、記憶部１３０に記憶する。
【００３７】
＜ステップＳ２８０＞
ステップＳ２８０において、出力部１５０は、ステップＳ２７０において記憶部に保存された視細胞ごとの脈絡膜量を可視化するためのマップを、出力部１５０を通じてモニタに表示する。さらに、ステップＳ２１０〜ステップＳ２９０で記憶部１３０に保存された解析結果情報を、データベースに保存する。図９にモニタに表示されたマップを示す。なお、該モニタは本発明における画像を表示する表示手段に対応し、出力部１５０は特徴値を可視化した画像をモニタに表示させる表示制御手段に対応する。
【００３８】
図９（ａ）はＯＣＴにより検出された脈絡膜厚が薄くなっている箇所（ＣＤ）を投影像上にマップして示している。このときＣＤは補償光学ＳＬＯ上の撮影位置の右側に位置しているので、図４（ｂ）で示した補償光学ＳＬＯ画像のボロノイ表示を脈絡膜厚のみで色付けすると、図９（ｂ）に示したようになる。ここでは、色が濃いほど脈絡膜厚が薄くなることを示している。図９（ｃ）には、各視細胞ごとにそれぞれのボロノイ領域で対応する脈絡膜厚を積算した値に基づき、色付けした図を示す。ここでは、各視細胞の脈絡膜量が少ないほど濃い色で表示されている。
なお、このようなマップ表示は、分析部１４５において表示色づけ手段として機能する領域により実行され、当該表示色づけ手段によって色づけされた各々のマップが出力部１５０より出力される。即ち、この色づけ等の操作は、前述した視細胞の脈絡膜量等の特徴値に応じて実行される。前述した表示制御手段は、色づけ後の画像の色及びコントラスト等を出力部１５０からの出力に応じて指定してモニタに表示させる。
【００３９】
図４（ｂ）では視細胞密度が中心部分で高くなっていることが示されているのに対して，図９（ｂ）では脈絡膜厚が右側に行くほど薄くなっていることが示されている。これら二つの効果が統合されて、図９（ｃ）では視細胞ごとの脈絡膜量が少ない領域として、色の濃い領域が表示されている。このような表示を行うことにより、各視細胞あたりの脈絡膜量の分布を知ることができる。
出力部１５０は、本発明において、特徴値演算手段によって領域ごとに算出された特徴値に基づいて可視化の処理がなされた画像をモニタに表示させる表示制御手段として機能する。
【００４０】
以上の構成により、補償光学ＳＬＯ装置により取得される平面画像を用いて視細胞の分析を行う場合に、単一の平面画像のみから取得した視細胞密度等の情報のみではなく、ＯＣＴにより得られた情報を組み合わせた表示を行うことが可能になる。このような組み合わせにより、例えば視細胞あたりの脈絡膜量を可視化することが可能になり、脈絡膜が薄くなる場合の影響の視細胞あたりの影響を可視化する効果がある。
【００４１】
なお、上述した実施例では、ボロノイ解析により視細胞毎の境界を設定し、その結果特定した視細胞と対応する領域の脈絡膜の厚さとより上述したマップの生成と表示とを行っている。しかしながら本発明は当該例に限定されず、視細胞に対応した眼底中の例えば脈絡層等の特定の層について断層画像からこれを解析、検出する。その解析結果に基づいて該特定の層における眼底の平面画像中にて任意に指定した視細胞等の領域に対応した領域の厚さを算出し、算出された層厚さを指定した領域毎に濃淡、色づけ等によって可視化してこれを表示する様式とすれば良い。この場合、断層画像からの特定の層の解析及び検出は当該態様における解析手段として機能する層抽出部１４３及び分析部１４５により実行される。また、視細胞に対応する任意の領域の設定は視細胞抽出部１４２により実行され、該領域に対応した部分での特定の層の厚さの算出は当該態様において算出手段として機能する分析部１４５により実行される。更に得られた領域を濃淡、色づけ等による可視化し及びこれらのモニタ等表示手段へ表示は、本態様において表示制御手段として機能する出力部１５０及び制御部１２０により実行される。
また、この場合、前述した算出手段は、上述したように任意の領域に対応した特定の層の厚さを算出することとしても良く、或いは当該領域の密度を算出する構成としても良い。この場合、表示制御手段は、層の厚さと体積と、或いは層の厚さと密度と、を対応付けて可視化した画像を生成し、表示させることが好ましい
【００４２】
（実施例２）
実施例1では、補償光学ＳＬＯによる平面画像から視細胞を検出し、該平面画像からは得ることのできない脈絡膜の厚さという情報をＯＣＴで撮影した断層画像群から取得することで、視細胞ごとの脈絡膜の体積を可視化した。しかし、視細胞ごとの解析を行う対象は脈絡膜に限定されるものではなく、視機能に影響があるとされる様々な疾患の所見を、所見単独でではなく、視細胞分布を関連づけて可視化することが考えられる。
【００４３】
ＯＣＴを用いるならば、網膜からの情報として、網膜全体の厚みや各層の厚み、とくに神経線維層や神経節細胞層の厚みなどを用いることが考えられ、ステップＳ２５０と同様の手法で抽出することが可能である。他にも、網膜変性によって輝度が減少するとされる外境界膜（ＥＬＭ）や視細胞内節外節境界（ＩＳ／ＯＳ）、ＣＯＳＴ（ｃｏｎｅ ｏｕｔｅｒ ｓｅｇｍｅｎｔ ｔｉｐｓ）、ＲＰＥ、ＧＣＣを含む網膜より検出される各々の層の輝度値、或いはその厚みを用いることもできる。さらに、白斑やのう胞、網膜剥離などの異常部位等の網膜の病変に基づいて得られる値を検出して、これらを特徴値として関連づけてもよい。
また異なるモダリティとしては、眼底写真、蛍光眼底造影、自発蛍光から検出される所見があげられる。それらは例えば、黄斑委縮や黄色斑である。この場合、本発明での特徴値は自発蛍光のシグナル強度に対応する。
【００４４】
実施例１では、脈絡膜全体の厚みを用いて分析を行ったが、脈絡膜中でもより直接的に脈絡膜血管画像を作成するＯＣＡ（Ｏｐｔｉｃａｌ Ｃｏｈｅｒｅｎｃｅ Ａｎｇｉｏｇｒａｐｈｙ）により作成された脈絡膜血管の体積を、各視細胞ごとに表示してもよい。その他にも、ドップラーＯＣＴやＳｃａｔｔｅｒｉｎｇＯＣＴなど、より直接的に脈絡膜循環を観察するとされるモダリティから、血管に相当する領域のみを抽出し、それらの視細胞ごとの体積を表示してもよい。即ち、本発明における第二の画像は、被検眼の眼底から得られる画像であることが好ましく、さらには眼底の断層画像であることが好ましい。
【００４５】
（実施例３）
本実施例では、実施例１で示した方法により視細胞あたりの脈絡膜の体積を算出した際に、同一被検眼を経時的に撮影した場合の脈絡膜厚の値に基づき、時間的にも積算した値を用いて可視化する場合を示す。視細胞が受けるダメージは、ある撮影時点での状況のみによるのではなく、これまでの経時的な影響の積み重ねである場合が多い。よって本実施例では、そのような経時的な影響の積み重ねの可視化について記述する。
【００４６】
本実施例に関わる画像処理装置１０の機能構成は、図１と同様なので説明は省略する。
次に、図８のフローチャートを参照して、本実施形態の画像処理装置１０の処理手順を説明する。ここでステップＳ２１０、Ｓ２２０、Ｓ２３０、Ｓ２８０に関しては、実施例１で示した処理手順と変わらないために、説明は省略する。
実施例１においては、補償光学ＳＬＯにより取得される平面画像に対して、一つの断層画像群を対応づけていたが、本実施例においては、経時的に取得された複数の断層画像群より時間的変化の情報も取得し利用する点が異なっている。よってステップＳ５４０によって取得される断層画像群は、ステップＳ２１０で取得された平面画像と同一被検眼で、ことなる撮影日時のものであり、ステップＳ５５０ではそれらすべての断層像群から脈絡膜厚を計測する。ステップＳ５５０では、一つの平面画像と一つの断層画像群より生成された投影画像の位置合わせを行うが、それと同時に、複数の断層画像群より生成された投影画像同士の位置合わせを行うことで、すべての画像の対応づけを行う。ステップＳ５７０では、各視細胞ごとに、経時変化も考慮した分析を行い、可視化する。
以下に各ステップについてより詳細に説明する。
【００４７】
＜ステップＳ５４０＞
ステップＳ５４０において、画像取得部１００は、画像処理装置１０に接続されるＯＣＴ、もしくは該装置により撮影された断層画像を保存するデータベースから、解析対象となる複数の断層画像群を取得する。取得された断層画像群は、制御部１２０を通じて記憶部１３０に記憶される。ここで解析対象となる複数の断層画像群とは、すでに記憶部１３０に保存されている平面画像と同一被検眼を撮影したものであり、撮影時期が平面画像と最も近い断層画像を含む、少なくとも２つの断層画像群である。取得された断層画像群は、制御部１２０を通じて記憶部１３０に記憶さる。
【００４８】
＜ステップＳ５５０＞
ステップＳ５５０において、層抽出部１４３は、記憶部１３０に記憶されている複数の断層画像群に対して、それぞれ網脈絡膜の層境界を検出する。層のセグメンテーション手法に関しては、ステップＳ２５０と同様であるため、説明は省略する。
【００４９】
＜ステップＳ５６０＞
ステップＳ５６０において、位置合わせ部１４４は、記憶部１３０に保存されている平面画像と、複数の断層画像群の位置合わせを行う。そのために、複数の断層画像群のそれぞれに対して、ステップＳ２６０に示したのと同様の方法により、投影像を作成する。
次に、それぞれ作成された複数の投影像同士の位置合わせを行う。位置合わせは、投影像上に見られる血管等解剖学的な特徴を利用して、この評価値が最もよくなるように自動で位置合わせを行う。ここでは主に、各投影像より抽出される血管領域の重なりの程度が最も大きくなるようにして位置合わせを行う。しかしステップＳ２６０に記載したのと同様に、血管の分岐部など特徴的な幾何形状を有する領域に注目した時の対応ランドマーク間の距離などや、画像全体から計算される評価値、例えば輝度値の平均２乗誤差、相関係数、相互情報量なども利用可能である。
さらに、位置合わせされた複数の投影像に対して、補償光学ＳＬＯにより取得された平面画像の位置合わせを行う。ここでの位置合わせの方法は、ステップＳ２６０に記載したのと同様である。
【００５０】
＜ステップＳ５７０＞
ステップＳ５７０において、分析部１４５は、記憶部１３０に保存されている平面画像から取得した視細胞分布と、複数の断層画像群より取得した脈絡膜の厚さ情報から、経時変化も考慮にいれた視細胞あたりの脈絡膜量を算出する。
まずは、ステップＳ２７０と同様の手法を用いて、それぞれの断層画像群間で、脈絡膜厚の補完を行う。これにより、位置合わせされた複数の投影像上の領域に対して、複数の異なる時間の脈絡膜厚が対応することになる。
【００５１】
次に、ステップ５６０位置合わせ結果に基づき、補償光学ＳＬＯで撮影された平面画像及びその画像上に検出されている各視細胞の、上記投影像上の位置を取得する。そして対応する位置の、異なる時間の脈絡膜厚を取得する。ステップＳ２７０と同様に、各撮影日時において各視細胞が占める領域内での脈絡膜の積分値を算出した後、時間方向にも加算して積算値を求める。ここで加算の方法としては、複数の断層画像群の撮影日時の間隔が異なることを反映して線形補完し、その補完値を用いて加算して積算値を算出する。
該積算値に基づきボロノイ図の配色を変えるなどして可視化したマップを作製する。
即ち、本実施例では、本発明における特徴値は経時的に変化するデータであるとして用いられ、特徴値演算手段はこの様に計時的に変化する特徴値を積算し、これを画像の可視化の際のデータとして使用する。
【００５２】
このようにして算出した、経時変化も考慮した視細胞あたりの脈絡膜量を可視化したマップを、制御部１２０へ送信するとともに、記憶部１３０に記憶する。
図１０に本実施例によるマップの表示例を示す。図１０（ａ）は、ＯＣＴにより検出された脈絡膜厚が薄くなっている箇所（ＣＤ）の経時変化を投影像上のマップで示した図である。ＣＤは補償光学ＳＬＯ上の撮影位置の右上側から、右側全体に広がっていく様子が示されている。図９と同様、図４（ｂ）で示した補償光学ＳＬＯ画像のボロノイ表示を脈絡膜厚のみで色付けすると、図１０（ｂ）に示したような経時変化を示す。ここでは、色が濃いほど脈絡膜厚が薄くなることを表している。
【００５３】
実施例１の場合と同様、視細胞の密度が高い領域においては，脈絡膜厚の変化の影響が大きくなる。そして脈絡膜厚が薄くなっている状態が長いほど、各視細胞への影響は大きくなる。そのことを反映させるために，脈絡膜の厚さを経時的に積算して各ボロノイ領域に色を決めた場合を図１０（ｃ）に示す。ここでは、各視細胞の脈絡膜量が少ないほど濃い色で表示されている。
図１０（ｃ）では、図１０（ｂ）で示されたように、右上方向がより脈絡膜が薄い状態であった時間が長かった効果を反映して、図９（ｃ）に比べて色の濃い領域が上方に集中していることが示されている。
【００５４】
以上の構成により、補償光学ＳＬＯ装置により取得される平面画像を用いて視細胞の分析を行う場合に、ＯＣＴにより得られた情報を経時的に積算した情報を組み合わせた表示を行うことが可能になる。このような表示により、例えば視細胞あたりの経時的な脈絡膜量を可視化することが可能になり、脈絡膜厚の変化が、各視細胞に与える効果を可視化することができる。
【００５５】
（その他の実施形態）
本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。
【００５６】
（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００５７】
１０ 画像処理装置
１００ 画像取得部
１１０ 入力情報取得部
１２０ 制御部
１３０ 記憶部
１４０ 画像処理部
１４１ 血管抽出部
１４２ 視細胞抽出部
１４３ 層抽出部
１４４ 位置合わせ部
１４５ 分析部
１５０ 出力部
【特許請求の範囲】
【請求項１】
眼部の眼底の視細胞を含む第一の画像のうち所定の領域に対応する該眼部の眼底の第二の画像の領域の特徴値を算出する特徴値演算手段と、
前記特徴値を可視化した画像を表示手段に表示させる表示制御手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記特徴値は、前記眼底の脈絡膜の厚さであり、
前記表示制御手段が、前記所定の領域における前記視細胞ごとに前記脈絡膜の厚さを可視化した画像を前記表示手段に表示させることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記表示制御手段が、前記所定の領域における前記視細胞の密度と、前記特徴値とを対応付けて可視化した画像を前記表示手段に表示させることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記表示制御手段は、前記特徴値に応じて前記画像の領域への色づけを行う表示色づけ手段を更に有し、前記特徴値の可視化は前記画像の領域への色づけによって行われることを特徴とする請求項１乃至３の何れか一項に記載の画像処理装置。
【請求項５】
前記第一の画像が前記眼部の眼底の平面画像であり、前記第二の画像が前記眼部の眼底の断層画像であることを特徴とする請求項１乃至４の何れか一項に記載の画像処理装置。
【請求項６】
前記特徴値が経時的に変化する値であり、
前記特徴値演算手段は前記経時的に変化した特徴値を積算して前記可視化された画像を表示する際に用いる特徴値を算出することを特徴とする請求項１乃至５の何れか一項に記載の画像処理装置。
【請求項７】
前記特徴値が、自発蛍光のシグナル強度であることを特徴とする請求項１乃至５の何れか一項に記載の画像処理装置。
【請求項８】
前記特徴値が、ＩＳ／ＯＳ、ＲＰＥ、ＧＣＣを含む網膜より検出される各々の層の厚み、及び網膜の病変に基づいて得られる値であることを特徴とする請求項１乃至５の何れか一項に記載の画像処理装置。
【請求項９】
前記第一の画像から各視細胞に対応する領域を解析する視細胞解析手段と、
前記第二の画像から、前記第二の画像の領域における各位置での前記特徴値を解析する眼底解析手段と、
前記第一の画像と前記第二の画像とを対応付ける画像対応付け手段と、
を備えることを特徴とする請求項１乃至８の何れか一項に記載の画像処理装置。
【請求項１０】
前記画像対応付け手段は、前記第一の画像と前記第二の画像との対応付けとして各々の位置合わせを行うことを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
眼部の眼底の視細胞を含む第一の画像のうち所定の領域に対応する該眼部の眼底の第二の画像の領域における特徴値を算出する工程と、
前記特徴値を可視化した画像を表示手段に表示させる工程と、
を含むことを特徴とする画像処理方法。
【請求項１２】
前記特徴値は、前記眼底の脈絡膜の厚さであり、
前記表示させる工程では、前記所定の領域における前記視細胞ごとに前記脈絡膜の厚さを可視化した画像を前記表示手段に表示させることを特徴とする請求項１１に記載の画像処理方法。
【請求項１３】
前記表示させる工程では、前記所定の領域における前記視細胞の密度と、前記特徴値とを対応付けて可視化した画像を前記表示手段に表示させることを特徴とする請求項１１に記載の画像処理方法。
【請求項１４】
請求項１１乃至１３の何れか一項に記載の画像処理方法の各工程をコンピュータに実行させるためのプログラム。
【請求項１５】
眼底の視細胞の画像を処理する画像処理装置であって、
前記眼底の断層画像を解析して脈絡層を解析する解析手段と、
前記断層画像の解析結果に基づいて、前記画像のうち前記視細胞に対応する領域毎に前記脈絡層の厚さを算出する算出手段と、
前記視細胞に対応する領域毎に算出された前記層の厚さを可視化した画像を表示手段に表示させる表示制御手段と、
を備えることを特徴とする画像処理装置。
【請求項１６】
前記算出手段は、前記画像のうちの所定の領域の前記視細胞の体積を算出し、
前記表示制御手段は、前記体積と前記層の厚さとを対応付けて可視化した画像を前記表示手段に表示させることを特徴とする請求項１５に記載の画像処理装置。
【請求項１７】
前記算出手段は、前記画像のうちの所定の領域の前記視細胞の密度を算出し、
前記表示制御手段は、前記密度と前記層の厚さとを対応付けて可視化した画像を前記表示手段に表示させることを特徴とする請求項１５に記載の画像処理装置。
【請求項１】
眼部の眼底の視細胞を含む第一の画像のうち所定の領域に対応する該眼部の眼底の第二の画像の領域の特徴値を算出する特徴値演算手段と、
前記特徴値を可視化した画像を表示手段に表示させる表示制御手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記特徴値は、前記眼底の脈絡膜の厚さであり、
前記表示制御手段が、前記所定の領域における前記視細胞ごとに前記脈絡膜の厚さを可視化した画像を前記表示手段に表示させることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記表示制御手段が、前記所定の領域における前記視細胞の密度と、前記特徴値とを対応付けて可視化した画像を前記表示手段に表示させることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記表示制御手段は、前記特徴値に応じて前記画像の領域への色づけを行う表示色づけ手段を更に有し、前記特徴値の可視化は前記画像の領域への色づけによって行われることを特徴とする請求項１乃至３の何れか一項に記載の画像処理装置。
【請求項５】
前記第一の画像が前記眼部の眼底の平面画像であり、前記第二の画像が前記眼部の眼底の断層画像であることを特徴とする請求項１乃至４の何れか一項に記載の画像処理装置。
【請求項６】
前記特徴値が経時的に変化する値であり、
前記特徴値演算手段は前記経時的に変化した特徴値を積算して前記可視化された画像を表示する際に用いる特徴値を算出することを特徴とする請求項１乃至５の何れか一項に記載の画像処理装置。
【請求項７】
前記特徴値が、自発蛍光のシグナル強度であることを特徴とする請求項１乃至５の何れか一項に記載の画像処理装置。
【請求項８】
前記特徴値が、ＩＳ／ＯＳ、ＲＰＥ、ＧＣＣを含む網膜より検出される各々の層の厚み、及び網膜の病変に基づいて得られる値であることを特徴とする請求項１乃至５の何れか一項に記載の画像処理装置。
【請求項９】
前記第一の画像から各視細胞に対応する領域を解析する視細胞解析手段と、
前記第二の画像から、前記第二の画像の領域における各位置での前記特徴値を解析する眼底解析手段と、
前記第一の画像と前記第二の画像とを対応付ける画像対応付け手段と、
を備えることを特徴とする請求項１乃至８の何れか一項に記載の画像処理装置。
【請求項１０】
前記画像対応付け手段は、前記第一の画像と前記第二の画像との対応付けとして各々の位置合わせを行うことを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
眼部の眼底の視細胞を含む第一の画像のうち所定の領域に対応する該眼部の眼底の第二の画像の領域における特徴値を算出する工程と、
前記特徴値を可視化した画像を表示手段に表示させる工程と、
を含むことを特徴とする画像処理方法。
【請求項１２】
前記特徴値は、前記眼底の脈絡膜の厚さであり、
前記表示させる工程では、前記所定の領域における前記視細胞ごとに前記脈絡膜の厚さを可視化した画像を前記表示手段に表示させることを特徴とする請求項１１に記載の画像処理方法。
【請求項１３】
前記表示させる工程では、前記所定の領域における前記視細胞の密度と、前記特徴値とを対応付けて可視化した画像を前記表示手段に表示させることを特徴とする請求項１１に記載の画像処理方法。
【請求項１４】
請求項１１乃至１３の何れか一項に記載の画像処理方法の各工程をコンピュータに実行させるためのプログラム。
【請求項１５】
眼底の視細胞の画像を処理する画像処理装置であって、
前記眼底の断層画像を解析して脈絡層を解析する解析手段と、
前記断層画像の解析結果に基づいて、前記画像のうち前記視細胞に対応する領域毎に前記脈絡層の厚さを算出する算出手段と、
前記視細胞に対応する領域毎に算出された前記層の厚さを可視化した画像を表示手段に表示させる表示制御手段と、
を備えることを特徴とする画像処理装置。
【請求項１６】
前記算出手段は、前記画像のうちの所定の領域の前記視細胞の体積を算出し、
前記表示制御手段は、前記体積と前記層の厚さとを対応付けて可視化した画像を前記表示手段に表示させることを特徴とする請求項１５に記載の画像処理装置。
【請求項１７】
前記算出手段は、前記画像のうちの所定の領域の前記視細胞の密度を算出し、
前記表示制御手段は、前記密度と前記層の厚さとを対応付けて可視化した画像を前記表示手段に表示させることを特徴とする請求項１５に記載の画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１３−６６７０２（Ｐ２０１３−６６７０２Ａ）
【公開日】平成２５年４月１８日（２０１３．４．１８）
【国際特許分類】
【出願番号】特願２０１２−１９０５６５（Ｐ２０１２−１９０５６５）
【出願日】平成２４年８月３０日（２０１２．８．３０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【公開日】平成２５年４月１８日（２０１３．４．１８）
【国際特許分類】
【出願日】平成２４年８月３０日（２０１２．８．３０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
[ Back to top ]