説明

画像解析システム、及び画像解析プログラム

【課題】曲線的に変化する凹凸を有する撮影対象に含まれるノイズ領域を特定し、深さ情報を補正し、高精度の深さマップを作成可能とすることが可能な画像解析システムの提供を課題とするものである。
【解決手段】画像解析システム1を構成する画像解析コンピュータ2は、プロファイル曲線算出手段21と、深さマップ作成手段22と、中心点決定手段23と、輪郭部特定手段25と、ノイズ領域特定手段28と、ノイズ領域消去手段29と、スプライン曲線算出手段27を有する曲線補正手段30と、除去深さ情報算出手段32と、補正マップ出力手段33とを具備し、深さ曲線8aに基づいて深さ情報13を補正し、正確な深さマップを作成し、これを表示することができる。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像解析システム、及び画像解析プログラムに関するものであり、特に、緑内障等の眼科系疾患の診断に有用な情報を医師等に提供可能な画像解析システム、及び画像解析プログラムに関するものである。
【背景技術】
【0002】
従来から、眼球に対して外部から光を照射し、眼球を通して眼底の状態を観察することが行われている。また、その眼底の状態をカメラ等の光学機器を利用して撮像した眼底写真を医療記録として残すことも行われている。この眼底写真を詳細に検討することによって、種々の疾患の診断を医師は下すことができる。ここで、眼底の観察は、被験者(患者)に対して肉体的な負担を強いることがなく、また、比較的簡易な構成の装置によって得ることができるため、医療機関においてごく一般的に行われている検査手法の一つである。
【0003】
さらに、眼底写真によって撮影される血管は、眼球の奥に位置する脳の脳血管の一部が直接分岐したものであり、身体の外部から脳内の状態を直接観察することができる唯一の手法であり、非常に有益な情報を医師等に対して提供することができる。加えて、この眼底写真は、緑内障等の眼科系の疾患の診断以外にも糖尿病等の生活習慣病の診断にも利用すること行われている。
【0004】
ここで、健康な被験者の眼底写真では、眼底全体が黄赤褐色を呈し、被験者の視線の約15度外方向(耳側方向)の位置に、1.2mm〜1.7mmの円形または卵円形で視神経乳頭部(Optic nerve head)が観察される。この視神経乳頭部は、解剖学的には、視神経円板(Optic disc)と呼ばれることもあり、眼底部分と視神経乳頭部との境界は、鼻側よりも耳側が明瞭に観察されることが一般的である。そして、視神経乳頭部の中央付近には、円形状を呈する視神経乳頭陥凹部または生理的陥凹部(Physiologic cup)と呼ばれる領域が観察される。
【0005】
眼底写真を利用して緑内障の診断をする場合、診断のための判断基準の一つとして、前述した視神経乳頭部及び視神経乳頭陥凹部(陥凹部)の径の比、すなわち、略円形状の視神経乳頭部(D:Disc)に対する視神経乳頭陥凹部(C:Cup)の径比(以下、「C/D比」と称す)の値が求められる。C/D比の中でもとりわけ垂直方向のC/D比(垂直C/D比)が緑内障性変化有無の判定により有用であるとされ、一つの基準としては、垂直C/D比が0.7以上の場合や左右の眼底におけるそれぞれの垂直C/D比の差が0.2以上ある場合は、緑内障が疑われる。なお、緑内障の診断は、該C/D比の値のみでなされるものではなく、その他の検査や医師の所見等によって複合的に行われるものであり、C/D比の値はその診断のための有益な情報の一つであり、この値のみで緑内障が直裁されるわけではない。
【0006】
ここで、眼底の構造について、さらに詳細に説明すると、眼球の一部である眼底は、三次元の曲面(球面)で立体的に構成されている。しかしながら、上述の眼底写真は、実際には三次元の構造であっても、それを二次元的(平面的)に変換して構成されるものである。そのため、眼底写真を利用して、種々の疾患等の診断を行う場合には、二次元化された眼底写真を頭の中で三次元的なものにイメージし、それに基づいて視神経乳頭陥凹の肥大等を判断することがあった。したがって、診断経験に乏しい眼科医等は正確な診断を下せない可能性があった。そこで、三次元的な情報を付加し、C/D比の精度を高くして、正確な診断を可能とするための試みが行われている。
【0007】
例えば、撮影された眼底画像に含まれる血管領域を抽出し、血管領域が除去されたデータ欠落部をその周囲のデータに基づいて補間し、これを利用して眼底の深さ情報を得るものが知られている。
【0008】
【特許文献1】特開平04−276232号公報
【発明の開示】
【発明が解決しようとする課題】
【0009】
しかしながら、上記に示した眼底画像に対する画像処理方法では、下記に掲げるような問題を生じることがあった。すなわち、上述した眼底画像には、複数の血管(血管部)が複雑に走行しており、当該血管部の認識及びその除去が比較的困難であった。さらに、血管部が凝集していることは、補間のために用いられる周囲のデータとの間の距離が離れすぎているため、補間によって得られた眼底の立体情報の精度が著しく低下することがあった。加えて、眼底画像の中には、眼底を走行する血管領域以外にも、深さ情報の正確な取得を阻害するノイズ(撮影ノイズ等)が含まれていることがあり、これらの画像処理方法では血管以外のノイズの占める領域を補間することができなかった。
【0010】
そこで、本発明は、上記実情に鑑み、曲線的に変化する凹凸を有する撮影対象に含まれるノイズ領域を特定し、深さ情報を補正し、高精度の深さマップを作成可能とすることを課題とし、特に、眼底画像の視神経乳頭陥凹領域に含まれる血管領域及び血管以外のノイズを特定し、補正によって正確な深さマップを作成することが可能な画像解析システム、及び画像解析プログラムの提供を課題とするものである。
【課題を解決するための手段】
【0011】
上記の課題を解決するため、本発明の画像解析システムは、「画像解析コンピュータを利用し、曲線的に変化する凹形状または凸形状の対象物の画像データから算出された深さ情報を補正する画像解析システムであって、前記画像解析コンピュータは、前記画像データから前記深さ情報を取得する情報データ取得手段と、取得した前記深さ情報に基づいて、前記対象物の深さを一次元的な分布で表現した深さプロファイル曲線を算出するプロファイル曲線算出手段と、前記画像データまたは前記深さ情報の少なくともいずれか一方に基づいて、前記対象物の中心点を決定する中心点決定手段と、前記対象物の輪郭部を特定する輪郭部特定手段と、特定された前記輪郭部の位置に相当する前記深さプロファイル曲線の曲線上の点を起点とし、前記起点から前記中心点に向かう前記深さプロファイル曲線の深さ方向の勾配変化に基づいて前記深さプロファイル曲線のノイズ領域を特定するノイズ領域特定手段と、特定された前記ノイズ領域に対応する前記深さプロファイル曲線を周囲の前記深さプロファイル曲線の変化に基づいて補正する曲線補正手段と、補正された前記深さプロファイル曲線に基づいて、前記深さ情報を補正する深さ情報補正手段と」を主に具備して構成されている。
【0012】
ここで、画像データとは、曲線的に変化する凹形状または凸形状の対象物、例えば、航空写真として山地の地形を上空から撮影した地形図、或いは略球形状を呈する眼球の一部を構成し、眼底を撮影した眼底画像を電子データとして取得したものであり、深さ情報とは、当該眼底の湾曲状態を数値として表示可能なものである。画像データから取得される深さ情報には、三次元の位置情報が付与されている。そして、この深さ情報によって、眼底を三次元的に表示する三次元眼底画像を構築することができるものである。
【0013】
眼底画像等の画像データから深さ情報を取得するものとしては、周知の技法を用いることが可能であり、例えば、立体撮影可能なステレオ眼底カメラ等の撮影機器を利用して撮影し、これに基づいて深さ情報を含んだ画像データを得るものや、或いは眼底を撮影する撮影位置をずらしてそれぞれ撮影した二次元的に表示される二枚の眼底画像から視差を求め、これに基づいて眼球の立体構造を構築し、三次元眼底画像として取得するものが例示される。
【0014】
情報データ取得手段とは、画像解析コンピュータに内蔵された記憶手段(ハードディスクドライブ等)に予め格納された上記画像データをキーボード等の操作によって適宜読込むもの、或いはCD−R等の記憶媒体に記憶された該画像データを読み込むもの、或いは通信ネットワークを介して係る画像データを取得するものなどを挙げることができる。すなわち、画像解析コンピュータで解析可能な形式で保存されたデータを適宜読込み可能とするものであればよい。さらに、上述のステレオ眼底カメラと本発明の画像解析システムとを結合し、撮影された深さ情報を含む画像データをそのまま解析処理に用いることも可能である。
【0015】
プロファイル曲線算出手段とは、取得した画像データに含まれる深さ情報に基づいて、対象物の深さを一次元的な分布で表示可能な深さプロファイル曲線を算出するものである。例えば、対象物が眼底の場合、眼底の略中心点(視神経乳頭陥凹領域に相当)を通過する仮想成分(ほぼ、視神経乳頭領域の直径に相当)を想定し、これを横軸に配し、眼底の深さに相当する値を縦軸に順次プロットする。その結果、眼底の深さ方向に対する曲線的な変化を深さプロファイル曲線によって示すことが可能となる。
【0016】
中心点決定手段とは、画像データ及び/または深さ情報(画像データまたは深さ情報の少なくともいずれか一方)に基づいて、対象物の中心点を決定するものであり、該画像データ及び/または深さ情報から直接決定するものであっても、或いは、画像データ及び/または深さ情報に基づいて深さプロファイル曲線を導出し、その後に深さプロファイル曲線を利用して決定するものであってもよい。換言すれば、画像データ及び/または深さ情報から間接的に導き出すものであってもよい。
【0017】
輪郭部特定手段とは、取得した画像データから、画素値の違いを利用して、基準位置(深さプロファイル曲線における起点)を特定するものである。例えば、対象物が眼底の場合、眼底領域とそれ以外の部分とはその明暗が著しく異なることがあり、比較的暗色で表示される眼底領域と、乳白色等の明色で表示される視神経乳頭領域等との境界部分を輪郭部として特定することができる。
【0018】
ノイズ領域特定手段とは、特定された輪郭部に相当する深さプロファイル曲線の曲線上の点を起点とし、当該起点から先に決定された中心点に向かう深さ方向の勾配変化に基づいてノイズ領域を特定するものである。すなわち、対象物が眼底のような場合、該眼底は眼底中心に向かって理論的には滑らかな曲線によって変化されるものである。そのため、これらの曲線変化において、その変化率が著しく変化する場合、本来の眼底の形状を示すものではない、所謂ノイズが含まれていると想定することが陥凹である。そのため、それらの曲線変化率が大きく変化する箇所を認識し、当該箇所(領域)をノイズ領域として特定する。
【0019】
したがって、本発明の画像解析システムによれば、深さ情報に基づいて対象物の深さプロファイル曲線を求め、さらに特定された輪郭部に相当する深さプロファイル曲線の位置から、決定された中心点に向かう深さ方向の勾配変化を検出する。そして、係る深さ勾配の変化が著しく変化する範囲をノイズ領域として特定し、特定されたノイズ領域に対応する深さプロファイル曲線を周囲の深さプロファイル曲線の変化に基づいて補正し、さらに、該深さプロファイル曲線に基づいて、深さ情報を補正し、その結果を深さ情報に反映させて表示することが行われる。これにより、対象物を眼底とした場合、当該眼底に含まれる血管やその他のノイズについての領域が、上記ノイズ領域として特定され、係る部分を消去した状態で深さ情報が構築される。その結果、精度の高い三次元画像情報を得ることが可能となる。これにより、対象物が凹形状に湾曲した曲面から構成される視神経乳頭領域の場合、緑内障の診断に特に有益な診断手法とすることが可能となる。ここで、曲線の中には一次曲線、すなわち、“直線”を含んでいる。
【0020】
さらに、本発明の画像解析システムは、上記構成に加え、「前記画像解析コンピュータは、特定された前記ノイズ領域を前記深さプロファイル曲線から消去するノイズ領域消去手段をさらに具備し、前記曲線補正手段は、前記ノイズ領域の消去された後に残存する前記深さプロファイル曲線の変化率に略一致する補正プロファイル曲線を算出し、前記深さ情報補正手段は、算出された前記補正プロファイル曲線に基づいて、前記深さ情報を補正すること」ものであっても構わない。
【0021】
ここで、ノイズ領域消去手段とは、特定されたノイズ領域の端から端までに相当する深さプロファイル曲線の位置、すなわち、上述した仮想線分上でノイズ領域が示す範囲(ノイズプロファイル曲線)を特定し、当該範囲の曲線を深さプロファイル曲線から消去するものである。これにより、一本の深さプロファイル曲線として一次元的に表現される深さプロファイル曲線は、複数本、少なくとも二本以上に分断されることとなる。
【0022】
さらに、本発明における曲線補正手段とは、複数本に分断され、残存する深さプロファイル曲線に基づいて、消去されたノイズ領域プロファイル曲線の箇所を補正する補正プロファイル曲線を算出するものである。係る曲線の算出は、例えば、分断された互いに隣り合う深さプロファイル曲線の端部同士を連結する曲線を算出するものである。このとき、補正プロファイル曲線は、接続する二つの深さプロファイル曲線の変化率に基づいて、端部同士が滑らかな曲線で接続されるようなものが算出される。これにより、補正プロファイル曲線によって分断された深さプロファイル曲線が滑らかな曲線によって再び一次元的に表現されることとなる。その結果に基づいて、撮影対象の深さ情報の補正が行われる。これにより、起点から中心点に向かう深さの勾配変化が滑らかなものとなる。そして、算出された補正プロファイル曲線を利用して深さ情報が深さ情報手段によって補正される。曲線補正手段による補正プロファイル曲線の補正とは、特異領域部分の補正プロフィル曲線を修正することにより補正しても良いし、特異領域部分の補正プロファイル曲線を削除し、その間を補間することにより補正する何れの方法であっても良い。
【0023】
さらに、本発明の画像解析システムは、上記構成に加え、「取得した前記画像データまたは前記深さ情報の少なくともいずれか一方に基づいて、前記対象物の深さの分布の表示に用いる深さマップを作成する深さマップ作成手段と、前記深さ情報補正手段によって得られた情報に基づいて前記深さマップを補正する深さマップ補正手段と、前記深さマップ補正手段によって補正された前記深さマップを表示する深さマップ表示手段と」を具備するものであっても構わない。また、「前記深さ情報補正手段は、深さ情報に代えて、深さマップを補正する」ものであっても構わない。
【0024】
深さマップ作成手段とは、取得した画像データまたはこれに対応する深さ情報に基づいて、対象物(例えば、眼底等)における深さの分布を視覚的に認識することが可能なように表示(表現)したものである。さらに、具体的に説明すると、例えば、視神経乳頭領域が撮影された眼底画像において、最も深い位置に存在する視神経乳頭陥凹領域を濃色(例えば、黒色)で表現し、その周囲を徐々に段階的に淡色(例えば、白色)に変化させて表現するものが例示される。その結果、黒色で表現された視神経乳頭陥凹領域の周囲に濃色がやや薄れた薄暮色(グレー色)の視神経乳頭領域、さらにその周囲に淡色(白色)で表現された眼底領域等のように所謂「グレースケール」で段階的に表現されることとなる。なお、深さマップの表現手法は、先に述べたグレースケールのように単一色の濃淡によって分布を表現するものに限定されるものではなく、複数色を利用し、例えば、寒色系の色(青、緑、紫等)で深い部分を表現し、暖色系(赤、黄、橙等)で浅い部分を表現するものなど、観察者に深さに係る分布が明確に示されるものであれば構わない。
【0025】
したがって、本発明の画像解析システムによれば、深さマップの補正が、深さ情報補正手段によって得られた情報に基づいて行われ、これによって得られた深さマップが表示される。この深さマップ表示手段は、深さの分布を一〜三次元的に表示するものである。ここで、深さプロファイル曲線の導出は、画像データ及び深さ情報から直接決定するものであっても、或いは、画像データ及び深さ情報に基づいて深さマップ及び/又は深さプロファイル曲線を導出し、その後に係る深さマップ及び/又は深さプロファイル曲線を利用して導出するものであってもよい。換言すれば、画像データ及び/または深さ情報から間接的に導き出すものであってもよい。
【0026】
さらに、本発明の画像解析システムは、上記構成に加え、「前記ノイズ領域特定手段は、前記起点から前記中心点に向かう前記深さプロファイル曲線の深さ方向の勾配変化が予め設定した変化率よりも大、及び、前記勾配変化が逆方向に変化する少なくともいずれか一方の前記深さプロファイル曲線上のノイズプロファイル曲線に対応する箇所を前記ノイズ領域として特定する」ものであっても構わない。
【0027】
したがって、本発明の画像解析システムによれば、ノイズ領域の特定が、深さ方向に対する勾配変化が予め設定した変化率よりも大きくなった、或いは深さ方向の変化が逆方向に変化した場合に当該ノイズ領域として特定される。係る箇所は、深さ情報を取得する際の処理において発生したノイズ等が想定される。
【0028】
さらに、本発明の画像解析システムは、上記構成に加え、「前記曲線補正手段は、スプライン曲線を前記補正プロファイル曲線として算出するスプライン曲線算出手段を」具備するものであっても構わない。
【0029】
したがって、本発明の画像解析システムによれば、補正プロファイル曲線がスプライン曲線として算出される。ここで、スプライン曲線は、二点(深さプロファイル曲線の端部に相当)を結ぶ曲線的に変化するものであり、該スプライン曲線を求める手法について既に周知のものである。そのため、補正プロファイル曲線として形成されるスプライン曲線は、その前後の深さプロファイル曲線の曲線変化率に略近似させることが可能となる。その結果、例えば、対象物を眼底とした場合、眼底の曲線変化率にほぼ合致するような補正プロファイル曲線で補正を行うことが可能となり、得られる深さ情報の精度が向上することとなる。
【0030】
さらに、本発明の画像解析システムは、上記構成に加え、「前記画像データは、眼底画像撮影装置を用い、視神経乳頭陥凹領域を撮影対象として取得された眼底画像が利用される」ものであっても構わない。さらに、「前記ノイズ領域消去手段は、眼底の視神経乳頭陥凹領域を走行する複数の血管領域、前記眼底の撮影の際に生じる撮影ノイズ、及び前記深さ情報を取得するための深さ情報処理の際に生じる処理ノイズを前記ノイズ領域として特定し、消去する」ものであっても構わない。
【0031】
したがって、本発明の画像解析システムによれば、撮影対象(対象物に相当)として眼底の一部である視神経乳頭陥凹領域が選択され、眼底画像の当該領域に対する深さ情報を補正し、その精度を高めることが可能となる。その結果、眼底の視神経乳頭陥凹領域を走行する複数の血管によって深さ情報に誤差が生じることがなく、補正後の深さ情報及び深さマップを利用することにより、眼底の視神経乳頭陥凹領域の三次元化画像を精度よく構築することが可能となる。これにより、緑内障等の診断に利用可能なC/D比の算出精度が向上し、医師等による診断の際の有益な情報を提供することが可能となる。
【0032】
一方、本発明の画像解析プログラムは、「曲線的に変化する凹形状または凸形状の対象物の画像データから算出された深さ情報を取得する情報データ取得手段、取得した前記深さ情報に基づいて、前記対象物の深さを一次元的な分布で表現した深さプロファイル曲線を算出するプロファイル曲線算出手段、前記画像データまたは前記深さ情報の少なくともいずれか一方に基づいて、前記対象物の中心点を決定する中心点決定手段、前記対象物の輪郭部を特定する輪郭部特定手段、特定された前記輪郭部の位置に相当する前記深さプロファイル曲線の曲線上の点を起点とし、前記起点から前記中心点に向かう前記深さプロファイル曲線の深さ方向の勾配変化に基づいて前記深さプロファイル曲線のノイズ領域を特定するノイズ領域特定手段、特定された前記ノイズ領域に対応する前記深さプロファイル曲線を周囲の前記深さプロファイル曲線の変化に基づいて補正する曲線補正手段、並びに補正された前記深さプロファイル曲線に基づいて、前記深さ情報を補正する深さ情報補正手段として、画像解析コンピュータを機能させる」もの、「特定された前記ノイズ領域を前記深さプロファイル曲線から消去するノイズ領域消去手段、前記ノイズ領域の消去された後に残存する前記深さプロファイル曲線の変化率に略一致する補正プロファイル曲線を算出する前記曲線補正手段、並びに算出された前記補正プロファイル曲線に基づいて、前記深さ情報を補正する前記深さ情報補正手段として、前記画像解析コンピュータをさらに機能させる」もの、或いは「取得した前記画像データまたは前記深さ情報の少なくともいずれか一方に基づいて、前記対象物の深さの分布の表示に用いる深さマップを作成する深さマップ作成手段、前記深さ情報補正手段によって得られた情報に基づいて前記深さマップを補正する深さマップ補正手段、並びに前記深さマップ補正手段によって補正された前記深さマップを表示する深さマップ表示手段として、前記画像解析コンピュータをさらに機能させる」ものであっても構わない。さらに、本発明の画像解析プログラムは、「前記深さ情報補正手段は、深さ情報に代えて、深さマップを補正する」もの、或いは「前記画像データは、眼底画像撮影装置を用い、視神経乳頭陥凹領域を撮影対象として取得された眼底画像が利用される」ものであっても構わない。
【0033】
したがって、本発明の画像解析プログラムを実行することにより、画像解析コンピュータに上述した優れた作用効果を奏させることが可能となる。
【発明の効果】
【0034】
本発明の効果として、深さ情報を含む画像データから一次元的な深さプロファイル曲線を算出し、眼底等が深さプロファイル曲線上の起点から中心点に向かう深さ方向の勾配変化が滑らかなものであることを仮定することにより、ノイズ領域を特定し、該ノイズ領域を消去して補正した精度の高い深さマップを作成し、これを表示することができる。その結果、これらの画像データを利用した眼底等の診断を行う場合、信頼性の高い有益な情報を提供することができる。
【発明を実施するための最良の形態】
【0035】
以下、本発明の一実施形態である画像解析システム1、及び画像解析プログラムについて、図1乃至図8に基づいて説明する。ここで、図1は本実施形態の画像解析システム1における画像解析コンピュータ2の機能的構成を示すブロック図であり、図2は視神経乳頭領域3及び視神経乳頭陥凹領域4を含む眼底5を撮影した眼底画像データ6の一例を示す眼底写真であり、図3(a)は抽出領域7の断面を示す模式図、(b)抽出領域7の深さプロファイル曲線8aの一例を示す曲線図、及び(c)抽出領域7の深さマップ9aの一例を示すマップ図であり、図4は(a)抽出領域7の断面を示す模式図、(b)特定されたノイズプロファイル曲線11の一例を示す曲線図、及び(c)ノイズ領域10の除去された深さマップ9bの一例を示すマップ図であり、図5は(a)ノイズプロファイル曲線11の除去された深さプロファイル曲線8bの一例を示す曲線図、(b)補正プロファイル曲線12によって接続された深さプロファイル曲線8cの一例を示す曲線図、及び(c)補正された深さマップ9cの一例を示すマップ図であり、図6及び図7は深さマップ9aの補正に係る画像解析コンピュータ2の処理の流れを示すフローチャートであり、図8は(a)深さプロファイル曲線8aの補正の別例を示す曲線図、(b)補正された深さファイル曲線8dを示す曲線図である。ここで、以降の本明細書中においては、深さプロファイル曲線8a,8b,8c,8dは、「深さ曲線8a,8b,8c,8d」、ノイズプロファイル曲線11は、「ノイズ曲線11」、及び補正プロファイル曲線12は、「補正曲線12」とそれぞれ称するものとする。
【0036】
本実施形態の画像解析システム1は、図1乃至図7に示されるように、撮影された視神経乳頭領域3及び視神経乳頭陥凹領域4を含む眼底5を撮影対象(本発明における対象物に相当)とするものである。そして、取得された眼底画像データ6に含まれる深さ情報13及びこれに基づいて作成される深さマップ9a,9b、深さ曲線8aにおいて、眼底領域14と視神経乳頭領域3との境界に相当する輪郭部15から、視神経乳頭陥凹領域4の最深部(後述する中心点Cに相当)に至るまでの変化が、滑らかな凹上の曲線によって示されるものとして仮定し、これに基づいて深さ情報13及び深さマップ9aの補正を行うものである。これにより、視神経乳頭陥凹領域4の輪郭を示すカップラインを精度良く決定し、視神経乳頭陥凹領域4/視神経乳頭領域3の比(C/D比)の正確な値を眼科医等に提供し、緑内障等の眼科系疾患の診断を支援することが可能な画像解析コンピュータ2によって主に構成されている。
【0037】
ここで、画像解析コンピュータ2は、汎用のパーソナルコンピュータを利用することが可能であり、眼底5を撮影し、三次元化して表示するための深さ情報13を含む眼底画像データ6を取得可能なステレオ眼底カメラ16と、取得した眼底画像データ6に対する各種処理の結果及び解析結果を表示するための表示手段としての液晶ディスプレイ17と、画像解析コンピュータ2に対して各種指令及びデータ等の入力を受付けるキーボード及びマウス等(図示しない)からなる操作入力機器18とそれぞれ接続されている。なお、ステレオ眼底カメラ16等によって取得または作成した各種データ及び情報等は、画像解析コンピュータ2に内蔵されているデータ記憶手段19に記憶されている。なお、これらのデータ等を画像解析コンピュータ2と接続された外部記憶装置(例えば、HDD等:図示しない)等に記憶したものを随時読込んだり、或いはネットワーク接続されたデータサーバ(図示しない)に蓄積し、これをLANやインターネットを通じて読込んで取得するものであっても構わない。
【0038】
次に、画像解析コンピュータ2の機能的構成について説明すると、図1に主として示すように、ステレオ眼底カメラ16によって撮影され、深さ情報13を含む眼底画像データ6が記憶されたデータ記憶手段19と、記憶された眼底画像データ6をデータ記憶手段19から読込み、眼底画像データ6及び眼底画像データ6の撮影対象となる眼底5の深さに関する深さ情報13を取得する情報データ取得手段20と、取得した深さ情報13に基づいて、眼底5の深さを一次元的な分布で表現した深さ曲線8aを算出するプロファイル曲線算出手段21と、取得した眼底画像データ6及び深さ情報13に基づいて、視神経乳頭領域3の深さ分布の表示に用いる深さマップ9aを作成する深さマップ作成手段22と、算出された深さ曲線8a及び作成された深さマップ9aから、眼底5の中心点Cを決定する中心点決定手段23と、視神経乳頭領域3の輪郭部15を画素値の違いを利用して特定する輪郭部特定手段25と、特定された輪郭部15の中の深さ曲線8aの曲線上の点を起点S1,S2とし、該起点S1,S2から決定された中心点Cに向かう深さ曲線8aの深さ方向の勾配変化が予め設定した変化率よりも大、または勾配変化が逆方向に変化する深さ曲線8a上の範囲をノイズ曲線11として決定し、当該ノイズ曲線11に対応するノイズ領域10を特定するノイズ領域特定手段28と、特定されたノイズ曲線11を深さ曲線8aから消去し、さらに特定されたノイズ領域10を深さマップ9aから消去するノイズ領域消去手段29と、ノイズ曲線11の消去された跡に残存する少なくとも二本以上の複数本に分断された深さ曲線8bの変化率に略一致するスプライン曲線として表される補正曲線12を算出するスプライン曲線算出手段27を有する曲線補正手段30と、算出された補正曲線12に基づいて分断された深さ曲線8bを接続して補正し、ノイズ領域10が除去された深さマップ8bの消去領域26の深さ情報13を補正された深さ曲線8c及び当該消去領域26の周囲の深さマップ8bにおける深さ情報13に基づいて推定し、除去深さ情報31として算出する除去深さ情報算出手段32と、算出された除去深さ情報31に基づいて、深さマップ8bを補正し、消去領域26が補正された深さマップ8cを作成し、これを出力する補正マップ出力手段33とを具備して主に構成されている。ここで、眼底画像データ6に含まれるノイズ領域10は、主に眼底5に沿って複数走行する血管領域、或いは例えばステレオ眼底カメラ16を利用して二次元の眼底画像から三次元化して表示するための深さ情報13等を取得する際に発生した画像処理におけるノイズ等が想定される。ここで、本実施形態の眼底画像データ6が本発明の画像データに相当する。
【0039】
また、画像解析コンピュータ2のその他構成として、取得した眼底画像データ6及び算出した深さ曲線8a等、深さマップ9a等を視覚を通じて認識可能なように上記液晶ディスプレイ17の表示手段に表示するための信号制御を行う表示制御手段34、及び画像解析コンピュータ2に対し、データ等の入力を行ったり、解析処理に係る指示を入力するために操作される操作入力機器18から送出される信号を受け付ける操作制御手段35を有している。また、視神経乳頭陥凹領域4を含んで抽出した抽出領域7に係る抽出領域データ36及び特定されたノイズ領域10に係るノイズ領域データ37は、データ記憶手段19に記憶されている。また、プロファイル曲線算出手段21によって算出された深さ曲線8a等に係る深さ曲線データ38、ノイズ領域特定手段28によって特定されたノイズ曲線11に係るノイズ曲線データ39、及び曲線補正手段30によって算出された補正曲線12に係る補正曲線データ40は、データ記憶手段19の中のプロファイルデータ41にまとめて格納し、記憶されている。さらに、作成され、補正された深さマップ9a等に係るマップデータ42も当該データ記憶手段19に記憶されている。さらに、決定された中心点Cに係る中心点データ24a及び特定された輪郭部15に係る輪郭部データ24b、推定された除去深さ情報31、補正後の補正マップデータ45もデータ記憶手段19に記憶される。なお、データ等は、下記に示す図6及び図7のフローチャートのそれぞれのステップにおいて適宜記憶されるものであり、説明を簡略するために、特に断りのない限り、これらに関する記憶・保存処理についての記載を省略する。また、図3乃至図5に示した各処理における途中経過については、表示制御手段34等を通じて適宜表示可能としている。
【0040】
次に、本実施形態の画像解析システム1における画像解析コンピュータ2の処理の流れについて、特に、図6及び図7のフローチャートに基づいて説明する。ここで、画像解析コンピュータ2は、眼底5を立体的に表示可能な深さ情報13を含む眼底画像データ6が既に周知の技術によって取得され、データ記憶手段19に予め記憶するものとする。ここで、図6及び図7のステップS1乃至ステップS18が本発明の画像解析プログラムに相当する。
【0041】
始めに、画像解析コンピュータ2は、解析処理を行う眼底画像データ6を前述したデータ記憶手段19から読出し、これを取得する(ステップS1、図2参照)。そして、読出した眼底画像データ6から、眼底画像を構成する各画素の画素値の違いを利用して視神経乳頭部に相当する視神経乳頭領域3及びその内側に存在する視神経乳頭陥凹部に相当する視神経乳頭陥凹領域4を抽出する(ステップS2)。ここで、視神経乳頭領域3及び視神経乳頭陥凹領域4を含む抽出領域7の抽出処理は、周知の画像処理技術を使用することによって行われるためその詳細については説明を省略し、また本実施形態の情報データ取得手段20に当該抽出機能が含まれているものとする。
【0042】
そして、抽出された視神経乳頭領域3及び視神経乳頭陥凹領域4を含む抽出領域7について、眼底画像データ6の深さ情報13に基づいて、眼底5の深さを一次元的な分布で表現した深さ曲線8aを算出する(ステップS3:図3(b)参照))。
【0043】
ここで、深さ曲線8aの算出について詳述すると、ほぼ視神経乳頭領域3の直径に相当する仮想線分L(図2参照)を横軸に配し、当該仮想線分L上の各点の深さの値を縦軸にプロットする。そして、このプロットされた複数の点を結ぶことにより、曲線的に変化する深さ曲線8aが算出される。ここで、図3(a)は当該抽出領域7を側方から見た模式断面図である。
【0044】
さらに、取得した眼底画像データ6及びこれに含まれる深さ情報13に基づいて、眼底5における深さの分布の表示に用いる深さマップ9aを作成する(ステップS4:図3(c)参照)。ここで、深さマップ9aは、深さの分布を色の濃淡或いは複数の異なる色等によって視覚的に表示するものである。なお、本実施形態では、図3(c)に示すように、眼底5において深い部分を濃色系の色で表現し、一方、浅い部分を淡色系の色で表現し、その中間を濃色から淡色へ段階的に変化するように表現したものを例示している。
【0045】
そして、作成された深さマップ9a及び深さ情報13に基づいて、抽出された抽出領域7の中心点Cの決定を行う(ステップS5)。ここで、中心点Cは作成された深さマップ9aにおいて最も濃色で表現されている一点を決定するものである。視神経乳頭領域3は、凹状に湾曲する曲面から構成されるものであり、さらに、上述の視神経乳頭陥凹領域4は、当該眼底5の最深部に存するものである。そのため、決定された中心点Cは視神経乳頭陥凹領域4内に存在していることになる。なお、中心点Cは、上記深さ情報13のみに基づいて行うものではなく、作成された深さ曲線8aにおいて最も深さの値が小さい点に係る情報を統合的に勘案して決定するものであってもよい。
【0046】
さらに、視神経乳頭領域3の輪郭部15を特定する(ステップS6)。そして、特定された輪郭部15に含まれる深さ曲線8a上の点を起点S1,S2と設定する(図4(b)参照)。
【0047】
そして、この起点S1,S2から決定した中心点Cに向かう深さ曲線8aの深さ方向の勾配変化(図4(b)の矢印参照)を検出する(ステップS7)。ここで、視神経乳頭領域3は凹状に湾曲して形成されているため、抽出領域7における勾配変化も起点S1,S2から中心点Cに向かって、通常は斜め下方に向かって滑らかな曲線状に変化するはずである。しかしながら、眼底5を走行する血管等の血管領域43や深さ情報13の取得時に発生したノイズに起因する部位44によって深さ曲線8aが上述のように滑らかに変化しない箇所が存在する可能性がある(図3(c))。そこで、上記のように勾配変化の検出を行う。
【0048】
ここで、起点S1,S2から中心点Cに向かう深さ曲線8aの勾配変化が予め設定した基準となる変化率よりも大、または、勾配変化が逆方向(図3(b)における勾配変化点E1,E2参照)に変化する場合(ステップS8においてYES)、該当する勾配変化が開始する変化始点T1及び勾配変化が再び元の変化率に戻る変化終点T2の深さ曲線8a上の範囲をノイズ曲線11として特定する(ステップS9:図4(b)参照))。そして、特定されたノイズ曲線11に対応する深さマップ9a上の領域がノイズ領域10とされ、深さ曲線8aからノイズ曲線11が消去され(図5(a)参照)、深さマップ9aからノイズ領域10を消去する(ステップS10:図4(c)参照)。一方、急激な勾配変化等が確認されない場合(ステップS8においてNO)、ステップS9及びステップS10に係る処理がキャンセルされる。
【0049】
その後、起点S1,S2から開始された勾配変化の検出が中心点Cまで完了したか否かを判定し(ステップS11)、中心点Cに到達するまでの検出が完了していない場合(ステップS11においてNO)、ステップS7の処理に戻り、深さ曲線8aにおける勾配変化の検出を継続する。
【0050】
一方、中心点Cまでの勾配変化の検出が完了した場合(ステップS11においてYES)、ノイズ曲線11が消去され、複数に分断された深さ曲線8b(図5(a)参照)のそれぞれの端P1,P1’及びP2,P2’同士を連結し、かつ残存する深さ曲線8bの曲線変化に略一致する補正曲線12の算出を行う(ステップS12)。ここで、算出する補正曲線12は、一方の深さ曲線8bの一端P1(またはP2)と、他方の深さ曲線8bの他端P1’(またはP2’)とを通過する曲線を周知のスプライン曲線を求めることによって算出される。そして、算出した補正曲線12によって、分断された深さ曲線8bを互いに連結する(ステップS13:図5(b)参照)。その結果、深さ曲線8bの曲線の変化率に応じて変化する滑らかな補正曲線12によって、再び一本の曲線で示される深さ曲線8cが求められる。これにより、深さ曲線8aの補正が行われ、中心点Cに向かって勾配変化が著しく異なる曲線(ノイズ曲線11)が除去され、凹状に曲線的に変化する視神経乳頭領域3について示される深さ曲線8cが得られる。
【0051】
さらに、補正された深さ曲線8cを利用して、深さ情報13の補正を行う(ステップS14)。その後、仮想線分Lが中心点Cを基準位置として全方位に対して設定され、それぞれの深さ曲線8aの補正が完了したか否かを判断する(ステップS15)。ここで、全方位に対する深さ曲線8aの補正が完了している場合(ステップS15においてYES)、すなわち、仮想線分Lが中心点Cを基準位置として0°から180°の範囲で予め定められた所定角度(例えば、1°)毎に変角し、それぞれに対して補正された深さ曲線データ38等の角度毎のプロファイルデータ41が取得されている場合、深さマップ9bを補正し、再構築をする(ステップS16)。一方、全方位に対する深さ曲線8aの補正が完了していない場合(ステップS15においてNO)、予め設定した所定角度だけ仮想線分Lを中心点Cを基準として変角し(ステップS17)、ステップS3の処理に戻る。これにより、当該角度における深さ曲線8aの補正が上記同様の操作によって行われる。その結果、消去領域26は補正された深さ曲線8c及び消去領域26の周囲の深さ情報13に基づいて補正され、血管領域43等が除外された深さマップ9cが得られる(図5(c)参照)。そして、係る深さマップ9cが表示される(ステップS18)。
【0052】
これにより、起点S1,S2から中心点Cに向かう深さ曲線8aの勾配変化に基づいて、深さ曲線8aを補正し、全方位に対して得られた補正後の深さ曲線8cに基づいて深さマップ9cを再構築することができる。
【0053】
したがって、緑内障等の疾患を診断するための有益な情報を医師等に提供することができる。特に、視神経乳頭領域3及び視神経乳頭陥凹領域4に重複するように存在する血管領域43等を消去して、視神経乳頭陥凹領域4の境界に係るカップラインを正確に決定することができるため、C/D比の算出精度が著しく向上し、その結果、医師等による診断の精度も向上することとなる。さらに、補正された深さ情報13を利用することにより、眼底画像データ6を三次元化して表示する際においても、実際の眼底5と得られる立体画像との間の精度が高くなる。
【0054】
以上、本発明について好適な実施形態を挙げて説明したが、本発明はこれらの実施形態に限定されるものではなく、以下に示すように、本発明の要旨を逸脱しない範囲において、種々の改良及び設計の変更が可能である。
【0055】
すなわち、本実施形態の画像解析システム1において、視神経乳頭陥凹領域4の略中心位置(中心点Cに相当)を基準位置として、当該仮想線分Lを所定角度ずつ(例えば、1度ずつ)変角し、それぞれの角度における深さ曲線8aを補正するものを例示したが、これに限定されるものではなく、例えば、抽出領域7を水平方向に横切る仮想線分を想定し、当該仮想線分を抽出領域7の上端から下端まで順次水平方向に走査し、それぞれの走査位置における深さ曲線8aを補正するものであっても構わない。さらに、上記全方位による補正及び水平方向の走査による補正を組合わせるものであってもよい。これにより、撮影対象となる眼底を撮影した眼底画像データ6の全領域に対して高い精度で深さ情報13を補正することが可能となり、C/D比算出の精度をさらに上げることができる。
【0056】
さらに、深さ曲線7aを補正する曲線補正手段30の一例として、従来から周知のスプライン曲線を用いるもの示したが、これに限定されるものではなく、深さ曲線8aを補正する技術はその他のものであっても構わない。例えば、算出された深さ曲線8aにおいて、勾配変化が著しく変化したり、或いは勾配の傾きが逆方向(例えば、凹状の一部が突出するような方向)に変化する箇所が存在する場合、図8(a)に示すように、深さ曲線8a上の勾配変化の開始点X1(またはX2)から略水平方向に線分を伸ばし、さらに、深さ曲線8aと交差する勾配変化の終点Y1(またはX2)を特定する。そして、この開始点X1(X2)及び終点Y1(Y2)で結んだ一次曲線からなる線分Q1,Q2(すなわち、直線)によって深さ曲線8aを補正するものであってもよい。すなわち、補正後の深さ曲線8dは、図8(b)に示すように、その一部が階段状に変化しているものであっても構わない。これにより、上記のようにスプライン曲線を算出するものに比べ、曲線補正に係る処理を簡略化することができる。さらに、勾配変化によってノイズ曲線11及びノイズ領域10を特定し、その直後に深さ曲線8a及び深さマップ9aからこれらを消去するものについて示したが、勾配変化による検出を起点S1,S2から中心点Cまで連続的に行い、その後に、これらのノイズ曲線11等をまとめて消去するものであっても構わない。
【0057】
また、深さ情報13を補正する対象として、主に眼底5を想定したものを示したがこれに限定されるものではなく、例えば、飛行機から撮影した航空写真に基づいて山脈等を三次元化して表示する立体地図を作成する場合等の種々の状況に応じて利用することも可能である。
【図面の簡単な説明】
【0058】
【図1】本実施形態の画像解析システムにおける画像解析コンピュータの機能的構成を示すブロック図である。
【図2】視神経乳頭領域及び視神経乳頭陥凹領域を含む眼底を撮影した眼底画像データの一例を示す眼底写真である。
【図3】(a)抽出領域の断面を示す模式図、(b)抽出領域の深さプロファイル曲線の一例を示す曲線図、及び(c)抽出領域の深さマップの一例を示すマップ図である。
【図4】(a)抽出領域の断面を示す模式図、(b)特定されたノイズプロファイル曲線の一例を示す曲線図、及び(c)ノイズ領域の除去された深さマップの一例を示すマップ図である。
【図5】(a)ノイズプロファイル曲線の除去された深さプロファイル曲線の一例を示す曲線図、(b)補正プロファイル曲線によって接続された深さプロファイル曲線の一例を示す曲線図、及び(c)補正された深さマップの一例を示すマップ図である。
【図6】深さマップの補正に係る画像解析コンピュータの処理の流れを示すフローチャートである。
【図7】深さマップの補正に係る画像解析コンピュータの処理の流れを示すフローチャートである。
【図8】(a)深さプロファイル曲線の補正の別例を示す曲線図、(b)補正された深さファイル曲線を示す曲線図である。
【符号の説明】
【0059】
1 画像解析システム
2 画像解析コンピュータ
3 視神経乳頭領域
4 視神経乳頭陥凹領域
5 眼底(撮影対象、対象物)
6 眼底画像データ(画像データ)
7 抽出領域
8a,8b,8c,8d 深さ曲線(深さプロファイル曲線)
9a,9b,9c 深さマップ
10 ノイズ領域
11 ノイズ曲線(ノイズプロファイル曲線)
12 補正曲線(補正プロファイル曲線)
13 深さ情報
15 輪郭部
19 データ記憶手段
20 情報データ取得手段
21 プロファイル曲線算出手段
22 深さマップ作成手段
23 中心点決定手段
25 輪郭部特定手段
26 消去領域
27 スプライン曲線算出手段
28 ノイズ領域特定手段
29 ノイズ領域消去手段
30 曲線補正手段
31 除去深さ情報
32 除去深さ情報算出手段
33 補正マップ出力手段
43 血管領域
C 中心点
E1,E2 勾配変化点
L 仮想線分
S1,S2 起点

【特許請求の範囲】
【請求項1】
画像解析コンピュータを利用し、曲線的に変化する凹形状または凸形状の対象物の画像データから算出された深さ情報を補正する画像解析システムであって、
前記画像解析コンピュータは、
前記画像データから前記深さ情報を取得する情報データ取得手段と、
取得した前記深さ情報に基づいて、前記対象物の深さを一次元的な分布で表現した深さプロファイル曲線を算出するプロファイル曲線算出手段と、
前記画像データまたは前記深さ情報の少なくともいずれか一方に基づいて、前記対象物の中心点を決定する中心点決定手段と、
前記対象物の輪郭部を特定する輪郭部特定手段と、
特定された前記輪郭部の位置に相当する前記深さプロファイル曲線の曲線上の点を起点とし、前記起点から前記中心点に向かう前記深さプロファイル曲線の深さ方向の勾配変化に基づいて前記深さプロファイル曲線のノイズ領域を特定するノイズ領域特定手段と、
特定された前記ノイズ領域に対応する前記深さプロファイル曲線を周囲の前記深さプロファイル曲線の変化に基づいて補正する曲線補正手段と、
補正された前記深さプロファイル曲線に基づいて、前記深さ情報を補正する深さ情報補正手段と
を具備することを特徴とする画像解析システム。
【請求項2】
前記画像解析コンピュータは、
特定された前記ノイズ領域を前記深さプロファイル曲線から消去するノイズ領域消去手段をさらに具備し、
前記曲線補正手段は、
前記ノイズ領域の消去された後に残存する前記深さプロファイル曲線の変化率に略一致する補正プロファイル曲線を算出し、
前記深さ情報補正手段は、
算出された前記補正プロファイル曲線に基づいて、前記深さ情報を補正することを特徴とする請求項1に記載の画像解析システム。
【請求項3】
取得した前記画像データまたは前記深さ情報の少なくともいずれか一方に基づいて、前記対象物の深さの分布の表示に用いる深さマップを作成する深さマップ作成手段と、
前記深さ情報補正手段によって得られた情報に基づいて前記深さマップを補正する深さマップ補正手段と、
前記深さマップ補正手段によって補正された前記深さマップを表示する深さマップ表示手段と
をさらに具備することを特徴とする請求項1または請求項2に記載の画像解析システム。
【請求項4】
前記ノイズ領域特定手段は、
前記起点から前記中心点に向かう前記深さプロファイル曲線の深さ方向の勾配変化が予め設定した変化率よりも大、及び、前記勾配変化が逆方向に変化する少なくともいずれか一方の前記深さプロファイル曲線上のノイズプロファイル曲線に対応する箇所を前記ノイズ領域として特定することを特徴とする請求項1乃至請求項3のいずれか一つに記載の画像解析システム。
【請求項5】
前記曲線補正手段は、
スプライン曲線を前記補正プロファイル曲線として算出するスプライン曲線算出手段をさらに具備することを特徴とする請求項1乃至請求項4のいずれか一つに記載の画像解析システム。
【請求項6】
前記画像データは、
眼底画像撮影装置を用い、視神経乳頭陥凹領域を撮影対象として取得された眼底画像が利用されることを特徴とする請求項1乃至請求項5のいずれか一つに記載の画像解析システム。
【請求項7】
曲線的に変化する凹形状または凸形状の対象物の画像データから算出された深さ情報を取得する情報データ取得手段、取得した前記深さ情報に基づいて、前記対象物の深さを一次元的な分布で表現した深さプロファイル曲線を算出するプロファイル曲線算出手段、前記画像データまたは前記深さ情報の少なくともいずれか一方に基づいて、前記対象物の中心点を決定する中心点決定手段、前記対象物の輪郭部を特定する輪郭部特定手段、特定された前記輪郭部の位置に相当する前記深さプロファイル曲線の曲線上の点を起点とし、前記起点から前記中心点に向かう前記深さプロファイル曲線の深さ方向の勾配変化に基づいて前記深さプロファイル曲線のノイズ領域を特定するノイズ領域特定手段、特定された前記ノイズ領域に対応する前記深さプロファイル曲線を周囲の前記深さプロファイル曲線の変化に基づいて補正する曲線補正手段、並びに補正された前記深さプロファイル曲線に基づいて、前記深さ情報を補正する深さ情報補正手段として、画像解析コンピュータを機能させることを特徴とする画像解析プログラム。
【請求項8】
特定された前記ノイズ領域を前記深さプロファイル曲線から消去するノイズ領域消去手段、前記ノイズ領域の消去された後に残存する前記深さプロファイル曲線の変化率に略一致する補正プロファイル曲線を算出する前記曲線補正手段、並びに算出された前記補正プロファイル曲線に基づいて、前記深さ情報を補正する前記深さ情報補正手段として、前記画像解析コンピュータをさらに機能させることを特徴とする請求項7に記載の画像解析プログラム。
【請求項9】
取得した前記画像データまたは前記深さ情報の少なくともいずれか一方に基づいて、前記対象物の深さの分布の表示に用いる深さマップを作成する深さマップ作成手段、前記深さ情報補正手段によって得られた情報に基づいて前記深さマップを補正する深さマップ補正手段、並びに前記深さマップ補正手段によって補正された前記深さマップを表示する深さマップ表示手段として、前記画像解析コンピュータをさらに機能させることを特徴とする請求項7または請求項8に記載の画像解析プログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate


【公開番号】特開2008−237840(P2008−237840A)
【公開日】平成20年10月9日(2008.10.9)
【国際特許分類】
【出願番号】特願2007−86828(P2007−86828)
【出願日】平成19年3月29日(2007.3.29)
【国等の委託研究の成果に係る記載事項】(出願人による申告)平成16〜20年度、文部科学省、地域科学技術振興施策、委託研究(知的クラスター創成事業、岐阜・大垣地域ロボティック先端医療クラスター)、産業活力再生特別措置法第30条の適用を受ける特許出願
【出願人】(304019399)国立大学法人岐阜大学 (289)
【出願人】(599144712)タック株式会社 (25)
【Fターム(参考)】