説明

眼底画像解析装置、眼底画像解析方法及びプログラム

【課題】使用されたカメラの機種や撮像条件の異なる眼底画像を整合させ、各種部位の寸法比較等を可能にする画像解析技術を提供する。
【解決手段】複数の眼底画像データの中で1つを基準眼底画像データに設定し、前記基準眼底画像以外の各眼底画像データに対して、倍率補正、角度補正、位置補正を施し、補正眼底画像データを作成する眼底画像整合部7と、前記基準眼底画像データと前記補正眼底画像データとを合成した合成画像を作成する合成画像作成部11と、前記合成画像作成部11で作成されたカラー合成画像に基づいて、前記眼底画像整合部7と前記合成画像作成部11とにおける処理を繰り返し、前記縦横別の倍率、角度、位置の各補正パラメータを眼底画像データごとに決定する補正パラメータ決定部15と、決定された前記補正パラメータに基づいて、少なくとも1の補正眼底画像データを作成する補正眼底画像データ作成部17とを有する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は眼底画像解析技術に関し、特に、強度近視の経時変化を解析する眼底画像解析装置に関する。
【背景技術】
【0002】
眼科疾患でポピュラーな近視の中に、眼球後極の組織が変性して眼軸が伸び、強度な近視の症状を呈し、場合により失明に至る重篤な疾患「強度近視」が知られている。
【0003】
現状では、強度近視に対する根治術としては、下記特許文献1に記載の発明などがあるが、まだ研究段階であり、実際には、薬物療法や外科治療により病態の症状や進行を抑える対症療法しかないのが現状である。従って、強度近視の治療にあたっては、早期発見が重要となり、基本的には、眼底カメラなどによる継続的な撮影画像に基づく診断がなされることになる。
【0004】
眼底カメラ等による撮影画像による画像解析技術としては、以下のような技術が知られている。
(特許文献2)「画像重ね合わせ方法」、NTT
特許文献2では、基準点に使用しても問題無い特徴点を優先順位付けし、かつ基準点に使用するのに適切でない特徴点を画像モダリティ(眼底カメラ像など)ごとにデータベース登録する。優先順位の高い特徴点を数点用いて位置合わせを行う。
(特許文献3)「網膜画像による個人認証方式」、岩崎学園
また、特許文献3の網膜認証では乳頭部近傍は変動が少ないという前提で、乳頭部を特徴点に設定されがちである。
【0005】
また、眼科用の画像処理技術としては、例えば、以下のものがある。
(特許文献4)「眼科用画像処理方法と記憶媒体」、キャノン
特許文献4では、画像の低周波成分を解析してシェーディング補正を施すことにより、照明条件の相違がある、または照明ムラがある画像どうしで比較照合を可能にする方法が提案されている。
(特許文献5)「眼底画像処理装置」、ニデック
特許文献5では、乳頭の経時変化解析として、乳頭外縁のディスクラインと血管が陥凹するカップラインの乳頭中心から放射方向の距離比C/D比とR/D比(RはD−Cの幅)を算出する方法を提案している。画像の位置・倍率・角度が整合していなくても、比率で評価すれば不整合による影響を受けない。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特表2007−536272号公報
【特許文献2】特開平9−192106号公報
【特許文献3】特開2008−206536号公報
【特許文献4】特開2003−010131号公報
【特許文献5】特開2011−083555号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
上記特許文献2では、同一の画像モダリティ(眼底カメラ)で取得された画像同士の重ね合わせが前提となるため、異なるカメラを用いた場合には適用できない。
【0008】
また、特許文献3の網膜認証では、基準となる特徴点として乳頭部が設定される可能性が高いが、強度近視など病態によっては、乳頭部の変動が最も大きい場合があり、基準となる特徴点の選択に関する優先順位は固定的でなく、病態の進行とともに変化する場合に、適用しにくいという問題がある。
【0009】
また、特許文献4で提案されている手法では、主対象としている白斑の生長度合いの解析は可能であるが、位置・倍率・角度などの幾何学的条件の整合性は高周波成分を用いないと合わせることできないため、眼球血管走行・乳頭形状の経時変動の解析を行うことは難しい。
【0010】
特許文献5に記載の技術を強度近視に適用しようとすると、乳頭自体の拡大・縮小・楕円変形が発生することが定性的に知られており、先発明手法では乳頭自体の絶対寸法の変動を解析できないという問題がある。
【0011】
強度近視は、20年以上の長期に渡るタイムスパンで病態が徐々に進行するため、眼底カメラ等を用いて長期経過の観察が行われることが望ましい。しかし、次の2つの問題からその実施を困難にしている。
【0012】
医師法24条2項によると、「…病院又は診療所に勤務する医師のした診療に関するものは、その病院又は診療所の管理者において、その他の診療に関するものは、その医師において、5年間これを保存しなければならない。」とあり、換言すると、5年を経過したカルテは医療機関から廃棄される可能性が高く、更に医療画像(X線画像、眼底画像等のフィルム媒体)に対しては5年までの保管義務は無く、保管スペースの制約から、大学病院など研究機関を除き、その前段階で廃棄される可能性が高い。
【0013】
また、過去20年の間に医療画像はアナログ(フィルム媒体)からデジタル(コンピュータのデータ)に大きく変革を遂げ、撮影技術も年々劇的に進歩しているため、仮に画像が保存されていたとしても、20年前に撮影された画像と現状の画像とを定量的に比較することは困難である。
【0014】
先の保存期間の問題に対しては、世界的にカルテの一元化と生涯電子カルテの方向に制度転換がなされようとしているので(EHRと呼ばれ海外先進国では既に稼動している)、それが実現すれば将来的には解決する。
【0015】
一方、過去に撮影された眼底画像と比較照合する技術は、医療分野だけでなく特許文献3を筆頭に、IT情報セキュリティ分野におけるバイオメトリックス認証への応用としても研究されてきた。しかし、当分野では原則同一機種のカメラで撮像された比較的年代が近い画像どうしの比較で、本願の分野にそのまま適用できるものではない。また、特開平9-192106「画像重ね合わせ方法」(NTT)のように、過去の眼底カメラ画像と血管像を比較して、動脈硬化の進展度合いなどを調べる方法も提案されているが、集団検診を目的にしているため、同様に比較対照とする過去画像は1・2年前の画像どうしの比較で、本願の分野にそのまま適用できるものではない。
【0016】
本発明は、使用されたカメラの機種や撮像条件の異なる眼底画像を整合させ、各種部位の寸法比較等を可能にする画像解析技術を提供することを目的とする。
【課題を解決するための手段】
【0017】
本願では、与えられた同一被験者の複数の眼底画像に対して、各々眼底像を大雑把に切り出し、全ての画像サイズを同一にする。そして、最新の画像を基準にして、その他の各画像に対して、倍率補正、角度補正、位置補正の順に線形なアフィン変換を加える。倍率・角度・位置の補正パラメータについては、画面と対話しながら試行錯誤で決定する。この対話作業を支援するため、各眼底画像に対して乳頭・血管パターンなどが鮮明になるようにモノクロ化し、2つの画像を重ね合わせ、画面上で整合性を確認できるようにする。どこを基準に合わせるかは、眼科医等が試行錯誤を重ねながら選択できるようにする。
【0018】
本発明の一観点によれば、複数の眼底画像データの中で1つを基準眼底画像データに設定し、前記基準眼底画像以外の各眼底画像データに対して、縦横別の倍率、角度、位置の各補正パラメータを設定し、前記各補正パラメータに基づいて、縦横別の倍率補正、角度補正、位置補正を施し、補正眼底画像データを1点以上作成する眼底画像整合部と、前記基準眼底画像データと前記補正眼底画像データとに対して同じ画像処理を加えてモノクロ画像に変換し、前記基準眼底画像データと選前記補正眼底画像データとを合成したカラー合成画像を作成する合成画像作成部と、前記合成画像作成部で作成されたカラー合成画像に基づいて、前記眼底画像整合部と前記合成画像作成部とにおける整合処理を繰り返すことにより、前記縦横別の倍率、角度、位置の各補正パラメータを眼底画像データごとに決定する補正パラメータ決定部と、決定された前記補正パラメータに基づいて、少なくとも1の補正眼底画像データを作成する補正眼底画像データ作成部と、を有することを特徴とする眼底画像解析装置が提供される。
【0019】
さらに、複数の眼底画像の中でアナログ画像からデジタル画像データを作成する画像デジタル化部と、前記各デジタル画像データに対して、眼底に対応する領域をトリミングし、所定の画素数で構成される画像データになるよう縦横同一倍率パラメータで変倍処理を施し、サイズが統一化された眼底画像データに変換する眼底画像前処理部と、を有することが好ましい。
【0020】
前記眼底画像前処理部は、前記デジタル画像データを画面に表示し、表示されている画像上で眼底に対応する領域を特定の図形で指示することにより、前記変倍処理の縦横同一倍率パラメータを設定することが好ましい。
【0021】
前記眼底画像整合部は、前記基準眼底画像データと前記補正眼底画像データの各々を表示画面に表示させ、眼球の輪郭に略沿うように図形を表示させ、当該図形の領域の大きさが同じになるように調整することで、前記縦横倍率の補正パラメータを設定することが好ましい。
【0022】
前記眼底画像整合部は、前記基準眼底画像データと前記補正眼底画像データとのそれぞれを画面に表示させ、表示されている双方の画像上で対応する位置にそれぞれ表示させた第1及び第2の基準線の平行度を同じにするように操作部で回転させる指示をすることにより、前記操作部において回転させた角度を角度の補正パラメータとして設定するようにしていることが好ましい。
【0023】
前記眼底画像整合部は、前記基準眼底画像データと前記補正眼底画像データとのそれぞれを画面に表示させ、表示されている双方の画像上で対応する位置にそれぞれ表示させた第1及び第2の基準点が同じ位置になるように操作部で平行移動させる指示をすることにより、前記操作部において移動させた位置を前記位置の補正パラメータとして設定するようにしていることが好ましい。
【0024】
上記において、前記合成画像作成部は、RGB3原色の中でいずれか1つまたは2つの原色を選択して、互いに異なる原色セットを2種選択し、選択された原色セットの一方をモノクロ画像に変換された前記基準眼底画像データに割り当て、選択された原色セットの他方をモノクロ画像に変換された前記補正眼底画像データに割り当て、各々の原色セットで着色された前記基準眼底画像データと前記補正眼底画像データとを合成して前記カラー合成画像を作成することが好ましい。
【0025】
前記合成画像作成部は、前記所定の画像処理として、グレースケール変換、ネガポジ反転、階調伸張処理を施すことが好ましい。また、前記眼底画像整合部において、倍率補正後に角度補正を行うようにすると良い。
【0026】
本発明の他の観点によれば、複数の眼底画像データの中で1つを基準眼底画像データに設定し、前記基準眼底画像以外の各眼底画像データに対して、縦横別の倍率、角度、位置の各補正パラメータを設定し、前記各補正パラメータに基づいて、(縦横別の)倍率補正、角度補正、位置補正を施し、補正眼底画像データを1点以上作成する眼底画像整合ステップと、前記基準眼底画像データと前記補正眼底画像データとに対して同じ画像処理を加えてモノクロ画像に変換し、前記基準眼底画像データと前記補正眼底画像データとを合成したカラー合成画像を作成する合成画像作成ステップと、前記合成画像作成部で作成されたカラー合成画像に基づいて、前記眼底画像整合部と前記合成画像作成部とにおける整合処理を繰り返すことにより、前記縦横別の倍率、角度、位置の各補正パラメータを眼底画像データごとに決定する補正パラメータ決定ステップと、決定された前記補正パラメータに基づいて、少なくとも1の補正眼底画像データを作成する補正眼底画像データ作成ステップと、を有することを特徴とする眼底画像解析方法が提供される。
【0027】
本発明は、上記に記載の眼底画像解析方法を、コンピュータに実行させるためのプログラムであっても良く、当該プログラムを記録するコンピュータ読みとり可能な記録媒体でも良い。
【発明の効果】
【0028】
本発明で提案する画像整合手法は、安価な汎用パーソナルコンピュータのソフトウェアで実現することができ、GPUなど特殊なグラフィックスボードの増設も必要としない。また、画像入力系も安価なフィルムスキャナがあれば過去に撮影された各種眼底写真を入力でき、既設の眼底カメラからの画像もそのまま取り込める。また、過去に撮影された画像の撮像条件が不明でも、フィルムや画像データさえ残っていれば、互いに整合させることができる。即ち、本願発明は、大規模なハードウェア設備の投資をすることなく、各種医療機関に散在して保存されている同一患者の眼底写真を用いて、「強度近視」の経時変化解析を実現できる。
【図面の簡単な説明】
【0029】
【図1】本発明の一実施の形態による画像解析装置(時系列照合装置)の一構成例を示す機能ブロック図である。
【図2】本実施の形態による画像解析技術を用いた眼底カメラ画像による時系列画像解析方法の概要を示す図である。
【図3】全画像のサイズの統一化処理の様子を示す図である。
【図4】基準画像を最新年代の画像とした場合における、その基準画像を基準に全ての処理対象画像に関する整合処理の流れを示すフローチャート図である。
【図5】眼底画像整合部による画像の整合処理の詳細を示すフローチャート図であり、2枚の画像の画像データの整合処理の流れを示す図である。
【図6】画像の整合処理の詳細を示す図であり、眼球全体が画面に表示されており、その倍率補正処理の内容を示す図である。
【図7A】倍率補正の対話型処理の一例を示す図である。
【図7B】倍率補正の対話型処理の一例を示す図である。
【図8】図6又は図7A・図7Bの方法で眼球の倍率を整合させた画像A及び画像Cの角度補正処理の内容例を示す図である。
【図9】角度補正の対話型処理の一例を示す図である。
【図10】角度補正の対話型処理の一例を示す図である。
【図11】2画像の整合処理のうち位置補正処理の内容を示す図である。
【図12】基準画像A’と入力画像2D’について、両者の位置が同じになるように位置補正を行う様子を示す図である。
【図13】図5のオーバーレイ表示(S3−3−6)の詳細を示す図である。
【図14】図5のオーバーレイ表示(S3−3−6)の詳細を示す図であり、図13に続く図である。
【図15】2画像のオーバーレイ表示(ステップS3−3−6)の処理の詳細を示す図である。
【図16】時系列の眼底写真のサンプル例を示す図である。
【図17】1989年にフィルムカメラで撮影された写真と2010年の最新画像であり、上が生の写真、下が、2010年の最新画像に基づいて倍率と角度とを補正した写真であり、真ん中の写真がオーバーレイ画像である。
【図18】2画面眼底カメラ画像の整合処理操作例を示す図であり、倍率と角度(回転)の数値を指定している画面である。
【図19】2画面眼底カメラ画像の整合処理操作例(2:対話型補正)を示す図であり、左の第1画像が2010年のL画像で、真ん中のオーバーレイ画像では赤色の画像であり、右の第2画像が1989年のL画像で、真ん中のオーバーレイ画像では緑色の画像であり、倍率と角度を補正したことにより、真ん中のオーバーレイ画像での血管まで非常に良く一致させることができており、病変部位の変化の様子の詳細な写真である。
【図20】2画面眼底カメラ画像の整合処理操作例(3:自動補正)を示す図であり、左右画像に対応する特徴点2カ所に菱形のマーキングを行った様子を示す図である。
【図21】2画面眼底カメラ画像の整合処理操作例(4)を示す図であり、左右画像に対応する特徴点2カ所に菱形等(十字マーク等でも良い)のマーキングに基づく自動位置補正に様子を示す図である。
【図22】2画面眼底カメラ画像の整合処理操作例(5)を示す図であり、自動的な位置補正後のオーバーレイ像を表示した図である。
【図23】整合処理終了後の時系列眼底カメラ画像の例を示す図である。
【図24】整合化終了後の時系列画像解析例を示す図であり、図23等に基づいて、その患部を拡大した写真を示す図である。
【図25】制御処理終了後の時系列画像解析例(2)を示す図であり、2010年の画像と1989年の画像とについて、菱形の図形を画定し、菱形を目安に整合させることで、真ん中の画像のように、オーバーレイ像を生成した例を示す図であり、Red画像とGreen画像とを重ね合わせて、病変の時間変化を見た図である。
【発明を実施するための形態】
【0030】
以下、本発明の実施の形態による画像解析装置について、眼底写真に基づく強度近視の症状の解析を例にして図面を参照しながら説明を行う。
【0031】
まず、眼底画像どうしの比較照合における変動要因として、以下が挙げられる。
(1)被写体自体の変動(強度近視、緑内障などの病態進行)
・眼球の拡大・縮小(強度近視では眼球後部の拡大)
・眼球の回旋(眼軸中心の回転)
・眼球のX軸またはY軸中心の回転:撮影画像の縦横倍率に影響
・眼球血管走行の変動
動脈硬化による変形、血管分岐点の変動、新生血管の発生
・視神経乳頭の変形
・眼軸長の変化:撮影画像の倍率に影響
(2)カメラ撮影条件の変動
・カメラ機種の相違(アナログ・デジタル方式)
・撮影時の倍率の相違
・撮影時のアングルの相違
・照明光の色温度の変動
【0032】
これに対して、例えば眼球血管走行の経時変動を解析したい場合、位置合わせの基準点(変化しない点)をどこに設定するべきかが重要である。
【0033】
図1は、本実施の形態による画像解析装置(時系列照合装置)の一構成例を示す機能ブロック図である。図1に示すように、画像解析装置(時系列画像照合装置を含む。)1は、眼底画像をデジタル化する画像デジタル化部3と、眼底画像のトリミングやサイズの統一等を行う眼底画像前処理部5と、基準となる眼底画像と解析対象となる眼底画像との画像を整合する眼底画像整合部7と、整合した画像を合成する合成画像作成部11と、2つの画像を整合させるための補正パラメータを決定する補正パラメータ決定部15と、補正眼底画像データ作成部17と、記憶部(メモリ)19と、を有している。
【0034】
この画像解析装置1は、眼底カメラを用いて同じ被験者に対して、時期を変えてカラーまたはモノクロで撮影された複数の眼底画像の経時変化を解析するための眼底画像の時系列照合装置を含む。
【0035】
画像デジタル化部3は、複数の眼底画像のうちフィルム媒体で記録されている眼底画像等をデジタル化し、デジタル画像データを作成する。
【0036】
眼底画像前処理部5は、各デジタル画像データに対して、眼底に対応する領域をトリミングし、所定の画素数で構成される画像データになるよう縦横同一倍率パラメータで変倍処理を施し、サイズが統一化された眼底画像データに変換する。
【0037】
眼底画像整合部7は、デジタル変換された複数の眼底画像データの中で、少なくとも1つを基準眼底画像データに設定し、基準眼底画像以外の各眼底画像データに対して、縦横別の倍率、角度、位置の各補正パラメータを設定し、縦横別の倍率補正、角度補正、位置補正を施し、補正眼底画像データを1点以上作成する。
【0038】
合成画像作成部11は、基準眼底画像データおよび1つまたは複数の補正眼底画像データの各々に所定の画像処理を加えてモノクロ画像に変換し、基準眼底画像データと選択された1点の補正眼底画像データとを合成したカラー合成画像を作成する。
【0039】
補正パラメータ決定部15は、合成画像作成部11で作成されたカラー合成画像に基づいて、眼底画像整合部7と合成画像作成部11との処理を適宜繰り返し、縦横別の倍率、角度、位置の各補正パラメータを、眼底画像データごとに決定する。
【0040】
補正眼底画像データ作成部17は、決定された各補正パラメータに基づいて、1つまたは複数の補正眼底画像データを作成する。
【0041】
画像解析装置1は、実際には、処理を行うCPU1aと、処理のアルゴリズムを記述したアプリケーションプログラムと、処理によって得られるパラメータなどのデータ類を格納する記憶部19、画像データ等の入力部21、画像の出力部23などを含む一般的なパーソナルコンピュータ(PC)により実現することができる。また、全ての機能部が必須ではなく、例えば、画像デジタル化部などは、他のスキャナ装置によって代用することが可能であり、入力部21や出力部23も、本体とは別に設けられていても良い。
【0042】
図2は、本実施の形態による画像解析技術を用いた眼底カメラ画像による時系列画像解析方法の概要を示す図である。図2に示す画像解析方法では、時系列の複数の眼底写真を準備する。ここで、眼底写真は、アナログフィルム、デジタル画像データ等、が混在していて良い。
【0043】
まず、ステップS1において、同じ対象の眼底写真の画像データの中から、フィルム媒体、或いは、媒体に印刷したデジタル画像など(以下、「媒体画像」と称する。)を抽出する。そして、この媒体画像を、画像デジタル化部3が、フィルムスキャナなどを利用して、デジタル画像データに変換する。これにより、全ての画像データを、デジタル画像データにする。
【0044】
次いで、ステップS2において、眼底画像前処理部5が、全てのデジタル画像データの、縦サイズを統一する。
【0045】
図3は、全画像のサイズの統一化処理の様子を示す図である。まず。左上のスキャニング後の原画像(4823×3784画素)が得られているとする。但し、例えばフィルム写真では、符号Tで示すような、撮影年月日情報等が映っていたりすることがある。そこで、眼底画像前処理部5が、原画像から眼底写真部分以外を除くトリミングを行う。実際には、周辺の部分を除くような処理でも良い。すると、右上のような、トリミング後の画像が得られる(4823×3784画素)。次いで、右下図のように、眼底画像前処理部5が、画像の画素数を統一するため、画像の拡大・縮小処理を行う。ここでは、縦を1024画素に統一している。横の1139という画素数は、縦方向の統一に依存して変化する。横方向に比べて縦方向にはトリミングの対象となるようなノイズが少ないため、縦方向を基準とすることが好ましい。
【0046】
次に、ステップS3において、眼底画像整合部7が、例えば最新年代の画像を基準に、同じ対象の眼底写真の例えば全画像の整合処理を行う。最新年代の画像が、技術的にも最も安定していると考えられることから、例として最新年代の画像を基準としたが、安定した画像であれば、それを用いて良い。2以上の画像に基づく整合処理を行うようにしても良い。この処理については、後述する。
【0047】
次いで、ステップS4において、補正パラメータ決定部15等が各画像の対応する特徴箇所のパラメータ、長さ、面積、角度(血管、乳頭の径など)を計測し決定する。この処理についても後述する。
【0048】
図4は、基準画像を最新年代の画像とした場合における、その基準画像を基準に全ての処理対象画像に関する整合処理の流れを示すフローチャート図である。
【0049】
まず、ステップS3−1において、時系列の1、…、N枚の眼底画像データ(画像の縦サイズを統一した後、N枚目を最新画像とする)を準備する。
【0050】
次いで、ステップS3−2において、まず、P=1、すなわち、1枚目の画像データを取り出し、ステップS3−3において、眼底画像整合部7が、N枚の眼底画像データとP枚目の眼底画像データとの整合処理を行う。次いで、ステップS3−4において、Pに1をインクリメントし、ステップS3−5において、P<Nを判断し、Noであれば、処理を終了し(End)、Yesであれば、ステップS3−3に戻り、処理を継続する。ステップS3−3においては、整合処理で求めた整合条件パラメータと整合処理後のP枚目の補正(整合後の)画像データを出力部23に出力する。
【0051】
図5は、眼底画像整合部7による画像の整合処理(ステップS3−3)の処理の詳細を示すフローチャート図であり、2枚の画像の画像データの整合処理の流れを示す図である。まず、画像デジタル化部3でデジタル化され、眼底画像前処理部5で図2のような前処理が行われた2枚の画像データを用い、眼底画像整合部7が整合処理を行う。まず、2枚の入力画像データを取得し(ステップS3−3−1)、ステップS3−3−2において倍率補正を行う。
【0052】
次いで、ステップS3−3−3において、角度補正を行う。ステップS3−3−4において、特徴点2点を指定し、ステップS3−3−5において位置補正を行う。これらのS3−3−2、S3−3−3、S3−3−5の3種の補正の順序は、操作性や補正精度に大きな影響を与えるため、最適な順序で行う必要がある。まず、S3−3−5の位置補正は、どの段階で行っても精度的に顕著な差異は生じないが、操作性の面で最後に行う方が良い。これに対して、S3−3−2とS3−3−3は順序により精度的に顕著な差異が生じる。補正を必要とする要因には、前述した(1)被写体自体の変動と(2)カメラ撮影条件の変動があり、基本的に補正順序は、(2)カメラ撮影条件の変動に対する補正、(1)被写体自体の変動に対する補正の順になる。(2)カメラ撮影条件の変動としては、カメラの倍率と撮影時のアングルの2種があるが、調査の結果が前者の与える影響が顕著であることが判明した。一方、(1)被写体自体の変動としては、眼球の拡大・縮小、眼球の回旋(眼軸中心の回転)、眼球のX軸またはY軸中心の回転がある。眼球の拡大・縮小は強度近視の場合、眼軸方向に後部に拡大が発生するため、倍率や角度には殆ど影響を与えない。また、眼球のX軸またはY軸中心の回転は撮影画像の縦横倍率に影響するが、(2)カメラ撮影条件の変動におけるカメラの倍率に比べると影響は小さい。従って、(1)被写体自体の変動としては、眼球の回旋(眼軸中心の回転)が最も影響が大きい。これらのことから、(2)カメラ撮影条件の変動に対する補正として倍率補正(カメラの倍率に起因)を先に行い、(1)被写体自体の変動に対する補正として角度補正(眼球の回旋に起因)を行う順序とすると、精度の面でも操作性面でも良好な結果が得られる。
【0053】
次いで、ステップS3−3−6において、合成画像作成部11が、2枚の画像のオーバーレイ表示を行う。ステップS3−3−7で、整合したか否かを確認し、NoであればステップS3−3−2に戻り、Yesであれば、補正パラメータ決定部15が補正パラメータを決定し、ステップS3−3−8において、整合処理した画像データと、倍率・角度・位置パラメータを出力する。補正された画像は、補正眼底画像データ作成部17により、原画像と補整パラメータ等に基づいて作成することができる。
【0054】
図6は、画像の整合処理(ステップS3−3−2)の詳細を示す図であり、眼球全体が画面に表示されており、その倍率補正処理の内容を示す図である。入力画像1(基準画像)(A)の眼球21aの画像と、入力画像2(B)の眼球21bの画像とに基づいて、以下の式を用いて、倍率補正を行う。ここで、例えば、X方向は200%、Y方向は125%などと求まった倍率係数sx、syにより、補正後の入力画像2(C)の眼球21cが示される。このタイミングで、倍率係数sx、syを画像とともにメモリに記憶する。
【0055】
【数1】

【0056】
倍率補正の他の処理例を示す。図7A及び図7Bは、倍率補正の対話型処理の一例を示す図である。ここで、ソフトウェアとして表示画面上にはXY座標が画定されており、表示画面に図形等を描画すると、その図形の頂点等により図形の位置座標がメモリに記憶されるようになっている。このようなソフトウェアは一般的な図形ソフトにより実現できる。ここで、図7Aの出発画像は、図6と同じである。ここで、画面に表示されている背景23a、23b内に、2つの入力画像(眼球)21a、21bについて、(A’)、(B’)に示すように、画面上で2画像に対応する領域2点を指定する。ここでは、菱形を指定している(A’、B’)。菱形の代わりに、長方形などの矩形の領域を用いることができる。
【0057】
画面A’では、楕円形の眼球の輪郭に沿ってテンプレートとして用意されている菱形25aの4つの頂点が輪郭とほぼ一致するように領域をマウスの入力部21により、出力部23のディスプレイ画面上で指定する。画面B’では、同様に、菱形25bのテンプレートが、X方向、Y方向にやや眼球の輪郭より大きめになるように配置して指定する。大きめの寸法を、それぞれ、L1〜L4までとする。L1からL4までは、記憶部19に記憶される。ここで、大きめに設定する理由は、後述する角度補正によりX方向またはY方向の寸法に若干の短縮が発生する場合が多いためである。角度が見かけ上、顕著に異なっている場合は、大きめにする度合いを強くした方が照合しやすくなる。
【0058】
次いで、図7Bに示すように、菱形25a、25bの各頂点を(X11,Y11)から(X14,Y14)、(X21,Y21)から(X24、Y24)とし、下記の式に基づいて、係数Sx、Syを求める。これにより、倍率補正後のX’、Y’を求めることができる。ここで、入力画像2の(B’)を、(C)のように拡大させて表示させる(眼球の輪郭21b−1)。この図は、図6の整合後の画像21cに相当する。図6の処理との違いは、図6の処理がコンピュータソフトウェアの図形ソフトにより自動的に拡大・縮小するのに対して、図7A・図7Bの処理が、ユーザの画面上での試行錯誤の処理により基準画像に合うように寸法を拡大・縮小する点である。
【0059】
【数2】

【0060】
この例では、Sx=200%、Sy=125%であり、これらの値を、画像とともに記憶部19に記憶する。
【0061】
図8は、図6又は図7A・図7Bの方法で眼球の倍率を整合させた画像A及び画像Cの角度補正処理の内容例を示す図である。画像Aを楕円とすると、画像Aの楕円は、その長軸がx軸に平行に配置されている。一方、画像Cに示す楕円の長軸がx軸と平行でないとすると、角度を整合させる必要がある。そこで、両画像A・Cの長軸の成す角度θを求める。例えば、この例では、θ=20度である。
【0062】
そこで、下記の式を用いて、画像Cの角度補正を行い、両画像A・Cの長軸が一致するように画像Cの座標(X’,Y’)を求めることができ、画像Dのように角度補正された画像となる。このθの値も、記憶部19に記憶する。
【0063】
【数3】

【0064】
角度補正の他の処理例を示す。図9及び図10は、角度補正の対話型処理の一例を示す図である。図9の出発画像Cは、図8と同じである。次いで、画面上で基準画像Aと入力画像Cとについて、2つの画面に対応する2つの図形を入力部21により描画(指定)する。ここで、図9では、L5、L6、L5’、L6’を対角線とする菱形の図形を画面上に指定する例について示しているが、長い方の対角線L5、L5’に相当する直線でも良い。これらの直線L5、L5’を楕円の長軸に合わせるようにマウスで移動させ、基準画像A’と、入力画像2C’とに菱形又は直線を表示・描画する。ここでは、入力画像2C’に指定される直線又は菱形の絶対寸法は角度補正に関係しないので、いかように設定してもよいが、操作上見やすくするために、楕円よりも大きめに指定している。
【0065】
次いで、図10に示すように、直線L5と直線L6との交差角を0とするように、菱形の対角座標(X11,Y11)と(X12,Y12)、(X21,Y21)と(X22、Y22)とを調整する。ここでは、例えば、角度の差θが20度であり、X’、Y’を下記の式により求める。求めた値をメモリに記憶させる。
【0066】
【数4】

【0067】
このようにして、入力画像2について、画像Dに示すように角度補正することで、入力画像1と長軸の角度が同じになる(長軸同士の成す角度は0になる)ように補正する。
この際、補正後の画像Dの座標値と、補正角度θをメモリに記憶しておく。
【0068】
次に、画像の位置補正処理について説明する。図11は、2画像の整合処理のうち位置補正処理の内容を示す図である。
【0069】
入力画像1(A)である基準画像に合わせて、入力画像2である比較対象画像Dを位置補正する場合に、まず、画面上で2画像において、対応する特徴点を少なくとも2点指定する。ここでは、楕円形の左端の点(X1,Y1)、(X2,Y2)を指定する(A’,D’)。
【0070】
次いで、図12に示すように、基準画像A’と入力画像2D’について、両者の基準点の位置が同じになるように位置補正を行う(逆に、基準点以外の位置は必ずしも同じにならなくても良い)。ここでは、基準画像A’に対して入力画像2D’を、X方向に−43、Y方向に−85することで基準点の位置が一致するため、画像Eのように補正することができる。すなわち、入力画像2D’は、以下の変換式により、位置補正を行うことができる。
【0071】
【数5】

【0072】
次いで、図13、図14に示すように、図5のオーバーレイ表示(S3−3−6)を行う。図13の、基準画像Aと入力画像2(E)の各々に異なる色で着色しオーバーレイ画像上で色分けして区別できるように描画する(F)。基準画像Aと入力画像2(E)とにおいて、眼球の特徴パターン21aと21b−5とを重ねる処理を行う。尚、図13のFでは、説明を簡単にするため、楕円の輪郭線を重ねているように図示しているが、実際は、図17に示されるように楕円の内部を含む特徴パターンを重ねている。この際、重なり程度が良くわかるように、例えば、前者の画像を赤色、後者の画像を緑色などと視覚的に識別可能な形態で、すなわち、カラー画像で表示すると良い。
【0073】
次いで、図14に示すように、重ね合わせ画像Fにおいて、整合性が良いかどうかを、楕円の特徴パターンの一致度に基づいて判定する(ステップS3−3−7)。整合性がOKである場合には、ステップS3−3−8に進み、整合性がNGであれば、例えば、図7Bの倍率補正からやり直す。
【0074】
整合性がOKであれば(Yes)、ステップS3−3−8に進み、整合処理した画像データEと、倍率パラメータS・角度パラメータθ・位置パラメータX,Yを出力する。メモリにパラメータを記憶する。これにより、処理が終了する(End)。
【0075】
図15は、2画像のオーバーレイ表示(ステップS3−3−6)の処理の詳細を示す図である。画像データ1(基準画像)と画像データ2(入力画像)とを準備する(ステップS21、ステップS31)。次いで、それぞれの画像データについて、グレースケール変換(例えば、G成分の抽出)を行う(ステップS22、S32)。例としては、血管が黒く表示される。
【0076】
例えば、画像サイズがXs×Ysで、0〜255の値をもつ画像データ1をImage1(x,y,c)、画像データ2をImage2(x,y,c) (x=0.,,,.Xs, y=0,…,Ys, c=0(Red), 1(Green), 2(Blue))とすると、
グレースケール変換後の画像Gray1(x,y)とGray2(x,y)は、一般に、
【数6】

【0077】
次いで、それぞれのグレースケール変換された画像のネガポジ反転を行う(ステップS23、S33)。ここでは、例えば欠陥を白くするとともに、背景を黒くする。
【0078】
ここで、ネガポジ反転後の画像は、
【数7】

である。
【0079】
次いで、ステップS24、S34で、階調伸張変換を行う。これにより、欠陥領域を浮き出させる。ステップS25、S26で、RGBプレーン割り当てを行う。
【0080】
ここで、階調伸張変換後の画像は、下記スケーリングを施し、0未満になった場合は0に、255を超えた場合は255にリミットする。
【0081】
ただし、
【数8】

である。
【0082】
ステップS25では、RGBプレーン割り当てを行う。ステップS25では、画像データ1に(R)を割り当てる。ステップS35では、画像データ2に、(G)を割り当てる。ステップS26において、画像データ1と画像データ2とを、RGBプレーン合成とフルカラー変換する。次いで、オーバーレイ画像(RGBフルカラー画像)を生成する(ステップS27)。このような画像を後述する図19に示す。
【0083】
ここで、0〜255の値をもつオーバーレイ画像データをImageS(x,y,c)は、
【数9】

で表される。
【0084】
以下、上記の実施の形態による画像解析技術を用いた実施例について詳細に説明する。
図16は、時系列の眼底写真のサンプル例を示す図である。例えば、1989年から2010年の20年強の期間にわたって収集された眼底写真が、種々のカメラ(アナログ、デジタル、デジタルでも画質の異なるカメラ)で撮影され、倍率・照明条件も異なる場合には、図16に示すように、照合作業が困難であった。
【0085】
図17は、例えば、1989年にフィルムカメラで撮影された写真と2010年の最新画像であり、上が生の写真、下が、2010年の最新画像に基づいて倍率と角度とを補正した写真であり、真ん中の写真がオーバーレイ画像である。補正後にはほぼ同様の写真が得られ、オーバーレイ画像を見ると、ほとんどの部分が一致しており、強度近視による病変部分の変化だけを見ることができることがわかる。
【0086】
図18は、2画面眼底カメラ画像の整合処理操作例を示す図であり、倍率53と角度(回転)55の数値を指定している画面である。ここでは、倍率Xを95%、倍率Yを88%とし、XY面での回転を85度とした補正パラメータを指定した様子を示す図である。このように、画面を見ながら、補正パラメータを変更していくことができる。この方法は、図7A・図7Bの処理が、ユーザの画面上での試行錯誤の処理により基準画像に合うように寸法を拡大・縮小する方法の一例を示すものである。
【0087】
図19は、2画面眼底カメラ画像の整合処理操作例(2:対話型補正)を示す図であり、左の第1画像が2010年のL画像で、真ん中のオーバーレイ画像では赤色の画像であり、右の第2画像が1989年のL画像で、真ん中のオーバーレイ画像では緑色の画像であり、倍率と角度を補正したことにより、真ん中のオーバーレイ画像での血管まで非常に良く一致させることができており、病変部位の変化の様子を詳細に見ることができることがわかる。このように、対話型補正でも、精度良く補正し、時代の異なる画像を一致させることができる。
【0088】
図20は、2画面眼底カメラ画像の整合処理操作例(3:自動補正)を示す図であり、左右画像に対応する特徴点2カ所に菱形のマーキングを行った様子を示す図である。ここでは、乳頭の中の血管の集まった(結果が分岐する)部分を特徴点としている。このような特徴点を基準にすることで、2枚の画像を整合させる処理を簡単に行うことができる。
【0089】
図21は、2画面眼底カメラ画像の整合処理操作例(4)を示す図であり、左右画像に対応する特徴点2カ所に菱形等(十字マーク等でも良い)のマーキングに基づく自動位置補正に様子を示す図である。このような特徴点を基準にすることで、2枚の画像を整合させる処理を簡単に行うことができる。この菱形の位置による自動的に位置を補正させることができる。
【0090】
図22は、2画面眼底カメラ画像の整合処理操作例(5)を示す図であり、自動的な位置補正後のオーバーレイ像を表示した図である。真ん中のオーバーレイ画像では赤色の画像であり、右の第2画像が1989年のL画像で、真ん中のオーバーレイ画像では緑色の画像であり、倍率と角度を補正したことにより、真ん中のオーバーレイ画像での血管まで非常に良く一致させることができており、病変部位の変化の様子を詳細に見ることができることがわかる。このように、自動補正でも精度良く補正し、時代の異なる画像を一致させることができる。
【0091】
図23は、整合処理終了後の時系列眼底カメラ画像の例を示す図である。2010年の画像を基準に1989年から2009年の6点の画像について、アナログからデジタルへの移行があったにもかかわらず、倍率・角度・位置を補正し整合させた結果、眼球が20年間で約3度時計方向に回転(回旋)していることが判明した。
【0092】
図24は、整合化終了後の時系列画像解析例を示す図であり、図23等に基づいて、その患部を拡大した写真を示す図である。この図から、当初想定されていた網膜血管走行の変化よりも、乳頭部の形状や乳頭部近傍における血管形状の変化の方が顕著であることが判明した。すなわち、1989年から1999年に乳頭形状が楕円に変形しており、その後、徐々に拡大していることがわかる。このような、微妙な変化を、年代を追って比較することができる。
【0093】
図25は、制御処理終了後の時系列画像解析例(2)を示す図であり、2010年の画像と1989年の画像とについて、菱形の図形を画定し、菱形を目安に整合させることで、真ん中の画像のように、オーバーレイ像を生成した例を示す図であり、Red画像とGreen画像とを重ね合わせて、病変の時間変化を見た図である。
【0094】
以上のように、異なる条件で撮影した2枚の画像について、前処理(トリミング、デジタル化等)、位置補正・角度補正などを行った後に、整合処理を行い、整合条件パラメータを保存しておく。この整合条件パラメータで補正等を行った後の各画像の対応する特徴箇所(病変部位など)の形態を比較したり、測定したりすることで、強度近視等の眼病の経時的な変化を行うことができる。
【0095】
上記の実施の形態において、添付図面に図示されている構成等については、これらに限定されるものではなく、本発明の効果を発揮する範囲内で適宜変更することが可能である。その他、本発明の目的の範囲を逸脱しない限りにおいて適宜変更して実施することが可能である。上記眼底画像解析方法をコンピュータに実行させるためのプログラム、当該プログラムを記録するコンピュータ読み取り可能な記録媒体であっても良い。
【産業上の利用可能性】
【0096】
本発明は、眼底画像の解析装置に利用することができる。
【符号の説明】
【0097】
1…画像解析装置、3…画像デジタル化部、5…眼底画像前処理部、7…眼底画像整合部、11…合成画像作成部、15…補正パラメータ決定部、17…補正眼底画像データ作成部、19…記憶部(メモリ)。

【特許請求の範囲】
【請求項1】
複数の眼底画像データの中で1つを基準眼底画像データに設定し、前記基準眼底画像以外の各眼底画像データに対して、倍率、角度、位置の各補正パラメータを設定し、前記各補正パラメータに基づいて、倍率補正、角度補正、位置補正を施し、補正眼底画像データを作成する眼底画像整合部と、
前記基準眼底画像データと前記補正眼底画像データとに対して同じ画像処理を加え、前記基準眼底画像データと前記補正眼底画像データとを合成した合成画像を作成する合成画像作成部と、
前記合成画像作成部で作成された合成画像に基づいて、前記眼底画像整合部と前記合成画像作成部とにおける整合処理を繰り返すことにより、前記倍率、角度、位置の各補正パラメータを眼底画像データ毎に決定する補正パラメータ決定部と、
決定された前記補正パラメータに基づいて、少なくとも1の補正眼底画像データを作成する補正眼底画像データ作成部と
を有することを特徴とする眼底画像解析装置。
【請求項2】
さらに、複数の眼底画像の中でアナログ画像からデジタル画像データを作成する画像デジタル化部と、
前記各デジタル画像データに対して、眼底に対応する領域をトリミングし、所定の画素数で構成される画像データになるよう縦横同一倍率パラメータで変倍処理を施し、サイズが統一化された眼底画像データに変換する眼底画像前処理部と
を有することを特徴とする請求項1に記載の眼底画像解析装置。
【請求項3】
前記眼底画像前処理部は、
前記デジタル画像データを画面に表示し、表示されている画像上で眼底に対応する領域を特定の図形で指示することにより、前記変倍処理の縦横同一倍率パラメータを設定することを特徴とする請求項2に記載の眼底画像解析装置。
【請求項4】
前記眼底画像整合部は、
前記基準眼底画像データと前記補正眼底画像データの各々を表示画面に表示させ、眼球の輪郭に略沿うように図形を表示させ、当該図形の領域の大きさが同じになるように調整することで、前記縦横倍率の補正パラメータを設定するようにしていることを特徴とする請求項1から3までのいずれか1項に記載の眼底画像解析装置。
【請求項5】
前記眼底画像整合部は、
前記基準眼底画像データと前記補正眼底画像データとのそれぞれを画面に表示させ、表示されている双方の画像上で対応する位置にそれぞれ表示させた第1及び第2の基準線の平行度を同じにするように操作部で回転させる指示をすることにより、前記操作部において回転させた角度を角度の補正パラメータとして設定するようにしていることを特徴とする請求項1から3までのいずれか1項に記載の眼底画像解析装置。
【請求項6】
前記眼底画像整合部は、
前記基準眼底画像データと前記補正眼底画像データとのそれぞれを画面に表示させ、表示されている双方の画像上で対応する位置にそれぞれ表示させた第1及び第2の基準点が同じ位置になるように操作部で平行移動させる指示をすることにより、前記操作部において移動させた位置を前記位置の補正パラメータとして設定するようにしていることを特徴とする請求項1から4までのいずれか1項に記載の眼底画像解析装置。
【請求項7】
前記合成画像作成部は、
RGB3原色の中でいずれか1つまたは2つの原色を選択して、互いに異なる原色セットを2種選択し、選択された原色セットの一方をモノクロ画像に変換された前記基準眼底画像データに割り当て、選択された原色セットの他方をモノクロ画像に変換されたと前記補正眼底画像データに割り当て、各々の原色セットで着色された前記基準眼底画像データと前記補正眼底画像データとを合成して前記カラー合成画像を作成するようにしていることを特徴とする請求項1から6までのいずれか1項に記載の眼底画像解析装置。
【請求項8】
前記合成画像作成部は、前記所定の画像処理として、グレースケール変換、ネガポジ反転、階調伸張処理を施すことを特徴とする請求項1から7までのいずれか1項に記載の眼底画像解析装置。
【請求項9】
前記眼底画像整合部において、倍率補正後に角度補正を行うことを特徴とする請求項1から8までのいずれか1項に記載の眼底画像解析装置。
【請求項10】
複数の眼底画像データの中で1つを基準眼底画像データに設定し、前記基準眼底画像以外の各眼底画像データに対して、倍率、角度、位置の各補正パラメータを設定し、前記各補正パラメータに基づいて、倍率補正、角度補正、位置補正を施し、補正眼底画像データを作成する眼底画像整合ステップと、
前記基準眼底画像データと前記補正眼底画像データとに対して同じ画像処理を加えてモノクロ画像に変換し、前記基準眼底画像データと選前記補正眼底画像データとを合成した合成画像を作成する合成画像作成ステップと、
前記合成画像作成部で作成された合成画像に基づいて、前記眼底画像整合部と前記合成画像作成部とにおける整合処理を繰り返すことにより、前記倍率、角度、位置の各補正パラメータを眼底画像データ毎に決定する補正パラメータ決定ステップと、
決定された前記補正パラメータに基づいて、少なくとも1の補正眼底画像データを作成する補正眼底画像データ作成ステップと
を有することを特徴とする眼底画像解析方法。
【請求項11】
請求項10に記載の眼底画像解析方法を、コンピュータに実行させるためのプログラム。


【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7A】
image rotate

【図7B】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate

【図22】
image rotate

【図23】
image rotate

【図24】
image rotate

【図25】
image rotate


【公開番号】特開2013−85583(P2013−85583A)
【公開日】平成25年5月13日(2013.5.13)
【国際特許分類】
【出願番号】特願2011−226307(P2011−226307)
【出願日】平成23年10月14日(2011.10.14)
【出願人】(504179255)国立大学法人 東京医科歯科大学 (228)
【出願人】(000002897)大日本印刷株式会社 (14,506)
【Fターム(参考)】