網膜の異常を検出するためのシステムおよび方法
本発明は、画像を相互依存して平滑化および区分化することと、平滑化および区分化された画像において網膜特徴を識別することと、網膜の異常を識別するために、平滑化および区分化された画像において識別された網膜特徴を分析することとによって、眼底画像において網膜の異常を検出するための方法およびシステムに関する。一実施形態において、網膜の異常を検出するコンピュータ化された方法は、コンピュータによって、網膜の画像を受信することと、コンピュータによって、画像を平滑化および区分化することであって、平滑化および区分化することは、相互依存的である、ことと、コンピュータによって、平滑化および区分化された画像において少なくとも１つの網膜特徴を識別することと、コンピュータによって、網膜の異常を識別するために、平滑化および区分化された画像において識別された少なくとも１つの網膜特徴を分析することとを含む。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願の引用）
本願は、米国仮出願第６１／２７９，１５６号（２００９年１０月１５日出願、名称「Ｓｙｓｔｅｍｓ ａｎｄ Ｍｅｔｈｏｄｓ ｆｏｒ Ｒｅｔｉｎａｌ Ｉｍａｇｅ Ａｎａｌｙｓｉｓ」）の利益を主張する。本願は、米国特許出願第１２／３５５，５６７号（２００９年１月１６日出願、名称「Ｓｙｓｔｅｍｓ ａｎｄ Ｍｅｔｈｏｄｓ ｆｏｒ Ａｎａｌｙｚｉｎｇ Ｉｍａｇｅ Ｄａｔａ Ｕｓｉｎｇ Ａｄａｐｔｉｖｅ Ｎｅｉｇｈｂｏｒｈｏｏｄｉｎｇ」）の一部継続出願であり、該出願は、米国仮出願第６１／０２１，５１３号（２００８年１月１６日出願、名称「Ａｎ Ｅｎｅｒｇｙ Ｆｕｎｃｔｉｏｎａｌ Ｆｒａｍｅｗｏｒｋ ｆｏｒ Ｓｉｍｕｌｔａｎｅｏｕｓｌｙ Ｌｅａｒｎｉｎｇ，Ｓｍｏｏｔｈｉｎｇ，Ｓｅｇｍｅｎｔａｔｉｏｎ，ａｎｄ Ｇｒｏｕｐｉｎｇ ｉｎ ａ Ｌｏｗ ＳＮＲ，Ｓｐａｒｓｅ Ｄａｔａ Ｅｎｖｉｒｏｎｍｅｎｔ」）、米国仮出願第６１／０１１，４５６号（２００８年１月１６日出願、名称「Ｉｍａｇｅ−ｂａｓｅｄ Ｍｅｔｈｏｄｓ ｆｏｒ Ｍｅａｓｕｒｉｎｇ Ｇｌｏｂａｌ Ｎｕｃｌｅａｒ Ｐａｔｔｅｒｎｓ ａｓ Ｅｐｉｇｅｎｅｔｉｃ Ｍａｒｋｅｒｓ ｏｆ Ｃｅｌｌ Ｄｉｆｆｅｒｅｎｔｉａｔｉｏｎ」）、および米国仮出願第６１／１４３，３９９号（２００９年１月８日出願、名称「Ｉｍａｇｅ−ｂａｓｅｄ Ｍｅｔｈｏｄｓ ｆｏｒ Ａｓｓｅｓｓｉｎｇ Ｃｅｌｌｓ」）の利益を主張する。これらの出願の各々は、その全体が参照により本明細書に引用される。
【０００２】
（連邦政府資金援助研究開発の表明）
本明細書に記載される研究開発は、全体またが一部において、国立衛生研究所（ＮＩＨ／ＮＩＢＩＢ）からの交付ＮＯ．ＲＯ１−ＥＢ００６１６１−０１Ａ２、国立神経疾患・脳卒中研究所からのＮＩＮＤＳ／ＮＩＨ交付ＮＯ．５−Ｒ０１−ＮＳ３４１８９−１０により資金援助された。本発明において、米国政府は一定の権利を有する。
【背景技術】
【０００３】
糖尿病性網膜症（ＤＲ）は、網膜を攻撃し、病変を引き起こすことによって損傷する、いくつかの全身性疾患のうちの１つである。該疾患はしばしば、初期兆候がなく、比較的進行期で、病変が失明を引き起こし得る。糖尿病は、現在世界中で１億９４００万人以上の個人に影響を及ぼし、上昇傾向にあり、２０２５年までに３億３３００万人の患者を獲得すると予測されている。ＤＲは、１０年以上糖尿病がある患者の最大８０％に影響を及ぼす。ＤＲは、現在先進国で失明の主な原因であり、上昇傾向にあり、世界中で２億７５００万人の個人に影響を及ぼすと予測されている。
【０００４】
糖尿病からの失明の重症度は、患者が時宜を得て厳密に評価されれば軽減することができる。視力の維持は、生涯のケア、ＤＲ重症度の周期的で正確な診断を必要とする。各患者は、ＤＲ重症度を少なくとも１年に１回評価してもらうべきであり、毎秒２４眼の世界的最小処理能力を必要とする。
【０００５】
この必要性を満たすことの妨げになる多くの課題がある。第１に、米国の糖尿病患者人口の２５％を含む多くの糖尿病患者は、健康状態の意識が欠けている。第２に、特に発展途上国内の患者の大部分は、臨床施設の近くに居住していない。第３に、ＤＲ診断は、特別な訓練を必要とし、多くの診療所には、そのような訓練を受けた臨床医がいない。最後に、たとえケアが利用可能であり、自覚のある患者の手の届く距離にあったとしても、能力が限定され、診断手技が不便であり、人的不一致および過誤の影響を受けやすい。
【０００６】
本明細書で説明される方法およびシステムは、網膜撮像のこれらおよび他の課題から発想を得た。
【発明の概要】
【課題を解決するための手段】
【０００７】
本明細書では、網膜の異常を検出するためのシステム、方法、および非一過性コンピュータ可読媒体が説明される。これらの方法は、好ましくは、コンピュータまたは他の適切に構成された処理デバイスによって実装される。
【０００８】
第１の側面では、コンピュータが網膜の画像を受信し、画像を平滑化および区分化する。滑化および区分化は、相互依存的であり得る。コンピュータは、平滑化および区分化された画像において少なくとも１つの網膜特徴を識別し、網膜の異常を識別するように、平滑化および区分化された画像において識別された少なくとも１つの網膜特徴を分析する。いくつかの実施形態では、識別された少なくとも１つの網膜特徴を分析することは、画像のテクスチャを分析することを含む。いくつかの実施形態では、識別された少なくとも１つの血管を分析することは、画像における少なくとも１つの血管に関連付けられる少なくとも１つの経路を決定することと、経路に沿った場所における経路の配向の角度、および経路に沿った場所における少なくとも１つの血管の直径のうちの少なくとも１つにおける変動を決定することとを含む。変動が閾値を超える場合に、コンピュータは、該場所における網膜の異常を識別する。異常は、例えば、静脈内径の異常、新しい血管分布、綿状白斑等の非血管異常、または任意の他の異常であり得る。
【０００９】
いくつかの実施形態では、区分化および平滑化することは、画像における複数の場所におけるエッジフィールド強度を決定することを含み、少なくとも１つの経路は、少なくともエッジフィールド強度に基づいて決定される。少なくとも１つの経路を決定することは、画像における少なくとも１つの血管に関連付けられる少なくとも１つの中心線を決定することを含み得る。配向の角度の変動を決定することは、連続する複数の場所の間の前記配向の角度の変化を決定することを含み得る。
【００１０】
いくつかの実施形態では、コンピュータは、複数の変動をフィルタにかける。フィルタは、移動窓平均であり得る。いくつかの実施形態では、変動は、フィルタにかけられた複数の変動のうちの少なくとも１つが閾値を超える場合に、閾値を超える。いくつかの実施形態では、ある場所における変動が閾値を超える場合に、コンピュータは、血管分岐部が該場所に存在するかどうかを決定し、血管分岐部が該場所に存在する場合に、コンピュータは、コンピュータによって変動をフィルタによって除去する。
【００１１】
いくつかの実施形態では、平滑化および区分化することは、（例えば、誤差測定基準に関連付けられるエネルギー関数の値を低減させるように）画像における複数の場所に関連付けられる近傍を規定する形状および配向のうちの少なくとも１つを適合的に調整することを含む。いくつかの実施形態では、平滑化および区分化することは、第１および第２のエネルギー関数の値を低減させることを含み、第１のエネルギー関数は、第１の誤差測定基準を使用し、第２のエネルギー関数は、第１の誤差測定基準とは異なる第２の誤差測定基準を使用する。そのような実施形態では、コンピュータは、第１および第２のエネルギー関数の値をそれぞれ低減させることによって得られる、第１および第２の組の平滑化および区分化パラメータに関する情報を組み合わせ得る。
【００１２】
本願はまた、その全体が参照することにより本明細書に組み込まれる、２００９年１月１６日出願の米国特許出願第１２／３２１，３６０号「Ｉｍａｇｅ−ｂａｓｅｄ Ｍｅｔｈｏｄｓ ｆｏｒ Ｍｅａｓｕｒｉｎｇ Ｇｌｏｂａｌ Ｎｕｃｌｅａｒ Ｐａｔｔｅｒｎｓ ａｓ Ｅｐｉｇｅｎｅｔｉｃ Ｍａｒｋｅｒｓ ｏｆ Ｃｅｌｌ Ｄｉｆｆｅｒｅｎｔｉａｔｉｏｎ」にも関する。
【図面の簡単な説明】
【００１３】
本特許または出願ファイルは、色付きで実行された少なくとも１つの図面を含む。色付き図面を伴う本特許または特許出願公報の複製は、要求および必要手数料の支払いに応じて特許庁に提供される。本発明の上記および他の特徴、その性質および種々の利点は、添付図面と併せて解釈される、以下の詳細な説明を考慮すると明白となるであろう。
【図１】図１は、本発明の例証的実施形態による、画像分析用のシステムの概略図である。
【図２】図２は、本発明の実施形態による、平滑化されたデータ、区分、および属性推定値を生成するための例証的過程の図である。
【図３】図３は、本発明の実施形態による、画像データ例に適用されるような情報抽出方法を図示する。
【図４Ａ】図４Ａ−４Ｃは、本発明の例証的実施形態による、近傍適合への３つの異なるアプローチを描写する。
【図４Ｂ】図４Ａ−４Ｃは、本発明の例証的実施形態による、近傍適合への３つの異なるアプローチを描写する。
【図４Ｃ】図４Ａ−４Ｃは、本発明の例証的実施形態による、近傍適合への３つの異なるアプローチを描写する。
【図５】図５は、ノイズの存在下での画像要素の検出において本発明によって達成可能な改善を明示する。
【図６】図６は、本発明の例証的実施形態による、エネルギー関数を最小限化することよって平滑化されたデータ、区分、および属性推定値を生成するための方法を図示する。
【図７】図７は、実施形態による、網膜の異常を検出するための技法のフロー図である。
【図８】図８は、実施形態による、異常検出技法８００のフロー図である。
【図９】図９Ａ−９Ｃは、実施形態による、異なるエネルギー関数定式化を使用したエッジ検出を図示する。
【図１０】図１０Ａ−１０Ｃは、実施形態による、網膜画像の処理を図示する。
【図１１】図１１Ａ−１１Ｃは、実施形態による、血管識別技法を図示する。
【図１２】図１２Ａ−１２Ｄは、実施形態による、血管経路検出技法を図示する。
【図１３】図１３Ａ−１３Ｃは、実施形態による、血管識別技法の動作および中間結果を図示する。
【図１４】図１４Ａ−１４Ｃは、血管の経路の傾斜の変動を決定する実施形態を図示する。
【図１５】図１５Ａ−１５Ｃは、血管の配向の角度の変動を決定する実施形態を図示する。
【図１６】図１６Ａ−１６Ｃは、血管の半径の変動を決定する実施形態を図示する。
【図１７】図１７Ａ−１７Ｆは、実施形態による、血管分岐部、および網膜の異常についてのその２つの分岐のそれぞれの分析を図示する。
【発明を実施するための形態】
【００１４】
本発明の全体的理解を提供するために、画像データからの情報抽出のためのシステムおよび方法を含む、ある例証的実施形態を説明する。しかしながら、本明細書で説明されるシステムおよび方法は、他の好適な用途のために適合および修正することができ、そのような他の追加および修正は、本明細書の範囲から逸脱しないことが当業者によって理解されるであろう。
【００１５】
（Ａ．画像分析システム）
図１は、本発明の例証的実施形態による、画像分析システムの概略図である。システム１００は、画像捕捉デバイス１１０と、画像データベース１２０と、情報抽出プロセッサ１３０と、ディスプレイ１４０と、結果データベース１５０と、分類プロセッサ１６０とを含む。
【００１６】
システム１００は、場面の画像を捕捉するための少なくとも１つの画像捕捉デバイス１１０を含む。例示的な画像捕捉デバイス１１０は、可視光カメラおよびビデオレコーダ、ＰＥＴ、ＳＰＥＣＴ、ＭＲＩ、Ｘ線、ＣＴスキャナ、および他の医用撮像装置、明視野、位相差、原子間力、および走査型電子顕微鏡、衛星レーダ、サーモグラフィックカメラ、地震計、ならびにソナーおよび電磁波検出器を含む。画像捕捉デバイス１１０のそれぞれは、アナログまたはデジタル画像を生成し得る。単一の画像捕捉デバイス１１０によって捕捉される画像は、スカラー、ベクトル、またはマトリクス値であってもよく、時間の関数として変化し得る。撮像された場面は、少なくとも１つの性質の測定を画像捕捉デバイスによって得ることができる、任意の関心の物理的対象、物理的対象の集合、または物理的現象を含むことができる。例えば、胎児の胎児期環境は、超音波画像捕捉デバイスで測定することができる場面である。別の実施例では、大気中水分の位置および移動は、衛星レーダ画像捕捉デバイスで測定することができる場面である。
【００１７】
画像データベース１２０は、一式の画像データとして画像捕捉デバイス１１０によって捕捉される画像を記憶するために使用される。画像データベース１２０は、磁気、光学、および／または半導体メモリの適切な組み合わせを備えてもよく、例えば、ＲＡＭ、ＲＯＭ、フラッシュドライブ、コンパクトディスク等の光ディスク、および／またはハードディスクあるいはドライブを含み得る。当業者であれば、プロセッサ１３０、ローカル記憶ユニット、または可撤性コンピュータ可読媒体と通信するように設計されているデータベースサーバを含む例示的実施形態とともに、システム１００内の画像データベース１２０のためのいくつかの好適な実装を認識するであろう。
【００１８】
情報抽出プロセッサ１３０およびデータベース１２０は、同じ物理ユニット内に組み込まれるか、または、ＵＳＢポート、シリアルポートケーブル、同軸ケーブル、Ｅｔｈｅｒｎｅｔ（登録商標）型ケーブル、電話線、無線周波数送受信機、または他の同様の無線あるいは有線媒体、もしくは前述の組み合わせ等の通信媒体によって相互に接続される、別個のデバイスとして収納され得る。情報抽出プロセッサ１３０は、一式の画像データの空でない一部を取得するためにデータベース１２０に問い合わせる。情報抽出プロセッサ１３０はまた、以下で説明される情報抽出過程も行う。情報抽出プロセッサ１３０の例示的実施形態は、汎用コンピュータで見られるソフトウェアプログラム可能プロセッサ、ならびにより大型の装置内に組み込むことができる特殊プロセッサを含む。情報抽出プロセッサ１３０は、コンピュータ可読媒体上に記憶された命令を実行することによって、本明細書で説明される方法を行い、当業者であれば、そのような媒体は、無制限に、固体、磁気、ホログラフィック、磁気光学、および光学メモリユニットを含むことを認識するであろう。情報抽出プロセッサ１３０および図１の残りの要素の付加的な実施形態は、以下で論議される。
【００１９】
情報抽出方法の完了時に、または方法と同時に、情報抽出プロセッサ１３０は、処理データの集合を出力する。ディスプレイ１４０が、処理データをユーザに視覚的に提示する。例示的実施形態は、コンピュータモニタまたは他の電子画面、情報抽出プロセッサ１３０と通信している電子プリンタによって生成される物理的プリントアウト、または３次元投影あるいはモデルを含む。結果データベース１５０は、処理データがさらなる分析のために記憶される、データ記憶デバイスである。例示的実施形態は、画像データベース１２０について説明される構造およびデバイス、ならびに当業者に公知である他のものを含む。分類プロセッサ１６０は、処理データを分類する、すなわち、撮像した場面内の要素の意味および内容を識別するために、データベース１５０から処理データを随意で抽出し、情報抽出プロセッサ１３０について説明されるアーキテクチャおよびデバイスによって具現化され得る、データ処理デバイスである。
【００２０】
システム構成要素１１０−１６０は、別個のユニットとして図１に描写されているが、当業者であれば、これらのユニットのうちの２つ以上を、同じ全体的機能を果たす統合装置に実用的に合体させることができると即座に認識するであろう。例えば、単一の物理的カメラが、可視および赤外線撮像能力の両方を有し、したがって、２つの画像捕捉デバイスを表し得る。単一の画像処理デバイスはまた、プロセッサ１３０に直接伝送することができる画像データ用のデータベース１２０を含み得る。同様に、データベース１２０およびプロセッサ１３０は、プロセッサ１３０および１６０を構成することができるように、単一の汎用コンピュータ内に構成することができる。ハードウェア内のシステム構成要素の多くの組み合わせが可能であり、依然として請求されたシステムの範囲内にとどまる。システム構成要素１１０−１６０は、物理的接続上で通信プロトコルを使用して連結することができるか、または無線通信プロトコルを使用して連結することができる。１つの例示的実施形態では、画像データは、無線で、または電子ネットワークを介して、画像捕捉デバイスからデータ処理施設に伝送され、そこで記憶および処理される。別の例示的実施形態では、図１のシステムは、自動車または自動車隊の挙動に関する決定を行うために処理データを使用することが可能である、自動車または自動車隊内に配備される。
【００２１】
図１に戻って、当業者であれば、全体としてシステムに対する多くの異なる設定のように、システム構成要素１１０−１６０の多くの異なる実施形態が可能であることを認識するであろう。一実施形態では、図１のシステムは、研究室または医学研究環境に存在し、例えば、かん流撮像、ｆＭＲＩ、マルチスペクトルまたはハイパースペクトル撮像、明視野顕微鏡検査、または位相差顕微鏡検査からの画像データを使用して、患者診断を向上させるために使用される。別の実施形態では、図１のシステムは、監視局内に存在し、少なくとも１つの撮像デバイスからのデータを組み合わせることによって、特定の地理的領域で状態を評価するために使用される。これらのデバイスは、衛星レーダ、航空写真術またはサーモグラフィ、地震計、ソナーまたは電磁波検出器を含み得る。別の実施形態では、図１のシステムは、任意の汎用コンピュータがハードウェア要件を満たし、ユーザの特定の用途から生じる画像データから情報を抽出するために構成することができる。
【００２２】
（Ｂ．情報抽出）
情報抽出プロセッサ１３０は、適合的に調整した近傍を使用して、場面の表現を向上させるように画像データを平滑化し、場面内の要素間のエッジを決定することにより、これらの要素を区別するように画像データを区分化し、場面内の要素の属性を推定することによって、撮像した場面内の要素に関する情報を抽出するように構成される。図２は、情報抽出プロセッサ１３０によって果たされる情報抽出方法の１つの例証的実施形態を描写する。情報抽出プロセッサ１３０への入力は、画像１、２、…、Ｎを備える画像データ２１０、画像データの特性の予備知識２２０、および撮像した場面内の属性の予備知識２３０を含む。画像データの特性の予備知識２２０は、ノイズ強度および分布情報、撮像した場面のモデル、環境要因、ならびに撮像機器の性質を含む。撮像した場面内の属性の予備知識２３０は、既知の属性を有する場面内の場所、撮像した場面内の要素の存在または不在の知識、撮像した場面の現実世界の体験、または撮像した場面の内容に関する確率的評価を含む。平滑化２４０、区分化２５０、および属性推定２６０の過程は、プロセッサが、他の過程を行う際に、これらの過程のそれぞれの結果を考慮するという意味で、相互依存的である。近傍の適合的調整２６５は、以下でより詳細に論議される。加えて、過程は、同時に、または実質的に同時に実行される。これらの過程の終わりに、情報抽出プロセッサ１３０は、一式の平滑化したデータ２７０、撮像した場面を一貫した要素に分割する一式の区分２８０、および場面内に存在する一式の推定属性２９０を含む処理データの集合を出力する。過程２４０、２５０、および２６０のそれぞれは、以下でより詳細に論議される。
【００２３】
平滑化過程２４０は、画像データから一式の平滑化したデータ２７０を生成する。平滑化したデータ２７０は、撮像した場面の真の特性の最も正確な推定値を表す。画像はしばしば、ノイズによって、および撮像機器からのひずみによって破損され、その結果として、画像データは、決して真の場面の完璧な表現ではない。平滑化２４０を行う場合に、プロセッサ１３０は、いくつかある要因の中でも特に、画像データと、撮像した場面の物理モデルと、撮像した場面とデータベース１２０との間の全ての点において生じるノイズの特性と、区分化過程２５０および属性推定過程２６０の結果とを考慮に入れる。
【００２４】
区分化過程２５０は、１つの要素を別の要素と区別するエッジを描くことによって、撮像した場面内の明確に異なる要素の境界を定める。例えば、区分化過程は、対象とその背景、撮像した場面内で重複するいくつかの対象、または異なる属性を示す撮像した場面内の領域を区別し得る。区分化過程は、区分２８０を規定する一式のエッジをもたらす。これらのエッジは、スカラー、ベクトル、またはマトリクス値であってもよく、または他のデータ型を表し得る。区分化２５０を行う場合に、情報抽出プロセッサ１３０は、いくつかある要因の中でも特に、画像データ２１０と、撮像した場面の物理モデルと、撮像した場面と画像データベース１２０との間の全ての点において生じるノイズの特性と、平滑化過程２４０および属性推定過程２６０の結果とを考慮に入れる。
【００２５】
属性推定過程２６０は、撮像した場面内の要素の性質を識別する。属性は、画像データがなんらかの情報を含む対象の任意の性質である。一式の利用可能な属性は、画像データ内で表される撮像モダリティに依存する。例えば、サーモグラフィックカメラが、赤外線放射から画像を生成し、これらの画像は、撮像した場面内の対象の温度に関する情報を含む。属性の付加的な例は、とりわけ、テクスチャ、放射能、水分含量、色、および物質組成を含む。例えば、パイナップルの表面が、粗い（属性の値）というテクスチャ（属性）を有するものとしてプロセッサによって識別され得る。一実施形態では、関心の属性は、画像データを表すパラメータ化モデル群の基礎となるパラメータである。別の実施形態では、関心の属性は、パラメトリックモデル自体である。属性測定を行う場合に、情報抽出プロセッサ１３０は、いくつかある要因の中でも特に、画像データ２１０と、撮像した場面の物理モデルと、撮像した場面と画像データベース１２０との間の全ての点において生じるノイズの特性と、平滑化過程２４０および区分化過程２５０の結果とを考慮に入れる。
【００２６】
１つより多くの画像が画像データ内で表される場合に、情報抽出プロセッサ１３０はまた、特定の属性について、各画像内に含まれる状態の相対量を決定し得る。この属性を推定する場合に、情報抽出プロセッサ１３０は、次いで、属性に関するその情報内容に従って、各画像を利用し得る。例えば、マルチスペクトル撮像は、そのそれぞれが特定の波長帯域で動作するカメラによって生成された複数の画像を返す。異なる属性が、１つの周波数で別の周波数よりも良く表され得る。例えば、衛星は、深海を撮像するために４５０−５２０ｎｍの波長範囲を使用するが、地上植物を撮像するために１５５０−１７５０ｎｍの波長範囲を使用する。加えて、情報抽出プロセッサ１３０は、関心の属性に特に関連する画像を識別するために、画像データの統計を使用し得る。例えば、画像データの１つ以上の異なる加重組み合わせが、任意の特定の属性の他の組み合わせと比較して、より多くの情報内容を有するものとして識別され得る。本発明は、属性推定過程が、平滑化および区分化過程と相互依存的に、異なる画像からのデータを選択的に利用することを可能にする。
【００２７】
加えて、情報抽出プロセッサ１３０は、平滑化、区分化、および属性推定過程のうちの任意のものに対して、撮像した場面内の異なる場所において異なる方法でデータを選択的に利用し得る。例えば、データセット内の各画像が、異なる角度で撮影された個人の写真に対応する場合、これらの画像の一部のみが、個人の顔の特徴に関する情報を含む。したがって、これらの画像は、撮像した場面内の顔の領域に関する情報を抽出するために、情報抽出プロセッサ１３０によって選択的に使用される。本明細書で提示される情報抽出方法は、平滑化、区分化、および属性推定過程と相互依存的に、異なる場所における撮像した場面内の要素を分解するために画像データを選択的に利用することが可能である。
【００２８】
関心の属性の数および利用可能な画像の数は、独立であり得ることに留意することが重要である。例えば、いくつかの属性を単一の画像内で推定することができ、または複数の画像が単一の属性を推定するように組み合わせられ得る。
【００２９】
（Ｃ．用途：航空撮像）
情報抽出方法をより明確に説明するためには、実施例が役立つ。図３は、図２の方法論に従って図１の画像分析システムによって処理するための３つの画像３１０、３２０、３３０を描写する。これら３つの画像は、同じ場面を表し、画像３１０は、航空写真であり、画像３２０は、雲量の衛星レーダ画像であり、画像３３０は、空中サーモグラム（場面内の要素によって発せられる熱放射を測定する）である。これら３つの画像は、３つの異なる撮像モダリティ、すなわち、場面に関する情報を捕捉する方法を表し、したがって、単一のモダリティよりも多くの種類の現象を検出することが可能である。実施例では、画像３２０は、雲の存在を表す。画像３３０は、場面内の住居の特性を示し得る、高熱放射の領域を明らかにする。住居は、木葉および雲量で隠されているため、画像３１０の中では検出しにくい。本情報抽出方法の強みのうちの１つは、場面内の下にある要素を最も良く明らかにするように複数のモダリティを組み合わせる能力である。異なるモダリティの組み合わせは、以下でより詳細に論議される。
【００３０】
情報抽出プロセッサ１３０は、データベース１２０からこれら３つの画像を取得し、次いで、一式の平滑化したデータ２７０、場面内の一式の区分２８０、および場面内の属性の推定値２９０を出力する。目的が、地上の構造の最も正確な表現を取得することである場合、一式の平滑化したデータ２７０は、図解３４０で描写されるとおりであり得る。平滑化したデータ２７０を生成するために、情報抽出プロセッサ１３０は、覆い隠す木葉を除去し、地上の構造のより明確な図解を生成するために、画像３２０からの雲量に関する情報および画像３３０からの住居の潜在的存在を使用している。画像データを区分化することにより、住居および道路の輪郭が識別される、図解３５０で描写される一式の区分化したデータ２８０をもたらし得る。ユーザの関心に応じて、情報抽出プロセッサ１３０はまた、画像３１０内の木葉または画像３２０内の雲等の場面内の付加的な要素を平滑化し、区分化し得る。情報抽出プロセッサ１３０はまた、図解３６０で描写されるように、属性推定過程２６０を介して、住居および道路のそれぞれを構築するために使用される材料を識別し得る。以下でより詳細に論議されるように、属性推定過程２６０は、撮像した場面内の「アスファルト」および「アルミニウム」表面を識別するために、適合的近傍調整過程２６５を介して、異なる近傍を使用し得る。いったん処理データが利用可能になると、撮像した場面内の要素を分類するために分類プロセッサ１６０が使用されてもよく、例えば、図解３７０は、平滑化、区分化、および属性推定過程２４０−２６０の全ての結果を使用して、撮像した場面内の「道路」および「住居」を識別する。平滑化、区分化、および属性推定過程２４０−２６０の付加的な実施形態は、以下で説明される。
【００３１】
（Ｄ．適合的近傍化）
ノイズの多い画像から一式の平滑化したデータ２７０を生成する時、またはそれらの属性値に従って区分を分類する場合に、撮像した場面内のどの場所がエッジに対応し、どれが対応しないかを区別できることが望ましい。エッジが識別されると、次いで、情報抽出プロセッサ１３０は、そのエッジの両側およびエッジ自体の上の場所を別個に処置し、平滑化および分類性能を向上させる。次いで、平滑化、区分化、および属性推定過程中に、選択的に局所情報を使用することが望ましい。したがって、一実施形態では、適合的近傍調整過程２６５において、周囲の場所の近傍に基づいて各場所で決定が行われる。本発明の一実施形態は、近傍を撮像した場面内の各特定場所と関連付ける。各近傍は、特定の場所の付近のいくつかの他の場所を含む。次いで、情報抽出プロセッサ１３０は、平滑化、区分化、および属性推定過程２４０−２６０に集中して、場所に関する情報をより適切に抽出するために、各場所の近傍を使用することができる。その最も単純な形態で、各場所に関連付けられる近傍は、固定されたサイズ、形状、および配向、例えば、固定半径を伴う円を有することができる。しかしながら、柔軟性のない近傍サイズおよび形状を使用することには、いくつかの欠点がある。例えば、場所がエッジの上に位置する場合には、固定された近傍に依存する平滑化および属性推定過程は、エッジの両側の場面要素からの情報を使用し、誤った結果につながる。１つの改良は、局所情報に基づいて各場所の近傍のサイズを調整することである。さらなる改良は、適合的近傍調整過程２６５において、局所特性により良く合致するように、場所の近傍のサイズ、形状、および配向を調整することを含む。これらの実施例は、以下でより詳細に説明される。
【００３２】
一実施形態では、情報抽出プロセッサ１３０は、撮像した場面内の周囲の場所の近傍のサイズ、形状、および配向特性を調整しながら情報抽出方法を行う。具体的には、プロセッサ１３０は、平滑化、区分化、および属性推定過程２４０−２６０と相互依存的に、各場所に関連付けられる近傍の特性を適合させる。別の実施形態では、情報抽出プロセッサ１３０は、情報抽出プロセッサ１３０によって分析される各属性に、別個の独立して適合された近傍を利用する。
【００３３】
適合的近傍サイズ、形状、および配向を利用することの便益性は、図４Ａ−４Ｃおよび図５で見ることができる。図４Ａ−４Ｃは、３つの異なる近傍ベースのアプローチを図示する。各実施例の図４Ａ−４Ｃは、エッジ、および対応する場所におけるいくつかの例証的近傍４１０−４３０を描写する。第１の実施例は、撮像した場面内の各場所に関連付けられる近傍４１０が同一であるアプローチを図示する。図４Ａでは、全ての近傍４１０は、固定された半径を伴って該場所を中心とする円である。図４Ｂでは、全ての近傍４２０は円形であるが、近傍４２０がエッジに重複することを回避するために変化することが許される半径を伴う。図４Ｃでは、本発明の例示的実施形態では、近傍４３０は、局所領域の特性により良く適合するように、それらのサイズ、形状、および配向を変化させることが許される楕円である。
【００３４】
そのような適合を提供することができる改良を実証するために、未加工画像データ内に存在するノイズを低減させるように平滑化過程２４０内に平均化ステップを含む、情報抽出方法の例示的実施形態を考慮する。平均化ステップは、その場所における画像データ値を関連近傍内に入る場所のそれぞれにおける画像データ値の平均と置換することによって、各場所（関連近傍を伴う）における平滑化したデータ値を生成する。
【００３５】
図４Ａ−４Ｃを参照すると、この平均化は、示された近傍４１０−４３０上で行われる。図４Ａでは、平均化は、エッジ値にわたって、および区分を横断して生じ、区分間の区別を不鮮明にする。近傍４１０に従った数学的定式化は、以下によって与えられ、
【００３６】
【化１】
【００３７】
式中、ｇは、画像データであり、ｕは、平滑化したデータであり、α、βは、調整可能なパラメータであり、積分が領域Ｒ中の全ての場所Ｘにわたって得られる。
【００３８】
図４Ｂでは、エッジ付近の場所は、エッジに重複することを回避するように必然的に小さく、したがって、よりノイズの影響を受けやすい、関連近傍４２０を有する。近傍４２０に従った数学的定式化は、以下によって与えられ、
【００３９】
【化２】
【００４０】
式中、ｇは、画像データであり、ｕは、平滑化したデータであり、ｖは、エッジ値であり、α、β、ρは、調整可能なパラメータである。図４Ｂに図示されたものに関係する方法は、その全体が参照することにより本明細書に組み込まれる、”Ｍｏｄｅｌ−ｂａｓｅｄ ｖａｒｉａｔｉｏｎａｌ ｓｍｏｏｔｈｉｎｇ ａｎｄ ｓｅｇｍｅｎｔａｔｉｏｎ ｆｏｒ ｄｉｆｆｕｓｉｏｎ ｔｅｎｓｏｒ ｉｍａｇｉｎｇ ｉｎ ｔｈｅ ｂｒａｉｎ，” Ｎｅｕｒｏｉｎｆｏｒｍａｔｉｃｓ， ｖ． ４ ２００６で、Ｄｅｓａｉらによって、人間の脳の拡散テンソル撮像データを分析するために使用された。
【００４１】
サイズ、形状、および配向が変化することが許される、図４Ｃでは、各場所が平均化する近傍４３０を選択的に識別することを可能にし、ノイズ低減性能を向上させながら、エッジを横断する平均化が防止される。近傍４３０に従った数学的定式化は、以下によって与えられ、
【００４２】
【化３】
【００４３】
ｇは、画像データであり、ｕは、平滑化したデータであり、Ｖは、近傍を表す対称的な正定値の２×２行列であり、ｗは、データ忠実度項を重み付けし、ＦおよびＧは、関数であり、α、β、ρ、ρｗは、調整可能なパラメータである。情報抽出プロセッサ１３０はまた、近傍のサイズ、形状、および配向を調整するために、平滑化および属性推定過程１５０−１６０から生じる情報を使用することもできる。
【００４４】
（Ｅ．実施例：ノイズの多い画像）
図５は、図４Ｃに図示されるような第３の近傍４３０のような適合的近傍で達成可能な性能向上を明示する。黒い背景上の白い四角という元の場面５１０は、撮像過程でノイズによって破損され、ノイズの多い画像５２０をもたらす。ノイズの多い画像５２０では、人間の眼で四角と背景とを区別することが困難である。第１の実施例４１０の平滑化方法は、第１の平滑化した画像５３０を生成するように適用される。この方法は、一式のエッジを生成せず、結果として生じる平滑化したデータは、白い長方形の境界線を不鮮明する。第２の実施例４２０の平滑化方法は、第２の平滑化した画像５４０および一式のスカラーエッジ５５０を生成するように適用される。人間の眼には、第２の平滑化した画像５４０は、第１の平滑化した画像５３０と同じくらい不明瞭であり、スカラーエッジ５５０は拡散している。
【００４５】
本発明の例示的実施形態である、第３の実施例４３０の平滑化方法は、第３の平滑化した画像５６０、および各ピクセルに関連付けられるマトリクス値エッジをもたらす。エッジがマトリクス値であるため、それらをスカラーエッジ５５０と同様に表すことは可能ではない。エッジマトリクスに関連付けられる１つの有意義なスカラー値は、そのトレースであり、したがって、第３の実施例４１０は、マトリクス値エッジの一式のトレース５７０と関連付けることができる。本発明の付加的な実施形態は、境界情報についてマトリクス値エッジの固有値および固有ベクトルの関数を調べることを含む。第３の平滑化した画像５６０は、第１または第２の平滑化した画像５３０および５４０よりもはるかに鮮明であり、境界は、一式のスカラーエッジ５５０よりもマトリクス値エッジの一式のトレース５７０によってはるかに明確に線引きされる。平滑化過程と相互依存的に、近傍のサイズ、形状、および配向を適合させる第３の実施例の能力は、図５で明示される，向上した情報抽出性能を可能にする。
【００４６】
（Ｆ．エネルギー関数アプローチ）
情報抽出方法の１つの特定の実施形態が、図６に図示されている。上記で論議されるように、近傍適合過程は、関心の属性のそれぞれに行うことができる。各場所で、異なる近傍を各属性について決定することができ、これは、各属性に対する属性値および属性エッジ値の識別を可能にする。図６は、入力として、画像データ、属性の予備知識、画像データ内の区分（および関連エッジ）６１０、平滑化した画像データ６２０、属性推定値内の区分（および関連エッジ）６３０、および属性推定値６４０を取り込む、反復過程を描写する。図６の反復過程を適用し始めるためには、入力６１０、６２０、６３０、および６４０に対する初期値を、ユーザによって特定するか、またはプロセッサ１３０によって自動的に選択することができる。適合過程は、望ましくない実施に対するペナルティを含む、エネルギー関数を最小限化しようと努める。エネルギー関数に含むことができる、いくつかのペナルティ例が、エネルギー関数要素ブロック６５０に描写されている。これらは、画像データと平滑化したデータとの間の不一致に対するペナルティ、データ内の過剰なエッジの指定に対するペナルティ、属性内の過剰なエッジの指定に対するペナルティ、データ内のエッジの不連続または非平滑性に対するペナルティ、属性内のエッジの不連続または非平滑性に対するペナルティ、平滑化したデータ内の不連続または急激な変化、および属性推定値の不連続または急激な変化を含む。エネルギー関数への入力を使用して、エネルギー値を計算することができ、次いで、入力６１０、６２０、６３０、および６４０は、より低いエネルギー値を達成するように適合的に調整される。
【００４７】
この実施形態の１つの実装では、エネルギー値の決定は、以下の式にしたがって計算され、
【００４８】
【化４】
【００４９】
式中、ｅ１、ｅ２、ｅ３、ｅ４、ｅ５は、以下で説明されるような誤差項である。平滑化したデータｕ、区分のエッジυｕ、属性θ、および属性区分のエッジυθに対する値は、角括弧内に含まれる式を最小限化するために、各（ｘ、ｙ）座標について選択され、平面全体にわたって積分される。この式は、画像データｇ、属性θを伴うデータ関数Ｔ（θ）、パラメータλｕ、αｕ、ρｕ、λθ、αθ、ρθに依存し、式中、
【００５０】
【化５】
【００５１】
【化６】
【００５２】
である。
項ｅ１は、画像データと平滑化したデータとの間の不一致に対するペナルティであり、項ｅ２は、平滑化したデータ内の不連続に対するペナルティであり、項ｅ３は、エッジの存在およびエッジの不連続に対するペナルティを含み、項ｅ４は、属性推定値における不連続に対するペナルティを含み、項ｅ５は、属性エッジの存在および属性エッジの不連続に対するペナルティを含む。当業者であれば、エネルギー関数に含むことができる多くの付加的なペナルティがあり、適切なペナルティの選択は、手元の用途に依存することを認識するであろう。同等に、この問題は、異なる報酬項が、情報抽出方法に対する異なる望ましい性能要件に対応する、報酬関数の最大限化として表すことができる。例えば、勾配降下法といった、当業者によってこの特定の数学的定式化に容易に適用することができる、多くの標準数値技法がある。これらの技法は、本明細書で説明される実施形態の任意のもので実装することができる。
【００５３】
別の実施形態では、最小エネルギー値の計算は、以下の式に従って行われ、
【００５４】
【化７】
【００５５】
式中、ｅ１、ｅ２、ｅ３、ｅ４、ｅ５は、以下で説明されるような誤差項である。平滑化したデータｕ、区分のエッジｗ、測定モデルパラメータのエッジフィールドυｍ、過程モデルパラメータのエッジフィールドυｕ、測定モデルパラメータのエッジフィールドυｍ、過程パラメータ相関のエッジフィールドυｃ、過程モデルパラメータθｕ、および測定モデルパラメータθｍに対する値は、角括弧内に含まれる式を最小限化するために、各（ｘ１、ｘ２、・・・、ｘＮ、ｔ）座標について選択され、１次元時間変数で増強されたＮ次元画像データ空間全体にわたって積分される。誤差項は、以下によって与えられ、
ｅ１＝βＭ（ｕ，ｇ，ｗ，θｍ）、
ｅ２＝αｍＬｍ（θｍ，υｍ）、
ｅ３＝αｕＣｕ（ｕ，υｕ，θｕ）、
ｅ４＝αＣＬＣ（υＣ，θｕ）、および
ｅ５＝π（ｕ，ｗ，υｍ，υｎ，υＣ，θｕ，θｍ）
式中、Ｍは、データ忠実度を測定する関数であり、Ｌｍは、測定モデルパラメータを推定し、Ｃｕは、過程モデル空間相関を測定し、Ｌｃは、過程モデルパラメータを推定し、πは、未知の変数の事前分布を表し、β、αｍ、αｕ、αｃは、過程が項ｅ１、ｅ２、ｅ３、ｅ４に異なる重点を置くことを可能にするパラメータである。
【００５６】
（Ｇ．網膜撮像）
上記で説明されるように、網膜の異常の正確、迅速、および便利な診断の必要性が深刻である。この必要性に対処するために、本明細書では、網膜画像を分析し、中程度の技能を持つ臨床医が世界中の多数の患者の網膜疾患を効率的に評価するのに役立つことができるように、網膜症の重症度の臨床的に確証された決定を提供することができる、自動分類および意思決定支援方法およびシステムが説明される。これらのシステムおよび方法は、以下を含む、網膜の異常の検出のいくつかの特定の課題に対処するために開発されてきた。
１．血管における異常が、血管に沿った他の場所でのその特定の血管の幾何学形状に関連する。
２．異常な特徴が、血管の幾何学形状の非線形関数である。
３．異常は、微妙であり、ノイズおよび撮像アーチファクトによって容易にカモフラージュされる場合がある。
４．網膜画像は、典型的には、血管および網膜背景上で空間的に変化する低い信号対雑音（ＳＮＲ）特性を有する。
【００５７】
本明細書で開示される技法によって検出される網膜の異常は、静脈内径異常（ＶＣＡＢ）、視神経円板内の新しい血管分布（ＮＶＤ）、他の場所の新しい血管分布（ＮＶＥ）、網膜内細小血管異常（ＩＲＭＡ）、微細動脈瘤、ならびに前網膜および硝子体出血を含む。これらの異常のそれぞれは、施術医によって使用される、糖尿病性網膜症の早期治療研究の診断ガイドラインで分類されている。例えば、ＶＣＡＢは、微妙および急激の両方である、網膜内の血管の変形である。一部の患者では、ＶＣＡＢは、血管のサイズおよび配向が急激に、またはゆっくりと変化する、血管病変として症状を示す。ＶＣＡＢおよび他の異常を正確に検出し、分類するために、臨床医または自動意思決定システムは、血管の境界、サイズ、および配向の信頼できる決定によって支援される。本明細書で説明される網膜の異常の検出のためのシステムおよび技法は、上記で説明される平滑化および区分化アプローチを基礎とすることによって、この用途の特定の課題に対処する。
【００５８】
ここで、網膜の異常の検出のためのシステムおよび技法について論議する。網膜撮像用途では、図１の画像分析システム１００の構成要素は、網膜撮像に好適となるように選択され得る。例えば、システム１００の画像捕捉デバイス１１０は、眼の内面（例えば、網膜、視神経円板、斑、および後極）を撮像することが可能である、アナログまたはデジタル眼底カメラであり得る。画像捕捉デバイス１１０は、１つ以上の波長の光とともに使用されてもよく、異なる関心の波長を通過させる、または遮断する（例えば、血管造影法中に蛍光色を通過させる）ための光学フィルタを含み得る。眼底カメラは、撮像前に患者の眼が点眼薬で拡張される散瞳診断で、または非散瞳診断で使用され得る。図１を参照して上記で説明されるように、画像捕捉デバイス１１０によって捕捉される画像は、スカラー、ベクトル、またはマトリクス値であってもよく、時間の関数として変化し得る。網膜画像は、情報抽出プロセッサ１３０、ディスプレイ１４０、および結果データベース１５０（図１）によるリアルタイムまたは以降の処理、分析、および再検討のために、画像データベース１２０に記憶することができる。これらの構成要素は、本明細書で説明される実施形態のうちのいずれかの形態を成すことができる。情報抽出プロセッサ１３０は、本明細書で説明される網膜の異常の検出技法のうちのいずれか１つ以上を行うように構成される。
【００５９】
図７は、実施形態による、網膜の異常を検出するための技法７００における例証的なステップのフロー図である。技法７００は、図１の情報抽出プロセッサ１３０等の画像分析システム１００に含まれる（またはそれと遠隔通信している）任意の好適な処理デバイス（例えば、非一過性コンピュータ可読媒体を実行する）によって実装され得る。以下の説明で例証を容易にするために、技法７００は、撮像分析システム１００によって実行されるものとして説明される。ステップ７０２で、システム１００は、網膜の画像を受信する。網膜画像は、上記で説明される画像捕捉デバイス１１０等の任意の好適なソースに由来し得る。ステップ７０２で受信される網膜画像は、好ましくは、デジタルであるが、以降にデジタル化されるアナログ画像であり得る。
【００６０】
ステップ７０４では、システム１００は、本明細書で説明される平滑化、区分化、および属性推定技法のうちのいずれかの形態を成し得る、平滑化および区分化技法を行う。上記で説明されるように、これらの技法での平滑化および区分化動作は、相互依存的であり、実質的に同時に（例えば、頻繁な交互反復で）行われ得る。いくつかの実施形態では、ステップ７０４で行われる区分化および平滑化技法は、平滑化した画像および／または画像内の複数の場所におけるエッジフィールド強度を決定することを伴う。エッジフィールドは、（例えば、方程式１で例証されるような）スカラー値エッジフィールド、（例えば、方程式２で例証されるような）ベクトル値エッジフィールド、（例えば、方程式３で例証されるような）マトリクス値エッジフィールド、またはそれらの組み合わせであり得る。いくつかの実施形態では、ステップ７０４で行われる平滑化および区分化技法は、画像内の複数の場所に関連付けられる近傍を規定する形状および配向のうちの少なくとも１つを適合的に調整することを含む。これらの実施形態の任意のもので、システム１００は、上記で論議されるように、誤差測定基準に関連付けられるエネルギー関数の値を低減させるように、平滑化および区分化技法を行い得る。ステップ７０４のいくつかの特定の実施形態の詳細な説明が続く。
【００６１】
いくつかの実施形態では、画像内の各場所は、画像が平滑化され、エッジフィールドが推定される楕円近傍に関連付けられ、近傍のサイズ、形状、および配向は、場所によって異なる。エッジ（例えば、血管縁）として識別される場所の近傍は、（例えば、図４Ｃに図示されるように）エッジを横断する平滑化によってエッジの「不鮮明化」を制限するようにサイズが適合的に縮小される。この定式化は、以下のように表すことができ、
【００６２】
【化８】
【００６３】
式中、ｇは、画像捕捉デバイス１１０によって出力される網膜画像データであり、ｕは、平滑化したデータであり、Ｖは、２ｘ２対称エッジマトリクスフィールドであり、Ｘは、平滑化および区分化が行われる画像であり、α、β、ρは、調整可能なパラメータである。上記で説明されるように、平滑化が主に近傍に位置するピクセルに基づいて発生するように、第１項を、Ｉ−Ｖによってｕの勾配を罰する平滑忠実度項として解釈することができる。第２項は、入力画像データからの平滑化した画像データの偏差を罰するデータ忠実度項である。スカラー項Ｇ（Ｖ）がエッジ強度を罰する一方で、Ｆ（ＶＸ）は、ＶＣＡＢの特徴であり得る「よじれ」を認識しつつ平滑なエッジに対する選択の均衡を保つ。任意の特定の画像およびパラメータ値に対する方程式６を解くために、任意の数値技法が使用され得るが、１つのアプローチは、解の基礎を形成するオイラー・ラグランジェ方程式の使用を含む。方程式６について、オイラー・ラグランジェ方程式は、以下の通りである。
【００６４】
【化９】
【００６５】
【化１０】
【００６６】
いくつかの実施形態では、ステップ７０４においてシステム１００によって行われる平滑化および区分化は、２つ以上の異なるエネルギー関数定式化の結果を組み合わせることを含む。例えば、第１のエネルギー関数定式化は、上記の方程式２の形態を成し、システム１００は、パラメータｕおよびＶの値を決定するように、本明細書で説明される計算技法のうちのいずれかを行い得る。次に、システム１００は、以下のような第１のエネルギー関数定式化とは異なる誤差測定基準を使用する第２のエネルギー関数定式化を適用し、
【００６７】
【化１１】
【００６８】
これは、方程式２で使用される２ノルムの代わりに、平滑化およびデータ忠実度項上に１ノルムを含む。他の実施形態では、方程式１および３−６のうちの任意のエネルギー関数定式化は、異なる誤差測定基準とともに使用され得る。
【００６９】
方程式２および９の異なるエネルギー関数定式化によって生成される、異なる平滑化および区分化の結果が、図９Ａ−９Ｃに図示されている。図９Ａは、カラー眼底画像の一部分である。図９Ｂは、方程式２のエネルギー関数定式化に従って決定される、図９Ａのエッジを描写する。図９Ｃは、方程式９のエネルギー関数定式化に従って決定される、図９Ａのエッジを描写する。図９Ｂが、より平滑およびより強い主要エッジを示す一方で、図９Ｃは、少ない平滑化を示し、よりかすかなエッジを保持する。いったんシステム１００が、２つの異なるエネルギー関数を最小限化する平滑化および区分化パラメータを決定すると、システム１００は、平滑化したデータおよびエッジデータの２組の異なって抽出された属性に関する情報を組み合わせ得る。この組み合わせは、２組の属性の空間および強度特性の補強と分化との両方に基づく病変の検出を可能にすることができる。いくつかの用途では、検出は、存在し得る異なる分類の病変の予備知識、ならびに同じ患者または患者集団の網膜画像の他の部分に対する属性の空間変動によって支援され得る。いくつかの実施形態では、ある網膜の異常から生じるもの等の、かすかな血管を検出するために、両方の定式化が使用され得る。具体的には、新血管形成（ＮＶＤおよびＮＶＥ）、ＩＲＭＡ、および候補微細動脈瘤の存在を決定するために、高次論理を使用して、強弱コントラストエッジを組み合わせることができる。加えて、いくつかの実施形態では、ステップ７０４（図７）の区分化および平滑化を行うようにシステム１００によって実装されるエネルギー関数定式化は、単一のエネルギー関数定式化内の異なる項（例えば、平滑化およびデータ忠実度項）を評価するための２つ以上の異なる誤差測定基準を含む。
【００７０】
システム１００がステップ７０４で平滑化および区分化を行った後に、システム１００は、平滑化および区分化された画像において少なくとも１つの網膜特徴（血管等）を識別する（ステップ７０６）。図１０Ａ−１０Ｃは、未処理の網膜眼底画像（図１０Ａ）、ステップ７０４による平滑化および区分化を受けた処理画像（図１０Ｂ）、血管候補を含む図１０Ｂの画像の一部分の拡大図（図１０Ｃ）を描写する。図１０Ｂおよび１０Ｃの平滑化および区分化された画像において網膜特徴を識別するために、いくつかの技法が使用され得る。好ましい網膜特徴識別技法が、図１１Ａ−１１Ｃに図示されている。図１１Ａは、エッジ値が閾値を超える、図１０Ｃの処理画像内の場所を描写する。好ましい実施形態では、使用される閾値は、各場所の局所近傍（平滑化および区分化に使用される同じ近傍であり得る）における平均エッジ値を決定することによって、該場所について適合的に決定される。図１１Ａは、網膜特徴の境界の第１の近似を提供するが、いくつかの無関係な境界（境界１１０２および１１０４等）を含む。システム１００は、無関係な境界を除去または低減し、図１１Ｂの画像をもたらす、図１１Ａの画像に「開放」形態技法を適用するように構成される。そのような技法の実施例は、２０１０年１０月１２日に最終アクセスされ、その全体で参照することにより本明細書に組み込まれる、ｈｔｔｐ：／／ｃｍｍ．ｅｎｓｍｐ．ｆｒ／〜ｓｅｒｒａ／ｐｄｆ／ｂｉｒｔｈ＿ｏｆ＿ｍｍ．ｐｄｆで入手可能なＭａｔｈｅｒｏｎらの「Ｔｈｅ Ｂｉｒｔｈ ｏｆ Ｍａｔｈｅｍａｔｉｃａｌ Ｍｏｒｐｈｏｌｏｇｙ」で説明されている。次いで、システム１００は、図１１Ｃに示されるような網膜特徴に対応する画像の一部分を充填するために、図１１Ｂの向上した境界を使用することができる。
【００７１】
システム１００はまた、ステップ７０６で、識別された網膜特徴（例えば、血管）の少なくとも１つの経路を決定するように構成され得る。経路は、血管の近似中心線、または網膜特徴の幾何学形状の別の表現であり得る。図１２Ａ−１２Ｄは、好適な経路検出技法を図示する。図１２Ａは、カラー眼底画像であり、図１２Ｂは、図１２Ａが（ステップ７０４に従って）平滑化および区分化を受けた後のボックス１２０２に対応する図１２Ａの一部分の拡大図である。図１２Ｃは、図１２Ｂの画像が図１１を参照して上記で説明される血管識別を受けた後のボックス１２０４に対応する図１２Ｂの一部分の拡大図である。図１２Ｄは、図１２Ｃの画像に「骨格化」技法を適用することの結果を図示する。骨格化技法は、一般的に知られており、画像の構造枠組または「骨格」を識別するために画像処理で使用される。多くの好適な骨格化技法が文献で説明されている。例えば、その全体で参照することにより本明細書に組み込まれる、Ｒｅｎｉｅｒｓらによる”Ｓｋｅｌｅｔｏｎ−ｂａｓｅｄ ｈｉｅｒａｒｃｈｉｃａｌ ｓｈａｐｅ ｓｅｇｍｅｎｔａｔｉｏｎ，” Ｐｒｏｃ． ｏｆ ｔｈｅ ＩＥＥＥ Ｉｎｔ． Ｃｏｎｆ． ｏｎ Ｓｈａｐｅ Ｍｏｄｅｌｉｎｇ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ， ｐｐ． １７９−１８８ （２００７）を参照されたい。
【００７２】
しかしながら、図１２Ｄに図示されるように、血管および他の網膜特徴に適用される骨格化技法は、主要血管経路から生じる側枝（側枝１２０８および１２１０等）をもたらすことができる。いくつかの実施形態では、システム１００は、付加的な処理ステップを行う前に、骨格化した画像からこれらの側枝を除去する。
【００７３】
図１３Ａ−１３Ｃは、システム１００が平滑化および区分化された画像において血管を識別する時の動作およびステップ７０６で生成され得る中間結果の付加的な図解を提供する。図１３Ａは、平滑化および区分化された画像を描写し、図１３Ｂは、エッジ値によって決定される血管境界を描写し、図１３Ｃは、近似中心線を見つけるように図１３Ｂの画像を骨格化することによって得られる、血管の経路を図示する。いくつかの実施形態では、血管境界は、エッジ値に加えて、またはエッジ値の代わりに、強度値によって決定され得る。
【００７４】
ステップ７０８では、システム１００は、網膜の異常を識別するように、平滑化および区分化された画像において識別された網膜特徴に関連付けられるデータ、エッジ、および他の属性を分析する。システム１００は、異なる異常を識別する異なる特徴の存在について、平滑化および区分化された画像を評価するように、ハードウェアまたはソフトウェアを伴って構成され得る。ここで、いくつかの特徴および異常識別技法について論議する。
【００７５】
図８は、実施形態による、異常検出技法８００のフロー図である。技法８００は、いくつかある異常の中でも特に、例えば、静脈内径異常（ＶＣＡＢ）および数珠状静脈を識別することによく適している。ステップ８０２では、システム１００は、識別された網膜特徴に関連付けられる経路を決定する。このステップは、図７のステップ７０６を参照して上記で説明されるように行われ得る。例えば、経路は、近似中心線を決定するように血管の平滑化および区分化された画像を骨格化することによって得られ得る。
【００７６】
ステップ８０４では、システム１００は、ステップ８０２で決定される経路の変動を決定する。これを行うために、システム１００は、
・経路に沿った異なる場所における経路の配向の角度、
・経路に沿った異なる場所における血管の直径
を含む、経路（およびそれが表す網膜特徴）の１つ以上の異なる性質を検出するように構成され得る。血管に沿ったこれらの性質の空間変動は、網膜の異常の指標として使用され得る。具体的には、ステップ８０６では、システム１００は、経路に沿った任意の場所での変動が閾値を超えるかどうかを決定する。「はい」であれば、システム１００は、ステップ８０８に進み、該場所において網膜の異常を識別する。ここで、技法８００のいくつかの例証的実施形態について論議する。
【００７７】
図１４Ａ−１４Ｃは、システム１００が、ステップ８０４における識別された網膜特徴の経路の傾斜の変動を決定する、実施形態を図示する。図１４Ａは、（図１３を参照して上記で論議されるような）識別された血管およびその中心線１４０２を描写する。図１４Ｂは、その長さに沿った（すなわち、連続する複数の場所における）中心線１４０２の傾斜の絶対値のグラフである。隣接ピクセル間の離散距離により、図１４Ｂの経路に沿った任意の点での傾斜が離散化される（ここでは０または
【００７８】
【化１２】
【００７９】
）ことに留意されたい。図１４Ｃは、図１４Ｂで描画された４つの傾斜の移動窓平均のグラフであり、各移動窓平均は、異なるピクセル窓幅（ここでは、５（青）、６（赤）、７（緑）、および８（黒））を有する。中心線１４０２の傾斜の移動窓平均を行うことは、傾斜結果をフィルタにかける１つの方法であり、任意の他のフィルタリング動作またはフィルタリング動作の組み合わせが適用され得る。
【００８０】
図１４Ｃは、ボックス１４０６の領域中の図１４Ａの持続した傾斜変化に対応する、ボックス１４０４の領域中のピークを示す。システム１００は、図１４Ｃのフィルタにかけられた傾斜が比較される閾値を含んでもよく、フィルタにかけられた傾斜（例えば、経路の変動）が閾値を超える場合に、異常が識別される（ステップ８０８）。
【００８１】
図１５Ａ−１５Ｃは、システム１００が、ステップ８０４における識別された網膜特徴の配向の角度の変動を決定する、実施形態を図示する。図１５Ａは、識別された血管およびその中心線１５０２を描写し、図１５Ｂは、その長さに沿った（すなわち、連続する複数の場所における）中心線１５０２の配向の角度のグラフである。隣接ピクセル間の離散角度により、図１５Ｂの経路に沿った任意の点での角度が離散化される（ここでは−４５、０、または４５度）ことに留意されたい。図１５Ｃは、図１５Ｂで描画された４つの角度の移動窓平均のグラフであり、各移動窓平均は、異なるピクセル窓幅（ここでは、５（青）、６（赤）、７（緑）、および８（黒））を有する。図１５Ｃは、ボックス１５０６の領域中の図１５Ａのよじれに対応する、ボックス１５０４の領域中のピークを示す。図１４Ａ−１４Ｃに関して上記で論議されるように、フィルタにかけられた角度が閾値を超える場合に、システム１００は、異常を識別し得る（ステップ８０８）。
【００８２】
図１６Ａ−１６Ｃは、システム１００がステップ８０４における網膜特徴の半径の変動を決定する、実施形態を図示する。図１６Ａは、識別された血管およびその中心線１６０２を描写し、図１６Ｂは、中心線１６０２の長さに沿った（すなわち、連続する複数の場所における）血管の半径のグラフである。図１６Ｃは、中心線１６０２に沿った対応する点における血管の半径を示すために、色の変化を使用し、ボックス１６０６の領域中の図１６Ａの狭窄に対応する、ボックス１６０４の領域中の赤い狭窄を示す。図１４Ａ−１４Ｃに関して上記で論議されるように、半径が特定の半径以下に減少する（または公称あるいは平均半径の特定割合以下に減少する）と、システム１００は、狭窄が閾値を超えたことを決定し、異常を識別し得る（ステップ８０８）。いくつかの実施形態では、システム１００は、その長さに沿った血管の半径の有為な変動を検出することによって、例えば、その局所標準偏差によって半径を正規化し、正規化半径を分析することによって、ステップ８０８における数珠状静脈異常を識別し得る。
【００８３】
いくつかの実施形態では、傾斜、角度、および半径以外の特性が、システム１００によって検出および分析される。例えば、システム１００は、ＰＲＨの検出および分類のために構成され、そのようなパラメータ（例えば、縦横比）、覆われた網膜の面積、病変のサイズ、ならびに内側および外側のテクスチャ等の特性を識別し得る。他の実施例では、システム１００は、ＩＲＭＡＳの検出および分類のために構成され、形状、候補ＩＲＭＡ血管の輪郭によって覆われる面積、および輪郭が閉鎖しているか否か等の特性を識別し得る。いくつかの実施形態では、血管の境界は、血管特性を識別するように別個に分析され得る。例えば、血管の境界におけるエッジ値の急速な変化は、異常を示し得る。
【００８４】
いくつかの実施形態では、システム１００は、分岐部が、血管の一部として識別される場所に存在するかどうかを決定するように構成され得る。システム１００は、（例えば、図８のステップ８０６に関して上記で論議されるように）血管の変化が閾値を超えたという決定に応答して、または網膜画像の分析における任意の他の段階で、この決定を行い得る。ある網膜撮像用途では、分岐部の場所は、網膜の病理の診断に関連する。他の網膜撮像用途では、分岐部は、異常検出中に（例えば、システム１００によってＶＣＡＢまたは数珠状静脈として誤って解釈される場合がある時に）望ましくはフィルタによって除去され、またはそうでなければ無視される。いくつかの分岐部検出技法のうちのいずれかが、平滑化および区分化された画像において血管分岐部を識別するために使用され得る。公知の技法の実施例は、その全体で参照することにより本明細書に組み込まれる、Ｚａｎａらによる、”Ａ ｍｕｌｔｉｍｏｄａｌ ｒｅｇｉｓｔｒａｔｉｏｎ ａｌｇｏｒｉｔｈｍ ｏｆ ｅｙｅ ｆｕｎｄｕｓ ｉｍａｇｅｓ ｕｓｉｎｇ ｖｅｓｓｅｌ ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｈｏｕｇｈ ｔｒａｎｓｆｏｒｍｓ，” ＩＥＥＥ Ｔｒａｎｓ． Ｍｅｄ． Ｉｍａｇｉｎｇ， ｖ． １８， ｎ． ５， ｐｐ． ４１９−４２８ （１９９９）で挙げられている。
【００８５】
いくつかの実施形態では、分岐部の識別の後には、網膜の異常に対して２つの「分岐」のそれぞれの別個の分析が続く。図１７Ａ−１７Ｆは、そのような実施形態を図示する。図１７Ａは、平滑化および区分化された眼底画像を描写し、図１７Ｂは、ボックス１７０２によって示される図１７Ａの画像の一部分の拡大図である。図１７Ｂは、血管分岐部を明確に図示する。分岐部の上部分岐は図１７Ｃに図示され、上部分岐の配向の角度は図１７Ｄで描画されている。持続した角度変化は、ボックス１７０４によって示され、ボックス１７０６によって示される網膜の異常に対応する。分岐部の下部分岐は、図１７Ｅのボックス１７０８に図示され、下部分岐の配向の角度は図１７Ｆで描画されている。図１７Ｆのプロットは、持続した角度変化を示さず、したがって、網膜の異常は下部分岐で検出されない。
【００８６】
本明細書で説明されるシステムおよび方法は、硬性白斑および綿状白斑等の非血管網膜特徴および異常に有用に適用される。例えば、綿状白斑は、神経損傷によって引き起こされる網膜上の綿状白斑であり、開示される平滑化、区分化、およびテクスチャ分析技法によって識別することができる。
【００８７】
随意で、システム１００は、本明細書で説明される異常検出技法（それぞれ、図７および８の技法７００および８００等）の前に網膜の画像に適用することができる、１つ以上の前処理技法を伴って構成され得る。これらの前処理技法の実施例は、そのそれぞれが、その全体で参照することにより本明細書に組み込まれる、Ｗａｌｔｅｒらによる、”Ｓｅｇｍｅｎｔａｔｉｏｎ ｏｆ ｃｏｌｏｒ ｆｕｎｄｕｓ ｉｍａｇｅｓ ｏｆ ｔｈｅ ｈｕｍａｎ ｒｅｔｉｎａ： ｄｅｔｅｃｔｉｏｎ ｏｆ ｔｈｅ ｏｐｔｉｃ ｄｉｓｃ ａｎｄ ｔｈｅ ｖａｓｃｕｌａｒ ｔｒｅｅ ｕｓｉｎｇ ｍｏｒｐｈｏｌｏｇｉｃａｌ ｔｅｃｈｎｉｑｕｅｓ，” ｉｎ Ｃｒｅｓｐｏ ｅｔ ａｌ， ｅｄｓ．， Ｌｅｃｔｕｒｅ Ｎｏｔｅｓ ｉｎ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ， ｖ． ２１９９， ｐｐ． ２８２−２８７ （２００１）； Ｗａｌｔｅｒらによる、”Ａ ｃｏｎｔｒｉｂｕｔｉｏｎ ｏｆ ｉｍａｇｅ ｐｒｏｃｅｓｓｉｎｇ ｔｏ ｔｈｅ ｄｉａｇｎｏｓｉｓ ｏｆ ｄｉａｂｅｔｉｃ ｒｅｔｉｎｏｐａｔｈｙ： ｄｅｔｅｃｔｉｏｎ ｏｆ ｅｘｕｄａｔｅｓ ｉｎ ｃｏｌｏｒ ｆｕｎｄｕｓ ｉｍａｇｅｓ ｏｆ ｔｈｅ ｈｕｍａｎ ｒｅｔｉｎａ，” ＩＥＥＥ Ｔｒａｎｓ． Ｍｅｄ． Ｉｍａｇｉｎｇ， ｖ． ２１， ｐｐ． １２３６−１２４３ （２００２）；およびＷａｌｔｅｒらによる、”Ａｕｔｏｍａｔｉｃ ｄｅｔｅｃｔｉｏｎ ｏｆ ｍｉｃｒｏａｎｅｕｒｙｓｍｓ ｉｎ ｃｏｌｏｒ ｆｕｎｄｕｓ ｉｍａｇｅｓ，” Ｍｅｄ． Ｉｍａｇｅ Ａｎａｌｙｓｉｓ， ｖ． １１， ｐｐ． ５５５−５６６ （２００７）で説明されているコントラスト強化、位置合わせ、および他の形態学的技法を含む。
【００８８】
加えて、１つ以上の強固な逐次検出アルゴリズムを適用することによって、中間データセット（例えば、傾斜、配向の角度、半径等）内の点スパイクが選択的に除去され得る。１つのそのようなアルゴリズムは、その全体で参照することにより本明細書に組み込まれる、”Ｄｕａｌ ｓｅｎｓｏｒ ｆａｉｌｕｒｅ ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ｕｓｉｎｇ ａｎａｌｙｔｉｃ ｒｅｄｕｎｄａｎｃｙ，” Ｊ． Ｇｕｉｄａｎｃｅ ａｎｄ Ｃｏｎｔｒｏｌ， ｖ． ２， ｎ． ３， ｐｐ． ２２１３−２２２０ （１９７９）で説明されている。
【００８９】
上記で論議されるように、本明細書で説明される画像分析技法は、テクスチャ等の画像属性を識別することができる。いくつかの網膜撮像用途では、テクスチャ分析は、異常、特に、微細または高空間周波数異常の検出を向上させる。エッジは、「より高い周波数」の特徴の一種の尺度を提供し、その他も使用され得る。テクスチャ分析のための従来のアルゴリズムは通常、分析される領域が、比較的均質なサブテクスチャの長方形の小領域を含むように十分大きいことを要求する。しかしながら、網膜撮像では、異常構造は小さく、不均質で、不規則な形状である。そのような形状の分析は、これらの異常に適した改良型アルゴリズムを必要とする。
【００９０】
マトリクスエッジオニオンピール（ＭＥＯＰ）方法が、それらのテクスチャに基づいて網膜の異常を識別するために使用され得る。テクスチャ領域が十分大きい、いくつかの実施形態では、テクスチャウェーブレット分析アルゴリズムが使用され得るが、小さいサイズのテクスチャ領域用のＭＥＯＰアルゴリズムと組み合わせられ得る。この方法論は、その全体で参照することにより本明細書に組み込まれる、Ｄｅｓａｉらによる”Ｎｏｉｓｅ Ａｄａｐｔｉｖｅ Ｍａｔｒｉｘ Ｅｄｇｅ Ｆｉｅｌｄ Ａｎａｌｙｓｉｓ ｏｆ Ｓｍａｌｌ Ｓｉｚｅｄ Ｈｅｔｅｒｏｇｅｎｅｏｕｓ Ｏｎｉｏｎ Ｌａｙｅｒｅｄ Ｔｅｘｔｕｒｅｓ ｆｏｒ Ｃｈａｒａｃｔｅｒｉｚｉｎｇ Ｈｕｍａｎ Ｅｍｂｒｙｏｎｉｃ Ｓｔｅｍ Ｃｅｌｌ Ｎｕｃｌｅｉ，” ＩＳＢＩ ２００９， ｐｐ． １３８６−１３８９で説明されている。エネルギー関数アプローチが、同時平滑化および区分化に使用され得る。方法論は、マトリクスエッジフィールド、および平滑化過程モデルに対する測定の適合的重み付けといった、２つの特徴を含む。マトリクスエッジ関数は、テクスチャの異なる領域にわたって平滑化近傍の形状、サイズ、および配向を適合的かつ陰に変調する。したがって、これは、より従来的なスカラーエッジフィールドベースのアプローチでは入手可能ではないテクスチャについての指向性情報を提供する。適合的測定重み付けは、各ピクセルにおける測定間の重み付けを変化させる。
【００９１】
いくつかの実施形態では、網膜の異常を識別するためのノンパラメトリック方法が使用され得る。これらの方法は、レベルセット方法、多重分解能ウェーブレット分析、および分解からのウェーブレット係数の密度関数のノンパラメトリック推定を組み合わせることに基づき得る。加えて、最大内接長方形の窓が、多重分解能分析のための十分な数のピクセルを含まない場合がある、小さいサイズのテクスチャに対処するためには、細長く不規則な形状の核の多重分解能分析を可能にする、調整可能な窓開設方法を提案する。いくつかの例示的実施形態では、ノンパラメトリック密度モデルと組み合わせた調整可能な窓開設アプローチは、ウェーブレット係数のパラメトリック密度モデリングが適用可能ではない場合がある事例に対して、より良好な分類をもたらす。
【００９２】
そのような方法はまた、複数の時空間分解能において、経時的な網膜画像のマルチスケール質的監視も可能にする。統計的多重分解能ウェーブレットテクスチャ分析は、詳細サブバンド内のウェーブレット係数を表すために使用される、一般化ガウス密度（ＧＧＤ）といったパラメトリック統計モデルと組み合わせられると効果的であることが示されている。しかしながら、すでに実装されているようなパラメトリック統計的多重分解能ウェーブレット分析は、以下のような制限を有する。１）テクスチャ分析を可能にするために、十分なサイズの長方形でテクスチャが均質な領域を手動で選択するようにユーザに要求する。２）係数の分布が対称、単一モード、および不偏であることを仮定し、これはいくつかのテクスチャには当てはまらない場合がある。上記で説明されるように、いくつかの用途では、マトリクスエッジオニオンピールアルゴリズムが、「タマネギ層」テクスチャ変化（すなわち、構造の中心からの半径の関数として変化するテクスチャ特性）を示す、小さいサイズで不規則な形状の構造に使用され得る。
【００９３】
いくつかの実施形態では、網膜特徴を自動的に区分化するために、アルゴリズムが使用され、小さい不規則な形状の（すなわち、長方形ではない）領域の多重分解能分解から入手可能な係数の数を最大限化するために、調整可能な窓開設方法が使用され得る。これらのステップは、複数の網膜特徴を用いた画像の自動分析を可能にし、テクスチャ分析を行うために人間が窓を手動で選択する必要性を排除する。最終的に、ノンパラメトリック統計分析が、パラメトリックＧＧＤモデルが適用不可能である事例に適用され得る。この分析は、後者が適用可能ではない場合において、パラメトリックモデルよりもすぐれた性能をもたらし得る。
【００９４】
ウェーブレットベースのテクスチャモデル、係数抽出、ＰＤＦ、およびテクスチャ相違点推定のための適合的窓開設、一般化ガウスおよび対称アルファ安定等の密度モデル、ならびにＡｈｍａｄ−Ｌｉｎａｎｄ、Ｌｏｆｔｓｇａａｒｄｅｎ−Ｑｕｅｓｅｎｂｅｒｒｙ等のＫＬＤ推定器を含む、いくつかの付加的な画像処理技法が、本明細書で開示される網膜撮像システムおよび方法で使用するために好適である。
【００９５】
いくつかの実施形態では、本明細書で説明される技法のうちの１つより多くは、組み合わせて、例えば、並行して、連続して使用されてもよく、または、サポートベクトルマシンあるいは確率的方法等の非線形分類器を使用して融合され得る。それぞれの網膜の異常に複数の技法を使用することにより、速度を大幅に損なうことなく精度を向上させ得る。加えて、本明細書で説明される技法のうちのいずれかは、当技術分野で一般的に使用されている糖尿病性網膜症の早期治療研究の分類スケールに従って、糖尿病性網膜症または糖尿病性黄斑浮腫のレベルを決定するのに有用である。
【００９６】
本発明は、その精神または本質的な特性から逸脱することなく、他の具体的形態で具現化され得る。したがって、前述の実施形態は、本発明の制限よりもむしろ、全ての側面で例証的であると見なされる。
【技術分野】
【０００１】
（関連出願の引用）
本願は、米国仮出願第６１／２７９，１５６号（２００９年１０月１５日出願、名称「Ｓｙｓｔｅｍｓ ａｎｄ Ｍｅｔｈｏｄｓ ｆｏｒ Ｒｅｔｉｎａｌ Ｉｍａｇｅ Ａｎａｌｙｓｉｓ」）の利益を主張する。本願は、米国特許出願第１２／３５５，５６７号（２００９年１月１６日出願、名称「Ｓｙｓｔｅｍｓ ａｎｄ Ｍｅｔｈｏｄｓ ｆｏｒ Ａｎａｌｙｚｉｎｇ Ｉｍａｇｅ Ｄａｔａ Ｕｓｉｎｇ Ａｄａｐｔｉｖｅ Ｎｅｉｇｈｂｏｒｈｏｏｄｉｎｇ」）の一部継続出願であり、該出願は、米国仮出願第６１／０２１，５１３号（２００８年１月１６日出願、名称「Ａｎ Ｅｎｅｒｇｙ Ｆｕｎｃｔｉｏｎａｌ Ｆｒａｍｅｗｏｒｋ ｆｏｒ Ｓｉｍｕｌｔａｎｅｏｕｓｌｙ Ｌｅａｒｎｉｎｇ，Ｓｍｏｏｔｈｉｎｇ，Ｓｅｇｍｅｎｔａｔｉｏｎ，ａｎｄ Ｇｒｏｕｐｉｎｇ ｉｎ ａ Ｌｏｗ ＳＮＲ，Ｓｐａｒｓｅ Ｄａｔａ Ｅｎｖｉｒｏｎｍｅｎｔ」）、米国仮出願第６１／０１１，４５６号（２００８年１月１６日出願、名称「Ｉｍａｇｅ−ｂａｓｅｄ Ｍｅｔｈｏｄｓ ｆｏｒ Ｍｅａｓｕｒｉｎｇ Ｇｌｏｂａｌ Ｎｕｃｌｅａｒ Ｐａｔｔｅｒｎｓ ａｓ Ｅｐｉｇｅｎｅｔｉｃ Ｍａｒｋｅｒｓ ｏｆ Ｃｅｌｌ Ｄｉｆｆｅｒｅｎｔｉａｔｉｏｎ」）、および米国仮出願第６１／１４３，３９９号（２００９年１月８日出願、名称「Ｉｍａｇｅ−ｂａｓｅｄ Ｍｅｔｈｏｄｓ ｆｏｒ Ａｓｓｅｓｓｉｎｇ Ｃｅｌｌｓ」）の利益を主張する。これらの出願の各々は、その全体が参照により本明細書に引用される。
【０００２】
（連邦政府資金援助研究開発の表明）
本明細書に記載される研究開発は、全体またが一部において、国立衛生研究所（ＮＩＨ／ＮＩＢＩＢ）からの交付ＮＯ．ＲＯ１−ＥＢ００６１６１−０１Ａ２、国立神経疾患・脳卒中研究所からのＮＩＮＤＳ／ＮＩＨ交付ＮＯ．５−Ｒ０１−ＮＳ３４１８９−１０により資金援助された。本発明において、米国政府は一定の権利を有する。
【背景技術】
【０００３】
糖尿病性網膜症（ＤＲ）は、網膜を攻撃し、病変を引き起こすことによって損傷する、いくつかの全身性疾患のうちの１つである。該疾患はしばしば、初期兆候がなく、比較的進行期で、病変が失明を引き起こし得る。糖尿病は、現在世界中で１億９４００万人以上の個人に影響を及ぼし、上昇傾向にあり、２０２５年までに３億３３００万人の患者を獲得すると予測されている。ＤＲは、１０年以上糖尿病がある患者の最大８０％に影響を及ぼす。ＤＲは、現在先進国で失明の主な原因であり、上昇傾向にあり、世界中で２億７５００万人の個人に影響を及ぼすと予測されている。
【０００４】
糖尿病からの失明の重症度は、患者が時宜を得て厳密に評価されれば軽減することができる。視力の維持は、生涯のケア、ＤＲ重症度の周期的で正確な診断を必要とする。各患者は、ＤＲ重症度を少なくとも１年に１回評価してもらうべきであり、毎秒２４眼の世界的最小処理能力を必要とする。
【０００５】
この必要性を満たすことの妨げになる多くの課題がある。第１に、米国の糖尿病患者人口の２５％を含む多くの糖尿病患者は、健康状態の意識が欠けている。第２に、特に発展途上国内の患者の大部分は、臨床施設の近くに居住していない。第３に、ＤＲ診断は、特別な訓練を必要とし、多くの診療所には、そのような訓練を受けた臨床医がいない。最後に、たとえケアが利用可能であり、自覚のある患者の手の届く距離にあったとしても、能力が限定され、診断手技が不便であり、人的不一致および過誤の影響を受けやすい。
【０００６】
本明細書で説明される方法およびシステムは、網膜撮像のこれらおよび他の課題から発想を得た。
【発明の概要】
【課題を解決するための手段】
【０００７】
本明細書では、網膜の異常を検出するためのシステム、方法、および非一過性コンピュータ可読媒体が説明される。これらの方法は、好ましくは、コンピュータまたは他の適切に構成された処理デバイスによって実装される。
【０００８】
第１の側面では、コンピュータが網膜の画像を受信し、画像を平滑化および区分化する。滑化および区分化は、相互依存的であり得る。コンピュータは、平滑化および区分化された画像において少なくとも１つの網膜特徴を識別し、網膜の異常を識別するように、平滑化および区分化された画像において識別された少なくとも１つの網膜特徴を分析する。いくつかの実施形態では、識別された少なくとも１つの網膜特徴を分析することは、画像のテクスチャを分析することを含む。いくつかの実施形態では、識別された少なくとも１つの血管を分析することは、画像における少なくとも１つの血管に関連付けられる少なくとも１つの経路を決定することと、経路に沿った場所における経路の配向の角度、および経路に沿った場所における少なくとも１つの血管の直径のうちの少なくとも１つにおける変動を決定することとを含む。変動が閾値を超える場合に、コンピュータは、該場所における網膜の異常を識別する。異常は、例えば、静脈内径の異常、新しい血管分布、綿状白斑等の非血管異常、または任意の他の異常であり得る。
【０００９】
いくつかの実施形態では、区分化および平滑化することは、画像における複数の場所におけるエッジフィールド強度を決定することを含み、少なくとも１つの経路は、少なくともエッジフィールド強度に基づいて決定される。少なくとも１つの経路を決定することは、画像における少なくとも１つの血管に関連付けられる少なくとも１つの中心線を決定することを含み得る。配向の角度の変動を決定することは、連続する複数の場所の間の前記配向の角度の変化を決定することを含み得る。
【００１０】
いくつかの実施形態では、コンピュータは、複数の変動をフィルタにかける。フィルタは、移動窓平均であり得る。いくつかの実施形態では、変動は、フィルタにかけられた複数の変動のうちの少なくとも１つが閾値を超える場合に、閾値を超える。いくつかの実施形態では、ある場所における変動が閾値を超える場合に、コンピュータは、血管分岐部が該場所に存在するかどうかを決定し、血管分岐部が該場所に存在する場合に、コンピュータは、コンピュータによって変動をフィルタによって除去する。
【００１１】
いくつかの実施形態では、平滑化および区分化することは、（例えば、誤差測定基準に関連付けられるエネルギー関数の値を低減させるように）画像における複数の場所に関連付けられる近傍を規定する形状および配向のうちの少なくとも１つを適合的に調整することを含む。いくつかの実施形態では、平滑化および区分化することは、第１および第２のエネルギー関数の値を低減させることを含み、第１のエネルギー関数は、第１の誤差測定基準を使用し、第２のエネルギー関数は、第１の誤差測定基準とは異なる第２の誤差測定基準を使用する。そのような実施形態では、コンピュータは、第１および第２のエネルギー関数の値をそれぞれ低減させることによって得られる、第１および第２の組の平滑化および区分化パラメータに関する情報を組み合わせ得る。
【００１２】
本願はまた、その全体が参照することにより本明細書に組み込まれる、２００９年１月１６日出願の米国特許出願第１２／３２１，３６０号「Ｉｍａｇｅ−ｂａｓｅｄ Ｍｅｔｈｏｄｓ ｆｏｒ Ｍｅａｓｕｒｉｎｇ Ｇｌｏｂａｌ Ｎｕｃｌｅａｒ Ｐａｔｔｅｒｎｓ ａｓ Ｅｐｉｇｅｎｅｔｉｃ Ｍａｒｋｅｒｓ ｏｆ Ｃｅｌｌ Ｄｉｆｆｅｒｅｎｔｉａｔｉｏｎ」にも関する。
【図面の簡単な説明】
【００１３】
本特許または出願ファイルは、色付きで実行された少なくとも１つの図面を含む。色付き図面を伴う本特許または特許出願公報の複製は、要求および必要手数料の支払いに応じて特許庁に提供される。本発明の上記および他の特徴、その性質および種々の利点は、添付図面と併せて解釈される、以下の詳細な説明を考慮すると明白となるであろう。
【図１】図１は、本発明の例証的実施形態による、画像分析用のシステムの概略図である。
【図２】図２は、本発明の実施形態による、平滑化されたデータ、区分、および属性推定値を生成するための例証的過程の図である。
【図３】図３は、本発明の実施形態による、画像データ例に適用されるような情報抽出方法を図示する。
【図４Ａ】図４Ａ−４Ｃは、本発明の例証的実施形態による、近傍適合への３つの異なるアプローチを描写する。
【図４Ｂ】図４Ａ−４Ｃは、本発明の例証的実施形態による、近傍適合への３つの異なるアプローチを描写する。
【図４Ｃ】図４Ａ−４Ｃは、本発明の例証的実施形態による、近傍適合への３つの異なるアプローチを描写する。
【図５】図５は、ノイズの存在下での画像要素の検出において本発明によって達成可能な改善を明示する。
【図６】図６は、本発明の例証的実施形態による、エネルギー関数を最小限化することよって平滑化されたデータ、区分、および属性推定値を生成するための方法を図示する。
【図７】図７は、実施形態による、網膜の異常を検出するための技法のフロー図である。
【図８】図８は、実施形態による、異常検出技法８００のフロー図である。
【図９】図９Ａ−９Ｃは、実施形態による、異なるエネルギー関数定式化を使用したエッジ検出を図示する。
【図１０】図１０Ａ−１０Ｃは、実施形態による、網膜画像の処理を図示する。
【図１１】図１１Ａ−１１Ｃは、実施形態による、血管識別技法を図示する。
【図１２】図１２Ａ−１２Ｄは、実施形態による、血管経路検出技法を図示する。
【図１３】図１３Ａ−１３Ｃは、実施形態による、血管識別技法の動作および中間結果を図示する。
【図１４】図１４Ａ−１４Ｃは、血管の経路の傾斜の変動を決定する実施形態を図示する。
【図１５】図１５Ａ−１５Ｃは、血管の配向の角度の変動を決定する実施形態を図示する。
【図１６】図１６Ａ−１６Ｃは、血管の半径の変動を決定する実施形態を図示する。
【図１７】図１７Ａ−１７Ｆは、実施形態による、血管分岐部、および網膜の異常についてのその２つの分岐のそれぞれの分析を図示する。
【発明を実施するための形態】
【００１４】
本発明の全体的理解を提供するために、画像データからの情報抽出のためのシステムおよび方法を含む、ある例証的実施形態を説明する。しかしながら、本明細書で説明されるシステムおよび方法は、他の好適な用途のために適合および修正することができ、そのような他の追加および修正は、本明細書の範囲から逸脱しないことが当業者によって理解されるであろう。
【００１５】
（Ａ．画像分析システム）
図１は、本発明の例証的実施形態による、画像分析システムの概略図である。システム１００は、画像捕捉デバイス１１０と、画像データベース１２０と、情報抽出プロセッサ１３０と、ディスプレイ１４０と、結果データベース１５０と、分類プロセッサ１６０とを含む。
【００１６】
システム１００は、場面の画像を捕捉するための少なくとも１つの画像捕捉デバイス１１０を含む。例示的な画像捕捉デバイス１１０は、可視光カメラおよびビデオレコーダ、ＰＥＴ、ＳＰＥＣＴ、ＭＲＩ、Ｘ線、ＣＴスキャナ、および他の医用撮像装置、明視野、位相差、原子間力、および走査型電子顕微鏡、衛星レーダ、サーモグラフィックカメラ、地震計、ならびにソナーおよび電磁波検出器を含む。画像捕捉デバイス１１０のそれぞれは、アナログまたはデジタル画像を生成し得る。単一の画像捕捉デバイス１１０によって捕捉される画像は、スカラー、ベクトル、またはマトリクス値であってもよく、時間の関数として変化し得る。撮像された場面は、少なくとも１つの性質の測定を画像捕捉デバイスによって得ることができる、任意の関心の物理的対象、物理的対象の集合、または物理的現象を含むことができる。例えば、胎児の胎児期環境は、超音波画像捕捉デバイスで測定することができる場面である。別の実施例では、大気中水分の位置および移動は、衛星レーダ画像捕捉デバイスで測定することができる場面である。
【００１７】
画像データベース１２０は、一式の画像データとして画像捕捉デバイス１１０によって捕捉される画像を記憶するために使用される。画像データベース１２０は、磁気、光学、および／または半導体メモリの適切な組み合わせを備えてもよく、例えば、ＲＡＭ、ＲＯＭ、フラッシュドライブ、コンパクトディスク等の光ディスク、および／またはハードディスクあるいはドライブを含み得る。当業者であれば、プロセッサ１３０、ローカル記憶ユニット、または可撤性コンピュータ可読媒体と通信するように設計されているデータベースサーバを含む例示的実施形態とともに、システム１００内の画像データベース１２０のためのいくつかの好適な実装を認識するであろう。
【００１８】
情報抽出プロセッサ１３０およびデータベース１２０は、同じ物理ユニット内に組み込まれるか、または、ＵＳＢポート、シリアルポートケーブル、同軸ケーブル、Ｅｔｈｅｒｎｅｔ（登録商標）型ケーブル、電話線、無線周波数送受信機、または他の同様の無線あるいは有線媒体、もしくは前述の組み合わせ等の通信媒体によって相互に接続される、別個のデバイスとして収納され得る。情報抽出プロセッサ１３０は、一式の画像データの空でない一部を取得するためにデータベース１２０に問い合わせる。情報抽出プロセッサ１３０はまた、以下で説明される情報抽出過程も行う。情報抽出プロセッサ１３０の例示的実施形態は、汎用コンピュータで見られるソフトウェアプログラム可能プロセッサ、ならびにより大型の装置内に組み込むことができる特殊プロセッサを含む。情報抽出プロセッサ１３０は、コンピュータ可読媒体上に記憶された命令を実行することによって、本明細書で説明される方法を行い、当業者であれば、そのような媒体は、無制限に、固体、磁気、ホログラフィック、磁気光学、および光学メモリユニットを含むことを認識するであろう。情報抽出プロセッサ１３０および図１の残りの要素の付加的な実施形態は、以下で論議される。
【００１９】
情報抽出方法の完了時に、または方法と同時に、情報抽出プロセッサ１３０は、処理データの集合を出力する。ディスプレイ１４０が、処理データをユーザに視覚的に提示する。例示的実施形態は、コンピュータモニタまたは他の電子画面、情報抽出プロセッサ１３０と通信している電子プリンタによって生成される物理的プリントアウト、または３次元投影あるいはモデルを含む。結果データベース１５０は、処理データがさらなる分析のために記憶される、データ記憶デバイスである。例示的実施形態は、画像データベース１２０について説明される構造およびデバイス、ならびに当業者に公知である他のものを含む。分類プロセッサ１６０は、処理データを分類する、すなわち、撮像した場面内の要素の意味および内容を識別するために、データベース１５０から処理データを随意で抽出し、情報抽出プロセッサ１３０について説明されるアーキテクチャおよびデバイスによって具現化され得る、データ処理デバイスである。
【００２０】
システム構成要素１１０−１６０は、別個のユニットとして図１に描写されているが、当業者であれば、これらのユニットのうちの２つ以上を、同じ全体的機能を果たす統合装置に実用的に合体させることができると即座に認識するであろう。例えば、単一の物理的カメラが、可視および赤外線撮像能力の両方を有し、したがって、２つの画像捕捉デバイスを表し得る。単一の画像処理デバイスはまた、プロセッサ１３０に直接伝送することができる画像データ用のデータベース１２０を含み得る。同様に、データベース１２０およびプロセッサ１３０は、プロセッサ１３０および１６０を構成することができるように、単一の汎用コンピュータ内に構成することができる。ハードウェア内のシステム構成要素の多くの組み合わせが可能であり、依然として請求されたシステムの範囲内にとどまる。システム構成要素１１０−１６０は、物理的接続上で通信プロトコルを使用して連結することができるか、または無線通信プロトコルを使用して連結することができる。１つの例示的実施形態では、画像データは、無線で、または電子ネットワークを介して、画像捕捉デバイスからデータ処理施設に伝送され、そこで記憶および処理される。別の例示的実施形態では、図１のシステムは、自動車または自動車隊の挙動に関する決定を行うために処理データを使用することが可能である、自動車または自動車隊内に配備される。
【００２１】
図１に戻って、当業者であれば、全体としてシステムに対する多くの異なる設定のように、システム構成要素１１０−１６０の多くの異なる実施形態が可能であることを認識するであろう。一実施形態では、図１のシステムは、研究室または医学研究環境に存在し、例えば、かん流撮像、ｆＭＲＩ、マルチスペクトルまたはハイパースペクトル撮像、明視野顕微鏡検査、または位相差顕微鏡検査からの画像データを使用して、患者診断を向上させるために使用される。別の実施形態では、図１のシステムは、監視局内に存在し、少なくとも１つの撮像デバイスからのデータを組み合わせることによって、特定の地理的領域で状態を評価するために使用される。これらのデバイスは、衛星レーダ、航空写真術またはサーモグラフィ、地震計、ソナーまたは電磁波検出器を含み得る。別の実施形態では、図１のシステムは、任意の汎用コンピュータがハードウェア要件を満たし、ユーザの特定の用途から生じる画像データから情報を抽出するために構成することができる。
【００２２】
（Ｂ．情報抽出）
情報抽出プロセッサ１３０は、適合的に調整した近傍を使用して、場面の表現を向上させるように画像データを平滑化し、場面内の要素間のエッジを決定することにより、これらの要素を区別するように画像データを区分化し、場面内の要素の属性を推定することによって、撮像した場面内の要素に関する情報を抽出するように構成される。図２は、情報抽出プロセッサ１３０によって果たされる情報抽出方法の１つの例証的実施形態を描写する。情報抽出プロセッサ１３０への入力は、画像１、２、…、Ｎを備える画像データ２１０、画像データの特性の予備知識２２０、および撮像した場面内の属性の予備知識２３０を含む。画像データの特性の予備知識２２０は、ノイズ強度および分布情報、撮像した場面のモデル、環境要因、ならびに撮像機器の性質を含む。撮像した場面内の属性の予備知識２３０は、既知の属性を有する場面内の場所、撮像した場面内の要素の存在または不在の知識、撮像した場面の現実世界の体験、または撮像した場面の内容に関する確率的評価を含む。平滑化２４０、区分化２５０、および属性推定２６０の過程は、プロセッサが、他の過程を行う際に、これらの過程のそれぞれの結果を考慮するという意味で、相互依存的である。近傍の適合的調整２６５は、以下でより詳細に論議される。加えて、過程は、同時に、または実質的に同時に実行される。これらの過程の終わりに、情報抽出プロセッサ１３０は、一式の平滑化したデータ２７０、撮像した場面を一貫した要素に分割する一式の区分２８０、および場面内に存在する一式の推定属性２９０を含む処理データの集合を出力する。過程２４０、２５０、および２６０のそれぞれは、以下でより詳細に論議される。
【００２３】
平滑化過程２４０は、画像データから一式の平滑化したデータ２７０を生成する。平滑化したデータ２７０は、撮像した場面の真の特性の最も正確な推定値を表す。画像はしばしば、ノイズによって、および撮像機器からのひずみによって破損され、その結果として、画像データは、決して真の場面の完璧な表現ではない。平滑化２４０を行う場合に、プロセッサ１３０は、いくつかある要因の中でも特に、画像データと、撮像した場面の物理モデルと、撮像した場面とデータベース１２０との間の全ての点において生じるノイズの特性と、区分化過程２５０および属性推定過程２６０の結果とを考慮に入れる。
【００２４】
区分化過程２５０は、１つの要素を別の要素と区別するエッジを描くことによって、撮像した場面内の明確に異なる要素の境界を定める。例えば、区分化過程は、対象とその背景、撮像した場面内で重複するいくつかの対象、または異なる属性を示す撮像した場面内の領域を区別し得る。区分化過程は、区分２８０を規定する一式のエッジをもたらす。これらのエッジは、スカラー、ベクトル、またはマトリクス値であってもよく、または他のデータ型を表し得る。区分化２５０を行う場合に、情報抽出プロセッサ１３０は、いくつかある要因の中でも特に、画像データ２１０と、撮像した場面の物理モデルと、撮像した場面と画像データベース１２０との間の全ての点において生じるノイズの特性と、平滑化過程２４０および属性推定過程２６０の結果とを考慮に入れる。
【００２５】
属性推定過程２６０は、撮像した場面内の要素の性質を識別する。属性は、画像データがなんらかの情報を含む対象の任意の性質である。一式の利用可能な属性は、画像データ内で表される撮像モダリティに依存する。例えば、サーモグラフィックカメラが、赤外線放射から画像を生成し、これらの画像は、撮像した場面内の対象の温度に関する情報を含む。属性の付加的な例は、とりわけ、テクスチャ、放射能、水分含量、色、および物質組成を含む。例えば、パイナップルの表面が、粗い（属性の値）というテクスチャ（属性）を有するものとしてプロセッサによって識別され得る。一実施形態では、関心の属性は、画像データを表すパラメータ化モデル群の基礎となるパラメータである。別の実施形態では、関心の属性は、パラメトリックモデル自体である。属性測定を行う場合に、情報抽出プロセッサ１３０は、いくつかある要因の中でも特に、画像データ２１０と、撮像した場面の物理モデルと、撮像した場面と画像データベース１２０との間の全ての点において生じるノイズの特性と、平滑化過程２４０および区分化過程２５０の結果とを考慮に入れる。
【００２６】
１つより多くの画像が画像データ内で表される場合に、情報抽出プロセッサ１３０はまた、特定の属性について、各画像内に含まれる状態の相対量を決定し得る。この属性を推定する場合に、情報抽出プロセッサ１３０は、次いで、属性に関するその情報内容に従って、各画像を利用し得る。例えば、マルチスペクトル撮像は、そのそれぞれが特定の波長帯域で動作するカメラによって生成された複数の画像を返す。異なる属性が、１つの周波数で別の周波数よりも良く表され得る。例えば、衛星は、深海を撮像するために４５０−５２０ｎｍの波長範囲を使用するが、地上植物を撮像するために１５５０−１７５０ｎｍの波長範囲を使用する。加えて、情報抽出プロセッサ１３０は、関心の属性に特に関連する画像を識別するために、画像データの統計を使用し得る。例えば、画像データの１つ以上の異なる加重組み合わせが、任意の特定の属性の他の組み合わせと比較して、より多くの情報内容を有するものとして識別され得る。本発明は、属性推定過程が、平滑化および区分化過程と相互依存的に、異なる画像からのデータを選択的に利用することを可能にする。
【００２７】
加えて、情報抽出プロセッサ１３０は、平滑化、区分化、および属性推定過程のうちの任意のものに対して、撮像した場面内の異なる場所において異なる方法でデータを選択的に利用し得る。例えば、データセット内の各画像が、異なる角度で撮影された個人の写真に対応する場合、これらの画像の一部のみが、個人の顔の特徴に関する情報を含む。したがって、これらの画像は、撮像した場面内の顔の領域に関する情報を抽出するために、情報抽出プロセッサ１３０によって選択的に使用される。本明細書で提示される情報抽出方法は、平滑化、区分化、および属性推定過程と相互依存的に、異なる場所における撮像した場面内の要素を分解するために画像データを選択的に利用することが可能である。
【００２８】
関心の属性の数および利用可能な画像の数は、独立であり得ることに留意することが重要である。例えば、いくつかの属性を単一の画像内で推定することができ、または複数の画像が単一の属性を推定するように組み合わせられ得る。
【００２９】
（Ｃ．用途：航空撮像）
情報抽出方法をより明確に説明するためには、実施例が役立つ。図３は、図２の方法論に従って図１の画像分析システムによって処理するための３つの画像３１０、３２０、３３０を描写する。これら３つの画像は、同じ場面を表し、画像３１０は、航空写真であり、画像３２０は、雲量の衛星レーダ画像であり、画像３３０は、空中サーモグラム（場面内の要素によって発せられる熱放射を測定する）である。これら３つの画像は、３つの異なる撮像モダリティ、すなわち、場面に関する情報を捕捉する方法を表し、したがって、単一のモダリティよりも多くの種類の現象を検出することが可能である。実施例では、画像３２０は、雲の存在を表す。画像３３０は、場面内の住居の特性を示し得る、高熱放射の領域を明らかにする。住居は、木葉および雲量で隠されているため、画像３１０の中では検出しにくい。本情報抽出方法の強みのうちの１つは、場面内の下にある要素を最も良く明らかにするように複数のモダリティを組み合わせる能力である。異なるモダリティの組み合わせは、以下でより詳細に論議される。
【００３０】
情報抽出プロセッサ１３０は、データベース１２０からこれら３つの画像を取得し、次いで、一式の平滑化したデータ２７０、場面内の一式の区分２８０、および場面内の属性の推定値２９０を出力する。目的が、地上の構造の最も正確な表現を取得することである場合、一式の平滑化したデータ２７０は、図解３４０で描写されるとおりであり得る。平滑化したデータ２７０を生成するために、情報抽出プロセッサ１３０は、覆い隠す木葉を除去し、地上の構造のより明確な図解を生成するために、画像３２０からの雲量に関する情報および画像３３０からの住居の潜在的存在を使用している。画像データを区分化することにより、住居および道路の輪郭が識別される、図解３５０で描写される一式の区分化したデータ２８０をもたらし得る。ユーザの関心に応じて、情報抽出プロセッサ１３０はまた、画像３１０内の木葉または画像３２０内の雲等の場面内の付加的な要素を平滑化し、区分化し得る。情報抽出プロセッサ１３０はまた、図解３６０で描写されるように、属性推定過程２６０を介して、住居および道路のそれぞれを構築するために使用される材料を識別し得る。以下でより詳細に論議されるように、属性推定過程２６０は、撮像した場面内の「アスファルト」および「アルミニウム」表面を識別するために、適合的近傍調整過程２６５を介して、異なる近傍を使用し得る。いったん処理データが利用可能になると、撮像した場面内の要素を分類するために分類プロセッサ１６０が使用されてもよく、例えば、図解３７０は、平滑化、区分化、および属性推定過程２４０−２６０の全ての結果を使用して、撮像した場面内の「道路」および「住居」を識別する。平滑化、区分化、および属性推定過程２４０−２６０の付加的な実施形態は、以下で説明される。
【００３１】
（Ｄ．適合的近傍化）
ノイズの多い画像から一式の平滑化したデータ２７０を生成する時、またはそれらの属性値に従って区分を分類する場合に、撮像した場面内のどの場所がエッジに対応し、どれが対応しないかを区別できることが望ましい。エッジが識別されると、次いで、情報抽出プロセッサ１３０は、そのエッジの両側およびエッジ自体の上の場所を別個に処置し、平滑化および分類性能を向上させる。次いで、平滑化、区分化、および属性推定過程中に、選択的に局所情報を使用することが望ましい。したがって、一実施形態では、適合的近傍調整過程２６５において、周囲の場所の近傍に基づいて各場所で決定が行われる。本発明の一実施形態は、近傍を撮像した場面内の各特定場所と関連付ける。各近傍は、特定の場所の付近のいくつかの他の場所を含む。次いで、情報抽出プロセッサ１３０は、平滑化、区分化、および属性推定過程２４０−２６０に集中して、場所に関する情報をより適切に抽出するために、各場所の近傍を使用することができる。その最も単純な形態で、各場所に関連付けられる近傍は、固定されたサイズ、形状、および配向、例えば、固定半径を伴う円を有することができる。しかしながら、柔軟性のない近傍サイズおよび形状を使用することには、いくつかの欠点がある。例えば、場所がエッジの上に位置する場合には、固定された近傍に依存する平滑化および属性推定過程は、エッジの両側の場面要素からの情報を使用し、誤った結果につながる。１つの改良は、局所情報に基づいて各場所の近傍のサイズを調整することである。さらなる改良は、適合的近傍調整過程２６５において、局所特性により良く合致するように、場所の近傍のサイズ、形状、および配向を調整することを含む。これらの実施例は、以下でより詳細に説明される。
【００３２】
一実施形態では、情報抽出プロセッサ１３０は、撮像した場面内の周囲の場所の近傍のサイズ、形状、および配向特性を調整しながら情報抽出方法を行う。具体的には、プロセッサ１３０は、平滑化、区分化、および属性推定過程２４０−２６０と相互依存的に、各場所に関連付けられる近傍の特性を適合させる。別の実施形態では、情報抽出プロセッサ１３０は、情報抽出プロセッサ１３０によって分析される各属性に、別個の独立して適合された近傍を利用する。
【００３３】
適合的近傍サイズ、形状、および配向を利用することの便益性は、図４Ａ−４Ｃおよび図５で見ることができる。図４Ａ−４Ｃは、３つの異なる近傍ベースのアプローチを図示する。各実施例の図４Ａ−４Ｃは、エッジ、および対応する場所におけるいくつかの例証的近傍４１０−４３０を描写する。第１の実施例は、撮像した場面内の各場所に関連付けられる近傍４１０が同一であるアプローチを図示する。図４Ａでは、全ての近傍４１０は、固定された半径を伴って該場所を中心とする円である。図４Ｂでは、全ての近傍４２０は円形であるが、近傍４２０がエッジに重複することを回避するために変化することが許される半径を伴う。図４Ｃでは、本発明の例示的実施形態では、近傍４３０は、局所領域の特性により良く適合するように、それらのサイズ、形状、および配向を変化させることが許される楕円である。
【００３４】
そのような適合を提供することができる改良を実証するために、未加工画像データ内に存在するノイズを低減させるように平滑化過程２４０内に平均化ステップを含む、情報抽出方法の例示的実施形態を考慮する。平均化ステップは、その場所における画像データ値を関連近傍内に入る場所のそれぞれにおける画像データ値の平均と置換することによって、各場所（関連近傍を伴う）における平滑化したデータ値を生成する。
【００３５】
図４Ａ−４Ｃを参照すると、この平均化は、示された近傍４１０−４３０上で行われる。図４Ａでは、平均化は、エッジ値にわたって、および区分を横断して生じ、区分間の区別を不鮮明にする。近傍４１０に従った数学的定式化は、以下によって与えられ、
【００３６】
【化１】
【００３７】
式中、ｇは、画像データであり、ｕは、平滑化したデータであり、α、βは、調整可能なパラメータであり、積分が領域Ｒ中の全ての場所Ｘにわたって得られる。
【００３８】
図４Ｂでは、エッジ付近の場所は、エッジに重複することを回避するように必然的に小さく、したがって、よりノイズの影響を受けやすい、関連近傍４２０を有する。近傍４２０に従った数学的定式化は、以下によって与えられ、
【００３９】
【化２】
【００４０】
式中、ｇは、画像データであり、ｕは、平滑化したデータであり、ｖは、エッジ値であり、α、β、ρは、調整可能なパラメータである。図４Ｂに図示されたものに関係する方法は、その全体が参照することにより本明細書に組み込まれる、”Ｍｏｄｅｌ−ｂａｓｅｄ ｖａｒｉａｔｉｏｎａｌ ｓｍｏｏｔｈｉｎｇ ａｎｄ ｓｅｇｍｅｎｔａｔｉｏｎ ｆｏｒ ｄｉｆｆｕｓｉｏｎ ｔｅｎｓｏｒ ｉｍａｇｉｎｇ ｉｎ ｔｈｅ ｂｒａｉｎ，” Ｎｅｕｒｏｉｎｆｏｒｍａｔｉｃｓ， ｖ． ４ ２００６で、Ｄｅｓａｉらによって、人間の脳の拡散テンソル撮像データを分析するために使用された。
【００４１】
サイズ、形状、および配向が変化することが許される、図４Ｃでは、各場所が平均化する近傍４３０を選択的に識別することを可能にし、ノイズ低減性能を向上させながら、エッジを横断する平均化が防止される。近傍４３０に従った数学的定式化は、以下によって与えられ、
【００４２】
【化３】
【００４３】
ｇは、画像データであり、ｕは、平滑化したデータであり、Ｖは、近傍を表す対称的な正定値の２×２行列であり、ｗは、データ忠実度項を重み付けし、ＦおよびＧは、関数であり、α、β、ρ、ρｗは、調整可能なパラメータである。情報抽出プロセッサ１３０はまた、近傍のサイズ、形状、および配向を調整するために、平滑化および属性推定過程１５０−１６０から生じる情報を使用することもできる。
【００４４】
（Ｅ．実施例：ノイズの多い画像）
図５は、図４Ｃに図示されるような第３の近傍４３０のような適合的近傍で達成可能な性能向上を明示する。黒い背景上の白い四角という元の場面５１０は、撮像過程でノイズによって破損され、ノイズの多い画像５２０をもたらす。ノイズの多い画像５２０では、人間の眼で四角と背景とを区別することが困難である。第１の実施例４１０の平滑化方法は、第１の平滑化した画像５３０を生成するように適用される。この方法は、一式のエッジを生成せず、結果として生じる平滑化したデータは、白い長方形の境界線を不鮮明する。第２の実施例４２０の平滑化方法は、第２の平滑化した画像５４０および一式のスカラーエッジ５５０を生成するように適用される。人間の眼には、第２の平滑化した画像５４０は、第１の平滑化した画像５３０と同じくらい不明瞭であり、スカラーエッジ５５０は拡散している。
【００４５】
本発明の例示的実施形態である、第３の実施例４３０の平滑化方法は、第３の平滑化した画像５６０、および各ピクセルに関連付けられるマトリクス値エッジをもたらす。エッジがマトリクス値であるため、それらをスカラーエッジ５５０と同様に表すことは可能ではない。エッジマトリクスに関連付けられる１つの有意義なスカラー値は、そのトレースであり、したがって、第３の実施例４１０は、マトリクス値エッジの一式のトレース５７０と関連付けることができる。本発明の付加的な実施形態は、境界情報についてマトリクス値エッジの固有値および固有ベクトルの関数を調べることを含む。第３の平滑化した画像５６０は、第１または第２の平滑化した画像５３０および５４０よりもはるかに鮮明であり、境界は、一式のスカラーエッジ５５０よりもマトリクス値エッジの一式のトレース５７０によってはるかに明確に線引きされる。平滑化過程と相互依存的に、近傍のサイズ、形状、および配向を適合させる第３の実施例の能力は、図５で明示される，向上した情報抽出性能を可能にする。
【００４６】
（Ｆ．エネルギー関数アプローチ）
情報抽出方法の１つの特定の実施形態が、図６に図示されている。上記で論議されるように、近傍適合過程は、関心の属性のそれぞれに行うことができる。各場所で、異なる近傍を各属性について決定することができ、これは、各属性に対する属性値および属性エッジ値の識別を可能にする。図６は、入力として、画像データ、属性の予備知識、画像データ内の区分（および関連エッジ）６１０、平滑化した画像データ６２０、属性推定値内の区分（および関連エッジ）６３０、および属性推定値６４０を取り込む、反復過程を描写する。図６の反復過程を適用し始めるためには、入力６１０、６２０、６３０、および６４０に対する初期値を、ユーザによって特定するか、またはプロセッサ１３０によって自動的に選択することができる。適合過程は、望ましくない実施に対するペナルティを含む、エネルギー関数を最小限化しようと努める。エネルギー関数に含むことができる、いくつかのペナルティ例が、エネルギー関数要素ブロック６５０に描写されている。これらは、画像データと平滑化したデータとの間の不一致に対するペナルティ、データ内の過剰なエッジの指定に対するペナルティ、属性内の過剰なエッジの指定に対するペナルティ、データ内のエッジの不連続または非平滑性に対するペナルティ、属性内のエッジの不連続または非平滑性に対するペナルティ、平滑化したデータ内の不連続または急激な変化、および属性推定値の不連続または急激な変化を含む。エネルギー関数への入力を使用して、エネルギー値を計算することができ、次いで、入力６１０、６２０、６３０、および６４０は、より低いエネルギー値を達成するように適合的に調整される。
【００４７】
この実施形態の１つの実装では、エネルギー値の決定は、以下の式にしたがって計算され、
【００４８】
【化４】
【００４９】
式中、ｅ１、ｅ２、ｅ３、ｅ４、ｅ５は、以下で説明されるような誤差項である。平滑化したデータｕ、区分のエッジυｕ、属性θ、および属性区分のエッジυθに対する値は、角括弧内に含まれる式を最小限化するために、各（ｘ、ｙ）座標について選択され、平面全体にわたって積分される。この式は、画像データｇ、属性θを伴うデータ関数Ｔ（θ）、パラメータλｕ、αｕ、ρｕ、λθ、αθ、ρθに依存し、式中、
【００５０】
【化５】
【００５１】
【化６】
【００５２】
である。
項ｅ１は、画像データと平滑化したデータとの間の不一致に対するペナルティであり、項ｅ２は、平滑化したデータ内の不連続に対するペナルティであり、項ｅ３は、エッジの存在およびエッジの不連続に対するペナルティを含み、項ｅ４は、属性推定値における不連続に対するペナルティを含み、項ｅ５は、属性エッジの存在および属性エッジの不連続に対するペナルティを含む。当業者であれば、エネルギー関数に含むことができる多くの付加的なペナルティがあり、適切なペナルティの選択は、手元の用途に依存することを認識するであろう。同等に、この問題は、異なる報酬項が、情報抽出方法に対する異なる望ましい性能要件に対応する、報酬関数の最大限化として表すことができる。例えば、勾配降下法といった、当業者によってこの特定の数学的定式化に容易に適用することができる、多くの標準数値技法がある。これらの技法は、本明細書で説明される実施形態の任意のもので実装することができる。
【００５３】
別の実施形態では、最小エネルギー値の計算は、以下の式に従って行われ、
【００５４】
【化７】
【００５５】
式中、ｅ１、ｅ２、ｅ３、ｅ４、ｅ５は、以下で説明されるような誤差項である。平滑化したデータｕ、区分のエッジｗ、測定モデルパラメータのエッジフィールドυｍ、過程モデルパラメータのエッジフィールドυｕ、測定モデルパラメータのエッジフィールドυｍ、過程パラメータ相関のエッジフィールドυｃ、過程モデルパラメータθｕ、および測定モデルパラメータθｍに対する値は、角括弧内に含まれる式を最小限化するために、各（ｘ１、ｘ２、・・・、ｘＮ、ｔ）座標について選択され、１次元時間変数で増強されたＮ次元画像データ空間全体にわたって積分される。誤差項は、以下によって与えられ、
ｅ１＝βＭ（ｕ，ｇ，ｗ，θｍ）、
ｅ２＝αｍＬｍ（θｍ，υｍ）、
ｅ３＝αｕＣｕ（ｕ，υｕ，θｕ）、
ｅ４＝αＣＬＣ（υＣ，θｕ）、および
ｅ５＝π（ｕ，ｗ，υｍ，υｎ，υＣ，θｕ，θｍ）
式中、Ｍは、データ忠実度を測定する関数であり、Ｌｍは、測定モデルパラメータを推定し、Ｃｕは、過程モデル空間相関を測定し、Ｌｃは、過程モデルパラメータを推定し、πは、未知の変数の事前分布を表し、β、αｍ、αｕ、αｃは、過程が項ｅ１、ｅ２、ｅ３、ｅ４に異なる重点を置くことを可能にするパラメータである。
【００５６】
（Ｇ．網膜撮像）
上記で説明されるように、網膜の異常の正確、迅速、および便利な診断の必要性が深刻である。この必要性に対処するために、本明細書では、網膜画像を分析し、中程度の技能を持つ臨床医が世界中の多数の患者の網膜疾患を効率的に評価するのに役立つことができるように、網膜症の重症度の臨床的に確証された決定を提供することができる、自動分類および意思決定支援方法およびシステムが説明される。これらのシステムおよび方法は、以下を含む、網膜の異常の検出のいくつかの特定の課題に対処するために開発されてきた。
１．血管における異常が、血管に沿った他の場所でのその特定の血管の幾何学形状に関連する。
２．異常な特徴が、血管の幾何学形状の非線形関数である。
３．異常は、微妙であり、ノイズおよび撮像アーチファクトによって容易にカモフラージュされる場合がある。
４．網膜画像は、典型的には、血管および網膜背景上で空間的に変化する低い信号対雑音（ＳＮＲ）特性を有する。
【００５７】
本明細書で開示される技法によって検出される網膜の異常は、静脈内径異常（ＶＣＡＢ）、視神経円板内の新しい血管分布（ＮＶＤ）、他の場所の新しい血管分布（ＮＶＥ）、網膜内細小血管異常（ＩＲＭＡ）、微細動脈瘤、ならびに前網膜および硝子体出血を含む。これらの異常のそれぞれは、施術医によって使用される、糖尿病性網膜症の早期治療研究の診断ガイドラインで分類されている。例えば、ＶＣＡＢは、微妙および急激の両方である、網膜内の血管の変形である。一部の患者では、ＶＣＡＢは、血管のサイズおよび配向が急激に、またはゆっくりと変化する、血管病変として症状を示す。ＶＣＡＢおよび他の異常を正確に検出し、分類するために、臨床医または自動意思決定システムは、血管の境界、サイズ、および配向の信頼できる決定によって支援される。本明細書で説明される網膜の異常の検出のためのシステムおよび技法は、上記で説明される平滑化および区分化アプローチを基礎とすることによって、この用途の特定の課題に対処する。
【００５８】
ここで、網膜の異常の検出のためのシステムおよび技法について論議する。網膜撮像用途では、図１の画像分析システム１００の構成要素は、網膜撮像に好適となるように選択され得る。例えば、システム１００の画像捕捉デバイス１１０は、眼の内面（例えば、網膜、視神経円板、斑、および後極）を撮像することが可能である、アナログまたはデジタル眼底カメラであり得る。画像捕捉デバイス１１０は、１つ以上の波長の光とともに使用されてもよく、異なる関心の波長を通過させる、または遮断する（例えば、血管造影法中に蛍光色を通過させる）ための光学フィルタを含み得る。眼底カメラは、撮像前に患者の眼が点眼薬で拡張される散瞳診断で、または非散瞳診断で使用され得る。図１を参照して上記で説明されるように、画像捕捉デバイス１１０によって捕捉される画像は、スカラー、ベクトル、またはマトリクス値であってもよく、時間の関数として変化し得る。網膜画像は、情報抽出プロセッサ１３０、ディスプレイ１４０、および結果データベース１５０（図１）によるリアルタイムまたは以降の処理、分析、および再検討のために、画像データベース１２０に記憶することができる。これらの構成要素は、本明細書で説明される実施形態のうちのいずれかの形態を成すことができる。情報抽出プロセッサ１３０は、本明細書で説明される網膜の異常の検出技法のうちのいずれか１つ以上を行うように構成される。
【００５９】
図７は、実施形態による、網膜の異常を検出するための技法７００における例証的なステップのフロー図である。技法７００は、図１の情報抽出プロセッサ１３０等の画像分析システム１００に含まれる（またはそれと遠隔通信している）任意の好適な処理デバイス（例えば、非一過性コンピュータ可読媒体を実行する）によって実装され得る。以下の説明で例証を容易にするために、技法７００は、撮像分析システム１００によって実行されるものとして説明される。ステップ７０２で、システム１００は、網膜の画像を受信する。網膜画像は、上記で説明される画像捕捉デバイス１１０等の任意の好適なソースに由来し得る。ステップ７０２で受信される網膜画像は、好ましくは、デジタルであるが、以降にデジタル化されるアナログ画像であり得る。
【００６０】
ステップ７０４では、システム１００は、本明細書で説明される平滑化、区分化、および属性推定技法のうちのいずれかの形態を成し得る、平滑化および区分化技法を行う。上記で説明されるように、これらの技法での平滑化および区分化動作は、相互依存的であり、実質的に同時に（例えば、頻繁な交互反復で）行われ得る。いくつかの実施形態では、ステップ７０４で行われる区分化および平滑化技法は、平滑化した画像および／または画像内の複数の場所におけるエッジフィールド強度を決定することを伴う。エッジフィールドは、（例えば、方程式１で例証されるような）スカラー値エッジフィールド、（例えば、方程式２で例証されるような）ベクトル値エッジフィールド、（例えば、方程式３で例証されるような）マトリクス値エッジフィールド、またはそれらの組み合わせであり得る。いくつかの実施形態では、ステップ７０４で行われる平滑化および区分化技法は、画像内の複数の場所に関連付けられる近傍を規定する形状および配向のうちの少なくとも１つを適合的に調整することを含む。これらの実施形態の任意のもので、システム１００は、上記で論議されるように、誤差測定基準に関連付けられるエネルギー関数の値を低減させるように、平滑化および区分化技法を行い得る。ステップ７０４のいくつかの特定の実施形態の詳細な説明が続く。
【００６１】
いくつかの実施形態では、画像内の各場所は、画像が平滑化され、エッジフィールドが推定される楕円近傍に関連付けられ、近傍のサイズ、形状、および配向は、場所によって異なる。エッジ（例えば、血管縁）として識別される場所の近傍は、（例えば、図４Ｃに図示されるように）エッジを横断する平滑化によってエッジの「不鮮明化」を制限するようにサイズが適合的に縮小される。この定式化は、以下のように表すことができ、
【００６２】
【化８】
【００６３】
式中、ｇは、画像捕捉デバイス１１０によって出力される網膜画像データであり、ｕは、平滑化したデータであり、Ｖは、２ｘ２対称エッジマトリクスフィールドであり、Ｘは、平滑化および区分化が行われる画像であり、α、β、ρは、調整可能なパラメータである。上記で説明されるように、平滑化が主に近傍に位置するピクセルに基づいて発生するように、第１項を、Ｉ−Ｖによってｕの勾配を罰する平滑忠実度項として解釈することができる。第２項は、入力画像データからの平滑化した画像データの偏差を罰するデータ忠実度項である。スカラー項Ｇ（Ｖ）がエッジ強度を罰する一方で、Ｆ（ＶＸ）は、ＶＣＡＢの特徴であり得る「よじれ」を認識しつつ平滑なエッジに対する選択の均衡を保つ。任意の特定の画像およびパラメータ値に対する方程式６を解くために、任意の数値技法が使用され得るが、１つのアプローチは、解の基礎を形成するオイラー・ラグランジェ方程式の使用を含む。方程式６について、オイラー・ラグランジェ方程式は、以下の通りである。
【００６４】
【化９】
【００６５】
【化１０】
【００６６】
いくつかの実施形態では、ステップ７０４においてシステム１００によって行われる平滑化および区分化は、２つ以上の異なるエネルギー関数定式化の結果を組み合わせることを含む。例えば、第１のエネルギー関数定式化は、上記の方程式２の形態を成し、システム１００は、パラメータｕおよびＶの値を決定するように、本明細書で説明される計算技法のうちのいずれかを行い得る。次に、システム１００は、以下のような第１のエネルギー関数定式化とは異なる誤差測定基準を使用する第２のエネルギー関数定式化を適用し、
【００６７】
【化１１】
【００６８】
これは、方程式２で使用される２ノルムの代わりに、平滑化およびデータ忠実度項上に１ノルムを含む。他の実施形態では、方程式１および３−６のうちの任意のエネルギー関数定式化は、異なる誤差測定基準とともに使用され得る。
【００６９】
方程式２および９の異なるエネルギー関数定式化によって生成される、異なる平滑化および区分化の結果が、図９Ａ−９Ｃに図示されている。図９Ａは、カラー眼底画像の一部分である。図９Ｂは、方程式２のエネルギー関数定式化に従って決定される、図９Ａのエッジを描写する。図９Ｃは、方程式９のエネルギー関数定式化に従って決定される、図９Ａのエッジを描写する。図９Ｂが、より平滑およびより強い主要エッジを示す一方で、図９Ｃは、少ない平滑化を示し、よりかすかなエッジを保持する。いったんシステム１００が、２つの異なるエネルギー関数を最小限化する平滑化および区分化パラメータを決定すると、システム１００は、平滑化したデータおよびエッジデータの２組の異なって抽出された属性に関する情報を組み合わせ得る。この組み合わせは、２組の属性の空間および強度特性の補強と分化との両方に基づく病変の検出を可能にすることができる。いくつかの用途では、検出は、存在し得る異なる分類の病変の予備知識、ならびに同じ患者または患者集団の網膜画像の他の部分に対する属性の空間変動によって支援され得る。いくつかの実施形態では、ある網膜の異常から生じるもの等の、かすかな血管を検出するために、両方の定式化が使用され得る。具体的には、新血管形成（ＮＶＤおよびＮＶＥ）、ＩＲＭＡ、および候補微細動脈瘤の存在を決定するために、高次論理を使用して、強弱コントラストエッジを組み合わせることができる。加えて、いくつかの実施形態では、ステップ７０４（図７）の区分化および平滑化を行うようにシステム１００によって実装されるエネルギー関数定式化は、単一のエネルギー関数定式化内の異なる項（例えば、平滑化およびデータ忠実度項）を評価するための２つ以上の異なる誤差測定基準を含む。
【００７０】
システム１００がステップ７０４で平滑化および区分化を行った後に、システム１００は、平滑化および区分化された画像において少なくとも１つの網膜特徴（血管等）を識別する（ステップ７０６）。図１０Ａ−１０Ｃは、未処理の網膜眼底画像（図１０Ａ）、ステップ７０４による平滑化および区分化を受けた処理画像（図１０Ｂ）、血管候補を含む図１０Ｂの画像の一部分の拡大図（図１０Ｃ）を描写する。図１０Ｂおよび１０Ｃの平滑化および区分化された画像において網膜特徴を識別するために、いくつかの技法が使用され得る。好ましい網膜特徴識別技法が、図１１Ａ−１１Ｃに図示されている。図１１Ａは、エッジ値が閾値を超える、図１０Ｃの処理画像内の場所を描写する。好ましい実施形態では、使用される閾値は、各場所の局所近傍（平滑化および区分化に使用される同じ近傍であり得る）における平均エッジ値を決定することによって、該場所について適合的に決定される。図１１Ａは、網膜特徴の境界の第１の近似を提供するが、いくつかの無関係な境界（境界１１０２および１１０４等）を含む。システム１００は、無関係な境界を除去または低減し、図１１Ｂの画像をもたらす、図１１Ａの画像に「開放」形態技法を適用するように構成される。そのような技法の実施例は、２０１０年１０月１２日に最終アクセスされ、その全体で参照することにより本明細書に組み込まれる、ｈｔｔｐ：／／ｃｍｍ．ｅｎｓｍｐ．ｆｒ／〜ｓｅｒｒａ／ｐｄｆ／ｂｉｒｔｈ＿ｏｆ＿ｍｍ．ｐｄｆで入手可能なＭａｔｈｅｒｏｎらの「Ｔｈｅ Ｂｉｒｔｈ ｏｆ Ｍａｔｈｅｍａｔｉｃａｌ Ｍｏｒｐｈｏｌｏｇｙ」で説明されている。次いで、システム１００は、図１１Ｃに示されるような網膜特徴に対応する画像の一部分を充填するために、図１１Ｂの向上した境界を使用することができる。
【００７１】
システム１００はまた、ステップ７０６で、識別された網膜特徴（例えば、血管）の少なくとも１つの経路を決定するように構成され得る。経路は、血管の近似中心線、または網膜特徴の幾何学形状の別の表現であり得る。図１２Ａ−１２Ｄは、好適な経路検出技法を図示する。図１２Ａは、カラー眼底画像であり、図１２Ｂは、図１２Ａが（ステップ７０４に従って）平滑化および区分化を受けた後のボックス１２０２に対応する図１２Ａの一部分の拡大図である。図１２Ｃは、図１２Ｂの画像が図１１を参照して上記で説明される血管識別を受けた後のボックス１２０４に対応する図１２Ｂの一部分の拡大図である。図１２Ｄは、図１２Ｃの画像に「骨格化」技法を適用することの結果を図示する。骨格化技法は、一般的に知られており、画像の構造枠組または「骨格」を識別するために画像処理で使用される。多くの好適な骨格化技法が文献で説明されている。例えば、その全体で参照することにより本明細書に組み込まれる、Ｒｅｎｉｅｒｓらによる”Ｓｋｅｌｅｔｏｎ−ｂａｓｅｄ ｈｉｅｒａｒｃｈｉｃａｌ ｓｈａｐｅ ｓｅｇｍｅｎｔａｔｉｏｎ，” Ｐｒｏｃ． ｏｆ ｔｈｅ ＩＥＥＥ Ｉｎｔ． Ｃｏｎｆ． ｏｎ Ｓｈａｐｅ Ｍｏｄｅｌｉｎｇ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ， ｐｐ． １７９−１８８ （２００７）を参照されたい。
【００７２】
しかしながら、図１２Ｄに図示されるように、血管および他の網膜特徴に適用される骨格化技法は、主要血管経路から生じる側枝（側枝１２０８および１２１０等）をもたらすことができる。いくつかの実施形態では、システム１００は、付加的な処理ステップを行う前に、骨格化した画像からこれらの側枝を除去する。
【００７３】
図１３Ａ−１３Ｃは、システム１００が平滑化および区分化された画像において血管を識別する時の動作およびステップ７０６で生成され得る中間結果の付加的な図解を提供する。図１３Ａは、平滑化および区分化された画像を描写し、図１３Ｂは、エッジ値によって決定される血管境界を描写し、図１３Ｃは、近似中心線を見つけるように図１３Ｂの画像を骨格化することによって得られる、血管の経路を図示する。いくつかの実施形態では、血管境界は、エッジ値に加えて、またはエッジ値の代わりに、強度値によって決定され得る。
【００７４】
ステップ７０８では、システム１００は、網膜の異常を識別するように、平滑化および区分化された画像において識別された網膜特徴に関連付けられるデータ、エッジ、および他の属性を分析する。システム１００は、異なる異常を識別する異なる特徴の存在について、平滑化および区分化された画像を評価するように、ハードウェアまたはソフトウェアを伴って構成され得る。ここで、いくつかの特徴および異常識別技法について論議する。
【００７５】
図８は、実施形態による、異常検出技法８００のフロー図である。技法８００は、いくつかある異常の中でも特に、例えば、静脈内径異常（ＶＣＡＢ）および数珠状静脈を識別することによく適している。ステップ８０２では、システム１００は、識別された網膜特徴に関連付けられる経路を決定する。このステップは、図７のステップ７０６を参照して上記で説明されるように行われ得る。例えば、経路は、近似中心線を決定するように血管の平滑化および区分化された画像を骨格化することによって得られ得る。
【００７６】
ステップ８０４では、システム１００は、ステップ８０２で決定される経路の変動を決定する。これを行うために、システム１００は、
・経路に沿った異なる場所における経路の配向の角度、
・経路に沿った異なる場所における血管の直径
を含む、経路（およびそれが表す網膜特徴）の１つ以上の異なる性質を検出するように構成され得る。血管に沿ったこれらの性質の空間変動は、網膜の異常の指標として使用され得る。具体的には、ステップ８０６では、システム１００は、経路に沿った任意の場所での変動が閾値を超えるかどうかを決定する。「はい」であれば、システム１００は、ステップ８０８に進み、該場所において網膜の異常を識別する。ここで、技法８００のいくつかの例証的実施形態について論議する。
【００７７】
図１４Ａ−１４Ｃは、システム１００が、ステップ８０４における識別された網膜特徴の経路の傾斜の変動を決定する、実施形態を図示する。図１４Ａは、（図１３を参照して上記で論議されるような）識別された血管およびその中心線１４０２を描写する。図１４Ｂは、その長さに沿った（すなわち、連続する複数の場所における）中心線１４０２の傾斜の絶対値のグラフである。隣接ピクセル間の離散距離により、図１４Ｂの経路に沿った任意の点での傾斜が離散化される（ここでは０または
【００７８】
【化１２】
【００７９】
）ことに留意されたい。図１４Ｃは、図１４Ｂで描画された４つの傾斜の移動窓平均のグラフであり、各移動窓平均は、異なるピクセル窓幅（ここでは、５（青）、６（赤）、７（緑）、および８（黒））を有する。中心線１４０２の傾斜の移動窓平均を行うことは、傾斜結果をフィルタにかける１つの方法であり、任意の他のフィルタリング動作またはフィルタリング動作の組み合わせが適用され得る。
【００８０】
図１４Ｃは、ボックス１４０６の領域中の図１４Ａの持続した傾斜変化に対応する、ボックス１４０４の領域中のピークを示す。システム１００は、図１４Ｃのフィルタにかけられた傾斜が比較される閾値を含んでもよく、フィルタにかけられた傾斜（例えば、経路の変動）が閾値を超える場合に、異常が識別される（ステップ８０８）。
【００８１】
図１５Ａ−１５Ｃは、システム１００が、ステップ８０４における識別された網膜特徴の配向の角度の変動を決定する、実施形態を図示する。図１５Ａは、識別された血管およびその中心線１５０２を描写し、図１５Ｂは、その長さに沿った（すなわち、連続する複数の場所における）中心線１５０２の配向の角度のグラフである。隣接ピクセル間の離散角度により、図１５Ｂの経路に沿った任意の点での角度が離散化される（ここでは−４５、０、または４５度）ことに留意されたい。図１５Ｃは、図１５Ｂで描画された４つの角度の移動窓平均のグラフであり、各移動窓平均は、異なるピクセル窓幅（ここでは、５（青）、６（赤）、７（緑）、および８（黒））を有する。図１５Ｃは、ボックス１５０６の領域中の図１５Ａのよじれに対応する、ボックス１５０４の領域中のピークを示す。図１４Ａ−１４Ｃに関して上記で論議されるように、フィルタにかけられた角度が閾値を超える場合に、システム１００は、異常を識別し得る（ステップ８０８）。
【００８２】
図１６Ａ−１６Ｃは、システム１００がステップ８０４における網膜特徴の半径の変動を決定する、実施形態を図示する。図１６Ａは、識別された血管およびその中心線１６０２を描写し、図１６Ｂは、中心線１６０２の長さに沿った（すなわち、連続する複数の場所における）血管の半径のグラフである。図１６Ｃは、中心線１６０２に沿った対応する点における血管の半径を示すために、色の変化を使用し、ボックス１６０６の領域中の図１６Ａの狭窄に対応する、ボックス１６０４の領域中の赤い狭窄を示す。図１４Ａ−１４Ｃに関して上記で論議されるように、半径が特定の半径以下に減少する（または公称あるいは平均半径の特定割合以下に減少する）と、システム１００は、狭窄が閾値を超えたことを決定し、異常を識別し得る（ステップ８０８）。いくつかの実施形態では、システム１００は、その長さに沿った血管の半径の有為な変動を検出することによって、例えば、その局所標準偏差によって半径を正規化し、正規化半径を分析することによって、ステップ８０８における数珠状静脈異常を識別し得る。
【００８３】
いくつかの実施形態では、傾斜、角度、および半径以外の特性が、システム１００によって検出および分析される。例えば、システム１００は、ＰＲＨの検出および分類のために構成され、そのようなパラメータ（例えば、縦横比）、覆われた網膜の面積、病変のサイズ、ならびに内側および外側のテクスチャ等の特性を識別し得る。他の実施例では、システム１００は、ＩＲＭＡＳの検出および分類のために構成され、形状、候補ＩＲＭＡ血管の輪郭によって覆われる面積、および輪郭が閉鎖しているか否か等の特性を識別し得る。いくつかの実施形態では、血管の境界は、血管特性を識別するように別個に分析され得る。例えば、血管の境界におけるエッジ値の急速な変化は、異常を示し得る。
【００８４】
いくつかの実施形態では、システム１００は、分岐部が、血管の一部として識別される場所に存在するかどうかを決定するように構成され得る。システム１００は、（例えば、図８のステップ８０６に関して上記で論議されるように）血管の変化が閾値を超えたという決定に応答して、または網膜画像の分析における任意の他の段階で、この決定を行い得る。ある網膜撮像用途では、分岐部の場所は、網膜の病理の診断に関連する。他の網膜撮像用途では、分岐部は、異常検出中に（例えば、システム１００によってＶＣＡＢまたは数珠状静脈として誤って解釈される場合がある時に）望ましくはフィルタによって除去され、またはそうでなければ無視される。いくつかの分岐部検出技法のうちのいずれかが、平滑化および区分化された画像において血管分岐部を識別するために使用され得る。公知の技法の実施例は、その全体で参照することにより本明細書に組み込まれる、Ｚａｎａらによる、”Ａ ｍｕｌｔｉｍｏｄａｌ ｒｅｇｉｓｔｒａｔｉｏｎ ａｌｇｏｒｉｔｈｍ ｏｆ ｅｙｅ ｆｕｎｄｕｓ ｉｍａｇｅｓ ｕｓｉｎｇ ｖｅｓｓｅｌ ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｈｏｕｇｈ ｔｒａｎｓｆｏｒｍｓ，” ＩＥＥＥ Ｔｒａｎｓ． Ｍｅｄ． Ｉｍａｇｉｎｇ， ｖ． １８， ｎ． ５， ｐｐ． ４１９−４２８ （１９９９）で挙げられている。
【００８５】
いくつかの実施形態では、分岐部の識別の後には、網膜の異常に対して２つの「分岐」のそれぞれの別個の分析が続く。図１７Ａ−１７Ｆは、そのような実施形態を図示する。図１７Ａは、平滑化および区分化された眼底画像を描写し、図１７Ｂは、ボックス１７０２によって示される図１７Ａの画像の一部分の拡大図である。図１７Ｂは、血管分岐部を明確に図示する。分岐部の上部分岐は図１７Ｃに図示され、上部分岐の配向の角度は図１７Ｄで描画されている。持続した角度変化は、ボックス１７０４によって示され、ボックス１７０６によって示される網膜の異常に対応する。分岐部の下部分岐は、図１７Ｅのボックス１７０８に図示され、下部分岐の配向の角度は図１７Ｆで描画されている。図１７Ｆのプロットは、持続した角度変化を示さず、したがって、網膜の異常は下部分岐で検出されない。
【００８６】
本明細書で説明されるシステムおよび方法は、硬性白斑および綿状白斑等の非血管網膜特徴および異常に有用に適用される。例えば、綿状白斑は、神経損傷によって引き起こされる網膜上の綿状白斑であり、開示される平滑化、区分化、およびテクスチャ分析技法によって識別することができる。
【００８７】
随意で、システム１００は、本明細書で説明される異常検出技法（それぞれ、図７および８の技法７００および８００等）の前に網膜の画像に適用することができる、１つ以上の前処理技法を伴って構成され得る。これらの前処理技法の実施例は、そのそれぞれが、その全体で参照することにより本明細書に組み込まれる、Ｗａｌｔｅｒらによる、”Ｓｅｇｍｅｎｔａｔｉｏｎ ｏｆ ｃｏｌｏｒ ｆｕｎｄｕｓ ｉｍａｇｅｓ ｏｆ ｔｈｅ ｈｕｍａｎ ｒｅｔｉｎａ： ｄｅｔｅｃｔｉｏｎ ｏｆ ｔｈｅ ｏｐｔｉｃ ｄｉｓｃ ａｎｄ ｔｈｅ ｖａｓｃｕｌａｒ ｔｒｅｅ ｕｓｉｎｇ ｍｏｒｐｈｏｌｏｇｉｃａｌ ｔｅｃｈｎｉｑｕｅｓ，” ｉｎ Ｃｒｅｓｐｏ ｅｔ ａｌ， ｅｄｓ．， Ｌｅｃｔｕｒｅ Ｎｏｔｅｓ ｉｎ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ， ｖ． ２１９９， ｐｐ． ２８２−２８７ （２００１）； Ｗａｌｔｅｒらによる、”Ａ ｃｏｎｔｒｉｂｕｔｉｏｎ ｏｆ ｉｍａｇｅ ｐｒｏｃｅｓｓｉｎｇ ｔｏ ｔｈｅ ｄｉａｇｎｏｓｉｓ ｏｆ ｄｉａｂｅｔｉｃ ｒｅｔｉｎｏｐａｔｈｙ： ｄｅｔｅｃｔｉｏｎ ｏｆ ｅｘｕｄａｔｅｓ ｉｎ ｃｏｌｏｒ ｆｕｎｄｕｓ ｉｍａｇｅｓ ｏｆ ｔｈｅ ｈｕｍａｎ ｒｅｔｉｎａ，” ＩＥＥＥ Ｔｒａｎｓ． Ｍｅｄ． Ｉｍａｇｉｎｇ， ｖ． ２１， ｐｐ． １２３６−１２４３ （２００２）；およびＷａｌｔｅｒらによる、”Ａｕｔｏｍａｔｉｃ ｄｅｔｅｃｔｉｏｎ ｏｆ ｍｉｃｒｏａｎｅｕｒｙｓｍｓ ｉｎ ｃｏｌｏｒ ｆｕｎｄｕｓ ｉｍａｇｅｓ，” Ｍｅｄ． Ｉｍａｇｅ Ａｎａｌｙｓｉｓ， ｖ． １１， ｐｐ． ５５５−５６６ （２００７）で説明されているコントラスト強化、位置合わせ、および他の形態学的技法を含む。
【００８８】
加えて、１つ以上の強固な逐次検出アルゴリズムを適用することによって、中間データセット（例えば、傾斜、配向の角度、半径等）内の点スパイクが選択的に除去され得る。１つのそのようなアルゴリズムは、その全体で参照することにより本明細書に組み込まれる、”Ｄｕａｌ ｓｅｎｓｏｒ ｆａｉｌｕｒｅ ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ｕｓｉｎｇ ａｎａｌｙｔｉｃ ｒｅｄｕｎｄａｎｃｙ，” Ｊ． Ｇｕｉｄａｎｃｅ ａｎｄ Ｃｏｎｔｒｏｌ， ｖ． ２， ｎ． ３， ｐｐ． ２２１３−２２２０ （１９７９）で説明されている。
【００８９】
上記で論議されるように、本明細書で説明される画像分析技法は、テクスチャ等の画像属性を識別することができる。いくつかの網膜撮像用途では、テクスチャ分析は、異常、特に、微細または高空間周波数異常の検出を向上させる。エッジは、「より高い周波数」の特徴の一種の尺度を提供し、その他も使用され得る。テクスチャ分析のための従来のアルゴリズムは通常、分析される領域が、比較的均質なサブテクスチャの長方形の小領域を含むように十分大きいことを要求する。しかしながら、網膜撮像では、異常構造は小さく、不均質で、不規則な形状である。そのような形状の分析は、これらの異常に適した改良型アルゴリズムを必要とする。
【００９０】
マトリクスエッジオニオンピール（ＭＥＯＰ）方法が、それらのテクスチャに基づいて網膜の異常を識別するために使用され得る。テクスチャ領域が十分大きい、いくつかの実施形態では、テクスチャウェーブレット分析アルゴリズムが使用され得るが、小さいサイズのテクスチャ領域用のＭＥＯＰアルゴリズムと組み合わせられ得る。この方法論は、その全体で参照することにより本明細書に組み込まれる、Ｄｅｓａｉらによる”Ｎｏｉｓｅ Ａｄａｐｔｉｖｅ Ｍａｔｒｉｘ Ｅｄｇｅ Ｆｉｅｌｄ Ａｎａｌｙｓｉｓ ｏｆ Ｓｍａｌｌ Ｓｉｚｅｄ Ｈｅｔｅｒｏｇｅｎｅｏｕｓ Ｏｎｉｏｎ Ｌａｙｅｒｅｄ Ｔｅｘｔｕｒｅｓ ｆｏｒ Ｃｈａｒａｃｔｅｒｉｚｉｎｇ Ｈｕｍａｎ Ｅｍｂｒｙｏｎｉｃ Ｓｔｅｍ Ｃｅｌｌ Ｎｕｃｌｅｉ，” ＩＳＢＩ ２００９， ｐｐ． １３８６−１３８９で説明されている。エネルギー関数アプローチが、同時平滑化および区分化に使用され得る。方法論は、マトリクスエッジフィールド、および平滑化過程モデルに対する測定の適合的重み付けといった、２つの特徴を含む。マトリクスエッジ関数は、テクスチャの異なる領域にわたって平滑化近傍の形状、サイズ、および配向を適合的かつ陰に変調する。したがって、これは、より従来的なスカラーエッジフィールドベースのアプローチでは入手可能ではないテクスチャについての指向性情報を提供する。適合的測定重み付けは、各ピクセルにおける測定間の重み付けを変化させる。
【００９１】
いくつかの実施形態では、網膜の異常を識別するためのノンパラメトリック方法が使用され得る。これらの方法は、レベルセット方法、多重分解能ウェーブレット分析、および分解からのウェーブレット係数の密度関数のノンパラメトリック推定を組み合わせることに基づき得る。加えて、最大内接長方形の窓が、多重分解能分析のための十分な数のピクセルを含まない場合がある、小さいサイズのテクスチャに対処するためには、細長く不規則な形状の核の多重分解能分析を可能にする、調整可能な窓開設方法を提案する。いくつかの例示的実施形態では、ノンパラメトリック密度モデルと組み合わせた調整可能な窓開設アプローチは、ウェーブレット係数のパラメトリック密度モデリングが適用可能ではない場合がある事例に対して、より良好な分類をもたらす。
【００９２】
そのような方法はまた、複数の時空間分解能において、経時的な網膜画像のマルチスケール質的監視も可能にする。統計的多重分解能ウェーブレットテクスチャ分析は、詳細サブバンド内のウェーブレット係数を表すために使用される、一般化ガウス密度（ＧＧＤ）といったパラメトリック統計モデルと組み合わせられると効果的であることが示されている。しかしながら、すでに実装されているようなパラメトリック統計的多重分解能ウェーブレット分析は、以下のような制限を有する。１）テクスチャ分析を可能にするために、十分なサイズの長方形でテクスチャが均質な領域を手動で選択するようにユーザに要求する。２）係数の分布が対称、単一モード、および不偏であることを仮定し、これはいくつかのテクスチャには当てはまらない場合がある。上記で説明されるように、いくつかの用途では、マトリクスエッジオニオンピールアルゴリズムが、「タマネギ層」テクスチャ変化（すなわち、構造の中心からの半径の関数として変化するテクスチャ特性）を示す、小さいサイズで不規則な形状の構造に使用され得る。
【００９３】
いくつかの実施形態では、網膜特徴を自動的に区分化するために、アルゴリズムが使用され、小さい不規則な形状の（すなわち、長方形ではない）領域の多重分解能分解から入手可能な係数の数を最大限化するために、調整可能な窓開設方法が使用され得る。これらのステップは、複数の網膜特徴を用いた画像の自動分析を可能にし、テクスチャ分析を行うために人間が窓を手動で選択する必要性を排除する。最終的に、ノンパラメトリック統計分析が、パラメトリックＧＧＤモデルが適用不可能である事例に適用され得る。この分析は、後者が適用可能ではない場合において、パラメトリックモデルよりもすぐれた性能をもたらし得る。
【００９４】
ウェーブレットベースのテクスチャモデル、係数抽出、ＰＤＦ、およびテクスチャ相違点推定のための適合的窓開設、一般化ガウスおよび対称アルファ安定等の密度モデル、ならびにＡｈｍａｄ−Ｌｉｎａｎｄ、Ｌｏｆｔｓｇａａｒｄｅｎ−Ｑｕｅｓｅｎｂｅｒｒｙ等のＫＬＤ推定器を含む、いくつかの付加的な画像処理技法が、本明細書で開示される網膜撮像システムおよび方法で使用するために好適である。
【００９５】
いくつかの実施形態では、本明細書で説明される技法のうちの１つより多くは、組み合わせて、例えば、並行して、連続して使用されてもよく、または、サポートベクトルマシンあるいは確率的方法等の非線形分類器を使用して融合され得る。それぞれの網膜の異常に複数の技法を使用することにより、速度を大幅に損なうことなく精度を向上させ得る。加えて、本明細書で説明される技法のうちのいずれかは、当技術分野で一般的に使用されている糖尿病性網膜症の早期治療研究の分類スケールに従って、糖尿病性網膜症または糖尿病性黄斑浮腫のレベルを決定するのに有用である。
【００９６】
本発明は、その精神または本質的な特性から逸脱することなく、他の具体的形態で具現化され得る。したがって、前述の実施形態は、本発明の制限よりもむしろ、全ての側面で例証的であると見なされる。
【特許請求の範囲】
【請求項１】
網膜の異常を検出するコンピュータ化された方法であって、
コンピュータによって、網膜の画像を受信することと、
前記コンピュータによって、前記画像を平滑化および区分化することであって、前記平滑化および区分化することは、相互依存的である、ことと、
前記コンピュータによって、平滑化および区分化された画像において少なくとも１つの網膜特徴を識別することと、
前記コンピュータによって、網膜の異常を識別するために、前記平滑化および区分化された画像において識別された少なくとも１つの網膜特徴を分析することと
を含む、方法。
【請求項２】
前記少なくとも１つの網膜特徴は、血管を備える、請求項１に記載の方法。
【請求項３】
前記識別された少なくとも１つの血管を分析することは、
前記画像における前記少なくとも１つの血管に関連付けられる少なくとも１つの経路を決定することと、
前記経路に沿った場所における前記経路の配向の角度、および前記経路に沿った場所における前記少なくとも１つの血管の直径のうちの少なくとも１つにおける変動を決定することと、
前記変動が閾値を超える場合に、前記場所における網膜の異常を識別することと
を含む、請求項２に記載の方法。
【請求項４】
前記区分化および平滑化することは、前記画像における複数の場所におけるエッジフィールド強度を決定することを含み、前記少なくとも１つの経路は、少なくとも一部、前記エッジフィールド強度に基づいて決定される、請求項３に記載の方法。
【請求項５】
前記少なくとも１つの経路を決定することは、前記画像における前記少なくとも１つの血管に関連付けられる少なくとも１つの中心線を決定することを含む、請求項３に記載の方法。
【請求項６】
前記配向の角度の変動を決定することは、連続する複数の場所の間の配向の角度の変化を決定することを含む、請求項３に記載の方法。
【請求項７】
前記コンピュータによって、複数の変動をフィルタにかけることをさらに含む、請求項３に記載の方法。
【請求項８】
前記複数の変動をフィルタにかけることは、移動窓平均を適用することを含む、請求項７に記載の方法。
【請求項９】
前記変動は、フィルタにかけられた複数の変動のうちの少なくとも１つが閾値を超える場合に、前記閾値を超える、請求項７に記載の方法。
【請求項１０】
前記異常は、静脈内径の異常である、請求項１に記載の方法。
【請求項１１】
前記異常は、新しい血管分布である、請求項１に記載の方法。
【請求項１２】
ある場所における前記変動が閾値を超える場合に、前記コンピュータによって、血管分岐部が前記場所に存在するかどうかを決定することと、
血管分岐部が前記場所に存在する場合に、前記コンピュータによって、前記変動をフィルタによって除去することと
をさらに含む、請求項３に記載の方法。
【請求項１３】
前記平滑化および区分化することは、前記コンピュータによって、前記画像における複数の場所に関連付けられる近傍を規定する形状および配向のうちの少なくとも１つを、適合的に調整することを含む、請求項１に記載の方法。
【請求項１４】
前記近傍の形状および配向のうちの少なくとも１つを適合的に調整することは、誤差測定基準に関連付けられるエネルギー関数の値を低減させることを含む、請求項１３に記載の方法。
【請求項１５】
前記平滑化および区分化することは、
第１および第２のエネルギー関数の値を低減させることであって、前記第１のエネルギー関数は、第１の誤差測定基準を使用し、前記第２のエネルギー関数は、前記第１の誤差測定基準とは異なる第２の誤差測定基準を使用する、ことと、
前記第１および第２のエネルギー関数の値をそれぞれ低減させることによって得られる第１および第２の組の平滑化および区分化パラメータに関する情報を組み合わせることと
を含む、請求項１に記載の方法。
【請求項１６】
前記識別された少なくとも１つの網膜特徴を分析することは、前記画像のテクスチャを分析することを含む、請求項１に記載の方法。
【請求項１７】
網膜の異常を検出するためのシステムであって、
プロセッサを備え、前記プロセッサは、
網膜の画像を受信することと、
前記画像を平滑化および区分化することであって、前記平滑化および区分化は、相互依存的である、ことと、
平滑化および区分化された画像において少なくとも１つの網膜特徴を識別することと、
網膜の異常を識別するために、前記平滑化および区分化された画像において識別された少なくとも１つの網膜特徴を分析することと
を行うように構成されている、システム。
【請求項１８】
前記少なくとも１つの網膜特徴は、血管を備える、請求項１７に記載のシステム。
【請求項１９】
前記識別された少なくとも１つの血管を分析することは、
前記画像における前記少なくとも１つの血管に関連付けられる少なくとも１つの経路を決定することと、
前記経路に沿った場所における前記経路の配向の角度、および前記経路に沿った場所における前記少なくとも１つの血管の直径のうちの少なくとも１つにおける変動を決定することと、
前記変動が閾値を超える場合に、前記場所における網膜の異常を識別することと
を含む、請求項１８に記載のシステム。
【請求項２０】
前記区分化および平滑化することは、前記画像における複数の場所におけるエッジフィールド強度を決定することを含み、前記少なくとも１つの経路は、少なくとも前記エッジフィールド強度に基づいて決定される、請求項１８に記載のシステム。
【請求項２１】
前記少なくとも１つの経路を決定することは、前記画像における前記少なくとも１つの血管に関連付けられる少なくとも１つの中心線を決定することを含む、請求項１９に記載のシステム。
【請求項２２】
前記配向の角度の変動を決定することは、連続する複数の場所の間の配向の角度の変化を決定することを含む、請求項１９に記載のシステム。
【請求項２３】
前記プロセッサは、複数の変動をフィルタにかけるようにさらに構成されている、請求項１９に記載のシステム。
【請求項２４】
前記複数の変動をフィルタにかけることは、移動窓平均を適用することを含む、請求項２３に記載のシステム。
【請求項２５】
前記変動は、フィルタにかけられた複数の変動のうちの少なくとも１つが閾値を超える場合に、前記閾値を超える、請求項２３に記載のシステム。
【請求項２６】
前記異常は、静脈内径の異常である、請求項１７に記載のシステム。
【請求項２７】
前記異常は、新しい血管分布である、請求項１７に記載のシステム。
【請求項２８】
前記プロセッサは、
ある場所における前記変動が閾値を超える場合に、血管分岐部が前記場所に存在するかどうかを決定することと、
血管分岐部が前記場所に存在する場合に、コンピュータによって、前記変動をフィルタによって除去することとを行うようにさらに構成されている、請求項１９に記載のシステム。
【請求項２９】
前記平滑化および区分化することは、コンピュータによって、前記画像における複数の場所に関連付けられる近傍を規定する形状および配向のうちの少なくとも１つを適合的に調整することを含む、請求項１７に記載のシステム。
【請求項３０】
前記近傍の形状および配向のうちの少なくとも１つを適合的に調整することは、誤差測定基準に関連付けられるエネルギー関数の値を低減させることを含む、請求項２９に記載のシステム。
【請求項３１】
前記平滑化および区分化することは、
第１および第２のエネルギー関数の値を低減させることであって、前記第１のエネルギー関数は、第１の誤差測定基準を使用し、前記第２のエネルギー関数は、前記第１の誤差測定基準とは異なる第２の誤差測定基準を使用する、ことと、
前記第１および第２のエネルギー関数の値をそれぞれ低減させることによって得られる第１および第２の組の平滑化および区分化パラメータに関する情報を組み合わせることと
を含む、請求項１７に記載のシステム。
【請求項３２】
前記識別された少なくとも１つの網膜特徴を分析することは、前記画像のテクスチャを分析することを含む、請求項１７に記載のシステム。
【請求項３３】
コンピュータによって実行可能な命令を記憶した非一過性コンピュータ可読媒体であって、前記命令は、実行されると、
網膜の画像を受信することと、
前記画像を平滑化および区分化することであって、前記平滑化および区分化することは、相互依存的である、ことと、
平滑化および区分化された画像において少なくとも１つの網膜特徴を識別することと、
網膜の異常を識別するために、前記平滑化および区分化された画像において識別された少なくとも１つの網膜特徴を分析することと
を含む方法を前記コンピュータに実行させる、
非一過性コンピュータ可読媒体。
【請求項３４】
前記少なくとも１つの網膜特徴は、血管を備える、請求項３３に記載の非一過性コンピュータ可読媒体。
【請求項１】
網膜の異常を検出するコンピュータ化された方法であって、
コンピュータによって、網膜の画像を受信することと、
前記コンピュータによって、前記画像を平滑化および区分化することであって、前記平滑化および区分化することは、相互依存的である、ことと、
前記コンピュータによって、平滑化および区分化された画像において少なくとも１つの網膜特徴を識別することと、
前記コンピュータによって、網膜の異常を識別するために、前記平滑化および区分化された画像において識別された少なくとも１つの網膜特徴を分析することと
を含む、方法。
【請求項２】
前記少なくとも１つの網膜特徴は、血管を備える、請求項１に記載の方法。
【請求項３】
前記識別された少なくとも１つの血管を分析することは、
前記画像における前記少なくとも１つの血管に関連付けられる少なくとも１つの経路を決定することと、
前記経路に沿った場所における前記経路の配向の角度、および前記経路に沿った場所における前記少なくとも１つの血管の直径のうちの少なくとも１つにおける変動を決定することと、
前記変動が閾値を超える場合に、前記場所における網膜の異常を識別することと
を含む、請求項２に記載の方法。
【請求項４】
前記区分化および平滑化することは、前記画像における複数の場所におけるエッジフィールド強度を決定することを含み、前記少なくとも１つの経路は、少なくとも一部、前記エッジフィールド強度に基づいて決定される、請求項３に記載の方法。
【請求項５】
前記少なくとも１つの経路を決定することは、前記画像における前記少なくとも１つの血管に関連付けられる少なくとも１つの中心線を決定することを含む、請求項３に記載の方法。
【請求項６】
前記配向の角度の変動を決定することは、連続する複数の場所の間の配向の角度の変化を決定することを含む、請求項３に記載の方法。
【請求項７】
前記コンピュータによって、複数の変動をフィルタにかけることをさらに含む、請求項３に記載の方法。
【請求項８】
前記複数の変動をフィルタにかけることは、移動窓平均を適用することを含む、請求項７に記載の方法。
【請求項９】
前記変動は、フィルタにかけられた複数の変動のうちの少なくとも１つが閾値を超える場合に、前記閾値を超える、請求項７に記載の方法。
【請求項１０】
前記異常は、静脈内径の異常である、請求項１に記載の方法。
【請求項１１】
前記異常は、新しい血管分布である、請求項１に記載の方法。
【請求項１２】
ある場所における前記変動が閾値を超える場合に、前記コンピュータによって、血管分岐部が前記場所に存在するかどうかを決定することと、
血管分岐部が前記場所に存在する場合に、前記コンピュータによって、前記変動をフィルタによって除去することと
をさらに含む、請求項３に記載の方法。
【請求項１３】
前記平滑化および区分化することは、前記コンピュータによって、前記画像における複数の場所に関連付けられる近傍を規定する形状および配向のうちの少なくとも１つを、適合的に調整することを含む、請求項１に記載の方法。
【請求項１４】
前記近傍の形状および配向のうちの少なくとも１つを適合的に調整することは、誤差測定基準に関連付けられるエネルギー関数の値を低減させることを含む、請求項１３に記載の方法。
【請求項１５】
前記平滑化および区分化することは、
第１および第２のエネルギー関数の値を低減させることであって、前記第１のエネルギー関数は、第１の誤差測定基準を使用し、前記第２のエネルギー関数は、前記第１の誤差測定基準とは異なる第２の誤差測定基準を使用する、ことと、
前記第１および第２のエネルギー関数の値をそれぞれ低減させることによって得られる第１および第２の組の平滑化および区分化パラメータに関する情報を組み合わせることと
を含む、請求項１に記載の方法。
【請求項１６】
前記識別された少なくとも１つの網膜特徴を分析することは、前記画像のテクスチャを分析することを含む、請求項１に記載の方法。
【請求項１７】
網膜の異常を検出するためのシステムであって、
プロセッサを備え、前記プロセッサは、
網膜の画像を受信することと、
前記画像を平滑化および区分化することであって、前記平滑化および区分化は、相互依存的である、ことと、
平滑化および区分化された画像において少なくとも１つの網膜特徴を識別することと、
網膜の異常を識別するために、前記平滑化および区分化された画像において識別された少なくとも１つの網膜特徴を分析することと
を行うように構成されている、システム。
【請求項１８】
前記少なくとも１つの網膜特徴は、血管を備える、請求項１７に記載のシステム。
【請求項１９】
前記識別された少なくとも１つの血管を分析することは、
前記画像における前記少なくとも１つの血管に関連付けられる少なくとも１つの経路を決定することと、
前記経路に沿った場所における前記経路の配向の角度、および前記経路に沿った場所における前記少なくとも１つの血管の直径のうちの少なくとも１つにおける変動を決定することと、
前記変動が閾値を超える場合に、前記場所における網膜の異常を識別することと
を含む、請求項１８に記載のシステム。
【請求項２０】
前記区分化および平滑化することは、前記画像における複数の場所におけるエッジフィールド強度を決定することを含み、前記少なくとも１つの経路は、少なくとも前記エッジフィールド強度に基づいて決定される、請求項１８に記載のシステム。
【請求項２１】
前記少なくとも１つの経路を決定することは、前記画像における前記少なくとも１つの血管に関連付けられる少なくとも１つの中心線を決定することを含む、請求項１９に記載のシステム。
【請求項２２】
前記配向の角度の変動を決定することは、連続する複数の場所の間の配向の角度の変化を決定することを含む、請求項１９に記載のシステム。
【請求項２３】
前記プロセッサは、複数の変動をフィルタにかけるようにさらに構成されている、請求項１９に記載のシステム。
【請求項２４】
前記複数の変動をフィルタにかけることは、移動窓平均を適用することを含む、請求項２３に記載のシステム。
【請求項２５】
前記変動は、フィルタにかけられた複数の変動のうちの少なくとも１つが閾値を超える場合に、前記閾値を超える、請求項２３に記載のシステム。
【請求項２６】
前記異常は、静脈内径の異常である、請求項１７に記載のシステム。
【請求項２７】
前記異常は、新しい血管分布である、請求項１７に記載のシステム。
【請求項２８】
前記プロセッサは、
ある場所における前記変動が閾値を超える場合に、血管分岐部が前記場所に存在するかどうかを決定することと、
血管分岐部が前記場所に存在する場合に、コンピュータによって、前記変動をフィルタによって除去することとを行うようにさらに構成されている、請求項１９に記載のシステム。
【請求項２９】
前記平滑化および区分化することは、コンピュータによって、前記画像における複数の場所に関連付けられる近傍を規定する形状および配向のうちの少なくとも１つを適合的に調整することを含む、請求項１７に記載のシステム。
【請求項３０】
前記近傍の形状および配向のうちの少なくとも１つを適合的に調整することは、誤差測定基準に関連付けられるエネルギー関数の値を低減させることを含む、請求項２９に記載のシステム。
【請求項３１】
前記平滑化および区分化することは、
第１および第２のエネルギー関数の値を低減させることであって、前記第１のエネルギー関数は、第１の誤差測定基準を使用し、前記第２のエネルギー関数は、前記第１の誤差測定基準とは異なる第２の誤差測定基準を使用する、ことと、
前記第１および第２のエネルギー関数の値をそれぞれ低減させることによって得られる第１および第２の組の平滑化および区分化パラメータに関する情報を組み合わせることと
を含む、請求項１７に記載のシステム。
【請求項３２】
前記識別された少なくとも１つの網膜特徴を分析することは、前記画像のテクスチャを分析することを含む、請求項１７に記載のシステム。
【請求項３３】
コンピュータによって実行可能な命令を記憶した非一過性コンピュータ可読媒体であって、前記命令は、実行されると、
網膜の画像を受信することと、
前記画像を平滑化および区分化することであって、前記平滑化および区分化することは、相互依存的である、ことと、
平滑化および区分化された画像において少なくとも１つの網膜特徴を識別することと、
網膜の異常を識別するために、前記平滑化および区分化された画像において識別された少なくとも１つの網膜特徴を分析することと
を含む方法を前記コンピュータに実行させる、
非一過性コンピュータ可読媒体。
【請求項３４】
前記少なくとも１つの網膜特徴は、血管を備える、請求項３３に記載の非一過性コンピュータ可読媒体。
【図１】
【図２】
【図３】
【図４Ａ】
【図４Ｂ】
【図４Ｃ】
【図５】
【図６】
【図９Ａ】
【図９Ｂ】
【図９Ｃ】
【図１０Ａ】
【図１０Ｂ】
【図１０Ｃ】
【図１１Ａ】
【図１１Ｂ】
【図１１Ｃ】
【図１２Ａ】
【図１２Ｂ】
【図１２Ｃ】
【図１２Ｄ】
【図１３Ａ】
【図１３Ｂ】
【図１３Ｃ】
【図１４Ａ】
【図１４Ｂ】
【図１４Ｃ】
【図１５Ａ】
【図１５Ｂ】
【図１５Ｃ】
【図１６Ａ】
【図１６Ｂ】
【図１６Ｃ】
【図１７Ａ】
【図１７Ｂ】
【図１７Ｃ】
【図１７Ｄ】
【図１７Ｅ】
【図１７Ｆ】
【図７】
【図８】
【図２】
【図３】
【図４Ａ】
【図４Ｂ】
【図４Ｃ】
【図５】
【図６】
【図９Ａ】
【図９Ｂ】
【図９Ｃ】
【図１０Ａ】
【図１０Ｂ】
【図１０Ｃ】
【図１１Ａ】
【図１１Ｂ】
【図１１Ｃ】
【図１２Ａ】
【図１２Ｂ】
【図１２Ｃ】
【図１２Ｄ】
【図１３Ａ】
【図１３Ｂ】
【図１３Ｃ】
【図１４Ａ】
【図１４Ｂ】
【図１４Ｃ】
【図１５Ａ】
【図１５Ｂ】
【図１５Ｃ】
【図１６Ａ】
【図１６Ｂ】
【図１６Ｃ】
【図１７Ａ】
【図１７Ｂ】
【図１７Ｃ】
【図１７Ｄ】
【図１７Ｅ】
【図１７Ｆ】
【図７】
【図８】
【公表番号】特表２０１３−５０８０３５（Ｐ２０１３−５０８０３５Ａ）
【公表日】平成２５年３月７日（２０１３．３．７）
【国際特許分類】
【出願番号】特願２０１２−５３４４２０（Ｐ２０１２−５３４４２０）
【出願日】平成２２年１０月１５日（２０１０．１０．１５）
【国際出願番号】ＰＣＴ／ＵＳ２０１０／０５２９５０
【国際公開番号】ＷＯ２０１１／０４７３４２
【国際公開日】平成２３年４月２１日（２０１１．４．２１）
【出願人】（５９１０１６９７６）ザ・チャールズ・スターク・ドレイパ・ラボラトリー・インコーポレイテッド (10)
【出願人】（５１２０９８５９９）ジョスリン ダイアビーティーズ センター， インコーポレイテッド (1)
【公表日】平成２５年３月７日（２０１３．３．７）
【国際特許分類】
【出願日】平成２２年１０月１５日（２０１０．１０．１５）
【国際出願番号】ＰＣＴ／ＵＳ２０１０／０５２９５０
【国際公開番号】ＷＯ２０１１／０４７３４２
【国際公開日】平成２３年４月２１日（２０１１．４．２１）
【出願人】（５９１０１６９７６）ザ・チャールズ・スターク・ドレイパ・ラボラトリー・インコーポレイテッド (10)
【出願人】（５１２０９８５９９）ジョスリン ダイアビーティーズ センター， インコーポレイテッド (1)
[ Back to top ]