３次元眼底画像の構築・表示装置
【課題】 眼底形状が球面から変形していても適用でき、特別な工夫は要らず、通常の臨床撮影方法で眼底画像を複数取得でき、複雑な生体眼の光学系を単レンズでモデル化することなく各眼底画像の正確な縮尺率、投影位置、角度などのパラメータを正確に決定でき、これにより複数の眼底画像から精密な画像の縮尺率と空間位置を持つ正確な３次元眼底画像を構築し表示することができる３次元眼底画像の構築・表示装置を提供する。
【解決手段】 プローブ１２ｂの動きをジグ１２ｃを用いて規制しプローブから被験者１の眼底面１ａに向けて超音波を発振・受信し、眼底の超音波断面画像２を取得する超音波測定手段１２と、眼底面１ａを異なる方向から複数撮影して中心画像を含む複数の眼底画像３として記憶する眼底画像取得手段１４と、中心画像上の認識可能な部位間の実距離ｄｒを計測する実距離計測手段１６と、複数の眼底画像を正しい縮尺率で３次元眼底面に投影して３次元眼底画像を構築する眼底画像構築手段１８と、３次元眼底画像を表示する表示手段２０とを有する。
【解決手段】 プローブ１２ｂの動きをジグ１２ｃを用いて規制しプローブから被験者１の眼底面１ａに向けて超音波を発振・受信し、眼底の超音波断面画像２を取得する超音波測定手段１２と、眼底面１ａを異なる方向から複数撮影して中心画像を含む複数の眼底画像３として記憶する眼底画像取得手段１４と、中心画像上の認識可能な部位間の実距離ｄｒを計測する実距離計測手段１６と、複数の眼底画像を正しい縮尺率で３次元眼底面に投影して３次元眼底画像を構築する眼底画像構築手段１８と、３次元眼底画像を表示する表示手段２０とを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、眼底写真から３次元眼底画像を構築し表示する装置に関する。
【背景技術】
【０００２】
眼底とは眼球の内面部のことであり、そこは血管や神経が光学的な手段で直接見ることが可能な、人体内では数少ない部分の一つである。この眼底を観察し、眼底およびそこに存在する血管、神経の形態の情報を獲得するのは眼内腫瘍、黄斑疾患などの眼科疾患、さらに高血圧、動脈硬化症、糖尿病といった循環系疾患、内分泌疾患などを含めた全身疾患の臨床診断にとても有用である。
【０００３】
眼底を観察する手段として従来から眼底カメラが用いられている。眼底カメラは患者の瞳を通して眼内を照明し、同時に眼底の一部を銀塩フイルムやＣＣＤに撮影するものである。
しかし、眼底カメラの視野角は５０度と狭く、１回の撮影だけで獲得できる情報は満足できるものではない。そこで、眼球内部を出来るだけ広くカバーするように多方向から眼底写真を撮影して、平面上に手作業で、または画像処理により半自動的に合成して１枚のパノラマ写真を作成するように工夫されている。
また、電子カルテへの対応のために、コンピュータと接続した眼底カメラが開発され、画像のファイリングを行うことも可能となっている。しかし、それは立体的な眼底の異なる部位を撮影した、眼球の光学系によって既に変形されている画像を無理に平面上に繋げ合わせたものであるため、画像同士の連続性が保証されない一方、血管の形態、眼底疾患の位置と範囲などに関する正確で定量的な情報の提供に限度があった。また最近臨床では重要視されている患者へのインフォームドコンセントにも対応しにくかった。
【０００４】
しかし、眼底は立体形状であり、これを撮像した眼底写真はその一部を平面上に展開したものであるため、繋ぎ合わせた眼底写真は立体形状上の３次元情報を２次元に撮影していることから、画像同士の連続性はなく、正確に繋ぎ合わせることはできなかった。
また、このように繋ぎ合わせた眼底写真は眼底を平面に展開した形になっていることから、眼球の構造を習熟している専門医師であっても正確に判断することは困難であり、専門外の医師や患者がその画像を理解することは困難であった。
さらに、眼底の血管の異常、網膜剥離、腫瘍の有無などを専門医師が判断できても、眼底写真上の画像は既に変形されているため、血管や剥離領域などの大きさや位置を定量的にデータ化し、患者の時系列データや疫学的データベースとして役立てることは出来なかった。
【０００５】
上述した問題点を解決するために、特許文献１〜３が開示されている。
【０００６】
［特許文献１］の「眼底画像システム」は、図１２に示すように、患者の眼底を撮影した眼底画像５１と、眼底の形状を模擬し予め作成された眼底形状モデル５２と、眼底画像の撮影条件を表すパラメータである画像平面パラメータを計算するための画像平面パラメータ計算手段５３と、画像平面パラメータにしたがって眼底画像を眼底形状モデル上に投影し眼底モデルを作成するための眼底モデル生成手段５４と、その眼底モデル５５を表示するための眼底モデル表示手段５６とを有するものである。
【０００７】
また、［特許文献２］の「生体眼のレンズを単レンズでモデル化し、眼底の形状を球面と仮定すると、単レンズによる眼底の像は２次曲面となり、カメラはこの２次曲面を様々な方向から撮影したものとみなせることから、図１３に示すように、複数の眼底画像に共通に含まれている特徴点を２次曲面で重ね合うように最適化計算をすることにより、２次曲面の形状と各画像を撮影した時のカメラのそれぞれの位置・姿勢を同時に推定し、２次曲面の形状から単レンズのパラメータを求め、眼底の形状を復元する方法である。
【０００８】
さらに、［特許文献３］の「眼底の立体表示および座標計測方法と装置」は、図１４に示すように、予め超音波などの測定データを用いて生体眼の形状を作成し、生体眼の形状に対して、視線を微小角度動かしたことによるカメラ眼底写真上の特徴点（血管分岐点など）の移動量をもとに投影パラメータを求め、このパラメータを用いて、３次元眼底への投影を行い、微小なズレなどに対してはマニュアルで調整を行い眼底の形状を復元する手段である。
【０００９】
【特許文献１】特開２０００−２１０２６０号公報、「眼底画像システム」
【特許文献２】特開２００２−３４９２５号公報、「多方向から撮影した眼底画像の重合せによる眼底３次元パターンの復元法及び装置」
【特許文献３】特開２００４−２４７３９号公報、「眼底の立体表示および座標計測方法と装置」
【発明の開示】
【発明が解決しようとする課題】
【００１０】
しかし、特許文献１の手段は、眼底の形状を模擬するために「予め用意した複数種類の眼底形状モデル」を用いるが、実際の眼底形状は、年齢や生別により相違し、さらに、眼内腫瘍、黄斑疾患などの眼科疾患がある場合には、正常な眼底とは大きく相違することが知られている。そのため、対象者の実際の眼底形状を正確に計測できない限り、正確な眼底形状を模擬することができなかった。
【００１１】
また、特許文献２の手段は、以下のような問題点が存在しており、汎用性、復元精度に課題が残っている。
（１）健全な眼球の眼底形状はほぼ球面とみなせるが、強度の近視や遠視、緑内障眼などの場合には眼底形状が球面から変形しているので汎用性はない。
（２）複雑な生体眼の光学系が単レンズでモデル化できるという仮定を前提としているので、たとえ実際の眼底形状が球面である場合でも、最適化計算により得られた眼底形状は実際に合わないことが考えられる。
【００１２】
さらに、特許文献３の手段は、
（３）撮影位置を微小角度ずらす量の正確な規定が困難である。
（４）生体眼球とカメラとの距離、撮影角度などの投影パラメータ決定が困難である。
（５）３次元眼底に投影した眼底画像をマニュアルで微調整するのは容易ではない、等の問題点があった。
【００１３】
本発明は、かかる問題点を解決するために創案されたものである。すなわち、本発明の目的は、眼底形状が球面から変形していても適用でき、特別な工夫は要らず、通常の臨床撮影方法で眼底画像を複数取得でき、複雑な生体眼の光学系を単レンズでモデル化することなく各眼底画像の正確な縮尺率、投影位置、角度などのパラメータを正確に決定でき、これにより複数の眼底画像から精密な画像の縮尺率と空間位置を持つ正確な３次元眼底画像を構築し表示することができる３次元眼底画像の構築・表示装置を提供することにある。
【課題を解決するための手段】
【００１４】
本発明によれば、プローブの動きをジグを用いて規制しプローブから被験者の眼底面に向けて超音波を発振・受信し、眼底の超音波断面画像を取得する超音波測定手段と、
眼底面を異なる方向から複数撮影して中心画像を含む複数の眼底画像として記憶する眼底画像取得手段と、
前記中心画像上の認識可能な部位間の実距離ｄｒを計測する実距離計測手段と、
前記複数の眼底画像を正しい縮尺率で前記３次元眼底面に投影して３次元眼底画像を構築する眼底画像構築手段と、
３次元眼底画像を表示する表示手段とを有することを特徴とする３次元眼底画像の構築・表示装置が提供される。
【００１５】
上記本発明の装置によれば、超音波測定手段で、被験者の眼底の超音波断面画像を取得するので、被験者の眼球が正確な球面から変形している場合でも、正確な３次元眼底面を生成することができる。
また、眼底画像取得手段で、眼底面を異なる方向から複数撮影して中心画像を含む複数の眼底画像として記憶するので、１枚の画像ではカバーできない広い範囲の眼底画像を正確な３次元眼底面に投影することができる。
さらに、実距離計測手段で中心画像上の認識可能な部位間の実距離ｄｒを計測するので、中心画像との対応でその縮尺率Ｓｃを正確に決定することができる。
また、眼底画像構築手段で、複数の眼底画像を正しい縮尺率で３次元眼底面に投影して３次元眼底画像を構築するので、この３次元眼底画像を表示手段で表示することにより、当該被験者の眼底の３次元画像を正確に表示し、定量的な眼底情報を提示すると同時に、専門医師以外の医師や患者の理解（インフォームドコンセント）に役立てることができる。
【００１６】
本発明の好ましい実施形態によれば、 前記眼底画像構築手段は、
取得した複数の前記超音波断面画像を用いて３次元座標を有する３角形メッシュにより表現した３次元眼底面を生成する眼底面生成手段と、
前記中心画像上の認識可能な部位間の画像上の距離ｄｐを計測する画像上距離計測手段と、
前記画像上の距離ｄｐと実距離ｄｒから中心画像の縮尺率Ｓｃを決定する中心縮尺決定手段と、
決定した縮尺率を利用して中心画像の縮尺を行い、縮尺した中心画像を前記３次元眼底面へ眼軸方向に投影する中心画像投影手段と、
複数の眼底画像の血管分岐点を特徴点として用い、隣接する画像間の対応付けを行う隣接画像対応付け手段と、
前記画像間の対応点から中心画像以外の周辺画像を前記３次元眼底面に投影するためのパラメータを得るパラメータ算出手段と、
得られたパラメータを基に、前記周辺画像を正しい縮尺率で投影し３次元眼底画像を構築する周辺画像投影手段とからなる。
【００１７】
この構成により、眼底面生成手段で３次元座標を有する３角形メッシュにより３次元眼底面を正確に表現できる。また、中心縮尺決定手段で中心画像の縮尺率Ｓｃを正確に決定し、中心画像投影手段で、縮尺した中心画像を前記３次元眼底面へ正確に投影することができる。
また、隣接画像対応付け手段で複数の眼底画像の血管分岐点を特徴点として用い、隣接する画像間の対応付けを行うので、対応点同士を重ねあわせることができる。
さらにパラメータ算出手段で前記画像間の対応点から中心画像以外の周辺画像を前記３次元眼底面に投影するためのパラメータを得ることができ、これを用いて周辺画像投影手段で前記周辺画像を正しい縮尺率で投影することができる。
従って、複数の眼底画像を正しい縮尺率で３次元眼底面に投影して３次元眼底画像を構築し、これを表示するので、１枚の画像ではカバーできない広い範囲の眼底画像を正確な３次元眼底面に投影することができる。
【００１８】
さらに本発明によれば、上述した手段をコンピュータに実行させるためのプログラムと、このプログラムを記憶したコンピュータ読み取り可能な記憶媒体が提供される。
このプログラム及び記憶媒体により、コンピュータを用いて上記手段を実施することができる。
【発明の効果】
【００１９】
上述したように、本発明の３次元眼底画像の構築・表示装置は、眼底形状が球面から変形していても適用でき、特別な工夫は要らず、通常の臨床撮影方法で眼底画像を複数取得でき、複雑な生体眼の光学系を単レンズでモデル化することなく各眼底画像の正確な縮尺率、投影位置、角度などのパラメータを正確に決定でき、これにより複数の眼底画像から精密な画像の縮尺率と空間位置を持つ正確な３次元眼底画像を構築し表示することができる、等の優れた効果を有する。
【発明を実施するための最良の形態】
【００２０】
以下、本発明の好ましい実施形態を図面を参照して説明する。なお、各図において、共通する部分には同一の符号を付し、重複した説明を省略する。
【００２１】
図１は、本発明の３次元眼底画像の構築・表示装置の全体構成図である。この図に示すように、本発明の３次元眼底画像の構築・表示装置１０は、超音波測定手段１２、眼底画像取得手段１４、実距離計測手段１６、眼底画像構築手段１８、及び表示手段２０を備える。
【００２２】
超音波測定手段１２は、超音波測定機１２ａ、プローブ１２ｂ及びプローブガイド１２ｃからなり、プローブ１２ｂの動きをプローブガイド１２ｃ（ジグ）を用いて規制しプローブから被験者１の眼底面１ａに向けて超音波を発振・受信し、眼底面の超音波断面画像２を取得する。
眼底画像取得手段１４は、眼底カメラ１４ａとこれを案内するカメラガイド１４ｂからなり、同一の被験者１の眼底面１ａを異なる方向から複数撮影して中心画像を含む複数の眼底画像３として記憶する。
実距離計測手段１６は、ＯＣＴ装置（光学的干渉断層計）１６ａであり、近赤外線低干渉ビームを観察光として用いて、同一の被験者１の眼底面１ａの中心画像上の認識可能な部位間の実距離ｄｒを計測する。中心画像上の認識可能な部位とは、血管の分岐点、中心窩、神経乳頭などである。
【００２３】
眼底画像構築手段１８は、記憶装置に記憶したプログラムにより、複数の眼底画像３を正しい縮尺率で３次元眼底面に投影して３次元眼底画像４を構築する。眼底画像構築手段１８は、中央処理装置（ＣＰＵ）、記憶装置（ＲＡＭ，ＲＯＭ，ＨＤ）、入出力装置（キーボード、マウス、ＣＤドライブ、ＦＤドライブ、プリンタ等）、通信制御装置等からなり、例えばパソコン（ＰＣ）や汎用コンピュータである。
表示手段２０は、コンピュータのディスプレイ装置であり、眼底画像構築手段１８で構築した３次元眼底画像を表示する。
【００２４】
図２は、本発明における眼底画像の取得手段を示す模式図である。この図に示すように、眼底画像取得手段１４では、眼軸方向をＺ軸とする全体座標系Ｘ-Ｙ-Ｚに対し、画像の投影方向、位置を表すために、局所座標系ｘ-ｙ-ｚを導入する。
【００２５】
図３は、本発明の装置で実行する方法を示すフロー図である。以下、このフロー図に沿って、本発明を説明する。
Ｓ１（超音波波断層画像の取得）では、正確な測定断面の位置情報を得るためにプローブガイド（ジグ）１２ｃを用いてプローブ１２ｂの動きを規制し、超音波測定手段１２のＢモードで測定を行う。取得した断面動画像はパソコン（コンピュータ）１８に取り込み、静止画に変換し記憶する。
Ｓ２（３角形メッシュにより表現した眼底面の生成）では、取得した超音波静止断面画像を用いて眼底輪郭上のポイントを自動的に検出したうえ、断面画像の位置情報に合わせて各ポイントの３次元座標を生成する。これに基づいて３角形メッシュにより表現した３次元眼底面４を生成する。
【００２６】
Ｓ３（眼底画像の取得）では、眼底カメラ１４ａを用いて、眼底面１ａをできるだけ広くカバーするように異なる方向から複数枚の眼底画像３を撮影し、眼底カメラ１４ａと接続しているパソコン１８に取り込み、ピクセル画像として記憶する。眼底カメラ１４ａには撮影部の移動により撮影方向を決めるタイプ、内部あるいは外部固視標を凝視することによって撮影方向を決めるタイプの二つのタイプがあり、いずれの場合でも中心画像を眼軸方向に撮影することができる。
Ｓ４（隣接画像間の対応点の検出）では、特徴点として各画像上の血管の分岐点を手動であるいは自動的に検出する。さらに特徴点の隣接画像間の対応付けを行う。
Ｓ５（中心画像上の部位間距離の計測）では、中心画像上に認識可能な部位（血管の分岐点、中心窩、神経乳頭など）間の画像上の距離ｄｐを計測する。
Ｓ６（ＯＣＴなどによる部位間実距離の計測）では、ＯＣＴ装置（光学的干渉断層計）などによりＳ５と対応する部位間の実距離ｄｒを計測する。
【００２７】
Ｓ７（中心画像縮尺率の決定）では、Ｓ５とＳ６で計測された距離ｄｐ、ｄｒを用いて中心画像の縮尺率Ｓｃを［数１］の式（１）のように決定する。
【００２８】
【数１】
【００２９】
Ｓ８（既知の眼底面への中心画像の投影）では、Ｓ７で決定した縮尺率Ｓｃを利用して中心画像の縮尺を行い、眼軸方向においてＳ２で生成された３次元眼底面４への投影を行う。
【００３０】
Ｓ９（中心画像以外の画像の投影）では、眼底カメラ１４ａの撮影範囲の狭さから、中心画像を含めた各眼底画像は異なる角度から撮影部位を画像面に弱中心射影することによってできた画像と見なせる。したがって、各画像は撮影部位の実物が射影方向と垂直な面内に縮尺率ｓにより縮尺され、そして画像面に正射影されることによってできた画像として扱える。
このように、投影（射影）方向、投影位置また縮尺率が既知であれば、上記の中心画像と同様に各画像を既知の眼底面に投影することができ、３次元眼底画像が構築できる。
こうしたことから、上記で投影された中心画像を核として、投影が完了した隣接画像との重複領域での対応点の、Ｓ２で生成された既知の３次元眼底面４における空間位置が一致するように後述する計算手段を利用して各画像の投影方向、投影位置また縮尺率を順次に求め投影する（図２Ｂ）。
【００３１】
以下、この計算手段を説明する。
Ｓ９の（ａ）（投影方向、位置および縮尺率の決定）では、図２Ａに示したように、画像の投影方向、位置を表すために、局所座標系ｘ-ｙ-ｚを導入する。これは全体座標系Ｘ-Ｙ-Ｚを回転、平行移動させることにより得られたものとする。従って、二つの座標系の間の座標変換には［数２］の式（２）が成立する。
この式（２）において、ｓは縮尺率を表す．またＲは回転行列、Ｔは平行移動ベクトルであり、それぞれ［数２］の式（３）（４）で示される。
【００３２】
【数２】
【００３３】
ここで、α、β、γはＺ-Ｙ-Ｚオイラー角を、ＴＸ、ＴＹはＺ座標面内における移動量を表す。
このように、画像を３次元眼底面に投影するために、ｓ、α、β、γ、ＴＸ、ＴＹの６個のパラメータを求めばよい。
【００３４】
いま、画像上のｎ個の特徴点は投影が完了した隣接画像上の特徴点と対応付けられたと仮定する。その内の第ｉ番目の特徴点の局所座標系における座標をｘｉ、ｙｉ、０、それと対応する隣接画像上の特徴点の、全体座標系における３次元座標をＸＲｉ、ＹＲｉ、ＺＲｉ（既知）とし、またそれが位置する眼底面上の三角形メッシュの平面方程式を［数３］の式（５）（６）とする。ただし、Ｘｅｉ、Ｙｅｉ、Ｚｅｉは三角形の頂点座標を表す。
【００３５】
【数３】
【００３６】
当特徴点の全体座標系における座標は式（２）に基づき［数４］の式（７）のように求められ、
また、当特徴点を通り、投影方向（ｚ軸方向）と同じ方向の直線方程式は［数４］の式（８）のようになる。
【００３７】
【数４】
【００３８】
したがって、これと以上の平面との交点座標、つまり当特徴点の、投影された後の全体座標は［数５］の式（９）（１０）のように得られる．
【００３９】
【数５】
【００４０】
そこで、評価関数を［数６］の式（１１）のように定義する。
【００４１】
【数６】
【００４２】
これを最小化することによって、ｓ、α、β、γ、ＴＸ、ＴＹの６個のパラメータを求めることができる。
【００４３】
ここで、便宜上、次のようにｕｉ（ｉ＝１、．．．、６）を導入する。
ｕ１＝α、ｕ２＝β、ｕ３＝γ、ｕ４＝ＴＸ、ｕ５＝ＴＹ、ｕ６＝ｓ・・・（１１ａ）
【００４４】
Фの最小化条件は、［数７］の式（１２）（１３）のように示される。
【００４５】
【数７】
【００４６】
式（１３）は６個の未知量を変数とする６個の方程式を表し、これを解けば未知量が求まる．しかしながら、これはこれらの未知量に関する非線形方程式なのでそのままでは解けない．そこで、Ｎｅｗｔｏｎ-Ｒａｐｈｓｏｎ法を用いて解くことにする。
【００４７】
式（１３）をＴａｙｌｏｒ展開して線形化すると［数８］の式（１４）（１５）の線形方程式が得られる。各繰り返しステップにおいて方程式（１４）を解き、各未知変数を［数８］の式（１６）のように更新する。これをΔulkが十分小さくなるまで繰り返すことによって６個の未知変数ｕｌ（ｌ＝１、．．．、６）を得ることができる。
【００４８】
【数８】
【００４９】
Ｓ９の（ｂ）（既知眼底面への投影）では、以上で求められたパラメータｕｌ（ｌ＝１、．．．、６）、すなわち回転角度（α、β、γ）、平行移動ベクトル（ＴＸ、ＴＹ）、縮尺率ｓの６要素を用いて式（２）の逆変換を行うことにより得られた眼底面上の３角形メッシュ頂点の画像上の位置情報をもとに、画像上のピクセルと３角メッシュの位置関係を獲得し画像の投影を行う。
【００５０】
Ｓ１０（３次元眼底画像の表示）では、ズームイン・ズームアウト、回転、切断表示などの機能を持つ可視化ソフトを用いてコンピュータの上で３次元眼底画像を表示する。
構築した３次元眼底画像は、コンピュータグラフィック（ＣＧ）を利用して立体的に可視化することができる。ＣＧを利用した可視化では特別な知識なしに眼底の構造を理解できることからインフォームドコンセントに役立たせることができる。
また、構築した３次元眼底画像は計測することが可能であり、この３次元眼底画像を基に医師、技師または自動判別により血管、網膜剥離の範囲、腫瘍などの部位を指定して３次元座標を求めることができる。この設定には可視化した２次元に投影した（モニター上）の画像から２次元の位置をマウスなどで指定した情報を基に３次元座標を算出することが容易である。
【実施例】
【００５１】
以下、本発明の実施例を図４〜図１１を参照して説明する。
（１） 超音波測定機（図４）を使用して生体眼球の３次元眼底面を作成した。
超音波測定機１２のＢモード測定（眼底形状を測定できるモード）を利用し、複数の断面測定を行った。
得られた複数断面のピクセル画像から画像処理技術を用いて、図２における角膜先端を原点Ｏとする３次元座標系Ｘ-Ｙ-Ｚに関する座標データをそれぞれ眼底輪郭上において３点以上収集した。
ついで、この眼底面の収集された座標データから３角形メッシュで表現された眼底面（図５）を作成した。
【００５２】
（２） 眼底写真の取得（図６）
眼底カメラ１４を使用して、中心画像（中心窩を含んだ中心の画像）を含め、眼底画像を異なる角度から９枚撮影した。
（３） ＯＣＴ測定機１６（図７）によるデータ収集及び中心映像の投影
ＯＣＴ測定機１６（光学干渉断層計）を使用して、中心窩と視神経乳頭辺縁の実測を行い、中心映像の縮尺率を求め、三角形メッシュ眼底への投影を行った（図９）。
（４） 特徴点データの収集（図８）
眼底画像間の重複する領域での対応する特徴点（重複する眼底血管の分岐点など）の座標を収集した。
【００５３】
（５） 中心映像以外の映像の投影（図９、１０）
（３）で投影された中心画像を核として、（４）で収集された特徴点と（１）での眼底面３角形メッシュの情報を利用して各画像の投影パラメータを順次に求め既知の眼底への投影を行った．
（６）３次元眼底画像の表示（図１１）
図１１は得られた眼球のビュアー像である。
【００５４】
上述したように、本発明は超音波測定により取得した生体眼球断面画像から３角形メッシュで離散化表現された３次元眼底形状を生成し、これを既知とする。また、各眼底画像を異なる角度からの弱中心射影による画像と見なす。このように、まず眼軸方向に撮影された中心画像をＯＣＴ（光学干渉断層計）などにより実測された中心窩と神経乳頭縁、あるいは血管分岐点の間の実距離をもとに算出した縮尺率を用いて既知の眼底面に投影する。そして、これを核として、それ以外の各画像について、それぞれと隣り合い、かつ投影が完了した画像（一番目画像の場合は中心画像のみ）との重複領域での対応する特徴点の既知の３次元眼底面上における空間位置が一致することと３角形メッシュの情報をもとに計算工学手法を利用して、投影方向、位置および縮尺率を順次に求め、それらを眼底面に投影し、３次元眼底画像を構築するものである。
したがって、本発明は撮影方法の工夫、３次元空間での画像の位置調整は必要なく、かつ任意形状を持つ３次元眼底に対処可能な、血管の連続性が保たれた３次元眼底画像を構築する汎用的な特徴を有する。
【００５５】
なお、本発明は上述した実施形態及び実施例に限定されるものではなく、本発明の要旨を逸脱しない範囲で種々変更できることは勿論である。
【図面の簡単な説明】
【００５６】
【図１】本発明の３次元眼底画像の構築・表示装置の全体構成図である。
【図２】本発明における眼底画像の取得手段を示す模式図である。
【図３】本発明の装置で実行する方法を示すフロー図である。
【図４】測定装置による断面映像の模式図である。
【図５】３角形メッシュにより表現した３次元眼底面の例である。
【図６】無散瞳眼底カメラによる眼底画像である。
【図７】ＯＣＴ測定機の図である。
【図８】特徴点の付加画像である。
【図９】眼球画像への投影を示す模式図である。
【図１０】眼球画像への投影を示す正面図である。
【図１１】眼球のビュアーである。
【図１２】［特許文献１］の「眼底画像システム」の模式図である。
【図１３】［特許文献２］の手段の模式図である。
【図１４】［特許文献３］の手段の模式図である。
【符号の説明】
【００５７】
１ 被験者、１ａ 眼底面、２ 超音波断面画像、３ 眼底画像、
４ ３次元眼底面、１０ ３次元眼底画像の構築・表示装置、
１２ 超音波測定手段、１２ｂ プローブ、１２ｃ プローブガイド（ジグ）、
１４ 眼底画像取得手段、１４ａ 眼底カメラ、１４ｂ カメラガイド、
１６ 実距離計測手段、１６ａ ＯＣＴ装置（光学的干渉断層計）、
１８ 眼底画像構築手段 （コンピュータ）、２０ 表示手段（ディスプレイ装置）
【技術分野】
【０００１】
本発明は、眼底写真から３次元眼底画像を構築し表示する装置に関する。
【背景技術】
【０００２】
眼底とは眼球の内面部のことであり、そこは血管や神経が光学的な手段で直接見ることが可能な、人体内では数少ない部分の一つである。この眼底を観察し、眼底およびそこに存在する血管、神経の形態の情報を獲得するのは眼内腫瘍、黄斑疾患などの眼科疾患、さらに高血圧、動脈硬化症、糖尿病といった循環系疾患、内分泌疾患などを含めた全身疾患の臨床診断にとても有用である。
【０００３】
眼底を観察する手段として従来から眼底カメラが用いられている。眼底カメラは患者の瞳を通して眼内を照明し、同時に眼底の一部を銀塩フイルムやＣＣＤに撮影するものである。
しかし、眼底カメラの視野角は５０度と狭く、１回の撮影だけで獲得できる情報は満足できるものではない。そこで、眼球内部を出来るだけ広くカバーするように多方向から眼底写真を撮影して、平面上に手作業で、または画像処理により半自動的に合成して１枚のパノラマ写真を作成するように工夫されている。
また、電子カルテへの対応のために、コンピュータと接続した眼底カメラが開発され、画像のファイリングを行うことも可能となっている。しかし、それは立体的な眼底の異なる部位を撮影した、眼球の光学系によって既に変形されている画像を無理に平面上に繋げ合わせたものであるため、画像同士の連続性が保証されない一方、血管の形態、眼底疾患の位置と範囲などに関する正確で定量的な情報の提供に限度があった。また最近臨床では重要視されている患者へのインフォームドコンセントにも対応しにくかった。
【０００４】
しかし、眼底は立体形状であり、これを撮像した眼底写真はその一部を平面上に展開したものであるため、繋ぎ合わせた眼底写真は立体形状上の３次元情報を２次元に撮影していることから、画像同士の連続性はなく、正確に繋ぎ合わせることはできなかった。
また、このように繋ぎ合わせた眼底写真は眼底を平面に展開した形になっていることから、眼球の構造を習熟している専門医師であっても正確に判断することは困難であり、専門外の医師や患者がその画像を理解することは困難であった。
さらに、眼底の血管の異常、網膜剥離、腫瘍の有無などを専門医師が判断できても、眼底写真上の画像は既に変形されているため、血管や剥離領域などの大きさや位置を定量的にデータ化し、患者の時系列データや疫学的データベースとして役立てることは出来なかった。
【０００５】
上述した問題点を解決するために、特許文献１〜３が開示されている。
【０００６】
［特許文献１］の「眼底画像システム」は、図１２に示すように、患者の眼底を撮影した眼底画像５１と、眼底の形状を模擬し予め作成された眼底形状モデル５２と、眼底画像の撮影条件を表すパラメータである画像平面パラメータを計算するための画像平面パラメータ計算手段５３と、画像平面パラメータにしたがって眼底画像を眼底形状モデル上に投影し眼底モデルを作成するための眼底モデル生成手段５４と、その眼底モデル５５を表示するための眼底モデル表示手段５６とを有するものである。
【０００７】
また、［特許文献２］の「生体眼のレンズを単レンズでモデル化し、眼底の形状を球面と仮定すると、単レンズによる眼底の像は２次曲面となり、カメラはこの２次曲面を様々な方向から撮影したものとみなせることから、図１３に示すように、複数の眼底画像に共通に含まれている特徴点を２次曲面で重ね合うように最適化計算をすることにより、２次曲面の形状と各画像を撮影した時のカメラのそれぞれの位置・姿勢を同時に推定し、２次曲面の形状から単レンズのパラメータを求め、眼底の形状を復元する方法である。
【０００８】
さらに、［特許文献３］の「眼底の立体表示および座標計測方法と装置」は、図１４に示すように、予め超音波などの測定データを用いて生体眼の形状を作成し、生体眼の形状に対して、視線を微小角度動かしたことによるカメラ眼底写真上の特徴点（血管分岐点など）の移動量をもとに投影パラメータを求め、このパラメータを用いて、３次元眼底への投影を行い、微小なズレなどに対してはマニュアルで調整を行い眼底の形状を復元する手段である。
【０００９】
【特許文献１】特開２０００−２１０２６０号公報、「眼底画像システム」
【特許文献２】特開２００２−３４９２５号公報、「多方向から撮影した眼底画像の重合せによる眼底３次元パターンの復元法及び装置」
【特許文献３】特開２００４−２４７３９号公報、「眼底の立体表示および座標計測方法と装置」
【発明の開示】
【発明が解決しようとする課題】
【００１０】
しかし、特許文献１の手段は、眼底の形状を模擬するために「予め用意した複数種類の眼底形状モデル」を用いるが、実際の眼底形状は、年齢や生別により相違し、さらに、眼内腫瘍、黄斑疾患などの眼科疾患がある場合には、正常な眼底とは大きく相違することが知られている。そのため、対象者の実際の眼底形状を正確に計測できない限り、正確な眼底形状を模擬することができなかった。
【００１１】
また、特許文献２の手段は、以下のような問題点が存在しており、汎用性、復元精度に課題が残っている。
（１）健全な眼球の眼底形状はほぼ球面とみなせるが、強度の近視や遠視、緑内障眼などの場合には眼底形状が球面から変形しているので汎用性はない。
（２）複雑な生体眼の光学系が単レンズでモデル化できるという仮定を前提としているので、たとえ実際の眼底形状が球面である場合でも、最適化計算により得られた眼底形状は実際に合わないことが考えられる。
【００１２】
さらに、特許文献３の手段は、
（３）撮影位置を微小角度ずらす量の正確な規定が困難である。
（４）生体眼球とカメラとの距離、撮影角度などの投影パラメータ決定が困難である。
（５）３次元眼底に投影した眼底画像をマニュアルで微調整するのは容易ではない、等の問題点があった。
【００１３】
本発明は、かかる問題点を解決するために創案されたものである。すなわち、本発明の目的は、眼底形状が球面から変形していても適用でき、特別な工夫は要らず、通常の臨床撮影方法で眼底画像を複数取得でき、複雑な生体眼の光学系を単レンズでモデル化することなく各眼底画像の正確な縮尺率、投影位置、角度などのパラメータを正確に決定でき、これにより複数の眼底画像から精密な画像の縮尺率と空間位置を持つ正確な３次元眼底画像を構築し表示することができる３次元眼底画像の構築・表示装置を提供することにある。
【課題を解決するための手段】
【００１４】
本発明によれば、プローブの動きをジグを用いて規制しプローブから被験者の眼底面に向けて超音波を発振・受信し、眼底の超音波断面画像を取得する超音波測定手段と、
眼底面を異なる方向から複数撮影して中心画像を含む複数の眼底画像として記憶する眼底画像取得手段と、
前記中心画像上の認識可能な部位間の実距離ｄｒを計測する実距離計測手段と、
前記複数の眼底画像を正しい縮尺率で前記３次元眼底面に投影して３次元眼底画像を構築する眼底画像構築手段と、
３次元眼底画像を表示する表示手段とを有することを特徴とする３次元眼底画像の構築・表示装置が提供される。
【００１５】
上記本発明の装置によれば、超音波測定手段で、被験者の眼底の超音波断面画像を取得するので、被験者の眼球が正確な球面から変形している場合でも、正確な３次元眼底面を生成することができる。
また、眼底画像取得手段で、眼底面を異なる方向から複数撮影して中心画像を含む複数の眼底画像として記憶するので、１枚の画像ではカバーできない広い範囲の眼底画像を正確な３次元眼底面に投影することができる。
さらに、実距離計測手段で中心画像上の認識可能な部位間の実距離ｄｒを計測するので、中心画像との対応でその縮尺率Ｓｃを正確に決定することができる。
また、眼底画像構築手段で、複数の眼底画像を正しい縮尺率で３次元眼底面に投影して３次元眼底画像を構築するので、この３次元眼底画像を表示手段で表示することにより、当該被験者の眼底の３次元画像を正確に表示し、定量的な眼底情報を提示すると同時に、専門医師以外の医師や患者の理解（インフォームドコンセント）に役立てることができる。
【００１６】
本発明の好ましい実施形態によれば、 前記眼底画像構築手段は、
取得した複数の前記超音波断面画像を用いて３次元座標を有する３角形メッシュにより表現した３次元眼底面を生成する眼底面生成手段と、
前記中心画像上の認識可能な部位間の画像上の距離ｄｐを計測する画像上距離計測手段と、
前記画像上の距離ｄｐと実距離ｄｒから中心画像の縮尺率Ｓｃを決定する中心縮尺決定手段と、
決定した縮尺率を利用して中心画像の縮尺を行い、縮尺した中心画像を前記３次元眼底面へ眼軸方向に投影する中心画像投影手段と、
複数の眼底画像の血管分岐点を特徴点として用い、隣接する画像間の対応付けを行う隣接画像対応付け手段と、
前記画像間の対応点から中心画像以外の周辺画像を前記３次元眼底面に投影するためのパラメータを得るパラメータ算出手段と、
得られたパラメータを基に、前記周辺画像を正しい縮尺率で投影し３次元眼底画像を構築する周辺画像投影手段とからなる。
【００１７】
この構成により、眼底面生成手段で３次元座標を有する３角形メッシュにより３次元眼底面を正確に表現できる。また、中心縮尺決定手段で中心画像の縮尺率Ｓｃを正確に決定し、中心画像投影手段で、縮尺した中心画像を前記３次元眼底面へ正確に投影することができる。
また、隣接画像対応付け手段で複数の眼底画像の血管分岐点を特徴点として用い、隣接する画像間の対応付けを行うので、対応点同士を重ねあわせることができる。
さらにパラメータ算出手段で前記画像間の対応点から中心画像以外の周辺画像を前記３次元眼底面に投影するためのパラメータを得ることができ、これを用いて周辺画像投影手段で前記周辺画像を正しい縮尺率で投影することができる。
従って、複数の眼底画像を正しい縮尺率で３次元眼底面に投影して３次元眼底画像を構築し、これを表示するので、１枚の画像ではカバーできない広い範囲の眼底画像を正確な３次元眼底面に投影することができる。
【００１８】
さらに本発明によれば、上述した手段をコンピュータに実行させるためのプログラムと、このプログラムを記憶したコンピュータ読み取り可能な記憶媒体が提供される。
このプログラム及び記憶媒体により、コンピュータを用いて上記手段を実施することができる。
【発明の効果】
【００１９】
上述したように、本発明の３次元眼底画像の構築・表示装置は、眼底形状が球面から変形していても適用でき、特別な工夫は要らず、通常の臨床撮影方法で眼底画像を複数取得でき、複雑な生体眼の光学系を単レンズでモデル化することなく各眼底画像の正確な縮尺率、投影位置、角度などのパラメータを正確に決定でき、これにより複数の眼底画像から精密な画像の縮尺率と空間位置を持つ正確な３次元眼底画像を構築し表示することができる、等の優れた効果を有する。
【発明を実施するための最良の形態】
【００２０】
以下、本発明の好ましい実施形態を図面を参照して説明する。なお、各図において、共通する部分には同一の符号を付し、重複した説明を省略する。
【００２１】
図１は、本発明の３次元眼底画像の構築・表示装置の全体構成図である。この図に示すように、本発明の３次元眼底画像の構築・表示装置１０は、超音波測定手段１２、眼底画像取得手段１４、実距離計測手段１６、眼底画像構築手段１８、及び表示手段２０を備える。
【００２２】
超音波測定手段１２は、超音波測定機１２ａ、プローブ１２ｂ及びプローブガイド１２ｃからなり、プローブ１２ｂの動きをプローブガイド１２ｃ（ジグ）を用いて規制しプローブから被験者１の眼底面１ａに向けて超音波を発振・受信し、眼底面の超音波断面画像２を取得する。
眼底画像取得手段１４は、眼底カメラ１４ａとこれを案内するカメラガイド１４ｂからなり、同一の被験者１の眼底面１ａを異なる方向から複数撮影して中心画像を含む複数の眼底画像３として記憶する。
実距離計測手段１６は、ＯＣＴ装置（光学的干渉断層計）１６ａであり、近赤外線低干渉ビームを観察光として用いて、同一の被験者１の眼底面１ａの中心画像上の認識可能な部位間の実距離ｄｒを計測する。中心画像上の認識可能な部位とは、血管の分岐点、中心窩、神経乳頭などである。
【００２３】
眼底画像構築手段１８は、記憶装置に記憶したプログラムにより、複数の眼底画像３を正しい縮尺率で３次元眼底面に投影して３次元眼底画像４を構築する。眼底画像構築手段１８は、中央処理装置（ＣＰＵ）、記憶装置（ＲＡＭ，ＲＯＭ，ＨＤ）、入出力装置（キーボード、マウス、ＣＤドライブ、ＦＤドライブ、プリンタ等）、通信制御装置等からなり、例えばパソコン（ＰＣ）や汎用コンピュータである。
表示手段２０は、コンピュータのディスプレイ装置であり、眼底画像構築手段１８で構築した３次元眼底画像を表示する。
【００２４】
図２は、本発明における眼底画像の取得手段を示す模式図である。この図に示すように、眼底画像取得手段１４では、眼軸方向をＺ軸とする全体座標系Ｘ-Ｙ-Ｚに対し、画像の投影方向、位置を表すために、局所座標系ｘ-ｙ-ｚを導入する。
【００２５】
図３は、本発明の装置で実行する方法を示すフロー図である。以下、このフロー図に沿って、本発明を説明する。
Ｓ１（超音波波断層画像の取得）では、正確な測定断面の位置情報を得るためにプローブガイド（ジグ）１２ｃを用いてプローブ１２ｂの動きを規制し、超音波測定手段１２のＢモードで測定を行う。取得した断面動画像はパソコン（コンピュータ）１８に取り込み、静止画に変換し記憶する。
Ｓ２（３角形メッシュにより表現した眼底面の生成）では、取得した超音波静止断面画像を用いて眼底輪郭上のポイントを自動的に検出したうえ、断面画像の位置情報に合わせて各ポイントの３次元座標を生成する。これに基づいて３角形メッシュにより表現した３次元眼底面４を生成する。
【００２６】
Ｓ３（眼底画像の取得）では、眼底カメラ１４ａを用いて、眼底面１ａをできるだけ広くカバーするように異なる方向から複数枚の眼底画像３を撮影し、眼底カメラ１４ａと接続しているパソコン１８に取り込み、ピクセル画像として記憶する。眼底カメラ１４ａには撮影部の移動により撮影方向を決めるタイプ、内部あるいは外部固視標を凝視することによって撮影方向を決めるタイプの二つのタイプがあり、いずれの場合でも中心画像を眼軸方向に撮影することができる。
Ｓ４（隣接画像間の対応点の検出）では、特徴点として各画像上の血管の分岐点を手動であるいは自動的に検出する。さらに特徴点の隣接画像間の対応付けを行う。
Ｓ５（中心画像上の部位間距離の計測）では、中心画像上に認識可能な部位（血管の分岐点、中心窩、神経乳頭など）間の画像上の距離ｄｐを計測する。
Ｓ６（ＯＣＴなどによる部位間実距離の計測）では、ＯＣＴ装置（光学的干渉断層計）などによりＳ５と対応する部位間の実距離ｄｒを計測する。
【００２７】
Ｓ７（中心画像縮尺率の決定）では、Ｓ５とＳ６で計測された距離ｄｐ、ｄｒを用いて中心画像の縮尺率Ｓｃを［数１］の式（１）のように決定する。
【００２８】
【数１】
【００２９】
Ｓ８（既知の眼底面への中心画像の投影）では、Ｓ７で決定した縮尺率Ｓｃを利用して中心画像の縮尺を行い、眼軸方向においてＳ２で生成された３次元眼底面４への投影を行う。
【００３０】
Ｓ９（中心画像以外の画像の投影）では、眼底カメラ１４ａの撮影範囲の狭さから、中心画像を含めた各眼底画像は異なる角度から撮影部位を画像面に弱中心射影することによってできた画像と見なせる。したがって、各画像は撮影部位の実物が射影方向と垂直な面内に縮尺率ｓにより縮尺され、そして画像面に正射影されることによってできた画像として扱える。
このように、投影（射影）方向、投影位置また縮尺率が既知であれば、上記の中心画像と同様に各画像を既知の眼底面に投影することができ、３次元眼底画像が構築できる。
こうしたことから、上記で投影された中心画像を核として、投影が完了した隣接画像との重複領域での対応点の、Ｓ２で生成された既知の３次元眼底面４における空間位置が一致するように後述する計算手段を利用して各画像の投影方向、投影位置また縮尺率を順次に求め投影する（図２Ｂ）。
【００３１】
以下、この計算手段を説明する。
Ｓ９の（ａ）（投影方向、位置および縮尺率の決定）では、図２Ａに示したように、画像の投影方向、位置を表すために、局所座標系ｘ-ｙ-ｚを導入する。これは全体座標系Ｘ-Ｙ-Ｚを回転、平行移動させることにより得られたものとする。従って、二つの座標系の間の座標変換には［数２］の式（２）が成立する。
この式（２）において、ｓは縮尺率を表す．またＲは回転行列、Ｔは平行移動ベクトルであり、それぞれ［数２］の式（３）（４）で示される。
【００３２】
【数２】
【００３３】
ここで、α、β、γはＺ-Ｙ-Ｚオイラー角を、ＴＸ、ＴＹはＺ座標面内における移動量を表す。
このように、画像を３次元眼底面に投影するために、ｓ、α、β、γ、ＴＸ、ＴＹの６個のパラメータを求めばよい。
【００３４】
いま、画像上のｎ個の特徴点は投影が完了した隣接画像上の特徴点と対応付けられたと仮定する。その内の第ｉ番目の特徴点の局所座標系における座標をｘｉ、ｙｉ、０、それと対応する隣接画像上の特徴点の、全体座標系における３次元座標をＸＲｉ、ＹＲｉ、ＺＲｉ（既知）とし、またそれが位置する眼底面上の三角形メッシュの平面方程式を［数３］の式（５）（６）とする。ただし、Ｘｅｉ、Ｙｅｉ、Ｚｅｉは三角形の頂点座標を表す。
【００３５】
【数３】
【００３６】
当特徴点の全体座標系における座標は式（２）に基づき［数４］の式（７）のように求められ、
また、当特徴点を通り、投影方向（ｚ軸方向）と同じ方向の直線方程式は［数４］の式（８）のようになる。
【００３７】
【数４】
【００３８】
したがって、これと以上の平面との交点座標、つまり当特徴点の、投影された後の全体座標は［数５］の式（９）（１０）のように得られる．
【００３９】
【数５】
【００４０】
そこで、評価関数を［数６］の式（１１）のように定義する。
【００４１】
【数６】
【００４２】
これを最小化することによって、ｓ、α、β、γ、ＴＸ、ＴＹの６個のパラメータを求めることができる。
【００４３】
ここで、便宜上、次のようにｕｉ（ｉ＝１、．．．、６）を導入する。
ｕ１＝α、ｕ２＝β、ｕ３＝γ、ｕ４＝ＴＸ、ｕ５＝ＴＹ、ｕ６＝ｓ・・・（１１ａ）
【００４４】
Фの最小化条件は、［数７］の式（１２）（１３）のように示される。
【００４５】
【数７】
【００４６】
式（１３）は６個の未知量を変数とする６個の方程式を表し、これを解けば未知量が求まる．しかしながら、これはこれらの未知量に関する非線形方程式なのでそのままでは解けない．そこで、Ｎｅｗｔｏｎ-Ｒａｐｈｓｏｎ法を用いて解くことにする。
【００４７】
式（１３）をＴａｙｌｏｒ展開して線形化すると［数８］の式（１４）（１５）の線形方程式が得られる。各繰り返しステップにおいて方程式（１４）を解き、各未知変数を［数８］の式（１６）のように更新する。これをΔulkが十分小さくなるまで繰り返すことによって６個の未知変数ｕｌ（ｌ＝１、．．．、６）を得ることができる。
【００４８】
【数８】
【００４９】
Ｓ９の（ｂ）（既知眼底面への投影）では、以上で求められたパラメータｕｌ（ｌ＝１、．．．、６）、すなわち回転角度（α、β、γ）、平行移動ベクトル（ＴＸ、ＴＹ）、縮尺率ｓの６要素を用いて式（２）の逆変換を行うことにより得られた眼底面上の３角形メッシュ頂点の画像上の位置情報をもとに、画像上のピクセルと３角メッシュの位置関係を獲得し画像の投影を行う。
【００５０】
Ｓ１０（３次元眼底画像の表示）では、ズームイン・ズームアウト、回転、切断表示などの機能を持つ可視化ソフトを用いてコンピュータの上で３次元眼底画像を表示する。
構築した３次元眼底画像は、コンピュータグラフィック（ＣＧ）を利用して立体的に可視化することができる。ＣＧを利用した可視化では特別な知識なしに眼底の構造を理解できることからインフォームドコンセントに役立たせることができる。
また、構築した３次元眼底画像は計測することが可能であり、この３次元眼底画像を基に医師、技師または自動判別により血管、網膜剥離の範囲、腫瘍などの部位を指定して３次元座標を求めることができる。この設定には可視化した２次元に投影した（モニター上）の画像から２次元の位置をマウスなどで指定した情報を基に３次元座標を算出することが容易である。
【実施例】
【００５１】
以下、本発明の実施例を図４〜図１１を参照して説明する。
（１） 超音波測定機（図４）を使用して生体眼球の３次元眼底面を作成した。
超音波測定機１２のＢモード測定（眼底形状を測定できるモード）を利用し、複数の断面測定を行った。
得られた複数断面のピクセル画像から画像処理技術を用いて、図２における角膜先端を原点Ｏとする３次元座標系Ｘ-Ｙ-Ｚに関する座標データをそれぞれ眼底輪郭上において３点以上収集した。
ついで、この眼底面の収集された座標データから３角形メッシュで表現された眼底面（図５）を作成した。
【００５２】
（２） 眼底写真の取得（図６）
眼底カメラ１４を使用して、中心画像（中心窩を含んだ中心の画像）を含め、眼底画像を異なる角度から９枚撮影した。
（３） ＯＣＴ測定機１６（図７）によるデータ収集及び中心映像の投影
ＯＣＴ測定機１６（光学干渉断層計）を使用して、中心窩と視神経乳頭辺縁の実測を行い、中心映像の縮尺率を求め、三角形メッシュ眼底への投影を行った（図９）。
（４） 特徴点データの収集（図８）
眼底画像間の重複する領域での対応する特徴点（重複する眼底血管の分岐点など）の座標を収集した。
【００５３】
（５） 中心映像以外の映像の投影（図９、１０）
（３）で投影された中心画像を核として、（４）で収集された特徴点と（１）での眼底面３角形メッシュの情報を利用して各画像の投影パラメータを順次に求め既知の眼底への投影を行った．
（６）３次元眼底画像の表示（図１１）
図１１は得られた眼球のビュアー像である。
【００５４】
上述したように、本発明は超音波測定により取得した生体眼球断面画像から３角形メッシュで離散化表現された３次元眼底形状を生成し、これを既知とする。また、各眼底画像を異なる角度からの弱中心射影による画像と見なす。このように、まず眼軸方向に撮影された中心画像をＯＣＴ（光学干渉断層計）などにより実測された中心窩と神経乳頭縁、あるいは血管分岐点の間の実距離をもとに算出した縮尺率を用いて既知の眼底面に投影する。そして、これを核として、それ以外の各画像について、それぞれと隣り合い、かつ投影が完了した画像（一番目画像の場合は中心画像のみ）との重複領域での対応する特徴点の既知の３次元眼底面上における空間位置が一致することと３角形メッシュの情報をもとに計算工学手法を利用して、投影方向、位置および縮尺率を順次に求め、それらを眼底面に投影し、３次元眼底画像を構築するものである。
したがって、本発明は撮影方法の工夫、３次元空間での画像の位置調整は必要なく、かつ任意形状を持つ３次元眼底に対処可能な、血管の連続性が保たれた３次元眼底画像を構築する汎用的な特徴を有する。
【００５５】
なお、本発明は上述した実施形態及び実施例に限定されるものではなく、本発明の要旨を逸脱しない範囲で種々変更できることは勿論である。
【図面の簡単な説明】
【００５６】
【図１】本発明の３次元眼底画像の構築・表示装置の全体構成図である。
【図２】本発明における眼底画像の取得手段を示す模式図である。
【図３】本発明の装置で実行する方法を示すフロー図である。
【図４】測定装置による断面映像の模式図である。
【図５】３角形メッシュにより表現した３次元眼底面の例である。
【図６】無散瞳眼底カメラによる眼底画像である。
【図７】ＯＣＴ測定機の図である。
【図８】特徴点の付加画像である。
【図９】眼球画像への投影を示す模式図である。
【図１０】眼球画像への投影を示す正面図である。
【図１１】眼球のビュアーである。
【図１２】［特許文献１］の「眼底画像システム」の模式図である。
【図１３】［特許文献２］の手段の模式図である。
【図１４】［特許文献３］の手段の模式図である。
【符号の説明】
【００５７】
１ 被験者、１ａ 眼底面、２ 超音波断面画像、３ 眼底画像、
４ ３次元眼底面、１０ ３次元眼底画像の構築・表示装置、
１２ 超音波測定手段、１２ｂ プローブ、１２ｃ プローブガイド（ジグ）、
１４ 眼底画像取得手段、１４ａ 眼底カメラ、１４ｂ カメラガイド、
１６ 実距離計測手段、１６ａ ＯＣＴ装置（光学的干渉断層計）、
１８ 眼底画像構築手段 （コンピュータ）、２０ 表示手段（ディスプレイ装置）
【特許請求の範囲】
【請求項１】
プローブの動きをジグを用いて規制しプローブから被験者の眼底面に向けて超音波を発振・受信し、眼底の超音波断面画像を取得する超音波測定手段と、
眼底面を異なる方向から複数撮影して中心画像を含む複数の眼底画像として記憶する眼底画像取得手段と、
前記中心画像上の認識可能な部位間の実距離ｄｒを計測する実距離計測手段と、
前記複数の眼底画像を正しい縮尺率で前記３次元眼底面に投影して３次元眼底画像を構築する眼底画像構築手段と、
３次元眼底画像を表示する表示手段とを有することを特徴とする３次元眼底画像の構築・表示装置。
【請求項２】
前記眼底画像構築手段は、
取得した複数の前記超音波断面画像を用いて３次元座標を有する３角形メッシュにより表現した３次元眼底面を生成する眼底面生成手段と、
前記中心画像上の認識可能な部位間の画像上の距離ｄｐを計測する画像上距離計測手段と、
前記画像上の距離ｄｐと実距離ｄｒから中心画像の縮尺率Ｓｃを決定する中心縮尺決定手段と、
決定した縮尺率を利用して中心画像の縮尺を行い，縮尺した中心画像を前記３次元眼底面へ眼軸方向に投影する中心画像投影手段と、
複数の眼底画像の血管分岐点を特徴点として用い、隣接する画像間の対応付けを行う隣接画像対応付け手段と、
前記画像間の対応点から中心画像以外の周辺画像を前記３次元眼底面に投影するためのパラメータを得るパラメータ算出手段と、
得られたパラメータを基に、前記周辺画像を正しい縮尺率で投影し３次元眼底画像を構築する周辺画像投影手段とからなる、ことを特徴とする請求項１に記載の３次元眼底画像の構築・表示装置。
【請求項３】
コンピュータに、プローブの動きをジグを用いて規制しプローブから被験者の眼底面に向けて超音波を発振・受信し、眼底の超音波断面画像を取得する超音波測定ステップと、
眼底面を異なる方向から複数撮影して中心画像を含む複数の眼底画像として記憶する眼底画像取得ステップと、
前記中心画像上の認識可能な部位間の実距離ｄｒを計測する実距離計測ステップと、
前記複数の眼底画像を正しい縮尺率で前記３次元眼底面に投影して３次元眼底画像を構築する眼底画像構築ステップと、
３次元眼底画像を表示する表示ステップとを実行させるための３次元眼底画像の構築・表示プログラム。
【請求項４】
前記眼底画像構築ステップは、
取得した複数の前記超音波断面画像を用いて３次元座標を有する３角形メッシュにより表現した３次元眼底面を生成する眼底面生成ステップと、
前記中心画像上の認識可能な部位間の画像上の距離ｄｐを計測する画像上距離計測ステップと、
前記画像上の距離ｄｐと実距離ｄｒから中心画像の縮尺率Ｓｃを決定する中心縮尺決定ステップと、
決定した縮尺率を利用して中心画像の縮尺を行い，縮尺した中心画像を前記３次元眼底面へ眼軸方向に投影する中心画像投影ステップと、
複数の眼底画像の血管分岐点を特徴点として用い、隣接する画像間の対応付けを行う隣接画像対応付けステップと、
前記画像間の対応点から中心画像以外の周辺画像を前記３次元眼底面に投影するためのパラメータを得るパラメータ算出ステップと、
得られたパラメータを基に、前記周辺画像を正しい縮尺率で投影し３次元眼底画像を構築する周辺画像投影ステップとからなる、ことを特徴とする請求項３に記載の３次元眼底画像の構築・表示プログラム。
【請求項５】
コンピュータに、プローブの動きをジグを用いて規制しプローブから被験者の眼底面に向けて超音波を発振・受信し、眼底の超音波断面画像を取得する超音波測定ステップと、
眼底面を異なる方向から複数撮影して中心画像を含む複数の眼底画像として記憶する眼底画像取得ステップと、
前記中心画像上の認識可能な部位間の実距離ｄｒを計測する実距離計測ステップと、
前記複数の眼底画像を正しい縮尺率で前記３次元眼底面に投影して３次元眼底画像を構築する眼底画像構築ステップと、
３次元眼底画像を表示する表示ステップとを実行させるための３次元眼底画像の構築・表示プログラムを記憶したコンピュータ読み取り可能な記憶媒体。
【請求項６】
前記眼底画像構築ステップは、
取得した複数の前記超音波断面画像を用いて３次元座標を有する３角形メッシュにより表現した３次元眼底面を生成する眼底面生成ステップと、
前記中心画像上の認識可能な部位間の画像上の距離ｄｐを計測する画像上距離計測ステップと、
前記画像上の距離ｄｐと実距離ｄｒから中心画像の縮尺率Ｓｃを決定する中心縮尺決定ステップと、
決定した縮尺率を利用して中心画像の縮尺を行い，縮尺した中心画像を前記３次元眼底面へ眼軸方向に投影する中心画像投影ステップと、
複数の眼底画像の血管分岐点を特徴点として用い、隣接する画像間の対応付けを行う隣接画像対応付けステップと、
前記画像間の対応点から中心画像以外の周辺画像を前記３次元眼底面に投影するためのパラメータを得るパラメータ算出ステップと、
得られたパラメータを基に、前記周辺画像を正しい縮尺率で投影し３次元眼底画像を構築する周辺画像投影ステップとからなる、ことを特徴とする請求項５に記載のコンピュータ読み取り可能な記憶媒体。
【請求項１】
プローブの動きをジグを用いて規制しプローブから被験者の眼底面に向けて超音波を発振・受信し、眼底の超音波断面画像を取得する超音波測定手段と、
眼底面を異なる方向から複数撮影して中心画像を含む複数の眼底画像として記憶する眼底画像取得手段と、
前記中心画像上の認識可能な部位間の実距離ｄｒを計測する実距離計測手段と、
前記複数の眼底画像を正しい縮尺率で前記３次元眼底面に投影して３次元眼底画像を構築する眼底画像構築手段と、
３次元眼底画像を表示する表示手段とを有することを特徴とする３次元眼底画像の構築・表示装置。
【請求項２】
前記眼底画像構築手段は、
取得した複数の前記超音波断面画像を用いて３次元座標を有する３角形メッシュにより表現した３次元眼底面を生成する眼底面生成手段と、
前記中心画像上の認識可能な部位間の画像上の距離ｄｐを計測する画像上距離計測手段と、
前記画像上の距離ｄｐと実距離ｄｒから中心画像の縮尺率Ｓｃを決定する中心縮尺決定手段と、
決定した縮尺率を利用して中心画像の縮尺を行い，縮尺した中心画像を前記３次元眼底面へ眼軸方向に投影する中心画像投影手段と、
複数の眼底画像の血管分岐点を特徴点として用い、隣接する画像間の対応付けを行う隣接画像対応付け手段と、
前記画像間の対応点から中心画像以外の周辺画像を前記３次元眼底面に投影するためのパラメータを得るパラメータ算出手段と、
得られたパラメータを基に、前記周辺画像を正しい縮尺率で投影し３次元眼底画像を構築する周辺画像投影手段とからなる、ことを特徴とする請求項１に記載の３次元眼底画像の構築・表示装置。
【請求項３】
コンピュータに、プローブの動きをジグを用いて規制しプローブから被験者の眼底面に向けて超音波を発振・受信し、眼底の超音波断面画像を取得する超音波測定ステップと、
眼底面を異なる方向から複数撮影して中心画像を含む複数の眼底画像として記憶する眼底画像取得ステップと、
前記中心画像上の認識可能な部位間の実距離ｄｒを計測する実距離計測ステップと、
前記複数の眼底画像を正しい縮尺率で前記３次元眼底面に投影して３次元眼底画像を構築する眼底画像構築ステップと、
３次元眼底画像を表示する表示ステップとを実行させるための３次元眼底画像の構築・表示プログラム。
【請求項４】
前記眼底画像構築ステップは、
取得した複数の前記超音波断面画像を用いて３次元座標を有する３角形メッシュにより表現した３次元眼底面を生成する眼底面生成ステップと、
前記中心画像上の認識可能な部位間の画像上の距離ｄｐを計測する画像上距離計測ステップと、
前記画像上の距離ｄｐと実距離ｄｒから中心画像の縮尺率Ｓｃを決定する中心縮尺決定ステップと、
決定した縮尺率を利用して中心画像の縮尺を行い，縮尺した中心画像を前記３次元眼底面へ眼軸方向に投影する中心画像投影ステップと、
複数の眼底画像の血管分岐点を特徴点として用い、隣接する画像間の対応付けを行う隣接画像対応付けステップと、
前記画像間の対応点から中心画像以外の周辺画像を前記３次元眼底面に投影するためのパラメータを得るパラメータ算出ステップと、
得られたパラメータを基に、前記周辺画像を正しい縮尺率で投影し３次元眼底画像を構築する周辺画像投影ステップとからなる、ことを特徴とする請求項３に記載の３次元眼底画像の構築・表示プログラム。
【請求項５】
コンピュータに、プローブの動きをジグを用いて規制しプローブから被験者の眼底面に向けて超音波を発振・受信し、眼底の超音波断面画像を取得する超音波測定ステップと、
眼底面を異なる方向から複数撮影して中心画像を含む複数の眼底画像として記憶する眼底画像取得ステップと、
前記中心画像上の認識可能な部位間の実距離ｄｒを計測する実距離計測ステップと、
前記複数の眼底画像を正しい縮尺率で前記３次元眼底面に投影して３次元眼底画像を構築する眼底画像構築ステップと、
３次元眼底画像を表示する表示ステップとを実行させるための３次元眼底画像の構築・表示プログラムを記憶したコンピュータ読み取り可能な記憶媒体。
【請求項６】
前記眼底画像構築ステップは、
取得した複数の前記超音波断面画像を用いて３次元座標を有する３角形メッシュにより表現した３次元眼底面を生成する眼底面生成ステップと、
前記中心画像上の認識可能な部位間の画像上の距離ｄｐを計測する画像上距離計測ステップと、
前記画像上の距離ｄｐと実距離ｄｒから中心画像の縮尺率Ｓｃを決定する中心縮尺決定ステップと、
決定した縮尺率を利用して中心画像の縮尺を行い，縮尺した中心画像を前記３次元眼底面へ眼軸方向に投影する中心画像投影ステップと、
複数の眼底画像の血管分岐点を特徴点として用い、隣接する画像間の対応付けを行う隣接画像対応付けステップと、
前記画像間の対応点から中心画像以外の周辺画像を前記３次元眼底面に投影するためのパラメータを得るパラメータ算出ステップと、
得られたパラメータを基に、前記周辺画像を正しい縮尺率で投影し３次元眼底画像を構築する周辺画像投影ステップとからなる、ことを特徴とする請求項５に記載のコンピュータ読み取り可能な記憶媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２００６−６１１９６（Ｐ２００６−６１１９６Ａ）
【公開日】平成１８年３月９日（２００６．３．９）
【国際特許分類】
【出願番号】特願２００４−２４３９７８（Ｐ２００４−２４３９７８）
【出願日】平成１６年８月２４日（２００４．８．２４）
【出願人】（５０３３５９８２１）独立行政法人理化学研究所 (1,056)
【出願人】（５０２２１１５８２）株式会社先端力学シミュレーション研究所 (6)
【Ｆターム（参考）】
【公開日】平成１８年３月９日（２００６．３．９）
【国際特許分類】
【出願日】平成１６年８月２４日（２００４．８．２４）
【出願人】（５０３３５９８２１）独立行政法人理化学研究所 (1,056)
【出願人】（５０２２１１５８２）株式会社先端力学シミュレーション研究所 (6)
【Ｆターム（参考）】
[ Back to top ]