説明

眼底撮影装置

【課題】 明瞭な眼底画像を取得することができる。
【解決手段】 被検眼眼底で反射した光束を受光する撮影光学系を有し、各フレームの眼底画像データを取得する間に生じる被検者眼の固視微動を利用して、1画素未満のずれを有する複数のフレーム分の眼底画像データを取得する眼底撮影手段と、眼底撮影光学系によって取得された複数の眼底画像データを複合処理することによって、画像データの取得時より解像度の高い高解像度画像を取得する画像処理部と、を備える。

【発明の詳細な説明】
【技術分野】
【0001】
被検眼の眼底画像を撮影する眼底撮影装置に関する。
【背景技術】
【0002】
光走査部(例えば、ガルバノミラー)を用いて眼底上で測定光を走査し、眼底像を得る眼底撮影装置として、眼底断層像撮影装置(例えば、光干渉断層計(Optical Coherence Tomography:OCT))や眼底正面像撮影装置(例えば、走査型検眼装置(Scanning Laser Opthalmoscope:SLO))などが知られている(特許文献1参照)。
【0003】
そして、これらの装置は、取得した眼底断層像や眼底正面像をモニタ上で、観察することによって、病変部の観察を行っている。例えば、眼底断層像撮影装置においては、測定光束を二次元的に走査させ、XY各点について受光素子からの干渉信号のスペクトル強度を積算することにより、正面像を得る(特許文献2参照)。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2008−29467号公報
【特許文献2】米国特許登録第7301644号明細書
【発明の概要】
【発明が解決しようとする課題】
【0005】
例えば、スペクトル干渉信号に基づいて正面像を得る場合、正面像化を行うための時間がかかるため、正面像の画像形成に用いるXYの各点(ポイント数)を少なくすることにより、正面像取得時間の軽減を行っている。しかしながら、ポイント数を少なくすることによって、解像度が低下するため、形成される正面像の画質が低下し、明瞭な眼底画像を取得することが困難であった。このため、取得した眼底画像によって、病変部の観察が困難であった。
【0006】
また、OCTによって断層画像を得る場合、解像度を上げるには、測定光の走査速度を遅くして、サンプリング回数を増やせばよいが、固視微動の影響によってAスキャン信号間で位置ずれが生じてしまい、断層画像が歪んだ画像となる可能性がある。また、SLOによって正面画像を得る場合、解像度を上げるには、測定光の走査速度を遅くして、サンプリング回数を増やせばよいが、固視微動の影響によって走査線間で位置ずれが生じてしまい、断層画像が歪んだ画像となる可能性がある。このため、眼底上の走査スピードは、固視微動を考慮すれば、速いことが好ましい。
【0007】
上記従来技術の問題点に鑑み、明瞭な眼底画像を取得することができる眼底撮影装置を提供することを技術課題とする。
【課題を解決するための手段】
【0008】
上記課題を解決するために、本発明は以下のような構成を備えることを特徴とする。
【0009】
(1) 被検眼眼底で反射した光束を受光する撮影光学系を有し、1画素未満のずれを有する複数のフレーム分の眼底画像データを取得する眼底撮影手段と、眼底撮影光学系によって取得された複数の眼底画像データを複合処理することによって、前記画像データの取得時より解像度の高い高解像度画像を取得する画像処理部と、を備えることを特徴とする。
(2) 眼底撮影手段は、各フレームの眼底画像データを取得する間に生じる被検者眼の固視微動を利用して、1画素未満のずれを有する複数のフレーム分の眼底画像データを取得する(1)の眼底撮影装置。
(3) 撮影光学系は、測定光を眼底上で走査させる光スキャナを持ち、眼底の断層像を得るために被検眼眼底で反射した光束と参照光が合成された光を受光する光断層干渉光学系、レーザ光を眼底上で走査させる光スキャナを持ち、眼底の正面像を得るために被検眼眼底で反射した光束を受光する走査型眼底撮影光学系のいずれかである(1)〜(2)のいずれかの眼底撮影装置。
(4) 眼底撮影手段は、1画素未満のずれを有する複数のフレーム分の眼底画像データを取得ため、各フレームの眼底画像を得る毎に眼底上の走査位置を変更する駆動手段を備える(3)のいずれかの眼底撮影装置。
【発明の効果】
【0010】
本発明によれば、明瞭な眼底画像を取得することができる。
【発明を実施するための形態】
【0011】
以下、本発明に係る実施形態を図面に基づいて説明する。図1は本実施形態に係る眼科撮影装置の構成について説明する概略構成図である。なお、本実施形態においては、被検者眼(眼E)の軸方向をZ方向、水平方向をX方向、鉛直方向をY方向として説明する。眼底の表面方向をXY方向として考えても良い。
【0012】
装置構成の概略を説明する。本装置は、被検者眼Eの眼底Efの断層像を撮影するための光コヒーレンストモグラフィーデバイス(OCTデバイス)10である。OCTデバイス10は、光断層干渉光学系(OCT光学系)100と、固視標投影ユニット300と、演算制御部(CPU)70と、を含む。
【0013】
OCT光学系100は、眼底に測定光を照射する。OCT光学系100は、眼底から反射された測定光と、参照光との干渉状態を受光素子(検出器)120によって検出する。OCT光学系100は、眼底Ef上の撮像位置を変更するため、眼底Ef上における測定光の照射位置を変更する照射位置変更ユニット(例えば、光スキャナ108、固視標投影ユニット300)を備える。制御部70は、設定された撮像位置情報に基づいて照射位置変更ユニットの動作を制御し、検出器120からの出力信号(受光信号)を処理して断層画像データ(断層像)を取得する。
【0014】
<OCT光学系>
OCT光学系100は、いわゆる眼科用光断層干渉計(OCT:Optical coherence tomography)の装置構成を持ち、眼Eの断層像を撮像する。OCT光学系100は、測定光源102から出射された光をカップラー(光分割器)104によって測定光(試料光)と参照光に分割する。そして、OCT光学系100は、測定光学系106によって測定光を眼Eの眼底Efに導き,また、参照光を参照光学系110に導く。その後、眼底Efによって反射された測定光と,参照光との合成による干渉光を検出器120に受光させる。
【0015】
検出器120は、測定光と参照光との干渉状態を検出する。フーリエドメインOCTの場合では、干渉光のスペクトル強度が検出器120によって検出され、スペクトル強度データに対するフーリエ変換によって所定範囲における深さプロファイル(Aスキャン信号)が取得される。例えば、Spectral-domain OCT(SD−OCT)、Swept-source OCT(SS−OCT)が挙げられる。また、Time-domain OCT(TD−OCT)であってもよい。
【0016】
光スキャナ108は、眼底上でXY(横断)方向に測定光を走査させる。光スキャナ108は、瞳孔と略共役な位置に配置される。光スキャナ108は、例えば、2つのガルバノミラーであり、その反射角度が駆動機構50によって任意に調整される。
【0017】
これにより、光源102から出射された光束は、その反射(進行)方向が変化され、眼底上で任意の方向に走査される。これにより、眼底Ef上における撮像位置が変更される。光スキャナ108としては、光を偏向させる構成であればよい。例えば、光スキャナ108としては、反射ミラー(ガルバノミラー、ポリゴンミラー、レゾナントスキャナ)の他、光の進行(偏向)方向を変化させる音響光学素子(AOM)等が用いられる。
【0018】
参照光学系110は、眼底Efでの測定光の反射によって取得される反射光と合成される参照光を生成する。参照光学系110は、マイケルソンタイプであってもよいし、マッハツェンダタイプであっても良い。参照光学系110は、例えば、反射光学系(例えば、参照ミラー)によって形成され、カップラー104からの光を反射光学系により反射することにより再度カップラー104に戻して、検出器120に導く。他の例としては、参照光学系110は、透過光学系(例えば、光ファイバー)によって形成され、カップラー104からの光を戻さず透過させることにより検出器120へと導く。
【0019】
参照光学系110は、参照光路中の光学部材を移動させることにより、測定光と参照光との光路長差を変更する構成を有する。例えば、参照ミラーが光軸方向に移動される。光路長差を変更するための構成は、測定光学系106の測定光路中に配置されてもよい。
【0020】
<固視標投影ユニット>
固視標投影ユニット300は、眼Eの視線方向を誘導するための光学系を有する。投影ユニット300は、眼Eに呈示する固視標を有し、複数の方向に眼Eを誘導できる。
【0021】
例えば、固視標投影ユニット300は、可視光を発する可視光源を有し、視標の呈示位置を二次元的に変更させる。これにより、視線方向が変更され、結果的に撮像部位が変更される。例えば、撮影光軸と同方向から固視標が呈示されると、眼底の中心部が撮像部位として設定される。また、撮影光軸に対して固視標が上方に呈示されると、眼底の上部が撮像部位として設定される。すなわち、撮影光軸に対する視標の位置に応じて撮影部位が変更される。
【0022】
固視標投影ユニット300としては、例えば、マトリクス状に配列されたLEDの点灯位置により固視位置を調整する構成、光源からの光を光スキャナを用いて走査させ、光源の点灯制御により固視位置を調整する構成、等、種々の構成が考えられる。また、投影ユニット300は、内部固視灯タイプであってもよいし、外部固視灯タイプであってもよい。
【0023】
<制御部>
制御部70は、各構成100〜300の各部材など、装置全体を制御する。また、制御部70は、取得された画像を処理する画像処理部、取得された画像を解析する画像解析部、などを兼用する。制御部70は、一般的なCPU(Central Processing Unit)等で実現される。制御部70は、以下に示すように、断層像に基づいて眼底Efを解析する。
【0024】
制御部70は、OCT光学系100の検出器120から出力される受光信号に基づいて画像処理により断層像と正面像を取得する。また、制御部70は、固視標投影ユニット300を制御して固視位置を変更する。
【0025】
フレームメモリ(例えば、RAM)77、補助記憶装置としてのメモリ(例えば、ハードディスク)72、表示モニタ75、コントロール部74は、それぞれ制御部70と電気的に接続されている。制御部70は、モニタ75の表示画面を制御する。取得された眼底像は、モニタ75に静止画又は動画として出力される他、メモリ72に記憶される。メモリ72は、例えば、撮影された断層像、正面画像、各断層像の撮影位置情報等の撮影に係る各種情報を記録する。制御部70は、コントロール部74から出力される操作信号に基づいて、OCT光学系100、固視標投影ユニット300の各部材を制御する。
【0026】
以上のような構成を備える装置において、その制御動作について説明する。検者は、固視標投影ユニット300の固視標を注視するように被検者に指示した後、図示無き前眼部観察用カメラで撮影される前眼部観察像をモニタ75で見ながら、被検眼の瞳孔中心に測定光軸がくるように、図示無きジョイスティックを用いて、アライメント操作を行う。
【0027】
そして、制御部70は、光スキャナ108の駆動を制御し、眼底上で測定光を所定方向に関して走査させ、走査中に検出器120から出力される出力信号から所定の走査領域に対応する受光信号を取得して眼底像を形成する。
【0028】
以下、本実施形態に係る眼底断層像(以下、断層像と記載する)及び眼底正面像(以下、正面像と記載する)の取得手法の一例を示す。制御部70は、検出器120によって検出されたスペクトルデータを処理し、画像処理により断層像及び正面像を形成させる。断層像と正面像は、同時に取得されてもよいし、交互に取得されてもよいし、順次取得されてもよい。すなわち、スペクトルデータは、断層像及び正面像の少なくともいずれかの取得に用いられる。なお、取得された断層像及び正面像は、モニタ75に表示される。
【0029】
制御部70は、OCT光学系100を制御し、設定された領域に対応する三次元断層像を取得する。そして、制御部70は、OCT光学系100によって三次元断層像を随時取得する。なお、三次元断層像には、XY方向に関して二次元的にAスキャン信号を並べた画像データ、三次元グラフィック画像、などが含まれる。
【0030】
三次元断層像を得るとき、制御部70は、光スキャナ108の動作を制御し、撮像領域に対応する走査範囲において測定光をXY方向に二次元的に走査させることにより三次元断層像を取得する。なお、走査パターンとして、例えば、ラスタースキャン、複数のラインスキャンが考えられる。
【0031】
検者は、モニタ75に表示された断層像及び正面像を観察しながら、病変部等の観察を行う。病変部の観察を好適に行うために、明瞭な観察画像を取得する手段について説明する。
【0032】
制御部70は、観察画像にノイズ等が含まれている場合や、解像度が低いために観察画像が鮮明でない場合がある。このため、本実施形態では、超解像度技術を用いた処理(超解像度処理)を行い、観察画像の解像度を向上させることによって、観察画像の画質を良好にする。
【0033】
超解像度技術は、入力信号の解像度を高めて出力信号を作る技術であり、入力された動画や静止画の信号を高解像度化して、高解像度の画像を出力するものである。本実施形態においては、複数枚の画像を用いて1枚の高解像度画像を生成する超解像技術を用いて、超解像度処理を行う。
【0034】
以下、超解像度技術の処理について、図2の超解像の概念図を用いて説明する。超解像度処理は、複数のフレーム間の位置合わせ処理を行い、位置合わせ情報と複数のフレームの各画素素情報とに基づいて、画像の再構成処理を行うものである。位置合わせ処理は、画素単位よりも更に細かいサブピクセル単位の精度にて精密に行う。
【0035】
図2に示された画像Aと画像Bは、同一の被検物に対して、サブピクセル単位で撮影位置がずれて取得された一次元画像である。画像Aの各画素位置S1〜S4の間隔は、1画素(1ピクセル)であり、同じく、画像Bの各画素位置S5〜S8間の間隔は、1画素(1ピクセル)である。画像Bは、画像Aに対してちょうど半画素(サブピクセル)ずれた位置にて取得された画像である。この場合、二つの画像の位置合わせを行い、画像の統合を行うと、その位置ずれ量がちょうど半画素であるため、画像Aの各画素位置S1〜S4の間のサブピクセルの位置に画像Bの各画素位置S5〜S8の輝度情報が配列される。以上のように、二つの画像を統合することで、画素を増加させることができるため、2倍の解像度の画像Cを取得できる。
【0036】
以下、OCTデバイス10によって取得される観察画像を複数取得し、それらを用いた超解像度処理について説明する。
【0037】
例えば、制御部70は、OCTデバイス10よって時系列に取得された複数の観察画像と、OCTデバイス10によって新たに取得される観察画像とを超解像度処理することにより高解像度の観察画像を取得する。
【0038】
制御部70は、新たに高解像度の観察画像が取得されるのに応じて、モニタ75上に表示された高解像度の観察画像を更新し、高解像度の観察画像を動画像としてモニタ75に表示する。これにより、観察される撮影画像の画質を良好にする。なお、超解像度処理が行われる観察画像は、動画像でなくても、所定のトリガ信号が出力された場合に、取得される静止画であってもよい。なお、本実施形態においては、OCTデバイス10によって取得される高解像度の観察画像として正面像を例に挙げて、以下の説明をしていく。
【0039】
図3は、OCT光学系100によって取得された正面像(低解像度フレーム画像)と超解像度処理後の正面像を説明する図である。図3において、正面像P0〜P3は、異なる画素位置にて取得された正面像である。正面像P0は、超解像度処理の基準となる基準画像を示しており、正面像P1〜P3は、超解像度処理に用いる画像を示している。正面像P1〜P3内において点線で囲まれている領域Fは、基準画像である正面像P0の領域を示している。
【0040】
正面像P1は、正面像P0に対して、X方向にずれが生じており、その位置すれ量は、(ΔX、0)となる。正面像P2は、正面像P0に対して、Y方向にずれが生じており、その位置すれ量は、(0、ΔY)となる。正面像P3は、正面像P0に対して、X方向、Y方向にずれが生じており、その位置すれ量は、(ΔX、ΔY)となる。正面像P0対する正面像P1〜P3の位置ずれの補正量は、それぞれの位置ずれ量に基づいて算出される。
【0041】
図3においては、模式的に正面像P0に対する正面像P1〜P3のずれは、1画素単位であるものとして示している。しかし、本実施形態においては、OCT光学系100によって取得される複数の正面像は、その正面像間にサブピクセルのずれが生じている。このため、このサブピクセルのずれを利用することによって、高解像度化が可能となる(図2参照)。
【0042】
このとき、正面像P0〜P3の画素の輝度情報を統合させても、輝度情報の存在しない画素が生じることがある。このような画素においては、その画素の周辺に存在する画素の輝度情報を用いて、所定の補間処理を行うことによって、統合を行うとともに、高解像度化を行う。
【0043】
例えば、補間処理としては、バイリニア法による補間処理を行う。例えば、バイリニア法は、超解像度画像において、補間処理を行う画素を囲む四つの画素を決定する。これら四つの画素の輝度情報に所定の重み付けを加え、その値を平均化することによって、補間処理を行う画素の輝度情報を取得し、補間を行う。
【0044】
以上のような、補間処理を繰り返し行うことによって、高解像度の正面像を取得することができる。なお、補間処理として、バイリニア法を用いたがこれに限定されない。例えば、二アレストネイバ法やバイキュービック法等の補間処理を用いてもよい。また、基準画像の画素の輝度情報をそのまま高解像度の画像の画素として、用いる構成としてもよい。
【0045】
以下、より具体的に、OCTデバイス10によって取得される観察画像を複数取得し、超解像度処理によって高解像度の観察画像を生成する場合の制御動作の流れについて、図4に示すフローチャートを用いて説明する。
【0046】
概して、制御部70は、1画素未満のずれを有する複数のフレーム分の眼底画像データを取得する。そして、取得された複数の眼底画像データを複合処理することによって、画像データの取得時より解像度の高い高解像度画像を取得する。
【0047】
<超解像度処理に用いる正面像の取得>
初めに、制御部70は、OCT光学系100を用いての検出器120によって検出されたスペクトルデータを処理し、画像処理により1フレーム(1枚)の正面像を形成させる。そして、正面像をフレームメモリ77に記憶させる。そして、制御部70は、高解像度の正面像を作成するための複数の正面像(本実施形態においては、例えば、10枚の正面像)を取得するために、逐次、正面像を取得してフレームメモリ77に記憶させていく。なお、取得した正面像が適正か否かの判定が行われ、適正と判定された画像がフレームメモリ77に記憶される(詳しくは後述する)。これにより、瞬き等によるエラー画像が超解像度処理に利用されることが回避される。
【0048】
なお、フレームメモリ77に記憶することのできるデータの容量は限られている。本実施形態においては、最大で10枚の撮影画像が記憶可能である。もちろん、フレームメモリ77に容量によっては、記憶可能な枚数を変更することが可能であるし、フレームメモリ77の容量が無くなるほど、撮影画像を記憶させなくてもよい。記憶させる最大枚数を任意に設定できる構成としてもよい。
【0049】
<正面像の記憶における判定>
制御部70は、OCT光学系100によって正面像の取得を開始すると、超解像度処理に用いるための正面像の取得を開始する。正面像を取得すると、制御部70は、新たに取得された正面像を判定処理し、フレームメモリ77に正面像を記憶させるか否かを判定する。フレームメモリ77には、記憶可能な容量が限定されているため、超解像度処理用に適さない画像の記憶を回避することによって、超解像度処理に用いることのできる画像の枚数を増加させる。判定は、所定の評価値Vが用いられる。
【0050】
ここで、評価値Vについて説明する。評価値Vは、V=((画像の平均最大輝度値)−(画像の背景領域の平均輝度値))/(背景領域の輝度値の標準偏差)の式より求められる。すなわち、画像として良好でない画像は、ノイズが大きいため、評価値Vが小さくなる。評価値Vを得る場合、例えば、正面像の信号強度が用いられる。
【0051】
この場合、制御部70は、正面像を形成するスペクトル情報に基づいて断層像を取得し、取得された断層像を利用して、正面像の適否を判定してもよい。例えば、正面像内における1ラインの走査線に対応する断層像より算出する。制御部70は、図5に示すように正面像の所定位置の走査線による断層像を用いて評価値Vを算出する。なお、所定位置としては、例えば、正面像の中心の位置を通る走査線Bが用いられる。もちろん、本実施形態においては、中心位置を用いるがこれに限定されない。制御部70は、図6に示すように、断層像において、深さ方向(Aスキャン方向)に走査する複数の走査線Cを設定し、各走査線C上における輝度分布データを求める。
【0052】
制御部70は、各走査線Cに対応する輝度分布において、輝度値の最大値(以下、最大輝度値と省略する)をそれぞれ算出する。そして、制御部70は、各走査線における最大輝度値の平均値を平均最大輝度値として算出する。また、制御部70は、各走査線における背景領域の輝度値の平均値を背景領域の平均輝度値として算出する。そして、評価値Vが算出される。
【0053】
制御部70は、評価値Vを算出後、評価値Vが所定の閾値を超えているか否かによってフレームメモリ77への撮影画像の記憶の要否を判定する。例えば、評価値Vが閾値を超えた場合に、その正面像をフレームメモリ77に記憶させる。以上のようにして、判定が行われる。これにより、多くの撮影画像にて超解像度処理を行うことが可能となり、画像の画質が向上する。
【0054】
なお、本実施形態においては、評価値Vを用いて撮影画像の記憶の要否を判定したがこれに限定されない。例えば、他の観察画像から判定をする構成としてもよい。例えば、図示無き前眼部観察系を設け、前眼部画像から判定(瞬き判定等)を行うようにしてもよい。
【0055】
次いで、制御部70は、取得した1フレームの正面像をフレームメモリ77に記憶させた場合、フレームメモリ77内に記憶させた正面像の枚数が所定枚数に到達したか否かを判定する。本実施形態において、所定枚数は、フレームメモリ77に記憶可能な最大枚数である10枚と設定した。なお、所定枚数はこれに限定されるものではなく、例えば、検者が任意に所定枚数を設定できる構成としてもよい。また、取得した撮影画像の光量に基づいて枚数設定がされる構成でもよい。この場合、例えば、撮影画像の光量が低ければ、所定枚数を増加し、撮影画像の光量が高い場合には、所定枚数を少なくすることが考えられる。
【0056】
そして、制御部70は、フレームメモリ77内に記憶されている正面像の取得枚数が所定枚数に到達した場合、枚数に到達したタイミング以降に取得された正面像よりフレームメモリ77内に記憶された複数の正面像の超解像度処理を行う。また、正面像の取得枚数が所定枚数に到達していない場合、制御部70は、次の正面像の取得を開始する。以上のようにして、超解像度処理を作成するための複数の正面像が取得される。
【0057】
ここで、超解像度処理を行うためには、X方向及び/又はY方向に1画素未満(サブピクセル)のずれが生じている複数の正面像が必要となる。すなわち、超解像度処理の基準となる正面像に対して、X方向及び/又はY方向にサブピクセルずれが生じている正面像が連続して複数枚分必要となる。
【0058】
第1の手法としては、所定の領域において、複数の正面像を取得する際に、OCT光学系100を移動させて、画像の取得位置をずらし、画素位置の異なる複数の画像を取得する。例えば、制御部70は、駆動手段を用いて、1画素未満のずれを有する複数のフレーム分の眼底画像データを取得するため、各フレームの眼底画像を得る毎に眼底上の撮影位置(走査位置)を変更する。より具体的には、各フレームの画像を取得する際、制御部70は、光スキャナ108の駆動を制御し、各画像を取得する毎に眼底上における走査領域をサブピクセル単位で変更する。光スキャナ108の利用の他、画像を取得する毎に、OCT光学系100全体を眼Eに対して微動させる駆動機構を設けてもよい。
【0059】
第2の手法としては、眼底上の所定の領域に関して、制御部70は、各フレームの眼底画像データを取得する間に生じる被検者眼の固視微動を利用して、1画素未満のずれを有する複数のフレーム分の眼底画像データを取得する。本装置は、被検眼を対象して撮影が行われているため、同一の所定の領域において複数の正面像の取得を行った場合においても、固視微動によって、複数の正面像間の画素位置が微小にずれて正面像が取得される。
【0060】
例えば、固視微動は、トレモア、ドリフト、サッケードの成分に大別される。トレモアは、50〜150Hz程度の頻度で10″〜20″程度の微細な動きがある。ドリフトは、平均毎秒5′程度でずれていく動きがある。サッケードは、ドラフトが0.3秒から数秒続いた後に、2′〜50′程度で起こる。OCT光学系100によって取得される正面像の1フレームの取得時間は、1.0s〜1.9sであり、この成分のいずれもが1フレームからなる各画像間において、サブピクセル単位での微動を生む。
このため、1フレームの正面像を取得した後、次の1フレームの正面像を取得する際には、少なくとも固視微動が生じ、画像の取得位置がずれる。第2の手法は、第1の手法のように、超解像度画像の作成に用いる低解像度画像を得るために、装置本体側を駆動させる必要がなく、固視微動を利用することによって、サブピクセル単位で取得位置が異なる複数の画像を取得できる。
【0061】
<複数の正面像の超解像度処理>
以下、フレームメモリ77に記憶された複数の正面像を用いて、超解像度処理について説明する。
【0062】
制御部70は、OCT光学系100によって、最後に形成された正面像(新たに取得された正面像)において、超解像度処理の基準となる基準画像として設定し、超解像度処理を行う。制御部70は、基準画像と複数の正面像とのずれを画像処理により検出し、ずれ検出結果に基づいて、超解像度処理の適否を判定処理すると共に、基準画像と複数の正面像とのずれを補正し、基準画像に対して複数の正面像を超解像度処理していく。なお、本実施形態においては、基準画像を最後に取得された正面像(最新の撮影画像)に設定したがこれに限定されない。例えば、複数の正面像の内で超解像度処理の基準とする基準画像設定をしてもよい。
【0063】
制御部70は、基準画像に対して各正面像を順に超解像度処理していく。そして、各正面像と基準画像とのずれ量を正面像毎に検出し、基準画像に対して各正面像の位置合わせを行う。すなわち、基準画像と各正面像を比較して、基準画像に対する各正面像の位置ずれ方向及び位置ずれ量を正面像毎に、画像処理により検出する。
【0064】
ずれ量の検出方法としては、種々の画像処理手法(テンプレートマッチングを用いる方法、フーリエ変換を利用する方法、特徴点のマッチングに基づく方法)を用いることが可能である。
【0065】
例えば、所定の基準画像(例えば、最後に取得された正面像)又は対象画像(過去の正面像)をピクセルずつ位置ずれさせ、基準画像と対象画像を比較し、両データが最も一致したとき(相関が最も高くなるとき)の両データ間の位置ずれ方向及び位置ずれ量を検出する手法が考えられる。また、所定の基準画像及び対象画像から共通する特徴点を抽出し、抽出された特徴点の位置ずれ方向及び位置ずれ量をピクセル単位で検出する手法が考えられる。
【0066】
そして、種々の画像処理手法でピクセル単位のずれ量の検出を行った後、サブピクセル推定にて、サブピクセル単位での位置ずれ方向及び位置ずれ量を算出する。
【0067】
本実施形態においては、制御部70は、基準画像に対する各正面像をピクセルでずらしながら、相関値(値が大きいほど画像間の相関が高くなる(最大1))を逐次算出する。さらに、制御部70は、算出したピクセル単位の相関値に基づいて、サブピクセル推定を行い、サブピクセル単位の相関値を求める。そして、制御部70は、サブピクセル推定により算出した相関値の画素の偏位量(ずらした画素数)を位置ずれ量とし、また、ずらした方向を位置ずれ方向として算出する。
【0068】
判定方法として、ずれ検出時に算出した相関値を用いて判定を行う。例えば、相関値が所定の閾値(例えば、0.4)より小さい場合に、超解像度処理に用いる正面像の対象から除外する。すなわち、相関値が小さい場合には、装置と眼の間のずれ等が原因となって、基準画像と正面像で、撮影領域が大きく異なっている可能性が高い。撮影領域が大きく異なっている画像を用いて超解像度処理を行ってしまうと、高解像度の正面像を作成した場合に、画質等が低下してしまう。そのため、相関値が所定の閾値より小さい場合に、超解像度処理に用いる正面像の対象から除外することによって、高解像度の正面像を作成した際に、画質の低下を防ぐ。なお、超解像度処理に用いる画像として、適正な画像であるか否かの判定においてはこれに限定されない。例えば、検出される位置ずれ量が許容範囲を超えた正面像を超解像度処理の対象から除外するようにしてもよい。
【0069】
以上のように、位置ずれ量及び位置ずれ方向が検出され、超解像度処理に用いる画像としての適否が判定される。そして、制御部70は、超解像度処理用の画像として適正であると判定された画像に対して、制御部70は、位置ずれが補正されるように、位置ずれ量分、各正面像を基準画像に対して、それぞれ偏位させる。そして、位置ずれ補正後、制御部70は、基準画像に対して、正面像を統合していく。
【0070】
正面像の超解像度処理後、制御部70は、フレームメモリ77に記憶されている全フレームの正面像の処理(ずれ検出、適正判定、超解像度処理)が終了したか否かを判定する。全正面像の処理が終了していない場合、制御部70は、フレームメモリ77に記憶されている他の正面像の処理を開始する。本実施形態においては、制御部70は、フレームメモリ77に記憶されている全正面像において、処理が終了した場合に、超解像度処理が終了したと判定する。
【0071】
以上のようにして、制御部70は、超解像度処理用の画像として適正であると判定された正面像において位置ずれ検出及び位置ずれ補正の処理を繰り返し、低解像度の画像(図7(a)参照)に超解像度処理を行うことによって、高解像度の画像(図7(b)参照)を作成する。図7は眼底画像に超解像処理を施した実験例を示す図であり、取得された眼底画像の一部を拡大した画像である。図7(a)は低解像度の拡大図であり、図7(b)は超解像度の拡大図である。これらの図を比較した場合、図7(a)の画像は解像度が低いが、図7(b)の画像は、ズームされた画像であっても、超解像処理によって鮮明な画像が得られている。
【0072】
本実施形態においては、基準画像に対して、フレームメモリ77に記憶された最大10枚の正面像が処理される。そして、最大11枚の正面像(基準画像を含む)から1枚の高解像度の正面像を作成する。なお、本実施形態においては、フレームメモリ77に記憶されている正面像の全てを超解像度処理の対象として超解像度処理する構成としたがこれに限定されない。複数の画像で高解像度の正面像を作成する構成であれよい。例えば、基準画像から新しいものから順に5枚の超解像度処理を行うとしてもよい。すなわち、フレームメモリ77内に記憶されている全正面像を用いる必要はない。もちろん、超解像度処理は新しいものから順に行う必要はなく、基準画像と相関値が高いものを選択しておこなってもよい。なお、観察画像の解像度を2倍にする場合には、少なくとも4枚の画像を用いて超解像度処理を行うことが好ましい。
【0073】
作成された高解像度の正面像は、モニタ75上に表示される。そして、制御部70は、新たに正面像を取得した際に、逐次、新たに高解像度の正面像を作成し、モニタ75上に表示する。これにより、モニタ75上に表示される高解像度の正面像が更新されていき正面像の高解像度の正面像が動画像として表示される。
【0074】
そして、検者により、所望の位置にて、図無き撮影スイッチが操作されると、モニタ75上に表示されている高解像度の正面像が静止画として、メモリ72に記憶される。これにより、撮影後にも、高解像度の正面像にて解析を行うことができ、解析の精度を向上させることができる。なお、取得される正面像は、モニタ75表示されている高解像度の正面像でもよいし、超解像度処理の行われていない最新の正面像でもよい。
【0075】
<高解像度の正面像の更新>
ここで、高解像度の正面像の更新について、図8に示すフローチャート用いて、より具体的に説明していく。
【0076】
OCT光学系100によって新たに正面像が1フレーム分取得された後、取得された正面像が適正と判定され、フレームメモリ77に正面像が記憶されると、高解像度の正面像が更新される。すなわち、制御部70は、フレームメモリ77内に記憶された複数の正面像が所定枚数に達した場合に、過去に取得された観察画像を消去し、新たに取得された正面像と入れ換えを行う。
【0077】
以下、フレームメモリ77内の正面像の更新について説明する。本実施形態においては、メモリ75に記憶可能な撮影画像の最大枚数が10枚であり、新たに正面像(11枚目に記憶される正面像)を取得した場合には、フレームメモリ77に記憶させることができない。このため、図9に示すように、新規に正面像F11が取得された場合、過去の正面像(例えば、もっとも過去の正面像F1)を削除し、正面像F10の次に新規の正面像F11を記憶する。これにより、過去の正面像が削除され、フレームメモリ77の容量が確保される。このようにして、フレームメモリ77に記憶されている正面像の更新が行われる。
【0078】
以上のようにして、フレームメモリ77に記憶されている正面像が更新されると、制御部70は、フレームメモリ77に記憶された10枚の正面像(例えば、正面像F2〜正面像F11)を用いて、基準画像に対して超解像度処理を行っていき、新たに高解像度の正面像を作成する。
【0079】
高解像度の正面像の作成は、上記記載の方法と同様にして行われる。なお、新たに正面像が更新された場合には、超解像度処理の基準画像として、最新の正面像F11が設定される。そして、基準画像に対して、フレームメモリ77内に記憶されている全ての各正面像(F2〜F10)の処理(ずれ検出、適正判定、超解像度処理)が行われていく。
【0080】
制御部70は、新たに高解像度の正面像を作成すると、モニタ75に表示をする。すなわち、過去の高解像度の正面像を新たに作成した高解像度の正面像に置き換えることによって、モニタ75上に表示される高解像度の正面像が更新される。そして、新しい正面像を取得するたびに、高解像度の正面像を更新することにより、モニタ75上で高解像度の正面像の動画像を観察することが可能となる。
【0081】
以上のようにして、モニタ75上に正面像の高解像度の正面像が動画像として表示される。そして、モニタ75上に表示される正面像は高解像度の正面像であるため、明瞭な画像となる。これにより、超解像度処理によって、正面像が高解像度化され、モニタ75上で、画質が向上した明瞭な正面像を観察できるようになる。さらに、ノイズ等を除去することが可能となる。また、超解像度処理をリアルタイムに行っていくことによって、モニタ75上には、常時、画質の向上した明瞭な正面像が動画像として表示される。このため、検者は、モニタ75上の画像を観察しながら、好適に病変部の観察等を行うことが可能となる。
【0082】
<変容例>
なお、本実施形態においては、フレームメモリ77に記憶されている超解像度処理に用いるための正面像が所定枚数に到達した場合に、新たに取得された正面像に対して、超解像度処理を開始していく構成としたがこれに限定されない。例えば、図10のフローチャートに示すように、OCT光学系100によって正面像の取得を開始してから、直ちに超解像度処理を開始する構成でもよい。
【0083】
制御部70は、位置ずれの検出とともに、新たに取得された正面像と時系列に取得された複数の正面像との超解像度処理の適否を判定処理する。そして、制御部70は、適正と判定された場合、新たに取得された正面像含む超解像度処理によって取得された高解像度の正面像をモニタ75上に表示させ、適正でないと判定された場合、新たに取得された正面像をモニタ75上に表示する。
【0084】
この場合、新しい正面像が取得されると、この正面像が超解像度処理を行うための基準画像として設定される。そして、基準画像に対して超解像度処理を行う。このとき、新しく取得された正面像(基準画像)とフレームメモリ77に記憶された正面像との間の超解像度処理の適否について判定される。例えば、前述のように、フレームメモリ77に記憶された各正面像と、新たに取得された正面像との間の相関値に基づいて、適否が判定される。なお、本実施形態においては、基準画像に対する超解像度処理の適否の判定を相関値に基づいて行ったがこれに限定されない。正面像を形成する信号により適否を判定してもよい。例えば、新たに取得された正面像の信号強度(例えば、上記評価値V)、正面像を形成するAスキャンの輝度情報、正面像を形成する干渉信号によって取得される断層像を用いて適否が判定されてもよい。
【0085】
初めて取得された正面像(1枚目の正面像)の場合、超解像度処理されない状態でモニタ75上に表示される。次いで、2枚目の正面像が取得されると、まず、1枚目の正面像が適正か否か(例えば、上記評価値V)が判定され、適正と判定されると、フレームメモリ77に記憶され、適正でないと判定されると正面像は破棄される。
【0086】
例えば、1枚目の正面像がフレームメモリ77に記憶されると、制御部70は、2枚目の正面像を基準画像として、1枚目の正面像との超解像度処理の適否を判定する。そして、超解像度処理が適正と判定された場合に、2枚目の画像を基準画像として超解像度処理させる。そして、2枚目の正面像を含む高解像度の正面像をモニタ75上に表示させる。超解像度処理が適正でないと判定された場合、2枚目の正面像が超解像度処理しない状態にて、モニタ75上に表示される。
【0087】
次いで、3枚目の正面像が取得されると、まず、2枚目の正面像が適正か否かが判定され、適正と判定されると、フレームメモリ77に記憶され、適正でないと判定されると、その正面像は破棄される。
【0088】
次に、制御部70は、3枚目の正面像を基準画像として、1枚目と2枚目の正面像との超解像度処理の適否を判定する。そして、適正と判定された場合、3枚目の画像を基準画像として超解像度処理させる。そして、3枚目の正面像を含む高解像度の正面像をモニタ75上に表示させる。超解像度処理が適正でないと判定された場合、3枚目の正面像が超解像度処理しない状態にて、モニタ75上に表示される。
【0089】
以上のように処理を繰り返すことにより、モニタ75上には、最新の状態の正面像を基準とする高解像度の正面像、又は最新の状態の正面像がそのまま表示される。このようにすれば、被検眼が大きく動いたり、瞬きをした場合、超解像度処理を経ずに最新の正面像が表示されるため、被検眼の状態をリアルタイムで観察できる。
【0090】
一方、被検眼が大きく動いたり、瞬きをした場合、時系列にて取得された複数の正面像に基づく高解像度の正面像が表示されると、過去に取得された複数の正面像を中心とする高解像度の正面像が構築されるため、実際の被検眼の状態とは異なる画像となり、被検眼の現状がリアルタイムで把握できない可能性がある。このような点で、上記処理は有用である。
【0091】
もちろん、最新の正面像を含む高解像度の正面像を随時取得し、超解像度処理が適正でないと判定されたとき、最新の正面像をモニタ75に直接的に表示する制御であっても、同様の効果が得られる。
【0092】
なお、正面像が適正か否かの判定において、適正でないと判定された正面像は、高解像度の正面像の作成には利用されないので、2枚目以降に取得された正面像について、高解像度の正面像作成するためにフレームメモリ77に記憶された正面像と、新たに取得された正面像との間で超解像度処理が行われる。したがって、2枚目以降であっても、高解像度の正面像を得るための正面像がフレームメモリ77に記憶されていなければ、基準画像がモニタ75上に表示される。
【0093】
上記説明では、眼底正面像を例に挙げて説明をしたが、撮影光学系によって、被検眼眼底で反射した光束を受光し、眼底像を取得する構成であればよい。例えば、OCT光学系100を用いて、断層画像を観察画像として取得する場合であっても、上記手法の適用は可能である。この場合、1フレームの断層画像を取得する時間は、0.03s〜1.0s程度となるが、上記記載の固視微動(特に、トレモアやドリフト)によって各画像にサブピクセル単位のずれが生じるため、超解像度処理を行うことができる。なお、同一部位に関する複数の断層画像に基づいて超解像度断層像を得る場合、好ましくは、測定光の走査位置を眼底上においてトラッキングさせるためのトラッキングユニットが設けられる。例えば、眼底の正面像を得る正面像取得ユニット(例えば、SLO、赤外眼底カメラ)がOCT光学系100とは別に設けられる。制御部70は、正面像取得ユニットから出力される画像に基づいて各画像間の走査位置のずれを検出する。制御部70は、その検出結果に基づいて光スキャナ108の駆動を制御し、位置ずれがキャンセルされるように測定光の走査位置を補正する。なお、上記トラッキングを用いても、サブピクセル単位でのずれは生じるため、超解像度画像の作成が可能である。もちろん、トラッキングユニットがサブピクセル単位でのトラッキングが可能であれば、制御部70は、断層画像のフレーム毎に、光スキャナ108による走査位置をサブピクセル単位でずらしてもよい。
【0094】
本実施形態の装置は、低解像度の眼底の3次元断層像を複数取得し、複数取得された3次元断層像に基づいて超解像3次元断層像を作成してもよい。例えば、制御部90は、各3次元断層像に関して、3次元断層像を形成するデータ(スペクトルデータ、断層データ)に基づいて深さ方向に直交する方向に関するOCT二次元画像を作成する。
【0095】
制御部90は、各3次元断層像に対応して形成されたOCT二次元画像同士をマッチングさせることによって、各3次元断層像間のずれを補正する。さらに、制御部90は、各3次元断層像を処理して、深さ方向に関するずれを補正するのが好ましい。
【0096】
制御部90は、ずれが補正された各3次元画像に基づいて超解像3次元断層像を取得する。例えば、制御部90は、同一部位に関して、3次元断層像を形成する各Bスキャン画像毎に超解像度画像を作成することにより、超解像度画像を得る。これにより、副走査方向に関して走査位置が異なる超解像度画像がそれぞれ取得されるので、制御部70は、これらを配列させることにより超解像3次元断層像を得る。
【0097】
OCT二次元画像としては、例えば、OCT二次元画像は、XY各点について干渉信号のスペクトル強度(又は深さプロファイル)を積算することによって取得される。OCT二次元画像は、XY各点について干渉信号のスペクトルのゼロクロス点の数を輝度値に変換することによって取得される。
【0098】
なお、上記実施形態においては、OCT二次元画像を用いたが、もちろん3次元断層像同士でマッチングを行うようにしてもよい。
【0099】
なお、上記説明において、スペクトルメータを用いたスペクトルドメインOCTを例にとって説明したが、これに限定されない。例えば、波長可変光源を備えるSS−OCT(Swept source OCT)やTD−OCT(Time domain OCT)であってもよい。
【0100】
なお、超解像度処理の際に、正面像の一部に瞬き等による欠損がある場合、欠損部分の領域に関して、超解像度処理を行わないようにしてもよい。この場合、例えば、超解像度処理を行う際に、副走査方向における各走査線の輝度分布を求め、輝度値が所定値以下の走査線が複数あった場合には、超解像度処理しないようにすればよい。これにより、高解像度の正面像の画質がよりよくなる。もちろん、超解像度処理するか否かの判定は、フレームメモリ77に正面像を記憶させるか否かの判定を行う際に行ってもよいし、超解像度処理を行うか否かの判定の際におこなってもよい。評価値Vによって、フレームメモリ77に正面像を記憶させるか否かの判定の際に行う場合に、例えば、正面像を形成する全走査線の評価値Vを判定し、所定の走査線数が所定の評価値Vを取得できなかった場合に、正面像を記憶させないようにしてもよい。
【0101】
なお、本実施形態においては、OCT光学系100によって取得される眼底正面像を例に挙げて説明をしたが、これに限定されるものではない。観察光学系(撮影光学系)を別途設けて、眼底正面像を取得する構成としてもよい。例えば、観察光学系として、レーザ光を眼底上で走査させる光スキャナを持ち、眼底の正面像を得るために被検眼眼底で反射した光束を受光する走査型眼底撮影光学系を備えたSLOによって取得される眼底画像に対しても適用される。また、眼底カメラ等によって取得される眼底画像に対しても適用される。これらの場合、1フレームの正面像を取得する時間は、0.03s〜1.0s程度となるが、上記記載の固視微動(特に、トレモアやドリフト)によって各画像にサブピクセル単位のずれが生じるため、超解像度処理を行うことができる。
【0102】
なお、本実施形態においては、1/10ピクセル単位での超解像度処理について説明したが、更に細かいサブピクセル単位(例えば、1/100ピクセル単位)で行ってもよく、この場合より解像度の高い画像を取得できる。
【0103】
なお、本実施形態において、超解像度処理は、基準画像の解像度を高解像度化させる構成としたがこれに限定されない。例えば、超解像度処理は、テンプレートに複数の正面像を用いて高解像度の正面像を形成していくものでもよい。この場合、基準画像に基づいて、各正面像間の位置合わせが行われる。
【0104】
なお、本実施形態においては、新たに正面像を取得した場合に、フレームメモリ77に正面像を記憶させるか否かを判定する構成としたがこれに限定されない。例えば、判定処理を行わない構成としてもかまわない。この場合、超解像度処理の適否を判定処理する際に、基準画像に対して相関値が低くなるため、超解像度処理から除去される。なお、基準画像が瞬き等によるエラー画像であった場合、他の正面像に対して、相関値が低くなる結果となる。このため、判定処理を行った際に、相関値の低い正面像が所定枚数に達した場合には、基準画像をことなる正面像に再設定する。このような構成にすることによって、フレームメモリ77に正面像を記憶させるか否かを判定しなくても、瞬き等によるエラー画像が超解像度処理に利用されることが回避される。
【0105】
なお、本実施形態においては、観察画像全体で超解像度処理を行う構成としたが、これに限定されない。観察画像を所定領域に分割し、分割領域毎に超解像度処理を行う構成としてもよい。これにより、超解像度処理の処理速度を短縮することができる。
【図面の簡単な説明】
【0106】
【図1】本実施形態に係る眼科撮影装置の構成について説明する概略構成図である。
【図2】超解像の概念を示す図である。
【図3】OCT光学系によって取得された正面像と超解像度処理後の正面像を説明する図である。
【図4】超解像度処理によって高解像度の観察画像を生成する場合の制御動作の流れについて説明するフローチャートである。
【図5】正面像の所定位置における走査線について説明する図である。
【図6】断層像における深さ方向(Aスキャン方向)に走査する複数の走査線について説明する図である。
【図7】低解像度の画像とその低解像度の画像に超解像度処理を行うことよって取得された高解像度の画像を示す図である。
【図8】高解像度正面像の更新の流れについて説明するフローチャートである。
【図9】フレームメモリ内の正面像の更新について説明する図である。
【図10】超解像度処理の変容例の流れについて説明するフローチャートである。
【符号の説明】
【0107】
70 制御部
72 メモリ
74 コントロール部
75 モニタ
77 フレームメモリ
100 光断層干渉光学系(OCT光学系)
108 光スキャナ
300 固視標投影ユニット

【特許請求の範囲】
【請求項1】
被検眼眼底で反射した光束を受光する撮影光学系を有し、1画素未満のずれを有する複数のフレーム分の眼底画像データを取得する眼底撮影手段と、
眼底撮影光学系によって取得された複数の眼底画像データを複合処理することによって、前記画像データの取得時より解像度の高い高解像度画像を取得する画像処理部と、
を備えることを特徴とする眼底撮影装置。
【請求項2】
眼底撮影手段は、各フレームの眼底画像データを取得する間に生じる被検者眼の固視微動を利用して、1画素未満のずれを有する複数のフレーム分の眼底画像データを取得する請求項1の眼底撮影装置。
【請求項3】
撮影光学系は、測定光を眼底上で走査させる光スキャナを持ち、眼底の断層像を得るために被検眼眼底で反射した光束と参照光が合成された光を受光する光断層干渉光学系、レーザ光を眼底上で走査させる光スキャナを持ち、眼底の正面像を得るために被検眼眼底で反射した光束を受光する走査型眼底撮影光学系のいずれかである請求項1〜2のいずれかの眼底撮影装置。
【請求項4】
眼底撮影手段は、1画素未満のずれを有する複数のフレーム分の眼底画像データを取得ため、各フレームの眼底画像を得る毎に眼底上の走査位置を変更する駆動手段を備える請求項3のいずれかの眼底撮影装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図7】
image rotate


【公開番号】特開2013−34658(P2013−34658A)
【公開日】平成25年2月21日(2013.2.21)
【国際特許分類】
【出願番号】特願2011−173028(P2011−173028)
【出願日】平成23年8月8日(2011.8.8)
【出願人】(000135184)株式会社ニデック (745)