画像処理装置及び方法、記録媒体、並びにプログラム
【課題】簡素な構成で容易に、略球面体が撮像された画像の高画質化を図ることができるようにする。
【解決手段】動きベクトル検出部は、略球面の被写体を含む複数の撮像画像のうち、処理対象の１枚と、比較対象の他の１枚とについての、被写体についての比較を、複数の撮像画像の各々を処理対象として実行し、処理対象についての３次元球面モデル全体についての動きベクトルを検出する。動き補償部は、複数の撮像画像の各々の動きベクトル検出部により検出された動きベクトルに基づいて、処理対象に動き補償を施す。合成部は、動き補償部による動き補償が施された結果得られる撮像画像の各々を合成する。本技術は、画像処理装置に適用することができる。
【解決手段】動きベクトル検出部は、略球面の被写体を含む複数の撮像画像のうち、処理対象の１枚と、比較対象の他の１枚とについての、被写体についての比較を、複数の撮像画像の各々を処理対象として実行し、処理対象についての３次元球面モデル全体についての動きベクトルを検出する。動き補償部は、複数の撮像画像の各々の動きベクトル検出部により検出された動きベクトルに基づいて、処理対象に動き補償を施す。合成部は、動き補償部による動き補償が施された結果得られる撮像画像の各々を合成する。本技術は、画像処理装置に適用することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像処理装置及び方法、記録媒体、並びにプログラムに関し、特に、簡素な構成で容易に、略球面体が撮像された画像の高画質化を図ることができる、画像処理装置及び方法、記録媒体、並びにプログラムに関する。
【背景技術】
【０００２】
従来より、瞳孔を通じて眼球内の網膜や視神経乳頭等の眼底を観察する検査、いわゆる眼底検査が行われている。眼底検査は、例えば、眼底鏡や眼底カメラといった専用の装置を用いて行われる。例えば、被験者の眼球内の眼底が眼底カメラで撮像され、その結果得られる撮像画像（以下、眼底画像と称する）がモニタ等に表示されると、観察者が当該眼底画像を観察することにより、眼底検査が行われる。観察者が正確に観察を行うために、眼底画像の高画質化が行われている。
【０００３】
眼底画像を高画質化する従来の手法として、例えば、連続して撮影された複数の眼底画像のデータを、眼球が略球面であることを考慮して合成する手法が存在する。当該手法では、一定時間をかけて撮影された複数の眼底画像が合成されるため、当該一定時間内に眼底が移動すると、眼底画像の高画質化が妨げられる。そこで、特許文献１には、OCT(Optical Coherence Tomography：光干渉断層計)による眼底の断層画像を用いて形成された、複数の眼底の３次元画像の回転方向の位置合わせを行う手法が記載されている。また、例えば、特許文献２には、アフィン変換を用いて、複数の眼底画像の回転を含む位置合わせを行う手法が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−０８７６７２号広報
【特許文献２】特開２０１０−２６９０１６号広報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載された手法では、３次元画像を形成するために、OCTによる断層画像が必要となり、装置が大がかりなものとなる。また、特許文献２に記載された手法では、眼底画像に対して２次元画像の回転に用いられるアフィン変換が用いられることから、３次元の球面である眼球の位置合わせを正確に行うことは困難である。
【０００６】
即ち、近年、簡素な構成で高画質の眼底画像を容易に得ることが要望されているが、特許文献１及び特許文献２を含め従来の技術では、当該要望に十分に応えられない状況である。このような状況は、眼底画像のみならず、略球面体が写る撮像画像についても同様である。
【０００７】
本技術は、このような状況に鑑みてなされたものであり、簡素な構成で容易に、略球面体が撮像された画像の高画質化を図ることができるようにしたものである。
【課題を解決するための手段】
【０００８】
本技術の一側面の画像処理装置は、略球面の被写体を含む複数の撮像画像のうち、処理対象の１枚と、比較対象の他の１枚とについての、前記被写体についての比較を、前記複数の撮像画像の各々を処理対象として実行し、前記処理対象についての３次元球面モデル全体についての動きベクトルを検出する動きベクトル検出部と、前記複数の撮像画像の各々の前記動きベクトル検出部により検出された前記動きベクトルに基づいて、前記処理対象に動き補償を施す動き補償部と、前記動き補償部による動き補償が施された結果得られる前記撮像画像の各々を合成する合成部とを備える。
【０００９】
前記動きベクトル検出部は、前記処理対象から区分された複数のブロックの各々について、前記比較対象との間でブロックマッチングを行うことによって局所的な動きベクトルを検出し、前記複数のブロック毎の前記局所的な動きベクトルを用いて、前記処理対象についての前記３次元球面モデル全体についての動きベクトルを検出することができる。
【００１０】
前記動きベクトル検出部は、前記処理対象における前記複数のブロックの各々についての前記局所的な動きベクトルを、前記３次元球面モデルにおける局所的な球面動きベクトルに変換し、前記複数のブロック毎の前記局所的な球面動きベクトルを用いて、前記処理対象についての前記３次元球面モデル全体についての動きベクトルを検出することができる。
【００１１】
前記動きベクトル検出部は、前記処理対象における前記複数のブロックの各々を、前記３次元球面モデルにおける複数の球面ブロックに変換し、前記複数の球面ブロックの各々について、前記比較対象との間でブロックマッチングを行うことによって、前記局所的な動きベクトルとして局所的な球面動きベクトルを検出し、前記複数の球面ブロック毎の前記局所的な球面動きベクトルを用いて、前記処理対象についての前記３次元球面モデル全体についての動きベクトルを検出することができる。
【００１２】
前記動きベクトル検出部は、前記処理対象と前記比較対象とのそれぞれを前記３次元球面モデルにおける球面画像に変換し、前記処理対象の球面画像と前記比較対象の球面画像との間でマッチングを行うことによって、前記処理対象についての前記３次元球面モデル全体についての動きベクトルを検出することができる。
【００１３】
前記被写体は眼底とすることができる。
【００１４】
前記３次元球面モデルは、前記被写体が有する条件により切り替えて用いることができる。
【００１５】
本技術の一側面の画像処理方法、記録媒体、及びプログラムは、上述した本技術の一側面の画像処理装置に対応する方法、記録媒体、及びプログラムである。
【００１６】
本技術の一側面の画像処理装置及び方法、記録媒体、並びにプログラムにおいては、略球面の被写体を含む複数の撮像画像のうち、処理対象の１枚と、比較対象の他の１枚とについての、前記被写体についての比較が、前記複数の撮像画像の各々を処理対象として実行され、前記処理対象についての３次元球面モデル全体についての動きベクトルが検出され、前記複数の撮像画像の各々の前記動きベクトルに基づいて、前記処理対象に動き補償が施され、動き補償が施された結果得られる前記撮像画像の各々が合成される。
【００１７】
本技術の他の側面の画像処理装置は、略球面の被写体を含む複数の撮像画像のうち、処理対象の１枚と、比較対象の他の１枚の、３次元球面モデルにおける球面画像への変換を、前記複数の撮像画像の各々を処理対象として実行する変換部と、前記処理対象の球面画像と前記比較対象の球面画像の各々の特徴を抽出する抽出部と、前記特徴同士が一致するように前記特徴の位置を合わせる位置合わせ部と、前記位置合わせ部により位置合わせがされた結果得られる前記撮像画像の各々を合成する合成部とを備える。
【００１８】
前記特徴として血管の形状を用いることができる。
【００１９】
前記被写体は眼底とすることができる。
【００２０】
前記３次元球面モデルは、前記被写体が有する条件により切り替えて用いることができる。
【００２１】
本技術の他の側面の画像処理方法、記録媒体、及びプログラムは、上述した本技術の一側面の画像処理装置に対応する方法、記録媒体、及びプログラムである。
【００２２】
本技術の他の側面の画像処理装置及び方法、記録媒体、並びにプログラムにおいては、略球面の被写体を含む複数の撮像画像のうち、処理対象の１枚と、比較対象の他の１枚の、３次元球面モデルにおける球面画像への変換が、前記複数の撮像画像の各々が処理対象とされて実行され、前記処理対象の球面画像と前記比較対象の球面画像の各々の特徴が抽出され、前記特徴同士が一致するように前記特徴の位置が合わせられ、位置合わせがされた結果得られる前記撮像画像の各々が合成される。
【発明の効果】
【００２３】
以上のごとく、本技術によれば、簡素な構成で容易に、略球面体が撮像された画像の高画質化を図ることができる。
【図面の簡単な説明】
【００２４】
【図１】本技術が適用された眼底画像処理装置の構成例を示すブロック図である。
【図２】動きベクトル検出部の構成例を示すブロック図である。
【図３】動きベクトル検出部の具体的な処理について説明する図である。
【図４】眼底画像生成処理の流れについて説明するフローチャートである。
【図５】動きベクトル検出処理の流れを説明するフローチャートである。
【図６】動きベクトル検出部の構成例を示すブロック図である。
【図７】動きベクトル検出部の具体的な処理について説明する図である。
【図８】動きベクトル検出処理の流れを説明するフローチャートである。
【図９】動きベクトル検出部の構成例を示すブロック図である。
【図１０】動きベクトル検出部の具体的な処理について説明する図である。
【図１１】動きベクトル検出処理の流れを説明するフローチャートである。
【図１２】眼底画像処理装置の構成例を示すブロック図である。
【図１３】特徴抽出部と位置合わせ部の具体的な処理について説明する図である。
【図１４】血管位置合わせ処理部の構成例を示す図である。
【図１５】血管位置合わせ処理部の具体的な処理について説明する図である。
【図１６】眼底画像生成処理の流れについて説明するフローチャートである。
【図１７】血管位置合わせ処理の流れを説明するフローチャートである。
【図１８】本技術が適用される画像処理装置のハードウェアの構成例を示すブロック図である。
【発明を実施するための形態】
【００２５】
以下、本技術の４つの実施形態（以下、それぞれ第１乃至第４実施形態と称する）について、次の順序で説明する。
１．第１実施形態（各ブロックから検出された動きベクトルを球面モデルに適用する例）
２．第２実施形態（球面モデルに適用した各ブロックの動きベクトルを検出する例）
３．第３実施形態（球面モデルに適用した眼底画像から動きベクトルを検出する例）
４．第４実施形態（球面モデルに適用した眼底画像の位置合わせを行う例）
【００２６】
＜第１実施形態＞
[眼底画像処理装置の構成例]
図１は、本技術が適用された眼底画像処理装置の構成例を示すブロック図である。
【００２７】
図１に示される眼底画像処理装置１０は、被験者の眼球内の網膜や視神経乳頭等の眼底を撮像し、その結果得られる眼底画像のデータに対して高画質化のための画像処理を施し、画像処理後の眼底画像を表示させる。
【００２８】
眼底画像処理装置１０は、被験者に与える負荷を軽減するために、被写体（すなわち、被験者の眼底）に照射する光量を抑制して被写体を撮像する。これにより１枚の眼底画像のデータが得られるが、より高画質な眼底画像を得るために、眼底画像処理装置１０は、被写体の撮像を複数回行い、その都度得られる複数の撮像画像のデータに対して、後述する各種画像処理を施す。このような各種画像処理が施された結果、より高画質となった眼底画像が眼底画像処理装置１０により表示される。
【００２９】
なお、ここでいう１回の撮像とは、撮像素子を構成する各画素の各々に光が蓄積されて、当該各画素のそれぞれから電気信号（各画素データ）がそれぞれ出力されるまでの眼底画像処理装置１０の一連の動作をいう。この場合、撮像の回数、及び各回の撮像の時間間隔は特に限定されず、例えば各回の撮像の時間間隔を１／３０［ｓ］程度に短くして、当該時間隔で連続して３００回の撮像が行われれば、１０［ｓ］の動画が得られることになる。即ち、ここでいう複数回の撮像とは、複数枚の静止画を得るための撮像と、動画を得るための撮像とを含む概念である。
【００３０】
このような眼底画像処理装置１０は、撮像部２１、画像処理部２２、記憶部２３、及び出力部２４を有する。
【００３１】
撮像部２１は、所定の位置に存在する被験者の眼底を被写体として撮像し、その結果得られる眼底画像のデータを出力する。撮像部２１は、例えばCCD（Charge Coupled Device）撮像素子やCMOS（Complementary Metal Oxide Semiconductor）撮像素子等を有する構成を取ることができるが、特にこの構成に限定されず、眼底画像のデータを出力することが可能であるのならば、任意の構成を取ることができる。ただし本実施形態では、撮像部２１は、より高画質な眼底画像を得るために、撮影中の被写体に光を照射する機能を有している。
【００３２】
より高画質な眼底画像を得るための手法として、例えば、撮影時に、被験者の眼底に照射する光量を増加させる手法が存在する。しかしながら、撮像時に被験者の眼底により多くの光量を照射すると、被験者に与える負荷が増大してしまい、観察対象に対して不要な影響を及ぼしたり、被験者の心理的な負担を増大させるおそれがあった。また、撮像時に被験者の眼底により多くの光量を照射することにより、被験者が、所謂、眩しいと感じ、瞼を閉じたり動いたりしてしまい、高画質な眼底画像を得ることが出来ないおそれがあった。そこで、本実施形態では撮影時に眼底に照射する光量を増加させずに、撮像部２１は、低光量の照射光を眼底に照射させた状態を維持して、眼底の撮像を複数回繰り返す。なお、撮像部２１による眼底の撮像は、静止画を得るための複数回の撮像であっても、動画を得るための１回の撮像であってもよい。
【００３３】
すなわち、このような１回の撮像の度に得られる各眼底画像は、撮影時の照射光が弱い（暗い）ため、低画質である。このため、本実施形態では、画像処理部２２は、撮像部２１による複数回の撮像の各々により得られた眼底画像のデータに対して、所定の画像処理を施すことで、１枚の高画質の眼底画像のデータを生成して出力する。なお、この場合、画像処理の対象となる複数の眼底画像が相互に近似しているほど高画質化が容易になるため、撮像部２１の複数回の撮像動作は短時間である程好適である。
【００３４】
画像処理部２２は、画像処理後の眼底画像のデータ、即ち、高画質の眼底画像のデータを、記憶部２３に記憶させたり、出力部２４から出力させる。
【００３５】
記憶部２３は、例えば、ハードディスク、フラッシュメモリ、若しくは、RAM（Random Access Memory）等から構成され、画像処理部２２から供給される眼底画像のデータを記憶する。記憶部２３に記憶された眼底画像のデータは、図示せぬ再生部等により読み出され、出力部２４に表示出力されたり、他の装置に伝送されたり、図示せぬ画像処理部２２とは別の画像処理部により別の画像処理が施される。
【００３６】
出力部２４は、CRT（Cathode Ray Tube）やLCD（Liquid Crystal Display）等のモニタや、出力端子等を有し、画像処理部２２から出力される眼底画像のデータを、そのモニタにおいて表示出力したり、その出力端子から外部の装置に出力する。
【００３７】
さらに以下、図１に示される眼底画像処理装置１０のうち、画像処理部２２の詳細な構成について説明する。画像処理部２２は、入力画像バッファ３１、動きベクトル検出部３２、動き補償部３３、合成部３４、及び超解像処理部３５を有する。
【００３８】
入力画像バッファ３１は、例えばハードディスク、フラッシュメモリ、若しくは、RAM等の任意の記憶媒体の一領域として構成され、撮像部２１から順次供給される低画質な眼底画像のデータを、入力画像のデータの各々として保持する。各入力画像のデータは、所定のタイミングで入力画像バッファ３１から読み出されて、動きベクトル検出部３２又は動き補償部３３に供給される。
【００３９】
撮像部２１により得られた眼底画像のデータは、複数回の撮像により得られたものであり、互いに全く同一な画像であるとは限らない。例えば、眼底画像の一部または全部において、位置がずれていることが考えられる。したがって、単純にこれらの複数の眼底画像を合成すると、位置ずれ等により眼底画像がボケたり２重になったりする恐れがある。したがって、合成部３４で複数の眼底画像のデータを合成する前に、動きベクトル検出部３２で動きベクトルを検出し、動き補償部３３で当該動きベクトルを用いた動き補償を施すことにより、合成する画像間の差（位置ずれ等）を低減させる必要がある。
【００４０】
動きベクトル検出部３２は、処理対象の入力画像と、当該処理対象とは時間的に離間して撮影された入力画像との各データを入力画像バッファ３１から読み出す。次に、動きベクトル検出部３２は、これら読み出した２枚の入力画像のデータを比較することにより、処理対象の入力画像における眼底全体の動きベクトルを検出する。なお、動きベクトルの検出手法としては、眼球を３次元球面モデル化して、球面全体の動きベクトルとして検出する手法が本実施形態では採用されている。すなわち、動きベクトル検出部３２は、略球面の被写体を含む複数の撮像画像のうち、処理対象の撮像画像と、比較対象の撮像画像とについての、被写体についての３次元球面モデル（以下、球面モデルと略称する）を用いた比較を、複数の撮像画像の各々を処理対象として実行する。当該手法については、動きベクトル検出部３２の詳細な構成と共に、図２を用いて後述する。
【００４１】
動き補償部３３は、処理対象の入力画像のデータを入力画像バッファ３１から読み出すとともに、当該処理対象の入力画像における眼底全体の動きベクトルを動きベクトル検出部３２から取得する。そして、動き補償部３３は、眼底全体の動きベクトルを用いて、処理対象の入力画像のデータに対して動き補償を施す。動き補償とは、球面モデル上で処理対象の入力画像における眼底全体の動きベクトルに従って、処理対象の入力画像を動かす処理である。これにより、複数の眼底画像間の差（位置ずれ等）が低減される。動き補償後の眼底画像のデータは、合成部３４に供給される。
【００４２】
このようにして、撮像部２１による複数回の撮像の各々により得られた複数の眼底画像のデータの各々は、順次処理対象となり、動き補償部３３により動き補償が施された後、合成部３４に逐次供給される。
【００４３】
合成部３４は、動き補償部３３から複数の眼底画像のデータの全てが供給されると、これら複数の眼底画像の各データを合成することによって、１枚の眼底画像のデータを生成し、超解像処理部３５に供給する。
【００４４】
超解像処理部３５は、合成部３４による合成後の眼底画像のデータに超解像処理を施すことにより、合成時点よりもさらに高解像度の眼底画像のデータを生成する。なお、超解像処理部３５による超解像処理の処理方法は任意である。例えば、特開２０１０−１０２６９６号公報に記載の方法や、特開２０１０−１０３９８１号公報に記載の方法により超解像処理が施されるようにしてもよい。ただし、超解像処理では、ノイズがより少ない、より高解像度な画像が得られるように、生体としての特徴に応じた処理が行われる。このようにして超解像処理部３５により生成された、高解像度の眼底画像のデータは、記憶部２３に記録されたり、出力部２４から出力される。
【００４５】
次に、動きベクトル検出部３２の詳細な構成について説明する。
【００４６】
[動きベクトル検出部の構成例と処理]
図２は、動きベクトル検出部３２の構成例を示すブロック図である。図３は、動きベクトル検出部３２の具体的な処理について説明する図である。
【００４７】
図２に示されるように、動きベクトル検出部３２は、局所動きベクトル検出部４１、球面動きベクトル変換部４２、球面モデル記憶部４３、及び眼底動きベクトル検出部４４を有する。
【００４８】
局所動きベクトル検出部４１は、図３に示されるように入力画像バッファ３１に入力画像のデータとしてそれぞれ保持されているｎ枚の眼底画像５１−１乃至５１−ｎの各データの中から、処理対象の眼底画像５１−ｉと、処理対象とは異なる比較対象の眼底画像５１−ｊとの各データを読み出す。ここで、ｎは、２以上の整数値であり、入力画像バッファ３１に保持されている入力画像の総数である。ｉは、１以上ｎ−１以下の整数値である。ｊは、１以上ｎ以下の整数値であって、ｉとは異なる整数値である。例えば、本実施形態では、ｊ＝ｉ＋１が設定される。つまり、処理対象の画像に隣接する画像が比較対象とされる。
【００４９】
局所動きベクトル検出部４１は、処理対象の眼底画像５１−iを、予め規定されたサイズの複数のブロックに区分し、これらの複数のブロックの各々を処理対象ブロック６１−ｉに順次設定する。
【００５０】
局所動きベクトル検出部４１は、比較対象の眼底画像５１−ｊも同様に予め規定されたサイズの複数のブロックに区分し、これらの複数のブロックの各々を例えばラスタスキャン順に比較対象ブロック６１−ｊに設定する毎に、処理対象ブロック６１−ｉと比較対象ブロック６１−ｊとの類似度を演算することを繰り返す。即ち、いわゆるブロックマッチングが行われる。
【００５１】
局所動きベクトル検出部４１は、処理対象ブロック６１−ｉと、それにマッチングした（すなわち、類似度が最も高い）比較対象ブロック６１−ｊとの位置関係に基づいて、処理対象ブロック６１−ｉにおける局所的な動きを、動きベクトルｍｖとして検出する。
【００５２】
球面動きベクトル変換部４２は、処理対象ブロック６１−ｉを、図３に示されるように、球面モデル記憶部４３に記憶されている球面モデル６３に当てはめる。これにより、処理対象ブロック６１−iは、球面モデル６３上の所定のブロック６４−ｉに変換される。ここで、変換後のブロック６４−ｉを、以下、球面処理対象ブロック６４−ｉと称する。この場合、処理対象ブロック６１−ｉにおける動きベクトルｍｖは、球面処理対象ブロック６４−ｉにおける動きベクトルｍｖｒに変換される。ここで、変換後の動きベクトルｍｖｒを、球面動きベクトルｍｖｒと称する。
【００５３】
このような球面動きベクトルｍｖｒは、処理対象の眼底画像５１−ｉから区分された複数のブロックの各々について、上述の一連の処理が繰り返し実行されることで求められる。
【００５４】
眼底動きベクトル検出部４４は、処理対象の眼底画像５１−ｉについて、複数のブロックの各々の球面動きベクトルｍｖｒに基づいて、眼底全体の動きベクトル６５を検出する。眼底動きベクトル検出部４４は、処理対象の眼底画像５１−ｉにおける眼底全体の動きベクトル６５を動き補償部３３に供給する。
【００５５】
これにより、図１を参照して上述したように、動き補償部３３において、処理対象の眼底画像５１−ｉのデータに対して、眼底全体の動きベクトル６５を用いた動き補償が施される。
【００５６】
以上、図１乃至図３を参照して、眼底画像処理装置１０の構成について説明した。次に、このような構成の眼底画像処理装置１０が実行する処理（以下、眼底画像生成処理）について図４を用いて説明する。
【００５７】
[眼底画像生成処理の流れ]
図４は、眼底画像生成処理の流れについて説明するフローチャートである。
【００５８】
ステップＳ１１において、撮像部２１は、光量を落として複数回、被験者の眼底を撮像する。なお、上述したように、撮像部２１による眼底の撮像は、静止画を得るための複数回の撮像であっても、動画を得るための１回の撮像であってもよい。
【００５９】
ステップＳ１２において、画像処理部２２は、ステップＳ１１の処理により得られた複数の低画質な眼底画像のデータを入力画像バッファ３１に記憶させる。
【００６０】
ステップＳ１３において、動きベクトル検出部３２は、動きベクトル検出処理を実行して、眼底全体の動きベクトルを検出する。なお、動きベクトル検出処理の詳細については、図５を用いて後述する。
【００６１】
ステップＳ１４において、動き補償部３３は、ステップＳ１３の処理により検出された眼底全体の動きベクトルを用いて、入力画像バッファ３１から読み出した処理対象の入力画像のデータに対して動き補償を施す。なお、動き補償部３３は、処理が終了している入力画像のデータに対しても同様の動き補償を施す。
【００６２】
ステップＳ１５において、画像処理部２２は、すべての眼底画像のデータが処理対象に設定されたかを判定する。本実施形態では、処理対象の眼底画像のデータは、眼底画像５１−１乃至５１−（ｎ−１）の各々のデータである。したがって、比較対象の眼底画像のデータは、眼底画像５１−２乃至５１−ｎの各々のデータである。
【００６３】
まだすべての眼底画像のデータが処理対象に設定されていない場合、ステップＳ１５においてＮＯであると判定されて、処理はステップＳ１３に戻され、それ以降の処理が繰り返される。すなわち、すべての眼底画像のデータが処理対象に設定されるまでの間、ステップＳ１３乃至ステップＳ１５のループ処理が繰り返される。例えば、図５を参照して後述するように、ステップＳ１３の動きベクトル検出処理で処理対象とされた眼底画像５１−１の比較対象の眼底画像５１−２に対する動きベクトルが検出された場合、次に眼底画像５１−２が処理対象の画像とされ、隣接する比較対象の眼底画像５１−３に対する動きベクトルが検出される。このような処理が順次繰り返される。
【００６４】
その後、すべての眼底画像のデータが処理対象に設定された場合、ステップＳ１５においてＹＥＳであると判定されて、処理はステップＳ１６に進む。
【００６５】
ステップＳ１６において、合成部３４は、動き補償が施された複数の眼底画像のデータを合成する。これにより、ｎ枚の眼底画像のデータから１枚の眼底画像のデータが生成される。
【００６６】
ステップＳ１７において、超解像処理部３５は、合成後の眼底画像のデータに超解像度処理を施す。これにより、ステップＳ１６の合成時点よりもさらに高解像度の眼底画像のデータが生成される。
【００６７】
ステップＳ１８において、画像処理部２２は、超解像度処理が施された眼底画像のデータを、記憶部２３に記憶させたり、出力部２４から出力させたりする。
【００６８】
これにより、眼底画像生成処理は終了する。次に、ステップＳ１３の動きベクトル検出処理について説明する。
【００６９】
[動きベクトル検出処理の流れ]
図５は、図４のステップＳ１３の動きベクトル検出処理の流れを説明するフローチャートである。
【００７０】
ステップＳ３１において、局所動きベクトル検出部４１は、入力画像バッファ３１から処理対象と比較対象の２枚の眼底画像のデータを読み出す。例えば、２枚の隣接する眼底画像５１−１と眼底画像５１−２のデータが読み出される。
【００７１】
ステップＳ３２において、局所動きベクトル検出部４１は、処理対象の眼底画像（例えば、眼底画像５１−１）から、処理対象ブロックを設定し、比較対象の眼底画像（例えば、眼底画像５１−２）との間でブロックマッチングを行う。その結果、処理対象ブロックにおける動きベクトルが検出される。
【００７２】
ステップＳ３３において、球面動きベクトル変換部４２は、ステップＳ３２で検出された動きベクトルを、球面モデル記憶部４３に記憶されている球面モデルに当てはめて、球面動きベクトルに変換する。
【００７３】
ステップＳ３４において、動きベクトル検出部３２は、全てのブロックを処理したかを判定する。すなわち、動きベクトル検出部３２は、１枚の処理対象の眼底画像（例えば、ステップＳ３１の処理で読み出された１枚の眼底画像５１−１）から区分されたすべてのブロックに対応する球面動きベクトルが検出されたかを判定する。
【００７４】
まだすべてのブロックを処理していない場合、ステップＳ３４においてＮＯであると判定されて処理はステップＳ３２に戻され、それ以降の処理が繰り返される。すなわち、すべてのブロックを処理するまでの間、ステップＳ３２乃至ステップＳ３４のループ処理が繰り返される。
【００７５】
その後、すべてのブロックを処理した場合、ステップＳ３４においてＹＥＳであると判定されて、処理はステップＳ３５に進む。
【００７６】
ステップＳ３５において、眼底動きベクトル検出部４４は、処理対象の眼底画像（例えば、ステップＳ３１の処理で読み出された１枚の眼底画像５１−１）について、複数のブロックの各々の球面動きベクトルに基づいて、眼底全体の動きベクトルを検出する。
【００７７】
これにより、動きベクトル検出処理は終了する。
【００７８】
このように、被験者に与える負荷を軽減するために、照射する光量を抑制して得られた複数の眼底画像に対して、球面モデルを用いた画像処理が施されることにより、１枚の高画質の眼底画像のデータが生成される。
【００７９】
本実施形態においては、処理対象の眼底画像から区分された処理対象ブロックと、比較対象の眼底画像から区分された比較対象ブロックとの類似度の演算として、一般的なブロックマッチングが用いられる。このような一般的なブロックマッチングを適用することで、処理の高速化が容易に実現可能になる。また、処理対象ブロック毎にブロックマッチングが行われることから、使用するメモリ量を抑制できる。
【００８０】
＜第２実施形態＞
ところで、第１実施形態の動きベクトル検出部３２においては、ブロックマッチングにより検出された処理対象ブロックにおける動きベクトルに対して、球面モデルが当てはめられた。しかしながら、球面モデルが適用される対象はこれに限定されない。例えば、ブロックマッチングを行う前の処理対象ブロックに対して球面モデルが当てはめられ、その後、ブロックマッチングが行われてもよい。
【００８１】
なお、第２実施形態の眼底画像処理装置の機能と構成は、図１の眼底画像処理装置１０と基本的に同様の機能と構成を有している。したがって、以下では、図１の眼底画像処理装置１０との一致点の説明は省略し、その差異点、すなわち図１の眼底画像処理装置１０の動きベクトル検出部３２とは異なる動きベクトル検出部７０のみを説明する。
【００８２】
[動きベクトル検出部７０の構成例と処理]
図６は、動きベクトル検出部７０の構成例を示すブロック図である。図７は、動きベクトル検出部７０の具体的な処理について説明する図である。
【００８３】
図６に示されるように、動きベクトル検出部７０は、局所球面動きベクトル検出部７１、球面モデル記憶部７２、及び眼底動きベクトル検出部７３を有する。
【００８４】
局所球面動きベクトル検出部７１は、図７に示されるように入力画像バッファ３１に入力画像のデータとしてそれぞれ保持されているｎ枚の眼底画像８１−１乃至８１−ｎの各データの中から、処理対象の眼底画像８１−ｉと、処理対象とは異なる比較対象の眼底画像８１−ｊとの各データを読み出す。ここで、ｎは、２以上の整数値であり、入力画像バッファ３１に保持されている入力画像の総数である。ｉは、１以上ｎ以下の整数値である。ｊは、１以上ｎ以下の整数値であって、ｉとは異なる整数値である。
【００８５】
局所球面動きベクトル検出部７１は、処理対象の眼底画像８１−ｉを、予め規定されたサイズの複数のブロックに区分し、これらの複数のブロックの各々を処理対象ブロック９１−ｉに順次設定する。
【００８６】
局所球面動きベクトル検出部７１は、処理対象ブロック９１−ｉを、図７に示されるように、球面モデル記憶部７２に記憶されている球面モデル９２に当てはめる。これにより、処理対象ブロック９１−ｉは、球面モデル９２上の所定のブロック９３−ｉに変換される。ここで、変換後のブロック９３−ｉを、以下、処理対象球面ブロック９３−ｉと称する。
【００８７】
局所球面動きベクトル検出部７１は、比較対象の眼底画像８１−ｊも同様に予め規定されたサイズの複数のブロックに区分し、これらの複数のブロックの各々を例えばラスター順に比較対象ブロック９１−ｊに設定する毎に、比較対象ブロック９１−ｊも球面モデル９２に当てはめる。これにより、比較対象ブロック９１−ｊは、球面モデル９２上の所定のブロック９３−ｊに変換される。ここで、変換後のブロック９３−ｊを、以下、比較対象球面ブロック９３−ｊと称する。
【００８８】
局所球面動きベクトル検出部７１は、処理対象球面ブロック９３−ｉと比較対象球面ブロック９３−ｊとの類似度を演算することを繰り返す。即ち、いわゆるブロックマッチングが行われる。
【００８９】
局所球面動きベクトル検出部７１は、処理対象球面ブロック９３−ｉと、それにマッチングした（すなわち、類似度が最も高い）比較対象球面ブロック９３−ｊとの位置関係に基づいて、処理対象球面ブロック９３−ｉにおける局所的な球面の動きを、球面動きベクトルｍｖｒとして検出する。
【００９０】
このような球面動きベクトルｍｖｒは、処理対象の眼底画像９１−ｉから区分された複数のブロックの各々について、上述の一連の処理が繰り返し実行されることで求められる。
【００９１】
眼底動きベクトル検出部７３は、処理対象の眼底画像９１−ｉについて、複数のブロックの各々の球面動きベクトルｍｖｒに基づいて、眼底全体の動きベクトル９５を検出する。眼底動きベクトル検出部７３は、処理対象の眼底画像９１−ｉにおける眼底全体の動きベクトル９５を動き補償部３３に供給する。
【００９２】
これにより、図１を参照して上述したように、動き補償部３３において、処理対象の眼底画像９１−ｉのデータに対して、眼底全体の動きベクトル９５を用いた動き補償が施される。
【００９３】
次に、このような構成の動きベクトル検出部７０を有する、第２実施形態の眼底装置１０の眼底画像生成処理について説明する。第２実施形態の眼底画像生成処理は、第１実施形態同様に図４のフローチャートに従った処理となる。ただし、第２実施形態におけるステップＳ１３の動きベクトル検出処理の内容が、第１実施形態における内容と異なる。そこで、以下、第２実施形態におけるステップＳ１３の動きベクトル検出処理について、図８を参照して説明する。
【００９４】
[動きベクトル検出処理の流れ]
図８は、動きベクトル検出処理の流れを説明するフローチャートである。
【００９５】
ステップＳ５１において、局所球面動きベクトル検出部７１は、入力画像バッファ３１から処理対象と比較対象の２枚の眼底画像のデータを読み出した２枚の眼底画像のデータの各々を複数のブロックに区分し、それぞれを球面モデルに当てはめて球面ブロックに変換する。
【００９６】
ステップＳ５２において、局所球面動きベクトル検出部７１は、処理対象の眼底画像から、処理対象球面ブロックを設定する。
【００９７】
ステップＳ５３において、局所球面動きベクトル検出部７１は、処理対象球面ブロックと比較対象球面ブロックとのブロックマッチングを行う。これにより、処理対象球面ブロックにおける球面動きベクトルが検出される。
【００９８】
ステップＳ５４において、動きベクトル検出部７０は、全てのブロックを処理したかを判定する。すなわち、動きベクトル検出部７０は、１枚の処理対象の眼底画像から区分されたすべてのブロックに対応する球面動きベクトルが検出されたかを判定する。
【００９９】
まだすべてのブロックを処理していない場合、ステップＳ５４においてＮＯであると判定されて処理はステップＳ５２に戻され、それ以降の処理が繰り返される。すなわち、すべてのブロックを処理するまでの間、ステップＳ５２乃至ステップＳ５４のループ処理が繰り返される。
【０１００】
その後、すべてのブロックを処理した場合、ステップＳ５４においてＹＥＳであると判定されて、処理はステップＳ５５に進む。
【０１０１】
ステップＳ５５において、眼底動きベクトル検出部７３は、処理対象の眼底画像について、複数のブロックの各々の球面動きベクトルに基づいて、眼底全体の動きベクトルを検出する。
【０１０２】
これにより、動きベクトル検出処理は終了する。
【０１０３】
本実施形態においては、処理対象の眼底画像から区分された処理対象ブロックと比較対象の眼底画像から区分された比較対象ブロックとが、それぞれ球面モデルに当てはめられた後に、ブロックマッチングが行われる。したがって、処理対象の眼底画像と比較対象の眼底画像との類似度の演算において、球面モデル上のブロックが用いられるので、略球面体である眼底全体の動きベクトルが精度良く検出される。撮像された眼底画像に対して、当該動きベクトルを用いた画像処理が施されるので、第１実施形態と比較してより精度の高い高画質な眼底画像が生成される。
【０１０４】
＜第３実施形態＞
ところで、第１，第２実施形態の動きベクトル検出部３２，７０においては、処理対象画像から区分された処理対象ブロックに対して、球面モデルが当てはめられた。しかしながら、球面モデルが適用される対象はこれに限定されない。例えば、眼底画像全体に対して球面モデルが当てはめられ、その後マッチングが行われてもよい。
【０１０５】
なお、第３実施形態の眼底画像処理装置の機能と構成は、図１の眼底画像処理装置１０と基本的に同様の機能と構成を有している。したがって、以下では、図１の眼底画像処理装置１０との一致点の説明は省略し、その差異点、すなわち図１の眼底画像処理装置１０の動きベクトル検出部３２とは異なる動きベクトル検出部１００のみを説明する。
【０１０６】
[動きベクトル検出部１００の構成例と処理]
図９は、動きベクトル検出部１００の構成例を示すブロック図である。図１０は、動きベクトル検出部１００の具体的な処理について説明する図である。
【０１０７】
図９に示されるように、動きベクトル検出部１００は、眼底球面変換部１０１、球面モデル記憶部１０２、及び眼底動きベクトル検出部１０３を有する。
【０１０８】
眼底球面変換部１０１は、図１０に示されるように入力画像バッファ３１に入力画像のデータとしてそれぞれ保持されているｎ枚の眼底画像１１１−１乃至１１１−ｎの各データの中から、処理対象の眼底画像１１１−ｉと、処理対象とは異なる比較対象の眼底画像１１１−ｊとの各データを読み出す。ここで、ｎは、２以上の整数値であり、入力画像バッファ３１に保持されている入力画像の総数である。ｉは、１以上ｎ−１以下の整数値である。ｊは、１以上ｎ以下の整数値であって、ｉとは異なる整数値である。例えば、本実施形態では、ｊ＝ｉ＋１が設定される。
【０１０９】
眼底球面変換部１０１は、処理対象の眼底画像１１１−ｉの全体を、図１０に示されるように、球面モデル記憶部１０２に記憶されている球面モデルに当てはめる。これにより、処理対象の眼底画像１１１−ｉは、球面モデル上の眼底画像１１２ｉに変換される。ここで、変換後の眼底画像１１２ｉを、以下、処理対象球面眼底画像１１２ｉと称する。
【０１１０】
眼底球面変換部１０１は、比較対象の眼底画像１１１−ｊも同様に球面モデル記憶部１０２に記憶されている球面モデルに当てはめる。これにより、比較対象の眼底画像１１１−ｊは、球面モデル上の眼底画像１１３ｊに変換される。ここで、変換後の眼底画像１１３ｊを、以下、比較対象球面眼底画像１１３ｊと称する。
【０１１１】
眼底動きベクトル検出部１０３は、処理対象球面眼底画像１１２ｉと比較対象球面眼底画像１１３ｊとを回転させながら、類似度を演算することを繰り返す。即ち、球体全体でのマッチングが行われる。ここで、処理対象球面眼底画像１１２ｉと比較対象球面眼底画像１１３ｊとのマッチングの手法は特に限定されない。
【０１１２】
眼底動きベクトル検出部１０３は、処理対象球面眼底画像１１２ｉと、それにマッチングした（類似度が最も高い）比較対象球面眼底画像１１３ｊとの位置関係に基づいて、眼底全体の動きベクトル１１４を検出する。眼底動きベクトル検出部１０３は、処理対象球面眼底画像１１２ｉにおける眼底全体の動きベクトル１１４を動き補償部３３に供給する。
【０１１３】
これにより、図１を参照して上述したように、動き補償部３３において、処理対象の眼底画像１１１−ｉのデータに対して、眼底全体の動きベクトル１１４を用いた動き補償が施される。
【０１１４】
次に、このような構成の動きベクトル検出部１００を有する、第３実施形態の眼底装置１０の眼底画像生成処理について説明する。第３実施形態の眼底画像生成処理は、第１実施形態同様に図４のフローチャートに従った処理となる。ただし、第３実施形態におけるステップＳ１３の動きベクトル検出処理の内容が、第１実施形態における内容と異なる。そこで、以下、第３実施形態におけるステップＳ１３の動きベクトル検出処理について、図１１を参照して説明する。
【０１１５】
[動きベクトル検出処理の流れ]
図１１は、動きベクトル検出処理の流れを説明するフローチャートである。
【０１１６】
ステップＳ７１において、眼底球面変換部１０１は、入力画像バッファ３１から処理対象と比較対象の２枚の眼底画像のデータを読み出す。
【０１１７】
ステップＳ７２において、眼底球面変換部１０１は、ステップＳ７１で読み出した処理対象の眼底画像全体と比較対象の眼底画像全体とを、球面モデル記憶部１０２に記憶されている球面モデルに当てはめて、それぞれを球面眼底画像に変換する。
【０１１８】
ステップＳ７３において、眼底動きベクトル検出部１０３は、変換した処理対象の球面眼底画像と比較対象の球面眼底画像との間でマッチングを行い、眼底全体の動きベクトルを検出する。
【０１１９】
これにより、動きベクトル検出処理は終了する。
【０１２０】
本実施形態においては、処理対象の眼底画像全体と比較対象の眼底画像全体とが、それぞれ球面モデルに当てはめられた後に、マッチングが行われる。したがって、処理対象の眼底画像と比較対象の眼底画像との類似度の演算において、球面モデル上の眼底画像全体が用いられるので、略球面体である眼底全体の動きベクトルが精度よく検出される。撮像された眼底画像に対して、当該動きベクトルを用いた画像処理が施されるので、第２実施形態と比較してより精度の高い高画質な眼底画像が生成される。
【０１２１】
＜第４実施形態＞
ところで、第１乃至第３実施形態の眼底画像処理装置１０においては、処理対象の眼底画像と比較対象の眼底画像とのマッチングにより、眼底全体の動きベクトルが検出された。しかしながら、眼底画像は、基本的に画像全体が略均一な色により構成されることが多く、また、照射光の光量が落とされているので、眼底画像は比較的暗い画像となる傾向にある。さらに、撮像部２１による複数回の撮像は比較的短時間に、極力同条件下で行われるので、複数の眼底画像間の動き量は比較的小さい傾向にある。また、動きがある場合も、眼底画像の一部の領域が他の領域に比べて極端に大きく動くことは稀であり、略全体が略均一に動く傾向にある。したがって、動きベクトルの検出が困難になるおそれもある。そこで、動きベクトルの検出を行う代わりに、眼底画像全体について、被写体の生体情報を用いて眼底画像の位置合わせが行われるようにしてもよい。
【０１２２】
本実施形態においては、眼底画像の位置合わせに用いられる被写体の生体情報としては、例えば、血管の形状の情報が用いられる。なお、被写体の生体情報は、これに限定されず、任意の情報であってもよい。例えば、被写体の生体情報としては、神経、神経乳頭等の形状の情報が採用されてもよく、また、組織や細胞が被写体とされる場合には、細胞やその核の形状等の情報が被写体の生体情報として採用されてもよい。また、複数種類の生体情報（例えば血管と視神経乳頭等）が組み合わされて採用されてもよい。
【０１２３】
[眼底画像処理装置の構成例と処理]
図１２は、眼底画像処理装置２００の構成例を示すブロック図である。
【０１２４】
図１２に示される眼底画像処理装置２００は、図１の眼底画像処理装置１０と基本的に同様の機能と構成を有している。したがって、以下では、図１の眼底画像処理装置１０との一致点の説明は省略し、その差異点、すなわち図１の眼底画像処理装置１０の画像処理部２２とは異なる画像処理部２１２のみを説明する。
【０１２５】
画像処理部２１２は、入力画像バッファ２２１、眼底球面変換部２２２、球面モデル記憶部２２３、特徴抽出部２２４、位置合わせ部２２５、合成部２２６、及び超解像処理部２２７を有する。
【０１２６】
入力画像バッファ２２１は、図１の入力画像バッファ３１と基本的に同様の機能と構成を有している。入力画像バッファ２２１は、撮像部２１から順次供給される低画質な眼底画像のデータを、入力画像のデータの各々として保持する。各入力画像のデータは、所定のタイミングで入力画像バッファ２２１から読み出されて、眼底球面変換部２２２に供給される。
【０１２７】
眼底球面変換部２２２は、図９の眼底球面変換部１０１と基本的に同様の機能と構成を有している。眼底球面変換部２２２は、入力画像バッファ２２１に入力画像のデータとしてそれぞれ保持されている複数の眼底画像の各データの中から、処理対象の眼底画像と、処理対象とは異なる比較対象の眼底画像との各データを読み出す。そして、眼底球面変換部２２２は、処理対象の眼底画像と比較対象の眼底画像とを、球面モデル記憶部２２３に記憶されている球面モデルに当てはめる。これにより、処理対象の眼底画像と比較対象の眼底画像とは、球面モデル上の眼底画像に変換される。ここで、変換後の処理対象の眼底画像を、以下、処理対象球面眼底画像と称する。また、変換後の比較対象の眼底画像を、以下、比較対象球面眼底画像と称する。眼底球面変換部２２２は、処理対象球面眼底画像と比較対象球面眼底画像とを、特徴抽出部２２４に供給する。
【０１２８】
特徴抽出部２２４は、血管抽出部２３１及び交叉点抽出部２３３を有する。また、位置合わせ部２２５は、血管位置合わせ処理部２３２及び交叉点位置合わせ処理部２３４を有する。特徴抽出部２２４と位置合わせ部２２５の具体的な処理について、図１３を参照しながら説明する。
【０１２９】
血管抽出部２３１は、図１３に示されるように、眼底球面変換部２２２から供給された処理対象球面眼底画像２５１と比較対象球面眼底画像２５２のそれぞれから、血管の形状や位置等の特徴を抽出する（処理２６１，２６２）。このとき、血管抽出部２３１は、”血管特徴を用いた眼底画像合成法”，田邊 勝義，壷内 鉄郎，奥田 英範，奥 雅博，2007に記載の方法のように、RGB成分のR成分を使って、処理対象球面眼底画像２５１と比較対象球面眼底画像２５２のそれぞれから血管を抽出する。血管抽出部２３１は、処理対象球面眼底画像２５１と比較対象球面眼底画像２５２から抽出した血管の形状や位置等の特徴を、それぞれの血管抽出結果として血管位置合わせ処理部２３２に供給する。
【０１３０】
血管位置合わせ処理部２３２は、図１３に示されるように、血管抽出部２３１から供給された処理対象球面眼底画像２５１と比較対象球面眼底画像２５２のそれぞれの血管抽出結果を用いて、処理対象球面眼底画像２５１と比較対象球面眼底画像２５２との間で、血管位置合わせ処理（処理２６６）を行う。
【０１３１】
血管位置合わせ処理部２３２は、血管位置合わせ処理が施された処理対象球面眼底画像２５３を、合成部２２６に供給する。なお、血管位置合わせ処理部２３２の詳細な構成と処理については、図１４，図１５を用いて後述する。
【０１３２】
さらに、血管抽出結果による血管位置合わせ処理（処理２６６）が行われる前に、血管の交叉点の位置による簡易的な位置合わせが行われるようにしてもよい。なお、血管の交叉点とは、眼底画像において血管が交わる（実際にはねじれの位置である場合も含む）部分や、分岐する部分である。
【０１３３】
その場合、血管抽出部２３１は、図１３に示されるように、処理２６１により得られる、処理対象球面眼底画像２５１の血管抽出結果を、交叉点抽出部２３３に供給する。また、血管抽出部２３１は、図１３に示されるように、処理２６２により得られる、比較対象球面眼底画像２５２の血管抽出結果を、交叉点抽出部２３３に供給する。
【０１３４】
交叉点抽出部２３３は、図１３に示されるように、血管抽出部２３１から供給される処理対象球面眼底画像２５１の血管抽出結果を用いて交叉点を抽出する（処理２６３）。また、交叉点抽出部２３３は、血管抽出部２３１から供給される比較対象球面眼底画像２５２の血管抽出結果を用いて交叉点を抽出する（処理２６４）。交叉点抽出部２３３は、処理対象球面眼底画像２５１と比較対象球面眼底画像２５２のそれぞれから抽出した交叉点の位置を交叉点抽出結果として交叉点位置合わせ処理部２３４に供給する。
【０１３５】
交叉点位置合わせ処理部２３４は、図１３に示されるように、交叉点抽出部２３３から供給された処理対象球面眼底画像２５１と比較対象球面眼底画像２５２のそれぞれの交叉点抽出結果を用いて、処理対象球面眼底画像２５１と比較対象球面眼底画像２５２との間で交叉点位置合わせ処理（処理２６５）を行う。交叉点位置合わせ処理部２３４は、交叉点位置合わせ処理の結果を、交叉点位置合わせ結果として、血管位置合わせ処理部２３２に供給する。
【０１３６】
血管位置合わせ処理部２３２は、交叉点位置合わせ処理部２３４から供給された交叉点位置合わせ結果を初期状態の球面眼底画像として、さらに、初期状態の球面眼底画像に対して血管抽出結果を用いた血管位置合わせ処理（処理２６６）を行う。すなわち、交叉点位置合わせ結果にしたがって、交叉点の位置合わせと同様に位置合わせを行いながら各血管抽出結果を重畳し、それを初期状態とする。
【０１３７】
このように、血管位置合わせ処理部２３２は、交叉点を用いて簡易的に位置合わせされた球面眼底画像に対して、さらに血管抽出結果を用いた位置合わせを施すことができるので、より容易かつ高速に位置合わせを行うことができる。
【０１３８】
なお、さらに他の生体情報を用いた位置合わせを併用するようにしてもよい。例えば、最初に、視神経乳頭の位置で位置合わせを行いながら、処理対象球面眼底画像２５１と比較対象球面眼底画像２５２とが重畳された球面眼底画像を初期状態の球面眼底画像として、さらに、初期状態の球面眼底画像に対して交叉点による位置合わせを行うようにしてもよい。
【０１３９】
合成部２２６は、血管位置合わせ処理部２３２から複数の位置合わせされた球面眼底画像のデータの全てが供給されると、これらの複数の球面眼底画像の各データを合成することによって、１枚の眼底画像のデータを生成し、超解像処理部２２７に供給する。
【０１４０】
超解像処理部２２７は、合成部２２６による合成後の眼底画像のデータに超解像処理を施すことにより、合成時点よりもさらに高解像度の眼底画像のデータを生成する。このようにして超解像処理部２２７により生成された、高解像度の眼底画像のデータは、記憶部２３に記録されたり、出力部２４から出力される。
【０１４１】
次に、血管位置合わせ処理部２３２の詳細な構成と処理について説明する。
【０１４２】
[血管位置合わせ処理部の構成例と処理]
図１４は、血管位置合わせ処理部２３２の構成例を示す図である。図１５は、血管位置合わせ処理部２３２の具体的な処理について説明する図である。
【０１４３】
図１４に示されるように、血管位置合わせ処理部２３２は、重畳処理部２７１、シフト処理部２７２、伸ばし処理部２７３、回転処理部２７４、拡大縮小処理部２７５、収束判定部２７６、及び調整部２７７を有する。
【０１４４】
重畳処理部２７１は、血管抽出部２３１から供給される、処理対象球面眼底画像２５１と比較対象球面眼底画像２５２のそれぞれの血管抽出結果を重畳する。交叉点による位置合わせが行われる場合、重畳処理部２７１は、交叉点位置合わせ処理部２３４から供給される交叉点位置合わせ結果を用いて、交叉点の位置合わせと同様の位置合わせを行いながら、各血管抽出結果を重畳する。重畳処理部２７１は、重畳結果をシフト処理部２７２に供給する。なお、血管位置合わせ処理部２３２は、血管抽出結果２９２を血管抽出結果２９１に近づけるように位置合わせが行われる。
【０１４５】
シフト処理部２７２は、図１５に示されるように、縦方向や横方向等任意の方向に、血管抽出結果２９２全体を移動（シフト）させる縦横シフト２８１を行い、血管抽出結果２９２が血管抽出結果２９１に最も近づいた状態で、重畳結果を伸ばし処理部２７３に供給する。血管抽出結果２９１と血管抽出結果２９２とがどれくらい近づいたかの判定方法は任意であるが、例えば、両画像の絶対値差分により判定する。つまり、シフト処理部２７２は、血管抽出結果２９２全体を移動（シフト）させ、血管抽出結果２９１と血管抽出結果２９２との絶対値差分が最小となる位置を検索する。この判定方法は以下の処理部においても同様である。
【０１４６】
伸ばし処理部２７３は、図１５に示されるように、縦方向や横方向等任意の方向に、血管抽出結果２９１を伸ばす（変形させる）縦横伸ばし２８２を行い、血管抽出結果２９２が血管抽出結果２９１に最も近づいた状態で、重畳結果を回転処理部２７４に供給する。例えば、伸ばし処理部２７３は、血管抽出結果２９２を任意の方向に伸ばし（変形させ）、血管抽出結果２９１と血管抽出結果２９２との絶対値差分が最小となる形状を検索する。
【０１４７】
回転処理部２７４は、図１５に示されるように、血管抽出結果２９２を左右に回転させる回転２８３を行い、血管抽出結果２９２が血管抽出結果２９１に最も近づいた状態で、重畳結果を拡大縮小処理部２７５に供給する。例えば、回転処理部２７４は、血管抽出結果２９２を左右に回転させ、血管抽出結果２９１と血管抽出結果２９２との絶対値差分が最小となる向きを検索する。
【０１４８】
拡大縮小処理部２７５は、図１５に示されるように、血管抽出結果２９２を拡大したり縮小したりする拡大縮小２８４を行い、血管抽出結果２９２が血管抽出結果２９２に最も近づいた状態で、重畳結果を収束判定部２７６に供給する。例えば、回転処理部２７４は、血管抽出結果２９２を拡大したり縮小したりし、血管抽出結果２９１と血管抽出結果２９２との絶対値差分が最小となる大きさを検索する。
【０１４９】
収束判定部２７６は、供給された重畳結果に基づいて、位置合わせが収束したか否かを判定する。例えば、収束判定部２７６は、上述した各処理を複数回繰り返し行わせ、今回得られた位置合わせ結果を、前回の位置合わせ結果と比較し、前回より血管抽出結果２９２が血管抽出結果２９１に近づいた場合、収束していないと判定し、前回より血管抽出結果２９２が血管抽出結果２９１に近づいていない場合（例えば、血管抽出結果２９１と血管抽出結果２９２との絶対値差分が前回より小さくならない場合）、収束したと判定する。
【０１５０】
収束していないと判定した場合（例えば、血管抽出結果２９１と血管抽出結果２９２との絶対値差分が前回より小さくなる場合）、収束判定部２７６は、その重畳結果をシフト処理部２７２に戻し、再度、位置合わせを行わせる。
【０１５１】
位置合わせが収束したと判定した場合、調整部２７７は、前回までの累積的な収束結果に基づいて、位置合わせの調整を行う。例えば、５回の連続的な撮影により時間的に若い順から第１乃至第５の眼底画像が得られたとする。この場合、第５の眼底画像が処理対象とされた場合、比較対象は第４の眼底画像となる。ここで、収束結果とは、第５の眼底画像を第４の眼底画像に近づけるように位置合わせをした結果である。つまり、収束した段階では、第５の眼底画像は、第４の眼底に近づいているに過ぎない。しかしながら、後述する合成部２６６では、第５の眼底画像を第１の眼底画像に近づけたもの（位置合わせしたもの）が合成対象になる。したがって、収束直後の第４の眼底画像に近づけたもの（位置合わせしたもの）を、さらに第１の眼底画像に近づける（位置合わせの調整をする）必要がある。
【０１５２】
第４の眼底画像を第１の眼底画像に近づける（位置合わせの調整をする）ためには、前回までの累積的な収束結果を用いる必要がある。具体的には、第４の眼底画像を第３の眼底画像に近づける収束結果（１回前の収束結果）、第４の眼底画像を第３の眼底画像に近づける収束結果（２回前の収束結果）、第３の眼底画像を第２の眼底画像に近づける収束結果（３回前の収束結果）、及び第２の眼底画像を第１の眼底画像に近づける収束結果（４回前の収束結果）を累積的に用いて、第１の眼底画像に近づける位置合わせの調整が行われる。なお、位置合わせ調整の順序はこれに限定されず、これとは逆に、複数の眼底画像を第５の眼底画像に近づける位置合わせの調整が行われてもよい。調整部２７７は、位置合わせされた処理対象球面眼底画像２９３を合成部２２６に供給する。
【０１５３】
なお、以上においては、位置合わせの具体例として、縦横シフト２８１、縦横伸ばし２８２、回転２８３、および拡大縮小２８４の４つの処理をこの順に行うように説明したが、これに限らず、上述した処理以外の処理をさらに行うようにしてもよいし、上述した処理の一部を省略するようにしてもよい。また、上述したように処理を複数行う場合、各処理の実行順は任意である。
【０１５４】
また、特徴抽出部２２４と位置合わせ部２２５は、例えば、“Shape Matching and Object Recognition Using Shape Contexts”，Serge Belongie, Jitendra Malik, Jan Puzicha, 2002に記載されているような、エッジ部分のヒストグラムを使った位置合わせを行うようにしてもよい。
【０１５５】
さらに、収束したか否かの判定方法は、任意であり、上述した以外の方法であってもよい。例えば、血管抽出結果２９１と血管抽出結果２９２との絶対値差分が所定の閾値以下になる場合、収束したと判定されるようにしてもよい。
【０１５６】
なお、血管の交叉点による位置合わせも、この血管全体による位置合わせと基本的に同様に行われる。つまり、交叉点位置合わせ処理部２３４は、血管位置合わせ処理部２３２と基本的に同様の構成を有し、位置合わせに用いる生体情報が血管全体の形状か、その交叉点かの違い以外は、基本的に同様の処理を行う。
【０１５７】
以上のように、眼底画像処理装置２００は、眼底画像は生体の画像であるので、その画像の特徴を活かし、眼底画像に含まれる生体情報を用いて画像全体で位置合わせを行う。このようにすることにより、眼底画像処理装置２００は、より容易かつ正確な位置合わせを実現することができる。
【０１５８】
以上、図１２乃至図１５を参照して、眼底画像処理装置２００の構成について説明した。次に、このような構成の眼底画像処理装置２００が実行する眼底画像生成処理について図１６を用いて説明する。
【０１５９】
[眼底画像生成処理の流れ]
図１６は、眼底画像生成処理の流れについて説明するフローチャートである。
【０１６０】
ステップＳ９１において、撮像部２１は、光量を落として複数回、被験者の眼底を撮像する。なお、上述したように、撮像部２１による眼底の撮像は、静止画を得るための複数回の撮像であっても、動画を得るための１回の撮像であってもよい。
【０１６１】
ステップＳ９２において、画像処理部２１２は、ステップＳ９１の処理により得られた複数の低画質な眼底画像のデータを入力画像バッファ２２１に記憶させる。
【０１６２】
ステップＳ９３において、眼底球面変換部２２２は、入力画像バッファ２２１から処理対象と比較対象との２枚の眼底画像のデータを読み出す。
【０１６３】
ステップＳ９４において、眼底球面変換部２２２は、ステップＳ９３で読み出した処理対象の眼底画像全体と比較対象の眼底画像全体とを、それぞれ球面モデル記憶部２２３に記憶されている球面モデルに当てはめて、処理対象球面眼底画像と比較対象球面眼底画像に変換する。
【０１６４】
ステップＳ９５において、血管抽出部２３１は、処理対象球面眼底画像から血管の形状や位置を抽出する。抽出された血管の形状や位置は、血管抽出結果として血管位置合わせ処理部２３２に供給される。
【０１６５】
ステップＳ９６において、血管抽出部２３１は、比較対象球面眼底画像から血管の形状や位置を抽出する。抽出された血管の形状や位置は、血管抽出結果として血管位置合わせ処理部２３２に供給される。
【０１６６】
ステップＳ９７において、特徴抽出部２２４は、交叉点の位置合わせを行うかを判定する。
【０１６７】
交叉点の位置合わせを行わない場合、ステップＳ９７においてＮＯであると判定されて、処理はステップＳ１０１に進む。なお、ステップＳ１０１以降の処理については後述する。
【０１６８】
これに対して、交叉点の位置合わせを行う場合、ステップＳ９７においてＹＥＳであると判定されて、処理はステップＳ９８に進む。この場合、血管抽出部２３１は、ステップＳ９５，Ｓ９６で抽出された血管抽出結果を交叉点抽出部２３３に供給する。
【０１６９】
ステップＳ９８において、交叉点抽出部２３３は、処理対象球面眼底画像の血管抽出結果を用いて交叉点を抽出する。抽出された交叉点の位置は、交叉点抽出結果として交叉点位置合わせ処理部２３４に供給される。
【０１７０】
ステップＳ９９において、交叉点抽出部２３３は、比較対象球面眼底画像の血管抽出結果を用いて交叉点を抽出する。抽出された交叉点の位置は、交叉点抽出結果として交叉点位置合わせ処理部２３４に供給される。
【０１７１】
ステップＳ１００において、交叉点位置合わせ処理部２３４は、ステップＳ９８及びステップＳ９９で供給された交叉点抽出結果を用いて、処理対象球面眼底画像２５１と比較対象球面眼底画像２５２との間で交叉点位置合わせ処理を実行する。
【０１７２】
なお、ステップＳ１００において実行される交叉点位置合わせ処理は、血管全体の代わりに血管の交叉点を位置合わせに利用すること以外、図１７を参照して後述する血管位置合わせ処理と同様に実行される。したがって、その説明は繰り返しになるので省略する。
【０１７３】
ステップＳ１０１において、血管位置合わせ処理部２３２は、血管位置合わせ処理を実行する。すなわち、血管位置合わせ処理部２３２は、交叉点を用いて簡易的に位置合わせされた球面眼底画像に対して、さらに血管抽出結果を用いた血管位置合わせを施す。ステップＳ１０１の血管位置合わせ処理の詳細については、図１７を参照して後述する。
【０１７４】
ステップＳ１０２において、画像処理部２１２は、すべての眼底画像のデータが処理対象に設定されたかを判定する。
【０１７５】
まだすべての眼底画像のデータが処理対象に設定されていない場合、ステップＳ１０２においてＮＯであると判定されて、処理はステップＳ９３に戻され、それ以降の処理が繰り返される。すなわち、すべての眼底画像のデータが処理対象に設定されるまでの間、ステップＳ９３乃至ステップＳ１０２のループ処理が繰り返される。
【０１７６】
その後、すべての眼底画像のデータが処理対象に設定された場合、ステップＳ１０２においてＹＥＳであると判定されて、処理はステップＳ１０３に進む。
【０１７７】
ステップＳ１０３において、合成部２２６は、位置合わせされた複数の球面眼底画像のデータを合成する。これにより、１枚の眼底画像のデータが生成される。
【０１７８】
ステップＳ１０４において、超解像処理部２２７は、合成後の眼底画像のデータに超解像度処理を施す。これにより、ステップＳ１０３の合成時点よりもさらに高解像度の眼底画像のデータが生成される。
【０１７９】
ステップＳ１０５において、画像処理部２１２は、超解像度処理が施された眼底画像のデータを、記憶部２３に記憶させたり、出力部２４から出力させたりする。
【０１８０】
これにより、眼底画像生成処理は終了する。次に、ステップＳ１０１の血管位置合わせ処理について説明する。
【０１８１】
[血管位置合わせ処理の流れ]
図１７は、図１６のステップＳ１０１の血管位置合わせ処理の流れを説明するフローチャートである。
【０１８２】
ステップＳ１１１において、重畳処理部２７１は、交叉点位置合わせが行われたかを判定する。
【０１８３】
交叉点位置合わせが行われた場合、ステップＳ１１１においてＹＥＳであると判定されて、処理はステップ１１２に進む。
【０１８４】
ステップＳ１１２において、重畳処理部２７１は、交叉点位置合わせ結果を重畳結果とし、その重畳結果に従って、血管抽出部２３１から供給された処理対象球面眼底画像と比較対象球面眼底画像のそれぞれの血管抽出結果を重畳する。
【０１８５】
これに対して、交叉点位置合わせが行われなかった場合、ステップＳ１１１においてＮＯであると判定されて、処理はステップ１１３に進む。
【０１８６】
ステップＳ１１３において、重畳処理部２７１は、処理対象球面眼底画像と比較対象球面眼底画像のそれぞれの血管抽出結果を重畳する。
【０１８７】
ステップＳ１１４において、シフト処理部２７２は、処理対象球面眼底画像の血管抽出結果をシフトするシフト位置合わせを行う。
【０１８８】
ステップＳ１１５において、伸ばし処理部２７３は、処理対象球面眼底画像の血管抽出結果を伸縮させる伸ばし位置合わせを行う。
【０１８９】
ステップＳ１１６において、回転処理部２７４は、処理対象球面眼底画像の血管抽出結果を回転させる回転位置合わせを行う。
【０１９０】
ステップＳ１１７において、拡大縮小処理部２７５は、処理対象球面眼底画像の血管抽出結果を拡大したり縮小したりする拡大縮小位置合わせを行う。
【０１９１】
ステップＳ１１８において、収束判定部２７６は、位置合わせが収束したかを判定する。
【０１９２】
位置合わせが収束していない場合、ステップＳ１１８においてＮＯであると判定されて、処理はステップＳ１１４に戻され、それ以降の処理が繰り返される。すなわち、位置合わせが収束するまでの間、ステップＳ１１４乃至Ｓ１１８のループ処理が繰り返される。
【０１９３】
その後、位置合わせが収束した場合、ステップＳ１１８においてＹＥＳであると判定されて、処理はステップＳ１１９に進む。
【０１９４】
ステップＳ１１９において、調整部２７７は、前回までの累積的な収束結果に基づいて、位置合わせの調整を行う。その結果、位置合わせされた処理対象球面眼底画像は合成部２２６に出力される。
【０１９５】
これにより、血管位置合わせ処理が終了し、処理は図１６のステップＳ１０２に進む。
【０１９６】
このように、被写体の生体情報を用いた眼底画像の位置合わせが行われることにより、動きベクトルの検出が困難な状況であっても、被験者に与える負荷を軽減しながら、より高画質な眼底画像を得ることができる。
【０１９７】
なお、上述の例で用いられる球面モデルは、被験者の眼軸長、視力等の条件に合わせて、被験者毎に適切な球面モデルに切り替えられてもよい。
【０１９８】
また、眼底は完全な球面ではないため、球面モデルを適用して球面に近似できないような領域は、マッチング処理や位置合わせ処理に用いられないようにマスク処理を施すこともできる。
【０１９９】
[本技術のプログラムへの適用]
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
【０２００】
この場合、上述した画像処理装置の少なくとも一部として、例えば、図１８に示されるパーソナルコンピュータを採用してもよい。
【０２０１】
図１８において、CPU３０１は、ROM３０２に記録されているプログラムに従って各種の処理を実行する。または記憶部３０８からRAM３０３にロードされたプログラムに従って各種の処理を実行する。RAM３０３にはまた、CPU３０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０２０２】
CPU３０１、ROM３０２、及びRAM３０３は、バス３０４を介して相互に接続されている。このバス３０４にはまた、入出力インタフェース３０５も接続されている。
【０２０３】
入出力インタフェース３０５には、キーボード、マウスなどよりなる入力部３０６、ディスプレイなどよりなる出力部３０７が接続されている。また、ハードディスクなどより構成される記憶部３０８、及び、モデム、ターミナルアダプタなどより構成される通信部３０９が接続されている。通信部３０９は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。
【０２０４】
入出力インタフェース３０５にはまた、必要に応じてドライブ３１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどよりなるリムーバブルメディア３１１が適宜装着される。そして、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部３０８にインストールされる。
【０２０５】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【０２０６】
このようなプログラムを含む記録媒体は、図１８に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フロッピディスクを含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア（パッケージメディア）３１１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM３０２や、記憶部３０８に含まれるハードディスクなどで構成される。
【０２０７】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０２０８】
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０２０９】
なお、本技術は、以下のような構成もとることができる。
（１）
略球面の被写体を含む複数の撮像画像のうち、処理対象の１枚と、比較対象の他の１枚とについての、前記被写体についての比較を、前記複数の撮像画像の各々を処理対象として実行し、前記処理対象についての３次元球面モデル全体についての動きベクトルを検出する動きベクトル検出部と、
前記複数の撮像画像の各々の前記動きベクトル検出部により検出された前記動きベクトルに基づいて、前記処理対象に動き補償を施す動き補償部と、
前記動き補償部による動き補償が施された結果得られる前記撮像画像の各々を合成する合成部と
を備える画像処理装置。
（２）
前記動きベクトル検出部は、
前記処理対象から区分された複数のブロックの各々について、前記比較対象との間でブロックマッチングを行うことによって局所的な動きベクトルを検出し、
前記複数のブロック毎の前記局所的な動きベクトルを用いて、前記処理対象についての前記３次元球面モデル全体についての動きベクトルを検出する
前記（１）に記載の画像処理装置。
（３）
前記動きベクトル検出部は、
前記処理対象における前記複数のブロックの各々についての前記局所的な動きベクトルを、前記３次元球面モデルにおける局所的な球面動きベクトルに変換し、
前記複数のブロック毎の前記局所的な球面動きベクトルを用いて、前記処理対象についての前記３次元球面モデル全体についての動きベクトルを検出する
前記（１）または（２）に記載の画像処理装置。
（４）
前記動きベクトル検出部は、
前記処理対象における前記複数のブロックの各々を、前記３次元球面モデルにおける複数の球面ブロックに変換し、
前記複数の球面ブロックの各々について、前記比較対象との間でブロックマッチングを行うことによって、前記局所的な動きベクトルとして局所的な球面動きベクトルを検出し、
前記複数の球面ブロック毎の前記局所的な球面動きベクトルを用いて、前記処理対象についての前記３次元球面モデル全体についての動きベクトルを検出する
前記（１）、（２）、または（３）に記載の画像処理装置。
（５）
前記動きベクトル検出部は、
前記処理対象と前記比較対象とのそれぞれを前記３次元球面モデルにおける球面画像に変換し、
前記処理対象の球面画像と前記比較対象の球面画像との間でマッチングを行うことによって、前記処理対象についての前記３次元球面モデル全体についての動きベクトルを検出する
前記（１）乃至（４）のいずれかに記載の画像処理装置。
（６）
前記被写体は眼底である
前記（１）乃至（５）のいずれかに記載の画像処理装置。
（７）
前記３次元球面モデルは、前記被写体が有する条件により切り替えられて用いられる
前記（１）乃至（６）のいずれかに記載の画像処理装置。
（８）
略球面の被写体を含む複数の撮像画像のうち、処理対象の１枚と、比較対象の他の１枚の、３次元球面モデルにおける球面画像への変換を、前記複数の撮像画像の各々を処理対象として実行する変換部と、
前記処理対象の球面画像と前記比較対象の球面画像の各々の特徴を抽出する抽出部と、
前記特徴同士が一致するように前記特徴の位置を合わせる位置合わせ部と、
前記位置合わせ部により位置合わせがされた結果得られる前記撮像画像の各々を合成する合成部と
を備える画像処理装置。
（９）
前記特徴として血管の形状が用いられる
前記（８）に記載の画像処理装置。
（１０）
前記被写体は眼底である
前記（８）または（９）に記載の画像処理装置。
（１１）
前記３次元球面モデルは、前記被写体が有する条件により切り替えられて用いられる
前記（８）、（９）、または（１０）に記載の画像処理装置。
【０２１０】
本技術は、画像処理装置に適用することができる。
【符号の説明】
【０２１１】
１０ 眼底画像処理装置， ２１ 撮像部， ２２ 画像処理部， ２３ 記憶部， ２４ 出力部， ３１ 入力画像バッファ３１， ３２ 動きベクトル検出部， ３３ 動き補償部， ３４ 合成部， ３５ 超解像処理部， ４１ ，局所動きベクトル検出部， ４２ 球面動きベクトル変換部， ４３ 球面モデル記憶部， ４４ 眼底動きベクトル検出部， ６３ 球面モデル， ７０ 動きベクトル検出部， ７１ 局所球面動きベクトル検出部， ７２ 球面モデル記憶部， ７３ 眼底動きベクトル検出部， １００ 動きベクトル検出部， １０１ 眼底球面変換部， １０２ 球面モデル記憶部， １０３ 眼底動きベクトル検出部， ２２４ 特徴抽出部， ２２５ 位置合わせ部， ２３１ 血管抽出部， ２３２ 血管位置合わせ処理部， ２３３ 交叉点抽出部， ２３４ 交叉点位置合わせ処理部２３４， ２７１ 重畳処理部， ２７２ シフト処理部， ２７３ 伸ばし処理部， ２７４ 回転処理部， ２７５ 拡大縮小処理部， ２７６ 収束判定部， ２７７ 調整部
【技術分野】
【０００１】
本技術は、画像処理装置及び方法、記録媒体、並びにプログラムに関し、特に、簡素な構成で容易に、略球面体が撮像された画像の高画質化を図ることができる、画像処理装置及び方法、記録媒体、並びにプログラムに関する。
【背景技術】
【０００２】
従来より、瞳孔を通じて眼球内の網膜や視神経乳頭等の眼底を観察する検査、いわゆる眼底検査が行われている。眼底検査は、例えば、眼底鏡や眼底カメラといった専用の装置を用いて行われる。例えば、被験者の眼球内の眼底が眼底カメラで撮像され、その結果得られる撮像画像（以下、眼底画像と称する）がモニタ等に表示されると、観察者が当該眼底画像を観察することにより、眼底検査が行われる。観察者が正確に観察を行うために、眼底画像の高画質化が行われている。
【０００３】
眼底画像を高画質化する従来の手法として、例えば、連続して撮影された複数の眼底画像のデータを、眼球が略球面であることを考慮して合成する手法が存在する。当該手法では、一定時間をかけて撮影された複数の眼底画像が合成されるため、当該一定時間内に眼底が移動すると、眼底画像の高画質化が妨げられる。そこで、特許文献１には、OCT(Optical Coherence Tomography：光干渉断層計)による眼底の断層画像を用いて形成された、複数の眼底の３次元画像の回転方向の位置合わせを行う手法が記載されている。また、例えば、特許文献２には、アフィン変換を用いて、複数の眼底画像の回転を含む位置合わせを行う手法が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−０８７６７２号広報
【特許文献２】特開２０１０−２６９０１６号広報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載された手法では、３次元画像を形成するために、OCTによる断層画像が必要となり、装置が大がかりなものとなる。また、特許文献２に記載された手法では、眼底画像に対して２次元画像の回転に用いられるアフィン変換が用いられることから、３次元の球面である眼球の位置合わせを正確に行うことは困難である。
【０００６】
即ち、近年、簡素な構成で高画質の眼底画像を容易に得ることが要望されているが、特許文献１及び特許文献２を含め従来の技術では、当該要望に十分に応えられない状況である。このような状況は、眼底画像のみならず、略球面体が写る撮像画像についても同様である。
【０００７】
本技術は、このような状況に鑑みてなされたものであり、簡素な構成で容易に、略球面体が撮像された画像の高画質化を図ることができるようにしたものである。
【課題を解決するための手段】
【０００８】
本技術の一側面の画像処理装置は、略球面の被写体を含む複数の撮像画像のうち、処理対象の１枚と、比較対象の他の１枚とについての、前記被写体についての比較を、前記複数の撮像画像の各々を処理対象として実行し、前記処理対象についての３次元球面モデル全体についての動きベクトルを検出する動きベクトル検出部と、前記複数の撮像画像の各々の前記動きベクトル検出部により検出された前記動きベクトルに基づいて、前記処理対象に動き補償を施す動き補償部と、前記動き補償部による動き補償が施された結果得られる前記撮像画像の各々を合成する合成部とを備える。
【０００９】
前記動きベクトル検出部は、前記処理対象から区分された複数のブロックの各々について、前記比較対象との間でブロックマッチングを行うことによって局所的な動きベクトルを検出し、前記複数のブロック毎の前記局所的な動きベクトルを用いて、前記処理対象についての前記３次元球面モデル全体についての動きベクトルを検出することができる。
【００１０】
前記動きベクトル検出部は、前記処理対象における前記複数のブロックの各々についての前記局所的な動きベクトルを、前記３次元球面モデルにおける局所的な球面動きベクトルに変換し、前記複数のブロック毎の前記局所的な球面動きベクトルを用いて、前記処理対象についての前記３次元球面モデル全体についての動きベクトルを検出することができる。
【００１１】
前記動きベクトル検出部は、前記処理対象における前記複数のブロックの各々を、前記３次元球面モデルにおける複数の球面ブロックに変換し、前記複数の球面ブロックの各々について、前記比較対象との間でブロックマッチングを行うことによって、前記局所的な動きベクトルとして局所的な球面動きベクトルを検出し、前記複数の球面ブロック毎の前記局所的な球面動きベクトルを用いて、前記処理対象についての前記３次元球面モデル全体についての動きベクトルを検出することができる。
【００１２】
前記動きベクトル検出部は、前記処理対象と前記比較対象とのそれぞれを前記３次元球面モデルにおける球面画像に変換し、前記処理対象の球面画像と前記比較対象の球面画像との間でマッチングを行うことによって、前記処理対象についての前記３次元球面モデル全体についての動きベクトルを検出することができる。
【００１３】
前記被写体は眼底とすることができる。
【００１４】
前記３次元球面モデルは、前記被写体が有する条件により切り替えて用いることができる。
【００１５】
本技術の一側面の画像処理方法、記録媒体、及びプログラムは、上述した本技術の一側面の画像処理装置に対応する方法、記録媒体、及びプログラムである。
【００１６】
本技術の一側面の画像処理装置及び方法、記録媒体、並びにプログラムにおいては、略球面の被写体を含む複数の撮像画像のうち、処理対象の１枚と、比較対象の他の１枚とについての、前記被写体についての比較が、前記複数の撮像画像の各々を処理対象として実行され、前記処理対象についての３次元球面モデル全体についての動きベクトルが検出され、前記複数の撮像画像の各々の前記動きベクトルに基づいて、前記処理対象に動き補償が施され、動き補償が施された結果得られる前記撮像画像の各々が合成される。
【００１７】
本技術の他の側面の画像処理装置は、略球面の被写体を含む複数の撮像画像のうち、処理対象の１枚と、比較対象の他の１枚の、３次元球面モデルにおける球面画像への変換を、前記複数の撮像画像の各々を処理対象として実行する変換部と、前記処理対象の球面画像と前記比較対象の球面画像の各々の特徴を抽出する抽出部と、前記特徴同士が一致するように前記特徴の位置を合わせる位置合わせ部と、前記位置合わせ部により位置合わせがされた結果得られる前記撮像画像の各々を合成する合成部とを備える。
【００１８】
前記特徴として血管の形状を用いることができる。
【００１９】
前記被写体は眼底とすることができる。
【００２０】
前記３次元球面モデルは、前記被写体が有する条件により切り替えて用いることができる。
【００２１】
本技術の他の側面の画像処理方法、記録媒体、及びプログラムは、上述した本技術の一側面の画像処理装置に対応する方法、記録媒体、及びプログラムである。
【００２２】
本技術の他の側面の画像処理装置及び方法、記録媒体、並びにプログラムにおいては、略球面の被写体を含む複数の撮像画像のうち、処理対象の１枚と、比較対象の他の１枚の、３次元球面モデルにおける球面画像への変換が、前記複数の撮像画像の各々が処理対象とされて実行され、前記処理対象の球面画像と前記比較対象の球面画像の各々の特徴が抽出され、前記特徴同士が一致するように前記特徴の位置が合わせられ、位置合わせがされた結果得られる前記撮像画像の各々が合成される。
【発明の効果】
【００２３】
以上のごとく、本技術によれば、簡素な構成で容易に、略球面体が撮像された画像の高画質化を図ることができる。
【図面の簡単な説明】
【００２４】
【図１】本技術が適用された眼底画像処理装置の構成例を示すブロック図である。
【図２】動きベクトル検出部の構成例を示すブロック図である。
【図３】動きベクトル検出部の具体的な処理について説明する図である。
【図４】眼底画像生成処理の流れについて説明するフローチャートである。
【図５】動きベクトル検出処理の流れを説明するフローチャートである。
【図６】動きベクトル検出部の構成例を示すブロック図である。
【図７】動きベクトル検出部の具体的な処理について説明する図である。
【図８】動きベクトル検出処理の流れを説明するフローチャートである。
【図９】動きベクトル検出部の構成例を示すブロック図である。
【図１０】動きベクトル検出部の具体的な処理について説明する図である。
【図１１】動きベクトル検出処理の流れを説明するフローチャートである。
【図１２】眼底画像処理装置の構成例を示すブロック図である。
【図１３】特徴抽出部と位置合わせ部の具体的な処理について説明する図である。
【図１４】血管位置合わせ処理部の構成例を示す図である。
【図１５】血管位置合わせ処理部の具体的な処理について説明する図である。
【図１６】眼底画像生成処理の流れについて説明するフローチャートである。
【図１７】血管位置合わせ処理の流れを説明するフローチャートである。
【図１８】本技術が適用される画像処理装置のハードウェアの構成例を示すブロック図である。
【発明を実施するための形態】
【００２５】
以下、本技術の４つの実施形態（以下、それぞれ第１乃至第４実施形態と称する）について、次の順序で説明する。
１．第１実施形態（各ブロックから検出された動きベクトルを球面モデルに適用する例）
２．第２実施形態（球面モデルに適用した各ブロックの動きベクトルを検出する例）
３．第３実施形態（球面モデルに適用した眼底画像から動きベクトルを検出する例）
４．第４実施形態（球面モデルに適用した眼底画像の位置合わせを行う例）
【００２６】
＜第１実施形態＞
[眼底画像処理装置の構成例]
図１は、本技術が適用された眼底画像処理装置の構成例を示すブロック図である。
【００２７】
図１に示される眼底画像処理装置１０は、被験者の眼球内の網膜や視神経乳頭等の眼底を撮像し、その結果得られる眼底画像のデータに対して高画質化のための画像処理を施し、画像処理後の眼底画像を表示させる。
【００２８】
眼底画像処理装置１０は、被験者に与える負荷を軽減するために、被写体（すなわち、被験者の眼底）に照射する光量を抑制して被写体を撮像する。これにより１枚の眼底画像のデータが得られるが、より高画質な眼底画像を得るために、眼底画像処理装置１０は、被写体の撮像を複数回行い、その都度得られる複数の撮像画像のデータに対して、後述する各種画像処理を施す。このような各種画像処理が施された結果、より高画質となった眼底画像が眼底画像処理装置１０により表示される。
【００２９】
なお、ここでいう１回の撮像とは、撮像素子を構成する各画素の各々に光が蓄積されて、当該各画素のそれぞれから電気信号（各画素データ）がそれぞれ出力されるまでの眼底画像処理装置１０の一連の動作をいう。この場合、撮像の回数、及び各回の撮像の時間間隔は特に限定されず、例えば各回の撮像の時間間隔を１／３０［ｓ］程度に短くして、当該時間隔で連続して３００回の撮像が行われれば、１０［ｓ］の動画が得られることになる。即ち、ここでいう複数回の撮像とは、複数枚の静止画を得るための撮像と、動画を得るための撮像とを含む概念である。
【００３０】
このような眼底画像処理装置１０は、撮像部２１、画像処理部２２、記憶部２３、及び出力部２４を有する。
【００３１】
撮像部２１は、所定の位置に存在する被験者の眼底を被写体として撮像し、その結果得られる眼底画像のデータを出力する。撮像部２１は、例えばCCD（Charge Coupled Device）撮像素子やCMOS（Complementary Metal Oxide Semiconductor）撮像素子等を有する構成を取ることができるが、特にこの構成に限定されず、眼底画像のデータを出力することが可能であるのならば、任意の構成を取ることができる。ただし本実施形態では、撮像部２１は、より高画質な眼底画像を得るために、撮影中の被写体に光を照射する機能を有している。
【００３２】
より高画質な眼底画像を得るための手法として、例えば、撮影時に、被験者の眼底に照射する光量を増加させる手法が存在する。しかしながら、撮像時に被験者の眼底により多くの光量を照射すると、被験者に与える負荷が増大してしまい、観察対象に対して不要な影響を及ぼしたり、被験者の心理的な負担を増大させるおそれがあった。また、撮像時に被験者の眼底により多くの光量を照射することにより、被験者が、所謂、眩しいと感じ、瞼を閉じたり動いたりしてしまい、高画質な眼底画像を得ることが出来ないおそれがあった。そこで、本実施形態では撮影時に眼底に照射する光量を増加させずに、撮像部２１は、低光量の照射光を眼底に照射させた状態を維持して、眼底の撮像を複数回繰り返す。なお、撮像部２１による眼底の撮像は、静止画を得るための複数回の撮像であっても、動画を得るための１回の撮像であってもよい。
【００３３】
すなわち、このような１回の撮像の度に得られる各眼底画像は、撮影時の照射光が弱い（暗い）ため、低画質である。このため、本実施形態では、画像処理部２２は、撮像部２１による複数回の撮像の各々により得られた眼底画像のデータに対して、所定の画像処理を施すことで、１枚の高画質の眼底画像のデータを生成して出力する。なお、この場合、画像処理の対象となる複数の眼底画像が相互に近似しているほど高画質化が容易になるため、撮像部２１の複数回の撮像動作は短時間である程好適である。
【００３４】
画像処理部２２は、画像処理後の眼底画像のデータ、即ち、高画質の眼底画像のデータを、記憶部２３に記憶させたり、出力部２４から出力させる。
【００３５】
記憶部２３は、例えば、ハードディスク、フラッシュメモリ、若しくは、RAM（Random Access Memory）等から構成され、画像処理部２２から供給される眼底画像のデータを記憶する。記憶部２３に記憶された眼底画像のデータは、図示せぬ再生部等により読み出され、出力部２４に表示出力されたり、他の装置に伝送されたり、図示せぬ画像処理部２２とは別の画像処理部により別の画像処理が施される。
【００３６】
出力部２４は、CRT（Cathode Ray Tube）やLCD（Liquid Crystal Display）等のモニタや、出力端子等を有し、画像処理部２２から出力される眼底画像のデータを、そのモニタにおいて表示出力したり、その出力端子から外部の装置に出力する。
【００３７】
さらに以下、図１に示される眼底画像処理装置１０のうち、画像処理部２２の詳細な構成について説明する。画像処理部２２は、入力画像バッファ３１、動きベクトル検出部３２、動き補償部３３、合成部３４、及び超解像処理部３５を有する。
【００３８】
入力画像バッファ３１は、例えばハードディスク、フラッシュメモリ、若しくは、RAM等の任意の記憶媒体の一領域として構成され、撮像部２１から順次供給される低画質な眼底画像のデータを、入力画像のデータの各々として保持する。各入力画像のデータは、所定のタイミングで入力画像バッファ３１から読み出されて、動きベクトル検出部３２又は動き補償部３３に供給される。
【００３９】
撮像部２１により得られた眼底画像のデータは、複数回の撮像により得られたものであり、互いに全く同一な画像であるとは限らない。例えば、眼底画像の一部または全部において、位置がずれていることが考えられる。したがって、単純にこれらの複数の眼底画像を合成すると、位置ずれ等により眼底画像がボケたり２重になったりする恐れがある。したがって、合成部３４で複数の眼底画像のデータを合成する前に、動きベクトル検出部３２で動きベクトルを検出し、動き補償部３３で当該動きベクトルを用いた動き補償を施すことにより、合成する画像間の差（位置ずれ等）を低減させる必要がある。
【００４０】
動きベクトル検出部３２は、処理対象の入力画像と、当該処理対象とは時間的に離間して撮影された入力画像との各データを入力画像バッファ３１から読み出す。次に、動きベクトル検出部３２は、これら読み出した２枚の入力画像のデータを比較することにより、処理対象の入力画像における眼底全体の動きベクトルを検出する。なお、動きベクトルの検出手法としては、眼球を３次元球面モデル化して、球面全体の動きベクトルとして検出する手法が本実施形態では採用されている。すなわち、動きベクトル検出部３２は、略球面の被写体を含む複数の撮像画像のうち、処理対象の撮像画像と、比較対象の撮像画像とについての、被写体についての３次元球面モデル（以下、球面モデルと略称する）を用いた比較を、複数の撮像画像の各々を処理対象として実行する。当該手法については、動きベクトル検出部３２の詳細な構成と共に、図２を用いて後述する。
【００４１】
動き補償部３３は、処理対象の入力画像のデータを入力画像バッファ３１から読み出すとともに、当該処理対象の入力画像における眼底全体の動きベクトルを動きベクトル検出部３２から取得する。そして、動き補償部３３は、眼底全体の動きベクトルを用いて、処理対象の入力画像のデータに対して動き補償を施す。動き補償とは、球面モデル上で処理対象の入力画像における眼底全体の動きベクトルに従って、処理対象の入力画像を動かす処理である。これにより、複数の眼底画像間の差（位置ずれ等）が低減される。動き補償後の眼底画像のデータは、合成部３４に供給される。
【００４２】
このようにして、撮像部２１による複数回の撮像の各々により得られた複数の眼底画像のデータの各々は、順次処理対象となり、動き補償部３３により動き補償が施された後、合成部３４に逐次供給される。
【００４３】
合成部３４は、動き補償部３３から複数の眼底画像のデータの全てが供給されると、これら複数の眼底画像の各データを合成することによって、１枚の眼底画像のデータを生成し、超解像処理部３５に供給する。
【００４４】
超解像処理部３５は、合成部３４による合成後の眼底画像のデータに超解像処理を施すことにより、合成時点よりもさらに高解像度の眼底画像のデータを生成する。なお、超解像処理部３５による超解像処理の処理方法は任意である。例えば、特開２０１０−１０２６９６号公報に記載の方法や、特開２０１０−１０３９８１号公報に記載の方法により超解像処理が施されるようにしてもよい。ただし、超解像処理では、ノイズがより少ない、より高解像度な画像が得られるように、生体としての特徴に応じた処理が行われる。このようにして超解像処理部３５により生成された、高解像度の眼底画像のデータは、記憶部２３に記録されたり、出力部２４から出力される。
【００４５】
次に、動きベクトル検出部３２の詳細な構成について説明する。
【００４６】
[動きベクトル検出部の構成例と処理]
図２は、動きベクトル検出部３２の構成例を示すブロック図である。図３は、動きベクトル検出部３２の具体的な処理について説明する図である。
【００４７】
図２に示されるように、動きベクトル検出部３２は、局所動きベクトル検出部４１、球面動きベクトル変換部４２、球面モデル記憶部４３、及び眼底動きベクトル検出部４４を有する。
【００４８】
局所動きベクトル検出部４１は、図３に示されるように入力画像バッファ３１に入力画像のデータとしてそれぞれ保持されているｎ枚の眼底画像５１−１乃至５１−ｎの各データの中から、処理対象の眼底画像５１−ｉと、処理対象とは異なる比較対象の眼底画像５１−ｊとの各データを読み出す。ここで、ｎは、２以上の整数値であり、入力画像バッファ３１に保持されている入力画像の総数である。ｉは、１以上ｎ−１以下の整数値である。ｊは、１以上ｎ以下の整数値であって、ｉとは異なる整数値である。例えば、本実施形態では、ｊ＝ｉ＋１が設定される。つまり、処理対象の画像に隣接する画像が比較対象とされる。
【００４９】
局所動きベクトル検出部４１は、処理対象の眼底画像５１−iを、予め規定されたサイズの複数のブロックに区分し、これらの複数のブロックの各々を処理対象ブロック６１−ｉに順次設定する。
【００５０】
局所動きベクトル検出部４１は、比較対象の眼底画像５１−ｊも同様に予め規定されたサイズの複数のブロックに区分し、これらの複数のブロックの各々を例えばラスタスキャン順に比較対象ブロック６１−ｊに設定する毎に、処理対象ブロック６１−ｉと比較対象ブロック６１−ｊとの類似度を演算することを繰り返す。即ち、いわゆるブロックマッチングが行われる。
【００５１】
局所動きベクトル検出部４１は、処理対象ブロック６１−ｉと、それにマッチングした（すなわち、類似度が最も高い）比較対象ブロック６１−ｊとの位置関係に基づいて、処理対象ブロック６１−ｉにおける局所的な動きを、動きベクトルｍｖとして検出する。
【００５２】
球面動きベクトル変換部４２は、処理対象ブロック６１−ｉを、図３に示されるように、球面モデル記憶部４３に記憶されている球面モデル６３に当てはめる。これにより、処理対象ブロック６１−iは、球面モデル６３上の所定のブロック６４−ｉに変換される。ここで、変換後のブロック６４−ｉを、以下、球面処理対象ブロック６４−ｉと称する。この場合、処理対象ブロック６１−ｉにおける動きベクトルｍｖは、球面処理対象ブロック６４−ｉにおける動きベクトルｍｖｒに変換される。ここで、変換後の動きベクトルｍｖｒを、球面動きベクトルｍｖｒと称する。
【００５３】
このような球面動きベクトルｍｖｒは、処理対象の眼底画像５１−ｉから区分された複数のブロックの各々について、上述の一連の処理が繰り返し実行されることで求められる。
【００５４】
眼底動きベクトル検出部４４は、処理対象の眼底画像５１−ｉについて、複数のブロックの各々の球面動きベクトルｍｖｒに基づいて、眼底全体の動きベクトル６５を検出する。眼底動きベクトル検出部４４は、処理対象の眼底画像５１−ｉにおける眼底全体の動きベクトル６５を動き補償部３３に供給する。
【００５５】
これにより、図１を参照して上述したように、動き補償部３３において、処理対象の眼底画像５１−ｉのデータに対して、眼底全体の動きベクトル６５を用いた動き補償が施される。
【００５６】
以上、図１乃至図３を参照して、眼底画像処理装置１０の構成について説明した。次に、このような構成の眼底画像処理装置１０が実行する処理（以下、眼底画像生成処理）について図４を用いて説明する。
【００５７】
[眼底画像生成処理の流れ]
図４は、眼底画像生成処理の流れについて説明するフローチャートである。
【００５８】
ステップＳ１１において、撮像部２１は、光量を落として複数回、被験者の眼底を撮像する。なお、上述したように、撮像部２１による眼底の撮像は、静止画を得るための複数回の撮像であっても、動画を得るための１回の撮像であってもよい。
【００５９】
ステップＳ１２において、画像処理部２２は、ステップＳ１１の処理により得られた複数の低画質な眼底画像のデータを入力画像バッファ３１に記憶させる。
【００６０】
ステップＳ１３において、動きベクトル検出部３２は、動きベクトル検出処理を実行して、眼底全体の動きベクトルを検出する。なお、動きベクトル検出処理の詳細については、図５を用いて後述する。
【００６１】
ステップＳ１４において、動き補償部３３は、ステップＳ１３の処理により検出された眼底全体の動きベクトルを用いて、入力画像バッファ３１から読み出した処理対象の入力画像のデータに対して動き補償を施す。なお、動き補償部３３は、処理が終了している入力画像のデータに対しても同様の動き補償を施す。
【００６２】
ステップＳ１５において、画像処理部２２は、すべての眼底画像のデータが処理対象に設定されたかを判定する。本実施形態では、処理対象の眼底画像のデータは、眼底画像５１−１乃至５１−（ｎ−１）の各々のデータである。したがって、比較対象の眼底画像のデータは、眼底画像５１−２乃至５１−ｎの各々のデータである。
【００６３】
まだすべての眼底画像のデータが処理対象に設定されていない場合、ステップＳ１５においてＮＯであると判定されて、処理はステップＳ１３に戻され、それ以降の処理が繰り返される。すなわち、すべての眼底画像のデータが処理対象に設定されるまでの間、ステップＳ１３乃至ステップＳ１５のループ処理が繰り返される。例えば、図５を参照して後述するように、ステップＳ１３の動きベクトル検出処理で処理対象とされた眼底画像５１−１の比較対象の眼底画像５１−２に対する動きベクトルが検出された場合、次に眼底画像５１−２が処理対象の画像とされ、隣接する比較対象の眼底画像５１−３に対する動きベクトルが検出される。このような処理が順次繰り返される。
【００６４】
その後、すべての眼底画像のデータが処理対象に設定された場合、ステップＳ１５においてＹＥＳであると判定されて、処理はステップＳ１６に進む。
【００６５】
ステップＳ１６において、合成部３４は、動き補償が施された複数の眼底画像のデータを合成する。これにより、ｎ枚の眼底画像のデータから１枚の眼底画像のデータが生成される。
【００６６】
ステップＳ１７において、超解像処理部３５は、合成後の眼底画像のデータに超解像度処理を施す。これにより、ステップＳ１６の合成時点よりもさらに高解像度の眼底画像のデータが生成される。
【００６７】
ステップＳ１８において、画像処理部２２は、超解像度処理が施された眼底画像のデータを、記憶部２３に記憶させたり、出力部２４から出力させたりする。
【００６８】
これにより、眼底画像生成処理は終了する。次に、ステップＳ１３の動きベクトル検出処理について説明する。
【００６９】
[動きベクトル検出処理の流れ]
図５は、図４のステップＳ１３の動きベクトル検出処理の流れを説明するフローチャートである。
【００７０】
ステップＳ３１において、局所動きベクトル検出部４１は、入力画像バッファ３１から処理対象と比較対象の２枚の眼底画像のデータを読み出す。例えば、２枚の隣接する眼底画像５１−１と眼底画像５１−２のデータが読み出される。
【００７１】
ステップＳ３２において、局所動きベクトル検出部４１は、処理対象の眼底画像（例えば、眼底画像５１−１）から、処理対象ブロックを設定し、比較対象の眼底画像（例えば、眼底画像５１−２）との間でブロックマッチングを行う。その結果、処理対象ブロックにおける動きベクトルが検出される。
【００７２】
ステップＳ３３において、球面動きベクトル変換部４２は、ステップＳ３２で検出された動きベクトルを、球面モデル記憶部４３に記憶されている球面モデルに当てはめて、球面動きベクトルに変換する。
【００７３】
ステップＳ３４において、動きベクトル検出部３２は、全てのブロックを処理したかを判定する。すなわち、動きベクトル検出部３２は、１枚の処理対象の眼底画像（例えば、ステップＳ３１の処理で読み出された１枚の眼底画像５１−１）から区分されたすべてのブロックに対応する球面動きベクトルが検出されたかを判定する。
【００７４】
まだすべてのブロックを処理していない場合、ステップＳ３４においてＮＯであると判定されて処理はステップＳ３２に戻され、それ以降の処理が繰り返される。すなわち、すべてのブロックを処理するまでの間、ステップＳ３２乃至ステップＳ３４のループ処理が繰り返される。
【００７５】
その後、すべてのブロックを処理した場合、ステップＳ３４においてＹＥＳであると判定されて、処理はステップＳ３５に進む。
【００７６】
ステップＳ３５において、眼底動きベクトル検出部４４は、処理対象の眼底画像（例えば、ステップＳ３１の処理で読み出された１枚の眼底画像５１−１）について、複数のブロックの各々の球面動きベクトルに基づいて、眼底全体の動きベクトルを検出する。
【００７７】
これにより、動きベクトル検出処理は終了する。
【００７８】
このように、被験者に与える負荷を軽減するために、照射する光量を抑制して得られた複数の眼底画像に対して、球面モデルを用いた画像処理が施されることにより、１枚の高画質の眼底画像のデータが生成される。
【００７９】
本実施形態においては、処理対象の眼底画像から区分された処理対象ブロックと、比較対象の眼底画像から区分された比較対象ブロックとの類似度の演算として、一般的なブロックマッチングが用いられる。このような一般的なブロックマッチングを適用することで、処理の高速化が容易に実現可能になる。また、処理対象ブロック毎にブロックマッチングが行われることから、使用するメモリ量を抑制できる。
【００８０】
＜第２実施形態＞
ところで、第１実施形態の動きベクトル検出部３２においては、ブロックマッチングにより検出された処理対象ブロックにおける動きベクトルに対して、球面モデルが当てはめられた。しかしながら、球面モデルが適用される対象はこれに限定されない。例えば、ブロックマッチングを行う前の処理対象ブロックに対して球面モデルが当てはめられ、その後、ブロックマッチングが行われてもよい。
【００８１】
なお、第２実施形態の眼底画像処理装置の機能と構成は、図１の眼底画像処理装置１０と基本的に同様の機能と構成を有している。したがって、以下では、図１の眼底画像処理装置１０との一致点の説明は省略し、その差異点、すなわち図１の眼底画像処理装置１０の動きベクトル検出部３２とは異なる動きベクトル検出部７０のみを説明する。
【００８２】
[動きベクトル検出部７０の構成例と処理]
図６は、動きベクトル検出部７０の構成例を示すブロック図である。図７は、動きベクトル検出部７０の具体的な処理について説明する図である。
【００８３】
図６に示されるように、動きベクトル検出部７０は、局所球面動きベクトル検出部７１、球面モデル記憶部７２、及び眼底動きベクトル検出部７３を有する。
【００８４】
局所球面動きベクトル検出部７１は、図７に示されるように入力画像バッファ３１に入力画像のデータとしてそれぞれ保持されているｎ枚の眼底画像８１−１乃至８１−ｎの各データの中から、処理対象の眼底画像８１−ｉと、処理対象とは異なる比較対象の眼底画像８１−ｊとの各データを読み出す。ここで、ｎは、２以上の整数値であり、入力画像バッファ３１に保持されている入力画像の総数である。ｉは、１以上ｎ以下の整数値である。ｊは、１以上ｎ以下の整数値であって、ｉとは異なる整数値である。
【００８５】
局所球面動きベクトル検出部７１は、処理対象の眼底画像８１−ｉを、予め規定されたサイズの複数のブロックに区分し、これらの複数のブロックの各々を処理対象ブロック９１−ｉに順次設定する。
【００８６】
局所球面動きベクトル検出部７１は、処理対象ブロック９１−ｉを、図７に示されるように、球面モデル記憶部７２に記憶されている球面モデル９２に当てはめる。これにより、処理対象ブロック９１−ｉは、球面モデル９２上の所定のブロック９３−ｉに変換される。ここで、変換後のブロック９３−ｉを、以下、処理対象球面ブロック９３−ｉと称する。
【００８７】
局所球面動きベクトル検出部７１は、比較対象の眼底画像８１−ｊも同様に予め規定されたサイズの複数のブロックに区分し、これらの複数のブロックの各々を例えばラスター順に比較対象ブロック９１−ｊに設定する毎に、比較対象ブロック９１−ｊも球面モデル９２に当てはめる。これにより、比較対象ブロック９１−ｊは、球面モデル９２上の所定のブロック９３−ｊに変換される。ここで、変換後のブロック９３−ｊを、以下、比較対象球面ブロック９３−ｊと称する。
【００８８】
局所球面動きベクトル検出部７１は、処理対象球面ブロック９３−ｉと比較対象球面ブロック９３−ｊとの類似度を演算することを繰り返す。即ち、いわゆるブロックマッチングが行われる。
【００８９】
局所球面動きベクトル検出部７１は、処理対象球面ブロック９３−ｉと、それにマッチングした（すなわち、類似度が最も高い）比較対象球面ブロック９３−ｊとの位置関係に基づいて、処理対象球面ブロック９３−ｉにおける局所的な球面の動きを、球面動きベクトルｍｖｒとして検出する。
【００９０】
このような球面動きベクトルｍｖｒは、処理対象の眼底画像９１−ｉから区分された複数のブロックの各々について、上述の一連の処理が繰り返し実行されることで求められる。
【００９１】
眼底動きベクトル検出部７３は、処理対象の眼底画像９１−ｉについて、複数のブロックの各々の球面動きベクトルｍｖｒに基づいて、眼底全体の動きベクトル９５を検出する。眼底動きベクトル検出部７３は、処理対象の眼底画像９１−ｉにおける眼底全体の動きベクトル９５を動き補償部３３に供給する。
【００９２】
これにより、図１を参照して上述したように、動き補償部３３において、処理対象の眼底画像９１−ｉのデータに対して、眼底全体の動きベクトル９５を用いた動き補償が施される。
【００９３】
次に、このような構成の動きベクトル検出部７０を有する、第２実施形態の眼底装置１０の眼底画像生成処理について説明する。第２実施形態の眼底画像生成処理は、第１実施形態同様に図４のフローチャートに従った処理となる。ただし、第２実施形態におけるステップＳ１３の動きベクトル検出処理の内容が、第１実施形態における内容と異なる。そこで、以下、第２実施形態におけるステップＳ１３の動きベクトル検出処理について、図８を参照して説明する。
【００９４】
[動きベクトル検出処理の流れ]
図８は、動きベクトル検出処理の流れを説明するフローチャートである。
【００９５】
ステップＳ５１において、局所球面動きベクトル検出部７１は、入力画像バッファ３１から処理対象と比較対象の２枚の眼底画像のデータを読み出した２枚の眼底画像のデータの各々を複数のブロックに区分し、それぞれを球面モデルに当てはめて球面ブロックに変換する。
【００９６】
ステップＳ５２において、局所球面動きベクトル検出部７１は、処理対象の眼底画像から、処理対象球面ブロックを設定する。
【００９７】
ステップＳ５３において、局所球面動きベクトル検出部７１は、処理対象球面ブロックと比較対象球面ブロックとのブロックマッチングを行う。これにより、処理対象球面ブロックにおける球面動きベクトルが検出される。
【００９８】
ステップＳ５４において、動きベクトル検出部７０は、全てのブロックを処理したかを判定する。すなわち、動きベクトル検出部７０は、１枚の処理対象の眼底画像から区分されたすべてのブロックに対応する球面動きベクトルが検出されたかを判定する。
【００９９】
まだすべてのブロックを処理していない場合、ステップＳ５４においてＮＯであると判定されて処理はステップＳ５２に戻され、それ以降の処理が繰り返される。すなわち、すべてのブロックを処理するまでの間、ステップＳ５２乃至ステップＳ５４のループ処理が繰り返される。
【０１００】
その後、すべてのブロックを処理した場合、ステップＳ５４においてＹＥＳであると判定されて、処理はステップＳ５５に進む。
【０１０１】
ステップＳ５５において、眼底動きベクトル検出部７３は、処理対象の眼底画像について、複数のブロックの各々の球面動きベクトルに基づいて、眼底全体の動きベクトルを検出する。
【０１０２】
これにより、動きベクトル検出処理は終了する。
【０１０３】
本実施形態においては、処理対象の眼底画像から区分された処理対象ブロックと比較対象の眼底画像から区分された比較対象ブロックとが、それぞれ球面モデルに当てはめられた後に、ブロックマッチングが行われる。したがって、処理対象の眼底画像と比較対象の眼底画像との類似度の演算において、球面モデル上のブロックが用いられるので、略球面体である眼底全体の動きベクトルが精度良く検出される。撮像された眼底画像に対して、当該動きベクトルを用いた画像処理が施されるので、第１実施形態と比較してより精度の高い高画質な眼底画像が生成される。
【０１０４】
＜第３実施形態＞
ところで、第１，第２実施形態の動きベクトル検出部３２，７０においては、処理対象画像から区分された処理対象ブロックに対して、球面モデルが当てはめられた。しかしながら、球面モデルが適用される対象はこれに限定されない。例えば、眼底画像全体に対して球面モデルが当てはめられ、その後マッチングが行われてもよい。
【０１０５】
なお、第３実施形態の眼底画像処理装置の機能と構成は、図１の眼底画像処理装置１０と基本的に同様の機能と構成を有している。したがって、以下では、図１の眼底画像処理装置１０との一致点の説明は省略し、その差異点、すなわち図１の眼底画像処理装置１０の動きベクトル検出部３２とは異なる動きベクトル検出部１００のみを説明する。
【０１０６】
[動きベクトル検出部１００の構成例と処理]
図９は、動きベクトル検出部１００の構成例を示すブロック図である。図１０は、動きベクトル検出部１００の具体的な処理について説明する図である。
【０１０７】
図９に示されるように、動きベクトル検出部１００は、眼底球面変換部１０１、球面モデル記憶部１０２、及び眼底動きベクトル検出部１０３を有する。
【０１０８】
眼底球面変換部１０１は、図１０に示されるように入力画像バッファ３１に入力画像のデータとしてそれぞれ保持されているｎ枚の眼底画像１１１−１乃至１１１−ｎの各データの中から、処理対象の眼底画像１１１−ｉと、処理対象とは異なる比較対象の眼底画像１１１−ｊとの各データを読み出す。ここで、ｎは、２以上の整数値であり、入力画像バッファ３１に保持されている入力画像の総数である。ｉは、１以上ｎ−１以下の整数値である。ｊは、１以上ｎ以下の整数値であって、ｉとは異なる整数値である。例えば、本実施形態では、ｊ＝ｉ＋１が設定される。
【０１０９】
眼底球面変換部１０１は、処理対象の眼底画像１１１−ｉの全体を、図１０に示されるように、球面モデル記憶部１０２に記憶されている球面モデルに当てはめる。これにより、処理対象の眼底画像１１１−ｉは、球面モデル上の眼底画像１１２ｉに変換される。ここで、変換後の眼底画像１１２ｉを、以下、処理対象球面眼底画像１１２ｉと称する。
【０１１０】
眼底球面変換部１０１は、比較対象の眼底画像１１１−ｊも同様に球面モデル記憶部１０２に記憶されている球面モデルに当てはめる。これにより、比較対象の眼底画像１１１−ｊは、球面モデル上の眼底画像１１３ｊに変換される。ここで、変換後の眼底画像１１３ｊを、以下、比較対象球面眼底画像１１３ｊと称する。
【０１１１】
眼底動きベクトル検出部１０３は、処理対象球面眼底画像１１２ｉと比較対象球面眼底画像１１３ｊとを回転させながら、類似度を演算することを繰り返す。即ち、球体全体でのマッチングが行われる。ここで、処理対象球面眼底画像１１２ｉと比較対象球面眼底画像１１３ｊとのマッチングの手法は特に限定されない。
【０１１２】
眼底動きベクトル検出部１０３は、処理対象球面眼底画像１１２ｉと、それにマッチングした（類似度が最も高い）比較対象球面眼底画像１１３ｊとの位置関係に基づいて、眼底全体の動きベクトル１１４を検出する。眼底動きベクトル検出部１０３は、処理対象球面眼底画像１１２ｉにおける眼底全体の動きベクトル１１４を動き補償部３３に供給する。
【０１１３】
これにより、図１を参照して上述したように、動き補償部３３において、処理対象の眼底画像１１１−ｉのデータに対して、眼底全体の動きベクトル１１４を用いた動き補償が施される。
【０１１４】
次に、このような構成の動きベクトル検出部１００を有する、第３実施形態の眼底装置１０の眼底画像生成処理について説明する。第３実施形態の眼底画像生成処理は、第１実施形態同様に図４のフローチャートに従った処理となる。ただし、第３実施形態におけるステップＳ１３の動きベクトル検出処理の内容が、第１実施形態における内容と異なる。そこで、以下、第３実施形態におけるステップＳ１３の動きベクトル検出処理について、図１１を参照して説明する。
【０１１５】
[動きベクトル検出処理の流れ]
図１１は、動きベクトル検出処理の流れを説明するフローチャートである。
【０１１６】
ステップＳ７１において、眼底球面変換部１０１は、入力画像バッファ３１から処理対象と比較対象の２枚の眼底画像のデータを読み出す。
【０１１７】
ステップＳ７２において、眼底球面変換部１０１は、ステップＳ７１で読み出した処理対象の眼底画像全体と比較対象の眼底画像全体とを、球面モデル記憶部１０２に記憶されている球面モデルに当てはめて、それぞれを球面眼底画像に変換する。
【０１１８】
ステップＳ７３において、眼底動きベクトル検出部１０３は、変換した処理対象の球面眼底画像と比較対象の球面眼底画像との間でマッチングを行い、眼底全体の動きベクトルを検出する。
【０１１９】
これにより、動きベクトル検出処理は終了する。
【０１２０】
本実施形態においては、処理対象の眼底画像全体と比較対象の眼底画像全体とが、それぞれ球面モデルに当てはめられた後に、マッチングが行われる。したがって、処理対象の眼底画像と比較対象の眼底画像との類似度の演算において、球面モデル上の眼底画像全体が用いられるので、略球面体である眼底全体の動きベクトルが精度よく検出される。撮像された眼底画像に対して、当該動きベクトルを用いた画像処理が施されるので、第２実施形態と比較してより精度の高い高画質な眼底画像が生成される。
【０１２１】
＜第４実施形態＞
ところで、第１乃至第３実施形態の眼底画像処理装置１０においては、処理対象の眼底画像と比較対象の眼底画像とのマッチングにより、眼底全体の動きベクトルが検出された。しかしながら、眼底画像は、基本的に画像全体が略均一な色により構成されることが多く、また、照射光の光量が落とされているので、眼底画像は比較的暗い画像となる傾向にある。さらに、撮像部２１による複数回の撮像は比較的短時間に、極力同条件下で行われるので、複数の眼底画像間の動き量は比較的小さい傾向にある。また、動きがある場合も、眼底画像の一部の領域が他の領域に比べて極端に大きく動くことは稀であり、略全体が略均一に動く傾向にある。したがって、動きベクトルの検出が困難になるおそれもある。そこで、動きベクトルの検出を行う代わりに、眼底画像全体について、被写体の生体情報を用いて眼底画像の位置合わせが行われるようにしてもよい。
【０１２２】
本実施形態においては、眼底画像の位置合わせに用いられる被写体の生体情報としては、例えば、血管の形状の情報が用いられる。なお、被写体の生体情報は、これに限定されず、任意の情報であってもよい。例えば、被写体の生体情報としては、神経、神経乳頭等の形状の情報が採用されてもよく、また、組織や細胞が被写体とされる場合には、細胞やその核の形状等の情報が被写体の生体情報として採用されてもよい。また、複数種類の生体情報（例えば血管と視神経乳頭等）が組み合わされて採用されてもよい。
【０１２３】
[眼底画像処理装置の構成例と処理]
図１２は、眼底画像処理装置２００の構成例を示すブロック図である。
【０１２４】
図１２に示される眼底画像処理装置２００は、図１の眼底画像処理装置１０と基本的に同様の機能と構成を有している。したがって、以下では、図１の眼底画像処理装置１０との一致点の説明は省略し、その差異点、すなわち図１の眼底画像処理装置１０の画像処理部２２とは異なる画像処理部２１２のみを説明する。
【０１２５】
画像処理部２１２は、入力画像バッファ２２１、眼底球面変換部２２２、球面モデル記憶部２２３、特徴抽出部２２４、位置合わせ部２２５、合成部２２６、及び超解像処理部２２７を有する。
【０１２６】
入力画像バッファ２２１は、図１の入力画像バッファ３１と基本的に同様の機能と構成を有している。入力画像バッファ２２１は、撮像部２１から順次供給される低画質な眼底画像のデータを、入力画像のデータの各々として保持する。各入力画像のデータは、所定のタイミングで入力画像バッファ２２１から読み出されて、眼底球面変換部２２２に供給される。
【０１２７】
眼底球面変換部２２２は、図９の眼底球面変換部１０１と基本的に同様の機能と構成を有している。眼底球面変換部２２２は、入力画像バッファ２２１に入力画像のデータとしてそれぞれ保持されている複数の眼底画像の各データの中から、処理対象の眼底画像と、処理対象とは異なる比較対象の眼底画像との各データを読み出す。そして、眼底球面変換部２２２は、処理対象の眼底画像と比較対象の眼底画像とを、球面モデル記憶部２２３に記憶されている球面モデルに当てはめる。これにより、処理対象の眼底画像と比較対象の眼底画像とは、球面モデル上の眼底画像に変換される。ここで、変換後の処理対象の眼底画像を、以下、処理対象球面眼底画像と称する。また、変換後の比較対象の眼底画像を、以下、比較対象球面眼底画像と称する。眼底球面変換部２２２は、処理対象球面眼底画像と比較対象球面眼底画像とを、特徴抽出部２２４に供給する。
【０１２８】
特徴抽出部２２４は、血管抽出部２３１及び交叉点抽出部２３３を有する。また、位置合わせ部２２５は、血管位置合わせ処理部２３２及び交叉点位置合わせ処理部２３４を有する。特徴抽出部２２４と位置合わせ部２２５の具体的な処理について、図１３を参照しながら説明する。
【０１２９】
血管抽出部２３１は、図１３に示されるように、眼底球面変換部２２２から供給された処理対象球面眼底画像２５１と比較対象球面眼底画像２５２のそれぞれから、血管の形状や位置等の特徴を抽出する（処理２６１，２６２）。このとき、血管抽出部２３１は、”血管特徴を用いた眼底画像合成法”，田邊 勝義，壷内 鉄郎，奥田 英範，奥 雅博，2007に記載の方法のように、RGB成分のR成分を使って、処理対象球面眼底画像２５１と比較対象球面眼底画像２５２のそれぞれから血管を抽出する。血管抽出部２３１は、処理対象球面眼底画像２５１と比較対象球面眼底画像２５２から抽出した血管の形状や位置等の特徴を、それぞれの血管抽出結果として血管位置合わせ処理部２３２に供給する。
【０１３０】
血管位置合わせ処理部２３２は、図１３に示されるように、血管抽出部２３１から供給された処理対象球面眼底画像２５１と比較対象球面眼底画像２５２のそれぞれの血管抽出結果を用いて、処理対象球面眼底画像２５１と比較対象球面眼底画像２５２との間で、血管位置合わせ処理（処理２６６）を行う。
【０１３１】
血管位置合わせ処理部２３２は、血管位置合わせ処理が施された処理対象球面眼底画像２５３を、合成部２２６に供給する。なお、血管位置合わせ処理部２３２の詳細な構成と処理については、図１４，図１５を用いて後述する。
【０１３２】
さらに、血管抽出結果による血管位置合わせ処理（処理２６６）が行われる前に、血管の交叉点の位置による簡易的な位置合わせが行われるようにしてもよい。なお、血管の交叉点とは、眼底画像において血管が交わる（実際にはねじれの位置である場合も含む）部分や、分岐する部分である。
【０１３３】
その場合、血管抽出部２３１は、図１３に示されるように、処理２６１により得られる、処理対象球面眼底画像２５１の血管抽出結果を、交叉点抽出部２３３に供給する。また、血管抽出部２３１は、図１３に示されるように、処理２６２により得られる、比較対象球面眼底画像２５２の血管抽出結果を、交叉点抽出部２３３に供給する。
【０１３４】
交叉点抽出部２３３は、図１３に示されるように、血管抽出部２３１から供給される処理対象球面眼底画像２５１の血管抽出結果を用いて交叉点を抽出する（処理２６３）。また、交叉点抽出部２３３は、血管抽出部２３１から供給される比較対象球面眼底画像２５２の血管抽出結果を用いて交叉点を抽出する（処理２６４）。交叉点抽出部２３３は、処理対象球面眼底画像２５１と比較対象球面眼底画像２５２のそれぞれから抽出した交叉点の位置を交叉点抽出結果として交叉点位置合わせ処理部２３４に供給する。
【０１３５】
交叉点位置合わせ処理部２３４は、図１３に示されるように、交叉点抽出部２３３から供給された処理対象球面眼底画像２５１と比較対象球面眼底画像２５２のそれぞれの交叉点抽出結果を用いて、処理対象球面眼底画像２５１と比較対象球面眼底画像２５２との間で交叉点位置合わせ処理（処理２６５）を行う。交叉点位置合わせ処理部２３４は、交叉点位置合わせ処理の結果を、交叉点位置合わせ結果として、血管位置合わせ処理部２３２に供給する。
【０１３６】
血管位置合わせ処理部２３２は、交叉点位置合わせ処理部２３４から供給された交叉点位置合わせ結果を初期状態の球面眼底画像として、さらに、初期状態の球面眼底画像に対して血管抽出結果を用いた血管位置合わせ処理（処理２６６）を行う。すなわち、交叉点位置合わせ結果にしたがって、交叉点の位置合わせと同様に位置合わせを行いながら各血管抽出結果を重畳し、それを初期状態とする。
【０１３７】
このように、血管位置合わせ処理部２３２は、交叉点を用いて簡易的に位置合わせされた球面眼底画像に対して、さらに血管抽出結果を用いた位置合わせを施すことができるので、より容易かつ高速に位置合わせを行うことができる。
【０１３８】
なお、さらに他の生体情報を用いた位置合わせを併用するようにしてもよい。例えば、最初に、視神経乳頭の位置で位置合わせを行いながら、処理対象球面眼底画像２５１と比較対象球面眼底画像２５２とが重畳された球面眼底画像を初期状態の球面眼底画像として、さらに、初期状態の球面眼底画像に対して交叉点による位置合わせを行うようにしてもよい。
【０１３９】
合成部２２６は、血管位置合わせ処理部２３２から複数の位置合わせされた球面眼底画像のデータの全てが供給されると、これらの複数の球面眼底画像の各データを合成することによって、１枚の眼底画像のデータを生成し、超解像処理部２２７に供給する。
【０１４０】
超解像処理部２２７は、合成部２２６による合成後の眼底画像のデータに超解像処理を施すことにより、合成時点よりもさらに高解像度の眼底画像のデータを生成する。このようにして超解像処理部２２７により生成された、高解像度の眼底画像のデータは、記憶部２３に記録されたり、出力部２４から出力される。
【０１４１】
次に、血管位置合わせ処理部２３２の詳細な構成と処理について説明する。
【０１４２】
[血管位置合わせ処理部の構成例と処理]
図１４は、血管位置合わせ処理部２３２の構成例を示す図である。図１５は、血管位置合わせ処理部２３２の具体的な処理について説明する図である。
【０１４３】
図１４に示されるように、血管位置合わせ処理部２３２は、重畳処理部２７１、シフト処理部２７２、伸ばし処理部２７３、回転処理部２７４、拡大縮小処理部２７５、収束判定部２７６、及び調整部２７７を有する。
【０１４４】
重畳処理部２７１は、血管抽出部２３１から供給される、処理対象球面眼底画像２５１と比較対象球面眼底画像２５２のそれぞれの血管抽出結果を重畳する。交叉点による位置合わせが行われる場合、重畳処理部２７１は、交叉点位置合わせ処理部２３４から供給される交叉点位置合わせ結果を用いて、交叉点の位置合わせと同様の位置合わせを行いながら、各血管抽出結果を重畳する。重畳処理部２７１は、重畳結果をシフト処理部２７２に供給する。なお、血管位置合わせ処理部２３２は、血管抽出結果２９２を血管抽出結果２９１に近づけるように位置合わせが行われる。
【０１４５】
シフト処理部２７２は、図１５に示されるように、縦方向や横方向等任意の方向に、血管抽出結果２９２全体を移動（シフト）させる縦横シフト２８１を行い、血管抽出結果２９２が血管抽出結果２９１に最も近づいた状態で、重畳結果を伸ばし処理部２７３に供給する。血管抽出結果２９１と血管抽出結果２９２とがどれくらい近づいたかの判定方法は任意であるが、例えば、両画像の絶対値差分により判定する。つまり、シフト処理部２７２は、血管抽出結果２９２全体を移動（シフト）させ、血管抽出結果２９１と血管抽出結果２９２との絶対値差分が最小となる位置を検索する。この判定方法は以下の処理部においても同様である。
【０１４６】
伸ばし処理部２７３は、図１５に示されるように、縦方向や横方向等任意の方向に、血管抽出結果２９１を伸ばす（変形させる）縦横伸ばし２８２を行い、血管抽出結果２９２が血管抽出結果２９１に最も近づいた状態で、重畳結果を回転処理部２７４に供給する。例えば、伸ばし処理部２７３は、血管抽出結果２９２を任意の方向に伸ばし（変形させ）、血管抽出結果２９１と血管抽出結果２９２との絶対値差分が最小となる形状を検索する。
【０１４７】
回転処理部２７４は、図１５に示されるように、血管抽出結果２９２を左右に回転させる回転２８３を行い、血管抽出結果２９２が血管抽出結果２９１に最も近づいた状態で、重畳結果を拡大縮小処理部２７５に供給する。例えば、回転処理部２７４は、血管抽出結果２９２を左右に回転させ、血管抽出結果２９１と血管抽出結果２９２との絶対値差分が最小となる向きを検索する。
【０１４８】
拡大縮小処理部２７５は、図１５に示されるように、血管抽出結果２９２を拡大したり縮小したりする拡大縮小２８４を行い、血管抽出結果２９２が血管抽出結果２９２に最も近づいた状態で、重畳結果を収束判定部２７６に供給する。例えば、回転処理部２７４は、血管抽出結果２９２を拡大したり縮小したりし、血管抽出結果２９１と血管抽出結果２９２との絶対値差分が最小となる大きさを検索する。
【０１４９】
収束判定部２７６は、供給された重畳結果に基づいて、位置合わせが収束したか否かを判定する。例えば、収束判定部２７６は、上述した各処理を複数回繰り返し行わせ、今回得られた位置合わせ結果を、前回の位置合わせ結果と比較し、前回より血管抽出結果２９２が血管抽出結果２９１に近づいた場合、収束していないと判定し、前回より血管抽出結果２９２が血管抽出結果２９１に近づいていない場合（例えば、血管抽出結果２９１と血管抽出結果２９２との絶対値差分が前回より小さくならない場合）、収束したと判定する。
【０１５０】
収束していないと判定した場合（例えば、血管抽出結果２９１と血管抽出結果２９２との絶対値差分が前回より小さくなる場合）、収束判定部２７６は、その重畳結果をシフト処理部２７２に戻し、再度、位置合わせを行わせる。
【０１５１】
位置合わせが収束したと判定した場合、調整部２７７は、前回までの累積的な収束結果に基づいて、位置合わせの調整を行う。例えば、５回の連続的な撮影により時間的に若い順から第１乃至第５の眼底画像が得られたとする。この場合、第５の眼底画像が処理対象とされた場合、比較対象は第４の眼底画像となる。ここで、収束結果とは、第５の眼底画像を第４の眼底画像に近づけるように位置合わせをした結果である。つまり、収束した段階では、第５の眼底画像は、第４の眼底に近づいているに過ぎない。しかしながら、後述する合成部２６６では、第５の眼底画像を第１の眼底画像に近づけたもの（位置合わせしたもの）が合成対象になる。したがって、収束直後の第４の眼底画像に近づけたもの（位置合わせしたもの）を、さらに第１の眼底画像に近づける（位置合わせの調整をする）必要がある。
【０１５２】
第４の眼底画像を第１の眼底画像に近づける（位置合わせの調整をする）ためには、前回までの累積的な収束結果を用いる必要がある。具体的には、第４の眼底画像を第３の眼底画像に近づける収束結果（１回前の収束結果）、第４の眼底画像を第３の眼底画像に近づける収束結果（２回前の収束結果）、第３の眼底画像を第２の眼底画像に近づける収束結果（３回前の収束結果）、及び第２の眼底画像を第１の眼底画像に近づける収束結果（４回前の収束結果）を累積的に用いて、第１の眼底画像に近づける位置合わせの調整が行われる。なお、位置合わせ調整の順序はこれに限定されず、これとは逆に、複数の眼底画像を第５の眼底画像に近づける位置合わせの調整が行われてもよい。調整部２７７は、位置合わせされた処理対象球面眼底画像２９３を合成部２２６に供給する。
【０１５３】
なお、以上においては、位置合わせの具体例として、縦横シフト２８１、縦横伸ばし２８２、回転２８３、および拡大縮小２８４の４つの処理をこの順に行うように説明したが、これに限らず、上述した処理以外の処理をさらに行うようにしてもよいし、上述した処理の一部を省略するようにしてもよい。また、上述したように処理を複数行う場合、各処理の実行順は任意である。
【０１５４】
また、特徴抽出部２２４と位置合わせ部２２５は、例えば、“Shape Matching and Object Recognition Using Shape Contexts”，Serge Belongie, Jitendra Malik, Jan Puzicha, 2002に記載されているような、エッジ部分のヒストグラムを使った位置合わせを行うようにしてもよい。
【０１５５】
さらに、収束したか否かの判定方法は、任意であり、上述した以外の方法であってもよい。例えば、血管抽出結果２９１と血管抽出結果２９２との絶対値差分が所定の閾値以下になる場合、収束したと判定されるようにしてもよい。
【０１５６】
なお、血管の交叉点による位置合わせも、この血管全体による位置合わせと基本的に同様に行われる。つまり、交叉点位置合わせ処理部２３４は、血管位置合わせ処理部２３２と基本的に同様の構成を有し、位置合わせに用いる生体情報が血管全体の形状か、その交叉点かの違い以外は、基本的に同様の処理を行う。
【０１５７】
以上のように、眼底画像処理装置２００は、眼底画像は生体の画像であるので、その画像の特徴を活かし、眼底画像に含まれる生体情報を用いて画像全体で位置合わせを行う。このようにすることにより、眼底画像処理装置２００は、より容易かつ正確な位置合わせを実現することができる。
【０１５８】
以上、図１２乃至図１５を参照して、眼底画像処理装置２００の構成について説明した。次に、このような構成の眼底画像処理装置２００が実行する眼底画像生成処理について図１６を用いて説明する。
【０１５９】
[眼底画像生成処理の流れ]
図１６は、眼底画像生成処理の流れについて説明するフローチャートである。
【０１６０】
ステップＳ９１において、撮像部２１は、光量を落として複数回、被験者の眼底を撮像する。なお、上述したように、撮像部２１による眼底の撮像は、静止画を得るための複数回の撮像であっても、動画を得るための１回の撮像であってもよい。
【０１６１】
ステップＳ９２において、画像処理部２１２は、ステップＳ９１の処理により得られた複数の低画質な眼底画像のデータを入力画像バッファ２２１に記憶させる。
【０１６２】
ステップＳ９３において、眼底球面変換部２２２は、入力画像バッファ２２１から処理対象と比較対象との２枚の眼底画像のデータを読み出す。
【０１６３】
ステップＳ９４において、眼底球面変換部２２２は、ステップＳ９３で読み出した処理対象の眼底画像全体と比較対象の眼底画像全体とを、それぞれ球面モデル記憶部２２３に記憶されている球面モデルに当てはめて、処理対象球面眼底画像と比較対象球面眼底画像に変換する。
【０１６４】
ステップＳ９５において、血管抽出部２３１は、処理対象球面眼底画像から血管の形状や位置を抽出する。抽出された血管の形状や位置は、血管抽出結果として血管位置合わせ処理部２３２に供給される。
【０１６５】
ステップＳ９６において、血管抽出部２３１は、比較対象球面眼底画像から血管の形状や位置を抽出する。抽出された血管の形状や位置は、血管抽出結果として血管位置合わせ処理部２３２に供給される。
【０１６６】
ステップＳ９７において、特徴抽出部２２４は、交叉点の位置合わせを行うかを判定する。
【０１６７】
交叉点の位置合わせを行わない場合、ステップＳ９７においてＮＯであると判定されて、処理はステップＳ１０１に進む。なお、ステップＳ１０１以降の処理については後述する。
【０１６８】
これに対して、交叉点の位置合わせを行う場合、ステップＳ９７においてＹＥＳであると判定されて、処理はステップＳ９８に進む。この場合、血管抽出部２３１は、ステップＳ９５，Ｓ９６で抽出された血管抽出結果を交叉点抽出部２３３に供給する。
【０１６９】
ステップＳ９８において、交叉点抽出部２３３は、処理対象球面眼底画像の血管抽出結果を用いて交叉点を抽出する。抽出された交叉点の位置は、交叉点抽出結果として交叉点位置合わせ処理部２３４に供給される。
【０１７０】
ステップＳ９９において、交叉点抽出部２３３は、比較対象球面眼底画像の血管抽出結果を用いて交叉点を抽出する。抽出された交叉点の位置は、交叉点抽出結果として交叉点位置合わせ処理部２３４に供給される。
【０１７１】
ステップＳ１００において、交叉点位置合わせ処理部２３４は、ステップＳ９８及びステップＳ９９で供給された交叉点抽出結果を用いて、処理対象球面眼底画像２５１と比較対象球面眼底画像２５２との間で交叉点位置合わせ処理を実行する。
【０１７２】
なお、ステップＳ１００において実行される交叉点位置合わせ処理は、血管全体の代わりに血管の交叉点を位置合わせに利用すること以外、図１７を参照して後述する血管位置合わせ処理と同様に実行される。したがって、その説明は繰り返しになるので省略する。
【０１７３】
ステップＳ１０１において、血管位置合わせ処理部２３２は、血管位置合わせ処理を実行する。すなわち、血管位置合わせ処理部２３２は、交叉点を用いて簡易的に位置合わせされた球面眼底画像に対して、さらに血管抽出結果を用いた血管位置合わせを施す。ステップＳ１０１の血管位置合わせ処理の詳細については、図１７を参照して後述する。
【０１７４】
ステップＳ１０２において、画像処理部２１２は、すべての眼底画像のデータが処理対象に設定されたかを判定する。
【０１７５】
まだすべての眼底画像のデータが処理対象に設定されていない場合、ステップＳ１０２においてＮＯであると判定されて、処理はステップＳ９３に戻され、それ以降の処理が繰り返される。すなわち、すべての眼底画像のデータが処理対象に設定されるまでの間、ステップＳ９３乃至ステップＳ１０２のループ処理が繰り返される。
【０１７６】
その後、すべての眼底画像のデータが処理対象に設定された場合、ステップＳ１０２においてＹＥＳであると判定されて、処理はステップＳ１０３に進む。
【０１７７】
ステップＳ１０３において、合成部２２６は、位置合わせされた複数の球面眼底画像のデータを合成する。これにより、１枚の眼底画像のデータが生成される。
【０１７８】
ステップＳ１０４において、超解像処理部２２７は、合成後の眼底画像のデータに超解像度処理を施す。これにより、ステップＳ１０３の合成時点よりもさらに高解像度の眼底画像のデータが生成される。
【０１７９】
ステップＳ１０５において、画像処理部２１２は、超解像度処理が施された眼底画像のデータを、記憶部２３に記憶させたり、出力部２４から出力させたりする。
【０１８０】
これにより、眼底画像生成処理は終了する。次に、ステップＳ１０１の血管位置合わせ処理について説明する。
【０１８１】
[血管位置合わせ処理の流れ]
図１７は、図１６のステップＳ１０１の血管位置合わせ処理の流れを説明するフローチャートである。
【０１８２】
ステップＳ１１１において、重畳処理部２７１は、交叉点位置合わせが行われたかを判定する。
【０１８３】
交叉点位置合わせが行われた場合、ステップＳ１１１においてＹＥＳであると判定されて、処理はステップ１１２に進む。
【０１８４】
ステップＳ１１２において、重畳処理部２７１は、交叉点位置合わせ結果を重畳結果とし、その重畳結果に従って、血管抽出部２３１から供給された処理対象球面眼底画像と比較対象球面眼底画像のそれぞれの血管抽出結果を重畳する。
【０１８５】
これに対して、交叉点位置合わせが行われなかった場合、ステップＳ１１１においてＮＯであると判定されて、処理はステップ１１３に進む。
【０１８６】
ステップＳ１１３において、重畳処理部２７１は、処理対象球面眼底画像と比較対象球面眼底画像のそれぞれの血管抽出結果を重畳する。
【０１８７】
ステップＳ１１４において、シフト処理部２７２は、処理対象球面眼底画像の血管抽出結果をシフトするシフト位置合わせを行う。
【０１８８】
ステップＳ１１５において、伸ばし処理部２７３は、処理対象球面眼底画像の血管抽出結果を伸縮させる伸ばし位置合わせを行う。
【０１８９】
ステップＳ１１６において、回転処理部２７４は、処理対象球面眼底画像の血管抽出結果を回転させる回転位置合わせを行う。
【０１９０】
ステップＳ１１７において、拡大縮小処理部２７５は、処理対象球面眼底画像の血管抽出結果を拡大したり縮小したりする拡大縮小位置合わせを行う。
【０１９１】
ステップＳ１１８において、収束判定部２７６は、位置合わせが収束したかを判定する。
【０１９２】
位置合わせが収束していない場合、ステップＳ１１８においてＮＯであると判定されて、処理はステップＳ１１４に戻され、それ以降の処理が繰り返される。すなわち、位置合わせが収束するまでの間、ステップＳ１１４乃至Ｓ１１８のループ処理が繰り返される。
【０１９３】
その後、位置合わせが収束した場合、ステップＳ１１８においてＹＥＳであると判定されて、処理はステップＳ１１９に進む。
【０１９４】
ステップＳ１１９において、調整部２７７は、前回までの累積的な収束結果に基づいて、位置合わせの調整を行う。その結果、位置合わせされた処理対象球面眼底画像は合成部２２６に出力される。
【０１９５】
これにより、血管位置合わせ処理が終了し、処理は図１６のステップＳ１０２に進む。
【０１９６】
このように、被写体の生体情報を用いた眼底画像の位置合わせが行われることにより、動きベクトルの検出が困難な状況であっても、被験者に与える負荷を軽減しながら、より高画質な眼底画像を得ることができる。
【０１９７】
なお、上述の例で用いられる球面モデルは、被験者の眼軸長、視力等の条件に合わせて、被験者毎に適切な球面モデルに切り替えられてもよい。
【０１９８】
また、眼底は完全な球面ではないため、球面モデルを適用して球面に近似できないような領域は、マッチング処理や位置合わせ処理に用いられないようにマスク処理を施すこともできる。
【０１９９】
[本技術のプログラムへの適用]
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
【０２００】
この場合、上述した画像処理装置の少なくとも一部として、例えば、図１８に示されるパーソナルコンピュータを採用してもよい。
【０２０１】
図１８において、CPU３０１は、ROM３０２に記録されているプログラムに従って各種の処理を実行する。または記憶部３０８からRAM３０３にロードされたプログラムに従って各種の処理を実行する。RAM３０３にはまた、CPU３０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０２０２】
CPU３０１、ROM３０２、及びRAM３０３は、バス３０４を介して相互に接続されている。このバス３０４にはまた、入出力インタフェース３０５も接続されている。
【０２０３】
入出力インタフェース３０５には、キーボード、マウスなどよりなる入力部３０６、ディスプレイなどよりなる出力部３０７が接続されている。また、ハードディスクなどより構成される記憶部３０８、及び、モデム、ターミナルアダプタなどより構成される通信部３０９が接続されている。通信部３０９は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。
【０２０４】
入出力インタフェース３０５にはまた、必要に応じてドライブ３１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどよりなるリムーバブルメディア３１１が適宜装着される。そして、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部３０８にインストールされる。
【０２０５】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【０２０６】
このようなプログラムを含む記録媒体は、図１８に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フロッピディスクを含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア（パッケージメディア）３１１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM３０２や、記憶部３０８に含まれるハードディスクなどで構成される。
【０２０７】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０２０８】
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０２０９】
なお、本技術は、以下のような構成もとることができる。
（１）
略球面の被写体を含む複数の撮像画像のうち、処理対象の１枚と、比較対象の他の１枚とについての、前記被写体についての比較を、前記複数の撮像画像の各々を処理対象として実行し、前記処理対象についての３次元球面モデル全体についての動きベクトルを検出する動きベクトル検出部と、
前記複数の撮像画像の各々の前記動きベクトル検出部により検出された前記動きベクトルに基づいて、前記処理対象に動き補償を施す動き補償部と、
前記動き補償部による動き補償が施された結果得られる前記撮像画像の各々を合成する合成部と
を備える画像処理装置。
（２）
前記動きベクトル検出部は、
前記処理対象から区分された複数のブロックの各々について、前記比較対象との間でブロックマッチングを行うことによって局所的な動きベクトルを検出し、
前記複数のブロック毎の前記局所的な動きベクトルを用いて、前記処理対象についての前記３次元球面モデル全体についての動きベクトルを検出する
前記（１）に記載の画像処理装置。
（３）
前記動きベクトル検出部は、
前記処理対象における前記複数のブロックの各々についての前記局所的な動きベクトルを、前記３次元球面モデルにおける局所的な球面動きベクトルに変換し、
前記複数のブロック毎の前記局所的な球面動きベクトルを用いて、前記処理対象についての前記３次元球面モデル全体についての動きベクトルを検出する
前記（１）または（２）に記載の画像処理装置。
（４）
前記動きベクトル検出部は、
前記処理対象における前記複数のブロックの各々を、前記３次元球面モデルにおける複数の球面ブロックに変換し、
前記複数の球面ブロックの各々について、前記比較対象との間でブロックマッチングを行うことによって、前記局所的な動きベクトルとして局所的な球面動きベクトルを検出し、
前記複数の球面ブロック毎の前記局所的な球面動きベクトルを用いて、前記処理対象についての前記３次元球面モデル全体についての動きベクトルを検出する
前記（１）、（２）、または（３）に記載の画像処理装置。
（５）
前記動きベクトル検出部は、
前記処理対象と前記比較対象とのそれぞれを前記３次元球面モデルにおける球面画像に変換し、
前記処理対象の球面画像と前記比較対象の球面画像との間でマッチングを行うことによって、前記処理対象についての前記３次元球面モデル全体についての動きベクトルを検出する
前記（１）乃至（４）のいずれかに記載の画像処理装置。
（６）
前記被写体は眼底である
前記（１）乃至（５）のいずれかに記載の画像処理装置。
（７）
前記３次元球面モデルは、前記被写体が有する条件により切り替えられて用いられる
前記（１）乃至（６）のいずれかに記載の画像処理装置。
（８）
略球面の被写体を含む複数の撮像画像のうち、処理対象の１枚と、比較対象の他の１枚の、３次元球面モデルにおける球面画像への変換を、前記複数の撮像画像の各々を処理対象として実行する変換部と、
前記処理対象の球面画像と前記比較対象の球面画像の各々の特徴を抽出する抽出部と、
前記特徴同士が一致するように前記特徴の位置を合わせる位置合わせ部と、
前記位置合わせ部により位置合わせがされた結果得られる前記撮像画像の各々を合成する合成部と
を備える画像処理装置。
（９）
前記特徴として血管の形状が用いられる
前記（８）に記載の画像処理装置。
（１０）
前記被写体は眼底である
前記（８）または（９）に記載の画像処理装置。
（１１）
前記３次元球面モデルは、前記被写体が有する条件により切り替えられて用いられる
前記（８）、（９）、または（１０）に記載の画像処理装置。
【０２１０】
本技術は、画像処理装置に適用することができる。
【符号の説明】
【０２１１】
１０ 眼底画像処理装置， ２１ 撮像部， ２２ 画像処理部， ２３ 記憶部， ２４ 出力部， ３１ 入力画像バッファ３１， ３２ 動きベクトル検出部， ３３ 動き補償部， ３４ 合成部， ３５ 超解像処理部， ４１ ，局所動きベクトル検出部， ４２ 球面動きベクトル変換部， ４３ 球面モデル記憶部， ４４ 眼底動きベクトル検出部， ６３ 球面モデル， ７０ 動きベクトル検出部， ７１ 局所球面動きベクトル検出部， ７２ 球面モデル記憶部， ７３ 眼底動きベクトル検出部， １００ 動きベクトル検出部， １０１ 眼底球面変換部， １０２ 球面モデル記憶部， １０３ 眼底動きベクトル検出部， ２２４ 特徴抽出部， ２２５ 位置合わせ部， ２３１ 血管抽出部， ２３２ 血管位置合わせ処理部， ２３３ 交叉点抽出部， ２３４ 交叉点位置合わせ処理部２３４， ２７１ 重畳処理部， ２７２ シフト処理部， ２７３ 伸ばし処理部， ２７４ 回転処理部， ２７５ 拡大縮小処理部， ２７６ 収束判定部， ２７７ 調整部
【特許請求の範囲】
【請求項１】
略球面の被写体を含む複数の撮像画像のうち、処理対象の１枚と、比較対象の他の１枚とについての、前記被写体についての比較を、前記複数の撮像画像の各々を処理対象として実行し、前記処理対象についての３次元球面モデル全体についての動きベクトルを検出する動きベクトル検出部と、
前記複数の撮像画像の各々の前記動きベクトル検出部により検出された前記動きベクトルに基づいて、前記処理対象に動き補償を施す動き補償部と、
前記動き補償部による動き補償が施された結果得られる前記撮像画像の各々を合成する合成部と
を備える画像処理装置。
【請求項２】
前記動きベクトル検出部は、
前記処理対象から区分された複数のブロックの各々について、前記比較対象との間でブロックマッチングを行うことによって局所的な動きベクトルを検出し、
前記複数のブロック毎の前記局所的な動きベクトルを用いて、前記処理対象についての前記３次元球面モデル全体についての動きベクトルを検出する
請求項１に記載の画像処理装置。
【請求項３】
前記動きベクトル検出部は、
前記処理対象における前記複数のブロックの各々についての前記局所的な動きベクトルを、前記３次元球面モデルにおける局所的な球面動きベクトルに変換し、
前記複数のブロック毎の前記局所的な球面動きベクトルを用いて、前記処理対象についての前記３次元球面モデル全体についての動きベクトルを検出する
請求項２に記載の画像処理装置。
【請求項４】
前記動きベクトル検出部は、
前記処理対象における前記複数のブロックの各々を、前記３次元球面モデルにおける複数の球面ブロックに変換し、
前記複数の球面ブロックの各々について、前記比較対象との間でブロックマッチングを行うことによって、前記局所的な動きベクトルとして局所的な球面動きベクトルを検出し、
前記複数の球面ブロック毎の前記局所的な球面動きベクトルを用いて、前記処理対象についての前記３次元球面モデル全体についての動きベクトルを検出する
請求項２に記載の画像処理装置。
【請求項５】
前記動きベクトル検出部は、
前記処理対象と前記比較対象とのそれぞれを前記３次元球面モデルにおける球面画像に変換し、
前記処理対象の球面画像と前記比較対象の球面画像との間でマッチングを行うことによって、前記処理対象についての前記３次元球面モデル全体についての動きベクトルを検出する
請求項１に記載の画像処理装置。
【請求項６】
前記被写体は眼底である
請求項１に記載の画像処理装置。
【請求項７】
前記３次元球面モデルは、前記被写体が有する条件により切り替えられて用いられる
請求項６に記載の画像処理装置。
【請求項８】
略球面の被写体を含む複数の撮像画像のうち、処理対象の１枚と、比較対象の他の１枚とについての、前記被写体についての比較を、前記複数の撮像画像の各々を処理対象として実行し、前記処理対象についての３次元球面モデル全体についての動きベクトルを検出する動きベクトル検出ステップと、
前記複数の撮像画像の各々の前記動きベクトル検出ステップの処理により検出された前記動きベクトルに基づいて、前記処理対象に動き補償を施す動き補償ステップと、
前記動き補償ステップの処理による動き補償が施された結果得られる前記撮像画像の各々を合成する合成ステップと
を含む画像処理方法。
【請求項９】
略球面の被写体を含む複数の撮像画像のうち、処理対象の１枚と、比較対象の他の１枚とについての、前記被写体についての比較を、前記複数の撮像画像の各々を処理対象として実行し、前記処理対象についての３次元球面モデル全体についての動きベクトルを検出し、
前記複数の撮像画像の各々の前記動きベクトルに基づいて、前記処理対象に動き補償を施し、
動き補償が施された結果得られる前記撮像画像の各々を合成する
ステップを含むプログラムが記録されている記録媒体。
【請求項１０】
略球面の被写体を含む複数の撮像画像のうち、処理対象の１枚と、比較対象の他の１枚とについての、前記被写体についての比較を、前記複数の撮像画像の各々を処理対象として実行し、前記処理対象についての３次元球面モデル全体についての動きベクトルを検出し、
前記複数の撮像画像の各々の前記動きベクトルに基づいて、前記処理対象に動き補償を施し、
動き補償が施された結果得られる前記撮像画像の各々を合成する
ステップを含む制御処理をコンピュータに実行させるプログラム。
【請求項１１】
略球面の被写体を含む複数の撮像画像のうち、処理対象の１枚と、比較対象の他の１枚の、３次元球面モデルにおける球面画像への変換を、前記複数の撮像画像の各々を処理対象として実行する変換部と、
前記処理対象の球面画像と前記比較対象の球面画像の各々の特徴を抽出する抽出部と、
前記特徴同士が一致するように前記特徴の位置を合わせる位置合わせ部と、
前記位置合わせ部により位置合わせがされた結果得られる前記撮像画像の各々を合成する合成部と
を備える画像処理装置。
【請求項１２】
前記特徴として血管の形状が用いられる
請求項１１に記載の画像処理装置。
【請求項１３】
前記被写体は眼底である
請求項１２に記載の画像処理装置。
【請求項１４】
前記３次元球面モデルは、前記被写体が有する条件により切り替えられて用いられる
請求項１１に記載の画像処理装置。
【請求項１５】
略球面の被写体を含む複数の撮像画像のうち、処理対象の１枚と、比較対象の他の１枚の、３次元球面モデルにおける球面画像への変換を、前記複数の撮像画像の各々を処理対象として実行する変換ステップと、
前記処理対象の球面画像と前記比較対象の球面画像の各々の特徴を抽出する抽出ステップと、
前記特徴同士が一致するように前記特徴の位置を合わせる位置合わせステップと、
前記位置合わせステップの処理により位置合わせがされた結果得られる前記撮像画像の各々を合成する合成ステップと
を含む画像処理方法。
【請求項１６】
略球面の被写体を含む複数の撮像画像のうち、処理対象の１枚と、比較対象の他の１枚の、３次元球面モデルにおける球面画像への変換を、前記複数の撮像画像の各々を処理対象として実行し、
前記処理対象の球面画像と前記比較対象の球面画像の各々の特徴を抽出し、
前記特徴同士が一致するように前記特徴の位置を合わせ、
位置合わせがされた結果得られる前記撮像画像の各々を合成する
ステップを含むプログラムが記録されている記録媒体。
【請求項１７】
略球面の被写体を含む複数の撮像画像のうち、処理対象の１枚と、比較対象の他の１枚の、３次元球面モデルにおける球面画像への変換を、前記複数の撮像画像の各々を処理対象として実行し、
前記処理対象の球面画像と前記比較対象の球面画像の各々の特徴を抽出し、
前記特徴同士が一致するように前記特徴の位置を合わせ、
位置合わせがされた結果得られる前記撮像画像の各々を合成する
ステップを含む制御処理をコンピュータに実行させるプログラム。
【請求項１】
略球面の被写体を含む複数の撮像画像のうち、処理対象の１枚と、比較対象の他の１枚とについての、前記被写体についての比較を、前記複数の撮像画像の各々を処理対象として実行し、前記処理対象についての３次元球面モデル全体についての動きベクトルを検出する動きベクトル検出部と、
前記複数の撮像画像の各々の前記動きベクトル検出部により検出された前記動きベクトルに基づいて、前記処理対象に動き補償を施す動き補償部と、
前記動き補償部による動き補償が施された結果得られる前記撮像画像の各々を合成する合成部と
を備える画像処理装置。
【請求項２】
前記動きベクトル検出部は、
前記処理対象から区分された複数のブロックの各々について、前記比較対象との間でブロックマッチングを行うことによって局所的な動きベクトルを検出し、
前記複数のブロック毎の前記局所的な動きベクトルを用いて、前記処理対象についての前記３次元球面モデル全体についての動きベクトルを検出する
請求項１に記載の画像処理装置。
【請求項３】
前記動きベクトル検出部は、
前記処理対象における前記複数のブロックの各々についての前記局所的な動きベクトルを、前記３次元球面モデルにおける局所的な球面動きベクトルに変換し、
前記複数のブロック毎の前記局所的な球面動きベクトルを用いて、前記処理対象についての前記３次元球面モデル全体についての動きベクトルを検出する
請求項２に記載の画像処理装置。
【請求項４】
前記動きベクトル検出部は、
前記処理対象における前記複数のブロックの各々を、前記３次元球面モデルにおける複数の球面ブロックに変換し、
前記複数の球面ブロックの各々について、前記比較対象との間でブロックマッチングを行うことによって、前記局所的な動きベクトルとして局所的な球面動きベクトルを検出し、
前記複数の球面ブロック毎の前記局所的な球面動きベクトルを用いて、前記処理対象についての前記３次元球面モデル全体についての動きベクトルを検出する
請求項２に記載の画像処理装置。
【請求項５】
前記動きベクトル検出部は、
前記処理対象と前記比較対象とのそれぞれを前記３次元球面モデルにおける球面画像に変換し、
前記処理対象の球面画像と前記比較対象の球面画像との間でマッチングを行うことによって、前記処理対象についての前記３次元球面モデル全体についての動きベクトルを検出する
請求項１に記載の画像処理装置。
【請求項６】
前記被写体は眼底である
請求項１に記載の画像処理装置。
【請求項７】
前記３次元球面モデルは、前記被写体が有する条件により切り替えられて用いられる
請求項６に記載の画像処理装置。
【請求項８】
略球面の被写体を含む複数の撮像画像のうち、処理対象の１枚と、比較対象の他の１枚とについての、前記被写体についての比較を、前記複数の撮像画像の各々を処理対象として実行し、前記処理対象についての３次元球面モデル全体についての動きベクトルを検出する動きベクトル検出ステップと、
前記複数の撮像画像の各々の前記動きベクトル検出ステップの処理により検出された前記動きベクトルに基づいて、前記処理対象に動き補償を施す動き補償ステップと、
前記動き補償ステップの処理による動き補償が施された結果得られる前記撮像画像の各々を合成する合成ステップと
を含む画像処理方法。
【請求項９】
略球面の被写体を含む複数の撮像画像のうち、処理対象の１枚と、比較対象の他の１枚とについての、前記被写体についての比較を、前記複数の撮像画像の各々を処理対象として実行し、前記処理対象についての３次元球面モデル全体についての動きベクトルを検出し、
前記複数の撮像画像の各々の前記動きベクトルに基づいて、前記処理対象に動き補償を施し、
動き補償が施された結果得られる前記撮像画像の各々を合成する
ステップを含むプログラムが記録されている記録媒体。
【請求項１０】
略球面の被写体を含む複数の撮像画像のうち、処理対象の１枚と、比較対象の他の１枚とについての、前記被写体についての比較を、前記複数の撮像画像の各々を処理対象として実行し、前記処理対象についての３次元球面モデル全体についての動きベクトルを検出し、
前記複数の撮像画像の各々の前記動きベクトルに基づいて、前記処理対象に動き補償を施し、
動き補償が施された結果得られる前記撮像画像の各々を合成する
ステップを含む制御処理をコンピュータに実行させるプログラム。
【請求項１１】
略球面の被写体を含む複数の撮像画像のうち、処理対象の１枚と、比較対象の他の１枚の、３次元球面モデルにおける球面画像への変換を、前記複数の撮像画像の各々を処理対象として実行する変換部と、
前記処理対象の球面画像と前記比較対象の球面画像の各々の特徴を抽出する抽出部と、
前記特徴同士が一致するように前記特徴の位置を合わせる位置合わせ部と、
前記位置合わせ部により位置合わせがされた結果得られる前記撮像画像の各々を合成する合成部と
を備える画像処理装置。
【請求項１２】
前記特徴として血管の形状が用いられる
請求項１１に記載の画像処理装置。
【請求項１３】
前記被写体は眼底である
請求項１２に記載の画像処理装置。
【請求項１４】
前記３次元球面モデルは、前記被写体が有する条件により切り替えられて用いられる
請求項１１に記載の画像処理装置。
【請求項１５】
略球面の被写体を含む複数の撮像画像のうち、処理対象の１枚と、比較対象の他の１枚の、３次元球面モデルにおける球面画像への変換を、前記複数の撮像画像の各々を処理対象として実行する変換ステップと、
前記処理対象の球面画像と前記比較対象の球面画像の各々の特徴を抽出する抽出ステップと、
前記特徴同士が一致するように前記特徴の位置を合わせる位置合わせステップと、
前記位置合わせステップの処理により位置合わせがされた結果得られる前記撮像画像の各々を合成する合成ステップと
を含む画像処理方法。
【請求項１６】
略球面の被写体を含む複数の撮像画像のうち、処理対象の１枚と、比較対象の他の１枚の、３次元球面モデルにおける球面画像への変換を、前記複数の撮像画像の各々を処理対象として実行し、
前記処理対象の球面画像と前記比較対象の球面画像の各々の特徴を抽出し、
前記特徴同士が一致するように前記特徴の位置を合わせ、
位置合わせがされた結果得られる前記撮像画像の各々を合成する
ステップを含むプログラムが記録されている記録媒体。
【請求項１７】
略球面の被写体を含む複数の撮像画像のうち、処理対象の１枚と、比較対象の他の１枚の、３次元球面モデルにおける球面画像への変換を、前記複数の撮像画像の各々を処理対象として実行し、
前記処理対象の球面画像と前記比較対象の球面画像の各々の特徴を抽出し、
前記特徴同士が一致するように前記特徴の位置を合わせ、
位置合わせがされた結果得られる前記撮像画像の各々を合成する
ステップを含む制御処理をコンピュータに実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公開番号】特開２０１３−４８７１７（Ｐ２０１３−４８７１７Ａ）
【公開日】平成２５年３月１４日（２０１３．３．１４）
【国際特許分類】
【出願番号】特願２０１１−１８８２７７（Ｐ２０１１−１８８２７７）
【出願日】平成２３年８月３１日（２０１１．８．３１）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２５年３月１４日（２０１３．３．１４）
【国際特許分類】
【出願日】平成２３年８月３１日（２０１１．８．３１）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]