眼科情報処理装置及びその制御方法
【課題】 連続撮影された眼科画像における各部位の変化の把握を可能とする眼科情報処理装置及びプログラムを提供する。
【解決手段】 眼科情報処理装置は、記憶部４に記憶された連続撮影された複数の撮影画像５を読込み、画像解析部９により撮影画像間の位置合わせを行う。位置合わせ情報をもとに撮影画像間の各画素における画素情報の変化値と位置情報を算出し、画像生成部１４により３次元画像を生成し、撮影画像５と同時に表示部２に表示する。
【解決手段】 眼科情報処理装置は、記憶部４に記憶された連続撮影された複数の撮影画像５を読込み、画像解析部９により撮影画像間の位置合わせを行う。位置合わせ情報をもとに撮影画像間の各画素における画素情報の変化値と位置情報を算出し、画像生成部１４により３次元画像を生成し、撮影画像５と同時に表示部２に表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、眼科撮影装置により撮影された眼科画像を処理する眼科情報処理装置及びその制御方法に関する。
【背景技術】
【０００２】
眼科撮影装置として、被検眼の眼底撮影を行う眼底カメラが広く知られている。また、眼底カメラにおいては、検査目的に合わせた撮影を行うためのカラー撮影、ＦＡＧ（可視蛍光撮影）やＩＣＧ（近赤外蛍光撮影）などの複数の撮影モードを有する装置が知られている。
【０００３】
ＦＡＧやＩＣＧなどの蛍光撮影は、眼底血管の血液の循環状態を調査することによって、蛍光漏出、低蛍光などの観測により、眼底の病変部を発見することに利用されている。
【０００４】
また、蛍光撮影においては、蛍光剤の静注後の眼底像を動画として記録し、記録した動画によって読影を行う診断方法が有効な手段となっている。
【０００５】
近年では、デジタル画像ファイリングシステムの普及により、コンピュータやデータベースなどに保存された撮影画像を容易に表示することが可能になっている。さらに、撮影画像に対して画像処理を行って指定部を強調処理することや、撮影画像の各画素の輝度（光強度）分布の情報から３次元画像を表示するものがある（特許文献１、２）。また、経過観察時における撮影画像を比較し、画像に対する変化情報を表示するシステムもある（特許文献３）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００３−１９００９６号公報
【特許文献２】特開２００７−０２９４６０号公報
【特許文献３】特開２００９−０２２５０６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、動画撮影のような時間間隔の短い画像の変化を見る際、輝度の絶対値による３次元表示では、変化している量が微細なため、どの部分が変化しているかを把握するのは困難である。また、変化している箇所の変化量を平面上の色分布で表す場合は、微細な変化においては、視覚的に把握するのは困難である。
【０００８】
本発明の目的は、上記課題に鑑み、撮影画像の微細な変化を把握しやすい眼科情報処理装置及びプログラムを提供することである。
【課題を解決するための手段】
【０００９】
本発明の一側面によれば、連続撮影された複数フレームの眼科画像を処理する眼科情報処理装置であって、前記複数フレームの眼科画像における隣接するフレーム間の画素毎の輝度値の変化量を算出する算出手段と、眼科画像が表示される２次元座標の各画素の位置において、前記変化量が該変化量に応じた３次元方向の高さで表されるグラフを表示する表示手段とを有することを特徴とする眼科情報処理装置が提供される。
【発明の効果】
【００１０】
本発明によれば、撮影部位の微細な変化を直感的に把握することが可能になる。
【図面の簡単な説明】
【００１１】
【図１】実施例における眼科情報処理装置の機能的構成を示すブロック図。
【図２】実施例における眼科情報処理装置のハードウェア構成を示すブロック図。
【図３】実施例における眼科情報処理装置の動作を示すフローチャート。
【図４】撮影画像における変化量を表示する範囲の指定を説明する図。
【図５】撮影画像における変化量を表示する範囲が指定された連続画像を説明する図。
【図６】撮影画像の変化量の３次元表示の例を示す図。
【図７】３次元情報のサムネイル情報を説明する図。
【図８】撮影画像の絶対値を３次元表示する例を示す図。
【図９】撮影画像の変化量の３次元表示、撮影画像の絶対値の３次元表示、及び撮影画像を同時に表示する例を示す図。
【発明を実施するための形態】
【００１２】
以下、図面を参照して本発明の好適な実施形態について詳細に説明する。なお、本発明は以下の実施形態に限定されるものではなく、本発明の実施に有利な具体例を示すにすぎない。また、以下の実施形態の中で説明されている特徴の組み合わせの全てが本発明の課題解決のために必須のものであるとは限らない。
【００１３】
図１は、本実施例における眼科情報処理装置の機能的構成を示すブロック図である。この眼科情報処理装置は、オペレータが使用するコンピュータを含んで構成される。このコンピュータは、例えば、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）などの通信回線を介して、眼科画像や患者情報などを保管管理するデータベースに接続されている。なお、眼科情報処理装置は、コンピュータ単体で構成されてもよいし、眼科画像などは、外部の記憶装置、例えばＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）に保管されている構成でもよい。また、眼科情報処理装置は、通信回線を介して、眼科撮影装置に接続されてもよい。眼底撮影装置の例として、眼底カメラ、ＳＬＯ（Ｓｃａｎｎｉｎｇ Ｌａｓｅｒ Ｏｐｈｔｈａｌｍｏｓｃｏｐｅ）などがある。
【００１４】
眼科情報処理装置には、図１に示すように、操作部１、表示部２、制御部３、記憶部４、画像解析部９、画像生成部１４が設けられている。
まず、記憶部４について説明する。記憶部４には、眼科画像５、解析情報６、３次元情報７、サムネイル８が記憶される。眼科画像５は、上記の眼科撮影装置により取得された被検眼の画像である。例としては、眼底カメラにより撮影された単一の撮影画像、連続撮影された複数フレームの眼科画像やその動画像などである。連像撮影された複数フレームの眼科画像の例としては、蛍光眼底撮影において所定時間間隔で連続撮影された複数の画像や、動画像などがある。眼科画像には、被検眼の部位や、撮影日時、蛍光造影の経過時間（タイマー値）などの付帯情報が付加されて記憶される。被検眼の部位には、左右眼情報や、乳頭、黄班などの情報が含まれる。
解析情報６は、画像解析部９により作成される画像解析情報であり、制御部３によって記憶部４に記憶される。
３次元情報７は、画像生成部１４により作成される３次元情報であり、制御部３によって記憶部４に記憶される。
サムネイル８は、画像生成部１４により作成されるサムネイル画像であり、制御部３によって記憶部４に記憶される。
【００１５】
記憶部４に記憶されている眼科画像５、解析情報６、３次元情報７、サムネイル８の関連付けは制御部３によって行われ、関連情報は記憶部４に記憶される。関連情報には、どの患者のどの部位に対する眼科画像であるかの識別情報を付加して記憶してもよい。
【００１６】
操作部１は、キーボード、マウス、トラックボール、タッチパネルなど、任意の操作デバイス、入力デバイスを含んで構成される。表示部２は、制御部３からの命令に従って画面やデータを表示する。表示部２は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）や、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイなど、任意の表示デバイスから構成される。なお、操作部１で記載したタッチパネルなどの操作部と表示部とを一体化したデバイスを使用することも可能である。この場合は、図１で示す操作部と表示部を一体化した構成になる。制御部３は、眼科情報処理装置の各部を制御する。
【００１７】
画像解析部９は、画像位置合わせ部１３、変化量算出部１０、血管抽出部１１、まばたき画像検出部１２を含む。画像位置合わせ部１３は、隣接するフレーム間の画像を位置合わせ処理した位置合わせ情報を算出する。変化量算出部１０は、位置を合わせた画像と画像に付加されている撮影時刻から、またはタイマー情報から、各画素に対する輝度値の変化量を算出する。血管抽出部１１は、眼科画像から血管を抽出する処理を行う。まばたき画像検出部１２は、眼科画像からまばたき画像を判断する。画像解析部９で得られた解析情報は、制御部３の制御によって、記憶部４に記憶される。
【００１８】
画像生成部１４は、３次元情報生成部１５、合成部１６、サムネイル生成部１７、重畳処理部１８を含む。３次元情報生成部１５は、記憶部４に含まれる解析情報６から３次元情報を生成する。合成部１６は、眼科画像と３次元情報を合成した画像を生成する。サムネイル生成部１７は、眼科画像、３次元情報、合成画像からサムネイル画像を生成する。重畳処理部１８は、３次元情報の画像に眼科画像を重畳処理する。画像生成部１４で生成された画像は、制御部３の制御によって、表示部２に表示される。また、画像生成部１４によって生成された画像は、制御部３の制御により、記憶部４に記憶される。
【００１９】
図２は、眼科情報処理装置のハードウェア構成の例を示している。眼科情報処理装置は、コンピュータ２０を含んで構成される。データベース３０は、眼科画像や患者情報などを保管管理するサーバなどを含んで構成される。コンピュータ２０は、ＬＡＮなどの通信回線を介してデータベース３０に接続される。
【００２０】
オペレータは、眼科画像の閲覧の要求をコンピュータ２０に入力する。この要求は、例えば患者名や患者ＩＤの患者識別情報を入力または選択し、所定の操作（キーボードのキー入力、マウスのクリックなど）をすることによって行う。コンピュータ２０は、入力された要求をデータベース３０に送信する。データベース３０は、この要求に基づいて眼科画像を検索して、コンピュータ２０に送信する。コンピュータ２０はこの検索結果を表示する。
【００２１】
コンピュータ２０は、例えば、図１の操作部１、表示部２、制御部３、画像解析部９、画像生成部１４として機能する。データベース３０は、記憶部４として機能する。
【００２２】
コンピュータ２０は、ＣＰＵ２１、主記憶装置として機能するＲＡＭ２２、外部記憶装置として機能するＲＯＭ２３、外部記憶装置としてのＨＤＤ（ハードディスクドライブ）２４を含む。コンピュータ２０は更に、ディスプレイ２６、キーボード２７、マウス２８、通信Ｉ／Ｆ２９を有する。ＣＰＵ２１は、ＨＤＤ２４に格納されたプログラム２５をＲＡＭ２２上に展開することにより、本実施例の動作を実行する。
【００２３】
図３は、本実施例における変化量の３次元情報表示のフローチャートを示している。ここでは、眼科画像が眼底カメラで撮影された眼底画像である例を説明する。また、表示部２の表示デバイスはディスプレイで、操作部１はマウス、キーボードで実現されるものとする。
【００２４】
まず、Ｓ１では、比較情報の決定処理を行う。ここで、オペレータは、マウスを操作して変化量を算出したい眼底画像を選択することができる。画像の選択は、２枚の静止画像の選択でもよいし、動画像の選択でもよい。動画像を選択する場合、１つの動画像を選択し、比較の対象に関する時間情報を設定することもできる。時間情報としては、例えば、フレームや、時間間隔（秒）を設定することができる。あるいは、指定画像と再生動画像を比較させるようにしてもよい。指定画像として、開始画像を指定したり、タイマー値などで画像を指定するようにしてもよい。
【００２５】
また、動画像でフレーム間の変化量を算出するときにまばたき画像を除く場合は、画像選択において、まばたき画像かどうかを判定し、まばたき画像である場合、まばたき画像を除去して変化量を算出する。また、眼底画像の血管を変化量の算出に含めない場合は、選択画像の血管を抽出し、血管の部分の輝度値情報を例えば、“０”のような既定値に設定する。なお、画像の選択時に、比較する眼底画像の範囲を設定してもよい。例えば、図４（ａ）に示す画像を選択した時に、図４（ｂ）に示すように、比較対象とする領域を破線で囲んで選択することができる。この場合、図５に示すような、その指定された範囲内の００：０１〜００：０３に亘る連続画像について、隣接する画像間の変化量が算出されることになる。
【００２６】
Ｓ１の比較情報の決定処理が完了すると、比較する画像の位置合わせ処理を行う（Ｓ２）。次に、位置合わせを行った画像に対して、隣接する画像間で、画素毎に輝度値の変化量（差分）を算出する（Ｓ３）。カラー画像の場合は、ＲＧＢ成分毎に変化量を算出してもよい。血管の除去を行っている場合は、変化量の算出から除外するか、変化が無いものとして算出すればよい。
【００２７】
次に、Ｓ３で算出された各画素の輝度値の変化量を高さ方向とする３次元情報を生成する（Ｓ４）。このとき、変化量は、ある輝度値で正規化してもよい。そして、生成された３次元情報を表示部２に表示する（Ｓ５）。具体的には、眼科画像が表示される２次元座標の各画素の位置において、変化量が、その変化量に応じた３次元方向の高さで表されるグラフを表示する。なお、変化量の算出で、輝度の変化がマイナスになる場合は、凹んだ３次元情報を表示してもよい。図６に３次元情報表示の例を示す。図６（ａ）では、３次元情報は、変化量に応じて変化する色で表現されている。このとき、図６（ｂ）に示すように、２次元座標上に代表画像（例えば図５の００：０３の画像）を上記グラフと重畳して表示してもよい。あるいは、３次元情報の表面にテクスチャ画像として撮影画像を重畳して表示してもよい。また、図６（ｂ）には、「００：０１（００：０２−００：０３）」との表示がある。これは、元画像を００：０１の画像、比較対象の画像を００：０２−００：０３とすることを表している。
【００２８】
また、動画像の場合は、フレーム間の各画素における変化量の最大値を表示するようにしてもよい。また、図８に示されるような、輝度の絶対値の３次元情報を表示してもよい。あるいは、図９のように、動画再生画像と、図６（ｂ）に示したような輝度変化の３次元情報と、図８に示したような輝度の絶対値の３次元情報とを、同時に表示するようにしてもよい。その他に、上述したような最大変化量の表示を同時に表示してもよい。また、撮影画像の他に、同一部位である他の撮影モード、例えばカラー画像、ＯＣＴの断層画像を同時に表示してもよい。このとき、位置合わせ可能な同一部位の画像は、図６（ｂ）で示す撮影画像の代わりに表示してもよいし、撮影画像と切り替えて表示するモードを持ってもよい。
【００２９】
なお、算出した３次元情報は、操作部１を介して保存指示を受けた制御部３によって、記憶部４に保存される。あるいは、画素毎の変化量が予め設定された範囲内に収まっている場合に自動的にサムネイル情報を生成し、記憶部４に記憶してもよい。サムネイル情報として保存する情報には、例えば、図７に示すように、対象としている撮影画像ＵＩＤ、蛍光撮影の場合はタイマー値、３次元情報ＵＩＤ、変化量を算出するための画像の比較時間、比較時間内の最大変化値などが含まれる。その他の情報として、左右眼情報や撮影時刻、同時表示したい撮影画像情報を含んでもよい。
【００３０】
上述した実施例の機能は、ＣＰＵ２１がプログラム２５を実行することにより実現されうる。すなわち、プログラム２５は、上述した実施例の動作を実現するためのプログラムコードを含む。換言すると、ＣＰＵ２１がプログラム２５を実行することにより、以下のような機能が実現される。
（１）３次元表示する連続画像を選択し、選択された眼科画像を読み込み、画像の位置合わせ処理を行い、選択画像に対しての輝度の変化量を算出する。
（２）輝度変化量より、３次元情報を生成し、表示する。
（３）３次元情報を記憶する。
（４）輝度変化量より、指定された輝度変化量の時に、サムネイル画像を生成し、生成したサムネイル画像を表示する。生成したサムネイル画像を記憶する。
（５）３次元情報と眼科画像を重ねて表示する。
（６）各画素の輝度変化量の最大値を保持した最大変化情報を記憶する。最大変化情報を表示する。
【００３１】
このプログラムによれば、動画像などの連続撮影された眼科画像の変化量を眼科画像上に３次元表示できるので、従来と比較して、微細な変化量に対しての確認が容易にできる。それにより、蛍光撮影の眼底の病変部発見の効率化、病変部の定量化を図ることができる。
【００３２】
また、このプログラムによれば、指定された変化量の場合にサムネイル画像として保存することができるので、連続撮影時にどのタイミングでどの部位がどれくらい変化しているかの把握が容易となる。
【００３３】
さらに、このプログラムによれば、各画素の変化量の最大値を記憶することができるので、連続撮影時における撮影の開始から終了の間で、所定の輝度値になるまでに緩やかに変化しながら輝度が変化したのか、急に輝度が変化したのかを把握することが容易となる。
【００３４】
なお、このプログラムは、コンピュータのドライブ装置によって読み取り可能な任意の記憶媒体に記憶させることができる。例えば、光ディスク、光磁気ディスク（ＣＤ−ＲＯＭ，ＤＶＤ−ＲＡＭ，ＤＶＤ−ＲＯＭ，ＭＯなど）、磁気記憶媒体（ハードディスク、ＺＩＰなど）などの記憶媒体を用いることが可能である。また、ハードディスクドライブやメモリなどの記憶装置に記憶させることも可能である。
【００３５】
（他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
【技術分野】
【０００１】
本発明は、眼科撮影装置により撮影された眼科画像を処理する眼科情報処理装置及びその制御方法に関する。
【背景技術】
【０００２】
眼科撮影装置として、被検眼の眼底撮影を行う眼底カメラが広く知られている。また、眼底カメラにおいては、検査目的に合わせた撮影を行うためのカラー撮影、ＦＡＧ（可視蛍光撮影）やＩＣＧ（近赤外蛍光撮影）などの複数の撮影モードを有する装置が知られている。
【０００３】
ＦＡＧやＩＣＧなどの蛍光撮影は、眼底血管の血液の循環状態を調査することによって、蛍光漏出、低蛍光などの観測により、眼底の病変部を発見することに利用されている。
【０００４】
また、蛍光撮影においては、蛍光剤の静注後の眼底像を動画として記録し、記録した動画によって読影を行う診断方法が有効な手段となっている。
【０００５】
近年では、デジタル画像ファイリングシステムの普及により、コンピュータやデータベースなどに保存された撮影画像を容易に表示することが可能になっている。さらに、撮影画像に対して画像処理を行って指定部を強調処理することや、撮影画像の各画素の輝度（光強度）分布の情報から３次元画像を表示するものがある（特許文献１、２）。また、経過観察時における撮影画像を比較し、画像に対する変化情報を表示するシステムもある（特許文献３）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００３−１９００９６号公報
【特許文献２】特開２００７−０２９４６０号公報
【特許文献３】特開２００９−０２２５０６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、動画撮影のような時間間隔の短い画像の変化を見る際、輝度の絶対値による３次元表示では、変化している量が微細なため、どの部分が変化しているかを把握するのは困難である。また、変化している箇所の変化量を平面上の色分布で表す場合は、微細な変化においては、視覚的に把握するのは困難である。
【０００８】
本発明の目的は、上記課題に鑑み、撮影画像の微細な変化を把握しやすい眼科情報処理装置及びプログラムを提供することである。
【課題を解決するための手段】
【０００９】
本発明の一側面によれば、連続撮影された複数フレームの眼科画像を処理する眼科情報処理装置であって、前記複数フレームの眼科画像における隣接するフレーム間の画素毎の輝度値の変化量を算出する算出手段と、眼科画像が表示される２次元座標の各画素の位置において、前記変化量が該変化量に応じた３次元方向の高さで表されるグラフを表示する表示手段とを有することを特徴とする眼科情報処理装置が提供される。
【発明の効果】
【００１０】
本発明によれば、撮影部位の微細な変化を直感的に把握することが可能になる。
【図面の簡単な説明】
【００１１】
【図１】実施例における眼科情報処理装置の機能的構成を示すブロック図。
【図２】実施例における眼科情報処理装置のハードウェア構成を示すブロック図。
【図３】実施例における眼科情報処理装置の動作を示すフローチャート。
【図４】撮影画像における変化量を表示する範囲の指定を説明する図。
【図５】撮影画像における変化量を表示する範囲が指定された連続画像を説明する図。
【図６】撮影画像の変化量の３次元表示の例を示す図。
【図７】３次元情報のサムネイル情報を説明する図。
【図８】撮影画像の絶対値を３次元表示する例を示す図。
【図９】撮影画像の変化量の３次元表示、撮影画像の絶対値の３次元表示、及び撮影画像を同時に表示する例を示す図。
【発明を実施するための形態】
【００１２】
以下、図面を参照して本発明の好適な実施形態について詳細に説明する。なお、本発明は以下の実施形態に限定されるものではなく、本発明の実施に有利な具体例を示すにすぎない。また、以下の実施形態の中で説明されている特徴の組み合わせの全てが本発明の課題解決のために必須のものであるとは限らない。
【００１３】
図１は、本実施例における眼科情報処理装置の機能的構成を示すブロック図である。この眼科情報処理装置は、オペレータが使用するコンピュータを含んで構成される。このコンピュータは、例えば、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）などの通信回線を介して、眼科画像や患者情報などを保管管理するデータベースに接続されている。なお、眼科情報処理装置は、コンピュータ単体で構成されてもよいし、眼科画像などは、外部の記憶装置、例えばＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）に保管されている構成でもよい。また、眼科情報処理装置は、通信回線を介して、眼科撮影装置に接続されてもよい。眼底撮影装置の例として、眼底カメラ、ＳＬＯ（Ｓｃａｎｎｉｎｇ Ｌａｓｅｒ Ｏｐｈｔｈａｌｍｏｓｃｏｐｅ）などがある。
【００１４】
眼科情報処理装置には、図１に示すように、操作部１、表示部２、制御部３、記憶部４、画像解析部９、画像生成部１４が設けられている。
まず、記憶部４について説明する。記憶部４には、眼科画像５、解析情報６、３次元情報７、サムネイル８が記憶される。眼科画像５は、上記の眼科撮影装置により取得された被検眼の画像である。例としては、眼底カメラにより撮影された単一の撮影画像、連続撮影された複数フレームの眼科画像やその動画像などである。連像撮影された複数フレームの眼科画像の例としては、蛍光眼底撮影において所定時間間隔で連続撮影された複数の画像や、動画像などがある。眼科画像には、被検眼の部位や、撮影日時、蛍光造影の経過時間（タイマー値）などの付帯情報が付加されて記憶される。被検眼の部位には、左右眼情報や、乳頭、黄班などの情報が含まれる。
解析情報６は、画像解析部９により作成される画像解析情報であり、制御部３によって記憶部４に記憶される。
３次元情報７は、画像生成部１４により作成される３次元情報であり、制御部３によって記憶部４に記憶される。
サムネイル８は、画像生成部１４により作成されるサムネイル画像であり、制御部３によって記憶部４に記憶される。
【００１５】
記憶部４に記憶されている眼科画像５、解析情報６、３次元情報７、サムネイル８の関連付けは制御部３によって行われ、関連情報は記憶部４に記憶される。関連情報には、どの患者のどの部位に対する眼科画像であるかの識別情報を付加して記憶してもよい。
【００１６】
操作部１は、キーボード、マウス、トラックボール、タッチパネルなど、任意の操作デバイス、入力デバイスを含んで構成される。表示部２は、制御部３からの命令に従って画面やデータを表示する。表示部２は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）や、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイなど、任意の表示デバイスから構成される。なお、操作部１で記載したタッチパネルなどの操作部と表示部とを一体化したデバイスを使用することも可能である。この場合は、図１で示す操作部と表示部を一体化した構成になる。制御部３は、眼科情報処理装置の各部を制御する。
【００１７】
画像解析部９は、画像位置合わせ部１３、変化量算出部１０、血管抽出部１１、まばたき画像検出部１２を含む。画像位置合わせ部１３は、隣接するフレーム間の画像を位置合わせ処理した位置合わせ情報を算出する。変化量算出部１０は、位置を合わせた画像と画像に付加されている撮影時刻から、またはタイマー情報から、各画素に対する輝度値の変化量を算出する。血管抽出部１１は、眼科画像から血管を抽出する処理を行う。まばたき画像検出部１２は、眼科画像からまばたき画像を判断する。画像解析部９で得られた解析情報は、制御部３の制御によって、記憶部４に記憶される。
【００１８】
画像生成部１４は、３次元情報生成部１５、合成部１６、サムネイル生成部１７、重畳処理部１８を含む。３次元情報生成部１５は、記憶部４に含まれる解析情報６から３次元情報を生成する。合成部１６は、眼科画像と３次元情報を合成した画像を生成する。サムネイル生成部１７は、眼科画像、３次元情報、合成画像からサムネイル画像を生成する。重畳処理部１８は、３次元情報の画像に眼科画像を重畳処理する。画像生成部１４で生成された画像は、制御部３の制御によって、表示部２に表示される。また、画像生成部１４によって生成された画像は、制御部３の制御により、記憶部４に記憶される。
【００１９】
図２は、眼科情報処理装置のハードウェア構成の例を示している。眼科情報処理装置は、コンピュータ２０を含んで構成される。データベース３０は、眼科画像や患者情報などを保管管理するサーバなどを含んで構成される。コンピュータ２０は、ＬＡＮなどの通信回線を介してデータベース３０に接続される。
【００２０】
オペレータは、眼科画像の閲覧の要求をコンピュータ２０に入力する。この要求は、例えば患者名や患者ＩＤの患者識別情報を入力または選択し、所定の操作（キーボードのキー入力、マウスのクリックなど）をすることによって行う。コンピュータ２０は、入力された要求をデータベース３０に送信する。データベース３０は、この要求に基づいて眼科画像を検索して、コンピュータ２０に送信する。コンピュータ２０はこの検索結果を表示する。
【００２１】
コンピュータ２０は、例えば、図１の操作部１、表示部２、制御部３、画像解析部９、画像生成部１４として機能する。データベース３０は、記憶部４として機能する。
【００２２】
コンピュータ２０は、ＣＰＵ２１、主記憶装置として機能するＲＡＭ２２、外部記憶装置として機能するＲＯＭ２３、外部記憶装置としてのＨＤＤ（ハードディスクドライブ）２４を含む。コンピュータ２０は更に、ディスプレイ２６、キーボード２７、マウス２８、通信Ｉ／Ｆ２９を有する。ＣＰＵ２１は、ＨＤＤ２４に格納されたプログラム２５をＲＡＭ２２上に展開することにより、本実施例の動作を実行する。
【００２３】
図３は、本実施例における変化量の３次元情報表示のフローチャートを示している。ここでは、眼科画像が眼底カメラで撮影された眼底画像である例を説明する。また、表示部２の表示デバイスはディスプレイで、操作部１はマウス、キーボードで実現されるものとする。
【００２４】
まず、Ｓ１では、比較情報の決定処理を行う。ここで、オペレータは、マウスを操作して変化量を算出したい眼底画像を選択することができる。画像の選択は、２枚の静止画像の選択でもよいし、動画像の選択でもよい。動画像を選択する場合、１つの動画像を選択し、比較の対象に関する時間情報を設定することもできる。時間情報としては、例えば、フレームや、時間間隔（秒）を設定することができる。あるいは、指定画像と再生動画像を比較させるようにしてもよい。指定画像として、開始画像を指定したり、タイマー値などで画像を指定するようにしてもよい。
【００２５】
また、動画像でフレーム間の変化量を算出するときにまばたき画像を除く場合は、画像選択において、まばたき画像かどうかを判定し、まばたき画像である場合、まばたき画像を除去して変化量を算出する。また、眼底画像の血管を変化量の算出に含めない場合は、選択画像の血管を抽出し、血管の部分の輝度値情報を例えば、“０”のような既定値に設定する。なお、画像の選択時に、比較する眼底画像の範囲を設定してもよい。例えば、図４（ａ）に示す画像を選択した時に、図４（ｂ）に示すように、比較対象とする領域を破線で囲んで選択することができる。この場合、図５に示すような、その指定された範囲内の００：０１〜００：０３に亘る連続画像について、隣接する画像間の変化量が算出されることになる。
【００２６】
Ｓ１の比較情報の決定処理が完了すると、比較する画像の位置合わせ処理を行う（Ｓ２）。次に、位置合わせを行った画像に対して、隣接する画像間で、画素毎に輝度値の変化量（差分）を算出する（Ｓ３）。カラー画像の場合は、ＲＧＢ成分毎に変化量を算出してもよい。血管の除去を行っている場合は、変化量の算出から除外するか、変化が無いものとして算出すればよい。
【００２７】
次に、Ｓ３で算出された各画素の輝度値の変化量を高さ方向とする３次元情報を生成する（Ｓ４）。このとき、変化量は、ある輝度値で正規化してもよい。そして、生成された３次元情報を表示部２に表示する（Ｓ５）。具体的には、眼科画像が表示される２次元座標の各画素の位置において、変化量が、その変化量に応じた３次元方向の高さで表されるグラフを表示する。なお、変化量の算出で、輝度の変化がマイナスになる場合は、凹んだ３次元情報を表示してもよい。図６に３次元情報表示の例を示す。図６（ａ）では、３次元情報は、変化量に応じて変化する色で表現されている。このとき、図６（ｂ）に示すように、２次元座標上に代表画像（例えば図５の００：０３の画像）を上記グラフと重畳して表示してもよい。あるいは、３次元情報の表面にテクスチャ画像として撮影画像を重畳して表示してもよい。また、図６（ｂ）には、「００：０１（００：０２−００：０３）」との表示がある。これは、元画像を００：０１の画像、比較対象の画像を００：０２−００：０３とすることを表している。
【００２８】
また、動画像の場合は、フレーム間の各画素における変化量の最大値を表示するようにしてもよい。また、図８に示されるような、輝度の絶対値の３次元情報を表示してもよい。あるいは、図９のように、動画再生画像と、図６（ｂ）に示したような輝度変化の３次元情報と、図８に示したような輝度の絶対値の３次元情報とを、同時に表示するようにしてもよい。その他に、上述したような最大変化量の表示を同時に表示してもよい。また、撮影画像の他に、同一部位である他の撮影モード、例えばカラー画像、ＯＣＴの断層画像を同時に表示してもよい。このとき、位置合わせ可能な同一部位の画像は、図６（ｂ）で示す撮影画像の代わりに表示してもよいし、撮影画像と切り替えて表示するモードを持ってもよい。
【００２９】
なお、算出した３次元情報は、操作部１を介して保存指示を受けた制御部３によって、記憶部４に保存される。あるいは、画素毎の変化量が予め設定された範囲内に収まっている場合に自動的にサムネイル情報を生成し、記憶部４に記憶してもよい。サムネイル情報として保存する情報には、例えば、図７に示すように、対象としている撮影画像ＵＩＤ、蛍光撮影の場合はタイマー値、３次元情報ＵＩＤ、変化量を算出するための画像の比較時間、比較時間内の最大変化値などが含まれる。その他の情報として、左右眼情報や撮影時刻、同時表示したい撮影画像情報を含んでもよい。
【００３０】
上述した実施例の機能は、ＣＰＵ２１がプログラム２５を実行することにより実現されうる。すなわち、プログラム２５は、上述した実施例の動作を実現するためのプログラムコードを含む。換言すると、ＣＰＵ２１がプログラム２５を実行することにより、以下のような機能が実現される。
（１）３次元表示する連続画像を選択し、選択された眼科画像を読み込み、画像の位置合わせ処理を行い、選択画像に対しての輝度の変化量を算出する。
（２）輝度変化量より、３次元情報を生成し、表示する。
（３）３次元情報を記憶する。
（４）輝度変化量より、指定された輝度変化量の時に、サムネイル画像を生成し、生成したサムネイル画像を表示する。生成したサムネイル画像を記憶する。
（５）３次元情報と眼科画像を重ねて表示する。
（６）各画素の輝度変化量の最大値を保持した最大変化情報を記憶する。最大変化情報を表示する。
【００３１】
このプログラムによれば、動画像などの連続撮影された眼科画像の変化量を眼科画像上に３次元表示できるので、従来と比較して、微細な変化量に対しての確認が容易にできる。それにより、蛍光撮影の眼底の病変部発見の効率化、病変部の定量化を図ることができる。
【００３２】
また、このプログラムによれば、指定された変化量の場合にサムネイル画像として保存することができるので、連続撮影時にどのタイミングでどの部位がどれくらい変化しているかの把握が容易となる。
【００３３】
さらに、このプログラムによれば、各画素の変化量の最大値を記憶することができるので、連続撮影時における撮影の開始から終了の間で、所定の輝度値になるまでに緩やかに変化しながら輝度が変化したのか、急に輝度が変化したのかを把握することが容易となる。
【００３４】
なお、このプログラムは、コンピュータのドライブ装置によって読み取り可能な任意の記憶媒体に記憶させることができる。例えば、光ディスク、光磁気ディスク（ＣＤ−ＲＯＭ，ＤＶＤ−ＲＡＭ，ＤＶＤ−ＲＯＭ，ＭＯなど）、磁気記憶媒体（ハードディスク、ＺＩＰなど）などの記憶媒体を用いることが可能である。また、ハードディスクドライブやメモリなどの記憶装置に記憶させることも可能である。
【００３５】
（他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
【特許請求の範囲】
【請求項１】
連続撮影された複数フレームの眼科画像を処理する眼科情報処理装置であって、
前記複数フレームの眼科画像における隣接するフレーム間の画素毎の輝度値の変化量を算出する算出手段と、
眼科画像が表示される２次元座標の各画素の位置において、前記変化量が該変化量に応じた３次元方向の高さで表されるグラフを表示する表示手段と、
を有することを特徴とする眼科情報処理装置。
【請求項２】
前記表示手段は、前記２次元座標上に前記複数フレームの眼科画像の代表画像を前記グラフと重畳して表示することを特徴とする請求項１に記載の眼科情報処理装置。
【請求項３】
前記複数フレームの眼科画像からまばたき画像を検出する検出手段を更に有し、
前記算出手段は、前記検出手段により検出されたまばたき画像を除外して、前記変化量を算出する
ことを特徴とする請求項１又は２に記載の眼科情報処理装置。
【請求項４】
前記グラフは前記変化量に応じて変化する色で表示されることを特徴とする請求項１乃至３のいずれか１項に記載の眼科情報処理装置。
【請求項５】
前記代表画像から血管の領域を抽出する抽出手段を更に有し、
前記表示手段は、前記抽出手段により抽出された血管の領域を所定の色で表示する
ことを特徴とする請求項２に記載の眼科情報処理装置。
【請求項６】
前記表示手段は、更に、前記複数フレームの眼科画像における前記変化量の最大値を表示することを特徴とする請求項１乃至５のいずれか１項に記載の眼科情報処理装置。
【請求項７】
連続撮影された複数フレームの眼科画像を処理する眼科情報処理装置の制御方法であって、
算出手段が、前記複数フレームの眼科画像における隣接するフレーム間の画素毎の輝度値の変化量を算出する算出ステップと、
表示手段が、眼科画像が表示される２次元座標の各画素の位置において、前記変化量が該変化量に応じた３次元方向の高さで表されるグラフを表示する表示ステップと、
を有することを特徴とする眼科情報処理装置の制御方法。
【請求項８】
コンピュータを、請求項１乃至６のいずれか１項に記載の眼科情報処理装置が有する各手段として機能させるためのプログラム。
【請求項１】
連続撮影された複数フレームの眼科画像を処理する眼科情報処理装置であって、
前記複数フレームの眼科画像における隣接するフレーム間の画素毎の輝度値の変化量を算出する算出手段と、
眼科画像が表示される２次元座標の各画素の位置において、前記変化量が該変化量に応じた３次元方向の高さで表されるグラフを表示する表示手段と、
を有することを特徴とする眼科情報処理装置。
【請求項２】
前記表示手段は、前記２次元座標上に前記複数フレームの眼科画像の代表画像を前記グラフと重畳して表示することを特徴とする請求項１に記載の眼科情報処理装置。
【請求項３】
前記複数フレームの眼科画像からまばたき画像を検出する検出手段を更に有し、
前記算出手段は、前記検出手段により検出されたまばたき画像を除外して、前記変化量を算出する
ことを特徴とする請求項１又は２に記載の眼科情報処理装置。
【請求項４】
前記グラフは前記変化量に応じて変化する色で表示されることを特徴とする請求項１乃至３のいずれか１項に記載の眼科情報処理装置。
【請求項５】
前記代表画像から血管の領域を抽出する抽出手段を更に有し、
前記表示手段は、前記抽出手段により抽出された血管の領域を所定の色で表示する
ことを特徴とする請求項２に記載の眼科情報処理装置。
【請求項６】
前記表示手段は、更に、前記複数フレームの眼科画像における前記変化量の最大値を表示することを特徴とする請求項１乃至５のいずれか１項に記載の眼科情報処理装置。
【請求項７】
連続撮影された複数フレームの眼科画像を処理する眼科情報処理装置の制御方法であって、
算出手段が、前記複数フレームの眼科画像における隣接するフレーム間の画素毎の輝度値の変化量を算出する算出ステップと、
表示手段が、眼科画像が表示される２次元座標の各画素の位置において、前記変化量が該変化量に応じた３次元方向の高さで表されるグラフを表示する表示ステップと、
を有することを特徴とする眼科情報処理装置の制御方法。
【請求項８】
コンピュータを、請求項１乃至６のいずれか１項に記載の眼科情報処理装置が有する各手段として機能させるためのプログラム。
【図１】
【図２】
【図３】
【図７】
【図４】
【図５】
【図６】
【図８】
【図９】
【図２】
【図３】
【図７】
【図４】
【図５】
【図６】
【図８】
【図９】
【公開番号】特開２０１２−１９６２４５（Ｐ２０１２−１９６２４５Ａ）
【公開日】平成２４年１０月１８日（２０１２．１０．１８）
【国際特許分類】
【出願番号】特願２０１１−６０６６５（Ｐ２０１１−６０６６５）
【出願日】平成２３年３月１８日（２０１１．３．１８）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年１０月１８日（２０１２．１０．１８）
【国際特許分類】
【出願日】平成２３年３月１８日（２０１１．３．１８）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]