説明

画像処理装置およびその制御方法

【課題】断層像の転送順序を適切に制御することで画像を利用できるまでの待ち時間を減らす。
【解決手段】第1の方向と第2の方向を含む面に平行で、第1および第2の方向とは異なる第3の方向に並ぶ複数の被検体断層像、または、該複数の被検体断層像を生成するための計測データで構成される断層像群を用いる画像処理装置は、断層像群を格納する格納部を有する。画像処理装置は、断層像群の中から、複数の断層像を特定し、特定された断層像、または該特定された断層像に隣接する所定数の断層像に、その他の断層像よりも高い優先度を設定する。そして、画像処理装置は、設定された優先度の高い順に格納部から断層像群を読み出し、後段の処理に提供する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、複数の断層像を用いる画像処理装置及びその制御方法に関する。
【背景技術】
【0002】
複数のデジタル画像からなる医療用の断層像群を複数保存するサーバと、該サーバと接続され、該サーバから転送された医療用の断層画像を利用する画像利用端末とからなる医療用断層画像表示システムが知られている。近年、医用画像は、各種モダリティの性能向上によって高解像度化し、画像データ量が増加している。そのため、画像群を保存しているサーバから画像利用端末への画像転送時間も増加している。そこで、画像利用端末において画像を利用できるまでの待ち時間を減らすことが望まれている。
【0003】
従来より、サーバと画像利用端末との間の転送時間を減らす工夫が行われている。例えば、画像群をデータ圧縮し、データ容量を減らしたうえで転送を行い、転送時間を減らす方法がある。また、特許文献1では、断層像の転送順序を単純な順序(例えば、ファイル名順)で決定するのではなく、利用される断層像を優先的に転送するように断層像の転送順序を変更して待ち時間を短縮することが提案されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2009−230755号公報
【特許文献2】特開2007−117714号公報(実施形態で参照される)
【特許文献3】特開2010−035607号公報(実施形態で参照される)
【特許文献4】特開平09−313447号公報(実施形態で参照される)
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかし、OCT(Optical Coherence Tomography:光干渉断層計)によって撮像された画像など、ノイズの多い画像はデータ圧縮率が低い。このようにノイズの多い画像にデータ圧縮を行って画像を転送した場合、データ圧縮時間、データ展開時間を加味すると、データ圧縮を行わないで転送を行う場合よりも転送時間が余計にかかってしまうことさえある。したがって、画像によっては、データ圧縮を行うことが転送処理に対して効果的でない場合がある。また、特許文献1に記載された手法では、入力の順序がある断層像の断層位置に近い順で決定されるので、その断層像から離れた断層位置の断層像の入力完了まで待ち時間が発生していた。そのため、重要な部位の断層像を利用しようとしたときに、必要な断層像の入力が完了しておらず、直ちに利用できない場合がある。
【0006】
本発明は上記の課題に鑑みてなされたものであり、断層像の転送順序を適切に制御することで画像を利用できるまでの待ち時間を減らすことを目的とする。
【課題を解決するための手段】
【0007】
上記の目的を達成するための本発明の一態様による画像処理装置は以下の構成を備える。すなわち、
第1の方向と第2の方向を含む面に平行で、前記第1の方向および前記第2の方向とは異なる第3の方向に並ぶ複数の被検体断層像、または、該複数の被検体断層像を生成するための計測データで構成される断層像群を用いる画像処理装置であって、
前記断層像群を格納する格納手段と、
前記断層像群の中から、複数の断層像を特定する特定手段と、
前記特定手段で特定された断層像、または該特定された断層像に平行に隣接する所定数の断層像に優先度を設定する設定手段と、
前記設定手段で設定された前記優先度の高い順に前記格納手段から前記断層像群を読み出す読み出し手段とを備える。
【発明の効果】
【0008】
本発明によれば、断層像の転送順序が適切に制御されるので、画像処理装置において画像を利用できるまでの待ち時間を減らすことができる。
【図面の簡単な説明】
【0009】
【図1】第1実施形態に係る眼科画像処理装置の構成例を示す図。
【図2】第1実施形態に係る断層像群の構成例を示す図。
【図3】第1実施形態に係る眼科画像処理装置の処理手順を示すフローチャート。
【図4】第1実施形態に係る位置リストの作成手順を示すフローチャート。
【図5】第1実施形態に係る位置リストの作成例を示す図。
【図6】第1実施形態に係る画像転送順序の決定手順を示すフローチャート。
【図7】第1実施形態に係る転送順序情報の例を示す図。
【図8】第2実施形態に係る眼科画像処理装置の機能構成を示す図。
【図9】第2実施形態に係る主走査方向、副走査方向を示す図。
【図10】第2実施形態に係る位置リストの作成手順および位置リストの例を示す図。
【図11】第2実施形態に係る画像群の構成例と画像の構成例を示す図。
【図12】第2実施形態に係る画像群の構成例と画像の構成例を示す図。
【図13】第2実施形態に係る画像群の構成例と画像の構成例を示す図。
【図14】第2実施形態に係る画像転送順序の決定例を示す図。
【発明を実施するための形態】
【0010】
以下、本発明の実施形態について、図面を用いて説明する。ただし、以下の記述は、本発明の画像処理装置を眼科画像処理装置に適用した場合の一例であり、本発明は以下の実施形態に限定されるものではない。
[第1実施形態]
【0011】
図1は第1実施形態による眼科画像処理装置の構成例を示す概略ブロック図である。図1に示すように第1実施形態による眼科画像処理装置は、医用分野におけるメディカルネットワークシステムである。CT、MRI、OCTなどの画像データを収録するための入力モダリティ1は、ネットワーク2を介して、入力モダリティ1において撮影された画像群を保管する画像サーバ3と接続される。画像サーバ3は、ネットワーク2を介して、画像サーバ3に保管された画像を利用する画像利用端末4と接続される。なお、図示したシステム構成に限られるものではなく、たとえば、入力モダリティ1と画像サーバ3を接続するネットワークと、画像サーバ3と画像利用端末4を接続するネットワークとは別個のものであっても良い。以上のように、本実施形態の眼科画像処理装置は、入力モダリティ1と画像サーバ3と画像利用端末4とがネットワーク2を介して接続された構成を有する。なお、画像サーバ3と画像利用端末4とは同じ装置に構成されてもよい。
【0012】
本実施形態ではモダリティ1を、網膜を対象に撮影するOCTとする。入力モダリティ1によって取得された被検体断層像(本実施形態では網膜の断層像)は、所定撮影領域の断面図の集合であり、図2のように、複数の2次元画像で構成される。ここではこのような2次元画像のことを断層像と呼ぶ。モダリティ1によって取得された複数の断層像の集合を、以下、断層像群D1と称する。本実施形態では、断層像群D1は、網膜に関わる複数の断層像Im_1,Im_2,Im_3・・・Im_Nからなるものとし、それぞれの断層像はこの順番で頭頂部側から首部側へ撮影されているものとする。断層像群D1は、第1の方向(本例では後頭部−顔面の方向)と第2の方向(本例では顔側面を結ぶ方向)を含む面に平行で、第1の方向および第2の方向とは異なる第3の方向(本例では頭頂部−首部の方向)に並ぶ、複数の被検体断層像からなる。また、本実施形態では説明のために、断層像Im_1の位置を1、断層像Im_2の位置を2というように、各断層像に頭頂部からの順序で1からインクリメントされた位置番号を各断層像に割り振る。なお、断層像群D1は、被検体断層像の集合としたが、被検体断層像の集合を生成するための計測データであっても良い。
【0013】
画像サーバ3において、CPU301は、ROM302またはRAM303に格納された制御プログラムにしたがって各種処理を実行する。格納部304には、上述した断層像群D1や、後述する位置リストL1、転送順序情報I1が格納される。インターフェース305は、画像サーバ3とネットワーク2を接続する。また、画像利用端末4において、CPU401は、ROM402またはRAM403に格納された制御プログラムにしたがって各種処理を実行する。画像サーバ3から転送された断層像は、ストレージデバイス404或いはRAM403に格納され、表示部406に表示される。
【0014】
本実施形態の眼科画像処理装置は、画像利用端末4において利用される可能性の高い複数の断層像を断層像群D1の中から特定するための複数の機能を備えている。本実施形態では、以下に説明する第1〜第5の5つの特定機能を有するものとし、以下にそれらの特定機能の具体的例を説明をする。
【0015】
(1)第1の特定機能:画像利用端末4上で動作しているプログラムにより、表示部406の画面上に断層像を指定するためのユーザインターフェースを提供し、このユーザインターフェースを介して操作者に所望の断層像の位置を指定させる。このようなユーザインターフェースは、たとえば、操作者が操作可能なスライダーを表示し、スライダーのサムの座標が0であれば断層像の位置が1であるIm_1を指定するなど、サムの座標と断層像の位置を対応付けることで実現できる。或いは、例えば特許文献2(特開2007−117714号公報)に記載されたようなGUIを用いて断層像を特定しても良い。
【0016】
(2)第2の特定機能:断層像群D1を解析して病変部を含む断層像を特定する。このような病変部を含む断層像を特定するための処理には、たとえば特許文献3(特開2010−035607号公報)に記載されているような、周知の方法を用いることができる。
【0017】
(3)第3の特定機能:断層像群D1を解析して被検体における特定の解剖学的な部位を含む断層像を特定する。本実施形態による第3の特定機能では、網膜断層像群から中心窩を含む断層像が特定される。
【0018】
(4)第4の特定機能:断層像群D1を解析して被検体における特定の解剖学的な部位を含む断層像を特定する。第4の特定機能では、網膜断層像群から視神経乳頭中心を含む断層像が特定される。なお、上述した第3、第4の特定機能において、断層像群D1から所定の解剖学的な位置を特定するための処理には、例えば特許文献4(特開平09−313447号公報)に記載されているような、周知の方法を用いることができる。
【0019】
(5)第5の特定機能:本システムの操作者が、予め、任意の断層像を特定する機能を備える。このような特定機能の実現には、画像サーバ3に任意の断層像を特定できる情報を保存しておけばよい。なお、「任意の断層像を特定する機能」とは、たとえばユーザが断層像群の1枚目を必ず優先的に入力したいといった場合に使用する機能である。このような第5の特定機能は、病変などの症例の特徴に依存しない断層像を入力する必要がある場合に利用できる。
【0020】
本実施形態の画像利用端末4は、以上の第1〜第5の特定機能の優先順位を示す優先順位情報を画像サーバ3に送信しておく。本実施形態の優先順位情報は、たとえば、第1〜第5の特定機能の順に優先順位を指定しているものとする。なお、優先順位情報の送信は、断層像の転送開始の要求時に送信するようにしても良い。また、画像サーバ3において各特定機能の優先順位を設定可能としても良いし、画像サーバ3が画像利用端末4における断層像の利用状態を監視して、特定機能の優先順位を変更するようにしても良い。また、転送開始の要求時に、第1の特定機能におけるスライダーのサムの座標が画像利用端末4から画像サーバ3に通知されるようにしても良い。
【0021】
以上のような前提において、本実施形態による眼科画像処理装置の動作について説明する。図3は本実施形態における眼科画像処理装置の処理手順を示すフローチャートである。なお、すでに入力モダリティ1で収録された網膜の断層像群D1と上記優先順位情報が画像サーバ3の格納部304に格納されているものとする。
【0022】
画像サーバ3は、画像を利用する画像利用端末4から、断層像群の転送開始の指示を受信すると、まず、ステップS101において位置リストL1を作成する。位置リストL1の作成では、断層像群D1の中から上記第1〜第5の特定機能により特定された断層像が率素に登録される。図4は第1実施形態における眼科画像処理装置の位置リストL1の作成手順を示すフローチャートである。位置リストL1には、上述した第1〜第5の特定機能により特定される断層像の位置が、上述した優先順位情報における優先順位の順に格納される。つまり、画像利用端末4のユーザインターフェースを介して指定された位置、病変を含む断層像の位置、中心窩を含む断層像の位置、視神経乳頭中心を含む断層像の位置、本システムの操作者が予め指定した断層像の位置が、優先順位の順に位置リストL1に格納される。
【0023】
なお、以上の位置リストL1への位置格納順序(優先順位)は画像利用端末4での利用可能性の高さによって決定されたものである。本例の場合、画像利用端末4のユーザインターフェースを介して指定された位置の断層像が、画像利用端末4において最も利用可能性が高いことを示す。よって、画像利用端末4での重要度によって優先順位情報における優先順位は変更され、これに従って位置リストL1への位置格納順序は変更され得る。例えば、第2の特定機能、第3の特定機能、第4の特定機能、第5の特定機能によって特定する位置とともに対応する利用可能性の高さの情報を画像サーバ3、もしくは画像利用端末4に保存しておき、それに従って格納順序を変更するようにしてもよい。なお、利用可能性の高さは、各特定機能について固定的に設定されているものとする。但し、利用可能性の高さをユーザが設定できるようにしても良い。そのようにすれば、緑内障や加齢黄斑変性などの症例に合わせて利用可能性の高さを設定することができる。また、上記例では、第1の特定機能は表示に利用される断層像を特定するものであり、ユーザへのレスポンスの良さという意味で常に最優先で固定されている。すなわち、第1の特定記憶の利用可能性が常に最も高くなるように設定されているものとし、第2〜第5の機能について離農可能性の高さが変更されるものとした。しかしながら、これに限られるものではなく、第1〜第5の特定機能について利用可能性の高さが変化するようにしても良い。なお、画像サーバ3に複数の画像利用端末が接続されている場合には、各端末毎に優先順位情報を設定できるようにしてもよい。
【0024】
ステップS101の一連の動作の一例について図4を参照して説明する。画像利用端末4のユーザインターフェースにより指定された断層像の位置が16、病変を含む断層像の位置が4と1、中心窩を含む断層像の位置が10、視神経乳頭中心を含む断層像の位置と本システムの操作者が予め指定した断層像の位置が無い場合の例を示す。なお、視神経乳頭中心を含む断層像の位置が無い場合というのは、たとえば計測データとして視神経乳頭中心を検出できなかった場合である。
【0025】
まずステップS201において、画像サーバ3のCPU301は、位置リストL1の格納番号1のレコードに、第1の特定機能で特定された位置に対応する断層位置である位置16を格納する。次にステップS202において、CPU301は、第2の特定機能で特定された断層位置(本例では4)を格納番号2のレコードに格納する。また、本例では、第2の特定機能により断層位置として1も特定されているため、CPU301は、格納番号3のレコードの断層位置番号として1を格納する。次にステップS203において、CPU301は、第3の特定機能により特定された断層像の断層位置番号である10を格納番号4のレコードに格納する。
【0026】
次にステップS204において、CPU301は、乳頭中心を含む断層像の位置を格納しようとするが、第4の特定機能による位置の情報が無いので、ステップS204はスキップする。最後にステップS205において、CPU301は、第5の特定機能により特定される位置(本システムの操作者が予め指定した断層像の位置)を格納しようとするが、位置の情報が無いので、ステップS205もスキップされる。図5は以上のような処理の結果として、作成された位置リストL1を示す。なお、優先順位情報における優先順位が変動したことによる格納順序の変更は、たとえば、変動後の優先順位にしたがって図4に示した処理の順序を入れ替えることで実現できる。
【0027】
次に、ステップS102において、CPU301は、断層像群D1における各断層像の転送順序を決定し、転送順序情報I1を生成する。ここでは、上述の処理により、位置リストL1に登録された断層像、または、登録された断層像に隣接する所定数の断層像に、その他の断層像よりも高い優先順位を設定して転送順序情報I1を生成する。図6は第1実施形態における断層像の転送順序の決定手順を示すフローチャートである。転送順序の決定において、CPU301は、位置リストL1に格納されている断層像の位置を格納順に参照し(S301、S303)、各位置周辺の任意の枚数の断層像に対応する位置に対して転送順序(入力優先度)の割り振りを試みる(S302)。周辺の断層像(すなわち、位置リストL1に特定された位置に隣接する所定数の断層像)の位置に転送順序を割り振るのは、参照された位置の周辺の断層像を画像利用端末4において利用する可能性が高いからである。
【0028】
例えば、第1の特定機能であるスライダーの操作は主に人が行うので、一度の操作でサムを所望の位置へ正確に移動させるのは難しい。そこで、サムの位置を微調整することになるが、微調整する可能性のある位置の断層像のデータが既に画像利用端末4に存在すれば、即座に画像の表示処理を行うことができる。よって、参照された位置の周辺の位置も転送順序に加えておくことが好ましい。しかし、参照された位置の周辺の断層像が利用されないのであれば、参照された位置のみに転送順序を割り振るようにしてもよい。また、このときの転送順序割り振りには、画像群D1の3次元的位置関係に基づいて、参照された位置に近い順に転送順序を決定する。例えば、3次元的位置関係に基づいて並んでいる断層像群D1に対して、位置リストL1より参照された位置がMであるとする。このとき、参照された位置周辺の5枚の断層像に転送順序を割り振る場合には、位置M、M−1、M+1、M−2、M+2にインクリメントされた転送順序を順番に割り振る。
【0029】
なお、以上の処理において、すでに転送順序が割り振られている位置に対しては、新たな転送順序の割り振りは行われない。また、存在しない断層像の位置は無視される。また、動作の結果、転送順序が割り振られなかった残りの位置については、画像利用端末4においてその位置に対応する断層像を利用しないのであれば転送順序は割り振られない。また、残りの位置の断層像を利用するのであれば、それらの転送順序を、例えば、位置の昇順に割り振って転送する。または、位置リストL1を再び参照し、利用可能性の高さに基づいた転送順序を割り振る。位置リストL1を再び参照する方法としては、たとえば、次のような手順が挙げられる。すなわち、各位置について割り振る枚数を倍にして(上記例では5枚であったので、10枚にする)再計算し、ステップS102では転送順序が割り振られなかった位置に再計算した値(転送順序)を割り振っていく。
【0030】
ステップS102の一連の動作の例を示す。ここでは、位置リストL1で特定されている断層像の位置の周辺5枚の断層像に転送順序を割り振るものとする。また、位置リストL1には、図5に示されるように断層位置番号が登録されているものとする。まず、位置リストL1の格納番号1における断層位置は16なので、位置16の周辺5枚の断層像、つまりIm_14〜Im_18に対応する位置に転送順序を割り振る。具体的には、位置16、15、17、14、18の順に転送順序1、2、3、4、5が割り振られる。つぎに、位置リストの格納番号2における位置は4なので、位置4、3、5、2、6の順に転送順序6、7、8、9、10が割り振られる。なお、転送順序(入力優先度)が設定済みとなっている断層位置番号はスキップする。位置リストL1の格納番号4まで動作を続け、作成された転送順序情報I1を図7に示す。
【0031】
次に、ステップS103〜S107において、CPU301は、ステップS102で決定された転送順序情報I1に従って断層像のデータ転送を行う。なお、転送途中に位置リストL1を作成した要素、つまり、第1〜第5の特定機能のいずれかによって特定される断層像の位置が変更された場合には、データ転送を一時停止する。特定される断層像の位置が変更されるケースとしては、たとえば、データの転送中に、ある部位を含む連続した断層像群が揃った時点で、特定機能の利用可能性(優先度)を変更した場合が挙げられる。或いは、第2〜第4の特定機能について別のアルゴリズムが導入されて、特定される断層像の位置が変更された場合が挙げられる。更には、第1〜第5の特定機能とは別個に用意されている別のアルゴリズム(たとえば第6の特定機能)が、より高い利用可能性が設定された状態で導入され、新たな断層像が特定されたような場合が挙げられる。そして、ステップS105、S106(ステップS101、S102と同様の処理)を実行し、転送順序情報I1を更新してからデータ転送を再開する。なお、S103〜S107のデータ転送においては、転送済みの断層像のデータの転送をスキップすることで転送完了時間の短縮を図る。転送済みの断層像の転送をスキップするには、たとえば、以下のようにすれば良い。すなわち、図7の転送順序情報I1の各断層位置番号に関して転送済みか否かを表すフラグを設ける。そして、転送が行われた場合にはそのフラグをオンにセットするようにすれば、断層像を転送する際に対応するフラグをチェックすることで転送済みかどうかを判断することができ、転送済みであれば当該断層像の転送をスキップすればよい。
【0032】
ステップ103の一連の動作の例を示す。ステップS102によって決定された転送順序を表す図7によると、入力優先度が示す順番にしたがって、Im_16、Im_15、Im_17、Im_14、Im_18、…Im_11、Im_8、Im_12の順にデータ転送が行われる。本実施形態のステップS101の動作例によると、画像利用端末4で表示する断層位置が16である。したがって、位置16に対応する断層像Im_16のデータ転送が完了した時点で、画像利用端末4はスライダのサム(第1の特定機能)で指定された画面に断層像の表示処理を開始することができる。
【0033】
なお、ステップS101,S102の処理は、画像利用端末4からの画像転送開始等の指示に関わらず、断層像群を取得した時点で画像サーバが前もって実行するようにしても良い。また、本実施形態では、各特定機能毎に5枚の断層像に優先順位を割り当てたが、その枚数はこれに限られるものではない。また、特定機能毎に、何枚の断層像に優先順位を設定するかが異なっていても良い。更に、特定機能毎に、優先順位を設定する断層像の枚数を設定できるようにしても良い。
【0034】
以上のような第1実施形態によれば、断層像群の転送が開始されてから、画像を利用開始できるまでの時間を減少させることができる。特に、画像群からある1枚の画像を画像利用端末4にて表示する際には、上記実施形態によれば、必要な画像を最初に転送することができる。そのため、従来手法のように画像ファイル名順の最初の画像から順に転送する方法と比べて、画像を利用開始できるまでの時間が大幅に短縮できる。
[第2実施形態]
【0035】
図8は第2実施形態による眼科画像処理装置の構成を示す概略ブロック図である。図8に示すように第2実施形態による眼科画像処理装置は、医用分野におけるメディカルシステムである。CT、MRI、OCTなどの画像データを収録するための入力モダリティ1で撮影された画像データは、画像利用端末4に内蔵されるストレージデバイス404に保存されている。そして、画像利用端末4上では画像の表示を行うプログラム411が動作している。第2実施形態では図8に示すような構成(画像サーバ3と画像利用端末4を一体とした構成)を用いて説明するが、第1実施形態のような利用端末とサーバをネットワークで接続した構成にも適用可能であることは明らかである。その場合、ストレージデバイス404の代わりに画像サーバ3が、ネットワーク2を介して断層像を提供することになる。
【0036】
第2実施形態においても、第1実施形態と同様に入力モダリティ1を、網膜を対象に撮影するOCTとする。入力モダリティ1によって撮影された画像は、所定撮影領域の断面図の集合であり、図9のように、複数の断層像(2次元画像)で構成される断層像群D2である。断層像群D2は複数の断層像Im_1,Im_2,Im_3・・・Im_Nからなるものとし、それぞれの断層像はこの順番で頭頂部側から首部側へ撮影されている。
【0037】
また、図9では、本実施形態における主走査方向と副走査方向が示されている。網膜を撮影した断層像群の向きを、頭頂部方向を上に、首部方向を下に、顔面部方向を手前に配置したとき、横方向(上述の第2の方向)が主走査方向で、縦方向(上述の第3の方向)が副走査方向である。本実施形態では、図9に示す、主走査方向と副走査方向の起点を手前側左上としたときに、主走査方向の座標の値をx、副走査方向の座標の値をyとする。
【0038】
例として、図11〜図13断層像群は3枚の断層像Im_1、Im_2、Im_3で構成されており、各断層像の幅が4ピクセル、高さが3ピクセルからなる2次元画像であるとする。図11はy=1の断層像に相当するIm_1の、断層像群D2における位置と断層像を構成する画素データを示す詳細図である。同様に、図12は、y=2の断層像に相当するIm_2の詳細図、図13はy=3の断層像に相当するIm_3の詳細図である。例えば、プログラム411において、y=1の断層像が必要な場合には、Im_1を構成するピクセルの持つ値v1、v2、v3、〜、v12をストレージデバイス404から転送し、プログラム411にて断層像へ再構成する。また、プログラム411において、x=1の断層像が必要な場合には、Im_1,Im_2,Im_3のそれぞれにおけるx=1列を構成するピクセルの持つ値をストレージデバイス8から転送する。具体的には、値v1、v5、v9、v13、v17、v21、v25、v29、v33をストレージデバイス8から転送し、プログラム411にて断層像へ再構成する。
【0039】
第2実施形態では、主走査方向の断層像という場合には、Im_1などの断層像群を構成する断層像そのものを示し、yの座標によって位置を示す。また、副走査方向の断層像という場合には、主走査方向と垂直に交わり、面が耳部側を向く断層像を示し、xの座標によってその位置を示す。
【0040】
第2実施形態の眼科画像処理装置は、プログラム411において利用される可能性能が高い断層像の位置を断層像群D2の中から特定する機能を複数(本例では第1〜第3の特定機能)備えている。以上のように第2実施形態では、断層像群D2により構成され得る3次元の断層像データから、複数の特定機能により任意の面に平行な断層像を特定する。本実施形態では、位置リストL2には3次元の空間において、第1及び第2の方向を含む面に平行な断層像と、第1及び第3の方向を含む面に平行な断層像とを特定するものとする。以下にそれら第1〜第3の特定機能について説明する。
【0041】
第1の特定機能:画像利用端末4上で動作しているプログラム411が表示部406の画面に提供するユーザインターフェースにより、主走査方向の座標値を特定する。たとえば、主走査方向の座標X1を特定するための第1のスライダーが提供される。第1の特定機能の実現方法としては、スライダーのサムの座標が0であればx=1を特定するなど、サムの座標と主走査方向の座標の値xを対応付ければよい。
【0042】
第2の特定機能:画像利用端末4上で動作しているプログラム411が表示部406の画面に提供するユーザインターフェースにより、副走査方向の座標値を特定する。たとえば、副走査方向の座標Y1を特定するための第2のスライダーが提供される。第2の特定機能の実現方法としては、スライダーのサムの座標が0であればy=1を特定するなど、サムの座標と副走査方向の座標の値yを対応付ければよい。なお、本実施形態では、プログラム411は、第1の特定機能によって特定したx=X1の断層像と第2の特定機能によって特定したy=Y1の断層像の2つの画像を画面に表示する。
【0043】
第3の特定機能:断層像群D2を解析して被検体における特定の解剖学的な部位を含む断層像を特定する。例えば、特許文献4(特開平09−313447号公報)の方法を用いて、視神経乳頭中心を含む副走査方向の断層像と主走査方向の断層像を特定し、副走査方向の断層像の座標X2と主走査方向の断層像の座標Y2を出力する。
【0044】
以上のような前提において、第2実施形態の動作について、図3のフローチャートを流用して説明する。なお、すでに入力モダリティ1で収録された網膜の断層像群D2、第3の特定機能が断層像群D2を解析処理した結果として得られた座標X2とY2が、画像利用端末4の格納部であるストレージデバイス404に保存されているものとする。
【0045】
画像を利用するプログラム411によって画像群の転送開始が指示されると、画像利用端末4のCPU401は、ステップS101において位置リストL2の作成を行う。図10の(a)は第2実施形態における眼科画像処理装置の位置リストL2の作成手順を示すフローチャートである。第2実施形態の位置リストL2は1つのレコードに主走査方向の座標xと副走査方向の座標yを格納できる。まず、格納番号1のレコードのxに第1の特定機能が特定する座標X1を格納し、yに第2の特定機能が特定する座標Y1を格納する。次に、格納番号2のレコードのxに第3の特定機能が特定する座標X2を格納し、yに第3の特定機能が特定する座標Y2を格納する。以上の、位置リストL2への座標格納順序はプログラム411での利用可能性の高さによって決定されたものである。つまり、この場合、プログラム411で表示される副走査方向の断層像と主走査方向の断層像がプログラム411において利用可能性が高いことを示す。第1実施形態と同様に、位置リストL2の座標格納順序は変更可能であり、たとえばプログラム411での重要度によって座標格納順序が変更される。
【0046】
ステップS101による位置リストL2の生成動作の例を示す。プログラム411が提供するユーザインターフェース、すなわち第1、第2の特定機能によって特定された断層像をx=2の断層像とy=3の断層像の2つとする。また、第3の特定機能によって特定された視神経乳頭中心の座標がx=1、y=1の場合の例を示す。まず、ステップS501において、位置リストの格納番号1のレコードに、x=2、y=3のレコードが格納される。次に、ステップS502において、格納番号2のレコードにx=1、y=1のレコードが格納される。図10の(b)は以上の結果、作成された位置リストL2のデータ構成例を示す。
【0047】
次に、ステップS102において、転送順序の決定を行う。転送順序情報の設定においては、位置リストL2で特定された断層像、または該特定された断層像に平行に隣接する所定数の断層像に、その他の断層像よりも高い優先度が設定される。すなわち、転送順序の決定には位置リストL2に格納されている断層像の座標が格納順に参照され、各座標の周辺の、任意の枚数の断層像の座標に対して転送順序を割り振り、転送順序情報I2を生成する。周辺の断層像の座標に転送順序を割り振るのは、参照された座標の周辺の断層像をプログラム411において利用する可能性が高いからである。例えば、第1の特定機能である第1のスライダーの操作は主に人が行うので、一度の操作でサムを任意の位置へ正確に移動させるのは難しい。そこで、サムの位置を微調整することになるが、微調整する可能性のある座標の断層像のデータが既にプログラム411の参照できるメモリ上に存在すれば、即座に画像の表示処理を行うことができる。よって、参照された座標の周辺の座標を転送順序に加えておくべきである。しかし、参照された座標の周辺の断層像が利用されないのであれば、参照された座標のみに転送順序を割り振る。
【0048】
このときの転送順序割り振りでは、断層像群D2の3次元的位置関係に基づいて、参照された座標に近い順に転送順序を決定する。例えば、3次元的位置関係に基づいて並んでいる断層像群D2に対して、位置リストL2に格納されているレコードがx=X、y=Yで、座標周辺の3枚の断層像に転送順序を割り振る場合を説明する。この場合には、座標がx=X、y=Y,x=X−1、y=Y−1、x=X+1、y=Y+1の断層像に、順にインクリメントした転送順序が順番に割り振られる。ここでは、座標に転送順序を主走査方向の座標と副走査方向面の座標で交互に割り振っているが、その割り振り順序はプログラム411の利用方法に合わせて変更してもよい。例えば、プログラム411において、副走査方向の断層像を優先的に利用する場合には、x=X、x=X−1、x=X+1、y=Y、y=Y−1、y=Y+1の断層像に、順に転送順序を割り振ってもよい。
【0049】
以上の処理で、すでに転送順序が割り振られている座標には、新たに転送順序を割り振らない。また、存在しない座標は無視する。なお、動作の結果、転送順序が割り振られなかった座標については、プログラム411において、その座標に対応する断層像を利用しないのであれば、転送順序を割り振らない。利用するのであれば、転送順序を割り振る。例えば、副走査方向の座標の昇順に転送順序を割り振る。または、位置リストL2を再び参照し、利用可能性の高さに基づいた転送順序を割り振る。
【0050】
ステップS402の一連の動作の例を示す。例として、断層像群は3枚の断層像Im_1、Im_2、Im_3で構成されており、各断層像の幅が4ピクセル、高さが3ピクセルの2次元画像の場合を挙げる。図11はy=1の断層像に相当するIm_1の、断層像群における位置と断層像を構成する画素データを示す詳細図であり、続けて、図12がy=2の断層像に相当するIm_2の詳細図、図13がy=3の断層像に相当するIm_3の詳細図である。また、1つの座標の周辺3枚の断層像に対応する座標に転送順序を割り振るものとする。さらに、位置リストには図10の(b)に示される位置リストを用いる。
【0051】
まず、位置リストの格納番号1における座標x=2、y=3の周辺3枚の断層像に転送順序の割り振りを試みる。具体的には、x=2、y=3、x=1、y=2、x=3の断層像に、順に転送順序1、2、3、4、5が割り振られる。つぎに、位置リストの格納番号2における座標はx=1、y=1なので、転送順序の割り振られていないy=1の断層像に転送順序6が割り振られる。以上の動作を続け、作成された転送順序情報の例を図14に示す。
【0052】
最後に、ステップS403において、ステップS402で決定された転送順序に従って断層像のデータ転送を行う。、ステップS403において、第1及び第3の方向を含む面に平行な断層像をストレージデバイス404から読み出す際には、断層像群D2の各断層像から当該断層像を構成する部分の画像が読み出される(詳細は後述)。転送途中に位置リストL2を作成した要素、つまり、第1〜第3の特定機能により特定される断層像の座標のいずれかが変更された場合には、データ転送を一時停止し、ステップS101、ステップS102と同様の処理を行う(ステップS105,S106)。そして、位置リストの変更が完了すると、データ転送が再開される。画像データ転送の再開後は、転送済みの断層像データについては転送をスキップすることにより、転送完了までの時間の短縮を図る。
【0053】
本実施形態では、主走査方向と副走査方向の2つの断層像が垂直に交わるので、交わった位置に共有の画素が存在する。そのため、主走査方向の断層像を転送した後に、副走査方向の断層像を転送すると、共有の画素のデータが再転送され、冗長となる。そこで、共有の画素のデータは再転送しないことで、転送時間の短縮を図る。
【0054】
ステップ403の一連の動作の例を示す。ステップS402によって決定された転送順序を表す図14によると、x=2、y=3、x=1、y=2、x=3、y=1の断層像の順にデータ転送が行われる。例として、断層像群は3枚の断層像Im_1、Im_2、Im_3で構成されており、各断層像の幅が4ピクセル、高さが3ピクセルの2次元画像の場合を挙げる。図11はy=1の断層像に相当するIm_1の、断層像群における位置と断層像を構成する画素データを示す詳細図である。同様に、図12がy=2の断層像に相当するIm_2の詳細図、図13がy=3の断層像に相当するIm_3の詳細図である。また、この例では冗長な画素のデータは再転送しない。
【0055】
まず、転送順序1に特定されるx=2の断層像に必要な画素のデータは、v2、v6、v10、v14、v18、v22、v26、v30、v34であり、これらを転送する。次に、転送順序2に特定されるy=3の断層像に必要な画素のデータは、v25、v27、v28、v29、v31、v32、v33、v35、v36であり、これらを転送する。次に、転送順序3に特定されるx=1の断層像に必要な画素のデータは、v1、v5、v9、v13、v17、v21であり、これらを転送する。
【0056】
次に、転送順序4に特定されるy=2の断層像に必要な画素のデータは、v15、v16、v19、v20、v23、v24であり、これらを転送する。次に、転送順序5に特定されるx=3の断層像に必要な画素のデータは、v3、v7、v11であり、これらを転送する。次に、転送順序6に特定されるy=1の断層像に必要な画素のデータは、v4、v8、v12であり、これらを転送する。本実施形態のステップS101の動作例によると、プログラム411によって表示される断層像は、x=2と、y=3の座標のものであることから、画素のデータv2、v6、v10、v14、v18、v22、v26、v30、v34、v25、v27、v28、v29、v31、v32、v33、v35、v36のデータ転送が完了した時点で、プログラム411は表示部406の画面上に2つの断層像の表示処理を開始することができる。
【0057】
(その他の実施形態)
上記実施形態は、入力モダリティにOCTを採用して本発明を実現したものである。しかし、本発明の実施形態はCTやMRIなどの他の入力モダリティに対しても同様の効果を得ることができる。
また、本発明の実施形態は画像の転送のみに限らず、画像に対応した計測結果の転送でも良い。具体的には、画像の形状を再現できるベクター画像や、網膜の厚みを計測したグラフの座標情報などが挙げられる。
【0058】
上記実施形態では画像利用端末4での画像利用方法として断層像の表示を例に挙げたが、本発明は表示に限らず、断層像の計測処理など、画像利用端末4における画像処理全般に適用できる。必要な断層像群がいち早く揃うことで、処理を開始できるまでの待ち時間を短縮できる。
また、上記第1実施形態では、転送順序を転送開始処理後に決定しているが、断層像群D1を保存している画像サーバ3が予め、計測処理を行い、転送順序を決定することで、ステップS101,ステップS102の処理をスキップできる。
【0059】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。

【特許請求の範囲】
【請求項1】
第1の方向と第2の方向を含む面に平行で、前記第1の方向および前記第2の方向とは異なる第3の方向に並ぶ複数の被検体断層像、または、該複数の被検体断層像を生成するための計測データで構成される断層像群を用いる画像処理装置であって、
前記断層像群を格納する格納手段と、
前記断層像群の中から、複数の断層像を特定する特定手段と、
前記特定手段で特定された断層像、または該特定された断層像に平行に隣接する所定数の断層像に優先度を設定する設定手段と、
前記設定手段で設定された前記優先度の高い順に前記格納手段から前記断層像群を読み出す読み出し手段とを備えることを特徴とする画像処理装置。
【請求項2】
前記特定手段は、前記複数の断層像を異なる方法を用いて特定することを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記特定手段は、前記複数の断層像の一つとして、前記断層像群から所定の解剖学的な部位に対応する断層像を特定することを特徴とする請求項1または2に記載の画像処理装置。
【請求項4】
前記特定手段は、前記複数の断層像の一つとして、前記断層像群から病変部に対応する断層像を特定することを特徴とする請求項1乃至3のいずれか1項に記載の画像処理装置。
【請求項5】
前記特定手段は、任意の断層像を指定するためのユーザインターフェースを提供し、前記ユーザインターフェースを介して操作者が指定した断層像を、前記複数の断層像の一つとして特定することを特徴とする請求項1乃至4のいずれか1項に記載の画像処理装置。
【請求項6】
前記設定手段は、前記所定数の断層像に対して、前記特定手段によって特定された断層像に近い順に優先度を高く設定することを特徴とする請求項1乃至5のいずれか1項に記載の画像処理装置。
【請求項7】
前記特定手段は、さらに、前記断層像群により構成される3次元の空間において、前記第1及び第2の方向を含む面に平行な断層像と、前記第1及び第3の方向を含む面に平行な断層像とを特定し、
前記読み出し手段は、前記第1及び第3の方向を含む面に平行な断層像を読み出す場合には、前記断層像群の各断層像から当該断層像を構成する部分の画像を読み出すことを特徴とする請求項1乃至6のいずれか1項に記載の画像処理装置。
【請求項8】
前記特定手段によって特定される断層像が変更された場合には、前記設定手段は前記特定手段によって新たに特定された断層像にしたがって優先順位の設定をやり直し、
前記読み出し手段は、読み込み済みの断層像を除いて、前記設定手段で設定された前記優先度の高い順に前記格納手段から前記断層像群を読み出すことを特徴とする請求項1乃至7のいずれか1項に記載の画像処理装置。
【請求項9】
前記画像処理装置は、前記断層像群を利用する端末装置と、前記格納手段を具備した画像サーバとを有し、前記画像サーバと前記端末装置とはネットワークを介して接続され、
前記読み出し手段で読み出された断層像群は前記ネットワークを介して前記画像サーバから前記端末装置へ送信されることを特徴とする請求項1乃至8のいずれか1項に記載の画像処理装置。
【請求項10】
第1の方向と第2の方向を含む面に平行で、前記第1の方向および前記第2の方向とは異なる第3の方向に並ぶ複数の被検体断層像、または、該複数の被検体断層像を生成するための計測データで構成される断層像群を格納した格納手段を備える画像処理装置の制御方法であって、
特定手段が、前記断層像群の中から、複数の断層像を特定する特定工程と、
設定手段が、前記特定工程で特定された断層像、または該特定された断層像に平行に隣接する所定数の断層像に優先度を設定する設定工程と、
読み出し手段が、前記設定工程で設定された前記優先度の高い順に前記格納手段から前記断層像群を読み出す読み出し工程とを有することを特徴とする画像処理装置の制御方法。
【請求項11】
コンピュータを、請求項1乃至9のいずれか1項に記載された画像処理装置の各手段として機能させるプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate


【公開番号】特開2012−50625(P2012−50625A)
【公開日】平成24年3月15日(2012.3.15)
【国際特許分類】
【出願番号】特願2010−195070(P2010−195070)
【出願日】平成22年8月31日(2010.8.31)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】