クライアント装置、サーバ装置およびボリュームデータ伝送システム
【課題】ネットワーク側から取得する利用可能伝送帯域、利用者が指定する表示要求時間の制約がある条件下で、できるだけ高画質の画像を表示する。
【解決手段】ファイル伝送型画像伝送方式または部分伝送型画像伝送方式のいずれか一方を選択する伝送プロトコル決定部２０１ｂと、部分伝送型画像伝送方式を選択した場合、表示対象となるボリュームデータの伝送に要する時間を予測し、予測した時間内で伝送および表示可能な最大の解像度を決定する伝送要求ブロック決定部２０１ｅと、ファイル伝送型画像伝送方式を選択した場合は、選択したボリュームデータのすべてを伝送する旨の要求をサーバ装置に対して行なう一方、部分伝送型画像伝送方式を選択した場合は、決定された解像度を有する表示対象となるボリュームデータを伝送する旨の要求をサーバ装置に対して行なう部分伝送ブロック要求・受信部２０１ｆと、を備える。
【解決手段】ファイル伝送型画像伝送方式または部分伝送型画像伝送方式のいずれか一方を選択する伝送プロトコル決定部２０１ｂと、部分伝送型画像伝送方式を選択した場合、表示対象となるボリュームデータの伝送に要する時間を予測し、予測した時間内で伝送および表示可能な最大の解像度を決定する伝送要求ブロック決定部２０１ｅと、ファイル伝送型画像伝送方式を選択した場合は、選択したボリュームデータのすべてを伝送する旨の要求をサーバ装置に対して行なう一方、部分伝送型画像伝送方式を選択した場合は、決定された解像度を有する表示対象となるボリュームデータを伝送する旨の要求をサーバ装置に対して行なう部分伝送ブロック要求・受信部２０１ｆと、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、本発明は、ＣＴやＭＲＩなどの医療用ボリュームデータ（３次元画像データ）をネットワーク上で利用する際に、複数のサムネイル（縮小画像）を利用者の要求時間内に表示する技術に関する。
【背景技術】
【０００２】
従来から、医療用ボリュームデータの圧縮として、３次元ウェーブレット変換を用いた符号化方式が知られている。一例として、静止画像符号化の国際標準であるＪＰＥＧ２０００では、３次元ボリュームデータの符号化に関する検討が進んでいる。
【０００３】
ボリュームデータの伝送方式としては、単純にファイルを伝送するもののほかに、上記３次元ウェーブレット変換符号化ファイルの一部を伝送して、受信側でこれを復号することにより、部分的な３次元ウェーブレット変換係数を再生し、これを逆変換することにより、画像を再生することができる。ただし、低周波数成分に相当するウェーブレット変換係数しか送っていない場合は、解像度の低い画像が再生される。また、空間的に画像の一部に相当するウェーブレット変換係数しか送っていない場合は、画像の一部が再生される。
【非特許文献１】Ｓｃｈｅｌｋｅｎｓ， Ｐ． Ｍｕｎｔｅａｎｕ， Ａ． Ｔｚａｎｎｅｓ， Ａ． Ｂｒｉｓｌａｗｎ， Ｃ． “ＪＰＥＧ２０００． Ｐａｒｔ １０． Ｖｏｌｕｍｅｔｒｉｃ ｄａｔａ ｅｎｃｏｄｉｎｇ”， Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｃｉｒｃｕｉｔｓ ａｎｄ Ｓｙｓｔｅｍｓ， ｐｐ．３８７４−３８７７， Ｍａｙ． ２００６．
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ＣＴ、ＭＲＩにより取得される医療用ボリュームデータは、データ量が膨大であるため、それらをネットワーク上で利用する際に遅延を生じる。データ量を圧縮するための符号化を行なったとしても、すべてのデータを送るとすると多大な時間を要する。画質に関して階層化をおこなう階層符号化を行なったとしても、一般に伝送帯域の制約下において、送りたいボリュームデータファイル、そこに含まれる画像枚数、伝送する品質階層（解像度など）が決まれば、自動的にデータ伝送・表示に要する時間が決まる。医療のアプリケーションを考えた場合、画像伝送装置の利用者である医師の要求を満足させるための表示時間のようなものがあると考えられる。利用者が表示要求時間を指定しても、その要求を満たせない場合がある。
【０００５】
本発明は、このような事情に鑑みてなされたもので、ネットワーク側から取得する利用可能伝送帯域、利用者が指定する表示要求時間の制約がある条件下で、できるだけ高画質の画像を表示することができるクライアント装置、サーバ装置およびボリュームデータ伝送システムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
（１）上記の目的を達成するために、本発明は、以下のような手段を講じた。すなわち、本発明のクライアント装置は、クライアント装置が、記録媒体に記録されているボリュームデータの伝送をサーバ装置に対して要求し、サーバ装置が、前記要求されたボリュームデータを前記クライアント装置へ伝送するボリュームデータ伝送システムに適用されるクライアント装置であって、伝送を要求するボリュームデータを選択するファイル選択部と、前記選択したボリュームデータを前記サーバ装置から取得する際の方式として、予め定められた基準に基づいて、前記選択したボリュームデータのすべてを伝送するファイル伝送型画像伝送方式または前記選択したボリュームデータの一部を伝送する部分伝送型画像伝送方式のいずれか一方を選択する伝送プロトコル決定部と、前記伝送プロトコル決定部が前記部分伝送型画像伝送方式を選択した場合、表示対象となるボリュームデータの伝送に要する時間を予測し、予測した時間内で伝送および表示可能な最大の解像度を決定する伝送要求ブロック決定部と、前記伝送プロトコル決定部がファイル伝送型画像伝送方式を選択した場合は、前記選択したボリュームデータのすべてを伝送する旨の要求を前記サーバ装置に対して行なう一方、前記伝送プロトコル決定部が前記部分伝送型画像伝送方式を選択した場合は、前記決定された解像度を有する表示対象となるボリュームデータを伝送する旨の要求を前記サーバ装置に対して行なう伝送要求部と、を備えることを特徴としている。
【０００７】
この構成により、ボリュームデータ表示装置のサムネイル画面の初期表示において、利用者の設定する表示要求時間内に、可能な限り高解像度のサムネイル画像を表示することができる。
【０００８】
（２）また、本発明のクライアント装置において、前記伝送プロトコル決定部は、前記選択したボリュームデータのすべてを伝送するために要する時間を予測し、要求時間内に前記選択したボリュームデータのすべてを伝送可能である場合は、前記ファイル伝送型画像伝送方式を選択する一方、要求時間内に前記選択したボリュームデータのすべてを伝送可能でない場合は、前記部分伝送型画像伝送方式を選択することを特徴としている。
【０００９】
この構成により、利用者の設定する表示要求時間内に、可能な限り高解像度のサムネイル画像を表示することができる。
【００１０】
（３）また、本発明のクライアント装置において、前記伝送要求ブロック決定部は、前記選択したボリュームデータに関心領域（ＲＯＩ：Region Of Interest）が設定されている場合は、前記関心領域に含まれるボリュームデータが、前記関心領域に含まれないボリュームデータよりも高解像度または高ビット精度で伝送されるように、伝送の階層を決定することを特徴としている。
【００１１】
この構成により、ボリュームデータにＲＯＩが設定されている場合には、ＲＯＩ内の画像をより高解像度に表示することが可能となる。
【００１２】
（４）また、本発明のクライアント装置において、前記伝送要求ブロック決定部は、前記選択したボリュームデータのうち、初期表示で必要なボリュームデータのみを要求対象に決定することを特徴としている。
【００１３】
この構成により、初期表示時に表示されない画像に対する符号化ブロックを伝送する必要が無くなり、逆に、表示対象とする画像に対しては、表示要求時間内により多くの符号化ブロックを伝送することができ、より高解像度での表示が可能となる。
【００１４】
（５）また、本発明のクライアント装置において、前記伝送要求ブロック決定部は、前記選択したボリュームデータのうち、初期表示以降で必要なボリュームデータを、最低解像度で要求する決定を行なうことを特徴としている。
【００１５】
この構成により、初期表示後、例えば、画面のスクロール操作があった場合にも、初期表示画像以外の画像については、最低解像度のサムネイル（ボリュームデータ）を瞬時に表示することができる。これにより、利用者が待機させられることによるストレスを軽減させることができる。
【００１６】
（６）また、本発明のクライアント装置において、前記伝送要求ブロック決定部は、前記最低解像度のボリュームデータを要求した後、ユーザインタフェース部からの要求に応じて、バックグラウンドで前記最低解像度のボリュームデータと同じボリュームデータをより高い解像度で要求する決定を行なうことを特徴としている。
【００１７】
この構成により、当初は解像度の低い画像が表示されるが、次第に解像度の高い画像を表示することができる。これにより、利用者が待機させられることによるストレスを軽減させることができる。
【００１８】
（７）また、本発明のクライアント装置において、前記伝送要求部は、前記サーバ装置との間で、前記選択したボリュームデータの送受信を行なった時間を測定し、前記伝送要求ブロック決定部は、前記測定された時間に基づいて、表示対象となるボリュームデータの伝送に要する時間を予測することを特徴としている。
【００１９】
この構成により、予め測定した伝送時間を利用することができるので、伝送要求ブロック決定部における伝送時間の予測を迅速に行なうことが可能となる。
【００２０】
（８）また、本発明のサーバ装置は、請求項１から請求項７のいずれかに記載のクライアント装置からの要求に応じて、前記記録媒体からボリュームデータを読み出して、要求されたボリュームデータのすべてを伝送するファイル伝送型画像伝送方式または要求されたボリュームデータの一部を伝送する部分伝送型画像伝送方式のいずれか一方で、ボリュームデータのすべてまたは一部を前記クライアント装置へ伝送することを特徴としている。
【００２１】
この構成により、ボリュームデータ表示装置のサムネイル画面の初期表示において、利用者の設定する表示要求時間内に、可能な限り高解像度のサムネイル画像を表示することができる。
【００２２】
（９）また、本発明のボリュームデータ伝送システムは、請求項１から請求項７のいずれかに記載のクライアント装置と、請求項８記載のサーバ装置と、から構成されることを特徴としている。
【００２３】
この構成により、ボリュームデータ表示装置のサムネイル画面の初期表示において、利用者の設定する表示要求時間内に、可能な限り高解像度のサムネイル画像を表示することができる。
【発明の効果】
【００２４】
本発明によれば、ボリュームデータ表示装置のサムネイル画面の初期表示において、利用者の設定する表示要求時間内に、可能な限り高解像度のサムネイル画像を表示することができる。
【発明を実施するための最良の形態】
【００２５】
本実施形態では、セキュリティや信頼性を考慮し、アプリケーションが通信を開始する際に、ネットワーク側が伝送に必要な伝送帯域を確保するタイプの医療専用のネットワークを想定する。本ネットワークにおいては、毎回利用可能なネットワーク帯域が異なる可能性があるが、ネットワーク側から、ほぼリアルタイムで使える伝送帯域幅の情報が取得できるものとする。
【００２６】
図１は、本実施形態に係るボリュームデータ伝送システムの概略構成を示す図である。ネットワークＮを介して、サーバ装置１００とクライアント装置２００とが接続されている。サーバ装置１００は、符号化部１０１、記憶媒体１０２、およびサーバ伝送部１０３を備える。クライアント装置２００は、クライアント伝送部２０１、復号部２０２、および表示部２０３を備える。なお、表示部２０３は、ユーザインタフェース部を含む。サーバ装置１００の符号化部１０１は、ボリュームデータを３次元ウェーブレット変換符号化する。
【００２７】
（３次元ウェーブレット変換）
ボリュームデータは、２次元画像（ｘｙ平面画像：スライス画像）の複数の集合であると考える。スライス画像の重なりの方向をｚ方向とする。３次元ウェーブレット変換は、ボリュームデータに対し、図２に示すｘｙ方向のウェーブレット変換および図３に示すｚ方向のウェーブレット変換を施すものとする。３次元ウェーブレット変換符号化においては、図４に示すように、３次元ウェーブレット変換されたサブバンドブロック内の変換係数を、符号化の単位である小領域の直方体ブロックに分割する。この直方体ブロックを符号化ブロックと呼ぶ。この符号化ブロックごとに、エントロピー符号化により符号を生成し情報量の圧縮を行なう。
【００２８】
ｘｙ方向の低周波数サブバンドに対応する符号を伝送・復号してｘｙ方向の低周波数サブバンド内の変換係数が再生される。これをｚ方向に逆ウェーブレット変換することでｘｙの低周波数のみを含んだ画像、つまり解像度の小さい画像が再生される。図５に示すように、これをサムネイル（縮小画像）として利用することが可能である。
【００２９】
一番低い周波数成分だけではなく、より高い周波数成分を加えて伝送し、同様にｚ方向に逆ウェーブレット変換し、さらにこれを低周波数成分と併せてｘｙ方向に逆ウェーブレット変換することにより、より解像度の高いサムネイルが得られる。
【００３０】
（表示装置のユーザインタフェース）
ＣＴ、ＭＲＩなどのボリュームデータ表示装置の一般的なユーザインタフェースを、図６に示す。複数枚の画像を同時に一画面に表示する画面があり、この画面をサムネイル画面と呼ぶ。ここでは、表示画像としてサムネイルを表示することを想定する。利用者の一般的な操作としては、表示されているサムネイルの範囲をスクロールにより変更したり、特定のサムネイルを指定して画像を拡大したりするものである。ここでは、サムネイル画面の最初の表示において、利用者が要求する表示要求時間をあらかじめ設定しておき、その時間内に出来るだけ解像度の高いサムネイル画面の表示を完了することを本発明の目的とする。
【００３１】
画像の伝送方式としては、ファイル転送型画像伝送方式と部分伝送型画像伝送方式の２つを適応的に切り替えて用いる。
【００３２】
（ファイル転送型画像伝送方式）
ファイル転送型画像伝送方式では、対象のボリュームデータの符号ファイルをすべて転送した後、符号ファイルの復号を行ない、画像を再生・表示する。一般的な画像システムでは、このタイプの伝送表示が行われる。伝送処理と復号処理が分離できるため実装も簡単である。しかし、再生ファイルの転送が終わるまで画像の再生・表示が行われないので、ファイルサイズが大きい場合には、表示までに時間を要する。前述の３次元ウェーブレット変換を施したボリュームデータでは、特定検査のすべてのＣＴ画像が１つのファイルにまとめられるため、１つのファイルサイズが大きい。このため、ファイル転送型画像伝送方式を用いた場合は、伝送に時間を要し、表示までに時間がかかる結果となる。
【００３３】
以上より、ファイル転送型画像伝送方式は、十分な伝送帯域がとれる場合、または要求されている表示時間が十分長い場合に利用可能である。
【００３４】
（部分伝送型画像伝送方式）
部分伝送型画像伝送方式では、サーバに蓄積されたファイルに関して、ファイルすべてを伝送するのではなく、ファイル中の必要な部分データのみを伝送する。クライアントのユーザが表示させたい解像度、表示させたい部分を表示するために必要な部分データのみを、サーバに蓄積されたファイル内より抽出して伝送することができるため、データ伝送量が低減される。
【００３５】
ユーザが要求したすべてのデータの伝送が終了する前の伝送途中段階において、クライアントが受信したデータだけを使って復号処理を行なうことにより、所望の品質（解像度）よりも、低い品質の画像を再生できる。この再生処理をある時間間隔で繰り返すことにより、毎回の再生処理のタイミングで受信データが増えていくため、ユーザからは階層的に画像が高品質化していくように見える。低品質の画像でも、長時間待つことなく表示されていれば、最終の画像品質になるまで何も表示されない場合に比べて、ユーザの待ち時間に対するストレスが軽減する。
【００３６】
以上より、部分伝送型画像伝送方式は、十分な伝送帯域が取れない場合、またはサムネイル表示に要求される時間が短い場合に有効である。
【００３７】
図７は、本実施形態に係るボリュームデータ伝送システムの概略構成を示すブロック図である。図７に示すように、サーバ伝送部１０３は、ファイル情報送信部１０３ａ、ファイル転送送信部１０３ｂ、部分伝送ブロック送信部１０３ｃ、およびブロック抽出部１０３ｄを備えている。また、クライアント伝送部２０１は、ファイル選択部２０１ａ、伝送プロトコル決定部２０１ｂ、パラメータ予測・記憶部２０１ｃ、ファイル転送要求・受信部２０１ｄ、伝送要求ブロック決定部２０１ｅ、および部分伝送ブロック要求・受信部２０１ｆを備えている。以下、本実施形態に係るボリュームデータ伝送システムの特徴的な構成について説明する。
【００３８】
（伝送プロトコル決定部２０１ｂ）
伝送プロトコル決定部２０１ｂは、ファイル転送型画像伝送方式と部分伝送型画像伝送方式とを適応的に切り替えて、ユーザの要求した時間内で画像の初期表示を可能とする。本発明では、伝送前にファイル転送型で伝送すべきか部分伝送型で伝送すべきかを決定する。
【００３９】
まず、ファイル転送型での伝送・表示時間に要する時間を推定し、ユーザが指定した初期表示要求時間よりも小さい場合はファイル転送型画像伝送方式で伝送・表示を行ない、推定時間がユーザの所望時間よりも大きい場合は部分伝送型画像伝送方式で伝送・表示を行なう。伝送・表示時間を推定するにあたり、ファイル転送型画像伝送処理をモデル化し、次の処理から構成されるものと仮定する。
（１）サーバ、クライアント間のコマンド通信等、直接的な画像データ伝送ではない伝送処理
（２）符号化画像データの伝送処理
（３）復号処理
（４）表示処理
上記モデル化に基づき、次式により使用可能伝送帯域での伝送表示終了までに要する時間（Ttotal）を伝送前に予測する。
【００４０】
Ttotal = Toh + Ttrans + Tdec + Tdisp (*)
ここで、
Toh ：コマンド通信等のオーバーヘッド
Ttrans ：符号データの伝送に要する時間
＝ 全データ量／使用可能伝送帯域（Ｗａ）
Tdec ：復号時間
Tdisp ：表示処理時間、である。
【００４１】
全データ量は、ファイルを蓄積しているサーバが事前に情報を収集しておき、クライアントがこの時間推定処理を行なう前に、全データ量の情報をサーバからクライアントへ伝送する。使用可能伝送帯域（Wa）は、オンデマンドネットワークにおいて実際に取得できた伝送パスの伝送帯域であり、本時間推定（画像伝送方式の適応的切り替え判定）を行なうのに先がけ取得しておく。復号時間（Tdec）に関しては、クライアントの性能により大きく異なるが、基本的に、全データ量が大きくなれば復号処理を行なう時間が増えるため、復号時間も長くなることが予想できる。表示時間（Tdisp）に関しては、これもクライアントの性能（ビデオボードやディスプレイなどの表示ハードウェア関連の性能）により大きく異なるが、他の時間に比べると非常に短時間であることが予想できる。また、コマンド通信等のオーバーヘッド（Toh）は、通信環境やサーバ、クライアントの性能に依存すると考えられる。上記により伝送時間を推定した後は、利用者の表示要求時間（Treq）とTtotalを比較し、伝送・表示プロトコルを決定する。
Treq ≧ Ttotalならばファイル転送型画像伝送方式
Treq < Ttotalならば部分伝送型画像伝送方式
【００４２】
図８にTtotalのグラフと画像伝送方式の選択の関係を示す。Ttotalを利用可能な帯域の関数とし、実際に取得された利用可能な伝送帯域Waと、利用者の表示要求時間Treqでプロットされるポイントが、その関数の上にあればファイル転送型の画像伝送方式を使用し、下にあれば部分伝送型の画像伝送方式を使用する。
【００４３】
符号データの伝送に要する時間（Ttrans）は伝送帯域と伝送するデータ量が分かれば推定可能であるが、実際のスループットは指定された伝送帯域値と若干異なる可能性がある。この課題については次節にて議論する。また、Ttrans以外の時間についても精度よく推定する必要がある。
【００４４】
（パラメータ予測・記憶部２０１ｃ）
上記のような適応的画像伝送方式では、伝送時間の高精度の推定が必要となる。概して、伝送時間と伝送帯域は反比例の関係にあるが、実際のスループットは、指定された伝送帯域とは若干異なる可能性がある。そこで、事前にダミーデータによりいくつかの条件で伝送時間を求めておき、実際に画像を伝送する際には、この情報をもとに非線形予測により伝送時間を予測する。
【００４５】
予測式として次式を用い、Marquardt法により非線形予測を行なう。Marquardt法は、最急降下法とGauss-Newton法を折衷した方法で、推定する変数が解から遠く離れ、非線形性の影響が大きい場合には最急降下法的な推定を行ない、解に近づくにつれてGauss-Newton法的な推定となる推定方式である。
【００４６】
【数１】
ここで、Transはデータの伝送時間、Ｗはオンデマンド型ネットワークで設定された伝送帯域、Ｌは伝送するデータ量、Ａ，Ｂ，…，Ｅは定数である。ＷとしてＷ１，Ｗ２，…，ＷＭ（ｂｉｔ／ｓｅｃ）のＭ種類、ＬとしてＬ１，Ｌ２，…，ＬＮ（バイト）のＮ種類の計Ｍ×Ｎ種類の条件において、それぞれ複数回ずつ伝送を行ない、サンプルデータを取得する。これらのサンプルデータから、非線形予測によりＡ，Ｂ，…，Ｅを決定する。これにより、求まった定数により伝送時間を予測することができる。
【００４７】
但し、ここでは、ネットワークの伝送帯域は定常であることを仮定する。つまり、事前測定時と実際のデータ伝送時で、ネットワークの伝送特性はほぼ等しいことを仮定する。様々な通信コネクションが個々の要求に応じて張られる一般的なインターネット環境ではこの仮定は成り立たない場合が多い。一方、セキュリティや信頼性を考慮し、アプリケーションが通信を開始する際にはネットワーク側が伝送に必要な伝送帯域を確保する方式をとるタイプの医療専用のネットワークにおいては、すべての通信コネクションは管理される。
【００４８】
つまり、一旦帯域が確保できると、その後中断要求など他の通信からの影響を受けない限りは、伝送帯域の状態はほぼ定常であると考えてよい。コアネットワークが複雑化し、多数のコアルータが存在するネットワークを経由する場合には、コネクションを張るタイミングによりルートが異なる場合も考えられるが、事前測定を複数回行なうことで、伝送時間の期待値が統計的に算出できる。
【００４９】
さらに、実際に伝送にかかった時間をフィードバックし、その情報によりパラメータを更新することにより、予測の高精度化を行なう。
【００５０】
（伝送要求ブロック決定部２０１ｅ）
（１）伝送階層決定
部分伝送型においては、画像ファイルすべてのデータを伝送するのではなく、サムネイル表示の際に必要な低周波数成分だけを伝送する。ここでは、初期表示時間がユーザにより決められている場合に、その時間内に伝送・表示できる最大の解像度の画像を決定する方式を示す。具体的には、各解像度でのサムネイル伝送時間を推定し、要求時間内に伝送・表示可能なサムネイルの解像度のうち、最大の解像度に決定する。各解像度でのサムネイルの伝送時間の推定には、前節と同様の時間推定方法を用いる。この際、全データ量（Ｗａ）の変わりに、各階層（解像度）の画像を復号するのに必要な符号データ量を用いる。このデータ量は事前にサーバに蓄積されており、クライアントが本時間推定処理（サムネイル解像度決定処理）を行なう前に、各階層のデータ量の情報をサーバからクライアントへ伝送する。
【００５１】
例えば、解像度６４画素×６４画素のサムネイルの伝送表示の推定時間をTtotal64、解像度１２８画素×１２８画素のサムネイルの伝送表示の推定時間をTtotal128、解像度２５６画素×２５６画素のサムネイルの伝送表示の推定時間をTtotal256とすると、次の不等式が成り立つ。
Ttotal64 < Ttotal128 < Ttotal256
ユーザが要求する初期画像表示時間Treqgより推定伝送表示時間が短く、かつその中でサムネイル解像度が大きいものを、初期表示画像とする。この選択の様子を図９に示す。
【００５２】
（２）表示対象画像のみ伝送
サムネイル表示画面に一度に表示できる画像枚数は有限（１０数枚〜２０数枚程度）であり、一般にボリュームデータのすべての画像を表示することは不可能である。そこで、初期表示時に表示される画像の再生に必要な符号化ブロックのみを伝送ブロックとする。初期表示時に表示されない画像に対する符号化ブロックを送る必要がなくなり、逆に表示対象となる画像に対しては、表示要求時間内により多くの符号化ブロックが送れるようになり、より高解像度での表示が可能となる。
【００５３】
（３）初期表示対象外画像の伝送
しかし、初期表示時に表示対象になっていない画像の情報を全く送らないと、初期表示後に利用者がスクロール操作を行ない、他の画像のサムネイルを閲覧しようとしたときに、その時点では画像は何も表示できず、サーバから新たに符号化ブロックを伝送しなければならない。これにより、サムネイル表示が遅れることにより、利用者に対して、ストレスを与える虞がある。そこで、初期表示対象外画像についても、すべての画像の最低周波数サブバンドだけは送るようにする。
【００５４】
この最低周波数サブバンドを用いて、初期表示対象外画像については最低解像度のサムネイル画像を作成しておく。これにより、初期表示後、スクロール操作があった場合にも、初期表示画像以外の画像については最低解像度のサムネイルを瞬時に表示でき、利用者へのストレスを低く抑えることができる。なお、該スクロール操作があった際には、最低解像度サムネイルを表示すると同時に、バックグラウンドで新規表示対象画像のより高い周波数成分の伝送を開始し、伝送・復号が完了し、より高い解像度のサムネイルが作成でき次第、該高解像度サムネイルを表示するようにする。
【００５５】
（４）ＲＯＩ伝送階層決定
図１０に示すように、画像に注目領域（Region Of Interest : ROI）が設定されている場合がある。この場合は、符号化ファイルのヘッダ情報として、ＲＯＩの位置情報が記録されている。この情報から、どの符号化ブロックがＲＯＩに対応するかが算出できる。図１１にＲＯＩに対応する符号化ブロックの概念図を示す。ＲＯＩ中の画像はすべての周波数成分を持つため、実際には、ＲＯＩに対応する符号化ブロックは、すべてのサブバンドに存在する。
【００５６】
ＲＯＩに含まれる符号化ブロックか、そうでないかによって伝送する階層を制御する。表示要求時間に伝送・表示が終わる範囲で、予め分かっている各符号化ブロックの符号量情報から、ＲＯＩに対して伝送可能な最大解像度をもとめ、残った時間でＲＯＩ以外の領域の低解像度成分の伝送を行なう。
【００５７】
（ファイル伝送）
図１２に、ファイル転送型画像伝送の処理の概念図を示す。クライアント装置２００のファイル転送要求・受信部２０１ｄからサーバ装置１００に対してファイル転送の要求を行ない、それに対応したファイルをサーバ装置１００のファイル転送送信部１０３ｂが送信する。
【００５８】
（部分伝送）
図１３に、部分伝送の処理の概念図を示す。伝送要求ブロック決定部２０１ｅにおいて決定した伝送要求ブロックを、クライアント装置２００の部分伝送ブロック要求・受信部２０１ｆからサーバ装置１００の部分伝送ブロック送信部１０３ｃに伝送要求する。サーバ装置１００では、受信した要求に基づき、ブロック抽出部１０３ｄにおいて、要求のあった符号化ブロックを記憶媒体１０２より抽出する。抽出した符号化ブロックに対し、ウェーブレット変換係数領域のどの位置の符号化ブロック化がわかるようにヘッダ情報を付加し、部分伝送ブロック送信部１０３ｃからクライアント装置２００の部分伝送ブロック要求・受信部２０１ｆに対して送信する。クライアント装置２００の部分伝送ブロック要求・受信部２０１ｆは、符号化ブロックを受信し、これらを復号部２０２に転送する。復号部２０２では、ウェーブレット変換係数を復号し、ヘッダ情報を元にウェーブレット変換係数領域での適切な係数位置に配置して、逆変換を行ない、画像を再生する。
【００５９】
なお、符号化ブロックが小さい場合は、大量の符号化ブロックに対して、要求処理、抽出処理、ヘッダ付加、送受信を行わなければならず、処理の負荷が増大することが考えられる。そこで、複数の符号化ブロックをまとめて一つの伝送単位とし、上記処理を行なう最小単位として処理を行なうことで、処理量の低減を図ることができる。
【００６０】
図１４は、本実施形態に係るボリュームデータ伝送システムの動作を示すフローチャートである。まず、図７に示したファイル選択部２０１ａおよびファイル情報送信部１０３ａにおいて、ボリュームデータを含む画像ファイルを指定する（ステップＳ１）。次に、伝送プロトコル決定部２０１ｂおよびパラメータ予測・記憶部２０１ｃにおいて、上記指定した画像ファイルを伝送するために必要な時間を予測する（ステップＳ２）。そして、利用者から求められている「要求時間内」に画像ファイルの伝送が可能であるかどうかを判断する（ステップＳ３）。この判断の結果、要求時間内に画像ファイルの伝送が可能である場合は、ファイル転送送信部１０３ｂおよびファイル転送要求・受信部２０１ｄにおいて、ファイル転送型画像伝送方式によって画像ファイルの要求および転送を行なう（ステップＳ４）。そして、クライアント装置２００では、受信した画像ファイルを復号部２０２で復号し（ステップＳ５）、表示部２０３において、画像ファイル（ボリュームデータ）が表示される（ステップＳ６）。
【００６１】
一方、ステップＳ３において、要求時間内に画像ファイルの伝送が可能でない場合は、ボリュームデータ中にＲＯＩが設定されているかどうかを判断する（ステップＳ７）。ボリュームデータ中にＲＯＩが設定されている場合は、伝送要求ブロック決定部２０１ｅは、ＲＯＩと非ＲＯＩの伝送階層を決定する（ステップＳ８）。一方、ステップＳ７において、ボリュームデータ中にＲＯＩが設定されていない場合は、伝送要求ブロック決定部２０１ｅは、伝送階層を決定し（ステップＳ９）、部分伝送ブロック送信部１０３ｃおよび部分伝送ブロック要求・受信部２０１ｆは、部分伝送型画像伝送方式で画像ファイルの要求および転送を行なう（ステップＳ１０）。そして、クライアント装置２００では、受信した画像ファイルを復号部２０２で部分復号し（ステップＳ１１）、表示部２０３において、画像ファイル（ボリュームデータ）が表示される（ステップＳ６）。
【００６２】
以上説明したように、本実施形態によれば、ボリュームデータ表示装置のサムネイル画面の初期表示において、利用者の設定する表示要求時間内に可能な限り高解像度のサムネイル画像を表示することができる。また、ＲＯＩが設定されている場合には、ＲＯＩ内の画像をより高解像度に表示することが可能である。さらに、サムネイル画面の初期表示時に表示される画像以外の画像の最低解像度画像伝送を行なうことでサムネイル画面の初期表示後のスクロール処理を高速に行なうことができる。
【図面の簡単な説明】
【００６３】
【図１】本実施形態に係るボリュームデータ伝送システムの概略構成を示す図である。
【図２】ｘｙ方向のウェーブレット変換の様子を示す図である。
【図３】ｚ方向のウェーブレット変換の様子を示す図である。
【図４】３次元ウェーブレット変換されたサブバンドブロック内の変換係数を、符号化の単位である小領域の直方体ブロックに分割する様子を示す図である。
【図５】ｘｙ方向の低周波数サブバンド内の変換係数をｚ方向に逆ウェーブレット変換してｘｙの低周波数のみを含んだ画像が再生される様子を示す図である。
【図６】ＣＴ、ＭＲＩなどのボリュームデータ表示装置の一般的なユーザインタフェースを示す図である。
【図７】本実施形態に係るボリュームデータ伝送システムの概略構成を示すブロック図である。
【図８】Ttotalのグラフと画像伝送方式の選択の関係を示す図である。
【図９】初期画像表示時間Treqgより推定伝送表示時間が短く、かつその中でサムネイル解像度が大きいものを、初期表示画像とした様子を示す図である。
【図１０】画像に注目領域（Region Of Interest : ROI）が設定されている様子を示す図である。
【図１１】ＲＯＩに対応する符号化ブロックの概念を示す図である。
【図１２】ファイル転送型画像伝送の処理の概念を示す図である。
【図１３】部分伝送の処理の概念を示す図である。
【図１４】本実施形態に係るボリュームデータ伝送システムの動作を示すフローチャートである。
【符号の説明】
【００６４】
１００ サーバ装置
１０１ 符号化部
１０２ 記憶媒体
１０３ サーバ伝送部
１０３ａ ファイル情報送信部
１０３ｂ ファイル転送送信部
１０３ｃ 部分伝送ブロック送信部
１０３ｄ ブロック抽出部
２００ クライアント装置
２０１ クライアント伝送部
２０１ａ ファイル選択部
２０１ｂ 伝送プロトコル決定部
２０１ｃ パラメータ予測・記憶部
２０１ｄ ファイル転送要求・受信部
２０１ｅ 伝送要求ブロック決定部
２０１ｆ 部分伝送ブロック要求・受信部
２０２ 復号部
２０３ 表示部
【技術分野】
【０００１】
本発明は、本発明は、ＣＴやＭＲＩなどの医療用ボリュームデータ（３次元画像データ）をネットワーク上で利用する際に、複数のサムネイル（縮小画像）を利用者の要求時間内に表示する技術に関する。
【背景技術】
【０００２】
従来から、医療用ボリュームデータの圧縮として、３次元ウェーブレット変換を用いた符号化方式が知られている。一例として、静止画像符号化の国際標準であるＪＰＥＧ２０００では、３次元ボリュームデータの符号化に関する検討が進んでいる。
【０００３】
ボリュームデータの伝送方式としては、単純にファイルを伝送するもののほかに、上記３次元ウェーブレット変換符号化ファイルの一部を伝送して、受信側でこれを復号することにより、部分的な３次元ウェーブレット変換係数を再生し、これを逆変換することにより、画像を再生することができる。ただし、低周波数成分に相当するウェーブレット変換係数しか送っていない場合は、解像度の低い画像が再生される。また、空間的に画像の一部に相当するウェーブレット変換係数しか送っていない場合は、画像の一部が再生される。
【非特許文献１】Ｓｃｈｅｌｋｅｎｓ， Ｐ． Ｍｕｎｔｅａｎｕ， Ａ． Ｔｚａｎｎｅｓ， Ａ． Ｂｒｉｓｌａｗｎ， Ｃ． “ＪＰＥＧ２０００． Ｐａｒｔ １０． Ｖｏｌｕｍｅｔｒｉｃ ｄａｔａ ｅｎｃｏｄｉｎｇ”， Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｃｉｒｃｕｉｔｓ ａｎｄ Ｓｙｓｔｅｍｓ， ｐｐ．３８７４−３８７７， Ｍａｙ． ２００６．
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ＣＴ、ＭＲＩにより取得される医療用ボリュームデータは、データ量が膨大であるため、それらをネットワーク上で利用する際に遅延を生じる。データ量を圧縮するための符号化を行なったとしても、すべてのデータを送るとすると多大な時間を要する。画質に関して階層化をおこなう階層符号化を行なったとしても、一般に伝送帯域の制約下において、送りたいボリュームデータファイル、そこに含まれる画像枚数、伝送する品質階層（解像度など）が決まれば、自動的にデータ伝送・表示に要する時間が決まる。医療のアプリケーションを考えた場合、画像伝送装置の利用者である医師の要求を満足させるための表示時間のようなものがあると考えられる。利用者が表示要求時間を指定しても、その要求を満たせない場合がある。
【０００５】
本発明は、このような事情に鑑みてなされたもので、ネットワーク側から取得する利用可能伝送帯域、利用者が指定する表示要求時間の制約がある条件下で、できるだけ高画質の画像を表示することができるクライアント装置、サーバ装置およびボリュームデータ伝送システムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
（１）上記の目的を達成するために、本発明は、以下のような手段を講じた。すなわち、本発明のクライアント装置は、クライアント装置が、記録媒体に記録されているボリュームデータの伝送をサーバ装置に対して要求し、サーバ装置が、前記要求されたボリュームデータを前記クライアント装置へ伝送するボリュームデータ伝送システムに適用されるクライアント装置であって、伝送を要求するボリュームデータを選択するファイル選択部と、前記選択したボリュームデータを前記サーバ装置から取得する際の方式として、予め定められた基準に基づいて、前記選択したボリュームデータのすべてを伝送するファイル伝送型画像伝送方式または前記選択したボリュームデータの一部を伝送する部分伝送型画像伝送方式のいずれか一方を選択する伝送プロトコル決定部と、前記伝送プロトコル決定部が前記部分伝送型画像伝送方式を選択した場合、表示対象となるボリュームデータの伝送に要する時間を予測し、予測した時間内で伝送および表示可能な最大の解像度を決定する伝送要求ブロック決定部と、前記伝送プロトコル決定部がファイル伝送型画像伝送方式を選択した場合は、前記選択したボリュームデータのすべてを伝送する旨の要求を前記サーバ装置に対して行なう一方、前記伝送プロトコル決定部が前記部分伝送型画像伝送方式を選択した場合は、前記決定された解像度を有する表示対象となるボリュームデータを伝送する旨の要求を前記サーバ装置に対して行なう伝送要求部と、を備えることを特徴としている。
【０００７】
この構成により、ボリュームデータ表示装置のサムネイル画面の初期表示において、利用者の設定する表示要求時間内に、可能な限り高解像度のサムネイル画像を表示することができる。
【０００８】
（２）また、本発明のクライアント装置において、前記伝送プロトコル決定部は、前記選択したボリュームデータのすべてを伝送するために要する時間を予測し、要求時間内に前記選択したボリュームデータのすべてを伝送可能である場合は、前記ファイル伝送型画像伝送方式を選択する一方、要求時間内に前記選択したボリュームデータのすべてを伝送可能でない場合は、前記部分伝送型画像伝送方式を選択することを特徴としている。
【０００９】
この構成により、利用者の設定する表示要求時間内に、可能な限り高解像度のサムネイル画像を表示することができる。
【００１０】
（３）また、本発明のクライアント装置において、前記伝送要求ブロック決定部は、前記選択したボリュームデータに関心領域（ＲＯＩ：Region Of Interest）が設定されている場合は、前記関心領域に含まれるボリュームデータが、前記関心領域に含まれないボリュームデータよりも高解像度または高ビット精度で伝送されるように、伝送の階層を決定することを特徴としている。
【００１１】
この構成により、ボリュームデータにＲＯＩが設定されている場合には、ＲＯＩ内の画像をより高解像度に表示することが可能となる。
【００１２】
（４）また、本発明のクライアント装置において、前記伝送要求ブロック決定部は、前記選択したボリュームデータのうち、初期表示で必要なボリュームデータのみを要求対象に決定することを特徴としている。
【００１３】
この構成により、初期表示時に表示されない画像に対する符号化ブロックを伝送する必要が無くなり、逆に、表示対象とする画像に対しては、表示要求時間内により多くの符号化ブロックを伝送することができ、より高解像度での表示が可能となる。
【００１４】
（５）また、本発明のクライアント装置において、前記伝送要求ブロック決定部は、前記選択したボリュームデータのうち、初期表示以降で必要なボリュームデータを、最低解像度で要求する決定を行なうことを特徴としている。
【００１５】
この構成により、初期表示後、例えば、画面のスクロール操作があった場合にも、初期表示画像以外の画像については、最低解像度のサムネイル（ボリュームデータ）を瞬時に表示することができる。これにより、利用者が待機させられることによるストレスを軽減させることができる。
【００１６】
（６）また、本発明のクライアント装置において、前記伝送要求ブロック決定部は、前記最低解像度のボリュームデータを要求した後、ユーザインタフェース部からの要求に応じて、バックグラウンドで前記最低解像度のボリュームデータと同じボリュームデータをより高い解像度で要求する決定を行なうことを特徴としている。
【００１７】
この構成により、当初は解像度の低い画像が表示されるが、次第に解像度の高い画像を表示することができる。これにより、利用者が待機させられることによるストレスを軽減させることができる。
【００１８】
（７）また、本発明のクライアント装置において、前記伝送要求部は、前記サーバ装置との間で、前記選択したボリュームデータの送受信を行なった時間を測定し、前記伝送要求ブロック決定部は、前記測定された時間に基づいて、表示対象となるボリュームデータの伝送に要する時間を予測することを特徴としている。
【００１９】
この構成により、予め測定した伝送時間を利用することができるので、伝送要求ブロック決定部における伝送時間の予測を迅速に行なうことが可能となる。
【００２０】
（８）また、本発明のサーバ装置は、請求項１から請求項７のいずれかに記載のクライアント装置からの要求に応じて、前記記録媒体からボリュームデータを読み出して、要求されたボリュームデータのすべてを伝送するファイル伝送型画像伝送方式または要求されたボリュームデータの一部を伝送する部分伝送型画像伝送方式のいずれか一方で、ボリュームデータのすべてまたは一部を前記クライアント装置へ伝送することを特徴としている。
【００２１】
この構成により、ボリュームデータ表示装置のサムネイル画面の初期表示において、利用者の設定する表示要求時間内に、可能な限り高解像度のサムネイル画像を表示することができる。
【００２２】
（９）また、本発明のボリュームデータ伝送システムは、請求項１から請求項７のいずれかに記載のクライアント装置と、請求項８記載のサーバ装置と、から構成されることを特徴としている。
【００２３】
この構成により、ボリュームデータ表示装置のサムネイル画面の初期表示において、利用者の設定する表示要求時間内に、可能な限り高解像度のサムネイル画像を表示することができる。
【発明の効果】
【００２４】
本発明によれば、ボリュームデータ表示装置のサムネイル画面の初期表示において、利用者の設定する表示要求時間内に、可能な限り高解像度のサムネイル画像を表示することができる。
【発明を実施するための最良の形態】
【００２５】
本実施形態では、セキュリティや信頼性を考慮し、アプリケーションが通信を開始する際に、ネットワーク側が伝送に必要な伝送帯域を確保するタイプの医療専用のネットワークを想定する。本ネットワークにおいては、毎回利用可能なネットワーク帯域が異なる可能性があるが、ネットワーク側から、ほぼリアルタイムで使える伝送帯域幅の情報が取得できるものとする。
【００２６】
図１は、本実施形態に係るボリュームデータ伝送システムの概略構成を示す図である。ネットワークＮを介して、サーバ装置１００とクライアント装置２００とが接続されている。サーバ装置１００は、符号化部１０１、記憶媒体１０２、およびサーバ伝送部１０３を備える。クライアント装置２００は、クライアント伝送部２０１、復号部２０２、および表示部２０３を備える。なお、表示部２０３は、ユーザインタフェース部を含む。サーバ装置１００の符号化部１０１は、ボリュームデータを３次元ウェーブレット変換符号化する。
【００２７】
（３次元ウェーブレット変換）
ボリュームデータは、２次元画像（ｘｙ平面画像：スライス画像）の複数の集合であると考える。スライス画像の重なりの方向をｚ方向とする。３次元ウェーブレット変換は、ボリュームデータに対し、図２に示すｘｙ方向のウェーブレット変換および図３に示すｚ方向のウェーブレット変換を施すものとする。３次元ウェーブレット変換符号化においては、図４に示すように、３次元ウェーブレット変換されたサブバンドブロック内の変換係数を、符号化の単位である小領域の直方体ブロックに分割する。この直方体ブロックを符号化ブロックと呼ぶ。この符号化ブロックごとに、エントロピー符号化により符号を生成し情報量の圧縮を行なう。
【００２８】
ｘｙ方向の低周波数サブバンドに対応する符号を伝送・復号してｘｙ方向の低周波数サブバンド内の変換係数が再生される。これをｚ方向に逆ウェーブレット変換することでｘｙの低周波数のみを含んだ画像、つまり解像度の小さい画像が再生される。図５に示すように、これをサムネイル（縮小画像）として利用することが可能である。
【００２９】
一番低い周波数成分だけではなく、より高い周波数成分を加えて伝送し、同様にｚ方向に逆ウェーブレット変換し、さらにこれを低周波数成分と併せてｘｙ方向に逆ウェーブレット変換することにより、より解像度の高いサムネイルが得られる。
【００３０】
（表示装置のユーザインタフェース）
ＣＴ、ＭＲＩなどのボリュームデータ表示装置の一般的なユーザインタフェースを、図６に示す。複数枚の画像を同時に一画面に表示する画面があり、この画面をサムネイル画面と呼ぶ。ここでは、表示画像としてサムネイルを表示することを想定する。利用者の一般的な操作としては、表示されているサムネイルの範囲をスクロールにより変更したり、特定のサムネイルを指定して画像を拡大したりするものである。ここでは、サムネイル画面の最初の表示において、利用者が要求する表示要求時間をあらかじめ設定しておき、その時間内に出来るだけ解像度の高いサムネイル画面の表示を完了することを本発明の目的とする。
【００３１】
画像の伝送方式としては、ファイル転送型画像伝送方式と部分伝送型画像伝送方式の２つを適応的に切り替えて用いる。
【００３２】
（ファイル転送型画像伝送方式）
ファイル転送型画像伝送方式では、対象のボリュームデータの符号ファイルをすべて転送した後、符号ファイルの復号を行ない、画像を再生・表示する。一般的な画像システムでは、このタイプの伝送表示が行われる。伝送処理と復号処理が分離できるため実装も簡単である。しかし、再生ファイルの転送が終わるまで画像の再生・表示が行われないので、ファイルサイズが大きい場合には、表示までに時間を要する。前述の３次元ウェーブレット変換を施したボリュームデータでは、特定検査のすべてのＣＴ画像が１つのファイルにまとめられるため、１つのファイルサイズが大きい。このため、ファイル転送型画像伝送方式を用いた場合は、伝送に時間を要し、表示までに時間がかかる結果となる。
【００３３】
以上より、ファイル転送型画像伝送方式は、十分な伝送帯域がとれる場合、または要求されている表示時間が十分長い場合に利用可能である。
【００３４】
（部分伝送型画像伝送方式）
部分伝送型画像伝送方式では、サーバに蓄積されたファイルに関して、ファイルすべてを伝送するのではなく、ファイル中の必要な部分データのみを伝送する。クライアントのユーザが表示させたい解像度、表示させたい部分を表示するために必要な部分データのみを、サーバに蓄積されたファイル内より抽出して伝送することができるため、データ伝送量が低減される。
【００３５】
ユーザが要求したすべてのデータの伝送が終了する前の伝送途中段階において、クライアントが受信したデータだけを使って復号処理を行なうことにより、所望の品質（解像度）よりも、低い品質の画像を再生できる。この再生処理をある時間間隔で繰り返すことにより、毎回の再生処理のタイミングで受信データが増えていくため、ユーザからは階層的に画像が高品質化していくように見える。低品質の画像でも、長時間待つことなく表示されていれば、最終の画像品質になるまで何も表示されない場合に比べて、ユーザの待ち時間に対するストレスが軽減する。
【００３６】
以上より、部分伝送型画像伝送方式は、十分な伝送帯域が取れない場合、またはサムネイル表示に要求される時間が短い場合に有効である。
【００３７】
図７は、本実施形態に係るボリュームデータ伝送システムの概略構成を示すブロック図である。図７に示すように、サーバ伝送部１０３は、ファイル情報送信部１０３ａ、ファイル転送送信部１０３ｂ、部分伝送ブロック送信部１０３ｃ、およびブロック抽出部１０３ｄを備えている。また、クライアント伝送部２０１は、ファイル選択部２０１ａ、伝送プロトコル決定部２０１ｂ、パラメータ予測・記憶部２０１ｃ、ファイル転送要求・受信部２０１ｄ、伝送要求ブロック決定部２０１ｅ、および部分伝送ブロック要求・受信部２０１ｆを備えている。以下、本実施形態に係るボリュームデータ伝送システムの特徴的な構成について説明する。
【００３８】
（伝送プロトコル決定部２０１ｂ）
伝送プロトコル決定部２０１ｂは、ファイル転送型画像伝送方式と部分伝送型画像伝送方式とを適応的に切り替えて、ユーザの要求した時間内で画像の初期表示を可能とする。本発明では、伝送前にファイル転送型で伝送すべきか部分伝送型で伝送すべきかを決定する。
【００３９】
まず、ファイル転送型での伝送・表示時間に要する時間を推定し、ユーザが指定した初期表示要求時間よりも小さい場合はファイル転送型画像伝送方式で伝送・表示を行ない、推定時間がユーザの所望時間よりも大きい場合は部分伝送型画像伝送方式で伝送・表示を行なう。伝送・表示時間を推定するにあたり、ファイル転送型画像伝送処理をモデル化し、次の処理から構成されるものと仮定する。
（１）サーバ、クライアント間のコマンド通信等、直接的な画像データ伝送ではない伝送処理
（２）符号化画像データの伝送処理
（３）復号処理
（４）表示処理
上記モデル化に基づき、次式により使用可能伝送帯域での伝送表示終了までに要する時間（Ttotal）を伝送前に予測する。
【００４０】
Ttotal = Toh + Ttrans + Tdec + Tdisp (*)
ここで、
Toh ：コマンド通信等のオーバーヘッド
Ttrans ：符号データの伝送に要する時間
＝ 全データ量／使用可能伝送帯域（Ｗａ）
Tdec ：復号時間
Tdisp ：表示処理時間、である。
【００４１】
全データ量は、ファイルを蓄積しているサーバが事前に情報を収集しておき、クライアントがこの時間推定処理を行なう前に、全データ量の情報をサーバからクライアントへ伝送する。使用可能伝送帯域（Wa）は、オンデマンドネットワークにおいて実際に取得できた伝送パスの伝送帯域であり、本時間推定（画像伝送方式の適応的切り替え判定）を行なうのに先がけ取得しておく。復号時間（Tdec）に関しては、クライアントの性能により大きく異なるが、基本的に、全データ量が大きくなれば復号処理を行なう時間が増えるため、復号時間も長くなることが予想できる。表示時間（Tdisp）に関しては、これもクライアントの性能（ビデオボードやディスプレイなどの表示ハードウェア関連の性能）により大きく異なるが、他の時間に比べると非常に短時間であることが予想できる。また、コマンド通信等のオーバーヘッド（Toh）は、通信環境やサーバ、クライアントの性能に依存すると考えられる。上記により伝送時間を推定した後は、利用者の表示要求時間（Treq）とTtotalを比較し、伝送・表示プロトコルを決定する。
Treq ≧ Ttotalならばファイル転送型画像伝送方式
Treq < Ttotalならば部分伝送型画像伝送方式
【００４２】
図８にTtotalのグラフと画像伝送方式の選択の関係を示す。Ttotalを利用可能な帯域の関数とし、実際に取得された利用可能な伝送帯域Waと、利用者の表示要求時間Treqでプロットされるポイントが、その関数の上にあればファイル転送型の画像伝送方式を使用し、下にあれば部分伝送型の画像伝送方式を使用する。
【００４３】
符号データの伝送に要する時間（Ttrans）は伝送帯域と伝送するデータ量が分かれば推定可能であるが、実際のスループットは指定された伝送帯域値と若干異なる可能性がある。この課題については次節にて議論する。また、Ttrans以外の時間についても精度よく推定する必要がある。
【００４４】
（パラメータ予測・記憶部２０１ｃ）
上記のような適応的画像伝送方式では、伝送時間の高精度の推定が必要となる。概して、伝送時間と伝送帯域は反比例の関係にあるが、実際のスループットは、指定された伝送帯域とは若干異なる可能性がある。そこで、事前にダミーデータによりいくつかの条件で伝送時間を求めておき、実際に画像を伝送する際には、この情報をもとに非線形予測により伝送時間を予測する。
【００４５】
予測式として次式を用い、Marquardt法により非線形予測を行なう。Marquardt法は、最急降下法とGauss-Newton法を折衷した方法で、推定する変数が解から遠く離れ、非線形性の影響が大きい場合には最急降下法的な推定を行ない、解に近づくにつれてGauss-Newton法的な推定となる推定方式である。
【００４６】
【数１】
ここで、Transはデータの伝送時間、Ｗはオンデマンド型ネットワークで設定された伝送帯域、Ｌは伝送するデータ量、Ａ，Ｂ，…，Ｅは定数である。ＷとしてＷ１，Ｗ２，…，ＷＭ（ｂｉｔ／ｓｅｃ）のＭ種類、ＬとしてＬ１，Ｌ２，…，ＬＮ（バイト）のＮ種類の計Ｍ×Ｎ種類の条件において、それぞれ複数回ずつ伝送を行ない、サンプルデータを取得する。これらのサンプルデータから、非線形予測によりＡ，Ｂ，…，Ｅを決定する。これにより、求まった定数により伝送時間を予測することができる。
【００４７】
但し、ここでは、ネットワークの伝送帯域は定常であることを仮定する。つまり、事前測定時と実際のデータ伝送時で、ネットワークの伝送特性はほぼ等しいことを仮定する。様々な通信コネクションが個々の要求に応じて張られる一般的なインターネット環境ではこの仮定は成り立たない場合が多い。一方、セキュリティや信頼性を考慮し、アプリケーションが通信を開始する際にはネットワーク側が伝送に必要な伝送帯域を確保する方式をとるタイプの医療専用のネットワークにおいては、すべての通信コネクションは管理される。
【００４８】
つまり、一旦帯域が確保できると、その後中断要求など他の通信からの影響を受けない限りは、伝送帯域の状態はほぼ定常であると考えてよい。コアネットワークが複雑化し、多数のコアルータが存在するネットワークを経由する場合には、コネクションを張るタイミングによりルートが異なる場合も考えられるが、事前測定を複数回行なうことで、伝送時間の期待値が統計的に算出できる。
【００４９】
さらに、実際に伝送にかかった時間をフィードバックし、その情報によりパラメータを更新することにより、予測の高精度化を行なう。
【００５０】
（伝送要求ブロック決定部２０１ｅ）
（１）伝送階層決定
部分伝送型においては、画像ファイルすべてのデータを伝送するのではなく、サムネイル表示の際に必要な低周波数成分だけを伝送する。ここでは、初期表示時間がユーザにより決められている場合に、その時間内に伝送・表示できる最大の解像度の画像を決定する方式を示す。具体的には、各解像度でのサムネイル伝送時間を推定し、要求時間内に伝送・表示可能なサムネイルの解像度のうち、最大の解像度に決定する。各解像度でのサムネイルの伝送時間の推定には、前節と同様の時間推定方法を用いる。この際、全データ量（Ｗａ）の変わりに、各階層（解像度）の画像を復号するのに必要な符号データ量を用いる。このデータ量は事前にサーバに蓄積されており、クライアントが本時間推定処理（サムネイル解像度決定処理）を行なう前に、各階層のデータ量の情報をサーバからクライアントへ伝送する。
【００５１】
例えば、解像度６４画素×６４画素のサムネイルの伝送表示の推定時間をTtotal64、解像度１２８画素×１２８画素のサムネイルの伝送表示の推定時間をTtotal128、解像度２５６画素×２５６画素のサムネイルの伝送表示の推定時間をTtotal256とすると、次の不等式が成り立つ。
Ttotal64 < Ttotal128 < Ttotal256
ユーザが要求する初期画像表示時間Treqgより推定伝送表示時間が短く、かつその中でサムネイル解像度が大きいものを、初期表示画像とする。この選択の様子を図９に示す。
【００５２】
（２）表示対象画像のみ伝送
サムネイル表示画面に一度に表示できる画像枚数は有限（１０数枚〜２０数枚程度）であり、一般にボリュームデータのすべての画像を表示することは不可能である。そこで、初期表示時に表示される画像の再生に必要な符号化ブロックのみを伝送ブロックとする。初期表示時に表示されない画像に対する符号化ブロックを送る必要がなくなり、逆に表示対象となる画像に対しては、表示要求時間内により多くの符号化ブロックが送れるようになり、より高解像度での表示が可能となる。
【００５３】
（３）初期表示対象外画像の伝送
しかし、初期表示時に表示対象になっていない画像の情報を全く送らないと、初期表示後に利用者がスクロール操作を行ない、他の画像のサムネイルを閲覧しようとしたときに、その時点では画像は何も表示できず、サーバから新たに符号化ブロックを伝送しなければならない。これにより、サムネイル表示が遅れることにより、利用者に対して、ストレスを与える虞がある。そこで、初期表示対象外画像についても、すべての画像の最低周波数サブバンドだけは送るようにする。
【００５４】
この最低周波数サブバンドを用いて、初期表示対象外画像については最低解像度のサムネイル画像を作成しておく。これにより、初期表示後、スクロール操作があった場合にも、初期表示画像以外の画像については最低解像度のサムネイルを瞬時に表示でき、利用者へのストレスを低く抑えることができる。なお、該スクロール操作があった際には、最低解像度サムネイルを表示すると同時に、バックグラウンドで新規表示対象画像のより高い周波数成分の伝送を開始し、伝送・復号が完了し、より高い解像度のサムネイルが作成でき次第、該高解像度サムネイルを表示するようにする。
【００５５】
（４）ＲＯＩ伝送階層決定
図１０に示すように、画像に注目領域（Region Of Interest : ROI）が設定されている場合がある。この場合は、符号化ファイルのヘッダ情報として、ＲＯＩの位置情報が記録されている。この情報から、どの符号化ブロックがＲＯＩに対応するかが算出できる。図１１にＲＯＩに対応する符号化ブロックの概念図を示す。ＲＯＩ中の画像はすべての周波数成分を持つため、実際には、ＲＯＩに対応する符号化ブロックは、すべてのサブバンドに存在する。
【００５６】
ＲＯＩに含まれる符号化ブロックか、そうでないかによって伝送する階層を制御する。表示要求時間に伝送・表示が終わる範囲で、予め分かっている各符号化ブロックの符号量情報から、ＲＯＩに対して伝送可能な最大解像度をもとめ、残った時間でＲＯＩ以外の領域の低解像度成分の伝送を行なう。
【００５７】
（ファイル伝送）
図１２に、ファイル転送型画像伝送の処理の概念図を示す。クライアント装置２００のファイル転送要求・受信部２０１ｄからサーバ装置１００に対してファイル転送の要求を行ない、それに対応したファイルをサーバ装置１００のファイル転送送信部１０３ｂが送信する。
【００５８】
（部分伝送）
図１３に、部分伝送の処理の概念図を示す。伝送要求ブロック決定部２０１ｅにおいて決定した伝送要求ブロックを、クライアント装置２００の部分伝送ブロック要求・受信部２０１ｆからサーバ装置１００の部分伝送ブロック送信部１０３ｃに伝送要求する。サーバ装置１００では、受信した要求に基づき、ブロック抽出部１０３ｄにおいて、要求のあった符号化ブロックを記憶媒体１０２より抽出する。抽出した符号化ブロックに対し、ウェーブレット変換係数領域のどの位置の符号化ブロック化がわかるようにヘッダ情報を付加し、部分伝送ブロック送信部１０３ｃからクライアント装置２００の部分伝送ブロック要求・受信部２０１ｆに対して送信する。クライアント装置２００の部分伝送ブロック要求・受信部２０１ｆは、符号化ブロックを受信し、これらを復号部２０２に転送する。復号部２０２では、ウェーブレット変換係数を復号し、ヘッダ情報を元にウェーブレット変換係数領域での適切な係数位置に配置して、逆変換を行ない、画像を再生する。
【００５９】
なお、符号化ブロックが小さい場合は、大量の符号化ブロックに対して、要求処理、抽出処理、ヘッダ付加、送受信を行わなければならず、処理の負荷が増大することが考えられる。そこで、複数の符号化ブロックをまとめて一つの伝送単位とし、上記処理を行なう最小単位として処理を行なうことで、処理量の低減を図ることができる。
【００６０】
図１４は、本実施形態に係るボリュームデータ伝送システムの動作を示すフローチャートである。まず、図７に示したファイル選択部２０１ａおよびファイル情報送信部１０３ａにおいて、ボリュームデータを含む画像ファイルを指定する（ステップＳ１）。次に、伝送プロトコル決定部２０１ｂおよびパラメータ予測・記憶部２０１ｃにおいて、上記指定した画像ファイルを伝送するために必要な時間を予測する（ステップＳ２）。そして、利用者から求められている「要求時間内」に画像ファイルの伝送が可能であるかどうかを判断する（ステップＳ３）。この判断の結果、要求時間内に画像ファイルの伝送が可能である場合は、ファイル転送送信部１０３ｂおよびファイル転送要求・受信部２０１ｄにおいて、ファイル転送型画像伝送方式によって画像ファイルの要求および転送を行なう（ステップＳ４）。そして、クライアント装置２００では、受信した画像ファイルを復号部２０２で復号し（ステップＳ５）、表示部２０３において、画像ファイル（ボリュームデータ）が表示される（ステップＳ６）。
【００６１】
一方、ステップＳ３において、要求時間内に画像ファイルの伝送が可能でない場合は、ボリュームデータ中にＲＯＩが設定されているかどうかを判断する（ステップＳ７）。ボリュームデータ中にＲＯＩが設定されている場合は、伝送要求ブロック決定部２０１ｅは、ＲＯＩと非ＲＯＩの伝送階層を決定する（ステップＳ８）。一方、ステップＳ７において、ボリュームデータ中にＲＯＩが設定されていない場合は、伝送要求ブロック決定部２０１ｅは、伝送階層を決定し（ステップＳ９）、部分伝送ブロック送信部１０３ｃおよび部分伝送ブロック要求・受信部２０１ｆは、部分伝送型画像伝送方式で画像ファイルの要求および転送を行なう（ステップＳ１０）。そして、クライアント装置２００では、受信した画像ファイルを復号部２０２で部分復号し（ステップＳ１１）、表示部２０３において、画像ファイル（ボリュームデータ）が表示される（ステップＳ６）。
【００６２】
以上説明したように、本実施形態によれば、ボリュームデータ表示装置のサムネイル画面の初期表示において、利用者の設定する表示要求時間内に可能な限り高解像度のサムネイル画像を表示することができる。また、ＲＯＩが設定されている場合には、ＲＯＩ内の画像をより高解像度に表示することが可能である。さらに、サムネイル画面の初期表示時に表示される画像以外の画像の最低解像度画像伝送を行なうことでサムネイル画面の初期表示後のスクロール処理を高速に行なうことができる。
【図面の簡単な説明】
【００６３】
【図１】本実施形態に係るボリュームデータ伝送システムの概略構成を示す図である。
【図２】ｘｙ方向のウェーブレット変換の様子を示す図である。
【図３】ｚ方向のウェーブレット変換の様子を示す図である。
【図４】３次元ウェーブレット変換されたサブバンドブロック内の変換係数を、符号化の単位である小領域の直方体ブロックに分割する様子を示す図である。
【図５】ｘｙ方向の低周波数サブバンド内の変換係数をｚ方向に逆ウェーブレット変換してｘｙの低周波数のみを含んだ画像が再生される様子を示す図である。
【図６】ＣＴ、ＭＲＩなどのボリュームデータ表示装置の一般的なユーザインタフェースを示す図である。
【図７】本実施形態に係るボリュームデータ伝送システムの概略構成を示すブロック図である。
【図８】Ttotalのグラフと画像伝送方式の選択の関係を示す図である。
【図９】初期画像表示時間Treqgより推定伝送表示時間が短く、かつその中でサムネイル解像度が大きいものを、初期表示画像とした様子を示す図である。
【図１０】画像に注目領域（Region Of Interest : ROI）が設定されている様子を示す図である。
【図１１】ＲＯＩに対応する符号化ブロックの概念を示す図である。
【図１２】ファイル転送型画像伝送の処理の概念を示す図である。
【図１３】部分伝送の処理の概念を示す図である。
【図１４】本実施形態に係るボリュームデータ伝送システムの動作を示すフローチャートである。
【符号の説明】
【００６４】
１００ サーバ装置
１０１ 符号化部
１０２ 記憶媒体
１０３ サーバ伝送部
１０３ａ ファイル情報送信部
１０３ｂ ファイル転送送信部
１０３ｃ 部分伝送ブロック送信部
１０３ｄ ブロック抽出部
２００ クライアント装置
２０１ クライアント伝送部
２０１ａ ファイル選択部
２０１ｂ 伝送プロトコル決定部
２０１ｃ パラメータ予測・記憶部
２０１ｄ ファイル転送要求・受信部
２０１ｅ 伝送要求ブロック決定部
２０１ｆ 部分伝送ブロック要求・受信部
２０２ 復号部
２０３ 表示部
【特許請求の範囲】
【請求項１】
クライアント装置が、記録媒体に記録されているボリュームデータの伝送をサーバ装置に対して要求し、サーバ装置が、前記要求されたボリュームデータを前記クライアント装置へ伝送するボリュームデータ伝送システムに適用されるクライアント装置であって、
伝送を要求するボリュームデータを選択するファイル選択部と、
前記選択したボリュームデータを前記サーバ装置から取得する際の方式として、予め定められた基準に基づいて、前記選択したボリュームデータのすべてを伝送するファイル伝送型画像伝送方式または前記選択したボリュームデータの一部を伝送する部分伝送型画像伝送方式のいずれか一方を選択する伝送プロトコル決定部と、
前記伝送プロトコル決定部が前記部分伝送型画像伝送方式を選択した場合、表示対象となるボリュームデータの伝送に要する時間を予測し、予測した時間内で伝送および表示可能な最大の解像度を決定する伝送要求ブロック決定部と、
前記伝送プロトコル決定部がファイル伝送型画像伝送方式を選択した場合は、前記選択したボリュームデータのすべてを伝送する旨の要求を前記サーバ装置に対して行なう一方、前記伝送プロトコル決定部が前記部分伝送型画像伝送方式を選択した場合は、前記決定された解像度を有する表示対象となるボリュームデータを伝送する旨の要求を前記サーバ装置に対して行なう伝送要求部と、を備えることを特徴とするクライアント装置。
【請求項２】
前記伝送プロトコル決定部は、前記選択したボリュームデータのすべてを伝送するために要する時間を予測し、要求時間内に前記選択したボリュームデータのすべてを伝送可能である場合は、前記ファイル伝送型画像伝送方式を選択する一方、要求時間内に前記選択したボリュームデータのすべてを伝送可能でない場合は、前記部分伝送型画像伝送方式を選択することを特徴とする請求項１記載のクライアント装置。
【請求項３】
前記伝送要求ブロック決定部は、前記選択したボリュームデータに関心領域（ＲＯＩ：Region Of Interest）が設定されている場合は、前記関心領域に含まれるボリュームデータが、前記関心領域に含まれないボリュームデータよりも高解像度または高ビット精度で伝送されるように、伝送の階層を決定することを特徴とする請求項１または請求項２記載のクライアント装置。
【請求項４】
前記伝送要求ブロック決定部は、前記選択したボリュームデータのうち、初期表示で必要なボリュームデータのみを要求対象に決定することを特徴とする請求項１から請求項３のいずれかに記載のクライアント装置。
【請求項５】
前記伝送要求ブロック決定部は、前記選択したボリュームデータのうち、初期表示以降で必要なボリュームデータを、最低解像度で要求する決定を行なうことを特徴とする請求項１から請求項４のいずれかに記載のクライアント装置。
【請求項６】
前記伝送要求ブロック決定部は、前記最低解像度のボリュームデータを要求した後、ユーザインタフェース部からの要求に応じて、バックグラウンドで前記最低解像度のボリュームデータと同じボリュームデータをより高い解像度で要求する決定を行なうことを特徴とする請求項５記載のクライアント装置。
【請求項７】
前記伝送要求部は、前記サーバ装置との間で、前記選択したボリュームデータの送受信を行なった時間を測定し、
前記伝送要求ブロック決定部は、前記測定された時間に基づいて、表示対象となるボリュームデータの伝送に要する時間を予測することを特徴とする請求項１から請求項６のいずれかに記載のクライアント装置。
【請求項８】
請求項１から請求項７のいずれかに記載のクライアント装置からの要求に応じて、前記記録媒体からボリュームデータを読み出して、要求されたボリュームデータのすべてを伝送するファイル伝送型画像伝送方式または要求されたボリュームデータの一部を伝送する部分伝送型画像伝送方式のいずれか一方で、ボリュームデータのすべてまたは一部を前記クライアント装置へ伝送することを特徴とするサーバ装置。
【請求項９】
請求項１から請求項７のいずれかに記載のクライアント装置と、
請求項８記載のサーバ装置と、から構成されることを特徴とするボリュームデータ伝送システム。
【請求項１】
クライアント装置が、記録媒体に記録されているボリュームデータの伝送をサーバ装置に対して要求し、サーバ装置が、前記要求されたボリュームデータを前記クライアント装置へ伝送するボリュームデータ伝送システムに適用されるクライアント装置であって、
伝送を要求するボリュームデータを選択するファイル選択部と、
前記選択したボリュームデータを前記サーバ装置から取得する際の方式として、予め定められた基準に基づいて、前記選択したボリュームデータのすべてを伝送するファイル伝送型画像伝送方式または前記選択したボリュームデータの一部を伝送する部分伝送型画像伝送方式のいずれか一方を選択する伝送プロトコル決定部と、
前記伝送プロトコル決定部が前記部分伝送型画像伝送方式を選択した場合、表示対象となるボリュームデータの伝送に要する時間を予測し、予測した時間内で伝送および表示可能な最大の解像度を決定する伝送要求ブロック決定部と、
前記伝送プロトコル決定部がファイル伝送型画像伝送方式を選択した場合は、前記選択したボリュームデータのすべてを伝送する旨の要求を前記サーバ装置に対して行なう一方、前記伝送プロトコル決定部が前記部分伝送型画像伝送方式を選択した場合は、前記決定された解像度を有する表示対象となるボリュームデータを伝送する旨の要求を前記サーバ装置に対して行なう伝送要求部と、を備えることを特徴とするクライアント装置。
【請求項２】
前記伝送プロトコル決定部は、前記選択したボリュームデータのすべてを伝送するために要する時間を予測し、要求時間内に前記選択したボリュームデータのすべてを伝送可能である場合は、前記ファイル伝送型画像伝送方式を選択する一方、要求時間内に前記選択したボリュームデータのすべてを伝送可能でない場合は、前記部分伝送型画像伝送方式を選択することを特徴とする請求項１記載のクライアント装置。
【請求項３】
前記伝送要求ブロック決定部は、前記選択したボリュームデータに関心領域（ＲＯＩ：Region Of Interest）が設定されている場合は、前記関心領域に含まれるボリュームデータが、前記関心領域に含まれないボリュームデータよりも高解像度または高ビット精度で伝送されるように、伝送の階層を決定することを特徴とする請求項１または請求項２記載のクライアント装置。
【請求項４】
前記伝送要求ブロック決定部は、前記選択したボリュームデータのうち、初期表示で必要なボリュームデータのみを要求対象に決定することを特徴とする請求項１から請求項３のいずれかに記載のクライアント装置。
【請求項５】
前記伝送要求ブロック決定部は、前記選択したボリュームデータのうち、初期表示以降で必要なボリュームデータを、最低解像度で要求する決定を行なうことを特徴とする請求項１から請求項４のいずれかに記載のクライアント装置。
【請求項６】
前記伝送要求ブロック決定部は、前記最低解像度のボリュームデータを要求した後、ユーザインタフェース部からの要求に応じて、バックグラウンドで前記最低解像度のボリュームデータと同じボリュームデータをより高い解像度で要求する決定を行なうことを特徴とする請求項５記載のクライアント装置。
【請求項７】
前記伝送要求部は、前記サーバ装置との間で、前記選択したボリュームデータの送受信を行なった時間を測定し、
前記伝送要求ブロック決定部は、前記測定された時間に基づいて、表示対象となるボリュームデータの伝送に要する時間を予測することを特徴とする請求項１から請求項６のいずれかに記載のクライアント装置。
【請求項８】
請求項１から請求項７のいずれかに記載のクライアント装置からの要求に応じて、前記記録媒体からボリュームデータを読み出して、要求されたボリュームデータのすべてを伝送するファイル伝送型画像伝送方式または要求されたボリュームデータの一部を伝送する部分伝送型画像伝送方式のいずれか一方で、ボリュームデータのすべてまたは一部を前記クライアント装置へ伝送することを特徴とするサーバ装置。
【請求項９】
請求項１から請求項７のいずれかに記載のクライアント装置と、
請求項８記載のサーバ装置と、から構成されることを特徴とするボリュームデータ伝送システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２００９−２４６６３４（Ｐ２００９−２４６６３４Ａ）
【公開日】平成２１年１０月２２日（２００９．１０．２２）
【国際特許分類】
【出願番号】特願２００８−８９９１７（Ｐ２００８−８９９１７）
【出願日】平成２０年３月３１日（２００８．３．３１）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【出願人】（３０１０２２４７１）独立行政法人情報通信研究機構 (1,071)
【Ｆターム（参考）】
【公開日】平成２１年１０月２２日（２００９．１０．２２）
【国際特許分類】
【出願日】平成２０年３月３１日（２００８．３．３１）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【出願人】（３０１０２２４７１）独立行政法人情報通信研究機構 (1,071)
【Ｆターム（参考）】
[ Back to top ]