画像処理装置及び画像処理プログラム
【課題】操作内容に応じた画像を速やかに表示する。
【解決手段】画像処理装置３は、操作対象となる画像に対して予測される操作内容を示す予測情報を記憶する予測情報記憶手段１５と、予測情報に基づいて、操作対象となる画像に対応する予測画像を作成する予測画像作成部２５と、入力された操作内容と予測情報の操作内容との一致を検知する制御手段１１と、制御手段１１が操作内容の一致を検知した場合に予測画像作成部２５が作成した予測画像を表示させる画像表示制御手段１８と、を備える。
【解決手段】画像処理装置３は、操作対象となる画像に対して予測される操作内容を示す予測情報を記憶する予測情報記憶手段１５と、予測情報に基づいて、操作対象となる画像に対応する予測画像を作成する予測画像作成部２５と、入力された操作内容と予測情報の操作内容との一致を検知する制御手段１１と、制御手段１１が操作内容の一致を検知した場合に予測画像作成部２５が作成した予測画像を表示させる画像表示制御手段１８と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理プログラムに関する。
【背景技術】
【０００２】
従来より、ＣＴ(Computed Tomography、コンピュータ断層撮影)装置又はＭＲＩ(Magnetic Resonance Imaging、磁気共鳴像)装置などによって撮影された生体の断層画像によって人体の内部構造を直接観察する画像診断が行われているが、さらに、近年、ＣＴ装置又はＭＲＩ装置などによって上下、前後、又は左右と少しずつ移動させながら撮影した断層画像を積み重ねて生成したデジタルデータを基に３次元空間を格子状に小さく区切ったボクセル（voxel：volume element）で表し、ボクセルデータの密度を合計して物体の濃度や密度の分布を半透明の３次元イメージ画像を描画するボリュームレンダリングが行われるようになり、断層画像だけでは分かり難い人体の内部を可視化できるようになった。
【０００３】
ボリュームレンダリングとして、仮想始点から物体に対して仮想光線を照射して物体内部からの仮想反射光による画像を仮想投影面に形成して物体内部の３次元構造を透視したレイキャスティングなどが知られている。レイキャスティングによって生成された画像によって医療診断行う場合、人体の内部構造がきわめて複雑なので、ボクセルを小さくして形の精度を上げる必要があるが、精度を上げるほどデータ量が膨大になり、画像データを作成するための計算処理に時間がかかる。
【０００４】
一方、実際の画像診断では、モニタ画面に診断対象となる部位を表示させ、表示角度を少しずつ移動したり、表示位置を少しずつ移動させるなどの同じ操作を繰り返して患部を詳細に観察し、診断情報を診断結果などのレポートにまとめて終了するという一連の動作が繰り返される。
【０００５】
また、このような画像処理装置では、画像データの作成処理を実行している間は負荷が非常に大きく、表示データを得るまでに時間がかかるが、一旦、画面が表示されると、次の操作を待つだけでほとんどすることがない。そこで、装置の負荷が低い時間を有効に使って次の画面が表示されるまでの時間を短縮しようとするものがある（例えば、特許文献１参照）。
【０００６】
特許文献１の情報の表示装置は、クライアントコンピュータのブラウザが遊休時間にＷｅｂページ又はそのコンポーネントをローカルなキャシュメモリに先取りして蓄積し、新たなＷｅｂページが取り出されたことをグラフィカルなユーザインターフェースを介してビジュアルサインによってユーザに視覚的に知らせるように構成されており、ネットワークの負荷が低い期間に空いているコンピュータ資源を有効に利用して新たなＷｅｂページを迅速に表示させることができる。
【０００７】
【特許文献１】米国特許第６１８２１３３号明細書
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、上記特許文献１の情報の表示装置においては、クライアントコンピュータのブラウザがサーバコンピュータによって予め提供されたＷｅｂページを取り込んで蓄積しておくだけであり、新たな画像を作成して表示するものではない。
【０００９】
また、画像診断では、診断を行う度に対象となる人体が異なり、画像が予め提供されるものではないので、オペレータの操作が入力されてから入力された操作に従ってボリュームレンダリング画像の画像データを計算によって作成しなければならない。例えば、図９に示すように、表示位置を少し移動させる場合、オペレータの操作が入力された後、膨大なデータを使って複雑な計算を行い新たな画像データを構築し直すため、画像が表示されるまでに時間がかかり、図９（ｂ）に示すように画面の一部が暗くなってしまう。
【００１０】
そのため、従来の画像処理装置は、オペレータにストレスを与えるというだけでなく、画面に画像が表示されるまでの間作業を中断される為、診断作業の効率が悪いという事情があった。
【００１１】
本発明は、上記事情を考慮してなされたものであり、操作内容に応じた画像を速やかに表示できる画像処理装置及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明の画像処理装置は、ボクセルデータに基づいてボリュームレンダリングを行う画像処理装置であって、データサーバから受信したボリュームレンダリングに必要なボクセルデータを格納するボクセルデータ格納手段と、操作対象となる画像に対して予測される操作内容を示す操作情報を含む予測情報を記憶する予測情報記憶手段と、前記予測情報に基づき、１次元パラメータの変更で表現できる操作情報に対応する予測画像を、前記必要なボクセルデータを用いて作成する予測画像作成手段と、入力された操作内容と前記予測情報の操作内容との一致を検知して、前記予測画像作成手段が作成した、当該操作内容に対応する予測画像に基づく画像を表示させる画像表示制御手段と、を備え、前記１次元パラメータの変更で表現できる操作情報の前記１次元パラメータが、ボクセル値に値を割り当てる変換関数を定義するパラメータのひとつであるものである。
【００１３】
上記構成によれば、予測情報に基づいて、操作対象となる画像に対応する予測画像を作成する予測画像作成手段を備えることにより、操作ごとに画像を作成することなく予め作成しておいた画像を表示させることができる為、操作内容に応じた画像を速やかに表示できる。特に、上記構成によれば、カラールックアップ変換関数やオパシティー関数といった変換関数を用いた画像表示の変更を速やかに行うことができる。
【００１４】
また、本発明の画像処理装置は、前記変換関数が、カラールックアップ変換関数であるものである。また、本発明の画像処理装置は、前記変換関数が、オパシティー関数であるものである。
【００１５】
また、本発明の画像処理装置は、過去の操作内容を示す履歴情報を保持する履歴情報記憶手段を備え、前記予測情報が、前記履歴情報記憶手段に保持される、前記操作対象となる画像に対する直前の操作内容を示す操作情報と、当該直前の操作内容を示す操作情報のうち、１次元パラメータの変更で表現できる操作情報と、を含むものである。また、本発明の画像処理装置は、前記履歴情報記憶手段が、オペレータ毎の操作履歴情報を保持するものである。上記構成によれば、履歴情報記憶手段がオペレータ毎の操作履歴情報を保持するため、マルチユーザに対応できる。
【００１６】
また、本発明の画像処理装置は、前記予測画像作成手段が、前記予測情報に基づいて、ネットワークを介して接続される複数の画像処理装置を用いて分散して予測画像を作成するものである。上記構成によれば、他の画像処理装置の計算資源を利用することにより、画像の作成に要する負荷を軽減できる。
【００１７】
さらに、本発明の画像処理プログラムは、コンピュータを、本発明の画像処理装置を構成する各手段として機能させるためのプログラムである。
【発明の効果】
【００１８】
本発明によれば、予測情報に基づいて、操作対象となる画像に対応する予測画像を作成することにより、操作ごとに画像を作成することなく予め作成しておいた画像を表示させることができる為、操作内容に応じた画像を速やかに表示できる。
【発明を実施するための最良の形態】
【００１９】
以下、本発明の画像処理装置による実施の形態について説明する。なお、本発明に係る画像処理装置は、主にボクセルデータをベースに描画される医療画像などを扱うもので、画像処理はコンピュータプログラムにより実現される。
【００２０】
図１は、本発明の実施形態における画像処理装置の機能ブロック図である。図１において、画像処理システム１は、医師などのオペレータが操作するための入力装置２と、入力装置２からの操作に従って画像を作成する画像処理装置３と、画像処理装置３が作成した医療画像などを表示する表示装置４とを備える。画像処理システム１は、ＣＴ装置及びＭＲＩ装置などの医療画像診断装置で撮影された医療画像データをボクセルデータとして蓄積するストレージサーバ６と、複数の画像処理システムとに通信回線８を介して接続される。画像処理システム１は、通信回線８によって構成される院内ネットワーク（ＬＡＮ）などを介して複数の画像処理システムが備える計算資源を利用することができる。
【００２１】
画像処理装置３は、制御手段１１に、入力装置２から入力された操作などに従って表示する画像の画像データを作成する画像作成手段１２と、オペレータ毎の過去の操作内容を保持する操作履歴情報記憶手段１４と、オペレータが次に行う操作として予測される操作を記憶した予測情報記憶手段１５と、ストレージサーバ６から転送された分散ボリュームレンダリング処理のためのデータリストを格納するボクセルデータ格納部１６と、画像作成手段１２及び各画像処理システムから転送される分散ボリュームレンダリング画像データを連結してロードする画像メモリ１７と、画像メモリ１７にロードされた画像データに基づいて表示装置４に画像を表示する表示制御部１８などがそれぞれ接続されて構成されている。
【００２２】
画像作成手段１２は、予測情報に基づいて、操作対象となる画像に対応する予測画像を作成する予測画像作成部２５を含む。制御手段１１は、入力された操作内容と操作履歴情報の操作内容との一致を検知し、表示制御手段１８は、制御手段１１が操作内容の一致を検知した場合に予測画像作成部２５が作成した予測画像を表示させる。
【００２３】
画像作成手段１２は、画像データの作成要求を受け付け、ストレージサーバ６に対しデータリストを要求してデータリストを取得し、ストレージサーバ６にボクセルデータを分割して割り当て先の各画像処理システムに転送するよう要求して各画像処理システムに分散ボリュームレンダリング処理要求を送信する要求処理部２１と、各画像処理システムのＣＰＵ使用率及びメモリ空き容量を考慮して各画像処理システムにデータ負荷及び計算負荷を割り当てる計算分割部２２と、自身の分散ボリュームレンダリング処理を行う分散処理部２３と、自身の分散処理部２３及び各画像処理システムから転送される分散ボリュームレンダリング画像データを一つに連結して画像データを生成し、生成した画像データを画像データの作成要求ごとに画像メモリ１７に転送する画像連結部２４と、過去の操作内容を示す履歴情報に基づいて、操作対象となる画像に対応する予測画像を作成する予測画像作成部２５とを有する。
【００２４】
操作履歴情報記憶手段１４は、オペレータごとに過去の操作内容を記憶したものである。図２は、本発明の実施形態における操作履歴情報記憶手段の構成例を示す図である。図２に示すように、操作履歴情報記憶手段１４には、例えば、オペレータＩＤ４１、およびオペレータ属性情報４２を含むオペレータ情報４４と、オペレータ情報４４ごとに操作時刻４５、操作対象となる画面を示す操作画面４６、および操作内容４７を含む操作履歴情報４８とが設けられる。
【００２５】
予測情報記憶手段１５は、操作対象となる画面ごとに予測される操作内容と、予測される操作内容に基づいて作成した予測画像データがロードされている画像メモリ１７のアドレスを記憶するものである。図３は、本発明の実施形態における予測情報記憶手段の構成例を示す図である。図３に示すように、予測情報記憶手段１５には、例えば、操作対象となる画面を示す操作画面５１、および操作画面５１に対して予測する操作の数を示す予測操作数５２を含む画面情報５３と、画面情報５３ごとに優先度５４、操作内容５５、操作内容５５によって画像が表示されるか否かを示す画像有無５６、画像有無５６によって画像が表示される場合、予測画像の作成状態を示す作成状況５７、および作成した予測画像データをロードした画像メモリ１７のアドレスを示すロードアドレス５８を含む予測情報５９が設けられる。予測情報５９は、優先度順に予測操作数５２に記憶された数並べて記憶されている。操作画面５１と履歴情報４８の操作画面４６には、操作画像を特定する情報が記憶される。
【００２６】
予測情報５９に何をいくつ記憶させるかは、自由に選んで設計することができるが、操作画面５１で次に実行させる可能性が高い操作を設定すると画像処理システム１全体の画像表示レスポンスをあげることができる。予測操作数５２は、１つでも、複数でもよいが、画像処理装置３の有する画像メモリ１７の大きさと、予測した操作の実行性などを考慮して操作画面５１ごとに決めることができる。
【００２７】
本実施の形態では、操作画面５１によって、予測操作数５２を「２」として、予測情報５９の優先度１の操作内容５５を直前に行った操作、優先度２の操作内容５５を直前に行った操作内容の１つのパラメータを変更したものか、又は、予測操作数５２を「３」として予測情報５９の優先度１の操作内容５５を直前に行った操作、優先度２および優先度３の操作内容５５を直前に行った操作内容の２つのパラメータを変更したものとする。
【００２８】
なお、予測情報５９の操作内容５５は、上記に限定されない。直前に行った操作だけでなく、２つ前までに行った操作などとしてもよいし、履歴情報４８に記憶される過去の操作内容４７のうち最も多い操作、所定の回数以上行われた操作、またはそれらの組み合わた操作、操作が行われた頻度などに従っていくつかの操作を順に並べたものでもよい。履歴情報４８の一部の操作内容を変更したものでもよい。
【００２９】
また、操作履歴情報記憶手段１４には、オペレータ属性情報４２が含まれているため、予測情報５９の操作内容５５を、履歴情報４８に関係なく、オペレータ属性情報４２に対応してオペレータがいつも行う定型操作としてもよい。この場合、オペレータ属性情報４２ごとに異なった操作内容５５を設定できるので、マルチユーザに対応できる。
【００３０】
画像作成手段１２は、予測情報５９の操作内容５５に基づいて、ネットワークを介して接続される他の画像処理システムに分散して画像データを作成させるものである。画像作成手段１２の要求処理部２１、ボクセルデータ格納部１６、及び画像メモリ１７は、通信回線８を介してストレージサーバ６及び各画像処理システムに接続され、互いに処理要求及びデータなどを送受信する。
【００３１】
ストレージサーバ６は、患者などの医療画像データをボクセルデータとして蓄積し、画像作成手段１２の要求処理部２１の指示に従いボクセルデータを分割して割り当て先の各画像処理システムに転送する。各画像処理システムは、画像処理システム１と同じ装置であり、分散処理部２３と、ストレージサーバ６から転送されたボクセルデータを格納するボクセルデータ格納部１６とを備え、転送されたボクセルデータに対し割り当てられた計算処理を行い、分散ボリュームレンダリング画像データを作成して画像処理システム１の画像連結部２４に通信回線８を介して転送する。
【００３２】
図４は、本発明の実施形態における表示装置に表示される診断画面の第１の例を示す図である。図４において、診断画面３１は、表示された画像に関する情報を示す画像情報３２と、画像に対する操作を選択するための操作メニュー３３などからなり、画像情報３２には、患者名や患者ＩＤなどの患者情報３４、表示された部位を示す部位情報３５、及び表示方法３６と、ボリュームレンダリング画像を表示する表示ウインド３７などがある。表示する表示ウインド３７は１つに限定されない。複数の表示ウインド３７を設けて同時に複数のボリュームレンダリング画像を表示してもよい。
【００３３】
操作メニュー３３には、表示ウインド３７に表示されたボリュームレンダリング画像に対して次に行う操作がメニュー形式で項目３８として表示されている。例えば、オペレータは操作メニュー３３から実施したい操作を項目３８から選択して入力する。
【００３４】
診断画面３１において、操作メニュー３３から選択できる項目３８は、以下のようなものがある。
（１）「繰り返す」；直前に行った操作を繰り返して画像を表示する。
（２）「前に戻る」；１つ前に表示した画像を再表示する。
（３）「右移動」、「左移動」、「上移動」、「下移動」；表示ウインド３７に表示された画像を移動させる。（４）「右回転」、「左回転」、「上回転」、「下回転」；表示角度を回転させて表示する。
（５）「拡大表示」「縮小表示」；画像の特定の部位を拡大又は縮小して表示する。
（６）「ＭＩＰ（Maximum Intensity Projection）表示」；もっとも明るい骨などの部分だけに表示を限定して表示させる。「厚みつきＭＩＰ表示」；ＭＩＰ画像に厚みを持たせて表示する。
（７）「ＭＰＲ（Multi Planar Reconstruction）表示」；ボリュームを任意断面で切断した２次元画像を表示する。断面は平面や曲面を設定できる。
（８）「Ｐａｒｔｉａｌ ＭＩＰ表示」；明るさのレベルによって区別できる骨や他の臓器を取り除き臓器に厚みを持たせて表示する。
（９）「ＷＬ（Window/Level）変換表示」；画像を表示する階調を変換して表示する。
（１０）「４Ｄ（Dimension）表示」；３次元画像を移動させながら時系列に連続する動画として表示する。
（１１）「電子カルテ作成」「診断書作成」；診断情報をレポートとしてまとめるために表示ウインド３７に表示されたボリュームレンダリング画像を各書式に書き出す。
（１２）「終了」；画像診断を終了する。
【００３５】
操作メニュー３３に示される（１）から（１０）のいずれかの項目３８を選択して詳細な操作内容を入力すると、画像作成処理が行われて、ボリュームレンダリング画像が表示される。（１１）のいずれかの項目３８を選択すると、画像作成処理は行われず、表示ウインド３７に表示されたボリュームレンダリング画像が決められた書式の枠に格納される。
【００３６】
操作メニュー３３で選択された項目３８は、オペレータごとに履歴情報４８の操作内容４７に記憶される。メニュー形式で表わされる診断画面３１の予測情報５９の優先度１には、項目３８によって直前に選択された操作内容が、優先度２には、項目３８によって直前に選択された操作内容の１つのパラメータを変更した操作が記憶される。
【００３７】
図５は、本発明の実施形態における診断画面の第２の例を示す図である。図５において、診断画面６１には、ボリュームレンダリング画像を表示する表示ウインド６２と、マウスポインタ６３と、ボリュームレンダリング画像を表示する表示ウインド６２の２つの縁に表示部分を移動させるスライダ６４などが表示される。診断画面６１において、マウスポインタ６３を使ってスライダ６４を移動させるか、表示ウインド６２内のボリュームレンダリング画像にマウスポインタ６３を合わせてマウスをドラッグし、表示されていない部分のボリュームレンダリング画像を表示させるパン処理を行う。また、モードを切り替えることによってドラッグによる回転処理も可能である。
【００３８】
診断画面６１において、スライダ６４を移動させた方向と距離、または、表示ウインド６２の中でマウスポインタ６２をドラッグした方向と距離は、オペレータごとに履歴情報４８の操作内容４７に記憶される。図３に示すように、パン処理が行われる診断画面６１の予測情報５９の優先度１には、直前に行われた操作の操作内容が、優先度２および優先度３には、直前に行われた操作の２つのパラメータを変更した操作が記憶される。
【００３９】
以上のように構成された画像作成装置１について、図６から図８を用いてその動作を説明する。図６に、本発明の実施形態における画像処理装置の動作説明のためのフロー図を示す。画像処理装置１の動作は、主に制御手段１１によって制御される。図６に示すように、初めに医師などのオペレータが、入力装置２からログイン情報と、診断を行う患者情報などを入力すると（Ｓ３０１）、画像作成手段１２を実行して指定した患者のボリュームレンダリング画像データを画像メモリ１７にロードする（Ｓ３０２）。表示制御部１８は、画像メモリ１７に基づいてボリュームレンダリング画像を表示ウインド３７に表示した診断画面を表示装置４に表示させる（Ｓ３０３）。
【００４０】
診断画面から操作が入力されると（Ｓ３０４；ＹＥＳ）、操作が「終了」でなければ（Ｓ３０５；ＮＯ）、操作内容を履歴情報４８の操作内容４７に記憶する（Ｓ３０６）。
【００４１】
入力された操作の結果画像が表示されるときは（Ｓ３０７；ＹＥＳ）、入力された操作内容と一致するものが表示された画面と同じ操作画面５１に用意された予測情報５９の操作内容５５の中にあるかを検知し、操作内容が一致するものがあれば（Ｓ３０８；ＹＥＳ）、すでに予測画像作成部２５によって予測画像データの作成処理が完了し、予測情報５９の作成状況５７が完了になっていれば（Ｓ３０９；ＹＥＳ）、予測画像作成部２５で実行中の処理があるときそれを終了させて（Ｓ３１０）、Ｓ３０３に戻ってロードアドレス５８で示される画像メモリ１７にロードされた予測画像データを表示ウインド３７に表示する（Ｓ３０３）。
【００４２】
Ｓ３０７において、入力された操作の結果、表示する画像がなければ（Ｓ３０７；ＮＯ）、Ｓ３０４に戻って次の入力を待つ。入力された操作の結果、画像が表示される操作であって（Ｓ３０７；ＹＥＳ）、Ｓ３０４で入力された操作と予測情報５９の操作内容５５とが一致するものがなければ（Ｓ３０８；ＮＯ）、予測画像作成部２５で実行中の処理があればそれを終了させて（Ｓ３１１）Ｓ３０２に戻って画像作成手段１２を実行して入力された操作に応じて表示する画像データを作成する（Ｓ３０２）。Ｓ３０２の処理は、従来の画像処理装置で行われている処理である。
【００４３】
入力された操作の結果、画像が表示される操作であって（Ｓ３０７；ＹＥＳ）、Ｓ３０４で入力された操作と予測情報５９の操作内容５５との一致を検知した場合に（Ｓ３０８；ＹＥＳ）、予測画像作成部２５が表示する予測画像データの作成処理を完了していなければ（Ｓ３０９；ＮＯ）、予測画像作成部２５が実行中の他の処理があればそれを終了させる（Ｓ３１２）。その後、予測画像データの作成処理の完了すれば（Ｓ３１３；ＹＥＳ）、Ｓ３０３に戻って予測情報５９のロードアドレス５８で示される画像メモリ１７にロードされた予測画像データを表示ウインド３７に表示する（Ｓ３０３）。
【００４４】
Ｓ３０４において入力がないときは（Ｓ３０４；ＮＯ）、予測画像作成部２５を実行して予測情報５９に基づいて予測画像データを作成する（Ｓ３１４）。なお、画像処理装置３が他の処理も平行して実行する場合、Ｓ３０４で入力がなく（Ｓ３０４；ＮＯ）、画像処理システム１のＣＰＵ使用率が所定値以下のときにＳ３１４の予測画像作成部２５を実行させるようにしてもよい。
【００４５】
図７は、本発明の実施形態における予測画像作成部の処理フロー図である。図７に示すように、予測画像作成部２５は、表示された画面と同じ操作画面５１に用意された予測情報５９の操作内容５５に基づいて予測画像データを作成する。予測情報５９は優先度の高い順に並べられているので、それに従って予測画像データを作成する。
【００４６】
予測操作数５２に「ｎ」の予測情報５９が記憶されているとすると、ｎ個の予測情報５９の操作内容５５に、例えば直前の操作内容など未定の要素が含まれていれば（Ｓ４０１；ＹＥＳ）、直前の操作内容であれば、オペレータに対応した履歴情報４８の先頭に記憶されている直前の操作内容４７を予測情報５９の操作内容５５に代入するなどして、予測情報５９を確定させる（Ｓ４０２）。予測情報５９の操作内容５５がすべて確定したものであれば（Ｓ４０１；ＮＯ）、Ｓ４０２の処理を行う必要はない。
【００４７】
まずｉ＝１として（Ｓ４０３）、ｉがｎ以下である場合は（Ｓ４０４；ＹＥＳ）、予測情報５９に記憶されたｉ番目の操作内容５５に従って操作条件を設定する（Ｓ４０５）。
【００４８】
ｉ番目の操作内容５５が画像を表示する操作であれば（Ｓ４０６；ＹＥＳ）、画像作成手段１２が作成したボリュームレンダリング画像の予測画像データを画像メモリ１７にロードし（Ｓ４０７）、予測情報５９のロードアドレス５８に画像メモリ１７の予測画像データのアドレスを記憶して（Ｓ４０８）、ｉ＝ｉ＋１として（Ｓ４０９）、Ｓ４０４に戻る。予測情報５９に含まれるすべての操作内容５５に関する処理が終了するまで（Ｓ４０４；ＮＯ）、Ｓ４０５からＳ４０９の処理を繰り返し、各操作内容５５に基づいて、操作対象となる画像に対応する予測画像データをすべて作成して画像メモリ１５にロードする。
【００４９】
ｉ番目の操作内容が、画像を表示するものでなければ（Ｓ４０６；ＮＯ）、例えば、電子カルテなどへの書き出し処理やデータのロード処理などの他の処理を実行する（Ｓ４１０）。
【００５０】
Ｓ４０４において、予測情報５９にのすべての操作内容５５について処理が終了すると（Ｓ４０４；ＹＥＳ）、画像データ作成処理を終了する。
【００５１】
図８は、本発明の実施形態における画像作成処理の処理フロー図である。図８に示すように、画像作成手段１２の要求処理部１７は、画像作成要求を受け付けると、ストレージサーバ６に対し要求された画像のデータリストを送信するように要求し（Ｓ５０１）、データリストを受信して取得する（Ｓ５０２）。データリストには、その医療画像に関するボクセルデータのデータ量を示す情報が含まれている。
【００５２】
ボクセルデータのデータ量が所定値以上であるとき（Ｓ５０３；ＹＥＳ）、分割処理部２３は、ボクセルデータのデータ量と各画像処理システムにおけるＣＰＵ使用率、メモリ空き容量などの計算資源利用状況情報に基づいて、分散処理を担当する各画像処理システムに計算負荷を割り当て、ボクセルデータの分割割合を決定する（Ｓ５０４）。
【００５３】
要求処理部１７は、ストレージサーバ６に対してボクセルデータの分割割合に基づいて各画像処理システムにボクセルデータを送信するように要求し（Ｓ５０５）、各画像処理システムに対して割り当てられた計算負荷分の分散ボリュームレンダリング処理を実行するよう要求する（Ｓ５０６）。
【００５４】
ストレージサーバ６は、ボクセルデータの送信要求を受信してボクセルデータを指示に従って分割し、割り当て先の各画像処理システムのボクセルデータ格納部１６に転送する。
【００５５】
各画像処理システムの分散処理部２３は、ボクセルデータ格納部１６に格納された割り当てデータに対し割り当てられた計算処理を行って分散ボリュームレンダリング処理を実行する。各画像処理システムにおける処理された分散ボリュームレンダリング画像データは通信回線８を介して画像処理装置３の画像連結部２４に転送される。
【００５６】
画像作成手段１２の画像連結部２４は、自身の分散処理部２３からの分散ボリュームレンダリング画像データと各画像処理システムから転送されたすべての分散ボリュームレンダリング画像データを受信すると（Ｓ５０７；ＹＥＳ）、分散ボリュームレンダリング画像データを一つに連結して画像データを生成し（Ｓ５０８）、生成した画像データを画像作成要求ごとに画像メモリ１７にロードして（Ｓ５０９）、処理を終了する。
【００５７】
図４の診断画面３１が表示されるとき、予測情報５９の優先度１には、直前に選択された操作内容が、優先度２には、直前に選択された操作内容の１つのパラメータを変更した操作が記憶される。どのパラメータを変更するかは、履歴情報４８の中でオペレータが直前の操作の前に変更したパラメータなどとするが、過去の操作内容４７のうち最も多く行われた操作内容から変更するパラメータを選んでもよい。
【００５８】
診断画面３１において、以下の操作が選択されて画像が表示された直後の処理について説明する。
（１）「右移動」、「左移動」、「上移動」、「下移動」（ボタン操作によるパン処理）；予測情報５９の優先度１の操作内容５５は、直前の操作と同じ操作であり、優先度２の操作内容５５は、直前の操作の移動距離を変更したものとする。オペレータが移動距離を変更しながら「右移動」、「左移動」、「上移動」、又は「下移動」の操作を行い、画像を観察している間に、予測画像作成部２５は、予測情報５９の優先度１の操作内容５５に基づいて、続けて直前の操作と同じ操作を行ったときの予測画像データと、優先度２の操作内容５５に基づいて、直前の操作の移動距離を変更して操作を行ったときの予測画像データを作成して画像メモリ１７にロードしておく。これにより、オペレータが次も同じ移動操作を行うか、又は、少し移動距離がずれた操作を行っても、予め作成しておいた予測画像を表示させることができる為、移動操作に応じたボリュームレンダリング画像を速やかに表示することができる。
【００５９】
（２）「右回転」、「左回転」、「上回転」、「下回転」；予測情報５９の優先度１の操作内容５５は、直前の操作と同じ操作であり、優先度２の操作内容５５は、直前の操作の回転方向を逆に変更したものとする。オペレータが回転方向を変更ながら「右回転」、「左回転」、「上回転」、又は「下回転」の操作を行い、画像を観察している間に、予測画像作成部２５は、予測情報５９の優先度１の操作内容５５に基づいて、続けて直前の操作と同じ操作を行ったときの予測画像データと、優先度２の操作内容５５に基づいて、直前の操作の回転方向を逆に変更して操作を行ったときの予測画像データを作成して画像メモリ１７にロードしておく。これにより、オペレータが次も同じ操作を行うか、又は、回転を元に戻す操作を行えば、予め作成しておいた予測画像を表示させることができる為、回転操作に応じたボリュームレンダリング画像を速やかに表示することができる。
【００６０】
（３）「拡大表示」「縮小表示」；予測情報５９の優先度１の操作内容５５は、直前の操作と同じ操作であり、優先度２の操作内容５５は、直前の操作の拡大率又は縮小率を変更したものとする。オペレータが拡大率又は縮小率を変更しながら「拡大表示」又は「縮小表示」の操作を行い、画像を観察している間に、予測画像作成部２５は、予測情報５９の優先度１の操作内容５５に基づいて、続けて直前の操作と同じ操作を行ったときの予測画像データと、優先度２の操作内容５５に基づいて、直前の操作の拡大率又は縮小率を変更して操作を行ったときの予測画像データを作成して画像メモリ１７にロードしておく。これにより、次もオペレータが同じ操作行うか、又は、拡大率又は縮小率を変更した操作を行えば、予め作成しておいた予測画像を表示させることができる為、拡大および縮小操作に応じたボリュームレンダリング画像を速やかに表示することができる。
【００６１】
（４）「ＭＰＲ表示」；予測情報５９の優先度１の操作内容５５は、直前の操作と同じ操作であり、優先度２の操作内容５５は、直前の操作を逆に変更したものとする。例えば、直前に奥に３センチ進めて切断したＭＰＲ画像の表示操作が行われたとすると、予測情報５９の優先度１の操作内容５５には、奥に３センチ切断位置をずらしたＭＰＲ画像の表示操作が記憶され、優先度２の操作内容５５には、操作内容の１つのパラメータである方向を変更して、手前に３センチ切断位置をずらしたＭＰＲ画像の表示操作が記憶される。オペレータが奥に３センチずらして切断したＭＰＲ画像を観察している間に、予測画像作成部２５は、予測情報５９の優先度１の操作内容５５に基づいて、さらに奥に３センチずらして切断したＭＰＲ画像の予測画像データと、優先度２の操作内容５５に基づいて、直前の操作の方向を変更して、手前に３センチずらして切断したＭＰＲ画像の予測画像データを作成して画像メモリ１７にロードしておく。これにより、オペレータが次も同じ操作行うか、または、切断位置を逆方向にずらす操作を行えば、予め作成しておいた予測画像を表示させることができる為、ＭＰＲ表示操作に応じたボリュームレンダリング画像を速やかに表示することができる。
【００６２】
（５）「４Ｄ表示」；予測情報５９の優先度１の操作内容５５は、あるフレーム数進めたボリュームレンダリング画像の表示要求であり、優先度２の操作内容５５は、あるフレーム数戻したボリュームレンダリング画像の表示要求である。「４Ｄ表示」を選択すると、次々にあるフレーム数進めたボリュームレンダリング画像の表示を要求する操作が発せられので、予測画像作成部２５は、予測情報５９の優先度１の操作内容５５および優先度２の操作内容５５に基づいて次々にあるフレームにおけるボリュームレンダリング画像の予測画像データを作成して画像メモリ１７にロードしておく。これにより、オペレータが操作によって表示する画像の位置を移動させて変化させた新しい画像の作成処理が終了するまでの間に予め作成しておいた予測画像を表示させることができる為、４Ｄ表示操作に応じて動きが滑らかなボリュームレンダリング画像の動画を表示することができる。
【００６３】
１次元パラメータの変更で表現できる操作の例として、カラールックアップ変換関数を用いた処理やＷＷ／ＷＬ変換処理、オパシティ関数を用いた処理がある。これらの処理の場合も、上述した画像種の表示と同様に実現できる。
【００６４】
（６）「カラールックアップ変換関数」；カラールックアップ変換関数とは、ボリュームレンダリング中にあるスカラー値で表現されるボクセル値に対してＲＧＢの３パラメータで表現される色を割り当てる変換関数である。カラールックアップ変換関数は通常は各ＲＧＢそれぞれに割り当てられた区分連続関数やスプライン関数、自由曲線関数で表現されており、例えば、区分連続関数のパラメータを変化させることによってボリュームレンダリング結果の色彩を変更することができる。なお、カラールックアップ変換はモノクロ画像変換も表現でき、この場合、ボクセル値に割り当てられた輝度が与えられる。その一形態がＷＷ／ＷＬ変換である。
【００６５】
（７）「オパシティー関数」；オパシティー関数とはボリュームレンダリング中にあるスカラー値で表現されるボクセル値に対して不透明度を割り当てる変換関数である。オパシティー関数は区分連続関数やスプライン関数、自由曲線関数で表現されている。例えば、ボリュームレンダリング画像が骨を表現している場合、不透明度に関するパラメータを下げることによって骨が徐々に透けていくようにボリュームレンダリングされる。
【００６６】
（８）「電子カルテ作成」；「電子カルテ作成」の操作内容を予測情報５９の操作内容５５として記憶しておけば、新しいボリュームレンダリング画像が表示されてオペレータの次の入力を待っている間に、予測画像作成部２５が新しく表示されたボリュームレンダリング画像を電子カルテに格納する処理を実行するので、次に診断中に患部のボリュームレンダリング画像を電子カルテに書き込む処理がスムースに終わる。
【００６７】
また、予測情報５９の操作内容５５としてデータのロードを記憶しておけば、オペレータの次の入力を待っている間に予測画像作成部２５は、データをロードする処理を実行する。これにより、ロードするデータとして前回のロードデータ又はＣＴ装置などで新しく撮影された診断画像又は現在閲覧中の患者にかかわるの他のデータなどを予め指定しておけば、自動的に次に操作対象となる患者のデータがロードされているので、患者のデータを読み出すときに待たなくてもよい。
【００６８】
（９）「パン処理」；診断画面３１においてマウスドラッグによるパン処理が指示された直後の処理について説明する。「予測情報５９の優先度１の操作内容５５はパン処理とする」パン処理の結果取得される画像は現在画面に表示されているボリュームレンダリング画像のに対して、画面に入らない部分を表現する画像であるということに基づき、画面に表示されていない部分を含んだ画像を計算することによって予測画像を含んだ画像を作成することができる。そこで、前記画面に表示されていない部分のを含んだ画像を画像メモリ１７にロードしておく。これによりオペレータが次もパン処理を行った場合はあらかじめ作成した予測画像させることができる為、いかなるパン操作に対してもボリュームレンダリング画像を速やかに表示することができる。以下、マウスドラッグによるパン処理の具体例を説明する。
【００６９】
図５の診断画面６１で、スライダ６４を移動させて、又は表示ウインド６２の中でマウスポインタ６３をドラッグして表示されていない部分のボリュームレンダリング画像を表示させるパン処理が行われた直後の処理について説明する。スライダ６４の移動方向と移動距離、又はマウスポインタ６２の移動方向と移動距離は、オペレータごとに履歴情報４８の操作内容４７に記憶される。図３に示すように、診断画面６１の予測情報５９の優先度１には、直前に行われた操作の操作内容が、優先度２および優先度３には、直前に行われた操作の２つのパラメータを変更した操作が記憶される。
【００７０】
例えば、表示ウインド６２内のボリュームレンダリング画像にマウスポインタ６３を合わせてマウスを右斜め上３０度の方向に３センチドラッグさせる操作が行われて、ボリュームレンダリング画像が表示されるときは、履歴情報４８の直前の操作内容４７には、右斜め上３０度の方向に３センチ移動したボリュームレンダリング画像の表示操作が記憶され、予測情報５９の優先度１には、同じく、右に右斜め上３０度の方向に３センチ移動したボリュームレンダリング画像の表示操作が記憶され、優先度２には、ボリュームレンダリング画像に水平に右に３センチ移動させたボリュームレンダリング画像の表示操作が、優先度３には、ボリュームレンダリング画像に垂直に上に３センチ移動させたボリュームレンダリング画像の表示操作が記憶される。
【００７１】
オペレータが右斜め上３０度の方向に３センチ移動したボリュームレンダリング画像を観察している間に、予測画像作成部２５は、予測情報５９の優先度１の操作内容５５に基づいて、さらに右斜め上３０度の方向に３センチ移動したボリュームレンダリング画像の予測画像データと、優先度２の操作内容５５に基づいて、ボリュームレンダリング画像に水平に右に３センチ移動したボリュームレンダリング画像の予測画像データと、優先度３の操作内容５５に基づいて、ボリュームレンダリング画像に垂直に上に３センチ移動したボリュームレンダリング画像の予測画像データを作成して、画像メモリ１７にロードしておく。これにより、前回の操作と多少ずれた操作を行っても、予め作成しておいた予測画像データによって画像を迅速に表示させることができる為、パン処理に応じたボリュームレンダリング画像を速やかに表示することができる。
【００７２】
（１０）「マウスドラッグによる回転処理」；診断画面３１においてマウスドラッグによる回転処理が指示された直後の処理について説明する。回転処理の履歴情報は回転中心の座標を表現する３パラメータ、回転方向を表現する２パラメータ、回転量を表現する１パラメータの合計６パラメータで表現する。６次元の自由度で表現される履歴情報に対して回転中心の座標を表現する３パラメータ、回転方向を表現する２パラメータを固定することによって次元を１次元に縮退させ、予測情報５９を作成することができる。オペレータが画像を観察している間に予測画像作成部２５は、予測情報５９の優先度１の操作内容５５に基づいて、予測画像データを作成して画像メモリ１７にロードしておく。これによってオペレータが同中心座標同方向に回転操作を続ければ、予め作成しておいた予測画像を表示させることができる為、回転操作に応じたボリュームレンダリング画像を速やかに表示することができる。
【００７３】
なお、予測画像データとして、計算資源が許す限り多数の予測画像を作成しておくのが好ましい。
【００７４】
なお、以上、履歴情報に基づいて予測画像を作成する場合について説明したが、前回の操作を履歴として用いなくても現在作業状態を用いて予測画像の作成が十分に可能な場合がある。例えば、現在作業状態が「ＭＰＲ表示」であればＭＰＲ切断面を変更する操作が代表的な操作であり予測操作として用いるには相応な理由がある。例えば、現在作業状態が「ＶＥ（virtual endoscopy）表示:仮想内視鏡表示」であれば、ＶＥのカメラを前後に移動させるフライスルー操作（例えば、腸をなぞったパスに沿って動かす操作）が代表的な操作であり予測操作として用いるには相応な理由がある。そのために、各現在作業状態に応じて予測画像を作成することは効果的である
【００７５】
また、実施例の拡充として、予測情報の操作内容として考えられる操作には、ＶＥフライスルー時のパス上のカメラの位置や、面での切り取りを行う領域抽出時の切り取り面の位置、球での切り取りを行う領域抽出時の球の半径、しきい値を用いた領域抽出時のしきい値、その他、領域抽出のパラメータ、例えば、脳画像を編集している際に脳動脈瘤の抽出等の現在作業状態に基づいた関連作業状態への移行準備等が挙げられる。
【００７６】
上記した実施の形態によれば、以下の効果が得られる。
（１）予測情報に基づいて、操作対象となる画像に対応する予測画像を作成する予測画像 作成部２５を備えることにより、操作ごとに画像データを作成することなく予め作 成しておいた画像データを表示させることができる為、操作内容に応じた画像を速 やかに表示できる。
（２）入力が行われるたびにオペレータの操作を履歴情報４８に記憶し、履歴情報４８の 操作内容４７に基づいて予測情報１５を作成し、予測情報１５に従って予測画像を 作成するので、マルチユーザに対応できる。
（３）履歴情報４８の操作内容４７の１つのパラメータを変更して予測情報１５の操作内 容５５を作成し、変更したパラメータによる予測画像も作成しているので、画像の 表示が速やかに行われる割合を高めることができる。
（４）履歴情報４８の操作内容４７の２つのパラメータを変更して、予測情報１５の操作 内容５５を作成し、変更したパラメータによる予測画像も作成しているので、パン 処理などのように、次に行う操作が前に行った操作とまったく同じ操作内容とはな りにくいような場合でも、前回のものと似ている操作であれば予測画像を使って速 やかに画像の表示を行うことができる。
（５）次の入力を待つ間に予測画像データの作成を行うことにより、計算資源を有効に利 用することができる。
（６）予測情報に基づいて予め複数の予測画像データを作成することにより、入力された 操作内容に応じた画像を表示できる確率が向上する。
（７）ボリュームレンダリング処理の計算負荷を通信ネットワークによって他の画像処理 システムに分散しているので、画像データの作成に要する負荷を軽減できるととも に処理時間を短縮できる。
【産業上の利用可能性】
【００７７】
本発明は、予測情報に基づいて、操作対象となる画像に対応する予測画像を作成する予測画像作成部を備えることにより、操作ごとに画像を作成することなく予め作成しておいた画像を表示させることができる為、操作内容に応じた画像を速やかに表示できる効果を有し、例えば、医療分野の他、電子顕微鏡、気象図、地質図（石油探査など）、地図、非破壊検査などのリアルタイムに複雑な計算を行って画像データを求め、画像を表示する装置に有用である。
【図面の簡単な説明】
【００７８】
【図１】本発明の実施形態における画像処理装置の機能ブロック図
【図２】本発明の実施形態における操作履歴情報記憶手段の構成例を示す図
【図３】本発明の実施形態における予測情報記憶手段の構成例を示す図
【図４】本発明の実施形態における表示装置に表示される診断画面の第１の例を示す図
【図５】本発明の実施形態における診断画面の第２の例を示す図
【図６】本発明の実施形態における画像処理装置の動作説明のためのフロー図
【図７】本発明の実施形態における予測画像作成部の処理フロー図
【図８】本発明の実施形態における画像作成処理の処理フロー図
【図９】従来の画像処理装置の画面表示例を示す図
【符号の説明】
【００７９】
１ 画像処理システム
２ 入力装置
３ 画像処理装置
４ 表示装置
６ ストレージサーバ
８ 通信回線
１１ 制御手段
１２ 画像作成手段
１４ 操作履歴情報記憶手段
１６ ボクセルデータ格納部
１７ 画像メモリ
２１ 要求処理部
２２ 計算分割部
２３ 分散処理部
２４ 画像連結部
２５ 予測画像作成部
３１ 診断画面
３２ 画像情報
３３ 操作メニュー
３４ 患者情報
３５ 部位情報
３６ 表示方法
３７ 表示ウインド
３８ 項目
４１ オペレータＩＤ
４２ オペレータ属性情報
４４ オペレータ情報
４５ 操作時刻
４６，５１ 操作画面
４７，５５ 操作内容
４８ 履歴情報
５２ 予測操作数
５３ 画面情報
５４ 優先度
５６ 画面有無
５７ 作成状況
５８ ロードアドレス
５９ 予測情報
６１ 診断画面
６２ 表示ウインド
６３ マウスポインタ
６４ スライダ
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理プログラムに関する。
【背景技術】
【０００２】
従来より、ＣＴ(Computed Tomography、コンピュータ断層撮影)装置又はＭＲＩ(Magnetic Resonance Imaging、磁気共鳴像)装置などによって撮影された生体の断層画像によって人体の内部構造を直接観察する画像診断が行われているが、さらに、近年、ＣＴ装置又はＭＲＩ装置などによって上下、前後、又は左右と少しずつ移動させながら撮影した断層画像を積み重ねて生成したデジタルデータを基に３次元空間を格子状に小さく区切ったボクセル（voxel：volume element）で表し、ボクセルデータの密度を合計して物体の濃度や密度の分布を半透明の３次元イメージ画像を描画するボリュームレンダリングが行われるようになり、断層画像だけでは分かり難い人体の内部を可視化できるようになった。
【０００３】
ボリュームレンダリングとして、仮想始点から物体に対して仮想光線を照射して物体内部からの仮想反射光による画像を仮想投影面に形成して物体内部の３次元構造を透視したレイキャスティングなどが知られている。レイキャスティングによって生成された画像によって医療診断行う場合、人体の内部構造がきわめて複雑なので、ボクセルを小さくして形の精度を上げる必要があるが、精度を上げるほどデータ量が膨大になり、画像データを作成するための計算処理に時間がかかる。
【０００４】
一方、実際の画像診断では、モニタ画面に診断対象となる部位を表示させ、表示角度を少しずつ移動したり、表示位置を少しずつ移動させるなどの同じ操作を繰り返して患部を詳細に観察し、診断情報を診断結果などのレポートにまとめて終了するという一連の動作が繰り返される。
【０００５】
また、このような画像処理装置では、画像データの作成処理を実行している間は負荷が非常に大きく、表示データを得るまでに時間がかかるが、一旦、画面が表示されると、次の操作を待つだけでほとんどすることがない。そこで、装置の負荷が低い時間を有効に使って次の画面が表示されるまでの時間を短縮しようとするものがある（例えば、特許文献１参照）。
【０００６】
特許文献１の情報の表示装置は、クライアントコンピュータのブラウザが遊休時間にＷｅｂページ又はそのコンポーネントをローカルなキャシュメモリに先取りして蓄積し、新たなＷｅｂページが取り出されたことをグラフィカルなユーザインターフェースを介してビジュアルサインによってユーザに視覚的に知らせるように構成されており、ネットワークの負荷が低い期間に空いているコンピュータ資源を有効に利用して新たなＷｅｂページを迅速に表示させることができる。
【０００７】
【特許文献１】米国特許第６１８２１３３号明細書
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、上記特許文献１の情報の表示装置においては、クライアントコンピュータのブラウザがサーバコンピュータによって予め提供されたＷｅｂページを取り込んで蓄積しておくだけであり、新たな画像を作成して表示するものではない。
【０００９】
また、画像診断では、診断を行う度に対象となる人体が異なり、画像が予め提供されるものではないので、オペレータの操作が入力されてから入力された操作に従ってボリュームレンダリング画像の画像データを計算によって作成しなければならない。例えば、図９に示すように、表示位置を少し移動させる場合、オペレータの操作が入力された後、膨大なデータを使って複雑な計算を行い新たな画像データを構築し直すため、画像が表示されるまでに時間がかかり、図９（ｂ）に示すように画面の一部が暗くなってしまう。
【００１０】
そのため、従来の画像処理装置は、オペレータにストレスを与えるというだけでなく、画面に画像が表示されるまでの間作業を中断される為、診断作業の効率が悪いという事情があった。
【００１１】
本発明は、上記事情を考慮してなされたものであり、操作内容に応じた画像を速やかに表示できる画像処理装置及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明の画像処理装置は、ボクセルデータに基づいてボリュームレンダリングを行う画像処理装置であって、データサーバから受信したボリュームレンダリングに必要なボクセルデータを格納するボクセルデータ格納手段と、操作対象となる画像に対して予測される操作内容を示す操作情報を含む予測情報を記憶する予測情報記憶手段と、前記予測情報に基づき、１次元パラメータの変更で表現できる操作情報に対応する予測画像を、前記必要なボクセルデータを用いて作成する予測画像作成手段と、入力された操作内容と前記予測情報の操作内容との一致を検知して、前記予測画像作成手段が作成した、当該操作内容に対応する予測画像に基づく画像を表示させる画像表示制御手段と、を備え、前記１次元パラメータの変更で表現できる操作情報の前記１次元パラメータが、ボクセル値に値を割り当てる変換関数を定義するパラメータのひとつであるものである。
【００１３】
上記構成によれば、予測情報に基づいて、操作対象となる画像に対応する予測画像を作成する予測画像作成手段を備えることにより、操作ごとに画像を作成することなく予め作成しておいた画像を表示させることができる為、操作内容に応じた画像を速やかに表示できる。特に、上記構成によれば、カラールックアップ変換関数やオパシティー関数といった変換関数を用いた画像表示の変更を速やかに行うことができる。
【００１４】
また、本発明の画像処理装置は、前記変換関数が、カラールックアップ変換関数であるものである。また、本発明の画像処理装置は、前記変換関数が、オパシティー関数であるものである。
【００１５】
また、本発明の画像処理装置は、過去の操作内容を示す履歴情報を保持する履歴情報記憶手段を備え、前記予測情報が、前記履歴情報記憶手段に保持される、前記操作対象となる画像に対する直前の操作内容を示す操作情報と、当該直前の操作内容を示す操作情報のうち、１次元パラメータの変更で表現できる操作情報と、を含むものである。また、本発明の画像処理装置は、前記履歴情報記憶手段が、オペレータ毎の操作履歴情報を保持するものである。上記構成によれば、履歴情報記憶手段がオペレータ毎の操作履歴情報を保持するため、マルチユーザに対応できる。
【００１６】
また、本発明の画像処理装置は、前記予測画像作成手段が、前記予測情報に基づいて、ネットワークを介して接続される複数の画像処理装置を用いて分散して予測画像を作成するものである。上記構成によれば、他の画像処理装置の計算資源を利用することにより、画像の作成に要する負荷を軽減できる。
【００１７】
さらに、本発明の画像処理プログラムは、コンピュータを、本発明の画像処理装置を構成する各手段として機能させるためのプログラムである。
【発明の効果】
【００１８】
本発明によれば、予測情報に基づいて、操作対象となる画像に対応する予測画像を作成することにより、操作ごとに画像を作成することなく予め作成しておいた画像を表示させることができる為、操作内容に応じた画像を速やかに表示できる。
【発明を実施するための最良の形態】
【００１９】
以下、本発明の画像処理装置による実施の形態について説明する。なお、本発明に係る画像処理装置は、主にボクセルデータをベースに描画される医療画像などを扱うもので、画像処理はコンピュータプログラムにより実現される。
【００２０】
図１は、本発明の実施形態における画像処理装置の機能ブロック図である。図１において、画像処理システム１は、医師などのオペレータが操作するための入力装置２と、入力装置２からの操作に従って画像を作成する画像処理装置３と、画像処理装置３が作成した医療画像などを表示する表示装置４とを備える。画像処理システム１は、ＣＴ装置及びＭＲＩ装置などの医療画像診断装置で撮影された医療画像データをボクセルデータとして蓄積するストレージサーバ６と、複数の画像処理システムとに通信回線８を介して接続される。画像処理システム１は、通信回線８によって構成される院内ネットワーク（ＬＡＮ）などを介して複数の画像処理システムが備える計算資源を利用することができる。
【００２１】
画像処理装置３は、制御手段１１に、入力装置２から入力された操作などに従って表示する画像の画像データを作成する画像作成手段１２と、オペレータ毎の過去の操作内容を保持する操作履歴情報記憶手段１４と、オペレータが次に行う操作として予測される操作を記憶した予測情報記憶手段１５と、ストレージサーバ６から転送された分散ボリュームレンダリング処理のためのデータリストを格納するボクセルデータ格納部１６と、画像作成手段１２及び各画像処理システムから転送される分散ボリュームレンダリング画像データを連結してロードする画像メモリ１７と、画像メモリ１７にロードされた画像データに基づいて表示装置４に画像を表示する表示制御部１８などがそれぞれ接続されて構成されている。
【００２２】
画像作成手段１２は、予測情報に基づいて、操作対象となる画像に対応する予測画像を作成する予測画像作成部２５を含む。制御手段１１は、入力された操作内容と操作履歴情報の操作内容との一致を検知し、表示制御手段１８は、制御手段１１が操作内容の一致を検知した場合に予測画像作成部２５が作成した予測画像を表示させる。
【００２３】
画像作成手段１２は、画像データの作成要求を受け付け、ストレージサーバ６に対しデータリストを要求してデータリストを取得し、ストレージサーバ６にボクセルデータを分割して割り当て先の各画像処理システムに転送するよう要求して各画像処理システムに分散ボリュームレンダリング処理要求を送信する要求処理部２１と、各画像処理システムのＣＰＵ使用率及びメモリ空き容量を考慮して各画像処理システムにデータ負荷及び計算負荷を割り当てる計算分割部２２と、自身の分散ボリュームレンダリング処理を行う分散処理部２３と、自身の分散処理部２３及び各画像処理システムから転送される分散ボリュームレンダリング画像データを一つに連結して画像データを生成し、生成した画像データを画像データの作成要求ごとに画像メモリ１７に転送する画像連結部２４と、過去の操作内容を示す履歴情報に基づいて、操作対象となる画像に対応する予測画像を作成する予測画像作成部２５とを有する。
【００２４】
操作履歴情報記憶手段１４は、オペレータごとに過去の操作内容を記憶したものである。図２は、本発明の実施形態における操作履歴情報記憶手段の構成例を示す図である。図２に示すように、操作履歴情報記憶手段１４には、例えば、オペレータＩＤ４１、およびオペレータ属性情報４２を含むオペレータ情報４４と、オペレータ情報４４ごとに操作時刻４５、操作対象となる画面を示す操作画面４６、および操作内容４７を含む操作履歴情報４８とが設けられる。
【００２５】
予測情報記憶手段１５は、操作対象となる画面ごとに予測される操作内容と、予測される操作内容に基づいて作成した予測画像データがロードされている画像メモリ１７のアドレスを記憶するものである。図３は、本発明の実施形態における予測情報記憶手段の構成例を示す図である。図３に示すように、予測情報記憶手段１５には、例えば、操作対象となる画面を示す操作画面５１、および操作画面５１に対して予測する操作の数を示す予測操作数５２を含む画面情報５３と、画面情報５３ごとに優先度５４、操作内容５５、操作内容５５によって画像が表示されるか否かを示す画像有無５６、画像有無５６によって画像が表示される場合、予測画像の作成状態を示す作成状況５７、および作成した予測画像データをロードした画像メモリ１７のアドレスを示すロードアドレス５８を含む予測情報５９が設けられる。予測情報５９は、優先度順に予測操作数５２に記憶された数並べて記憶されている。操作画面５１と履歴情報４８の操作画面４６には、操作画像を特定する情報が記憶される。
【００２６】
予測情報５９に何をいくつ記憶させるかは、自由に選んで設計することができるが、操作画面５１で次に実行させる可能性が高い操作を設定すると画像処理システム１全体の画像表示レスポンスをあげることができる。予測操作数５２は、１つでも、複数でもよいが、画像処理装置３の有する画像メモリ１７の大きさと、予測した操作の実行性などを考慮して操作画面５１ごとに決めることができる。
【００２７】
本実施の形態では、操作画面５１によって、予測操作数５２を「２」として、予測情報５９の優先度１の操作内容５５を直前に行った操作、優先度２の操作内容５５を直前に行った操作内容の１つのパラメータを変更したものか、又は、予測操作数５２を「３」として予測情報５９の優先度１の操作内容５５を直前に行った操作、優先度２および優先度３の操作内容５５を直前に行った操作内容の２つのパラメータを変更したものとする。
【００２８】
なお、予測情報５９の操作内容５５は、上記に限定されない。直前に行った操作だけでなく、２つ前までに行った操作などとしてもよいし、履歴情報４８に記憶される過去の操作内容４７のうち最も多い操作、所定の回数以上行われた操作、またはそれらの組み合わた操作、操作が行われた頻度などに従っていくつかの操作を順に並べたものでもよい。履歴情報４８の一部の操作内容を変更したものでもよい。
【００２９】
また、操作履歴情報記憶手段１４には、オペレータ属性情報４２が含まれているため、予測情報５９の操作内容５５を、履歴情報４８に関係なく、オペレータ属性情報４２に対応してオペレータがいつも行う定型操作としてもよい。この場合、オペレータ属性情報４２ごとに異なった操作内容５５を設定できるので、マルチユーザに対応できる。
【００３０】
画像作成手段１２は、予測情報５９の操作内容５５に基づいて、ネットワークを介して接続される他の画像処理システムに分散して画像データを作成させるものである。画像作成手段１２の要求処理部２１、ボクセルデータ格納部１６、及び画像メモリ１７は、通信回線８を介してストレージサーバ６及び各画像処理システムに接続され、互いに処理要求及びデータなどを送受信する。
【００３１】
ストレージサーバ６は、患者などの医療画像データをボクセルデータとして蓄積し、画像作成手段１２の要求処理部２１の指示に従いボクセルデータを分割して割り当て先の各画像処理システムに転送する。各画像処理システムは、画像処理システム１と同じ装置であり、分散処理部２３と、ストレージサーバ６から転送されたボクセルデータを格納するボクセルデータ格納部１６とを備え、転送されたボクセルデータに対し割り当てられた計算処理を行い、分散ボリュームレンダリング画像データを作成して画像処理システム１の画像連結部２４に通信回線８を介して転送する。
【００３２】
図４は、本発明の実施形態における表示装置に表示される診断画面の第１の例を示す図である。図４において、診断画面３１は、表示された画像に関する情報を示す画像情報３２と、画像に対する操作を選択するための操作メニュー３３などからなり、画像情報３２には、患者名や患者ＩＤなどの患者情報３４、表示された部位を示す部位情報３５、及び表示方法３６と、ボリュームレンダリング画像を表示する表示ウインド３７などがある。表示する表示ウインド３７は１つに限定されない。複数の表示ウインド３７を設けて同時に複数のボリュームレンダリング画像を表示してもよい。
【００３３】
操作メニュー３３には、表示ウインド３７に表示されたボリュームレンダリング画像に対して次に行う操作がメニュー形式で項目３８として表示されている。例えば、オペレータは操作メニュー３３から実施したい操作を項目３８から選択して入力する。
【００３４】
診断画面３１において、操作メニュー３３から選択できる項目３８は、以下のようなものがある。
（１）「繰り返す」；直前に行った操作を繰り返して画像を表示する。
（２）「前に戻る」；１つ前に表示した画像を再表示する。
（３）「右移動」、「左移動」、「上移動」、「下移動」；表示ウインド３７に表示された画像を移動させる。（４）「右回転」、「左回転」、「上回転」、「下回転」；表示角度を回転させて表示する。
（５）「拡大表示」「縮小表示」；画像の特定の部位を拡大又は縮小して表示する。
（６）「ＭＩＰ（Maximum Intensity Projection）表示」；もっとも明るい骨などの部分だけに表示を限定して表示させる。「厚みつきＭＩＰ表示」；ＭＩＰ画像に厚みを持たせて表示する。
（７）「ＭＰＲ（Multi Planar Reconstruction）表示」；ボリュームを任意断面で切断した２次元画像を表示する。断面は平面や曲面を設定できる。
（８）「Ｐａｒｔｉａｌ ＭＩＰ表示」；明るさのレベルによって区別できる骨や他の臓器を取り除き臓器に厚みを持たせて表示する。
（９）「ＷＬ（Window/Level）変換表示」；画像を表示する階調を変換して表示する。
（１０）「４Ｄ（Dimension）表示」；３次元画像を移動させながら時系列に連続する動画として表示する。
（１１）「電子カルテ作成」「診断書作成」；診断情報をレポートとしてまとめるために表示ウインド３７に表示されたボリュームレンダリング画像を各書式に書き出す。
（１２）「終了」；画像診断を終了する。
【００３５】
操作メニュー３３に示される（１）から（１０）のいずれかの項目３８を選択して詳細な操作内容を入力すると、画像作成処理が行われて、ボリュームレンダリング画像が表示される。（１１）のいずれかの項目３８を選択すると、画像作成処理は行われず、表示ウインド３７に表示されたボリュームレンダリング画像が決められた書式の枠に格納される。
【００３６】
操作メニュー３３で選択された項目３８は、オペレータごとに履歴情報４８の操作内容４７に記憶される。メニュー形式で表わされる診断画面３１の予測情報５９の優先度１には、項目３８によって直前に選択された操作内容が、優先度２には、項目３８によって直前に選択された操作内容の１つのパラメータを変更した操作が記憶される。
【００３７】
図５は、本発明の実施形態における診断画面の第２の例を示す図である。図５において、診断画面６１には、ボリュームレンダリング画像を表示する表示ウインド６２と、マウスポインタ６３と、ボリュームレンダリング画像を表示する表示ウインド６２の２つの縁に表示部分を移動させるスライダ６４などが表示される。診断画面６１において、マウスポインタ６３を使ってスライダ６４を移動させるか、表示ウインド６２内のボリュームレンダリング画像にマウスポインタ６３を合わせてマウスをドラッグし、表示されていない部分のボリュームレンダリング画像を表示させるパン処理を行う。また、モードを切り替えることによってドラッグによる回転処理も可能である。
【００３８】
診断画面６１において、スライダ６４を移動させた方向と距離、または、表示ウインド６２の中でマウスポインタ６２をドラッグした方向と距離は、オペレータごとに履歴情報４８の操作内容４７に記憶される。図３に示すように、パン処理が行われる診断画面６１の予測情報５９の優先度１には、直前に行われた操作の操作内容が、優先度２および優先度３には、直前に行われた操作の２つのパラメータを変更した操作が記憶される。
【００３９】
以上のように構成された画像作成装置１について、図６から図８を用いてその動作を説明する。図６に、本発明の実施形態における画像処理装置の動作説明のためのフロー図を示す。画像処理装置１の動作は、主に制御手段１１によって制御される。図６に示すように、初めに医師などのオペレータが、入力装置２からログイン情報と、診断を行う患者情報などを入力すると（Ｓ３０１）、画像作成手段１２を実行して指定した患者のボリュームレンダリング画像データを画像メモリ１７にロードする（Ｓ３０２）。表示制御部１８は、画像メモリ１７に基づいてボリュームレンダリング画像を表示ウインド３７に表示した診断画面を表示装置４に表示させる（Ｓ３０３）。
【００４０】
診断画面から操作が入力されると（Ｓ３０４；ＹＥＳ）、操作が「終了」でなければ（Ｓ３０５；ＮＯ）、操作内容を履歴情報４８の操作内容４７に記憶する（Ｓ３０６）。
【００４１】
入力された操作の結果画像が表示されるときは（Ｓ３０７；ＹＥＳ）、入力された操作内容と一致するものが表示された画面と同じ操作画面５１に用意された予測情報５９の操作内容５５の中にあるかを検知し、操作内容が一致するものがあれば（Ｓ３０８；ＹＥＳ）、すでに予測画像作成部２５によって予測画像データの作成処理が完了し、予測情報５９の作成状況５７が完了になっていれば（Ｓ３０９；ＹＥＳ）、予測画像作成部２５で実行中の処理があるときそれを終了させて（Ｓ３１０）、Ｓ３０３に戻ってロードアドレス５８で示される画像メモリ１７にロードされた予測画像データを表示ウインド３７に表示する（Ｓ３０３）。
【００４２】
Ｓ３０７において、入力された操作の結果、表示する画像がなければ（Ｓ３０７；ＮＯ）、Ｓ３０４に戻って次の入力を待つ。入力された操作の結果、画像が表示される操作であって（Ｓ３０７；ＹＥＳ）、Ｓ３０４で入力された操作と予測情報５９の操作内容５５とが一致するものがなければ（Ｓ３０８；ＮＯ）、予測画像作成部２５で実行中の処理があればそれを終了させて（Ｓ３１１）Ｓ３０２に戻って画像作成手段１２を実行して入力された操作に応じて表示する画像データを作成する（Ｓ３０２）。Ｓ３０２の処理は、従来の画像処理装置で行われている処理である。
【００４３】
入力された操作の結果、画像が表示される操作であって（Ｓ３０７；ＹＥＳ）、Ｓ３０４で入力された操作と予測情報５９の操作内容５５との一致を検知した場合に（Ｓ３０８；ＹＥＳ）、予測画像作成部２５が表示する予測画像データの作成処理を完了していなければ（Ｓ３０９；ＮＯ）、予測画像作成部２５が実行中の他の処理があればそれを終了させる（Ｓ３１２）。その後、予測画像データの作成処理の完了すれば（Ｓ３１３；ＹＥＳ）、Ｓ３０３に戻って予測情報５９のロードアドレス５８で示される画像メモリ１７にロードされた予測画像データを表示ウインド３７に表示する（Ｓ３０３）。
【００４４】
Ｓ３０４において入力がないときは（Ｓ３０４；ＮＯ）、予測画像作成部２５を実行して予測情報５９に基づいて予測画像データを作成する（Ｓ３１４）。なお、画像処理装置３が他の処理も平行して実行する場合、Ｓ３０４で入力がなく（Ｓ３０４；ＮＯ）、画像処理システム１のＣＰＵ使用率が所定値以下のときにＳ３１４の予測画像作成部２５を実行させるようにしてもよい。
【００４５】
図７は、本発明の実施形態における予測画像作成部の処理フロー図である。図７に示すように、予測画像作成部２５は、表示された画面と同じ操作画面５１に用意された予測情報５９の操作内容５５に基づいて予測画像データを作成する。予測情報５９は優先度の高い順に並べられているので、それに従って予測画像データを作成する。
【００４６】
予測操作数５２に「ｎ」の予測情報５９が記憶されているとすると、ｎ個の予測情報５９の操作内容５５に、例えば直前の操作内容など未定の要素が含まれていれば（Ｓ４０１；ＹＥＳ）、直前の操作内容であれば、オペレータに対応した履歴情報４８の先頭に記憶されている直前の操作内容４７を予測情報５９の操作内容５５に代入するなどして、予測情報５９を確定させる（Ｓ４０２）。予測情報５９の操作内容５５がすべて確定したものであれば（Ｓ４０１；ＮＯ）、Ｓ４０２の処理を行う必要はない。
【００４７】
まずｉ＝１として（Ｓ４０３）、ｉがｎ以下である場合は（Ｓ４０４；ＹＥＳ）、予測情報５９に記憶されたｉ番目の操作内容５５に従って操作条件を設定する（Ｓ４０５）。
【００４８】
ｉ番目の操作内容５５が画像を表示する操作であれば（Ｓ４０６；ＹＥＳ）、画像作成手段１２が作成したボリュームレンダリング画像の予測画像データを画像メモリ１７にロードし（Ｓ４０７）、予測情報５９のロードアドレス５８に画像メモリ１７の予測画像データのアドレスを記憶して（Ｓ４０８）、ｉ＝ｉ＋１として（Ｓ４０９）、Ｓ４０４に戻る。予測情報５９に含まれるすべての操作内容５５に関する処理が終了するまで（Ｓ４０４；ＮＯ）、Ｓ４０５からＳ４０９の処理を繰り返し、各操作内容５５に基づいて、操作対象となる画像に対応する予測画像データをすべて作成して画像メモリ１５にロードする。
【００４９】
ｉ番目の操作内容が、画像を表示するものでなければ（Ｓ４０６；ＮＯ）、例えば、電子カルテなどへの書き出し処理やデータのロード処理などの他の処理を実行する（Ｓ４１０）。
【００５０】
Ｓ４０４において、予測情報５９にのすべての操作内容５５について処理が終了すると（Ｓ４０４；ＹＥＳ）、画像データ作成処理を終了する。
【００５１】
図８は、本発明の実施形態における画像作成処理の処理フロー図である。図８に示すように、画像作成手段１２の要求処理部１７は、画像作成要求を受け付けると、ストレージサーバ６に対し要求された画像のデータリストを送信するように要求し（Ｓ５０１）、データリストを受信して取得する（Ｓ５０２）。データリストには、その医療画像に関するボクセルデータのデータ量を示す情報が含まれている。
【００５２】
ボクセルデータのデータ量が所定値以上であるとき（Ｓ５０３；ＹＥＳ）、分割処理部２３は、ボクセルデータのデータ量と各画像処理システムにおけるＣＰＵ使用率、メモリ空き容量などの計算資源利用状況情報に基づいて、分散処理を担当する各画像処理システムに計算負荷を割り当て、ボクセルデータの分割割合を決定する（Ｓ５０４）。
【００５３】
要求処理部１７は、ストレージサーバ６に対してボクセルデータの分割割合に基づいて各画像処理システムにボクセルデータを送信するように要求し（Ｓ５０５）、各画像処理システムに対して割り当てられた計算負荷分の分散ボリュームレンダリング処理を実行するよう要求する（Ｓ５０６）。
【００５４】
ストレージサーバ６は、ボクセルデータの送信要求を受信してボクセルデータを指示に従って分割し、割り当て先の各画像処理システムのボクセルデータ格納部１６に転送する。
【００５５】
各画像処理システムの分散処理部２３は、ボクセルデータ格納部１６に格納された割り当てデータに対し割り当てられた計算処理を行って分散ボリュームレンダリング処理を実行する。各画像処理システムにおける処理された分散ボリュームレンダリング画像データは通信回線８を介して画像処理装置３の画像連結部２４に転送される。
【００５６】
画像作成手段１２の画像連結部２４は、自身の分散処理部２３からの分散ボリュームレンダリング画像データと各画像処理システムから転送されたすべての分散ボリュームレンダリング画像データを受信すると（Ｓ５０７；ＹＥＳ）、分散ボリュームレンダリング画像データを一つに連結して画像データを生成し（Ｓ５０８）、生成した画像データを画像作成要求ごとに画像メモリ１７にロードして（Ｓ５０９）、処理を終了する。
【００５７】
図４の診断画面３１が表示されるとき、予測情報５９の優先度１には、直前に選択された操作内容が、優先度２には、直前に選択された操作内容の１つのパラメータを変更した操作が記憶される。どのパラメータを変更するかは、履歴情報４８の中でオペレータが直前の操作の前に変更したパラメータなどとするが、過去の操作内容４７のうち最も多く行われた操作内容から変更するパラメータを選んでもよい。
【００５８】
診断画面３１において、以下の操作が選択されて画像が表示された直後の処理について説明する。
（１）「右移動」、「左移動」、「上移動」、「下移動」（ボタン操作によるパン処理）；予測情報５９の優先度１の操作内容５５は、直前の操作と同じ操作であり、優先度２の操作内容５５は、直前の操作の移動距離を変更したものとする。オペレータが移動距離を変更しながら「右移動」、「左移動」、「上移動」、又は「下移動」の操作を行い、画像を観察している間に、予測画像作成部２５は、予測情報５９の優先度１の操作内容５５に基づいて、続けて直前の操作と同じ操作を行ったときの予測画像データと、優先度２の操作内容５５に基づいて、直前の操作の移動距離を変更して操作を行ったときの予測画像データを作成して画像メモリ１７にロードしておく。これにより、オペレータが次も同じ移動操作を行うか、又は、少し移動距離がずれた操作を行っても、予め作成しておいた予測画像を表示させることができる為、移動操作に応じたボリュームレンダリング画像を速やかに表示することができる。
【００５９】
（２）「右回転」、「左回転」、「上回転」、「下回転」；予測情報５９の優先度１の操作内容５５は、直前の操作と同じ操作であり、優先度２の操作内容５５は、直前の操作の回転方向を逆に変更したものとする。オペレータが回転方向を変更ながら「右回転」、「左回転」、「上回転」、又は「下回転」の操作を行い、画像を観察している間に、予測画像作成部２５は、予測情報５９の優先度１の操作内容５５に基づいて、続けて直前の操作と同じ操作を行ったときの予測画像データと、優先度２の操作内容５５に基づいて、直前の操作の回転方向を逆に変更して操作を行ったときの予測画像データを作成して画像メモリ１７にロードしておく。これにより、オペレータが次も同じ操作を行うか、又は、回転を元に戻す操作を行えば、予め作成しておいた予測画像を表示させることができる為、回転操作に応じたボリュームレンダリング画像を速やかに表示することができる。
【００６０】
（３）「拡大表示」「縮小表示」；予測情報５９の優先度１の操作内容５５は、直前の操作と同じ操作であり、優先度２の操作内容５５は、直前の操作の拡大率又は縮小率を変更したものとする。オペレータが拡大率又は縮小率を変更しながら「拡大表示」又は「縮小表示」の操作を行い、画像を観察している間に、予測画像作成部２５は、予測情報５９の優先度１の操作内容５５に基づいて、続けて直前の操作と同じ操作を行ったときの予測画像データと、優先度２の操作内容５５に基づいて、直前の操作の拡大率又は縮小率を変更して操作を行ったときの予測画像データを作成して画像メモリ１７にロードしておく。これにより、次もオペレータが同じ操作行うか、又は、拡大率又は縮小率を変更した操作を行えば、予め作成しておいた予測画像を表示させることができる為、拡大および縮小操作に応じたボリュームレンダリング画像を速やかに表示することができる。
【００６１】
（４）「ＭＰＲ表示」；予測情報５９の優先度１の操作内容５５は、直前の操作と同じ操作であり、優先度２の操作内容５５は、直前の操作を逆に変更したものとする。例えば、直前に奥に３センチ進めて切断したＭＰＲ画像の表示操作が行われたとすると、予測情報５９の優先度１の操作内容５５には、奥に３センチ切断位置をずらしたＭＰＲ画像の表示操作が記憶され、優先度２の操作内容５５には、操作内容の１つのパラメータである方向を変更して、手前に３センチ切断位置をずらしたＭＰＲ画像の表示操作が記憶される。オペレータが奥に３センチずらして切断したＭＰＲ画像を観察している間に、予測画像作成部２５は、予測情報５９の優先度１の操作内容５５に基づいて、さらに奥に３センチずらして切断したＭＰＲ画像の予測画像データと、優先度２の操作内容５５に基づいて、直前の操作の方向を変更して、手前に３センチずらして切断したＭＰＲ画像の予測画像データを作成して画像メモリ１７にロードしておく。これにより、オペレータが次も同じ操作行うか、または、切断位置を逆方向にずらす操作を行えば、予め作成しておいた予測画像を表示させることができる為、ＭＰＲ表示操作に応じたボリュームレンダリング画像を速やかに表示することができる。
【００６２】
（５）「４Ｄ表示」；予測情報５９の優先度１の操作内容５５は、あるフレーム数進めたボリュームレンダリング画像の表示要求であり、優先度２の操作内容５５は、あるフレーム数戻したボリュームレンダリング画像の表示要求である。「４Ｄ表示」を選択すると、次々にあるフレーム数進めたボリュームレンダリング画像の表示を要求する操作が発せられので、予測画像作成部２５は、予測情報５９の優先度１の操作内容５５および優先度２の操作内容５５に基づいて次々にあるフレームにおけるボリュームレンダリング画像の予測画像データを作成して画像メモリ１７にロードしておく。これにより、オペレータが操作によって表示する画像の位置を移動させて変化させた新しい画像の作成処理が終了するまでの間に予め作成しておいた予測画像を表示させることができる為、４Ｄ表示操作に応じて動きが滑らかなボリュームレンダリング画像の動画を表示することができる。
【００６３】
１次元パラメータの変更で表現できる操作の例として、カラールックアップ変換関数を用いた処理やＷＷ／ＷＬ変換処理、オパシティ関数を用いた処理がある。これらの処理の場合も、上述した画像種の表示と同様に実現できる。
【００６４】
（６）「カラールックアップ変換関数」；カラールックアップ変換関数とは、ボリュームレンダリング中にあるスカラー値で表現されるボクセル値に対してＲＧＢの３パラメータで表現される色を割り当てる変換関数である。カラールックアップ変換関数は通常は各ＲＧＢそれぞれに割り当てられた区分連続関数やスプライン関数、自由曲線関数で表現されており、例えば、区分連続関数のパラメータを変化させることによってボリュームレンダリング結果の色彩を変更することができる。なお、カラールックアップ変換はモノクロ画像変換も表現でき、この場合、ボクセル値に割り当てられた輝度が与えられる。その一形態がＷＷ／ＷＬ変換である。
【００６５】
（７）「オパシティー関数」；オパシティー関数とはボリュームレンダリング中にあるスカラー値で表現されるボクセル値に対して不透明度を割り当てる変換関数である。オパシティー関数は区分連続関数やスプライン関数、自由曲線関数で表現されている。例えば、ボリュームレンダリング画像が骨を表現している場合、不透明度に関するパラメータを下げることによって骨が徐々に透けていくようにボリュームレンダリングされる。
【００６６】
（８）「電子カルテ作成」；「電子カルテ作成」の操作内容を予測情報５９の操作内容５５として記憶しておけば、新しいボリュームレンダリング画像が表示されてオペレータの次の入力を待っている間に、予測画像作成部２５が新しく表示されたボリュームレンダリング画像を電子カルテに格納する処理を実行するので、次に診断中に患部のボリュームレンダリング画像を電子カルテに書き込む処理がスムースに終わる。
【００６７】
また、予測情報５９の操作内容５５としてデータのロードを記憶しておけば、オペレータの次の入力を待っている間に予測画像作成部２５は、データをロードする処理を実行する。これにより、ロードするデータとして前回のロードデータ又はＣＴ装置などで新しく撮影された診断画像又は現在閲覧中の患者にかかわるの他のデータなどを予め指定しておけば、自動的に次に操作対象となる患者のデータがロードされているので、患者のデータを読み出すときに待たなくてもよい。
【００６８】
（９）「パン処理」；診断画面３１においてマウスドラッグによるパン処理が指示された直後の処理について説明する。「予測情報５９の優先度１の操作内容５５はパン処理とする」パン処理の結果取得される画像は現在画面に表示されているボリュームレンダリング画像のに対して、画面に入らない部分を表現する画像であるということに基づき、画面に表示されていない部分を含んだ画像を計算することによって予測画像を含んだ画像を作成することができる。そこで、前記画面に表示されていない部分のを含んだ画像を画像メモリ１７にロードしておく。これによりオペレータが次もパン処理を行った場合はあらかじめ作成した予測画像させることができる為、いかなるパン操作に対してもボリュームレンダリング画像を速やかに表示することができる。以下、マウスドラッグによるパン処理の具体例を説明する。
【００６９】
図５の診断画面６１で、スライダ６４を移動させて、又は表示ウインド６２の中でマウスポインタ６３をドラッグして表示されていない部分のボリュームレンダリング画像を表示させるパン処理が行われた直後の処理について説明する。スライダ６４の移動方向と移動距離、又はマウスポインタ６２の移動方向と移動距離は、オペレータごとに履歴情報４８の操作内容４７に記憶される。図３に示すように、診断画面６１の予測情報５９の優先度１には、直前に行われた操作の操作内容が、優先度２および優先度３には、直前に行われた操作の２つのパラメータを変更した操作が記憶される。
【００７０】
例えば、表示ウインド６２内のボリュームレンダリング画像にマウスポインタ６３を合わせてマウスを右斜め上３０度の方向に３センチドラッグさせる操作が行われて、ボリュームレンダリング画像が表示されるときは、履歴情報４８の直前の操作内容４７には、右斜め上３０度の方向に３センチ移動したボリュームレンダリング画像の表示操作が記憶され、予測情報５９の優先度１には、同じく、右に右斜め上３０度の方向に３センチ移動したボリュームレンダリング画像の表示操作が記憶され、優先度２には、ボリュームレンダリング画像に水平に右に３センチ移動させたボリュームレンダリング画像の表示操作が、優先度３には、ボリュームレンダリング画像に垂直に上に３センチ移動させたボリュームレンダリング画像の表示操作が記憶される。
【００７１】
オペレータが右斜め上３０度の方向に３センチ移動したボリュームレンダリング画像を観察している間に、予測画像作成部２５は、予測情報５９の優先度１の操作内容５５に基づいて、さらに右斜め上３０度の方向に３センチ移動したボリュームレンダリング画像の予測画像データと、優先度２の操作内容５５に基づいて、ボリュームレンダリング画像に水平に右に３センチ移動したボリュームレンダリング画像の予測画像データと、優先度３の操作内容５５に基づいて、ボリュームレンダリング画像に垂直に上に３センチ移動したボリュームレンダリング画像の予測画像データを作成して、画像メモリ１７にロードしておく。これにより、前回の操作と多少ずれた操作を行っても、予め作成しておいた予測画像データによって画像を迅速に表示させることができる為、パン処理に応じたボリュームレンダリング画像を速やかに表示することができる。
【００７２】
（１０）「マウスドラッグによる回転処理」；診断画面３１においてマウスドラッグによる回転処理が指示された直後の処理について説明する。回転処理の履歴情報は回転中心の座標を表現する３パラメータ、回転方向を表現する２パラメータ、回転量を表現する１パラメータの合計６パラメータで表現する。６次元の自由度で表現される履歴情報に対して回転中心の座標を表現する３パラメータ、回転方向を表現する２パラメータを固定することによって次元を１次元に縮退させ、予測情報５９を作成することができる。オペレータが画像を観察している間に予測画像作成部２５は、予測情報５９の優先度１の操作内容５５に基づいて、予測画像データを作成して画像メモリ１７にロードしておく。これによってオペレータが同中心座標同方向に回転操作を続ければ、予め作成しておいた予測画像を表示させることができる為、回転操作に応じたボリュームレンダリング画像を速やかに表示することができる。
【００７３】
なお、予測画像データとして、計算資源が許す限り多数の予測画像を作成しておくのが好ましい。
【００７４】
なお、以上、履歴情報に基づいて予測画像を作成する場合について説明したが、前回の操作を履歴として用いなくても現在作業状態を用いて予測画像の作成が十分に可能な場合がある。例えば、現在作業状態が「ＭＰＲ表示」であればＭＰＲ切断面を変更する操作が代表的な操作であり予測操作として用いるには相応な理由がある。例えば、現在作業状態が「ＶＥ（virtual endoscopy）表示:仮想内視鏡表示」であれば、ＶＥのカメラを前後に移動させるフライスルー操作（例えば、腸をなぞったパスに沿って動かす操作）が代表的な操作であり予測操作として用いるには相応な理由がある。そのために、各現在作業状態に応じて予測画像を作成することは効果的である
【００７５】
また、実施例の拡充として、予測情報の操作内容として考えられる操作には、ＶＥフライスルー時のパス上のカメラの位置や、面での切り取りを行う領域抽出時の切り取り面の位置、球での切り取りを行う領域抽出時の球の半径、しきい値を用いた領域抽出時のしきい値、その他、領域抽出のパラメータ、例えば、脳画像を編集している際に脳動脈瘤の抽出等の現在作業状態に基づいた関連作業状態への移行準備等が挙げられる。
【００７６】
上記した実施の形態によれば、以下の効果が得られる。
（１）予測情報に基づいて、操作対象となる画像に対応する予測画像を作成する予測画像 作成部２５を備えることにより、操作ごとに画像データを作成することなく予め作 成しておいた画像データを表示させることができる為、操作内容に応じた画像を速 やかに表示できる。
（２）入力が行われるたびにオペレータの操作を履歴情報４８に記憶し、履歴情報４８の 操作内容４７に基づいて予測情報１５を作成し、予測情報１５に従って予測画像を 作成するので、マルチユーザに対応できる。
（３）履歴情報４８の操作内容４７の１つのパラメータを変更して予測情報１５の操作内 容５５を作成し、変更したパラメータによる予測画像も作成しているので、画像の 表示が速やかに行われる割合を高めることができる。
（４）履歴情報４８の操作内容４７の２つのパラメータを変更して、予測情報１５の操作 内容５５を作成し、変更したパラメータによる予測画像も作成しているので、パン 処理などのように、次に行う操作が前に行った操作とまったく同じ操作内容とはな りにくいような場合でも、前回のものと似ている操作であれば予測画像を使って速 やかに画像の表示を行うことができる。
（５）次の入力を待つ間に予測画像データの作成を行うことにより、計算資源を有効に利 用することができる。
（６）予測情報に基づいて予め複数の予測画像データを作成することにより、入力された 操作内容に応じた画像を表示できる確率が向上する。
（７）ボリュームレンダリング処理の計算負荷を通信ネットワークによって他の画像処理 システムに分散しているので、画像データの作成に要する負荷を軽減できるととも に処理時間を短縮できる。
【産業上の利用可能性】
【００７７】
本発明は、予測情報に基づいて、操作対象となる画像に対応する予測画像を作成する予測画像作成部を備えることにより、操作ごとに画像を作成することなく予め作成しておいた画像を表示させることができる為、操作内容に応じた画像を速やかに表示できる効果を有し、例えば、医療分野の他、電子顕微鏡、気象図、地質図（石油探査など）、地図、非破壊検査などのリアルタイムに複雑な計算を行って画像データを求め、画像を表示する装置に有用である。
【図面の簡単な説明】
【００７８】
【図１】本発明の実施形態における画像処理装置の機能ブロック図
【図２】本発明の実施形態における操作履歴情報記憶手段の構成例を示す図
【図３】本発明の実施形態における予測情報記憶手段の構成例を示す図
【図４】本発明の実施形態における表示装置に表示される診断画面の第１の例を示す図
【図５】本発明の実施形態における診断画面の第２の例を示す図
【図６】本発明の実施形態における画像処理装置の動作説明のためのフロー図
【図７】本発明の実施形態における予測画像作成部の処理フロー図
【図８】本発明の実施形態における画像作成処理の処理フロー図
【図９】従来の画像処理装置の画面表示例を示す図
【符号の説明】
【００７９】
１ 画像処理システム
２ 入力装置
３ 画像処理装置
４ 表示装置
６ ストレージサーバ
８ 通信回線
１１ 制御手段
１２ 画像作成手段
１４ 操作履歴情報記憶手段
１６ ボクセルデータ格納部
１７ 画像メモリ
２１ 要求処理部
２２ 計算分割部
２３ 分散処理部
２４ 画像連結部
２５ 予測画像作成部
３１ 診断画面
３２ 画像情報
３３ 操作メニュー
３４ 患者情報
３５ 部位情報
３６ 表示方法
３７ 表示ウインド
３８ 項目
４１ オペレータＩＤ
４２ オペレータ属性情報
４４ オペレータ情報
４５ 操作時刻
４６，５１ 操作画面
４７，５５ 操作内容
４８ 履歴情報
５２ 予測操作数
５３ 画面情報
５４ 優先度
５６ 画面有無
５７ 作成状況
５８ ロードアドレス
５９ 予測情報
６１ 診断画面
６２ 表示ウインド
６３ マウスポインタ
６４ スライダ
【特許請求の範囲】
【請求項１】
ボクセルデータに基づいてボリュームレンダリングを行う画像処理装置であって、
データサーバから受信したボリュームレンダリングに必要なボクセルデータを格納するボクセルデータ格納手段と、
操作対象となる画像に対して予測される操作内容を示す操作情報を含む予測情報を記憶する予測情報記憶手段と、
前記予測情報に基づき、１次元パラメータの変更で表現できる操作情報に対応する予測画像を、前記必要なボクセルデータを用いて作成する予測画像作成手段と、
入力された操作内容と前記予測情報の操作内容との一致を検知して、前記予測画像作成手段が作成した、当該操作内容に対応する予測画像に基づく画像を表示させる画像表示制御手段と、
を備え、
前記１次元パラメータの変更で表現できる操作情報の前記１次元パラメータが、ボクセル値に値を割り当てる変換関数を定義するパラメータのひとつである画像処理装置。
【請求項２】
請求項１記載の画像処理装置であって、
前記変換関数は、カラールックアップ変換関数である画像処理装置。
【請求項３】
請求項１記載の画像処理装置であって、
前記変換関数は、オパシティー関数である画像処理装置。
【請求項４】
請求項１記載の画像処理装置であって、
過去の操作内容を示す履歴情報を保持する履歴情報記憶手段を備え、
前記予測情報は、前記履歴情報記憶手段に保持される、前記操作対象となる画像に対する直前の操作内容を示す操作情報と、当該直前の操作内容を示す操作情報のうち、１次元パラメータの変更で表現できる操作情報と、を含むものである画像処理装置。
【請求項５】
請求項４記載の画像処理装置であって、
前記履歴情報記憶手段は、オペレータ毎の操作履歴情報を保持する画像処理装置。
【請求項６】
請求項１記載の画像処理装置であって、
前記予測画像作成手段は、ネットワークを介して接続される複数の画像処理装置を用いて分散して予測画像を作成する画像処理装置。
【請求項７】
コンピュータを、請求項１ないし６のいずれか一項記載の各手段として機能させるための画像処理プログラム。
【請求項１】
ボクセルデータに基づいてボリュームレンダリングを行う画像処理装置であって、
データサーバから受信したボリュームレンダリングに必要なボクセルデータを格納するボクセルデータ格納手段と、
操作対象となる画像に対して予測される操作内容を示す操作情報を含む予測情報を記憶する予測情報記憶手段と、
前記予測情報に基づき、１次元パラメータの変更で表現できる操作情報に対応する予測画像を、前記必要なボクセルデータを用いて作成する予測画像作成手段と、
入力された操作内容と前記予測情報の操作内容との一致を検知して、前記予測画像作成手段が作成した、当該操作内容に対応する予測画像に基づく画像を表示させる画像表示制御手段と、
を備え、
前記１次元パラメータの変更で表現できる操作情報の前記１次元パラメータが、ボクセル値に値を割り当てる変換関数を定義するパラメータのひとつである画像処理装置。
【請求項２】
請求項１記載の画像処理装置であって、
前記変換関数は、カラールックアップ変換関数である画像処理装置。
【請求項３】
請求項１記載の画像処理装置であって、
前記変換関数は、オパシティー関数である画像処理装置。
【請求項４】
請求項１記載の画像処理装置であって、
過去の操作内容を示す履歴情報を保持する履歴情報記憶手段を備え、
前記予測情報は、前記履歴情報記憶手段に保持される、前記操作対象となる画像に対する直前の操作内容を示す操作情報と、当該直前の操作内容を示す操作情報のうち、１次元パラメータの変更で表現できる操作情報と、を含むものである画像処理装置。
【請求項５】
請求項４記載の画像処理装置であって、
前記履歴情報記憶手段は、オペレータ毎の操作履歴情報を保持する画像処理装置。
【請求項６】
請求項１記載の画像処理装置であって、
前記予測画像作成手段は、ネットワークを介して接続される複数の画像処理装置を用いて分散して予測画像を作成する画像処理装置。
【請求項７】
コンピュータを、請求項１ないし６のいずれか一項記載の各手段として機能させるための画像処理プログラム。
【図１】
【図２】
【図３】
【図５】
【図６】
【図７】
【図８】
【図４】
【図９】
【図２】
【図３】
【図５】
【図６】
【図７】
【図８】
【図４】
【図９】
【公開番号】特開２００７−２００３４０（Ｐ２００７−２００３４０Ａ）
【公開日】平成１９年８月９日（２００７．８．９）
【国際特許分類】
【出願番号】特願２００７−６０６４９（Ｐ２００７−６０６４９）
【出願日】平成１９年３月９日（２００７．３．９）
【分割の表示】特願２００４−１６５７２２（Ｐ２００４−１６５７２２）の分割
【原出願日】平成１６年６月３日（２００４．６．３）
【出願人】（５００１０９３２０）ザイオソフト株式会社 (59)
【Ｆターム（参考）】
【公開日】平成１９年８月９日（２００７．８．９）
【国際特許分類】
【出願日】平成１９年３月９日（２００７．３．９）
【分割の表示】特願２００４−１６５７２２（Ｐ２００４−１６５７２２）の分割
【原出願日】平成１６年６月３日（２００４．６．３）
【出願人】（５００１０９３２０）ザイオソフト株式会社 (59)
【Ｆターム（参考）】
[ Back to top ]