３次元画像処理装置
【課題】奥行き方向に重畳表示された複数の画像間でポインタを容易に移動させることができる３次元画像処理装置を提供する。
【解決手段】医用画像処理装置の制御部１４は、画像生成部３１およびポインタ制御部３２を備える。画像生成部３１は、ボリュームデータにレンダリング処理を行うことにより生成されたレンダリング画像と、ポインタの画像とが、奥行き情報を考慮して重畳された重畳画像を生成する。ポインタ制御部３２は、ポインタの３次元位置情報を求めるものであり、ポインタがレンダリング画像上にある場合はボリュームデータ中の対象物の３次元的な表面に沿ってポインタを移動させる。
【解決手段】医用画像処理装置の制御部１４は、画像生成部３１およびポインタ制御部３２を備える。画像生成部３１は、ボリュームデータにレンダリング処理を行うことにより生成されたレンダリング画像と、ポインタの画像とが、奥行き情報を考慮して重畳された重畳画像を生成する。ポインタ制御部３２は、ポインタの３次元位置情報を求めるものであり、ポインタがレンダリング画像上にある場合はボリュームデータ中の対象物の３次元的な表面に沿ってポインタを移動させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、３次元画像処理装置に関する。
【背景技術】
【０００２】
Ｘ線ＣＴ（Computed Tomography）装置やＭＲＩ（Magnetic Resonance Imaging）装置、超音波診断装置、Ｘ線診断装置などの医用画像診断装置（モダリティ）には、被検体（患者）の撮像により得られた投影データにもとづいてボリュームデータ（３次元画像データ）を生成可能なものがある。
【０００３】
ボリュームデータは、ボリュームレンダリングすることにより２次元画像（以下、ＶＲ画像という）を生成するために用いることができる。このＶＲ画像は、表示装置に表示されてユーザに提示される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−３６４９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、最近、ユーザに立体像を認識させることができる３Ｄディスプレイが市場に出回り始めている。この種の３Ｄディスプレイは、複数の視差成分画像をそれぞれ異なる方向に射出するようになっている。ユーザは、視差成分画像の集合として立体画像を認識することができる。
【０００６】
したがって、ボリュームデータを異なるレンダリング視点でボリュームレンダリングしたＶＲ画像を生成し、この複数の視点のＶＲ画像を視差成分画像として３Ｄディスプレイに与えることにより、ボリュームデータに対応する立体像を３Ｄディスプレイに表示させることができる。この種の立体像を視認するユーザは、立体像の奥行き方向を認識することができる。また、１枚のＶＲ画像のみでも、シェーディングやテクスチャマッピングによりユーザに奥行き方向を認識させることができる。
【０００７】
しかし、マウスカーソルなどのポインタを画面内で奥行き方向に移動させることは難しい。これは、従来のポインタは、画面の表面上で動くように設計されており、そもそもポインタを奥行き方向に移動させることについては考慮されていないためである。このため、たとえば奥行き方向に複数の画像が重畳表示されていると、これらの画像間でポインタを移動させることが難しい。
【課題を解決するための手段】
【０００８】
本発明の一実施形態に係る３次元画像処理装置は、上述した課題を解決するために、画像生成部およびポインタ制御部を備えたものである。画像生成部は、ボリュームデータにレンダリング処理を行うことにより生成されたレンダリング画像と、ポインタの画像とが、奥行き情報を考慮して重畳された重畳画像を生成する。ポインタ制御部は、ポインタの３次元位置情報を求めるものであり、ポインタがレンダリング画像上にある場合はボリュームデータ中の対象物の３次元的な表面に沿ってポインタを移動させる。
【図面の簡単な説明】
【０００９】
【図１】本発明の一実施形態に係る医用画像処理装置の一構成例を示すブロック図。
【図２】ユーザに提示される１画面内で複数の画像が奥行き方向に重畳される様子の一例を示す説明図。
【図３】制御部のＣＰＵによる機能実現部の構成例を示す概略的なブロック図。
【図４】補助画像を構成する補助画像要素の例を示す説明図。
【図５】裸眼３Ｄディスプレイの内部構成の一例を示すブロック図。
【図６】奥行き方向に重畳表示された複数の画像間でポインタを移動させる様子の第１の例を示す説明図。
【図７】奥行き方向に重畳表示された複数の画像間でポインタを移動させる様子の第２の例を示す説明図。
【図８】ポインタの画像サイズを奥行き方向の手前にあるほど大きくする場合の例を示す説明図。
【図９】ポインタの画像サイズを奥行き方向の手前にあるほど大きくする場合において複数視点からみた視点ポインタ画像が生成される様子の一例を示す説明図。
【図１０】ポインタを点光源としてシェーディング処理が施された視点画像の一例を示す説明図。
【図１１】視点画像にポインタを起点とするルーラ画像が重畳される場合の例を示す説明図。
【発明を実施するための形態】
【００１０】
本発明に係る３次元画像処理装置の実施の形態について、添付図面を参照して説明する。
【００１１】
図１は、本発明の一実施形態に係る医用画像処理装置１０の一構成例を示すブロック図である。
【００１２】
３次元画像処理装置としての医用画像処理装置１０は、図１に示すように、入力部１１、記憶部１２、ネットワーク接続部１３および制御部１４を有する。
【００１３】
入力部１１は、少なくともポインティングデバイスを含み、たとえばマウス、トラックボール、キーボード、タッチパネル、テンキーなどの一般的な入力装置により構成され、ユーザの操作に対応した操作入力信号を制御部１４に出力する。
【００１４】
記憶部１２は、モダリティ２０から出力される医療用のボリュームデータ（３次元画像データ）を記憶する。モダリティ２０は、たとえばＸ線ＣＴ（Computed Tomography）装置やＭＲＩ（Magnetic Resonance Imaging）装置、超音波診断装置、Ｘ線診断装置などの医用画像診断装置であって、被検体（患者）の撮像により得られた投影データにもとづいてボリュームデータ（３次元画像データ）を生成可能な装置により構成することができる。
【００１５】
また、記憶部１２は、ボリュームデータの３次元座標とＶＲ画像の２次元座標とを関連付けた座標対応情報を記憶する。この座標対応情報は、たとえば制御部１４によりボリュームデータにもとづいてＶＲ画像が生成されると記憶部１２に書き込まれる。
【００１６】
また、記憶部１２は、ユーザに提示される１画面内で奥行き方向に重畳された複数の画像のそれぞれの優先度の情報（以下、優先度情報という）を記憶している。この優先度情報は、あらかじめ工場出荷時などに設定されていてもよいし、ユーザにより入力部１１を介して設定されてもよい。
【００１７】
なお、１画面内で奥行き方向に重畳される複数の画像には、複数のＶＲ画像が含まれてもよい。複数のＶＲ画像としては、たとえば一被検体から得られるボリュームデータにもとづいて、たとえば筋肉、骨、血管、臓器などの種別ごとにセグメンテーション（分類）したＶＲ画像などが挙げられる。これらのセグメンテーションされた複数のＶＲ画像を重畳する場合は、単純にレイヤーを奥行き方向に前後に重ねるのではなく互いの空間的な位置関係が再現されるよう重畳するとよい。
【００１８】
ネットワーク接続部１３は、ネットワーク２１の形態に応じた種々の情報通信用プロトコルを実装する。ネットワーク接続部１３は、この各種プロトコルに従って医用画像処理装置１０とモダリティ２０などの他の装置とを接続する。ここでネットワーク２１とは、電気通信技術を利用した情報通信網全般を意味し、病院基幹ＬＡＮ（Local Area Network）などの無線／有線ＬＡＮやインターネット網のほか、電話通信回線網、光ファイバ通信ネットワーク、ケーブル通信ネットワークおよび衛星通信ネットワークなどを含む。
【００１９】
医用画像処理装置１０は、ネットワーク２１を介して接続されたモダリティ２０からボリュームデータを受けてもよい。ネットワーク２１を介して受信したボリュームデータもまた、記憶部１２に記憶される。また、記憶部１２に記憶される座標対応情報、優先度情報などの情報もまた、ネットワーク２１を介して受信されてもよい。
【００２０】
制御部１４は、ＣＰＵ、ＲＡＭおよびＲＯＭをはじめとする記憶媒体などにより構成され、この記憶媒体に記憶されたプログラムに従って医用画像処理装置１０の処理動作を制御する。
【００２１】
図２は、ユーザに提示される１画面内で複数の画像が奥行き方向に重畳される様子の一例を示す説明図である。なお、以下の説明では、画面の正面左下を座標原点とし、原点から水平方向右側をＸ軸正方向、垂直方向上側をＹ軸正方向、手前側をＺ軸正方向としてＸＹＺ軸を定義する。このとき、Ｚ軸方向が奥行き方向となる。
【００２２】
なお、図２には１つのＶＲ画像１６が重畳される様子の一例を示したが、ＶＲ画像１６（セグメンテーションされたＶＲ画像１６）を複数重畳してもよい。本実施形態では、図２に示すように１つのＶＲ画像１６が重畳される場合の例について説明する。
【００２３】
図２に示すように、ＶＲ画像１６は、補助画像１７と奥行き方向に前後するように重畳されて画面表示される場合がある。しかし、ポインタ１８は、ユーザの入力部１１を介した操作に応じて、ＸＹ座標はユーザの所望の位置に移動させることができる一方奥行き方向（Ｚ軸方向）については入力部１１を介した操作では自由に移動させることができない場合がある。この場合、画面内で奥行き方向に重畳された複数の画像のうちの任意の画像に対してポインタ１８を合わせることが難しい。また、たとえば入力部１１がホイールつきのマウスで構成され、ホイールの回転に応じてポインタ１８の奥行き方向の位置を移動させることができるようになっている場合であっても、ポインタ１８の奥行き方向の位置を把握することは難しく、やはり画面内で奥行き方向に重畳された複数の画像のうちの任意の画像に対してポインタ１８を合わせることが難しい。
【００２４】
そこで、制御部１４のＣＰＵは、ＲＯＭをはじめとする記憶媒体に記憶された３次元画像処理プログラムおよびこのプログラムの実行のために必要なデータをＲＡＭへロードし、このプログラムに従って奥行き方向に重畳表示された複数の画像間でポインタ１８を移動させる処理を実行する。
【００２５】
制御部１４のＲＡＭは、ＣＰＵが実行するプログラムおよびデータを一時的に格納するワークエリアを提供する。また、制御部１４のＲＯＭをはじめとする記憶媒体は、医用画像処理装置１０の起動プログラム、３次元画像処理プログラムや、これらのプログラムを実行するために必要な各種データを記憶する。
【００２６】
なお、ＲＯＭをはじめとする記憶媒体は、磁気的もしくは光学的記録媒体または半導体メモリなどの、ＣＰＵにより読み取り可能な記録媒体を含んだ構成を有し、これら記憶媒体内のプログラムおよびデータの一部または全部はネットワーク２１を介してダウンロードされるように構成してもよい。
【００２７】
制御部１４は、複数の視点からみたＶＲ画像１６と補助画像１７とが奥行き方向に重畳された画像（複数の視点画像、多視点画像）を生成し、裸眼３Ｄディスプレイ２２に出力する。
【００２８】
図３は、制御部１４のＣＰＵによる機能実現部の構成例を示す概略的なブロック図である。なお、この機能実現部は、ＣＰＵを用いることなく回路などのハードウエアロジックによって構成してもよい。
【００２９】
図３に示すように、制御部１４のＣＰＵは、３次元画像処理プログラムによって、画像生成部３１、ポインタ制御部３２および多視点画像出力部３３として機能する。この各部３１〜３３は、ＲＡＭの所要のワークエリアをデータの一時的な格納場所として利用する。
【００３０】
画像生成部３１は、多視点レンダリング画像生成部４１、補助画像生成部４２、多視点画像生成部４３を有する。
【００３１】
多視点レンダリング画像生成部４１は、記憶部１２に記憶されたボリュームデータにもとづいて複数の視点でボリュームレンダリングを行うことにより、各視点のＶＲ画像（視点レンダリング画像。以下、視点ＶＲ画像という）１６を生成する。
【００３２】
図４は、補助画像１７を構成する補助画像要素の例を示す説明図である。
【００３３】
補助画像１７は、各種機能が割り当てられた複数のソフトキーにより構成されたツールバー５１、複数のサムネイル画像５２ａにより構成されたサムネイル画像群５２、付帯情報表示画像５３、簡易操作パネル５４、操作パネル５５、患者、シリーズおよび画像のリスト５６や、視点ＶＲ画像とは異なる画像５７などの補助画像要素により構成される。視点ＶＲ画像とは異なる画像５７としては、たとえば視点ＶＲ画像とは異なるレンダリングモードでボリュームレンダリングされたＶＲ画像や、視点ＶＲ画像とはボリュームデータが異なる画像などを挙げることができる。図２は、補助画像１７が簡易操作パネル５４のみで構成される場合の例について示したものである。
【００３４】
補助画像生成部４２は、これらの補助画像要素の１つまたは複数により構成される補助画像１７を生成する。
【００３５】
多視点画像生成部４３は、多視点レンダリング画像生成部４１により生成されたＶＲ画像（視点ＶＲ画像）１６と補助画像生成部４２により生成された補助画像１７とを奥行き方向に重畳した複数の視点画像（多視点重畳画像）を生成する。なお、各補助画像要素のもととなる画像ファイルは、あらかじめ記憶部１２に記憶させておいてもよいし、ネットワーク２１を介して適宜取得してもよい。
【００３６】
なお、視点ＶＲ画像１６と補助画像１７とを重畳して視点重畳画像を生成する際、多視点画像生成部４３は、補助画像１７の透明度を設定して半透明表示とすることにより、補助画像１７の裏側に隠れる視点ＶＲ画像１６を補助画像１７越しに視認可能とするとよい。この透明度は、あらかじめ設定されて記憶部１２に記憶された設定値を用いてもよいし、ユーザＵにより入力部１１を介して設定されてもよい。
【００３７】
一方、ポインタ制御部３２は、ポインタ位置決定部４６および多視点ポインタ画像生成部４７を有する。
【００３８】
ポインタ位置決定部４６は、ユーザにより入力部１１を介してポインタ１８をＸＹ面内で移動するよう指示されると、ポインタ１８が視点ＶＲ画像１６の近傍にある場合は、記憶部１２に記憶された座標対応情報にもとづいて視点ＶＲ画像１６の表面の３次元座標を取得し、ポインタ１８を視点ＶＲ画像１６の表面に沿って移動させるようポインタ１８の位置を決定する。また、ポインタ位置決定部４６は、ポインタ１８が補助画像１７の近傍にある場合は、ポインタ１８を補助画像１７の表面に沿って移動させるようポインタ１８の位置を決定する。
【００３９】
多視点ポインタ画像生成部４７は、複数の視点からみたポインタ１８の画像（多視点ポインタ画像）を生成し、ポインタ位置決定部４６で決定されたポインタ１８の位置情報とともに多視点画像出力部３３に与える。
【００４０】
多視点画像出力部３３は、画像生成部３１により生成された視点重畳画像およびポインタ制御部３２により生成された視点ポインタ画像を重畳して複数の視点画像を生成し、この複数の視点画像のそれぞれを視差成分画像として異なる方向に射出する裸眼３Ｄディスプレイ２２に対して出力する。
【００４１】
ここで、裸眼３Ｄディスプレイ２２の構成および作用について簡単に説明する。
【００４２】
図５は、裸眼３Ｄディスプレイ２２の内部構成の一例を示すブロック図である。
【００４３】
裸眼３Ｄディスプレイ２２は、多視点画像取得部６１、要素画像生成部６２、画像表示部６３および光線制御素子６４を有する。
【００４４】
多視点画像取得部６１は、多視点画像出力部３３から複数の視点画像を取得する。要素画像生成部６２は、この複数の視点画像を要素画像に変換する。たとえば、多視点画像出力部３３が９つの視点の視点画像を出力する場合、９つの撮影番号に相当する９視差方向を示す視差番号（−４、−３、・・・、０、・・・３、４）で視差成分画像が特定される。すなわち、要素画像生成部６２は、多視点画像の各視点画像と視差番号とを関連付けることにより各視点画像を視差成分画像としてあつかい、視差成分画像を集めて要素画像を生成する。
【００４５】
画像表示部６３は、たとえば液晶ディスプレイやＯＬＥＤ（Organic Light Emitting Diode）ディスプレイなどの表示出力装置により構成される。たとえば９種の視差成分画像をあつかう場合、画像表示部６３の各画素は９つの絵素で構成され、画素ごとに要素画像が表示される。また、画素が出力する光線のうち、同一の視差番号をもつ視差成分画像に対応する光線は、複数の画素から互いに平行に射出される。
【００４６】
光線制御素子６４は、複数の射出瞳により構成される。光線制御素子６４としては、２次元ＩＩ（インテグラル・イメージング）方式では、マトリックス状に射出瞳としてのセグメントレンズが配列されたレンズ・アレイや、射出瞳としてのピン・ホールがアレイ状に配列されたピンホール・アレイを用いることができる。また、光線制御素子６４は、１次元ＩＩ方式では、垂直方向に延出され、水平方向に配列されたシリンドリカル・レンズからなるレンチュキュラー・シートや、垂直方向に延出され、水平方向に配列されたスリットを有するスリット・プレートにより構成される。光線制御素子６４としてレンズ・アレイ、レンチュキュラー・シートおよびスリット・プレートのいずれを用いても、光学的には、各レンズまたはスリットは、光学的開口部の射出瞳として機能する。
【００４７】
要素画像生成部６２により生成された要素画像は、画像表示部６３の各画素に表示され、要素画像が射出瞳を介して視域に投影されることによって、立体画像が視域の内部でユーザにより観察される。
【００４８】
なお、本実施形態では表示装置として裸眼で立体視可能な裸眼３Ｄディスプレイ２２を用いる場合の例について示したが、専用の眼鏡を用いて立体視させる３Ｄディスプレイを用いてもよい。専用の眼鏡を用いて立体視させる３Ｄディスプレイは、一般に、観察者の観察時の左目および右目の位置に集光点を設け、この両眼に相当する位置に設けた集光点にそれぞれ左目視差成分画像および右目視差成分画像を集光させるようになっている。この場合、医用画像処理装置１０は、左目視差成分画像および右目視差成分画像に対応する左目視点画像および右目視点画像を生成して３Ｄディスプレイに出力すればよい。
【００４９】
また、視点ＶＲ画像１６がユーザに奥行き方向を認識可能であれば、一般的な２次元表示用の液晶ディスプレイなどの表示出力装置を用いてもよい。この場合、上記説明における多視点は所定の１つの視点として読み替えればよい。
【００５０】
また、多視点画像取得部６１および要素画像生成部６２は、ＣＰＵにより所定のプログラムが実行されて実現される機能実現部であってもよいし、ＣＰＵを用いることなく回路などのハードウエアロジックによって構成してもよい。また、ソフトウエアとハードウエアを適宜組み合わせて各機能を実現してもよい。
【００５１】
また、図１では裸眼３Ｄディスプレイ２２が医用画像処理装置１０の構成外に設けられ場合の例について示したが、裸眼３Ｄディスプレイ２２を医用画像処理装置１０の一構成要素としても構わない。また、医用画像処理装置１０は、モダリティ２０に組み込まれてもよい。
【００５２】
図６は、奥行き方向に重畳表示された複数の画像間でポインタ１８を移動させる様子の第１の例を示す説明図である。図６には、ユーザが入力部１１を介してポインタ１８をＸ軸方向に沿って移動させるよう指示する場合の例について示した。
【００５３】
図６に示す例では、ポインタ位置決定部４６は、ポインタ１８のＺ座標を現在のポインタ１８が位置するＸＹ座標に位置する画像のうち、最も手前にある画像上とする。たとえば、ポインタ１８のＸＹ座標に位置する画像が視点ＶＲ画像１６のみである場合は、ＶＲ画像１６の表面上をなぞるようにポインタ１８が移動する（図６右側参照）。一方、ポインタ１８のＸＹ座標に複数の画像（たとえば視点ＶＲ画像１６と補助画像１７）があり、補助画像１７が最も手前にある画像である場合は、補助画像１７の表面上をなぞるようにポインタ１８が移動する（図６左側参照）。
【００５４】
この場合、ユーザは、入力部１１を介してポインタ１８をＸ軸方向に沿って移動させるよう指示することで、ポインタ１８を最も手前の画像上に移動させることができる。
【００５５】
図７は、奥行き方向に重畳表示された複数の画像間でポインタ１８を移動させる様子の第２の例を示す説明図である。
【００５６】
図７に示す例では、ポインタ位置決定部４６は、現在のＸＹ座標において複数の画像が奥行き方向に重畳されていると、ポインタ１８の現在のＸＹ座標を維持しつつ、ポインタ１８の奥行き方向の位置を複数の画像のそれぞれの画像上に所定の時間ずつとどまるよう、ポインタを複数の画像間で自動的に巡回させるようポインタ１８の位置を決定する。このとき、ポインタ位置決定部４６は、記憶部１２から優先度情報を読み出して、この優先度が高い順に画像間を巡回してもよいし、この優先度にもとづいて各画像上の滞在時間を変えてもよい。
【００５７】
たとえば、ポインタ１８に対するユーザによる入力部１１を介した移動指示がなく、かつ現在のＸＹ座標において複数の画像が奥行き方向に重畳されていると、ポインタ１８が所定時間ごとに画像間を自動的に巡回する。
【００５８】
この場合、自動的にポインタ１８が位置する画像が変更されるため、ユーザは、たとえば入力部１１を介した指示を行わなくても、所望の画像上にポインタ１８が位置するときに所望の操作を行うことができる。
【００５９】
また、ポインタ位置決定部４６は、ユーザによる入力部１１を介した所定の操作（たとえばマウスのクリックなど）ごとに、画像間を移動してもよい。この移動順は、記憶部１２に記憶された優先度情報にもとづいて決定してもよい。
【００６０】
この場合、ユーザは、簡単な操作により所望の画像上にポインタ１８を移動させることができる。
【００６１】
また、ユーザの操作がないときは、ポインタ位置決定部４６は、記憶部１２から優先度情報を読み出して、この優先度が最も高い画像上にポインタ１８を滞在させ続けるようにしてもよい。このとき、所定の操作を受け付けると、画像間を移動させるようにしてもよい。
【００６２】
次に、ポインタ１８の奥行き方向の位置をユーザが容易に把握可能にする技術について説明する。
【００６３】
図６および図７に示した例のように、奥行き方向に重畳された複数の画像間でポインタ１８を移動させる場合には、さらにポインタ１８の奥行き方向の位置が表示画像から視覚的に容易に把握できると、ユーザの利便性をより高めることができる。
【００６４】
また、ポインタ１８の奥行き方向の位置が表示画像から視覚的に容易に把握できるようにすることは、ユーザの入力部１１を介した操作（たとえばマウスのホイール回転操作など）でポインタ１８のＺ軸方向の移動指示が可能である場合にも有用である。この場合、ポインタ１８は任意のＺ位置に位置することになるため、奥行き方向のどの位置にいるかが視覚的に把握することができればユーザの利便性を高めることができる。
【００６５】
図８は、ポインタ１８の画像サイズを奥行き方向の手前にあるほど大きくする場合の例を示す説明図である。図８には、多視点ポインタ画像生成部４７が、所定の一視点から見た視点ポインタ画像を生成する場合の例について示した。
【００６６】
図８に示すように、多視点ポインタ画像生成部４７は、ポインタ１８のＺ座標に応じて、ポインタ１８が手前にあるほどポインタ１８の画像サイズが大きくなるようにポインタ１８の画像を生成する。ユーザはポインタ１８の奥行き方向の位置を容易に把握することができる。
【００６７】
図９は、ポインタ１８の画像サイズを奥行き方向の手前にあるほど大きくする場合において、複数の視点ポインタ画像が生成される様子の一例を示す説明図である。
【００６８】
図９に示すように、多視点ポインタ画像生成部４７は、ポインタ１８のＺ座標に応じて、ポインタ１８が手前にあるほどポインタ１８の画像サイズが大きくなるように、複数の視点からみた複数の視点ポインタ画像を生成してもよい。この場合、ユーザは、手前にあるほど大きく表示されるポインタ１８を立体視することができる。
【００６９】
図１０は、ポインタ１８を点光源としてシェーディング処理が施された視点画像の一例を示す説明図である。
【００７０】
多視点画像生成部４３は、ポインタ１８の位置情報をポインタ制御部３２から受け、ポインタ１８の位置に応じた位置に光源を配置して視点重畳画像にシェーディング処理を施してもよい。この場合、光源の位置は、ポインタ１８の移動に応じて移動する。なお、光源としては、点光源、線光源、面光源などを用いることができ、豆電球のように連続的に点光源が分布するとみなせる光源を用いてもよい。図１０には、ポインタの位置に点光源を置く場合の例について示した。ポインタ１８の位置に応じた位置に点光源を設けてシェーディング処理を施す場合、点光源の位置（図１０に示す例ではポインタ１８の位置）の奥で最も近い位置にある画像が最も明るく表示さる一方、点光源の手前にある画像は陰ることになる。そして、この明暗はポインタ１８の位置に応じて変化することなる。このため、ユーザは視点画像にもとづく表示画像の明暗から容易にポインタ１８の奥行き方向の位置を把握することができる。
【００７１】
図１１は、視点画像にポインタ１８を起点とするルーラ画像７１が重畳される場合の例を示す説明図である。
【００７２】
多視点画像生成部４３は、ポインタ１８の位置情報をポインタ制御部３２から受け、ポインタ１８を起点とするルーラ画像７１をさらに重畳させて視点重畳画像を生成してもよい。このとき、ルーラ画像７１の終点は、ポインタから直近の対象物の表面や、芯線上の点や、あらかじめ設定した点などとすることができる。たとえば、セグメンテーションされた複数のＶＲ画像１６が重畳されている場合でも、ポインタ１８に対して最も空間的な距離が近いＶＲ画像１６の表面上の点をルーラ画像７１の終点とすることができる。また、このとき、図１１に示すように、ルーラ画像７１を手前ほど大きくなるように透視投影的に生成してもよい。
【００７３】
また、図１１に示すように、多視点画像生成部４３は、ポインタ１８からルーラ画像７１の終点までの距離を示す距離値画像７２をルーラ画像７１の近傍に重畳させてもよい。
【００７４】
ルーラ画像７１や距離値画像７２を表示する場合、ユーザは、ルーラ画像７１や距離値画像７２にもとづいてポインタ１８の奥行き方向の位置を容易に把握することができる。
【００７５】
なお、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００７６】
１０ 医用画像処理装置
１１ 入力部
１２ 記憶部
１３ ネットワーク接続部
１４ 制御部
２０ モダリティ
２１ ネットワーク
２２ 裸眼３Ｄディスプレイ
３１ 画像生成部
３２ ポインタ制御部
３３ 多視点画像出力部
４１ 多視点レンダリング画像生成部
４２ 補助画像生成部
４３ 多視点画像生成部
７１ ルーラ画像
７２ 距離値
【技術分野】
【０００１】
本発明の実施形態は、３次元画像処理装置に関する。
【背景技術】
【０００２】
Ｘ線ＣＴ（Computed Tomography）装置やＭＲＩ（Magnetic Resonance Imaging）装置、超音波診断装置、Ｘ線診断装置などの医用画像診断装置（モダリティ）には、被検体（患者）の撮像により得られた投影データにもとづいてボリュームデータ（３次元画像データ）を生成可能なものがある。
【０００３】
ボリュームデータは、ボリュームレンダリングすることにより２次元画像（以下、ＶＲ画像という）を生成するために用いることができる。このＶＲ画像は、表示装置に表示されてユーザに提示される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−３６４９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、最近、ユーザに立体像を認識させることができる３Ｄディスプレイが市場に出回り始めている。この種の３Ｄディスプレイは、複数の視差成分画像をそれぞれ異なる方向に射出するようになっている。ユーザは、視差成分画像の集合として立体画像を認識することができる。
【０００６】
したがって、ボリュームデータを異なるレンダリング視点でボリュームレンダリングしたＶＲ画像を生成し、この複数の視点のＶＲ画像を視差成分画像として３Ｄディスプレイに与えることにより、ボリュームデータに対応する立体像を３Ｄディスプレイに表示させることができる。この種の立体像を視認するユーザは、立体像の奥行き方向を認識することができる。また、１枚のＶＲ画像のみでも、シェーディングやテクスチャマッピングによりユーザに奥行き方向を認識させることができる。
【０００７】
しかし、マウスカーソルなどのポインタを画面内で奥行き方向に移動させることは難しい。これは、従来のポインタは、画面の表面上で動くように設計されており、そもそもポインタを奥行き方向に移動させることについては考慮されていないためである。このため、たとえば奥行き方向に複数の画像が重畳表示されていると、これらの画像間でポインタを移動させることが難しい。
【課題を解決するための手段】
【０００８】
本発明の一実施形態に係る３次元画像処理装置は、上述した課題を解決するために、画像生成部およびポインタ制御部を備えたものである。画像生成部は、ボリュームデータにレンダリング処理を行うことにより生成されたレンダリング画像と、ポインタの画像とが、奥行き情報を考慮して重畳された重畳画像を生成する。ポインタ制御部は、ポインタの３次元位置情報を求めるものであり、ポインタがレンダリング画像上にある場合はボリュームデータ中の対象物の３次元的な表面に沿ってポインタを移動させる。
【図面の簡単な説明】
【０００９】
【図１】本発明の一実施形態に係る医用画像処理装置の一構成例を示すブロック図。
【図２】ユーザに提示される１画面内で複数の画像が奥行き方向に重畳される様子の一例を示す説明図。
【図３】制御部のＣＰＵによる機能実現部の構成例を示す概略的なブロック図。
【図４】補助画像を構成する補助画像要素の例を示す説明図。
【図５】裸眼３Ｄディスプレイの内部構成の一例を示すブロック図。
【図６】奥行き方向に重畳表示された複数の画像間でポインタを移動させる様子の第１の例を示す説明図。
【図７】奥行き方向に重畳表示された複数の画像間でポインタを移動させる様子の第２の例を示す説明図。
【図８】ポインタの画像サイズを奥行き方向の手前にあるほど大きくする場合の例を示す説明図。
【図９】ポインタの画像サイズを奥行き方向の手前にあるほど大きくする場合において複数視点からみた視点ポインタ画像が生成される様子の一例を示す説明図。
【図１０】ポインタを点光源としてシェーディング処理が施された視点画像の一例を示す説明図。
【図１１】視点画像にポインタを起点とするルーラ画像が重畳される場合の例を示す説明図。
【発明を実施するための形態】
【００１０】
本発明に係る３次元画像処理装置の実施の形態について、添付図面を参照して説明する。
【００１１】
図１は、本発明の一実施形態に係る医用画像処理装置１０の一構成例を示すブロック図である。
【００１２】
３次元画像処理装置としての医用画像処理装置１０は、図１に示すように、入力部１１、記憶部１２、ネットワーク接続部１３および制御部１４を有する。
【００１３】
入力部１１は、少なくともポインティングデバイスを含み、たとえばマウス、トラックボール、キーボード、タッチパネル、テンキーなどの一般的な入力装置により構成され、ユーザの操作に対応した操作入力信号を制御部１４に出力する。
【００１４】
記憶部１２は、モダリティ２０から出力される医療用のボリュームデータ（３次元画像データ）を記憶する。モダリティ２０は、たとえばＸ線ＣＴ（Computed Tomography）装置やＭＲＩ（Magnetic Resonance Imaging）装置、超音波診断装置、Ｘ線診断装置などの医用画像診断装置であって、被検体（患者）の撮像により得られた投影データにもとづいてボリュームデータ（３次元画像データ）を生成可能な装置により構成することができる。
【００１５】
また、記憶部１２は、ボリュームデータの３次元座標とＶＲ画像の２次元座標とを関連付けた座標対応情報を記憶する。この座標対応情報は、たとえば制御部１４によりボリュームデータにもとづいてＶＲ画像が生成されると記憶部１２に書き込まれる。
【００１６】
また、記憶部１２は、ユーザに提示される１画面内で奥行き方向に重畳された複数の画像のそれぞれの優先度の情報（以下、優先度情報という）を記憶している。この優先度情報は、あらかじめ工場出荷時などに設定されていてもよいし、ユーザにより入力部１１を介して設定されてもよい。
【００１７】
なお、１画面内で奥行き方向に重畳される複数の画像には、複数のＶＲ画像が含まれてもよい。複数のＶＲ画像としては、たとえば一被検体から得られるボリュームデータにもとづいて、たとえば筋肉、骨、血管、臓器などの種別ごとにセグメンテーション（分類）したＶＲ画像などが挙げられる。これらのセグメンテーションされた複数のＶＲ画像を重畳する場合は、単純にレイヤーを奥行き方向に前後に重ねるのではなく互いの空間的な位置関係が再現されるよう重畳するとよい。
【００１８】
ネットワーク接続部１３は、ネットワーク２１の形態に応じた種々の情報通信用プロトコルを実装する。ネットワーク接続部１３は、この各種プロトコルに従って医用画像処理装置１０とモダリティ２０などの他の装置とを接続する。ここでネットワーク２１とは、電気通信技術を利用した情報通信網全般を意味し、病院基幹ＬＡＮ（Local Area Network）などの無線／有線ＬＡＮやインターネット網のほか、電話通信回線網、光ファイバ通信ネットワーク、ケーブル通信ネットワークおよび衛星通信ネットワークなどを含む。
【００１９】
医用画像処理装置１０は、ネットワーク２１を介して接続されたモダリティ２０からボリュームデータを受けてもよい。ネットワーク２１を介して受信したボリュームデータもまた、記憶部１２に記憶される。また、記憶部１２に記憶される座標対応情報、優先度情報などの情報もまた、ネットワーク２１を介して受信されてもよい。
【００２０】
制御部１４は、ＣＰＵ、ＲＡＭおよびＲＯＭをはじめとする記憶媒体などにより構成され、この記憶媒体に記憶されたプログラムに従って医用画像処理装置１０の処理動作を制御する。
【００２１】
図２は、ユーザに提示される１画面内で複数の画像が奥行き方向に重畳される様子の一例を示す説明図である。なお、以下の説明では、画面の正面左下を座標原点とし、原点から水平方向右側をＸ軸正方向、垂直方向上側をＹ軸正方向、手前側をＺ軸正方向としてＸＹＺ軸を定義する。このとき、Ｚ軸方向が奥行き方向となる。
【００２２】
なお、図２には１つのＶＲ画像１６が重畳される様子の一例を示したが、ＶＲ画像１６（セグメンテーションされたＶＲ画像１６）を複数重畳してもよい。本実施形態では、図２に示すように１つのＶＲ画像１６が重畳される場合の例について説明する。
【００２３】
図２に示すように、ＶＲ画像１６は、補助画像１７と奥行き方向に前後するように重畳されて画面表示される場合がある。しかし、ポインタ１８は、ユーザの入力部１１を介した操作に応じて、ＸＹ座標はユーザの所望の位置に移動させることができる一方奥行き方向（Ｚ軸方向）については入力部１１を介した操作では自由に移動させることができない場合がある。この場合、画面内で奥行き方向に重畳された複数の画像のうちの任意の画像に対してポインタ１８を合わせることが難しい。また、たとえば入力部１１がホイールつきのマウスで構成され、ホイールの回転に応じてポインタ１８の奥行き方向の位置を移動させることができるようになっている場合であっても、ポインタ１８の奥行き方向の位置を把握することは難しく、やはり画面内で奥行き方向に重畳された複数の画像のうちの任意の画像に対してポインタ１８を合わせることが難しい。
【００２４】
そこで、制御部１４のＣＰＵは、ＲＯＭをはじめとする記憶媒体に記憶された３次元画像処理プログラムおよびこのプログラムの実行のために必要なデータをＲＡＭへロードし、このプログラムに従って奥行き方向に重畳表示された複数の画像間でポインタ１８を移動させる処理を実行する。
【００２５】
制御部１４のＲＡＭは、ＣＰＵが実行するプログラムおよびデータを一時的に格納するワークエリアを提供する。また、制御部１４のＲＯＭをはじめとする記憶媒体は、医用画像処理装置１０の起動プログラム、３次元画像処理プログラムや、これらのプログラムを実行するために必要な各種データを記憶する。
【００２６】
なお、ＲＯＭをはじめとする記憶媒体は、磁気的もしくは光学的記録媒体または半導体メモリなどの、ＣＰＵにより読み取り可能な記録媒体を含んだ構成を有し、これら記憶媒体内のプログラムおよびデータの一部または全部はネットワーク２１を介してダウンロードされるように構成してもよい。
【００２７】
制御部１４は、複数の視点からみたＶＲ画像１６と補助画像１７とが奥行き方向に重畳された画像（複数の視点画像、多視点画像）を生成し、裸眼３Ｄディスプレイ２２に出力する。
【００２８】
図３は、制御部１４のＣＰＵによる機能実現部の構成例を示す概略的なブロック図である。なお、この機能実現部は、ＣＰＵを用いることなく回路などのハードウエアロジックによって構成してもよい。
【００２９】
図３に示すように、制御部１４のＣＰＵは、３次元画像処理プログラムによって、画像生成部３１、ポインタ制御部３２および多視点画像出力部３３として機能する。この各部３１〜３３は、ＲＡＭの所要のワークエリアをデータの一時的な格納場所として利用する。
【００３０】
画像生成部３１は、多視点レンダリング画像生成部４１、補助画像生成部４２、多視点画像生成部４３を有する。
【００３１】
多視点レンダリング画像生成部４１は、記憶部１２に記憶されたボリュームデータにもとづいて複数の視点でボリュームレンダリングを行うことにより、各視点のＶＲ画像（視点レンダリング画像。以下、視点ＶＲ画像という）１６を生成する。
【００３２】
図４は、補助画像１７を構成する補助画像要素の例を示す説明図である。
【００３３】
補助画像１７は、各種機能が割り当てられた複数のソフトキーにより構成されたツールバー５１、複数のサムネイル画像５２ａにより構成されたサムネイル画像群５２、付帯情報表示画像５３、簡易操作パネル５４、操作パネル５５、患者、シリーズおよび画像のリスト５６や、視点ＶＲ画像とは異なる画像５７などの補助画像要素により構成される。視点ＶＲ画像とは異なる画像５７としては、たとえば視点ＶＲ画像とは異なるレンダリングモードでボリュームレンダリングされたＶＲ画像や、視点ＶＲ画像とはボリュームデータが異なる画像などを挙げることができる。図２は、補助画像１７が簡易操作パネル５４のみで構成される場合の例について示したものである。
【００３４】
補助画像生成部４２は、これらの補助画像要素の１つまたは複数により構成される補助画像１７を生成する。
【００３５】
多視点画像生成部４３は、多視点レンダリング画像生成部４１により生成されたＶＲ画像（視点ＶＲ画像）１６と補助画像生成部４２により生成された補助画像１７とを奥行き方向に重畳した複数の視点画像（多視点重畳画像）を生成する。なお、各補助画像要素のもととなる画像ファイルは、あらかじめ記憶部１２に記憶させておいてもよいし、ネットワーク２１を介して適宜取得してもよい。
【００３６】
なお、視点ＶＲ画像１６と補助画像１７とを重畳して視点重畳画像を生成する際、多視点画像生成部４３は、補助画像１７の透明度を設定して半透明表示とすることにより、補助画像１７の裏側に隠れる視点ＶＲ画像１６を補助画像１７越しに視認可能とするとよい。この透明度は、あらかじめ設定されて記憶部１２に記憶された設定値を用いてもよいし、ユーザＵにより入力部１１を介して設定されてもよい。
【００３７】
一方、ポインタ制御部３２は、ポインタ位置決定部４６および多視点ポインタ画像生成部４７を有する。
【００３８】
ポインタ位置決定部４６は、ユーザにより入力部１１を介してポインタ１８をＸＹ面内で移動するよう指示されると、ポインタ１８が視点ＶＲ画像１６の近傍にある場合は、記憶部１２に記憶された座標対応情報にもとづいて視点ＶＲ画像１６の表面の３次元座標を取得し、ポインタ１８を視点ＶＲ画像１６の表面に沿って移動させるようポインタ１８の位置を決定する。また、ポインタ位置決定部４６は、ポインタ１８が補助画像１７の近傍にある場合は、ポインタ１８を補助画像１７の表面に沿って移動させるようポインタ１８の位置を決定する。
【００３９】
多視点ポインタ画像生成部４７は、複数の視点からみたポインタ１８の画像（多視点ポインタ画像）を生成し、ポインタ位置決定部４６で決定されたポインタ１８の位置情報とともに多視点画像出力部３３に与える。
【００４０】
多視点画像出力部３３は、画像生成部３１により生成された視点重畳画像およびポインタ制御部３２により生成された視点ポインタ画像を重畳して複数の視点画像を生成し、この複数の視点画像のそれぞれを視差成分画像として異なる方向に射出する裸眼３Ｄディスプレイ２２に対して出力する。
【００４１】
ここで、裸眼３Ｄディスプレイ２２の構成および作用について簡単に説明する。
【００４２】
図５は、裸眼３Ｄディスプレイ２２の内部構成の一例を示すブロック図である。
【００４３】
裸眼３Ｄディスプレイ２２は、多視点画像取得部６１、要素画像生成部６２、画像表示部６３および光線制御素子６４を有する。
【００４４】
多視点画像取得部６１は、多視点画像出力部３３から複数の視点画像を取得する。要素画像生成部６２は、この複数の視点画像を要素画像に変換する。たとえば、多視点画像出力部３３が９つの視点の視点画像を出力する場合、９つの撮影番号に相当する９視差方向を示す視差番号（−４、−３、・・・、０、・・・３、４）で視差成分画像が特定される。すなわち、要素画像生成部６２は、多視点画像の各視点画像と視差番号とを関連付けることにより各視点画像を視差成分画像としてあつかい、視差成分画像を集めて要素画像を生成する。
【００４５】
画像表示部６３は、たとえば液晶ディスプレイやＯＬＥＤ（Organic Light Emitting Diode）ディスプレイなどの表示出力装置により構成される。たとえば９種の視差成分画像をあつかう場合、画像表示部６３の各画素は９つの絵素で構成され、画素ごとに要素画像が表示される。また、画素が出力する光線のうち、同一の視差番号をもつ視差成分画像に対応する光線は、複数の画素から互いに平行に射出される。
【００４６】
光線制御素子６４は、複数の射出瞳により構成される。光線制御素子６４としては、２次元ＩＩ（インテグラル・イメージング）方式では、マトリックス状に射出瞳としてのセグメントレンズが配列されたレンズ・アレイや、射出瞳としてのピン・ホールがアレイ状に配列されたピンホール・アレイを用いることができる。また、光線制御素子６４は、１次元ＩＩ方式では、垂直方向に延出され、水平方向に配列されたシリンドリカル・レンズからなるレンチュキュラー・シートや、垂直方向に延出され、水平方向に配列されたスリットを有するスリット・プレートにより構成される。光線制御素子６４としてレンズ・アレイ、レンチュキュラー・シートおよびスリット・プレートのいずれを用いても、光学的には、各レンズまたはスリットは、光学的開口部の射出瞳として機能する。
【００４７】
要素画像生成部６２により生成された要素画像は、画像表示部６３の各画素に表示され、要素画像が射出瞳を介して視域に投影されることによって、立体画像が視域の内部でユーザにより観察される。
【００４８】
なお、本実施形態では表示装置として裸眼で立体視可能な裸眼３Ｄディスプレイ２２を用いる場合の例について示したが、専用の眼鏡を用いて立体視させる３Ｄディスプレイを用いてもよい。専用の眼鏡を用いて立体視させる３Ｄディスプレイは、一般に、観察者の観察時の左目および右目の位置に集光点を設け、この両眼に相当する位置に設けた集光点にそれぞれ左目視差成分画像および右目視差成分画像を集光させるようになっている。この場合、医用画像処理装置１０は、左目視差成分画像および右目視差成分画像に対応する左目視点画像および右目視点画像を生成して３Ｄディスプレイに出力すればよい。
【００４９】
また、視点ＶＲ画像１６がユーザに奥行き方向を認識可能であれば、一般的な２次元表示用の液晶ディスプレイなどの表示出力装置を用いてもよい。この場合、上記説明における多視点は所定の１つの視点として読み替えればよい。
【００５０】
また、多視点画像取得部６１および要素画像生成部６２は、ＣＰＵにより所定のプログラムが実行されて実現される機能実現部であってもよいし、ＣＰＵを用いることなく回路などのハードウエアロジックによって構成してもよい。また、ソフトウエアとハードウエアを適宜組み合わせて各機能を実現してもよい。
【００５１】
また、図１では裸眼３Ｄディスプレイ２２が医用画像処理装置１０の構成外に設けられ場合の例について示したが、裸眼３Ｄディスプレイ２２を医用画像処理装置１０の一構成要素としても構わない。また、医用画像処理装置１０は、モダリティ２０に組み込まれてもよい。
【００５２】
図６は、奥行き方向に重畳表示された複数の画像間でポインタ１８を移動させる様子の第１の例を示す説明図である。図６には、ユーザが入力部１１を介してポインタ１８をＸ軸方向に沿って移動させるよう指示する場合の例について示した。
【００５３】
図６に示す例では、ポインタ位置決定部４６は、ポインタ１８のＺ座標を現在のポインタ１８が位置するＸＹ座標に位置する画像のうち、最も手前にある画像上とする。たとえば、ポインタ１８のＸＹ座標に位置する画像が視点ＶＲ画像１６のみである場合は、ＶＲ画像１６の表面上をなぞるようにポインタ１８が移動する（図６右側参照）。一方、ポインタ１８のＸＹ座標に複数の画像（たとえば視点ＶＲ画像１６と補助画像１７）があり、補助画像１７が最も手前にある画像である場合は、補助画像１７の表面上をなぞるようにポインタ１８が移動する（図６左側参照）。
【００５４】
この場合、ユーザは、入力部１１を介してポインタ１８をＸ軸方向に沿って移動させるよう指示することで、ポインタ１８を最も手前の画像上に移動させることができる。
【００５５】
図７は、奥行き方向に重畳表示された複数の画像間でポインタ１８を移動させる様子の第２の例を示す説明図である。
【００５６】
図７に示す例では、ポインタ位置決定部４６は、現在のＸＹ座標において複数の画像が奥行き方向に重畳されていると、ポインタ１８の現在のＸＹ座標を維持しつつ、ポインタ１８の奥行き方向の位置を複数の画像のそれぞれの画像上に所定の時間ずつとどまるよう、ポインタを複数の画像間で自動的に巡回させるようポインタ１８の位置を決定する。このとき、ポインタ位置決定部４６は、記憶部１２から優先度情報を読み出して、この優先度が高い順に画像間を巡回してもよいし、この優先度にもとづいて各画像上の滞在時間を変えてもよい。
【００５７】
たとえば、ポインタ１８に対するユーザによる入力部１１を介した移動指示がなく、かつ現在のＸＹ座標において複数の画像が奥行き方向に重畳されていると、ポインタ１８が所定時間ごとに画像間を自動的に巡回する。
【００５８】
この場合、自動的にポインタ１８が位置する画像が変更されるため、ユーザは、たとえば入力部１１を介した指示を行わなくても、所望の画像上にポインタ１８が位置するときに所望の操作を行うことができる。
【００５９】
また、ポインタ位置決定部４６は、ユーザによる入力部１１を介した所定の操作（たとえばマウスのクリックなど）ごとに、画像間を移動してもよい。この移動順は、記憶部１２に記憶された優先度情報にもとづいて決定してもよい。
【００６０】
この場合、ユーザは、簡単な操作により所望の画像上にポインタ１８を移動させることができる。
【００６１】
また、ユーザの操作がないときは、ポインタ位置決定部４６は、記憶部１２から優先度情報を読み出して、この優先度が最も高い画像上にポインタ１８を滞在させ続けるようにしてもよい。このとき、所定の操作を受け付けると、画像間を移動させるようにしてもよい。
【００６２】
次に、ポインタ１８の奥行き方向の位置をユーザが容易に把握可能にする技術について説明する。
【００６３】
図６および図７に示した例のように、奥行き方向に重畳された複数の画像間でポインタ１８を移動させる場合には、さらにポインタ１８の奥行き方向の位置が表示画像から視覚的に容易に把握できると、ユーザの利便性をより高めることができる。
【００６４】
また、ポインタ１８の奥行き方向の位置が表示画像から視覚的に容易に把握できるようにすることは、ユーザの入力部１１を介した操作（たとえばマウスのホイール回転操作など）でポインタ１８のＺ軸方向の移動指示が可能である場合にも有用である。この場合、ポインタ１８は任意のＺ位置に位置することになるため、奥行き方向のどの位置にいるかが視覚的に把握することができればユーザの利便性を高めることができる。
【００６５】
図８は、ポインタ１８の画像サイズを奥行き方向の手前にあるほど大きくする場合の例を示す説明図である。図８には、多視点ポインタ画像生成部４７が、所定の一視点から見た視点ポインタ画像を生成する場合の例について示した。
【００６６】
図８に示すように、多視点ポインタ画像生成部４７は、ポインタ１８のＺ座標に応じて、ポインタ１８が手前にあるほどポインタ１８の画像サイズが大きくなるようにポインタ１８の画像を生成する。ユーザはポインタ１８の奥行き方向の位置を容易に把握することができる。
【００６７】
図９は、ポインタ１８の画像サイズを奥行き方向の手前にあるほど大きくする場合において、複数の視点ポインタ画像が生成される様子の一例を示す説明図である。
【００６８】
図９に示すように、多視点ポインタ画像生成部４７は、ポインタ１８のＺ座標に応じて、ポインタ１８が手前にあるほどポインタ１８の画像サイズが大きくなるように、複数の視点からみた複数の視点ポインタ画像を生成してもよい。この場合、ユーザは、手前にあるほど大きく表示されるポインタ１８を立体視することができる。
【００６９】
図１０は、ポインタ１８を点光源としてシェーディング処理が施された視点画像の一例を示す説明図である。
【００７０】
多視点画像生成部４３は、ポインタ１８の位置情報をポインタ制御部３２から受け、ポインタ１８の位置に応じた位置に光源を配置して視点重畳画像にシェーディング処理を施してもよい。この場合、光源の位置は、ポインタ１８の移動に応じて移動する。なお、光源としては、点光源、線光源、面光源などを用いることができ、豆電球のように連続的に点光源が分布するとみなせる光源を用いてもよい。図１０には、ポインタの位置に点光源を置く場合の例について示した。ポインタ１８の位置に応じた位置に点光源を設けてシェーディング処理を施す場合、点光源の位置（図１０に示す例ではポインタ１８の位置）の奥で最も近い位置にある画像が最も明るく表示さる一方、点光源の手前にある画像は陰ることになる。そして、この明暗はポインタ１８の位置に応じて変化することなる。このため、ユーザは視点画像にもとづく表示画像の明暗から容易にポインタ１８の奥行き方向の位置を把握することができる。
【００７１】
図１１は、視点画像にポインタ１８を起点とするルーラ画像７１が重畳される場合の例を示す説明図である。
【００７２】
多視点画像生成部４３は、ポインタ１８の位置情報をポインタ制御部３２から受け、ポインタ１８を起点とするルーラ画像７１をさらに重畳させて視点重畳画像を生成してもよい。このとき、ルーラ画像７１の終点は、ポインタから直近の対象物の表面や、芯線上の点や、あらかじめ設定した点などとすることができる。たとえば、セグメンテーションされた複数のＶＲ画像１６が重畳されている場合でも、ポインタ１８に対して最も空間的な距離が近いＶＲ画像１６の表面上の点をルーラ画像７１の終点とすることができる。また、このとき、図１１に示すように、ルーラ画像７１を手前ほど大きくなるように透視投影的に生成してもよい。
【００７３】
また、図１１に示すように、多視点画像生成部４３は、ポインタ１８からルーラ画像７１の終点までの距離を示す距離値画像７２をルーラ画像７１の近傍に重畳させてもよい。
【００７４】
ルーラ画像７１や距離値画像７２を表示する場合、ユーザは、ルーラ画像７１や距離値画像７２にもとづいてポインタ１８の奥行き方向の位置を容易に把握することができる。
【００７５】
なお、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００７６】
１０ 医用画像処理装置
１１ 入力部
１２ 記憶部
１３ ネットワーク接続部
１４ 制御部
２０ モダリティ
２１ ネットワーク
２２ 裸眼３Ｄディスプレイ
３１ 画像生成部
３２ ポインタ制御部
３３ 多視点画像出力部
４１ 多視点レンダリング画像生成部
４２ 補助画像生成部
４３ 多視点画像生成部
７１ ルーラ画像
７２ 距離値
【特許請求の範囲】
【請求項１】
対象物のボリュームデータを記憶する記憶手段と、
ポインタを移動させるための入力操作を行う入力部と、
前記ボリュームデータにレンダリング処理を行うことにより生成されたレンダリング画像と、前記ポインタの画像とが、奥行き情報を考慮して重畳された重畳画像を生成する画像生成部と、
前記ポインタの３次元位置情報を求めるものであり、前記ポインタが前記レンダリング画像上にある場合は前記ボリュームデータ中の対象物の３次元的な表面に沿って前記ポインタを移動させるポインタ制御部と、
を備えた３次元画像処理装置。
【請求項２】
前記画像生成部は、
前記レンダリング画像と、ユーザによる操作を受け付けるための補助画像と、前記ポインタの画像とが、奥行き情報を考慮して重畳された重畳画像を生成し、
前記ポインタ制御部は、
前記ポインタの３次元位置情報を求めるものであり、前記ポインタが前記レンダリング画像上にある場合は前記ボリュームデータ中の対象物の３次元的な表面に沿って前記ポインタを移動させ、前記ポインタが前記補助画像上にある場合は前記補助画像の上で前記ポインタを移動させる、
請求項１記載の３次元画像処理装置。
【請求項３】
前記ポインタ制御部は、
前記ユーザにより前記入力部を介して前記重畳画像に表示された前記ポインタを前記奥行き方向に直交するＸＹ面内で移動するよう指示されると、前記ポインタが表示される位置を、ＸＹ座標は前記ユーザにより指示されたＸＹ座標とするとともに、前記奥行き方向の位置は前記重畳画像のうち前記奥行き方向で最も手前に位置した画像上の位置とする、
請求項２記載の３次元画像処理装置。
【請求項４】
前記ポインタ制御部は、
前記ポインタの現在の前記奥行き方向に直交するＸＹ方向のＸＹ座標において複数の画像が前記奥行き方向に重畳されていると、前記ポインタの現在のＸＹ座標を維持しつつ前記ポインタの前記奥行き方向の位置を前記複数の画像のそれぞれの画像上に所定の時間ずつとどまるよう、前記ポインタを前記複数の画像間で自動的に巡回させる、
請求項２記載の３次元画像処理装置。
【請求項５】
前記ポインタ制御部は、
前記ポインタを前記複数の画像間で自動的に巡回させる際、前記複数の画像のそれぞれに優先度を設け、この優先度にもとづいて、各画像にとどまる時間および前記巡回する順序を決定する、
請求項４記載の３次元画像処理装置。
【請求項６】
前記ポインタ制御部は、
前記ポインタに対する前記ユーザによる前記入力部を介した移動指示がなく、かつ前記ポインタの現在の前記奥行き方向に直交するＸＹ方向のＸＹ座標において複数の画像が前記奥行き方向に重畳されていると、前記複数の画像のそれぞれに付加された優先度にもとづいて、最高優先度が付加された画像上に前記ポインタを表示しつづける、
請求項２記載の３次元画像処理装置。
【請求項７】
前記ポインタ制御部は、
前記ユーザによる前記入力部を介した指示があるごとに、前記ポインタを表示させる画像を前記優先度順に順次変更する、
請求項６記載の３次元画像処理装置。
【請求項８】
前記画像生成部は、
前記重畳画像において前記奥行き方向手前に位置する画像の透明度を半透明に設定して前記重畳画像を生成する、
請求項２ないし７のいずれか１項に記載の３次元画像処理装置。
【請求項９】
前記画像生成部は、
前記ポインタ制御部から前記ポインタが前記奥行き方向で最も手前に位置する画像を除く画像上に位置する旨の情報を受けると、このポインタが表示された画像よりも前記奥行き方向手前に位置する画像の透明度を半透明に設定して前記重畳画像を生成する、
請求項８記載の３次元画像処理装置。
【請求項１０】
前記画像生成部は、
前記ポインタの前記奥行き方向の位置が手前であるほど前記ポインタが大きくなるように前記ポインタの画像を生成して前記重畳画像に重畳させる、
請求項２ないし９のいずれか１項に記載の３次元画像処理装置。
【請求項１１】
前記画像生成部は、
前記ポインタ制御部から前記ポインタの前記奥行き方向に直交するＸＹ方向のＸＹ座標および前記奥行き方向の位置情報を受け、前記重畳画像に対して前記ポインタを点光源とするシェーディング処理を施す、
請求項２ないし１０のいずれか１項に記載の３次元画像処理装置。
【請求項１２】
前記画像生成部は、
前記ポインタ制御部から前記ポインタの前記奥行き方向に直交するＸＹ方向のＸＹ座標および前記奥行き方向の位置情報を受け、前記重畳画像に対して前記ポインタを起点とするルーラ画像をさらに重畳させて前記重畳画像を生成する、
請求項２ないし１１のいずれか１項に記載の３次元画像処理装置。
【請求項１３】
前記画像生成部は、
前記ルーラ画像の終点を、前記ポインタから最も空間的距離が近い前記レンダリング画像上の点とするとともに、前記起点から前記終点までの距離を前記ルーラ画像近傍に表示させる、
請求項１２記載の３次元画像処理装置。
【請求項１４】
対象物のボリュームデータを記憶する記憶手段と、
ポインタを移動させるための入力操作を行う入力部と、
前記ボリュームデータにレンダリング処理を行うことにより生成されたレンダリング画像と前記ポインタの画像とが奥行き情報を考慮して重畳された重畳画像を生成するとともに、前記ポインタの３次元位置に応じた位置に光源を配置して前記重畳画像に対してシェーディング処理を施す画像生成部と、
前記ポインタの３次元位置情報を求めるものであり、前記ポインタを３次元的に移動させるポインタ制御部と、
を備えた３次元画像処理装置。
【請求項１５】
前記画像生成部は、
前記ポインタの前記奥行き方向の位置が手前であるほど前記ポインタが大きくなるように前記ポインタの画像を生成して前記重畳画像に重畳させる、
請求項１４記載の３次元画像処理装置。
【請求項１６】
前記画像生成部は、
前記ポインタ制御部から前記ポインタの前記奥行き方向に直交するＸＹ方向のＸＹ座標および前記奥行き方向の位置情報を受け、前記重畳画像に対して前記ポインタを起点とするルーラ画像をさらに重畳させて前記重畳画像を生成する、
請求項１４または１５に記載の３次元画像処理装置。
【請求項１７】
前記画像生成部は、
前記ルーラ画像の終点を、前記ポインタから最も空間的距離が近い前記レンダリング画像上の点とするとともに、前記起点から前記終点までの距離を前記ルーラ画像近傍に表示させる、
請求項１６記載の３次元画像処理装置。
【請求項１８】
前記画像生成部は、
前記重畳画像を複数の視点からみた複数視点の重畳画像を生成し、この複数視点の重畳画像のそれぞれを視差成分画像として異なる方向に射出する３Ｄディスプレイに対して前記複数視点の重畳画像を出力する、
請求項１ないし１７のいずれか１項に記載の３次元画像処理装置。
【請求項１９】
前記ポインタ制御部は、
前記ポインタの画像を複数の視点からみた複数視点のポインタの画像を生成し、この複数視点のポインタの画像のそれぞれを視差成分画像として異なる方向に射出する３Ｄディスプレイに対して前記複数視点のポインタの画像を出力する、
請求項１ないし１８のいずれか１項に記載の３次元画像処理装置。
【請求項１】
対象物のボリュームデータを記憶する記憶手段と、
ポインタを移動させるための入力操作を行う入力部と、
前記ボリュームデータにレンダリング処理を行うことにより生成されたレンダリング画像と、前記ポインタの画像とが、奥行き情報を考慮して重畳された重畳画像を生成する画像生成部と、
前記ポインタの３次元位置情報を求めるものであり、前記ポインタが前記レンダリング画像上にある場合は前記ボリュームデータ中の対象物の３次元的な表面に沿って前記ポインタを移動させるポインタ制御部と、
を備えた３次元画像処理装置。
【請求項２】
前記画像生成部は、
前記レンダリング画像と、ユーザによる操作を受け付けるための補助画像と、前記ポインタの画像とが、奥行き情報を考慮して重畳された重畳画像を生成し、
前記ポインタ制御部は、
前記ポインタの３次元位置情報を求めるものであり、前記ポインタが前記レンダリング画像上にある場合は前記ボリュームデータ中の対象物の３次元的な表面に沿って前記ポインタを移動させ、前記ポインタが前記補助画像上にある場合は前記補助画像の上で前記ポインタを移動させる、
請求項１記載の３次元画像処理装置。
【請求項３】
前記ポインタ制御部は、
前記ユーザにより前記入力部を介して前記重畳画像に表示された前記ポインタを前記奥行き方向に直交するＸＹ面内で移動するよう指示されると、前記ポインタが表示される位置を、ＸＹ座標は前記ユーザにより指示されたＸＹ座標とするとともに、前記奥行き方向の位置は前記重畳画像のうち前記奥行き方向で最も手前に位置した画像上の位置とする、
請求項２記載の３次元画像処理装置。
【請求項４】
前記ポインタ制御部は、
前記ポインタの現在の前記奥行き方向に直交するＸＹ方向のＸＹ座標において複数の画像が前記奥行き方向に重畳されていると、前記ポインタの現在のＸＹ座標を維持しつつ前記ポインタの前記奥行き方向の位置を前記複数の画像のそれぞれの画像上に所定の時間ずつとどまるよう、前記ポインタを前記複数の画像間で自動的に巡回させる、
請求項２記載の３次元画像処理装置。
【請求項５】
前記ポインタ制御部は、
前記ポインタを前記複数の画像間で自動的に巡回させる際、前記複数の画像のそれぞれに優先度を設け、この優先度にもとづいて、各画像にとどまる時間および前記巡回する順序を決定する、
請求項４記載の３次元画像処理装置。
【請求項６】
前記ポインタ制御部は、
前記ポインタに対する前記ユーザによる前記入力部を介した移動指示がなく、かつ前記ポインタの現在の前記奥行き方向に直交するＸＹ方向のＸＹ座標において複数の画像が前記奥行き方向に重畳されていると、前記複数の画像のそれぞれに付加された優先度にもとづいて、最高優先度が付加された画像上に前記ポインタを表示しつづける、
請求項２記載の３次元画像処理装置。
【請求項７】
前記ポインタ制御部は、
前記ユーザによる前記入力部を介した指示があるごとに、前記ポインタを表示させる画像を前記優先度順に順次変更する、
請求項６記載の３次元画像処理装置。
【請求項８】
前記画像生成部は、
前記重畳画像において前記奥行き方向手前に位置する画像の透明度を半透明に設定して前記重畳画像を生成する、
請求項２ないし７のいずれか１項に記載の３次元画像処理装置。
【請求項９】
前記画像生成部は、
前記ポインタ制御部から前記ポインタが前記奥行き方向で最も手前に位置する画像を除く画像上に位置する旨の情報を受けると、このポインタが表示された画像よりも前記奥行き方向手前に位置する画像の透明度を半透明に設定して前記重畳画像を生成する、
請求項８記載の３次元画像処理装置。
【請求項１０】
前記画像生成部は、
前記ポインタの前記奥行き方向の位置が手前であるほど前記ポインタが大きくなるように前記ポインタの画像を生成して前記重畳画像に重畳させる、
請求項２ないし９のいずれか１項に記載の３次元画像処理装置。
【請求項１１】
前記画像生成部は、
前記ポインタ制御部から前記ポインタの前記奥行き方向に直交するＸＹ方向のＸＹ座標および前記奥行き方向の位置情報を受け、前記重畳画像に対して前記ポインタを点光源とするシェーディング処理を施す、
請求項２ないし１０のいずれか１項に記載の３次元画像処理装置。
【請求項１２】
前記画像生成部は、
前記ポインタ制御部から前記ポインタの前記奥行き方向に直交するＸＹ方向のＸＹ座標および前記奥行き方向の位置情報を受け、前記重畳画像に対して前記ポインタを起点とするルーラ画像をさらに重畳させて前記重畳画像を生成する、
請求項２ないし１１のいずれか１項に記載の３次元画像処理装置。
【請求項１３】
前記画像生成部は、
前記ルーラ画像の終点を、前記ポインタから最も空間的距離が近い前記レンダリング画像上の点とするとともに、前記起点から前記終点までの距離を前記ルーラ画像近傍に表示させる、
請求項１２記載の３次元画像処理装置。
【請求項１４】
対象物のボリュームデータを記憶する記憶手段と、
ポインタを移動させるための入力操作を行う入力部と、
前記ボリュームデータにレンダリング処理を行うことにより生成されたレンダリング画像と前記ポインタの画像とが奥行き情報を考慮して重畳された重畳画像を生成するとともに、前記ポインタの３次元位置に応じた位置に光源を配置して前記重畳画像に対してシェーディング処理を施す画像生成部と、
前記ポインタの３次元位置情報を求めるものであり、前記ポインタを３次元的に移動させるポインタ制御部と、
を備えた３次元画像処理装置。
【請求項１５】
前記画像生成部は、
前記ポインタの前記奥行き方向の位置が手前であるほど前記ポインタが大きくなるように前記ポインタの画像を生成して前記重畳画像に重畳させる、
請求項１４記載の３次元画像処理装置。
【請求項１６】
前記画像生成部は、
前記ポインタ制御部から前記ポインタの前記奥行き方向に直交するＸＹ方向のＸＹ座標および前記奥行き方向の位置情報を受け、前記重畳画像に対して前記ポインタを起点とするルーラ画像をさらに重畳させて前記重畳画像を生成する、
請求項１４または１５に記載の３次元画像処理装置。
【請求項１７】
前記画像生成部は、
前記ルーラ画像の終点を、前記ポインタから最も空間的距離が近い前記レンダリング画像上の点とするとともに、前記起点から前記終点までの距離を前記ルーラ画像近傍に表示させる、
請求項１６記載の３次元画像処理装置。
【請求項１８】
前記画像生成部は、
前記重畳画像を複数の視点からみた複数視点の重畳画像を生成し、この複数視点の重畳画像のそれぞれを視差成分画像として異なる方向に射出する３Ｄディスプレイに対して前記複数視点の重畳画像を出力する、
請求項１ないし１７のいずれか１項に記載の３次元画像処理装置。
【請求項１９】
前記ポインタ制御部は、
前記ポインタの画像を複数の視点からみた複数視点のポインタの画像を生成し、この複数視点のポインタの画像のそれぞれを視差成分画像として異なる方向に射出する３Ｄディスプレイに対して前記複数視点のポインタの画像を出力する、
請求項１ないし１８のいずれか１項に記載の３次元画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１１】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１１】
【図１０】
【公開番号】特開２０１３−１０１５９９（Ｐ２０１３−１０１５９９Ａ）
【公開日】平成２５年５月２３日（２０１３．５．２３）
【国際特許分類】
【出願番号】特願２０１２−２２６２３７（Ｐ２０１２−２２６２３７）
【出願日】平成２４年１０月１１日（２０１２．１０．１１）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【出願人】（５９４１６４５４２）東芝メディカルシステムズ株式会社 (4,066)
【Ｆターム（参考）】
【公開日】平成２５年５月２３日（２０１３．５．２３）
【国際特許分類】
【出願日】平成２４年１０月１１日（２０１２．１０．１１）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【出願人】（５９４１６４５４２）東芝メディカルシステムズ株式会社 (4,066)
【Ｆターム（参考）】
[ Back to top ]