３次元画像処理装置および３次元画像処理プログラム
【課題】ボリュームデータに対応する立体像を邪魔しないように補助画像を表示させることができるとともに補助画像を介した立体像に対する操作を容易に受け付けることができる３次元画像処理装置を提供する。
【解決手段】ボリュームデータにもとづいて複数の視点でボリュームレンダリングを行うことにより、複数の視点の多視点レンダリング画像生成部３２と、ソフトキーの画像、付帯情報を示す画像その他の補助画像を生成する補助画像生成部３３と、補助画像がボリュームデータに対応する立体像を囲う３次元領域の前面を除く周囲の所定の位置に配置されるよう、視点レンダリング画像と補助画像とを重畳した視点画像を含む複数の視点画像を生成する多視点画像生成部３４と、多視点画像のそれぞれを視差成分画像として異なる方向に射出する裸眼３Ｄディスプレイ装置２２に、複数の視点画像を出力する多視点画像出力部３５と、を備える。
【解決手段】ボリュームデータにもとづいて複数の視点でボリュームレンダリングを行うことにより、複数の視点の多視点レンダリング画像生成部３２と、ソフトキーの画像、付帯情報を示す画像その他の補助画像を生成する補助画像生成部３３と、補助画像がボリュームデータに対応する立体像を囲う３次元領域の前面を除く周囲の所定の位置に配置されるよう、視点レンダリング画像と補助画像とを重畳した視点画像を含む複数の視点画像を生成する多視点画像生成部３４と、多視点画像のそれぞれを視差成分画像として異なる方向に射出する裸眼３Ｄディスプレイ装置２２に、複数の視点画像を出力する多視点画像出力部３５と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、３次元画像処理装置および３次元画像処理プログラムに関する。
【背景技術】
【０００２】
Ｘ線ＣＴ（Computed Tomography）装置やＭＲＩ（Magnetic Resonance Imaging）装置、超音波診断装置、Ｘ線診断装置などの医用画像診断装置（モダリティ）には、被検体（患者）の撮像により得られた投影データにもとづいてボリュームデータ（３次元画像データ）を生成可能なものがある。
【０００３】
ボリュームデータは、ボリュームレンダリングすることにより２次元画像（以下、ＶＲ画像という）を生成するために用いることができる。このＶＲ画像は、表示装置に表示されてユーザに提示される。
【０００４】
一般に、ＶＲ画像は、各種操作機能が割り当てられたソフトキーやＶＲ画像の付帯情報を示す画像などの補助画像とともに、表示装置の画面に同時に表示される場合が多い。この場合ユーザは、たとえばレンダリング方法を変更する機能が割り当てられたソフトキーを押下する事により、ＶＲ画像のレンダリング方法を容易に変更することができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１１−３６４９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、ＶＲ画像と補助画像とを一般的な２次元画面上に同時に表示させると、ＶＲ画像に割り当てられる表示領域が補助画像の分だけ狭くなってしまう。このため、ユーザにとって重要度が高いＶＲ画像が小さく表示されてしまう一方で、利用頻度が低いソフトキーが画面内に表示され続けてしまい、大変不便である。
【課題を解決するための手段】
【０００７】
本発明の一実施形態に係る３次元画像処理装置は、上述した課題を解決するために、ボリュームデータにもとづいて複数の視点でボリュームレンダリングを行うことにより、複数の視点レンダリング画像を生成する多視点レンダリング画像生成部と、ソフトキーの画像、付帯情報を示す画像その他の補助画像を生成する補助画像生成部と、補助画像がボリュームデータに対応する立体像を囲う３次元領域の前面を除く周囲の所定の位置に配置されるよう、視点レンダリング画像と補助画像とを重畳した視点画像を含む複数の視点画像を生成する多視点画像生成部と、多視点画像のそれぞれを視差成分画像として異なる方向に射出する裸眼３Ｄディスプレイ装置に、複数の視点画像を出力する多視点画像出力部と、を備えたものである。
【図面の簡単な説明】
【０００８】
【図１】本発明の第１実施形態に係る医用画像処理装置の一構成例を示すブロック図。
【図２】制御部のＣＰＵによる機能実現部の構成例を示す概略的なブロック図。
【図３】裸眼３Ｄディスプレイの一構成例を示す斜視図。
【図４】裸眼３Ｄディスプレイにより異なる視差番号を有する視差成分画像が互いに異なる方向に射出される様子の一例を示す説明図。
【図５】裸眼３Ｄディスプレイと視域の位置関係の一例を示す説明図。
【図６】裸眼３Ｄディスプレイの内部構成の一例を示すブロック図。
【図７】補助画像を構成する補助画像要素の例を示す説明図。
【図８】ボリュームデータに対応する立体像を囲う直方体領域の側面に補助画像が表示される際の様子の一例を示す説明図。
【図９】図１に示す医用画像処理装置の制御部により、ボリュームデータに対応する立体像を囲う直方体領域の側面に表示された補助画像に対する操作が受け付けられる際の手順を示すフローチャート。
【図１０】ポインタ管理部により管理される３次元座標のうち、直方体領域の正面および側面の座標の一例を示す説明図。
【図１１】図１０のステップＳ３で制御部によりサムネイル画像群に対する入力に応じた機能が実行される際の手順を示すサブルーチンフローチャート。
【図１２】左斜認知画像の側面領域に表示されたサムネイル画像群のサムネイル画像の１つにポインタが重ねられた（ホバーされた）様子を示す説明図。
【図１３】（ａ）は図１２に示す例においてポインタを介して選択されたサムネイル画像に対応する立体像が左斜認知画像に表示される様子の一例を示す説明図、（ｂ）はサムネイル画像に対応する立体像が正面近傍認知画像に表示される様子の一例を示す説明図。
【図１４】図１０のステップＳ３で制御部により、操作パネルを介して受け付けたレンダリングモードの変更指示に応じた機能が実行される際の手順を示すサブルーチンフローチャート。
【図１５】左斜認知画像および右斜認知画像の変形例を示す説明図。
【図１６】ボリュームデータに対応する立体像の背後に補助画像が表示される際の様子の一例を示す説明図。
【図１７】所定の画面レイアウトに応じて１つの画面の分割領域内に補助画像および立体像が表示される様子の一例を示す説明図。
【発明を実施するための形態】
【０００９】
本発明に係る３次元画像処理装置および３次元画像処理プログラムの実施の形態について、添付図面を参照して説明する。
【００１０】
ＶＲ画像と補助画像とを一般的な２次元画面上に同時に表示させると、ＶＲ画像に割り当てられる表示領域が補助画像の分だけ狭くなってしまう。本発明の一実施形態に係る３次元画像処理装置は、裸眼３Ｄディスプレイを用いることにより、ボリュームデータに対応する立体像を囲う３次元領域の側面や背後を利用可能とし、この側面や背後に補助画像を表示させることで、ボリュームデータに対応する立体像を邪魔しないように補助画像を表示させることができるとともに、補助画像を介した立体像に対する操作を容易に受け付けることができる技術を提供するものである。
【００１１】
（第１の実施形態）
図１は、本発明の第１実施形態に係る医用画像処理装置１０の一構成例を示すブロック図である。なお、本実施形態では、ソフトキーの画像、付帯情報を示す画像その他の補助画像が、ボリュームデータに対応する立体像を囲う直方体領域の上下左右の側面の一部または全部に貼り付けて配置される場合の例について説明する。
【００１２】
３次元画像処理装置としての医用画像処理装置１０は、図１に示すように、入力部１１、記憶部１２、ネットワーク接続部１３および制御部１４を有する。
【００１３】
入力部１１は、少なくともポインティングデバイスを含み、たとえばマウス、トラックボール、キーボード、タッチパネル、テンキーなどの一般的な入力装置により構成され、ユーザＵの操作に対応した操作入力信号を制御部１４に出力する。
【００１４】
記憶部１２は、モダリティ２０から出力される医療用のボリュームデータ（３次元画像データ）を記憶する。モダリティ２０は、たとえばＸ線ＣＴ（Computed Tomography）装置やＭＲＩ（Magnetic Resonance Imaging）装置、超音波診断装置、Ｘ線診断装置などの医用画像診断装置であって、被検体（患者）の撮像により得られた投影データにもとづいてボリュームデータ（３次元画像データ）を生成可能な装置により構成することができる。
【００１５】
ネットワーク接続部１３は、ネットワーク２１の形態に応じた種々の情報通信用プロトコルを実装する。ネットワーク接続部１３は、この各種プロトコルに従って医用画像処理装置１０とモダリティ２０などの他の装置とを接続する。ここでネットワーク２１とは、電気通信技術を利用した情報通信網全般を意味し、病院基幹ＬＡＮ（Local Area Network）などの無線／有線ＬＡＮやインターネット網のほか、電話通信回線網、光ファイバ通信ネットワーク、ケーブル通信ネットワークおよび衛星通信ネットワークなどを含む。
【００１６】
医用画像処理装置１０は、ネットワーク２１を介して接続されたモダリティ２０からボリュームデータを受けてもよい。ネットワーク２１を介して受信したボリュームデータもまた、記憶部１２に記憶される。
【００１７】
制御部１４は、ＣＰＵ、ＲＡＭおよびＲＯＭをはじめとする記憶媒体などにより構成され、この記憶媒体に記憶されたプログラムに従って医用画像処理装置１０の処理動作を制御する。具体的には、制御部１４のＣＰＵは、ＲＯＭをはじめとする記憶媒体に記憶された３次元画像処理プログラムおよびこのプログラムの実行のために必要なデータをＲＡＭへロードし、このプログラムに従って、ボリュームデータに対応する立体像を邪魔しないように補助画像を表示させつつ、補助画像を介した立体像に対する操作を可能にする処理を実行する。
【００１８】
制御部１４のＲＡＭは、ＣＰＵが実行するプログラムおよびデータを一時的に格納するワークエリアを提供する。また、制御部１４のＲＯＭをはじめとする記憶媒体は、医用画像処理装置１０の起動プログラム、３次元画像処理プログラムや、これらのプログラムを実行するために必要な各種データを記憶する。
【００１９】
なお、ＲＯＭをはじめとする記憶媒体は、磁気的もしくは光学的記録媒体または半導体メモリなどの、ＣＰＵにより読み取り可能な記録媒体を含んだ構成を有し、これら記憶媒体内のプログラムおよびデータの一部または全部はネットワーク２１を介してダウンロードされるように構成してもよい。
【００２０】
制御部１４は、複数の視点からみたＶＲ画像や補助画像（複数の視点画像、多視点画像）を生成し、裸眼３Ｄディスプレイ２２に出力する。また、制御部１４は、裸眼３Ｄディスプレイ２２を見るユーザＵの位置を示す情報（以下、ユーザ位置情報という）を位置センサ２３から取得するよう構成されてもよい。なお、制御部１４がユーザ位置情報を利用しない場合は、位置センサ２３は不要である。
【００２１】
図２は、制御部１４のＣＰＵによる機能実現部の構成例を示す概略的なブロック図である。なお、この機能実現部は、ＣＰＵを用いることなく回路などのハードウエアロジックによって構成してもよい。
【００２２】
図２に示すように、制御部１４のＣＰＵは、３次元画像処理プログラムによって、ポインタ管理部３１ａを含む入力受付部３１、多視点レンダリング画像生成部３２、補助画像生成部３３、多視点画像生成部３４、多視点画像出力部３５、ユーザ位置情報取得部３６として機能する。この各部３１〜３６は、ＲＡＭの所要のワークエリアを、データの一時的な格納場所として利用する。
【００２３】
入力受付部３１は、入力部１１の出力にもとづいてユーザＵによる入力部１１を介した指示を受け付ける。ポインタ管理部３１ａは、入力部１１の出力にもとづいて裸眼３Ｄディスプレイ２２に表示されたポインタの３次元座標を取得し、ポインタを介した補助画像に対する入力を受け付ける。なお、ポインタの３次元座標は、ユーザＵの視点によらず一意である。
【００２４】
多視点レンダリング画像生成部３２は、記憶部１２に記憶されたボリュームデータにもとづいて複数の視点でボリュームレンダリングを行うことにより、各視点のＶＲ画像（視点レンダリング画像。以下、視点ＶＲ画像という）を生成する。以下の説明では、裸眼３Ｄディスプレイ２２の正面近傍の視点をレンダリング視点とするＶＲ画像を正面近傍視点ＶＲ画像といい、左斜め（右斜め）の視点をレンダリング視点とするＶＲ画像を左斜視点ＶＲ画像（右斜視点ＶＲ画像）という。
【００２５】
補助画像生成部３３は、ソフトキーの画像、付帯情報を示す画像その他の補助画像を生成する。
【００２６】
多視点画像生成部３４は、補助画像がボリュームデータに対応する立体像を囲う３次元領域の前面を除く周囲の所定の位置に配置されるよう、多視点レンダリング画像生成部３２により生成された視点ＶＲ画像と補助画像生成部３３により生成された補助画像とを重畳した視点画像と、補助画像が重畳されず視点ＶＲ画像のみからなる視点画像とを含む複数の視点画像（多視点画像）を生成する。補助画像がボリュームデータに対応する立体像を囲う３次元領域の前面を除く周囲の所定の位置に配置されることにより、ボリュームデータに対応する立体像を邪魔しないように補助画像を表示させることができる。
【００２７】
本実施形態では、多視点画像生成部３４は、補助画像がボリュームデータに対応する立体像を囲う直方体領域の上下左右の側面の一部または全部に貼り付けて配置されるよう、多視点レンダリング画像生成部３２により生成された視点ＶＲ画像と補助画像生成部３３により生成された補助画像とを重畳した視点画像を含む複数の視点画像（多視点画像）を生成する。
【００２８】
補助画像が側面に貼り付けて配置される場合、正面近傍視点では補助画像を全く視認することができないか、または補助画像の厚さ方向の幅しか視認することができない。このため、正面近傍視点ＶＲ画像（正面近傍のレンダリング視点でボリュームレンダリングした視点ＶＲ画像）に対して補助画像を重畳しても、ユーザＵは補助画像を視認することが難しい。そこで以下の説明では、多視点画像が、補助画像が重畳されず正面近傍視点ＶＲ画像のみからなる１または複数の正面近傍視点画像と、斜視点ＶＲ画像（左斜視点ＶＲ画像または右斜視点ＶＲ画像）と補助画像とが重畳された斜視点画像とからなる場合の例について示す。
【００２９】
斜視点ＶＲ画像と補助画像とを重畳して斜視点画像を生成する際、多視点画像生成部３４は、補助画像の透明度を設定して半透明表示とすることにより、補助画像の裏側に隠れる斜視点ＶＲ画像を補助画像越しに視認可能とするとよい。この透明度は、あらかじめ設定されて記憶部１２に記憶された設定値を用いてもよいし、ユーザＵにより入力部１１を介して設定されてもよい。
【００３０】
なお、正面近傍視点ＶＲ画像とは、裸眼３Ｄディスプレイ２２の正面近傍に設けたカメラでボリュームデータに対応する立体像を撮像した場合の画像に相当し、斜視点ＶＲ画像とは、正面近傍から左右にずれた位置に設けたカメラで立体像を撮像した場合の画像に相当する。また、正面近傍視点画像および斜視点画像は、ユーザに立体視させるためには少なくとも両眼用の２つの画像が生成される必要があるが、立体視させずともよい場合は１つであってもよい。たとえば、正面近傍視点ＶＲ画像のみが表示される正面近傍視点画像は立体視させたい一方、補助画像が重畳される斜視点画像は立体視させずともよい場合は、制御部１４は、正面近傍視点画像を複数生成する一方、斜視点画像は１つだけ生成するようにしてもよい。
【００３１】
多視点画像出力部３５は、多視点画像を構成する複数の視点画像のそれぞれを視差成分画像として異なる方向に射出する裸眼３Ｄディスプレイ２２に対し、多視点画像生成部３４により生成された多視点画像を出力する。
【００３２】
ユーザ位置情報取得部３６は、位置センサ２３の出力にもとづいてユーザ位置情報を取得し、入力受付部３１に与える。
【００３３】
ここで、図３〜図６を用いて裸眼３Ｄディスプレイ２２の構成および作用について説明する。
【００３４】
図３は、裸眼３Ｄディスプレイ２２の一構成例を示す斜視図である。
【００３５】
図３に示すように、裸眼３Ｄディスプレイ２２は、画像表示部４１と、画像表示部４１の前方に所定のギャップをあけて配置された光線制御素子４２と、を有する。
【００３６】
画像表示部４１は、たとえば液晶ディスプレイやＯＬＥＤ（Organic Light Emitting Diode）ディスプレイなどの表示出力装置により構成される。たとえば９種の視差成分画像をあつかう場合、画像表示部４１の各画素は９つの絵素で構成され、画素ごとに要素画像が表示される。また、画素が出力する光線のうち、同一の視差番号をもつ視差成分画像に対応する光線は、複数の画素から互いに平行に射出される。
【００３７】
光線制御素子４２は、複数の射出瞳４３により構成される。光線制御素子４２としては、２次元ＩＩ（インテグラル・イメージング）方式では、マトリックス状に射出瞳４３としてのセグメントレンズが配列されたレンズ・アレイや、射出瞳４３としてのピン・ホールがアレイ状に配列されたピンホール・アレイを用いることができる。また、光線制御素子４２は、１次元ＩＩ方式では、垂直方向に延出され、水平方向に配列されたシリンドリカル・レンズからなるレンチュキュラー・シートや、垂直方向に延出され、水平方向に配列されたスリットを有するスリット・プレートにより構成される。光線制御素子４２としてレンズ・アレイ、レンチュキュラー・シートおよびスリット・プレートのいずれを用いても、光学的には、各レンズまたはスリットは、光学的開口部の射出瞳４３として機能する。
【００３８】
図４は、裸眼３Ｄディスプレイ２２により視差成分画像が互いに異なる方向に射出される様子の一例を示す説明図である。図４には、９つの撮影番号に相当する９視差方向を示す視差番号（−４、−３、・・・、０、・・・３、４）で視差成分画像が特定される場合の例を示した。なお、下記の説明では、説明を簡単にするために、１次元ＩＩ方式について説明する。１次元ＩＩ方式では、視差成分画像が水平方向に沿って画素に振り分けられるが、２次元ＩＩ方式では、水平方向における視差成分画像の割り当て方法と同様の方法で、垂直方向についても視差成分画像を割り当てればよい。
【００３９】
画像表示部４１の表示面には、画素４４がほぼ一定の水平ピッチおよび垂直ピッチでマトリクス状に配列されている。各画素４４は、水平方向に並んだ所定数の絵素により構成される。図４には、画素４４が９つの絵素で構成される場合の例について示した。各絵素は、垂直方向に並んだＲ、Ｇ、Ｂの各サブピクセルにより構成される。ＲＧＢサブピクセル上に、それぞれ対応する縦ストライプ・カラー・フィルターが配列されることにより、高精細液晶パネル・モジュールが構成される。このパネル・モジュールには、視差成分画像から成る要素画像が表示されて立体像が表示される。各視差成分画像は、多視点画像出力部３５が出力する多視点画像の各視点画像により構成される。
【００４０】
９種の視差成分画像は、画素４４を構成する９つの絵素のそれぞれに表示される。射出瞳４３は画素４４のそれぞれに対応して配置される。各絵素から射出された光線は、射出瞳４３を通過し、射出瞳４３から視距離Ｌに位置する視域面４５に視差成分画像４６を投影する。このとき、画素４４が出力する光線のうち、同一の視差番号をもつ視差成分画像に対応する光線は、複数の画素４４から互いに平行に射出される。
【００４１】
９種の視差成分画像の集合としての要素画像は、各射出瞳４３に対応した画素４４に表示され、要素画像からの光線は、射出瞳４３で制御または規制されてユーザＵに向けられる。そして、ユーザＵが位置する方向に向けられた光線で視差成分画像が送られると、ユーザＵは、この視差成分画像の集合として立体画像を認識することができる。すなわち、この裸眼３Ｄディスプレイ２２によれば、ユーザＵの位置を視域面内の位置近傍に想定すると、ユーザＵは、要素画像からの光線にもとづいて画像表示部４１の前面（手前に飛び出す方向）および背面（奥行き方向）の近傍に立体映像を観察することができる。
【００４２】
図５は、裸眼３Ｄディスプレイ２２と視域４７の位置関係の一例を示す説明図である。ここで、視域とは、ユーザＵが射出瞳４３を介して視差成分画像を観察可能な範囲をいうものとする。
【００４３】
ユーザＵが左右に移動すると、射出瞳４３を介して観察される絵素（ＲＧＢサブピクセル）が変化する。１次元ＩＩ方式では、同一の視差番号をもつ視差成分画像に対応する光線同士が射出瞳４３から互いに平行に射出される。このため、ユーザＵが透視投影的に観察すると、射出瞳４３越しに見える各サブピクセルの位置は、射出瞳４３の幅ずつ（たとえばレンチキューラーシートのレンズピッチずつ）異なる。なお、視域４７の幅を最大にするために、射出瞳４３と画素４４との位置関係を射出瞳４３ごとに異ならせてもよい。
【００４４】
ＩＩ方式では、水平面内において、各射出瞳４３に対応する要素画像が定められており、射出瞳４３から互いに平行な関係にある光線が視域４７に向けて射出されて、立体像が視域に形成される。
【００４５】
なお、視差成分画像数が十分に多い場合には、異なる視差番号を有する視差成分画像が本来表示されるべき２以上の領域、例えば、異なる視差番号を有する視差成分画像が本来表示されるべき３つの領域に、同一の視差成分画像が表示されても良い。
【００４６】
図６は、裸眼３Ｄディスプレイ２２の内部構成の一例を示すブロック図である。
【００４７】
裸眼３Ｄディスプレイ２２は、多視点画像取得部４８および要素画像生成部４９をさらに有する。
【００４８】
多視点画像取得部４８は、多視点画像出力部３５から多視点画像を取得する。要素画像生成部４９は、この多視点画像を要素画像に変換する。すなわち、要素画像生成部４９は、多視点画像の各視点画像と視差番号とを関連付けることにより各視点画像を視差成分画像としてあつかい、視差成分画像を集めて要素画像を生成する。
【００４９】
要素画像生成部４９により生成された要素画像は、画像表示部４１の各画素４４に表示され、要素画像が射出瞳４３を介して視域４７に投影されることによって立体画像が視域４７の内部でユーザＵにより観察される。
【００５０】
なお、多視点画像取得部４８および要素画像生成部４９は、ＣＰＵにより所定のプログラムが実行されて実現される機能実現部であってもよいし、ＣＰＵを用いることなく回路などのハードウエアロジックによって構成してもよい。また、ソフトウエアとハードウエアを適宜組み合わせて各機能を実現してもよい。
【００５１】
また、図１では裸眼３Ｄディスプレイ２２が医用画像処理装置１０の構成外に設けられ場合の例について示したが、裸眼３Ｄディスプレイ２２を医用画像処理装置１０の一構成要素としても構わない。また、医用画像処理装置１０は、モダリティ２０に組み込まれてもよい。
【００５２】
続いて、補助画像について簡単に説明する。
【００５３】
図７は、補助画像５０を構成する補助画像要素の例を示す説明図である。
【００５４】
補助画像５０は、各種機能が割り当てられた複数のソフトキーにより構成されたツールバー５１、複数のサムネイル画像５２ａにより構成されたサムネイル画像群５２、付帯情報表示画像５３、簡易操作パネル５４、操作パネル５５、患者、シリーズおよび画像のリスト５６や、正面近傍視点ＶＲ画像とは異なる画像５７などの補助画像要素により構成される。正面近傍視点ＶＲ画像とは異なる画像５７としては、たとえば正面近傍視点ＶＲ画像とは異なるレンダリングモードでボリュームレンダリングされたＶＲ画像や、正面近傍視点ＶＲ画像とはボリュームデータが異なる画像などを挙げることができる。
【００５５】
補助画像生成部３３は、これらの補助画像要素の１つまたは複数により構成される補助画像５０を生成する。そして、多視点画像生成部３４は、補助画像５０の補助画像要素がボリュームデータに対応する立体像を囲う直方体領域の上下左右の側面の少なくとも１つの側面に貼り付けて配置されるよう、多視点レンダリング画像生成部３２により生成された視点ＶＲ画像と補助画像生成部３３により生成された補助画像５０とを重畳した複数の視点画像を含む多視点画像を生成する。なお、各補助画像要素のもととなる画像ファイルは、あらかじめ記憶部１２に記憶させておいてもよいし、ネットワーク２１を介して適宜取得してもよい。
【００５６】
図８は、ボリュームデータに対応する立体像６０を囲う直方体領域６１の側面に補助画像５０が表示される際の様子の一例を示す説明図である。
【００５７】
多視点画像出力部３５によって出力された多視点画像にもとづいて裸眼３Ｄディスプレイ２２が要素画像を表示すると、多視点画像を構成する複数の視点画像のそれぞれが、視差成分画像として異なる方向に射出される。このため、ユーザＵが観察する視差成分画像は、ユーザＵの左右位置に応じて異なる（図４参照）。
【００５８】
たとえば、裸眼３Ｄディスプレイ２２を正面近傍から見る場合の視点を正面近傍視点Ａ１、Ａ２、・・・、Ａｎとし、正面近傍から左にずれた位置から見る場合の視点を左斜視点Ｂ１、Ｂ２、・・・、Ｂｎとし、正面近傍から右にずれた位置から見る場合の視点を右斜視点Ｃ１、Ｃ２、・・・、Ｃｎ（ただしｎは正整数）とする場合を考える。
【００５９】
この場合、たとえばユーザＵが正面近傍に位置して左目が正面近傍視点Ａ１に、右目が正面近傍視点Ａ２に、それぞれ位置しており、正面近傍視点Ａ１およびＡ２に対して互いに異なる正面近傍視点画像にもとづく視差成分画像の光線が射出されていれば、ユーザＵは、正面近傍視点画像を立体的な像（以下、正面近傍認知画像という）として認識することができる。
【００６０】
また、ユーザＵが左斜視点Ｂ１、Ｂ２から見る場合は、ユーザＵは、斜視点画像のうち左斜視点Ｂ１およびＢ２またはその近傍の視点でレンダリングされた視点ＶＲ画像（左斜視点ＶＲ画像）を立体的な像（以下、左斜認知画像という）として認識することができる。同様に、ユーザＵが右斜視点Ｃ１、Ｃ２から見る場合は、ユーザＵは、斜視点画像のうち左斜視点Ｃ１およびＣ２またはその近傍の視点でレンダリングされたＶＲ画像（右斜視点ＶＲ画像）を立体的な像（以下、右斜認知画像という）として認識することができる。なお、２次元ＩＩ方式であれば、同様に上斜認知画像および下斜認知画像をユーザに知覚可能とすることができる。
【００６１】
左斜認知画像および右斜認知画像は、ボリュームデータに対応する立体像６０が主に存在する正面領域６２と、補助画像５０が主に存在する側面領域６３とを有する。図８には、左斜認知画像の側面領域６３にサムネイル画像群５２のみにより構成された補助画像５０が表示され、右斜認知画像の側面領域６３に操作パネル５５のみにより構成された補助画像５０が表示される場合の例について示した。なお、図８には正面領域６２と側面領域６３との境界線６４を一点差線で図示したが、この境界線６４は各斜認知画像に表示されなくてもよい。
【００６２】
図８に示すように、正面近傍認知画像には側面領域６３が含まれない。このため、補助画像５０は表示されない。このため、正面近傍認知画像の全ての表示領域は立体像６０を表示するために用いることができ、補助画像５０が立体像６０の表示画像を侵食することがない。したがって、ユーザＵは、立体像６０をしっかりと観察したい場合は、裸眼３Ｄディスプレイ２２の正面近傍に位置とよい。正面近傍に位置することで、補助画像５０を含まない立体像６０を認識することができる。
【００６３】
また、ユーザＵは、位置を左（または右）にずらすことにより、補助画像５０が表示される側面領域６３を含む左斜認知画像（または右斜認知画像）を認識することができる。このため、ユーザＵは、補助画像５０に割り当てられた各種機能を利用したい場合は、自らの位置を左または右にずらすとよい。正面近傍から左右にずれた場所に自らを位置することで、補助画像５０を視認することができ、補助画像５０に対する各種操作を行うことができる。
【００６４】
次に、本実施形態に係る医用画像処理装置１０の動作の一例について説明する。
【００６５】
図９は、図１に示す医用画像処理装置１０の制御部１４により、ボリュームデータに対応する立体像６０を囲う直方体領域６１の側面に表示された補助画像５０に対する操作が受け付けられる際の手順を示すフローチャートである。図９において、Ｓに数字を付した符号は、フローチャートの各ステップを示す。
【００６６】
図９に示す手順は、多視点画像出力部３５が出力した多視点画像にもとづいて裸眼３Ｄディスプレイ２２が要素画像を表示した時点でスタートとなる。
【００６７】
また、図１０は、ポインタ管理部３１ａにより管理される３次元座標のうち、直方体領域６１の正面および側面の座標の一例を示す説明図である。なお、図１０には、直方体領域６１の正面左下を座標原点とし、原点から水平方向右側をＸ軸正方向、垂直方向上側をＹ軸正方向、手前側をＺ軸正方向としてＸＹＺ軸を定義する場合の一例について示した。また、図１０には直方体領域６１の展開図６５とともに各面の頂点座標の一例を示した。
【００６８】
まず、ステップＳ１において、ポインタ管理部３１ａは、入力部１１の出力にもとづいて裸眼３Ｄディスプレイ２２に表示されたポインタ７０の３次元座標を取得し、補助画像５０の補助画像に対する入力を受け付ける。
【００６９】
次に、ポインタ管理部３１ａは、ポインタ７０の３次元座標にもとづいて、ポインタ７０が側面にあるか否かを判定する（ステップＳ２）。たとえば、ユーザＵが右に移動して視点Ｃ１およびＣ２に位置する場合には、ユーザＵは正面領域６２および側面領域６３の両方を視認することができる（図８参照）。このとき、ユーザＵは、たとえば正面領域６２にあるポインタ７０を操作し、境界線６４を横断して側面領域６３の補助画像５０に対する入力を所望する場合がある（図１０参照）。
【００７０】
ポインタ７０が側面にない場合（ステップＳ２のＮＯ）、一連の手順は終了となる。一方、側面にある場合（ステップＳ２のＹＥＳ）、ポインタ管理部３１ａは、補助画像５０に対する入力を受け付ける。そして、制御部１４は、受け付けられた入力に対応する機能を実行する（ステップＳ３）。
【００７１】
以上の手順により、ボリュームデータに対応する立体像６０を囲う直方体領域６１の側面に表示された補助画像５０に対する操作を受け付けることができる。
【００７２】
次に、図８に示すように左斜認知画像の側面領域６３にサムネイル画像群５２により構成された補助画像５０が表示され、ユーザＵによりサムネイル画像群５２に対する入力が行われる場合の例についてより詳細に説明する。
【００７３】
図１１は、図９のステップＳ３で制御部１４によりサムネイル画像群５２に対する入力に応じた機能が実行される際の手順を示すサブルーチンフローチャートである。図１１において、Ｓに数字を付した符号は、フローチャートの各ステップを示す。
【００７４】
また、図１２は、左斜認知画像の側面領域６３に表示されたサムネイル画像群５２のサムネイル画像５２ａの１つにポインタ７０が重ねられた（ホバーされた）様子を示す説明図である。また、図１３（ａ）は、図１２に示す例においてポインタ７０を介して選択されたサムネイル画像５２ａに対応する立体像６０ａが左斜認知画像に表示される様子の一例を示す説明図であり、（ｂ）は、サムネイル画像５２ａに対応する立体像６０ａが正面近傍認知画像に表示される様子の一例を示す説明図である。
【００７５】
図１２および図１３には、あらかじめ正面近傍認知画像に表示された立体像６０を四角すい体で示し、選択（ポインタ７０がホバー）されたサムネイル画像５２ａを直方体で示した。
【００７６】
ポインタ７０が側面にあると判定すると（図９のステップＳ２のＹＥＳ）、入力受付部３１は、入力部１１を介したポインタ７０などの操作によりサムネイル画像群５２の複数のサムネイル画像５２ａの１つが選択されたか否かを判定する（ステップＳ３１）。
【００７７】
この「選択」のための操作としては、サムネイル画像５２ａの画像上にポインタ７０を載せるいわゆるホバー操作や、サムネイル画像５２ａの１つをポインタ７０によりクリックする操作や、入力部１１を構成するキーボードの所定のキーを押下する操作などの様々な操作のうち、１つまたは複数をあらかじめ割り当てておくことができる。たとえば、ホバー操作を選択のための操作として割り当てておく場合、ポインタ管理部３１ａは、ステップＳ３１において、サムネイル画像５２ａの１つにポインタ７０がホバーされたか否かを判定する。
【００７８】
サムネイル画像５２ａの１つに対する選択が行われていない場合（ステップＳ３１のＮＯ）は、引き続き補助画像５０に対する入力を受け付けるべく図９のステップＳ２に戻る。一方、サムネイル画像５２ａの１つが選択された場合（ステップＳ３１のＹＥＳ）は、多視点レンダリング画像生成部３２は、選択されたサムネイル画像５２ａに対応する立体像６０ａが正面近傍の視点Ａ１〜Ａｎで立体視可能なように、選択されたサムネイル画像５２ａに対応する複数の正面近傍視点ＶＲ画像を生成する（ステップＳ３２）。このとき、多視点レンダリング画像生成部３２は、選択されたサムネイル画像５２ａに対応する斜視点ＶＲ画像をさらに生成してもよい。
【００７９】
次に、多視点画像生成部３４は、選択されたサムネイル画像５２ａに対応する立体像６０ａが正面近傍の視点Ａ１〜Ａｎで立体視可能なように（図１３（ｂ）参照）、選択されたサムネイル画像５２ａに対応する正面近傍視点ＶＲ画像のみからなる正面近傍視点画像を複数生成する（ステップＳ３３）。このとき、多視点画像生成部３４は、多視点レンダリング画像生成部３２により選択されたサムネイル画像５２ａに対応する斜視点ＶＲ画像が生成されていれば、この斜視点ＶＲ画像に対して補助画像を重畳して斜視点画像をさらに生成してもよい（図１３（ａ）参照）。斜視点ＶＲ画像が生成されていない場合は、多視点画像生成部３４は、補助画像のみからなる斜視点画像を生成してもよい。
【００８０】
そして、多視点画像出力部３５は、裸眼３Ｄディスプレイ２２に、正面近傍視点画像および斜視点画像からなる多視点画像を出力する（ステップＳ３４）。
【００８１】
以上の手順により、サムネイル画像群５２の１つが選択されると、選択されたサムネイル画像５２ａの正面近傍視点画像を生成して裸眼３Ｄディスプレイに出力することができる。
【００８２】
次に、図８に示すように右斜認知画像の側面領域６３に操作パネル５５により構成された補助画像５０が表示され、ユーザＵにより操作パネル５５に対する入力が行われる場合の例についてより詳細に説明する。
【００８３】
図１４は、図９のステップＳ３で制御部１４により、操作パネル５５を介して受け付けたレンダリングモードの変更指示に応じた機能が実行される際の手順を示すサブルーチンフローチャートである。図１４において、Ｓに数字を付した符号は、フローチャートの各ステップを示す。
【００８４】
ポインタ７０が側面にあると判定すると（図９のステップＳ２のＹＥＳ）、入力受付部３１は、入力部１１を介したポインタ７０などの操作により、操作パネル５５を介してレンダリングリングモードの変更指示が受け付けられたか否かを判定する（ステップＳ３２１）。
【００８５】
この「変更指示」のための操作としては、レンダリングモードの変更指示機能が割り当てられた操作パネル５５のソフトキーの画像上にポインタ７０を載せるいわゆるホバー操作や、クリック操作や、入力部１１を構成するキーボードの所定のキーを押下する操作など、様々な操作をあらかじめ割り当てておくとよい。たとえば、クリック操作を変更指示のための操作として割り当てておく場合、入力受付部３１のポインタ管理部３１ａは、ステップＳ３２１において、レンダリングモードの変更指示機能が割り当てられた操作パネル５５のソフトキーがクリックされたか否かを判定する。
【００８６】
レンダリングモードの変更指示がない場合（ステップＳ３２１のＮＯ）は、引き続き補助画像５０に対する入力を受け付けるべく図９のステップＳ２に戻る。一方、レンダリングモードの変更指示を受け付けると（ステップＳ３２１のＹＥＳ）、多視点レンダリング画像生成部３２は、ボリュームデータにもとづいて少なくとも正面近傍の視点Ａ１〜Ａｎで変更後のレンダリングモードによりボリュームレンダリングを行い、新たに正面近傍視点ＶＲ画像を生成する（ステップＳ３２２）。このとき、多視点レンダリング画像生成部３２は、変更後のレンダリングモードによりボリュームデータにもとづいて斜視点ＶＲ画像をさらに生成してもよい。
【００８７】
次に、多視点画像生成部３４は、変更後のレンダリングモードによるボリュームデータに対応する立体像が正面近傍の視点Ａ１〜Ａｎで立体視可能なように、新たに生成された正面近傍視点ＶＲ画像のみからなる正面近傍視点画像を複数生成する（ステップＳ３２３）。このとき、多視点画像生成部３４は、多視点レンダリング画像生成部３２により変更後のレンダリングモードでボリュームデータにもとづく斜視点ＶＲ画像が生成されていれば、この斜視点ＶＲ画像に対して補助画像を重畳して斜視点画像をさらに生成してもよい。斜視点ＶＲ画像が生成されていない場合は、多視点画像生成部３４は、補助画像のみからなる斜視点画像を生成してもよい。
【００８８】
そして、多視点画像出力部３５は、裸眼３Ｄディスプレイ２２に、正面近傍視点画像および斜視点画像からなる多視点画像を出力する（ステップＳ３４）。
【００８９】
以上の手順により、操作パネル５５を介してレンダリングモードの変更指示が受け付けられると、変更後のレンダリングモードでボリュームデータをボリュームレンダリングした正面近傍視点画像を生成して裸眼３Ｄディスプレイに出力することができる。
【００９０】
本実施形態に係る医用画像処理装置１０は、裸眼３Ｄディスプレイ２２を用いることにより、ボリュームデータに対応する立体像６０の表示領域に対して、補助画像５０の表示位置を、３次元空間内で自由に配置することができる。また、本実施形態に示すように補助画像５０を、ボリュームデータに対応する立体像６０を囲う直方体領域６１の側面に配置する場合、図８に示すように、正面近傍認知画像には側面領域６３が含まれない。このため、正面近傍認知画像の全ての表示領域は立体像６０を表示するために用いることができ、補助画像５０が立体像６０の表示画像を侵食することがない。したがって、ユーザＵは、立体像６０をしっかりと観察したい場合は、裸眼３Ｄディスプレイ２２の正面近傍に位置することにより、補助画像５０を含まない立体像６０を認識することができる。
【００９１】
また、ユーザＵは、位置を左（または右）にずらすことにより、補助画像５０が表示される側面領域６３を含む左斜認知画像（または右斜認知画像）を認識することができる。このため、本実施形態に係る医用画像診断装置１０によれば、ユーザＵは、自らの位置を左（または右）にずらすだけで、補助画像５０を視認することができ、補助画像５０に対する各種操作を行うことができる。
【００９２】
したがって、本実施形態に係る医用画像処理装置１０によれば、ボリュームデータに対応する立体像６０を邪魔しないように補助画像５０を表示させることができるとともに、補助画像５０を介した立体像６０に対する操作を容易に受け付けることができる。
【００９３】
また、たとえば左斜認知画像と右斜認知画像の側面領域６３に同一の補助画像５０を配置した場合、補助画像５０に対する入力を行うためのポインタ７０の左右方向の移動距離は、画面横幅のほぼ半分以下にできる。また、上下斜認知画像の側面領域６３に同一の補助画像５０を配置した場合、ポインタ７０の移動距離を画面縦幅のほぼ半分以下にできる。この場合、ユーザＵは補助画像５０に対する入力のためのポインタ７０の操作量を減らすことができ、便利である。
【００９４】
また、裸眼３Ｄディスプレイ２２に代えて眼鏡式の３Ｄディスプレイを用いてもよい。裸眼３Ｄディスプレイ２２を用いる場合には、専用の眼鏡を用いる方式の３Ｄディスプレイで必要とされる眼鏡が不要となるため、術者はめがねの着脱にかかる手間を省くことができる。
【００９５】
また、上記説明では多視点画像生成部３４が視点ＶＲ画像と補助画像とを重畳する場合の例について示したが、あらかじめ記憶部１２に記憶されたボリュームデータに対して補助画像が配置された補助画像付きボリュームデータを作成しておいても良い。この場合、多視点レンダリング画像生成部３２により生成された多視点ＶＲ画像は、そのまま多視点画像として用いることができ、多視点画像生成部３４は不要となる。
【００９６】
また、あらかじめ補助画像付きボリュームデータを作成しておく場合、斜視点画像における補助画像５０が、対応する視点においてユーザＵに正対するようにしてもよい。この場合、補助画像５０がユーザＵに正対することにより、側面に貼り付けられた補助画像５０が傾いて視認される場合（図８の左斜認知画像や右斜認知画像参照）にくらべ、補助画像５０をユーザＵにとってより視認しやすくすることができる。
【００９７】
また、医用画像処理装置１０が位置センサ２３からユーザ位置情報が取得可能に構成される場合は、入力受付部３１は、ユーザＵが上下左右の斜め位置にいるか否かを判定し、斜め位置にいる場合のみ補助画像５０を介した入力を受け付け（図９のステップＳ２からＳ３への移行を許可し）、正面近傍にいる場合には補助画像５０を介した入力を受け付けない（図９のステップＳ２からＳ３への移行を禁止する）ようにしてもよい。
【００９８】
また、入力部１１の操作に応じて補助画像５０の一部または全部を立体表示可能なように、多視点画像生成部３４は、補助画像５０が含まれる斜視点画像を複数生成してもよい。この場合、多視点画像生成部３４は、裸眼３Ｄディスプレイ２２で表示されると補助画像５０が立体視可能なように、補助画像５０を複数の斜視点からみた複数の視点補助画像を生成するとよい。このとき、多視点画像生成部３４は、補助画像５０のうちユーザＵにより入力部１１を介して選択された状態またはユーザＵにより選択可能な状態にあるソフトキーなど（以下、選択部分という）があると、この選択部分の情報を入力受付部３１から取得し、この補助画像５０の選択部分が立体視可能なように、複数の視点補助画像を生成して、複数の視点レンダリング画像のそれぞれと複数の視点補助画像のそれぞれとを重畳して複数の斜視点画像を生成してもよい。この場合、ユーザＵは、たとえば操作パネル５５の１つのソフトキーにポインタ７０をホバーすることにより、このソフトキーの立体視画像を認識することができ、自らが選択しているソフトキーがどのソフトキーであるかを明確に知ることができる。
【００９９】
また、正面近傍視点画像は１つのＶＲ画像により構成してもよい。このとき、ユーザＵの入力部１１を介した操作に応じてこのＶＲ画像を回転させるとともに、このＶＲ画像の回転とともに、直方体領域６１および直方体領域６１の側面に貼り付けられて配置された補助画像５０を回転させるとよい。たとえば、ユーザＵがポインタ７０を用いてＶＲ画像を所定方向にいわゆるドラッグする操作を行うと、多視点画像生成部３４は、ＶＲ画像が補助画像５０とともに回転するように、ユーザＵのポインタ７０操作に応じて正面近傍視点画像を順次生成する。この場合、ユーザＵのポインタ７０の操作に応じて、ＶＲ画像の回転とともに正面近傍認知画像に対して補助画像５０を重畳させることができる。このため、ユーザＵは、自らが移動することなく、ポインタ７０を操作してＶＲ画像を回転させることにより、補助画像５０を必要に応じて正面近傍認知画像の手前に表示させることができる。
【０１００】
図１５は、左斜認知画像および右斜認知画像の変形例を示す説明図である。
【０１０１】
多視点画像生成部３４は、正面近傍視点画像は正面近傍視点ＶＲ画像のみで構成する一方、斜視点画像は補助画像５０のみで構成してもよい。このとき、斜視点画像の補助画像５０は、対応する視点においてユーザＵに正対するようにしてもよい。この場合、図１５に示すように、正面近傍認知画像には立体像６０のみが含まれ、左右斜認知画像には補助画像５０のみが含まれる。また、正面近傍視点ＶＲ画像を立体視させずともよい場合は、多視点レンダリング画像生成部３２は１つの正面近傍視点ＶＲ画像を生成すればよく、同一の正面近傍視点ＶＲ画像が視差成分画像として複数の正面近傍視点で観察されてもよい。この場合、正面近傍認知画像は２次元のＶＲ画像としてユーザＵに視認される。
【０１０２】
（第２の実施形態）
次に、本発明に係る３次元画像処理装置および３次元画像処理プログラムの第２実施形態について説明する。
【０１０３】
第２実施形態に係る医用画像処理装置１０は、補助画像５０が、ボリュームデータに対応する立体像６０の背後に配置される点で第１実施形態に係る医用画像処理装置１０と異なる。他の構成および作用については図１に示す医用画像処理装置１０と実質的に異ならないため、同じ構成には同一符号を付して説明を省略する。
【０１０４】
図１６は、ボリュームデータに対応する立体像６０の背後に補助画像５０が表示される際の様子の一例を示す説明図である。
【０１０５】
図１６に示すように、多視点画像生成部３４は、補助画像５０がボリュームデータに対応する立体像６０の背後に配置されるよう、複数の正面近傍視点ＶＲ画像のそれぞれと補助画像５０とを重畳して多視点画像を生成してもよい。
【０１０６】
この場合、ユーザＵは、正面近傍視点から裸眼３Ｄディスプレイ２２を見ると、立体像６０の背後に補助画像５０が隠れた正面近傍認知画像を認識することになる。したがって、ユーザＵは、裸眼３Ｄディスプレイ２２の正面近傍に位置することで、補助画像５０にさえぎられることなく立体像６０を見ることができる。また、ユーザＵが補助画像５０に対する操作を所望した場合に備え、ユーザＵの入力部１１に対する操作やシステムの状態等に応じて、補助画像５０と立体像６０との前後関係を入れ替える。
【０１０７】
補助画像５０を立体像６０の前面に配置するためのユーザＵの入力部１１に対する操作としては、たとえば立体像６０の表示領域を除く表示領域でポインタ７０をクリックする操作や、立体像６０の奥に表示された補助画像５０に対するクリック操作や、入力部１１のキーボード等に対する所定の操作などが挙げられる。また、補助画像５０を立体像６０の前面に配置するきっかけとなるシステムの状態としては、たとえば所定時間以上ユーザＵによる入力部１１に対する操作がない場合や、いわゆるスクリーンセーバやスタンバイ状態からの復帰時などが挙げられる。
【０１０８】
また、補助画像５０を立体像６０の前面に配置する際には、補助画像５０の透明度を設定して半透明表示とすることにより、補助画像５０の裏側に隠れる立体像６０を補助画像５０越しに視認可能とするとよい。この透明度は、あらかじめ設定されて記憶部１２に記憶された設定値を用いてもよいし、ユーザＵにより入力部１１を介して設定されてもよい。
【０１０９】
本実施形態に係る医用画像処理装置１０によっても、裸眼３Ｄディスプレイ２２を用いることにより、ボリュームデータに対応する立体像６０の表示領域に対して、補助画像５０の表示位置を、３次元空間内で自由に配置することができる。また、本実施形態に示すように補助画像５０を、ボリュームデータに対応する立体像６０の背後に配置する場合、図１６に示すように、正面近傍認知画像において、補助画像５０は立体像６０の背後に表示される。このため、本実施形態に係る医用画像処理装置１０によっても補助画像５０に侵食されない立体像６０を観察することができる。
【０１１０】
また、本実施形態に係る医用画像処理装置１０は、ユーザＵの入力部１１に対する操作やシステムの状態等に応じて、補助画像５０と立体像６０との前後関係を入れ替えることができる。このため、本実施形態に係る医用画像処理装置１０によっても、ボリュームデータに対応する立体像６０を邪魔しないように補助画像５０を表示させることができるとともに、補助画像５０を介した立体像６０に対する操作を容易に受け付けることができる。
【０１１１】
（第３の実施形態）
次に、本発明に係る３次元画像処理装置および３次元画像処理プログラムの第３実施形態について説明する。
【０１１２】
第３実施形態に係る医用画像処理装置１０は、補助画像５０およびボリュームデータに対応する立体像６０が、１つの画面の分割領域内に配置される点で医用画像処理装置１０と異なる。他の構成および作用については図１に示す医用画像処理装置１０と実質的に異ならないため、同じ構成には同一符号を付して説明を省略する。
【０１１３】
図１７は、正面近傍認知画像が、所定の画面レイアウトに応じて１つの画面の分割領域内に補助画像５０および立体像６０が表示される様子の一例を示す説明図である。図１７には、１つの画面が、立体像６０を表示するための主画像領域８１と、補助画像５０の操作パネル５５を表示するための補助領域８２と、他のレンダリングモードによる画像などのその他の画像を表示するための副画像領域８３と、に分割される場合の例について示した。なお、主画像領域８１に表示される画像は、立体像６０でなくてもよく、二次元のＶＲ画像であってもよい。
【０１１４】
図１７に示すように、多視点画像生成部３４が、１つの画面の分割領域内に補助画像５０および立体像６０が表示されるように正面近傍視点画像を作成した場合、立体像６０が表示される領域（主画像領域８１）は、他の表示領域（補助領域８２および副画像領域８３）により侵食されてしまう。
【０１１５】
そこで、入力受付部３１によりポインタ７０が立体像６０にホバーされたことが検知されると、多視点画像生成部３４は、立体像６０の表示サイズを拡大した拡大立体像６０ｂを含む正面近傍視点画像を再生成する（図１７左下参照）。また、入力受付部３１によりポインタ７０が補助領域８２にホバーされたことが検知されると、多視点画像生成部３４は、補助領域８２の操作パネル５５の表示サイズを拡大した拡大補助画像５０ａを含む正面近傍視点画像を再生成する（図１７右下参照）。また、多視点画像生成部３４は、操作パネル５５を拡大する際に、操作パネル５５を立体視可能なように複数の正面近傍視点画像を生成してもよい。
【０１１６】
本実施形態に係る医用画像処理装置１０によれば、１つの画面の分割領域内に補助画像５０および立体像６０が表示される場合であっても、ユーザＵの操作に応じて、適宜立体像６０や補助画像５０を拡大表示することができる。このため、本実施形態に係る医用画像処理装置１０によっても、ボリュームデータに対応する立体像６０を邪魔しないように補助画像５０を表示させることができるとともに、補助画像５０を介した立体像６０に対する操作を容易に受け付けることができる。
【０１１７】
なお、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【０１１８】
また、本発明の実施形態では、フローチャートの各ステップは、記載された順序に沿って時系列的に行われる処理の例を示したが、必ずしも時系列的に処理されなくとも、並列的あるいは個別実行される処理をも含むものである。
【符号の説明】
【０１１９】
１０ 医用画像処理装置
１１ 入力部
１２ 記憶部
１３ ネットワーク接続部
１４ 制御部
２０ モダリティ
２１ ネットワーク
２２ 裸眼３Ｄディスプレイ
２３ 位置センサ
３１ 入力受付部
３１ａ ポインタ管理部
３２ 多視点レンダリング画像生成部
３３ 補助画像生成部
３４ 多視点画像生成部
３５ 多視点画像出力部
３６ ユーザ位置情報取得部
５０ 補助画像
６０ 立体像
６１ 直方体領域
６２ 正面領域
６３ 側面領域
７０ ポインタ
８１ 主画像領域
８２ 補助領域
８３ 副画像領域
【技術分野】
【０００１】
本発明の実施形態は、３次元画像処理装置および３次元画像処理プログラムに関する。
【背景技術】
【０００２】
Ｘ線ＣＴ（Computed Tomography）装置やＭＲＩ（Magnetic Resonance Imaging）装置、超音波診断装置、Ｘ線診断装置などの医用画像診断装置（モダリティ）には、被検体（患者）の撮像により得られた投影データにもとづいてボリュームデータ（３次元画像データ）を生成可能なものがある。
【０００３】
ボリュームデータは、ボリュームレンダリングすることにより２次元画像（以下、ＶＲ画像という）を生成するために用いることができる。このＶＲ画像は、表示装置に表示されてユーザに提示される。
【０００４】
一般に、ＶＲ画像は、各種操作機能が割り当てられたソフトキーやＶＲ画像の付帯情報を示す画像などの補助画像とともに、表示装置の画面に同時に表示される場合が多い。この場合ユーザは、たとえばレンダリング方法を変更する機能が割り当てられたソフトキーを押下する事により、ＶＲ画像のレンダリング方法を容易に変更することができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１１−３６４９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、ＶＲ画像と補助画像とを一般的な２次元画面上に同時に表示させると、ＶＲ画像に割り当てられる表示領域が補助画像の分だけ狭くなってしまう。このため、ユーザにとって重要度が高いＶＲ画像が小さく表示されてしまう一方で、利用頻度が低いソフトキーが画面内に表示され続けてしまい、大変不便である。
【課題を解決するための手段】
【０００７】
本発明の一実施形態に係る３次元画像処理装置は、上述した課題を解決するために、ボリュームデータにもとづいて複数の視点でボリュームレンダリングを行うことにより、複数の視点レンダリング画像を生成する多視点レンダリング画像生成部と、ソフトキーの画像、付帯情報を示す画像その他の補助画像を生成する補助画像生成部と、補助画像がボリュームデータに対応する立体像を囲う３次元領域の前面を除く周囲の所定の位置に配置されるよう、視点レンダリング画像と補助画像とを重畳した視点画像を含む複数の視点画像を生成する多視点画像生成部と、多視点画像のそれぞれを視差成分画像として異なる方向に射出する裸眼３Ｄディスプレイ装置に、複数の視点画像を出力する多視点画像出力部と、を備えたものである。
【図面の簡単な説明】
【０００８】
【図１】本発明の第１実施形態に係る医用画像処理装置の一構成例を示すブロック図。
【図２】制御部のＣＰＵによる機能実現部の構成例を示す概略的なブロック図。
【図３】裸眼３Ｄディスプレイの一構成例を示す斜視図。
【図４】裸眼３Ｄディスプレイにより異なる視差番号を有する視差成分画像が互いに異なる方向に射出される様子の一例を示す説明図。
【図５】裸眼３Ｄディスプレイと視域の位置関係の一例を示す説明図。
【図６】裸眼３Ｄディスプレイの内部構成の一例を示すブロック図。
【図７】補助画像を構成する補助画像要素の例を示す説明図。
【図８】ボリュームデータに対応する立体像を囲う直方体領域の側面に補助画像が表示される際の様子の一例を示す説明図。
【図９】図１に示す医用画像処理装置の制御部により、ボリュームデータに対応する立体像を囲う直方体領域の側面に表示された補助画像に対する操作が受け付けられる際の手順を示すフローチャート。
【図１０】ポインタ管理部により管理される３次元座標のうち、直方体領域の正面および側面の座標の一例を示す説明図。
【図１１】図１０のステップＳ３で制御部によりサムネイル画像群に対する入力に応じた機能が実行される際の手順を示すサブルーチンフローチャート。
【図１２】左斜認知画像の側面領域に表示されたサムネイル画像群のサムネイル画像の１つにポインタが重ねられた（ホバーされた）様子を示す説明図。
【図１３】（ａ）は図１２に示す例においてポインタを介して選択されたサムネイル画像に対応する立体像が左斜認知画像に表示される様子の一例を示す説明図、（ｂ）はサムネイル画像に対応する立体像が正面近傍認知画像に表示される様子の一例を示す説明図。
【図１４】図１０のステップＳ３で制御部により、操作パネルを介して受け付けたレンダリングモードの変更指示に応じた機能が実行される際の手順を示すサブルーチンフローチャート。
【図１５】左斜認知画像および右斜認知画像の変形例を示す説明図。
【図１６】ボリュームデータに対応する立体像の背後に補助画像が表示される際の様子の一例を示す説明図。
【図１７】所定の画面レイアウトに応じて１つの画面の分割領域内に補助画像および立体像が表示される様子の一例を示す説明図。
【発明を実施するための形態】
【０００９】
本発明に係る３次元画像処理装置および３次元画像処理プログラムの実施の形態について、添付図面を参照して説明する。
【００１０】
ＶＲ画像と補助画像とを一般的な２次元画面上に同時に表示させると、ＶＲ画像に割り当てられる表示領域が補助画像の分だけ狭くなってしまう。本発明の一実施形態に係る３次元画像処理装置は、裸眼３Ｄディスプレイを用いることにより、ボリュームデータに対応する立体像を囲う３次元領域の側面や背後を利用可能とし、この側面や背後に補助画像を表示させることで、ボリュームデータに対応する立体像を邪魔しないように補助画像を表示させることができるとともに、補助画像を介した立体像に対する操作を容易に受け付けることができる技術を提供するものである。
【００１１】
（第１の実施形態）
図１は、本発明の第１実施形態に係る医用画像処理装置１０の一構成例を示すブロック図である。なお、本実施形態では、ソフトキーの画像、付帯情報を示す画像その他の補助画像が、ボリュームデータに対応する立体像を囲う直方体領域の上下左右の側面の一部または全部に貼り付けて配置される場合の例について説明する。
【００１２】
３次元画像処理装置としての医用画像処理装置１０は、図１に示すように、入力部１１、記憶部１２、ネットワーク接続部１３および制御部１４を有する。
【００１３】
入力部１１は、少なくともポインティングデバイスを含み、たとえばマウス、トラックボール、キーボード、タッチパネル、テンキーなどの一般的な入力装置により構成され、ユーザＵの操作に対応した操作入力信号を制御部１４に出力する。
【００１４】
記憶部１２は、モダリティ２０から出力される医療用のボリュームデータ（３次元画像データ）を記憶する。モダリティ２０は、たとえばＸ線ＣＴ（Computed Tomography）装置やＭＲＩ（Magnetic Resonance Imaging）装置、超音波診断装置、Ｘ線診断装置などの医用画像診断装置であって、被検体（患者）の撮像により得られた投影データにもとづいてボリュームデータ（３次元画像データ）を生成可能な装置により構成することができる。
【００１５】
ネットワーク接続部１３は、ネットワーク２１の形態に応じた種々の情報通信用プロトコルを実装する。ネットワーク接続部１３は、この各種プロトコルに従って医用画像処理装置１０とモダリティ２０などの他の装置とを接続する。ここでネットワーク２１とは、電気通信技術を利用した情報通信網全般を意味し、病院基幹ＬＡＮ（Local Area Network）などの無線／有線ＬＡＮやインターネット網のほか、電話通信回線網、光ファイバ通信ネットワーク、ケーブル通信ネットワークおよび衛星通信ネットワークなどを含む。
【００１６】
医用画像処理装置１０は、ネットワーク２１を介して接続されたモダリティ２０からボリュームデータを受けてもよい。ネットワーク２１を介して受信したボリュームデータもまた、記憶部１２に記憶される。
【００１７】
制御部１４は、ＣＰＵ、ＲＡＭおよびＲＯＭをはじめとする記憶媒体などにより構成され、この記憶媒体に記憶されたプログラムに従って医用画像処理装置１０の処理動作を制御する。具体的には、制御部１４のＣＰＵは、ＲＯＭをはじめとする記憶媒体に記憶された３次元画像処理プログラムおよびこのプログラムの実行のために必要なデータをＲＡＭへロードし、このプログラムに従って、ボリュームデータに対応する立体像を邪魔しないように補助画像を表示させつつ、補助画像を介した立体像に対する操作を可能にする処理を実行する。
【００１８】
制御部１４のＲＡＭは、ＣＰＵが実行するプログラムおよびデータを一時的に格納するワークエリアを提供する。また、制御部１４のＲＯＭをはじめとする記憶媒体は、医用画像処理装置１０の起動プログラム、３次元画像処理プログラムや、これらのプログラムを実行するために必要な各種データを記憶する。
【００１９】
なお、ＲＯＭをはじめとする記憶媒体は、磁気的もしくは光学的記録媒体または半導体メモリなどの、ＣＰＵにより読み取り可能な記録媒体を含んだ構成を有し、これら記憶媒体内のプログラムおよびデータの一部または全部はネットワーク２１を介してダウンロードされるように構成してもよい。
【００２０】
制御部１４は、複数の視点からみたＶＲ画像や補助画像（複数の視点画像、多視点画像）を生成し、裸眼３Ｄディスプレイ２２に出力する。また、制御部１４は、裸眼３Ｄディスプレイ２２を見るユーザＵの位置を示す情報（以下、ユーザ位置情報という）を位置センサ２３から取得するよう構成されてもよい。なお、制御部１４がユーザ位置情報を利用しない場合は、位置センサ２３は不要である。
【００２１】
図２は、制御部１４のＣＰＵによる機能実現部の構成例を示す概略的なブロック図である。なお、この機能実現部は、ＣＰＵを用いることなく回路などのハードウエアロジックによって構成してもよい。
【００２２】
図２に示すように、制御部１４のＣＰＵは、３次元画像処理プログラムによって、ポインタ管理部３１ａを含む入力受付部３１、多視点レンダリング画像生成部３２、補助画像生成部３３、多視点画像生成部３４、多視点画像出力部３５、ユーザ位置情報取得部３６として機能する。この各部３１〜３６は、ＲＡＭの所要のワークエリアを、データの一時的な格納場所として利用する。
【００２３】
入力受付部３１は、入力部１１の出力にもとづいてユーザＵによる入力部１１を介した指示を受け付ける。ポインタ管理部３１ａは、入力部１１の出力にもとづいて裸眼３Ｄディスプレイ２２に表示されたポインタの３次元座標を取得し、ポインタを介した補助画像に対する入力を受け付ける。なお、ポインタの３次元座標は、ユーザＵの視点によらず一意である。
【００２４】
多視点レンダリング画像生成部３２は、記憶部１２に記憶されたボリュームデータにもとづいて複数の視点でボリュームレンダリングを行うことにより、各視点のＶＲ画像（視点レンダリング画像。以下、視点ＶＲ画像という）を生成する。以下の説明では、裸眼３Ｄディスプレイ２２の正面近傍の視点をレンダリング視点とするＶＲ画像を正面近傍視点ＶＲ画像といい、左斜め（右斜め）の視点をレンダリング視点とするＶＲ画像を左斜視点ＶＲ画像（右斜視点ＶＲ画像）という。
【００２５】
補助画像生成部３３は、ソフトキーの画像、付帯情報を示す画像その他の補助画像を生成する。
【００２６】
多視点画像生成部３４は、補助画像がボリュームデータに対応する立体像を囲う３次元領域の前面を除く周囲の所定の位置に配置されるよう、多視点レンダリング画像生成部３２により生成された視点ＶＲ画像と補助画像生成部３３により生成された補助画像とを重畳した視点画像と、補助画像が重畳されず視点ＶＲ画像のみからなる視点画像とを含む複数の視点画像（多視点画像）を生成する。補助画像がボリュームデータに対応する立体像を囲う３次元領域の前面を除く周囲の所定の位置に配置されることにより、ボリュームデータに対応する立体像を邪魔しないように補助画像を表示させることができる。
【００２７】
本実施形態では、多視点画像生成部３４は、補助画像がボリュームデータに対応する立体像を囲う直方体領域の上下左右の側面の一部または全部に貼り付けて配置されるよう、多視点レンダリング画像生成部３２により生成された視点ＶＲ画像と補助画像生成部３３により生成された補助画像とを重畳した視点画像を含む複数の視点画像（多視点画像）を生成する。
【００２８】
補助画像が側面に貼り付けて配置される場合、正面近傍視点では補助画像を全く視認することができないか、または補助画像の厚さ方向の幅しか視認することができない。このため、正面近傍視点ＶＲ画像（正面近傍のレンダリング視点でボリュームレンダリングした視点ＶＲ画像）に対して補助画像を重畳しても、ユーザＵは補助画像を視認することが難しい。そこで以下の説明では、多視点画像が、補助画像が重畳されず正面近傍視点ＶＲ画像のみからなる１または複数の正面近傍視点画像と、斜視点ＶＲ画像（左斜視点ＶＲ画像または右斜視点ＶＲ画像）と補助画像とが重畳された斜視点画像とからなる場合の例について示す。
【００２９】
斜視点ＶＲ画像と補助画像とを重畳して斜視点画像を生成する際、多視点画像生成部３４は、補助画像の透明度を設定して半透明表示とすることにより、補助画像の裏側に隠れる斜視点ＶＲ画像を補助画像越しに視認可能とするとよい。この透明度は、あらかじめ設定されて記憶部１２に記憶された設定値を用いてもよいし、ユーザＵにより入力部１１を介して設定されてもよい。
【００３０】
なお、正面近傍視点ＶＲ画像とは、裸眼３Ｄディスプレイ２２の正面近傍に設けたカメラでボリュームデータに対応する立体像を撮像した場合の画像に相当し、斜視点ＶＲ画像とは、正面近傍から左右にずれた位置に設けたカメラで立体像を撮像した場合の画像に相当する。また、正面近傍視点画像および斜視点画像は、ユーザに立体視させるためには少なくとも両眼用の２つの画像が生成される必要があるが、立体視させずともよい場合は１つであってもよい。たとえば、正面近傍視点ＶＲ画像のみが表示される正面近傍視点画像は立体視させたい一方、補助画像が重畳される斜視点画像は立体視させずともよい場合は、制御部１４は、正面近傍視点画像を複数生成する一方、斜視点画像は１つだけ生成するようにしてもよい。
【００３１】
多視点画像出力部３５は、多視点画像を構成する複数の視点画像のそれぞれを視差成分画像として異なる方向に射出する裸眼３Ｄディスプレイ２２に対し、多視点画像生成部３４により生成された多視点画像を出力する。
【００３２】
ユーザ位置情報取得部３６は、位置センサ２３の出力にもとづいてユーザ位置情報を取得し、入力受付部３１に与える。
【００３３】
ここで、図３〜図６を用いて裸眼３Ｄディスプレイ２２の構成および作用について説明する。
【００３４】
図３は、裸眼３Ｄディスプレイ２２の一構成例を示す斜視図である。
【００３５】
図３に示すように、裸眼３Ｄディスプレイ２２は、画像表示部４１と、画像表示部４１の前方に所定のギャップをあけて配置された光線制御素子４２と、を有する。
【００３６】
画像表示部４１は、たとえば液晶ディスプレイやＯＬＥＤ（Organic Light Emitting Diode）ディスプレイなどの表示出力装置により構成される。たとえば９種の視差成分画像をあつかう場合、画像表示部４１の各画素は９つの絵素で構成され、画素ごとに要素画像が表示される。また、画素が出力する光線のうち、同一の視差番号をもつ視差成分画像に対応する光線は、複数の画素から互いに平行に射出される。
【００３７】
光線制御素子４２は、複数の射出瞳４３により構成される。光線制御素子４２としては、２次元ＩＩ（インテグラル・イメージング）方式では、マトリックス状に射出瞳４３としてのセグメントレンズが配列されたレンズ・アレイや、射出瞳４３としてのピン・ホールがアレイ状に配列されたピンホール・アレイを用いることができる。また、光線制御素子４２は、１次元ＩＩ方式では、垂直方向に延出され、水平方向に配列されたシリンドリカル・レンズからなるレンチュキュラー・シートや、垂直方向に延出され、水平方向に配列されたスリットを有するスリット・プレートにより構成される。光線制御素子４２としてレンズ・アレイ、レンチュキュラー・シートおよびスリット・プレートのいずれを用いても、光学的には、各レンズまたはスリットは、光学的開口部の射出瞳４３として機能する。
【００３８】
図４は、裸眼３Ｄディスプレイ２２により視差成分画像が互いに異なる方向に射出される様子の一例を示す説明図である。図４には、９つの撮影番号に相当する９視差方向を示す視差番号（−４、−３、・・・、０、・・・３、４）で視差成分画像が特定される場合の例を示した。なお、下記の説明では、説明を簡単にするために、１次元ＩＩ方式について説明する。１次元ＩＩ方式では、視差成分画像が水平方向に沿って画素に振り分けられるが、２次元ＩＩ方式では、水平方向における視差成分画像の割り当て方法と同様の方法で、垂直方向についても視差成分画像を割り当てればよい。
【００３９】
画像表示部４１の表示面には、画素４４がほぼ一定の水平ピッチおよび垂直ピッチでマトリクス状に配列されている。各画素４４は、水平方向に並んだ所定数の絵素により構成される。図４には、画素４４が９つの絵素で構成される場合の例について示した。各絵素は、垂直方向に並んだＲ、Ｇ、Ｂの各サブピクセルにより構成される。ＲＧＢサブピクセル上に、それぞれ対応する縦ストライプ・カラー・フィルターが配列されることにより、高精細液晶パネル・モジュールが構成される。このパネル・モジュールには、視差成分画像から成る要素画像が表示されて立体像が表示される。各視差成分画像は、多視点画像出力部３５が出力する多視点画像の各視点画像により構成される。
【００４０】
９種の視差成分画像は、画素４４を構成する９つの絵素のそれぞれに表示される。射出瞳４３は画素４４のそれぞれに対応して配置される。各絵素から射出された光線は、射出瞳４３を通過し、射出瞳４３から視距離Ｌに位置する視域面４５に視差成分画像４６を投影する。このとき、画素４４が出力する光線のうち、同一の視差番号をもつ視差成分画像に対応する光線は、複数の画素４４から互いに平行に射出される。
【００４１】
９種の視差成分画像の集合としての要素画像は、各射出瞳４３に対応した画素４４に表示され、要素画像からの光線は、射出瞳４３で制御または規制されてユーザＵに向けられる。そして、ユーザＵが位置する方向に向けられた光線で視差成分画像が送られると、ユーザＵは、この視差成分画像の集合として立体画像を認識することができる。すなわち、この裸眼３Ｄディスプレイ２２によれば、ユーザＵの位置を視域面内の位置近傍に想定すると、ユーザＵは、要素画像からの光線にもとづいて画像表示部４１の前面（手前に飛び出す方向）および背面（奥行き方向）の近傍に立体映像を観察することができる。
【００４２】
図５は、裸眼３Ｄディスプレイ２２と視域４７の位置関係の一例を示す説明図である。ここで、視域とは、ユーザＵが射出瞳４３を介して視差成分画像を観察可能な範囲をいうものとする。
【００４３】
ユーザＵが左右に移動すると、射出瞳４３を介して観察される絵素（ＲＧＢサブピクセル）が変化する。１次元ＩＩ方式では、同一の視差番号をもつ視差成分画像に対応する光線同士が射出瞳４３から互いに平行に射出される。このため、ユーザＵが透視投影的に観察すると、射出瞳４３越しに見える各サブピクセルの位置は、射出瞳４３の幅ずつ（たとえばレンチキューラーシートのレンズピッチずつ）異なる。なお、視域４７の幅を最大にするために、射出瞳４３と画素４４との位置関係を射出瞳４３ごとに異ならせてもよい。
【００４４】
ＩＩ方式では、水平面内において、各射出瞳４３に対応する要素画像が定められており、射出瞳４３から互いに平行な関係にある光線が視域４７に向けて射出されて、立体像が視域に形成される。
【００４５】
なお、視差成分画像数が十分に多い場合には、異なる視差番号を有する視差成分画像が本来表示されるべき２以上の領域、例えば、異なる視差番号を有する視差成分画像が本来表示されるべき３つの領域に、同一の視差成分画像が表示されても良い。
【００４６】
図６は、裸眼３Ｄディスプレイ２２の内部構成の一例を示すブロック図である。
【００４７】
裸眼３Ｄディスプレイ２２は、多視点画像取得部４８および要素画像生成部４９をさらに有する。
【００４８】
多視点画像取得部４８は、多視点画像出力部３５から多視点画像を取得する。要素画像生成部４９は、この多視点画像を要素画像に変換する。すなわち、要素画像生成部４９は、多視点画像の各視点画像と視差番号とを関連付けることにより各視点画像を視差成分画像としてあつかい、視差成分画像を集めて要素画像を生成する。
【００４９】
要素画像生成部４９により生成された要素画像は、画像表示部４１の各画素４４に表示され、要素画像が射出瞳４３を介して視域４７に投影されることによって立体画像が視域４７の内部でユーザＵにより観察される。
【００５０】
なお、多視点画像取得部４８および要素画像生成部４９は、ＣＰＵにより所定のプログラムが実行されて実現される機能実現部であってもよいし、ＣＰＵを用いることなく回路などのハードウエアロジックによって構成してもよい。また、ソフトウエアとハードウエアを適宜組み合わせて各機能を実現してもよい。
【００５１】
また、図１では裸眼３Ｄディスプレイ２２が医用画像処理装置１０の構成外に設けられ場合の例について示したが、裸眼３Ｄディスプレイ２２を医用画像処理装置１０の一構成要素としても構わない。また、医用画像処理装置１０は、モダリティ２０に組み込まれてもよい。
【００５２】
続いて、補助画像について簡単に説明する。
【００５３】
図７は、補助画像５０を構成する補助画像要素の例を示す説明図である。
【００５４】
補助画像５０は、各種機能が割り当てられた複数のソフトキーにより構成されたツールバー５１、複数のサムネイル画像５２ａにより構成されたサムネイル画像群５２、付帯情報表示画像５３、簡易操作パネル５４、操作パネル５５、患者、シリーズおよび画像のリスト５６や、正面近傍視点ＶＲ画像とは異なる画像５７などの補助画像要素により構成される。正面近傍視点ＶＲ画像とは異なる画像５７としては、たとえば正面近傍視点ＶＲ画像とは異なるレンダリングモードでボリュームレンダリングされたＶＲ画像や、正面近傍視点ＶＲ画像とはボリュームデータが異なる画像などを挙げることができる。
【００５５】
補助画像生成部３３は、これらの補助画像要素の１つまたは複数により構成される補助画像５０を生成する。そして、多視点画像生成部３４は、補助画像５０の補助画像要素がボリュームデータに対応する立体像を囲う直方体領域の上下左右の側面の少なくとも１つの側面に貼り付けて配置されるよう、多視点レンダリング画像生成部３２により生成された視点ＶＲ画像と補助画像生成部３３により生成された補助画像５０とを重畳した複数の視点画像を含む多視点画像を生成する。なお、各補助画像要素のもととなる画像ファイルは、あらかじめ記憶部１２に記憶させておいてもよいし、ネットワーク２１を介して適宜取得してもよい。
【００５６】
図８は、ボリュームデータに対応する立体像６０を囲う直方体領域６１の側面に補助画像５０が表示される際の様子の一例を示す説明図である。
【００５７】
多視点画像出力部３５によって出力された多視点画像にもとづいて裸眼３Ｄディスプレイ２２が要素画像を表示すると、多視点画像を構成する複数の視点画像のそれぞれが、視差成分画像として異なる方向に射出される。このため、ユーザＵが観察する視差成分画像は、ユーザＵの左右位置に応じて異なる（図４参照）。
【００５８】
たとえば、裸眼３Ｄディスプレイ２２を正面近傍から見る場合の視点を正面近傍視点Ａ１、Ａ２、・・・、Ａｎとし、正面近傍から左にずれた位置から見る場合の視点を左斜視点Ｂ１、Ｂ２、・・・、Ｂｎとし、正面近傍から右にずれた位置から見る場合の視点を右斜視点Ｃ１、Ｃ２、・・・、Ｃｎ（ただしｎは正整数）とする場合を考える。
【００５９】
この場合、たとえばユーザＵが正面近傍に位置して左目が正面近傍視点Ａ１に、右目が正面近傍視点Ａ２に、それぞれ位置しており、正面近傍視点Ａ１およびＡ２に対して互いに異なる正面近傍視点画像にもとづく視差成分画像の光線が射出されていれば、ユーザＵは、正面近傍視点画像を立体的な像（以下、正面近傍認知画像という）として認識することができる。
【００６０】
また、ユーザＵが左斜視点Ｂ１、Ｂ２から見る場合は、ユーザＵは、斜視点画像のうち左斜視点Ｂ１およびＢ２またはその近傍の視点でレンダリングされた視点ＶＲ画像（左斜視点ＶＲ画像）を立体的な像（以下、左斜認知画像という）として認識することができる。同様に、ユーザＵが右斜視点Ｃ１、Ｃ２から見る場合は、ユーザＵは、斜視点画像のうち左斜視点Ｃ１およびＣ２またはその近傍の視点でレンダリングされたＶＲ画像（右斜視点ＶＲ画像）を立体的な像（以下、右斜認知画像という）として認識することができる。なお、２次元ＩＩ方式であれば、同様に上斜認知画像および下斜認知画像をユーザに知覚可能とすることができる。
【００６１】
左斜認知画像および右斜認知画像は、ボリュームデータに対応する立体像６０が主に存在する正面領域６２と、補助画像５０が主に存在する側面領域６３とを有する。図８には、左斜認知画像の側面領域６３にサムネイル画像群５２のみにより構成された補助画像５０が表示され、右斜認知画像の側面領域６３に操作パネル５５のみにより構成された補助画像５０が表示される場合の例について示した。なお、図８には正面領域６２と側面領域６３との境界線６４を一点差線で図示したが、この境界線６４は各斜認知画像に表示されなくてもよい。
【００６２】
図８に示すように、正面近傍認知画像には側面領域６３が含まれない。このため、補助画像５０は表示されない。このため、正面近傍認知画像の全ての表示領域は立体像６０を表示するために用いることができ、補助画像５０が立体像６０の表示画像を侵食することがない。したがって、ユーザＵは、立体像６０をしっかりと観察したい場合は、裸眼３Ｄディスプレイ２２の正面近傍に位置とよい。正面近傍に位置することで、補助画像５０を含まない立体像６０を認識することができる。
【００６３】
また、ユーザＵは、位置を左（または右）にずらすことにより、補助画像５０が表示される側面領域６３を含む左斜認知画像（または右斜認知画像）を認識することができる。このため、ユーザＵは、補助画像５０に割り当てられた各種機能を利用したい場合は、自らの位置を左または右にずらすとよい。正面近傍から左右にずれた場所に自らを位置することで、補助画像５０を視認することができ、補助画像５０に対する各種操作を行うことができる。
【００６４】
次に、本実施形態に係る医用画像処理装置１０の動作の一例について説明する。
【００６５】
図９は、図１に示す医用画像処理装置１０の制御部１４により、ボリュームデータに対応する立体像６０を囲う直方体領域６１の側面に表示された補助画像５０に対する操作が受け付けられる際の手順を示すフローチャートである。図９において、Ｓに数字を付した符号は、フローチャートの各ステップを示す。
【００６６】
図９に示す手順は、多視点画像出力部３５が出力した多視点画像にもとづいて裸眼３Ｄディスプレイ２２が要素画像を表示した時点でスタートとなる。
【００６７】
また、図１０は、ポインタ管理部３１ａにより管理される３次元座標のうち、直方体領域６１の正面および側面の座標の一例を示す説明図である。なお、図１０には、直方体領域６１の正面左下を座標原点とし、原点から水平方向右側をＸ軸正方向、垂直方向上側をＹ軸正方向、手前側をＺ軸正方向としてＸＹＺ軸を定義する場合の一例について示した。また、図１０には直方体領域６１の展開図６５とともに各面の頂点座標の一例を示した。
【００６８】
まず、ステップＳ１において、ポインタ管理部３１ａは、入力部１１の出力にもとづいて裸眼３Ｄディスプレイ２２に表示されたポインタ７０の３次元座標を取得し、補助画像５０の補助画像に対する入力を受け付ける。
【００６９】
次に、ポインタ管理部３１ａは、ポインタ７０の３次元座標にもとづいて、ポインタ７０が側面にあるか否かを判定する（ステップＳ２）。たとえば、ユーザＵが右に移動して視点Ｃ１およびＣ２に位置する場合には、ユーザＵは正面領域６２および側面領域６３の両方を視認することができる（図８参照）。このとき、ユーザＵは、たとえば正面領域６２にあるポインタ７０を操作し、境界線６４を横断して側面領域６３の補助画像５０に対する入力を所望する場合がある（図１０参照）。
【００７０】
ポインタ７０が側面にない場合（ステップＳ２のＮＯ）、一連の手順は終了となる。一方、側面にある場合（ステップＳ２のＹＥＳ）、ポインタ管理部３１ａは、補助画像５０に対する入力を受け付ける。そして、制御部１４は、受け付けられた入力に対応する機能を実行する（ステップＳ３）。
【００７１】
以上の手順により、ボリュームデータに対応する立体像６０を囲う直方体領域６１の側面に表示された補助画像５０に対する操作を受け付けることができる。
【００７２】
次に、図８に示すように左斜認知画像の側面領域６３にサムネイル画像群５２により構成された補助画像５０が表示され、ユーザＵによりサムネイル画像群５２に対する入力が行われる場合の例についてより詳細に説明する。
【００７３】
図１１は、図９のステップＳ３で制御部１４によりサムネイル画像群５２に対する入力に応じた機能が実行される際の手順を示すサブルーチンフローチャートである。図１１において、Ｓに数字を付した符号は、フローチャートの各ステップを示す。
【００７４】
また、図１２は、左斜認知画像の側面領域６３に表示されたサムネイル画像群５２のサムネイル画像５２ａの１つにポインタ７０が重ねられた（ホバーされた）様子を示す説明図である。また、図１３（ａ）は、図１２に示す例においてポインタ７０を介して選択されたサムネイル画像５２ａに対応する立体像６０ａが左斜認知画像に表示される様子の一例を示す説明図であり、（ｂ）は、サムネイル画像５２ａに対応する立体像６０ａが正面近傍認知画像に表示される様子の一例を示す説明図である。
【００７５】
図１２および図１３には、あらかじめ正面近傍認知画像に表示された立体像６０を四角すい体で示し、選択（ポインタ７０がホバー）されたサムネイル画像５２ａを直方体で示した。
【００７６】
ポインタ７０が側面にあると判定すると（図９のステップＳ２のＹＥＳ）、入力受付部３１は、入力部１１を介したポインタ７０などの操作によりサムネイル画像群５２の複数のサムネイル画像５２ａの１つが選択されたか否かを判定する（ステップＳ３１）。
【００７７】
この「選択」のための操作としては、サムネイル画像５２ａの画像上にポインタ７０を載せるいわゆるホバー操作や、サムネイル画像５２ａの１つをポインタ７０によりクリックする操作や、入力部１１を構成するキーボードの所定のキーを押下する操作などの様々な操作のうち、１つまたは複数をあらかじめ割り当てておくことができる。たとえば、ホバー操作を選択のための操作として割り当てておく場合、ポインタ管理部３１ａは、ステップＳ３１において、サムネイル画像５２ａの１つにポインタ７０がホバーされたか否かを判定する。
【００７８】
サムネイル画像５２ａの１つに対する選択が行われていない場合（ステップＳ３１のＮＯ）は、引き続き補助画像５０に対する入力を受け付けるべく図９のステップＳ２に戻る。一方、サムネイル画像５２ａの１つが選択された場合（ステップＳ３１のＹＥＳ）は、多視点レンダリング画像生成部３２は、選択されたサムネイル画像５２ａに対応する立体像６０ａが正面近傍の視点Ａ１〜Ａｎで立体視可能なように、選択されたサムネイル画像５２ａに対応する複数の正面近傍視点ＶＲ画像を生成する（ステップＳ３２）。このとき、多視点レンダリング画像生成部３２は、選択されたサムネイル画像５２ａに対応する斜視点ＶＲ画像をさらに生成してもよい。
【００７９】
次に、多視点画像生成部３４は、選択されたサムネイル画像５２ａに対応する立体像６０ａが正面近傍の視点Ａ１〜Ａｎで立体視可能なように（図１３（ｂ）参照）、選択されたサムネイル画像５２ａに対応する正面近傍視点ＶＲ画像のみからなる正面近傍視点画像を複数生成する（ステップＳ３３）。このとき、多視点画像生成部３４は、多視点レンダリング画像生成部３２により選択されたサムネイル画像５２ａに対応する斜視点ＶＲ画像が生成されていれば、この斜視点ＶＲ画像に対して補助画像を重畳して斜視点画像をさらに生成してもよい（図１３（ａ）参照）。斜視点ＶＲ画像が生成されていない場合は、多視点画像生成部３４は、補助画像のみからなる斜視点画像を生成してもよい。
【００８０】
そして、多視点画像出力部３５は、裸眼３Ｄディスプレイ２２に、正面近傍視点画像および斜視点画像からなる多視点画像を出力する（ステップＳ３４）。
【００８１】
以上の手順により、サムネイル画像群５２の１つが選択されると、選択されたサムネイル画像５２ａの正面近傍視点画像を生成して裸眼３Ｄディスプレイに出力することができる。
【００８２】
次に、図８に示すように右斜認知画像の側面領域６３に操作パネル５５により構成された補助画像５０が表示され、ユーザＵにより操作パネル５５に対する入力が行われる場合の例についてより詳細に説明する。
【００８３】
図１４は、図９のステップＳ３で制御部１４により、操作パネル５５を介して受け付けたレンダリングモードの変更指示に応じた機能が実行される際の手順を示すサブルーチンフローチャートである。図１４において、Ｓに数字を付した符号は、フローチャートの各ステップを示す。
【００８４】
ポインタ７０が側面にあると判定すると（図９のステップＳ２のＹＥＳ）、入力受付部３１は、入力部１１を介したポインタ７０などの操作により、操作パネル５５を介してレンダリングリングモードの変更指示が受け付けられたか否かを判定する（ステップＳ３２１）。
【００８５】
この「変更指示」のための操作としては、レンダリングモードの変更指示機能が割り当てられた操作パネル５５のソフトキーの画像上にポインタ７０を載せるいわゆるホバー操作や、クリック操作や、入力部１１を構成するキーボードの所定のキーを押下する操作など、様々な操作をあらかじめ割り当てておくとよい。たとえば、クリック操作を変更指示のための操作として割り当てておく場合、入力受付部３１のポインタ管理部３１ａは、ステップＳ３２１において、レンダリングモードの変更指示機能が割り当てられた操作パネル５５のソフトキーがクリックされたか否かを判定する。
【００８６】
レンダリングモードの変更指示がない場合（ステップＳ３２１のＮＯ）は、引き続き補助画像５０に対する入力を受け付けるべく図９のステップＳ２に戻る。一方、レンダリングモードの変更指示を受け付けると（ステップＳ３２１のＹＥＳ）、多視点レンダリング画像生成部３２は、ボリュームデータにもとづいて少なくとも正面近傍の視点Ａ１〜Ａｎで変更後のレンダリングモードによりボリュームレンダリングを行い、新たに正面近傍視点ＶＲ画像を生成する（ステップＳ３２２）。このとき、多視点レンダリング画像生成部３２は、変更後のレンダリングモードによりボリュームデータにもとづいて斜視点ＶＲ画像をさらに生成してもよい。
【００８７】
次に、多視点画像生成部３４は、変更後のレンダリングモードによるボリュームデータに対応する立体像が正面近傍の視点Ａ１〜Ａｎで立体視可能なように、新たに生成された正面近傍視点ＶＲ画像のみからなる正面近傍視点画像を複数生成する（ステップＳ３２３）。このとき、多視点画像生成部３４は、多視点レンダリング画像生成部３２により変更後のレンダリングモードでボリュームデータにもとづく斜視点ＶＲ画像が生成されていれば、この斜視点ＶＲ画像に対して補助画像を重畳して斜視点画像をさらに生成してもよい。斜視点ＶＲ画像が生成されていない場合は、多視点画像生成部３４は、補助画像のみからなる斜視点画像を生成してもよい。
【００８８】
そして、多視点画像出力部３５は、裸眼３Ｄディスプレイ２２に、正面近傍視点画像および斜視点画像からなる多視点画像を出力する（ステップＳ３４）。
【００８９】
以上の手順により、操作パネル５５を介してレンダリングモードの変更指示が受け付けられると、変更後のレンダリングモードでボリュームデータをボリュームレンダリングした正面近傍視点画像を生成して裸眼３Ｄディスプレイに出力することができる。
【００９０】
本実施形態に係る医用画像処理装置１０は、裸眼３Ｄディスプレイ２２を用いることにより、ボリュームデータに対応する立体像６０の表示領域に対して、補助画像５０の表示位置を、３次元空間内で自由に配置することができる。また、本実施形態に示すように補助画像５０を、ボリュームデータに対応する立体像６０を囲う直方体領域６１の側面に配置する場合、図８に示すように、正面近傍認知画像には側面領域６３が含まれない。このため、正面近傍認知画像の全ての表示領域は立体像６０を表示するために用いることができ、補助画像５０が立体像６０の表示画像を侵食することがない。したがって、ユーザＵは、立体像６０をしっかりと観察したい場合は、裸眼３Ｄディスプレイ２２の正面近傍に位置することにより、補助画像５０を含まない立体像６０を認識することができる。
【００９１】
また、ユーザＵは、位置を左（または右）にずらすことにより、補助画像５０が表示される側面領域６３を含む左斜認知画像（または右斜認知画像）を認識することができる。このため、本実施形態に係る医用画像診断装置１０によれば、ユーザＵは、自らの位置を左（または右）にずらすだけで、補助画像５０を視認することができ、補助画像５０に対する各種操作を行うことができる。
【００９２】
したがって、本実施形態に係る医用画像処理装置１０によれば、ボリュームデータに対応する立体像６０を邪魔しないように補助画像５０を表示させることができるとともに、補助画像５０を介した立体像６０に対する操作を容易に受け付けることができる。
【００９３】
また、たとえば左斜認知画像と右斜認知画像の側面領域６３に同一の補助画像５０を配置した場合、補助画像５０に対する入力を行うためのポインタ７０の左右方向の移動距離は、画面横幅のほぼ半分以下にできる。また、上下斜認知画像の側面領域６３に同一の補助画像５０を配置した場合、ポインタ７０の移動距離を画面縦幅のほぼ半分以下にできる。この場合、ユーザＵは補助画像５０に対する入力のためのポインタ７０の操作量を減らすことができ、便利である。
【００９４】
また、裸眼３Ｄディスプレイ２２に代えて眼鏡式の３Ｄディスプレイを用いてもよい。裸眼３Ｄディスプレイ２２を用いる場合には、専用の眼鏡を用いる方式の３Ｄディスプレイで必要とされる眼鏡が不要となるため、術者はめがねの着脱にかかる手間を省くことができる。
【００９５】
また、上記説明では多視点画像生成部３４が視点ＶＲ画像と補助画像とを重畳する場合の例について示したが、あらかじめ記憶部１２に記憶されたボリュームデータに対して補助画像が配置された補助画像付きボリュームデータを作成しておいても良い。この場合、多視点レンダリング画像生成部３２により生成された多視点ＶＲ画像は、そのまま多視点画像として用いることができ、多視点画像生成部３４は不要となる。
【００９６】
また、あらかじめ補助画像付きボリュームデータを作成しておく場合、斜視点画像における補助画像５０が、対応する視点においてユーザＵに正対するようにしてもよい。この場合、補助画像５０がユーザＵに正対することにより、側面に貼り付けられた補助画像５０が傾いて視認される場合（図８の左斜認知画像や右斜認知画像参照）にくらべ、補助画像５０をユーザＵにとってより視認しやすくすることができる。
【００９７】
また、医用画像処理装置１０が位置センサ２３からユーザ位置情報が取得可能に構成される場合は、入力受付部３１は、ユーザＵが上下左右の斜め位置にいるか否かを判定し、斜め位置にいる場合のみ補助画像５０を介した入力を受け付け（図９のステップＳ２からＳ３への移行を許可し）、正面近傍にいる場合には補助画像５０を介した入力を受け付けない（図９のステップＳ２からＳ３への移行を禁止する）ようにしてもよい。
【００９８】
また、入力部１１の操作に応じて補助画像５０の一部または全部を立体表示可能なように、多視点画像生成部３４は、補助画像５０が含まれる斜視点画像を複数生成してもよい。この場合、多視点画像生成部３４は、裸眼３Ｄディスプレイ２２で表示されると補助画像５０が立体視可能なように、補助画像５０を複数の斜視点からみた複数の視点補助画像を生成するとよい。このとき、多視点画像生成部３４は、補助画像５０のうちユーザＵにより入力部１１を介して選択された状態またはユーザＵにより選択可能な状態にあるソフトキーなど（以下、選択部分という）があると、この選択部分の情報を入力受付部３１から取得し、この補助画像５０の選択部分が立体視可能なように、複数の視点補助画像を生成して、複数の視点レンダリング画像のそれぞれと複数の視点補助画像のそれぞれとを重畳して複数の斜視点画像を生成してもよい。この場合、ユーザＵは、たとえば操作パネル５５の１つのソフトキーにポインタ７０をホバーすることにより、このソフトキーの立体視画像を認識することができ、自らが選択しているソフトキーがどのソフトキーであるかを明確に知ることができる。
【００９９】
また、正面近傍視点画像は１つのＶＲ画像により構成してもよい。このとき、ユーザＵの入力部１１を介した操作に応じてこのＶＲ画像を回転させるとともに、このＶＲ画像の回転とともに、直方体領域６１および直方体領域６１の側面に貼り付けられて配置された補助画像５０を回転させるとよい。たとえば、ユーザＵがポインタ７０を用いてＶＲ画像を所定方向にいわゆるドラッグする操作を行うと、多視点画像生成部３４は、ＶＲ画像が補助画像５０とともに回転するように、ユーザＵのポインタ７０操作に応じて正面近傍視点画像を順次生成する。この場合、ユーザＵのポインタ７０の操作に応じて、ＶＲ画像の回転とともに正面近傍認知画像に対して補助画像５０を重畳させることができる。このため、ユーザＵは、自らが移動することなく、ポインタ７０を操作してＶＲ画像を回転させることにより、補助画像５０を必要に応じて正面近傍認知画像の手前に表示させることができる。
【０１００】
図１５は、左斜認知画像および右斜認知画像の変形例を示す説明図である。
【０１０１】
多視点画像生成部３４は、正面近傍視点画像は正面近傍視点ＶＲ画像のみで構成する一方、斜視点画像は補助画像５０のみで構成してもよい。このとき、斜視点画像の補助画像５０は、対応する視点においてユーザＵに正対するようにしてもよい。この場合、図１５に示すように、正面近傍認知画像には立体像６０のみが含まれ、左右斜認知画像には補助画像５０のみが含まれる。また、正面近傍視点ＶＲ画像を立体視させずともよい場合は、多視点レンダリング画像生成部３２は１つの正面近傍視点ＶＲ画像を生成すればよく、同一の正面近傍視点ＶＲ画像が視差成分画像として複数の正面近傍視点で観察されてもよい。この場合、正面近傍認知画像は２次元のＶＲ画像としてユーザＵに視認される。
【０１０２】
（第２の実施形態）
次に、本発明に係る３次元画像処理装置および３次元画像処理プログラムの第２実施形態について説明する。
【０１０３】
第２実施形態に係る医用画像処理装置１０は、補助画像５０が、ボリュームデータに対応する立体像６０の背後に配置される点で第１実施形態に係る医用画像処理装置１０と異なる。他の構成および作用については図１に示す医用画像処理装置１０と実質的に異ならないため、同じ構成には同一符号を付して説明を省略する。
【０１０４】
図１６は、ボリュームデータに対応する立体像６０の背後に補助画像５０が表示される際の様子の一例を示す説明図である。
【０１０５】
図１６に示すように、多視点画像生成部３４は、補助画像５０がボリュームデータに対応する立体像６０の背後に配置されるよう、複数の正面近傍視点ＶＲ画像のそれぞれと補助画像５０とを重畳して多視点画像を生成してもよい。
【０１０６】
この場合、ユーザＵは、正面近傍視点から裸眼３Ｄディスプレイ２２を見ると、立体像６０の背後に補助画像５０が隠れた正面近傍認知画像を認識することになる。したがって、ユーザＵは、裸眼３Ｄディスプレイ２２の正面近傍に位置することで、補助画像５０にさえぎられることなく立体像６０を見ることができる。また、ユーザＵが補助画像５０に対する操作を所望した場合に備え、ユーザＵの入力部１１に対する操作やシステムの状態等に応じて、補助画像５０と立体像６０との前後関係を入れ替える。
【０１０７】
補助画像５０を立体像６０の前面に配置するためのユーザＵの入力部１１に対する操作としては、たとえば立体像６０の表示領域を除く表示領域でポインタ７０をクリックする操作や、立体像６０の奥に表示された補助画像５０に対するクリック操作や、入力部１１のキーボード等に対する所定の操作などが挙げられる。また、補助画像５０を立体像６０の前面に配置するきっかけとなるシステムの状態としては、たとえば所定時間以上ユーザＵによる入力部１１に対する操作がない場合や、いわゆるスクリーンセーバやスタンバイ状態からの復帰時などが挙げられる。
【０１０８】
また、補助画像５０を立体像６０の前面に配置する際には、補助画像５０の透明度を設定して半透明表示とすることにより、補助画像５０の裏側に隠れる立体像６０を補助画像５０越しに視認可能とするとよい。この透明度は、あらかじめ設定されて記憶部１２に記憶された設定値を用いてもよいし、ユーザＵにより入力部１１を介して設定されてもよい。
【０１０９】
本実施形態に係る医用画像処理装置１０によっても、裸眼３Ｄディスプレイ２２を用いることにより、ボリュームデータに対応する立体像６０の表示領域に対して、補助画像５０の表示位置を、３次元空間内で自由に配置することができる。また、本実施形態に示すように補助画像５０を、ボリュームデータに対応する立体像６０の背後に配置する場合、図１６に示すように、正面近傍認知画像において、補助画像５０は立体像６０の背後に表示される。このため、本実施形態に係る医用画像処理装置１０によっても補助画像５０に侵食されない立体像６０を観察することができる。
【０１１０】
また、本実施形態に係る医用画像処理装置１０は、ユーザＵの入力部１１に対する操作やシステムの状態等に応じて、補助画像５０と立体像６０との前後関係を入れ替えることができる。このため、本実施形態に係る医用画像処理装置１０によっても、ボリュームデータに対応する立体像６０を邪魔しないように補助画像５０を表示させることができるとともに、補助画像５０を介した立体像６０に対する操作を容易に受け付けることができる。
【０１１１】
（第３の実施形態）
次に、本発明に係る３次元画像処理装置および３次元画像処理プログラムの第３実施形態について説明する。
【０１１２】
第３実施形態に係る医用画像処理装置１０は、補助画像５０およびボリュームデータに対応する立体像６０が、１つの画面の分割領域内に配置される点で医用画像処理装置１０と異なる。他の構成および作用については図１に示す医用画像処理装置１０と実質的に異ならないため、同じ構成には同一符号を付して説明を省略する。
【０１１３】
図１７は、正面近傍認知画像が、所定の画面レイアウトに応じて１つの画面の分割領域内に補助画像５０および立体像６０が表示される様子の一例を示す説明図である。図１７には、１つの画面が、立体像６０を表示するための主画像領域８１と、補助画像５０の操作パネル５５を表示するための補助領域８２と、他のレンダリングモードによる画像などのその他の画像を表示するための副画像領域８３と、に分割される場合の例について示した。なお、主画像領域８１に表示される画像は、立体像６０でなくてもよく、二次元のＶＲ画像であってもよい。
【０１１４】
図１７に示すように、多視点画像生成部３４が、１つの画面の分割領域内に補助画像５０および立体像６０が表示されるように正面近傍視点画像を作成した場合、立体像６０が表示される領域（主画像領域８１）は、他の表示領域（補助領域８２および副画像領域８３）により侵食されてしまう。
【０１１５】
そこで、入力受付部３１によりポインタ７０が立体像６０にホバーされたことが検知されると、多視点画像生成部３４は、立体像６０の表示サイズを拡大した拡大立体像６０ｂを含む正面近傍視点画像を再生成する（図１７左下参照）。また、入力受付部３１によりポインタ７０が補助領域８２にホバーされたことが検知されると、多視点画像生成部３４は、補助領域８２の操作パネル５５の表示サイズを拡大した拡大補助画像５０ａを含む正面近傍視点画像を再生成する（図１７右下参照）。また、多視点画像生成部３４は、操作パネル５５を拡大する際に、操作パネル５５を立体視可能なように複数の正面近傍視点画像を生成してもよい。
【０１１６】
本実施形態に係る医用画像処理装置１０によれば、１つの画面の分割領域内に補助画像５０および立体像６０が表示される場合であっても、ユーザＵの操作に応じて、適宜立体像６０や補助画像５０を拡大表示することができる。このため、本実施形態に係る医用画像処理装置１０によっても、ボリュームデータに対応する立体像６０を邪魔しないように補助画像５０を表示させることができるとともに、補助画像５０を介した立体像６０に対する操作を容易に受け付けることができる。
【０１１７】
なお、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【０１１８】
また、本発明の実施形態では、フローチャートの各ステップは、記載された順序に沿って時系列的に行われる処理の例を示したが、必ずしも時系列的に処理されなくとも、並列的あるいは個別実行される処理をも含むものである。
【符号の説明】
【０１１９】
１０ 医用画像処理装置
１１ 入力部
１２ 記憶部
１３ ネットワーク接続部
１４ 制御部
２０ モダリティ
２１ ネットワーク
２２ 裸眼３Ｄディスプレイ
２３ 位置センサ
３１ 入力受付部
３１ａ ポインタ管理部
３２ 多視点レンダリング画像生成部
３３ 補助画像生成部
３４ 多視点画像生成部
３５ 多視点画像出力部
３６ ユーザ位置情報取得部
５０ 補助画像
６０ 立体像
６１ 直方体領域
６２ 正面領域
６３ 側面領域
７０ ポインタ
８１ 主画像領域
８２ 補助領域
８３ 副画像領域
【特許請求の範囲】
【請求項１】
ボリュームデータにもとづいて複数の視点でボリュームレンダリングを行うことにより、複数の視点レンダリング画像を生成する多視点レンダリング画像生成部と、
ソフトキーの画像、付帯情報を示す画像その他の補助画像を生成する補助画像生成部と、
前記補助画像が前記ボリュームデータに対応する立体像を囲う３次元領域の前面を除く周囲の所定の位置に配置されるよう、前記視点レンダリング画像と前記補助画像とを重畳した視点画像を含む複数の視点画像を生成する多視点画像生成部と、
前記複数の視点画像のそれぞれを視差成分画像として異なる方向に射出する裸眼３Ｄディスプレイ装置に、前記複数の視点画像を出力する多視点画像出力部と、
を備えた３次元画像処理装置。
【請求項２】
前記多視点画像生成部は、
前記複数の視点レンダリング画像のうち正面近傍視点レンダリング画像には前記補助画像を重畳させずに正面近傍視点画像を生成する一方、前記正面近傍の視点の前記視点レンダリング画像を除く斜視点レンダリング画像には前記補助画像を重畳して斜視点画像を生成し、
前記多視点画像出力部は、
前記裸眼３Ｄディスプレイ装置が、正面近傍方向に前記正面近傍視点画像を射出し、前記正面近傍方向を除く方向に前記斜視点画像を射出するよう、前記裸眼３Ｄディスプレイ装置に前記複数の視点画像を出力する、
請求項１記載の３次元画像処理装置。
【請求項３】
前記多視点画像生成部は、
前記補助画像が前記ボリュームデータに対応する立体像を囲う直方体領域の側面に貼り付けて配置されるよう、前記複数の視点レンダリング画像のうち前記斜視点レンダリング画像と前記補助画像とを重畳する、
請求項２記載の３次元画像処理装置。
【請求項４】
前記裸眼３Ｄディスプレイ装置に表示されたポインタの３次元座標を取得し、前記補助画像に対する入力を受け付けるポインタ管理部、
をさらに備えた、
請求項１ないし３のいずれか１項に記載の３次元画像処理装置。
【請求項５】
前記多視点レンダリング画像生成部は、
ユーザにより入力部を介して前記補助画像を介したレンダリングモードの変更指示が受け付けられると、前記ボリュームデータにもとづいて前記正面近傍の視点で変更後のレンダリングモードによりボリュームレンダリングを行い、新たに複数の視点レンダリング画像を生成し、
前記多視点画像生成部は、
前記変更後のレンダリングモードによる前記ボリュームデータに対応する前記立体像が前記正面近傍の視点で立体視可能なように、新たに生成された視点レンダリング画像のみからなる前記正面近傍視点画像を複数生成する、
請求項１ないし４のいずれか１項に記載の３次元画像処理装置。
【請求項６】
前記多視点レンダリング画像生成部は、
ユーザにより入力部を介して前記補助画像に含まれた複数のサムネイル画像の１つに対する選択が受け付けられると、前記選択されたサムネイル画像に対応する立体像が前記正面近傍の視点で立体視可能なように、前記選択されたサムネイル画像に対応する前記複数の視点レンダリング画像を生成し、
前記多視点画像生成部は、
前記選択されたサムネイル画像に対応する立体像が前記正面近傍の視点で立体視可能なように、前記選択されたサムネイル画像に対応する視点レンダリング画像のみからなる前記正面近傍視点画像を複数生成する、
請求項１ないし５のいずれか１項に記載の３次元画像処理装置。
【請求項７】
前記多視点画像生成部は、
前記補助画像が前記ボリュームデータに対応する立体像の背後に配置されるよう、前記複数の視点レンダリング画像のそれぞれと前記補助画像とを重畳して前記複数の視点画像を生成する、
請求項１記載の３次元画像処理装置。
【請求項８】
前記多視点画像生成部は、
ユーザによる入力部を介した指示に応じて、前記視点画像における前記補助画像と前記視点レンダリング画像の前後関係を変更するとともに、前記補助画像を前記視点レンダリング画像の前面に表示する際は前記補助画像を半透明画像とする、
請求項７記載の３次元画像処理装置。
【請求項９】
前記多視点画像生成部は、
ユーザによる入力部に対する操作が所定時間以上行われないと、前記視点画像における前記補助画像を前記視点レンダリング画像の前面に表示するとともに前記補助画像を半透明画像とする、
請求項７記載の３次元画像処理装置。
【請求項１０】
前記多視点画像生成部は、
前記複数の視点画像のうち、正面近傍視点画像の所定の表示領域に前記視点レンダリング画像を配置するとともに前記正面近傍視点画像の他の表示領域に前記補助画像を配置し、ユーザにより入力部を介して前記視点レンダリング画像が選択されるとこの視点レンダリング画像を拡大表示するよう前記正面近傍視点画像を再度生成する一方、ユーザにより入力部を介して前記補助画像が選択されるとこの補助画像を拡大表示するよう前記正面近傍視点画像を再度生成する、
請求項１記載の３次元画像処理装置。
【請求項１１】
前記多視点画像生成部は、
前記裸眼３Ｄディスプレイ装置で表示されると前記補助画像が立体視可能なように、前記補助画像を複数の視点からみた複数の視点補助画像を生成して前記複数の視点レンダリング画像のそれぞれと前記複数の視点補助画像のそれぞれとを重畳する、
請求項１ないし１０のいずれか１項に記載の３次元画像処理装置。
【請求項１２】
前記多視点画像生成部は、
前記補助画像のうちユーザにより入力部を介して選択された状態または選択可能な状態にあるものについて立体視可能なように、前記複数の視点補助画像を生成して、記複数の視点レンダリング画像のそれぞれと前記複数の視点補助画像のそれぞれとを重畳する、
請求項１１記載の３次元画像処理装置。
【請求項１３】
コンピュータに、
ボリュームデータにもとづいて複数の視点でボリュームレンダリングを行うことにより、複数の視点レンダリング画像を生成するステップと、
ソフトキーの画像、付帯情報を示す画像その他の補助画像を生成するステップと、
前記補助画像が前記ボリュームデータに対応する立体像を囲う３次元領域の前面を除く周囲に配置されるよう、前記視点レンダリング画像と前記補助画像とを重畳した複数の視点画像を含む複数の視点画像を生成するステップと、
前記多視点画像のそれぞれを異なる方向に射出する裸眼３Ｄディスプレイ装置に、前記複数の視点画像を出力するステップと、
を実行させるための３次元画像処理プログラム。
【請求項１】
ボリュームデータにもとづいて複数の視点でボリュームレンダリングを行うことにより、複数の視点レンダリング画像を生成する多視点レンダリング画像生成部と、
ソフトキーの画像、付帯情報を示す画像その他の補助画像を生成する補助画像生成部と、
前記補助画像が前記ボリュームデータに対応する立体像を囲う３次元領域の前面を除く周囲の所定の位置に配置されるよう、前記視点レンダリング画像と前記補助画像とを重畳した視点画像を含む複数の視点画像を生成する多視点画像生成部と、
前記複数の視点画像のそれぞれを視差成分画像として異なる方向に射出する裸眼３Ｄディスプレイ装置に、前記複数の視点画像を出力する多視点画像出力部と、
を備えた３次元画像処理装置。
【請求項２】
前記多視点画像生成部は、
前記複数の視点レンダリング画像のうち正面近傍視点レンダリング画像には前記補助画像を重畳させずに正面近傍視点画像を生成する一方、前記正面近傍の視点の前記視点レンダリング画像を除く斜視点レンダリング画像には前記補助画像を重畳して斜視点画像を生成し、
前記多視点画像出力部は、
前記裸眼３Ｄディスプレイ装置が、正面近傍方向に前記正面近傍視点画像を射出し、前記正面近傍方向を除く方向に前記斜視点画像を射出するよう、前記裸眼３Ｄディスプレイ装置に前記複数の視点画像を出力する、
請求項１記載の３次元画像処理装置。
【請求項３】
前記多視点画像生成部は、
前記補助画像が前記ボリュームデータに対応する立体像を囲う直方体領域の側面に貼り付けて配置されるよう、前記複数の視点レンダリング画像のうち前記斜視点レンダリング画像と前記補助画像とを重畳する、
請求項２記載の３次元画像処理装置。
【請求項４】
前記裸眼３Ｄディスプレイ装置に表示されたポインタの３次元座標を取得し、前記補助画像に対する入力を受け付けるポインタ管理部、
をさらに備えた、
請求項１ないし３のいずれか１項に記載の３次元画像処理装置。
【請求項５】
前記多視点レンダリング画像生成部は、
ユーザにより入力部を介して前記補助画像を介したレンダリングモードの変更指示が受け付けられると、前記ボリュームデータにもとづいて前記正面近傍の視点で変更後のレンダリングモードによりボリュームレンダリングを行い、新たに複数の視点レンダリング画像を生成し、
前記多視点画像生成部は、
前記変更後のレンダリングモードによる前記ボリュームデータに対応する前記立体像が前記正面近傍の視点で立体視可能なように、新たに生成された視点レンダリング画像のみからなる前記正面近傍視点画像を複数生成する、
請求項１ないし４のいずれか１項に記載の３次元画像処理装置。
【請求項６】
前記多視点レンダリング画像生成部は、
ユーザにより入力部を介して前記補助画像に含まれた複数のサムネイル画像の１つに対する選択が受け付けられると、前記選択されたサムネイル画像に対応する立体像が前記正面近傍の視点で立体視可能なように、前記選択されたサムネイル画像に対応する前記複数の視点レンダリング画像を生成し、
前記多視点画像生成部は、
前記選択されたサムネイル画像に対応する立体像が前記正面近傍の視点で立体視可能なように、前記選択されたサムネイル画像に対応する視点レンダリング画像のみからなる前記正面近傍視点画像を複数生成する、
請求項１ないし５のいずれか１項に記載の３次元画像処理装置。
【請求項７】
前記多視点画像生成部は、
前記補助画像が前記ボリュームデータに対応する立体像の背後に配置されるよう、前記複数の視点レンダリング画像のそれぞれと前記補助画像とを重畳して前記複数の視点画像を生成する、
請求項１記載の３次元画像処理装置。
【請求項８】
前記多視点画像生成部は、
ユーザによる入力部を介した指示に応じて、前記視点画像における前記補助画像と前記視点レンダリング画像の前後関係を変更するとともに、前記補助画像を前記視点レンダリング画像の前面に表示する際は前記補助画像を半透明画像とする、
請求項７記載の３次元画像処理装置。
【請求項９】
前記多視点画像生成部は、
ユーザによる入力部に対する操作が所定時間以上行われないと、前記視点画像における前記補助画像を前記視点レンダリング画像の前面に表示するとともに前記補助画像を半透明画像とする、
請求項７記載の３次元画像処理装置。
【請求項１０】
前記多視点画像生成部は、
前記複数の視点画像のうち、正面近傍視点画像の所定の表示領域に前記視点レンダリング画像を配置するとともに前記正面近傍視点画像の他の表示領域に前記補助画像を配置し、ユーザにより入力部を介して前記視点レンダリング画像が選択されるとこの視点レンダリング画像を拡大表示するよう前記正面近傍視点画像を再度生成する一方、ユーザにより入力部を介して前記補助画像が選択されるとこの補助画像を拡大表示するよう前記正面近傍視点画像を再度生成する、
請求項１記載の３次元画像処理装置。
【請求項１１】
前記多視点画像生成部は、
前記裸眼３Ｄディスプレイ装置で表示されると前記補助画像が立体視可能なように、前記補助画像を複数の視点からみた複数の視点補助画像を生成して前記複数の視点レンダリング画像のそれぞれと前記複数の視点補助画像のそれぞれとを重畳する、
請求項１ないし１０のいずれか１項に記載の３次元画像処理装置。
【請求項１２】
前記多視点画像生成部は、
前記補助画像のうちユーザにより入力部を介して選択された状態または選択可能な状態にあるものについて立体視可能なように、前記複数の視点補助画像を生成して、記複数の視点レンダリング画像のそれぞれと前記複数の視点補助画像のそれぞれとを重畳する、
請求項１１記載の３次元画像処理装置。
【請求項１３】
コンピュータに、
ボリュームデータにもとづいて複数の視点でボリュームレンダリングを行うことにより、複数の視点レンダリング画像を生成するステップと、
ソフトキーの画像、付帯情報を示す画像その他の補助画像を生成するステップと、
前記補助画像が前記ボリュームデータに対応する立体像を囲う３次元領域の前面を除く周囲に配置されるよう、前記視点レンダリング画像と前記補助画像とを重畳した複数の視点画像を含む複数の視点画像を生成するステップと、
前記多視点画像のそれぞれを異なる方向に射出する裸眼３Ｄディスプレイ装置に、前記複数の視点画像を出力するステップと、
を実行させるための３次元画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１０】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１０】
【図１７】
【公開番号】特開２０１２−２３８２８９（Ｐ２０１２−２３８２８９Ａ）
【公開日】平成２４年１２月６日（２０１２．１２．６）
【国際特許分類】
【出願番号】特願２０１１−１０８５８１（Ｐ２０１１−１０８５８１）
【出願日】平成２３年５月１３日（２０１１．５．１３）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【出願人】（５９４１６４５４２）東芝メディカルシステムズ株式会社 (4,066)
【Ｆターム（参考）】
【公開日】平成２４年１２月６日（２０１２．１２．６）
【国際特許分類】
【出願日】平成２３年５月１３日（２０１１．５．１３）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【出願人】（５９４１６４５４２）東芝メディカルシステムズ株式会社 (4,066)
【Ｆターム（参考）】
[ Back to top ]