３Ｄ表示処理システム
【課題】３Ｄ表示処理システムにおいて、３Ｄ表示装置３０によって立体視される画像上で、注目点を３次元的に示すこと。
【解決手段】３Ｄ表示処理システム１は、被検体像を含むボリュームデータに対してレンダリング処理を行なって複数視線に対応する第１の３次元画像データを生成する基準画像生成部４２と、操作者が複数視線の中心視線に直交する投影面上の位置及び中心視線の方向の位置を設定操作するための操作装置１０と、投影面位置に基づいてカーソル像を配置した複数視線に対応する第２の３次元画像データを生成する平面位置確定用画像生成部４４と、複数視線に対応する第１の３次元画像データ、または、複数視線に対応する第２の３次元画像データに基づいて３Ｄ表示を行なう３Ｄ表示装置３０と、を有する。
【解決手段】３Ｄ表示処理システム１は、被検体像を含むボリュームデータに対してレンダリング処理を行なって複数視線に対応する第１の３次元画像データを生成する基準画像生成部４２と、操作者が複数視線の中心視線に直交する投影面上の位置及び中心視線の方向の位置を設定操作するための操作装置１０と、投影面位置に基づいてカーソル像を配置した複数視線に対応する第２の３次元画像データを生成する平面位置確定用画像生成部４４と、複数視線に対応する第１の３次元画像データ、または、複数視線に対応する第２の３次元画像データに基づいて３Ｄ表示を行なう３Ｄ表示装置３０と、を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の一態様としての実施形態は、多視差画像を用いて３Ｄ表示（３次元表示、立体表示）を行なう場合に適用される３Ｄ表示処理システムに関する。
【背景技術】
【０００２】
今日、多視差画像（例えば、９視差画像）を用いて３Ｄ表示を行なう技術が開発され、医療業界においても、複数視線に相当する複数のレンダリング画像を用いて３Ｄ表示を行なう技術のニーズ技術が高まってきている。３Ｄ表示を行なう技術では、裸眼式（パララックスバリア方式及びレンチキュラーレンズ方式等）や、眼鏡式（アナグリフ方式、フレームシーケンシャル方式、及び偏光方式等）が採用される。
【０００３】
裸眼式では、レンチキュラーレンズ等の光線制御子を用いて、複数視点で撮影された多視差画像を裸眼にて立体視可能なシステムが実用化されている。眼鏡式では、立体視用眼鏡等の専用機器を用いて、２つの視点から撮影された２視差画像（両眼視差画像）を立体視可能なシステムが実用化されている。なお、立体視可能な３Ｄ表示装置にて表示される２視差画像や９視差画像は、１視点から撮影された画像の奥行き情報を推定し、推定した情報を用いた画像処理により生成される場合もある。
【０００４】
なお、従来技術として、生成されたレンダリング画像を表示エリアに表示し、表示エリア上の所定位置にマークをレンダリング画像上に重ねて表示する技術がある（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１１−３６４７４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
裸眼式を採用して３Ｄ表示を行なう場合、３Ｄ表示用の表示装置が必要である。そして、観察者が表示装置上のカーソルの操作を行なっても、表示装置の表示面に直接にカーソルが表示されてしまうという問題がある。表示装置によって表示される画像は観察者には３Ｄとして見えているので、観察者は、カーソルを、見えている３Ｄ上の点に合わせたくても、３Ｄ上の点に合わせることはできない。従来のインターフェースでは、奥行方向（表示装置の垂線方向）は表現できず、２Ｄでしか表現できないためである。
【０００７】
また、眼鏡式を採用して３Ｄ表示を行なう場合も同様に、表示装置の表示面に直接にカーソルが表示されてしまうという問題がある。
【課題を解決するための手段】
【０００８】
本実施形態の３Ｄ表示処理システムは、上述した課題を解決するために、被検体像を含むボリュームデータに対してレンダリング処理を行なって複数視線に対応する第１の３次元画像データを生成する第１画像生成手段と、操作者が前記複数視線の中心視線に直交する投影面上の位置及び中心視線の方向の位置を設定操作するための操作手段と、前記投影面上の位置に基づいてカーソル像を配置した複数視線に対応する第２の３次元画像データを生成する第２画像生成手段と、前記複数視線に対応する第１の３次元画像データ、または、前記複数視線に対応する第２の３次元画像データに基づいて３Ｄ表示を行なう表示手段と、を有する。
【図面の簡単な説明】
【０００９】
【図１】第１実施形態の３Ｄ表示処理システムを示す概略図。
【図２】第１実施形態の３Ｄ表示処理システムに備える操作装置の構造を示す概略図。
【図３】（ａ）は、第１実施形態の３Ｄ表示処理システムに備える３Ｄ表示装置の構造を示す概略図であり、（ｂ）は、図３（ａ）に示すＩ−Ｉ断面図。
【図４】第１実施形態の３Ｄ表示処理システムの構成を示すブロック図。
【図５】第１実施形態の３Ｄ表示処理システムの機能を示すブロック図。
【図６】基準モード及び立体位置確定モードにおいて、立体視される被検体像の違いを説明するための図。
【図７】カーソル像の配置を説明するための図。
【図８】立体視される、カーソル像を含む画像を模式的に示す図。
【図９】第２実施形態の３Ｄ表示処理システムの機能を示すブロック図。
【図１０】立体視される、カーソル像を含む画像を模式的に示す図。
【図１１】（ａ），（ｂ）は、複数視線のレンダリング画像の表示方法の第１例を説明するための図。
【図１２】（ａ），（ｂ）は、複数視線のレンダリング画像の表示方法の第２例を説明するための図。
【図１３】複数視線のレンダリング画像の表示レイアウトの第１例を説明するための図。
【図１４】複数視線のレンダリング画像の表示レイアウトの第２例を説明するための図。
【発明を実施するための形態】
【００１０】
本実施形態の３Ｄ表示処理システムについて、添付図面を参照して説明する。
（第１実施形態）
【００１１】
図１は、第１実施形態の３Ｄ表示処理システムを示す概略図である。
【００１２】
図１は、第１実施形態の３Ｄ表示処理システム１を示す。３Ｄ表示処理システム１は、光線制御子を用いることで、多視差画像、例えば、９視差画像を観察者が裸眼にて立体視可能である構成である。３Ｄ表示処理システム１は、両眼視差による立体視を可能とし、さらに、観察者の視点移動に合わせて観察される映像も変化する運動視差による立体視も可能である。３Ｄ表示処理システム１は、操作装置（リモートコントローラ）１０、画像処理装置２０、及び３Ｄ表示装置３０を備える。
【００１３】
操作装置１０は、画像処理装置２０との間で相互に通信（例えば、ｂｌｕｅｔｏｏｔｈに代表される無線通信）可能なように構成される。画像処理装置２０は、３Ｄ表示装置３０との間で相互に通信可能なように構成される。
【００１４】
図２は、第１実施形態の３Ｄ表示処理システム１に備える操作装置１０の構造を示す概略図である。
【００１５】
図２に示す操作装置１０は、操作部１１及びデータ送受信部１２を備える。操作部１１は、例えば、ボタン１１ａ及び十字ボタン１１ｂを備える。また、操作部１１は、ボタン１１ａ及び十字ボタン１１ｂの代わりに、または、同時にホイール等を備えてもよい。
【００１６】
ボタン１１ａは、操作装置１０の本体に対して方向ｖに押圧・押圧解除が可能な構造を有する。
【００１７】
十字ボタン１１ｂは、上下左右に配置された４個のスイッチがあり、その上を十文字のカバーが覆っている。十字の中心には支点があり、カバーがシーソーのように方向ｖに動くことで、上下または左右のスイッチが同時に押せないようになっている。なお、ボタン１１ａ及び十字ボタン１１ｂは、一体の構造であってもよい。
【００１８】
データ送受信部１２は、３Ｄ表示装置３０の観察者（操作者）によって操作部１１が操作されると、操作信号を無線または有線で画像処理装置２０に送信する。
【００１９】
図３（ａ）は、第１実施形態の３Ｄ表示処理システム１に備える３Ｄ表示装置３０の構造を示す概略図である。図３（ｂ）は、図３（ａ）に示すＩ−Ｉ断面図である。
【００２０】
図３（ａ），（ｂ）に示す３Ｄ表示装置３０は、画像の表示に加え、外光の照度を検知することが可能なディスプレイ、例えば液晶ディスプレイである。３Ｄ表示装置３０は、バックライト３１、液晶パネル（液晶シャッタ）３２、及び凸レンズアレイ３３を備える。なお、３Ｄ表示装置３０は、液晶ディスプレイに限定されるものではなく、有機ＥＬ（ｅｌｅｃｔｒｏ ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイや、プラズマディスプレイ等であってもよい。
３Ｄ表示装置３０のバックライト３１は、複数の白色ＬＥＤ（ｌｉｇｈｔ ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ）を含んでおり、液晶パネル３２の背面に配置される。バックライト３１は、バックライト駆動回路３４（図４に図示）から電源電圧が印加されると点灯し、液晶パネル３２に光を照明する。なお、バックライト３１は、白色ＬＥＤに限定されるものではなく、他の色のＬＥＤを含んでいてもよい。また、バックライト３１は、ＬＥＤに代えて、例えば、冷陰極管（ＣＣＦＬ：ｃｏｌｄ ｃａｔｈｏｄｅ ｆｌｕｏｒｅｓｃｅｎｔ ｌａｍｐ）を含むものであってもよい。
【００２１】
液晶パネル３２は、液晶パネル３２の水平方向（ｘ方向）及び上下方向（ｙ方向）にマトリクス状に複数備えられるピクセルＰを有する。ピクセルＰは、偏光板Ｐａ、ガラス基板Ｐｂ、画素電極（透明導電膜）Ｐｃ、配向膜Ｐｄ、液晶Ｐｅ、対向電極（透明導電膜）Ｐｆ、カラーフィルタＰｇ、及び光センサＰｈを備える。
【００２２】
ピクセルＰには、液晶パネル３２のｘ方向に、複数視線、例えば９個の視線に相当する絵素が配列される。絵素には、絵素の配列方向に垂直な方向であるｙ方向に、Ｒ（ｒｅｄ）、Ｇ（ｇｒｅｅｎ）及びＢ（ｂｌｕｅ）の各カラーフィルタＰｇが配列されることで、ＲＧＢの各画素が形成される。なお、絵素の配列方向は、液晶パネル３２のｘ方向に限定されるものではない。また、ＲＧＢの表面（ｘｙ面）形状は、長方形に限定されるのもではない。例えば、ＲＢの表面形状が右（または左）に傾斜した平行四辺形であり、かつ、Ｇの表面形状が逆に左（または右）に傾斜した平行四辺形であってもよい。
【００２３】
偏光板Ｐａは、ガラス基板Ｐｂ上に設けられ、バックライト３１からの光のうち特定方向の光のみを通過させる機能を有する。
【００２４】
画素電極Ｐｃは、ガラス基板Ｐｂ上に設けられる。画素電極Ｐｃは、液晶Ｐｅを挟む電極のうちＴＦＴ（ｔｈｉｎ ｆｉｌｍ ｔｒａｎｓｉｓｔｏｒ）側に設けている、画素を構成する電極である。
【００２５】
配向膜Ｐｄは、電極Ｐｃ，Ｐｆ上にそれぞれ設けられ、液晶分子を特定方向に整列させる機能を有する。
【００２６】
液晶Ｐｅは、外部電圧が印加されると、分子配列の並び方が変わる機能を有する。
【００２７】
対向電極Ｐｆは、ガラス基板Ｐｂ上に設けられる。対向電極Ｐｆは、液晶Ｐｅを挟む電極のうちＴＦＴに対向する側に設けている電極である。
【００２８】
カラーフィルタＰｇは、ＴＦＴに対向する側のガラス基板Ｐｂ上に設けられ、各画素に対して、各ＲＧＢが配列される。
【００２９】
図３（ａ），（ｂ）に示す３Ｄ表示装置３０の凸レンズアレイ３３は、液晶パネル３２の前面に備えられる。凸レンズアレイ３３は、例えば、絵素の配列方向に垂直なｙ方向を軸とするレンチキュラーレンズ（かまぼこ型レンズ）が、絵素の配列方向であるｘ方向に複数配置されるレンチキュラーレンズアレイである。なお、図示しないが、凸レンズアレイ３３は、ピクセルＰ毎に割り当てられたフライアイレンズ（蝿の目レンズ）を複数のピクセルＰの分配列したフライアイレンズアレイであってもよい。
【００３０】
図４は、第１実施形態の３Ｄ表示処理システム１の構成を示すブロック図である。
【００３１】
図４に示す３Ｄ表示処理システム１の操作装置１０は、図２を用いて説明したように、操作部１１（ボタン１１ａ及び十字ボタン１１ｂ）、及びデータ送受信部１２を備える。
【００３２】
データ送受信部１２は、ボタン１１ａ及び十字ボタン１１ｂの操作に従って、操作信号を発生して、操作信号を画像処理装置２０に送信する。
【００３３】
画像処理装置２０は、処理部（ＣＰＵ）２１、メモリ２２、ＨＤＤ（ｈａｒｄ ｄｉｓｋ ｄｒｉｖｅ）２３、ＩＦ（ｉｎｔｅｒｆａｃｅ）２４、データ送受信部２５等の基本的なハードウェアから構成される。処理部２１は、共通信号伝送路としてのバスを介して、画像処理装置２０を構成する各ハードウェア構成要素に相互接続されている。なお、画像処理装置２０は、図示しない記憶媒体ドライブを具備する場合もある。
【００３４】
処理部２１は、半導体で構成された電子回路が複数の端子を持つパッケージに封入されている集積回路（ＬＳＩ）の構成をもつ制御装置である。観察者によって操作装置１０が操作等されることにより指令が入力されると、処理部２１は、メモリ２２に記憶しているプログラムを実行する。または、処理部２１は、ＨＤＤ２３に記憶しているプログラム、ネットワークＮから転送されてＨＤＤ２３にインストールされたプログラム、または記憶媒体ドライブに装着された記憶媒体から読み出されてＨＤＤ２３にインストールされたプログラムを、メモリ２２にロードして実行する。
【００３５】
メモリ２２は、ＲＯＭ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）及びＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）等の要素を兼ね備える構成をもつ記憶装置である。メモリ２２は、ＩＰＬ（ｉｎｉｔｉａｌ ｐｒｏｇｒａｍ ｌｏａｄｉｎｇ）、ＢＩＯＳ（ｂａｓｉｃ ｉｎｐｕｔ／ｏｕｔｐｕｔ ｓｙｓｔｅｍ）及びデータを記憶したり、処理部２１のワークメモリやデータの一時的な記憶に用いられたりする。
【００３６】
ＨＤＤ２３は、磁性体を塗布または蒸着した金属のディスクが着脱不能で内蔵されている構成をもつ記憶装置である。ＨＤＤ２３は、画像処理装置２０にインストールされたプログラム（アプリケーションプログラムの他、ＯＳ（ｏｐｅｒａｔｉｎｇ ｓｙｓｔｅｍ）等も含まれる）や、データを記憶する記憶装置である。また、ＯＳに、観察者に対する情報の表示にグラフィックを多用し、基礎的な操作を操作装置１０によって行なうことができるＧＵＩ（ｇｒａｐｈｉｃａｌ ｕｓｅｒ ｉｎｔｅｒｆａｃｅ）を提供させることもできる。
【００３７】
ＩＦ２４は、パラレル接続仕様やシリアル接続仕様に合わせたコネクタによって構成され、各規格に応じた通信制御を行なう。ＩＦ２４は、ネットワークＮに接続することができる機能を有しており、これにより、画像処理装置２０は、ＩＦ２４からネットワークＮ網に接続することができる。
【００３８】
データ送受信部２５は、操作装置１０のデータ送受信部１２から送信される操作信号を受信する。
【００３９】
３Ｄ表示装置３０は、図３を用いて説明したように、バックライト３１、液晶パネル３２、及び凸レンズアレイ３３を備える。また、３Ｄ表示装置３０は、バックライト駆動回路３４、液晶パネル駆動回路３５、及び制御部３６を備える。
【００４０】
バックライト駆動回路３４は、制御部３６による制御に従ってバックライト３１に電圧を印加してバックライト３１を駆動させる。
【００４１】
液晶パネル駆動回路３５は、制御部３６による制御に従って液晶パネル３２のピクセルＰの画素回路を駆動させる。
【００４２】
制御部３６は、画像処理装置２０の処理部２１からの指示に従ってバックライト駆動回路３４及び液晶パネル駆動回路３５を制御する。
【００４３】
図５は、第１実施形態の３Ｄ表示処理システム１の機能を示すブロック図である。
【００４４】
図４に示す処理部２１がプログラムを実行することによって、図５に示すように、３Ｄ表示処理システム１の画像処理装置２０は、ボリュームデータ取得部４１、基準画像生成部４２、モード判断部４３、平面位置確定用画像生成部４４、平面位置確定部４５、部位抽出部４６、奥行確定用画像生成部４７、及び奥行確定部４８として機能する。なお、画像処理装置２０は、各部４１乃至４８の全部または一部をハードウェアとして備えるものであってもよい。
【００４５】
ボリュームデータ取得部４１は、ＨＤＤ２３等の記憶装置に記憶された、被検体像を含むボリュームデータを取得する機能を有する。なお、ボリュームデータ取得部４１は、外部からネットワークＮを介して受信したボリュームデータを取得してもよい。例えば、ボリュームデータは、超音波診断装置、Ｘ線ＣＴ（ｃｏｍｐｕｔｅｄ ｔｏｍｏｇｒａｐｈｙ）装置、ＭＲＩ（ｍａｇｎｅｔｉｃ ｒｅｓｏｎａｎｃｅ ｉｍａｇｉｎｇ）装置、及び核医学診断装置等によって生成される。
【００４６】
基準画像生成部４２は、モード判断部４３によって基準モード（通常モード）であると判断された場合、ボリュームデータ取得部４１によって取得されたボリュームデータに対して、立体位置確定モードによってレンダリングされる視差角を以下の視差角にて、複数視線、例えば９個の視線でレンダリング処理を行なって９個のレンダリング画像を生成する機能を有する。基準画像生成部４２によって生成された９個のレンダリング画像は、データ信号として３Ｄ表示装置３０の制御部３６に送られる。９個のレンダリング画像のデータ信号は、液晶パネル駆動回路３５を介して、液晶パネル３２のピクセルＰを構成する９個の絵素に、視線の順にそれぞれ割り当てられて表示される。以下、９個の視線でレンダリング処理を行なう場合について説明する。レンダリング画像は、サーフェイスレンダリング（ｓｕｒｆａｃｅ ｒｅｎｄｅｒｉｎｇ）処理や、ボリュームレンダリング（ｖｏｌｕｍｅ ｒｅｎｄｅｒｉｎｇ）処理によって得られる。
【００４７】
なお、液晶パネル３２のピクセルＰを構成する絵素の数と、レンダリング画像の数とが同一となるような構成について説明したが、ピクセルＰを構成する絵素の数が、レンダリング画像の数以上となるような構成であればよい。例えば、３個のレンダリング画像を表示するために、ピクセルＰを９個の絵素によって構成する場合、左端の視線のレンダリング画像をピクセルＰの右端の３絵素に割り当て、中央の視線のレンダリング画像をピクセルＰの中央の３絵素に割り当て、右端の視線のレンダリング画像をピクセルＰの左端の３絵素に割り当てる。また、複数視線のレンダリング画像の各レンダリング画像に割り当てられる絵素の数が異なっていてもよい。
【００４８】
基準画像生成部４２によって生成された９個のレンダリング画像を３Ｄ表示装置３０によって表示させると、被検体像が３Ｄ表示される。
【００４９】
モード判断部４３は、操作装置１０のデータ送受信部１２から送信された操作信号に従って、３Ｄ表示処理システム１が基準モードであるか、または、立体位置確定（同定）モードであるかを判断する機能を有する。立体位置確定時のような高精度の位置合わせが必要な場合は、立体位置確定モードを設定する。
【００５０】
平面位置確定用画像生成部４４は、モード判断部４３によって立体位置確定モードであると判断された場合、基準モードによって基準画像生成部４２によってレンダリングされたボリュームデータに対して、基準モードによってレンダリングされた視差角を超える視差角にて、９個の視線でレンダリング処理を行なって９個のレンダリング画像を生成する機能を有する。平面位置確定用画像生成部４４によって生成された９個のレンダリング画像は、データ信号として３Ｄ表示装置３０の制御部３６に送られる。９個のレンダリング画像のデータ信号は、液晶パネル駆動回路３５を介して、液晶パネル３２のピクセルＰを構成する９個の絵素に、視線の順にそれぞれ割り当てられて表示される。
【００５１】
図６は、基準モード及び立体位置確定モードにおいて、立体視される被検体像の違いを説明するための図である。
【００５２】
図６は、基準モードにおける、立体視される被検体像Ｏ、視差角θ１、及び３Ｄ表示装置３０と、立体位置確定モードにおける、立体視される被検体像Ｏ、視差角θ２、及び３Ｄ表示装置３０とを示す。基準モードによってレンダリングされた視差角θ１を超える視差角θ２にて、複数視線でレンダリング処理を行なって９個のレンダリング画像を生成して表示する。３Ｄ表示装置３０を観察する観察者は、平面位置確定用画像生成部４４によって生成された複数視線のレンダリング画像に基づいて立体視される被検体像Ｏが、基準画像生成部４２によって生成された複数視線のレンダリング画像に基づいて立体視される被検体像Ｏより手前に存在するように見える。
【００５３】
平面位置確定用画像生成部４４によって立体位置確定モードで生成された複数視線のレンダリング画像の表示によると、被検体像Ｏの奥行方向（ｚ方向）の位置の違いが判別し易くなる。しかしながら、立体位置確定モードでは観察者は強制的に左右の眼球が内側（鼻の方向）になるような状態（寄り目）を維持しなければならないので、観察者の目が非常に疲れてしまう。しかしながら、３Ｄ表示処理システム１では、モード判断部４３によって基準モードと立体位置確定モードとの切り替えが可能である。
【００５４】
図５に示す平面位置確定部４５は、平面位置確定用画像生成部４４によって生成された９個の視線のレンダリング画像に基づいて立体視される被検体像Ｏを見ながら観察者が操作装置１０を操作することで操作装置１０のデータ送受信部１２から送信された操作信号に従って、液晶パネル３２上のｘ−ｙ平面位置を確定する機能を有する。すなわち、平面位置確定部４５は、立体視モードで、操作信号に従って、３Ｄ表示装置３０に表示された９個のレンダリング画像に相当する９個の視線の中心視線に直交する投影面上の位置を確定する。立体視モードでｘ−ｙ平面位置を確定するためには、平面位置確定部４５は、カーソルのあるｘ−ｙ平面と直交する軸を点線等で表示させ、そのガイドに基づいてｘ−ｙ平面位置を確定させることが好適である。
【００５５】
なお、平面位置確定部４５は、１個の視線のレンダリング画像に基づいて平面視される被検体像Ｏを見ながら観察者が操作装置１０を操作することで操作装置１０のデータ送受信部１２から送信された操作信号に従って、液晶パネル３２上のｘ−ｙ平面位置を確定してもよい。
【００５６】
部位抽出部４６は、平面位置確定用画像生成部４４によってレンダリングされたボリュームデータを構成する複数のボクセルのうち、平面位置確定部４５によって確定された平面位置を通り、かつ、９個のレンダリング画像に相当する９個の視線の中心視線上のボクセルに基づいて、所望の部位を抽出する機能を有する。例えば、部位抽出部４６は、確定された確定位置を通り、かつ、中心視線上のボクセルついてボクセル値の変化量の閾値処理を施して、エッジ部分の抽出を行なう。
【００５７】
奥行確定用画像生成部４７は、部位抽出部４６によって抽出されたエッジ部分にカーソル像が配置された９個のレンダリング画像を生成する機能を有する。例えば、奥行確定用画像生成部４７は、部位抽出部４６によって抽出されたエッジ部分に相当するボクセルのボクセル値を置換して、当該ボクセルにカーソル像が配置されたボリュームデータを生成し、そのボリュームデータに対して、９個の視線でレンダリング処理を行なって９個のレンダリング画像を生成する。
【００５８】
図７は、カーソル像の配置を説明するための図である。
【００５９】
図７は、ボリュームデータＶと、９個の視線の中心視線Ｌに直交する投影面とを示す。投影面は、液晶パネル３２に相当する。図７に示すボリュームデータＶは、平面位置確定部４５によって確定された液晶パネル３２のｘ−ｙ平面位置を含むｙ−ｚ断面及びｘ−ｚ断面、すなわち、投影面位置Ｔを含むｙ−ｚ断面及びｘ−ｚ断面として示されている。なお、投影面に直交する中心視線Ｌは、液晶パネル３２に直交するｚ方向に等しい。
【００６０】
平面位置確定部４５によって投影面位置Ｔが確定されると、奥行確定用画像生成部４７は、ボリュームデータＶを構成する複数のボクセルのうち、投影面位置Ｔを通る中心視線Ｌ上のエッジ部分を含むボクセル（または当該ボクセル及びその隣接ボクセルを含むボクセル群）にカーソル像Ｂを配置する。図７に示す例では、４個のエッジ部分が示されている。
【００６１】
奥行確定用画像生成部４７によって生成された９個のレンダリング画像は、データ信号として３Ｄ表示装置３０の制御部３６に送られる。９個のレンダリング画像のデータ信号は、液晶パネル駆動回路３５を介して、液晶パネル３２のピクセルＰを構成する９個の絵素に、視線の順にそれぞれ割り当てられて表示される。
【００６２】
図８は、立体視される、カーソル像を含む画像を模式的に示す図である。
【００６３】
図８に示すように、奥行確定用画像生成部４７によって３Ｄ表示装置３０に表示された９個のレンダリング画像の立体視によって、観察者は、操作装置１０を用いてｘ−ｙ平面内の位置（投影面位置）Ｔを指示すれば、その位置Ｔを含むｚ方向（中心視線の方向）のエッジ部分を、カーソル像Ｂを介して立体視することができる。各カーソル像Ｂは、色分けしてもよいし、キャプション付き（１，２，３，…）等で区別できるようにしておくことが好適である。
【００６４】
図５に示す奥行確定部４８は、奥行確定用画像生成部４７によって生成された９個の視線のレンダリング画像に基づいて立体視される図８に示す被検体像を見ながら観察者が操作装置１０を操作することで操作装置１０のデータ送受信部１２から送信された操作信号に従って、カーソル像Ｂの中から所望のカーソル像を選択して確定する機能を有する。奥行確定部４８によってカーソル像の位置が確定されると、操作装置１０及び／または３Ｄ表示装置３０は、確定完了を出力するように構成されてもよい。例えば、操作装置１０は、カーソル像の位置の確定時に振動される。また、例えば、３Ｄ表示装置３０は、奥行確定用画像生成部４７からの指示に従って、表示されるカーソル像の色を変化させる。
（第２実施形態）
【００６５】
第２実施形態の３Ｄ表示処理システムの構成において、図１乃至図４に示す３Ｄ表示処理システム１の構成と同一部材には同一符号を付して説明を省略する。
【００６６】
図９は、第２実施形態の３Ｄ表示処理システムの機能を示すブロック図である。
【００６７】
図４に示す処理部２１がプログラムを実行することによって、図９に示すように、３Ｄ表示処理システム１Ａの画像処理装置２０は、ボリュームデータ取得部４１、基準画像生成部４２、モード判断部４３、平面位置確定用画像生成部４４、平面位置確定部４５、部位抽出部４６Ａ、奥行確定用画像生成部４７Ａ、奥行確定部４８、及び奥行変更部４９として機能する。なお、画像処理装置２０は、各部４１乃至４９の全部または一部をハードウェアとして備えるものであってもよい。なお、図９に示す第２実施形態の３Ｄ表示処理システム１Ａの機能において、図５に示す３Ｄ表示処理システム１の機能と同一部材には同一符号を付して説明を省略する。
【００６８】
部位抽出部４６Ａは、平面位置確定用画像生成部４４によってレンダリングされたボリュームデータを構成する複数のボクセルのうち、平面位置確定部４５によって確定された投影面位置を通り、かつ、９個のレンダリング画像に相当する９個の視線の中心視線上のボクセルに基づいて、所望の部位を抽出する機能を有する。例えば、部位抽出部４６は、投影面位置を通り、かつ、中心視線上のボクセルについてボクセル値の変化量の閾値処理を施して、１つのエッジ部分の抽出を行なう機能を有する。また、例えば、部位抽出部４６は、投影面位置を通り、かつ、中心視線上に存在する、被検体像Ｏの複数表面部分のうち、投影面位置から最も離れた表面部分を検出する。
【００６９】
奥行確定用画像生成部４７Ａは、部位抽出部４６Ａによって抽出された１つのエッジ部分にカーソル像が配置された９個のレンダリング画像を生成する機能を有する。例えば、奥行確定用画像生成部４７Ａは、部位抽出部４６Ａによって抽出された１つのエッジ部分に相当するボクセルのボクセル値を置換して、１つのカーソル像が配置されたボリュームデータを生成し、そのボリュームデータに対して、９個の視線でレンダリング処理を行なって９個のレンダリング画像を生成する。奥行確定用画像生成部４７Ａによって生成されるボリュームデータに配置される１つのカーソル像は、図７に示す４個のカーソル像のうちの１個である。
【００７０】
奥行確定用画像生成部４７Ａによって生成された９個のレンダリング画像は、データ信号として３Ｄ表示装置３０の制御部３６に送られる。９個のレンダリング画像のデータ信号は、液晶パネル駆動回路３５を介して、液晶パネル３２のピクセルＰを構成する９個の絵素に、視線の順にそれぞれ割り当てられて表示される。
【００７１】
奥行変更部４９は、奥行確定用画像生成部４７Ａによって生成された９個の視線のレンダリング画像に基づいて立体視される被検体像Ｏを見ながら観察者が操作装置１０を操作することで操作装置１０のデータ送受信部１２から送信された操作信号に従って、カーソル像の位置を、ｚ方向に変更する機能を有する。すなわち、奥行変更部４９は、操作信号に従って、カーソル像の位置を、３Ｄ表示装置３０に表示された９個のレンダリング画像に相当する９個の視線の中心視線上で変更する。
【００７２】
奥行確定用画像生成部４７Ａは、奥行変更部４９によって変更後のカーソル像が配置された９個のレンダリング画像を生成する機能を有する。例えば、奥行確定用画像生成部４７Ａは、変更前のカーソル像が配置されるボクセルから変更量に従って離れ、かつ、中心視線上のボクセルのボクセル値を置換して、１つのカーソル像が配置されたボリュームデータを生成し、そのボリュームデータに対して、９個の視線でレンダリング処理を行なって９個のレンダリング画像を生成する。
【００７３】
図１０は、立体視される、カーソル像を含む画像を模式的に示す図である。
【００７４】
図１０に示すように、奥行確定用画像生成部４７Ａによって３Ｄ表示装置３０に表示された９個のレンダリング画像の立体視によって、観察者は、操作装置１０を用いてｘ−ｙ平面内の位置（投影面位置）Ｔを指示すれば、その位置Ｔを含むｚ方向（中心視線の方向）の１つのエッジ部分を、１つのカーソル像Ｂ１を介して立体視することができる。
【００７５】
さらに、観察者は、操作装置１０を用いてカーソル像Ｂ１のｚ方向（中心視線の方向）への変更を指示すれば、カーソル像Ｂ１の位置を、ｚ方向の手前側または奥側に変更することができる。
【００７６】
第２実施形態の３Ｄ表示処理システム１Ａにおける、複数視線のレンダリング画像の表示方法について説明する。
【００７７】
図１１（ａ），（ｂ）は、複数視線のレンダリング画像の表示方法の第１例を説明するための図である。
【００７８】
図１１（ａ），（ｂ）は、ボリュームデータＶと、９個の視線の中心視線Ｌに直交する投影面とを示す。投影面は、液晶パネル３２に相当する。図１１（ａ），（ｂ）に示すボリュームデータＶは、平面位置確定部４５によって確定された液晶パネル３２のｘ−ｙ平面位置を含むｙ−ｚ断面、すなわち、投影面位置Ｔを含むｙ−ｚ断面として示されている。なお、投影面に直交する中心視線Ｌは、液晶パネル３２に直交するｚ方向に等しい。
【００７９】
平面位置確定部４５によって投影面位置Ｔが確定されると、奥行確定用画像生成部４７Ａは、ボリュームデータＶを構成する複数のボクセルのうち１つのカーソル像Ｂ１を配置する。その際、奥行確定用画像生成部４７Ａは、図１１（ａ）に示すように、カーソル像Ｂ１の投影面側のボクセルの輝度及び色と、投影面の反対側のボクセルの輝度及び色とのうち少なくとも一方が異なるようにボリュームデータを生成する。
【００８０】
さらに、奥行変更部４９によってカーソル像の位置が中心視線Ｌ上で変更されると、図１１（ｂ）に示すように、高輝度エリアと低輝度エリアの割合が変化する。
【００８１】
図１２（ａ），（ｂ）は、複数視線のレンダリング画像の表示方法の第２例を説明するための図である。
【００８２】
図１２（ａ），（ｂ）は、ボリュームデータＶと、９個の視線の中心視線Ｌに直交する投影面とを示す。投影面は、液晶パネル３２に相当する。図１２（ａ），（ｂ）に示すボリュームデータＶは、平面位置確定部４５によって確定された液晶パネル３２のｘ−ｙ平面位置を含むｙ−ｚ断面、すなわち、投影面位置Ｔを含むｙ−ｚ断面として示されている。なお、投影面に直交する中心視線Ｌは、液晶パネル３２に直交するｚ方向に等しい。
【００８３】
平面位置確定部４５によって投影面位置Ｔが確定されると、奥行確定用画像生成部４７Ａは、ボリュームデータＶを構成する複数のボクセルのうち１つのカーソル像Ｂ１を配置する。その際、奥行確定用画像生成部４７Ａは、図１２（ａ）に示すように、カーソル像Ｂ１を含みｚ方向に直交する面のボクセルの輝度及び色と、その他のボクセルの輝度及び色とのうち少なくとも一方が異なるようにボリュームデータを生成する。
【００８４】
さらに、奥行変更部４９によってカーソル像の位置が中心視線Ｌ上で変更されると、図１２（ｂ）に示すように、高輝度エリアの中心視線Ｌの方向の位置が変化する。
【００８５】
第１実施形態の３Ｄ表示処理システム１を、第２実施形態の３Ｄ表示処理システム１Ａに組み合わせてもよいことは言うまでもない。その場合、奥行変更部４９は、奥行確定用画像生成部４７によって生成された９個の視線のレンダリング画像に基づいて立体視される被検体像Ｏを見ながら観察者が操作装置１０を操作することで操作装置１０のデータ送受信部１２から送信された操作信号に従って、カーソル像の位置を、部位抽出部４６によって抽出された４個のカーソル像Ｂ間を切り替える。
【００８６】
（操作装置１０の操作方法）
【００８７】
本実施形態の３Ｄ表示処理システム１，１Ａにおいて、観察者が、操作装置１０を用いて液晶パネル３２上のｘｙ平面位置を確定するための操作と、確定されたｘｙ平面位置を通るｚ方向の位置を変更・確定するための操作方法の例について説明する。
【００８８】
例えば、操作装置１０は、位置センサを備える。その場合、観察者が、表示されたカーソル像を操作装置１０で操作することにより、３Ｄ表示処理システム１，１Ａは、カーソル像のｘｙ平面位置及びｚ方向位置を変更操作する。具体的には、観察者が操作装置１０のボタン１１ａを押しながら操作装置１０を操作装置１０の左右方向に移動させるとカーソル像がｘ方向に変更され、ボタン１１ａを押しながら操作装置１０を操作装置１０の上下方向に移動させるとカーソル像がｙ方向に変更され、ボタン１１ａを押しながら操作装置１０を操作装置１０の軸方向に移動させるとカーソル像がｚ方向に変更される。そして、操作装置１０の移動量がカーソル像の変更量として反映される。なお、以上の操作方法は、単純な例を示したものであり、当然複合的な移動も可能である。
【００８９】
また、第２実施形態の３Ｄ表示処理システム１Ａにおいて、例えば、操作装置１０は、自体が振られたり傾けられたりといった動作を検知する加速度センサ（３次元のモーションセンサ、図示しない）を備える。その場合、観察者が、表示されたカーソル像を操作装置１０で操作することにより、３Ｄ表示処理システム１Ａは、カーソル像のｚ方向位置を変更操作する。具体的には、観察者が操作装置１０のボタン１１ａをドラッグしながら操作装置１０をｙ方向に移動させるとカーソル像Ｂ１がｚ方向に素早く変更され、ボタン１１ａをドラッグしながら操作装置１０をｘ方向に移動させるとカーソル像Ｂ１がｚ方向にゆっくりと変更される。
【００９０】
（３Ｄ表示装置３０の表示レイアウト）
【００９１】
本実施形態の３Ｄ表示処理システム１，１Ａにおいて、複数視線のレンダリング画像の表示方法の例について説明する。
【００９２】
図１３は、複数視線のレンダリング画像の表示レイアウトの第１例を説明するための図である。
【００９３】
図１３に示す３Ｄ表示装置３０の液晶パネル３２は、３Ｄ表示領域Ｒ３と２Ｄ表示領域Ｒ２とを有する。３Ｄ表示処理システム１，１Ａで説明したように、平面位置確定用画像生成部４４と、奥行確定用画像生成部４７，４７Ａによって生成された複数視線のレンダリング画像は、３Ｄ表示領域Ｒ３に表示される。画像生成部４４，４７，４７Ａは、３Ｄ表示領域Ｒ３において、９個の視線のレンダリング画像を各ピクセルＰの９個の絵素にそれぞれ割り当てて表示する。つまり、画像生成部４４，４７，４７Ａは、３Ｄ表示装置３０の各ピクセルＰを構成する９個の絵素に、９個のレンダリング画像に相当する９個のピクセル値をそれぞれ与える。
【００９４】
一方で、レンダリング画像に関する情報（撮像条件等）を提示するコマンド情報は、２Ｄ表示領域Ｒ２に表示される。画像生成部４４，４７，４７Ａは、２Ｄ表示領域Ｒ２において、通常の２Ｄ表示装置の各ピクセルに与えるピクセル値（データ信号）を、３Ｄ表示装置３０の各ピクセルＰに与える。つまり、画像生成部４４，４７，４７Ａは、２Ｄ表示領域Ｒ２において、各ピクセルＰを構成する９個の絵素に同一のピクセル値を与える。
【００９５】
図１４は、複数視線のレンダリング画像の表示レイアウトの第２例を説明するための図である。
【００９６】
図１４に示す３Ｄ表示装置３０の液晶パネル３２は、３Ｄ表示領域Ｒ３と２Ｄ表示領域Ｒ２１，Ｒ２２，Ｒ２３とを有する。３Ｄ表示処理システム１，１Ａで説明したように、画像生成部４４，４７，４７Ａによって生成された複数視線のレンダリング画像は、３Ｄ表示領域Ｒ３に表示される。画像生成部４４，４７，４７Ａは、３Ｄ表示領域Ｒ３において、９個の視線のレンダリング画像を各ピクセルＰの９個の絵素にそれぞれ割り当てて表示する。つまり、画像生成部４４，４７，４７Ａは、３Ｄ表示装置３０の各ピクセルＰを構成する９個の絵素に、９個のレンダリング画像に相当する９個のピクセル値をそれぞれ与える。
【００９７】
画像生成部４４，４７，４７Ａは、ボリュームデータに対してＭＰＲ（ｍｕｌｔｉ ｐｌａｎａｒ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ）及びＭＩＰ（ｍａｘｉｍｕｍ ｉｎｔｅｎｓｉｔｙ ｐｒｏｊｅｃｔｉｏｎ）等の処理を施してＭＰＲ画像等の画像を取得する。ＭＰＲ画像は、２Ｄ表示領域Ｒ２１に表示される。画像生成部４４，４７，４７Ａは、２Ｄ表示領域Ｒ２１において、図１３のコマンド情報の表示と同様に、各ピクセルＰを構成する９個の絵素に同一のピクセル値を与える。
【００９８】
レンダリング画像に関する情報を提示するコマンド情報は、２Ｄ表示領域Ｒ２２に表示される。画像生成部４４，４７，４７Ａは、２Ｄ表示領域Ｒ２２において、図１３のコマンド情報の表示と同様に、各ピクセルＰを構成する９個の絵素に同一のピクセル値を与える。
【００９９】
ＭＰＲ画像に関する情報を提示するコマンド情報は、２Ｄ表示領域Ｒ２３に表示される。画像生成部４４，４７，４７Ａは、２Ｄ表示領域Ｒ２３において、図１３のコマンド情報の表示と同様に、各ピクセルＰを構成する９個の絵素に同一のピクセル値を与える。
【０１００】
以上のように、本実施形態の３Ｄ表示処理システム１，１Ａによると、３Ｄ表示装置３０によって立体視される画像上で、ディスカッション相手等に注目点を３次元的に示すことができる。
【０１０１】
本実施形態の３Ｄ表示処理システム１，１Ａは、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、本実施形態の３Ｄ表示処理システム１，１Ａに開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
【０１０２】
例えば、本実施形態の３Ｄ表示処理システム１，１Ａにおいて、レンチキュラーレンズ方式の裸眼式を採用する構成について説明した。しかし、３Ｄ表示処理システム１，１Ａは、その場合に限定するものではなく、パララックスバリア方式の裸眼式を採用する構成であってもよい。また、本実施形態の３Ｄ表示処理システム１，１Ａの技術思想は、専用眼鏡を備える眼鏡式（アナグリフ方式、フレームシーケンシャル方式、及び偏光方式等）を採用する構成にも応用できる。
【符号の説明】
【０１０３】
１，１Ａ ３Ｄ表示処理システム
１０ 操作装置
２０ 画像処理装置
２１ 処理部
３０ ３Ｄ表示装置
３３ 凸レンズアレイ
４１ ボリュームデータ取得部
４２ 基準画像生成部
４３ モード判断部
４４ 平面位置確定用画像生成部
４５ 平面位置確定部
４６，４６Ａ 部位抽出部
４７，４７Ａ 奥行確定用画像生成部
４８ 奥行確定部
４９ 奥行変更部
Ｌ 中心視線
Ｔ 投影面位置
【技術分野】
【０００１】
本発明の一態様としての実施形態は、多視差画像を用いて３Ｄ表示（３次元表示、立体表示）を行なう場合に適用される３Ｄ表示処理システムに関する。
【背景技術】
【０００２】
今日、多視差画像（例えば、９視差画像）を用いて３Ｄ表示を行なう技術が開発され、医療業界においても、複数視線に相当する複数のレンダリング画像を用いて３Ｄ表示を行なう技術のニーズ技術が高まってきている。３Ｄ表示を行なう技術では、裸眼式（パララックスバリア方式及びレンチキュラーレンズ方式等）や、眼鏡式（アナグリフ方式、フレームシーケンシャル方式、及び偏光方式等）が採用される。
【０００３】
裸眼式では、レンチキュラーレンズ等の光線制御子を用いて、複数視点で撮影された多視差画像を裸眼にて立体視可能なシステムが実用化されている。眼鏡式では、立体視用眼鏡等の専用機器を用いて、２つの視点から撮影された２視差画像（両眼視差画像）を立体視可能なシステムが実用化されている。なお、立体視可能な３Ｄ表示装置にて表示される２視差画像や９視差画像は、１視点から撮影された画像の奥行き情報を推定し、推定した情報を用いた画像処理により生成される場合もある。
【０００４】
なお、従来技術として、生成されたレンダリング画像を表示エリアに表示し、表示エリア上の所定位置にマークをレンダリング画像上に重ねて表示する技術がある（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１１−３６４７４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
裸眼式を採用して３Ｄ表示を行なう場合、３Ｄ表示用の表示装置が必要である。そして、観察者が表示装置上のカーソルの操作を行なっても、表示装置の表示面に直接にカーソルが表示されてしまうという問題がある。表示装置によって表示される画像は観察者には３Ｄとして見えているので、観察者は、カーソルを、見えている３Ｄ上の点に合わせたくても、３Ｄ上の点に合わせることはできない。従来のインターフェースでは、奥行方向（表示装置の垂線方向）は表現できず、２Ｄでしか表現できないためである。
【０００７】
また、眼鏡式を採用して３Ｄ表示を行なう場合も同様に、表示装置の表示面に直接にカーソルが表示されてしまうという問題がある。
【課題を解決するための手段】
【０００８】
本実施形態の３Ｄ表示処理システムは、上述した課題を解決するために、被検体像を含むボリュームデータに対してレンダリング処理を行なって複数視線に対応する第１の３次元画像データを生成する第１画像生成手段と、操作者が前記複数視線の中心視線に直交する投影面上の位置及び中心視線の方向の位置を設定操作するための操作手段と、前記投影面上の位置に基づいてカーソル像を配置した複数視線に対応する第２の３次元画像データを生成する第２画像生成手段と、前記複数視線に対応する第１の３次元画像データ、または、前記複数視線に対応する第２の３次元画像データに基づいて３Ｄ表示を行なう表示手段と、を有する。
【図面の簡単な説明】
【０００９】
【図１】第１実施形態の３Ｄ表示処理システムを示す概略図。
【図２】第１実施形態の３Ｄ表示処理システムに備える操作装置の構造を示す概略図。
【図３】（ａ）は、第１実施形態の３Ｄ表示処理システムに備える３Ｄ表示装置の構造を示す概略図であり、（ｂ）は、図３（ａ）に示すＩ−Ｉ断面図。
【図４】第１実施形態の３Ｄ表示処理システムの構成を示すブロック図。
【図５】第１実施形態の３Ｄ表示処理システムの機能を示すブロック図。
【図６】基準モード及び立体位置確定モードにおいて、立体視される被検体像の違いを説明するための図。
【図７】カーソル像の配置を説明するための図。
【図８】立体視される、カーソル像を含む画像を模式的に示す図。
【図９】第２実施形態の３Ｄ表示処理システムの機能を示すブロック図。
【図１０】立体視される、カーソル像を含む画像を模式的に示す図。
【図１１】（ａ），（ｂ）は、複数視線のレンダリング画像の表示方法の第１例を説明するための図。
【図１２】（ａ），（ｂ）は、複数視線のレンダリング画像の表示方法の第２例を説明するための図。
【図１３】複数視線のレンダリング画像の表示レイアウトの第１例を説明するための図。
【図１４】複数視線のレンダリング画像の表示レイアウトの第２例を説明するための図。
【発明を実施するための形態】
【００１０】
本実施形態の３Ｄ表示処理システムについて、添付図面を参照して説明する。
（第１実施形態）
【００１１】
図１は、第１実施形態の３Ｄ表示処理システムを示す概略図である。
【００１２】
図１は、第１実施形態の３Ｄ表示処理システム１を示す。３Ｄ表示処理システム１は、光線制御子を用いることで、多視差画像、例えば、９視差画像を観察者が裸眼にて立体視可能である構成である。３Ｄ表示処理システム１は、両眼視差による立体視を可能とし、さらに、観察者の視点移動に合わせて観察される映像も変化する運動視差による立体視も可能である。３Ｄ表示処理システム１は、操作装置（リモートコントローラ）１０、画像処理装置２０、及び３Ｄ表示装置３０を備える。
【００１３】
操作装置１０は、画像処理装置２０との間で相互に通信（例えば、ｂｌｕｅｔｏｏｔｈに代表される無線通信）可能なように構成される。画像処理装置２０は、３Ｄ表示装置３０との間で相互に通信可能なように構成される。
【００１４】
図２は、第１実施形態の３Ｄ表示処理システム１に備える操作装置１０の構造を示す概略図である。
【００１５】
図２に示す操作装置１０は、操作部１１及びデータ送受信部１２を備える。操作部１１は、例えば、ボタン１１ａ及び十字ボタン１１ｂを備える。また、操作部１１は、ボタン１１ａ及び十字ボタン１１ｂの代わりに、または、同時にホイール等を備えてもよい。
【００１６】
ボタン１１ａは、操作装置１０の本体に対して方向ｖに押圧・押圧解除が可能な構造を有する。
【００１７】
十字ボタン１１ｂは、上下左右に配置された４個のスイッチがあり、その上を十文字のカバーが覆っている。十字の中心には支点があり、カバーがシーソーのように方向ｖに動くことで、上下または左右のスイッチが同時に押せないようになっている。なお、ボタン１１ａ及び十字ボタン１１ｂは、一体の構造であってもよい。
【００１８】
データ送受信部１２は、３Ｄ表示装置３０の観察者（操作者）によって操作部１１が操作されると、操作信号を無線または有線で画像処理装置２０に送信する。
【００１９】
図３（ａ）は、第１実施形態の３Ｄ表示処理システム１に備える３Ｄ表示装置３０の構造を示す概略図である。図３（ｂ）は、図３（ａ）に示すＩ−Ｉ断面図である。
【００２０】
図３（ａ），（ｂ）に示す３Ｄ表示装置３０は、画像の表示に加え、外光の照度を検知することが可能なディスプレイ、例えば液晶ディスプレイである。３Ｄ表示装置３０は、バックライト３１、液晶パネル（液晶シャッタ）３２、及び凸レンズアレイ３３を備える。なお、３Ｄ表示装置３０は、液晶ディスプレイに限定されるものではなく、有機ＥＬ（ｅｌｅｃｔｒｏ ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイや、プラズマディスプレイ等であってもよい。
３Ｄ表示装置３０のバックライト３１は、複数の白色ＬＥＤ（ｌｉｇｈｔ ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ）を含んでおり、液晶パネル３２の背面に配置される。バックライト３１は、バックライト駆動回路３４（図４に図示）から電源電圧が印加されると点灯し、液晶パネル３２に光を照明する。なお、バックライト３１は、白色ＬＥＤに限定されるものではなく、他の色のＬＥＤを含んでいてもよい。また、バックライト３１は、ＬＥＤに代えて、例えば、冷陰極管（ＣＣＦＬ：ｃｏｌｄ ｃａｔｈｏｄｅ ｆｌｕｏｒｅｓｃｅｎｔ ｌａｍｐ）を含むものであってもよい。
【００２１】
液晶パネル３２は、液晶パネル３２の水平方向（ｘ方向）及び上下方向（ｙ方向）にマトリクス状に複数備えられるピクセルＰを有する。ピクセルＰは、偏光板Ｐａ、ガラス基板Ｐｂ、画素電極（透明導電膜）Ｐｃ、配向膜Ｐｄ、液晶Ｐｅ、対向電極（透明導電膜）Ｐｆ、カラーフィルタＰｇ、及び光センサＰｈを備える。
【００２２】
ピクセルＰには、液晶パネル３２のｘ方向に、複数視線、例えば９個の視線に相当する絵素が配列される。絵素には、絵素の配列方向に垂直な方向であるｙ方向に、Ｒ（ｒｅｄ）、Ｇ（ｇｒｅｅｎ）及びＢ（ｂｌｕｅ）の各カラーフィルタＰｇが配列されることで、ＲＧＢの各画素が形成される。なお、絵素の配列方向は、液晶パネル３２のｘ方向に限定されるものではない。また、ＲＧＢの表面（ｘｙ面）形状は、長方形に限定されるのもではない。例えば、ＲＢの表面形状が右（または左）に傾斜した平行四辺形であり、かつ、Ｇの表面形状が逆に左（または右）に傾斜した平行四辺形であってもよい。
【００２３】
偏光板Ｐａは、ガラス基板Ｐｂ上に設けられ、バックライト３１からの光のうち特定方向の光のみを通過させる機能を有する。
【００２４】
画素電極Ｐｃは、ガラス基板Ｐｂ上に設けられる。画素電極Ｐｃは、液晶Ｐｅを挟む電極のうちＴＦＴ（ｔｈｉｎ ｆｉｌｍ ｔｒａｎｓｉｓｔｏｒ）側に設けている、画素を構成する電極である。
【００２５】
配向膜Ｐｄは、電極Ｐｃ，Ｐｆ上にそれぞれ設けられ、液晶分子を特定方向に整列させる機能を有する。
【００２６】
液晶Ｐｅは、外部電圧が印加されると、分子配列の並び方が変わる機能を有する。
【００２７】
対向電極Ｐｆは、ガラス基板Ｐｂ上に設けられる。対向電極Ｐｆは、液晶Ｐｅを挟む電極のうちＴＦＴに対向する側に設けている電極である。
【００２８】
カラーフィルタＰｇは、ＴＦＴに対向する側のガラス基板Ｐｂ上に設けられ、各画素に対して、各ＲＧＢが配列される。
【００２９】
図３（ａ），（ｂ）に示す３Ｄ表示装置３０の凸レンズアレイ３３は、液晶パネル３２の前面に備えられる。凸レンズアレイ３３は、例えば、絵素の配列方向に垂直なｙ方向を軸とするレンチキュラーレンズ（かまぼこ型レンズ）が、絵素の配列方向であるｘ方向に複数配置されるレンチキュラーレンズアレイである。なお、図示しないが、凸レンズアレイ３３は、ピクセルＰ毎に割り当てられたフライアイレンズ（蝿の目レンズ）を複数のピクセルＰの分配列したフライアイレンズアレイであってもよい。
【００３０】
図４は、第１実施形態の３Ｄ表示処理システム１の構成を示すブロック図である。
【００３１】
図４に示す３Ｄ表示処理システム１の操作装置１０は、図２を用いて説明したように、操作部１１（ボタン１１ａ及び十字ボタン１１ｂ）、及びデータ送受信部１２を備える。
【００３２】
データ送受信部１２は、ボタン１１ａ及び十字ボタン１１ｂの操作に従って、操作信号を発生して、操作信号を画像処理装置２０に送信する。
【００３３】
画像処理装置２０は、処理部（ＣＰＵ）２１、メモリ２２、ＨＤＤ（ｈａｒｄ ｄｉｓｋ ｄｒｉｖｅ）２３、ＩＦ（ｉｎｔｅｒｆａｃｅ）２４、データ送受信部２５等の基本的なハードウェアから構成される。処理部２１は、共通信号伝送路としてのバスを介して、画像処理装置２０を構成する各ハードウェア構成要素に相互接続されている。なお、画像処理装置２０は、図示しない記憶媒体ドライブを具備する場合もある。
【００３４】
処理部２１は、半導体で構成された電子回路が複数の端子を持つパッケージに封入されている集積回路（ＬＳＩ）の構成をもつ制御装置である。観察者によって操作装置１０が操作等されることにより指令が入力されると、処理部２１は、メモリ２２に記憶しているプログラムを実行する。または、処理部２１は、ＨＤＤ２３に記憶しているプログラム、ネットワークＮから転送されてＨＤＤ２３にインストールされたプログラム、または記憶媒体ドライブに装着された記憶媒体から読み出されてＨＤＤ２３にインストールされたプログラムを、メモリ２２にロードして実行する。
【００３５】
メモリ２２は、ＲＯＭ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）及びＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）等の要素を兼ね備える構成をもつ記憶装置である。メモリ２２は、ＩＰＬ（ｉｎｉｔｉａｌ ｐｒｏｇｒａｍ ｌｏａｄｉｎｇ）、ＢＩＯＳ（ｂａｓｉｃ ｉｎｐｕｔ／ｏｕｔｐｕｔ ｓｙｓｔｅｍ）及びデータを記憶したり、処理部２１のワークメモリやデータの一時的な記憶に用いられたりする。
【００３６】
ＨＤＤ２３は、磁性体を塗布または蒸着した金属のディスクが着脱不能で内蔵されている構成をもつ記憶装置である。ＨＤＤ２３は、画像処理装置２０にインストールされたプログラム（アプリケーションプログラムの他、ＯＳ（ｏｐｅｒａｔｉｎｇ ｓｙｓｔｅｍ）等も含まれる）や、データを記憶する記憶装置である。また、ＯＳに、観察者に対する情報の表示にグラフィックを多用し、基礎的な操作を操作装置１０によって行なうことができるＧＵＩ（ｇｒａｐｈｉｃａｌ ｕｓｅｒ ｉｎｔｅｒｆａｃｅ）を提供させることもできる。
【００３７】
ＩＦ２４は、パラレル接続仕様やシリアル接続仕様に合わせたコネクタによって構成され、各規格に応じた通信制御を行なう。ＩＦ２４は、ネットワークＮに接続することができる機能を有しており、これにより、画像処理装置２０は、ＩＦ２４からネットワークＮ網に接続することができる。
【００３８】
データ送受信部２５は、操作装置１０のデータ送受信部１２から送信される操作信号を受信する。
【００３９】
３Ｄ表示装置３０は、図３を用いて説明したように、バックライト３１、液晶パネル３２、及び凸レンズアレイ３３を備える。また、３Ｄ表示装置３０は、バックライト駆動回路３４、液晶パネル駆動回路３５、及び制御部３６を備える。
【００４０】
バックライト駆動回路３４は、制御部３６による制御に従ってバックライト３１に電圧を印加してバックライト３１を駆動させる。
【００４１】
液晶パネル駆動回路３５は、制御部３６による制御に従って液晶パネル３２のピクセルＰの画素回路を駆動させる。
【００４２】
制御部３６は、画像処理装置２０の処理部２１からの指示に従ってバックライト駆動回路３４及び液晶パネル駆動回路３５を制御する。
【００４３】
図５は、第１実施形態の３Ｄ表示処理システム１の機能を示すブロック図である。
【００４４】
図４に示す処理部２１がプログラムを実行することによって、図５に示すように、３Ｄ表示処理システム１の画像処理装置２０は、ボリュームデータ取得部４１、基準画像生成部４２、モード判断部４３、平面位置確定用画像生成部４４、平面位置確定部４５、部位抽出部４６、奥行確定用画像生成部４７、及び奥行確定部４８として機能する。なお、画像処理装置２０は、各部４１乃至４８の全部または一部をハードウェアとして備えるものであってもよい。
【００４５】
ボリュームデータ取得部４１は、ＨＤＤ２３等の記憶装置に記憶された、被検体像を含むボリュームデータを取得する機能を有する。なお、ボリュームデータ取得部４１は、外部からネットワークＮを介して受信したボリュームデータを取得してもよい。例えば、ボリュームデータは、超音波診断装置、Ｘ線ＣＴ（ｃｏｍｐｕｔｅｄ ｔｏｍｏｇｒａｐｈｙ）装置、ＭＲＩ（ｍａｇｎｅｔｉｃ ｒｅｓｏｎａｎｃｅ ｉｍａｇｉｎｇ）装置、及び核医学診断装置等によって生成される。
【００４６】
基準画像生成部４２は、モード判断部４３によって基準モード（通常モード）であると判断された場合、ボリュームデータ取得部４１によって取得されたボリュームデータに対して、立体位置確定モードによってレンダリングされる視差角を以下の視差角にて、複数視線、例えば９個の視線でレンダリング処理を行なって９個のレンダリング画像を生成する機能を有する。基準画像生成部４２によって生成された９個のレンダリング画像は、データ信号として３Ｄ表示装置３０の制御部３６に送られる。９個のレンダリング画像のデータ信号は、液晶パネル駆動回路３５を介して、液晶パネル３２のピクセルＰを構成する９個の絵素に、視線の順にそれぞれ割り当てられて表示される。以下、９個の視線でレンダリング処理を行なう場合について説明する。レンダリング画像は、サーフェイスレンダリング（ｓｕｒｆａｃｅ ｒｅｎｄｅｒｉｎｇ）処理や、ボリュームレンダリング（ｖｏｌｕｍｅ ｒｅｎｄｅｒｉｎｇ）処理によって得られる。
【００４７】
なお、液晶パネル３２のピクセルＰを構成する絵素の数と、レンダリング画像の数とが同一となるような構成について説明したが、ピクセルＰを構成する絵素の数が、レンダリング画像の数以上となるような構成であればよい。例えば、３個のレンダリング画像を表示するために、ピクセルＰを９個の絵素によって構成する場合、左端の視線のレンダリング画像をピクセルＰの右端の３絵素に割り当て、中央の視線のレンダリング画像をピクセルＰの中央の３絵素に割り当て、右端の視線のレンダリング画像をピクセルＰの左端の３絵素に割り当てる。また、複数視線のレンダリング画像の各レンダリング画像に割り当てられる絵素の数が異なっていてもよい。
【００４８】
基準画像生成部４２によって生成された９個のレンダリング画像を３Ｄ表示装置３０によって表示させると、被検体像が３Ｄ表示される。
【００４９】
モード判断部４３は、操作装置１０のデータ送受信部１２から送信された操作信号に従って、３Ｄ表示処理システム１が基準モードであるか、または、立体位置確定（同定）モードであるかを判断する機能を有する。立体位置確定時のような高精度の位置合わせが必要な場合は、立体位置確定モードを設定する。
【００５０】
平面位置確定用画像生成部４４は、モード判断部４３によって立体位置確定モードであると判断された場合、基準モードによって基準画像生成部４２によってレンダリングされたボリュームデータに対して、基準モードによってレンダリングされた視差角を超える視差角にて、９個の視線でレンダリング処理を行なって９個のレンダリング画像を生成する機能を有する。平面位置確定用画像生成部４４によって生成された９個のレンダリング画像は、データ信号として３Ｄ表示装置３０の制御部３６に送られる。９個のレンダリング画像のデータ信号は、液晶パネル駆動回路３５を介して、液晶パネル３２のピクセルＰを構成する９個の絵素に、視線の順にそれぞれ割り当てられて表示される。
【００５１】
図６は、基準モード及び立体位置確定モードにおいて、立体視される被検体像の違いを説明するための図である。
【００５２】
図６は、基準モードにおける、立体視される被検体像Ｏ、視差角θ１、及び３Ｄ表示装置３０と、立体位置確定モードにおける、立体視される被検体像Ｏ、視差角θ２、及び３Ｄ表示装置３０とを示す。基準モードによってレンダリングされた視差角θ１を超える視差角θ２にて、複数視線でレンダリング処理を行なって９個のレンダリング画像を生成して表示する。３Ｄ表示装置３０を観察する観察者は、平面位置確定用画像生成部４４によって生成された複数視線のレンダリング画像に基づいて立体視される被検体像Ｏが、基準画像生成部４２によって生成された複数視線のレンダリング画像に基づいて立体視される被検体像Ｏより手前に存在するように見える。
【００５３】
平面位置確定用画像生成部４４によって立体位置確定モードで生成された複数視線のレンダリング画像の表示によると、被検体像Ｏの奥行方向（ｚ方向）の位置の違いが判別し易くなる。しかしながら、立体位置確定モードでは観察者は強制的に左右の眼球が内側（鼻の方向）になるような状態（寄り目）を維持しなければならないので、観察者の目が非常に疲れてしまう。しかしながら、３Ｄ表示処理システム１では、モード判断部４３によって基準モードと立体位置確定モードとの切り替えが可能である。
【００５４】
図５に示す平面位置確定部４５は、平面位置確定用画像生成部４４によって生成された９個の視線のレンダリング画像に基づいて立体視される被検体像Ｏを見ながら観察者が操作装置１０を操作することで操作装置１０のデータ送受信部１２から送信された操作信号に従って、液晶パネル３２上のｘ−ｙ平面位置を確定する機能を有する。すなわち、平面位置確定部４５は、立体視モードで、操作信号に従って、３Ｄ表示装置３０に表示された９個のレンダリング画像に相当する９個の視線の中心視線に直交する投影面上の位置を確定する。立体視モードでｘ−ｙ平面位置を確定するためには、平面位置確定部４５は、カーソルのあるｘ−ｙ平面と直交する軸を点線等で表示させ、そのガイドに基づいてｘ−ｙ平面位置を確定させることが好適である。
【００５５】
なお、平面位置確定部４５は、１個の視線のレンダリング画像に基づいて平面視される被検体像Ｏを見ながら観察者が操作装置１０を操作することで操作装置１０のデータ送受信部１２から送信された操作信号に従って、液晶パネル３２上のｘ−ｙ平面位置を確定してもよい。
【００５６】
部位抽出部４６は、平面位置確定用画像生成部４４によってレンダリングされたボリュームデータを構成する複数のボクセルのうち、平面位置確定部４５によって確定された平面位置を通り、かつ、９個のレンダリング画像に相当する９個の視線の中心視線上のボクセルに基づいて、所望の部位を抽出する機能を有する。例えば、部位抽出部４６は、確定された確定位置を通り、かつ、中心視線上のボクセルついてボクセル値の変化量の閾値処理を施して、エッジ部分の抽出を行なう。
【００５７】
奥行確定用画像生成部４７は、部位抽出部４６によって抽出されたエッジ部分にカーソル像が配置された９個のレンダリング画像を生成する機能を有する。例えば、奥行確定用画像生成部４７は、部位抽出部４６によって抽出されたエッジ部分に相当するボクセルのボクセル値を置換して、当該ボクセルにカーソル像が配置されたボリュームデータを生成し、そのボリュームデータに対して、９個の視線でレンダリング処理を行なって９個のレンダリング画像を生成する。
【００５８】
図７は、カーソル像の配置を説明するための図である。
【００５９】
図７は、ボリュームデータＶと、９個の視線の中心視線Ｌに直交する投影面とを示す。投影面は、液晶パネル３２に相当する。図７に示すボリュームデータＶは、平面位置確定部４５によって確定された液晶パネル３２のｘ−ｙ平面位置を含むｙ−ｚ断面及びｘ−ｚ断面、すなわち、投影面位置Ｔを含むｙ−ｚ断面及びｘ−ｚ断面として示されている。なお、投影面に直交する中心視線Ｌは、液晶パネル３２に直交するｚ方向に等しい。
【００６０】
平面位置確定部４５によって投影面位置Ｔが確定されると、奥行確定用画像生成部４７は、ボリュームデータＶを構成する複数のボクセルのうち、投影面位置Ｔを通る中心視線Ｌ上のエッジ部分を含むボクセル（または当該ボクセル及びその隣接ボクセルを含むボクセル群）にカーソル像Ｂを配置する。図７に示す例では、４個のエッジ部分が示されている。
【００６１】
奥行確定用画像生成部４７によって生成された９個のレンダリング画像は、データ信号として３Ｄ表示装置３０の制御部３６に送られる。９個のレンダリング画像のデータ信号は、液晶パネル駆動回路３５を介して、液晶パネル３２のピクセルＰを構成する９個の絵素に、視線の順にそれぞれ割り当てられて表示される。
【００６２】
図８は、立体視される、カーソル像を含む画像を模式的に示す図である。
【００６３】
図８に示すように、奥行確定用画像生成部４７によって３Ｄ表示装置３０に表示された９個のレンダリング画像の立体視によって、観察者は、操作装置１０を用いてｘ−ｙ平面内の位置（投影面位置）Ｔを指示すれば、その位置Ｔを含むｚ方向（中心視線の方向）のエッジ部分を、カーソル像Ｂを介して立体視することができる。各カーソル像Ｂは、色分けしてもよいし、キャプション付き（１，２，３，…）等で区別できるようにしておくことが好適である。
【００６４】
図５に示す奥行確定部４８は、奥行確定用画像生成部４７によって生成された９個の視線のレンダリング画像に基づいて立体視される図８に示す被検体像を見ながら観察者が操作装置１０を操作することで操作装置１０のデータ送受信部１２から送信された操作信号に従って、カーソル像Ｂの中から所望のカーソル像を選択して確定する機能を有する。奥行確定部４８によってカーソル像の位置が確定されると、操作装置１０及び／または３Ｄ表示装置３０は、確定完了を出力するように構成されてもよい。例えば、操作装置１０は、カーソル像の位置の確定時に振動される。また、例えば、３Ｄ表示装置３０は、奥行確定用画像生成部４７からの指示に従って、表示されるカーソル像の色を変化させる。
（第２実施形態）
【００６５】
第２実施形態の３Ｄ表示処理システムの構成において、図１乃至図４に示す３Ｄ表示処理システム１の構成と同一部材には同一符号を付して説明を省略する。
【００６６】
図９は、第２実施形態の３Ｄ表示処理システムの機能を示すブロック図である。
【００６７】
図４に示す処理部２１がプログラムを実行することによって、図９に示すように、３Ｄ表示処理システム１Ａの画像処理装置２０は、ボリュームデータ取得部４１、基準画像生成部４２、モード判断部４３、平面位置確定用画像生成部４４、平面位置確定部４５、部位抽出部４６Ａ、奥行確定用画像生成部４７Ａ、奥行確定部４８、及び奥行変更部４９として機能する。なお、画像処理装置２０は、各部４１乃至４９の全部または一部をハードウェアとして備えるものであってもよい。なお、図９に示す第２実施形態の３Ｄ表示処理システム１Ａの機能において、図５に示す３Ｄ表示処理システム１の機能と同一部材には同一符号を付して説明を省略する。
【００６８】
部位抽出部４６Ａは、平面位置確定用画像生成部４４によってレンダリングされたボリュームデータを構成する複数のボクセルのうち、平面位置確定部４５によって確定された投影面位置を通り、かつ、９個のレンダリング画像に相当する９個の視線の中心視線上のボクセルに基づいて、所望の部位を抽出する機能を有する。例えば、部位抽出部４６は、投影面位置を通り、かつ、中心視線上のボクセルについてボクセル値の変化量の閾値処理を施して、１つのエッジ部分の抽出を行なう機能を有する。また、例えば、部位抽出部４６は、投影面位置を通り、かつ、中心視線上に存在する、被検体像Ｏの複数表面部分のうち、投影面位置から最も離れた表面部分を検出する。
【００６９】
奥行確定用画像生成部４７Ａは、部位抽出部４６Ａによって抽出された１つのエッジ部分にカーソル像が配置された９個のレンダリング画像を生成する機能を有する。例えば、奥行確定用画像生成部４７Ａは、部位抽出部４６Ａによって抽出された１つのエッジ部分に相当するボクセルのボクセル値を置換して、１つのカーソル像が配置されたボリュームデータを生成し、そのボリュームデータに対して、９個の視線でレンダリング処理を行なって９個のレンダリング画像を生成する。奥行確定用画像生成部４７Ａによって生成されるボリュームデータに配置される１つのカーソル像は、図７に示す４個のカーソル像のうちの１個である。
【００７０】
奥行確定用画像生成部４７Ａによって生成された９個のレンダリング画像は、データ信号として３Ｄ表示装置３０の制御部３６に送られる。９個のレンダリング画像のデータ信号は、液晶パネル駆動回路３５を介して、液晶パネル３２のピクセルＰを構成する９個の絵素に、視線の順にそれぞれ割り当てられて表示される。
【００７１】
奥行変更部４９は、奥行確定用画像生成部４７Ａによって生成された９個の視線のレンダリング画像に基づいて立体視される被検体像Ｏを見ながら観察者が操作装置１０を操作することで操作装置１０のデータ送受信部１２から送信された操作信号に従って、カーソル像の位置を、ｚ方向に変更する機能を有する。すなわち、奥行変更部４９は、操作信号に従って、カーソル像の位置を、３Ｄ表示装置３０に表示された９個のレンダリング画像に相当する９個の視線の中心視線上で変更する。
【００７２】
奥行確定用画像生成部４７Ａは、奥行変更部４９によって変更後のカーソル像が配置された９個のレンダリング画像を生成する機能を有する。例えば、奥行確定用画像生成部４７Ａは、変更前のカーソル像が配置されるボクセルから変更量に従って離れ、かつ、中心視線上のボクセルのボクセル値を置換して、１つのカーソル像が配置されたボリュームデータを生成し、そのボリュームデータに対して、９個の視線でレンダリング処理を行なって９個のレンダリング画像を生成する。
【００７３】
図１０は、立体視される、カーソル像を含む画像を模式的に示す図である。
【００７４】
図１０に示すように、奥行確定用画像生成部４７Ａによって３Ｄ表示装置３０に表示された９個のレンダリング画像の立体視によって、観察者は、操作装置１０を用いてｘ−ｙ平面内の位置（投影面位置）Ｔを指示すれば、その位置Ｔを含むｚ方向（中心視線の方向）の１つのエッジ部分を、１つのカーソル像Ｂ１を介して立体視することができる。
【００７５】
さらに、観察者は、操作装置１０を用いてカーソル像Ｂ１のｚ方向（中心視線の方向）への変更を指示すれば、カーソル像Ｂ１の位置を、ｚ方向の手前側または奥側に変更することができる。
【００７６】
第２実施形態の３Ｄ表示処理システム１Ａにおける、複数視線のレンダリング画像の表示方法について説明する。
【００７７】
図１１（ａ），（ｂ）は、複数視線のレンダリング画像の表示方法の第１例を説明するための図である。
【００７８】
図１１（ａ），（ｂ）は、ボリュームデータＶと、９個の視線の中心視線Ｌに直交する投影面とを示す。投影面は、液晶パネル３２に相当する。図１１（ａ），（ｂ）に示すボリュームデータＶは、平面位置確定部４５によって確定された液晶パネル３２のｘ−ｙ平面位置を含むｙ−ｚ断面、すなわち、投影面位置Ｔを含むｙ−ｚ断面として示されている。なお、投影面に直交する中心視線Ｌは、液晶パネル３２に直交するｚ方向に等しい。
【００７９】
平面位置確定部４５によって投影面位置Ｔが確定されると、奥行確定用画像生成部４７Ａは、ボリュームデータＶを構成する複数のボクセルのうち１つのカーソル像Ｂ１を配置する。その際、奥行確定用画像生成部４７Ａは、図１１（ａ）に示すように、カーソル像Ｂ１の投影面側のボクセルの輝度及び色と、投影面の反対側のボクセルの輝度及び色とのうち少なくとも一方が異なるようにボリュームデータを生成する。
【００８０】
さらに、奥行変更部４９によってカーソル像の位置が中心視線Ｌ上で変更されると、図１１（ｂ）に示すように、高輝度エリアと低輝度エリアの割合が変化する。
【００８１】
図１２（ａ），（ｂ）は、複数視線のレンダリング画像の表示方法の第２例を説明するための図である。
【００８２】
図１２（ａ），（ｂ）は、ボリュームデータＶと、９個の視線の中心視線Ｌに直交する投影面とを示す。投影面は、液晶パネル３２に相当する。図１２（ａ），（ｂ）に示すボリュームデータＶは、平面位置確定部４５によって確定された液晶パネル３２のｘ−ｙ平面位置を含むｙ−ｚ断面、すなわち、投影面位置Ｔを含むｙ−ｚ断面として示されている。なお、投影面に直交する中心視線Ｌは、液晶パネル３２に直交するｚ方向に等しい。
【００８３】
平面位置確定部４５によって投影面位置Ｔが確定されると、奥行確定用画像生成部４７Ａは、ボリュームデータＶを構成する複数のボクセルのうち１つのカーソル像Ｂ１を配置する。その際、奥行確定用画像生成部４７Ａは、図１２（ａ）に示すように、カーソル像Ｂ１を含みｚ方向に直交する面のボクセルの輝度及び色と、その他のボクセルの輝度及び色とのうち少なくとも一方が異なるようにボリュームデータを生成する。
【００８４】
さらに、奥行変更部４９によってカーソル像の位置が中心視線Ｌ上で変更されると、図１２（ｂ）に示すように、高輝度エリアの中心視線Ｌの方向の位置が変化する。
【００８５】
第１実施形態の３Ｄ表示処理システム１を、第２実施形態の３Ｄ表示処理システム１Ａに組み合わせてもよいことは言うまでもない。その場合、奥行変更部４９は、奥行確定用画像生成部４７によって生成された９個の視線のレンダリング画像に基づいて立体視される被検体像Ｏを見ながら観察者が操作装置１０を操作することで操作装置１０のデータ送受信部１２から送信された操作信号に従って、カーソル像の位置を、部位抽出部４６によって抽出された４個のカーソル像Ｂ間を切り替える。
【００８６】
（操作装置１０の操作方法）
【００８７】
本実施形態の３Ｄ表示処理システム１，１Ａにおいて、観察者が、操作装置１０を用いて液晶パネル３２上のｘｙ平面位置を確定するための操作と、確定されたｘｙ平面位置を通るｚ方向の位置を変更・確定するための操作方法の例について説明する。
【００８８】
例えば、操作装置１０は、位置センサを備える。その場合、観察者が、表示されたカーソル像を操作装置１０で操作することにより、３Ｄ表示処理システム１，１Ａは、カーソル像のｘｙ平面位置及びｚ方向位置を変更操作する。具体的には、観察者が操作装置１０のボタン１１ａを押しながら操作装置１０を操作装置１０の左右方向に移動させるとカーソル像がｘ方向に変更され、ボタン１１ａを押しながら操作装置１０を操作装置１０の上下方向に移動させるとカーソル像がｙ方向に変更され、ボタン１１ａを押しながら操作装置１０を操作装置１０の軸方向に移動させるとカーソル像がｚ方向に変更される。そして、操作装置１０の移動量がカーソル像の変更量として反映される。なお、以上の操作方法は、単純な例を示したものであり、当然複合的な移動も可能である。
【００８９】
また、第２実施形態の３Ｄ表示処理システム１Ａにおいて、例えば、操作装置１０は、自体が振られたり傾けられたりといった動作を検知する加速度センサ（３次元のモーションセンサ、図示しない）を備える。その場合、観察者が、表示されたカーソル像を操作装置１０で操作することにより、３Ｄ表示処理システム１Ａは、カーソル像のｚ方向位置を変更操作する。具体的には、観察者が操作装置１０のボタン１１ａをドラッグしながら操作装置１０をｙ方向に移動させるとカーソル像Ｂ１がｚ方向に素早く変更され、ボタン１１ａをドラッグしながら操作装置１０をｘ方向に移動させるとカーソル像Ｂ１がｚ方向にゆっくりと変更される。
【００９０】
（３Ｄ表示装置３０の表示レイアウト）
【００９１】
本実施形態の３Ｄ表示処理システム１，１Ａにおいて、複数視線のレンダリング画像の表示方法の例について説明する。
【００９２】
図１３は、複数視線のレンダリング画像の表示レイアウトの第１例を説明するための図である。
【００９３】
図１３に示す３Ｄ表示装置３０の液晶パネル３２は、３Ｄ表示領域Ｒ３と２Ｄ表示領域Ｒ２とを有する。３Ｄ表示処理システム１，１Ａで説明したように、平面位置確定用画像生成部４４と、奥行確定用画像生成部４７，４７Ａによって生成された複数視線のレンダリング画像は、３Ｄ表示領域Ｒ３に表示される。画像生成部４４，４７，４７Ａは、３Ｄ表示領域Ｒ３において、９個の視線のレンダリング画像を各ピクセルＰの９個の絵素にそれぞれ割り当てて表示する。つまり、画像生成部４４，４７，４７Ａは、３Ｄ表示装置３０の各ピクセルＰを構成する９個の絵素に、９個のレンダリング画像に相当する９個のピクセル値をそれぞれ与える。
【００９４】
一方で、レンダリング画像に関する情報（撮像条件等）を提示するコマンド情報は、２Ｄ表示領域Ｒ２に表示される。画像生成部４４，４７，４７Ａは、２Ｄ表示領域Ｒ２において、通常の２Ｄ表示装置の各ピクセルに与えるピクセル値（データ信号）を、３Ｄ表示装置３０の各ピクセルＰに与える。つまり、画像生成部４４，４７，４７Ａは、２Ｄ表示領域Ｒ２において、各ピクセルＰを構成する９個の絵素に同一のピクセル値を与える。
【００９５】
図１４は、複数視線のレンダリング画像の表示レイアウトの第２例を説明するための図である。
【００９６】
図１４に示す３Ｄ表示装置３０の液晶パネル３２は、３Ｄ表示領域Ｒ３と２Ｄ表示領域Ｒ２１，Ｒ２２，Ｒ２３とを有する。３Ｄ表示処理システム１，１Ａで説明したように、画像生成部４４，４７，４７Ａによって生成された複数視線のレンダリング画像は、３Ｄ表示領域Ｒ３に表示される。画像生成部４４，４７，４７Ａは、３Ｄ表示領域Ｒ３において、９個の視線のレンダリング画像を各ピクセルＰの９個の絵素にそれぞれ割り当てて表示する。つまり、画像生成部４４，４７，４７Ａは、３Ｄ表示装置３０の各ピクセルＰを構成する９個の絵素に、９個のレンダリング画像に相当する９個のピクセル値をそれぞれ与える。
【００９７】
画像生成部４４，４７，４７Ａは、ボリュームデータに対してＭＰＲ（ｍｕｌｔｉ ｐｌａｎａｒ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ）及びＭＩＰ（ｍａｘｉｍｕｍ ｉｎｔｅｎｓｉｔｙ ｐｒｏｊｅｃｔｉｏｎ）等の処理を施してＭＰＲ画像等の画像を取得する。ＭＰＲ画像は、２Ｄ表示領域Ｒ２１に表示される。画像生成部４４，４７，４７Ａは、２Ｄ表示領域Ｒ２１において、図１３のコマンド情報の表示と同様に、各ピクセルＰを構成する９個の絵素に同一のピクセル値を与える。
【００９８】
レンダリング画像に関する情報を提示するコマンド情報は、２Ｄ表示領域Ｒ２２に表示される。画像生成部４４，４７，４７Ａは、２Ｄ表示領域Ｒ２２において、図１３のコマンド情報の表示と同様に、各ピクセルＰを構成する９個の絵素に同一のピクセル値を与える。
【００９９】
ＭＰＲ画像に関する情報を提示するコマンド情報は、２Ｄ表示領域Ｒ２３に表示される。画像生成部４４，４７，４７Ａは、２Ｄ表示領域Ｒ２３において、図１３のコマンド情報の表示と同様に、各ピクセルＰを構成する９個の絵素に同一のピクセル値を与える。
【０１００】
以上のように、本実施形態の３Ｄ表示処理システム１，１Ａによると、３Ｄ表示装置３０によって立体視される画像上で、ディスカッション相手等に注目点を３次元的に示すことができる。
【０１０１】
本実施形態の３Ｄ表示処理システム１，１Ａは、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、本実施形態の３Ｄ表示処理システム１，１Ａに開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
【０１０２】
例えば、本実施形態の３Ｄ表示処理システム１，１Ａにおいて、レンチキュラーレンズ方式の裸眼式を採用する構成について説明した。しかし、３Ｄ表示処理システム１，１Ａは、その場合に限定するものではなく、パララックスバリア方式の裸眼式を採用する構成であってもよい。また、本実施形態の３Ｄ表示処理システム１，１Ａの技術思想は、専用眼鏡を備える眼鏡式（アナグリフ方式、フレームシーケンシャル方式、及び偏光方式等）を採用する構成にも応用できる。
【符号の説明】
【０１０３】
１，１Ａ ３Ｄ表示処理システム
１０ 操作装置
２０ 画像処理装置
２１ 処理部
３０ ３Ｄ表示装置
３３ 凸レンズアレイ
４１ ボリュームデータ取得部
４２ 基準画像生成部
４３ モード判断部
４４ 平面位置確定用画像生成部
４５ 平面位置確定部
４６，４６Ａ 部位抽出部
４７，４７Ａ 奥行確定用画像生成部
４８ 奥行確定部
４９ 奥行変更部
Ｌ 中心視線
Ｔ 投影面位置
【特許請求の範囲】
【請求項１】
被検体像を含むボリュームデータに対してレンダリング処理を行なって複数視線に対応する第１の３次元画像データを生成する第１画像生成手段と、
操作者が前記複数視線の中心視線に直交する投影面上の位置及び中心視線の方向の位置を設定操作するための操作手段と、
前記投影面上の位置に基づいてカーソル像を配置した複数視線に対応する第２の３次元画像データを生成する第２画像生成手段と、
前記複数視線に対応する第１の３次元画像データ、または、前記複数視線に対応する第２の３次元画像データに基づいて３Ｄ表示を行なう表示手段と、
を有する３Ｄ表示処理システム。
【請求項２】
前記操作手段は、前記第１の３次元画像データを生成するための前記複数視線の視差角のモードと、前記第２の３次元画像データを生成するための前記複数視線の視差角のモードとを切り替え可能である構成とする請求項１に記載の３Ｄ表示処理システム。
【請求項３】
前記第２画像生成手段は、前記２つのモードのうち、前記複数視線の視差角が大きいモードにて、前記第２の３次元画像データを生成する構成とする請求項２に記載の３Ｄ表示処理システム。
【請求項４】
前記操作手段は、前記投影面上の位置の変更操作と、前記中心視線の方向への変更操作とが可能であり、
前記第２画像生成手段は、前記変更操作後のカーソル像を配置した複数視線に対応する第２の３次元画像データを生成し、
前記操作手段は、前記変更操作後のカーソル像を配置した複数視線に対応する第２の３次元画像データに基づいて、前記カーソル像の位置を確定する構成とする請求項１乃至３のうちいずれか一項に記載の３Ｄ表示処理システム。
【請求項５】
前記操作手段は、位置センサ及びボタンを有し、
前記ボタンが押されながら前記操作手段が移動されると、その移動量が前記カーソル像の変更量として反映される構成とする請求項４に記載の３Ｄ表示処理システム。
【請求項６】
前記第２画像生成手段は、前記被検体像内で、かつ、前記中心視線上の複数のエッジ部分のうちの１個にカーソル像を配置した前記複数視線に対応する第２の３次元画像データを生成する構成とする請求項５に記載の３Ｄ表示処理システム。
【請求項７】
前記第２画像生成手段は、前記カーソル像の投影面側の輝度及び色と、投影面の対向側の輝度及び色とのうち少なくとも一方が異なるような前記第２の３次元画像データを生成する構成とする請求項１乃至６のうちいずれか一項に記載の３Ｄ表示処理システム。
【請求項８】
前記第２画像生成手段は、前記カーソル像を含み前記中心視線の方向に直交する面の輝度及び色と、その他の輝度及び色とのうち少なくとも一方が異なるような前記第２の３次元画像データを生成する構成とする請求項１乃至６のうちいずれか一項に記載の３Ｄ表示処理システム。
【請求項９】
前記第２画像生成手段は、前記被検体像内で、かつ、前記中心視線上の複数の部位にそれぞれカーソル像を配置した前記複数視線に対応する第２の３次元画像データを生成し、
前記操作手段は、前記複数のカーソル像から所要のカーソル像を確定する構成である請求項１乃至３のうちいずれか一項に記載の３Ｄ表示処理システム。
【請求項１０】
前記操作手段は、前記カーソル像の位置の確定時に、確定完了を出力する構成とする請求項４乃至９のうちいずれか一項に記載の３Ｄ表示処理システム。
【請求項１１】
前記操作手段は、前記カーソル像の位置の確定時に振動される構成とする請求項１０に記載の３Ｄ表示処理システム。
【請求項１２】
前記表示手段は、前記カーソル像の位置の確定時に、前記カーソル像の色を変化させる構成とする請求項４乃至９のうちいずれか一項に記載の３Ｄ表示処理システム。
【請求項１３】
前記表示手段は、前記複数視線に対応する第１の３次元画像データ、または、前記複数視線に対応する第２の３次元画像データの３Ｄ表示と、コマンド情報の２Ｄ表示とを並列に行なう構成とする請求項１乃至１２のうちいずれか一項に記載の３Ｄ表示処理システム。
【請求項１４】
前記表示手段は、前記複数視線に対応する第１の３次元画像データ、または、前記複数視線に対応する第２の３次元画像データの３Ｄ表示と、前記ボリュームデータに基づく２次元画像の２Ｄ表示と、コマンド情報の２Ｄ表示とを並列に行なう構成とする請求項１乃至１２のうちいずれか一項に記載の３Ｄ表示処理システム。
【請求項１５】
前記表示手段は、前記ボリュームデータに基づく２次元画像としてのＭＰＲ（ｍｕｌｔｉ ｐｌａｎａｒ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ）画像の２Ｄ表示を行なう構成とする請求項１４に記載の３Ｄ表示処理システム。
【請求項１】
被検体像を含むボリュームデータに対してレンダリング処理を行なって複数視線に対応する第１の３次元画像データを生成する第１画像生成手段と、
操作者が前記複数視線の中心視線に直交する投影面上の位置及び中心視線の方向の位置を設定操作するための操作手段と、
前記投影面上の位置に基づいてカーソル像を配置した複数視線に対応する第２の３次元画像データを生成する第２画像生成手段と、
前記複数視線に対応する第１の３次元画像データ、または、前記複数視線に対応する第２の３次元画像データに基づいて３Ｄ表示を行なう表示手段と、
を有する３Ｄ表示処理システム。
【請求項２】
前記操作手段は、前記第１の３次元画像データを生成するための前記複数視線の視差角のモードと、前記第２の３次元画像データを生成するための前記複数視線の視差角のモードとを切り替え可能である構成とする請求項１に記載の３Ｄ表示処理システム。
【請求項３】
前記第２画像生成手段は、前記２つのモードのうち、前記複数視線の視差角が大きいモードにて、前記第２の３次元画像データを生成する構成とする請求項２に記載の３Ｄ表示処理システム。
【請求項４】
前記操作手段は、前記投影面上の位置の変更操作と、前記中心視線の方向への変更操作とが可能であり、
前記第２画像生成手段は、前記変更操作後のカーソル像を配置した複数視線に対応する第２の３次元画像データを生成し、
前記操作手段は、前記変更操作後のカーソル像を配置した複数視線に対応する第２の３次元画像データに基づいて、前記カーソル像の位置を確定する構成とする請求項１乃至３のうちいずれか一項に記載の３Ｄ表示処理システム。
【請求項５】
前記操作手段は、位置センサ及びボタンを有し、
前記ボタンが押されながら前記操作手段が移動されると、その移動量が前記カーソル像の変更量として反映される構成とする請求項４に記載の３Ｄ表示処理システム。
【請求項６】
前記第２画像生成手段は、前記被検体像内で、かつ、前記中心視線上の複数のエッジ部分のうちの１個にカーソル像を配置した前記複数視線に対応する第２の３次元画像データを生成する構成とする請求項５に記載の３Ｄ表示処理システム。
【請求項７】
前記第２画像生成手段は、前記カーソル像の投影面側の輝度及び色と、投影面の対向側の輝度及び色とのうち少なくとも一方が異なるような前記第２の３次元画像データを生成する構成とする請求項１乃至６のうちいずれか一項に記載の３Ｄ表示処理システム。
【請求項８】
前記第２画像生成手段は、前記カーソル像を含み前記中心視線の方向に直交する面の輝度及び色と、その他の輝度及び色とのうち少なくとも一方が異なるような前記第２の３次元画像データを生成する構成とする請求項１乃至６のうちいずれか一項に記載の３Ｄ表示処理システム。
【請求項９】
前記第２画像生成手段は、前記被検体像内で、かつ、前記中心視線上の複数の部位にそれぞれカーソル像を配置した前記複数視線に対応する第２の３次元画像データを生成し、
前記操作手段は、前記複数のカーソル像から所要のカーソル像を確定する構成である請求項１乃至３のうちいずれか一項に記載の３Ｄ表示処理システム。
【請求項１０】
前記操作手段は、前記カーソル像の位置の確定時に、確定完了を出力する構成とする請求項４乃至９のうちいずれか一項に記載の３Ｄ表示処理システム。
【請求項１１】
前記操作手段は、前記カーソル像の位置の確定時に振動される構成とする請求項１０に記載の３Ｄ表示処理システム。
【請求項１２】
前記表示手段は、前記カーソル像の位置の確定時に、前記カーソル像の色を変化させる構成とする請求項４乃至９のうちいずれか一項に記載の３Ｄ表示処理システム。
【請求項１３】
前記表示手段は、前記複数視線に対応する第１の３次元画像データ、または、前記複数視線に対応する第２の３次元画像データの３Ｄ表示と、コマンド情報の２Ｄ表示とを並列に行なう構成とする請求項１乃至１２のうちいずれか一項に記載の３Ｄ表示処理システム。
【請求項１４】
前記表示手段は、前記複数視線に対応する第１の３次元画像データ、または、前記複数視線に対応する第２の３次元画像データの３Ｄ表示と、前記ボリュームデータに基づく２次元画像の２Ｄ表示と、コマンド情報の２Ｄ表示とを並列に行なう構成とする請求項１乃至１２のうちいずれか一項に記載の３Ｄ表示処理システム。
【請求項１５】
前記表示手段は、前記ボリュームデータに基づく２次元画像としてのＭＰＲ（ｍｕｌｔｉ ｐｌａｎａｒ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ）画像の２Ｄ表示を行なう構成とする請求項１４に記載の３Ｄ表示処理システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図９】
【図１３】
【図１４】
【図８】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図９】
【図１３】
【図１４】
【図８】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１２−２５２６５０（Ｐ２０１２−２５２６５０Ａ）
【公開日】平成２４年１２月２０日（２０１２．１２．２０）
【国際特許分類】
【出願番号】特願２０１１−１２６６５６（Ｐ２０１１−１２６６５６）
【出願日】平成２３年６月６日（２０１１．６．６）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．Ｂｌｕｅｔｏｏｔｈ
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【出願人】（５９４１６４５４２）東芝メディカルシステムズ株式会社 (4,066)
【Ｆターム（参考）】
【公開日】平成２４年１２月２０日（２０１２．１２．２０）
【国際特許分類】
【出願日】平成２３年６月６日（２０１１．６．６）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．Ｂｌｕｅｔｏｏｔｈ
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【出願人】（５９４１６４５４２）東芝メディカルシステムズ株式会社 (4,066)
【Ｆターム（参考）】
[ Back to top ]