３Ｄ表示処理システム
【課題】３Ｄ表示処理システムにおいて、操作者を含む観察者が、レーザポインタ像を立体視し、さらに操作者が、立体視されたレーザポインタ像の３次元的な位置を変更すること。
【解決手段】３Ｄ表示処理システム１は、レーザ光を発光するレーザポインタ装置１０と、被検体像を含むボリュームデータに対して複数の異なる視線方向に対応するレンダリング処理を行なって複数の基準画像を生成する基準画像生成部４２と、レーザ光と３Ｄ表示装置３０との接触位置を取得する接触位置取得部４３と、取得された接触位置に基づいて、擬似レーザポインタ像の３次元的な位置情報を算出する位置情報演算部４４と、複数の基準画像を立体視可能に表示する３Ｄ表示装置３０と、擬似レーザポインタ像の３次元的な位置情報に基づいて、複数の基準画像の各基準画像に含まれる被検体像に、擬似レーザポインタ像を重畳して複数の重畳画像を生成する重畳画像生成部４５と、を有する。３Ｄ表示装置３０は、複数の重畳画像を立体視可能に表示する。
【解決手段】３Ｄ表示処理システム１は、レーザ光を発光するレーザポインタ装置１０と、被検体像を含むボリュームデータに対して複数の異なる視線方向に対応するレンダリング処理を行なって複数の基準画像を生成する基準画像生成部４２と、レーザ光と３Ｄ表示装置３０との接触位置を取得する接触位置取得部４３と、取得された接触位置に基づいて、擬似レーザポインタ像の３次元的な位置情報を算出する位置情報演算部４４と、複数の基準画像を立体視可能に表示する３Ｄ表示装置３０と、擬似レーザポインタ像の３次元的な位置情報に基づいて、複数の基準画像の各基準画像に含まれる被検体像に、擬似レーザポインタ像を重畳して複数の重畳画像を生成する重畳画像生成部４５と、を有する。３Ｄ表示装置３０は、複数の重畳画像を立体視可能に表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の一態様としての実施形態は、多視差画像を用いて３Ｄ表示（３次元表示、立体表示）を行なう場合に適用される３Ｄ表示処理システムに関する。
【背景技術】
【０００２】
コンピュータを用いたプレゼンテーションや講演が行なわれている。プレゼンテーションでは、コンピュータの画像データを表示装置に表示したり、プロジェクタによってスクリーン上に投影したりして、表示または投影された画像を用いて説明を行なっている。
【０００３】
プレゼンテーションにおいて、レーザビーム等の光を用いたレーザポインタによってスクリーン上の位置を指示するものが示されている（例えば、特許文献１参照。）。
【０００４】
今日、多視差画像（例えば、９視差画像）を用いて３Ｄ表示を行なう技術が開発されている。３Ｄ表示を行なう技術では、裸眼式（パララックスバリア方式及びレンチキュラーレンズ方式等）や、眼鏡式（アナグリフ方式、フレームシーケンシャル方式、及び偏光方式等）が採用される。
【０００５】
裸眼式では、レンチキュラーレンズ等の光線制御子を用いて、複数視点で撮影された多視差画像を裸眼にて立体視可能なシステムが実用化されている。眼鏡式では、立体視用眼鏡等の専用機器を用いて、２つの視点から撮影された２視差画像（両眼視差画像）を立体視可能なシステムが実用化されている。なお、立体視可能な３Ｄ表示装置にて表示される２視差画像や９視差画像は、１視点から撮影された画像の奥行き情報を推定し、推定した情報を用いた画像処理により生成される場合もある。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００６−１６３９２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
裸眼式を採用して３Ｄ表示を行なう場合、３Ｄ表示用の表示装置が必要である。そして、表示装置に向かってレーザポインタ装置からレーザ光を発光すると、表示装置の表示面に直接にレーザポインタが表示されてしまうという問題がある。表示装置によって表示される多視差画像はレーザポインタ装置の操作者には３Ｄとして見えているので、操作者は、ポインタを、見えている３Ｄ上の点に合わせたくても、３Ｄ上の点に合わせることはできない。従来のレーザポインタ装置では、奥行方向（表示装置の垂線方向）は表現できず、２Ｄでしか表現できないためである。
【０００８】
また、眼鏡式を採用して３Ｄ表示を行なう場合も同様に、表示装置またはスクリーンに向かってレーザポインタ装置からレーザ光を発光すると、表示装置またはスクリーンの表示面に直接にレーザポインタが表示されてしまうという問題がある。
【課題を解決するための手段】
【０００９】
本実施形態の３Ｄ表示処理システムは、上述した課題を解決するために、レーザ光を発光するレーザ光発光手段と、被検体像を含むボリュームデータに対して複数の異なる視線方向に対応するレンダリング処理を行なって複数の画像データを生成する画像生成手段と、前記レーザ光と表示手段との接触位置を取得する接触位置取得手段と、前記取得された接触位置に基づいて、擬似レーザポインタ像の３次元的な位置情報を算出する位置情報演算手段と、前記複数の画像データを立体視可能に表示する表示手段と、を有し、前記画像生成手段は、前記擬似レーザポインタ像の３次元的な位置情報に基づいて、前記複数の画像データの各画像データに含まれる前記被検体像に、前記擬似レーザポインタ像を重畳して複数の重畳画像データを生成し、前記表示手段は、前記複数の重畳画像データを立体視可能に表示するように構成された。
【図面の簡単な説明】
【００１０】
【図１】第１実施形態の３Ｄ表示処理システムを示す概略図。
【図２】第１実施形態の３Ｄ表示処理システムに備えるレーザポインタ装置の構造を示す概略図。
【図３】（ａ）は、第１実施形態の３Ｄ表示処理システムに備える３Ｄ表示装置の構造を示す概略図、（ｂ）は、（ａ）に示すＩ−Ｉ断面図。
【図４】（ａ）乃至（ｈ）は、複数配置される光センサの配置例を示す上面図。
【図５】第１実施形態の３Ｄ表示処理システムの構成を示すブロック図。
【図６】第１実施形態の３Ｄ表示処理システムの機能を示すブロック図。
【図７】擬似レーザポインタ像の位置を説明するための図。
【図８】重畳された擬似レーザポインタ像の位置変更を説明するための図。
【図９】第２実施形態の３Ｄ表示処理システムを示す概略図。
【図１０】第２実施形態の３Ｄ表示処理システムの構成を示すブロック図。
【図１１】第２実施形態の３Ｄ表示処理システムの機能を示すブロック図。
【図１２】擬似レーザポインタ像の位置を説明するための図。
【図１３】重畳された擬似レーザポインタ像の位置変更を説明するための図。
【発明を実施するための形態】
【００１１】
本実施形態の３Ｄ表示処理システムについて、添付図面を参照して説明する。
【００１２】
（第１実施形態）
図１は、第１実施形態の３Ｄ表示処理システムを示す概略図である。
【００１３】
図１は、第１実施形態の３Ｄ表示処理システム１を示す。３Ｄ表示処理システム１は、光線制御子を用いることで、多視差画像、例えば、９視差画像を観察者が裸眼にて立体視可能である構成である。３Ｄ表示処理システム１は、両眼視差による立体視を可能とし、さらに、観察者の視点移動に合わせて観察される映像も変化する運動視差による立体視も可能である。３Ｄ表示処理システム１は、レーザポインタ装置１０、画像処理装置２０、及び３Ｄ表示装置３０を備える。
【００１４】
レーザポインタ装置１０は、画像処理装置２０との間で相互に通信（例えば、（例えば、ｂｌｕｅｔｏｏｔｈに代表される無線通信）可能なように構成される。画像処理装置２０は、３Ｄ表示装置３０との間で相互に通信可能なように構成される。
【００１５】
図２は、第１実施形態の３Ｄ表示処理システム１に備えるレーザポインタ装置１０の構造を示す概略図である。
【００１６】
図２に示すレーザポインタ装置１０は、発光操作部（ボタン）１１、レーザ光源１２、奥行操作部（ホイール）１３、及びデータ送信部１４を備える。
【００１７】
発光操作部１１は、レーザポインタ装置１０の本体に対して方向ｖに押圧・押圧解除が可能な構造を有する。
【００１８】
レーザ光源１２は、発光操作部１１の操作者によって発光操作部１１が押圧されている間のみ、レーザ光を発光する。または、レーザ光源１２は、操作者によって発光操作部１１が押圧・押圧解除されるとレーザ光の発光を開始し、再び操作者によって発光操作部１１が押圧・押圧解除されるとレーザ光の発光を終了する。レーザ光源１２は、レーザ光として、操作者を含む３Ｄ表示装置３０の観察者が視認できない波長の光、例えば紫外線または赤外線を発光する構成とすることが好適である。
【００１９】
奥行操作部１３は、レーザポインタ装置１０の本体に対して回転方向ｒに回動可能な構造を有する。なお、発光操作部１１及び奥行操作部１３は、一体の構造であってもよい。
【００２０】
データ送信部１４は、操作者によって奥行操作部１３が回転方向ｒに回転されると、その回転量に相当するデータをデジタル変換して無線または有線で画像処理装置２０に送信する。
【００２１】
図３（ａ）は、第１実施形態の３Ｄ表示処理システム１に備える３Ｄ表示装置３０の構造を示す概略図である。図３（ｂ）は、図３（ａ）に示すＩ−Ｉ断面図である。
【００２２】
図３（ａ），（ｂ）に示す３Ｄ表示装置３０は、画像の表示に加え、外光の照度を検知することが可能なディスプレイ、例えば液晶ディスプレイである。３Ｄ表示装置３０は、バックライト３１、液晶パネル（液晶シャッタ）３２、及び凸レンズアレイ（光線制御子）３３を備える。なお、３Ｄ表示装置３０は、液晶ディスプレイに限定されるものではなく、有機ＥＬ（ｅｌｅｃｔｒｏ ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイや、プラズマディスプレイ等であってもよい。
【００２３】
３Ｄ表示装置３０のバックライト３１は、複数の白色ＬＥＤ（ｌｉｇｈｔ ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ）を含んでおり、液晶パネル３２の背面に配置される。バックライト３１は、バックライト駆動回路３４（図５に図示）から電源電圧が印加されると点灯し、液晶パネル３２に光を照明する。なお、バックライト３１は、白色ＬＥＤに限定されるものではなく、他の色のＬＥＤを含んでいてもよい。また、バックライト３１は、ＬＥＤに代えて、例えば、冷陰極管（ＣＣＦＬ：ｃｏｌｄ ｃａｔｈｏｄｅ ｆｌｕｏｒｅｓｃｅｎｔ ｌａｍｐ）を含むものであってもよい。
【００２４】
液晶パネル３２は、液晶パネル３２の水平方向（ｘ方向）及び上下方向（ｙ方向）にマトリクス状に複数備えられるピクセルＰを有する。ピクセルＰは、偏光板Ｐａ、ガラス基板Ｐｂ、画素電極（透明導電膜）Ｐｃ、配向膜Ｐｄ、液晶Ｐｅ、対向電極（透明導電膜）Ｐｆ、カラーフィルタＰｇ、及び光センサＰｈを備える。
【００２５】
ピクセルＰには、液晶パネル３２のｘ方向に、複数の異なる視線方向、例えば９個の視線方向に相当する絵素が配列される。絵素には、絵素の配列方向に垂直な方向であるｙ方向に、Ｒ（ｒｅｄ）、Ｇ（ｇｒｅｅｎ）及びＢ（ｂｌｕｅ）の各カラーフィルタＰｇが配列されることで、ＲＧＢの各画素が形成される。なお、絵素の配列方向は、液晶パネル３２のｘ方向に限定されるものではない。また、ＲＧＢの表面（ｘｙ面）形状は、長方形に限定されるのもではない。例えば、ＲＢの表面形状が右（または左）に傾斜した平行四辺形であり、かつ、Ｇの表面形状が逆に左（または右）に傾斜した平行四辺形であってもよい。
【００２６】
偏光板Ｐａは、ガラス基板Ｐｂ上に設けられ、バックライト３１からの光のうち特定方向の光のみを通過させる機能を有する。
【００２７】
画素電極Ｐｃは、ガラス基板Ｐｂ上に設けられる。画素電極Ｐｃは、液晶Ｐｅを挟む電極のうちＴＦＴ（ｔｈｉｎ ｆｉｌｍ ｔｒａｎｓｉｓｔｏｒ）側に設けている、画素を構成する電極である。
【００２８】
配向膜Ｐｄは、電極Ｐｃ，Ｐｆ上にそれぞれ設けられ、液晶分子を特定方向に整列させる機能を有する。
【００２９】
液晶Ｐｅは、外部電圧が印加されると、分子配列の並び方が変わる機能を有する。
【００３０】
対向電極Ｐｆは、ガラス基板Ｐｂ上に設けられる。対向電極Ｐｆは、液晶Ｐｅを挟む電極のうちＴＦＴに対向する側に設けている電極である。
【００３１】
カラーフィルタＰｇは、ＴＦＴに対向する側のガラス基板Ｐｂ上に設けられ、各画素に対して、各ＲＧＢが配列される。
【００３２】
光センサＰｈは、液晶パネル３２のｘ方向及びｙ方向に複数配置される。光センサＰｈは、外光の照度を検知することが可能である。複数の光センサＰｈのうち特定の光センサ（１つの光センサまたは光センサ群）Ｐｈ´のみがレーザ光を検知することで、複数の光センサＰｈは、レーザ光と液晶パネル３２との接触位置を取得する接触位置取得手段として機能する。複数の光センサＰｈによって取得された接触位置のデータはデジタル変換され、画像処理装置２０に送られる。光センサＰｈは、レーザポインタ装置１０のレーザ光源１２から発光されるレーザ光の径や、液晶パネル３２に対して通常用いられる、レーザ光の軌道角度（照射角度）を考慮して、液晶パネル３２に向かって発光されたレーザ光が特定の光センサＰｈ´で検知可能なように配置されることが好適である。
【００３３】
図４（ａ）乃至図４（ｆ）は、複数配置される光センサＰｈの配置例を示す上面（ｘ−ｙ平面）図である。
【００３４】
図４（ａ）乃至図４（ｆ）に示すように、液晶パネル３２を構成する複数のピクセルＰの全面または一部面に、光センサＰｈが配置される。図４（ａ）及び図４（ｂ）に示す光センサＰｈの配置例は、１つのピクセルＰに対して１つの光センサＰｈを配置する場合を示している。図４（ｃ）に示す光センサＰｈの配置例は、２つのピクセルＰに対して１つの光センサＰｈを配置する場合を示している。図４（ｄ）に示す光センサＰｈの配置例は、４つのピクセルＰに対して１つの光センサＰｈを配置する場合を示している。図４（ｅ）及び図４（ｆ）に示す光センサＰｈの配置例は、１つのピクセルＰに対して２つの光センサＰｈを配置する場合を示している。なお、光センサＰｈのサイズは任意に変更できる。図３に示す３Ｄ表示装置３０の構造は、図４（ａ）に基づくものである。
【００３５】
図３（ａ），（ｂ）に示す３Ｄ表示装置３０の凸レンズアレイ３３は、液晶パネル３２の前面に備えられる。凸レンズアレイ３３は、例えば、絵素の配列方向に垂直なｙ方向を軸とするレンチキュラーレンズ（かまぼこ型レンズ）が、絵素の配列方向であるｘ方向に複数配置されるレンチキュラーレンズアレイである。なお、図示しないが、凸レンズアレイ３３は、ピクセルＰ毎に割り当てられたフライアイレンズ（蝿の目レンズ）を複数のピクセルＰの分配列したフライアイレンズアレイであってもよい。
【００３６】
図５は、第１実施形態の３Ｄ表示処理システム１の構成を示すブロック図である。
【００３７】
図５に示す３Ｄ表示処理システム１のレーザポインタ装置１０は、図２を用いて説明したように、発光操作部１１、レーザ光源１２、奥行操作部１３、及びデータ送信部１４を備える。
【００３８】
画像処理装置２０は、処理部（ＣＰＵ）２１、メモリ２２、ＨＤＤ（ｈａｒｄ ｄｉｓｋ ｄｒｉｖｅ）２３、ＩＦ（ｉｎｔｅｒｆａｃｅ）２４、入力部２５、データ受信部２６等の基本的なハードウェアから構成される。処理部２１は、共通信号伝送路としてのバスを介して、画像処理装置２０を構成する各ハードウェア構成要素に相互接続されている。なお、画像処理装置２０は、図示しない記憶媒体ドライブを具備する場合もある。
【００３９】
処理部２１は、半導体で構成された電子回路が複数の端子を持つパッケージに封入されている集積回路（ＬＳＩ）の構成をもつ制御装置である。操作者によって入力部２５が操作等されることにより指令が入力されると、処理部２１は、メモリ２２に記憶しているプログラムを実行する。または、処理部２１は、ＨＤＤ２３に記憶しているプログラム、ネットワークＮから転送されてＨＤＤ２３にインストールされたプログラム、または記憶媒体ドライブに装着された記憶媒体から読み出されてＨＤＤ２３にインストールされたプログラムを、メモリ２２にロードして実行する。
【００４０】
メモリ２２は、ＲＯＭ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）及びＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）等の要素を兼ね備える構成をもつ記憶装置である。メモリ２２は、ＩＰＬ（ｉｎｉｔｉａｌ ｐｒｏｇｒａｍ ｌｏａｄｉｎｇ）、ＢＩＯＳ（ｂａｓｉｃ ｉｎｐｕｔ／ｏｕｔｐｕｔ ｓｙｓｔｅｍ）及びデータを記憶したり、処理部２１のワークメモリやデータの一時的な記憶に用いられたりする。
【００４１】
ＨＤＤ２３は、磁性体を塗布または蒸着した金属のディスクが着脱不能で内蔵されている構成をもつ記憶装置である。ＨＤＤ２３は、画像処理装置２０にインストールされたプログラム（アプリケーションプログラムの他、ＯＳ（ｏｐｅｒａｔｉｎｇ ｓｙｓｔｅｍ）等も含まれる）や、データを記憶する記憶装置である。また、ＯＳに、操作者に対する情報の表示にグラフィックを多用し、基礎的な操作を入力部２５によって行なうことができるＧＵＩ（ｇｒａｐｈｉｃａｌ ｕｓｅｒ ｉｎｔｅｒｆａｃｅ）を提供させることもできる。
【００４２】
ＩＦ２４は、パラレル接続仕様やシリアル接続仕様に合わせたコネクタによって構成され、各規格に応じた通信制御を行なう。ＩＦ２４は、ネットワークＮに接続することができる機能を有しており、これにより、画像処理装置２０は、ＩＦ２４からネットワークＮ網に接続することができる。
【００４３】
入力部２５は、操作者によって操作が可能なポインティングデバイスであり、操作に従った入力信号が処理部２１に送られる。
【００４４】
データ受信部２６は、レーザポインタ装置１０のデータ送信部１４から送信される回転量（変更量）データを受信する。
【００４５】
３Ｄ表示装置３０は、図３及び図４を用いて説明したように、バックライト３１、液晶パネル３２、及び凸レンズアレイ３３を備える。また、３Ｄ表示装置３０は、バックライト駆動回路３４、液晶パネル駆動回路３５、光センサ駆動回路３６、信号変換回路３７、及び制御部３８を備える。
【００４６】
バックライト駆動回路３４は、制御部３８による制御に従ってバックライト３１に電圧を印加してバックライト３１を駆動させる。
【００４７】
液晶パネル駆動回路３５は、制御部３８による制御に従って液晶パネル３２のピクセルＰの画素回路を駆動させる。
【００４８】
光センサ駆動回路３６は、制御部３８による制御に従って液晶パネル３２の光センサＰｈに電圧を印加して光センサＰｈを駆動させる。
【００４９】
信号変換回路３７は、光センサＰｈから出力されるセンサ出力信号をデジタル信号に変換し、変換後のセンサ出力信号を制御部３８に送る。
【００５０】
制御部３８は、画像処理装置２０の処理部２１からの指示に従ってバックライト駆動回路３４、液晶パネル駆動回路３５、及び光センサ駆動回路３６を制御する。また、制御部３８は、信号変換回路３７から受信したセンサ出力信号に基づいてレーザ光と液晶パネル３２との接触位置を接触位置データとして取得して、接触位置データを処理部２１に送信する。
【００５１】
図６は、第１実施形態の３Ｄ表示処理システム１の機能を示すブロック図である。
【００５２】
図５に示す処理部２１がプログラムを実行することによって、図６に示すように、３Ｄ表示処理システム１の画像処理装置２０は、ボリュームデータ取得部４１、基準画像生成部４２、接触位置取得部４３、位置情報演算部４４、重畳画像生成部４５、及び変更量取得部４６として機能する。なお、画像処理装置２０は、各部４１乃至４６の全部または一部をハードウェアとして備えるものであってもよい。
【００５３】
ボリュームデータ取得部４１は、ＨＤＤ２３等の記憶装置に記憶された、被検体像を含むボリュームデータを取得する機能を有する。なお、ボリュームデータ取得部４１は、外部からネットワークＮを介して受信したボリュームデータを取得してもよい。例えば、ボリュームデータは、超音波診断装置、Ｘ線ＣＴ（ｃｏｍｐｕｔｅｄ ｔｏｍｏｇｒａｐｈｙ）装置、ＭＲＩ（ｍａｇｎｅｔｉｃ ｒｅｓｏｎａｎｃｅ ｉｍａｇｉｎｇ）装置、及び核医学診断装置等によって生成される。
【００５４】
基準画像生成部４２は、ボリュームデータ取得部４１によって取得されたボリュームデータに対して複数の異なる視線方向、例えば９個の視線方向に対応するレンダリング処理を行なって９個の視線方向に対応する基準画像（９視差画像）をデータとして生成する機能を有する。９個の基準画像は、データ信号として３Ｄ表示装置３０の制御部３８に送られる。９個の基準画像のデータ信号は、液晶パネル駆動回路３５を介して、液晶パネル３２のピクセルＰを構成する９個の絵素に、視線の順にそれぞれ同時に割り当てられて表示される。基準画像は、サーフェイスレンダリング（ｓｕｒｆａｃｅ ｒｅｎｄｅｒｉｎｇ）処理や、ボリュームレンダリング（ｖｏｌｕｍｅ ｒｅｎｄｅｒｉｎｇ）処理によって得られる。
【００５５】
なお、液晶パネル３２のピクセルＰを構成する絵素の数と、基準画像の視線方向の数とが同一となるような構成について説明したが、ピクセルＰを構成する絵素の数が、基準画像の視線方向の数以上となるような構成であればよい。例えば、３個の基準画像を表示するために、ピクセルＰを９個の絵素によって構成する場合、左端の視線方向の基準画像をピクセルＰの右端の３絵素に割り当て、中央の視線方向の基準画像をピクセルＰの中央の３絵素に割り当て、右端の視線方向の基準画像をピクセルＰの左端の３絵素に割り当てる。また、複数の視線方向に対応する基準画像の各基準画像に割り当てられる絵素の数が異なっていてもよい。
【００５６】
基準画像生成部４２によって生成された９個の基準画像を３Ｄ表示装置３０によって表示させると、被検体像が３Ｄ表示される。操作者を含む観察者の右目及び左目に３Ｄ表示装置３０から入射する光は、３Ｄ表示装置３０に対する観察者の観察方向（観察角度）に連動して変化する。すなわち、３Ｄ表示装置３０に対する観察者の観察方向により、観察者の右目に入射する画像（画像群）と左目に入射する画像（画像群）とはレンダリングの視線方向が異なる。これにより、観察者は、被検体像を立体視できる。
【００５７】
接触位置取得部４３は、３Ｄ表示装置３０の制御部３８から送信された接触位置データを取得する機能を有する。
【００５８】
位置情報演算部４４は、接触位置取得部４３によって取得された接触位置に基づいて、擬似レーザポインタ像の３次元的な位置情報を算出する機能を有する。位置情報演算部４４は、９個の視線方向の中心視線方向に直交する投影面上に、接触位置取得部４３によって取得された接触位置に対応する位置としての投影面上位置を設定し、被検体像の表面全体から、中心視線方向及び投影面上位置に基づいて表面部分の３次元的な位置情報を算出する。
【００５９】
図７は、擬似レーザポインタ像の位置を説明するための図である。
【００６０】
図７は、ボリュームデータＶ０と、９個の視線方向の中心視線方向の線Ｌに直交する投影面とを示す。投影面は、液晶パネル３２に相当する。図７に示すボリュームデータＶ０は、接触位置に対応する投影面上の位置としての投影面上位置Ｔを含むｙ−ｚ断面及びｘ−ｚ断面として示されている。なお、投影面に直交する中心視線方向の線Ｌは、液晶パネル３２に直交するｚ方向に等しい。
【００６１】
接触位置取得部４３によって接触位置データが取得されると、位置情報演算部４４は、ボリュームデータＶ０を構成する複数のボクセルのうち、投影面上位置Ｔを通る中心視線方向の線Ｌ上であって、被検体像Ｏの表面部分を含むボクセル（または当該ボクセル及びその隣接ボクセルを含むボクセル群）を演算する。例えば、位置情報演算部４４は、投影面上位置Ｔから最も離れた表面部分を含むボクセルＩ［ｘ０，ｙ０，ｚ０］を演算する。
【００６２】
図６に示す重畳画像生成部４５は、位置情報演算部４４によって算出された、擬似レーザポインタ像の３次元的な位置情報に基づいて、９個の基準画像の各基準画像に含まれる被検体像に擬似レーザポインタ像を重畳して、９個の視線方向に対応する重畳画像（レンダリング画像）をデータとして生成する機能を有する。例えば、重畳画像生成部４５は、ボリュームデータに含まれる被検体像の表面部分に擬似レーザポインタ像を重畳し、擬似レーザポインタ像が重畳されたボリュームデータに対して９個の視線方向に対応するレンダリング処理を行なって９個の重畳画像を生成する。例えば、重畳画像生成部４５は、図７に示すボクセルＩ［ｘ０，ｙ０，ｚ０］のボクセル値を置換して、ボクセルＩ［ｘ０，ｙ０，ｚ０］に擬似レーザポインタ像を重畳する。
【００６３】
重畳画像生成部４５によって生成された９個の重畳画像を３Ｄ表示装置３０によって表示させると、操作者を含む観察者は、立体視された被検体像の表面部分に、擬似レーザポインタ像を立体視できる。観察者の右目及び左目に３Ｄ表示装置３０から入射する光は、３Ｄ表示装置３０に対する観察者の観察方向に連動して変化する。これにより、観察者は、被検体像及び擬似レーザポインタ像を立体視できる。
【００６４】
続いて、変更量取得部４６は、データ受信部２６を介してレーザポインタ装置１０のデータ送信部１４から受信された回転量データを、擬似レーザポインタ像の重畳位置の変更量データとして取得する機能を有する。
【００６５】
位置情報演算部４４は、変更量取得部４６によって取得された変更量データに基づいて、９個の視線方向の重畳画像に重畳された擬似レーザポインタ像の重畳位置をそれぞれ変更し、変更後の擬似レーザポインタ像を重畳した９個の視線方向の重畳画像を生成する機能を有する。例えば、位置情報演算部４４は、擬似レーザポインタ像が重畳されたボリュームデータ上で、擬似レーザポインタ像の重畳位置を、変更量データの変更量に応じて中心視線方向の線Ｌ上で変更する。
【００６６】
図８は、重畳された擬似レーザポインタ像の位置変更を説明するための図である。
【００６７】
図８は、擬似レーザポインタ像が重畳されたボリュームデータＶ１と、９個の視線方向の中心視線方向の線Ｌに直交する投影面とを示す。投影面は、液晶パネル３２に相当する。図８に示すボリュームデータＶ１は、接触位置に対応する投影面上の位置としての投影面上位置Ｔを含むｙ−ｚ断面及びｘ−ｚ断面として示されている。なお、投影面に直交する中心視線方向の線Ｌは、液晶パネル３２に直交するｚ方向に等しい。
【００６８】
変更量取得部４６によって変更量データが取得されると、位置情報演算部４４は、変更量データの変更量に応じて中心視線方向の線Ｌ上で、擬似レーザポインタ像のボクセルＩ［ｘ０，ｙ０，ｚ０］を、ボクセル（または当該ボクセル及びその隣接ボクセルを含むボクセル群）Ｊ［ｘ０，ｙ０，ｚ１］に変更する。
【００６９】
図６に示す重畳画像生成部４５は、位置情報演算部４４によって算出された、重畳位置変更後の擬似レーザポインタ像の３次元的な位置情報に基づいて、９個の基準画像の各基準画像に含まれる被検体像に擬似レーザポインタ像を重畳して、９個の視線方向に対応する重畳画像をデータとして生成する機能を有する。例えば、重畳画像生成部４５は、図８に示すボクセルＩ［ｘ０，ｙ０，ｚ０］のボクセル値を元に戻し、ボクセルＪ［ｘ０，ｙ０，ｚ１］のボクセル値を置換して、ボクセルＪ［ｘ０，ｙ０，ｚ１］に擬似レーザポインタ像を重畳する。
【００７０】
なお、現在の投影面上位置Ｔにおいて、擬似レーザポインタ像の重畳位置をｚ方向に変更させる意図でレーザポインタ装置１０の奥行操作部１３を操作する際、レーザ光が揺れ、現在の投影面上位置Ｔがｘ−ｙ平面上で移動してしまうことがある。その場合、擬似レーザポインタ像がｘ−ｙ平面上で意図に反して変更されてしまう。そこで、レーザポインタ装置１０の奥行操作部１３を操作する際は、投影面上位置Ｔのｘ−ｙ平面上の移動が所定距離以内である場合は、投影面上位置Ｔはｘ−ｙ平面上で移動していないと判断する構成とすることができる。または、レーザポインタ装置１０の奥行操作部１３を操作する際は、予め投影面上位置Ｔをロックする構成とすることができる。
【００７１】
また、位置情報演算部４４は、変更量取得部４６によって更なる変更量データが取得されると、更なる変更量に応じて中心視線方向の線Ｌ上で、擬似レーザポインタ像のボクセルＪ［ｘ０，ｙ０，ｚ１］を変更する。この場合、回転方向ｒ（図２に図示）の向きに従って、擬似レーザポインタ像の変更の向きが投影面側か、その逆側かに決まる。よって、レーザポインタ装置１０の奥行操作部１３による、擬似レーザポインタ像のｚ方向の移動指示に連動して、立体視される擬似レーザポインタ像の重畳位置がｚ方向に変更される。
【００７２】
なお、第１実施形態の３Ｄ表示処理システム１において、レンチキュラーレンズ方式の裸眼式を採用する構成について説明した。しかし、３Ｄ表示処理システム１は、その場合に限定するものではなく、パララックスバリア方式の裸眼式を採用する構成であってもよい。また、第１実施形態の３Ｄ表示処理システム１の技術思想は、レーザ光と３Ｄ表示装置３０との接触位置を取得する手段と、取得された接触位置に基づいて、擬似レーザポインタ像の３次元的な位置情報を算出する手段とさえ備えれば、眼鏡式（アナグリフ方式、フレームシーケンシャル方式、及び偏光方式等）を採用する構成にも応用できる。第１実施形態の３Ｄ表示処理システム１の技術思想を、眼鏡式を採用する構成に応用する場合、表示手段としてのスクリーンに重畳画像を投影することもできる。
【００７３】
第１実施形態の３Ｄ表示処理システム１によると、操作者を含む観察者は、レーザポインタ像を立体視でき、さらに操作者は、立体視されたレーザポインタ像の３次元的な位置を変更することができる。
【００７４】
（第２実施形態）
第２実施形態の３Ｄ表示処理システム１Ａにおいて、図１乃至図６に示す３Ｄ表示処理システム１と同一部材には同一符号を付して説明を省略する。
【００７５】
図９は、第２実施形態の３Ｄ表示処理システムを示す概略図である。
【００７６】
図９は、第２実施形態の３Ｄ表示処理システム１Ａを示す。３Ｄ表示処理システム１Ａは、レーザポインタ装置１０、画像処理装置２０Ａ、３Ｄ表示装置３０、及び発光位置検知装置６０を備える。
【００７７】
レーザポインタ装置１０は、画像処理装置２０Ａとの間で相互に通信（例えば、無線通信）可能なように構成される。画像処理装置２０Ａは、３Ｄ表示装置３０との間で相互に通信可能なように構成される。
【００７８】
図１０は、第２実施形態の３Ｄ表示処理システム１Ａの構成を示すブロック図である。
【００７９】
図１０に示す発光位置検知装置６０は、例えば画像センサ６１及びデータ送信部６２を備える。なお、発光位置検知装置６０は、レーザ光の発光位置を検知する機能と、発光位置を画像処理装置２０Ａに送信する機能を有していればよい。例えば、発光位置検知装置６０は、ＧＰＳ（ｇｌｏｂａｌ ｐｏｓｉｔｉｏｎｉｎｇ ｓｙｓｔｅｍ）によってレーザ光の発光位置を検知するものであってもよい。また、発光位置検知装置６０が光または磁気を用いた位置センサ、及びジャイロ式の角度センサを含み、その発光位置検知装置６０をレーザポインタ装置１０に備える構成であってもよい。
【００８０】
画像センサ６１は、３Ｄ表示装置３０の前面を撮像して画像データを取得し、その画像データを、パターンマッチング等を利用して解析して３Ｄ表示装置３０の前面のレーザポインタ装置１０またはそれを操作する操作者の位置を発光位置データとして検知する。
【００８１】
データ送信部６２は、画像センサ６１によって検知された発光位置データをデジタル変換して無線または有線で画像処理装置２０Ａに送信する。
【００８２】
画像処理装置２０Ａの処理部２１Ａは、処理部２１と同様の構成を有する。操作者によって入力部２５が操作等されることにより指令が入力されると、処理部２１Ａは、メモリ２２に記憶しているプログラムを実行する。または、処理部２１Ａは、ＨＤＤ２３に記憶しているプログラム、ネットワークＮから転送されてＨＤＤ２３にインストールされたプログラム、または記憶媒体ドライブに装着された記憶媒体から読み出されてＨＤＤ２３にインストールされたプログラムを、メモリ２２にロードして実行する。
【００８３】
データ受信部２６Ａは、発光位置検知装置６０のデータ送信部６２から送信される発光位置データを受信する。
【００８４】
図１１は、第２実施形態の３Ｄ表示処理システム１Ａの機能を示すブロック図である。
【００８５】
図１０に示す処理部２１Ａがプログラムを実行することによって、図１１に示すように、３Ｄ表示処理システム１Ａの画像処理装置２０Ａは、ボリュームデータ取得部４１、基準画像生成部４２、接触位置取得部４３、位置情報演算部４４Ａ、重畳画像生成部４５Ａ、変更量取得部４６、発光位置取得部４７、及び軌道演算部４８として機能する。なお、画像処理装置２０Ａは、各部４１乃至４８の全部または一部をハードウェアとして備えるものであってもよい。なお、図１０に示す３Ｄ表示処理システム１Ａにおいて、図６に示す３Ｄ表示処理システム１と同一機能には同一符号を付して説明を省略する。
【００８６】
発光位置取得部４７は、データ受信部２６Ａを介して発光位置検知装置６０のデータ送信部６２から受信された発光位置データを取得する機能を有する。
【００８７】
軌道演算部４８は、接触位置取得部４３によって取得された接触位置と、発光位置取得部４７によって取得された発光位置に基づいて、レーザ光の軌道を軌道データとして算出する機能を有する。軌道演算部４８は、９個の視線方向の中心視線方向に直交する投影面上に、接触位置取得部４３によって取得された接触位置に対応する位置としての投影面上位置を設定し、投影面上位置と、発光位置取得部４７によって取得された発光位置データとに基づいて、レーザ光の軌道を軌道データとして算出する。
【００８８】
位置情報演算部４４Ａは、軌道演算部４８によって算出された軌道データに基づいて、擬似レーザポインタ像の３次元的な位置情報を算出する機能を有する。例えば、位置情報演算部４４Ａは、被検体像の表面全体から、レーザ光の軌道に基づいて表面部分の３次元的な位置情報を算出する。
【００８９】
図１２は、擬似レーザポインタ像の位置を説明するための図である。
【００９０】
図１２は、ボリュームデータＶ０と、９個の視線方向の中心視線方向の線Ｌに直交する投影面とを示す。投影面は、液晶パネル３２に相当する。図１２に示すボリュームデータＶ０は、接触位置に対応する投影面上の位置としての投影面上位置Ｔを含むｙ−ｚ断面及びｘ−ｚ断面として示されている。なお、投影面に直交する中心視線方向の線Ｌは、液晶パネル３２に直交するｚ方向に等しい。
【００９１】
軌道演算部４８によって軌道データが算出されると、位置情報演算部４４Ａは、ボリュームデータＶ０を構成する複数のボクセルのうち、投影面上位置Ｔ及び発光位置Ｑに基づくレーザ光の軌道Ｒ上であって、被検体像Ｏの表面部分を含むボクセル（または当該ボクセル及びその隣接ボクセルを含むボクセル群）を演算する。例えば、位置情報演算部４４Ａは、投影面上位置Ｔから最も離れた表面部分を含むボクセルＫ［ｘ０，ｙ０，ｚ０］を演算する。
【００９２】
図１１に示す重畳画像生成部４５Ａは、位置情報演算部４４Ａによって算出された、擬似レーザポインタ像の３次元的な位置情報に基づいて、９個の基準画像の各基準画像に含まれる被検体像に擬似レーザポインタ像を重畳して、９個の視線方向に対応する重畳画像をデータとして生成する機能を有する。例えば、重畳画像生成部４５Ａは、ボリュームデータに含まれる被検体像の表面部分に擬似レーザポインタ像を重畳し、擬似レーザポインタ像が重畳されたボリュームデータに対して９個の視線方向に対応するレンダリング処理を行なって９個の重畳画像を生成する。例えば、重畳画像生成部４５Ａは、図１２に示すボクセルＫ［ｘ０，ｙ０，ｚ０］のボクセル値を置換して、ボクセルＫ［ｘ０，ｙ０，ｚ０］に擬似レーザポインタ像を重畳する。
【００９３】
第１実施形態の３Ｄ表示処理システム１では、光レーザの軌道Ｒに関わりなく中心視線方向の線Ｌ上のボクセルに擬似レーザポインタ像が重畳される。第１実施形態の３Ｄ表示処理システム１では、３Ｄ表示装置３０に対する光レーザの入射角度が０度以外の場合、立体視された被検体像Ｏの、レーザポインタ装置１０の操作者が意図する場所に近い表面部分に、擬似レーザポインタ像が立体視されるにすぎない。一方、第２実施形態の３Ｄ表示処理システム１Ａでは、光レーザの軌道Ｒ上のボクセルに擬似レーザポインタ像が重畳される。
【００９４】
重畳画像生成部４５Ａによって生成された９個の重畳画像を３Ｄ表示装置３０によって表示させると、操作者を含む観察者は、立体視された被検体像の表面部分に、擬似レーザポインタ像を立体視できる。観察者の右目及び左目に３Ｄ表示装置３０から入射する光は、３Ｄ表示装置３０に対する観察者の観察方向に連動して変化する。これにより、観察者は、被検体像及び擬似レーザポインタ像を立体視できる。
【００９５】
続いて、位置情報演算部４４Ａは、変更量取得部４６によって取得された変更量データに基づいて、９個の視線方向の重畳画像に重畳された擬似レーザポインタ像の重畳位置をそれぞれ変更し、変更後の擬似レーザポインタ像を重畳した９個の視線方向の重畳画像を生成する機能を有する。例えば、位置情報演算部４４Ａは、擬似レーザポインタ像が重畳されたボリュームデータ上で、擬似レーザポインタ像の重畳位置を、変更量データの変更量に応じてレーザ光の軌道Ｒ上で変更する。
【００９６】
図１３は、重畳された擬似レーザポインタ像の位置変更を説明するための図である。
【００９７】
図１３は、擬似レーザポインタ像が重畳されたボリュームデータＶ１と、９個の視線方向の中心視線方向の線Ｌに直交する投影面とを示す。投影面は、液晶パネル３２に相当する。図１３に示すボリュームデータＶ１は、接触位置に対応する投影面上の位置としての投影面上位置Ｔを含むｙ−ｚ断面及びｘ−ｚ断面として示されている。なお、投影面に直交する中心視線方向の線Ｌは、液晶パネル３２に直交するｚ方向に等しい。
【００９８】
変更量取得部４６によって変更量データが取得されると、位置情報演算部４４Ａは、変更量データの変更量に応じてレーザ光の軌道Ｒ上で、擬似レーザポインタ像のボクセルＫ［ｘ０，ｙ０，ｚ０］を、ボクセル（または当該ボクセル及びその隣接ボクセルを含むボクセル群）Ｍ［ｘ１，ｙ１，ｚ１］に変更する。
【００９９】
図１１に示す重畳画像生成部４５Ａは、位置情報演算部４４Ａによって算出された、重畳位置変更後の擬似レーザポインタ像の３次元的な位置情報に基づいて、９個の基準画像の各基準画像に含まれる被検体像に擬似レーザポインタ像を重畳して、９個の視線方向に対応する重畳画像をデータとして生成する機能を有する。例えば、重畳画像生成部４５Ａは、図１３に示すボクセルＫ［ｘ０，ｙ０，ｚ０］のボクセル値を元に戻し、ボクセルＭ［ｘ１，ｙ１，ｚ１］のボクセル値を置換して、ボクセルＭ［ｘ１，ｙ１，ｚ１］に擬似レーザポインタ像を重畳する。
【０１００】
また、位置情報演算部４４Ａは、変更量取得部４６によって更なる変更量データが取得されると、更なる変更量に応じてレーザ光の軌道Ｒ上で、擬似レーザポインタ像のボクセルＭ［ｘ１，ｙ１，ｚ１］を変更する。この場合、回転方向ｒ（図２に図示）の向きに従って、擬似レーザポインタ像の変更の向きが投影面側か、その逆側かに決まる。よって、レーザポインタ装置１０の奥行操作部１３による、擬似レーザポインタ像のｚ方向の移動指示に連動して、立体視される擬似レーザポインタ像の重畳位置がｚ方向に変更される。
【０１０１】
なお、第２実施形態の３Ｄ表示処理システム１Ａにおいて、レンチキュラーレンズ方式の裸眼式を採用する構成について説明した。しかし、３Ｄ表示処理システム１Ａは、その場合に限定するものではなく、パララックスバリア方式の裸眼式を採用する構成であってもよい。また、第２実施形態の３Ｄ表示処理システム１Ａの技術思想は、レーザ光と３Ｄ表示装置３０との接触位置を取得する手段と、レーザポインタ装置１０またはそれを操作する操作者の位置を発光位置データとして検知する手段と、取得された接触位置及び発光位置に基づいて、擬似レーザポインタ像の３次元的な位置情報を算出する手段とさえ備えれば、眼鏡式（アナグリフ方式、フレームシーケンシャル方式、及び偏光方式等）を採用する構成にも応用できる。第２実施形態の３Ｄ表示処理システム１Ａの技術思想を、眼鏡式を採用する構成に応用する場合、表示手段としてのスクリーンに重畳画像を投影することもできる。
【０１０２】
第２実施形態の３Ｄ表示処理システム１Ａによると、操作者を含む観察者は、レーザポインタ像を立体視でき、さらに操作者は、立体視されたレーザポインタ像の３次元的な位置を変更することができる。
【０１０３】
なお、本実施形態の３Ｄ表示処理システム１，１Ａは、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、本実施形態の３Ｄ表示処理システム１，１Ａに開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
【符号の説明】
【０１０４】
１，１Ａ ３Ｄ表示処理システム
１０ レーザポインタ装置
１１ 発光操作部（ボタン）
１３ 奥行操作部（ホイール）
２０，２０Ａ 画像処理装置
２１，２１Ａ 処理部
３０ ３Ｄ表示装置
３３ 凸レンズアレイ
４１ ボリュームデータ取得部
４２ 基準画像生成部
４３ 接触位置取得部
４４，４４Ａ 位置情報演算部
４５，４５Ａ 重畳画像生成部
４６ 変更量取得部
４７ 発光位置取得部
４８ 軌道演算部
６０ 発光位置検知装置
６１ 画像センサ
Ｐｈ 光センサ
Ｌ 中心視線方向の線
Ｒ レーザ光の軌道
Ｔ 投影面上位置
Ｑ 発光位置
【技術分野】
【０００１】
本発明の一態様としての実施形態は、多視差画像を用いて３Ｄ表示（３次元表示、立体表示）を行なう場合に適用される３Ｄ表示処理システムに関する。
【背景技術】
【０００２】
コンピュータを用いたプレゼンテーションや講演が行なわれている。プレゼンテーションでは、コンピュータの画像データを表示装置に表示したり、プロジェクタによってスクリーン上に投影したりして、表示または投影された画像を用いて説明を行なっている。
【０００３】
プレゼンテーションにおいて、レーザビーム等の光を用いたレーザポインタによってスクリーン上の位置を指示するものが示されている（例えば、特許文献１参照。）。
【０００４】
今日、多視差画像（例えば、９視差画像）を用いて３Ｄ表示を行なう技術が開発されている。３Ｄ表示を行なう技術では、裸眼式（パララックスバリア方式及びレンチキュラーレンズ方式等）や、眼鏡式（アナグリフ方式、フレームシーケンシャル方式、及び偏光方式等）が採用される。
【０００５】
裸眼式では、レンチキュラーレンズ等の光線制御子を用いて、複数視点で撮影された多視差画像を裸眼にて立体視可能なシステムが実用化されている。眼鏡式では、立体視用眼鏡等の専用機器を用いて、２つの視点から撮影された２視差画像（両眼視差画像）を立体視可能なシステムが実用化されている。なお、立体視可能な３Ｄ表示装置にて表示される２視差画像や９視差画像は、１視点から撮影された画像の奥行き情報を推定し、推定した情報を用いた画像処理により生成される場合もある。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００６−１６３９２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
裸眼式を採用して３Ｄ表示を行なう場合、３Ｄ表示用の表示装置が必要である。そして、表示装置に向かってレーザポインタ装置からレーザ光を発光すると、表示装置の表示面に直接にレーザポインタが表示されてしまうという問題がある。表示装置によって表示される多視差画像はレーザポインタ装置の操作者には３Ｄとして見えているので、操作者は、ポインタを、見えている３Ｄ上の点に合わせたくても、３Ｄ上の点に合わせることはできない。従来のレーザポインタ装置では、奥行方向（表示装置の垂線方向）は表現できず、２Ｄでしか表現できないためである。
【０００８】
また、眼鏡式を採用して３Ｄ表示を行なう場合も同様に、表示装置またはスクリーンに向かってレーザポインタ装置からレーザ光を発光すると、表示装置またはスクリーンの表示面に直接にレーザポインタが表示されてしまうという問題がある。
【課題を解決するための手段】
【０００９】
本実施形態の３Ｄ表示処理システムは、上述した課題を解決するために、レーザ光を発光するレーザ光発光手段と、被検体像を含むボリュームデータに対して複数の異なる視線方向に対応するレンダリング処理を行なって複数の画像データを生成する画像生成手段と、前記レーザ光と表示手段との接触位置を取得する接触位置取得手段と、前記取得された接触位置に基づいて、擬似レーザポインタ像の３次元的な位置情報を算出する位置情報演算手段と、前記複数の画像データを立体視可能に表示する表示手段と、を有し、前記画像生成手段は、前記擬似レーザポインタ像の３次元的な位置情報に基づいて、前記複数の画像データの各画像データに含まれる前記被検体像に、前記擬似レーザポインタ像を重畳して複数の重畳画像データを生成し、前記表示手段は、前記複数の重畳画像データを立体視可能に表示するように構成された。
【図面の簡単な説明】
【００１０】
【図１】第１実施形態の３Ｄ表示処理システムを示す概略図。
【図２】第１実施形態の３Ｄ表示処理システムに備えるレーザポインタ装置の構造を示す概略図。
【図３】（ａ）は、第１実施形態の３Ｄ表示処理システムに備える３Ｄ表示装置の構造を示す概略図、（ｂ）は、（ａ）に示すＩ−Ｉ断面図。
【図４】（ａ）乃至（ｈ）は、複数配置される光センサの配置例を示す上面図。
【図５】第１実施形態の３Ｄ表示処理システムの構成を示すブロック図。
【図６】第１実施形態の３Ｄ表示処理システムの機能を示すブロック図。
【図７】擬似レーザポインタ像の位置を説明するための図。
【図８】重畳された擬似レーザポインタ像の位置変更を説明するための図。
【図９】第２実施形態の３Ｄ表示処理システムを示す概略図。
【図１０】第２実施形態の３Ｄ表示処理システムの構成を示すブロック図。
【図１１】第２実施形態の３Ｄ表示処理システムの機能を示すブロック図。
【図１２】擬似レーザポインタ像の位置を説明するための図。
【図１３】重畳された擬似レーザポインタ像の位置変更を説明するための図。
【発明を実施するための形態】
【００１１】
本実施形態の３Ｄ表示処理システムについて、添付図面を参照して説明する。
【００１２】
（第１実施形態）
図１は、第１実施形態の３Ｄ表示処理システムを示す概略図である。
【００１３】
図１は、第１実施形態の３Ｄ表示処理システム１を示す。３Ｄ表示処理システム１は、光線制御子を用いることで、多視差画像、例えば、９視差画像を観察者が裸眼にて立体視可能である構成である。３Ｄ表示処理システム１は、両眼視差による立体視を可能とし、さらに、観察者の視点移動に合わせて観察される映像も変化する運動視差による立体視も可能である。３Ｄ表示処理システム１は、レーザポインタ装置１０、画像処理装置２０、及び３Ｄ表示装置３０を備える。
【００１４】
レーザポインタ装置１０は、画像処理装置２０との間で相互に通信（例えば、（例えば、ｂｌｕｅｔｏｏｔｈに代表される無線通信）可能なように構成される。画像処理装置２０は、３Ｄ表示装置３０との間で相互に通信可能なように構成される。
【００１５】
図２は、第１実施形態の３Ｄ表示処理システム１に備えるレーザポインタ装置１０の構造を示す概略図である。
【００１６】
図２に示すレーザポインタ装置１０は、発光操作部（ボタン）１１、レーザ光源１２、奥行操作部（ホイール）１３、及びデータ送信部１４を備える。
【００１７】
発光操作部１１は、レーザポインタ装置１０の本体に対して方向ｖに押圧・押圧解除が可能な構造を有する。
【００１８】
レーザ光源１２は、発光操作部１１の操作者によって発光操作部１１が押圧されている間のみ、レーザ光を発光する。または、レーザ光源１２は、操作者によって発光操作部１１が押圧・押圧解除されるとレーザ光の発光を開始し、再び操作者によって発光操作部１１が押圧・押圧解除されるとレーザ光の発光を終了する。レーザ光源１２は、レーザ光として、操作者を含む３Ｄ表示装置３０の観察者が視認できない波長の光、例えば紫外線または赤外線を発光する構成とすることが好適である。
【００１９】
奥行操作部１３は、レーザポインタ装置１０の本体に対して回転方向ｒに回動可能な構造を有する。なお、発光操作部１１及び奥行操作部１３は、一体の構造であってもよい。
【００２０】
データ送信部１４は、操作者によって奥行操作部１３が回転方向ｒに回転されると、その回転量に相当するデータをデジタル変換して無線または有線で画像処理装置２０に送信する。
【００２１】
図３（ａ）は、第１実施形態の３Ｄ表示処理システム１に備える３Ｄ表示装置３０の構造を示す概略図である。図３（ｂ）は、図３（ａ）に示すＩ−Ｉ断面図である。
【００２２】
図３（ａ），（ｂ）に示す３Ｄ表示装置３０は、画像の表示に加え、外光の照度を検知することが可能なディスプレイ、例えば液晶ディスプレイである。３Ｄ表示装置３０は、バックライト３１、液晶パネル（液晶シャッタ）３２、及び凸レンズアレイ（光線制御子）３３を備える。なお、３Ｄ表示装置３０は、液晶ディスプレイに限定されるものではなく、有機ＥＬ（ｅｌｅｃｔｒｏ ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイや、プラズマディスプレイ等であってもよい。
【００２３】
３Ｄ表示装置３０のバックライト３１は、複数の白色ＬＥＤ（ｌｉｇｈｔ ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ）を含んでおり、液晶パネル３２の背面に配置される。バックライト３１は、バックライト駆動回路３４（図５に図示）から電源電圧が印加されると点灯し、液晶パネル３２に光を照明する。なお、バックライト３１は、白色ＬＥＤに限定されるものではなく、他の色のＬＥＤを含んでいてもよい。また、バックライト３１は、ＬＥＤに代えて、例えば、冷陰極管（ＣＣＦＬ：ｃｏｌｄ ｃａｔｈｏｄｅ ｆｌｕｏｒｅｓｃｅｎｔ ｌａｍｐ）を含むものであってもよい。
【００２４】
液晶パネル３２は、液晶パネル３２の水平方向（ｘ方向）及び上下方向（ｙ方向）にマトリクス状に複数備えられるピクセルＰを有する。ピクセルＰは、偏光板Ｐａ、ガラス基板Ｐｂ、画素電極（透明導電膜）Ｐｃ、配向膜Ｐｄ、液晶Ｐｅ、対向電極（透明導電膜）Ｐｆ、カラーフィルタＰｇ、及び光センサＰｈを備える。
【００２５】
ピクセルＰには、液晶パネル３２のｘ方向に、複数の異なる視線方向、例えば９個の視線方向に相当する絵素が配列される。絵素には、絵素の配列方向に垂直な方向であるｙ方向に、Ｒ（ｒｅｄ）、Ｇ（ｇｒｅｅｎ）及びＢ（ｂｌｕｅ）の各カラーフィルタＰｇが配列されることで、ＲＧＢの各画素が形成される。なお、絵素の配列方向は、液晶パネル３２のｘ方向に限定されるものではない。また、ＲＧＢの表面（ｘｙ面）形状は、長方形に限定されるのもではない。例えば、ＲＢの表面形状が右（または左）に傾斜した平行四辺形であり、かつ、Ｇの表面形状が逆に左（または右）に傾斜した平行四辺形であってもよい。
【００２６】
偏光板Ｐａは、ガラス基板Ｐｂ上に設けられ、バックライト３１からの光のうち特定方向の光のみを通過させる機能を有する。
【００２７】
画素電極Ｐｃは、ガラス基板Ｐｂ上に設けられる。画素電極Ｐｃは、液晶Ｐｅを挟む電極のうちＴＦＴ（ｔｈｉｎ ｆｉｌｍ ｔｒａｎｓｉｓｔｏｒ）側に設けている、画素を構成する電極である。
【００２８】
配向膜Ｐｄは、電極Ｐｃ，Ｐｆ上にそれぞれ設けられ、液晶分子を特定方向に整列させる機能を有する。
【００２９】
液晶Ｐｅは、外部電圧が印加されると、分子配列の並び方が変わる機能を有する。
【００３０】
対向電極Ｐｆは、ガラス基板Ｐｂ上に設けられる。対向電極Ｐｆは、液晶Ｐｅを挟む電極のうちＴＦＴに対向する側に設けている電極である。
【００３１】
カラーフィルタＰｇは、ＴＦＴに対向する側のガラス基板Ｐｂ上に設けられ、各画素に対して、各ＲＧＢが配列される。
【００３２】
光センサＰｈは、液晶パネル３２のｘ方向及びｙ方向に複数配置される。光センサＰｈは、外光の照度を検知することが可能である。複数の光センサＰｈのうち特定の光センサ（１つの光センサまたは光センサ群）Ｐｈ´のみがレーザ光を検知することで、複数の光センサＰｈは、レーザ光と液晶パネル３２との接触位置を取得する接触位置取得手段として機能する。複数の光センサＰｈによって取得された接触位置のデータはデジタル変換され、画像処理装置２０に送られる。光センサＰｈは、レーザポインタ装置１０のレーザ光源１２から発光されるレーザ光の径や、液晶パネル３２に対して通常用いられる、レーザ光の軌道角度（照射角度）を考慮して、液晶パネル３２に向かって発光されたレーザ光が特定の光センサＰｈ´で検知可能なように配置されることが好適である。
【００３３】
図４（ａ）乃至図４（ｆ）は、複数配置される光センサＰｈの配置例を示す上面（ｘ−ｙ平面）図である。
【００３４】
図４（ａ）乃至図４（ｆ）に示すように、液晶パネル３２を構成する複数のピクセルＰの全面または一部面に、光センサＰｈが配置される。図４（ａ）及び図４（ｂ）に示す光センサＰｈの配置例は、１つのピクセルＰに対して１つの光センサＰｈを配置する場合を示している。図４（ｃ）に示す光センサＰｈの配置例は、２つのピクセルＰに対して１つの光センサＰｈを配置する場合を示している。図４（ｄ）に示す光センサＰｈの配置例は、４つのピクセルＰに対して１つの光センサＰｈを配置する場合を示している。図４（ｅ）及び図４（ｆ）に示す光センサＰｈの配置例は、１つのピクセルＰに対して２つの光センサＰｈを配置する場合を示している。なお、光センサＰｈのサイズは任意に変更できる。図３に示す３Ｄ表示装置３０の構造は、図４（ａ）に基づくものである。
【００３５】
図３（ａ），（ｂ）に示す３Ｄ表示装置３０の凸レンズアレイ３３は、液晶パネル３２の前面に備えられる。凸レンズアレイ３３は、例えば、絵素の配列方向に垂直なｙ方向を軸とするレンチキュラーレンズ（かまぼこ型レンズ）が、絵素の配列方向であるｘ方向に複数配置されるレンチキュラーレンズアレイである。なお、図示しないが、凸レンズアレイ３３は、ピクセルＰ毎に割り当てられたフライアイレンズ（蝿の目レンズ）を複数のピクセルＰの分配列したフライアイレンズアレイであってもよい。
【００３６】
図５は、第１実施形態の３Ｄ表示処理システム１の構成を示すブロック図である。
【００３７】
図５に示す３Ｄ表示処理システム１のレーザポインタ装置１０は、図２を用いて説明したように、発光操作部１１、レーザ光源１２、奥行操作部１３、及びデータ送信部１４を備える。
【００３８】
画像処理装置２０は、処理部（ＣＰＵ）２１、メモリ２２、ＨＤＤ（ｈａｒｄ ｄｉｓｋ ｄｒｉｖｅ）２３、ＩＦ（ｉｎｔｅｒｆａｃｅ）２４、入力部２５、データ受信部２６等の基本的なハードウェアから構成される。処理部２１は、共通信号伝送路としてのバスを介して、画像処理装置２０を構成する各ハードウェア構成要素に相互接続されている。なお、画像処理装置２０は、図示しない記憶媒体ドライブを具備する場合もある。
【００３９】
処理部２１は、半導体で構成された電子回路が複数の端子を持つパッケージに封入されている集積回路（ＬＳＩ）の構成をもつ制御装置である。操作者によって入力部２５が操作等されることにより指令が入力されると、処理部２１は、メモリ２２に記憶しているプログラムを実行する。または、処理部２１は、ＨＤＤ２３に記憶しているプログラム、ネットワークＮから転送されてＨＤＤ２３にインストールされたプログラム、または記憶媒体ドライブに装着された記憶媒体から読み出されてＨＤＤ２３にインストールされたプログラムを、メモリ２２にロードして実行する。
【００４０】
メモリ２２は、ＲＯＭ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）及びＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）等の要素を兼ね備える構成をもつ記憶装置である。メモリ２２は、ＩＰＬ（ｉｎｉｔｉａｌ ｐｒｏｇｒａｍ ｌｏａｄｉｎｇ）、ＢＩＯＳ（ｂａｓｉｃ ｉｎｐｕｔ／ｏｕｔｐｕｔ ｓｙｓｔｅｍ）及びデータを記憶したり、処理部２１のワークメモリやデータの一時的な記憶に用いられたりする。
【００４１】
ＨＤＤ２３は、磁性体を塗布または蒸着した金属のディスクが着脱不能で内蔵されている構成をもつ記憶装置である。ＨＤＤ２３は、画像処理装置２０にインストールされたプログラム（アプリケーションプログラムの他、ＯＳ（ｏｐｅｒａｔｉｎｇ ｓｙｓｔｅｍ）等も含まれる）や、データを記憶する記憶装置である。また、ＯＳに、操作者に対する情報の表示にグラフィックを多用し、基礎的な操作を入力部２５によって行なうことができるＧＵＩ（ｇｒａｐｈｉｃａｌ ｕｓｅｒ ｉｎｔｅｒｆａｃｅ）を提供させることもできる。
【００４２】
ＩＦ２４は、パラレル接続仕様やシリアル接続仕様に合わせたコネクタによって構成され、各規格に応じた通信制御を行なう。ＩＦ２４は、ネットワークＮに接続することができる機能を有しており、これにより、画像処理装置２０は、ＩＦ２４からネットワークＮ網に接続することができる。
【００４３】
入力部２５は、操作者によって操作が可能なポインティングデバイスであり、操作に従った入力信号が処理部２１に送られる。
【００４４】
データ受信部２６は、レーザポインタ装置１０のデータ送信部１４から送信される回転量（変更量）データを受信する。
【００４５】
３Ｄ表示装置３０は、図３及び図４を用いて説明したように、バックライト３１、液晶パネル３２、及び凸レンズアレイ３３を備える。また、３Ｄ表示装置３０は、バックライト駆動回路３４、液晶パネル駆動回路３５、光センサ駆動回路３６、信号変換回路３７、及び制御部３８を備える。
【００４６】
バックライト駆動回路３４は、制御部３８による制御に従ってバックライト３１に電圧を印加してバックライト３１を駆動させる。
【００４７】
液晶パネル駆動回路３５は、制御部３８による制御に従って液晶パネル３２のピクセルＰの画素回路を駆動させる。
【００４８】
光センサ駆動回路３６は、制御部３８による制御に従って液晶パネル３２の光センサＰｈに電圧を印加して光センサＰｈを駆動させる。
【００４９】
信号変換回路３７は、光センサＰｈから出力されるセンサ出力信号をデジタル信号に変換し、変換後のセンサ出力信号を制御部３８に送る。
【００５０】
制御部３８は、画像処理装置２０の処理部２１からの指示に従ってバックライト駆動回路３４、液晶パネル駆動回路３５、及び光センサ駆動回路３６を制御する。また、制御部３８は、信号変換回路３７から受信したセンサ出力信号に基づいてレーザ光と液晶パネル３２との接触位置を接触位置データとして取得して、接触位置データを処理部２１に送信する。
【００５１】
図６は、第１実施形態の３Ｄ表示処理システム１の機能を示すブロック図である。
【００５２】
図５に示す処理部２１がプログラムを実行することによって、図６に示すように、３Ｄ表示処理システム１の画像処理装置２０は、ボリュームデータ取得部４１、基準画像生成部４２、接触位置取得部４３、位置情報演算部４４、重畳画像生成部４５、及び変更量取得部４６として機能する。なお、画像処理装置２０は、各部４１乃至４６の全部または一部をハードウェアとして備えるものであってもよい。
【００５３】
ボリュームデータ取得部４１は、ＨＤＤ２３等の記憶装置に記憶された、被検体像を含むボリュームデータを取得する機能を有する。なお、ボリュームデータ取得部４１は、外部からネットワークＮを介して受信したボリュームデータを取得してもよい。例えば、ボリュームデータは、超音波診断装置、Ｘ線ＣＴ（ｃｏｍｐｕｔｅｄ ｔｏｍｏｇｒａｐｈｙ）装置、ＭＲＩ（ｍａｇｎｅｔｉｃ ｒｅｓｏｎａｎｃｅ ｉｍａｇｉｎｇ）装置、及び核医学診断装置等によって生成される。
【００５４】
基準画像生成部４２は、ボリュームデータ取得部４１によって取得されたボリュームデータに対して複数の異なる視線方向、例えば９個の視線方向に対応するレンダリング処理を行なって９個の視線方向に対応する基準画像（９視差画像）をデータとして生成する機能を有する。９個の基準画像は、データ信号として３Ｄ表示装置３０の制御部３８に送られる。９個の基準画像のデータ信号は、液晶パネル駆動回路３５を介して、液晶パネル３２のピクセルＰを構成する９個の絵素に、視線の順にそれぞれ同時に割り当てられて表示される。基準画像は、サーフェイスレンダリング（ｓｕｒｆａｃｅ ｒｅｎｄｅｒｉｎｇ）処理や、ボリュームレンダリング（ｖｏｌｕｍｅ ｒｅｎｄｅｒｉｎｇ）処理によって得られる。
【００５５】
なお、液晶パネル３２のピクセルＰを構成する絵素の数と、基準画像の視線方向の数とが同一となるような構成について説明したが、ピクセルＰを構成する絵素の数が、基準画像の視線方向の数以上となるような構成であればよい。例えば、３個の基準画像を表示するために、ピクセルＰを９個の絵素によって構成する場合、左端の視線方向の基準画像をピクセルＰの右端の３絵素に割り当て、中央の視線方向の基準画像をピクセルＰの中央の３絵素に割り当て、右端の視線方向の基準画像をピクセルＰの左端の３絵素に割り当てる。また、複数の視線方向に対応する基準画像の各基準画像に割り当てられる絵素の数が異なっていてもよい。
【００５６】
基準画像生成部４２によって生成された９個の基準画像を３Ｄ表示装置３０によって表示させると、被検体像が３Ｄ表示される。操作者を含む観察者の右目及び左目に３Ｄ表示装置３０から入射する光は、３Ｄ表示装置３０に対する観察者の観察方向（観察角度）に連動して変化する。すなわち、３Ｄ表示装置３０に対する観察者の観察方向により、観察者の右目に入射する画像（画像群）と左目に入射する画像（画像群）とはレンダリングの視線方向が異なる。これにより、観察者は、被検体像を立体視できる。
【００５７】
接触位置取得部４３は、３Ｄ表示装置３０の制御部３８から送信された接触位置データを取得する機能を有する。
【００５８】
位置情報演算部４４は、接触位置取得部４３によって取得された接触位置に基づいて、擬似レーザポインタ像の３次元的な位置情報を算出する機能を有する。位置情報演算部４４は、９個の視線方向の中心視線方向に直交する投影面上に、接触位置取得部４３によって取得された接触位置に対応する位置としての投影面上位置を設定し、被検体像の表面全体から、中心視線方向及び投影面上位置に基づいて表面部分の３次元的な位置情報を算出する。
【００５９】
図７は、擬似レーザポインタ像の位置を説明するための図である。
【００６０】
図７は、ボリュームデータＶ０と、９個の視線方向の中心視線方向の線Ｌに直交する投影面とを示す。投影面は、液晶パネル３２に相当する。図７に示すボリュームデータＶ０は、接触位置に対応する投影面上の位置としての投影面上位置Ｔを含むｙ−ｚ断面及びｘ−ｚ断面として示されている。なお、投影面に直交する中心視線方向の線Ｌは、液晶パネル３２に直交するｚ方向に等しい。
【００６１】
接触位置取得部４３によって接触位置データが取得されると、位置情報演算部４４は、ボリュームデータＶ０を構成する複数のボクセルのうち、投影面上位置Ｔを通る中心視線方向の線Ｌ上であって、被検体像Ｏの表面部分を含むボクセル（または当該ボクセル及びその隣接ボクセルを含むボクセル群）を演算する。例えば、位置情報演算部４４は、投影面上位置Ｔから最も離れた表面部分を含むボクセルＩ［ｘ０，ｙ０，ｚ０］を演算する。
【００６２】
図６に示す重畳画像生成部４５は、位置情報演算部４４によって算出された、擬似レーザポインタ像の３次元的な位置情報に基づいて、９個の基準画像の各基準画像に含まれる被検体像に擬似レーザポインタ像を重畳して、９個の視線方向に対応する重畳画像（レンダリング画像）をデータとして生成する機能を有する。例えば、重畳画像生成部４５は、ボリュームデータに含まれる被検体像の表面部分に擬似レーザポインタ像を重畳し、擬似レーザポインタ像が重畳されたボリュームデータに対して９個の視線方向に対応するレンダリング処理を行なって９個の重畳画像を生成する。例えば、重畳画像生成部４５は、図７に示すボクセルＩ［ｘ０，ｙ０，ｚ０］のボクセル値を置換して、ボクセルＩ［ｘ０，ｙ０，ｚ０］に擬似レーザポインタ像を重畳する。
【００６３】
重畳画像生成部４５によって生成された９個の重畳画像を３Ｄ表示装置３０によって表示させると、操作者を含む観察者は、立体視された被検体像の表面部分に、擬似レーザポインタ像を立体視できる。観察者の右目及び左目に３Ｄ表示装置３０から入射する光は、３Ｄ表示装置３０に対する観察者の観察方向に連動して変化する。これにより、観察者は、被検体像及び擬似レーザポインタ像を立体視できる。
【００６４】
続いて、変更量取得部４６は、データ受信部２６を介してレーザポインタ装置１０のデータ送信部１４から受信された回転量データを、擬似レーザポインタ像の重畳位置の変更量データとして取得する機能を有する。
【００６５】
位置情報演算部４４は、変更量取得部４６によって取得された変更量データに基づいて、９個の視線方向の重畳画像に重畳された擬似レーザポインタ像の重畳位置をそれぞれ変更し、変更後の擬似レーザポインタ像を重畳した９個の視線方向の重畳画像を生成する機能を有する。例えば、位置情報演算部４４は、擬似レーザポインタ像が重畳されたボリュームデータ上で、擬似レーザポインタ像の重畳位置を、変更量データの変更量に応じて中心視線方向の線Ｌ上で変更する。
【００６６】
図８は、重畳された擬似レーザポインタ像の位置変更を説明するための図である。
【００６７】
図８は、擬似レーザポインタ像が重畳されたボリュームデータＶ１と、９個の視線方向の中心視線方向の線Ｌに直交する投影面とを示す。投影面は、液晶パネル３２に相当する。図８に示すボリュームデータＶ１は、接触位置に対応する投影面上の位置としての投影面上位置Ｔを含むｙ−ｚ断面及びｘ−ｚ断面として示されている。なお、投影面に直交する中心視線方向の線Ｌは、液晶パネル３２に直交するｚ方向に等しい。
【００６８】
変更量取得部４６によって変更量データが取得されると、位置情報演算部４４は、変更量データの変更量に応じて中心視線方向の線Ｌ上で、擬似レーザポインタ像のボクセルＩ［ｘ０，ｙ０，ｚ０］を、ボクセル（または当該ボクセル及びその隣接ボクセルを含むボクセル群）Ｊ［ｘ０，ｙ０，ｚ１］に変更する。
【００６９】
図６に示す重畳画像生成部４５は、位置情報演算部４４によって算出された、重畳位置変更後の擬似レーザポインタ像の３次元的な位置情報に基づいて、９個の基準画像の各基準画像に含まれる被検体像に擬似レーザポインタ像を重畳して、９個の視線方向に対応する重畳画像をデータとして生成する機能を有する。例えば、重畳画像生成部４５は、図８に示すボクセルＩ［ｘ０，ｙ０，ｚ０］のボクセル値を元に戻し、ボクセルＪ［ｘ０，ｙ０，ｚ１］のボクセル値を置換して、ボクセルＪ［ｘ０，ｙ０，ｚ１］に擬似レーザポインタ像を重畳する。
【００７０】
なお、現在の投影面上位置Ｔにおいて、擬似レーザポインタ像の重畳位置をｚ方向に変更させる意図でレーザポインタ装置１０の奥行操作部１３を操作する際、レーザ光が揺れ、現在の投影面上位置Ｔがｘ−ｙ平面上で移動してしまうことがある。その場合、擬似レーザポインタ像がｘ−ｙ平面上で意図に反して変更されてしまう。そこで、レーザポインタ装置１０の奥行操作部１３を操作する際は、投影面上位置Ｔのｘ−ｙ平面上の移動が所定距離以内である場合は、投影面上位置Ｔはｘ−ｙ平面上で移動していないと判断する構成とすることができる。または、レーザポインタ装置１０の奥行操作部１３を操作する際は、予め投影面上位置Ｔをロックする構成とすることができる。
【００７１】
また、位置情報演算部４４は、変更量取得部４６によって更なる変更量データが取得されると、更なる変更量に応じて中心視線方向の線Ｌ上で、擬似レーザポインタ像のボクセルＪ［ｘ０，ｙ０，ｚ１］を変更する。この場合、回転方向ｒ（図２に図示）の向きに従って、擬似レーザポインタ像の変更の向きが投影面側か、その逆側かに決まる。よって、レーザポインタ装置１０の奥行操作部１３による、擬似レーザポインタ像のｚ方向の移動指示に連動して、立体視される擬似レーザポインタ像の重畳位置がｚ方向に変更される。
【００７２】
なお、第１実施形態の３Ｄ表示処理システム１において、レンチキュラーレンズ方式の裸眼式を採用する構成について説明した。しかし、３Ｄ表示処理システム１は、その場合に限定するものではなく、パララックスバリア方式の裸眼式を採用する構成であってもよい。また、第１実施形態の３Ｄ表示処理システム１の技術思想は、レーザ光と３Ｄ表示装置３０との接触位置を取得する手段と、取得された接触位置に基づいて、擬似レーザポインタ像の３次元的な位置情報を算出する手段とさえ備えれば、眼鏡式（アナグリフ方式、フレームシーケンシャル方式、及び偏光方式等）を採用する構成にも応用できる。第１実施形態の３Ｄ表示処理システム１の技術思想を、眼鏡式を採用する構成に応用する場合、表示手段としてのスクリーンに重畳画像を投影することもできる。
【００７３】
第１実施形態の３Ｄ表示処理システム１によると、操作者を含む観察者は、レーザポインタ像を立体視でき、さらに操作者は、立体視されたレーザポインタ像の３次元的な位置を変更することができる。
【００７４】
（第２実施形態）
第２実施形態の３Ｄ表示処理システム１Ａにおいて、図１乃至図６に示す３Ｄ表示処理システム１と同一部材には同一符号を付して説明を省略する。
【００７５】
図９は、第２実施形態の３Ｄ表示処理システムを示す概略図である。
【００７６】
図９は、第２実施形態の３Ｄ表示処理システム１Ａを示す。３Ｄ表示処理システム１Ａは、レーザポインタ装置１０、画像処理装置２０Ａ、３Ｄ表示装置３０、及び発光位置検知装置６０を備える。
【００７７】
レーザポインタ装置１０は、画像処理装置２０Ａとの間で相互に通信（例えば、無線通信）可能なように構成される。画像処理装置２０Ａは、３Ｄ表示装置３０との間で相互に通信可能なように構成される。
【００７８】
図１０は、第２実施形態の３Ｄ表示処理システム１Ａの構成を示すブロック図である。
【００７９】
図１０に示す発光位置検知装置６０は、例えば画像センサ６１及びデータ送信部６２を備える。なお、発光位置検知装置６０は、レーザ光の発光位置を検知する機能と、発光位置を画像処理装置２０Ａに送信する機能を有していればよい。例えば、発光位置検知装置６０は、ＧＰＳ（ｇｌｏｂａｌ ｐｏｓｉｔｉｏｎｉｎｇ ｓｙｓｔｅｍ）によってレーザ光の発光位置を検知するものであってもよい。また、発光位置検知装置６０が光または磁気を用いた位置センサ、及びジャイロ式の角度センサを含み、その発光位置検知装置６０をレーザポインタ装置１０に備える構成であってもよい。
【００８０】
画像センサ６１は、３Ｄ表示装置３０の前面を撮像して画像データを取得し、その画像データを、パターンマッチング等を利用して解析して３Ｄ表示装置３０の前面のレーザポインタ装置１０またはそれを操作する操作者の位置を発光位置データとして検知する。
【００８１】
データ送信部６２は、画像センサ６１によって検知された発光位置データをデジタル変換して無線または有線で画像処理装置２０Ａに送信する。
【００８２】
画像処理装置２０Ａの処理部２１Ａは、処理部２１と同様の構成を有する。操作者によって入力部２５が操作等されることにより指令が入力されると、処理部２１Ａは、メモリ２２に記憶しているプログラムを実行する。または、処理部２１Ａは、ＨＤＤ２３に記憶しているプログラム、ネットワークＮから転送されてＨＤＤ２３にインストールされたプログラム、または記憶媒体ドライブに装着された記憶媒体から読み出されてＨＤＤ２３にインストールされたプログラムを、メモリ２２にロードして実行する。
【００８３】
データ受信部２６Ａは、発光位置検知装置６０のデータ送信部６２から送信される発光位置データを受信する。
【００８４】
図１１は、第２実施形態の３Ｄ表示処理システム１Ａの機能を示すブロック図である。
【００８５】
図１０に示す処理部２１Ａがプログラムを実行することによって、図１１に示すように、３Ｄ表示処理システム１Ａの画像処理装置２０Ａは、ボリュームデータ取得部４１、基準画像生成部４２、接触位置取得部４３、位置情報演算部４４Ａ、重畳画像生成部４５Ａ、変更量取得部４６、発光位置取得部４７、及び軌道演算部４８として機能する。なお、画像処理装置２０Ａは、各部４１乃至４８の全部または一部をハードウェアとして備えるものであってもよい。なお、図１０に示す３Ｄ表示処理システム１Ａにおいて、図６に示す３Ｄ表示処理システム１と同一機能には同一符号を付して説明を省略する。
【００８６】
発光位置取得部４７は、データ受信部２６Ａを介して発光位置検知装置６０のデータ送信部６２から受信された発光位置データを取得する機能を有する。
【００８７】
軌道演算部４８は、接触位置取得部４３によって取得された接触位置と、発光位置取得部４７によって取得された発光位置に基づいて、レーザ光の軌道を軌道データとして算出する機能を有する。軌道演算部４８は、９個の視線方向の中心視線方向に直交する投影面上に、接触位置取得部４３によって取得された接触位置に対応する位置としての投影面上位置を設定し、投影面上位置と、発光位置取得部４７によって取得された発光位置データとに基づいて、レーザ光の軌道を軌道データとして算出する。
【００８８】
位置情報演算部４４Ａは、軌道演算部４８によって算出された軌道データに基づいて、擬似レーザポインタ像の３次元的な位置情報を算出する機能を有する。例えば、位置情報演算部４４Ａは、被検体像の表面全体から、レーザ光の軌道に基づいて表面部分の３次元的な位置情報を算出する。
【００８９】
図１２は、擬似レーザポインタ像の位置を説明するための図である。
【００９０】
図１２は、ボリュームデータＶ０と、９個の視線方向の中心視線方向の線Ｌに直交する投影面とを示す。投影面は、液晶パネル３２に相当する。図１２に示すボリュームデータＶ０は、接触位置に対応する投影面上の位置としての投影面上位置Ｔを含むｙ−ｚ断面及びｘ−ｚ断面として示されている。なお、投影面に直交する中心視線方向の線Ｌは、液晶パネル３２に直交するｚ方向に等しい。
【００９１】
軌道演算部４８によって軌道データが算出されると、位置情報演算部４４Ａは、ボリュームデータＶ０を構成する複数のボクセルのうち、投影面上位置Ｔ及び発光位置Ｑに基づくレーザ光の軌道Ｒ上であって、被検体像Ｏの表面部分を含むボクセル（または当該ボクセル及びその隣接ボクセルを含むボクセル群）を演算する。例えば、位置情報演算部４４Ａは、投影面上位置Ｔから最も離れた表面部分を含むボクセルＫ［ｘ０，ｙ０，ｚ０］を演算する。
【００９２】
図１１に示す重畳画像生成部４５Ａは、位置情報演算部４４Ａによって算出された、擬似レーザポインタ像の３次元的な位置情報に基づいて、９個の基準画像の各基準画像に含まれる被検体像に擬似レーザポインタ像を重畳して、９個の視線方向に対応する重畳画像をデータとして生成する機能を有する。例えば、重畳画像生成部４５Ａは、ボリュームデータに含まれる被検体像の表面部分に擬似レーザポインタ像を重畳し、擬似レーザポインタ像が重畳されたボリュームデータに対して９個の視線方向に対応するレンダリング処理を行なって９個の重畳画像を生成する。例えば、重畳画像生成部４５Ａは、図１２に示すボクセルＫ［ｘ０，ｙ０，ｚ０］のボクセル値を置換して、ボクセルＫ［ｘ０，ｙ０，ｚ０］に擬似レーザポインタ像を重畳する。
【００９３】
第１実施形態の３Ｄ表示処理システム１では、光レーザの軌道Ｒに関わりなく中心視線方向の線Ｌ上のボクセルに擬似レーザポインタ像が重畳される。第１実施形態の３Ｄ表示処理システム１では、３Ｄ表示装置３０に対する光レーザの入射角度が０度以外の場合、立体視された被検体像Ｏの、レーザポインタ装置１０の操作者が意図する場所に近い表面部分に、擬似レーザポインタ像が立体視されるにすぎない。一方、第２実施形態の３Ｄ表示処理システム１Ａでは、光レーザの軌道Ｒ上のボクセルに擬似レーザポインタ像が重畳される。
【００９４】
重畳画像生成部４５Ａによって生成された９個の重畳画像を３Ｄ表示装置３０によって表示させると、操作者を含む観察者は、立体視された被検体像の表面部分に、擬似レーザポインタ像を立体視できる。観察者の右目及び左目に３Ｄ表示装置３０から入射する光は、３Ｄ表示装置３０に対する観察者の観察方向に連動して変化する。これにより、観察者は、被検体像及び擬似レーザポインタ像を立体視できる。
【００９５】
続いて、位置情報演算部４４Ａは、変更量取得部４６によって取得された変更量データに基づいて、９個の視線方向の重畳画像に重畳された擬似レーザポインタ像の重畳位置をそれぞれ変更し、変更後の擬似レーザポインタ像を重畳した９個の視線方向の重畳画像を生成する機能を有する。例えば、位置情報演算部４４Ａは、擬似レーザポインタ像が重畳されたボリュームデータ上で、擬似レーザポインタ像の重畳位置を、変更量データの変更量に応じてレーザ光の軌道Ｒ上で変更する。
【００９６】
図１３は、重畳された擬似レーザポインタ像の位置変更を説明するための図である。
【００９７】
図１３は、擬似レーザポインタ像が重畳されたボリュームデータＶ１と、９個の視線方向の中心視線方向の線Ｌに直交する投影面とを示す。投影面は、液晶パネル３２に相当する。図１３に示すボリュームデータＶ１は、接触位置に対応する投影面上の位置としての投影面上位置Ｔを含むｙ−ｚ断面及びｘ−ｚ断面として示されている。なお、投影面に直交する中心視線方向の線Ｌは、液晶パネル３２に直交するｚ方向に等しい。
【００９８】
変更量取得部４６によって変更量データが取得されると、位置情報演算部４４Ａは、変更量データの変更量に応じてレーザ光の軌道Ｒ上で、擬似レーザポインタ像のボクセルＫ［ｘ０，ｙ０，ｚ０］を、ボクセル（または当該ボクセル及びその隣接ボクセルを含むボクセル群）Ｍ［ｘ１，ｙ１，ｚ１］に変更する。
【００９９】
図１１に示す重畳画像生成部４５Ａは、位置情報演算部４４Ａによって算出された、重畳位置変更後の擬似レーザポインタ像の３次元的な位置情報に基づいて、９個の基準画像の各基準画像に含まれる被検体像に擬似レーザポインタ像を重畳して、９個の視線方向に対応する重畳画像をデータとして生成する機能を有する。例えば、重畳画像生成部４５Ａは、図１３に示すボクセルＫ［ｘ０，ｙ０，ｚ０］のボクセル値を元に戻し、ボクセルＭ［ｘ１，ｙ１，ｚ１］のボクセル値を置換して、ボクセルＭ［ｘ１，ｙ１，ｚ１］に擬似レーザポインタ像を重畳する。
【０１００】
また、位置情報演算部４４Ａは、変更量取得部４６によって更なる変更量データが取得されると、更なる変更量に応じてレーザ光の軌道Ｒ上で、擬似レーザポインタ像のボクセルＭ［ｘ１，ｙ１，ｚ１］を変更する。この場合、回転方向ｒ（図２に図示）の向きに従って、擬似レーザポインタ像の変更の向きが投影面側か、その逆側かに決まる。よって、レーザポインタ装置１０の奥行操作部１３による、擬似レーザポインタ像のｚ方向の移動指示に連動して、立体視される擬似レーザポインタ像の重畳位置がｚ方向に変更される。
【０１０１】
なお、第２実施形態の３Ｄ表示処理システム１Ａにおいて、レンチキュラーレンズ方式の裸眼式を採用する構成について説明した。しかし、３Ｄ表示処理システム１Ａは、その場合に限定するものではなく、パララックスバリア方式の裸眼式を採用する構成であってもよい。また、第２実施形態の３Ｄ表示処理システム１Ａの技術思想は、レーザ光と３Ｄ表示装置３０との接触位置を取得する手段と、レーザポインタ装置１０またはそれを操作する操作者の位置を発光位置データとして検知する手段と、取得された接触位置及び発光位置に基づいて、擬似レーザポインタ像の３次元的な位置情報を算出する手段とさえ備えれば、眼鏡式（アナグリフ方式、フレームシーケンシャル方式、及び偏光方式等）を採用する構成にも応用できる。第２実施形態の３Ｄ表示処理システム１Ａの技術思想を、眼鏡式を採用する構成に応用する場合、表示手段としてのスクリーンに重畳画像を投影することもできる。
【０１０２】
第２実施形態の３Ｄ表示処理システム１Ａによると、操作者を含む観察者は、レーザポインタ像を立体視でき、さらに操作者は、立体視されたレーザポインタ像の３次元的な位置を変更することができる。
【０１０３】
なお、本実施形態の３Ｄ表示処理システム１，１Ａは、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、本実施形態の３Ｄ表示処理システム１，１Ａに開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
【符号の説明】
【０１０４】
１，１Ａ ３Ｄ表示処理システム
１０ レーザポインタ装置
１１ 発光操作部（ボタン）
１３ 奥行操作部（ホイール）
２０，２０Ａ 画像処理装置
２１，２１Ａ 処理部
３０ ３Ｄ表示装置
３３ 凸レンズアレイ
４１ ボリュームデータ取得部
４２ 基準画像生成部
４３ 接触位置取得部
４４，４４Ａ 位置情報演算部
４５，４５Ａ 重畳画像生成部
４６ 変更量取得部
４７ 発光位置取得部
４８ 軌道演算部
６０ 発光位置検知装置
６１ 画像センサ
Ｐｈ 光センサ
Ｌ 中心視線方向の線
Ｒ レーザ光の軌道
Ｔ 投影面上位置
Ｑ 発光位置
【特許請求の範囲】
【請求項１】
レーザ光を発光するレーザ光発光手段と、
被検体像を含むボリュームデータに対して複数の異なる視線方向に対応するレンダリング処理を行なって複数の画像データを生成する画像生成手段と、
前記レーザ光と表示手段との接触位置を取得する接触位置取得手段と、
前記取得された接触位置に基づいて、擬似レーザポインタ像の３次元的な位置情報を算出する位置情報演算手段と、
前記複数の画像データを立体視可能に表示する表示手段と、を有し、
前記画像生成手段は、前記擬似レーザポインタ像の３次元的な位置情報に基づいて、前記複数の画像データの各画像データに含まれる前記被検体像に、前記擬似レーザポインタ像を重畳して複数の重畳画像データを生成し、
前記表示手段は、前記複数の重畳画像データを立体視可能に表示するように構成された３Ｄ表示処理システム。
【請求項２】
前記位置情報演算手段は、前記複数の視線方向の中心視線方向に直交する投影面上に、前記接触位置に対応する位置としての投影面上位置を設定し、前記投影面上位置を通る前記中心視線方向の線上の位置を、前記擬似レーザポインタ像の３次元的な位置情報として算出する構成とする請求項１に記載の３Ｄ表示処理システム。
【請求項３】
前記位置情報演算手段は、前記被検体像の表面全体のうち、前記投影面上位置を通る前記中心視線方向の線上に存在する表面部分の位置を前記擬似レーザポインタ像の３次元的な位置情報として算出する構成とする請求項２に記載の３Ｄ表示処理システム。
【請求項４】
前記位置情報演算手段は、前記被検体像の表面全体のうち、前記投影面上位置を通る前記中心視線方向の線上に存在する複数の表面部分のうち、前記投影面から最も離れた表面部分の位置を前記擬似レーザポインタ像の３次元的な位置情報として算出する構成とする請求項３に記載の３Ｄ表示処理システム。
【請求項５】
前記擬似レーザポインタ像の重畳位置を前記中心視線方向の線上で変更する変更手段をさらに有し、
前記位置情報演算手段は、変更後の擬似レーザポインタ像の３次元的な位置情報を算出する構成とする請求項２乃至４のうちいずれか一項に記載の３Ｄ表示処理システム。
【請求項６】
前記レーザ発光手段またはそれを操作する操作者の位置を発光位置として検知する発光位置検知手段と、
前記複数の視線方向の中心視線方向に直交する投影面上に、前記接触位置に対応する位置としての投影面上位置を設定し、前記投影面上位置及び前記発光位置に基づいて、前記レーザ光の軌道を算出する軌道演算手段をさらに有し、
前記位置情報演算手段は、前記軌道上の位置を、前記擬似レーザポインタ像の３次元的な位置情報として算出する構成とする請求項１に記載の３Ｄ表示処理システム。
【請求項７】
前記位置情報演算手段は、前記被検体像の表面全体のうち、前記軌道上に存在する表面部分の位置を前記擬似レーザポインタ像の３次元的な位置情報として算出する構成とする請求項６に記載の３Ｄ表示処理システム。
【請求項８】
前記位置情報演算手段は、前記被検体像の表面全体のうち、前記軌道上に存在する複数の表面部分のうち、前記投影面から最も離れた表面部分の位置を前記擬似レーザポインタ像の３次元的な位置情報として算出する構成とする請求項７に記載の３Ｄ表示処理システム。
【請求項９】
前記擬似レーザポインタ像の重畳位置を前記軌道上で変更する変更手段をさらに有し、
前記位置情報演算手段は、変更後の擬似レーザポインタ像の３次元的な位置情報を算出する構成とする請求項６乃至８のうちいずれか一項に記載の３Ｄ表示処理システム。
【請求項１０】
前記発光位置検知手段は、前記表示手段の前面側を撮像して画像データを取得し、前記画像データを解析して前記発光位置を検知する画像センサを含む構成とする請求項６乃至９のうちいずれか一項に記載の３Ｄ表示処理システム。
【請求項１１】
前記接触位置取得手段は、前記表示手段に複数配置される光センサであり、前記複数の光センサのうち一部の光センサのみが前記レーザ光を検知することで前記接触位置を取得する構成とする請求項１乃至１０のうちいずれか一項に記載の３Ｄ表示処理システム。
【請求項１２】
前記レーザ光発光手段は、前記レーザ光として紫外線または赤外線を発光する構成とする請求項１乃至１１のうちいずれか一項に記載の３Ｄ表示処理システム。
【請求項１３】
前記表示手段は、凸レンズアレイを備えた構成とする請求項１乃至１２のうちいずれか一項に記載の３Ｄ表示処理システム。
【請求項１】
レーザ光を発光するレーザ光発光手段と、
被検体像を含むボリュームデータに対して複数の異なる視線方向に対応するレンダリング処理を行なって複数の画像データを生成する画像生成手段と、
前記レーザ光と表示手段との接触位置を取得する接触位置取得手段と、
前記取得された接触位置に基づいて、擬似レーザポインタ像の３次元的な位置情報を算出する位置情報演算手段と、
前記複数の画像データを立体視可能に表示する表示手段と、を有し、
前記画像生成手段は、前記擬似レーザポインタ像の３次元的な位置情報に基づいて、前記複数の画像データの各画像データに含まれる前記被検体像に、前記擬似レーザポインタ像を重畳して複数の重畳画像データを生成し、
前記表示手段は、前記複数の重畳画像データを立体視可能に表示するように構成された３Ｄ表示処理システム。
【請求項２】
前記位置情報演算手段は、前記複数の視線方向の中心視線方向に直交する投影面上に、前記接触位置に対応する位置としての投影面上位置を設定し、前記投影面上位置を通る前記中心視線方向の線上の位置を、前記擬似レーザポインタ像の３次元的な位置情報として算出する構成とする請求項１に記載の３Ｄ表示処理システム。
【請求項３】
前記位置情報演算手段は、前記被検体像の表面全体のうち、前記投影面上位置を通る前記中心視線方向の線上に存在する表面部分の位置を前記擬似レーザポインタ像の３次元的な位置情報として算出する構成とする請求項２に記載の３Ｄ表示処理システム。
【請求項４】
前記位置情報演算手段は、前記被検体像の表面全体のうち、前記投影面上位置を通る前記中心視線方向の線上に存在する複数の表面部分のうち、前記投影面から最も離れた表面部分の位置を前記擬似レーザポインタ像の３次元的な位置情報として算出する構成とする請求項３に記載の３Ｄ表示処理システム。
【請求項５】
前記擬似レーザポインタ像の重畳位置を前記中心視線方向の線上で変更する変更手段をさらに有し、
前記位置情報演算手段は、変更後の擬似レーザポインタ像の３次元的な位置情報を算出する構成とする請求項２乃至４のうちいずれか一項に記載の３Ｄ表示処理システム。
【請求項６】
前記レーザ発光手段またはそれを操作する操作者の位置を発光位置として検知する発光位置検知手段と、
前記複数の視線方向の中心視線方向に直交する投影面上に、前記接触位置に対応する位置としての投影面上位置を設定し、前記投影面上位置及び前記発光位置に基づいて、前記レーザ光の軌道を算出する軌道演算手段をさらに有し、
前記位置情報演算手段は、前記軌道上の位置を、前記擬似レーザポインタ像の３次元的な位置情報として算出する構成とする請求項１に記載の３Ｄ表示処理システム。
【請求項７】
前記位置情報演算手段は、前記被検体像の表面全体のうち、前記軌道上に存在する表面部分の位置を前記擬似レーザポインタ像の３次元的な位置情報として算出する構成とする請求項６に記載の３Ｄ表示処理システム。
【請求項８】
前記位置情報演算手段は、前記被検体像の表面全体のうち、前記軌道上に存在する複数の表面部分のうち、前記投影面から最も離れた表面部分の位置を前記擬似レーザポインタ像の３次元的な位置情報として算出する構成とする請求項７に記載の３Ｄ表示処理システム。
【請求項９】
前記擬似レーザポインタ像の重畳位置を前記軌道上で変更する変更手段をさらに有し、
前記位置情報演算手段は、変更後の擬似レーザポインタ像の３次元的な位置情報を算出する構成とする請求項６乃至８のうちいずれか一項に記載の３Ｄ表示処理システム。
【請求項１０】
前記発光位置検知手段は、前記表示手段の前面側を撮像して画像データを取得し、前記画像データを解析して前記発光位置を検知する画像センサを含む構成とする請求項６乃至９のうちいずれか一項に記載の３Ｄ表示処理システム。
【請求項１１】
前記接触位置取得手段は、前記表示手段に複数配置される光センサであり、前記複数の光センサのうち一部の光センサのみが前記レーザ光を検知することで前記接触位置を取得する構成とする請求項１乃至１０のうちいずれか一項に記載の３Ｄ表示処理システム。
【請求項１２】
前記レーザ光発光手段は、前記レーザ光として紫外線または赤外線を発光する構成とする請求項１乃至１１のうちいずれか一項に記載の３Ｄ表示処理システム。
【請求項１３】
前記表示手段は、凸レンズアレイを備えた構成とする請求項１乃至１２のうちいずれか一項に記載の３Ｄ表示処理システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１２−２３４４９８（Ｐ２０１２−２３４４９８Ａ）
【公開日】平成２４年１１月２９日（２０１２．１１．２９）
【国際特許分類】
【出願番号】特願２０１１−１０４５９９（Ｐ２０１１−１０４５９９）
【出願日】平成２３年５月９日（２０１１．５．９）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．Ｂｌｕｅｔｏｏｔｈ
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【出願人】（５９４１６４５４２）東芝メディカルシステムズ株式会社 (4,066)
【Ｆターム（参考）】
【公開日】平成２４年１１月２９日（２０１２．１１．２９）
【国際特許分類】
【出願日】平成２３年５月９日（２０１１．５．９）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．Ｂｌｕｅｔｏｏｔｈ
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【出願人】（５９４１６４５４２）東芝メディカルシステムズ株式会社 (4,066)
【Ｆターム（参考）】
[ Back to top ]