医用画像処理装置
【課題】３Ｄモニタにテキスト情報を表示することができる医用画像処理装置を提供する。
【解決手段】実施形態の医用画像処理装置は、３次元医用画像データを記憶する画像記憶部と、前記画像記憶部に記憶した前記３次元医用画像データに関連したテキスト情報を記憶するテキスト情報記憶部と、前記３次元医用画像データと前記テキスト情報を合成した、複数の異なる視差方向に対応する視差画像を、投影処理を用いて生成する視差画像生成部と、前記視差画像生成部で生成した、前記３次元医用画像データと前記テキスト情報を合成した複数の前記視差画像を、立体視可能に表示する表示部とを有し、前記視差画像生成部は、前記視差方向に応じて、前記テキスト情報の表示領域の向きを変更するものであることを特徴とする。
【解決手段】実施形態の医用画像処理装置は、３次元医用画像データを記憶する画像記憶部と、前記画像記憶部に記憶した前記３次元医用画像データに関連したテキスト情報を記憶するテキスト情報記憶部と、前記３次元医用画像データと前記テキスト情報を合成した、複数の異なる視差方向に対応する視差画像を、投影処理を用いて生成する視差画像生成部と、前記視差画像生成部で生成した、前記３次元医用画像データと前記テキスト情報を合成した複数の前記視差画像を、立体視可能に表示する表示部とを有し、前記視差画像生成部は、前記視差方向に応じて、前記テキスト情報の表示領域の向きを変更するものであることを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、医用画像処理装置に関する。
【背景技術】
【０００２】
画像診断装置により撮影された医用画像を、再構築してボリューム画像データにし、２Ｄ画像としてモニタ上に表示するボリュームレンダリング（ＶＲ）技術が知られている。このボリューム画像に現実的な奥行き感を出すために、３Ｄ画像表示を行うことも考えられている。医用画像を３Ｄ画像表示することにより、手術前のカンファレンス、手術計画シミュレーション、術中ナビゲーション等、さまざまな場面での応用が期待される。
【０００３】
従来、立体視用メガネ等の専用機器を用いて、２つの視点から撮影された２視差画像（両眼視差画像）を立体視可能なモニタが実用化されている。また、近年、レンチキュラーレンズ等の光線制御子を用いて、複数の視点から撮影された多視差画像（例えば、９視差画像）を裸眼にて立体視可能なモニタが実用化されている。なお、立体視可能なモニタにて表示される２視差画像や９視差画像は、１視点から撮影された画像の奥行き情報を推定し、推定した情報を用いた画像処理により生成される場合もある。
【０００４】
更に、近年実用化された立体視可能なモニタとしては、レンチキュラーレンズ等の光線制御子を用いることで、例えば、９視差画像等の多視差画像を観察者が裸眼にて立体視可能とする装置がある。かかる立体表示装置は、両眼視差による立体視を可能とし、更に、観察者の視点移動に合わせて観察される映像も変化する運動視差による立体視も可能とする装置である。
【０００５】
この、裸眼で立体視可能なモニタである裸眼３Ｄモニタを医用に用いることにより、例えば術中においても、煩わしいメガネが不要であり、また複数人が同時に医用画像を立体視することが考えられる。術中では特に、複数人が異なる方向から裸眼３Ｄモニタを見ることになるので、あらゆる角度からモニタを見ても立体視が可能であるよう技術が開発されている。
【０００６】
また、医用画像と検査レポートを同時に画面表示して、医師が医用画像から診断した所見を検査レポートに入力することが一般的に行われている。この場合、医用画像が３Ｄ画像表示されていると、２次元では前後関係の判別が困難だったのが３Ｄ表示によりわかりやすくなり、病変の発見も容易になる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００９−２８５１５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかし、検査レポート等のテキスト情報は２次元の情報であるため、３Ｄ画像表示されている医用画像と同時に表示させる場合、別の２次元モニタで検査レポートを表示していた。また、３Ｄモニタで２次元のテキスト情報を表示することも可能だが、視線方向が左右に変化した場合、テキスト情報が斜めになって見えてしまい、テキスト情報が見にくくなる問題があった。
【０００９】
実施形態はこのような点を考慮してなされたもので、３Ｄモニタにテキスト情報を表示することができる医用画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
実施形態の医用画像処理装置は、３次元医用画像データを記憶する画像記憶部と、前記画像記憶部に記憶した前記３次元医用画像データに関連したテキスト情報を記憶するテキスト情報記憶部と、前記３次元医用画像データと前記テキスト情報を合成した、複数の異なる視差方向に対応する視差画像を、投影処理を用いて生成する視差画像生成部と、前記視差画像生成部で生成した、前記３次元医用画像データと前記テキスト情報を合成した複数の前記視差画像を、立体視可能に表示する表示部とを有し、前記視差画像生成部は、前記視差方向に応じて、前記テキスト情報の表示領域の向きを変更するものであることを特徴とする。
【図面の簡単な説明】
【００１１】
【図１】本発明の一実施形態に係る医用画像処理装置であって、画像診断装置とのネットワークシステムを示す構成図。
【図２】画像処理部の詳細を示すブロック図。
【図３】制御部の詳細を示すブロック図。
【図４】テキスト情報を立体視表示する基本的な動作の例を示すフローチャート。
【図５】テキスト情報を立体視表示する基本的な動作の例を示す概念図。
【図６】観察者が表示部に対し任意の角度で観察した場合の、テキスト情報を立体表示する概念図。
【図７】９視差画像により立体表示を行なう一例を示す図。
【図８】（ａ）テキスト平面が３次元医用画像の表示面より奥まっている例を示す図、（ｂ）テキスト平面が３次元医用画像の表示面と近い平面に作成される例を示す図。
【図９】（ｃ）テキスト領域の一部が表示部の表示範囲から外れている例を示す図、（ｄ）テキスト領域を表示部の表示範囲から外れない位置に設定した例を示す図。
【図１０】（ｅ）テキスト領域の領域幅を狭くした例を示す図。
【図１１】３次元医用画像とテキスト領域が重なった場合の例を示す図。
【図１２】３次元医用画像とテキスト領域が重なった場合の、（Ａ）右目の視差画像、（Ｂ）左目の視差画像、（Ｃ）両目での立体視画像の例を示す図。
【発明を実施するための形態】
【００１２】
以下、本発明の実施形態を添付図面に基づいて説明する。
【００１３】
図１は、本発明の一実施形態に係る医用画像処理装置１であって、画像診断装置２とのネットワークシステムを示す構成図である。医用画像処理装置１は、画像診断装置２等他の装置と病院内のＬＡＮを介して相互に通信可能に接続される。
【００１４】
画像診断装置２はＸ線ＣＴ装置等のモダリティであり、被検体をＸ線撮影し医用画像データを有する。
【００１５】
医用画像処理装置１は、制御部１０、表示部１２、操作部１３、通信部１５、記憶部１６、情報記憶媒体１７、画像処理部１８、画像データベース２１、テキスト情報記憶部２２を含み、バスによって相互に通信可能に接続されて構成されている。
【００１６】
操作部１３はタッチパネルや操作キー等の入力装置である。表示部１２はモニタ等であり、９視差画像等の多視差画像を立体視可能に表示する。この表示部１２は、観察者の見る位置（観察方向）に応じて、観察者の右目、左目で見える視差画像が変わるように構成されている。通信部１５は、病院内ＬＡＮに接続し、画像診断装置２との通信を行う。
【００１７】
画像データベース２１は、ボリューム画像データ記憶部２１２、視差画像データ記憶部２１４を含む。ボリューム画像データ記憶部２１２は、画像診断装置２で撮像し画像処理部１８内の画像処理回路１８２で画像処理されたボリューム画像を格納する。視差画像生成部１８３は、ボリューム画像に対して複数の視差方向に対応する投影処理を行って、複数の視差画像を生成する。視差画像データ記憶部２１４は、視差画像生成部１８３で生成した立体視可能な複数の視差画像を格納する。詳細は後述する。
テキスト情報記憶部２２は、後述するテキスト情報取得部１０１で取得したテキスト情報を記憶する。
【００１８】
画像処理部１８は、画像データの各種処理を行う。図２に画像処理部１８の詳細について示す。画像処理部１８は、画像取得部１８１、画像処理回路１８２、視差画像生成部１８３を含む。
【００１９】
画像取得部１８１は、画像診断装置２で撮像した画像データを取得する。画像処理回路１８２は、画像取得部１８１で取得した画像データを画像処理しボリューム画像データを作成する。視差画像生成部１８３は、画像処理回路１８２で画像処理を行ったボリューム画像データについて、同じ部位での異なる例えば９枚の視差画像を生成することで、立体視可能な複数の視差画像を生成する。また視差画像生成部１８３は、ボリューム画像データとテキスト情報とを、３次元の画像空間上で合成する。
【００２０】
記憶部１６は、制御部１０や通信部１５などのワーク領域となるもので、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などにより実現できる。
【００２１】
情報記憶媒体１７（コンピュータにより読み取り可能な媒体）は、プログラムやデータなどを格納するものであり、ハードディスク、或いはメモリ（Ｆｌａｓｈ Ｍｅｍｏｒｙ、ＲＯＭ：Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などにより実現できる。情報記憶媒体１７には、本実施形態の各部としてコンピュータを機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプログラム）、３次元医用画像を表示する複数のアプリケーション等が記憶される。
【００２２】
制御部１０は、医用画像処理装置１の総括的な制御を行うとともに、その他の様々な演算処理や制御処理などを行う演算装置である。制御部１０の機能は各種プロセッサ（ＣＰＵ、ＤＳＰ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、プログラムにより実現できる。制御部１０は、情報記憶媒体１７に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。
【００２３】
図３に制御部１０の詳細を示す。制御部１０は、テキスト情報取得部１０１、検知部１０４を含む。
【００２４】
テキスト情報取得部１０１は、画像診断装置２で撮像した画像データに付随する、画像の詳細を示したテキスト情報、または表示部１２に表示する操作用のＵＩ（User Interface）のテキスト情報を取得する。
【００２５】
検知部１０４は、表示部１２に対する観察者の位置を検知する。
【００２６】
次に、上記構成の医用画像処理装置の動作について説明する。
【００２７】
＜基本的な動作の例＞
まず、テキスト情報を立体視表示する基本的な動作の例について、図４のフローチャートおよび図５の概念図を参照して説明する。
【００２８】
画像処理部１８内の画像取得部１８１は、画像診断装置２から２次元の医用画像データを取得し（ステップＳ１０１）、画像処理回路１８２で画像処理を行ってボリューム画像データを作成しボリューム画像データ記憶部２１２に格納する（ステップＳ１０２）。
【００２９】
次に制御部１０内のテキスト情報取得部１０１は、ステップＳ１０１で取得した２次元の医用画像データに関係するテキスト情報を取得し、テキスト情報記憶部２２に格納する（ステップＳ１０３）。このテキスト情報は、例えば医用画像データにおける部位の検査レポートを含む。
【００３０】
次に、視差画像生成部１８３は、ステップＳ１０２でボリューム画像データ記憶部２１２に格納したボリューム画像データと、ステップＳ１０３でテキスト情報記憶部２２に格納したテキスト情報とを、３次元の画像空間上で合成する（ステップＳ１０５）。
【００３１】
次に、視差画像生成部１８３は、ステップＳ１０５で合成したボリューム画像データとテキスト情報に、視差方向に沿って投影処理（レンダリング処理）を行って、複数の視差画像、例えば、９つの視差方向に対応する９視差画像を生成し、視差画像データ記憶部２１４に格納して表示部１２に表示する（ステップＳ１０７）。このとき、視差画像生成部１８３は、テキスト情報について、表示領域の向きを、それぞれの視差画像の視差方向に応じて変更してから投影処理を行い、立体視可能なテキスト平面７０を作成し表示部１２に表示する。
【００３２】
図５におけるテキスト情報は、観察者がテキスト領域５０ａ、６０ａを向いた、右目および左目の視線方向に対応する、例えば垂直なテキスト平面（右目用が５０ｂ、左目用が６０ｂ）を視差画像として、立体視可能なテキスト平面７０を作成し表示部１２に表示している。このとき観察者には、３次元医用画像３０とテキスト平面７０とが表示部１２の表示面から飛び出した位置の、所定の平面上に表示されているように見えており、テキスト平面７０は、例えば観察者の視線２０と垂直である。なお、テキスト平面７０の向きは、９視差画像で全て変える必要は無く、例えば、右側、正面、左側のように３つの方向で複数の視差画像単位で変更するようにしても良い。
【００３３】
これにより、観察者に正対する立体視可能なテキスト情報を表示することができる。
【００３４】
なお、検知部１０４が観察者の位置（観察方向）を検出し、検出した観察方向に基づいて、テキスト平面を作成してもよい。
【００３５】
観察者が表示部１２に対し任意の角度で観察した場合の、テキスト情報を立体表示する概念図を図６に示す。図６の場合も図５と同様に、観察者がテキスト領域５０ａ、６０ａを向いた、それぞれの目の視線方向に対応する、テキスト平面５０ｂ、６０ｂを視差画像として、立体視可能なテキスト平面７０を作成する。このとき作成されるテキスト平面７０は、例えば観察者の視線２０と垂直であるため、表示部１２に対しては所定の角度を有している。
【００３６】
これにより、観察者の見る方向が変化しても、観察者に正対する、立体視可能なテキスト情報を表示することができる。
【００３７】
図７に、９視差画像により立体表示を行なう表示部１２の例を示す。表示部１２は、液晶パネルなどの平面状の表示面２００の前面に、光線制御子が配置される。例えば、表示部１２には、光線制御子として、光学開口が垂直方向に延びる垂直レンチキュラーシート２０１が表示面２００の前面に貼り付けられている。なお、図７に示す例では、垂直レンチキュラーシート２０１の凸部が前面となるように貼り付けられているが、垂直レンチキュラーシート２０１の凸部が表示面２００に対向するように貼り付けられる場合であっても良い。
【００３８】
表示面２００には、図７に示すように、縦横比が３：１であり、縦方向にサブ画素である赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３つが配置された画素２０２がマトリクス状に配置される。表示部１２は、９つの画像により構成される９視差画像を、所定フォーマット（例えばタイル状）に配置した中間画像に変換したうえで、表示面２００に出力する。すなわち、表示部１２は、９視差画像にて同一位置にある９つの画素それぞれを、９列の画素２０２に割り振って出力させる。９列の画素２０２は、視差角の異なる９つの画像を同時に表示する単位画素群２０３となる。
【００３９】
表示面２００において単位画素群２０３として同時に出力された９視差画像は、例えば、ＬＥＤ（Light Emitting Diode）バックライトにより平行光として放射され、更に、垂直レンチキュラーシート２０１により、多方向に放射される。９視差画像の各画素の光が多方向に放射されることにより、観察者の右目及び左目に入射する光は、観察者の位置（視点の位置）に連動して変化する。すなわち、観察者の見る角度により、右目に入射する画像と左目に入射する画像とは、視差角が異なる。これにより、観察者は、例えば９つの位置それぞれにおいて、撮影対象を立体的に視認できる。また、図７より、観察者は、例えば「５」の位置において、撮影対象に対して正対した状態で立体的に視認できるとともに、「５」以外それぞれの位置において、撮影対象の向きを変化させた状態で立体的に視認できる。
【００４０】
ステップＳ１０７で設定されるテキスト領域には、上記に記載した設定だけでなく、状況に応じて様々な設定方法がある。以下、変形例として具体的に述べる。
【００４１】
＜変形例１＞
立体視可能なテキスト平面７０を、３次元医用画像３０の立体表示面に近い平面に作成する例を図８に示す。図８（ａ）で、観察者には、テキスト平面７０が立体表示されて見える面が、３次元医用画像３０が立体表示されて見える面より奥まって表示されているように感じる。視差画像生成部１８３は、右目用のテキスト領域５０ａを矢印Ｘ方向にずらし、図８（ｂ）に示すように、右目用のテキスト平面５０ｂの位置を変更する。変更された右目用のテキスト平面５０ｂと、左目用のテキスト平面６０ｂを視差画像として、３次元医用画像３０の表示面と同一、または近い平面にテキスト平面７０が作成される。
【００４２】
これにより、観察者は３次元医用画像と関連するテキスト情報とを、ほぼ同一の表示空間上で違和感なく観察することができる。
【００４３】
＜変形例２＞
次に、テキスト領域の一部が表示部１２の表示範囲から外れてしまう場合の例を図９、図１０に示す。図９（ｃ）で、３次元医用画像３０の立体表示される位置が、観察者の目の前である場合、視差画像生成部１８３は、観察者の視線方向に３次元医用画像３０の表示位置が重ならないよう、例えば表示部１２の左目側（図９（ｃ）でいう下側）にテキスト領域を変更する。しかし、この時に３次元医用画像３０の立体表示される位置が、表示部１２の真ん中より左寄りの場合、テキスト領域は表示部１２の左側に設定され、領域の一部が表示部１２の表示範囲から外れてしまう場合がある。
【００４４】
そこで、図９（ｄ）に示すように、テキスト領域５０ａ、６０ａを、表示部１２の表示範囲から外れない位置である３次元医用画像の右側（図９（ｄ）でいう上側）に再設定する。このとき、観察者のテキスト平面７０に対する視線方向が同じ角度になるよう、観察者も表示部１２の右側にずれる。
これにより、テキスト領域が表示範囲から外れることでテキスト情報の一部が表示されなくなることを防ぐことができる。
【００４５】
また、図１０（ｅ）に示すように、テキスト領域５０ａ、６０ａの領域幅を図９（ｃ）より狭くして、表示部１２の表示範囲から外れないようにする。
これにより、テキスト領域内のテキストは、表示範囲が狭くなることで、例えば２行表示されている文字列が３行になる等、文字列の回り込み位置を変化させて表示することができる。
【００４６】
＜変形例３＞
次に、テキスト情報が操作パネルや操作ボタンである場合であって、３次元医用画像とテキスト領域が重なった場合の例を図１１、画像の例を図１２に示す。この場合、前述した他の例と異なり、テキスト領域は表示部１２の多くを占めている。
【００４７】
図１１において、右目用のテキスト平面５０ｂ、左目用のテキスト平面６０ｂを視差画像としてテキスト平面７０を作成する際に、網掛け部分が３次元医用画像の表示位置と重なる。この網掛け部分に対応したテキスト領域５０ｃ、６０ｃについて、視差画像生成部１８３は、テキスト領域の設定を行わず、３次元医用画像３０を優先的に表示する。
【００４８】
このとき観察者から見える画像の例を図１２に示す。図１２で、テキスト情報は４つの操作ボタンとする。図１２（Ａ）は右目の視差画像、図１２（Ｂ）は左目の視差画像、図１２（Ｃ）は両目での立体視画像である。３次元医用画像３０と一部重なったテキスト領域５０ｃ、６０ｃでは、操作ボタンを表示せず、３次元医用画像を表示している。
【００４９】
これにより、表示位置が重なることによって起きる、３次元医用画像と操作ボタンの重畳表示を防ぐことができ、３次元医用画像を前面に表示させることができる。
【００５０】
以上説明した実施例によれば、ボリューム画像データとそれに関係するテキスト情報を取得し、ボリューム画像データとテキスト情報とを、３次元の画像空間上で合成する。合成したボリューム画像データとテキスト情報に、視差方向に沿って投影処理を行い、複数の視差画像を生成し表示する。このとき、テキスト情報について、表示領域の向きを、視差画像の視差方向に応じて変更してから投影処理を行い、立体視可能なテキスト平面を作成し３Ｄモニタに表示する。これにより、医用画像処理装置で、観察者が見る方向が変化しても、テキスト平面が常に略正対するように３Ｄモニタに表示され、テキスト情報が見やすくなる。
【００５１】
以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【符号の説明】
【００５２】
１…医用画像処理装置、２…画像診断装置、１０…制御部、１２…表示部、１３…操作部、１５…通信部、１６…記憶部、１７…情報記憶媒体、１８…画像処理部、２１…画像データベース、２１２…ボリューム画像データ記憶部、２１４…視差画像データ記憶部、２２…テキスト情報記憶部。
【技術分野】
【０００１】
本発明の実施形態は、医用画像処理装置に関する。
【背景技術】
【０００２】
画像診断装置により撮影された医用画像を、再構築してボリューム画像データにし、２Ｄ画像としてモニタ上に表示するボリュームレンダリング（ＶＲ）技術が知られている。このボリューム画像に現実的な奥行き感を出すために、３Ｄ画像表示を行うことも考えられている。医用画像を３Ｄ画像表示することにより、手術前のカンファレンス、手術計画シミュレーション、術中ナビゲーション等、さまざまな場面での応用が期待される。
【０００３】
従来、立体視用メガネ等の専用機器を用いて、２つの視点から撮影された２視差画像（両眼視差画像）を立体視可能なモニタが実用化されている。また、近年、レンチキュラーレンズ等の光線制御子を用いて、複数の視点から撮影された多視差画像（例えば、９視差画像）を裸眼にて立体視可能なモニタが実用化されている。なお、立体視可能なモニタにて表示される２視差画像や９視差画像は、１視点から撮影された画像の奥行き情報を推定し、推定した情報を用いた画像処理により生成される場合もある。
【０００４】
更に、近年実用化された立体視可能なモニタとしては、レンチキュラーレンズ等の光線制御子を用いることで、例えば、９視差画像等の多視差画像を観察者が裸眼にて立体視可能とする装置がある。かかる立体表示装置は、両眼視差による立体視を可能とし、更に、観察者の視点移動に合わせて観察される映像も変化する運動視差による立体視も可能とする装置である。
【０００５】
この、裸眼で立体視可能なモニタである裸眼３Ｄモニタを医用に用いることにより、例えば術中においても、煩わしいメガネが不要であり、また複数人が同時に医用画像を立体視することが考えられる。術中では特に、複数人が異なる方向から裸眼３Ｄモニタを見ることになるので、あらゆる角度からモニタを見ても立体視が可能であるよう技術が開発されている。
【０００６】
また、医用画像と検査レポートを同時に画面表示して、医師が医用画像から診断した所見を検査レポートに入力することが一般的に行われている。この場合、医用画像が３Ｄ画像表示されていると、２次元では前後関係の判別が困難だったのが３Ｄ表示によりわかりやすくなり、病変の発見も容易になる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００９−２８５１５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかし、検査レポート等のテキスト情報は２次元の情報であるため、３Ｄ画像表示されている医用画像と同時に表示させる場合、別の２次元モニタで検査レポートを表示していた。また、３Ｄモニタで２次元のテキスト情報を表示することも可能だが、視線方向が左右に変化した場合、テキスト情報が斜めになって見えてしまい、テキスト情報が見にくくなる問題があった。
【０００９】
実施形態はこのような点を考慮してなされたもので、３Ｄモニタにテキスト情報を表示することができる医用画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
実施形態の医用画像処理装置は、３次元医用画像データを記憶する画像記憶部と、前記画像記憶部に記憶した前記３次元医用画像データに関連したテキスト情報を記憶するテキスト情報記憶部と、前記３次元医用画像データと前記テキスト情報を合成した、複数の異なる視差方向に対応する視差画像を、投影処理を用いて生成する視差画像生成部と、前記視差画像生成部で生成した、前記３次元医用画像データと前記テキスト情報を合成した複数の前記視差画像を、立体視可能に表示する表示部とを有し、前記視差画像生成部は、前記視差方向に応じて、前記テキスト情報の表示領域の向きを変更するものであることを特徴とする。
【図面の簡単な説明】
【００１１】
【図１】本発明の一実施形態に係る医用画像処理装置であって、画像診断装置とのネットワークシステムを示す構成図。
【図２】画像処理部の詳細を示すブロック図。
【図３】制御部の詳細を示すブロック図。
【図４】テキスト情報を立体視表示する基本的な動作の例を示すフローチャート。
【図５】テキスト情報を立体視表示する基本的な動作の例を示す概念図。
【図６】観察者が表示部に対し任意の角度で観察した場合の、テキスト情報を立体表示する概念図。
【図７】９視差画像により立体表示を行なう一例を示す図。
【図８】（ａ）テキスト平面が３次元医用画像の表示面より奥まっている例を示す図、（ｂ）テキスト平面が３次元医用画像の表示面と近い平面に作成される例を示す図。
【図９】（ｃ）テキスト領域の一部が表示部の表示範囲から外れている例を示す図、（ｄ）テキスト領域を表示部の表示範囲から外れない位置に設定した例を示す図。
【図１０】（ｅ）テキスト領域の領域幅を狭くした例を示す図。
【図１１】３次元医用画像とテキスト領域が重なった場合の例を示す図。
【図１２】３次元医用画像とテキスト領域が重なった場合の、（Ａ）右目の視差画像、（Ｂ）左目の視差画像、（Ｃ）両目での立体視画像の例を示す図。
【発明を実施するための形態】
【００１２】
以下、本発明の実施形態を添付図面に基づいて説明する。
【００１３】
図１は、本発明の一実施形態に係る医用画像処理装置１であって、画像診断装置２とのネットワークシステムを示す構成図である。医用画像処理装置１は、画像診断装置２等他の装置と病院内のＬＡＮを介して相互に通信可能に接続される。
【００１４】
画像診断装置２はＸ線ＣＴ装置等のモダリティであり、被検体をＸ線撮影し医用画像データを有する。
【００１５】
医用画像処理装置１は、制御部１０、表示部１２、操作部１３、通信部１５、記憶部１６、情報記憶媒体１７、画像処理部１８、画像データベース２１、テキスト情報記憶部２２を含み、バスによって相互に通信可能に接続されて構成されている。
【００１６】
操作部１３はタッチパネルや操作キー等の入力装置である。表示部１２はモニタ等であり、９視差画像等の多視差画像を立体視可能に表示する。この表示部１２は、観察者の見る位置（観察方向）に応じて、観察者の右目、左目で見える視差画像が変わるように構成されている。通信部１５は、病院内ＬＡＮに接続し、画像診断装置２との通信を行う。
【００１７】
画像データベース２１は、ボリューム画像データ記憶部２１２、視差画像データ記憶部２１４を含む。ボリューム画像データ記憶部２１２は、画像診断装置２で撮像し画像処理部１８内の画像処理回路１８２で画像処理されたボリューム画像を格納する。視差画像生成部１８３は、ボリューム画像に対して複数の視差方向に対応する投影処理を行って、複数の視差画像を生成する。視差画像データ記憶部２１４は、視差画像生成部１８３で生成した立体視可能な複数の視差画像を格納する。詳細は後述する。
テキスト情報記憶部２２は、後述するテキスト情報取得部１０１で取得したテキスト情報を記憶する。
【００１８】
画像処理部１８は、画像データの各種処理を行う。図２に画像処理部１８の詳細について示す。画像処理部１８は、画像取得部１８１、画像処理回路１８２、視差画像生成部１８３を含む。
【００１９】
画像取得部１８１は、画像診断装置２で撮像した画像データを取得する。画像処理回路１８２は、画像取得部１８１で取得した画像データを画像処理しボリューム画像データを作成する。視差画像生成部１８３は、画像処理回路１８２で画像処理を行ったボリューム画像データについて、同じ部位での異なる例えば９枚の視差画像を生成することで、立体視可能な複数の視差画像を生成する。また視差画像生成部１８３は、ボリューム画像データとテキスト情報とを、３次元の画像空間上で合成する。
【００２０】
記憶部１６は、制御部１０や通信部１５などのワーク領域となるもので、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などにより実現できる。
【００２１】
情報記憶媒体１７（コンピュータにより読み取り可能な媒体）は、プログラムやデータなどを格納するものであり、ハードディスク、或いはメモリ（Ｆｌａｓｈ Ｍｅｍｏｒｙ、ＲＯＭ：Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などにより実現できる。情報記憶媒体１７には、本実施形態の各部としてコンピュータを機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプログラム）、３次元医用画像を表示する複数のアプリケーション等が記憶される。
【００２２】
制御部１０は、医用画像処理装置１の総括的な制御を行うとともに、その他の様々な演算処理や制御処理などを行う演算装置である。制御部１０の機能は各種プロセッサ（ＣＰＵ、ＤＳＰ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、プログラムにより実現できる。制御部１０は、情報記憶媒体１７に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。
【００２３】
図３に制御部１０の詳細を示す。制御部１０は、テキスト情報取得部１０１、検知部１０４を含む。
【００２４】
テキスト情報取得部１０１は、画像診断装置２で撮像した画像データに付随する、画像の詳細を示したテキスト情報、または表示部１２に表示する操作用のＵＩ（User Interface）のテキスト情報を取得する。
【００２５】
検知部１０４は、表示部１２に対する観察者の位置を検知する。
【００２６】
次に、上記構成の医用画像処理装置の動作について説明する。
【００２７】
＜基本的な動作の例＞
まず、テキスト情報を立体視表示する基本的な動作の例について、図４のフローチャートおよび図５の概念図を参照して説明する。
【００２８】
画像処理部１８内の画像取得部１８１は、画像診断装置２から２次元の医用画像データを取得し（ステップＳ１０１）、画像処理回路１８２で画像処理を行ってボリューム画像データを作成しボリューム画像データ記憶部２１２に格納する（ステップＳ１０２）。
【００２９】
次に制御部１０内のテキスト情報取得部１０１は、ステップＳ１０１で取得した２次元の医用画像データに関係するテキスト情報を取得し、テキスト情報記憶部２２に格納する（ステップＳ１０３）。このテキスト情報は、例えば医用画像データにおける部位の検査レポートを含む。
【００３０】
次に、視差画像生成部１８３は、ステップＳ１０２でボリューム画像データ記憶部２１２に格納したボリューム画像データと、ステップＳ１０３でテキスト情報記憶部２２に格納したテキスト情報とを、３次元の画像空間上で合成する（ステップＳ１０５）。
【００３１】
次に、視差画像生成部１８３は、ステップＳ１０５で合成したボリューム画像データとテキスト情報に、視差方向に沿って投影処理（レンダリング処理）を行って、複数の視差画像、例えば、９つの視差方向に対応する９視差画像を生成し、視差画像データ記憶部２１４に格納して表示部１２に表示する（ステップＳ１０７）。このとき、視差画像生成部１８３は、テキスト情報について、表示領域の向きを、それぞれの視差画像の視差方向に応じて変更してから投影処理を行い、立体視可能なテキスト平面７０を作成し表示部１２に表示する。
【００３２】
図５におけるテキスト情報は、観察者がテキスト領域５０ａ、６０ａを向いた、右目および左目の視線方向に対応する、例えば垂直なテキスト平面（右目用が５０ｂ、左目用が６０ｂ）を視差画像として、立体視可能なテキスト平面７０を作成し表示部１２に表示している。このとき観察者には、３次元医用画像３０とテキスト平面７０とが表示部１２の表示面から飛び出した位置の、所定の平面上に表示されているように見えており、テキスト平面７０は、例えば観察者の視線２０と垂直である。なお、テキスト平面７０の向きは、９視差画像で全て変える必要は無く、例えば、右側、正面、左側のように３つの方向で複数の視差画像単位で変更するようにしても良い。
【００３３】
これにより、観察者に正対する立体視可能なテキスト情報を表示することができる。
【００３４】
なお、検知部１０４が観察者の位置（観察方向）を検出し、検出した観察方向に基づいて、テキスト平面を作成してもよい。
【００３５】
観察者が表示部１２に対し任意の角度で観察した場合の、テキスト情報を立体表示する概念図を図６に示す。図６の場合も図５と同様に、観察者がテキスト領域５０ａ、６０ａを向いた、それぞれの目の視線方向に対応する、テキスト平面５０ｂ、６０ｂを視差画像として、立体視可能なテキスト平面７０を作成する。このとき作成されるテキスト平面７０は、例えば観察者の視線２０と垂直であるため、表示部１２に対しては所定の角度を有している。
【００３６】
これにより、観察者の見る方向が変化しても、観察者に正対する、立体視可能なテキスト情報を表示することができる。
【００３７】
図７に、９視差画像により立体表示を行なう表示部１２の例を示す。表示部１２は、液晶パネルなどの平面状の表示面２００の前面に、光線制御子が配置される。例えば、表示部１２には、光線制御子として、光学開口が垂直方向に延びる垂直レンチキュラーシート２０１が表示面２００の前面に貼り付けられている。なお、図７に示す例では、垂直レンチキュラーシート２０１の凸部が前面となるように貼り付けられているが、垂直レンチキュラーシート２０１の凸部が表示面２００に対向するように貼り付けられる場合であっても良い。
【００３８】
表示面２００には、図７に示すように、縦横比が３：１であり、縦方向にサブ画素である赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３つが配置された画素２０２がマトリクス状に配置される。表示部１２は、９つの画像により構成される９視差画像を、所定フォーマット（例えばタイル状）に配置した中間画像に変換したうえで、表示面２００に出力する。すなわち、表示部１２は、９視差画像にて同一位置にある９つの画素それぞれを、９列の画素２０２に割り振って出力させる。９列の画素２０２は、視差角の異なる９つの画像を同時に表示する単位画素群２０３となる。
【００３９】
表示面２００において単位画素群２０３として同時に出力された９視差画像は、例えば、ＬＥＤ（Light Emitting Diode）バックライトにより平行光として放射され、更に、垂直レンチキュラーシート２０１により、多方向に放射される。９視差画像の各画素の光が多方向に放射されることにより、観察者の右目及び左目に入射する光は、観察者の位置（視点の位置）に連動して変化する。すなわち、観察者の見る角度により、右目に入射する画像と左目に入射する画像とは、視差角が異なる。これにより、観察者は、例えば９つの位置それぞれにおいて、撮影対象を立体的に視認できる。また、図７より、観察者は、例えば「５」の位置において、撮影対象に対して正対した状態で立体的に視認できるとともに、「５」以外それぞれの位置において、撮影対象の向きを変化させた状態で立体的に視認できる。
【００４０】
ステップＳ１０７で設定されるテキスト領域には、上記に記載した設定だけでなく、状況に応じて様々な設定方法がある。以下、変形例として具体的に述べる。
【００４１】
＜変形例１＞
立体視可能なテキスト平面７０を、３次元医用画像３０の立体表示面に近い平面に作成する例を図８に示す。図８（ａ）で、観察者には、テキスト平面７０が立体表示されて見える面が、３次元医用画像３０が立体表示されて見える面より奥まって表示されているように感じる。視差画像生成部１８３は、右目用のテキスト領域５０ａを矢印Ｘ方向にずらし、図８（ｂ）に示すように、右目用のテキスト平面５０ｂの位置を変更する。変更された右目用のテキスト平面５０ｂと、左目用のテキスト平面６０ｂを視差画像として、３次元医用画像３０の表示面と同一、または近い平面にテキスト平面７０が作成される。
【００４２】
これにより、観察者は３次元医用画像と関連するテキスト情報とを、ほぼ同一の表示空間上で違和感なく観察することができる。
【００４３】
＜変形例２＞
次に、テキスト領域の一部が表示部１２の表示範囲から外れてしまう場合の例を図９、図１０に示す。図９（ｃ）で、３次元医用画像３０の立体表示される位置が、観察者の目の前である場合、視差画像生成部１８３は、観察者の視線方向に３次元医用画像３０の表示位置が重ならないよう、例えば表示部１２の左目側（図９（ｃ）でいう下側）にテキスト領域を変更する。しかし、この時に３次元医用画像３０の立体表示される位置が、表示部１２の真ん中より左寄りの場合、テキスト領域は表示部１２の左側に設定され、領域の一部が表示部１２の表示範囲から外れてしまう場合がある。
【００４４】
そこで、図９（ｄ）に示すように、テキスト領域５０ａ、６０ａを、表示部１２の表示範囲から外れない位置である３次元医用画像の右側（図９（ｄ）でいう上側）に再設定する。このとき、観察者のテキスト平面７０に対する視線方向が同じ角度になるよう、観察者も表示部１２の右側にずれる。
これにより、テキスト領域が表示範囲から外れることでテキスト情報の一部が表示されなくなることを防ぐことができる。
【００４５】
また、図１０（ｅ）に示すように、テキスト領域５０ａ、６０ａの領域幅を図９（ｃ）より狭くして、表示部１２の表示範囲から外れないようにする。
これにより、テキスト領域内のテキストは、表示範囲が狭くなることで、例えば２行表示されている文字列が３行になる等、文字列の回り込み位置を変化させて表示することができる。
【００４６】
＜変形例３＞
次に、テキスト情報が操作パネルや操作ボタンである場合であって、３次元医用画像とテキスト領域が重なった場合の例を図１１、画像の例を図１２に示す。この場合、前述した他の例と異なり、テキスト領域は表示部１２の多くを占めている。
【００４７】
図１１において、右目用のテキスト平面５０ｂ、左目用のテキスト平面６０ｂを視差画像としてテキスト平面７０を作成する際に、網掛け部分が３次元医用画像の表示位置と重なる。この網掛け部分に対応したテキスト領域５０ｃ、６０ｃについて、視差画像生成部１８３は、テキスト領域の設定を行わず、３次元医用画像３０を優先的に表示する。
【００４８】
このとき観察者から見える画像の例を図１２に示す。図１２で、テキスト情報は４つの操作ボタンとする。図１２（Ａ）は右目の視差画像、図１２（Ｂ）は左目の視差画像、図１２（Ｃ）は両目での立体視画像である。３次元医用画像３０と一部重なったテキスト領域５０ｃ、６０ｃでは、操作ボタンを表示せず、３次元医用画像を表示している。
【００４９】
これにより、表示位置が重なることによって起きる、３次元医用画像と操作ボタンの重畳表示を防ぐことができ、３次元医用画像を前面に表示させることができる。
【００５０】
以上説明した実施例によれば、ボリューム画像データとそれに関係するテキスト情報を取得し、ボリューム画像データとテキスト情報とを、３次元の画像空間上で合成する。合成したボリューム画像データとテキスト情報に、視差方向に沿って投影処理を行い、複数の視差画像を生成し表示する。このとき、テキスト情報について、表示領域の向きを、視差画像の視差方向に応じて変更してから投影処理を行い、立体視可能なテキスト平面を作成し３Ｄモニタに表示する。これにより、医用画像処理装置で、観察者が見る方向が変化しても、テキスト平面が常に略正対するように３Ｄモニタに表示され、テキスト情報が見やすくなる。
【００５１】
以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【符号の説明】
【００５２】
１…医用画像処理装置、２…画像診断装置、１０…制御部、１２…表示部、１３…操作部、１５…通信部、１６…記憶部、１７…情報記憶媒体、１８…画像処理部、２１…画像データベース、２１２…ボリューム画像データ記憶部、２１４…視差画像データ記憶部、２２…テキスト情報記憶部。
【特許請求の範囲】
【請求項１】
３次元医用画像データを記憶する画像記憶部と、
前記画像記憶部に記憶した前記３次元医用画像データに関連したテキスト情報を記憶するテキスト情報記憶部と、
前記３次元医用画像データと前記テキスト情報を合成した、複数の異なる視差方向に対応する視差画像を、投影処理を用いて生成する視差画像生成部と、
前記視差画像生成部で生成した、前記３次元医用画像データと前記テキスト情報を合成した複数の前記視差画像を、立体視可能に表示する表示部とを有し、
前記視差画像生成部は、前記視差方向に応じて、前記テキスト情報の表示領域の向きを変更するものであることを特徴とする医用画像処理装置。
【請求項２】
前記視差画像生成部は、前記表示部で表示される３次元医用画像が観察者から立体表示されて見える平面と同一平面上、または微小範囲内で前後に異なる平面上にテキスト情報を表示するテキスト平面を作成する、
ことを特徴とする請求項１記載の医用画像処理装置。
【請求項３】
前記テキスト情報の表示領域の少なくとも一部が前記表示部の表示範囲から外れる場合、前記視差画像生成部は、観察者の視線方向に、立体表示された前記３次元医用画像の表示位置が重ならず、前記表示部の表示範囲内に前記テキスト情報の表示領域を再設定する、
ことを特徴とする請求項１記載の医用画像処理装置。
【請求項４】
前記テキスト情報の表示領域の少なくとも一部が前記表示部の表示範囲から外れる場合、前記視差画像生成部は、前記複数の表示領域の幅を狭くして前記テキスト情報の表示領域を再設定する、
ことを特徴とする請求項１記載の医用画像処理装置。
【請求項５】
前記３次元医用画像と前記テキスト平面との表示が重なる場合、前記視差画像生成部は、重なる部分の前記テキスト情報の表示領域の設定を行わないよう構成される、
ことを特徴とする請求項１乃至２記載の医用画像処理装置。
【請求項６】
３次元医用画像データを記憶する画像記憶部と、
前記画像記憶部に記憶した前記３次元医用画像データに関連したテキスト情報を記憶するテキスト情報記憶部と、
前記３次元医用画像データと前記テキスト情報を合成した、複数の異なる視差方向に対応する視差画像を、投影処理を用いて生成する視差画像生成部と、
前記視差画像生成部で生成した、前記３次元医用画像データと前記テキスト情報を合成した複数の前記視差画像を、立体視可能に表示する表示部と、
観察者の位置を検出する検出部と、
を有し、
前記視差画像生成部は、前記検出部で検出した前記観察者の位置に応じて、前記テキスト情報の表示領域の向きを変更するものであることを特徴とする医用画像処理装置。
【請求項１】
３次元医用画像データを記憶する画像記憶部と、
前記画像記憶部に記憶した前記３次元医用画像データに関連したテキスト情報を記憶するテキスト情報記憶部と、
前記３次元医用画像データと前記テキスト情報を合成した、複数の異なる視差方向に対応する視差画像を、投影処理を用いて生成する視差画像生成部と、
前記視差画像生成部で生成した、前記３次元医用画像データと前記テキスト情報を合成した複数の前記視差画像を、立体視可能に表示する表示部とを有し、
前記視差画像生成部は、前記視差方向に応じて、前記テキスト情報の表示領域の向きを変更するものであることを特徴とする医用画像処理装置。
【請求項２】
前記視差画像生成部は、前記表示部で表示される３次元医用画像が観察者から立体表示されて見える平面と同一平面上、または微小範囲内で前後に異なる平面上にテキスト情報を表示するテキスト平面を作成する、
ことを特徴とする請求項１記載の医用画像処理装置。
【請求項３】
前記テキスト情報の表示領域の少なくとも一部が前記表示部の表示範囲から外れる場合、前記視差画像生成部は、観察者の視線方向に、立体表示された前記３次元医用画像の表示位置が重ならず、前記表示部の表示範囲内に前記テキスト情報の表示領域を再設定する、
ことを特徴とする請求項１記載の医用画像処理装置。
【請求項４】
前記テキスト情報の表示領域の少なくとも一部が前記表示部の表示範囲から外れる場合、前記視差画像生成部は、前記複数の表示領域の幅を狭くして前記テキスト情報の表示領域を再設定する、
ことを特徴とする請求項１記載の医用画像処理装置。
【請求項５】
前記３次元医用画像と前記テキスト平面との表示が重なる場合、前記視差画像生成部は、重なる部分の前記テキスト情報の表示領域の設定を行わないよう構成される、
ことを特徴とする請求項１乃至２記載の医用画像処理装置。
【請求項６】
３次元医用画像データを記憶する画像記憶部と、
前記画像記憶部に記憶した前記３次元医用画像データに関連したテキスト情報を記憶するテキスト情報記憶部と、
前記３次元医用画像データと前記テキスト情報を合成した、複数の異なる視差方向に対応する視差画像を、投影処理を用いて生成する視差画像生成部と、
前記視差画像生成部で生成した、前記３次元医用画像データと前記テキスト情報を合成した複数の前記視差画像を、立体視可能に表示する表示部と、
観察者の位置を検出する検出部と、
を有し、
前記視差画像生成部は、前記検出部で検出した前記観察者の位置に応じて、前記テキスト情報の表示領域の向きを変更するものであることを特徴とする医用画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１２−２３４４４７（Ｐ２０１２−２３４４４７Ａ）
【公開日】平成２４年１１月２９日（２０１２．１１．２９）
【国際特許分類】
【出願番号】特願２０１１−１０３８１２（Ｐ２０１１−１０３８１２）
【出願日】平成２３年５月６日（２０１１．５．６）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【出願人】（５９４１６４５４２）東芝メディカルシステムズ株式会社 (4,066)
【Ｆターム（参考）】
【公開日】平成２４年１１月２９日（２０１２．１１．２９）
【国際特許分類】
【出願日】平成２３年５月６日（２０１１．５．６）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【出願人】（５９４１６４５４２）東芝メディカルシステムズ株式会社 (4,066)
【Ｆターム（参考）】
[ Back to top ]