画像表示システム、装置、方法及び医用画像診断装置
【課題】立体視可能な3次元の画像と、2次元の画像とを状況に応じて表示することができる画像表示システム、装置及び方法を提供すること。
【解決手段】実施形態に係る画像表示システムは、判定手段が、画像の情報に基づいて、表示装置に表示させる画像が立体視用の画像であるか又は平面視用の画像であるかを判定する。切替え制御手段が、判定手段による判定結果に応じて、表示装置を立体視用又は平面視用に切替えるように制御する。
【解決手段】実施形態に係る画像表示システムは、判定手段が、画像の情報に基づいて、表示装置に表示させる画像が立体視用の画像であるか又は平面視用の画像であるかを判定する。切替え制御手段が、判定手段による判定結果に応じて、表示装置を立体視用又は平面視用に切替えるように制御する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、画像表示システム、装置、方法及び医用画像診断装置に関する。
【背景技術】
【0002】
従来、立体視用メガネ等の専用機器を用いて、2つの視点から撮影された2視差画像を立体視可能なモニタが実用化されている。また、近年、レンチキュラーレンズ等の光線制御子を用いて、複数の視点から撮影された多視差画像(例えば、9視差画像)を裸眼にて立体視可能なモニタが実用化されている。なお、立体視可能なモニタにて表示される2視差画像や9視差画像は、1視点から撮影された画像の奥行き情報を推定し、推定した情報を用いた画像処理により生成される場合もある。
【0003】
一方、X線CT(Computed Tomography)装置やMRI(Magnetic Resonance Imaging)装置、超音波診断装置等の医用画像診断装置では、3次元の医用画像データ(以下、ボリュームデータ)を生成可能な装置が実用化されている。従来、かかる医用画像診断装置により生成されたボリュームデータは、種々の画像処理により2次元画像とされ、汎用モニタ上にて2次元表示される。例えば、医用画像診断装置により生成されたボリュームデータは、ボリュームレンダリング処理により3次元の情報を反映した2次元画像とされ、汎用モニタ上にて2次元表示される。しかしながら、従来技術では、立体視可能な3次元の画像と、2次元画像とを状況に応じて表示することが困難であった。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2005−86414号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明が解決しようとする課題は、立体視可能な3次元の画像と、2次元の画像とを状況に応じて表示することができる画像表示システム、装置、方法及び医用画像診断装置を提供することである。
【課題を解決するための手段】
【0006】
実施形態の画像表示システムは、画像の表示を制御する制御装置と、前記制御装置の制御に基づいて画像を表示する表示装置とを備え、前記制御装置が判定手段と切替制御手段とを有する。判定手段は、前記画像の情報に基づいて、前記表示装置に表示させる画像が立体視用の画像であるか又は平面視用の画像であるかを判定する。切替え制御手段は、前記判定手段による判定結果に応じて、前記表示装置を立体視用又は平面視用に切替えるように制御する。
【図面の簡単な説明】
【0007】
【図1】図1は、第1の実施形態に係る画像表示システムの構成例を説明するための図である。
【図2】図2は、2視差画像により立体表示を行なう立体表示モニタの一例を説明するための図である。
【図3】図3は、9視差画像により立体表示を行なう立体表示モニタの一例を説明するための図である。
【図4】図4は、第1の実施形態に係るワークステーションの構成例を説明するための図である。
【図5】図5は、図4に示すレンダリング処理部の構成例を説明するための図である。
【図6】図6は、第1の実施形態に係るボリュームレンダリング処理の一例を説明するための図である。
【図7】図7は、第1の実施形態に係る表示部及び制御部の構成例を説明するための図である。
【図8】図8は、第1の実施形態に係る切替え部の構成の一例を説明するための図である。
【図9】図9は、第1の実施形態に係る表示情報付与部による処理の一例を模式的に示す図である。
【図10】図10は、第1の実施形態に係る表示部における表示の一例を説明するための図である。
【図11】図11は、第1の実施形態に係る選択領域受付け部の処理の一例を説明するための図である。
【図12】図12は、第1の実施形態に係るワークステーションによる処理の手順を示すフローチャートである。
【図13】図13は、第2の実施形態に係る表示部によって表示される操作画面の第1の例を説明するための図である。
【図14】図14は、第2の実施形態に係る表示部によって表示される操作画面の第2の例を説明するための図である。
【図15】図15は、第2の実施形態に係るワークステーションによる処理の手順を示すフローチャートである。
【図16】図16は、第3の実施形態に係る切替え部の構成の一例を説明するための図である。
【発明を実施するための形態】
【0008】
以下、添付図面を参照して、画像表示システム、装置、方法及び医用画像診断装置の実施形態を詳細に説明する。なお、以下では、画像表示装置としての機能を有するワークステーションを含む画像表示システムを実施形態として説明する。ここで、以下の実施形態で用いる用語について説明すると、「視差画像群」とは、ボリュームデータに対して、所定の視差角ずつ視点位置を移動させてボリュームレンダリング処理を行なうことで生成された画像群のことである。すなわち、「視差画像群」は、「視点位置」が異なる複数の「視差画像」から構成される。また、「視差角」とは、「視差画像群」を生成するために設定された各視点位置のうち隣接する視点位置とボリュームデータによって表される空間内の所定位置(例えば、空間の中心)とにより定まる角度のことである。また、「視差数」とは、立体表示モニタにて立体視されるために必要となる「視差画像」の数のことである。また、以下で記載する「9視差画像」とは、9つの「視差画像」から構成される「視差画像群」のことである。また、以下で記載する「2視差画像」とは、2つの「視差画像」から構成される「視差画像群」のことである。
【0009】
(第1の実施形態)
まず、第1の実施形態に係る画像表示システムの構成例について説明する。図1は、第1の実施形態に係る画像表示システムの構成例を説明するための図である。
【0010】
図1に示すように、第1の実施形態に係る画像表示システム1は、医用画像診断装置110と、画像保管装置120と、ワークステーション130と、端末装置140とを有する。図1に例示する各装置は、例えば、病院内に設置された院内LAN(Local Area Network)2により、直接的、又は間接的に相互に通信可能な状態となっている。例えば、画像表示システム1にPACS(Picture Archiving and Communication System)が導入されている場合、各装置は、DICOM(Digital Imaging and Communications in Medicine)規格に則って、医用画像等を相互に送受信する。
【0011】
かかる画像表示システム1は、医用画像診断装置110により生成された3次元の医用画像データであるボリュームデータから視差画像群を生成し、この視差画像群を立体視可能なモニタに表示することで、病院内に勤務する医師や検査技師に立体視可能な医用画像を提供する。具体的には、第1の実施形態においては、ワークステーション130が、ボリュームデータに対して種々の画像処理を行ない、視差画像群を生成する。また、ワークステーション130及び端末装置140が、立体視可能なモニタを有し、ワークステーション130にて生成された視差画像群をこのモニタに表示する。また、画像保管装置120は、医用画像診断装置110にて生成されたボリュームデータや、ワークステーション130にて生成された視差画像群を保管する。すなわち、ワークステーション130や端末装置140は、この画像保管装置120からボリュームデータや視差画像群を取得し、これを処理したり、モニタに表示したりする。以下、各装置を順に説明する。
【0012】
医用画像診断装置110は、X線診断装置、X線CT(Computed Tomography)装置、MRI(Magnetic Resonance Imaging)装置、超音波診断装置、SPECT(Single Photon Emission Computed Tomography)装置、PET(Positron Emission computed Tomography)装置、SPECT装置とX線CT装置とが一体化されたSPECT−CT装置、PET装置とX線CT装置とが一体化されたPET−CT装置、又はこれらの装置群等である。また、第1の実施形態に係る医用画像診断装置110は、3次元の医用画像データ(ボリュームデータ)を生成可能である。
【0013】
具体的には、第1の実施形態に係る医用画像診断装置110は、被検体を撮影することによりボリュームデータを生成する。例えば、医用画像診断装置110は、被検体を撮影することにより投影データやMR信号等のデータを収集し、収集したデータから、被検体の体軸方向に沿った複数のアキシャル面の医用画像データを再構成することで、ボリュームデータを生成する。例えば、医用画像診断装置110は、500枚のアキシャル面の医用画像データを再構成する。この500枚のアキシャル面の医用画像データ群が、ボリュームデータである。なお、医用画像診断装置110により撮影された被検体の投影データやMR信号等自体をボリュームデータとしても良い。
【0014】
また、第1の実施形態に係る医用画像診断装置110は、生成したボリュームデータを画像保管装置120に送信する。なお、医用画像診断装置110は、ボリュームデータを画像保管装置120に送信する際に、付帯情報として、例えば、患者を識別する患者ID、検査を識別する検査ID、医用画像診断装置110を識別する装置ID、医用画像診断装置110による1回の撮影を識別するシリーズID等を送信する。
【0015】
画像保管装置120は、医用画像を保管するデータベースである。具体的には、第1の実施形態に係る画像保管装置120は、医用画像診断装置110から送信されたボリュームデータを記憶部に格納し、これを保管する。また、第1の実施形態においては、ワークステーション130が、ボリュームデータから視差画像群を生成し、生成した視差画像群を画像保管装置120に送信する。このため、画像保管装置120は、ワークステーション130から送信された視差画像群を記憶部に格納し、これを保管する。なお、本実施形態は、大容量の画像を保管可能なワークステーション130を用いることで、図1に例示するワークステーション130と画像保管装置120とが統合される場合であっても良い。すなわち、本実施形態は、ワークステーション130そのものにボリュームデータもしくは視差画像群を記憶させる場合であっても良い。
【0016】
なお、第1の実施形態において、画像保管装置120に保管されたボリュームデータや視差画像群は、患者ID、検査ID、装置ID、シリーズID等と対応付けて保管される。このため、ワークステーション130や端末装置140は、患者ID、検査ID、装置ID、シリーズID等を用いた検索を行なうことで、必要なボリュームデータや視差画像群を画像保管装置120から取得する。
【0017】
ワークステーション130は、医用画像に対して画像処理を行なう画像処理装置である。具体的には、第1の実施形態に係るワークステーション130は、画像保管装置120から取得したボリュームデータに対して種々のレンダリング処理を行ない、視差画像群を生成する。視差画像群とは、複数の視点から撮影された複数の視差画像のことであり、例えば、9視差画像を裸眼にて立体視可能なモニタにて表示される視差画像群とは、視点位置が異なる9つの視差画像のことである。
【0018】
また、第1の実施形態に係るワークステーション130は、表示部として、立体視可能なモニタ(以下、立体表示モニタ)を有する。ワークステーション130は、視差画像群を生成し、生成した視差画像群を立体表示モニタに表示する。この結果、ワークステーション130の操作者は、立体表示モニタに表示された立体視可能な医用画像を確認しながら、視差画像群生成のための操作を行なうことができる。
【0019】
また、ワークステーション130は、生成した視差画像群を画像保管装置120に送信する。なお、ワークステーション130は、視差画像群を画像保管装置120に送信する際に、付帯情報として、例えば、患者ID、検査ID、装置ID、シリーズID等を送信する。また、視差画像群を画像保管装置120に送信する際に送信される付帯情報としては、視差画像群に関する付帯情報も挙げられる。視差画像群に関する付帯情報としては、視差画像の枚数(例えば、「9」)や、視差画像の解像度(例えば、「466×350画素」)等がある。
【0020】
端末装置140は、病院内に勤務する医師や検査技師に医用画像を閲覧させるための装置である。例えば、端末装置140は、病院内に勤務する医師や検査技師により操作されるPC(Personal Computer)やタブレット式PC、PDA(Personal Digital Assistant)、携帯電話等である。具体的には、第1の実施形態に係る端末装置140は、表示部として立体表示モニタを有する。また、端末装置140は、画像保管装置120から視差画像群を取得し、取得した視差画像群を立体表示モニタに表示する。この結果、観察者である医師や検査技師は、立体視可能な医用画像を閲覧することができる。
【0021】
ここで、ワークステーション130や端末装置140が有する立体表示モニタについて説明する。現在最も普及している一般的な汎用モニタは、2次元画像を2次元で表示するものであり、2次元画像を立体表示することができない。仮に、観察者が汎用モニタにて立体視を要望する場合、汎用モニタに対して画像を出力する装置は、平行法や交差法により観察者が立体視可能な2視差画像を並列表示させる必要がある。又は、汎用モニタに対して画像を出力する装置は、例えば、左目用の部分に赤色のセロハンが取り付けられ、右目用の部分に青色のセロハンが取り付けられたメガネを用いて余色法により観察者が立体視可能な画像を表示する必要がある。
【0022】
一方、立体表示モニタとしては、立体視用メガネ等の専用機器を用いることで、2視差画像(両眼視差画像とも称する)を立体視可能とするものがある。
【0023】
図2は、2視差画像により立体表示を行なう立体表示モニタの一例を説明するための図である。図2に示す一例は、シャッター方式により立体表示を行なう立体表示モニタであり、モニタを観察する観察者が装着する立体視用メガネとしてシャッターメガネが用いられる。かかる立体表示モニタは、モニタにて2視差画像を交互に出射する。例えば、図2の(A)に示すモニタは、左目用の画像と右目用の画像を、120Hzにて交互に出射する。ここで、モニタには、図2の(A)に示すように、赤外線出射部が設置され、赤外線出射部は、画像が切り替わるタイミングに合わせて赤外線の出射を制御する。
【0024】
また、赤外線出射部から出射された赤外線は、図2の(A)に示すシャッターメガネの赤外線受光部により受光される。シャッターメガネの左右それぞれの枠には、シャッターが取り付けられており、シャッターメガネは、赤外線受光部が赤外線を受光したタイミングに合わせて左右のシャッターそれぞれの透過状態及び遮光状態を交互に切り替える。以下、シャッターにおける透過状態及び遮光状態の切り替え処理について説明する。
【0025】
各シャッターは、図2の(B)に示すように、入射側の偏光板と出射側の偏光板とを有し、更に、入射側の偏光板と出射側の偏光板との間に液晶層を有する。また、入射側の偏光板と出射側の偏光板とは、図2の(B)に示すように、互いに直交している。ここで、図2の(B)に示すように、電圧が印加されていない「OFF」の状態では、入射側の偏光板を通った光は、液晶層の作用により90度回転し、出射側の偏光板を透過する。すなわち、電圧が印加されていないシャッターは、透過状態となる。
【0026】
一方、図2の(B)に示すように、電圧が印加された「ON」の状態では、液晶層の液晶分子による偏光回転作用が消失するため、入射側の偏光板を通った光は、出射側の偏光板で遮られてしまう。すなわち、電圧が印加されたシャッターは、遮光状態となる。
【0027】
そこで、例えば、赤外線出射部は、モニタ上に左目用の画像が表示されている期間、赤外線を出射する。そして、赤外線受光部は、赤外線を受光している期間、左目のシャッターに電圧を印加せず、右目のシャッターに電圧を印加させる。これにより、図2の(A)に示すように、右目のシャッターが遮光状態となり、左目のシャッターが透過状態となるため、観察者の左目に左目用の画像が入射する。一方、赤外線出射部は、モニタ上に右目用の画像が表示されている期間、赤外線の出射を停止する。そして、赤外線受光部は、赤外線が受光されない期間、右目のシャッターに電圧を印加せず、左目のシャッターに電圧を印加させる。これにより、左目のシャッターが遮光状態となり、右目のシャッターが透過状態であるため、観察者の右目に右目用の画像が入射する。このように、図2に示す立体表示モニタは、モニタに表示される画像とシャッターの状態を連動させて切り替えることで、観察者が立体視可能な画像を表示させる。なお、2視差画像を立体視可能な立体表示モニタとしては、上記のシャッター方式以外にも、偏光メガネ方式を採用したモニタも知られている。
【0028】
更に、近年実用化された立体表示モニタとしては、レンチキュラーレンズ等の光線制御子を用いることで、例えば、9視差画像等の多視差画像を観察者が裸眼にて立体視可能とするものがある。かかる立体表示モニタは、両眼視差による立体視を可能とし、更に、観察者の視点移動に合わせて観察される映像も変化する運動視差による立体視も可能とする。
【0029】
図3は、9視差画像により立体表示を行なう立体表示モニタの一例を説明するための図である。図3に示す立体表示モニタには、液晶パネル等の平面状の表示面200の前面に、光線制御子が配置される。例えば、図3に示す立体表示モニタには、光線制御子として、光学開口が垂直方向に延びる垂直レンチキュラーシート201が表示面200の前面に貼り付けられている。
【0030】
表示面200には、図3に示すように、縦横比が3:1であり、縦方向にサブ画素である赤(R)、緑(G)、青(B)の3つが配置された画素202がマトリクス状に配置される。図3に示す立体表示モニタは、9つの画像により構成される9視差画像を、所定フォーマット(例えば格子状)に配置した中間画像に変換したうえで、表示面200に出力する。すなわち、図3に示す立体表示モニタは、9視差画像にて同一位置にある9つの画素それぞれを、9列の画素202に割り振って出力させる。9列の画素202は、視点位置の異なる9つの画像を同時に表示する単位画素群203となる。
【0031】
表示面200において単位画素群203として同時に出力された9視差画像は、例えば、LED(Light Emitting Diode)バックライトにより平行光として放射され、更に、垂直レンチキュラーシート201により、多方向に放射される。9視差画像の各画素の光が多方向に放射されることにより、観察者の右目及び左目に入射する光は、観察者の位置(視点の位置)に連動して変化する。すなわち、観察者の見る角度により、右目に入射する視差画像と左目に入射する視差画像とは、視差角が異なる。これにより、観察者は、例えば、図3に示す9つの位置それぞれにおいて、撮影対象を立体的に視認できる。また、観察者は、例えば、図3に示す「5」の位置において、撮影対象に対して正対した状態で立体的に視認できるとともに、図3に示す「5」以外それぞれの位置において、撮影対象の向きを変化させた状態で立体的に視認できる。なお、図3に示す立体表示モニタは、あくまでも一例である。9視差画像を表示する立体表示モニタは、図3に示すように、「RRR・・・、GGG・・・、BBB・・・」の横ストライプ液晶である場合であっても良いし、「RGBRGB・・・」の縦ストライプ液晶である場合であっても良い。また、図3に示す立体表示モニタは、図3に示すように、レンチキュラーシートが垂直となる縦レンズ方式である場合であっても良いし、レンチキュラーシートが斜めとなる斜めレンズ方式である場合であっても良い。
【0032】
ここまで、第1の実施形態に係る画像表示システム1の構成例について簡単に説明した。なお、上記した画像表示システム1は、PACSが導入されている場合にその適用が限られるものではない。例えば、画像表示システム1は、医用画像が添付された電子カルテを管理する電子カルテシステムが導入されている場合にも、同様に適用される。この場合、画像保管装置120は、電子カルテを保管するデータベースである。また、例えば、画像表示システム1は、HIS(Hospital Information System)、RIS(Radiology Information System)が導入されている場合にも、同様に適用される。また、画像表示システム1は、上記した構成例に限られるものではない。各装置が有する機能やその分担は、運用の形態に応じて適宜変更されてよい。
【0033】
次に、第1の実施形態に係るワークステーションの構成例について図4を用いて説明する。図4は、第1の実施形態に係るワークステーションの構成例を説明するための図である。なお、以下において、「視差画像群」とは、ボリュームデータに対してボリュームレンダリング処理を行なうことで生成された立体視用の画像群のことである。また、「視差画像」とは、「視差画像群」を構成する個々の画像のことである。すなわち、「視差画像群」は、視点位置が異なる複数の「視差画像」から構成される。
【0034】
第1の実施形態に係るワークステーション130は、画像処理等に適した高性能なコンピュータであり、図4に示すように、入力部131と、表示部132と、通信部133と、記憶部134と、制御部135と、レンダリング処理部136とを有する。なお、以下では、ワークステーション130が画像処理等に適した高性能なコンピュータである場合を用いて説明するが、これに限定されるものではなく、任意の情報処理装置であって良い。例えば、任意のパーソナルコンピュータであっても良い。
【0035】
入力部131は、マウス、キーボード、トラックボール等であり、ワークステーション130に対する各種操作の入力を操作者から受け付ける。具体的には、第1の実施形態に係る入力部131は、レンダリング処理の対象となるボリュームデータを画像保管装置120から取得するための情報の入力を受け付ける。例えば、入力部131は、患者ID、検査ID、装置ID、シリーズID等の入力を受け付ける。また、第1の実施形態に係る入力部131は、レンダリング処理に関する条件(以下、レンダリング条件)の入力を受け付ける。
【0036】
表示部132は、立体表示モニタとしての液晶パネル等であり、各種情報を表示する。具体的には、第1の実施形態に係る表示部132は、操作者から各種操作を受け付けるためのGUI(Graphical User Interface)や、視差画像群等を表示する。通信部133は、NIC(Network Interface Card)等であり、他の装置との間で通信を行う。
【0037】
記憶部134は、ハードディスク、半導体メモリ素子等であり、各種情報を記憶する。具体的には、第1の実施形態に係る記憶部134は、通信部133を介して画像保管装置120から取得したボリュームデータを記憶する。また、第1の実施形態に係る記憶部134は、レンダリング処理中のボリュームデータや、レンダリング処理により生成された視差画像群、及び、2次元表示用の画像等を記憶する。
【0038】
制御部135は、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等の電子回路、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路であり、ワークステーション130の全体制御を行なう。
【0039】
例えば、第1の実施形態に係る制御部135は、表示部132に対するGUIの表示や視差画像群の表示を制御する。また、例えば、制御部135は、画像保管装置120との間で通信部133を介して行なわれるボリュームデータや視差画像群の送受信を制御する。また、例えば、制御部135は、レンダリング処理部136によるレンダリング処理を制御する。また、例えば、制御部135は、ボリュームデータの記憶部134からの読み込みや、視差画像群の記憶部134への格納を制御する。
【0040】
レンダリング処理部136は、制御部135による制御の下、画像保管装置120から取得したボリュームデータに対して種々のレンダリング処理を行ない、視差画像群を生成する。具体的には、第1の実施形態に係るレンダリング処理部136は、記憶部134からボリュームデータを読み込み、このボリュームデータに対して、まず前処理を行なう。次に、レンダリング処理部136は、前処理後のボリュームデータに対してボリュームレンダリング処理を行ない、視差画像群を生成する。続いて、レンダリング処理部136は、各種情報(目盛り、患者名、検査項目等)が描出された2次元画像を生成し、これを視差画像群それぞれに対して重畳することで、出力用の2次元画像を生成する。そして、レンダリング処理部136は、生成した視差画像群や出力用の2次元画像を記憶部134に格納する。なお、第1の実施形態において、レンダリング処理とは、ボリュームデータに対して行なう画像処理全体のことであり、ボリュームレンダリング処理とは、レンダリング処理の内、3次元の情報を反映した2次元画像を生成する処理のことである。レンダリング処理により生成される医用画像とは、例えば、視差画像が該当する。
【0041】
図5は、図4に示すレンダリング処理部の構成例を説明するための図である。図5に示すように、レンダリング処理部136は、前処理部1361と、3次元画像処理部1362と、2次元画像処理部1363とを有する。前処理部1361が、ボリュームデータに対する前処理を行い、3次元画像処理部1362が、前処理後のボリュームデータから視差画像群を生成し、2次元画像処理部1363が、視差画像群に各種情報が重畳された出力用の2次元画像を生成する。以下、各部を順に説明する。
【0042】
前処理部1361は、ボリュームデータに対してレンダリング処理を行なう際に、種々の前処理を行なう処理部であり、画像補正処理部1361aと、3次元物体フュージョン部1361eと、3次元物体表示領域設定部1361fとを有する。
【0043】
画像補正処理部1361aは、2種類のボリュームデータを1つのボリュームデータとして処理する際に画像補正処理を行なう処理部であり、図5に示すように、歪み補正処理部1361b、体動補正処理部1361c及び画像間位置合わせ処理部1361dを有する。例えば、画像補正処理部1361aは、PET−CT装置により生成されたPET画像のボリュームデータとX線CT画像のボリュームデータとを1つのボリュームデータとして処理する際に画像補正処理を行なう。或いは、画像補正処理部1361aは、MRI装置により生成されたT1強調画像のボリュームデータとT2強調画像のボリュームデータとを1つのボリュームデータとして処理する際に画像補正処理を行なう。
【0044】
また、歪み補正処理部1361bは、個々のボリュームデータにおいて、医用画像診断装置110によるデータ収集時の収集条件に起因するデータの歪みを補正する。また、体動補正処理部1361cは、個々のボリュームデータを生成するために用いられたデータの収集時期における被検体の体動に起因する移動を補正する。また、画像間位置合わせ処理部1361dは、歪み補正処理部1361b及び体動補正処理部1361cによる補正処理が行なわれた2つのボリュームデータ間で、例えば、相互相関法等を用いた位置合わせ(Registration)を行なう。
【0045】
3次元物体フュージョン部1363eは、画像間位置合わせ処理部1361dにより位置合わせが行なわれた複数のボリュームデータをフュージョンさせる。なお、画像補正処理部1361a及び3次元物体フュージョン部1361eの処理は、単一のボリュームデータに対してレンダリング処理を行なう場合、省略される。
【0046】
3次元物体表示領域設定部1361fは、操作者により指定された表示対象臓器に対応する表示領域を設定する処理部であり、セグメンテーション処理部1361gを有する。セグメンテーション処理部1361gは、操作者により指定された心臓、肺、血管等の臓器を、例えば、ボリュームデータの画素値(ボクセル値)に基づく領域拡張法により抽出する処理部である。
【0047】
なお、セグメンテーション処理部1361gは、操作者により表示対象臓器が指定されなかった場合、セグメンテーション処理を行なわない。また、セグメンテーション処理部1361gは、操作者により表示対象臓器が複数指定された場合、該当する複数の臓器を抽出する。また、セグメンテーション処理部1361gの処理は、レンダリング画像を参照した操作者の微調整要求により再度実行される場合もある。
【0048】
3次元画像処理部1362は、前処理部1361が処理を行なった前処理後のボリュームデータに対してボリュームレンダリング処理を行なう。ボリュームレンダリング処理を行なう処理部として、3次元画像処理部1362は、投影方法設定部1362aと、3次元幾何変換処理部1362bと、3次元物体アピアランス処理部1362fと、3次元仮想空間レンダリング部1362kとを有する。
【0049】
投影方法設定部1362aは、視差画像群を生成するための投影方法を決定する。例えば、投影方法設定部1362aは、ボリュームレンダリング処理を平行投影法により実行するか、透視投影法により実行するかを決定する。
【0050】
3次元幾何変換処理部1362bは、ボリュームレンダリング処理が実行されるボリュームデータを3次元幾何学的に変換するための情報を決定する処理部であり、平行移動処理部1362c、回転処理部1362d及び拡大縮小処理部1362eを有する。平行移動処理部1362cは、ボリュームレンダリング処理を行なう際の視点位置が平行移動された場合に、ボリュームデータを平行移動させる移動量を決定する処理部であり、回転処理部1362dは、ボリュームレンダリング処理を行なう際の視点位置が回転移動された場合に、ボリュームデータを回転移動させる移動量を決定する処理部である。また、拡大縮小処理部1362eは、視差画像群の拡大や縮小が要求された場合に、ボリュームデータの拡大率や縮小率を決定する処理部である。
【0051】
3次元物体アピアランス処理部1362fは、3次元物体色彩度処理部1362g、3次元物体不透明度処理部1362h、3次元物体材質処理部1362i及び3次元仮想空間光源処理部1362jを有する。3次元物体アピアランス処理部1362fは、これらの処理部により、例えば、操作者の要求に応じて、表示される視差画像群の表示状態を決定する処理を行なう。
【0052】
3次元物体色彩度処理部1362gは、ボリュームデータにてセグメンテーションされた各領域に対して着色される色彩を決定する処理部である。3次元物体不透明度処理部1362hは、ボリュームデータにてセグメンテーションされた各領域を構成する各ボクセルの不透過度(Opacity)を決定する処理部である。なお、ボリュームデータにおいて不透過度が「100%」とされた領域の後方の領域は、視差画像群において描出されないこととなる。また、ボリュームデータにおいて不透過度が「0%」とされた領域は、視差画像群において描出されないこととなる。
【0053】
3次元物体材質処理部1362iは、ボリュームデータにてセグメンテーションされた各領域の材質を決定することで、この領域が描出される際の質感を調整する処理部である。3次元仮想空間光源処理部1362jは、ボリュームデータに対してボリュームレンダリング処理を行なう際に、3次元仮想空間に設置する仮想光源の位置や、仮想光源の種類を決定する処理部である。仮想光源の種類としては、無限遠から平行な光線を照射する光源や、視点から放射状の光線を照射する光源等が挙げられる。
【0054】
3次元仮想空間レンダリング部1362kは、ボリュームデータに対してボリュームレンダリング処理を行ない、視差画像群を生成する。また、3次元仮想空間レンダリング部1362kは、ボリュームレンダリング処理を行なう際、必要に応じて、投影方法設定部1362a、3次元幾何変換処理部1362b、3次元物体アピアランス処理部1362fにより決定された各種情報を用いる。
【0055】
ここで、3次元仮想空間レンダリング部1362kによるボリュームレンダリング処理は、レンダリング条件に従って行なわれることになる。例えば、レンダリング条件は、「平行投影法」又は「透視投影法」である。また、例えば、レンダリング条件は、「基準の視点位置及び視差角」である。また、例えば、レンダリング条件は、「視点位置の平行移動」、「視点位置の回転移動」、「視差画像群の拡大」、「視差画像群の縮小」である。また、例えば、レンダリング条件は、「着色される色彩」、「透過度」、「質感」、「仮想光源の位置」、「仮想光源の種類」である。このようなレンダリング条件は、入力部131を介して操作者から受け付ける場合や、初期設定される場合が考えられる。いずれの場合も、3次元仮想空間レンダリング部1362kは、制御部135からレンダリング条件を受け付け、このレンダリング条件に従って、ボリュームデータに対するボリュームレンダリング処理を行なう。また、このとき、上記した投影方法設定部1362a、3次元幾何変換処理部1362b、3次元物体アピアランス処理部1362fが、このレンダリング条件に従って必要な各種情報を決定するので、3次元仮想空間レンダリング部1362kは、決定されたこれらの各種情報を用いて視差画像群を生成する。
【0056】
図6は、第1の実施形態に係るボリュームレンダリング処理の一例を説明するための図である。例えば、3次元仮想空間レンダリング部1362kが、図6の「9視差画像生成方式(1)」に示すように、レンダリング条件として、平行投影法を受け付け、更に、基準の視点位置(5)と視差角「1度」とを受け付けたとする。かかる場合、3次元仮想空間レンダリング部1362kは、視差角が「1度」おきとなるように、視点の位置を(1)〜(9)に平行移動して、平行投影法により視差角(視線方向間の角度)が1度ずつ異なる9つの視差画像を生成する。なお、平行投影法を行なう場合、3次元仮想空間レンダリング部1362kは、視線方向に沿って無限遠から平行な光線を照射する光源を設定する。
【0057】
或いは、3次元仮想空間レンダリング部1362kが、図6の「9視差画像生成方式(2)」に示すように、レンダリング条件として、透視投影法を受け付け、更に、基準の視点位置(5)と視差角「1度」とを受け付けたとする。かかる場合、3次元仮想空間レンダリング部1362kは、ボリュームデータの中心(重心)を中心に視差角が「1度」おきとなるように、視点の位置を(1)〜(9)に回転移動して、透視投影法により視差角が1度ずつ異なる9つの視差画像を生成する。なお、透視投影法を行なう場合、3次元仮想空間レンダリング部1362kは、視線方向を中心に光を3次元的に放射状に照射する点光源や面光源を各視点にて設定する。また、透視投影法を行なう場合、レンダリング条件によっては、視点(1)〜(9)は、平行移動される場合であってもよい。
【0058】
なお、3次元仮想空間レンダリング部1362kは、表示されるボリュームレンダリング画像の縦方向に対しては、視線方向を中心に光を2次元的に放射状に照射し、表示されるボリュームレンダリング画像の横方向に対しては、視線方向に沿って無限遠から平行な光線を照射する光源を設定することで、平行投影法と透視投影法とを併用したボリュームレンダリング処理を行なってもよい。
【0059】
このようにして生成された9つの視差画像が、視差画像群である。第1の実施形態において、9つの視差画像は、例えば制御部135により所定フォーマット(例えば格子状)に配置した中間画像に変換され、立体表示モニタとしての表示部132に出力される。すると、ワークステーション130の操作者は、立体表示モニタに表示された立体視可能な医用画像を確認しながら、視差画像群生成のための操作を行なうことができる。
【0060】
なお、図6の例では、レンダリング条件として、投影方法、基準の視点位置及び視差角を受け付けた場合を説明したが、レンダリング条件として、他の条件を受け付けた場合も同様に、3次元仮想空間レンダリング部1362kは、それぞれのレンダリング条件を反映しつつ、視差画像群を生成する。
【0061】
また、3次元仮想空間レンダリング部1362kは、ボリュームレンダリングだけでなく、任意の平面(例えば、アキシャル面、サジタル面、コロナル面など)の平面画像を再構成する。例えば、3次元仮想空間レンダリング部1362kは、断面再構成法(MPR:Multi Planer Reconstruction)を行なってボリュームデータからMPR画像を再構成する。なお、3次元仮想空間レンダリング部1362kは、「Curved MPR」を行なう機能や、「Intensity Projection」を行なう機能も有する。
【0062】
続いて、3次元画像処理部1362がボリュームデータから生成した視差画像群は、アンダーレイ(Underlay)とされる。そして、各種情報(目盛り、患者名、検査項目等)が描出されたオーバーレイ(Overlay)がアンダーレイに対して重畳されることで、出力用の2次元画像とされる。2次元画像処理部1363は、オーバーレイ及びアンダーレイに対して画像処理を行なうことで、出力用の2次元画像を生成する処理部であり、図5に示すように、2次元物体描画部1363a、2次元幾何変換処理部1363b及び輝度調整部1363cを有する。例えば、2次元画像処理部1363は、出力用の2次元画像の生成処理に要する負荷を軽減するために、9枚の視差画像(アンダーレイ)のそれぞれに対して1枚のオーバーレイを重畳することで、出力用の2次元画像を9枚、生成する。
【0063】
2次元物体描画部1363aは、オーバーレイに描出される各種情報を描画する処理部であり、2次元幾何変換処理部1363bは、オーバーレイに描出される各種情報の位置を平行移動処理又は回転移動処理したり、オーバーレイに描出される各種情報の拡大処理又は縮小処理したりする処理部である。
【0064】
また、輝度調整部1363cは、輝度変換処理を行なう処理部であり、例えば、出力先の立体表示モニタの諧調や、ウィンドウ幅(WW:Window Width)、ウィンドウレベル(WL:Window Level)等の画像処理用のパラメータに応じて、オーバーレイ及びアンダーレイの輝度を調整する処理部である。
【0065】
このようにして生成された出力用の2次元画像は、例えば制御部135により一旦記憶部134に格納され、その後、通信部133を介して画像保管装置120に送信される。例えば、端末装置140が、画像保管装置120からこの出力用の2次元画像を取得し、所定フォーマット(例えば格子状)に配置した中間画像に変換した上で立体表示モニタに表示すると、観察者である医師や検査技師は、各種情報(目盛り、患者名、検査項目等)が描出された状態で、立体視可能な医用画像を閲覧することができる。
【0066】
以上、第1の実施形態に係る画像表示システム1及びワークステーション130の構成について説明した。かかる構成のもと、第1の実施形態に係るワークステーション130は、以下、詳細に説明する制御部135及び表示部132の処理により、立体視可能な3次元の画像と、2次元の画像とを状況に応じて表示することが可能となるように構成されている。具体的には、第1の実施形態に係るワークステーション130は、画像が再構成された際の情報(例えば、立体視可能な3次元の画像として再構成が行われた旨の情報)や、操作者が所望する表示方法に応じて、3次元の画像と2次元の画像とを切替えて表示する。なお、以下では、まず、画像が再構成された際の情報を用いて切替える場合について説明した後、操作者が所望する表示方法に応じて切替える場合について説明する。また、以下では、立体視可能な3次元の画像を立体視画像、2次元の画像を平面画像と記す場合がある。
【0067】
まず、画像が再構成された際の情報を用いて3次元の画像と2次元の画像とを切替えて表示する場合について説明する。図7は、第1の実施形態に係る表示部132及び制御部135の構成例を説明するための図である。図7に示すように、表示部132は、切替え部1321を有する。また、図7に示すように、制御部135は、表示情報付与部1351と、切替え制御部1352と、表示制御部1353と、選択領域受付け部1354とを有する。
切替え部1321は、後述する切替え制御部1352の制御に応じて、表示部132を立体視用又は平面視用に切替える。具体的には、切替え部1321は、表示面に設けられたレンチキュラーレンズ層により与えられる光の指向性を増減させることにより、表示部132を立体視用又は平面視用に切替える。
【0068】
図8は、第1の実施形態に係る切替え部1321の構成の一例を説明するための図である。例えば、切替え部1321は、図8に示すように、光(画像)を出力させる液晶210の表示面200に液晶レンズ部400として設けられ、レンチキュラーレンズ層により与えられる光の指向性を増減させることで、表示部132を立体視用又は平面視用に切替える。液晶レンズ部400は、図8に示すように、レンチキュラーレンズ層410と、液晶部420とを有し、液晶部420がレンチキュラーレンズ層410と表示面200とによって挟まれるように表示面200に設置される。
【0069】
レンチキュラーレンズ層410は、レンズ形状のレンチキュラーレンズを有する。そして、レンチキュラーレンズ層410は、一般的な樹脂によって形成されるレンズ上部(レンチキュラーレンズの上側部分)と液晶が固化された状態で封入されているレンズ下部(レンチキュラーレンズの下側の空壁部分)とを有する。ここで、レンチキュラーレンズ層410のレンズ下部には、ナノレベルの線状構造で特定方向に整列された液晶が封入される。例えば、図8に示すように、レンズ下部の液晶411は、半円柱状のレンチキュラーレンズの円柱方向にナノレベルの線状構造をとり、複数の線状構造が縦方向(図8の上下方向)に整列されるように封入される。
【0070】
液晶部420は、図8に示すように、液晶が電極基板421に挟まれて形成される。ここで、図8の422及び423は、電極基板421に挟まれた液晶に表示面200の方向から入射された光の偏光方向を示す。具体的には、図8の422は、電圧が印加された状態の液晶に光が入射することで、光の偏光方向に変化がない様子を示す。一方、図8の423は、電圧が印加されていない状態の液晶に光が入射することで、光の偏光方向が90度回転した様子を示す。
【0071】
切替え部1321は、図8に示す電極基板421から印加される電圧を制御して、レンチキュラーレンズ層により与えられる光の指向性を増減させることで、表示部132を平面視用又は立体視用に切替える。例えば、後述する切替え制御部1252から平面視用に切替えるように制御された場合には、切替え部1321は、電圧基板に電圧を印加させる。すなわち、表示面200から入射される光の偏光方向は、図8の422に示すように、変化せず、縦方向の状態でレンズに入射されることとなり、レンズ内の液晶411の整列方向である縦方向と等しくなる。その結果、光の進行速度が変化せず、レンズ下部とレンズ上部との間で屈折率に差がなくなり、光が直進するようになる。すなわち、切替え部1321は、電圧基板に電圧を印加させることで、光の指向性を減少させた平面視用の表示部132に切替える。
【0072】
そして、例えば、後述する切替え制御部1252から立体視用に切替えるように制御された場合には、切替え部1321は、電圧基板に対する電圧の印加を停止させる。すなわち、表示面200から入射される光の偏光方向は、図8の423に示すように、90度回転(横方向に変化)した状態でレンズに入射されることとなり、レンズ内の液晶411の整列方向である縦方向と直交するようになる。その結果、光の進行速度が低下し、レンズ下部とレンズ上部との間で屈折率に差が生じ、光が屈折するようになる。すなわち、切替え部1321は、電圧基板に対する電圧の印加を停止することで、光の指向性を増加させた立体視用の表示部132に切替える。
【0073】
図7に戻って、表示情報付与部1351は、立体視用の画像及び平面視用の画像に、それぞれ立体視用及び平面視用を特定するための情報を付与する。具体的には、表示情報付与部1351は、医用画像診装置110によって生成されたボリュームデータ、或いは、レンダリング処理部136によって生成された視差画像群に対して、表示情報として立体視用の画像であることを示す表示情報を付与する。また、表示情報付与部1351は、レンダリング処理部136によって生成された平面画像に対して、表示情報として平面視用の画像であることを示す表示情報を付与する。
【0074】
図9は、第1の実施形態に係る表示情報付与部1351による処理の一例を模式的に示す図である。図9に示すように、表示情報付与部1351は、立体視用の画像に対して、表示情報「立体視用画像データ」を付与する。ここで、表示情報「立体視用画像データ」を付与する3次元データは、ボリュームデータに付与する場合であってもよいし、レンダリング処理部136によってボリュームデータから生成された視差画像群であってもよい。また、表示情報付与部1351は、レンダリング処理部136によって再構成された平面視用の画像に対して、表示情報「平面視用画像データ」を付与する。そして、表示情報付与部1351は、表示情報を付与した画像データを記憶部134に格納する。表示情報の付与の方法としては、例えば、立体視用及び平面視用を特定するための情報を、付帯情報としてDICOMのタグに付与する方法が挙げられる。
【0075】
切替え制御部1352は、画像の情報に基づいて、表示部132に表示させる画像が立体視用の画像であるか又は平面視用の画像であるかを判定し、判定結果に応じて、表示部132を立体視用又は平面視用に切替えるように制御する。具体的には、切替え制御部1352は、表示情報付与部1351によって付与された識別子に基づいて、表示部132を立体視用又は平面視用に切替えるように切替え部1321を制御する。より具体的には、切替え制御部1352は、記憶部134によって記憶された画像データが読み出される場合に、読み出し要求の対象となる画像データに付与された表示情報に基づいて、表示部132を立体視用又は平面視用に切替えるように切替え部1321を制御する。例えば、切替え制御部1352は、切替え部1321における電圧の印加を制御することで、レンチキュラーレンズ層により与えられる光の指向性を増減させ、表示部132を立体視用又は平面視用に切替える。
【0076】
例えば、表示の対象となる画像データに付与された表示情報が平面視用であった場合には、切替え制御部1352は、電圧基板に電圧を印加させるように切替え部1321を制御する。また、例えば、表示の対象となる画像データに付与された表示情報が立体視用であった場合には、切替え制御部1352は、電圧基板に対する電圧の印加を停止させるように切替え部1321を制御する。
【0077】
表示制御部1353は、立体視用の画像データ及び平面視用の画像データを表示部132に表示させるように制御する。具体的には、表示制御部1353は、入力部131を介して操作者から表示の要求を受付けた画像を表示部132に表示させる。例えば、表示制御部1353は、切替え部1321によって、立体視用に切替えられた表示部132に視差画像群を表示させることにより、立体視画像を表示させる。また、表示制御部1353は、切替え部1321によって、平面視用に切替えられた表示部132に平面画像を表示させる。
【0078】
ここで、第1の実施形態に係る表示部132においては、同一画面上に立体視画像と平面画像とを表示させることも可能である。図10は、第1の実施形態に係る表示部132における表示の一例を説明するための図である。例えば、図10の(A)に示すように、表示情報としてデータセット「患者リスト 東芝太郎 撮影1:立体視用画像データ 撮影2:平面視用画像データ」が付加されている場合には、表示部132は、図10の(B)に示すように、立体視用表示領域及び平面視用表示領域において、それぞれ立体視画像と平面画像とを表示する。かかる場合には、切替え制御部1352は、立体視用表示領域に対応する電極基板に対して電圧を印加しないように切替え部1321を制御し、平面視用表示領域に対応する電極基板に対して電圧を印加するように切替え部1321を制御する。そして、表示制御部1353は、立体視用表示領域に「撮影1:立体視用画像データ」を表示させ、平面視用表示領域に「撮影2:平面視用画像データ」を表示させる。
【0079】
次に、操作者が所望する表示方法に応じて3次元の画像と2次元の画像とを切替えて表示する場合について説明する。図7に戻って、選択領域受付け部1354は、表示部132によって表示されている立体視用の画像又は平面視用の画像における任意の領域の設定を受け付ける。具体的には、選択領域受付け部1354は、表示部132によって表示された立体視用の画像又は平面視用の画像に対して、操作者によって設定される領域に関する情報を受付ける。図11は、第1の実施形態に係る選択領域受付け部1354の処理の一例を説明するための図である。例えば、選択領域受付け部1354は、図11に示すように、立体視用表示領域に対して設定された選択領域に関する情報を受付ける。一例を挙げると、選択領域受付け部1354は、選択領域に関する情報として、選択領域に対応する位置の電極基板の情報と、選択領域内に表示されている立体視画像の座標情報とを受付ける。なお、選択領域受付け部1354によって受付けられる選択領域の設定は、マウスなどの任意のポインティングデバイスを用いて実行される。
【0080】
選択領域受付け部1354によって選択領域に関する情報が受付けられると、切替え制御部1352は、選択領域に対応する位置の電極基板に対する電圧の印加の有無を制御する。例えば、図11に示すように、立体視用表示領域に対して選択領域が設定されると、当該選択領域に対応する位置の電極基板に対して電圧を印加させるように切替え部1321を制御する。
【0081】
また、選択領域受付け部1354によって選択領域に関する情報が受付けられると、表示制御部1353は、選択領域内に表示されている立体視画像の座標情報に基づいて、当該座標に相当する位置の平面画像を表示させる。例えば、表示制御部1353は、選択領域内に表示されている立体視画像の座標に相当する位置の平面画像を当該選択領域に表示させる。
【0082】
ここで、切替え制御部1352は、選択領域受付け部1354によって受付けられた選択領域を平面視用に切替える場合に、当該選択領域の大きさを変更することが可能である。また、表示制御部1353は、切替え制御部1352によって変更された任意の領域の大きさに応じて、平面視用の画像の大きさを変更して表示させることも可能である。例えば、切替え制御部1352は、図11に示す選択領域よりも大きな領域に対応する電極基板に対して電圧を印加するように切替え部1321を制御して、選択領域よりも大きな領域を表示領域として平面視用に切替える。そして、表示制御部1353は、切替え制御部1352によって平面視用に切替えられた表示領域に合わせて平面画像を拡大して表示させる。
【0083】
なお、表示制御部1353は、選択領域の大きさを変化しなかった場合にも、平面画像を拡大して表示させることも可能である。また、選択領域内に表示させる平面画像は、既に再構成された断面画像やMPR画像を用いる場合であってもよいし、選択領域が設定された後に新たに再構成する場合であってもよい。また、上記した例では、立体視用表示領域に選択領域が設定され、平面画像を表示する場合について説明したが、開示の技術はこれに限定されるものではなく、平面視用表示領域に選択領域が設定され、立体視画像を表示する場合であってもよい。
【0084】
次に、図12を用いて、第1の実施形態に係るワークステーション130の処理について説明する。図12は、第1の実施形態に係るワークステーション130による処理の手順を示すフローチャートである。図12に示すように、第1の実施形態に係るワークステーション130においては、レンダリング処理部136によって画像データが生成されると(ステップS101肯定)、表示情報付与部1351は、生成された画像データに対して表示情報を付与して記憶部134に格納する(ステップS102)。
【0085】
そして、画像データの読み出し要求を受付けると(ステップS103肯定)、切替え制御部1352は、読み出し要求を受付けた画像データに付与された表示情報に基づいてレンチキュラーレンズ層を変化させる(ステップS104)。具体的には、切替え制御部1352は、画像データに付与された表示情報が立体視用である場合には、レンチキュラーレンズ層をレンズ形状に変化させるように切替え部1321を制御し、画像データに付与された表示情報が平面視用である場合には、レンチキュラーレンズ層を平面形状に変化させるように切替え部1321を制御する。
【0086】
続いて、表示制御部1353は、読み出し要求を受付けた画像を表示部132に表示させる(ステップS105)。そして、選択領域受付け部1354が、選択領域を受付けた場合には(ステップS106肯定)、ステップS104に戻って、切替え制御部1352が、現時点で表示部132によって表示されている画像データの表示情報に基づいて、レンチキュラーレンズ層を変化させるように切替え部1321を制御する。一方、選択領域を受け付けていない場合には(ステップS106否定)、ワークステーション130は処理を終了する。
【0087】
上記したように、第1の実施形態によれば、切替え制御部1352は、画像の情報に基づいて、表示部132に表示させる画像が立体視用の画像であるか又は平面視用の画像であるかを判定し、判定結果に応じて、表示部132を立体視用又は平面視用に切替えるように制御する。そして、切替え部1321は、切替え制御部1352の制御に応じて、表示部132を立体視用又は平面視用に切替える。従って、第1の実施形態に係るワークステーション130は、立体視可能な3次元の画像と、2次元の画像とを状況に応じて表示することを可能にする。
【0088】
また、第1の実施形態によれば、表示情報付与部1351は、医用画像診断装置110によって生成されたボリュームデータ、レンダリング処理部136によって生成された立体視用の画像及び平面視用の画像に、立体視用及び平面視用を特定するための情報を付与する。そして、切替え制御部1352は、情報付与手段によって付与された情報に基づいて、表示部132を立体視用又は平面視用に切替えるように切替え部1321を制御する。従って、第1の実施形態に係るワークステーション130は、立体視用の画像及び平面視用の画像の表示を自動で切替えることができ、立体視可能な3次元の画像と、2次元の画像とを状況に応じて表示することを可能にする。
【0089】
例えば、第1の実施形態に係るワークステーション130においては、操作者が表示させたい臨床データが立体視用の画像データなのか、平面視用の画像データが分からない場合であっても、画像データを選択するだけで自動的に立体視画像又は平面画像を表示させることが可能である。
【0090】
また、第1の実施形態によれば、選択領域受付け部1354は、表示部132によって表示されている立体視用の画像又は平面視用の画像における任意の領域の設定を受け付ける。そして、切替え制御部1352は、表示部132において、選択領域受付け部1354によって受付けられた任意の領域に相当する表示領域を立体視用又は平面視用に切替えるように切替え部1321を制御する。従って、第1の実施形態に係るワークステーション130は、操作者が所望する領域内に立体視可能な3次元の画像又は2次元の画像を表示させることを可能にする。
【0091】
また、第1の実施形態によれば、切替え制御部1352は、選択領域受付け部1354によって受付けられた任意の領域に相当する表示領域を平面視用に切替える場合に、当該任意の領域の大きさを変更する。また、表示制御部1353は、切替え制御部1352によって変更された任意の領域の大きさに応じて、平面視用の画像の大きさを変更して表示させる。従って、第1の実施形態に係るワークステーション130は、立体視用の画像から平面視用の画像に切替える場合に表示される画像を調整することができ、操作者に対して観察しやすい画像を表示させることを可能にする。例えば、9視差のモニタに平面画像を単純に表示させた場合には、画像の大きさが9分の1になってしまい、観察することが困難になる。第1の実施形態に係るワークステーション130は、このような場合にも観察に最適な平面画像を表示させることが可能である。
【0092】
また、第1の実施形態によれば、表示部132は、立体視用の画像又は平面視用の画像を表示する表示面にレンチキュラーレンズ層を有する。そして、切替え部1321は、表示部132の表示面に設けられたレンチキュラーレンズ層により与えられる光の指向性を増減させることにより、表示部132を立体視用又は平面視用に切替える。従って、第1の実施形態に係るワークステーション130は、既存の技術を利用して立体視用の画像及び平面視用の画像の表示を自動で切替えることができ、立体視可能な3次元の画像と、2次元の画像との状況に応じた表示を容易に実現することを可能にする。
【0093】
(第2の実施形態)
第2の実施形態では、操作者が、2次元/3次元のアイコンを利用した操作画面を介して各種入力処理を実行し、それに応じて表示部132を立体視用又は平面視用に切替える例について説明する。
【0094】
図13は、第2の実施形態に係る表示部132によって表示される操作画面の第1の例を説明するための図である。例えば、表示部132は、図13に示すように、表示領域A、表示領域B、表示領域C、及びサムネイル領域を含む操作画面を表示する。ここで、図13に示す5つのサムネイルアイコンは、記憶部134によって記憶された5種類の医用画像データのサムネイルアイコンを示す。そして、図13のサムネイルアイコンは、それぞれの医用画像データが立体視可能な画像として表示できるデータか否かを示す。
【0095】
例えば、図13のサムネイルアイコンのうち、立体的に表示されたサムネイルアイコンは、記憶部134によって記憶された医用画像データがボリュームデータであり、当該ボリュームデータに立体視用の画像であることを示す表示情報が付与されていることを示す。また、例えば、図13のサムネイルアイコンのうち、複数枚の画像が重ねて表示されたサムネイルアイコンは、記憶部134によって記憶された医用画像データが視差画像群(例えば、9視差画像)であり、当該視差画像群に立体視用の画像であることを示す表示情報が付与されていることを示す。また、例えば、図13のサムネイルアイコンのうち、平面的に表示されたサムネイルアイコンは、記憶部134によって記憶された医用画像データが2次元画像であり、当該2次元画像に平面視用の画像であることを示す表示情報が付与されていることを示す。
【0096】
そして、図13に示す表示領域A〜Cは、サムネイル領域に表示されたサムネイルアイコンから操作者によって選択されたサムネイルアイコンの医用画像データを表示する領域を示す。例えば、操作者は、マウスを用いて、サムネイル領域に表示された5つのサムネイル画像のいずれかを表示領域A〜Cにドラッグ&ドロップ (drag and drop)することで、表示領域A〜Cに画像を表示させる。
【0097】
一例を挙げると、操作者が、立体的に表示されたサムネイルアイコン、或いは、複数枚の画像が重ねて表示されたサムネイルアイコンを表示領域Aにドラッグ&ドロップすると、切替え制御部1352は、表示領域Aに対応する位置の電極基板に対して電圧を印加しないように切替え部1321を制御することで、表示領域Aを立体視用の表示領域に切替える。一方、操作者が、平面的に表示されたサムネイルアイコンを表示領域Bにドラッグ&ドロップすると、切替え制御部1352は、表示領域Bに対応する位置の電極基板に対して電圧を印加するように切替え部1321を制御することで、表示領域Bを平面視用の表示領域に切替える。
【0098】
さらに、図13に示された操作画面では、表示領域に表示された立体視画像を平面視画像に切替えるための操作も行うことが可能である。図14は、第2の実施形態に係る表示部132によって表示される操作画面の第2の例を説明するための図である。ここで、図14は、図13に示す操作画面において、立体的に表示されたサムネイルアイコンが表示領域Aにドラッグ&ドロップされた後の操作について示す。
【0099】
例えば、操作者は、表示領域Aに示された立体視画像上で右クリックすると、表示制御部1353は、図14に示すように、「Axial(アキシャル)」と、「Sagi(サジタル:Sagittal)」と、「Col(コロナル:coronal)」とを含む「2D(dimensions:次元)」の選択項目と、「3D」の選択項目とを表示する。操作者は、操作画面に表示された選択項目から所望する項目を選択する。例えば、操作者が、「2D」の「Axial」を選択すると、レンダリング処理部136は、記憶部134から該当するボリュームデータを読み出し、読み出したボリュームデータからアキシャル面の2次元画像(例えば、MPR画像)を生成する。
【0100】
同時に、切替え制御部1352は、表示領域Aを平面視用に切替えるように、切替え部1321を制御する。そして、表示制御部1353は、レンダリング処理部136によって生成された2次元画像を平面視用に切替えられた表示領域Aに表示させる。上記したように、記憶部134にボリュームデータが記憶されている場合には、ワークステーション130は、ボリュームデータから高精細な2次元画像を再レンダリングして表示させる。
【0101】
一方、図13に示す操作画面において、複数枚の画像で表示されたサムネイルアイコンが表示領域にドラッグ&ドロップされることで表示された立体視画像を平面視画像に切替える場合には、表示制御部1353は、記憶部134によって記憶された視差画像群を2次元画像用に表示させる。例えば、表示制御部1353は、記憶部134によって記憶された9視差画像のうちの1枚を9つの画素すべてに表示させる。或いは、表示制御部1353は、記憶部134によって記憶された9視差画像のうちの1枚を9画素分の大きさに拡大し、拡大した画像を9つに分割して、9つの画素それぞれに表示させる。このようにすることで、表示領域に表示される平面視画像を高精細にすることが可能である。
【0102】
ここで、操作者が複数枚の画像で表示されたサムネイルアイコンが表示領域にドラッグ&ドロップすることで表示された立体視画像上で右クリックした場合には、記憶部134によって記憶された視差画像群の断面と「3D」のみが選択可能となる。例えば、図14に示す選択項目において、「2D」の「Axial」及び「3D」のみが選択可能となる。一例を挙げると、表示制御部1353は、「Axial」及び「3D」を選択可能な項目として黒色の文字で表示し、「Sagi」及び「Col」を選択不可能な項目として灰色の文字で表示する。
【0103】
なお、操作者が平面的に表示されたサムネイルアイコンをドラッグ&ドロップすることで表示された平面視画像上で右クリックした場合には、記憶部134によって記憶された2次元画像の断面のみが選択可能となる。例えば、図14に示す選択項目において、「2D」の「Axial」のみが選択可能となる。すなわち、選択項目において、他の断面の画像又は立体視画像への切替えが実行できないことが示されることとなる。
【0104】
また、上記したように、立体視画像から平面視画像へ切替えられた場合に、再度、立体視画像に戻すことも可能である。すなわち、操作者が平面視画像上で右クリックすることで、再度選択項目を表示させ、「3D」を選択することで、立体視画像を再表示させることが可能である。かかる場合には、切替え制御部1352は、表示領域を立体視用に切替えるように切替え部1321を制御する。
【0105】
また、上記した例では、ドラッグ&ドロップされたサムネイルアイコンの医用画像データに基づいて表示領域A〜Cを立体視用又は平面視用に切替える場合について説明した。しかしながら、表示領域A〜Cを予め立体視用又は平面視用に設定することも可能である。例えば、図13に示す表示領域Aを立体視用表示領域、表示領域Bを平面視用表示領域として予め設定することが可能である。かかる場合に、立体的に表示されたサムネイルアイコン又は複数枚の画像で表示されたサムネイルアイコンが、平面視用の表示領域Bにドラッグ&ドロップされると、表示制御部1353は、平面視用の2次元画像を表示領域Bに表示させる。
【0106】
次に、図15を用いて、第2の実施形態に係るワークステーション130の処理について説明する。図15は、第2の実施形態に係るワークステーション130による処理の手順を示すフローチャートである。なお、図15においては、操作画面にサムネイルアイコンを表示した後の処理について示す。図15に示すように、第2の実施形態に係るワークステーション130においては、サムネイルアイコンがドラッグ&ドロップされると(ステップS201肯定)、切替え制御部1352は、サムネイルアイコンに対応する医用画像データが立体視表示が可能であるか否かを判定する(ステップS202)。
【0107】
ここで、サムネイルアイコンに対応する医用画像データが立体視表示が可能である場合には(ステップS202肯定)、切替え制御部1352は、表示領域を立体視用に切替えるように切替え部1321を制御する(ステップS203)。一方、サムネイルアイコンに対応する医用画像データが立体視表示が可能ではない場合には(ステップS202否定)、切替え制御部1352は、表示領域を平面視用に切替えるように切替え部1321を制御する(ステップS205)。
【0108】
そして、表示制御部1353は、切替え部1321によって切替えられた表示領域に立体視画像又は平面視画像を表示させる。続いて、切替え制御部1352は、操作画面を介して表示する画像の切替えを受付けたか否かを判定する(ステップS206)。ここで、表示する画像の切替えを受付けた場合には(ステップS206肯定)、切替え制御部1352は、立体視画像から平面視画像への切替えか否かを判定する(ステップS207)。
【0109】
ここで、立体視画像から平面視画像への切替えである場合には(ステップS207肯定)、切替え制御部1352は、表示画面を平面視用に切替えるように切替え部1321を制御する(ステップS208)。そして、表示制御部1353は、記憶部134によって記憶されたデータがボリュームデータであるか否かを判定する(ステップS209)。
【0110】
ここで、記憶されたデータがボリュームデータである場合には(ステップS209肯定)、レンダリング処理部136がボリュームデータから選択された断面の高精細な2次元画像を再レンダリングし、表示制御部1353が再レンダリングされた平面視画像を平面視用に切替えられた表示領域に表示させる(ステップS210)。一方、記憶されたデータがボリュームデータではない場合には(ステップS209否定)、表示制御部1353は、視差画像郡のうちの1枚を平面視用に切替えられた表示領域に表示させる(ステップS211)。例えば、表示制御部1353は、視差画像群のうちの1枚を9つの画素すべてに表示させる、或いは、視差画像群のうちの1枚を9つの画素の大きさに拡大し、拡大した画像を9つに分割して、9つの画素それぞれに表示させる。
【0111】
一方、ステップS207において、立体視画像から平面視画像への切替えではない場合には(ステップS207否定)、切替え制御部1352は、切替えを受付けた平面視画像のデータが立体視可能なデータであるか否かを判定する(ステップS212)。ここで、立体視可能なデータである場合には(ステップS212肯定)、切替え制御部1352は、表示領域を立体視用に切替えるように切替え部1321を制御する(ステップS213)。そして、表示制御部1353は、切替え部1321によって立体視用に切替えられた表示領域に立体視画像を表示させる(ステップS214)。
【0112】
そして、表示する画像の切替えを受け付けない場合(ステップS206否定)、平面視画像から立体視画像への切替えに際してデータが立体視可能なデータではない場合(ステップS212否定)、平面視画像又は立体視画像を表示させた(ステップS210、ステップS211及びステップS214)後、表示制御部1353は、画像の表示を終了させるための終了操作を受付けたか否かを判定する(ステップS215)。
【0113】
ここで、終了操作を受付けていない場合には(ステップS215否定)、表示制御部1353は、ステップS205に戻って、表示領域に立体視画像又は平面視画像を継続して表示させる。一方、終了操作を受付けた場合には(ステップS215肯定)、第2の実施形態に係るワークステーション130は、処理を終了する。
【0114】
上記したように、第2の実施形態によれば、表示制御部1353は、画像を表示するための表示領域と、表示情報付与部1351によって付与された情報が示された画像ごとのサムネイルアイコンとを含む操作画面を表示部132に表示させる。そして、切替え制御部1352は、サムネイルアイコンを用いて表示領域に表示させる画像が選択された場合に、選択された画像に付与された情報に基づいて、当該表示領域を立体視用又は平面視用に切替えるように制御する。従って、第2の実施形態に係るワークステーション130は、操作者が利用しやすい操作画面を提供することを可能にする。
【0115】
また、第2の実施形態によれば、切替え制御部1352は、操作画面において、表示領域に表示された立体視用の画像から平面視用の画像への切替え処理、及び、平面視用の画像から立体視用の画像への切替え処理を受付け、受付けた処理に応じて当該表示領域を平面視用又は立体視用に切替えるように制御する。そして、レンダリング処理部136及び表示制御部1353は、切替え制御部1352によって受付けられた処理が立体視用の画像から平面視用の画像への切替え処理であった場合に、高精細な平面視用の画像を生成する。そして、表示制御部1353は、当該画像を表示領域に表示させる。従って、第2の実施形態に係るワークステーション130は、操作者に対して観察しやすい平面視画像を提供することを可能にする。
【0116】
(第3の実施形態)
さて、これまで第1及び第2の実施形態について説明したが、上記した第1及び第2の実施形態以外にも、種々の異なる形態にて実施されてよいものである。
【0117】
上記実施形態においては、画像データに情報を付与し、付与した情報を基づいて、表示部132を平面視用又は立体視用に切替える場合について説明した。しかしながら、開示の技術はこれに限定されるものではなく、例えば、画像データに付与された既存の情報に基づいて、表示部132を平面視用又は立体視用に切替える場合であってもよい。例えば、DICOMのタグの付帯情報に基づいて表示部132を平面視用又は立体視用に切替える場合であってもよい。一例を挙げると、付帯情報としてボリュームデータである旨の情報があった場合には、切替え部1352は、表示部132を立体視用に切替える。
【0118】
上記実施形態においては、ワークステーション130が、ボリュームデータから立体視画像及び平面画像を生成し、生成した画像を表示する場合について説明した。しかしながら、開示の技術がこれに限定されるものではなく、例えば、医用画像診断装置110がボリュームデータから立体視画像及び平面画像を生成し、生成した画像を表示する場合であってもよい。また、医用画像診断装置110又はワークステーション130がボリュームデータから立体視画像及び平面画像を生成し、端末装置140が、画像を表示する場合であってもよい。かかる場合には、医用画像診断装置110又はワークステーション130によって表示情報が付与された後、画像保管装置120に格納され、端末装置140は、画像保管装置120から読み出した画像データに付与された表示情報に基づいて立体視画像又は平面画像を表示する。
【0119】
また、上記実施形態においては、端末装置140は、画像保管装置120から取得した医用画像等を表示等するものとして説明した。しかしながら、開示の技術はこれに限定されるものではなく、例えば、端末装置140は、医用画像診断装置110又はワークステーション130に直接接続される場合であってもよい。
【0120】
また、上記実施形態においては、ワークステーション130は、画像保管装置120からボリュームデータを取得し、このボリュームデータから立体視画像及び平面画像を生成する場合について説明した。しかしながら、開示の技術はこれに限定されるものではなく、例えば、ワークステーション130は、医用画像診断装置110からボリュームデータを取得し、このボリュームデータから立体視画像及び平面画像を生成する場合であってもよい。
【0121】
また、上記実施形態においては、液晶材料を用いて各画素から出力された光の偏光方向を変えることにより、表示部132を立体視用又は平面視用に切り替える場合について説明した。しかしながら、開示の技術はこれに限定されるものではなく、任意の方法により表示部132を立体視用又は平面視用に切り替える場合であってもよい。以下では、第1の実施形態にて説明した方法とは異なる方法で表示部132を立体視用又は平面視用に切り替える場合について説明する。
【0122】
図16は、第3の実施形態に係る切替え部1321の構成の一例を説明するための図である。例えば、第3の実施形態に係る切替え部1321においては、レンチキュラーレンズ層により与えられる光の指向性を増減させるために、レンチキュラーレンズ層331が、図16に示すように、ある屈折率を持った液体を封入した複数のセルそれぞれが電極332に挟まれて形成される。そして、表示の対象となる画像データに付与された表示情報が平面視用であった場合には、切替え部1321は、切替え制御部1352による制御のもと、図16に示すように、電極332に対して電圧を印加し、レンチキュラーレンズ層をレンズ形状111から平面形状112に変化させる。すなわち、切替え部1321は、光の指向性を減少させた平面視用の表示部132に切替える。一方、表示の対象となる画像データに付与された表示情報が立体視用であった場合には、切替え部1321は、切替え制御部1352による制御のもと、図16に示すように、電極332に対して放電を実行し、レンチキュラーレンズ層を平面形状112からレンズ形状111に変化させる。すなわち、切替え部1321は、光の指向性を増加させた立体視用の表示部132に切替える。
【0123】
また、上記実施形態においては、レンチキュラーレンズを挟む電極に対して印加、放電を行うことで、表示部132を立体視用と平面視用に切替える場合について説明した。しかしながら、開示の技術はこれに限定されるものではなく、例えば、レンチキュラーレンズと同一の屈折率でレンズ形状と反対の形状を有するフィルタを重ねることで、表示部132を立体視用と平面視用に切替える場合であってもよい。
【0124】
また、上記実施形態においては、平面視用又は立体視用の切り替え制御に液晶を用いる場合について説明した。しかしながら、開示の技術はこれに限定されるものではなく、例えば、ナノレベルの線状構造方向を電子的に切り替えることが可能なものであれば、どのようなものが用いられてもよい。
【0125】
以上説明したとおり、実施形態によれば、本実施形態の画像表示システム、装置、方法及び医用画像診断装置は、立体視可能な3次元の画像と、2次元の画像とを状況に応じて表示することを可能にする。
【0126】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【0127】
110 医用画像診断装置
120 画像保管装置
130 ワークステーション
132 表示部
1321 切替え部
135 制御部
1351 表示情報付与部
1352 切替え制御部
1353 表示制御部
1354 選択領域受付け部
140 端末装置
【技術分野】
【0001】
本発明の実施形態は、画像表示システム、装置、方法及び医用画像診断装置に関する。
【背景技術】
【0002】
従来、立体視用メガネ等の専用機器を用いて、2つの視点から撮影された2視差画像を立体視可能なモニタが実用化されている。また、近年、レンチキュラーレンズ等の光線制御子を用いて、複数の視点から撮影された多視差画像(例えば、9視差画像)を裸眼にて立体視可能なモニタが実用化されている。なお、立体視可能なモニタにて表示される2視差画像や9視差画像は、1視点から撮影された画像の奥行き情報を推定し、推定した情報を用いた画像処理により生成される場合もある。
【0003】
一方、X線CT(Computed Tomography)装置やMRI(Magnetic Resonance Imaging)装置、超音波診断装置等の医用画像診断装置では、3次元の医用画像データ(以下、ボリュームデータ)を生成可能な装置が実用化されている。従来、かかる医用画像診断装置により生成されたボリュームデータは、種々の画像処理により2次元画像とされ、汎用モニタ上にて2次元表示される。例えば、医用画像診断装置により生成されたボリュームデータは、ボリュームレンダリング処理により3次元の情報を反映した2次元画像とされ、汎用モニタ上にて2次元表示される。しかしながら、従来技術では、立体視可能な3次元の画像と、2次元画像とを状況に応じて表示することが困難であった。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2005−86414号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明が解決しようとする課題は、立体視可能な3次元の画像と、2次元の画像とを状況に応じて表示することができる画像表示システム、装置、方法及び医用画像診断装置を提供することである。
【課題を解決するための手段】
【0006】
実施形態の画像表示システムは、画像の表示を制御する制御装置と、前記制御装置の制御に基づいて画像を表示する表示装置とを備え、前記制御装置が判定手段と切替制御手段とを有する。判定手段は、前記画像の情報に基づいて、前記表示装置に表示させる画像が立体視用の画像であるか又は平面視用の画像であるかを判定する。切替え制御手段は、前記判定手段による判定結果に応じて、前記表示装置を立体視用又は平面視用に切替えるように制御する。
【図面の簡単な説明】
【0007】
【図1】図1は、第1の実施形態に係る画像表示システムの構成例を説明するための図である。
【図2】図2は、2視差画像により立体表示を行なう立体表示モニタの一例を説明するための図である。
【図3】図3は、9視差画像により立体表示を行なう立体表示モニタの一例を説明するための図である。
【図4】図4は、第1の実施形態に係るワークステーションの構成例を説明するための図である。
【図5】図5は、図4に示すレンダリング処理部の構成例を説明するための図である。
【図6】図6は、第1の実施形態に係るボリュームレンダリング処理の一例を説明するための図である。
【図7】図7は、第1の実施形態に係る表示部及び制御部の構成例を説明するための図である。
【図8】図8は、第1の実施形態に係る切替え部の構成の一例を説明するための図である。
【図9】図9は、第1の実施形態に係る表示情報付与部による処理の一例を模式的に示す図である。
【図10】図10は、第1の実施形態に係る表示部における表示の一例を説明するための図である。
【図11】図11は、第1の実施形態に係る選択領域受付け部の処理の一例を説明するための図である。
【図12】図12は、第1の実施形態に係るワークステーションによる処理の手順を示すフローチャートである。
【図13】図13は、第2の実施形態に係る表示部によって表示される操作画面の第1の例を説明するための図である。
【図14】図14は、第2の実施形態に係る表示部によって表示される操作画面の第2の例を説明するための図である。
【図15】図15は、第2の実施形態に係るワークステーションによる処理の手順を示すフローチャートである。
【図16】図16は、第3の実施形態に係る切替え部の構成の一例を説明するための図である。
【発明を実施するための形態】
【0008】
以下、添付図面を参照して、画像表示システム、装置、方法及び医用画像診断装置の実施形態を詳細に説明する。なお、以下では、画像表示装置としての機能を有するワークステーションを含む画像表示システムを実施形態として説明する。ここで、以下の実施形態で用いる用語について説明すると、「視差画像群」とは、ボリュームデータに対して、所定の視差角ずつ視点位置を移動させてボリュームレンダリング処理を行なうことで生成された画像群のことである。すなわち、「視差画像群」は、「視点位置」が異なる複数の「視差画像」から構成される。また、「視差角」とは、「視差画像群」を生成するために設定された各視点位置のうち隣接する視点位置とボリュームデータによって表される空間内の所定位置(例えば、空間の中心)とにより定まる角度のことである。また、「視差数」とは、立体表示モニタにて立体視されるために必要となる「視差画像」の数のことである。また、以下で記載する「9視差画像」とは、9つの「視差画像」から構成される「視差画像群」のことである。また、以下で記載する「2視差画像」とは、2つの「視差画像」から構成される「視差画像群」のことである。
【0009】
(第1の実施形態)
まず、第1の実施形態に係る画像表示システムの構成例について説明する。図1は、第1の実施形態に係る画像表示システムの構成例を説明するための図である。
【0010】
図1に示すように、第1の実施形態に係る画像表示システム1は、医用画像診断装置110と、画像保管装置120と、ワークステーション130と、端末装置140とを有する。図1に例示する各装置は、例えば、病院内に設置された院内LAN(Local Area Network)2により、直接的、又は間接的に相互に通信可能な状態となっている。例えば、画像表示システム1にPACS(Picture Archiving and Communication System)が導入されている場合、各装置は、DICOM(Digital Imaging and Communications in Medicine)規格に則って、医用画像等を相互に送受信する。
【0011】
かかる画像表示システム1は、医用画像診断装置110により生成された3次元の医用画像データであるボリュームデータから視差画像群を生成し、この視差画像群を立体視可能なモニタに表示することで、病院内に勤務する医師や検査技師に立体視可能な医用画像を提供する。具体的には、第1の実施形態においては、ワークステーション130が、ボリュームデータに対して種々の画像処理を行ない、視差画像群を生成する。また、ワークステーション130及び端末装置140が、立体視可能なモニタを有し、ワークステーション130にて生成された視差画像群をこのモニタに表示する。また、画像保管装置120は、医用画像診断装置110にて生成されたボリュームデータや、ワークステーション130にて生成された視差画像群を保管する。すなわち、ワークステーション130や端末装置140は、この画像保管装置120からボリュームデータや視差画像群を取得し、これを処理したり、モニタに表示したりする。以下、各装置を順に説明する。
【0012】
医用画像診断装置110は、X線診断装置、X線CT(Computed Tomography)装置、MRI(Magnetic Resonance Imaging)装置、超音波診断装置、SPECT(Single Photon Emission Computed Tomography)装置、PET(Positron Emission computed Tomography)装置、SPECT装置とX線CT装置とが一体化されたSPECT−CT装置、PET装置とX線CT装置とが一体化されたPET−CT装置、又はこれらの装置群等である。また、第1の実施形態に係る医用画像診断装置110は、3次元の医用画像データ(ボリュームデータ)を生成可能である。
【0013】
具体的には、第1の実施形態に係る医用画像診断装置110は、被検体を撮影することによりボリュームデータを生成する。例えば、医用画像診断装置110は、被検体を撮影することにより投影データやMR信号等のデータを収集し、収集したデータから、被検体の体軸方向に沿った複数のアキシャル面の医用画像データを再構成することで、ボリュームデータを生成する。例えば、医用画像診断装置110は、500枚のアキシャル面の医用画像データを再構成する。この500枚のアキシャル面の医用画像データ群が、ボリュームデータである。なお、医用画像診断装置110により撮影された被検体の投影データやMR信号等自体をボリュームデータとしても良い。
【0014】
また、第1の実施形態に係る医用画像診断装置110は、生成したボリュームデータを画像保管装置120に送信する。なお、医用画像診断装置110は、ボリュームデータを画像保管装置120に送信する際に、付帯情報として、例えば、患者を識別する患者ID、検査を識別する検査ID、医用画像診断装置110を識別する装置ID、医用画像診断装置110による1回の撮影を識別するシリーズID等を送信する。
【0015】
画像保管装置120は、医用画像を保管するデータベースである。具体的には、第1の実施形態に係る画像保管装置120は、医用画像診断装置110から送信されたボリュームデータを記憶部に格納し、これを保管する。また、第1の実施形態においては、ワークステーション130が、ボリュームデータから視差画像群を生成し、生成した視差画像群を画像保管装置120に送信する。このため、画像保管装置120は、ワークステーション130から送信された視差画像群を記憶部に格納し、これを保管する。なお、本実施形態は、大容量の画像を保管可能なワークステーション130を用いることで、図1に例示するワークステーション130と画像保管装置120とが統合される場合であっても良い。すなわち、本実施形態は、ワークステーション130そのものにボリュームデータもしくは視差画像群を記憶させる場合であっても良い。
【0016】
なお、第1の実施形態において、画像保管装置120に保管されたボリュームデータや視差画像群は、患者ID、検査ID、装置ID、シリーズID等と対応付けて保管される。このため、ワークステーション130や端末装置140は、患者ID、検査ID、装置ID、シリーズID等を用いた検索を行なうことで、必要なボリュームデータや視差画像群を画像保管装置120から取得する。
【0017】
ワークステーション130は、医用画像に対して画像処理を行なう画像処理装置である。具体的には、第1の実施形態に係るワークステーション130は、画像保管装置120から取得したボリュームデータに対して種々のレンダリング処理を行ない、視差画像群を生成する。視差画像群とは、複数の視点から撮影された複数の視差画像のことであり、例えば、9視差画像を裸眼にて立体視可能なモニタにて表示される視差画像群とは、視点位置が異なる9つの視差画像のことである。
【0018】
また、第1の実施形態に係るワークステーション130は、表示部として、立体視可能なモニタ(以下、立体表示モニタ)を有する。ワークステーション130は、視差画像群を生成し、生成した視差画像群を立体表示モニタに表示する。この結果、ワークステーション130の操作者は、立体表示モニタに表示された立体視可能な医用画像を確認しながら、視差画像群生成のための操作を行なうことができる。
【0019】
また、ワークステーション130は、生成した視差画像群を画像保管装置120に送信する。なお、ワークステーション130は、視差画像群を画像保管装置120に送信する際に、付帯情報として、例えば、患者ID、検査ID、装置ID、シリーズID等を送信する。また、視差画像群を画像保管装置120に送信する際に送信される付帯情報としては、視差画像群に関する付帯情報も挙げられる。視差画像群に関する付帯情報としては、視差画像の枚数(例えば、「9」)や、視差画像の解像度(例えば、「466×350画素」)等がある。
【0020】
端末装置140は、病院内に勤務する医師や検査技師に医用画像を閲覧させるための装置である。例えば、端末装置140は、病院内に勤務する医師や検査技師により操作されるPC(Personal Computer)やタブレット式PC、PDA(Personal Digital Assistant)、携帯電話等である。具体的には、第1の実施形態に係る端末装置140は、表示部として立体表示モニタを有する。また、端末装置140は、画像保管装置120から視差画像群を取得し、取得した視差画像群を立体表示モニタに表示する。この結果、観察者である医師や検査技師は、立体視可能な医用画像を閲覧することができる。
【0021】
ここで、ワークステーション130や端末装置140が有する立体表示モニタについて説明する。現在最も普及している一般的な汎用モニタは、2次元画像を2次元で表示するものであり、2次元画像を立体表示することができない。仮に、観察者が汎用モニタにて立体視を要望する場合、汎用モニタに対して画像を出力する装置は、平行法や交差法により観察者が立体視可能な2視差画像を並列表示させる必要がある。又は、汎用モニタに対して画像を出力する装置は、例えば、左目用の部分に赤色のセロハンが取り付けられ、右目用の部分に青色のセロハンが取り付けられたメガネを用いて余色法により観察者が立体視可能な画像を表示する必要がある。
【0022】
一方、立体表示モニタとしては、立体視用メガネ等の専用機器を用いることで、2視差画像(両眼視差画像とも称する)を立体視可能とするものがある。
【0023】
図2は、2視差画像により立体表示を行なう立体表示モニタの一例を説明するための図である。図2に示す一例は、シャッター方式により立体表示を行なう立体表示モニタであり、モニタを観察する観察者が装着する立体視用メガネとしてシャッターメガネが用いられる。かかる立体表示モニタは、モニタにて2視差画像を交互に出射する。例えば、図2の(A)に示すモニタは、左目用の画像と右目用の画像を、120Hzにて交互に出射する。ここで、モニタには、図2の(A)に示すように、赤外線出射部が設置され、赤外線出射部は、画像が切り替わるタイミングに合わせて赤外線の出射を制御する。
【0024】
また、赤外線出射部から出射された赤外線は、図2の(A)に示すシャッターメガネの赤外線受光部により受光される。シャッターメガネの左右それぞれの枠には、シャッターが取り付けられており、シャッターメガネは、赤外線受光部が赤外線を受光したタイミングに合わせて左右のシャッターそれぞれの透過状態及び遮光状態を交互に切り替える。以下、シャッターにおける透過状態及び遮光状態の切り替え処理について説明する。
【0025】
各シャッターは、図2の(B)に示すように、入射側の偏光板と出射側の偏光板とを有し、更に、入射側の偏光板と出射側の偏光板との間に液晶層を有する。また、入射側の偏光板と出射側の偏光板とは、図2の(B)に示すように、互いに直交している。ここで、図2の(B)に示すように、電圧が印加されていない「OFF」の状態では、入射側の偏光板を通った光は、液晶層の作用により90度回転し、出射側の偏光板を透過する。すなわち、電圧が印加されていないシャッターは、透過状態となる。
【0026】
一方、図2の(B)に示すように、電圧が印加された「ON」の状態では、液晶層の液晶分子による偏光回転作用が消失するため、入射側の偏光板を通った光は、出射側の偏光板で遮られてしまう。すなわち、電圧が印加されたシャッターは、遮光状態となる。
【0027】
そこで、例えば、赤外線出射部は、モニタ上に左目用の画像が表示されている期間、赤外線を出射する。そして、赤外線受光部は、赤外線を受光している期間、左目のシャッターに電圧を印加せず、右目のシャッターに電圧を印加させる。これにより、図2の(A)に示すように、右目のシャッターが遮光状態となり、左目のシャッターが透過状態となるため、観察者の左目に左目用の画像が入射する。一方、赤外線出射部は、モニタ上に右目用の画像が表示されている期間、赤外線の出射を停止する。そして、赤外線受光部は、赤外線が受光されない期間、右目のシャッターに電圧を印加せず、左目のシャッターに電圧を印加させる。これにより、左目のシャッターが遮光状態となり、右目のシャッターが透過状態であるため、観察者の右目に右目用の画像が入射する。このように、図2に示す立体表示モニタは、モニタに表示される画像とシャッターの状態を連動させて切り替えることで、観察者が立体視可能な画像を表示させる。なお、2視差画像を立体視可能な立体表示モニタとしては、上記のシャッター方式以外にも、偏光メガネ方式を採用したモニタも知られている。
【0028】
更に、近年実用化された立体表示モニタとしては、レンチキュラーレンズ等の光線制御子を用いることで、例えば、9視差画像等の多視差画像を観察者が裸眼にて立体視可能とするものがある。かかる立体表示モニタは、両眼視差による立体視を可能とし、更に、観察者の視点移動に合わせて観察される映像も変化する運動視差による立体視も可能とする。
【0029】
図3は、9視差画像により立体表示を行なう立体表示モニタの一例を説明するための図である。図3に示す立体表示モニタには、液晶パネル等の平面状の表示面200の前面に、光線制御子が配置される。例えば、図3に示す立体表示モニタには、光線制御子として、光学開口が垂直方向に延びる垂直レンチキュラーシート201が表示面200の前面に貼り付けられている。
【0030】
表示面200には、図3に示すように、縦横比が3:1であり、縦方向にサブ画素である赤(R)、緑(G)、青(B)の3つが配置された画素202がマトリクス状に配置される。図3に示す立体表示モニタは、9つの画像により構成される9視差画像を、所定フォーマット(例えば格子状)に配置した中間画像に変換したうえで、表示面200に出力する。すなわち、図3に示す立体表示モニタは、9視差画像にて同一位置にある9つの画素それぞれを、9列の画素202に割り振って出力させる。9列の画素202は、視点位置の異なる9つの画像を同時に表示する単位画素群203となる。
【0031】
表示面200において単位画素群203として同時に出力された9視差画像は、例えば、LED(Light Emitting Diode)バックライトにより平行光として放射され、更に、垂直レンチキュラーシート201により、多方向に放射される。9視差画像の各画素の光が多方向に放射されることにより、観察者の右目及び左目に入射する光は、観察者の位置(視点の位置)に連動して変化する。すなわち、観察者の見る角度により、右目に入射する視差画像と左目に入射する視差画像とは、視差角が異なる。これにより、観察者は、例えば、図3に示す9つの位置それぞれにおいて、撮影対象を立体的に視認できる。また、観察者は、例えば、図3に示す「5」の位置において、撮影対象に対して正対した状態で立体的に視認できるとともに、図3に示す「5」以外それぞれの位置において、撮影対象の向きを変化させた状態で立体的に視認できる。なお、図3に示す立体表示モニタは、あくまでも一例である。9視差画像を表示する立体表示モニタは、図3に示すように、「RRR・・・、GGG・・・、BBB・・・」の横ストライプ液晶である場合であっても良いし、「RGBRGB・・・」の縦ストライプ液晶である場合であっても良い。また、図3に示す立体表示モニタは、図3に示すように、レンチキュラーシートが垂直となる縦レンズ方式である場合であっても良いし、レンチキュラーシートが斜めとなる斜めレンズ方式である場合であっても良い。
【0032】
ここまで、第1の実施形態に係る画像表示システム1の構成例について簡単に説明した。なお、上記した画像表示システム1は、PACSが導入されている場合にその適用が限られるものではない。例えば、画像表示システム1は、医用画像が添付された電子カルテを管理する電子カルテシステムが導入されている場合にも、同様に適用される。この場合、画像保管装置120は、電子カルテを保管するデータベースである。また、例えば、画像表示システム1は、HIS(Hospital Information System)、RIS(Radiology Information System)が導入されている場合にも、同様に適用される。また、画像表示システム1は、上記した構成例に限られるものではない。各装置が有する機能やその分担は、運用の形態に応じて適宜変更されてよい。
【0033】
次に、第1の実施形態に係るワークステーションの構成例について図4を用いて説明する。図4は、第1の実施形態に係るワークステーションの構成例を説明するための図である。なお、以下において、「視差画像群」とは、ボリュームデータに対してボリュームレンダリング処理を行なうことで生成された立体視用の画像群のことである。また、「視差画像」とは、「視差画像群」を構成する個々の画像のことである。すなわち、「視差画像群」は、視点位置が異なる複数の「視差画像」から構成される。
【0034】
第1の実施形態に係るワークステーション130は、画像処理等に適した高性能なコンピュータであり、図4に示すように、入力部131と、表示部132と、通信部133と、記憶部134と、制御部135と、レンダリング処理部136とを有する。なお、以下では、ワークステーション130が画像処理等に適した高性能なコンピュータである場合を用いて説明するが、これに限定されるものではなく、任意の情報処理装置であって良い。例えば、任意のパーソナルコンピュータであっても良い。
【0035】
入力部131は、マウス、キーボード、トラックボール等であり、ワークステーション130に対する各種操作の入力を操作者から受け付ける。具体的には、第1の実施形態に係る入力部131は、レンダリング処理の対象となるボリュームデータを画像保管装置120から取得するための情報の入力を受け付ける。例えば、入力部131は、患者ID、検査ID、装置ID、シリーズID等の入力を受け付ける。また、第1の実施形態に係る入力部131は、レンダリング処理に関する条件(以下、レンダリング条件)の入力を受け付ける。
【0036】
表示部132は、立体表示モニタとしての液晶パネル等であり、各種情報を表示する。具体的には、第1の実施形態に係る表示部132は、操作者から各種操作を受け付けるためのGUI(Graphical User Interface)や、視差画像群等を表示する。通信部133は、NIC(Network Interface Card)等であり、他の装置との間で通信を行う。
【0037】
記憶部134は、ハードディスク、半導体メモリ素子等であり、各種情報を記憶する。具体的には、第1の実施形態に係る記憶部134は、通信部133を介して画像保管装置120から取得したボリュームデータを記憶する。また、第1の実施形態に係る記憶部134は、レンダリング処理中のボリュームデータや、レンダリング処理により生成された視差画像群、及び、2次元表示用の画像等を記憶する。
【0038】
制御部135は、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等の電子回路、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路であり、ワークステーション130の全体制御を行なう。
【0039】
例えば、第1の実施形態に係る制御部135は、表示部132に対するGUIの表示や視差画像群の表示を制御する。また、例えば、制御部135は、画像保管装置120との間で通信部133を介して行なわれるボリュームデータや視差画像群の送受信を制御する。また、例えば、制御部135は、レンダリング処理部136によるレンダリング処理を制御する。また、例えば、制御部135は、ボリュームデータの記憶部134からの読み込みや、視差画像群の記憶部134への格納を制御する。
【0040】
レンダリング処理部136は、制御部135による制御の下、画像保管装置120から取得したボリュームデータに対して種々のレンダリング処理を行ない、視差画像群を生成する。具体的には、第1の実施形態に係るレンダリング処理部136は、記憶部134からボリュームデータを読み込み、このボリュームデータに対して、まず前処理を行なう。次に、レンダリング処理部136は、前処理後のボリュームデータに対してボリュームレンダリング処理を行ない、視差画像群を生成する。続いて、レンダリング処理部136は、各種情報(目盛り、患者名、検査項目等)が描出された2次元画像を生成し、これを視差画像群それぞれに対して重畳することで、出力用の2次元画像を生成する。そして、レンダリング処理部136は、生成した視差画像群や出力用の2次元画像を記憶部134に格納する。なお、第1の実施形態において、レンダリング処理とは、ボリュームデータに対して行なう画像処理全体のことであり、ボリュームレンダリング処理とは、レンダリング処理の内、3次元の情報を反映した2次元画像を生成する処理のことである。レンダリング処理により生成される医用画像とは、例えば、視差画像が該当する。
【0041】
図5は、図4に示すレンダリング処理部の構成例を説明するための図である。図5に示すように、レンダリング処理部136は、前処理部1361と、3次元画像処理部1362と、2次元画像処理部1363とを有する。前処理部1361が、ボリュームデータに対する前処理を行い、3次元画像処理部1362が、前処理後のボリュームデータから視差画像群を生成し、2次元画像処理部1363が、視差画像群に各種情報が重畳された出力用の2次元画像を生成する。以下、各部を順に説明する。
【0042】
前処理部1361は、ボリュームデータに対してレンダリング処理を行なう際に、種々の前処理を行なう処理部であり、画像補正処理部1361aと、3次元物体フュージョン部1361eと、3次元物体表示領域設定部1361fとを有する。
【0043】
画像補正処理部1361aは、2種類のボリュームデータを1つのボリュームデータとして処理する際に画像補正処理を行なう処理部であり、図5に示すように、歪み補正処理部1361b、体動補正処理部1361c及び画像間位置合わせ処理部1361dを有する。例えば、画像補正処理部1361aは、PET−CT装置により生成されたPET画像のボリュームデータとX線CT画像のボリュームデータとを1つのボリュームデータとして処理する際に画像補正処理を行なう。或いは、画像補正処理部1361aは、MRI装置により生成されたT1強調画像のボリュームデータとT2強調画像のボリュームデータとを1つのボリュームデータとして処理する際に画像補正処理を行なう。
【0044】
また、歪み補正処理部1361bは、個々のボリュームデータにおいて、医用画像診断装置110によるデータ収集時の収集条件に起因するデータの歪みを補正する。また、体動補正処理部1361cは、個々のボリュームデータを生成するために用いられたデータの収集時期における被検体の体動に起因する移動を補正する。また、画像間位置合わせ処理部1361dは、歪み補正処理部1361b及び体動補正処理部1361cによる補正処理が行なわれた2つのボリュームデータ間で、例えば、相互相関法等を用いた位置合わせ(Registration)を行なう。
【0045】
3次元物体フュージョン部1363eは、画像間位置合わせ処理部1361dにより位置合わせが行なわれた複数のボリュームデータをフュージョンさせる。なお、画像補正処理部1361a及び3次元物体フュージョン部1361eの処理は、単一のボリュームデータに対してレンダリング処理を行なう場合、省略される。
【0046】
3次元物体表示領域設定部1361fは、操作者により指定された表示対象臓器に対応する表示領域を設定する処理部であり、セグメンテーション処理部1361gを有する。セグメンテーション処理部1361gは、操作者により指定された心臓、肺、血管等の臓器を、例えば、ボリュームデータの画素値(ボクセル値)に基づく領域拡張法により抽出する処理部である。
【0047】
なお、セグメンテーション処理部1361gは、操作者により表示対象臓器が指定されなかった場合、セグメンテーション処理を行なわない。また、セグメンテーション処理部1361gは、操作者により表示対象臓器が複数指定された場合、該当する複数の臓器を抽出する。また、セグメンテーション処理部1361gの処理は、レンダリング画像を参照した操作者の微調整要求により再度実行される場合もある。
【0048】
3次元画像処理部1362は、前処理部1361が処理を行なった前処理後のボリュームデータに対してボリュームレンダリング処理を行なう。ボリュームレンダリング処理を行なう処理部として、3次元画像処理部1362は、投影方法設定部1362aと、3次元幾何変換処理部1362bと、3次元物体アピアランス処理部1362fと、3次元仮想空間レンダリング部1362kとを有する。
【0049】
投影方法設定部1362aは、視差画像群を生成するための投影方法を決定する。例えば、投影方法設定部1362aは、ボリュームレンダリング処理を平行投影法により実行するか、透視投影法により実行するかを決定する。
【0050】
3次元幾何変換処理部1362bは、ボリュームレンダリング処理が実行されるボリュームデータを3次元幾何学的に変換するための情報を決定する処理部であり、平行移動処理部1362c、回転処理部1362d及び拡大縮小処理部1362eを有する。平行移動処理部1362cは、ボリュームレンダリング処理を行なう際の視点位置が平行移動された場合に、ボリュームデータを平行移動させる移動量を決定する処理部であり、回転処理部1362dは、ボリュームレンダリング処理を行なう際の視点位置が回転移動された場合に、ボリュームデータを回転移動させる移動量を決定する処理部である。また、拡大縮小処理部1362eは、視差画像群の拡大や縮小が要求された場合に、ボリュームデータの拡大率や縮小率を決定する処理部である。
【0051】
3次元物体アピアランス処理部1362fは、3次元物体色彩度処理部1362g、3次元物体不透明度処理部1362h、3次元物体材質処理部1362i及び3次元仮想空間光源処理部1362jを有する。3次元物体アピアランス処理部1362fは、これらの処理部により、例えば、操作者の要求に応じて、表示される視差画像群の表示状態を決定する処理を行なう。
【0052】
3次元物体色彩度処理部1362gは、ボリュームデータにてセグメンテーションされた各領域に対して着色される色彩を決定する処理部である。3次元物体不透明度処理部1362hは、ボリュームデータにてセグメンテーションされた各領域を構成する各ボクセルの不透過度(Opacity)を決定する処理部である。なお、ボリュームデータにおいて不透過度が「100%」とされた領域の後方の領域は、視差画像群において描出されないこととなる。また、ボリュームデータにおいて不透過度が「0%」とされた領域は、視差画像群において描出されないこととなる。
【0053】
3次元物体材質処理部1362iは、ボリュームデータにてセグメンテーションされた各領域の材質を決定することで、この領域が描出される際の質感を調整する処理部である。3次元仮想空間光源処理部1362jは、ボリュームデータに対してボリュームレンダリング処理を行なう際に、3次元仮想空間に設置する仮想光源の位置や、仮想光源の種類を決定する処理部である。仮想光源の種類としては、無限遠から平行な光線を照射する光源や、視点から放射状の光線を照射する光源等が挙げられる。
【0054】
3次元仮想空間レンダリング部1362kは、ボリュームデータに対してボリュームレンダリング処理を行ない、視差画像群を生成する。また、3次元仮想空間レンダリング部1362kは、ボリュームレンダリング処理を行なう際、必要に応じて、投影方法設定部1362a、3次元幾何変換処理部1362b、3次元物体アピアランス処理部1362fにより決定された各種情報を用いる。
【0055】
ここで、3次元仮想空間レンダリング部1362kによるボリュームレンダリング処理は、レンダリング条件に従って行なわれることになる。例えば、レンダリング条件は、「平行投影法」又は「透視投影法」である。また、例えば、レンダリング条件は、「基準の視点位置及び視差角」である。また、例えば、レンダリング条件は、「視点位置の平行移動」、「視点位置の回転移動」、「視差画像群の拡大」、「視差画像群の縮小」である。また、例えば、レンダリング条件は、「着色される色彩」、「透過度」、「質感」、「仮想光源の位置」、「仮想光源の種類」である。このようなレンダリング条件は、入力部131を介して操作者から受け付ける場合や、初期設定される場合が考えられる。いずれの場合も、3次元仮想空間レンダリング部1362kは、制御部135からレンダリング条件を受け付け、このレンダリング条件に従って、ボリュームデータに対するボリュームレンダリング処理を行なう。また、このとき、上記した投影方法設定部1362a、3次元幾何変換処理部1362b、3次元物体アピアランス処理部1362fが、このレンダリング条件に従って必要な各種情報を決定するので、3次元仮想空間レンダリング部1362kは、決定されたこれらの各種情報を用いて視差画像群を生成する。
【0056】
図6は、第1の実施形態に係るボリュームレンダリング処理の一例を説明するための図である。例えば、3次元仮想空間レンダリング部1362kが、図6の「9視差画像生成方式(1)」に示すように、レンダリング条件として、平行投影法を受け付け、更に、基準の視点位置(5)と視差角「1度」とを受け付けたとする。かかる場合、3次元仮想空間レンダリング部1362kは、視差角が「1度」おきとなるように、視点の位置を(1)〜(9)に平行移動して、平行投影法により視差角(視線方向間の角度)が1度ずつ異なる9つの視差画像を生成する。なお、平行投影法を行なう場合、3次元仮想空間レンダリング部1362kは、視線方向に沿って無限遠から平行な光線を照射する光源を設定する。
【0057】
或いは、3次元仮想空間レンダリング部1362kが、図6の「9視差画像生成方式(2)」に示すように、レンダリング条件として、透視投影法を受け付け、更に、基準の視点位置(5)と視差角「1度」とを受け付けたとする。かかる場合、3次元仮想空間レンダリング部1362kは、ボリュームデータの中心(重心)を中心に視差角が「1度」おきとなるように、視点の位置を(1)〜(9)に回転移動して、透視投影法により視差角が1度ずつ異なる9つの視差画像を生成する。なお、透視投影法を行なう場合、3次元仮想空間レンダリング部1362kは、視線方向を中心に光を3次元的に放射状に照射する点光源や面光源を各視点にて設定する。また、透視投影法を行なう場合、レンダリング条件によっては、視点(1)〜(9)は、平行移動される場合であってもよい。
【0058】
なお、3次元仮想空間レンダリング部1362kは、表示されるボリュームレンダリング画像の縦方向に対しては、視線方向を中心に光を2次元的に放射状に照射し、表示されるボリュームレンダリング画像の横方向に対しては、視線方向に沿って無限遠から平行な光線を照射する光源を設定することで、平行投影法と透視投影法とを併用したボリュームレンダリング処理を行なってもよい。
【0059】
このようにして生成された9つの視差画像が、視差画像群である。第1の実施形態において、9つの視差画像は、例えば制御部135により所定フォーマット(例えば格子状)に配置した中間画像に変換され、立体表示モニタとしての表示部132に出力される。すると、ワークステーション130の操作者は、立体表示モニタに表示された立体視可能な医用画像を確認しながら、視差画像群生成のための操作を行なうことができる。
【0060】
なお、図6の例では、レンダリング条件として、投影方法、基準の視点位置及び視差角を受け付けた場合を説明したが、レンダリング条件として、他の条件を受け付けた場合も同様に、3次元仮想空間レンダリング部1362kは、それぞれのレンダリング条件を反映しつつ、視差画像群を生成する。
【0061】
また、3次元仮想空間レンダリング部1362kは、ボリュームレンダリングだけでなく、任意の平面(例えば、アキシャル面、サジタル面、コロナル面など)の平面画像を再構成する。例えば、3次元仮想空間レンダリング部1362kは、断面再構成法(MPR:Multi Planer Reconstruction)を行なってボリュームデータからMPR画像を再構成する。なお、3次元仮想空間レンダリング部1362kは、「Curved MPR」を行なう機能や、「Intensity Projection」を行なう機能も有する。
【0062】
続いて、3次元画像処理部1362がボリュームデータから生成した視差画像群は、アンダーレイ(Underlay)とされる。そして、各種情報(目盛り、患者名、検査項目等)が描出されたオーバーレイ(Overlay)がアンダーレイに対して重畳されることで、出力用の2次元画像とされる。2次元画像処理部1363は、オーバーレイ及びアンダーレイに対して画像処理を行なうことで、出力用の2次元画像を生成する処理部であり、図5に示すように、2次元物体描画部1363a、2次元幾何変換処理部1363b及び輝度調整部1363cを有する。例えば、2次元画像処理部1363は、出力用の2次元画像の生成処理に要する負荷を軽減するために、9枚の視差画像(アンダーレイ)のそれぞれに対して1枚のオーバーレイを重畳することで、出力用の2次元画像を9枚、生成する。
【0063】
2次元物体描画部1363aは、オーバーレイに描出される各種情報を描画する処理部であり、2次元幾何変換処理部1363bは、オーバーレイに描出される各種情報の位置を平行移動処理又は回転移動処理したり、オーバーレイに描出される各種情報の拡大処理又は縮小処理したりする処理部である。
【0064】
また、輝度調整部1363cは、輝度変換処理を行なう処理部であり、例えば、出力先の立体表示モニタの諧調や、ウィンドウ幅(WW:Window Width)、ウィンドウレベル(WL:Window Level)等の画像処理用のパラメータに応じて、オーバーレイ及びアンダーレイの輝度を調整する処理部である。
【0065】
このようにして生成された出力用の2次元画像は、例えば制御部135により一旦記憶部134に格納され、その後、通信部133を介して画像保管装置120に送信される。例えば、端末装置140が、画像保管装置120からこの出力用の2次元画像を取得し、所定フォーマット(例えば格子状)に配置した中間画像に変換した上で立体表示モニタに表示すると、観察者である医師や検査技師は、各種情報(目盛り、患者名、検査項目等)が描出された状態で、立体視可能な医用画像を閲覧することができる。
【0066】
以上、第1の実施形態に係る画像表示システム1及びワークステーション130の構成について説明した。かかる構成のもと、第1の実施形態に係るワークステーション130は、以下、詳細に説明する制御部135及び表示部132の処理により、立体視可能な3次元の画像と、2次元の画像とを状況に応じて表示することが可能となるように構成されている。具体的には、第1の実施形態に係るワークステーション130は、画像が再構成された際の情報(例えば、立体視可能な3次元の画像として再構成が行われた旨の情報)や、操作者が所望する表示方法に応じて、3次元の画像と2次元の画像とを切替えて表示する。なお、以下では、まず、画像が再構成された際の情報を用いて切替える場合について説明した後、操作者が所望する表示方法に応じて切替える場合について説明する。また、以下では、立体視可能な3次元の画像を立体視画像、2次元の画像を平面画像と記す場合がある。
【0067】
まず、画像が再構成された際の情報を用いて3次元の画像と2次元の画像とを切替えて表示する場合について説明する。図7は、第1の実施形態に係る表示部132及び制御部135の構成例を説明するための図である。図7に示すように、表示部132は、切替え部1321を有する。また、図7に示すように、制御部135は、表示情報付与部1351と、切替え制御部1352と、表示制御部1353と、選択領域受付け部1354とを有する。
切替え部1321は、後述する切替え制御部1352の制御に応じて、表示部132を立体視用又は平面視用に切替える。具体的には、切替え部1321は、表示面に設けられたレンチキュラーレンズ層により与えられる光の指向性を増減させることにより、表示部132を立体視用又は平面視用に切替える。
【0068】
図8は、第1の実施形態に係る切替え部1321の構成の一例を説明するための図である。例えば、切替え部1321は、図8に示すように、光(画像)を出力させる液晶210の表示面200に液晶レンズ部400として設けられ、レンチキュラーレンズ層により与えられる光の指向性を増減させることで、表示部132を立体視用又は平面視用に切替える。液晶レンズ部400は、図8に示すように、レンチキュラーレンズ層410と、液晶部420とを有し、液晶部420がレンチキュラーレンズ層410と表示面200とによって挟まれるように表示面200に設置される。
【0069】
レンチキュラーレンズ層410は、レンズ形状のレンチキュラーレンズを有する。そして、レンチキュラーレンズ層410は、一般的な樹脂によって形成されるレンズ上部(レンチキュラーレンズの上側部分)と液晶が固化された状態で封入されているレンズ下部(レンチキュラーレンズの下側の空壁部分)とを有する。ここで、レンチキュラーレンズ層410のレンズ下部には、ナノレベルの線状構造で特定方向に整列された液晶が封入される。例えば、図8に示すように、レンズ下部の液晶411は、半円柱状のレンチキュラーレンズの円柱方向にナノレベルの線状構造をとり、複数の線状構造が縦方向(図8の上下方向)に整列されるように封入される。
【0070】
液晶部420は、図8に示すように、液晶が電極基板421に挟まれて形成される。ここで、図8の422及び423は、電極基板421に挟まれた液晶に表示面200の方向から入射された光の偏光方向を示す。具体的には、図8の422は、電圧が印加された状態の液晶に光が入射することで、光の偏光方向に変化がない様子を示す。一方、図8の423は、電圧が印加されていない状態の液晶に光が入射することで、光の偏光方向が90度回転した様子を示す。
【0071】
切替え部1321は、図8に示す電極基板421から印加される電圧を制御して、レンチキュラーレンズ層により与えられる光の指向性を増減させることで、表示部132を平面視用又は立体視用に切替える。例えば、後述する切替え制御部1252から平面視用に切替えるように制御された場合には、切替え部1321は、電圧基板に電圧を印加させる。すなわち、表示面200から入射される光の偏光方向は、図8の422に示すように、変化せず、縦方向の状態でレンズに入射されることとなり、レンズ内の液晶411の整列方向である縦方向と等しくなる。その結果、光の進行速度が変化せず、レンズ下部とレンズ上部との間で屈折率に差がなくなり、光が直進するようになる。すなわち、切替え部1321は、電圧基板に電圧を印加させることで、光の指向性を減少させた平面視用の表示部132に切替える。
【0072】
そして、例えば、後述する切替え制御部1252から立体視用に切替えるように制御された場合には、切替え部1321は、電圧基板に対する電圧の印加を停止させる。すなわち、表示面200から入射される光の偏光方向は、図8の423に示すように、90度回転(横方向に変化)した状態でレンズに入射されることとなり、レンズ内の液晶411の整列方向である縦方向と直交するようになる。その結果、光の進行速度が低下し、レンズ下部とレンズ上部との間で屈折率に差が生じ、光が屈折するようになる。すなわち、切替え部1321は、電圧基板に対する電圧の印加を停止することで、光の指向性を増加させた立体視用の表示部132に切替える。
【0073】
図7に戻って、表示情報付与部1351は、立体視用の画像及び平面視用の画像に、それぞれ立体視用及び平面視用を特定するための情報を付与する。具体的には、表示情報付与部1351は、医用画像診装置110によって生成されたボリュームデータ、或いは、レンダリング処理部136によって生成された視差画像群に対して、表示情報として立体視用の画像であることを示す表示情報を付与する。また、表示情報付与部1351は、レンダリング処理部136によって生成された平面画像に対して、表示情報として平面視用の画像であることを示す表示情報を付与する。
【0074】
図9は、第1の実施形態に係る表示情報付与部1351による処理の一例を模式的に示す図である。図9に示すように、表示情報付与部1351は、立体視用の画像に対して、表示情報「立体視用画像データ」を付与する。ここで、表示情報「立体視用画像データ」を付与する3次元データは、ボリュームデータに付与する場合であってもよいし、レンダリング処理部136によってボリュームデータから生成された視差画像群であってもよい。また、表示情報付与部1351は、レンダリング処理部136によって再構成された平面視用の画像に対して、表示情報「平面視用画像データ」を付与する。そして、表示情報付与部1351は、表示情報を付与した画像データを記憶部134に格納する。表示情報の付与の方法としては、例えば、立体視用及び平面視用を特定するための情報を、付帯情報としてDICOMのタグに付与する方法が挙げられる。
【0075】
切替え制御部1352は、画像の情報に基づいて、表示部132に表示させる画像が立体視用の画像であるか又は平面視用の画像であるかを判定し、判定結果に応じて、表示部132を立体視用又は平面視用に切替えるように制御する。具体的には、切替え制御部1352は、表示情報付与部1351によって付与された識別子に基づいて、表示部132を立体視用又は平面視用に切替えるように切替え部1321を制御する。より具体的には、切替え制御部1352は、記憶部134によって記憶された画像データが読み出される場合に、読み出し要求の対象となる画像データに付与された表示情報に基づいて、表示部132を立体視用又は平面視用に切替えるように切替え部1321を制御する。例えば、切替え制御部1352は、切替え部1321における電圧の印加を制御することで、レンチキュラーレンズ層により与えられる光の指向性を増減させ、表示部132を立体視用又は平面視用に切替える。
【0076】
例えば、表示の対象となる画像データに付与された表示情報が平面視用であった場合には、切替え制御部1352は、電圧基板に電圧を印加させるように切替え部1321を制御する。また、例えば、表示の対象となる画像データに付与された表示情報が立体視用であった場合には、切替え制御部1352は、電圧基板に対する電圧の印加を停止させるように切替え部1321を制御する。
【0077】
表示制御部1353は、立体視用の画像データ及び平面視用の画像データを表示部132に表示させるように制御する。具体的には、表示制御部1353は、入力部131を介して操作者から表示の要求を受付けた画像を表示部132に表示させる。例えば、表示制御部1353は、切替え部1321によって、立体視用に切替えられた表示部132に視差画像群を表示させることにより、立体視画像を表示させる。また、表示制御部1353は、切替え部1321によって、平面視用に切替えられた表示部132に平面画像を表示させる。
【0078】
ここで、第1の実施形態に係る表示部132においては、同一画面上に立体視画像と平面画像とを表示させることも可能である。図10は、第1の実施形態に係る表示部132における表示の一例を説明するための図である。例えば、図10の(A)に示すように、表示情報としてデータセット「患者リスト 東芝太郎 撮影1:立体視用画像データ 撮影2:平面視用画像データ」が付加されている場合には、表示部132は、図10の(B)に示すように、立体視用表示領域及び平面視用表示領域において、それぞれ立体視画像と平面画像とを表示する。かかる場合には、切替え制御部1352は、立体視用表示領域に対応する電極基板に対して電圧を印加しないように切替え部1321を制御し、平面視用表示領域に対応する電極基板に対して電圧を印加するように切替え部1321を制御する。そして、表示制御部1353は、立体視用表示領域に「撮影1:立体視用画像データ」を表示させ、平面視用表示領域に「撮影2:平面視用画像データ」を表示させる。
【0079】
次に、操作者が所望する表示方法に応じて3次元の画像と2次元の画像とを切替えて表示する場合について説明する。図7に戻って、選択領域受付け部1354は、表示部132によって表示されている立体視用の画像又は平面視用の画像における任意の領域の設定を受け付ける。具体的には、選択領域受付け部1354は、表示部132によって表示された立体視用の画像又は平面視用の画像に対して、操作者によって設定される領域に関する情報を受付ける。図11は、第1の実施形態に係る選択領域受付け部1354の処理の一例を説明するための図である。例えば、選択領域受付け部1354は、図11に示すように、立体視用表示領域に対して設定された選択領域に関する情報を受付ける。一例を挙げると、選択領域受付け部1354は、選択領域に関する情報として、選択領域に対応する位置の電極基板の情報と、選択領域内に表示されている立体視画像の座標情報とを受付ける。なお、選択領域受付け部1354によって受付けられる選択領域の設定は、マウスなどの任意のポインティングデバイスを用いて実行される。
【0080】
選択領域受付け部1354によって選択領域に関する情報が受付けられると、切替え制御部1352は、選択領域に対応する位置の電極基板に対する電圧の印加の有無を制御する。例えば、図11に示すように、立体視用表示領域に対して選択領域が設定されると、当該選択領域に対応する位置の電極基板に対して電圧を印加させるように切替え部1321を制御する。
【0081】
また、選択領域受付け部1354によって選択領域に関する情報が受付けられると、表示制御部1353は、選択領域内に表示されている立体視画像の座標情報に基づいて、当該座標に相当する位置の平面画像を表示させる。例えば、表示制御部1353は、選択領域内に表示されている立体視画像の座標に相当する位置の平面画像を当該選択領域に表示させる。
【0082】
ここで、切替え制御部1352は、選択領域受付け部1354によって受付けられた選択領域を平面視用に切替える場合に、当該選択領域の大きさを変更することが可能である。また、表示制御部1353は、切替え制御部1352によって変更された任意の領域の大きさに応じて、平面視用の画像の大きさを変更して表示させることも可能である。例えば、切替え制御部1352は、図11に示す選択領域よりも大きな領域に対応する電極基板に対して電圧を印加するように切替え部1321を制御して、選択領域よりも大きな領域を表示領域として平面視用に切替える。そして、表示制御部1353は、切替え制御部1352によって平面視用に切替えられた表示領域に合わせて平面画像を拡大して表示させる。
【0083】
なお、表示制御部1353は、選択領域の大きさを変化しなかった場合にも、平面画像を拡大して表示させることも可能である。また、選択領域内に表示させる平面画像は、既に再構成された断面画像やMPR画像を用いる場合であってもよいし、選択領域が設定された後に新たに再構成する場合であってもよい。また、上記した例では、立体視用表示領域に選択領域が設定され、平面画像を表示する場合について説明したが、開示の技術はこれに限定されるものではなく、平面視用表示領域に選択領域が設定され、立体視画像を表示する場合であってもよい。
【0084】
次に、図12を用いて、第1の実施形態に係るワークステーション130の処理について説明する。図12は、第1の実施形態に係るワークステーション130による処理の手順を示すフローチャートである。図12に示すように、第1の実施形態に係るワークステーション130においては、レンダリング処理部136によって画像データが生成されると(ステップS101肯定)、表示情報付与部1351は、生成された画像データに対して表示情報を付与して記憶部134に格納する(ステップS102)。
【0085】
そして、画像データの読み出し要求を受付けると(ステップS103肯定)、切替え制御部1352は、読み出し要求を受付けた画像データに付与された表示情報に基づいてレンチキュラーレンズ層を変化させる(ステップS104)。具体的には、切替え制御部1352は、画像データに付与された表示情報が立体視用である場合には、レンチキュラーレンズ層をレンズ形状に変化させるように切替え部1321を制御し、画像データに付与された表示情報が平面視用である場合には、レンチキュラーレンズ層を平面形状に変化させるように切替え部1321を制御する。
【0086】
続いて、表示制御部1353は、読み出し要求を受付けた画像を表示部132に表示させる(ステップS105)。そして、選択領域受付け部1354が、選択領域を受付けた場合には(ステップS106肯定)、ステップS104に戻って、切替え制御部1352が、現時点で表示部132によって表示されている画像データの表示情報に基づいて、レンチキュラーレンズ層を変化させるように切替え部1321を制御する。一方、選択領域を受け付けていない場合には(ステップS106否定)、ワークステーション130は処理を終了する。
【0087】
上記したように、第1の実施形態によれば、切替え制御部1352は、画像の情報に基づいて、表示部132に表示させる画像が立体視用の画像であるか又は平面視用の画像であるかを判定し、判定結果に応じて、表示部132を立体視用又は平面視用に切替えるように制御する。そして、切替え部1321は、切替え制御部1352の制御に応じて、表示部132を立体視用又は平面視用に切替える。従って、第1の実施形態に係るワークステーション130は、立体視可能な3次元の画像と、2次元の画像とを状況に応じて表示することを可能にする。
【0088】
また、第1の実施形態によれば、表示情報付与部1351は、医用画像診断装置110によって生成されたボリュームデータ、レンダリング処理部136によって生成された立体視用の画像及び平面視用の画像に、立体視用及び平面視用を特定するための情報を付与する。そして、切替え制御部1352は、情報付与手段によって付与された情報に基づいて、表示部132を立体視用又は平面視用に切替えるように切替え部1321を制御する。従って、第1の実施形態に係るワークステーション130は、立体視用の画像及び平面視用の画像の表示を自動で切替えることができ、立体視可能な3次元の画像と、2次元の画像とを状況に応じて表示することを可能にする。
【0089】
例えば、第1の実施形態に係るワークステーション130においては、操作者が表示させたい臨床データが立体視用の画像データなのか、平面視用の画像データが分からない場合であっても、画像データを選択するだけで自動的に立体視画像又は平面画像を表示させることが可能である。
【0090】
また、第1の実施形態によれば、選択領域受付け部1354は、表示部132によって表示されている立体視用の画像又は平面視用の画像における任意の領域の設定を受け付ける。そして、切替え制御部1352は、表示部132において、選択領域受付け部1354によって受付けられた任意の領域に相当する表示領域を立体視用又は平面視用に切替えるように切替え部1321を制御する。従って、第1の実施形態に係るワークステーション130は、操作者が所望する領域内に立体視可能な3次元の画像又は2次元の画像を表示させることを可能にする。
【0091】
また、第1の実施形態によれば、切替え制御部1352は、選択領域受付け部1354によって受付けられた任意の領域に相当する表示領域を平面視用に切替える場合に、当該任意の領域の大きさを変更する。また、表示制御部1353は、切替え制御部1352によって変更された任意の領域の大きさに応じて、平面視用の画像の大きさを変更して表示させる。従って、第1の実施形態に係るワークステーション130は、立体視用の画像から平面視用の画像に切替える場合に表示される画像を調整することができ、操作者に対して観察しやすい画像を表示させることを可能にする。例えば、9視差のモニタに平面画像を単純に表示させた場合には、画像の大きさが9分の1になってしまい、観察することが困難になる。第1の実施形態に係るワークステーション130は、このような場合にも観察に最適な平面画像を表示させることが可能である。
【0092】
また、第1の実施形態によれば、表示部132は、立体視用の画像又は平面視用の画像を表示する表示面にレンチキュラーレンズ層を有する。そして、切替え部1321は、表示部132の表示面に設けられたレンチキュラーレンズ層により与えられる光の指向性を増減させることにより、表示部132を立体視用又は平面視用に切替える。従って、第1の実施形態に係るワークステーション130は、既存の技術を利用して立体視用の画像及び平面視用の画像の表示を自動で切替えることができ、立体視可能な3次元の画像と、2次元の画像との状況に応じた表示を容易に実現することを可能にする。
【0093】
(第2の実施形態)
第2の実施形態では、操作者が、2次元/3次元のアイコンを利用した操作画面を介して各種入力処理を実行し、それに応じて表示部132を立体視用又は平面視用に切替える例について説明する。
【0094】
図13は、第2の実施形態に係る表示部132によって表示される操作画面の第1の例を説明するための図である。例えば、表示部132は、図13に示すように、表示領域A、表示領域B、表示領域C、及びサムネイル領域を含む操作画面を表示する。ここで、図13に示す5つのサムネイルアイコンは、記憶部134によって記憶された5種類の医用画像データのサムネイルアイコンを示す。そして、図13のサムネイルアイコンは、それぞれの医用画像データが立体視可能な画像として表示できるデータか否かを示す。
【0095】
例えば、図13のサムネイルアイコンのうち、立体的に表示されたサムネイルアイコンは、記憶部134によって記憶された医用画像データがボリュームデータであり、当該ボリュームデータに立体視用の画像であることを示す表示情報が付与されていることを示す。また、例えば、図13のサムネイルアイコンのうち、複数枚の画像が重ねて表示されたサムネイルアイコンは、記憶部134によって記憶された医用画像データが視差画像群(例えば、9視差画像)であり、当該視差画像群に立体視用の画像であることを示す表示情報が付与されていることを示す。また、例えば、図13のサムネイルアイコンのうち、平面的に表示されたサムネイルアイコンは、記憶部134によって記憶された医用画像データが2次元画像であり、当該2次元画像に平面視用の画像であることを示す表示情報が付与されていることを示す。
【0096】
そして、図13に示す表示領域A〜Cは、サムネイル領域に表示されたサムネイルアイコンから操作者によって選択されたサムネイルアイコンの医用画像データを表示する領域を示す。例えば、操作者は、マウスを用いて、サムネイル領域に表示された5つのサムネイル画像のいずれかを表示領域A〜Cにドラッグ&ドロップ (drag and drop)することで、表示領域A〜Cに画像を表示させる。
【0097】
一例を挙げると、操作者が、立体的に表示されたサムネイルアイコン、或いは、複数枚の画像が重ねて表示されたサムネイルアイコンを表示領域Aにドラッグ&ドロップすると、切替え制御部1352は、表示領域Aに対応する位置の電極基板に対して電圧を印加しないように切替え部1321を制御することで、表示領域Aを立体視用の表示領域に切替える。一方、操作者が、平面的に表示されたサムネイルアイコンを表示領域Bにドラッグ&ドロップすると、切替え制御部1352は、表示領域Bに対応する位置の電極基板に対して電圧を印加するように切替え部1321を制御することで、表示領域Bを平面視用の表示領域に切替える。
【0098】
さらに、図13に示された操作画面では、表示領域に表示された立体視画像を平面視画像に切替えるための操作も行うことが可能である。図14は、第2の実施形態に係る表示部132によって表示される操作画面の第2の例を説明するための図である。ここで、図14は、図13に示す操作画面において、立体的に表示されたサムネイルアイコンが表示領域Aにドラッグ&ドロップされた後の操作について示す。
【0099】
例えば、操作者は、表示領域Aに示された立体視画像上で右クリックすると、表示制御部1353は、図14に示すように、「Axial(アキシャル)」と、「Sagi(サジタル:Sagittal)」と、「Col(コロナル:coronal)」とを含む「2D(dimensions:次元)」の選択項目と、「3D」の選択項目とを表示する。操作者は、操作画面に表示された選択項目から所望する項目を選択する。例えば、操作者が、「2D」の「Axial」を選択すると、レンダリング処理部136は、記憶部134から該当するボリュームデータを読み出し、読み出したボリュームデータからアキシャル面の2次元画像(例えば、MPR画像)を生成する。
【0100】
同時に、切替え制御部1352は、表示領域Aを平面視用に切替えるように、切替え部1321を制御する。そして、表示制御部1353は、レンダリング処理部136によって生成された2次元画像を平面視用に切替えられた表示領域Aに表示させる。上記したように、記憶部134にボリュームデータが記憶されている場合には、ワークステーション130は、ボリュームデータから高精細な2次元画像を再レンダリングして表示させる。
【0101】
一方、図13に示す操作画面において、複数枚の画像で表示されたサムネイルアイコンが表示領域にドラッグ&ドロップされることで表示された立体視画像を平面視画像に切替える場合には、表示制御部1353は、記憶部134によって記憶された視差画像群を2次元画像用に表示させる。例えば、表示制御部1353は、記憶部134によって記憶された9視差画像のうちの1枚を9つの画素すべてに表示させる。或いは、表示制御部1353は、記憶部134によって記憶された9視差画像のうちの1枚を9画素分の大きさに拡大し、拡大した画像を9つに分割して、9つの画素それぞれに表示させる。このようにすることで、表示領域に表示される平面視画像を高精細にすることが可能である。
【0102】
ここで、操作者が複数枚の画像で表示されたサムネイルアイコンが表示領域にドラッグ&ドロップすることで表示された立体視画像上で右クリックした場合には、記憶部134によって記憶された視差画像群の断面と「3D」のみが選択可能となる。例えば、図14に示す選択項目において、「2D」の「Axial」及び「3D」のみが選択可能となる。一例を挙げると、表示制御部1353は、「Axial」及び「3D」を選択可能な項目として黒色の文字で表示し、「Sagi」及び「Col」を選択不可能な項目として灰色の文字で表示する。
【0103】
なお、操作者が平面的に表示されたサムネイルアイコンをドラッグ&ドロップすることで表示された平面視画像上で右クリックした場合には、記憶部134によって記憶された2次元画像の断面のみが選択可能となる。例えば、図14に示す選択項目において、「2D」の「Axial」のみが選択可能となる。すなわち、選択項目において、他の断面の画像又は立体視画像への切替えが実行できないことが示されることとなる。
【0104】
また、上記したように、立体視画像から平面視画像へ切替えられた場合に、再度、立体視画像に戻すことも可能である。すなわち、操作者が平面視画像上で右クリックすることで、再度選択項目を表示させ、「3D」を選択することで、立体視画像を再表示させることが可能である。かかる場合には、切替え制御部1352は、表示領域を立体視用に切替えるように切替え部1321を制御する。
【0105】
また、上記した例では、ドラッグ&ドロップされたサムネイルアイコンの医用画像データに基づいて表示領域A〜Cを立体視用又は平面視用に切替える場合について説明した。しかしながら、表示領域A〜Cを予め立体視用又は平面視用に設定することも可能である。例えば、図13に示す表示領域Aを立体視用表示領域、表示領域Bを平面視用表示領域として予め設定することが可能である。かかる場合に、立体的に表示されたサムネイルアイコン又は複数枚の画像で表示されたサムネイルアイコンが、平面視用の表示領域Bにドラッグ&ドロップされると、表示制御部1353は、平面視用の2次元画像を表示領域Bに表示させる。
【0106】
次に、図15を用いて、第2の実施形態に係るワークステーション130の処理について説明する。図15は、第2の実施形態に係るワークステーション130による処理の手順を示すフローチャートである。なお、図15においては、操作画面にサムネイルアイコンを表示した後の処理について示す。図15に示すように、第2の実施形態に係るワークステーション130においては、サムネイルアイコンがドラッグ&ドロップされると(ステップS201肯定)、切替え制御部1352は、サムネイルアイコンに対応する医用画像データが立体視表示が可能であるか否かを判定する(ステップS202)。
【0107】
ここで、サムネイルアイコンに対応する医用画像データが立体視表示が可能である場合には(ステップS202肯定)、切替え制御部1352は、表示領域を立体視用に切替えるように切替え部1321を制御する(ステップS203)。一方、サムネイルアイコンに対応する医用画像データが立体視表示が可能ではない場合には(ステップS202否定)、切替え制御部1352は、表示領域を平面視用に切替えるように切替え部1321を制御する(ステップS205)。
【0108】
そして、表示制御部1353は、切替え部1321によって切替えられた表示領域に立体視画像又は平面視画像を表示させる。続いて、切替え制御部1352は、操作画面を介して表示する画像の切替えを受付けたか否かを判定する(ステップS206)。ここで、表示する画像の切替えを受付けた場合には(ステップS206肯定)、切替え制御部1352は、立体視画像から平面視画像への切替えか否かを判定する(ステップS207)。
【0109】
ここで、立体視画像から平面視画像への切替えである場合には(ステップS207肯定)、切替え制御部1352は、表示画面を平面視用に切替えるように切替え部1321を制御する(ステップS208)。そして、表示制御部1353は、記憶部134によって記憶されたデータがボリュームデータであるか否かを判定する(ステップS209)。
【0110】
ここで、記憶されたデータがボリュームデータである場合には(ステップS209肯定)、レンダリング処理部136がボリュームデータから選択された断面の高精細な2次元画像を再レンダリングし、表示制御部1353が再レンダリングされた平面視画像を平面視用に切替えられた表示領域に表示させる(ステップS210)。一方、記憶されたデータがボリュームデータではない場合には(ステップS209否定)、表示制御部1353は、視差画像郡のうちの1枚を平面視用に切替えられた表示領域に表示させる(ステップS211)。例えば、表示制御部1353は、視差画像群のうちの1枚を9つの画素すべてに表示させる、或いは、視差画像群のうちの1枚を9つの画素の大きさに拡大し、拡大した画像を9つに分割して、9つの画素それぞれに表示させる。
【0111】
一方、ステップS207において、立体視画像から平面視画像への切替えではない場合には(ステップS207否定)、切替え制御部1352は、切替えを受付けた平面視画像のデータが立体視可能なデータであるか否かを判定する(ステップS212)。ここで、立体視可能なデータである場合には(ステップS212肯定)、切替え制御部1352は、表示領域を立体視用に切替えるように切替え部1321を制御する(ステップS213)。そして、表示制御部1353は、切替え部1321によって立体視用に切替えられた表示領域に立体視画像を表示させる(ステップS214)。
【0112】
そして、表示する画像の切替えを受け付けない場合(ステップS206否定)、平面視画像から立体視画像への切替えに際してデータが立体視可能なデータではない場合(ステップS212否定)、平面視画像又は立体視画像を表示させた(ステップS210、ステップS211及びステップS214)後、表示制御部1353は、画像の表示を終了させるための終了操作を受付けたか否かを判定する(ステップS215)。
【0113】
ここで、終了操作を受付けていない場合には(ステップS215否定)、表示制御部1353は、ステップS205に戻って、表示領域に立体視画像又は平面視画像を継続して表示させる。一方、終了操作を受付けた場合には(ステップS215肯定)、第2の実施形態に係るワークステーション130は、処理を終了する。
【0114】
上記したように、第2の実施形態によれば、表示制御部1353は、画像を表示するための表示領域と、表示情報付与部1351によって付与された情報が示された画像ごとのサムネイルアイコンとを含む操作画面を表示部132に表示させる。そして、切替え制御部1352は、サムネイルアイコンを用いて表示領域に表示させる画像が選択された場合に、選択された画像に付与された情報に基づいて、当該表示領域を立体視用又は平面視用に切替えるように制御する。従って、第2の実施形態に係るワークステーション130は、操作者が利用しやすい操作画面を提供することを可能にする。
【0115】
また、第2の実施形態によれば、切替え制御部1352は、操作画面において、表示領域に表示された立体視用の画像から平面視用の画像への切替え処理、及び、平面視用の画像から立体視用の画像への切替え処理を受付け、受付けた処理に応じて当該表示領域を平面視用又は立体視用に切替えるように制御する。そして、レンダリング処理部136及び表示制御部1353は、切替え制御部1352によって受付けられた処理が立体視用の画像から平面視用の画像への切替え処理であった場合に、高精細な平面視用の画像を生成する。そして、表示制御部1353は、当該画像を表示領域に表示させる。従って、第2の実施形態に係るワークステーション130は、操作者に対して観察しやすい平面視画像を提供することを可能にする。
【0116】
(第3の実施形態)
さて、これまで第1及び第2の実施形態について説明したが、上記した第1及び第2の実施形態以外にも、種々の異なる形態にて実施されてよいものである。
【0117】
上記実施形態においては、画像データに情報を付与し、付与した情報を基づいて、表示部132を平面視用又は立体視用に切替える場合について説明した。しかしながら、開示の技術はこれに限定されるものではなく、例えば、画像データに付与された既存の情報に基づいて、表示部132を平面視用又は立体視用に切替える場合であってもよい。例えば、DICOMのタグの付帯情報に基づいて表示部132を平面視用又は立体視用に切替える場合であってもよい。一例を挙げると、付帯情報としてボリュームデータである旨の情報があった場合には、切替え部1352は、表示部132を立体視用に切替える。
【0118】
上記実施形態においては、ワークステーション130が、ボリュームデータから立体視画像及び平面画像を生成し、生成した画像を表示する場合について説明した。しかしながら、開示の技術がこれに限定されるものではなく、例えば、医用画像診断装置110がボリュームデータから立体視画像及び平面画像を生成し、生成した画像を表示する場合であってもよい。また、医用画像診断装置110又はワークステーション130がボリュームデータから立体視画像及び平面画像を生成し、端末装置140が、画像を表示する場合であってもよい。かかる場合には、医用画像診断装置110又はワークステーション130によって表示情報が付与された後、画像保管装置120に格納され、端末装置140は、画像保管装置120から読み出した画像データに付与された表示情報に基づいて立体視画像又は平面画像を表示する。
【0119】
また、上記実施形態においては、端末装置140は、画像保管装置120から取得した医用画像等を表示等するものとして説明した。しかしながら、開示の技術はこれに限定されるものではなく、例えば、端末装置140は、医用画像診断装置110又はワークステーション130に直接接続される場合であってもよい。
【0120】
また、上記実施形態においては、ワークステーション130は、画像保管装置120からボリュームデータを取得し、このボリュームデータから立体視画像及び平面画像を生成する場合について説明した。しかしながら、開示の技術はこれに限定されるものではなく、例えば、ワークステーション130は、医用画像診断装置110からボリュームデータを取得し、このボリュームデータから立体視画像及び平面画像を生成する場合であってもよい。
【0121】
また、上記実施形態においては、液晶材料を用いて各画素から出力された光の偏光方向を変えることにより、表示部132を立体視用又は平面視用に切り替える場合について説明した。しかしながら、開示の技術はこれに限定されるものではなく、任意の方法により表示部132を立体視用又は平面視用に切り替える場合であってもよい。以下では、第1の実施形態にて説明した方法とは異なる方法で表示部132を立体視用又は平面視用に切り替える場合について説明する。
【0122】
図16は、第3の実施形態に係る切替え部1321の構成の一例を説明するための図である。例えば、第3の実施形態に係る切替え部1321においては、レンチキュラーレンズ層により与えられる光の指向性を増減させるために、レンチキュラーレンズ層331が、図16に示すように、ある屈折率を持った液体を封入した複数のセルそれぞれが電極332に挟まれて形成される。そして、表示の対象となる画像データに付与された表示情報が平面視用であった場合には、切替え部1321は、切替え制御部1352による制御のもと、図16に示すように、電極332に対して電圧を印加し、レンチキュラーレンズ層をレンズ形状111から平面形状112に変化させる。すなわち、切替え部1321は、光の指向性を減少させた平面視用の表示部132に切替える。一方、表示の対象となる画像データに付与された表示情報が立体視用であった場合には、切替え部1321は、切替え制御部1352による制御のもと、図16に示すように、電極332に対して放電を実行し、レンチキュラーレンズ層を平面形状112からレンズ形状111に変化させる。すなわち、切替え部1321は、光の指向性を増加させた立体視用の表示部132に切替える。
【0123】
また、上記実施形態においては、レンチキュラーレンズを挟む電極に対して印加、放電を行うことで、表示部132を立体視用と平面視用に切替える場合について説明した。しかしながら、開示の技術はこれに限定されるものではなく、例えば、レンチキュラーレンズと同一の屈折率でレンズ形状と反対の形状を有するフィルタを重ねることで、表示部132を立体視用と平面視用に切替える場合であってもよい。
【0124】
また、上記実施形態においては、平面視用又は立体視用の切り替え制御に液晶を用いる場合について説明した。しかしながら、開示の技術はこれに限定されるものではなく、例えば、ナノレベルの線状構造方向を電子的に切り替えることが可能なものであれば、どのようなものが用いられてもよい。
【0125】
以上説明したとおり、実施形態によれば、本実施形態の画像表示システム、装置、方法及び医用画像診断装置は、立体視可能な3次元の画像と、2次元の画像とを状況に応じて表示することを可能にする。
【0126】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【0127】
110 医用画像診断装置
120 画像保管装置
130 ワークステーション
132 表示部
1321 切替え部
135 制御部
1351 表示情報付与部
1352 切替え制御部
1353 表示制御部
1354 選択領域受付け部
140 端末装置
【特許請求の範囲】
【請求項1】
画像の表示を制御する制御装置と、前記制御装置の制御に基づいて画像を表示する表示装置とを備える画像表示システムであって、
前記制御装置が、
前記画像の情報に基づいて、前記表示装置に表示させる画像が立体視用の画像であるか又は平面視用の画像であるかを判定する判定手段と、
前記判定手段による判定結果に応じて、前記表示装置を立体視用又は平面視用に切替えるように制御する切替え制御手段と、
を有することを特徴とする画像表示システム。
【請求項2】
画像の情報に基づいて、表示部に表示させる画像が立体視用の画像であるか又は平面視用の画像であるかを判定する判定手段と、
前記判定手段による判定結果に応じて、前記表示部を立体視用又は平面視用に切替えるように制御する切替え制御手段と、
を有することを特徴とする画像表示装置。
【請求項3】
画像の表示を制御する制御装置と、前記制御装置の制御に基づいて画像を表示する表示装置とを備える画像表示システムで実行される画像表示方法であって、
前記制御装置が、
前記画像の情報に基づいて、前記表示装置に表示させる画像が立体視用の画像であるか又は平面視用の画像であるかを判定する判定ステップと、
前記判定ステップによる判定結果に応じて、前記表示装置を立体視用又は平面視用に切替えるように制御する切替え制御ステップと、
を含んだことを特徴とする画像表示方法。
【請求項4】
画像の情報に基づいて、表示部に表示させる画像が立体視用の画像であるか又は平面視用の画像であるかを判定する判定手段と、
前記判定手段による判定結果に応じて、前記表示部を立体視用又は平面視用に切替えるように制御する切替え制御手段と、
を有することを特徴とする医用画像診断装置。
【請求項1】
画像の表示を制御する制御装置と、前記制御装置の制御に基づいて画像を表示する表示装置とを備える画像表示システムであって、
前記制御装置が、
前記画像の情報に基づいて、前記表示装置に表示させる画像が立体視用の画像であるか又は平面視用の画像であるかを判定する判定手段と、
前記判定手段による判定結果に応じて、前記表示装置を立体視用又は平面視用に切替えるように制御する切替え制御手段と、
を有することを特徴とする画像表示システム。
【請求項2】
画像の情報に基づいて、表示部に表示させる画像が立体視用の画像であるか又は平面視用の画像であるかを判定する判定手段と、
前記判定手段による判定結果に応じて、前記表示部を立体視用又は平面視用に切替えるように制御する切替え制御手段と、
を有することを特徴とする画像表示装置。
【請求項3】
画像の表示を制御する制御装置と、前記制御装置の制御に基づいて画像を表示する表示装置とを備える画像表示システムで実行される画像表示方法であって、
前記制御装置が、
前記画像の情報に基づいて、前記表示装置に表示させる画像が立体視用の画像であるか又は平面視用の画像であるかを判定する判定ステップと、
前記判定ステップによる判定結果に応じて、前記表示装置を立体視用又は平面視用に切替えるように制御する切替え制御ステップと、
を含んだことを特徴とする画像表示方法。
【請求項4】
画像の情報に基づいて、表示部に表示させる画像が立体視用の画像であるか又は平面視用の画像であるかを判定する判定手段と、
前記判定手段による判定結果に応じて、前記表示部を立体視用又は平面視用に切替えるように制御する切替え制御手段と、
を有することを特徴とする医用画像診断装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【公開番号】特開2013−66242(P2013−66242A)
【公開日】平成25年4月11日(2013.4.11)
【国際特許分類】
【出願番号】特願2012−281695(P2012−281695)
【出願日】平成24年12月25日(2012.12.25)
【分割の表示】特願2011−158029(P2011−158029)の分割
【原出願日】平成23年7月19日(2011.7.19)
【出願人】(000003078)株式会社東芝 (54,554)
【出願人】(594164542)東芝メディカルシステムズ株式会社 (4,066)
【Fターム(参考)】
【公開日】平成25年4月11日(2013.4.11)
【国際特許分類】
【出願日】平成24年12月25日(2012.12.25)
【分割の表示】特願2011−158029(P2011−158029)の分割
【原出願日】平成23年7月19日(2011.7.19)
【出願人】(000003078)株式会社東芝 (54,554)
【出願人】(594164542)東芝メディカルシステムズ株式会社 (4,066)
【Fターム(参考)】
[ Back to top ]