説明

画像処理システム、装置、方法及びプログラム

【課題】3次元の医用画像データから立体視用の画像を生成するために要する処理の負荷を軽減すること。
【解決手段】実施形態の画像処理システムは、ワークステーション130のレンダリング処理部136及び制御部135を備える。レンダリング処理部136は、3次元の医用画像データであるボリュームデータに対してレンダリング処理を行なう。制御部135は、端末装置140が有する立体表示モニタにて立体視するために必要となる視差数以上の視差画像群をボリュームデータから生成させるようにレンダリング処理部136を制御し、レンダリング処理部136が生成した視差画像群を画像保管装置120に格納するように制御する。端末装置140が有する立体表示モニタは、画像保管装置120に格納された視差画像群の中から視差数の視差画像を選択して構成される立体視画像を表示する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、画像処理システム、装置、方法及びプログラムに関する。
【背景技術】
【0002】
従来、立体視用メガネ等の専用機器を用いて、2つの視点から撮影された2視差画像を立体視可能なモニタが実用化されている。また、近年、レンチキュラーレンズ等の光線制御子を用いて、複数の視点から撮影された多視差画像(例えば、9視差画像)を裸眼にて立体視可能なモニタが実用化されている。なお、立体視可能なモニタにて表示される2視差画像や9視差画像は、1視点から撮影された画像の奥行き情報を推定し、推定した情報を用いた画像処理により生成される場合もある。
【0003】
一方、X線CT(Computed Tomography)装置やMRI(Magnetic Resonance Imaging)装置、超音波診断装置等の医用画像診断装置では、3次元の医用画像データ(以下、ボリュームデータ)を生成可能な装置が実用化されている。医用画像診断装置により生成されたボリュームデータからは、任意の視差角にて任意の視差数のボリュームレンダリング画像(視差画像)を生成することができる。そこで、ボリュームデータから生成された2次元のボリュームレンダリング画像を、近年実用化された立体視可能なモニタにて立体的に表示させることが検討されている。
【0004】
しかし、ボリュームレンダリング処理を観察者の要求に応じてリアルタイムに実行させるためには、ボリュームレンダリング処理を行なう装置に対して高い画像処理能力が要求される。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2005−86414号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明が解決しようとする課題は、3次元の医用画像データから立体視用の画像を生成するために要する処理の負荷を軽減することができる画像処理システム、装置、方法及びプログラムを提供することである。
【課題を解決するための手段】
【0007】
実施形態の画像処理システムは、立体表示装置と、画像処理装置とを備える。立体表示装置は、所定の視差数の視差画像を用いて構成される立体視画像を表示可能な装置である。画像処理装置は、3次元の医用画像データであるボリュームデータに対してレンダリング処理を行なうレンダリング処理部、前記所定の視差数以上の視差画像群を前記ボリュームデータから生成させるように前記レンダリング処理部を制御するレンダリング処理制御部、及び前記レンダリング処理部が生成した前記視差画像群を記憶部に格納させる格納制御部を備える。前記立体表示装置は、前記記憶部に格納された前記視差画像群の中から前記所定の視差数の視差画像を選択して構成される立体視画像を表示する。
【図面の簡単な説明】
【0008】
【図1】図1は、第1の実施形態に係る画像処理システムの構成例を説明するための図である。
【図2】図2は、2視差画像により立体表示を行なう立体表示モニタの一例を説明するための図である。
【図3】図3は、9視差画像により立体表示を行なう立体表示モニタの一例を説明するための図である。
【図4】図4は、第1の実施形態に係るワークステーションの構成例を説明するための図である。
【図5】図5は、図4に示すレンダリング処理部の構成例を説明するための図である。
【図6】図6は、第1の実施形態に係るボリュームレンダリング処理の一例を説明するための図である。
【図7】図7は、第1の実施形態に係る端末装置の構成例を説明するための図である。
【図8】図8は、第1図形条件及び第1画像数条件により実行されるレンダリング処理を説明するための図である。
【図9】図9は、第1図形条件及び第2画像数条件により実行されるレンダリング処理を説明するための図(1)である。
【図10】図10は、第1図形条件及び第2画像数条件により実行されるレンダリング処理を説明するための図(2)である。
【図11】図11は、第1図形条件の変形例を説明するための図である。
【図12】図12は、端末装置における表示制御を説明するための図(1)である。
【図13】図13は、端末装置における表示制御を説明するための図(2)である。
【図14】図14は、端末装置における表示制御を説明するための図(3)である。
【図15】図15は、第2図形条件を説明するための図である。
【図16】図16は、第1の実施形態に係る画像処理システムの画像格納処理を説明するための図である。
【図17】図17は、第1の実施形態に係る画像処理システムの画像表示処理を説明するための図である。
【図18】図18は、第1の実施形態に係る第1の変形例を説明するための図である。
【図19】図19は、第1の実施形態に係る第2の変形例を説明するための図である。
【図20】図20は、第1の実施形態に係る第3の変形例を説明するための図である。
【図21】図21は、動画データに付与されるプライベートタグを説明するための図(1)である。
【図22】図22は、動画データに付与されるプライベートタグを説明するための図(2)である。
【図23】図23は、動画データに付与されるプライベートタグを説明するための図(3)である。
【図24】図24は、動画データに付与されるDICOM規格に準拠した付帯情報を説明するための図(1)である。
【図25】図25は、動画データに付与されるDICOM規格に準拠した付帯情報を説明するための図(2)である。
【図26】図26は、第2の実施形態に係る画像処理システムの画像表示処理を説明するための図である。
【図27】図27は、第2の実施形態に係る変形例にて、動画データに付与されるプライベートタグを説明するための図である。
【図28】図28は、第2の実施形態に係る変形例にて、動画データに付与されるDICOM規格に準拠した付帯情報を説明するための図である。
【発明を実施するための形態】
【0009】
以下、添付図面を参照して、画像処理システムの実施形態を詳細に説明する。なお、以下の実施形態で用いる用語について説明する。「視差画像」とは、「立体視画像」を構成する個々の画像のことである。すなわち、「立体視画像」は、「視差角」が異なる複数の「視差画像」から構成される。また、「視差数」とは、立体表示モニタにて立体視されるために必要となる「視差画像」の数のことである。また、「視差角」とは、「立体視画像」を生成するために設定された各視点の位置の間隔とボリュームデータの位置とにより定まる角度のことである。また、以下で記載する「9視差画像」とは、9つの「視差画像」から構成される「立体視画像」のことである。また、以下で記載する「2視差画像」とは、2つの「視差画像」から構成される「立体視画像」のことである。
【0010】
(第1の実施形態)
まず、第1の実施形態に係る画像処理システムの構成例について説明する。図1は、第1の実施形態に係る画像処理システムの構成例を説明するための図である。
【0011】
図1に示すように、第1の実施形態に係る画像処理システム1は、医用画像診断装置110と、画像保管装置120と、ワークステーション130と、端末装置140とを有する。図1に例示する各装置は、例えば、病院内に設置された院内LAN(Local Area Network)2により、直接的、又は間接的に相互に通信可能な状態となっている。例えば、画像処理システム1にPACS(Picture Archiving and Communication System)が導入されている場合、各装置は、DICOM(Digital Imaging and Communications in Medicine)規格に則って、医用画像等を相互に送受信する。
【0012】
かかる画像処理システム1は、医用画像診断装置110により生成された3次元の医用画像データであるボリュームデータから立体視画像として利用可能な視差画像群を生成し、この視差画像群から選択して構成される立体視画像を立体視可能なモニタに表示することで、病院内に勤務する医師や検査技師に立体視可能な医用画像を提供する。ここで、立体視画像とは、一般的には、複数の視点から撮影された視差角の異なる複数の画像のことである。第1の実施形態においては、ワークステーション130が、ボリュームデータに対して種々の画像処理を行ない、視差画像群を生成する。また、第1の実施形態においては、ワークステーション130及び端末装置140が、立体視可能なモニタを有し、ワークステーション130にて生成された視差画像群から選択して構成される立体視画像をこのモニタに表示する。また、画像保管装置120は、医用画像診断装置110にて生成されたボリュームデータや、ワークステーション130にて生成された視差画像群を保管する。すなわち、ワークステーション130や端末装置140は、画像保管装置120からボリュームデータや視差画像群を取得し、これを処理したり、モニタに表示したりする。以下、各装置を順に説明する。
【0013】
医用画像診断装置110は、X線診断装置、X線CT(Computed Tomography)装置、MRI(Magnetic Resonance Imaging)装置、超音波診断装置、SPECT(Single Photon Emission Computed Tomography)装置、PET(Positron Emission computed Tomography)装置、SPECT装置とX線CT装置とが一体化されたSPECT−CT装置、PET装置とX線CT装置とが一体化されたPET−CT装置、又はこれらの装置群等である。また、第1の実施形態に係る医用画像診断装置110は、3次元の医用画像データ(ボリュームデータ)を生成可能である。
【0014】
具体的には、第1の実施形態に係る医用画像診断装置110は、被検体を撮影することによりボリュームデータを生成する。例えば、医用画像診断装置110は、被検体を撮影することにより投影データやMR信号等のデータを収集し、収集したデータから、被検体の体軸方向に沿った複数のアキシャル面の医用画像を再構成することで、ボリュームデータを生成する。例えば、医用画像診断装置110は、500枚のアキシャル面の医用画像を再構成する。この500枚のアキシャル面の医用画像群が、ボリュームデータとなる。
【0015】
また、第1の実施形態に係る医用画像診断装置110は、生成したボリュームデータを画像保管装置120に送信する。なお、医用画像診断装置110は、ボリュームデータを画像保管装置120に送信する際に、付帯情報として、例えば、患者を識別する患者ID、検査を識別する検査ID、医用画像診断装置110を識別する装置ID、医用画像診断装置110による1回の撮影を識別するシリーズID等を送信する。
【0016】
画像保管装置120は、医用画像を保管するデータベースである。具体的には、第1の実施形態に係る画像保管装置120は、医用画像診断装置110から送信されたボリュームデータを記憶部に格納し、これを保管する。また、第1の実施形態においては、ワークステーション130が、ボリュームデータから視差画像群を生成し、生成した視差画像群を画像保管装置120に送信する。画像保管装置120は、ワークステーション130から送信された視差画像群を記憶部に格納し、これを保管する。なお、本実施形態は、大容量の画像を保管可能なワークステーション130を用いることで、図1に例示するワークステーション130と画像保管装置120とが統合される場合であっても良い。すなわち、本実施形態は、ワークステーション130そのものにボリュームデータもしくは視差画像群を記憶させる場合であっても良い。
【0017】
なお、第1の実施形態において、画像保管装置120に保管されたボリュームデータや視差画像群は、患者ID、検査ID、装置ID、シリーズID等と対応付けて保管される。ワークステーション130や端末装置140は、操作者が入力した患者ID、検査ID、装置ID、シリーズID等を用いた検索を行なうことで、操作者が必要とするボリュームデータや視差画像群を画像保管装置120から取得する。
【0018】
ワークステーション130は、医用画像に対して画像処理を行なう画像処理装置である。具体的には、第1の実施形態に係るワークステーション130は、画像保管装置120から取得したボリュームデータに対して種々のレンダリング処理を行ない、視差画像群を生成する。視差画像群とは、視差角の異なる複数の画像のことであり、例えば、9視差画像を裸眼にて立体視可能なモニタにて表示される立体視画像とは、視差角の異なる9枚の画像(視差画像)のことである。
【0019】
また、第1の実施形態に係るワークステーション130は、表示部として、立体視可能なモニタ(以下、立体表示モニタ)を有する。ワークステーション130は、視差画像群を生成し、生成した視差画像群を立体表示モニタに表示する。この結果、ワークステーション130の操作者は、立体表示モニタに表示された立体視可能な医用画像を確認しながら、視差画像群生成のための操作を行なうことができる。
【0020】
また、ワークステーション130は、生成した視差画像群を画像保管装置120に送信する。なお、ワークステーション130は、視差画像群を画像保管装置120に送信する際に、付帯情報として、例えば、患者ID、検査ID、装置ID、シリーズID等を送信する。また、視差画像群を画像保管装置120に送信する際に送信される付帯情報としては、視差画像群に関する付帯情報も挙げられる。視差画像群に関する付帯情報としては、視差画像の枚数(例えば、「9」)や、視差画像の解像度(例えば、「466×350画素」)等がある。
【0021】
端末装置140は、病院内に勤務する医師や検査技師に医用画像を閲覧させるための装置である。例えば、端末装置140は、病院内に勤務する医師や検査技師により操作されるPC(Personal Computer)やタブレット式PC、PDA(Personal Digital Assistant)、携帯電話等である。具体的には、第1の実施形態に係る端末装置140は、表示部として立体表示モニタを有する。また、端末装置140は、画像保管装置120から視差画像群を取得し、取得した視差画像群、又、取得した視差画像群から選択して構成される立体視画像を立体表示モニタに表示する。この結果、観察者である医師や検査技師は、立体視可能な医用画像を閲覧することができる。
【0022】
ここで、ワークステーション130や端末装置140が有する立体表示モニタについて説明する。現在最も普及している一般的な汎用モニタは、2次元画像を2次元で表示するものであり、2次元画像を立体表示することができない。仮に、観察者が汎用モニタにて立体視を要望する場合、汎用モニタに対して画像を出力する装置は、平行法や交差法により観察者が立体視可能な2視差画像を並列表示させる必要がある。又は、汎用モニタに対して画像を出力する装置は、例えば、左目用の部分に赤色のセロハンが取り付けられ、右目用の部分に青色のセロハンが取り付けられたメガネを用いて余色法により観察者が立体視可能な画像を表示する必要がある。
【0023】
一方、立体表示モニタとしては、立体視用メガネ等の専用機器を用いることで、2視差画像(両眼視差画像とも称する)を立体視可能とするものがある。
【0024】
図2は、2視差画像により立体表示を行なう立体表示モニタの一例を説明するための図である。図2に示す一例は、シャッター方式により立体表示を行なう立体表示モニタであり、モニタを観察する観察者が装着する立体視用メガネとしてシャッターメガネが用いられる。かかる立体表示モニタは、モニタにて2視差画像を交互に出射する。例えば、図2の(A)に示すモニタは、左目用の画像と右目用の画像を、120Hzにて交互に出射する。ここで、モニタには、図2の(A)に示すように、赤外線出射部が設置され、赤外線出射部は、画像が切り替わるタイミングに合わせて赤外線の出射を制御する。
【0025】
また、赤外線出射部から出射された赤外線は、図2の(A)に示すシャッターメガネの赤外線受光部により受光される。シャッターメガネの左右それぞれの枠には、シャッターが取り付けられており、シャッターメガネは、赤外線受光部が赤外線を受光したタイミングに合わせて左右のシャッターそれぞれの透過状態及び遮光状態を交互に切り替える。以下、シャッターにおける透過状態及び遮光状態の切り替え処理について説明する。
【0026】
各シャッターは、図2の(B)に示すように、入射側の偏光板と出射側の偏光板とを有し、更に、入射側の偏光板と出射側の偏光板との間に液晶相を有する。また、入射側の偏光板と出射側の偏光板とは、図2の(B)に示すように、互いに直交している。ここで、図2の(B)に示すように、電圧が印加されていない「OFF」の状態では、入射側の偏光板を通った光は、液晶層の作用により90度回転し、出射側の偏光板を透過する。すなわち、電圧が印加されていないシャッターは、透過状態となる。
【0027】
一方、図2の(B)に示すように、電圧が印加された「ON」の状態では、液晶層の液晶分子による偏光回転作用が消失するため、入射側の偏光板を通った光は、出射側の偏光板で遮られてしまう。すなわち、電圧が印加されたシャッターは、遮光状態となる。
【0028】
そこで、例えば、赤外線出射部は、モニタ上に左目用の画像が表示されている期間、赤外線を出射する。そして、赤外線受光部は、赤外線を受光している期間、左目のシャッターに電圧を印加せず、右目のシャッターに電圧を印加させる。これにより、図2の(A)に示すように、右目のシャッターが遮光状態となり、左目のシャッターが透過状態となるため、観察者の左目に左目用の画像が入射する。一方、赤外線出射部は、モニタ上に右目用の画像が表示されている期間、赤外線の出射を停止する。そして、赤外線受光部は、赤外線が受光されない期間、右目のシャッターに電圧を印加せず、左目のシャッターに電圧を印加させる。これにより、左目のシャッターが遮光状態となり、右目のシャッターが透過状態であるため、観察者の右目に右目用の画像が入射する。このように、図2に示す立体表示モニタは、モニタに表示される画像とシャッターの状態を連動させて切り替えることで、観察者が立体視可能な画像を表示させる。なお、2視差画像を立体視可能な立体表示モニタとしては、上記のシャッター方式以外にも、偏光メガネ方式を採用したモニタも知られている。
【0029】
更に、近年実用化された立体表示モニタとしては、レンチキュラーレンズ等の光線制御子を用いることで、例えば、9視差画像等の多視差画像を観察者が裸眼にて立体視可能とするものがある。かかる立体表示モニタは、両眼視差による立体視を可能とし、更に、観察者の視点移動に合わせて観察される映像も変化する運動視差による立体視も可能とする。
【0030】
図3は、9視差画像により立体表示を行なう立体表示モニタの一例を説明するための図である。図3に示す立体表示モニタには、液晶パネル等の平面状の表示面200の前面に、光線制御子が配置される。例えば、図3に示す立体表示モニタには、光線制御子として、光学開口が垂直方向に延びる垂直レンチキュラーシート201が表示面200の前面に貼り付けられている。なお、図3に示す一例では、垂直レンチキュラーシート201の凸部が前面となるように貼り付けられているが、垂直レンチキュラーシート201の凸部が表示面200に対向するように貼り付けられる場合であっても良い。
【0031】
表示面200には、図3に示すように、縦横比が3:1であり、縦方向にサブ画素である赤(R)、緑(G)、青(B)の3つが配置された画素202がマトリクス状に配置される。図3に示す立体表示モニタは、9つの画像により構成される9視差画像を、所定フォーマット(例えば格子状)に配置した中間画像に変換したうえで、表示面200に出力する。すなわち、図3に示す立体表示モニタは、9視差画像にて同一位置にある9つの画素それぞれを、9列の画素202に割り振って出力させる。9列の画素202は、図3に示すように、視差角の異なる9つの画像を同時に表示する単位画素群203となる。
【0032】
表示面200において単位画素群203として同時に出力された9視差画像は、例えば、LED(Light Emitting Diode)バックライトにより平行光として放射され、更に、垂直レンチキュラーシート201により、多方向に放射される。9視差画像の各画素の光が多方向に放射されることにより、観察者の右目及び左目に入射する光は、観察者の位置(視点の位置)に連動して変化する。すなわち、観察者の見る角度により、右目に入射する視差画像と左目に入射する視差画像とは、視差角が異なる。これにより、観察者は、例えば、図3に示す9つの位置それぞれにおいて、撮影対象を立体的に視認できる。また、観察者は、例えば、図3に示す「5」の位置において、撮影対象に対して正対した状態で立体的に視認できるとともに、図3に示す「5」以外それぞれの位置において、撮影対象の向きを変化させた状態で立体的に視認できる。なお、図3に示す立体表示モニタは、あくまでも一例である。9視差画像を表示する立体表示モニタは、図3に示すように、「RRR・・・、GGG・・・、BBB・・・」の横ストライプ液晶である場合であっても良いし、「RGBRGB・・・」の縦ストライプ液晶である場合であっても良い。また、図3に示す立体表示モニタは、図3に示すように、レンチキュラーシートが垂直となる縦レンズ方式である場合であっても良いし、レンチキュラーシートが斜めとなる斜めレンズ方式である場合であっても良い。
【0033】
ここまで、第1の実施形態に係る画像処理システム1の構成例について簡単に説明した。なお、上述した画像処理システム1は、PACSが導入されている場合に限定されるものではない。例えば、画像処理システム1は、医用画像が添付された電子カルテを管理する電子カルテシステムが導入されている場合であっても良い。この場合、画像保管装置120は、電子カルテを保管するデータベースである。また、例えば、画像処理システム1は、HIS(Hospital Information System)、RIS(Radiology Information System)が導入されている場合であっても良い。また、画像処理システム1は、上述した構成例に限られるものではない。各装置が有する機能やその分担は、運用の形態に応じて適宜変更されて良い。
【0034】
次に、第1の実施形態に係るワークステーション130の構成例について図4を用いて説明する。図4は、第1の実施形態に係るワークステーションの構成例を説明するための図である。なお、以下で用いる用語について、改めて説明すると、「立体視画像」とは、ボリュームデータに対してボリュームレンダリング処理を行なうことで生成された立体視用の画像群のことである。また、「視差画像」とは、「立体視画像」を構成する個々の画像のことである。すなわち、「立体視画像」は、「視差角」が異なる複数の「視差画像」から構成される。また、「視差数」とは、立体表示モニタにて立体視されるために必要となる「視差画像」の数のことである。また、「視差角」とは、「立体視画像」を生成するために設定された各視点の位置の間隔とボリュームデータの位置とにより定まる角度のことである。また、以下で記載する「9視差画像」とは、9つの「視差画像」から構成される「立体視画像」のことである。また、以下で記載する「2視差画像」とは、2つの「視差画像」から構成される「立体視画像」のことである。
【0035】
第1の実施形態に係るワークステーション130は、画像処理等に適した高性能なコンピュータであり、図4に示すように、入力部131と、表示部132と、通信部133と、記憶部134と、制御部135と、レンダリング処理部136とを有する。
【0036】
入力部131は、マウス、キーボード、トラックボール等であり、ワークステーション130に対する各種操作の入力を操作者から受け付ける。具体的には、第1の実施形態に係る入力部131は、レンダリング処理の対象となるボリュームデータを画像保管装置120から取得するための情報の入力を受け付ける。例えば、入力部131は、患者ID、検査ID、装置ID、シリーズID等の入力を受け付ける。また、第1の実施形態に係る入力部131は、レンダリング処理に関する条件(以下、レンダリング条件)の入力を受け付ける。
【0037】
表示部132は、立体表示モニタとしての液晶パネル等であり、各種情報を表示する。具体的には、第1の実施形態に係る表示部132は、操作者から各種操作を受け付けるためのGUI(Graphical User Interface)や、立体視画像等を表示する。例えば、表示部132は、図2を用いて説明した立体表示モニタ(以下、2視差モニタと記載する)や、図5を用いて説明した立体表示モニタ(以下、9視差モニタと記載する)である。以下では、表示部132が9視差モニタである場合について説明する。
【0038】
通信部133は、NIC(Network Interface Card)等であり、他の装置との間で通信を行う。
【0039】
記憶部134は、ハードディスク、半導体メモリ素子等であり、各種情報を記憶する。具体的には、第1の実施形態に係る記憶部134は、通信部133を介して画像保管装置120から取得したボリュームデータを記憶する。また、第1の実施形態に係る記憶部134は、レンダリング処理中のボリュームデータや、レンダリング処理が行なわれた立体視画像等を記憶する。
【0040】
制御部135は、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等の電子回路、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路であり、ワークステーション130の全体制御を行なう。
【0041】
例えば、第1の実施形態に係る制御部135は、表示部132に対するGUIの表示や視差画像群の表示を制御する。また、例えば、制御部135は、画像保管装置120との間で通信部133を介して行なわれるボリュームデータや視差画像群の送受信を制御する。また、例えば、制御部135は、レンダリング処理部136によるレンダリング処理を制御する。また、例えば、制御部135は、ボリュームデータの記憶部134からの読み込みや、視差画像群の記憶部134への格納を制御する。
【0042】
レンダリング処理部136は、制御部135による制御の下、画像保管装置120から取得したボリュームデータに対して種々のレンダリング処理を行ない、視差画像群を生成する。具体的には、第1の実施形態に係るレンダリング処理部136は、記憶部134からボリュームデータを読み込み、このボリュームデータに対して、まず前処理を行なう。次に、レンダリング処理部136は、前処理後のボリュームデータに対してボリュームレンダリング処理を行ない、視差画像群を生成する。続いて、レンダリング処理部136は、各種情報(目盛り、患者名、検査項目等)が描出された2次元画像を生成し、これを視差画像群それぞれに対して重畳することで、出力用の2次元画像を生成する。そして、レンダリング処理部136は、生成した視差画像群や出力用の2次元画像を記憶部134に格納する。なお、第1の実施形態において、レンダリング処理とは、ボリュームデータに対して行なう画像処理全体のことであり、ボリュームレンダリング処理とは、レンダリング処理の内、3次元の情報を反映した2次元画像(ボリュームレンダリング画像)を生成する処理のことである。
【0043】
図5は、図4に示すレンダリング処理部の構成例を説明するための図である。図5に示すように、レンダリング処理部136は、前処理部1361と、3次元画像処理部1362と、2次元画像処理部1363とを有する。前処理部1361は、ボリュームデータに対する前処理を行なう。3次元画像処理部1362は、前処理後のボリュームデータから視差画像群を生成する。2次元画像処理部1363は、立体視画像に各種情報が重畳された出力用の2次元画像を生成する。以下、各部を順に説明する。
【0044】
前処理部1361は、ボリュームデータに対してレンダリング処理を行なう際に、種々の前処理を行なう処理部であり、画像補正処理部1361aと、3次元物体フュージョン部1361eと、3次元物体表示領域設定部1361fとを有する。
【0045】
画像補正処理部1361aは、2種類のボリュームデータを1つのボリュームデータとして処理する際に画像補正処理を行なう処理部であり、図5に示すように、歪み補正処理部1361b、体動補正処理部1361c及び画像間位置合わせ処理部1361dを有する。例えば、画像補正処理部1361aは、PET−CT装置により生成されたPET画像のボリュームデータとX線CT画像のボリュームデータとを1つのボリュームデータとして処理する際に画像補正処理を行なう。或いは、画像補正処理部1361aは、MRI装置により生成されたT1強調画像のボリュームデータとT2強調画像のボリュームデータとを1つのボリュームデータとして処理する際に画像補正処理を行なう。
【0046】
歪み補正処理部1361bは、個々のボリュームデータにおいて、医用画像診断装置110によるデータ収集時の収集条件に起因するデータの歪みを補正する。また、体動補正処理部1361cは、個々のボリュームデータを生成するために用いられたデータの収集時期における被検体の体動に起因する移動を補正する。また、画像間位置合わせ処理部1361dは、歪み補正処理部1361b及び体動補正処理部1361cによる補正処理が行なわれた2つのボリュームデータ間で、例えば、相互相関法等を用いた位置合わせ(Registration)を行なう。
【0047】
3次元物体フュージョン部1363eは、画像間位置合わせ処理部1361dにより位置合わせが行なわれた複数のボリュームデータをフュージョンさせる。なお、画像補正処理部1361a及び3次元物体フュージョン部1361eの処理は、単一のボリュームデータに対してレンダリング処理を行なう場合、省略される。
【0048】
3次元物体表示領域設定部1361fは、操作者により指定された表示対象臓器に対応する表示領域を設定する処理部であり、セグメンテーション処理部1361gを有する。セグメンテーション処理部1361gは、操作者により指定された心臓、肺、血管等の臓器を、例えば、ボリュームデータの画素値(ボクセル値)に基づく領域拡張法により抽出する処理部である。
【0049】
なお、セグメンテーション処理部1361gは、操作者により表示対象臓器が指定されなかった場合、セグメンテーション処理を行なわない。また、セグメンテーション処理部1361gは、操作者により表示対象臓器が複数指定された場合、該当する複数の臓器を抽出する。また、セグメンテーション処理部1361gの処理は、レンダリング画像を参照した操作者の微調整要求により再度実行される場合もある。
【0050】
3次元画像処理部1362は、前処理部1361が処理を行なった前処理後のボリュームデータに対してボリュームレンダリング処理を行なう。ボリュームレンダリング処理を行なう処理部として、3次元画像処理部1362は、投影方法設定部1362aと、3次元幾何変換処理部1362bと、3次元物体アピアランス処理部1362fと、3次元仮想空間レンダリング部1362kとを有する。
【0051】
投影方法設定部1362aは、視差画像群を生成するための投影方法を決定する。例えば、投影方法設定部1362aは、ボリュームレンダリング処理を平行投影法により実行するか、透視投影法により実行するかを決定する。
【0052】
3次元幾何変換処理部1362bは、ボリュームレンダリング処理が実行されるボリュームデータを3次元幾何学的に変換するための情報を決定する処理部であり、平行移動処理部1362c、回転処理部1362d及び拡大縮小処理部1362eを有する。平行移動処理部1362cは、ボリュームレンダリング処理を行なう際の視点位置が平行移動された場合に、ボリュームデータを平行移動させる移動量を決定する処理部であり、回転処理部1362dは、ボリュームレンダリング処理を行なう際の視点位置が回転移動された場合に、ボリュームデータを回転移動させる移動量を決定する処理部である。また、拡大縮小処理部1362eは、立体視画像の拡大や縮小が要求された場合に、ボリュームデータの拡大率や縮小率を決定する処理部である。
【0053】
3次元物体アピアランス処理部1362fは、3次元物体色彩処理部1362g、3次元物体不透明度処理部1362h、3次元物体材質処理部1362i及び3次元仮想空間光源処理部1362jを有する。3次元物体アピアランス処理部1362fは、これらの処理部により、例えば、操作者の要求に応じて、表示される立体視画像の表示状態を決定する処理を行なう。
【0054】
3次元物体色彩処理部1362gは、ボリュームデータにてセグメンテーションされた各領域に対して着色される色彩を決定する処理部である。3次元物体不透明度処理部1362hは、ボリュームデータにてセグメンテーションされた各領域を構成する各ボクセルの不透過度(Opacity)を決定する処理部である。なお、ボリュームデータにおいて不透過度が「100%」とされた領域の後方の領域は、立体視画像において描出されないこととなる。また、ボリュームデータにおいて不透過度が「0%」とされた領域は、立体視画像において描出されないこととなる。
【0055】
3次元物体材質処理部1362iは、ボリュームデータにてセグメンテーションされた各領域の材質を決定することで、この領域が描出される際の質感を調整する処理部である。3次元仮想空間光源処理部1362jは、ボリュームデータに対してボリュームレンダリング処理を行なう際に、3次元仮想空間に設置する仮想光源の位置や、仮想光源の種類を決定する処理部である。仮想光源の種類としては、無限遠から平行な光線を照射する光源や、視点から放射状の光線を照射する光源等が挙げられる。
【0056】
3次元仮想空間レンダリング部1362kは、ボリュームデータに対してボリュームレンダリング処理を行ない、視差画像群を生成する。また、3次元仮想空間レンダリング部1362kは、ボリュームレンダリング処理を行なう際、必要に応じて、投影方法設定部1362a、3次元幾何変換処理部1362b、3次元物体アピアランス処理部1362fにより決定された各種情報を用いる。
【0057】
ここで、3次元仮想空間レンダリング部1362kによるボリュームレンダリング処理は、レンダリング条件に従って行なわれることになる。例えば、レンダリング条件は、「平行投影法」又は「透視投影法」である。また、例えば、レンダリング条件は、「基準の視点位置及び視差角」である。また、例えば、レンダリング条件は、「視点位置の平行移動」、「視点位置の回転移動」、「立体視画像の拡大」、「立体視画像の縮小」である。また、例えば、レンダリング条件は、「着色される色彩」、「透過度」、「質感」、「仮想光源の位置」、「仮想光源の種類」である。このようなレンダリング条件は、入力部131を介して操作者から受け付ける場合や、初期設定される場合が考えられる。いずれの場合も、3次元仮想空間レンダリング部1362kは、制御部135からレンダリング条件を受け付け、受け付けたレンダリング条件に従って、ボリュームデータに対するボリュームレンダリング処理を行なう。また、ボリュームレンダリング処理を行なう際、上述した投影方法設定部1362a、3次元幾何変換処理部1362b、3次元物体アピアランス処理部1362fが、このレンダリング条件に従って必要な各種情報を決定するので、3次元仮想空間レンダリング部1362kは、決定されたこれらの各種情報を用いて視差画像群を生成する。
【0058】
図6は、第1の実施形態に係るボリュームレンダリング処理の一例を説明するための図である。例えば、3次元仮想空間レンダリング部1362kが、図6の(A)に示すように、レンダリング条件として、平行投影法を受け付け、更に、基準の視点位置(5)と視差角「1度」とを受け付けたとする。かかる場合、3次元仮想空間レンダリング部1362kは、図6の(A)に示すように、視線方向に沿って無限遠から平行な光線を照射する光源を設定する。そして、3次元仮想空間レンダリング部1362kは、視差角が「1度」おきとなるように、視点の位置を(1)〜(9)に平行移動して、平行投影法により視差角が1度ずつ異なる9つの視差画像を生成する。
【0059】
或いは、3次元仮想空間レンダリング部1362kが、図6の(B)に示すように、レンダリング条件として、透視投影法を受け付け、更に、基準の視点位置(5)と視差角「1度」とを受け付けたとする。かかる場合、3次元仮想空間レンダリング部1362kは、図6の(B)に示すように、視線方向を中心に光を3次元的に放射状に照射する点光源や面光源を各視点にて設定する。そして、3次元仮想空間レンダリング部1362kは、例えば、ボリュームデータの切断面の中心(重心)を中心に視差角が「1度」おきとなるように、視点の位置を(1)〜(9)に回転移動して、透視投影法により視差角が1度ずつ異なる9つの視差画像を生成する。なお、透視投影法を行なう場合、レンダリング条件によっては、視点(1)〜(9)は、平行移動される場合であってもよい。なお、視線方向は、図6の(A)及び(B)に示すように、視点からボリュームデータの切断面の中心(重心)に向かう方向となる。
【0060】
或いは、3次元仮想空間レンダリング部1362kは、図6の(C)に示すように、表示されるボリュームレンダリング画像の縦方向に対しては、視線方向を中心に光を2次元的に放射状に照射し、表示されるボリュームレンダリング画像の横方向に対しては、視線方向に沿って無限遠から平行な光線を照射する光源を設定することで、平行投影法と透視投影法とを併用したボリュームレンダリング処理を行なってもよい。
【0061】
このようにして生成された9つの視差画像が、立体視画像である。第1の実施形態において、9つの視差画像は、例えば、制御部135により所定フォーマット(例えば格子状)に配置した中間画像に変換され、9視差モニタである表示部132に出力される。すると、ワークステーション130の操作者は、立体表示モニタに表示された立体視可能な医用画像を確認しながら、立体視画像生成のための操作を行なうことができる。
【0062】
なお、図6の例では、レンダリング条件として、投影方法、基準の視点位置及び視差角を受け付けた場合を説明したが、レンダリング条件として、他の条件を受け付けた場合も同様に、3次元仮想空間レンダリング部1362kは、それぞれのレンダリング条件を反映しつつ、視差画像群を生成する。
【0063】
また、3次元仮想空間レンダリング部1362kは、ボリュームレンダリングだけでなく、断面再構成法(MPR:Multi Planer Reconstruction)を行なってボリュームデータからMPR画像を再構成する機能も有する。なお、3次元仮想空間レンダリング部1362kは、「Curved MPR」を行なう機能や、「Intensity Projection」を行なう機能も有する。
【0064】
続いて、3次元画像処理部1362がボリュームデータから生成した視差画像群は、アンダーレイ(Underlay)とされる。そして、各種情報(目盛り、患者名、検査項目等)が描出されたオーバーレイ(Overlay)がアンダーレイに対して重畳されることで、出力用の2次元画像とされる。2次元画像処理部1363は、オーバーレイ及びアンダーレイに対して画像処理を行なうことで、出力用の2次元画像を生成する処理部であり、図3に示すように、2次元物体描画部1363a、2次元幾何変換処理部1363b及び輝度調整部1363cを有する。例えば、2次元画像処理部1363は、出力用の2次元画像の生成処理に要する負荷を軽減するために、1枚のオーバーレイに対して9枚の視差画像(アンダーレイ)をそれぞれ重畳することで、出力用の2次元画像を9枚、生成する。
【0065】
2次元物体描画部1363aは、オーバーレイに描出される各種情報を描画する処理部であり、2次元幾何変換処理部1363bは、オーバーレイに描出される各種情報の位置を平行移動処理又は回転移動処理したり、オーバーレイに描出される各種情報の拡大処理又は縮小処理したりする処理部である。
【0066】
また、輝度調整部172cは、輝度変換処理を行なう処理部であり、例えば、出力先のモニタの諧調や、ウィンドウ幅(WW:Window Width)、ウィンドウレベル(WL:Window Level)等の画像処理用のパラメータに応じて、オーバーレイ及びアンダーレイの輝度を調整する処理部である。
【0067】
レンダリング処理部136が生成した出力用の2次元画像は、例えば制御部135により一旦記憶部134に格納される。なお、本実施形態に係るレンダリング処理部136が生成した出力用の2次元画像は、各視差画像をアンダーレイとする立体視用の2次元画像群であり、かかる2次元画像群が、視差画像群となる。
【0068】
また、出力用の2次元画像群(視差画像群)は、図4に示すように、例えば制御部135により、通信部133を介して画像保管装置120に送信される。
【0069】
なお、制御部135は、例えば、レンダリング処理部136が生成した視差画像群が、当該視差画像群の生成元であるボリュームデータに対応付けて格納されるように制御する。
【0070】
そして、第1の実施形態に係る端末装置140は、上述したように、病院内に勤務する医師や検査技師に医用画像を閲覧させるための装置であり、画像保管装置120からレンダリング処理部136が生成した視差画像群(出力用の2次元画像)を取得する。図7は、第1の実施形態に係る端末装置の構成例を説明するための図である。
【0071】
第1の実施形態に係る端末装置140は、図7に示すように、入力部141と、表示部142と、通信部143と、記憶部144と、制御部145と、2次元画像処理部146とを有する。
【0072】
入力部141は、マウス、キーボード、トラックボール等であり、端末装置140に対する各種操作の入力を操作者から受け付ける。具体的には、第1の実施形態に係る入力部141は、操作者から立体視要求を受け付ける。例えば、入力部141は、立体視要求として、操作者が立体視を要望するボリュームデータを指定するための患者ID、検査ID、装置ID、シリーズID等の入力を受け付ける。
【0073】
表示部142は、立体表示モニタとしての液晶パネル等であり、各種情報を表示する。具体的には、第1の実施形態に係る表示部142は、操作者から各種操作を受け付けるためのGUI(Graphical User Interface)や、立体視画像等を表示する。例えば、表示部142は、図2を用いて説明した立体表示モニタ(以下、2視差モニタと記載する)や、図5を用いて説明した立体表示モニタ(以下、9視差モニタと記載する)である。以下では、表示部142が9視差モニタである場合について説明する。
【0074】
通信部143は、NIC(Network Interface Card)等であり、他の装置との間で通信を行う。具体的には、第1の実施形態に係る通信部143は、入力部141が受け付けた立体視要求を画像保管装置120に送信する。また、第1の実施形態に係る通信部143は、立体視要求に応じて画像保管装置120が送信した視差画像群を受信する。
【0075】
記憶部144は、ハードディスク、半導体メモリ素子等であり、各種情報を記憶する。具体的には、第1の実施形態に係る記憶部144は、通信部143を介して画像保管装置120から取得した視差画像群を記憶する。また、記憶部144は、通信部143を介して画像保管装置120から取得した視差画像群の付帯情報(視差数や解像度等)も記憶する。
【0076】
制御部145は、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等の電子回路、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路であり、端末装置140の全体制御を行なう。
【0077】
例えば、制御部145は、画像保管装置120との間で通信部143を介して行なわれる立体視要求や視差画像群の送受信を制御する。また、例えば、制御部145は、視差画像群の記憶部144への格納や、視差画像群の記憶部144からの読み込みを制御する。
【0078】
また、第1の実施形態に係る制御部145は、表示部142に対するGUIの表示や視差画像群の表示を制御する。第1の実施形態に係る制御部145は、立体視画像を所定フォーマット(例えば格子状)に配置した中間画像に変換した上で9視差モニタである表示部142に表示する。
【0079】
また、第1の実施形態に係る制御部145は、2次元画像処理部146による画像処理を制御する。
【0080】
2次元画像処理部146は、図5を用いて説明した2次元画像処理部1363と同様の機能を有する。すなわち、2次元画像処理部146は、3次元画像処理部1362により生成されたアンダーレイとしての視差画像群に対して、オーバーレイを生成して重畳することで、表示部142に対する出力用の2次元画像を生成することができる。
【0081】
更に、第1の実施形態に係る2次元画像処理部146は、2つの視差画像それぞれの奥行き情報を用いて、補間処理により、当該2つの視差画像から新たな視差画像を生成する補間機能を有する。なお、2次元画像処理部146の補間機能については、後に詳述する。
【0082】
さて、上述したように、レンダリング処理部136は、制御部135による制御の下、ボリュームデータから視差画像群を生成する。また、端末装置140は、画像保管装置120から視差画像群を取得して表示部142に表示する。これにより、端末装置140の操作者である医師や検査技師は、各種情報(目盛り、患者名、検査項目等)が描出された状態で、立体視可能な医用画像を閲覧することができる。
【0083】
しかし、端末装置140からの立体視要求に応じて、リアルタイムでレンダリング処理部136がボリュームレンダリング処理を行なって視差画像群を生成するためには、ワークステーション130に高い画像処理能力が要求される。
【0084】
そこで、第1の実施形態に係るワークステーション130は、3次元の医用画像データから立体視用の画像を生成するために要する処理の負荷を軽減するように、制御部135のレンダリング処理制御が行なわれる。すなわち、第1の実施形態に係るワークステーション130は、制御部135の制御の下、レンダリング処理部136が所定の立体視モニタにて立体視するために必要となる視差数以上の画像群(視差画像群)をボリュームデータから生成する。そして、第1の実施形態に係るワークステーション130は、制御部135が、レンダリング処理部136が生成した視差画像群を画像保管装置120に格納するように制御する。そして、立体視モニタ(例えば、表示部142)は、画像保管装置120に格納された視差画像群の中から視差数の視差画像を選択して構成される立体視画像(例えば、9視差画像)を表示する。
【0085】
例えば、第1の実施形態に係るワークステーション130の操作者は、院内LAN2に接続される装置が有する立体視モニタそれぞれが必要とする視差数の情報から、視差数の最大値を取得する。そして、この操作者は、取得した最大値以上の視差画像から構成される視差画像群が生成されるように、制御部135に対して視差数を含む所定のレンダリング条件を設定する。以下では、端末装置140の表示部142の視差数「9」が最大値である場合について説明する。なお、本実施形態は、最大値が「18」や「2」である場合であっても適用可能である。
【0086】
そして、制御部135は、視差数の情報とともに、予め設定されたレンダリング条件に基づいて、レンダリング処理部136のレンダリング処理を制御する。すなわち、制御部135は、所定形状の図形を形成する直線若しくは曲線に基づいてレンダリング処理を実行するための視点を視差数以上設定することで、視差画像群をレンダリング処理部136に生成させる。以下、第1の実施形態において設定される種々のレンダリング条件について説明する。
【0087】
本実施形態のレンダリング条件として設定される上記の所定形状の図形は、ボリュームデータのレンダリング対象となる領域であるレンダリング領域と視点との位置関係により、以下の2つに大別される。すなわち、第1図形条件では、制御部135は、レンダリング領域外に視点が位置されるように所定形状の図形を設定する。そして、制御部135は、設定した図形を形成する直線若しくは曲線を用いて視差画像群をレンダリング処理部136に生成させる。また、第2図形条件では、制御部135は、所定形状の図形として、レンダリング領域内に視点が位置される図形を設定する。そして、制御部135は、設定した図形を形成する直線若しくは曲線を用いて視差画像群をレンダリング処理部136に生成させる。
【0088】
また、本実施形態のレンダリング条件としては、視差画像群を構成する視差画像の数により、以下の2つに大別される。すなわち、第1画像数条件では、制御部135は、立体視されるために必要となる視差数の視差画像から構成される視差画像群を生成させる。また、第2画像数条件では、制御部135は、立体視されるために必要となる視差数より大きい数の視差画像から構成される視差画像群を生成させる。
【0089】
ここで、本実施形態のレンダリング条件として第1図形条件が設定されている場合、第1図形条件は、更に、視点の設定法により、以下の2つに大別される。すなわち、第1視点設定条件では、制御部135は、所定形状の図形を形成する直線若しくは曲線に沿ってレンダリング処理を実行するための視点を視差数以上設定する。また、第2視点設定条件では、制御部135は、所定形状の図形を形成する直線若しくは曲線上に設定された点における接線に沿ってレンダリング処理を実行するための視点を視差数以上設定する。
【0090】
なお、レンダリング条件としては、上述したように、視差角や、投影法、セグメンテーション条件等がある。以下では、視差角が「1度」と設定されている場合を説明する。ただし、視差角は、任意の値を設定することができる。例えば、視差角は、「0.5度」や「0.1度」、「3度」等であっても良い。
【0091】
まず、第1図形条件及び第1画像数条件により実行されるレンダリング処理を説明する。図8は、第1図形条件及び第1画像数条件により実行されるレンダリング処理を説明するための図である。例えば、制御部135は、第1図形条件により、レンダリング領域外に視点が位置される図形として、図8の(A)に示すように、正円を設定する。
【0092】
例えば、制御部135は、セグメンテーション処理部1361gが抽出したレンダリング領域の重心の位置を取得する。そして、制御部135は、重心を通る回転軸に対して直交する正円を設定する。ただし、制御部135は、正円がレンダリング領域の外部に位置するように、正円の半径を設定する。正円の半径は、制御部135がレンダリング領域の3次元空間座標に基づいて決定する場合であっても良いし、ワークステーション130の操作者が決定する場合であっても良い。また、正円の中心は、レンダリング領域の重心に限定されるものではなく、ワークステーション130の操作者により任意の位置に設定される場合であっても良い。例えば、正円の中心は、患部等の注目箇所に設定される場合であっても良い。かかる場合、ワークステーション130の操作者は、例えば、ボリュームデータを任意の切断面で切断したMPR画像を参照して患部の注目箇所を正円の中心として設定する。或いは、ワークステーション130として、例えば、病変部の候補領域を自動検出するコンピュータ読影支援診断システム(CAD:Computer Assisted Diagnosis)を搭載した装置を用いることで、ワークステーション130が患部の注目箇所を検出して、正円の中心を設定する場合であっても良い。
【0093】
そして、レンダリング処理部136は、制御部135の制御の下、視差角が「1度」となる9視差画像を生成する。
【0094】
例えば、制御部135は、第1視点設定条件が設定されている場合、図8の(B)に示すように、正円の周囲に沿って、視差角が1度となるように9個の視点を設定する。そして、第1視点設定条件が設定されている場合、レンダリング処理部136は、設定された9個の視点を用いて、図6の(B)で説明した透視投影法により9視差画像を生成する。なお、9個の視点の位置は、操作者、又は、制御部135により設定される。ただし、9個の視点における視線方向は、立体視表示が可能な条件を満たす必要がある。9個の視点における視線方向それぞれは、例えば、図6の(A)及び(B)に示すように、ボリュームデータの切断面の中心(重心)に向かう方向となるように設定される。
【0095】
また、制御部135は、第2視点設定条件が設定されている場合、図8の(C)に示すように、正円に基準点を設定し、設定した基準点を通る接線に沿って、視差角が1度となるように9個の視点を設定する。そして、第2視点設定条件が設定されている場合、レンダリング処理部136は、設定された9個の視点を用いて、図6の(A)で説明した平行投影法により9視差画像を生成する。なお、第2視点設定条件が設定されている場合、レンダリング処理部136は、図6の(C)で説明した投影法により9視差画像を生成しても良い。また、基準点の位置は、操作者、又は、制御部135により設定される。
【0096】
続いて、第1図形条件及び第2画像数条件により実行されるレンダリング処理を説明する。図9及び図10は、第1図形条件及び第2画像数条件により実行されるレンダリング処理を説明するための図である。まず、例えば、制御部135は、第1図形条件により、図8で説明したように、レンダリング領域外に視点が位置される図形として正円を設定する。そして、第2画像数条件により設定される視差数は、「10」以上となる。
【0097】
ここで、制御部135は、第2画像数条件により視差数「11」が設定され、かつ、第1視点設定条件が設定されている場合、図9の(A)に示すように、正円の周囲に沿って、視差角が1度となるように11個の視点を設定する。そして、レンダリング処理部136は、設定された11個の視点を用いて、11個の視差画像から構成される視差画像群を生成する。
【0098】
また、制御部135は、第2画像数条件により視差数「360」が設定され、かつ、第1視点設定条件が設定されている場合、図9の(B)に示すように、正円の全周囲に沿って、視差角が1度となるように360個の視点を設定する。なお、図9の(B)では、作図の都合上、42個しか視点が描出されていないが、実際には、360個の視点が設定されている。そして、レンダリング処理部136は、設定された360個の視点を用いて、360個の視差画像から構成される視差画像群を生成する。以下、図9の(B)に示すように、レンダリング対象に対して生成された全周囲の視差画像のことを全周囲データと記載する。
【0099】
また、制御部135は、第2画像数条件及び第2視点設定条件が設定されている場合、所定形状の図形を形成する直線若しくは曲線上に設定された複数の点における各接線方向沿ってレンダリング処理を実行するための視点を設定する。例えば、制御部135は、第2画像数条件及び第2視点設定条件が設定されている場合、図10に示すように、正円に複数個の基準点を設定し(図中の斜線付きの丸を参照)、設定した複数の基準点を通る接線それぞれに沿って、視差角が1度となるように9個の視点を設定する。そして、レンダリング処理部136は、各接線において設定された9個の視点を用いて、図6の(A)で説明した平行投影法により9視差画像を基準点ごとに生成する。なお、レンダリング処理部136は、図6の(C)で説明した投影法により、基準点ごとの9視差画像を生成しても良い。また、各基準点の位置は、操作者、又は、制御部135により設定される。
【0100】
なお、第1図形条件により設定される所定形状の図形は正円に限定されるものではない。図11は、第1図形条件の変形例を説明するための図である。
【0101】
例えば、第1図形条件により設定される所定形状の図形は、図11の(A)に示すように、楕円である場合であっても良い。また、第1図形条件により設定される所定形状の図形は、多角形であっても良く、例えば、図11の(B)に示すように、6角形である場合であっても良い。
【0102】
更に、第1図形条件により設定される所定形状の図形は、直線や曲線からなる閉じた図形である場合に限定されるものではない。例えば、第1図形条件により設定される所定形状の図形は、ポリライン(polyline)やスプライン(spline)曲線である場合でもよい。
【0103】
また、制御部135は、第1図形条件により、所定形状の図形を複数設定する場合であっても良い。例えば、制御部135は、図11の(C)に示すように、レンダリング領域の重心を通る回転軸を3つ設定することで、3つの正円を設定し、各正円において視差画像群が生成されるように制御しても良い。なお、視点が位置される図形として正円を用いることで、以下に説明する利点がある。一般的には、任意視点におけるレンダリング画像は、必ずしも、当該視点における視差画像とはならない。しかし、例えば、視点が位置される図形が正円の場合、視差角の条件を適切に設定することで、正円上の任意視点におけるレンダリング画像は、当該視点における視差画像となる。すなわち、視点が位置される図形として正円を用いることで、視差画像群として生成する画像数を大幅に低減することができる。その結果、保存する視差画像群のデータ量を大幅に低減することができる。
【0104】
このように、制御部135は、第1図形条件において、第1画像数条件及び第2画像数条件と、第1視点設定条件及び第2視点設定条件との任意の組み合わせにて視差画像群を生成させる。
【0105】
そして、制御部135は、レンダリング処理部136が生成した視差画像群を、通信部133を介して、画像保管装置120に格納させる。具体的には、制御部135は、レンダリング処理部136が生成した視差画像群を、当該視差画像群の生成元であるボリュームデータに対応付けて画像保管装置120に格納させる。
【0106】
かかる処理により、視差画像群が格納された状態となり、例えば、端末装置140の操作者は、自身が参照したいボリュームデータを指定するだけで、当該ボリュームデータを表示部142にて立体視することができる。
【0107】
そこで、端末装置140の制御部145は、以下の表示制御処理を行なう。すなわち、制御部145は、操作者が指定したボリュームデータの視差画像群を画像保管装置120から取得する。具体的には、制御部145は、操作者が指定したボリュームデータから生成された視差画像群から視差数の視差画像を画像保管装置120から取得する。例えば、制御部145は、端末装置140の操作者から入力部141を介して「患者ID、検査ID」等の付帯情報とともに立体視要求を受け付けると、付帯情報及び立体視要求を画像保管装置120に送信する。画像保管装置120は、受信した付帯情報に対応付けられたボリュームデータを検索し、更に、検索したボリュームデータに対応付けられた視差画像群を検索する。そして、画像保管装置120は、検索した視差画像群を端末装置140に送信する。
【0108】
そして、制御部145は、取得した視差数の視差画像を用いて構成される立体視画像を9視差モニタである表示部142にて表示させるように制御する。図12〜図14は、端末装置における表示制御を説明するための図である。
【0109】
例えば、図8を用いて説明した第1図形条件及び第1画像数条件により生成された視差画像群(9視差画像)を取得した場合、制御部145は、図12に示すように、9視差画像を3行3列の格子状に配列した中間画像に変換したうえで、表示部142に出力し、表示させる。なお、中間画像のフォーマットは、格子状に限定されるものではない。例えば、中間画像は、9視差画像を9視差モニタの仕様に応じた画素配置に並べ替えたフォーマットであれば良い。ここで、9視差モニタの仕様としては、縦ストライプ液晶、横ストライプ液晶、縦レンズ方式、斜めレンズ方式、斜めレンズの角度等が挙げられる。
【0110】
一方、図9及び図10を用いて説明した第1図形条件及び第2画像数条件により生成された視差画像群を取得した場合、制御部145は、以下に説明する処理を行なう。すなわち、制御部145は、画像保管装置120から取得した視差画像群の画像数が視差数より大きい場合、当該取得した視差画像群から選択された視差数分の画像群を表示部142にて表示させるように制御する。
【0111】
例えば、制御部145は、図13に示すように、全周囲データを取得した場合、視点位置が連続する9枚の視差画像を選択して格子状の中間画像に変換したうえで、表示部142に出力し、表示させる。なお、9視差画像の選択処理は、端末装置140の操作者により行なわれる場合であっても良い。また、9視差画像の選択処理は、予め、ワークステーション130により行なわれている場合であっても良い。なお、9視差画像の選択処理は、視点位置が連続する9枚の視差画像を選択する場合に限定されるものではない。例えば、9視差画像の選択処理は、連続する視点位置を2つごとに選択したり、3つごとに選択したりすることで行なわれる場合であっても良い。
【0112】
或いは、制御部145は、画像保管装置120から取得した視差画像群の画像数が視差数より大きい場合、当該取得した視差画像群から順次選択された視差数分の画像群を表示部142にて順次表示させるように制御する。具体的には、制御部145は、視差数の視差画像を順次選択することにより複数の立体視画像を表示部142にて順次表示させるように制御する。
【0113】
例えば、制御部145は、図14に示すように、全周囲データを取得した場合、視点位置が連続する9枚の視差画像を、数枚ずつずらして順次選択する。そして、制御部145は、図14に示すように、選択した9視差画像を順次中間画像に変換したうえで、表示部142に順次出力し、表示させる。その結果、表示部142は、操作者がボリュームデータを回転させながら立体視観察ができる立体視画像を表示することができる。なお、9視差画像の選択処理は、端末装置140の操作者により行なわれる場合であっても良い。また、9視差画像の選択処理は、予め、ワークステーション130により行なわれている場合であっても良い。なお、視差画像群としてレンダリング処理部136が生成する画像は、必ずしも「視差数以上」である必要はない。具体的には、レンダリング処理部136が生成した「視差数未満」の視差画像から、上述した2次元画像処理部146の補間機能を用いて、「視差数以上」の視差画像を生成する場合であっても良い。例えば、2次元画像処理部146が、視点位置が隣接する2つの視差画像から補間処理により視差画像として代用できる画像を生成することで、「視差数以上」の視差画像を生成する場合であっても良い。すなわち、本実施形態は、制御部135の制御によりレンダリング処理部136が生成した「視差数未満」の視差画像から、制御部145の制御により2次元画像処理部146が補間処理により「視差数以上」の視差画像を生成する場合であっても良い。なお、2次元画像処理部146の補間機能については、後に詳述する。
【0114】
次に、第2図形条件について説明する。第2図形条件では、制御部135は、レンダリング領域内に視点が位置されるように所定形状の図形を設定する。図15は、第2図形条件を説明するための図である。例えば、第2図形条件は、大腸を撮影した3次元X線CT画像の表示法(CTC:CT Colonography)として広く用いられている仮想内視鏡(VE:Virtual Endoscopy)表示法が実行される場合に適用される図形条件である。
【0115】
例えば、セグメンテーション処理部1361gは、大腸の管腔領域を抽出する。更に、セグメンテーション処理部1361gは、図15に示すように、管腔領域の芯線を抽出する。セグメンテーション処理部1361gにより抽出された芯線が第2図形条件にて用いられる所定形状の図形となる。そして、セグメンテーション処理部1361gは、図15に示すように、更に、抽出した芯線に所定間隔で複数の基準点を設定する(図中の白抜きの丸を参照)。
【0116】
かかる情報を取得した制御部135は、図15に示すように、芯線の各基準点が位置する場所に視点を設定し、視点を通り芯線に垂直となる平面において、設定した視点を中心として放射状に大腸内壁(管腔内壁)を1周囲で観察するための視線方向を設定する。基準点を中心に視線方向を360度回転させることにより、レンダリング処理部136は、各基準点において、大腸内壁(管腔内壁)を1周囲で立体視できる全周囲データを生成する。
【0117】
このようにして生成されたVE表示法の視差画像群は、画像保管装置120に格納される。そして、制御部145は、VE表示法の視差画像群のセットを画像保管装置120から取得して、表示部142に表示させる。すなわち、制御部145は、各基準点にて生成された全周囲データから選択された9視差画像を中間画像に変換したうえで、表示部142に出力する。なお、第1図形条件は、視点の位置をレンダリング領域外に限定し、第2図形条件は、視点の位置をレンダリング領域内に限定したものであるが、第1の実施形態において設定される視点の位置は、これらに限定されるものではない。例えば、第1の実施形態は、視点の一部がレンダリング領域内に位置し、視点の一部がレンダリング領域外に位置するように図形を設定する第3図形条件により立体視画像に用いられる視差画像群が生成される場合であっても良い。なお、第3図形条件にて設定される図形は、正円や楕円、多角形、直線、ポリラインやスプライン曲線のいずれの場合であっても良い。
【0118】
次に、図16及び図17を用いて第1の実施形態に係る画像処理システム1の処理について説明する。図16は、第1の実施形態に係る画像処理システムの画像格納処理を説明するための図である。また、図17は、第1の実施形態に係る画像処理システムの画像表示処理を説明するための図である。
【0119】
図16に示すように、第1の実施形態に係る画像処理システム1のワークステーション130は、処理対象となるボリュームデータが指定されたか否かを判定する(ステップS101)。ここで、ボリュームデータが指定されない場合(ステップS101否定)、ワークステーション130は、ボリュームデータが指定されるまで待機する。
【0120】
一方、ボリュームデータが指定された場合(ステップS101肯定)、制御部135は、指定されたボリュームデータを画像保管装置120から取得する(ステップS102)。そして、制御部135は、取得したボリュームデータに対するレンダリング条件を受け付けたか否かを判定する(ステップS103)。ここでレンダリング条件は、視差角、セグメンテーション条件等の他に、上述した図形条件、画像数条件、視点位置条件となる。
【0121】
レンダリング条件を受け付けない場合(ステップS103否定)、制御部135は、レンダリング条件を受け付けるまで待機する。一方、レンダリング条件を受け付けた場合(ステップS103肯定)、制御部135の制御により、レンダリング処理部136は、レンダリング条件に基づいて、ボリュームデータから視差画像群を生成する(ステップS104)。
【0122】
そして、制御部135は、画像保管装置120が視差画像群を格納するように制御し(ステップS105)、処理を終了する。
【0123】
その後、図17に示すように、第1の実施形態に係る画像処理システム1の端末装置140は、操作者により処理対象となるボリュームデータが指定されたか否かを判定する(ステップS201)。ここで、ボリュームデータが指定されない場合(ステップS201否定)、端末装置140は、ボリュームデータが指定されるまで待機する。
【0124】
一方、ボリュームデータが指定された場合(ステップS201肯定)、制御部145は、指定されたボリュームデータに対応付けられた視差画像群を取得し(ステップS202)、取得した視差画像群が9視差画像であるか否かを判定する(ステップS203)。なお、制御部145は、取得した視差画像群を記憶部144に格納する。
【0125】
ここで、取得した視差画像群が9視差画像である場合(ステップS203肯定)、制御部145は、9視差画像を中間画像に変換し(ステップS205)、表示部142にて表示させ(ステップS206)、処理を終了する。
【0126】
一方、取得した視差画像群が10枚以上の視差画像群である場合(ステップS203否定)、制御部145は、9視差画像を選択して中間画像に変換し(ステップS204)、表示部142にて表示させ(ステップS206)、処理を終了する。なお、図14で例示した回転表示を行なう場合、制御部145は、ステップS204及びSステップ206の処理を繰り返して実行する。
【0127】
上述してきたように、第1の実施形態では、第1図形条件や、第2図形条件等の様々なレンダリング条件により、予め、ボリュームデータから視差画像群を生成し記憶させておくことで、立体視要求を受け付けた場合に、リアルタイムでボリュームレンダリング処理を行なうことなく、立体視可能な画像群を提供することができる。従って、第1の実施形態では、高い画像処理能力を有するワークステーション130を設置する必要がなく、3次元の医用画像データから立体視用の画像を生成するために要する処理の負荷を軽減することができる。
【0128】
なお、上記の第1の実施形態は、以下に説明する3つの変形例を行なっても良い。以下、図18〜図20を用いて第1の実施形態の変形例について説明する。図18は、第1の実施形態に係る第1の変形例を説明するための図である。
【0129】
第1の実施形態に係る第1の変形例は、端末装置140の操作者の要望に応じて立体視される画像の立体感を変更させるものである。例えば、視差角が1度の9視差画像と視差角が2度の9視差画像とを比較すると、視差角が2度の9視差画像の方が、立体感が増すことが知られている。そこで、第1の変形例に係る制御部145は、表示部142に対して立体視用に出力する視差数分の画像群の視差角を変更させる。すなわち、制御部145は、選択する所定数の視差数の視差画像相互間の視差角を変更させる。例えば、入力部141は、立体感レベルを調整するためのスライドバーを有し、スライドバーの位置は、視差角の値と対応付けられているとする。
【0130】
ここで、操作者から立体感を向上させるためにスライドさせたバーの位置が「視差角:2度」である場合、制御部145は、「視差角:2度」の画像群を「視差角:1度」の全周囲データから選択可能であると判定する。そして、制御部145は、図18の(A)に示すように、「視差角:1度」の全周囲データから、「視差角:2度」となるように、1つおきに視差画像を9枚選択し、選択した9枚の画像を表示部142に出力させる。
【0131】
また、操作者から立体感を低下させるためにスライドさせたバーの位置が「視差角:0.5度」である場合、制御部145は、「視差角:0.5度」の画像群全てを「視差角:1度」の全周囲データから選択不可であると判定する。すなわち、制御部145は、図18の(B)に示す黒丸で示す視点位置の視差画像が存在しないと判定する。そこで、制御部145は、2次元画像処理部146の補間機能を利用する。すなわち、2次元画像処理部146は、上述したように、2つの視差画像それぞれの奥行き情報用いて、補間処理により、当該2つの視差画像から新たな視差画像を生成する補間機能を有する。2次元画像処理部146が実行する補間処理の具体例について、以下、説明する。例えば、画像Aと画像Bとの中間に位置する画像Cを生成する場合、2次元画像処理部146は、画像Aから画像Bへの方向を示す「画像Aと画像BとのWarp Field」を「Mutual Information法」によって算出する。そして、2次元画像処理部146は、「Warp Field」における各画素ベクトルの中間点(画像Aから画像Bへのベクトルの半分)を画像Aに積算することで、画像Cを生成する。また、画像Aと画像Bとの中間に位置する画像ではなく、例えば、「2:1」の角度位置の画像Cが必要な場合は、2次元画像処理部146は、「2:1」の比率に位置する画像Aから画像Bへのベクトルの画素を用いて画像Cを生成する。なお、画像Aと画像Bとの角度間隔が狭い場合、2次元画像処理部146は、奥行き情報を用いずに、画像Aと画像Bとを足し合わせた後に、画素値を半分にするといった単純な補間処理を行なっても良い。
【0132】
制御部145は、図18の(B)に示す黒丸で示す視点位置の視差画像を隣接する取得済みの2つの視差画像から補間処理により生成するように2次元画像処理部146を制御する。すなわち、2次元画像処理部146は、黒丸で示す視点位置に隣接する2つ視点により生成されている2つの視差画像それぞれの奥行き情報を用いて、補間処理により、黒丸で示す視点位置に対応する新たな視差画像を生成する。これにより、制御部145は、「視差角:0.5度」となる9枚の画像を表示部142に出力させる。
【0133】
このように、第1の実施形態に係る第1の変形例では、レンダリング処理を再実行させることなく、操作者の要望に応じて立体視される画像の立体感を変更することができる。
【0134】
次に、第1の実施形態に係る第2の変形例について図19を用いて説明する。図19は、第1の実施形態に係る第2の変形例を説明するための図である。
【0135】
第2の変形例において、レンダリング制御処理を行なう制御部135は、視差画像群を構成する各画像の解像度が、出力対象の立体表示モニタ(表示部142)の解像度より高くなるように、レンダリング処理部136を制御する。
【0136】
例えば、制御部135は、予め、端末装置40から表示部142の解像度が「512ピクセル×512ピクセル」であることを取得する。かかる場合、制御部135は、例えば、レンダリング処理部136に対して「1024ピクセル×1024ピクセル」の解像度となるボリュームレンダリング画像を生成するように指示する。
【0137】
これにより、端末装置140の制御部145は、図19の(A)に示すように、「1024ピクセル×1024ピクセル」の9視差画像を取得する。制御部145は、表示部142に取得した9視差画像を出力するために、2次元画像処理部146が有する拡大縮小機能を利用する。例えば、制御部145の指示により、2次元画像処理部146は、近接する画素の画素値の平均値を算出する補間処理により、図19の(A)に示すように、「1024ピクセル×1024ピクセル」の9視差画像を「512ピクセル×512ピクセル」の9視差画像とする。
【0138】
そして、制御部145は、図19の(A)に示すように、「512ピクセル×512ピクセル」の9視差画像を格子状に配置した中間画像に変換して表示部142に出力する。
【0139】
このように、高解像度の画像を低解像度に変換することで、以下の効果が奏することができる。すなわち、「512ピクセル×512ピクセル」の9視差画像を参照した操作者が拡大表示要求を要求した場合、制御部145は、2次元画像処理部146に対して9視差画像の拡大処理を指示することとなる。ここで、端末装置140の記憶部144には、原画像である「1024ピクセル×1024ピクセル」の9視差画像が格納されている。
【0140】
例えば、拡大要求された領域が原画像において「768ピクセル×768ピクセル」のサイズであるとする。かかる場合、2次元画像処理部146は、図19の(B)に示すように、原画像から「768ピクセル×768ピクセル」の領域を切り出して、「512ピクセル×512ピクセル」に縮小することで出力用の9視差画像を生成することができる。かかる9視差画像は、原画像が「512ピクセル×512ピクセル」の9視差画像である場合と比較して、解像度が低下していない。
【0141】
すなわち、第3の変形例では、高解像度の視差画像群を生成しておくことで、表示先の立体視用のモニタにて立体視画像が拡大表示された場合に低解像度となることを回避することができる。
【0142】
次に、第1の実施形態に係る第3の変形例について図20を用いて説明する。図20は、第1の実施形態に係る第3の変形例を説明するための図である。
【0143】
上記では、表示部142が9視差モニタである場合について説明したが、第1の実施形態は、表示部142が図2を用いて説明した2視差モニタである場合であっても適用可能である。例えば、制御部145が、図20に示すように、操作者が指定したボリュームデータに対応付けられた視差画像群として「視差角:1度」の9視差画像を取得したとする。かかる場合、制御部145は、図20に示すように、例えば、操作者が要求する「視差角:2度」となる2視差画像を9視差画像から選択し、表示部142に出力する。
【0144】
このように、制御部135の制御により、最大視差数以上の視差画像から構成される視差画像群を生成しておくことで、立体視モニタの立体視仕様に応じて立体視用の画像を表示させることができる。
【0145】
なお、上述した第1の実施形態及び第1の実施形態に係る変形例は、時系列に沿った複数のボリュームデータ(4Dデータ)が処理対象となる場合であっても適用可能である。かかる場合、制御部135は、時系列に沿った複数の視差画像群を生成させる。そして、制御部135は、複数の視差画像群を、4Dデータに対応付けて画像保管装置120に格納させる。そして、制御部145は、操作者が指定した4Dデータに対応付けられた複数の視差画像群を取得し、取得した複数の視差画像群を時系列に沿って個々の立体視画像に分割したうえで、表示部142にて立体視可能な動画として表示させることとなる。
【0146】
(第2の実施形態)
第2の実施形態では、視差画像群を格納する際のデータ形式について説明する。
【0147】
第2の実施形態において、ワークステーション130の制御部135は、格納制御処理を行なう際に、医用画像を送受信するための標準規格に基づいて、視差画像群を動画形式の動画データとして画像保管装置120に格納するように制御する。
【0148】
すなわち、第2の実施形態に係る制御部135は、図1を用いて説明したように、画像処理システム1が、標準規格であるDICOM規格に準拠したPACSであることを利用して、視差画像群を格納する際のデータ形式を、DICOM準拠の動画データとして画像保管装置120に格納するように制御する。
【0149】
更に、第2の実施形態に係る制御部135は、動画データとして格納した画像群が立体視用の画像群(視差画像群)であることを示す付帯情報として、プライベートタグを付与する。かかるプライベートタグが付与されることで、第2の実施形態に係る端末装置140の制御部145は、操作者が指定したボリュームデータの動画データを画像保管装置120から取得し、当該取得した動画データに付与された付帯情報に基づいて、当該動画データが視差画像群であるか否かを判定する。
【0150】
例えば、第2の実施形態に係る端末装置140の制御部145は、入力部131が有する「立体表示ボタン」を操作者が押下した場合、取得した動画データが立体視用データ形式に変換可能であるか否かを判定する。変換可能であると判定した場合、制御部145は、立体視用のデータ形式に動画データを変換して表示部142に出力する。一方、変換不可であると判定した場合、制御部145は、動画データを表示部142にて動画表示させる。
【0151】
図21〜図23は、動画データに付与されるプライベートタグを説明するための図である。例えば、制御部135は、図21の(A)に示すように、9つの画像を1つの長尺画像と結合することで、9視差画像を動画データとする。そして、制御部135は、図21の(A)に示すように、「プライベートタグ:立体視」を付帯情報として動画データに付与する。
【0152】
制御部145は、例えば、立体表示ボタンが押下された場合、「プライベートタグ:立体視」が付与されていることから、取得した動画データが視差画像群であると判定する。そして、制御部145は、図21の(A)に示すように、動画データに格納されている画像群を格子状の中間画像に変換して表示部142に出力する。
【0153】
或いは、9視差画像に付与するプライベートタグとしては、図21の(B)に示すように、視差角の情報であっても良い。例えば、制御部135は、図21の(B)に示すように、「視差角:1度」を付帯情報として動画データに付与する。制御部145は、視差角の情報が付与されていることから、取得した動画データが立体視用の画像群(視差画像群)であると判定する。
【0154】
なお、端末装置140の操作者は、立体視用に表示された立体視画像を立体視できないことが回避できるように、自身が立体視できる視差角の閾値を予め設定しておいても良い。例えば、操作者が「視差角:2度以内」とする情報を予め設定していた場合、制御部145は、例えば、取得した動画データに「視差角:5度」が付与されているならば、立体視不可として判定する。
【0155】
また、図22に示すように、例えば、視差画像群が360枚の全周囲データである場合、制御部135は、360枚の全周囲データを1つの動画データとする。そして、制御部135は、図22に示すように、「プライベートタグ:全周囲データ」を付帯情報として動画データに付与する。制御部145は、例えば、立体表示ボタンが押下された場合、「プライベートタグ:全周囲データ」が付与されていることから、取得した動画データが視差画像群であると判定する。そして、制御部145は、図22に示すように、動画データに格納されている画像群から選択した9視差画像を格子状の中間画像に変換して表示部142に出力する。
【0156】
或いは、図15を用いて説明した第2図形条件により生成された視差画像群を動画データとして保存する場合、制御部135は、図23に示すプライベートタグを付与する。すなわち、制御部135は、図23に示すように、「プライベートタグ:立体視」及び「プライベートタグ:全周囲データ」を付帯情報として動画データに付与する。更に、制御部135は、図23に示すように、動画データを基準点ごとの全周囲データに分割するための付帯情報として、異なる基準点の全周囲データの開始前の位置に「基準点フラグ」を挿入する。
【0157】
かかる付帯情報により、制御部145は、取得した動画データが視差画像群であると判定する。そして、制御部145は、フラグごとに動画データを分割して、VE表示法の立体視画像を立体視用に変換して表示部142に出力する。
【0158】
このように、プライベートタグを用いることで、PACSが導入されている病院内で、DICOM規格に準拠した動画データとして視差画像群を送受信することができる。しかし、プライベートタグを用いる場合、ビューアである端末装置140にプライベートタグを認識させるための機能を付加する必要がある。しかし、PACSとして運用されている画像処理システム1に様々なプライベートタグ認識機能を追加することは、システムの変更が必要となる。
【0159】
そこで、第2の実施形態に係る制御部135は、視差画像群をDICOM規格に準拠して動画形式の動画データとし、更に、標準規格(DICOM規格)にて用いられる付帯情報を当該動画データに付与したうえで、画像保管装置120に格納するように制御する。そして、第2の実施形態に係る制御部145は、操作者が指定したボリュームデータの動画データを画像保管装置120から取得し、当該取得した動画データに付与された付帯情報に基づいて、当該動画データが視差画像群であるか否かを判定する。
【0160】
以下、図24及び図25を用いて、視差画像群であると判定可能なDICOM規格に準拠した付帯情報の一例について説明する。図24及び図25は、動画データに付与されるDICOM規格に準拠した付帯情報を説明するための図である。
【0161】
例えば、制御部135は、図24に示すように、9つの画像を1つの長尺画像と結合することで、9視差画像を動画データとする。そして、制御部135は、図24に示すように、通常、DICOM規格にて付与される既存タグとしての付帯情報である「枚数:9」を動画データに付与する。制御部145は、例えば、立体表示ボタンが押下された場合、「枚数:9」が付与されていることから、取得した動画データが視差画像群であると判定する。そして、制御部145は、動画データに格納されている9視差画像を格子状の中間画像に変換して表示部142に出力する。
【0162】
或いは、制御部135は、図25に示すように、視差画像群が360枚の全周囲データである場合、360枚の全周囲データを1つの動画データとする。そして、制御部135は、図25に示すように、通常、DICOM規格にて付与される既存タグとしての付帯情報である「枚数:360」を動画データに付与する。制御部145は、例えば、立体表示ボタンが押下された場合、「枚数:360」が付与されていることから、取得した動画データが視差画像群であると判定する。そして、制御部145は、図25に示すように、動画データに格納されている視差画像群から選択した9視差画像を格子状の中間画像に変換して表示部142に出力する。或いは、制御部145は、動画データに格納されている視差画像群から順次選択した9視差画像を格子状の中間画像に変換して表示部142に順次出力する。或いは、制御部145は、動画データに格納されている視差画像群から、特定範囲の連続データにおいて、順次選択した9視差画像を格子状の中間画像に変換して表示部142に順次出力する。例えば、制御部145は、動画データに格納されている360枚の全周囲データの「1枚目から180枚目」の視差画像群から順次選択した9視差画像を格子状の中間画像に変換して表示部142に順次出力する。
【0163】
次に、図26を用いて第2の実施形態に係る画像処理システム1の処理について説明する。図26は、第2の実施形態に係る画像処理システムの画像表示処理を説明するための図である。なお、第2の実施形態に係る画像処理システム1の画像格納処理は、図16を用いて説明したステップS105において、制御部135が視差画像群をDICOM規格に準拠した動画データとし、当該動画データに付帯情報を付与したうえで、画像保管装置120に格納させる以外は同様であるので説明を省略する。
【0164】
図26に示すように、第2の実施形態に係る画像処理システム1の端末装置140は、操作者により処理対象となるボリュームデータが指定されたか否かを判定する(ステップS301)。ここで、ボリュームデータが指定されない場合(ステップS301否定)、端末装置140は、ボリュームデータが指定されるまで待機する。
【0165】
一方、ボリュームデータが指定された場合(ステップS301肯定)、制御部145は、指定されたボリュームデータに対応付けられた動画データを取得し(ステップS302)、立体表示ボタンが押下されたか否かを判定する(ステップS303)。ここで、立体表示ボタンが押下されない場合(ステップS303否定)、制御部145は、立体表示ボタンが押下されるまで待機する。
【0166】
一方、立体表示ボタンが押下された場合(ステップS303肯定)、制御部145は、付帯情報を参照して、立体視用データ形式である中間画像に変換可能であるか否かを判定する(ステップS304)。ここで、変換不可と判定した場合(ステップS304否定)、制御部135は、取得した動画データを動画表示させ(ステップS307)、処理を終了する。
【0167】
一方、変換可能と判定した場合(ステップS304肯定)、制御部135は、動画データを中間画像に変換する(ステップS305)。そして、制御部135は、中間画像を表示部142に出力することで、立体視表示させ(ステップS306)、処理を終了する。
【0168】
上述してきたように、第2の実施形態では、視差画像群をDICOM規格の動画データとして取り扱うことで、現在最も普及しているDICOM規格の院内システムにて、視差画像群から選択した立体視画像を表示可能とすることができる。また、第2の実施形態では、DICOM規格に銃準拠した既存タグを用いて立体視可能であるか否かを判定して表示させることができるので、現在最も普及しているDICOM規格の院内システムを変更させることなく、そのまま視差画像群から選択した立体視画像を表示するためのシステムとして運用することができる。なお、上記では、立体表示ボタンが押下されることで、制御部145による判定処理が行なわれる場合について説明した。しかし、第2の実施形態は、立体表示ボタンによる操作を判定処理の契機とするのではなく、動画データを取得した時点で制御部145による判定処理が行なわれる場合であっても良い。かかる場合、通常のDICOM規格に準拠したビューアを搭載する端末装置140において、制御部145により変換不可と判定された動画データは、動画として認識され、動画表示されることとなる。また、上記では、視差画像群をDICOM規格準拠した動画データとする場合について説明した。しかし、第2の実施形態は、DICOM規格に準拠した規格化データとして、例えば、全周囲データ等の360枚のデータを360枚のDICOM規格に準拠した静止画データとする場合であっても良い。かかる場合、制御部135は、360枚のDICOM静止画データを含むデータに、例えば、「枚数:360」の既存タグを付与する。そして、制御部145は、360枚のDICOM静止画データから、9視差画像を選択して、表示部142に出力する。例えば、制御部145は、立体表示ボタンが押下された場合、360枚のDICOM静止画データを含むデータに「枚数:360」の既存タグが付与されていることから、当該静止画データ群が視差画像群であると判定し、9視差画像を選択して、表示部142に出力する。
【0169】
なお、上記の第2の実施形態は、以下に説明する変形例を行なっても良い。すなわち、第1の実施形態で説明したように、画像処理システム1は、4Dデータに対しても処理が可能であり、制御部135が生成させた時系列に沿った複数の視差画像群は、DICOM規格に準拠した動画データとして取り扱うことが可能である。
【0170】
まず、制御部135は、第1の実施形態で説明したように、複数のボリュームデータが時系列に沿って生成されている場合、各ボリュームデータから時系列に沿った複数の視差画像群を生成させるようにレンダリング処理部136を制御する。
【0171】
そして、第2の実施形態に係る変形例では、制御部135は、レンダリング処理部136が生成した複数の視差画像群をDICOM規格に準拠した動画形式の動画データとする。ここで、第2の実施形態に係る変形例においても、付帯情報として、プライベートタグ、又は、既存タグを動画データに付与することができる。
【0172】
まず、図8の(B)を用いて説明したレンダリング条件により時系列に沿った9視差画像群が生成された場合に付与されるプライベートタグの一例を、図27を用いて説明する。図27は、第2の実施形態に係る変形例にて、動画データに付与されるプライベートタグを説明するための図である。例えば、制御部135は、図27の(A)に示すように、時系列に沿った複数の9視差画像それぞれを、動画データとする。更に、制御部135は、各動画データに「プライベートタグ:立体視」を付与する。
【0173】
また、制御部135は、各動画データに既存タグである時間情報を付与する。ここで、時間情報とは、動画データの生成元となったボリュームデータが撮影された時間であり、例えば、ミリ秒単位で刻まれた時刻の情報である。例えば、制御部135は、各動画データに既存タグである『「時間:t1」、「時間:t2」、「時間:t3」、・・・・・』を付与する。かかる動画データ群は、制御部135の格納制御により、生成元の4Dデータに対応付けて画像保管装置120に格納される。
【0174】
そして、制御部145は、操作者が指定した4Dデータに対応付けられた動画データ群を一括して取得し、取得した各動画データ全てに「プライベートタグ:立体視」が付与されていることから、立体視可能であると判定する。更に、制御部145は、取得した動画データ群に付与された既存タグの時間が、例えば、ミリ秒単位で刻まれた時刻であることから、動画データ群が動画表示用の時系列に沿った複数の視差画像群であると判定する。
【0175】
そして、制御部145は、図27の(A)に示すように、動画データ群を『「時間:t1」、「時間:t2」、「時間:t3」、・・・・・』の時系列に沿った複数の中間画像に変換し、表示部142に出力する。
【0176】
或いは、制御部135は、時系列に沿った複数の9視差画像を1つの動画データとする。例えば、制御部135は、図27の(B)に示すように、時系列に沿った50個の9視差画像を1つの動画データとする。ただし、制御部135は、『「時間:t1」、「時間:t2」、「時間:t3」、・・・・・「時間:t50」』の50個の9視差画像を、視点位置ごとに分割する。
【0177】
そして、制御部135は、「時間:t1」〜「時間:t50」の視点(1)の視差画像を時系列に沿って並べる(図中の「1(t1)、1(t2)・・・・、1(t50)」を参照」。同様に、制御部135は、「時間:t1」〜「時間:t50」の視点(2)の視差画像を時系列に沿って並べる(図中の「2(t1)、2(t2)・・・・、2(t50)」を参照)。同様に、制御部135は、「時間:t1」〜「時間:t50」の視点(3)の視差画像を時系列に沿って並べる(図中の「3(t1)、3(t2)・・・・、3(t50)」を参照)。制御部135は、かかる並べ替えの処理を視点(4)〜視点(9)についても同様に行なう。
【0178】
そして、制御部135は、動画データに対して、動画表示用の視差画像群であることを示す「プライベートタグ:4D(50)」を付与する。なお、プライベートタグの「50」は、時系列に沿った50個の9視差画像が4D用のデータとして格納されていることを示す情報である。
【0179】
そして、制御部145は、操作者が指定した4Dデータに対応付けられた動画データを取得し、取得した動画データに「プライベートタグ:4D(50)」が付与されていることから、立体視可能であり、かつ、動画表示用の複数の視差画像群であると判定する。
【0180】
そして、制御部145は、図27の(B)に示すように、動画データを『「時間:t1」、「時間:t2」、「時間:t3」、・・・・・』の時系列に沿った複数の中間画像に変換し、表示部142に出力する。
【0181】
ただし、上述したように、PACSとして運用されている画像処理システム1に様々なプライベートタグ認識機能を追加することは、システムの変更が必要となる。
【0182】
そこで、本変形例においても、制御部135は、DICOM規格に準拠した付帯情報(既存タグ)を動画データに付与したうえで、画像保管装置120に格納するように制御する。図28は、第2の実施形態に係る変形例にて、動画データに付与されるDICOM規格に準拠した付帯情報を説明するための図である。
【0183】
例えば、制御部135は、図28に示すように、時系列に沿った複数の9視差画像それぞれを、動画データとする。更に、制御部135は、各動画データに既存タグとして枚数を示す「9」を付与する。更に、制御部135は、各動画データに既存タグである時間情報を付与する。例えば、制御部135は、各動画データに既存タグである『「時間:t1」、「時間:t2」、「時間:t3」、・・・・・』を付与する。かかる動画データ群は、制御部135の格納制御により、生成元の4Dデータに対応付けて画像保管装置120に格納される。
【0184】
そして、制御部145は、操作者が指定した4Dデータの動画データを画像保管装置120から取得し、当該取得した動画データに付与された付帯情報に基づいて、当該動画データが動画表示用の時系列に沿った複数の視差画像群であるか否かを判定する。
【0185】
制御部145は、取得した各動画データ全てに枚数が「9」であることを示す既存タグが付与されていることから、立体視可能であると判定する。更に、制御部145は、取得した動画データ群に付与された既存タグの時間が、ミリ秒単位で刻まれた時刻であることから、動画データ群が動画表示用の時系列に沿った複数の視差画像群であると判定する。
【0186】
そして、制御部145は、図28に示すように、動画データを『「時間:t1」、「時間:t2」、「時間:t3」、・・・・・』の時系列に沿った複数の中間画像に変換し、表示部142に出力する。
【0187】
このように、第2の実施形態に係る変形例では、4Dデータを取り扱う場合であっても、現在最も普及しているDICOM規格の院内システムを変更させることなく、そのまま立体視画像を表示するためのシステムとして運用することができる。
【0188】
なお、上記実施形態においては、ワークステーション130が、制御部135により、視差画像群の生成制御及び格納制御を行ない、端末装置140が、制御部145により、立体視画像の取得及び表示制御を行なう場合について説明した。しかしながら、実施形態はこれに限られるものではない。例えば、ワークステーション130が、視差画像群の生成制御及び格納制御とともに、視差画像群の取得及び表示制御を行なう場合であっても良い。また、医用画像診断装置110や端末装置140が、視差画像群の生成制御及び格納制御と、視差画像群の取得及び表示制御とを行なう場合であっても良い。
【0189】
また、医用画像診断装置110が視差画像群の生成制御及び格納制御を行ない、ワークステーション130や端末装置140が視差画像群の取得及び表示制御を行なう場合であってあっても良い。
【0190】
また、上記実施形態においては、視差画像群の格納先が画像保管装置120である場合について説明した。しかしながら、実施形態はこれに限られるものではない。例えば、視差画像群の生成制御を行なった装置が格納制御を行なう対象は、自装置の記憶部である場合であっても良い。かかる場合、端末装置40は、例えば、ワークステーション130から視差画像群を取得する。
【0191】
すなわち、上記の実施形態で説明したレンダリング処理部136、制御部135、制御部145及び画像保管装置120の処理は、画像処理システム1に含まれる各装置の各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、CPUおよび当該CPUにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
【0192】
なお、上記の実施形態で説明した画像処理方法は、あらかじめ用意された画像処理プログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。この画像処理プログラムは、インターネットなどのネットワークを介して配布することができる。また、このプログラムは、ハードディスク、フレキシブルディスク(FD)、CD−ROM、MO、DVD、Blu-ray Disc(登録商標)等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することもできる。
【0193】
以上、説明したとおり、第1の実施形態、第1の実施形態に係る変形例、第2の実施形態及び第2の実施形態に係る変形例によれば、3次元の医用画像データから立体視用の画像を生成するために要する処理の負荷を軽減することができる。
【0194】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【0195】
1 画像処理システム
2 院内LAN(Local Area Network)
110 医用画像診断装置
120 画像保管装置
130 ワークステーション
131 入力部
132 表示部
133 通信部
134 記憶部
135 制御部
136 レンダリング処理部
140 端末装置
141 入力部
142 表示部
143 通信部
144 記憶部
145 制御部
146 2次元画像処理部




【特許請求の範囲】
【請求項1】
所定の視差数の視差画像を用いて構成される立体視画像を表示可能な立体表示装置と、
3次元の医用画像データであるボリュームデータに対してレンダリング処理を行なうレンダリング処理部、前記所定の視差数以上の視差画像群を前記ボリュームデータから生成させるように前記レンダリング処理部を制御するレンダリング処理制御部、及び前記レンダリング処理部が生成した前記視差画像群を記憶部に格納させる格納制御部を備えた画像処理装置と、
を備え、
前記立体表示装置は、前記記憶部に格納された前記視差画像群の中から前記所定の視差数の視差画像を選択して構成される立体視画像を表示することを特徴とする画像処理システム。
【請求項2】
操作者が指定したボリュームデータから生成された前記視差画像群から前記所定の視差数の視差画像を前記記憶部から取得し、当該取得した前記所定の視差数の視差画像を用いて構成される立体視画像を前記立体表示装置にて表示させるように制御する表示制御部、
を更に備えることを特徴とする請求項1に記載の画像処理システム。
【請求項3】
前記レンダリング処理制御部は、所定形状の図形を形成する直線若しくは曲線に基づいてレンダリング処理を実行するための視点を前記視差数以上設定することで、前記視差画像群を前記レンダリング処理部に生成させることを特徴とする請求項1又は2に記載の画像処理システム。
【請求項4】
前記レンダリング処理制御部は、前記ボリュームデータのレンダリング対象となる領域であるレンダリング領域外に視点が位置されるように前記所定形状の図形を設定し、当該設定した図形を形成する直線若しくは曲線に基づいて前記視差画像群を前記レンダリング処理部に生成させることを特徴とする請求項3に記載の画像処理システム。
【請求項5】
前記レンダリング処理制御部は、前記所定形状の図形を形成する直線若しくは曲線に沿ってレンダリング処理を実行するための視点を前記視差数以上設定することを特徴とする請求項4に記載の画像処理システム。
【請求項6】
前記レンダリング処理制御部は、前記所定形状の図形を形成する直線若しくは曲線上に設定された点における接線に沿ってレンダリング処理を実行するための視点を前記視差数以上設定することを特徴とする請求項4に記載の画像処理システム。
【請求項7】
前記レンダリング処理制御部は、前記所定形状の図形を形成する直線若しくは曲線上に設定された複数の点における各接線方向沿ってレンダリング処理を実行するための視点を設定することを特徴とする請求項4に記載の画像処理システム。
【請求項8】
前記レンダリング処理制御部は、前記ボリュームデータのレンダリング対象となる領域であるレンダリング領域内に視点が位置されるように前記所定形状の図形を設定し、当該設定した図形を形成する直線若しくは曲線に基づいて前記視差画像群を前記レンダリング処理部に生成させることを特徴とする請求項3に記載の画像処理システム。
【請求項9】
前記レンダリング処理制御部は、前記所定形状の図形を複数設定することを特徴とする請求項3に記載の画像処理システム。
【請求項10】
前記表示制御部は、前記記憶部から前記所定の視差数の視差画像を順次選択することにより複数の立体視画像を前記立体表示装置にて順次表示させるように制御することを特徴とする請求項2〜9のいずれか1つに記載の画像処理システム。
【請求項11】
前記表示制御部は、選択する前記所定数の視差数の視差画像相互間の視差角を変更させることを特徴とする請求項2〜10のいずれか1つに記載の画像処理システム。
【請求項12】
前記レンダリング処理制御部は、前記視差画像群を構成する各画像の解像度が、前記所定の立体表示装置の解像度より高くなるように、前記レンダリング処理部を制御することを特徴とする請求項1に記載の画像処理システム。
【請求項13】
前記レンダリング処理制御部は、前記視差画像群を、医用画像を送受信するための標準規格に基づく形式に規格化した規格化データとし、更に、格納制御部は、前記標準規格にて用いられる付帯情報を当該規格化データに付与したうえで、前記記憶部に格納するように制御し、
前記表示制御部は、操作者が指定したボリュームデータの規格化データを前記記憶部から取得し、当該取得した規格化データに付与された付帯情報に基づいて、当該規格化データが前記視差画像群であるか否かを判定することを特徴とする請求項2〜12のいずれか1つに記載の画像処理システム。
【請求項14】
前記レンダリング処理制御部は、前記標準規格に基づいて、前記視差画像群を動画形式の動画データとし、更に、格納制御部は、前記標準規格にて用いられる付帯情報を当該動画データに付与したうえで、前記記憶部に格納するように制御し、
前記表示制御部は、操作者が指定したボリュームデータの動画データを前記記憶部から取得し、当該取得した動画データに付与された付帯情報に基づいて、当該動画データが前記視差画像群であるか否かを判定することを特徴とする請求項13に記載の画像処理システム。
【請求項15】
前記レンダリング処理制御部は、複数のボリュームデータが時系列に沿って生成されている場合、各ボリュームデータから時系列に沿った複数の視差画像群を生成させるように前記レンダリング処理部を制御し、前記レンダリング処理部が生成した前記複数の視差画像群を前記標準規格にて用いられる動画形式の動画データとし、更に、格納制御部は、前記標準規格にて用いられる付帯情報を当該動画データに付与したうえで、前記記憶部に格納するように制御し、
前記表示制御部は、操作者が指定した複数のボリュームデータの動画データを前記記憶部から取得し、当該取得した動画データに付与された付帯情報に基づいて、当該動画データが動画表示用の時系列に沿った複数の視差画像群であるか否かを判定することを特徴とする請求項14に記載の画像処理システム。
【請求項16】
所定の視差数の視差画像を用いて構成される立体視画像を表示可能な立体表示装置と、
3次元の医用画像データであるボリュームデータに対してレンダリング処理を行なうレンダリング処理部と、
前記所定の視差数以上の視差画像群を前記ボリュームデータから生成させるように前記レンダリング処理部を制御するレンダリング処理制御部と、
前記レンダリング処理部が生成した前記視差画像群を記憶部に格納させる格納制御部と、
を備え、
前記立体表示装置は、前記記憶部に格納された前記視差画像群の中から前記所定の視差数の視差画像を選択して構成される立体視画像を表示することを特徴とする画像処理装置。
【請求項17】
画像処理装置が、3次元の医用画像データであるボリュームデータに対してレンダリング処理を行なうレンダリング処理部を、所定の視差数以上の視差画像群を前記ボリュームデータから生成させるように制御し、前記レンダリング処理部が生成した前記視差画像群を記憶部に格納させるステップ、
を含み、
前記所定の視差数の視差画像を用いて構成される立体視画像を表示可能な立体表示装置が、前記記憶部に格納された前記視差画像群の中から前記所定の視差数の視差画像を選択して構成される立体視画像を表示するステップ、
を含んだことを特徴とする画像処理方法。
【請求項18】
3次元の医用画像データであるボリュームデータに対してレンダリング処理を行なうレンダリング処理部を、所定の視差数以上の視差画像群を前記ボリュームデータから生成させるように制御し、前記レンダリング処理部が生成した前記視差画像群を記憶部に格納させる手順、
をコンピュータとしての画像処理装置に実行させ、
前記記憶部に格納された前記視差画像群の中から前記所定の視差数の視差画像を選択して構成される立体視画像を表示する手順、
を前記所定の視差数の視差画像を用いて構成される立体視画像を表示可能な立体表示装置に接続されるコンピュータに実行させることを特徴とする画像処理プログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate

【図22】
image rotate

【図23】
image rotate

【図24】
image rotate

【図25】
image rotate

【図26】
image rotate

【図27】
image rotate

【図28】
image rotate


【公開番号】特開2012−217591(P2012−217591A)
【公開日】平成24年11月12日(2012.11.12)
【国際特許分類】
【出願番号】特願2011−85838(P2011−85838)
【出願日】平成23年4月7日(2011.4.7)
【出願人】(000003078)株式会社東芝 (54,554)
【出願人】(594164542)東芝メディカルシステムズ株式会社 (4,066)
【Fターム(参考)】