説明

画像処理システム、装置、方法及び医用画像診断装置

【課題】経時的な画像データを表示する際にも立体的な情報を容易に把握させることができる画像処理システム、装置、方法及び医用画像診断装置を提供すること。
【解決手段】実施形態に係る画像処理装置においては、画像選択部は、経時的に撮像された画像データから生成された複数の視差画像群のなかから基準となる基準視差画像群を選択する。画質変更部は、基準視差画像群及び複数の視差画像群に含まれる視差画像群のうち少なくとも一方の画質を変更する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、画像処理システム、装置、方法及び医用画像診断装置に関する。
【背景技術】
【0002】
従来、立体視用メガネ等の専用機器を用いて、2つの視点から撮影された2視差画像を立体視可能なモニタ(monitor)が実用化されている。また、近年、レンチキュラーレンズ(lenticular lens)等の光線制御子を用いて、複数の視点から撮影された多視差画像(例えば、9視差画像)を裸眼にて立体視可能なモニタが実用化されている。なお、立体視可能なモニタにて表示される2視差画像や9視差画像は、1視点から撮影された画像の奥行き情報を推定し、推定した情報を用いた画像処理により生成される場合もある。
【0003】
一方、X線CT(Computed Tomography)装置やMRI(Magnetic Resonance Imaging)装置、超音波診断装置等の医用画像診断装置では、3次元の医用画像データ(以下、ボリュームデータ(volume data))を生成可能な装置が実用化されている。従来、かかる医用画像診断装置により生成されたボリュームデータは、種々の画像処理により2次元画像とされ、汎用モニタ上にて2次元表示される。例えば、医用画像診断装置により生成されたボリュームデータは、ボリュームレンダリング(volume rendering)処理により3次元の情報を反映した2次元画像とされ、汎用モニタ上にて2次元表示される。しかしながら、従来技術では、経時的な画像データを表示する際に立体的な情報を把握させることが困難になる場合があった。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2005−86414号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明が解決しようとする課題は、経時的な画像データを表示する際にも立体的な情報を容易に把握させることができる画像処理システム、装置、方法及び医用画像診断装置を提供することである。
【課題を解決するための手段】
【0006】
実施形態の画像処理システムは、選択手段と、画質変更手段とを備える。選択手段は、経時的に撮像された画像データから生成された複数の視差画像群のなかから基準となる基準視差画像群を選択する。画質変更手段は、前記選択手段によって選択された基準視差画像群及び前記複数の視差画像群に含まれる視差画像群のうち少なくとも一方の画質を変更する。
【図面の簡単な説明】
【0007】
【図1】図1は、第1の実施形態に係る画像処理システムの構成例を説明するための図である。
【図2A】図2Aは、2視差画像により立体表示を行なう立体表示モニタの一例を説明するための図である。
【図2B】図2Bは、2視差画像により立体表示を行なう立体表示モニタの一例を説明するための図である。
【図3】図3は、9視差画像により立体表示を行なう立体表示モニタの一例を説明するための図である。
【図4】図4は、第1の実施形態に係るワークステーション(workstation)の構成例を説明するための図である。
【図5】図5は、図5に示すレンダリング(rendering)処理部の構成例を説明するための図である。
【図6】図6は、第1の実施形態に係るボリュームレンダリング処理の一例を説明するための図である。
【図7】図7は、第1の実施形態に係る制御部の構成例を説明するための図である。
【図8】図8は、第1の実施形態に係る4Dデータを示す図である。
【図9】図9は、第1の実施形態に係る画質変更部による処理の一例を説明するための図である。
【図10】図10は、第1の実施形態に係る表示制御部による処理の一例を説明するための図である。
【図11】図11は、第1の実施形態に係るワークステーションによる処理の手順を示すフローチャート(flow chart)である。
【図12】図12は、第2の実施形態に係る表示制御部による処理の一例を説明するために図である。
【図13】図13は、第2の実施形態に係るワークステーションによる処理の手順を示すフローチャートである。
【図14】図14は、第3の実施形態に係る表示制御部による処理の一例を説明するため図である。
【図15】図15は、第3の実施形態に係るワークステーションによる処理の手順を示すフローチャートである。
【図16】図16は、第4の実施形態に係る画像選択部による処理の一例を説明するための図である。
【図17】図17は、第4の実施形態に係る変形例を説明するための図である。
【図18】図18は、第5の実施形態に係る変形例を説明するための図である。
【発明を実施するための形態】
【0008】
以下、添付図面を参照して、画像処理システム、装置、方法及び医用画像診断装置の実施形態を詳細に説明する。なお、以下では、画像処理装置としての機能を有するワークステーションを含む画像処理システムを実施形態として説明する。ここで、以下の実施形態で用いる用語について説明すると、「視差画像群」とは、ボリュームデータに対して、所定の視差角ずつ視点位置を移動させてボリュームレンダリング処理を行なうことで生成された画像群のことである。すなわち、「視差画像群」は、「視点位置」が異なる複数の「視差画像」から構成される。また、「視差角」とは、「視差画像群」を生成するために設定された各視点位置のうち隣接する視点位置とボリュームデータによって表される空間内の所定位置(例えば、空間の中心)とにより定まる角度のことである。また、「視差数」とは、立体表示モニタにて立体視されるために必要となる「視差画像」の数のことである。また、以下で記載する「9視差画像」とは、9つの「視差画像」から構成される「視差画像群」のことである。また、以下で記載する「2視差画像」とは、2つの「視差画像」から構成される「視差画像群」のことである。
【0009】
(第1の実施形態)
まず、第1の実施形態に係る画像処理システムの構成例について説明する。図1は、第1の実施形態に係る画像処理システムの構成例を説明するための図である。
【0010】
図1に示すように、第1の実施形態に係る画像処理システム1は、医用画像診断装置110と、画像保管装置120と、ワークステーション130と、端末装置140とを有する。図1に例示する各装置は、例えば、病院内に設置された院内LAN(Local Area Network)2により、直接的、又は間接的に相互に通信可能な状態となっている。例えば、画像処理システム1にPACS(Picture Archiving and Communication System)が導入されている場合、各装置は、DICOM(Digital Imaging and Communications in Medicine)規格に則って、医用画像等を相互に送受信する。
【0011】
かかる画像処理システム1は、医用画像診断装置110により生成された3次元の医用画像データであるボリュームデータから視差画像群を生成し、この視差画像群を立体視可能なモニタに表示することで、病院内に勤務する医師や検査技師に立体視可能な医用画像を提供する。具体的には、第1の実施形態においては、ワークステーション130が、ボリュームデータに対して種々の画像処理を行ない、視差画像群を生成する。また、ワークステーション130及び端末装置140が、立体視可能なモニタを有し、ワークステーション130にて生成された視差画像群をこのモニタに表示する。また、画像保管装置120は、医用画像診断装置110にて生成されたボリュームデータや、ワークステーション130にて生成された視差画像群を保管する。すなわち、ワークステーション130や端末装置140は、この画像保管装置120からボリュームデータや視差画像群を取得し、これを処理したり、モニタに表示したりする。以下、各装置を順に説明する。
【0012】
医用画像診断装置110は、X線診断装置、X線CT(Computed Tomography)装置、MRI(Magnetic Resonance Imaging)装置、超音波診断装置、SPECT(Single Photon Emission Computed Tomography)装置、PET(Positron Emission computed Tomography)装置、SPECT装置とX線CT装置とが一体化されたSPECT−CT装置、PET装置とX線CT装置とが一体化されたPET−CT装置、又はこれらの装置群等である。また、第1の実施形態に係る医用画像診断装置110は、3次元の医用画像データ(ボリュームデータ)を生成可能である。
【0013】
具体的には、第1の実施形態に係る医用画像診断装置110は、被検体を撮影することによりボリュームデータを生成する。例えば、医用画像診断装置110は、被検体を撮影することにより投影データやMR信号等のデータを収集し、収集したデータから、被検体の体軸方向に沿った複数のアキシャル(axial)面の医用画像データを再構成することで、ボリュームデータを生成する。例えば、医用画像診断装置110は、500枚のアキシャル面の医用画像データを再構成する。この500枚のアキシャル面の医用画像データ群が、ボリュームデータである。なお、医用画像診断装置110により撮影された被検体の投影データやMR信号等自体をボリュームデータとしても良い。
【0014】
また、第1の実施形態に係る医用画像診断装置110は、生成したボリュームデータを画像保管装置120に送信する。なお、医用画像診断装置110は、ボリュームデータを画像保管装置120に送信する際に、付帯情報として、例えば、患者を識別する患者ID、検査を識別する検査ID、医用画像診断装置110を識別する装置ID、医用画像診断装置110による1回の撮影を識別するシリーズ(series)ID等を送信する。
【0015】
画像保管装置120は、医用画像を保管するデータベース(database)である。具体的には、第1の実施形態に係る画像保管装置120は、医用画像診断装置110から送信されたボリュームデータを記憶部に格納し、これを保管する。また、第1の実施形態においては、ワークステーション130が、ボリュームデータから視差画像群を生成し、生成した視差画像群を画像保管装置120に送信する。このため、画像保管装置120は、ワークステーション130から送信された視差画像群を記憶部に格納し、これを保管する。なお、本実施形態は、大容量の画像を保管可能なワークステーション130を用いることで、図1に例示するワークステーション130と画像保管装置120とが統合される場合であっても良い。すなわち、本実施形態は、ワークステーション130そのものにボリュームデータもしくは視差画像群を記憶させる場合であっても良い。
【0016】
なお、第1の実施形態において、画像保管装置120に保管されたボリュームデータや視差画像群は、患者ID、検査ID、装置ID、シリーズID等と対応付けて保管される。このため、ワークステーション130や端末装置140は、患者ID、検査ID、装置ID、シリーズID等を用いた検索を行なうことで、必要なボリュームデータや視差画像群を画像保管装置120から取得する。
【0017】
ワークステーション130は、医用画像に対して画像処理を行なう画像処理装置である。具体的には、第1の実施形態に係るワークステーション130は、画像保管装置120から取得したボリュームデータに対して種々のレンダリング処理を行ない、視差画像群を生成する。視差画像群とは、複数の視点から撮影された複数の視差画像のことであり、例えば、9視差画像を裸眼にて立体視可能なモニタにて表示される視差画像群とは、視点位置が異なる9つの視差画像のことである。
【0018】
また、第1の実施形態に係るワークステーション130は、表示部として、立体視可能なモニタ(以下、立体表示モニタ)を有する。ワークステーション130は、視差画像群を生成し、生成した視差画像群を立体表示モニタに表示する。この結果、ワークステーション130の操作者は、立体表示モニタに表示された立体視可能な医用画像を確認しながら、視差画像群生成のための操作を行なうことができる。
【0019】
また、ワークステーション130は、生成した視差画像群を画像保管装置120に送信する。なお、ワークステーション130は、視差画像群を画像保管装置120に送信する際に、付帯情報として、例えば、患者ID、検査ID、装置ID、シリーズID等を送信する。また、視差画像群を画像保管装置120に送信する際に送信される付帯情報としては、視差画像群に関する付帯情報も挙げられる。視差画像群に関する付帯情報としては、視差画像の枚数(例えば、「9」)や、視差画像の解像度(例えば、「466×350画素」)等がある。
【0020】
端末装置140は、病院内に勤務する医師や検査技師に医用画像を閲覧させるための装置である。例えば、端末装置140は、病院内に勤務する医師や検査技師により操作されるPC(Personal Computer)やタブレット(tablet)式PC、PDA(Personal Digital Assistant)、携帯電話等である。具体的には、第1の実施形態に係る端末装置140は、表示部として立体表示モニタを有する。また、端末装置140は、画像保管装置120から視差画像群を取得し、取得した視差画像群を立体表示モニタに表示する。この結果、観察者である医師や検査技師は、立体視可能な医用画像を閲覧することができる。
【0021】
ここで、ワークステーション130や端末装置140が有する立体表示モニタについて説明する。現在最も普及している一般的な汎用モニタは、2次元画像を2次元で表示するものであり、2次元画像を立体表示することができない。仮に、観察者が汎用モニタにて立体視を要望する場合、汎用モニタに対して画像を出力する装置は、平行法や交差法により観察者が立体視可能な2視差画像を並列表示させる必要がある。又は、汎用モニタに対して画像を出力する装置は、例えば、左目用の部分に赤色のセロハン(cellophane)が取り付けられ、右目用の部分に青色のセロハンが取り付けられたメガネを用いて余色法により観察者が立体視可能な画像を表示する必要がある。
【0022】
一方、立体表示モニタとしては、立体視用メガネ等の専用機器を用いることで、2視差画像(両眼視差画像とも称する)を立体視可能とするものがある。
【0023】
図2A及び図2Bは、2視差画像により立体表示を行なう立体表示モニタの一例を説明するための図である。図2A及び図2Bに示す一例は、シャッター(shutter)方式により立体表示を行なう立体表示モニタであり、モニタを観察する観察者が装着する立体視用メガネとしてシャッターメガネが用いられる。かかる立体表示モニタは、モニタにて2視差画像を交互に出射する。例えば、図2Aに示すモニタは、左目用の画像と右目用の画像を、120Hzにて交互に出射する。ここで、モニタには、図2Aに示すように、赤外線出射部が設置され、赤外線出射部は、画像が切り替わるタイミング(timing)に合わせて赤外線の出射を制御する。
【0024】
また、赤外線出射部から出射された赤外線は、図2Aに示すシャッターメガネの赤外線受光部により受光される。シャッターメガネの左右それぞれの枠には、シャッターが取り付けられており、シャッターメガネは、赤外線受光部が赤外線を受光したタイミングに合わせて左右のシャッターそれぞれの透過状態及び遮光状態を交互に切り替える。以下、シャッターにおける透過状態及び遮光状態の切り替え処理について説明する。
【0025】
各シャッターは、図2Bに示すように、入射側の偏光板と出射側の偏光板とを有し、更に、入射側の偏光板と出射側の偏光板との間に液晶層を有する。また、入射側の偏光板と出射側の偏光板とは、図2Bに示すように、互いに直交している。ここで、図2Bに示すように、電圧が印加されていない「OFF」の状態では、入射側の偏光板を通った光は、液晶層の作用により90度回転し、出射側の偏光板を透過する。すなわち、電圧が印加されていないシャッターは、透過状態となる。
【0026】
一方、図2Bに示すように、電圧が印加された「ON」の状態では、液晶層の液晶分子による偏光回転作用が消失するため、入射側の偏光板を通った光は、出射側の偏光板で遮られてしまう。すなわち、電圧が印加されたシャッターは、遮光状態となる。
【0027】
そこで、例えば、赤外線出射部は、モニタ上に左目用の画像が表示されている期間、赤外線を出射する。そして、赤外線受光部は、赤外線を受光している期間、左目のシャッターに電圧を印加せず、右目のシャッターに電圧を印加させる。これにより、図2Aに示すように、右目のシャッターが遮光状態となり、左目のシャッターが透過状態となるため、観察者の左目に左目用の画像が入射する。一方、赤外線出射部は、モニタ上に右目用の画像が表示されている期間、赤外線の出射を停止する。そして、赤外線受光部は、赤外線が受光されない期間、右目のシャッターに電圧を印加せず、左目のシャッターに電圧を印加させる。これにより、左目のシャッターが遮光状態となり、右目のシャッターが透過状態であるため、観察者の右目に右目用の画像が入射する。このように、図2A及び図2Bに示す立体表示モニタは、モニタに表示される画像とシャッターの状態を連動させて切り替えることで、観察者が立体視可能な画像を表示させる。なお、2視差画像を立体視可能な立体表示モニタとしては、上記のシャッター方式以外にも、偏光メガネ方式を採用したモニタも知られている。
【0028】
更に、近年実用化された立体表示モニタとしては、レンチキュラーレンズ等の光線制御子を用いることで、例えば、9視差画像等の多視差画像を観察者が裸眼にて立体視可能とするものがある。かかる立体表示モニタは、両眼視差による立体視を可能とし、更に、観察者の視点移動に合わせて観察される映像も変化する運動視差による立体視も可能とする。
【0029】
図3は、9視差画像により立体表示を行なう立体表示モニタの一例を説明するための図である。図3に示す立体表示モニタには、液晶パネル(panel)等の平面状の表示面200の前面に、光線制御子が配置される。例えば、図3に示す立体表示モニタには、光線制御子として、光学開口が垂直方向に延びる垂直レンチキュラーシート(lenticular sheet)201が表示面200の前面に貼り付けられている。
【0030】
表示面200には、図3に示すように、縦横比が3:1であり、縦方向にサブ(sub)画素である赤(R)、緑(G)、青(B)の3つが配置された画素202がマトリクス(matrix)状に配置される。図3に示す立体表示モニタは、9つの画像により構成される9視差画像を、所定フォーマット(format)(例えば格子状)に配置した中間画像に変換したうえで、表示面200に出力する。すなわち、図3に示す立体表示モニタは、9視差画像にて同一位置にある9つの画素それぞれを、9列の画素202に割り振って出力させる。9列の画素202は、視点位置の異なる9つの画像を同時に表示する単位画素群203となる。
【0031】
表示面200において単位画素群203として同時に出力された9視差画像は、例えば、LED(Light Emitting Diode)バックライト(back light)により平行光として放射され、更に、垂直レンチキュラーシート201により、多方向に放射される。9視差画像の各画素の光が多方向に放射されることにより、観察者の右目及び左目に入射する光は、観察者の位置(視点の位置)に連動して変化する。すなわち、観察者の見る角度により、右目に入射する視差画像と左目に入射する視差画像とは、視差角が異なる。これにより、観察者は、例えば、図3に示す9つの位置それぞれにおいて、撮影対象を立体的に視認できる。また、観察者は、例えば、図3に示す「5」の位置において、撮影対象に対して正対した状態で立体的に視認できるとともに、図3に示す「5」以外それぞれの位置において、撮影対象の向きを変化させた状態で立体的に視認できる。なお、図3に示す立体表示モニタは、あくまでも一例である。9視差画像を表示する立体表示モニタは、図3に示すように、「RRR・・・、GGG・・・、BBB・・・」の横ストライプ(stripe)液晶である場合であっても良いし、「RGBRGB・・・」の縦ストライプ液晶である場合であっても良い。また、図3に示す立体表示モニタは、図3に示すように、レンチキュラーシートが垂直となる縦レンズ(lens)方式である場合であっても良いし、レンチキュラーシートが斜めとなる斜めレンズ方式である場合であっても良い。
【0032】
ここまで、第1の実施形態に係る画像処理システム1の構成例について簡単に説明した。なお、上述した画像処理システム1は、PACSが導入されている場合にその適用が限られるものではない。例えば、画像処理システム1は、医用画像が添付された電子カルテ(chart)を管理する電子カルテシステムが導入されている場合にも、同様に適用される。この場合、画像保管装置120は、電子カルテを保管するデータベースである。また、例えば、画像処理システム1は、HIS(Hospital Information System)、RIS(Radiology Information System)が導入されている場合にも、同様に適用される。また、画像処理システム1は、上述した構成例に限られるものではない。各装置が有する機能やその分担は、運用の形態に応じて適宜変更されてよい。
【0033】
次に、第1の実施形態に係るワークステーションの構成例について図4を用いて説明する。図4は、第1の実施形態に係るワークステーションの構成例を説明するための図である。なお、以下において、「視差画像群」とは、ボリュームデータに対してボリュームレンダリング処理を行なうことで生成された立体視用の画像群のことである。また、「視差画像」とは、「視差画像群」を構成する個々の画像のことである。すなわち、「視差画像群」は、視点位置が異なる複数の「視差画像」から構成される。
【0034】
第1の実施形態に係るワークステーション130は、画像処理等に適した高性能なコンピュータ(computer)であり、図4に示すように、入力部131と、表示部132と、通信部133と、記憶部134と、制御部135と、レンダリング処理部136とを有する。なお、以下では、ワークステーション130が画像処理等に適した高性能なコンピュータである場合を用いて説明するが、これに限定されるものではなく、任意の情報処理装置であって良い。例えば、任意のパーソナルコンピュータ(personal computer)であっても良い。
【0035】
入力部131は、マウス(mouse)、キーボード(keyboard)、トラックボール(trackball)等であり、ワークステーション130に対する各種操作の入力を操作者から受け付ける。具体的には、第1の実施形態に係る入力部131は、レンダリング処理の対象となるボリュームデータを画像保管装置120から取得するための情報の入力を受け付ける。例えば、入力部131は、患者ID、検査ID、装置ID、シリーズID等の入力を受け付ける。また、第1の実施形態に係る入力部131は、レンダリング処理に関する条件(以下、レンダリング条件)の入力を受け付ける。
【0036】
表示部132は、立体表示モニタとしての液晶パネル等であり、各種情報を表示する。具体的には、第1の実施形態に係る表示部132は、操作者から各種操作を受け付けるためのGUI(Graphical User Interface)や、視差画像群等を表示する。通信部133は、NIC(Network Interface Card)等であり、他の装置との間で通信を行う。
【0037】
記憶部134は、ハードディスク(hard disk)、半導体メモリ(memory)素子等であり、各種情報を記憶する。具体的には、第1の実施形態に係る記憶部134は、通信部133を介して画像保管装置120から取得したボリュームデータを記憶する。また、第1の実施形態に係る記憶部134は、レンダリング処理中のボリュームデータや、レンダリング処理により生成された視差画像群、及び、2次元表示用の画像等を記憶する。
【0038】
制御部135は、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等の電子回路、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路であり、ワークステーション130の全体制御を行なう。
【0039】
例えば、第1の実施形態に係る制御部135は、表示部132に対するGUIの表示や視差画像群の表示を制御する。また、例えば、制御部135は、画像保管装置120との間で通信部133を介して行なわれるボリュームデータや視差画像群の送受信を制御する。また、例えば、制御部135は、レンダリング処理部136によるレンダリング処理を制御する。また、例えば、制御部135は、ボリュームデータの記憶部134からの読み込みや、視差画像群の記憶部134への格納を制御する。
【0040】
レンダリング処理部136は、制御部135による制御の下、画像保管装置120から取得したボリュームデータに対して種々のレンダリング処理を行ない、視差画像群を生成する。具体的には、第1の実施形態に係るレンダリング処理部136は、記憶部134からボリュームデータを読み込み、このボリュームデータに対して、まず前処理を行なう。次に、レンダリング処理部136は、前処理後のボリュームデータに対してボリュームレンダリング処理を行ない、視差画像群を生成する。続いて、レンダリング処理部136は、各種情報(目盛り、患者名、検査項目等)が描出された2次元画像を生成し、これを視差画像群それぞれに対して重畳することで、出力用の2次元画像を生成する。そして、レンダリング処理部136は、生成した視差画像群や出力用の2次元画像を記憶部134に格納する。なお、第1の実施形態において、レンダリング処理とは、ボリュームデータに対して行なう画像処理全体のことであり、ボリュームレンダリング処理とは、レンダリング処理の内、3次元の情報を反映した2次元画像を生成する処理のことである。レンダリング処理により生成される医用画像とは、例えば、視差画像が該当する。
【0041】
図5は、図4に示すレンダリング処理部の構成例を説明するための図である。図5に示すように、レンダリング処理部136は、前処理部1361と、3次元画像処理部1362と、2次元画像処理部1363とを有する。前処理部1361が、ボリュームデータに対する前処理を行い、3次元画像処理部1362が、前処理後のボリュームデータから視差画像群を生成し、2次元画像処理部1363が、視差画像群に各種情報が重畳された出力用の2次元画像を生成する。以下、各部を順に説明する。
【0042】
前処理部1361は、ボリュームデータに対してレンダリング処理を行なう際に、種々の前処理を行なう処理部であり、画像補正処理部1361aと、3次元物体フュージョン(fusion)部1361eと、3次元物体表示領域設定部1361fとを有する。
【0043】
画像補正処理部1361aは、2種類のボリュームデータを1つのボリュームデータとして処理する際に画像補正処理を行なう処理部であり、図5に示すように、歪み補正処理部1361b、体動補正処理部1361c及び画像間位置合わせ処理部1361dを有する。例えば、画像補正処理部1361aは、PET−CT装置により生成されたPET画像のボリュームデータとX線CT画像のボリュームデータとを1つのボリュームデータとして処理する際に画像補正処理を行なう。或いは、画像補正処理部1361aは、MRI装置により生成されたT1強調画像のボリュームデータとT2強調画像のボリュームデータとを1つのボリュームデータとして処理する際に画像補正処理を行なう。
【0044】
また、歪み補正処理部1361bは、個々のボリュームデータにおいて、医用画像診断装置110によるデータ収集時の収集条件に起因するデータの歪みを補正する。また、体動補正処理部1361cは、個々のボリュームデータを生成するために用いられたデータの収集時期における被検体の体動に起因する移動を補正する。また、画像間位置合わせ処理部1361dは、歪み補正処理部1361b及び体動補正処理部1361cによる補正処理が行なわれた2つのボリュームデータ間で、例えば、相互相関法等を用いた位置合わせ(Registration)を行なう。
【0045】
3次元物体フュージョン部1363eは、画像間位置合わせ処理部1361dにより位置合わせが行なわれた複数のボリュームデータをフュージョンさせる。なお、画像補正処理部1361a及び3次元物体フュージョン部1361eの処理は、単一のボリュームデータに対してレンダリング処理を行なう場合、省略される。
【0046】
3次元物体表示領域設定部1361fは、操作者により指定された表示対象臓器に対応する表示領域を設定する処理部であり、セグメンテーション(segmentation)処理部1361gを有する。セグメンテーション処理部1361gは、操作者により指定された心臓、肺、血管等の臓器を、例えば、ボリュームデータの画素値(ボクセル(voxel)値)に基づく領域拡張法により抽出する処理部である。
【0047】
なお、セグメンテーション処理部1361gは、操作者により表示対象臓器が指定されなかった場合、セグメンテーション処理を行なわない。また、セグメンテーション処理部1361gは、操作者により表示対象臓器が複数指定された場合、該当する複数の臓器を抽出する。また、セグメンテーション処理部1361gの処理は、レンダリング画像を参照した操作者の微調整要求により再度実行される場合もある。
【0048】
3次元画像処理部1362は、前処理部1361が処理を行なった前処理後のボリュームデータに対してボリュームレンダリング処理を行なう。ボリュームレンダリング処理を行なう処理部として、3次元画像処理部1362は、投影方法設定部1362aと、3次元幾何変換処理部1362bと、3次元物体アピアランス(appearance)処理部1362fと、3次元仮想空間レンダリング部1362kとを有する。
【0049】
投影方法設定部1362aは、視差画像群を生成するための投影方法を決定する。例えば、投影方法設定部1362aは、ボリュームレンダリング処理を平行投影法により実行するか、透視投影法により実行するかを決定する。
【0050】
3次元幾何変換処理部1362bは、ボリュームレンダリング処理が実行されるボリュームデータを3次元幾何学的に変換するための情報を決定する処理部であり、平行移動処理部1362c、回転処理部1362d及び拡大縮小処理部1362eを有する。平行移動処理部1362cは、ボリュームレンダリング処理を行なう際の視点位置が平行移動された場合に、ボリュームデータを平行移動させる移動量を決定する処理部であり、回転処理部1362dは、ボリュームレンダリング処理を行なう際の視点位置が回転移動された場合に、ボリュームデータを回転移動させる移動量を決定する処理部である。また、拡大縮小処理部1362eは、視差画像群の拡大や縮小が要求された場合に、ボリュームデータの拡大率や縮小率を決定する処理部である。
【0051】
3次元物体アピアランス処理部1362fは、3次元物体色彩処理部1362g、3次元物体不透明度処理部1362h、3次元物体材質処理部1362i及び3次元仮想空間光源処理部1362jを有する。3次元物体アピアランス処理部1362fは、これらの処理部により、例えば、操作者の要求に応じて、表示される視差画像群の表示状態を決定する処理を行なう。
【0052】
3次元物体色彩処理部1362gは、ボリュームデータにてセグメンテーションされた各領域に対して着色される色彩を決定する処理部である。3次元物体不透明度処理部1362hは、ボリュームデータにてセグメンテーションされた各領域を構成する各ボクセルの不透過度(Opacity)を決定する処理部である。なお、ボリュームデータにおいて不透過度が「100%」とされた領域の後方の領域は、視差画像群において描出されないこととなる。また、ボリュームデータにおいて不透過度が「0%」とされた領域は、視差画像群において描出されないこととなる。
【0053】
3次元物体材質処理部1362iは、ボリュームデータにてセグメンテーションされた各領域の材質を決定することで、この領域が描出される際の質感を調整する処理部である。3次元仮想空間光源処理部1362jは、ボリュームデータに対してボリュームレンダリング処理を行なう際に、3次元仮想空間に設置する仮想光源の位置や、仮想光源の種類を決定する処理部である。仮想光源の種類としては、無限遠から平行な光線を照射する光源や、視点から放射状の光線を照射する光源等が挙げられる。
【0054】
3次元仮想空間レンダリング部1362kは、ボリュームデータに対してボリュームレンダリング処理を行ない、視差画像群を生成する。また、3次元仮想空間レンダリング部1362kは、ボリュームレンダリング処理を行なう際、必要に応じて、投影方法設定部1362a、3次元幾何変換処理部1362b、3次元物体アピアランス処理部1362fにより決定された各種情報を用いる。
【0055】
ここで、3次元仮想空間レンダリング部1362kによるボリュームレンダリング処理は、レンダリング条件に従って行なわれることになる。例えば、レンダリング条件は、「平行投影法」又は「透視投影法」である。また、例えば、レンダリング条件は、「基準の視点位置及び視差角」である。また、例えば、レンダリング条件は、「視点位置の平行移動」、「視点位置の回転移動」、「視差画像群の拡大」、「視差画像群の縮小」である。また、例えば、レンダリング条件は、「着色される色彩」、「透過度」、「質感」、「仮想光源の位置」、「仮想光源の種類」である。このようなレンダリング条件は、入力部131を介して操作者から受け付ける場合や、初期設定される場合が考えられる。いずれの場合も、3次元仮想空間レンダリング部1362kは、制御部135からレンダリング条件を受け付け、このレンダリング条件に従って、ボリュームデータに対するボリュームレンダリング処理を行なう。また、このとき、上述した投影方法設定部1362a、3次元幾何変換処理部1362b、3次元物体アピアランス処理部1362fが、このレンダリング条件に従って必要な各種情報を決定するので、3次元仮想空間レンダリング部1362kは、決定されたこれらの各種情報を用いて視差画像群を生成する。
【0056】
図6は、第1の実施形態に係るボリュームレンダリング処理の一例を説明するための図である。例えば、3次元仮想空間レンダリング部1362kが、図6の「9視差画像生成方式(1)」に示すように、レンダリング条件として、平行投影法を受け付け、更に、基準の視点位置(5)と視差角「1度」とを受け付けたとする。かかる場合、3次元仮想空間レンダリング部1362kは、視差角が「1度」おきとなるように、視点の位置を(1)〜(9)に平行移動して、平行投影法により視差角(視線方向間の角度)が1度ずつ異なる9つの視差画像を生成する。なお、平行投影法を行なう場合、3次元仮想空間レンダリング部1362kは、視線方向に沿って無限遠から平行な光線を照射する光源を設定する。
【0057】
或いは、3次元仮想空間レンダリング部1362kが、図6の「9視差画像生成方式(2)」に示すように、レンダリング条件として、透視投影法を受け付け、更に、基準の視点位置(5)と視差角「1度」とを受け付けたとする。かかる場合、3次元仮想空間レンダリング部1362kは、ボリュームデータの中心(重心)を中心に視差角が「1度」おきとなるように、視点の位置を(1)〜(9)に回転移動して、透視投影法により視差角が1度ずつ異なる9つの視差画像を生成する。なお、透視投影法を行なう場合、3次元仮想空間レンダリング部1362kは、視線方向を中心に光を3次元的に放射状に照射する点光源や面光源を各視点にて設定する。また、透視投影法を行なう場合、レンダリング条件によっては、視点(1)〜(9)は、平行移動される場合であってもよい。
【0058】
なお、3次元仮想空間レンダリング部1362kは、表示されるボリュームレンダリング画像の縦方向に対しては、視線方向を中心に光を2次元的に放射状に照射し、表示されるボリュームレンダリング画像の横方向に対しては、視線方向に沿って無限遠から平行な光線を照射する光源を設定することで、平行投影法と透視投影法とを併用したボリュームレンダリング処理を行なってもよい。
【0059】
このようにして生成された9つの視差画像が、視差画像群である。第1の実施形態において、9つの視差画像は、例えば制御部135により所定フォーマット(例えば格子状)に配置した中間画像に変換され、立体表示モニタとしての表示部132に出力される。すると、ワークステーション130の操作者は、立体表示モニタに表示された立体視可能な医用画像を確認しながら、視差画像群生成のための操作を行なうことができる。
【0060】
なお、図6の例では、レンダリング条件として、投影方法、基準の視点位置及び視差角を受け付けた場合を説明したが、レンダリング条件として、他の条件を受け付けた場合も同様に、3次元仮想空間レンダリング部1362kは、それぞれのレンダリング条件を反映しつつ、視差画像群を生成する。
【0061】
また、3次元仮想空間レンダリング部1362kは、ボリュームレンダリングだけでなく、任意の平面(例えば、アキシャル面、サジタル(sagittal)面、コロナル(coronal)面など)の平面画像を再構成する。例えば、3次元仮想空間レンダリング部1362kは、断面再構成法(MPR:Multi Planer Reconstruction)を行なってボリュームデータからMPR画像を再構成する。なお、3次元仮想空間レンダリング部1362kは、「Curved MPR」を行なう機能や、「Intensity Projection」を行なう機能も有する。
【0062】
続いて、3次元画像処理部1362がボリュームデータから生成した視差画像群は、アンダーレイ(Underlay)とされる。そして、各種情報(目盛り、患者名、検査項目等)が描出されたオーバーレイ(Overlay)がアンダーレイに対して重畳されることで、出力用の2次元画像とされる。2次元画像処理部1363は、オーバーレイ及びアンダーレイに対して画像処理を行なうことで、出力用の2次元画像を生成する処理部であり、図5に示すように、2次元物体描画部1363a、2次元幾何変換処理部1363b及び輝度調整部1363cを有する。例えば、2次元画像処理部1363は、出力用の2次元画像の生成処理に要する負荷を軽減するために、9枚の視差画像(アンダーレイ)のそれぞれに対して1枚のオーバーレイを重畳することで、出力用の2次元画像を9枚、生成する。
【0063】
2次元物体描画部1363aは、オーバーレイに描出される各種情報を描画する処理部であり、2次元幾何変換処理部1363bは、オーバーレイに描出される各種情報の位置を平行移動処理又は回転移動処理したり、オーバーレイに描出される各種情報の拡大処理又は縮小処理したりする処理部である。
【0064】
また、輝度調整部1363cは、輝度変換処理を行なう処理部であり、例えば、出力先の立体表示モニタの諧調や、ウィンドウ幅(WW:Window Width)、ウィンドウレベル(WL:Window Level)等の画像処理用のパラメータに応じて、オーバーレイ及びアンダーレイの輝度を調整する処理部である。
【0065】
このようにして生成された出力用の2次元画像は、例えば制御部135により一旦記憶部134に格納され、その後、通信部133を介して画像保管装置120に送信される。例えば、端末装置140が、画像保管装置120からこの出力用の2次元画像を取得し、所定フォーマット(例えば格子状)に配置した中間画像に変換した上で立体表示モニタに表示すると、観察者である医師や検査技師は、各種情報(目盛り、患者名、検査項目等)が描出された状態で、立体視可能な医用画像を閲覧することができる。
【0066】
以上、第1の実施形態に係る画像処理システム1及びワークステーション130の構成について説明した。かかる構成のもと、第1の実施形態に係るワークステーション130は、以下、詳細に説明する制御部135の処理により、経時的な画像データを表示する際にも立体的な情報を容易に把握することが可能となるように構成されている。具体的には、第1の実施形態に係るワークステーション130は、経時的な3次元画像データ(以下、4Dデータと記す)を立体視可能な表示部132に表示する際に、4Dデータのうち基準となる画像に対して他の画像を組み合わせて表示する。
【0067】
図7は、第1の実施形態に係る制御部135の構成例を説明するための図である。図7に示すように、制御部135は、画像選択部1351と、画質変更部1352と、表示制御部1353とを有し、操作者が立体的な情報を容易に把握できるように4Dデータを表示させる。
【0068】
ここで、まず、立体視機能を有する表示部に4Dデータを表示する際に、操作者が立体的な情報を把握することが困難になる一例について説明する。図8は、第1の実施形態に係る4Dデータを示す図である。図8に示す4Dデータは、造影剤によって描出された血管の様子を23フレーム(frame)の画像データで示す。図8に示すように、図8の4Dデータでは、5フレーム目の画像データから血管が描出され、造影剤の流れに伴って血管が徐々に描出される。このような4Dデータの場合に、操作者は、造影剤が流入した血管が急に描出され、さらにそれが消えていってしまうために血管全体の立体感を把握することが困難となる。そこで、第1の実施形態に係る制御部135は、このような4Dデータを表示する場合であっても、操作者が容易に立体感を把握することができる画像を表示させる。
【0069】
図7に戻って、画像選択部1351は、経時的に撮像された画像データから生成された複数の視差画像群のなかから基準となる基準視差画像群を選択する。具体的には、画像選択部1351は、複数の視差画像群のなかから、画像の全領域に対する表示対象物の描出された領域の割合が最大となる視差画像群を基準視差画像群として選択する。すなわち、画像選択部1351は、4Dデータに含まれる複数の画像データのなかから、表示対象物が全体像に最も近い状態で描出されている画像データを基準視差画像群として選択する。
【0070】
例えば、画像選択部1351は、4Dデータに含まれる各時相の画像データそれぞれにおける輝度に基づいて基準視差画像群を選択する。一例を挙げると、画像選択部1351は、図8に示す23フレームの画像データそれぞれの画素の輝度の合計値を算出し、算出した合計値が最大となる23フレーム目の画像データを基準視差画像群として選択する。
【0071】
画像変更部1352は、画像選択部1351によって選択された基準視差画像群及び前記複数の視差画像群に含まれる視差画像群のうち少なくとも一方の画質を変更する。具体的には、画質変更部1352は、基準視差画像群又は前記複数の視差画像群に含まれる視差画像の不透過度、コントラスト(contrast)及び明度のうち少なくとも1つを変更する。
【0072】
図9は、第1の実施形態に係る画質変更部1352による処理の一例を説明するための図である。図9においては、図8に示す23フレームの4Dデータのなかから、画像選択部1351によって23フレーム目の画像データが基準視差画像群として選択され、選択された基準視差画像群に対して処理を実行する場合について示す。例えば、画像変更部1352は、図9の(A)に示す基準視差画像群の不透過度を上げることで、図9の(B)に示すように、基準視差画像群の画質を変更する。
【0073】
図7に戻って、表示制御部1353は、画質変更部1352によって画質が変更された基準視差画像群に対して複数の視差画像群に含まれる視差画像群を組合せる、又は、画質変更部1352によって画質が変更された視差画像群に対して画像選択部1351によって選択された基準視差画像群を組み合わせる、又は、画質変更部1352によって画質が変更された基準視差画像群及び複数の視差画像群に含まれる視差画像群を組み合わせることで形成される画像を表示させる。具体的には、表示制御部1353は、基準視差画像群に対して複数の視差画像群に含まれる視差画像群を重畳させた重畳画像を表示させる。
【0074】
図10は、第1の実施形態に係る表示制御部1353による処理の一例を説明するための図である。例えば、表示制御部1353は、図10に示すように、レイヤ(layer)1に画質変更部1352によって不透過度が上げられた基準視差画像群を表示させ、レイヤ2に4Dデータに含まれる22フレームの視差画像群を経時的に表示させる。すなわち、表示制御部1353は、基準視差画像群に対して1フレーム目の視差画像群を重畳させた重畳画像を表示させ、次に、基準視差画像群に対して2フレーム目の視差画像群を重畳させた重畳画像を表示させる。そして、表示制御部1353は、基準視差画像群に対して各フレームの視差画像群を重畳させた重畳画像を順に表示部132に表示させる。例えば、表示部132には、図10の<重畳画像>に示すように、基準視差画像群に6フレーム目の視差画像群を重畳させた重畳画像が表示されることとなる。
【0075】
このように4Dデータを表示させることで、第1の実施形態に係るワークステーション130は、常に血管の全体像を立体的に描出した画像を表示させつつ、造影剤が流れる様子を操作者に表示することができる。
【0076】
次に、図11を用いて、第1の実施形態に係るワークステーション130の処理について説明する。図11は、第1の実施形態に係るワークステーション130による処理の手順を示すフローチャートである。図11に示すように、第1の実施形態に係るワークステーション130においては、入力部131を介して操作者から4Dデータの表示操作を受付けると(ステップ(step)S101肯定)、画像選択部1351は、表示操作を受付けた4Dデータのなかから、基準視差画像群を選択する(ステップS102)。
【0077】
そして、画質変更部1352は、画像選択部1351によって選択された基準視差画像群の画質(不透過度、コントラスト、明度など)を変更する(ステップS103)。その後、表示制御部1353は、画質変更部1352によって画質が変更された基準視差画像群に対して4Dデータの視差画像群を重畳した重畳画像を順に表示させる(ステップS104)。なお、第1の実施形態に係るワークステーション130は、4Dデータの表示操作を受付けるまで待機状態である(ステップS101否定)。
【0078】
上述したように、第1の実施形態によれば、画像選択部1351は、経時的に撮像された画像データから生成された複数の視差画像群のなかから基準となる基準視差画像群を選択する。そして、画質変更部1352は、画像選択部1351によって選択された基準視差画像群及び複数の視差画像群に含まれる視差画像群のうち少なくとも一方の画質を変更する。そして、表示制御部1353は、画質変更部1352によって画質が変更された基準視差画像群に対して複数の視差画像群に含まれる視差画像群を組合せる、又は、画質変更部1352によって画質が変更された視差画像群に対して画像選択部1351によって選択された基準視差画像群を組み合わせる、又は、画質変更部1352によって画質が変更された基準視差画像群及び複数の視差画像群に含まれる視差画像群を組み合わせることで形成される画像を表示させる。従って、第1の実施形態に係るワークステーション130は、常に表示対象物の全体像を立体的に表示させつつ、表示対象物の経時的な変化を操作者に表示することができ、経時的な画像データを表示する際にも立体的な情報を容易に把握させることを可能にする。
【0079】
また、第1の実施形態によれば、画像選択部1351は、複数の視差画像群のなかから、画像の全領域に対する表示対象物の描出された領域の割合が最大となる視差画像群を基準視差画像群として選択する。従って、第1の実施形態に係るワークステーション130は、表示対象物の全体像が最も描出された画像を常に表示させることができ、表示対象物の立体的な情報を操作者がより容易に把握することを可能にする。
【0080】
また、第1の実施形態によれば、画質変更部1352は、基準視差画像群又は複数の視差画像群に含まれる視差画像群の不透過度、コントラスト及び明度のうち少なくとも1つを変更する。従って、第1の実施形態に係るワークステーション130は、基準視差画像群と、重畳させる4Dデータの視差画像群との差をより明確にすることができ、操作者が表示対象物の経時的な変化を正確に把握することを可能にする。
【0081】
また、第1の実施形態によれば、表示制御部1353は、基準視差画像群に対して複数の視差画像群に含まれる視差画像群を重畳させた重畳画像を表示させる。従って、第1の実施形態に係るワークステーション130は、従来と同様の感覚で4Dデータを観察させることを可能にする。
【0082】
(第2の実施形態)
上述した第1の実施形態では、表示部132に重畳画像のみを表示させる場合について説明した。第2の実施形態では、操作者が視点を変えることで、4Dデータの視差画像群と、基準視差画像群と、両画像を重畳させた重畳画像とを同一画面上に表示させる場合について説明する。なお、第2の実施形態に係る制御部は、図7に示す第1の実施形態に係る制御部135と同一の構成を有する。そこで、第2の実施形態では、4Dデータの視差画群と、基準視差画像群と、両画像を重畳させた重畳画像とを同一画面上に表示させる制御部を表示制御部1353aとして説明する。すなわち、表示制御部1353aは、図7に示す表示制御部1353に新たな処理が追加されたものである。
【0083】
表示制御部1353aは、基準視差画像群、重畳画像及び複数の視差画像群に含まれる視差画像群それぞれを、立体視機能を有する表示部132の表示面から異なる角度で表示させる。具体的には、表示制御部1353aは、表示部132が有する9列の画素に対して、所定の数の画素ごとに基準視差画像群、重畳画像及び複数の視差画像群に含まれる視差画像群それぞれを出力させる。図12は、第2の実施形態に係る表示制御部1353aによる処理の一例を説明するために図である。
【0084】
例えば、表示制御部1353aは、図12の(A)に示すように、9列の画素のうち、第1列〜第3列の画素に4Dデータの視差画像群を出力させる。また、表示制御部1353aは、図12の(A)に示すように、9列の画素のうち、第4列〜第6列の画素に重畳画像を出力させる。また、表示制御部1353aは、図12の(A)に示すように、9列の画素のうち、第7列〜第9列の画素に基準視差画像群を出力させる。
【0085】
すなわち、表示制御部1353aは、4Dデータの各時相における視差画像の3視差分の画像を1〜3の画素に順に出力させる。また、表示制御部1353aは、基準視差画像の3視差分の画像を7〜9の画素に継続して出力させる。そして、表示制御部1353aは、7〜9の画素に継続して出力させている基準視差画像群に、現時点で1〜3の画素に出力させている視差画像群を重畳させた重畳画像を4〜6の画素に出力させる。
【0086】
これにより、操作者は、図12の(B)に示すように、視点1にて4Dデータの視差画像群を、視点2にて重畳画像を、視点3にて基準視差画像群をそれぞれ観察することができる。
【0087】
次に、図13を用いて、第2の実施形態に係るワークステーション130の処理について説明する。図13は、第2の実施形態に係るワークステーション130による処理の手順を示すフローチャートである。図13に示すように、第2の実施形態に係るワークステーション130においては、入力部131を介して操作者から4Dデータの表示操作を受付けると(ステップS201肯定)、画像選択部1351は、表示操作を受付けた4Dデータのなかから、基準視差画像群を選択する(ステップS202)。
【0088】
そして、画質変更部1352は、画像選択部1351によって選択された基準視差画像群の画質(不透過度、コントラスト、明度など)を変更する(ステップS203)。その後、表示制御部1353aは、画質変更部1352によって画質が変更された基準視差画像群に対して4Dのデータの視差画像群を重畳させる(ステップS204)。そして、表示制御部1353aは、9列の画素のうち3画素ごとに、4Dデータの視差画像群、重畳画像、基準視差画像群を表示させる(ステップS205)。なお、第2の実施形態に係るワークステーション130は、4Dデータの表示操作を受付けるまで待機状態である(ステップS201否定)。
【0089】
上述したように、第2の実施形態によれば、表示制御部1353aは、基準視差画像群、重畳画像及び複数の視差画像群に含まれる視差画像群それぞれを、立体視機能を有する表示部132の表示面から異なる角度で表示させる。従って、第2の実施形態に係るワークステーション130は、重畳画像とともに、重畳された基準視差画像群と、4Dデータの視差画像群とをそれぞれ表示させることで、操作者がおおもとの画像を確認しながら、表示対象物の全体像が描出された4Dデータの経時変化を観察することを可能にする。
【0090】
(第3の実施形態)
上述した第1及び第2の実施形態では、重畳画像を表示させる場合について説明した。第3の実施形態では、重畳画像を生成することなく、基準視差画像群と4Dデータの視差画像群とをフュージョンさせる場合について説明する。なお、第3の実施形態では、図7に示す第1の実施形態に係る制御部135と同一の構成を有する。そこで、第3の実施形態においては、重畳画像を生成することなく、基準視差画像群と4Dデータの視差画像群とをフュージョンさせる制御部を表示制御部1353bとして説明する。すなわち、表示制御部1353bは、図7に示す表示制御部1353に新たな処理が追加されたものである。
【0091】
表示制御部1353bは、基準視差画像群と複数の視差画像群に含まれる視差画像群とを、立体視機能を有する表示部132に備えられた複数の画素に対して交互に出力させる。具体的には、表示制御部1353bは、表示部132が有する9列の画素に対して、1画素ごと交互に基準視差画像群と、複数の視差画像群に含まれる視差画像群とを出力させる。図14は、第3の実施形態に係る表示制御部1353bによる処理の一例を説明するため図である。
【0092】
例えば、表示制御部1353bは、図14に示すように、9列の画素のうち、1、3、5、7及び9の画素に4Dデータの視差画像を出力させる。また、表示制御部1353bは、図14に示すように、9列の画素のうち、2、4、6及び8の画素に基準視差画像を出力させる。
【0093】
すなわち、表示制御部1353bは、4Dデータの各時相における視差画像群の5視差分の視差画像を1、3、5、7及び9の画素に順に出力させる。また、表示制御部1353bは、基準視差画像群の4視差分の視差画像を2、4、6及び8の画素に継続して出力させる。
【0094】
次に、図15を用いて、第3の実施形態に係るワークステーション130の処理について説明する。図15は、第3の実施形態に係るワークステーション130による処理の手順を示すフローチャートである。図15に示すように、第3の実施形態に係るワークステーション130においては、入力部131を介して操作者から4Dデータの表示操作を受付けると(ステップS301肯定)、画像選択部1351は、表示操作を受付けた4Dデータのなかから、基準視差画像群を選択する(ステップS302)。
【0095】
そして、画質変更部1352は、画像選択部1351によって選択された基準視差画像群の画質(不透過度、コントラスト、明度など)を変更する(ステップS303)。その後、表示制御部1353bは、画質変更部1352によって画質が変更された基準視差画像群と、4Dデータの視差画像群とを1画素ずつ交互に表示させる(ステップS304)。なお、第3の実施形態に係るワークステーション130は、4Dデータの表示操作を受付けるまで待機状態である(ステップS301否定)。
【0096】
上述したように、第3の実施形態によれば、表示制御部1353bは、基準視差画像群と複数の視差画像群に含まれる視差画像群とを、立体視機能を有する表示部132に備えられた複数の画素に対して交互に出力させる。従って、第3の実施形態に係るワークステーション130は、重畳画像を生成することなく、基準視差画像群と4Dデータの視差画像群とをフュージョンさせた画像を操作者に提供することを可能にする。
【0097】
(第4の実施形態)
上述した第1〜3の実施形態では、1時相の視差画像群を基準視差画像群として選択する場合について説明した。第4の実施形態では、複数の時相の視差画像群を合成させた画像を基準視差画像群として選択する場合について説明する。なお、第4の実施形態では、図7に示す第1の実施形態に係る制御部135と同一の構成を有する。そこで、第4の実施形態においては、複数の時相の視差画像群を合成させた画像を基準視差画像群として選択する制御部を画像選択部1351aとして説明する。すなわち、画像選択部1351aは、図7に示す画像選択部1351に新たな処理が追加されたものである。
【0098】
まず、第4の実施形態に係るワークステーション130の処理の適用例について説明する。上述した第1〜第3の実施形態においては、一連の視差画像群は、造影剤の流れに伴って血管が徐々に描出される4Dデータであった。ここで、血管の描出度合いが最も高い画像(第1の実施形態において、輝度の合計値が最大となる視差画像群)が血管全体の構造を描出しているとは限らない。すなわち、心臓から拍出された血液は、通常、動脈→毛細血管網→静脈の順に流れるので、動脈の描出度合いが最も高い画像と、静脈の描出度合いが最も高い画像とは、異なる画像になると考えられる。そこで、第4の実施形態に係るワークステーション130では、血管全体の構造が描出された画像を基準視差画像群として用いるように制御する。
【0099】
画像選択部1351aは、複数の視差画像群の中から複数の視差画像群を抽出し、抽出した複数の視差画像群を合成した画像を前記基準視差画像として選択する。具体的には、画像選択部1351aは、4Dデータの中から、動脈の描出度合いが最も高い視差画像群と、静脈の描出度合いが最も高い視差画像群とを抽出し、抽出した2つの視差画像群を同一の視点位置に対応する視差画像同士を合成することで、基準視差画群を生成する。
【0100】
図16は、第4の実施形態に係る画像選択部1351aによる処理の一例を説明するための図である。図16においては、図8に示す4Dデータ(造影剤によって描出された血管の様子を23フレームの画像データ)から2つの視差画像群を抽出し、合成した画像を基準視差画群とする場合について示す。例えば、画像選択部1351aは、図16に示すように、23フレームの画像データの中から、動脈の描出度合いが最も高い視差画像群として、16フレーム目の視差画像群を抽出する。さらに、画像選択部1351aは、23フレームの画像データの中から、静脈の描出度合いが最も高い視差画像群として、22フレーム目の視差画像群を抽出する。そして、画像選択部1351aは、抽出した16フレーム目の視差画像群と、22フレーム目の視差画像群とを合成した画像を基準視差画像群とする。
【0101】
すなわち、画質変更部1352は、図16に示すように、画像選択部1351によって合成された2枚の視差画像群の画質(不透過度、コントラスト及び明度のうち少なくとも1つ)を変更する。そして、表示制御部1353は、図16に示すように、レイヤ1にて、基準視差画像群を継続して表示し続け、レイヤ2には、4Dデータの視差画像群を時系列順に次々と表示する。このように、第4の実施形態に係るワークステーション130は、動脈及び静脈の双方が描出された画像上で、ある時相の画像を時系列順に次々と重畳しながら連続再生することができる。
【0102】
ここで、画像選択部1351aは、どの視差画像群を基準視差画像群とするかという選択を、例えば、操作者から受け付けてもよい。かかる場合には、画像選択部1351aは、例えば、一連の視差画像群を表示部132にサムネイル(thumbnail)表示し、操作者からの選択を受け付ければよい。
【0103】
また、例えば、画像選択部1351aは、動脈の描出度合いが最も高い画像が収集されるであろう時間(造影開始からの経過時間、例えば、x秒後)と、静脈の描出度合いが最も高い画像が収集されるであろう時間(例えば、y秒後)とを予め記憶し、これらの時間に収集されたボリュームデータからボリュームレンダリング処理された視差画像群を基準視差画像群として選択してもよい。なお、これらの時間は、例えば、経験値や実験値に基づいて決定された時間が操作者によって入力されればよい。
【0104】
また、例えば、画像選択部1351aは、画像解析によって基準視差画像群を選択してもよい。例えば、画像選択部1351aは、各ボリュームデータを画像解析することで、血液の流れが動脈から静脈へと切り替わるポイント(point)となる部位(例えば、脳梁)が描出され始めるフレームを特定する。そして、画像選択部1351aは、例えば、特定したフレームのひとつ前のフレームの視差画像群を、動脈の描出度合いが最も高い画像の基準視差画像群として選択する。また、画像選択部1351aは、第1の実施形態と同様、各視差画像群それぞれの輝度の合計値を算出し、算出した輝度が最大となる視差画像群を、静脈の描出度合いが最も高い画像の基準視差画像群として選択する。
【0105】
さて、これまで第1〜第4の実施形態においては、被検体の頭部が描出された視差画像群を例に挙げて説明してきたが、実施形態はこれに限られるものではなく、他の部位にも同様に適用することができる。以下では、第4の実施形態の変形例として、被検体の腹部が描出された視差画像群を例に挙げて説明する。
【0106】
図17は、第4の実施形態に係る変形例を説明するための図である。通常、心臓から拍出された血液は、動脈→毛細血管網→静脈の順に流れるが、動脈→毛細血管網→門脈→毛細血管網→静脈の順に流れる場合がある。なお、以下において、門脈とは、消化管を流れた血液が肝臓に注ぎ込む部分の血管の意味で用いる。
【0107】
そこで、第4の実施形態の変形例に係るワークステーション130は、動脈の描出度合いが最も高い視差画像群と、門脈の描出度合いが最も高い視差画像群とを抽出し、抽出した2つ視差画像群を合成した画像を基準視差画像群とする。この基準視差画像群は、動脈の描出度合いが最も高い視差画像群と、門脈の描出度合いが最も高い視差画像群とが足し合わされたものとなるので、撮影領域内における血管全体の構造を描出するものとなる。
【0108】
例えば、第4の実施形態の変形例に係るワークステーション130は、図17に示すように、一連の視差画像群の中から2つの視差画像群を抽出する。そして、ワークステーション130は、抽出した各基準視差画像群を同一の視点位置に対応する視差画像同士を合成することで、基準視差画像群を生成する。なお、腹部の場合、呼吸動による影響を受けることが考えられるので、基準視差画像群を生成する際には、位置合わせを行うことが望ましい。位置合わせは、公知の技術によって実現可能である。例えば、ワークステーション130は、呼吸動の影響を受けにくい部位(例えば、骨)を比較の対象として2つの視差画像群の相関度合いを算出することで、両視差画像群の位置合わせを行えばよい。また、ワークステーション130は、基準視差画像群について、不透過度、コントラスト及び明度のうち少なくとも1つを変更する。
【0109】
そして、ワークステーション130は、図17に示すように、レイヤ1には、基準視差画像群を継続して表示し続け、レイヤ2には、4Dデータの他の視差画像群を時系列順に次々と表示する。このように、ワークステーション130は、動脈及び門脈の双方が描出された画像上で、ある時相の画像を時系列順に次々と重畳しながら連続再生することができる。
【0110】
なお、画像選択部1351aによる視差画像群の選択は、上述した頭部の場合と同様である。すなわち、画像選択部1351aは、どの視差画像群を基準視差画像群とするかという選択を、例えば、操作者から受け付けてもよい。また、例えば、画像選択部1351aは、動脈の描出度合いが最も高い画像が収集されるであろう時間(造影開始からの経過時間、例えば、20秒後)と、門脈の描出度合いが最も高い画像が収集されるであろう時間(例えば、50秒後)とを予め記憶し、これらの時間に収集されたボリュームデータから生成された視差画像群を基準視差画像群として選択してもよい。なお、これらの時間は、例えば、経験値や実験値に基づいて決定された時間が操作者によって入力されればよい。また、例えば、画像選択部1351aは、画像解析によって基準視差画像群を選択してもよい。
【0111】
なお、第4の実施形態及び第4の実施形態の変形例においては、2つ視差画像群を合成して基準視差画群とする例を説明したが、これに限られるものではなく、3つ以上でもよい。例えば、画像選択部1351aは、操作者によって選択された3つ以上の視差画像群を合成して基準視差画像群としてもよい。かかる場合、ワークステーション130は、3つ視差画像群について、同一の視点位置に対応する3つの視差画像同士を合成することで、基準視差画像群を生成する。
【0112】
また、第4の実施形態において、操作者から基準ボリュームデータの選択を受け付けてもよいと説明したが、これに限られるものではなく、例えば、画像選択部1351aは、基準ボリュームデータの選択を修正する意味で、操作者からの指示を受け付けてもよい。
【0113】
例えば、画像選択部1351aは、時間や画像解析に基づいて自動的に選択された基準視差画像群を一度表示部132に表示する。すると、例えば、操作者は、目視により基準視差画像群を確認し、承認する場合には『承認』ボタン(button)を押下し、選択し直す場合には『再選択』ボタンを押下する。画像選択部1351aは、『再選択』ボタンが押下された場合には、再び、一連の視差画像群を表示部132にサムネイル表示し、操作者からの選択を受け付ければよい。また、この場合、画像選択部1351aは、サムネイル表示上で、自動で選択された基準視差画像群を明示してもよい。あるいは、画像選択部1351aは、自動で選択された基準視差画像群と時系列上一定範囲内の視差画像群のみをサムネイル表示してもよい。操作者は、自動的に選択された基準視差画像群を参考にすることができる。
【0114】
なお、基準ボリュームデータの選択を修正する意味で、操作者からの指示を受け付けてもよい点は、他の実施形態においても同様である。
【0115】
(第5の実施形態)
さて、これまで第1、第2、第3及び第4の実施形態について説明したが、上述した第1、第2、第3及び第4の実施形態以外にも、種々の異なる形態にて実施されてよいものである。
【0116】
上記した実施形態においては、4Dデータに含まれる複数の視差画像群のなかから、表示対象物が全体像に最も近い形状で描出された視差画像群を基準視差画像群として選択する場合について説明した。しかしながら、開示の技術はこれに限定されるものではなく、例えば、表示対象物の経時的な変化に基づいて、基準視差画像群を選択する場合であってもよい。一例を挙げると、血流が動脈から静脈にかわる時相の視差画像群を基準視差画像群として選択する場合であってもよい。
【0117】
上記した実施形態においては、基準視差画像群に対して、4Dデータの視差画像群を重畳させる場合について説明した。しかしながら、開示の技術はこれに限定されるものではなく、例えば、4Dデータの視差画像群に対して、基準視差画像群を重畳する場合にであってもよい。
【0118】
上記した実施形態においては、基準視差画像群の画質を変更する場合について説明した。しかしながら、開示の技術はこれに限定されるものはなく、例えば、4Dデータの視差画像群の画質を変更する場合であってもよい。かかる場合には、4Dデータの視差画像群すべての画質を変更して、画質を変更していない基準視差画像群に重畳する。
【0119】
上記した実施形態においては、基準視差画像群又は4Dデータの視差画像群のどちらか一方の画質を変更する場合について説明した。しかしながら、開示の技術はこれに限定されるものはなく、例えば、基準視差画像群及び4Dデータの視差画像群の両方の画質を変更する場合であってもよい。かかる場合には、基準視差画像群と4Dデータの視差画像群との画質が異なるように変更する。
【0120】
上記した実施形態においては、画質の変更として、不透過度、コントラスト又は明度のうち少なくとも1つを変更する場合について説明した。しかしながら、開示の技術はこれに限定されるものではなく、これらの変更に替えて、あるいはこれらの変更に加えて、例えば、色や色の濃度、あるいは表示態様を変更する場合であってもよい。なお、基準視差画像群又は4Dデータの視差画像群のどちらか一方の画質を変更してもよいし、基準視差画像群及び4Dデータの視差画像群の両方の画質を変更してもよい。
【0121】
例えば、第1の実施形態において、基準視差画像群は、血管の描出された領域の割合が最大となる画像である。そこで、例えば、画質変更部1352は、基準視差画像群に描出される血管の色と、4Dデータの視差画像群に描出される血管の色とを操作者が識別し易いように、基準視差画像群や4Dデータの視差画像群に描出される血管の色を、互いに異なる色になるように調整してもよい。例えば、画質変更部1352は、基準視差画像群に描出される血管の色を『白』に調整する。この場合、血管の全体像は『白』に描出され、造影剤が流れる様子(すなわち、血液が流れる様子)は例えば『赤』で描出される。表示制御部1353は、あたかもストローの中を血液が流れていくような動画像を操作者に提供することができる。
【0122】
また、例えば、画質変更部1352は、血管の色の濃度を調整してもよい。例えば、画質変更部1352は、基準視差画像群に描出される血管の色の濃度を薄く調整し、4Dデータの視差画像群に描出される血管の色の濃度を濃く調整する。この場合、血管の全体像は薄く描出され、造影剤が流れる様子は濃く描出される。
【0123】
また、例えば、画質変更部1352は、基準視差画像群を画像解析することでワイヤーフレーム(wire frame)状の血管の全体像を生成してもよい。この場合、表示制御部1353は、このワイヤーフレーム状に描出された基準視差画像群に、4Dデータの視差画像群を重畳すればよい。例えば、画質変更部1352は、基準視差画像群のボリュームデータをCT値の閾値処理などにより画像解析し、ボリュームデータから血管を抽出する。次に、画質変更部1352は、抽出した血管の中心点を結ぶ線を「芯線」として更に抽出し、この「芯線」を血管の全体像として描出する。この場合、血管の全体像は「芯線」のみのワイヤーフレーム状に描出され、血液は、その周囲を流れるように描出される。
【0124】
なお、このような色、色の濃度、表示態様の調整は、その他の実施形態においても適用することができる。例えば、第2の実施形態において、表示制御部1353aは、4Dデータの視差画像群と、基準視差画像群と、重畳画像とを同一画面上に表示する場合に、それぞれ、画質変更部1352によって調整された色、色の濃度、表示態様で表示すればよい。また、例えば、第3の実施形態において、表示制御部1353bは、基準視差画像群と4Dデータの視差画像群とをフュージョンして表示する場合に、それぞれ、画質変更部1352によって調整された色、色の濃度、表示態様で表示すればよい。また、例えば、第4の実施形態において、画質変更部1352は、画像選択部1351によって合成された2枚の視差画像群の画質を変更する場合に、色や色の濃度、表示態様を調整すればよい。
【0125】
上記した実施形態においては、基準視差画像に対して、4Dデータの視差画像群を単純に重畳させる場合について説明した。しかしながら、開示の技術はこれに限定されるものではなく、例えば、重畳させる4Dデータの視差画像群にカラーマップ(color map)などの加工を施す場合あってもよい。図18は、第5の実施形態に係る変形例を説明するための図である。例えば、開示の技術においては、図18に示すように、レイヤ1の基準視差画像群に重畳させるレイヤ2の22フレームの視差画像群のなかで、1〜16フレーム目を赤で表示させ、17〜22フレーム目を青で表示させるようにすることも可能である。このような表示を行うことで、例えば、動脈と静脈とを一目で識別させることを可能にする。
【0126】
上記実施形態においては、ワークステーション130が、4Dデータから基準視差画像群を選択して、選択した基準視差画像群と、4Dデータの視差画像群とを用いた4Dデータの表示を行う場合について説明した。しかしながら、開示の技術はこれに限定されるものではなく、例えば、医用画像診断装置110が4Dデータから基準視差画像群を選択して、選択した基準視差画像群と、4Dデータの視差画像群とを用いた4Dデータの表示を行う場合であってもよい。また、医用画像診断装置110又はワークステーション130が4Dデータから基準視差画像群を選択して、端末装置140が、選択された基準視差画像群と、4Dデータの視差画像群とを用いた4Dデータの表示を行う場合であってもよい。
【0127】
また、上記実施形態においては、端末装置140は、画像保管装置120から取得した医用画像等を表示等するものとして説明した。しかしながら、開示の技術はこれに限定されるものではなく、例えば、端末装置140は、医用画像診断装置110又はワークステーション130に直接接続される場合であってもよい。
【0128】
また、上記実施形態においては、ワークステーション130は、画像保管装置120からボリュームデータを取得する場合について説明した。しかしながら、開示の技術はこれに限定されるものではなく、例えば、ワークステーション130は、医用画像診断装置110からボリュームデータを取得する場合であってもよい。
【0129】
以上説明したとおり、実施形態によれば、本実施形態の画像処理システム、装置、方法及び医用画像診断装置は、経時的な画像データを表示する際にも立体的な情報を容易に把握させることを可能にする。
【0130】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【0131】
110 医用画像診断装置
120 画像保管装置
130 ワークステーション
135 制御部
1351 画像選択部
1352 画質変更部
1353 1353a、1353b 表示制御部
140 端末装置

【特許請求の範囲】
【請求項1】
経時的に撮像された画像データから生成された複数の視差画像群のなかから基準となる基準視差画像群を選択する選択手段と、
前記選択手段によって選択された基準視差画像群及び前記複数の視差画像群に含まれる視差画像群のうち少なくとも一方の画質を変更する画質変更手段と、
を備えたことを特徴とする画像処理システム。
【請求項2】
経時的に撮像された画像データから生成された複数の視差画像群のなかから基準となる基準視差画像群を選択する選択手段と、
前記選択手段によって選択された基準視差画像群及び前記複数の視差画像群に含まれる視差画像群のうち少なくとも一方の画質を変更する画質変更手段と、
を備えたことを特徴とする画像処理装置。
【請求項3】
経時的に撮像された画像データから生成された複数の視差画像群のなかから基準となる基準視差画像群を選択する選択工程と、
前記選択工程によって選択された基準視差画像群及び前記複数の視差画像群に含まれる視差画像群のうち少なくとも一方の画質を変更する画質変更工程と、
を含んだことを特徴とする画像処理方法。
【請求項4】
経時的に撮像された画像データから生成された複数の視差画像群のなかから基準となる基準視差画像群を選択する選択手段と、
前記選択手段によって選択された基準視差画像群及び前記複数の視差画像群に含まれる視差画像群のうち少なくとも一方の画質を変更する画質変更手段と、
を備えたことを特徴とする医用画像診断装置。

【図1】
image rotate

【図2A】
image rotate

【図2B】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate


【公開番号】特開2013−78141(P2013−78141A)
【公開日】平成25年4月25日(2013.4.25)
【国際特許分類】
【出願番号】特願2012−281666(P2012−281666)
【出願日】平成24年12月25日(2012.12.25)
【分割の表示】特願2012−149240(P2012−149240)の分割
【原出願日】平成24年7月3日(2012.7.3)
【出願人】(000003078)株式会社東芝 (54,554)
【出願人】(594164542)東芝メディカルシステムズ株式会社 (4,066)
【Fターム(参考)】