画像処理装置、画像処理方法、画像処理システム及び医用画像診断装置
【課題】適切な立体画像を簡単に表示すること。
【解決手段】実施の形態の画像処理装置は、受付部と、視差画像生成部と、表示制御部とを備える。受付部は、被検体の部位を特定するための特定情報を受け付ける。視差画像生成部は、特定情報と、該特定情報により特定される部位の立体画像を生成する際に用いられるレンダリング条件と、該レンダリング条件に基づいて生成された該立体画像を表示するための表示条件とを対応付けて記憶する特定情報記憶装置から、前記受付部により受け付けられた特定情報に対応付けて記憶されたレンダリング条件を取得し、取得した該レンダリング条件に基づいて立体画像を生成する。表示制御部は、前記受付部により受け付けられた特定情報に対応付けて記憶された表示条件を前記特定情報記憶装置から取得し、前記視差画像生成部により生成された立体画像を、取得した該表示条件に基づいて表示部から表示する。
【解決手段】実施の形態の画像処理装置は、受付部と、視差画像生成部と、表示制御部とを備える。受付部は、被検体の部位を特定するための特定情報を受け付ける。視差画像生成部は、特定情報と、該特定情報により特定される部位の立体画像を生成する際に用いられるレンダリング条件と、該レンダリング条件に基づいて生成された該立体画像を表示するための表示条件とを対応付けて記憶する特定情報記憶装置から、前記受付部により受け付けられた特定情報に対応付けて記憶されたレンダリング条件を取得し、取得した該レンダリング条件に基づいて立体画像を生成する。表示制御部は、前記受付部により受け付けられた特定情報に対応付けて記憶された表示条件を前記特定情報記憶装置から取得し、前記視差画像生成部により生成された立体画像を、取得した該表示条件に基づいて表示部から表示する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、画像処理装置、画像処理方法、画像処理システム及び医用画像診断装置に関する。
【背景技術】
【0002】
従来、2つの視点から撮影された2つの視差画像をモニタに表示することで、立体視用メガネ等の専用機器を用いた利用者に立体画像を表示する技術がある。また、近年、レンチキュラーレンズ等の光線制御子を用いて、複数の視点から撮影された多視差画像(例えば、9つの視差画像)をモニタに表示することで、裸眼の利用者に立体画像を表示する技術がある。
【0003】
また、X線CT(Computed Tomography)装置やMRI(Magnetic Resonance Imaging)装置、超音波診断装置等の医用画像診断装置には、3次元の医用画像(以下、ボリュームデータ)を生成可能な装置がある。また、医用画像診断装置は、ボリュームデータに対して種々の画像処理を実行することで表示用の平面画像を生成し、汎用モニタ上に表示する。例えば、医用画像診断装置は、ボリュームデータに対してボリュームレンダリング処理を実行することで、被検体についての3次元の情報が反映された任意の断面についての平面画像を生成し、生成した平面画像を汎用モニタ上に表示する。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2005−86414号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明が解決しようとする課題は、適切な立体画像を簡単に表示可能となる画像処理装置、画像処理方法、画像処理システム及び医用画像診断装置を提供することである。
【課題を解決するための手段】
【0006】
実施の形態の画像処理装置は、受付部と、視差画像生成部と、表示制御部とを備える。受付部は、前記特定情報を受け付ける。視差画像生成部は、被検体の部位を特定するための特定情報と、該特定情報により特定される部位の立体画像を生成する際に用いられるレンダリング条件と、該レンダリング条件に基づいて生成された該立体画像を表示するための表示条件とを対応付けて記憶する特定情報記憶装置から、前記受付部により受け付けられた特定情報に対応付けて記憶されたレンダリング条件を取得し、取得した該レンダリング条件に基づいて立体画像を生成する。表示制御部は、前記受付部により受け付けられた特定情報に対応付けて記憶された表示条件を前記特定情報記憶装置から取得し、前記視差画像生成部により生成された立体画像を、取得した該表示条件に基づいて表示部から表示する。
【図面の簡単な説明】
【0007】
【図1】図1は、第1の実施形態における画像処理システムの構成例を説明するための図である。
【図2】図2は、2視差画像により立体表示を行う立体表示モニタの一例を説明するための図である。
【図3】図3は、9視差画像により立体表示を行う立体表示モニタの一例を説明するための図である。
【図4】図4は、第1の実施形態におけるワークステーションの構成例を説明するための図である。
【図5】図5は、図4に示すレンダリング処理部の構成例を説明するための図である。
【図6】図6は、第1の実施形態におけるボリュームレンダリング処理の一例を説明するための図である。
【図7】図7は、第1の実施形態における制御部の詳細について説明する図の一例である。
【図8】図8は、第1の実施形態における特定情報テーブルに記憶された情報の一例を示す図である。
【図9−1】図9−1は、ボリュームデータにより示される被検体をどの位置から見た立体画像となるかを示す特定情報の一例を示すための図である。
【図9−2】図9−2は、ボリュームデータにより示される被検体をどの位置から見た立体画像となるかを示す特定情報の一例を示すための図である。
【図10】図10は、第1の実施形態における立体画像座標とボリュームデータ座標とについて説明するための図である。
【図11】図11は、第1の実施形態における立体画像座標とボリュームデータ座標とについて説明するための図である。
【図12】図12は、視差画像各々の視点の成す視差角の変更に応じた立体感の変更について示す図である。
【図13】図13は、第1の実施形態における制御部による処理の流れの一例を示すフローチャートである。
【図14】図14は、第2の実施形態における制御部の詳細について説明する図の一例である。
【図15】図15は、特定情報やレンダリング条件を受け付けるための画面の一例を示す図である。
【図16】図16は、特定情報を受け付けるための画面の一例を示す図である。
【図17】図17は、第2の実施形態における格納部により格納される特定情報の一例を示す図である。
【図18】図18は、第2の実施形態における格納部により格納される特定情報の一例を示す図である。
【図19】図19は、第1の実施形態における視差画像出力処理について示すための図である。
【図20】図20は、特定情報の選択を受け付ける画面の一例を示す図である。
【図21】図21は、特定情報の編集作業を再現可能な制御部の構成の一例を示す図である。
【発明を実施するための形態】
【0008】
以下、添付図面を参照して、画像処理装置、画像処理方法、画像処理システム及び医用画像診断装置の実施形態を詳細に説明する。なお、以下では、画像処理装置としての機能を有するワークステーションを含む画像処理システムを実施形態として説明する。
【0009】
(第1の実施形態)
まず、第1の実施形態における画像処理装置を有する画像処理システムの構成例について説明する。図1は、第1の実施形態における画像処理システムの構成例を説明するための図である。
【0010】
図1に示すように、第1の実施形態における画像処理システム1は、医用画像診断装置110と、画像保管装置120と、ワークステーション130と、端末装置140とを有する。図1に例示する各装置は、例えば、病院内に設置された院内LAN(Local Area Network)2により、直接的、又は間接的に相互に通信可能な状態となる。例えば、画像処理システム1にPACS(Picture Archiving and Communication System)が導入されている場合、各装置は、DICOM(Digital Imaging and Communications in Medicine)規格に則って、医用画像等を相互に送受信する。
【0011】
画像処理システム1は、医用画像診断装置110により生成されたボリュームデータに基づいて、立体画像を表示するための視差画像を生成し、立体画像を表示可能なモニタに生成した視差画像を表示することで、病院内に勤務する医師や検査技師に立体画像を提供する。
【0012】
ここで、「立体画像」は、複数の視点から撮影された視差角の異なる複数の視差画像を表示することで利用者に表示される。言い換えると、「視差画像」は、複数の視点から撮影された視差角の異なる画像であって、利用者に立体画像を表示するための画像である。また、立体画像を表示するための視差画像は、例えば、ボリュームデータに対してボリュームレンダリング処理を行うことで生成される。また、「視差数」とは、立体表示モニタにて立体視されるために必要となる「視差画像」の数を示す。また、「視差角」とは、視差画像各々の視点の位置各々の間隔とボリュームデータの位置とにより定まる角度のことである。
【0013】
以下に詳細に説明するように、第1の実施形態においては、ワークステーション130が、ボリュームデータに対して種々の画像処理を行い、立体画像を表示するための視差画像を生成する。また、ワークステーション130及び端末装置140は、立体画像を表示可能なモニタを有し、ワークステーション130にて生成された視差画像をモニタに表示することで立体画像を利用者に表示する。また、画像保管装置120は、医用画像診断装置110にて生成されたボリュームデータや、ワークステーション130にて生成された視差画像を保管する。例えば、ワークステーション130や端末装置140は、画像保管装置120からボリュームデータや視差画像を取得し、取得したボリュームデータや視差画像に対して任意の画像処理を実行したり、視差画像をモニタに表示したりする。
【0014】
医用画像診断装置110は、X線診断装置、X線CT(Computed Tomography)装置、MRI(Magnetic Resonance Imaging)装置、超音波診断装置、SPECT(Single Photon Emission Computed Tomography)装置、PET(Positron Emission Tomography)装置、SPECT装置とX線CT装置とが一体化されたSPECT−CT装置、PET装置とX線CT装置とが一体化されたPET−CT装置、又はこれらの装置群等である。また、医用画像診断装置110は、ボリュームデータを生成する。
【0015】
具体的には、第1の実施形態における医用画像診断装置110は、被検体を撮影することによりボリュームデータを生成する。例えば、医用画像診断装置110は、被検体を撮影することにより投影データやMR信号等のデータを収集する。そして、医用画像診断装置110は、収集したデータに基づいて被検体の体軸方向に沿った複数のアキシャル面の医用画像を再構成することで、ボリュームデータを生成する。例えば、医用画像診断装置110が、500枚のアキシャル面の医用画像を再構成した場合を用いて説明する。この場合、医用画像診断装置110により再構成された500枚のアキシャル面の医用画像群がボリュームデータとなる。なお、医用画像診断装置110により撮影された被検体の投影データやMR信号等自体をボリュームデータとしても良い。
【0016】
また、医用画像診断装置110は、ボリュームデータを画像保管装置120に送信する。なお、医用画像診断装置110は、ボリュームデータを画像保管装置120に送信する際に、付帯情報として、例えば、患者を識別する患者ID、検査を識別する検査ID、医用画像診断装置110を識別する装置ID、医用画像診断装置110による1回の撮影を識別するシリーズID等を送信する。
【0017】
画像保管装置120は、医用画像を保管するデータベースである。具体的には、画像保管装置120は、医用画像診断装置110からボリュームデータを受信し、受信したボリュームデータを所定の記憶部に保管する。また、画像保管装置120は、ワークステーション130によってボリュームデータから生成された視差画像を受信し、受信した視差画像を所定の記憶部に保管する。
【0018】
なお、第1の実施形態において、画像保管装置120に保管されたボリュームデータや視差画像は、患者ID、検査ID、装置ID、シリーズID等と対応付けて保管される。このため、ワークステーション130や端末装置140は、患者ID、検査ID、装置ID、シリーズID等を用いた検索を行うことで、必要なボリュームデータや視差画像を画像保管装置120から取得する。なお、画像保管装置120とワークステーション130とを統合して1つの装置としても良い。
【0019】
ワークステーション130は、医用画像に対して画像処理を行う画像処理装置である。具体的には、ワークステーション130は、画像保管装置120からボリュームデータを取得する。そして、ワークステーション130は、取得したボリュームデータに対して種々のレンダリング処理を行うことで、立体画像を表示するための視差画像を生成する。例えば、ワークステーション130は、2視差の立体画像を利用者に表示する場合には、視差角が異なる2つの視差画像を生成する。また、例えば、ワークステーション130は、9視差の立体画像を利用者に表示する場合には、視差角が異なる9つの視差画像を生成する。
【0020】
また、ワークステーション130は、表示部として、立体画像を表示可能なモニタ(立体表示モニタ、立体画像表示装置とも称する)を有する。ワークステーション130は、視差画像を生成し、生成した視差画像を立体表示モニタに表示することで、利用者に立体画像を表示する。この結果、ワークステーション130の利用者は、立体表示モニタに表示された立体画像を確認しながら、視差画像を生成するための操作を行うことが可能となる。
【0021】
また、ワークステーション130は、生成した視差画像を画像保管装置120や端末装置140に送信する。なお、ワークステーション130は、画像保管装置120や端末装置140に視差画像を送信する際に、付帯情報として、例えば、患者ID、検査ID、装置ID、シリーズID等を併せて送信する。この際、ワークステーション130は、モニタの解像度は様々であることを踏まえ、視差画像の枚数や解像度を示す付帯情報を併せて送信しても良い。解像度とは、例えば、「466画素×350画素」などが該当する。
【0022】
ここで、第1の実施形態におけるワークステーション130は、被検体の部位を特定するための特定情報と、特定情報により特定される部位の立体画像を生成する際に用いられるレンダリング条件と、レンダリング条件に基づいて生成された該立体画像を表示するための表示条件とを対応付けて記憶する特定情報テーブルから、受け付けた特定情報に対応付けて記憶されたレンダリング条件を取得し、取得したレンダリング条件に基づいて立体画像を生成する。また、ワークステーション130は、受け付けた特定情報に対応付けて記憶された表示条件を特定情報テーブルから取得し、取得した表示条件に基づいて生成した立体画像を表示する。この結果、適切な立体画像を簡単に表示可能となる。
【0023】
図1の説明に戻る。端末装置140は、病院内に勤務する医師や検査技師に医用画像を閲覧させる端末である。具体的には、端末装置140は、表示部として立体表示モニタを有する。また、端末装置140は、画像保管装置120から視差画像を取得し、取得した視差画像を立体表示モニタに表示することで、立体画像を利用者に表示する。また、例えば、端末装置140は、ワークステーション130から視差画像を受信すると、受信した視差画像を立体表示モニタに表示することで、立体画像を利用者に表示する。この結果、利用者である医師や検査技師は、立体視可能な医用画像を閲覧することができる。端末装置140は、例えば、立体表示モニタを有する汎用PC(Personal Computer)やタブレット端末、携帯電話などが該当する。また、端末装置140は、例えば、外部装置としての立体表示モニタと接続された任意の情報処理端末が該当する。
【0024】
ここで、ワークステーション130や端末装置140が有する立体表示モニタについて説明する。立体表示モニタとしては、例えば、2つの視差画像を表示することで、立体視用メガネ等の専用機器を装着した利用者に2視差の立体画像(両眼視差画像)を表示するものがある。
【0025】
図2は、2視差画像により立体表示を行う立体表示モニタの一例を説明するための図である。図2に示す一例は、シャッター方式により立体表示を行う立体表示モニタを例に示した。図2に示す例では、モニタを観察する利用者は、立体視用メガネとしてシャッターメガネを装着する。図2に示す例では、立体表示モニタは、2つの視差画像を交互に出射する。例えば、図2の(A)に示す立体表示モニタは、左目用の視差画像と右目用の視差画像とを120Hzにて交互に出射する。また、立体表示モニタは、図2の(A)に示すように、赤外線出射部が設置され、赤外線出射部が、視差画像が切り替わるタイミングに合わせて赤外線の出射を制御する。
【0026】
また、図2の(A)に示すように、シャッターメガネの赤外線受光部は、赤外線出射部により出射された赤外線を受光する。シャッターメガネの左右それぞれの枠には、シャッターが取り付けられており、シャッターメガネは、赤外線受光部が赤外線を受光したタイミングに合わせて左右のシャッターそれぞれの透過状態及び遮光状態を交互に切り替える。
【0027】
ここで、シャッターメガネのシャッターにおける透過状態及び遮光状態の切り替え処理について説明する。シャッターは、図2の(B)に示すように、入射側の偏光板と出射側の偏光板とを有し、更に、入射側の偏光板と出射側の偏光板との間に液晶層を有する。また、入射側の偏光板と出射側の偏光板とは、図2の(B)に示すように、互いに直交している。ここで、図2の(B)に示すように、電圧が印加されていない「OFF」の状態では、入射側の偏光板を通った光は、液晶層の作用により90度回転し、出射側の偏光板を透過する。すなわち、電圧が印加されていないシャッターは、透過状態となる。
【0028】
一方、図2の(B)に示すように、電圧が印加された「ON」の状態では、液晶層の液晶分子による偏光回転作用が消失するため、入射側の偏光板を通った光は、出射側の偏光板で遮られてしまう。すなわち、電圧が印加されたシャッターは、遮光状態となる。
【0029】
このことを踏まえ、立体表示モニタの赤外線出射部は、例えば、モニタ上に左目用の画像が表示されている期間、赤外線を出射する。そして、シャッターメガネの赤外線受光部は、赤外線を受光している期間、左目のシャッターに電圧を印加せず、右目のシャッターに電圧を印加させる。これにより、図2の(A)に示すように、右目のシャッターが遮光状態となり、左目のシャッターが透過状態となる結果、利用者の左目にのみ左目用の画像が入射する。一方、立体表示モニタの赤外線出射部は、例えば、モニタ上に右目用の画像が表示されている期間、赤外線の出射を停止する。そして、シャッターメガネの赤外線受光部は、赤外線が受光されない期間、右目のシャッターに電圧を印加せず、左目のシャッターに電圧を印加させる。これにより、左目のシャッターが遮光状態となり、右目のシャッターが透過状態となる結果、利用者の右目にのみ右目用の画像が入射する。このように、図2に示す立体表示モニタは、モニタに表示される画像とシャッターの状態を連動させて切り替えることで、立体画像を利用者に表示する。
【0030】
また、立体表示モニタとしては、レンチキュラーレンズ等の光線制御子を用いることで、例えば、9視差の立体画像を利用者が裸眼の利用者に表示するものもある。この場合、立体表示モニタは、両眼視差による立体視を可能とし、更に、利用者の視点移動に合わせて利用者によって観察される映像が変化する運動視差を有する立体画像を表示可能となる。
【0031】
図3は、9視差画像により立体表示を行う立体表示モニタの一例を説明するための図である。図3に示す立体表示モニタは、液晶パネル等の平面状の表示面200の前面に、光線制御子が配置される。例えば、図3に示す立体表示モニタは、光線制御子として、光学開口が垂直方向に延びる垂直レンチキュラーシート201が表示面200の前面に貼り付けられる。なお、図3に示す一例では、垂直レンチキュラーシート201の凸部が前面となるように貼り付けられているが、垂直レンチキュラーシート201の凸部が表示面200に対向するように貼り付けられる場合であっても良い。
【0032】
図3に示す例では、表示面200は、縦横比が3:1であり、縦方向にサブ画素である赤(R)、緑(G)、青(B)の3つが配置された画素202がマトリクス状に配置される。図3に示す例では、立体表示モニタは、視差角が異なる9つの視差画像を所定フォーマット(例えば格子状)に配置した上で、表示面200に出力する。すなわち、図3に示す立体表示モニタは、視差角が異なる9つの視差画像において同一位置にある9つの画素それぞれが、9列の画素202それぞれに割り振られた中間画像を表示する。9列の画素202は、視差角の異なる9つの画像を同時に表示する単位画素群203となる。なお、図3に示す例では、中間画像が格子状となる場合を示したが、これに限定されるものではなく、任意の形状であって良い。
【0033】
表示面200において単位画素群203として同時に出力された視差角が異なる9つの視差画像は、例えば、LED(Light Emitting Diode)バックライトにより平行光として放射され、更に、垂直レンチキュラーシート201により、多方向に放射される。9つの視差画像の各画素の光が多方向に放射されることにより、利用者の右目及び左目に入射する光は、利用者の位置(視点の位置)に連動して変化する。すなわち、利用者の見る角度により、右目に入射する視差画像と左目に入射する視差画像とは、視差角が異なる視差画像となる。この結果、利用者は、例えば、図3に示す9つの位置それぞれにおいて、異なる視野角から撮影対象を見る立体画像を視認できる。また、利用者は、例えば、図3に示す「5」の位置において、撮影対象に対して正対した状態で立体的に視認できるとともに、図3に示す「5」以外それぞれの位置において、撮影対象の向きを変化させた状態で立体的に視認できる。なお、図3に示す例は一例であり、これに限定されるものではない。例えば、図3に示す例では、横ストライプ(RRR…、GGG…、BBB…)液晶と縦レンズとの組み合わせを用いた場合を例に示したが、これに限定されるものではなく、例えば、縦ストライプ(RGBRGB…)液晶と斜めレンズとの組み合わせを用いても良い。
【0034】
ここまで、第1の実施形態における画像処理システム1の構成例について簡単に説明した。なお、上述した画像処理システム1は、PACSが導入されている場合にその適用が限られるものではない。例えば、画像処理システム1は、医用画像が添付された電子カルテを管理する電子カルテシステムが導入されている場合にも、同様に適用しても良い。この場合、画像保管装置120は、電子カルテを保管するデータベースとなる。また、例えば、画像処理システム1は、HIS(Hospital Information System)、RIS(Radiology Information System)が導入されている場合にも、同様に適用しても良い。また、画像処理システム1は、上述した構成例に限られるものではない。各装置が有する機能やその分担は、運用の形態に応じて適宜変更しても良い。
【0035】
次に、第1の実施形態におけるワークステーション130の構成例について図4を用いて説明する。図4は、第1の実施形態におけるワークステーションの構成例を説明するための図である。
【0036】
ワークステーション130は、画像処理等に適した高性能なコンピュータである。図4に示す例では、ワークステーション130は、入力部131と、表示部132と、通信部133と、記憶部134と、制御部135と、レンダリング処理部136とを有する。なお、以下では、ワークステーション130が画像処理等に適した高性能なコンピュータである場合を用いて説明するが、これに限定されるものではなく、任意の情報処理装置であって良い。例えば、任意のパーソナルコンピュータであっても良い。
【0037】
入力部131は、マウス、キーボード、トラックボール等であり、ワークステーション130に対する各種操作の入力を利用者から受け付ける。具体的には、入力部131は、レンダリング処理の対象となるボリュームデータを画像保管装置120から取得するための情報の入力を受け付ける。例えば、入力部131は、患者ID、検査ID、装置ID、シリーズID等の入力を受け付ける。また、入力部131は、レンダリング処理に関する条件(以下、レンダリング条件)の入力を受け付ける。
【0038】
表示部132は、立体表示モニタとしての液晶パネル等であり、各種情報を表示する。具体的には、第1の実施形態における表示部132は、利用者から各種操作を受け付けるためのGUI(Graphical User Interface)や、立体画像等を表示する。通信部133は、NIC(Network Interface Card)等であり、他の装置との間で通信を行う。また、例えば、通信部133は、利用者によって端末装置140に入力されたレンダリング条件を端末装置140から受信する。
【0039】
記憶部134は、ハードディスク、半導体メモリ素子等であり、各種情報を記憶する。具体的には、記憶部134は、通信部133を介して画像保管装置120から取得したボリュームデータを記憶する。また、記憶部134は、レンダリング処理中のボリュームデータや、レンダリング処理が行われた視差画像とその付帯情報(視差数、解像度など)等を記憶する。記憶部134の詳細については、後述する。
【0040】
制御部135は、CPU(Central Processing Unit)やMPU(Micro Processing Unit)、GPU(Graphics Processing Unit)等の電子回路、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路であり、ワークステーション130の全体制御を行う。
【0041】
例えば、制御部135は、表示部132に対するGUIの表示や立体画像の表示を制御する。また、例えば、制御部135は、画像保管装置120との間で通信部133を介して行われるボリュームデータや視差画像の送受信を制御する。また、例えば、制御部135は、レンダリング処理部136によるレンダリング処理を制御する。また、例えば、制御部135は、ボリュームデータの記憶部134からの読み込みや、視差画像の記憶部134への格納を制御する。
【0042】
ここで、ワークステーション130の制御部135は、レンダリング処理部136によるレンダリング処理を制御し、レンダリング処理部136と共働することで、測定処理を実行する。制御部135の詳細については、レンダリング処理部136について説明した後に説明する。
【0043】
レンダリング処理部136は、制御部135による制御の下、画像保管装置120から取得したボリュームデータに対して種々のレンダリング処理を行い、視差画像を生成する。具体的には、レンダリング処理部136は、記憶部134からボリュームデータを読み込み、読み込んだボリュームデータに対して前処理を行う。そして、レンダリング処理部136は、前処理後のボリュームデータに対してボリュームレンダリング処理を行うことで、立体画像を表示するための視差画像を生成する。そして、レンダリング処理部136は、生成した視差画像を記憶部134に格納する。
【0044】
また、レンダリング処理部136は、各種情報(目盛り、患者名、検査項目等)が描出されたオーバーレイ画像を生成し、生成したオーバーレイ画像を視差画像に重畳しても良い。この場合、レンダリング処理部136は、オーバーレイ画像が重複された視差画像を記憶部134に格納する。
【0045】
なお、レンダリング処理とは、ボリュームデータに対して行う画像処理全体を示し、ボリュームレンダリング処理とは、レンダリング処理のうち、被検体の3次元の情報が反映された医用画像を生成する処理を示す。レンダリング処理により生成される医用画像とは、例えば、視差画像が該当する。
【0046】
図5は、図4に示すレンダリング処理部の構成例を説明するための図である。図5に示すように、レンダリング処理部136は、前処理部1361と、3次元画像処理部1362と、2次元画像処理部1363とを有する。以下に詳細に説明するように、前処理部1361は、ボリュームデータに対する前処理を行う。3次元画像処理部1362は、前処理後のボリュームデータから視差画像を生成する。2次元画像処理部1363は、立体画像に各種情報が重畳された視差画像を生成する。
【0047】
前処理部1361は、ボリュームデータに対してレンダリング処理を行う際に、種々の前処理を行う。図5に示す例では、前処理部1361は、画像補正処理部1361aと、3次元物体フュージョン部1361eと、3次元物体表示領域設定部1361fとを有する。
【0048】
画像補正処理部1361aは、2種類のボリュームデータを1つのボリュームデータとして処理する際に画像補正処理を行う。図5に示す例では、画像補正処理部1361aは、歪み補正処理部1361bと、体動補正処理部1361cと、画像間位置合わせ処理部1361dとを有する。例えば、画像補正処理部1361aは、PET−CT装置により生成されたPET画像のボリュームデータとX線CT画像のボリュームデータとを1つのボリュームデータとして処理する際に画像補正処理を行う。また、画像補正処理部1361aは、MRI装置により生成されたT1強調画像のボリュームデータとT2強調画像のボリュームデータとを1つのボリュームデータとして処理する際に画像補正処理を行う。
【0049】
ここで、画像補正処理部1361aの歪み補正処理部1361bは、個々のボリュームデータにおいて、医用画像診断装置110によるデータ収集時の収集条件に起因するデータの歪みを補正する。また、体動補正処理部1361cは、個々のボリュームデータを生成するために用いられたデータの収集時期における被検体の体動に起因する移動を補正する。また、画像間位置合わせ処理部1361dは、歪み補正処理部1361b及び体動補正処理部1361cによる補正処理が行われた2つのボリュームデータ間で、例えば、相互相関法等を用いた位置合わせ(Registration)を行う。
【0050】
3次元物体フュージョン部1361eは、画像間位置合わせ処理部1361dにより位置合わせが行われた複数のボリュームデータをフュージョンさせる。なお、画像補正処理部1361a及び3次元物体フュージョン部1361eの処理は、単一のボリュームデータに対してレンダリング処理を行う場合、省略される。
【0051】
3次元物体表示領域設定部1361fは、利用者により指定された表示対象臓器に対応する表示領域を設定する。図5に示す例では、3次元物体表示領域設定部1361fは、セグメンテーション処理部1361gを有する。3次元物体表示領域設定部1361fのセグメンテーション処理部1361gは、利用者により指定された心臓、肺、血管等の臓器を、例えば、ボリュームデータの画素値(ボクセル値)に基づく領域拡張法により抽出する。
【0052】
なお、セグメンテーション処理部1361gは、利用者により表示対象臓器が指定されなかった場合、セグメンテーション処理を行わない。また、セグメンテーション処理部1361gは、利用者により表示対象臓器が複数指定された場合、該当する複数の臓器を抽出する。また、セグメンテーション処理部1361gの処理は、レンダリング画像を参照した利用者の微調整要求により再度実行される場合もある。
【0053】
3次元画像処理部1362は、前処理部1361が処理を行った前処理後のボリュームデータに対してボリュームレンダリング処理を行う。図5に示す例では、3次元画像処理部1362は、ボリュームレンダリング処理を行う処理部として、投影方法設定部1362aと、3次元幾何変換処理部1362bと、3次元物体アピアランス処理部1362fと、3次元仮想空間レンダリング部1362kとを有する。
【0054】
投影方法設定部1362aは、立体画像を生成するための投影方法を決定する。例えば、投影方法設定部1362aは、ボリュームレンダリング処理を平行投影法により実行するか、透視投影法により実行するかを決定する。
【0055】
3次元幾何変換処理部1362bは、ボリュームレンダリング処理が実行されるボリュームデータを3次元幾何学的に変換するための情報を決定する。図5に示す例では、3次元幾何変換処理部1362bは、平行移動処理部1362cと、回転処理部1362dと拡大縮小処理部1362eとを有する。3次元幾何変換処理部1362bの平行移動処理部1362cは、ボリュームレンダリング処理を行う際の視点位置が平行移動された場合に、ボリュームデータを平行移動させる移動量を決定する。また、回転処理部1362dは、ボリュームレンダリング処理を行う際の視点位置が回転移動された場合に、ボリュームデータを回転移動させる移動量を決定する。また、拡大縮小処理部1362eは、立体画像の拡大や縮小が要求された場合に、ボリュームデータの拡大率や縮小率を決定する。
【0056】
3次元物体アピアランス処理部1362fは、3次元物体色彩処理部1362gと、3次元物体不透明度処理部1362hと、3次元物体材質処理部1362iと3次元仮想空間光源処理部1362jとを有する。3次元物体アピアランス処理部1362fは、これらの処理部により、例えば、利用者の要求に応じて、視差画像を表示することで利用者に表示される立体画像の表示状態を決定する。
【0057】
3次元物体色彩処理部1362gは、ボリュームデータにてセグメンテーションされた各領域に対して着色される色彩を決定する。また、3次元物体不透明度処理部1362hは、ボリュームデータにてセグメンテーションされた各領域を構成する各ボクセルの不透過度(Opacity)を決定する処理部である。なお、ボリュームデータにおいて不透過度が「100%」とされた領域の後方の領域は、視差画像において描出されない。また、ボリュームデータにおいて不透過度が「0%」とされた領域は、視差画像において描出されない。
【0058】
3次元物体材質処理部1362iは、ボリュームデータにてセグメンテーションされた各領域の材質を決定することで、この領域が描出される際の質感を調整する。3次元仮想空間光源処理部1362jは、ボリュームデータに対してボリュームレンダリング処理を行う際に、3次元仮想空間に設置する仮想光源の位置や、仮想光源の種類を決定する。仮想光源の種類としては、無限遠から平行光線を照射する光源や、視点から放射状の光線を照射する光源等があげられる。
【0059】
3次元仮想空間レンダリング部1362kは、ボリュームデータに対してボリュームレンダリング処理を行い、視差画像を生成する。また、3次元仮想空間レンダリング部1362kは、ボリュームレンダリング処理を行う際、必要に応じて、投影方法設定部1362a、3次元幾何変換処理部1362b、3次元物体アピアランス処理部1362fにより決定された各種情報を用いる。
【0060】
ここで、3次元仮想空間レンダリング部1362kは、制御部135からレンダリング条件を受け付け、受け付けたレンダリング条件に従って、ボリュームデータに対するボリュームレンダリング処理を行う。レンダリング条件は、入力部131を介して利用者から受け付けたり、初期設定されたり、通信部133を介して端末装置140から受け付けたりする。また、このとき、上述した投影方法設定部1362a、3次元幾何変換処理部1362b、3次元物体アピアランス処理部1362fが、このレンダリング条件に従って必要な各種情報を決定し、3次元仮想空間レンダリング部1362kは、決定された各種情報を用いて立体画像を生成する。
【0061】
なお、例えば、レンダリング条件は、「平行投影法」又は「透視投影法」である。また、例えば、レンダリング条件は、「基準の視点位置及び視差角」である。また、例えば、レンダリング条件は、「視点位置の平行移動」、「視点位置の回転移動」、「立体画像の拡大」、「立体画像の縮小」である。また、例えば、レンダリング条件は、「着色される色彩」、「透過度」、「質感」、「仮想光源の位置」、「仮想光源の種類」である。
【0062】
図6は、第1の実施形態におけるボリュームレンダリング処理の一例を説明するための図である。例えば、3次元仮想空間レンダリング部1362kが、図6の「9視差画像生成方式(1)」に示すように、レンダリング条件として、平行投影法を受け付け、更に、基準の視点位置(5)と視差角「1度」とを受け付けたとする。この場合、3次元仮想空間レンダリング部1362kは、視差角が「1度」おきとなるように、視点の位置を(1)〜(9)に平行移動して、平行投影法により視差角(視線方向間の角度)が1度ずつ異なる9つの視差画像を生成する。なお、平行投影法を行う場合、3次元仮想空間レンダリング部1362kは、視線方向に沿って無限遠から平行光線を照射する光源を設定する。
【0063】
あるいは、3次元仮想空間レンダリング部1362kが、図6の「9視差画像生成方式(2)」に示すように、レンダリング条件として、透視投影法を受け付け、更に、基準の視点位置(5)と視差角「1度」とを受け付けたとする。この場合、3次元仮想空間レンダリング部1362kは、視点移動する平面上に存在するボリュームデータの切断面の重心を中心に視差角が「1度」おきとなるように、視点の位置を(1)〜(9)に回転移動して、透視投影法により視差角が1度ずつ異なる9つの視差画像を生成する。言い換えると、3次元的な体積の重心ではなく、2次元的な切断面の重心を中心に回転移動して、9つの視差画像を生成する。なお、透視投影法を行う場合、3次元仮想空間レンダリング部1362kは、視線方向を中心に光を3次元的に放射状に照射する点光源や面光源を各視点にて設定する。また、透視投影法を行う場合、レンダリング条件によっては、視点(1)〜(9)は、平行移動される場合であっても良い。
【0064】
なお、3次元仮想空間レンダリング部1362kは、表示されるボリュームレンダリング画像の縦方向に対しては、視線方向を中心に光を2次元的に放射状に照射し、表示されるボリュームレンダリング画像の横方向に対しては、視線方向に沿って無限遠から平行光線を照射する光源を設定することで、平行投影法と透視投影法とを併用したボリュームレンダリング処理を行っても良い。
【0065】
なお、図6の例では、レンダリング条件として、投影方法、基準の視点位置及び視差角を受け付けた場合を説明したが、レンダリング条件として、他の条件を受け付けた場合も同様に、3次元仮想空間レンダリング部1362kは、それぞれのレンダリング条件を反映しつつ、9つの視差画像を生成する。
【0066】
なお、3次元仮想空間レンダリング部1362kは、ボリュームレンダリングだけでなく、断面再構成法(MPR:Multi Planer Reconstruction)を行うことで、ボリュームデータからMPR画像を再構成する機能も有する。また、3次元仮想空間レンダリング部1362kは、MPRとして「Curved MPR」を行う機能や、「Intensity Projection」を行う機能も有する。
【0067】
また、3次元画像処理部1362がボリュームデータから生成した視差画像は、アンダーレイ(Underlay)として用いた上で、各種情報(目盛り、患者名、検査項目等)が描出されたオーバーレイ画像をオーバーレイ(Overlay)として重畳しても良い。この場合、2次元画像処理部1363は、オーバーレイとなるオーバーレイ画像とアンダーレイとなる視差画像に対して画像処理を行うことで、オーバーレイ画像が重畳された視差画像を生成する。図5に示す例では、2次元画像処理部1363は、2次元物体描画部1363aと、2次元幾何変換処理部1363bと、輝度調整部1363cとを有する。なお、各種情報の描画処理コスト低減のため、オーバーレイを1枚だけ描画しておき、1枚のオーバーレイをアンダーレイとなる9枚の視差画像それぞれに重畳することで、オーバーレイ画像が重畳された9枚の視差画像を生成しても良い。
【0068】
2次元物体描画部1363aは、オーバーレイに描出される各種情報を描画する。また、2次元幾何変換処理部1363bは、オーバーレイに描出される各種情報の位置を平行移動処理又は回転移動処理したり、オーバーレイに描出される各種情報の拡大処理又は縮小処理したりする。また、輝度調整部1363cは、例えば、出力先の立体表示モニタの諧調や、ウィンドウ幅(WW:Window Width)、ウィンドウレベル(WL:Window Level)等の画像処理用のパラメータに応じて、オーバーレイ及びアンダーレイの輝度を調整する。また、輝度調整部1363cは、例えば、レンダリング画像に対する輝度変換処理を行う。
【0069】
レンダリング処理部136により生成された視差画像は、例えば、制御部135により一旦記憶部134に格納され、その後、通信部133を介して画像保管装置120に送信される。その後、例えば、端末装置140は、画像保管装置120からオーバーレイ画像が重畳された視差画像を取得し、所定フォーマット(例えば格子状)に配置した中間画像に変換した上で立体表示モニタに表示することで、利用者である医師や検査技師に、各種情報(目盛り、患者名、検査項目等)が描出された立体画像を表示可能となる。
【0070】
さて、上述したように、レンダリング処理部136は、制御部135による制御の下、ボリュームデータから視差画像を生成する。以下では、次に、第1の実施形態における制御部135について詳細に説明する。
【0071】
図7は、第1の実施形態における制御部の詳細について説明する図の一例である。図7に示す例では、説明の便宜上、記憶部134を併せて示した。図7に示すように、制御部135は、受付部1351と、視差画像生成部1352と、表示制御部1353とを有する。また、記憶部134は、特定情報テーブル1341を有する。特定情報テーブル1341は、「特定情報記憶部」とも称する。
【0072】
すなわち、以下に説明するように、制御部135は、ユーザによってユーザが見たい部位が指定されると、指定された部位に適したレンダリング条件にて立体画像が生成され、生成された立体画像に適した条件にて表示される。この結果、適切な立体画像を簡単に表示可能となる。すなわち、例えば、立体画像を表示するごとにレンダリング条件や表示の仕方をユーザがいちいち設定することなく、適切な立体画像を簡単に表示可能となる。
【0073】
なお、以下では、記憶部134が、特定情報テーブル1341を有する場合を例に説明するが、これに限定されるものではなく、任意の装置が有しても良い。例えば、画像保管装置120が有しても良く、他の独立したデータベースが有しても良い。
【0074】
特定情報テーブル1341は、被検体の部位を特定するための特定情報と、特定情報により特定される部位の立体画像を生成する際に用いられるレンダリング条件と、レンダリング条件に基づいて生成された立体画像を表示するための表示条件とを対応付けて記憶する。ここで、特定情報テーブル1341は、被検体を一意に識別する識別情報に対応付けて、特定情報とレンダリング条件と表示条件を記憶しても良い。特定情報テーブル1341に記憶される情報は、例えば、経験則に基づき予め設定される。
【0075】
ここで、被検体の部位を特定するための特定情報は、例えば、心臓や肝臓などの臓器名や、冠動脈や門脈などの血管名、肋骨や頭蓋骨などの骨の名前、筋肉名、頭部や足など、被検体の任意の部位を示す任意の名称である。特定情報により特定される部位の立体画像を生成する際に用いられるレンダリング条件は、例えば、視差画像を生成する視点、視差角、視差画像のスケール、視差数、立体表示される立体画像の立体感の強さを示す立体感情報、立体画像の不透過度を示す不透過度情報などである。レンダリング条件に基づいて生成された立体画像を表示するための表示条件は、例えば、回転や、並行移動、拡大縮小、静止状態などである。なお、上述した特定情報やレンダリング条件、表示条件は一例であり、これに限定されるものではない。
【0076】
また、特定情報テーブル1341は、識別情報にデータが入力されている場合には、識別情報により識別されるユーザに対して適用される特定情報として、関心領域や、任意の断面などが設定されても良い。
【0077】
図8は、第1の実施形態における特定情報テーブルに記憶された情報の一例を示す図である。図8に示す例では、特定情報テーブル1341は、識別情報「null」と、特定情報「心臓の冠動脈」と、レンダリング条件「視点A、9視差」と表示条件「静止」とを記憶する。すなわち、特定情報テーブル1341は、不特定のユーザに適用される情報として、特定情報「心臓の冠動脈」が選択された場合に、視点Aから9枚の視差画像を生成し、生成した視差画像を表示することで、静止状態の心臓の冠動脈の立体画像を利用者に表示することを記憶する。ここで、識別情報にデータが入力されている場合には、対応付けられた特定情報とレンダリング条件と表示条件とは、識別情報に入力されたデータにより識別される被検体に対して適用される。
【0078】
ここで、レンダリング条件として設定される一例となる視点について説明する。視点は、ボリュームデータにより示される被検体をどの位置から見た立体画像となるかを示す。図9−1及び図9−2は、ボリュームデータにより示される被検体をどの位置から見た立体画像となるかを示す特定情報の一例を示すための図である。図9−1及び図9−2では、x軸とy軸とz軸とが交差する原点に、ボリュームデータにより示される被検体の中心が位置するものとして説明する。また、図9−1及び図9−2におけるx軸とy軸とz軸とは、利用者に表示される立体画像における座標系である立体画像座標における軸を示すものではなく、ボリュームデータにおける座標系であるボリュームデータ座標における軸を示すものとして説明する。
【0079】
図9−1に示すように、視点は、例えば、ボリュームデータ座標における座標が該当する。すなわち、ボリュームデータ座標「X、Y、Z」が特定情報となる場合、ボリュームデータ座標「X、Y、Z」から見た被検体の立体画像が特定される。また、図9−2に示すように、視点は、例えば、被検体を見る位置と原点とを結んだ直線とyz平面とが成す角度「α」と、被検体を見る位置と原点とを結んだ直線とxy平面とが成す角度「β」と、被検体を見る位置と原点との距離「r」との組み合わせが該当する。ただし、図9−1と図9−2に示した被検体をどの位置から見た立体画像となるかを示す特定情報は一例であり、これに限定されるものではなく、任意の情報を用いて良い。
【0080】
立体画像座標とボリュームデータ座標とについて簡単に補足する。図10と図11とは、第1の実施形態における立体画像座標とボリュームデータ座標とについて説明するための図である。図10の(1)と(2)とは、同じ被検体を示すものとして説明する。図11の(1)と(2)とは、同一の被検体を示すものとして説明する。図10の(1)と図11の(1)とは、第1の実施形態におけるボリュームデータ座標により示される被検体の一例を示す。説明の便宜上、図10の(1)に示す例では、被検体を立方体で示し、図11の(1)に示す例では、被検体を球で示した。図10の(2)と図11の(2)とは、端末装置140にて表示される立体画像の一例を示す。なお、図10と図11とにおいて、z方向は実空間座標における奥行き方向を示し、x方向は実空間座標における水平方向を示し、y方向は実空間座標における垂直方向を示す。また、z’方向は仮想空間座標における奥行き方向を示し、x’方向は仮想空間座標における水平方向を示し、y’方向は仮想空間座標における垂直方向を示す。図10の(1)における座標301と座標302と距離303は、それぞれ、図10の(2)における座標304と座標305と距離306とに対応する。図11の(1)の関心領域307は、図11の(2)の関心領域308と対応する。
【0081】
図10の(2)の立体画像は、図10の(1)に示すボリュームデータにおける被検体と比較して、奥行き方向が狭くなっている。言い換えると、図10の(2)の立体画像では、図10の(1)に示された被検体の奥行き方向の成分が、圧縮された上で表示されている。この場合、図10の(2)に示すように、座標304と座標305との間の距離306は、図10の(1)における座標301と座標302との間の距離303と比較して、奥行き方向の距離が圧縮される分短くなる。言い換えると、立体画像内に表示される距離306は、実空間における距離303と比較して短くなる。
【0082】
図11の(2)の立体画像は、図11の(1)に示すボリュームデータにおける被検体と比較して、z方向とx方向が狭くなっている。言い換えると、図11の(2)の立体画像では、図11の(1)に示された被検体の奥行き方向と水平方向の成分が、圧縮された上で示されている。この場合、図11の(2)に示すように、関心領域308の形状は、図11の(1)に示す関心領域307の形状である「球」と比較して、z方向とx方向が狭くなった形状となる。なお、図11に示す例では、z方向とx方向が狭くなった場合を例に示したが、これに限定されるものではなく、z方向だけが狭くなっても良く、y方向が狭くなっても良い。
【0083】
図10や図11に示すように、立体画像座標とボリュームデータ座標とは、同一とならない場合がある。ここで、立体画像座標とボリュームデータ座標との対応関係は、立体画像のスケールや視野角、方向などにより一意に決定され、例えば、以下の(数1)のような形で表現することが可能となる。
【0084】
(数1)=(x1、y1、z1)=F(x2、y2、z2)
【0085】
(数1)において、「x2」「y2」「z2」は、それぞれ、立体画像座標を示す。「x1」「y1」「z1」は、それぞれ、ボリュームデータ座標を示す。「F」は、関数を示す。関数「F」は、立体画像のスケールや視野角、方向などにより一意に決定される。なお、関数「F」は、立体画像のスケールや視野角、方向などが変更されるごとに生成される。例えば、回転、平行移動、拡大、縮小を変換する関数「F」として(数2)に示したアフィン変換が用いられる。
(数2)x1=a*x2+b*y2+c*z3+d
y1=e*x2+f*y2+g*z3+h
z1=i*x2+j*y2+k*z3+l
(a〜lは変換係数)
【0086】
なお、上述した説明では、立体画像座標とボリュームデータ座標との対応関係が、関数「F」により示される場合を用いて説明したが、これに限定されるものではない。例えば、立体画像座標とボリュームデータ座標との対応関係は、予め作成されたテーブルにより示されても良く、任意の手法にて示されて良い。
【0087】
特定情報テーブル1341が、立体表示される立体画像の立体感を示す立体感情報と、立体画像の不透過度を示す不透過度情報とを記憶する場合について説明する。利用者に表示される立体画像には奥行きがあり、利用者が感じる奥行きの強さは、視差画像各々の視差角によって変わる。このことを踏まえ特定情報テーブル1341は、立体感の強さを示す立体感情報を記憶する。また、被検体の内部について表示された立体画像を利用者に表示する場合がある。この場合、被検体の一部について半透明とした上で、被検体の内部を可視化することがある。このことを踏まえ、特定情報テーブル1341は、不透過度情報を記憶する。
【0088】
ここで、視差画像各々の視点の成す視差角と立体画像の立体感との関係について簡単に説明する。図12は、視差画像各々の視点の成す視差角の変更に応じた立体感の変更について示す図である。図12では、説明の便宜上、立体画像を直方体として示した。図12の(1)の立体画像と、図12の(2)の立体画像とは、奥行き方向のみ異なるものとして説明する。なお、図12の(1)と(2)とでは、説明の便宜上、水平方向と奥行き方向についてのメモリのみを示した。図12の(1)と(2)とにおいて、各メモリは、「1cm」を示すものとして説明する。
【0089】
ここで、視差画像各々の視点の成す視差角がより大きな値に変更されると、利用者に表示される奥行き感が強くなる。言い換えると、奥行きの深さが長くなり、立体画像の立体感が強くなる。すなわち、視差画像各々の視点の成す視差角がより大きな値に変更されると、図12の(1)から(2)へと変化する。また、同様に、視差画像各々の視点の成す視差角がより小さな値に変更されると、利用者に表示される奥行き感が弱くなる。言い換えると、奥行きの深さが短くなり、立体画像の立体感が弱くなる。すなわち、視差画像各々の視点の成す視差角がより小さな値に変更されると、図12の(2)から(1)へと変化する。
【0090】
制御部135の各部について説明する。受付部1351は、特定情報を受け付ける。例えば、受付部1351は、入力部131を介してユーザから特定情報を受け付けたり、他の装置に対してユーザによって入力された特定情報を通信部133を介して受け付けたりする。例えば、制御部135は、特定情報「心臓の冠動脈」を受け付ける。また、制御部135は、特定情報に加えて、識別情報を受け付けたりする。
【0091】
視差画像生成部1352は、特定情報テーブル1341から、受付部1351により受け付けられた特定情報に対応付けて記憶されたレンダリング条件を取得し、取得したレンダリング条件に基づいて立体画像を生成する。例えば、視差画像生成部1352は、特定情報「心臓の冠動脈」に対応するレンダリング条件「視点A 9視差」を特定情報テーブル1341から取得し、取得したレンダリング条件「視点A 9視差」に基づいて立体画像を表示するための視差画像を生成する。この場合、視差画像生成部1352は、被検体のボリュームデータを視点Aから見た場合における9枚の視差画像を生成する。
【0092】
また、視差画像生成部1352は、受付部1351によって識別情報も受け付けられた場合には、受け付けられた識別情報に対応付けられた特定情報やレンダリング条件、表示条件が特定情報テーブル1341に記憶されているかを検索する。ここで、視差画像生成部1352は、特定情報テーブル1341に記憶されていた場合には、受け付けられた識別情報に対応付けられたレンダリング条件に基づいて、画像保管装置120に記憶されたボリュームデータのうち識別情報により識別される被検体のボリュームデータを用いて立体画像を生成する。一方、視差画像生成部1352は、特定情報テーブル1341に記憶されていなかった場合には、識別情報に対応付けられていないレンダリング条件に基づいて、画像保管装置120に記憶されたボリュームデータのうち識別情報により識別される被検体のボリュームデータを用いて立体画像を生成する。
【0093】
ここで、識別情報を受け付けなかった場合に用いるボリュームデータの一例について補足する。この場合、現在選択中のボリュームデータを用いて視差画像を生成したり、予め設定されていたボリュームデータを用いて視差画像を生成したりする。なお、視差画像生成部1352は、例えば、レンダリング処理部136にレンダリング条件を出力することで、レンダリング処理部136と協働して視差画像を生成する。
【0094】
表示制御部1353は、受付部1351により受け付けられた特定情報に対応付けて記憶された表示条件を特定情報テーブル1341から取得し、視差画像生成部1352により生成された立体画像を、取得した表示条件に基づいて表示部132から表示する。例えば、表示制御部1353は、特定情報「心臓の冠動脈」に対応する表示条件「静止」を取得する。この場合、表示制御部1353は、視差画像生成部1352により生成された視差画像各々を表示することで、静止状態の立体画像を利用者に表示する。
【0095】
また、視差画像生成部1352は、受付部1351によって識別情報も受け付けられた場合には、受け付けられた識別情報に対応付けられた特定情報やレンダリング条件、表示条件が特定情報テーブル1341に記憶されているかを検索する。ここで、視差画像生成部1352は、特定情報テーブル1341に記憶されていた場合には、受け付けられた識別情報に対応付けられた表示条件に基づいて表示する。一方、視差画像生成部1352は、特定情報テーブル1341に記憶されていなかった場合には、識別情報に対応付けられていない表示条件に基づいて表示する。なお、表示制御部1353は、立体画像を表示部132にて利用者に表示したり、端末装置140にて表示したり、任意の端末にて表示したりする。
【0096】
[第1の実施形態による処理]
図13は、第1の実施形態における制御部による処理の流れの一例を示すフローチャートである。以下では、説明の便宜上、受付部1351が、特定情報「心臓の冠動脈」を受け付ける場合を用いて説明する。
【0097】
図13に示すように、制御部135では、受付部1351が特定情報を受け付けると(ステップS101肯定)、視差画像生成部1352は、特定情報に対応付けて記憶されたレンダリング条件を特定情報テーブル1341から取得し(ステップS102)、取得したレンダリング条件に基づいて立体画像を生成する(ステップS103)。例えば、視差画像生成部1352は、特定情報「心臓の冠動脈」に対応するレンダリング条件「視点A 9視差」を特定情報テーブル1341から取得し、取得したレンダリング条件「視点A 9視差」に基づいて立体画像を表示するための視差画像を生成する。
【0098】
そして、表示制御部1353は、受付部1351により受け付けられた特定情報に対応付けて記憶された表示条件を特定情報テーブル1341から取得し(ステップS104)、取得した表示条件に基づいて立体画像を表示する(ステップS105)。例えば、表示制御部1353は、特定情報「心臓の冠動脈」に対応する表示条件「静止」を取得し、静止状態の立体画像を表示する。
【0099】
(第1の実施形態による効果)
上述したように、第1の実施形態によれば、特定情報を受け付け、特定情報テーブル1341から、受け付けた特定情報に対応付けて記憶されたレンダリング条件を取得し、取得したレンダリング条件に基づいて立体画像を生成する。また、受け付けた特定情報に対応付けて記憶された表示条件を特定情報テーブル1341から取得し、取得した表示条件に基づいて立体画像を表示部132から表示する。この結果、適切な立体画像を簡単に表示可能となる。すなわち、例えば、ユーザが適したレンダリング条件や表示の仕方をいちいち設定することなく、適切な立体画像を簡単に表示可能となる。
【0100】
また、第1の実施形態によれば、特定情報テーブル1341は、被検体を一意に識別する識別情報に対応付けて、特定情報とレンダリング条件と表示条件とを記憶する。また、識別情報をさらに受け付け、画像保管装置120に記憶されたボリュームデータのうち、識別情報により識別される被検体のボリュームデータに基づいて立体画像を生成する。この結果、特定の被検体について、適切な立体画像を簡単に表示可能となる。
【0101】
また、第1の実施形態によれば、立体表示される立体画像の立体感を示す立体感情報や立体画像の不透過度を示す不透過度情報を記憶する。この結果、利用者により指定された立体画像の立体感の強さや不透過度が様々であったとしても、確実に、任意の立体画像を簡単に利用者に表示可能となる。
【0102】
(第2の実施形態)
第2の実施形態では、ユーザから受け付けた情報を特定情報テーブル1341に格納する場合について説明する。なお、以下では、第1の実施形態と同様の点については、記載を適宜省略する。
【0103】
図14は、第2の実施形態における制御部の詳細について説明する図の一例である。図14に示す例では、説明の便宜上、記憶部134と特定情報テーブル1341とを併せて示した。図14に示すように、制御部135は、格納部1354を更に備える。
【0104】
格納部1354は、特定情報やレンダリング条件、表示条件、識別情報などを特定情報テーブル1341に格納する。ここで、格納部1354は、受付部1351aによって特定情報テーブル134に格納する情報として受け付けられた特定情報やレンダリング条件、表示条件、識別情報などをそのまま特定情報テーブル1341に格納しても良く、受付部1351aによって受け付けられた特定情報などからレンダリング条件や表示条件を生成した上で、生成したレンダリング条件や表示条件と、受け付けた特定情報とを格納しても良い。また、格納部1354は、表示条件やレンダリング条件が入力されなかった場合には、任意の表示条件やレンダリング条件を初期設定として格納しても良い。
【0105】
図15は、特定情報やレンダリング条件を受け付けるための画面の一例を示す図である。図15に示す例では、立体画像321と併せて、断面画像322〜断面画像324が併せて表示される画面の一例を示した。図15に示す例では、特定情報「頭部」を受け付けるとともに、断面326や断面327、断面328がレンダリング条件として利用者によって設定される場合を示した。図15に示す例では、レンダリング条件として設定された断面は、受け付けられた断面に着目した立体画像を特定するためのレンダリング条件となる。
【0106】
この場合、格納部1354は、受け付けられた断面に着目した立体画像を特定するための他のレンダリング条件を自律的に生成し、生成したレンダリング条件と受け付けられた特定情報とを対応付けて格納する。図15に示す例では、特定情報として受け付けられた断面326は、例えば、断面326と直交する直線上にある視点から被検体を見た立体画像を特定する。また、特定情報として受け付けられた断面326は、被検体のうち、断面326と直交する直線上にある視点と断面326との間にある部分が任意の透過度となる立体画像を特定する。このことを踏まえ、例えば、格納部1354は、断面326と直交する直線上にある視点の位置や、視点と断面326との間にある部分の透過度などをレンダリング条件として更に格納する。ただし、これに限定されるものではなく、レンダリング条件のすべての設定を利用者から受け付けても良い。また、同様に、格納部1354は、利用者から受け付けた表示条件や、任意の表示条件を格納する。
【0107】
なお、図15に示す例では、断面画像322〜断面画像324が併せて表示される場合を示したが、これに限定されるものではなく、表示されなくても良い。また、図15に示す例では、受付部1351aが、3つの断面を受け付ける場合を例に示したが、これに限定されるものではなく、断面の数は任意であって良い。また、断面326と、断面326と直交する直線上にある視点との間の距離は、初期値として予め設定された値を用いても良く、利用者により値の設定を受け付けても良い。
【0108】
また、例えば、受付部1351aは、利用者に表示されている立体画像が利用者に選択されることで、実際に表示されている立体画像の特定情報やレンダリング条件、表示条件を受け付けても良い。図16は、特定情報を受け付けるための画面の一例を示す図である。図16に示す画面は、例えば、表示部132や端末装置140にて表示される。図16に示す例では、立体画像311と、特定情報を識別するためのコメントの入力を受け付ける入力欄312と、特定情報を保存するための保存ボタン313とを有する場合を示した。なお、図16に示す例では、入力欄312が3つあり、保存ボタン313が3つある場合を示したが、これに限定されるものではなく、入力欄312や保存ボタン313の数は任意であって良い。
【0109】
図16に示す例では、立体画像311のスケールや視点、立体感などは、利用者によって任意に変更される。また、図16に示す例では、立体画像311の表示条件も利用者によって任意に変更される。その上で、図16に示すように、利用者が見たい角度の立体画像が、利用者によって見たい表示条件にて表示された上で、図16の(2)に示すように、利用者によって入力欄312に特定情報が入力され、図16の(3)に示すように、保存ボタン313がクリックされる。すると、格納部1354は、入力欄312に入力された特定情報を格納し、保存ボタン313がクリックされた際に利用者に表示されていた立体画像311を生成するためのレンダリング条件を格納し、保存ボタン313がクリックされた際の立体画像の表示条件を表示条件として格納する。
【0110】
図17と図18とは、第2の実施形態における格納部により格納される情報の一例を示す図である。図17や図18では、説明の便宜上、利用者に表示されている立体画像の一例を併せて示した。図17に示す例では、格納部1354は、立体画像として利用者に表示されている被検体を識別するための識別情報として、「患者名:○○」や「患者ID:△△」などを格納する。また、格納部1354は、特定情報として、「心臓」を格納し、レンダリング条件として、視点を特定するための情報となる「視点1:(X1、Y1、z1)」「視点2:(X2、Y2、z2)」「視点3:(X3、Y3、z3)」などを格納する。なお、「視点1:(X1、Y1、z1)」「視点2:(X2、Y2、z2)」「視点3:(X3、Y3、z3)」のそれぞれが別のレンダリング条件となる。また、図18に示す例では、格納部1354は、レンダリング条件として、視点を特定するための情報となる「視点1:(r1、α1、β1)」「視点2:(r2、α2、β2)」「視点3:(r3、α3、β3)」などを格納する。
【0111】
(第2の実施形態による効果)
上述したように、第1の実施形態によれば、特定情報やレンダリング条件、表示条件、識別情報などを受け付け、特定情報テーブル1341に格納する。この結果、任意の立体画像を簡単に利用者に表示可能となる。例えば、利用者が被検体を見たい視点を予め設定しておくことで、利用者が立体画像を見たいタイミングにおいて、視点の調整をすることなく直ぐに立体画像を見ることが可能となる。この結果、例えば、見たい部位を表示するまでの操作数を減らすとともに、読影に要する時間を大幅に短縮させることが可能となる。
【0112】
すなわち、3Dモニタを用いることで立体画像を利用者に表示することが可能となるが、立体画像を表示するための視差画像を表示する際にその都度作成するのは困難となることが考えられる。このことを踏まえ、事前に基準となる位置や関心領域を予め設定しておくことで、手術体位やOMラインなどに着目した立体画像を簡単に利用者に表示可能となる。
【0113】
(第3の実施形態)
さて、上述した実施形態以外にも、その他の実施形態にて実施されても良い。そこで、以下では、その他の実施形態を示す。
【0114】
(表示態様)
例えば、上述した実施形態によれば、識別情報と特定情報とが別の情報である場合を例に説明したが、これに限定されるものではなく、識別情報と特定情報とが統合された情報を用いても良い。
【0115】
また、例えば、特定情報テーブル1341は、識別情報と特定情報とのうち、いずれか一方又は両方の組み合わせに対応付けて、レンダリング条件と表示条件とのうち、いずれか一方または両方の組み合わせを記憶しても良い。すなわち、例えば、識別情報と対応付けて表示条件を記憶しても良い。この場合、あるユーザについて、表示条件のみが設定されていることとなる。また、同様に、例えば、特定情報と対応付けてレンダリング条件のみを記憶しても良い。この場合、ある部位について、レンダリング条件のみが設定されていることとなる。
【0116】
(表示態様)
図19は、視差画像の出力態様の一例を示す図である。図19は、利用者に出力される画面の一例となる。図19に示す例では、ボリュームデータを特定する際に用いられる「患者ID」が入力された上で、表示指示を受け付けるための「OPEN」ボタン331が利用者によってクリックされた場合を用いて説明する。この場合、受付部1351は、識別情報として「患者ID」を受け付けたり、特定情報を受け付けたりする。その後、視差画像生成部1352は、受け付けた患者IDにより識別されるボリュームデータに基づき、受け付けた患者IDについて視差画像を生成する。そして、表示制御部1353が、視差画像を表示することで、図19に示すように、立体画像332や立体画像334を利用者に表示する。なお、図19に示す例では、受け付けた患者IDにより識別されるボリュームデータに対応付けられたレンダリング条件が2つあり、表示制御部1353が2つの立体画像を利用者に表示した場合を示した。また、図19に示す例では、立体画像と併せて特定情報を利用者に表示する場合を示した。図19における例では、特定情報は、「X1、Y1、Z1」や「X2、Y2、Z2」が該当する。
【0117】
(特定情報の受け付け手法)
図20は、特定情報の選択を受け付ける画面の一例を示す図である。図20の画面341に示すように、立体画像と併せて、特定情報として「RCA」を受け付けるボタンや、特定情報として「LAD」を受け付けるボタンや、特定情報として「LCX」を受け付けるボタンや、任意の特定情報の入力を受け付ける領域を有しても良い。この場合、例えば、図20の画面342に示されるように、「LCX」を受け付けるボタンが利用者によってクリックされると、特定情報「LCX」により特定される立体画像が表示される。また、例えば、図20の画面343に示されるように、任意の特定情報の入力を受け付ける領域に「LCX」と入力されると、特定情報「LCX」により特定される立体画像が表示される。
【0118】
(特定情報の編集状態の再現)
例えば、特定情報テーブル1341に対する編集作業を利用者から受け付けた上で、利用者による編集状態を中断した後に再現できるようにしても良い。以下では、特定情報の編集作業をワークステーション130の制御部135にて行う場合を用いて説明するが、これに限定されるものではなく、医用画像診断装置110であっても良く、画像保管装置120であっても良く、端末装置140であっても良い。
【0119】
図21は、特定情報テーブル1341に対する編集作業を再現可能な制御部の構成の一例を示す図である。図21に示す例では、制御部135は、図14に示す制御部135の構成に加えて、編集部1355と、再現情報格納部1356と、再現処理部1357とを有する。また、画像処理システムは、編集部1355による特定情報の編集状態を再現するための再現情報を記憶する再現情報記憶部401を備える。再現情報記憶部401は、例えば、画像保管装置120に設けられたり、ワークステーション130に設けられたり、端末装置140に設けられたり、データベースや各種メモリ装置として設けられたりする。
【0120】
編集部1355は、特定情報テーブル1341に記憶された情報を編集する。例えば、編集部1355は、特定情報テーブル1341から特定情報やレンダリング条件、表示条件、識別情報などを取得し、取得した情報を編集するための作業環境を利用者に提供する。その後、編集部1355は、利用者による操作内容に基づいて特定情報記憶部121を更新する。
【0121】
再現情報格納部1356は、編集部1355による編集が中断される場合に、編集部1355による特定情報の編集状態を再現するための再現情報を再現情報記憶部401に格納する。例えば、再現情報格納部1356は、再現情報として、利用者が編集作業を中断した場合に、中断時における作業環境のスナップショットを作成し、作成したスナップショットを再現情報記憶部401に格納する。なお、上述の説明では、再現情報として作業環境のスナップショットを用いる場合を例に説明したが、これに限定されるものではなく、任意の情報を用いて良い。
【0122】
再現処理部1357は、編集部1355による編集が再開される場合に、再現情報格納部1356により再現情報記憶部401に格納された再現情報を取得し、取得した再現情報に基づいて編集状態を再現する。例えば、再現処理部1357は、再現情報記憶部401からスナップショットを取得し、取得したスナップショットに基づいて中断時における作業環境を再現することで、編集部1355による編集状態を再現する。この結果、特定情報の編集状態の中断、再現が可能となる。
【0123】
(特定情報)
例えば、視差画像をリアルタイムレンダリングで生成するのではなく、ボリュームデータに基づいて複数枚の視差画像群を生成しておき、生成しておいた視差画像群に対応付けて特定情報を記憶しても良い。
【0124】
この場合、制御部135は、所定の記憶装置に記憶された被検体のボリュームデータに基づいて予め生成された視差画像群に対応付けて、特定情報を特定情報テーブル1341に格納する。例えば、制御部135は、視点の位置を特定情報として特定情報テーブル1341に格納する。例えば、その上で、制御部135は、特定情報テーブル1341に記憶された特定情報により特定される立体画像を表示するための所定数の視差画像を、視差画像群から選択し、選択された視差画像を出力する。なお、制御部135は、視差画像選択部とも称する。
【0125】
すなわち、例えば、ボリュームデータに基づいて、被検体の全周囲から見た視差画像各々を予め生成しておき、特定情報として格納された視点の位置に対応する視差画像各々を選択しても良い。この結果、リアルタイムレンダリングが不要となり、迅速に視差画像を出力可能となる。また、処理負荷を軽減可能となる。
【0126】
(その他)
また、例えば、特定情報を検査目的や用途に対応付けて記憶しても良い。この場合、視差画像生成部は、現在の検査目的や用途を識別した上で、識別した検査目的や用途に対応付けられた特定情報に基づいて視差画像を生成する。現在の検査目的や用途を識別する手法としては、任意の手法を用いて良く、例えば、利用者によって用いられているプログラムの用途を識別したり、利用者から検査目的や用途の入力を受け付けることで識別したりしても良い。なお、検査目的とは、例えば、非造影、造影、perfusion、救急などが該当する。
【0127】
また、特定情報により特定される立体画像を利用者に表示する際、特定情報を併せて表示するとともに、表示された特定情報を変更する操作を利用者から受け付けても良い。
【0128】
(システム構成)
また、本実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部又は一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部又は一部を公知の方法で自動的に行うこともできる。この他、上述文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報(図1〜19)については、特記する場合を除いて任意に変更することができる。
【0129】
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。例えば、ワークステーション130の制御部135をワークステーション130の外部装置としてネットワーク経由で接続するようにしても良い。また、特定情報テーブル1341は、独立したデータベースであっても良く、任意の装置の記憶部内にあっても良い。
【0130】
(その他)
なお、本実施形態で説明した画像処理プログラムは、インターネットなどのネットワークを介して配布することができる。また、画像処理プログラムは、ハードディスク、フレキシブルディスク(FD)、CD−ROM、MO、DVD、ブルーレイディスクなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することもできる。
【0131】
(実施形態の効果)
以上述べた少なくとも一つの実施形態の画像処理装置によれば、前記特定情報を受け付けると、特定情報テーブルから、受け付けた特定情報に対応付けて記憶されたレンダリング条件を取得し、取得した該レンダリング条件に基づいて立体画像を生成する。また、受け付けた特定情報に対応付けて記憶された表示条件を特定情報テーブルから取得し、取得した表示条件に基づいて立体画像を表示する。この結果、適切な立体画像を簡単に表示可能となる。
【0132】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【0133】
110 医用画像診断装置
120 画像保管装置
130 ワークステーション
135 制御部
1351 受付部
1352 視差画像生成部
1353 表示制御部
1354 格納部
140 端末装置
【技術分野】
【0001】
本発明の実施形態は、画像処理装置、画像処理方法、画像処理システム及び医用画像診断装置に関する。
【背景技術】
【0002】
従来、2つの視点から撮影された2つの視差画像をモニタに表示することで、立体視用メガネ等の専用機器を用いた利用者に立体画像を表示する技術がある。また、近年、レンチキュラーレンズ等の光線制御子を用いて、複数の視点から撮影された多視差画像(例えば、9つの視差画像)をモニタに表示することで、裸眼の利用者に立体画像を表示する技術がある。
【0003】
また、X線CT(Computed Tomography)装置やMRI(Magnetic Resonance Imaging)装置、超音波診断装置等の医用画像診断装置には、3次元の医用画像(以下、ボリュームデータ)を生成可能な装置がある。また、医用画像診断装置は、ボリュームデータに対して種々の画像処理を実行することで表示用の平面画像を生成し、汎用モニタ上に表示する。例えば、医用画像診断装置は、ボリュームデータに対してボリュームレンダリング処理を実行することで、被検体についての3次元の情報が反映された任意の断面についての平面画像を生成し、生成した平面画像を汎用モニタ上に表示する。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2005−86414号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明が解決しようとする課題は、適切な立体画像を簡単に表示可能となる画像処理装置、画像処理方法、画像処理システム及び医用画像診断装置を提供することである。
【課題を解決するための手段】
【0006】
実施の形態の画像処理装置は、受付部と、視差画像生成部と、表示制御部とを備える。受付部は、前記特定情報を受け付ける。視差画像生成部は、被検体の部位を特定するための特定情報と、該特定情報により特定される部位の立体画像を生成する際に用いられるレンダリング条件と、該レンダリング条件に基づいて生成された該立体画像を表示するための表示条件とを対応付けて記憶する特定情報記憶装置から、前記受付部により受け付けられた特定情報に対応付けて記憶されたレンダリング条件を取得し、取得した該レンダリング条件に基づいて立体画像を生成する。表示制御部は、前記受付部により受け付けられた特定情報に対応付けて記憶された表示条件を前記特定情報記憶装置から取得し、前記視差画像生成部により生成された立体画像を、取得した該表示条件に基づいて表示部から表示する。
【図面の簡単な説明】
【0007】
【図1】図1は、第1の実施形態における画像処理システムの構成例を説明するための図である。
【図2】図2は、2視差画像により立体表示を行う立体表示モニタの一例を説明するための図である。
【図3】図3は、9視差画像により立体表示を行う立体表示モニタの一例を説明するための図である。
【図4】図4は、第1の実施形態におけるワークステーションの構成例を説明するための図である。
【図5】図5は、図4に示すレンダリング処理部の構成例を説明するための図である。
【図6】図6は、第1の実施形態におけるボリュームレンダリング処理の一例を説明するための図である。
【図7】図7は、第1の実施形態における制御部の詳細について説明する図の一例である。
【図8】図8は、第1の実施形態における特定情報テーブルに記憶された情報の一例を示す図である。
【図9−1】図9−1は、ボリュームデータにより示される被検体をどの位置から見た立体画像となるかを示す特定情報の一例を示すための図である。
【図9−2】図9−2は、ボリュームデータにより示される被検体をどの位置から見た立体画像となるかを示す特定情報の一例を示すための図である。
【図10】図10は、第1の実施形態における立体画像座標とボリュームデータ座標とについて説明するための図である。
【図11】図11は、第1の実施形態における立体画像座標とボリュームデータ座標とについて説明するための図である。
【図12】図12は、視差画像各々の視点の成す視差角の変更に応じた立体感の変更について示す図である。
【図13】図13は、第1の実施形態における制御部による処理の流れの一例を示すフローチャートである。
【図14】図14は、第2の実施形態における制御部の詳細について説明する図の一例である。
【図15】図15は、特定情報やレンダリング条件を受け付けるための画面の一例を示す図である。
【図16】図16は、特定情報を受け付けるための画面の一例を示す図である。
【図17】図17は、第2の実施形態における格納部により格納される特定情報の一例を示す図である。
【図18】図18は、第2の実施形態における格納部により格納される特定情報の一例を示す図である。
【図19】図19は、第1の実施形態における視差画像出力処理について示すための図である。
【図20】図20は、特定情報の選択を受け付ける画面の一例を示す図である。
【図21】図21は、特定情報の編集作業を再現可能な制御部の構成の一例を示す図である。
【発明を実施するための形態】
【0008】
以下、添付図面を参照して、画像処理装置、画像処理方法、画像処理システム及び医用画像診断装置の実施形態を詳細に説明する。なお、以下では、画像処理装置としての機能を有するワークステーションを含む画像処理システムを実施形態として説明する。
【0009】
(第1の実施形態)
まず、第1の実施形態における画像処理装置を有する画像処理システムの構成例について説明する。図1は、第1の実施形態における画像処理システムの構成例を説明するための図である。
【0010】
図1に示すように、第1の実施形態における画像処理システム1は、医用画像診断装置110と、画像保管装置120と、ワークステーション130と、端末装置140とを有する。図1に例示する各装置は、例えば、病院内に設置された院内LAN(Local Area Network)2により、直接的、又は間接的に相互に通信可能な状態となる。例えば、画像処理システム1にPACS(Picture Archiving and Communication System)が導入されている場合、各装置は、DICOM(Digital Imaging and Communications in Medicine)規格に則って、医用画像等を相互に送受信する。
【0011】
画像処理システム1は、医用画像診断装置110により生成されたボリュームデータに基づいて、立体画像を表示するための視差画像を生成し、立体画像を表示可能なモニタに生成した視差画像を表示することで、病院内に勤務する医師や検査技師に立体画像を提供する。
【0012】
ここで、「立体画像」は、複数の視点から撮影された視差角の異なる複数の視差画像を表示することで利用者に表示される。言い換えると、「視差画像」は、複数の視点から撮影された視差角の異なる画像であって、利用者に立体画像を表示するための画像である。また、立体画像を表示するための視差画像は、例えば、ボリュームデータに対してボリュームレンダリング処理を行うことで生成される。また、「視差数」とは、立体表示モニタにて立体視されるために必要となる「視差画像」の数を示す。また、「視差角」とは、視差画像各々の視点の位置各々の間隔とボリュームデータの位置とにより定まる角度のことである。
【0013】
以下に詳細に説明するように、第1の実施形態においては、ワークステーション130が、ボリュームデータに対して種々の画像処理を行い、立体画像を表示するための視差画像を生成する。また、ワークステーション130及び端末装置140は、立体画像を表示可能なモニタを有し、ワークステーション130にて生成された視差画像をモニタに表示することで立体画像を利用者に表示する。また、画像保管装置120は、医用画像診断装置110にて生成されたボリュームデータや、ワークステーション130にて生成された視差画像を保管する。例えば、ワークステーション130や端末装置140は、画像保管装置120からボリュームデータや視差画像を取得し、取得したボリュームデータや視差画像に対して任意の画像処理を実行したり、視差画像をモニタに表示したりする。
【0014】
医用画像診断装置110は、X線診断装置、X線CT(Computed Tomography)装置、MRI(Magnetic Resonance Imaging)装置、超音波診断装置、SPECT(Single Photon Emission Computed Tomography)装置、PET(Positron Emission Tomography)装置、SPECT装置とX線CT装置とが一体化されたSPECT−CT装置、PET装置とX線CT装置とが一体化されたPET−CT装置、又はこれらの装置群等である。また、医用画像診断装置110は、ボリュームデータを生成する。
【0015】
具体的には、第1の実施形態における医用画像診断装置110は、被検体を撮影することによりボリュームデータを生成する。例えば、医用画像診断装置110は、被検体を撮影することにより投影データやMR信号等のデータを収集する。そして、医用画像診断装置110は、収集したデータに基づいて被検体の体軸方向に沿った複数のアキシャル面の医用画像を再構成することで、ボリュームデータを生成する。例えば、医用画像診断装置110が、500枚のアキシャル面の医用画像を再構成した場合を用いて説明する。この場合、医用画像診断装置110により再構成された500枚のアキシャル面の医用画像群がボリュームデータとなる。なお、医用画像診断装置110により撮影された被検体の投影データやMR信号等自体をボリュームデータとしても良い。
【0016】
また、医用画像診断装置110は、ボリュームデータを画像保管装置120に送信する。なお、医用画像診断装置110は、ボリュームデータを画像保管装置120に送信する際に、付帯情報として、例えば、患者を識別する患者ID、検査を識別する検査ID、医用画像診断装置110を識別する装置ID、医用画像診断装置110による1回の撮影を識別するシリーズID等を送信する。
【0017】
画像保管装置120は、医用画像を保管するデータベースである。具体的には、画像保管装置120は、医用画像診断装置110からボリュームデータを受信し、受信したボリュームデータを所定の記憶部に保管する。また、画像保管装置120は、ワークステーション130によってボリュームデータから生成された視差画像を受信し、受信した視差画像を所定の記憶部に保管する。
【0018】
なお、第1の実施形態において、画像保管装置120に保管されたボリュームデータや視差画像は、患者ID、検査ID、装置ID、シリーズID等と対応付けて保管される。このため、ワークステーション130や端末装置140は、患者ID、検査ID、装置ID、シリーズID等を用いた検索を行うことで、必要なボリュームデータや視差画像を画像保管装置120から取得する。なお、画像保管装置120とワークステーション130とを統合して1つの装置としても良い。
【0019】
ワークステーション130は、医用画像に対して画像処理を行う画像処理装置である。具体的には、ワークステーション130は、画像保管装置120からボリュームデータを取得する。そして、ワークステーション130は、取得したボリュームデータに対して種々のレンダリング処理を行うことで、立体画像を表示するための視差画像を生成する。例えば、ワークステーション130は、2視差の立体画像を利用者に表示する場合には、視差角が異なる2つの視差画像を生成する。また、例えば、ワークステーション130は、9視差の立体画像を利用者に表示する場合には、視差角が異なる9つの視差画像を生成する。
【0020】
また、ワークステーション130は、表示部として、立体画像を表示可能なモニタ(立体表示モニタ、立体画像表示装置とも称する)を有する。ワークステーション130は、視差画像を生成し、生成した視差画像を立体表示モニタに表示することで、利用者に立体画像を表示する。この結果、ワークステーション130の利用者は、立体表示モニタに表示された立体画像を確認しながら、視差画像を生成するための操作を行うことが可能となる。
【0021】
また、ワークステーション130は、生成した視差画像を画像保管装置120や端末装置140に送信する。なお、ワークステーション130は、画像保管装置120や端末装置140に視差画像を送信する際に、付帯情報として、例えば、患者ID、検査ID、装置ID、シリーズID等を併せて送信する。この際、ワークステーション130は、モニタの解像度は様々であることを踏まえ、視差画像の枚数や解像度を示す付帯情報を併せて送信しても良い。解像度とは、例えば、「466画素×350画素」などが該当する。
【0022】
ここで、第1の実施形態におけるワークステーション130は、被検体の部位を特定するための特定情報と、特定情報により特定される部位の立体画像を生成する際に用いられるレンダリング条件と、レンダリング条件に基づいて生成された該立体画像を表示するための表示条件とを対応付けて記憶する特定情報テーブルから、受け付けた特定情報に対応付けて記憶されたレンダリング条件を取得し、取得したレンダリング条件に基づいて立体画像を生成する。また、ワークステーション130は、受け付けた特定情報に対応付けて記憶された表示条件を特定情報テーブルから取得し、取得した表示条件に基づいて生成した立体画像を表示する。この結果、適切な立体画像を簡単に表示可能となる。
【0023】
図1の説明に戻る。端末装置140は、病院内に勤務する医師や検査技師に医用画像を閲覧させる端末である。具体的には、端末装置140は、表示部として立体表示モニタを有する。また、端末装置140は、画像保管装置120から視差画像を取得し、取得した視差画像を立体表示モニタに表示することで、立体画像を利用者に表示する。また、例えば、端末装置140は、ワークステーション130から視差画像を受信すると、受信した視差画像を立体表示モニタに表示することで、立体画像を利用者に表示する。この結果、利用者である医師や検査技師は、立体視可能な医用画像を閲覧することができる。端末装置140は、例えば、立体表示モニタを有する汎用PC(Personal Computer)やタブレット端末、携帯電話などが該当する。また、端末装置140は、例えば、外部装置としての立体表示モニタと接続された任意の情報処理端末が該当する。
【0024】
ここで、ワークステーション130や端末装置140が有する立体表示モニタについて説明する。立体表示モニタとしては、例えば、2つの視差画像を表示することで、立体視用メガネ等の専用機器を装着した利用者に2視差の立体画像(両眼視差画像)を表示するものがある。
【0025】
図2は、2視差画像により立体表示を行う立体表示モニタの一例を説明するための図である。図2に示す一例は、シャッター方式により立体表示を行う立体表示モニタを例に示した。図2に示す例では、モニタを観察する利用者は、立体視用メガネとしてシャッターメガネを装着する。図2に示す例では、立体表示モニタは、2つの視差画像を交互に出射する。例えば、図2の(A)に示す立体表示モニタは、左目用の視差画像と右目用の視差画像とを120Hzにて交互に出射する。また、立体表示モニタは、図2の(A)に示すように、赤外線出射部が設置され、赤外線出射部が、視差画像が切り替わるタイミングに合わせて赤外線の出射を制御する。
【0026】
また、図2の(A)に示すように、シャッターメガネの赤外線受光部は、赤外線出射部により出射された赤外線を受光する。シャッターメガネの左右それぞれの枠には、シャッターが取り付けられており、シャッターメガネは、赤外線受光部が赤外線を受光したタイミングに合わせて左右のシャッターそれぞれの透過状態及び遮光状態を交互に切り替える。
【0027】
ここで、シャッターメガネのシャッターにおける透過状態及び遮光状態の切り替え処理について説明する。シャッターは、図2の(B)に示すように、入射側の偏光板と出射側の偏光板とを有し、更に、入射側の偏光板と出射側の偏光板との間に液晶層を有する。また、入射側の偏光板と出射側の偏光板とは、図2の(B)に示すように、互いに直交している。ここで、図2の(B)に示すように、電圧が印加されていない「OFF」の状態では、入射側の偏光板を通った光は、液晶層の作用により90度回転し、出射側の偏光板を透過する。すなわち、電圧が印加されていないシャッターは、透過状態となる。
【0028】
一方、図2の(B)に示すように、電圧が印加された「ON」の状態では、液晶層の液晶分子による偏光回転作用が消失するため、入射側の偏光板を通った光は、出射側の偏光板で遮られてしまう。すなわち、電圧が印加されたシャッターは、遮光状態となる。
【0029】
このことを踏まえ、立体表示モニタの赤外線出射部は、例えば、モニタ上に左目用の画像が表示されている期間、赤外線を出射する。そして、シャッターメガネの赤外線受光部は、赤外線を受光している期間、左目のシャッターに電圧を印加せず、右目のシャッターに電圧を印加させる。これにより、図2の(A)に示すように、右目のシャッターが遮光状態となり、左目のシャッターが透過状態となる結果、利用者の左目にのみ左目用の画像が入射する。一方、立体表示モニタの赤外線出射部は、例えば、モニタ上に右目用の画像が表示されている期間、赤外線の出射を停止する。そして、シャッターメガネの赤外線受光部は、赤外線が受光されない期間、右目のシャッターに電圧を印加せず、左目のシャッターに電圧を印加させる。これにより、左目のシャッターが遮光状態となり、右目のシャッターが透過状態となる結果、利用者の右目にのみ右目用の画像が入射する。このように、図2に示す立体表示モニタは、モニタに表示される画像とシャッターの状態を連動させて切り替えることで、立体画像を利用者に表示する。
【0030】
また、立体表示モニタとしては、レンチキュラーレンズ等の光線制御子を用いることで、例えば、9視差の立体画像を利用者が裸眼の利用者に表示するものもある。この場合、立体表示モニタは、両眼視差による立体視を可能とし、更に、利用者の視点移動に合わせて利用者によって観察される映像が変化する運動視差を有する立体画像を表示可能となる。
【0031】
図3は、9視差画像により立体表示を行う立体表示モニタの一例を説明するための図である。図3に示す立体表示モニタは、液晶パネル等の平面状の表示面200の前面に、光線制御子が配置される。例えば、図3に示す立体表示モニタは、光線制御子として、光学開口が垂直方向に延びる垂直レンチキュラーシート201が表示面200の前面に貼り付けられる。なお、図3に示す一例では、垂直レンチキュラーシート201の凸部が前面となるように貼り付けられているが、垂直レンチキュラーシート201の凸部が表示面200に対向するように貼り付けられる場合であっても良い。
【0032】
図3に示す例では、表示面200は、縦横比が3:1であり、縦方向にサブ画素である赤(R)、緑(G)、青(B)の3つが配置された画素202がマトリクス状に配置される。図3に示す例では、立体表示モニタは、視差角が異なる9つの視差画像を所定フォーマット(例えば格子状)に配置した上で、表示面200に出力する。すなわち、図3に示す立体表示モニタは、視差角が異なる9つの視差画像において同一位置にある9つの画素それぞれが、9列の画素202それぞれに割り振られた中間画像を表示する。9列の画素202は、視差角の異なる9つの画像を同時に表示する単位画素群203となる。なお、図3に示す例では、中間画像が格子状となる場合を示したが、これに限定されるものではなく、任意の形状であって良い。
【0033】
表示面200において単位画素群203として同時に出力された視差角が異なる9つの視差画像は、例えば、LED(Light Emitting Diode)バックライトにより平行光として放射され、更に、垂直レンチキュラーシート201により、多方向に放射される。9つの視差画像の各画素の光が多方向に放射されることにより、利用者の右目及び左目に入射する光は、利用者の位置(視点の位置)に連動して変化する。すなわち、利用者の見る角度により、右目に入射する視差画像と左目に入射する視差画像とは、視差角が異なる視差画像となる。この結果、利用者は、例えば、図3に示す9つの位置それぞれにおいて、異なる視野角から撮影対象を見る立体画像を視認できる。また、利用者は、例えば、図3に示す「5」の位置において、撮影対象に対して正対した状態で立体的に視認できるとともに、図3に示す「5」以外それぞれの位置において、撮影対象の向きを変化させた状態で立体的に視認できる。なお、図3に示す例は一例であり、これに限定されるものではない。例えば、図3に示す例では、横ストライプ(RRR…、GGG…、BBB…)液晶と縦レンズとの組み合わせを用いた場合を例に示したが、これに限定されるものではなく、例えば、縦ストライプ(RGBRGB…)液晶と斜めレンズとの組み合わせを用いても良い。
【0034】
ここまで、第1の実施形態における画像処理システム1の構成例について簡単に説明した。なお、上述した画像処理システム1は、PACSが導入されている場合にその適用が限られるものではない。例えば、画像処理システム1は、医用画像が添付された電子カルテを管理する電子カルテシステムが導入されている場合にも、同様に適用しても良い。この場合、画像保管装置120は、電子カルテを保管するデータベースとなる。また、例えば、画像処理システム1は、HIS(Hospital Information System)、RIS(Radiology Information System)が導入されている場合にも、同様に適用しても良い。また、画像処理システム1は、上述した構成例に限られるものではない。各装置が有する機能やその分担は、運用の形態に応じて適宜変更しても良い。
【0035】
次に、第1の実施形態におけるワークステーション130の構成例について図4を用いて説明する。図4は、第1の実施形態におけるワークステーションの構成例を説明するための図である。
【0036】
ワークステーション130は、画像処理等に適した高性能なコンピュータである。図4に示す例では、ワークステーション130は、入力部131と、表示部132と、通信部133と、記憶部134と、制御部135と、レンダリング処理部136とを有する。なお、以下では、ワークステーション130が画像処理等に適した高性能なコンピュータである場合を用いて説明するが、これに限定されるものではなく、任意の情報処理装置であって良い。例えば、任意のパーソナルコンピュータであっても良い。
【0037】
入力部131は、マウス、キーボード、トラックボール等であり、ワークステーション130に対する各種操作の入力を利用者から受け付ける。具体的には、入力部131は、レンダリング処理の対象となるボリュームデータを画像保管装置120から取得するための情報の入力を受け付ける。例えば、入力部131は、患者ID、検査ID、装置ID、シリーズID等の入力を受け付ける。また、入力部131は、レンダリング処理に関する条件(以下、レンダリング条件)の入力を受け付ける。
【0038】
表示部132は、立体表示モニタとしての液晶パネル等であり、各種情報を表示する。具体的には、第1の実施形態における表示部132は、利用者から各種操作を受け付けるためのGUI(Graphical User Interface)や、立体画像等を表示する。通信部133は、NIC(Network Interface Card)等であり、他の装置との間で通信を行う。また、例えば、通信部133は、利用者によって端末装置140に入力されたレンダリング条件を端末装置140から受信する。
【0039】
記憶部134は、ハードディスク、半導体メモリ素子等であり、各種情報を記憶する。具体的には、記憶部134は、通信部133を介して画像保管装置120から取得したボリュームデータを記憶する。また、記憶部134は、レンダリング処理中のボリュームデータや、レンダリング処理が行われた視差画像とその付帯情報(視差数、解像度など)等を記憶する。記憶部134の詳細については、後述する。
【0040】
制御部135は、CPU(Central Processing Unit)やMPU(Micro Processing Unit)、GPU(Graphics Processing Unit)等の電子回路、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路であり、ワークステーション130の全体制御を行う。
【0041】
例えば、制御部135は、表示部132に対するGUIの表示や立体画像の表示を制御する。また、例えば、制御部135は、画像保管装置120との間で通信部133を介して行われるボリュームデータや視差画像の送受信を制御する。また、例えば、制御部135は、レンダリング処理部136によるレンダリング処理を制御する。また、例えば、制御部135は、ボリュームデータの記憶部134からの読み込みや、視差画像の記憶部134への格納を制御する。
【0042】
ここで、ワークステーション130の制御部135は、レンダリング処理部136によるレンダリング処理を制御し、レンダリング処理部136と共働することで、測定処理を実行する。制御部135の詳細については、レンダリング処理部136について説明した後に説明する。
【0043】
レンダリング処理部136は、制御部135による制御の下、画像保管装置120から取得したボリュームデータに対して種々のレンダリング処理を行い、視差画像を生成する。具体的には、レンダリング処理部136は、記憶部134からボリュームデータを読み込み、読み込んだボリュームデータに対して前処理を行う。そして、レンダリング処理部136は、前処理後のボリュームデータに対してボリュームレンダリング処理を行うことで、立体画像を表示するための視差画像を生成する。そして、レンダリング処理部136は、生成した視差画像を記憶部134に格納する。
【0044】
また、レンダリング処理部136は、各種情報(目盛り、患者名、検査項目等)が描出されたオーバーレイ画像を生成し、生成したオーバーレイ画像を視差画像に重畳しても良い。この場合、レンダリング処理部136は、オーバーレイ画像が重複された視差画像を記憶部134に格納する。
【0045】
なお、レンダリング処理とは、ボリュームデータに対して行う画像処理全体を示し、ボリュームレンダリング処理とは、レンダリング処理のうち、被検体の3次元の情報が反映された医用画像を生成する処理を示す。レンダリング処理により生成される医用画像とは、例えば、視差画像が該当する。
【0046】
図5は、図4に示すレンダリング処理部の構成例を説明するための図である。図5に示すように、レンダリング処理部136は、前処理部1361と、3次元画像処理部1362と、2次元画像処理部1363とを有する。以下に詳細に説明するように、前処理部1361は、ボリュームデータに対する前処理を行う。3次元画像処理部1362は、前処理後のボリュームデータから視差画像を生成する。2次元画像処理部1363は、立体画像に各種情報が重畳された視差画像を生成する。
【0047】
前処理部1361は、ボリュームデータに対してレンダリング処理を行う際に、種々の前処理を行う。図5に示す例では、前処理部1361は、画像補正処理部1361aと、3次元物体フュージョン部1361eと、3次元物体表示領域設定部1361fとを有する。
【0048】
画像補正処理部1361aは、2種類のボリュームデータを1つのボリュームデータとして処理する際に画像補正処理を行う。図5に示す例では、画像補正処理部1361aは、歪み補正処理部1361bと、体動補正処理部1361cと、画像間位置合わせ処理部1361dとを有する。例えば、画像補正処理部1361aは、PET−CT装置により生成されたPET画像のボリュームデータとX線CT画像のボリュームデータとを1つのボリュームデータとして処理する際に画像補正処理を行う。また、画像補正処理部1361aは、MRI装置により生成されたT1強調画像のボリュームデータとT2強調画像のボリュームデータとを1つのボリュームデータとして処理する際に画像補正処理を行う。
【0049】
ここで、画像補正処理部1361aの歪み補正処理部1361bは、個々のボリュームデータにおいて、医用画像診断装置110によるデータ収集時の収集条件に起因するデータの歪みを補正する。また、体動補正処理部1361cは、個々のボリュームデータを生成するために用いられたデータの収集時期における被検体の体動に起因する移動を補正する。また、画像間位置合わせ処理部1361dは、歪み補正処理部1361b及び体動補正処理部1361cによる補正処理が行われた2つのボリュームデータ間で、例えば、相互相関法等を用いた位置合わせ(Registration)を行う。
【0050】
3次元物体フュージョン部1361eは、画像間位置合わせ処理部1361dにより位置合わせが行われた複数のボリュームデータをフュージョンさせる。なお、画像補正処理部1361a及び3次元物体フュージョン部1361eの処理は、単一のボリュームデータに対してレンダリング処理を行う場合、省略される。
【0051】
3次元物体表示領域設定部1361fは、利用者により指定された表示対象臓器に対応する表示領域を設定する。図5に示す例では、3次元物体表示領域設定部1361fは、セグメンテーション処理部1361gを有する。3次元物体表示領域設定部1361fのセグメンテーション処理部1361gは、利用者により指定された心臓、肺、血管等の臓器を、例えば、ボリュームデータの画素値(ボクセル値)に基づく領域拡張法により抽出する。
【0052】
なお、セグメンテーション処理部1361gは、利用者により表示対象臓器が指定されなかった場合、セグメンテーション処理を行わない。また、セグメンテーション処理部1361gは、利用者により表示対象臓器が複数指定された場合、該当する複数の臓器を抽出する。また、セグメンテーション処理部1361gの処理は、レンダリング画像を参照した利用者の微調整要求により再度実行される場合もある。
【0053】
3次元画像処理部1362は、前処理部1361が処理を行った前処理後のボリュームデータに対してボリュームレンダリング処理を行う。図5に示す例では、3次元画像処理部1362は、ボリュームレンダリング処理を行う処理部として、投影方法設定部1362aと、3次元幾何変換処理部1362bと、3次元物体アピアランス処理部1362fと、3次元仮想空間レンダリング部1362kとを有する。
【0054】
投影方法設定部1362aは、立体画像を生成するための投影方法を決定する。例えば、投影方法設定部1362aは、ボリュームレンダリング処理を平行投影法により実行するか、透視投影法により実行するかを決定する。
【0055】
3次元幾何変換処理部1362bは、ボリュームレンダリング処理が実行されるボリュームデータを3次元幾何学的に変換するための情報を決定する。図5に示す例では、3次元幾何変換処理部1362bは、平行移動処理部1362cと、回転処理部1362dと拡大縮小処理部1362eとを有する。3次元幾何変換処理部1362bの平行移動処理部1362cは、ボリュームレンダリング処理を行う際の視点位置が平行移動された場合に、ボリュームデータを平行移動させる移動量を決定する。また、回転処理部1362dは、ボリュームレンダリング処理を行う際の視点位置が回転移動された場合に、ボリュームデータを回転移動させる移動量を決定する。また、拡大縮小処理部1362eは、立体画像の拡大や縮小が要求された場合に、ボリュームデータの拡大率や縮小率を決定する。
【0056】
3次元物体アピアランス処理部1362fは、3次元物体色彩処理部1362gと、3次元物体不透明度処理部1362hと、3次元物体材質処理部1362iと3次元仮想空間光源処理部1362jとを有する。3次元物体アピアランス処理部1362fは、これらの処理部により、例えば、利用者の要求に応じて、視差画像を表示することで利用者に表示される立体画像の表示状態を決定する。
【0057】
3次元物体色彩処理部1362gは、ボリュームデータにてセグメンテーションされた各領域に対して着色される色彩を決定する。また、3次元物体不透明度処理部1362hは、ボリュームデータにてセグメンテーションされた各領域を構成する各ボクセルの不透過度(Opacity)を決定する処理部である。なお、ボリュームデータにおいて不透過度が「100%」とされた領域の後方の領域は、視差画像において描出されない。また、ボリュームデータにおいて不透過度が「0%」とされた領域は、視差画像において描出されない。
【0058】
3次元物体材質処理部1362iは、ボリュームデータにてセグメンテーションされた各領域の材質を決定することで、この領域が描出される際の質感を調整する。3次元仮想空間光源処理部1362jは、ボリュームデータに対してボリュームレンダリング処理を行う際に、3次元仮想空間に設置する仮想光源の位置や、仮想光源の種類を決定する。仮想光源の種類としては、無限遠から平行光線を照射する光源や、視点から放射状の光線を照射する光源等があげられる。
【0059】
3次元仮想空間レンダリング部1362kは、ボリュームデータに対してボリュームレンダリング処理を行い、視差画像を生成する。また、3次元仮想空間レンダリング部1362kは、ボリュームレンダリング処理を行う際、必要に応じて、投影方法設定部1362a、3次元幾何変換処理部1362b、3次元物体アピアランス処理部1362fにより決定された各種情報を用いる。
【0060】
ここで、3次元仮想空間レンダリング部1362kは、制御部135からレンダリング条件を受け付け、受け付けたレンダリング条件に従って、ボリュームデータに対するボリュームレンダリング処理を行う。レンダリング条件は、入力部131を介して利用者から受け付けたり、初期設定されたり、通信部133を介して端末装置140から受け付けたりする。また、このとき、上述した投影方法設定部1362a、3次元幾何変換処理部1362b、3次元物体アピアランス処理部1362fが、このレンダリング条件に従って必要な各種情報を決定し、3次元仮想空間レンダリング部1362kは、決定された各種情報を用いて立体画像を生成する。
【0061】
なお、例えば、レンダリング条件は、「平行投影法」又は「透視投影法」である。また、例えば、レンダリング条件は、「基準の視点位置及び視差角」である。また、例えば、レンダリング条件は、「視点位置の平行移動」、「視点位置の回転移動」、「立体画像の拡大」、「立体画像の縮小」である。また、例えば、レンダリング条件は、「着色される色彩」、「透過度」、「質感」、「仮想光源の位置」、「仮想光源の種類」である。
【0062】
図6は、第1の実施形態におけるボリュームレンダリング処理の一例を説明するための図である。例えば、3次元仮想空間レンダリング部1362kが、図6の「9視差画像生成方式(1)」に示すように、レンダリング条件として、平行投影法を受け付け、更に、基準の視点位置(5)と視差角「1度」とを受け付けたとする。この場合、3次元仮想空間レンダリング部1362kは、視差角が「1度」おきとなるように、視点の位置を(1)〜(9)に平行移動して、平行投影法により視差角(視線方向間の角度)が1度ずつ異なる9つの視差画像を生成する。なお、平行投影法を行う場合、3次元仮想空間レンダリング部1362kは、視線方向に沿って無限遠から平行光線を照射する光源を設定する。
【0063】
あるいは、3次元仮想空間レンダリング部1362kが、図6の「9視差画像生成方式(2)」に示すように、レンダリング条件として、透視投影法を受け付け、更に、基準の視点位置(5)と視差角「1度」とを受け付けたとする。この場合、3次元仮想空間レンダリング部1362kは、視点移動する平面上に存在するボリュームデータの切断面の重心を中心に視差角が「1度」おきとなるように、視点の位置を(1)〜(9)に回転移動して、透視投影法により視差角が1度ずつ異なる9つの視差画像を生成する。言い換えると、3次元的な体積の重心ではなく、2次元的な切断面の重心を中心に回転移動して、9つの視差画像を生成する。なお、透視投影法を行う場合、3次元仮想空間レンダリング部1362kは、視線方向を中心に光を3次元的に放射状に照射する点光源や面光源を各視点にて設定する。また、透視投影法を行う場合、レンダリング条件によっては、視点(1)〜(9)は、平行移動される場合であっても良い。
【0064】
なお、3次元仮想空間レンダリング部1362kは、表示されるボリュームレンダリング画像の縦方向に対しては、視線方向を中心に光を2次元的に放射状に照射し、表示されるボリュームレンダリング画像の横方向に対しては、視線方向に沿って無限遠から平行光線を照射する光源を設定することで、平行投影法と透視投影法とを併用したボリュームレンダリング処理を行っても良い。
【0065】
なお、図6の例では、レンダリング条件として、投影方法、基準の視点位置及び視差角を受け付けた場合を説明したが、レンダリング条件として、他の条件を受け付けた場合も同様に、3次元仮想空間レンダリング部1362kは、それぞれのレンダリング条件を反映しつつ、9つの視差画像を生成する。
【0066】
なお、3次元仮想空間レンダリング部1362kは、ボリュームレンダリングだけでなく、断面再構成法(MPR:Multi Planer Reconstruction)を行うことで、ボリュームデータからMPR画像を再構成する機能も有する。また、3次元仮想空間レンダリング部1362kは、MPRとして「Curved MPR」を行う機能や、「Intensity Projection」を行う機能も有する。
【0067】
また、3次元画像処理部1362がボリュームデータから生成した視差画像は、アンダーレイ(Underlay)として用いた上で、各種情報(目盛り、患者名、検査項目等)が描出されたオーバーレイ画像をオーバーレイ(Overlay)として重畳しても良い。この場合、2次元画像処理部1363は、オーバーレイとなるオーバーレイ画像とアンダーレイとなる視差画像に対して画像処理を行うことで、オーバーレイ画像が重畳された視差画像を生成する。図5に示す例では、2次元画像処理部1363は、2次元物体描画部1363aと、2次元幾何変換処理部1363bと、輝度調整部1363cとを有する。なお、各種情報の描画処理コスト低減のため、オーバーレイを1枚だけ描画しておき、1枚のオーバーレイをアンダーレイとなる9枚の視差画像それぞれに重畳することで、オーバーレイ画像が重畳された9枚の視差画像を生成しても良い。
【0068】
2次元物体描画部1363aは、オーバーレイに描出される各種情報を描画する。また、2次元幾何変換処理部1363bは、オーバーレイに描出される各種情報の位置を平行移動処理又は回転移動処理したり、オーバーレイに描出される各種情報の拡大処理又は縮小処理したりする。また、輝度調整部1363cは、例えば、出力先の立体表示モニタの諧調や、ウィンドウ幅(WW:Window Width)、ウィンドウレベル(WL:Window Level)等の画像処理用のパラメータに応じて、オーバーレイ及びアンダーレイの輝度を調整する。また、輝度調整部1363cは、例えば、レンダリング画像に対する輝度変換処理を行う。
【0069】
レンダリング処理部136により生成された視差画像は、例えば、制御部135により一旦記憶部134に格納され、その後、通信部133を介して画像保管装置120に送信される。その後、例えば、端末装置140は、画像保管装置120からオーバーレイ画像が重畳された視差画像を取得し、所定フォーマット(例えば格子状)に配置した中間画像に変換した上で立体表示モニタに表示することで、利用者である医師や検査技師に、各種情報(目盛り、患者名、検査項目等)が描出された立体画像を表示可能となる。
【0070】
さて、上述したように、レンダリング処理部136は、制御部135による制御の下、ボリュームデータから視差画像を生成する。以下では、次に、第1の実施形態における制御部135について詳細に説明する。
【0071】
図7は、第1の実施形態における制御部の詳細について説明する図の一例である。図7に示す例では、説明の便宜上、記憶部134を併せて示した。図7に示すように、制御部135は、受付部1351と、視差画像生成部1352と、表示制御部1353とを有する。また、記憶部134は、特定情報テーブル1341を有する。特定情報テーブル1341は、「特定情報記憶部」とも称する。
【0072】
すなわち、以下に説明するように、制御部135は、ユーザによってユーザが見たい部位が指定されると、指定された部位に適したレンダリング条件にて立体画像が生成され、生成された立体画像に適した条件にて表示される。この結果、適切な立体画像を簡単に表示可能となる。すなわち、例えば、立体画像を表示するごとにレンダリング条件や表示の仕方をユーザがいちいち設定することなく、適切な立体画像を簡単に表示可能となる。
【0073】
なお、以下では、記憶部134が、特定情報テーブル1341を有する場合を例に説明するが、これに限定されるものではなく、任意の装置が有しても良い。例えば、画像保管装置120が有しても良く、他の独立したデータベースが有しても良い。
【0074】
特定情報テーブル1341は、被検体の部位を特定するための特定情報と、特定情報により特定される部位の立体画像を生成する際に用いられるレンダリング条件と、レンダリング条件に基づいて生成された立体画像を表示するための表示条件とを対応付けて記憶する。ここで、特定情報テーブル1341は、被検体を一意に識別する識別情報に対応付けて、特定情報とレンダリング条件と表示条件を記憶しても良い。特定情報テーブル1341に記憶される情報は、例えば、経験則に基づき予め設定される。
【0075】
ここで、被検体の部位を特定するための特定情報は、例えば、心臓や肝臓などの臓器名や、冠動脈や門脈などの血管名、肋骨や頭蓋骨などの骨の名前、筋肉名、頭部や足など、被検体の任意の部位を示す任意の名称である。特定情報により特定される部位の立体画像を生成する際に用いられるレンダリング条件は、例えば、視差画像を生成する視点、視差角、視差画像のスケール、視差数、立体表示される立体画像の立体感の強さを示す立体感情報、立体画像の不透過度を示す不透過度情報などである。レンダリング条件に基づいて生成された立体画像を表示するための表示条件は、例えば、回転や、並行移動、拡大縮小、静止状態などである。なお、上述した特定情報やレンダリング条件、表示条件は一例であり、これに限定されるものではない。
【0076】
また、特定情報テーブル1341は、識別情報にデータが入力されている場合には、識別情報により識別されるユーザに対して適用される特定情報として、関心領域や、任意の断面などが設定されても良い。
【0077】
図8は、第1の実施形態における特定情報テーブルに記憶された情報の一例を示す図である。図8に示す例では、特定情報テーブル1341は、識別情報「null」と、特定情報「心臓の冠動脈」と、レンダリング条件「視点A、9視差」と表示条件「静止」とを記憶する。すなわち、特定情報テーブル1341は、不特定のユーザに適用される情報として、特定情報「心臓の冠動脈」が選択された場合に、視点Aから9枚の視差画像を生成し、生成した視差画像を表示することで、静止状態の心臓の冠動脈の立体画像を利用者に表示することを記憶する。ここで、識別情報にデータが入力されている場合には、対応付けられた特定情報とレンダリング条件と表示条件とは、識別情報に入力されたデータにより識別される被検体に対して適用される。
【0078】
ここで、レンダリング条件として設定される一例となる視点について説明する。視点は、ボリュームデータにより示される被検体をどの位置から見た立体画像となるかを示す。図9−1及び図9−2は、ボリュームデータにより示される被検体をどの位置から見た立体画像となるかを示す特定情報の一例を示すための図である。図9−1及び図9−2では、x軸とy軸とz軸とが交差する原点に、ボリュームデータにより示される被検体の中心が位置するものとして説明する。また、図9−1及び図9−2におけるx軸とy軸とz軸とは、利用者に表示される立体画像における座標系である立体画像座標における軸を示すものではなく、ボリュームデータにおける座標系であるボリュームデータ座標における軸を示すものとして説明する。
【0079】
図9−1に示すように、視点は、例えば、ボリュームデータ座標における座標が該当する。すなわち、ボリュームデータ座標「X、Y、Z」が特定情報となる場合、ボリュームデータ座標「X、Y、Z」から見た被検体の立体画像が特定される。また、図9−2に示すように、視点は、例えば、被検体を見る位置と原点とを結んだ直線とyz平面とが成す角度「α」と、被検体を見る位置と原点とを結んだ直線とxy平面とが成す角度「β」と、被検体を見る位置と原点との距離「r」との組み合わせが該当する。ただし、図9−1と図9−2に示した被検体をどの位置から見た立体画像となるかを示す特定情報は一例であり、これに限定されるものではなく、任意の情報を用いて良い。
【0080】
立体画像座標とボリュームデータ座標とについて簡単に補足する。図10と図11とは、第1の実施形態における立体画像座標とボリュームデータ座標とについて説明するための図である。図10の(1)と(2)とは、同じ被検体を示すものとして説明する。図11の(1)と(2)とは、同一の被検体を示すものとして説明する。図10の(1)と図11の(1)とは、第1の実施形態におけるボリュームデータ座標により示される被検体の一例を示す。説明の便宜上、図10の(1)に示す例では、被検体を立方体で示し、図11の(1)に示す例では、被検体を球で示した。図10の(2)と図11の(2)とは、端末装置140にて表示される立体画像の一例を示す。なお、図10と図11とにおいて、z方向は実空間座標における奥行き方向を示し、x方向は実空間座標における水平方向を示し、y方向は実空間座標における垂直方向を示す。また、z’方向は仮想空間座標における奥行き方向を示し、x’方向は仮想空間座標における水平方向を示し、y’方向は仮想空間座標における垂直方向を示す。図10の(1)における座標301と座標302と距離303は、それぞれ、図10の(2)における座標304と座標305と距離306とに対応する。図11の(1)の関心領域307は、図11の(2)の関心領域308と対応する。
【0081】
図10の(2)の立体画像は、図10の(1)に示すボリュームデータにおける被検体と比較して、奥行き方向が狭くなっている。言い換えると、図10の(2)の立体画像では、図10の(1)に示された被検体の奥行き方向の成分が、圧縮された上で表示されている。この場合、図10の(2)に示すように、座標304と座標305との間の距離306は、図10の(1)における座標301と座標302との間の距離303と比較して、奥行き方向の距離が圧縮される分短くなる。言い換えると、立体画像内に表示される距離306は、実空間における距離303と比較して短くなる。
【0082】
図11の(2)の立体画像は、図11の(1)に示すボリュームデータにおける被検体と比較して、z方向とx方向が狭くなっている。言い換えると、図11の(2)の立体画像では、図11の(1)に示された被検体の奥行き方向と水平方向の成分が、圧縮された上で示されている。この場合、図11の(2)に示すように、関心領域308の形状は、図11の(1)に示す関心領域307の形状である「球」と比較して、z方向とx方向が狭くなった形状となる。なお、図11に示す例では、z方向とx方向が狭くなった場合を例に示したが、これに限定されるものではなく、z方向だけが狭くなっても良く、y方向が狭くなっても良い。
【0083】
図10や図11に示すように、立体画像座標とボリュームデータ座標とは、同一とならない場合がある。ここで、立体画像座標とボリュームデータ座標との対応関係は、立体画像のスケールや視野角、方向などにより一意に決定され、例えば、以下の(数1)のような形で表現することが可能となる。
【0084】
(数1)=(x1、y1、z1)=F(x2、y2、z2)
【0085】
(数1)において、「x2」「y2」「z2」は、それぞれ、立体画像座標を示す。「x1」「y1」「z1」は、それぞれ、ボリュームデータ座標を示す。「F」は、関数を示す。関数「F」は、立体画像のスケールや視野角、方向などにより一意に決定される。なお、関数「F」は、立体画像のスケールや視野角、方向などが変更されるごとに生成される。例えば、回転、平行移動、拡大、縮小を変換する関数「F」として(数2)に示したアフィン変換が用いられる。
(数2)x1=a*x2+b*y2+c*z3+d
y1=e*x2+f*y2+g*z3+h
z1=i*x2+j*y2+k*z3+l
(a〜lは変換係数)
【0086】
なお、上述した説明では、立体画像座標とボリュームデータ座標との対応関係が、関数「F」により示される場合を用いて説明したが、これに限定されるものではない。例えば、立体画像座標とボリュームデータ座標との対応関係は、予め作成されたテーブルにより示されても良く、任意の手法にて示されて良い。
【0087】
特定情報テーブル1341が、立体表示される立体画像の立体感を示す立体感情報と、立体画像の不透過度を示す不透過度情報とを記憶する場合について説明する。利用者に表示される立体画像には奥行きがあり、利用者が感じる奥行きの強さは、視差画像各々の視差角によって変わる。このことを踏まえ特定情報テーブル1341は、立体感の強さを示す立体感情報を記憶する。また、被検体の内部について表示された立体画像を利用者に表示する場合がある。この場合、被検体の一部について半透明とした上で、被検体の内部を可視化することがある。このことを踏まえ、特定情報テーブル1341は、不透過度情報を記憶する。
【0088】
ここで、視差画像各々の視点の成す視差角と立体画像の立体感との関係について簡単に説明する。図12は、視差画像各々の視点の成す視差角の変更に応じた立体感の変更について示す図である。図12では、説明の便宜上、立体画像を直方体として示した。図12の(1)の立体画像と、図12の(2)の立体画像とは、奥行き方向のみ異なるものとして説明する。なお、図12の(1)と(2)とでは、説明の便宜上、水平方向と奥行き方向についてのメモリのみを示した。図12の(1)と(2)とにおいて、各メモリは、「1cm」を示すものとして説明する。
【0089】
ここで、視差画像各々の視点の成す視差角がより大きな値に変更されると、利用者に表示される奥行き感が強くなる。言い換えると、奥行きの深さが長くなり、立体画像の立体感が強くなる。すなわち、視差画像各々の視点の成す視差角がより大きな値に変更されると、図12の(1)から(2)へと変化する。また、同様に、視差画像各々の視点の成す視差角がより小さな値に変更されると、利用者に表示される奥行き感が弱くなる。言い換えると、奥行きの深さが短くなり、立体画像の立体感が弱くなる。すなわち、視差画像各々の視点の成す視差角がより小さな値に変更されると、図12の(2)から(1)へと変化する。
【0090】
制御部135の各部について説明する。受付部1351は、特定情報を受け付ける。例えば、受付部1351は、入力部131を介してユーザから特定情報を受け付けたり、他の装置に対してユーザによって入力された特定情報を通信部133を介して受け付けたりする。例えば、制御部135は、特定情報「心臓の冠動脈」を受け付ける。また、制御部135は、特定情報に加えて、識別情報を受け付けたりする。
【0091】
視差画像生成部1352は、特定情報テーブル1341から、受付部1351により受け付けられた特定情報に対応付けて記憶されたレンダリング条件を取得し、取得したレンダリング条件に基づいて立体画像を生成する。例えば、視差画像生成部1352は、特定情報「心臓の冠動脈」に対応するレンダリング条件「視点A 9視差」を特定情報テーブル1341から取得し、取得したレンダリング条件「視点A 9視差」に基づいて立体画像を表示するための視差画像を生成する。この場合、視差画像生成部1352は、被検体のボリュームデータを視点Aから見た場合における9枚の視差画像を生成する。
【0092】
また、視差画像生成部1352は、受付部1351によって識別情報も受け付けられた場合には、受け付けられた識別情報に対応付けられた特定情報やレンダリング条件、表示条件が特定情報テーブル1341に記憶されているかを検索する。ここで、視差画像生成部1352は、特定情報テーブル1341に記憶されていた場合には、受け付けられた識別情報に対応付けられたレンダリング条件に基づいて、画像保管装置120に記憶されたボリュームデータのうち識別情報により識別される被検体のボリュームデータを用いて立体画像を生成する。一方、視差画像生成部1352は、特定情報テーブル1341に記憶されていなかった場合には、識別情報に対応付けられていないレンダリング条件に基づいて、画像保管装置120に記憶されたボリュームデータのうち識別情報により識別される被検体のボリュームデータを用いて立体画像を生成する。
【0093】
ここで、識別情報を受け付けなかった場合に用いるボリュームデータの一例について補足する。この場合、現在選択中のボリュームデータを用いて視差画像を生成したり、予め設定されていたボリュームデータを用いて視差画像を生成したりする。なお、視差画像生成部1352は、例えば、レンダリング処理部136にレンダリング条件を出力することで、レンダリング処理部136と協働して視差画像を生成する。
【0094】
表示制御部1353は、受付部1351により受け付けられた特定情報に対応付けて記憶された表示条件を特定情報テーブル1341から取得し、視差画像生成部1352により生成された立体画像を、取得した表示条件に基づいて表示部132から表示する。例えば、表示制御部1353は、特定情報「心臓の冠動脈」に対応する表示条件「静止」を取得する。この場合、表示制御部1353は、視差画像生成部1352により生成された視差画像各々を表示することで、静止状態の立体画像を利用者に表示する。
【0095】
また、視差画像生成部1352は、受付部1351によって識別情報も受け付けられた場合には、受け付けられた識別情報に対応付けられた特定情報やレンダリング条件、表示条件が特定情報テーブル1341に記憶されているかを検索する。ここで、視差画像生成部1352は、特定情報テーブル1341に記憶されていた場合には、受け付けられた識別情報に対応付けられた表示条件に基づいて表示する。一方、視差画像生成部1352は、特定情報テーブル1341に記憶されていなかった場合には、識別情報に対応付けられていない表示条件に基づいて表示する。なお、表示制御部1353は、立体画像を表示部132にて利用者に表示したり、端末装置140にて表示したり、任意の端末にて表示したりする。
【0096】
[第1の実施形態による処理]
図13は、第1の実施形態における制御部による処理の流れの一例を示すフローチャートである。以下では、説明の便宜上、受付部1351が、特定情報「心臓の冠動脈」を受け付ける場合を用いて説明する。
【0097】
図13に示すように、制御部135では、受付部1351が特定情報を受け付けると(ステップS101肯定)、視差画像生成部1352は、特定情報に対応付けて記憶されたレンダリング条件を特定情報テーブル1341から取得し(ステップS102)、取得したレンダリング条件に基づいて立体画像を生成する(ステップS103)。例えば、視差画像生成部1352は、特定情報「心臓の冠動脈」に対応するレンダリング条件「視点A 9視差」を特定情報テーブル1341から取得し、取得したレンダリング条件「視点A 9視差」に基づいて立体画像を表示するための視差画像を生成する。
【0098】
そして、表示制御部1353は、受付部1351により受け付けられた特定情報に対応付けて記憶された表示条件を特定情報テーブル1341から取得し(ステップS104)、取得した表示条件に基づいて立体画像を表示する(ステップS105)。例えば、表示制御部1353は、特定情報「心臓の冠動脈」に対応する表示条件「静止」を取得し、静止状態の立体画像を表示する。
【0099】
(第1の実施形態による効果)
上述したように、第1の実施形態によれば、特定情報を受け付け、特定情報テーブル1341から、受け付けた特定情報に対応付けて記憶されたレンダリング条件を取得し、取得したレンダリング条件に基づいて立体画像を生成する。また、受け付けた特定情報に対応付けて記憶された表示条件を特定情報テーブル1341から取得し、取得した表示条件に基づいて立体画像を表示部132から表示する。この結果、適切な立体画像を簡単に表示可能となる。すなわち、例えば、ユーザが適したレンダリング条件や表示の仕方をいちいち設定することなく、適切な立体画像を簡単に表示可能となる。
【0100】
また、第1の実施形態によれば、特定情報テーブル1341は、被検体を一意に識別する識別情報に対応付けて、特定情報とレンダリング条件と表示条件とを記憶する。また、識別情報をさらに受け付け、画像保管装置120に記憶されたボリュームデータのうち、識別情報により識別される被検体のボリュームデータに基づいて立体画像を生成する。この結果、特定の被検体について、適切な立体画像を簡単に表示可能となる。
【0101】
また、第1の実施形態によれば、立体表示される立体画像の立体感を示す立体感情報や立体画像の不透過度を示す不透過度情報を記憶する。この結果、利用者により指定された立体画像の立体感の強さや不透過度が様々であったとしても、確実に、任意の立体画像を簡単に利用者に表示可能となる。
【0102】
(第2の実施形態)
第2の実施形態では、ユーザから受け付けた情報を特定情報テーブル1341に格納する場合について説明する。なお、以下では、第1の実施形態と同様の点については、記載を適宜省略する。
【0103】
図14は、第2の実施形態における制御部の詳細について説明する図の一例である。図14に示す例では、説明の便宜上、記憶部134と特定情報テーブル1341とを併せて示した。図14に示すように、制御部135は、格納部1354を更に備える。
【0104】
格納部1354は、特定情報やレンダリング条件、表示条件、識別情報などを特定情報テーブル1341に格納する。ここで、格納部1354は、受付部1351aによって特定情報テーブル134に格納する情報として受け付けられた特定情報やレンダリング条件、表示条件、識別情報などをそのまま特定情報テーブル1341に格納しても良く、受付部1351aによって受け付けられた特定情報などからレンダリング条件や表示条件を生成した上で、生成したレンダリング条件や表示条件と、受け付けた特定情報とを格納しても良い。また、格納部1354は、表示条件やレンダリング条件が入力されなかった場合には、任意の表示条件やレンダリング条件を初期設定として格納しても良い。
【0105】
図15は、特定情報やレンダリング条件を受け付けるための画面の一例を示す図である。図15に示す例では、立体画像321と併せて、断面画像322〜断面画像324が併せて表示される画面の一例を示した。図15に示す例では、特定情報「頭部」を受け付けるとともに、断面326や断面327、断面328がレンダリング条件として利用者によって設定される場合を示した。図15に示す例では、レンダリング条件として設定された断面は、受け付けられた断面に着目した立体画像を特定するためのレンダリング条件となる。
【0106】
この場合、格納部1354は、受け付けられた断面に着目した立体画像を特定するための他のレンダリング条件を自律的に生成し、生成したレンダリング条件と受け付けられた特定情報とを対応付けて格納する。図15に示す例では、特定情報として受け付けられた断面326は、例えば、断面326と直交する直線上にある視点から被検体を見た立体画像を特定する。また、特定情報として受け付けられた断面326は、被検体のうち、断面326と直交する直線上にある視点と断面326との間にある部分が任意の透過度となる立体画像を特定する。このことを踏まえ、例えば、格納部1354は、断面326と直交する直線上にある視点の位置や、視点と断面326との間にある部分の透過度などをレンダリング条件として更に格納する。ただし、これに限定されるものではなく、レンダリング条件のすべての設定を利用者から受け付けても良い。また、同様に、格納部1354は、利用者から受け付けた表示条件や、任意の表示条件を格納する。
【0107】
なお、図15に示す例では、断面画像322〜断面画像324が併せて表示される場合を示したが、これに限定されるものではなく、表示されなくても良い。また、図15に示す例では、受付部1351aが、3つの断面を受け付ける場合を例に示したが、これに限定されるものではなく、断面の数は任意であって良い。また、断面326と、断面326と直交する直線上にある視点との間の距離は、初期値として予め設定された値を用いても良く、利用者により値の設定を受け付けても良い。
【0108】
また、例えば、受付部1351aは、利用者に表示されている立体画像が利用者に選択されることで、実際に表示されている立体画像の特定情報やレンダリング条件、表示条件を受け付けても良い。図16は、特定情報を受け付けるための画面の一例を示す図である。図16に示す画面は、例えば、表示部132や端末装置140にて表示される。図16に示す例では、立体画像311と、特定情報を識別するためのコメントの入力を受け付ける入力欄312と、特定情報を保存するための保存ボタン313とを有する場合を示した。なお、図16に示す例では、入力欄312が3つあり、保存ボタン313が3つある場合を示したが、これに限定されるものではなく、入力欄312や保存ボタン313の数は任意であって良い。
【0109】
図16に示す例では、立体画像311のスケールや視点、立体感などは、利用者によって任意に変更される。また、図16に示す例では、立体画像311の表示条件も利用者によって任意に変更される。その上で、図16に示すように、利用者が見たい角度の立体画像が、利用者によって見たい表示条件にて表示された上で、図16の(2)に示すように、利用者によって入力欄312に特定情報が入力され、図16の(3)に示すように、保存ボタン313がクリックされる。すると、格納部1354は、入力欄312に入力された特定情報を格納し、保存ボタン313がクリックされた際に利用者に表示されていた立体画像311を生成するためのレンダリング条件を格納し、保存ボタン313がクリックされた際の立体画像の表示条件を表示条件として格納する。
【0110】
図17と図18とは、第2の実施形態における格納部により格納される情報の一例を示す図である。図17や図18では、説明の便宜上、利用者に表示されている立体画像の一例を併せて示した。図17に示す例では、格納部1354は、立体画像として利用者に表示されている被検体を識別するための識別情報として、「患者名:○○」や「患者ID:△△」などを格納する。また、格納部1354は、特定情報として、「心臓」を格納し、レンダリング条件として、視点を特定するための情報となる「視点1:(X1、Y1、z1)」「視点2:(X2、Y2、z2)」「視点3:(X3、Y3、z3)」などを格納する。なお、「視点1:(X1、Y1、z1)」「視点2:(X2、Y2、z2)」「視点3:(X3、Y3、z3)」のそれぞれが別のレンダリング条件となる。また、図18に示す例では、格納部1354は、レンダリング条件として、視点を特定するための情報となる「視点1:(r1、α1、β1)」「視点2:(r2、α2、β2)」「視点3:(r3、α3、β3)」などを格納する。
【0111】
(第2の実施形態による効果)
上述したように、第1の実施形態によれば、特定情報やレンダリング条件、表示条件、識別情報などを受け付け、特定情報テーブル1341に格納する。この結果、任意の立体画像を簡単に利用者に表示可能となる。例えば、利用者が被検体を見たい視点を予め設定しておくことで、利用者が立体画像を見たいタイミングにおいて、視点の調整をすることなく直ぐに立体画像を見ることが可能となる。この結果、例えば、見たい部位を表示するまでの操作数を減らすとともに、読影に要する時間を大幅に短縮させることが可能となる。
【0112】
すなわち、3Dモニタを用いることで立体画像を利用者に表示することが可能となるが、立体画像を表示するための視差画像を表示する際にその都度作成するのは困難となることが考えられる。このことを踏まえ、事前に基準となる位置や関心領域を予め設定しておくことで、手術体位やOMラインなどに着目した立体画像を簡単に利用者に表示可能となる。
【0113】
(第3の実施形態)
さて、上述した実施形態以外にも、その他の実施形態にて実施されても良い。そこで、以下では、その他の実施形態を示す。
【0114】
(表示態様)
例えば、上述した実施形態によれば、識別情報と特定情報とが別の情報である場合を例に説明したが、これに限定されるものではなく、識別情報と特定情報とが統合された情報を用いても良い。
【0115】
また、例えば、特定情報テーブル1341は、識別情報と特定情報とのうち、いずれか一方又は両方の組み合わせに対応付けて、レンダリング条件と表示条件とのうち、いずれか一方または両方の組み合わせを記憶しても良い。すなわち、例えば、識別情報と対応付けて表示条件を記憶しても良い。この場合、あるユーザについて、表示条件のみが設定されていることとなる。また、同様に、例えば、特定情報と対応付けてレンダリング条件のみを記憶しても良い。この場合、ある部位について、レンダリング条件のみが設定されていることとなる。
【0116】
(表示態様)
図19は、視差画像の出力態様の一例を示す図である。図19は、利用者に出力される画面の一例となる。図19に示す例では、ボリュームデータを特定する際に用いられる「患者ID」が入力された上で、表示指示を受け付けるための「OPEN」ボタン331が利用者によってクリックされた場合を用いて説明する。この場合、受付部1351は、識別情報として「患者ID」を受け付けたり、特定情報を受け付けたりする。その後、視差画像生成部1352は、受け付けた患者IDにより識別されるボリュームデータに基づき、受け付けた患者IDについて視差画像を生成する。そして、表示制御部1353が、視差画像を表示することで、図19に示すように、立体画像332や立体画像334を利用者に表示する。なお、図19に示す例では、受け付けた患者IDにより識別されるボリュームデータに対応付けられたレンダリング条件が2つあり、表示制御部1353が2つの立体画像を利用者に表示した場合を示した。また、図19に示す例では、立体画像と併せて特定情報を利用者に表示する場合を示した。図19における例では、特定情報は、「X1、Y1、Z1」や「X2、Y2、Z2」が該当する。
【0117】
(特定情報の受け付け手法)
図20は、特定情報の選択を受け付ける画面の一例を示す図である。図20の画面341に示すように、立体画像と併せて、特定情報として「RCA」を受け付けるボタンや、特定情報として「LAD」を受け付けるボタンや、特定情報として「LCX」を受け付けるボタンや、任意の特定情報の入力を受け付ける領域を有しても良い。この場合、例えば、図20の画面342に示されるように、「LCX」を受け付けるボタンが利用者によってクリックされると、特定情報「LCX」により特定される立体画像が表示される。また、例えば、図20の画面343に示されるように、任意の特定情報の入力を受け付ける領域に「LCX」と入力されると、特定情報「LCX」により特定される立体画像が表示される。
【0118】
(特定情報の編集状態の再現)
例えば、特定情報テーブル1341に対する編集作業を利用者から受け付けた上で、利用者による編集状態を中断した後に再現できるようにしても良い。以下では、特定情報の編集作業をワークステーション130の制御部135にて行う場合を用いて説明するが、これに限定されるものではなく、医用画像診断装置110であっても良く、画像保管装置120であっても良く、端末装置140であっても良い。
【0119】
図21は、特定情報テーブル1341に対する編集作業を再現可能な制御部の構成の一例を示す図である。図21に示す例では、制御部135は、図14に示す制御部135の構成に加えて、編集部1355と、再現情報格納部1356と、再現処理部1357とを有する。また、画像処理システムは、編集部1355による特定情報の編集状態を再現するための再現情報を記憶する再現情報記憶部401を備える。再現情報記憶部401は、例えば、画像保管装置120に設けられたり、ワークステーション130に設けられたり、端末装置140に設けられたり、データベースや各種メモリ装置として設けられたりする。
【0120】
編集部1355は、特定情報テーブル1341に記憶された情報を編集する。例えば、編集部1355は、特定情報テーブル1341から特定情報やレンダリング条件、表示条件、識別情報などを取得し、取得した情報を編集するための作業環境を利用者に提供する。その後、編集部1355は、利用者による操作内容に基づいて特定情報記憶部121を更新する。
【0121】
再現情報格納部1356は、編集部1355による編集が中断される場合に、編集部1355による特定情報の編集状態を再現するための再現情報を再現情報記憶部401に格納する。例えば、再現情報格納部1356は、再現情報として、利用者が編集作業を中断した場合に、中断時における作業環境のスナップショットを作成し、作成したスナップショットを再現情報記憶部401に格納する。なお、上述の説明では、再現情報として作業環境のスナップショットを用いる場合を例に説明したが、これに限定されるものではなく、任意の情報を用いて良い。
【0122】
再現処理部1357は、編集部1355による編集が再開される場合に、再現情報格納部1356により再現情報記憶部401に格納された再現情報を取得し、取得した再現情報に基づいて編集状態を再現する。例えば、再現処理部1357は、再現情報記憶部401からスナップショットを取得し、取得したスナップショットに基づいて中断時における作業環境を再現することで、編集部1355による編集状態を再現する。この結果、特定情報の編集状態の中断、再現が可能となる。
【0123】
(特定情報)
例えば、視差画像をリアルタイムレンダリングで生成するのではなく、ボリュームデータに基づいて複数枚の視差画像群を生成しておき、生成しておいた視差画像群に対応付けて特定情報を記憶しても良い。
【0124】
この場合、制御部135は、所定の記憶装置に記憶された被検体のボリュームデータに基づいて予め生成された視差画像群に対応付けて、特定情報を特定情報テーブル1341に格納する。例えば、制御部135は、視点の位置を特定情報として特定情報テーブル1341に格納する。例えば、その上で、制御部135は、特定情報テーブル1341に記憶された特定情報により特定される立体画像を表示するための所定数の視差画像を、視差画像群から選択し、選択された視差画像を出力する。なお、制御部135は、視差画像選択部とも称する。
【0125】
すなわち、例えば、ボリュームデータに基づいて、被検体の全周囲から見た視差画像各々を予め生成しておき、特定情報として格納された視点の位置に対応する視差画像各々を選択しても良い。この結果、リアルタイムレンダリングが不要となり、迅速に視差画像を出力可能となる。また、処理負荷を軽減可能となる。
【0126】
(その他)
また、例えば、特定情報を検査目的や用途に対応付けて記憶しても良い。この場合、視差画像生成部は、現在の検査目的や用途を識別した上で、識別した検査目的や用途に対応付けられた特定情報に基づいて視差画像を生成する。現在の検査目的や用途を識別する手法としては、任意の手法を用いて良く、例えば、利用者によって用いられているプログラムの用途を識別したり、利用者から検査目的や用途の入力を受け付けることで識別したりしても良い。なお、検査目的とは、例えば、非造影、造影、perfusion、救急などが該当する。
【0127】
また、特定情報により特定される立体画像を利用者に表示する際、特定情報を併せて表示するとともに、表示された特定情報を変更する操作を利用者から受け付けても良い。
【0128】
(システム構成)
また、本実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部又は一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部又は一部を公知の方法で自動的に行うこともできる。この他、上述文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報(図1〜19)については、特記する場合を除いて任意に変更することができる。
【0129】
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。例えば、ワークステーション130の制御部135をワークステーション130の外部装置としてネットワーク経由で接続するようにしても良い。また、特定情報テーブル1341は、独立したデータベースであっても良く、任意の装置の記憶部内にあっても良い。
【0130】
(その他)
なお、本実施形態で説明した画像処理プログラムは、インターネットなどのネットワークを介して配布することができる。また、画像処理プログラムは、ハードディスク、フレキシブルディスク(FD)、CD−ROM、MO、DVD、ブルーレイディスクなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することもできる。
【0131】
(実施形態の効果)
以上述べた少なくとも一つの実施形態の画像処理装置によれば、前記特定情報を受け付けると、特定情報テーブルから、受け付けた特定情報に対応付けて記憶されたレンダリング条件を取得し、取得した該レンダリング条件に基づいて立体画像を生成する。また、受け付けた特定情報に対応付けて記憶された表示条件を特定情報テーブルから取得し、取得した表示条件に基づいて立体画像を表示する。この結果、適切な立体画像を簡単に表示可能となる。
【0132】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【0133】
110 医用画像診断装置
120 画像保管装置
130 ワークステーション
135 制御部
1351 受付部
1352 視差画像生成部
1353 表示制御部
1354 格納部
140 端末装置
【特許請求の範囲】
【請求項1】
被検体の部位を特定するための特定情報を受け付ける受付部と、
前記特定情報と、該特定情報により特定される部位の立体画像を生成する際に用いられるレンダリング条件と、該レンダリング条件に基づいて生成された該立体画像を表示するための表示条件とを対応付けて記憶する特定情報記憶装置から、前記受付部により受け付けられた特定情報に対応付けて記憶されたレンダリング条件を取得し、取得した該レンダリング条件に基づいて立体画像を生成する視差画像生成部と、
前記受付部により受け付けられた特定情報に対応付けて記憶された表示条件を前記特定情報記憶装置から取得し、前記視差画像生成部により生成された立体画像を、取得した該表示条件に基づいて表示部から表示する表示制御部と
を備えたことを特徴とする画像処理装置。
【請求項2】
前記特定情報記憶装置は、被検体を一意に識別する識別情報に対応付けて、前記特定情報と前記レンダリング条件と前記表示条件とを記憶し、
前記受付部は、さらに前記識別情報を受け付け、
前記視差画像生成部は、所定の記憶装置に記憶された前記識別情報により識別される被検体のボリュームデータに基づいて立体画像を生成することを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記受付部は、前記特定情報記憶部に格納する情報として、前記特定情報と、前記レンダリング条件と、前記表示条件とのうち少なくとも一つの情報を受け付け、
前記受付部により受け付けられた情報を前記特定情報記憶部に格納する格納部を更に備えたことを特徴とする請求項1又は2に記載の画像処理装置。
【請求項4】
前記特定情報記憶装置に記憶された情報を編集する編集部と、
前記編集部による編集が中断される場合に、前記編集部による編集状態を再現するための再現情報を再現情報記憶部に格納する再現情報格納部と、
前記編集部による編集が再開される場合に、前記再現情報格納部により前記再現情報記憶部に格納された再現情報を取得し、取得した再現情報に基づいて前記編集状態を再現する再現処理部と
を更に備えたことを特徴とする請求項1〜3のいずれか一つに記載の画像処理装置。
【請求項5】
被検体の部位を特定するための特定情報を受け付ける受付工程と、
前記特定情報と、該特定情報により特定される部位の立体画像を生成する際に用いられるレンダリング条件と、該レンダリング条件に基づいて生成された該立体画像を表示するための表示条件とを対応付けて記憶する特定情報記憶装置から、前記受付工程により受け付けられた特定情報に対応付けて記憶されたレンダリング条件を取得し、取得した該レンダリング条件に基づいて立体画像を生成する視差画像生成工程と、
前記受付工程により受け付けられた特定情報に対応付けて記憶された表示条件を前記特定情報記憶装置から取得し、前記視差画像生成工程により生成された立体画像を、取得した該表示条件に基づいて表示部から表示する表示制御工程と
を含んだことを特徴とする画像処理方法。
【請求項6】
被検体の部位を特定するための特定情報を受け付ける受付部と、
前記特定情報と、該特定情報により特定される部位の立体画像を生成する際に用いられるレンダリング条件と、該レンダリング条件に基づいて生成された該立体画像を表示するための表示条件とを対応付けて記憶する特定情報記憶装置から、前記受付部により受け付けられた特定情報に対応付けて記憶されたレンダリング条件を取得し、取得した該レンダリング条件に基づいて立体画像を生成する視差画像生成部と、
前記受付部により受け付けられた特定情報に対応付けて記憶された表示条件を前記特定情報記憶装置から取得し、前記視差画像生成部により生成された立体画像を、取得した該表示条件に基づいて表示部から表示する表示制御部と
を備えたことを特徴とする画像処理システム。
【請求項7】
被検体の部位を特定するための特定情報を受け付ける受付部と、
前記特定情報と、該特定情報により特定される部位の立体画像を生成する際に用いられるレンダリング条件と、該レンダリング条件に基づいて生成された該立体画像を表示するための表示条件とを対応付けて記憶する特定情報記憶装置から、前記受付部により受け付けられた特定情報に対応付けて記憶されたレンダリング条件を取得し、取得した該レンダリング条件に基づいて立体画像を生成する視差画像生成部と、
前記受付部により受け付けられた特定情報に対応付けて記憶された表示条件を前記特定情報記憶装置から取得し、前記視差画像生成部により生成された立体画像を、取得した該表示条件に基づいて表示部から表示する表示制御部と
を備えたことを特徴とする医用画像診断装置。
【請求項1】
被検体の部位を特定するための特定情報を受け付ける受付部と、
前記特定情報と、該特定情報により特定される部位の立体画像を生成する際に用いられるレンダリング条件と、該レンダリング条件に基づいて生成された該立体画像を表示するための表示条件とを対応付けて記憶する特定情報記憶装置から、前記受付部により受け付けられた特定情報に対応付けて記憶されたレンダリング条件を取得し、取得した該レンダリング条件に基づいて立体画像を生成する視差画像生成部と、
前記受付部により受け付けられた特定情報に対応付けて記憶された表示条件を前記特定情報記憶装置から取得し、前記視差画像生成部により生成された立体画像を、取得した該表示条件に基づいて表示部から表示する表示制御部と
を備えたことを特徴とする画像処理装置。
【請求項2】
前記特定情報記憶装置は、被検体を一意に識別する識別情報に対応付けて、前記特定情報と前記レンダリング条件と前記表示条件とを記憶し、
前記受付部は、さらに前記識別情報を受け付け、
前記視差画像生成部は、所定の記憶装置に記憶された前記識別情報により識別される被検体のボリュームデータに基づいて立体画像を生成することを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記受付部は、前記特定情報記憶部に格納する情報として、前記特定情報と、前記レンダリング条件と、前記表示条件とのうち少なくとも一つの情報を受け付け、
前記受付部により受け付けられた情報を前記特定情報記憶部に格納する格納部を更に備えたことを特徴とする請求項1又は2に記載の画像処理装置。
【請求項4】
前記特定情報記憶装置に記憶された情報を編集する編集部と、
前記編集部による編集が中断される場合に、前記編集部による編集状態を再現するための再現情報を再現情報記憶部に格納する再現情報格納部と、
前記編集部による編集が再開される場合に、前記再現情報格納部により前記再現情報記憶部に格納された再現情報を取得し、取得した再現情報に基づいて前記編集状態を再現する再現処理部と
を更に備えたことを特徴とする請求項1〜3のいずれか一つに記載の画像処理装置。
【請求項5】
被検体の部位を特定するための特定情報を受け付ける受付工程と、
前記特定情報と、該特定情報により特定される部位の立体画像を生成する際に用いられるレンダリング条件と、該レンダリング条件に基づいて生成された該立体画像を表示するための表示条件とを対応付けて記憶する特定情報記憶装置から、前記受付工程により受け付けられた特定情報に対応付けて記憶されたレンダリング条件を取得し、取得した該レンダリング条件に基づいて立体画像を生成する視差画像生成工程と、
前記受付工程により受け付けられた特定情報に対応付けて記憶された表示条件を前記特定情報記憶装置から取得し、前記視差画像生成工程により生成された立体画像を、取得した該表示条件に基づいて表示部から表示する表示制御工程と
を含んだことを特徴とする画像処理方法。
【請求項6】
被検体の部位を特定するための特定情報を受け付ける受付部と、
前記特定情報と、該特定情報により特定される部位の立体画像を生成する際に用いられるレンダリング条件と、該レンダリング条件に基づいて生成された該立体画像を表示するための表示条件とを対応付けて記憶する特定情報記憶装置から、前記受付部により受け付けられた特定情報に対応付けて記憶されたレンダリング条件を取得し、取得した該レンダリング条件に基づいて立体画像を生成する視差画像生成部と、
前記受付部により受け付けられた特定情報に対応付けて記憶された表示条件を前記特定情報記憶装置から取得し、前記視差画像生成部により生成された立体画像を、取得した該表示条件に基づいて表示部から表示する表示制御部と
を備えたことを特徴とする画像処理システム。
【請求項7】
被検体の部位を特定するための特定情報を受け付ける受付部と、
前記特定情報と、該特定情報により特定される部位の立体画像を生成する際に用いられるレンダリング条件と、該レンダリング条件に基づいて生成された該立体画像を表示するための表示条件とを対応付けて記憶する特定情報記憶装置から、前記受付部により受け付けられた特定情報に対応付けて記憶されたレンダリング条件を取得し、取得した該レンダリング条件に基づいて立体画像を生成する視差画像生成部と、
前記受付部により受け付けられた特定情報に対応付けて記憶された表示条件を前記特定情報記憶装置から取得し、前記視差画像生成部により生成された立体画像を、取得した該表示条件に基づいて表示部から表示する表示制御部と
を備えたことを特徴とする医用画像診断装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9−1】
【図9−2】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9−1】
【図9−2】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【公開番号】特開2013−21459(P2013−21459A)
【公開日】平成25年1月31日(2013.1.31)
【国際特許分類】
【出願番号】特願2011−152219(P2011−152219)
【出願日】平成23年7月8日(2011.7.8)
【出願人】(000003078)株式会社東芝 (54,554)
【出願人】(594164542)東芝メディカルシステムズ株式会社 (4,066)
【Fターム(参考)】
【公開日】平成25年1月31日(2013.1.31)
【国際特許分類】
【出願日】平成23年7月8日(2011.7.8)
【出願人】(000003078)株式会社東芝 (54,554)
【出願人】(594164542)東芝メディカルシステムズ株式会社 (4,066)
【Fターム(参考)】
[ Back to top ]