説明

画像処理装置、画像処理方法及び医用画像診断装置

【課題】立体画像をキャプチャ可能な画像処理装置、画像処理方法及び医用画像診断装置を提供することである。
【解決手段】実施の形態の画像処理装置では、受付部と、格納部とを備える。受付部は、立体表示されている立体画像をキャプチャするキャプチャ指示を受け付ける。格納部は、受付部によりキャプチャ指示が受け付けられると、立体表示されている立体画像を表示するための複数の視差画像各々を対応付けてキャプチャ画像として所定の記憶装置に格納する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、画像処理装置、画像処理方法及び医用画像診断装置に関する。
【背景技術】
【0002】
従来、2つの視点から撮影された2つの視差画像をモニタ(monitor)に表示することで、立体視用メガネ等の専用機器を用いた利用者に立体画像を表示する技術がある。また、近年、レンチキュラーレンズ(lenticular lens)等の光線制御子を用いて、複数の視点から撮影された多視差画像(例えば、9つの視差画像)をモニタに表示することで、裸眼の利用者に立体画像を表示する技術がある。
【0003】
また、X線CT(Computed Tomography)装置やMRI(Magnetic Resonance Imaging)装置、超音波診断装置等の医用画像診断装置には、3次元の医用画像(以下、ボリュームデータ(volume data))を生成可能な装置がある。また、医用画像診断装置は、ボリュームデータに対して種々の画像処理を実行することで表示用の平面画像を生成し、汎用モニタ上に表示する。例えば、医用画像診断装置は、ボリュームデータに対してボリュームレンダリング(volume rendering)処理を実行することで、被検体についての3次元の情報が反映された任意の断面についての平面画像を生成し、生成した平面画像を汎用モニタ上に表示する。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2005−86414号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明が解決しようとする課題は、立体画像をキャプチャ(capture)可能な画像処理装置、画像処理方法及び医用画像診断装置を提供することである。
【課題を解決するための手段】
【0006】
実施の形態の画像処理装置は、受付部と、格納部とを備える。受付部は、立体表示されている立体画像をキャプチャするキャプチャ指示を受け付ける。格納部は、受付部によりキャプチャ指示が受け付けられると、立体表示されている立体画像を表示するための複数の視差画像各々を対応付けてキャプチャ画像として所定の記憶装置に格納する。
【図面の簡単な説明】
【0007】
【図1】図1は、第1の実施形態における画像処理システム(system)の構成例を説明するための図である。
【図2A】図2Aは、2視差画像により立体表示を行う立体表示モニタの一例を説明するための図である。
【図2B】図2Bは、2視差画像により立体表示を行う立体表示モニタの一例を説明するための図である。
【図3】図3は、9視差画像により立体表示を行う立体表示モニタの一例を説明するための図である。
【図4】図4は、第1の実施形態におけるワークステーション(workstation)の構成例を説明するための図である。
【図5】図5は、図4に示すレンダリング(rendering)処理部の構成例を説明するための図である。
【図6】図6は、第1の実施形態におけるボリュームレンダリング処理の一例を説明するための図である。
【図7】図7は、第1の実施形態における制御部の詳細について説明する図である。
【図8】図8は、第1の実施形態における出力部によって出力される視差画像について示すための図である。
【図9】図9は、第1の実施形態に係る画像処理装置による処理の流れの一例を示すフローチャート(flow chart)である。
【発明を実施するための形態】
【0008】
以下、添付図面を参照して、画像処理装置、画像処理方法及び医用画像診断装置の実施形態を詳細に説明する。なお、以下では、画像処理装置としての機能を有するワークステーションを含む画像処理システムを実施形態として説明する。
【0009】
(第1の実施形態)
まず、第1の実施形態における画像処理装置を有する画像処理システムの構成例について説明する。図1は、第1の実施形態における画像処理システムの構成例を説明するための図である。
【0010】
図1に示すように、第1の実施形態における画像処理システム1は、医用画像診断装置110と、画像保管装置120と、ワークステーション130と、端末装置140とを有する。図1に例示する各装置は、例えば、病院内に設置された院内LAN(Local Area Network)2により、直接的、又は間接的に相互に通信可能な状態となる。例えば、画像処理システム1にPACS(Picture Archiving and Communication System)が導入されている場合、各装置は、DICOM(Digital Imaging and Communications in Medicine)規格に則って、医用画像等を相互に送受信する。
【0011】
画像処理システム1は、医用画像診断装置110により生成されたボリュームデータに基づいて、立体画像を表示するための視差画像を生成し、立体画像を表示可能なモニタに生成した視差画像を表示することで、病院内に勤務する医師や検査技師に立体画像を提供する。
【0012】
ここで、「立体画像」は、複数の視点から撮影された視差角の異なる複数の視差画像を表示することで利用者に表示される。言い換えると、「視差画像」は、複数の視点から撮影された視差角の異なる画像であって、利用者に立体画像を表示するための画像である。また、立体画像を表示するための視差画像は、例えば、ボリュームデータに対してボリュームレンダリング処理を行うことで生成される。
【0013】
また、「視差画像」は、「立体視画像」を構成する個々の画像となる。すなわち、「立体視画像」は、「視差角」が異なる複数の「視差画像」から構成される。また、「視差数」とは、立体表示モニタにて立体視されるために必要となる「視差画像」の数を示す。また、「視差角」とは、「立体視画像」を生成するために設定された各視点の位置の間隔とボリュームデータの位置とにより定まる角度のことである。また、以下で記載する「9視差画像」とは、9つの「視差画像」から構成される「立体視画像」を示す。また、以下で記載する「2視差画像」とは、2つの「視差画像」から構成される「立体視画像」を示す。立体視画像を表示することで、言い換えると、複数の視差画像を表示することで、利用者に「立体画像」が表示される。
【0014】
以下に詳細に説明するように、第1の実施形態においては、ワークステーション130が、ボリュームデータに対して種々の画像処理を行ない、立体画像を表示するための視差画像を生成する。また、ワークステーション130及び端末装置140は、立体画像を表示可能なモニタを有し、ワークステーション130にて生成された視差画像をモニタに表示することで立体画像を利用者に表示する。また、画像保管装置120は、医用画像診断装置110にて生成されたボリュームデータや、ワークステーション130にて生成された視差画像を保管する。例えば、ワークステーション130や端末装置140は、画像保管装置120からボリュームデータや視差画像を取得し、取得したボリュームデータや視差画像に対して任意の画像処理を実行したり、視差画像をモニタに表示したりする。
【0015】
医用画像診断装置110は、X線診断装置、X線CT(Computed Tomography)装置、MRI(Magnetic Resonance Imaging)装置、超音波診断装置、SPECT(Single Photon Emission Computed Tomography)装置、PET(Positron Emission Tomography)装置、SPECT装置とX線CT装置とが一体化されたSPECT−CT装置、PET装置とX線CT装置とが一体化されたPET−CT装置、又はこれらの装置群等である。また、医用画像診断装置110は、ボリュームデータを生成する。
【0016】
具体的には、第1の実施形態における医用画像診断装置110は、被検体を撮影することによりボリュームデータを生成する。例えば、医用画像診断装置110は、被検体を撮影することにより投影データ(data)やMR信号等のデータを収集する。そして、医用画像診断装置110は、収集したデータに基づいて被検体の体軸方向に沿った複数のアキシャル(axial)面の医用画像を再構成することで、ボリュームデータを生成する。例えば、医用画像診断装置110が、500枚のアキシャル面の医用画像を再構成した場合を用いて説明する。この場合、医用画像診断装置110により再構成された500枚のアキシャル面の医用画像群がボリュームデータとなる。なお、医用画像診断装置110により撮影された被検体の投影データやMR信号等自体をボリュームデータとしても良い。
【0017】
また、医用画像診断装置110は、ボリュームデータを画像保管装置120に送信する。なお、医用画像診断装置110は、ボリュームデータを画像保管装置120に送信する際に、例えば、患者を識別する患者ID、検査を識別する検査ID、医用画像診断装置110を識別する装置ID、医用画像診断装置110による1回の撮影を識別するシリーズ(series)ID等を併せて送信する。
【0018】
画像保管装置120は、医用画像を保管するデータベース(database)である。具体的には、画像保管装置120は、医用画像診断装置110からボリュームデータを受信し、受信したボリュームデータを所定の記憶部に保管する。また、画像保管装置120は、ワークステーション130によってボリュームデータから生成された視差画像を受信し、受信した視差画像を所定の記憶部に保管する。
【0019】
なお、第1の実施形態において、画像保管装置120に保管されたボリュームデータや視差画像は、患者ID、検査ID、装置ID、シリーズID等と対応付けて保管される。このため、ワークステーション130や端末装置140は、患者ID、検査ID、装置ID、シリーズID等を用いた検索を行うことで、必要なボリュームデータや視差画像を画像保管装置120から取得する。なお、画像保管装置120とワークステーション130とを統合して一つの装置としても良い。
【0020】
ワークステーション130は、医用画像に対して画像処理を行う画像処理装置である。具体的には、ワークステーション130は、画像保管装置120からボリュームデータを取得する。そして、ワークステーション130は、取得したボリュームデータに対して種々のレンダリング処理を行うことで、立体画像を表示するための視差画像を生成する。例えば、ワークステーション130は、2視差の立体画像を利用者に表示する場合には、視差角が異なる2つの視差画像を生成する。また、例えば、ワークステーション130は、9視差の立体画像を利用者に表示する場合には、視差角が異なる9つの視差画像を生成する。
【0021】
また、ワークステーション130は、表示部として、立体画像を表示可能なモニタ(立体表示モニタ、立体画像表示装置とも称する)を有する。ワークステーション130は、視差画像を生成し、生成した視差画像を立体表示モニタに表示することで、利用者に立体画像を表示する。この結果、ワークステーション130の利用者は、立体表示モニタに表示された立体画像を確認しながら、視差画像を生成するための操作を行うことが可能となる。
【0022】
また、ワークステーション130は、生成した視差画像を画像保管装置120や端末装置140に送信する。なお、ワークステーション130は、画像保管装置120や端末装置140に視差画像を送信する際に、例えば、患者ID、検査ID、装置ID、シリーズID等を併せて送信する。この際、ワークステーション130は、モニタの解像度は様々であることを踏まえ、視差画像の枚数や解像度を併せて送信しても良い。解像度とは、例えば、「466画素×350画素」などが該当する。
【0023】
ここで、第1の実施形態におけるワークステーション130は、ワークステーション130や端末装置140に表示されている立体画像をキャプチャするキャプチャ指示を受け付ける。ワークステーション130は、キャプチャ指示が受け付けられると、立体表示されている立体画像を表示するための複数の視差画像各々を対応付けてキャプチャ画像として所定の記憶装置に格納する。この結果、立体画像をキャプチャ可能な画像処理装置、画像処理方法及び医用画像診断装置を提供可能となる。
【0024】
図1の説明に戻る。端末装置140は、病院内に勤務する医師や検査技師に医用画像を閲覧させる端末である。具体的には、端末装置140は、表示部として立体表示モニタを有する。また、端末装置140は、画像保管装置120から視差画像を取得し、取得した視差画像を立体表示モニタに表示することで、立体画像を利用者に表示する。また、例えば、端末装置140は、ワークステーション130から視差画像を受信すると、受信した視差画像を立体表示モニタに表示することで、立体画像を利用者に表示する。この結果、利用者である医師や検査技師は、立体視可能な医用画像を閲覧することができる。端末装置140は、例えば、立体表示モニタを有する汎用PC(Personal Computer)やタブレット(tablet)端末、携帯電話などが該当する。また、端末装置140は、例えば、外部装置としての立体表示モニタと接続された任意の情報処理端末が該当する。
【0025】
ここで、ワークステーション130や端末装置140が有する立体表示モニタについて説明する。立体表示モニタとしては、例えば、2つの視差画像を表示することで、立体視用メガネ等の専用機器を装着した利用者に2視差の立体画像(両眼視差画像)を表示するものがある。
【0026】
図2A及び図2Bは、2視差画像により立体表示を行う立体表示モニタの一例を説明するための図である。図2A及び図2Bに示す一例は、シャッター(shutter)方式により立体表示を行う立体表示モニタを例に示した。図2A及び図2Bに示す例では、モニタを観察する利用者は、立体視用メガネとしてシャッターメガネを装着する。図2A及び図2Bに示す例では、立体表示モニタは、2つの視差画像を交互に出射する。例えば、図2Aに示す立体表示モニタは、左目用の視差画像と右目用の視差画像とを120Hzにて交互に出射する。また、立体表示モニタは、図2Aに示すように、赤外線出射部が設置され、赤外線出射部が、視差画像が切り替わるタイミング(timing)に合わせて赤外線の出射を制御する。
【0027】
また、図2Aに示すように、シャッターメガネの赤外線受光部は、赤外線出射部により出射された赤外線を受光する。シャッターメガネの左右それぞれの枠には、シャッターが取り付けられており、シャッターメガネは、赤外線受光部が赤外線を受光したタイミングに合わせて左右のシャッターそれぞれの透過状態及び遮光状態を交互に切り替える。
【0028】
ここで、シャッターメガネのシャッターにおける透過状態及び遮光状態の切り替え処理について説明する。シャッターは、図2Bに示すように、入射側の偏光板と出射側の偏光板とを有し、更に、入射側の偏光板と出射側の偏光板との間に液晶層を有する。また、入射側の偏光板と出射側の偏光板とは、図2Bに示すように、互いに直交している。ここで、図2Bに示すように、電圧が印加されていない「OFF」の状態では、入射側の偏光板を通った光は、液晶層の作用により90度回転し、出射側の偏光板を透過する。すなわち、電圧が印加されていないシャッターは、透過状態となる。
【0029】
一方、図2Bに示すように、電圧が印加された「ON」の状態では、液晶層の液晶分子による偏光回転作用が消失するため、入射側の偏光板を通った光は、出射側の偏光板で遮られてしまう。すなわち、電圧が印加されたシャッターは、遮光状態となる。
【0030】
このことを踏まえ、立体表示モニタの赤外線出射部は、例えば、モニタ上に左目用の画像が表示されている期間、赤外線を出射する。そして、シャッターメガネの赤外線受光部は、赤外線を受光している期間、左目のシャッターに電圧を印加せず、右目のシャッターに電圧を印加させる。これにより、図2Aに示すように、右目のシャッターが遮光状態となり、左目のシャッターが透過状態となる結果、利用者の左目にのみ左目用の画像が入射する。一方、立体表示モニタの赤外線出射部は、例えば、モニタ上に右目用の画像が表示されている期間、赤外線の出射を停止する。そして、シャッターメガネの赤外線受光部は、赤外線が受光されない期間、右目のシャッターに電圧を印加せず、左目のシャッターに電圧を印加させる。これにより、左目のシャッターが遮光状態となり、右目のシャッターが透過状態となる結果、利用者の右目にのみ右目用の画像が入射する。このように、図2A及び図2Bに示す立体表示モニタは、モニタに表示される画像とシャッターの状態を連動させて切り替えることで、立体画像を利用者に表示する。
【0031】
また、立体表示モニタとしては、レンチキュラーレンズ等の光線制御子を用いることで、例えば、9視差の立体画像を利用者が裸眼の利用者に表示するものもある。この場合、立体表示モニタは、両眼視差による立体視を可能とし、更に、利用者の視点移動に合わせて利用者によって観察される映像が変化する運動視差を有する立体画像を表示可能となる。
【0032】
図3は、9視差画像により立体表示を行う立体表示モニタの一例を説明するための図である。図3に示す立体表示モニタは、液晶パネル(panel)等の平面状の表示面200の前面に、光線制御子が配置される。例えば、図3に示す立体表示モニタは、光線制御子として、光学開口が垂直方向に延びる垂直レンチキュラーシート(lenticular sheet)201が表示面200の前面に貼り付けられる。なお、図3に示す一例では、垂直レンチキュラーシート201の凸部が前面となるように貼り付けられているが、垂直レンチキュラーシート201の凸部が表示面200に対向するように貼り付けられる場合であっても良い。
【0033】
図3に示す例では、表示面200は、縦横比が3:1であり、縦方向にサブ(sub)画素である赤(R)、緑(G)、青(B)の3つが配置された画素202がマトリクス(matrix)状に配置される。図3に示す例では、立体表示モニタは、視差角が異なる9つの視差画像を所定フォーマット(format)(例えば格子状)に配置した上で、表示面200に出力する。すなわち、図3に示す立体表示モニタは、視差角が異なる9つの視差画像において同一位置にある9つの画素それぞれが、9列の画素202それぞれに割り振られた中間画像を表示する。9列の画素202は、視差角の異なる9つの画像を同時に表示する単位画素群203となる。なお、図3に示す例では、中間画像が格子状となる場合を示したが、これに限定されるものではなく、任意の形状であって良い。
【0034】
表示面200において単位画素群203として同時に出力された視差角が異なる9つの視差画像は、例えば、LED(Light Emitting Diode)バックライト(back light)により平行光として放射され、更に、垂直レンチキュラーシート201により、多方向に放射される。9つの視差画像の各画素の光が多方向に放射されることにより、利用者の右目及び左目に入射する光は、利用者の位置(視点の位置)に連動して変化する。すなわち、利用者の見る角度により、右目に入射する視差画像と左目に入射する視差画像とは、視差角が異なる視差画像となる。この結果、利用者は、例えば、図3に示す9つの位置それぞれにおいて、異なる視野角から撮影対象を見る立体画像を視認できる。また、利用者は、例えば、図3に示す「5」の位置において、撮影対象に対して正対した状態で立体的に視認できるとともに、図3に示す「5」以外それぞれの位置において、撮影対象の向きを変化させた状態で立体的に視認できる。なお、図3に示す例では一例であり、これに限定されるものではない。例えば、図3に示す例では、横ストライプ(stripe)(RRR…、GGG…、BBB…)液晶と縦レンズ(lens)との組み合わせを用いた場合を例に示したが、これに限定されるものではなく、例えば、縦ストライプ(RGBRGB…)液晶と斜めレンズとの組み合わせを用いても良い。
【0035】
ここまで、第1の実施形態における画像処理システム1の構成例について簡単に説明した。なお、上述した画像処理システム1は、PACSが導入されている場合にその適用が限られるものではない。例えば、画像処理システム1は、医用画像が添付された電子カルテ(chart)を管理する電子カルテシステムが導入されている場合にも、同様に適用しても良い。この場合、画像保管装置120は、電子カルテを保管するデータベースとなる。また、例えば、画像処理システム1は、HIS(Hospital Information System)、RIS(Radiology Information System)が導入されている場合にも、同様に適用しても良い。また、画像処理システム1は、上述した構成例に限られるものではない。各装置が有する機能やその分担は、運用の形態に応じて適宜変更しても良い。
【0036】
次に、第1の実施形態におけるワークステーション130の構成例について図4を用いて説明する。図4は、第1の実施形態におけるワークステーションの構成例を説明するための図である。
【0037】
ワークステーション130は、画像処理等に適した高性能なコンピュータ(computer)である。図4に示す例では、ワークステーション130は、入力部131と、表示部132と、通信部133と、記憶部134と、制御部135と、レンダリング処理部136とを有する。なお、以下では、ワークステーション130が画像処理等に適した高性能なコンピュータである場合を用いて説明するが、これに限定されるものではなく、任意の情報処理装置であって良い。例えば、任意のパーソナルコンピュータ(personal computer)であっても良い。
【0038】
入力部131は、マウス(mouse)、キーボード(keyboard)、トラックボール(trackball)等であり、ワークステーション130に対する各種操作の入力を利用者から受け付ける。具体的には、入力部131は、レンダリング処理の対象となるボリュームデータを画像保管装置120から取得するための情報の入力を受け付ける。例えば、入力部131は、患者ID、検査ID、装置ID、シリーズID等の入力を受け付ける。また、入力部131は、レンダリング処理に関する条件(以下、レンダリング条件)の入力を受け付ける。
【0039】
また、入力部131は、ボリュームデータにより示される被検体の3次元情報に対して、図形や矢印、記号、文字などのアノテーション(annotation)を表示するための設定条件の入力や、アノテーションを表示する旨の指示を受け付ける。
【0040】
例えば、入力部131は、被検体の3次元情報のうち、任意の座標を示す矢印を表示するための設定条件を受け付ける。より詳細な一例をあげて説明すると、入力部131は、矢印の起点となる座標の設定と、矢印の目標点となる座標の設定とを受け付ける。また、例えば、入力部131は、被検体の3次元情報のうち、任意の座標に任意の文字列を表示するための設定条件を受け付ける。より詳細な一例をあげて説明すると、入力部131は、任意の文字列を表示させる座標の設定と、表示させる文字列の設定とを受け付ける。なお、座標は、例えば、マウスを介して設定される。文字列は、例えば、キーボードを介して設定される。
【0041】
表示部132は、立体表示モニタとしての液晶パネル等であり、各種情報を表示する。具体的には、第1の実施形態における表示部132は、利用者から各種操作を受け付けるためのGUI(Graphical User Interface)や、立体画像等を表示する。通信部133は、NIC(Network Interface Card)等であり、他の装置との間で通信を行う。また、例えば、通信部133は、利用者によって端末装置140に入力されたレンダリング条件を端末装置140から受信する。
【0042】
記憶部134は、ハードディスク(hard disc)、半導体メモリ(memory)素子等であり、各種情報を記憶する。具体的には、記憶部134は、通信部133を介して画像保管装置120から取得したボリュームデータを記憶する。また、記憶部134は、レンダリング処理中のボリュームデータや、レンダリング処理が行なわれた視差画像とその視差数や解像度などを記憶する。
【0043】
制御部135は、CPU(Central Processing Unit)やMPU(Micro Processing Unit)、GPU(Graphics Processing Unit)等の電子回路、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路であり、ワークステーション130の全体制御を行う。
【0044】
例えば、制御部135は、表示部132に対するGUIの表示や立体画像の表示を制御する。また、例えば、制御部135は、画像保管装置120との間で通信部133を介して行なわれるボリュームデータや視差画像の送受信を制御する。また、例えば、制御部135は、レンダリング処理部136によるレンダリング処理を制御する。また、例えば、制御部135は、ボリュームデータの記憶部134からの読み込みや、視差画像の記憶部134への格納を制御する。
【0045】
また、例えば、制御部135は、アノテーションを表示するための設定条件を入力部131が受け付けると、入力部131により受け付けられた設定条件を、アノテーションが設定された被検体のボリュームデータの付加情報として格納する。例えば、制御部135は、入力部131により受け付けられた設定条件を付加情報として画像保管装置120に出力することで、画像保管装置120にボリュームデータの付加情報として格納させる。つまり、この場合、画像保管装置120は、アノテーションを表示するための設定条件が付加情報として設定されたボリュームデータを記憶することになる。
【0046】
なお、上述した説明では、入力部131が設定条件を受け付け、制御部135が、入力部131により受け付けられた設定条件そのものを付加情報として格納する場合を例に説明したが、これに限定されるものではない。例えば、入力部131が、アノテーションを表示する旨の指示を受け付けると、制御部135は、入力部131により受け付けられた指示により指定されるアノテーションを表示するための設定条件を生成し、生成した設定条件を付加情報として格納しても良い。入力部131が、奥行きを示すスケールを被検体の3次元情報と併せて表示する旨の指示を受け付けた場合を用いて説明する。この場合、制御部135は、被検体の3次元情報のうち、スケールを表示させる任意の座標を決定し、決定した座標に奥行きを示すスケールを表示するための設定条件を生成し、生成した設定条件を付加情報として格納する。
【0047】
ここで、ワークステーション130の制御部135は、レンダリング処理部136によるレンダリング処理を制御し、レンダリング処理部136と共働することで、測定処理を実行する。制御部135の詳細については、レンダリング処理部136について説明した後に説明する。
【0048】
レンダリング処理部136は、制御部135による制御の下、画像保管装置120から取得したボリュームデータに対して種々のレンダリング処理を行ない、視差画像を生成する。具体的には、レンダリング処理部136は、記憶部134からボリュームデータを読み込み、読み込んだボリュームデータに対して前処理を行う。そして、レンダリング処理部136は、前処理後のボリュームデータに対してボリュームレンダリング処理を行うことで、立体画像を表示するための視差画像を生成する。そして、レンダリング処理部136は、生成した視差画像を記憶部134に格納する。
【0049】
また、レンダリング処理部136は、各種情報(目盛り、患者名、検査項目等)が描出されたオーバーレイ(overlay)画像を生成し、生成したオーバーレイ画像を視差画像に重畳しても良い。この場合、レンダリング処理部136は、オーバーレイ画像が重複された視差画像を記憶部134に格納する。
【0050】
例えば、レンダリング処理部136は、アノテーションを表示するための設定条件を入力部131が受け付けると、受け付けたアノテーションを表示するためのオーバーレイ画像を生成する。例えば、レンダリング処理部136は、被検体の3次元情報のうち、任意の座標を示す矢印を表示するためのオーバーレイ画像を生成したり、任意の座標に任意の文字列を表示するためのオーバーレイ画像を設定したりする。
【0051】
より詳細には、レンダリング処理部136は、入力部131により受け付けられた設定条件、又は、ボリュームデータの付加情報に基づいて、アノテーションを表示するためのオーバーレイ画像を生成する。
【0052】
ここで、アノテーションと、付加情報と、オーバーレイ画像との関係について補足する。上述したように、アノテーションは、例えば、図形や記号、文字列、矢印などである。付加情報は、アノテーションを表示するための設定情報であって、例えば、矢印の起点や目標点の座標や、任意の文字列を表示させる座標、アノテーションとして表示させる文字列などである。オーバーレイ画像とは、視差画像に重畳されて表示される画像であって、アノテーションを表示するための画像を示す。オーバーレイ画像は、アノテーションを表示するための設定情報や付加情報に基づいて生成される。
【0053】
なお、レンダリング処理とは、ボリュームデータに対して行う画像処理全体を示し、ボリュームレンダリング処理とは、レンダリング処理の内、被検体の3次元の情報が反映された医用画像を生成する処理を示す。レンダリング処理により生成される医用画像とは、例えば、視差画像が該当する。
【0054】
図5は、図4に示すレンダリング処理部の構成例を説明するための図である。図5に示すように、レンダリング処理部136は、前処理部1361と、3次元画像処理部1362と、2次元画像処理部1363とを有する。以下に詳細に説明するように、前処理部1361は、ボリュームデータに対する前処理を行う。3次元画像処理部1362は、前処理後のボリュームデータから視差画像を生成する。2次元画像処理部1363は、立体画像に各種情報が重畳された視差画像を生成する。
【0055】
前処理部1361は、ボリュームデータに対してレンダリング処理を行う際に、種々の前処理を行う。図5に示す例では、前処理部1361は、画像補正処理部1361aと、3次元物体フュージョン(fusion)部1361eと、3次元物体表示領域設定部1361fとを有する。
【0056】
画像補正処理部1361aは、2種類のボリュームデータを1つのボリュームデータとして処理する際に画像補正処理を行う。図5に示す例では、画像補正処理部1361aは、歪み補正処理部1361bと、体動補正処理部1361cと、画像間位置合わせ処理部1361dとを有する。例えば、画像補正処理部1361aは、PET−CT装置により生成されたPET画像のボリュームデータとX線CT画像のボリュームデータとを1つのボリュームデータとして処理する際に画像補正処理を行う。また、画像補正処理部1361aは、MRI装置により生成されたT1強調画像のボリュームデータとT2強調画像のボリュームデータとを1つのボリュームデータとして処理する際に画像補正処理を行う。
【0057】
ここで、画像補正処理部1361aの歪み補正処理部1361bは、個々のボリュームデータにおいて、医用画像診断装置110によるデータ収集時の収集条件に起因するデータの歪みを補正する。また、体動補正処理部1361cは、個々のボリュームデータを生成するために用いられたデータの収集時期における被検体の体動に起因する移動を補正する。また、画像間位置合わせ処理部1361dは、歪み補正処理部1361b及び体動補正処理部1361cによる補正処理が行なわれた2つのボリュームデータ間で、例えば、相互相関法等を用いた位置合わせ(Registration)を行う。
【0058】
3次元物体フュージョン部1363eは、画像間位置合わせ処理部1361dにより位置合わせが行なわれた複数のボリュームデータをフュージョンさせる。なお、画像補正処理部1361a及び3次元物体フュージョン部1361eの処理は、単一のボリュームデータに対してレンダリング処理を行う場合、省略される。
【0059】
3次元物体表示領域設定部1361fは、利用者により指定された表示対象臓器に対応する表示領域を設定する。図5に示す例では、3次元物体表示領域設定部1361fは、セグメンテーション(segmentation)処理部1361gを有する。3次元物体表示領域設定部1361fのセグメンテーション処理部1361gは、利用者により指定された心臓、肺、血管等の臓器を、例えば、ボリュームデータの画素値(ボクセル(voxel)値)に基づく領域拡張法により抽出する。
【0060】
なお、セグメンテーション処理部1361gは、利用者により表示対象臓器が指定されなかった場合、セグメンテーション処理を行なわない。また、セグメンテーション処理部1361gは、利用者により表示対象臓器が複数指定された場合、該当する複数の臓器を抽出する。また、セグメンテーション処理部1361gの処理は、レンダリング画像を参照した利用者の微調整要求により再度実行される場合もある。
【0061】
3次元画像処理部1362は、前処理部1361が処理を行なった前処理後のボリュームデータに対してボリュームレンダリング処理を行う。図5に示す例では、3次元画像処理部1362は、ボリュームレンダリング処理を行う処理部として、投影方法設定部1362aと、3次元幾何変換処理部1362bと、3次元物体アピアランス(appearance)処理部1362fと、3次元仮想空間レンダリング部1362kとを有する。
【0062】
投影方法設定部1362aは、立体画像を生成するための投影方法を決定する。例えば、投影方法設定部1362aは、ボリュームレンダリング処理を平行投影法により実行するか、透視投影法により実行するかを決定する。
【0063】
3次元幾何変換処理部1362bは、ボリュームレンダリング処理が実行されるボリュームデータを3次元幾何学的に変換するための情報を決定する。図5に示す例では、3次元幾何変換処理部1362bは、平行移動処理部1362cと、回転処理部1362dと拡大縮小処理部1362eとを有する。3次元幾何変換処理部1362bの平行移動処理部1362cは、ボリュームレンダリング処理を行う際の視点位置が平行移動された場合に、ボリュームデータを平行移動させる移動量を決定する。また、回転処理部1362dは、ボリュームレンダリング処理を行う際の視点位置が回転移動された場合に、ボリュームデータを回転移動させる移動量を決定する。また、拡大縮小処理部1362eは、立体画像の拡大や縮小が要求された場合に、ボリュームデータの拡大率や縮小率を決定する。
【0064】
3次元物体アピアランス処理部1362fは、3次元物体色彩処理部1362gと、3次元物体不透明度処理部1362hと、3次元物体材質処理部1362iと3次元仮想空間光源処理部1362jとを有する。3次元物体アピアランス処理部1362fは、これらの処理部により、例えば、利用者の要求に応じて、視差画像を表示することで利用者に表示される立体画像の表示状態を決定する。
【0065】
3次元物体色彩処理部1362gは、ボリュームデータにてセグメンテーションされた各領域に対して着色される色彩を決定する。また、3次元物体不透明度処理部1362hは、ボリュームデータにてセグメンテーションされた各領域を構成する各ボクセルの不透過度(Opacity)を決定する処理部である。なお、ボリュームデータにおいて不透過度が「100%」とされた領域の後方の領域は、視差画像において描出されない。また、ボリュームデータにおいて不透過度が「0%」とされた領域は、視差画像において描出されない。
【0066】
3次元物体材質処理部1362iは、ボリュームデータにてセグメンテーションされた各領域の材質を決定することで、この領域が描出される際の質感を調整する。3次元仮想空間光源処理部1362jは、ボリュームデータに対してボリュームレンダリング処理を行う際に、3次元仮想空間に設置する仮想光源の位置や、仮想光源の種類を決定する。仮想光源の種類としては、無限遠から平行な光線を照射する光源や、視点から放射状の光線を照射する光源等が挙げられる。
【0067】
3次元仮想空間レンダリング部1362kは、ボリュームデータに対してボリュームレンダリング処理を行ない、視差画像を生成する。また、3次元仮想空間レンダリング部1362kは、ボリュームレンダリング処理を行う際、必要に応じて、投影方法設定部1362a、3次元幾何変換処理部1362b、3次元物体アピアランス処理部1362fにより決定された各種情報を用いる。
【0068】
ここで、3次元仮想空間レンダリング部1362kは、制御部135からレンダリング条件を受け付け、受け付けたレンダリング条件に従って、ボリュームデータに対するボリュームレンダリング処理を行う。レンダリング条件は、入力部131を介して利用者から受け付けたり、初期設定されたり、通信部133を介して端末装置140から受け付けたりする。また、このとき、上述した投影方法設定部1362a、3次元幾何変換処理部1362b、3次元物体アピアランス処理部1362fが、このレンダリング条件に従って必要な各種情報を決定し、3次元仮想空間レンダリング部1362kは、決定された各種情報を用いて立体画像を生成する。
【0069】
なお、例えば、レンダリング条件は、「平行投影法」又は「透視投影法」である。また、例えば、レンダリング条件は、「基準の視点位置及び視差角」である。また、例えば、レンダリング条件は、「視点位置の平行移動」、「視点位置の回転移動」、「立体画像の拡大」、「立体画像の縮小」である。また、例えば、レンダリング条件は、「着色される色彩」、「透過度」、「質感」、「仮想光源の位置」、「仮想光源の種類」である。
【0070】
図6は、第1の実施形態におけるボリュームレンダリング処理の一例を説明するための図である。例えば、3次元仮想空間レンダリング部1362kが、図6の「9視差画像生成方式(1)」に示すように、レンダリング条件として、平行投影法を受け付け、更に、基準の視点位置(5)と視差角「1度」とを受け付けたとする。この場合、3次元仮想空間レンダリング部1362kは、視差角が「1度」おきとなるように、視点の位置を(1)〜(9)に平行移動して、平行投影法により視差角が1度ずつ異なる9つの視差画像を生成する。なお、平行投影法を行う場合、3次元仮想空間レンダリング部1362kは、視線方向に沿って無限遠から平行な光線を照射する光源を設定する。
【0071】
或いは、3次元仮想空間レンダリング部1362kが、図6の「9視差画像生成方式(2)」に示すように、レンダリング条件として、透視投影法を受け付け、更に、基準の視点位置(5)と視差角「1度」とを受け付けたとする。この場合、3次元仮想空間レンダリング部1362kは、視点移動する平面上に存在するボリュームデータの切断面の重心を中心に視差角が「1度」おきとなるように、視点の位置を(1)〜(9)に回転移動して、透視投影法により視差角が1度ずつ異なる9つの視差画像を生成する。言い換えると、3次元的な体積の重心ではなく、2次元的な切断面の重心を中心に回転移動して、9つの視差画像を生成する。なお、透視投影法を行う場合、3次元仮想空間レンダリング部1362kは、視線方向を中心に光を3次元的に放射状に照射する点光源や面光源を各視点にて設定する。また、透視投影法を行う場合、レンダリング条件によっては、視点(1)〜(9)は、平行移動される場合であってもよい。
【0072】
なお、3次元仮想空間レンダリング部1362kは、表示されるボリュームレンダリング画像の縦方向に対しては、視線方向を中心に光を2次元的に放射状に照射し、表示されるボリュームレンダリング画像の横方向に対しては、視線方向に沿って無限遠から平行な光線を照射する光源を設定することで、平行投影法と透視投影法とを併用したボリュームレンダリング処理を行なってもよい。
【0073】
なお、図6の例では、レンダリング条件として、投影方法、基準の視点位置及び視差角を受け付けた場合を説明したが、レンダリング条件として、他の条件を受け付けた場合も同様に、3次元仮想空間レンダリング部1362kは、それぞれのレンダリング条件を反映しつつ、9つの視差画像を生成する。
【0074】
なお、3次元仮想空間レンダリング部1362kは、ボリュームレンダリングだけでなく、断面再構成法(MPR:Multi Planer Reconstruction)を行なうことで、ボリュームデータからMPR画像を再構成する機能も有する。また、3次元仮想空間レンダリング部1362kは、MPRとして「Curved MRP」を行なう機能や、「Intensity Projection」を行なう機能も有する。
【0075】
また、3次元画像処理部1362がボリュームデータから生成した視差画像は、アンダーレイ(Underlay)として用いた上で、各種情報(目盛り、患者名、検査項目等)が描出されたオーバーレイ画像をオーバーレイ(Overlay)として重畳しても良い。この場合、2次元画像処理部1363は、オーバーレイとなるオーバーレイ画像とアンダーレイとなる視差画像に対して画像処理を行うことで、オーバーレイ画像が重畳された視差画像を生成する。図5に示す例では、2次元画像処理部1363は、2次元物体描画部1363aと、2次元幾何変換処理部1363bと、輝度調整部1363cとを有する。なお、各種情報の描画処理コスト低減のため、オーバーレイを1枚だけ描画しておき、1枚のオーバーレイをアンダーレイとなる9枚の視差画像それぞれに重畳することで、オーバーレイ画像が重畳された9枚の視差画像を生成しても良い。
【0076】
2次元物体描画部1363aは、オーバーレイに描出される各種情報を描画する。また、2次元幾何変換処理部1363bは、オーバーレイに描出される各種情報の位置を平行移動処理又は回転移動処理したり、オーバーレイに描出される各種情報の拡大処理又は縮小処理したりする。また、輝度調整部1363cは、例えば、出力先の立体表示モニタの諧調や、ウィンドウ幅(WW:Window Width)、ウィンドウレベル(WL:Window Level)等の画像処理用のパラメータ(parameter)に応じて、オーバーレイ及びアンダーレイの輝度を調整する。
【0077】
レンダリング処理部136により生成された視差画像は、例えば、制御部135により一旦記憶部134に格納され、その後、通信部133を介して画像保管装置120に送信される。その後、例えば、端末装置140は、画像保管装置120からオーバーレイ画像が重畳された視差画像を取得し、所定フォーマット(例えば格子状)に配置した中間画像に変換した上で立体表示モニタに表示することで、利用者である医師や検査技師に、各種情報(目盛り、患者名、検査項目等)が描出された立体画像を表示可能となる。
【0078】
さて、上述したように、レンダリング処理部136は、制御部135による制御の下、ボリュームデータから視差画像を生成する。次に、第1の実施形態における制御部135について詳細に説明する。
【0079】
図7は、第1の実施形態における制御部の詳細について説明する図である。図7に示すように、制御部135は、受付部1351と、格納部1352と、判定部1353と、出力部1354とを有する。
【0080】
受付部1351は、ワークステーション130や端末装置140に表示されている立体画像をキャプチャするキャプチャ指示を受け付ける。例えば、受付部1351は、ワークステーション130や端末装置140に立体画像が表示されている際にキャプチャ指示を受け付ける。また、受付部1351は、キャプチャ指示により格納されたキャプチャ画像を出力する旨の出力指示を受け付ける。なお、キャプチャ指示や出力指示は、ワークステーション130や端末装置140を利用する利用者によって入力される。
【0081】
格納部1352は、受付部1351によりキャプチャ指示が受け付けられると、ワークステーション130や端末装置140に表示されている立体画像を表示するための複数の視差画像各々を対応付けてキャプチャ画像として所定の記憶装置に格納する。例えば、格納部1352は、画像保管装置120にキャプチャ画像を格納したり、記憶部134にキャプチャ画像を格納したりする。
【0082】
ここで、格納部1352により格納されるキャプチャ画像について更に説明する。例えば、ワークステーション130や端末装置140が2つの視差画像を表示することで利用者に立体画像を表示している場合を用いて説明する。この場合、格納部1352は、2つの視差画像を対応付けてキャプチャ画像として格納する。また、例えば、ワークステーション130や端末装置140が、9つの視差画像において同一位置にある9つの画素それぞれが、9列の画素202それぞれに割り振られた中間画像を表示することで、利用者に9視差の立体画像を表示している場合を用いて説明する。この場合、格納部1352は、9つの視差画像を対応付けてキャプチャ画像として格納する。言い換えると、格納部1352は、ワークステーション130や端末装置140により表示されている立体画像を表示するための視差画像すべてを対応付けて格納する。
【0083】
また、ワークステーション130や端末装置140により表示されている視差画像に、アノテーションを表示するためのオーバーレイ画像が重畳されている場合について説明する。すなわち、ワークステーション130や端末装置140により立体表示されている立体画像が、アノテーションを表示するためのオーバーレイ画像が重畳された視差画像各々を表示することで表示されている場合について説明する。
【0084】
この場合、例えば、格納部1352は、視差画像各々に重畳されていたオーバーレイ画像を視差画像各々と統合し、オーバーレイ画像各々が統合された視差画像各々をキャプチャ画像として格納する。言い換えると、格納部1352は、オーバーレイ画像として表示されている文字や図形などのアノテーションを視差画像に埋め込んだ上で、文字や図形などのアノテーションが埋め込まれた視差画像各々をキャプチャ画像として格納する。
【0085】
また、例えば、格納部1352は、視差画像各々と、視差画像各々に重畳されていたオーバーレイ画像各々とを対応付けて、キャプチャ画像として格納する。言い換えると、格納部1352は、視差画像各々とオーバーレイ画像各々とを対応付けた上で、視差画像各々とオーバーレイ画像各々とを分割可能な状態にてキャプチャ画像として格納する。
【0086】
また、例えば、格納部1352は、立体表示されている立体画像を表示するための視差画像各々を生成する際に用いられたボリュームデータの付加情報を取得し、取得した付加情報と視差情報各々とを対応付けてキャプチャ画像として格納する。
【0087】
なお、オーバーレイ画像各々が統合された視差画像各々をキャプチャ画像として格納するか、視差画像各々とオーバーレイ画像各々とを対応付けてキャプチャ画像として格納するか、視差画像各々と付加情報とを対応付けてキャプチャ画像として格納するかは、例えば、利用者がキャプチャ指示の際に決定しても良く、任意の手法にて決定して良い。
【0088】
判定部1353は、キャプチャ画像の出力先となる表示装置により表示される画像の視差数を判定する。例えば、判定部1353は、受付部1351が出力指示を受け付けると、利用者により出力指示が入力された装置が表示可能な視差数を判定する。より詳細な一例をあげて説明すると、判定部1353は、9視差であると判定したり、2視差であると判定したり、1視差であると判定したりする。なお、1視差であると判定する場合とは、立体画像を表示しない表示装置である場合が該当する。キャプチャ画像の出力先となる表示装置とは、例えば、ワークステーション130や端末装置140などとなる。
【0089】
ここで、キャプチャ画像の出力先となる表示装置について更に説明する。キャプチャ画像の出力先は、例えば、出力指示により指定されたり、利用者により予め指定されたりする。
【0090】
なお、以下では、判定部1353が、受付部1351により出力指示が受け付けられた場合に視差数を判定する場合を用いて説明するが、これに限定されるものではない。例えば、判定部1353は、予めキャプチャ画像を出力する可能性のある出力先について視差数を判定しておいても良い。
【0091】
出力部1354は、格納部1352によりキャプチャ画像として格納された複数の視差画像各々のうち、判定部1353により判定された視差数分の視差画像をキャプチャ画像として出力する。言い換えると、出力部1354は、出力指示により指定されるキャプチャ画像の出力先となる表示装置により表示される視差数分、視差画像を出力する。
【0092】
ここで、出力するキャプチャ画像が、オーバーレイ画像各々と視差画像各々とが対応付けられたものである場合について更に説明する。この場合、判定部1353により判定された視差数分の視差画像各々を選択し、選択した視差画像各々に対応付けられたオーバーレイ画像各々と併せて出力する。ただし、これに限定されるものではなく、出力部1354は、例えば、オーバーレイ画像各々を視差画像各々に重畳し、オーバーレイ画像各々が重畳された視差画像各々を出力しても良い。また、例えば、出力部1354は、オーバーレイ画像各々を重畳することなく、オーバーレイ画像各々が重畳されていない視差画像各々とオーバーレイ画像各々とを対応付けて出力することで、利用者によりオーバーレイ画像の編集が可能な状態にてキャプチャ画像を出力しても良い。また、例えば、出力部1354は、オーバーレイ画像各々が重畳されていない視差画像各々のみを出力しても良い。
【0093】
また、出力するキャプチャ画像が、視差画像各々と付加情報とが対応付けられたものである場合について説明する。この場合、出力部1354は、判定部1353により判定された視差数分の視差画像各々を選択し、選択した視差画像分のオーバーレイ画像を付加情報に基づいて生成し、生成したオーバーレイ画像を選択した視差画像各々に重畳した上で出力する。ただし、これに限定されるものではなく、出力部1354は、例えば、選択した視差画像各々をそのまま出力しても良く、視差画像各々と付加情報そのものを出力しても良い。
【0094】
また、例えば、判定部1353により1視差であると判定されると、視差数分の該視差画像として、格納部1352によりキャプチャ画像として格納された複数の視差画像各々のうち、2つの視差画像が並べられた画像をキャプチャ画像として出力する。図8は、第1の実施形態における出力部によって出力される視差画像について示すための図である。図8では、立体画像301を表示するための9つの視差画像が格納部1352によりキャプチャ画像として格納された場合を用いて説明する。この場合、出力部1354は、9枚の視差画像のうち、任意の手法により2枚の視差画像302aと視差画像302bとを選択し、選択した視差画像各々を並べた上で出力する。この結果、利用者の左右の目がそれぞれ片方の視差画像を見るようにすることで、2視差の立体画像を利用者が視認することが可能となる。言い換えると、出力部1354は、通常のモニタでも確認できるようにステレオ(stereo)視用のキャプチャ画像を出力する。なお、判定部1353により1視差であると判定された場合に出力するキャプチャ画像は、2つの視差画像が並べられた画像に限定されるものではなく、任意の一枚の視差画像をキャプチャ画像として出力しても良い。
【0095】
また、例えば、出力部1354は、判定部1353により2視差であると判定されると、格納部1352によりキャプチャ画像として格納された複数の視差画像各々のうち、2枚の視差画像各々を任意の手法にて選択し、選択した2枚の視差画像各々をキャプチャ画像として出力する。
【0096】
より詳細な一例をあげて説明する。例えば、出力部1354は、視差角が5度〜6度離れた2枚の視差画像を選択し、選択した2枚の視差画像各々をキャプチャ画像として出力する。また、2視差の際に選択される視差画像が予め設定され、選択される視差画像を示す情報がキャプチャ画像に任意の手法にて対応付けられていた場合を用いて説明する。この場合、出力部1354は、予め設定されていた2枚の視差画像を選択して出力しても良い。
【0097】
視差角が5度〜6度離れた2枚の視差画像をキャプチャ画像として出力する点の意義について説明する。視差角が5度〜6度異なる視差画像各々を利用者が左右の目でそれぞれ見た場合に、立体的な立体画像が利用者に視認されやすくなることを踏まえ、出力部1354は、視差角が5度〜6度離れた2枚の視差画像をキャプチャ画像として出力する。すなわち、格納部1352によりキャプチャ画像として格納された複数の視差画像各々間の視差角の差は、視差画像各々を生成するためのレンダリング条件の設定により異なる。この結果、キャプチャ画像として格納された複数の視差画像各々のうち任意の2枚の視差画像を出力するのではなく、視差角が5度〜6度離れた2枚の視差画像を出力することで、利用者に2視差の立体画像を確実に視認させることが可能となる。
【0098】
ここで、制御部135の各部による処理の意義について説明する。立体画像のキャプチャ画像として所定の記憶部に格納された視差画像の数は、ワークステーション130や端末装置140に表示されている立体画像によって異なる。例えば、9視差の立体画像を裸眼の利用者に表示していた場合には、格納部1352は、9つの視差画像をキャプチャ画像として格納する。また、例えば、2視差の立体画像を裸眼の利用者に表示していた場合には、格納部1352は、2つの視差画像をキャプチャ画像として格納する。言い換えると、格納部1352によってキャプチャ画像として格納される視差画像の数は、立体画像によって様々となる。
【0099】
また、キャプチャ画像の出力先となる表示装置は様々であり、立体画像を表示可能な表示装置もあれば、立体画像を表示不能な表示装置もある。また、立体画像を表示可能な表示装置についても、上述したように、立体視用メガネ等の専用機器を装着した利用者に2視差の立体画像(両眼視差画像)を表示する装置もあれば、レンチキュラーレンズ等の光線制御子を用いることで、例えば、9視差の立体画像を裸眼の利用者に表示する装置もある。言い換えると、キャプチャ画像の出力先となる表示装置によって表示される視差画像の数は様々となる。
【0100】
このように、格納部1352によってキャプチャ画像として格納される視差画像の数は、立体画像によって様々となり、キャプチャ画像の出力先となる表示装置によって表示される視差画像の数もまた様々となる。このことを踏まえ、格納部1352は、ワークステーション130や端末装置140により表示されている立体画像を表示するための視差画像すべてをひとまず格納しておく。その上で、キャプチャ画像を出力する場合には、キャプチャ画像の出力先となる表示装置により表示される画像の視差数を判定部1353が判定した上で、判定部1353により判定された視差数分の視差画像を選択し、選択した視差画像各々を出力部1354が出力する。この結果、キャプチャ画像を出力先となる表示装置に適した形にて、キャプチャ画像を出力可能となる。例えば、キャプチャ画像を出力先となる表示装置が立体画像を利用者に表示可能であれば、複数の視差画像をキャプチャ画像として出力することが可能となる。また、例えば、キャプチャ画像の出力先となる表示装置が立体画像を利用者に表示不可であれば、1枚の視差画像をキャプチャ画像として出力したり、2枚の視差画像が左右に並べられた画像を出力したりすることで利用者が立体画像を視認可能な状態とすることが可能となる。
【0101】
すなわち、例えば、図8の立体画像301に示されるように、9視差の立体画像において心臓の狭窄位置に矢印が置かれ、「50%狭窄」との文字情報が置かれていた場合において、出力先となる表示装置がどのような方式の表示装置であったとしても、心臓の狭窄位置に矢印が置かれ、「50%狭窄」との文字情報が置かれたキャプチャ画像が出力可能となる。
【0102】
以下では、出力するキャプチャ画像が、まず、オーバーレイ画像各々が統合された視差画像各々をキャプチャ画像として格納した場合について説明し、オーバーレイ画像各々と視差画像各々とを対応付けて格納した場合について説明し、その後、視差画像各々と付加情報とを対応付けて格納した場合について説明する。
【0103】
オーバーレイ画像各々が統合された視差画像各々をキャプチャ画像として格納した場合について説明する。この場合、キャプチャ画像として格納された視差画像各々には、既に、心臓の狭窄位置に矢印が置かれ、「50%狭窄」との文字情報が置かれている。この結果、出力先となる表示装置がどのような方式の表示装置であったとしても、心臓の狭窄位置に矢印が置かれ、「50%狭窄」との文字情報が置かれたキャプチャ画像が出力可能となる。
【0104】
オーバーレイ画像各々と視差画像各々とを対応付けて格納した場合について説明する。この場合、キャプチャ画像として格納された視差画像各々には、それぞれ、心臓の狭窄位置を示す矢印と、「50%狭窄」との文字情報とを表示するためのオーバーレイ画像が対応付けられている。この結果、出力部1354は、選択した視差画像と、選択した視差画像に対応付けられたオーバーレイ画像とを対応付けて出力することで、心臓の狭窄位置に矢印が置かれ、「50%狭窄」との文字情報が置かれたキャプチャ画像が出力可能となる。
【0105】
視差画像各々と付加情報とを対応付けて格納した場合について説明する。この場合、付加情報に基づいて生成したオーバーレイ画像を重畳して出力することで、心臓の狭窄位置に矢印が置かれ、「50%狭窄」との文字情報が置かれたキャプチャ画像が出力可能となる。また、付加情報をそのまま出力することで、アノテーションを示すテキスト(text)情報として出力することも可能となる。
【0106】
(第1の実施形態による処理)
図9を用いて、第1の実施形態に係るワークステーション130による処理の流れの一例を示す。図9は、第1の実施形態に係る画像処理装置による処理の流れの一例を示すフローチャートである。図9に示す例では、キャプチャ指示を受け付けた後に出力指示を受け付けた場合における処理の流れを用いて説明するが、これに限定されるものではない。例えば、キャプチャ指示を受け付けた場合における処理の流れと、出力指示を受け付けた場合における処理の流れとが独立した別個の処理となっても良い。
【0107】
図9に示すように、ワークステーション130では、受付部1351がキャプチャ指示を受け付けると(ステップ(step)S101肯定)、格納部1352が、立体画像を表示するための複数の視差画像各々を対応付けてキャプチャ画像として格納する(ステップS102)。例えば、格納部1352は、立体画像を表示するための視差画像が9つある場合には、9つの視差画像を対応付けた上でキャプチャ画像として格納する。
【0108】
その後、受付部1351が出力指示を受け付けると、判定部1353は、キャプチャ画像の出力先となる表示装置により表示される画像の視差数を判定する(ステップS103)。例えば、判定部1353は、9視差であると判定したり、2視差であると判定したり、1視差であると判定したりする。
【0109】
そして、出力部1354は、格納部1352によりキャプチャ画像として格納された複数の視差画像各々のうち、判定部1353により判定された視差数分の視差画像をキャプチャ画像として出力する(ステップS104)。例えば、判定部1353により2視差であると判定された場合には、出力部1354は、2つの視差画像をキャプチャ画像として出力する。
【0110】
(第1の実施形態による効果)
上述したように、第1の実施形態によれば、ワークステーション130や端末装置140に表示されている立体画像をキャプチャするキャプチャ指示を受け付けると、表示されている立体画像を表示するための複数の視差画像各々を対応付けてキャプチャ画像として所定の記憶装置に格納する。この結果、立体画像をキャプチャ可能となる。具体的には、キャプチャ画像の出力先として様々な表示装置が想定される状況下においても、様々な表示装置における互換性のあるキャプチャ画像を格納可能となる。
【0111】
また、第1の実施形態によれば、立体画像は、アノテーションを表示するためのオーバーレイ画像が重畳された視差画像各々を表示することで表示されている場合に、格納部1352は、視差画像各々に重畳されていたオーバーレイ画像を視差画像各々と統合し、オーバーレイ画像各々が統この結果、実際に表示されている立体画像を表示するための視差画像を確実に格納可能となる。合された視差画像各々をキャプチャ画像として格納する。
【0112】
また、第1の実施形態によれば、格納部1352は、視差画像各々と、視差画像各々に重畳されていたオーバーレイ画像各々とを対応付けてキャプチャ画像として格納する。この結果、その後、出力指示によりキャプチャ画像が出力された場合に、出力先となる表示装置において、オーバーレイ画像が重畳された視差画像を表示したり、オーバーレイ画像が重畳されていない視差画像を表示したりすることが可能となる。
【0113】
また、第1の実施形態によれば、受付部1351は、格納部1352により格納されたキャプチャ画像を出力する旨の出力指示を更に受け付け、キャプチャ画像の出力先となる表示装置により表示される画像の視差数を判定し、格納部1352によりキャプチャ画像として格納された複数の視差画像各々のうち、判定部1353により判定された視差数分の視差画像をキャプチャ画像として出力する。この結果、キャプチャ画像の出力先となる表示装置により表示可能となるキャプチャ画像を出力可能となる。
【0114】
すなわち、立体画像を表示可能なモニタでは、奥行きのある立体的な画像を表示することが可能となる。ここで、立体画像を表示可能なモニタには複数の種類(例えば、変更式メガネ方式、シャッター式メガネ方式、裸眼方式等)があり、利用者により得られる立体感も異なる。言い換えると、立体画像が表示されない一般的なモニタでは、画面キャプチャにより得られた画像は、立体画像が表示されない一般的な他のモニタにおいても同様に表示される。これに対して、立体画像を表示可能なモニタでは、立体画像を表示する方式が複数ある結果、画面キャプチャができないと考えられる。
【0115】
このことを踏まえ、第1の実施形態によれば、立体画像を表示するための視差画像各々を対応付けてキャプチャ画像として格納しておき、出力先となる表示装置の視差数分出力することで、立体画像を表示可能なモニタの方式に関係なく、キャプチャ画像を保存可能であり、キャプチャ画像を出力可能となる。
【0116】
また、第1の実施形態によれば、出力部1354は、判定部1353により2視差であると判定されると、格納部1352によりキャプチャ画像として格納された複数の視差画像各々のうち、視差角が5度〜6度離れた2枚の視差画像をキャプチャ画像として出力する。この結果、利用者が容易に立体視可能な立体画像を利用者に表示可能となる。
【0117】
また、第1の実施形態によれば、出力部1354は、判定部1353により1視差であると判定されると、格納部1352によりキャプチャ画像として格納された複数の視差画像各々のうち2つの視差画像が並べられた画像をキャプチャ画像として出力する。この結果、1視差となる表示装置であったとしても、利用者に立体画像を表示可能となる。
【0118】
(第2の実施形態)
さて、上述した実施形態以外にも、その他の実施形態にて実施されても良い。そこで、以下では、その他の実施形態を示す。
【0119】
(付加情報)
例えば、視差画像各々と付加情報とが対応付けてキャプチャ画像として格納された場合に、判定部1353により1視差であると判定された場合に、出力部1354は、奥行きに関する情報を付加情報から削除した上で出力しても良い。例えば、出力部1354は、付加情報を削除した上で、視差画像各々を出力してもよく、視差画像各々のうち任意の1枚を選択して出力しても良く、2つの視差画像を選択して選択した視差画像を並べて出力しても良い。
【0120】
ここで、キャプチャ画像の出力先となる表示装置が立体画像を表示せず、付加情報として、矢印の起点や目標点となる座標の設定が格納されている場合を用いて説明する。この場合、奥行きに関する情報を表示装置がどのように処理するかについては、表示装置次第となる。このことを踏まえ、例えば、付加情報として格納された座標の設定のうち、奥行き方向に関する座標の値を削除したり、「0」に変更したりすることで、表示装置による処理によりエラー(error)などが発生する可能性を低減することが可能となる。なお、奥行きに関する情報とは、例えば、矢印の向きを示す情報のうち、奥行きを示すz軸方向における値が該当する。
【0121】
(付加情報)
また、例えば、格納部1352は、視差画像各々と付加情報とが対応付けてキャプチャ画像として格納する場合に、出力先となる表示装置にて立体表示されない場合に削除しても良いか否かを示すフラグ(flag)をキャプチャ画像に対応付けて格納しても良い。例えば、利用者によって、出力先となる表示装置にて立体表示されない場合に削除しても良い旨の情報とともに、アノテーションを表示するための設定情報が入力された場合には、格納部1352は、視差画像各々と付加情報とを対応付けてキャプチャ画像として格納するとともに、キャプチャ画像に対応付けてフラグを格納する。なお、出力先となる表示装置にて立体表示されない場合に削除しても良いアノテーションとは、例えば、「立体表示中」という文字を表示する場合や、立体表示されている場合に奥行き感や立体感の強さを示すために奥行き方向のスケール(scale)を表示する場合などが該当する。
【0122】
この場合、出力部1354は、判定部1353により1視差であると判定されると、フラグの有無を確認し、フラグがあると判定した場合には、キャプチャ画像から付加情報を削除した上で、キャプチャ画像の出力処理を実行する。例えば、視差画像各々のうち任意の1枚を出力したりする。
【0123】
(オーバーレイ画像)
また、例えば、オーバーレイ画像が対応付けられた視差画像を出力部1354がキャプチャ画像として出力した場合には、出力先となる表示装置は、オーバーレイ画像を重畳した上で視差画像を表示しても良く、オーバーレイ画像を重畳することなく視差画像を表示しても良い。また、出力先となる表示装置は、オーバーレイ画像を重畳するか否かの選択を利用者から受け付けても良い。また、出力先となる表示装置は、オーバーレイ画像を重畳した上で視差画像を表示する場合に、オーバーレイ画像が重畳されている旨のメッセージを併せて出力しても良い。
【0124】
(画像保管)
また、例えば、立体画像を表示するための複数の視差画像各々を対応付けてキャプチャ画像として保管する保管先が可搬性記憶媒体であっても良い。例えば、外付けハードディスク、フラッシュメモリ(Flash Memory)、メモリカード(memory card)、フレキシブルディスク(FD)、CD−ROM、MO、DVDなどの可搬性記憶媒体に複数の視差画像各々を対応付けて保管したり、複数の視差画像にアノテーションをさらに対応づけて保管したりする場合であっても良い。
【0125】
(システム構成)
また、本実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部又は一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部又は一部を公知の方法で自動的に行うこともできる。この他、上述文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報(図1〜図9)については、特記する場合を除いて任意に変更することができる。
【0126】
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。例えば、ワークステーション130の制御部135をワークステーション130の外部装置としてネットワーク経由で接続するようにしても良い。
【0127】
(その他)
なお、本実施形態で説明した画像処理プログラムは、インターネットなどのネットワークを介して配布することができる。また、画像処理プログラムは、ハードディスク、フレキシブルディスク(FD)、CD−ROM、MO、DVDなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することもできる。
【0128】
(実施形態の効果)
以上述べた少なくとも一つの実施形態の画像処理装置によれば、立体表示されている立体画像をキャプチャするキャプチャ指示を受け付け、立体表示されている立体画像を表示するための複数の視差画像各々を対応付けてキャプチャ画像として所定の記憶装置に格納することで、立体画像をキャプチャ可能となる。
【0129】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【0130】
110 医用画像診断装置
120 画像保管装置
130 ワークステーション
135 制御部
1351 受付部
1352 格納部
1353 判定部
1354 出力部
140 端末装置

【特許請求の範囲】
【請求項1】
立体表示されている立体画像をキャプチャするキャプチャ指示を受け付ける受付部と、
前記受付部により前記キャプチャ指示が受け付けられると、立体画像表示装置に表示されている前記立体画像を表示するための複数の視差画像各々を対応付けてキャプチャ画像として所定の記憶装置に格納する格納部と
を備えたことを特徴とする画像処理装置。
【請求項2】
前記立体画像は、アノテーションを表示するためのオーバーレイ画像が重畳された視差画像各々を表示することで表示されており、
前記格納部は、前記視差画像各々に重畳されていた前記オーバーレイ画像を該視差画像各々と統合し、該オーバーレイ画像各々が統合された視差画像各々を前記キャプチャ画像として格納することを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記立体画像は、アノテーションを表示するためのオーバーレイ画像が重畳された視差画像各々を表示することで表示されており、
前記格納部は、前記視差画像各々と、該視差画像各々に重畳されていた前記オーバーレイ画像各々とを対応付けて前記キャプチャ画像として格納することを特徴とする請求項1に記載の画像処理装置。
【請求項4】
前記格納部は、前記視差画像を生成するためのボリュームデータと前記オーバーレイ画像を生成するための情報である付加情報とを対応付けて記憶する記憶装置から、該付加情報を取得し、取得した付加情報と前記視差画像各々とを対応付けて前記キャプチャ画像として格納することを特徴とする請求項1に記載の画像処理装置。
【請求項5】
前記受付部は、前記格納部により格納された前記キャプチャ画像を出力する旨の出力指示を更に受け付け、
前記出力指示により指定される前記キャプチャ画像の出力先となる表示装置により表示される画像の視差数を判定する判定部と、
前記格納部により前記キャプチャ画像として格納された前記複数の視差画像各々のうち、前記判定部により判定された視差数分の該視差画像を選択して前記キャプチャ画像として出力する出力部と
を更に備えたことを特徴とする請求項1〜4のいずれか一つに記載の画像処理装置。
【請求項6】
前記出力部は、前記判定部により2視差であると判定されると、前記格納部により前記キャプチャ画像として格納された前記複数の視差画像各々のうち、視差角が5度〜6度離れた2枚の視差画像を選択し、選択した2枚の視差画像をキャプチャ画像として出力することを特徴とする請求項5に記載の画像処理装置。
【請求項7】
前記出力部は、前記判定部により1視差であると判定されると、前記視差数分の該視差画像として、前記格納部により前記キャプチャ画像として格納された前記複数の視差画像各々のうち2つの視差画像を選択し、該視差画像を並べて出力することを特徴とする請求項5に記載の画像処理装置。
【請求項8】
前記出力部は、前記視差画像各々と前記付加情報とが対応付けて前記キャプチャ画像として格納された場合に、前記判定部により1視差であると判定されると、奥行きに関する情報を前記付加情報から削除した上で出力することを特徴とする請求項5に記載の画像処理装置。
【請求項9】
前記所定の記憶装置が、可搬性の記憶装置であることを特徴とする請求項1〜8のいずれか一つに記載の画像処理装置。
【請求項10】
立体表示されている立体画像をキャプチャするキャプチャ指示を受け付ける受付工程と、
前記受付工程により前記キャプチャ指示が受け付けられると、立体画像表示装置に表示されている前記立体画像を表示するための複数の視差画像各々を対応付けてキャプチャ画像として所定の記憶装置に格納する格納工程と
を含むことを特徴とする画像処理方法。
【請求項11】
立体表示されている立体画像をキャプチャするキャプチャ指示を受け付ける受付部と、
前記受付部により前記キャプチャ指示が受け付けられると、立体画像表示装置に表示されている前記立体画像を表示するための複数の視差画像各々を対応付けてキャプチャ画像として所定の記憶装置に格納する格納部と
を備えたことを特徴とする医用画像診断装置。

【図1】
image rotate

【図2A】
image rotate

【図2B】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate


【公開番号】特開2013−34197(P2013−34197A)
【公開日】平成25年2月14日(2013.2.14)
【国際特許分類】
【出願番号】特願2012−149239(P2012−149239)
【出願日】平成24年7月3日(2012.7.3)
【出願人】(000003078)株式会社東芝 (54,554)
【出願人】(594164542)東芝メディカルシステムズ株式会社 (4,066)
【Fターム(参考)】