画像処理装置、画像処理方法、画像処理システム及び医用画像診断装置
【課題】立体画像の適切な位置にアノテーションを表示すること。
【解決手段】実施形態の画像処理装置は、アノテーションの立体画像を表示するための第１の視差画像と、被検体の立体画像を表示するための第２の視差画像とが重畳された第１の重畳視差画像を表示することで、アノテーションの立体画像と被検体の立体画像とが重畳された重畳立体画像を立体表示する。また、第２の視差画像の視差角とは異なる視差角にて、被検体の立体画像を表示するための第３の視差画像が生成される場合に、変更後の視差角に基づいてアノテーションの立体画像を表示するための第４の視差画像を生成する。また、第４の視差画像と前記第３の視差画像とが重畳された第２の重畳視差画像を生成する。また、第２の重畳視差画像を表示することで、視差角変更後における重畳立体画像を立体表示する。
【解決手段】実施形態の画像処理装置は、アノテーションの立体画像を表示するための第１の視差画像と、被検体の立体画像を表示するための第２の視差画像とが重畳された第１の重畳視差画像を表示することで、アノテーションの立体画像と被検体の立体画像とが重畳された重畳立体画像を立体表示する。また、第２の視差画像の視差角とは異なる視差角にて、被検体の立体画像を表示するための第３の視差画像が生成される場合に、変更後の視差角に基づいてアノテーションの立体画像を表示するための第４の視差画像を生成する。また、第４の視差画像と前記第３の視差画像とが重畳された第２の重畳視差画像を生成する。また、第２の重畳視差画像を表示することで、視差角変更後における重畳立体画像を立体表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、画像処理装置、画像処理方法、画像処理システム及び医用画像診断装置に関する。
【背景技術】
【０００２】
従来、２つの視点から撮影された２つの視差画像をモニタに表示することで、立体視用メガネ等の専用機器を用いた利用者に立体画像を表示する技術がある。また、近年、レンチキュラーレンズ等の光線制御子を用いて、複数の視点から撮影された多視差画像（例えば、９つの視差画像）をモニタに表示することで、裸眼の利用者に立体画像を表示する技術がある。
【０００３】
また、Ｘ線ＣＴ（Computed Tomography）装置やＭＲＩ（Magnetic Resonance Imaging）装置、超音波診断装置等の医用画像診断装置には、３次元の医用画像（以下、ボリュームデータ）を生成可能な装置がある。また、医用画像診断装置は、ボリュームデータに対して種々の画像処理を実行することで表示用の平面画像を生成し、汎用モニタ上に表示する。例えば、医用画像診断装置は、ボリュームデータに対してボリュームレンダリング処理を実行することで、被検体についての３次元の情報が反映された任意の断面についての平面画像を生成し、生成した平面画像を汎用モニタ上に表示する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−８６４１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明が解決しようとする課題は、立体画像の適切な位置にアノテーションを表示可能となる画像処理装置、画像処理方法、画像処理システム及び医用画像診断装置を提供することである。
【課題を解決するための手段】
【０００６】
実施形態の画像処理装置は、表示制御部と、視差画像生成部と、重畳視差画像生成部とを備える。表示制御部は、アノテーションの立体画像を表示するための第１の視差画像と、被検体の立体画像を表示するための第２の視差画像とが重畳された第１の重畳視差画像を表示することで、該アノテーションの立体画像と該被検体の立体画像とが重畳された重畳立体画像を立体表示する。視差画像生成部は、前記第２の視差画像の視差角とは異なる視差角にて、前記被検体の立体画像を表示するための第３の視差画像が生成される場合に、変更後の視差角に基づいて前記アノテーションの立体画像を表示するための第４の視差画像を生成する。重畳視差画像生成部は、前記視差画像生成部により生成された第４の視差画像と前記第３の視差画像とが重畳された第２の重畳視差画像を生成する。また、表示制御部は、前記重畳視差画像生成部により生成された第２の重畳視差画像を表示することで、視差角変更後における重畳立体画像を立体表示する。
【図面の簡単な説明】
【０００７】
【図１】図１は、第１の実施形態における画像処理システムの構成例を説明するための図である。
【図２】図２は、２視差画像により立体表示を行う立体表示モニタの一例を説明するための図である。
【図３】図３は、９視差画像により立体表示を行う立体表示モニタの一例を説明するための図である。
【図４】図４は、第１の実施形態におけるワークステーションの構成例を説明するための図である。
【図５】図５は、図４に示すレンダリング処理部の構成例を説明するための図である。
【図６】図６は、第１の実施形態におけるボリュームレンダリング処理の一例を説明するための図である。
【図７】図７は、第１の実施形態における制御部の構成の一例を示す図である。
【図８−１】図８−１は、モニタを縦方向から見た図である。
【図８−２】図８−２は、飛び出し臨界を超えない場合について示す図である。
【図８−３】図８−３は、飛び出し臨界を超えてボケてしまう部分について示す図である。
【図９】図９は、第１の実施形態による処理の流れの一例を示すフローチャートである。
【図１０】図１０は、マット型の操作装置の一例を示す図である。
【図１１】図１１は、マット型の操作装置の利用状況の一例を示す図である。
【図１２】図１２は、スライダー型の操作装置の一例を示す図である。
【図１３−１】図１３−１は、メス型の操作装置の右側面の一例を示す図である。
【図１３−２】図１３−２は、メス型の操作装置の上面の一例を示す図である。
【図１３−３】図１３−３は、メス型の操作装置の左側面の一例を示す図である。
【図１４】図１４は、メス型の操作装置の利用状況の一例を示す図である。
【図１５】図１５は、利用者の動きに対応付けられた操作内容を受け付けるメス型の操作装置の一例を示す図である。
【図１６−１】図１６−１は、利用者による操作装置の動きの一例を示す図である。
【図１６−２】図１６−２は、利用者による操作装置の動きの一例を示す図である。
【図１６−３】図１６−３は、利用者による操作装置の動きの一例を示す図である。
【図１６−４】図１６−４は、利用者による操作装置の動きの一例を示す図である。
【図１６−５】図１６−５は、利用者による操作装置の動きの一例を示す図である。
【図１６−６】図１６−６は、利用者による操作装置の動きの一例を示す図である。
【図１７−１】図１７−１は、利用者の手の動きに対応付けられた操作内容の一例を示す図である。
【図１７−２】図１７−２は、利用者の手の動きに対応付けられた操作内容の一例を示す図である。
【図１７−３】図１７−３は、利用者の手の動きに対応付けられた操作内容の一例を示す図である。
【図１７−４】図１７−４は、利用者の手の動きに対応付けられた操作内容の一例を示す図である。
【図１７−５】図１７−５は、利用者の手の動きに対応付けられた操作内容の一例を示す図である。
【図１７−６】図１７−６は、利用者の手の動きに対応付けられた操作内容の一例を示す図である。
【図１８】図１８は、利用者の音声を音声認識することで、操作内容を受け付ける場合の利用状況の一例を示す図である。
【図１９】図１９は、メガネ型の３Ｄモニタを用いる場合を示す図である。
【図２０】図２０は、立体画像にポインタとグリッドとが表示されている立体画像の一例を示す図である。
【発明を実施するための形態】
【０００８】
以下、添付図面を参照して、画像処理装置、画像処理方法、画像処理システム及び医用画像診断装置の実施形態を詳細に説明する。なお、以下では、画像処理装置としての機能を有するワークステーションを含む画像処理システムを実施形態として説明する。
【０００９】
（第１の実施形態）
まず、第１の実施形態における画像処理装置を有する画像処理システムの構成例について説明する。図１は、第１の実施形態における画像処理システムの構成例を説明するための図である。
【００１０】
図１に示すように、第１の実施形態における画像処理システム１は、医用画像診断装置１１０と、画像保管装置１２０と、ワークステーション１３０と、端末装置１４０とを有する。図１に例示する各装置は、例えば、病院内に設置された院内ＬＡＮ（Local Area Network）２により、直接的、又は間接的に相互に通信可能な状態となる。例えば、画像処理システム１にＰＡＣＳ（Picture Archiving and Communication System）が導入されている場合、各装置は、ＤＩＣＯＭ（Digital Imaging and Communications in Medicine）規格に則って、医用画像等を相互に送受信する。
【００１１】
画像処理システム１は、医用画像診断装置１１０により生成されたボリュームデータに基づいて、立体画像を表示するための視差画像を生成し、立体画像を表示可能なモニタに生成した視差画像を表示することで、病院内に勤務する医師や検査技師に立体画像を提供する。
【００１２】
ここで、「立体画像」は、複数の視点から撮影された視差角の異なる複数の視差画像を表示することで利用者に表示される。言い換えると、「視差画像」は、複数の視点から撮影された視差角の異なる画像であって、利用者に立体画像を表示するための画像である。また、立体画像を表示するための視差画像は、例えば、ボリュームデータに対してボリュームレンダリング処理を行うことで生成される。また、「視差数」とは、立体表示モニタにて立体視されるために必要となる「視差画像」の数を示す。また、「視差角」とは、視差画像各々の視点の位置各々の間隔とボリュームデータの位置とにより定まる角度のことである。
【００１３】
以下に詳細に説明するように、第１の実施形態においては、ワークステーション１３０が、ボリュームデータに対して種々の画像処理を行い、立体画像を表示するための視差画像を生成する。また、ワークステーション１３０及び端末装置１４０は、立体画像を表示可能なモニタを有し、ワークステーション１３０にて生成された視差画像をモニタに表示することで立体画像を利用者に表示する。また、画像保管装置１２０は、医用画像診断装置１１０にて生成されたボリュームデータや、ワークステーション１３０にて生成された視差画像を保管する。例えば、ワークステーション１３０や端末装置１４０は、画像保管装置１２０からボリュームデータや視差画像を取得し、取得したボリュームデータや視差画像に対して任意の画像処理を実行したり、視差画像をモニタに表示したりする。
【００１４】
医用画像診断装置１１０は、Ｘ線診断装置、Ｘ線ＣＴ（Computed Tomography）装置、ＭＲＩ（Magnetic Resonance Imaging）装置、超音波診断装置、ＳＰＥＣＴ（Single Photon Emission Computed Tomography）装置、ＰＥＴ（Positron Emission Tomography）装置、ＳＰＥＣＴ装置とＸ線ＣＴ装置とが一体化されたＳＰＥＣＴ−ＣＴ装置、ＰＥＴ装置とＸ線ＣＴ装置とが一体化されたＰＥＴ−ＣＴ装置、又はこれらの装置群等である。また、医用画像診断装置１１０は、ボリュームデータを生成する。
【００１５】
具体的には、第１の実施形態における医用画像診断装置１１０は、被検体を撮影することによりボリュームデータを生成する。例えば、医用画像診断装置１１０は、被検体を撮影することにより投影データやＭＲ信号等のデータを収集する。そして、医用画像診断装置１１０は、収集したデータに基づいて被検体の体軸方向に沿った複数のアキシャル面の医用画像を再構成することで、ボリュームデータを生成する。例えば、医用画像診断装置１１０が、５００枚のアキシャル面の医用画像を再構成した場合を用いて説明する。この場合、医用画像診断装置１１０により再構成された５００枚のアキシャル面の医用画像群がボリュームデータとなる。なお、医用画像診断装置１１０により撮影された被検体の投影データやＭＲ信号等自体をボリュームデータとしても良い。
【００１６】
また、医用画像診断装置１１０は、ボリュームデータを画像保管装置１２０に送信する。なお、医用画像診断装置１１０は、ボリュームデータを画像保管装置１２０に送信する際に、付帯情報として、例えば、患者を識別する患者ＩＤ、検査を識別する検査ＩＤ、医用画像診断装置１１０を識別する装置ＩＤ、医用画像診断装置１１０による１回の撮影を識別するシリーズＩＤ等を送信する。
【００１７】
画像保管装置１２０は、医用画像を保管するデータベースである。具体的には、画像保管装置１２０は、医用画像診断装置１１０からボリュームデータを受信し、受信したボリュームデータを所定の記憶部に保管する。また、画像保管装置１２０は、ワークステーション１３０によってボリュームデータから生成された視差画像を受信し、受信した視差画像を所定の記憶部に保管する。なお、画像保管装置１２０とワークステーション１３０とを統合して一つの装置としても良い。
【００１８】
なお、第１の実施形態において、画像保管装置１２０に保管されたボリュームデータや視差画像は、患者ＩＤ、検査ＩＤ、装置ＩＤ、シリーズＩＤ等と対応付けて保管される。このため、ワークステーション１３０や端末装置１４０は、患者ＩＤ、検査ＩＤ、装置ＩＤ、シリーズＩＤ等を用いた検索を行うことで、必要なボリュームデータや視差画像を画像保管装置１２０から取得する。なお、画像保管装置１２０とワークステーション１３０とを統合して一つの装置としても良い。
【００１９】
ワークステーション１３０は、医用画像に対して画像処理を行う画像処理装置である。具体的には、ワークステーション１３０は、画像保管装置１２０からボリュームデータを取得する。そして、ワークステーション１３０は、取得したボリュームデータに対して種々のレンダリング処理を行うことで、立体画像を表示するための視差画像を生成する。例えば、ワークステーション１３０は、２視差の立体画像を利用者に表示する場合には、視差角が異なる２つの視差画像を生成する。また、例えば、ワークステーション１３０は、９視差の立体画像を利用者に表示する場合には、視差角が異なる９つの視差画像を生成する。
【００２０】
また、ワークステーション１３０は、表示部として、立体画像を表示可能なモニタ（立体表示モニタ、立体画像表示装置とも称する）を有する。ワークステーション１３０は、視差画像を生成し、生成した視差画像を立体表示モニタに表示することで、利用者に立体画像を表示する。この結果、ワークステーション１３０の利用者は、立体表示モニタに表示された立体画像を確認しながら、視差画像を生成するための操作を行うことが可能となる。
【００２１】
また、ワークステーション１３０は、生成した視差画像を画像保管装置１２０や端末装置１４０に送信する。なお、ワークステーション１３０は、画像保管装置１２０や端末装置１４０に視差画像を送信する際に、付帯情報として、例えば、患者ＩＤ、検査ＩＤ、装置ＩＤ、シリーズＩＤ等を併せて送信する。この際、ワークステーション１３０は、モニタの解像度は様々であることを踏まえ、視差画像の枚数や解像度を併せて送信しても良い。解像度とは、例えば、「466画素×350画素」などが該当する。
【００２２】
ここで、第１の実施形態におけるワークステーション１３０は、アノテーションの立体画像を表示するための第１の視差画像と、被検体の立体画像を表示するための第２の視差画像とが重畳された第１の重畳視差画像を表示することで、アノテーションの立体画像と被検体の立体画像とが重畳された重畳立体画像を立体表示する。また、ワークステーション１３０は、第２の視差画像の視差角とは異なる視差角にて、被検体の立体画像を表示するための第３の視差画像が生成される場合に、変更後の視差角に基づいてアノテーションの立体画像を表示するための第４の視差画像を生成する。また、ワークステーション１３０は、生成した第４の視差画像と第３の視差画像とが重畳された第２の重畳視差画像を生成する。また、ワークステーション１３０は、生成した第２の重畳視差画像を表示することで、視差角変更後における重畳立体画像を立体表示する。この結果、立体画像の適切な位置にアノテーションを表示可能となる。すなわち、被検体の立体画像の視差角が変更されたとしても、アノテーションと被検体との位置関係が変わっていない立体画像を表示可能となる。
【００２３】
図１の説明に戻る。端末装置１４０は、病院内に勤務する医師や検査技師に医用画像を閲覧させる端末である。具体的には、端末装置１４０は、表示部として立体表示モニタを有する。また、端末装置１４０は、画像保管装置１２０から視差画像を取得し、取得した視差画像を立体表示モニタに表示することで、立体画像を利用者に表示する。また、例えば、端末装置１４０は、ワークステーション１３０から視差画像を受信すると、受信した視差画像を立体表示モニタに表示することで、立体画像を利用者に表示する。この結果、利用者である医師や検査技師は、立体視可能な医用画像を閲覧することができる。端末装置１４０は、例えば、立体表示モニタを有する汎用ＰＣ（Personal Computer）やタブレット端末、携帯電話などが該当する。また、端末装置１４０は、例えば、外部装置としての立体表示モニタと接続された任意の情報処理端末が該当する。
【００２４】
ここで、ワークステーション１３０や端末装置１４０が有する立体表示モニタについて説明する。立体表示モニタとしては、例えば、２つの視差画像を表示することで、立体視用メガネ等の専用機器を装着した利用者に２視差の立体画像（両眼視差画像）を表示するものがある。
【００２５】
図２は、２視差画像により立体表示を行う立体表示モニタの一例を説明するための図である。図２に示す一例は、シャッター方式により立体表示を行う立体表示モニタを例に示した。図２に示す例では、モニタを観察する利用者は、立体視用メガネとしてシャッターメガネを装着する。図２に示す例では、立体表示モニタは、２つの視差画像を交互に出射する。例えば、図２の（Ａ）に示す立体表示モニタは、左目用の視差画像と右目用の視差画像とを１２０Ｈｚにて交互に出射する。また、立体表示モニタは、図２の（Ａ）に示すように、赤外線出射部が設置され、赤外線出射部が、視差画像が切り替わるタイミングに合わせて赤外線の出射を制御する。
【００２６】
また、図２の（Ａ）に示すように、シャッターメガネの赤外線受光部は、赤外線出射部により出射された赤外線を受光する。シャッターメガネの左右それぞれの枠には、シャッターが取り付けられており、シャッターメガネは、赤外線受光部が赤外線を受光したタイミングに合わせて左右のシャッターそれぞれの透過状態及び遮光状態を交互に切り替える。
【００２７】
ここで、シャッターメガネのシャッターにおける透過状態及び遮光状態の切り替え処理について説明する。シャッターは、図２の（Ｂ）に示すように、入射側の偏光板と出射側の偏光板とを有し、更に、入射側の偏光板と出射側の偏光板との間に液晶層を有する。また、入射側の偏光板と出射側の偏光板とは、図２の（Ｂ）に示すように、互いに直交している。ここで、図２の（Ｂ）に示すように、電圧が印加されていない「ＯＦＦ」の状態では、入射側の偏光板を通った光は、液晶層の作用により９０度回転し、出射側の偏光板を透過する。すなわち、電圧が印加されていないシャッターは、透過状態となる。
【００２８】
一方、図２の（Ｂ）に示すように、電圧が印加された「ＯＮ」の状態では、液晶層の液晶分子による偏光回転作用が消失するため、入射側の偏光板を通った光は、出射側の偏光板で遮られてしまう。すなわち、電圧が印加されたシャッターは、遮光状態となる。
【００２９】
このことを踏まえ、立体表示モニタの赤外線出射部は、例えば、モニタ上に左目用の画像が表示されている期間、赤外線を出射する。そして、シャッターメガネの赤外線受光部は、赤外線を受光している期間、左目のシャッターに電圧を印加せず、右目のシャッターに電圧を印加させる。これにより、図２の（Ａ）に示すように、右目のシャッターが遮光状態となり、左目のシャッターが透過状態となる結果、利用者の左目にのみ左目用の画像が入射する。一方、立体表示モニタの赤外線出射部は、例えば、モニタ上に右目用の画像が表示されている期間、赤外線の出射を停止する。そして、シャッターメガネの赤外線受光部は、赤外線が受光されない期間、右目のシャッターに電圧を印加せず、左目のシャッターに電圧を印加させる。これにより、左目のシャッターが遮光状態となり、右目のシャッターが透過状態となる結果、利用者の右目にのみ右目用の画像が入射する。このように、図２に示す立体表示モニタは、モニタに表示される画像とシャッターの状態を連動させて切り替えることで、立体画像を利用者に表示する。
【００３０】
また、立体表示モニタとしては、レンチキュラーレンズ等の光線制御子を用いることで、例えば、９視差の立体画像を利用者が裸眼の利用者に表示するものもある。この場合、立体表示モニタは、両眼視差による立体視を可能とし、更に、利用者の視点移動に合わせて利用者によって観察される映像が変化する運動視差を有する立体画像を表示可能となる。
【００３１】
図３は、９視差画像により立体表示を行う立体表示モニタの一例を説明するための図である。図３に示す立体表示モニタは、液晶パネル等の平面状の表示面２００の前面に、光線制御子が配置される。例えば、図３に示す立体表示モニタは、光線制御子として、光学開口が垂直方向に延びる垂直レンチキュラーレンズ２０１が表示面２００の前面に貼り付けられる。なお、図３に示す一例では、垂直レンチキュラーレンズ２０１の凸部が前面となるように貼り付けられているが、垂直レンチキュラーレンズ２０１の凸部が表示面２００に対向するように貼り付けられる場合であっても良い。
【００３２】
図３に示す例では、表示面２００は、縦横比が３：１であり、縦方向にサブ画素である赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３つが配置された画素２０２がマトリクス状に配置される。図３に示す例では、立体表示モニタは、視差角が異なる９つの視差画像を所定フォーマット（例えば格子状）に配置した上で、表示面２００に出力する。すなわち、図３に示す立体表示モニタは、視差角が異なる９つの視差画像において同一位置にある９つの画素それぞれが、９列の画素２０２それぞれに割り振られた中間画像を表示する。９列の画素２０２は、視差角の異なる９つの画像を同時に表示する単位画素群２０３となる。なお、図３に示す例では、中間画像が格子状となる場合を示したが、これに限定されるものではなく、任意の形状であって良い。
【００３３】
表示面２００において単位画素群２０３として同時に出力された視差角が異なる９つの視差画像は、例えば、ＬＥＤ（Light Emitting Diode）バックライトにより平行光として放射され、更に、垂直レンチキュラーレンズ２０１により、多方向に放射される。９つの視差画像の各画素の光が多方向に放射されることにより、利用者の右目及び左目に入射する光は、利用者の位置（視点の位置）に連動して変化する。すなわち、利用者の見る角度により、右目に入射する視差画像と左目に入射する視差画像とは、視差角が異なる視差画像となる。この結果、利用者は、例えば、図３に示す９つの位置それぞれにおいて、異なる視野角から撮影対象を見る立体画像を視認できる。また、利用者は、例えば、図３に示す「５」の位置において、撮影対象に対して正対した状態で立体的に視認できるとともに、図３に示す「５」以外それぞれの位置において、撮影対象の向きを変化させた状態で立体的に視認できる。なお、図３に示す例では一例であり、これに限定されるものではない。例えば、図３に示す例では、横ストライプ（RRR…、GGG…、BBB…）液晶と縦レンズとの組み合わせを用いた場合を例に示したが、これに限定されるものではなく、例えば、縦ストライプ（RGBRGB…）液晶と斜めレンズとの組み合わせを用いても良い。
【００３４】
ここまで、第１の実施形態における画像処理システム１の構成例について簡単に説明した。なお、上述した画像処理システム１は、ＰＡＣＳが導入されている場合にその適用が限られるものではない。例えば、画像処理システム１は、医用画像が添付された電子カルテを管理する電子カルテシステムが導入されている場合にも、同様に適用しても良い。この場合、画像保管装置１２０は、電子カルテを保管するデータベースとなる。また、例えば、画像処理システム１は、ＨＩＳ（Hospital Information System）、ＲＩＳ（Radiology Information System）が導入されている場合にも、同様に適用しても良い。また、画像処理システム１は、上述した構成例に限られるものではない。各装置が有する機能やその分担は、運用の形態に応じて適宜変更しても良い。
【００３５】
次に、第１の実施形態におけるワークステーション１３０の構成例について図４を用いて説明する。図４は、第１の実施形態におけるワークステーションの構成例を説明するための図である。
【００３６】
ワークステーション１３０は、画像処理等に適した高性能なコンピュータである。図４に示す例では、ワークステーション１３０は、入力部１３１と、表示部１３２と、通信部１３３と、記憶部１３４と、制御部１３５と、レンダリング処理部１３６とを有する。なお、以下では、ワークステーション１３０が画像処理等に適した高性能なコンピュータである場合を用いて説明するが、これに限定されるものではなく、任意の情報処理装置であって良い。例えば、任意のパーソナルコンピュータであっても良い。
【００３７】
入力部１３１は、マウス、キーボード、トラックボール、タッチパネル等などの操作デバイスである。入力部１３１は、利用者により操作されることで、ワークステーション１３０に対する各種操作の入力を利用者から受け付ける。具体的には、入力部１３１は、レンダリング処理の対象となるボリュームデータを画像保管装置１２０から取得するための情報の入力を受け付ける。例えば、入力部１３１は、患者ＩＤ、検査ＩＤ、装置ＩＤ、シリーズＩＤ等の入力を受け付ける。また、入力部１３１は、レンダリング処理に関する条件（以下、レンダリング条件）の入力を受け付ける。
【００３８】
また、入力部１３１は、ボリュームデータにより示される被検体の３次元情報に対して、図形や矢印、記号、文字などのアノテーションを表示するための設定条件の入力や、アノテーションを表示する旨の指示を受け付ける。
【００３９】
例えば、入力部１３１は、被検体の３次元情報の内、任意の座標を示す矢印を表示するための設定条件を受け付ける。より詳細な一例をあげて説明すると、入力部１３１は、矢印の起点となる座標の設定と、矢印の目標点となる座標の設定とを受け付ける。また、例えば、入力部１３１は、被検体の３次元情報の内、任意の座標に任意の文字列を表示するための設定条件を受け付ける。より詳細な一例をあげて説明すると、入力部１３１は、任意の文字列を表示させる座標の設定と、表示させる文字列の設定とを受け付ける。なお、座標は、例えば、マウスを介して設定される。文字列は、例えば、キーボードを介して設定される。
【００４０】
表示部１３２は、立体表示モニタとしての液晶パネル等であり、各種情報を表示する。具体的には、第１の実施形態における表示部１３２は、利用者から各種操作を受け付けるためのＧＵＩ（Graphical User Interface）や、立体画像等を表示する。通信部１３３は、ＮＩＣ（Network Interface Card）等であり、他の装置との間で通信を行う。また、例えば、通信部１３３は、利用者によって端末装置１４０に入力されたレンダリング条件を端末装置１４０から受信する。
【００４１】
記憶部１３４は、ハードディスク、半導体メモリ素子等であり、各種情報を記憶する。具体的には、記憶部１３４は、通信部１３３を介して画像保管装置１２０から取得したボリュームデータを記憶する。また、記憶部１３４は、レンダリング処理中のボリュームデータや、レンダリング処理が行われた視差画像等とその視差数や解像度などを記憶する。
【００４２】
制御部１３５は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の電子回路、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路であり、ワークステーション１３０の全体制御を行う。
【００４３】
例えば、制御部１３５は、表示部１３２に対するＧＵＩの表示や立体画像の表示を制御する。また、例えば、制御部１３５は、画像保管装置１２０との間で通信部１３３を介して行われるボリュームデータや視差画像の送受信を制御する。また、例えば、制御部１３５は、レンダリング処理部１３６によるレンダリング処理を制御する。また、例えば、制御部１３５は、ボリュームデータの記憶部１３４からの読み込みや、視差画像の記憶部１３４への格納を制御する。
【００４４】
また、例えば、制御部１３５は、アノテーションを表示するための設定条件を入力部１３１が受け付けると、入力部１３１により受け付けられた設定条件を、アノテーションが設定された被検体のボリュームデータの付加情報として格納する。例えば、制御部１３５は、入力部１３１により受け付けられた設定条件を付加情報として画像保管装置１２０に出力することで、画像保管装置１２０にボリュームデータの付加情報として格納させる。つまり、この場合、画像保管装置１２０は、アノテーションを表示するための設定条件が付加情報として設定されたボリュームデータを記憶することになる。
【００４５】
なお、上述した説明では、入力部１３１が設定条件を受け付け、制御部１３５が、入力部１３１により受け付けられた設定条件そのものを付加情報として格納する場合を例に説明したが、これに限定されるものではない。例えば、入力部１３１が、アノテーションを表示する旨の指示を受け付けると、制御部１３５は、入力部１３１により受け付けられた指示により指定されるアノテーションを表示するための設定条件を生成し、生成した設定条件を付加情報として格納しても良い。入力部１３１が、奥行きを示すスケールを被検体の３次元情報と併せて表示する旨の指示を受け付けた場合を用いて説明する。この場合、制御部１３５は、被検体の３次元情報の内、スケールを表示させる任意の座標を決定し、決定した座標に奥行きを示すスケールを表示するための設定条件を生成し、生成した設定条件を付加情報として格納する。
【００４６】
ここで、レンダリング処理部１３６は、制御部１３５による制御の下、画像保管装置１２０から取得したボリュームデータに対して種々のレンダリング処理を行い、視差画像を生成する。具体的には、レンダリング処理部１３６は、記憶部１３４からボリュームデータを読み込み、読み込んだボリュームデータに対して前処理を行う。そして、レンダリング処理部１３６は、前処理後のボリュームデータに対してボリュームレンダリング処理を行うことで、立体画像を表示するための視差画像を生成する。そして、レンダリング処理部１３６は、生成した視差画像を記憶部１３４に格納する。
【００４７】
また、レンダリング処理部１３６は、各種情報（目盛り、患者名、検査項目等）が描出されたオーバーレイ画像を生成し、生成したオーバーレイ画像を視差画像に重畳しても良い。この場合、レンダリング処理部１３６は、オーバーレイ画像が重複された視差画像を記憶部１３４に格納する。
【００４８】
例えば、レンダリング処理部１３６は、アノテーションを表示するための設定条件を入力部１３１が受け付けると、受け付けたアノテーションの立体画像を表示するための視差画像となるオーバーレイ画像を生成する。
【００４９】
具体的には、レンダリング処理部１３６は、入力部１３１により受け付けられた設定条件、又は、ボリュームデータの付加情報に基づいて、アノテーションを表示するためのオーバーレイ画像を生成する。例えば、被検体の９視差の立体画像を表示するための視差画像として、９枚の視差画像が生成された場合を用いて説明する。この場合、レンダリング処理部１３６は、被検体の３次元情報の内、任意の座標を示す矢印を表示するための９枚のオーバーレイ画像を生成したり、任意の座標に任意の文字列を表示するための９枚のオーバーレイ画像を生成したりする。ここで、９枚のオーバーレイ画像は、それぞれ、被検体の立体画像を立体表示するための９枚の視差画像各々に重畳される。
【００５０】
ここで、アノテーションと、付加情報と、オーバーレイ画像との関係について補足する。上述したように、アノテーションは、例えば、図形や記号、文字列、矢印などである。付加情報は、アノテーションを表示するための設定情報であって、例えば、矢印の起点や目標点の座標や、任意の文字列を表示させる座標、アノテーションとして表示させる文字列などである。オーバーレイ画像とは、視差画像に重畳されて表示される画像であって、アノテーションを表示するための画像を示す。オーバーレイ画像は、アノテーションを表示するための設定情報や付加情報に基づいて生成される。
【００５１】
なお、レンダリング処理とは、ボリュームデータに対して行う画像処理全体を示し、ボリュームレンダリング処理とは、レンダリング処理の内、被検体の３次元の情報が反映された医用画像を生成する処理を示す。レンダリング処理により生成される医用画像とは、例えば、視差画像が該当する。
【００５２】
図５は、図４に示すレンダリング処理部の構成例を説明するための図である。図５に示すように、レンダリング処理部１３６は、前処理部１３６１と、３次元画像処理部１３６２と、２次元画像処理部１３６３とを有する。以下に詳細に説明するように、前処理部１３６１は、ボリュームデータに対する前処理を行う。３次元画像処理部１３６２は、前処理後のボリュームデータから視差画像を生成する。２次元画像処理部１３６３は、立体画像に各種情報が重畳された視差画像を生成する。
【００５３】
前処理部１３６１は、ボリュームデータに対してレンダリング処理を行う際に、種々の前処理を行う。図５に示す例では、前処理部１３６１は、画像補正処理部１３６１ａと、３次元物体フュージョン部１３６１ｅと、３次元物体表示領域設定部１３６１ｆとを有する。
【００５４】
画像補正処理部１３６１ａは、２種類のボリュームデータを一つのボリュームデータとして処理する際に画像補正処理を行う。図５に示す例では、画像補正処理部１３６１ａは、歪み補正処理部１３６１ｂと、体動補正処理部１３６１ｃと、画像間位置合わせ処理部１３６１ｄとを有する。例えば、画像補正処理部１３６１ａは、ＰＥＴ−ＣＴ装置により生成されたＰＥＴ画像のボリュームデータとＸ線ＣＴ画像のボリュームデータとを一つのボリュームデータとして処理する際に画像補正処理を行う。また、画像補正処理部１３６１ａは、ＭＲＩ装置により生成されたＴ１強調画像のボリュームデータとＴ２強調画像のボリュームデータとを一つのボリュームデータとして処理する際に画像補正処理を行う。
【００５５】
ここで、画像補正処理部１３６１ａの歪み補正処理部１３６１ｂは、個々のボリュームデータにおいて、医用画像診断装置１１０によるデータ収集時の収集条件に起因するデータの歪みを補正する。また、体動補正処理部１３６１ｃは、個々のボリュームデータを生成するために用いられたデータの収集時期における被検体の体動に起因する移動を補正する。また、画像間位置合わせ処理部１３６１ｄは、歪み補正処理部１３６１ｂ及び体動補正処理部１３６１ｃによる補正処理が行われた２つのボリュームデータ間で、例えば、相互相関法等を用いた位置合わせ（Registration）を行う。
【００５６】
３次元物体フュージョン部１３６１ｅは、画像間位置合わせ処理部１３６１ｄにより位置合わせが行われた複数のボリュームデータをフュージョンさせる。なお、画像補正処理部１３６１ａ及び３次元物体フュージョン部１３６１ｅの処理は、単一のボリュームデータに対してレンダリング処理を行う場合、省略される。
【００５７】
３次元物体表示領域設定部１３６１ｆは、利用者により指定された表示対象臓器に対応する表示領域を設定する。図５に示す例では、３次元物体表示領域設定部１３６１ｆは、セグメンテーション処理部１３６１ｇを有する。３次元物体表示領域設定部１３６１ｆのセグメンテーション処理部１３６１ｇは、利用者により指定された心臓、肺、血管等の臓器を、例えば、ボリュームデータの画素値（ボクセル値）に基づく領域拡張法により抽出する。
【００５８】
なお、セグメンテーション処理部１３６１ｇは、利用者により表示対象臓器が指定されなかった場合、セグメンテーション処理を行わない。また、セグメンテーション処理部１３６１ｇは、利用者により表示対象臓器が複数指定された場合、該当する複数の臓器を抽出する。また、セグメンテーション処理部１３６１ｇの処理は、レンダリング画像を参照した利用者の微調整要求により再度実行される場合もある。
【００５９】
３次元画像処理部１３６２は、前処理部１３６１が処理を行った前処理後のボリュームデータに対してボリュームレンダリング処理を行う。図５に示す例では、３次元画像処理部１３６２は、ボリュームレンダリング処理を行う処理部として、投影方法設定部１３６２ａと、３次元幾何変換処理部１３６２ｂと、３次元物体アピアランス処理部１３６２ｆと、３次元仮想空間レンダリング部１３６２ｋとを有する。
【００６０】
投影方法設定部１３６２ａは、立体画像を生成するための投影方法を決定する。例えば、投影方法設定部１３６２ａは、ボリュームレンダリング処理を平行投影法により実行するか、透視投影法により実行するかを決定する。
【００６１】
３次元幾何変換処理部１３６２ｂは、ボリュームレンダリング処理が実行されるボリュームデータを３次元幾何学的に変換するための情報を決定する。図５に示す例では、３次元幾何変換処理部１３６２ｂは、平行移動処理部１３６２ｃと、回転処理部１３６２ｄと拡大縮小処理部１３６２ｅとを有する。３次元幾何変換処理部１３６２ｂの平行移動処理部１３６２ｃは、ボリュームレンダリング処理を行う際の視点位置が平行移動された場合に、ボリュームデータを平行移動させる移動量を決定する。また、回転処理部１３６２ｄは、ボリュームレンダリング処理を行う際の視点位置が回転移動された場合に、ボリュームデータを回転移動させる移動量を決定する。また、拡大縮小処理部１３６２ｅは、立体画像の拡大や縮小が要求された場合に、ボリュームデータの拡大率や縮小率を決定する。
【００６２】
３次元物体アピアランス処理部１３６２ｆは、３次元物体色彩処理部１３６２ｇと、３次元物体不透明度処理部１３６２ｈと、３次元物体材質処理部１３６２ｉと３次元仮想空間光源処理部１３６２ｊとを有する。３次元物体アピアランス処理部１３６２ｆは、これらの処理部により、例えば、利用者の要求に応じて、視差画像を表示することで利用者に表示される立体画像の表示状態を決定する。
【００６３】
３次元物体色彩処理部１３６２ｇは、ボリュームデータにてセグメンテーションされた各領域に対して着色される色彩を決定する。また、３次元物体不透明度処理部１３６２ｈは、ボリュームデータにてセグメンテーションされた各領域を構成する各ボクセルの不透過度（Opacity）を決定する処理部である。なお、ボリュームデータにおいて不透過度が「１００％」とされた領域の後方の領域は、視差画像において描出されない。また、ボリュームデータにおいて不透過度が「０％」とされた領域は、視差画像において描出されない。
【００６４】
３次元物体材質処理部１３６２ｉは、ボリュームデータにてセグメンテーションされた各領域の材質を決定することで、この領域が描出される際の質感を調整する。３次元仮想空間光源処理部１３６２ｊは、ボリュームデータに対してボリュームレンダリング処理を行う際に、３次元仮想空間に設置する仮想光源の位置や、仮想光源の種類を決定する。仮想光源の種類としては、無限遠から平行な光線を照射する光源や、視点から放射状の光線を照射する光源等があげられる。
【００６５】
３次元仮想空間レンダリング部１３６２ｋは、ボリュームデータに対してボリュームレンダリング処理を行い、視差画像を生成する。また、３次元仮想空間レンダリング部１３６２ｋは、ボリュームレンダリング処理を行う際、必要に応じて、投影方法設定部１３６２ａ、３次元幾何変換処理部１３６２ｂ、３次元物体アピアランス処理部１３６２ｆにより決定された各種情報を用いる。
【００６６】
ここで、３次元仮想空間レンダリング部１３６２ｋは、制御部１３５からレンダリング条件を受け付け、受け付けたレンダリング条件に従って、ボリュームデータに対するボリュームレンダリング処理を行う。レンダリング条件は、入力部１３１を介して利用者から受け付けたり、初期設定されたり、通信部１３３を介して端末装置１４０から受け付けたりする。また、このとき、上述した投影方法設定部１３６２ａ、３次元幾何変換処理部１３６２ｂ、３次元物体アピアランス処理部１３６２ｆが、このレンダリング条件に従って必要な各種情報を決定し、３次元仮想空間レンダリング部１３６２ｋは、決定された各種情報を用いて立体画像を生成する。
【００６７】
なお、例えば、レンダリング条件は、「平行投影法」又は「透視投影法」である。また、例えば、レンダリング条件は、「基準の視点位置及び視差角」である。また、例えば、レンダリング条件は、「視点位置の平行移動」、「視点位置の回転移動」、「立体画像の拡大」、「立体画像の縮小」である。また、例えば、レンダリング条件は、「着色される色彩」、「透過度」、「質感」、「仮想光源の位置」、「仮想光源の種類」である。
【００６８】
図６は、第１の実施形態におけるボリュームレンダリング処理の一例を説明するための図である。例えば、３次元仮想空間レンダリング部１３６２ｋが、図６の「９視差画像生成方式（１）」に示すように、レンダリング条件として、平行投影法を受け付け、更に、基準の視点位置（５）と視差角「１度」とを受け付けたとする。この場合、３次元仮想空間レンダリング部１３６２ｋは、視差角が「１度」おきとなるように、視点の位置を（１）〜（９）に平行移動して、平行投影法により視差角（視線方向間の角度）が１度ずつ異なる９つの視差画像を生成する。なお、平行投影法を行う場合、３次元仮想空間レンダリング部１３６２ｋは、視線方向に沿って無限遠から平行な光線を照射する光源を設定する。
【００６９】
或いは、３次元仮想空間レンダリング部１３６２ｋが、図６の「９視差画像生成方式（２）」に示すように、レンダリング条件として、透視投影法を受け付け、更に、基準の視点位置（５）と視差角「１度」とを受け付けたとする。この場合、３次元仮想空間レンダリング部１３６２ｋは、視点移動する平面上に存在するボリュームデータの切断面の重心を中心に視差角が「１度」おきとなるように、視点の位置を（１）〜（９）に回転移動して、透視投影法により視差角が１度ずつ異なる９つの視差画像を生成する。言い換えると、３次元的な体積の重心ではなく、２次元的な切断面の重心を中心に回転移動して、９つの視差画像を生成する。なお、透視投影法を行う場合、３次元仮想空間レンダリング部１３６２ｋは、視線方向を中心に光を３次元的に放射状に照射する点光源や面光源を各視点にて設定する。また、透視投影法を行う場合、レンダリング条件によっては、視点（１）〜（９）は、平行移動される場合であっても良い。
【００７０】
なお、３次元仮想空間レンダリング部１３６２ｋは、表示されるボリュームレンダリング画像の縦方向に対しては、視線方向を中心に光を２次元的に放射状に照射し、表示されるボリュームレンダリング画像の横方向に対しては、視線方向に沿って無限遠から平行な光線を照射する光源を設定することで、平行投影法と透視投影法とを併用したボリュームレンダリング処理を行っても良い。
【００７１】
なお、図６の例では、レンダリング条件として、投影方法、基準の視点位置及び視差角を受け付けた場合を説明したが、レンダリング条件として、他の条件を受け付けた場合も同様に、３次元仮想空間レンダリング部１３６２ｋは、それぞれのレンダリング条件を反映しつつ、９つの視差画像を生成する。
【００７２】
なお、３次元仮想空間レンダリング部１３６２ｋは、ボリュームレンダリングだけでなく、断面再構成法（ＭＰＲ：Multi Planer Reconstruction）を行うことで、ボリュームデータからＭＰＲ画像を再構成する機能も有する。また、３次元仮想空間レンダリング部１３６２ｋは、ＭＰＲとして「Ｃｕｒｖｅｄ ＭＰＲ」を行う機能や、「Intensity Projection」を行う機能も有する。
【００７３】
また、３次元画像処理部１３６２がボリュームデータから生成した視差画像は、アンダーレイ（Underlay）として用いた上で、各種情報（目盛り、患者名、検査項目等）が描出されたオーバーレイ画像をオーバーレイ（Overlay）として重畳しても良い。この場合、２次元画像処理部１３６３は、オーバーレイとなるオーバーレイ画像とアンダーレイとなる視差画像に対して画像処理を行うことで、オーバーレイ画像が重畳された視差画像を生成する。図５に示す例では、２次元画像処理部１３６３は、２次元物体描画部１３６３ａと、２次元幾何変換処理部１３６３ｂと、輝度調整部１３６３ｃとを有する。なお、各種情報の描画処理コスト低減のため、オーバーレイを１枚だけ描画しておき、１枚のオーバーレイをアンダーレイとなる９枚の視差画像それぞれに重畳することで、オーバーレイ画像が重畳された９枚の視差画像を生成しても良い。
【００７４】
２次元物体描画部１３６３ａは、オーバーレイに描出される各種情報を描画する。また、２次元幾何変換処理部１３６３ｂは、オーバーレイに描出される各種情報の位置を平行移動処理又は回転移動処理したり、オーバーレイに描出される各種情報の拡大処理又は縮小処理したりする。また、輝度調整部１３６３ｃは、例えば、出力先の立体表示モニタの諧調や、ウィンドウ幅（ＷＷ：Window Width）、ウィンドウレベル（ＷＬ：Window Level）等の画像処理用のパラメータに応じて、オーバーレイ及びアンダーレイの輝度を調整する。また、輝度調整部１３６３ｃは、例えば、レンダリング画像に対する輝度変換処理を行う。
【００７５】
レンダリング処理部１３６により生成された視差画像は、例えば、制御部１３５により一旦記憶部１３４に格納され、その後、通信部１３３を介して画像保管装置１２０に送信される。その後、例えば、端末装置１４０は、画像保管装置１２０からオーバーレイ画像が重畳された視差画像を取得し、所定フォーマット（例えば格子状）に配置した中間画像に変換した上で立体表示モニタに表示することで、利用者である医師や検査技師に、各種情報（目盛り、患者名、検査項目等）が描出された立体画像を表示可能となる。
【００７６】
さて、上述したように、レンダリング処理部１３６は、制御部１３５による制御の下、ボリュームデータから視差画像を生成する。次に、第１の実施形態における制御部１３５について詳細に説明する。以下に説明するように、制御部１３５が以下に説明する一連の処理を実行することで、立体画像の適切な位置にアノテーションを表示可能となる。
【００７７】
制御部１３５による処理の全体像について簡単に説明する。以下では、被検体の立体画像を表示するための視差画像と、アノテーションを表示するための視差画像とが重畳された重畳視差画像を表示することで、アノテーションの立体画像と被検体の立体画像とが重畳された重畳立体画像が立体表示されるものとして説明する。
【００７８】
ここで、被検体の立体画像を表示するための視差画像の視差角は、視差角を変更する旨のユーザによる変更指示が入力された場合や、制御部１３５による自律的な処理によって、変更されることがある。重畳視差画像において、被検体の立体画像を表示するための視差画像についてのみ視差角が変更され、オーバーレイ画像に変更が加えられないと、オーバーレイ画像により表示される矢印などのアノテーションにより示される被検体の位置が変わってしまう。このことを踏まえ、以下に詳細に説明するように、制御部１３５は、異なる視差角にて被検体の立体画像を表示するための視差画像が生成される場合に、変更後の視差角に基づいてアノテーションの立体画像を表示するための視差画像を生成して用いる。この結果、被検体の立体画像を立体表示するための視差画像の視差角が変更されたとしても、アノテーションと被検体との位置関係が変わらない立体画像を表示可能となる。
【００７９】
制御部１３５の各部についての説明に移る。図７は、第１の実施形態における制御部の構成の一例を示す図である。図７に示すように、制御部１３５は、表示制御部１３５１と、飛出臨界内視差角変更部１３５２と、第３の視差画像生成部１３５３と、視差画像生成部１３５４と、重畳視差画像生成部１３５５とを有する。
【００８０】
表示制御部１３５１は、アノテーションの立体画像を表示するための第１の視差画像と、被検体の立体画像を表示するための第２の視差画像とが重畳された第１の重畳視差画像を表示することで、アノテーションの立体画像と被検体の立体画像とが重畳された重畳立体画像を立体表示する。
【００８１】
飛出臨界内視差角変更部１３５２は、立体表示可能な飛び出し方向の臨界を示す飛び出し臨界内に、第２の視差画像を表示することで表示される被検体の立体画像が収まらない場合に、被検体を表示するための視差画像の視差角を変更する。
【００８２】
ここで、飛び出し臨界について説明する。モニタにて立体表示可能となる飛び出し方向の量には、モニタの仕様により限界がある。飛び出し方向の量の限界を「飛び出し臨界量」とも記載する。「飛び出し臨界量」は、「モニタの表示面とモニタを観察する観察者との距離である視距離」と、「モニタのハードウェア仕様」とに基づいて算出される。ここで、モニタと観察者との視距離は、観察者の位置を特定できなければ求めることができず、一般に、モニタは、観察位置を想定した上で設計される。このため、「飛び出し臨界量」は、所定の位置に想定された観察位置とモニタの表示面との間の距離である「想定視距離」と、立体表示モニタのハードウェア仕様とに基づいて算出される。
【００８３】
例えば、「飛び出し臨界量」は、（数１）により算出される。なお、（数１）では、奥行き方向の内、立体表示モニタの表示面を原点として、かかる表示面から観察者の視点に近づく方向を正としている。
【００８４】
（数１）＝飛び出し臨界量（ｍｍ）＝想定視距離／｛２×［（想定視距離＋ギャップ）／想定視距離］×（サブピクセルピッチ／ギャップ）×飛び出し限界周波数＋１｝
【００８５】
図８−１を用いて、（数１）に示した「ギャップ」、「サブピクセルピッチ」等について説明する。図８−１は、飛び出し臨界について示すための図である。図８−１は、モニタを縦方向から見た図である。図８−１に示すように、「ギャップ」は、ＬＣＤ（Liquid Crystal Display）画素面とレンチキュラーレンズ２０１の焦点との距離を示す。また、「サブピクセルピッチ」は、立体表示モニタ内に配置された画素２０２間の距離を示す。また、「レンズピッチ」は、視差数分の画素２０２の横方向の長さを示し、「サブピクセルピッチ×視差数」によって表される。
【００８６】
また、（数１）に示した「飛び出し限界周波数」は、単位が「ＣＰＲ（cycles per radian）」であり、「最大表示可能周波数×Ｎ（０＜Ｎ≦１）」によって表される。かかる「最大表示可能周波数」は、「視距離／（２×レンズピッチ）」によって表され、立体表示モニタの表示面上での解像度を示す。具体的には、「ＣＰＲ」は、立体表示モニタから照射される光線の内観察者の眼から広がる光線錘に許容される光線の密度を示す。この「ＣＰＲ」は、同一視距離の場合には、レンチキュラーレンズが配置される密度が高いほど大きくなり、レンチキュラーレンズが配置される密度が低いほど小さくなる。言い換えれば、「ＣＰＲ」は、レンチキュラーレンズが配置される密度が同一である場合には、視距離が遠いほど大きくなり、視距離が近いほど小さくなる。「最大表示可能周波数」は、「ＣＰＲ」が最大になる解像度である。すなわち、「最大表示可能周波数」は、立体表示モニタの表示面上の解像度を示す。
【００８７】
ここで、「被検体の重心Ｃ２から被検体の輪郭までの距離」が、（数１）により算出される「飛び出し臨界量」により定まる「飛び出し臨界」を超えている場合、立体表示モニタに表示される立体画像には、ボケが生じることとなる。言い換えると、飛び出し臨界を超えている部分について、ボケてしまう。
【００８８】
図８−２は、飛び出し臨界を超えない場合について示す図である。図８−２に示す例では、被検体Ｒ２の輪郭が、飛び出し臨界Ｃの内部にある。この場合、視点Ｏ１を基準位置にして生成された９視差画像を生成し「９視差モニタ」に表示させた立体画像には、「被検体の重心Ｃ２から被検体の輪郭までの距離」が「飛び出し臨界」より小さい値となり、ボケは発生しない。なお、正円Ｐは、視点の位置が移動しえる位置の一例を示す。
【００８９】
図８−３は、飛び出し臨界を超えてボケてしまう部分について示す図である。図８−３に示す例では、被検体Ｒ２の輪郭が飛び出し臨界Ｃに外接している。この場合、視点の位置を視点Ｏ２に変えた場合を示した。この場合、視点Ｏ２を基準位置にして生成された９視差画像を生成し「９視差モニタ」に表示させた立体画像は、「被検体の重心Ｃ２から被検体の輪郭までの距離」が「飛び出し臨界」を超えており、ボケが生じる。
【００９０】
このように、立体画像にボケを生じさせないためには、あらゆる角度からの視点に対して、被検体の重心Ｃ２から被検体の輪郭までの距離が、飛び出し臨界内となることが望ましい。また、被検体の形状によっては、立体画像を回転させることで、「被検体の重心Ｃ２から被検体の輪郭までの距離」が「飛び出し臨界」より小さい値になったり、大きい値になったりすることもある。このことを踏まえ、飛出臨界内視差角変更部１３５２は、所定の視差数の視差画像をボリュームデータから生成する際に、被写体の形状と、表示部１３２において表示される立体画像の飛び出し方向における臨界である飛び出し臨界との大小関係に基づいて、視差画像間の視差角を変更する。言い換えると、飛出臨界内視差角変更部１３５２は、「被検体の重心Ｃ２から被検体の輪郭までの距離」が「飛び出し臨界」を超えている場合には、「被検体の重心Ｃ２から被検体の輪郭までの距離」が「飛び出し臨界」内に収まるように視差角を変更する。
【００９１】
ここで、飛出臨界内視差角変更部１３５２は、例えば、制御部１３５の制御の下、入力部１３１に入力されたレンダリング条件に基づいてレンダリング処理部１３６によってボリュームデータから視差画像が生成される際に、「被検体の重心Ｃ２から被検体の輪郭までの距離」が「飛び出し臨界」を超えているかを監視し、超えているとの監視結果が得られた場合に視差角を変更する。
【００９２】
第３の視差画像生成部１３５３は、第２の視差画像の視差角を変更する変更指示をユーザから受け付けると、変更指示により示される変更後の視差角に基づいて、被検体の立体画像を表示するための第３の視差画像を生成する。例えば、入力部１３１に対して、立体表示されている被検体の立体画像の視差角を変更する旨の指示を受け付けると、変更後の視差角に基づいて第３の視差画像を生成する。また、例えば、第３の視差画像生成部１３５３は、飛出臨界内差角変更部１３５２により変更された後の視差角に基づいて、被検体の立体画像を表示するための第３の視差画像を生成する。
【００９３】
より詳細な一例をあげて説明すると、第３の視差画像生成部１３５３は、被検体の立体画像を立体表示するための９枚の視差画像すべてについて視差角が変更されると、変更後の視差角に基づいて９枚の第３の視差画像を生成する。また、同様に、第３の視差画像生成部１３５３は、被検体の立体画像を立体表示するための９枚の視差画像の内一部の視差画像について視差角が変更された場合について説明する。言い換えると、９枚の視差画像の内他の視差画像については変更が加えられていない場合について説明する。この場合、第３の視差画像生成部１３５３は、視差角が変更された視差画像について、変更後の視差角に基づいて第３の視差画像を生成する。
【００９４】
視差画像生成部１３５４は、第２の視差画像の視差角とは異なる視差角にて、被検体の立体画像を表示するための第３の視差画像が生成される場合に、変更後の視差角に基づいてアノテーションの立体画像を表示するための第４の視差画像を生成する。例えば、視差画像生成部１３５４は、第３の視差画像生成部１３５３により第３の視差画像が生成される場合に、第３の視差画像と同一の視差角にて第４の視差画像を生成する。
【００９５】
被検体の立体画像を立体表示するための９枚の視差画像すべてについて視差角が変更され、第３の視差画像生成部１３５３により９枚の第３の視差画像が生成される場合を用いて説明する。この場合、視差画像生成部１３５４は、変更後の視差角に基づいて、第１の視差画像により表示されるアノテーションを表示するための９枚の第４の視差画像を生成する。また、同様に、被検体の立体画像を立体表示するための９枚の視差画像の内一部の視差画像について視差角が変更された場合について説明する。この場合、視差画像生成部１３５４は、視差角が変更された第２の視差画像に重畳されていた第１の視差画像について、アノテーションを立体表示するための第４の視差画像を変更後の視差角に基づいて、生成する。
【００９６】
重畳視差画像生成部１３５５は、視差画像生成部１３５４により生成された第４の視差画像と第３の視差画像とが重畳された第２の重畳視差画像を生成する。その後、表示制御部１３５１は、重畳視差画像生成部１３５５により生成された第２の重畳視差画像を表示することで、視差角変更後における重畳立体画像を立体表示する。
【００９７】
（第１の実施形態による処理）
図９は、第１の実施形態による処理の流れの一例を示すフローチャートである。図９に示すように、制御部１３５では、第２の視差画像の視差角とは異なる視差角にて、被検体の立体画像を表示するための第３の視差画像が第３の視差画像生成部１３５３によって生成される場合に（ステップＳ１０１肯定）、視差画像生成部１３５４は、変更後の視差角に基づいてアノテーションの立体画像を表示するための第４の視差画像を生成する（ステップＳ１０２）。例えば、視差画像生成部１３５４は、ユーザによる変更指示があった場合や、「被検体の重心Ｃ２から被検体の輪郭までの距離」が「飛び出し臨界」を超えている場合に、変更後の視差角に基づいて第４の視差画像を生成する。
【００９８】
そして、重畳視差画像生成部１３５５は、視差画像生成部１３５４により生成された第４の視差画像と第３の視差画像とが重畳された第２の重畳視差画像を生成する（ステップＳ１０３）。
【００９９】
そして、表示制御部１３５１は、重畳視差画像生成部１３５５により生成された第２の重畳視差画像を表示することで、視差角変更後における重畳立体画像を立体表示する（ステップＳ１０４）。
【０１００】
（第１の実施形態による効果）
上述したように、第１の実施形態によれば、アノテーションの立体画像を表示するための第１の視差画像と、被検体の立体画像を表示するための第２の視差画像とが重畳された第１の重畳視差画像を表示することで、アノテーションの立体画像と被検体の立体画像とが重畳された重畳立体画像を立体表示する。また、第２の視差画像の視差角とは異なる視差角にて、被検体の立体画像を表示するための第３の視差画像が生成される場合に、変更後の視差角に基づいてアノテーションの立体画像を表示するための第４の視差画像を生成する。また、生成された第４の視差画像と第３の視差画像とが重畳された第２の重畳視差画像を生成する。また、生成した第２の重畳視差画像を表示することで、視差角変更後における重畳立体画像を立体表示する。この結果、立体画像の適切な位置にアノテーションを表示可能となる。すなわち、視差角が変更されたとしても、アノテーションと被検体との位置関係が変わることなく、立体画像の適切な位置にアノテーションを表示可能となる。
【０１０１】
また、第１の実施形態によれば、第２の視差画像の視差角を変更する変更指示をユーザから受け付けると、第３の視差画像を生成する。この結果、ユーザによる被検体の立体画像の視差角を変更する変更指示があった場合に、アノテーションと被検体との位置関係が変わることなく、立体画像の適切な位置にアノテーションを表示可能となる。
【０１０２】
また、第１の実施形態によれば、立体表示可能な飛び出し方向の臨界を示す飛び出し臨界内に、第２の視差画像を表示することで表示される被検体の立体画像が収まらない場合に、被検体を表示するための視差画像の視差角を変更され、変更後の視差角に基づいて、第３の視差画像を生成する。この結果、被検体の立体画像の視差角が自動的に変更されたとしても、アノテーションと被検体との位置関係が変わることなく、立体画像の適切な位置にアノテーションを表示可能となる。
【０１０３】
（第２の実施形態）
さて、上述した実施形態以外にも、その他の実施形態にて実施されても良い。そこで、以下では、その他の実施形態を示す。
【０１０４】
（マット型操作装置）
また、例えば、ユーザから情報の入力を受け付ける操作装置として、マット型の操作装置を用いても良い。図１０は、マット型の操作装置の一例を示す図である。図１０に示す例では、操作装置３０１は、立体画像を拡大する旨の指示を受け付ける操作部３０２と、立体画像を縮小する旨の指示を受け付ける操作部３０３と、立体画像を回転させる旨の指示を受け付ける操作部３０４〜操作部３０７とを有する。
【０１０５】
ここで、立体画像の視点位置を基準とする見かけ上の軸を「ｘ’、ｙ’、ｚ’」と定義した上で、操作部３０４〜操作部３０７により回転される方向の一例について説明する。操作部３０４は、立体画像のｙ’軸方向については変化させることなく、ｘ’軸方向における正の向きに立体画像を回転させる指示を受け付ける。すなわち、反時計回りに回転させる指示を受け付ける。操作部３０５は、立体画像のｙ’軸方向については変化させることなく、ｘ’軸方向における負の向きに立体画像を回転させる指示を受け付ける。すなわち、時計回りに回転させる指示を受け付ける。操作部３０６は、立体画像のｘ’軸方向については変化させることなく、ｙ’軸方向における正の向きに立体画像を回転させる指示を受け付ける。操作部３０７は、立体画像のｘ’軸方向については変化させることなく、ｙ’軸方向における負の向きに立体画像を回転させる指示を受け付ける。
【０１０６】
図１１は、マット型の操作装置の利用状況の一例を示す図である。図１１に示す例では、手術室にて操作装置３０１が利用される場合を示した。図１１に示す例では、操作装置３０１の利用者となる術者３０８は、操作装置３０１を足で操作することで、寝台３０９の上にいる患者３１０を手術しながら、３Ｄモニタ３１１に表示された患者３１０の立体画像を操作することが可能となる。
【０１０７】
（スライダー型操作装置）
また、例えば、操作装置として、スライダー型の操作装置３２１を用いても良い。図１２は、スライダー型の操作装置の一例を示す図である。図１２に示す例では、操作装置３２１は、スライダー３２２を有する。ここで、スライダー３２２は、体表面からのカッティング位置を決定するのに用いても良く、任意の指示を受け付けるのに用いられて良い。
【０１０８】
（メス型操作装置）
また、例えば、操作装置として、メス型の操作装置３３１を用いても良い。図１３−１は、メス型の操作装置の左側面の一例を示す図である。図１３−２は、メス型の操作装置の上面の一例を示す図である。図１３−３は、メス型の操作装置の右側面の一例を示す図である。
ここで、立体画像の視点位置を基準とする見かけ上の軸を「ｘ’、ｙ’、ｚ’」と定義した上で、メス型操作装置により受け付けられる指示の一例について説明する。
【０１０９】
図１３−１に示す例では、メス型の操作装置３３１は、左側面に、操作部３３６と操作部３３７とを有する。操作部３３６は、立体画像のｙ’軸方向については変化させることなく、ｘ’軸方向における正の向きに立体画像を回転させる指示を受け付ける。すなわち、反時計回りに回転させる指示を受け付ける。操作部３３７は、立体画像のｙ’軸方向については変化させることなく、ｘ’軸方向における負の向きに立体画像を回転させる指示を受け付ける。すなわち、時計回りに回転させる指示を受け付ける。
【０１１０】
図１３−２に示す例では、メス型の操作装置３３１は、上部に、操作部３３４と操作部３３３とを有する。操作部３３４は、立体画像のｘ’軸方向については変化させることなく、ｚ’軸方向における正の向きに立体画像を回転させる指示を受け付ける。操作部３３５は、立体画像のｘ’軸方向については変化させることなく、ｚ’軸方向における負の向きに立体画像を回転させる指示を受け付ける。
【０１１１】
図１３−３に示す例では、メス型の操作装置３３１は、右側面に、操作部３３２と操作部３３３とを有する。操作部３３２は、立体画像を拡大する旨の指示を受け付ける。操作部３３３は、立体画像を縮小する旨の指示を受け付ける。
【０１１２】
なお、図１３−１〜図１３−３に示す例では、メス型の操作装置３３１が、操作部３３２と操作部３３３とを右側面に有し、上部に操作部３３４と操作部３３５とを有し、操作部３３６と操作部３３７とを左側面に有する場合を示した。ただし、これに限定されるものではなく、メス型の操作装置３３１は、任意の操作を受け付ける任意の操作部を任意の側面に有して良い。例えば、メス型の操作装置３３１は、操作部３３２〜操作部３３５を右側面に有しても良い。
【０１１３】
図１４は、メス型の操作装置の利用状況の一例を示す図である。図１４に示す例では、手術室やシミュレーションにて操作装置３３１が利用される場合を示した。図１４に示す例では、操作装置３３１の利用者となる術者３０８は、メス型の操作装置３３１を用いて寝台３０９の上にいる患者３１０を手術しながら、３Ｄモニタ３１１に表示された患者３１０の立体画像をメス型の操作装置３３１を用いて操作することが可能となる。
【０１１４】
［利用者の動きに対応付けられた操作内容］
また、例えば、操作装置は、利用者の動きに対応付けられた操作内容を受け付けても良い。図１５は、利用者の動きに対応付けられた操作内容を受け付けるメス型の操作装置の一例を示す図である。図１５に示すように、メス型の操作装置３４１は、位置センサ３４２と操作部３４３とを有する。メス型の操作装置３４１の位置センサ３４２は、例えば、加速度センサや位置センサなどが該当する。位置センサ３４２は、操作部３４３が押されている間、操作装置３４１を利用者がどのように動かしたかを監視する。ここで、メス型の操作装置３４１は、位置センサ３４２により監視された動きに対応付けられた操作内容を受け付ける。例えば、操作部３４３は、動きと操作内容とが対応付けられた記憶部を有し、位置センサ３４２による監視結果となる動きに対応付けられた操作内容を記憶部から取得することで、利用者からの操作内容を受け付ける。ただし、これに限定されるものではなく、操作部３４３は、位置センサ３４２による監視結果そのものを端末装置１４０やワークステーション１３０に出力しても良い。この場合、端末装置１４０やワークステーション１３０が、動きと操作内容とが対応付けられた記憶部を有することになる。
【０１１５】
図１６−１〜図１６−６は、利用者による操作装置の動きの一例を示す図である。立体画像の視点位置を基準とする見かけ上の軸を「ｘ’、ｙ’、ｚ’」と定義した上で説明する。図１６−１に示す例では、メス型の操作装置３４１は、利用者により水平方向に弧を描くように動かされると、図１６−２に示すように、立体画像を水平方向に回転させる指示を受け付ける。言い換えると、メス型の操作装置３４１は、水平面上において回転するように操作部３４３が動かされると、反時計回りに回転させる指示を受け付ける。
【０１１６】
また、図１６−３に示す例では、メス型の操作装置３４１は、利用者により垂直方向に弧を描くように動かされると、図１６−４に示すように、立体画像を垂直回転させる指示を受け付ける。言い換えると、メス型の操作装置３４１は、垂直面上において回転するように操作部３４３が動かされると、立体画像のｘ’軸方向については変化させることなく、ｙ’軸方向における正の向きに立体画像を回転させる指示を受け付ける。
【０１１７】
また、図１６−５に示す例では、メス型の操作装置３４１は、利用者により平行に動かされると、図１６−６に示すように、立体画像を利用者に動かされた方向に立体画像を動かす指示を受け付ける。
【０１１８】
なお、上述の説明では、操作部３４３が押されている間、利用者の動きを監視する場合を示したが、これに限定されるものではない。例えば、操作装置３４１は、操作部３４３が押された後一定期間監視しても良い。
【０１１９】
また、例えば、利用者の動きに対応付けられた操作内容を受け付ける操作装置は、メス型の操作装置に限定されるものではなく、手袋型の操作装置であっても良く、スティック型の操作装置であっても良く、任意の形状であって良い。また、例えば、操作部と操作装置が離れていても良い。より詳細な一例をあげて説明すると、操作部を足元のフットスイッチとし、操作装置と分けても良い。
【０１２０】
また、上述の説明では、操作装置が、利用者の動きを監視する場合を用いて説明したが、これに限定されるものではない。例えば、操作装置とは別途設けられた監視カメラが、操作装置の動きを監視することで、操作装置の動きに対応する操作内容を受け付けても良い。この場合、監視カメラは、操作装置の動きに対応する操作内容を端末装置１４０やワークステーション１３０に送信する。なお、この場合、監視カメラと、端末装置１４０やワークステーション１３０と統合して一つの装置としても良い。
【０１２１】
［監視カメラ］
また、例えば、操作内容を受け付ける操作装置としての監視カメラが、利用者の動きを監視し、利用者の動きに対応する操作内容を受け付けても良い。言い換えると、利用者による操作装置の動きではなく、利用者自身の動きを用いて、操作内容を受け付けても良い。例えば、監視カメラは、利用者の手の動きや足の動き、頭の動き、目の動きなどを監視し、利用者の動きに対応する操作内容を受け付ける。
【０１２２】
図１７−１〜図１７−６は、利用者の手の動きに対応付けられた操作内容の一例を示す図である。図１７−１に示す例では、監視カメラは、利用者が指を左右に動かした場合に、図１７−２に示すように、立体画像を水平方向に回転させる指示を受け付ける。また、図１７−３に示す例では、監視カメラは、利用者が指を上下に動かした場合に、図１７−４に示すように、立体画像を垂直方向に回転させる指示を受け付ける。また、図１７−５に示す例では、監視カメラは、指をｘ’ｙ’平面にて回転させる動きを利用者がした場合に、図１７−６に示すように、立体画像をｘ’ｙ’平面にて回転させる指示を受け付ける。
【０１２３】
［音声］
また、例えば、操作装置は、利用者の音声を音声認識することで、操作内容を受け付けても良い。例えば、操作装置は、利用者の音声を収集するマイクを有し、収集された音声を音声認識することで、利用者による操作内容を受け付ける。ここで、操作装置は、マット型の操作装置を併せて用いることで、マット型の操作装置の操作部が押されている間、利用者の音声を音声認識することで操作内容を受け付けても良い。
【０１２４】
図１８は、利用者の音声を音声認識することで、操作内容を受け付ける場合の利用状況の一例を示す図である。図１８に示す例では、マット型の操作装置３５１がマイクを有する場合を用いて説明する。図１８に示す例では、手術室にて操作装置３５１が利用される場合を示した。図１８に示す例では、操作装置３５１の利用者となる術者３０８は、マット型の操作装置３５１のボタンを押しながら操作内容を言うことで、寝台３０９の上にいる患者３１０を手術しながら、３Ｄモニタ３１１に表示された患者３１０の立体画像を操作することが可能となる。図１８に示す例では、術者３０８が、拡大する旨の指示である「回転」と言う場合を示した。
【０１２５】
（感度操作部）
例えば、入力部１３１などの利用者から操作される操作装置は、操作部の感度を調整するための操作を利用者から受け付ける感度操作部を有しても良い。例えば、操作部の感度を調整するための操作を利用者から受け付ける感度操作部をメス型の操作装置に設けても良く、スライダー型の操作装置に設けても良く、任意の装置に設けて良い。
【０１２６】
［３Ｄモニタ］
図１９は、メガネ型の３Ｄモニタを用いる場合を示す図である。図１９に示すように、立体画像表示装置をメガネ型としても良い。この場合、視点の移動を減らすことが可能となる。すなわち、メガネ型の３Ｄモニタ３６１を装着する術者３０８は、寝台３０９の上にいる患者３１０に視線を送りながら、３Ｄモニタ３１１に表示された患者３１０の立体画像を確認することが可能となる。
【０１２７】
［動きの速度］
例えば、利用者による操作装置の動きや利用者の動きに応じた操作内容を受け付ける場合には、利用者の動きの速度や操作装置の動きの速度に応じて、受け付ける操作内容の速度を変更しても良い。例えば、メス型の操作装置が水平に移動されることで、立体画像を水平方向に移動する操作内容を受け付ける場合を例に説明する。この場合、メス型の操作装置が早く移動されればされるほど、立体画像を早く移動させる操作指示として受け付ける。
【０１２８】
また、例えば、立体画像を移動したり回転したりする操作を受け付けた場合には、利用者により別の操作内容を受け付けるまで、立体画像を移動し続けたり回転し続けたりしても良い。
【０１２９】
［立体画像に対する動きの反映］
操作装置により、関心領域の設定を受け付ける手法の一例について説明した上で、操作装置に対する動きを立体画像に反映する場合について説明する。例えば、ワークステーション１３０は、関心領域の設定を受け付けるための処理を開始する旨の指示を利用者から受け付けると、任意の座標や任意の関心領域が表示された立体画像を表示するための視差画像を生成させるレンダリング条件をレンダリング処理部１３６に出力し、レンダリング処理部１３６により生成された視差画像を立体表示モニタに表示させる。つまり、ワークステーション１３０は、任意の座標が表示された立体画像、又は、任意の領域が関心領域として表示された立体画像を立体表示モニタが表示するように制御する。その上で、ワークステーション１３０は、任意の座標の位置を変更する操作や、立体画像における関心領域の位置や形状を変更する操作を受け付けると、受け付けた操作内容が反映された立体画像を表示するための視差画像を生成させるレンダリング条件をレンダリング処理部１３６に出力し、レンダリング処理部１３６により生成された視差画像を立体表示モニタに表示させる。その後、入力部１３１は、決定する操作を利用者から受け付けると、受け付けた時点における座標の設定又は関心領域の設定を受け付ける。ただし、上述した関心領域の設定の受け付け処理は一例であり、これに限定されるものではなく、任意の手法にて関心領域の設定を受け付けて良い。
【０１３０】
ここで、選択された座標や関心領域を示すポインタに３次元の形状を保持させることで、操作装置の動きを立体画像に反映しても良い。例えば、操作装置がひねられた場合には、ワークステーション１３０は、ひねられた形状となるポインタが表示される立体画像を表示するための視差画像を生成しても良い。また、操作装置が手前方向に動かされた場合には、短くなったポインタが表示される立体画像を表示するための視差画像を生成しても良い。また、操作装置が奥に向けて動かされた場合には、長くなったポインタが表示される立体画像を表示するための視差画像を生成しても良い。このように、ポインタの形状や長さ、向きを操作装置の動きに連動して変更することで、操作装置に対する操作内容を立体画像において簡単に把握することが可能となる。
【０１３１】
この結果、臨床上、他者に関心領域を指し示して何かを説明したい場合に非常に有用となる。例えば、術前のプランニングにおいて、アプローチの方向やメスなどの動きの説明が容易となる。また、ポインタの長さにより奥行きの深さが表されることとなり、ポインタの位置を直感的に把握可能となる。
【０１３２】
［透過性］
また、例えば、立体画像にポインタが表示されている場合に、ワークステーション１３０は、ポインタより手前側に位置する被検体の部分に透過性を持たせても良い。言い換えると、ポインタよりも手前の被検体が透過性を有する立体画像を表示するための視差画像を生成しても良い。
【０１３３】
また、例えば、立体画像にポインタが表示されている場合に、ワークステーション１３０は、ポインタから所定の範囲内にある被検体の部分と、ポインタから所定の範囲外にある被検体の部分とが区別可能となる立体画像を表示するための視差画像を生成しても良い。例えば、ポインタから所定の範囲内にある被検体の部分が明確に利用者により表示される一方、ポインタから所定の範囲外にある被検体の部分については、透過性を有するようにすることで利用者にぼやけて表示されるようにしても良い。この結果、利用者が関心領域に集中することが可能となる。
【０１３４】
［ポインタの位置］
また、例えば、立体画像にポインタとグリッドとが表示されている場合、ワークステーション１３０は、グリッドの内、ポインタに対応する位置が他の位置と区別可能となる立体画像を表示するための視差画像を生成しても良い。例えば、グリッドの内、ポインタに対応する位置に色を付けても良い。
【０１３５】
図２０は、立体画像にポインタとグリッドとが表示されている立体画像の一例を示す図である。図２０に示すように、ワークステーション１３０は、ポインタに対応する半透明のグリッド３７１が表示される立体画像を表示するための視差画像を生成しても良い。
【０１３６】
［重畳視差画像］
また、例えば、上述した実施形態では、アノテーションの立体画像を表示するための視差画像と、被検体の立体画像を表示するための視差画像とが重畳された重畳視差画像が表示されることで、立体画像が立体表示される場合を用いて説明した。ここで、重畳視差画像には、アノテーションの立体画像を表示するための視差画像が一つ又は複数重畳されていても良く、被検体の立体画像を表示するための視差画像が一つ又は複数重畳されても良い。
【０１３７】
また、例えば、上述した実施形態では、アノテーションの立体画像を表示するための視差画像がオーバーレイ画像となる場合について説明したが、これに限定されるものではなく、被検体の立体画像を表示するための視差画像がオーバーレイ画像となっても良い。
【０１３８】
［システム構成］
また、本実施形態において説明した各処理の内、自動的に行われるものとして説明した処理の全部又は一部を手動的に行うこともでき、或いは、手動的に行われるものとして説明した処理の全部又は一部を公知の方法で自動的に行うこともできる。この他、上述文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報（図１〜１５）については、特記する場合を除いて任意に変更することができる。
【０１３９】
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。例えば、ワークステーション１３０の制御部１３５をワークステーション１３０の外部装置としてネットワーク経由で接続するようにしても良い。
【０１４０】
［その他］
なお、本実施形態で説明した画像処理プログラムは、インターネットなどのネットワークを介して配布することができる。また、画像処理プログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ブルーレイなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することもできる。
【０１４１】
［実施形態の効果］
以上述べた少なくとも一つの実施形態の画像処理装置によれば、アノテーションの立体画像を表示するための第１の視差画像と、被検体の立体画像を表示するための第２の視差画像とが重畳された第１の重畳視差画像を表示することで、アノテーションの立体画像と被検体の立体画像とが重畳された重畳立体画像を立体表示する。また、第２の視差画像の視差角とは異なる視差角にて、被検体の立体画像を表示するための第３の視差画像が生成される場合に、変更後の視差角に基づいてアノテーションの立体画像を表示するための第４の視差画像を生成する。生成した第４の視差画像と第３の視差画像とが重畳された第２の重畳視差画像を生成し、第２の重畳視差画像を表示することで、視差角変更後における重畳立体画像を立体表示する。この結果、立体画像の適切な位置にアノテーションを表示可能となる。
【０１４２】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【０１４３】
１１０ 医用画像診断装置
１２０ 画像保管装置
１３０ ワークステーション
１３５ 制御部
【技術分野】
【０００１】
本発明の実施形態は、画像処理装置、画像処理方法、画像処理システム及び医用画像診断装置に関する。
【背景技術】
【０００２】
従来、２つの視点から撮影された２つの視差画像をモニタに表示することで、立体視用メガネ等の専用機器を用いた利用者に立体画像を表示する技術がある。また、近年、レンチキュラーレンズ等の光線制御子を用いて、複数の視点から撮影された多視差画像（例えば、９つの視差画像）をモニタに表示することで、裸眼の利用者に立体画像を表示する技術がある。
【０００３】
また、Ｘ線ＣＴ（Computed Tomography）装置やＭＲＩ（Magnetic Resonance Imaging）装置、超音波診断装置等の医用画像診断装置には、３次元の医用画像（以下、ボリュームデータ）を生成可能な装置がある。また、医用画像診断装置は、ボリュームデータに対して種々の画像処理を実行することで表示用の平面画像を生成し、汎用モニタ上に表示する。例えば、医用画像診断装置は、ボリュームデータに対してボリュームレンダリング処理を実行することで、被検体についての３次元の情報が反映された任意の断面についての平面画像を生成し、生成した平面画像を汎用モニタ上に表示する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−８６４１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明が解決しようとする課題は、立体画像の適切な位置にアノテーションを表示可能となる画像処理装置、画像処理方法、画像処理システム及び医用画像診断装置を提供することである。
【課題を解決するための手段】
【０００６】
実施形態の画像処理装置は、表示制御部と、視差画像生成部と、重畳視差画像生成部とを備える。表示制御部は、アノテーションの立体画像を表示するための第１の視差画像と、被検体の立体画像を表示するための第２の視差画像とが重畳された第１の重畳視差画像を表示することで、該アノテーションの立体画像と該被検体の立体画像とが重畳された重畳立体画像を立体表示する。視差画像生成部は、前記第２の視差画像の視差角とは異なる視差角にて、前記被検体の立体画像を表示するための第３の視差画像が生成される場合に、変更後の視差角に基づいて前記アノテーションの立体画像を表示するための第４の視差画像を生成する。重畳視差画像生成部は、前記視差画像生成部により生成された第４の視差画像と前記第３の視差画像とが重畳された第２の重畳視差画像を生成する。また、表示制御部は、前記重畳視差画像生成部により生成された第２の重畳視差画像を表示することで、視差角変更後における重畳立体画像を立体表示する。
【図面の簡単な説明】
【０００７】
【図１】図１は、第１の実施形態における画像処理システムの構成例を説明するための図である。
【図２】図２は、２視差画像により立体表示を行う立体表示モニタの一例を説明するための図である。
【図３】図３は、９視差画像により立体表示を行う立体表示モニタの一例を説明するための図である。
【図４】図４は、第１の実施形態におけるワークステーションの構成例を説明するための図である。
【図５】図５は、図４に示すレンダリング処理部の構成例を説明するための図である。
【図６】図６は、第１の実施形態におけるボリュームレンダリング処理の一例を説明するための図である。
【図７】図７は、第１の実施形態における制御部の構成の一例を示す図である。
【図８−１】図８−１は、モニタを縦方向から見た図である。
【図８−２】図８−２は、飛び出し臨界を超えない場合について示す図である。
【図８−３】図８−３は、飛び出し臨界を超えてボケてしまう部分について示す図である。
【図９】図９は、第１の実施形態による処理の流れの一例を示すフローチャートである。
【図１０】図１０は、マット型の操作装置の一例を示す図である。
【図１１】図１１は、マット型の操作装置の利用状況の一例を示す図である。
【図１２】図１２は、スライダー型の操作装置の一例を示す図である。
【図１３−１】図１３−１は、メス型の操作装置の右側面の一例を示す図である。
【図１３−２】図１３−２は、メス型の操作装置の上面の一例を示す図である。
【図１３−３】図１３−３は、メス型の操作装置の左側面の一例を示す図である。
【図１４】図１４は、メス型の操作装置の利用状況の一例を示す図である。
【図１５】図１５は、利用者の動きに対応付けられた操作内容を受け付けるメス型の操作装置の一例を示す図である。
【図１６−１】図１６−１は、利用者による操作装置の動きの一例を示す図である。
【図１６−２】図１６−２は、利用者による操作装置の動きの一例を示す図である。
【図１６−３】図１６−３は、利用者による操作装置の動きの一例を示す図である。
【図１６−４】図１６−４は、利用者による操作装置の動きの一例を示す図である。
【図１６−５】図１６−５は、利用者による操作装置の動きの一例を示す図である。
【図１６−６】図１６−６は、利用者による操作装置の動きの一例を示す図である。
【図１７−１】図１７−１は、利用者の手の動きに対応付けられた操作内容の一例を示す図である。
【図１７−２】図１７−２は、利用者の手の動きに対応付けられた操作内容の一例を示す図である。
【図１７−３】図１７−３は、利用者の手の動きに対応付けられた操作内容の一例を示す図である。
【図１７−４】図１７−４は、利用者の手の動きに対応付けられた操作内容の一例を示す図である。
【図１７−５】図１７−５は、利用者の手の動きに対応付けられた操作内容の一例を示す図である。
【図１７−６】図１７−６は、利用者の手の動きに対応付けられた操作内容の一例を示す図である。
【図１８】図１８は、利用者の音声を音声認識することで、操作内容を受け付ける場合の利用状況の一例を示す図である。
【図１９】図１９は、メガネ型の３Ｄモニタを用いる場合を示す図である。
【図２０】図２０は、立体画像にポインタとグリッドとが表示されている立体画像の一例を示す図である。
【発明を実施するための形態】
【０００８】
以下、添付図面を参照して、画像処理装置、画像処理方法、画像処理システム及び医用画像診断装置の実施形態を詳細に説明する。なお、以下では、画像処理装置としての機能を有するワークステーションを含む画像処理システムを実施形態として説明する。
【０００９】
（第１の実施形態）
まず、第１の実施形態における画像処理装置を有する画像処理システムの構成例について説明する。図１は、第１の実施形態における画像処理システムの構成例を説明するための図である。
【００１０】
図１に示すように、第１の実施形態における画像処理システム１は、医用画像診断装置１１０と、画像保管装置１２０と、ワークステーション１３０と、端末装置１４０とを有する。図１に例示する各装置は、例えば、病院内に設置された院内ＬＡＮ（Local Area Network）２により、直接的、又は間接的に相互に通信可能な状態となる。例えば、画像処理システム１にＰＡＣＳ（Picture Archiving and Communication System）が導入されている場合、各装置は、ＤＩＣＯＭ（Digital Imaging and Communications in Medicine）規格に則って、医用画像等を相互に送受信する。
【００１１】
画像処理システム１は、医用画像診断装置１１０により生成されたボリュームデータに基づいて、立体画像を表示するための視差画像を生成し、立体画像を表示可能なモニタに生成した視差画像を表示することで、病院内に勤務する医師や検査技師に立体画像を提供する。
【００１２】
ここで、「立体画像」は、複数の視点から撮影された視差角の異なる複数の視差画像を表示することで利用者に表示される。言い換えると、「視差画像」は、複数の視点から撮影された視差角の異なる画像であって、利用者に立体画像を表示するための画像である。また、立体画像を表示するための視差画像は、例えば、ボリュームデータに対してボリュームレンダリング処理を行うことで生成される。また、「視差数」とは、立体表示モニタにて立体視されるために必要となる「視差画像」の数を示す。また、「視差角」とは、視差画像各々の視点の位置各々の間隔とボリュームデータの位置とにより定まる角度のことである。
【００１３】
以下に詳細に説明するように、第１の実施形態においては、ワークステーション１３０が、ボリュームデータに対して種々の画像処理を行い、立体画像を表示するための視差画像を生成する。また、ワークステーション１３０及び端末装置１４０は、立体画像を表示可能なモニタを有し、ワークステーション１３０にて生成された視差画像をモニタに表示することで立体画像を利用者に表示する。また、画像保管装置１２０は、医用画像診断装置１１０にて生成されたボリュームデータや、ワークステーション１３０にて生成された視差画像を保管する。例えば、ワークステーション１３０や端末装置１４０は、画像保管装置１２０からボリュームデータや視差画像を取得し、取得したボリュームデータや視差画像に対して任意の画像処理を実行したり、視差画像をモニタに表示したりする。
【００１４】
医用画像診断装置１１０は、Ｘ線診断装置、Ｘ線ＣＴ（Computed Tomography）装置、ＭＲＩ（Magnetic Resonance Imaging）装置、超音波診断装置、ＳＰＥＣＴ（Single Photon Emission Computed Tomography）装置、ＰＥＴ（Positron Emission Tomography）装置、ＳＰＥＣＴ装置とＸ線ＣＴ装置とが一体化されたＳＰＥＣＴ−ＣＴ装置、ＰＥＴ装置とＸ線ＣＴ装置とが一体化されたＰＥＴ−ＣＴ装置、又はこれらの装置群等である。また、医用画像診断装置１１０は、ボリュームデータを生成する。
【００１５】
具体的には、第１の実施形態における医用画像診断装置１１０は、被検体を撮影することによりボリュームデータを生成する。例えば、医用画像診断装置１１０は、被検体を撮影することにより投影データやＭＲ信号等のデータを収集する。そして、医用画像診断装置１１０は、収集したデータに基づいて被検体の体軸方向に沿った複数のアキシャル面の医用画像を再構成することで、ボリュームデータを生成する。例えば、医用画像診断装置１１０が、５００枚のアキシャル面の医用画像を再構成した場合を用いて説明する。この場合、医用画像診断装置１１０により再構成された５００枚のアキシャル面の医用画像群がボリュームデータとなる。なお、医用画像診断装置１１０により撮影された被検体の投影データやＭＲ信号等自体をボリュームデータとしても良い。
【００１６】
また、医用画像診断装置１１０は、ボリュームデータを画像保管装置１２０に送信する。なお、医用画像診断装置１１０は、ボリュームデータを画像保管装置１２０に送信する際に、付帯情報として、例えば、患者を識別する患者ＩＤ、検査を識別する検査ＩＤ、医用画像診断装置１１０を識別する装置ＩＤ、医用画像診断装置１１０による１回の撮影を識別するシリーズＩＤ等を送信する。
【００１７】
画像保管装置１２０は、医用画像を保管するデータベースである。具体的には、画像保管装置１２０は、医用画像診断装置１１０からボリュームデータを受信し、受信したボリュームデータを所定の記憶部に保管する。また、画像保管装置１２０は、ワークステーション１３０によってボリュームデータから生成された視差画像を受信し、受信した視差画像を所定の記憶部に保管する。なお、画像保管装置１２０とワークステーション１３０とを統合して一つの装置としても良い。
【００１８】
なお、第１の実施形態において、画像保管装置１２０に保管されたボリュームデータや視差画像は、患者ＩＤ、検査ＩＤ、装置ＩＤ、シリーズＩＤ等と対応付けて保管される。このため、ワークステーション１３０や端末装置１４０は、患者ＩＤ、検査ＩＤ、装置ＩＤ、シリーズＩＤ等を用いた検索を行うことで、必要なボリュームデータや視差画像を画像保管装置１２０から取得する。なお、画像保管装置１２０とワークステーション１３０とを統合して一つの装置としても良い。
【００１９】
ワークステーション１３０は、医用画像に対して画像処理を行う画像処理装置である。具体的には、ワークステーション１３０は、画像保管装置１２０からボリュームデータを取得する。そして、ワークステーション１３０は、取得したボリュームデータに対して種々のレンダリング処理を行うことで、立体画像を表示するための視差画像を生成する。例えば、ワークステーション１３０は、２視差の立体画像を利用者に表示する場合には、視差角が異なる２つの視差画像を生成する。また、例えば、ワークステーション１３０は、９視差の立体画像を利用者に表示する場合には、視差角が異なる９つの視差画像を生成する。
【００２０】
また、ワークステーション１３０は、表示部として、立体画像を表示可能なモニタ（立体表示モニタ、立体画像表示装置とも称する）を有する。ワークステーション１３０は、視差画像を生成し、生成した視差画像を立体表示モニタに表示することで、利用者に立体画像を表示する。この結果、ワークステーション１３０の利用者は、立体表示モニタに表示された立体画像を確認しながら、視差画像を生成するための操作を行うことが可能となる。
【００２１】
また、ワークステーション１３０は、生成した視差画像を画像保管装置１２０や端末装置１４０に送信する。なお、ワークステーション１３０は、画像保管装置１２０や端末装置１４０に視差画像を送信する際に、付帯情報として、例えば、患者ＩＤ、検査ＩＤ、装置ＩＤ、シリーズＩＤ等を併せて送信する。この際、ワークステーション１３０は、モニタの解像度は様々であることを踏まえ、視差画像の枚数や解像度を併せて送信しても良い。解像度とは、例えば、「466画素×350画素」などが該当する。
【００２２】
ここで、第１の実施形態におけるワークステーション１３０は、アノテーションの立体画像を表示するための第１の視差画像と、被検体の立体画像を表示するための第２の視差画像とが重畳された第１の重畳視差画像を表示することで、アノテーションの立体画像と被検体の立体画像とが重畳された重畳立体画像を立体表示する。また、ワークステーション１３０は、第２の視差画像の視差角とは異なる視差角にて、被検体の立体画像を表示するための第３の視差画像が生成される場合に、変更後の視差角に基づいてアノテーションの立体画像を表示するための第４の視差画像を生成する。また、ワークステーション１３０は、生成した第４の視差画像と第３の視差画像とが重畳された第２の重畳視差画像を生成する。また、ワークステーション１３０は、生成した第２の重畳視差画像を表示することで、視差角変更後における重畳立体画像を立体表示する。この結果、立体画像の適切な位置にアノテーションを表示可能となる。すなわち、被検体の立体画像の視差角が変更されたとしても、アノテーションと被検体との位置関係が変わっていない立体画像を表示可能となる。
【００２３】
図１の説明に戻る。端末装置１４０は、病院内に勤務する医師や検査技師に医用画像を閲覧させる端末である。具体的には、端末装置１４０は、表示部として立体表示モニタを有する。また、端末装置１４０は、画像保管装置１２０から視差画像を取得し、取得した視差画像を立体表示モニタに表示することで、立体画像を利用者に表示する。また、例えば、端末装置１４０は、ワークステーション１３０から視差画像を受信すると、受信した視差画像を立体表示モニタに表示することで、立体画像を利用者に表示する。この結果、利用者である医師や検査技師は、立体視可能な医用画像を閲覧することができる。端末装置１４０は、例えば、立体表示モニタを有する汎用ＰＣ（Personal Computer）やタブレット端末、携帯電話などが該当する。また、端末装置１４０は、例えば、外部装置としての立体表示モニタと接続された任意の情報処理端末が該当する。
【００２４】
ここで、ワークステーション１３０や端末装置１４０が有する立体表示モニタについて説明する。立体表示モニタとしては、例えば、２つの視差画像を表示することで、立体視用メガネ等の専用機器を装着した利用者に２視差の立体画像（両眼視差画像）を表示するものがある。
【００２５】
図２は、２視差画像により立体表示を行う立体表示モニタの一例を説明するための図である。図２に示す一例は、シャッター方式により立体表示を行う立体表示モニタを例に示した。図２に示す例では、モニタを観察する利用者は、立体視用メガネとしてシャッターメガネを装着する。図２に示す例では、立体表示モニタは、２つの視差画像を交互に出射する。例えば、図２の（Ａ）に示す立体表示モニタは、左目用の視差画像と右目用の視差画像とを１２０Ｈｚにて交互に出射する。また、立体表示モニタは、図２の（Ａ）に示すように、赤外線出射部が設置され、赤外線出射部が、視差画像が切り替わるタイミングに合わせて赤外線の出射を制御する。
【００２６】
また、図２の（Ａ）に示すように、シャッターメガネの赤外線受光部は、赤外線出射部により出射された赤外線を受光する。シャッターメガネの左右それぞれの枠には、シャッターが取り付けられており、シャッターメガネは、赤外線受光部が赤外線を受光したタイミングに合わせて左右のシャッターそれぞれの透過状態及び遮光状態を交互に切り替える。
【００２７】
ここで、シャッターメガネのシャッターにおける透過状態及び遮光状態の切り替え処理について説明する。シャッターは、図２の（Ｂ）に示すように、入射側の偏光板と出射側の偏光板とを有し、更に、入射側の偏光板と出射側の偏光板との間に液晶層を有する。また、入射側の偏光板と出射側の偏光板とは、図２の（Ｂ）に示すように、互いに直交している。ここで、図２の（Ｂ）に示すように、電圧が印加されていない「ＯＦＦ」の状態では、入射側の偏光板を通った光は、液晶層の作用により９０度回転し、出射側の偏光板を透過する。すなわち、電圧が印加されていないシャッターは、透過状態となる。
【００２８】
一方、図２の（Ｂ）に示すように、電圧が印加された「ＯＮ」の状態では、液晶層の液晶分子による偏光回転作用が消失するため、入射側の偏光板を通った光は、出射側の偏光板で遮られてしまう。すなわち、電圧が印加されたシャッターは、遮光状態となる。
【００２９】
このことを踏まえ、立体表示モニタの赤外線出射部は、例えば、モニタ上に左目用の画像が表示されている期間、赤外線を出射する。そして、シャッターメガネの赤外線受光部は、赤外線を受光している期間、左目のシャッターに電圧を印加せず、右目のシャッターに電圧を印加させる。これにより、図２の（Ａ）に示すように、右目のシャッターが遮光状態となり、左目のシャッターが透過状態となる結果、利用者の左目にのみ左目用の画像が入射する。一方、立体表示モニタの赤外線出射部は、例えば、モニタ上に右目用の画像が表示されている期間、赤外線の出射を停止する。そして、シャッターメガネの赤外線受光部は、赤外線が受光されない期間、右目のシャッターに電圧を印加せず、左目のシャッターに電圧を印加させる。これにより、左目のシャッターが遮光状態となり、右目のシャッターが透過状態となる結果、利用者の右目にのみ右目用の画像が入射する。このように、図２に示す立体表示モニタは、モニタに表示される画像とシャッターの状態を連動させて切り替えることで、立体画像を利用者に表示する。
【００３０】
また、立体表示モニタとしては、レンチキュラーレンズ等の光線制御子を用いることで、例えば、９視差の立体画像を利用者が裸眼の利用者に表示するものもある。この場合、立体表示モニタは、両眼視差による立体視を可能とし、更に、利用者の視点移動に合わせて利用者によって観察される映像が変化する運動視差を有する立体画像を表示可能となる。
【００３１】
図３は、９視差画像により立体表示を行う立体表示モニタの一例を説明するための図である。図３に示す立体表示モニタは、液晶パネル等の平面状の表示面２００の前面に、光線制御子が配置される。例えば、図３に示す立体表示モニタは、光線制御子として、光学開口が垂直方向に延びる垂直レンチキュラーレンズ２０１が表示面２００の前面に貼り付けられる。なお、図３に示す一例では、垂直レンチキュラーレンズ２０１の凸部が前面となるように貼り付けられているが、垂直レンチキュラーレンズ２０１の凸部が表示面２００に対向するように貼り付けられる場合であっても良い。
【００３２】
図３に示す例では、表示面２００は、縦横比が３：１であり、縦方向にサブ画素である赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３つが配置された画素２０２がマトリクス状に配置される。図３に示す例では、立体表示モニタは、視差角が異なる９つの視差画像を所定フォーマット（例えば格子状）に配置した上で、表示面２００に出力する。すなわち、図３に示す立体表示モニタは、視差角が異なる９つの視差画像において同一位置にある９つの画素それぞれが、９列の画素２０２それぞれに割り振られた中間画像を表示する。９列の画素２０２は、視差角の異なる９つの画像を同時に表示する単位画素群２０３となる。なお、図３に示す例では、中間画像が格子状となる場合を示したが、これに限定されるものではなく、任意の形状であって良い。
【００３３】
表示面２００において単位画素群２０３として同時に出力された視差角が異なる９つの視差画像は、例えば、ＬＥＤ（Light Emitting Diode）バックライトにより平行光として放射され、更に、垂直レンチキュラーレンズ２０１により、多方向に放射される。９つの視差画像の各画素の光が多方向に放射されることにより、利用者の右目及び左目に入射する光は、利用者の位置（視点の位置）に連動して変化する。すなわち、利用者の見る角度により、右目に入射する視差画像と左目に入射する視差画像とは、視差角が異なる視差画像となる。この結果、利用者は、例えば、図３に示す９つの位置それぞれにおいて、異なる視野角から撮影対象を見る立体画像を視認できる。また、利用者は、例えば、図３に示す「５」の位置において、撮影対象に対して正対した状態で立体的に視認できるとともに、図３に示す「５」以外それぞれの位置において、撮影対象の向きを変化させた状態で立体的に視認できる。なお、図３に示す例では一例であり、これに限定されるものではない。例えば、図３に示す例では、横ストライプ（RRR…、GGG…、BBB…）液晶と縦レンズとの組み合わせを用いた場合を例に示したが、これに限定されるものではなく、例えば、縦ストライプ（RGBRGB…）液晶と斜めレンズとの組み合わせを用いても良い。
【００３４】
ここまで、第１の実施形態における画像処理システム１の構成例について簡単に説明した。なお、上述した画像処理システム１は、ＰＡＣＳが導入されている場合にその適用が限られるものではない。例えば、画像処理システム１は、医用画像が添付された電子カルテを管理する電子カルテシステムが導入されている場合にも、同様に適用しても良い。この場合、画像保管装置１２０は、電子カルテを保管するデータベースとなる。また、例えば、画像処理システム１は、ＨＩＳ（Hospital Information System）、ＲＩＳ（Radiology Information System）が導入されている場合にも、同様に適用しても良い。また、画像処理システム１は、上述した構成例に限られるものではない。各装置が有する機能やその分担は、運用の形態に応じて適宜変更しても良い。
【００３５】
次に、第１の実施形態におけるワークステーション１３０の構成例について図４を用いて説明する。図４は、第１の実施形態におけるワークステーションの構成例を説明するための図である。
【００３６】
ワークステーション１３０は、画像処理等に適した高性能なコンピュータである。図４に示す例では、ワークステーション１３０は、入力部１３１と、表示部１３２と、通信部１３３と、記憶部１３４と、制御部１３５と、レンダリング処理部１３６とを有する。なお、以下では、ワークステーション１３０が画像処理等に適した高性能なコンピュータである場合を用いて説明するが、これに限定されるものではなく、任意の情報処理装置であって良い。例えば、任意のパーソナルコンピュータであっても良い。
【００３７】
入力部１３１は、マウス、キーボード、トラックボール、タッチパネル等などの操作デバイスである。入力部１３１は、利用者により操作されることで、ワークステーション１３０に対する各種操作の入力を利用者から受け付ける。具体的には、入力部１３１は、レンダリング処理の対象となるボリュームデータを画像保管装置１２０から取得するための情報の入力を受け付ける。例えば、入力部１３１は、患者ＩＤ、検査ＩＤ、装置ＩＤ、シリーズＩＤ等の入力を受け付ける。また、入力部１３１は、レンダリング処理に関する条件（以下、レンダリング条件）の入力を受け付ける。
【００３８】
また、入力部１３１は、ボリュームデータにより示される被検体の３次元情報に対して、図形や矢印、記号、文字などのアノテーションを表示するための設定条件の入力や、アノテーションを表示する旨の指示を受け付ける。
【００３９】
例えば、入力部１３１は、被検体の３次元情報の内、任意の座標を示す矢印を表示するための設定条件を受け付ける。より詳細な一例をあげて説明すると、入力部１３１は、矢印の起点となる座標の設定と、矢印の目標点となる座標の設定とを受け付ける。また、例えば、入力部１３１は、被検体の３次元情報の内、任意の座標に任意の文字列を表示するための設定条件を受け付ける。より詳細な一例をあげて説明すると、入力部１３１は、任意の文字列を表示させる座標の設定と、表示させる文字列の設定とを受け付ける。なお、座標は、例えば、マウスを介して設定される。文字列は、例えば、キーボードを介して設定される。
【００４０】
表示部１３２は、立体表示モニタとしての液晶パネル等であり、各種情報を表示する。具体的には、第１の実施形態における表示部１３２は、利用者から各種操作を受け付けるためのＧＵＩ（Graphical User Interface）や、立体画像等を表示する。通信部１３３は、ＮＩＣ（Network Interface Card）等であり、他の装置との間で通信を行う。また、例えば、通信部１３３は、利用者によって端末装置１４０に入力されたレンダリング条件を端末装置１４０から受信する。
【００４１】
記憶部１３４は、ハードディスク、半導体メモリ素子等であり、各種情報を記憶する。具体的には、記憶部１３４は、通信部１３３を介して画像保管装置１２０から取得したボリュームデータを記憶する。また、記憶部１３４は、レンダリング処理中のボリュームデータや、レンダリング処理が行われた視差画像等とその視差数や解像度などを記憶する。
【００４２】
制御部１３５は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の電子回路、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路であり、ワークステーション１３０の全体制御を行う。
【００４３】
例えば、制御部１３５は、表示部１３２に対するＧＵＩの表示や立体画像の表示を制御する。また、例えば、制御部１３５は、画像保管装置１２０との間で通信部１３３を介して行われるボリュームデータや視差画像の送受信を制御する。また、例えば、制御部１３５は、レンダリング処理部１３６によるレンダリング処理を制御する。また、例えば、制御部１３５は、ボリュームデータの記憶部１３４からの読み込みや、視差画像の記憶部１３４への格納を制御する。
【００４４】
また、例えば、制御部１３５は、アノテーションを表示するための設定条件を入力部１３１が受け付けると、入力部１３１により受け付けられた設定条件を、アノテーションが設定された被検体のボリュームデータの付加情報として格納する。例えば、制御部１３５は、入力部１３１により受け付けられた設定条件を付加情報として画像保管装置１２０に出力することで、画像保管装置１２０にボリュームデータの付加情報として格納させる。つまり、この場合、画像保管装置１２０は、アノテーションを表示するための設定条件が付加情報として設定されたボリュームデータを記憶することになる。
【００４５】
なお、上述した説明では、入力部１３１が設定条件を受け付け、制御部１３５が、入力部１３１により受け付けられた設定条件そのものを付加情報として格納する場合を例に説明したが、これに限定されるものではない。例えば、入力部１３１が、アノテーションを表示する旨の指示を受け付けると、制御部１３５は、入力部１３１により受け付けられた指示により指定されるアノテーションを表示するための設定条件を生成し、生成した設定条件を付加情報として格納しても良い。入力部１３１が、奥行きを示すスケールを被検体の３次元情報と併せて表示する旨の指示を受け付けた場合を用いて説明する。この場合、制御部１３５は、被検体の３次元情報の内、スケールを表示させる任意の座標を決定し、決定した座標に奥行きを示すスケールを表示するための設定条件を生成し、生成した設定条件を付加情報として格納する。
【００４６】
ここで、レンダリング処理部１３６は、制御部１３５による制御の下、画像保管装置１２０から取得したボリュームデータに対して種々のレンダリング処理を行い、視差画像を生成する。具体的には、レンダリング処理部１３６は、記憶部１３４からボリュームデータを読み込み、読み込んだボリュームデータに対して前処理を行う。そして、レンダリング処理部１３６は、前処理後のボリュームデータに対してボリュームレンダリング処理を行うことで、立体画像を表示するための視差画像を生成する。そして、レンダリング処理部１３６は、生成した視差画像を記憶部１３４に格納する。
【００４７】
また、レンダリング処理部１３６は、各種情報（目盛り、患者名、検査項目等）が描出されたオーバーレイ画像を生成し、生成したオーバーレイ画像を視差画像に重畳しても良い。この場合、レンダリング処理部１３６は、オーバーレイ画像が重複された視差画像を記憶部１３４に格納する。
【００４８】
例えば、レンダリング処理部１３６は、アノテーションを表示するための設定条件を入力部１３１が受け付けると、受け付けたアノテーションの立体画像を表示するための視差画像となるオーバーレイ画像を生成する。
【００４９】
具体的には、レンダリング処理部１３６は、入力部１３１により受け付けられた設定条件、又は、ボリュームデータの付加情報に基づいて、アノテーションを表示するためのオーバーレイ画像を生成する。例えば、被検体の９視差の立体画像を表示するための視差画像として、９枚の視差画像が生成された場合を用いて説明する。この場合、レンダリング処理部１３６は、被検体の３次元情報の内、任意の座標を示す矢印を表示するための９枚のオーバーレイ画像を生成したり、任意の座標に任意の文字列を表示するための９枚のオーバーレイ画像を生成したりする。ここで、９枚のオーバーレイ画像は、それぞれ、被検体の立体画像を立体表示するための９枚の視差画像各々に重畳される。
【００５０】
ここで、アノテーションと、付加情報と、オーバーレイ画像との関係について補足する。上述したように、アノテーションは、例えば、図形や記号、文字列、矢印などである。付加情報は、アノテーションを表示するための設定情報であって、例えば、矢印の起点や目標点の座標や、任意の文字列を表示させる座標、アノテーションとして表示させる文字列などである。オーバーレイ画像とは、視差画像に重畳されて表示される画像であって、アノテーションを表示するための画像を示す。オーバーレイ画像は、アノテーションを表示するための設定情報や付加情報に基づいて生成される。
【００５１】
なお、レンダリング処理とは、ボリュームデータに対して行う画像処理全体を示し、ボリュームレンダリング処理とは、レンダリング処理の内、被検体の３次元の情報が反映された医用画像を生成する処理を示す。レンダリング処理により生成される医用画像とは、例えば、視差画像が該当する。
【００５２】
図５は、図４に示すレンダリング処理部の構成例を説明するための図である。図５に示すように、レンダリング処理部１３６は、前処理部１３６１と、３次元画像処理部１３６２と、２次元画像処理部１３６３とを有する。以下に詳細に説明するように、前処理部１３６１は、ボリュームデータに対する前処理を行う。３次元画像処理部１３６２は、前処理後のボリュームデータから視差画像を生成する。２次元画像処理部１３６３は、立体画像に各種情報が重畳された視差画像を生成する。
【００５３】
前処理部１３６１は、ボリュームデータに対してレンダリング処理を行う際に、種々の前処理を行う。図５に示す例では、前処理部１３６１は、画像補正処理部１３６１ａと、３次元物体フュージョン部１３６１ｅと、３次元物体表示領域設定部１３６１ｆとを有する。
【００５４】
画像補正処理部１３６１ａは、２種類のボリュームデータを一つのボリュームデータとして処理する際に画像補正処理を行う。図５に示す例では、画像補正処理部１３６１ａは、歪み補正処理部１３６１ｂと、体動補正処理部１３６１ｃと、画像間位置合わせ処理部１３６１ｄとを有する。例えば、画像補正処理部１３６１ａは、ＰＥＴ−ＣＴ装置により生成されたＰＥＴ画像のボリュームデータとＸ線ＣＴ画像のボリュームデータとを一つのボリュームデータとして処理する際に画像補正処理を行う。また、画像補正処理部１３６１ａは、ＭＲＩ装置により生成されたＴ１強調画像のボリュームデータとＴ２強調画像のボリュームデータとを一つのボリュームデータとして処理する際に画像補正処理を行う。
【００５５】
ここで、画像補正処理部１３６１ａの歪み補正処理部１３６１ｂは、個々のボリュームデータにおいて、医用画像診断装置１１０によるデータ収集時の収集条件に起因するデータの歪みを補正する。また、体動補正処理部１３６１ｃは、個々のボリュームデータを生成するために用いられたデータの収集時期における被検体の体動に起因する移動を補正する。また、画像間位置合わせ処理部１３６１ｄは、歪み補正処理部１３６１ｂ及び体動補正処理部１３６１ｃによる補正処理が行われた２つのボリュームデータ間で、例えば、相互相関法等を用いた位置合わせ（Registration）を行う。
【００５６】
３次元物体フュージョン部１３６１ｅは、画像間位置合わせ処理部１３６１ｄにより位置合わせが行われた複数のボリュームデータをフュージョンさせる。なお、画像補正処理部１３６１ａ及び３次元物体フュージョン部１３６１ｅの処理は、単一のボリュームデータに対してレンダリング処理を行う場合、省略される。
【００５７】
３次元物体表示領域設定部１３６１ｆは、利用者により指定された表示対象臓器に対応する表示領域を設定する。図５に示す例では、３次元物体表示領域設定部１３６１ｆは、セグメンテーション処理部１３６１ｇを有する。３次元物体表示領域設定部１３６１ｆのセグメンテーション処理部１３６１ｇは、利用者により指定された心臓、肺、血管等の臓器を、例えば、ボリュームデータの画素値（ボクセル値）に基づく領域拡張法により抽出する。
【００５８】
なお、セグメンテーション処理部１３６１ｇは、利用者により表示対象臓器が指定されなかった場合、セグメンテーション処理を行わない。また、セグメンテーション処理部１３６１ｇは、利用者により表示対象臓器が複数指定された場合、該当する複数の臓器を抽出する。また、セグメンテーション処理部１３６１ｇの処理は、レンダリング画像を参照した利用者の微調整要求により再度実行される場合もある。
【００５９】
３次元画像処理部１３６２は、前処理部１３６１が処理を行った前処理後のボリュームデータに対してボリュームレンダリング処理を行う。図５に示す例では、３次元画像処理部１３６２は、ボリュームレンダリング処理を行う処理部として、投影方法設定部１３６２ａと、３次元幾何変換処理部１３６２ｂと、３次元物体アピアランス処理部１３６２ｆと、３次元仮想空間レンダリング部１３６２ｋとを有する。
【００６０】
投影方法設定部１３６２ａは、立体画像を生成するための投影方法を決定する。例えば、投影方法設定部１３６２ａは、ボリュームレンダリング処理を平行投影法により実行するか、透視投影法により実行するかを決定する。
【００６１】
３次元幾何変換処理部１３６２ｂは、ボリュームレンダリング処理が実行されるボリュームデータを３次元幾何学的に変換するための情報を決定する。図５に示す例では、３次元幾何変換処理部１３６２ｂは、平行移動処理部１３６２ｃと、回転処理部１３６２ｄと拡大縮小処理部１３６２ｅとを有する。３次元幾何変換処理部１３６２ｂの平行移動処理部１３６２ｃは、ボリュームレンダリング処理を行う際の視点位置が平行移動された場合に、ボリュームデータを平行移動させる移動量を決定する。また、回転処理部１３６２ｄは、ボリュームレンダリング処理を行う際の視点位置が回転移動された場合に、ボリュームデータを回転移動させる移動量を決定する。また、拡大縮小処理部１３６２ｅは、立体画像の拡大や縮小が要求された場合に、ボリュームデータの拡大率や縮小率を決定する。
【００６２】
３次元物体アピアランス処理部１３６２ｆは、３次元物体色彩処理部１３６２ｇと、３次元物体不透明度処理部１３６２ｈと、３次元物体材質処理部１３６２ｉと３次元仮想空間光源処理部１３６２ｊとを有する。３次元物体アピアランス処理部１３６２ｆは、これらの処理部により、例えば、利用者の要求に応じて、視差画像を表示することで利用者に表示される立体画像の表示状態を決定する。
【００６３】
３次元物体色彩処理部１３６２ｇは、ボリュームデータにてセグメンテーションされた各領域に対して着色される色彩を決定する。また、３次元物体不透明度処理部１３６２ｈは、ボリュームデータにてセグメンテーションされた各領域を構成する各ボクセルの不透過度（Opacity）を決定する処理部である。なお、ボリュームデータにおいて不透過度が「１００％」とされた領域の後方の領域は、視差画像において描出されない。また、ボリュームデータにおいて不透過度が「０％」とされた領域は、視差画像において描出されない。
【００６４】
３次元物体材質処理部１３６２ｉは、ボリュームデータにてセグメンテーションされた各領域の材質を決定することで、この領域が描出される際の質感を調整する。３次元仮想空間光源処理部１３６２ｊは、ボリュームデータに対してボリュームレンダリング処理を行う際に、３次元仮想空間に設置する仮想光源の位置や、仮想光源の種類を決定する。仮想光源の種類としては、無限遠から平行な光線を照射する光源や、視点から放射状の光線を照射する光源等があげられる。
【００６５】
３次元仮想空間レンダリング部１３６２ｋは、ボリュームデータに対してボリュームレンダリング処理を行い、視差画像を生成する。また、３次元仮想空間レンダリング部１３６２ｋは、ボリュームレンダリング処理を行う際、必要に応じて、投影方法設定部１３６２ａ、３次元幾何変換処理部１３６２ｂ、３次元物体アピアランス処理部１３６２ｆにより決定された各種情報を用いる。
【００６６】
ここで、３次元仮想空間レンダリング部１３６２ｋは、制御部１３５からレンダリング条件を受け付け、受け付けたレンダリング条件に従って、ボリュームデータに対するボリュームレンダリング処理を行う。レンダリング条件は、入力部１３１を介して利用者から受け付けたり、初期設定されたり、通信部１３３を介して端末装置１４０から受け付けたりする。また、このとき、上述した投影方法設定部１３６２ａ、３次元幾何変換処理部１３６２ｂ、３次元物体アピアランス処理部１３６２ｆが、このレンダリング条件に従って必要な各種情報を決定し、３次元仮想空間レンダリング部１３６２ｋは、決定された各種情報を用いて立体画像を生成する。
【００６７】
なお、例えば、レンダリング条件は、「平行投影法」又は「透視投影法」である。また、例えば、レンダリング条件は、「基準の視点位置及び視差角」である。また、例えば、レンダリング条件は、「視点位置の平行移動」、「視点位置の回転移動」、「立体画像の拡大」、「立体画像の縮小」である。また、例えば、レンダリング条件は、「着色される色彩」、「透過度」、「質感」、「仮想光源の位置」、「仮想光源の種類」である。
【００６８】
図６は、第１の実施形態におけるボリュームレンダリング処理の一例を説明するための図である。例えば、３次元仮想空間レンダリング部１３６２ｋが、図６の「９視差画像生成方式（１）」に示すように、レンダリング条件として、平行投影法を受け付け、更に、基準の視点位置（５）と視差角「１度」とを受け付けたとする。この場合、３次元仮想空間レンダリング部１３６２ｋは、視差角が「１度」おきとなるように、視点の位置を（１）〜（９）に平行移動して、平行投影法により視差角（視線方向間の角度）が１度ずつ異なる９つの視差画像を生成する。なお、平行投影法を行う場合、３次元仮想空間レンダリング部１３６２ｋは、視線方向に沿って無限遠から平行な光線を照射する光源を設定する。
【００６９】
或いは、３次元仮想空間レンダリング部１３６２ｋが、図６の「９視差画像生成方式（２）」に示すように、レンダリング条件として、透視投影法を受け付け、更に、基準の視点位置（５）と視差角「１度」とを受け付けたとする。この場合、３次元仮想空間レンダリング部１３６２ｋは、視点移動する平面上に存在するボリュームデータの切断面の重心を中心に視差角が「１度」おきとなるように、視点の位置を（１）〜（９）に回転移動して、透視投影法により視差角が１度ずつ異なる９つの視差画像を生成する。言い換えると、３次元的な体積の重心ではなく、２次元的な切断面の重心を中心に回転移動して、９つの視差画像を生成する。なお、透視投影法を行う場合、３次元仮想空間レンダリング部１３６２ｋは、視線方向を中心に光を３次元的に放射状に照射する点光源や面光源を各視点にて設定する。また、透視投影法を行う場合、レンダリング条件によっては、視点（１）〜（９）は、平行移動される場合であっても良い。
【００７０】
なお、３次元仮想空間レンダリング部１３６２ｋは、表示されるボリュームレンダリング画像の縦方向に対しては、視線方向を中心に光を２次元的に放射状に照射し、表示されるボリュームレンダリング画像の横方向に対しては、視線方向に沿って無限遠から平行な光線を照射する光源を設定することで、平行投影法と透視投影法とを併用したボリュームレンダリング処理を行っても良い。
【００７１】
なお、図６の例では、レンダリング条件として、投影方法、基準の視点位置及び視差角を受け付けた場合を説明したが、レンダリング条件として、他の条件を受け付けた場合も同様に、３次元仮想空間レンダリング部１３６２ｋは、それぞれのレンダリング条件を反映しつつ、９つの視差画像を生成する。
【００７２】
なお、３次元仮想空間レンダリング部１３６２ｋは、ボリュームレンダリングだけでなく、断面再構成法（ＭＰＲ：Multi Planer Reconstruction）を行うことで、ボリュームデータからＭＰＲ画像を再構成する機能も有する。また、３次元仮想空間レンダリング部１３６２ｋは、ＭＰＲとして「Ｃｕｒｖｅｄ ＭＰＲ」を行う機能や、「Intensity Projection」を行う機能も有する。
【００７３】
また、３次元画像処理部１３６２がボリュームデータから生成した視差画像は、アンダーレイ（Underlay）として用いた上で、各種情報（目盛り、患者名、検査項目等）が描出されたオーバーレイ画像をオーバーレイ（Overlay）として重畳しても良い。この場合、２次元画像処理部１３６３は、オーバーレイとなるオーバーレイ画像とアンダーレイとなる視差画像に対して画像処理を行うことで、オーバーレイ画像が重畳された視差画像を生成する。図５に示す例では、２次元画像処理部１３６３は、２次元物体描画部１３６３ａと、２次元幾何変換処理部１３６３ｂと、輝度調整部１３６３ｃとを有する。なお、各種情報の描画処理コスト低減のため、オーバーレイを１枚だけ描画しておき、１枚のオーバーレイをアンダーレイとなる９枚の視差画像それぞれに重畳することで、オーバーレイ画像が重畳された９枚の視差画像を生成しても良い。
【００７４】
２次元物体描画部１３６３ａは、オーバーレイに描出される各種情報を描画する。また、２次元幾何変換処理部１３６３ｂは、オーバーレイに描出される各種情報の位置を平行移動処理又は回転移動処理したり、オーバーレイに描出される各種情報の拡大処理又は縮小処理したりする。また、輝度調整部１３６３ｃは、例えば、出力先の立体表示モニタの諧調や、ウィンドウ幅（ＷＷ：Window Width）、ウィンドウレベル（ＷＬ：Window Level）等の画像処理用のパラメータに応じて、オーバーレイ及びアンダーレイの輝度を調整する。また、輝度調整部１３６３ｃは、例えば、レンダリング画像に対する輝度変換処理を行う。
【００７５】
レンダリング処理部１３６により生成された視差画像は、例えば、制御部１３５により一旦記憶部１３４に格納され、その後、通信部１３３を介して画像保管装置１２０に送信される。その後、例えば、端末装置１４０は、画像保管装置１２０からオーバーレイ画像が重畳された視差画像を取得し、所定フォーマット（例えば格子状）に配置した中間画像に変換した上で立体表示モニタに表示することで、利用者である医師や検査技師に、各種情報（目盛り、患者名、検査項目等）が描出された立体画像を表示可能となる。
【００７６】
さて、上述したように、レンダリング処理部１３６は、制御部１３５による制御の下、ボリュームデータから視差画像を生成する。次に、第１の実施形態における制御部１３５について詳細に説明する。以下に説明するように、制御部１３５が以下に説明する一連の処理を実行することで、立体画像の適切な位置にアノテーションを表示可能となる。
【００７７】
制御部１３５による処理の全体像について簡単に説明する。以下では、被検体の立体画像を表示するための視差画像と、アノテーションを表示するための視差画像とが重畳された重畳視差画像を表示することで、アノテーションの立体画像と被検体の立体画像とが重畳された重畳立体画像が立体表示されるものとして説明する。
【００７８】
ここで、被検体の立体画像を表示するための視差画像の視差角は、視差角を変更する旨のユーザによる変更指示が入力された場合や、制御部１３５による自律的な処理によって、変更されることがある。重畳視差画像において、被検体の立体画像を表示するための視差画像についてのみ視差角が変更され、オーバーレイ画像に変更が加えられないと、オーバーレイ画像により表示される矢印などのアノテーションにより示される被検体の位置が変わってしまう。このことを踏まえ、以下に詳細に説明するように、制御部１３５は、異なる視差角にて被検体の立体画像を表示するための視差画像が生成される場合に、変更後の視差角に基づいてアノテーションの立体画像を表示するための視差画像を生成して用いる。この結果、被検体の立体画像を立体表示するための視差画像の視差角が変更されたとしても、アノテーションと被検体との位置関係が変わらない立体画像を表示可能となる。
【００７９】
制御部１３５の各部についての説明に移る。図７は、第１の実施形態における制御部の構成の一例を示す図である。図７に示すように、制御部１３５は、表示制御部１３５１と、飛出臨界内視差角変更部１３５２と、第３の視差画像生成部１３５３と、視差画像生成部１３５４と、重畳視差画像生成部１３５５とを有する。
【００８０】
表示制御部１３５１は、アノテーションの立体画像を表示するための第１の視差画像と、被検体の立体画像を表示するための第２の視差画像とが重畳された第１の重畳視差画像を表示することで、アノテーションの立体画像と被検体の立体画像とが重畳された重畳立体画像を立体表示する。
【００８１】
飛出臨界内視差角変更部１３５２は、立体表示可能な飛び出し方向の臨界を示す飛び出し臨界内に、第２の視差画像を表示することで表示される被検体の立体画像が収まらない場合に、被検体を表示するための視差画像の視差角を変更する。
【００８２】
ここで、飛び出し臨界について説明する。モニタにて立体表示可能となる飛び出し方向の量には、モニタの仕様により限界がある。飛び出し方向の量の限界を「飛び出し臨界量」とも記載する。「飛び出し臨界量」は、「モニタの表示面とモニタを観察する観察者との距離である視距離」と、「モニタのハードウェア仕様」とに基づいて算出される。ここで、モニタと観察者との視距離は、観察者の位置を特定できなければ求めることができず、一般に、モニタは、観察位置を想定した上で設計される。このため、「飛び出し臨界量」は、所定の位置に想定された観察位置とモニタの表示面との間の距離である「想定視距離」と、立体表示モニタのハードウェア仕様とに基づいて算出される。
【００８３】
例えば、「飛び出し臨界量」は、（数１）により算出される。なお、（数１）では、奥行き方向の内、立体表示モニタの表示面を原点として、かかる表示面から観察者の視点に近づく方向を正としている。
【００８４】
（数１）＝飛び出し臨界量（ｍｍ）＝想定視距離／｛２×［（想定視距離＋ギャップ）／想定視距離］×（サブピクセルピッチ／ギャップ）×飛び出し限界周波数＋１｝
【００８５】
図８−１を用いて、（数１）に示した「ギャップ」、「サブピクセルピッチ」等について説明する。図８−１は、飛び出し臨界について示すための図である。図８−１は、モニタを縦方向から見た図である。図８−１に示すように、「ギャップ」は、ＬＣＤ（Liquid Crystal Display）画素面とレンチキュラーレンズ２０１の焦点との距離を示す。また、「サブピクセルピッチ」は、立体表示モニタ内に配置された画素２０２間の距離を示す。また、「レンズピッチ」は、視差数分の画素２０２の横方向の長さを示し、「サブピクセルピッチ×視差数」によって表される。
【００８６】
また、（数１）に示した「飛び出し限界周波数」は、単位が「ＣＰＲ（cycles per radian）」であり、「最大表示可能周波数×Ｎ（０＜Ｎ≦１）」によって表される。かかる「最大表示可能周波数」は、「視距離／（２×レンズピッチ）」によって表され、立体表示モニタの表示面上での解像度を示す。具体的には、「ＣＰＲ」は、立体表示モニタから照射される光線の内観察者の眼から広がる光線錘に許容される光線の密度を示す。この「ＣＰＲ」は、同一視距離の場合には、レンチキュラーレンズが配置される密度が高いほど大きくなり、レンチキュラーレンズが配置される密度が低いほど小さくなる。言い換えれば、「ＣＰＲ」は、レンチキュラーレンズが配置される密度が同一である場合には、視距離が遠いほど大きくなり、視距離が近いほど小さくなる。「最大表示可能周波数」は、「ＣＰＲ」が最大になる解像度である。すなわち、「最大表示可能周波数」は、立体表示モニタの表示面上の解像度を示す。
【００８７】
ここで、「被検体の重心Ｃ２から被検体の輪郭までの距離」が、（数１）により算出される「飛び出し臨界量」により定まる「飛び出し臨界」を超えている場合、立体表示モニタに表示される立体画像には、ボケが生じることとなる。言い換えると、飛び出し臨界を超えている部分について、ボケてしまう。
【００８８】
図８−２は、飛び出し臨界を超えない場合について示す図である。図８−２に示す例では、被検体Ｒ２の輪郭が、飛び出し臨界Ｃの内部にある。この場合、視点Ｏ１を基準位置にして生成された９視差画像を生成し「９視差モニタ」に表示させた立体画像には、「被検体の重心Ｃ２から被検体の輪郭までの距離」が「飛び出し臨界」より小さい値となり、ボケは発生しない。なお、正円Ｐは、視点の位置が移動しえる位置の一例を示す。
【００８９】
図８−３は、飛び出し臨界を超えてボケてしまう部分について示す図である。図８−３に示す例では、被検体Ｒ２の輪郭が飛び出し臨界Ｃに外接している。この場合、視点の位置を視点Ｏ２に変えた場合を示した。この場合、視点Ｏ２を基準位置にして生成された９視差画像を生成し「９視差モニタ」に表示させた立体画像は、「被検体の重心Ｃ２から被検体の輪郭までの距離」が「飛び出し臨界」を超えており、ボケが生じる。
【００９０】
このように、立体画像にボケを生じさせないためには、あらゆる角度からの視点に対して、被検体の重心Ｃ２から被検体の輪郭までの距離が、飛び出し臨界内となることが望ましい。また、被検体の形状によっては、立体画像を回転させることで、「被検体の重心Ｃ２から被検体の輪郭までの距離」が「飛び出し臨界」より小さい値になったり、大きい値になったりすることもある。このことを踏まえ、飛出臨界内視差角変更部１３５２は、所定の視差数の視差画像をボリュームデータから生成する際に、被写体の形状と、表示部１３２において表示される立体画像の飛び出し方向における臨界である飛び出し臨界との大小関係に基づいて、視差画像間の視差角を変更する。言い換えると、飛出臨界内視差角変更部１３５２は、「被検体の重心Ｃ２から被検体の輪郭までの距離」が「飛び出し臨界」を超えている場合には、「被検体の重心Ｃ２から被検体の輪郭までの距離」が「飛び出し臨界」内に収まるように視差角を変更する。
【００９１】
ここで、飛出臨界内視差角変更部１３５２は、例えば、制御部１３５の制御の下、入力部１３１に入力されたレンダリング条件に基づいてレンダリング処理部１３６によってボリュームデータから視差画像が生成される際に、「被検体の重心Ｃ２から被検体の輪郭までの距離」が「飛び出し臨界」を超えているかを監視し、超えているとの監視結果が得られた場合に視差角を変更する。
【００９２】
第３の視差画像生成部１３５３は、第２の視差画像の視差角を変更する変更指示をユーザから受け付けると、変更指示により示される変更後の視差角に基づいて、被検体の立体画像を表示するための第３の視差画像を生成する。例えば、入力部１３１に対して、立体表示されている被検体の立体画像の視差角を変更する旨の指示を受け付けると、変更後の視差角に基づいて第３の視差画像を生成する。また、例えば、第３の視差画像生成部１３５３は、飛出臨界内差角変更部１３５２により変更された後の視差角に基づいて、被検体の立体画像を表示するための第３の視差画像を生成する。
【００９３】
より詳細な一例をあげて説明すると、第３の視差画像生成部１３５３は、被検体の立体画像を立体表示するための９枚の視差画像すべてについて視差角が変更されると、変更後の視差角に基づいて９枚の第３の視差画像を生成する。また、同様に、第３の視差画像生成部１３５３は、被検体の立体画像を立体表示するための９枚の視差画像の内一部の視差画像について視差角が変更された場合について説明する。言い換えると、９枚の視差画像の内他の視差画像については変更が加えられていない場合について説明する。この場合、第３の視差画像生成部１３５３は、視差角が変更された視差画像について、変更後の視差角に基づいて第３の視差画像を生成する。
【００９４】
視差画像生成部１３５４は、第２の視差画像の視差角とは異なる視差角にて、被検体の立体画像を表示するための第３の視差画像が生成される場合に、変更後の視差角に基づいてアノテーションの立体画像を表示するための第４の視差画像を生成する。例えば、視差画像生成部１３５４は、第３の視差画像生成部１３５３により第３の視差画像が生成される場合に、第３の視差画像と同一の視差角にて第４の視差画像を生成する。
【００９５】
被検体の立体画像を立体表示するための９枚の視差画像すべてについて視差角が変更され、第３の視差画像生成部１３５３により９枚の第３の視差画像が生成される場合を用いて説明する。この場合、視差画像生成部１３５４は、変更後の視差角に基づいて、第１の視差画像により表示されるアノテーションを表示するための９枚の第４の視差画像を生成する。また、同様に、被検体の立体画像を立体表示するための９枚の視差画像の内一部の視差画像について視差角が変更された場合について説明する。この場合、視差画像生成部１３５４は、視差角が変更された第２の視差画像に重畳されていた第１の視差画像について、アノテーションを立体表示するための第４の視差画像を変更後の視差角に基づいて、生成する。
【００９６】
重畳視差画像生成部１３５５は、視差画像生成部１３５４により生成された第４の視差画像と第３の視差画像とが重畳された第２の重畳視差画像を生成する。その後、表示制御部１３５１は、重畳視差画像生成部１３５５により生成された第２の重畳視差画像を表示することで、視差角変更後における重畳立体画像を立体表示する。
【００９７】
（第１の実施形態による処理）
図９は、第１の実施形態による処理の流れの一例を示すフローチャートである。図９に示すように、制御部１３５では、第２の視差画像の視差角とは異なる視差角にて、被検体の立体画像を表示するための第３の視差画像が第３の視差画像生成部１３５３によって生成される場合に（ステップＳ１０１肯定）、視差画像生成部１３５４は、変更後の視差角に基づいてアノテーションの立体画像を表示するための第４の視差画像を生成する（ステップＳ１０２）。例えば、視差画像生成部１３５４は、ユーザによる変更指示があった場合や、「被検体の重心Ｃ２から被検体の輪郭までの距離」が「飛び出し臨界」を超えている場合に、変更後の視差角に基づいて第４の視差画像を生成する。
【００９８】
そして、重畳視差画像生成部１３５５は、視差画像生成部１３５４により生成された第４の視差画像と第３の視差画像とが重畳された第２の重畳視差画像を生成する（ステップＳ１０３）。
【００９９】
そして、表示制御部１３５１は、重畳視差画像生成部１３５５により生成された第２の重畳視差画像を表示することで、視差角変更後における重畳立体画像を立体表示する（ステップＳ１０４）。
【０１００】
（第１の実施形態による効果）
上述したように、第１の実施形態によれば、アノテーションの立体画像を表示するための第１の視差画像と、被検体の立体画像を表示するための第２の視差画像とが重畳された第１の重畳視差画像を表示することで、アノテーションの立体画像と被検体の立体画像とが重畳された重畳立体画像を立体表示する。また、第２の視差画像の視差角とは異なる視差角にて、被検体の立体画像を表示するための第３の視差画像が生成される場合に、変更後の視差角に基づいてアノテーションの立体画像を表示するための第４の視差画像を生成する。また、生成された第４の視差画像と第３の視差画像とが重畳された第２の重畳視差画像を生成する。また、生成した第２の重畳視差画像を表示することで、視差角変更後における重畳立体画像を立体表示する。この結果、立体画像の適切な位置にアノテーションを表示可能となる。すなわち、視差角が変更されたとしても、アノテーションと被検体との位置関係が変わることなく、立体画像の適切な位置にアノテーションを表示可能となる。
【０１０１】
また、第１の実施形態によれば、第２の視差画像の視差角を変更する変更指示をユーザから受け付けると、第３の視差画像を生成する。この結果、ユーザによる被検体の立体画像の視差角を変更する変更指示があった場合に、アノテーションと被検体との位置関係が変わることなく、立体画像の適切な位置にアノテーションを表示可能となる。
【０１０２】
また、第１の実施形態によれば、立体表示可能な飛び出し方向の臨界を示す飛び出し臨界内に、第２の視差画像を表示することで表示される被検体の立体画像が収まらない場合に、被検体を表示するための視差画像の視差角を変更され、変更後の視差角に基づいて、第３の視差画像を生成する。この結果、被検体の立体画像の視差角が自動的に変更されたとしても、アノテーションと被検体との位置関係が変わることなく、立体画像の適切な位置にアノテーションを表示可能となる。
【０１０３】
（第２の実施形態）
さて、上述した実施形態以外にも、その他の実施形態にて実施されても良い。そこで、以下では、その他の実施形態を示す。
【０１０４】
（マット型操作装置）
また、例えば、ユーザから情報の入力を受け付ける操作装置として、マット型の操作装置を用いても良い。図１０は、マット型の操作装置の一例を示す図である。図１０に示す例では、操作装置３０１は、立体画像を拡大する旨の指示を受け付ける操作部３０２と、立体画像を縮小する旨の指示を受け付ける操作部３０３と、立体画像を回転させる旨の指示を受け付ける操作部３０４〜操作部３０７とを有する。
【０１０５】
ここで、立体画像の視点位置を基準とする見かけ上の軸を「ｘ’、ｙ’、ｚ’」と定義した上で、操作部３０４〜操作部３０７により回転される方向の一例について説明する。操作部３０４は、立体画像のｙ’軸方向については変化させることなく、ｘ’軸方向における正の向きに立体画像を回転させる指示を受け付ける。すなわち、反時計回りに回転させる指示を受け付ける。操作部３０５は、立体画像のｙ’軸方向については変化させることなく、ｘ’軸方向における負の向きに立体画像を回転させる指示を受け付ける。すなわち、時計回りに回転させる指示を受け付ける。操作部３０６は、立体画像のｘ’軸方向については変化させることなく、ｙ’軸方向における正の向きに立体画像を回転させる指示を受け付ける。操作部３０７は、立体画像のｘ’軸方向については変化させることなく、ｙ’軸方向における負の向きに立体画像を回転させる指示を受け付ける。
【０１０６】
図１１は、マット型の操作装置の利用状況の一例を示す図である。図１１に示す例では、手術室にて操作装置３０１が利用される場合を示した。図１１に示す例では、操作装置３０１の利用者となる術者３０８は、操作装置３０１を足で操作することで、寝台３０９の上にいる患者３１０を手術しながら、３Ｄモニタ３１１に表示された患者３１０の立体画像を操作することが可能となる。
【０１０７】
（スライダー型操作装置）
また、例えば、操作装置として、スライダー型の操作装置３２１を用いても良い。図１２は、スライダー型の操作装置の一例を示す図である。図１２に示す例では、操作装置３２１は、スライダー３２２を有する。ここで、スライダー３２２は、体表面からのカッティング位置を決定するのに用いても良く、任意の指示を受け付けるのに用いられて良い。
【０１０８】
（メス型操作装置）
また、例えば、操作装置として、メス型の操作装置３３１を用いても良い。図１３−１は、メス型の操作装置の左側面の一例を示す図である。図１３−２は、メス型の操作装置の上面の一例を示す図である。図１３−３は、メス型の操作装置の右側面の一例を示す図である。
ここで、立体画像の視点位置を基準とする見かけ上の軸を「ｘ’、ｙ’、ｚ’」と定義した上で、メス型操作装置により受け付けられる指示の一例について説明する。
【０１０９】
図１３−１に示す例では、メス型の操作装置３３１は、左側面に、操作部３３６と操作部３３７とを有する。操作部３３６は、立体画像のｙ’軸方向については変化させることなく、ｘ’軸方向における正の向きに立体画像を回転させる指示を受け付ける。すなわち、反時計回りに回転させる指示を受け付ける。操作部３３７は、立体画像のｙ’軸方向については変化させることなく、ｘ’軸方向における負の向きに立体画像を回転させる指示を受け付ける。すなわち、時計回りに回転させる指示を受け付ける。
【０１１０】
図１３−２に示す例では、メス型の操作装置３３１は、上部に、操作部３３４と操作部３３３とを有する。操作部３３４は、立体画像のｘ’軸方向については変化させることなく、ｚ’軸方向における正の向きに立体画像を回転させる指示を受け付ける。操作部３３５は、立体画像のｘ’軸方向については変化させることなく、ｚ’軸方向における負の向きに立体画像を回転させる指示を受け付ける。
【０１１１】
図１３−３に示す例では、メス型の操作装置３３１は、右側面に、操作部３３２と操作部３３３とを有する。操作部３３２は、立体画像を拡大する旨の指示を受け付ける。操作部３３３は、立体画像を縮小する旨の指示を受け付ける。
【０１１２】
なお、図１３−１〜図１３−３に示す例では、メス型の操作装置３３１が、操作部３３２と操作部３３３とを右側面に有し、上部に操作部３３４と操作部３３５とを有し、操作部３３６と操作部３３７とを左側面に有する場合を示した。ただし、これに限定されるものではなく、メス型の操作装置３３１は、任意の操作を受け付ける任意の操作部を任意の側面に有して良い。例えば、メス型の操作装置３３１は、操作部３３２〜操作部３３５を右側面に有しても良い。
【０１１３】
図１４は、メス型の操作装置の利用状況の一例を示す図である。図１４に示す例では、手術室やシミュレーションにて操作装置３３１が利用される場合を示した。図１４に示す例では、操作装置３３１の利用者となる術者３０８は、メス型の操作装置３３１を用いて寝台３０９の上にいる患者３１０を手術しながら、３Ｄモニタ３１１に表示された患者３１０の立体画像をメス型の操作装置３３１を用いて操作することが可能となる。
【０１１４】
［利用者の動きに対応付けられた操作内容］
また、例えば、操作装置は、利用者の動きに対応付けられた操作内容を受け付けても良い。図１５は、利用者の動きに対応付けられた操作内容を受け付けるメス型の操作装置の一例を示す図である。図１５に示すように、メス型の操作装置３４１は、位置センサ３４２と操作部３４３とを有する。メス型の操作装置３４１の位置センサ３４２は、例えば、加速度センサや位置センサなどが該当する。位置センサ３４２は、操作部３４３が押されている間、操作装置３４１を利用者がどのように動かしたかを監視する。ここで、メス型の操作装置３４１は、位置センサ３４２により監視された動きに対応付けられた操作内容を受け付ける。例えば、操作部３４３は、動きと操作内容とが対応付けられた記憶部を有し、位置センサ３４２による監視結果となる動きに対応付けられた操作内容を記憶部から取得することで、利用者からの操作内容を受け付ける。ただし、これに限定されるものではなく、操作部３４３は、位置センサ３４２による監視結果そのものを端末装置１４０やワークステーション１３０に出力しても良い。この場合、端末装置１４０やワークステーション１３０が、動きと操作内容とが対応付けられた記憶部を有することになる。
【０１１５】
図１６−１〜図１６−６は、利用者による操作装置の動きの一例を示す図である。立体画像の視点位置を基準とする見かけ上の軸を「ｘ’、ｙ’、ｚ’」と定義した上で説明する。図１６−１に示す例では、メス型の操作装置３４１は、利用者により水平方向に弧を描くように動かされると、図１６−２に示すように、立体画像を水平方向に回転させる指示を受け付ける。言い換えると、メス型の操作装置３４１は、水平面上において回転するように操作部３４３が動かされると、反時計回りに回転させる指示を受け付ける。
【０１１６】
また、図１６−３に示す例では、メス型の操作装置３４１は、利用者により垂直方向に弧を描くように動かされると、図１６−４に示すように、立体画像を垂直回転させる指示を受け付ける。言い換えると、メス型の操作装置３４１は、垂直面上において回転するように操作部３４３が動かされると、立体画像のｘ’軸方向については変化させることなく、ｙ’軸方向における正の向きに立体画像を回転させる指示を受け付ける。
【０１１７】
また、図１６−５に示す例では、メス型の操作装置３４１は、利用者により平行に動かされると、図１６−６に示すように、立体画像を利用者に動かされた方向に立体画像を動かす指示を受け付ける。
【０１１８】
なお、上述の説明では、操作部３４３が押されている間、利用者の動きを監視する場合を示したが、これに限定されるものではない。例えば、操作装置３４１は、操作部３４３が押された後一定期間監視しても良い。
【０１１９】
また、例えば、利用者の動きに対応付けられた操作内容を受け付ける操作装置は、メス型の操作装置に限定されるものではなく、手袋型の操作装置であっても良く、スティック型の操作装置であっても良く、任意の形状であって良い。また、例えば、操作部と操作装置が離れていても良い。より詳細な一例をあげて説明すると、操作部を足元のフットスイッチとし、操作装置と分けても良い。
【０１２０】
また、上述の説明では、操作装置が、利用者の動きを監視する場合を用いて説明したが、これに限定されるものではない。例えば、操作装置とは別途設けられた監視カメラが、操作装置の動きを監視することで、操作装置の動きに対応する操作内容を受け付けても良い。この場合、監視カメラは、操作装置の動きに対応する操作内容を端末装置１４０やワークステーション１３０に送信する。なお、この場合、監視カメラと、端末装置１４０やワークステーション１３０と統合して一つの装置としても良い。
【０１２１】
［監視カメラ］
また、例えば、操作内容を受け付ける操作装置としての監視カメラが、利用者の動きを監視し、利用者の動きに対応する操作内容を受け付けても良い。言い換えると、利用者による操作装置の動きではなく、利用者自身の動きを用いて、操作内容を受け付けても良い。例えば、監視カメラは、利用者の手の動きや足の動き、頭の動き、目の動きなどを監視し、利用者の動きに対応する操作内容を受け付ける。
【０１２２】
図１７−１〜図１７−６は、利用者の手の動きに対応付けられた操作内容の一例を示す図である。図１７−１に示す例では、監視カメラは、利用者が指を左右に動かした場合に、図１７−２に示すように、立体画像を水平方向に回転させる指示を受け付ける。また、図１７−３に示す例では、監視カメラは、利用者が指を上下に動かした場合に、図１７−４に示すように、立体画像を垂直方向に回転させる指示を受け付ける。また、図１７−５に示す例では、監視カメラは、指をｘ’ｙ’平面にて回転させる動きを利用者がした場合に、図１７−６に示すように、立体画像をｘ’ｙ’平面にて回転させる指示を受け付ける。
【０１２３】
［音声］
また、例えば、操作装置は、利用者の音声を音声認識することで、操作内容を受け付けても良い。例えば、操作装置は、利用者の音声を収集するマイクを有し、収集された音声を音声認識することで、利用者による操作内容を受け付ける。ここで、操作装置は、マット型の操作装置を併せて用いることで、マット型の操作装置の操作部が押されている間、利用者の音声を音声認識することで操作内容を受け付けても良い。
【０１２４】
図１８は、利用者の音声を音声認識することで、操作内容を受け付ける場合の利用状況の一例を示す図である。図１８に示す例では、マット型の操作装置３５１がマイクを有する場合を用いて説明する。図１８に示す例では、手術室にて操作装置３５１が利用される場合を示した。図１８に示す例では、操作装置３５１の利用者となる術者３０８は、マット型の操作装置３５１のボタンを押しながら操作内容を言うことで、寝台３０９の上にいる患者３１０を手術しながら、３Ｄモニタ３１１に表示された患者３１０の立体画像を操作することが可能となる。図１８に示す例では、術者３０８が、拡大する旨の指示である「回転」と言う場合を示した。
【０１２５】
（感度操作部）
例えば、入力部１３１などの利用者から操作される操作装置は、操作部の感度を調整するための操作を利用者から受け付ける感度操作部を有しても良い。例えば、操作部の感度を調整するための操作を利用者から受け付ける感度操作部をメス型の操作装置に設けても良く、スライダー型の操作装置に設けても良く、任意の装置に設けて良い。
【０１２６】
［３Ｄモニタ］
図１９は、メガネ型の３Ｄモニタを用いる場合を示す図である。図１９に示すように、立体画像表示装置をメガネ型としても良い。この場合、視点の移動を減らすことが可能となる。すなわち、メガネ型の３Ｄモニタ３６１を装着する術者３０８は、寝台３０９の上にいる患者３１０に視線を送りながら、３Ｄモニタ３１１に表示された患者３１０の立体画像を確認することが可能となる。
【０１２７】
［動きの速度］
例えば、利用者による操作装置の動きや利用者の動きに応じた操作内容を受け付ける場合には、利用者の動きの速度や操作装置の動きの速度に応じて、受け付ける操作内容の速度を変更しても良い。例えば、メス型の操作装置が水平に移動されることで、立体画像を水平方向に移動する操作内容を受け付ける場合を例に説明する。この場合、メス型の操作装置が早く移動されればされるほど、立体画像を早く移動させる操作指示として受け付ける。
【０１２８】
また、例えば、立体画像を移動したり回転したりする操作を受け付けた場合には、利用者により別の操作内容を受け付けるまで、立体画像を移動し続けたり回転し続けたりしても良い。
【０１２９】
［立体画像に対する動きの反映］
操作装置により、関心領域の設定を受け付ける手法の一例について説明した上で、操作装置に対する動きを立体画像に反映する場合について説明する。例えば、ワークステーション１３０は、関心領域の設定を受け付けるための処理を開始する旨の指示を利用者から受け付けると、任意の座標や任意の関心領域が表示された立体画像を表示するための視差画像を生成させるレンダリング条件をレンダリング処理部１３６に出力し、レンダリング処理部１３６により生成された視差画像を立体表示モニタに表示させる。つまり、ワークステーション１３０は、任意の座標が表示された立体画像、又は、任意の領域が関心領域として表示された立体画像を立体表示モニタが表示するように制御する。その上で、ワークステーション１３０は、任意の座標の位置を変更する操作や、立体画像における関心領域の位置や形状を変更する操作を受け付けると、受け付けた操作内容が反映された立体画像を表示するための視差画像を生成させるレンダリング条件をレンダリング処理部１３６に出力し、レンダリング処理部１３６により生成された視差画像を立体表示モニタに表示させる。その後、入力部１３１は、決定する操作を利用者から受け付けると、受け付けた時点における座標の設定又は関心領域の設定を受け付ける。ただし、上述した関心領域の設定の受け付け処理は一例であり、これに限定されるものではなく、任意の手法にて関心領域の設定を受け付けて良い。
【０１３０】
ここで、選択された座標や関心領域を示すポインタに３次元の形状を保持させることで、操作装置の動きを立体画像に反映しても良い。例えば、操作装置がひねられた場合には、ワークステーション１３０は、ひねられた形状となるポインタが表示される立体画像を表示するための視差画像を生成しても良い。また、操作装置が手前方向に動かされた場合には、短くなったポインタが表示される立体画像を表示するための視差画像を生成しても良い。また、操作装置が奥に向けて動かされた場合には、長くなったポインタが表示される立体画像を表示するための視差画像を生成しても良い。このように、ポインタの形状や長さ、向きを操作装置の動きに連動して変更することで、操作装置に対する操作内容を立体画像において簡単に把握することが可能となる。
【０１３１】
この結果、臨床上、他者に関心領域を指し示して何かを説明したい場合に非常に有用となる。例えば、術前のプランニングにおいて、アプローチの方向やメスなどの動きの説明が容易となる。また、ポインタの長さにより奥行きの深さが表されることとなり、ポインタの位置を直感的に把握可能となる。
【０１３２】
［透過性］
また、例えば、立体画像にポインタが表示されている場合に、ワークステーション１３０は、ポインタより手前側に位置する被検体の部分に透過性を持たせても良い。言い換えると、ポインタよりも手前の被検体が透過性を有する立体画像を表示するための視差画像を生成しても良い。
【０１３３】
また、例えば、立体画像にポインタが表示されている場合に、ワークステーション１３０は、ポインタから所定の範囲内にある被検体の部分と、ポインタから所定の範囲外にある被検体の部分とが区別可能となる立体画像を表示するための視差画像を生成しても良い。例えば、ポインタから所定の範囲内にある被検体の部分が明確に利用者により表示される一方、ポインタから所定の範囲外にある被検体の部分については、透過性を有するようにすることで利用者にぼやけて表示されるようにしても良い。この結果、利用者が関心領域に集中することが可能となる。
【０１３４】
［ポインタの位置］
また、例えば、立体画像にポインタとグリッドとが表示されている場合、ワークステーション１３０は、グリッドの内、ポインタに対応する位置が他の位置と区別可能となる立体画像を表示するための視差画像を生成しても良い。例えば、グリッドの内、ポインタに対応する位置に色を付けても良い。
【０１３５】
図２０は、立体画像にポインタとグリッドとが表示されている立体画像の一例を示す図である。図２０に示すように、ワークステーション１３０は、ポインタに対応する半透明のグリッド３７１が表示される立体画像を表示するための視差画像を生成しても良い。
【０１３６】
［重畳視差画像］
また、例えば、上述した実施形態では、アノテーションの立体画像を表示するための視差画像と、被検体の立体画像を表示するための視差画像とが重畳された重畳視差画像が表示されることで、立体画像が立体表示される場合を用いて説明した。ここで、重畳視差画像には、アノテーションの立体画像を表示するための視差画像が一つ又は複数重畳されていても良く、被検体の立体画像を表示するための視差画像が一つ又は複数重畳されても良い。
【０１３７】
また、例えば、上述した実施形態では、アノテーションの立体画像を表示するための視差画像がオーバーレイ画像となる場合について説明したが、これに限定されるものではなく、被検体の立体画像を表示するための視差画像がオーバーレイ画像となっても良い。
【０１３８】
［システム構成］
また、本実施形態において説明した各処理の内、自動的に行われるものとして説明した処理の全部又は一部を手動的に行うこともでき、或いは、手動的に行われるものとして説明した処理の全部又は一部を公知の方法で自動的に行うこともできる。この他、上述文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報（図１〜１５）については、特記する場合を除いて任意に変更することができる。
【０１３９】
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。例えば、ワークステーション１３０の制御部１３５をワークステーション１３０の外部装置としてネットワーク経由で接続するようにしても良い。
【０１４０】
［その他］
なお、本実施形態で説明した画像処理プログラムは、インターネットなどのネットワークを介して配布することができる。また、画像処理プログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ブルーレイなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することもできる。
【０１４１】
［実施形態の効果］
以上述べた少なくとも一つの実施形態の画像処理装置によれば、アノテーションの立体画像を表示するための第１の視差画像と、被検体の立体画像を表示するための第２の視差画像とが重畳された第１の重畳視差画像を表示することで、アノテーションの立体画像と被検体の立体画像とが重畳された重畳立体画像を立体表示する。また、第２の視差画像の視差角とは異なる視差角にて、被検体の立体画像を表示するための第３の視差画像が生成される場合に、変更後の視差角に基づいてアノテーションの立体画像を表示するための第４の視差画像を生成する。生成した第４の視差画像と第３の視差画像とが重畳された第２の重畳視差画像を生成し、第２の重畳視差画像を表示することで、視差角変更後における重畳立体画像を立体表示する。この結果、立体画像の適切な位置にアノテーションを表示可能となる。
【０１４２】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【０１４３】
１１０ 医用画像診断装置
１２０ 画像保管装置
１３０ ワークステーション
１３５ 制御部
【特許請求の範囲】
【請求項１】
アノテーションの立体画像を表示するための第１の視差画像と、被検体の立体画像を表示するための第２の視差画像とが重畳された第１の重畳視差画像を表示することで、該アノテーションの立体画像と該被検体の立体画像とが重畳された重畳立体画像を立体表示する表示制御部と、
前記第２の視差画像の視差角とは異なる視差角にて、前記被検体の立体画像を表示するための第３の視差画像が生成される場合に、変更後の視差角に基づいて前記アノテーションの立体画像を表示するための第４の視差画像を生成する視差画像生成部と、
前記視差画像生成部により生成された第４の視差画像と前記第３の視差画像とが重畳された第２の重畳視差画像を生成する重畳視差画像生成部とを備え、
前記表示制御部は、前記重畳視差画像生成部により生成された第２の重畳視差画像を表示することで、視差角変更後における重畳立体画像を立体表示することを特徴とする画像処理装置。
【請求項２】
前記第２の視差画像の視差角を変更する変更指示をユーザから受け付けると、変更指示により示される変更後の視差角に基づいて前記第３の視差画像を生成する第３の視差画像生成部を更に備えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
立体表示可能な飛び出し方向の臨界を示す飛び出し臨界内に、前記第２の視差画像を表示することで表示される前記被検体の立体画像が収まらない場合に、該被検体を表示するための視差画像の視差角を変更する飛出臨界内視差角変更部と、
前記飛出臨界内視差角変更部により変更された後の視差角に基づいて、前記第３の視差画像を生成する第３の視差画像生成部と
を更に備えることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
アノテーションの立体画像を表示するための第１の視差画像と、被検体の立体画像を表示するための第２の視差画像とが重畳された第１の重畳視差画像を表示することで、該アノテーションの立体画像と該被検体の立体画像とが重畳された重畳立体画像を立体表示する表示制御工程と、
前記第２の視差画像の視差角とは異なる視差角にて、前記被検体の立体画像を表示するための第３の視差画像が生成される場合に、変更後の視差角に基づいて前記アノテーションの立体画像を表示するための第４の視差画像を生成する視差画像生成工程と、
前記視差画像生成工程により生成された第４の視差画像と前記第３の視差画像とが重畳された第２の重畳視差画像を生成する重畳視差画像生成工程とを含み、
前記表示制御工程は、前記重畳視差画像生成工程により生成された第２の重畳視差画像を表示することで、視差角変更後における重畳立体画像を立体表示することを特徴とする画像処理方法。
【請求項５】
アノテーションの立体画像を表示するための第１の視差画像と、被検体の立体画像を表示するための第２の視差画像とが重畳された第１の重畳視差画像を表示することで、該アノテーションの立体画像と該被検体の立体画像とが重畳された重畳立体画像を立体表示する表示制御部と、
前記第２の視差画像の視差角とは異なる視差角にて、前記被検体の立体画像を表示するための第３の視差画像が生成される場合に、変更後の視差角に基づいて前記アノテーションの立体画像を表示するための第４の視差画像を生成する視差画像生成部と、
前記視差画像生成部により生成された第４の視差画像と前記第３の視差画像とが重畳された第２の重畳視差画像を生成する重畳視差画像生成部とを備え、
前記表示制御部は、前記重畳視差画像生成部により生成された第２の重畳視差画像を表示することで、視差角変更後における重畳立体画像を立体表示することを特徴とする画像処理システム。
【請求項６】
アノテーションの立体画像を表示するための第１の視差画像と、被検体の立体画像を表示するための第２の視差画像とが重畳された第１の重畳視差画像を表示することで、該アノテーションの立体画像と該被検体の立体画像とが重畳された重畳立体画像を立体表示する表示制御部と、
前記第２の視差画像の視差角とは異なる視差角にて、前記被検体の立体画像を表示するための第３の視差画像が生成される場合に、変更後の視差角に基づいて前記アノテーションの立体画像を表示するための第４の視差画像を生成する視差画像生成部と、
前記視差画像生成部により生成された第４の視差画像と前記第３の視差画像とが重畳された第２の重畳視差画像を生成する重畳視差画像生成部とを備え、
前記表示制御部は、前記重畳視差画像生成部により生成された第２の重畳視差画像を表示することで、視差角変更後における重畳立体画像を立体表示することを特徴とする医用画像診断装置。
【請求項１】
アノテーションの立体画像を表示するための第１の視差画像と、被検体の立体画像を表示するための第２の視差画像とが重畳された第１の重畳視差画像を表示することで、該アノテーションの立体画像と該被検体の立体画像とが重畳された重畳立体画像を立体表示する表示制御部と、
前記第２の視差画像の視差角とは異なる視差角にて、前記被検体の立体画像を表示するための第３の視差画像が生成される場合に、変更後の視差角に基づいて前記アノテーションの立体画像を表示するための第４の視差画像を生成する視差画像生成部と、
前記視差画像生成部により生成された第４の視差画像と前記第３の視差画像とが重畳された第２の重畳視差画像を生成する重畳視差画像生成部とを備え、
前記表示制御部は、前記重畳視差画像生成部により生成された第２の重畳視差画像を表示することで、視差角変更後における重畳立体画像を立体表示することを特徴とする画像処理装置。
【請求項２】
前記第２の視差画像の視差角を変更する変更指示をユーザから受け付けると、変更指示により示される変更後の視差角に基づいて前記第３の視差画像を生成する第３の視差画像生成部を更に備えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
立体表示可能な飛び出し方向の臨界を示す飛び出し臨界内に、前記第２の視差画像を表示することで表示される前記被検体の立体画像が収まらない場合に、該被検体を表示するための視差画像の視差角を変更する飛出臨界内視差角変更部と、
前記飛出臨界内視差角変更部により変更された後の視差角に基づいて、前記第３の視差画像を生成する第３の視差画像生成部と
を更に備えることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
アノテーションの立体画像を表示するための第１の視差画像と、被検体の立体画像を表示するための第２の視差画像とが重畳された第１の重畳視差画像を表示することで、該アノテーションの立体画像と該被検体の立体画像とが重畳された重畳立体画像を立体表示する表示制御工程と、
前記第２の視差画像の視差角とは異なる視差角にて、前記被検体の立体画像を表示するための第３の視差画像が生成される場合に、変更後の視差角に基づいて前記アノテーションの立体画像を表示するための第４の視差画像を生成する視差画像生成工程と、
前記視差画像生成工程により生成された第４の視差画像と前記第３の視差画像とが重畳された第２の重畳視差画像を生成する重畳視差画像生成工程とを含み、
前記表示制御工程は、前記重畳視差画像生成工程により生成された第２の重畳視差画像を表示することで、視差角変更後における重畳立体画像を立体表示することを特徴とする画像処理方法。
【請求項５】
アノテーションの立体画像を表示するための第１の視差画像と、被検体の立体画像を表示するための第２の視差画像とが重畳された第１の重畳視差画像を表示することで、該アノテーションの立体画像と該被検体の立体画像とが重畳された重畳立体画像を立体表示する表示制御部と、
前記第２の視差画像の視差角とは異なる視差角にて、前記被検体の立体画像を表示するための第３の視差画像が生成される場合に、変更後の視差角に基づいて前記アノテーションの立体画像を表示するための第４の視差画像を生成する視差画像生成部と、
前記視差画像生成部により生成された第４の視差画像と前記第３の視差画像とが重畳された第２の重畳視差画像を生成する重畳視差画像生成部とを備え、
前記表示制御部は、前記重畳視差画像生成部により生成された第２の重畳視差画像を表示することで、視差角変更後における重畳立体画像を立体表示することを特徴とする画像処理システム。
【請求項６】
アノテーションの立体画像を表示するための第１の視差画像と、被検体の立体画像を表示するための第２の視差画像とが重畳された第１の重畳視差画像を表示することで、該アノテーションの立体画像と該被検体の立体画像とが重畳された重畳立体画像を立体表示する表示制御部と、
前記第２の視差画像の視差角とは異なる視差角にて、前記被検体の立体画像を表示するための第３の視差画像が生成される場合に、変更後の視差角に基づいて前記アノテーションの立体画像を表示するための第４の視差画像を生成する視差画像生成部と、
前記視差画像生成部により生成された第４の視差画像と前記第３の視差画像とが重畳された第２の重畳視差画像を生成する重畳視差画像生成部とを備え、
前記表示制御部は、前記重畳視差画像生成部により生成された第２の重畳視差画像を表示することで、視差角変更後における重畳立体画像を立体表示することを特徴とする医用画像診断装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８−１】
【図８−２】
【図８−３】
【図９】
【図１０】
【図１１】
【図１２】
【図１３−１】
【図１３−２】
【図１３−３】
【図１４】
【図１５】
【図１６−１】
【図１６−２】
【図１６−３】
【図１６−４】
【図１６−５】
【図１６−６】
【図１７−１】
【図１７−２】
【図１７−３】
【図１７−４】
【図１７−５】
【図１７−６】
【図１８】
【図１９】
【図２０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８−１】
【図８−２】
【図８−３】
【図９】
【図１０】
【図１１】
【図１２】
【図１３−１】
【図１３−２】
【図１３−３】
【図１４】
【図１５】
【図１６−１】
【図１６−２】
【図１６−３】
【図１６−４】
【図１６−５】
【図１６−６】
【図１７−１】
【図１７−２】
【図１７−３】
【図１７−４】
【図１７−５】
【図１７−６】
【図１８】
【図１９】
【図２０】
【公開番号】特開２０１３−２６７９２（Ｐ２０１３−２６７９２Ａ）
【公開日】平成２５年２月４日（２０１３．２．４）
【国際特許分類】
【出願番号】特願２０１１−１５９２４０（Ｐ２０１１−１５９２４０）
【出願日】平成２３年７月２０日（２０１１．７．２０）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【出願人】（５９４１６４５４２）東芝メディカルシステムズ株式会社 (4,066)
【Ｆターム（参考）】
【公開日】平成２５年２月４日（２０１３．２．４）
【国際特許分類】
【出願日】平成２３年７月２０日（２０１１．７．２０）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【出願人】（５９４１６４５４２）東芝メディカルシステムズ株式会社 (4,066)
【Ｆターム（参考）】
[ Back to top ]