医用ガイドシステム
【課題】ガイド画像に描画される臓器または器官が被検者の配向状態に対してどの方向から見たものであるかを判りやすく示すことが可能な医用ガイドシステムを提供する。
【解決手段】本発明の医用ガイドシステムは、位置配向検出用素子が設けられた医用装置と、位置配向検出用素子の位置及び配向を検出し、検出結果を検出値として出力する検出部と、人体の解剖学的な画像からなる参照画像データを保持するデータ保持部と、検出値に応じ、医用装置の人体に対する３次元的な位置及び配向を、参照画像データに関連付けて示すためのガイド画像を生成するガイド画像生成部と、ガイド画像の３次元的な配向を示す指標を生成する指標生成部と、を有する。
【解決手段】本発明の医用ガイドシステムは、位置配向検出用素子が設けられた医用装置と、位置配向検出用素子の位置及び配向を検出し、検出結果を検出値として出力する検出部と、人体の解剖学的な画像からなる参照画像データを保持するデータ保持部と、検出値に応じ、医用装置の人体に対する３次元的な位置及び配向を、参照画像データに関連付けて示すためのガイド画像を生成するガイド画像生成部と、ガイド画像の３次元的な配向を示す指標を生成する指標生成部と、を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、医用ガイドシステムに関し、特に、人体の組織構造の３次元的な位置及び配向を視覚的に示すことが可能な医用ガイドシステムに関するものである。
【背景技術】
【０００２】
被検者の光学像を取得可能な内視鏡、及び、被検者の断層像を取得可能な超音波内視鏡等の体腔内プローブは、消化管、気管支、胆膵管または血管等の管腔内及び腹腔内へ挿入可能な構成を有しており、該管腔及び周辺臓器の観察及び診断等を行う場合において従来広く用いられている。
【０００３】
また、前記光学像及び前記断層像の情報だけでは、体腔内プローブを管腔の所望の部位まで進めるのが困難な場合に、例えば、体腔内プローブの先端部が該所望の部位へ容易に到達できるようにするために、ガイド画像が用いられる場合がある。
【０００４】
そして、前述したガイド画像を生成可能な機能を有する装置として、例えば、特許文献１に記載の装置が提案されている。
【０００５】
特許文献１には、体腔内プローブに設けられた複数の位置センサの検出結果に応じて該体腔内プローブの挿入形状画像を生成し、被検者の３次元データから該人体の３次元画像を生成し、該挿入形状画像と該被検者の３次元画像とを合成することによりガイド画像を生成可能な体腔内プローブ装置が記載されている。
【特許文献１】特開２００８−６１０８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
特許文献１の体腔内プローブ装置を用いて観察を行う場合においては、例えば、ガイド画像の視線方向を所望の視線方向に変更することにより、被検者内に挿入された状態の体腔内プローブが、該被検者内の臓器または器官の位置に対してどのような位置関係を具備して配置されているかを確認するという状況が想定される。
【０００７】
そして、前述した位置関係の確認のためにガイド画像の視線方向が変更されるに伴い、該ガイド画像に描画される臓器または器官の形状が通常見慣れたものとは異なる形状として見える場合がある。このような場合においては、前述した位置関係を一目で認識することが困難であるため、例えば、臓器または器官の形状が通常見慣れた形状となるようにガイド画像の視線方向を一旦戻した後、再度所望の視線方向に設定する、というような余分な操作を行う必要が生じる。すなわち、特許文献１の体腔内プローブ装置によれば、ガイド画像の視線方向が変更された際に、該ガイド画像に描画される臓器または器官が被検者の配向状態に対してどの方向から見たものであるかが一目では認識し辛い構成となっている。その結果、特許文献１の体腔内プローブ装置によれば、被検者に対する処置に要する時間が長くなってしまう、という問題点が生じている。
【０００８】
一方、特許文献１の体腔内プローブ装置により取得されたガイド画像は、例えば、処置後の被検者に対する説明の際に用いられる場合がある。しかし、臓器または器官の立体形状を見慣れていない多くの被検者にとっては、視線方向が変更された状態のガイド画像を見ながら術者の説明を受けたとしても、該ガイド画像に描画される臓器または器官が被検者の配向状態に対してどの方向から見たものであるかを理解し難い。
【０００９】
本発明は、前述した事情に鑑みてなされたものであり、ガイド画像に描画される臓器または器官が被検者の配向状態に対してどの方向から見たものであるかを判りやすく示すことが可能な医用ガイドシステムを提供することを目的としている。
【課題を解決するための手段】
【００１０】
本発明における医用ガイドシステムは、位置配向検出用素子が設けられた医用装置と、前記位置配向検出用素子の位置及び配向を検出し、検出結果を検出値として出力する検出部と、人体の解剖学的な画像からなる参照画像データを保持するデータ保持部と、前記検出値に応じ、前記医用装置の前記人体に対する３次元的な位置及び配向を、前記参照画像データに関連付けて示すためのガイド画像を生成するガイド画像生成部と、前記ガイド画像の３次元的な配向を示す指標を生成する指標生成部と、を有することを特徴とする。
【００１１】
本発明における医用ガイドシステムは、位置配向検出用素子が設けられた医用装置と、前記位置配向検出用素子の位置及び配向を検出し、検出結果を検出値として出力する検出部と、人体の解剖学的な画像からなる参照画像データを保持するデータ保持部と、前記検出値に応じ、前記医用装置の前記人体に対する３次元的な位置及び配向を、前記参照画像データに関連付けて示すためのガイド画像を生成するガイド画像生成部と、前記ガイド画像の３次元的な配向を示す指標を生成する指標生成部と、前記ガイド画像内の前記組織構造において、臓器または器官毎に表示態様を変更する表示態様変更部と、を有することを特徴とする。
【発明の効果】
【００１２】
本発明における医用ガイドシステムによると、ガイド画像に描画される臓器または器官が被検者の配向状態に対してどの方向から見たものであるかを判りやすく示すことが可能である。
【発明を実施するための最良の形態】
【００１３】
以下、図面を参照して本発明の実施形態を説明する。
【００１４】
図１から図１９は、本発明の実施形態に係るものである。図１は、本発明の第１の実施形態に係る医用ガイドシステムの要部の構成の一例を示す図である。図２は、第１の実施形態の医用ガイドシステムにより生成される立体ガイド画像の一例を示す図である。図３Ａは、第１の実施形態の医用ガイドシステムにより描画される被検者モデル画像の正面側の外観を示す図である。図３Ｂは、第１の実施形態の医用ガイドシステムにより描画される被検者モデル画像の背面側の外観を示す図である。図４は、第１の実施形態の医用ガイドシステムにより生成される断面ガイド画像の一例を示す図である。図５は、第１の実施形態の医用ガイドシステムにより生成される合成画像の一例を示す図である。
【００１５】
図６は、第１の実施形態の医用ガイドシステムにより生成される合成画像の、図５とは異なる例を示す図である。図７は、図６の立体ガイド画像における肝臓の３次元モデルを非表示にした場合の例を示す図である。図８は、図７の立体ガイド画像における胃及び十二指腸の３次元モデルを非表示にした場合の例を示す図である。図９は、図８の立体ガイド画像の視線方向を変更した場合の一例を示す図である。図１０は、図９の立体ガイド画像における腎臓の３次元モデルを非表示にした場合の例を示す図である。
【００１６】
図１１は、図８に示す合成画像の状態から、超音波振動子による走査位置を変更した場合の例を示す図である。図１２は、図１１の立体ガイド画像の視線方向を変更した場合の一例を示す図である。図１３は、図１２の立体ガイド画像における腎臓の３次元モデルを非表示にした場合の例を示す図である。図１４は、立体ガイド画像の視線方向の変更に応じた所定の処理が行われる前における、３次元生体組織モデルの各臓器の表示状態の一例を示す図である。図１５は、立体ガイド画像の視線方向の変更に応じた所定の処理が行われた後における、３次元生体組織モデルの表示状態の一例を示す図である。
【００１７】
図１６は、第１の実施形態の医用ガイドシステムにより生成される合成画像の、図５及び図６とは異なる例を示す図である。図１７は、図１６の超音波画像の表示レンジを狭めた場合の例を示す図である。図１８は、図１６の超音波画像の表示レンジを拡げた場合の例を示す図である。図１９は、図１６の断面ガイド画像のスケールを変更した場合の例を示す図である。
【００１８】
医用ガイドシステム１は、図１に示すように、医用装置としての超音波内視鏡２と、アンテナユニット３Ａと、検出部としての機能を有する位置検出装置３Ｂと、超音波診断装置４と、画像処理装置５と、医用ガイドシステム１の操作に係る種々の指示を行うことが可能な操作指示部６と、モニタ７と、複数の体表検出用コイル１０と、を要部として有して構成されている。
【００１９】
超音波内視鏡２は、被検者１００の体腔内へ挿入可能な先端部２１と、先端部２１の後端側に連設された細長の挿入部２２と、挿入部２２の後端側に連設された操作部２３と、種々の信号の入出力を行うための複数の信号線が内部に配設されたケーブル２４と、を具備している。
【００２０】
先端部２１は、コンベックス走査式（またはラジアル走査式）の超音波振動子２１ａと、外部から印加された磁界に応じて電気信号を出力するコイル２１ｂと、を具備している。
【００２１】
超音波振動子２１ａは、超音波診断装置４からの駆動信号に基づいて駆動し、生体の内部へ超音波ビームを出射する。また、超音波振動子２１ａは、生体の内部の生体組織において超音波ビームが反射した反射波を受波し、該反射波に応じたエコー信号を超音波診断装置４へ出力する。
【００２２】
挿入部２２には、外部から印加された磁界に応じて電気信号を出力するコイル２２ａが、長手方向に沿って複数配置されている。
【００２３】
操作部２３は、医用ガイドシステム１の操作に係る種々の指示を行うことが可能な、図示しないスイッチ等を有している。
【００２４】
ケーブル２４は、一端側が操作部２３から延出されているとともに、超音波診断装置４に接続可能なコネクタ２４ａが他端側に設けられている。また、コネクタ２４ａの内部には、超音波内視鏡２に関する種々の情報が格納された、例えばメモリ等からなるスコープＩＤ格納部２４ｂが設けられている。
【００２５】
なお、本実施形態のスコープＩＤ格納部２４ｂには、超音波内視鏡２に関する種々の情報として、例えば、超音波振動子２１ａに設けられた超音波アレイの配列の形状情報、及び、該超音波アレイの挿入部２２に対する実装位置配向情報等の情報が格納されているとする。そして、スコープＩＤ格納部２４ｂは、コネクタ２４ａが超音波診断装置４に接続された際に、前述した、超音波内視鏡２に関する種々の情報（以降、超音波走査情報と称する）を、超音波診断装置４へ出力する。
【００２６】
複数の体表検出用コイル１０は、被検者１００の体表上において、１つずつ異なる箇所に配置される。具体的には、体表検出用コイル１０は、例えば、被検者１００の体表上の４つの箇所である、剣状突起、左上前腸骨棘、右上前腸骨棘、及び、腰椎椎体棘突起に相当する箇所に夫々１つずつ配置される。また、複数の体表検出用コイル１０は、コイル２１ｂまたはコイル２２ａと同様の構成を夫々有しており、外部から印加された磁界に応じて電気信号を出力する。
【００２７】
アンテナユニット３Ａは、外部へ向けて磁界を放射する磁界放射アンテナ３１と、磁界放射アンテナ３１を駆動させるアンテナ駆動部３２と、を具備している。
【００２８】
位置検出装置３Ｂは、コイル２１ｂからの電気信号に基づき、コイル２１ｂが存在する位置、及び、コイル２１ｂの配向を特定するための演算を行うことにより、演算結果に応じた先端部位置・配向データを順次生成する。また、位置検出装置３Ｂは、各コイル２２ａからの電気信号に基づき、各コイル２２ａが存在する位置、及び、各コイル２２ａの配向を特定するための演算を行うことにより、演算結果に応じた挿入部位置・配向データを順次生成する。さらに、位置検出装置３Ｂは、各体表検出用コイル１０からの電気信号に基づき、各体表検出用コイル１０が存在する位置を特定するための演算を行うことにより、演算結果に応じた被検者位置・配向データを順次生成する。
【００２９】
そして、位置検出装置３Ｂは、生成した先端部位置・配向データと、挿入部位置・配向データと、被検者位置データとを併せて画像処理装置５へ出力する。さらに、位置検出装置３Ｂは、電源がオンされた際に、アンテナユニット３Ａの駆動に要する電力をアンテナ駆動部３２へ供給する。
【００３０】
超音波診断装置４は、超音波振動子２１ａを駆動させるための駆動信号を生成及び出力する。また、超音波診断装置４は、超音波振動子２１ａからのエコー信号に基づき、生体の断層像としての超音波画像を、スコープＩＤ格納部２４ｂの超音波走査情報に応じたフレームレートにより順次生成する。そして、超音波診断装置４は、生成した超音波画像を画像処理装置５へ順次出力する。
【００３１】
超音波診断装置４は、スコープＩＤ格納部２４ｂから出力される超音波走査情報に基づき、超音波振動子２１ａに設けられた超音波アレイの挿入部２２に対する実装位置配向情報、超音波振動子２１ａから出射される超音波ビームの出射方向の情報、超音波振動子２１ａから出射される超音波ビームによる走査範囲形状情報（画角情報）、超音波振動子２１ａから同時に出射され得る超音波ビームの本数の情報、超音波振動子２１ａから出射される超音波ビームのフォーカス個数及び位置の情報、及び、超音波振動子２１ａから出射される超音波ビームに応じたフレームレートの情報からなる走査状態データを検出する。
【００３２】
一方、超音波診断装置４は、各種の指示に係る指示信号が操作指示部６から入力された場合に、超音波振動子２１ａから出射される超音波ビームの出射方向、超音波振動子２１ａから出射される超音波ビームによる走査範囲形状（画角）、及び、超音波振動子２１ａから同時に出射される超音波ビームの本数を適宜変更するための制御を超音波振動子２１ａに対して行う。そして、超音波診断装置４は、前述した制御の内容を走査状態データに反映させつつ、変更後の走査状態データを画像処理装置５へ出力する。
【００３３】
また、超音波診断装置４は、モニタ７への画像出力（モニタ７における画像表示）に係る指示信号が操作指示部６から入力された場合に、該指示信号を画像処理装置５へ出力する。
【００３４】
画像処理装置５は、制御部５１と、データ保持部としての機能を有する記憶部５２と、ガイド画像生成部５３と、表示画像生成部５４と、を具備している。
【００３５】
制御部５１は、超音波診断装置４から出力される走査状態データに基づき、超音波振動子２１ａの走査状態が可視化された超音波断層像マーカを生成させるための制御をガイド画像生成部５３に対して行う。
【００３６】
制御部５１は、超音波診断装置４を介して入力される操作指示部６からの指示信号に基づき、モニタ７への画像出力（モニタ７における画像表示）状態を変更するための制御をガイド画像生成部５３及び表示画像生成部５４に対して行う。
【００３７】
ハードディスクドライブ等からなる記憶部５２は、画像処理装置５以外の他の装置と通信を行うための通信回線としてのネットワーク回線８を介し、例えば、Ｘ線３次元ヘリカルＣＴ装置または３次元ＭＲＩ装置等からなる３次元断層画像生成装置９と接続されている。これにより、記憶部５２には、３次元断層画像生成装置９を用いた走査を超音波内視鏡２の観察対象となる被検者１００に対して予め行うことにより得られた３次元断層画像が、ネットワーク回線８を介して各々入力及び蓄積される。また、記憶部５２には、３次元断層画像の取得対象となった被検者１００の頭足方向及び背腹方向を示すための体軸方向データが、該３次元断層画像に関連付けられた状態として入力される。
【００３８】
ガイド画像生成部５３は、位置検出装置３Ｂから出力される先端部位置・配向データと、挿入部位置・配向データとに基づき、超音波内視鏡２の挿入形状を示すための挿入形状データを生成する。
【００３９】
ガイド画像生成部５３は、制御部５１の制御と、位置検出装置３Ｂから出力される先端部位置・配向データとに基づき、超音波振動子２１ａの走査状態を可視化するための超音波断層像マーカ、及び、超音波振動子２１ａを含む先端部２１の構成を画像化したスコープ先端部マーカを生成する。
【００４０】
ガイド画像生成部５３は、記憶部５２に蓄積された３次元断層画像に基づき、被検者１００の内部に存在する臓器群等の組織構造の３次元生体組織モデルデータを生成する。
【００４１】
ガイド画像生成部５３は、指標生成部としての機能を有し、記憶部５２から読み込んだ体軸方向データに基づき、前記３次元生体組織モデルデータに対応する被検者モデル画像データを生成する。
【００４２】
そして、ガイド画像生成部５３は、制御部５１の制御に基づき、挿入形状データと、超音波断層像マーカと、スコープ先端部マーカと、３次元生体組織モデルデータと、被検者モデル画像データとを組み合わせることにより、各種ガイド画像を生成して表示画像生成部５４へ出力する。
【００４３】
表示画像生成部５４は、制御部５１の制御に基づき、超音波診断装置４から出力される超音波画像と、ガイド画像生成部５３から出力されるガイド画像とを合成した合成画像を生成した後、該合成画像に基づく映像信号を生成してモニタ７へ出力する。
【００４４】
操作指示部６は、文字入力の指示、及び、（例えば超音波画像の左右反転等の）所定の機能の実行の指示に係る指示信号を出力するキーボード６ａと、モニタ７の画面上に表示されるポインタの操作等の指示に係る指示信号を出力するマウス６ｂと、を具備している。
【００４５】
モニタ７は、画像処理装置５からの映像信号に応じた種々の画像を画面上に表示する。
【００４６】
次に、医用ガイドシステム１の作用について説明を行う。なお、以降においては、超音波振動子２１ａがコンベックス走査式である場合についての説明を主に行うものとする。
【００４７】
まず、術者等は、医用ガイドシステム１の各部の電源を投入することにより、該各部を起動状態とする。また、術者等は、３次元断層画像生成装置９からの３次元断層画像が画像処理装置５に入力される事前に、該３次元断層画像を参照しながら、該３次元断層画像における頭足方向及び背腹方向を指定する。そして、３次元断層画像における頭足方向及び背腹方向の指定結果は、該３次元断層画像に関連付けられた体軸方向データとして画像処理装置５に入力される。
【００４８】
なお、前記体軸方向データは、術者等の指定により設定されるものに限らず、３次元断層画像生成装置９における３次元断層画像の取得時に埋め込まれたものであってもよい。
【００４９】
さらに、術者等は、３次元断層画像生成装置９からの３次元断層画像が画像処理装置５に入力される事前に、該３次元断層画像を参照しながら、被検者１００に４個の体表検出用コイル１０を取り付けた位置に相当する該３次元断層画像の位置を夫々指定する。そして、３次元断層画像における体表検出用コイル１０を取り付けた位置の指定結果は、３次元断層画像上体表検出用コイル座標として画像処理装置５に入力される。
【００５０】
超音波振動子２１ａは、超音波診断装置４の起動に伴って駆動し、生体の内部へ超音波ビームを出射した後、該生体の内部の生体組織において超音波ビームが反射した反射波を受波し、該反射波に応じたエコー信号を出力する。
【００５１】
超音波診断装置４は、超音波振動子２１ａからのエコー信号に基づき、生体の断層像としての超音波画像を、スコープＩＤ格納部２４ｂの超音波走査情報に応じたフレームレートにより順次生成する。そして、超音波診断装置４は、生成した超音波画像を画像処理装置５へ順次出力する。
【００５２】
一方、コイル２１ｂ、各コイル２２ａ及び各体表検出用コイル１０は、アンテナユニット３Ａの起動に伴って印加された磁界を検知し、検知した磁界に応じた電気信号を夫々位置検出装置３Ｂへ出力する。
【００５３】
位置検出装置３Ｂは、超音波内視鏡２からの電気信号に基づいてコイル２１ｂ及び各コイル２２ａが存在する位置、及び、コイル２１ｂ及び各コイル２２ａの配向を特定するための演算を行う。そして、位置検出装置３Ｂは、前述の演算により得られた先端部位置・配向データ及び挿入部位置・配向データを画像処理装置５へ出力する。また、位置検出装置３Ｂは、各体表検出用コイル１０からの電気信号に基づき、各体表検出用コイル１０が存在する位置を特定するための演算を行うことにより、演算結果に応じた被検者位置データを画像処理装置５へ出力する。
【００５４】
ガイド画像生成部５３は、記憶部５２に蓄積された３次元断層画像に基づき、被検者１００の内部における臓器及び血管等の３次元生体組織モデルデータを生成するとともに、体軸方向データを記憶部５２から読み出す。
【００５５】
一方、ガイド画像生成部５３は、前述の３次元断層画像上体表検出用コイル座標と、位置検出装置３Ｂにより算出された各体表検出用コイル１０の位置とに基づき、３次元生体組織モデルデータと、被検者１００の位置及び配向との対応付けを行う。
【００５６】
そして、ガイド画像生成部５３は、前述の対応付けの結果と、位置検出装置３Ｂにより算出された先端部位置・配向データ及び挿入部位置・配向データとに基づき、３次元生体組織モデルデータにおける先端部２１の位置及び配向と、該３次元生体組織モデルデータにおける挿入部２２の位置及び配向とを決定するための演算を行う。さらに、ガイド画像生成部５３は、この演算結果に基づき、挿入形状データと、超音波断層像マーカと、スコープ先端部マーカとを３次元生体組織モデルデータ上に合成した、３次元合成データを生成する。
【００５７】
その後、ガイド画像生成部５３は、生成した３次元合成データを制御部５１の制御に応じた視線方向に合わせるとともに、該視線方向及び体軸方向データに基づき、３次元生体組織モデルデータの配向状態に対応する方向の被検者モデル画像を生成して重畳することにより、例えば図２に示すような立体ガイド画像１０１を生成する。なお、図２に示す立体ガイド画像１０１は、左側臥位をとっている被検者１００を正面から見た視線方向における例を示すものである。
【００５８】
図２の立体ガイド画像１０１によれば、現在の視線方向における立体ガイド画像１０１の配向状態が、被検者モデル画像１０１ａとして示されている。
【００５９】
被検者モデル画像１０１ａは、例えば図３Ａ及び図３Ｂに示すように、頭足方向及び背腹方向の区別が可能な、人型を模した形状を具備している。また、図３Ａに示すように、被検者モデル画像１０１ａの正面側（腹側）には、人体の頭に相当する部分に目が描画されている。一方、図３Ｂに示すように、被検者モデル画像１０１ａの背面側（背中側）には、人体の頭に相当する部分に目が描画されていない。
【００６０】
図２の立体ガイド画像１０１によれば、臓器等の生体組織が、夫々別々の色になるように色分けされ、かつ、被検者１００の配向状態と相対的に一致するような３次元生体組織モデル１０１ｂとして示されている。
【００６１】
図２の立体ガイド画像１０１によれば、３次元生体組織モデル１０１ｂとして示された臓器等に対する先端部２１及び挿入部２２の位置関係（及び挿入部２２の湾曲状態）が、挿入形状画像１０１ｃとして示されている。
【００６２】
図２の立体ガイド画像１０１によれば、３次元生体組織モデル１０１ｂとして示された臓器等において、超音波振動子２１ａからの超音波ビームによる走査がリアルタイムに行われている部位が、超音波断層像マーカ１０１ｄにより示されている。
【００６３】
一方、ガイド画像生成部５３は、３次元生体組織モデルデータと被検者１００の位置及び配向との対応付けの結果と、位置検出装置３Ｂにより算出された先端部位置・配向データとに基づき、超音波振動子２１ａからの超音波ビームによる走査が行われている面（超音波断層像マーカ１０１ｄとして示す面）に沿って３次元生体組織モデル１０１ｂを切断した切断面を、超音波診断装置４から出力される超音波画像と同一の配向状態として示した断面ガイド画像１０２を生成する。また、ガイド画像生成部５３は、体軸方向データに基づき、断面ガイド画像１０２における３次元生体組織モデルに対応する方向の被検者モデル画像１０２ｃを生成する。
【００６４】
なお、被検者モデル画像１０２ｃの外観は、図３Ａ及び図３Ｂに示したように、被検者モデル画像１０１ａと同様のものである。
【００６５】
図４の断面ガイド画像１０２によれば、超音波振動子２１ａを含む先端部２１の位置がスコープ先端部マーカ１０２ａにより示されている。なお、本実施形態のスコープ先端部マーカ１０２ａは、断面ガイド画像１０２における上部中央付近に位置が固定された状態として示される（描画される）。
【００６６】
図４の断面ガイド画像１０２によれば、超音波画像１０３の表示範囲に比べて広い範囲が描画されている。また、図４の断面ガイド画像１０２によれば、超音波画像１０３の表示範囲内の領域を示す超音波描出範囲と、超音波画像１０３の表示範囲外の領域を示す周辺範囲とが、矩形形状（例えば正方形）の平面として生成された超音波描出範囲枠１０２ｂにより夫々区別された状態として示されている。
【００６７】
超音波描出範囲枠１０２ｂの内側の領域に相当する「超音波描出範囲」は、モニタ７における超音波画像の表示部分を示している。
【００６８】
超音波描出範囲枠１０２ｂの内側の領域に相当する「超音波描出範囲」においては、超音波振動子２１ａからの超音波ビームによる走査が行われている面に沿って立体ガイド画像１０１を切断した切断面が示されている。
【００６９】
超音波描出範囲枠１０２ｂの外側の領域に相当する「周辺範囲」は、モニタ７に表示されている超音波画像よりも外側の領域を示している。
【００７０】
超音波描出範囲枠１０２ｂの外側の領域に相当する「周辺範囲」の各部は、陰影を伴い、かつ、超音波描出範囲枠１０２ｂの内側の領域に相当する「超音波描出範囲」の各部に比べて低い明度（または彩度）を具備するように示されている。
【００７１】
すなわち、「超音波描出範囲」の各部は、「周辺範囲」の各部とは異なる表示態様（明度または彩度）により描画される。
【００７２】
また、前述の「超音波描出範囲」及び「周辺範囲」においては、超音波振動子２１ａからの超音波ビームによる走査が行われている面に垂直な方向に関しては、立体ガイド画像１０１を切断した切断面より奥側の各部が、陰影を伴い、かつ、透けて見えるように示されている。
【００７３】
ガイド画像生成部５３は、立体ガイド画像１０１及び断面ガイド画像１０２と、後述する操作パネルと、を表示画像生成部５４へ出力する。
【００７４】
表示画像生成部５４は、制御部５１の制御に基づき、超音波画像と、立体ガイド画像１０１と、断面ガイド画像１０２と、後述する操作パネルと、を合成した合成画像を生成した後、該合成画像に基づく映像信号を生成してモニタ７へ出力する。これにより、モニタ７には、例えば図５に示すような合成画像が表示される。
【００７５】
図５に一例として示す合成画像によれば、略同一のサイズを具備する立体ガイド画像１０１及び断面ガイド画像１０２が画面の左側の領域に配置され、また、超音波画像１０３が画面の右側の領域に配置されつつ表示される。
【００７６】
また、図５に一例として示す合成画像によれば、立体ガイド画像１０１内の３次元生体組織モデル１０１ｂの配向状態に対応する方向の被検者モデル画像１０１ａと、断面ガイド画像１０２内の３次元生体組織モデルの配向状態に対応する方向の被検者モデル画像１０２ｃと、が表示されている。
【００７７】
なお、被検者モデル画像１０２ｃの方向は、断面ガイド画像１０２内の３次元生体組織モデルと略同一の方向である超音波画像１０３における臓器の配向を示している、ということもできる。
【００７８】
超音波画像１０３においては、断面ガイド画像１０２におけるスコープ先端部マーカ１０２ａと略同様に、超音波振動子２１ａを含む先端部２１の位置がスコープ先端部マーカ１０３ａにより示されている。また、超音波画像１０３の周囲には、自身の表示範囲を示す超音波画像枠１０３ｂが描画されている。なお、本実施形態の超音波画像枠１０３ｂは、前述の超音波描出範囲枠１０２ｂと同一の表示態様により描画される。
【００７９】
なお、本実施形態のスコープ先端部マーカ１０３ａは、超音波画像１０３における上部中央付近に位置が固定された状態として示される（描画される）。また、本実施形態においては、超音波内視鏡２が通常の観察光学系を具備する場合に、対物レンズが配置された位置がスコープ先端部マーカ１０３ａに併せて示される（描画される）ものであっても良い。
【００８０】
図５に一例として示す合成画像によれば、画像表示の状態の確認及び変更が可能な操作パネル１０４が画面の最下部に配置されている。
【００８１】
操作パネル１０４は、例えば図示しないマウスカーソルにより操作可能な複数のボタン等を具備して構成されている。具体的には、操作パネル１０４には、例えば、３次元生体組織モデル１０１ｂとして描画された臓器等の表示状態（透明度）及び表示色を変更するためのボタン、画面の表示モード（分割表示状態）を切り替えるためのボタン、及び、超音波画像１０３の表示レンジを拡大または縮小するためのボタン等が設けられている。
【００８２】
なお、本実施形態においては、操作パネル１０４の操作により、立体ガイド画像１０１内の３次元生体組織モデル１０１ｂとして描画された一の臓器の表示状態（透明度）と、断面ガイド画像１０２として描画された該一の臓器の表示状態（透明度）とを別個に切り替え可能であるとする。また、本実施形態においては、操作パネル１０４の操作により、立体ガイド画像１０１内の３次元生体組織モデル１０１ｂとして描画された一の臓器の表示色と、断面ガイド画像１０２として描画された該一の臓器の表示色とが連動しつつ同じ色に切り替わるものとする。
【００８３】
具体的には、例えば、立体ガイド画像１０１内の肝臓の３次元モデルの表示状態を非表示に設定する（透明度を１００％に設定する）指示が操作パネル１０４においてなされた場合、該指示が制御部５１に入力される。その後、ガイド画像生成部５３は、前記指示に応じた制御部５１の制御に基づき、立体ガイド画像１０１内の肝臓の３次元モデルを不可視状態にしつつ、断面ガイド画像１０２内の肝臓の３次元モデルを可視状態のままに保つ。そして、表示態様変更部としての機能を有するガイド画像生成部５３は、臓器等の表示状態（透明度）を変更するための指示が操作パネル１０４において行われる毎に、前述した処理を行う。
【００８４】
なお、本実施形態のキーボード６ａは、操作パネル１０４の操作により実現可能な各種機能と同様の機能を実現するためのキーまたはスイッチ等を夫々具備するものであってもよい。
【００８５】
ここで、医用ガイドシステム１の使用状況に応じて適宜操作を行うことにより、モニタ７における画像の表示状態がどのように遷移するかについて、具体例を挙げながら説明する。
【００８６】
図６の合成画像によれば、左側臥位をとっている被検者１００の正面から見た場合の立体ガイド画像１０１と、超音波振動子２１ａからの超音波ビームによる走査が行われている面（超音波断層像マーカ１０１ｄとして示す面）に沿って立体ガイド画像１０１（３次元生体組織モデル１０１ｂ）を切断した切断面を、超音波診断装置４から出力される超音波画像と同一の配向状態として示した断面ガイド画像１０２とが示されている。
【００８７】
また、図６の被検者モデル画像１０１ａは、立体ガイド画像１０１の視線方向が、左側臥位をとっている被検者１００の正面側であることを示すように描画されている。また、図６の被検者モデル画像１０２ｃは、断面ガイド画像１０２の切断面が、被検者１００の正面から見た方向であり、断面の右側が被検者１００の頭側であることを示すように描画されている。
【００８８】
一方、術者は、図６の立体ガイド画像１０１を見ながら、挿入形状画像１０１ｃが肝臓の裏側に隠れて見えなくなってしまっていることを確認しつつ、例えば操作パネル１０４を操作することにより、立体ガイド画像１０１内の肝臓の３次元モデルの表示状態を非表示に設定する（透明度を１００％に設定する）。このような術者の操作に応じ、モニタ７に表示される立体ガイド画像１０１が、図６に示すものから図７に示すものへ遷移する。
【００８９】
さらに、術者は、図７の立体ガイド画像１０１を見ながら、挿入形状画像１０１ｃが胃及び十二指腸の裏側に隠れて見えなくなってしまっていることを確認しつつ、例えば操作パネル１０４を操作することにより、立体ガイド画像１０１内の胃及び十二指腸の３次元モデルの表示状態を非表示に設定する（透明度を１００％に設定する）。このような術者の操作に応じ、モニタ７に表示される立体ガイド画像１０１が、図７に示すものから図８に示すものへ遷移する。
【００９０】
術者は、図８の立体ガイド画像１０１の挿入形状画像１０１ｃを見ながら、挿入部２２の位置を確認する。その後、術者は、例えばキーボード６ａまたはマウス６ｂを操作することにより、図８の立体ガイド画像１０１の視線方向を変更する。このような術者の操作に応じ、モニタ７に表示される立体ガイド画像１０１が、図８に示すものから図９に示すものへ遷移する。
【００９１】
図９の立体ガイド画像１０１は、左側臥位をとっている被検者１００の右側面側から見た場合であって、かつ、３次元生体組織モデル１０１ｂの向きを斜めに傾けた場合のものである。また、図９の立体ガイド画像１０１によれば、立体ガイド画像１０１における視線方向の変更に応じて配向状態が変更された被検者モデル画像１０１ａが示されている。さらに、図９の立体ガイド画像１０１によれば、挿入形状画像１０１ｃ及び超音波断層像マーカ１０１ｄの見え方も、立体ガイド画像１０１における視線方向の変更に応じて変更されつつ描画されている。
【００９２】
なお、図９の合成画像においては、立体ガイド画像１０１における視線方向が変更されたのみであり、超音波振動子２１ａによる走査位置については変更されていない。そのため、図９の合成画像における断面ガイド画像１０２、被検者モデル画像１０２ｃ、及び、超音波画像１０３は、図８に示す合成画像と同一のものである。
【００９３】
一方、術者は、図９の立体ガイド画像１０１の超音波断層像マーカ１０１ｄを見ながら、超音波振動子２１ａによる走査位置がどの位置であるかを把握する。また、術者は、図９の立体ガイド画像１０１を見ながら、挿入形状画像１０１ｃの先端部の位置が判りにくくなっていることを確認しつつ、例えば操作パネル１０４を操作することにより、立体ガイド画像１０１内の腎臓の３次元モデルの表示状態を非表示に設定する（透明度を１００％に設定する）。このような術者の操作に応じ、モニタ７に表示される立体ガイド画像１０１が、図９に示すものから図１０に示すものへ遷移する。そして、術者は、図１０の立体ガイド画像１０１の挿入形状画像１０１ｃを見ながら、先端部２１の位置を確認する。
【００９４】
ところで、医用ガイドシステム１においては、超音波振動子２１ａによる走査位置を適宜変更しながら観察を行う。そのため、術者は、図６の立体ガイド画像１０１及び断面ガイド画像１０２を見ながら、先端部２１を変移させることにより、超音波振動子２１ａによる走査位置を変更する。そして、このような術者の操作に応じ、モニタ７に表示される立体ガイド画像１０１が、図８に示すものから図１１に示すものへ遷移する。
【００９５】
図１１の合成画像によれば、超音波振動子２１ａによる走査位置の変更に伴い、立体ガイド画像１０１における超音波断層像マーカ１０１ｄの描画位置、及び、断面ガイド画像１０２として描画される切断面の範囲が夫々変更されている。
【００９６】
また、図１１の被検者モデル画像１０２ｃは、断面ガイド画像１０２の切断面が、被検者１００の背中側かつ右側から見た方向であり、断面の右側が被検者の頭側であることを示すように描画されている。
【００９７】
術者は、図１１の立体ガイド画像１０１の超音波断層像マーカ１０１ｄを見ながら、超音波振動子２１ａによる走査位置が胆嚢に対してどの位置であるかを把握する。その後、術者は、例えばキーボード６ａまたはマウス６ｂを操作することにより、図１１の立体ガイド画像１０１の視線方向を変更する。このような術者の操作に応じ、モニタ７に表示される立体ガイド画像１０１が、図１１に示すものから図１２に示すものへ遷移する。
【００９８】
図１２の立体ガイド画像１０１は、左側臥位をとっている被検者１００の右側面側から見た場合であって、かつ、３次元生体組織モデル１０１ｂの向きを若干斜めに傾けた場合のものである。また、図１２の立体ガイド画像１０１によれば、立体ガイド画像１０１における視線方向の変更に応じて配向状態が変更された被検者モデル画像１０１ａが示されている。さらに、図１２の立体ガイド画像１０１によれば、超音波断層像マーカ１０１ｄの見え方も、立体ガイド画像１０１における視線方向の変更に応じて変更されつつ描画されている。
【００９９】
なお、図１２の合成画像においては、立体ガイド画像１０１における視線方向が変更されたのみであり、超音波振動子２１ａによる走査位置については変更されていない。そのため、図１２の合成画像における断面ガイド画像１０２、被検者モデル画像１０２ｃ、及び、超音波画像１０３は、図１１に示す合成画像と同一のものである。
【０１００】
一方、術者は、図１２の立体ガイド画像１０１を見ながら、腎臓の裏側に隠れている部分があることを確認しつつ、例えば操作パネル１０４を操作することにより、立体ガイド画像１０１内の腎臓の３次元モデルの表示状態を非表示に設定する（透明度を１００％に設定する）。このような術者の操作に応じ、モニタ７に表示される立体ガイド画像１０１が、図１２に示すものから図１３に示すものへ遷移する。
【０１０１】
なお、本実施形態の医用ガイドシステム１においては、以上に述べた具体例のように、３次元生体組織モデル１０１ｂとして描画されている臓器または器官の３次元モデルの表示状態（透明度）が、手動操作により適宜変更されるものに限らず、画像処理装置５の処理により適宜変更されるものであってもよい。
【０１０２】
この場合、画像処理装置５のガイド画像生成部５３は、先端部位置・配向データと、立体ガイド画像１０１の視線方向として設定された方向とに基づき、３次元生体組織モデル１０１ｂ、挿入形状画像１０１ｃ及び超音波断層像マーカ１０１ｄを立体ガイド画像１０１として描画する際の投影面を決定する。
【０１０３】
そして、ガイド画像生成部５３は、例えば図１４に示すように、スコープ先端部マーカの位置Ｓを通り、かつ、前記投影面に対して垂直な直線Ｌを設定する。この場合、図１４に示すように、直線Ｌに沿って視線方向と順方向に見た場合のスコープ先端部マーカの位置Ｓは、３次元生体組織モデル１０１ｂにおいて、臓器Ａ、臓器Ｂ及び臓器Ｃの各臓器の３次元モデルの裏側にあるといえる。
【０１０４】
一方、ガイド画像生成部５３は、直線Ｌに沿って存在する各ボクセルデータのボクセル値を、スコープ先端部マーカの位置Ｓを始点としつつ、視線方向と逆方向に順次検出する。
【０１０５】
その後、ガイド画像生成部５３は、前述のボクセル値の検出結果に基づき、スコープ先端部マーカの位置Ｓに最も近い一の臓器としての、例えば図１４における臓器Ｃの３次元モデルの表示状態を半透明表示に設定する（透明度を５０％に設定する）。また、ガイド画像生成部５３は、前述のボクセル値の検出結果に基づき、スコープ先端部マーカの位置Ｓに最も近い一の臓器以外の他の臓器として、例えば図１４における臓器Ａ及び臓器Ｂが存在する場合、該臓器Ａ及び該臓器Ｂの３次元モデルの表示状態を各々非表示に設定する（透明度を１００％に設定する）。
【０１０６】
なお、図１４に示す３次元生体組織モデル１０１ｂのうち、直線Ｌ上にボクセルデータが存在し、かつ、スコープ先端部マーカの位置Ｓに対して視線方向と順方向側の位置に描画される臓器Ｄの３次元モデルについては、表示するものとして設定される（透明度０％として設定される）。また、図１４に示す３次元生体組織モデル１０１ｂのうち、直線Ｌ上におけるボクセルデータが全く存在しない臓器Ｅの３次元モデルについても、表示するものとして設定される（透明度０％として設定される）。
【０１０７】
そして、ガイド画像生成部５３は、以上に述べた処理を行うことにより、臓器Ａ及び臓器Ｂの３次元モデルが夫々不可視状態（透明度１００％）であり、臓器Ｃの３次元モデルが半透明状態（透明度５０％）であり、かつ、臓器Ｄ及び臓器Ｅの３次元モデルが夫々可視状態（透明度０％）であるような、図１５に示す表示状態を具備するものとして３次元生体組織モデル１０１ｂの描画を行う。
【０１０８】
このような処理を行うことにより、ガイド画像生成部５３は、３次元生体組織モデル１０１ｂに含まれる臓器または器官の３次元モデルの表示状態（透明度）を、設定された視線方向に応じて適宜変更することができる。このようなガイド画像生成部５３の構成及び作用によれば、立体ガイド画像１０１の視線方向が変更された場合であっても、挿入形状画像１０１ｃの先端部に相当する部分が見つけやすくなるように、３次元生体組織モデル１０１ｂとして描画されている臓器または器官の３次元モデルの表示状態（透明度）を適宜変更することができるため、結果的に、被検者に対する処置に費やされる時間を短縮することができる。
【０１０９】
また、前述の処理を行うことにより、ガイド画像生成部５３は、３次元生体組織モデル１０１ｂに含まれる臓器または器官の３次元モデルの表示状態（透明度）を、スコープ先端部マーカ１０２ａの位置に応じて適宜変更することができる。このようなガイド画像生成部５３の構成及び作用によれば、先端部２１の位置を変移させることにより超音波振動子２１ａの走査位置を変更した場合であっても、挿入形状画像１０１ｃの先端部に相当する部分が見えるように、３次元生体組織モデル１０１ｂとして描画されている臓器または器官の３次元モデルの表示状態（透明度）を適宜変更することができるため、結果的に、被検者に対する処置に費やされる時間を短縮することができる。
【０１１０】
以上に述べた医用ガイドシステム１によれば、立体ガイド画像１０１における視線方向の変更に伴って被検者モデル画像１０１ａが回転する。これにより、以上に述べた医用ガイドシステム１は、立体ガイド画像１０１に描画される３次元生体組織モデル１０１ｂに含まれる臓器または器官の３次元モデルが被検者の配向状態に対してどの方向から見たものであるかを判りやすく示すことが可能である。
【０１１１】
以上に述べた医用ガイドシステム１によれば、先端部２１の位置を変移させることによる超音波振動子２１ａの走査位置の変更に伴い、超音波画像１０３と断面ガイド画像１０２内の３次元生体組織モデルとの方向が変更され、かつ、被検者モデル画像１０２ｃが回転する。これにより、以上に述べた医用ガイドシステム１は、超音波画像１０３及び断面ガイド画像１０２が被検者の配向状態に対してどの方向から見たものであるかを判りやすく示すことが可能である。
【０１１２】
以上に述べた医用ガイドシステム１を用いた場合、術者は、例えば、被検者に対する処置を行っている最中において、ガイド画像に描画される臓器または器官の立体形状が該被検者の配向状態に対してどの方向から見たものであるかを一目で認識することができる。また、術者は、以上に述べた医用ガイドシステム１を用いた場合、例えば、ガイド画像に描画される臓器または器官が該被検者の配向状態に対してどの方向から見たものであるかを、例えば処置後の被検者等に対して分かりやすく説明することができる。
【０１１３】
なお、本実施形態の画像処理装置５（のガイド画像生成部５３）により描画される被検者モデル画像１０１ａ及び被検者モデル画像１０２ｃは、図３Ａ及び図３Ｂに示すような、人型を模した形状を具備するものに限らない。具体的には、本実施形態の画像処理装置５（のガイド画像生成部５３）は、例えば、被検者１００の右側から左側の方向を示す第１の矢印と、被検者１００の足側から頭側の方向を示す第２の矢印と、からなる２つ１組の矢印を各被検者モデル画像の代わりに描画するものであってもよい。
【０１１４】
以上に述べた医用ガイドシステム１によれば、３次元生体組織モデル１０１ｂに含まれる臓器または器官の３次元モデルの表示状態（透明度）を適宜変更することができる。これにより、術者は、被検者の体腔内に挿入された超音波内視鏡と、該体腔内に存在する臓器または器官との位置関係を容易に把握することができる。
【０１１５】
具体的には、以上に述べた医用ガイドシステム１によれば、例えば、胃の内部に超音波内視鏡の先端部が存在する場合において、該胃の３次元モデルの表示状態を半透明にする（透明度を５０％に設定する）ことにより、該先端部の位置を容易に把握することが可能となる。また、以上に述べた医用ガイドシステム１によれば、例えば、処置または手技等に応じて変形した胃の形状と、３次元モデルとして描画された胃の形状とが異なっていた場合において、該胃の３次元モデルを非表示にする（透明度を１００％に設定する）ことにより、以降の処置または手技をスムーズに進めることが可能となる。さらに、以上に述べた医用ガイドシステム１によれば、例えば、所定の臓器または器官を摘出することにより、観察により確認された各臓器等の配置状態と、３次元モデルとして描画された各臓器等の配置状態とが異なっていた場合において、該所定の臓器または器官の３次元モデルを非表示にする（透明度を１００％に設定する）ことにより、被検者に対して正確な処置を行うことが可能となる。
【０１１６】
以上に述べた医用ガイドシステム１によれば、３次元生体組織モデル１０１ｂに含まれる臓器または器官の３次元モデルの表示色を適宜変更することができる。これにより、例えば色弱者が３次元生体組織モデル１０１ｂを見る場合においても、臓器毎の色の違いを認識できるように設定することができる。
【０１１７】
また、以上に述べた医用ガイドシステム１によれば、超音波画像１０３における超音波画像枠１０３ｂと、断面ガイド画像１０２における超音波描出範囲枠１０２ｂとの表示態様が同一となるような構成を有している。その結果、術者は、本実施形態の医用ガイドシステム１を用いた場合、超音波画像１０３と断面ガイド画像１０２との対応関係を一目で認識することができる。
【０１１８】
ところで、本実施形態の医用ガイドシステム１は、以下に記すような機能を具備するものとしても構成されている。
【０１１９】
図１６に示すような第１の表示レンジの合成画像がモニタ７に表示されている際に、超音波画像１０３の表示レンジを第２の表示レンジに狭めるための操作（拡大操作）が操作パネル１０４において行われると、制御部５１は、該操作がなされた旨を（操作指示部６からの指示信号として）検知する。
【０１２０】
そして、制御部５１は、立体ガイド画像１０１における超音波断層像マーカ１０１ｄのサイズ、断面ガイド画像１０２の表示状態、及び、スコープ先端部マーカ１０２ａ及び１０３ａの大きさを、第２の表示レンジに合わせるための制御をガイド画像生成部５３に対して行う。
【０１２１】
ガイド画像生成部５３は、制御部５１の制御に基づき、超音波断層像マーカ１０１ｄのサイズが第２の表示レンジに合うように縮小するとともに、超音波描出範囲枠１０２ｂの「超音波描出範囲」及び「周辺範囲」が第２の表示レンジに合うように断面ガイド画像を生成しなおす。これに併せ、ガイド画像生成部５３は、第２の表示レンジに合うように、スコープ先端部マーカ１０２ａ及び１０３ａの大きさを拡大する。
【０１２２】
また、図１６に示すような第１の表示レンジの合成画像がモニタ７に表示されている際に、表示レンジを第２の表示レンジに狭めるための操作（拡大操作）が操作パネル１０４において行われると、表示レンジが第１の表示レンジから第２の表示レンジに変更された状態の超音波画像が超音波診断装置４から出力される。
【０１２３】
そして、超音波断層像マーカ１０１ｄのサイズが第２の表示レンジに合うように縮小された立体ガイド画像１０１と、超音波描出範囲枠１０２ｂの「超音波描出範囲」及び「周辺範囲」が第２の表示レンジに合うように拡大された断面ガイド画像１０２と、第２の表示レンジに変更された状態の超音波画像１０３と、操作パネル１０４と、が表示画像生成部５４において合成されることにより、図１７に示すような合成画像が生成される。
【０１２４】
なお、本実施形態の医用ガイドシステム１においては、超音波描出範囲枠１０２ｂの位置及び大きさが変更されないまま、図１６の合成画像から図１７の合成画像への遷移が行われるものとする。
【０１２５】
一方、図１６に示すような第１の表示レンジの合成画像がモニタ７表示されている際に、超音波画像１０３の表示レンジを第３の表示レンジに拡げるための操作（縮小操作）が操作パネル１０４において行われると、制御部５１は、該操作がなされた旨をを（操作指示部６からの指示信号として）検知する。
【０１２６】
そして、制御部５１は、立体ガイド画像１０１における超音波断層像マーカ１０１ｄのサイズ、断面ガイド画像１０２の表示状態、及び、及び、スコープ先端部マーカ１０２ａ及び１０３ａの大きさを第３の表示レンジに合わせるための制御をガイド画像生成部５３に対して行う。
【０１２７】
ガイド画像生成部５３は、制御部５１の制御に基づき、超音波断層像マーカ１０１ｄのサイズが第３の表示レンジに合うように拡大するとともに、超音波描出範囲枠１０２ｂの「超音波描出範囲」及び「周辺範囲」が第３の表示レンジに合うように断面ガイド画像を生成しなおす。これに併せ、ガイド画像生成部５３は、第３の表示レンジに合うように、スコープ先端部マーカ１０２ａ及び１０３ａの大きさを縮小する。
【０１２８】
また、図１６に示すような第１の表示レンジの合成画像がモニタ７に表示されている際に、表示レンジを第３の表示レンジに拡げるための操作（縮小操作）が操作パネル１０４において行われると、表示レンジが第１の表示レンジから第３の表示レンジに変更された状態の超音波画像が超音波診断装置４から出力される。
【０１２９】
そして、超音波断層像マーカ１０１ｄのサイズが第３の表示レンジに合うように拡大された立体ガイド画像１０１と、超音波描出範囲枠１０２ｂの「超音波描出範囲」及び「周辺範囲」が第３の表示レンジに合うように縮小された断面ガイド画像１０２と、第３の表示レンジに変更された状態の超音波画像１０３と、操作パネル１０４と、が表示画像生成部５４において合成されることにより、図１８に示すような合成画像が生成される。
【０１３０】
なお、本実施形態の医用ガイドシステム１においては、超音波描出範囲枠１０２ｂの位置及び大きさが変更されないまま、図１６の合成画像から図１８の合成画像への遷移が行われるものとする。
【０１３１】
また、本実施形態の医用ガイドシステム１によれば、断面ガイド画像１０２のスケールを、超音波画像１０３の表示レンジを同一としたまま変更することができる。
【０１３２】
具体的には、例えば、図１６に示すような第１のスケールの断面ガイド画像１０２がモニタ７表示されている際に、断面ガイド画像１０２のスケールを変更するための操作が操作パネル１０４において行われると、制御部５１は、該操作がなされた旨を（操作指示部６からの指示信号として）検知する。なお、以降においては、図１６に示すような第１のスケールの断面ガイド画像１０２がモニタ７表示されている際に、該第１のスケールに比べて広範囲を確認可能な第２のスケールに変更するための操作がなされた場合を例に挙げつつ説明を行う。
【０１３３】
その後、制御部５１は、断面ガイド画像１０２の表示状態を変更後の第２のスケールに合わせるための制御をガイド画像生成部５３に対して行う。
【０１３４】
ガイド画像生成部５３は、制御部５１の制御に基づき、断面ガイド画像１０２における３次元生体組織モデルのスケールと、スコープ先端部マーカ１０２ａのスケールと、超音波描出範囲枠１０２ｂのスケールとを、夫々第２のスケールに合わせるように縮小しつつ、断面ガイド画像を生成しなおす。
【０１３５】
そして、図１６と同様の表示状態の立体ガイド画像１０１と、第１のスケールから第２のスケールへ表示状態が変更された断面ガイド画像１０２と、図１６と同様の表示状態の超音波画像１０３と、操作パネル１０４と、が表示画像生成部５４において合成されることにより、図１９に示すような合成画像が生成される。
【０１３６】
図１９の断面ガイド画像１０２によれば、超音波描出範囲枠１０２ｂの「周辺範囲」が、図１６の断面ガイド画像１０２に比べて拡がっている。すなわち、図１９の断面ガイド画像１０２によれば、現在走査を行っている部位と、周辺の臓器または器官との位置関係が判りやすく示されている。その結果、本実施形態の医用ガイドシステム１によれば、所望の部位の超音波画像を取得する際に、超音波内視鏡２をどのように動かせばよいかが判りやすくなるため、被検者に対する処置時間を短縮することができる。
【０１３７】
（第２の実施形態）
図２０及び図２１は、本発明の第２の実施形態に係るものである。図２０は、本発明の第２の実施形態に係る医用ガイドシステムの要部の構成の一例を示す図である。図２１は、第２の実施形態の医用ガイドシステムにより生成される合成画像の一例を示す図である。
【０１３８】
なお、以降の説明において、第１の実施形態と同様の構成を持つ部分については、詳細な説明を省略する。また、本実施形態における医用ガイドシステムの構成は、第１の実施形態における医用ガイドシステムと類似の構成を有している。そのため、本実施形態においては、第１の実施形態における医用ガイドシステムと異なる部分について主に説明を行うものとする。
【０１３９】
医用ガイドシステム２０１は、図２０に示すように、医用装置としての腹腔鏡２０２と、アンテナユニット３Ａと、位置検出装置３Ｂと、光学観察装置２０４と、画像処理装置５と、医用ガイドシステム２０１の操作に係る種々の指示を行うことが可能な操作指示部６と、モニタ７と、複数の体表検出用コイル１０と、術者または補助者により用いられる処置具３０１及び３０２と、を要部として有して構成されている。
【０１４０】
腹腔鏡２０２は、被検者１００の体腔内へ挿入可能な先端部２２１と、術者の操作に応じて先端部２２１の向きを変更可能な湾曲部２２２と、湾曲部２２２の後端側に連設された硬性の挿入部２２３と、湾曲部２２２の操作を行うための図示しないノブ等が設けられた操作部２２４と、光学観察装置２０４に対して着脱可能なケーブル２２５と、を具備している。
【０１４１】
先端部２２１は、例えばＣＣＤ等からなる撮像素子２２１ａと、外部から印加された磁界に応じて電気信号を出力するコイル２２１ｂと、を具備している。また、先端部２２１には、腹腔鏡２０２に供給される照明光を被写体に対して出射するための図示しない照明光学系が設けられている。
【０１４２】
撮像素子２２１ａは、図示しない対物光学系により結像された被写体の像を撮像し、該被写体の像に応じた撮像信号を光学観察装置２０４へ出力する。
【０１４３】
ケーブル２２５は、一端側が操作部２２４から延出されているとともに、光学観察装置２０４に接続可能なコネクタ２２５ａが他端側に設けられている。また、コネクタ２２５ａの内部には、腹腔鏡２０２に関する種々の情報が格納された、例えばメモリ等からなるスコープＩＤ格納部２２５ｂが設けられている。
【０１４４】
スコープＩＤ格納部２２５ｂは、コネクタ２２５ａが光学観察装置２０４に接続された際に、前述した、腹腔鏡２０２に関する種々の情報（以降、腹腔鏡情報と称する）を光学観察装置２０４へ出力する。
【０１４５】
処置具３０１は、例えば、術者または補助者の操作により対象物を挟んで掴むことが可能な構成の鉗子３０１ａを先端部に具備している。また、処置具３０１は、外部から印加された磁界に応じて電気信号を出力するコイル３０１ｂを具備している。
【０１４６】
処置具３０２は、鉗子３０１ａと同様の構成を有する鉗子３０２ａと、コイル３０１ｂと同様の構成を有するコイル３０２ｂと、を具備している。
【０１４７】
医用ガイドシステム２０１の位置検出装置３Ｂは、コイル２２１ｂからの電気信号に基づき、コイル２２１ｂが存在する位置、及び、コイル２２１ｂの配向を特定するための演算を行うことにより、演算結果に応じた先端部位置・配向データを順次生成する。また、医用ガイドシステム２０１の位置検出装置３Ｂは、コイル３０１ｂからの電気信号と、例えば既知の値として事前に入力された処置具３０１の長さに関する情報とに基づき、鉗子３０１ａが存在する位置、及び、鉗子３０１ａの配向を特定するための演算を行うことにより、演算結果に応じた第１の鉗子位置・配向データを順次生成する。さらに、医用ガイドシステム２０１の位置検出装置３Ｂは、コイル３０２ｂからの電気信号と、例えば既知の値として事前に入力された処置具３０２の長さに関する情報とに基づき、鉗子３０２ａが存在する位置、及び、鉗子３０２ａの配向を特定するための演算を行うことにより、演算結果に応じた第２の鉗子位置・配向データを順次生成する。
【０１４８】
さらに、医用ガイドシステム２０１の位置検出装置３Ｂは、各体表検出用コイル１０からの電気信号に基づき、各体表検出用コイル１０が存在する位置、及び、各体表検出用コイル１０の配向を特定するための演算を行うことにより、演算結果に応じた被検者位置・配向データを順次生成する。
【０１４９】
そして、医用ガイドシステム２０１の位置検出装置３Ｂは、生成した先端部位置・配向データと、第１の鉗子位置・配向データと、第２の鉗子位置・配向データと、被検者位置・配向データとを併せて画像処理装置５へ出力する。
【０１５０】
光学観察装置２０４は、腹腔鏡２０２からの撮像信号に基づいて光学画像を順次生成し、生成した光学画像を画像処理装置５へ順次出力する。
【０１５１】
光学観察装置２０４は、スコープＩＤ格納部２２５ｂから出力される腹腔鏡情報に基づき、腹腔鏡２０２の（図示しない）対物光学系による視野範囲を検出し、視野範囲データとして画像処理装置５へ出力する。
【０１５２】
また、光学観察装置２０４は、モニタ７への画像出力（モニタ７における画像表示）に係る指示信号が操作指示部６から入力された場合に、該指示信号を画像処理装置５へ出力する。
【０１５３】
医用ガイドシステム２０１の制御部５１は、光学観察装置２０４から出力される視野範囲データに基づき、腹腔鏡２０２の視野範囲が可視化された視野範囲マーカを生成させるための制御をガイド画像生成部５３に対して行う。
【０１５４】
医用ガイドシステム２０１の制御部５１は、超音波診断装置４を介して入力される操作指示部６からの指示信号に基づき、モニタ７への画像出力（モニタ７における画像表示）状態を変更するための制御をガイド画像生成部５３及び表示画像生成部５４に対して行う。
【０１５５】
医用ガイドシステム２０１のガイド画像生成部５３は、位置検出装置３Ｂから出力される先端部位置・配向データに基づき、先端部２２１の配置状態を示すための腹腔鏡マーカを生成する。
【０１５６】
医用ガイドシステム２０１のガイド画像生成部５３は、第１の鉗子位置・配向データに基づき、鉗子３０１ａの配置状態を示すための第１の処置具マーカを生成する。また、医用ガイドシステム２０１のガイド画像生成部５３は、第２の鉗子位置・配向データに基づき、鉗子３０２ａの配置状態を示すための第２の処置具マーカを生成する。
【０１５７】
医用ガイドシステム２０１のガイド画像生成部５３は、記憶部５２に蓄積された３次元断層画像に基づき、被検者１００の内部に存在する臓器群等の組織構造の３次元生体組織モデルデータを生成する。
【０１５８】
医用ガイドシステム２０１のガイド画像生成部５３は、指標生成部としての機能を有し、記憶部５２から読み込んだ体軸方向データに基づき、前記３次元生体組織モデルデータに対応する被検者モデル画像データを生成する。
【０１５９】
医用ガイドシステム２０１のガイド画像生成部５３は、制御部５１の制御と、位置検出装置３Ｂから出力される先端部位置・配向データとに基づき、腹腔鏡２０２の視野範囲を可視化するための視野範囲マーカを生成する。
【０１６０】
そして、医用ガイドシステム２０１のガイド画像生成部５３は、制御部５１の制御に基づき、腹腔鏡マーカと、第１の処置具マーカと、第２の処置具マーカと、３次元生体組織モデルデータと、被検者モデル画像データと、視野範囲マーカとを組み合わせることにより、各種ガイド画像を生成して表示画像生成部５４へ出力する。
【０１６１】
医用ガイドシステム２０１の表示画像生成部５４は、制御部５１の制御に基づき、光学観察装置２０４から出力される光学画像と、ガイド画像生成部５３から出力されるガイド画像とを合成した合成画像を生成した後、該合成画像に基づく映像信号を生成してモニタ７へ出力する。
【０１６２】
次に、医用ガイドシステム２０１の作用について説明を行う。
【０１６３】
まず、術者等は、医用ガイドシステム２０１の各部の電源を投入することにより、該各部を起動状態とする。また、術者等は、３次元断層画像生成装置９からの３次元断層画像が画像処理装置５に入力される事前に、該３次元断層画像を参照しながら、被検者１００における頭足方向及び背腹方向を指定する。そして、被検者１００における頭足方向及び背腹方向の指定結果は、３次元断層画像に関連付けられた体軸方向データとして画像処理装置５に入力される。
【０１６４】
光学観察装置２０４は、腹腔鏡２０２からの撮像信号に基づいて光学画像を順次生成し、生成した光学画像を画像処理装置５へ順次出力する。
【０１６５】
一方、コイル２２１ｂ、コイル３０１ｂ、コイル３０２ｂ及び各体表検出用コイル１０は、アンテナユニット３Ａの起動に伴って印加された磁界を検知し、検知した磁界に応じた電気信号を夫々位置検出装置３Ｂへ出力する。
【０１６６】
医用ガイドシステム２０１の位置検出装置３Ｂは、コイル２２１ｂからの電気信号に基づき、コイル２２１ｂが存在する位置、及び、コイル２２１ｂの配向を特定するための演算を行うことにより、演算結果に応じた先端部位置・配向データを順次生成する。また、医用ガイドシステム２０１の位置検出装置３Ｂは、コイル３０１ｂからの電気信号と、例えば既知の値として事前に入力された処置具３０１の長さに関する情報とに基づき、鉗子３０１ａが存在する位置、及び、鉗子３０１ａの配向を特定するための演算を行うことにより、演算結果に応じた第１の鉗子位置・配向データを順次生成する。さらに、医用ガイドシステム２０１の位置検出装置３Ｂは、コイル３０２ｂからの電気信号と、例えば既知の値として事前に入力された処置具３０２の長さに関する情報とに基づき、鉗子３０２ａが存在する位置、及び、鉗子３０２ａの配向を特定するための演算を行うことにより、演算結果に応じた第２の鉗子位置・配向データを順次生成する。
【０１６７】
医用ガイドシステム２０１のガイド画像生成部５３は、記憶部５２に蓄積された３次元断層画像に基づき、被検者１００の内部における臓器及び血管等の３次元生体組織モデルデータを生成するとともに、該３次元生体組織モデルデータに対応する体軸方向データを記憶部５２から読み出す。
【０１６８】
一方、医用ガイドシステム２０１のガイド画像生成部５３は、入力される各データ及び制御部５１の制御に基づき、腹腔鏡マーカと、第１の処置具マーカと、第２の処置具マーカと、視野範囲マーカとを夫々生成する。また、医用ガイドシステム２０１のガイド画像生成部５３は、体軸方向データに基づき、生成した３次元生体組織モデルデータの配向状態に対応する方向の被検者モデル画像データを生成する。
【０１６９】
そして、ガイド画像生成部５３は、第１の実施形態と同様に、３次元生体組織モデルデータと被検者１００の位置及び配向との対応付けを行うとともに、自身において生成した３次元生体組織モデルデータと、腹腔鏡マーカと、第１の処置具マーカと、第２の処置具マーカと、視野範囲マーカと、該３次元生体組織モデルデータに対応する方向の被検者モデル画像データとを夫々組み合わせることにより、後述の立体ガイド画像４０１を生成する。
【０１７０】
医用ガイドシステム２０１の表示画像生成部５４は、制御部５１の制御に基づき、ガイド画像生成部５３から出力される立体ガイド画像４０１と、光学観察装置２０４から出力される光学画像４０２とを合成することにより、例えば図２１に示す合成画像を生成した後、該合成画像に基づく映像信号を生成してモニタ７へ出力する。
【０１７１】
図２１に一例として示す合成画像によれば、立体ガイド画像４０１が画面の左側の領域に配置され、また、光学画像４０２が画面の右側の領域に配置されつつ表示される。
【０１７２】
図２１の立体ガイド画像４０１によれば、現在の視線方向における立体ガイド画像４０１の配向状態が、被検者１００の配向状態に対応する被検者モデル画像１０１ａとして示されている。
【０１７３】
図２１の立体ガイド画像４０１によれば、臓器等の生体組織が、夫々別々の色になるように色分けされ、かつ、被検者１００の配向状態と相対的に一致するような３次元生体組織モデル１０１ｂとして示されている。
【０１７４】
図２１の立体ガイド画像４０１によれば、３次元生体組織モデル１０１ｂとして示された臓器等に対する先端部２２１の位置関係が、腹腔鏡マーカ４０１ａとして示されている。
【０１７５】
図２１の立体ガイド画像４０１によれば、３次元生体組織モデル１０１ｂとして示された臓器等において、腹腔鏡２０２により観察することが可能な視野範囲が視野範囲マーカ４０１ｂとして示されている。具体的には、視野範囲マーカ４０１ｂは、図２１に示すように、立体ガイド画像４０１内において、腹腔鏡マーカ４０１ａの先端部２２１に相当する部分に一の頂点が配置された、半透明の三角形形状を具備する画像として描画される。
【０１７６】
図２１の立体ガイド画像４０１によれば、３次元生体組織モデル１０１ｂとして示された臓器等に対する鉗子３０１ａの位置関係が、第１の処置具マーカ４０１ｃとして示されている。また、図２１の立体ガイド画像４０１によれば、３次元生体組織モデル１０１ｂとして示された臓器等に対する鉗子３０２ａの位置関係が、第２の処置具マーカ４０１ｄとして示されている。
【０１７７】
図２１の光学画像４０２によれば、腹腔鏡２０２の撮像素子２２１ａにより撮像された被写体の像として、処置具３０１及び処置具３０２を用いつつ膵臓の血管に対する処置を行っている様子が示されている。
【０１７８】
以上に述べた構成及び作用を有する医用ガイドシステム２０１によれば、第１の実施形態において既述の処理と略同様の処理がガイド画像生成部５３等において行われることにより、立体ガイド画像４０１の視線方向の変更に伴って被検者モデル画像１０１ａを回転させることができる。
【０１７９】
そのため、以上に述べた構成及び作用を有する医用ガイドシステム２０１によれば、ガイド画像に描画される臓器または器官の立体形状が被検者の配向状態に対してどの方向から見たものであるかを判りやすく示すことができる。
【０１８０】
なお、本発明は、上述した各実施形態に限定されるものではなく、発明の趣旨を逸脱しない範囲内において種々の変更や応用が可能であることは勿論である。
【図面の簡単な説明】
【０１８１】
【図１】本発明の実施形態に係る医用ガイドシステムの要部の構成の一例を示す図。
【図２】第１の実施形態の医用ガイドシステムにより生成される立体ガイド画像の一例を示す図。
【図３Ａ】第１の実施形態の医用ガイドシステムにより描画される被検者モデル画像の正面側の外観を示す図。
【図３Ｂ】第１の実施形態の医用ガイドシステムにより描画される被検者モデル画像の背面側の外観を示す図。
【図４】第１の実施形態の医用ガイドシステムにより生成される断面ガイド画像の一例を示す図。
【図５】第１の実施形態の医用ガイドシステムにより生成される合成画像の一例を示す図。
【図６】第１の実施形態の医用ガイドシステムにより生成される合成画像の、図５とは異なる例を示す図。
【図７】図６の立体ガイド画像における肝臓の３次元モデルを非表示にした場合の例を示す図。
【図８】図７の立体ガイド画像における胃及び十二指腸の３次元モデルを非表示にした場合の例を示す図。
【図９】図８の立体ガイド画像の視線方向を変更した場合の一例を示す図。
【図１０】図９の立体ガイド画像における腎臓の３次元モデルを非表示にした場合の例を示す図。
【図１１】図８に示す合成画像の状態から、超音波振動子による走査位置を変更した場合の例を示す図。
【図１２】図１１の立体ガイド画像の視線方向を変更した場合の一例を示す図。
【図１３】図１２の立体ガイド画像における腎臓の３次元モデルを非表示にした場合の例を示す図。
【図１４】立体ガイド画像の視線方向の変更に応じた所定の処理が行われる前における、３次元生体組織モデルの各臓器の表示状態の一例を示す図。
【図１５】立体ガイド画像の視線方向の変更に応じた所定の処理が行われた後における、３次元生体組織モデルの表示状態の一例を示す図。
【図１６】第１の実施形態の医用ガイドシステムにより生成される合成画像の、図５及び図６とは異なる例を示す図。
【図１７】図１６の超音波画像の表示レンジを狭めた場合の例を示す図。
【図１８】図１６の超音波画像の表示レンジを拡げた場合の例を示す図。
【図１９】図１６の断面ガイド画像のスケールを変更した場合の例を示す図。
【図２０】本発明の第２の実施形態に係る医用ガイドシステムの要部の構成の一例を示す図。
【図２１】第２の実施形態の医用ガイドシステムにより生成される合成画像の一例を示す図。
【符号の説明】
【０１８２】
１，２０１ 医用ガイドシステム
２ 超音波内視鏡
３Ａ アンテナユニット
３Ｂ 位置検出装置
４ 超音波診断装置
５ 画像処理装置
６ 操作指示部
７ モニタ
８ ネットワーク回線
９ ３次元断層画像生成装置
１０ 体表検出用コイル
５３ ガイド画像生成部
５４ 表示画像生成部
１００ 被検者
１０１，４０１ 立体ガイド画像
１０１ａ，１０２ｃ 被検者モデル画像
１０２ 断面ガイド画像
２０２ 腹腔鏡
２０４ 光学観察装置
３０１，３０２ 処置具
４０１ａ 腹腔鏡マーカ
４０１ｂ 視野範囲マーカ
４０１ｃ，４０１ｄ 処置具マーカ
【技術分野】
【０００１】
本発明は、医用ガイドシステムに関し、特に、人体の組織構造の３次元的な位置及び配向を視覚的に示すことが可能な医用ガイドシステムに関するものである。
【背景技術】
【０００２】
被検者の光学像を取得可能な内視鏡、及び、被検者の断層像を取得可能な超音波内視鏡等の体腔内プローブは、消化管、気管支、胆膵管または血管等の管腔内及び腹腔内へ挿入可能な構成を有しており、該管腔及び周辺臓器の観察及び診断等を行う場合において従来広く用いられている。
【０００３】
また、前記光学像及び前記断層像の情報だけでは、体腔内プローブを管腔の所望の部位まで進めるのが困難な場合に、例えば、体腔内プローブの先端部が該所望の部位へ容易に到達できるようにするために、ガイド画像が用いられる場合がある。
【０００４】
そして、前述したガイド画像を生成可能な機能を有する装置として、例えば、特許文献１に記載の装置が提案されている。
【０００５】
特許文献１には、体腔内プローブに設けられた複数の位置センサの検出結果に応じて該体腔内プローブの挿入形状画像を生成し、被検者の３次元データから該人体の３次元画像を生成し、該挿入形状画像と該被検者の３次元画像とを合成することによりガイド画像を生成可能な体腔内プローブ装置が記載されている。
【特許文献１】特開２００８−６１０８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
特許文献１の体腔内プローブ装置を用いて観察を行う場合においては、例えば、ガイド画像の視線方向を所望の視線方向に変更することにより、被検者内に挿入された状態の体腔内プローブが、該被検者内の臓器または器官の位置に対してどのような位置関係を具備して配置されているかを確認するという状況が想定される。
【０００７】
そして、前述した位置関係の確認のためにガイド画像の視線方向が変更されるに伴い、該ガイド画像に描画される臓器または器官の形状が通常見慣れたものとは異なる形状として見える場合がある。このような場合においては、前述した位置関係を一目で認識することが困難であるため、例えば、臓器または器官の形状が通常見慣れた形状となるようにガイド画像の視線方向を一旦戻した後、再度所望の視線方向に設定する、というような余分な操作を行う必要が生じる。すなわち、特許文献１の体腔内プローブ装置によれば、ガイド画像の視線方向が変更された際に、該ガイド画像に描画される臓器または器官が被検者の配向状態に対してどの方向から見たものであるかが一目では認識し辛い構成となっている。その結果、特許文献１の体腔内プローブ装置によれば、被検者に対する処置に要する時間が長くなってしまう、という問題点が生じている。
【０００８】
一方、特許文献１の体腔内プローブ装置により取得されたガイド画像は、例えば、処置後の被検者に対する説明の際に用いられる場合がある。しかし、臓器または器官の立体形状を見慣れていない多くの被検者にとっては、視線方向が変更された状態のガイド画像を見ながら術者の説明を受けたとしても、該ガイド画像に描画される臓器または器官が被検者の配向状態に対してどの方向から見たものであるかを理解し難い。
【０００９】
本発明は、前述した事情に鑑みてなされたものであり、ガイド画像に描画される臓器または器官が被検者の配向状態に対してどの方向から見たものであるかを判りやすく示すことが可能な医用ガイドシステムを提供することを目的としている。
【課題を解決するための手段】
【００１０】
本発明における医用ガイドシステムは、位置配向検出用素子が設けられた医用装置と、前記位置配向検出用素子の位置及び配向を検出し、検出結果を検出値として出力する検出部と、人体の解剖学的な画像からなる参照画像データを保持するデータ保持部と、前記検出値に応じ、前記医用装置の前記人体に対する３次元的な位置及び配向を、前記参照画像データに関連付けて示すためのガイド画像を生成するガイド画像生成部と、前記ガイド画像の３次元的な配向を示す指標を生成する指標生成部と、を有することを特徴とする。
【００１１】
本発明における医用ガイドシステムは、位置配向検出用素子が設けられた医用装置と、前記位置配向検出用素子の位置及び配向を検出し、検出結果を検出値として出力する検出部と、人体の解剖学的な画像からなる参照画像データを保持するデータ保持部と、前記検出値に応じ、前記医用装置の前記人体に対する３次元的な位置及び配向を、前記参照画像データに関連付けて示すためのガイド画像を生成するガイド画像生成部と、前記ガイド画像の３次元的な配向を示す指標を生成する指標生成部と、前記ガイド画像内の前記組織構造において、臓器または器官毎に表示態様を変更する表示態様変更部と、を有することを特徴とする。
【発明の効果】
【００１２】
本発明における医用ガイドシステムによると、ガイド画像に描画される臓器または器官が被検者の配向状態に対してどの方向から見たものであるかを判りやすく示すことが可能である。
【発明を実施するための最良の形態】
【００１３】
以下、図面を参照して本発明の実施形態を説明する。
【００１４】
図１から図１９は、本発明の実施形態に係るものである。図１は、本発明の第１の実施形態に係る医用ガイドシステムの要部の構成の一例を示す図である。図２は、第１の実施形態の医用ガイドシステムにより生成される立体ガイド画像の一例を示す図である。図３Ａは、第１の実施形態の医用ガイドシステムにより描画される被検者モデル画像の正面側の外観を示す図である。図３Ｂは、第１の実施形態の医用ガイドシステムにより描画される被検者モデル画像の背面側の外観を示す図である。図４は、第１の実施形態の医用ガイドシステムにより生成される断面ガイド画像の一例を示す図である。図５は、第１の実施形態の医用ガイドシステムにより生成される合成画像の一例を示す図である。
【００１５】
図６は、第１の実施形態の医用ガイドシステムにより生成される合成画像の、図５とは異なる例を示す図である。図７は、図６の立体ガイド画像における肝臓の３次元モデルを非表示にした場合の例を示す図である。図８は、図７の立体ガイド画像における胃及び十二指腸の３次元モデルを非表示にした場合の例を示す図である。図９は、図８の立体ガイド画像の視線方向を変更した場合の一例を示す図である。図１０は、図９の立体ガイド画像における腎臓の３次元モデルを非表示にした場合の例を示す図である。
【００１６】
図１１は、図８に示す合成画像の状態から、超音波振動子による走査位置を変更した場合の例を示す図である。図１２は、図１１の立体ガイド画像の視線方向を変更した場合の一例を示す図である。図１３は、図１２の立体ガイド画像における腎臓の３次元モデルを非表示にした場合の例を示す図である。図１４は、立体ガイド画像の視線方向の変更に応じた所定の処理が行われる前における、３次元生体組織モデルの各臓器の表示状態の一例を示す図である。図１５は、立体ガイド画像の視線方向の変更に応じた所定の処理が行われた後における、３次元生体組織モデルの表示状態の一例を示す図である。
【００１７】
図１６は、第１の実施形態の医用ガイドシステムにより生成される合成画像の、図５及び図６とは異なる例を示す図である。図１７は、図１６の超音波画像の表示レンジを狭めた場合の例を示す図である。図１８は、図１６の超音波画像の表示レンジを拡げた場合の例を示す図である。図１９は、図１６の断面ガイド画像のスケールを変更した場合の例を示す図である。
【００１８】
医用ガイドシステム１は、図１に示すように、医用装置としての超音波内視鏡２と、アンテナユニット３Ａと、検出部としての機能を有する位置検出装置３Ｂと、超音波診断装置４と、画像処理装置５と、医用ガイドシステム１の操作に係る種々の指示を行うことが可能な操作指示部６と、モニタ７と、複数の体表検出用コイル１０と、を要部として有して構成されている。
【００１９】
超音波内視鏡２は、被検者１００の体腔内へ挿入可能な先端部２１と、先端部２１の後端側に連設された細長の挿入部２２と、挿入部２２の後端側に連設された操作部２３と、種々の信号の入出力を行うための複数の信号線が内部に配設されたケーブル２４と、を具備している。
【００２０】
先端部２１は、コンベックス走査式（またはラジアル走査式）の超音波振動子２１ａと、外部から印加された磁界に応じて電気信号を出力するコイル２１ｂと、を具備している。
【００２１】
超音波振動子２１ａは、超音波診断装置４からの駆動信号に基づいて駆動し、生体の内部へ超音波ビームを出射する。また、超音波振動子２１ａは、生体の内部の生体組織において超音波ビームが反射した反射波を受波し、該反射波に応じたエコー信号を超音波診断装置４へ出力する。
【００２２】
挿入部２２には、外部から印加された磁界に応じて電気信号を出力するコイル２２ａが、長手方向に沿って複数配置されている。
【００２３】
操作部２３は、医用ガイドシステム１の操作に係る種々の指示を行うことが可能な、図示しないスイッチ等を有している。
【００２４】
ケーブル２４は、一端側が操作部２３から延出されているとともに、超音波診断装置４に接続可能なコネクタ２４ａが他端側に設けられている。また、コネクタ２４ａの内部には、超音波内視鏡２に関する種々の情報が格納された、例えばメモリ等からなるスコープＩＤ格納部２４ｂが設けられている。
【００２５】
なお、本実施形態のスコープＩＤ格納部２４ｂには、超音波内視鏡２に関する種々の情報として、例えば、超音波振動子２１ａに設けられた超音波アレイの配列の形状情報、及び、該超音波アレイの挿入部２２に対する実装位置配向情報等の情報が格納されているとする。そして、スコープＩＤ格納部２４ｂは、コネクタ２４ａが超音波診断装置４に接続された際に、前述した、超音波内視鏡２に関する種々の情報（以降、超音波走査情報と称する）を、超音波診断装置４へ出力する。
【００２６】
複数の体表検出用コイル１０は、被検者１００の体表上において、１つずつ異なる箇所に配置される。具体的には、体表検出用コイル１０は、例えば、被検者１００の体表上の４つの箇所である、剣状突起、左上前腸骨棘、右上前腸骨棘、及び、腰椎椎体棘突起に相当する箇所に夫々１つずつ配置される。また、複数の体表検出用コイル１０は、コイル２１ｂまたはコイル２２ａと同様の構成を夫々有しており、外部から印加された磁界に応じて電気信号を出力する。
【００２７】
アンテナユニット３Ａは、外部へ向けて磁界を放射する磁界放射アンテナ３１と、磁界放射アンテナ３１を駆動させるアンテナ駆動部３２と、を具備している。
【００２８】
位置検出装置３Ｂは、コイル２１ｂからの電気信号に基づき、コイル２１ｂが存在する位置、及び、コイル２１ｂの配向を特定するための演算を行うことにより、演算結果に応じた先端部位置・配向データを順次生成する。また、位置検出装置３Ｂは、各コイル２２ａからの電気信号に基づき、各コイル２２ａが存在する位置、及び、各コイル２２ａの配向を特定するための演算を行うことにより、演算結果に応じた挿入部位置・配向データを順次生成する。さらに、位置検出装置３Ｂは、各体表検出用コイル１０からの電気信号に基づき、各体表検出用コイル１０が存在する位置を特定するための演算を行うことにより、演算結果に応じた被検者位置・配向データを順次生成する。
【００２９】
そして、位置検出装置３Ｂは、生成した先端部位置・配向データと、挿入部位置・配向データと、被検者位置データとを併せて画像処理装置５へ出力する。さらに、位置検出装置３Ｂは、電源がオンされた際に、アンテナユニット３Ａの駆動に要する電力をアンテナ駆動部３２へ供給する。
【００３０】
超音波診断装置４は、超音波振動子２１ａを駆動させるための駆動信号を生成及び出力する。また、超音波診断装置４は、超音波振動子２１ａからのエコー信号に基づき、生体の断層像としての超音波画像を、スコープＩＤ格納部２４ｂの超音波走査情報に応じたフレームレートにより順次生成する。そして、超音波診断装置４は、生成した超音波画像を画像処理装置５へ順次出力する。
【００３１】
超音波診断装置４は、スコープＩＤ格納部２４ｂから出力される超音波走査情報に基づき、超音波振動子２１ａに設けられた超音波アレイの挿入部２２に対する実装位置配向情報、超音波振動子２１ａから出射される超音波ビームの出射方向の情報、超音波振動子２１ａから出射される超音波ビームによる走査範囲形状情報（画角情報）、超音波振動子２１ａから同時に出射され得る超音波ビームの本数の情報、超音波振動子２１ａから出射される超音波ビームのフォーカス個数及び位置の情報、及び、超音波振動子２１ａから出射される超音波ビームに応じたフレームレートの情報からなる走査状態データを検出する。
【００３２】
一方、超音波診断装置４は、各種の指示に係る指示信号が操作指示部６から入力された場合に、超音波振動子２１ａから出射される超音波ビームの出射方向、超音波振動子２１ａから出射される超音波ビームによる走査範囲形状（画角）、及び、超音波振動子２１ａから同時に出射される超音波ビームの本数を適宜変更するための制御を超音波振動子２１ａに対して行う。そして、超音波診断装置４は、前述した制御の内容を走査状態データに反映させつつ、変更後の走査状態データを画像処理装置５へ出力する。
【００３３】
また、超音波診断装置４は、モニタ７への画像出力（モニタ７における画像表示）に係る指示信号が操作指示部６から入力された場合に、該指示信号を画像処理装置５へ出力する。
【００３４】
画像処理装置５は、制御部５１と、データ保持部としての機能を有する記憶部５２と、ガイド画像生成部５３と、表示画像生成部５４と、を具備している。
【００３５】
制御部５１は、超音波診断装置４から出力される走査状態データに基づき、超音波振動子２１ａの走査状態が可視化された超音波断層像マーカを生成させるための制御をガイド画像生成部５３に対して行う。
【００３６】
制御部５１は、超音波診断装置４を介して入力される操作指示部６からの指示信号に基づき、モニタ７への画像出力（モニタ７における画像表示）状態を変更するための制御をガイド画像生成部５３及び表示画像生成部５４に対して行う。
【００３７】
ハードディスクドライブ等からなる記憶部５２は、画像処理装置５以外の他の装置と通信を行うための通信回線としてのネットワーク回線８を介し、例えば、Ｘ線３次元ヘリカルＣＴ装置または３次元ＭＲＩ装置等からなる３次元断層画像生成装置９と接続されている。これにより、記憶部５２には、３次元断層画像生成装置９を用いた走査を超音波内視鏡２の観察対象となる被検者１００に対して予め行うことにより得られた３次元断層画像が、ネットワーク回線８を介して各々入力及び蓄積される。また、記憶部５２には、３次元断層画像の取得対象となった被検者１００の頭足方向及び背腹方向を示すための体軸方向データが、該３次元断層画像に関連付けられた状態として入力される。
【００３８】
ガイド画像生成部５３は、位置検出装置３Ｂから出力される先端部位置・配向データと、挿入部位置・配向データとに基づき、超音波内視鏡２の挿入形状を示すための挿入形状データを生成する。
【００３９】
ガイド画像生成部５３は、制御部５１の制御と、位置検出装置３Ｂから出力される先端部位置・配向データとに基づき、超音波振動子２１ａの走査状態を可視化するための超音波断層像マーカ、及び、超音波振動子２１ａを含む先端部２１の構成を画像化したスコープ先端部マーカを生成する。
【００４０】
ガイド画像生成部５３は、記憶部５２に蓄積された３次元断層画像に基づき、被検者１００の内部に存在する臓器群等の組織構造の３次元生体組織モデルデータを生成する。
【００４１】
ガイド画像生成部５３は、指標生成部としての機能を有し、記憶部５２から読み込んだ体軸方向データに基づき、前記３次元生体組織モデルデータに対応する被検者モデル画像データを生成する。
【００４２】
そして、ガイド画像生成部５３は、制御部５１の制御に基づき、挿入形状データと、超音波断層像マーカと、スコープ先端部マーカと、３次元生体組織モデルデータと、被検者モデル画像データとを組み合わせることにより、各種ガイド画像を生成して表示画像生成部５４へ出力する。
【００４３】
表示画像生成部５４は、制御部５１の制御に基づき、超音波診断装置４から出力される超音波画像と、ガイド画像生成部５３から出力されるガイド画像とを合成した合成画像を生成した後、該合成画像に基づく映像信号を生成してモニタ７へ出力する。
【００４４】
操作指示部６は、文字入力の指示、及び、（例えば超音波画像の左右反転等の）所定の機能の実行の指示に係る指示信号を出力するキーボード６ａと、モニタ７の画面上に表示されるポインタの操作等の指示に係る指示信号を出力するマウス６ｂと、を具備している。
【００４５】
モニタ７は、画像処理装置５からの映像信号に応じた種々の画像を画面上に表示する。
【００４６】
次に、医用ガイドシステム１の作用について説明を行う。なお、以降においては、超音波振動子２１ａがコンベックス走査式である場合についての説明を主に行うものとする。
【００４７】
まず、術者等は、医用ガイドシステム１の各部の電源を投入することにより、該各部を起動状態とする。また、術者等は、３次元断層画像生成装置９からの３次元断層画像が画像処理装置５に入力される事前に、該３次元断層画像を参照しながら、該３次元断層画像における頭足方向及び背腹方向を指定する。そして、３次元断層画像における頭足方向及び背腹方向の指定結果は、該３次元断層画像に関連付けられた体軸方向データとして画像処理装置５に入力される。
【００４８】
なお、前記体軸方向データは、術者等の指定により設定されるものに限らず、３次元断層画像生成装置９における３次元断層画像の取得時に埋め込まれたものであってもよい。
【００４９】
さらに、術者等は、３次元断層画像生成装置９からの３次元断層画像が画像処理装置５に入力される事前に、該３次元断層画像を参照しながら、被検者１００に４個の体表検出用コイル１０を取り付けた位置に相当する該３次元断層画像の位置を夫々指定する。そして、３次元断層画像における体表検出用コイル１０を取り付けた位置の指定結果は、３次元断層画像上体表検出用コイル座標として画像処理装置５に入力される。
【００５０】
超音波振動子２１ａは、超音波診断装置４の起動に伴って駆動し、生体の内部へ超音波ビームを出射した後、該生体の内部の生体組織において超音波ビームが反射した反射波を受波し、該反射波に応じたエコー信号を出力する。
【００５１】
超音波診断装置４は、超音波振動子２１ａからのエコー信号に基づき、生体の断層像としての超音波画像を、スコープＩＤ格納部２４ｂの超音波走査情報に応じたフレームレートにより順次生成する。そして、超音波診断装置４は、生成した超音波画像を画像処理装置５へ順次出力する。
【００５２】
一方、コイル２１ｂ、各コイル２２ａ及び各体表検出用コイル１０は、アンテナユニット３Ａの起動に伴って印加された磁界を検知し、検知した磁界に応じた電気信号を夫々位置検出装置３Ｂへ出力する。
【００５３】
位置検出装置３Ｂは、超音波内視鏡２からの電気信号に基づいてコイル２１ｂ及び各コイル２２ａが存在する位置、及び、コイル２１ｂ及び各コイル２２ａの配向を特定するための演算を行う。そして、位置検出装置３Ｂは、前述の演算により得られた先端部位置・配向データ及び挿入部位置・配向データを画像処理装置５へ出力する。また、位置検出装置３Ｂは、各体表検出用コイル１０からの電気信号に基づき、各体表検出用コイル１０が存在する位置を特定するための演算を行うことにより、演算結果に応じた被検者位置データを画像処理装置５へ出力する。
【００５４】
ガイド画像生成部５３は、記憶部５２に蓄積された３次元断層画像に基づき、被検者１００の内部における臓器及び血管等の３次元生体組織モデルデータを生成するとともに、体軸方向データを記憶部５２から読み出す。
【００５５】
一方、ガイド画像生成部５３は、前述の３次元断層画像上体表検出用コイル座標と、位置検出装置３Ｂにより算出された各体表検出用コイル１０の位置とに基づき、３次元生体組織モデルデータと、被検者１００の位置及び配向との対応付けを行う。
【００５６】
そして、ガイド画像生成部５３は、前述の対応付けの結果と、位置検出装置３Ｂにより算出された先端部位置・配向データ及び挿入部位置・配向データとに基づき、３次元生体組織モデルデータにおける先端部２１の位置及び配向と、該３次元生体組織モデルデータにおける挿入部２２の位置及び配向とを決定するための演算を行う。さらに、ガイド画像生成部５３は、この演算結果に基づき、挿入形状データと、超音波断層像マーカと、スコープ先端部マーカとを３次元生体組織モデルデータ上に合成した、３次元合成データを生成する。
【００５７】
その後、ガイド画像生成部５３は、生成した３次元合成データを制御部５１の制御に応じた視線方向に合わせるとともに、該視線方向及び体軸方向データに基づき、３次元生体組織モデルデータの配向状態に対応する方向の被検者モデル画像を生成して重畳することにより、例えば図２に示すような立体ガイド画像１０１を生成する。なお、図２に示す立体ガイド画像１０１は、左側臥位をとっている被検者１００を正面から見た視線方向における例を示すものである。
【００５８】
図２の立体ガイド画像１０１によれば、現在の視線方向における立体ガイド画像１０１の配向状態が、被検者モデル画像１０１ａとして示されている。
【００５９】
被検者モデル画像１０１ａは、例えば図３Ａ及び図３Ｂに示すように、頭足方向及び背腹方向の区別が可能な、人型を模した形状を具備している。また、図３Ａに示すように、被検者モデル画像１０１ａの正面側（腹側）には、人体の頭に相当する部分に目が描画されている。一方、図３Ｂに示すように、被検者モデル画像１０１ａの背面側（背中側）には、人体の頭に相当する部分に目が描画されていない。
【００６０】
図２の立体ガイド画像１０１によれば、臓器等の生体組織が、夫々別々の色になるように色分けされ、かつ、被検者１００の配向状態と相対的に一致するような３次元生体組織モデル１０１ｂとして示されている。
【００６１】
図２の立体ガイド画像１０１によれば、３次元生体組織モデル１０１ｂとして示された臓器等に対する先端部２１及び挿入部２２の位置関係（及び挿入部２２の湾曲状態）が、挿入形状画像１０１ｃとして示されている。
【００６２】
図２の立体ガイド画像１０１によれば、３次元生体組織モデル１０１ｂとして示された臓器等において、超音波振動子２１ａからの超音波ビームによる走査がリアルタイムに行われている部位が、超音波断層像マーカ１０１ｄにより示されている。
【００６３】
一方、ガイド画像生成部５３は、３次元生体組織モデルデータと被検者１００の位置及び配向との対応付けの結果と、位置検出装置３Ｂにより算出された先端部位置・配向データとに基づき、超音波振動子２１ａからの超音波ビームによる走査が行われている面（超音波断層像マーカ１０１ｄとして示す面）に沿って３次元生体組織モデル１０１ｂを切断した切断面を、超音波診断装置４から出力される超音波画像と同一の配向状態として示した断面ガイド画像１０２を生成する。また、ガイド画像生成部５３は、体軸方向データに基づき、断面ガイド画像１０２における３次元生体組織モデルに対応する方向の被検者モデル画像１０２ｃを生成する。
【００６４】
なお、被検者モデル画像１０２ｃの外観は、図３Ａ及び図３Ｂに示したように、被検者モデル画像１０１ａと同様のものである。
【００６５】
図４の断面ガイド画像１０２によれば、超音波振動子２１ａを含む先端部２１の位置がスコープ先端部マーカ１０２ａにより示されている。なお、本実施形態のスコープ先端部マーカ１０２ａは、断面ガイド画像１０２における上部中央付近に位置が固定された状態として示される（描画される）。
【００６６】
図４の断面ガイド画像１０２によれば、超音波画像１０３の表示範囲に比べて広い範囲が描画されている。また、図４の断面ガイド画像１０２によれば、超音波画像１０３の表示範囲内の領域を示す超音波描出範囲と、超音波画像１０３の表示範囲外の領域を示す周辺範囲とが、矩形形状（例えば正方形）の平面として生成された超音波描出範囲枠１０２ｂにより夫々区別された状態として示されている。
【００６７】
超音波描出範囲枠１０２ｂの内側の領域に相当する「超音波描出範囲」は、モニタ７における超音波画像の表示部分を示している。
【００６８】
超音波描出範囲枠１０２ｂの内側の領域に相当する「超音波描出範囲」においては、超音波振動子２１ａからの超音波ビームによる走査が行われている面に沿って立体ガイド画像１０１を切断した切断面が示されている。
【００６９】
超音波描出範囲枠１０２ｂの外側の領域に相当する「周辺範囲」は、モニタ７に表示されている超音波画像よりも外側の領域を示している。
【００７０】
超音波描出範囲枠１０２ｂの外側の領域に相当する「周辺範囲」の各部は、陰影を伴い、かつ、超音波描出範囲枠１０２ｂの内側の領域に相当する「超音波描出範囲」の各部に比べて低い明度（または彩度）を具備するように示されている。
【００７１】
すなわち、「超音波描出範囲」の各部は、「周辺範囲」の各部とは異なる表示態様（明度または彩度）により描画される。
【００７２】
また、前述の「超音波描出範囲」及び「周辺範囲」においては、超音波振動子２１ａからの超音波ビームによる走査が行われている面に垂直な方向に関しては、立体ガイド画像１０１を切断した切断面より奥側の各部が、陰影を伴い、かつ、透けて見えるように示されている。
【００７３】
ガイド画像生成部５３は、立体ガイド画像１０１及び断面ガイド画像１０２と、後述する操作パネルと、を表示画像生成部５４へ出力する。
【００７４】
表示画像生成部５４は、制御部５１の制御に基づき、超音波画像と、立体ガイド画像１０１と、断面ガイド画像１０２と、後述する操作パネルと、を合成した合成画像を生成した後、該合成画像に基づく映像信号を生成してモニタ７へ出力する。これにより、モニタ７には、例えば図５に示すような合成画像が表示される。
【００７５】
図５に一例として示す合成画像によれば、略同一のサイズを具備する立体ガイド画像１０１及び断面ガイド画像１０２が画面の左側の領域に配置され、また、超音波画像１０３が画面の右側の領域に配置されつつ表示される。
【００７６】
また、図５に一例として示す合成画像によれば、立体ガイド画像１０１内の３次元生体組織モデル１０１ｂの配向状態に対応する方向の被検者モデル画像１０１ａと、断面ガイド画像１０２内の３次元生体組織モデルの配向状態に対応する方向の被検者モデル画像１０２ｃと、が表示されている。
【００７７】
なお、被検者モデル画像１０２ｃの方向は、断面ガイド画像１０２内の３次元生体組織モデルと略同一の方向である超音波画像１０３における臓器の配向を示している、ということもできる。
【００７８】
超音波画像１０３においては、断面ガイド画像１０２におけるスコープ先端部マーカ１０２ａと略同様に、超音波振動子２１ａを含む先端部２１の位置がスコープ先端部マーカ１０３ａにより示されている。また、超音波画像１０３の周囲には、自身の表示範囲を示す超音波画像枠１０３ｂが描画されている。なお、本実施形態の超音波画像枠１０３ｂは、前述の超音波描出範囲枠１０２ｂと同一の表示態様により描画される。
【００７９】
なお、本実施形態のスコープ先端部マーカ１０３ａは、超音波画像１０３における上部中央付近に位置が固定された状態として示される（描画される）。また、本実施形態においては、超音波内視鏡２が通常の観察光学系を具備する場合に、対物レンズが配置された位置がスコープ先端部マーカ１０３ａに併せて示される（描画される）ものであっても良い。
【００８０】
図５に一例として示す合成画像によれば、画像表示の状態の確認及び変更が可能な操作パネル１０４が画面の最下部に配置されている。
【００８１】
操作パネル１０４は、例えば図示しないマウスカーソルにより操作可能な複数のボタン等を具備して構成されている。具体的には、操作パネル１０４には、例えば、３次元生体組織モデル１０１ｂとして描画された臓器等の表示状態（透明度）及び表示色を変更するためのボタン、画面の表示モード（分割表示状態）を切り替えるためのボタン、及び、超音波画像１０３の表示レンジを拡大または縮小するためのボタン等が設けられている。
【００８２】
なお、本実施形態においては、操作パネル１０４の操作により、立体ガイド画像１０１内の３次元生体組織モデル１０１ｂとして描画された一の臓器の表示状態（透明度）と、断面ガイド画像１０２として描画された該一の臓器の表示状態（透明度）とを別個に切り替え可能であるとする。また、本実施形態においては、操作パネル１０４の操作により、立体ガイド画像１０１内の３次元生体組織モデル１０１ｂとして描画された一の臓器の表示色と、断面ガイド画像１０２として描画された該一の臓器の表示色とが連動しつつ同じ色に切り替わるものとする。
【００８３】
具体的には、例えば、立体ガイド画像１０１内の肝臓の３次元モデルの表示状態を非表示に設定する（透明度を１００％に設定する）指示が操作パネル１０４においてなされた場合、該指示が制御部５１に入力される。その後、ガイド画像生成部５３は、前記指示に応じた制御部５１の制御に基づき、立体ガイド画像１０１内の肝臓の３次元モデルを不可視状態にしつつ、断面ガイド画像１０２内の肝臓の３次元モデルを可視状態のままに保つ。そして、表示態様変更部としての機能を有するガイド画像生成部５３は、臓器等の表示状態（透明度）を変更するための指示が操作パネル１０４において行われる毎に、前述した処理を行う。
【００８４】
なお、本実施形態のキーボード６ａは、操作パネル１０４の操作により実現可能な各種機能と同様の機能を実現するためのキーまたはスイッチ等を夫々具備するものであってもよい。
【００８５】
ここで、医用ガイドシステム１の使用状況に応じて適宜操作を行うことにより、モニタ７における画像の表示状態がどのように遷移するかについて、具体例を挙げながら説明する。
【００８６】
図６の合成画像によれば、左側臥位をとっている被検者１００の正面から見た場合の立体ガイド画像１０１と、超音波振動子２１ａからの超音波ビームによる走査が行われている面（超音波断層像マーカ１０１ｄとして示す面）に沿って立体ガイド画像１０１（３次元生体組織モデル１０１ｂ）を切断した切断面を、超音波診断装置４から出力される超音波画像と同一の配向状態として示した断面ガイド画像１０２とが示されている。
【００８７】
また、図６の被検者モデル画像１０１ａは、立体ガイド画像１０１の視線方向が、左側臥位をとっている被検者１００の正面側であることを示すように描画されている。また、図６の被検者モデル画像１０２ｃは、断面ガイド画像１０２の切断面が、被検者１００の正面から見た方向であり、断面の右側が被検者１００の頭側であることを示すように描画されている。
【００８８】
一方、術者は、図６の立体ガイド画像１０１を見ながら、挿入形状画像１０１ｃが肝臓の裏側に隠れて見えなくなってしまっていることを確認しつつ、例えば操作パネル１０４を操作することにより、立体ガイド画像１０１内の肝臓の３次元モデルの表示状態を非表示に設定する（透明度を１００％に設定する）。このような術者の操作に応じ、モニタ７に表示される立体ガイド画像１０１が、図６に示すものから図７に示すものへ遷移する。
【００８９】
さらに、術者は、図７の立体ガイド画像１０１を見ながら、挿入形状画像１０１ｃが胃及び十二指腸の裏側に隠れて見えなくなってしまっていることを確認しつつ、例えば操作パネル１０４を操作することにより、立体ガイド画像１０１内の胃及び十二指腸の３次元モデルの表示状態を非表示に設定する（透明度を１００％に設定する）。このような術者の操作に応じ、モニタ７に表示される立体ガイド画像１０１が、図７に示すものから図８に示すものへ遷移する。
【００９０】
術者は、図８の立体ガイド画像１０１の挿入形状画像１０１ｃを見ながら、挿入部２２の位置を確認する。その後、術者は、例えばキーボード６ａまたはマウス６ｂを操作することにより、図８の立体ガイド画像１０１の視線方向を変更する。このような術者の操作に応じ、モニタ７に表示される立体ガイド画像１０１が、図８に示すものから図９に示すものへ遷移する。
【００９１】
図９の立体ガイド画像１０１は、左側臥位をとっている被検者１００の右側面側から見た場合であって、かつ、３次元生体組織モデル１０１ｂの向きを斜めに傾けた場合のものである。また、図９の立体ガイド画像１０１によれば、立体ガイド画像１０１における視線方向の変更に応じて配向状態が変更された被検者モデル画像１０１ａが示されている。さらに、図９の立体ガイド画像１０１によれば、挿入形状画像１０１ｃ及び超音波断層像マーカ１０１ｄの見え方も、立体ガイド画像１０１における視線方向の変更に応じて変更されつつ描画されている。
【００９２】
なお、図９の合成画像においては、立体ガイド画像１０１における視線方向が変更されたのみであり、超音波振動子２１ａによる走査位置については変更されていない。そのため、図９の合成画像における断面ガイド画像１０２、被検者モデル画像１０２ｃ、及び、超音波画像１０３は、図８に示す合成画像と同一のものである。
【００９３】
一方、術者は、図９の立体ガイド画像１０１の超音波断層像マーカ１０１ｄを見ながら、超音波振動子２１ａによる走査位置がどの位置であるかを把握する。また、術者は、図９の立体ガイド画像１０１を見ながら、挿入形状画像１０１ｃの先端部の位置が判りにくくなっていることを確認しつつ、例えば操作パネル１０４を操作することにより、立体ガイド画像１０１内の腎臓の３次元モデルの表示状態を非表示に設定する（透明度を１００％に設定する）。このような術者の操作に応じ、モニタ７に表示される立体ガイド画像１０１が、図９に示すものから図１０に示すものへ遷移する。そして、術者は、図１０の立体ガイド画像１０１の挿入形状画像１０１ｃを見ながら、先端部２１の位置を確認する。
【００９４】
ところで、医用ガイドシステム１においては、超音波振動子２１ａによる走査位置を適宜変更しながら観察を行う。そのため、術者は、図６の立体ガイド画像１０１及び断面ガイド画像１０２を見ながら、先端部２１を変移させることにより、超音波振動子２１ａによる走査位置を変更する。そして、このような術者の操作に応じ、モニタ７に表示される立体ガイド画像１０１が、図８に示すものから図１１に示すものへ遷移する。
【００９５】
図１１の合成画像によれば、超音波振動子２１ａによる走査位置の変更に伴い、立体ガイド画像１０１における超音波断層像マーカ１０１ｄの描画位置、及び、断面ガイド画像１０２として描画される切断面の範囲が夫々変更されている。
【００９６】
また、図１１の被検者モデル画像１０２ｃは、断面ガイド画像１０２の切断面が、被検者１００の背中側かつ右側から見た方向であり、断面の右側が被検者の頭側であることを示すように描画されている。
【００９７】
術者は、図１１の立体ガイド画像１０１の超音波断層像マーカ１０１ｄを見ながら、超音波振動子２１ａによる走査位置が胆嚢に対してどの位置であるかを把握する。その後、術者は、例えばキーボード６ａまたはマウス６ｂを操作することにより、図１１の立体ガイド画像１０１の視線方向を変更する。このような術者の操作に応じ、モニタ７に表示される立体ガイド画像１０１が、図１１に示すものから図１２に示すものへ遷移する。
【００９８】
図１２の立体ガイド画像１０１は、左側臥位をとっている被検者１００の右側面側から見た場合であって、かつ、３次元生体組織モデル１０１ｂの向きを若干斜めに傾けた場合のものである。また、図１２の立体ガイド画像１０１によれば、立体ガイド画像１０１における視線方向の変更に応じて配向状態が変更された被検者モデル画像１０１ａが示されている。さらに、図１２の立体ガイド画像１０１によれば、超音波断層像マーカ１０１ｄの見え方も、立体ガイド画像１０１における視線方向の変更に応じて変更されつつ描画されている。
【００９９】
なお、図１２の合成画像においては、立体ガイド画像１０１における視線方向が変更されたのみであり、超音波振動子２１ａによる走査位置については変更されていない。そのため、図１２の合成画像における断面ガイド画像１０２、被検者モデル画像１０２ｃ、及び、超音波画像１０３は、図１１に示す合成画像と同一のものである。
【０１００】
一方、術者は、図１２の立体ガイド画像１０１を見ながら、腎臓の裏側に隠れている部分があることを確認しつつ、例えば操作パネル１０４を操作することにより、立体ガイド画像１０１内の腎臓の３次元モデルの表示状態を非表示に設定する（透明度を１００％に設定する）。このような術者の操作に応じ、モニタ７に表示される立体ガイド画像１０１が、図１２に示すものから図１３に示すものへ遷移する。
【０１０１】
なお、本実施形態の医用ガイドシステム１においては、以上に述べた具体例のように、３次元生体組織モデル１０１ｂとして描画されている臓器または器官の３次元モデルの表示状態（透明度）が、手動操作により適宜変更されるものに限らず、画像処理装置５の処理により適宜変更されるものであってもよい。
【０１０２】
この場合、画像処理装置５のガイド画像生成部５３は、先端部位置・配向データと、立体ガイド画像１０１の視線方向として設定された方向とに基づき、３次元生体組織モデル１０１ｂ、挿入形状画像１０１ｃ及び超音波断層像マーカ１０１ｄを立体ガイド画像１０１として描画する際の投影面を決定する。
【０１０３】
そして、ガイド画像生成部５３は、例えば図１４に示すように、スコープ先端部マーカの位置Ｓを通り、かつ、前記投影面に対して垂直な直線Ｌを設定する。この場合、図１４に示すように、直線Ｌに沿って視線方向と順方向に見た場合のスコープ先端部マーカの位置Ｓは、３次元生体組織モデル１０１ｂにおいて、臓器Ａ、臓器Ｂ及び臓器Ｃの各臓器の３次元モデルの裏側にあるといえる。
【０１０４】
一方、ガイド画像生成部５３は、直線Ｌに沿って存在する各ボクセルデータのボクセル値を、スコープ先端部マーカの位置Ｓを始点としつつ、視線方向と逆方向に順次検出する。
【０１０５】
その後、ガイド画像生成部５３は、前述のボクセル値の検出結果に基づき、スコープ先端部マーカの位置Ｓに最も近い一の臓器としての、例えば図１４における臓器Ｃの３次元モデルの表示状態を半透明表示に設定する（透明度を５０％に設定する）。また、ガイド画像生成部５３は、前述のボクセル値の検出結果に基づき、スコープ先端部マーカの位置Ｓに最も近い一の臓器以外の他の臓器として、例えば図１４における臓器Ａ及び臓器Ｂが存在する場合、該臓器Ａ及び該臓器Ｂの３次元モデルの表示状態を各々非表示に設定する（透明度を１００％に設定する）。
【０１０６】
なお、図１４に示す３次元生体組織モデル１０１ｂのうち、直線Ｌ上にボクセルデータが存在し、かつ、スコープ先端部マーカの位置Ｓに対して視線方向と順方向側の位置に描画される臓器Ｄの３次元モデルについては、表示するものとして設定される（透明度０％として設定される）。また、図１４に示す３次元生体組織モデル１０１ｂのうち、直線Ｌ上におけるボクセルデータが全く存在しない臓器Ｅの３次元モデルについても、表示するものとして設定される（透明度０％として設定される）。
【０１０７】
そして、ガイド画像生成部５３は、以上に述べた処理を行うことにより、臓器Ａ及び臓器Ｂの３次元モデルが夫々不可視状態（透明度１００％）であり、臓器Ｃの３次元モデルが半透明状態（透明度５０％）であり、かつ、臓器Ｄ及び臓器Ｅの３次元モデルが夫々可視状態（透明度０％）であるような、図１５に示す表示状態を具備するものとして３次元生体組織モデル１０１ｂの描画を行う。
【０１０８】
このような処理を行うことにより、ガイド画像生成部５３は、３次元生体組織モデル１０１ｂに含まれる臓器または器官の３次元モデルの表示状態（透明度）を、設定された視線方向に応じて適宜変更することができる。このようなガイド画像生成部５３の構成及び作用によれば、立体ガイド画像１０１の視線方向が変更された場合であっても、挿入形状画像１０１ｃの先端部に相当する部分が見つけやすくなるように、３次元生体組織モデル１０１ｂとして描画されている臓器または器官の３次元モデルの表示状態（透明度）を適宜変更することができるため、結果的に、被検者に対する処置に費やされる時間を短縮することができる。
【０１０９】
また、前述の処理を行うことにより、ガイド画像生成部５３は、３次元生体組織モデル１０１ｂに含まれる臓器または器官の３次元モデルの表示状態（透明度）を、スコープ先端部マーカ１０２ａの位置に応じて適宜変更することができる。このようなガイド画像生成部５３の構成及び作用によれば、先端部２１の位置を変移させることにより超音波振動子２１ａの走査位置を変更した場合であっても、挿入形状画像１０１ｃの先端部に相当する部分が見えるように、３次元生体組織モデル１０１ｂとして描画されている臓器または器官の３次元モデルの表示状態（透明度）を適宜変更することができるため、結果的に、被検者に対する処置に費やされる時間を短縮することができる。
【０１１０】
以上に述べた医用ガイドシステム１によれば、立体ガイド画像１０１における視線方向の変更に伴って被検者モデル画像１０１ａが回転する。これにより、以上に述べた医用ガイドシステム１は、立体ガイド画像１０１に描画される３次元生体組織モデル１０１ｂに含まれる臓器または器官の３次元モデルが被検者の配向状態に対してどの方向から見たものであるかを判りやすく示すことが可能である。
【０１１１】
以上に述べた医用ガイドシステム１によれば、先端部２１の位置を変移させることによる超音波振動子２１ａの走査位置の変更に伴い、超音波画像１０３と断面ガイド画像１０２内の３次元生体組織モデルとの方向が変更され、かつ、被検者モデル画像１０２ｃが回転する。これにより、以上に述べた医用ガイドシステム１は、超音波画像１０３及び断面ガイド画像１０２が被検者の配向状態に対してどの方向から見たものであるかを判りやすく示すことが可能である。
【０１１２】
以上に述べた医用ガイドシステム１を用いた場合、術者は、例えば、被検者に対する処置を行っている最中において、ガイド画像に描画される臓器または器官の立体形状が該被検者の配向状態に対してどの方向から見たものであるかを一目で認識することができる。また、術者は、以上に述べた医用ガイドシステム１を用いた場合、例えば、ガイド画像に描画される臓器または器官が該被検者の配向状態に対してどの方向から見たものであるかを、例えば処置後の被検者等に対して分かりやすく説明することができる。
【０１１３】
なお、本実施形態の画像処理装置５（のガイド画像生成部５３）により描画される被検者モデル画像１０１ａ及び被検者モデル画像１０２ｃは、図３Ａ及び図３Ｂに示すような、人型を模した形状を具備するものに限らない。具体的には、本実施形態の画像処理装置５（のガイド画像生成部５３）は、例えば、被検者１００の右側から左側の方向を示す第１の矢印と、被検者１００の足側から頭側の方向を示す第２の矢印と、からなる２つ１組の矢印を各被検者モデル画像の代わりに描画するものであってもよい。
【０１１４】
以上に述べた医用ガイドシステム１によれば、３次元生体組織モデル１０１ｂに含まれる臓器または器官の３次元モデルの表示状態（透明度）を適宜変更することができる。これにより、術者は、被検者の体腔内に挿入された超音波内視鏡と、該体腔内に存在する臓器または器官との位置関係を容易に把握することができる。
【０１１５】
具体的には、以上に述べた医用ガイドシステム１によれば、例えば、胃の内部に超音波内視鏡の先端部が存在する場合において、該胃の３次元モデルの表示状態を半透明にする（透明度を５０％に設定する）ことにより、該先端部の位置を容易に把握することが可能となる。また、以上に述べた医用ガイドシステム１によれば、例えば、処置または手技等に応じて変形した胃の形状と、３次元モデルとして描画された胃の形状とが異なっていた場合において、該胃の３次元モデルを非表示にする（透明度を１００％に設定する）ことにより、以降の処置または手技をスムーズに進めることが可能となる。さらに、以上に述べた医用ガイドシステム１によれば、例えば、所定の臓器または器官を摘出することにより、観察により確認された各臓器等の配置状態と、３次元モデルとして描画された各臓器等の配置状態とが異なっていた場合において、該所定の臓器または器官の３次元モデルを非表示にする（透明度を１００％に設定する）ことにより、被検者に対して正確な処置を行うことが可能となる。
【０１１６】
以上に述べた医用ガイドシステム１によれば、３次元生体組織モデル１０１ｂに含まれる臓器または器官の３次元モデルの表示色を適宜変更することができる。これにより、例えば色弱者が３次元生体組織モデル１０１ｂを見る場合においても、臓器毎の色の違いを認識できるように設定することができる。
【０１１７】
また、以上に述べた医用ガイドシステム１によれば、超音波画像１０３における超音波画像枠１０３ｂと、断面ガイド画像１０２における超音波描出範囲枠１０２ｂとの表示態様が同一となるような構成を有している。その結果、術者は、本実施形態の医用ガイドシステム１を用いた場合、超音波画像１０３と断面ガイド画像１０２との対応関係を一目で認識することができる。
【０１１８】
ところで、本実施形態の医用ガイドシステム１は、以下に記すような機能を具備するものとしても構成されている。
【０１１９】
図１６に示すような第１の表示レンジの合成画像がモニタ７に表示されている際に、超音波画像１０３の表示レンジを第２の表示レンジに狭めるための操作（拡大操作）が操作パネル１０４において行われると、制御部５１は、該操作がなされた旨を（操作指示部６からの指示信号として）検知する。
【０１２０】
そして、制御部５１は、立体ガイド画像１０１における超音波断層像マーカ１０１ｄのサイズ、断面ガイド画像１０２の表示状態、及び、スコープ先端部マーカ１０２ａ及び１０３ａの大きさを、第２の表示レンジに合わせるための制御をガイド画像生成部５３に対して行う。
【０１２１】
ガイド画像生成部５３は、制御部５１の制御に基づき、超音波断層像マーカ１０１ｄのサイズが第２の表示レンジに合うように縮小するとともに、超音波描出範囲枠１０２ｂの「超音波描出範囲」及び「周辺範囲」が第２の表示レンジに合うように断面ガイド画像を生成しなおす。これに併せ、ガイド画像生成部５３は、第２の表示レンジに合うように、スコープ先端部マーカ１０２ａ及び１０３ａの大きさを拡大する。
【０１２２】
また、図１６に示すような第１の表示レンジの合成画像がモニタ７に表示されている際に、表示レンジを第２の表示レンジに狭めるための操作（拡大操作）が操作パネル１０４において行われると、表示レンジが第１の表示レンジから第２の表示レンジに変更された状態の超音波画像が超音波診断装置４から出力される。
【０１２３】
そして、超音波断層像マーカ１０１ｄのサイズが第２の表示レンジに合うように縮小された立体ガイド画像１０１と、超音波描出範囲枠１０２ｂの「超音波描出範囲」及び「周辺範囲」が第２の表示レンジに合うように拡大された断面ガイド画像１０２と、第２の表示レンジに変更された状態の超音波画像１０３と、操作パネル１０４と、が表示画像生成部５４において合成されることにより、図１７に示すような合成画像が生成される。
【０１２４】
なお、本実施形態の医用ガイドシステム１においては、超音波描出範囲枠１０２ｂの位置及び大きさが変更されないまま、図１６の合成画像から図１７の合成画像への遷移が行われるものとする。
【０１２５】
一方、図１６に示すような第１の表示レンジの合成画像がモニタ７表示されている際に、超音波画像１０３の表示レンジを第３の表示レンジに拡げるための操作（縮小操作）が操作パネル１０４において行われると、制御部５１は、該操作がなされた旨をを（操作指示部６からの指示信号として）検知する。
【０１２６】
そして、制御部５１は、立体ガイド画像１０１における超音波断層像マーカ１０１ｄのサイズ、断面ガイド画像１０２の表示状態、及び、及び、スコープ先端部マーカ１０２ａ及び１０３ａの大きさを第３の表示レンジに合わせるための制御をガイド画像生成部５３に対して行う。
【０１２７】
ガイド画像生成部５３は、制御部５１の制御に基づき、超音波断層像マーカ１０１ｄのサイズが第３の表示レンジに合うように拡大するとともに、超音波描出範囲枠１０２ｂの「超音波描出範囲」及び「周辺範囲」が第３の表示レンジに合うように断面ガイド画像を生成しなおす。これに併せ、ガイド画像生成部５３は、第３の表示レンジに合うように、スコープ先端部マーカ１０２ａ及び１０３ａの大きさを縮小する。
【０１２８】
また、図１６に示すような第１の表示レンジの合成画像がモニタ７に表示されている際に、表示レンジを第３の表示レンジに拡げるための操作（縮小操作）が操作パネル１０４において行われると、表示レンジが第１の表示レンジから第３の表示レンジに変更された状態の超音波画像が超音波診断装置４から出力される。
【０１２９】
そして、超音波断層像マーカ１０１ｄのサイズが第３の表示レンジに合うように拡大された立体ガイド画像１０１と、超音波描出範囲枠１０２ｂの「超音波描出範囲」及び「周辺範囲」が第３の表示レンジに合うように縮小された断面ガイド画像１０２と、第３の表示レンジに変更された状態の超音波画像１０３と、操作パネル１０４と、が表示画像生成部５４において合成されることにより、図１８に示すような合成画像が生成される。
【０１３０】
なお、本実施形態の医用ガイドシステム１においては、超音波描出範囲枠１０２ｂの位置及び大きさが変更されないまま、図１６の合成画像から図１８の合成画像への遷移が行われるものとする。
【０１３１】
また、本実施形態の医用ガイドシステム１によれば、断面ガイド画像１０２のスケールを、超音波画像１０３の表示レンジを同一としたまま変更することができる。
【０１３２】
具体的には、例えば、図１６に示すような第１のスケールの断面ガイド画像１０２がモニタ７表示されている際に、断面ガイド画像１０２のスケールを変更するための操作が操作パネル１０４において行われると、制御部５１は、該操作がなされた旨を（操作指示部６からの指示信号として）検知する。なお、以降においては、図１６に示すような第１のスケールの断面ガイド画像１０２がモニタ７表示されている際に、該第１のスケールに比べて広範囲を確認可能な第２のスケールに変更するための操作がなされた場合を例に挙げつつ説明を行う。
【０１３３】
その後、制御部５１は、断面ガイド画像１０２の表示状態を変更後の第２のスケールに合わせるための制御をガイド画像生成部５３に対して行う。
【０１３４】
ガイド画像生成部５３は、制御部５１の制御に基づき、断面ガイド画像１０２における３次元生体組織モデルのスケールと、スコープ先端部マーカ１０２ａのスケールと、超音波描出範囲枠１０２ｂのスケールとを、夫々第２のスケールに合わせるように縮小しつつ、断面ガイド画像を生成しなおす。
【０１３５】
そして、図１６と同様の表示状態の立体ガイド画像１０１と、第１のスケールから第２のスケールへ表示状態が変更された断面ガイド画像１０２と、図１６と同様の表示状態の超音波画像１０３と、操作パネル１０４と、が表示画像生成部５４において合成されることにより、図１９に示すような合成画像が生成される。
【０１３６】
図１９の断面ガイド画像１０２によれば、超音波描出範囲枠１０２ｂの「周辺範囲」が、図１６の断面ガイド画像１０２に比べて拡がっている。すなわち、図１９の断面ガイド画像１０２によれば、現在走査を行っている部位と、周辺の臓器または器官との位置関係が判りやすく示されている。その結果、本実施形態の医用ガイドシステム１によれば、所望の部位の超音波画像を取得する際に、超音波内視鏡２をどのように動かせばよいかが判りやすくなるため、被検者に対する処置時間を短縮することができる。
【０１３７】
（第２の実施形態）
図２０及び図２１は、本発明の第２の実施形態に係るものである。図２０は、本発明の第２の実施形態に係る医用ガイドシステムの要部の構成の一例を示す図である。図２１は、第２の実施形態の医用ガイドシステムにより生成される合成画像の一例を示す図である。
【０１３８】
なお、以降の説明において、第１の実施形態と同様の構成を持つ部分については、詳細な説明を省略する。また、本実施形態における医用ガイドシステムの構成は、第１の実施形態における医用ガイドシステムと類似の構成を有している。そのため、本実施形態においては、第１の実施形態における医用ガイドシステムと異なる部分について主に説明を行うものとする。
【０１３９】
医用ガイドシステム２０１は、図２０に示すように、医用装置としての腹腔鏡２０２と、アンテナユニット３Ａと、位置検出装置３Ｂと、光学観察装置２０４と、画像処理装置５と、医用ガイドシステム２０１の操作に係る種々の指示を行うことが可能な操作指示部６と、モニタ７と、複数の体表検出用コイル１０と、術者または補助者により用いられる処置具３０１及び３０２と、を要部として有して構成されている。
【０１４０】
腹腔鏡２０２は、被検者１００の体腔内へ挿入可能な先端部２２１と、術者の操作に応じて先端部２２１の向きを変更可能な湾曲部２２２と、湾曲部２２２の後端側に連設された硬性の挿入部２２３と、湾曲部２２２の操作を行うための図示しないノブ等が設けられた操作部２２４と、光学観察装置２０４に対して着脱可能なケーブル２２５と、を具備している。
【０１４１】
先端部２２１は、例えばＣＣＤ等からなる撮像素子２２１ａと、外部から印加された磁界に応じて電気信号を出力するコイル２２１ｂと、を具備している。また、先端部２２１には、腹腔鏡２０２に供給される照明光を被写体に対して出射するための図示しない照明光学系が設けられている。
【０１４２】
撮像素子２２１ａは、図示しない対物光学系により結像された被写体の像を撮像し、該被写体の像に応じた撮像信号を光学観察装置２０４へ出力する。
【０１４３】
ケーブル２２５は、一端側が操作部２２４から延出されているとともに、光学観察装置２０４に接続可能なコネクタ２２５ａが他端側に設けられている。また、コネクタ２２５ａの内部には、腹腔鏡２０２に関する種々の情報が格納された、例えばメモリ等からなるスコープＩＤ格納部２２５ｂが設けられている。
【０１４４】
スコープＩＤ格納部２２５ｂは、コネクタ２２５ａが光学観察装置２０４に接続された際に、前述した、腹腔鏡２０２に関する種々の情報（以降、腹腔鏡情報と称する）を光学観察装置２０４へ出力する。
【０１４５】
処置具３０１は、例えば、術者または補助者の操作により対象物を挟んで掴むことが可能な構成の鉗子３０１ａを先端部に具備している。また、処置具３０１は、外部から印加された磁界に応じて電気信号を出力するコイル３０１ｂを具備している。
【０１４６】
処置具３０２は、鉗子３０１ａと同様の構成を有する鉗子３０２ａと、コイル３０１ｂと同様の構成を有するコイル３０２ｂと、を具備している。
【０１４７】
医用ガイドシステム２０１の位置検出装置３Ｂは、コイル２２１ｂからの電気信号に基づき、コイル２２１ｂが存在する位置、及び、コイル２２１ｂの配向を特定するための演算を行うことにより、演算結果に応じた先端部位置・配向データを順次生成する。また、医用ガイドシステム２０１の位置検出装置３Ｂは、コイル３０１ｂからの電気信号と、例えば既知の値として事前に入力された処置具３０１の長さに関する情報とに基づき、鉗子３０１ａが存在する位置、及び、鉗子３０１ａの配向を特定するための演算を行うことにより、演算結果に応じた第１の鉗子位置・配向データを順次生成する。さらに、医用ガイドシステム２０１の位置検出装置３Ｂは、コイル３０２ｂからの電気信号と、例えば既知の値として事前に入力された処置具３０２の長さに関する情報とに基づき、鉗子３０２ａが存在する位置、及び、鉗子３０２ａの配向を特定するための演算を行うことにより、演算結果に応じた第２の鉗子位置・配向データを順次生成する。
【０１４８】
さらに、医用ガイドシステム２０１の位置検出装置３Ｂは、各体表検出用コイル１０からの電気信号に基づき、各体表検出用コイル１０が存在する位置、及び、各体表検出用コイル１０の配向を特定するための演算を行うことにより、演算結果に応じた被検者位置・配向データを順次生成する。
【０１４９】
そして、医用ガイドシステム２０１の位置検出装置３Ｂは、生成した先端部位置・配向データと、第１の鉗子位置・配向データと、第２の鉗子位置・配向データと、被検者位置・配向データとを併せて画像処理装置５へ出力する。
【０１５０】
光学観察装置２０４は、腹腔鏡２０２からの撮像信号に基づいて光学画像を順次生成し、生成した光学画像を画像処理装置５へ順次出力する。
【０１５１】
光学観察装置２０４は、スコープＩＤ格納部２２５ｂから出力される腹腔鏡情報に基づき、腹腔鏡２０２の（図示しない）対物光学系による視野範囲を検出し、視野範囲データとして画像処理装置５へ出力する。
【０１５２】
また、光学観察装置２０４は、モニタ７への画像出力（モニタ７における画像表示）に係る指示信号が操作指示部６から入力された場合に、該指示信号を画像処理装置５へ出力する。
【０１５３】
医用ガイドシステム２０１の制御部５１は、光学観察装置２０４から出力される視野範囲データに基づき、腹腔鏡２０２の視野範囲が可視化された視野範囲マーカを生成させるための制御をガイド画像生成部５３に対して行う。
【０１５４】
医用ガイドシステム２０１の制御部５１は、超音波診断装置４を介して入力される操作指示部６からの指示信号に基づき、モニタ７への画像出力（モニタ７における画像表示）状態を変更するための制御をガイド画像生成部５３及び表示画像生成部５４に対して行う。
【０１５５】
医用ガイドシステム２０１のガイド画像生成部５３は、位置検出装置３Ｂから出力される先端部位置・配向データに基づき、先端部２２１の配置状態を示すための腹腔鏡マーカを生成する。
【０１５６】
医用ガイドシステム２０１のガイド画像生成部５３は、第１の鉗子位置・配向データに基づき、鉗子３０１ａの配置状態を示すための第１の処置具マーカを生成する。また、医用ガイドシステム２０１のガイド画像生成部５３は、第２の鉗子位置・配向データに基づき、鉗子３０２ａの配置状態を示すための第２の処置具マーカを生成する。
【０１５７】
医用ガイドシステム２０１のガイド画像生成部５３は、記憶部５２に蓄積された３次元断層画像に基づき、被検者１００の内部に存在する臓器群等の組織構造の３次元生体組織モデルデータを生成する。
【０１５８】
医用ガイドシステム２０１のガイド画像生成部５３は、指標生成部としての機能を有し、記憶部５２から読み込んだ体軸方向データに基づき、前記３次元生体組織モデルデータに対応する被検者モデル画像データを生成する。
【０１５９】
医用ガイドシステム２０１のガイド画像生成部５３は、制御部５１の制御と、位置検出装置３Ｂから出力される先端部位置・配向データとに基づき、腹腔鏡２０２の視野範囲を可視化するための視野範囲マーカを生成する。
【０１６０】
そして、医用ガイドシステム２０１のガイド画像生成部５３は、制御部５１の制御に基づき、腹腔鏡マーカと、第１の処置具マーカと、第２の処置具マーカと、３次元生体組織モデルデータと、被検者モデル画像データと、視野範囲マーカとを組み合わせることにより、各種ガイド画像を生成して表示画像生成部５４へ出力する。
【０１６１】
医用ガイドシステム２０１の表示画像生成部５４は、制御部５１の制御に基づき、光学観察装置２０４から出力される光学画像と、ガイド画像生成部５３から出力されるガイド画像とを合成した合成画像を生成した後、該合成画像に基づく映像信号を生成してモニタ７へ出力する。
【０１６２】
次に、医用ガイドシステム２０１の作用について説明を行う。
【０１６３】
まず、術者等は、医用ガイドシステム２０１の各部の電源を投入することにより、該各部を起動状態とする。また、術者等は、３次元断層画像生成装置９からの３次元断層画像が画像処理装置５に入力される事前に、該３次元断層画像を参照しながら、被検者１００における頭足方向及び背腹方向を指定する。そして、被検者１００における頭足方向及び背腹方向の指定結果は、３次元断層画像に関連付けられた体軸方向データとして画像処理装置５に入力される。
【０１６４】
光学観察装置２０４は、腹腔鏡２０２からの撮像信号に基づいて光学画像を順次生成し、生成した光学画像を画像処理装置５へ順次出力する。
【０１６５】
一方、コイル２２１ｂ、コイル３０１ｂ、コイル３０２ｂ及び各体表検出用コイル１０は、アンテナユニット３Ａの起動に伴って印加された磁界を検知し、検知した磁界に応じた電気信号を夫々位置検出装置３Ｂへ出力する。
【０１６６】
医用ガイドシステム２０１の位置検出装置３Ｂは、コイル２２１ｂからの電気信号に基づき、コイル２２１ｂが存在する位置、及び、コイル２２１ｂの配向を特定するための演算を行うことにより、演算結果に応じた先端部位置・配向データを順次生成する。また、医用ガイドシステム２０１の位置検出装置３Ｂは、コイル３０１ｂからの電気信号と、例えば既知の値として事前に入力された処置具３０１の長さに関する情報とに基づき、鉗子３０１ａが存在する位置、及び、鉗子３０１ａの配向を特定するための演算を行うことにより、演算結果に応じた第１の鉗子位置・配向データを順次生成する。さらに、医用ガイドシステム２０１の位置検出装置３Ｂは、コイル３０２ｂからの電気信号と、例えば既知の値として事前に入力された処置具３０２の長さに関する情報とに基づき、鉗子３０２ａが存在する位置、及び、鉗子３０２ａの配向を特定するための演算を行うことにより、演算結果に応じた第２の鉗子位置・配向データを順次生成する。
【０１６７】
医用ガイドシステム２０１のガイド画像生成部５３は、記憶部５２に蓄積された３次元断層画像に基づき、被検者１００の内部における臓器及び血管等の３次元生体組織モデルデータを生成するとともに、該３次元生体組織モデルデータに対応する体軸方向データを記憶部５２から読み出す。
【０１６８】
一方、医用ガイドシステム２０１のガイド画像生成部５３は、入力される各データ及び制御部５１の制御に基づき、腹腔鏡マーカと、第１の処置具マーカと、第２の処置具マーカと、視野範囲マーカとを夫々生成する。また、医用ガイドシステム２０１のガイド画像生成部５３は、体軸方向データに基づき、生成した３次元生体組織モデルデータの配向状態に対応する方向の被検者モデル画像データを生成する。
【０１６９】
そして、ガイド画像生成部５３は、第１の実施形態と同様に、３次元生体組織モデルデータと被検者１００の位置及び配向との対応付けを行うとともに、自身において生成した３次元生体組織モデルデータと、腹腔鏡マーカと、第１の処置具マーカと、第２の処置具マーカと、視野範囲マーカと、該３次元生体組織モデルデータに対応する方向の被検者モデル画像データとを夫々組み合わせることにより、後述の立体ガイド画像４０１を生成する。
【０１７０】
医用ガイドシステム２０１の表示画像生成部５４は、制御部５１の制御に基づき、ガイド画像生成部５３から出力される立体ガイド画像４０１と、光学観察装置２０４から出力される光学画像４０２とを合成することにより、例えば図２１に示す合成画像を生成した後、該合成画像に基づく映像信号を生成してモニタ７へ出力する。
【０１７１】
図２１に一例として示す合成画像によれば、立体ガイド画像４０１が画面の左側の領域に配置され、また、光学画像４０２が画面の右側の領域に配置されつつ表示される。
【０１７２】
図２１の立体ガイド画像４０１によれば、現在の視線方向における立体ガイド画像４０１の配向状態が、被検者１００の配向状態に対応する被検者モデル画像１０１ａとして示されている。
【０１７３】
図２１の立体ガイド画像４０１によれば、臓器等の生体組織が、夫々別々の色になるように色分けされ、かつ、被検者１００の配向状態と相対的に一致するような３次元生体組織モデル１０１ｂとして示されている。
【０１７４】
図２１の立体ガイド画像４０１によれば、３次元生体組織モデル１０１ｂとして示された臓器等に対する先端部２２１の位置関係が、腹腔鏡マーカ４０１ａとして示されている。
【０１７５】
図２１の立体ガイド画像４０１によれば、３次元生体組織モデル１０１ｂとして示された臓器等において、腹腔鏡２０２により観察することが可能な視野範囲が視野範囲マーカ４０１ｂとして示されている。具体的には、視野範囲マーカ４０１ｂは、図２１に示すように、立体ガイド画像４０１内において、腹腔鏡マーカ４０１ａの先端部２２１に相当する部分に一の頂点が配置された、半透明の三角形形状を具備する画像として描画される。
【０１７６】
図２１の立体ガイド画像４０１によれば、３次元生体組織モデル１０１ｂとして示された臓器等に対する鉗子３０１ａの位置関係が、第１の処置具マーカ４０１ｃとして示されている。また、図２１の立体ガイド画像４０１によれば、３次元生体組織モデル１０１ｂとして示された臓器等に対する鉗子３０２ａの位置関係が、第２の処置具マーカ４０１ｄとして示されている。
【０１７７】
図２１の光学画像４０２によれば、腹腔鏡２０２の撮像素子２２１ａにより撮像された被写体の像として、処置具３０１及び処置具３０２を用いつつ膵臓の血管に対する処置を行っている様子が示されている。
【０１７８】
以上に述べた構成及び作用を有する医用ガイドシステム２０１によれば、第１の実施形態において既述の処理と略同様の処理がガイド画像生成部５３等において行われることにより、立体ガイド画像４０１の視線方向の変更に伴って被検者モデル画像１０１ａを回転させることができる。
【０１７９】
そのため、以上に述べた構成及び作用を有する医用ガイドシステム２０１によれば、ガイド画像に描画される臓器または器官の立体形状が被検者の配向状態に対してどの方向から見たものであるかを判りやすく示すことができる。
【０１８０】
なお、本発明は、上述した各実施形態に限定されるものではなく、発明の趣旨を逸脱しない範囲内において種々の変更や応用が可能であることは勿論である。
【図面の簡単な説明】
【０１８１】
【図１】本発明の実施形態に係る医用ガイドシステムの要部の構成の一例を示す図。
【図２】第１の実施形態の医用ガイドシステムにより生成される立体ガイド画像の一例を示す図。
【図３Ａ】第１の実施形態の医用ガイドシステムにより描画される被検者モデル画像の正面側の外観を示す図。
【図３Ｂ】第１の実施形態の医用ガイドシステムにより描画される被検者モデル画像の背面側の外観を示す図。
【図４】第１の実施形態の医用ガイドシステムにより生成される断面ガイド画像の一例を示す図。
【図５】第１の実施形態の医用ガイドシステムにより生成される合成画像の一例を示す図。
【図６】第１の実施形態の医用ガイドシステムにより生成される合成画像の、図５とは異なる例を示す図。
【図７】図６の立体ガイド画像における肝臓の３次元モデルを非表示にした場合の例を示す図。
【図８】図７の立体ガイド画像における胃及び十二指腸の３次元モデルを非表示にした場合の例を示す図。
【図９】図８の立体ガイド画像の視線方向を変更した場合の一例を示す図。
【図１０】図９の立体ガイド画像における腎臓の３次元モデルを非表示にした場合の例を示す図。
【図１１】図８に示す合成画像の状態から、超音波振動子による走査位置を変更した場合の例を示す図。
【図１２】図１１の立体ガイド画像の視線方向を変更した場合の一例を示す図。
【図１３】図１２の立体ガイド画像における腎臓の３次元モデルを非表示にした場合の例を示す図。
【図１４】立体ガイド画像の視線方向の変更に応じた所定の処理が行われる前における、３次元生体組織モデルの各臓器の表示状態の一例を示す図。
【図１５】立体ガイド画像の視線方向の変更に応じた所定の処理が行われた後における、３次元生体組織モデルの表示状態の一例を示す図。
【図１６】第１の実施形態の医用ガイドシステムにより生成される合成画像の、図５及び図６とは異なる例を示す図。
【図１７】図１６の超音波画像の表示レンジを狭めた場合の例を示す図。
【図１８】図１６の超音波画像の表示レンジを拡げた場合の例を示す図。
【図１９】図１６の断面ガイド画像のスケールを変更した場合の例を示す図。
【図２０】本発明の第２の実施形態に係る医用ガイドシステムの要部の構成の一例を示す図。
【図２１】第２の実施形態の医用ガイドシステムにより生成される合成画像の一例を示す図。
【符号の説明】
【０１８２】
１，２０１ 医用ガイドシステム
２ 超音波内視鏡
３Ａ アンテナユニット
３Ｂ 位置検出装置
４ 超音波診断装置
５ 画像処理装置
６ 操作指示部
７ モニタ
８ ネットワーク回線
９ ３次元断層画像生成装置
１０ 体表検出用コイル
５３ ガイド画像生成部
５４ 表示画像生成部
１００ 被検者
１０１，４０１ 立体ガイド画像
１０１ａ，１０２ｃ 被検者モデル画像
１０２ 断面ガイド画像
２０２ 腹腔鏡
２０４ 光学観察装置
３０１，３０２ 処置具
４０１ａ 腹腔鏡マーカ
４０１ｂ 視野範囲マーカ
４０１ｃ，４０１ｄ 処置具マーカ
【特許請求の範囲】
【請求項１】
位置配向検出用素子が設けられた医用装置と、
前記位置配向検出用素子の位置及び配向を検出し、検出結果を検出値として出力する検出部と、
人体の解剖学的な画像からなる参照画像データを保持するデータ保持部と、
前記検出値に応じ、前記医用装置の前記人体に対する３次元的な位置及び配向を、前記参照画像データに関連付けて示すためのガイド画像を生成するガイド画像生成部と、
前記ガイド画像の３次元的な配向を示す指標を生成する指標生成部と、
を有することを特徴とする医用ガイドシステム。
【請求項２】
前記指標は、頭足方向、背腹方向及び左右方向のうちのいずれか２つを区別可能な指標であることを特徴とする請求項１に記載の医用ガイドシステム。
【請求項３】
前記指標は、人型を模した形状を具備することを特徴とする請求項１または請求項２に記載の医用ガイドシステム。
【請求項４】
前記指標は、前記ガイド画像における視線方向の変更に応じて配向状態が変化することを特徴とする請求項１乃至請求項３のいずれか一項に記載の医用ガイドシステム。
【請求項５】
前記データ保持部は、前記参照画像データにおける頭足方向及び背腹方向を示す体軸方向データをさらに保持することを特徴とする請求項１乃至請求項４のいずれか一項に記載の医用ガイドシステム。
【請求項６】
位置配向検出用素子が設けられた医用装置と、
前記位置配向検出用素子の位置及び配向を検出し、検出結果を検出値として出力する検出部と、
人体の解剖学的な画像からなる参照画像データを保持するデータ保持部と、
前記検出値に応じ、前記医用装置の前記人体に対する３次元的な位置及び配向を、前記参照画像データに関連付けて示すためのガイド画像を生成するガイド画像生成部と、
前記ガイド画像の３次元的な配向を示す指標を生成する指標生成部と、
前記ガイド画像内の前記組織構造において、臓器または器官毎に表示態様を変更する表示態様変更部と、
を有することを特徴とする医用ガイドシステム。
【請求項７】
前記表示態様は、色であることを特徴とする請求項６に記載の医用ガイドシステム。
【請求項８】
前記表示態様は、透明度であることを特徴とする請求項６に記載の医用ガイドシステム。
【請求項９】
前記表示態様変更部は、前記ガイド画像内の前記組織構造に含まれる臓器または器官毎の透明度を、前記ガイド画像内の前記医用装置の３次元的な位置と、前記ガイド画像における視線方向と、に応じて変更することを特徴とする請求項８に記載の医用ガイドシステム。
【請求項１０】
前記ガイド画像生成部は、前記ガイド画像として２つのガイド画像を生成し、
前記表示態様変更部は、前記ガイド画像生成部により生成された一方のガイド画像内の前記組織構造における臓器または器官毎の表示態様と、他方のガイド画像内の前記組織構造における臓器または器官毎の表示態様と、を別個に変更することを特徴とする請求項６に記載の医用ガイドシステム。
【請求項１１】
前記データ保持部は、前記参照画像データにおける頭足方向及び背腹方向を示す体軸方向データをさらに保持することを特徴とする請求項６乃至請求項１０のいずれか一項に記載の医用ガイドシステム。
【請求項１】
位置配向検出用素子が設けられた医用装置と、
前記位置配向検出用素子の位置及び配向を検出し、検出結果を検出値として出力する検出部と、
人体の解剖学的な画像からなる参照画像データを保持するデータ保持部と、
前記検出値に応じ、前記医用装置の前記人体に対する３次元的な位置及び配向を、前記参照画像データに関連付けて示すためのガイド画像を生成するガイド画像生成部と、
前記ガイド画像の３次元的な配向を示す指標を生成する指標生成部と、
を有することを特徴とする医用ガイドシステム。
【請求項２】
前記指標は、頭足方向、背腹方向及び左右方向のうちのいずれか２つを区別可能な指標であることを特徴とする請求項１に記載の医用ガイドシステム。
【請求項３】
前記指標は、人型を模した形状を具備することを特徴とする請求項１または請求項２に記載の医用ガイドシステム。
【請求項４】
前記指標は、前記ガイド画像における視線方向の変更に応じて配向状態が変化することを特徴とする請求項１乃至請求項３のいずれか一項に記載の医用ガイドシステム。
【請求項５】
前記データ保持部は、前記参照画像データにおける頭足方向及び背腹方向を示す体軸方向データをさらに保持することを特徴とする請求項１乃至請求項４のいずれか一項に記載の医用ガイドシステム。
【請求項６】
位置配向検出用素子が設けられた医用装置と、
前記位置配向検出用素子の位置及び配向を検出し、検出結果を検出値として出力する検出部と、
人体の解剖学的な画像からなる参照画像データを保持するデータ保持部と、
前記検出値に応じ、前記医用装置の前記人体に対する３次元的な位置及び配向を、前記参照画像データに関連付けて示すためのガイド画像を生成するガイド画像生成部と、
前記ガイド画像の３次元的な配向を示す指標を生成する指標生成部と、
前記ガイド画像内の前記組織構造において、臓器または器官毎に表示態様を変更する表示態様変更部と、
を有することを特徴とする医用ガイドシステム。
【請求項７】
前記表示態様は、色であることを特徴とする請求項６に記載の医用ガイドシステム。
【請求項８】
前記表示態様は、透明度であることを特徴とする請求項６に記載の医用ガイドシステム。
【請求項９】
前記表示態様変更部は、前記ガイド画像内の前記組織構造に含まれる臓器または器官毎の透明度を、前記ガイド画像内の前記医用装置の３次元的な位置と、前記ガイド画像における視線方向と、に応じて変更することを特徴とする請求項８に記載の医用ガイドシステム。
【請求項１０】
前記ガイド画像生成部は、前記ガイド画像として２つのガイド画像を生成し、
前記表示態様変更部は、前記ガイド画像生成部により生成された一方のガイド画像内の前記組織構造における臓器または器官毎の表示態様と、他方のガイド画像内の前記組織構造における臓器または器官毎の表示態様と、を別個に変更することを特徴とする請求項６に記載の医用ガイドシステム。
【請求項１１】
前記データ保持部は、前記参照画像データにおける頭足方向及び背腹方向を示す体軸方向データをさらに保持することを特徴とする請求項６乃至請求項１０のいずれか一項に記載の医用ガイドシステム。
【図１】
【図３Ａ】
【図３Ｂ】
【図１４】
【図１５】
【図２０】
【図２】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１６】
【図１７】
【図１８】
【図１９】
【図２１】
【図３Ａ】
【図３Ｂ】
【図１４】
【図１５】
【図２０】
【図２】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１６】
【図１７】
【図１８】
【図１９】
【図２１】
【公開番号】特開２０１０−６９０１８（Ｐ２０１０−６９０１８Ａ）
【公開日】平成２２年４月２日（２０１０．４．２）
【国際特許分類】
【出願番号】特願２００８−２３９９２１（Ｐ２００８−２３９９２１）
【出願日】平成２０年９月１８日（２００８．９．１８）
【出願人】（３０４０５０９２３）オリンパスメディカルシステムズ株式会社 (1,905)
【Ｆターム（参考）】
【公開日】平成２２年４月２日（２０１０．４．２）
【国際特許分類】
【出願日】平成２０年９月１８日（２００８．９．１８）
【出願人】（３０４０５０９２３）オリンパスメディカルシステムズ株式会社 (1,905)
【Ｆターム（参考）】
[ Back to top ]