医療画像処理システム
【課題】従来の内視画像の視野範囲は狭く、周辺組織を見たいとの要望があった。内視画像と超音波画像とを合成して合成画像を生成する場合に簡易な構成で両者の位置決めを行うことが望まれていた。
【解決手段】医療画像処理システムは超音波診断装置１０と内視装置１２とで構成される。内視装置１２により従来同様に内視画像が形成される。超音波診断装置１０においては、ボリュームデータが取得され、その中に含まれる複数の高輝度点が特定される。それらは内視鏡４２の先端部に設けられた複数の反射球を表すものである。複数の高輝度点から先端部の三次元位置を特定できるので、その三次元位置に基づいてボリュームデータから投影画像としての超音波画像が形成される。広い領域にわたる超音波画像上に局所領域を表現した内視画像が重合され、そのような合成画像が表示される。
【解決手段】医療画像処理システムは超音波診断装置１０と内視装置１２とで構成される。内視装置１２により従来同様に内視画像が形成される。超音波診断装置１０においては、ボリュームデータが取得され、その中に含まれる複数の高輝度点が特定される。それらは内視鏡４２の先端部に設けられた複数の反射球を表すものである。複数の高輝度点から先端部の三次元位置を特定できるので、その三次元位置に基づいてボリュームデータから投影画像としての超音波画像が形成される。広い領域にわたる超音波画像上に局所領域を表現した内視画像が重合され、そのような合成画像が表示される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は医療画像処理システムに関し、特に、内視画像と超音波画像とを合成する機能を備えた医療画像処理システムに関する。
【背景技術】
【０００２】
内視装置は、内視鏡を備える。内視鏡の先端部には前方に視野を有するＣＣＤ等の観察手段が設けられる。その他、先端部には発光器、手術具を突出させる開口等が存在する。一般に、観察手段の視野範囲は小さいため、内視画像を見ながら、目的組織を探し出すのは困難又は面倒である。例えば、双胎児間輸血症候群という疾病に対しては、子宮内に内視鏡を挿入して、内視鏡による画像観察下において、内視鏡内に挿入された手術具により、双胎児間における胎盤血流の吻合部を遮断する手術が行われる。その際、内視鏡のセンサによる視野は、例えば１０〜２０ｍｍ程度であるから、胎盤上の吻合部を内視画像だけから探索、特定するのは一般に困難であり、また時間を要するという問題がある。
【０００３】
一方、近時、三次元超音波診断技術が実用化されつつある。この技術によれば、生体内の三次元領域に対して超音波の送受波を行ってボリュームデータを取得し、そのボリュームデータに基づいて、体内組織についての積算画像、ボリュームレンダリング画像等を形成できる。その技術を内視鏡を用いた診断や治療に役立てることが望まれている。
【０００４】
特許文献１には、内視鏡（あるいは腹腔鏡）を用いた手術において、断層像撮影による支援を行うシステムが開示されている。同文献には断層像を得る装置の例として超音波診断装置が記載されている。そのシステムでは、内視鏡画像上において術者により着目点が指定されると、その着目点に対する内視鏡基準点の相対位置が求められ、一方、内視鏡基準点の絶対位置が求められ、その相対位置と絶対位置とから着目点の絶対位置が求められている。特許文献１に記載された装置は、内視鏡の観察対象について断層撮影位置を演算するものでしかない。
【０００５】
特許文献２には、超音波内視鏡装置が記載されている。この装置では、内視鏡による画像と、超音波診断による画像とを対応付けで表示するものであり、その対応付けに際して相互相関演算が利用されている。この装置において、内視鏡にはＣＣＤカメラと超音波振動子とが併設され、三次元の超音波データは内視鏡を手前に引き抜く手動走査によって取得されている。この装置は、内視鏡による三次元表面形状データと超音波診断による三次元表面形状データとを空間的に対応付けるものに過ぎず、内視鏡の位置決めのための支援画像を提供するものではない。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平１０−１１３３３３号公報
【特許文献２】特開２００４−３５８０９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
以上のように、視野の狭い内視画像だけから対象部位を特定するのは困難であるため、そのような視野の狭い内視画像と視野の広い超音波画像とを合成し、その合成画像を内視鏡位置決め用の支援画像として術者に提供することが望まれる。ところが、内視鏡装置と超音波診断装置は通常、別体に構成されているので、両者の座標系は互いに独立している。内視画像と超音波画像とを位置合わせして合成するために、それぞれの装置に大掛かりな測位手段を付加すると、システム全体の構成が複雑化してしまう。簡易な構成で上記の操作支援画像を形成することが望まれる。
【０００８】
本発明の目的は、内視鏡の位置決め操作を支援する画像を提供することにある。
【０００９】
本発明の他の目的は、簡易な構成で、内視鏡の位置決め操作を支援する画像を生成できるようにすることにある。
【課題を解決するための手段】
【００１０】
本発明に係るシステムは、超音波反射体を備えた先端部を有し、体内に挿入される内視鏡と、前記内視鏡の先端部を含む三次元空間に対して超音波を送受波する超音波プローブと、前記三次元空間に対する超音波の送受波により得られたボリュームデータに含まれる超音波反射体固有エコーに基づいて前記先端部についての三次元座標情報を演算する座標演算手段と、前記三次元座標情報に基づいて、前記ボリュームデータを用いて超音波画像を形成する超音波画像形成手段と、前記超音波画像と前記内視鏡を用いて取得される内視画像とを合成することにより合成画像を生成する画像合成手段と、を含むことを特徴とするものである。
【００１１】
上記構成によれば、内視鏡の先端部に超音波反射体が設けられているので、当該先端部が超音波プローブによって形成される三次元空間（三次元エコーデータ取込空）に差し込まれると、超音波反射体からの反射波が固有エコーとして観測されることになる。すなわち、体内組織や内視鏡本体との識別が可能なように、あるいは、それ自身をエコー信号上識別できるような条件の下で、超音波反射体が内視鏡における既知の箇所に予め設けられる。超音波反射体固有エコーを識別できれば、超音波送受波座標系における先端部の位置を容易に特定できる。つまり、三次元座標情報を求めることが可能となる。それは望ましくは相対座標情報であり、つまり、ボリュームデータに対する先端部の相対的な位置を表すものである。よって、超音波プローブの位置や姿勢を計測する必要がなくなるし、内視鏡の位置や姿勢を計測する必要もなくなる。これによりシステム構成を大幅に簡略化できる。合成画像は、超音波画像と内視画像（光学像）とを合成したものである。その合成は望ましくはリアルタイムで実行される。内視画像だけでは広いエリアを観察できずに患部を特定することが難しかったが、高域超音波画像が背景画像として表示されるので、それを観察することによって患部の特定が容易化される。内視鏡あるいは手術器具の操作を支援する画像を提供できるので、診断治療の安全性を高められ、また使用者の負担を大幅に軽減できる。
【００１２】
望ましくは、前記超音波反射体は前記先端部に設けられた複数の反射要素により構成される。複数の反射要素（特に３つ以上の相互に離間した反射要素）を利用すれば先端部の位置及び姿勢の両者を特定可能である。望ましくは、前記複数の反射要素は前記先端部の中心軸の周りの環状経路上に設けられ、それらが反射要素列を構成する。この構成によれば一部の反射要素が内視鏡の本体に隠れてしまっても残りの反射要素を特定可能となる。望ましくは、前記反射要素列は６個以上の反射球により構成される。この構成によれば、基本的に、先端部の位置及び姿勢によらずに、基本的に常に３つ以上の反射球を観測することが可能となる。内視鏡本体の表面から各反射球（強反射要素）が突出しているのが望ましいが、組織や案内用筒部材との接触が問題となるのであれば、各反射球を埋め込むことも可能である。球体を利用すればいずれの方向から超音波が到来しても確実に反射波を得られる。なお、内視鏡の外表面に超音波吸収層を設けて各反射球がより顕著に観測されるようにしてもよい。
【００１３】
望ましくは、前記座標演算手段は、前記ボリュームデータの中から、前記超音波反射体固有エコーとして、複数の反射要素固有エコーを抽出する抽出手段と、前記複数の反射要素固有エコーについての複数の三次元位置に基づいて、前記三次元座標情報を演算する解析手段と、を含む。強反射体からのエコーは高輝度エコーとなり、ボリュームデータ内において組織等からのエコーとは容易に識別可能なものである。
【００１４】
望ましくは、前記抽出手段は、前記ボリュームデータの中から複数の高輝度エコーを抽出する高輝度エコー抽出手段と、前記複数の高輝度エコーについての相互の位置関係に基づいて、前記各高輝度エコーが反射要素固有エコーであるか否かを識別する反射要素固有エコー抽出手段と、を含む。高輝度ノイズを除外するために、高輝度エコー間の距離を参照するのが望ましい。すなわち、一定距離以上離れた高輝度エコーをノイズとして判定可能である。ここで、その距離は三次元空間内で定義されるものである。
【００１５】
望ましくは、前記高輝度エコー抽出手段は、判別閾値を段階的に引き下げつつ前記ボリュームデータを構成する各ボクセルデータと前記判別閾値とを比較することにより前記複数の高輝度エコーを抽出する。このような処理により、状況に応じて、３つ以上の高輝度エコーを容易に特定することが可能となる。
【００１６】
望ましくは、前記反射要素固有エコー抽出手段は、高輝度エコー相互間距離に基づいて反射要素固有エコーを識別する。望ましくは、前記反射要素固有エコー抽出手段は、前記高輝度エコー相互間距離が上限値と下限値との間に含まれる条件を満たした３つ以上の反射要素固有エコーを抽出する。
【００１７】
本発明に係るシステムは、強反射体としての超音波反射体及び内視手段を備えた先端部を有し、体内に挿入される内視鏡と、前記内視鏡を用いて取得される信号に基づいて内視画像を形成する内視画像形成手段と、体外に設けられ、前記内視鏡の先端部を含む三次元空間に対して超音波を送受波する超音波プローブと、前記三次元空間に対する超音波の送受波により得られたボリュームデータに含まれる超音波反射体固有エコーに基づいて、前記先端部についての三次元座標情報を演算する座標演算手段と、前記三次元座標情報に基づいて、前記ボリュームデータを用いて超音波画像を形成する手段であって、当該超音波画像として前記内視画像の視野域をカバーする投影画像を形成する超音波画像形成手段と、前記超音波画像と前記内視画像とを合成することにより合成画像を生成する画像合成手段と、前記合成画像を前記内視鏡を操作する者に対して提供する表示手段と、を含むことを特徴とするものである。
【００１８】
望ましくは、前記超音波画像形成手段は、前記ボリュームデータに対して前記内視手段の視野をカバーする視線群を設定する手段と、前記視線群を構成する各視線に沿って前記先端部側からその前方へレンダリングを実行することにより前記各視線ごとに画素値を演算し、これにより前記超音波画像を形成する手段と、を含む。レンダリング方法としてボリュームレンダリング法や積算投影法などがあげられる。エコーレベルを輝度に対応させた画像を形成するようにしてもよいし、ドプラ情報に基づく画像を形成するようにしてもよい。
【００１９】
望ましくは、前記画像合成手段は、広域画像としての前記超音波画像上に狭域画像としての内視画像を重合することにより前記合成画像を生成する。望ましくは、前記内視鏡は、双胎児間輸血症候群の治療のために子宮内に挿入される器具であってレーザー出射機能を備えた治療用器具である。
【発明の効果】
【００２０】
本発明によれば、内視鏡の位置決め操作を支援する画像を提供できる。あるいは、簡易な構成で、内視鏡の位置決め操作を支援する画像を生成できる。
【図面の簡単な説明】
【００２１】
【図１】本発明に係る医療画像処理システムの好適な実施形態を示すブロック図である。
【図２】三次元空間（実空間）を示す概念図である。
【図３】観察原点及び基準方向の設定を説明するための図である。
【図４】処理開始面の設定を説明するための図である。
【図５】複数の視線の設定を説明するための図である。
【図６】超音波画像の一例を示す図である。
【図７】内視画像に対する二値化処理を説明するための図である。
【図８】二値化処理された超音波画像を示す図である。
【図９】合成画像（内視鏡操作支援画像）の一例を示す図である。
【図１０】図１に示した超音波画像形成部の処理内容を示すフローチャートである。
【図１１】図１に示した画像合成部の内容を示すフローチャートである。
【図１２】内視鏡の先端部（特に強反射体列）を示す正面図である。
【図１３】内視鏡の先端部（特に強反射体列）を示す斜視図である。
【図１４】しきい値を段階的に変化させながら高輝度点抽出処理を行った結果を示す概念図である。
【図１５】観察原点を求めるための３つの高輝度点を抽出する処理を示すフローチャートである。
【図１６】高輝度点とノイズの弁別条件を説明するための図である。
【図１７】中心点（観察原点）の演算方法を説明するための図である。
【発明を実施するための形態】
【００２２】
以下、本発明の好適な実施形態を図面に基づいて説明する。
【００２３】
（１）システム全体の説明
図１には、本発明に係る医療画像処理システムの好適な実施形態が示されており、図１はその全体構成を示すブロック図である。図１に示されるシステムは、内視鏡による治療と超音波診断とを組み合わせたシステムであり、本実施形態において対象となる組織は子宮中の胎盤である。もちろん、他の組織に対して本発明に係るシステムを用いることも可能である。
【００２４】
図１において、本実施形態に係るシステムは、大別して、超音波診断装置１０と内視装置１２とで構成される。ただし、画像処理機能を外部コンピュータ等に委ねることも可能であり、その場合には、本システムが、超音波診断装置、内視装置及びコンピュータによって構成される。本実施形態に係るシステムの実現に当たっては多様な構成が考えられる。
【００２５】
超音波診断装置１０について説明する。プローブ１４は、超音波を送受波する送受波器であり、本実施形態においては生体内の三次元空間に対して超音波の送受波を行う３Ｄプローブが用いられている。プローブ１４は、具体的には、プローブヘッド、プローブケーブル及びプローブコネクタ等からなるものである。プローブヘッド内にはアレイ振動子１６が設けられている。このアレイ振動子１６は本実施形態において２Ｄアレイ振動子であり、その２Ｄアレイ振動子１６により超音波ビームが形成され、その超音波ビームが二次元走査されて三次元のデータ取込空間が形成される。その三次元空間内からボリュームデータが取得される。もちろん、１Ｄアレイ振動子を機械的に走査することにより三次元空間を形成するようにしてもよい。
【００２６】
送受信部２６は、送信部としての送信ビームフォーマーおよび受信部としての受信ビームフォーマーからなるものである。送信時において、送受信部２６からアレイ振動子１６に対して複数の送信信号が並列的に供給される。これによりアレイ振動子１６において送信ビームが形成される。受信時において、生体内からの反射波はアレイ振動子１６にて受波され、アレイ振動子１６から複数の受信信号が送受信部２６へ並列的に出力される。送受信部２６においては、複数の受信信号に対して整相加算処理を適用し、これによって整相加算後の受信信号すなわちビームデータを得る。
【００２７】
そのビームデータは信号処理部２８へ出力される。信号処理部２８は、検波回路、対数圧縮回路、等の各種回路を有しており、ビームデータに対して所定の信号処理を実行する。その処理後のビームデータは３Ｄメモリ３０に格納される。その書き込みの際に座標変換が適用され、各ビームデータを構成するエコーデータ（ボクセルデータ）はそれに対応するアドレスに格納される。もちろん、読み出し時において座標変換が適用されてもよい。座標変換は、一般に、送受波座標系からメモリ空間座標系への変換を意味するものである。これによって、３Ｄメモリ３０内にはボリュームデータが格納されることになる。
【００２８】
本実施形態においては、内視装置１２によって観察されている局所組織が含まれるように三次元エコーデータ取り込み空間すなわち三次元空間が形成されており、逆に言えば、そのような適正な位置に三次元空間が形成されるように３Ｄプローブ１４の位置決めが行われる。したがって、３Ｄメモリ３０内には、内視画像化の対象となっている局所組織を含む広域組織に対応したボリュームデータが格納されることになる。
【００２９】
座標演算部１０２は、ボリュームデータに対して後に図１４及び図１５に示す処理を適用することにより、レンダリングの際に必要となる座標データを演算する。その座標データは、内視観察原点及び視野中心方向を特定する情報である。そのような座標データに基づいて超音波画像を形成する際のレンダリング条件が定められる。座標演算部１０２における具体的な演算内容については後に図１２以降の各図を参照して詳細に説明する。
【００３０】
超音波画像形成部３２は、ボリュームデータにおける部分的なデータ（部分ボリュームデータ）に基づいてそれをレンダリング処理することにより投影画像としての超音波画像を形成している。その場合においては、内視画像における観察点すなわち視点と同じ方向から超音波画像が形成されるようにデータ処理が実行されている。その際においては、相対座標演算部１０２から出力される座標データが参照される。
【００３１】
画像合成部３４は、超音波画像上に後に説明する内視画像を合成するモジュールである。合成の仕方としては、重合方式及びはめ込み方式が考えられ、重合方式の場合においては、超音波画像上に内視画像が部分的に重ね合わされる。はめ込み方式が採用される場合には、内視画像がはめ込まれる領域が超音波画像上から除去され、すなわち穴空き状態とされ、その空いた部分に内視画像がはめ込まれる。もちろん、画像合成の方式としては、従来から知られている各種の方式を採用することができる。本実施形態においては、二つの画像の合成にあたって両者の相対的な位置関係を段階的に変化させながら逐次的に相関演算が実行されており、相関値が最も良好となる状態として両者の適正位置関係が認定されている。そのような適正位置関係の下で二つの画像が合成されれば、画像間における位置ずれを最小限にでき、また画像間におけるひずみも少なくすることが可能となる。ただし、そのような相関演算は必要に応じて実行されればよく、二つの画像を単純に重ね合わせるだけでも一定の効果を得られる。
【００３２】
以上のように、画像合成部３４において合成画像が生成されると、その画像データが表示部３６に送られ、表示部３６の画面上に合成画像が表示される。その合成画像は、光学的な画像と音響的な画像とが組み合わさった新しい画像であり、具体的には、従来同様の光学像の周囲に超音波画像が表され、従来においては見えなかった周辺部の構造や様子を超音波画像を通じて認識することが可能となるので、内視鏡操作の支援を行うことができ、また患部を迅速に探知できるという利点が得られる。内視画像については画像合成に先立って加工や修正を施すことも可能であり、これは超音波画像についても同様である。例えば、エッジ強調処理やコントラスト強調処理等を施すようにしてもよい。
【００３３】
主制御部３８は、超音波診断装置１０に含まれる各構成の動作制御を行っており、主制御部３８は具体的にはＣＰＵと動作プログラムとによって構成されるものである。主制御部３８には操作パネル４０が接続されており、ユーザーは操作パネル４０を利用して動作条件の設定を行ったり、パラメータの入力を行ったりすることが可能である。ちなみに、超音波画像形成部３２及び画像合成部３４はソフトウェアの機能として実現することが可能であり、超音波診断装置１０内においてそのようなプログラム処理を行うことも可能ではあるが、ボリュームデータを外部ＰＣへ転送し、外部ＰＣ上において画像処理を行わせることも可能である。ただし、内視鏡操作の支援にあたっては合成画像がリアルタイムで更新されるのが望ましく、そのようなリアルタイム性を実現できるシステムを構築するのが望ましい。本実施形態においては、超音波診断装置１０に対して内視装置１２が組み合わされており、すなわち内視装置１２からの画像データを超音波診断装置１０において利用することにより、リアルタイムで表示される超音波画像上に同じくリアルタイムで表示される内視画像が合成されている。
【００３４】
次に、内視装置１２について説明する。符号４２は内視鏡を示している。内視鏡４２は体内に挿入される部分と体外に位置決めされる部分とからなるものである。体内部分にはイメージセンサ４４及び発光器４６等が設けられている。イメージセンサ４４は例えばＣＣＤカメラである。もちろん他の画像取得デバイスを設けるようにしてもよい。発光器４６は画像取り込み時において前方を照らすためのデバイスである。ただし、例えば高感度赤外線センサ等を利用することにより、発光器４６を省略することも可能である。内視鏡４２の中には１又は複数のチャンネル（図示せず）が設けられており、いずれかのチャンネルを利用して術具を挿入し、胎盤表面上を走行している血管等に対する処置を行うことが可能である。
【００３５】
内視装置本体４５には内視画像形成部４７が設けられており、内視画像形成部４７はイメージセンサ４４から出力される信号に基づいて光学像としての内視画像を形成している。その画像データは上述したように画像合成部３４に出力される。
【００３６】
図２には、三次元空間６０が示されている。この三次元空間６０は超音波の送受波が行われる領域（実空間）であり、上述したボリュームデータに相当するものである。三次元空間６０はプローブヘッド５６における超音波ビームの電子的な走査により構成される。図２においては立方体形状の三次元空間６０が示されているが、その形状は立方体には限られない。例えば、コンベックス型の１Ｄアレイ振動子を機械的に揺動走査させる方式では、角錐型の三次元空間が形成されることになる。
【００３７】
三次元空間６０は本実施形態において子宮の一部を含んでおり、図示されるようにそこには胎盤６２の一部が含まれている。符号６２Ａは胎盤表面を表しており、その表面（表層）６２Ａには複数の血管６４が走行している。
【００３８】
内視鏡５８は本実施形態において硬質の棒状部材として構成されており、腹部に形成された孔を通じて内視鏡５８の先端部が子宮内に差し込まれる。内視鏡５８の先端部あるいはそれ以外の部分に屈曲性を持った関節部が設けられてもよい。内視鏡５８の先端部には上述したイメージセンサが設けられ、そのイメージセンサによる視野範囲が符号６６で示されている。図に示されるように視野範囲６６は胎盤表面６２Ａにおけるごくわずかの領域であり、疾患部分をその視野範囲を通じて探知するのは容易でない。つまり、視野範囲６６の周辺に存在する組織の様子についても情報を得たいというニーズがある。そこで、本実施形態においては上述したように内視画像と超音波画像との組み合わせが実現されている。
【００３９】
図３乃至図６を用いて超音波画像の作成例について説明する。図３において、本実施形態ではまず内視鏡５８におけるイメージセンサ上の視点すなわち中心点に相当する観察原点５８Ａが特定される。その特定は図１に示した座標演算部１０２により行われている。観察原点５８Ａの三次元位置は、ボリュームデータが存在するデータ空間の三次元座標系に従って特定されるものである。なお、実際の観察窓の中心と先端部の中心とがずれていても、換言すれば、実際の観察窓の中心ではなく先端部の中心だけを特定できる場合であっても、上記したマッチング処理が実行されるので、２つの画像の合成において問題は生じない。観察原点５８Ａと共に、そこから視野前方へ伸びる基準方向すなわち視野方向７０が特定される。その特定も図１に示した相対座標演算部１０２において行われているが、その演算を超音波画像形成部３２において行うようにしてもよい。視野方向７０は視野範囲６６の中心軸に相当するものであり、あるいは、内視鏡５８の軸方向に相当するものである。
【００４０】
次に、図４に示されるように、観察原点５８Ａを基準として処理開始面７２が設定される。この処理開始面７２は具体的には３Ｄメモリの三次元記憶空間上に設定されるものである。本実施形態においては、処理開始面７２は観察原点５８Ａを通過する面であって基準方向７２に直交する面である。処理開始面７２の大きさは任意に設定することが可能であるが、少なくとも視野範囲６６の周辺をカバーできるようにそのサイズが定められるのが望ましく、特に望ましくはボリュームデータの全体を通過する程度の大きさを持った範囲として定められる。観察原点５８Ａを通過する面としてではなくそれよりも前方の位置に処理開始面７２が設定されるようにしてもよい。すなわち、本実施形態においては、胎盤表面とイメージセンサとの間に羊水が存在しており、この羊水は超音波画像にほとんど反映されない部分であるため、必要に応じて処理開始面を前方に設定することが考えられる。もちろん処理開始面を後方に設定することも可能である。
【００４１】
次に、図５に示されるように、処理開始面７２を基準としてそれに直交する方向として視線（レイ）群７４が設定される。視線群７４は複数の視線７６により構成されるものである。本実施形態において複数の視線７６は互いに平行であるが、非平行の関係をもって複数の視線７６が設定されてもよい。例えば、観察原点５８Ａから放射状に複数の視線７６が設定されるようにしてもよい。そして、各視線毎にレンダリングが演算実行され、すなわち各視線毎に画素値が決定される。それらの画素値を二次元平面上にマッピングすれば超音波画像を構成することが可能である。レンダリングの方法としては、積算投影法があげられ、特に望ましくはボリュームレンダリング法を適用するのが望ましい。本実施形態においては、胎盤の表層部分のみならず胎盤の内部についても超音波画像に反映されるようにレンダリング条件が定められている。
【００４２】
このようなレンダリング処理の結果として形成された超音波画像が図６に模式的に示されている。図６において波線の円８４は内視鏡による視野範囲を表している。その範囲の周辺部が広く画像化されていることを理解できる。そこには血管群７８が存在し、その血管群７８は表層を走行している血管８０と内部を走行している血管８２とを含むものである。もちろん、レンダリング条件を変えることによりレンダリングする深さを自由に変更することが可能である。
【００４３】
以上のように、超音波画像が構成されると、その超音波画像と内視画像とが合成される訳であるが、本実施形態においては上述したように二つの画像間において相関演算が実行されている。すなわち二つの画像が空間的に位置整合するようにマッチング処理が実行されている。そのために、各画像が二値化処理される。
【００４４】
図７の（Ａ）には内視画像８６が示されている。その画像は視野範囲に相当する円形の画像である。その内部には血管８８が表れている。これに対して二値化処理が施され、それにより生成されたものが二値化画像９０であり、それが図７の（Ｂ）に示されている。二値化処理にあたっては、血管部分に対して１（または０）が与えられ、それ以外の組織部分に対して０（または１）が与えられる。
【００４５】
一方、超音波画像に対しても二値化処理が施される。具体的には、図６に示した超音波画像７６に対して血管と組織とを弁別する閾値を利用して二値化処理が施され、それにより生成されたものが図８に示す二値化画像９６である。波線の円形８４は内視画像の視野範囲を表している。本実施形態では、この図８に示した二値化画像９６と図７の（Ｂ）に示した二値化画像９０との間で、両者の位置関係を段階的に変化させながら相関演算が繰り返し実行され、最良の相関値が得られた時点をもって適正位置関係であると認定されている。そしてその適正位置関係にある二つの超音波画像（二値化前の画像）及び内視画像（二値化前の画像）が合成され、これにより合成画像が生成されている。その一例が図９に示されている。合成画像１００は超音波画像７６上に内視画像８６を重合させてなる画像である。超音波画像７６は本実施形態において白黒画像であり、内視画像８６はカラー画像である。一般に光学像である内視画像８６の方が鮮明であるため、合成画像１００においては、注目している円形の領域内において、背景に対してくっきりと組織が浮かび上がった様子が顕在化することになる。内視鏡を移動させれば、視野範囲が移動することになるため、内視画像８６の内容がリアルタイムに更新される。この場合、超音波画像７６上において内視画像８６の位置を変化させるようにしてもよいし、内視画像８６の画面表示位置を固定した状態において、超音波画像７６を移動させあるいはその内容を更新するようにしてもよい。イメージセンサと組織との間の距離を計測することにより、内視画像のサイズを距離に応じて動的に変化させるようにしてもよい。本実施形態においては、二つの画像間において不連続性あるいは歪みが生じていたとしても、内視画像８６の周辺にある程度の確からしさをもって組織構造を表す画像を表示できるため、内視鏡の操作を支援でき、また患部の特定を容易にできるという利点がある。すなわち実際に注目しているのは内視画像８６であり、その視野範囲を移動させれば鮮明な部位を移動させることができるのであり、周辺に存在する画像はあくまでも支援を行うものにすぎないため、二つの画像間において位置ずれ等が多少あったとしても従来に比べて利便性を向上することが可能である。
【００４６】
次に、図１０及び図１１を用いてシステムの動作例を説明する。図１０には図１１に示した超音波画像形成部３２の動作例が示されており、図１１には図１に示した画像合成部３４の動作例が示されている。
【００４７】
まず、図１０を参照すると、Ｓ１０１では、後に図１２乃至図１７を用いて詳述する手法に基づいて、観察原点と基準方向とが演算される。具体的には内視鏡先端部の中心点とそこから前方の方向（プローブから見て前方の中心軸方向）が特定される。Ｓ１０２では、図４に示したように処理開始面が特定される。処理開始面が先に求まるならば、基準方向の特定を省略することもできる。Ｓ１０３では、図５に示したように処理開始面から伸びる複数の視線が設定され、各視線（レイ）に沿ってレンダリング演算を行うことにより、部分ボリュームデータに対する処理が実行され、これにより部分ボリュームデータが反映されたレンダリング画像としての超音波画像が形成される。その超音波画像の一例については図６に示したとおりである。
【００４８】
次に、図１１を参照すると、Ｓ２０１では、内視装置により得られた内視画像が二値化処理され、これにより二値化内視画像が生成される。同様に、Ｓ２０２では、超音波画像が二値化処理され、これにより二値化超音波画像が生成される。Ｓ２０３では、超音波二値化画像の基準軸点に内視二値化画像の中心点を一致させつつ、両者が仮に合成される。ここで、基準軸点は、超音波画像における基準軸に相当する点であり、その点に内視二値化画像の中心点を一致させることにより、三次元空間内において二つの画像を概ね整合させることが可能である。その初期状態を基準として、以下のように相関演算における探索幅が設定されることになる。
【００４９】
Ｓ２０４〜Ｓ２０６では画像の縮尺率を変更させながら相関演算が実行される。具体的には、一方の画像（望ましくは内視二値化画像）を拡大または縮小させて、Ｓ２０５において二つの画像間において相関値が演算される。そして、Ｓ２０６において相関値が最大とみなされるまで、一方画像の縮尺率を変更させながらの相関演算が繰り返し実行される。Ｓ２０６において相関値が最大であると認定された場合、Ｓ２０７〜Ｓ２０９における平行移動をさせながらの相関値演算処理が実行される。
【００５０】
具体的には、Ｓ２０７において、一方画像を上下あるいは左右の方向に平行移動させる処理が実行されて、Ｓ２０８において、その平行移動後における状態において相関値が演算される。そして、平行移動を繰り返しながら、Ｓ２０９において相関値が最大とみなされるまで相関値演算が繰り返し実行される。Ｓ２０９において相関値が最大であると判断された場合でも、Ｓ２１０〜Ｓ２１２の工程が実行される。具体的には、Ｓ２１０において一方画像を回転させて、Ｓ２１１において相関値が演算される。この処理がＳ２１２において相関値最大であると判断されるまで繰り返し実行される。Ｓ２１２において相関値が最大であると判断された場合、Ｓ２１３が実行される。
【００５１】
Ｓ２１３では、今までの推移から相関値が飽和しているか否かが判断されても、飽和していなければＳ２０４以降の各工程が繰り返し実行される。すなわち、条件の組み合わせを変更させながら相関値が飽和するまで二つの画像の最良マッチング状態が探索されることになる。Ｓ２１３において相関値が飽和したと判断された場合、Ｓ２１４において超音波画像と内視画像とが合成され、それが画面上に表示されることになる。図１１においては、拡大縮小処理、平行移動処理、回転処理の三つの変化が含まれていたら、そのうちの一つまたは二つを実施するようにしてもよい。ただし、特に拡大縮小処理を含めることにより、イメージセンサ等を対象物表面との間における距離が不知であったとしても二つの画像の縮尺を整合させて違和感のない合成画像を構築できるという利点がある。
【００５２】
上記構成においては、立体的な領域が画像化された超音波画像を利用しているため、組織内部を走行する血管を表示することが可能であり、これにより手術器具を利用して血管の処置を行うような場合においてもその安全性を高められるという利点がある。本実施形態では、合成画像が術者にリアルタイムで提供され、それを見ながら胎盤上における治療部位を速やかに特定できる。つまり、内視鏡を操作してそれを適切に位置決めできる。患部の周辺も一度に観察できるから、不用意に先端部が組織に接触してしまうことも未然に防止できる。治療部位が特定されたならばそこに対してレーザー光が照射される。
【００５３】
（２）反射体を利用した相対座標演算方法の説明
次に図１２乃至図１７を用いて反射体を用いた相対座標演算方法について詳述する。
【００５４】
図１２及び図１３には内視鏡４２の先端部が示されている。図１２は平面図であり、図１３は斜視図である。先端部の先端面４２Ａには光学的観察のための観察窓１０６、照射窓１０８及び鉗子口１１０が設けられている。先端面４２Ａの中心と観察窓１０６の中心は一致していないが、画像合成時においてマッチング処理が適用されるので、その位置ずれは問題とならない。観察窓１０６はイメージセンサによって光学像を取り込むための窓部材により構成されている。照射窓１０８は発光器で生じた光を前方へ照射するための窓部材により構成されている。鉗子口１１０は器具を挿通させるチャンネルの端部を構成し、そこには血管焼灼用のレーザー治療器が挿入される。先端面４２Ａは円形の面であり、その周囲（周縁）には反射体１１２が設けられている。具体的には、反射体１１２は、複数の反射球（反射要素）１１４からなるリング状の反射球列を構成している。各反射球１１４は超音波を強く反射する特殊材料からなる微小球体（ポーラス）により構成されている。本実施形態では、８個の反射球１１４が設けられており、それらの相互間隔（相互角度）は一定ピッチ（等角度）である。一般に６個以上の反射球を設ければプローブの位置によらずに少なくとも３つの反射球からのエコーを観測することが可能となる。すなわち、一部の反射球が内視鏡本体に裏側に隠れても他の反射球からのエコーを常に観測することが可能である。相互の位置関係は既知であるので、３つ以上の反射球の三次元位置を特定できれば、三次元空間内における、先端面４２Ａの位置、具体的にはその中心位置を演算することが可能となる。中心位置から前方へ伸びる軸方向（基準方向）は、先端面の中心から出る方向であってプローブから遠ざかる方向として定義され得る。なお、内視鏡本体からのエコーも観測されるが、そのようなエコーを低減して各反射球からのエコーを顕在化させるために、内視鏡本体の外表面に超音波吸収層を設けるようにしてもよい。
【００５５】
図１４には、高輝度点の抽出処理が概念図として示されている。（Ａ）には、三次元空間（実空間）６０が示されている。これはプローブヘッド５６による超音波の送受波空間に相当する。内視鏡５８の先端部がその三次元空間６０内に位置している。内視鏡５８の先端部には超音波反射体（反射球列）１１２が設けられている。（Ｂ）乃至（Ｆ）にはボリュームデータに相当する三次元空間（データ空間）１１６が示されている。しきい値αは各エコーデータ（ボクセルデータ）を二値化する際に用いられる閾値である。（Ｂ）に示す例では、しきい値αにα１が設定されており、（Ｂ）にはそのようなしきい値αを用いて二値化処理を行った結果が示されている。ここでは符号１１８で示すように１つの高輝度点が抽出されている。この高輝度点はいずれかの反射球に相当するものである。（Ｃ）には、しきい値αを１段階下げてα２とした上で、それを用いて二値化処理を行った場合の処理結果が示されている。符号１２０で示されるように、２つの反射球に相当する２つの高輝度点が抽出されている。組織は相対的に見て低輝度であるから、この段階では抽出されない。（Ｄ）には、しきい値αを更に１段階下げてα３とした上で、それを用いて二値化処理を行った場合の処理結果が示されている。符号１２０で示すように、上記同様に、２つの高輝度点が抽出される一方において、符号１２２で示すように、高輝度ノイズに相当する高輝度点が抽出されている。（Ｅ）には、しきい値αを更に１段階下げてα４とした上で、それを用いて二値化処理を行った場合の処理結果が示されている。符号１２４で示されるように、３つの反射球に対応する３つの高輝度点と、ノイズに相当する１つの高輝度点が抽出されている。このように、段階的にしきい値αを下げていくと、反射球に相当する高輝度点の個数が増加することになるが、その一方、高輝度ノイズもヒットしてしまう可能性が高くなる。
【００５６】
そこで、本実施形態においては後に詳述するように高輝度点間の距離（三次元空間内での距離）を計測し、その距離が所定値以上である場合や所定値以下である場合に高輝度ノイズであると判定するようにしている。例えば、３つの高輝度点が存在している場合において、特定の２つの高輝度点については相互間距離が一定条件を満たし、特定の１つの高輝度点については他の２つの高輝度点との間における距離が一定条件を満たさない場合には当該高輝度点をノイズであると判定している。そのようなノイズ除去処理を適用した結果として、（Ｆ）に示すような結果が得られる。すなわち、その三次元空間１１６には、３つの反射球に相当する３つの高輝度点（固有エコー）だけが含まれており、ノイズに相当する高輝度点は除外されている。もちろん、４つ以上の反射球に相当する４つ以上の高輝度点が抽出されてもよい。少なくとも３つの高輝度点を抽出できれば、それらの３点によって、先端部が有する先端面を空間的に定義でき、同時に、その中心点も定義することができる。基準方向は中心点を通過する前方方向として定義される。
【００５７】
図１５には、３つ（あるいはそれ以上）の反射球を特定する処理がフローチャートとして示されている。
【００５８】
Ｓ３０１では、初期設定として、しきい値αに最大値が設定される。Ｓ３０２では、しきい値αを用いてボリュームデータに対して二値化処理が適用される。すなわち、しきい値αを超えるボクセルデータが１に変換され、それ以外のボクセルデータが０に変換される。Ｓ３０３では、二値化後の後処理として例えば細線化処理が適用される。高輝度点が広がりを有している場合にその中心点を１点として特定するためにこの細線化処理が実行されている。但し、この処理は必要な場合に実行すればよい。Ｓ３０４では、値１のデータを有するボクセルが２つ以上存在している場合に、そのようなボクセル相互間の距離が演算される。Ｓ３０５では、演算された距離が所定条件を満たすかそれを外れるかが判断され、その判断結果に基づいてノイズに相当する高輝度点であることが判明した場合にはそれが除外（抹消）される。距離に基づく判別手法については後に図１６を用いて説明する。Ｓ３０５の処理は通常、３つ以上の高輝度点が求められた場合に遂行される。もちろん、ノイズ除去処理方法として距離に基づくもの以外の手法を適用するようにしてもよい。例えば、高輝度点のサイズや形状を識別基準として利用することも考えられる。Ｓ３０６では、高輝度点の個数がカウントされ、そのカウント値が３以上であれば、処理がＳ３００８へ移行し、そうでなければ処理がＳ３０２へ移行する。すなわち、しきい値αを段階的に１つずつ引き下げながら上記処理が繰り返し実行される。Ｓ３０８では、所定条件を満たした近い距離関係にある３つの高輝度点の各座標が演算され、それが出力される。すなわち、処理が図１０に示したＳ１０１に移行する。３点の座標から先端面が定義され、同時に、その中心の三次元位置が特定され、そこから前方へ伸びる垂線として基準方向が特定される。
【００５９】
図１６には、超音波反射体１１２を構成する複数の反射球１１４の相互位置関係が示されている。三次元空間内においては、隣接する２つの反射球１１４の間隔はａであって、それは既知である。また、２つの反射球の間の距離としてもっとも長いものはｂであって、それも既知である。つまり、正規の高輝度点であれば、相互間距離は必ずａ以上ｂ以下となるのである。逆に言えば、２つの高輝度点間の距離がその条件を満たさない場合、それらの内の一方又は両方がノイズである可能性がある。その内の一方について既に正規の高輝度点であると判明しているのであれば、他方についてノイズであると判断することが可能となる。ちなみに、複数の反射球の間隔を不揃いとして、中心軸周りにおける先端部の回転方位まで特定できるようにしてもよい。その場合には実際の反射球の配列に基づいて判定条件を定めればよい。
【００６０】
図１７には、先端面の中心点を特定する方法が概念図として示されている。いま、相互に隣り合う高輝度点Ｐ１，Ｐ２，Ｐ３の三次元位置（三次元座標）が特定された場合、隣接する高輝度点ペアが２つあり、それらのペアを通過する２つの直線Ｌ１，Ｌ２が特定される。各直線Ｌ１，Ｌ２上の距離はａである。各直線Ｌ１，Ｌ２の中点が特定され、その中点を通過する垂線（直交線）Ｌ３，Ｌ４が特定される。それらの交点として中心点Ｏが特定される。図１７に示す例では、３つの高輝度点が並んでいたが、そうでない場合であっても、３つの点によって定義される２つの直線を基準としてその中点を採る垂線として中心点を容易に特定できる。中心点はレンダリングを行う際の基準点となるものである。もっとも、中心点から観察窓の位置を特定し、その位置をレンダリング基準点とするようにしてもよい。３点が決まれば先端面を定義でき、それをレンダリング開始面あるいはレンダリング基準面として用いるようにしてもよい。本実施形態においては、複数の反射球を円環状に並べたので、プローブの位置がどこにあっても基本的に少なくとも３つの高輝度点を抽出することが可能である。
【００６１】
次に、参考までに、３つの高輝度点（三次元空間内の３点）を含む平面の式の求め方を説明する。３点の座標は以下の通りである。
【数１】
【００６２】
求めるべき平面は以下の式によって定義されるものとする。
【数２】
【００６３】
具体的には上記式に含まれる３つの係数ａ，ｂ，ｃを求める。ｄは上記３つの係数に含めて計算できるので、ここでは便宜上ｄ＝１として計算することができる。つまり、
【数３】
において、ｄ＝１とすると、上記（１）式は、以下のように表現される。
【数４】
【００６４】
上記３点は上記（３）式を満たすことから，次の連立方程式を満たすａ、ｂ、ｃを求めることにより、平面の式が得られる。
【数５】
【００６５】
行列式の表現を用いて、この連立方程式を解くことにすると、（４）式は次のように表現される。
【数６】
【００６６】
上記（５）式の両辺に行列Ｐの逆行列を掛けることにより、行列Ｋが求まる。
【数７】
【００６７】
ここで、
【数８】
であるから、Ｋは、
【数９】
により求めることが可能である。但し、以下の通りである。
【数１０】
【００６８】
したがって、平面の式は以下のように求められる。
【数１１】
【００６９】
上記実施形態の構成によれば、送受波座標系において、内視鏡の先端部の三次元座標を特定できるから、プローブ及び内視鏡のそれぞれに測位装置を設けてそれぞれの絶対座標を計測する必要がなく、システム構成を簡略化できると共に、位置決め精度も高められる。超音波画像の生成及び画像合成は、ボリュームスキャンごとにリアルタイムで行われるので、合成画像を術者に提供して、内視鏡の操作を支援することができるから、診断治療を円滑に遂行させることができ、しかも安全性も高められる。このように本システムは医療上有益なる効果を生じさせるものである。
【符号の説明】
【００７０】
１０ 超音波診断装置、１２ 内視装置、１４ プローブ、３２ 超音波画像形成部、３４ 画像合成部、４２ 内視鏡、４４ イメージセンサ、４５ 内視装置本体、４７ 内視画像形成部、１０２ 座標演算部。
【技術分野】
【０００１】
本発明は医療画像処理システムに関し、特に、内視画像と超音波画像とを合成する機能を備えた医療画像処理システムに関する。
【背景技術】
【０００２】
内視装置は、内視鏡を備える。内視鏡の先端部には前方に視野を有するＣＣＤ等の観察手段が設けられる。その他、先端部には発光器、手術具を突出させる開口等が存在する。一般に、観察手段の視野範囲は小さいため、内視画像を見ながら、目的組織を探し出すのは困難又は面倒である。例えば、双胎児間輸血症候群という疾病に対しては、子宮内に内視鏡を挿入して、内視鏡による画像観察下において、内視鏡内に挿入された手術具により、双胎児間における胎盤血流の吻合部を遮断する手術が行われる。その際、内視鏡のセンサによる視野は、例えば１０〜２０ｍｍ程度であるから、胎盤上の吻合部を内視画像だけから探索、特定するのは一般に困難であり、また時間を要するという問題がある。
【０００３】
一方、近時、三次元超音波診断技術が実用化されつつある。この技術によれば、生体内の三次元領域に対して超音波の送受波を行ってボリュームデータを取得し、そのボリュームデータに基づいて、体内組織についての積算画像、ボリュームレンダリング画像等を形成できる。その技術を内視鏡を用いた診断や治療に役立てることが望まれている。
【０００４】
特許文献１には、内視鏡（あるいは腹腔鏡）を用いた手術において、断層像撮影による支援を行うシステムが開示されている。同文献には断層像を得る装置の例として超音波診断装置が記載されている。そのシステムでは、内視鏡画像上において術者により着目点が指定されると、その着目点に対する内視鏡基準点の相対位置が求められ、一方、内視鏡基準点の絶対位置が求められ、その相対位置と絶対位置とから着目点の絶対位置が求められている。特許文献１に記載された装置は、内視鏡の観察対象について断層撮影位置を演算するものでしかない。
【０００５】
特許文献２には、超音波内視鏡装置が記載されている。この装置では、内視鏡による画像と、超音波診断による画像とを対応付けで表示するものであり、その対応付けに際して相互相関演算が利用されている。この装置において、内視鏡にはＣＣＤカメラと超音波振動子とが併設され、三次元の超音波データは内視鏡を手前に引き抜く手動走査によって取得されている。この装置は、内視鏡による三次元表面形状データと超音波診断による三次元表面形状データとを空間的に対応付けるものに過ぎず、内視鏡の位置決めのための支援画像を提供するものではない。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平１０−１１３３３３号公報
【特許文献２】特開２００４−３５８０９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
以上のように、視野の狭い内視画像だけから対象部位を特定するのは困難であるため、そのような視野の狭い内視画像と視野の広い超音波画像とを合成し、その合成画像を内視鏡位置決め用の支援画像として術者に提供することが望まれる。ところが、内視鏡装置と超音波診断装置は通常、別体に構成されているので、両者の座標系は互いに独立している。内視画像と超音波画像とを位置合わせして合成するために、それぞれの装置に大掛かりな測位手段を付加すると、システム全体の構成が複雑化してしまう。簡易な構成で上記の操作支援画像を形成することが望まれる。
【０００８】
本発明の目的は、内視鏡の位置決め操作を支援する画像を提供することにある。
【０００９】
本発明の他の目的は、簡易な構成で、内視鏡の位置決め操作を支援する画像を生成できるようにすることにある。
【課題を解決するための手段】
【００１０】
本発明に係るシステムは、超音波反射体を備えた先端部を有し、体内に挿入される内視鏡と、前記内視鏡の先端部を含む三次元空間に対して超音波を送受波する超音波プローブと、前記三次元空間に対する超音波の送受波により得られたボリュームデータに含まれる超音波反射体固有エコーに基づいて前記先端部についての三次元座標情報を演算する座標演算手段と、前記三次元座標情報に基づいて、前記ボリュームデータを用いて超音波画像を形成する超音波画像形成手段と、前記超音波画像と前記内視鏡を用いて取得される内視画像とを合成することにより合成画像を生成する画像合成手段と、を含むことを特徴とするものである。
【００１１】
上記構成によれば、内視鏡の先端部に超音波反射体が設けられているので、当該先端部が超音波プローブによって形成される三次元空間（三次元エコーデータ取込空）に差し込まれると、超音波反射体からの反射波が固有エコーとして観測されることになる。すなわち、体内組織や内視鏡本体との識別が可能なように、あるいは、それ自身をエコー信号上識別できるような条件の下で、超音波反射体が内視鏡における既知の箇所に予め設けられる。超音波反射体固有エコーを識別できれば、超音波送受波座標系における先端部の位置を容易に特定できる。つまり、三次元座標情報を求めることが可能となる。それは望ましくは相対座標情報であり、つまり、ボリュームデータに対する先端部の相対的な位置を表すものである。よって、超音波プローブの位置や姿勢を計測する必要がなくなるし、内視鏡の位置や姿勢を計測する必要もなくなる。これによりシステム構成を大幅に簡略化できる。合成画像は、超音波画像と内視画像（光学像）とを合成したものである。その合成は望ましくはリアルタイムで実行される。内視画像だけでは広いエリアを観察できずに患部を特定することが難しかったが、高域超音波画像が背景画像として表示されるので、それを観察することによって患部の特定が容易化される。内視鏡あるいは手術器具の操作を支援する画像を提供できるので、診断治療の安全性を高められ、また使用者の負担を大幅に軽減できる。
【００１２】
望ましくは、前記超音波反射体は前記先端部に設けられた複数の反射要素により構成される。複数の反射要素（特に３つ以上の相互に離間した反射要素）を利用すれば先端部の位置及び姿勢の両者を特定可能である。望ましくは、前記複数の反射要素は前記先端部の中心軸の周りの環状経路上に設けられ、それらが反射要素列を構成する。この構成によれば一部の反射要素が内視鏡の本体に隠れてしまっても残りの反射要素を特定可能となる。望ましくは、前記反射要素列は６個以上の反射球により構成される。この構成によれば、基本的に、先端部の位置及び姿勢によらずに、基本的に常に３つ以上の反射球を観測することが可能となる。内視鏡本体の表面から各反射球（強反射要素）が突出しているのが望ましいが、組織や案内用筒部材との接触が問題となるのであれば、各反射球を埋め込むことも可能である。球体を利用すればいずれの方向から超音波が到来しても確実に反射波を得られる。なお、内視鏡の外表面に超音波吸収層を設けて各反射球がより顕著に観測されるようにしてもよい。
【００１３】
望ましくは、前記座標演算手段は、前記ボリュームデータの中から、前記超音波反射体固有エコーとして、複数の反射要素固有エコーを抽出する抽出手段と、前記複数の反射要素固有エコーについての複数の三次元位置に基づいて、前記三次元座標情報を演算する解析手段と、を含む。強反射体からのエコーは高輝度エコーとなり、ボリュームデータ内において組織等からのエコーとは容易に識別可能なものである。
【００１４】
望ましくは、前記抽出手段は、前記ボリュームデータの中から複数の高輝度エコーを抽出する高輝度エコー抽出手段と、前記複数の高輝度エコーについての相互の位置関係に基づいて、前記各高輝度エコーが反射要素固有エコーであるか否かを識別する反射要素固有エコー抽出手段と、を含む。高輝度ノイズを除外するために、高輝度エコー間の距離を参照するのが望ましい。すなわち、一定距離以上離れた高輝度エコーをノイズとして判定可能である。ここで、その距離は三次元空間内で定義されるものである。
【００１５】
望ましくは、前記高輝度エコー抽出手段は、判別閾値を段階的に引き下げつつ前記ボリュームデータを構成する各ボクセルデータと前記判別閾値とを比較することにより前記複数の高輝度エコーを抽出する。このような処理により、状況に応じて、３つ以上の高輝度エコーを容易に特定することが可能となる。
【００１６】
望ましくは、前記反射要素固有エコー抽出手段は、高輝度エコー相互間距離に基づいて反射要素固有エコーを識別する。望ましくは、前記反射要素固有エコー抽出手段は、前記高輝度エコー相互間距離が上限値と下限値との間に含まれる条件を満たした３つ以上の反射要素固有エコーを抽出する。
【００１７】
本発明に係るシステムは、強反射体としての超音波反射体及び内視手段を備えた先端部を有し、体内に挿入される内視鏡と、前記内視鏡を用いて取得される信号に基づいて内視画像を形成する内視画像形成手段と、体外に設けられ、前記内視鏡の先端部を含む三次元空間に対して超音波を送受波する超音波プローブと、前記三次元空間に対する超音波の送受波により得られたボリュームデータに含まれる超音波反射体固有エコーに基づいて、前記先端部についての三次元座標情報を演算する座標演算手段と、前記三次元座標情報に基づいて、前記ボリュームデータを用いて超音波画像を形成する手段であって、当該超音波画像として前記内視画像の視野域をカバーする投影画像を形成する超音波画像形成手段と、前記超音波画像と前記内視画像とを合成することにより合成画像を生成する画像合成手段と、前記合成画像を前記内視鏡を操作する者に対して提供する表示手段と、を含むことを特徴とするものである。
【００１８】
望ましくは、前記超音波画像形成手段は、前記ボリュームデータに対して前記内視手段の視野をカバーする視線群を設定する手段と、前記視線群を構成する各視線に沿って前記先端部側からその前方へレンダリングを実行することにより前記各視線ごとに画素値を演算し、これにより前記超音波画像を形成する手段と、を含む。レンダリング方法としてボリュームレンダリング法や積算投影法などがあげられる。エコーレベルを輝度に対応させた画像を形成するようにしてもよいし、ドプラ情報に基づく画像を形成するようにしてもよい。
【００１９】
望ましくは、前記画像合成手段は、広域画像としての前記超音波画像上に狭域画像としての内視画像を重合することにより前記合成画像を生成する。望ましくは、前記内視鏡は、双胎児間輸血症候群の治療のために子宮内に挿入される器具であってレーザー出射機能を備えた治療用器具である。
【発明の効果】
【００２０】
本発明によれば、内視鏡の位置決め操作を支援する画像を提供できる。あるいは、簡易な構成で、内視鏡の位置決め操作を支援する画像を生成できる。
【図面の簡単な説明】
【００２１】
【図１】本発明に係る医療画像処理システムの好適な実施形態を示すブロック図である。
【図２】三次元空間（実空間）を示す概念図である。
【図３】観察原点及び基準方向の設定を説明するための図である。
【図４】処理開始面の設定を説明するための図である。
【図５】複数の視線の設定を説明するための図である。
【図６】超音波画像の一例を示す図である。
【図７】内視画像に対する二値化処理を説明するための図である。
【図８】二値化処理された超音波画像を示す図である。
【図９】合成画像（内視鏡操作支援画像）の一例を示す図である。
【図１０】図１に示した超音波画像形成部の処理内容を示すフローチャートである。
【図１１】図１に示した画像合成部の内容を示すフローチャートである。
【図１２】内視鏡の先端部（特に強反射体列）を示す正面図である。
【図１３】内視鏡の先端部（特に強反射体列）を示す斜視図である。
【図１４】しきい値を段階的に変化させながら高輝度点抽出処理を行った結果を示す概念図である。
【図１５】観察原点を求めるための３つの高輝度点を抽出する処理を示すフローチャートである。
【図１６】高輝度点とノイズの弁別条件を説明するための図である。
【図１７】中心点（観察原点）の演算方法を説明するための図である。
【発明を実施するための形態】
【００２２】
以下、本発明の好適な実施形態を図面に基づいて説明する。
【００２３】
（１）システム全体の説明
図１には、本発明に係る医療画像処理システムの好適な実施形態が示されており、図１はその全体構成を示すブロック図である。図１に示されるシステムは、内視鏡による治療と超音波診断とを組み合わせたシステムであり、本実施形態において対象となる組織は子宮中の胎盤である。もちろん、他の組織に対して本発明に係るシステムを用いることも可能である。
【００２４】
図１において、本実施形態に係るシステムは、大別して、超音波診断装置１０と内視装置１２とで構成される。ただし、画像処理機能を外部コンピュータ等に委ねることも可能であり、その場合には、本システムが、超音波診断装置、内視装置及びコンピュータによって構成される。本実施形態に係るシステムの実現に当たっては多様な構成が考えられる。
【００２５】
超音波診断装置１０について説明する。プローブ１４は、超音波を送受波する送受波器であり、本実施形態においては生体内の三次元空間に対して超音波の送受波を行う３Ｄプローブが用いられている。プローブ１４は、具体的には、プローブヘッド、プローブケーブル及びプローブコネクタ等からなるものである。プローブヘッド内にはアレイ振動子１６が設けられている。このアレイ振動子１６は本実施形態において２Ｄアレイ振動子であり、その２Ｄアレイ振動子１６により超音波ビームが形成され、その超音波ビームが二次元走査されて三次元のデータ取込空間が形成される。その三次元空間内からボリュームデータが取得される。もちろん、１Ｄアレイ振動子を機械的に走査することにより三次元空間を形成するようにしてもよい。
【００２６】
送受信部２６は、送信部としての送信ビームフォーマーおよび受信部としての受信ビームフォーマーからなるものである。送信時において、送受信部２６からアレイ振動子１６に対して複数の送信信号が並列的に供給される。これによりアレイ振動子１６において送信ビームが形成される。受信時において、生体内からの反射波はアレイ振動子１６にて受波され、アレイ振動子１６から複数の受信信号が送受信部２６へ並列的に出力される。送受信部２６においては、複数の受信信号に対して整相加算処理を適用し、これによって整相加算後の受信信号すなわちビームデータを得る。
【００２７】
そのビームデータは信号処理部２８へ出力される。信号処理部２８は、検波回路、対数圧縮回路、等の各種回路を有しており、ビームデータに対して所定の信号処理を実行する。その処理後のビームデータは３Ｄメモリ３０に格納される。その書き込みの際に座標変換が適用され、各ビームデータを構成するエコーデータ（ボクセルデータ）はそれに対応するアドレスに格納される。もちろん、読み出し時において座標変換が適用されてもよい。座標変換は、一般に、送受波座標系からメモリ空間座標系への変換を意味するものである。これによって、３Ｄメモリ３０内にはボリュームデータが格納されることになる。
【００２８】
本実施形態においては、内視装置１２によって観察されている局所組織が含まれるように三次元エコーデータ取り込み空間すなわち三次元空間が形成されており、逆に言えば、そのような適正な位置に三次元空間が形成されるように３Ｄプローブ１４の位置決めが行われる。したがって、３Ｄメモリ３０内には、内視画像化の対象となっている局所組織を含む広域組織に対応したボリュームデータが格納されることになる。
【００２９】
座標演算部１０２は、ボリュームデータに対して後に図１４及び図１５に示す処理を適用することにより、レンダリングの際に必要となる座標データを演算する。その座標データは、内視観察原点及び視野中心方向を特定する情報である。そのような座標データに基づいて超音波画像を形成する際のレンダリング条件が定められる。座標演算部１０２における具体的な演算内容については後に図１２以降の各図を参照して詳細に説明する。
【００３０】
超音波画像形成部３２は、ボリュームデータにおける部分的なデータ（部分ボリュームデータ）に基づいてそれをレンダリング処理することにより投影画像としての超音波画像を形成している。その場合においては、内視画像における観察点すなわち視点と同じ方向から超音波画像が形成されるようにデータ処理が実行されている。その際においては、相対座標演算部１０２から出力される座標データが参照される。
【００３１】
画像合成部３４は、超音波画像上に後に説明する内視画像を合成するモジュールである。合成の仕方としては、重合方式及びはめ込み方式が考えられ、重合方式の場合においては、超音波画像上に内視画像が部分的に重ね合わされる。はめ込み方式が採用される場合には、内視画像がはめ込まれる領域が超音波画像上から除去され、すなわち穴空き状態とされ、その空いた部分に内視画像がはめ込まれる。もちろん、画像合成の方式としては、従来から知られている各種の方式を採用することができる。本実施形態においては、二つの画像の合成にあたって両者の相対的な位置関係を段階的に変化させながら逐次的に相関演算が実行されており、相関値が最も良好となる状態として両者の適正位置関係が認定されている。そのような適正位置関係の下で二つの画像が合成されれば、画像間における位置ずれを最小限にでき、また画像間におけるひずみも少なくすることが可能となる。ただし、そのような相関演算は必要に応じて実行されればよく、二つの画像を単純に重ね合わせるだけでも一定の効果を得られる。
【００３２】
以上のように、画像合成部３４において合成画像が生成されると、その画像データが表示部３６に送られ、表示部３６の画面上に合成画像が表示される。その合成画像は、光学的な画像と音響的な画像とが組み合わさった新しい画像であり、具体的には、従来同様の光学像の周囲に超音波画像が表され、従来においては見えなかった周辺部の構造や様子を超音波画像を通じて認識することが可能となるので、内視鏡操作の支援を行うことができ、また患部を迅速に探知できるという利点が得られる。内視画像については画像合成に先立って加工や修正を施すことも可能であり、これは超音波画像についても同様である。例えば、エッジ強調処理やコントラスト強調処理等を施すようにしてもよい。
【００３３】
主制御部３８は、超音波診断装置１０に含まれる各構成の動作制御を行っており、主制御部３８は具体的にはＣＰＵと動作プログラムとによって構成されるものである。主制御部３８には操作パネル４０が接続されており、ユーザーは操作パネル４０を利用して動作条件の設定を行ったり、パラメータの入力を行ったりすることが可能である。ちなみに、超音波画像形成部３２及び画像合成部３４はソフトウェアの機能として実現することが可能であり、超音波診断装置１０内においてそのようなプログラム処理を行うことも可能ではあるが、ボリュームデータを外部ＰＣへ転送し、外部ＰＣ上において画像処理を行わせることも可能である。ただし、内視鏡操作の支援にあたっては合成画像がリアルタイムで更新されるのが望ましく、そのようなリアルタイム性を実現できるシステムを構築するのが望ましい。本実施形態においては、超音波診断装置１０に対して内視装置１２が組み合わされており、すなわち内視装置１２からの画像データを超音波診断装置１０において利用することにより、リアルタイムで表示される超音波画像上に同じくリアルタイムで表示される内視画像が合成されている。
【００３４】
次に、内視装置１２について説明する。符号４２は内視鏡を示している。内視鏡４２は体内に挿入される部分と体外に位置決めされる部分とからなるものである。体内部分にはイメージセンサ４４及び発光器４６等が設けられている。イメージセンサ４４は例えばＣＣＤカメラである。もちろん他の画像取得デバイスを設けるようにしてもよい。発光器４６は画像取り込み時において前方を照らすためのデバイスである。ただし、例えば高感度赤外線センサ等を利用することにより、発光器４６を省略することも可能である。内視鏡４２の中には１又は複数のチャンネル（図示せず）が設けられており、いずれかのチャンネルを利用して術具を挿入し、胎盤表面上を走行している血管等に対する処置を行うことが可能である。
【００３５】
内視装置本体４５には内視画像形成部４７が設けられており、内視画像形成部４７はイメージセンサ４４から出力される信号に基づいて光学像としての内視画像を形成している。その画像データは上述したように画像合成部３４に出力される。
【００３６】
図２には、三次元空間６０が示されている。この三次元空間６０は超音波の送受波が行われる領域（実空間）であり、上述したボリュームデータに相当するものである。三次元空間６０はプローブヘッド５６における超音波ビームの電子的な走査により構成される。図２においては立方体形状の三次元空間６０が示されているが、その形状は立方体には限られない。例えば、コンベックス型の１Ｄアレイ振動子を機械的に揺動走査させる方式では、角錐型の三次元空間が形成されることになる。
【００３７】
三次元空間６０は本実施形態において子宮の一部を含んでおり、図示されるようにそこには胎盤６２の一部が含まれている。符号６２Ａは胎盤表面を表しており、その表面（表層）６２Ａには複数の血管６４が走行している。
【００３８】
内視鏡５８は本実施形態において硬質の棒状部材として構成されており、腹部に形成された孔を通じて内視鏡５８の先端部が子宮内に差し込まれる。内視鏡５８の先端部あるいはそれ以外の部分に屈曲性を持った関節部が設けられてもよい。内視鏡５８の先端部には上述したイメージセンサが設けられ、そのイメージセンサによる視野範囲が符号６６で示されている。図に示されるように視野範囲６６は胎盤表面６２Ａにおけるごくわずかの領域であり、疾患部分をその視野範囲を通じて探知するのは容易でない。つまり、視野範囲６６の周辺に存在する組織の様子についても情報を得たいというニーズがある。そこで、本実施形態においては上述したように内視画像と超音波画像との組み合わせが実現されている。
【００３９】
図３乃至図６を用いて超音波画像の作成例について説明する。図３において、本実施形態ではまず内視鏡５８におけるイメージセンサ上の視点すなわち中心点に相当する観察原点５８Ａが特定される。その特定は図１に示した座標演算部１０２により行われている。観察原点５８Ａの三次元位置は、ボリュームデータが存在するデータ空間の三次元座標系に従って特定されるものである。なお、実際の観察窓の中心と先端部の中心とがずれていても、換言すれば、実際の観察窓の中心ではなく先端部の中心だけを特定できる場合であっても、上記したマッチング処理が実行されるので、２つの画像の合成において問題は生じない。観察原点５８Ａと共に、そこから視野前方へ伸びる基準方向すなわち視野方向７０が特定される。その特定も図１に示した相対座標演算部１０２において行われているが、その演算を超音波画像形成部３２において行うようにしてもよい。視野方向７０は視野範囲６６の中心軸に相当するものであり、あるいは、内視鏡５８の軸方向に相当するものである。
【００４０】
次に、図４に示されるように、観察原点５８Ａを基準として処理開始面７２が設定される。この処理開始面７２は具体的には３Ｄメモリの三次元記憶空間上に設定されるものである。本実施形態においては、処理開始面７２は観察原点５８Ａを通過する面であって基準方向７２に直交する面である。処理開始面７２の大きさは任意に設定することが可能であるが、少なくとも視野範囲６６の周辺をカバーできるようにそのサイズが定められるのが望ましく、特に望ましくはボリュームデータの全体を通過する程度の大きさを持った範囲として定められる。観察原点５８Ａを通過する面としてではなくそれよりも前方の位置に処理開始面７２が設定されるようにしてもよい。すなわち、本実施形態においては、胎盤表面とイメージセンサとの間に羊水が存在しており、この羊水は超音波画像にほとんど反映されない部分であるため、必要に応じて処理開始面を前方に設定することが考えられる。もちろん処理開始面を後方に設定することも可能である。
【００４１】
次に、図５に示されるように、処理開始面７２を基準としてそれに直交する方向として視線（レイ）群７４が設定される。視線群７４は複数の視線７６により構成されるものである。本実施形態において複数の視線７６は互いに平行であるが、非平行の関係をもって複数の視線７６が設定されてもよい。例えば、観察原点５８Ａから放射状に複数の視線７６が設定されるようにしてもよい。そして、各視線毎にレンダリングが演算実行され、すなわち各視線毎に画素値が決定される。それらの画素値を二次元平面上にマッピングすれば超音波画像を構成することが可能である。レンダリングの方法としては、積算投影法があげられ、特に望ましくはボリュームレンダリング法を適用するのが望ましい。本実施形態においては、胎盤の表層部分のみならず胎盤の内部についても超音波画像に反映されるようにレンダリング条件が定められている。
【００４２】
このようなレンダリング処理の結果として形成された超音波画像が図６に模式的に示されている。図６において波線の円８４は内視鏡による視野範囲を表している。その範囲の周辺部が広く画像化されていることを理解できる。そこには血管群７８が存在し、その血管群７８は表層を走行している血管８０と内部を走行している血管８２とを含むものである。もちろん、レンダリング条件を変えることによりレンダリングする深さを自由に変更することが可能である。
【００４３】
以上のように、超音波画像が構成されると、その超音波画像と内視画像とが合成される訳であるが、本実施形態においては上述したように二つの画像間において相関演算が実行されている。すなわち二つの画像が空間的に位置整合するようにマッチング処理が実行されている。そのために、各画像が二値化処理される。
【００４４】
図７の（Ａ）には内視画像８６が示されている。その画像は視野範囲に相当する円形の画像である。その内部には血管８８が表れている。これに対して二値化処理が施され、それにより生成されたものが二値化画像９０であり、それが図７の（Ｂ）に示されている。二値化処理にあたっては、血管部分に対して１（または０）が与えられ、それ以外の組織部分に対して０（または１）が与えられる。
【００４５】
一方、超音波画像に対しても二値化処理が施される。具体的には、図６に示した超音波画像７６に対して血管と組織とを弁別する閾値を利用して二値化処理が施され、それにより生成されたものが図８に示す二値化画像９６である。波線の円形８４は内視画像の視野範囲を表している。本実施形態では、この図８に示した二値化画像９６と図７の（Ｂ）に示した二値化画像９０との間で、両者の位置関係を段階的に変化させながら相関演算が繰り返し実行され、最良の相関値が得られた時点をもって適正位置関係であると認定されている。そしてその適正位置関係にある二つの超音波画像（二値化前の画像）及び内視画像（二値化前の画像）が合成され、これにより合成画像が生成されている。その一例が図９に示されている。合成画像１００は超音波画像７６上に内視画像８６を重合させてなる画像である。超音波画像７６は本実施形態において白黒画像であり、内視画像８６はカラー画像である。一般に光学像である内視画像８６の方が鮮明であるため、合成画像１００においては、注目している円形の領域内において、背景に対してくっきりと組織が浮かび上がった様子が顕在化することになる。内視鏡を移動させれば、視野範囲が移動することになるため、内視画像８６の内容がリアルタイムに更新される。この場合、超音波画像７６上において内視画像８６の位置を変化させるようにしてもよいし、内視画像８６の画面表示位置を固定した状態において、超音波画像７６を移動させあるいはその内容を更新するようにしてもよい。イメージセンサと組織との間の距離を計測することにより、内視画像のサイズを距離に応じて動的に変化させるようにしてもよい。本実施形態においては、二つの画像間において不連続性あるいは歪みが生じていたとしても、内視画像８６の周辺にある程度の確からしさをもって組織構造を表す画像を表示できるため、内視鏡の操作を支援でき、また患部の特定を容易にできるという利点がある。すなわち実際に注目しているのは内視画像８６であり、その視野範囲を移動させれば鮮明な部位を移動させることができるのであり、周辺に存在する画像はあくまでも支援を行うものにすぎないため、二つの画像間において位置ずれ等が多少あったとしても従来に比べて利便性を向上することが可能である。
【００４６】
次に、図１０及び図１１を用いてシステムの動作例を説明する。図１０には図１１に示した超音波画像形成部３２の動作例が示されており、図１１には図１に示した画像合成部３４の動作例が示されている。
【００４７】
まず、図１０を参照すると、Ｓ１０１では、後に図１２乃至図１７を用いて詳述する手法に基づいて、観察原点と基準方向とが演算される。具体的には内視鏡先端部の中心点とそこから前方の方向（プローブから見て前方の中心軸方向）が特定される。Ｓ１０２では、図４に示したように処理開始面が特定される。処理開始面が先に求まるならば、基準方向の特定を省略することもできる。Ｓ１０３では、図５に示したように処理開始面から伸びる複数の視線が設定され、各視線（レイ）に沿ってレンダリング演算を行うことにより、部分ボリュームデータに対する処理が実行され、これにより部分ボリュームデータが反映されたレンダリング画像としての超音波画像が形成される。その超音波画像の一例については図６に示したとおりである。
【００４８】
次に、図１１を参照すると、Ｓ２０１では、内視装置により得られた内視画像が二値化処理され、これにより二値化内視画像が生成される。同様に、Ｓ２０２では、超音波画像が二値化処理され、これにより二値化超音波画像が生成される。Ｓ２０３では、超音波二値化画像の基準軸点に内視二値化画像の中心点を一致させつつ、両者が仮に合成される。ここで、基準軸点は、超音波画像における基準軸に相当する点であり、その点に内視二値化画像の中心点を一致させることにより、三次元空間内において二つの画像を概ね整合させることが可能である。その初期状態を基準として、以下のように相関演算における探索幅が設定されることになる。
【００４９】
Ｓ２０４〜Ｓ２０６では画像の縮尺率を変更させながら相関演算が実行される。具体的には、一方の画像（望ましくは内視二値化画像）を拡大または縮小させて、Ｓ２０５において二つの画像間において相関値が演算される。そして、Ｓ２０６において相関値が最大とみなされるまで、一方画像の縮尺率を変更させながらの相関演算が繰り返し実行される。Ｓ２０６において相関値が最大であると認定された場合、Ｓ２０７〜Ｓ２０９における平行移動をさせながらの相関値演算処理が実行される。
【００５０】
具体的には、Ｓ２０７において、一方画像を上下あるいは左右の方向に平行移動させる処理が実行されて、Ｓ２０８において、その平行移動後における状態において相関値が演算される。そして、平行移動を繰り返しながら、Ｓ２０９において相関値が最大とみなされるまで相関値演算が繰り返し実行される。Ｓ２０９において相関値が最大であると判断された場合でも、Ｓ２１０〜Ｓ２１２の工程が実行される。具体的には、Ｓ２１０において一方画像を回転させて、Ｓ２１１において相関値が演算される。この処理がＳ２１２において相関値最大であると判断されるまで繰り返し実行される。Ｓ２１２において相関値が最大であると判断された場合、Ｓ２１３が実行される。
【００５１】
Ｓ２１３では、今までの推移から相関値が飽和しているか否かが判断されても、飽和していなければＳ２０４以降の各工程が繰り返し実行される。すなわち、条件の組み合わせを変更させながら相関値が飽和するまで二つの画像の最良マッチング状態が探索されることになる。Ｓ２１３において相関値が飽和したと判断された場合、Ｓ２１４において超音波画像と内視画像とが合成され、それが画面上に表示されることになる。図１１においては、拡大縮小処理、平行移動処理、回転処理の三つの変化が含まれていたら、そのうちの一つまたは二つを実施するようにしてもよい。ただし、特に拡大縮小処理を含めることにより、イメージセンサ等を対象物表面との間における距離が不知であったとしても二つの画像の縮尺を整合させて違和感のない合成画像を構築できるという利点がある。
【００５２】
上記構成においては、立体的な領域が画像化された超音波画像を利用しているため、組織内部を走行する血管を表示することが可能であり、これにより手術器具を利用して血管の処置を行うような場合においてもその安全性を高められるという利点がある。本実施形態では、合成画像が術者にリアルタイムで提供され、それを見ながら胎盤上における治療部位を速やかに特定できる。つまり、内視鏡を操作してそれを適切に位置決めできる。患部の周辺も一度に観察できるから、不用意に先端部が組織に接触してしまうことも未然に防止できる。治療部位が特定されたならばそこに対してレーザー光が照射される。
【００５３】
（２）反射体を利用した相対座標演算方法の説明
次に図１２乃至図１７を用いて反射体を用いた相対座標演算方法について詳述する。
【００５４】
図１２及び図１３には内視鏡４２の先端部が示されている。図１２は平面図であり、図１３は斜視図である。先端部の先端面４２Ａには光学的観察のための観察窓１０６、照射窓１０８及び鉗子口１１０が設けられている。先端面４２Ａの中心と観察窓１０６の中心は一致していないが、画像合成時においてマッチング処理が適用されるので、その位置ずれは問題とならない。観察窓１０６はイメージセンサによって光学像を取り込むための窓部材により構成されている。照射窓１０８は発光器で生じた光を前方へ照射するための窓部材により構成されている。鉗子口１１０は器具を挿通させるチャンネルの端部を構成し、そこには血管焼灼用のレーザー治療器が挿入される。先端面４２Ａは円形の面であり、その周囲（周縁）には反射体１１２が設けられている。具体的には、反射体１１２は、複数の反射球（反射要素）１１４からなるリング状の反射球列を構成している。各反射球１１４は超音波を強く反射する特殊材料からなる微小球体（ポーラス）により構成されている。本実施形態では、８個の反射球１１４が設けられており、それらの相互間隔（相互角度）は一定ピッチ（等角度）である。一般に６個以上の反射球を設ければプローブの位置によらずに少なくとも３つの反射球からのエコーを観測することが可能となる。すなわち、一部の反射球が内視鏡本体に裏側に隠れても他の反射球からのエコーを常に観測することが可能である。相互の位置関係は既知であるので、３つ以上の反射球の三次元位置を特定できれば、三次元空間内における、先端面４２Ａの位置、具体的にはその中心位置を演算することが可能となる。中心位置から前方へ伸びる軸方向（基準方向）は、先端面の中心から出る方向であってプローブから遠ざかる方向として定義され得る。なお、内視鏡本体からのエコーも観測されるが、そのようなエコーを低減して各反射球からのエコーを顕在化させるために、内視鏡本体の外表面に超音波吸収層を設けるようにしてもよい。
【００５５】
図１４には、高輝度点の抽出処理が概念図として示されている。（Ａ）には、三次元空間（実空間）６０が示されている。これはプローブヘッド５６による超音波の送受波空間に相当する。内視鏡５８の先端部がその三次元空間６０内に位置している。内視鏡５８の先端部には超音波反射体（反射球列）１１２が設けられている。（Ｂ）乃至（Ｆ）にはボリュームデータに相当する三次元空間（データ空間）１１６が示されている。しきい値αは各エコーデータ（ボクセルデータ）を二値化する際に用いられる閾値である。（Ｂ）に示す例では、しきい値αにα１が設定されており、（Ｂ）にはそのようなしきい値αを用いて二値化処理を行った結果が示されている。ここでは符号１１８で示すように１つの高輝度点が抽出されている。この高輝度点はいずれかの反射球に相当するものである。（Ｃ）には、しきい値αを１段階下げてα２とした上で、それを用いて二値化処理を行った場合の処理結果が示されている。符号１２０で示されるように、２つの反射球に相当する２つの高輝度点が抽出されている。組織は相対的に見て低輝度であるから、この段階では抽出されない。（Ｄ）には、しきい値αを更に１段階下げてα３とした上で、それを用いて二値化処理を行った場合の処理結果が示されている。符号１２０で示すように、上記同様に、２つの高輝度点が抽出される一方において、符号１２２で示すように、高輝度ノイズに相当する高輝度点が抽出されている。（Ｅ）には、しきい値αを更に１段階下げてα４とした上で、それを用いて二値化処理を行った場合の処理結果が示されている。符号１２４で示されるように、３つの反射球に対応する３つの高輝度点と、ノイズに相当する１つの高輝度点が抽出されている。このように、段階的にしきい値αを下げていくと、反射球に相当する高輝度点の個数が増加することになるが、その一方、高輝度ノイズもヒットしてしまう可能性が高くなる。
【００５６】
そこで、本実施形態においては後に詳述するように高輝度点間の距離（三次元空間内での距離）を計測し、その距離が所定値以上である場合や所定値以下である場合に高輝度ノイズであると判定するようにしている。例えば、３つの高輝度点が存在している場合において、特定の２つの高輝度点については相互間距離が一定条件を満たし、特定の１つの高輝度点については他の２つの高輝度点との間における距離が一定条件を満たさない場合には当該高輝度点をノイズであると判定している。そのようなノイズ除去処理を適用した結果として、（Ｆ）に示すような結果が得られる。すなわち、その三次元空間１１６には、３つの反射球に相当する３つの高輝度点（固有エコー）だけが含まれており、ノイズに相当する高輝度点は除外されている。もちろん、４つ以上の反射球に相当する４つ以上の高輝度点が抽出されてもよい。少なくとも３つの高輝度点を抽出できれば、それらの３点によって、先端部が有する先端面を空間的に定義でき、同時に、その中心点も定義することができる。基準方向は中心点を通過する前方方向として定義される。
【００５７】
図１５には、３つ（あるいはそれ以上）の反射球を特定する処理がフローチャートとして示されている。
【００５８】
Ｓ３０１では、初期設定として、しきい値αに最大値が設定される。Ｓ３０２では、しきい値αを用いてボリュームデータに対して二値化処理が適用される。すなわち、しきい値αを超えるボクセルデータが１に変換され、それ以外のボクセルデータが０に変換される。Ｓ３０３では、二値化後の後処理として例えば細線化処理が適用される。高輝度点が広がりを有している場合にその中心点を１点として特定するためにこの細線化処理が実行されている。但し、この処理は必要な場合に実行すればよい。Ｓ３０４では、値１のデータを有するボクセルが２つ以上存在している場合に、そのようなボクセル相互間の距離が演算される。Ｓ３０５では、演算された距離が所定条件を満たすかそれを外れるかが判断され、その判断結果に基づいてノイズに相当する高輝度点であることが判明した場合にはそれが除外（抹消）される。距離に基づく判別手法については後に図１６を用いて説明する。Ｓ３０５の処理は通常、３つ以上の高輝度点が求められた場合に遂行される。もちろん、ノイズ除去処理方法として距離に基づくもの以外の手法を適用するようにしてもよい。例えば、高輝度点のサイズや形状を識別基準として利用することも考えられる。Ｓ３０６では、高輝度点の個数がカウントされ、そのカウント値が３以上であれば、処理がＳ３００８へ移行し、そうでなければ処理がＳ３０２へ移行する。すなわち、しきい値αを段階的に１つずつ引き下げながら上記処理が繰り返し実行される。Ｓ３０８では、所定条件を満たした近い距離関係にある３つの高輝度点の各座標が演算され、それが出力される。すなわち、処理が図１０に示したＳ１０１に移行する。３点の座標から先端面が定義され、同時に、その中心の三次元位置が特定され、そこから前方へ伸びる垂線として基準方向が特定される。
【００５９】
図１６には、超音波反射体１１２を構成する複数の反射球１１４の相互位置関係が示されている。三次元空間内においては、隣接する２つの反射球１１４の間隔はａであって、それは既知である。また、２つの反射球の間の距離としてもっとも長いものはｂであって、それも既知である。つまり、正規の高輝度点であれば、相互間距離は必ずａ以上ｂ以下となるのである。逆に言えば、２つの高輝度点間の距離がその条件を満たさない場合、それらの内の一方又は両方がノイズである可能性がある。その内の一方について既に正規の高輝度点であると判明しているのであれば、他方についてノイズであると判断することが可能となる。ちなみに、複数の反射球の間隔を不揃いとして、中心軸周りにおける先端部の回転方位まで特定できるようにしてもよい。その場合には実際の反射球の配列に基づいて判定条件を定めればよい。
【００６０】
図１７には、先端面の中心点を特定する方法が概念図として示されている。いま、相互に隣り合う高輝度点Ｐ１，Ｐ２，Ｐ３の三次元位置（三次元座標）が特定された場合、隣接する高輝度点ペアが２つあり、それらのペアを通過する２つの直線Ｌ１，Ｌ２が特定される。各直線Ｌ１，Ｌ２上の距離はａである。各直線Ｌ１，Ｌ２の中点が特定され、その中点を通過する垂線（直交線）Ｌ３，Ｌ４が特定される。それらの交点として中心点Ｏが特定される。図１７に示す例では、３つの高輝度点が並んでいたが、そうでない場合であっても、３つの点によって定義される２つの直線を基準としてその中点を採る垂線として中心点を容易に特定できる。中心点はレンダリングを行う際の基準点となるものである。もっとも、中心点から観察窓の位置を特定し、その位置をレンダリング基準点とするようにしてもよい。３点が決まれば先端面を定義でき、それをレンダリング開始面あるいはレンダリング基準面として用いるようにしてもよい。本実施形態においては、複数の反射球を円環状に並べたので、プローブの位置がどこにあっても基本的に少なくとも３つの高輝度点を抽出することが可能である。
【００６１】
次に、参考までに、３つの高輝度点（三次元空間内の３点）を含む平面の式の求め方を説明する。３点の座標は以下の通りである。
【数１】
【００６２】
求めるべき平面は以下の式によって定義されるものとする。
【数２】
【００６３】
具体的には上記式に含まれる３つの係数ａ，ｂ，ｃを求める。ｄは上記３つの係数に含めて計算できるので、ここでは便宜上ｄ＝１として計算することができる。つまり、
【数３】
において、ｄ＝１とすると、上記（１）式は、以下のように表現される。
【数４】
【００６４】
上記３点は上記（３）式を満たすことから，次の連立方程式を満たすａ、ｂ、ｃを求めることにより、平面の式が得られる。
【数５】
【００６５】
行列式の表現を用いて、この連立方程式を解くことにすると、（４）式は次のように表現される。
【数６】
【００６６】
上記（５）式の両辺に行列Ｐの逆行列を掛けることにより、行列Ｋが求まる。
【数７】
【００６７】
ここで、
【数８】
であるから、Ｋは、
【数９】
により求めることが可能である。但し、以下の通りである。
【数１０】
【００６８】
したがって、平面の式は以下のように求められる。
【数１１】
【００６９】
上記実施形態の構成によれば、送受波座標系において、内視鏡の先端部の三次元座標を特定できるから、プローブ及び内視鏡のそれぞれに測位装置を設けてそれぞれの絶対座標を計測する必要がなく、システム構成を簡略化できると共に、位置決め精度も高められる。超音波画像の生成及び画像合成は、ボリュームスキャンごとにリアルタイムで行われるので、合成画像を術者に提供して、内視鏡の操作を支援することができるから、診断治療を円滑に遂行させることができ、しかも安全性も高められる。このように本システムは医療上有益なる効果を生じさせるものである。
【符号の説明】
【００７０】
１０ 超音波診断装置、１２ 内視装置、１４ プローブ、３２ 超音波画像形成部、３４ 画像合成部、４２ 内視鏡、４４ イメージセンサ、４５ 内視装置本体、４７ 内視画像形成部、１０２ 座標演算部。
【特許請求の範囲】
【請求項１】
超音波反射体を備えた先端部を有し、体内に挿入される内視鏡と、
前記内視鏡の先端部を含む三次元空間に対して超音波を送受波する超音波プローブと、
前記三次元空間に対する超音波の送受波により得られたボリュームデータに含まれる超音波反射体固有エコーに基づいて前記先端部についての三次元座標情報を演算する座標演算手段と、
前記三次元座標情報に基づいて、前記ボリュームデータを用いて超音波画像を形成する超音波画像形成手段と、
前記超音波画像と前記内視鏡を用いて取得される内視画像とを合成することにより合成画像を生成する画像合成手段と、
を含むことを特徴とする医療画像処理システム。
【請求項２】
請求項１記載のシステムにおいて、
前記超音波反射体は前記先端部に設けられた複数の反射要素により構成される、ことを特徴とする医療画像処理システム。
【請求項３】
請求項２記載のシステムにおいて、
前記複数の反射要素は前記先端部の中心軸の周りの環状経路上に設けられ、それらが反射要素列を構成する、ことを特徴とする医療画像処理システム。
【請求項４】
請求項３記載のシステムにおいて、
前記反射要素列は６個以上の反射球により構成される、ことを特徴とする医療画像処理システム。
【請求項５】
請求項２乃至４のいずれか１項に記載のシステムにおいて、
前記座標演算手段は、
前記ボリュームデータの中から、前記超音波反射体固有エコーとして、複数の反射要素固有エコーを抽出する抽出手段と、
前記複数の反射要素固有エコーについての複数の三次元位置に基づいて、前記三次元座標情報を演算する解析手段と、
を含むことを特徴とする医療画像処理システム。
【請求項６】
請求項５記載のシステムにおいて、
前記抽出手段は、
前記ボリュームデータの中から複数の高輝度エコーを抽出する高輝度エコー抽出手段と、
前記複数の高輝度エコーについての相互の位置関係に基づいて、前記各高輝度エコーが反射要素固有エコーであるか否かを識別する反射要素固有エコー抽出手段と、
を含むことを特徴とする医療画像処理システム。
【請求項７】
請求項６記載のシステムにおいて、
前記高輝度エコー抽出手段は、判別閾値を段階的に引き下げつつ前記ボリュームデータを構成する各ボクセルデータと前記判別閾値とを比較することにより前記複数の高輝度エコーを抽出する、ことを特徴とする医療画像処理システム。
【請求項８】
請求項６又は７記載のシステムにおいて、
前記反射要素固有エコー抽出手段は、高輝度エコー相互間距離に基づいて反射要素固有エコーを識別する、ことを特徴とする医療画像処理システム。
【請求項９】
請求項８記載のシステムにおいて、
前記反射要素固有エコー抽出手段は、前記高輝度エコー相互間距離が上限値と下限値との間に含まれる条件を満たした３つ以上の反射要素固有エコーを抽出する、ことを特徴とする医療システム。
【請求項１０】
強反射体としての超音波反射体及び内視手段を備えた先端部を有し、体内に挿入される内視鏡と、
前記内視鏡を用いて取得される信号に基づいて内視画像を形成する内視画像形成手段と、
体外に設けられ、前記内視鏡の先端部を含む三次元空間に対して超音波を送受波する超音波プローブと、
前記三次元空間に対する超音波の送受波により得られたボリュームデータに含まれる超音波反射体固有エコーに基づいて、前記先端部についての三次元座標情報を演算する座標演算手段と、
前記三次元座標情報に基づいて、前記ボリュームデータを用いて超音波画像を形成する手段であって、当該超音波画像として前記内視画像の視野域をカバーする投影画像を形成する超音波画像形成手段と、
前記超音波画像と前記内視画像とを合成することにより合成画像を生成する画像合成手段と、
前記合成画像を前記内視鏡を操作する者に対して提供する表示手段と、
を含むことを特徴とする医療画像処理システム。
【請求項１１】
請求項１０記載の装置において、
前記超音波画像形成手段は、
前記ボリュームデータに対して前記内視手段の視野をカバーする視線群を設定する手段と、
前記視線群を構成する各視線に沿って前記先端部側からその前方へレンダリングを実行することにより前記各視線ごとに画素値を演算し、これにより前記超音波画像を形成する手段と、
を含むことを特徴とする医療画像処理システム。
【請求項１２】
請求項１０記載の装置において、
前記画像合成手段は、広域画像としての前記超音波画像上に狭域画像としての内視画像を重合することにより前記合成画像を生成する、ことを特徴とする医療画像処理システム。
【請求項１３】
請求項１０乃至１２のいずれか１項に記載のシステムにおいて、
前記内視鏡は、双胎児間輸血症候群の治療のために子宮内に挿入される器具であってレーザー出射機能を備えた治療用器具である、ことを特徴とする医療画像処理システム。
【請求項１】
超音波反射体を備えた先端部を有し、体内に挿入される内視鏡と、
前記内視鏡の先端部を含む三次元空間に対して超音波を送受波する超音波プローブと、
前記三次元空間に対する超音波の送受波により得られたボリュームデータに含まれる超音波反射体固有エコーに基づいて前記先端部についての三次元座標情報を演算する座標演算手段と、
前記三次元座標情報に基づいて、前記ボリュームデータを用いて超音波画像を形成する超音波画像形成手段と、
前記超音波画像と前記内視鏡を用いて取得される内視画像とを合成することにより合成画像を生成する画像合成手段と、
を含むことを特徴とする医療画像処理システム。
【請求項２】
請求項１記載のシステムにおいて、
前記超音波反射体は前記先端部に設けられた複数の反射要素により構成される、ことを特徴とする医療画像処理システム。
【請求項３】
請求項２記載のシステムにおいて、
前記複数の反射要素は前記先端部の中心軸の周りの環状経路上に設けられ、それらが反射要素列を構成する、ことを特徴とする医療画像処理システム。
【請求項４】
請求項３記載のシステムにおいて、
前記反射要素列は６個以上の反射球により構成される、ことを特徴とする医療画像処理システム。
【請求項５】
請求項２乃至４のいずれか１項に記載のシステムにおいて、
前記座標演算手段は、
前記ボリュームデータの中から、前記超音波反射体固有エコーとして、複数の反射要素固有エコーを抽出する抽出手段と、
前記複数の反射要素固有エコーについての複数の三次元位置に基づいて、前記三次元座標情報を演算する解析手段と、
を含むことを特徴とする医療画像処理システム。
【請求項６】
請求項５記載のシステムにおいて、
前記抽出手段は、
前記ボリュームデータの中から複数の高輝度エコーを抽出する高輝度エコー抽出手段と、
前記複数の高輝度エコーについての相互の位置関係に基づいて、前記各高輝度エコーが反射要素固有エコーであるか否かを識別する反射要素固有エコー抽出手段と、
を含むことを特徴とする医療画像処理システム。
【請求項７】
請求項６記載のシステムにおいて、
前記高輝度エコー抽出手段は、判別閾値を段階的に引き下げつつ前記ボリュームデータを構成する各ボクセルデータと前記判別閾値とを比較することにより前記複数の高輝度エコーを抽出する、ことを特徴とする医療画像処理システム。
【請求項８】
請求項６又は７記載のシステムにおいて、
前記反射要素固有エコー抽出手段は、高輝度エコー相互間距離に基づいて反射要素固有エコーを識別する、ことを特徴とする医療画像処理システム。
【請求項９】
請求項８記載のシステムにおいて、
前記反射要素固有エコー抽出手段は、前記高輝度エコー相互間距離が上限値と下限値との間に含まれる条件を満たした３つ以上の反射要素固有エコーを抽出する、ことを特徴とする医療システム。
【請求項１０】
強反射体としての超音波反射体及び内視手段を備えた先端部を有し、体内に挿入される内視鏡と、
前記内視鏡を用いて取得される信号に基づいて内視画像を形成する内視画像形成手段と、
体外に設けられ、前記内視鏡の先端部を含む三次元空間に対して超音波を送受波する超音波プローブと、
前記三次元空間に対する超音波の送受波により得られたボリュームデータに含まれる超音波反射体固有エコーに基づいて、前記先端部についての三次元座標情報を演算する座標演算手段と、
前記三次元座標情報に基づいて、前記ボリュームデータを用いて超音波画像を形成する手段であって、当該超音波画像として前記内視画像の視野域をカバーする投影画像を形成する超音波画像形成手段と、
前記超音波画像と前記内視画像とを合成することにより合成画像を生成する画像合成手段と、
前記合成画像を前記内視鏡を操作する者に対して提供する表示手段と、
を含むことを特徴とする医療画像処理システム。
【請求項１１】
請求項１０記載の装置において、
前記超音波画像形成手段は、
前記ボリュームデータに対して前記内視手段の視野をカバーする視線群を設定する手段と、
前記視線群を構成する各視線に沿って前記先端部側からその前方へレンダリングを実行することにより前記各視線ごとに画素値を演算し、これにより前記超音波画像を形成する手段と、
を含むことを特徴とする医療画像処理システム。
【請求項１２】
請求項１０記載の装置において、
前記画像合成手段は、広域画像としての前記超音波画像上に狭域画像としての内視画像を重合することにより前記合成画像を生成する、ことを特徴とする医療画像処理システム。
【請求項１３】
請求項１０乃至１２のいずれか１項に記載のシステムにおいて、
前記内視鏡は、双胎児間輸血症候群の治療のために子宮内に挿入される器具であってレーザー出射機能を備えた治療用器具である、ことを特徴とする医療画像処理システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２０１１−１０４０７９（Ｐ２０１１−１０４０７９Ａ）
【公開日】平成２３年６月２日（２０１１．６．２）
【国際特許分類】
【出願番号】特願２００９−２６１６９６（Ｐ２００９−２６１６９６）
【出願日】平成２１年１１月１７日（２００９．１１．１７）
【出願人】（５０４１３７９１２）国立大学法人 東京大学 (1,942)
【出願人】（３９００２９７９１）アロカ株式会社 (899)
【出願人】（５１０１３６３１２）独立行政法人国立成育医療研究センター (6)
【Ｆターム（参考）】
【公開日】平成２３年６月２日（２０１１．６．２）
【国際特許分類】
【出願日】平成２１年１１月１７日（２００９．１１．１７）
【出願人】（５０４１３７９１２）国立大学法人 東京大学 (1,942)
【出願人】（３９００２９７９１）アロカ株式会社 (899)
【出願人】（５１０１３６３１２）独立行政法人国立成育医療研究センター (6)
【Ｆターム（参考）】
[ Back to top ]