医療画像処理システム
【課題】従来の内視画像の視野範囲は狭く、周辺組織を見たいとの要望があった。
【解決手段】医療画像処理システムは超音波診断装置１０と内視装置１２とで構成される。内視装置１２により従来同様に内視画像が形成される。超音波診断装置においては、観察原点を横切る処理開始面が演算され、その処理開始面から複数の視線が演算され、各視線ごとにレンダリングが実行される。これにより超音波画像が構築される。座標演算にあたっては座標データ演算部２４および座標データ演算部５４から出力される座標データが参照される。超音波画像上に内視画像を合成する際には相関演算が利用され、利用者の適正な位置関係が定められる。
【解決手段】医療画像処理システムは超音波診断装置１０と内視装置１２とで構成される。内視装置１２により従来同様に内視画像が形成される。超音波診断装置においては、観察原点を横切る処理開始面が演算され、その処理開始面から複数の視線が演算され、各視線ごとにレンダリングが実行される。これにより超音波画像が構築される。座標演算にあたっては座標データ演算部２４および座標データ演算部５４から出力される座標データが参照される。超音波画像上に内視画像を合成する際には相関演算が利用され、利用者の適正な位置関係が定められる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は医療画像処理システムに関し、特に、内視画像と超音波画像とを合成するシステムに関する。
【背景技術】
【０００２】
内視装置は、内視手段としての内視鏡を備える。内視鏡の先端部には前方（つまり観察方向）に視野を有するＣＣＤ等のセンサが設けられる。その他、先端部には発光器、手術具を突出させる開口、等が存在する。一般に、センサの視野範囲は小さいため、内視画像を見ながら、目的組織を探し出すのが困難又は面倒であるとの問題がある。例えば、双胎児間輸血症候群という疾病に対しては、子宮内に内視鏡を挿入して、その内視鏡による画像観察下において、内視鏡内に挿入された手術具により、胎児間における胎盤血流の吻合部を遮断する手術が行われる。その際、内視鏡のセンサによる視野は、例えば１０〜２０ｍｍ程度であるから、胎盤上の吻合部を内視画像だけから探索、特定するのは一般に困難であり、それに時間を要するという問題がある。
【０００３】
一方、近時、三次元超音波診断技術が実用化されつつある。この技術によれば、生体内の三次元領域に対して超音波の送受波を行ってボリュームデータを取得し、そのボリュームデータに基づいて体内組織についての積算画像、ボリュームレンダリング画像等を形成できる。その技術を活用し、内視鏡を用いた診断や治療に役立てることが望まれている。
【０００４】
【特許文献１】特開平１０−１１３３３３号公報
【特許文献２】特開２００４−３５８０９６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
特許文献１には、内視鏡（あるいは腹腔鏡）を用いた手術において、断層像撮影による支援を行うシステムが開示されている。同文献には断層像を得る装置の例として超音波診断装置が記載されている。そのシステムでは、内視鏡画像上において術者により着目点が指定されると、その着目点と内視鏡基準点との間の相対位置が求められ、一方、内視鏡基準点の絶対位置が求められ、その相対位置と絶対位置とから着目点の絶対位置が求められている。特許文献１に記載された装置は、内視鏡の観察対象について断層撮影位置を演算するものに過ぎない。
【０００６】
特許文献２には、超音波内視鏡装置が記載されている。この装置は、内視鏡による画像と、超音波診断による画像とを対応付けて表示するものであり、その対応付けに際して相互相関演算が利用されている。この装置において、内視鏡にはＣＣＤカメラと超音波振動子とが併設され、三次元の超音波データは内視鏡を手前に引き出すマニュアル走査によって取得されている。また、この装置は、内視鏡による三次元表面形状データと超音波診断による三次元表面形状データとを空間的に対応付けるものである。それは、内視鏡の位置決めのための支援画像を提供するものではない。
【０００７】
本発明の目的は、内視鏡の位置決め操作を支援できる画像を提供することにある。
【０００８】
本発明の他の目的は、組織表面上の構造の他、組織内部の構造も反映された画像を提供することにある。
【課題を解決するための手段】
【０００９】
本発明に係るシステムは、前方に存在する視野内の局所組織を観察するためのセンサが備えられた内視部と、前記センサからの信号に基づいて内視画像を形成する内視画像形成部と、前記局所組織を含む三次元空間に対して超音波の送受波を行ってボリュームデータを取得する超音波プローブと、前記ボリュームデータに基づいて、前記センサの前方に存在する広域組織を表す超音波画像を形成する超音波画像形成部と、前記広域組織を表す超音波画像と前記局所組織を表す内視画像とを相互に位置合わせしつつ合成して合成画像を形成する画像合成部と、を含む。
【００１０】
上記構成によれば、内視画像と超音波画像とが合成された合成画像が形成され、それが望ましくは画面上に表示される。内視画像は、従来同様の光学的な観察像であってもよいし、画像合成のためにそれを加工あるいは修正した後の画像であってもよい。超音波画像は、センサ前方の広域組織を表した画像であり、そのような超音波画像を背景として内視画像を合成すれば、局所組織とその周辺の組織との関係を把握することが容易となる。超音波画像は、立体的な部分領域を二次元画像に投影したものであるのが望ましく、例えば、ボリュームレンダリング画像、積算画像等であってもよい。内視画像形成用の視点と超音波画像形成用の視点がおよそ近い関係にあるのが望ましい。また、２つの画像のスケール等を相互に近付けておくのが望ましい。いずれにしても、光学的に観察可能な領域の周囲に何らかの形で周辺組織の様子が反映されるならば、仮に両画像の間に歪みあるいは不連続性が若干生じても、内視部の操作を支援することが可能となる。
【００１１】
望ましくは、前記画像合成部は、前記超音波画像における一部分に前記内視画像を重合し又ははめ込むことにより前記合成画像を形成し、前記合成画像は、前記内視部と前記超音波プローブとの相対的な位置関係の変更に伴ってリアルタイムで更新される。重合方式が採用される場合においては、広域組織を表した超音波画像の全体に対して内視画像が重ね合わされる。その場合、内視画像は上書き画像となり、内視画像に透過性をもたせて背景となる超音波画像部分が透けて見えるようにしてもよい。はめ込み方式が採用される場合には、超音波画像における内視画像相当部分がくり抜かれ（穴あき画像化）、そのくり抜き部分に内視画像が嵌め込まれる。その場合には内視画像のサイズを計測し、その結果に基づいて超音波画像のくり抜きサイズを決定するのが望ましい。
【００１２】
合成画像がリアルタイムで更新されれば、内視部の位置決めを容易に行うことができる。つまり、内視画像の周辺に超音波画像部分が存在しているために、内視部をどの方向に動かせばよいのかを判断することが容易となる。そして、その視野を実際に移動させれば、内視画像の内容が更新されることになるので、疾患部の探知が容易となる。内視部の視野の移動は、体外操作によってなされるのが一般的である。視野の移動に伴い、超音波画像を固定しておいて、超音波画像上で内視画像を相対的に運動させるようにしてもよいし、内視画像を固定しておいて、超音波画像を相対的に移動させるようにしてもよい。あるいは、両者が運動する態様を採用することも可能である。いずれにしても操作支援の観点から適切な更新方式を形成するのが望ましい。
【００１３】
望ましくは、前記超音波画像形成部は、前記センサにおける観察原点及びそこから前方への視野方向を特定する特定手段と、前記ボリュームデータを処理する手段であって、前記観察原点に基づいて前記視野方向に交差する処理開始面を特定し、その処理開始面よりも前方に存在する部分ボリュームデータを処理することにより前記超音波画像を形成する部分ボリュームデータ処理手段と、を含む。この構成によれば、センサにおける観察原点がまず特定される。つまり、内視用視点の空間的な座標が特定される。また、その観察原点から前方への視野方向が特定される。視野方向は望ましくは立体的な視野域における中心軸に一致する。つまり、センサから観察した様子が超音波画像上でも再現されるように、観察原点から前方に存在する部分ボリュームデータが特定され、それを利用して超音波画像が形成される。超音波プローブを体表上に当接して、そこからボリュームデータを取得するようにしてもよいし、体腔内プローブを利用して体内からボリュームデータを取得するようにしてもよい。
【００１４】
望ましくは、前記部分ボリュームデータ処理手段は、前記処理開始面から前方側に伸びる複数の視線を設定し、前記各視線上においてレンダリング演算を行う。この構成によれば、望ましくは並行投影法にしたがって部分ボリュームデータが投影処理される。但し、センサあるいはその周辺から放射状に出る視線群を設定するようにしてもよい。センサ（及び光学系）の視野特性に応じて視線群の配列を設定するのが望ましい。レンダリング方法としてはボリュームレンダリング法、積算投影法、最大値投影法、最小値投影法などが考えられるが、いずれにしても三次元空間を画像に反映できるレンダリング法を選択するのが望ましい。
【００１５】
望ましくは、前記超音波画像は、前記センサの前方に存在する広域組織の表面上を走行する表面血管及び当該広域組織の内部を走行する内部血管の両者を表現し得る画像である。内部血管まで画像化されれば、外科手術における安全性を高められる。
【００１６】
望ましくは、前記内視部及び前記超音波プローブの位置関係を特定する位置情報を取得する手段を含み、前記観察原点及び前記視野方向は前記位置情報に基づいて特定される。位置情報は、磁場を利用した測位システム、赤外光を利用した測位システム、電波を利用した測位システム、等を使って取得可能である。超音波プローブを当てる位置を決めておき、かつ、内視部の挿入位置がある程度決まっているなら、２つの画像をマニュアルで位置決めして合成することも可能であるが、その場合にはリアルタイム性が損なわれる。よって、超音波プローブ及び内視部の相対的位置関係をリアルタイムで計測できるように構成するのが望ましい。
【００１７】
望ましくは、前記位置情報を取得する手段は、前記超音波プローブの位置を計測する第１位置検出ユニットと、前記内視部の位置を計測する第２位置検出ユニットと、を含む。ここで、各ユニットが磁場を利用した測位システムで構成される場合、各ユニットは磁場発生器と磁気センサセットとで構成される。各ユニットが赤外線を利用した測位システムで構成される場合、各ユニットは赤外線送受波器と赤外線反射器とで構成される。内視部の先端に測位用の装置を設けるようにしてもよいし、内視部が棒状体あるいはあまり形状が変化しないものであれば、内視部における体外部分に測位用の装置を設けることが可能である。相関演算等の画像処理を利用して両画像のマッチング処理を行えば、位置情報の計測精度が高くなくても、画像処理により両画像の位置決め精度を向上できる。
【００１８】
望ましくは、前記画像合成部は、前記超音波画像を背景としてその一部分に前記内視画像を半透明にして重合する。望ましくは、前記超音波画像は単色画像であり、前記内視画像はカラー画像である。望ましくは、前記画像合成部は、前記内視画像と前記超音波画像との間で相対的な位置関係を逐次的に変化させつつ相関演算を繰り返すことにより、前記内視画像と前記超音波画像との適正位置関係を探索する。
【００１９】
望ましくは、前記画像合成部は、前記内視画像に対して二値化処理を適用し、二値化内視画像を形成する手段と、前記超音波画像に対して二値化処理を適用し、二値化超音波画像を形成する手段と、前記二値化内視画像と前記二値化超音波画像との間で相対的な位置関係を逐次的に変化させながら相関演算を実行する手段と、前記相関演算の結果に基づいて前記適正位置関係を特定する手段と、を含む。異種画像であっても各画像を二値化処理すれば相関演算が容易となる。
【００２０】
望ましくは、前記相対的な位置関係の逐次的変化においては、前記二値化内視画像と前記二値化超音波画像との間で、相対的縮尺率可変、相対的並行移動及び相対的回転移動の内の少なくとも１つが実行される。特に望ましくはそれらの全部が多重的に実行される。
【００２１】
望ましくは、観察の対象となる組織は胎盤であり、前記内視画像には前記胎盤上を走行する血管の像が含まれ、前記超音波画像には前記胎盤上を走行する血管の像及び前記胎盤内を走行する血管の像が含まれ、前記内視画像及び前記超音波画像は、少なくとも前記内視部の移動に伴ってリアルタイムで更新され、前記合成画像の観察下において前記内視部に差し込まれた手術器具が操作される。
【００２２】
本発明に係る超音波診断装置は、前方に存在する視野内の局所組織を観察するためのセンサが備えられた内視部と、前記センサからの信号に基づいて内視画像を形成する内視画像形成部と、を備えた内視装置に接続される超音波診断装置であって、前記局所組織を含む三次元空間に対して超音波の送受波を行ってボリュームデータを取得する超音波プローブと、前記ボリュームデータに基づいて、前記センサの前方に存在する広域組織を表す超音波画像を形成する超音波画像形成部と、前記広域組織を表す超音波画像と前記局所組織を表す内視画像とを相互に位置合わせしつつ合成して合成画像を形成する画像合成部と、を含む。
【発明の効果】
【００２３】
以上説明したように、本発明によれば、内視鏡の位置決め操作を支援できる画像を提供できる。あるいは、組織表面上の構造の他、組織内部の構造も反映された画像を提供できる。
【発明を実施するための最良の形態】
【００２４】
以下、本発明の好適な実施形態を図面に基づいて説明する。
【００２５】
図１には、本発明に係る医療画像処理システムの好適な実施形態が示されており、図１はその全体構成を示すブロック図である。図１に示されるシステムは、内視鏡による治療と超音波診断とを組み合わせたシステムであり、本実施形態において対象となる組織は子宮中の胎盤である。もちろん、他の組織に対して本発明に係るシステムを用いることも可能である。
【００２６】
図１において、本実施形態に係るシステムは、大別して、超音波診断装置１０と内視装置１２とで構成される。ただし、画像処理機能を外部コンピュータ等に委ねることも可能であり、その場合には、本システムが、超音波診断装置、内視装置及びコンピュータによって構成される。本実施形態に係るシステムの実現に当たっては多様な構成が考えられる。
【００２７】
超音波診断装置１０について説明する。プローブ１４は、超音波を送受波する送受波器であり、本実施形態においては生体内の三次元空間に対して超音波の送受波を行う３Ｄプローブが用いられている。プローブ１４は、具体的には、プローブヘッド、プローブケーブル及びプローブコネクタ等からなるものである。プローブヘッド内にはアレイ振動子１６が設けられている。このアレイ振動子１６は本実施形態において２Ｄアレイ振動子であり、その２Ｄアレイ振動子１６により超音波ビームが形成され、その超音波ビームが二次元走査されて三次元のデータ取り込み空間が形成される。その三次元空間内からボリュームデータが取得される。もちろん、１Ｄアレイ振動子を機械的に走査することにより三次元空間を形成するようにしてもよい。
【００２８】
符号１８は測位システムを示している。測位システム１８は、可動側デバイス２０、固定側デバイス２２及び座標データ演算部２４により構成される。後に説明する測位システム４８も同様の構成を示している。例えば、磁場を利用して測位を行う方式が採用される場合、固定側デバイス２２は磁場発生器であり、可動側デバイス２０は磁気センサユニットによって構成される。その磁気センサユニットの出力が座標データ演算部２４に送られ、その座標データ演算部２４において、固定側デバイス２２を座標原点としたところでの可動側デバイス２０の空間的な座標が計測される。測位システム１８が赤外線を用いたものであれば、固定側デバイス２２は赤外線送受波器であり、可動側デバイス２０は赤外線反射器となる。これ以外にも各種の方式を採用し得る。いずれにしても、プローブ１４（具体的にはプローブヘッド）の空間的な座標が計測される。ロボットアーム等を使用してプローブヘッドを支持する構成が採用される場合、各アームに設けられたエンコーダの出力からプローブヘッドの三次元座標を得ることも可能である。座標データ演算部２４は後に説明する超音波画像形成部３２に対して、座標データ（ＸP,ＹP,ＺP,Ｘθ,Ｙθ,Ｚθ）を出力する。
【００２９】
送受信部２６は、送信部としての送信ビームフォーマーおよび受信部としての受信ビームフォーマーからなるものである。送信時において、送受信部２６からアレイ振動子１６に対して複数の送信信号が並列的に供給される。これによりアレイ振動子１６において送信ビームが形成される。受信時において、生体内からの反射波はアレイ振動子１６にて受波され、アレイ振動子１６から複数の受信信号が送受信部２６へ並列的に出力される。送受信部２６においては、複数の受信信号に対して整相加算処理を適用し、これによって整相加算後の受信信号すなわちビームデータを得る。
【００３０】
そのビームデータは信号処理部２８へ出力される。信号処理部２８は、検波回路、対数圧縮回路、等の各種回路を有しており、ビームデータに対して所定の信号を処理を実行する。その処理後のビームデータは３Ｄメモリ３０に格納される。その書き込みの際に座標変換が適用され、各ビームデータを構成するエコーデータ（ボクセルデータ）はそれに対応するアドレスに格納される。もちろん、読み出し時において座標変換が適用されてもよい。座標変換は、一般に、送受波座標系からメモリ空間座標系への変換を意味するものである。これによって、３Ｄメモリ３０内にはボリュームデータが格納されることになる。
【００３１】
本実施形態においては、内視装置１２によって観察されている局所組織が含まれるように三次元エコデータ取り込み空間すなわち三次元空間が形成されており、逆に言えば、そのような適正な位置に三次元空間が形成されるように３Ｄプローブ１４の位置決めが行われている。したがって、３Ｄメモリ３０内には、内視画像化の対象となっている局所組織を含む広域組織に対応したボリュームデータが格納されることになる。
【００３２】
超音波画像形成部３２は、ボリュームデータにおける部分的なデータ（部分ボリュームデータ）に基づいてそれをレンダリング処理することにより投影画像としての超音波画像を形成している。その場合においては、内視画像における観察点すなわち視点と同じ方向から超音波画像が形成されるようにデータ処理が実行されている。その際においては、座標データ演算部２４から出力される上記の座標データが参照され、また、後述する座標データ演算部５４から出力される座標データ（ｘc,ｙc,ｚc,ｘθ,ｙθ,ｚθ）が参照される。つまり、プローブヘッドの三次元座標と内視鏡の三次元座標とが参照され、両者の空間的な位置関係に基づいて、部分ボリュームデータが特定され、つまり視点とレンダリング方向とが特定され、それらを利用して投影処理が実行されている。その場合においては、必要に応じて、二つの測位システム１８，４８の間における既知の空間的な位置関係が利用され、また、可動側デバイス２０，５０と座標計測の対象となる点との位置関係等の情報が参照される。
【００３３】
画像合成部３４は、超音波画像上に後に説明する内視画像を合成するモジュールである。合成の仕方としては、重合方式及びはめ込み方式が考えられ、重合方式の場合においては、超音波画像上に内視画像が部分的に重ね合わされる。はめ込み方式が採用される場合には、内視画像がはめ込まれる領域が超音波画像上から除去され、すなわち穴空き状態とされ、その空いた部分に内視画像がはめ込まれる。もちろん、画像合成の方式としては、従来から知られている各種の方式を採用することができる。本実施形態においては、二つの画像の合成にあたって両者の相対的な位置関係を段階的に変化させながら逐次的に相関演算が実行されており、相関値が最も良好となる状態として両者の適正位置関係が認定されている。そのような適正位置関係の下で二つの画像が合成されれば、画像間における位置ずれを最小限にでき、また画像間におけるひずみも少なくすることが可能となる。ただし、そのような相関演算は必要に応じて実行されればよく、二つの画像を単純に重ね合わせるだけでも一定の効果を得られる。
【００３４】
以上のように、画像合成部３４において合成画像が生成されると、その画像データが表示部３６に送られ、表示部３６の画面上に合成画像が表示される。その合成画像は、光学的な画像と音響的な画像とが組み合わさった新しい画像であり、具体的には、従来同様の光学像の周囲に超音波画像が表され、従来においては見えなかった周辺部の構造や様子を超音波画像を通じて認識することが可能となるので、内視鏡操作の支援を行うことができ、また患部を迅速に探知できるという利点が得られる。内視画像については画像合成に先立って加工や修正を施すことも可能であり、これは超音波画像についても同様である。例えば、エッジ強調処理やコントラスト強調処理等を施すようにしてもよい。
【００３５】
主制御部３８は、超音波診断装置１０に含まれる各構成の動作制御を行っており、主制御部３８は具体的にはＣＰＵと動作プログラムとによって構成されるものである。主制御部３８には操作パネル４０が接続されており、ユーザーは操作パネル４０を利用して動作条件の設定を行ったり、パラメータの入力を行ったりすることが可能である。ちなみに、超音波画像形成部３２及び画像合成部３４はソフトウェアの機能として実現することが可能であり、超音波診断装置１０内においてそのようなプログラム処理を行うことも可能ではあるが、ボリュームデータを外部ＰＣへ転送し、外部ＰＣ上において画像処理を行わせることも可能である。ただし、内視鏡操作の支援にあたっては合成画像がリアルタイムで更新されるのが望ましく、そのようなリアルタイム性を実現できるシステムを構築するのが望ましい。本実施形態においては、超音波診断装置１０に対して内視装置１２が組み合わされており、すなわち内視装置１２からの画像データを超音波診断装置１０において利用することにより、リアルタイムで表示される超音波画像上に同じくリアルタイムで表示される内視画像が合成されている。
【００３６】
次に、内視装置１２について説明する。符号４２は内視鏡を示している。内視鏡４２は体内に挿入される部分と体外に位置決めされる部分とからなるものである。体内部分にはイメージセンサ４４及び発光器４６等が設けられている。イメージセンサ４４は例えばＣＣＤカメラである。もちろん他の画像取得デバイスを設けるようにしてもよい。発光器４６は画像取り込み時において前方を照らすためのデバイスである。ただし、例えば高感度赤外線センサ等を利用することにより、発光器４６を省略することも可能である。内視鏡４２の中には複数のチャンネル（図示せず）が設けられており、いずれかのチャンネルを利用して術具を挿入し、胎盤表面上を走行している血管等に対する処置を行うことが可能である。
【００３７】
測位システム４８は、上述したように可動側デバイス５０、固定側デバイス５２及び座標データ演算部５４により構成される。本実施形態において可動側デバイス５０は内視鏡４２の体外部分に配置されているが、もちろんそのデバイス５０が体内部分に配置されていてもよい。いずれにおいてもイメージセンサ４４における観察原点すなわち視点の座標が直接的にまたは間接的に計測されるように構成するのが望ましい。座標データ演算部５４から出力される座標データは上述したように超音波画像形成部３２に入力され、そのような情報を利用して上述した超音波画像処理が実行される。
【００３８】
内視装置本体４５には内視画像形成部４７が設けられており、内視画像形成部４７はイメージセンサ４４から出力される信号に基づいて光学像としての内視画像を形成している。その画像データは上述したように画像合成部３４に出力される。
【００３９】
図２には、三次元空間６０が示されている。この三次元空間６０は超音波の送受波が行われる領域であり、上述したボリュームデータに相当するものである。三次元空間６０はプローブヘッド５６における超音波ビームの電子的な走査により構成される。図２においては立方体形状の三次元空間６０が示されているが、その形状は立方体には限られない。例えば、コンベックス型の１Ｄアレイ振動子を機械的に揺動走査させる方式では、角錐型の三次元空間が形成されることになる。
【００４０】
三次元空間６０は本実施形態において子宮の一部を含んでおり、図示されるようにそこには胎盤６２の一部が含まれている。符号６２Ａは胎盤表面を表しており、その表面（表層）６２Ａには複数の血管６４が走行している。
【００４１】
内視鏡５８は本実施形態において硬質の棒状部材として構成されており、腹部に形成された孔を通じて内視鏡５８の先端部が子宮内に差し込まれる。内視鏡５８の先端部あるいはそれ以外の部分に屈曲性を持った間接部が設けられてもよい。内視鏡５８の先端部には上述したイメージセンサが設けられ、そのイメージセンサによる視野範囲が符号６６で示されている。図に示されるように視野範囲６６は胎盤表面６２Ａにおけるごくわずかの領域であり、疾患部分をその視野範囲を通じて探知するのは容易でない。つまり、視野範囲６６の周辺に存在する組織の様子についても情報を得たいというニーズがある。そこで、本実施形態においては上述したように内視画像と超音波画像との組み合わせが実現されている。
【００４２】
図３乃至図６を用いて超音波画像の作成例について説明する。図３において、本実施形態ではまず内視鏡５８におけるイメージセンサ上の視点すなわち中心点に相当する観察原点５８Ａが特定される。その特定を行うために上述した測位システムが設けられている。すなわち、内視鏡５８を操作した場合においても各状態において観察原点５８Ａの空間的な位置を特定することができる。ただし、その位置を厳密に特定できなくても、後の画像相関処理の結果として内視画像と超音波画像の良好なマッチング状態を得ることが可能である。観察原点５８Ａが特定されると、そこから視野前方へ伸びる基準方向すなわち視野方向７０が特定される。その視野方向７０は視野範囲６６の中心軸に相当するものであり、あるいは、内視鏡５８の軸方向に相当するものである。
【００４３】
次に、図４に示されるように、観察原点５８Ａを基準として処理開始面７２が設定される。この処理開始面７２は具体的には３Ｄメモリの三次元記憶空間上に設定されるものである。本実施形態においては、処理開始面７２は観察原点５８Ａを通過する面であって基準方向７２に直交する面である。処理開始面７２の大きさは任意に設定することが可能であるが、少なくとも視野範囲６６の周辺をカバーできるようにそのサイズが定められるのが望ましく、特に望ましくはボリュームデータの全体を通過する程度の大きさを持った範囲として定められる。観察原点５８Ａを通過する面としてではなくそれよりも前方の位置に処理開始面７２が設定されるようにしてもよい。すなわち、本実施形態においては、胎盤表面とイメージセンサとの間に羊水が存在しており、この羊水は超音波画像にほとんど反映されない部分であるため、必要に応じて処理開始面を前方に設定することが考えられる。もちろん処理開始面を後方に設定することも可能である。
【００４４】
次に、図５に示されるように、処理開始面７２を基準としてそれに直交する方向として視線（レイ）群７４が設定される。視線群７４は複数の視線７６により構成されるものである。本実施形態において複数の視線７６は互いに平行であるが、非平行の関係をもって複数の視線７６が設定されてもよい。例えば、観察原点５８Ａから放射状に複数の視線７６が設定されるようにしてもよい。そして、各視線毎にレンダリングが演算実行され、すなわち各視線毎に画素値が決定される。それらの画素値を二次元平面上にマッピングすれば超音波画像を構成することが可能である。レンダリングの方法としては、積算投影法があげられ、特に望ましくはボリュームレンダリング法を適用するのが望ましい。本実施形態においては、胎盤の表層部分のみならず胎盤の内部についても超音波画像に反映されるようにレンダリング条件が定められている。
【００４５】
このようなレンダリング処理の結果として形成された超音波画像が図６に模式的に示されている。図６において波線の円８４は内視鏡による視野範囲を表している。その範囲の周辺部が広く画像化されていることを理解できる。そこには血管群７８が存在し、その血管群７８は表層を走行している血管８０と内部を走行している血管８２とを含むものである。もちろん、レンダリング条件を変えることによりレンダリングする深さを自由に変更することが可能である。
【００４６】
以上のように、超音波画像が構成されると、その超音波画像と内視画像とが合成される訳であるが、本実施形態においては上述したように二つの画像間において相関演算が実行されている。すなわち二つの画像が空間的に位置整合するようにマッチング処理が実行されている。そのために、各画像が二値化処理される。
【００４７】
図７の（Ａ）には内視画像８６が示されている。その画像は視野範囲に相当する円形の画像である。その内部には血管８８が表れている。これに対して二値化処理が施され、それにより生成されたものが二値化画像９０であり、それが図７の（Ｂ）に示されている。二値化処理にあたっては、血管部分に対して１（または０）が与えられ、それ以外の組織部分に対して０（または１）が与えられる。
【００４８】
一方、超音波画像に対しても二値化処理が施される。具体的には、図６に示した超音波画像７６に対して血管と組織とを弁別する閾値を利用して二値化処理が施され、それにより生成されたものが図８に示す二値化画像９６である。波線の円形８４は内視画像の視野範囲を表している。本実施形態では、この図８に示した二値化画像９６と図７の（Ｂ）に示した二値化画像９０との間で、両者の位置関係を段階的に変化させながら相関演算が繰り返し実行され、最良の相関値が得られた時点をもって適正位置関係であると認定されている。そしてその適正位置関係にある二つの超音波画像（二値化前の画像）及び内視画像（二値化前の画像）が合成され、これにより合成画像が生成されている。その一例が図９に示されている。合成画像１００は超音波画像７６上に内視画像８６を重合させてなる画像である。超音波画像７６は本実施形態において白黒画像であり、内視画像８６はカラー画像である。一般に光学像である内視画像８６の方が鮮明であるため、合成画像１００においては、注目している円形の領域内において、背景に対してくっきりと組織が浮かび上がった様子が顕在化することになる。内視鏡を移動させれば、視野範囲が移動することになるため、内視画像８６の内容がリアルタイムに更新される。この場合、超音波画像７６上において内視画像８６の位置を変化させるようにしてもよいし、内視画像８６の画面表示位置を固定した状態において、超音波画像７６を移動させあるいはその内容を更新するようにしてもよい。イメージセンサと組織との間の距離を計測することにより、内視画像のサイズを距離に応じて動的に変化させるようにしてもよい。本実施形態においては、二つの画像間において不連続性あるいは歪みが生じていたとしても、内視画像８６の周辺にある程度の確からしさをもって組織構造を表す画像を表示できるため、内視鏡の操作を支援でき、また患部の特定を容易にできるという利点がある。すなわち実際に注目しているのは内視画像８６であり、その視野範囲を移動させれば鮮明な部位を移動させることができるのであり、周辺に存在する画像はあくまでも支援を行うものにすぎないため、二つの画像間において位置ずれ等が多少あったとしても従来に比べて利便性を向上することが可能である。
【００４９】
次に、図１０及び図１１を用いてシステムの動作例を説明する。図１０には図１１に示した超音波画像形成部３２の動作例が示されており、図１１には図１に示した画像合成部３４の動作例が示されている。
【００５０】
まず、図１０を参照すると、Ｓ１０１では、図３に示したように、観察原点と基準方向とが演算される。この場合においては、内視装置に備えられた測位システムによる座標データが利用される。もちろん、内視鏡の観察方向あるいは観察原点が既知であれば測位システムを用いる必要はない。Ｓ１０２では、図４に示したように処理開始面が特定される。Ｓ１０３では、図５に示したように処理開始面から伸びる複数の視線が設定され、各視線（レイ）に沿ってレンダリング演算を行うことにより、部分ボリュームデータに対する処理が実行され、これにより部分ボリュームデータが反映されたレンダリング画像としての超音波画像が形成される。その超音波画像の一例については図６に示したとおりである。
【００５１】
次に、図１１を参照すると、Ｓ２０１では、内視装置により得られた内視画像が二値化処理され、これにより二値化内視画像が生成される。同様に、Ｓ２０２では、超音波画像が二値化処理され、これにより二値化超音波画像が生成される。Ｓ２０３では、超音波二値化画像の基準軸点に内視二値化画像の中心を一致させつつ、両者が仮に合成される。ここで、基準軸点は、超音波画像における基準軸に相当する点であり、その点に内視二値化画像の中心点を一致させることにより、三次元空間内において二つの画像を概ね整合させることが可能である。その初期状態を基準として、以下のように相関演算における探索幅が設定されることになる。
【００５２】
Ｓ２０４〜Ｓ２０６では画像の縮尺率を変更させながら相関演算が実行される。具体的には、一方の画像（望ましくは内視二値化画像）を拡大または縮小させて、Ｓ２０５において二つの画像間において相関値が演算される。そして、Ｓ２０６において相関値が最大とみなされるまで、一方画像の縮尺率を変更させながらの相関演算が繰り返し実行される。Ｓ２０６において相関値が最大であると認定された場合、Ｓ２０７〜Ｓ２０９における平行移動をさせながらの相関値演算処理が実行される。
【００５３】
具体的には、Ｓ２０７において、一方画像を上下あるいは左右の方向に平行移動させる処理が実行されて、Ｓ２０８において、その平行移動後における状態において相関値が演算される。そして、平行移動を繰り返しながら、Ｓ２０９において相関値が最大とみなされるまで相関値演算が繰り返し実行される。Ｓ２０９において相関値が最大であると判断された場合でも、Ｓ２１０〜Ｓ２１２の工程が実行される。具体的には、Ｓ２１０において一方画像を回転させて、Ｓ２１１において相関値が演算される。この処理がＳ２１２において相関値最大であると判断されるまで繰り返し実行される。Ｓ２１２において相関値が最大であると判断された場合、Ｓ２１３が実行される。
【００５４】
Ｓ２１３では、今までの推移から相関値が飽和しているか否かが判断されても、飽和していなければＳ２０４以降の各工程が繰り返し実行される。すなわち、条件の組み合わせを変更させながら相関値が飽和するまで二つの画像の最良マッチング状態が探索されることになる。Ｓ２１３において相関値が飽和したと判断された場合、Ｓ２１４において超音波画像と内視画像とが合成され、それが画面上に表示されることになる。図１１においては、拡大縮小処理、平行移動処理、回転処理の三つの変化が含まれていたら、そのうちの一つまたは二つを実施するようにしてもよい。ただし、特に拡大縮小処理を含めることにより、イメージセンサ等を対象物表面との間における距離が不知であったとしても二つの画像の縮尺を整合させて違和感のない合成画像を構築できるという利点がある。
【００５５】
本実施形態においては、立体的な領域が画像化された超音波画像を利用しているため、組織内部を走行する血管を表示することが可能であり、これにより手術器具を利用して血管の処置を行うような場合においてもその安全性を高められるという利点がある。
【図面の簡単な説明】
【００５６】
【図１】本発明に係る医療画像処理システムの好適な実施形態を示すブロック図である。
【図２】三次元空間を示す概念図である。
【図３】観察原点及び基準方向の設定を説明するための図である。
【図４】処理開始面の設定を説明するための図である。
【図５】複数の視線の設定を説明するための図である。
【図６】超音波画像の一例を示す図である。
【図７】内視画像に対する二値化処理を説明するための図である。
【図８】二値化処理された超音波画像を示す図である。
【図９】合成画像の一例を示す図である。
【図１０】図１に示した超音波画像形成部の処理内容を示すフローチャートである。
【図１１】図１に示した画像合成部の内容を示すフローチャートである。
【符号の説明】
【００５７】
１０ 超音波診断装置、１２ 内視装置、１４ プローブ、１８ 測位システム、３２ 超音波画像形成部、３４ 画像合成部、４２ 内視鏡、４４ イメージセンサ、４５ 内視装置本体、４７ 内視画像形成部、４８ 測位システム。
【技術分野】
【０００１】
本発明は医療画像処理システムに関し、特に、内視画像と超音波画像とを合成するシステムに関する。
【背景技術】
【０００２】
内視装置は、内視手段としての内視鏡を備える。内視鏡の先端部には前方（つまり観察方向）に視野を有するＣＣＤ等のセンサが設けられる。その他、先端部には発光器、手術具を突出させる開口、等が存在する。一般に、センサの視野範囲は小さいため、内視画像を見ながら、目的組織を探し出すのが困難又は面倒であるとの問題がある。例えば、双胎児間輸血症候群という疾病に対しては、子宮内に内視鏡を挿入して、その内視鏡による画像観察下において、内視鏡内に挿入された手術具により、胎児間における胎盤血流の吻合部を遮断する手術が行われる。その際、内視鏡のセンサによる視野は、例えば１０〜２０ｍｍ程度であるから、胎盤上の吻合部を内視画像だけから探索、特定するのは一般に困難であり、それに時間を要するという問題がある。
【０００３】
一方、近時、三次元超音波診断技術が実用化されつつある。この技術によれば、生体内の三次元領域に対して超音波の送受波を行ってボリュームデータを取得し、そのボリュームデータに基づいて体内組織についての積算画像、ボリュームレンダリング画像等を形成できる。その技術を活用し、内視鏡を用いた診断や治療に役立てることが望まれている。
【０００４】
【特許文献１】特開平１０−１１３３３３号公報
【特許文献２】特開２００４−３５８０９６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
特許文献１には、内視鏡（あるいは腹腔鏡）を用いた手術において、断層像撮影による支援を行うシステムが開示されている。同文献には断層像を得る装置の例として超音波診断装置が記載されている。そのシステムでは、内視鏡画像上において術者により着目点が指定されると、その着目点と内視鏡基準点との間の相対位置が求められ、一方、内視鏡基準点の絶対位置が求められ、その相対位置と絶対位置とから着目点の絶対位置が求められている。特許文献１に記載された装置は、内視鏡の観察対象について断層撮影位置を演算するものに過ぎない。
【０００６】
特許文献２には、超音波内視鏡装置が記載されている。この装置は、内視鏡による画像と、超音波診断による画像とを対応付けて表示するものであり、その対応付けに際して相互相関演算が利用されている。この装置において、内視鏡にはＣＣＤカメラと超音波振動子とが併設され、三次元の超音波データは内視鏡を手前に引き出すマニュアル走査によって取得されている。また、この装置は、内視鏡による三次元表面形状データと超音波診断による三次元表面形状データとを空間的に対応付けるものである。それは、内視鏡の位置決めのための支援画像を提供するものではない。
【０００７】
本発明の目的は、内視鏡の位置決め操作を支援できる画像を提供することにある。
【０００８】
本発明の他の目的は、組織表面上の構造の他、組織内部の構造も反映された画像を提供することにある。
【課題を解決するための手段】
【０００９】
本発明に係るシステムは、前方に存在する視野内の局所組織を観察するためのセンサが備えられた内視部と、前記センサからの信号に基づいて内視画像を形成する内視画像形成部と、前記局所組織を含む三次元空間に対して超音波の送受波を行ってボリュームデータを取得する超音波プローブと、前記ボリュームデータに基づいて、前記センサの前方に存在する広域組織を表す超音波画像を形成する超音波画像形成部と、前記広域組織を表す超音波画像と前記局所組織を表す内視画像とを相互に位置合わせしつつ合成して合成画像を形成する画像合成部と、を含む。
【００１０】
上記構成によれば、内視画像と超音波画像とが合成された合成画像が形成され、それが望ましくは画面上に表示される。内視画像は、従来同様の光学的な観察像であってもよいし、画像合成のためにそれを加工あるいは修正した後の画像であってもよい。超音波画像は、センサ前方の広域組織を表した画像であり、そのような超音波画像を背景として内視画像を合成すれば、局所組織とその周辺の組織との関係を把握することが容易となる。超音波画像は、立体的な部分領域を二次元画像に投影したものであるのが望ましく、例えば、ボリュームレンダリング画像、積算画像等であってもよい。内視画像形成用の視点と超音波画像形成用の視点がおよそ近い関係にあるのが望ましい。また、２つの画像のスケール等を相互に近付けておくのが望ましい。いずれにしても、光学的に観察可能な領域の周囲に何らかの形で周辺組織の様子が反映されるならば、仮に両画像の間に歪みあるいは不連続性が若干生じても、内視部の操作を支援することが可能となる。
【００１１】
望ましくは、前記画像合成部は、前記超音波画像における一部分に前記内視画像を重合し又ははめ込むことにより前記合成画像を形成し、前記合成画像は、前記内視部と前記超音波プローブとの相対的な位置関係の変更に伴ってリアルタイムで更新される。重合方式が採用される場合においては、広域組織を表した超音波画像の全体に対して内視画像が重ね合わされる。その場合、内視画像は上書き画像となり、内視画像に透過性をもたせて背景となる超音波画像部分が透けて見えるようにしてもよい。はめ込み方式が採用される場合には、超音波画像における内視画像相当部分がくり抜かれ（穴あき画像化）、そのくり抜き部分に内視画像が嵌め込まれる。その場合には内視画像のサイズを計測し、その結果に基づいて超音波画像のくり抜きサイズを決定するのが望ましい。
【００１２】
合成画像がリアルタイムで更新されれば、内視部の位置決めを容易に行うことができる。つまり、内視画像の周辺に超音波画像部分が存在しているために、内視部をどの方向に動かせばよいのかを判断することが容易となる。そして、その視野を実際に移動させれば、内視画像の内容が更新されることになるので、疾患部の探知が容易となる。内視部の視野の移動は、体外操作によってなされるのが一般的である。視野の移動に伴い、超音波画像を固定しておいて、超音波画像上で内視画像を相対的に運動させるようにしてもよいし、内視画像を固定しておいて、超音波画像を相対的に移動させるようにしてもよい。あるいは、両者が運動する態様を採用することも可能である。いずれにしても操作支援の観点から適切な更新方式を形成するのが望ましい。
【００１３】
望ましくは、前記超音波画像形成部は、前記センサにおける観察原点及びそこから前方への視野方向を特定する特定手段と、前記ボリュームデータを処理する手段であって、前記観察原点に基づいて前記視野方向に交差する処理開始面を特定し、その処理開始面よりも前方に存在する部分ボリュームデータを処理することにより前記超音波画像を形成する部分ボリュームデータ処理手段と、を含む。この構成によれば、センサにおける観察原点がまず特定される。つまり、内視用視点の空間的な座標が特定される。また、その観察原点から前方への視野方向が特定される。視野方向は望ましくは立体的な視野域における中心軸に一致する。つまり、センサから観察した様子が超音波画像上でも再現されるように、観察原点から前方に存在する部分ボリュームデータが特定され、それを利用して超音波画像が形成される。超音波プローブを体表上に当接して、そこからボリュームデータを取得するようにしてもよいし、体腔内プローブを利用して体内からボリュームデータを取得するようにしてもよい。
【００１４】
望ましくは、前記部分ボリュームデータ処理手段は、前記処理開始面から前方側に伸びる複数の視線を設定し、前記各視線上においてレンダリング演算を行う。この構成によれば、望ましくは並行投影法にしたがって部分ボリュームデータが投影処理される。但し、センサあるいはその周辺から放射状に出る視線群を設定するようにしてもよい。センサ（及び光学系）の視野特性に応じて視線群の配列を設定するのが望ましい。レンダリング方法としてはボリュームレンダリング法、積算投影法、最大値投影法、最小値投影法などが考えられるが、いずれにしても三次元空間を画像に反映できるレンダリング法を選択するのが望ましい。
【００１５】
望ましくは、前記超音波画像は、前記センサの前方に存在する広域組織の表面上を走行する表面血管及び当該広域組織の内部を走行する内部血管の両者を表現し得る画像である。内部血管まで画像化されれば、外科手術における安全性を高められる。
【００１６】
望ましくは、前記内視部及び前記超音波プローブの位置関係を特定する位置情報を取得する手段を含み、前記観察原点及び前記視野方向は前記位置情報に基づいて特定される。位置情報は、磁場を利用した測位システム、赤外光を利用した測位システム、電波を利用した測位システム、等を使って取得可能である。超音波プローブを当てる位置を決めておき、かつ、内視部の挿入位置がある程度決まっているなら、２つの画像をマニュアルで位置決めして合成することも可能であるが、その場合にはリアルタイム性が損なわれる。よって、超音波プローブ及び内視部の相対的位置関係をリアルタイムで計測できるように構成するのが望ましい。
【００１７】
望ましくは、前記位置情報を取得する手段は、前記超音波プローブの位置を計測する第１位置検出ユニットと、前記内視部の位置を計測する第２位置検出ユニットと、を含む。ここで、各ユニットが磁場を利用した測位システムで構成される場合、各ユニットは磁場発生器と磁気センサセットとで構成される。各ユニットが赤外線を利用した測位システムで構成される場合、各ユニットは赤外線送受波器と赤外線反射器とで構成される。内視部の先端に測位用の装置を設けるようにしてもよいし、内視部が棒状体あるいはあまり形状が変化しないものであれば、内視部における体外部分に測位用の装置を設けることが可能である。相関演算等の画像処理を利用して両画像のマッチング処理を行えば、位置情報の計測精度が高くなくても、画像処理により両画像の位置決め精度を向上できる。
【００１８】
望ましくは、前記画像合成部は、前記超音波画像を背景としてその一部分に前記内視画像を半透明にして重合する。望ましくは、前記超音波画像は単色画像であり、前記内視画像はカラー画像である。望ましくは、前記画像合成部は、前記内視画像と前記超音波画像との間で相対的な位置関係を逐次的に変化させつつ相関演算を繰り返すことにより、前記内視画像と前記超音波画像との適正位置関係を探索する。
【００１９】
望ましくは、前記画像合成部は、前記内視画像に対して二値化処理を適用し、二値化内視画像を形成する手段と、前記超音波画像に対して二値化処理を適用し、二値化超音波画像を形成する手段と、前記二値化内視画像と前記二値化超音波画像との間で相対的な位置関係を逐次的に変化させながら相関演算を実行する手段と、前記相関演算の結果に基づいて前記適正位置関係を特定する手段と、を含む。異種画像であっても各画像を二値化処理すれば相関演算が容易となる。
【００２０】
望ましくは、前記相対的な位置関係の逐次的変化においては、前記二値化内視画像と前記二値化超音波画像との間で、相対的縮尺率可変、相対的並行移動及び相対的回転移動の内の少なくとも１つが実行される。特に望ましくはそれらの全部が多重的に実行される。
【００２１】
望ましくは、観察の対象となる組織は胎盤であり、前記内視画像には前記胎盤上を走行する血管の像が含まれ、前記超音波画像には前記胎盤上を走行する血管の像及び前記胎盤内を走行する血管の像が含まれ、前記内視画像及び前記超音波画像は、少なくとも前記内視部の移動に伴ってリアルタイムで更新され、前記合成画像の観察下において前記内視部に差し込まれた手術器具が操作される。
【００２２】
本発明に係る超音波診断装置は、前方に存在する視野内の局所組織を観察するためのセンサが備えられた内視部と、前記センサからの信号に基づいて内視画像を形成する内視画像形成部と、を備えた内視装置に接続される超音波診断装置であって、前記局所組織を含む三次元空間に対して超音波の送受波を行ってボリュームデータを取得する超音波プローブと、前記ボリュームデータに基づいて、前記センサの前方に存在する広域組織を表す超音波画像を形成する超音波画像形成部と、前記広域組織を表す超音波画像と前記局所組織を表す内視画像とを相互に位置合わせしつつ合成して合成画像を形成する画像合成部と、を含む。
【発明の効果】
【００２３】
以上説明したように、本発明によれば、内視鏡の位置決め操作を支援できる画像を提供できる。あるいは、組織表面上の構造の他、組織内部の構造も反映された画像を提供できる。
【発明を実施するための最良の形態】
【００２４】
以下、本発明の好適な実施形態を図面に基づいて説明する。
【００２５】
図１には、本発明に係る医療画像処理システムの好適な実施形態が示されており、図１はその全体構成を示すブロック図である。図１に示されるシステムは、内視鏡による治療と超音波診断とを組み合わせたシステムであり、本実施形態において対象となる組織は子宮中の胎盤である。もちろん、他の組織に対して本発明に係るシステムを用いることも可能である。
【００２６】
図１において、本実施形態に係るシステムは、大別して、超音波診断装置１０と内視装置１２とで構成される。ただし、画像処理機能を外部コンピュータ等に委ねることも可能であり、その場合には、本システムが、超音波診断装置、内視装置及びコンピュータによって構成される。本実施形態に係るシステムの実現に当たっては多様な構成が考えられる。
【００２７】
超音波診断装置１０について説明する。プローブ１４は、超音波を送受波する送受波器であり、本実施形態においては生体内の三次元空間に対して超音波の送受波を行う３Ｄプローブが用いられている。プローブ１４は、具体的には、プローブヘッド、プローブケーブル及びプローブコネクタ等からなるものである。プローブヘッド内にはアレイ振動子１６が設けられている。このアレイ振動子１６は本実施形態において２Ｄアレイ振動子であり、その２Ｄアレイ振動子１６により超音波ビームが形成され、その超音波ビームが二次元走査されて三次元のデータ取り込み空間が形成される。その三次元空間内からボリュームデータが取得される。もちろん、１Ｄアレイ振動子を機械的に走査することにより三次元空間を形成するようにしてもよい。
【００２８】
符号１８は測位システムを示している。測位システム１８は、可動側デバイス２０、固定側デバイス２２及び座標データ演算部２４により構成される。後に説明する測位システム４８も同様の構成を示している。例えば、磁場を利用して測位を行う方式が採用される場合、固定側デバイス２２は磁場発生器であり、可動側デバイス２０は磁気センサユニットによって構成される。その磁気センサユニットの出力が座標データ演算部２４に送られ、その座標データ演算部２４において、固定側デバイス２２を座標原点としたところでの可動側デバイス２０の空間的な座標が計測される。測位システム１８が赤外線を用いたものであれば、固定側デバイス２２は赤外線送受波器であり、可動側デバイス２０は赤外線反射器となる。これ以外にも各種の方式を採用し得る。いずれにしても、プローブ１４（具体的にはプローブヘッド）の空間的な座標が計測される。ロボットアーム等を使用してプローブヘッドを支持する構成が採用される場合、各アームに設けられたエンコーダの出力からプローブヘッドの三次元座標を得ることも可能である。座標データ演算部２４は後に説明する超音波画像形成部３２に対して、座標データ（ＸP,ＹP,ＺP,Ｘθ,Ｙθ,Ｚθ）を出力する。
【００２９】
送受信部２６は、送信部としての送信ビームフォーマーおよび受信部としての受信ビームフォーマーからなるものである。送信時において、送受信部２６からアレイ振動子１６に対して複数の送信信号が並列的に供給される。これによりアレイ振動子１６において送信ビームが形成される。受信時において、生体内からの反射波はアレイ振動子１６にて受波され、アレイ振動子１６から複数の受信信号が送受信部２６へ並列的に出力される。送受信部２６においては、複数の受信信号に対して整相加算処理を適用し、これによって整相加算後の受信信号すなわちビームデータを得る。
【００３０】
そのビームデータは信号処理部２８へ出力される。信号処理部２８は、検波回路、対数圧縮回路、等の各種回路を有しており、ビームデータに対して所定の信号を処理を実行する。その処理後のビームデータは３Ｄメモリ３０に格納される。その書き込みの際に座標変換が適用され、各ビームデータを構成するエコーデータ（ボクセルデータ）はそれに対応するアドレスに格納される。もちろん、読み出し時において座標変換が適用されてもよい。座標変換は、一般に、送受波座標系からメモリ空間座標系への変換を意味するものである。これによって、３Ｄメモリ３０内にはボリュームデータが格納されることになる。
【００３１】
本実施形態においては、内視装置１２によって観察されている局所組織が含まれるように三次元エコデータ取り込み空間すなわち三次元空間が形成されており、逆に言えば、そのような適正な位置に三次元空間が形成されるように３Ｄプローブ１４の位置決めが行われている。したがって、３Ｄメモリ３０内には、内視画像化の対象となっている局所組織を含む広域組織に対応したボリュームデータが格納されることになる。
【００３２】
超音波画像形成部３２は、ボリュームデータにおける部分的なデータ（部分ボリュームデータ）に基づいてそれをレンダリング処理することにより投影画像としての超音波画像を形成している。その場合においては、内視画像における観察点すなわち視点と同じ方向から超音波画像が形成されるようにデータ処理が実行されている。その際においては、座標データ演算部２４から出力される上記の座標データが参照され、また、後述する座標データ演算部５４から出力される座標データ（ｘc,ｙc,ｚc,ｘθ,ｙθ,ｚθ）が参照される。つまり、プローブヘッドの三次元座標と内視鏡の三次元座標とが参照され、両者の空間的な位置関係に基づいて、部分ボリュームデータが特定され、つまり視点とレンダリング方向とが特定され、それらを利用して投影処理が実行されている。その場合においては、必要に応じて、二つの測位システム１８，４８の間における既知の空間的な位置関係が利用され、また、可動側デバイス２０，５０と座標計測の対象となる点との位置関係等の情報が参照される。
【００３３】
画像合成部３４は、超音波画像上に後に説明する内視画像を合成するモジュールである。合成の仕方としては、重合方式及びはめ込み方式が考えられ、重合方式の場合においては、超音波画像上に内視画像が部分的に重ね合わされる。はめ込み方式が採用される場合には、内視画像がはめ込まれる領域が超音波画像上から除去され、すなわち穴空き状態とされ、その空いた部分に内視画像がはめ込まれる。もちろん、画像合成の方式としては、従来から知られている各種の方式を採用することができる。本実施形態においては、二つの画像の合成にあたって両者の相対的な位置関係を段階的に変化させながら逐次的に相関演算が実行されており、相関値が最も良好となる状態として両者の適正位置関係が認定されている。そのような適正位置関係の下で二つの画像が合成されれば、画像間における位置ずれを最小限にでき、また画像間におけるひずみも少なくすることが可能となる。ただし、そのような相関演算は必要に応じて実行されればよく、二つの画像を単純に重ね合わせるだけでも一定の効果を得られる。
【００３４】
以上のように、画像合成部３４において合成画像が生成されると、その画像データが表示部３６に送られ、表示部３６の画面上に合成画像が表示される。その合成画像は、光学的な画像と音響的な画像とが組み合わさった新しい画像であり、具体的には、従来同様の光学像の周囲に超音波画像が表され、従来においては見えなかった周辺部の構造や様子を超音波画像を通じて認識することが可能となるので、内視鏡操作の支援を行うことができ、また患部を迅速に探知できるという利点が得られる。内視画像については画像合成に先立って加工や修正を施すことも可能であり、これは超音波画像についても同様である。例えば、エッジ強調処理やコントラスト強調処理等を施すようにしてもよい。
【００３５】
主制御部３８は、超音波診断装置１０に含まれる各構成の動作制御を行っており、主制御部３８は具体的にはＣＰＵと動作プログラムとによって構成されるものである。主制御部３８には操作パネル４０が接続されており、ユーザーは操作パネル４０を利用して動作条件の設定を行ったり、パラメータの入力を行ったりすることが可能である。ちなみに、超音波画像形成部３２及び画像合成部３４はソフトウェアの機能として実現することが可能であり、超音波診断装置１０内においてそのようなプログラム処理を行うことも可能ではあるが、ボリュームデータを外部ＰＣへ転送し、外部ＰＣ上において画像処理を行わせることも可能である。ただし、内視鏡操作の支援にあたっては合成画像がリアルタイムで更新されるのが望ましく、そのようなリアルタイム性を実現できるシステムを構築するのが望ましい。本実施形態においては、超音波診断装置１０に対して内視装置１２が組み合わされており、すなわち内視装置１２からの画像データを超音波診断装置１０において利用することにより、リアルタイムで表示される超音波画像上に同じくリアルタイムで表示される内視画像が合成されている。
【００３６】
次に、内視装置１２について説明する。符号４２は内視鏡を示している。内視鏡４２は体内に挿入される部分と体外に位置決めされる部分とからなるものである。体内部分にはイメージセンサ４４及び発光器４６等が設けられている。イメージセンサ４４は例えばＣＣＤカメラである。もちろん他の画像取得デバイスを設けるようにしてもよい。発光器４６は画像取り込み時において前方を照らすためのデバイスである。ただし、例えば高感度赤外線センサ等を利用することにより、発光器４６を省略することも可能である。内視鏡４２の中には複数のチャンネル（図示せず）が設けられており、いずれかのチャンネルを利用して術具を挿入し、胎盤表面上を走行している血管等に対する処置を行うことが可能である。
【００３７】
測位システム４８は、上述したように可動側デバイス５０、固定側デバイス５２及び座標データ演算部５４により構成される。本実施形態において可動側デバイス５０は内視鏡４２の体外部分に配置されているが、もちろんそのデバイス５０が体内部分に配置されていてもよい。いずれにおいてもイメージセンサ４４における観察原点すなわち視点の座標が直接的にまたは間接的に計測されるように構成するのが望ましい。座標データ演算部５４から出力される座標データは上述したように超音波画像形成部３２に入力され、そのような情報を利用して上述した超音波画像処理が実行される。
【００３８】
内視装置本体４５には内視画像形成部４７が設けられており、内視画像形成部４７はイメージセンサ４４から出力される信号に基づいて光学像としての内視画像を形成している。その画像データは上述したように画像合成部３４に出力される。
【００３９】
図２には、三次元空間６０が示されている。この三次元空間６０は超音波の送受波が行われる領域であり、上述したボリュームデータに相当するものである。三次元空間６０はプローブヘッド５６における超音波ビームの電子的な走査により構成される。図２においては立方体形状の三次元空間６０が示されているが、その形状は立方体には限られない。例えば、コンベックス型の１Ｄアレイ振動子を機械的に揺動走査させる方式では、角錐型の三次元空間が形成されることになる。
【００４０】
三次元空間６０は本実施形態において子宮の一部を含んでおり、図示されるようにそこには胎盤６２の一部が含まれている。符号６２Ａは胎盤表面を表しており、その表面（表層）６２Ａには複数の血管６４が走行している。
【００４１】
内視鏡５８は本実施形態において硬質の棒状部材として構成されており、腹部に形成された孔を通じて内視鏡５８の先端部が子宮内に差し込まれる。内視鏡５８の先端部あるいはそれ以外の部分に屈曲性を持った間接部が設けられてもよい。内視鏡５８の先端部には上述したイメージセンサが設けられ、そのイメージセンサによる視野範囲が符号６６で示されている。図に示されるように視野範囲６６は胎盤表面６２Ａにおけるごくわずかの領域であり、疾患部分をその視野範囲を通じて探知するのは容易でない。つまり、視野範囲６６の周辺に存在する組織の様子についても情報を得たいというニーズがある。そこで、本実施形態においては上述したように内視画像と超音波画像との組み合わせが実現されている。
【００４２】
図３乃至図６を用いて超音波画像の作成例について説明する。図３において、本実施形態ではまず内視鏡５８におけるイメージセンサ上の視点すなわち中心点に相当する観察原点５８Ａが特定される。その特定を行うために上述した測位システムが設けられている。すなわち、内視鏡５８を操作した場合においても各状態において観察原点５８Ａの空間的な位置を特定することができる。ただし、その位置を厳密に特定できなくても、後の画像相関処理の結果として内視画像と超音波画像の良好なマッチング状態を得ることが可能である。観察原点５８Ａが特定されると、そこから視野前方へ伸びる基準方向すなわち視野方向７０が特定される。その視野方向７０は視野範囲６６の中心軸に相当するものであり、あるいは、内視鏡５８の軸方向に相当するものである。
【００４３】
次に、図４に示されるように、観察原点５８Ａを基準として処理開始面７２が設定される。この処理開始面７２は具体的には３Ｄメモリの三次元記憶空間上に設定されるものである。本実施形態においては、処理開始面７２は観察原点５８Ａを通過する面であって基準方向７２に直交する面である。処理開始面７２の大きさは任意に設定することが可能であるが、少なくとも視野範囲６６の周辺をカバーできるようにそのサイズが定められるのが望ましく、特に望ましくはボリュームデータの全体を通過する程度の大きさを持った範囲として定められる。観察原点５８Ａを通過する面としてではなくそれよりも前方の位置に処理開始面７２が設定されるようにしてもよい。すなわち、本実施形態においては、胎盤表面とイメージセンサとの間に羊水が存在しており、この羊水は超音波画像にほとんど反映されない部分であるため、必要に応じて処理開始面を前方に設定することが考えられる。もちろん処理開始面を後方に設定することも可能である。
【００４４】
次に、図５に示されるように、処理開始面７２を基準としてそれに直交する方向として視線（レイ）群７４が設定される。視線群７４は複数の視線７６により構成されるものである。本実施形態において複数の視線７６は互いに平行であるが、非平行の関係をもって複数の視線７６が設定されてもよい。例えば、観察原点５８Ａから放射状に複数の視線７６が設定されるようにしてもよい。そして、各視線毎にレンダリングが演算実行され、すなわち各視線毎に画素値が決定される。それらの画素値を二次元平面上にマッピングすれば超音波画像を構成することが可能である。レンダリングの方法としては、積算投影法があげられ、特に望ましくはボリュームレンダリング法を適用するのが望ましい。本実施形態においては、胎盤の表層部分のみならず胎盤の内部についても超音波画像に反映されるようにレンダリング条件が定められている。
【００４５】
このようなレンダリング処理の結果として形成された超音波画像が図６に模式的に示されている。図６において波線の円８４は内視鏡による視野範囲を表している。その範囲の周辺部が広く画像化されていることを理解できる。そこには血管群７８が存在し、その血管群７８は表層を走行している血管８０と内部を走行している血管８２とを含むものである。もちろん、レンダリング条件を変えることによりレンダリングする深さを自由に変更することが可能である。
【００４６】
以上のように、超音波画像が構成されると、その超音波画像と内視画像とが合成される訳であるが、本実施形態においては上述したように二つの画像間において相関演算が実行されている。すなわち二つの画像が空間的に位置整合するようにマッチング処理が実行されている。そのために、各画像が二値化処理される。
【００４７】
図７の（Ａ）には内視画像８６が示されている。その画像は視野範囲に相当する円形の画像である。その内部には血管８８が表れている。これに対して二値化処理が施され、それにより生成されたものが二値化画像９０であり、それが図７の（Ｂ）に示されている。二値化処理にあたっては、血管部分に対して１（または０）が与えられ、それ以外の組織部分に対して０（または１）が与えられる。
【００４８】
一方、超音波画像に対しても二値化処理が施される。具体的には、図６に示した超音波画像７６に対して血管と組織とを弁別する閾値を利用して二値化処理が施され、それにより生成されたものが図８に示す二値化画像９６である。波線の円形８４は内視画像の視野範囲を表している。本実施形態では、この図８に示した二値化画像９６と図７の（Ｂ）に示した二値化画像９０との間で、両者の位置関係を段階的に変化させながら相関演算が繰り返し実行され、最良の相関値が得られた時点をもって適正位置関係であると認定されている。そしてその適正位置関係にある二つの超音波画像（二値化前の画像）及び内視画像（二値化前の画像）が合成され、これにより合成画像が生成されている。その一例が図９に示されている。合成画像１００は超音波画像７６上に内視画像８６を重合させてなる画像である。超音波画像７６は本実施形態において白黒画像であり、内視画像８６はカラー画像である。一般に光学像である内視画像８６の方が鮮明であるため、合成画像１００においては、注目している円形の領域内において、背景に対してくっきりと組織が浮かび上がった様子が顕在化することになる。内視鏡を移動させれば、視野範囲が移動することになるため、内視画像８６の内容がリアルタイムに更新される。この場合、超音波画像７６上において内視画像８６の位置を変化させるようにしてもよいし、内視画像８６の画面表示位置を固定した状態において、超音波画像７６を移動させあるいはその内容を更新するようにしてもよい。イメージセンサと組織との間の距離を計測することにより、内視画像のサイズを距離に応じて動的に変化させるようにしてもよい。本実施形態においては、二つの画像間において不連続性あるいは歪みが生じていたとしても、内視画像８６の周辺にある程度の確からしさをもって組織構造を表す画像を表示できるため、内視鏡の操作を支援でき、また患部の特定を容易にできるという利点がある。すなわち実際に注目しているのは内視画像８６であり、その視野範囲を移動させれば鮮明な部位を移動させることができるのであり、周辺に存在する画像はあくまでも支援を行うものにすぎないため、二つの画像間において位置ずれ等が多少あったとしても従来に比べて利便性を向上することが可能である。
【００４９】
次に、図１０及び図１１を用いてシステムの動作例を説明する。図１０には図１１に示した超音波画像形成部３２の動作例が示されており、図１１には図１に示した画像合成部３４の動作例が示されている。
【００５０】
まず、図１０を参照すると、Ｓ１０１では、図３に示したように、観察原点と基準方向とが演算される。この場合においては、内視装置に備えられた測位システムによる座標データが利用される。もちろん、内視鏡の観察方向あるいは観察原点が既知であれば測位システムを用いる必要はない。Ｓ１０２では、図４に示したように処理開始面が特定される。Ｓ１０３では、図５に示したように処理開始面から伸びる複数の視線が設定され、各視線（レイ）に沿ってレンダリング演算を行うことにより、部分ボリュームデータに対する処理が実行され、これにより部分ボリュームデータが反映されたレンダリング画像としての超音波画像が形成される。その超音波画像の一例については図６に示したとおりである。
【００５１】
次に、図１１を参照すると、Ｓ２０１では、内視装置により得られた内視画像が二値化処理され、これにより二値化内視画像が生成される。同様に、Ｓ２０２では、超音波画像が二値化処理され、これにより二値化超音波画像が生成される。Ｓ２０３では、超音波二値化画像の基準軸点に内視二値化画像の中心を一致させつつ、両者が仮に合成される。ここで、基準軸点は、超音波画像における基準軸に相当する点であり、その点に内視二値化画像の中心点を一致させることにより、三次元空間内において二つの画像を概ね整合させることが可能である。その初期状態を基準として、以下のように相関演算における探索幅が設定されることになる。
【００５２】
Ｓ２０４〜Ｓ２０６では画像の縮尺率を変更させながら相関演算が実行される。具体的には、一方の画像（望ましくは内視二値化画像）を拡大または縮小させて、Ｓ２０５において二つの画像間において相関値が演算される。そして、Ｓ２０６において相関値が最大とみなされるまで、一方画像の縮尺率を変更させながらの相関演算が繰り返し実行される。Ｓ２０６において相関値が最大であると認定された場合、Ｓ２０７〜Ｓ２０９における平行移動をさせながらの相関値演算処理が実行される。
【００５３】
具体的には、Ｓ２０７において、一方画像を上下あるいは左右の方向に平行移動させる処理が実行されて、Ｓ２０８において、その平行移動後における状態において相関値が演算される。そして、平行移動を繰り返しながら、Ｓ２０９において相関値が最大とみなされるまで相関値演算が繰り返し実行される。Ｓ２０９において相関値が最大であると判断された場合でも、Ｓ２１０〜Ｓ２１２の工程が実行される。具体的には、Ｓ２１０において一方画像を回転させて、Ｓ２１１において相関値が演算される。この処理がＳ２１２において相関値最大であると判断されるまで繰り返し実行される。Ｓ２１２において相関値が最大であると判断された場合、Ｓ２１３が実行される。
【００５４】
Ｓ２１３では、今までの推移から相関値が飽和しているか否かが判断されても、飽和していなければＳ２０４以降の各工程が繰り返し実行される。すなわち、条件の組み合わせを変更させながら相関値が飽和するまで二つの画像の最良マッチング状態が探索されることになる。Ｓ２１３において相関値が飽和したと判断された場合、Ｓ２１４において超音波画像と内視画像とが合成され、それが画面上に表示されることになる。図１１においては、拡大縮小処理、平行移動処理、回転処理の三つの変化が含まれていたら、そのうちの一つまたは二つを実施するようにしてもよい。ただし、特に拡大縮小処理を含めることにより、イメージセンサ等を対象物表面との間における距離が不知であったとしても二つの画像の縮尺を整合させて違和感のない合成画像を構築できるという利点がある。
【００５５】
本実施形態においては、立体的な領域が画像化された超音波画像を利用しているため、組織内部を走行する血管を表示することが可能であり、これにより手術器具を利用して血管の処置を行うような場合においてもその安全性を高められるという利点がある。
【図面の簡単な説明】
【００５６】
【図１】本発明に係る医療画像処理システムの好適な実施形態を示すブロック図である。
【図２】三次元空間を示す概念図である。
【図３】観察原点及び基準方向の設定を説明するための図である。
【図４】処理開始面の設定を説明するための図である。
【図５】複数の視線の設定を説明するための図である。
【図６】超音波画像の一例を示す図である。
【図７】内視画像に対する二値化処理を説明するための図である。
【図８】二値化処理された超音波画像を示す図である。
【図９】合成画像の一例を示す図である。
【図１０】図１に示した超音波画像形成部の処理内容を示すフローチャートである。
【図１１】図１に示した画像合成部の内容を示すフローチャートである。
【符号の説明】
【００５７】
１０ 超音波診断装置、１２ 内視装置、１４ プローブ、１８ 測位システム、３２ 超音波画像形成部、３４ 画像合成部、４２ 内視鏡、４４ イメージセンサ、４５ 内視装置本体、４７ 内視画像形成部、４８ 測位システム。
【特許請求の範囲】
【請求項１】
前方に存在する視野内の局所組織を観察するためのセンサが備えられた内視部と、
前記センサからの信号に基づいて内視画像を形成する内視画像形成部と、
前記局所組織を含む三次元空間に対して超音波の送受波を行ってボリュームデータを取得する超音波プローブと、
前記ボリュームデータに基づいて、前記センサの前方に存在する広域組織を表す超音波画像を形成する超音波画像形成部と、
前記広域組織を表す超音波画像と前記局所組織を表す内視画像とを相互に位置合わせしつつ合成して合成画像を形成する画像合成部と、
を含むことを特徴とする医療画像処理システム。
【請求項２】
請求項１記載のシステムにおいて、
前記画像合成部は、前記超音波画像における一部分に前記内視画像を重合し又ははめ込むことにより前記合成画像を形成し、
前記合成画像は、前記内視部と前記超音波プローブとの相対的な位置関係の変更に伴ってリアルタイムで更新される、ことを特徴とする医療画像処理システム。
【請求項３】
請求項１又は２記載のシステムにおいて、
前記超音波画像形成部は、
前記センサにおける観察原点及びそこから前方への視野方向を特定する特定手段と、
前記ボリュームデータを処理する手段であって、前記観察原点に基づいて前記視野方向に交差する処理開始面を特定し、その処理開始面よりも前方に存在する部分ボリュームデータを処理することにより前記超音波画像を形成する部分ボリュームデータ処理手段と、
を含むことを特徴とする医療画像処理システム。
【請求項４】
請求項３記載のシステムにおいて、
前記部分ボリュームデータ処理手段は、前記処理開始面から前方側に伸びる複数の視線を設定し、前記各視線上においてレンダリング演算を行う、ことを特徴とする医療画像処理システム。
【請求項５】
請求項４記載のシステムにおいて、
前記超音波画像は、前記センサの前方に存在する広域組織の表面上を走行する表面血管及び当該広域組織の内部を走行する内部血管の両者を表現し得る画像である、ことを特徴とする医療画像処理システム。
【請求項６】
請求項３記載のシステムにおいて、
前記内視部及び前記超音波プローブの位置関係を特定する位置情報を取得する手段を含み、
前記観察原点及び前記視野方向は前記位置情報に基づいて特定される、
ことを特徴とする医療画像処理システム。
【請求項７】
請求項６記載のシステムにおいて、
前記位置情報を取得する手段は、
前記超音波プローブの位置を計測する第１位置検出ユニットと、
前記内視部の位置を計測する第２位置検出ユニットと、
を含むことを特徴とする医療画像処理システム。
【請求項８】
請求項１記載のシステムにおいて、
前記画像合成部は、前記超音波画像を背景としてその一部分に前記内視画像を半透明にして重合する、ことを特徴とする医療画像処理システム。
【請求項９】
請求項１乃至８のいずれか１項に記載のシステムにおいて、
前記超音波画像は単色画像であり、
前記内視画像はカラー画像である、ことを特徴とする医療画像処理システム。
【請求項１０】
請求項１乃至９のいずれか１項に記載のシステムにおいて、
前記画像合成部は、前記内視画像と前記超音波画像との間で相対的な位置関係を逐次的に変化させつつ相関演算を繰り返すことにより、前記内視画像と前記超音波画像との適正位置関係を探索する、ことを特徴とする医療画像処理システム。
【請求項１１】
請求項１０記載のシステムにおいて、
前記画像合成部は、
前記内視画像に対して二値化処理を適用し、二値化内視画像を形成する手段と、
前記超音波画像に対して二値化処理を適用し、二値化超音波画像を形成する手段と、
前記二値化内視画像と前記二値化超音波画像との間で相対的な位置関係を逐次的に変化させながら相関演算を実行する手段と、
前記相関演算の結果に基づいて前記適正位置関係を特定する手段と、
を含むことを特徴とする医療画像処理システム。
【請求項１２】
請求項１１記載のシステムにおいて、
前記相対的な位置関係の逐次的変化においては、前記二値化内視画像と前記二値化超音波画像との間で、相対的縮尺率可変、相対的並行移動及び相対的回転移動の内の少なくとも１つが実行される、ことを特徴とする医療画像処理システム。
【請求項１３】
請求項１乃至１２のいずれか１項に記載のシステムにおいて、
観察の対象となる組織は胎盤であり、
前記内視画像には前記胎盤上を走行する血管の像が含まれ、
前記超音波画像には前記胎盤上を走行する血管の像及び前記胎盤内を走行する血管の像が含まれ、
前記内視画像及び前記超音波画像は、少なくとも前記内視部の移動に伴ってリアルタイムで更新され、
前記合成画像の観察下において前記内視部に差し込まれた手術器具が操作される、
ことを特徴とする医療画像処理システム。
【請求項１４】
前方に存在する視野内の局所組織を観察するためのセンサが備えられた内視部と、前記センサからの信号に基づいて内視画像を形成する内視画像形成部と、を備えた内視装置に接続される超音波診断装置であって、
前記局所組織を含む三次元空間に対して超音波の送受波を行ってボリュームデータを取得する超音波プローブと、
前記ボリュームデータに基づいて、前記センサの前方に存在する広域組織を表す超音波画像を形成する超音波画像形成部と、
前記広域組織を表す超音波画像と前記局所組織を表す内視画像とを相互に位置合わせしつつ合成して合成画像を形成する画像合成部と、
を含むことを特徴とする超音波診断装置。
【請求項１】
前方に存在する視野内の局所組織を観察するためのセンサが備えられた内視部と、
前記センサからの信号に基づいて内視画像を形成する内視画像形成部と、
前記局所組織を含む三次元空間に対して超音波の送受波を行ってボリュームデータを取得する超音波プローブと、
前記ボリュームデータに基づいて、前記センサの前方に存在する広域組織を表す超音波画像を形成する超音波画像形成部と、
前記広域組織を表す超音波画像と前記局所組織を表す内視画像とを相互に位置合わせしつつ合成して合成画像を形成する画像合成部と、
を含むことを特徴とする医療画像処理システム。
【請求項２】
請求項１記載のシステムにおいて、
前記画像合成部は、前記超音波画像における一部分に前記内視画像を重合し又ははめ込むことにより前記合成画像を形成し、
前記合成画像は、前記内視部と前記超音波プローブとの相対的な位置関係の変更に伴ってリアルタイムで更新される、ことを特徴とする医療画像処理システム。
【請求項３】
請求項１又は２記載のシステムにおいて、
前記超音波画像形成部は、
前記センサにおける観察原点及びそこから前方への視野方向を特定する特定手段と、
前記ボリュームデータを処理する手段であって、前記観察原点に基づいて前記視野方向に交差する処理開始面を特定し、その処理開始面よりも前方に存在する部分ボリュームデータを処理することにより前記超音波画像を形成する部分ボリュームデータ処理手段と、
を含むことを特徴とする医療画像処理システム。
【請求項４】
請求項３記載のシステムにおいて、
前記部分ボリュームデータ処理手段は、前記処理開始面から前方側に伸びる複数の視線を設定し、前記各視線上においてレンダリング演算を行う、ことを特徴とする医療画像処理システム。
【請求項５】
請求項４記載のシステムにおいて、
前記超音波画像は、前記センサの前方に存在する広域組織の表面上を走行する表面血管及び当該広域組織の内部を走行する内部血管の両者を表現し得る画像である、ことを特徴とする医療画像処理システム。
【請求項６】
請求項３記載のシステムにおいて、
前記内視部及び前記超音波プローブの位置関係を特定する位置情報を取得する手段を含み、
前記観察原点及び前記視野方向は前記位置情報に基づいて特定される、
ことを特徴とする医療画像処理システム。
【請求項７】
請求項６記載のシステムにおいて、
前記位置情報を取得する手段は、
前記超音波プローブの位置を計測する第１位置検出ユニットと、
前記内視部の位置を計測する第２位置検出ユニットと、
を含むことを特徴とする医療画像処理システム。
【請求項８】
請求項１記載のシステムにおいて、
前記画像合成部は、前記超音波画像を背景としてその一部分に前記内視画像を半透明にして重合する、ことを特徴とする医療画像処理システム。
【請求項９】
請求項１乃至８のいずれか１項に記載のシステムにおいて、
前記超音波画像は単色画像であり、
前記内視画像はカラー画像である、ことを特徴とする医療画像処理システム。
【請求項１０】
請求項１乃至９のいずれか１項に記載のシステムにおいて、
前記画像合成部は、前記内視画像と前記超音波画像との間で相対的な位置関係を逐次的に変化させつつ相関演算を繰り返すことにより、前記内視画像と前記超音波画像との適正位置関係を探索する、ことを特徴とする医療画像処理システム。
【請求項１１】
請求項１０記載のシステムにおいて、
前記画像合成部は、
前記内視画像に対して二値化処理を適用し、二値化内視画像を形成する手段と、
前記超音波画像に対して二値化処理を適用し、二値化超音波画像を形成する手段と、
前記二値化内視画像と前記二値化超音波画像との間で相対的な位置関係を逐次的に変化させながら相関演算を実行する手段と、
前記相関演算の結果に基づいて前記適正位置関係を特定する手段と、
を含むことを特徴とする医療画像処理システム。
【請求項１２】
請求項１１記載のシステムにおいて、
前記相対的な位置関係の逐次的変化においては、前記二値化内視画像と前記二値化超音波画像との間で、相対的縮尺率可変、相対的並行移動及び相対的回転移動の内の少なくとも１つが実行される、ことを特徴とする医療画像処理システム。
【請求項１３】
請求項１乃至１２のいずれか１項に記載のシステムにおいて、
観察の対象となる組織は胎盤であり、
前記内視画像には前記胎盤上を走行する血管の像が含まれ、
前記超音波画像には前記胎盤上を走行する血管の像及び前記胎盤内を走行する血管の像が含まれ、
前記内視画像及び前記超音波画像は、少なくとも前記内視部の移動に伴ってリアルタイムで更新され、
前記合成画像の観察下において前記内視部に差し込まれた手術器具が操作される、
ことを特徴とする医療画像処理システム。
【請求項１４】
前方に存在する視野内の局所組織を観察するためのセンサが備えられた内視部と、前記センサからの信号に基づいて内視画像を形成する内視画像形成部と、を備えた内視装置に接続される超音波診断装置であって、
前記局所組織を含む三次元空間に対して超音波の送受波を行ってボリュームデータを取得する超音波プローブと、
前記ボリュームデータに基づいて、前記センサの前方に存在する広域組織を表す超音波画像を形成する超音波画像形成部と、
前記広域組織を表す超音波画像と前記局所組織を表す内視画像とを相互に位置合わせしつつ合成して合成画像を形成する画像合成部と、
を含むことを特徴とする超音波診断装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１０−８８６９９（Ｐ２０１０−８８６９９Ａ）
【公開日】平成２２年４月２２日（２０１０．４．２２）
【国際特許分類】
【出願番号】特願２００８−２６２３８８（Ｐ２００８−２６２３８８）
【出願日】平成２０年１０月９日（２００８．１０．９）
【出願人】（５０２１９６０５０）国立成育医療センター総長 (8)
【出願人】（３９００２９７９１）アロカ株式会社 (899)
【Ｆターム（参考）】
【公開日】平成２２年４月２２日（２０１０．４．２２）
【国際特許分類】
【出願日】平成２０年１０月９日（２００８．１０．９）
【出願人】（５０２１９６０５０）国立成育医療センター総長 (8)
【出願人】（３９００２９７９１）アロカ株式会社 (899)
【Ｆターム（参考）】
[ Back to top ]