２次元超音波映像に対応する２次元ＣＴ映像を提供するシステムおよび方法
【課題】３次元超音波映像と３次元ＣＴ映像との間に映像整合を行って２次元超音波映像に対応する２次元ＣＴ映像を提供するシステムを提供する。
【解決手段】関心物体に対する複数の３次元ＣＴ映像を形成するＣＴ映像形成部と、少なくとも１つの３次元超音波映像を形成する超音波映像形成部と、前記複数の３次元ＣＴ映像と前記少なくとも１つの３次元超音波映像との間に映像整合を行って第１の変換関数を取得するプロセッサと、入力情報を受信する使用者入力部とを備え、前記超音波映像形成部は、前記少なくとも１つの３次元超音波映像から前記入力情報に対応する２次元超音波映像を形成し、前記プロセッサは、前記入力情報および前記第１の変換関数を用いて前記複数の３次元ＣＴ映像から複数の２次元ＣＴ映像を取得し、前記２次元超音波映像と前記複数の２次元ＣＴ映像との間に複数の類似度を検出して前記２次元超音波映像に対応する２次元ＣＴ映像を選択する。
【解決手段】関心物体に対する複数の３次元ＣＴ映像を形成するＣＴ映像形成部と、少なくとも１つの３次元超音波映像を形成する超音波映像形成部と、前記複数の３次元ＣＴ映像と前記少なくとも１つの３次元超音波映像との間に映像整合を行って第１の変換関数を取得するプロセッサと、入力情報を受信する使用者入力部とを備え、前記超音波映像形成部は、前記少なくとも１つの３次元超音波映像から前記入力情報に対応する２次元超音波映像を形成し、前記プロセッサは、前記入力情報および前記第１の変換関数を用いて前記複数の３次元ＣＴ映像から複数の２次元ＣＴ映像を取得し、前記２次元超音波映像と前記複数の２次元ＣＴ映像との間に複数の類似度を検出して前記２次元超音波映像に対応する２次元ＣＴ映像を選択する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像整合に関し、特に３次元超音波映像と３次元ＣＴ映像との間に映像整合を行って２次元超音波映像に対応する２次元ＣＴ映像を提供するシステムおよび方法に関する。
【背景技術】
【０００２】
超音波システムは、無侵襲および非破壊特性を有しており、対象体内部の情報を得るために医療分野で広く用いられている。超音波システムは、対象体を直接切開して観察する外科手術の必要がなく、対象体の内部組織を高解像度の映像で医師に提供できるので、医療分野で非常に重要なものとして用いられている。
【０００３】
超音波映像は、信号対雑音比が低いため、これを補完するためにＣＴ映像と超音波映像との間に映像整合を行ってＣＴ映像と超音波映像を提供している。
【０００４】
従来には、センサーを用いてＣＴ映像と超音波映像との間に映像整合を行っていた。これには、センサーが必ず必要とされ、呼吸などのような対象体の動きにより対象体内部の臓器の変形が起こった場合、誤差が発生する問題がある。
【０００５】
一方、従来には、超音波プローブを異なる位置に移動させて２次元超音波映像を取得する場合、２次元超音波映像が３次元超音波映像内に含まれる超音波映像であるかを検出するために、または、３次元超音波映像に映像整合された３次元ＣＴ映像に２次元超音波映像に対応する２次元ＣＴ映像を検出するためには、必ずセンサーが必要となる問題がある。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００９−０７１８２１号公報
【特許文献２】特表２００５−５２８９７４号公報
【特許文献３】特開２００９−２９１６１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明の課題は、センサーを用いず、３次元超音波映像と３次元ＣＴ（ｃｏｍｐｕｔｅｒｉｚｅｄ ｔｏｍｏｇｒａｐｈｙ）映像との間に映像整合を行い、映像整合された３次元ＣＴ映像から２次元超音波映像に対応する２次元ＣＴ映像を選択して提供するシステムおよび方法を提供することにある。
【課題を解決するための手段】
【０００８】
本発明における映像提供システムは、対象体内の関心物体に対する複数の３次元ＣＴ映像を形成するＣＴ映像形成部と、前記関心物体に対する少なくとも１つの３次元超音波映像を形成する超音波映像形成部と、前記複数の３次元ＣＴ映像と前記少なくとも１つの３次元超音波映像との間に映像整合を行って第１の変換関数を取得するプロセッサと、使用者の入力情報を受信する使用者入力部とを備え、前記超音波映像形成部は、前記少なくとも１つの３次元超音波映像から前記入力情報に対応する２次元超音波映像を形成し、前記プロセッサは、前記入力情報および前記第１の変換関数を用いて前記複数の３次元ＣＴ映像から複数の２次元ＣＴ映像を取得し、前記２次元超音波映像と前記複数の２次元ＣＴ映像との間に複数の類似度を検出して前記２次元超音波映像に対応する２次元ＣＴ映像を選択する。
【０００９】
また、本発明における映像提供方法は、ａ）対象体内の関心物体に対する複数の３次元ＣＴ映像を形成する段階と、ｂ）前記関心物体に対する少なくとも１つの３次元超音波映像を形成する段階と、ｃ）前記複数の３次元ＣＴ映像と前記少なくとも１つの３次元超音波映像との間に映像整合を行って第１の変換関数を取得する段階と、ｄ）使用者の入力情報を受信する段階と、ｅ）前記少なくとも１つの３次元超音波映像から前記入力情報に対応する２次元超音波映像を形成する段階と、ｆ）前記入力情報および前記第１の変換関数を用いて前記複数の３次元ＣＴ映像から複数の２次元ＣＴ映像を取得する段階と、ｇ）前記２次元超音波映像と前記複数の２次元ＣＴ映像との間に複数の類似度を検出して前記２次元超音波映像に対応する２次元ＣＴ映像を選択する段階とを備える。
【発明の効果】
【００１０】
本発明は、センサーを用いず、３次元超音波映像に整合された３次元ＣＴ映像から３次元超音波映像内の２次元超音波映像に対応する２次元ＣＴ映像を提供することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施例における映像提供システムの構成を示すブロック図である。
【図２】本発明の実施例における超音波映像形成部の構成を示すブロック図である。
【図３】本発明の実施例における超音波プローブホルダと超音波プローブホルダに固定された超音波プローブを示す概略図である。
【図４】本発明の実施例におけるプロセッサの構成を示すブロック図である。
【図５】方向に応じたへシアンマトリクスの固有値を示す例示図である。
【図６】本発明の実施例によって３次元超音波映像と３次元ＣＴ映像との間に映像整合を行って２次元超音波映像に対応する２次元ＣＴ映像を提供する手続を示すフローチャートである。
【発明を実施するための最良の形態】
【００１２】
以下、添付した図面を参照して本発明の実施例を説明する。本実施例で用いられた用語「関心物体」は、対象体内の肝などを含む。
【００１３】
図１は、本発明の実施例における映像提供システムの構成を示すブロック図である。映像提供システム１００は、ＣＴ（ｃｏｍｐｕｔｅｒｉｚｅｄ ｔｏｍｏｇｒａｐｈｙ）映像形成部１１０、超音波映像形成部１２０、使用者入力部１３０、プロセッサ１４０およびディスプレイ部１５０を備える。
【００１４】
ＣＴ映像形成部１１０は、対象体内の関心物体に対する３次元ＣＴ映像を形成する。３次元ＣＴ映像は、複数の２次元ＣＴ映像からなる。本実施例で、ＣＴ映像形成部１１０は、息を吸い込み始めてから吐き出すまでの呼吸周期の間に一定間隔に３次元ＣＴ映像ＩＣＴ（ｔｉ）（１≦ｉ≦Ｋ）を形成する。
【００１５】
超音波映像形成部１２０は、対象体内の関心物体に対する３次元超音波映像を形成する。本実施例で、超音波映像形成部１２０は、息を最大に吸い込んだ状態（以下、「最大吸い込み息」という。）および息を最大に吐きを出した状態（以下、「最大吐き出し息」という。）で３次元超音波映像ＩＵＳ（ｔｊ）（１≦ｊ≦２）を形成する。また、超音波映像形成部１２０は、対象体内の関心物体に対する２次元超音波映像を形成する。
【００１６】
前述した実施例では、最大吸い込み息および最大吐き出し息で３次元超音波映像ＩＵＳ（ｔｊ）（１≦ｊ≦２）を形成すると説明したが、他の実施例では、最大吸い込み息および最大吐き出し息のうちいずれか一つで３次元超音波映像を形成することができる。以下、説明の便宜のために、超音波映像形成部１２０が最大吸い込み息および最大吐き出し息で３次元超音波映像ＩＵＳ（ｔｊ）（１≦ｊ≦２）を形成するものとして説明する。
【００１７】
図２は、本発明の実施例における超音波映像形成部の構成を示すブロック図である。超音波映像形成部１２０は、送信信号形成部１２１、超音波プローブ１２２、ビームフォーマ１２３、超音波データ形成部１２４および映像形成部１２５を備える。超音波映像形成部１２０は、図３に示すように、超音波プローブ１２２を対象体Ｐの特定位置に固定させるための超音波プローブホルダ１２６をさらに備える。
【００１８】
送信信号形成部１２１は、複数のフレームのそれぞれを得るための第１の送信信号を形成する。本実施例で、第１の送信信号は、最大吸い込み息で複数のフレームのそれぞれを得るための送信信号および最大吐き出し息で複数のフレームのそれぞれを得るための送信信号のうち少なくとも１つを含む。また、送信信号形成部１２１は、フレームを得るための第２の送信信号を形成する。フレームは、Ｂモード（ｂｒｉｇｈｔｎｅｓｓ ｍｏｄｅ）映像を含む。
【００１９】
超音波プローブ１２２は、複数の変換素子（ｔｒａｎｓｄｕｃｅｒ ｅｌｅｍｅｎｔ）（図示せず）を含む。超音波プローブ１２２は、３次元プローブを含む。超音波プローブ１２２は、送信信号形成部１２１から提供される第１の送信信号を超音波信号に変換して対象体に送信し、対象体から反射される超音波エコー信号を受信して第１の受信信号を形成する。また、超音波プローブ１２２は、使用者により設定された位置に変換素子を移動させて送信信号形成部１２１から提供される第２の送信信号を超音波信号に変換して対象体に送信し、対象体から反射される超音波エコー信号を受信して第２の受信信号を形成する。
【００２０】
ビームフォーマ１２３は、超音波プローブ１２２から第１の受信信号が提供されると、第１の受信信号をアナログデジタル変換して第１のデジタル信号を形成する。ビームフォーマ１２３は、変換素子の位置および集束点を考慮して第１のデジタル信号を受信集束させて第１の受信集束信号を形成する。また、ビームフォーマ１２３は、超音波プローブ１２２から第２の受信信号が提供されると、第２の受信信号をアナログデジタル変換して第２のデジタル信号を形成する。ビームフォーマ１２３は、変換素子の位置および集束点を考慮して第２のデジタル信号を受信集束させて第２の受信集束信号を形成する。
【００２１】
超音波データ形成部１２４は、ビームフォーマ１２３から第１の受信集束信号が提供されると、第１の受信集束信号を用いて第１の超音波データを形成する。超音波データ形成部１２４は、ビームフォーマ１２３から第２の受信集束信号が提供されると、第２の受信集束信号を用いて第２の超音波データを形成する。また、超音波データ形成部１２４は、超音波データを形成するのに必要な信号処理（例えば、利得（ｇａｉｎ）調節、フィルタリング処理）などを第１および第２の受信集束信号に行うこともできる。
【００２２】
映像形成部１２５は、超音波データ形成部１２４から第１の超音波データが提供されると、第１の超音波データを用いて３次元超音波映像を形成する。本実施例で、３次元超音波映像は、最大吸い込み息における３次元超音波映像ＩＵＳ（ｔ１）および最大吐き出し息における３次元超音波映像ＩＵＳ（ｔ２）のうち少なくとも１つを含む。映像形成部１２５は、超音波データ形成部１２４から第２の超音波データが提供されると、第２の超音波データを用いて２次元超音波映像を形成する。
【００２３】
再び図１を参照すると、使用者入力部１３０は、使用者の入力情報を受信する。本実施例で入力情報は、２次元超音波映像を得るための断面位置を設定する断面位置設定情報、３次元ＣＴ映像ＩＣＴ（ｔｉ）（１≦ｉ≦Ｋ）に横隔膜領域を設定する横隔膜領域設定情報および３次元ＣＴ映像ＩＣＴ（ｔｉ）（１≦ｉ≦Ｋ）に血管領域を設定する血管領域設定情報を含む。一例として、断面位置設定情報は、超音波プローブ１２２、すなわち３次元プローブの変換素子がスイング（ｓｗｉｎｇ）することができる回転角度範囲（すなわち、−３５゜〜＋３５゜）のうちいずれか一つの回転角度を設定する断面位置設定情報を含んでもよい。従って、超音波映像形成部１２０は、断面位置設定情報に対応する２次元超音波映像を形成することができる。使用者入力部１３０は、ダイヤルボタンなどを含むコントロールパネル（ｃｏｎｔｒｏｌ ｐａｎを）、マウス（ｍｏｕｓｅ）、キーボード（ｋｅｙｂｏａｒｄ）などを含む。
【００２４】
プロセッサ１４０は、３次元ＣＴ映像と３次元超音波映像との間に映像整合を行って３次元ＣＴ映像と３次元超音波映像との間の変換関数（すなわち、超音波プローブ１２２の位置）Ｔｐｒｏｂｅを取得する。以下、説明の便宜のために３次元超音波映像ＩＵＳ（ｔｊ）（１≦ｊ≦２）が最大吸い込み息における３次元超音波映像ＩＵＳ（ｔ１）および最大吐き出し息における３次元超音波映像ＩＵＳ（ｔ２）を含むものと説明するが、これに限定されない。また、プロセッサ１４０は、変換関数を用いて２次元超音波映像に対応する２次元ＣＴ映像を検出する。
【００２５】
図４は、本発明の実施例におけるプロセッサの構成を示すブロック図である。プロセッサ１４０は、補間部１４１、横隔膜抽出部１４２、血管抽出部１４３、横隔膜リファイニング（ｒｅｆｉｎｉｎｇ）部１４４、整合部１４５、変換部１４６、類似度検出部１４７およびＣＴ映像選択部１４８を備える。
【００２６】
補間部１４１は、ＣＴ映像形成部１１０から提供される３次元ＣＴ映像ＩＣＴ（ｔｉ）と３次元ＣＴ映像ＩＣＴ（ｔｉ＋１）を補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）して３次元ＣＴ映像ＩＣＴ（ｔｉ）と３次元ＣＴ映像ＩＣＴ（ｔｉ＋１）との間に少なくとも１つの３次元ＣＴ映像を形成する。一例として、補間部１４１は、ＣＴ映像形成部１１０から提供される３次元ＣＴ映像ＩＣＴ（ｔｉ）（１≦ｉ≦Ｋ）間に補間を行ってＮ個の３次元ＣＴ映像ＩＣＴ（ｔｉ）（１≦ｉ≦Ｎ）を取得する。
【００２７】
横隔膜抽出部１４２は、補間部１４１から提供される３次元ＣＴ映像ＩＣＴ（ｔｉ）（１≦ｉ≦Ｎ）から横隔膜を抽出する。また、横隔膜抽出部１４２は、超音波映像形成部１２０から提供される３次元超音波映像ＩＵＳ（ｔｊ）（１≦ｊ≦２）から横隔膜を抽出する。
【００２８】
一実施例で、横隔膜抽出部１４２は、へシアンマトリクス（Ｈｅｓｓｉａｎ ｍａｔｒｉｘ）に基づいて平坦度テスト（ｆｌａｔｎｅｓｓ ｔｅｓｔ）を３次元ＣＴ映像ＩＣＴ（ｔｉ）（１≦ｉ≦Ｎ）および３次元超音波映像ＩＵＳ（ｔｊ）（１≦ｊ≦２）に実施して横隔膜を抽出する。すなわち、横隔膜抽出部１４２は、横隔膜が３次元ＣＴ映像および３次元超音波映像で曲面であることを考慮して、表面に垂直な方向のボクセル値（ｖｏｘｅｌ ｉｎｔｅｎｓｉｔｙ）の変化が表面と水平方向のボクセル値の変化より大きい領域を横隔膜として抽出する。図５は、方向に応じたへシアンマトリクス固有値（ｅｉｇｅｎ ｖａｌｕｅ）λ１、λ２、λ３を示す。
【００２９】
さらに詳細に、横隔膜抽出部１４２は、３次元ＣＴ映像ＩＣＴ（ｔｉ）（１≦ｉ≦Ｎ）および３次元超音波映像ＩＵＳ（ｔｊ）（１≦ｊ≦２）から横隔膜を抽出するために基準値より平坦度が高いボクセル（ｖｏｘｅｌ）を選択する。平坦度（μ（ｖ））は、次の式１のように定義される。
【００３０】
【数１】
式１のφ１（ν）、φ２（ν）およびφ３（ν）は、次の式２のように表現される。
【００３１】
【数２】
------（式２）
【００３２】
前述したλ１（ν）、λ２（ν）およびλ３（ν）は、ボクセルの位置によるへシアンマトリクスの固有値を示す。平坦度μ（ν）は、０〜１の間の値を有するように正規化される。横隔膜抽出部１４２は、式１および２によって得られた平坦度を用いて平坦マップを形成し、相対的に平坦度が高いボクセルを選択する。本実施例で、横隔膜抽出部１４２は、平坦度が０．１以上であるボクセルを選択する。
【００３３】
横隔膜抽出部１４２は、選択された各ボクセルを対象としてモロフォロジカルオープニング（ｍｏｒｐｈｏｌｏｇｉｃａｌ ｏｐｅｎｉｎｇ）を行って小さいクラッター（ｃｌｕｔｔｅｒ）を除去する（ｍｏｒｐｈｏｌｏｇｉｃａｌ ｆｉｌｔｅｒｉｎｇ）。モロフォロジカルオープニングは、収縮（ｅｒｏｓｉｏｎ）と膨張（ｄｉｌａｔｉｏｎ）とを順次に行うことを意味する。横隔膜抽出部１４２は、形態学的にボクセル値が存在する領域の境界を一定のボクセルだけ除去して収縮（浸食）させた後、再びその一定のボクセルだけ膨張（拡張）させる。本発明の実施例で、横隔膜抽出部１４２は、１ボクセルの大きさで収縮および膨張を実施する。
【００３４】
３次元ＣＴ映像および３次元超音波映像において、横隔膜は、最大表面を有するので、ボクセルのＣＣＡ（ｉｎｔｅｎｓｉｔｙ−ｂａｓｅｄ ｃｏｎｎｅｃｔｅｄ ｃｏｍｐｏｎｅｎｔ ａｎａｌｙｓｉｓ）により取得された候補（ｃａｎｄｉｄａｔｅｓ）の中から最大表面が選択されて横隔膜として見なされる。ボクセル値基盤のＣＣＡは、二進化された映像にボクセル値が存在する領域同士を集める（ｇｒｏｕｐｉｎｇ）方法のうちの１つである。例えば、横隔膜抽出部１４２は、１ボクセルを中心に周辺ボクセル（例えば２６個のボクセル）のボクセル値を参照してボクセル間の連結テスト（ｃｏｎｎｅｃｔｉｖｉｔｙ ｔｅｓｔ）を通じて該当ボクセルを中心に連結するボクセルの数を計算し、連結ボクセル数が一定数以上であるボクセルを候補グループとして選定する。横隔膜が３次元ＣＴ映像および３次元超音波映像の関心領域内で最も広く存在する曲面であるという特性を用い、横隔膜抽出部１４２は、候補グループの中で最多の連結ボクセル数を有するグループを横隔膜として抽出する。以後、横隔膜抽出部１４２は、横隔膜表面を平らにする（ｓｍｏｏｔｈｅｎ）。
【００３５】
他の実施例で、横隔膜抽出部１４２は、３次元超音波映像ＩＵＳ（ｔｊ）（１≦ｊ≦２）に前述したような過程を行って横隔膜を抽出する。また、横隔膜抽出部１４２は、使用者入力部１３０から提供される入力情報（すなわち、横隔膜領域設定情報）によって３次元ＣＴ映像ＩＣＴ（ｔｉ）（１≦ｉ≦Ｎ）から横隔膜を抽出する。さらに詳細に、３次元ＣＴ映像は、一般的な超音波映像に比べて肝の境界が明確であるため、横隔膜抽出部１４２は、肝領域の抽出のための常用プログラムまたはＳＲＧセグメンテーション法(ｓｅｅｄｅｄ ｒｅｇｉｏｎ ｇｒｏｗｉｎｇ ｓｅｇｍｅｎｔａｔｉｏｎ ｍｅｔｈｏｄ)などの方法を用いて横隔膜を抽出することができる。
【００３６】
血管抽出部１４３は、３次元ＣＴ映像ＩＣＴ（ｔｉ）（１≦ｉ≦Ｎ）から血管を抽出する。また、血管抽出部１４３は、３次元超音波映像ＩＵＳ（ｔｊ）（１≦ｊ≦２）から血管を抽出する。
【００３７】
一実施例で、血管抽出部１４３は、マスキング、血管分割（ｓｅｇｍｅｎｔａｔｉｏｎ）および分類（ｃｌａｓｓｉｆｉｃａｔｉｏｎ）の順で３次元ＣＴ映像ＩＣＴ（ｔｉ）（１≦ｉ≦Ｎ）および３次元超音波映像ＩＵＳ（ｔｊ）（１≦ｊ≦２）から血管抽出を行うことができる。
【００３８】
さらに詳細に、血管抽出部１４３は、鏡虚像（ｍｉｒｒｏｒ ａｒｔｉｆａｃｔｓ）による血管抽出エラーの発生を避けるために、３次元ＣＴ映像ＩＣＴ（ｔｉ）（１≦ｉ≦Ｎ）および３次元超音波映像ＩＵＳ（ｔｊ）（１≦ｊ≦２）に対して横隔膜を多項曲面（ｐｏｌｙｎｏｍｉａｌ ｃｕｒｖｅｄ ｓｕｒｆａｃｅ）でモデリングして、ＲＯＩ（ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ）マスクを設定する。血管抽出部１４３は、ＲＯＩマスクを用いて３次元ＣＴ映像ＩＣＴ（ｔｉ）（１≦ｉ≦Ｎ）および３次元超音波映像ＩＵＳ（ｔｊ）（１≦ｊ≦２）で横隔膜の下の領域を除去する。この時、血管抽出部１４３は、ＬＭＳ（Ｌｅａｓｔ ｍｅａｎ ｓｑｕａｒｅ）を用いて横隔膜を多項曲面でモデリングすることができる。しかし、モデリングされた多項曲面の下の領域を全て除去する場合、多項曲面のエラーによって一部領域では意味のある血管情報を失う場合が生じ得る。血管抽出部１４３は、血管情報の損失を防止するために、ＲＯＩマスクの下端で１０ボクセル程度の末端ボクセル（ｍａｒｇｉｎａｌ ｄｉｓｔａｎｃｅ）を適用し、それ以下の部分を除去する。
【００３９】
血管抽出部１４３は、血管領域と非血管領域とを分割する（ｓｅｇｍｅｎｔ）。血管抽出部１４３は、横隔膜または血管壁のように強度の大きい非血管領域（ｎｏｎ−ｖｅｓｓｅｌ ｒｅｇｉｏｎ）を除去するために、ＲＯＩマスキングされた領域で基準境界値より小さい低強度境界（ｌｏｗ ｉｎｔｅｎｓｉｔｙ ｂｏｕｎｄ）を推定し、前記基準境界値より強度の大きいボクセルを除去する。血管抽出部１４３は、適応臨界方法（ａｄａｐｔｉｖｅ ｔｈｒｅｓｈｏｌｄ ｓｃｈｅｍｅ）を適用して残った領域を二進化する（ｂｉｎａｒｉｚｅ）。二進化された領域は、血管候補（ｖｅｓｓｅｌ ｃａｎｄｉｄａｔｅｓ）となる。
【００４０】
血管抽出部１４３は、非血管類型クラッター（ｎｏｎ−ｖｅｓｓｅｌ−ｔｙｐｅ ｃｌｕｔｔｅｒｓ）を除去して血管候補の中から実際の血管を分類する。血管分類過程は、小さいクラッターを除去するための大きさテスト（ｓｉｚｅ ｔｅｓｔ）、ＧＯＦ（ｇｏｏｄｎｅｓｓ ｏｆ ｆｉｔ）を円筒管として見積もり（ｅｖａｌｕａｔｅ）非血管類型を除去する構造基盤血管テスト（ｓｔｒｕｃｔｕｒｅ−ｂａｓｅｄ ｖｅｓｓｅｌ ｔｅｓｔ）、すなわち初期血管テスト（ｉｎｉｔｉａｌ ｖｅｓｓｅｌ ｔｅｓｔ）、グラジアント大きさ分析（Ｇｒａｄｉｅｎｔ ｍａｇｎｉｔｕｄｅ ａｎａｌｙｓｉｓ）、クラッターを完全に除去するための最終血管テスト（ｆｉｎａｌ ｖｅｓｓｅｌ ｔｅｓｔ）を含む。構造基盤血管テストで一部クラッターが除去されなくても、全ての血管が含まれるように初期臨界値（Ｃｉｎｉｔｉａｌ）が最小限界に設定される。本実施例で、初期臨界値は０．６である。血管抽出部１４３は、最終血管テストにより、ボクセル値の変化率、すなわちグラジアント大きさ（ｇｒａｄｉｅｎｔ ｍａｇｎｉｔｕｄｅ）を考慮し、グラジアント大きさが小さい陰影虚像（ｓｈａｄｉｎｇ ａｒｔｉｆａｃｔｓ）に起因して形成されるクラッターを完全に除去して血管を抽出する。本実施例で、最終血管テストの臨界値は０．４である。
【００４１】
他の実施例で、血管抽出部１４３は、３次元超音波映像ＩＵＳ（ｔｊ）（１≦ｊ≦２）に前述したような過程を行って血管を抽出する。また、血管抽出部１４３は、使用者入力部１３０から提供される入力情報（すなわち、血管領域設定情報）によって３次元ＣＴ映像ＩＣＴ（ｔｉ）（１≦ｉ≦Ｎ）から血管を抽出する。
【００４２】
さらに詳細に、血管造影された３次元ＣＴ映像では、肝領域の組織に比べて血管がさらに明るい画素値を有する特性を用い、血管抽出部１４３は、画素値が第１のしきい値Ｔ１と第２のしきい値Ｔ２との間に存在する画素のみに２５５値を設定し、残りの画素に０と設定する。この過程を二つの臨界値を用いた明るさ臨界化(ｉｎｔｅｎｓｉｔｙ ｔｈｒｅｓｈｏｌｄｉｎｇ)という。この過程の結果として、関心対象の血管以外に肋骨、腎臓などの明るい画素値を有する他の領域等もともに示す。このような血管ではない領域を無くすために、血管の連結性を用いる。一般的に肝領域の血管は、肝門脈(ｐｏｒｔａｌ ｖｅｉｎ)と肝静脈(ｈｅｐａｔｉｃ ｖｅｉｎ)からなる。したがって、血管抽出部１４３は、各血管に対応する２つの特定位置を種点として入力することによって、その種点を開始点としてＳＲＧ法(ｓｅｅｄｅｄ ｒｅｇｉｏｎ ｇｒｏｗｉｎｇ ｍｅｔｈｏｄ)を行って血管のみを抽出する。
【００４３】
横隔膜リファイニング部１４４は、血管抽出部１４３で抽出された血管を用いて、３次元超音波映像（ＩＵＳ（ｔｊ）１≦ｊ≦２）で横隔膜のリファインメント（ｒｅｆｉｎｅｍｅｎｔ）を行う。さらに詳細に、横隔膜リファイニング部１４４は、血管抽出部１４３で抽出された血管を用いて横隔膜のリファインメントを行ってクラッターを除去する。抽出された横隔膜において、クラッターは主に血管壁に位置する。特に、下大静脈（ｉｎｆｅｒｉｏｒ ｖｅｎａ ｃａｖａ、ＩＶＣ）は、横隔膜に連結してクラッターを誘発する。このようなクラッターが特徴として抽出されて映像整合に用いられる場合、そのクラッターは映像整合の正確度を低下させ得るので、横隔膜リファイニング部１４４は、クラッターを除去して横隔膜を改善する。横隔膜リファイニング部１４４は、３次元超音波映像（ＩＵＳ（ｔｊ）１≦ｊ≦２）から血管領域を抽出し、抽出された血管領域を膨張（ｄｉｌａｔｉｏｎ）させ、膨張された血管領域から血が流れる血管を除去して血管壁を推定する（ｅｓｔｉｍａｔｅ）。横隔膜リファイニング部１４４は、ＣＣＡおよび大きさテストをもう一度適用して横隔膜を抽出する。
【００４４】
整合部１４５は、３次元ＣＴ映像ＩＣＴ（ｔｉ）（１≦ｉ≦Ｎ）と３次元超音波映像ＩＵＳ（ｔｊ）（１≦ｊ≦２）に対して解剖学的特徴、すなわち血管領域および横隔膜領域でサンプルポイントを抽出する。そして、抽出されたサンプルポイントを用いて３次元ＣＴ映像と３次元超音波映像との間に映像整合を行い、３次元ＣＴ映像と３次元超音波映像との間の変換関数Ｔｐｒｏｂｅを取得する。ここで、変換関数Ｔｐｒｏｂｅは行列で表すことができる。本実施例で、変換関数Ｔｐｒｏｂｅは、式３を通じて取得されることができる。
【００４５】
【数３】
−−−−−−−−（式３）
【００４６】
ここで、Ｄｉｓｔ関数は、３次元超音波映像と３次元ＣＴ映像との間に互いに対応する特定点の間の距離と定義される。
【００４７】
すなわち、整合部１４５は、最大吸い込み息における３次元超音波映像ＩＵＳ（ｔ１）と最も誤差の少ない３次元ＣＴ映像ＩＣＴ（ｔｉ）との間のｄｉｓｔ値を第１の誤差と定義し、最大吐き出し息における３次元超音波映像ＩＵＳ（ｔ２）と最も誤差が少ない３次元ＣＴ映像ＩＣＴ（ｔｉ）との間のｄｉｓｔ値を第２の誤差と定義し、第１の誤差と第２の誤差の和が最も小さいＸを計算して変換関数Ｔｐｒｏｂｅを取得する。
【００４８】
変換部１４６は、使用者入力部１３０から提供される入力情報および整合部１４５から提供される変換関数Ｔｐｒｏｂｅを用いて３次元ＣＴ映像ＩＣＴ（ｔｉ）（１≦ｉ≦Ｎ）を変換するための変換関数Ｔを算出し、算出された変換関数Ｔを３次元ＣＴ映像ＩＣＴ（ｔｉ）（１≦ｉ≦Ｎ）に適用して２次元ＣＴ映像（Ｉ２ＣＴ（ｔｉ）（１≦ｉ≦Ｎ）を取得する。
【００４９】
類似度検出部１４７は、２次元超音波映像と２次元ＣＴ映像Ｉ２ＣＴ（ｔｉ）（１≦ｉ≦Ｎ）との間に複数の類似度を検出する。本実施例で、類似度は、相互相関（ｃｒｏｓｓ ｃｏｒｒｅｌａｔｉｏｎ）法、相互情報（ｍｕｔｕａｌ ｉｎｆｏｒｍａｔｉｏｎ）法、ＳＳＩＤ（ｓｕｍ ｏｆ ｓｑｕａｒｅｄ ｉｎｔｅｎｓｉｔｙ ｄｉｆｆｅｒｅｎｃｅ）法などを用いて検出され得る。
【００５０】
ＣＴ映像選択部１４８は、類似度検出部１４７で検出された複数の類似度を比較して類似度が最大である２次元ＣＴ映像Ｉ２ＣＴ（ｔｉ）を選択する。
【００５１】
再び図１を参照すると、ディスプレイ部１５０は、超音波映像形成部１２０から提供される２次元超音波映像とプロセッサ１４０から提供される２次元ＣＴ映像を表示する。一実施例で、２次元超音波映像と２次元ＣＴ映像とは、重畳して表示されることができる。他の実施例で、２次元超音波映像と２次元ＣＴ映像とは、同じ画面に上下または左右に表示されることができる。
【００５２】
以下、添付された図面を参照して３次元ＣＴ映像と３次元超音波映像との間に映像整合を行って２次元超音波映像に対応する２次元ＣＴ映像を提供する手続を説明する。説明の便宜のために、３次元ＣＴ映像から横隔膜および血管を自動で抽出するものと説明したが、これに限定されない。
【００５３】
図６を参照すると、ＣＴ映像形成部１１０は、吸い込み息から吐き出し息までの呼吸周期の間に一定間隔で対象体内の関心各体に対する３次元ＣＴ映像ＩＣＴ（ｔｉ）（１≦ｉ≦Ｋ）を形成する（Ｓ１０２）。
【００５４】
プロセッサ１４０の補間部１４１は、ＣＴ映像形成部１１０から提供される３次元ＣＴ映像ＩＣＴ（ｔｉ）（１≦ｉ≦Ｋ）間に補間を行って３次元ＣＴ映像ＩＣＴ（ｔｉ）（１≦ｉ≦Ｎ）を取得する（Ｓ１０４）。
【００５５】
超音波プローブ１２２が超音波プローブホルダ１２６に固定されると（Ｓ１０６）、超音波映像形成部１２０は、最大吸い込み息で対象体内の関心物体に対する３次元超音波映像ＩＵＳ（ｔ１）を形成し、最大吐き出し息で対象体内の関心物体に対する３次元超音波映像ＩＵＳ（ｔ２）を形成する（Ｓ１０８）。
【００５６】
プロセッサ１４０は、３次元ＣＴ映像ＩＣＴ（ｔｉ）（１≦ｉ≦Ｎ）および３次元超音波映像ＩＵＳ（ｔｊ）（１≦ｊ≦２）で解剖学的特徴（例えば、横隔膜および血管）を抽出する（Ｓ１１０）。
【００５７】
プロセッサ１４０の整合部１４５は、３次元ＣＴ映像ＩＣＴ（ｔｉ）（１≦ｉ≦Ｎ）と３次元超音波映像ＩＵＳ（ｔｊ）（１≦ｊ≦２）に対して解剖学的特徴、すなわち血管領域と横隔膜領域でサンプルポイントを抽出する。そして、抽出されたサンプルポイントを用いて３次元ＣＴ映像ＩＣＴ（ｔｉ）（１≦ｉ≦Ｎ）と３次元超音波映像ＩＵＳ（ｔｊ）（１≦ｊ≦２）との間に映像整合を行い、３次元超音波映像と３次元ＣＴ映像との間の変換関数Ｔｐｒｏｂｅを取得する（Ｓ１１２）。
【００５８】
使用者入力部１３０を通じて入力情報（すなわち、断面位置設定情報）が受信されると（Ｓ１１４）、超音波映像形成部１２０は、入力情報に対応する断面の２次元超音波映像を形成する（Ｓ１１６）。
【００５９】
プロセッサ１４０の変換部１４６は、使用者入力部１３０から提供される入力情報（すなわち、断面位置設定情報）および整合部１４５から提供される変換関数Ｔｐｒｏｂｅを用いて３次元ＣＴ映像ＩＣＴ（ｔｉ）（１≦ｉ≦Ｎ）を変換するための変換関数Ｔ（第３の変換関数）を算出し、算出された変換関数Ｔを３次元ＣＴ映像ＩＣＴ（ｔｉ）（１≦ｉ≦Ｎ）に適用して２次元ＣＴ映像Ｉ２ＣＴ（ｔｉ）（１≦ｉ≦Ｎ）を取得する（Ｓ１１８）。
【００６０】
さらに詳細に、変換部１４６は、使用者入力部１３０から提供される入力情報を用いて３次元超音波映像ＩＵＳ（ｔｊ）（１≦ｊ≦２）から２次元超音波映像の位置を表す変換関数、すなわち２次元超音波映像に対する超音波プローブ１２２の位置を表す変換関数Ｔｐｌａｎｅを取得する。ここで、変換関数Ｔｐｌａｎｅは行列で表すことができる。変換部１４６は、変換関数Ｔｐｒｏｂｅと変換関数Ｔｐｌａｎｅを用いて３次元ＣＴ映像ＩＣＴ（ｔｉ）（１≦ｉ≦Ｎ）を変換するための変換関数Ｔを算出する。本実施例で、変換部１４６は、変換関数Ｔｐｒｏｂｅと変換関数Ｔｐｌａｎｅとに行列乗算演算を行って変換関数Ｔを算出することができる。変換部１４６は、変換関数Ｔを各３次元ＣＴ映像ＩＣＴ（ｔｉ）（１≦ｉ≦Ｎ）に適用して２次元ＣＴ映像Ｉ２ＣＴ（ｔｉ）（１≦ｉ≦Ｎ）を取得する。
【００６１】
プロセッサ１４０の類似度検出部１４７は、超音波映像形成部１２０から提供される２次元超音波映像と変換部１４６から提供される２次元ＣＴ映像Ｉ２ＣＴ（ｔｉ）（１≦ｉ≦Ｎ）との間に複数の類似度を検出する（Ｓ１２０）。
【００６２】
ＣＴ映像選択部１４８は、類似度検出部１４７で検出された複数の類似度を比較して類似度が最大である２次元ＣＴ映像Ｉ２ＣＴ（ｔｉ）を抽出する（Ｓ１２２）。ディスプレイ部１５０は、超音波映像形成部１２０から提供される２次元超音波映像とＣＴ映像抽出部１４８で抽出された２次元ＣＴ映像を表示する（Ｓ１２４）。
【００６３】
以上、本発明は望ましい実施例によって説明および例示をしたが、当業者であれば添付した特許請求の範囲の事項および範疇を逸脱することなく様々な変形および変更が可能である。
【符号の説明】
【００６４】
１００ 超音波システム
１１０ ＣＴ映像形成部
１２０ 超音波映像形成部
１２１ 送信信号形成部
１２２ 超音波プローブ
１２３ ビームフォーマ
１２４ 超音波データ形成部
１２５ 映像形成部
１２６ 超音波プローブホルダ
１３０ 使用者入力部
１４０ プロセッサ
１４１ 補間部
１４２ 横隔膜抽出部
１４３ 血管抽出部
１４４ 横隔膜リファイニング（ｒｅｆｉｎｉｎｇ）部
１４５ 整合部
１４６ 変換部
１４７ 類似度検出部
１４８ ＣＴ映像抽出部
１５０ ディスプレイ部
【技術分野】
【０００１】
本発明は、映像整合に関し、特に３次元超音波映像と３次元ＣＴ映像との間に映像整合を行って２次元超音波映像に対応する２次元ＣＴ映像を提供するシステムおよび方法に関する。
【背景技術】
【０００２】
超音波システムは、無侵襲および非破壊特性を有しており、対象体内部の情報を得るために医療分野で広く用いられている。超音波システムは、対象体を直接切開して観察する外科手術の必要がなく、対象体の内部組織を高解像度の映像で医師に提供できるので、医療分野で非常に重要なものとして用いられている。
【０００３】
超音波映像は、信号対雑音比が低いため、これを補完するためにＣＴ映像と超音波映像との間に映像整合を行ってＣＴ映像と超音波映像を提供している。
【０００４】
従来には、センサーを用いてＣＴ映像と超音波映像との間に映像整合を行っていた。これには、センサーが必ず必要とされ、呼吸などのような対象体の動きにより対象体内部の臓器の変形が起こった場合、誤差が発生する問題がある。
【０００５】
一方、従来には、超音波プローブを異なる位置に移動させて２次元超音波映像を取得する場合、２次元超音波映像が３次元超音波映像内に含まれる超音波映像であるかを検出するために、または、３次元超音波映像に映像整合された３次元ＣＴ映像に２次元超音波映像に対応する２次元ＣＴ映像を検出するためには、必ずセンサーが必要となる問題がある。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００９−０７１８２１号公報
【特許文献２】特表２００５−５２８９７４号公報
【特許文献３】特開２００９−２９１６１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明の課題は、センサーを用いず、３次元超音波映像と３次元ＣＴ（ｃｏｍｐｕｔｅｒｉｚｅｄ ｔｏｍｏｇｒａｐｈｙ）映像との間に映像整合を行い、映像整合された３次元ＣＴ映像から２次元超音波映像に対応する２次元ＣＴ映像を選択して提供するシステムおよび方法を提供することにある。
【課題を解決するための手段】
【０００８】
本発明における映像提供システムは、対象体内の関心物体に対する複数の３次元ＣＴ映像を形成するＣＴ映像形成部と、前記関心物体に対する少なくとも１つの３次元超音波映像を形成する超音波映像形成部と、前記複数の３次元ＣＴ映像と前記少なくとも１つの３次元超音波映像との間に映像整合を行って第１の変換関数を取得するプロセッサと、使用者の入力情報を受信する使用者入力部とを備え、前記超音波映像形成部は、前記少なくとも１つの３次元超音波映像から前記入力情報に対応する２次元超音波映像を形成し、前記プロセッサは、前記入力情報および前記第１の変換関数を用いて前記複数の３次元ＣＴ映像から複数の２次元ＣＴ映像を取得し、前記２次元超音波映像と前記複数の２次元ＣＴ映像との間に複数の類似度を検出して前記２次元超音波映像に対応する２次元ＣＴ映像を選択する。
【０００９】
また、本発明における映像提供方法は、ａ）対象体内の関心物体に対する複数の３次元ＣＴ映像を形成する段階と、ｂ）前記関心物体に対する少なくとも１つの３次元超音波映像を形成する段階と、ｃ）前記複数の３次元ＣＴ映像と前記少なくとも１つの３次元超音波映像との間に映像整合を行って第１の変換関数を取得する段階と、ｄ）使用者の入力情報を受信する段階と、ｅ）前記少なくとも１つの３次元超音波映像から前記入力情報に対応する２次元超音波映像を形成する段階と、ｆ）前記入力情報および前記第１の変換関数を用いて前記複数の３次元ＣＴ映像から複数の２次元ＣＴ映像を取得する段階と、ｇ）前記２次元超音波映像と前記複数の２次元ＣＴ映像との間に複数の類似度を検出して前記２次元超音波映像に対応する２次元ＣＴ映像を選択する段階とを備える。
【発明の効果】
【００１０】
本発明は、センサーを用いず、３次元超音波映像に整合された３次元ＣＴ映像から３次元超音波映像内の２次元超音波映像に対応する２次元ＣＴ映像を提供することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施例における映像提供システムの構成を示すブロック図である。
【図２】本発明の実施例における超音波映像形成部の構成を示すブロック図である。
【図３】本発明の実施例における超音波プローブホルダと超音波プローブホルダに固定された超音波プローブを示す概略図である。
【図４】本発明の実施例におけるプロセッサの構成を示すブロック図である。
【図５】方向に応じたへシアンマトリクスの固有値を示す例示図である。
【図６】本発明の実施例によって３次元超音波映像と３次元ＣＴ映像との間に映像整合を行って２次元超音波映像に対応する２次元ＣＴ映像を提供する手続を示すフローチャートである。
【発明を実施するための最良の形態】
【００１２】
以下、添付した図面を参照して本発明の実施例を説明する。本実施例で用いられた用語「関心物体」は、対象体内の肝などを含む。
【００１３】
図１は、本発明の実施例における映像提供システムの構成を示すブロック図である。映像提供システム１００は、ＣＴ（ｃｏｍｐｕｔｅｒｉｚｅｄ ｔｏｍｏｇｒａｐｈｙ）映像形成部１１０、超音波映像形成部１２０、使用者入力部１３０、プロセッサ１４０およびディスプレイ部１５０を備える。
【００１４】
ＣＴ映像形成部１１０は、対象体内の関心物体に対する３次元ＣＴ映像を形成する。３次元ＣＴ映像は、複数の２次元ＣＴ映像からなる。本実施例で、ＣＴ映像形成部１１０は、息を吸い込み始めてから吐き出すまでの呼吸周期の間に一定間隔に３次元ＣＴ映像ＩＣＴ（ｔｉ）（１≦ｉ≦Ｋ）を形成する。
【００１５】
超音波映像形成部１２０は、対象体内の関心物体に対する３次元超音波映像を形成する。本実施例で、超音波映像形成部１２０は、息を最大に吸い込んだ状態（以下、「最大吸い込み息」という。）および息を最大に吐きを出した状態（以下、「最大吐き出し息」という。）で３次元超音波映像ＩＵＳ（ｔｊ）（１≦ｊ≦２）を形成する。また、超音波映像形成部１２０は、対象体内の関心物体に対する２次元超音波映像を形成する。
【００１６】
前述した実施例では、最大吸い込み息および最大吐き出し息で３次元超音波映像ＩＵＳ（ｔｊ）（１≦ｊ≦２）を形成すると説明したが、他の実施例では、最大吸い込み息および最大吐き出し息のうちいずれか一つで３次元超音波映像を形成することができる。以下、説明の便宜のために、超音波映像形成部１２０が最大吸い込み息および最大吐き出し息で３次元超音波映像ＩＵＳ（ｔｊ）（１≦ｊ≦２）を形成するものとして説明する。
【００１７】
図２は、本発明の実施例における超音波映像形成部の構成を示すブロック図である。超音波映像形成部１２０は、送信信号形成部１２１、超音波プローブ１２２、ビームフォーマ１２３、超音波データ形成部１２４および映像形成部１２５を備える。超音波映像形成部１２０は、図３に示すように、超音波プローブ１２２を対象体Ｐの特定位置に固定させるための超音波プローブホルダ１２６をさらに備える。
【００１８】
送信信号形成部１２１は、複数のフレームのそれぞれを得るための第１の送信信号を形成する。本実施例で、第１の送信信号は、最大吸い込み息で複数のフレームのそれぞれを得るための送信信号および最大吐き出し息で複数のフレームのそれぞれを得るための送信信号のうち少なくとも１つを含む。また、送信信号形成部１２１は、フレームを得るための第２の送信信号を形成する。フレームは、Ｂモード（ｂｒｉｇｈｔｎｅｓｓ ｍｏｄｅ）映像を含む。
【００１９】
超音波プローブ１２２は、複数の変換素子（ｔｒａｎｓｄｕｃｅｒ ｅｌｅｍｅｎｔ）（図示せず）を含む。超音波プローブ１２２は、３次元プローブを含む。超音波プローブ１２２は、送信信号形成部１２１から提供される第１の送信信号を超音波信号に変換して対象体に送信し、対象体から反射される超音波エコー信号を受信して第１の受信信号を形成する。また、超音波プローブ１２２は、使用者により設定された位置に変換素子を移動させて送信信号形成部１２１から提供される第２の送信信号を超音波信号に変換して対象体に送信し、対象体から反射される超音波エコー信号を受信して第２の受信信号を形成する。
【００２０】
ビームフォーマ１２３は、超音波プローブ１２２から第１の受信信号が提供されると、第１の受信信号をアナログデジタル変換して第１のデジタル信号を形成する。ビームフォーマ１２３は、変換素子の位置および集束点を考慮して第１のデジタル信号を受信集束させて第１の受信集束信号を形成する。また、ビームフォーマ１２３は、超音波プローブ１２２から第２の受信信号が提供されると、第２の受信信号をアナログデジタル変換して第２のデジタル信号を形成する。ビームフォーマ１２３は、変換素子の位置および集束点を考慮して第２のデジタル信号を受信集束させて第２の受信集束信号を形成する。
【００２１】
超音波データ形成部１２４は、ビームフォーマ１２３から第１の受信集束信号が提供されると、第１の受信集束信号を用いて第１の超音波データを形成する。超音波データ形成部１２４は、ビームフォーマ１２３から第２の受信集束信号が提供されると、第２の受信集束信号を用いて第２の超音波データを形成する。また、超音波データ形成部１２４は、超音波データを形成するのに必要な信号処理（例えば、利得（ｇａｉｎ）調節、フィルタリング処理）などを第１および第２の受信集束信号に行うこともできる。
【００２２】
映像形成部１２５は、超音波データ形成部１２４から第１の超音波データが提供されると、第１の超音波データを用いて３次元超音波映像を形成する。本実施例で、３次元超音波映像は、最大吸い込み息における３次元超音波映像ＩＵＳ（ｔ１）および最大吐き出し息における３次元超音波映像ＩＵＳ（ｔ２）のうち少なくとも１つを含む。映像形成部１２５は、超音波データ形成部１２４から第２の超音波データが提供されると、第２の超音波データを用いて２次元超音波映像を形成する。
【００２３】
再び図１を参照すると、使用者入力部１３０は、使用者の入力情報を受信する。本実施例で入力情報は、２次元超音波映像を得るための断面位置を設定する断面位置設定情報、３次元ＣＴ映像ＩＣＴ（ｔｉ）（１≦ｉ≦Ｋ）に横隔膜領域を設定する横隔膜領域設定情報および３次元ＣＴ映像ＩＣＴ（ｔｉ）（１≦ｉ≦Ｋ）に血管領域を設定する血管領域設定情報を含む。一例として、断面位置設定情報は、超音波プローブ１２２、すなわち３次元プローブの変換素子がスイング（ｓｗｉｎｇ）することができる回転角度範囲（すなわち、−３５゜〜＋３５゜）のうちいずれか一つの回転角度を設定する断面位置設定情報を含んでもよい。従って、超音波映像形成部１２０は、断面位置設定情報に対応する２次元超音波映像を形成することができる。使用者入力部１３０は、ダイヤルボタンなどを含むコントロールパネル（ｃｏｎｔｒｏｌ ｐａｎを）、マウス（ｍｏｕｓｅ）、キーボード（ｋｅｙｂｏａｒｄ）などを含む。
【００２４】
プロセッサ１４０は、３次元ＣＴ映像と３次元超音波映像との間に映像整合を行って３次元ＣＴ映像と３次元超音波映像との間の変換関数（すなわち、超音波プローブ１２２の位置）Ｔｐｒｏｂｅを取得する。以下、説明の便宜のために３次元超音波映像ＩＵＳ（ｔｊ）（１≦ｊ≦２）が最大吸い込み息における３次元超音波映像ＩＵＳ（ｔ１）および最大吐き出し息における３次元超音波映像ＩＵＳ（ｔ２）を含むものと説明するが、これに限定されない。また、プロセッサ１４０は、変換関数を用いて２次元超音波映像に対応する２次元ＣＴ映像を検出する。
【００２５】
図４は、本発明の実施例におけるプロセッサの構成を示すブロック図である。プロセッサ１４０は、補間部１４１、横隔膜抽出部１４２、血管抽出部１４３、横隔膜リファイニング（ｒｅｆｉｎｉｎｇ）部１４４、整合部１４５、変換部１４６、類似度検出部１４７およびＣＴ映像選択部１４８を備える。
【００２６】
補間部１４１は、ＣＴ映像形成部１１０から提供される３次元ＣＴ映像ＩＣＴ（ｔｉ）と３次元ＣＴ映像ＩＣＴ（ｔｉ＋１）を補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）して３次元ＣＴ映像ＩＣＴ（ｔｉ）と３次元ＣＴ映像ＩＣＴ（ｔｉ＋１）との間に少なくとも１つの３次元ＣＴ映像を形成する。一例として、補間部１４１は、ＣＴ映像形成部１１０から提供される３次元ＣＴ映像ＩＣＴ（ｔｉ）（１≦ｉ≦Ｋ）間に補間を行ってＮ個の３次元ＣＴ映像ＩＣＴ（ｔｉ）（１≦ｉ≦Ｎ）を取得する。
【００２７】
横隔膜抽出部１４２は、補間部１４１から提供される３次元ＣＴ映像ＩＣＴ（ｔｉ）（１≦ｉ≦Ｎ）から横隔膜を抽出する。また、横隔膜抽出部１４２は、超音波映像形成部１２０から提供される３次元超音波映像ＩＵＳ（ｔｊ）（１≦ｊ≦２）から横隔膜を抽出する。
【００２８】
一実施例で、横隔膜抽出部１４２は、へシアンマトリクス（Ｈｅｓｓｉａｎ ｍａｔｒｉｘ）に基づいて平坦度テスト（ｆｌａｔｎｅｓｓ ｔｅｓｔ）を３次元ＣＴ映像ＩＣＴ（ｔｉ）（１≦ｉ≦Ｎ）および３次元超音波映像ＩＵＳ（ｔｊ）（１≦ｊ≦２）に実施して横隔膜を抽出する。すなわち、横隔膜抽出部１４２は、横隔膜が３次元ＣＴ映像および３次元超音波映像で曲面であることを考慮して、表面に垂直な方向のボクセル値（ｖｏｘｅｌ ｉｎｔｅｎｓｉｔｙ）の変化が表面と水平方向のボクセル値の変化より大きい領域を横隔膜として抽出する。図５は、方向に応じたへシアンマトリクス固有値（ｅｉｇｅｎ ｖａｌｕｅ）λ１、λ２、λ３を示す。
【００２９】
さらに詳細に、横隔膜抽出部１４２は、３次元ＣＴ映像ＩＣＴ（ｔｉ）（１≦ｉ≦Ｎ）および３次元超音波映像ＩＵＳ（ｔｊ）（１≦ｊ≦２）から横隔膜を抽出するために基準値より平坦度が高いボクセル（ｖｏｘｅｌ）を選択する。平坦度（μ（ｖ））は、次の式１のように定義される。
【００３０】
【数１】
式１のφ１（ν）、φ２（ν）およびφ３（ν）は、次の式２のように表現される。
【００３１】
【数２】
------（式２）
【００３２】
前述したλ１（ν）、λ２（ν）およびλ３（ν）は、ボクセルの位置によるへシアンマトリクスの固有値を示す。平坦度μ（ν）は、０〜１の間の値を有するように正規化される。横隔膜抽出部１４２は、式１および２によって得られた平坦度を用いて平坦マップを形成し、相対的に平坦度が高いボクセルを選択する。本実施例で、横隔膜抽出部１４２は、平坦度が０．１以上であるボクセルを選択する。
【００３３】
横隔膜抽出部１４２は、選択された各ボクセルを対象としてモロフォロジカルオープニング（ｍｏｒｐｈｏｌｏｇｉｃａｌ ｏｐｅｎｉｎｇ）を行って小さいクラッター（ｃｌｕｔｔｅｒ）を除去する（ｍｏｒｐｈｏｌｏｇｉｃａｌ ｆｉｌｔｅｒｉｎｇ）。モロフォロジカルオープニングは、収縮（ｅｒｏｓｉｏｎ）と膨張（ｄｉｌａｔｉｏｎ）とを順次に行うことを意味する。横隔膜抽出部１４２は、形態学的にボクセル値が存在する領域の境界を一定のボクセルだけ除去して収縮（浸食）させた後、再びその一定のボクセルだけ膨張（拡張）させる。本発明の実施例で、横隔膜抽出部１４２は、１ボクセルの大きさで収縮および膨張を実施する。
【００３４】
３次元ＣＴ映像および３次元超音波映像において、横隔膜は、最大表面を有するので、ボクセルのＣＣＡ（ｉｎｔｅｎｓｉｔｙ−ｂａｓｅｄ ｃｏｎｎｅｃｔｅｄ ｃｏｍｐｏｎｅｎｔ ａｎａｌｙｓｉｓ）により取得された候補（ｃａｎｄｉｄａｔｅｓ）の中から最大表面が選択されて横隔膜として見なされる。ボクセル値基盤のＣＣＡは、二進化された映像にボクセル値が存在する領域同士を集める（ｇｒｏｕｐｉｎｇ）方法のうちの１つである。例えば、横隔膜抽出部１４２は、１ボクセルを中心に周辺ボクセル（例えば２６個のボクセル）のボクセル値を参照してボクセル間の連結テスト（ｃｏｎｎｅｃｔｉｖｉｔｙ ｔｅｓｔ）を通じて該当ボクセルを中心に連結するボクセルの数を計算し、連結ボクセル数が一定数以上であるボクセルを候補グループとして選定する。横隔膜が３次元ＣＴ映像および３次元超音波映像の関心領域内で最も広く存在する曲面であるという特性を用い、横隔膜抽出部１４２は、候補グループの中で最多の連結ボクセル数を有するグループを横隔膜として抽出する。以後、横隔膜抽出部１４２は、横隔膜表面を平らにする（ｓｍｏｏｔｈｅｎ）。
【００３５】
他の実施例で、横隔膜抽出部１４２は、３次元超音波映像ＩＵＳ（ｔｊ）（１≦ｊ≦２）に前述したような過程を行って横隔膜を抽出する。また、横隔膜抽出部１４２は、使用者入力部１３０から提供される入力情報（すなわち、横隔膜領域設定情報）によって３次元ＣＴ映像ＩＣＴ（ｔｉ）（１≦ｉ≦Ｎ）から横隔膜を抽出する。さらに詳細に、３次元ＣＴ映像は、一般的な超音波映像に比べて肝の境界が明確であるため、横隔膜抽出部１４２は、肝領域の抽出のための常用プログラムまたはＳＲＧセグメンテーション法(ｓｅｅｄｅｄ ｒｅｇｉｏｎ ｇｒｏｗｉｎｇ ｓｅｇｍｅｎｔａｔｉｏｎ ｍｅｔｈｏｄ)などの方法を用いて横隔膜を抽出することができる。
【００３６】
血管抽出部１４３は、３次元ＣＴ映像ＩＣＴ（ｔｉ）（１≦ｉ≦Ｎ）から血管を抽出する。また、血管抽出部１４３は、３次元超音波映像ＩＵＳ（ｔｊ）（１≦ｊ≦２）から血管を抽出する。
【００３７】
一実施例で、血管抽出部１４３は、マスキング、血管分割（ｓｅｇｍｅｎｔａｔｉｏｎ）および分類（ｃｌａｓｓｉｆｉｃａｔｉｏｎ）の順で３次元ＣＴ映像ＩＣＴ（ｔｉ）（１≦ｉ≦Ｎ）および３次元超音波映像ＩＵＳ（ｔｊ）（１≦ｊ≦２）から血管抽出を行うことができる。
【００３８】
さらに詳細に、血管抽出部１４３は、鏡虚像（ｍｉｒｒｏｒ ａｒｔｉｆａｃｔｓ）による血管抽出エラーの発生を避けるために、３次元ＣＴ映像ＩＣＴ（ｔｉ）（１≦ｉ≦Ｎ）および３次元超音波映像ＩＵＳ（ｔｊ）（１≦ｊ≦２）に対して横隔膜を多項曲面（ｐｏｌｙｎｏｍｉａｌ ｃｕｒｖｅｄ ｓｕｒｆａｃｅ）でモデリングして、ＲＯＩ（ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ）マスクを設定する。血管抽出部１４３は、ＲＯＩマスクを用いて３次元ＣＴ映像ＩＣＴ（ｔｉ）（１≦ｉ≦Ｎ）および３次元超音波映像ＩＵＳ（ｔｊ）（１≦ｊ≦２）で横隔膜の下の領域を除去する。この時、血管抽出部１４３は、ＬＭＳ（Ｌｅａｓｔ ｍｅａｎ ｓｑｕａｒｅ）を用いて横隔膜を多項曲面でモデリングすることができる。しかし、モデリングされた多項曲面の下の領域を全て除去する場合、多項曲面のエラーによって一部領域では意味のある血管情報を失う場合が生じ得る。血管抽出部１４３は、血管情報の損失を防止するために、ＲＯＩマスクの下端で１０ボクセル程度の末端ボクセル（ｍａｒｇｉｎａｌ ｄｉｓｔａｎｃｅ）を適用し、それ以下の部分を除去する。
【００３９】
血管抽出部１４３は、血管領域と非血管領域とを分割する（ｓｅｇｍｅｎｔ）。血管抽出部１４３は、横隔膜または血管壁のように強度の大きい非血管領域（ｎｏｎ−ｖｅｓｓｅｌ ｒｅｇｉｏｎ）を除去するために、ＲＯＩマスキングされた領域で基準境界値より小さい低強度境界（ｌｏｗ ｉｎｔｅｎｓｉｔｙ ｂｏｕｎｄ）を推定し、前記基準境界値より強度の大きいボクセルを除去する。血管抽出部１４３は、適応臨界方法（ａｄａｐｔｉｖｅ ｔｈｒｅｓｈｏｌｄ ｓｃｈｅｍｅ）を適用して残った領域を二進化する（ｂｉｎａｒｉｚｅ）。二進化された領域は、血管候補（ｖｅｓｓｅｌ ｃａｎｄｉｄａｔｅｓ）となる。
【００４０】
血管抽出部１４３は、非血管類型クラッター（ｎｏｎ−ｖｅｓｓｅｌ−ｔｙｐｅ ｃｌｕｔｔｅｒｓ）を除去して血管候補の中から実際の血管を分類する。血管分類過程は、小さいクラッターを除去するための大きさテスト（ｓｉｚｅ ｔｅｓｔ）、ＧＯＦ（ｇｏｏｄｎｅｓｓ ｏｆ ｆｉｔ）を円筒管として見積もり（ｅｖａｌｕａｔｅ）非血管類型を除去する構造基盤血管テスト（ｓｔｒｕｃｔｕｒｅ−ｂａｓｅｄ ｖｅｓｓｅｌ ｔｅｓｔ）、すなわち初期血管テスト（ｉｎｉｔｉａｌ ｖｅｓｓｅｌ ｔｅｓｔ）、グラジアント大きさ分析（Ｇｒａｄｉｅｎｔ ｍａｇｎｉｔｕｄｅ ａｎａｌｙｓｉｓ）、クラッターを完全に除去するための最終血管テスト（ｆｉｎａｌ ｖｅｓｓｅｌ ｔｅｓｔ）を含む。構造基盤血管テストで一部クラッターが除去されなくても、全ての血管が含まれるように初期臨界値（Ｃｉｎｉｔｉａｌ）が最小限界に設定される。本実施例で、初期臨界値は０．６である。血管抽出部１４３は、最終血管テストにより、ボクセル値の変化率、すなわちグラジアント大きさ（ｇｒａｄｉｅｎｔ ｍａｇｎｉｔｕｄｅ）を考慮し、グラジアント大きさが小さい陰影虚像（ｓｈａｄｉｎｇ ａｒｔｉｆａｃｔｓ）に起因して形成されるクラッターを完全に除去して血管を抽出する。本実施例で、最終血管テストの臨界値は０．４である。
【００４１】
他の実施例で、血管抽出部１４３は、３次元超音波映像ＩＵＳ（ｔｊ）（１≦ｊ≦２）に前述したような過程を行って血管を抽出する。また、血管抽出部１４３は、使用者入力部１３０から提供される入力情報（すなわち、血管領域設定情報）によって３次元ＣＴ映像ＩＣＴ（ｔｉ）（１≦ｉ≦Ｎ）から血管を抽出する。
【００４２】
さらに詳細に、血管造影された３次元ＣＴ映像では、肝領域の組織に比べて血管がさらに明るい画素値を有する特性を用い、血管抽出部１４３は、画素値が第１のしきい値Ｔ１と第２のしきい値Ｔ２との間に存在する画素のみに２５５値を設定し、残りの画素に０と設定する。この過程を二つの臨界値を用いた明るさ臨界化(ｉｎｔｅｎｓｉｔｙ ｔｈｒｅｓｈｏｌｄｉｎｇ)という。この過程の結果として、関心対象の血管以外に肋骨、腎臓などの明るい画素値を有する他の領域等もともに示す。このような血管ではない領域を無くすために、血管の連結性を用いる。一般的に肝領域の血管は、肝門脈(ｐｏｒｔａｌ ｖｅｉｎ)と肝静脈(ｈｅｐａｔｉｃ ｖｅｉｎ)からなる。したがって、血管抽出部１４３は、各血管に対応する２つの特定位置を種点として入力することによって、その種点を開始点としてＳＲＧ法(ｓｅｅｄｅｄ ｒｅｇｉｏｎ ｇｒｏｗｉｎｇ ｍｅｔｈｏｄ)を行って血管のみを抽出する。
【００４３】
横隔膜リファイニング部１４４は、血管抽出部１４３で抽出された血管を用いて、３次元超音波映像（ＩＵＳ（ｔｊ）１≦ｊ≦２）で横隔膜のリファインメント（ｒｅｆｉｎｅｍｅｎｔ）を行う。さらに詳細に、横隔膜リファイニング部１４４は、血管抽出部１４３で抽出された血管を用いて横隔膜のリファインメントを行ってクラッターを除去する。抽出された横隔膜において、クラッターは主に血管壁に位置する。特に、下大静脈（ｉｎｆｅｒｉｏｒ ｖｅｎａ ｃａｖａ、ＩＶＣ）は、横隔膜に連結してクラッターを誘発する。このようなクラッターが特徴として抽出されて映像整合に用いられる場合、そのクラッターは映像整合の正確度を低下させ得るので、横隔膜リファイニング部１４４は、クラッターを除去して横隔膜を改善する。横隔膜リファイニング部１４４は、３次元超音波映像（ＩＵＳ（ｔｊ）１≦ｊ≦２）から血管領域を抽出し、抽出された血管領域を膨張（ｄｉｌａｔｉｏｎ）させ、膨張された血管領域から血が流れる血管を除去して血管壁を推定する（ｅｓｔｉｍａｔｅ）。横隔膜リファイニング部１４４は、ＣＣＡおよび大きさテストをもう一度適用して横隔膜を抽出する。
【００４４】
整合部１４５は、３次元ＣＴ映像ＩＣＴ（ｔｉ）（１≦ｉ≦Ｎ）と３次元超音波映像ＩＵＳ（ｔｊ）（１≦ｊ≦２）に対して解剖学的特徴、すなわち血管領域および横隔膜領域でサンプルポイントを抽出する。そして、抽出されたサンプルポイントを用いて３次元ＣＴ映像と３次元超音波映像との間に映像整合を行い、３次元ＣＴ映像と３次元超音波映像との間の変換関数Ｔｐｒｏｂｅを取得する。ここで、変換関数Ｔｐｒｏｂｅは行列で表すことができる。本実施例で、変換関数Ｔｐｒｏｂｅは、式３を通じて取得されることができる。
【００４５】
【数３】
−−−−−−−−（式３）
【００４６】
ここで、Ｄｉｓｔ関数は、３次元超音波映像と３次元ＣＴ映像との間に互いに対応する特定点の間の距離と定義される。
【００４７】
すなわち、整合部１４５は、最大吸い込み息における３次元超音波映像ＩＵＳ（ｔ１）と最も誤差の少ない３次元ＣＴ映像ＩＣＴ（ｔｉ）との間のｄｉｓｔ値を第１の誤差と定義し、最大吐き出し息における３次元超音波映像ＩＵＳ（ｔ２）と最も誤差が少ない３次元ＣＴ映像ＩＣＴ（ｔｉ）との間のｄｉｓｔ値を第２の誤差と定義し、第１の誤差と第２の誤差の和が最も小さいＸを計算して変換関数Ｔｐｒｏｂｅを取得する。
【００４８】
変換部１４６は、使用者入力部１３０から提供される入力情報および整合部１４５から提供される変換関数Ｔｐｒｏｂｅを用いて３次元ＣＴ映像ＩＣＴ（ｔｉ）（１≦ｉ≦Ｎ）を変換するための変換関数Ｔを算出し、算出された変換関数Ｔを３次元ＣＴ映像ＩＣＴ（ｔｉ）（１≦ｉ≦Ｎ）に適用して２次元ＣＴ映像（Ｉ２ＣＴ（ｔｉ）（１≦ｉ≦Ｎ）を取得する。
【００４９】
類似度検出部１４７は、２次元超音波映像と２次元ＣＴ映像Ｉ２ＣＴ（ｔｉ）（１≦ｉ≦Ｎ）との間に複数の類似度を検出する。本実施例で、類似度は、相互相関（ｃｒｏｓｓ ｃｏｒｒｅｌａｔｉｏｎ）法、相互情報（ｍｕｔｕａｌ ｉｎｆｏｒｍａｔｉｏｎ）法、ＳＳＩＤ（ｓｕｍ ｏｆ ｓｑｕａｒｅｄ ｉｎｔｅｎｓｉｔｙ ｄｉｆｆｅｒｅｎｃｅ）法などを用いて検出され得る。
【００５０】
ＣＴ映像選択部１４８は、類似度検出部１４７で検出された複数の類似度を比較して類似度が最大である２次元ＣＴ映像Ｉ２ＣＴ（ｔｉ）を選択する。
【００５１】
再び図１を参照すると、ディスプレイ部１５０は、超音波映像形成部１２０から提供される２次元超音波映像とプロセッサ１４０から提供される２次元ＣＴ映像を表示する。一実施例で、２次元超音波映像と２次元ＣＴ映像とは、重畳して表示されることができる。他の実施例で、２次元超音波映像と２次元ＣＴ映像とは、同じ画面に上下または左右に表示されることができる。
【００５２】
以下、添付された図面を参照して３次元ＣＴ映像と３次元超音波映像との間に映像整合を行って２次元超音波映像に対応する２次元ＣＴ映像を提供する手続を説明する。説明の便宜のために、３次元ＣＴ映像から横隔膜および血管を自動で抽出するものと説明したが、これに限定されない。
【００５３】
図６を参照すると、ＣＴ映像形成部１１０は、吸い込み息から吐き出し息までの呼吸周期の間に一定間隔で対象体内の関心各体に対する３次元ＣＴ映像ＩＣＴ（ｔｉ）（１≦ｉ≦Ｋ）を形成する（Ｓ１０２）。
【００５４】
プロセッサ１４０の補間部１４１は、ＣＴ映像形成部１１０から提供される３次元ＣＴ映像ＩＣＴ（ｔｉ）（１≦ｉ≦Ｋ）間に補間を行って３次元ＣＴ映像ＩＣＴ（ｔｉ）（１≦ｉ≦Ｎ）を取得する（Ｓ１０４）。
【００５５】
超音波プローブ１２２が超音波プローブホルダ１２６に固定されると（Ｓ１０６）、超音波映像形成部１２０は、最大吸い込み息で対象体内の関心物体に対する３次元超音波映像ＩＵＳ（ｔ１）を形成し、最大吐き出し息で対象体内の関心物体に対する３次元超音波映像ＩＵＳ（ｔ２）を形成する（Ｓ１０８）。
【００５６】
プロセッサ１４０は、３次元ＣＴ映像ＩＣＴ（ｔｉ）（１≦ｉ≦Ｎ）および３次元超音波映像ＩＵＳ（ｔｊ）（１≦ｊ≦２）で解剖学的特徴（例えば、横隔膜および血管）を抽出する（Ｓ１１０）。
【００５７】
プロセッサ１４０の整合部１４５は、３次元ＣＴ映像ＩＣＴ（ｔｉ）（１≦ｉ≦Ｎ）と３次元超音波映像ＩＵＳ（ｔｊ）（１≦ｊ≦２）に対して解剖学的特徴、すなわち血管領域と横隔膜領域でサンプルポイントを抽出する。そして、抽出されたサンプルポイントを用いて３次元ＣＴ映像ＩＣＴ（ｔｉ）（１≦ｉ≦Ｎ）と３次元超音波映像ＩＵＳ（ｔｊ）（１≦ｊ≦２）との間に映像整合を行い、３次元超音波映像と３次元ＣＴ映像との間の変換関数Ｔｐｒｏｂｅを取得する（Ｓ１１２）。
【００５８】
使用者入力部１３０を通じて入力情報（すなわち、断面位置設定情報）が受信されると（Ｓ１１４）、超音波映像形成部１２０は、入力情報に対応する断面の２次元超音波映像を形成する（Ｓ１１６）。
【００５９】
プロセッサ１４０の変換部１４６は、使用者入力部１３０から提供される入力情報（すなわち、断面位置設定情報）および整合部１４５から提供される変換関数Ｔｐｒｏｂｅを用いて３次元ＣＴ映像ＩＣＴ（ｔｉ）（１≦ｉ≦Ｎ）を変換するための変換関数Ｔ（第３の変換関数）を算出し、算出された変換関数Ｔを３次元ＣＴ映像ＩＣＴ（ｔｉ）（１≦ｉ≦Ｎ）に適用して２次元ＣＴ映像Ｉ２ＣＴ（ｔｉ）（１≦ｉ≦Ｎ）を取得する（Ｓ１１８）。
【００６０】
さらに詳細に、変換部１４６は、使用者入力部１３０から提供される入力情報を用いて３次元超音波映像ＩＵＳ（ｔｊ）（１≦ｊ≦２）から２次元超音波映像の位置を表す変換関数、すなわち２次元超音波映像に対する超音波プローブ１２２の位置を表す変換関数Ｔｐｌａｎｅを取得する。ここで、変換関数Ｔｐｌａｎｅは行列で表すことができる。変換部１４６は、変換関数Ｔｐｒｏｂｅと変換関数Ｔｐｌａｎｅを用いて３次元ＣＴ映像ＩＣＴ（ｔｉ）（１≦ｉ≦Ｎ）を変換するための変換関数Ｔを算出する。本実施例で、変換部１４６は、変換関数Ｔｐｒｏｂｅと変換関数Ｔｐｌａｎｅとに行列乗算演算を行って変換関数Ｔを算出することができる。変換部１４６は、変換関数Ｔを各３次元ＣＴ映像ＩＣＴ（ｔｉ）（１≦ｉ≦Ｎ）に適用して２次元ＣＴ映像Ｉ２ＣＴ（ｔｉ）（１≦ｉ≦Ｎ）を取得する。
【００６１】
プロセッサ１４０の類似度検出部１４７は、超音波映像形成部１２０から提供される２次元超音波映像と変換部１４６から提供される２次元ＣＴ映像Ｉ２ＣＴ（ｔｉ）（１≦ｉ≦Ｎ）との間に複数の類似度を検出する（Ｓ１２０）。
【００６２】
ＣＴ映像選択部１４８は、類似度検出部１４７で検出された複数の類似度を比較して類似度が最大である２次元ＣＴ映像Ｉ２ＣＴ（ｔｉ）を抽出する（Ｓ１２２）。ディスプレイ部１５０は、超音波映像形成部１２０から提供される２次元超音波映像とＣＴ映像抽出部１４８で抽出された２次元ＣＴ映像を表示する（Ｓ１２４）。
【００６３】
以上、本発明は望ましい実施例によって説明および例示をしたが、当業者であれば添付した特許請求の範囲の事項および範疇を逸脱することなく様々な変形および変更が可能である。
【符号の説明】
【００６４】
１００ 超音波システム
１１０ ＣＴ映像形成部
１２０ 超音波映像形成部
１２１ 送信信号形成部
１２２ 超音波プローブ
１２３ ビームフォーマ
１２４ 超音波データ形成部
１２５ 映像形成部
１２６ 超音波プローブホルダ
１３０ 使用者入力部
１４０ プロセッサ
１４１ 補間部
１４２ 横隔膜抽出部
１４３ 血管抽出部
１４４ 横隔膜リファイニング（ｒｅｆｉｎｉｎｇ）部
１４５ 整合部
１４６ 変換部
１４７ 類似度検出部
１４８ ＣＴ映像抽出部
１５０ ディスプレイ部
【特許請求の範囲】
【請求項１】
対象体内の関心物体に対する複数の３次元ＣＴ映像を形成するＣＴ映像形成部と、
前記関心物体に対する少なくとも１つの３次元超音波映像を形成する超音波映像形成部と、
前記複数の３次元ＣＴ映像と前記少なくとも１つの３次元超音波映像との間に映像整合を行って第１の変換関数を取得するプロセッサと、
使用者の入力情報を受信する使用者入力部と
を備え、
前記超音波映像形成部は、前記少なくとも１つの３次元超音波映像から前記入力情報に対応する２次元超音波映像を形成し、
前記プロセッサは、前記入力情報および前記第１の変換関数を用いて前記複数の３次元ＣＴ映像から複数の２次元ＣＴ映像を取得し、前記２次元超音波映像と前記複数の２次元ＣＴ映像との間に複数の類似度を検出して前記２次元超音波映像に対応する２次元ＣＴ映像を選択することを特徴とする映像提供システム。
【請求項２】
前記入力情報は、前記２次元超音波映像を得るための前記少なくとも１つの３次元超音波映像内の断面位置を設定する断面位置設定情報を含むことを特徴とする請求項１に記載の映像提供システム。
【請求項３】
前記ＣＴ映像形成部は、息を吸い込み始めてから吐き出すまでの呼吸周期の間に、前記複数の３次元ＣＴ映像を形成することを特徴とする請求項１に記載の映像提供システム。
【請求項４】
前記少なくとも１つの３次元超音波映像は、前記息を最大に吸い込んだ状態における３次元超音波映像および最大に吐き出した状態における３次元超音波映像のうち少なくとも１つを含むことを特徴とする請求項３に記載の映像提供システム。
【請求項５】
前記プロセッサは、
前記複数の３次元ＣＴ映像および前記少なくとも１つの３次元超音波映像から横隔膜を抽出する横隔膜抽出部と、
前記複数の３次元ＣＴ映像および前記少なくとも１つの３次元超音波映像から血管を抽出する血管抽出部と、
前記少なくとも１つの３次元超音波映像に対して前記血管に基づいて前記横隔膜からクラッターを除去して前記横隔膜をリファイニング（ｒｅｆｉｎｉｎｇ）する横隔膜リファイニング部と、
前記複数の３次元ＣＴ映像および前記少なくとも１つの３次元超音波映像に対して前記血管および前記横隔膜からサンプルポイントを抽出し、前記サンプルポイントを用いて前記複数の３次元ＣＴ映像と前記少なくとも１つの３次元超音波映像との間に映像整合を行って前記第１の変換関数を取得する整合部と、
前記入力情報および前記第１の変換関数を用いて前記複数の３次元ＣＴ映像から前記複数の２次元ＣＴ映像を取得する変換部と、
前記２次元超音波映像と前記複数の２次元ＣＴ映像との間に複数の類似度を検出する類似度検出部と、
前記検出された複数の類似度のうち類似度が最大である２次元ＣＴ映像を選択するＣＴ映像選択部と
を備えることを特徴とする請求項１に記載の映像提供システム。
【請求項６】
前記プロセッサは、
前記複数の３次元ＣＴ映像間に補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）を行う補間部と
をさらに備えることを特徴とする請求項５に記載の映像提供システム。
【請求項７】
前記横隔膜抽出部は、
前記複数の３次元ＣＴ映像と前記少なくとも１つの３次元超音波映像とのボクセルから平坦度を算出して前記ボクセルの平坦度を含む平坦マップを取得し、
前記平坦マップを用いて基準値より平坦度の高いボクセルを選択し、前記選択されたボクセルを含む３次元領域を提供し、
前記選択されたボクセルから形態学的にボクセル値が存在する領域の境界における予め定められた数のボクセルだけ除去して前記３次元領域を収縮させた後、前記収縮させた３次元領域を前記予め定められた数のボクセルだけ膨張させてクラッター（ｃｌｕｔｔｅｒ）を除去し、
ＣＣＡ（ｉｎｔｅｎｓｉｔｙ−ｂａｓｅｄ ｃｏｎｎｅｃｔｅｄ ｃｏｍｐｏｎｅｎｔ ａｎａｌｙｓｉｓ）により前記３次元領域から複数の候補表面を取得し、
前記複数の候補表面の中から最大表面を選択して前記横隔膜を抽出することを特徴とする請求項５に記載の映像提供システム。
【請求項８】
前記血管抽出部は、
前記複数の３次元ＣＴ映像および前記少なくとも１つの３次元超音波映像で前記血管を抽出し、
前記横隔膜を多項曲面（ｐｏｌｙｎｏｍｉａｌ ｃｕｒｖｅｄ ｓｕｒｆａｃｅ）でモデリングして前記複数の３次元ＣＴ映像および前記少なくとも１つの３次元超音波映像にＲＯＩ（ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ）マスキングを設定し、
前記複数の３次元ＣＴ映像および前記少なくとも１つの３次元超音波映像から基準境界値より大きい強度値を有するボクセルを除去して血管候補を選択し、
前記選択された血管候補から非血管類型クラッターを除去して実際の血管を分類することを特徴とする請求項５に記載の映像提供システム。
【請求項９】
前記入力情報は、前記複数の３次元ＣＴ映像に横隔膜領域を設定する横隔膜領域設定情報および前記複数の３次元ＣＴ映像に血管領域を設定する血管領域設定情報を更に含むことを特徴とする請求項５に記載の映像提供システム。
【請求項１０】
前記横隔膜抽出部は、
前記横隔膜領域設定情報によって前記複数の３次元ＣＴ映像から前記横隔膜を抽出し、
前記少なくとも１つの３次元超音波映像のボクセルから平坦度を算出して前記ボクセルの平坦度を含む平坦マップを取得し、
前記平坦マップを用いて基準値より高い平坦度のボクセルを選択し、前記選択されたボクセルを含む３次元領域を提供し、
前記選択されたボクセルから形態学的にボクセル値が存在する領域の境界における予め定められた数のボクセルだけ除去して前記３次元領域を収縮させた後、前記収縮させた３次元領域を前記予め定められた数のボクセルだけ膨張させてクラッターを除去し、
ＣＣＡにより前記３次元領域から複数の候補表面を取得し、
前記複数の候補表面の中から最大表面を選択して前記横隔膜を抽出することを特徴とする請求項９に記載の映像提供システム。
【請求項１１】
前記血管抽出部は、
前記血管設定情報によって前記複数の３次元ＣＴ映像から前記血管を抽出し、
前記少なくとも１つの３次元超音波映像から前記血管を抽出し、
前記横隔膜を多項曲面でモデリングして前記少なくとも１つの３次元超音波映像にＲＯＩマスキングを設定し、
前記少なくとも１つの３次元超音波映像から基準境界値より大きい強度値を有するボクセルを除去して血管候補を選択し、
前記選択された血管候補から非血管類型クラッターを除去して実際の血管を分類することを特徴とする請求項９に記載の映像提供システム。
【請求項１２】
前記血管抽出部は、非血管類型クラッターを除去するための構造基盤血管テスト（ｓｔｒｕｃｔｕｒｅ−ｂａｓｅｄ ｖｅｓｓｅｌ ｔｅｓｔ）、グラジアント大きさ分析（ｇｒａｄｉｅｎｔ ｍａｇｎｉｔｕｄｅ ａｎａｌｙｓｉｓ）および最終血管テスト（ｆｉｎａｌ ｖｅｓｓｅｌ ｔｅｓｔ）のうちの少なくともいずれか一つを行うことを特徴とする請求項５に記載の映像提供システム。
【請求項１３】
前記変換部は、
前記入力情報を用いて前記少なくとも１つの３次元超音波映像から前記２次元超音波映像の位置を示す第２の変換関数を算出し、
前記第１の変換関数および前記第２の変換関数を用いて前記複数の３次元ＣＴ映像を変換するための第３の変換関数を算出し、
前記第３の変換関数を前記複数の３次元ＣＴ映像に適用して前記複数の２次元ＣＴ映像を取得することを特徴とする請求項５に記載の映像提供システム。
【請求項１４】
前記類似度検出部は、相互相関（ｃｒｏｓｓ ｃｏｒｒｅｌａｔｉｏｎ）法、相互情報（ｍｕｔｕａｌ ｉｎｆｏｒｍａｔｉｏｎ）法およびＳＳＩＤ（ｓｕｍ ｏｆ ｓｑｕａｒｅｄ ｉｎｔｅｎｓｉｔｙ ｄｉｆｆｅｒｅｎｃｅ）法のうちいずれか一つを用いて前記類似度を算出することを特徴とする請求項５に記載の映像提供システム。
【請求項１５】
前記２次元超音波映像および前記２次元ＣＴ映像を表示するディスプレイ部
を更に備えることを特徴とする請求項１〜１４のうちいずれか一項に記載の映像提供システム。
【請求項１６】
ａ）対象体内の関心物体に対する複数の３次元ＣＴ映像を形成する段階と、
ｂ）前記関心物体に対する少なくとも１つの３次元超音波映像を形成する段階と、
ｃ）前記複数の３次元ＣＴ映像と前記少なくとも１つの３次元超音波映像との間に映像整合を行って第１の変換関数を取得する段階と、
ｄ）使用者の入力情報を受信する段階と、
ｅ）前記少なくとも１つの３次元超音波映像から前記入力情報に対応する２次元超音波映像を形成する段階と、
ｆ）前記入力情報および前記第１の変換関数を用いて前記複数の３次元ＣＴ映像から複数の２次元ＣＴ映像を取得する段階と、
ｇ）前記２次元超音波映像と前記複数の２次元ＣＴ映像との間に複数の類似度を検出して前記２次元超音波映像に対応する２次元ＣＴ映像を選択する段階と
を備えることを特徴とする映像提供方法。
【請求項１７】
前記入力情報は、前記２次元超音波映像を得るための前記少なくとも１つの３次元超音波映像内の断面位置を設定する断面位置設定情報を含むことを特徴とする請求項１６に記載の映像提供方法。
【請求項１８】
前記段階ａ）は、
前記複数の３次元ＣＴ映像間で補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）を行う段階
を更に備えることを特徴とする請求項１６に記載の映像提供方法。
【請求項１９】
前記段階ａ）は、
息を吸い込み始めてから吐き出すまでの呼吸周期の間に前記複数の３次元ＣＴ映像を形成する段階
を更に備えることを特徴とする請求項１６に記載の映像提供方法。
【請求項２０】
前記少なくとも１つの３次元超音波映像は、前記息を最大に吸い込んだ状態における３次元超音波映像および最大に吐き出した状態における３次元超音波映像のうち少なくとも１つを含むことを特徴とする請求項１６に記載の映像提供方法。
【請求項２１】
前記段階ｃ）は、
ｃ１）前記複数の３次元ＣＴ映像および前記少なくとも１つの３次元超音波映像から横隔膜を抽出する段階と、
ｃ２）前記複数の３次元ＣＴ映像および前記少なくとも１つの３次元超音波映像から血管を抽出する段階と、
ｃ３）前記少なくとも１つの３次元超音波映像に対して前記血管に基づいて前記横隔膜からクラッターを除去して前記横隔膜をリファイニングする段階と、
ｃ４）前記複数の３次元ＣＴ映像および前記少なくとも１つの３次元超音波映像に対して前記血管および前記横隔膜からサンプルポイントを抽出する段階と、
ｃ５）前記サンプルポイントを用いて前記複数の３次元ＣＴ映像と前記少なくとも１つの３次元超音波映像との間に映像整合を行って前記第１の変換関数を取得する段階と
を備えることを特徴とする請求項１６に記載の映像提供方法。
【請求項２２】
前記段階ｃ１）は、
前記複数の３次元ＣＴ映像と前記少なくとも１つの３次元超音波映像とのボクセルから平坦度を算出して前記ボクセルの平坦度を含む平坦マップを取得する段階と、
前記平坦マップを用いて基準値より高い平坦度のボクセルを選択し、前記選択されたボクセルを含む３次元領域を提供する段階と、
前記選択されたボクセルから形態学的にボクセル値が存在する領域の境界における予め定められた数のボクセルだけ除去して前記３次元領域を収縮させた後、前記収縮させた３次元領域を前記予め定められた数のボクセルだけ膨張させてクラッターを除去する段階と、
ＣＣＡにより前記３次元領域から複数の候補表面を取得する段階と、
前記複数の候補表面の中で最大表面を選択して前記横隔膜を抽出する段階と
を備えることを特徴とする請求項２１に記載の映像提供方法。
【請求項２３】
前記段階ｃ２）は、
前記複数の３次元ＣＴ映像および前記少なくとも１つの３次元超音波映像から前記血管を抽出する段階と、
前記横隔膜を多項曲面でモデリングして前記複数の３次元ＣＴ映像および前記少なくとも１つの３次元超音波映像にＲＯＩマスキングを設定する段階と、
前記少なくとも１つの３次元超音波映像から基準境界値より大きい強度値を有するボクセルを除去して血管候補を選択する段階と、
前記選択された血管候補で非血管類型クラッターを除去して実際の血管を分類する段階と
を備えることを特徴とする請求項２１に記載の映像提供方法。
【請求項２４】
前記段階ｃ）の以前に、
前記複数の３次元ＣＴ映像に横隔膜領域を設定する横隔膜領域設定情報および前記複数の３次元ＣＴ映像に血管領域を設定する血管領域設定情報を受信する段階
を更に備えることを特徴とする請求項２１に記載の映像提供方法。
【請求項２５】
前記段階ｃ１）は、
前記横隔膜領域設定情報によって前記複数の３次元ＣＴ映像から前記横隔膜を抽出する段階と、
前記少なくとも１つの３次元超音波映像のボクセルから平坦度を算出して前記ボクセルの平坦度を含む平坦マップを取得する段階と、
前記平坦マップを用いて基準値より平坦度の高いボクセルを選択し、前記選択されたボクセルを含む３次元領域を提供する段階と、
前記選択されたボクセルから形態学的にボクセル値が存在する領域の境界における予め定められた数のボクセルだけ除去して前記３次元領域を収縮させた後、前記収縮させた３次元領域を前記予め定められた数のボクセルだけ膨張させてクラッターを除去する段階と、
ＣＣＡにより前記３次元領域から複数の候補表面を取得する段階と、
記複数の候補表面の中から最大表面を選択して前記横隔膜を抽出する段階と
を備えることを特徴とする請求項２４に記載の映像提供方法。
【請求項２６】
前記段階ｃ２）は、
前記血管領域設定情報によって前記複数のＣＴ映像から前記血管を抽出する段階と、
前記少なくとも１つの３次元超音波映像から前記血管を抽出する段階と、
前記横隔膜を多項曲面でモデリングして前記少なくとも１つの３次元超音波映像にＲＯＩマスキングを設定する段階と、
前記少なくとも１つの３次元超音波映像から基準境界値より大きい強度値を有するボクセルを除去して血管候補を選択する段階と、
前記選択された血管候補から非血管類型クラッターを除去して実際の血管を分類する段階と
を備えることを特徴とする請求項２４に記載の映像提供方法。
【請求項２７】
前記段階ｃ）は、
非血管類型クラッターを除去するための構造基盤血管テスト（ｓｔｒｕｃｔｕｒｅ−ｂａｓｅｄ ｖｅｓｓｅｌ ｔｅｓｔ）、グラジアント大きさ分析（ｇｒａｄｉｅｎｔ ｍａｇｎｉｔｕｄｅ ａｎａｌｙｓｉｓ）および最終血管テスト（ｆｉｎａｌ ｖｅｓｓｅｌ ｔｅｓｔ）のいずれか一つを行う段階
を更に備えることを特徴とする請求項２１に記載の映像提供方法。
【請求項２８】
前記段階ｆ）は、
前記入力情報を用いて前記少なくとも１つの３次元超音波映像から前記２次元超音波映像の位置を表す第２の変換関数を算出する段階と、
前記第１の変換関数および前記第２の変換関数を用いて前記複数の３次元ＣＴ映像を変換するための第３の変換関数を算出する段階と、
前記第３の変換関数を前記複数の３次元ＣＴ映像に適用して前記複数の２次元ＣＴ映像を取得する段階と
を備えることを特徴とする請求項１６に記載の映像提供方法。
【請求項２９】
前記段階ｇ）は、
相互相関（ｃｒｏｓｓ ｃｏｒｒｅｌａｔｉｏｎ）法、相互情報（ｍｕｔｕａｌ ｉｎｆｏｒｍａｔｉｏｎ）法およびＳＳＩＤ（ｓｕｍ ｏｆ ｓｑｕａｒｅｄ ｉｎｔｅｎｓｉｔｙ ｄｉｆｆｅｒｅｎｃｅ）法のうちいずれか一つを用いて前記複数の類似度を算出する段階と、
前記算出された複数の類似度を比較して類似度が最大である前記２次元ＣＴ映像を選択する段階と
を備えることを特徴とする請求項１６に記載の映像提供方法。
【請求項３０】
ｈ）前記２次元超音波映像および前記２次元ＣＴ映像を表示する段階
を更に備えることを特徴とする請求項１６〜２９のうちいずれか一項に記載の映像提供方法。
【請求項１】
対象体内の関心物体に対する複数の３次元ＣＴ映像を形成するＣＴ映像形成部と、
前記関心物体に対する少なくとも１つの３次元超音波映像を形成する超音波映像形成部と、
前記複数の３次元ＣＴ映像と前記少なくとも１つの３次元超音波映像との間に映像整合を行って第１の変換関数を取得するプロセッサと、
使用者の入力情報を受信する使用者入力部と
を備え、
前記超音波映像形成部は、前記少なくとも１つの３次元超音波映像から前記入力情報に対応する２次元超音波映像を形成し、
前記プロセッサは、前記入力情報および前記第１の変換関数を用いて前記複数の３次元ＣＴ映像から複数の２次元ＣＴ映像を取得し、前記２次元超音波映像と前記複数の２次元ＣＴ映像との間に複数の類似度を検出して前記２次元超音波映像に対応する２次元ＣＴ映像を選択することを特徴とする映像提供システム。
【請求項２】
前記入力情報は、前記２次元超音波映像を得るための前記少なくとも１つの３次元超音波映像内の断面位置を設定する断面位置設定情報を含むことを特徴とする請求項１に記載の映像提供システム。
【請求項３】
前記ＣＴ映像形成部は、息を吸い込み始めてから吐き出すまでの呼吸周期の間に、前記複数の３次元ＣＴ映像を形成することを特徴とする請求項１に記載の映像提供システム。
【請求項４】
前記少なくとも１つの３次元超音波映像は、前記息を最大に吸い込んだ状態における３次元超音波映像および最大に吐き出した状態における３次元超音波映像のうち少なくとも１つを含むことを特徴とする請求項３に記載の映像提供システム。
【請求項５】
前記プロセッサは、
前記複数の３次元ＣＴ映像および前記少なくとも１つの３次元超音波映像から横隔膜を抽出する横隔膜抽出部と、
前記複数の３次元ＣＴ映像および前記少なくとも１つの３次元超音波映像から血管を抽出する血管抽出部と、
前記少なくとも１つの３次元超音波映像に対して前記血管に基づいて前記横隔膜からクラッターを除去して前記横隔膜をリファイニング（ｒｅｆｉｎｉｎｇ）する横隔膜リファイニング部と、
前記複数の３次元ＣＴ映像および前記少なくとも１つの３次元超音波映像に対して前記血管および前記横隔膜からサンプルポイントを抽出し、前記サンプルポイントを用いて前記複数の３次元ＣＴ映像と前記少なくとも１つの３次元超音波映像との間に映像整合を行って前記第１の変換関数を取得する整合部と、
前記入力情報および前記第１の変換関数を用いて前記複数の３次元ＣＴ映像から前記複数の２次元ＣＴ映像を取得する変換部と、
前記２次元超音波映像と前記複数の２次元ＣＴ映像との間に複数の類似度を検出する類似度検出部と、
前記検出された複数の類似度のうち類似度が最大である２次元ＣＴ映像を選択するＣＴ映像選択部と
を備えることを特徴とする請求項１に記載の映像提供システム。
【請求項６】
前記プロセッサは、
前記複数の３次元ＣＴ映像間に補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）を行う補間部と
をさらに備えることを特徴とする請求項５に記載の映像提供システム。
【請求項７】
前記横隔膜抽出部は、
前記複数の３次元ＣＴ映像と前記少なくとも１つの３次元超音波映像とのボクセルから平坦度を算出して前記ボクセルの平坦度を含む平坦マップを取得し、
前記平坦マップを用いて基準値より平坦度の高いボクセルを選択し、前記選択されたボクセルを含む３次元領域を提供し、
前記選択されたボクセルから形態学的にボクセル値が存在する領域の境界における予め定められた数のボクセルだけ除去して前記３次元領域を収縮させた後、前記収縮させた３次元領域を前記予め定められた数のボクセルだけ膨張させてクラッター（ｃｌｕｔｔｅｒ）を除去し、
ＣＣＡ（ｉｎｔｅｎｓｉｔｙ−ｂａｓｅｄ ｃｏｎｎｅｃｔｅｄ ｃｏｍｐｏｎｅｎｔ ａｎａｌｙｓｉｓ）により前記３次元領域から複数の候補表面を取得し、
前記複数の候補表面の中から最大表面を選択して前記横隔膜を抽出することを特徴とする請求項５に記載の映像提供システム。
【請求項８】
前記血管抽出部は、
前記複数の３次元ＣＴ映像および前記少なくとも１つの３次元超音波映像で前記血管を抽出し、
前記横隔膜を多項曲面（ｐｏｌｙｎｏｍｉａｌ ｃｕｒｖｅｄ ｓｕｒｆａｃｅ）でモデリングして前記複数の３次元ＣＴ映像および前記少なくとも１つの３次元超音波映像にＲＯＩ（ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ）マスキングを設定し、
前記複数の３次元ＣＴ映像および前記少なくとも１つの３次元超音波映像から基準境界値より大きい強度値を有するボクセルを除去して血管候補を選択し、
前記選択された血管候補から非血管類型クラッターを除去して実際の血管を分類することを特徴とする請求項５に記載の映像提供システム。
【請求項９】
前記入力情報は、前記複数の３次元ＣＴ映像に横隔膜領域を設定する横隔膜領域設定情報および前記複数の３次元ＣＴ映像に血管領域を設定する血管領域設定情報を更に含むことを特徴とする請求項５に記載の映像提供システム。
【請求項１０】
前記横隔膜抽出部は、
前記横隔膜領域設定情報によって前記複数の３次元ＣＴ映像から前記横隔膜を抽出し、
前記少なくとも１つの３次元超音波映像のボクセルから平坦度を算出して前記ボクセルの平坦度を含む平坦マップを取得し、
前記平坦マップを用いて基準値より高い平坦度のボクセルを選択し、前記選択されたボクセルを含む３次元領域を提供し、
前記選択されたボクセルから形態学的にボクセル値が存在する領域の境界における予め定められた数のボクセルだけ除去して前記３次元領域を収縮させた後、前記収縮させた３次元領域を前記予め定められた数のボクセルだけ膨張させてクラッターを除去し、
ＣＣＡにより前記３次元領域から複数の候補表面を取得し、
前記複数の候補表面の中から最大表面を選択して前記横隔膜を抽出することを特徴とする請求項９に記載の映像提供システム。
【請求項１１】
前記血管抽出部は、
前記血管設定情報によって前記複数の３次元ＣＴ映像から前記血管を抽出し、
前記少なくとも１つの３次元超音波映像から前記血管を抽出し、
前記横隔膜を多項曲面でモデリングして前記少なくとも１つの３次元超音波映像にＲＯＩマスキングを設定し、
前記少なくとも１つの３次元超音波映像から基準境界値より大きい強度値を有するボクセルを除去して血管候補を選択し、
前記選択された血管候補から非血管類型クラッターを除去して実際の血管を分類することを特徴とする請求項９に記載の映像提供システム。
【請求項１２】
前記血管抽出部は、非血管類型クラッターを除去するための構造基盤血管テスト（ｓｔｒｕｃｔｕｒｅ−ｂａｓｅｄ ｖｅｓｓｅｌ ｔｅｓｔ）、グラジアント大きさ分析（ｇｒａｄｉｅｎｔ ｍａｇｎｉｔｕｄｅ ａｎａｌｙｓｉｓ）および最終血管テスト（ｆｉｎａｌ ｖｅｓｓｅｌ ｔｅｓｔ）のうちの少なくともいずれか一つを行うことを特徴とする請求項５に記載の映像提供システム。
【請求項１３】
前記変換部は、
前記入力情報を用いて前記少なくとも１つの３次元超音波映像から前記２次元超音波映像の位置を示す第２の変換関数を算出し、
前記第１の変換関数および前記第２の変換関数を用いて前記複数の３次元ＣＴ映像を変換するための第３の変換関数を算出し、
前記第３の変換関数を前記複数の３次元ＣＴ映像に適用して前記複数の２次元ＣＴ映像を取得することを特徴とする請求項５に記載の映像提供システム。
【請求項１４】
前記類似度検出部は、相互相関（ｃｒｏｓｓ ｃｏｒｒｅｌａｔｉｏｎ）法、相互情報（ｍｕｔｕａｌ ｉｎｆｏｒｍａｔｉｏｎ）法およびＳＳＩＤ（ｓｕｍ ｏｆ ｓｑｕａｒｅｄ ｉｎｔｅｎｓｉｔｙ ｄｉｆｆｅｒｅｎｃｅ）法のうちいずれか一つを用いて前記類似度を算出することを特徴とする請求項５に記載の映像提供システム。
【請求項１５】
前記２次元超音波映像および前記２次元ＣＴ映像を表示するディスプレイ部
を更に備えることを特徴とする請求項１〜１４のうちいずれか一項に記載の映像提供システム。
【請求項１６】
ａ）対象体内の関心物体に対する複数の３次元ＣＴ映像を形成する段階と、
ｂ）前記関心物体に対する少なくとも１つの３次元超音波映像を形成する段階と、
ｃ）前記複数の３次元ＣＴ映像と前記少なくとも１つの３次元超音波映像との間に映像整合を行って第１の変換関数を取得する段階と、
ｄ）使用者の入力情報を受信する段階と、
ｅ）前記少なくとも１つの３次元超音波映像から前記入力情報に対応する２次元超音波映像を形成する段階と、
ｆ）前記入力情報および前記第１の変換関数を用いて前記複数の３次元ＣＴ映像から複数の２次元ＣＴ映像を取得する段階と、
ｇ）前記２次元超音波映像と前記複数の２次元ＣＴ映像との間に複数の類似度を検出して前記２次元超音波映像に対応する２次元ＣＴ映像を選択する段階と
を備えることを特徴とする映像提供方法。
【請求項１７】
前記入力情報は、前記２次元超音波映像を得るための前記少なくとも１つの３次元超音波映像内の断面位置を設定する断面位置設定情報を含むことを特徴とする請求項１６に記載の映像提供方法。
【請求項１８】
前記段階ａ）は、
前記複数の３次元ＣＴ映像間で補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）を行う段階
を更に備えることを特徴とする請求項１６に記載の映像提供方法。
【請求項１９】
前記段階ａ）は、
息を吸い込み始めてから吐き出すまでの呼吸周期の間に前記複数の３次元ＣＴ映像を形成する段階
を更に備えることを特徴とする請求項１６に記載の映像提供方法。
【請求項２０】
前記少なくとも１つの３次元超音波映像は、前記息を最大に吸い込んだ状態における３次元超音波映像および最大に吐き出した状態における３次元超音波映像のうち少なくとも１つを含むことを特徴とする請求項１６に記載の映像提供方法。
【請求項２１】
前記段階ｃ）は、
ｃ１）前記複数の３次元ＣＴ映像および前記少なくとも１つの３次元超音波映像から横隔膜を抽出する段階と、
ｃ２）前記複数の３次元ＣＴ映像および前記少なくとも１つの３次元超音波映像から血管を抽出する段階と、
ｃ３）前記少なくとも１つの３次元超音波映像に対して前記血管に基づいて前記横隔膜からクラッターを除去して前記横隔膜をリファイニングする段階と、
ｃ４）前記複数の３次元ＣＴ映像および前記少なくとも１つの３次元超音波映像に対して前記血管および前記横隔膜からサンプルポイントを抽出する段階と、
ｃ５）前記サンプルポイントを用いて前記複数の３次元ＣＴ映像と前記少なくとも１つの３次元超音波映像との間に映像整合を行って前記第１の変換関数を取得する段階と
を備えることを特徴とする請求項１６に記載の映像提供方法。
【請求項２２】
前記段階ｃ１）は、
前記複数の３次元ＣＴ映像と前記少なくとも１つの３次元超音波映像とのボクセルから平坦度を算出して前記ボクセルの平坦度を含む平坦マップを取得する段階と、
前記平坦マップを用いて基準値より高い平坦度のボクセルを選択し、前記選択されたボクセルを含む３次元領域を提供する段階と、
前記選択されたボクセルから形態学的にボクセル値が存在する領域の境界における予め定められた数のボクセルだけ除去して前記３次元領域を収縮させた後、前記収縮させた３次元領域を前記予め定められた数のボクセルだけ膨張させてクラッターを除去する段階と、
ＣＣＡにより前記３次元領域から複数の候補表面を取得する段階と、
前記複数の候補表面の中で最大表面を選択して前記横隔膜を抽出する段階と
を備えることを特徴とする請求項２１に記載の映像提供方法。
【請求項２３】
前記段階ｃ２）は、
前記複数の３次元ＣＴ映像および前記少なくとも１つの３次元超音波映像から前記血管を抽出する段階と、
前記横隔膜を多項曲面でモデリングして前記複数の３次元ＣＴ映像および前記少なくとも１つの３次元超音波映像にＲＯＩマスキングを設定する段階と、
前記少なくとも１つの３次元超音波映像から基準境界値より大きい強度値を有するボクセルを除去して血管候補を選択する段階と、
前記選択された血管候補で非血管類型クラッターを除去して実際の血管を分類する段階と
を備えることを特徴とする請求項２１に記載の映像提供方法。
【請求項２４】
前記段階ｃ）の以前に、
前記複数の３次元ＣＴ映像に横隔膜領域を設定する横隔膜領域設定情報および前記複数の３次元ＣＴ映像に血管領域を設定する血管領域設定情報を受信する段階
を更に備えることを特徴とする請求項２１に記載の映像提供方法。
【請求項２５】
前記段階ｃ１）は、
前記横隔膜領域設定情報によって前記複数の３次元ＣＴ映像から前記横隔膜を抽出する段階と、
前記少なくとも１つの３次元超音波映像のボクセルから平坦度を算出して前記ボクセルの平坦度を含む平坦マップを取得する段階と、
前記平坦マップを用いて基準値より平坦度の高いボクセルを選択し、前記選択されたボクセルを含む３次元領域を提供する段階と、
前記選択されたボクセルから形態学的にボクセル値が存在する領域の境界における予め定められた数のボクセルだけ除去して前記３次元領域を収縮させた後、前記収縮させた３次元領域を前記予め定められた数のボクセルだけ膨張させてクラッターを除去する段階と、
ＣＣＡにより前記３次元領域から複数の候補表面を取得する段階と、
記複数の候補表面の中から最大表面を選択して前記横隔膜を抽出する段階と
を備えることを特徴とする請求項２４に記載の映像提供方法。
【請求項２６】
前記段階ｃ２）は、
前記血管領域設定情報によって前記複数のＣＴ映像から前記血管を抽出する段階と、
前記少なくとも１つの３次元超音波映像から前記血管を抽出する段階と、
前記横隔膜を多項曲面でモデリングして前記少なくとも１つの３次元超音波映像にＲＯＩマスキングを設定する段階と、
前記少なくとも１つの３次元超音波映像から基準境界値より大きい強度値を有するボクセルを除去して血管候補を選択する段階と、
前記選択された血管候補から非血管類型クラッターを除去して実際の血管を分類する段階と
を備えることを特徴とする請求項２４に記載の映像提供方法。
【請求項２７】
前記段階ｃ）は、
非血管類型クラッターを除去するための構造基盤血管テスト（ｓｔｒｕｃｔｕｒｅ−ｂａｓｅｄ ｖｅｓｓｅｌ ｔｅｓｔ）、グラジアント大きさ分析（ｇｒａｄｉｅｎｔ ｍａｇｎｉｔｕｄｅ ａｎａｌｙｓｉｓ）および最終血管テスト（ｆｉｎａｌ ｖｅｓｓｅｌ ｔｅｓｔ）のいずれか一つを行う段階
を更に備えることを特徴とする請求項２１に記載の映像提供方法。
【請求項２８】
前記段階ｆ）は、
前記入力情報を用いて前記少なくとも１つの３次元超音波映像から前記２次元超音波映像の位置を表す第２の変換関数を算出する段階と、
前記第１の変換関数および前記第２の変換関数を用いて前記複数の３次元ＣＴ映像を変換するための第３の変換関数を算出する段階と、
前記第３の変換関数を前記複数の３次元ＣＴ映像に適用して前記複数の２次元ＣＴ映像を取得する段階と
を備えることを特徴とする請求項１６に記載の映像提供方法。
【請求項２９】
前記段階ｇ）は、
相互相関（ｃｒｏｓｓ ｃｏｒｒｅｌａｔｉｏｎ）法、相互情報（ｍｕｔｕａｌ ｉｎｆｏｒｍａｔｉｏｎ）法およびＳＳＩＤ（ｓｕｍ ｏｆ ｓｑｕａｒｅｄ ｉｎｔｅｎｓｉｔｙ ｄｉｆｆｅｒｅｎｃｅ）法のうちいずれか一つを用いて前記複数の類似度を算出する段階と、
前記算出された複数の類似度を比較して類似度が最大である前記２次元ＣＴ映像を選択する段階と
を備えることを特徴とする請求項１６に記載の映像提供方法。
【請求項３０】
ｈ）前記２次元超音波映像および前記２次元ＣＴ映像を表示する段階
を更に備えることを特徴とする請求項１６〜２９のうちいずれか一項に記載の映像提供方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１１−３１０４０（Ｐ２０１１−３１０４０Ａ）
【公開日】平成２３年２月１７日（２０１１．２．１７）
【国際特許分類】
【出願番号】特願２０１０−１６７４９０（Ｐ２０１０−１６７４９０）
【出願日】平成２２年７月２６日（２０１０．７．２６）
【出願人】（５９７０９６９０９）株式会社 メディソン (269)
【氏名又は名称原語表記】ＭＥＤＩＳＯＮ ＣＯ．，ＬＴＤ．
【住所又は居所原語表記】１１４ Ｙａｎｇｄｕｋｗｏｎ−ｒｉ，Ｎａｍ−ｍｙｕｎ，Ｈｏｎｇｃｈｕｎ−ｇｕｎ，Ｋａｎｇｗｏｎ−ｄｏ ２５０−８７０，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ
【出願人】（５９２１２７１４９）韓国科学技術院 (129)
【氏名又は名称原語表記】ＫＯＲＥＡ ＡＤＶＡＮＣＥＤ ＩＮＳＴＩＴＵＴＥ ＯＦ ＳＣＩＥＮＣＥ ＡＮＤ ＴＥＣＨＮＯＬＯＧＹ
【住所又は居所原語表記】３７３−１，Ｇｕｓｕｎｇ−ｄｏｎｇ，Ｙｕｓｅｏｎｇ−ｋｕ，Ｄａｅｊｅｏｎ ３０５−７０１ ＫＲ
【Ｆターム（参考）】
【公開日】平成２３年２月１７日（２０１１．２．１７）
【国際特許分類】
【出願日】平成２２年７月２６日（２０１０．７．２６）
【出願人】（５９７０９６９０９）株式会社 メディソン (269)
【氏名又は名称原語表記】ＭＥＤＩＳＯＮ ＣＯ．，ＬＴＤ．
【住所又は居所原語表記】１１４ Ｙａｎｇｄｕｋｗｏｎ−ｒｉ，Ｎａｍ−ｍｙｕｎ，Ｈｏｎｇｃｈｕｎ−ｇｕｎ，Ｋａｎｇｗｏｎ−ｄｏ ２５０−８７０，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ
【出願人】（５９２１２７１４９）韓国科学技術院 (129)
【氏名又は名称原語表記】ＫＯＲＥＡ ＡＤＶＡＮＣＥＤ ＩＮＳＴＩＴＵＴＥ ＯＦ ＳＣＩＥＮＣＥ ＡＮＤ ＴＥＣＨＮＯＬＯＧＹ
【住所又は居所原語表記】３７３−１，Ｇｕｓｕｎｇ−ｄｏｎｇ，Ｙｕｓｅｏｎｇ−ｋｕ，Ｄａｅｊｅｏｎ ３０５−７０１ ＫＲ
【Ｆターム（参考）】
[ Back to top ]