３次元的モデルを利用した身体臓器の映像生成方法及び装置並びにコンピュータ読み取り可能な記録媒体
【課題】リアルタイムで医療映像を入力してこれを３次元モデルと整合した映像と比較し、リアルタイム医療映像に３次元モデルが結合された映像を出力する３次元的モデルを利用した身体臓器の映像生成方法及び装置を提供する。
【解決手段】本発明による臓器映像の生成方法は、患者の少なくとも一つの臓器を表す医療映像に基づいて少なくとも一つの臓器の３次元モデルを生成し、患者の身体活動による少なくとも一つの臓器の形態的変化を表す複数の映像と臓器の３次元モデルとを整合させることで複数の整合映像を生成し、患者の現在身体状態に基づいて複数の整合映像のうちのいずれか一つを選択して出力する。
【解決手段】本発明による臓器映像の生成方法は、患者の少なくとも一つの臓器を表す医療映像に基づいて少なくとも一つの臓器の３次元モデルを生成し、患者の身体活動による少なくとも一つの臓器の形態的変化を表す複数の映像と臓器の３次元モデルとを整合させることで複数の整合映像を生成し、患者の現在身体状態に基づいて複数の整合映像のうちのいずれか一つを選択して出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、３次元的モデルを利用した身体臓器の映像を生成する方法及び装置、並びにその方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体に関する。
【背景技術】
【０００２】
疾病治療において、患者の診断と治療の伝統的な方法は、外科的手術で開腹後に肉眼で発病状態を確認し、巨大な手術用機器を利用して病変部位に切開及び形成を行う方法であった。しかし、最近医療技術の発達につれて高解像度の医療映像を得ることができ、且つ医療機器の微細な操作が可能になることで、人体を直接的に切開しなくても皮膚に小さな穴をあけた後、血管或いはその他の所望の身体部位に直接カテーテルや医療用針を入れて、医学映像装置で身体内を観察しながら治療する方法が開発されている。これを“映像を利用する手術法”、“インターベンション映像手術法”又は“仲介的映像手術法”と呼ぶ。手術者は、臓器や病変の位置を、映像を通じて把握する。更に、手術をする間に患者は呼吸をしたり動いたりするが、これによる変化を把握しなければならない。従って、手術者はリアルタイム映像に基づいて呼吸や動きを正確且つ迅速に把握して手術しなければならないが、この時にリアルタイム映像で臓器と病変の形状を肉眼で把握することが難しい。従って、これを解決するために、手術者にリアルタイムで臓器の形状及び位置を知らせる方法及び装置が登場している。
【０００３】
一方、超音波診断部の外部で得られた外部映像を提供し、外部映像内の病変の位置情報に基づいて外部映像の座標を超音波映像の座標に一致させて、超音波映像と外部映像とを合成する方法が知られており、これについては、特許文献１に開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】韓国特許公開２００７−０１１０９６５号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、上記従来技術に鑑みてなされたものであって、本発明の目的は、患者のリアルタイム医療映像から、臓器の迅速且つ正確な追跡に好適な映像を生成する方法及び装置を提供することにある。また、本発明の他の目的は、この方法をコンピュータで実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体を提供することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するためになされた本発明の一特徴による臓器映像生成方法は、患者の少なくとも一つの臓器を表す医療映像に基づいて該少なくとも一つの臓器の３次元モデルを生成する段階と、前記患者の身体活動による前記少なくとも一つの臓器の形態的変化を表す複数の映像と前記臓器の３次元モデルとを整合させることで複数の整合映像を生成する段階と、前記患者の現在身体状態に基づいて前記複数の整合映像のうちのいずれか一つを選択して出力する段階と、を有する。
【０００７】
また、本発明による前記臓器映像生成方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体を提供する。
【０００８】
上記目的を達成するためになされた本発明の一特徴による臓器映像生成装置は、患者の少なくとも一つの臓器を表す医療映像に基づいて該少なくとも一つの臓器の３次元モデルを生成する臓器モデル生成部と、前記患者の身体活動による前記少なくとも一つの臓器の形態的変化を表す複数の映像と前記臓器の３次元モデルとを整合した複数の映像を生成する映像整合部と、前記患者の現在身体状態に基づいて前記複数の整合映像のうちのいずれか一つを選択する映像検索部と、を備える。
【発明の効果】
【０００９】
本発明によれば、リアルタイムで出力される医療映像にグラフィック的な臓器のモデルを合成して出力することで、仲介的手術時臓器の位置を正確で迅速に追跡できる。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施形態による身体臓器映像生成システムの構成図である。
【図２】図１に示した映像整合装置２０の構成図である。
【図３】平均モデル生成部２０２における臓器境界及び内部構造の位置座標情報を抽出する過程の一例を示す図面である。
【図４】映像整合部２０４が、臓器の変形を反映した個人化モデルを、超音波映像における臓器の位置と各映像別に一致させる過程のフローチャートである。
【図５】２次元映像でアフィン変換関数Ｔａｆｆｉｎｅを獲得する一例を示す図面である。
【図６】映像整合部２０４で映像を整合する過程を示す図面である。
【図７】横隔膜の絶対的な位置の上下移動グラフである。
【図８】３次元的な臓器モデル基盤の動的臓器及び病変追跡方法の全体的なフローチャートである。
【発明を実施するための形態】
【００１１】
以下、本発明を実施するための形態の具体例を、図面を参照しながら詳細に説明する。
【００１２】
図１は、本発明の一実施形態による身体臓器映像生成システムの構成図である。図１を参照すると、図１に示した実施形態による身体臓器映像生成システムは、映像検出装置１０、映像整合装置２０、映像表示装置３０で構成される。映像検出装置１０は、これに装着されたプローブ１１から発生したソース信号が、医者などの医療専門家が診断しようとする患者身体の特定部位に伝達されることで発生する反応を利用して、映像データを生成する。ここで、ソース信号は、超音波、Ｘ線などの様々な信号になりうる。映像検出装置１０が超音波を利用して患者身体から３次元映像を検出する超音波診断器である場合を挙げて説明すると、次の通りである。
【００１３】
超音波診断器におけるプローブ１１は、一般的に圧電変換器で製作される。映像検出装置１０のプローブ１１から、２〜１８ＭＨｚ範囲の超音波が患者の身体内部の特定部位に伝達されると、この超音波は、様々な他の組織間の階層から部分的に反射される。特に、超音波は身体内部の密度変化のあるところ、例えば、血しょう内の血球、臓器内の小さな組織などで反射される。このように反射された超音波はプローブ１１の圧電変換器を振動させ、圧電変換器は、この振動による電気的パルスを出力する。これらの電気的パルスが映像に変換される。
【００１４】
映像検出装置１０は、２次元的な映像を出力することもできるが、３次元的な映像も出力できる。映像検出装置１０が３次元的な映像を出力する方法は、次の通りである。患者身体上でプローブ１１の位置及び方向を変化させながら、患者身体の特定部位に対する複数の断面映像を検出する。次いで、映像検出装置１０は、これらの断面映像を蓄積して患者身体の特定部位を３次元的に表す３次元ボリュームの映像データを生成する。このように断面映像を蓄積して３次元ボリュームの映像データを生成する方式を、ＭＰＲ（Ｍｕｌｔｉｐｌａｎａｒ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ）方式という。
【００１５】
ところが、このように映像検出装置１０により得られる映像、例えば、超音波映像はリアルタイム映像を得ることができるという長所があるが、臓器の輪郭、内部構造や病変を明確に識別し難いという短所がある。
【００１６】
一方、ＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）映像やＭＲ（Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ）映像の場合には、臓器の位置や病変の位置が明確に区別されるという長所がある。しかし、ＣＴ映像やＭＲ映像は、手術する間に患者が呼吸をしたり動いたりする時に、臓器が変形するか位置が変わってリアルタイムの変化を反映した映像を得られないという短所がある。リアルタイムで映像を出力できないそれぞれの理由は、ＣＴ映像の場合、放射線を利用した撮影方法であるため、患者と手術者とが長時間放射線に露出される恐れがあるため短時間の撮影が薦められ、ＭＲ映像の場合、一度撮影するのに長時間がかかるためである。
【００１７】
これにより、リアルタイムで撮影できると同時に臓器の輪郭、内部構造や病変を明確に識別する方法及び装置が要求される。従って、以下で説明する実施形態は、リアルタイムで検出された映像から臓器及び病変のモデルを整合した映像を出力して、リアルタイム映像で臓器及び病変の正確な位置や変形を識別できる方法を提示する。
【００１８】
図２は、図１に示した映像整合装置２０の構成図である。図２を参照すると、図１に示した映像整合装置２０は、医療映像ＤＢ ２０１、平均モデル生成部２０２、個人化モデル生成部２０３、映像整合部２０４、映像検索部２０５、追加調整部２０６、及びストレージ２０７で構成される。
【００１９】
平均モデル生成部２０２は、多様な個人の医療映像を入力してこれを処理することで、対象臓器の平均的なモデルを出力する。本実施形態では、患者個人化モデルを生成して臓器を追跡するが、ここで平均的なモデルを生成する段階は、個人化したモデルを生成するための準備段階である。その理由は、個人によって臓器の形態、サイズ、特徴などの多様性があって、正確な手術環境を提供するためには患者個人の特性を反映する必要があるためである。一方、正確な平均的モデルを得るためには、多様な個人の映像情報が活用される。また、各個人から得た映像からも、呼吸によって変わる臓器の形態を反映するために多様な呼吸の映像を得ることができる。
【００２０】
具体的に、先ず平均モデル生成部２０２は、多様な個人の臓器形態、サイズなどを分析するために、医療専門家が患者の診断のために撮影した映像（以下、外部医療映像という）を、撮影機器から直接又は映像が保存された記録媒体から入力する。従って、臓器と病変の輪郭や臓器内部の特徴の分析が容易な映像を入力することが望ましい。例えば、ＣＴ或いはＭＲ映像が入力される。
【００２１】
外部映像を入力する他の方法としては、医療映像ＤＢ ２０１によって外部医療映像がデータベース化されて保存された映像を入力することができる。医療映像ＤＢ ２０１は、外部医療映像が多様な個人から撮影装置で撮影されて保存されたものでもよく、記録媒体から入力してもよい。医療映像ＤＢ ２０１から映像を入力する際には、映像全部を入力してもよく、ユーザの選択によって一部を入力してもよい。
【００２２】
一実施形態として、平均モデル生成部２０２は、入力された外部医療映像に基づいて３次元ＡＳＭ（Ａｃｔｉｖｅ Ｓｈａｐｅ Ｍｏｄｅｌｓ）アルゴリズムを適用することができる。アルゴリズムを適用するために、先ず外部医療映像を分析して各外部医療映像から臓器の形態、サイズ、解剖学的特徴を抽出し、これらの平均を算出して統計的に平均を算出したモデルを生成する。ＡＳＭアルゴリズムは、１９９４年に発表された“Ｔｈｅ Ｕｓｅ ｏｆ Ａｃｔｉｖｅ Ｓｈａｐｅ Ｍｏｄｅｌｓ Ｆｏｒ Ｌｏｃａｔｉｎｇ Ｓｔｒｕｃｔｕｒｅ ｉｎ Ｍｅｄｉｃａｌ Ｉｍａｇｅｓ”（Ｔ．Ｆ．Ｃｏｏｔｅｓ，Ａ．Ｈｉｌｌ，Ｃ．Ｊ．Ｔａｙｌｏｒ ａｎｄ Ｊ．Ｈａｓｌａｍ著）に詳細な説明がある。ＡＳＭアルゴリズムを適用すると、平均的な臓器の形状を得ることができ、この平均的な臓器形状は、変数を調整する場合にその形態を変形させることができる。
【００２３】
図３は、平均モデル生成部２０２が外部医療映像を分析する過程を示し、入力されたＣＴ或いはＭＲ映像の臓器境界及び内部構造の位置座標情報を抽出する概略的な方法を示したものである。平均モデル生成部２０２は、ＣＴ或いはＭＲ映像が入力されると、臓器境界及び内部構造の位置座標情報を抽出する際、２次元映像である場合と３次元映像である場合とで異なる方式で進められる。ここで、内部構造とは、肝臓を例にすると、肝動脈、肝静脈、肝門脈と肝管の位置などがあり、これらの境界値も含まれる。
【００２４】
２次元映像を入力する場合、３次元モデルを生成するために、複数の断面映像を蓄積して対象部位を３次元的に表す３次元ボリュームの映像データを得る。この過程は、図３の左側部分に、複数の映像情報が重なって３次元ボリューム映像を得る方法を図示している。重ねる前に複数の断面映像における臓器境界及び内部構造の位置座標情報を抽出した後、重ねる方向軸の座標情報を追加して３次元座標情報を得ることができるが、図３の右側部分に示した映像はｚ軸の値が１である映像であるため、映像から抽出される境界位置座標値のｚは常に１である。従って、左側映像データの断面の座標情報を抽出する際、これは２次元の座標情報であるためｘ、ｙ軸のデータで表されるが、ｚ軸の座標情報まで含めて［ｘ，ｙ，１］の座標で境界の位置座標情報を抽出する。すると、座標情報は、ｘ，ｙ，ｚ軸の座標を含む情報になる。３次元映像が入力される場合には、所定の間隔で３次元映像の断面を抽出した後、２次元映像が入力された場合と同じ過程を経ることで、臓器境界及び内部構造の位置座標情報を得ることができる。この過程での２次元映像からの境界位置座標の抽出は、アルゴリズムによる自動又は半自動的になされ、出力された映像情報を見てユーザが受動的に座標情報を入力してもよい。自動で境界の座標情報を得る方法を挙げると、映像から輝度の急変する地点の座標情報を得ることができ、ＤＴＦＴ（Ｄｉｓｃｒｅｔｅ Ｔｉｍｅ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）を利用して、周波数値の最も大きい位置を境界として抽出できる。半自動的な方法は、ユーザにより映像から一部警戒地点についての情報が入力されると、警戒地点に基づいて自動で座標を得る方法と同一に周辺の境界を抽出できる。臓器の境界は連続的であり、閉曲線形態をなすため、上記性質を利用して臓器境界全体についての情報を得ることができる。このように半自動の方法は映像全体を検索しなくてもよいため、自動的な場合より更に早く結果を得ることができる。受動的に得る場合には、ユーザが映像を見ながら直接境界の座標を指定できるが、この時に指定する間隔は連続的でないため、中間の不連続的な区間については、補間を通じて連続的に境界を抽出する。上記方法で得た臓器と病変の位置座標情報は、３次元空間でその座標に該当するボクセルにおける輝度値を所定の値に設定した後で出力することで、ユーザが３次元グラフィック的に表現された臓器と内部構造の態様を確認できる。例えば、対象臓器境界座標の輝度値を最小、即ち最も暗い値に設定すると、出力される映像で対象臓器の映像は黒い形態で出力され、対象臓器の輝度を白色と黒色との中間値に設定し、病変の座標の輝度を黒色に設定することで、対象臓器及び病変を容易に肉眼で区分できる。上記方法で得た複数の臓器境界及び内部構造の位置座標情報をデータセットと定めて、３次元ＡＳＭアルゴリズムを活用するための情報として活用できる。以下、ＡＳＭアルゴリズムについて説明する。
【００２５】
ＡＳＭアルゴリズムを適用するために、複数の臓器境界と内部構造との位置座標情報の座標軸を一致させる。座標軸を一致させるとは、複数の対象体の重さ中心を一つの原点に一致させ、多様な形態に対してあらゆる臓器の方向を整列させることを意味する。次いで、複数の臓器境界と内部構造との位置座標情報で特徴点になる地点を決定する。特徴点とは、アルゴリズムを適用させるための基本的な地点をいう。特徴点は下記のような方法で決定する。
【００２６】
第１に、対象の特徴が明確に反映された地点を特徴点と定める。例えば、肝臓の場合、あらゆる人が共通的に持っている血管が分けられる地点、又は心臓の場合、右心房と左心房とが分けられる境界、大静脈と心臓の外壁とが合う境界などがある。
【００２７】
第２に、定められた座標系で対象体の最も高い地点、或いは最も低い地点を特徴点と定める。
【００２８】
第３に、第１及び第２で定めた点の間を補間できる地点を、所定の一定の間隔で境界に沿って特徴点として指定する。
【００２９】
指定された特徴点は、２次元である場合にｘ，ｙ軸の座標で表し、３次元である場合にｘ，ｙ，ｚ軸の座標で表す。従って、３次元である場合にそれぞれの特徴点座標をベクトルとして
のように表すと（ｎは、特徴点の個数を意味する）、数式１で表現できる。
【００３０】
【数１】
【００３１】
下添字ｉは、ｉ番目の映像から得た臓器境界と内部構造との位置座標情報を意味する。位置座標情報は、場合によってその個数が多くなりうるが、その演算を容易にするために一つのベクトルで表現する。これにより、特徴点全体を一つのベクトルで表した特徴点ベクトルを、数式２で定義できる。
【００３２】
【数２】
ｘｉベクトルのサイズは３ｎ×ｌである。
【００３３】
データセットの個数をＮ個とすると、セット全体に対して特徴点の平均を、下記の数式３で表すことができる。
【００３４】
【数３】
【００３５】
同様に、
ベクトルのサイズは３ｎ×ｌである。
【００３６】
平均モデル生成部２０２は、数式３を計算すると平均的な特徴点である
を得て、これに基づいたモデルを生成することで、そのモデルが平均的な臓器モデルになりうる。ＡＳＭアルゴリズムは、平均的なモデルを生成するだけでなく、更に平均的なモデルを、複数のパラメータの調節だけで形態を変形させることができる。従って、平均モデル生成部２０２は、単純に平均的なモデルを計算するだけでなく、複数のパラメータを適用できるように数式を計算する。以下、パラメータを適用する数式を説明する。
【００３７】
下記の数式４によって特徴点の平均と各データとの差を表すことができる。数式４で、下添字ｉは、ｉ番目の映像を意味する。従って、数式４は、各映像における特徴点の全体映像の平均との差を意味する。
【００３８】
【数４】
【００３９】
各データの差を利用して数式５により、３つの変数ｘ，ｙ，ｚに対する共分散行列を定義できる。共分散行列を求める理由は、ＡＳＭアルゴリズムを適用するための複数のパラメータに対するアイゲンベクトルを求めるためである（詳細な内容は、上記論文に記載されている）。
【００４０】
【数５】
【００４１】
共分散行列Ｓの単位アイゲンベクトルをｐｋとすると、ベクトルｐｋが意味するものは、ＡＳＭアルゴリズムにより生成されたモデルが変化する態様である。例えば、ベクトルｐ１と乗算されたパラメータｂ１を
で変形させると、左右への長さが変わるか、又はベクトルｐ２と乗算されたパラメータｂ２を
で変形させると、上下への長さが変わることをいう。従って、この単位アイゲンベクトルｐｋ（サイズ３ｎ×ｌ）を、下記のように数式６により求める。
【００４２】
【数６】
（λｋは、アイゲン値（ｅｉｇｅｎ−ｖａｌｕｅ）を意味する）
【００４３】
それにより、最終的に変形を適用した特徴点ベクトルｘを、特徴点の平均ベクトルである
を利用して計算すると、
【００４４】
【数７】
ここでｐ＝（ｐ１，ｐ２，…ｐｔ）（各ｐｋのサイズ３ｎ×ｌ、ｐのサイズ３ｎ×ｔ）は、最初のｔ個のアイゲンベクトルをいい、ｂ＝（ｂ１，ｂ２，…ｂｔ）Ｔ（サイズｔ×ｌ）は、各アイゲンベクトルの比重（ｗｅｉｇｈｔ）を意味する。
【００４５】
平均モデル生成部２０２は、上記過程の数式の計算を通じて、平均的なモデルの形態を意味する
（サイズ３ｎ×ｌ）と、３次元ＡＳＭアルゴリズムを利用して変形を適用するためのｐ＝（ｐ１，ｐ２，…ｐｔ）（サイズ３ｎ×ｔ）ベクトルと、を計算できる。
【００４６】
個人化モデル生成部２０３は、平均モデル生成部２０２から平均的な臓器モデル（
）とｐ＝（ｐ１，ｐ２，…ｐｔ）（サイズ３ｎ×ｔ）ベクトルと、を入力し、３次元ＡＳＭアルゴリズムのパラメータ処理により個人化モデルを生成する。患者個人の臓器形状も同様に形態やサイズなどがそれぞれ異なるので、平均的な臓器モデルをそのまま使用すると、正確性が落ちる。その理由は、個人によって平均形態より左右が長いか、上下が長いか、又は左側がより厚いか、右側がより下方に下がっているなどの特徴があるためである。また個人の臓器に病変がある場合、病変の形態及び位置を正確に把握するために、個人化モデル生成部２０３は、病変の位置をモデルに含ませる。従って、個人化モデル生成部２０３は、映像撮影装置又は記録媒体から患者個人の外部医療映像を入力して、個人臓器形態、サイズ、位置情報を分析し、病変があると、病変の位置、サイズ、形態情報を分析する。以下、この過程を詳細に説明する。
【００４７】
個人化モデル生成部２０３は、ＣＴ或いはＭＲ映像のように臓器の形状を明確に把握できる映像に基づいて、患者個人のＡＳＭアルゴリズムのアイゲンベクトルの比重値（ベクトルｂ）を決定する。従って、先ず患者個人の外部医療映像を入力して臓器境界及び内部構造の位置座標情報を把握する。この際は、平均モデル生成部２０２が外部医療映像を分析する過程のように、図３の過程で把握する。更に上記アルゴリズムを初めて適用する際、特徴点を把握した方法と同じ過程で特徴点座標情報を把握すると、患者個人化した特徴点集合であるベクトルｘ（サイズ３ｎ×ｌ）の値を得ることができる。上記ベクトルに基づいて臓器モデルを生成したものが個人化モデルになる。数式７の逆関数及び単位アイゲンベクトルの性質（
）を活用すると、下記の数式８を得ることができる。数式８によって値を決定する。
【００４８】
【数８】
【００４９】
一方、平均モデル生成部２０２より決定されたベクトル情報
は、ストレージ２０７に対象臓器に対する平均的なモデルとして保存して、データベース化して反復的に使われる。また、個人化モデル生成部２０２に入力された患者個人の外部医療映像は、次の患者の診療時にデータベースに保存された平均的なモデルを決定する際に追加する学習過程を持つ。
【００５０】
映像整合部２０４は、個人化モデル生成部２０３からベクトル
情報を受けると、これを所定の周期の間の患者の医療映像と整合させる。超音波映像で臓器の位置に、ＡＳＭアルゴリズムを利用したモデルを重ねて出力するという意味であり、より正確には、映像でＡＳＭアルゴリズムにより形成されたモデルの座標情報に該当するピクセル或いはボクセル値を、所定の輝度に置換又は重畳させるという意味である。置換すると、元来の超音波映像から臓器部分は除去されて個人化モデルのみを出力するが、重畳させると、元来の超音波映像と個人化モデルとが重なった映像が出力される。重なった映像は、色を異ならせると肉眼で区分しやすい。例えば、白黒超音波映像に個人化モデルを青色で重畳させると、グラフィック的な形態を肉眼で容易に区別できる。
【００５１】
医療映像は、望ましくは、リアルタイム映像を撮影できる映像であり、例えば、超音波映像がある。医療映像は、２次元或いは３次元映像である。所定の周期は、望ましくは１呼吸周期になる。その理由は、身体の呼吸周期の間に臓器の変化も一定の周期を持つためである。例えば、患者の１呼吸周期を５秒とした場合、超音波映像を１秒当たり２０フレーム生成すると、１００フレームの映像が生成される。
【００５２】
映像整合部２０４で映像を整合する過程は、２段階に大別できる。所定の周期の間に入力される超音波映像で、呼吸による臓器の変化を３次元臓器モデルに反映させる段階と、変形が反映された３次元臓器モデルをスケール調整、軸回転及び軸移動して超音波映像における対象臓器と整列させる段階と、である。
【００５３】
映像整合部２０４が、呼吸による臓器の変化を３次元臓器モデルに反映させる段階は下記の通りである。医療映像と整合する前に超音波映像の場合を例として挙げると、超音波映像の各フレーム別に臓器の位置及び変化を把握して、ＡＳＭアルゴリズムのパラメータの比重値であるベクトルｂの値を調整する。この時に決定されるベクトルｂの値は、平均モデル生成部２０２で決定されたベクトルｂの値とあまり差がない。その理由は、映像整合部２０４は、患者の呼吸による変化のみ反映されるが、呼吸による臓器の形状変化は、他の個人との変化に比べて小さいためである。従って、ベクトルｂの値を決定する際に、平均モデル生成部２０２で決定されたベクトルｂの値に基づいて、所定の制限された範囲内の変形のみを加える。更に、前フレームのベクトルｂは、次のフレームのベクトルｂの決定に反映できる。その理由は、呼吸過程での臓器の変化は連続的であるため、短いフレーム間の周期の間に大きい変化がないためである。ベクトルｂの値を決定すると、３次元ＡＳＭアルゴリズムの演算により、各超音波映像に臓器の変形を反映した個人化モデルをフレーム別に生成できる。
【００５４】
図４は、映像整合部２０４が各映像別に臓器の変形を反映した個人化モデルを、回転、スケール調整、平行移動を通じて超音波映像における臓器の位置と一致させる過程のフローチャートである。詳細には、各フレーム別にアイゲンベクトルの比重値であるベクトルｂが定められた場合に、各フレーム別に一対一アフィン整合を行うフローチャートである。フレームの個数をＮとし、ｎをフレーム番号とすると、ｎ＝１からｎ＝Ｎになるまで一対一整合を行う。超音波映像における特徴点集合とモデルの特徴点集合とを使用して、各フレーム別にＩＣＰ（Ｉｔｅｒａｔｉｖｅ Ｃｌｏｓｅｓｔ Ｐｏｉｎｔ）アルゴリズムを利用してアフィン変換関数Ｔａｆｆｉｎｅを獲得し、これを利用して３次元身体臓器モデル映像を変換する。ＩＣＰアルゴリズムとは、複数の映像内の対象体を整列させるために、一つの映像を基準に残りの映像を回転、平行移動、スケール調整させるアルゴリズムである。ＩＣＰアルゴリズムは、“Ｉｔｅｒａｔｉｖｅ ｐｏｉｎｔ ｍａｔｃｈｉｎｇ ｆｏｒ ｒｅｇｉｓｔｒａｔｉｏｎ ｏｆ ｆｒｅｅ−ｆｏｒｍ ｃｕｒｖｅｓ ａｎｄ ｓｕｒｆａｃｅｓ”（Ｚｈｅｎｇｙｏｕ Ｚｈａｎｇ著）に詳細な説明がある。
【００５５】
図５は、２次元映像でアフィン変換関数を獲得する方法を簡略に示したものである。５０１は、変換を適用する前の状態であり、５０２は、変換を適用した後の状態である。変換の適用時には回転、平行移動、スケール調整をしなければならないが、アフィン変換が１：１点対応ということを利用すると、下記の数式９によって最初の座標と最終の座標とを獲得することで、直ちに行列Ｔａｆｆｉｎｅの係数を決定できる。
【００５６】
【数９】
【００５７】
数式１０は、２次元ではない３次元以上で獲得したアフィン変換関数（Ｔａｆｆｉｎｅ）を各フレーム別に適用させる式である。
【数１０】
【００５８】
ｎは、ｎ番目のフレームを意味し、（１≦ｎ≦Ｎ）の整数である。
は、映像整合部２０４で比重値であるベクトルｂを変化させた特徴点ベクトルを意味する。形成された
は、各フレーム別に変形を反映した臓器境界及び内部構造の位置座標情報があるが、これを超音波映像と整合させる際に、超音波映像で位置座標に該当するボクセル値を所定の輝度値に置換或いは重畳させると、肉眼で臓器のグラフィック的な態様を確認できる。
【００５９】
図６は、映像整合部２０４で映像を整合する過程を概略的に示すものである。図６は、一呼吸周期の間に入力された超音波映像に基づいて映像整合部２０４から入力された所定周期の間の医療映像と、身体臓器モデルとの整合映像を形成する過程を示した。入力された超音波映像は、図６で左側エッジに配置されており、入力された超音波映像で＊は、特徴点を表示したものである。入力された超音波映像は、吸気から呼気に至るまで呼吸の様々な形態を反映することが望ましい。
【００６０】
個人化モデル生成部２０３が生成した個人化モデルは、呼吸によってその形態が変形される。しかし、呼吸による変形は、個人間の多様性による変形よりは小さい。従って、呼吸による変形を反映する際に３次元ＡＳＭアルゴリズムパラメータの値を新たに求めることより、個人化モデル生成部２０３により決定されたパラメータ値で調整する方法がより迅速且つ容易である。変形を反映した臓器モデルの特徴点と、超音波映像の臓器における特徴点とを利用して、ＩＣＰアルゴリズムを通じてアフィン変換関数Ｔａｆｆｉｎｅを適用する。アフィン変換を介することで、３次元臓器モデルのサイズ及び位置が、超音波映像内の臓器のサイズ及び位置に合うように変わる。変形されたモデルを超音波映像に合成することは、モデルの位置に該当する超音波映像のピクセル（又はボクセル）値を一定の値に置換又は重畳する方法により行うことができる。一方、整合された映像を超音波−モデル整合映像といい、ストレージ２０７に保存する。
【００６１】
映像検索部２０５は、手術する過程での処理を行う。手術する過程を簡単に説明すると、リアルタイムで入力される超音波映像に臓器のグラフィック的形状が画面に出力され、手術者は、これを肉眼で確認しながら手術をする。この過程を具体的に説明すると、先ず、患者のリアルタイム医療映像を入力する。この時、医療映像は、望ましくは、映像整合部２０４から入力される映像と同じ映像である。従って、上記例と同様に、超音波映像を例として挙げると、リアルタイム超音波映像を入力して、映像整合部２０４に入力された所定周期の間の医療映像と比較して最も類似した映像を決定し、決定された映像と対応する超音波−モデル整合映像をストレージ２０７で検索して出力する。
【００６２】
映像検索部２０５で超音波映像における類似した映像を比較する実施形態としては、横隔膜の位置を検出して映像を決定する方法がある。入力されるリアルタイム医療映像で横隔膜の位置がＸならば、映像整合部２０４に入力された所定周期の複数の医療映像でそれぞれの横隔膜の位置とＸとの差を計算して、その差の最も小さな映像を検索する方法である。図７は、横隔膜の絶対的な位置の上下移動グラフを示す。グラフを分析すると、呼吸の周期で位置が規則的に変わることが分かる。望ましくは、映像整合部２０４から入力される所定周期の医療映像と、映像検索部２０５から入力されるリアルタイム医療映像との撮影時に、プローブ１１の位置及び患者の位置を固定させる。その理由は、プローブ１１の位置或いは患者の位置が変わると、映像で臓器の相対的な位置が変わり、相対的な位置が変わると、映像を比較する時に正確且つ早く検索できないためである。
【００６３】
映像検索部２０５で超音波映像における類似した映像を比較する更に他の実施形態としては、ピクセルの輝度差を利用して映像を決定する方法がある。最も類似した映像同士ではその輝度の差が最も少ないということを利用した方法である。具体的には、整合に使われた所定周期の医療映像（第１映像）のうち、リアルタイム医療映像の１フレームの映像（第２映像）と類似した映像を探す際、先ず第１映像のうちのいずれか一つの映像と第２映像の各ピクセル間の輝度差を計算して、全体輝度差に対する分散を求める。次いで、残りの第１映像と第２映像ともそれぞれ上記のような方法で分散を求めてその分散が最も小さな映像を決定すると、最も類似した映像を決定できる。
【００６４】
一方、追加調整部２０６は、出力された映像を見てユーザがアフィン変換関数Ｔａｆｆｉｎｅ、３次元ＡＳＭアルゴリズムのパラメータを調整して最終出力結果を調整する。ユーザが出力映像を見ながら肉眼で正確な変換を行うことができる。
【００６５】
図８は、３次元的な臓器モデル基盤の動的臓器と病変追跡方法の全体的なフローチャートを示すものである。８０２段階及び８０３段階は、既に処理されたデータをデータベース化する。８０２段階は、多様な個人に対して各個人の多様な呼吸周期に対するＣＴ或いはＭＲ映像を入力する。８０３段階は、入力された映像に基づいて３次元身体臓器モデルを生成する。その際、３次元ＡＳＭアルゴリズムを使用できるということは、上述した通りである。
【００６６】
８０１段階は、患者個人のＣＴ或いはＭＲ映像を入力する。８０４段階は、入力された映像に基づいて８０３段階で生成された３次元身体臓器モデルを変形させる。個人化した３次元身体臓器モデルを生成する過程は準備過程であり、手術室外でも行われうる。８０５段階は、患者１呼吸周期の間の超音波映像（以下、第１超音波映像という）が入力され、第１超音波映像と個人化した身体臓器モデルとを整合する。整合された映像を超音波−モデル整合映像といい、一時的メモリに保存してもよいし、ストレージなどの記録媒体に保存してもよい。８０５段階は、手術室内の準備過程で行われうる。また８０５段階及び８０６段階の患者及びプローブの位置は固定されていることが望ましい。８０６段階で手術室でのリアルタイム段階として、リアルタイムで患者の超音波映像（第２超音波映像）が入力されると、超音波映像と最も類似した第１超音波映像が決定され、決定された第１超音波映像に対応する超音波−モデル整合映像を出力する。
【００６７】
一方、上述した本発明の実施形態は、コンピュータで実行されるプログラムで作成でき、コンピュータ読み取り可能な記録媒体を利用してプログラムを作動させる汎用デジタルコンピュータで具現できる。また、上述した本発明の実施形態で使われたデータの構造は、コンピュータ読み取り可能な記録媒体に様々な手段により記録される。コンピュータ読み取り可能な記録媒体は、マグネチック記録媒体（例えば、ＲＯＭ、フロッピー（登録商標）ディスク、ハードディスクなど）、光学的判読媒体（例えば、ＣＤ−ＲＯＭ、ＤＶＤなど）などの記録媒体を含む。
【００６８】
以上、図面を参照しながら本発明の実施形態について詳細に説明したが、本発明は、上述の実施形態に限定されるものではなく、本発明の技術的範囲から逸脱しない範囲内で多様に変更実施することが可能である。
【産業上の利用可能性】
【００６９】
本発明は、３次元的モデルを利用した身体臓器の映像生成装置関連の技術分野に好適に用いられる。
【符号の説明】
【００７０】
１１ プローブ
１０ 映像検出装置
２０ 映像整合装置
３０ 映像表示装置
１０１ 整合映像形成部
２０１ 医療映像ＤＢ
２０２ 平均モデル生成部
２０３ 個人化モデル生成部
２０４ 映像整合部
２０５ 映像検索部
２０６ 追加調整部
２０７ ストレージ
【技術分野】
【０００１】
本発明は、３次元的モデルを利用した身体臓器の映像を生成する方法及び装置、並びにその方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体に関する。
【背景技術】
【０００２】
疾病治療において、患者の診断と治療の伝統的な方法は、外科的手術で開腹後に肉眼で発病状態を確認し、巨大な手術用機器を利用して病変部位に切開及び形成を行う方法であった。しかし、最近医療技術の発達につれて高解像度の医療映像を得ることができ、且つ医療機器の微細な操作が可能になることで、人体を直接的に切開しなくても皮膚に小さな穴をあけた後、血管或いはその他の所望の身体部位に直接カテーテルや医療用針を入れて、医学映像装置で身体内を観察しながら治療する方法が開発されている。これを“映像を利用する手術法”、“インターベンション映像手術法”又は“仲介的映像手術法”と呼ぶ。手術者は、臓器や病変の位置を、映像を通じて把握する。更に、手術をする間に患者は呼吸をしたり動いたりするが、これによる変化を把握しなければならない。従って、手術者はリアルタイム映像に基づいて呼吸や動きを正確且つ迅速に把握して手術しなければならないが、この時にリアルタイム映像で臓器と病変の形状を肉眼で把握することが難しい。従って、これを解決するために、手術者にリアルタイムで臓器の形状及び位置を知らせる方法及び装置が登場している。
【０００３】
一方、超音波診断部の外部で得られた外部映像を提供し、外部映像内の病変の位置情報に基づいて外部映像の座標を超音波映像の座標に一致させて、超音波映像と外部映像とを合成する方法が知られており、これについては、特許文献１に開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】韓国特許公開２００７−０１１０９６５号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、上記従来技術に鑑みてなされたものであって、本発明の目的は、患者のリアルタイム医療映像から、臓器の迅速且つ正確な追跡に好適な映像を生成する方法及び装置を提供することにある。また、本発明の他の目的は、この方法をコンピュータで実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体を提供することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するためになされた本発明の一特徴による臓器映像生成方法は、患者の少なくとも一つの臓器を表す医療映像に基づいて該少なくとも一つの臓器の３次元モデルを生成する段階と、前記患者の身体活動による前記少なくとも一つの臓器の形態的変化を表す複数の映像と前記臓器の３次元モデルとを整合させることで複数の整合映像を生成する段階と、前記患者の現在身体状態に基づいて前記複数の整合映像のうちのいずれか一つを選択して出力する段階と、を有する。
【０００７】
また、本発明による前記臓器映像生成方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体を提供する。
【０００８】
上記目的を達成するためになされた本発明の一特徴による臓器映像生成装置は、患者の少なくとも一つの臓器を表す医療映像に基づいて該少なくとも一つの臓器の３次元モデルを生成する臓器モデル生成部と、前記患者の身体活動による前記少なくとも一つの臓器の形態的変化を表す複数の映像と前記臓器の３次元モデルとを整合した複数の映像を生成する映像整合部と、前記患者の現在身体状態に基づいて前記複数の整合映像のうちのいずれか一つを選択する映像検索部と、を備える。
【発明の効果】
【０００９】
本発明によれば、リアルタイムで出力される医療映像にグラフィック的な臓器のモデルを合成して出力することで、仲介的手術時臓器の位置を正確で迅速に追跡できる。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施形態による身体臓器映像生成システムの構成図である。
【図２】図１に示した映像整合装置２０の構成図である。
【図３】平均モデル生成部２０２における臓器境界及び内部構造の位置座標情報を抽出する過程の一例を示す図面である。
【図４】映像整合部２０４が、臓器の変形を反映した個人化モデルを、超音波映像における臓器の位置と各映像別に一致させる過程のフローチャートである。
【図５】２次元映像でアフィン変換関数Ｔａｆｆｉｎｅを獲得する一例を示す図面である。
【図６】映像整合部２０４で映像を整合する過程を示す図面である。
【図７】横隔膜の絶対的な位置の上下移動グラフである。
【図８】３次元的な臓器モデル基盤の動的臓器及び病変追跡方法の全体的なフローチャートである。
【発明を実施するための形態】
【００１１】
以下、本発明を実施するための形態の具体例を、図面を参照しながら詳細に説明する。
【００１２】
図１は、本発明の一実施形態による身体臓器映像生成システムの構成図である。図１を参照すると、図１に示した実施形態による身体臓器映像生成システムは、映像検出装置１０、映像整合装置２０、映像表示装置３０で構成される。映像検出装置１０は、これに装着されたプローブ１１から発生したソース信号が、医者などの医療専門家が診断しようとする患者身体の特定部位に伝達されることで発生する反応を利用して、映像データを生成する。ここで、ソース信号は、超音波、Ｘ線などの様々な信号になりうる。映像検出装置１０が超音波を利用して患者身体から３次元映像を検出する超音波診断器である場合を挙げて説明すると、次の通りである。
【００１３】
超音波診断器におけるプローブ１１は、一般的に圧電変換器で製作される。映像検出装置１０のプローブ１１から、２〜１８ＭＨｚ範囲の超音波が患者の身体内部の特定部位に伝達されると、この超音波は、様々な他の組織間の階層から部分的に反射される。特に、超音波は身体内部の密度変化のあるところ、例えば、血しょう内の血球、臓器内の小さな組織などで反射される。このように反射された超音波はプローブ１１の圧電変換器を振動させ、圧電変換器は、この振動による電気的パルスを出力する。これらの電気的パルスが映像に変換される。
【００１４】
映像検出装置１０は、２次元的な映像を出力することもできるが、３次元的な映像も出力できる。映像検出装置１０が３次元的な映像を出力する方法は、次の通りである。患者身体上でプローブ１１の位置及び方向を変化させながら、患者身体の特定部位に対する複数の断面映像を検出する。次いで、映像検出装置１０は、これらの断面映像を蓄積して患者身体の特定部位を３次元的に表す３次元ボリュームの映像データを生成する。このように断面映像を蓄積して３次元ボリュームの映像データを生成する方式を、ＭＰＲ（Ｍｕｌｔｉｐｌａｎａｒ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ）方式という。
【００１５】
ところが、このように映像検出装置１０により得られる映像、例えば、超音波映像はリアルタイム映像を得ることができるという長所があるが、臓器の輪郭、内部構造や病変を明確に識別し難いという短所がある。
【００１６】
一方、ＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）映像やＭＲ（Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ）映像の場合には、臓器の位置や病変の位置が明確に区別されるという長所がある。しかし、ＣＴ映像やＭＲ映像は、手術する間に患者が呼吸をしたり動いたりする時に、臓器が変形するか位置が変わってリアルタイムの変化を反映した映像を得られないという短所がある。リアルタイムで映像を出力できないそれぞれの理由は、ＣＴ映像の場合、放射線を利用した撮影方法であるため、患者と手術者とが長時間放射線に露出される恐れがあるため短時間の撮影が薦められ、ＭＲ映像の場合、一度撮影するのに長時間がかかるためである。
【００１７】
これにより、リアルタイムで撮影できると同時に臓器の輪郭、内部構造や病変を明確に識別する方法及び装置が要求される。従って、以下で説明する実施形態は、リアルタイムで検出された映像から臓器及び病変のモデルを整合した映像を出力して、リアルタイム映像で臓器及び病変の正確な位置や変形を識別できる方法を提示する。
【００１８】
図２は、図１に示した映像整合装置２０の構成図である。図２を参照すると、図１に示した映像整合装置２０は、医療映像ＤＢ ２０１、平均モデル生成部２０２、個人化モデル生成部２０３、映像整合部２０４、映像検索部２０５、追加調整部２０６、及びストレージ２０７で構成される。
【００１９】
平均モデル生成部２０２は、多様な個人の医療映像を入力してこれを処理することで、対象臓器の平均的なモデルを出力する。本実施形態では、患者個人化モデルを生成して臓器を追跡するが、ここで平均的なモデルを生成する段階は、個人化したモデルを生成するための準備段階である。その理由は、個人によって臓器の形態、サイズ、特徴などの多様性があって、正確な手術環境を提供するためには患者個人の特性を反映する必要があるためである。一方、正確な平均的モデルを得るためには、多様な個人の映像情報が活用される。また、各個人から得た映像からも、呼吸によって変わる臓器の形態を反映するために多様な呼吸の映像を得ることができる。
【００２０】
具体的に、先ず平均モデル生成部２０２は、多様な個人の臓器形態、サイズなどを分析するために、医療専門家が患者の診断のために撮影した映像（以下、外部医療映像という）を、撮影機器から直接又は映像が保存された記録媒体から入力する。従って、臓器と病変の輪郭や臓器内部の特徴の分析が容易な映像を入力することが望ましい。例えば、ＣＴ或いはＭＲ映像が入力される。
【００２１】
外部映像を入力する他の方法としては、医療映像ＤＢ ２０１によって外部医療映像がデータベース化されて保存された映像を入力することができる。医療映像ＤＢ ２０１は、外部医療映像が多様な個人から撮影装置で撮影されて保存されたものでもよく、記録媒体から入力してもよい。医療映像ＤＢ ２０１から映像を入力する際には、映像全部を入力してもよく、ユーザの選択によって一部を入力してもよい。
【００２２】
一実施形態として、平均モデル生成部２０２は、入力された外部医療映像に基づいて３次元ＡＳＭ（Ａｃｔｉｖｅ Ｓｈａｐｅ Ｍｏｄｅｌｓ）アルゴリズムを適用することができる。アルゴリズムを適用するために、先ず外部医療映像を分析して各外部医療映像から臓器の形態、サイズ、解剖学的特徴を抽出し、これらの平均を算出して統計的に平均を算出したモデルを生成する。ＡＳＭアルゴリズムは、１９９４年に発表された“Ｔｈｅ Ｕｓｅ ｏｆ Ａｃｔｉｖｅ Ｓｈａｐｅ Ｍｏｄｅｌｓ Ｆｏｒ Ｌｏｃａｔｉｎｇ Ｓｔｒｕｃｔｕｒｅ ｉｎ Ｍｅｄｉｃａｌ Ｉｍａｇｅｓ”（Ｔ．Ｆ．Ｃｏｏｔｅｓ，Ａ．Ｈｉｌｌ，Ｃ．Ｊ．Ｔａｙｌｏｒ ａｎｄ Ｊ．Ｈａｓｌａｍ著）に詳細な説明がある。ＡＳＭアルゴリズムを適用すると、平均的な臓器の形状を得ることができ、この平均的な臓器形状は、変数を調整する場合にその形態を変形させることができる。
【００２３】
図３は、平均モデル生成部２０２が外部医療映像を分析する過程を示し、入力されたＣＴ或いはＭＲ映像の臓器境界及び内部構造の位置座標情報を抽出する概略的な方法を示したものである。平均モデル生成部２０２は、ＣＴ或いはＭＲ映像が入力されると、臓器境界及び内部構造の位置座標情報を抽出する際、２次元映像である場合と３次元映像である場合とで異なる方式で進められる。ここで、内部構造とは、肝臓を例にすると、肝動脈、肝静脈、肝門脈と肝管の位置などがあり、これらの境界値も含まれる。
【００２４】
２次元映像を入力する場合、３次元モデルを生成するために、複数の断面映像を蓄積して対象部位を３次元的に表す３次元ボリュームの映像データを得る。この過程は、図３の左側部分に、複数の映像情報が重なって３次元ボリューム映像を得る方法を図示している。重ねる前に複数の断面映像における臓器境界及び内部構造の位置座標情報を抽出した後、重ねる方向軸の座標情報を追加して３次元座標情報を得ることができるが、図３の右側部分に示した映像はｚ軸の値が１である映像であるため、映像から抽出される境界位置座標値のｚは常に１である。従って、左側映像データの断面の座標情報を抽出する際、これは２次元の座標情報であるためｘ、ｙ軸のデータで表されるが、ｚ軸の座標情報まで含めて［ｘ，ｙ，１］の座標で境界の位置座標情報を抽出する。すると、座標情報は、ｘ，ｙ，ｚ軸の座標を含む情報になる。３次元映像が入力される場合には、所定の間隔で３次元映像の断面を抽出した後、２次元映像が入力された場合と同じ過程を経ることで、臓器境界及び内部構造の位置座標情報を得ることができる。この過程での２次元映像からの境界位置座標の抽出は、アルゴリズムによる自動又は半自動的になされ、出力された映像情報を見てユーザが受動的に座標情報を入力してもよい。自動で境界の座標情報を得る方法を挙げると、映像から輝度の急変する地点の座標情報を得ることができ、ＤＴＦＴ（Ｄｉｓｃｒｅｔｅ Ｔｉｍｅ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）を利用して、周波数値の最も大きい位置を境界として抽出できる。半自動的な方法は、ユーザにより映像から一部警戒地点についての情報が入力されると、警戒地点に基づいて自動で座標を得る方法と同一に周辺の境界を抽出できる。臓器の境界は連続的であり、閉曲線形態をなすため、上記性質を利用して臓器境界全体についての情報を得ることができる。このように半自動の方法は映像全体を検索しなくてもよいため、自動的な場合より更に早く結果を得ることができる。受動的に得る場合には、ユーザが映像を見ながら直接境界の座標を指定できるが、この時に指定する間隔は連続的でないため、中間の不連続的な区間については、補間を通じて連続的に境界を抽出する。上記方法で得た臓器と病変の位置座標情報は、３次元空間でその座標に該当するボクセルにおける輝度値を所定の値に設定した後で出力することで、ユーザが３次元グラフィック的に表現された臓器と内部構造の態様を確認できる。例えば、対象臓器境界座標の輝度値を最小、即ち最も暗い値に設定すると、出力される映像で対象臓器の映像は黒い形態で出力され、対象臓器の輝度を白色と黒色との中間値に設定し、病変の座標の輝度を黒色に設定することで、対象臓器及び病変を容易に肉眼で区分できる。上記方法で得た複数の臓器境界及び内部構造の位置座標情報をデータセットと定めて、３次元ＡＳＭアルゴリズムを活用するための情報として活用できる。以下、ＡＳＭアルゴリズムについて説明する。
【００２５】
ＡＳＭアルゴリズムを適用するために、複数の臓器境界と内部構造との位置座標情報の座標軸を一致させる。座標軸を一致させるとは、複数の対象体の重さ中心を一つの原点に一致させ、多様な形態に対してあらゆる臓器の方向を整列させることを意味する。次いで、複数の臓器境界と内部構造との位置座標情報で特徴点になる地点を決定する。特徴点とは、アルゴリズムを適用させるための基本的な地点をいう。特徴点は下記のような方法で決定する。
【００２６】
第１に、対象の特徴が明確に反映された地点を特徴点と定める。例えば、肝臓の場合、あらゆる人が共通的に持っている血管が分けられる地点、又は心臓の場合、右心房と左心房とが分けられる境界、大静脈と心臓の外壁とが合う境界などがある。
【００２７】
第２に、定められた座標系で対象体の最も高い地点、或いは最も低い地点を特徴点と定める。
【００２８】
第３に、第１及び第２で定めた点の間を補間できる地点を、所定の一定の間隔で境界に沿って特徴点として指定する。
【００２９】
指定された特徴点は、２次元である場合にｘ，ｙ軸の座標で表し、３次元である場合にｘ，ｙ，ｚ軸の座標で表す。従って、３次元である場合にそれぞれの特徴点座標をベクトルとして
のように表すと（ｎは、特徴点の個数を意味する）、数式１で表現できる。
【００３０】
【数１】
【００３１】
下添字ｉは、ｉ番目の映像から得た臓器境界と内部構造との位置座標情報を意味する。位置座標情報は、場合によってその個数が多くなりうるが、その演算を容易にするために一つのベクトルで表現する。これにより、特徴点全体を一つのベクトルで表した特徴点ベクトルを、数式２で定義できる。
【００３２】
【数２】
ｘｉベクトルのサイズは３ｎ×ｌである。
【００３３】
データセットの個数をＮ個とすると、セット全体に対して特徴点の平均を、下記の数式３で表すことができる。
【００３４】
【数３】
【００３５】
同様に、
ベクトルのサイズは３ｎ×ｌである。
【００３６】
平均モデル生成部２０２は、数式３を計算すると平均的な特徴点である
を得て、これに基づいたモデルを生成することで、そのモデルが平均的な臓器モデルになりうる。ＡＳＭアルゴリズムは、平均的なモデルを生成するだけでなく、更に平均的なモデルを、複数のパラメータの調節だけで形態を変形させることができる。従って、平均モデル生成部２０２は、単純に平均的なモデルを計算するだけでなく、複数のパラメータを適用できるように数式を計算する。以下、パラメータを適用する数式を説明する。
【００３７】
下記の数式４によって特徴点の平均と各データとの差を表すことができる。数式４で、下添字ｉは、ｉ番目の映像を意味する。従って、数式４は、各映像における特徴点の全体映像の平均との差を意味する。
【００３８】
【数４】
【００３９】
各データの差を利用して数式５により、３つの変数ｘ，ｙ，ｚに対する共分散行列を定義できる。共分散行列を求める理由は、ＡＳＭアルゴリズムを適用するための複数のパラメータに対するアイゲンベクトルを求めるためである（詳細な内容は、上記論文に記載されている）。
【００４０】
【数５】
【００４１】
共分散行列Ｓの単位アイゲンベクトルをｐｋとすると、ベクトルｐｋが意味するものは、ＡＳＭアルゴリズムにより生成されたモデルが変化する態様である。例えば、ベクトルｐ１と乗算されたパラメータｂ１を
で変形させると、左右への長さが変わるか、又はベクトルｐ２と乗算されたパラメータｂ２を
で変形させると、上下への長さが変わることをいう。従って、この単位アイゲンベクトルｐｋ（サイズ３ｎ×ｌ）を、下記のように数式６により求める。
【００４２】
【数６】
（λｋは、アイゲン値（ｅｉｇｅｎ−ｖａｌｕｅ）を意味する）
【００４３】
それにより、最終的に変形を適用した特徴点ベクトルｘを、特徴点の平均ベクトルである
を利用して計算すると、
【００４４】
【数７】
ここでｐ＝（ｐ１，ｐ２，…ｐｔ）（各ｐｋのサイズ３ｎ×ｌ、ｐのサイズ３ｎ×ｔ）は、最初のｔ個のアイゲンベクトルをいい、ｂ＝（ｂ１，ｂ２，…ｂｔ）Ｔ（サイズｔ×ｌ）は、各アイゲンベクトルの比重（ｗｅｉｇｈｔ）を意味する。
【００４５】
平均モデル生成部２０２は、上記過程の数式の計算を通じて、平均的なモデルの形態を意味する
（サイズ３ｎ×ｌ）と、３次元ＡＳＭアルゴリズムを利用して変形を適用するためのｐ＝（ｐ１，ｐ２，…ｐｔ）（サイズ３ｎ×ｔ）ベクトルと、を計算できる。
【００４６】
個人化モデル生成部２０３は、平均モデル生成部２０２から平均的な臓器モデル（
）とｐ＝（ｐ１，ｐ２，…ｐｔ）（サイズ３ｎ×ｔ）ベクトルと、を入力し、３次元ＡＳＭアルゴリズムのパラメータ処理により個人化モデルを生成する。患者個人の臓器形状も同様に形態やサイズなどがそれぞれ異なるので、平均的な臓器モデルをそのまま使用すると、正確性が落ちる。その理由は、個人によって平均形態より左右が長いか、上下が長いか、又は左側がより厚いか、右側がより下方に下がっているなどの特徴があるためである。また個人の臓器に病変がある場合、病変の形態及び位置を正確に把握するために、個人化モデル生成部２０３は、病変の位置をモデルに含ませる。従って、個人化モデル生成部２０３は、映像撮影装置又は記録媒体から患者個人の外部医療映像を入力して、個人臓器形態、サイズ、位置情報を分析し、病変があると、病変の位置、サイズ、形態情報を分析する。以下、この過程を詳細に説明する。
【００４７】
個人化モデル生成部２０３は、ＣＴ或いはＭＲ映像のように臓器の形状を明確に把握できる映像に基づいて、患者個人のＡＳＭアルゴリズムのアイゲンベクトルの比重値（ベクトルｂ）を決定する。従って、先ず患者個人の外部医療映像を入力して臓器境界及び内部構造の位置座標情報を把握する。この際は、平均モデル生成部２０２が外部医療映像を分析する過程のように、図３の過程で把握する。更に上記アルゴリズムを初めて適用する際、特徴点を把握した方法と同じ過程で特徴点座標情報を把握すると、患者個人化した特徴点集合であるベクトルｘ（サイズ３ｎ×ｌ）の値を得ることができる。上記ベクトルに基づいて臓器モデルを生成したものが個人化モデルになる。数式７の逆関数及び単位アイゲンベクトルの性質（
）を活用すると、下記の数式８を得ることができる。数式８によって値を決定する。
【００４８】
【数８】
【００４９】
一方、平均モデル生成部２０２より決定されたベクトル情報
は、ストレージ２０７に対象臓器に対する平均的なモデルとして保存して、データベース化して反復的に使われる。また、個人化モデル生成部２０２に入力された患者個人の外部医療映像は、次の患者の診療時にデータベースに保存された平均的なモデルを決定する際に追加する学習過程を持つ。
【００５０】
映像整合部２０４は、個人化モデル生成部２０３からベクトル
情報を受けると、これを所定の周期の間の患者の医療映像と整合させる。超音波映像で臓器の位置に、ＡＳＭアルゴリズムを利用したモデルを重ねて出力するという意味であり、より正確には、映像でＡＳＭアルゴリズムにより形成されたモデルの座標情報に該当するピクセル或いはボクセル値を、所定の輝度に置換又は重畳させるという意味である。置換すると、元来の超音波映像から臓器部分は除去されて個人化モデルのみを出力するが、重畳させると、元来の超音波映像と個人化モデルとが重なった映像が出力される。重なった映像は、色を異ならせると肉眼で区分しやすい。例えば、白黒超音波映像に個人化モデルを青色で重畳させると、グラフィック的な形態を肉眼で容易に区別できる。
【００５１】
医療映像は、望ましくは、リアルタイム映像を撮影できる映像であり、例えば、超音波映像がある。医療映像は、２次元或いは３次元映像である。所定の周期は、望ましくは１呼吸周期になる。その理由は、身体の呼吸周期の間に臓器の変化も一定の周期を持つためである。例えば、患者の１呼吸周期を５秒とした場合、超音波映像を１秒当たり２０フレーム生成すると、１００フレームの映像が生成される。
【００５２】
映像整合部２０４で映像を整合する過程は、２段階に大別できる。所定の周期の間に入力される超音波映像で、呼吸による臓器の変化を３次元臓器モデルに反映させる段階と、変形が反映された３次元臓器モデルをスケール調整、軸回転及び軸移動して超音波映像における対象臓器と整列させる段階と、である。
【００５３】
映像整合部２０４が、呼吸による臓器の変化を３次元臓器モデルに反映させる段階は下記の通りである。医療映像と整合する前に超音波映像の場合を例として挙げると、超音波映像の各フレーム別に臓器の位置及び変化を把握して、ＡＳＭアルゴリズムのパラメータの比重値であるベクトルｂの値を調整する。この時に決定されるベクトルｂの値は、平均モデル生成部２０２で決定されたベクトルｂの値とあまり差がない。その理由は、映像整合部２０４は、患者の呼吸による変化のみ反映されるが、呼吸による臓器の形状変化は、他の個人との変化に比べて小さいためである。従って、ベクトルｂの値を決定する際に、平均モデル生成部２０２で決定されたベクトルｂの値に基づいて、所定の制限された範囲内の変形のみを加える。更に、前フレームのベクトルｂは、次のフレームのベクトルｂの決定に反映できる。その理由は、呼吸過程での臓器の変化は連続的であるため、短いフレーム間の周期の間に大きい変化がないためである。ベクトルｂの値を決定すると、３次元ＡＳＭアルゴリズムの演算により、各超音波映像に臓器の変形を反映した個人化モデルをフレーム別に生成できる。
【００５４】
図４は、映像整合部２０４が各映像別に臓器の変形を反映した個人化モデルを、回転、スケール調整、平行移動を通じて超音波映像における臓器の位置と一致させる過程のフローチャートである。詳細には、各フレーム別にアイゲンベクトルの比重値であるベクトルｂが定められた場合に、各フレーム別に一対一アフィン整合を行うフローチャートである。フレームの個数をＮとし、ｎをフレーム番号とすると、ｎ＝１からｎ＝Ｎになるまで一対一整合を行う。超音波映像における特徴点集合とモデルの特徴点集合とを使用して、各フレーム別にＩＣＰ（Ｉｔｅｒａｔｉｖｅ Ｃｌｏｓｅｓｔ Ｐｏｉｎｔ）アルゴリズムを利用してアフィン変換関数Ｔａｆｆｉｎｅを獲得し、これを利用して３次元身体臓器モデル映像を変換する。ＩＣＰアルゴリズムとは、複数の映像内の対象体を整列させるために、一つの映像を基準に残りの映像を回転、平行移動、スケール調整させるアルゴリズムである。ＩＣＰアルゴリズムは、“Ｉｔｅｒａｔｉｖｅ ｐｏｉｎｔ ｍａｔｃｈｉｎｇ ｆｏｒ ｒｅｇｉｓｔｒａｔｉｏｎ ｏｆ ｆｒｅｅ−ｆｏｒｍ ｃｕｒｖｅｓ ａｎｄ ｓｕｒｆａｃｅｓ”（Ｚｈｅｎｇｙｏｕ Ｚｈａｎｇ著）に詳細な説明がある。
【００５５】
図５は、２次元映像でアフィン変換関数を獲得する方法を簡略に示したものである。５０１は、変換を適用する前の状態であり、５０２は、変換を適用した後の状態である。変換の適用時には回転、平行移動、スケール調整をしなければならないが、アフィン変換が１：１点対応ということを利用すると、下記の数式９によって最初の座標と最終の座標とを獲得することで、直ちに行列Ｔａｆｆｉｎｅの係数を決定できる。
【００５６】
【数９】
【００５７】
数式１０は、２次元ではない３次元以上で獲得したアフィン変換関数（Ｔａｆｆｉｎｅ）を各フレーム別に適用させる式である。
【数１０】
【００５８】
ｎは、ｎ番目のフレームを意味し、（１≦ｎ≦Ｎ）の整数である。
は、映像整合部２０４で比重値であるベクトルｂを変化させた特徴点ベクトルを意味する。形成された
は、各フレーム別に変形を反映した臓器境界及び内部構造の位置座標情報があるが、これを超音波映像と整合させる際に、超音波映像で位置座標に該当するボクセル値を所定の輝度値に置換或いは重畳させると、肉眼で臓器のグラフィック的な態様を確認できる。
【００５９】
図６は、映像整合部２０４で映像を整合する過程を概略的に示すものである。図６は、一呼吸周期の間に入力された超音波映像に基づいて映像整合部２０４から入力された所定周期の間の医療映像と、身体臓器モデルとの整合映像を形成する過程を示した。入力された超音波映像は、図６で左側エッジに配置されており、入力された超音波映像で＊は、特徴点を表示したものである。入力された超音波映像は、吸気から呼気に至るまで呼吸の様々な形態を反映することが望ましい。
【００６０】
個人化モデル生成部２０３が生成した個人化モデルは、呼吸によってその形態が変形される。しかし、呼吸による変形は、個人間の多様性による変形よりは小さい。従って、呼吸による変形を反映する際に３次元ＡＳＭアルゴリズムパラメータの値を新たに求めることより、個人化モデル生成部２０３により決定されたパラメータ値で調整する方法がより迅速且つ容易である。変形を反映した臓器モデルの特徴点と、超音波映像の臓器における特徴点とを利用して、ＩＣＰアルゴリズムを通じてアフィン変換関数Ｔａｆｆｉｎｅを適用する。アフィン変換を介することで、３次元臓器モデルのサイズ及び位置が、超音波映像内の臓器のサイズ及び位置に合うように変わる。変形されたモデルを超音波映像に合成することは、モデルの位置に該当する超音波映像のピクセル（又はボクセル）値を一定の値に置換又は重畳する方法により行うことができる。一方、整合された映像を超音波−モデル整合映像といい、ストレージ２０７に保存する。
【００６１】
映像検索部２０５は、手術する過程での処理を行う。手術する過程を簡単に説明すると、リアルタイムで入力される超音波映像に臓器のグラフィック的形状が画面に出力され、手術者は、これを肉眼で確認しながら手術をする。この過程を具体的に説明すると、先ず、患者のリアルタイム医療映像を入力する。この時、医療映像は、望ましくは、映像整合部２０４から入力される映像と同じ映像である。従って、上記例と同様に、超音波映像を例として挙げると、リアルタイム超音波映像を入力して、映像整合部２０４に入力された所定周期の間の医療映像と比較して最も類似した映像を決定し、決定された映像と対応する超音波−モデル整合映像をストレージ２０７で検索して出力する。
【００６２】
映像検索部２０５で超音波映像における類似した映像を比較する実施形態としては、横隔膜の位置を検出して映像を決定する方法がある。入力されるリアルタイム医療映像で横隔膜の位置がＸならば、映像整合部２０４に入力された所定周期の複数の医療映像でそれぞれの横隔膜の位置とＸとの差を計算して、その差の最も小さな映像を検索する方法である。図７は、横隔膜の絶対的な位置の上下移動グラフを示す。グラフを分析すると、呼吸の周期で位置が規則的に変わることが分かる。望ましくは、映像整合部２０４から入力される所定周期の医療映像と、映像検索部２０５から入力されるリアルタイム医療映像との撮影時に、プローブ１１の位置及び患者の位置を固定させる。その理由は、プローブ１１の位置或いは患者の位置が変わると、映像で臓器の相対的な位置が変わり、相対的な位置が変わると、映像を比較する時に正確且つ早く検索できないためである。
【００６３】
映像検索部２０５で超音波映像における類似した映像を比較する更に他の実施形態としては、ピクセルの輝度差を利用して映像を決定する方法がある。最も類似した映像同士ではその輝度の差が最も少ないということを利用した方法である。具体的には、整合に使われた所定周期の医療映像（第１映像）のうち、リアルタイム医療映像の１フレームの映像（第２映像）と類似した映像を探す際、先ず第１映像のうちのいずれか一つの映像と第２映像の各ピクセル間の輝度差を計算して、全体輝度差に対する分散を求める。次いで、残りの第１映像と第２映像ともそれぞれ上記のような方法で分散を求めてその分散が最も小さな映像を決定すると、最も類似した映像を決定できる。
【００６４】
一方、追加調整部２０６は、出力された映像を見てユーザがアフィン変換関数Ｔａｆｆｉｎｅ、３次元ＡＳＭアルゴリズムのパラメータを調整して最終出力結果を調整する。ユーザが出力映像を見ながら肉眼で正確な変換を行うことができる。
【００６５】
図８は、３次元的な臓器モデル基盤の動的臓器と病変追跡方法の全体的なフローチャートを示すものである。８０２段階及び８０３段階は、既に処理されたデータをデータベース化する。８０２段階は、多様な個人に対して各個人の多様な呼吸周期に対するＣＴ或いはＭＲ映像を入力する。８０３段階は、入力された映像に基づいて３次元身体臓器モデルを生成する。その際、３次元ＡＳＭアルゴリズムを使用できるということは、上述した通りである。
【００６６】
８０１段階は、患者個人のＣＴ或いはＭＲ映像を入力する。８０４段階は、入力された映像に基づいて８０３段階で生成された３次元身体臓器モデルを変形させる。個人化した３次元身体臓器モデルを生成する過程は準備過程であり、手術室外でも行われうる。８０５段階は、患者１呼吸周期の間の超音波映像（以下、第１超音波映像という）が入力され、第１超音波映像と個人化した身体臓器モデルとを整合する。整合された映像を超音波−モデル整合映像といい、一時的メモリに保存してもよいし、ストレージなどの記録媒体に保存してもよい。８０５段階は、手術室内の準備過程で行われうる。また８０５段階及び８０６段階の患者及びプローブの位置は固定されていることが望ましい。８０６段階で手術室でのリアルタイム段階として、リアルタイムで患者の超音波映像（第２超音波映像）が入力されると、超音波映像と最も類似した第１超音波映像が決定され、決定された第１超音波映像に対応する超音波−モデル整合映像を出力する。
【００６７】
一方、上述した本発明の実施形態は、コンピュータで実行されるプログラムで作成でき、コンピュータ読み取り可能な記録媒体を利用してプログラムを作動させる汎用デジタルコンピュータで具現できる。また、上述した本発明の実施形態で使われたデータの構造は、コンピュータ読み取り可能な記録媒体に様々な手段により記録される。コンピュータ読み取り可能な記録媒体は、マグネチック記録媒体（例えば、ＲＯＭ、フロッピー（登録商標）ディスク、ハードディスクなど）、光学的判読媒体（例えば、ＣＤ−ＲＯＭ、ＤＶＤなど）などの記録媒体を含む。
【００６８】
以上、図面を参照しながら本発明の実施形態について詳細に説明したが、本発明は、上述の実施形態に限定されるものではなく、本発明の技術的範囲から逸脱しない範囲内で多様に変更実施することが可能である。
【産業上の利用可能性】
【００６９】
本発明は、３次元的モデルを利用した身体臓器の映像生成装置関連の技術分野に好適に用いられる。
【符号の説明】
【００７０】
１１ プローブ
１０ 映像検出装置
２０ 映像整合装置
３０ 映像表示装置
１０１ 整合映像形成部
２０１ 医療映像ＤＢ
２０２ 平均モデル生成部
２０３ 個人化モデル生成部
２０４ 映像整合部
２０５ 映像検索部
２０６ 追加調整部
２０７ ストレージ
【特許請求の範囲】
【請求項１】
患者の少なくとも一つの臓器を表す医療映像に基づいて該少なくとも一つの臓器の３次元モデルを生成する段階と、
前記患者の身体活動による前記少なくとも一つの臓器の形態的変化を表す複数の映像と前記臓器の３次元モデルとを整合させることで複数の整合映像を生成する段階と、
前記患者の現在身体状態に基づいて前記複数の整合映像のうちのいずれか一つを選択して出力する段階と、を有することを特徴とする臓器映像生成方法。
【請求項２】
前記３次元モデルを生成する段階における前記３次元モデルの生成は、患者医療映像に基づいて患者の臓器形態を表す３次元モデルを生成することを特徴とする請求項１に記載の臓器映像生成方法。
【請求項３】
前記整合映像を生成する段階は、
前記臓器の形態的変化に基づいて前記３次元モデルを変形する段階と、
前記３次元モデルの座標軸と前記複数の映像の座標軸とを一致させる段階と、を含むことを特徴とする請求項１に記載の臓器映像生成方法。
【請求項４】
前記整合映像を生成する段階は、前記複数の映像のピクセル／ボクセル値を一定輝度で重畳させて前記整合映像を生成することを特徴とする請求項３に記載の臓器映像生成方法。
【請求項５】
前記出力する段階は、前記複数の映像のうち、リアルタイム医療映像の映像と最も類似した映像に対応する整合映像を選択することを特徴とする請求項１に記載の臓器映像生成方法。
【請求項６】
前記出力する段階は、前記複数の映像の横隔膜の位置と前記リアルタイム医療映像の横隔膜の位置との差を計算して、最も差の少ない映像に対応する整合映像を選択することを特徴とする請求項５に記載の臓器映像生成方法。
【請求項７】
前記３次元モデルを生成する段階は、
前記医療映像から臓器の境界及び内部構造の位置座標情報を抽出する段階と、
特徴点の座標を前記位置座標情報内で指定する段階と、
統計的な外観モデルを生成する段階と、を含むことを特徴とする請求項１に記載の臓器映像生成方法。
【請求項８】
前記３次元モデルを生成する段階は、前記統計的な外観モデルを患者臓器の形態的特性を反映したモデルに変形する段階を更に含むことを特徴とする請求項７に記載の臓器映像生成方法。
【請求項９】
前記３次元モデルを生成する段階は、患者の医療映像に基づいて患者臓器の形態的特性を反映することを特徴とする請求項８に記載の臓器映像生成方法。
【請求項１０】
前記位置座標情報を抽出する段階は、前記医療映像で輝度値の変化が最大である地点を、臓器の境界及び内部構造の位置座標情報に決定することを特徴とする請求項７に記載の臓器映像生成方法。
【請求項１１】
前記位置座標情報を抽出する段階は、前記医療映像でＤＴＦＴ（Ｄｉｓｃｒｅｔｅ Ｔｉｍｅ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）の周波数の値が極大点である地点を、臓器の境界及び内部構造の位置座標情報に決定することを特徴とする請求項１０に記載の臓器映像生成方法。
【請求項１２】
前記位置座標情報を抽出する段階は、前記医療映像でユーザにより入力された座標に基づいて臓器の境界及び内部構造の位置座標情報を決定することを特徴とする請求項７に記載の臓器映像生成方法。
【請求項１３】
前記複数の映像は、呼吸周期において一定間隔で形成された映像であることを特徴とする請求項１に記載の臓器映像生成方法。
【請求項１４】
前記少なくとも一つの臓器を表す医療映像は、ＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）方式を利用して撮影した映像であることを特徴とする請求項１に記載の臓器映像生成方法。
【請求項１５】
前記少なくとも一つの臓器を表す医療映像は、ＭＲ（Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ）方式を利用して撮影した映像であることを特徴とする請求項１に記載の臓器映像生成方法。
【請求項１６】
前記複数の映像及び前記患者のリアルタイム医療映像は、超音波映像であることを特徴とする請求項１又は２に記載の臓器映像生成方法。
【請求項１７】
前記３次元モデルを生成する段階は、データベースに保存された既生成の３次元モデルを入力することで置換することを特徴とする請求項１に記載の臓器映像生成方法。
【請求項１８】
前記形態的特性は、病変の形態及び位置を更に含むことを特徴とする請求項８又は９に記載の臓器映像生成方法。
【請求項１９】
患者の少なくとも一つの臓器を表す医療映像に基づいて該少なくとも一つの臓器の３次元モデルを生成する臓器モデル生成部と、
前記患者の身体活動による前記少なくとも一つの臓器の形態的変化を表す複数の映像と前記臓器の３次元モデルとを整合した複数の映像を生成する映像整合部と、
前記患者の現在身体状態に基づいて前記複数の整合映像のうちのいずれか一つを選択する映像検索部と、を備えることを特徴とする臓器映像生成装置。
【請求項２０】
前記整合された映像をユーザの入力により更に調整できる追加調整部を更に備えることを特徴とする請求項１９に記載の臓器映像生成装置。
【請求項２１】
請求項１乃至１８のいずれか１項に記載の方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１】
患者の少なくとも一つの臓器を表す医療映像に基づいて該少なくとも一つの臓器の３次元モデルを生成する段階と、
前記患者の身体活動による前記少なくとも一つの臓器の形態的変化を表す複数の映像と前記臓器の３次元モデルとを整合させることで複数の整合映像を生成する段階と、
前記患者の現在身体状態に基づいて前記複数の整合映像のうちのいずれか一つを選択して出力する段階と、を有することを特徴とする臓器映像生成方法。
【請求項２】
前記３次元モデルを生成する段階における前記３次元モデルの生成は、患者医療映像に基づいて患者の臓器形態を表す３次元モデルを生成することを特徴とする請求項１に記載の臓器映像生成方法。
【請求項３】
前記整合映像を生成する段階は、
前記臓器の形態的変化に基づいて前記３次元モデルを変形する段階と、
前記３次元モデルの座標軸と前記複数の映像の座標軸とを一致させる段階と、を含むことを特徴とする請求項１に記載の臓器映像生成方法。
【請求項４】
前記整合映像を生成する段階は、前記複数の映像のピクセル／ボクセル値を一定輝度で重畳させて前記整合映像を生成することを特徴とする請求項３に記載の臓器映像生成方法。
【請求項５】
前記出力する段階は、前記複数の映像のうち、リアルタイム医療映像の映像と最も類似した映像に対応する整合映像を選択することを特徴とする請求項１に記載の臓器映像生成方法。
【請求項６】
前記出力する段階は、前記複数の映像の横隔膜の位置と前記リアルタイム医療映像の横隔膜の位置との差を計算して、最も差の少ない映像に対応する整合映像を選択することを特徴とする請求項５に記載の臓器映像生成方法。
【請求項７】
前記３次元モデルを生成する段階は、
前記医療映像から臓器の境界及び内部構造の位置座標情報を抽出する段階と、
特徴点の座標を前記位置座標情報内で指定する段階と、
統計的な外観モデルを生成する段階と、を含むことを特徴とする請求項１に記載の臓器映像生成方法。
【請求項８】
前記３次元モデルを生成する段階は、前記統計的な外観モデルを患者臓器の形態的特性を反映したモデルに変形する段階を更に含むことを特徴とする請求項７に記載の臓器映像生成方法。
【請求項９】
前記３次元モデルを生成する段階は、患者の医療映像に基づいて患者臓器の形態的特性を反映することを特徴とする請求項８に記載の臓器映像生成方法。
【請求項１０】
前記位置座標情報を抽出する段階は、前記医療映像で輝度値の変化が最大である地点を、臓器の境界及び内部構造の位置座標情報に決定することを特徴とする請求項７に記載の臓器映像生成方法。
【請求項１１】
前記位置座標情報を抽出する段階は、前記医療映像でＤＴＦＴ（Ｄｉｓｃｒｅｔｅ Ｔｉｍｅ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）の周波数の値が極大点である地点を、臓器の境界及び内部構造の位置座標情報に決定することを特徴とする請求項１０に記載の臓器映像生成方法。
【請求項１２】
前記位置座標情報を抽出する段階は、前記医療映像でユーザにより入力された座標に基づいて臓器の境界及び内部構造の位置座標情報を決定することを特徴とする請求項７に記載の臓器映像生成方法。
【請求項１３】
前記複数の映像は、呼吸周期において一定間隔で形成された映像であることを特徴とする請求項１に記載の臓器映像生成方法。
【請求項１４】
前記少なくとも一つの臓器を表す医療映像は、ＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）方式を利用して撮影した映像であることを特徴とする請求項１に記載の臓器映像生成方法。
【請求項１５】
前記少なくとも一つの臓器を表す医療映像は、ＭＲ（Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ）方式を利用して撮影した映像であることを特徴とする請求項１に記載の臓器映像生成方法。
【請求項１６】
前記複数の映像及び前記患者のリアルタイム医療映像は、超音波映像であることを特徴とする請求項１又は２に記載の臓器映像生成方法。
【請求項１７】
前記３次元モデルを生成する段階は、データベースに保存された既生成の３次元モデルを入力することで置換することを特徴とする請求項１に記載の臓器映像生成方法。
【請求項１８】
前記形態的特性は、病変の形態及び位置を更に含むことを特徴とする請求項８又は９に記載の臓器映像生成方法。
【請求項１９】
患者の少なくとも一つの臓器を表す医療映像に基づいて該少なくとも一つの臓器の３次元モデルを生成する臓器モデル生成部と、
前記患者の身体活動による前記少なくとも一つの臓器の形態的変化を表す複数の映像と前記臓器の３次元モデルとを整合した複数の映像を生成する映像整合部と、
前記患者の現在身体状態に基づいて前記複数の整合映像のうちのいずれか一つを選択する映像検索部と、を備えることを特徴とする臓器映像生成装置。
【請求項２０】
前記整合された映像をユーザの入力により更に調整できる追加調整部を更に備えることを特徴とする請求項１９に記載の臓器映像生成装置。
【請求項２１】
請求項１乃至１８のいずれか１項に記載の方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１２−２０５８９９（Ｐ２０１２−２０５８９９Ａ）
【公開日】平成２４年１０月２５日（２０１２．１０．２５）
【国際特許分類】
【出願番号】特願２０１２−７３６３１（Ｐ２０１２−７３６３１）
【出願日】平成２４年３月２８日（２０１２．３．２８）
【出願人】（３９００１９８３９）三星電子株式会社 (8,520)
【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ．
【住所又は居所原語表記】１２９，Ｓａｍｓｕｎｇ−ｒｏ，Ｙｅｏｎｇｔｏｎｇ−ｇｕ，Ｓｕｗｏｎ−ｓｉ，Ｇｙｅｏｎｇｇｉ−ｄｏ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ
【Ｆターム（参考）】
【公開日】平成２４年１０月２５日（２０１２．１０．２５）
【国際特許分類】
【出願日】平成２４年３月２８日（２０１２．３．２８）
【出願人】（３９００１９８３９）三星電子株式会社 (8,520)
【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ．
【住所又は居所原語表記】１２９，Ｓａｍｓｕｎｇ−ｒｏ，Ｙｅｏｎｇｔｏｎｇ−ｇｕ，Ｓｕｗｏｎ−ｓｉ，Ｇｙｅｏｎｇｇｉ−ｄｏ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ
【Ｆターム（参考）】
[ Back to top ]