前方視画像データを収集するデバイスからの表示用画像データのためのレンダリングのための装置
【課題】前方視画像データを収集するデバイスからの表示画像データのためのレンダリングのための装置を提供する。
【解決手段】装置は、画像データ収集デバイスにより収集された組織の前方視円錐状セクションからの表示画像データのためのレンダリングを行うものであり、画像データを受信するように構成されたデータ入力ユニットと、表示されるときに３次元の外観を与えるように、投影された３次元幾何モデル上に画像データをラスタ化してラスタ化画像を生成するように構成された画像データ処理ユニットとを備える。
【解決手段】装置は、画像データ収集デバイスにより収集された組織の前方視円錐状セクションからの表示画像データのためのレンダリングを行うものであり、画像データを受信するように構成されたデータ入力ユニットと、表示されるときに３次元の外観を与えるように、投影された３次元幾何モデル上に画像データをラスタ化してラスタ化画像を生成するように構成された画像データ処理ユニットとを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は、参照により本明細書に組み込まれる、２００６年５月２２日に出願された米国出願１１／４３７６８７の出願日の優先権を主張する。
【０００２】
本発明は、表示前方視画像データ（display forward-looking image data）のためのレンダリングのための装置および方法を対象とする。
【背景技術】
【０００３】
インターベンショナル医学の分野では、組織の画像を作成するために、カテーテル、腹腔鏡および内視鏡がしばしば使用される。これらの画像は、例えば、病気を診断および処置するために使用することができる。更に、場合によっては、医療状態の治療の処置中に進行をガイドおよび／または監視するために、医療画像を採用することが有利である場合がある。超音波イメージングおよび光コヒーレンス・トモグラフィ（ＯＣＴ）は、そのような応用に十分適したイメージング技術である。例えば、これらは、例えば、カテーテル、内視鏡または腹腔鏡の端部から、断層画像をリアルタイムで生成することができる。これらのモダリティからの画像は、平面の断層フォーマットで表示される傾向がある。例えば、機械的にあるいは手動で操舵されるデバイスを使用し、トランスデューサを回転させると、これらの画像は通常、円形画像として表示される。大部分の医療超音波およびＯＣＴ画像は、トランスデューサの機械的な回転により走査されるが、これらはまた、カテーテルまたは他のデバイスの端部からの超音波または光ビームを操向（ステアリング）することにより、電子的に走査されることも可能である。新しいデバイスは、現在、手動で回転される血管内超音波（ＩＶＵＳ）イメージングを組み込む。
【０００４】
治療をガイドおよび監視するために、例えば、カテーテル、内視鏡または腹腔鏡を、血管または体腔という制限の中で使用するとき、しばしばカテーテル、内視鏡または腹腔鏡の先端の前方にあるものを視覚化したいと思うであろう。これは特に、治療デバイスが、カテーテル、内視鏡または腹腔鏡の最遠位端に位置するとき、当てはまる。前方視覚化はまた、生検標本を特定の組織から低侵襲の方法で収集することを望むとき、有益であり得る。機械的にステアリングされる超音波およびＯＣＴデバイスは、カテーテル、内視鏡または腹腔鏡の軸に実質的に垂直である画像の作成に優れている。しかしながら、治療をガイドする目的では、幾つかの応用例では、例えば、カテーテル、内視鏡または腹腔鏡の先端より遠位にある組織を示す円錐状の前方視表面を、トランスデューサまたは光ファイバにスイープさせることが好ましい。
【０００５】
インターベンショナル医学の分野は、低侵襲的の技術を病気の処置に適用するために生じた。診断および治療ガイダンスのツールについて、心臓血管インターベンションを行う者は、蛍光透視システムを有し、これは、放射線不透性造影剤を血流に注入することにより血液プール（blood pool）をイメージングし、次いで、リアルタイムのＸ線イメージング技術を使用して、その造影剤が血管を通過するときにそれを見ることを可能にした。この技術の主な制限は、フルオロスコープが実際には血管組織をイメージングせず、むしろ、血管腔内の血液プールをイメージングすることであった。血液プールだけでなく、血管壁の画像を得る試みにおいて、超音波イメージング・トランスデューサがカテーテルの遠位端に取り付けられ、動脈内に配置された。これらのトランスデューサは典型的には、直径約１ｍｍのカテーテルに取り付けられた。超音波トランスデューサは典型的には、約６５ｍｍ〜７５ｍｍの開口を有した。この手法は、確かに、動脈壁を含む組織の視覚化を可能にした。
【０００６】
光コヒーレンス・トモグラフィ（ＯＣＴ）は、参照により本明細書に組み込まれる米国特許第５３２１５０１号に記載されており、これは超音波イメージングに似ていているが、音波からのエコーの代わりに、反射された赤外光を使用して、画像を作成する。超音波技術のように、これは、直径約１ｍｍのカテーテルに組み込まれることが可能であり、血管腔に加えて血管壁の画像を作成することができる。
【０００７】
幾つかの機械的にステアリングされるＩＶＵＳおよびカテーテルに基づいたＯＣＴイメージング・システムは、カテーテルの軸に対する垂直から数度外れた画像を作成するが、このようにして、これらのシステムは、カテーテルのシースからの反射を最小限にするように構築される。反射の大きさは、伝播の方向に対して厳密に垂直なカテーテル・シースに遭遇するとき、最大である。典型的には、これらのカテーテルは、カテーテル軸に対する垂直から約＋５度から−５度までイメージングする。これらの画像はほぼ平面であるので、これらは２次元画像としてビデオ・モニタに表示される。しかしながら、カテーテルの先端より遠位の組織を見るためには、垂直からより大きい角度が採用されなければならない。これは、トランスデューサまたは光ファイバの前でスイープされる円錐状前方視表面を生じる。米国特許出願１１／０５３１４１は、参照により本明細書に組み込まれるが、これは、このような画像を、画像データの色相、彩度および強度を使用して、非平面の画像の印象を与えるように表示するための幾つかの方法を教示する。
【０００８】
従来技術のイメージング・システムの優れたレビューは、Ｂｏｍその他による「Ｅａｒｌｙ ａｎｄ Ｒｅｃｅｎｔ Ｉｎｔｒａｌｕｍｉｎａｌ Ｕｌｔｒａｓｏｕｎｄ Ｄｅｖｉｃｅｓ」，Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃａｒｄｉａｃ Ｉｍａｇｉｎｇ，Ｖｏｌ．４ １９８９年，７９〜８８ページ（以下、「Ｂｏｍ論文」）で見ることができ、これを参照により本明細書に組み込まれる。Ｂｏｍ論文は、長年試行されてきた腔内画像作成のための異なる手法を論じる。ＩＶＵＳイメージングに関しては、特に、多数の特許が存在する。例えば、参照により本明細書に組み込まれるＹｏｃｋの米国特許第４７９４９３１号は、血管内超音波イメージング・デバイスと、イメージングおよび治療の組み合わせデバイスとを共に教示し、かつ、治療をガイドするためのその使用を教示する。教示されたカテーテルは、実際には平面であり、円形切断エレメントを用いてのアテローム性動脈硬化組織の除去をガイドする助けとなるように意図される画像を作成する。この特許の継続出願は、治療ガイダンスの他の形態を包含する。
【０００９】
市販のＩＶＵＳ製品は、今日、カテーテルの縦軸にほぼ垂直である２次元画像を作成する。米国特許第５３６１７６８号は、参照により本明細書に組み込まれ、これにおいて論じられるようなモータ付きの機械的なプルバック・スレッド（pullback sled）を追加して、カテーテルは、血管から移動される（引き出される）際に、これらの平面画像を収集することができる。カテーテルのプルバックはまた、手で行われる場合もある。これは事実上、３次元空間のスパイラル・サンプリングになり、これは、次いで様々な方法で表示されることが可能である。データが収集された後、３次元ボリュームを、縦軸に沿って、しばしば縦モード（Ｌモード）画像と称されるものへと再区切りすることができ、この画像は単に血管の縦のスライスである。しかしながら、これらの３次元ＩＶＵＳ画像の主要目的は、アテローム性動脈硬化プラークの合計組織容量を測定することである。イメージング・データの、様々な組織およびプラーク成分へのセグメンテーション（区分）は現在、自動的にコンピュータ・アルゴリズムにより行うことができ、それによりオペレータを、様々な組織成分の境界をトレースする退屈な仕事から救うことができ、これについては「Ｐｒｅｉｎｔｅｒｖｅｎｔｉｏｎ Ｌｅｓｉｏｎ Ｒｅｍｏｄｅｌｉｎｇ Ａｆｆｅｃｔｓ Ｏｐｅｒａｔｉｖｅ Ｍｅｃｈａｎｉｓｍｓ ｏｆ Ｂａｌｌｏｏｎ Ｏｐｔｉｍｉｚｅｄ Ｄｉｒｅｃｔｉｏｎａｌ Ｃｏｒｏｎａｒｙ Ａｔｈｅｒｅｃｔｏｍｙ Ｐｒｏｃｅｄｕｒｅｓ：Ａ Ｖｏｌｕｍｅｔｒｉｃ Ｓｔｕｄｙ Ｗｉｔｈ Ｔｈｒｅｅ Ｄｉｍｅｎｓｉｏｎａｌ Ｉｎｔｒａｖａｓｃｕｌａｒ Ｕｌｔｒａｓｏｕｎｄ」、Ｈｅａｒｔ、２０００年、８３、１９２〜１９７において論じられており、これを参照により本明細書に組み込む。
【００１０】
しかしながら、幾つかの応用例では、カテーテル先端の前あるいは遠位の組織を見ることが有利である。２次元前方視ＩＶＵＳイメージングは、何人かの著者により文書化されている。参照により本明細書に組み込まれるＥｖａｎｓその他による「Ａｒｔｅｒｉａｌ Ｉｍａｇｉｎｇ ｗｉｔｈ ａ Ｎｅｗ Ｆｏｒｗａｒｄ−Ｖｉｅｗｉｎｇ Ｉｎｔｒａｖａｓｃｕｌａｒ Ｕｌｔｒａｓｏｕｎｄ Ｃａｔｈｅｔｅｒ，Ｉ，Ｉｎｉｔｉａｌ Ｓｔｕｄｉｅｓ」、Ｃｉｒｃｕｌａｔｉｏｎ、ｖｏｌ．８９、Ｎｏ．２、７１２〜７１７ページ，１９９４年２月は、機械的に揺動される（ｗｏｂｂｌｅｄ）トランスデューサが、前方視の断層の２次元画像をスイープし、その２次元画像は、超音波業界において一般的な走査コンバージョン技術を使用して表示される。
【００１１】
参照により本明細書に組み込まれる、Ｎｇにより書かれた「Ａｒｔｅｒｉａｌ Ｉｍａｇｉｎｇ Ｗｉｔｈ ａ Ｎｅｗ Ｆｏｒｗａｒｄ−Ｖｉｅｗｉｎｇ Ｉｎｔｒａｖａｓｃｕｌａｒ Ｕｌｔｒａｓｏｕｎｄ Ｃａｔｈｅｔｅｒ，ＩＩ Ｔｈｒｅｅ−Ｄｉｍｅｎｓｉｏｎａｌ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ａｎｄ Ｄｉｓｐｌａｙ ｏｆ Ｄａｔａ」という名称の手引書は、画像情報の表示を扱う。前方視トランスデューサを使用し、これをカテーテル軸上で回転させることにより、完全な３次元円錐状データ・セットが得られる。このデータ・セットから、Ｃスキャン（トランスデューサ面に平行な２次元断面）または血管断面画像が次いで再構築される。手動で血管壁の境界をトレースし、空間的に成分２次元画像をオリエント（配向）した後、血管の３次元表面透視図をレンダリングした。
【００１２】
参照により本明細書に組み込まれる「Ｔｈｒｅｅ−Ｄｉｍｅｎｓｉｏｎａｌ Ｆｏｒｗａｒｄ−Ｖｉｅｗｉｎｇ Ｉｎｔｒａｖａｓｃｕｌａｒ Ｕｌｔｒａｓｏｕｎｄ Ｉｍａｇｉｎｇ ｏｆ Ｈｕｍａｎ ｉｎ Ｖｉｔｒｏ」という名称の、Ｇａｔｚｏｕｌｉｓその他による別の論文は、カテーテルの端部における類似の機械的に揺動されるトランスデューサを記載するが、これは、両方の完全な３次元レンダリングされたボリュームにおけるセクション、Ｂスキャン（トランスデューサの面に垂直な２次元断面）・フォーマット・セクションおよびＣスキャン・フォーマット・セクション、を表示するために後処理ソフトウェアを使用する。
【００１３】
更に、参照により本明細書に組み込まれるＬｉａｎｇその他の米国特許第５６５１３６６号は、血管内カテーテルの先端より遠位の前方視画像を作成するためのデバイスの特許を取得した。病気の診断だけでなく、治療のガイダンスも想定される。Ｌｉａｎｇのカテーテルは、カテーテルの遠位先端においてミラーを採用し、カテーテルは、相対運動するトランスデューサからの超音波ビームをミラーへ反射する。指定された形状（ジオメトリ）により、ほぼ扇形のフォーマットが、カテーテルの前にある組織をイメージングするために作成される。
【００１４】
参照により本明細書に組み込まれる１９９１年の「Ｉｎｖｅｓｔｉｇａｔｉｏｎ ｏｆ ａ Ｆｏｒｗａｒｄ−Ｌｏｏｋｉｎｇ ＩＶＵＳ Ｉｍａｇｉｎｇ Ｔｒａｎｓｄｕｃｅｒ」という名称のＬｅｅおよびＢｅｎｅｋｅｓｅｒによる論文には、前方視血管内イメージング・トランスデューサの概念が記載されている。この場合、伝えられた音が円錐状のミラーに反射されて、カテーテルの前で円錐状走査パターンが作成される。どのようにして３次元画像を正確に表示するべきかについての考察は、この原稿には含まれていない。推定上、円錐状セクションは従来のＩＶＵＳ２次元画像として表示されるであろう。
【００１５】
参照により本明細書に組み込まれるＳｍｉｔｈその他の米国特許第６０６６０９６号は、診断および治療デバイスを共に組み込むことができる、カテーテルの端部における電子的にステアリングされる２次元フェイズドアレー・トランスデューサを教示する。このトランスデューサは、一実施形態では、前方視イメージング・システムである。この特許は、視野内の任意の平面を提示するためにＣスキャン表示およびＢスキャン表示を採用する従来技術を引用する。
【００１６】
参照により本明細書に組み込まれる米国特許第６４５７３６５号および第６７８０１５７号は、側方視および前方視の組み合わせのカテーテルに基づいたイメージング・システムを教示する。これらの特許は、前方視３次元画像データを表示するための２つの技術、即ち、ＢスキャンおよびＣスキャンを提案する。
【００１７】
光コヒーレンス・トモグラフィ（ＯＣＴ）は超音波イメージングに似ているが、音波の代わりに光波を使用して画像を作成する。光の速度は音の速度よりはるかに速いので、単純な電子ゲーティング技術は、様々な深度で組織から出てくる反射を分離するのに十分ではない。その代わりに、干渉計が使用されるが、信号処理の残りの部分は超音波イメージングにおけるものとほとんど同じである。ＯＣＴおよびＩＶＵＳは共にカテーテルの遠位先端からの画像を提供することができ、共にインターベンショナル治療手順をガイドすることができる。血管内超音波イメージングのための表示オプションはすべて、当業者により容易に血管内ＯＣＴイメージングに適用可能である。
【００１８】
医療および非医療画像の両方の３次元レンダリングは一般的である。３次元画像レンダリングは、画像情報のインテグリティ、強度および幾何学的精度を保ちながら、人間の理解に適したように、収集された画像データを変換するプロセスである。
【００１９】
医療イメージングでは、表示は２つの大まかなカテゴリに分かれる傾向がある。第１のものは表面レンダリング技術であり、ここでは、器官表面または組織表面が画像データから検出され、組織自体よりむしろ組織の表面が表示される。これらの表面レンダリングでは、３次元透視図の作成に加えて、３次元オブジェクトを観察中であるという認識を高めるために、ライティング（明るくする）、シェーディング（陰をつける）および／またはテクスチャ（質感）をしばしば追加する。
【００２０】
第２の技術は、単に何れかの２次元スライスを３次元ボリュームから選択し、その画像平面をモニタに表示することを含む。超音波イメージングの場合、これらの２次元平面は、音波が移動した平面にある場合はＢスキャンと呼ばれ、あるいは、音波が最初に移動した平面に垂直である場合はＣスキャンと呼ばれる。他の医療イメージング・モダリティでは、これらは単に、カットされた平面または再サンプルされた平面と呼ばれる。
【００２１】
観察者が３次元オブジェクトを、オブジェクト内部の観点から見ることができる代替的な３次元表示技術は、Ｗｉｌｌｉａｍｓその他の米国特許第５６０６４５４号において教示され、これは参照により本明細書に組み込まれる。この手法は、表示されるべき構造が実際に空洞である腔内イメージングにとって、特定の魅力があり得る。
【００２２】
上記の参考文献は、追加または代替の詳細、特徴および／または技術背景の適切な教示のために適切であるところで、参照により本明細書に組み込まれる。
【先行技術文献】
【特許文献】
【００２３】
米国特許出願１１／０５３１４１号
米国特許第４７９４９３１号
米国特許第５３６１７６８号
米国特許第５６５１３６６号
米国特許第６０６６０９６号
米国特許第６４５７３６５号
米国特許第第６７８０１５７号
米国特許第５６０６４５４号
米国特許出願１１／２６１６３５号
【非特許文献】
【００２４】
Ｂｏｍその他、「Ｅａｒｌｙ ａｎｄ Ｒｅｃｅｎｔ Ｉｎｔｒａｌｕｍｉｎａｌ Ｕｌｔｒａｓｏｕｎｄ Ｄｅｖｉｃｅｓ」，Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃａｒｄｉａｃ Ｉｍａｇｉｎｇ，Ｖｏｌ．４ １９８９年，７９〜８８ページ
Ｈｅａｒｔ、「Ｐｒｅｉｎｔｅｒｖｅｎｔｉｏｎ Ｌｅｓｉｏｎ Ｒｅｍｏｄｅｌｉｎｇ Ａｆｆｅｃｔｓ Ｏｐｅｒａｔｉｖｅ Ｍｅｃｈａｎｉｓｍｓ ｏｆ Ｂａｌｌｏｏｎ Ｏｐｔｉｍｉｚｅｄ Ｄｉｒｅｃｔｉｏｎａｌ Ｃｏｒｏｎａｒｙ Ａｔｈｅｒｅｃｔｏｍｙ Ｐｒｏｃｅｄｕｒｅｓ：Ａ Ｖｏｌｕｍｅｔｒｉｃ Ｓｔｕｄｙ Ｗｉｔｈ Ｔｈｒｅｅ Ｄｉｍｅｎｓｉｏｎａｌ Ｉｎｔｒａｖａｓｃｕｌａｒ Ｕｌｔｒａｓｏｕｎｄ」、２０００年、８３、１９２〜１９７
Ｅｖａｎｓその他、「Ａｒｔｅｒｉａｌ Ｉｍａｇｉｎｇ ｗｉｔｈ ａ Ｎｅｗ Ｆｏｒｗａｒｄ−Ｖｉｅｗｉｎｇ Ｉｎｔｒａｖａｓｃｕｌａｒ Ｕｌｔｒａｓｏｕｎｄ Ｃａｔｈｅｔｅｒ，Ｉ，Ｉｎｉｔｉａｌ Ｓｔｕｄｉｅｓ」、Ｃｉｒｃｕｌａｔｉｏｎ、ｖｏｌ．８９、Ｎｏ．２、７１２〜７１７ページ，１９９４年２月
Ｎｇ、「Ａｒｔｅｒｉａｌ Ｉｍａｇｉｎｇ Ｗｉｔｈ ａ Ｎｅｗ Ｆｏｒｗａｒｄ−Ｖｉｅｗｉｎｇ Ｉｎｔｒａｖａｓｃｕｌａｒ Ｕｌｔｒａｓｏｕｎｄ Ｃａｔｈｅｔｅｒ，ＩＩ Ｔｈｒｅｅ−Ｄｉｍｅｎｓｉｏｎａｌ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ａｎｄ Ｄｉｓｐｌａｙ ｏｆ Ｄａｔａ」
Ｇａｔｚｏｕｌｉｓその他、「Ｔｈｒｅｅ−Ｄｉｍｅｎｓｉｏｎａｌ Ｆｏｒｗａｒｄ−Ｖｉｅｗｉｎｇ Ｉｎｔｒａｖａｓｃｕｌａｒ Ｕｌｔｒａｓｏｕｎｄ Ｉｍａｇｉｎｇ ｏｆ Ｈｕｍａｎ ｉｎ Ｖｉｔｒｏ」
ＬｅｅおよびＢｅｎｅｋｅｓｅｒ、「Ｉｎｖｅｓｔｉｇａｔｉｏｎ ｏｆ ａ Ｆｏｒｗａｒｄ−Ｌｏｏｋｉｎｇ ＩＶＵＳ Ｉｍａｇｉｎｇ Ｔｒａｎｓｄｕｃｅｒ」、１９９１年
Ｆｏｌｅｙその他、「Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃ Ｐｒｉｎｃｉｐｌｅｓ ａｎｄ Ｐｒａｃｔｉｃｅ」、第２版、Ａｄｄｉｓｏｎ−Ｗｅｓｌｅｙ Ｐｕｂｌｉｓｈｉｎｇ Ｃｏｍｐａｎｙ、１９９０年
Ｅ．Ｃａｔｍｕｌｌ、「Ａ Ｓｕｂｄｉｖｉｓｉｏｎ Ａｌｇｏｒｉｔｈｍ ｆｏｒ Ｃｏｍｐｕｔｅｒ Ｄｉｓｐｌａｙ ｏｆ Ｃｕｒｖｅｄ Ｓｕｒｆａｃｅｓ」、ＰｈＤ Ｔｈｅｓｉｓ，Ｒｅｐｏｒｔ ＵＴＥＣ−ＣＳｃ−７４−１３３、Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ Ｄｅｐａｒｔｍｅｎｔ、Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｕｔａｈ、Ｓａｌｔ Ｌａｋｅ Ｃｉｔｙ、Ｕｔａｈ、１９７４年１２月
「Ｃｏｍｐｕｔｅｒ Ｄｉｓｐｌａｙ ｏｆ Ｃｕｒｖｅｄ Ｓｕｒｆａｃｅｓ」、Ｐｒｏｃ １ＥＥＥ、Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ、Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，ａｎｄ Ｄａｔａ Ｓｔｒｕｃｔｕｒｅｓ、１９７５年５月
Ｊ．Ｆ．ＢｌｉｎｎおよびＭ．Ｅ．Ｎｅｗｅｌｌ、「Ｔｅｘｔｕｒｅ ａｎｄ Ｒｅｆｌｅｃｔｉｏｎ ｉｎ Ｃｏｍｐｕｔｅｒ Ｇｅｎｅｒａｔｅｄ Ｉｍａｇｅｓ」、Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｏｆ ｔｈｅ ＡＣＭ、１９（１０）、１９７６年１０月，５４２〜５４７ページ
Ｐ．Ｓ．Ｈｅｃｋｂｅｒｔ、「Ｓｕｒｖｅｙ ｏｆ Ｔｅｘｔｕｒｅ Ｍａｐｐｉｎｇ」、１ＥＥＥ Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ、６（１１）、１９８６年１１月，５６〜５７ページ
Ｄａｖｉｄ Ａ．Ｒｏｇｅｒｓ、「Ｐｒｏｃｅｄｕｒａｌ Ｅｌｅｍｅｎｔｓ ｆｏｒ Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ」、ＭｃＧｒａｗ−Ｈｉｌｌ Ｂｏｏｋ Ｃｏｍｐａｎｙ、１９８５年
Ｍａｒｋ Ｆｅｌｄｍａｎ、「Ｔｈｅ ＰＣ Ｇａｍｅ Ｐｒｏｇｒａｍｍｉｎｅｒ’ｓ Ｅｎｃｙｃｌｏｐｅｄｉａ：Ｔｅｘｔｕｒｅ Ｍａｐｐｉｎｇ」，ｈｔｔｐ：／／ｗｗｗ．ｇｅｏｃｉｔｉｅｓ．ｃｏｍ／ＳｉｌｉｃｏｎＶａｌｌｅｙ／２１５１／ｔｍａｐ．ｈｔｍｌ
【発明の概要】
【００２５】
本発明の目的は、少なくとも上記の問題および／または欠点を解決すること、および、少なくとも後述の利点を提供することである。
【００２６】
本発明は、表示前方視画像データのためのレンダリングのための装置および方法を対象とする。
【００２７】
本発明の追加の利点、目的および特徴は、一部分においては、以下に続く明細書において述べられ、一部分においては、以下の検討において当業者には明らかとなり、あるいは、本発明の実施から知ることができる。本発明の目的および利点は、特許請求の範囲において特に指摘されたように、理解および達成することができる。
【００２８】
本特許または出願ファイルは、カラーで作成された少なくとも１つの図面を含む。カラー図面（１または複数）を有する本特許または特許出願公報の複写は、要求に応じて、および必要な手数料を支払うことにより、特許庁により提供される。
【００２９】
本発明を、以下の図面を参照して詳細に説明するが、図面において同様の参照番号は同様の要素を指す。
【図面の簡単な説明】
【００３０】
【図１】図１は、本発明の一実施形態によるＩＶＵＳイメージング・システムの概略図である。
【図２Ａ】図２Ａは、本発明の一実施形態によるレンダリング装置のブロック図である。
【図２Ｂ】図２Ｂは、本発明の一実施形態によるレンダリング方法の流れ図である。
【図３】図３は、前方走査円錐の描写を伴う、カテーテルおよびトランスデューサ・アセンブリの斜視図である。
【図４Ａ】図４Ａは、例示的な非章動の円錐状多面体の斜平行投影である。
【図４Ｂ】図４Ｂは、別の例示的な非章動の円錐状多面体の斜平行投影である。
【図５】図５は、図４Ａの円錐状多面体の例示的な章動されたバージョンの透視投影を示す。
【図６】図６は、本発明による例示的なデータ・テーブルを示す。
【図７】図７の７Ａ〜７Ｆは、本発明の実施形態による装置および方法を利用した例示的な表示から取られた静止フレームである。
【発明を実施するための形態】
【００３１】
本発明は、円錐状の前方視画像を２次元ビデオ・モニタ上に、オペレータに情報の３次元性を伝えるように表示するためのレンダリングを対象とする。本発明は、カテーテルまたは他に基づいたインターベンションをガイドするために、例えば血管の前方視セクションの視覚化を可能にする、新規のイメージング様式を提供する。本発明は、動脈穿孔を修復するために必要な緊急のバイパス手術の数を減らすことができるだけでなく、より重要なことには、冠動脈損傷の多くに対しての低侵襲の処置を容易にし、それにより、はるかに費用のかかる冠動脈バイパス手術を回避することができる。
【００３２】
更に、本発明のある実施形態は、提示されている情報を観察者が直ちに吸収し、より効率的および効果的な診断および治療決定を行うことができるように、円錐状の前方視画像データを幾何学的に正確に表示する装置および方法を対象とする。この表示は、Ｂスキャン・フォーマットでも、Ｃスキャン・フォーマットでも、３次元表面レンダリングでもない。画像データは、３次元幾何モデル（一実施形態においては円錐）の表面上にあるかのように表示される。画像が再走査されると、３次元幾何モデルの表面（一実施形態では円錐状表面）の正確な幾何学的位置において、新しい画像データが以前の画像データに取って代わることができる。
【００３３】
観察者による画像データの視覚化を向上させるために、章動運動が採用されてもよい。３次元幾何モデルが円錐である一実施形態では、章動運動は観察者に、その表示が実際には円錐表面であるという印象を与えるようになる。ライティングおよび／またはシェーディングもまた、３次元オブジェクトの印象を更に向上させるために使用されてもよい。この章動は、固定回転速度によるものであってもよく、あるいは、画像データが更新されるとき、章動角が例えば最新画像データと約１８０度位相がずれるように、画像デバイスの回転に適合させてもよい。別法として、新しい画像データは章動角と厳密に同相であってもよい。
【００３４】
３次元幾何モデルが円錐である一実施形態では、円錐の軸と、画像表示に対して垂直な直線の間の角度が、円錐角に対して十分に小さくされて、円錐全体の章動が円錐の背面に対する観察者の視界を遮ることが防止される。これは、隠線除去アルゴリズムを組み込む計算的負担を回避する利点を有する。
【００３５】
本発明の実施形態による装置および／または方法が、診断および／または治療ツールまたはデバイスの位置決めを支援するために使用される場合、そのツールまたはデバイスがアクティブとな場所を観察者に通知するために、代表マーキングが３次元幾何モデルの表面に重ね合わせられてもよい。
【００３６】
更に、本発明のある実施形態は、画像データを３次元円錐状走査フォーマットで獲得する前方視腔内トランスデューサからの表示画像データのためのレンダリングのための方法および装置を対象とする。このデータはリアルタイムで表示されてもよく、画像の３次元円錐性への視覚的キュー（手がかり）を提供するために、デバイスの回転の軸に関して章動されてもよい。章動角（nutation angle）は、最新の入来データの角度に基づいて自動的に、あるいは、章動角の周期的な時間変動するスイープに基づいて自動的に、あるいは、例えばポインティング・デバイスからのユーザ入力に基づいて手動で、制御されることが可能である。
【００３７】
円錐状走査フォーマットの３次元幾何モデルが構築され、次いで、回転、移動（translation）、スケーリングおよび投影を介して、２次元空間へ変換されてもよい。章動角が使用されて、複合回転シーケンスが作成されてもよく、これは、３次元円錐モデルに適用されてもよく、それにより円錐の縦軸が所望される方向に傾けられることになる。画像データは、変換されたモデルに従って走査コンバート（即ち、ラスタ化）され得る。結果として生じる走査コンバートされた画像は、３次元円錐状走査フォーマットの２次元表現である。
【００３８】
画像が３次元であるという主要な視覚的キューは、変化させられる章動角であるが、追加のキュー（手がかり）が追加されてもよい。例えば、ライティング、シェーディングおよび／またはテクスチャが追加されて、円錐の表面の向きに関連する追加の情報が提供されてもよい。例えば、垂線が見る者の方向を向いた表面は、垂線が見る者から離れる表面よりも、多くの光を「反射」し、より明るく見えるようになる。
【００３９】
加えて、本発明のある実施形態は、獲得された画像データの３次元円錐状走査フォーマットへの視覚的手がかりを提供するレンダリング技術を使用した、前方視腔内トランスデューサからの表示画像データのためのレンダリングのための方法および装置を含む。前方視トランスデューサは、例えば、カテーテル、内視鏡または腹腔鏡の前にあるものを視覚化することにおいて有用であり、これは、治療モダリティがそのようなデバイスの最遠位端に位置するとき、特に重要である。視覚的手がかりは、トランスデューサ回転の軸を自動的あるいは手動的に章動させて、画像の円錐状走査フォーマットが明らかであるようにすることを含み得るが、これに限定されるものではない。この方法および装置を使用して、このような画像データ・セットをレンダリングすることは、前方視トランスデューサからのデータが従来の平面走査コンバージョン・アルゴリズムによりレンダリングされるときに発生する幾何学的歪みを回避する。
【００４０】
本発明は一般に医療デバイスの分野に関し、より詳細にはインターベンショナル医学の分野に関する。本発明は、画像におけるすべての点の３次元空間的方向の正確な描写を提供し、それにより、病気のより正確な診断および処置を可能にする。本発明を説明する目的で使用される１つの特定の応用例は、インターベンショナル心臓病学であるが、本発明は、画像データの視覚化においてユーザを支援するための、表示収集画像データのためのレンダリングが有用または有利となる何れの応用例に対して利用されてもよい。
【００４１】
インターベンショナル心臓病学のためにしばしば選択されるイメージング・モダリティはＩＶＵＳであるが、その画像は、他の画像データ収集モダリティまたは技術と共に利用される場合がある。ＩＶＵＳは周知の診断イメージング技術であるが、治療ガイダンス・ツールとしての機能も果たすことができる。例えば、血管形成術用バルーンの膨張またはステントの配置がリアルタイムで視覚化されて、臨床結果を改善することが可能である。他の治療技術およびデバイスもまた、治療が進行するにつれての治療を視覚化するためのオペレータの能力から、利益を得るようになる。場合によっては、治療行為がカテーテルの非常に遠位の先端で行われる。このような状況は、例えば、レーザ・アブレーション、高周波アブレーション、生検鉗子および生検針を使用するときに生じ得る。これらの治療および診断手順を最適にガイドするために、カテーテル先端より遠位にあり得る関連する組織の正確な描写を得ることは有益である。
【００４２】
図１は、本発明の一実施形態によるＩＶＵＳイメージング・システムの概略図である。システム１は、カテーテル１０を含む。遠位端または先端２８は、患者に挿入されるように適合され、患者の血管系を通じて、遠位端２８を関心のある領域または部位まで進めるようにナビゲート可能に構成される。カテーテル１０の遠位先端２８は、超音波トランスデューサ（図示されない）を搬送する。更に、遠位端２８はまた、血管または他の体腔の閉塞部分をアブレートするように適合されたアブレーション電極（図示されない）を搬送してもよい。カテーテル１０の近位端は、患者の外部にとどまり、角度エンコーダ１６に関連付けられることが可能であり、インターベンションを行う者または医師などのようなオペレータにより操作可能であるように設計される。
【００４３】
システム１は更に、エレクトロニクス・モジュール１８を含み、これは、システム１を動作するための信号を生成するため、および、結果として生じる超音波エコーからの信号を受信および処理するため、ならびに、アブレーション電極がシステムに含まれる場合には、ＲＦアブレーション信号を生成するための、回路およびソフトウェアを含む。中央処理ユニット２０は、受信された超音波信号から画像を構築し、これらの画像をモニタ２１上に表示する。これらの画像はオンデマンドで生成されてもよく、また、オペレータによるカテーテル１０の回転に応じてリフレッシュされてもよい。これらの画像は、所定の時間の後に、カテーテル１０を回転させることにより画像をリフレッシュすることをオペレータに思い出させるように、薄くなるようにすることができる。中央処理ユニット２０は、例えば、ラップトップまたはデスクトップ・コンピュータ、または専用の埋め込みプロセッサを備えてもよい。ケーブル２２、２４は、角度エンコーダ１６とエレクトロニクス・モジュール１８との間に接続される。一実施形態では、ケーブル２２は、角度エンコーダ１６により検知される増分角度情報を搬送し、ケーブル２４は電力および接地を提供する。別のケーブルがカテーテル１０からエレクトロニクス・モジュール１８へ通り、超音波信号、および、アブレーション電極がシステムに含まれる場合はＲＦエネルギーを搬送してもよい。代替の構成（図示されない）では、カテーテル１０からのトランスデューサおよびＲＦのケーブルは、角度エンコーダ１６に組み込まれたコネクタに接続し、次いで、超音波信号の前置増幅の後、これらの信号を、角度エンコーダ１６の第２のコネクタを通じて、エレクトロニクス・モジュール１８に渡してもよい。この代替の構成は、カテーテル・ケーブルをより短くすること可能にし、潜在的には、環境騒音のピックアップを低減する。
【００４４】
カテーテル１０は、完全にオペレータの手動制御下で回転および操作されてもよい。同様に、アブレーション電極がシステム１に含まれる場合、アブレーション・パルスの開始は、カテーテルまたはカテーテルの回転を検知するためのシステムとの直接接続と無関係に、オペレータにより決定されてもよい。アブレーション・エネルギの応用の制御に関する「手動」についての言及は、オペレータがアブレーション電極の適した位置についての判断に基づいてアブレーション・シーケンスを開始する任意の構成を含むことを、理解されたい。よって、「手動」の動作は、オペレータがアブレーション・サイクルをトリガすることができる様々な構成、例えば、機械制御されたスイッチ、例えばフット・スイッチや、音声動作制御や、他の手段を含み、例えば、例えばペダル１９の操作によりトリガすることができる。
【００４５】
図２Ａおよび図２Ｂは、本発明の実施形態によるレンダリング装置のブロック図、およびレンダリング方法の流れ図をそれぞれ開示する。図２Ａに示されるように、レンダリング装置１４０はデータ入力ユニット１８０を含み、これにおいて、画像データは、図１に示されたＩＶＵＳシステムなどのようなイメージング・システムから受信あるいは入力される。データ入力ユニット１８０は、画像データを、図６に示されたものなどのようなデータ・テーブルに編成することができる。データ入力ユニット１８０はまた、ユーザにより設定された、あるいは、イメージング・システムにより設定および／または計算された、パラメータを受信することができる。このようなパラメータは、前方走査角度、ベースの半径、観察者距離、章動の大きさ、線（ライン）当たりのサンプル数、フレーム当たりの線の数を含み得る。
【００４６】
レンダリング装置１４０は更に、３次元幾何モデル初期設定ユニット１４５、投影行列初期設定ユニット１５５、および章動行列初期設定ユニット１７５を含む。３次元幾何モデル初期設定ユニット１４５は、３次元幾何モデル、一実施形態では円錐状多面体、を出力するが、投影行列初期設定ユニット１５５および章動行列初期設定ユニット１７５は、投影行列および章動行列をそれぞれ出力する。本出願は、例えば３次元幾何モデルのような円錐状多面体の使用を開示するが、他の３次元幾何モデルが特定の応用例に基づいて適切であり得る。レンダリング装置１４０は更に、３次元幾何モデル軸章動ユニット１５０を含み、これは、３次元幾何モデル、一実施形態では円錐状多面体、および章動行列を、３次元幾何モデル初期設定ユニット１４５および章動行列初期設定ユニット１７５からそれぞれ受信し、章動された３次元幾何モデル、一実施形態では、章動された円錐状多面体、を出力する。章動された３次元幾何モデルは、３次元幾何モデル投影ユニット１６０へ送られ、３次元幾何モデル投影ユニット１６０はまた、投影行列を投影行列初期設定ユニット１５５から受信する。３次元幾何モデル投影ユニット１６０は、章動され投影された３次元幾何モデル、一実施形態では、章動され投影された円錐状多面体を、画像データ・ラスタライゼーション（ラスタ化）・ユニット１６５へ出力する。
【００４７】
上述のように、システム１により収集された画像データは、データ入力ユニット１８０により受信され、図６に示されたものなどのような、走査線毎の角度および画像データを含むデータ・テーブルにおいて配置される。画像データは、画像データ・ラスタライゼーション・ユニット１６５へ、データ入力ユニット１８０により転送される。画像データは次いで、３次元幾何モデル投影ユニット１６０により出力された、章動され投影された３次元幾何モデル、一実施形態では、章動され投影された円錐状多面体上に、画像データ・ラスタライゼーション・ユニット１６５によりラスタ化される。データ入力ユニット１８０はまた、章動行列の計算において使用されるためのリーディング走査線角度を、章動行列初期設定ユニット１７５へ提供する。
【００４８】
上述のように、図２Ｂは、本発明の一実施形態によるレンダリング方法のブロック図である。まず、ステップＳ２０２において、ユーザまたは、図１に示されたようなイメージング・システムにより入力された、前方走査角度、底面（ベース）の半径、観察者距離、章動の大きさ、線当たりのサンプル数、フレーム当たりの線の数などのようなパラメータおよび画像データが受信される。ステップＳ２０４において、画像データが、図６に示されたもののような、走査線毎の角度および画像データを含むデータ・テーブルにおいて、配置される。次いで、受信されたパラメータを使用して、３次元幾何モデル、投影行列、および章動行列が、ステップＳ２０４、Ｓ２０８およびＳ２１０で、それぞれ、初期設定される。ステップＳ２０４〜Ｓ２１０の順序は重要ではなく、従って、これらのステップの順序は変更されてもよい。次に、ステップＳ２０６において作成された３次元幾何モデル、一実施形態では円錐状多面体、および、ステップＳ２１０において初期設定された章動行列を使用して、３次元幾何モデル、一実施形態では円錐状多面体、の軸が章動されて、章動された３次元幾何モデル、一実施形態では章動された円錐状多面体が、ステップＳ２１２において作成される。ステップＳ２１４において、３次元幾何モデルが、ステップＳ２０８において初期設定された３次元幾何モデル投影行列を使用して投影される。ステップＳ２１６において、画像データが、章動され投影された３次元幾何モデル上にラスタ化される。図２Ｂの様々な処理ステップは更に詳細に以下で論じられる。
【００４９】
図２Ａのレンダリング装置１４０および図２Ｂのレンダリング方法は、本質的に、３次元座標ならびに画像データを処理するためのパイプラインである。図２Ａを参照すると、３次元座標は、３次元幾何モデル初期設定ユニット１４５において発生し、続いて、３次元幾何モデル軸章動ユニット１５０および３次元幾何モデル投影ユニット１６０により、２次元座標に変換される。変換された座標は、次いで、画像データ・ラスタライゼーション・ユニット１６５へ送信され、これは、走査コンバージョンのために、画像データを、章動され投影された３次元幾何モデル上にラスタ化する。
【００５０】
図２Ａおよび図２Ｂに示された全体のパイプラインは、コンピュータ・グラフィックスの分野において実施されるような３次元レンダリング・パイプラインの変形形態である。同次座標の使用はこの分野において十分に確立され、本発明はこのような座標を使用する。本発明では、３次元座標は、ステップＳ２１２において、１に初期設定される第４の座標ｗを加算することにより「同次化」される。よって、３次元座標（ｘ，ｙ，ｚ）は、同次座標（ｘ，ｙ，ｚ，１）へと進められる。これらの同次座標は、ステップＳ２１４の終わりにおいて、形式（ｘ，ｙ，ｚ，ｗ）の座標が（ｘ／ｗ，ｙ／ｗ，ｚ／ｗ）へと再正規化されるように、３次元座標へ戻るように降格される。この降格または再正規化はまた、形式（ｘ，ｙ，ｚ，ｗ）の同次座標の、ｗ＝Ｋの面への投影と考えることもでき、ここでＫは定数であり、しばしば１である。
【００５１】
いわゆる「オブジェクト空間」から「画像空間」へのオブジェクトの変換は、オブジェクト空間座標に１または複数の変換行列を乗算することにより実施されるものであり、この１または複数の変換行列は、オブジェクトの回転、スケーリング、移動、観察者の位置および向き、および３次元から２次元への投影を表すものである。これらの変換行列は、効率を良くするために、単一の行列へと、前から乗算（premultiply）されてもよい。行列乗算は可換ではないので、座標を変換するための２つの異なる規則がある。数学およびコンピュータ・グラフィックスのテキストにおいて教示されるような従来の規則は、変換行列を列座標ベクトルにより後ろから乗算することである。他のコンバージョンは、変換行列を行座標ベクトルにより後から乗算（postmultiply）することである。これらの変換行列は、コンピュータ・グラフィックスの分野における当業者には知られるように、或る規則から他の規則へ向かうように転置されなければならない。本発明の実施形態は、変換行列を列座標ベクトルにより後から乗算する従来の規則を使用する。これは、以下の式（１）に例示される。
【００５２】
【数１】
【００５３】
この式において、
ｔ１１からｔ４４は、集合変換係数を構成するものであり、
ｘ、ｙおよびｚは、３次元空間における点の座標であり、
ｘ’、ｙ’、ｚ’およびｗ’は、変換された同次座標である。
【００５４】
画像空間における最終的な２次元座標を得るために、変換された座標は形式（ｘ’／ｗ’，ｙ’／ｗ’，ｚ’／ｗ’）へ再正規化され、次いで、ｚ’／ｗ’項が単に落とされて、形式（ｘ’／ｗ’，ｙ’／ｗ’）の２次元座標が生じる。これらは更におよび自明に、ビデオ・モニタ画素を扱うために適当な物理デバイス座標にマップされなければならないであろう。
【００５５】
３次元オブジェクトの適した表現および操作は、右手または左手の座標系の何れかの選択および一貫した使用を必要とする。右手座標系では、（ｘ，ｙ，ｚ）軸は、ｘ軸の、ｙ軸への回転（即ち、９０°の時計回り）が、正のｚ方向に進む右ねじの回転に対応するように、配置される。ビデオ・モニタとの関連では、観察者がモニタを見ているとき、ｘ軸は右側を指し、ｙ軸は上方を指し、ｚ軸は観察者の方へとモニタの「外」へ向かう。これは、３次元空間における大部分のオブジェクトのｚ座標が負であること、即ち、モニタの「内側」であることを意味する。この幾分扱いにくい状況のため、ソフトウェア・ライブラリなどのような３次元コンピュータ・グラフィックス・システムは、オブジェクトを正のｚ座標空間において配置するために、しばしば左手座標系を使用する。それにもかかわらず、数学およびコンピュータ・グラフィックスの教科書は、伝統的に、右手座標系を教示し、従って、本発明の実施形態の考察もまた右手座標系を使用する。コンピュータ・グラフィックスの分野における当業者は、これら２つの座標系の間での変換を容易にできるであろう。
【００５６】
図２ＢのステップＳ２０６において、３次元幾何モデルは、走査表面、この例示的な実施形態では円錐状走査表面で作成される。一実施形態では、図４Ａに示されるように、この円錐は、多面体を定義する一連の接続された平面の二等辺三角形表面により近似される。１つの特定の代替の実施形態では、円錐の先端は開いており、これは、走査線がイメージング・カテーテルの縦軸上で開始せず、むしろ、走査線がこの軸からの半径のオフセットされたところで開始するからである。図４Ｂは、例示的な開いた円錐状多面体を示す。この代替の実施形態では、開いた円錐は、多面体を定義する一連の接続された平面の正台形表面により近似される。追加の代替の実施形態では、この円錐は様々なタイプのパラメトリック双三次（parametric bicubic）表面パッチ（surface patches）により近似されることができ、これは、エルミート面、ベジエ面、およびＢスプライン面を含むが、これらに限定されるものではない。この円錐はまた、陰関数で定義された二次面の群を含む、陰関数または陽関数の表面式（implicit or explicit surface equations）の何れかを使用することにより、厳密にモデリングされることができ得る。幾つかの表面表現の調査が、Ｆｏｌｅｙその他により、「Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃ Ｐｒｉｎｃｉｐｌｅｓ ａｎｄ Ｐｒａｃｔｉｃｅ」、第２版、Ａｄｄｉｓｏｎ−Ｗｅｓｌｅｙ Ｐｕｂｌｉｓｈｉｎｇ Ｃｏｍｐａｎｙ、１９９０年、において提示され、これは参照により本明細書に組み込まれる。
【００５７】
三角形の数を、カテーテルの完全な回転、約３６０°、を含む走査線の数に等しくなるように選択することは、必要ではないが好都合である。この場合、各走査線は、多面体における２つの隣接する三角形の共有される縁部を表す。更に、２つの隣接する走査線は、一つの二等辺三角形の２つの等しい側部を表す。すべての走査線は多面体の先端から出て、底部に近付くにつれて分かれる。
【００５８】
三角形の数が増すにつれて、多面体は真の円錐に近付くが、その装置を実現するために必要とされるより多くの計算およびストレージのリソースを費やす。反対に、多面体をより少数の三角形で定義すると、円錐に対してのより粗い近似となるが、必要とされる計算およびストレージのリソースは低減される。例示として、図３は、前方走査多面体の描写と、カテーテルおよびトランスデューサ・アセンブリとを示す。上述の図４Ａは、１回転につき１２本の走査線のときの対応する１２個の二等辺三角形を有する多面体を示す。同様に、上述の図４Ｂは、１回転につき１２本の走査線のときの対応する１２個の正台形を有する多面体を示し、図４Ｂにおける多面体の先端の孔は、カテーテルおよびトランスデューサ・アセンブリに隣接する領域である。これらの走査線および三角形は、約３０°の角度の増分の間隔がある。この実施例は例示的なものにすぎない。なぜなら、円錐を１２個の二等辺三角形のみで近似すると、一般に近似が粗すぎて、現実的に見える円錐を生成できないからである。更に、カテーテルの１回転につき１２本の走査線では、トランスデューサの固有の横の分解能に関して、画像を劇的にアンダーサンプルする（undersample、サンプルを少なくする）ことになり、結果として画像の質が悪いものとなる。本発明による方法および装置の一実施形態は、カテーテルの１回転につき４００本の走査線という構成に対応する４００個の二等辺三角形を使用する。これは、角度の増分の間隔が約０．９°の走査線および三角形を生じる。
【００５９】
３次元座標を幾何モデルに割り当てるとき、そのサイズ、方向および位置が指定されなければならない。最初に、幾何モデルのサイズを定義するために、少数の変数を定義することが好都合である。
【００６０】
ここでは、
Ψ＝前方走査角度
Ｒ＝円錐の底面での半径
Ｈ＝円錐の高さ＝Ｒ＊ｔａｎ（Ψ）
とする。
【００６１】
画像が章動されていないときに、頂部（先端）が観察者の方に直接に向くように、幾何モデルをオリエントするために、その縦軸は、ｚ軸と一致するように定義されることができ、モデルの先端は、底面上の点のｚ座標よりも大きい正のｚ座標を有するようにされる。
【００６２】
幾何モデルを位置付けするために、原点は、幾何モデルの底面の中心、即ち、底面の平面におけるその縦軸に沿った点となるように定義される。この点は、３次元座標（ｘ，ｙ，ｚ）＝（０，０，０）を有する。章動がモデルの縦軸に対して対称となるようにするために、ｘおよびｙの座標はゼロに等しくなければならないことに留意されたい。しかしながら、ｚ座標は、章動の視覚上の効果を変化させるために再定義されてもよい。例えば、先端に原点を定義すると、画像が章動されるとき、先端が固定位置に残り、底面が旋回することになるが、原点を底面の中心に定義すると、先端が旋回し、底面の旋回は比較的少なくなる。モデルを表示のために２次元に投影するとき、原点のためのｚ座標の選択は、すべての可能な章動角のもとで画像を表示するために必要とされる画面領域の合計量に影響を与える。画面領域を最小化するこの座標の値は、幾何モデルのパラメータにより決まるが、原点が先端に定義されると画面領域は最小化されない。
【００６３】
幾何モデルの底面の中心が（０，０，０）にあれば、先端の位置は（０，０，＋Ｈ）である。観察者は、＋Ｈよりも更に「後方」に位置付けられるようにして、幾何モデルの「内側」になることを回避しなければならないことに、留意されたい。これは、単なる−Ｈの移動と、それに加えての所望される何れかの追加の観察者距離とにより達成される。残りの座標は、多面体の底面の環状の周囲に沿って位置付けられる。
【００６４】
ここでは、
Ｌ＝カテーテルの完全な１回転当たりの走査線の数
Ａ＝１走査線当たりに対する角度＝３６０°／Ｌ
ｎ＝走査線数を表すために使用される変数、０からＬ−１までの範囲
θ＝走査線角度＝ｎ＊Ａ
とする。
【００６５】
次いで、走査線ｎの端点（endpoint）の位置は、式（２）により以下のように提供されてる。
【００６６】
Ｐｎ（ｘ，ｙ，ｚ）＝（Ｒ ｃｏｓ（θ），Ｒ ｓｉｎ（θ），０） 式（２）
【００６７】
一実施例が以下に提供される。
Ｒ＝１．０
Ψ＝３０°
Ｈ＝１．０＊ｔａｎ（３０°）＝０．５７７
円錐の先端ＰＡ（ｘ，ｙ，ｚ）＝（０，０，０．５７７）
Ｌ＝１２
Ａ＝３６０°／１２＝３０°
【００６８】
走査線毎の端点は、以下の表（１）において以下で指定される。
【００６９】
【表１】
【００７０】
３次元多面体は、３次元オブジェクト空間から２次元画像空間へ投影されなければならない。本発明による方法および装置の一実施形態では、透視投影が使用されて、深度の手がかりが観察者に提供される。投影の中心が原点（０，０，０）にあり、投影面がｚ軸に対して垂直であり距離ｚ＝ｄにある、透視投影行列のための最も単純な形式は、以下の式（３）により提供され得る。
【００７１】
【数２】
【００７２】
ｄ＝−１では、この投影行列は次いで、以下のような例示的な式（４）に示されるように簡単になる。
【００７３】
【数３】
【００７４】
透視投影行列のための代替の形式は、ｚ軸に垂直の投影面をｚ＝０に置き、投影の中心を（０，０，−ｄ）に置き、これは以下の式（５）により提供され得る。
【００７５】
【数４】
【００７６】
この形式は、投影の中心から投影面までの距離ｄが無限大になる傾向になることを可能にする。距離ｄが無限大に近付くにつれて、透視投影は平行投影になる。本発明による方法および装置の代替の実施形態では、式（５）の形式における透視投影行列が使用される。追加の代替の実施形態では、式（５）においてｄ＝∞を設定することにより、平行投影が使用される。
【００７７】
本発明による方法および装置の一実施形態では、観察者の変換も適用され、これは、観察者距離Ｄだけ負のｚ方向へ多面体を移動する。この移動の目的は、多面体を完全に投影面の後ろに置くことであり、従って、多面体の高さＨがＤに加算されなければならない。この変換は、以下の式（６）により提供され得る。
【００７８】
【数５】
【００７９】
この複合投影行列は、観察者変換および投影行列を共に含むものであり、以下の式（７）により提供され得る。
【００８０】
【数６】
【００８１】
行列乗算は可換ではないので、観察者変換は投影の前に適用されなければならない。更に、章動行列を観察者変換行列により後ろから乗算する（postmultiply）ことは、投影行列を観察者変換行列により前から乗算する（premultiply）ことと同等に有効である。双方の場合とも、観察者変換は、章動変換の後および投影の前になされなければならない。
【００８２】
図２Ａでは、投影行列は、投影行列初期設定ユニット１５５により、パラメータ、前方走査角度、底面の半径、および観察者距離を使用して確立される。投影行列は、次いで、３次元幾何モデル投影ユニット１６０により使用されて、章動された３次元幾何モデル、この実施例では多面体が、章動され投影された３次元幾何モデルへと変換される。
【００８３】
超音波画像データを獲得する手段は十分に理解される。例えば、参照により本明細書に組み込まれるＧｏｏｄｎｏｗその他による米国特許出願１１／２６１６３５は、本発明の実施形態と共に利用され得る例示的なＩＶＵＳシステムと類似の例示的ＩＶＵＳイメージング・システムのための獲得プロセスを記載する。特に、米国特許出願１１／２６１６３５は、カテーテル角度および超音波画像のデータを格納するためのデータ・テーブルの生成を記載する。図６は、本発明の実施形態のために利用され得る例示的データ・テーブルを示す。図６のデータ・テーブルは３列を有する。第１は単に指数（ｉｎｄｅｘ）であり、複数の指数が隣接する場合には省略される場合がある。第２の列はカテーテルの角度（ａｎｇｌｅ）であり、図１における角度エンコーダ１６から受信されたデータから導出される。第３の列は、検出された、あるいは、グレースケールの、超音波画像データ（ｉｍａｇｅ ｄａｔａ）である。第３の列における行の各々におけるデータは、実際にはグレースケール・サンプルのアレイであるが、表記を簡単にするために、これらのアレイはＩｍａｇｅＤａｔａ［ｎ，ｔ］として扱われることに留意されたい。グレースケールのサンプルの数が、サンプル／秒におけるサンプリング・レートおよび水中の音速と共に使用されて、走査深度が推定され得る。典型的な走査深度は、図１に示されたもののような例示的なＩＶＵＳシステムでは、約５ミリメートルである。完全なデータ・テーブルは、カテーテルの完全な１回転、約３６０°、において獲得されたそれぞれの超音波走査線に対して１行を有するデータ・テーブルとして定義される。
【００８４】
図２Ａを再度参照すると、データ入力ユニット１８０は、超音波画像獲得プロセスを制御するか、あるいは、図１に示されたエレクトロニクス・モジュール１８における獲得プロセスなどのような別のプロセスからグレースケール・データを受信する。米国特許出願１１／２６１６３５は、例示的な獲得プロセスを詳細に記載する。データ入力ユニット１８０は、獲得された画像データにより、完全なデータ・テーブル、または、以前のデータとマージされ得る完全データ・テーブルのサブセットの何れかを作成する。手動で回転されるイメージング・システムでは、データ入力ユニット１８０により作成されたデータ・テーブルは、完全データ・テーブルのサブセットとなる可能性が高い。完全データ・テーブルは、カテーテルの完全な約３６０°の１回転における角度の各々からの超音波走査線の最新バージョンを含む。
【００８５】
図２Ａを再度参照すると、データ・テーブルを生成することに加えて、データ入力ユニット１８０はまた、リーディング（leading、先頭）走査線角度の受信、および、章動行列初期設定ユニット１７５への出力も行う。リーディング走査線角度は、直近に獲得された超音波走査線に対応するカテーテル角度、と定義される。リーディング走査線角度は、一実施形態では、章動行列初期設定ユニット１７５により使用されて、章動の大きさおよび方向が計算される。
【００８６】
手動で回転されるカテーテルを有するＩＶＵＳシステムでは、カテーテルの位置は、オペレータがデバイスを操作すると比較的低速で変化する。本発明による方法および装置の一実施形態は、この低速の手動で制御される回転の利点を用い、幾何モデルまたは円錐の縦軸の方向を設定することにより、カテーテルの角度位置を追跡する。具体的には、幾何モデルまたは円錐の縦軸が、カテーテルの角度位置またはリーディング走査線角度の反対側へまたはそれから離れるように、傾けられる。２次元空間へ投影されるとき、これは、直近に獲得されたデータをより大きく、観察者により近く見えるようにし、より見やすくする。正反対のデータは短縮され、従って、強調されなくなる。ｚ軸に対する傾きの量は、リーディング走査線角度とは無関係な量であり、定数であり得る。この定数は章動の大きさであり、度（degree）などのような角度の単位で表現される。全体の傾きは、（ｘ，ｙ）面におけるある方向についての回転として表現されることが可能であり、この方向は、リーディング走査線角度の関数として指定される。例えば、リーディング走査線角度が０°または１８０°である場合、幾何モデルまたは円錐の縦軸はｙ軸について回転され、リーディング走査線角度が９０°または２７０°である場合、幾何モデルまたは円錐の縦軸はｘ軸について回転される。これらの特別な場合以外の角度では、回転の軸は、以下の式（８）において、正規化された方向ベクトルにより与えら得る。
【００８７】
【数７】
【００８８】
ここにおいて、
θ＝リーディング走査線角度
である。
【００８９】
コンピュータ・グラフィックスの分野から、方向ベクトルＵ＝（ｕｘ，ｕｙ，ｕｚ）により与えられる任意の方向の周りでの回転φについての回転行列は、ロドリゲスの回転式、式（８）により以下のように与えられる。
【００９０】
【数８】
【００９１】
以下の式（１０．１）、（１０．２）および（１０．３）を使用して、置き換える。
【００９２】
ｕｘ＝ｓｉｎθ 式（１０．１）
ｕｙ＝−ｃｏｓθ 式（１０．２）
ｕｚ＝０ 式（１０．３）
【００９３】
この行列は以下の式（１１）となる。
【００９４】
【数９】
【００９５】
図２Ａを参照すると、章動行列初期設定ユニット１７５は、リーディング走査線角度（θ）および章動の大きさ（φ）を使用して、式（１１）に従って章動行列を計算する。
【００９６】
図２Ａを再度参照すると、３次元幾何モデルの軸、または、一実施形態では円錐状多面体の頂点は、３次元幾何モデル軸章動ユニット１５０および３次元幾何モデル投影ユニット１６０により、章動され投影された３次元幾何モデルのための軸または頂点へと変換される。本発明による方法および装置の一実施形態では、中間の頂点ストリームまたは章動された３次元幾何モデルが生成される。代替の実施形態では、章動および投影変換行列は、一つの行列へと連結されてもよく、３次元幾何モデルからの頂点は、章動され投影された３次元幾何モデルに対する頂点へと直接に変換される。
【００９７】
３次元幾何モデル軸章動ユニット１５０および３次元幾何モデル投影ユニット１６０は共に、式（１）に従って同次座標ストリームを変換する。これらの式は、以下のように式（１２）へと展開する。
【００９８】
ｘ’＝ｔ１１ｘ＋ｔ１２ｙ＋ｔ１３ｚ＋ｔ１４ｗ
ｙ’＝ｔ２１ｘ＋ｔ２２ｙ＋ｔ２３ｚ＋ｔ２４ｗ
ｚ’＝ｔ３１ｘ＋ｔ３２ｙ＋ｔ３３ｚ＋ｔ３４ｗ
ｗ’＝ｔ４１ｘ＋ｔ４２ｙ＋ｔ４３ｚ＋ｔ４４ｗ 式（５２）
【００９９】
上記の式では、ｔ１１からｔ４４は、３次元幾何モデル軸章動ユニット１５０により使用される章動行列における係数であり、ｔ１１からｔ４４は、３次元幾何モデル投影ユニット１６０により使用される投影行列における係数である。ｗは、３次元幾何モデル軸章動ユニット１５０により１に設定され、３次元幾何モデル投影ユニット１６０によりｗ’に設定されることに、留意されたい。
【０１００】
一実施例が以下に提供される。
【０１０１】
表（１）において定義された円錐状多面体モデルを使用する。この実施例から、多角形の高さＨは０．５７７である。また、例示目的で、以下のようであるとする。
【０１０２】
Ｄ＝１．０ （観察者距離）
【０１０３】
そうすると、式（７）から、複合投影行列は以下の通りである。
【０１０４】
【数１０】
【０１０５】
章動行列を計算するため、例示目的であるが、以下のようであるとする。
【０１０６】
θ＝３０° （リーディング走査線角度）
φ＝１５° （章動の大きさ）
【０１０７】
そうすると、式（１１）から、章動行列は以下の通りである。
【０１０８】
【数１１】
【０１０９】
式（１２）をこれらの係数と共に適用すると以下のものを生じる。
【０１１０】
ｘ’＝０．９７４ｘ−０．０１５ｙ−０．２２４ｚ
ｙ’＝−０．０１５ｘ＋０．９９１ｙ−０．１２９ｚ
ｚ’＝０．２２４ｘ＋０．１２９ｙ＋０．９６６ｚ
ｗ’＝ｗ
【０１１１】
式（１２）を、複合投影行列のための係数と共に適用すると以下のものを生じる。
【０１１２】
ｘ’’＝ｘ’
ｙ’’＝ｙ’
ｚ’’＝ｚ’−１．５７７ｗ’
ｗ’’＝−ｚ’＋１．５７７ｗ’
【０１１３】
最後に、ｗ’’により通して除算することにより同次座標を再正規化すると、以下のものを生じる。
【０１１４】
ｘ’’’＝ｘ’’／（−ｚ’’＋１．５７７ｗ’’）
ｙ’’’＝ｙ’’／（−ｚ’’＋１．５７７ｗ’’）
ｚ’’’＝−１
ｗ’’’＝１
【０１１５】
投影された２次元座標は、第４の座標を落とすこと、および、ｚ’’’＝−１である投影の面における残りの３次元座標を評価することにより得られ、（ｘ’’’，ｙ’’’）を生じる。
【０１１６】
以下の表（２）を参照すると、元の変換されていない３次元円錐状多面体座標は、ｘ、ｙおよびｚ列にリストされ、表（１）にリストされた座標と等しい。章動された座標は、ｘ’、ｙ’、ｚ’およびｗ’列にリストされる。章動され投影された座標は、ｘ’’、ｙ’’、ｚ’’およびｗ’’列にリストされる。再正規化された２次元座標は、ｘ’’’およびｙ’’’列にリストされる。
【０１１７】
【表２】
【０１１８】
図５は、章動され投影された多面体を示す。頂点番号が図において示され、これらは、表１および表２の第１の列における指数に対応する。グリッドが画像上に重ね合わされて、（ｘ，ｙ）座標の推定が可能になる。（ｘ，ｙ）座標は、表２の最後の２列にリストされたｘ’’’およびｙ’’’座標に対応する。
【０１１９】
図２Ｂを参照すると、章動され投影された３次元幾何モデルの２次元表現の計算における最後のステップ、ステップＳ２１６は、３次元幾何モデルの変換されたバージョンに従って超音波グレースケール・データを走査コンバートあるいはラスタ化することである。一実施形態では、これは、グレースケール・データを、章動され投影された円錐状多面体上にテクスチャ・マッピングする十分に理解されたコンピュータ・グラフィックス・プロセスにより実施される。テクスチャ・マッピングは最初に、Ｅ．Ｃａｔｍｕｌｌにより、「Ａ Ｓｕｂｄｉｖｉｓｉｏｎ Ａｌｇｏｒｉｔｈｍ ｆｏｒ Ｃｏｍｐｕｔｅｒ Ｄｉｓｐｌａｙ ｏｆ Ｃｕｒｖｅｄ Ｓｕｒｆａｃｅｓ」、ＰｈＤ Ｔｈｅｓｉｓ，Ｒｅｐｏｒｔ ＵＴＥＣ−ＣＳｃ−７４−１３３、Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ Ｄｅｐａｒｔｍｅｎｔ、Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｕｔａｈ、Ｓａｌｔ Ｌａｋｅ Ｃｉｔｙ、Ｕｔａｈ、１９７４年１２月において、および、「Ｃｏｍｐｕｔｅｒ Ｄｉｓｐｌａｙ ｏｆ Ｃｕｒｖｅｄ Ｓｕｒｆａｃｅｓ」、Ｐｒｏｃ １ＥＥＥ、Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ、Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，ａｎｄ Ｄａｔａ Ｓｔｒｕｃｔｕｒｅｓ、１９７５年５月において教示され、また、Ｊ．Ｆ．ＢｌｉｎｎおよびＭ．Ｅ．Ｎｅｗｅｌｌにより、「Ｔｅｘｔｕｒｅ ａｎｄ Ｒｅｆｌｅｃｔｉｏｎ ｉｎ Ｃｏｍｐｕｔｅｒ Ｇｅｎｅｒａｔｅｄ Ｉｍａｇｅｓ」、Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｏｆ ｔｈｅ ＡＣＭ、１９（１０）、１９７６年１０月，５４２〜５４７ページにおいて改善されている。これらの文献はすべて参照により本明細書に組み込まれる。Ｐ．Ｓ．Ｈｅｃｋｂｅｒｔは、参照により本明細書に組み込まれる「Ｓｕｒｖｅｙ ｏｆ Ｔｅｘｔｕｒｅ Ｍａｐｐｉｎｇ」、１ＥＥＥ Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ、６（１１）、１９８６年１１月，５６〜５７ページにおいて、テクスチャ・マッピング方法の綿密な調査を提供している。
【０１２０】
本発明の一実施形態で使用されるテクスチャ・マッピング手法では、円錐状多面体の頂点に、３次元空間においてすでに割り当てられた（ｘ，ｙ，ｚ）座標に加えて、テクスチャ座標（ｕ，ｖ）が割り当てられる。ｕおよびｖ座標はそれぞれ０から１までの範囲であり、ｕ座標は相対グレースケール・サンプル番号を表し、ｖ座標は相対走査線番号を表す。図６に示された例示的データ・テーブルを参照すると、サンプル０はｕ＝０に対応し、サンプル「ＳａｍｐｌｅｓＰｅｒＬｉｎｅ−１」はｕ＝１に対応するが、線０はｖ＝０に対応し、線「ＬｉｎｅｓＰｅｒＦｒａｍｅ−１」はｖ＝１に対応する。更に、ｕ＝０のサンプル０は、円錐状多面体の先端（頂点、apex）に対応するが、ｕ＝１のサンプル「ＳａｍｐｌｅｓＰｅｒＬｉｎｅ−１」は、底面の周囲の頂点（vertex）に対応する。ｖ座標は、処理中の特定の走査線に応じて、先端で複数の値を取らなければならないことに、留意されたい。これに対応するために、先端の頂点はＬｉｎｅｓＰｅｒＦｒａｍｅコピーに複製され、各々が等しい（ｘ，ｙ，ｚ）およびｕ座標を有するが、異なるｖ座標を有する。
【０１２１】
図２ＢにおけるステップＳ２１６は、円錐状多面体の変換された二等辺三角形の各々を、（ｘ，ｙ）画像空間へとテクスチャ・マッピングすることにより、なされる。変換された三角形毎に、すべての（ｘ，ｙ）画像空間画素が、幾つかの十分に理解された多角形走査変換アルゴリズムの何れかを使用して計算される。Ｆｏｌｅｙその他は、「Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃ Ｐｒｉｎｃｉｐｌｅｓ ａｎｄ Ｐｒａｃｔｉｃｅ」、第２版、Ａｄｄｉｓｏｎ−Ｗｅｓｌｅｙ Ｐｕｂｌｉｓｈｉｎｇ Ｃｏｍｐａｎｙ、１９９０年、において、また、Ｄａｖｉｄ Ａ．Ｒｏｇｅｒｓは、「Ｐｒｏｃｅｄｕｒａｌ Ｅｌｅｍｅｎｔｓ ｆｏｒ Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ」、ＭｃＧｒａｗ−Ｈｉｌｌ Ｂｏｏｋ Ｃｏｍｐａｎｙ、１９８５年、において、幾つかの多角形走査変換アルゴリズムの説明を提供している。これらの文献は共に参照により本明細書に組み込まれる。それぞれの変換された三角形における画素毎に、テクスチャ・マップの（ｕ，ｖ）座標が、３つの三角形頂点の各々の（ｕ，ｖ）座標から計算される。透視（透視画法、perspective）変換が使用されている場合、（ｕ，ｖ）座標の線形補間は、歪みを起こし、テクスチャ特徴が不適切に低下されることになる、ということに留意されたい。Ｍａｒｋ Ｆｅｌｄｍａｎは、「Ｔｈｅ ＰＣ Ｇａｍｅ Ｐｒｏｇｒａｍｍｉｎｅｒ’ｓ Ｅｎｃｙｃｌｏｐｅｄｉａ：Ｔｅｘｔｕｒｅ Ｍａｐｐｉｎｇ」，ｈｔｔｐ：／／ｗｗｗ．ｇｅｏｃｉｔｉｅｓ．ｃｏｍ／ＳｉｌｉｃｏｎＶａｌｌｅｙ／２１５１／ｔｍａｐ．ｈｔｍｌにおいて、幾つかの十分に理解されたテクスチャ・マッピング・アルゴリズムを、以下に示される表３において、それらの相対的な精度（即ち、透視画法の正確性）、速度、および実装困難性と共に記載している。この文献は参照により本明細書に組み込まれる。例えば、領域副分割（area subdivision）アルゴリズムを介して、円錐状多面体におけるそれぞれの二等辺三角形を、各々がそれ自体の（ｘ，ｙ，ｚ）および（ｕ，ｖ）の頂点座標のセットを有する幾つかのより小さいものに分解することにより、近似の解を得ることができる。「完全」マッピング・アルゴリズムを介して、補間しながら透視分割を行うことにより、厳密な解を得ることができる。
【０１２２】
【表３】
【０１２３】
（ｕ，ｖ）テクスチャ座標が画像空間画素（ｘ，ｙ）毎に計算された後、（ｕ，ｖ）座標は、データ入力ユニット１８０により作成されたデータ・テーブルへの指数へマップされる。ｕ座標はグレースケール・サンプル番号にマップされ、ｖ座標は走査線番号にマップされる。ｕおよびｖは通常は０から１までの範囲の分数であるので、テクスチャ座標（ｕ，ｖ）は、分数のグレースケール・サンプルおよび走査線番号へマップされるとき、データ・テーブルにおける４つのグレースケール・サンプルにより境界が定められる。一実施形態では、これらの４つのサンプルは、厳密な分数サンプルへのそれらの相対距離に従って線形的に加重され、次いで加算されて、結果として得られる（ｘ，ｙ）画像空間画素値が生成される。この加重加算技術はしばしば双線形補間（bilinear interpolation）と呼ばれる。
【０１２４】
本発明のある実施形態は、ライティングおよびシェーディングを追加して、３次元幾何モデルの視覚的現実性を向上させることを含み得る。参照により組み込まれるＦｏｌｅｙその他の「Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃ Ｐｒｉｎｃｉｐｌｅｓ ａｎｄ Ｐｒａｃｔｉｃｅ」，第２版、Ａｄｄｉｓｏｎ−Ｗｅｓｌｅｙ Ｐｕｂｌｉｓｈｉｎｇ Ｃｏｍｐａｎｙ、１９９０年、は、コンピュータ・グラフィックスの分野において使用される幾つかの周知のライティングおよびシェーディング・モデルを記載する。１または複数の光源が定義され、オブジェクト空間に置かれる。加えて、３次元幾何モデルの反射特性が指定される。これは、例えば、円錐状多面体モデルの頂点の各々について、あるいはモデルの表面上の各点での、法線ベクトルの計算、ならびに、拡散や鏡面反射率など（これらに限定されない）のような反射特性を指定することを、含み得る。
【０１２５】
本発明の一実施形態では、図２ＢにおけるステップＳ２１２とステップＳ２１４の間に入れられる追加の処理ステップにおいて、ライティングおよびシェーディング計算が、３次元幾何モデルの章動された軸または頂点に適用される。これらの計算は、章動された座標値に加えて、頂点の各々についての相対強度値を生成する。これらの相対強度値は、ステップＳ２１４を通され、ステップＳ２１６で使用されて、ライティングおよびシェーディングの効果を組み込む最終画像が生成される。
【０１２６】
この実施形態では、光源が正のｚ軸に沿って置かれ得る（観察者もまた正のｚ軸に沿って置かれるが、光源と観察者は互いに干渉しないことに留意されたい）。３次元幾何モデルが章動されると、直近に獲得された走査線を含む部分は、正反対の短縮された部分よりも入射光をより多く反射する。なぜなら、前者の部分の周囲の表面に対する法線ベクトルがｚ軸とより良く整列させられるから、即ち、これらの法線とｚ軸とのドット積は相対的に高いからである。強調されない短縮された部分は、観察者から離れるように光を反射する。なぜなら、表面法線が十分にｚ軸と整列されないからである。よって、これはより薄暗く見える。全体的な効果は、モデルの３次元性を向上させることである。
【０１２７】
上述の実施形態は、カテーテルの手動の回転に応答して、３次元幾何モデルを章動させる。追加の実施形態は、一定または可変のレートで、あるいは、ユーザ・インタフェース制御の操作に応答して、モデルを章動させ得る。例えば、毎秒数回から多数回の画像が繰り返して獲得されるモータ駆動のＩＶＵＳイメージング・システムでは、モデルは低速で、時計回りあるいは反時計回りに章動され得、章動のレートは毎秒１章動サイクル程度である。更に、コンピュータ・ポインティング・デバイスなどのようなユーザ・インタフェース制御が、モデルをインタラクティブに章動させるために使用されてもよい。この技術は、ユーザにより望まれる任意の方向に、モデルが章動あるいは傾斜されることを可能とする。ｚ軸に対する全体の章動角はまた、新しい画像の線が追加されると徐々にあるいは急に増大されてもよく、また、新しい画像の線がある期間にわたって追加されなかった時にその期間後に徐々にあるいは急に減少されてもよい。図２Ａを参照すると、これらの追加の実施形態では、章動行列初期設定ユニット１７５が、章動角を、リーディング走査線角度以外のソースから受け入れおよび／または生成するように変更される。例えば、低い周期の章動ならびに全体の章動角の増大および減少に対して、タイマが使用されてもよく、また、インタラクティブな章動に対して、コンピュータ・ポインティング・デバイスの座標を使用して章動角を生成および／または調節してもよい。
【０１２８】
グラフィックス・マーカまたはアイコンが、最終的なラスタ化された画像上で重ね合わされてもよい。このようなマーカまたはアイコンは、例えば、１または複数の補助的な診断および治療デバイスの位置およびサイズ、および／または、どこでそれらの効果が発生するかを示すことができる。図２Ａを参照すると、一実施形態では、これらのオブジェクトの座標はオブジェクト空間において定義され、３次元幾何モデル軸章動ユニット１５０および３次元幾何モデル投影ユニット１６０により変換される。ラスタライゼーション（ラスタ化）は、画像データ・ラスタライゼーション・ユニット１６５により行われたものと類似のプロセス（必ずしも同一でなくてもよい）により実施される。
【０１２９】
追加の実施形態は、有限の期間に渡って画像が持続して、その後に徐々にあるいは急に除去されるようにする。この技術は、画像内の個々の走査線に対して、ならびに画像全体に対して適用され得る。これの一実施形態は、個々の走査線の各々を、フレッシュな走査線により更新されることなく、より多くの時間が経過するにつれて徐々に薄くすることである。これは、最も以前に獲得された、即ち「最古」の画像データが時間と共に次第により薄暗くなり、直近に獲得された、即ち「最新」の画像が最も明るい、という効果を有する。これは、より古いデータは経時的に臨床的価値が低下していくが、最新データは最大の臨床的価値を有することを、視覚的に示唆する。
【０１３０】
図７の７Ａ〜７Ｆは、本発明の実施形態による装置および方法を利用して、例示的な表示から取られた静止フレームである。即ち、図７の７Ａ〜７Ｆは、ビデオ表示から取られた静止フレームである。円錐状の前方視画像データは、章動され投影された３次元幾何モデル上に、章動され投影された３次元円錐状多面体の形態で、ラスタ化されている。黄の線はリーディング走査線を表し、画像データが追加されると回転する。赤のマーキングは、アブレーション・デバイスなどのような治療および／または処置デバイスの位置を表す。
【０１３１】
前述の実施形態および利点は例示的なものにすぎず、本発明を限定するように解釈されるべきではない。本教示は、他のタイプの装置にも容易に適用され得る。本発明の記載は、説明的となるように、および、特許請求の範囲を限定しないように意図される。多数の代替物、変更、および変形形態は、当業者には明らかとなるであろう。特許請求の範囲では、手段プラス機能を記載する節は、挙げられた機能を行うものとして本明細書に記載された構造、そして構造的均等物だけでなく等価の構造も包含するように意図される。
【技術分野】
【０００１】
本出願は、参照により本明細書に組み込まれる、２００６年５月２２日に出願された米国出願１１／４３７６８７の出願日の優先権を主張する。
【０００２】
本発明は、表示前方視画像データ（display forward-looking image data）のためのレンダリングのための装置および方法を対象とする。
【背景技術】
【０００３】
インターベンショナル医学の分野では、組織の画像を作成するために、カテーテル、腹腔鏡および内視鏡がしばしば使用される。これらの画像は、例えば、病気を診断および処置するために使用することができる。更に、場合によっては、医療状態の治療の処置中に進行をガイドおよび／または監視するために、医療画像を採用することが有利である場合がある。超音波イメージングおよび光コヒーレンス・トモグラフィ（ＯＣＴ）は、そのような応用に十分適したイメージング技術である。例えば、これらは、例えば、カテーテル、内視鏡または腹腔鏡の端部から、断層画像をリアルタイムで生成することができる。これらのモダリティからの画像は、平面の断層フォーマットで表示される傾向がある。例えば、機械的にあるいは手動で操舵されるデバイスを使用し、トランスデューサを回転させると、これらの画像は通常、円形画像として表示される。大部分の医療超音波およびＯＣＴ画像は、トランスデューサの機械的な回転により走査されるが、これらはまた、カテーテルまたは他のデバイスの端部からの超音波または光ビームを操向（ステアリング）することにより、電子的に走査されることも可能である。新しいデバイスは、現在、手動で回転される血管内超音波（ＩＶＵＳ）イメージングを組み込む。
【０００４】
治療をガイドおよび監視するために、例えば、カテーテル、内視鏡または腹腔鏡を、血管または体腔という制限の中で使用するとき、しばしばカテーテル、内視鏡または腹腔鏡の先端の前方にあるものを視覚化したいと思うであろう。これは特に、治療デバイスが、カテーテル、内視鏡または腹腔鏡の最遠位端に位置するとき、当てはまる。前方視覚化はまた、生検標本を特定の組織から低侵襲の方法で収集することを望むとき、有益であり得る。機械的にステアリングされる超音波およびＯＣＴデバイスは、カテーテル、内視鏡または腹腔鏡の軸に実質的に垂直である画像の作成に優れている。しかしながら、治療をガイドする目的では、幾つかの応用例では、例えば、カテーテル、内視鏡または腹腔鏡の先端より遠位にある組織を示す円錐状の前方視表面を、トランスデューサまたは光ファイバにスイープさせることが好ましい。
【０００５】
インターベンショナル医学の分野は、低侵襲的の技術を病気の処置に適用するために生じた。診断および治療ガイダンスのツールについて、心臓血管インターベンションを行う者は、蛍光透視システムを有し、これは、放射線不透性造影剤を血流に注入することにより血液プール（blood pool）をイメージングし、次いで、リアルタイムのＸ線イメージング技術を使用して、その造影剤が血管を通過するときにそれを見ることを可能にした。この技術の主な制限は、フルオロスコープが実際には血管組織をイメージングせず、むしろ、血管腔内の血液プールをイメージングすることであった。血液プールだけでなく、血管壁の画像を得る試みにおいて、超音波イメージング・トランスデューサがカテーテルの遠位端に取り付けられ、動脈内に配置された。これらのトランスデューサは典型的には、直径約１ｍｍのカテーテルに取り付けられた。超音波トランスデューサは典型的には、約６５ｍｍ〜７５ｍｍの開口を有した。この手法は、確かに、動脈壁を含む組織の視覚化を可能にした。
【０００６】
光コヒーレンス・トモグラフィ（ＯＣＴ）は、参照により本明細書に組み込まれる米国特許第５３２１５０１号に記載されており、これは超音波イメージングに似ていているが、音波からのエコーの代わりに、反射された赤外光を使用して、画像を作成する。超音波技術のように、これは、直径約１ｍｍのカテーテルに組み込まれることが可能であり、血管腔に加えて血管壁の画像を作成することができる。
【０００７】
幾つかの機械的にステアリングされるＩＶＵＳおよびカテーテルに基づいたＯＣＴイメージング・システムは、カテーテルの軸に対する垂直から数度外れた画像を作成するが、このようにして、これらのシステムは、カテーテルのシースからの反射を最小限にするように構築される。反射の大きさは、伝播の方向に対して厳密に垂直なカテーテル・シースに遭遇するとき、最大である。典型的には、これらのカテーテルは、カテーテル軸に対する垂直から約＋５度から−５度までイメージングする。これらの画像はほぼ平面であるので、これらは２次元画像としてビデオ・モニタに表示される。しかしながら、カテーテルの先端より遠位の組織を見るためには、垂直からより大きい角度が採用されなければならない。これは、トランスデューサまたは光ファイバの前でスイープされる円錐状前方視表面を生じる。米国特許出願１１／０５３１４１は、参照により本明細書に組み込まれるが、これは、このような画像を、画像データの色相、彩度および強度を使用して、非平面の画像の印象を与えるように表示するための幾つかの方法を教示する。
【０００８】
従来技術のイメージング・システムの優れたレビューは、Ｂｏｍその他による「Ｅａｒｌｙ ａｎｄ Ｒｅｃｅｎｔ Ｉｎｔｒａｌｕｍｉｎａｌ Ｕｌｔｒａｓｏｕｎｄ Ｄｅｖｉｃｅｓ」，Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃａｒｄｉａｃ Ｉｍａｇｉｎｇ，Ｖｏｌ．４ １９８９年，７９〜８８ページ（以下、「Ｂｏｍ論文」）で見ることができ、これを参照により本明細書に組み込まれる。Ｂｏｍ論文は、長年試行されてきた腔内画像作成のための異なる手法を論じる。ＩＶＵＳイメージングに関しては、特に、多数の特許が存在する。例えば、参照により本明細書に組み込まれるＹｏｃｋの米国特許第４７９４９３１号は、血管内超音波イメージング・デバイスと、イメージングおよび治療の組み合わせデバイスとを共に教示し、かつ、治療をガイドするためのその使用を教示する。教示されたカテーテルは、実際には平面であり、円形切断エレメントを用いてのアテローム性動脈硬化組織の除去をガイドする助けとなるように意図される画像を作成する。この特許の継続出願は、治療ガイダンスの他の形態を包含する。
【０００９】
市販のＩＶＵＳ製品は、今日、カテーテルの縦軸にほぼ垂直である２次元画像を作成する。米国特許第５３６１７６８号は、参照により本明細書に組み込まれ、これにおいて論じられるようなモータ付きの機械的なプルバック・スレッド（pullback sled）を追加して、カテーテルは、血管から移動される（引き出される）際に、これらの平面画像を収集することができる。カテーテルのプルバックはまた、手で行われる場合もある。これは事実上、３次元空間のスパイラル・サンプリングになり、これは、次いで様々な方法で表示されることが可能である。データが収集された後、３次元ボリュームを、縦軸に沿って、しばしば縦モード（Ｌモード）画像と称されるものへと再区切りすることができ、この画像は単に血管の縦のスライスである。しかしながら、これらの３次元ＩＶＵＳ画像の主要目的は、アテローム性動脈硬化プラークの合計組織容量を測定することである。イメージング・データの、様々な組織およびプラーク成分へのセグメンテーション（区分）は現在、自動的にコンピュータ・アルゴリズムにより行うことができ、それによりオペレータを、様々な組織成分の境界をトレースする退屈な仕事から救うことができ、これについては「Ｐｒｅｉｎｔｅｒｖｅｎｔｉｏｎ Ｌｅｓｉｏｎ Ｒｅｍｏｄｅｌｉｎｇ Ａｆｆｅｃｔｓ Ｏｐｅｒａｔｉｖｅ Ｍｅｃｈａｎｉｓｍｓ ｏｆ Ｂａｌｌｏｏｎ Ｏｐｔｉｍｉｚｅｄ Ｄｉｒｅｃｔｉｏｎａｌ Ｃｏｒｏｎａｒｙ Ａｔｈｅｒｅｃｔｏｍｙ Ｐｒｏｃｅｄｕｒｅｓ：Ａ Ｖｏｌｕｍｅｔｒｉｃ Ｓｔｕｄｙ Ｗｉｔｈ Ｔｈｒｅｅ Ｄｉｍｅｎｓｉｏｎａｌ Ｉｎｔｒａｖａｓｃｕｌａｒ Ｕｌｔｒａｓｏｕｎｄ」、Ｈｅａｒｔ、２０００年、８３、１９２〜１９７において論じられており、これを参照により本明細書に組み込む。
【００１０】
しかしながら、幾つかの応用例では、カテーテル先端の前あるいは遠位の組織を見ることが有利である。２次元前方視ＩＶＵＳイメージングは、何人かの著者により文書化されている。参照により本明細書に組み込まれるＥｖａｎｓその他による「Ａｒｔｅｒｉａｌ Ｉｍａｇｉｎｇ ｗｉｔｈ ａ Ｎｅｗ Ｆｏｒｗａｒｄ−Ｖｉｅｗｉｎｇ Ｉｎｔｒａｖａｓｃｕｌａｒ Ｕｌｔｒａｓｏｕｎｄ Ｃａｔｈｅｔｅｒ，Ｉ，Ｉｎｉｔｉａｌ Ｓｔｕｄｉｅｓ」、Ｃｉｒｃｕｌａｔｉｏｎ、ｖｏｌ．８９、Ｎｏ．２、７１２〜７１７ページ，１９９４年２月は、機械的に揺動される（ｗｏｂｂｌｅｄ）トランスデューサが、前方視の断層の２次元画像をスイープし、その２次元画像は、超音波業界において一般的な走査コンバージョン技術を使用して表示される。
【００１１】
参照により本明細書に組み込まれる、Ｎｇにより書かれた「Ａｒｔｅｒｉａｌ Ｉｍａｇｉｎｇ Ｗｉｔｈ ａ Ｎｅｗ Ｆｏｒｗａｒｄ−Ｖｉｅｗｉｎｇ Ｉｎｔｒａｖａｓｃｕｌａｒ Ｕｌｔｒａｓｏｕｎｄ Ｃａｔｈｅｔｅｒ，ＩＩ Ｔｈｒｅｅ−Ｄｉｍｅｎｓｉｏｎａｌ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ａｎｄ Ｄｉｓｐｌａｙ ｏｆ Ｄａｔａ」という名称の手引書は、画像情報の表示を扱う。前方視トランスデューサを使用し、これをカテーテル軸上で回転させることにより、完全な３次元円錐状データ・セットが得られる。このデータ・セットから、Ｃスキャン（トランスデューサ面に平行な２次元断面）または血管断面画像が次いで再構築される。手動で血管壁の境界をトレースし、空間的に成分２次元画像をオリエント（配向）した後、血管の３次元表面透視図をレンダリングした。
【００１２】
参照により本明細書に組み込まれる「Ｔｈｒｅｅ−Ｄｉｍｅｎｓｉｏｎａｌ Ｆｏｒｗａｒｄ−Ｖｉｅｗｉｎｇ Ｉｎｔｒａｖａｓｃｕｌａｒ Ｕｌｔｒａｓｏｕｎｄ Ｉｍａｇｉｎｇ ｏｆ Ｈｕｍａｎ ｉｎ Ｖｉｔｒｏ」という名称の、Ｇａｔｚｏｕｌｉｓその他による別の論文は、カテーテルの端部における類似の機械的に揺動されるトランスデューサを記載するが、これは、両方の完全な３次元レンダリングされたボリュームにおけるセクション、Ｂスキャン（トランスデューサの面に垂直な２次元断面）・フォーマット・セクションおよびＣスキャン・フォーマット・セクション、を表示するために後処理ソフトウェアを使用する。
【００１３】
更に、参照により本明細書に組み込まれるＬｉａｎｇその他の米国特許第５６５１３６６号は、血管内カテーテルの先端より遠位の前方視画像を作成するためのデバイスの特許を取得した。病気の診断だけでなく、治療のガイダンスも想定される。Ｌｉａｎｇのカテーテルは、カテーテルの遠位先端においてミラーを採用し、カテーテルは、相対運動するトランスデューサからの超音波ビームをミラーへ反射する。指定された形状（ジオメトリ）により、ほぼ扇形のフォーマットが、カテーテルの前にある組織をイメージングするために作成される。
【００１４】
参照により本明細書に組み込まれる１９９１年の「Ｉｎｖｅｓｔｉｇａｔｉｏｎ ｏｆ ａ Ｆｏｒｗａｒｄ−Ｌｏｏｋｉｎｇ ＩＶＵＳ Ｉｍａｇｉｎｇ Ｔｒａｎｓｄｕｃｅｒ」という名称のＬｅｅおよびＢｅｎｅｋｅｓｅｒによる論文には、前方視血管内イメージング・トランスデューサの概念が記載されている。この場合、伝えられた音が円錐状のミラーに反射されて、カテーテルの前で円錐状走査パターンが作成される。どのようにして３次元画像を正確に表示するべきかについての考察は、この原稿には含まれていない。推定上、円錐状セクションは従来のＩＶＵＳ２次元画像として表示されるであろう。
【００１５】
参照により本明細書に組み込まれるＳｍｉｔｈその他の米国特許第６０６６０９６号は、診断および治療デバイスを共に組み込むことができる、カテーテルの端部における電子的にステアリングされる２次元フェイズドアレー・トランスデューサを教示する。このトランスデューサは、一実施形態では、前方視イメージング・システムである。この特許は、視野内の任意の平面を提示するためにＣスキャン表示およびＢスキャン表示を採用する従来技術を引用する。
【００１６】
参照により本明細書に組み込まれる米国特許第６４５７３６５号および第６７８０１５７号は、側方視および前方視の組み合わせのカテーテルに基づいたイメージング・システムを教示する。これらの特許は、前方視３次元画像データを表示するための２つの技術、即ち、ＢスキャンおよびＣスキャンを提案する。
【００１７】
光コヒーレンス・トモグラフィ（ＯＣＴ）は超音波イメージングに似ているが、音波の代わりに光波を使用して画像を作成する。光の速度は音の速度よりはるかに速いので、単純な電子ゲーティング技術は、様々な深度で組織から出てくる反射を分離するのに十分ではない。その代わりに、干渉計が使用されるが、信号処理の残りの部分は超音波イメージングにおけるものとほとんど同じである。ＯＣＴおよびＩＶＵＳは共にカテーテルの遠位先端からの画像を提供することができ、共にインターベンショナル治療手順をガイドすることができる。血管内超音波イメージングのための表示オプションはすべて、当業者により容易に血管内ＯＣＴイメージングに適用可能である。
【００１８】
医療および非医療画像の両方の３次元レンダリングは一般的である。３次元画像レンダリングは、画像情報のインテグリティ、強度および幾何学的精度を保ちながら、人間の理解に適したように、収集された画像データを変換するプロセスである。
【００１９】
医療イメージングでは、表示は２つの大まかなカテゴリに分かれる傾向がある。第１のものは表面レンダリング技術であり、ここでは、器官表面または組織表面が画像データから検出され、組織自体よりむしろ組織の表面が表示される。これらの表面レンダリングでは、３次元透視図の作成に加えて、３次元オブジェクトを観察中であるという認識を高めるために、ライティング（明るくする）、シェーディング（陰をつける）および／またはテクスチャ（質感）をしばしば追加する。
【００２０】
第２の技術は、単に何れかの２次元スライスを３次元ボリュームから選択し、その画像平面をモニタに表示することを含む。超音波イメージングの場合、これらの２次元平面は、音波が移動した平面にある場合はＢスキャンと呼ばれ、あるいは、音波が最初に移動した平面に垂直である場合はＣスキャンと呼ばれる。他の医療イメージング・モダリティでは、これらは単に、カットされた平面または再サンプルされた平面と呼ばれる。
【００２１】
観察者が３次元オブジェクトを、オブジェクト内部の観点から見ることができる代替的な３次元表示技術は、Ｗｉｌｌｉａｍｓその他の米国特許第５６０６４５４号において教示され、これは参照により本明細書に組み込まれる。この手法は、表示されるべき構造が実際に空洞である腔内イメージングにとって、特定の魅力があり得る。
【００２２】
上記の参考文献は、追加または代替の詳細、特徴および／または技術背景の適切な教示のために適切であるところで、参照により本明細書に組み込まれる。
【先行技術文献】
【特許文献】
【００２３】
米国特許出願１１／０５３１４１号
米国特許第４７９４９３１号
米国特許第５３６１７６８号
米国特許第５６５１３６６号
米国特許第６０６６０９６号
米国特許第６４５７３６５号
米国特許第第６７８０１５７号
米国特許第５６０６４５４号
米国特許出願１１／２６１６３５号
【非特許文献】
【００２４】
Ｂｏｍその他、「Ｅａｒｌｙ ａｎｄ Ｒｅｃｅｎｔ Ｉｎｔｒａｌｕｍｉｎａｌ Ｕｌｔｒａｓｏｕｎｄ Ｄｅｖｉｃｅｓ」，Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃａｒｄｉａｃ Ｉｍａｇｉｎｇ，Ｖｏｌ．４ １９８９年，７９〜８８ページ
Ｈｅａｒｔ、「Ｐｒｅｉｎｔｅｒｖｅｎｔｉｏｎ Ｌｅｓｉｏｎ Ｒｅｍｏｄｅｌｉｎｇ Ａｆｆｅｃｔｓ Ｏｐｅｒａｔｉｖｅ Ｍｅｃｈａｎｉｓｍｓ ｏｆ Ｂａｌｌｏｏｎ Ｏｐｔｉｍｉｚｅｄ Ｄｉｒｅｃｔｉｏｎａｌ Ｃｏｒｏｎａｒｙ Ａｔｈｅｒｅｃｔｏｍｙ Ｐｒｏｃｅｄｕｒｅｓ：Ａ Ｖｏｌｕｍｅｔｒｉｃ Ｓｔｕｄｙ Ｗｉｔｈ Ｔｈｒｅｅ Ｄｉｍｅｎｓｉｏｎａｌ Ｉｎｔｒａｖａｓｃｕｌａｒ Ｕｌｔｒａｓｏｕｎｄ」、２０００年、８３、１９２〜１９７
Ｅｖａｎｓその他、「Ａｒｔｅｒｉａｌ Ｉｍａｇｉｎｇ ｗｉｔｈ ａ Ｎｅｗ Ｆｏｒｗａｒｄ−Ｖｉｅｗｉｎｇ Ｉｎｔｒａｖａｓｃｕｌａｒ Ｕｌｔｒａｓｏｕｎｄ Ｃａｔｈｅｔｅｒ，Ｉ，Ｉｎｉｔｉａｌ Ｓｔｕｄｉｅｓ」、Ｃｉｒｃｕｌａｔｉｏｎ、ｖｏｌ．８９、Ｎｏ．２、７１２〜７１７ページ，１９９４年２月
Ｎｇ、「Ａｒｔｅｒｉａｌ Ｉｍａｇｉｎｇ Ｗｉｔｈ ａ Ｎｅｗ Ｆｏｒｗａｒｄ−Ｖｉｅｗｉｎｇ Ｉｎｔｒａｖａｓｃｕｌａｒ Ｕｌｔｒａｓｏｕｎｄ Ｃａｔｈｅｔｅｒ，ＩＩ Ｔｈｒｅｅ−Ｄｉｍｅｎｓｉｏｎａｌ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ａｎｄ Ｄｉｓｐｌａｙ ｏｆ Ｄａｔａ」
Ｇａｔｚｏｕｌｉｓその他、「Ｔｈｒｅｅ−Ｄｉｍｅｎｓｉｏｎａｌ Ｆｏｒｗａｒｄ−Ｖｉｅｗｉｎｇ Ｉｎｔｒａｖａｓｃｕｌａｒ Ｕｌｔｒａｓｏｕｎｄ Ｉｍａｇｉｎｇ ｏｆ Ｈｕｍａｎ ｉｎ Ｖｉｔｒｏ」
ＬｅｅおよびＢｅｎｅｋｅｓｅｒ、「Ｉｎｖｅｓｔｉｇａｔｉｏｎ ｏｆ ａ Ｆｏｒｗａｒｄ−Ｌｏｏｋｉｎｇ ＩＶＵＳ Ｉｍａｇｉｎｇ Ｔｒａｎｓｄｕｃｅｒ」、１９９１年
Ｆｏｌｅｙその他、「Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃ Ｐｒｉｎｃｉｐｌｅｓ ａｎｄ Ｐｒａｃｔｉｃｅ」、第２版、Ａｄｄｉｓｏｎ−Ｗｅｓｌｅｙ Ｐｕｂｌｉｓｈｉｎｇ Ｃｏｍｐａｎｙ、１９９０年
Ｅ．Ｃａｔｍｕｌｌ、「Ａ Ｓｕｂｄｉｖｉｓｉｏｎ Ａｌｇｏｒｉｔｈｍ ｆｏｒ Ｃｏｍｐｕｔｅｒ Ｄｉｓｐｌａｙ ｏｆ Ｃｕｒｖｅｄ Ｓｕｒｆａｃｅｓ」、ＰｈＤ Ｔｈｅｓｉｓ，Ｒｅｐｏｒｔ ＵＴＥＣ−ＣＳｃ−７４−１３３、Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ Ｄｅｐａｒｔｍｅｎｔ、Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｕｔａｈ、Ｓａｌｔ Ｌａｋｅ Ｃｉｔｙ、Ｕｔａｈ、１９７４年１２月
「Ｃｏｍｐｕｔｅｒ Ｄｉｓｐｌａｙ ｏｆ Ｃｕｒｖｅｄ Ｓｕｒｆａｃｅｓ」、Ｐｒｏｃ １ＥＥＥ、Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ、Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，ａｎｄ Ｄａｔａ Ｓｔｒｕｃｔｕｒｅｓ、１９７５年５月
Ｊ．Ｆ．ＢｌｉｎｎおよびＭ．Ｅ．Ｎｅｗｅｌｌ、「Ｔｅｘｔｕｒｅ ａｎｄ Ｒｅｆｌｅｃｔｉｏｎ ｉｎ Ｃｏｍｐｕｔｅｒ Ｇｅｎｅｒａｔｅｄ Ｉｍａｇｅｓ」、Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｏｆ ｔｈｅ ＡＣＭ、１９（１０）、１９７６年１０月，５４２〜５４７ページ
Ｐ．Ｓ．Ｈｅｃｋｂｅｒｔ、「Ｓｕｒｖｅｙ ｏｆ Ｔｅｘｔｕｒｅ Ｍａｐｐｉｎｇ」、１ＥＥＥ Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ、６（１１）、１９８６年１１月，５６〜５７ページ
Ｄａｖｉｄ Ａ．Ｒｏｇｅｒｓ、「Ｐｒｏｃｅｄｕｒａｌ Ｅｌｅｍｅｎｔｓ ｆｏｒ Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ」、ＭｃＧｒａｗ−Ｈｉｌｌ Ｂｏｏｋ Ｃｏｍｐａｎｙ、１９８５年
Ｍａｒｋ Ｆｅｌｄｍａｎ、「Ｔｈｅ ＰＣ Ｇａｍｅ Ｐｒｏｇｒａｍｍｉｎｅｒ’ｓ Ｅｎｃｙｃｌｏｐｅｄｉａ：Ｔｅｘｔｕｒｅ Ｍａｐｐｉｎｇ」，ｈｔｔｐ：／／ｗｗｗ．ｇｅｏｃｉｔｉｅｓ．ｃｏｍ／ＳｉｌｉｃｏｎＶａｌｌｅｙ／２１５１／ｔｍａｐ．ｈｔｍｌ
【発明の概要】
【００２５】
本発明の目的は、少なくとも上記の問題および／または欠点を解決すること、および、少なくとも後述の利点を提供することである。
【００２６】
本発明は、表示前方視画像データのためのレンダリングのための装置および方法を対象とする。
【００２７】
本発明の追加の利点、目的および特徴は、一部分においては、以下に続く明細書において述べられ、一部分においては、以下の検討において当業者には明らかとなり、あるいは、本発明の実施から知ることができる。本発明の目的および利点は、特許請求の範囲において特に指摘されたように、理解および達成することができる。
【００２８】
本特許または出願ファイルは、カラーで作成された少なくとも１つの図面を含む。カラー図面（１または複数）を有する本特許または特許出願公報の複写は、要求に応じて、および必要な手数料を支払うことにより、特許庁により提供される。
【００２９】
本発明を、以下の図面を参照して詳細に説明するが、図面において同様の参照番号は同様の要素を指す。
【図面の簡単な説明】
【００３０】
【図１】図１は、本発明の一実施形態によるＩＶＵＳイメージング・システムの概略図である。
【図２Ａ】図２Ａは、本発明の一実施形態によるレンダリング装置のブロック図である。
【図２Ｂ】図２Ｂは、本発明の一実施形態によるレンダリング方法の流れ図である。
【図３】図３は、前方走査円錐の描写を伴う、カテーテルおよびトランスデューサ・アセンブリの斜視図である。
【図４Ａ】図４Ａは、例示的な非章動の円錐状多面体の斜平行投影である。
【図４Ｂ】図４Ｂは、別の例示的な非章動の円錐状多面体の斜平行投影である。
【図５】図５は、図４Ａの円錐状多面体の例示的な章動されたバージョンの透視投影を示す。
【図６】図６は、本発明による例示的なデータ・テーブルを示す。
【図７】図７の７Ａ〜７Ｆは、本発明の実施形態による装置および方法を利用した例示的な表示から取られた静止フレームである。
【発明を実施するための形態】
【００３１】
本発明は、円錐状の前方視画像を２次元ビデオ・モニタ上に、オペレータに情報の３次元性を伝えるように表示するためのレンダリングを対象とする。本発明は、カテーテルまたは他に基づいたインターベンションをガイドするために、例えば血管の前方視セクションの視覚化を可能にする、新規のイメージング様式を提供する。本発明は、動脈穿孔を修復するために必要な緊急のバイパス手術の数を減らすことができるだけでなく、より重要なことには、冠動脈損傷の多くに対しての低侵襲の処置を容易にし、それにより、はるかに費用のかかる冠動脈バイパス手術を回避することができる。
【００３２】
更に、本発明のある実施形態は、提示されている情報を観察者が直ちに吸収し、より効率的および効果的な診断および治療決定を行うことができるように、円錐状の前方視画像データを幾何学的に正確に表示する装置および方法を対象とする。この表示は、Ｂスキャン・フォーマットでも、Ｃスキャン・フォーマットでも、３次元表面レンダリングでもない。画像データは、３次元幾何モデル（一実施形態においては円錐）の表面上にあるかのように表示される。画像が再走査されると、３次元幾何モデルの表面（一実施形態では円錐状表面）の正確な幾何学的位置において、新しい画像データが以前の画像データに取って代わることができる。
【００３３】
観察者による画像データの視覚化を向上させるために、章動運動が採用されてもよい。３次元幾何モデルが円錐である一実施形態では、章動運動は観察者に、その表示が実際には円錐表面であるという印象を与えるようになる。ライティングおよび／またはシェーディングもまた、３次元オブジェクトの印象を更に向上させるために使用されてもよい。この章動は、固定回転速度によるものであってもよく、あるいは、画像データが更新されるとき、章動角が例えば最新画像データと約１８０度位相がずれるように、画像デバイスの回転に適合させてもよい。別法として、新しい画像データは章動角と厳密に同相であってもよい。
【００３４】
３次元幾何モデルが円錐である一実施形態では、円錐の軸と、画像表示に対して垂直な直線の間の角度が、円錐角に対して十分に小さくされて、円錐全体の章動が円錐の背面に対する観察者の視界を遮ることが防止される。これは、隠線除去アルゴリズムを組み込む計算的負担を回避する利点を有する。
【００３５】
本発明の実施形態による装置および／または方法が、診断および／または治療ツールまたはデバイスの位置決めを支援するために使用される場合、そのツールまたはデバイスがアクティブとな場所を観察者に通知するために、代表マーキングが３次元幾何モデルの表面に重ね合わせられてもよい。
【００３６】
更に、本発明のある実施形態は、画像データを３次元円錐状走査フォーマットで獲得する前方視腔内トランスデューサからの表示画像データのためのレンダリングのための方法および装置を対象とする。このデータはリアルタイムで表示されてもよく、画像の３次元円錐性への視覚的キュー（手がかり）を提供するために、デバイスの回転の軸に関して章動されてもよい。章動角（nutation angle）は、最新の入来データの角度に基づいて自動的に、あるいは、章動角の周期的な時間変動するスイープに基づいて自動的に、あるいは、例えばポインティング・デバイスからのユーザ入力に基づいて手動で、制御されることが可能である。
【００３７】
円錐状走査フォーマットの３次元幾何モデルが構築され、次いで、回転、移動（translation）、スケーリングおよび投影を介して、２次元空間へ変換されてもよい。章動角が使用されて、複合回転シーケンスが作成されてもよく、これは、３次元円錐モデルに適用されてもよく、それにより円錐の縦軸が所望される方向に傾けられることになる。画像データは、変換されたモデルに従って走査コンバート（即ち、ラスタ化）され得る。結果として生じる走査コンバートされた画像は、３次元円錐状走査フォーマットの２次元表現である。
【００３８】
画像が３次元であるという主要な視覚的キューは、変化させられる章動角であるが、追加のキュー（手がかり）が追加されてもよい。例えば、ライティング、シェーディングおよび／またはテクスチャが追加されて、円錐の表面の向きに関連する追加の情報が提供されてもよい。例えば、垂線が見る者の方向を向いた表面は、垂線が見る者から離れる表面よりも、多くの光を「反射」し、より明るく見えるようになる。
【００３９】
加えて、本発明のある実施形態は、獲得された画像データの３次元円錐状走査フォーマットへの視覚的手がかりを提供するレンダリング技術を使用した、前方視腔内トランスデューサからの表示画像データのためのレンダリングのための方法および装置を含む。前方視トランスデューサは、例えば、カテーテル、内視鏡または腹腔鏡の前にあるものを視覚化することにおいて有用であり、これは、治療モダリティがそのようなデバイスの最遠位端に位置するとき、特に重要である。視覚的手がかりは、トランスデューサ回転の軸を自動的あるいは手動的に章動させて、画像の円錐状走査フォーマットが明らかであるようにすることを含み得るが、これに限定されるものではない。この方法および装置を使用して、このような画像データ・セットをレンダリングすることは、前方視トランスデューサからのデータが従来の平面走査コンバージョン・アルゴリズムによりレンダリングされるときに発生する幾何学的歪みを回避する。
【００４０】
本発明は一般に医療デバイスの分野に関し、より詳細にはインターベンショナル医学の分野に関する。本発明は、画像におけるすべての点の３次元空間的方向の正確な描写を提供し、それにより、病気のより正確な診断および処置を可能にする。本発明を説明する目的で使用される１つの特定の応用例は、インターベンショナル心臓病学であるが、本発明は、画像データの視覚化においてユーザを支援するための、表示収集画像データのためのレンダリングが有用または有利となる何れの応用例に対して利用されてもよい。
【００４１】
インターベンショナル心臓病学のためにしばしば選択されるイメージング・モダリティはＩＶＵＳであるが、その画像は、他の画像データ収集モダリティまたは技術と共に利用される場合がある。ＩＶＵＳは周知の診断イメージング技術であるが、治療ガイダンス・ツールとしての機能も果たすことができる。例えば、血管形成術用バルーンの膨張またはステントの配置がリアルタイムで視覚化されて、臨床結果を改善することが可能である。他の治療技術およびデバイスもまた、治療が進行するにつれての治療を視覚化するためのオペレータの能力から、利益を得るようになる。場合によっては、治療行為がカテーテルの非常に遠位の先端で行われる。このような状況は、例えば、レーザ・アブレーション、高周波アブレーション、生検鉗子および生検針を使用するときに生じ得る。これらの治療および診断手順を最適にガイドするために、カテーテル先端より遠位にあり得る関連する組織の正確な描写を得ることは有益である。
【００４２】
図１は、本発明の一実施形態によるＩＶＵＳイメージング・システムの概略図である。システム１は、カテーテル１０を含む。遠位端または先端２８は、患者に挿入されるように適合され、患者の血管系を通じて、遠位端２８を関心のある領域または部位まで進めるようにナビゲート可能に構成される。カテーテル１０の遠位先端２８は、超音波トランスデューサ（図示されない）を搬送する。更に、遠位端２８はまた、血管または他の体腔の閉塞部分をアブレートするように適合されたアブレーション電極（図示されない）を搬送してもよい。カテーテル１０の近位端は、患者の外部にとどまり、角度エンコーダ１６に関連付けられることが可能であり、インターベンションを行う者または医師などのようなオペレータにより操作可能であるように設計される。
【００４３】
システム１は更に、エレクトロニクス・モジュール１８を含み、これは、システム１を動作するための信号を生成するため、および、結果として生じる超音波エコーからの信号を受信および処理するため、ならびに、アブレーション電極がシステムに含まれる場合には、ＲＦアブレーション信号を生成するための、回路およびソフトウェアを含む。中央処理ユニット２０は、受信された超音波信号から画像を構築し、これらの画像をモニタ２１上に表示する。これらの画像はオンデマンドで生成されてもよく、また、オペレータによるカテーテル１０の回転に応じてリフレッシュされてもよい。これらの画像は、所定の時間の後に、カテーテル１０を回転させることにより画像をリフレッシュすることをオペレータに思い出させるように、薄くなるようにすることができる。中央処理ユニット２０は、例えば、ラップトップまたはデスクトップ・コンピュータ、または専用の埋め込みプロセッサを備えてもよい。ケーブル２２、２４は、角度エンコーダ１６とエレクトロニクス・モジュール１８との間に接続される。一実施形態では、ケーブル２２は、角度エンコーダ１６により検知される増分角度情報を搬送し、ケーブル２４は電力および接地を提供する。別のケーブルがカテーテル１０からエレクトロニクス・モジュール１８へ通り、超音波信号、および、アブレーション電極がシステムに含まれる場合はＲＦエネルギーを搬送してもよい。代替の構成（図示されない）では、カテーテル１０からのトランスデューサおよびＲＦのケーブルは、角度エンコーダ１６に組み込まれたコネクタに接続し、次いで、超音波信号の前置増幅の後、これらの信号を、角度エンコーダ１６の第２のコネクタを通じて、エレクトロニクス・モジュール１８に渡してもよい。この代替の構成は、カテーテル・ケーブルをより短くすること可能にし、潜在的には、環境騒音のピックアップを低減する。
【００４４】
カテーテル１０は、完全にオペレータの手動制御下で回転および操作されてもよい。同様に、アブレーション電極がシステム１に含まれる場合、アブレーション・パルスの開始は、カテーテルまたはカテーテルの回転を検知するためのシステムとの直接接続と無関係に、オペレータにより決定されてもよい。アブレーション・エネルギの応用の制御に関する「手動」についての言及は、オペレータがアブレーション電極の適した位置についての判断に基づいてアブレーション・シーケンスを開始する任意の構成を含むことを、理解されたい。よって、「手動」の動作は、オペレータがアブレーション・サイクルをトリガすることができる様々な構成、例えば、機械制御されたスイッチ、例えばフット・スイッチや、音声動作制御や、他の手段を含み、例えば、例えばペダル１９の操作によりトリガすることができる。
【００４５】
図２Ａおよび図２Ｂは、本発明の実施形態によるレンダリング装置のブロック図、およびレンダリング方法の流れ図をそれぞれ開示する。図２Ａに示されるように、レンダリング装置１４０はデータ入力ユニット１８０を含み、これにおいて、画像データは、図１に示されたＩＶＵＳシステムなどのようなイメージング・システムから受信あるいは入力される。データ入力ユニット１８０は、画像データを、図６に示されたものなどのようなデータ・テーブルに編成することができる。データ入力ユニット１８０はまた、ユーザにより設定された、あるいは、イメージング・システムにより設定および／または計算された、パラメータを受信することができる。このようなパラメータは、前方走査角度、ベースの半径、観察者距離、章動の大きさ、線（ライン）当たりのサンプル数、フレーム当たりの線の数を含み得る。
【００４６】
レンダリング装置１４０は更に、３次元幾何モデル初期設定ユニット１４５、投影行列初期設定ユニット１５５、および章動行列初期設定ユニット１７５を含む。３次元幾何モデル初期設定ユニット１４５は、３次元幾何モデル、一実施形態では円錐状多面体、を出力するが、投影行列初期設定ユニット１５５および章動行列初期設定ユニット１７５は、投影行列および章動行列をそれぞれ出力する。本出願は、例えば３次元幾何モデルのような円錐状多面体の使用を開示するが、他の３次元幾何モデルが特定の応用例に基づいて適切であり得る。レンダリング装置１４０は更に、３次元幾何モデル軸章動ユニット１５０を含み、これは、３次元幾何モデル、一実施形態では円錐状多面体、および章動行列を、３次元幾何モデル初期設定ユニット１４５および章動行列初期設定ユニット１７５からそれぞれ受信し、章動された３次元幾何モデル、一実施形態では、章動された円錐状多面体、を出力する。章動された３次元幾何モデルは、３次元幾何モデル投影ユニット１６０へ送られ、３次元幾何モデル投影ユニット１６０はまた、投影行列を投影行列初期設定ユニット１５５から受信する。３次元幾何モデル投影ユニット１６０は、章動され投影された３次元幾何モデル、一実施形態では、章動され投影された円錐状多面体を、画像データ・ラスタライゼーション（ラスタ化）・ユニット１６５へ出力する。
【００４７】
上述のように、システム１により収集された画像データは、データ入力ユニット１８０により受信され、図６に示されたものなどのような、走査線毎の角度および画像データを含むデータ・テーブルにおいて配置される。画像データは、画像データ・ラスタライゼーション・ユニット１６５へ、データ入力ユニット１８０により転送される。画像データは次いで、３次元幾何モデル投影ユニット１６０により出力された、章動され投影された３次元幾何モデル、一実施形態では、章動され投影された円錐状多面体上に、画像データ・ラスタライゼーション・ユニット１６５によりラスタ化される。データ入力ユニット１８０はまた、章動行列の計算において使用されるためのリーディング走査線角度を、章動行列初期設定ユニット１７５へ提供する。
【００４８】
上述のように、図２Ｂは、本発明の一実施形態によるレンダリング方法のブロック図である。まず、ステップＳ２０２において、ユーザまたは、図１に示されたようなイメージング・システムにより入力された、前方走査角度、底面（ベース）の半径、観察者距離、章動の大きさ、線当たりのサンプル数、フレーム当たりの線の数などのようなパラメータおよび画像データが受信される。ステップＳ２０４において、画像データが、図６に示されたもののような、走査線毎の角度および画像データを含むデータ・テーブルにおいて、配置される。次いで、受信されたパラメータを使用して、３次元幾何モデル、投影行列、および章動行列が、ステップＳ２０４、Ｓ２０８およびＳ２１０で、それぞれ、初期設定される。ステップＳ２０４〜Ｓ２１０の順序は重要ではなく、従って、これらのステップの順序は変更されてもよい。次に、ステップＳ２０６において作成された３次元幾何モデル、一実施形態では円錐状多面体、および、ステップＳ２１０において初期設定された章動行列を使用して、３次元幾何モデル、一実施形態では円錐状多面体、の軸が章動されて、章動された３次元幾何モデル、一実施形態では章動された円錐状多面体が、ステップＳ２１２において作成される。ステップＳ２１４において、３次元幾何モデルが、ステップＳ２０８において初期設定された３次元幾何モデル投影行列を使用して投影される。ステップＳ２１６において、画像データが、章動され投影された３次元幾何モデル上にラスタ化される。図２Ｂの様々な処理ステップは更に詳細に以下で論じられる。
【００４９】
図２Ａのレンダリング装置１４０および図２Ｂのレンダリング方法は、本質的に、３次元座標ならびに画像データを処理するためのパイプラインである。図２Ａを参照すると、３次元座標は、３次元幾何モデル初期設定ユニット１４５において発生し、続いて、３次元幾何モデル軸章動ユニット１５０および３次元幾何モデル投影ユニット１６０により、２次元座標に変換される。変換された座標は、次いで、画像データ・ラスタライゼーション・ユニット１６５へ送信され、これは、走査コンバージョンのために、画像データを、章動され投影された３次元幾何モデル上にラスタ化する。
【００５０】
図２Ａおよび図２Ｂに示された全体のパイプラインは、コンピュータ・グラフィックスの分野において実施されるような３次元レンダリング・パイプラインの変形形態である。同次座標の使用はこの分野において十分に確立され、本発明はこのような座標を使用する。本発明では、３次元座標は、ステップＳ２１２において、１に初期設定される第４の座標ｗを加算することにより「同次化」される。よって、３次元座標（ｘ，ｙ，ｚ）は、同次座標（ｘ，ｙ，ｚ，１）へと進められる。これらの同次座標は、ステップＳ２１４の終わりにおいて、形式（ｘ，ｙ，ｚ，ｗ）の座標が（ｘ／ｗ，ｙ／ｗ，ｚ／ｗ）へと再正規化されるように、３次元座標へ戻るように降格される。この降格または再正規化はまた、形式（ｘ，ｙ，ｚ，ｗ）の同次座標の、ｗ＝Ｋの面への投影と考えることもでき、ここでＫは定数であり、しばしば１である。
【００５１】
いわゆる「オブジェクト空間」から「画像空間」へのオブジェクトの変換は、オブジェクト空間座標に１または複数の変換行列を乗算することにより実施されるものであり、この１または複数の変換行列は、オブジェクトの回転、スケーリング、移動、観察者の位置および向き、および３次元から２次元への投影を表すものである。これらの変換行列は、効率を良くするために、単一の行列へと、前から乗算（premultiply）されてもよい。行列乗算は可換ではないので、座標を変換するための２つの異なる規則がある。数学およびコンピュータ・グラフィックスのテキストにおいて教示されるような従来の規則は、変換行列を列座標ベクトルにより後ろから乗算することである。他のコンバージョンは、変換行列を行座標ベクトルにより後から乗算（postmultiply）することである。これらの変換行列は、コンピュータ・グラフィックスの分野における当業者には知られるように、或る規則から他の規則へ向かうように転置されなければならない。本発明の実施形態は、変換行列を列座標ベクトルにより後から乗算する従来の規則を使用する。これは、以下の式（１）に例示される。
【００５２】
【数１】
【００５３】
この式において、
ｔ１１からｔ４４は、集合変換係数を構成するものであり、
ｘ、ｙおよびｚは、３次元空間における点の座標であり、
ｘ’、ｙ’、ｚ’およびｗ’は、変換された同次座標である。
【００５４】
画像空間における最終的な２次元座標を得るために、変換された座標は形式（ｘ’／ｗ’，ｙ’／ｗ’，ｚ’／ｗ’）へ再正規化され、次いで、ｚ’／ｗ’項が単に落とされて、形式（ｘ’／ｗ’，ｙ’／ｗ’）の２次元座標が生じる。これらは更におよび自明に、ビデオ・モニタ画素を扱うために適当な物理デバイス座標にマップされなければならないであろう。
【００５５】
３次元オブジェクトの適した表現および操作は、右手または左手の座標系の何れかの選択および一貫した使用を必要とする。右手座標系では、（ｘ，ｙ，ｚ）軸は、ｘ軸の、ｙ軸への回転（即ち、９０°の時計回り）が、正のｚ方向に進む右ねじの回転に対応するように、配置される。ビデオ・モニタとの関連では、観察者がモニタを見ているとき、ｘ軸は右側を指し、ｙ軸は上方を指し、ｚ軸は観察者の方へとモニタの「外」へ向かう。これは、３次元空間における大部分のオブジェクトのｚ座標が負であること、即ち、モニタの「内側」であることを意味する。この幾分扱いにくい状況のため、ソフトウェア・ライブラリなどのような３次元コンピュータ・グラフィックス・システムは、オブジェクトを正のｚ座標空間において配置するために、しばしば左手座標系を使用する。それにもかかわらず、数学およびコンピュータ・グラフィックスの教科書は、伝統的に、右手座標系を教示し、従って、本発明の実施形態の考察もまた右手座標系を使用する。コンピュータ・グラフィックスの分野における当業者は、これら２つの座標系の間での変換を容易にできるであろう。
【００５６】
図２ＢのステップＳ２０６において、３次元幾何モデルは、走査表面、この例示的な実施形態では円錐状走査表面で作成される。一実施形態では、図４Ａに示されるように、この円錐は、多面体を定義する一連の接続された平面の二等辺三角形表面により近似される。１つの特定の代替の実施形態では、円錐の先端は開いており、これは、走査線がイメージング・カテーテルの縦軸上で開始せず、むしろ、走査線がこの軸からの半径のオフセットされたところで開始するからである。図４Ｂは、例示的な開いた円錐状多面体を示す。この代替の実施形態では、開いた円錐は、多面体を定義する一連の接続された平面の正台形表面により近似される。追加の代替の実施形態では、この円錐は様々なタイプのパラメトリック双三次（parametric bicubic）表面パッチ（surface patches）により近似されることができ、これは、エルミート面、ベジエ面、およびＢスプライン面を含むが、これらに限定されるものではない。この円錐はまた、陰関数で定義された二次面の群を含む、陰関数または陽関数の表面式（implicit or explicit surface equations）の何れかを使用することにより、厳密にモデリングされることができ得る。幾つかの表面表現の調査が、Ｆｏｌｅｙその他により、「Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃ Ｐｒｉｎｃｉｐｌｅｓ ａｎｄ Ｐｒａｃｔｉｃｅ」、第２版、Ａｄｄｉｓｏｎ−Ｗｅｓｌｅｙ Ｐｕｂｌｉｓｈｉｎｇ Ｃｏｍｐａｎｙ、１９９０年、において提示され、これは参照により本明細書に組み込まれる。
【００５７】
三角形の数を、カテーテルの完全な回転、約３６０°、を含む走査線の数に等しくなるように選択することは、必要ではないが好都合である。この場合、各走査線は、多面体における２つの隣接する三角形の共有される縁部を表す。更に、２つの隣接する走査線は、一つの二等辺三角形の２つの等しい側部を表す。すべての走査線は多面体の先端から出て、底部に近付くにつれて分かれる。
【００５８】
三角形の数が増すにつれて、多面体は真の円錐に近付くが、その装置を実現するために必要とされるより多くの計算およびストレージのリソースを費やす。反対に、多面体をより少数の三角形で定義すると、円錐に対してのより粗い近似となるが、必要とされる計算およびストレージのリソースは低減される。例示として、図３は、前方走査多面体の描写と、カテーテルおよびトランスデューサ・アセンブリとを示す。上述の図４Ａは、１回転につき１２本の走査線のときの対応する１２個の二等辺三角形を有する多面体を示す。同様に、上述の図４Ｂは、１回転につき１２本の走査線のときの対応する１２個の正台形を有する多面体を示し、図４Ｂにおける多面体の先端の孔は、カテーテルおよびトランスデューサ・アセンブリに隣接する領域である。これらの走査線および三角形は、約３０°の角度の増分の間隔がある。この実施例は例示的なものにすぎない。なぜなら、円錐を１２個の二等辺三角形のみで近似すると、一般に近似が粗すぎて、現実的に見える円錐を生成できないからである。更に、カテーテルの１回転につき１２本の走査線では、トランスデューサの固有の横の分解能に関して、画像を劇的にアンダーサンプルする（undersample、サンプルを少なくする）ことになり、結果として画像の質が悪いものとなる。本発明による方法および装置の一実施形態は、カテーテルの１回転につき４００本の走査線という構成に対応する４００個の二等辺三角形を使用する。これは、角度の増分の間隔が約０．９°の走査線および三角形を生じる。
【００５９】
３次元座標を幾何モデルに割り当てるとき、そのサイズ、方向および位置が指定されなければならない。最初に、幾何モデルのサイズを定義するために、少数の変数を定義することが好都合である。
【００６０】
ここでは、
Ψ＝前方走査角度
Ｒ＝円錐の底面での半径
Ｈ＝円錐の高さ＝Ｒ＊ｔａｎ（Ψ）
とする。
【００６１】
画像が章動されていないときに、頂部（先端）が観察者の方に直接に向くように、幾何モデルをオリエントするために、その縦軸は、ｚ軸と一致するように定義されることができ、モデルの先端は、底面上の点のｚ座標よりも大きい正のｚ座標を有するようにされる。
【００６２】
幾何モデルを位置付けするために、原点は、幾何モデルの底面の中心、即ち、底面の平面におけるその縦軸に沿った点となるように定義される。この点は、３次元座標（ｘ，ｙ，ｚ）＝（０，０，０）を有する。章動がモデルの縦軸に対して対称となるようにするために、ｘおよびｙの座標はゼロに等しくなければならないことに留意されたい。しかしながら、ｚ座標は、章動の視覚上の効果を変化させるために再定義されてもよい。例えば、先端に原点を定義すると、画像が章動されるとき、先端が固定位置に残り、底面が旋回することになるが、原点を底面の中心に定義すると、先端が旋回し、底面の旋回は比較的少なくなる。モデルを表示のために２次元に投影するとき、原点のためのｚ座標の選択は、すべての可能な章動角のもとで画像を表示するために必要とされる画面領域の合計量に影響を与える。画面領域を最小化するこの座標の値は、幾何モデルのパラメータにより決まるが、原点が先端に定義されると画面領域は最小化されない。
【００６３】
幾何モデルの底面の中心が（０，０，０）にあれば、先端の位置は（０，０，＋Ｈ）である。観察者は、＋Ｈよりも更に「後方」に位置付けられるようにして、幾何モデルの「内側」になることを回避しなければならないことに、留意されたい。これは、単なる−Ｈの移動と、それに加えての所望される何れかの追加の観察者距離とにより達成される。残りの座標は、多面体の底面の環状の周囲に沿って位置付けられる。
【００６４】
ここでは、
Ｌ＝カテーテルの完全な１回転当たりの走査線の数
Ａ＝１走査線当たりに対する角度＝３６０°／Ｌ
ｎ＝走査線数を表すために使用される変数、０からＬ−１までの範囲
θ＝走査線角度＝ｎ＊Ａ
とする。
【００６５】
次いで、走査線ｎの端点（endpoint）の位置は、式（２）により以下のように提供されてる。
【００６６】
Ｐｎ（ｘ，ｙ，ｚ）＝（Ｒ ｃｏｓ（θ），Ｒ ｓｉｎ（θ），０） 式（２）
【００６７】
一実施例が以下に提供される。
Ｒ＝１．０
Ψ＝３０°
Ｈ＝１．０＊ｔａｎ（３０°）＝０．５７７
円錐の先端ＰＡ（ｘ，ｙ，ｚ）＝（０，０，０．５７７）
Ｌ＝１２
Ａ＝３６０°／１２＝３０°
【００６８】
走査線毎の端点は、以下の表（１）において以下で指定される。
【００６９】
【表１】
【００７０】
３次元多面体は、３次元オブジェクト空間から２次元画像空間へ投影されなければならない。本発明による方法および装置の一実施形態では、透視投影が使用されて、深度の手がかりが観察者に提供される。投影の中心が原点（０，０，０）にあり、投影面がｚ軸に対して垂直であり距離ｚ＝ｄにある、透視投影行列のための最も単純な形式は、以下の式（３）により提供され得る。
【００７１】
【数２】
【００７２】
ｄ＝−１では、この投影行列は次いで、以下のような例示的な式（４）に示されるように簡単になる。
【００７３】
【数３】
【００７４】
透視投影行列のための代替の形式は、ｚ軸に垂直の投影面をｚ＝０に置き、投影の中心を（０，０，−ｄ）に置き、これは以下の式（５）により提供され得る。
【００７５】
【数４】
【００７６】
この形式は、投影の中心から投影面までの距離ｄが無限大になる傾向になることを可能にする。距離ｄが無限大に近付くにつれて、透視投影は平行投影になる。本発明による方法および装置の代替の実施形態では、式（５）の形式における透視投影行列が使用される。追加の代替の実施形態では、式（５）においてｄ＝∞を設定することにより、平行投影が使用される。
【００７７】
本発明による方法および装置の一実施形態では、観察者の変換も適用され、これは、観察者距離Ｄだけ負のｚ方向へ多面体を移動する。この移動の目的は、多面体を完全に投影面の後ろに置くことであり、従って、多面体の高さＨがＤに加算されなければならない。この変換は、以下の式（６）により提供され得る。
【００７８】
【数５】
【００７９】
この複合投影行列は、観察者変換および投影行列を共に含むものであり、以下の式（７）により提供され得る。
【００８０】
【数６】
【００８１】
行列乗算は可換ではないので、観察者変換は投影の前に適用されなければならない。更に、章動行列を観察者変換行列により後ろから乗算する（postmultiply）ことは、投影行列を観察者変換行列により前から乗算する（premultiply）ことと同等に有効である。双方の場合とも、観察者変換は、章動変換の後および投影の前になされなければならない。
【００８２】
図２Ａでは、投影行列は、投影行列初期設定ユニット１５５により、パラメータ、前方走査角度、底面の半径、および観察者距離を使用して確立される。投影行列は、次いで、３次元幾何モデル投影ユニット１６０により使用されて、章動された３次元幾何モデル、この実施例では多面体が、章動され投影された３次元幾何モデルへと変換される。
【００８３】
超音波画像データを獲得する手段は十分に理解される。例えば、参照により本明細書に組み込まれるＧｏｏｄｎｏｗその他による米国特許出願１１／２６１６３５は、本発明の実施形態と共に利用され得る例示的なＩＶＵＳシステムと類似の例示的ＩＶＵＳイメージング・システムのための獲得プロセスを記載する。特に、米国特許出願１１／２６１６３５は、カテーテル角度および超音波画像のデータを格納するためのデータ・テーブルの生成を記載する。図６は、本発明の実施形態のために利用され得る例示的データ・テーブルを示す。図６のデータ・テーブルは３列を有する。第１は単に指数（ｉｎｄｅｘ）であり、複数の指数が隣接する場合には省略される場合がある。第２の列はカテーテルの角度（ａｎｇｌｅ）であり、図１における角度エンコーダ１６から受信されたデータから導出される。第３の列は、検出された、あるいは、グレースケールの、超音波画像データ（ｉｍａｇｅ ｄａｔａ）である。第３の列における行の各々におけるデータは、実際にはグレースケール・サンプルのアレイであるが、表記を簡単にするために、これらのアレイはＩｍａｇｅＤａｔａ［ｎ，ｔ］として扱われることに留意されたい。グレースケールのサンプルの数が、サンプル／秒におけるサンプリング・レートおよび水中の音速と共に使用されて、走査深度が推定され得る。典型的な走査深度は、図１に示されたもののような例示的なＩＶＵＳシステムでは、約５ミリメートルである。完全なデータ・テーブルは、カテーテルの完全な１回転、約３６０°、において獲得されたそれぞれの超音波走査線に対して１行を有するデータ・テーブルとして定義される。
【００８４】
図２Ａを再度参照すると、データ入力ユニット１８０は、超音波画像獲得プロセスを制御するか、あるいは、図１に示されたエレクトロニクス・モジュール１８における獲得プロセスなどのような別のプロセスからグレースケール・データを受信する。米国特許出願１１／２６１６３５は、例示的な獲得プロセスを詳細に記載する。データ入力ユニット１８０は、獲得された画像データにより、完全なデータ・テーブル、または、以前のデータとマージされ得る完全データ・テーブルのサブセットの何れかを作成する。手動で回転されるイメージング・システムでは、データ入力ユニット１８０により作成されたデータ・テーブルは、完全データ・テーブルのサブセットとなる可能性が高い。完全データ・テーブルは、カテーテルの完全な約３６０°の１回転における角度の各々からの超音波走査線の最新バージョンを含む。
【００８５】
図２Ａを再度参照すると、データ・テーブルを生成することに加えて、データ入力ユニット１８０はまた、リーディング（leading、先頭）走査線角度の受信、および、章動行列初期設定ユニット１７５への出力も行う。リーディング走査線角度は、直近に獲得された超音波走査線に対応するカテーテル角度、と定義される。リーディング走査線角度は、一実施形態では、章動行列初期設定ユニット１７５により使用されて、章動の大きさおよび方向が計算される。
【００８６】
手動で回転されるカテーテルを有するＩＶＵＳシステムでは、カテーテルの位置は、オペレータがデバイスを操作すると比較的低速で変化する。本発明による方法および装置の一実施形態は、この低速の手動で制御される回転の利点を用い、幾何モデルまたは円錐の縦軸の方向を設定することにより、カテーテルの角度位置を追跡する。具体的には、幾何モデルまたは円錐の縦軸が、カテーテルの角度位置またはリーディング走査線角度の反対側へまたはそれから離れるように、傾けられる。２次元空間へ投影されるとき、これは、直近に獲得されたデータをより大きく、観察者により近く見えるようにし、より見やすくする。正反対のデータは短縮され、従って、強調されなくなる。ｚ軸に対する傾きの量は、リーディング走査線角度とは無関係な量であり、定数であり得る。この定数は章動の大きさであり、度（degree）などのような角度の単位で表現される。全体の傾きは、（ｘ，ｙ）面におけるある方向についての回転として表現されることが可能であり、この方向は、リーディング走査線角度の関数として指定される。例えば、リーディング走査線角度が０°または１８０°である場合、幾何モデルまたは円錐の縦軸はｙ軸について回転され、リーディング走査線角度が９０°または２７０°である場合、幾何モデルまたは円錐の縦軸はｘ軸について回転される。これらの特別な場合以外の角度では、回転の軸は、以下の式（８）において、正規化された方向ベクトルにより与えら得る。
【００８７】
【数７】
【００８８】
ここにおいて、
θ＝リーディング走査線角度
である。
【００８９】
コンピュータ・グラフィックスの分野から、方向ベクトルＵ＝（ｕｘ，ｕｙ，ｕｚ）により与えられる任意の方向の周りでの回転φについての回転行列は、ロドリゲスの回転式、式（８）により以下のように与えられる。
【００９０】
【数８】
【００９１】
以下の式（１０．１）、（１０．２）および（１０．３）を使用して、置き換える。
【００９２】
ｕｘ＝ｓｉｎθ 式（１０．１）
ｕｙ＝−ｃｏｓθ 式（１０．２）
ｕｚ＝０ 式（１０．３）
【００９３】
この行列は以下の式（１１）となる。
【００９４】
【数９】
【００９５】
図２Ａを参照すると、章動行列初期設定ユニット１７５は、リーディング走査線角度（θ）および章動の大きさ（φ）を使用して、式（１１）に従って章動行列を計算する。
【００９６】
図２Ａを再度参照すると、３次元幾何モデルの軸、または、一実施形態では円錐状多面体の頂点は、３次元幾何モデル軸章動ユニット１５０および３次元幾何モデル投影ユニット１６０により、章動され投影された３次元幾何モデルのための軸または頂点へと変換される。本発明による方法および装置の一実施形態では、中間の頂点ストリームまたは章動された３次元幾何モデルが生成される。代替の実施形態では、章動および投影変換行列は、一つの行列へと連結されてもよく、３次元幾何モデルからの頂点は、章動され投影された３次元幾何モデルに対する頂点へと直接に変換される。
【００９７】
３次元幾何モデル軸章動ユニット１５０および３次元幾何モデル投影ユニット１６０は共に、式（１）に従って同次座標ストリームを変換する。これらの式は、以下のように式（１２）へと展開する。
【００９８】
ｘ’＝ｔ１１ｘ＋ｔ１２ｙ＋ｔ１３ｚ＋ｔ１４ｗ
ｙ’＝ｔ２１ｘ＋ｔ２２ｙ＋ｔ２３ｚ＋ｔ２４ｗ
ｚ’＝ｔ３１ｘ＋ｔ３２ｙ＋ｔ３３ｚ＋ｔ３４ｗ
ｗ’＝ｔ４１ｘ＋ｔ４２ｙ＋ｔ４３ｚ＋ｔ４４ｗ 式（５２）
【００９９】
上記の式では、ｔ１１からｔ４４は、３次元幾何モデル軸章動ユニット１５０により使用される章動行列における係数であり、ｔ１１からｔ４４は、３次元幾何モデル投影ユニット１６０により使用される投影行列における係数である。ｗは、３次元幾何モデル軸章動ユニット１５０により１に設定され、３次元幾何モデル投影ユニット１６０によりｗ’に設定されることに、留意されたい。
【０１００】
一実施例が以下に提供される。
【０１０１】
表（１）において定義された円錐状多面体モデルを使用する。この実施例から、多角形の高さＨは０．５７７である。また、例示目的で、以下のようであるとする。
【０１０２】
Ｄ＝１．０ （観察者距離）
【０１０３】
そうすると、式（７）から、複合投影行列は以下の通りである。
【０１０４】
【数１０】
【０１０５】
章動行列を計算するため、例示目的であるが、以下のようであるとする。
【０１０６】
θ＝３０° （リーディング走査線角度）
φ＝１５° （章動の大きさ）
【０１０７】
そうすると、式（１１）から、章動行列は以下の通りである。
【０１０８】
【数１１】
【０１０９】
式（１２）をこれらの係数と共に適用すると以下のものを生じる。
【０１１０】
ｘ’＝０．９７４ｘ−０．０１５ｙ−０．２２４ｚ
ｙ’＝−０．０１５ｘ＋０．９９１ｙ−０．１２９ｚ
ｚ’＝０．２２４ｘ＋０．１２９ｙ＋０．９６６ｚ
ｗ’＝ｗ
【０１１１】
式（１２）を、複合投影行列のための係数と共に適用すると以下のものを生じる。
【０１１２】
ｘ’’＝ｘ’
ｙ’’＝ｙ’
ｚ’’＝ｚ’−１．５７７ｗ’
ｗ’’＝−ｚ’＋１．５７７ｗ’
【０１１３】
最後に、ｗ’’により通して除算することにより同次座標を再正規化すると、以下のものを生じる。
【０１１４】
ｘ’’’＝ｘ’’／（−ｚ’’＋１．５７７ｗ’’）
ｙ’’’＝ｙ’’／（−ｚ’’＋１．５７７ｗ’’）
ｚ’’’＝−１
ｗ’’’＝１
【０１１５】
投影された２次元座標は、第４の座標を落とすこと、および、ｚ’’’＝−１である投影の面における残りの３次元座標を評価することにより得られ、（ｘ’’’，ｙ’’’）を生じる。
【０１１６】
以下の表（２）を参照すると、元の変換されていない３次元円錐状多面体座標は、ｘ、ｙおよびｚ列にリストされ、表（１）にリストされた座標と等しい。章動された座標は、ｘ’、ｙ’、ｚ’およびｗ’列にリストされる。章動され投影された座標は、ｘ’’、ｙ’’、ｚ’’およびｗ’’列にリストされる。再正規化された２次元座標は、ｘ’’’およびｙ’’’列にリストされる。
【０１１７】
【表２】
【０１１８】
図５は、章動され投影された多面体を示す。頂点番号が図において示され、これらは、表１および表２の第１の列における指数に対応する。グリッドが画像上に重ね合わされて、（ｘ，ｙ）座標の推定が可能になる。（ｘ，ｙ）座標は、表２の最後の２列にリストされたｘ’’’およびｙ’’’座標に対応する。
【０１１９】
図２Ｂを参照すると、章動され投影された３次元幾何モデルの２次元表現の計算における最後のステップ、ステップＳ２１６は、３次元幾何モデルの変換されたバージョンに従って超音波グレースケール・データを走査コンバートあるいはラスタ化することである。一実施形態では、これは、グレースケール・データを、章動され投影された円錐状多面体上にテクスチャ・マッピングする十分に理解されたコンピュータ・グラフィックス・プロセスにより実施される。テクスチャ・マッピングは最初に、Ｅ．Ｃａｔｍｕｌｌにより、「Ａ Ｓｕｂｄｉｖｉｓｉｏｎ Ａｌｇｏｒｉｔｈｍ ｆｏｒ Ｃｏｍｐｕｔｅｒ Ｄｉｓｐｌａｙ ｏｆ Ｃｕｒｖｅｄ Ｓｕｒｆａｃｅｓ」、ＰｈＤ Ｔｈｅｓｉｓ，Ｒｅｐｏｒｔ ＵＴＥＣ−ＣＳｃ−７４−１３３、Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ Ｄｅｐａｒｔｍｅｎｔ、Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｕｔａｈ、Ｓａｌｔ Ｌａｋｅ Ｃｉｔｙ、Ｕｔａｈ、１９７４年１２月において、および、「Ｃｏｍｐｕｔｅｒ Ｄｉｓｐｌａｙ ｏｆ Ｃｕｒｖｅｄ Ｓｕｒｆａｃｅｓ」、Ｐｒｏｃ １ＥＥＥ、Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ、Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，ａｎｄ Ｄａｔａ Ｓｔｒｕｃｔｕｒｅｓ、１９７５年５月において教示され、また、Ｊ．Ｆ．ＢｌｉｎｎおよびＭ．Ｅ．Ｎｅｗｅｌｌにより、「Ｔｅｘｔｕｒｅ ａｎｄ Ｒｅｆｌｅｃｔｉｏｎ ｉｎ Ｃｏｍｐｕｔｅｒ Ｇｅｎｅｒａｔｅｄ Ｉｍａｇｅｓ」、Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｏｆ ｔｈｅ ＡＣＭ、１９（１０）、１９７６年１０月，５４２〜５４７ページにおいて改善されている。これらの文献はすべて参照により本明細書に組み込まれる。Ｐ．Ｓ．Ｈｅｃｋｂｅｒｔは、参照により本明細書に組み込まれる「Ｓｕｒｖｅｙ ｏｆ Ｔｅｘｔｕｒｅ Ｍａｐｐｉｎｇ」、１ＥＥＥ Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ、６（１１）、１９８６年１１月，５６〜５７ページにおいて、テクスチャ・マッピング方法の綿密な調査を提供している。
【０１２０】
本発明の一実施形態で使用されるテクスチャ・マッピング手法では、円錐状多面体の頂点に、３次元空間においてすでに割り当てられた（ｘ，ｙ，ｚ）座標に加えて、テクスチャ座標（ｕ，ｖ）が割り当てられる。ｕおよびｖ座標はそれぞれ０から１までの範囲であり、ｕ座標は相対グレースケール・サンプル番号を表し、ｖ座標は相対走査線番号を表す。図６に示された例示的データ・テーブルを参照すると、サンプル０はｕ＝０に対応し、サンプル「ＳａｍｐｌｅｓＰｅｒＬｉｎｅ−１」はｕ＝１に対応するが、線０はｖ＝０に対応し、線「ＬｉｎｅｓＰｅｒＦｒａｍｅ−１」はｖ＝１に対応する。更に、ｕ＝０のサンプル０は、円錐状多面体の先端（頂点、apex）に対応するが、ｕ＝１のサンプル「ＳａｍｐｌｅｓＰｅｒＬｉｎｅ−１」は、底面の周囲の頂点（vertex）に対応する。ｖ座標は、処理中の特定の走査線に応じて、先端で複数の値を取らなければならないことに、留意されたい。これに対応するために、先端の頂点はＬｉｎｅｓＰｅｒＦｒａｍｅコピーに複製され、各々が等しい（ｘ，ｙ，ｚ）およびｕ座標を有するが、異なるｖ座標を有する。
【０１２１】
図２ＢにおけるステップＳ２１６は、円錐状多面体の変換された二等辺三角形の各々を、（ｘ，ｙ）画像空間へとテクスチャ・マッピングすることにより、なされる。変換された三角形毎に、すべての（ｘ，ｙ）画像空間画素が、幾つかの十分に理解された多角形走査変換アルゴリズムの何れかを使用して計算される。Ｆｏｌｅｙその他は、「Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃ Ｐｒｉｎｃｉｐｌｅｓ ａｎｄ Ｐｒａｃｔｉｃｅ」、第２版、Ａｄｄｉｓｏｎ−Ｗｅｓｌｅｙ Ｐｕｂｌｉｓｈｉｎｇ Ｃｏｍｐａｎｙ、１９９０年、において、また、Ｄａｖｉｄ Ａ．Ｒｏｇｅｒｓは、「Ｐｒｏｃｅｄｕｒａｌ Ｅｌｅｍｅｎｔｓ ｆｏｒ Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ」、ＭｃＧｒａｗ−Ｈｉｌｌ Ｂｏｏｋ Ｃｏｍｐａｎｙ、１９８５年、において、幾つかの多角形走査変換アルゴリズムの説明を提供している。これらの文献は共に参照により本明細書に組み込まれる。それぞれの変換された三角形における画素毎に、テクスチャ・マップの（ｕ，ｖ）座標が、３つの三角形頂点の各々の（ｕ，ｖ）座標から計算される。透視（透視画法、perspective）変換が使用されている場合、（ｕ，ｖ）座標の線形補間は、歪みを起こし、テクスチャ特徴が不適切に低下されることになる、ということに留意されたい。Ｍａｒｋ Ｆｅｌｄｍａｎは、「Ｔｈｅ ＰＣ Ｇａｍｅ Ｐｒｏｇｒａｍｍｉｎｅｒ’ｓ Ｅｎｃｙｃｌｏｐｅｄｉａ：Ｔｅｘｔｕｒｅ Ｍａｐｐｉｎｇ」，ｈｔｔｐ：／／ｗｗｗ．ｇｅｏｃｉｔｉｅｓ．ｃｏｍ／ＳｉｌｉｃｏｎＶａｌｌｅｙ／２１５１／ｔｍａｐ．ｈｔｍｌにおいて、幾つかの十分に理解されたテクスチャ・マッピング・アルゴリズムを、以下に示される表３において、それらの相対的な精度（即ち、透視画法の正確性）、速度、および実装困難性と共に記載している。この文献は参照により本明細書に組み込まれる。例えば、領域副分割（area subdivision）アルゴリズムを介して、円錐状多面体におけるそれぞれの二等辺三角形を、各々がそれ自体の（ｘ，ｙ，ｚ）および（ｕ，ｖ）の頂点座標のセットを有する幾つかのより小さいものに分解することにより、近似の解を得ることができる。「完全」マッピング・アルゴリズムを介して、補間しながら透視分割を行うことにより、厳密な解を得ることができる。
【０１２２】
【表３】
【０１２３】
（ｕ，ｖ）テクスチャ座標が画像空間画素（ｘ，ｙ）毎に計算された後、（ｕ，ｖ）座標は、データ入力ユニット１８０により作成されたデータ・テーブルへの指数へマップされる。ｕ座標はグレースケール・サンプル番号にマップされ、ｖ座標は走査線番号にマップされる。ｕおよびｖは通常は０から１までの範囲の分数であるので、テクスチャ座標（ｕ，ｖ）は、分数のグレースケール・サンプルおよび走査線番号へマップされるとき、データ・テーブルにおける４つのグレースケール・サンプルにより境界が定められる。一実施形態では、これらの４つのサンプルは、厳密な分数サンプルへのそれらの相対距離に従って線形的に加重され、次いで加算されて、結果として得られる（ｘ，ｙ）画像空間画素値が生成される。この加重加算技術はしばしば双線形補間（bilinear interpolation）と呼ばれる。
【０１２４】
本発明のある実施形態は、ライティングおよびシェーディングを追加して、３次元幾何モデルの視覚的現実性を向上させることを含み得る。参照により組み込まれるＦｏｌｅｙその他の「Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃ Ｐｒｉｎｃｉｐｌｅｓ ａｎｄ Ｐｒａｃｔｉｃｅ」，第２版、Ａｄｄｉｓｏｎ−Ｗｅｓｌｅｙ Ｐｕｂｌｉｓｈｉｎｇ Ｃｏｍｐａｎｙ、１９９０年、は、コンピュータ・グラフィックスの分野において使用される幾つかの周知のライティングおよびシェーディング・モデルを記載する。１または複数の光源が定義され、オブジェクト空間に置かれる。加えて、３次元幾何モデルの反射特性が指定される。これは、例えば、円錐状多面体モデルの頂点の各々について、あるいはモデルの表面上の各点での、法線ベクトルの計算、ならびに、拡散や鏡面反射率など（これらに限定されない）のような反射特性を指定することを、含み得る。
【０１２５】
本発明の一実施形態では、図２ＢにおけるステップＳ２１２とステップＳ２１４の間に入れられる追加の処理ステップにおいて、ライティングおよびシェーディング計算が、３次元幾何モデルの章動された軸または頂点に適用される。これらの計算は、章動された座標値に加えて、頂点の各々についての相対強度値を生成する。これらの相対強度値は、ステップＳ２１４を通され、ステップＳ２１６で使用されて、ライティングおよびシェーディングの効果を組み込む最終画像が生成される。
【０１２６】
この実施形態では、光源が正のｚ軸に沿って置かれ得る（観察者もまた正のｚ軸に沿って置かれるが、光源と観察者は互いに干渉しないことに留意されたい）。３次元幾何モデルが章動されると、直近に獲得された走査線を含む部分は、正反対の短縮された部分よりも入射光をより多く反射する。なぜなら、前者の部分の周囲の表面に対する法線ベクトルがｚ軸とより良く整列させられるから、即ち、これらの法線とｚ軸とのドット積は相対的に高いからである。強調されない短縮された部分は、観察者から離れるように光を反射する。なぜなら、表面法線が十分にｚ軸と整列されないからである。よって、これはより薄暗く見える。全体的な効果は、モデルの３次元性を向上させることである。
【０１２７】
上述の実施形態は、カテーテルの手動の回転に応答して、３次元幾何モデルを章動させる。追加の実施形態は、一定または可変のレートで、あるいは、ユーザ・インタフェース制御の操作に応答して、モデルを章動させ得る。例えば、毎秒数回から多数回の画像が繰り返して獲得されるモータ駆動のＩＶＵＳイメージング・システムでは、モデルは低速で、時計回りあるいは反時計回りに章動され得、章動のレートは毎秒１章動サイクル程度である。更に、コンピュータ・ポインティング・デバイスなどのようなユーザ・インタフェース制御が、モデルをインタラクティブに章動させるために使用されてもよい。この技術は、ユーザにより望まれる任意の方向に、モデルが章動あるいは傾斜されることを可能とする。ｚ軸に対する全体の章動角はまた、新しい画像の線が追加されると徐々にあるいは急に増大されてもよく、また、新しい画像の線がある期間にわたって追加されなかった時にその期間後に徐々にあるいは急に減少されてもよい。図２Ａを参照すると、これらの追加の実施形態では、章動行列初期設定ユニット１７５が、章動角を、リーディング走査線角度以外のソースから受け入れおよび／または生成するように変更される。例えば、低い周期の章動ならびに全体の章動角の増大および減少に対して、タイマが使用されてもよく、また、インタラクティブな章動に対して、コンピュータ・ポインティング・デバイスの座標を使用して章動角を生成および／または調節してもよい。
【０１２８】
グラフィックス・マーカまたはアイコンが、最終的なラスタ化された画像上で重ね合わされてもよい。このようなマーカまたはアイコンは、例えば、１または複数の補助的な診断および治療デバイスの位置およびサイズ、および／または、どこでそれらの効果が発生するかを示すことができる。図２Ａを参照すると、一実施形態では、これらのオブジェクトの座標はオブジェクト空間において定義され、３次元幾何モデル軸章動ユニット１５０および３次元幾何モデル投影ユニット１６０により変換される。ラスタライゼーション（ラスタ化）は、画像データ・ラスタライゼーション・ユニット１６５により行われたものと類似のプロセス（必ずしも同一でなくてもよい）により実施される。
【０１２９】
追加の実施形態は、有限の期間に渡って画像が持続して、その後に徐々にあるいは急に除去されるようにする。この技術は、画像内の個々の走査線に対して、ならびに画像全体に対して適用され得る。これの一実施形態は、個々の走査線の各々を、フレッシュな走査線により更新されることなく、より多くの時間が経過するにつれて徐々に薄くすることである。これは、最も以前に獲得された、即ち「最古」の画像データが時間と共に次第により薄暗くなり、直近に獲得された、即ち「最新」の画像が最も明るい、という効果を有する。これは、より古いデータは経時的に臨床的価値が低下していくが、最新データは最大の臨床的価値を有することを、視覚的に示唆する。
【０１３０】
図７の７Ａ〜７Ｆは、本発明の実施形態による装置および方法を利用して、例示的な表示から取られた静止フレームである。即ち、図７の７Ａ〜７Ｆは、ビデオ表示から取られた静止フレームである。円錐状の前方視画像データは、章動され投影された３次元幾何モデル上に、章動され投影された３次元円錐状多面体の形態で、ラスタ化されている。黄の線はリーディング走査線を表し、画像データが追加されると回転する。赤のマーキングは、アブレーション・デバイスなどのような治療および／または処置デバイスの位置を表す。
【０１３１】
前述の実施形態および利点は例示的なものにすぎず、本発明を限定するように解釈されるべきではない。本教示は、他のタイプの装置にも容易に適用され得る。本発明の記載は、説明的となるように、および、特許請求の範囲を限定しないように意図される。多数の代替物、変更、および変形形態は、当業者には明らかとなるであろう。特許請求の範囲では、手段プラス機能を記載する節は、挙げられた機能を行うものとして本明細書に記載された構造、そして構造的均等物だけでなく等価の構造も包含するように意図される。
【特許請求の範囲】
【請求項１】
前方視画像データを収集するデバイスからの表示用の画像データのためのレンダリングのための装置であって、
前記前方視画像データを収集する前記デバイスから前記画像データを受信するように構成されたデータ入力ユニットと、
前記データ入力ユニットと通信するものであり、且つコンピュータにより実行可能な命令を記録したコンピュータ読取可能な媒体を含むものである画像データ処理ユニットであって、グラフィカル・ディスプレイで表示するための組織のセクションの画像を生成するものであり、前記画像は、前記組織のセクションの３次元モデルに基づくラスタ化画像であり、前記画像データの走査線は、前記３次元モデルの表面に正確な透視画法で向けられる、画像データ処理ユニットと
を備える装置。
【請求項２】
請求項１に記載の装置であって、前記３次元幾何モデルは円錐を備える、装置。
【請求項３】
請求項２に記載の装置であって、前記円錐は、複数のパラメトリック双三次表面パッチにより近似される、装置。
【請求項４】
請求項３に記載の装置であって、前記複数のパラメトリック双三次表面パッチは、エルミート面、ベジエ面、Ｂスプライン面のうちの少なくとも１つを備える、装置。
【請求項５】
請求項２に記載の装置であって、前記円錐は、陰関数の表面式を使用してモデリングされる、装置。
【請求項６】
請求項２に記載の装置であって、前記円錐は、陽関数の表面式を使用してモデリングされる、装置。
【請求項７】
請求項１に記載の装置であって、前記３次元幾何モデルは多面体を備える、装置。
【請求項８】
請求項１に記載の装置であって、前記画像データ処理ユニットは、
３次元幾何モデルを初期設定するように構成された３次元幾何モデル初期設定ユニットと、
投影行列を初期設定するように構成された投影行列初期設定ユニットと、
前記投影行列を使用して前記３次元幾何モデルを投影するように構成された３次元幾何モデル投影ユニットと
を備える、装置。
【請求項９】
請求項８に記載の装置であって、前記画像データ処理ユニットは、
前記章動の定義に従って章動行列を初期設定するように構成された章動行列初期設定ユニットと、
前記投影行列を使用して前記３次元モデルを投影する前に、前記章動行列を使用して前記３次元幾何モデルの軸を章動させて、章動され投影された３次元幾何モデルを生成するように構成された３次元幾何モデル軸章動ユニットと
を更に備える、装置。
【請求項１０】
請求項９に記載の装置であって、
前記３次元幾何モデルの前記軸の章動を制御するように構成されたユーザ操作デバイス
を更に備える装置。
【請求項１１】
請求項９に記載の装置であって、前記画像データ処理ユニットは、
前記章動され投影された３次元幾何モデルに従って前記画像データをラスタ化するように構成された画像データ・ラスタ化ユニット
を更に備える、装置。
【請求項１２】
イメージング・システムであって、請求項１に記載のレンダリングのための装置を備えるイメージング・システム。
【請求項１３】
請求項１２に記載のイメージング・システムであって、ＩＶＵＳシステムを備えるイメージング・システム。
【請求項１４】
表示装置であって、請求項１に記載のレンダリングのための装置を備える表示装置。
【請求項１】
前方視画像データを収集するデバイスからの表示用の画像データのためのレンダリングのための装置であって、
前記前方視画像データを収集する前記デバイスから前記画像データを受信するように構成されたデータ入力ユニットと、
前記データ入力ユニットと通信するものであり、且つコンピュータにより実行可能な命令を記録したコンピュータ読取可能な媒体を含むものである画像データ処理ユニットであって、グラフィカル・ディスプレイで表示するための組織のセクションの画像を生成するものであり、前記画像は、前記組織のセクションの３次元モデルに基づくラスタ化画像であり、前記画像データの走査線は、前記３次元モデルの表面に正確な透視画法で向けられる、画像データ処理ユニットと
を備える装置。
【請求項２】
請求項１に記載の装置であって、前記３次元幾何モデルは円錐を備える、装置。
【請求項３】
請求項２に記載の装置であって、前記円錐は、複数のパラメトリック双三次表面パッチにより近似される、装置。
【請求項４】
請求項３に記載の装置であって、前記複数のパラメトリック双三次表面パッチは、エルミート面、ベジエ面、Ｂスプライン面のうちの少なくとも１つを備える、装置。
【請求項５】
請求項２に記載の装置であって、前記円錐は、陰関数の表面式を使用してモデリングされる、装置。
【請求項６】
請求項２に記載の装置であって、前記円錐は、陽関数の表面式を使用してモデリングされる、装置。
【請求項７】
請求項１に記載の装置であって、前記３次元幾何モデルは多面体を備える、装置。
【請求項８】
請求項１に記載の装置であって、前記画像データ処理ユニットは、
３次元幾何モデルを初期設定するように構成された３次元幾何モデル初期設定ユニットと、
投影行列を初期設定するように構成された投影行列初期設定ユニットと、
前記投影行列を使用して前記３次元幾何モデルを投影するように構成された３次元幾何モデル投影ユニットと
を備える、装置。
【請求項９】
請求項８に記載の装置であって、前記画像データ処理ユニットは、
前記章動の定義に従って章動行列を初期設定するように構成された章動行列初期設定ユニットと、
前記投影行列を使用して前記３次元モデルを投影する前に、前記章動行列を使用して前記３次元幾何モデルの軸を章動させて、章動され投影された３次元幾何モデルを生成するように構成された３次元幾何モデル軸章動ユニットと
を更に備える、装置。
【請求項１０】
請求項９に記載の装置であって、
前記３次元幾何モデルの前記軸の章動を制御するように構成されたユーザ操作デバイス
を更に備える装置。
【請求項１１】
請求項９に記載の装置であって、前記画像データ処理ユニットは、
前記章動され投影された３次元幾何モデルに従って前記画像データをラスタ化するように構成された画像データ・ラスタ化ユニット
を更に備える、装置。
【請求項１２】
イメージング・システムであって、請求項１に記載のレンダリングのための装置を備えるイメージング・システム。
【請求項１３】
請求項１２に記載のイメージング・システムであって、ＩＶＵＳシステムを備えるイメージング・システム。
【請求項１４】
表示装置であって、請求項１に記載のレンダリングのための装置を備える表示装置。
【図１】
【図２Ａ】
【図２Ｂ】
【図３】
【図４Ａ】
【図４Ｂ】
【図５】
【図６】
【図７】
【図２Ａ】
【図２Ｂ】
【図３】
【図４Ａ】
【図４Ｂ】
【図５】
【図６】
【図７】
【公開番号】特開２０１３−５９６７５（Ｐ２０１３−５９６７５Ａ）
【公開日】平成２５年４月４日（２０１３．４．４）
【国際特許分類】
【出願番号】特願２０１３−２０５（Ｐ２０１３−２０５）
【出願日】平成２５年１月４日（２０１３．１．４）
【分割の表示】特願２００９−５１２０４２（Ｐ２００９−５１２０４２）の分割
【原出願日】平成１９年５月１６日（２００７．５．１６）
【出願人】（５０４２３７９５７）ヴォルケイノウ・コーポレーション (10)
【出願人】（５０８３４７６３８）
【Ｆターム（参考）】
【公開日】平成２５年４月４日（２０１３．４．４）
【国際特許分類】
【出願日】平成２５年１月４日（２０１３．１．４）
【分割の表示】特願２００９−５１２０４２（Ｐ２００９−５１２０４２）の分割
【原出願日】平成１９年５月１６日（２００７．５．１６）
【出願人】（５０４２３７９５７）ヴォルケイノウ・コーポレーション (10)
【出願人】（５０８３４７６３８）
【Ｆターム（参考）】
[ Back to top ]