内視鏡画像内の管腔状構造のディスプレイ最適化のための動的なクロップボックス決定方法
３Ｄデータ集合の部分集合のディスプレイを最適化するためのクロップボックスを動的に決定するための方法及びシステム、例えば、管腔状構造の内視鏡画像が開示される。本発明の実施形態において、レイ・シューティング技術を使用して、クロップボックスのサイズ及び位置を動的に決定する。実施形態において、投射されたレイは、所与の立体に均一に分配され、内腔内面との交差点がクロップボックス境界を決定する。別の実施形態において、レイは必ずしも一定方向に向かって投射される必要はない。むしろフレームに応じてディスプレイ領域をより完全にカバーするように変化するランダムなオフセットを使用して投射されてもよい。その他の実施形態においては、更に良い結果を得るために、より多くのレイが、エラーと考えられる領域、例えば、管腔状構造の中心線が導かれる点に対して投射されてもよい。このような実施形態において、レイは均一に分配されるとは限らず、空間的、時間的に変化し得る。即ち各フレームでプログラムは、例えば、異なる数のレイを異なる方向に投射し、これらのレイの分配は、異なるパターンをとり得る。なぜなら、実施形態において、動的に最適化されるクロップボックスは、実際に表示されている３Ｄデータ集合の一部のみを提供するためである。これによりサイクル及びメモリー使用量の処理は最小化される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、３Ｄデータ集合の双方向性ディスプレイに関する。より詳しくは、動的にクルップボックスを決定することで、内視鏡画像における管腔状構造のディスプレイを最適化することを目的とする。
本出願は次に示す米国仮特許出願の利点を主張するものであるとともに、本発明により開示される内容は、以下に示す出願を参照のために援用している。即ち２００３年１１月３日提出の米国仮特許出願第６０／５１７０４３号、第６０／５１６９９８号、並びに２００４年４月１４日提出の米国仮特許出願第６０／５６２１００号である。
【背景技術】
【０００２】
多くのヘルスケアの専門家や研究者は、内腔状組織内部の解剖学的な構造を観察する必要性を感じている。例えば、被験者の身体の血管（大動脈など）又は消化器系内腔組織（結腸など）である。歴史的に、上記のようなユーザがこれらの構造を観察する唯一の手段としては、従来からの結腸鏡検査又は内視鏡検査において、内視鏡プローブ又はカメラの挿入を行っていた。磁気共鳴映像法（MRI、Magnetic Resonance Imaging）、エコープラナー撮像法（EPI、Echo Planer Imaging）、コンピュータ断層撮像法（CT、Computerized Tomography）、や新規の電子インピーダンス断層撮像（EIT、Electrical Impedance Tomography）などをはじめとする先進的な画像処理技術の導入によって、多種の内腔状臓器の画像を得て、その画像から３Ｄ立体画像を形成することが可能となった。３Ｄ立体画像は、放射線医師やその他の診断医によりレンダリングされ、患者の管腔状臓器内部に大して非侵襲性の検査を行うことができる。
【０００３】
結腸鏡検査において例えば、立体データ集合が下腹部のＣＴスライス画像集合から生成される。ＣＴスライス画像の数は、通常３００乃至６００枚で、１０００枚以上でも可能である。これらのＣＴスライス画像は、例えば様々な外挿法により拡張されて、従来のレンダリング技術を使用してレンダリング可能な三次元立体画像を生成する。このような技術を使用して、三次元データ集合は、適切なディスプレイ上に表示され、ユーザは患者の結腸内部を仮想的に診察することができる。これにより結腸鏡を挿入する必要がなくなる。このような処置は近年患者に適用されている「仮想結腸鏡検査」として知られている。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
非侵襲性検査を行えることによる明らかな利点があるとはいえ、仮想結腸鏡検査には特有の不便さや問題点が存在する。より一般的には、これらの問題は、従来の手法を使用して、管腔状組織の解剖学的な構造に対して、仮想的検査を行う際に生じる。
例えば、従来の仮想結腸鏡検査は、ユーザの視点が結腸内腔の内部に設けられ、この視点が通常は計算された中心線に従って、内部を移動する。このようなディスプレイでは、大抵は奥行きが明確に表示されず、表示されるのが標準的なモノスコープ画像となってしまう。結果として、結腸の重要な特性は視覚化されずに、問題となっている領域が明確に表示されないままである。
また、内視鏡画像を用いてディスプレイに表示される管腔状組織の解剖学的構造は、その一部しかディスプレイスクリーン上に示されない。通常、内視鏡画像は管腔状構造全体の僅か一部に対応するに過ぎない。画像に表示される割合は例えば、立体スキャン画像については、２乃至１０％の部分、管腔状構造の長さについては、５乃至１０％若しくはそれを若干上回る程度である。内視鏡画像のような表示を行う際、ディスプレイシステムが結腸全体をレンダリングして、その一部を表示するとなると、このような技術は時間を不必要に費やし非効率的である。ユーザ即ち診察者に実際に表示される部分についてのみ、システムが決定を下し、レンダリングを行えば、十分な量の処理時間とメモリー空間を節約することができる。
【０００５】
更に、立体レンダリングの技術分野で周知の如く、レンダリング及び表示が行われることが必要なボクセルが多いほど、より高性能なコンピューティング資源が要求される。要求されるコンピューティング資源は、任意のユーザが選択する詳細さの度合いにもよる。例えば、デジタルズームを高倍率に変化させたり、レンダリングの質を高めるといった場合である。選択される詳細さが高いほど、立体サンプリング時に必要な生成されるべきポリゴンの数は多くなる。サンプルされるべきポリゴン数が多くなると、読み取りが必要となるピクセル数が多くなり、（通常、スクリーン上の各ピクセルは、何度も繰り返し充填される。）充填速度は減少する。詳細さの度合いが高い場合、大量の入力データは観察される立体部のレンダリング速度を落とす可能性がある。例えば視点が新しい位置に移動したときに、画像が表示されるのをユーザに待たせることとなる。
一方で、通常は詳細さが高いほうが望ましいし、ユーザが接近して診断若しくは解析を行うには事実上必要とされている。また、例えば所望の立体を立体的にレンダリングする際などに、奥行きの表示が望まれる場合、アルゴリズムをレンダリングするのに必要な入力されるべきポリゴンのサンプル数、並びにレンダリングに必要なメモリ量は倍増する。
【０００６】
より詳しくは、先行技術に関する上述の問題は、ユーザが双方向的に大型の３Ｄデータ集合を一度に観察する場合において常に、発生し得る問題である。また一度に観察される部分は全体のデータ集合の僅か一部である。しかしながら前記部分は推測的には決定できない。何らかの方法で修正されない限り、このような双方向観察では、実際に表示されないボクセルを処理する傾向があり、無駄な処理になりがちである。同時に、必要なコンピューティング資源を表示中のボクセルの処理、レンダリングを阻害し、その他の問題が関与することもあって、待機状態となる。
以上から、多くの任意の瞬間において、立体全体の部分的な集合に限定して検査を行うように大型３Ｄデータ集合のプロセスを最適化することが、当該技術分野で必要とされる。このような最適化を実現するには、コンピューティング資源をより効率的に活用する必要がある。これによりシームレスで待機状態のない観察が提供され、レンダリングされる各ボクセルにつき大きな数の計算を必要とする奥行き、詳細な表示、並びにツール及び機能を高解像度で自在に使用が可能となる。
【課題を解決するための手段】
【０００７】
動的にクロップボックスを決定し、管腔状構造の仮想内視鏡画像をはじめとする３Ｄデータ集合の部分集合のディスプレイを最適化する方法及びシステムが開示される。本発明の実施形態においては、「レイ・シューティング」技術が使用され、クロップボックスのサイズ及び位置を動的に決定する。実施形態において、レイ技術は例えば、任意の立体に対する投射となり得る。またレイと内部内腔との交点は例えば、クロップボックス境界を決定し得る。本発明の実施形態においては、レイは必ずしも一定の方向に向いて投射される必要はない。むしろフレームによって変化するランダムなオフセットを使用した投射となり得る。これにより、より完全にディスプレイ領域をカバーすることができる。その他の実施形態において、エラーの可能性がある領域に対してレイがより多く投射される。レイ技術は例えば、現在の視点から、管腔状構造の中心線上で最も離れた方向に若しくはそれに近い方向に投射される。実施形態において、レイは空間的にも時間的にも変化可能である。例えば、各フレーム内において、例示されるプログラムでは様々な数のレイを様々な方向に投射してもよく、レイの分布は様々な形態が可能である。動的に最適化されるクロップボックスは、適切な時間に任意の点で実際にディスプレイされた３Ｄデータ集合の部分のみを囲み、データ集合のレンダリングに使用される処理サイクル及びメモリ使用量は大幅に最小化される。
【０００８】
本発明のその他の特徴、特性、様々な利点は、図面並びに以下の実施形態についての詳細な記載により説明される。
本発明のその他の目的及び利点は、以下の記載若しくは本発明の実施により解される。本発明の目的及び利点は、特に本発明に係る請求項で示された発明特定事項及びその組合せにより、実現される。
上述の一般的な記載及び詳細な記載はともに、例示及び説明のために用いられたものに過ぎず、本発明の請求の範囲を限定するものではない。
【発明を実施するための最良の形態】
【０００９】
本発明の実施形態は、レイ・シューティング技術の使用を目的としたもので、立体の観察される部分の最終的なレンダリング速度を増加させる。
立体のレンダリングにおいて、最終的なレンダリング速度は以下の要因に反比例して変化する。
（ａ）入力されるデータのサイズ。データのサイズが大きいほど、データのレンダリングに費されるメモリ並びにＣＰＵの処理時間は増える。
（ｂ）グラフィックカードのテクスチャーメモリの物理的なサイズとプログラムに必要とされるテクスチャーメモリのバランス。必要とされるテクスチャーメモリが、物理的なテクスチャーメモリのサイズを超過すると、テクスチャーメモリ交換が連動する。この動作は負担が大きい。実際は、この交換が大量のデータを処理するときに、起動することが多く、これにより処理性能に著しい減退がもたらされる。
（ｃ）現在の瞬間（クロップボックス）において、レンダリングされる立体のサイズ。クロップボックスのサイズが小さいほど、サンプル並びにレンダリングに必要なポリゴン数は少なくなる。
（ｄ）レンダリングの詳細（即ち、使用されるポリゴン数）。詳細度が高いほど、必要とされるポリゴン数は多くなる。
（ｅ）シェーディングの使用。シェーディングが使用可能な場合、４倍のテクスチャーメモリが必要となる。
【００１０】
上述の要因のうち１又は複数の要因が最適化されると、最終的なレンダリング速度は向上する。本発明の実施形態においては、クロップボックスのサイズを最適化することで、レンダリング速度の向上が実現される。
本発明の実施形態において、クロップ・ボックスのサイズはレイシューティングアルゴリズムを使用して計算可能であるとともに、このような例示的なアルゴリズムを効率的に適用するために、以下の問題点への対処が必要となる。
（ａ）ディスプレイ・フレームに対する投射されるレイショットの本数。理論上は、投射されるレイの本数が多いほど、処理速度は向上するはずであるが、実際は投射されるレイの本数が多いほど、処理速度は遅くなる。
（ｂ）３Ｄデータ空間におけるレイの分布。レイは所望の領域全体をカバーするほうが望ましい。そのためには、本発明の実施形態において、レイの分布をランダム化してもよい。同じレイの本数でも、より広い領域のカバーが可能となる。より細かな観察が必要な領域に対しては、ショットするレイの数を増やしてもよい。逆にそれほど観察する必要がない領域に対しては、投射されるレイの本数を少なくして使用してもよい。
（ｃ）レイ・シューティングの使用結果（単一のフレームを使用した場合と複数のフレームを使用した場合の比較）。本発明の実施形態において、各フレームにおいて、ヒットポイントの結果が収集される。一実施形態において、ヒットポイントの結果の情報は局部的に（即ち、現在のディスプレイ・フレーム内で）使用され、クロップボックスを計算した後に廃棄される。代わりに、廃棄される情報を保存し、計算の結果生じた任意の数のフレームに対して使用してもよい。これにより、更に計算を行わなくても、より良い結果が得られる。
【００１１】
本発明について、説明のために結腸をはじめとする管腔状構造を例として用いて、記載を行う。同様の小部分についてのみ、一度でユーザに視覚化が可能な任意の３Ｄデータ集合に拡張することは、本発明の範囲内で十分に考えられる。
本発明における実施形態において、３Ｄディスプレイシステムは、ユーザ視点の周りの任意の管腔状組織の解剖学的構造の可視的な領域を、所望の領域として決定することができる。管腔状構造の残りの部分は、レンダリングする必要はなくなる。例えば、ユーザは仮想的結腸鏡で結腸を仮想的に観察しており、そのユーザは同時に結腸内腔の内壁全体を観察することができない。それどころか、ユーザは一度で結腸内部の限られた一部若しくは断片を見るに過ぎない。図１は結腸内部の小片を内視鏡画像で示したものである。図２の如く構造全体中の所望の領域のまわりにボックスを形成することで、小片が選択されディスプレイされる。図１の如く、選択された断片はメイン画面のウィンドウ全体を占め、適当なサイズに拡大されて表示される。ユーザの視点が結腸内腔を移動すると、必ずしも結腸全体にあたる立体データ集合全部をレンダリングする必要はなくなり、ユーザが適切な時間に任意の視点で観察する部分のみが表示される。ユーザの目に映らないボクセルをレンダリングする必要がないため、現在の視点がシステムの処理性能を大幅に最適化しコンピューティング資源の負担を減らす。本発明の実施形態において、負担はスキャン全体の僅か３乃至１０％に軽減され、著しく最適化が行われる。
【００１２】
以上から、本発明の実施形態において、「レイ・シューティング」方法が使用可能である。例えば、レイの生成は３Ｄモデル空間におけるどの位置からも開始可能で、同様にどの位置でも終了可能である。図３及び図４に「レイ・シューティング」技術を示す。図３は現在の結腸の内視鏡画像に対してレイを投射する様子を示す。図４は側面から見たレイを投射する様子を示す。定義された閾値に対してレイが通過する各ボクセルの値を点検することで、例示されたシステムは、任意の２点の「可視性」に関して情報を得ることが可能である。内腔壁部の間の空気を表示するボクセルは「可視化されない」。またレイはそのボクセルの間を通過可能である。第１「可視」ボクセルに到達すると、内腔壁部内側のボクセルの位置が得られる。この位置をヒットポイントと呼ぶことがある。
本発明の実施形態において、このようなレイ投射に関するアルゴリズムは以下に例示される擬似コードにより実施可能である。
【００１３】
整数ｍ及びｎは、例えば、共に５に等しいか、任意の実施形態において適当なその他の値としてもよい。多くの実施形態において、任意のＯｐｅｎＧＬプログラム（ユーザに指定される）中などでは、投影幅及び投影高さは既知の要因である。そのため、常に変化するとは限らない。故に、その場合は、ループごとに値を決定する必要はない。
【００１４】
【００１５】
本発明の実施形態において、レイの方向は単純に現在の視点から各グリッドの中心に向かう。例として下記のように設定される。
【００１６】
【００１７】
このような「シューティング・レイ」技術を使用することで、本発明の実施例において、システムは例えばユーザの現在の視点から任意の本数のレイを生成可能である。こういったレイの中には（全てとは限らない）、結果的に所与の方向に沿って内腔壁内側のボクセルにヒットするものもある。これにより「ヒットポイント」の集合が生成される。ヒットポイントの集合は、特定の視点から見ることのできる領域の範囲を追跡する。図３及び図４において、ヒットポイントの結果はカラー図面では黄色又はシアン色のドットで示され、モノクロ図面ではそれぞれ白十字印又は黒十字印で示される。図３に示されるシアンのドット（又は黒十字印）は例えば、可視領域中で均一に分配されるレイの集まりから生成されたヒットポイントを示す。黄色ドット（白十字）は立体の一部分に向けられ、中心が例示される結腸内腔の中心線上の終端に一致する。別のショットレイの集まりに対するヒットポイントを示す。ヒットポイントからユーザの視点までの距離は１つずつ計算されるため、この技術を使用して、どのような所与の視点からも可視のボックスを動的に描写可能である。よってこのような可視性ボックス内のボクセルは、ユーザがその所与の視点にある場合以外は、レンダリングされる必要がない。可視性ボックスは例えば、不定形な形状を呈する。コンピューティングを簡略化するために、システムの一例として、単純な形状の「クロップボックス」により可視性ボックスを囲む。クロップボックスの形状は、円柱形、球形、立方体、直角プリズム、その他の単純な立体形状である。
【００１８】
図５において、上述の方法について更に説明する。それに関連して、図５にユーザの視点を目のアイコンで示す。この視点から、レイは図示される点の構造表面にある様々な方向に投射されてもよい。その後矩形領域が、ユーザにより設定される一定の安全範囲内で、全てのヒットポイントを含むように調整される。
本発明の実施形態において、以下のように設定された安全範囲とともに、境界ボックスを生成可能である。
【００１９】
このような矩形領域は、本発明の実施形態において、図５に示される管腔状構造の右側の壁に可視領域を囲む。同様の技術は例えば、左側の壁にも適用され、ある視点に対する全体のクロップボックスが生成される。
本発明の実施形態において、例えば４０乃至５０本のレイがユーザの現在の画像領域にわたり投射されるのは一般的である。また管腔状構造の表面の形状に関する十分な情報を収集可能で、これにより可視領域を形成することができる。本発明の実施形態において、投射されるレイの本数は調整可能である。よって、投射されるレイの本数が多いほど、良い結果が得られる。一方でコンピュータの処理速度は遅くなる。本発明の実施形態において、投射されるレイの本数は、コンピュータ処理速度とクロップボックスの最適化に必要な精度の二つの要因のバランスを考慮したうえで、適切な本数に調整することが可能である。
【００２０】
上述の境界ボックスを計算するための擬似コードにおいて、以下の関数は（「ヒットポイント」の全ての座標（ｘ，ｙ，ｚ）に対して）定義され、「ヒットポイント」が現在のフレームからではなく、以前の複数のフレームからも存在する場合、本発明の実施形態においては、境界ボックスは尚正確に計算される。実際に以前に使用したフレームからの情報が十分に保存されている場合は、実施形態において、より良い結果が得られる。
【００２１】
本発明の実施形態において、以前のフレームからのヒットポイントは以下のように使用可能である。
本発明の実施形態において、ヒット＿ポイント＿プールは、例えば、現在の並びに以前の（１又は複数の）ループからヒット＿ポイントを保存する。よって、各ループにおいてクロップボックスを決定するのに使用されるヒット＿ポイントの数は実際に投射されるレイの本数よりも多い。ゆえに、全てのヒット＿ポイントは、ヒット＿ポイント＿プール内に保存され、次のループ内で再利用される。
【００２２】
上記の如く、ヒットポイントに関する情報を収集することで、本発明の実施形態において、このようなヒットポイントの座標を使用して、ヒットポイント全体を囲む（軸上に整列した）クロップボックスを生成可能である。これによりユーザに見える領域又は所望の領域を任意の視点で定義可能である。このようなクロップボックスを使用すれば、例えば上述のように、任意の時間に、立体全体の中で実際にレンダリングが必要となる量を減少させることができる。３Ｄデータ集合の中には、理想的なクロップボックスが軸上に整列した形態（即ち、立体のｘ，ｙ及びｚ軸にそろう）ではないものも多い。しかし、例えば任意の視点でビューイングフラストラム（viewing frustrum）即ち観察用錐形上に整列される。この整列形態では更にサイズが縮小され、レンダリングに対してより複雑な処理を行うことが可能になる。図８（ａ）乃至（ｄ）は、軸状に整列したクロップボックスとビューイングフラストラムに整列したクロップボックスの差を示したものである。以上から、本発明の実施形態において、クロップボックスを実現可能且つ望ましい形態に自由に整列させる。クロップボックスは例えば、ビューイングフラストラムか若しくは、適切なデータ集合及び利用可能なコンピュータ資源を備えた他の手法により整列される。
【００２３】
例示される自在に整列可能なクロップボックスを、図８を参照しながら説明する。図８（ａ）は結腸立体画像全体に関する、任意の視点におけるビューイングフラストラムの例を示す。図のように、立体の軸を持つフラストラムには特に自然な整列に特定のものはない。図８（ｂ）は上述の結果得られた、ヒットポイントの例を示す。図８（ｃ）にこれらのヒットポイントを含む、軸状に整列したクロップボックスを示す。図に示されるように、クロップボックスには有用なデータを含まない余分な範囲がある。しかしながら、この範囲のボクセルもディスプレイ・ループ内にレンダリングされる。図８（ｄ）では、ビューイングフラストラムに整列したクロップボックスの例を示す。図中、クロップボックスは視点方向及び３Ｄ空間内のベクトル方向に直交する方向に整列する。図に示されるように、クロップボックスがデータの形状に自然に適合するよう、かなりサイズが小さめとなる。しかしながら、クロップボックス内部に含まれるボクセルを特定するために、本発明の実施形態において、例示されるシステムは座標変換を実施する必要がある。この座標変換は高度なコンピュータの計算処理性能が必要とされる。
実施形態において、クロップボックスのサイズを、分析対象となる構造全体の立体画像よりもかなり小さくすることが可能である。例えば、本発明の実施形態において、結腸鏡検査に適用するために元の立体の５％若しくはそれ以下のサイズにすることも可能である。従って、レンダリング速度は大幅に向上される。
【００２４】
上述のように、レンダリング速度は多くの要因により左右される。図９乃至図１３はサンプリング距離（即ち、レンダリングされる立体を再サンプリングするのに使用されるとともに、視線方向に対して垂直なポリゴン間の距離）、描画が必要なポリゴン数、レンダリングの質、及びクロップボックスの間の関係性を示したものである。
各図９乃至図１３の左図（即ち、（ａ）及び（ｃ）で示される図）は、テクスチャポリゴンを示し、右図（即ち、（ｂ）及び（ｄ）で示される図）は、ポリゴンの端部についてのみ示したものである。いずれの瞬間においても、実際に示される全てのポリゴンの次元は立方体を形成する。このことは、ポリゴンのサイズがクロップボックスにより決定されることを反映している。クロップボックスはこの段階より前に計算される。即ち、どのディスプレイ・ループにおいてもクロップボックスはディスプレイされる前に迅速に計算される。よって実際にポリゴンがクロップボックスの形状を示す。
【００２５】
図９は、非常に大きなサンプリング距離を意図的に特定することで生成される。再サンプリングに使用されるポリゴンの数を非常に少ない。この結果で得られる画像は詳細さに欠ける。図９に示されるポリゴン数は約４又は５である。
図１０では、サンプリング距離を減少させ、同時にポリゴンの量が増加されている。しかしながらこのポリゴン数では、画像はまだ不明瞭である。図１１及び図１２はサンプリング距離を更に減少させた影響を示す（それに応じてサンプリング距離を増加させている）。そして、より詳細な画像が提供され、結果的に内腔の形状がより明確に認識される。しかしながらポリゴン数は大幅に増える。
最後に、図１３において最高の画質が示される。この図では数千のポリゴンを使用して生成される。右側の図面（図１３（ｂ）及び（ｄ））では、ポリゴンの端同士は非常に接近しているので、フェース中に接続したように表示される。
【００２６】
全てのボクセルを囲むクロップボックスを得る初歩的な方法として、ディスプレイに使用されたピクセル数と等しい数のレイを投射する手法がある。これによりスクリーン領域全体を網羅する。しかしながら、スクリーン領域が例えば５１２×５１２ピクセルである場合は、およそ５１２×５１２＝２６２，１４４本のレイの投射が必要となる。この手法は処理が必要なピクセル及びレイの数が多いため実用的ではない。
これにより、本発明の実施形態においては、可視境界の形状を取得するのに十分な解像度を備えるレイの集合が投射される。図３において、この種類のレイの集合がシアン（モノクロ図面では黒十字）で示される。
【００２７】
図３及び図６に、結腸が例示される。特定の視点から見たとき、中心線の後部に最も顕著に奥行きが深い部分が現れる。これは内視鏡画像でユーザが結腸内部を見るときは一般的に、盲腸又は直腸方向に画像を向けているためである。以上から、結腸の立体画像全体に均一に分配され投射されるレイ（図３及び図６中で、シアン若しくは黒十字で示される）は、可視化されるボクセルの最も遠い境界までは届かない。レイ間の距離（画像の解像度）が、画像後部の結腸内腔の半径よりも長い場合、投射されるレイは視点に非常に近い位置にあるヒットポイントに全て戻り、クロップボックス内の結腸内腔の後部を含む。図６は管腔状構造の後部が表示されずに、空胴部が黒ピクセルで覆われる。この部分を修正するために、本発明の実施形態においては、中心線（若しくは低解像度レイショットの第１集合では失われている、可視ボックスの位置と関連があると判明している他の領域）が検査され、管腔状構造の可視部分の末端がスクリーン領域中どの位置にあるかが決定される。
【００２８】
本発明の実施形態においては、これは例えば以下のコードで実行可能である。
【００２９】
段階（４）は以下のように実行される。本発明の実施形態において、プログラムの例は現在の視点の位置、並びに中心線の位置及び中心線の形状を備える。プログラムは、例えば、現在の方向が中心線からＮｃｍ離れた点に向かい、その方向に沿ってチェックを単純に進めていく。この点が投影面上で見えなくなる位置まで来ると、例えば、最終視認点に対応する位置を決定することができる。：
【００３０】
【００３１】
本発明の実施形態におけるシステムでは、中心線の端に中心を合わせてレイを追加的に投射し、上述のレイ投射手法を使用して、欠落部を充填する。一方で、より高解像度となり、レイの間の空間がより密になる。本手法の結果を図７に示す。管腔状構造の表示されない部分がなくなる場合、レイの第２集合（図７において黄色又は白色十字で示される）が実際の境界上のヒットポイントを得ているため、その形状を記録するとともに、クロップボックス内を適切に取り囲む。
【００３２】
図６に示される状況の場合、本発明の別の実施形態においては、要求されるクロップボックスの次元をより良質に記録しようとすると、一定方向に絶えずレイを１本投射しても有用でない可能性がある。むしろ、図６のような実施形態においては、レイ・シューティングは、例えば、ランダムなオフセットを使用して実行可能である。するとヒットポイント間の距離は様々となる。これにより上述のレイ投射で生じる解像度が低いという問題を解決することができる。このような技術は図１４に示される。各ループにおける数字１乃至６は、ループ１乃至６それぞれにおけるレイ投射を示し、毎回異なるランダムなオフセットを伴う。
これにより、図１４に関連して、上記の如く、レイ分散に関する擬似コードの例を使用して、実施形態の例では、例えば、各グリッドの中心に向かってレイを一本投射するだけではなく、各レイの方向をランダム化して、レイの方向（dx，dy）が（dx＋random_offset、dy＋random_offset）となるようにする。
例示された技術を使用して、レイ投射の総数が同様となるようにする。連続的なフレーム中のレイは同一の経路上には送られない。この方法は例えば、レイを一定方向に投射する手法を使用するよりも、幅広くディスプレイ可能領域を網羅する。また実施形態においては、図７に示されるように、更にフォーカスされた（解像度がより高い）第２レイ集合の必要はなくなる。境界が既知の小さな絞りを持ち（第１レイ集合のレイ間の距離に関して）立体の一部に対して投射されるが、大きな＋Ｚ座標を伴う（即ち、視点からスクリーン中に入るまでの距離を伸長する）。
【００３３】
（システム例）
本発明は、データ処理装置中で動作するソフトウェア内の、１又は複数の専用チップ内のハードウェア内の、若しくはそれらの組み合わせで実行可能である。システムの例としては、立体画像ディスプレイ、データ処理装置、双方向ディスプレイ制御コマンド及び機能が備わった１又は複数のインターフェース、１又は複数のメモリ即ち記憶装置、及び画像処理プロセッサ並びにその関連システムが挙げられる。例えば、シンガポールのVolume Interactions Pte LTD社製品のRadioDexter（登録商標）ソフトウェアを動作させるDextroscope（登録商標）及びDextrobeam（登録商標）等のシステムは本発明の方法が容易に実行されるシステムである。
本発明の実施例は、当該技術分野で周知の如く、適切なデータ処理装置により実行される指令のモジュラー式ソフトウェア・プログラムとして実行可能で、これにより本発明における好適な実施形態が実施される。例示されるソフトウェアプログラムは、例えばハードドライブ上では、フラッシュメモリ、メモリスティック、光学記憶媒体、若しくはその他のデータ記憶装置上に保存可能である。このようなプログラムが適切なデータ処置装置のＣＰＵによってアクセスされ動作すると、本発明の実施形態において、上述の方法、即ち３Ｄデータディスプレイシステムにおいて管腔状構造の１又は複数の３Ｄコンピュータモデルを表示する方法を実行可能である。
【００３４】
本発明は１又は複数の実施形態に関して記載されたものであるが、それに限定するものではなく、本発明に係る請求の範囲は、記載した発明の特定の形態や改良のみを含むものではなく、更に本発明の範囲内から逸脱しない限りは当業者により修正されたものも含むこととする。
【００３５】
特許又は出願書類には少なくとも１つのカラー図面を含む。請求を行い、必要な手数料を支払えば、カラー図面を伴う本特許又は特許出願公報の写しが米国特許庁より提供される。説明の目的のために、モノクロ図面はカラー図面一つずつに対して提供される。以下の記載において、所与の図面に対するカラー版及びモノクロ版等、あらゆる種類の図面を含めてまとめて、例えば、「図４」は「図４」及び「図４（ａ）」、及びそのモノクロ版を含んでよぶこととする。
【図面の簡単な説明】
【００３６】
【図１】ヒトの結腸の一部分についての仮想内視鏡画像の例を示す。
【図１ａ】図１のモノクロ画像である。
【図２】ヒトの結腸を例示する全体構造の画像の一部として表示された現在のビューボックスを示す。
【図２ａ】図２のモノクロ画像である。
【図３】本発明の実施形態による現在の仮想結腸内視鏡画像に向かってレイが投射された様子を示す。
【図３ａ】図３でモノクロ画像である。
【図４】図３のレイ投射の側面画像を示す。
【図５】本発明の実施形態によりレイ投射からの全てのヒットポイントを囲むように定義されたクロップボックスの例を示す。
【図６】本発明の実施形態による、均一に分配されたレイのヒットポイントの集合の例を示し、結腸の最遠部分がレンダリングされないクロップボックスを定義するために使用される。
【図６ａ】図６のモノクロ画像である。
【図７】本発明の実施形態による、図６のヒットポイントの集合の例を示し、表示された中心線の端点周辺に均一に分配したヒットポイントの集合を追加することで、増強したものである。
【図８ａ】本発明の様々な実施形態における、立体画像の軸上に整列したクロップボックスとビューイングフラストラムの軸上に整列したクロップボックスの生成を示す。
【図８ｂ】本発明の様々な実施形態における、立体画像の軸上に整列したクロップボックスとビューイングフラストラムの軸上に整列したクロップボックスの生成を示す。
【図８ｃ】本発明の様々な実施形態における、立体画像の軸上に整列したクロップボックスとビューイングフラストラムの軸上に整列したクロップボックスの生成を示す。
【図８ｄ】本発明の様々な実施形態における、立体画像の軸上に整列したクロップボックスとビューイングフラストラムの軸上に整列したクロップボックスの生成を示す。
【図９ａ】サンプリングされる距離が大きい場合（並びにそれに対応する小ポリゴン数）の例を示し、立体レンダリングに使用される。
【図９ｂ】サンプリングされる距離が大きい場合（並びにそれに対応する小ポリゴン数）の例を示し、立体をレンダリングに使用される。
【図９ｃ】図９ａのモノクロ画像を示す。
【図９ｄ】図９ｂのモノクロ画像を示す。
【図１０ａ】図９に関連してサンプリングされる距離が小さい場合（並びに対応する大ポリゴン数）を示し、立体レンダリングに使用される。
【図１０ｂ】図９に関連してサンプリングされる距離が小さい場合（並びに対応する大ポリゴン数）を示し、立体レンダリングに使用される。
【図１０ｃ】図１０ａのモノクロ画像を示す。
【図１０ｄ】図１０ｂのモノクロ画像を示す。
【図１１ａ】図１０に関連して、サンプリングされる距離が更に小さい場合（並びにそれに対応する更に大型のポリゴン数）を示し、立体レンダリングに使用される。
【図１１ｂ】図１０に関連して、サンプリングされる距離が更に小さい場合（並びにそれに対応する更に大型のポリゴン数）を示し、立体レンダリングに使用される。
【図１１ｃ】図１１ａのモノクロ画像である。
【図１１ｄ】図１１ｂのモノクロ画像である。
【図１２ａ】図１１に関連して、更に小さいサンプリング距離（並びにそれに対応する更に大型のポリゴン数）を示し、立体レンダリングに使用される。
【図１２ｂ】図１１に関連して、更に小さいサンプリング距離（並びにそれに対応する更に大型のポリゴン数）を示し、立体レンダリングに使用される。
【図１２ｃ】図１２ａのモノクロ画像である。
【図１２ｄ】図１２ｂのモノクロ画像である。
【図１３ａ】最小サンプリング距離（並びにそれに対応する最大ポリゴン数）を示し、立体レンダリングに使用される。
【図１３ｂ】最小サンプリング距離（並びにそれに対応する最大ポリゴン数）を示し、立体レンダリングに使用される。
【図１３ｃ】図１３ａのモノクロ画像である。
【図１３ｄ】図１３ｂのモノクロ画像である。
【図１４】本発明の実施形態におけるランダムなオフセットを備えるレイ投射を示す。
【図１４ａ】図１４のモノクロ画像を示す。
【技術分野】
【０００１】
本発明は、３Ｄデータ集合の双方向性ディスプレイに関する。より詳しくは、動的にクルップボックスを決定することで、内視鏡画像における管腔状構造のディスプレイを最適化することを目的とする。
本出願は次に示す米国仮特許出願の利点を主張するものであるとともに、本発明により開示される内容は、以下に示す出願を参照のために援用している。即ち２００３年１１月３日提出の米国仮特許出願第６０／５１７０４３号、第６０／５１６９９８号、並びに２００４年４月１４日提出の米国仮特許出願第６０／５６２１００号である。
【背景技術】
【０００２】
多くのヘルスケアの専門家や研究者は、内腔状組織内部の解剖学的な構造を観察する必要性を感じている。例えば、被験者の身体の血管（大動脈など）又は消化器系内腔組織（結腸など）である。歴史的に、上記のようなユーザがこれらの構造を観察する唯一の手段としては、従来からの結腸鏡検査又は内視鏡検査において、内視鏡プローブ又はカメラの挿入を行っていた。磁気共鳴映像法（MRI、Magnetic Resonance Imaging）、エコープラナー撮像法（EPI、Echo Planer Imaging）、コンピュータ断層撮像法（CT、Computerized Tomography）、や新規の電子インピーダンス断層撮像（EIT、Electrical Impedance Tomography）などをはじめとする先進的な画像処理技術の導入によって、多種の内腔状臓器の画像を得て、その画像から３Ｄ立体画像を形成することが可能となった。３Ｄ立体画像は、放射線医師やその他の診断医によりレンダリングされ、患者の管腔状臓器内部に大して非侵襲性の検査を行うことができる。
【０００３】
結腸鏡検査において例えば、立体データ集合が下腹部のＣＴスライス画像集合から生成される。ＣＴスライス画像の数は、通常３００乃至６００枚で、１０００枚以上でも可能である。これらのＣＴスライス画像は、例えば様々な外挿法により拡張されて、従来のレンダリング技術を使用してレンダリング可能な三次元立体画像を生成する。このような技術を使用して、三次元データ集合は、適切なディスプレイ上に表示され、ユーザは患者の結腸内部を仮想的に診察することができる。これにより結腸鏡を挿入する必要がなくなる。このような処置は近年患者に適用されている「仮想結腸鏡検査」として知られている。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
非侵襲性検査を行えることによる明らかな利点があるとはいえ、仮想結腸鏡検査には特有の不便さや問題点が存在する。より一般的には、これらの問題は、従来の手法を使用して、管腔状組織の解剖学的な構造に対して、仮想的検査を行う際に生じる。
例えば、従来の仮想結腸鏡検査は、ユーザの視点が結腸内腔の内部に設けられ、この視点が通常は計算された中心線に従って、内部を移動する。このようなディスプレイでは、大抵は奥行きが明確に表示されず、表示されるのが標準的なモノスコープ画像となってしまう。結果として、結腸の重要な特性は視覚化されずに、問題となっている領域が明確に表示されないままである。
また、内視鏡画像を用いてディスプレイに表示される管腔状組織の解剖学的構造は、その一部しかディスプレイスクリーン上に示されない。通常、内視鏡画像は管腔状構造全体の僅か一部に対応するに過ぎない。画像に表示される割合は例えば、立体スキャン画像については、２乃至１０％の部分、管腔状構造の長さについては、５乃至１０％若しくはそれを若干上回る程度である。内視鏡画像のような表示を行う際、ディスプレイシステムが結腸全体をレンダリングして、その一部を表示するとなると、このような技術は時間を不必要に費やし非効率的である。ユーザ即ち診察者に実際に表示される部分についてのみ、システムが決定を下し、レンダリングを行えば、十分な量の処理時間とメモリー空間を節約することができる。
【０００５】
更に、立体レンダリングの技術分野で周知の如く、レンダリング及び表示が行われることが必要なボクセルが多いほど、より高性能なコンピューティング資源が要求される。要求されるコンピューティング資源は、任意のユーザが選択する詳細さの度合いにもよる。例えば、デジタルズームを高倍率に変化させたり、レンダリングの質を高めるといった場合である。選択される詳細さが高いほど、立体サンプリング時に必要な生成されるべきポリゴンの数は多くなる。サンプルされるべきポリゴン数が多くなると、読み取りが必要となるピクセル数が多くなり、（通常、スクリーン上の各ピクセルは、何度も繰り返し充填される。）充填速度は減少する。詳細さの度合いが高い場合、大量の入力データは観察される立体部のレンダリング速度を落とす可能性がある。例えば視点が新しい位置に移動したときに、画像が表示されるのをユーザに待たせることとなる。
一方で、通常は詳細さが高いほうが望ましいし、ユーザが接近して診断若しくは解析を行うには事実上必要とされている。また、例えば所望の立体を立体的にレンダリングする際などに、奥行きの表示が望まれる場合、アルゴリズムをレンダリングするのに必要な入力されるべきポリゴンのサンプル数、並びにレンダリングに必要なメモリ量は倍増する。
【０００６】
より詳しくは、先行技術に関する上述の問題は、ユーザが双方向的に大型の３Ｄデータ集合を一度に観察する場合において常に、発生し得る問題である。また一度に観察される部分は全体のデータ集合の僅か一部である。しかしながら前記部分は推測的には決定できない。何らかの方法で修正されない限り、このような双方向観察では、実際に表示されないボクセルを処理する傾向があり、無駄な処理になりがちである。同時に、必要なコンピューティング資源を表示中のボクセルの処理、レンダリングを阻害し、その他の問題が関与することもあって、待機状態となる。
以上から、多くの任意の瞬間において、立体全体の部分的な集合に限定して検査を行うように大型３Ｄデータ集合のプロセスを最適化することが、当該技術分野で必要とされる。このような最適化を実現するには、コンピューティング資源をより効率的に活用する必要がある。これによりシームレスで待機状態のない観察が提供され、レンダリングされる各ボクセルにつき大きな数の計算を必要とする奥行き、詳細な表示、並びにツール及び機能を高解像度で自在に使用が可能となる。
【課題を解決するための手段】
【０００７】
動的にクロップボックスを決定し、管腔状構造の仮想内視鏡画像をはじめとする３Ｄデータ集合の部分集合のディスプレイを最適化する方法及びシステムが開示される。本発明の実施形態においては、「レイ・シューティング」技術が使用され、クロップボックスのサイズ及び位置を動的に決定する。実施形態において、レイ技術は例えば、任意の立体に対する投射となり得る。またレイと内部内腔との交点は例えば、クロップボックス境界を決定し得る。本発明の実施形態においては、レイは必ずしも一定の方向に向いて投射される必要はない。むしろフレームによって変化するランダムなオフセットを使用した投射となり得る。これにより、より完全にディスプレイ領域をカバーすることができる。その他の実施形態において、エラーの可能性がある領域に対してレイがより多く投射される。レイ技術は例えば、現在の視点から、管腔状構造の中心線上で最も離れた方向に若しくはそれに近い方向に投射される。実施形態において、レイは空間的にも時間的にも変化可能である。例えば、各フレーム内において、例示されるプログラムでは様々な数のレイを様々な方向に投射してもよく、レイの分布は様々な形態が可能である。動的に最適化されるクロップボックスは、適切な時間に任意の点で実際にディスプレイされた３Ｄデータ集合の部分のみを囲み、データ集合のレンダリングに使用される処理サイクル及びメモリ使用量は大幅に最小化される。
【０００８】
本発明のその他の特徴、特性、様々な利点は、図面並びに以下の実施形態についての詳細な記載により説明される。
本発明のその他の目的及び利点は、以下の記載若しくは本発明の実施により解される。本発明の目的及び利点は、特に本発明に係る請求項で示された発明特定事項及びその組合せにより、実現される。
上述の一般的な記載及び詳細な記載はともに、例示及び説明のために用いられたものに過ぎず、本発明の請求の範囲を限定するものではない。
【発明を実施するための最良の形態】
【０００９】
本発明の実施形態は、レイ・シューティング技術の使用を目的としたもので、立体の観察される部分の最終的なレンダリング速度を増加させる。
立体のレンダリングにおいて、最終的なレンダリング速度は以下の要因に反比例して変化する。
（ａ）入力されるデータのサイズ。データのサイズが大きいほど、データのレンダリングに費されるメモリ並びにＣＰＵの処理時間は増える。
（ｂ）グラフィックカードのテクスチャーメモリの物理的なサイズとプログラムに必要とされるテクスチャーメモリのバランス。必要とされるテクスチャーメモリが、物理的なテクスチャーメモリのサイズを超過すると、テクスチャーメモリ交換が連動する。この動作は負担が大きい。実際は、この交換が大量のデータを処理するときに、起動することが多く、これにより処理性能に著しい減退がもたらされる。
（ｃ）現在の瞬間（クロップボックス）において、レンダリングされる立体のサイズ。クロップボックスのサイズが小さいほど、サンプル並びにレンダリングに必要なポリゴン数は少なくなる。
（ｄ）レンダリングの詳細（即ち、使用されるポリゴン数）。詳細度が高いほど、必要とされるポリゴン数は多くなる。
（ｅ）シェーディングの使用。シェーディングが使用可能な場合、４倍のテクスチャーメモリが必要となる。
【００１０】
上述の要因のうち１又は複数の要因が最適化されると、最終的なレンダリング速度は向上する。本発明の実施形態においては、クロップボックスのサイズを最適化することで、レンダリング速度の向上が実現される。
本発明の実施形態において、クロップ・ボックスのサイズはレイシューティングアルゴリズムを使用して計算可能であるとともに、このような例示的なアルゴリズムを効率的に適用するために、以下の問題点への対処が必要となる。
（ａ）ディスプレイ・フレームに対する投射されるレイショットの本数。理論上は、投射されるレイの本数が多いほど、処理速度は向上するはずであるが、実際は投射されるレイの本数が多いほど、処理速度は遅くなる。
（ｂ）３Ｄデータ空間におけるレイの分布。レイは所望の領域全体をカバーするほうが望ましい。そのためには、本発明の実施形態において、レイの分布をランダム化してもよい。同じレイの本数でも、より広い領域のカバーが可能となる。より細かな観察が必要な領域に対しては、ショットするレイの数を増やしてもよい。逆にそれほど観察する必要がない領域に対しては、投射されるレイの本数を少なくして使用してもよい。
（ｃ）レイ・シューティングの使用結果（単一のフレームを使用した場合と複数のフレームを使用した場合の比較）。本発明の実施形態において、各フレームにおいて、ヒットポイントの結果が収集される。一実施形態において、ヒットポイントの結果の情報は局部的に（即ち、現在のディスプレイ・フレーム内で）使用され、クロップボックスを計算した後に廃棄される。代わりに、廃棄される情報を保存し、計算の結果生じた任意の数のフレームに対して使用してもよい。これにより、更に計算を行わなくても、より良い結果が得られる。
【００１１】
本発明について、説明のために結腸をはじめとする管腔状構造を例として用いて、記載を行う。同様の小部分についてのみ、一度でユーザに視覚化が可能な任意の３Ｄデータ集合に拡張することは、本発明の範囲内で十分に考えられる。
本発明における実施形態において、３Ｄディスプレイシステムは、ユーザ視点の周りの任意の管腔状組織の解剖学的構造の可視的な領域を、所望の領域として決定することができる。管腔状構造の残りの部分は、レンダリングする必要はなくなる。例えば、ユーザは仮想的結腸鏡で結腸を仮想的に観察しており、そのユーザは同時に結腸内腔の内壁全体を観察することができない。それどころか、ユーザは一度で結腸内部の限られた一部若しくは断片を見るに過ぎない。図１は結腸内部の小片を内視鏡画像で示したものである。図２の如く構造全体中の所望の領域のまわりにボックスを形成することで、小片が選択されディスプレイされる。図１の如く、選択された断片はメイン画面のウィンドウ全体を占め、適当なサイズに拡大されて表示される。ユーザの視点が結腸内腔を移動すると、必ずしも結腸全体にあたる立体データ集合全部をレンダリングする必要はなくなり、ユーザが適切な時間に任意の視点で観察する部分のみが表示される。ユーザの目に映らないボクセルをレンダリングする必要がないため、現在の視点がシステムの処理性能を大幅に最適化しコンピューティング資源の負担を減らす。本発明の実施形態において、負担はスキャン全体の僅か３乃至１０％に軽減され、著しく最適化が行われる。
【００１２】
以上から、本発明の実施形態において、「レイ・シューティング」方法が使用可能である。例えば、レイの生成は３Ｄモデル空間におけるどの位置からも開始可能で、同様にどの位置でも終了可能である。図３及び図４に「レイ・シューティング」技術を示す。図３は現在の結腸の内視鏡画像に対してレイを投射する様子を示す。図４は側面から見たレイを投射する様子を示す。定義された閾値に対してレイが通過する各ボクセルの値を点検することで、例示されたシステムは、任意の２点の「可視性」に関して情報を得ることが可能である。内腔壁部の間の空気を表示するボクセルは「可視化されない」。またレイはそのボクセルの間を通過可能である。第１「可視」ボクセルに到達すると、内腔壁部内側のボクセルの位置が得られる。この位置をヒットポイントと呼ぶことがある。
本発明の実施形態において、このようなレイ投射に関するアルゴリズムは以下に例示される擬似コードにより実施可能である。
【００１３】
整数ｍ及びｎは、例えば、共に５に等しいか、任意の実施形態において適当なその他の値としてもよい。多くの実施形態において、任意のＯｐｅｎＧＬプログラム（ユーザに指定される）中などでは、投影幅及び投影高さは既知の要因である。そのため、常に変化するとは限らない。故に、その場合は、ループごとに値を決定する必要はない。
【００１４】
【００１５】
本発明の実施形態において、レイの方向は単純に現在の視点から各グリッドの中心に向かう。例として下記のように設定される。
【００１６】
【００１７】
このような「シューティング・レイ」技術を使用することで、本発明の実施例において、システムは例えばユーザの現在の視点から任意の本数のレイを生成可能である。こういったレイの中には（全てとは限らない）、結果的に所与の方向に沿って内腔壁内側のボクセルにヒットするものもある。これにより「ヒットポイント」の集合が生成される。ヒットポイントの集合は、特定の視点から見ることのできる領域の範囲を追跡する。図３及び図４において、ヒットポイントの結果はカラー図面では黄色又はシアン色のドットで示され、モノクロ図面ではそれぞれ白十字印又は黒十字印で示される。図３に示されるシアンのドット（又は黒十字印）は例えば、可視領域中で均一に分配されるレイの集まりから生成されたヒットポイントを示す。黄色ドット（白十字）は立体の一部分に向けられ、中心が例示される結腸内腔の中心線上の終端に一致する。別のショットレイの集まりに対するヒットポイントを示す。ヒットポイントからユーザの視点までの距離は１つずつ計算されるため、この技術を使用して、どのような所与の視点からも可視のボックスを動的に描写可能である。よってこのような可視性ボックス内のボクセルは、ユーザがその所与の視点にある場合以外は、レンダリングされる必要がない。可視性ボックスは例えば、不定形な形状を呈する。コンピューティングを簡略化するために、システムの一例として、単純な形状の「クロップボックス」により可視性ボックスを囲む。クロップボックスの形状は、円柱形、球形、立方体、直角プリズム、その他の単純な立体形状である。
【００１８】
図５において、上述の方法について更に説明する。それに関連して、図５にユーザの視点を目のアイコンで示す。この視点から、レイは図示される点の構造表面にある様々な方向に投射されてもよい。その後矩形領域が、ユーザにより設定される一定の安全範囲内で、全てのヒットポイントを含むように調整される。
本発明の実施形態において、以下のように設定された安全範囲とともに、境界ボックスを生成可能である。
【００１９】
このような矩形領域は、本発明の実施形態において、図５に示される管腔状構造の右側の壁に可視領域を囲む。同様の技術は例えば、左側の壁にも適用され、ある視点に対する全体のクロップボックスが生成される。
本発明の実施形態において、例えば４０乃至５０本のレイがユーザの現在の画像領域にわたり投射されるのは一般的である。また管腔状構造の表面の形状に関する十分な情報を収集可能で、これにより可視領域を形成することができる。本発明の実施形態において、投射されるレイの本数は調整可能である。よって、投射されるレイの本数が多いほど、良い結果が得られる。一方でコンピュータの処理速度は遅くなる。本発明の実施形態において、投射されるレイの本数は、コンピュータ処理速度とクロップボックスの最適化に必要な精度の二つの要因のバランスを考慮したうえで、適切な本数に調整することが可能である。
【００２０】
上述の境界ボックスを計算するための擬似コードにおいて、以下の関数は（「ヒットポイント」の全ての座標（ｘ，ｙ，ｚ）に対して）定義され、「ヒットポイント」が現在のフレームからではなく、以前の複数のフレームからも存在する場合、本発明の実施形態においては、境界ボックスは尚正確に計算される。実際に以前に使用したフレームからの情報が十分に保存されている場合は、実施形態において、より良い結果が得られる。
【００２１】
本発明の実施形態において、以前のフレームからのヒットポイントは以下のように使用可能である。
本発明の実施形態において、ヒット＿ポイント＿プールは、例えば、現在の並びに以前の（１又は複数の）ループからヒット＿ポイントを保存する。よって、各ループにおいてクロップボックスを決定するのに使用されるヒット＿ポイントの数は実際に投射されるレイの本数よりも多い。ゆえに、全てのヒット＿ポイントは、ヒット＿ポイント＿プール内に保存され、次のループ内で再利用される。
【００２２】
上記の如く、ヒットポイントに関する情報を収集することで、本発明の実施形態において、このようなヒットポイントの座標を使用して、ヒットポイント全体を囲む（軸上に整列した）クロップボックスを生成可能である。これによりユーザに見える領域又は所望の領域を任意の視点で定義可能である。このようなクロップボックスを使用すれば、例えば上述のように、任意の時間に、立体全体の中で実際にレンダリングが必要となる量を減少させることができる。３Ｄデータ集合の中には、理想的なクロップボックスが軸上に整列した形態（即ち、立体のｘ，ｙ及びｚ軸にそろう）ではないものも多い。しかし、例えば任意の視点でビューイングフラストラム（viewing frustrum）即ち観察用錐形上に整列される。この整列形態では更にサイズが縮小され、レンダリングに対してより複雑な処理を行うことが可能になる。図８（ａ）乃至（ｄ）は、軸状に整列したクロップボックスとビューイングフラストラムに整列したクロップボックスの差を示したものである。以上から、本発明の実施形態において、クロップボックスを実現可能且つ望ましい形態に自由に整列させる。クロップボックスは例えば、ビューイングフラストラムか若しくは、適切なデータ集合及び利用可能なコンピュータ資源を備えた他の手法により整列される。
【００２３】
例示される自在に整列可能なクロップボックスを、図８を参照しながら説明する。図８（ａ）は結腸立体画像全体に関する、任意の視点におけるビューイングフラストラムの例を示す。図のように、立体の軸を持つフラストラムには特に自然な整列に特定のものはない。図８（ｂ）は上述の結果得られた、ヒットポイントの例を示す。図８（ｃ）にこれらのヒットポイントを含む、軸状に整列したクロップボックスを示す。図に示されるように、クロップボックスには有用なデータを含まない余分な範囲がある。しかしながら、この範囲のボクセルもディスプレイ・ループ内にレンダリングされる。図８（ｄ）では、ビューイングフラストラムに整列したクロップボックスの例を示す。図中、クロップボックスは視点方向及び３Ｄ空間内のベクトル方向に直交する方向に整列する。図に示されるように、クロップボックスがデータの形状に自然に適合するよう、かなりサイズが小さめとなる。しかしながら、クロップボックス内部に含まれるボクセルを特定するために、本発明の実施形態において、例示されるシステムは座標変換を実施する必要がある。この座標変換は高度なコンピュータの計算処理性能が必要とされる。
実施形態において、クロップボックスのサイズを、分析対象となる構造全体の立体画像よりもかなり小さくすることが可能である。例えば、本発明の実施形態において、結腸鏡検査に適用するために元の立体の５％若しくはそれ以下のサイズにすることも可能である。従って、レンダリング速度は大幅に向上される。
【００２４】
上述のように、レンダリング速度は多くの要因により左右される。図９乃至図１３はサンプリング距離（即ち、レンダリングされる立体を再サンプリングするのに使用されるとともに、視線方向に対して垂直なポリゴン間の距離）、描画が必要なポリゴン数、レンダリングの質、及びクロップボックスの間の関係性を示したものである。
各図９乃至図１３の左図（即ち、（ａ）及び（ｃ）で示される図）は、テクスチャポリゴンを示し、右図（即ち、（ｂ）及び（ｄ）で示される図）は、ポリゴンの端部についてのみ示したものである。いずれの瞬間においても、実際に示される全てのポリゴンの次元は立方体を形成する。このことは、ポリゴンのサイズがクロップボックスにより決定されることを反映している。クロップボックスはこの段階より前に計算される。即ち、どのディスプレイ・ループにおいてもクロップボックスはディスプレイされる前に迅速に計算される。よって実際にポリゴンがクロップボックスの形状を示す。
【００２５】
図９は、非常に大きなサンプリング距離を意図的に特定することで生成される。再サンプリングに使用されるポリゴンの数を非常に少ない。この結果で得られる画像は詳細さに欠ける。図９に示されるポリゴン数は約４又は５である。
図１０では、サンプリング距離を減少させ、同時にポリゴンの量が増加されている。しかしながらこのポリゴン数では、画像はまだ不明瞭である。図１１及び図１２はサンプリング距離を更に減少させた影響を示す（それに応じてサンプリング距離を増加させている）。そして、より詳細な画像が提供され、結果的に内腔の形状がより明確に認識される。しかしながらポリゴン数は大幅に増える。
最後に、図１３において最高の画質が示される。この図では数千のポリゴンを使用して生成される。右側の図面（図１３（ｂ）及び（ｄ））では、ポリゴンの端同士は非常に接近しているので、フェース中に接続したように表示される。
【００２６】
全てのボクセルを囲むクロップボックスを得る初歩的な方法として、ディスプレイに使用されたピクセル数と等しい数のレイを投射する手法がある。これによりスクリーン領域全体を網羅する。しかしながら、スクリーン領域が例えば５１２×５１２ピクセルである場合は、およそ５１２×５１２＝２６２，１４４本のレイの投射が必要となる。この手法は処理が必要なピクセル及びレイの数が多いため実用的ではない。
これにより、本発明の実施形態においては、可視境界の形状を取得するのに十分な解像度を備えるレイの集合が投射される。図３において、この種類のレイの集合がシアン（モノクロ図面では黒十字）で示される。
【００２７】
図３及び図６に、結腸が例示される。特定の視点から見たとき、中心線の後部に最も顕著に奥行きが深い部分が現れる。これは内視鏡画像でユーザが結腸内部を見るときは一般的に、盲腸又は直腸方向に画像を向けているためである。以上から、結腸の立体画像全体に均一に分配され投射されるレイ（図３及び図６中で、シアン若しくは黒十字で示される）は、可視化されるボクセルの最も遠い境界までは届かない。レイ間の距離（画像の解像度）が、画像後部の結腸内腔の半径よりも長い場合、投射されるレイは視点に非常に近い位置にあるヒットポイントに全て戻り、クロップボックス内の結腸内腔の後部を含む。図６は管腔状構造の後部が表示されずに、空胴部が黒ピクセルで覆われる。この部分を修正するために、本発明の実施形態においては、中心線（若しくは低解像度レイショットの第１集合では失われている、可視ボックスの位置と関連があると判明している他の領域）が検査され、管腔状構造の可視部分の末端がスクリーン領域中どの位置にあるかが決定される。
【００２８】
本発明の実施形態においては、これは例えば以下のコードで実行可能である。
【００２９】
段階（４）は以下のように実行される。本発明の実施形態において、プログラムの例は現在の視点の位置、並びに中心線の位置及び中心線の形状を備える。プログラムは、例えば、現在の方向が中心線からＮｃｍ離れた点に向かい、その方向に沿ってチェックを単純に進めていく。この点が投影面上で見えなくなる位置まで来ると、例えば、最終視認点に対応する位置を決定することができる。：
【００３０】
【００３１】
本発明の実施形態におけるシステムでは、中心線の端に中心を合わせてレイを追加的に投射し、上述のレイ投射手法を使用して、欠落部を充填する。一方で、より高解像度となり、レイの間の空間がより密になる。本手法の結果を図７に示す。管腔状構造の表示されない部分がなくなる場合、レイの第２集合（図７において黄色又は白色十字で示される）が実際の境界上のヒットポイントを得ているため、その形状を記録するとともに、クロップボックス内を適切に取り囲む。
【００３２】
図６に示される状況の場合、本発明の別の実施形態においては、要求されるクロップボックスの次元をより良質に記録しようとすると、一定方向に絶えずレイを１本投射しても有用でない可能性がある。むしろ、図６のような実施形態においては、レイ・シューティングは、例えば、ランダムなオフセットを使用して実行可能である。するとヒットポイント間の距離は様々となる。これにより上述のレイ投射で生じる解像度が低いという問題を解決することができる。このような技術は図１４に示される。各ループにおける数字１乃至６は、ループ１乃至６それぞれにおけるレイ投射を示し、毎回異なるランダムなオフセットを伴う。
これにより、図１４に関連して、上記の如く、レイ分散に関する擬似コードの例を使用して、実施形態の例では、例えば、各グリッドの中心に向かってレイを一本投射するだけではなく、各レイの方向をランダム化して、レイの方向（dx，dy）が（dx＋random_offset、dy＋random_offset）となるようにする。
例示された技術を使用して、レイ投射の総数が同様となるようにする。連続的なフレーム中のレイは同一の経路上には送られない。この方法は例えば、レイを一定方向に投射する手法を使用するよりも、幅広くディスプレイ可能領域を網羅する。また実施形態においては、図７に示されるように、更にフォーカスされた（解像度がより高い）第２レイ集合の必要はなくなる。境界が既知の小さな絞りを持ち（第１レイ集合のレイ間の距離に関して）立体の一部に対して投射されるが、大きな＋Ｚ座標を伴う（即ち、視点からスクリーン中に入るまでの距離を伸長する）。
【００３３】
（システム例）
本発明は、データ処理装置中で動作するソフトウェア内の、１又は複数の専用チップ内のハードウェア内の、若しくはそれらの組み合わせで実行可能である。システムの例としては、立体画像ディスプレイ、データ処理装置、双方向ディスプレイ制御コマンド及び機能が備わった１又は複数のインターフェース、１又は複数のメモリ即ち記憶装置、及び画像処理プロセッサ並びにその関連システムが挙げられる。例えば、シンガポールのVolume Interactions Pte LTD社製品のRadioDexter（登録商標）ソフトウェアを動作させるDextroscope（登録商標）及びDextrobeam（登録商標）等のシステムは本発明の方法が容易に実行されるシステムである。
本発明の実施例は、当該技術分野で周知の如く、適切なデータ処理装置により実行される指令のモジュラー式ソフトウェア・プログラムとして実行可能で、これにより本発明における好適な実施形態が実施される。例示されるソフトウェアプログラムは、例えばハードドライブ上では、フラッシュメモリ、メモリスティック、光学記憶媒体、若しくはその他のデータ記憶装置上に保存可能である。このようなプログラムが適切なデータ処置装置のＣＰＵによってアクセスされ動作すると、本発明の実施形態において、上述の方法、即ち３Ｄデータディスプレイシステムにおいて管腔状構造の１又は複数の３Ｄコンピュータモデルを表示する方法を実行可能である。
【００３４】
本発明は１又は複数の実施形態に関して記載されたものであるが、それに限定するものではなく、本発明に係る請求の範囲は、記載した発明の特定の形態や改良のみを含むものではなく、更に本発明の範囲内から逸脱しない限りは当業者により修正されたものも含むこととする。
【００３５】
特許又は出願書類には少なくとも１つのカラー図面を含む。請求を行い、必要な手数料を支払えば、カラー図面を伴う本特許又は特許出願公報の写しが米国特許庁より提供される。説明の目的のために、モノクロ図面はカラー図面一つずつに対して提供される。以下の記載において、所与の図面に対するカラー版及びモノクロ版等、あらゆる種類の図面を含めてまとめて、例えば、「図４」は「図４」及び「図４（ａ）」、及びそのモノクロ版を含んでよぶこととする。
【図面の簡単な説明】
【００３６】
【図１】ヒトの結腸の一部分についての仮想内視鏡画像の例を示す。
【図１ａ】図１のモノクロ画像である。
【図２】ヒトの結腸を例示する全体構造の画像の一部として表示された現在のビューボックスを示す。
【図２ａ】図２のモノクロ画像である。
【図３】本発明の実施形態による現在の仮想結腸内視鏡画像に向かってレイが投射された様子を示す。
【図３ａ】図３でモノクロ画像である。
【図４】図３のレイ投射の側面画像を示す。
【図５】本発明の実施形態によりレイ投射からの全てのヒットポイントを囲むように定義されたクロップボックスの例を示す。
【図６】本発明の実施形態による、均一に分配されたレイのヒットポイントの集合の例を示し、結腸の最遠部分がレンダリングされないクロップボックスを定義するために使用される。
【図６ａ】図６のモノクロ画像である。
【図７】本発明の実施形態による、図６のヒットポイントの集合の例を示し、表示された中心線の端点周辺に均一に分配したヒットポイントの集合を追加することで、増強したものである。
【図８ａ】本発明の様々な実施形態における、立体画像の軸上に整列したクロップボックスとビューイングフラストラムの軸上に整列したクロップボックスの生成を示す。
【図８ｂ】本発明の様々な実施形態における、立体画像の軸上に整列したクロップボックスとビューイングフラストラムの軸上に整列したクロップボックスの生成を示す。
【図８ｃ】本発明の様々な実施形態における、立体画像の軸上に整列したクロップボックスとビューイングフラストラムの軸上に整列したクロップボックスの生成を示す。
【図８ｄ】本発明の様々な実施形態における、立体画像の軸上に整列したクロップボックスとビューイングフラストラムの軸上に整列したクロップボックスの生成を示す。
【図９ａ】サンプリングされる距離が大きい場合（並びにそれに対応する小ポリゴン数）の例を示し、立体レンダリングに使用される。
【図９ｂ】サンプリングされる距離が大きい場合（並びにそれに対応する小ポリゴン数）の例を示し、立体をレンダリングに使用される。
【図９ｃ】図９ａのモノクロ画像を示す。
【図９ｄ】図９ｂのモノクロ画像を示す。
【図１０ａ】図９に関連してサンプリングされる距離が小さい場合（並びに対応する大ポリゴン数）を示し、立体レンダリングに使用される。
【図１０ｂ】図９に関連してサンプリングされる距離が小さい場合（並びに対応する大ポリゴン数）を示し、立体レンダリングに使用される。
【図１０ｃ】図１０ａのモノクロ画像を示す。
【図１０ｄ】図１０ｂのモノクロ画像を示す。
【図１１ａ】図１０に関連して、サンプリングされる距離が更に小さい場合（並びにそれに対応する更に大型のポリゴン数）を示し、立体レンダリングに使用される。
【図１１ｂ】図１０に関連して、サンプリングされる距離が更に小さい場合（並びにそれに対応する更に大型のポリゴン数）を示し、立体レンダリングに使用される。
【図１１ｃ】図１１ａのモノクロ画像である。
【図１１ｄ】図１１ｂのモノクロ画像である。
【図１２ａ】図１１に関連して、更に小さいサンプリング距離（並びにそれに対応する更に大型のポリゴン数）を示し、立体レンダリングに使用される。
【図１２ｂ】図１１に関連して、更に小さいサンプリング距離（並びにそれに対応する更に大型のポリゴン数）を示し、立体レンダリングに使用される。
【図１２ｃ】図１２ａのモノクロ画像である。
【図１２ｄ】図１２ｂのモノクロ画像である。
【図１３ａ】最小サンプリング距離（並びにそれに対応する最大ポリゴン数）を示し、立体レンダリングに使用される。
【図１３ｂ】最小サンプリング距離（並びにそれに対応する最大ポリゴン数）を示し、立体レンダリングに使用される。
【図１３ｃ】図１３ａのモノクロ画像である。
【図１３ｄ】図１３ｂのモノクロ画像である。
【図１４】本発明の実施形態におけるランダムなオフセットを備えるレイ投射を示す。
【図１４ａ】図１４のモノクロ画像を示す。
【特許請求の範囲】
【請求項１】
現在の視点から３Ｄデータ集合の観察対象部分の境界を決定する段階と、
３Ｄデータ集合の前記観察対象部分を表示する段階と、
現在の視点の座標が変更される度に、前記決定する段階及び前記表示する段階を繰り返す段階とを備えることを特徴とする３Ｄデータ集合の動的な表示を最適化する方法。
【請求項２】
前記３Ｄデータ集合の観察対象部分は、管腔状構造の内視鏡画像であることを特徴とする請求項１記載の方法。
【請求項３】
前記境界を決定する段階は、現在の視点から周囲の管腔状構造内壁へとレイを投射することで実施されることを特徴とする請求項２記載の方法。
【請求項４】
前記３Ｄデータ集合の観察対象部分は、結腸の内視鏡画像であることを特徴とする請求項１記載の方法。
【請求項５】
前記境界を決定する段階は、中心線上の現在の視点から周囲の管腔状構造内壁へとレイを投射することで実施されることを特徴とする請求項４記載の方法。
【請求項６】
前記レイは管腔状構造の中心線上の視点から投射され、視認される領域を網羅するように分配されることを特徴とする請求項３記載の方法。
【請求項７】
前記レイは前記視認される領域にわたり均一に分配されることを特徴とする請求項６記載の方法。
【請求項８】
前記レイが投射される方向はランダム成分を含むことを特徴とする請求項６記載の方法。
【請求項９】
レイ第１集合は第１解像度で管腔状構造内の現在の視点から第１領域に向かって投射され、
レイ第２集合は第２解像度で管腔状構造内の現在の視点から第２領域に向かって投射されるとともに、該第２領域は前記第１領域の部分集合であることを特徴とする請求項３記載の方法。
【請求項１０】
前記第２領域は、前記レイ第１集合によるサンプリングでは不十分である可能性がある部分に投射するように決定されることを特徴とする請求項９記載の方法。
【請求項１１】
定義される領域は、視点からの距離が最大の可視ボクセルがある方向の周辺領域の管腔状構造を検査することで決定されることを特徴とする請求項９記載の方法。
【請求項１２】
定義される領域は、中心線が中心空間において見えなくなる位置を検査することで決定されることを特徴とする請求項９記載の方法。
【請求項１３】
管腔状構造内の中心線上のレイが投射される各ポイントにおいて、前記レイがヒトの目の位置を示す２つの視点からそれぞれ投射されることを特徴とする請求項３又は９記載の方法。
【請求項１４】
コンピュータ上で使用可能なメディアを備えるコンピュータプログラム製品であって、
前記メディアは、コンピュータ可読式プログラムコード手段を内蔵し、該手段は前記コンピュータプログラム製品内で、
現在の視点からの３Ｄデータ集合の観察対象部分の境界を決定する段階と、
前記３Ｄデータ集合の観察対象部分を表示する段階と、
座標の現在の視点を変更する度に前記決定する段階と前記表示する段階を繰り返す段階とを実行させることを特徴とするコンピュータプログラム製品。
【請求項１５】
機械可読式プログラム保存装置であって、該装置は機械により実行可能な指令プログラムを実行して３Ｄデータ集合の動的表示を最適化するための方法を実行し、該方法は、
現在の視点から３Ｄデータ集合の観察対象部分の境界を決定する段階と、
前記３Ｄデータ集合の前記観察対象部分を表示する段階と、
現在の視点の座標が変更される度に、前記決定する段階と前記表示する段階の処理を繰り返す段階を備えることを特徴とする機械可読式プログラム保存装置。
【請求項１６】
前記手段は更にコンピュータに対して、
管腔状構造内部で第１解像度で現在の視点から第１領域へ第１レイ集合を投射する段階と、
管腔状構造内部で第２解像度で現在の視点から第２領域へ第２レイ集合を投射する段階を実行させ、前記第２領域は前記第１領域の部分集合であることを特徴とする請求項１４記載のコンピュータプログラム製品。
【請求項１７】
前記方法は更に、
管腔状構造内部で第１解像度で現在の視点から第１領域へ第１レイ集合を投射する段階と、
管腔状構造内部で第２解像度で現在の視点から第２領域へ第２レイ集合を投射する段階を実行させ、前記第２領域は前記第１領域の部分集合であることを特徴とする請求項１５記載のプログラム保存装置。
【請求項１】
現在の視点から３Ｄデータ集合の観察対象部分の境界を決定する段階と、
３Ｄデータ集合の前記観察対象部分を表示する段階と、
現在の視点の座標が変更される度に、前記決定する段階及び前記表示する段階を繰り返す段階とを備えることを特徴とする３Ｄデータ集合の動的な表示を最適化する方法。
【請求項２】
前記３Ｄデータ集合の観察対象部分は、管腔状構造の内視鏡画像であることを特徴とする請求項１記載の方法。
【請求項３】
前記境界を決定する段階は、現在の視点から周囲の管腔状構造内壁へとレイを投射することで実施されることを特徴とする請求項２記載の方法。
【請求項４】
前記３Ｄデータ集合の観察対象部分は、結腸の内視鏡画像であることを特徴とする請求項１記載の方法。
【請求項５】
前記境界を決定する段階は、中心線上の現在の視点から周囲の管腔状構造内壁へとレイを投射することで実施されることを特徴とする請求項４記載の方法。
【請求項６】
前記レイは管腔状構造の中心線上の視点から投射され、視認される領域を網羅するように分配されることを特徴とする請求項３記載の方法。
【請求項７】
前記レイは前記視認される領域にわたり均一に分配されることを特徴とする請求項６記載の方法。
【請求項８】
前記レイが投射される方向はランダム成分を含むことを特徴とする請求項６記載の方法。
【請求項９】
レイ第１集合は第１解像度で管腔状構造内の現在の視点から第１領域に向かって投射され、
レイ第２集合は第２解像度で管腔状構造内の現在の視点から第２領域に向かって投射されるとともに、該第２領域は前記第１領域の部分集合であることを特徴とする請求項３記載の方法。
【請求項１０】
前記第２領域は、前記レイ第１集合によるサンプリングでは不十分である可能性がある部分に投射するように決定されることを特徴とする請求項９記載の方法。
【請求項１１】
定義される領域は、視点からの距離が最大の可視ボクセルがある方向の周辺領域の管腔状構造を検査することで決定されることを特徴とする請求項９記載の方法。
【請求項１２】
定義される領域は、中心線が中心空間において見えなくなる位置を検査することで決定されることを特徴とする請求項９記載の方法。
【請求項１３】
管腔状構造内の中心線上のレイが投射される各ポイントにおいて、前記レイがヒトの目の位置を示す２つの視点からそれぞれ投射されることを特徴とする請求項３又は９記載の方法。
【請求項１４】
コンピュータ上で使用可能なメディアを備えるコンピュータプログラム製品であって、
前記メディアは、コンピュータ可読式プログラムコード手段を内蔵し、該手段は前記コンピュータプログラム製品内で、
現在の視点からの３Ｄデータ集合の観察対象部分の境界を決定する段階と、
前記３Ｄデータ集合の観察対象部分を表示する段階と、
座標の現在の視点を変更する度に前記決定する段階と前記表示する段階を繰り返す段階とを実行させることを特徴とするコンピュータプログラム製品。
【請求項１５】
機械可読式プログラム保存装置であって、該装置は機械により実行可能な指令プログラムを実行して３Ｄデータ集合の動的表示を最適化するための方法を実行し、該方法は、
現在の視点から３Ｄデータ集合の観察対象部分の境界を決定する段階と、
前記３Ｄデータ集合の前記観察対象部分を表示する段階と、
現在の視点の座標が変更される度に、前記決定する段階と前記表示する段階の処理を繰り返す段階を備えることを特徴とする機械可読式プログラム保存装置。
【請求項１６】
前記手段は更にコンピュータに対して、
管腔状構造内部で第１解像度で現在の視点から第１領域へ第１レイ集合を投射する段階と、
管腔状構造内部で第２解像度で現在の視点から第２領域へ第２レイ集合を投射する段階を実行させ、前記第２領域は前記第１領域の部分集合であることを特徴とする請求項１４記載のコンピュータプログラム製品。
【請求項１７】
前記方法は更に、
管腔状構造内部で第１解像度で現在の視点から第１領域へ第１レイ集合を投射する段階と、
管腔状構造内部で第２解像度で現在の視点から第２領域へ第２レイ集合を投射する段階を実行させ、前記第２領域は前記第１領域の部分集合であることを特徴とする請求項１５記載のプログラム保存装置。
【図１】
【図１（ａ）】
【図２】
【図３】
【図３（ａ）】
【図４】
【図４（ａ）】
【図５】
【図６】
【図６（ａ）】
【図７】
【図７（ａ）】
【図８（ａ）】
【図８（ｂ）】
【図８（ｃ）】
【図８（ｄ）】
【図９（ａ）】
【図９（ｂ）】
【図９（ｃ）】
【図９（ｄ）】
【図１０（ａ）】
【図１０（ｂ）】
【図１０（ｃ）】
【図１０（ｄ）】
【図１１（ａ）】
【図１１（ｂ）】
【図１１（ｃ）】
【図１１（ｄ）】
【図１２（ａ）】
【図１２（ｂ）】
【図１２（ｃ）】
【図１２（ｄ）】
【図１３（ａ）】
【図１３（ｂ）】
【図１３（ｃ）】
【図１３（ｄ）】
【図１４】
【図１４（ａ）】
【図１（ａ）】
【図２】
【図３】
【図３（ａ）】
【図４】
【図４（ａ）】
【図５】
【図６】
【図６（ａ）】
【図７】
【図７（ａ）】
【図８（ａ）】
【図８（ｂ）】
【図８（ｃ）】
【図８（ｄ）】
【図９（ａ）】
【図９（ｂ）】
【図９（ｃ）】
【図９（ｄ）】
【図１０（ａ）】
【図１０（ｂ）】
【図１０（ｃ）】
【図１０（ｄ）】
【図１１（ａ）】
【図１１（ｂ）】
【図１１（ｃ）】
【図１１（ｄ）】
【図１２（ａ）】
【図１２（ｂ）】
【図１２（ｃ）】
【図１２（ｄ）】
【図１３（ａ）】
【図１３（ｂ）】
【図１３（ｃ）】
【図１３（ｄ）】
【図１４】
【図１４（ａ）】
【公表番号】特表２００７−５３７７７０（Ｐ２００７−５３７７７０Ａ）
【公表日】平成１９年１２月２７日（２００７．１２．２７）
【国際特許分類】
【出願番号】特願２００６−５３７３１４（Ｐ２００６−５３７３１４）
【出願日】平成１６年１１月３日（２００４．１１．３）
【国際出願番号】ＰＣＴ／ＥＰ２００４／０５２７７７
【国際公開番号】ＷＯ２００５／０４３４６４
【国際公開日】平成１７年５月１２日（２００５．５．１２）
【出願人】（５０６１４５４９６）
【Ｆターム（参考）】
【公表日】平成１９年１２月２７日（２００７．１２．２７）
【国際特許分類】
【出願日】平成１６年１１月３日（２００４．１１．３）
【国際出願番号】ＰＣＴ／ＥＰ２００４／０５２７７７
【国際公開番号】ＷＯ２００５／０４３４６４
【国際公開日】平成１７年５月１２日（２００５．５．１２）
【出願人】（５０６１４５４９６）
【Ｆターム（参考）】
[ Back to top ]