画像処理方法および装置
本発明は、三次元表示内の画像物体を処理するための方法を開示し、ここでは、画像物体が画像生成手段によって仮想画像空間内に表示され、三次元画像空間内の画素には選択装置によって到達することができ、また、コンピュータが座標値を画像物体に応じた位置の画像物体に割り当てる。画像物体の少なくとも一つの画素を選択装置によって処理するためマークされる。また本発明は、三次元表示を処理し、かつ修正する装置について開示する。該装置は、画像データを生成するためのコンピュータと、仮想画像空間内にて三次元形態の画像データを表示するためのディスプレイスクリーンと、三次元表示を手動で動かすためのポイントデバイスとを有する。ポイントデバイスは、画像空間内を自由に移動でき、その位置を伝達するための伝達手段を有し、三次元表示の画素をその位置に応じてポイントデバイスに当てるコンピュータと接続されている。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は、三次元表示の画像を処理する方法に関し、ここでは、画像物体が画像生成手段によって仮想画像空間内に表示され、三次元仮想画像空間内の画素に選択手段を用いて到達することができ、また、コンピュータが画像物体にその位置に対応した座標値を割り当てる。さらに本発明は、三次元表示を処理し、かつ修正する装置に関し、該装置は、画像データを生成するためのコンピュータと、仮想画像空間内において画像データを三次元表示するためのスクリーンと、三次元表示を手動で動かすためのポイントデバイスとを有する。本発明によれば、このポイントデバイスは上記方法における選択装置として使用できる。
【０００２】
【従来の技術】
三次元画像物体を表示するためのいろいろな方法が知られている。立体写真技法においては、左右の眼に対する視界が赤と緑の色で表される。三次元効果を得るためには、赤−緑の眼鏡が必要となる。しかし、この立体写真技法はカラー表現ができない。
【０００３】
さらに、シャッター技術が知られており、２つの眼に対するそれぞれの視界が交互に現われる。１つの眼に関する経路が眼鏡を通して発生する。この眼鏡が視界を正しい方の眼に切り換える。
【０００４】
また、自動立体鏡表示も知られており、これは付加的眼鏡が不必要である。両方の視界が同時に表示される。経路はレンズやプリズムのような光学的手段を介して発生する。ファインダーの動きが捕捉され、光学的手段を介してそれぞれの眼に送られる。両方の視界がディスプレイスクリーンのＬＣＤギャップに交互に入れられる。ディスプレイスクリーンのプリズムマスクを介して、それらの視界が左右の眼にそれぞれ送られる。そして、三次元画像がディスプレイスクリーンの前に浮かんで現れる。
【０００５】
同様に画像処理のための選択装置、例えばコンピュータマウスが知られており、これを介して、表示の個々の画素に到達できる。しかしながら、この点において、表示は、二次元または擬似の三次元に存在しており、そのため、画素の選択は面倒である。この処理では、所望の画素が選択できるように、三次元画像の後方の層が、二次元ディスプレイスクリーン上に配置されるまで、画像を回転することで間に合わせる者もいる。しかしながら、参照三次元表示方法に関すると、この種の画像処理は、大げさで、時間がかかり、また、不正確である。
【０００６】
グラフィックあるいはＣＡＤシステムの二次元表示を処理および修正する装置が知られている。これらのシステムにおいて、表示はローラにより基台上を前後に移動可能ないわゆるマウスを有するコンピュータのスクリーン上にて処理される。マウスの基台に対する運動が検知され、カーソルの運動に変換される。マウスの二次元上の可動性は制限されているので、三次元表示は、仮想三次元画像空間あるいは後方位置画像層における画素を選択するのは複雑なばかりであるという不利な点を有している。ほとんどの場合、三次元表示は二次元の視界に解像される。そのため、ある画像層を選択することが可能となる。
【０００７】
【発明が解決しようとする課題】
本発明の目的は、三次元画像物体の簡単な選択および処理を可能とする、三次元表示を処理および修正するための方法および装置を提供することである。
【０００８】
【課題を解決するための手段】
本発明の方法に関して、この目的は請求項１のステップにより達成される。したがって、少なくとも１つの、画像物体の三次元部分が処理のため選択装置によってマークされる。
【０００９】
画像表現を生成する、三次元表示において、画像空間それ自体における画像物体にマークを付すことが可能なことが本発明によって確認された。それと反対に、通常の二次元表示を有する二次元ディスプレイスクリーンの場合におけるマーキングは本体を回転することによって、あるいはその位置およびつぎの二次元すなわち擬似の三次元マーキングを変えることによって発生する。本発明によると、画像空間に投射された画像物体は仮想画像空間内で直接マークされる。その結果、オペレータはビューアーの位置を変えることによってか、あるいは本体の位置を変えることによって空間部分のマーキングを簡単に見ることができる。ベクトルグラフィックおよび別体の入出力装置を備えたコンピュータは、三次元の、特に自動立体鏡の表示を補助し、画像物体におけるマークの位置を演算し、そして三次元表示における画像のマークされた部分を表示する。
【００１０】
本発明の方法は、分子物理学における目標認識と測定、半導体産業、冶金学、および金属処理における検査と品質保証に非常に有利に使用することができる。同様に、目標認識、画像捕捉、再生、および画像物体の表示と測定に関連した、ＣＡＤ処理に有利に使用できる。この方法は、仮想工場のみならず、仮想試作（モックアップ）にも適用することができる。さらに、用途の分野としては、微生物学、すなわち、核構造、染色体などのような空間的配置のセグメンテーションおよび測定、医療分野における細胞学、眼科学、神経診断、そして、血管造影がある。
【００１１】
本発明をさらに発展させた非常に有利な態様においては、マークした画像物体が画像空間に表示された他の画像物体に関連してセグメントされる。この処理において、画像物体は個々のセグメントに分割され、コンピュータはセグメンテーション時に三次元空間における個々のセグメントの境界領域とセグメントの割り当てのデータとをそれぞれ格納する。セグメンテーションは三次元表示のさらなる画像分析的処理のための基礎である。この処理において、画像表現は三次元表示にて形成され、セグメントされ、これは異なる画像処理操作に利用できる。この処理は、特定の形態計測、すなわち、三次元画像における３−Ｄ画像物体のセグメンテーションおよび測定の役に立つ。
【００１２】
マーキングまたはセグメントの過程において、選択装置は仮想画像空間内を画像物体に導かれ、あるいは画像物体の境界領域に沿って案内される。このマークされた画像物体は強調することができ、特に彩色しまたは拡大し、それによって選択された空間部分が三次元表示内でより見えるようになる。
【００１３】
本発明をさらに発展させた態様においては、画像物体のマークされた空間部分が測定される。また、医療分野では、レーザー断層撮影、Ｘ線断層撮影、およびＭＲ断層撮影のような種々の結像方法、あるいは顕微鏡の表示が使用され、そこから三次元表示の生成が可能となる。画像空間の画像物体を測定するためには、少なくとも２個の画素、あるいは、好ましくは、画像物体の空間的部分にマークを付すことが必要である。このようにして、三次元表示において、公知の二次元あるいは擬似の三次元表現の個々のデータを使用することができ、自動立体鏡表示による画像空間において、コストをかけることなく、それらを測定することができる。測定時においては、正確さが増し、分析あるいは診断の処理が対象化されるという利点がある。画像物体のマーク部分を三次元表示から切り離し、かつそれを別々に表示することが好ましい。
【００１４】
コンピュータの処理手順によって画像物体を自動的にセグメント化し、および／または測定することが可能である。このために、参照物体を生成するためのデータをコンピュータの格納装置に格納することが好ましい。この参照物体に基づいて、関連する画像物体の自動セグメンテーションおよび測定が三次元画像空間に生じる。表示における特定の画像物体のセグメンテーション、測定、あるいは選択の場合において、画像解析、認識系、および、知識、特に神経回路網を基礎とした系を使用することが可能である。自動セグメンテーション、例えば、患者の身体の医療的三次元表示内の肝臓のセグメンテーションによって、能力を増大し、かつ分析／診断処理を対象化することができる。
【００１５】
三次元画像空間における画像物体の関連する部分の手動によるセグメンテーションあるいは測定は、自動処理の準備または確認に使用できる。参照目標、例えば、あるサイズ、シェーディング、あるいは形状の参照物体をベースとした自動セグメンテーションにおいて、コンピュータの処理手順による三次元表示での予選択をなし、また、選択装置によってあるいはコンピュータのキーボードを介してつぎの手動処理を行うことが可能である。
【００１６】
コンピュータは、フィルタリング、画像データの生成、あるいは画像データの圧縮による前処理のような、処理手順を可能とすることができる。同様に、処理手順によって三次元表示の認識モデル化、較正、あるいは形態計測評価を行うことができる。この処理手順によって、形式化表示が存在する程度まで三次元表示の修正が可能である。これによって、例えば出力信号、神経回路網、あるいは知識ベースの系に基づいた専門家の特殊な知識が満足させられる。
【００１７】
本発明をさらに別の発展をさせた態様において、画像物体を処理するための、および、方法および特定の分析、診断、較正、およびインターフェース処理を適用するための基礎的な処理手順を行うのに、コンピュータが利用できる。この方法の中心は自動立体鏡の視覚化による処理の結合であり、これは、アラインメント、フィルタリング、デコンヴォルーション、ビットマップ化などのような基礎的な処理手順によって前処理される。特殊な処理手順によって、３−Ｄマニュピュレーション、手動セグメンテーション、測定、および立体鏡評価が可能である。三次元表示に溶明されるメニュー制御によって、適当な性能を備えた分析・診断モデルの準備を目的とした、手動と自動の副処理における対話指向の相互作用的結合が可能となる。
【００１８】
本発明をさらに発展させた特に有利な態様においては、本発明の三次元表示は自動立体鏡の形態にて発生する。この場合、画像生成手段はディスプレイスクリーンであり、その前面に三次元表示が画像空間に浮かんで現れる。選択装置は３−Ｄポインター、あるいはポイント用スタイラスであり、これは、仮想画像空間内のある画素を表示し、ポイント用スタイラス上の押しボタンを介してそれを選択するのに使用される。
【００１９】
本発明をさらに発展させることによる利益は、従属請求項、および本発明の３つの実施例についてのつぎの説明により明らかになるであろう。
【００２０】
本発明の第１実施例において、本方法は、医学の分野における脳腫瘍、発作、あるいは同様の疾病に適用される。患者の頭部はコンピュータ断層撮影、磁石旋回断層撮影、あるいはＸ線処理を介して分析され、その結果は三次元表示に使用される。本方法は、知識ベースのシステムによって、例えば腫瘍を、Ｘ線映像における影を利用して、自動的な局所集中化および測定が可能である。ポインターを利用することによって、興味のある画像物体、つまり、領域を分割することもでき、ここで、腫瘍は推測され、摘出され、そして擬似カラーで拡大表示される。このようにして、医学における分析をかなり改善することができる。
【００２１】
本発明の第２実施例において、断層写真が陽電子放射断層撮影法（ＰＥＴ）によって準備され、それから、三次元表示が生成される。手動のセグメンテーションおよび測定の間に、再生画像が腫瘍のトポロジーを評価するため自動立体鏡的形態にて表示される。診査に関連する対象領域は手動にてセグメント化され、形態学的特徴が決定されかつ測定される。さらに、参照物体が、分析または診断的問題の認識モデルの範囲内における情報を学習しつつ、展開される。自動セグメンテーションおよび測定の場合において、評価は予め決定された診断モデルを基礎として現れる。これには、画像物体における関連部分の自動セグメンテーションおよび測定が含まれる。相互作用を通して、手動の補助的処置を介し、神経回路網によって、診断モデルを決定し、かつ、即時にそれを現実化することができる。
【００２２】
本発明による方法の第３実施例は電子機器の製造における品質保証に関するものである。一分間当たり数千のはんだ付けポイントに及ぶスループットにてはんだ付けポイントに対する自動検査を行う場合、通常の試験基準には、はんだの分布、はんだの品質、部品の位置決め、およびはんだの量のエラーが含まれる。コンピュータに接続されたディスプレイスクリーンを介して、自動立体鏡的、三次元表示が生成され、これは、ディスプレイスクリーンの前面の画像空間に浮かび上がる。３−Ｄグラフィックはベクトルグラフィックであって、はんだ付けポイントを高解像度で表示することができる。３−Ｄポインターによって、三次元ディスプレイがセグメント化され、かつ測定される。品質特性を評価するために、Ｘ線映像または断層撮影法から決定された三次元画像が自動立体鏡的形態で表示される。検査に関連する対象領域は手動にてセグメント化され、形態学的特性が決定されかつ測定される。測定された画像物体はコンピュータのメモリに学習情報として格納してもよい。したがって、例えば、神経回路網に対する入力データは、診断モデル、例えば知識ベース系および神経回路網の組み合わせを基礎とする自動セグメンテーションまたは測定する物体により決定される。自動セグメンテーションおよび／または測定は手動セグメンテーションおよび／または測定と相互作用的に接続することができる。同様に、三次元画像空間における参照物体のように、スタイラスによって、例えば所望のはんだ分布のような、人工的画像物体を引き出すことも可能である。
【００２３】
本発明による装置に関連する目的は、請求項１７の特徴によって達成される。したがって、ポイントデバイスは画像空間内を自由に移動することができ、かつ、その位置を伝達するため、ポイントデバイスは伝達手段を含んでいる。コンピュータは三次元表示の画素をその位置に応じたポイントデバイスに配置する。
【００２４】
個々の物体を選択しかつ処理するため三次元表示を解像する必要がないことは本発明によって認められている。ポイントデバイスを用いることによって、仮想画像空間内の物体を選択することができる。この処理において、ポイントデバイスは二次元の面上を案内されることはないが、オペレータによって仮想画像空間内を自由に移動することができる。ポイントデバイスの位置は伝達手段を介してコンピュータに伝達される。この空間内の運動は、例えば、オペレータの体の前の腕によって行われる。ポイントデバイスが空間内の位置を変えることによって、仮想カーソルが仮想画像空間内を変移することになる。この方法［？］は、例えば、２つの視界がそれぞれの眼に赤と緑の表示で発生する立体写真技法、あるいは、視界が交互に表示され、一対の眼鏡を介して正しい眼に切り換えられうるシャッター技法のような眼鏡を用いる立体鏡法に適用可能な点で優れている。
【００２５】
しかしながら、本発明は、自動立体鏡三次元表示に適用可能である点で非常に優れていて、この三次元表示は視覚の補助としてのガラスレンズを必要としない。これにおいては、両眼に対する視界が両眼に対して同時に表示され、光学的手段がそれぞれ対応する眼に視界を生じさせる。このために、ビューアーの運動が得られ、そして、両方の視界が、例えば、プリズムによって個々の眼に提供される。本発明によると、示された三次元物体内の画素は、ポイントデバイスの運動を介して選択され、処理され、そして修正される。ポイントデバイスの運動から、コンピュータは三次元表示の対応する画素を決定する。
【００２６】
本発明の好適な一実施態様によると、コンピュータはポイントデバイスを正確にその画素に配置し、ポイントデバイスは仮想画像空間内をその画素に案内される。特に、自動立体鏡表示において、ポイントデバイスは仮想画像空間内、つまり、三次元表示内を移動することが可能である。このようにして、ポイントデバイスは三次元物体を選択することができる。ポイントデバイスの位置は伝達手段によってコンピュータに伝達され、コンピュータは三次元表示の対応画素を測定し、それを、特にカーソルを介して、三次元物体内に表示する。
【００２７】
本発明において、ポイントデバイスは伝達手段を含んでいる。データの伝達は伝達および／または受信ユニットを介してワイヤレスで行うのが好ましい。このために、位置と制御信号は無線すなわち赤外線伝達路を介してポイントデバイスからコンピュータ内の受信ユニットに伝達される。しかしながら、金属探知器を介して空間内の位置を拾い出すことも可能であり、この金属探知器はポイントデバイスの金属頭部を検知する。最後に、伝達手段は、ポイントデバイスとコンピュータを接続する簡単な接続ケーブルでもよい。
【００２８】
ポイントデバイスはポイント用スタイラスとして設計および製作され、特に空間内に位置することが可能な尖端を備えているのが好ましい。ポイント用スタイラスはボールペンのサイズおよび形状を有していてもよい。この場合、ポイント用スタイラス自体が伝達および／または受信ユニットのアンテナとして設計および製作される。このような単純な方法で、ポイントデバイスは仮想画像空間内の位置に案内され、その結果、三次元物体の処理および修正が可能となる。
【００２９】
ポイントデバイスは、画素を選択し、および／または処理を開始するための、少なくとも一つの選択手段、特に押しボタンを含むことができる。この選択手段は、仮想空間内における運動の開始あるいは終了ポイントを決定でき、または、ある三次元物体を選択することができる。しかしながら、この選択手段は、ディスプレイウィンドウを介してコントロールメニューからある処理手順を選択することもできる。このコントロールメニューは三次元画像空間内に仮想的に溶明する。
【００３０】
本発明をさらに発展させた他の実施例において、三次元表示の処理を目的として、異なる処理手順のうちの一つを、仮想ツールヘッドとしてのポイントデバイスに関連づけることができる。この処理手順には、例えば、輪郭を盛り上げたりあるいは深めたりするようなモデル化、グラビアあるいはテクスチャ、セグメント、フィルタリング、シェーディング、カラーリング、あるいはドローイングの適用が含まれる。ポイントデバイスの処理手順の一つが予めポイントデバイスに割り当てられるか、あるいは、その処理手順が、処理の間に、仮想空間内に仮想的に表示されたメニューウィンドウの中から選択される。ポイントデバイスを位置決めした後、処理手順が、例えば押しボタンを介して開始する。この場合、押しボタンを連続的に作動させることによって、ラインを生成したり、あるいはモデル化に使用することができる。
【００３１】
三次元表示の修正は、ポイントデバイスに接続されたコンピュータにおいて処理手順によって演算することができ、それは、スクリーン上に、特に即時に、表示することができる。ポイントデバイスによる変更は直ちに表示され、その結果、オペレータが三次元表示の処理に対する応答を受けとる。最後に、コンピュータに三次元表示の変更を格納することができる。
【００３２】
ポイントデバイスはキーボードを介して、あるいは、三次元表示内に溶明するコントロールメニューを介して、例えばユーザー・インターフェースのプルダウンメニューを介して、処理手順を受け取ることが好ましい。
【００３３】
要求があるときには、アイコンを仮想画像空間に溶明させることもできる。そのアイコンは、ポイントデバイスの位置に対応している。このことは、アイコンがポイントデバイスに割り当てられた画素上に表示できることを意味している。アイコンは点滅するカーソル、手、あるいはツールであることが好ましい。例えば、医療分野では外科用メスを表示することができる。
【００３４】
ポイントデバイスの位置決めには三次元画像空間内の仮想スケールあるいは他の測定機能によって補助するのが好ましい。これに関連して、スケールはメートル上の、あるいは対数上のスケールとすることができ、これらは、三次元画像空間内に表示できる。加えて、ポイントデバイスでアイコンあるいはマーキング要素を表示に適用することもできる。測定機能と処理手順の両方をコンピュータのライブラリーに格納できる。
【００３５】
スクリーン上の三次元表示は自動立体鏡の形態で発生する。このために、３−Ｄディスプレイが必要となる。これは、一つの眼に対して一つの視界がそれぞれ発生し、また、特に、光学的手段によって、２つの眼のうちの一つに対して同じものを再生する。この処理において、三次元表示が生成され、ディスプレイスクリーンの前の画像空間に浮かぶように現れる。
【００３６】
本発明のさらに優れた実施態様が、従属請求項およびその説明にて開示される。下記において、本発明の２つの優れた実施例を説明する。
【００３７】
【発明の実施の形態】
第１の実施例による、本発明の装置は、コンピュータ、自動立体鏡ディスプレイスクリーン、および３−Ｄポイントデバイスを有している。ポイントデバイスの尖端には赤外線トランスミッタが含まれ、これにより、画像空間内にて尖端の関連づけができ、また、これをコンピュータによって測定することができる。ポイントデバイスは、コンピュータのキーボードを介して、処理手順を受け取り、ポイントデバイスの尖端上における仮想ツールヘッドとして作用する。これに関連して、変更の大きさ、種類、および量のようなあるパラメータを調整することもできる。コンピュータの働きによって、処理は自動立体鏡の形態にて生じる表示内においてさえも有効になる。このために、コンピュータには高速ベクトルグラフィックスが具備され、これは、ポイントデバイスによってなされた変更を三次元表示内に示す。
【００３８】
第２の実施例において、本装置は、３−Ｄ用スタイラスとして設計および製作されたポイントデバイス、スタイラスあるいはオペレータの位置の観察・伝達装置のような立体鏡観察装置、自動立体鏡３−Ｄディスプレイスクリーン、インターフェース装置、コンピュータ形態の処理装置、および較正装置を有している。
【００３９】
例えば、３−Ｄ用スタイラスは一つ以上の赤外線ダイオードを具備し、また、オペレータによって、精細な画像領域内を相応じて移動する。赤外線ダイオードの光点は観察装置によって捕捉される。この観察装置は２つのカメラを有している。カメラによって捕捉された光点の位置は、観察装置によって測定されコンピュータ内に格納される。第２の光点が、その位置ばかりでなく、画像空間内のスタイラスの配置を決定することを可能とするため、形成される。これは時間的、空間的構造あるいは色によって３−Ｄ用スタイラスの尖端の光点から区別される。第２の光点のため、回転運動時におけるスタイラスの回転角度を決定することができる。これらの光点のため、オペレータは自動立体鏡スクリーンによる光学的表示内のスタイラスの位置および所在が見え、したがって、３−Ｄ用スタイラスをそれに応じて向きを変え、かつ移動することができる。
【００４０】
較正によって、そのオペレータにとって特定の立体鏡的画像を決定でき、また、それを表示に利用できるようにすることができる。さらに、ポイント用スタイラスによって、観察装置およびオペレータの仮想表示の関連付けを相互に適合させることができる。例えば、カメラによる、測定操作から決定された測定値は、全体表示のためコンピュータのディスプレイスクリーンに引き継ぐことができる。
【００４１】
スタイラスの位置、したがって、オペレータの位置はさらなるステレオカメラ装置によって決定できる。この場合、オペレータの位置は、例えば、仮想物体が空間内に静的にとどまるような状態で、立体画像のため演算される。
【００４２】
３−Ｄ用スタイラスはボールペンのような形の人間工学的形状のケーシングを有し、１個から５個のＩＲ伝達ダイオードが包含されており、これは１つ以上の機械的に安定した光ファイバに接続されている。ＩＲ伝達ダイオードにはケーブルまたはアキュムレータを介して外部から電流が供給され、そのため導電体とは無関係である。
【００４３】
ＩＲ伝達ダイオードは連続したあるいは変調された信号を伝達し、それによって２つの異なった赤外線の光点が互いに一定間隔離れて仮想空間に生じる。これらのＩＲ光点はスタイラスの位置および所在を決定するため捕捉され、かつ復調される。
【００４４】
３−Ｄ用スタイラスは２つの押しボタンを有することもでき、その一方は伝達機能を作動させ、他方は、較正、ケーブルを介した状態、トランスミッタを介した状態、単一方向または双方向の受信を含むいくつかの処理機能を決定することを可能とできる。
【００４５】
単純な場合には、３−Ｄ用スタイラスの尖端を特定するために一つの光点だけが必要である。しかしながら、この場合、処理機能の選択は、３−Ｄ用スタイラスの所在と無関係に行われるだけである。
【００４６】
本発明の観察装置は、２つまたは３つのカメラを備えた立体鏡装置として設計され、かつ製作される。オペレータの眼の位置、観察方向、あるいは間隔を記憶するためにさらにカメラ装置を使用することも可能である。このカメラ装置の配置によって、精細な画像空間が形成され、この精細な画像空間は明度、および焦点深度によって形成することができる。
【００４７】
この観察装置の場合、ＣＣＤカメラ、ファースト・フレーム・グラバー、画像格納アレイ、ＰＣＩバス指向捕捉処理技法を用いるのが好ましい。
【００４８】
ディスプレイは、自動立体鏡３−Ｄディスプレイとして設計・製造され、観察者に対して、表示物体は実際のディスプレイ前の仮想画像空間に現出するように見える。
【００４９】
デジタル・インターフェースは、スタイラスおよび観察装置とコンピュータとの間の通信を確実なものとしなければならない。このインターフェースは赤外線インターフェースとして、あるいは導電体をベースとした従来のインターフェースとして設計できる。
【００５０】
処理装置、例えばコンピュータを用いる場合、実際のスタイラスの位置は検知、格納され、グラフィック表示に関連し必要な場合に用いられる。
【００５１】
較正装置は参照装置の適応および変換を保証するための機能を有している。３−Ｄ用スタイラスはカメラ装置によってビューアー空間内で検知され、自動立体鏡ディスプレイスクリーンの前の画像空間に表示される。較正装置は３−Ｄ用スタイラスの実際の位置に関連して自動立体鏡表示を適応させる。しかしながら、較正装置はオペレータの個々の画像特性に合わせて画像を調整することができる。このために、オペレータは仮想３−Ｄ較正空間を利用することができる。ここで、オペレータは選択されたポイント上でクリックすることにより較正を実施する。この較正空間はデカルト立法体空間の形態を有することができる。
【００５２】
形態計測機能には精細な画像空間のスケーリングが必要であり、ここでは、ポイント用スタイラスの位置が検知される。これは、形成されたスケールの座標への溶明と、較正装置によって測定されるべき画像内における対応オフセットとによって起こる。
【００５３】
較正の間、実際のポイントデバイス、例えば三次元用スタイラスのカメラ画像が仮想物体空間の画像と比較される。仮想物体空間内に描かれた参照物体、例えば、正八面体を画素上でクリックすることができる。これらの画素はオペレータには立体鏡の形態で見える。次いで、これらの画素は観察装置を介して取得することができ、また、立体画像の表示のため、コンピュータによってオフセットされる。オペレータによって観察されるにともない、ポイントデバイスの位置は観察装置によって反映され、その位置が相互に一致する場合、スタイラスを移動し
【００５４】
、較正用キーをクリックすることによって調整することができる。このようにして、装置を操作するオペレータはアプリケーション自体の開始前に、ポイントデバイス上の較正ボタンを用いて装置を較正することができる。
【００５５】
【発明の効果】
本発明の装置は、例えばＣＡＤのような技術的用途、芸術や工芸用の３−Ｄデザインのみならず、医療診断および治療におけるデザイン的職務にも使用できる。ポイントデバイスは特に相互作用的職務、例えば、コンピュータ上にて動作するプログラムにおける表示の質の向上および補正に使用することができる。これに関連して、処理は自動立体鏡ディスプレイ内にて行われ、これによって、コンピュータに格納された画像データを変更することができる。
【０００１】
【産業上の利用分野】
本発明は、三次元表示の画像を処理する方法に関し、ここでは、画像物体が画像生成手段によって仮想画像空間内に表示され、三次元仮想画像空間内の画素に選択手段を用いて到達することができ、また、コンピュータが画像物体にその位置に対応した座標値を割り当てる。さらに本発明は、三次元表示を処理し、かつ修正する装置に関し、該装置は、画像データを生成するためのコンピュータと、仮想画像空間内において画像データを三次元表示するためのスクリーンと、三次元表示を手動で動かすためのポイントデバイスとを有する。本発明によれば、このポイントデバイスは上記方法における選択装置として使用できる。
【０００２】
【従来の技術】
三次元画像物体を表示するためのいろいろな方法が知られている。立体写真技法においては、左右の眼に対する視界が赤と緑の色で表される。三次元効果を得るためには、赤−緑の眼鏡が必要となる。しかし、この立体写真技法はカラー表現ができない。
【０００３】
さらに、シャッター技術が知られており、２つの眼に対するそれぞれの視界が交互に現われる。１つの眼に関する経路が眼鏡を通して発生する。この眼鏡が視界を正しい方の眼に切り換える。
【０００４】
また、自動立体鏡表示も知られており、これは付加的眼鏡が不必要である。両方の視界が同時に表示される。経路はレンズやプリズムのような光学的手段を介して発生する。ファインダーの動きが捕捉され、光学的手段を介してそれぞれの眼に送られる。両方の視界がディスプレイスクリーンのＬＣＤギャップに交互に入れられる。ディスプレイスクリーンのプリズムマスクを介して、それらの視界が左右の眼にそれぞれ送られる。そして、三次元画像がディスプレイスクリーンの前に浮かんで現れる。
【０００５】
同様に画像処理のための選択装置、例えばコンピュータマウスが知られており、これを介して、表示の個々の画素に到達できる。しかしながら、この点において、表示は、二次元または擬似の三次元に存在しており、そのため、画素の選択は面倒である。この処理では、所望の画素が選択できるように、三次元画像の後方の層が、二次元ディスプレイスクリーン上に配置されるまで、画像を回転することで間に合わせる者もいる。しかしながら、参照三次元表示方法に関すると、この種の画像処理は、大げさで、時間がかかり、また、不正確である。
【０００６】
グラフィックあるいはＣＡＤシステムの二次元表示を処理および修正する装置が知られている。これらのシステムにおいて、表示はローラにより基台上を前後に移動可能ないわゆるマウスを有するコンピュータのスクリーン上にて処理される。マウスの基台に対する運動が検知され、カーソルの運動に変換される。マウスの二次元上の可動性は制限されているので、三次元表示は、仮想三次元画像空間あるいは後方位置画像層における画素を選択するのは複雑なばかりであるという不利な点を有している。ほとんどの場合、三次元表示は二次元の視界に解像される。そのため、ある画像層を選択することが可能となる。
【０００７】
【発明が解決しようとする課題】
本発明の目的は、三次元画像物体の簡単な選択および処理を可能とする、三次元表示を処理および修正するための方法および装置を提供することである。
【０００８】
【課題を解決するための手段】
本発明の方法に関して、この目的は請求項１のステップにより達成される。したがって、少なくとも１つの、画像物体の三次元部分が処理のため選択装置によってマークされる。
【０００９】
画像表現を生成する、三次元表示において、画像空間それ自体における画像物体にマークを付すことが可能なことが本発明によって確認された。それと反対に、通常の二次元表示を有する二次元ディスプレイスクリーンの場合におけるマーキングは本体を回転することによって、あるいはその位置およびつぎの二次元すなわち擬似の三次元マーキングを変えることによって発生する。本発明によると、画像空間に投射された画像物体は仮想画像空間内で直接マークされる。その結果、オペレータはビューアーの位置を変えることによってか、あるいは本体の位置を変えることによって空間部分のマーキングを簡単に見ることができる。ベクトルグラフィックおよび別体の入出力装置を備えたコンピュータは、三次元の、特に自動立体鏡の表示を補助し、画像物体におけるマークの位置を演算し、そして三次元表示における画像のマークされた部分を表示する。
【００１０】
本発明の方法は、分子物理学における目標認識と測定、半導体産業、冶金学、および金属処理における検査と品質保証に非常に有利に使用することができる。同様に、目標認識、画像捕捉、再生、および画像物体の表示と測定に関連した、ＣＡＤ処理に有利に使用できる。この方法は、仮想工場のみならず、仮想試作（モックアップ）にも適用することができる。さらに、用途の分野としては、微生物学、すなわち、核構造、染色体などのような空間的配置のセグメンテーションおよび測定、医療分野における細胞学、眼科学、神経診断、そして、血管造影がある。
【００１１】
本発明をさらに発展させた非常に有利な態様においては、マークした画像物体が画像空間に表示された他の画像物体に関連してセグメントされる。この処理において、画像物体は個々のセグメントに分割され、コンピュータはセグメンテーション時に三次元空間における個々のセグメントの境界領域とセグメントの割り当てのデータとをそれぞれ格納する。セグメンテーションは三次元表示のさらなる画像分析的処理のための基礎である。この処理において、画像表現は三次元表示にて形成され、セグメントされ、これは異なる画像処理操作に利用できる。この処理は、特定の形態計測、すなわち、三次元画像における３−Ｄ画像物体のセグメンテーションおよび測定の役に立つ。
【００１２】
マーキングまたはセグメントの過程において、選択装置は仮想画像空間内を画像物体に導かれ、あるいは画像物体の境界領域に沿って案内される。このマークされた画像物体は強調することができ、特に彩色しまたは拡大し、それによって選択された空間部分が三次元表示内でより見えるようになる。
【００１３】
本発明をさらに発展させた態様においては、画像物体のマークされた空間部分が測定される。また、医療分野では、レーザー断層撮影、Ｘ線断層撮影、およびＭＲ断層撮影のような種々の結像方法、あるいは顕微鏡の表示が使用され、そこから三次元表示の生成が可能となる。画像空間の画像物体を測定するためには、少なくとも２個の画素、あるいは、好ましくは、画像物体の空間的部分にマークを付すことが必要である。このようにして、三次元表示において、公知の二次元あるいは擬似の三次元表現の個々のデータを使用することができ、自動立体鏡表示による画像空間において、コストをかけることなく、それらを測定することができる。測定時においては、正確さが増し、分析あるいは診断の処理が対象化されるという利点がある。画像物体のマーク部分を三次元表示から切り離し、かつそれを別々に表示することが好ましい。
【００１４】
コンピュータの処理手順によって画像物体を自動的にセグメント化し、および／または測定することが可能である。このために、参照物体を生成するためのデータをコンピュータの格納装置に格納することが好ましい。この参照物体に基づいて、関連する画像物体の自動セグメンテーションおよび測定が三次元画像空間に生じる。表示における特定の画像物体のセグメンテーション、測定、あるいは選択の場合において、画像解析、認識系、および、知識、特に神経回路網を基礎とした系を使用することが可能である。自動セグメンテーション、例えば、患者の身体の医療的三次元表示内の肝臓のセグメンテーションによって、能力を増大し、かつ分析／診断処理を対象化することができる。
【００１５】
三次元画像空間における画像物体の関連する部分の手動によるセグメンテーションあるいは測定は、自動処理の準備または確認に使用できる。参照目標、例えば、あるサイズ、シェーディング、あるいは形状の参照物体をベースとした自動セグメンテーションにおいて、コンピュータの処理手順による三次元表示での予選択をなし、また、選択装置によってあるいはコンピュータのキーボードを介してつぎの手動処理を行うことが可能である。
【００１６】
コンピュータは、フィルタリング、画像データの生成、あるいは画像データの圧縮による前処理のような、処理手順を可能とすることができる。同様に、処理手順によって三次元表示の認識モデル化、較正、あるいは形態計測評価を行うことができる。この処理手順によって、形式化表示が存在する程度まで三次元表示の修正が可能である。これによって、例えば出力信号、神経回路網、あるいは知識ベースの系に基づいた専門家の特殊な知識が満足させられる。
【００１７】
本発明をさらに別の発展をさせた態様において、画像物体を処理するための、および、方法および特定の分析、診断、較正、およびインターフェース処理を適用するための基礎的な処理手順を行うのに、コンピュータが利用できる。この方法の中心は自動立体鏡の視覚化による処理の結合であり、これは、アラインメント、フィルタリング、デコンヴォルーション、ビットマップ化などのような基礎的な処理手順によって前処理される。特殊な処理手順によって、３−Ｄマニュピュレーション、手動セグメンテーション、測定、および立体鏡評価が可能である。三次元表示に溶明されるメニュー制御によって、適当な性能を備えた分析・診断モデルの準備を目的とした、手動と自動の副処理における対話指向の相互作用的結合が可能となる。
【００１８】
本発明をさらに発展させた特に有利な態様においては、本発明の三次元表示は自動立体鏡の形態にて発生する。この場合、画像生成手段はディスプレイスクリーンであり、その前面に三次元表示が画像空間に浮かんで現れる。選択装置は３−Ｄポインター、あるいはポイント用スタイラスであり、これは、仮想画像空間内のある画素を表示し、ポイント用スタイラス上の押しボタンを介してそれを選択するのに使用される。
【００１９】
本発明をさらに発展させることによる利益は、従属請求項、および本発明の３つの実施例についてのつぎの説明により明らかになるであろう。
【００２０】
本発明の第１実施例において、本方法は、医学の分野における脳腫瘍、発作、あるいは同様の疾病に適用される。患者の頭部はコンピュータ断層撮影、磁石旋回断層撮影、あるいはＸ線処理を介して分析され、その結果は三次元表示に使用される。本方法は、知識ベースのシステムによって、例えば腫瘍を、Ｘ線映像における影を利用して、自動的な局所集中化および測定が可能である。ポインターを利用することによって、興味のある画像物体、つまり、領域を分割することもでき、ここで、腫瘍は推測され、摘出され、そして擬似カラーで拡大表示される。このようにして、医学における分析をかなり改善することができる。
【００２１】
本発明の第２実施例において、断層写真が陽電子放射断層撮影法（ＰＥＴ）によって準備され、それから、三次元表示が生成される。手動のセグメンテーションおよび測定の間に、再生画像が腫瘍のトポロジーを評価するため自動立体鏡的形態にて表示される。診査に関連する対象領域は手動にてセグメント化され、形態学的特徴が決定されかつ測定される。さらに、参照物体が、分析または診断的問題の認識モデルの範囲内における情報を学習しつつ、展開される。自動セグメンテーションおよび測定の場合において、評価は予め決定された診断モデルを基礎として現れる。これには、画像物体における関連部分の自動セグメンテーションおよび測定が含まれる。相互作用を通して、手動の補助的処置を介し、神経回路網によって、診断モデルを決定し、かつ、即時にそれを現実化することができる。
【００２２】
本発明による方法の第３実施例は電子機器の製造における品質保証に関するものである。一分間当たり数千のはんだ付けポイントに及ぶスループットにてはんだ付けポイントに対する自動検査を行う場合、通常の試験基準には、はんだの分布、はんだの品質、部品の位置決め、およびはんだの量のエラーが含まれる。コンピュータに接続されたディスプレイスクリーンを介して、自動立体鏡的、三次元表示が生成され、これは、ディスプレイスクリーンの前面の画像空間に浮かび上がる。３−Ｄグラフィックはベクトルグラフィックであって、はんだ付けポイントを高解像度で表示することができる。３−Ｄポインターによって、三次元ディスプレイがセグメント化され、かつ測定される。品質特性を評価するために、Ｘ線映像または断層撮影法から決定された三次元画像が自動立体鏡的形態で表示される。検査に関連する対象領域は手動にてセグメント化され、形態学的特性が決定されかつ測定される。測定された画像物体はコンピュータのメモリに学習情報として格納してもよい。したがって、例えば、神経回路網に対する入力データは、診断モデル、例えば知識ベース系および神経回路網の組み合わせを基礎とする自動セグメンテーションまたは測定する物体により決定される。自動セグメンテーションおよび／または測定は手動セグメンテーションおよび／または測定と相互作用的に接続することができる。同様に、三次元画像空間における参照物体のように、スタイラスによって、例えば所望のはんだ分布のような、人工的画像物体を引き出すことも可能である。
【００２３】
本発明による装置に関連する目的は、請求項１７の特徴によって達成される。したがって、ポイントデバイスは画像空間内を自由に移動することができ、かつ、その位置を伝達するため、ポイントデバイスは伝達手段を含んでいる。コンピュータは三次元表示の画素をその位置に応じたポイントデバイスに配置する。
【００２４】
個々の物体を選択しかつ処理するため三次元表示を解像する必要がないことは本発明によって認められている。ポイントデバイスを用いることによって、仮想画像空間内の物体を選択することができる。この処理において、ポイントデバイスは二次元の面上を案内されることはないが、オペレータによって仮想画像空間内を自由に移動することができる。ポイントデバイスの位置は伝達手段を介してコンピュータに伝達される。この空間内の運動は、例えば、オペレータの体の前の腕によって行われる。ポイントデバイスが空間内の位置を変えることによって、仮想カーソルが仮想画像空間内を変移することになる。この方法［？］は、例えば、２つの視界がそれぞれの眼に赤と緑の表示で発生する立体写真技法、あるいは、視界が交互に表示され、一対の眼鏡を介して正しい眼に切り換えられうるシャッター技法のような眼鏡を用いる立体鏡法に適用可能な点で優れている。
【００２５】
しかしながら、本発明は、自動立体鏡三次元表示に適用可能である点で非常に優れていて、この三次元表示は視覚の補助としてのガラスレンズを必要としない。これにおいては、両眼に対する視界が両眼に対して同時に表示され、光学的手段がそれぞれ対応する眼に視界を生じさせる。このために、ビューアーの運動が得られ、そして、両方の視界が、例えば、プリズムによって個々の眼に提供される。本発明によると、示された三次元物体内の画素は、ポイントデバイスの運動を介して選択され、処理され、そして修正される。ポイントデバイスの運動から、コンピュータは三次元表示の対応する画素を決定する。
【００２６】
本発明の好適な一実施態様によると、コンピュータはポイントデバイスを正確にその画素に配置し、ポイントデバイスは仮想画像空間内をその画素に案内される。特に、自動立体鏡表示において、ポイントデバイスは仮想画像空間内、つまり、三次元表示内を移動することが可能である。このようにして、ポイントデバイスは三次元物体を選択することができる。ポイントデバイスの位置は伝達手段によってコンピュータに伝達され、コンピュータは三次元表示の対応画素を測定し、それを、特にカーソルを介して、三次元物体内に表示する。
【００２７】
本発明において、ポイントデバイスは伝達手段を含んでいる。データの伝達は伝達および／または受信ユニットを介してワイヤレスで行うのが好ましい。このために、位置と制御信号は無線すなわち赤外線伝達路を介してポイントデバイスからコンピュータ内の受信ユニットに伝達される。しかしながら、金属探知器を介して空間内の位置を拾い出すことも可能であり、この金属探知器はポイントデバイスの金属頭部を検知する。最後に、伝達手段は、ポイントデバイスとコンピュータを接続する簡単な接続ケーブルでもよい。
【００２８】
ポイントデバイスはポイント用スタイラスとして設計および製作され、特に空間内に位置することが可能な尖端を備えているのが好ましい。ポイント用スタイラスはボールペンのサイズおよび形状を有していてもよい。この場合、ポイント用スタイラス自体が伝達および／または受信ユニットのアンテナとして設計および製作される。このような単純な方法で、ポイントデバイスは仮想画像空間内の位置に案内され、その結果、三次元物体の処理および修正が可能となる。
【００２９】
ポイントデバイスは、画素を選択し、および／または処理を開始するための、少なくとも一つの選択手段、特に押しボタンを含むことができる。この選択手段は、仮想空間内における運動の開始あるいは終了ポイントを決定でき、または、ある三次元物体を選択することができる。しかしながら、この選択手段は、ディスプレイウィンドウを介してコントロールメニューからある処理手順を選択することもできる。このコントロールメニューは三次元画像空間内に仮想的に溶明する。
【００３０】
本発明をさらに発展させた他の実施例において、三次元表示の処理を目的として、異なる処理手順のうちの一つを、仮想ツールヘッドとしてのポイントデバイスに関連づけることができる。この処理手順には、例えば、輪郭を盛り上げたりあるいは深めたりするようなモデル化、グラビアあるいはテクスチャ、セグメント、フィルタリング、シェーディング、カラーリング、あるいはドローイングの適用が含まれる。ポイントデバイスの処理手順の一つが予めポイントデバイスに割り当てられるか、あるいは、その処理手順が、処理の間に、仮想空間内に仮想的に表示されたメニューウィンドウの中から選択される。ポイントデバイスを位置決めした後、処理手順が、例えば押しボタンを介して開始する。この場合、押しボタンを連続的に作動させることによって、ラインを生成したり、あるいはモデル化に使用することができる。
【００３１】
三次元表示の修正は、ポイントデバイスに接続されたコンピュータにおいて処理手順によって演算することができ、それは、スクリーン上に、特に即時に、表示することができる。ポイントデバイスによる変更は直ちに表示され、その結果、オペレータが三次元表示の処理に対する応答を受けとる。最後に、コンピュータに三次元表示の変更を格納することができる。
【００３２】
ポイントデバイスはキーボードを介して、あるいは、三次元表示内に溶明するコントロールメニューを介して、例えばユーザー・インターフェースのプルダウンメニューを介して、処理手順を受け取ることが好ましい。
【００３３】
要求があるときには、アイコンを仮想画像空間に溶明させることもできる。そのアイコンは、ポイントデバイスの位置に対応している。このことは、アイコンがポイントデバイスに割り当てられた画素上に表示できることを意味している。アイコンは点滅するカーソル、手、あるいはツールであることが好ましい。例えば、医療分野では外科用メスを表示することができる。
【００３４】
ポイントデバイスの位置決めには三次元画像空間内の仮想スケールあるいは他の測定機能によって補助するのが好ましい。これに関連して、スケールはメートル上の、あるいは対数上のスケールとすることができ、これらは、三次元画像空間内に表示できる。加えて、ポイントデバイスでアイコンあるいはマーキング要素を表示に適用することもできる。測定機能と処理手順の両方をコンピュータのライブラリーに格納できる。
【００３５】
スクリーン上の三次元表示は自動立体鏡の形態で発生する。このために、３−Ｄディスプレイが必要となる。これは、一つの眼に対して一つの視界がそれぞれ発生し、また、特に、光学的手段によって、２つの眼のうちの一つに対して同じものを再生する。この処理において、三次元表示が生成され、ディスプレイスクリーンの前の画像空間に浮かぶように現れる。
【００３６】
本発明のさらに優れた実施態様が、従属請求項およびその説明にて開示される。下記において、本発明の２つの優れた実施例を説明する。
【００３７】
【発明の実施の形態】
第１の実施例による、本発明の装置は、コンピュータ、自動立体鏡ディスプレイスクリーン、および３−Ｄポイントデバイスを有している。ポイントデバイスの尖端には赤外線トランスミッタが含まれ、これにより、画像空間内にて尖端の関連づけができ、また、これをコンピュータによって測定することができる。ポイントデバイスは、コンピュータのキーボードを介して、処理手順を受け取り、ポイントデバイスの尖端上における仮想ツールヘッドとして作用する。これに関連して、変更の大きさ、種類、および量のようなあるパラメータを調整することもできる。コンピュータの働きによって、処理は自動立体鏡の形態にて生じる表示内においてさえも有効になる。このために、コンピュータには高速ベクトルグラフィックスが具備され、これは、ポイントデバイスによってなされた変更を三次元表示内に示す。
【００３８】
第２の実施例において、本装置は、３−Ｄ用スタイラスとして設計および製作されたポイントデバイス、スタイラスあるいはオペレータの位置の観察・伝達装置のような立体鏡観察装置、自動立体鏡３−Ｄディスプレイスクリーン、インターフェース装置、コンピュータ形態の処理装置、および較正装置を有している。
【００３９】
例えば、３−Ｄ用スタイラスは一つ以上の赤外線ダイオードを具備し、また、オペレータによって、精細な画像領域内を相応じて移動する。赤外線ダイオードの光点は観察装置によって捕捉される。この観察装置は２つのカメラを有している。カメラによって捕捉された光点の位置は、観察装置によって測定されコンピュータ内に格納される。第２の光点が、その位置ばかりでなく、画像空間内のスタイラスの配置を決定することを可能とするため、形成される。これは時間的、空間的構造あるいは色によって３−Ｄ用スタイラスの尖端の光点から区別される。第２の光点のため、回転運動時におけるスタイラスの回転角度を決定することができる。これらの光点のため、オペレータは自動立体鏡スクリーンによる光学的表示内のスタイラスの位置および所在が見え、したがって、３−Ｄ用スタイラスをそれに応じて向きを変え、かつ移動することができる。
【００４０】
較正によって、そのオペレータにとって特定の立体鏡的画像を決定でき、また、それを表示に利用できるようにすることができる。さらに、ポイント用スタイラスによって、観察装置およびオペレータの仮想表示の関連付けを相互に適合させることができる。例えば、カメラによる、測定操作から決定された測定値は、全体表示のためコンピュータのディスプレイスクリーンに引き継ぐことができる。
【００４１】
スタイラスの位置、したがって、オペレータの位置はさらなるステレオカメラ装置によって決定できる。この場合、オペレータの位置は、例えば、仮想物体が空間内に静的にとどまるような状態で、立体画像のため演算される。
【００４２】
３−Ｄ用スタイラスはボールペンのような形の人間工学的形状のケーシングを有し、１個から５個のＩＲ伝達ダイオードが包含されており、これは１つ以上の機械的に安定した光ファイバに接続されている。ＩＲ伝達ダイオードにはケーブルまたはアキュムレータを介して外部から電流が供給され、そのため導電体とは無関係である。
【００４３】
ＩＲ伝達ダイオードは連続したあるいは変調された信号を伝達し、それによって２つの異なった赤外線の光点が互いに一定間隔離れて仮想空間に生じる。これらのＩＲ光点はスタイラスの位置および所在を決定するため捕捉され、かつ復調される。
【００４４】
３−Ｄ用スタイラスは２つの押しボタンを有することもでき、その一方は伝達機能を作動させ、他方は、較正、ケーブルを介した状態、トランスミッタを介した状態、単一方向または双方向の受信を含むいくつかの処理機能を決定することを可能とできる。
【００４５】
単純な場合には、３−Ｄ用スタイラスの尖端を特定するために一つの光点だけが必要である。しかしながら、この場合、処理機能の選択は、３−Ｄ用スタイラスの所在と無関係に行われるだけである。
【００４６】
本発明の観察装置は、２つまたは３つのカメラを備えた立体鏡装置として設計され、かつ製作される。オペレータの眼の位置、観察方向、あるいは間隔を記憶するためにさらにカメラ装置を使用することも可能である。このカメラ装置の配置によって、精細な画像空間が形成され、この精細な画像空間は明度、および焦点深度によって形成することができる。
【００４７】
この観察装置の場合、ＣＣＤカメラ、ファースト・フレーム・グラバー、画像格納アレイ、ＰＣＩバス指向捕捉処理技法を用いるのが好ましい。
【００４８】
ディスプレイは、自動立体鏡３−Ｄディスプレイとして設計・製造され、観察者に対して、表示物体は実際のディスプレイ前の仮想画像空間に現出するように見える。
【００４９】
デジタル・インターフェースは、スタイラスおよび観察装置とコンピュータとの間の通信を確実なものとしなければならない。このインターフェースは赤外線インターフェースとして、あるいは導電体をベースとした従来のインターフェースとして設計できる。
【００５０】
処理装置、例えばコンピュータを用いる場合、実際のスタイラスの位置は検知、格納され、グラフィック表示に関連し必要な場合に用いられる。
【００５１】
較正装置は参照装置の適応および変換を保証するための機能を有している。３−Ｄ用スタイラスはカメラ装置によってビューアー空間内で検知され、自動立体鏡ディスプレイスクリーンの前の画像空間に表示される。較正装置は３−Ｄ用スタイラスの実際の位置に関連して自動立体鏡表示を適応させる。しかしながら、較正装置はオペレータの個々の画像特性に合わせて画像を調整することができる。このために、オペレータは仮想３−Ｄ較正空間を利用することができる。ここで、オペレータは選択されたポイント上でクリックすることにより較正を実施する。この較正空間はデカルト立法体空間の形態を有することができる。
【００５２】
形態計測機能には精細な画像空間のスケーリングが必要であり、ここでは、ポイント用スタイラスの位置が検知される。これは、形成されたスケールの座標への溶明と、較正装置によって測定されるべき画像内における対応オフセットとによって起こる。
【００５３】
較正の間、実際のポイントデバイス、例えば三次元用スタイラスのカメラ画像が仮想物体空間の画像と比較される。仮想物体空間内に描かれた参照物体、例えば、正八面体を画素上でクリックすることができる。これらの画素はオペレータには立体鏡の形態で見える。次いで、これらの画素は観察装置を介して取得することができ、また、立体画像の表示のため、コンピュータによってオフセットされる。オペレータによって観察されるにともない、ポイントデバイスの位置は観察装置によって反映され、その位置が相互に一致する場合、スタイラスを移動し
【００５４】
、較正用キーをクリックすることによって調整することができる。このようにして、装置を操作するオペレータはアプリケーション自体の開始前に、ポイントデバイス上の較正ボタンを用いて装置を較正することができる。
【００５５】
【発明の効果】
本発明の装置は、例えばＣＡＤのような技術的用途、芸術や工芸用の３−Ｄデザインのみならず、医療診断および治療におけるデザイン的職務にも使用できる。ポイントデバイスは特に相互作用的職務、例えば、コンピュータ上にて動作するプログラムにおける表示の質の向上および補正に使用することができる。これに関連して、処理は自動立体鏡ディスプレイ内にて行われ、これによって、コンピュータに格納された画像データを変更することができる。
【特許請求の範囲】
【請求項１】 画像物体を画像発生手段によって仮想画像空間内に表示し、三次元画像空間の画素には選択装置によって到達することができ、コンピュータが座標値をその位置に応じた前記画像物体に割り当てる、三次元表示における画像物体の処理方法であって、 前記画像物体の少なくとも一つの空間的部分に、前記選択装置による処理のためにマークすることを特徴とする方法。
【請求項２】 前記マークした画像物体を、前記画像空間に表示された他の画像物体に関連してセグメントすることを特徴とする請求項１の方法。
【請求項３】 前記仮想画像空間におけるセグメンテーションのため、前記選択装置を前記画像物体に導くか、あるいは、前記画像物体の境界領域に沿って案内することを特徴とする請求項２の方法。
【請求項４】 前記マークした画像物体を、特に色を付けるか、または拡大することによって、強調することを特徴とする請求項１から３のいずれかの方法。
【請求項５】 前記画像物体の前記マークした部分を測定することを特徴とする請求項１の方法。
【請求項６】 前記画像物体の前記部分を前記三次元表示から切り離し、かつ別に表示することを特徴とする請求項１から５のいずれかの方法。
【請求項７】 前記画像物体を前記コンピュータの処理手順によってセグメントし、および／または測定すること、および、参照物体を生成するためのデータを前記コンピュータの記憶装置に格納することを特徴とする請求項１から６のいずれかの方法。
【請求項８】 関連する画像物体の部分に対する自動セグメンテーションおよび測定を、特に前記参照物体を基に、前記三次元画像空間にて行うことを特徴とする請求項１から７のいずれかの方法。
【請求項９】 特定の画像物体に対する前記セグメンテーション、前記測定、または前記選択において、画像分析、認識、および知識ベースの装置、特に神経回路網を前記三次元表示内にて用いることを特徴とする請求項１から８のいずれかの方法。
【請求項１０】 前記画像物体の関連する部分に対する、手動によるセグメンテーションまたは測定、または人工的画像物体の設計をも前記三次元画像空間内で実施することを特徴とする請求項１から９のいずれかの方法。
【請求項１１】 前記コンピュータは、画像データのフィルタリングまたは圧縮による前処理のような処理手順を備えることを特徴とする請求項１から１０のいずれかの方法。
【請求項１２】 前記コンピュータは、形態計測的評価、較正、または認識的モデル化のような処理手順を備えることを特徴とする請求項１から１１のいずれかの方法。
【請求項１３】 前記画像物体を処理し、かつ、前記方法、特定の分析、診断、較正、およびインターフェース手順を適用するための基本的処理手順は特に前記コンピュータにて利用できることを特徴とする請求項１から１２のいずれかの方法。
【請求項１４】 前記三次元表示は自動立体鏡表示であり、前記画像生成手段はディスプレイスクリーンであり、前記ディスプレイスクリーンの前にて前記三次元表示が前記画像空間に浮かんで現れることを特徴とする請求項１から１３のいずれかの方法。
【請求項１５】 前記選択装置はポイント用スタイラスであり、前記ポイント用スタイラスは、前記仮想画像空間内のある画素を指示することができ、かつ、それを特に前記ポイント用スタイラス上の押しボタンを介して選択できることを特徴とする請求項１から１４のいずれかの方法。
【請求項１６】 前記選択装置は、前記仮想画像空間に、例えば参照物体のような人工的画像物体を設計するために使用されることを特徴とする請求項１５の方法。
【請求項１７】 特に請求項１から１６のうちの一つの方法を適用するための、画像データを生成するためのコンピュータと、仮想画像空間における前記画像データの三次元表示のためのディスプレイスクリーンと、前記三次元表示に手動にて作用を及ぼすためのポイントデバイスとを有する、三次元を処理し、かつ修正するための装置であって、 前記ポイントデバイスは前記画像空間内を自由に移動可能であって、かつその位置を伝達するための伝達手段を有し、前記コンピュータは、前記ポイントデバイスに前記三次元表示の画素をその位置に応じて当てることを特徴とする装置。
【請求項１８】 前記コンピュータは前記画素を前記ポイントデバイスに正確に当て、前記ポイントデバイスは前記仮想空間内に導かれることを特徴とする請求項１７の装置。
【請求項１９】 前記伝達手段は、例えば無線または赤外線信号を介する、ワイヤレスデータ伝達のための伝達および／または受信ユニットであることを特徴とする請求項１７または１８の装置。
【請求項２０】 前記ポイントデバイスは、特に前記仮想空間内に配置可能な尖端を備えたスタイラスとして、設計および製作されることを特徴とする請求項１７から１９のいずれかの装置。
【請求項２１】 前記ポイントデバイスは、少なくとも一つの選択手段、特に画素を選択するための、および／または処理を開始するための押しボタンを有することを特徴とする請求項１７から２０のいずれかの装置。
【請求項２２】 異なる処理手順のうちの一つが、前記三次元表示を処理するための仮想ツールヘッドとしての前記ポイントデバイスに関連付けられることを特徴とする請求項１７から２１のいずれかの装置。
【請求項２３】 前記処理手順は、例えば、輪郭を盛り上げることまたは深めることのようなモデル化、グラビアまたはテクスチャ、セグメント、フィルタリング、シェーディング、カラーリング、またはドローイングの適用を含むことを特徴とする請求項１７から２２のいずれかの装置。
【請求項２４】 前記三次元表示の修正は、前記ポイントデバイスに接続された前記コンピュータにて前記処理手順によって演算することができ、特に即時に前記ディスプレイスクリーンに表示されることを特徴とする請求項１７から２３のいずれかの装置。
【請求項２５】 前記コンピュータは、要求時、特に前記コンピュータのキーボードを介して前記処理手順を前記ポイントデバイスに割り当てることを特徴とする請求項１７から２４のいずれかの装置。
【請求項２６】 前記ポイントデバイスの位置に応じて、アイコンを前記仮想画像空間内に表示することができ、前記アイコンは特に点滅するカーソル、手、またはツール、例えばメスであることを特徴とする請求項１７から２５のいずれかの装置。
【請求項２７】 要求時に、前記アイコンを、前記仮想画像空間内に表示できることを特徴とする請求項２６の装置。
【請求項２８】 前記測定機能、前記アイコン、または前記処理手順が前記コンピュータのライブラリに保管されることを特徴とする請求項１７から２７のいずれかの装置。
【請求項２９】 前記ポイントデバイスの位置決めは前記三次元画像空間内の仮想スケールまたは他の測定機能によって補助されうることを特徴とする請求項１７から２８のいずれかの装置。
【請求項３０】 前記ディスプレイスクリーン上の前記三次元表示は自動立体鏡であることを特徴とする請求項１７から２９のいずれかの装置。
【請求項３１】 前記ポイントデバイスは赤外線伝達装置、および／または二光源を有し、前記二光源は、前記ポイントデバイスの位置および所在を決定するために評価され、間隔をおいた光点を前記ポインタ上に生成することを特徴とする請求項１７から３０のいずれかの装置。
【請求項３２】 赤外線ステレオカメラが、少なくとも一つの光点を検知するため、特に、前記ポイントデバイスの位置、所在、または回転角を検知するために具備されることを特徴とする請求項１７から３１のいずれかの装置。
【請求項３３】 前記ポイントデバイスの回転角を決定するため、特に異なる色または異なる信号を有する複数のダイオードが具備され、前記複数のダイオードは立体鏡的に即時に検知でき、かつ、前記ポイントデバイスの回転角を決定するために使用できることを特徴とする請求項１７から３２のいずれかの装置。
【請求項３４】 前記仮想表示空間は多数のカメラによって形成され、かつ前記３−Ｄディスプレイの前に配置され、特に前記カメラの焦点深度またはそれらの指向によって形成されることを特徴とする請求項１７から３３のいずれかの装置。
【請求項３５】 較正の間、前記実際のポイントデバイスは前記仮想物体空間内に表示された前記画像と正しい位置関係を占めることができることを特徴とする請求項１７から３４の装置。
【請求項１】 画像物体を画像発生手段によって仮想画像空間内に表示し、三次元画像空間の画素には選択装置によって到達することができ、コンピュータが座標値をその位置に応じた前記画像物体に割り当てる、三次元表示における画像物体の処理方法であって、 前記画像物体の少なくとも一つの空間的部分に、前記選択装置による処理のためにマークすることを特徴とする方法。
【請求項２】 前記マークした画像物体を、前記画像空間に表示された他の画像物体に関連してセグメントすることを特徴とする請求項１の方法。
【請求項３】 前記仮想画像空間におけるセグメンテーションのため、前記選択装置を前記画像物体に導くか、あるいは、前記画像物体の境界領域に沿って案内することを特徴とする請求項２の方法。
【請求項４】 前記マークした画像物体を、特に色を付けるか、または拡大することによって、強調することを特徴とする請求項１から３のいずれかの方法。
【請求項５】 前記画像物体の前記マークした部分を測定することを特徴とする請求項１の方法。
【請求項６】 前記画像物体の前記部分を前記三次元表示から切り離し、かつ別に表示することを特徴とする請求項１から５のいずれかの方法。
【請求項７】 前記画像物体を前記コンピュータの処理手順によってセグメントし、および／または測定すること、および、参照物体を生成するためのデータを前記コンピュータの記憶装置に格納することを特徴とする請求項１から６のいずれかの方法。
【請求項８】 関連する画像物体の部分に対する自動セグメンテーションおよび測定を、特に前記参照物体を基に、前記三次元画像空間にて行うことを特徴とする請求項１から７のいずれかの方法。
【請求項９】 特定の画像物体に対する前記セグメンテーション、前記測定、または前記選択において、画像分析、認識、および知識ベースの装置、特に神経回路網を前記三次元表示内にて用いることを特徴とする請求項１から８のいずれかの方法。
【請求項１０】 前記画像物体の関連する部分に対する、手動によるセグメンテーションまたは測定、または人工的画像物体の設計をも前記三次元画像空間内で実施することを特徴とする請求項１から９のいずれかの方法。
【請求項１１】 前記コンピュータは、画像データのフィルタリングまたは圧縮による前処理のような処理手順を備えることを特徴とする請求項１から１０のいずれかの方法。
【請求項１２】 前記コンピュータは、形態計測的評価、較正、または認識的モデル化のような処理手順を備えることを特徴とする請求項１から１１のいずれかの方法。
【請求項１３】 前記画像物体を処理し、かつ、前記方法、特定の分析、診断、較正、およびインターフェース手順を適用するための基本的処理手順は特に前記コンピュータにて利用できることを特徴とする請求項１から１２のいずれかの方法。
【請求項１４】 前記三次元表示は自動立体鏡表示であり、前記画像生成手段はディスプレイスクリーンであり、前記ディスプレイスクリーンの前にて前記三次元表示が前記画像空間に浮かんで現れることを特徴とする請求項１から１３のいずれかの方法。
【請求項１５】 前記選択装置はポイント用スタイラスであり、前記ポイント用スタイラスは、前記仮想画像空間内のある画素を指示することができ、かつ、それを特に前記ポイント用スタイラス上の押しボタンを介して選択できることを特徴とする請求項１から１４のいずれかの方法。
【請求項１６】 前記選択装置は、前記仮想画像空間に、例えば参照物体のような人工的画像物体を設計するために使用されることを特徴とする請求項１５の方法。
【請求項１７】 特に請求項１から１６のうちの一つの方法を適用するための、画像データを生成するためのコンピュータと、仮想画像空間における前記画像データの三次元表示のためのディスプレイスクリーンと、前記三次元表示に手動にて作用を及ぼすためのポイントデバイスとを有する、三次元を処理し、かつ修正するための装置であって、 前記ポイントデバイスは前記画像空間内を自由に移動可能であって、かつその位置を伝達するための伝達手段を有し、前記コンピュータは、前記ポイントデバイスに前記三次元表示の画素をその位置に応じて当てることを特徴とする装置。
【請求項１８】 前記コンピュータは前記画素を前記ポイントデバイスに正確に当て、前記ポイントデバイスは前記仮想空間内に導かれることを特徴とする請求項１７の装置。
【請求項１９】 前記伝達手段は、例えば無線または赤外線信号を介する、ワイヤレスデータ伝達のための伝達および／または受信ユニットであることを特徴とする請求項１７または１８の装置。
【請求項２０】 前記ポイントデバイスは、特に前記仮想空間内に配置可能な尖端を備えたスタイラスとして、設計および製作されることを特徴とする請求項１７から１９のいずれかの装置。
【請求項２１】 前記ポイントデバイスは、少なくとも一つの選択手段、特に画素を選択するための、および／または処理を開始するための押しボタンを有することを特徴とする請求項１７から２０のいずれかの装置。
【請求項２２】 異なる処理手順のうちの一つが、前記三次元表示を処理するための仮想ツールヘッドとしての前記ポイントデバイスに関連付けられることを特徴とする請求項１７から２１のいずれかの装置。
【請求項２３】 前記処理手順は、例えば、輪郭を盛り上げることまたは深めることのようなモデル化、グラビアまたはテクスチャ、セグメント、フィルタリング、シェーディング、カラーリング、またはドローイングの適用を含むことを特徴とする請求項１７から２２のいずれかの装置。
【請求項２４】 前記三次元表示の修正は、前記ポイントデバイスに接続された前記コンピュータにて前記処理手順によって演算することができ、特に即時に前記ディスプレイスクリーンに表示されることを特徴とする請求項１７から２３のいずれかの装置。
【請求項２５】 前記コンピュータは、要求時、特に前記コンピュータのキーボードを介して前記処理手順を前記ポイントデバイスに割り当てることを特徴とする請求項１７から２４のいずれかの装置。
【請求項２６】 前記ポイントデバイスの位置に応じて、アイコンを前記仮想画像空間内に表示することができ、前記アイコンは特に点滅するカーソル、手、またはツール、例えばメスであることを特徴とする請求項１７から２５のいずれかの装置。
【請求項２７】 要求時に、前記アイコンを、前記仮想画像空間内に表示できることを特徴とする請求項２６の装置。
【請求項２８】 前記測定機能、前記アイコン、または前記処理手順が前記コンピュータのライブラリに保管されることを特徴とする請求項１７から２７のいずれかの装置。
【請求項２９】 前記ポイントデバイスの位置決めは前記三次元画像空間内の仮想スケールまたは他の測定機能によって補助されうることを特徴とする請求項１７から２８のいずれかの装置。
【請求項３０】 前記ディスプレイスクリーン上の前記三次元表示は自動立体鏡であることを特徴とする請求項１７から２９のいずれかの装置。
【請求項３１】 前記ポイントデバイスは赤外線伝達装置、および／または二光源を有し、前記二光源は、前記ポイントデバイスの位置および所在を決定するために評価され、間隔をおいた光点を前記ポインタ上に生成することを特徴とする請求項１７から３０のいずれかの装置。
【請求項３２】 赤外線ステレオカメラが、少なくとも一つの光点を検知するため、特に、前記ポイントデバイスの位置、所在、または回転角を検知するために具備されることを特徴とする請求項１７から３１のいずれかの装置。
【請求項３３】 前記ポイントデバイスの回転角を決定するため、特に異なる色または異なる信号を有する複数のダイオードが具備され、前記複数のダイオードは立体鏡的に即時に検知でき、かつ、前記ポイントデバイスの回転角を決定するために使用できることを特徴とする請求項１７から３２のいずれかの装置。
【請求項３４】 前記仮想表示空間は多数のカメラによって形成され、かつ前記３−Ｄディスプレイの前に配置され、特に前記カメラの焦点深度またはそれらの指向によって形成されることを特徴とする請求項１７から３３のいずれかの装置。
【請求項３５】 較正の間、前記実際のポイントデバイスは前記仮想物体空間内に表示された前記画像と正しい位置関係を占めることができることを特徴とする請求項１７から３４の装置。
【公表番号】特表２００１−５２２０９８（Ｐ２００１−５２２０９８Ａ）
【公表日】平成１３年１１月１３日（２００１．１１．１３）
【国際特許分類】
【出願番号】特願２０００−５１９３７６（Ｐ２０００−５１９３７６）
【出願日】平成１０年１０月２６日（１９９８．１０．２６）
【国際出願番号】ＰＣＴ／ＤＥ９８／０３１３８
【国際公開番号】ＷＯ９９／２３５８６
【国際公開日】平成１１年５月１４日（１９９９．５．１４）
【出願人】
【氏名又は名称】ドクター・バルデヴェグ・ゲーエムベーハー
【氏名又は名称原語表記】ＢＡＬＤＥＷＥＧ ＧｍｂＨ
【住所又は居所原語表記】Ｈａｎｓ−Ｇｒｕｎｄｉｇ−Ｓｔｒａ▲ｓｓ▼ｅ ２８， Ｄ−０１３０７ Ｄｒｅｓｄｅｎ， Ｇｅｒｍａｎｙ
【Ｆターム（参考）】
【公表日】平成１３年１１月１３日（２００１．１１．１３）
【国際特許分類】
【出願日】平成１０年１０月２６日（１９９８．１０．２６）
【国際出願番号】ＰＣＴ／ＤＥ９８／０３１３８
【国際公開番号】ＷＯ９９／２３５８６
【国際公開日】平成１１年５月１４日（１９９９．５．１４）
【出願人】
【氏名又は名称】ドクター・バルデヴェグ・ゲーエムベーハー
【氏名又は名称原語表記】ＢＡＬＤＥＷＥＧ ＧｍｂＨ
【住所又は居所原語表記】Ｈａｎｓ−Ｇｒｕｎｄｉｇ−Ｓｔｒａ▲ｓｓ▼ｅ ２８， Ｄ−０１３０７ Ｄｒｅｓｄｅｎ， Ｇｅｒｍａｎｙ
【Ｆターム（参考）】
[ Back to top ]