ＡＲオブジェクトとの光学的な重なり合いを判定する方法および装置
本発明は、環境を示す環境画像へＡＲオブジェクトをフェードインする方法を意図しており、視点から見た環境の距離画像を撮影し、環境画像に配置されるべきＡＲオブジェクトの表示を、当該オブジェクトが視点から見て環境画像の意図される場所に現れるように変更し、視点のほうを向いているＡＲオブジェクトの部分について、当該部分が視点から見て距離画像の対応する画点に対して相対的にどのように位置しているかを判定し、少なくともＡＲオブジェクトの一部の表示をその見かけ上の奥行きとの関係で所定の方法により変更し、こうして処理されたＡＲオブジェクトを環境画像にフェードインする。環境を示す環境画像へＡＲオブジェクトをフェードインする本発明の装置は、上記の方法ステップを実施するための相応の部材を有している。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特に、環境を示す環境画像にＡＲオブジェクトをフェードインするために、仮想物体（ＡＲオブジェクト）の仮想画像と、現実環境の実画像との光学的な重なり合いを判定する方法および装置に関する。
【背景技術】
【０００２】
すなわち本発明は、いわゆるオーグメンテッド・リアリティ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ（ＡＲ））の分野、ドイツ語で言えば拡大現実または強化現実の分野に属しており、これは、現実と仮想情報との視覚的な重なり合い（＝拡張）である。ＡＲオブジェクトまたはオーグメンテッド・リアリティ物体とは、コンピュータに、特にまず第１に記憶装置に、その物体についての空間情報が存在しており、この空間情報をもとにしてレンダリングにより画像が作成されてから、環境の環境画像にフェードインされ、ないしは環境に重ね合わされる物体のことである。ＡＲオブジェクトの生成方法、すなわちこれを定義する空間情報の来歴は本質的なことではなく、それは純粋に数学的に生成されるか、またはモデリングされていてよく、あるいは、実在している現実の物体から得られた空間情報であってもよい。
【０００３】
オーグメンテッド・リアリティでは、現実すなわち環境をビデオ画像として観察するか、または透明なスクリーンを通して観察することができ、これらにＡＲオブジェクトのフェードインがそれぞれ行われる。前者の場合には「ビデオシースルー」（Ｖｉｄｅｏ Ｓｅｅ−Ｔｈｒｏｕｇｈ（ＶＳＴ））という表現が用いられ、後者の場合には「光学シースルー」（Ｏｐｔｉｃａｌ Ｓｅｅ−Ｔｈｒｏｕｇｈ（ＯＳＴ））という表現が用いられる。これ以外にもバーチャル化のバリエーションが他にもあるが、上記の２つの方式との間に本質的な違いはない。
【０００４】
オーグメンテッド・リアリティは多種多様な形で利用することができ、また、実際に活用されている。たとえば、溶接棒ホルダなどの工具や工作物を表すＡＲオブジェクトを、（この場合にはＩＳＯ８３７３の意味における）機械やロボットの画像に正しい相互関係でフェードインさせることができ、それにより、たとえば追加の対象物（工作物、工具）によって制約される運動空間を認識することができる。これらの対象物のお互いの相互関係、および機械やロボットとの相互関係を表示して明示するための座標系を、フェードインさせることができる。また、たとえば操作説明書等の抜粋などのテキスト情報をフェードインさせることもできる。
【０００５】
以下において、ＡＲオブジェクトが環境画像のなかで可視化されるべき場合には、可視化の方式（ＶＳＴ，ＯＳＴまたはその他の方式）に関わりなく、環境画像という言葉を用いる。ＡＲオブジェクトがシームレスに、すなわち正しい位置と遮蔽関係で環境画像へ組み込まれるように、ＡＲオブジェクトを環境画像へフェードインできるようにするためには、遮蔽モデルとも呼ばれる、できる限り正確な環境モデルが必要である。このようなモデルは、特定の視角から光景を眺める観察者にとっては見ることができないＡＲオブジェクトの部分を、フェードアウトするために用いられる。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ロボットセルのモデルは、現実と近似的にしか一致しないという問題がある。その理由は、計画に沿ってロボットセルを厳密に作成することができないことや、設備を設置したり使用開始準備をしている間にさらに変化が生じていて、そのような変化がモデルで再現
されないことにある。従来、モデルと現実を相互に照らし合わせる、自動化された方法は存在していない。
【０００７】
そのため遮蔽モデルは、あらゆるディテールまで現実を再現することはできない。たとえば（現実の）ロボットのモデルでは、ケーブル配線はモデルでは再現されないのが普通である。また遮蔽モデルは、それによって与えられる環境のモデルを、現実世界との関係で正確に正しい位置へ位置決めすることができない。このようなキャリブレーション誤差（見当合せ誤差とも呼ばれる）の結果として、ＡＲオブジェクトが間違った状態で環境画像に埋め込まれることになる。隠れていなければならないはずのＡＲオブジェクトの部分が見えたり、本来は見えなければならないはずのＡＲオブジェクトの部分が見えないことによって、間違いが目に見えてしまう場合がある。
【０００８】
本発明の課題は、前述のような問題を回避しながら、遮蔽モデルの生成にコストをかけることなく、ＡＲオブジェクトを正しい位置と遮蔽関係でダイナミックに環境画像へリアルタイムに重ね合わせることである。
【課題を解決するための手段】
【０００９】
本発明によれば前述の課題は、観察ポーズから実画像の画点を光学的に検出し、観察ポーズを基準とする実画像の画点について第１の奥行き位置を判定し、仮想物体のポーズと観察ポーズとを基礎として作成された仮想物体の仮想画像から画点を生成し、観察ポーズを基準とする仮想画像の画点について第２の奥行き位置を算出し、観察ポーズの同一の光学軸上で第１の奥行き位置と第２の奥行き位置を比較することを特徴とする、冒頭に述べた種類の方法によって解決される。この方法の１つの有利な実施形態は、視点から見た環境の距離画像が撮影され、環境画像に配置されるべきＡＲオブジェクトの表示が、視点から見て環境画像の意図される場所に現れるように変更され、視点のほうを向いているＡＲオブジェクトの部分について、当該部分が視点から見て距離画像の対応する画点に対して相対的にどのように位置しているかが判定され、すなわち環境の実画像の画点の奥行き位置が、生成されたＡＲオブジェクトの画点の奥行き位置と比較され、少なくともＡＲオブジェクトの一部の表示がその見かけ上の奥行きとの関係で、すなわち画像中における奥行き位置との関係で、前景に位置するＡＲオブジェクトの画像領域が後景に位置するＡＲオブジェクトの画像領域と光学的に別様に表示されるように変更され、こうして処理されたＡＲオブジェクトが環境画像にフェードインされることを特徴としている。
【００１０】
さらに本発明は前述の課題を解決するために、観察ポーズから実画像の画点を光学的に検出するための撮影装置と、観察ポーズを基準とする実画像の画点について第１の奥行き位置を判定するための判定装置と、仮想物体のポーズと観察ポーズとを基礎として作成された仮想物体の仮想画像から画点を生成するための生成装置と、観察ポーズを基準とする仮想画像の画点について第２の奥行き位置を算出するための計算装置と、観察ポーズの同一の光学軸上で第１の奥行き位置と第２の奥行き位置を比較するための比較装置とを備えていることを特徴とする、当分野に属する装置を意図しており、この装置は、視点から見た環境の距離画像を撮影するための撮影装置と、環境画像に配置されるべきＡＲオブジェクトを視点から見て環境画像の意図される地点に現れるように表示するための表示装置と、視点のほうを向いているＡＲオブジェクトの部分を、当該部分が視点から見て距離画像の対応する画点に対して相対的にどのように位置しているかを判定するための判定装置、すなわち環境の実画像の画点の奥行き位置を、生成されるＡＲオブジェクトの画点の奥行き位置と比較するための判定装置と、視点から見て距離画像のそれぞれ対応する画像断片よりも後方にあるＡＲオブジェクトの部分を、前景にあるＡＲオブジェクトの画像領域が後景にあるＡＲオブジェクトの画像領域と光学的に別様に表示されるように変更して表示するための表示装置と、ＡＲオブジェクトを環境画像にフェードインするためのフェードイン装置とによって構成されているのが好ましい。本発明は特にロボットで利用され、お
よびロボットとの関連で利用される。
【００１１】
仮想物体のポーズと観察ポーズを基礎として作成された仮想物体の仮想画像からの画点の生成は、レンダリングによって行うことができ、すなわち、空間的な仮想コンピュータモデルからの実画像の算出ないし生成によって行うことができる。観察者の視点を考慮したうえでのＡＲオブジェクトの表示の変更とは、記憶されている仮想（３Ｄ）物体から、観察点および空間内での仮想（３Ｄ）物体のポーズを基礎として、最新の観察点についての（２Ｄ）画像（ＡＲオブジェクト）を算出することを意味している。奥行き位置とは、視点から見て計算したときの、検出された画点の距離を意味している。環境の距離画像は実画像の画点であり、観察点から見た画点の距離についての情報が各画点に付属している。前景表示とは、奥行き位置に関して基準表示よりも前方に位置している表示のことであり、後景表示とは、奥行き位置に関して基準表示よりも後方に位置している表示として定義される。
【００１２】
本発明の中心的思想は、光学系を用いて、現実環境の光景の画点だけでなく、検出された画点と視点との距離（奥行き位置）も検出され、それによって奥行き情報をデジタル画像データとともに直接的に、いわば同時に検出することによって、現実環境のモデリングを省略できることである。実画像の画点のこの奥行き位置を、仮想画像の奥行き位置と比較することで、重なり合い領域に関する判断を下すことができる。このような判断は、実画像の画点の奥行き位置と、フェードインされるべき仮想画像との簡単な比較によって可能であり、高いコストを要する計算を行わなくてよい。高いコストを要する計算を省略することで、本発明による方法にはリアルタイム能力があるという利点が得られる。
【００１３】
ＶＳＴシステムでは視点はカメラの場所であり、ＯＳＴシステムでは観察者の一方または両方の目であり、距離画像を撮影するための装置は、観察者の目からその視野の中にある環境領域までの光学軸の近傍に配置されるのがよく、場合により、距離画像を撮影するための撮影装置の場所と、観察者の目との間で座標変換が行われる。
【００１４】
前述した方法はリアルタイムで、すなわち現実世界の変化と歩調を合わせて進行するのが好ましく、本装置はリアルタイム処理をするように構成され、特にリアルタイムモードで作動する。このように本発明では、ＡＲオブジェクトがダイナミックに環境画像へフェードインされ、ＶＳＴ方式では特に歩調を合わせて、ビデオ画像へ正しい位置と遮蔽関係でフェードインされる。このことは本発明によれば、高いコストのかかるモデリングプロセスを実行する代わりに、ＡＲオブジェクトの正しい位置と遮蔽関係での処理のために、画像全体にわたる奥行き情報が直接援用されることによって実現される。そのために必要となる、ＡＲオブジェクトが割り当てられるべき現実の対象物の座標系、たとえばロボットの座標系と、カメラの座標系との間の関係は、キャリブレーションによって通常の方法で求めることができる。これに続いて、空間内におけるＡＲオブジェクトの既知のポーズが、既知の変換規則を用いてカメラの座標系へと変換され、さらに画像平面に変換される。それにより、所定の遮蔽規則に基づいてＡＲオブジェクトのどの部分をどのような方法で表示すべきかを、測定された距離画像を基準として直接求めることができる。
【００１５】
距離画像を撮影するには、原則としてさまざまな方法が考慮の対象となり、たとえば飛行時間測定（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ−ＴＯＦ）、レーザスキャン、能動型三角測量、ステレオビジョン、デフォーカス処理による距離測定、構造化照明、モアレ技術、あるいは特に、たとえば米国特許第４１８４７４８号明細書に基づく、観察者の視野の中にある環境のきわめて短時間の照明が光カーテンによって行われ、環境から反射された光が、ナノセカンド単位の同じくきわめて短い時間的間隔で、たとえば（電気光学的な）影による遮光によって妨げられ、距離画像を作成するために処理される方法などが考慮の対象となる。重要なのは、本方法がきわめて迅速に進むことであり、すなわちリアルタイム能
力をもつことである。
【００１６】
コンピュータで生起されてスクリーンに表示されるべき人工物体の場所と向きが既知である場合、スクリーン上での再生時に、自分のほうを向いている物体の点は見えるが物体そのものによって「遮蔽された」点は見えない観察者に対して表示されるように当該物体をモデルまたは空間情報として処理するのは、グラフィック処理または画像処理の通常の技術である。
【００１７】
所定の方法でＡＲオブジェクトを処理するために処理規則を設けることができ、たとえばコンピュータに記憶させておくことができ、たとえば有利な方法としては、ＡＲオブジェクトの点のうち、たとえばロボットの手のフランジに取り付けられた溶接棒トーチの点のうち、視点から見て距離画像のそれぞれ対応する画点よりも後方に位置している点が、つまりたとえばロボットの手の領域よりも後方に位置している点が、環境画像にフェードインされるＡＲオブジェクトからフェードアウトされるようにし、本例で言えば溶接棒トーチからフェードアウトされるようにすることができる。また、表示のなかのＡＲオブジェクトの特定の特徴を、たとえばＡＲオブジェクトの透明度や色、線の太さ、線の種類、ワイヤフレーム、全面モデル表示などを、環境画像の自然物体の境界線との距離に依存して変化させることができる。そのようにして、ＡＲオブジェクトの点のうち、たとえば座標系の点のうち、視点から見て距離画像のそれぞれ対応する画点よりも後方に位置している点、たとえばロボット部品の「内部」に位置している点は、環境画像ではワイヤフレーム画像として表示したり、破線もしくは鎖線で表示することができる。このことは、たとえばＡＲオブジェクトとしての伝動装置の伝動装置部品が、それ自体は伝動装置ハウジングカバーよりも後方に「位置している」が、それでもＡＲ画像の中で見えるようにしたいという場合にも当てはまる。
【００１８】
これに代わる有利な実施形態では、環境画像がビデオ画像として再生され、ＡＲオブジェクトはビデオ画像にフェードインされるか（ＶＳＴ）、または、透明なシールドを通して環境画像を直接観察することが可能であり、ＡＲオブジェクトは透明なシールドに、これを通して観察可能な環境画像へフェードインされる（ＯＳＴ）ことが意図されていてよい。
【００１９】
これに対応する本装置の有利な実施形態では、ＶＳＴの枠内において、ＡＲオブジェクトを表示するための表示装置は、撮影された環境画像を同じく表示する従来型のスクリーンであり、あるいはＡＲオブジェクトを表示するための表示装置は、環境画像を通過させる透明なスクリーンである。これに代わる本発明の実施形態では、網膜ディスプレイが設けられる。
【００２０】
距離画像を撮影するための撮影装置が上に略述したような形式の距離画像カメラである場合、１つの有利な実施形態は、この距離画像カメラがビデオカメラと組み合わされることを意図している。
【発明の効果】
【００２１】
本発明は、現実の物体に即して仮想物体すなわちＡＲオブジェクトのモデリングをするために利用することができる。たとえば、モデリングされるべき（現実の）物体の輪郭の複数の補間点を含んでいる包絡線を適合化することができる。また、実在するモデルのパラメータを、それが現実とより良く一致するように適合化することができる。それに続いて、複雑な工具やセル全体のインタラクティブに決定された簡素化されたモデルを、たとえば衝突回避計算のために利用することができる。他ならぬ現実世界の仮想物体と人間とのインタラクションにおいて、本発明の対象物の利点が可視化のときに明らかとなる。
【００２２】
本発明のその他の利点および構成要件は、特許請求の範囲、および図面を参照して本発明の実施例が具体的に説明される以下の記述から明らかである。
【発明を実施するための最良の形態】
【００２３】
図１は、ロボット加工セル１における典型的な状況を模式図で示している。部材３．１，３．２と関節４．１，４．２とを備えるＥＮ ＩＳＯ ８３７３の多関節ロボットが模式的に図示されている。関節４．２は、３つの個々の回転ジョイントで構成されるＲｏｔｏｉｄジョイントであり、これに機械的なインターフェース４．１とエンドエフェクター接続装置（たとえばグリッパ５のようなエンドエフェクターのためのロボット２の接続フランジ）が設けられている。さらにロボット２の脚部には、そのワールド座標系またはロボット座標系６が図示されている。さらに図１は、工作台７の上に配置された工作物８と、その周囲を通るロボット軌道９と示しており、このロボット軌道には、補間点と、このロボット軌道に付属する、プログラミングされた基本座標系または基準座標系１０の模式図とが付されている。
【００２４】
最後に、基本組立面１．１の上のロボット２と工作物８とで構成される光景または環境を撮影する定置のカメラ１１、有利には３Ｄカメラが、そのカメラ座標系１２とともに図示されている。
【００２５】
カメラは従来式のバーチャルなビデオ画像だけでなく、表示される環境１の距離画像も撮影し、ロボット座標系とカメラ座標系との間の空間関係の算定に基づいて、カメラ１１で撮影された画像でＡＲオブジェクトをＡＲ可視化するための前提条件である変換が行われる。
【００２６】
図２ａは同じ光景または環境を示しており、同じ部分には同じ符号が付されており、その限りにおいて、図２の説明にも図１を援用する。図２の実施形態では、カメラ１１は定置ではなくロボットに配置されており、正確に言えばロボットの機械的なインターフェース４．３または手に配置されており、それによってカメラ座標系はロボットとともに可動である。
【００２７】
図１に示す実施形態と比べたときのこの実施形態の利点は、こうすればＡＲ可視化のために必要な、空間内での、およびロボット座標系６を基準とする、カメラ１１のポーズをロボット２が自ら供給するという点にあり、前述した関係に関してはドイツ特許出願第１０３４５７４３．７号明細書を援用する。このようにして外部で追跡をすることなく、かつモデル作成を行うことなく、非常に簡単に具体化することができる高い信頼度のＡＲ可視化が可能である。
【００２８】
図２ｂの実施形態では、カメラ１１は利用者に対して一定の関係にあり、利用者と固定的につながっている。利用者は、スクリーンの形態の表示装置１１ａを有しており、この表示装置に環境とＡＲオブジェクトがフェードインされる。さらに追跡補助具１１ｂが設けられており、この追跡補助具を用いて、残りの環境および特にロボットに対して相対的な、利用者の変化する位置をその都度判定することができる。
【００２９】
図３は、ＶＳＴ−ＡＲシステムとしてＡＲ可視化を行うための装置の有利な実施形態を模式図として示している。
【００３０】
この装置は、ビデオ画像１１．１だけでなく、距離画像１１．２および場合により追跡情報１１．４も供給する３Ｄビデオカメラ１１（従来式の視覚的なビデオカメラと距離画像カメラとで構成）を有している。追跡システム１３は、３Ｄビデオカメラの位置と回転を判定して追跡するためのシステムとして意図されており、場合によっては、カメラ１１
で撮影された画像情報（特に距離画像も含む）を参照しながら作動することができる。
【００３１】
カメラ１１は現実世界、すなわちその視野のなかにある環境１、たとえば図１のロボット２の画像を撮影する。
【００３２】
さらに本発明による装置は、ＡＲオブジェクト１５のストックを（記憶装置ないし独自の記憶媒体に）有している。さらに、環境画像に配置されるべき少なくとも１つのＡＲオブジェクトを処理するための処理ユニット１６が、視点から見てその物体が環境画像１４の意図される場所に現れるように設けられており、つまりこの処理ユニットによって、仮想世界（ＡＲオブジェクト）を見る眺めとしてのバーチャル画像の生成が行われる。その後には、奥行きフィルタ１７、ビデオミキサー１８、およびスクリーンの形態の再生装置１９が続いており、観察者２０はこのスクリーンの上で、重ね合わされた環境画像とＡＲオブジェクトを観察することができる。
【００３３】
まず最初に、ビデオ画像と距離画像が同時に撮影される。続いて、ＡＲオブジェクト１５が正しいサイズと位置で現れるように装置１６で処理される。こうして処理された各々のＡＲオブジェクトは、距離画像１１．３と同様に、ＡＲオブジェクトの各点を処理するための処理装置の考えられる１つの態様である距離画像フィルタ１７へと供給され、上に述べた（以下においてさらに詳しく説明する）処理操作、たとえば部分領域のフェードアウト、破線表示等をＡＲオブジェクトに対して行うことができる。こうして再処理された各々のＡＲオブジェクト１５は、ビデオ画像１１．１と同様に、環境画像へＡＲオブジェクトをフェードインするためのフェードイン装置としてのビデオミキサー１８へと供給され、こうしてミックスされた画像がモニタまたはスクリーン１９に供給され、それにより観察者は、現実環境と少なくとも１つのＡＲオブジェクトとが重ね合わされたこのＡＲ画像を観察することができる。
【００３４】
ＡＲオブジェクトの処理および環境画像への挿入が、図４ａから図４ｄおよび図５ａから図５ｃで詳細に図示されている。
【００３５】
図４ａには、環境の距離画像において、包絡面により囲まれた点群の輪郭線が模式的に示されている（現実物体１４）。図４ｂは、ＡＲオブジェクト１５．１それ自体を正方形の形態で模式的に示している。図４ｃには、図４ｂのＡＲオブジェクトが、図４ａの環境画像へ挿入するために、そのサイズと向き（姿勢）に関して変更された様子が示されており、つまり本例において具体的には、拡大されて回転させられた様子が示されている。そして図４ｄは、現実物体の環境画像とＡＲオブジェクトとの重ね合わせを示しており、ＡＲオブジェクトの一部は視線方向（紙面に対する平面図）で見て現実物体１４の後方に位置するようにフェードアウトされて表示されておらず、すなわち図４ｄに明示されているように、観察者にとっては見ることができない。ＡＲオブジェクトは、現実物体１４の後方に位置しているという印象を与える。
【００３６】
図５ａから図５ｃには、正方形と円形の形状をもつ２つの単純な現実物体１４．１および１４．２、ならびにＡＲオブジェクト１６としての座標系１６．１，１６．２，１６．３によって上述の状況が示されている。座標系１６．１は物体１４．１の中心点に位置しており、両者の重なり合い領域では座標系１６．１が観察者に破線で表示される。さらに座標系１６．２は、図５ａでは一例として円形物体１４．２のもっとも左側の点上に位置している。物体１４．２と重なり合った領域にある水平軸は同じく破線で表示されており、カメラ１１の視線方向から見て物体１４．２の後方に位置している垂直軸の領域、ならびに視線方向で見て物体１６．１の後方にある座標系１６．２の垂直軸の先端部も同様である。
【００３７】
両方の物体の手前に位置する座標系１６．３の形態のＡＲオブジェクトは、この視線方向のときには完全かつ変更なしに表示される。
【００３８】
図５ｂは、図５ａと反対向きの視線方向から見た物体１４．１，１４．２の観察状態を示している。ここでは、ＡＲオブジェクト１６．１のうち垂直軸が物体１４．１との重なり合い領域で破線表示されており、カメラ１１の視線方向から見て物体の内部ないし後方に位置している水平軸は、全体として破線で表示されている。物体１４．１の後方に位置する座標系１６．３は、図５ｂカメラ１１の視線方向からは見えない領域で、すなわち垂直軸の部分領域で、破線により表示されている。座標系１６．２では、原点の位置に基づいて垂直軸は完全に見ることができるのに対して、水平軸は破線で表示されている。
【００３９】
図５ｃの実施形態は、座標系の水平軸に対して有限角をもつ図５ａの変形例を示している。物体１６．１および１６．２は、図５ａの例と同じように見ることができる。物体１６．２の水平軸についても同様のことが言えるのに対して、視角が異なっているために、物体１４．２を通る垂直軸は短い領域しか隠されておらず、したがって短い領域しか破線で表示されておらず、逆に上側領域ではほとんど物体１４．１で隠されており、そのために、より大きい長さが破線で表示されている。
【００４０】
図６は、ＶＳＴ可視化の場合における本発明の方法の考えられるフローチャートを示している。このフローチャートおよび以下において順次式に進行するように説明される各ステップは、部分的に並行化することもでき、すなわち同時に進行させることもできる。
【００４１】
スタートＡの後、ステップＢで現実世界の図像としてのビデオ撮影の開始とデジタル化が行われる。ステップＢと並行して進めることができるステップＣで、距離画像カメラによる撮影の一環として、距離画像（奥行き画像または点群とも呼ばれる）の生成が行われる。次のステップＤでは、場合により距離画像カメラのポーズ（位置と向き）の判定が行われる。追跡情報が外部のセンサシステムから供給されるのであれば、ステップＤも、場合によりステップＢおよびＣと並行して行うことができる。続いてステップＥで、環境画像へ配置されるべきＡＲオブジェクトが、カメラの視点から見て環境画像の中の意図される場所に現れるように処理される。すなわち、前のステップで判定されたポーズを参照しながら、ＡＲ画像すなわち仮想世界の図像の生成が行われる。これが完了すると、その次のステップで、少なくとも、視点から見て現実世界の距離画像のそれぞれ対応する画点よりも後方に位置しているＡＲオブジェクトの点が所定のやり方で処理され、そのために、たとえば距離画像カメラから見て、生起された（現実の環境画像の）点群よりも後方に位置しているＡＲ画像の画像断片に属性が与えられる（ステップＦ）。画像断片ないし画点は、奥行きフィルタによって属性が与えられる。この属性は、典型的な場合、カメラから画像断片ないし画点までの距離、ないしは奥行きプロフィルと相関関係にある。このような画像断片に属性が与えられた場合（決定ステップＧ）、その特徴をもつＡＲ画像の画像断片の処理は、たとえば色の変更、透明度の変更、破線での表現、フェードアウト等によって行われる（ステップＨ）。ステップＧおよびＨは画像のすべての点について実施され、すなわち、奥行きフィルタによって属性が与えられていないかどうかが、各々の画像断片／ピクセルで調べられる。属性が与えられていれば、そのピクセルは属性（色、透明度など）に基づいて変更される。属性が与えられていなければ、次の画像断片／ピクセルで手順が続行される。
【００４２】
そして次のステップ（ステップＩ）で、現実世界のビデオ画像の対応する画点の上に、ＡＲ画像の画点の重ね合わせが行われ、そして最後にステップＪで、強化現実ビデオ画像の可視化が行われる。ビデオカメラで生成された次のビデオ画像でも上記のプロセスを行おうとするときは、ステップＢにジャンプして戻り（決定ステップＫ）、次の画像の処理が上述した方法で行われ、それ以外の場合には手順進行が終了する（ステップＬ）。
【００４３】
ＯＳＴ可視化の場合、基本的に必要のないステップＢおよびＩは省略されるが、それ以外の手順進行はほぼ同じであり、ステップＪでは、観察者の視野へ仮想画像をフェードインさせることによるＡＲオブジェクトの可視化が意図されており、その様子は図７に図示されている。
【００４４】
図７から図９は、ＯＳＴオーグメンテッド・リアリティシステムについて本発明の対象物を説明するものである。ここでも同じ部分には同じ符号が付されている。特に図１から図３および図６の実施形態に比べて変わりがない部分については、繰り返しを避けるために同所の説明を援用する。
【００４５】
図７の実施形態では、カメラ１１は利用者と一定の関係にあり、利用者と固定的につながっている。利用者は網膜ディスプレイ１１ｃを有しており、この網膜ディスプレイによってＡＲ画像が観察者の網膜に投影されて、観察者が見ている現実環境にＡＲ画像がフェードインされる。
【００４６】
図８は、カメラ１１で検出される現実世界の光景（環境）を同じく示しているが、ここでのカメラは純粋な距離画像カメラであってよい。既存のＡＲオブジェクト１５は、ポーズを継続的に調べるために用いられる追跡システム１３を利用しながら、検出された距離画像１１．３に合わせて同様の方法で適合化されてから、表示装置としての半透明のスクリーン１９’の上で、透明なスクリーンだけを通して光景１４を直接見ている観察者２０の視野にフェードインされ、それにより、適合化されたＡＲオブジェクトが正しい位置と正しい表示方法で、観察者が見ている環境画像に現れることになる。
【００４７】
図９に示す方法手順も、ＯＳＴ観察によって生じる変化を除いて、ＶＳＴ可視化の方法手順に基本的に準じており、したがって、その部分については原則として図６の説明を援用することができる。
【００４８】
ビデオ画像の撮影とデジタル化をするＶＳＴ方法手順のステップＢは必要ない。なぜなら、前述したようにＯＳＴ可視化の場合、観察者は光景または環境を直接観察し、もしくは透明なスクリーンを通して観察し、画像モニタを通じて観察するのではないからである。それに応じて、現実世界のビデオ画像の対応する画点に仮想画像の画点を重ね合わせるステップＩも不要である。この作業は単に可視化によって行われ、すなわち、観察者の視野へのＡＲ画像のフェードインが行われる（ステップＪ’）。それ以外の点では、各方法ステップはＶＳＴ可視化についての図６の方法ステップに呼応している。
【００４９】
本発明による方法ならびに本発明による装置は、現実の物体を仮想物体またはＡＲオブジェクトとしてモデリングするのに利用できるという利点があり、以下、これについて図１０ａから図１０ｇを参照しながら説明する：
溶接棒トーチや、以下の例のようなグリッパであるロボット工具を、立方体や球などの小さい基本幾何学形状を用いて現場でモデリングすることができ、そのために、基本幾何学形状が拡張現実の中で人物によってだんだんと位置決めされる。図１０ａは、まず最初に、（現実の）グリッパ５を備えるロボット２を示している。図１０ｂではこれに加えて、ＡＲオブジェクトがフェードインされているメガネをかけた人物２０ａが示されている。そして人物２０ａは、ここには図示しない操作装置を通じて、（ここでは破線の長方形のフレームとして二次元でのみ示す）グリッパ５を中心とする直方体のフレーム３０の形態のＡＲオブジェクトをつくる。実在している現実のグリッパ５に合わせてできるだけ正確に適合化された仮想物体またはＡＲオブジェクトをつくるために操作者２０ａが行うそれ以後のモデリングが、図１０ｃから図１０ｇに示されており、図１０ｃは現実のグリッパ５を中心とする直方体を再度示している。まず最初にフレーム３０を、現実の物体（グ
リッパ５）の全体を包む直方体３１まで縮小させる。次いで、一方ではトラバース５ａと接続プレート５ｂ、他方ではそれぞれのグリッパアーム５ｃ，５ｄを取り囲むさらに小さい直方体を形成することによって、いっそうの近似化が行われる（図１０ｅ）。それから直方体３２を、トラバースを模倣する直方体３６と接続プレートを模倣する直方体３７とに分割する（図１０ｆ）。最後に、先の尖ったグリッパアーム５ｂ，５ｃを、相応の幾何学図形３８，３９によって模倣することができる。そして、こうして形成されたＡＲオブジェクトを保存（記憶）しておき、可視化、衝突回避、シミュレーション、およびこれに類する以後の用途のために利用することができる。
【００５０】
図１１と図１２は、一例としての（理想化された）ＶＳＴ可視化装置およびＯＳＴ可視化装置を示している。この両方の装置は「ＡＲメガネ」と呼ぶことができよう。このとき理想的には、人間の観察者の視点と３Ｄカメラの視点とが一致する（本例では鏡によって実現される）。図１１では、二重の図面で示す観察者２０の視界に鏡４１が配置されており、この鏡により、一方では（さらに別の鏡４２を介して）環境画像がカメラ１１へと偏向され、他方では、画像全体（現実画像とＡＲ画像）がプロジェクタの前へ投影され、そのようにして観察者２０が見ることができる。
【００５１】
図１２の実施形態では、観察者２０の視界に半透過性の鏡４４が配置されており、この鏡を介して（および同じく鏡４２を介して）環境画像が距離画像カメラ１１に向けられるとともに、この鏡によって観察者２０は周囲を観察することができる。さらに、鏡４４によってプロジェクタ４３のＡＲ画像が観察者２０の視界へと偏向され、そのようにして、観察者が見ることのできる（現実の）環境と重ね合わされる。
【図面の簡単な説明】
【００５２】
【図１】ＶＳＴ可視化のために距離画像と通常のビデオ画像を両方とも供給する定置のカメラを備える、ＡＲ可視化の状況を示す模式図である。
【図２ａ】ロボットと一緒に動く距離画像カメラを備える、ＡＲ可視化の状況を示す図である。
【図２ｂ】ＶＳＴ−ＡＲ可視化のために利用者と一緒に動く距離画像カメラを用いた、ＡＲ可視化の状況を示す模式図である。
【図３】ＶＳＴ−ＡＲシステムについて本発明の機能原理を示す模式図である。
【図４】ａ−ｄは、現実の物体の環境画像の領域に、ＡＲオブジェクトとして、正しい位置と遮蔽関係でフェードインをするための仮想物体の処理を示す模式的な図である。
【図５ａ】視点と、現実に存在する、部分的にＡＲオブジェクトへの視界を遮る物体とを考慮したうえで、ＡＲオブジェクトとしての座標系をさまざまな視覚から環境画像へフェードインする図である。
【図５ｂ】視点と、現実に存在する、部分的にＡＲオブジェクトへの視界を遮る物体とを考慮したうえで、ＡＲオブジェクトとしての座標系をさまざまな視覚から環境画像へフェードインする図である。
【図５ｃ】視点と、現実に存在する、部分的にＡＲオブジェクトへの視界を遮る物体とを考慮したうえで、ＡＲオブジェクトとしての座標系をさまざまな視覚から環境画像へフェードインする図である。
【図６】ＶＳＴ可視化の場合における本発明の方法の進行順序を示す図である。
【図７】ＡＲメガネに組み込まれ、利用者の身体が動くと一緒に動く３Ｄカメラを用いた、ＯＳＴ−ＡＲ可視化を示す模式図である。
【図８】ＯＳＴ−ＡＲシステムについて本発明の対象物を示す模式図である。
【図９】ＯＳＴ可視化の場合における本発明の方法のフローチャートである。
【図１０】ａ−ｇは、ロボットのグリッパのインタラクティブなモデリングに関する図である。
【図１１】距離画像と環境の画像を両方とも撮影する３Ｄカメラを備える、ビデオシースルー（ＶＳＴ）可視化をするための装置の一例である。
【図１２】距離画像だけが評価される３Ｄカメラを備える、光学シースルー（ＯＳＴ）可視化をするための装置の一例である。
【符号の説明】
【００５３】
１ ロボット加工セル
１．１ 基本組立面
１ 環境
２ ロボット
３．１，３．２ 部材
４．１ 関節
４．１ インターフェース
４．２ 関節
４．３ インターフェース
５ グリッパ
５ａ トラバース
５ｂ 接続プレート
５ｃ，５ｄ グリッパアーム
６ ロボット座標系
７ 工作物台
８ 工作物
９ ロボット軌道
１０ 座標系
１１ カメラ
１１ａ 表示装置
１１ｂ 追跡補助具
１１ｃ 網膜ディスプレイ
１１．１ ビデオ画像
１１．２ 距離画像
１１．３ 距離画像
１１．４ 追跡情報
１２ カメラ座標系
１３ 追跡システム
１４，１４．１，１４．２ 物体
１５ ＡＲオブジェクト
１５．１ ＡＲオブジェクト
１６ 処理装置
１６．１，１６．２，１６．３ ＡＲオブジェクトとしての座標系
１７ 距離画像フィルタ
１８ ビデオミキサー
１９ 再生装置
１９’ スクリーン、ＡＲメガネ
２０ 観察者
２０ａ 人物
３０ フレーム
３１−３４ 直方体
３６，３７ 直方体
３８，３９ 幾何学図形
４１，４２，４４ 鏡
４３ プロジェクタ
【技術分野】
【０００１】
本発明は、特に、環境を示す環境画像にＡＲオブジェクトをフェードインするために、仮想物体（ＡＲオブジェクト）の仮想画像と、現実環境の実画像との光学的な重なり合いを判定する方法および装置に関する。
【背景技術】
【０００２】
すなわち本発明は、いわゆるオーグメンテッド・リアリティ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ（ＡＲ））の分野、ドイツ語で言えば拡大現実または強化現実の分野に属しており、これは、現実と仮想情報との視覚的な重なり合い（＝拡張）である。ＡＲオブジェクトまたはオーグメンテッド・リアリティ物体とは、コンピュータに、特にまず第１に記憶装置に、その物体についての空間情報が存在しており、この空間情報をもとにしてレンダリングにより画像が作成されてから、環境の環境画像にフェードインされ、ないしは環境に重ね合わされる物体のことである。ＡＲオブジェクトの生成方法、すなわちこれを定義する空間情報の来歴は本質的なことではなく、それは純粋に数学的に生成されるか、またはモデリングされていてよく、あるいは、実在している現実の物体から得られた空間情報であってもよい。
【０００３】
オーグメンテッド・リアリティでは、現実すなわち環境をビデオ画像として観察するか、または透明なスクリーンを通して観察することができ、これらにＡＲオブジェクトのフェードインがそれぞれ行われる。前者の場合には「ビデオシースルー」（Ｖｉｄｅｏ Ｓｅｅ−Ｔｈｒｏｕｇｈ（ＶＳＴ））という表現が用いられ、後者の場合には「光学シースルー」（Ｏｐｔｉｃａｌ Ｓｅｅ−Ｔｈｒｏｕｇｈ（ＯＳＴ））という表現が用いられる。これ以外にもバーチャル化のバリエーションが他にもあるが、上記の２つの方式との間に本質的な違いはない。
【０００４】
オーグメンテッド・リアリティは多種多様な形で利用することができ、また、実際に活用されている。たとえば、溶接棒ホルダなどの工具や工作物を表すＡＲオブジェクトを、（この場合にはＩＳＯ８３７３の意味における）機械やロボットの画像に正しい相互関係でフェードインさせることができ、それにより、たとえば追加の対象物（工作物、工具）によって制約される運動空間を認識することができる。これらの対象物のお互いの相互関係、および機械やロボットとの相互関係を表示して明示するための座標系を、フェードインさせることができる。また、たとえば操作説明書等の抜粋などのテキスト情報をフェードインさせることもできる。
【０００５】
以下において、ＡＲオブジェクトが環境画像のなかで可視化されるべき場合には、可視化の方式（ＶＳＴ，ＯＳＴまたはその他の方式）に関わりなく、環境画像という言葉を用いる。ＡＲオブジェクトがシームレスに、すなわち正しい位置と遮蔽関係で環境画像へ組み込まれるように、ＡＲオブジェクトを環境画像へフェードインできるようにするためには、遮蔽モデルとも呼ばれる、できる限り正確な環境モデルが必要である。このようなモデルは、特定の視角から光景を眺める観察者にとっては見ることができないＡＲオブジェクトの部分を、フェードアウトするために用いられる。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ロボットセルのモデルは、現実と近似的にしか一致しないという問題がある。その理由は、計画に沿ってロボットセルを厳密に作成することができないことや、設備を設置したり使用開始準備をしている間にさらに変化が生じていて、そのような変化がモデルで再現
されないことにある。従来、モデルと現実を相互に照らし合わせる、自動化された方法は存在していない。
【０００７】
そのため遮蔽モデルは、あらゆるディテールまで現実を再現することはできない。たとえば（現実の）ロボットのモデルでは、ケーブル配線はモデルでは再現されないのが普通である。また遮蔽モデルは、それによって与えられる環境のモデルを、現実世界との関係で正確に正しい位置へ位置決めすることができない。このようなキャリブレーション誤差（見当合せ誤差とも呼ばれる）の結果として、ＡＲオブジェクトが間違った状態で環境画像に埋め込まれることになる。隠れていなければならないはずのＡＲオブジェクトの部分が見えたり、本来は見えなければならないはずのＡＲオブジェクトの部分が見えないことによって、間違いが目に見えてしまう場合がある。
【０００８】
本発明の課題は、前述のような問題を回避しながら、遮蔽モデルの生成にコストをかけることなく、ＡＲオブジェクトを正しい位置と遮蔽関係でダイナミックに環境画像へリアルタイムに重ね合わせることである。
【課題を解決するための手段】
【０００９】
本発明によれば前述の課題は、観察ポーズから実画像の画点を光学的に検出し、観察ポーズを基準とする実画像の画点について第１の奥行き位置を判定し、仮想物体のポーズと観察ポーズとを基礎として作成された仮想物体の仮想画像から画点を生成し、観察ポーズを基準とする仮想画像の画点について第２の奥行き位置を算出し、観察ポーズの同一の光学軸上で第１の奥行き位置と第２の奥行き位置を比較することを特徴とする、冒頭に述べた種類の方法によって解決される。この方法の１つの有利な実施形態は、視点から見た環境の距離画像が撮影され、環境画像に配置されるべきＡＲオブジェクトの表示が、視点から見て環境画像の意図される場所に現れるように変更され、視点のほうを向いているＡＲオブジェクトの部分について、当該部分が視点から見て距離画像の対応する画点に対して相対的にどのように位置しているかが判定され、すなわち環境の実画像の画点の奥行き位置が、生成されたＡＲオブジェクトの画点の奥行き位置と比較され、少なくともＡＲオブジェクトの一部の表示がその見かけ上の奥行きとの関係で、すなわち画像中における奥行き位置との関係で、前景に位置するＡＲオブジェクトの画像領域が後景に位置するＡＲオブジェクトの画像領域と光学的に別様に表示されるように変更され、こうして処理されたＡＲオブジェクトが環境画像にフェードインされることを特徴としている。
【００１０】
さらに本発明は前述の課題を解決するために、観察ポーズから実画像の画点を光学的に検出するための撮影装置と、観察ポーズを基準とする実画像の画点について第１の奥行き位置を判定するための判定装置と、仮想物体のポーズと観察ポーズとを基礎として作成された仮想物体の仮想画像から画点を生成するための生成装置と、観察ポーズを基準とする仮想画像の画点について第２の奥行き位置を算出するための計算装置と、観察ポーズの同一の光学軸上で第１の奥行き位置と第２の奥行き位置を比較するための比較装置とを備えていることを特徴とする、当分野に属する装置を意図しており、この装置は、視点から見た環境の距離画像を撮影するための撮影装置と、環境画像に配置されるべきＡＲオブジェクトを視点から見て環境画像の意図される地点に現れるように表示するための表示装置と、視点のほうを向いているＡＲオブジェクトの部分を、当該部分が視点から見て距離画像の対応する画点に対して相対的にどのように位置しているかを判定するための判定装置、すなわち環境の実画像の画点の奥行き位置を、生成されるＡＲオブジェクトの画点の奥行き位置と比較するための判定装置と、視点から見て距離画像のそれぞれ対応する画像断片よりも後方にあるＡＲオブジェクトの部分を、前景にあるＡＲオブジェクトの画像領域が後景にあるＡＲオブジェクトの画像領域と光学的に別様に表示されるように変更して表示するための表示装置と、ＡＲオブジェクトを環境画像にフェードインするためのフェードイン装置とによって構成されているのが好ましい。本発明は特にロボットで利用され、お
よびロボットとの関連で利用される。
【００１１】
仮想物体のポーズと観察ポーズを基礎として作成された仮想物体の仮想画像からの画点の生成は、レンダリングによって行うことができ、すなわち、空間的な仮想コンピュータモデルからの実画像の算出ないし生成によって行うことができる。観察者の視点を考慮したうえでのＡＲオブジェクトの表示の変更とは、記憶されている仮想（３Ｄ）物体から、観察点および空間内での仮想（３Ｄ）物体のポーズを基礎として、最新の観察点についての（２Ｄ）画像（ＡＲオブジェクト）を算出することを意味している。奥行き位置とは、視点から見て計算したときの、検出された画点の距離を意味している。環境の距離画像は実画像の画点であり、観察点から見た画点の距離についての情報が各画点に付属している。前景表示とは、奥行き位置に関して基準表示よりも前方に位置している表示のことであり、後景表示とは、奥行き位置に関して基準表示よりも後方に位置している表示として定義される。
【００１２】
本発明の中心的思想は、光学系を用いて、現実環境の光景の画点だけでなく、検出された画点と視点との距離（奥行き位置）も検出され、それによって奥行き情報をデジタル画像データとともに直接的に、いわば同時に検出することによって、現実環境のモデリングを省略できることである。実画像の画点のこの奥行き位置を、仮想画像の奥行き位置と比較することで、重なり合い領域に関する判断を下すことができる。このような判断は、実画像の画点の奥行き位置と、フェードインされるべき仮想画像との簡単な比較によって可能であり、高いコストを要する計算を行わなくてよい。高いコストを要する計算を省略することで、本発明による方法にはリアルタイム能力があるという利点が得られる。
【００１３】
ＶＳＴシステムでは視点はカメラの場所であり、ＯＳＴシステムでは観察者の一方または両方の目であり、距離画像を撮影するための装置は、観察者の目からその視野の中にある環境領域までの光学軸の近傍に配置されるのがよく、場合により、距離画像を撮影するための撮影装置の場所と、観察者の目との間で座標変換が行われる。
【００１４】
前述した方法はリアルタイムで、すなわち現実世界の変化と歩調を合わせて進行するのが好ましく、本装置はリアルタイム処理をするように構成され、特にリアルタイムモードで作動する。このように本発明では、ＡＲオブジェクトがダイナミックに環境画像へフェードインされ、ＶＳＴ方式では特に歩調を合わせて、ビデオ画像へ正しい位置と遮蔽関係でフェードインされる。このことは本発明によれば、高いコストのかかるモデリングプロセスを実行する代わりに、ＡＲオブジェクトの正しい位置と遮蔽関係での処理のために、画像全体にわたる奥行き情報が直接援用されることによって実現される。そのために必要となる、ＡＲオブジェクトが割り当てられるべき現実の対象物の座標系、たとえばロボットの座標系と、カメラの座標系との間の関係は、キャリブレーションによって通常の方法で求めることができる。これに続いて、空間内におけるＡＲオブジェクトの既知のポーズが、既知の変換規則を用いてカメラの座標系へと変換され、さらに画像平面に変換される。それにより、所定の遮蔽規則に基づいてＡＲオブジェクトのどの部分をどのような方法で表示すべきかを、測定された距離画像を基準として直接求めることができる。
【００１５】
距離画像を撮影するには、原則としてさまざまな方法が考慮の対象となり、たとえば飛行時間測定（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ−ＴＯＦ）、レーザスキャン、能動型三角測量、ステレオビジョン、デフォーカス処理による距離測定、構造化照明、モアレ技術、あるいは特に、たとえば米国特許第４１８４７４８号明細書に基づく、観察者の視野の中にある環境のきわめて短時間の照明が光カーテンによって行われ、環境から反射された光が、ナノセカンド単位の同じくきわめて短い時間的間隔で、たとえば（電気光学的な）影による遮光によって妨げられ、距離画像を作成するために処理される方法などが考慮の対象となる。重要なのは、本方法がきわめて迅速に進むことであり、すなわちリアルタイム能
力をもつことである。
【００１６】
コンピュータで生起されてスクリーンに表示されるべき人工物体の場所と向きが既知である場合、スクリーン上での再生時に、自分のほうを向いている物体の点は見えるが物体そのものによって「遮蔽された」点は見えない観察者に対して表示されるように当該物体をモデルまたは空間情報として処理するのは、グラフィック処理または画像処理の通常の技術である。
【００１７】
所定の方法でＡＲオブジェクトを処理するために処理規則を設けることができ、たとえばコンピュータに記憶させておくことができ、たとえば有利な方法としては、ＡＲオブジェクトの点のうち、たとえばロボットの手のフランジに取り付けられた溶接棒トーチの点のうち、視点から見て距離画像のそれぞれ対応する画点よりも後方に位置している点が、つまりたとえばロボットの手の領域よりも後方に位置している点が、環境画像にフェードインされるＡＲオブジェクトからフェードアウトされるようにし、本例で言えば溶接棒トーチからフェードアウトされるようにすることができる。また、表示のなかのＡＲオブジェクトの特定の特徴を、たとえばＡＲオブジェクトの透明度や色、線の太さ、線の種類、ワイヤフレーム、全面モデル表示などを、環境画像の自然物体の境界線との距離に依存して変化させることができる。そのようにして、ＡＲオブジェクトの点のうち、たとえば座標系の点のうち、視点から見て距離画像のそれぞれ対応する画点よりも後方に位置している点、たとえばロボット部品の「内部」に位置している点は、環境画像ではワイヤフレーム画像として表示したり、破線もしくは鎖線で表示することができる。このことは、たとえばＡＲオブジェクトとしての伝動装置の伝動装置部品が、それ自体は伝動装置ハウジングカバーよりも後方に「位置している」が、それでもＡＲ画像の中で見えるようにしたいという場合にも当てはまる。
【００１８】
これに代わる有利な実施形態では、環境画像がビデオ画像として再生され、ＡＲオブジェクトはビデオ画像にフェードインされるか（ＶＳＴ）、または、透明なシールドを通して環境画像を直接観察することが可能であり、ＡＲオブジェクトは透明なシールドに、これを通して観察可能な環境画像へフェードインされる（ＯＳＴ）ことが意図されていてよい。
【００１９】
これに対応する本装置の有利な実施形態では、ＶＳＴの枠内において、ＡＲオブジェクトを表示するための表示装置は、撮影された環境画像を同じく表示する従来型のスクリーンであり、あるいはＡＲオブジェクトを表示するための表示装置は、環境画像を通過させる透明なスクリーンである。これに代わる本発明の実施形態では、網膜ディスプレイが設けられる。
【００２０】
距離画像を撮影するための撮影装置が上に略述したような形式の距離画像カメラである場合、１つの有利な実施形態は、この距離画像カメラがビデオカメラと組み合わされることを意図している。
【発明の効果】
【００２１】
本発明は、現実の物体に即して仮想物体すなわちＡＲオブジェクトのモデリングをするために利用することができる。たとえば、モデリングされるべき（現実の）物体の輪郭の複数の補間点を含んでいる包絡線を適合化することができる。また、実在するモデルのパラメータを、それが現実とより良く一致するように適合化することができる。それに続いて、複雑な工具やセル全体のインタラクティブに決定された簡素化されたモデルを、たとえば衝突回避計算のために利用することができる。他ならぬ現実世界の仮想物体と人間とのインタラクションにおいて、本発明の対象物の利点が可視化のときに明らかとなる。
【００２２】
本発明のその他の利点および構成要件は、特許請求の範囲、および図面を参照して本発明の実施例が具体的に説明される以下の記述から明らかである。
【発明を実施するための最良の形態】
【００２３】
図１は、ロボット加工セル１における典型的な状況を模式図で示している。部材３．１，３．２と関節４．１，４．２とを備えるＥＮ ＩＳＯ ８３７３の多関節ロボットが模式的に図示されている。関節４．２は、３つの個々の回転ジョイントで構成されるＲｏｔｏｉｄジョイントであり、これに機械的なインターフェース４．１とエンドエフェクター接続装置（たとえばグリッパ５のようなエンドエフェクターのためのロボット２の接続フランジ）が設けられている。さらにロボット２の脚部には、そのワールド座標系またはロボット座標系６が図示されている。さらに図１は、工作台７の上に配置された工作物８と、その周囲を通るロボット軌道９と示しており、このロボット軌道には、補間点と、このロボット軌道に付属する、プログラミングされた基本座標系または基準座標系１０の模式図とが付されている。
【００２４】
最後に、基本組立面１．１の上のロボット２と工作物８とで構成される光景または環境を撮影する定置のカメラ１１、有利には３Ｄカメラが、そのカメラ座標系１２とともに図示されている。
【００２５】
カメラは従来式のバーチャルなビデオ画像だけでなく、表示される環境１の距離画像も撮影し、ロボット座標系とカメラ座標系との間の空間関係の算定に基づいて、カメラ１１で撮影された画像でＡＲオブジェクトをＡＲ可視化するための前提条件である変換が行われる。
【００２６】
図２ａは同じ光景または環境を示しており、同じ部分には同じ符号が付されており、その限りにおいて、図２の説明にも図１を援用する。図２の実施形態では、カメラ１１は定置ではなくロボットに配置されており、正確に言えばロボットの機械的なインターフェース４．３または手に配置されており、それによってカメラ座標系はロボットとともに可動である。
【００２７】
図１に示す実施形態と比べたときのこの実施形態の利点は、こうすればＡＲ可視化のために必要な、空間内での、およびロボット座標系６を基準とする、カメラ１１のポーズをロボット２が自ら供給するという点にあり、前述した関係に関してはドイツ特許出願第１０３４５７４３．７号明細書を援用する。このようにして外部で追跡をすることなく、かつモデル作成を行うことなく、非常に簡単に具体化することができる高い信頼度のＡＲ可視化が可能である。
【００２８】
図２ｂの実施形態では、カメラ１１は利用者に対して一定の関係にあり、利用者と固定的につながっている。利用者は、スクリーンの形態の表示装置１１ａを有しており、この表示装置に環境とＡＲオブジェクトがフェードインされる。さらに追跡補助具１１ｂが設けられており、この追跡補助具を用いて、残りの環境および特にロボットに対して相対的な、利用者の変化する位置をその都度判定することができる。
【００２９】
図３は、ＶＳＴ−ＡＲシステムとしてＡＲ可視化を行うための装置の有利な実施形態を模式図として示している。
【００３０】
この装置は、ビデオ画像１１．１だけでなく、距離画像１１．２および場合により追跡情報１１．４も供給する３Ｄビデオカメラ１１（従来式の視覚的なビデオカメラと距離画像カメラとで構成）を有している。追跡システム１３は、３Ｄビデオカメラの位置と回転を判定して追跡するためのシステムとして意図されており、場合によっては、カメラ１１
で撮影された画像情報（特に距離画像も含む）を参照しながら作動することができる。
【００３１】
カメラ１１は現実世界、すなわちその視野のなかにある環境１、たとえば図１のロボット２の画像を撮影する。
【００３２】
さらに本発明による装置は、ＡＲオブジェクト１５のストックを（記憶装置ないし独自の記憶媒体に）有している。さらに、環境画像に配置されるべき少なくとも１つのＡＲオブジェクトを処理するための処理ユニット１６が、視点から見てその物体が環境画像１４の意図される場所に現れるように設けられており、つまりこの処理ユニットによって、仮想世界（ＡＲオブジェクト）を見る眺めとしてのバーチャル画像の生成が行われる。その後には、奥行きフィルタ１７、ビデオミキサー１８、およびスクリーンの形態の再生装置１９が続いており、観察者２０はこのスクリーンの上で、重ね合わされた環境画像とＡＲオブジェクトを観察することができる。
【００３３】
まず最初に、ビデオ画像と距離画像が同時に撮影される。続いて、ＡＲオブジェクト１５が正しいサイズと位置で現れるように装置１６で処理される。こうして処理された各々のＡＲオブジェクトは、距離画像１１．３と同様に、ＡＲオブジェクトの各点を処理するための処理装置の考えられる１つの態様である距離画像フィルタ１７へと供給され、上に述べた（以下においてさらに詳しく説明する）処理操作、たとえば部分領域のフェードアウト、破線表示等をＡＲオブジェクトに対して行うことができる。こうして再処理された各々のＡＲオブジェクト１５は、ビデオ画像１１．１と同様に、環境画像へＡＲオブジェクトをフェードインするためのフェードイン装置としてのビデオミキサー１８へと供給され、こうしてミックスされた画像がモニタまたはスクリーン１９に供給され、それにより観察者は、現実環境と少なくとも１つのＡＲオブジェクトとが重ね合わされたこのＡＲ画像を観察することができる。
【００３４】
ＡＲオブジェクトの処理および環境画像への挿入が、図４ａから図４ｄおよび図５ａから図５ｃで詳細に図示されている。
【００３５】
図４ａには、環境の距離画像において、包絡面により囲まれた点群の輪郭線が模式的に示されている（現実物体１４）。図４ｂは、ＡＲオブジェクト１５．１それ自体を正方形の形態で模式的に示している。図４ｃには、図４ｂのＡＲオブジェクトが、図４ａの環境画像へ挿入するために、そのサイズと向き（姿勢）に関して変更された様子が示されており、つまり本例において具体的には、拡大されて回転させられた様子が示されている。そして図４ｄは、現実物体の環境画像とＡＲオブジェクトとの重ね合わせを示しており、ＡＲオブジェクトの一部は視線方向（紙面に対する平面図）で見て現実物体１４の後方に位置するようにフェードアウトされて表示されておらず、すなわち図４ｄに明示されているように、観察者にとっては見ることができない。ＡＲオブジェクトは、現実物体１４の後方に位置しているという印象を与える。
【００３６】
図５ａから図５ｃには、正方形と円形の形状をもつ２つの単純な現実物体１４．１および１４．２、ならびにＡＲオブジェクト１６としての座標系１６．１，１６．２，１６．３によって上述の状況が示されている。座標系１６．１は物体１４．１の中心点に位置しており、両者の重なり合い領域では座標系１６．１が観察者に破線で表示される。さらに座標系１６．２は、図５ａでは一例として円形物体１４．２のもっとも左側の点上に位置している。物体１４．２と重なり合った領域にある水平軸は同じく破線で表示されており、カメラ１１の視線方向から見て物体１４．２の後方に位置している垂直軸の領域、ならびに視線方向で見て物体１６．１の後方にある座標系１６．２の垂直軸の先端部も同様である。
【００３７】
両方の物体の手前に位置する座標系１６．３の形態のＡＲオブジェクトは、この視線方向のときには完全かつ変更なしに表示される。
【００３８】
図５ｂは、図５ａと反対向きの視線方向から見た物体１４．１，１４．２の観察状態を示している。ここでは、ＡＲオブジェクト１６．１のうち垂直軸が物体１４．１との重なり合い領域で破線表示されており、カメラ１１の視線方向から見て物体の内部ないし後方に位置している水平軸は、全体として破線で表示されている。物体１４．１の後方に位置する座標系１６．３は、図５ｂカメラ１１の視線方向からは見えない領域で、すなわち垂直軸の部分領域で、破線により表示されている。座標系１６．２では、原点の位置に基づいて垂直軸は完全に見ることができるのに対して、水平軸は破線で表示されている。
【００３９】
図５ｃの実施形態は、座標系の水平軸に対して有限角をもつ図５ａの変形例を示している。物体１６．１および１６．２は、図５ａの例と同じように見ることができる。物体１６．２の水平軸についても同様のことが言えるのに対して、視角が異なっているために、物体１４．２を通る垂直軸は短い領域しか隠されておらず、したがって短い領域しか破線で表示されておらず、逆に上側領域ではほとんど物体１４．１で隠されており、そのために、より大きい長さが破線で表示されている。
【００４０】
図６は、ＶＳＴ可視化の場合における本発明の方法の考えられるフローチャートを示している。このフローチャートおよび以下において順次式に進行するように説明される各ステップは、部分的に並行化することもでき、すなわち同時に進行させることもできる。
【００４１】
スタートＡの後、ステップＢで現実世界の図像としてのビデオ撮影の開始とデジタル化が行われる。ステップＢと並行して進めることができるステップＣで、距離画像カメラによる撮影の一環として、距離画像（奥行き画像または点群とも呼ばれる）の生成が行われる。次のステップＤでは、場合により距離画像カメラのポーズ（位置と向き）の判定が行われる。追跡情報が外部のセンサシステムから供給されるのであれば、ステップＤも、場合によりステップＢおよびＣと並行して行うことができる。続いてステップＥで、環境画像へ配置されるべきＡＲオブジェクトが、カメラの視点から見て環境画像の中の意図される場所に現れるように処理される。すなわち、前のステップで判定されたポーズを参照しながら、ＡＲ画像すなわち仮想世界の図像の生成が行われる。これが完了すると、その次のステップで、少なくとも、視点から見て現実世界の距離画像のそれぞれ対応する画点よりも後方に位置しているＡＲオブジェクトの点が所定のやり方で処理され、そのために、たとえば距離画像カメラから見て、生起された（現実の環境画像の）点群よりも後方に位置しているＡＲ画像の画像断片に属性が与えられる（ステップＦ）。画像断片ないし画点は、奥行きフィルタによって属性が与えられる。この属性は、典型的な場合、カメラから画像断片ないし画点までの距離、ないしは奥行きプロフィルと相関関係にある。このような画像断片に属性が与えられた場合（決定ステップＧ）、その特徴をもつＡＲ画像の画像断片の処理は、たとえば色の変更、透明度の変更、破線での表現、フェードアウト等によって行われる（ステップＨ）。ステップＧおよびＨは画像のすべての点について実施され、すなわち、奥行きフィルタによって属性が与えられていないかどうかが、各々の画像断片／ピクセルで調べられる。属性が与えられていれば、そのピクセルは属性（色、透明度など）に基づいて変更される。属性が与えられていなければ、次の画像断片／ピクセルで手順が続行される。
【００４２】
そして次のステップ（ステップＩ）で、現実世界のビデオ画像の対応する画点の上に、ＡＲ画像の画点の重ね合わせが行われ、そして最後にステップＪで、強化現実ビデオ画像の可視化が行われる。ビデオカメラで生成された次のビデオ画像でも上記のプロセスを行おうとするときは、ステップＢにジャンプして戻り（決定ステップＫ）、次の画像の処理が上述した方法で行われ、それ以外の場合には手順進行が終了する（ステップＬ）。
【００４３】
ＯＳＴ可視化の場合、基本的に必要のないステップＢおよびＩは省略されるが、それ以外の手順進行はほぼ同じであり、ステップＪでは、観察者の視野へ仮想画像をフェードインさせることによるＡＲオブジェクトの可視化が意図されており、その様子は図７に図示されている。
【００４４】
図７から図９は、ＯＳＴオーグメンテッド・リアリティシステムについて本発明の対象物を説明するものである。ここでも同じ部分には同じ符号が付されている。特に図１から図３および図６の実施形態に比べて変わりがない部分については、繰り返しを避けるために同所の説明を援用する。
【００４５】
図７の実施形態では、カメラ１１は利用者と一定の関係にあり、利用者と固定的につながっている。利用者は網膜ディスプレイ１１ｃを有しており、この網膜ディスプレイによってＡＲ画像が観察者の網膜に投影されて、観察者が見ている現実環境にＡＲ画像がフェードインされる。
【００４６】
図８は、カメラ１１で検出される現実世界の光景（環境）を同じく示しているが、ここでのカメラは純粋な距離画像カメラであってよい。既存のＡＲオブジェクト１５は、ポーズを継続的に調べるために用いられる追跡システム１３を利用しながら、検出された距離画像１１．３に合わせて同様の方法で適合化されてから、表示装置としての半透明のスクリーン１９’の上で、透明なスクリーンだけを通して光景１４を直接見ている観察者２０の視野にフェードインされ、それにより、適合化されたＡＲオブジェクトが正しい位置と正しい表示方法で、観察者が見ている環境画像に現れることになる。
【００４７】
図９に示す方法手順も、ＯＳＴ観察によって生じる変化を除いて、ＶＳＴ可視化の方法手順に基本的に準じており、したがって、その部分については原則として図６の説明を援用することができる。
【００４８】
ビデオ画像の撮影とデジタル化をするＶＳＴ方法手順のステップＢは必要ない。なぜなら、前述したようにＯＳＴ可視化の場合、観察者は光景または環境を直接観察し、もしくは透明なスクリーンを通して観察し、画像モニタを通じて観察するのではないからである。それに応じて、現実世界のビデオ画像の対応する画点に仮想画像の画点を重ね合わせるステップＩも不要である。この作業は単に可視化によって行われ、すなわち、観察者の視野へのＡＲ画像のフェードインが行われる（ステップＪ’）。それ以外の点では、各方法ステップはＶＳＴ可視化についての図６の方法ステップに呼応している。
【００４９】
本発明による方法ならびに本発明による装置は、現実の物体を仮想物体またはＡＲオブジェクトとしてモデリングするのに利用できるという利点があり、以下、これについて図１０ａから図１０ｇを参照しながら説明する：
溶接棒トーチや、以下の例のようなグリッパであるロボット工具を、立方体や球などの小さい基本幾何学形状を用いて現場でモデリングすることができ、そのために、基本幾何学形状が拡張現実の中で人物によってだんだんと位置決めされる。図１０ａは、まず最初に、（現実の）グリッパ５を備えるロボット２を示している。図１０ｂではこれに加えて、ＡＲオブジェクトがフェードインされているメガネをかけた人物２０ａが示されている。そして人物２０ａは、ここには図示しない操作装置を通じて、（ここでは破線の長方形のフレームとして二次元でのみ示す）グリッパ５を中心とする直方体のフレーム３０の形態のＡＲオブジェクトをつくる。実在している現実のグリッパ５に合わせてできるだけ正確に適合化された仮想物体またはＡＲオブジェクトをつくるために操作者２０ａが行うそれ以後のモデリングが、図１０ｃから図１０ｇに示されており、図１０ｃは現実のグリッパ５を中心とする直方体を再度示している。まず最初にフレーム３０を、現実の物体（グ
リッパ５）の全体を包む直方体３１まで縮小させる。次いで、一方ではトラバース５ａと接続プレート５ｂ、他方ではそれぞれのグリッパアーム５ｃ，５ｄを取り囲むさらに小さい直方体を形成することによって、いっそうの近似化が行われる（図１０ｅ）。それから直方体３２を、トラバースを模倣する直方体３６と接続プレートを模倣する直方体３７とに分割する（図１０ｆ）。最後に、先の尖ったグリッパアーム５ｂ，５ｃを、相応の幾何学図形３８，３９によって模倣することができる。そして、こうして形成されたＡＲオブジェクトを保存（記憶）しておき、可視化、衝突回避、シミュレーション、およびこれに類する以後の用途のために利用することができる。
【００５０】
図１１と図１２は、一例としての（理想化された）ＶＳＴ可視化装置およびＯＳＴ可視化装置を示している。この両方の装置は「ＡＲメガネ」と呼ぶことができよう。このとき理想的には、人間の観察者の視点と３Ｄカメラの視点とが一致する（本例では鏡によって実現される）。図１１では、二重の図面で示す観察者２０の視界に鏡４１が配置されており、この鏡により、一方では（さらに別の鏡４２を介して）環境画像がカメラ１１へと偏向され、他方では、画像全体（現実画像とＡＲ画像）がプロジェクタの前へ投影され、そのようにして観察者２０が見ることができる。
【００５１】
図１２の実施形態では、観察者２０の視界に半透過性の鏡４４が配置されており、この鏡を介して（および同じく鏡４２を介して）環境画像が距離画像カメラ１１に向けられるとともに、この鏡によって観察者２０は周囲を観察することができる。さらに、鏡４４によってプロジェクタ４３のＡＲ画像が観察者２０の視界へと偏向され、そのようにして、観察者が見ることのできる（現実の）環境と重ね合わされる。
【図面の簡単な説明】
【００５２】
【図１】ＶＳＴ可視化のために距離画像と通常のビデオ画像を両方とも供給する定置のカメラを備える、ＡＲ可視化の状況を示す模式図である。
【図２ａ】ロボットと一緒に動く距離画像カメラを備える、ＡＲ可視化の状況を示す図である。
【図２ｂ】ＶＳＴ−ＡＲ可視化のために利用者と一緒に動く距離画像カメラを用いた、ＡＲ可視化の状況を示す模式図である。
【図３】ＶＳＴ−ＡＲシステムについて本発明の機能原理を示す模式図である。
【図４】ａ−ｄは、現実の物体の環境画像の領域に、ＡＲオブジェクトとして、正しい位置と遮蔽関係でフェードインをするための仮想物体の処理を示す模式的な図である。
【図５ａ】視点と、現実に存在する、部分的にＡＲオブジェクトへの視界を遮る物体とを考慮したうえで、ＡＲオブジェクトとしての座標系をさまざまな視覚から環境画像へフェードインする図である。
【図５ｂ】視点と、現実に存在する、部分的にＡＲオブジェクトへの視界を遮る物体とを考慮したうえで、ＡＲオブジェクトとしての座標系をさまざまな視覚から環境画像へフェードインする図である。
【図５ｃ】視点と、現実に存在する、部分的にＡＲオブジェクトへの視界を遮る物体とを考慮したうえで、ＡＲオブジェクトとしての座標系をさまざまな視覚から環境画像へフェードインする図である。
【図６】ＶＳＴ可視化の場合における本発明の方法の進行順序を示す図である。
【図７】ＡＲメガネに組み込まれ、利用者の身体が動くと一緒に動く３Ｄカメラを用いた、ＯＳＴ−ＡＲ可視化を示す模式図である。
【図８】ＯＳＴ−ＡＲシステムについて本発明の対象物を示す模式図である。
【図９】ＯＳＴ可視化の場合における本発明の方法のフローチャートである。
【図１０】ａ−ｇは、ロボットのグリッパのインタラクティブなモデリングに関する図である。
【図１１】距離画像と環境の画像を両方とも撮影する３Ｄカメラを備える、ビデオシースルー（ＶＳＴ）可視化をするための装置の一例である。
【図１２】距離画像だけが評価される３Ｄカメラを備える、光学シースルー（ＯＳＴ）可視化をするための装置の一例である。
【符号の説明】
【００５３】
１ ロボット加工セル
１．１ 基本組立面
１ 環境
２ ロボット
３．１，３．２ 部材
４．１ 関節
４．１ インターフェース
４．２ 関節
４．３ インターフェース
５ グリッパ
５ａ トラバース
５ｂ 接続プレート
５ｃ，５ｄ グリッパアーム
６ ロボット座標系
７ 工作物台
８ 工作物
９ ロボット軌道
１０ 座標系
１１ カメラ
１１ａ 表示装置
１１ｂ 追跡補助具
１１ｃ 網膜ディスプレイ
１１．１ ビデオ画像
１１．２ 距離画像
１１．３ 距離画像
１１．４ 追跡情報
１２ カメラ座標系
１３ 追跡システム
１４，１４．１，１４．２ 物体
１５ ＡＲオブジェクト
１５．１ ＡＲオブジェクト
１６ 処理装置
１６．１，１６．２，１６．３ ＡＲオブジェクトとしての座標系
１７ 距離画像フィルタ
１８ ビデオミキサー
１９ 再生装置
１９’ スクリーン、ＡＲメガネ
２０ 観察者
２０ａ 人物
３０ フレーム
３１−３４ 直方体
３６，３７ 直方体
３８，３９ 幾何学図形
４１，４２，４４ 鏡
４３ プロジェクタ
【特許請求の範囲】
【請求項１】
仮想物体（ＡＲオブジェクト）の仮想画像と現実環境の実画像との光学的な重なり合いを判定する方法において、観察ポーズから実画像の画点を光学的に検出し、観察ポーズを基準とする実画像の画点について第１の奥行き位置を判定し、仮想物体のポーズと観察ポーズとを基礎として作成された仮想物体の仮想画像から画点を生成し、観察ポーズを基準とする仮想画像の画点について第２の奥行き位置を算出し、観察ポーズの同一の光学軸上で第１の奥行き位置と第２の奥行き位置を比較することを特徴とする方法。
【請求項２】
実画像の画点の奥行き位置よりも奥行き位置が小さい仮想画像の画点は、現実環境の画像表示へ前景表示として光学的にフェードインされることを特徴とする、請求項１に記載の方法。
【請求項３】
実画像の画点の奥行き位置よりも奥行き位置が大きい仮想画像の画点は、光学的にフェードアウトされるか、または前景表示に対して光学的に変更された表示で現実環境の画像表示へ後景表示として光学的にフェードインされることを特徴とする、請求項１または２に記載の方法。
【請求項４】
実画像の画点の奥行き位置は、有利には画像検出と同時に、光学センサによって検出され、特にＲＧＢＤカメラによって検出されることを特徴とする、前記請求項のうちいずれか１項に記載の方法。
【請求項５】
環境を示す環境画像へＡＲオブジェクトをフェードインする、特に請求項１から４までのいずれか１項に記載の方法において、
視点から見た環境の距離画像を撮影し、
環境画像に配置されるべきＡＲオブジェクトの表示を、視点から見て当該ＡＲオブジェクトが環境画像の意図される場所に現れるように変更し、
視点のほうを向いているＡＲオブジェクトの部分について、当該部分が視点から見て距離画像の対応する画点に対して相対的にどのように位置しているかを判定し、すなわち環境の実画像の画点の奥行き位置を、生成されたＡＲオブジェクトの画点の奥行き位置と比較し、
少なくともＡＲオブジェクトの一部の表示をその見かけ上の奥行きとの関係で、すなわち画像中における奥行き位置との関係で、前景に位置するＡＲオブジェクトの画像領域が後景に位置するＡＲオブジェクトの画像領域と光学的に別様に表示されるように変更し、
こうして処理されたＡＲオブジェクトを環境画像にフェードインすることを特徴とする方法。
【請求項６】
視点から見て距離画像のそれぞれ対応する画像断片よりも後方に位置しているＡＲオブジェクトの部分は、所定の方法で表示されることを特徴とする、請求項１から５までのいずれか１項に記載の方法。
【請求項７】
視点から見て距離画像のそれぞれ対応する画像領域よりも後方に位置しているＡＲオブジェクトの部分は、環境画像に挿入されたＡＲオブジェクトでは抑圧されることを特徴とする、請求項１から６までのいずれか１項に記載の方法。
【請求項８】
視点から見て距離画像のそれぞれ対応する画像領域よりも後方に位置しているＡＲオブジェクトの部分は、環境画像ではエッジモデルとして破線で表示され、鎖線で表示され、および／または透明度や色に関して変更された状態で表示されることを特徴とする、請求項１から７までのいずれか１項に記載の方法。
【請求項９】
環境画像はビデオ画像として再生され、ＡＲオブジェクトはビデオ画像にフェードインされることを特徴とする、前記請求項のうちいずれか１項に記載の方法。
【請求項１０】
環境画像は透明なシールドを通して直接的に観察可能であり、ＡＲオブジェクトは前記透明なシールドに、これを通して観察される環境画像へフェードインされることを特徴とする、請求項１から８までのいずれか１項に記載の方法。
【請求項１１】
ＡＲオブジェクトは連続的なビデオデータストリームにリアルタイムでフェードインされ、または個別画像ないし静止画像としてフェードインされることを特徴とする、前記請求項のうちいずれか１項に記載の方法。
【請求項１２】
仮想物体（ＡＲオブジェクト）の仮想画像と現実環境の実画像との光学的な重なり合いを判定する装置において、観察ポーズから実画像の画点を光学的に検出するための撮影装置（１１）と、観察ポーズを基準とする実画像の画点について第１の奥行き位置を判定するための判定装置（１１）と、仮想物体のポーズと観察ポーズとを基礎として作成された仮想物体の仮想画像から画点を生成するための生成装置（１１）と、観察ポーズを基準とする仮想画像の画点について第２の奥行き位置を算出するための計算装置（１６）と、観察ポーズの同一の光学軸上で第１の奥行き位置と第２の奥行き位置とを比較するための比較装置（１７）とを備えていることを特徴とする装置。
【請求項１３】
実画像の画点の奥行き位置よりも奥行き位置が小さい仮想画像の画点を、現実環境の画像表示へ前景表示として光学的にフェードインするためのフェードイン装置（１８）を備えていることを特徴とする、請求項１２に記載の装置。
【請求項１４】
実画像の画点の奥行き位置よりも奥行き位置が大きい仮想画像の画点を光学的にフェードアウトするか、または前景表示に対して光学的に変更された表示で現実環境の画像表示へ後景表示として光学的にフェードインするためのミキサー装置（１８）を備えていることを特徴とする、請求項１２または１３に記載の装置。
【請求項１５】
実画像の画点の奥行き位置は、有利には画像検出と同時に、光学センサによって検出され、特にＲＧＢＤカメラによって検出されることを特徴とする、請求項１２から１４までのいずれか１項に記載の装置。
【請求項１６】
環境を示す環境画像へＡＲオブジェクトをフェードインする、特に請求項１２から１５までのいずれか１項に記載の装置において、
視点から見た環境の距離画像を撮影するための撮影装置と、
環境画像に配置されるべきＡＲオブジェクトを、当該オブジェクトが視点から見て環境画像の意図される場所に現れるように表示するための表示装置と、
視点のほうを向いているＡＲオブジェクトの部分について、当該部分が視点から見て距離画像の対応する画点に対して相対的にどのように位置しているかを判定するための判定装置、すなわち環境の実画像の画点の奥行き位置を、生成されたＡＲオブジェクトの画点の奥行き位置と比較するための判定装置と、
視点から見て距離画像のそれぞれ対応する画像断片よりも後方に位置しているＡＲオブジェクトの部分を、前景に位置するＡＲオブジェクトの画像領域が後景に位置するＡＲオブジェクトの画像領域と光学的に別様に表示されるように変更して表示するための第２の表示装置と、
ＡＲオブジェクトを環境画像へフェードインするためのフェードイン装置とを備えていることを特徴とする装置。
【請求項１７】
距離画像を撮影するための前記撮影装置はレーザスキャナを有していることを特徴とす
る、請求項１２から１６までのいずれか１項に記載の装置。
【請求項１８】
距離画像を撮影するための前記撮影装置は距離画像カメラであることを特徴とする、請求項１２から１７までのいずれか１項に記載の装置。
【請求項１９】
ＡＲオブジェクトを表示するための表示装置は、撮影された環境画像を同じく表示する従来型のスクリーンであり、または環境画像を透過させる透明なスクリーンであり、または網膜ディスプレイであることを特徴とする、請求項１２から１８までのいずれか１項に記載の装置。
【請求項１】
仮想物体（ＡＲオブジェクト）の仮想画像と現実環境の実画像との光学的な重なり合いを判定する方法において、観察ポーズから実画像の画点を光学的に検出し、観察ポーズを基準とする実画像の画点について第１の奥行き位置を判定し、仮想物体のポーズと観察ポーズとを基礎として作成された仮想物体の仮想画像から画点を生成し、観察ポーズを基準とする仮想画像の画点について第２の奥行き位置を算出し、観察ポーズの同一の光学軸上で第１の奥行き位置と第２の奥行き位置を比較することを特徴とする方法。
【請求項２】
実画像の画点の奥行き位置よりも奥行き位置が小さい仮想画像の画点は、現実環境の画像表示へ前景表示として光学的にフェードインされることを特徴とする、請求項１に記載の方法。
【請求項３】
実画像の画点の奥行き位置よりも奥行き位置が大きい仮想画像の画点は、光学的にフェードアウトされるか、または前景表示に対して光学的に変更された表示で現実環境の画像表示へ後景表示として光学的にフェードインされることを特徴とする、請求項１または２に記載の方法。
【請求項４】
実画像の画点の奥行き位置は、有利には画像検出と同時に、光学センサによって検出され、特にＲＧＢＤカメラによって検出されることを特徴とする、前記請求項のうちいずれか１項に記載の方法。
【請求項５】
環境を示す環境画像へＡＲオブジェクトをフェードインする、特に請求項１から４までのいずれか１項に記載の方法において、
視点から見た環境の距離画像を撮影し、
環境画像に配置されるべきＡＲオブジェクトの表示を、視点から見て当該ＡＲオブジェクトが環境画像の意図される場所に現れるように変更し、
視点のほうを向いているＡＲオブジェクトの部分について、当該部分が視点から見て距離画像の対応する画点に対して相対的にどのように位置しているかを判定し、すなわち環境の実画像の画点の奥行き位置を、生成されたＡＲオブジェクトの画点の奥行き位置と比較し、
少なくともＡＲオブジェクトの一部の表示をその見かけ上の奥行きとの関係で、すなわち画像中における奥行き位置との関係で、前景に位置するＡＲオブジェクトの画像領域が後景に位置するＡＲオブジェクトの画像領域と光学的に別様に表示されるように変更し、
こうして処理されたＡＲオブジェクトを環境画像にフェードインすることを特徴とする方法。
【請求項６】
視点から見て距離画像のそれぞれ対応する画像断片よりも後方に位置しているＡＲオブジェクトの部分は、所定の方法で表示されることを特徴とする、請求項１から５までのいずれか１項に記載の方法。
【請求項７】
視点から見て距離画像のそれぞれ対応する画像領域よりも後方に位置しているＡＲオブジェクトの部分は、環境画像に挿入されたＡＲオブジェクトでは抑圧されることを特徴とする、請求項１から６までのいずれか１項に記載の方法。
【請求項８】
視点から見て距離画像のそれぞれ対応する画像領域よりも後方に位置しているＡＲオブジェクトの部分は、環境画像ではエッジモデルとして破線で表示され、鎖線で表示され、および／または透明度や色に関して変更された状態で表示されることを特徴とする、請求項１から７までのいずれか１項に記載の方法。
【請求項９】
環境画像はビデオ画像として再生され、ＡＲオブジェクトはビデオ画像にフェードインされることを特徴とする、前記請求項のうちいずれか１項に記載の方法。
【請求項１０】
環境画像は透明なシールドを通して直接的に観察可能であり、ＡＲオブジェクトは前記透明なシールドに、これを通して観察される環境画像へフェードインされることを特徴とする、請求項１から８までのいずれか１項に記載の方法。
【請求項１１】
ＡＲオブジェクトは連続的なビデオデータストリームにリアルタイムでフェードインされ、または個別画像ないし静止画像としてフェードインされることを特徴とする、前記請求項のうちいずれか１項に記載の方法。
【請求項１２】
仮想物体（ＡＲオブジェクト）の仮想画像と現実環境の実画像との光学的な重なり合いを判定する装置において、観察ポーズから実画像の画点を光学的に検出するための撮影装置（１１）と、観察ポーズを基準とする実画像の画点について第１の奥行き位置を判定するための判定装置（１１）と、仮想物体のポーズと観察ポーズとを基礎として作成された仮想物体の仮想画像から画点を生成するための生成装置（１１）と、観察ポーズを基準とする仮想画像の画点について第２の奥行き位置を算出するための計算装置（１６）と、観察ポーズの同一の光学軸上で第１の奥行き位置と第２の奥行き位置とを比較するための比較装置（１７）とを備えていることを特徴とする装置。
【請求項１３】
実画像の画点の奥行き位置よりも奥行き位置が小さい仮想画像の画点を、現実環境の画像表示へ前景表示として光学的にフェードインするためのフェードイン装置（１８）を備えていることを特徴とする、請求項１２に記載の装置。
【請求項１４】
実画像の画点の奥行き位置よりも奥行き位置が大きい仮想画像の画点を光学的にフェードアウトするか、または前景表示に対して光学的に変更された表示で現実環境の画像表示へ後景表示として光学的にフェードインするためのミキサー装置（１８）を備えていることを特徴とする、請求項１２または１３に記載の装置。
【請求項１５】
実画像の画点の奥行き位置は、有利には画像検出と同時に、光学センサによって検出され、特にＲＧＢＤカメラによって検出されることを特徴とする、請求項１２から１４までのいずれか１項に記載の装置。
【請求項１６】
環境を示す環境画像へＡＲオブジェクトをフェードインする、特に請求項１２から１５までのいずれか１項に記載の装置において、
視点から見た環境の距離画像を撮影するための撮影装置と、
環境画像に配置されるべきＡＲオブジェクトを、当該オブジェクトが視点から見て環境画像の意図される場所に現れるように表示するための表示装置と、
視点のほうを向いているＡＲオブジェクトの部分について、当該部分が視点から見て距離画像の対応する画点に対して相対的にどのように位置しているかを判定するための判定装置、すなわち環境の実画像の画点の奥行き位置を、生成されたＡＲオブジェクトの画点の奥行き位置と比較するための判定装置と、
視点から見て距離画像のそれぞれ対応する画像断片よりも後方に位置しているＡＲオブジェクトの部分を、前景に位置するＡＲオブジェクトの画像領域が後景に位置するＡＲオブジェクトの画像領域と光学的に別様に表示されるように変更して表示するための第２の表示装置と、
ＡＲオブジェクトを環境画像へフェードインするためのフェードイン装置とを備えていることを特徴とする装置。
【請求項１７】
距離画像を撮影するための前記撮影装置はレーザスキャナを有していることを特徴とす
る、請求項１２から１６までのいずれか１項に記載の装置。
【請求項１８】
距離画像を撮影するための前記撮影装置は距離画像カメラであることを特徴とする、請求項１２から１７までのいずれか１項に記載の装置。
【請求項１９】
ＡＲオブジェクトを表示するための表示装置は、撮影された環境画像を同じく表示する従来型のスクリーンであり、または環境画像を透過させる透明なスクリーンであり、または網膜ディスプレイであることを特徴とする、請求項１２から１８までのいずれか１項に記載の装置。
【図１】
【図２ａ】
【図２ｂ】
【図３】
【図４】
【図５ａ】
【図５ｂ】
【図５ｃ】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２ａ】
【図２ｂ】
【図３】
【図４】
【図５ａ】
【図５ｂ】
【図５ｃ】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公表番号】特表２００８−５３２１４９（Ｐ２００８−５３２１４９Ａ）
【公表日】平成２０年８月１４日（２００８．８．１４）
【国際特許分類】
【出願番号】特願２００７−５５７３９７（Ｐ２００７−５５７３９７）
【出願日】平成１８年２月２５日（２００６．２．２５）
【国際出願番号】ＰＣＴ／ＥＰ２００６／００１７５３
【国際公開番号】ＷＯ２００６／０９２２５１
【国際公開日】平成１８年９月８日（２００６．９．８）
【出願人】（５９８０５７３６１）クーカ・ロボター・ゲゼルシャフト・ミット・ベシュレンクテル・ハフツング (16)
【氏名又は名称原語表記】ＫＵＫＡ ＲＯＢＯＴＥＲ ＧＭＢＨ
【Ｆターム（参考）】
【公表日】平成２０年８月１４日（２００８．８．１４）
【国際特許分類】
【出願日】平成１８年２月２５日（２００６．２．２５）
【国際出願番号】ＰＣＴ／ＥＰ２００６／００１７５３
【国際公開番号】ＷＯ２００６／０９２２５１
【国際公開日】平成１８年９月８日（２００６．９．８）
【出願人】（５９８０５７３６１）クーカ・ロボター・ゲゼルシャフト・ミット・ベシュレンクテル・ハフツング (16)
【氏名又は名称原語表記】ＫＵＫＡ ＲＯＢＯＴＥＲ ＧＭＢＨ
【Ｆターム（参考）】
[ Back to top ]