二次元図面と映像の合成表示装置
【課題】 映像と地図が示す場所及び視点方向を三次元的に合致させて表示することにより、三次元の映像と二次元の地図とを直感的に理解可能に同一画面に表示し、かつ、地図と映像それぞれを十分な大きさと解像度をもって表示させる。また、映像の抜けの部分に、他フレームから切り取った映像をはめ込むことで、完全な全周映像を実現する。
【解決手段】 三次元映像と二次元地図とを同一画面に合成表示する合成表示装置であって、表示される映像からオルソ面に平行な道路近傍の平面を求めるとともに、当該平面に映像と合成表示する地図面を合致させ、かつ、当該映像及び地図の方位を一致させて連続表示し、入力操作に応じて合成表示された地図と映像の方位を一致させたまま視点方向を変更する構成としてある。
【解決手段】 三次元映像と二次元地図とを同一画面に合成表示する合成表示装置であって、表示される映像からオルソ面に平行な道路近傍の平面を求めるとともに、当該平面に映像と合成表示する地図面を合致させ、かつ、当該映像及び地図の方位を一致させて連続表示し、入力操作に応じて合成表示された地図と映像の方位を一致させたまま視点方向を変更する構成としてある。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車輌や船舶，航空機等の移動体や歩行者の進行方向や現在状況等をガイドするためのナビゲーション装置等で利用可能な地図と映像の合成表示装置に関し、特に、全周囲映像や３ＤＣＧと、二次元図面としての地図とを単一画像として合成表示し、また、合成すべき二次元図面を映像から生成する二次元図面と映像の合成表示装置に関する。
【背景技術】
【０００２】
一般に、カーナビゲーション装置においては、ＧＰＳや自律航法などの手段によって車輌等のカーナビ装置を搭載した移動体の位置が検出され、地図上に当該車輌の現在位置を示すマーカ（ポインタ）が表示されるようになっている。
ところが、従来のカーナビゲーション装置においては、グラフィクスデータからなる地図を画像表示のベースとしているため、その地図上に表示されるマーカによって自車位置を認識することはできるものの、実際の風景についてはその地図データに予め記述されているものしか表示されない。このため、例えば見過ごしやすい交差点などの周囲の状況を通過前の早い時期に的確に把握することは困難であった。また、通常地図データには交差点名、店などのデータは特定の物しか入っておらず、利用者にとって必ずしも使いやすいものではなかった。
【０００３】
そこで、これまで、風景を撮影した映像を動画などの映像データとしてＤＶＤなどの大容量蓄積メディアに格納しておき、その映像データを現在位置などに対応付けて画面表示できるようにし、利用者にとってより使いやすい画像を提供することが可能なナビゲーション装置が提案されている（例えば、特許文献１−３参照。）。
このようなナビゲーション装置によれば、従来からのカーナビゲーション装置にＤＶＤビデオフォーマットのビデオデータを扱う機能を設け、撮影した風景映像を自車の位置などに対応させて表示できるようにしたことにより、実際の周囲の状況を通過前の早い時期にリアルな映像で利用者に提示できるようになり、利用者にとってより使いやすい画像を提供することが可能となった。
【０００４】
【特許文献１】特開平１０−０８９９７８号公報（第３−４頁、第３図）
【特許文献２】特開２００１−１６５６７８号公報（第３−４頁、第３図）
【特許文献３】特開２００２−１４８０６２号公報（第３−４頁、第３図）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
このような従来のナビゲーション装置では、同一画面に地図と映像が表示されることで、現在位置や周囲の状況等について、ある程度は直感的な理解が可能となった。
しかしながら、二次元の地図と遠近法で表示される三次元映像とを同一の画面上に分割して表示するだけでは、対応する位置や建物，方位等について両者の関係を直ちに理解することは困難であった。
また、同時表示される映像の視点方向と地図の方位、その位置関係の関連性の表現も十分ではなかったため、映像と地図の相互関係を明確に理解するにはいまだ問題があった。
さらに、同一画面上に地図と映像を同時に表示すると、単独表示では十分の大きさであった画像が、同時に表示されることでそれぞれが小さなものとなってしまい、映像，地図ともに十分な解像度で表示することが困難となるという問題も生じた。
【０００６】
本発明は、以上のような従来の技術が有する問題を解決するために提案されたものであり、映像と地図に代表される二次元図面が示す場所及び視点方向を三次元的に合致させて表示することにより、映像と二次元図面としての地図を両者の関係が直感的に理解可能な単一の合成画像として表示することができるとともに、二次元図面としての地図と映像それぞれを十分な大きさと解像度をもって表示させることができる二次元図面と映像の合成表示装置の提供を目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本発明の二次元図面と映像の合成表示装置は、請求項１に記載するように、映像と二次元図面とを同一画面に合成表示する合成表示装置であって、表示される映像を構成する三次元空間の中に合成平面を指定し、前記合成平面を当該映像の中に投影し、前記合成平面が投影された投影平面に、合成表示すべき二次元図面を合致させ、当該映像を取得した時点のカメラの位置座標及び映像表示時点の方位と、二次元図面上の指示地点の位置座標及び表示時点の方位とを一致させて連続表示する構成としてある。
【０００８】
また、本発明の二次元図面と映像の合成表示装置は、請求項２に記載するように、前記映像が、予め記録された動画映像又は連続静止画像で、場所を特定するにふさわしい広角背景映像からなり、前記二次元図面が、前記映像を取得したカメラ位置を示す現地点を含み、当該現地点と進行方向を示す矢印等を印した地図からなり、前記合成平面が、前記映像から求められるオルソ面に平行な道路面近傍の平面からなり、前記指示地点が、現地点からなり、前記オルソ面と前記地図面とを合致させ、当該映像を取得した時点のカメラの位置座標及び映像表示時点の方位と、地図上の現地点の位置座標及び地図表示時点の方位とを一致させて、それぞれを同一ビュア内に領域分割合成または重複合成して表示し、機器操作に応じて前記合成表示された地図と映像との座標と方位との関係を保ったまま視点方向を変更表示する構成としてある。
【０００９】
さらに、本発明の二次元図面と映像の合成表示装置は、請求項３に記載するように、前記映像が、道路上を走行する車輌に積載されたカメラによって撮影される全周映像であって、道路面を含む視野の一部に欠損がある不完全な全周映像からなり、前記二次元図面が、前記全周映像の欠損部分に相当する他フレーム映像による道路面映像からなり、前記合成平面が、前記全周映像の欠損部分の道路面に合致する平面からなり、前記全周映像の欠損部分に対応する映像を、前記他のフレーム映像から生成するとともに、当該映像を前記全周映像の道路面に一致させ、その方位及び座標を一致させて、当該全周映像とともに同一ビュア内に結合して合成表示し、合成映像の視点方向を、それぞれの面と方位と座標との関係を保ったまま自由に変更表示する構成としてある。すなわち、請求項３では、請求項１及び請求項２の二次元地図を欠損部分映像に対応させ、同様に請求項１及び請求項２の映像を視野欠損のある不完全な全周映像に対応させたことを特徴とするものである。
【発明の効果】
【００１０】
このような構成からなる本発明の二次元図面と映像の合成表示装置によれば、ディスプレイ上に表示される三次元映像から所定のオルソ面を求め、求められた当該オルソ面に二次元地図をはめ込むことにより、映像と地図が示す場所及び視点方向を三次元的に合致させた合成画像として、映像と地図を同時に表示することができる。
これにより、映像と地図とを、両者の関係が直感的に理解できる滑らかな合成画像として同一画面に表示することができ、また、地図と映像それぞれを十分な大きさと解像度をもって表示させることができる。
【００１１】
さらに、本発明では、合成すべき二次元図面の特殊な場合として、車輌等に積載して移動しながら撮影した全周映像から、その一部を切り取って加工し、フレームをずらせた映像と位置あわせをし、全周映像のカメラ部分及び抜けた部分にはめ込むことにより、完全な全周映像とすることができる。
本発明において、二次元地図をはめ込む三次元映像としては、車輌等の全周囲を示す全周囲映像を用いることが好ましい。ところが、全周囲映像を表示した場合には、カメラの原理から、視界の一部にカメラ自身が写り込んでしまうことが避けられず、カメラ部分が抜けた不完全な全周映像となる。
そこで、本発明では、カメラ部分又は映像の抜けた部分に、二次元画像をはめ込むことで、穴の無い完全な全周映像を生成・表示することができる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明に係る二次元図面と映像の合成表示装置の好ましい実施形態について、図面を参照しつつ説明する。
ここで、以下に示す本発明の二次元図面と映像の合成表示装置は、プログラム（ソフトウェア）の命令によりコンピュータで実行される処理，手段，機能によって実現される。プログラムは、コンピュータの各構成要素に指令を送り、以下に示すような所定の処理や機能、例えば、映像中からの特徴点の自動抽出，抽出した特徴点の自動追跡，特徴点の三次元座標の算出，カメラベクトルの演算，オルソ面変換，映像と二次元図面の合成等を行わせる。このように、本発明における各処理や手段は、プログラムとコンピュータとが協働した具体的手段によって実現される。
なお、プログラムの全部又は一部は、例えば、磁気ディスク，光ディスク，半導体メモリ，その他任意のコンピュータで読取り可能な記録媒体により提供され、記録媒体から読み出されたプログラムがコンピュータにインストールされて実行される。また、プログラムは、記録媒体を介さず、通信回線を通じて直接にコンピュータにロードし実行することもできる。
【００１３】
［基本概念］
まず、本発明に係る二次元図面と映像の合成表示装置の基本概念について説明する。
本発明の二次元図面と映像の合成表示装置（図１〜２参照）は、カーナビ装置や歩行者ナビ装置等に備えられ表示装置であって、表示画像（図７〜１１参照）として地図と映像を同一画面にオルソ面、又は指定の平面を一致させ、方位も一致させて表示するための装置である。
映像と二次元図面としての地図とを同一画面に表示するには、単に両者を並べるだけでは、直感的に理解しやすい単一の画像とはならない。すなわち、映像と地図を滑らかな単一画像とするためには、地図と映像で表示している場所及び視点方向を、三次元的に合致させて表現する必要がある。
また、地図と映像は、それぞれが十分な大きさと解像度をもって表示されなければ、ナビゲーション用の地図や映像として機能させることができない。
【００１４】
そこで、本実施形態では、二次元の地図と合成する映像として、車輌等の移動体の３６０度の全周囲を撮影した全周映像（図３〜５参照）か、又は全周映像に近い広角映像を用いて、その全周映像を視点方向に平面展開することにより、地図と映像の合成画像を生成・表示するようにしてある。
全周映像の平面展開とは、全周映像を、通常の画像として遠近法的に表現するものである。ここで、「遠近法」と呼称するのは、全周画像のそのものはメルカトール図法や球面投影図法のように、遠近法とは異なる方法で表示されているので（図５参照）、これを平面展開表示することで、通常の遠近法映像に変換表示できるからである。
【００１５】
そして、このように全周映像から生成される遠近法映像において、オルソ面又は道路面の中に二次元地図を埋め込む形で合成し、かつ、方位を合致させて表示する。このようにすることで、カーナビゲーション装置等におけるナビゲーション機能に直接関係しない道路映像部分に、地図をはめ込む形で合成することが可能となり（図７〜１１参照）、合成する映像，地図ともに、画像を縮小することなく同一ディスプレイ上に分割して表示することが可能となり、かつ、この直感的な地図と映像の合成画像を十分な大きさと解像度をもって表示できることになる。
なお、地図と合成する映像として、三次元ＣＧから生成した二次元の平面画像（３ＤＣＧを画面に表示するときには既に二次元の平面画像となっている）を使用することもでき、二次元の地図を合成表示する場合にも、全周映像の場合と同様にして同一画面での合成表示が可能である。
また、映像と合成する二次元図面として、ＣＧ化された地図でも合成表示が可能である。カーナビゲーション装置ではデジタル地図が用いられるが、デジタル地図は二次元図面であり、そしてＣＧ地図であり、合成表示が可能である。
【００１６】
ここで、地図と合成する映像としては、どのような映像でもよいが、画角の限られた映像では視点方向を移動した場合に映像がとぎれてしまうので、全周映像（図３〜５参照）とすることが望ましい。なお、動画映像は連続する静止画と同様であり、静止画と同様に扱うことができる。
また、映像は、一般には予め記録した動画映像を使うことになるが、自動車等の移動体の移動に合わせてリアルタイムに取り込んだ映像を使用することも勿論可能である。
一方、映像と合成する地図としては、例えば、既存のカーナビゲーション装置に備えられる二次元の地図が相当する。
そして、このような全周映像から生成される遠近法映像のオルソ面に二次元地図を埋め込む形で合成する（図７〜１１参照）。地図は二次元ＣＧとして扱えば、ＣＧと映像の合成として合成処理が行える。
【００１７】
地図をはめ込む映像中の「オルソ面」とは、水平面と置き換えても同じ意味であり、水平面は自動車や人が移動する道路面に近いので、道路面で代用することができる。
そして、このオルソ面は、後述するように、例えばCV（カメラベクトル）値を用いて、全周映像から「オルソ面に平行な道路近傍平面」を直接求めることができる。
なお、道路面は必ずしも水平ではないから、道路面と「オルソ面に平行な道路近傍平面」とは常には一致しないが、道路面で代用することは十分可能であり、道路面を正確に指定するか、又はオルソ面と道路面を同一視しても近似的には十分である。
このオルソ面と道路面，オルソ面に平行な道路近傍平面，地図面との関係を図６に示す。
また、特殊な場合として、動画のあるフレームの道路面映像から、異なるフレームの道路面映像を生成して、欠けている映像部分にはめ込むことができるが（本発明の第二実施形態）、この場合には、オルソ面ではなく、ある道路平面を同一の道路平面に変換することになり、オルソ面を意識せずに、道路面を主体と考えればよい。
【００１８】
［第一実施形態］
次に、本発明に係る二次元図面と映像の合成表示装置の第一実施形態について、図面を参照しつつ具体的に説明する。
図１は、本発明の第一実施形態に係る二次元図面と映像の合成表示装置の基本構成を示すブロック図である。また、図２は、図１に示す二次元図面と映像の合成表示装置の詳細を示すブロック図である。
これらの図に示す本実施形態の二次元図面と映像の合成表示装置１は、映像と地図（画像を含む）を合成する装置であって、具体的には、空間情報取得部１０と、データ生成部２０と、合成映像表示部３０を備えている。
【００１９】
具体的には、まず、空間情報取得部１０は、図２に示すように、ＣＶデータを取得する目的で、走行車輌等の移動体に固定され、移動体の移動とともに移動体周辺を撮影し、映像を取得する全周ビデオカメラ機器部１１を備える。
なお、空間情報取得部１０には、その位置座標を取得する目的で、位置計測機器部１２を備えることができる（図２参照）。位置計測器基部１２としては、本出願人が先に提案しているＣＶ演算（特願２００４−２９１３５３号公報参照）による方法や、絶対座標を取得するＧＰＳ機器単独やＩＭＵ機器を付加したもの等により構成することができる。
【００２０】
ここで、全周カメラが備えられる移動体としては、図３及び図４に示すように、自動車のような走行車輌が該当し、移動体２の天井部等に映像取得様のビデオカメラ機器部１１が備えられる。
なお、図３，図４に示す例では、移動体２に搭載される全周ビデオカメラ機器部１１として、走行する移動体２の周辺の広範囲映像を撮影可能な全周カメラ１１ａを備えている。広範囲映像を撮影，取得するカメラとしては、広角レンズや魚眼レンズ付きカメラ、移動カメラ、固定カメラ、複数のカメラを固定したカメラ、３６０度周囲に回転可能なカメラ等があり、車輌に複数のカメラが一体的に固定され、移動体２の移動に伴って広範囲映像を撮影する全周カメラ１１ａを使用することができる。
【００２１】
全周カメラ１１ａによれば、図４に示すように、移動体２の天井部に設置されることで、カメラの３６０度全周囲の映像を複数のカメラで同時に撮影することができ、移動体２が移動することで、広範囲映像を動画データとして取得できる。
ここで、全周カメラは、カメラの全周映像を直接取得できるビデオカメラであるが、カメラの全周囲の半分以上を映像として取得できれば全周映像として使用できる。また、画角が制限された通常のカメラの場合でも、ＣＶ演算の精度としては低下するが、全周映像の一部分として取り扱うことが可能である。
【００２２】
なお、全周カメラ１１ａで撮影された広範囲映像は、一枚の画像として、撮影時の画角に一致する仮想球面に貼り付けることができる。仮想球面に貼り付けられた球面画像データは、仮想球面に貼り付けた状態の球面画像（３６０度画像）データとして保存・出力される。仮想球面は、広範囲映像を取得するカメラ部を中心点とした任意の球面状に設定することができる。
図５（ａ）は球面画像が貼り付けられる仮想球面の外観イメージであり、同図（ｂ）は仮想球面に貼り付けられた球面画像の一例である。また、同図（ｃ）は、（ｂ）の球面画像をメルカトール図法に従って平面展開した画像例を示す。
【００２３】
データ生成部２０は、図２に示すように、全周ビデオ映像記録部２１を備え、空間情報取得部１０の全周ビデオカメラ機器部１１による映像を記録するとともに、記録されたビデオ映像の位置座標として、位置座標計測機器部１２で計測された位置データを記録する。
さらに、データ生成部２０は、映像と合成される二次元地図を格納した二次元地図部２２を備えるとともに、座標統合部２３，方位統合部２４，映像オルソ変換部２５，はめ込み部２６の各部を備えている。
全周ビデオ映像記録部２１は、空間情報取得部１０の全周ビデオカメラ機器部１１によって得られた全周ビデオ映像と位置計測機器部１２による位置座標を任意の記録媒体に記録する記録手段である。
二次元地図部２２は、地図上に記載された各地点の二次元座標が既知として与えられた地図を格納している。
なお、後述する第二実施形態で示すように、穴の無い完全全周映像を生成する場合には、二次元地図部２２の地図を他フレーム映像から切り取った路面画像とすればよい（図２２〜図２４参照）。
【００２４】
座標統合部２３は、全周ビデオ映像記録部２１で記録された映像と、二次元地図部２２に格納された地図の座標統合を行う。この座標統合部２３により、地図と映像の座標合わせが完了したことになる。
方位統合部２４は、座標統合後に方位を合致させて統合する。
映像オルソ変換部２５は、全周ビデオ映像から得られた画像をオルソ面に平面展開して、地図の方位と合致させる。
ここで、「オルソ面」とは、地上の三次元形状を海抜０メートル面に投影した二次元の面をいい、それはまさに地図面そのものである。
また、一般に道路には多少の傾斜があるので、道路面そのものがオルソ面に平行でない場合もあるが、ナビゲーション装置で表示される映像は、測量等で要求される程の精度は必要ないので、近似的には道路面を地図面として扱ってもよい。
【００２５】
そこで、映像オルソ変換部２５では、全周ビデオ映像の三次元座標を、「オルソ面に平行な道路近傍平面」に変換する。
映像のオルソ面を検出するには、全周映像を鉛直真下方向に平面変換して、地図と合成することで得られる。ここで映像の真下映像を検出する必要があるが、一般には真下は道路に垂直な方向で近似できるが、正確に真下を検出するには、全周映像に後述するＣＶ演算処理を施し、カメラの３軸回転姿勢を検出し、その後に鉛直真下への平面変換を行うと精度が高く有利である。
オルソ面と道路面，オルソ面に平行な道路近傍平面，地図面との関係を図６に示す。
【００２６】
地図とは本来道路等の三次元座標を海抜０メートルのオルソ面に投影したものであるから、直感的に良く理解できる合成映像が生成できる。
また、全周映像は方位と仰角を持っているが地図は方位のみを持っている。
そこで、それぞれの方位を等しくして表示することで、直感的に理解しやすい映像と地図との合成ができることになる。
換言すれば、地図は仰角がないが、地図の仰角を付加して映像の仰角と合致させることで、直感的に理解しやすい映像と地図の合成ができるものである。
【００２７】
はめ込み部２６はオルソ変換された映像の所定の位置に地図（オルソ面そのもの）をはめ込む処理を行う。
なお、この段階では、映像と地図は位置関係が決定されただけであり、未だ映像と地図との二種類のデータである。
【００２８】
そして、以上のようにしてはめ込まれた二種類のデータを合成して、同一の合体した画像として表示するのが合成表示部３１である。
ここでは、路面の地図平面と、データ生成部２０で得られた映像の「オルソ面に平行な道路近傍平面」とを合致させ、それぞれの方位をも合致させて合成表示する。この場合、ナビゲーションという目的から、映像の道路部分に地図を貼り付けることで、視覚的に有効な合成画像を生成・表示することができる。
【００２９】
また、表示された合成画像は、回転ボールやマウス等のポインティング・デバイス，操作機器の入力操作に応じて、上下左右の任意の向きに回転させることができる。
また、ナビゲーションに用いる目的に応じて、当然の事ながら現地点よりも多少先の地点や、途中通過地点、目的地点等の映像を合成表示することも可能である。
【００３０】
以下、二次元図面と映像の合成表示の例として、全周映像にナビゲーション地図を合成し、任意の視点方向で平面表示した例を図７〜１１に示す。
図７は、合成画像の標準位置を示す図であり、三次元映像は移動体等の進行方向に対して正面向いて、所謂「あおり」のない位置となっている。
そして、このとき地図は、遠近法で表示されスケールの直線性は無いが、俯瞰図となり、図７に示すように、直感的に遠近が理解できる映像となる。この標準位置では映像と地図がどちらも適切に観察できる。
【００３１】
ここで、「あおり」とは、写真用語で「カメラの光軸方向を変化させる」ことをいい、対象物の平行部分の関係が変化することを指す。例えば「あおりをつける」という場合、カメラ光軸を多少上向きに撮影すると、ビルは上の方向で狭く、下で広く写ることになる。この状況を「あおりをつける」といいう。
本実施形態では、三次元映像で「あおり」がつかないものを標準位置とし、「あおり」がついたものを標準位置からのバリエーションとして説明する。
【００３２】
標準位置から回転ボールやマウス等のポインティング・デバイス，操作機器による入力操作に応じて、画像を下向きに回転させると、図８に示すように、画像は次第に下向きのあおりのある合成画像になる。
地図を優先的に観察したい場合は、例えば回転ボール操作により画像を下側に回転させると、画像は更に下向きの映像になり、図９に示すように、地図がそのままリニアスケールで表示される場所まで回転することができる。
また、ポインティング・デバイスの入力操作で画像を横向きに回転させることで、図１０に示すように、横向きの映像と地図との合成画像が得られる。
この時、映像と地図の方位は合致しているので、見やすい合成画像となる。
【００３３】
以上のようにして、本実施形態の二次元図面と映像の合成表示装置１によれば、映像と地図とを、滑らかな単一画像に合成して、一つのディスプレイ上に同時表示することができる。
映像に合成される地図は、従来のナビゲーション地図と現地点を示す印そのものであり、本実施形態における映像と地図の合成は、全周映像と従来ナビゲーション地図の合成ということになる。なお、地図縮尺は映像に関係なく設定でき、関係づけることもできる。
一般に、全周映像には、どうしても死角による映像の抜けが生じるが、地図をこの抜けに合わせて合成することで、抜けを隠す目的も果たすことができる。
【００３４】
また、地図の合成により全周映像の一部が削除されることになるが、このことで近くの車輌等の映像も同時に削除できることになるので、ナビゲーションにはむしろ有利に働くことになる。
すなわち、記録・撮影された映像中の他の車輌の映像はナビゲーションには必要ないものであり、また、近くの車輌のナンバープレートも地図で隠されることになり、結果的に肖像権等の問題も生じない。
なお、道路面の大半が隠されることになり、車線等の道路表示も同時に隠されることになるが、ナビゲーションに道路表示が必要な場合は、ディスプレイ上の道路映像面以外の表示面に表示するか、３ＤＣＧ化した道路表示を映像に重ねて表示することができる。また、合成した地図を拡大表示して、地図側の道路面に道路表示を表示することがより適切である。
【００３５】
さらに、映像と地図の合成により、映像中の道路のかなりの部分が二次元地図によって隠されるため、映像の記録容量を減少させることも可能となる。
ナビゲーションにおいて必要な情報は、道路面映像ではなく、場所の特定に大きく係わる周囲のビル・建物等の背景映像であるから、路面が地図で隠されることは却って好都合となる。
このようにして、本実施形態の二次元図面と映像の合成表示装置１によれば、映像と地図とのオルソ面一致合成法によって、多くの相乗効果が期待できる。
【００３６】
例えば、図５に示したように、全周画像（図５（ｂ））をメルカトール図法により展開すると図５（ｃ）に示すような画像になるが、この画像は、地図がはめ込まれる部分を除いて記録すればよいことになり、記録データ量を減少させることができ、映像データ記録の上でかなり有利となる。
図１１にメルカトール図法により展開された画像に二次元地図を合成した場合の画像例を示す。
ここで、上述のように、地図平面と映像の「オルソ面に平行な道路近傍平面」とは同一とし、方位も合致させるとしたが、高縮尺での方位は常に進行方向を示すのが適切な場合には、操作機器の入力に応じて、映像のみ方位が変更され、地図はそのままの方位を示すことも可能である。
【００３７】
また、ディスプレイ上に表示された地図と映像を同時に記録する場合には、例えば、図１１に示したようなメルカトール図法で展開して一枚の画像として記録するのが有利となる。
但し、図１１における映像部分と地図部分の比率は、地図と映像の情報の比率でもあるが、記録する場合を除いて、地図をメルカトールに展開する必然性はない。
なお、以上説明したような本実施形態に係る映像と地図の合成表示は、カーナビや歩行者ナビ，携帯ナビ，ＰＣ上でのナビ等に好適に利用できるが、これらの用途に限定されるものではなく、地図と映像を同時に映し出す様々なディスプレイ上で、利用可能であることは当然のことである。
【００３８】
［ＣＶデータ演算］
次に、以上のような二次元図面と映像の合成表示装置１における地図と映像の合成処理において、高い精度でオルソ面を生成する場合に用いられるＣＶ演算の詳細について図１２〜図２１を参照しつつ説明する。
ここで、ＣＶ演算とはＣＶ値を求めることを意味し、求められた結果をＣＶ値，ＣＶデータと呼ぶ。ＣＶという表記は、カメラベクトル：Camera Vectorの略記であり、カメラベクトルとは計測等のために映像を取得するビデオカメラ等のカメラの三次元位置と３軸回転姿勢を示す値である。
ＣＶ演算は、動画像（ビデオ映像）を取得し、その映像内の特徴点を検出し、それを隣接する複数のフレームに追跡し、カメラ位置と特徴点の追跡軌跡とが作る三角形を画像内に数多く生成し、その三角形を解析することで、カメラの三次元位置とカメラの３軸回転姿勢を求めるものである。
【００３９】
ＣＶ演算では、ＣＶ値を求める過程で、同時に映像内の特徴点についても三次元座標が同時に求まることが重要な特性である。
また、動画像から演算で求められるＣＶ値は、動画像の各フレームに対応して、三次元のカメラ位置と三次元のカメラ姿勢とが同時に求まる。しかも、原理的には一台のカメラで、映像と対応してＣＶ値が求められる特性は、ＣＶ演算でしか実現し得ない、優れた特徴である。
例えば、他の方法による計測手段（ＧＰＳやＩＭＵ等）では、動画像の各フレームと、その三次元的カメラ位置と三次元的カメラ姿勢とを同時に取得するためには画像フレームと計測サンプリング時刻を高精度で、しかも完全に同期しなければならないために、巨額の装置となり、実質的には実現が困難である。
【００４０】
動画像から演算で求められるＣＶデータは、加工しない段階では相対値であるが、短区間であれば高精度で三次元位置情報と３軸回転の角度情報を取得できる。
また、ＣＶデータは画像から取得するため、取得されたデータは相対値であるが、画像内の任意の対象物との位置関係を計測することができるという他の方法では実現は可能な優れた特性を備える。
また、画像に対応したＣＶ値が求まるので、画像内計測や測量において、画像から直接にカメラ位置とその３軸回転姿勢を求めることができるＣＶ演算は画像内計測や画像内測量に好適となる。
そして、本実施形態の二次元図面と映像の合成表示装置１では、このＣＶ値データに基づいて三次元映像と二次元地図の合成表示処理を行うものである。
【００４１】
ＣＶ演算は、上述したデータ生成部２０の座標統合部２３における処理として行われる。具体的には、図１２に示すＣＶデータ演算部２３が、図２に示した二次元図面と映像の合成表示装置１の座標統合部２３として機能する。
ＣＶデータ演算部２３は、図１２に示すように、特徴点抽出部２３ａと、特徴点対応処理部２３ｂと、カメラベクトル演算部２３ｃと、誤差最小化部２３ｄと、三次元情報追跡部２３ｅと、高精度カメラベクトル演算部２３ｆを備えている。
【００４２】
特徴点抽出部２３ａは、移動体計測部１０のビデオカメラ機器部１１で撮影されビデオ映像記録部２１に一時記録された動画像データの中から、十分な数の特徴点を自動抽出する。
特徴点対応処理部２３ｂは、自動抽出された特徴点を、各フレーム間で各フレーム画像内において自動的に追跡することで、その対応関係を自動的に求める。
【００４３】
三次元情報追跡部２３ｅは、カメラベクトル演算部２３ｃで得られたカメラベクトルを概略のカメラベクトルと位置づけ、その後のプロセスで順次画像の一部として得られる三次元情報に基づいて、複数のフレーム画像に含まれる部分的三次元情報を隣接するフレームの画像に沿って自動追跡を行う。ここで、三次元情報（三次元形状）とは、主に特徴点の三次元分布情報であり、すなわち、三次元の点の集まりであり、この三次元の点の集まりが三次元形状を構成する。
高精度カメラベクトル演算部２３ｆは、三次元情報追跡部２３ｅで得られた追跡データに基づいて、カメラベクトル演算部２３ｃで得られるカメラベクトルより、さらに高精度なカメラベクトルを生成，出力する。
そして、以上のようにして得られたカメラベクトルから精度の高い鉛直方向および方位が求められ、上述したデータ生成部２０の位統合部２４に入力され、オルソ変換を含む映像と地図の合成処理に利用されることになる。
【００４４】
複数の画像（動画又は連続静止画）の特徴点からカメラベクトルを検出するには幾つかの方法があるが、図１２に示す本実施形態のＣＶデータ演算部２３では、画像内に十分に多くの数の特徴点を自動抽出し、それを自動追跡することで、エピポーラ幾何学により、カメラの三次元ベクトル及び３軸回転ベクトルを求めるようにしてある。
特徴点を充分に多くとることにより、カメラベクトル情報が重複することになり、重複する情報から誤差を最小化させて、より精度の高いカメラベクトルを求めることができる。
【００４５】
ここで、カメラベクトルとは、カメラの持つ自由度のベクトルをいう。
一般に、静止した三次元物体は、位置座標（Ｘ，Ｙ，Ｚ）と、それぞれの座標軸の回転角（Φｘ，Φｙ，Φｚ）の六個の自由度を持つ。従って、カメラベクトルは、カメラの位置座標（Ｘ，Ｙ，Ｚ）とそれぞれの座標軸の回転角（Φｘ，Φｙ，Φｚ）の六個の自由度のベクトルをいう。なお、カメラが移動する場合は、自由度に移動方向も入るが、これは上記の六個の自由度から微分して導き出すことができる。
このように、本実施形態のカメラベクトルの検出とは、カメラは各フレーム毎に六個の自由度の値をとり、各フレーム毎に異なる六個の自由度を決定することである。
【００４６】
以下、ＣＶデータ演算部２３における具体的なカメラベクトルの検出方法について、図１３以下を参照しつつ説明する。
まず、上述した空間情報取得部１０の全周ビデオカメラ機器部１１で取得された画像データは、ビデオ映像記録部２１を経て（又は直接）、ＣＶデータ演算部２３の特徴点抽出部２３ａに入力され、特徴点抽出部２３ａで、適切にサンプリングされたフレーム画像中に、特徴点となるべき点又は小領域画像が自動抽出され、特徴点対応処理部２３ｂで、複数のフレーム画像間で特徴点の対応関係が自動的に求められる。
具体的には、カメラベクトルの検出の基準となる、十分に必要な数以上の特徴点を求める。画像間の特徴点とその対応関係の一例を、図１３〜図１５に示す。図中「＋」が自動抽出された特徴点であり、複数のフレーム画像間で対応関係が自動追跡される（図１５に示す対応点１〜４参照）。
ここで、特徴点の抽出は、図１６に示すように、各画像中に充分に多くの特徴点を指定，抽出することが望ましく（図１６の○印参照）、例えば、１００点程度の特徴点を抽出する。
【００４７】
続いて、カメラベクトル演算部２３ｃで、抽出された特徴点の三次元座標が演算により求められ、その三次元座標に基づいてカメラベクトルが演算により求められる。具体的には、カメラベクトル演算部２３ｃは、連続する各フレーム間に存在する、十分な数の特徴の位置と、移動するカメラ間の位置ベクトル、カメラの３軸回転ベクトル、各カメラ位置と特徴点をそれぞれ結んだベクトル等、各種三次元ベクトルの相対値を演算により連続的に算出する。
本実施形態では、例えば、３６０度全周画像のエピポーラ幾何からエピポーラ方程式を解くことによりカメラ運動（カメラ位置とカメラ回転）を計算するようになっている。
【００４８】
図１５に示す画像１，２は、３６０度全周画像をメルカトール展開した画像であり、緯度φ、軽度θとすると、画像１上の点は（θ１，φ１）、画像２上の点は（θ２，φ２）となる。そして、それぞれのカメラでの空間座標は、ｚ１＝（ｃｏｓφ１ｃｏｓθ１，ｃｏｓφ１ｓｉｎθ１，ｓｉｎφ１）、ｚ２＝（ｃｏｓφ２ｃｏｓθ２，ｃｏｓφ２ｓｉｎθ２，ｓｉｎφ２）である。カメラの移動ベクトルをｔ、カメラの回転行列をＲ、とすると、ｚ１T［ｔ］×Ｒｚ２＝０がエピポーラ方程式である。
十分な数の特徴点を与えることにより、線形代数演算により最小自乗法による解としてｔ及びＲを計算することができる。この演算を対応する複数フレームに適用し演算する。
【００４９】
ここで、カメラベクトルの演算に利用する画像としては、３６０度全周画像を用いることが好ましい。
カメラベクトル演算に用いる画像としては、原理的にはどのような画像でも良いが、図１５に示す３６０度全周画像のような広角画像の方が特徴点を数多く選択し易くなる。そこで、本実施形態では、ＣＶ演算に３６０度全周画像を用いており、これによって、特徴点の追跡距離を長くでき、特徴点を十分に多く選択することができ、遠距離、中距離、短距離それぞれに都合の良い特徴点を選択することができるようになる。また、回転ベクトルを補正する場合には、極回転変換処理を加えることで、演算処理も容易に行えるようになる。これらのことから、より精度の高い演算結果が得られるようになる。
なお、図１５は、ＣＶデータ演算部２３における処理を理解し易くするために、１台又は複数台のカメラで撮影した画像を合成した３６０度全周囲の球面画像を地図図法でいうメルカトール図法で展開したものを示しているが、実際のＣＶ演算では、必ずしもメルカトール図法による展開画像である必要はない。
【００５０】
次に、誤差最小化部２３ｄでは、各フレームに対応する複数のカメラ位置と複数の特徴点の数により、複数通り生じる演算方程式により、各特徴点に基づくベクトルを複数通り演算して求めて、各特徴点の位置及びカメラ位置の分布が最小になるように統計処理をして、最終的なベクトルを求める。例えば、複数フレームのカメラ位置、カメラ回転及び複数の特徴点について、Levenberg-Marquardt法により最小自乗法の最適解を推定し、誤差を収束してカメラ位置、カメラ回転行列、特徴点の座標を求める。
さらに、誤差の分布が大きい特徴点につては削除し、他の特徴点に基づいて再演算することで、各特徴点及びカメラ位置での演算の精度を上げるようにする。
このようにして、特徴点の位置とカメラベクトルを精度良く求めることができる。
【００５１】
図１７〜図１９に、ＣＶ演算により得られる特徴点の三次元座標とカメラベクトルの例を示す。図１７〜図１９は、本実施形態のＣＶ演算によるベクトル検出方法を示す説明図であり、移動するカメラによって取得された複数のフレーム画像によって得られるカメラ及び対象物の相対的な位置関係を示す図である。
図１７では、図１５の画像１，２に示した特徴点１〜４の三次元座標と、画像１と画像２の間で移動するカメラベクトル（Ｘ，Ｙ，Ｚ）が示されている。
図１８及び図１９は、充分に多くの特徴点とフレーム画像により得られた特徴点の位置と移動するカメラの位置が示されている。同図中、グラフ中央に直線状に連続する○印がカメラ位置であり、その周囲に位置する○印が特徴点の位置と高さを示している。
【００５２】
ここで、ＣＶデータ演算部２３におけるＣＶ演算は、より高精度な特徴点とカメラ位置の三次元情報を高速に得るために、図２０に示すように、カメラから特徴点の距離に応じて複数の特徴点を設定し、複数の演算を繰り返し行うようにする。
具体的には、ＣＶデータ演算部２３は、画像内には映像的に特徴がある特徴点を自動検出し、各フレーム画像内に特徴点の対応点を求める際に、カメラベクトル演算に用いるｎ番目とｎ＋ｍ番目の二つのフレーム画像FｎとＦｎ＋ｍに着目して単位演算とし、ｎとｍを適切に設定した単位演算を繰り返す。
ｍはフレーム間隔であり、カメラから画像内の特徴点までの距離によって特徴点を複数段に分類し、カメラから特徴点までの距離が遠いほどｍが大きくなるように設定し、カメラから特徴点までの距離が近いほどｍが小さくなるように設定する。このようにするのは、カメラから特徴点までの距離が遠ければ遠いほど、画像間における位置の変化が少ないからである。
【００５３】
そして、特徴点のｍ値による分類を、十分にオーバーラップさせながら、複数段階のｍを設定し、画像の進行とともにｎが連続的に進行するのにともなって、演算を連続的に進行させる。そして、ｎの進行とｍの各段階で、同一特徴点について複数回重複演算を行う。
このようにして、フレーム画像ＦｎとＦｎ＋ｍに着目した単位演算を行うことにより、ｍ枚毎にサンプリングした各フレーム間（フレーム間は駒落ちしている）では、長時間かけて精密カメラベクトルを演算し、フレーム画像ＦｎとＦｎ＋ｍの間のｍ枚のフレーム（最小単位フレーム）では、短時間処理で行える簡易演算とすることができる。
【００５４】
ｍ枚毎の精密カメラベクトル演算に誤差がないとすれば、m枚のフレームのカメラベクトルの両端は、高精度演算をしたＦｎとＦｎ＋ｍのカメラベクトルと重なることになる。従って、ＦｎとＦｎ＋ｍの中間のｍ枚の最小単位のフレームについては簡易演算で求め、簡易演算で求めたm枚の最小単位フレームのカメラベクトルの両端を、高精度演算で求めたＦｎとＦｎ＋ｍのカメラベクトルに一致するように、m枚の連続したカメラベクトルのスケール調整をすることができる。
このようにして、画像の進行とともにｎが連続的に進行することにより、同一特徴点について複数回演算されて得られる各カメラベクトルの誤差が最小になるようにスケール調整して統合し、最終のカメラベクトルを決定することができる。
これにより、誤差のない高精度のカメラベクトルを求めつつ、簡易演算を組み合わせることにより、演算処理を高速化することができるようになる。
【００５５】
ここで、簡易演算としては、精度に応じて種々の方法があるが、例えば、(1)高精度演算では１００個以上の多くの特徴点を用いる場合に、簡易演算では最低限の１０個程度の特徴点を用いる方法や、(2)同じ特徴点の数としても、特徴点とカメラ位置を同等に考えれば、そこには無数の三角形が成立し、その数だけの方程式が成立するため、その方程式の数を減らすことで、簡易演算とすることができる。
これによって、各特徴点及びカメラ位置の誤差が最小になるようにスケール調整する形で統合し、距離演算を行い、さらに、誤差の分布が大きい特徴点を削除し、必要に応じて他の特徴点について再演算することで、各特徴点及びカメラ位置での演算の精度を上げることができる。
【００５６】
また、このように高速な簡易演算を行うことにより、カメラベクトルのリアルタイム処理が可能となる。カメラベクトルのリアルタイム処理は、目的の精度をとれる最低のフレーム数と、自動抽出した最低の特徴点数で演算を行い、カメラベクトルの概略値をリアルタイムで求め、表示し、次に、画像が蓄積するにつれて、フレーム数を増加させ、特徴点の数を増加させ、より精度の高いカメラベクトル演算を行い、概略値を精度の高いカメラベクトル値に置き換えて表示することができる。
【００５７】
さらに、本実施形態では、より高精度のカメラベクトルを求めるために、三次元情報（三次元形状）の追跡を行うことができる。
具体的には、まず、三次元情報追跡部２３ｅで、カメラベクトル演算部２３ｃ，誤差最小化部２３ｄを経て得られたカメラベクトルを概略のカメラベクトルと位置づけ、その後のプロセスで生成される画像の一部として得られる三次元情報（三次元形状）に基づいて、複数のフレーム画像に含まれる部分的三次元情報を隣接するフレーム間で連続的に追跡して三次元形状の自動追跡を行う。
そして、この三次元情報追跡部２３ｅで得られた三次元情報の追跡結果から、高精度カメラベクトル演算部においてより高精度なカメラベクトルが求められる。
【００５８】
上述した特徴点抽出部２３ａ及び特徴点対応処理部２３ｂでは、特徴点を複数のフレーム間画像内に自動追跡するが、特徴点が消失するなどして特徴点の追跡フレーム数に制限が出てくることがある。また、画像は二次元であり、追跡途中で形状が変化するために追跡精度にも一定の限界がある。
そこで、特徴点追跡で得られるカメラベクトルを概略値と位置づけ、その後のプロセスで得られる三次元情報（三次元形状）を各フレーム画像上に追跡して、その軌跡から高精度カメラベクトルを求めることができる。
三次元形状の追跡は、マッチング及び相関の精度を得やすく、三次元形状はフレーム画像によって、その三次元形状も大きさも変化しないので、多くのフレームに亘って追跡が可能であり、そのことでカメラベクトル演算の精度を向上させることができる。これはカメラベクトル演算部２３ｃにより概略のカメラベクトルが既知であり、三次元形状が既に分かっているから可能となるものである。
【００５９】
カメラベクトルが概略値の場合、非常に多くのフレームに亘る三次元座標の誤差は、特徴点追跡による各フレームに関係するフレームが少ないので、誤差が累積して長距離では次第に大きな誤差になるが、画像の一部分を切り取ったときの三次元形状の誤差は相対的に少なく、形状の変化と大きさに及ぼす影響はかなり少ないものとなる。このため、三次元形状での比較や追跡は、二次元形状追跡の時よりも極めて有利となる。追跡において、二次元形状での追跡の場合、複数のフレームにおける形状の変化と大きさの変化を避けられないまま追跡することになるので、誤差が大きかったり、対応点が見つからないなどの問題があったが、三次元形状での追跡においては形状の変化が極めて少なく、しかも原理的に大きさの変化もないので、正確な追跡が可能となる。
【００６０】
ここで、追跡の対象となる三次元形状データとしては、例えば、特徴点の三次元分布形状や、特徴点の三次元分布形状から求められるポリゴン面等がある。
また、得られた三次元形状を、カメラ位置から二次元画像に変換して、二次元画像として追跡することも可能である。カメラベクトルの概略値が既知であることから、カメラ視点からの二次元画像に投影変換が可能であり、カメラ視点の移動による対象の形状変化にも追従することが可能となる。
【００６１】
以上のようにして求められたカメラベクトルは、全周ビデオカメラ機器部１１で撮影されたビデオ映像中に重ねて表示することができる。
例えば、図２１に示すように、車載カメラからの映像を平面展開して、各フレーム画像内の目的平面上の対応点を自動で探索し、対応点を一致させるように結合して目的平面の結合画像を生成し、同一の座標系に統合して表示する。
さらに、その共通座標系の中にカメラ位置とカメラ方向を次々に検出し、その位置や方向、軌跡をプロットしていくことができる。ＣＶデータは、その三次元位置と３軸回転を示しており、ビデオ映像に重ねて表示することで、ビデオ映像の各フレームでＣＶ値を同時に観察できる。ＣＶデータをビデオ映像に重ねた表示した画像例を図２１に示す。
なお、ビデオ映像内にカメラ位置を正しく表示すると、ＣＶ値が示すビデオ映像内の位置は画像の中心となり、カメラ移動が直線に近い場合は、すべてのフレームのＣＶ値が重なって表示されてしまうので、例えば図２１に示すように、敢えてカメラ位置から真下に１メートルの位置を表示することが適切である。あるいは道路面までの距離を基準として、道路面の高さにＣＶ値を表示するのがより適切である。
【００６２】
［第二実施形態］
次に、本発明の第二実施形態として、本発明に係る二次元図面と映像の合成表示装置において、抜けのない完全な全周映像を生成する完全全周映像生成装置について、図２２〜図２４を参照して説明する。
これらの図に示す本実施形態の二次元図面と映像の合成表示装置（完全全周映像生成装置）では、映像に合成すべき二次元図面を、映像の他フレームから切り取った画像（例えば路面画像）とし、全周映像におけるカメラ部分の抜けに他フレームからの画像をはめ込むことで、抜けのない完全全周映像を生成するようにしたものである。
カーナビゲーションシステムとしての利用を考えた場合、表示すべき映像としては、(1)従来技術の地図のみの表示、(2)上述した本発明の第一実施形態に係る全周映像の展開映像と地図のオルソ面合成の表示に加えて、(3)カメラ部分の抜けのない完全全周映像の表示が考えられる。
【００６３】
そして、全周映像を撮影・取得するために、道路を走行する車輌の屋根に全周カメラを積載し、周囲を撮影しながら道路面上を走行する場合、効率よく映像を取得するには、全周カメラの設置を映像の死角部分が概略鉛直下方向となるように設置するのが通常である。こうすることで、積載する車輌の大部分を死角内に含むことができるからである。
このとき、仮に抜けのない完全全周囲を撮影するカメラが存在したとしても、上記のカメラの死角部分に写るのは、カメラの一部と車輌部分であり、ナビゲーション映像としてはその部分は意味のない映像となる。
そこで、本実施形態では、上述した(3)の抜けのない完全全周映像を生成・表示するために、上記のような死角部分を利用して、車輌やカメラの映り込みではなく、ナビゲーションとして意味のある、抜けている路面そのものが映り込むような映像を生成し、さらに、全仰角全方位に対して抜けのない完全全周映像を生成するようにしたものである。
【００６４】
具体的には、以上のような完全全周映像を取得するために、本実施形態の二次元図面と映像の合成表示装置１Ａでは、取得した全周映像の他フレーム映像から、当該カメラ位置に対応する路面画像を切り取る、他フレーム路面切り取り部２７（図２２参照）を備え、二次元地図を他フレーム路面映像とすることで、映像の抜けの部分に実写の路面映像をはめ込むことで、完全な全周映像を生成するようにしてある。
すなわち、路面映像のはめ込みによる完全な全周映像の生成は、第一実施形態で示した映像への二次元地図合成の特殊な場合と捉えることができ、車輌等に積載して移動しながら撮影した全周映像から、その一部を切り取って加工し、フレームをずらせた映像と位置あわせをし、全周映像のカメラ部分及び抜けた部分に位置合わせ、平面合わせをしてはめ込むことにより、完全な全周映像とすることが可能となる。
【００６５】
完全に全周囲（立体角４πを含む映像）を映し出すカメラは存在しないため、カメラを車輌に積載し、道路上を走行して周囲を撮影することで取得した映像は、一般に道路面を含む視野の一部に欠損を生じる。
また、完全に全周囲を映し出すカメラが存在したとしても、カメラ及び周囲の機器、及び積載する車輌が映り込んで、目的の全周映像を取得することはできない。
このため、本実施形態では、完全な全周囲映像が取得できていない不完全な全周映像を元画像とし、第一実施形態で示したはめ込み画像となる二次元図面を、全周映像の欠損部分に相当する映像とする。そして、欠損部分の映像を他フレーム映像から取得して、第一実施形態における二次元地図と同様に処理することで、欠損部分を無くした完全全周映像を生成することができる。
なお、本実施形態では、欠損部分を道路面映像として説明するが、道路面以外であっても同様に完全全周映像として生成することができることは言うまでもない。
【００６６】
以下、本実施形態に係る穴の無い完全全周映像生成装置１Ａの具体的構成について説明する。
図２２において、空間情報取得部１１と合成表示部３０については、上述した第一実施形態の合成表示装置と同様である（図２参照）。
データ生成部２０は、第一実施形態の構成に加えて、他フレーム路面切り取り部２７を備えるとともに、映像オルソ変換部２５に代えて映像路面変換部２８を備えている。
【００６７】
他フレーム路面切り取り部２７は、全周ビデオ映像記録部２１のビデオ映像から、他フレームの路面映像を切り取り、これを第一実施形態における二次元地図と同等と扱って、全周映像と合成し、映像路面変換部２８を経て合成表示部３１で表示する。
ここで、合成平面は、全周映像の欠損部分の道路面に合致する平面とする。
また、第一実施形態における指示地点は、他のフレーム映像から生成した現地映像（欠損部分の映像）を全周映像の平面と方位と座標とを自動的に合致させることで対応させるようにする。
全周映像を取得した地点の欠損部分の面、方位、座標を他のフレーム映像から生成した欠損部分に対応する映像は、全周囲映像上の現地点の道路面、方向、座標と一致させて、それぞれを同一ビュア内に円滑に結合して合成して表示する。
これにより、それぞれを面と方向と座標との関係を保ったまま合成された欠損のない全周映像の視点方向を自由に変更表示することができる。
【００６８】
なお、完全全周映像を生成する際には、オルソ面に投影するのではなく、映像の道路面に切り取った他フレームの投影面を一致させて投影することが望ましく、このため、本実施形態では、第一実施形態で示した映像オルソ変換部２５に代えて、映像路面変換部２８を備えている。
但し、映像オルソ変換部２５により、そのままオルソ面に投影しても、やや正確さに欠け多少のずれが生じることになるが、それなりの映像は取得できる。従って、本実施形態においても、第一実施形態と同様に、映像オルソ変換部２５を備えるようにしてもよい。
【００６９】
以下、本実施形態の完全全周映像生成装置で生成・表示される映像の具体例を、図２３〜図２４を参照して説明する。
なお、本実施形態における他フレームの路面画像の合成処理は、第一実施形態で示した二次元地図の場合とまったく同様に行えるので説明は割愛し、第一実施形態と異なる他フレーム路面切り取り部２７における路面切り取り処理について図２３，図２４を参照して説明する。
上述したように、路面を走行して得られた全周映像を鉛直下方向に転回して得られた映像は、図２３で示すような映像１０１になる。
【００７０】
１０１は、概略鉛直方向に死角を合わせて撮影された全周映像であり、１０４がカメラ投影位置である。
この映像１０１中、死角部分は１０２の部分となる。また、鉛直下方も撮影できるカメラを用いたとしても、１０３（１０６）に示すように、車輌全体が写り混むことになり、いずれの場合にも道路面の一部が欠けた映像となる。
従って、この映像１０１においては、映像抜けの部分１０２と写り込んだ車輌の一部１０６が欠けた部分（無効部分）となり、これら１０２，１０６を除いた部分が有効部分となるが、本実施形態では、無効部分１０２，１０６を含む更に一回り大きな調整領域１０７を、他フレームからの切り取り映像のはめ込み領域としている。
【００７１】
図２３において、矢印１０５は車輌の進行方向を示しており、車輌の進行とともに、無効部分１０２，１０６の映像が現れることになる（図２４参照）。また、現時点以前の時刻にも、無効部分が現れている。
そこで、時間経緯と無効部分、及びその部分の切り取り及びはめ込みについて、一般化した任意の映像フレームＮを例にとって、図２４を参照しつつ説明する。
図２４（ａ）〜（ｃ）は、任意の映像フレームＮの切り取り部分を、映像フレームＭの無効部分にはめ込む場合の処理を模式的に示した説明図であり、図２４（ｄ）〜（ｆ）は、その実際の画像例である。
図２４（ａ）に示す映像２００ａの時点では、カメラは２０１の位置に有るが、車輌の進行とともにカメラは移動し、同図（ｂ）に示す映像２００ｂの時点では２０２の位置に移動している。
【００７２】
このカメラ位置２０２の時点の映像は、フレームはＮ＋Ｍの映像となる。
従って、２００ａと２００ｂの映像は、Ｍフレーム分のズレがある。
そこで、フレームＮ＋Ｍの映像２００ｂにおいて、死角を含む調整領域２２０に対応する部分として、フレームＮの映像２００ａ中の対応領域２１０を映像２００ａから切り取る。
このとき、映像２００ａと映像２００ｂの路面は同一平面であることが望ましく、そのためには、映像は揺れ止めされていることが望ましい。映像の揺れ止め方法としては、例えば、それぞれの映像路面の三次元位置及び姿勢の関係を計測して既知としておくことができる。この場合、絶対座標校正である必要はなく、相対的に関係が求められていればよい。
【００７３】
次に、位置と姿勢の関係が明らかになっている映像２００ａの切り取り部分２１０を、映像２００ｂに位置と姿勢を合わせて、第一実施形態の場合と同様にしてはめ込み（座標統合部２３，方位統合部２４参照）、映像２００ａと２００ｂとの合成映像２００ｃが完成する。
そして、これをすべてのフレームについて作業することにより、抜けのない完全全周映像が得られる。
図２４（ｄ）〜（ｆ）に、図２４（ａ）〜（ｃ）にそれぞれ対応した実際の映像例を示す。
【００７４】
以上のようにして、本実施形態の二次元図面と映像の合成表示装置１Ａによれば、抜けのない完全な全周映像の動画を実現できれば、映像としての価値が高まり、監視用として有効である。
なお、図２３及び図２４で示した車輌の一部の写り込みは、カメラの高さの調整で写り込まないようにすることも可能であるが、その場合でも、映像には同じ大きさの抜けが生じるため、本実施形態に係る他フレーム映像のはめ込み処理は有効である。
【００７５】
また、本実施形態では、道路面を切り取り、元映像と合成する場合を例にとって説明したが、切り取りはめ込む面は道路面に限らないことは言うまでもない。
すなわち、一般の映像の任意の一部を、他の重複する映像から切り取ってはめ込むことも、上述した道路面の場合と同様に行える。
例えば、ビルが新しく建て替えられた場合、旧映像のビル面を切り取り、対応する新映像の新しいビル面映像を切り取って、旧映像にはめ込むことも、路面のはめ込みとまったく同じと考えることができる。この場合は、路面又はオルソ面に対応する面としては、ビル面に一致する平面を指定すればよい。
【００７６】
また、本実施形態では、映像中の道路面が欠損している場合として説明したが、映像の一部が欠損している場合は様々であり、道路面とは限らない。欠損部分がビル面でも、川であっても、空の映像であってもまったく同様に考えられることは明らかである。
また、最終の合成映像が完全な全周映像でなく、通常の映像の欠損部分を他のフレーム画像で埋めることも同様に行える。
なお、全周ビデオ映像を取得するカメラは、車輌に積載しない場合でも、カメラを移動させることで同様の効果を得ることができる。また、カメラを積載しているのが、車輌ではなく、航空機や船舶等であっても同様であることは言うまでもない。
【００７７】
以上、本発明の二次元図面と映像の合成表示装置について、好ましい実施形態を示して説明したが、本発明に係る二次元図面と映像の合成表示装置は、上述した実施形態にのみ限定されるものではなく、本発明の範囲で種々の変更実施が可能であることは言うまでもない。
例えば、上述した実施形態においては、本発明の二次元図面と映像の合成表示装置の適用対象として、カーナビゲーション装置や歩行者ナビげーション装置，ＰＣ等を想定して説明したが、本発明に係る地図と映像の合成表示は、どのような装置やディスプレイにも応用できるものであり、その用途・使用方法等も特に限定されるものでないことは言うまでもない。
【００７８】
また、上記実施形態では、二次元地図を合成する映像として、全周カメラ等で撮影される全周映像を例に取ったが、映像としては、例えばCG映像としてもよく、全周映像の場合と同様の効果が得られる。
また、合成表示として、ビュア面を分割して表示したり、重複合成して表示できることは言うまでもない。
【産業上の利用可能性】
【００７９】
本発明は、例えば、自動車に搭載されるカーナビゲーション装置に備える地図や映像を表示する表示装置として好適に利用することができる。
【図面の簡単な説明】
【００８０】
【図１】本発明の第一実施形態に係る二次元図面と映像の合成表示装置の基本構成を示すブロック図である。
【図２】図１に示す二次元図面と映像の合成表示装置の詳細を示すブロック図である。
【図３】本発明の第一実施形態に係る二次元図面と映像の合成表示装置の全周ビデオ映像機器部を移動体に搭載した状態を示す概略図であり、屋根部に全周カメラを搭載した車輌の斜視図である。
【図４】本発明の第一実施形態に係る二次元図面と映像の合成表示装置の全周ビデオ映像機器部を移動体に搭載した状態を示す概略図であり、（ａ）は屋根部に全周カメラを搭載した車輌の正面図、（ｂ）は同じく平面図である。
【図５】全周カメラで撮影される映像から得られる変換画像を示す説明図であり、（ａ）は球面画像が貼り付けられる仮想球面を、（ｂ）は仮想球面に貼り付けられた球面画像の一例を、（ｃ）は（ｂ）に示した球面画像をメルカトール図法に従って平面展開した画像を示している。
【図６】本発明の第一実施形態に係る二次元図面と映像の合成表示装置で生成・変換されるオルソ面と道路面の関係を示す説明図である。
【図７】本発明の第一実施形態に係る二次元図面と映像の合成表示装置で生成・表示される地図と映像の合成画像の一例であり、あおりのない標準位置の合成画像である。
【図８】本発明の第一実施形態に係る二次元図面と映像の合成表示装置で生成・表示される地図と映像の合成画像の一例であり、標準位置から下向きにあおりのある合成画像である。
【図９】本発明の第一実施形態に係る二次元図面と映像の合成表示装置で生成・表示される地図と映像の合成画像の一例であり、地図がリニアスケールで表示された下向きの合成画像である。
【図１０】本発明の第一実施形態に係る二次元図面と映像の合成表示装置で生成・表示される地図と映像の合成画像の一例であり、標準位置から横向きに回転した合成画像である。
【図１１】本発明の第一実施形態に係る二次元図面と映像の合成表示装置で生成・表示される地図と映像の合成画像の一例であり、全周映像をメルカトール図法により展開した合成画像である。
【図１２】本発明の一実施形態に係る二次元図面と映像の合成表示装置の座標統合部として機能するＣＶデータ演算部の基本構成を示すブロック図である。
【図１３】本発明の一実施形態に係るＣＶデータ演算部おける具体的なカメラベクトルの検出方法を示す説明図である。
【図１４】本発明の一実施形態に係るＣＶデータ演算部における具体的なカメラベクトルの検出方法を示す説明図である。
【図１５】本発明の一実施形態に係るＣＶデータ演算部における具体的なカメラベクトルの検出方法を示す説明図である。
【図１６】本発明の一実施形態に係るＣＶデータ演算部によるカメラベクトルの検出方法における望ましい特徴点の指定態様を示す説明図である。
【図１７】本発明の一実施形態に係るＣＶデータ演算部により得られる特徴点の三次元座標とカメラベクトルの例を示すグラフである。
【図１８】本発明の一実施形態に係るＣＶデータ演算部により得られる特徴点の三次元座標とカメラベクトルの例を示すグラフである。
【図１９】本発明の一実施形態に係るＣＶデータ演算部により得られる特徴点の三次元座標とカメラベクトルの例を示すグラフである。
【図２０】本発明の一実施形態に係るＣＶデータ演算部において、カメラから特徴点の距離に応じて複数の特徴点を設定し、複数の演算を繰り返し行う場合を示す説明図である。
【図２１】本発明の一実施形態に係るＣＶデータ演算部求められたカメラベクトルの軌跡をビデオ映像中に表示した場合の図である。
【図２２】本発明の第二実施形態に係る二次元図面と映像の合成表示装置（完全全周映像生成装置）の基本構成を示すブロック図である。
【図２３】図２２に示す二次元図面と映像の合成表示装置で切り取り・はめ込み処理される画像を模式的に示す説明図である。
【図２４】（ａ）〜（ｃ）は、図２２に示す二次元図面と映像の合成表示装置で行われる切り取り・はめ込み処理を模式的に示す説明図であり、（ｄ）〜（ｆ）は、（ａ）〜（ｃ）に示す説明図に対応した実際の画像例である。
【符号の説明】
【００８１】
１ 二次元図面と映像の合成表示装置
１０ 空間情報取得部
１１ 全周ビデオカメラ機器部
２０ データ生成部
２１ 全周ビデオ映像記録部
２２ 二次元地図部
２３ 座標統合部（ＣＶデータ演算部）
２４ 方位統合部
２５ 映像オルソ変換部
２６ はめ込み部
３０ 合成映像表示部
３１ 合成表示部
【技術分野】
【０００１】
本発明は、車輌や船舶，航空機等の移動体や歩行者の進行方向や現在状況等をガイドするためのナビゲーション装置等で利用可能な地図と映像の合成表示装置に関し、特に、全周囲映像や３ＤＣＧと、二次元図面としての地図とを単一画像として合成表示し、また、合成すべき二次元図面を映像から生成する二次元図面と映像の合成表示装置に関する。
【背景技術】
【０００２】
一般に、カーナビゲーション装置においては、ＧＰＳや自律航法などの手段によって車輌等のカーナビ装置を搭載した移動体の位置が検出され、地図上に当該車輌の現在位置を示すマーカ（ポインタ）が表示されるようになっている。
ところが、従来のカーナビゲーション装置においては、グラフィクスデータからなる地図を画像表示のベースとしているため、その地図上に表示されるマーカによって自車位置を認識することはできるものの、実際の風景についてはその地図データに予め記述されているものしか表示されない。このため、例えば見過ごしやすい交差点などの周囲の状況を通過前の早い時期に的確に把握することは困難であった。また、通常地図データには交差点名、店などのデータは特定の物しか入っておらず、利用者にとって必ずしも使いやすいものではなかった。
【０００３】
そこで、これまで、風景を撮影した映像を動画などの映像データとしてＤＶＤなどの大容量蓄積メディアに格納しておき、その映像データを現在位置などに対応付けて画面表示できるようにし、利用者にとってより使いやすい画像を提供することが可能なナビゲーション装置が提案されている（例えば、特許文献１−３参照。）。
このようなナビゲーション装置によれば、従来からのカーナビゲーション装置にＤＶＤビデオフォーマットのビデオデータを扱う機能を設け、撮影した風景映像を自車の位置などに対応させて表示できるようにしたことにより、実際の周囲の状況を通過前の早い時期にリアルな映像で利用者に提示できるようになり、利用者にとってより使いやすい画像を提供することが可能となった。
【０００４】
【特許文献１】特開平１０−０８９９７８号公報（第３−４頁、第３図）
【特許文献２】特開２００１−１６５６７８号公報（第３−４頁、第３図）
【特許文献３】特開２００２−１４８０６２号公報（第３−４頁、第３図）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
このような従来のナビゲーション装置では、同一画面に地図と映像が表示されることで、現在位置や周囲の状況等について、ある程度は直感的な理解が可能となった。
しかしながら、二次元の地図と遠近法で表示される三次元映像とを同一の画面上に分割して表示するだけでは、対応する位置や建物，方位等について両者の関係を直ちに理解することは困難であった。
また、同時表示される映像の視点方向と地図の方位、その位置関係の関連性の表現も十分ではなかったため、映像と地図の相互関係を明確に理解するにはいまだ問題があった。
さらに、同一画面上に地図と映像を同時に表示すると、単独表示では十分の大きさであった画像が、同時に表示されることでそれぞれが小さなものとなってしまい、映像，地図ともに十分な解像度で表示することが困難となるという問題も生じた。
【０００６】
本発明は、以上のような従来の技術が有する問題を解決するために提案されたものであり、映像と地図に代表される二次元図面が示す場所及び視点方向を三次元的に合致させて表示することにより、映像と二次元図面としての地図を両者の関係が直感的に理解可能な単一の合成画像として表示することができるとともに、二次元図面としての地図と映像それぞれを十分な大きさと解像度をもって表示させることができる二次元図面と映像の合成表示装置の提供を目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本発明の二次元図面と映像の合成表示装置は、請求項１に記載するように、映像と二次元図面とを同一画面に合成表示する合成表示装置であって、表示される映像を構成する三次元空間の中に合成平面を指定し、前記合成平面を当該映像の中に投影し、前記合成平面が投影された投影平面に、合成表示すべき二次元図面を合致させ、当該映像を取得した時点のカメラの位置座標及び映像表示時点の方位と、二次元図面上の指示地点の位置座標及び表示時点の方位とを一致させて連続表示する構成としてある。
【０００８】
また、本発明の二次元図面と映像の合成表示装置は、請求項２に記載するように、前記映像が、予め記録された動画映像又は連続静止画像で、場所を特定するにふさわしい広角背景映像からなり、前記二次元図面が、前記映像を取得したカメラ位置を示す現地点を含み、当該現地点と進行方向を示す矢印等を印した地図からなり、前記合成平面が、前記映像から求められるオルソ面に平行な道路面近傍の平面からなり、前記指示地点が、現地点からなり、前記オルソ面と前記地図面とを合致させ、当該映像を取得した時点のカメラの位置座標及び映像表示時点の方位と、地図上の現地点の位置座標及び地図表示時点の方位とを一致させて、それぞれを同一ビュア内に領域分割合成または重複合成して表示し、機器操作に応じて前記合成表示された地図と映像との座標と方位との関係を保ったまま視点方向を変更表示する構成としてある。
【０００９】
さらに、本発明の二次元図面と映像の合成表示装置は、請求項３に記載するように、前記映像が、道路上を走行する車輌に積載されたカメラによって撮影される全周映像であって、道路面を含む視野の一部に欠損がある不完全な全周映像からなり、前記二次元図面が、前記全周映像の欠損部分に相当する他フレーム映像による道路面映像からなり、前記合成平面が、前記全周映像の欠損部分の道路面に合致する平面からなり、前記全周映像の欠損部分に対応する映像を、前記他のフレーム映像から生成するとともに、当該映像を前記全周映像の道路面に一致させ、その方位及び座標を一致させて、当該全周映像とともに同一ビュア内に結合して合成表示し、合成映像の視点方向を、それぞれの面と方位と座標との関係を保ったまま自由に変更表示する構成としてある。すなわち、請求項３では、請求項１及び請求項２の二次元地図を欠損部分映像に対応させ、同様に請求項１及び請求項２の映像を視野欠損のある不完全な全周映像に対応させたことを特徴とするものである。
【発明の効果】
【００１０】
このような構成からなる本発明の二次元図面と映像の合成表示装置によれば、ディスプレイ上に表示される三次元映像から所定のオルソ面を求め、求められた当該オルソ面に二次元地図をはめ込むことにより、映像と地図が示す場所及び視点方向を三次元的に合致させた合成画像として、映像と地図を同時に表示することができる。
これにより、映像と地図とを、両者の関係が直感的に理解できる滑らかな合成画像として同一画面に表示することができ、また、地図と映像それぞれを十分な大きさと解像度をもって表示させることができる。
【００１１】
さらに、本発明では、合成すべき二次元図面の特殊な場合として、車輌等に積載して移動しながら撮影した全周映像から、その一部を切り取って加工し、フレームをずらせた映像と位置あわせをし、全周映像のカメラ部分及び抜けた部分にはめ込むことにより、完全な全周映像とすることができる。
本発明において、二次元地図をはめ込む三次元映像としては、車輌等の全周囲を示す全周囲映像を用いることが好ましい。ところが、全周囲映像を表示した場合には、カメラの原理から、視界の一部にカメラ自身が写り込んでしまうことが避けられず、カメラ部分が抜けた不完全な全周映像となる。
そこで、本発明では、カメラ部分又は映像の抜けた部分に、二次元画像をはめ込むことで、穴の無い完全な全周映像を生成・表示することができる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明に係る二次元図面と映像の合成表示装置の好ましい実施形態について、図面を参照しつつ説明する。
ここで、以下に示す本発明の二次元図面と映像の合成表示装置は、プログラム（ソフトウェア）の命令によりコンピュータで実行される処理，手段，機能によって実現される。プログラムは、コンピュータの各構成要素に指令を送り、以下に示すような所定の処理や機能、例えば、映像中からの特徴点の自動抽出，抽出した特徴点の自動追跡，特徴点の三次元座標の算出，カメラベクトルの演算，オルソ面変換，映像と二次元図面の合成等を行わせる。このように、本発明における各処理や手段は、プログラムとコンピュータとが協働した具体的手段によって実現される。
なお、プログラムの全部又は一部は、例えば、磁気ディスク，光ディスク，半導体メモリ，その他任意のコンピュータで読取り可能な記録媒体により提供され、記録媒体から読み出されたプログラムがコンピュータにインストールされて実行される。また、プログラムは、記録媒体を介さず、通信回線を通じて直接にコンピュータにロードし実行することもできる。
【００１３】
［基本概念］
まず、本発明に係る二次元図面と映像の合成表示装置の基本概念について説明する。
本発明の二次元図面と映像の合成表示装置（図１〜２参照）は、カーナビ装置や歩行者ナビ装置等に備えられ表示装置であって、表示画像（図７〜１１参照）として地図と映像を同一画面にオルソ面、又は指定の平面を一致させ、方位も一致させて表示するための装置である。
映像と二次元図面としての地図とを同一画面に表示するには、単に両者を並べるだけでは、直感的に理解しやすい単一の画像とはならない。すなわち、映像と地図を滑らかな単一画像とするためには、地図と映像で表示している場所及び視点方向を、三次元的に合致させて表現する必要がある。
また、地図と映像は、それぞれが十分な大きさと解像度をもって表示されなければ、ナビゲーション用の地図や映像として機能させることができない。
【００１４】
そこで、本実施形態では、二次元の地図と合成する映像として、車輌等の移動体の３６０度の全周囲を撮影した全周映像（図３〜５参照）か、又は全周映像に近い広角映像を用いて、その全周映像を視点方向に平面展開することにより、地図と映像の合成画像を生成・表示するようにしてある。
全周映像の平面展開とは、全周映像を、通常の画像として遠近法的に表現するものである。ここで、「遠近法」と呼称するのは、全周画像のそのものはメルカトール図法や球面投影図法のように、遠近法とは異なる方法で表示されているので（図５参照）、これを平面展開表示することで、通常の遠近法映像に変換表示できるからである。
【００１５】
そして、このように全周映像から生成される遠近法映像において、オルソ面又は道路面の中に二次元地図を埋め込む形で合成し、かつ、方位を合致させて表示する。このようにすることで、カーナビゲーション装置等におけるナビゲーション機能に直接関係しない道路映像部分に、地図をはめ込む形で合成することが可能となり（図７〜１１参照）、合成する映像，地図ともに、画像を縮小することなく同一ディスプレイ上に分割して表示することが可能となり、かつ、この直感的な地図と映像の合成画像を十分な大きさと解像度をもって表示できることになる。
なお、地図と合成する映像として、三次元ＣＧから生成した二次元の平面画像（３ＤＣＧを画面に表示するときには既に二次元の平面画像となっている）を使用することもでき、二次元の地図を合成表示する場合にも、全周映像の場合と同様にして同一画面での合成表示が可能である。
また、映像と合成する二次元図面として、ＣＧ化された地図でも合成表示が可能である。カーナビゲーション装置ではデジタル地図が用いられるが、デジタル地図は二次元図面であり、そしてＣＧ地図であり、合成表示が可能である。
【００１６】
ここで、地図と合成する映像としては、どのような映像でもよいが、画角の限られた映像では視点方向を移動した場合に映像がとぎれてしまうので、全周映像（図３〜５参照）とすることが望ましい。なお、動画映像は連続する静止画と同様であり、静止画と同様に扱うことができる。
また、映像は、一般には予め記録した動画映像を使うことになるが、自動車等の移動体の移動に合わせてリアルタイムに取り込んだ映像を使用することも勿論可能である。
一方、映像と合成する地図としては、例えば、既存のカーナビゲーション装置に備えられる二次元の地図が相当する。
そして、このような全周映像から生成される遠近法映像のオルソ面に二次元地図を埋め込む形で合成する（図７〜１１参照）。地図は二次元ＣＧとして扱えば、ＣＧと映像の合成として合成処理が行える。
【００１７】
地図をはめ込む映像中の「オルソ面」とは、水平面と置き換えても同じ意味であり、水平面は自動車や人が移動する道路面に近いので、道路面で代用することができる。
そして、このオルソ面は、後述するように、例えばCV（カメラベクトル）値を用いて、全周映像から「オルソ面に平行な道路近傍平面」を直接求めることができる。
なお、道路面は必ずしも水平ではないから、道路面と「オルソ面に平行な道路近傍平面」とは常には一致しないが、道路面で代用することは十分可能であり、道路面を正確に指定するか、又はオルソ面と道路面を同一視しても近似的には十分である。
このオルソ面と道路面，オルソ面に平行な道路近傍平面，地図面との関係を図６に示す。
また、特殊な場合として、動画のあるフレームの道路面映像から、異なるフレームの道路面映像を生成して、欠けている映像部分にはめ込むことができるが（本発明の第二実施形態）、この場合には、オルソ面ではなく、ある道路平面を同一の道路平面に変換することになり、オルソ面を意識せずに、道路面を主体と考えればよい。
【００１８】
［第一実施形態］
次に、本発明に係る二次元図面と映像の合成表示装置の第一実施形態について、図面を参照しつつ具体的に説明する。
図１は、本発明の第一実施形態に係る二次元図面と映像の合成表示装置の基本構成を示すブロック図である。また、図２は、図１に示す二次元図面と映像の合成表示装置の詳細を示すブロック図である。
これらの図に示す本実施形態の二次元図面と映像の合成表示装置１は、映像と地図（画像を含む）を合成する装置であって、具体的には、空間情報取得部１０と、データ生成部２０と、合成映像表示部３０を備えている。
【００１９】
具体的には、まず、空間情報取得部１０は、図２に示すように、ＣＶデータを取得する目的で、走行車輌等の移動体に固定され、移動体の移動とともに移動体周辺を撮影し、映像を取得する全周ビデオカメラ機器部１１を備える。
なお、空間情報取得部１０には、その位置座標を取得する目的で、位置計測機器部１２を備えることができる（図２参照）。位置計測器基部１２としては、本出願人が先に提案しているＣＶ演算（特願２００４−２９１３５３号公報参照）による方法や、絶対座標を取得するＧＰＳ機器単独やＩＭＵ機器を付加したもの等により構成することができる。
【００２０】
ここで、全周カメラが備えられる移動体としては、図３及び図４に示すように、自動車のような走行車輌が該当し、移動体２の天井部等に映像取得様のビデオカメラ機器部１１が備えられる。
なお、図３，図４に示す例では、移動体２に搭載される全周ビデオカメラ機器部１１として、走行する移動体２の周辺の広範囲映像を撮影可能な全周カメラ１１ａを備えている。広範囲映像を撮影，取得するカメラとしては、広角レンズや魚眼レンズ付きカメラ、移動カメラ、固定カメラ、複数のカメラを固定したカメラ、３６０度周囲に回転可能なカメラ等があり、車輌に複数のカメラが一体的に固定され、移動体２の移動に伴って広範囲映像を撮影する全周カメラ１１ａを使用することができる。
【００２１】
全周カメラ１１ａによれば、図４に示すように、移動体２の天井部に設置されることで、カメラの３６０度全周囲の映像を複数のカメラで同時に撮影することができ、移動体２が移動することで、広範囲映像を動画データとして取得できる。
ここで、全周カメラは、カメラの全周映像を直接取得できるビデオカメラであるが、カメラの全周囲の半分以上を映像として取得できれば全周映像として使用できる。また、画角が制限された通常のカメラの場合でも、ＣＶ演算の精度としては低下するが、全周映像の一部分として取り扱うことが可能である。
【００２２】
なお、全周カメラ１１ａで撮影された広範囲映像は、一枚の画像として、撮影時の画角に一致する仮想球面に貼り付けることができる。仮想球面に貼り付けられた球面画像データは、仮想球面に貼り付けた状態の球面画像（３６０度画像）データとして保存・出力される。仮想球面は、広範囲映像を取得するカメラ部を中心点とした任意の球面状に設定することができる。
図５（ａ）は球面画像が貼り付けられる仮想球面の外観イメージであり、同図（ｂ）は仮想球面に貼り付けられた球面画像の一例である。また、同図（ｃ）は、（ｂ）の球面画像をメルカトール図法に従って平面展開した画像例を示す。
【００２３】
データ生成部２０は、図２に示すように、全周ビデオ映像記録部２１を備え、空間情報取得部１０の全周ビデオカメラ機器部１１による映像を記録するとともに、記録されたビデオ映像の位置座標として、位置座標計測機器部１２で計測された位置データを記録する。
さらに、データ生成部２０は、映像と合成される二次元地図を格納した二次元地図部２２を備えるとともに、座標統合部２３，方位統合部２４，映像オルソ変換部２５，はめ込み部２６の各部を備えている。
全周ビデオ映像記録部２１は、空間情報取得部１０の全周ビデオカメラ機器部１１によって得られた全周ビデオ映像と位置計測機器部１２による位置座標を任意の記録媒体に記録する記録手段である。
二次元地図部２２は、地図上に記載された各地点の二次元座標が既知として与えられた地図を格納している。
なお、後述する第二実施形態で示すように、穴の無い完全全周映像を生成する場合には、二次元地図部２２の地図を他フレーム映像から切り取った路面画像とすればよい（図２２〜図２４参照）。
【００２４】
座標統合部２３は、全周ビデオ映像記録部２１で記録された映像と、二次元地図部２２に格納された地図の座標統合を行う。この座標統合部２３により、地図と映像の座標合わせが完了したことになる。
方位統合部２４は、座標統合後に方位を合致させて統合する。
映像オルソ変換部２５は、全周ビデオ映像から得られた画像をオルソ面に平面展開して、地図の方位と合致させる。
ここで、「オルソ面」とは、地上の三次元形状を海抜０メートル面に投影した二次元の面をいい、それはまさに地図面そのものである。
また、一般に道路には多少の傾斜があるので、道路面そのものがオルソ面に平行でない場合もあるが、ナビゲーション装置で表示される映像は、測量等で要求される程の精度は必要ないので、近似的には道路面を地図面として扱ってもよい。
【００２５】
そこで、映像オルソ変換部２５では、全周ビデオ映像の三次元座標を、「オルソ面に平行な道路近傍平面」に変換する。
映像のオルソ面を検出するには、全周映像を鉛直真下方向に平面変換して、地図と合成することで得られる。ここで映像の真下映像を検出する必要があるが、一般には真下は道路に垂直な方向で近似できるが、正確に真下を検出するには、全周映像に後述するＣＶ演算処理を施し、カメラの３軸回転姿勢を検出し、その後に鉛直真下への平面変換を行うと精度が高く有利である。
オルソ面と道路面，オルソ面に平行な道路近傍平面，地図面との関係を図６に示す。
【００２６】
地図とは本来道路等の三次元座標を海抜０メートルのオルソ面に投影したものであるから、直感的に良く理解できる合成映像が生成できる。
また、全周映像は方位と仰角を持っているが地図は方位のみを持っている。
そこで、それぞれの方位を等しくして表示することで、直感的に理解しやすい映像と地図との合成ができることになる。
換言すれば、地図は仰角がないが、地図の仰角を付加して映像の仰角と合致させることで、直感的に理解しやすい映像と地図の合成ができるものである。
【００２７】
はめ込み部２６はオルソ変換された映像の所定の位置に地図（オルソ面そのもの）をはめ込む処理を行う。
なお、この段階では、映像と地図は位置関係が決定されただけであり、未だ映像と地図との二種類のデータである。
【００２８】
そして、以上のようにしてはめ込まれた二種類のデータを合成して、同一の合体した画像として表示するのが合成表示部３１である。
ここでは、路面の地図平面と、データ生成部２０で得られた映像の「オルソ面に平行な道路近傍平面」とを合致させ、それぞれの方位をも合致させて合成表示する。この場合、ナビゲーションという目的から、映像の道路部分に地図を貼り付けることで、視覚的に有効な合成画像を生成・表示することができる。
【００２９】
また、表示された合成画像は、回転ボールやマウス等のポインティング・デバイス，操作機器の入力操作に応じて、上下左右の任意の向きに回転させることができる。
また、ナビゲーションに用いる目的に応じて、当然の事ながら現地点よりも多少先の地点や、途中通過地点、目的地点等の映像を合成表示することも可能である。
【００３０】
以下、二次元図面と映像の合成表示の例として、全周映像にナビゲーション地図を合成し、任意の視点方向で平面表示した例を図７〜１１に示す。
図７は、合成画像の標準位置を示す図であり、三次元映像は移動体等の進行方向に対して正面向いて、所謂「あおり」のない位置となっている。
そして、このとき地図は、遠近法で表示されスケールの直線性は無いが、俯瞰図となり、図７に示すように、直感的に遠近が理解できる映像となる。この標準位置では映像と地図がどちらも適切に観察できる。
【００３１】
ここで、「あおり」とは、写真用語で「カメラの光軸方向を変化させる」ことをいい、対象物の平行部分の関係が変化することを指す。例えば「あおりをつける」という場合、カメラ光軸を多少上向きに撮影すると、ビルは上の方向で狭く、下で広く写ることになる。この状況を「あおりをつける」といいう。
本実施形態では、三次元映像で「あおり」がつかないものを標準位置とし、「あおり」がついたものを標準位置からのバリエーションとして説明する。
【００３２】
標準位置から回転ボールやマウス等のポインティング・デバイス，操作機器による入力操作に応じて、画像を下向きに回転させると、図８に示すように、画像は次第に下向きのあおりのある合成画像になる。
地図を優先的に観察したい場合は、例えば回転ボール操作により画像を下側に回転させると、画像は更に下向きの映像になり、図９に示すように、地図がそのままリニアスケールで表示される場所まで回転することができる。
また、ポインティング・デバイスの入力操作で画像を横向きに回転させることで、図１０に示すように、横向きの映像と地図との合成画像が得られる。
この時、映像と地図の方位は合致しているので、見やすい合成画像となる。
【００３３】
以上のようにして、本実施形態の二次元図面と映像の合成表示装置１によれば、映像と地図とを、滑らかな単一画像に合成して、一つのディスプレイ上に同時表示することができる。
映像に合成される地図は、従来のナビゲーション地図と現地点を示す印そのものであり、本実施形態における映像と地図の合成は、全周映像と従来ナビゲーション地図の合成ということになる。なお、地図縮尺は映像に関係なく設定でき、関係づけることもできる。
一般に、全周映像には、どうしても死角による映像の抜けが生じるが、地図をこの抜けに合わせて合成することで、抜けを隠す目的も果たすことができる。
【００３４】
また、地図の合成により全周映像の一部が削除されることになるが、このことで近くの車輌等の映像も同時に削除できることになるので、ナビゲーションにはむしろ有利に働くことになる。
すなわち、記録・撮影された映像中の他の車輌の映像はナビゲーションには必要ないものであり、また、近くの車輌のナンバープレートも地図で隠されることになり、結果的に肖像権等の問題も生じない。
なお、道路面の大半が隠されることになり、車線等の道路表示も同時に隠されることになるが、ナビゲーションに道路表示が必要な場合は、ディスプレイ上の道路映像面以外の表示面に表示するか、３ＤＣＧ化した道路表示を映像に重ねて表示することができる。また、合成した地図を拡大表示して、地図側の道路面に道路表示を表示することがより適切である。
【００３５】
さらに、映像と地図の合成により、映像中の道路のかなりの部分が二次元地図によって隠されるため、映像の記録容量を減少させることも可能となる。
ナビゲーションにおいて必要な情報は、道路面映像ではなく、場所の特定に大きく係わる周囲のビル・建物等の背景映像であるから、路面が地図で隠されることは却って好都合となる。
このようにして、本実施形態の二次元図面と映像の合成表示装置１によれば、映像と地図とのオルソ面一致合成法によって、多くの相乗効果が期待できる。
【００３６】
例えば、図５に示したように、全周画像（図５（ｂ））をメルカトール図法により展開すると図５（ｃ）に示すような画像になるが、この画像は、地図がはめ込まれる部分を除いて記録すればよいことになり、記録データ量を減少させることができ、映像データ記録の上でかなり有利となる。
図１１にメルカトール図法により展開された画像に二次元地図を合成した場合の画像例を示す。
ここで、上述のように、地図平面と映像の「オルソ面に平行な道路近傍平面」とは同一とし、方位も合致させるとしたが、高縮尺での方位は常に進行方向を示すのが適切な場合には、操作機器の入力に応じて、映像のみ方位が変更され、地図はそのままの方位を示すことも可能である。
【００３７】
また、ディスプレイ上に表示された地図と映像を同時に記録する場合には、例えば、図１１に示したようなメルカトール図法で展開して一枚の画像として記録するのが有利となる。
但し、図１１における映像部分と地図部分の比率は、地図と映像の情報の比率でもあるが、記録する場合を除いて、地図をメルカトールに展開する必然性はない。
なお、以上説明したような本実施形態に係る映像と地図の合成表示は、カーナビや歩行者ナビ，携帯ナビ，ＰＣ上でのナビ等に好適に利用できるが、これらの用途に限定されるものではなく、地図と映像を同時に映し出す様々なディスプレイ上で、利用可能であることは当然のことである。
【００３８】
［ＣＶデータ演算］
次に、以上のような二次元図面と映像の合成表示装置１における地図と映像の合成処理において、高い精度でオルソ面を生成する場合に用いられるＣＶ演算の詳細について図１２〜図２１を参照しつつ説明する。
ここで、ＣＶ演算とはＣＶ値を求めることを意味し、求められた結果をＣＶ値，ＣＶデータと呼ぶ。ＣＶという表記は、カメラベクトル：Camera Vectorの略記であり、カメラベクトルとは計測等のために映像を取得するビデオカメラ等のカメラの三次元位置と３軸回転姿勢を示す値である。
ＣＶ演算は、動画像（ビデオ映像）を取得し、その映像内の特徴点を検出し、それを隣接する複数のフレームに追跡し、カメラ位置と特徴点の追跡軌跡とが作る三角形を画像内に数多く生成し、その三角形を解析することで、カメラの三次元位置とカメラの３軸回転姿勢を求めるものである。
【００３９】
ＣＶ演算では、ＣＶ値を求める過程で、同時に映像内の特徴点についても三次元座標が同時に求まることが重要な特性である。
また、動画像から演算で求められるＣＶ値は、動画像の各フレームに対応して、三次元のカメラ位置と三次元のカメラ姿勢とが同時に求まる。しかも、原理的には一台のカメラで、映像と対応してＣＶ値が求められる特性は、ＣＶ演算でしか実現し得ない、優れた特徴である。
例えば、他の方法による計測手段（ＧＰＳやＩＭＵ等）では、動画像の各フレームと、その三次元的カメラ位置と三次元的カメラ姿勢とを同時に取得するためには画像フレームと計測サンプリング時刻を高精度で、しかも完全に同期しなければならないために、巨額の装置となり、実質的には実現が困難である。
【００４０】
動画像から演算で求められるＣＶデータは、加工しない段階では相対値であるが、短区間であれば高精度で三次元位置情報と３軸回転の角度情報を取得できる。
また、ＣＶデータは画像から取得するため、取得されたデータは相対値であるが、画像内の任意の対象物との位置関係を計測することができるという他の方法では実現は可能な優れた特性を備える。
また、画像に対応したＣＶ値が求まるので、画像内計測や測量において、画像から直接にカメラ位置とその３軸回転姿勢を求めることができるＣＶ演算は画像内計測や画像内測量に好適となる。
そして、本実施形態の二次元図面と映像の合成表示装置１では、このＣＶ値データに基づいて三次元映像と二次元地図の合成表示処理を行うものである。
【００４１】
ＣＶ演算は、上述したデータ生成部２０の座標統合部２３における処理として行われる。具体的には、図１２に示すＣＶデータ演算部２３が、図２に示した二次元図面と映像の合成表示装置１の座標統合部２３として機能する。
ＣＶデータ演算部２３は、図１２に示すように、特徴点抽出部２３ａと、特徴点対応処理部２３ｂと、カメラベクトル演算部２３ｃと、誤差最小化部２３ｄと、三次元情報追跡部２３ｅと、高精度カメラベクトル演算部２３ｆを備えている。
【００４２】
特徴点抽出部２３ａは、移動体計測部１０のビデオカメラ機器部１１で撮影されビデオ映像記録部２１に一時記録された動画像データの中から、十分な数の特徴点を自動抽出する。
特徴点対応処理部２３ｂは、自動抽出された特徴点を、各フレーム間で各フレーム画像内において自動的に追跡することで、その対応関係を自動的に求める。
【００４３】
三次元情報追跡部２３ｅは、カメラベクトル演算部２３ｃで得られたカメラベクトルを概略のカメラベクトルと位置づけ、その後のプロセスで順次画像の一部として得られる三次元情報に基づいて、複数のフレーム画像に含まれる部分的三次元情報を隣接するフレームの画像に沿って自動追跡を行う。ここで、三次元情報（三次元形状）とは、主に特徴点の三次元分布情報であり、すなわち、三次元の点の集まりであり、この三次元の点の集まりが三次元形状を構成する。
高精度カメラベクトル演算部２３ｆは、三次元情報追跡部２３ｅで得られた追跡データに基づいて、カメラベクトル演算部２３ｃで得られるカメラベクトルより、さらに高精度なカメラベクトルを生成，出力する。
そして、以上のようにして得られたカメラベクトルから精度の高い鉛直方向および方位が求められ、上述したデータ生成部２０の位統合部２４に入力され、オルソ変換を含む映像と地図の合成処理に利用されることになる。
【００４４】
複数の画像（動画又は連続静止画）の特徴点からカメラベクトルを検出するには幾つかの方法があるが、図１２に示す本実施形態のＣＶデータ演算部２３では、画像内に十分に多くの数の特徴点を自動抽出し、それを自動追跡することで、エピポーラ幾何学により、カメラの三次元ベクトル及び３軸回転ベクトルを求めるようにしてある。
特徴点を充分に多くとることにより、カメラベクトル情報が重複することになり、重複する情報から誤差を最小化させて、より精度の高いカメラベクトルを求めることができる。
【００４５】
ここで、カメラベクトルとは、カメラの持つ自由度のベクトルをいう。
一般に、静止した三次元物体は、位置座標（Ｘ，Ｙ，Ｚ）と、それぞれの座標軸の回転角（Φｘ，Φｙ，Φｚ）の六個の自由度を持つ。従って、カメラベクトルは、カメラの位置座標（Ｘ，Ｙ，Ｚ）とそれぞれの座標軸の回転角（Φｘ，Φｙ，Φｚ）の六個の自由度のベクトルをいう。なお、カメラが移動する場合は、自由度に移動方向も入るが、これは上記の六個の自由度から微分して導き出すことができる。
このように、本実施形態のカメラベクトルの検出とは、カメラは各フレーム毎に六個の自由度の値をとり、各フレーム毎に異なる六個の自由度を決定することである。
【００４６】
以下、ＣＶデータ演算部２３における具体的なカメラベクトルの検出方法について、図１３以下を参照しつつ説明する。
まず、上述した空間情報取得部１０の全周ビデオカメラ機器部１１で取得された画像データは、ビデオ映像記録部２１を経て（又は直接）、ＣＶデータ演算部２３の特徴点抽出部２３ａに入力され、特徴点抽出部２３ａで、適切にサンプリングされたフレーム画像中に、特徴点となるべき点又は小領域画像が自動抽出され、特徴点対応処理部２３ｂで、複数のフレーム画像間で特徴点の対応関係が自動的に求められる。
具体的には、カメラベクトルの検出の基準となる、十分に必要な数以上の特徴点を求める。画像間の特徴点とその対応関係の一例を、図１３〜図１５に示す。図中「＋」が自動抽出された特徴点であり、複数のフレーム画像間で対応関係が自動追跡される（図１５に示す対応点１〜４参照）。
ここで、特徴点の抽出は、図１６に示すように、各画像中に充分に多くの特徴点を指定，抽出することが望ましく（図１６の○印参照）、例えば、１００点程度の特徴点を抽出する。
【００４７】
続いて、カメラベクトル演算部２３ｃで、抽出された特徴点の三次元座標が演算により求められ、その三次元座標に基づいてカメラベクトルが演算により求められる。具体的には、カメラベクトル演算部２３ｃは、連続する各フレーム間に存在する、十分な数の特徴の位置と、移動するカメラ間の位置ベクトル、カメラの３軸回転ベクトル、各カメラ位置と特徴点をそれぞれ結んだベクトル等、各種三次元ベクトルの相対値を演算により連続的に算出する。
本実施形態では、例えば、３６０度全周画像のエピポーラ幾何からエピポーラ方程式を解くことによりカメラ運動（カメラ位置とカメラ回転）を計算するようになっている。
【００４８】
図１５に示す画像１，２は、３６０度全周画像をメルカトール展開した画像であり、緯度φ、軽度θとすると、画像１上の点は（θ１，φ１）、画像２上の点は（θ２，φ２）となる。そして、それぞれのカメラでの空間座標は、ｚ１＝（ｃｏｓφ１ｃｏｓθ１，ｃｏｓφ１ｓｉｎθ１，ｓｉｎφ１）、ｚ２＝（ｃｏｓφ２ｃｏｓθ２，ｃｏｓφ２ｓｉｎθ２，ｓｉｎφ２）である。カメラの移動ベクトルをｔ、カメラの回転行列をＲ、とすると、ｚ１T［ｔ］×Ｒｚ２＝０がエピポーラ方程式である。
十分な数の特徴点を与えることにより、線形代数演算により最小自乗法による解としてｔ及びＲを計算することができる。この演算を対応する複数フレームに適用し演算する。
【００４９】
ここで、カメラベクトルの演算に利用する画像としては、３６０度全周画像を用いることが好ましい。
カメラベクトル演算に用いる画像としては、原理的にはどのような画像でも良いが、図１５に示す３６０度全周画像のような広角画像の方が特徴点を数多く選択し易くなる。そこで、本実施形態では、ＣＶ演算に３６０度全周画像を用いており、これによって、特徴点の追跡距離を長くでき、特徴点を十分に多く選択することができ、遠距離、中距離、短距離それぞれに都合の良い特徴点を選択することができるようになる。また、回転ベクトルを補正する場合には、極回転変換処理を加えることで、演算処理も容易に行えるようになる。これらのことから、より精度の高い演算結果が得られるようになる。
なお、図１５は、ＣＶデータ演算部２３における処理を理解し易くするために、１台又は複数台のカメラで撮影した画像を合成した３６０度全周囲の球面画像を地図図法でいうメルカトール図法で展開したものを示しているが、実際のＣＶ演算では、必ずしもメルカトール図法による展開画像である必要はない。
【００５０】
次に、誤差最小化部２３ｄでは、各フレームに対応する複数のカメラ位置と複数の特徴点の数により、複数通り生じる演算方程式により、各特徴点に基づくベクトルを複数通り演算して求めて、各特徴点の位置及びカメラ位置の分布が最小になるように統計処理をして、最終的なベクトルを求める。例えば、複数フレームのカメラ位置、カメラ回転及び複数の特徴点について、Levenberg-Marquardt法により最小自乗法の最適解を推定し、誤差を収束してカメラ位置、カメラ回転行列、特徴点の座標を求める。
さらに、誤差の分布が大きい特徴点につては削除し、他の特徴点に基づいて再演算することで、各特徴点及びカメラ位置での演算の精度を上げるようにする。
このようにして、特徴点の位置とカメラベクトルを精度良く求めることができる。
【００５１】
図１７〜図１９に、ＣＶ演算により得られる特徴点の三次元座標とカメラベクトルの例を示す。図１７〜図１９は、本実施形態のＣＶ演算によるベクトル検出方法を示す説明図であり、移動するカメラによって取得された複数のフレーム画像によって得られるカメラ及び対象物の相対的な位置関係を示す図である。
図１７では、図１５の画像１，２に示した特徴点１〜４の三次元座標と、画像１と画像２の間で移動するカメラベクトル（Ｘ，Ｙ，Ｚ）が示されている。
図１８及び図１９は、充分に多くの特徴点とフレーム画像により得られた特徴点の位置と移動するカメラの位置が示されている。同図中、グラフ中央に直線状に連続する○印がカメラ位置であり、その周囲に位置する○印が特徴点の位置と高さを示している。
【００５２】
ここで、ＣＶデータ演算部２３におけるＣＶ演算は、より高精度な特徴点とカメラ位置の三次元情報を高速に得るために、図２０に示すように、カメラから特徴点の距離に応じて複数の特徴点を設定し、複数の演算を繰り返し行うようにする。
具体的には、ＣＶデータ演算部２３は、画像内には映像的に特徴がある特徴点を自動検出し、各フレーム画像内に特徴点の対応点を求める際に、カメラベクトル演算に用いるｎ番目とｎ＋ｍ番目の二つのフレーム画像FｎとＦｎ＋ｍに着目して単位演算とし、ｎとｍを適切に設定した単位演算を繰り返す。
ｍはフレーム間隔であり、カメラから画像内の特徴点までの距離によって特徴点を複数段に分類し、カメラから特徴点までの距離が遠いほどｍが大きくなるように設定し、カメラから特徴点までの距離が近いほどｍが小さくなるように設定する。このようにするのは、カメラから特徴点までの距離が遠ければ遠いほど、画像間における位置の変化が少ないからである。
【００５３】
そして、特徴点のｍ値による分類を、十分にオーバーラップさせながら、複数段階のｍを設定し、画像の進行とともにｎが連続的に進行するのにともなって、演算を連続的に進行させる。そして、ｎの進行とｍの各段階で、同一特徴点について複数回重複演算を行う。
このようにして、フレーム画像ＦｎとＦｎ＋ｍに着目した単位演算を行うことにより、ｍ枚毎にサンプリングした各フレーム間（フレーム間は駒落ちしている）では、長時間かけて精密カメラベクトルを演算し、フレーム画像ＦｎとＦｎ＋ｍの間のｍ枚のフレーム（最小単位フレーム）では、短時間処理で行える簡易演算とすることができる。
【００５４】
ｍ枚毎の精密カメラベクトル演算に誤差がないとすれば、m枚のフレームのカメラベクトルの両端は、高精度演算をしたＦｎとＦｎ＋ｍのカメラベクトルと重なることになる。従って、ＦｎとＦｎ＋ｍの中間のｍ枚の最小単位のフレームについては簡易演算で求め、簡易演算で求めたm枚の最小単位フレームのカメラベクトルの両端を、高精度演算で求めたＦｎとＦｎ＋ｍのカメラベクトルに一致するように、m枚の連続したカメラベクトルのスケール調整をすることができる。
このようにして、画像の進行とともにｎが連続的に進行することにより、同一特徴点について複数回演算されて得られる各カメラベクトルの誤差が最小になるようにスケール調整して統合し、最終のカメラベクトルを決定することができる。
これにより、誤差のない高精度のカメラベクトルを求めつつ、簡易演算を組み合わせることにより、演算処理を高速化することができるようになる。
【００５５】
ここで、簡易演算としては、精度に応じて種々の方法があるが、例えば、(1)高精度演算では１００個以上の多くの特徴点を用いる場合に、簡易演算では最低限の１０個程度の特徴点を用いる方法や、(2)同じ特徴点の数としても、特徴点とカメラ位置を同等に考えれば、そこには無数の三角形が成立し、その数だけの方程式が成立するため、その方程式の数を減らすことで、簡易演算とすることができる。
これによって、各特徴点及びカメラ位置の誤差が最小になるようにスケール調整する形で統合し、距離演算を行い、さらに、誤差の分布が大きい特徴点を削除し、必要に応じて他の特徴点について再演算することで、各特徴点及びカメラ位置での演算の精度を上げることができる。
【００５６】
また、このように高速な簡易演算を行うことにより、カメラベクトルのリアルタイム処理が可能となる。カメラベクトルのリアルタイム処理は、目的の精度をとれる最低のフレーム数と、自動抽出した最低の特徴点数で演算を行い、カメラベクトルの概略値をリアルタイムで求め、表示し、次に、画像が蓄積するにつれて、フレーム数を増加させ、特徴点の数を増加させ、より精度の高いカメラベクトル演算を行い、概略値を精度の高いカメラベクトル値に置き換えて表示することができる。
【００５７】
さらに、本実施形態では、より高精度のカメラベクトルを求めるために、三次元情報（三次元形状）の追跡を行うことができる。
具体的には、まず、三次元情報追跡部２３ｅで、カメラベクトル演算部２３ｃ，誤差最小化部２３ｄを経て得られたカメラベクトルを概略のカメラベクトルと位置づけ、その後のプロセスで生成される画像の一部として得られる三次元情報（三次元形状）に基づいて、複数のフレーム画像に含まれる部分的三次元情報を隣接するフレーム間で連続的に追跡して三次元形状の自動追跡を行う。
そして、この三次元情報追跡部２３ｅで得られた三次元情報の追跡結果から、高精度カメラベクトル演算部においてより高精度なカメラベクトルが求められる。
【００５８】
上述した特徴点抽出部２３ａ及び特徴点対応処理部２３ｂでは、特徴点を複数のフレーム間画像内に自動追跡するが、特徴点が消失するなどして特徴点の追跡フレーム数に制限が出てくることがある。また、画像は二次元であり、追跡途中で形状が変化するために追跡精度にも一定の限界がある。
そこで、特徴点追跡で得られるカメラベクトルを概略値と位置づけ、その後のプロセスで得られる三次元情報（三次元形状）を各フレーム画像上に追跡して、その軌跡から高精度カメラベクトルを求めることができる。
三次元形状の追跡は、マッチング及び相関の精度を得やすく、三次元形状はフレーム画像によって、その三次元形状も大きさも変化しないので、多くのフレームに亘って追跡が可能であり、そのことでカメラベクトル演算の精度を向上させることができる。これはカメラベクトル演算部２３ｃにより概略のカメラベクトルが既知であり、三次元形状が既に分かっているから可能となるものである。
【００５９】
カメラベクトルが概略値の場合、非常に多くのフレームに亘る三次元座標の誤差は、特徴点追跡による各フレームに関係するフレームが少ないので、誤差が累積して長距離では次第に大きな誤差になるが、画像の一部分を切り取ったときの三次元形状の誤差は相対的に少なく、形状の変化と大きさに及ぼす影響はかなり少ないものとなる。このため、三次元形状での比較や追跡は、二次元形状追跡の時よりも極めて有利となる。追跡において、二次元形状での追跡の場合、複数のフレームにおける形状の変化と大きさの変化を避けられないまま追跡することになるので、誤差が大きかったり、対応点が見つからないなどの問題があったが、三次元形状での追跡においては形状の変化が極めて少なく、しかも原理的に大きさの変化もないので、正確な追跡が可能となる。
【００６０】
ここで、追跡の対象となる三次元形状データとしては、例えば、特徴点の三次元分布形状や、特徴点の三次元分布形状から求められるポリゴン面等がある。
また、得られた三次元形状を、カメラ位置から二次元画像に変換して、二次元画像として追跡することも可能である。カメラベクトルの概略値が既知であることから、カメラ視点からの二次元画像に投影変換が可能であり、カメラ視点の移動による対象の形状変化にも追従することが可能となる。
【００６１】
以上のようにして求められたカメラベクトルは、全周ビデオカメラ機器部１１で撮影されたビデオ映像中に重ねて表示することができる。
例えば、図２１に示すように、車載カメラからの映像を平面展開して、各フレーム画像内の目的平面上の対応点を自動で探索し、対応点を一致させるように結合して目的平面の結合画像を生成し、同一の座標系に統合して表示する。
さらに、その共通座標系の中にカメラ位置とカメラ方向を次々に検出し、その位置や方向、軌跡をプロットしていくことができる。ＣＶデータは、その三次元位置と３軸回転を示しており、ビデオ映像に重ねて表示することで、ビデオ映像の各フレームでＣＶ値を同時に観察できる。ＣＶデータをビデオ映像に重ねた表示した画像例を図２１に示す。
なお、ビデオ映像内にカメラ位置を正しく表示すると、ＣＶ値が示すビデオ映像内の位置は画像の中心となり、カメラ移動が直線に近い場合は、すべてのフレームのＣＶ値が重なって表示されてしまうので、例えば図２１に示すように、敢えてカメラ位置から真下に１メートルの位置を表示することが適切である。あるいは道路面までの距離を基準として、道路面の高さにＣＶ値を表示するのがより適切である。
【００６２】
［第二実施形態］
次に、本発明の第二実施形態として、本発明に係る二次元図面と映像の合成表示装置において、抜けのない完全な全周映像を生成する完全全周映像生成装置について、図２２〜図２４を参照して説明する。
これらの図に示す本実施形態の二次元図面と映像の合成表示装置（完全全周映像生成装置）では、映像に合成すべき二次元図面を、映像の他フレームから切り取った画像（例えば路面画像）とし、全周映像におけるカメラ部分の抜けに他フレームからの画像をはめ込むことで、抜けのない完全全周映像を生成するようにしたものである。
カーナビゲーションシステムとしての利用を考えた場合、表示すべき映像としては、(1)従来技術の地図のみの表示、(2)上述した本発明の第一実施形態に係る全周映像の展開映像と地図のオルソ面合成の表示に加えて、(3)カメラ部分の抜けのない完全全周映像の表示が考えられる。
【００６３】
そして、全周映像を撮影・取得するために、道路を走行する車輌の屋根に全周カメラを積載し、周囲を撮影しながら道路面上を走行する場合、効率よく映像を取得するには、全周カメラの設置を映像の死角部分が概略鉛直下方向となるように設置するのが通常である。こうすることで、積載する車輌の大部分を死角内に含むことができるからである。
このとき、仮に抜けのない完全全周囲を撮影するカメラが存在したとしても、上記のカメラの死角部分に写るのは、カメラの一部と車輌部分であり、ナビゲーション映像としてはその部分は意味のない映像となる。
そこで、本実施形態では、上述した(3)の抜けのない完全全周映像を生成・表示するために、上記のような死角部分を利用して、車輌やカメラの映り込みではなく、ナビゲーションとして意味のある、抜けている路面そのものが映り込むような映像を生成し、さらに、全仰角全方位に対して抜けのない完全全周映像を生成するようにしたものである。
【００６４】
具体的には、以上のような完全全周映像を取得するために、本実施形態の二次元図面と映像の合成表示装置１Ａでは、取得した全周映像の他フレーム映像から、当該カメラ位置に対応する路面画像を切り取る、他フレーム路面切り取り部２７（図２２参照）を備え、二次元地図を他フレーム路面映像とすることで、映像の抜けの部分に実写の路面映像をはめ込むことで、完全な全周映像を生成するようにしてある。
すなわち、路面映像のはめ込みによる完全な全周映像の生成は、第一実施形態で示した映像への二次元地図合成の特殊な場合と捉えることができ、車輌等に積載して移動しながら撮影した全周映像から、その一部を切り取って加工し、フレームをずらせた映像と位置あわせをし、全周映像のカメラ部分及び抜けた部分に位置合わせ、平面合わせをしてはめ込むことにより、完全な全周映像とすることが可能となる。
【００６５】
完全に全周囲（立体角４πを含む映像）を映し出すカメラは存在しないため、カメラを車輌に積載し、道路上を走行して周囲を撮影することで取得した映像は、一般に道路面を含む視野の一部に欠損を生じる。
また、完全に全周囲を映し出すカメラが存在したとしても、カメラ及び周囲の機器、及び積載する車輌が映り込んで、目的の全周映像を取得することはできない。
このため、本実施形態では、完全な全周囲映像が取得できていない不完全な全周映像を元画像とし、第一実施形態で示したはめ込み画像となる二次元図面を、全周映像の欠損部分に相当する映像とする。そして、欠損部分の映像を他フレーム映像から取得して、第一実施形態における二次元地図と同様に処理することで、欠損部分を無くした完全全周映像を生成することができる。
なお、本実施形態では、欠損部分を道路面映像として説明するが、道路面以外であっても同様に完全全周映像として生成することができることは言うまでもない。
【００６６】
以下、本実施形態に係る穴の無い完全全周映像生成装置１Ａの具体的構成について説明する。
図２２において、空間情報取得部１１と合成表示部３０については、上述した第一実施形態の合成表示装置と同様である（図２参照）。
データ生成部２０は、第一実施形態の構成に加えて、他フレーム路面切り取り部２７を備えるとともに、映像オルソ変換部２５に代えて映像路面変換部２８を備えている。
【００６７】
他フレーム路面切り取り部２７は、全周ビデオ映像記録部２１のビデオ映像から、他フレームの路面映像を切り取り、これを第一実施形態における二次元地図と同等と扱って、全周映像と合成し、映像路面変換部２８を経て合成表示部３１で表示する。
ここで、合成平面は、全周映像の欠損部分の道路面に合致する平面とする。
また、第一実施形態における指示地点は、他のフレーム映像から生成した現地映像（欠損部分の映像）を全周映像の平面と方位と座標とを自動的に合致させることで対応させるようにする。
全周映像を取得した地点の欠損部分の面、方位、座標を他のフレーム映像から生成した欠損部分に対応する映像は、全周囲映像上の現地点の道路面、方向、座標と一致させて、それぞれを同一ビュア内に円滑に結合して合成して表示する。
これにより、それぞれを面と方向と座標との関係を保ったまま合成された欠損のない全周映像の視点方向を自由に変更表示することができる。
【００６８】
なお、完全全周映像を生成する際には、オルソ面に投影するのではなく、映像の道路面に切り取った他フレームの投影面を一致させて投影することが望ましく、このため、本実施形態では、第一実施形態で示した映像オルソ変換部２５に代えて、映像路面変換部２８を備えている。
但し、映像オルソ変換部２５により、そのままオルソ面に投影しても、やや正確さに欠け多少のずれが生じることになるが、それなりの映像は取得できる。従って、本実施形態においても、第一実施形態と同様に、映像オルソ変換部２５を備えるようにしてもよい。
【００６９】
以下、本実施形態の完全全周映像生成装置で生成・表示される映像の具体例を、図２３〜図２４を参照して説明する。
なお、本実施形態における他フレームの路面画像の合成処理は、第一実施形態で示した二次元地図の場合とまったく同様に行えるので説明は割愛し、第一実施形態と異なる他フレーム路面切り取り部２７における路面切り取り処理について図２３，図２４を参照して説明する。
上述したように、路面を走行して得られた全周映像を鉛直下方向に転回して得られた映像は、図２３で示すような映像１０１になる。
【００７０】
１０１は、概略鉛直方向に死角を合わせて撮影された全周映像であり、１０４がカメラ投影位置である。
この映像１０１中、死角部分は１０２の部分となる。また、鉛直下方も撮影できるカメラを用いたとしても、１０３（１０６）に示すように、車輌全体が写り混むことになり、いずれの場合にも道路面の一部が欠けた映像となる。
従って、この映像１０１においては、映像抜けの部分１０２と写り込んだ車輌の一部１０６が欠けた部分（無効部分）となり、これら１０２，１０６を除いた部分が有効部分となるが、本実施形態では、無効部分１０２，１０６を含む更に一回り大きな調整領域１０７を、他フレームからの切り取り映像のはめ込み領域としている。
【００７１】
図２３において、矢印１０５は車輌の進行方向を示しており、車輌の進行とともに、無効部分１０２，１０６の映像が現れることになる（図２４参照）。また、現時点以前の時刻にも、無効部分が現れている。
そこで、時間経緯と無効部分、及びその部分の切り取り及びはめ込みについて、一般化した任意の映像フレームＮを例にとって、図２４を参照しつつ説明する。
図２４（ａ）〜（ｃ）は、任意の映像フレームＮの切り取り部分を、映像フレームＭの無効部分にはめ込む場合の処理を模式的に示した説明図であり、図２４（ｄ）〜（ｆ）は、その実際の画像例である。
図２４（ａ）に示す映像２００ａの時点では、カメラは２０１の位置に有るが、車輌の進行とともにカメラは移動し、同図（ｂ）に示す映像２００ｂの時点では２０２の位置に移動している。
【００７２】
このカメラ位置２０２の時点の映像は、フレームはＮ＋Ｍの映像となる。
従って、２００ａと２００ｂの映像は、Ｍフレーム分のズレがある。
そこで、フレームＮ＋Ｍの映像２００ｂにおいて、死角を含む調整領域２２０に対応する部分として、フレームＮの映像２００ａ中の対応領域２１０を映像２００ａから切り取る。
このとき、映像２００ａと映像２００ｂの路面は同一平面であることが望ましく、そのためには、映像は揺れ止めされていることが望ましい。映像の揺れ止め方法としては、例えば、それぞれの映像路面の三次元位置及び姿勢の関係を計測して既知としておくことができる。この場合、絶対座標校正である必要はなく、相対的に関係が求められていればよい。
【００７３】
次に、位置と姿勢の関係が明らかになっている映像２００ａの切り取り部分２１０を、映像２００ｂに位置と姿勢を合わせて、第一実施形態の場合と同様にしてはめ込み（座標統合部２３，方位統合部２４参照）、映像２００ａと２００ｂとの合成映像２００ｃが完成する。
そして、これをすべてのフレームについて作業することにより、抜けのない完全全周映像が得られる。
図２４（ｄ）〜（ｆ）に、図２４（ａ）〜（ｃ）にそれぞれ対応した実際の映像例を示す。
【００７４】
以上のようにして、本実施形態の二次元図面と映像の合成表示装置１Ａによれば、抜けのない完全な全周映像の動画を実現できれば、映像としての価値が高まり、監視用として有効である。
なお、図２３及び図２４で示した車輌の一部の写り込みは、カメラの高さの調整で写り込まないようにすることも可能であるが、その場合でも、映像には同じ大きさの抜けが生じるため、本実施形態に係る他フレーム映像のはめ込み処理は有効である。
【００７５】
また、本実施形態では、道路面を切り取り、元映像と合成する場合を例にとって説明したが、切り取りはめ込む面は道路面に限らないことは言うまでもない。
すなわち、一般の映像の任意の一部を、他の重複する映像から切り取ってはめ込むことも、上述した道路面の場合と同様に行える。
例えば、ビルが新しく建て替えられた場合、旧映像のビル面を切り取り、対応する新映像の新しいビル面映像を切り取って、旧映像にはめ込むことも、路面のはめ込みとまったく同じと考えることができる。この場合は、路面又はオルソ面に対応する面としては、ビル面に一致する平面を指定すればよい。
【００７６】
また、本実施形態では、映像中の道路面が欠損している場合として説明したが、映像の一部が欠損している場合は様々であり、道路面とは限らない。欠損部分がビル面でも、川であっても、空の映像であってもまったく同様に考えられることは明らかである。
また、最終の合成映像が完全な全周映像でなく、通常の映像の欠損部分を他のフレーム画像で埋めることも同様に行える。
なお、全周ビデオ映像を取得するカメラは、車輌に積載しない場合でも、カメラを移動させることで同様の効果を得ることができる。また、カメラを積載しているのが、車輌ではなく、航空機や船舶等であっても同様であることは言うまでもない。
【００７７】
以上、本発明の二次元図面と映像の合成表示装置について、好ましい実施形態を示して説明したが、本発明に係る二次元図面と映像の合成表示装置は、上述した実施形態にのみ限定されるものではなく、本発明の範囲で種々の変更実施が可能であることは言うまでもない。
例えば、上述した実施形態においては、本発明の二次元図面と映像の合成表示装置の適用対象として、カーナビゲーション装置や歩行者ナビげーション装置，ＰＣ等を想定して説明したが、本発明に係る地図と映像の合成表示は、どのような装置やディスプレイにも応用できるものであり、その用途・使用方法等も特に限定されるものでないことは言うまでもない。
【００７８】
また、上記実施形態では、二次元地図を合成する映像として、全周カメラ等で撮影される全周映像を例に取ったが、映像としては、例えばCG映像としてもよく、全周映像の場合と同様の効果が得られる。
また、合成表示として、ビュア面を分割して表示したり、重複合成して表示できることは言うまでもない。
【産業上の利用可能性】
【００７９】
本発明は、例えば、自動車に搭載されるカーナビゲーション装置に備える地図や映像を表示する表示装置として好適に利用することができる。
【図面の簡単な説明】
【００８０】
【図１】本発明の第一実施形態に係る二次元図面と映像の合成表示装置の基本構成を示すブロック図である。
【図２】図１に示す二次元図面と映像の合成表示装置の詳細を示すブロック図である。
【図３】本発明の第一実施形態に係る二次元図面と映像の合成表示装置の全周ビデオ映像機器部を移動体に搭載した状態を示す概略図であり、屋根部に全周カメラを搭載した車輌の斜視図である。
【図４】本発明の第一実施形態に係る二次元図面と映像の合成表示装置の全周ビデオ映像機器部を移動体に搭載した状態を示す概略図であり、（ａ）は屋根部に全周カメラを搭載した車輌の正面図、（ｂ）は同じく平面図である。
【図５】全周カメラで撮影される映像から得られる変換画像を示す説明図であり、（ａ）は球面画像が貼り付けられる仮想球面を、（ｂ）は仮想球面に貼り付けられた球面画像の一例を、（ｃ）は（ｂ）に示した球面画像をメルカトール図法に従って平面展開した画像を示している。
【図６】本発明の第一実施形態に係る二次元図面と映像の合成表示装置で生成・変換されるオルソ面と道路面の関係を示す説明図である。
【図７】本発明の第一実施形態に係る二次元図面と映像の合成表示装置で生成・表示される地図と映像の合成画像の一例であり、あおりのない標準位置の合成画像である。
【図８】本発明の第一実施形態に係る二次元図面と映像の合成表示装置で生成・表示される地図と映像の合成画像の一例であり、標準位置から下向きにあおりのある合成画像である。
【図９】本発明の第一実施形態に係る二次元図面と映像の合成表示装置で生成・表示される地図と映像の合成画像の一例であり、地図がリニアスケールで表示された下向きの合成画像である。
【図１０】本発明の第一実施形態に係る二次元図面と映像の合成表示装置で生成・表示される地図と映像の合成画像の一例であり、標準位置から横向きに回転した合成画像である。
【図１１】本発明の第一実施形態に係る二次元図面と映像の合成表示装置で生成・表示される地図と映像の合成画像の一例であり、全周映像をメルカトール図法により展開した合成画像である。
【図１２】本発明の一実施形態に係る二次元図面と映像の合成表示装置の座標統合部として機能するＣＶデータ演算部の基本構成を示すブロック図である。
【図１３】本発明の一実施形態に係るＣＶデータ演算部おける具体的なカメラベクトルの検出方法を示す説明図である。
【図１４】本発明の一実施形態に係るＣＶデータ演算部における具体的なカメラベクトルの検出方法を示す説明図である。
【図１５】本発明の一実施形態に係るＣＶデータ演算部における具体的なカメラベクトルの検出方法を示す説明図である。
【図１６】本発明の一実施形態に係るＣＶデータ演算部によるカメラベクトルの検出方法における望ましい特徴点の指定態様を示す説明図である。
【図１７】本発明の一実施形態に係るＣＶデータ演算部により得られる特徴点の三次元座標とカメラベクトルの例を示すグラフである。
【図１８】本発明の一実施形態に係るＣＶデータ演算部により得られる特徴点の三次元座標とカメラベクトルの例を示すグラフである。
【図１９】本発明の一実施形態に係るＣＶデータ演算部により得られる特徴点の三次元座標とカメラベクトルの例を示すグラフである。
【図２０】本発明の一実施形態に係るＣＶデータ演算部において、カメラから特徴点の距離に応じて複数の特徴点を設定し、複数の演算を繰り返し行う場合を示す説明図である。
【図２１】本発明の一実施形態に係るＣＶデータ演算部求められたカメラベクトルの軌跡をビデオ映像中に表示した場合の図である。
【図２２】本発明の第二実施形態に係る二次元図面と映像の合成表示装置（完全全周映像生成装置）の基本構成を示すブロック図である。
【図２３】図２２に示す二次元図面と映像の合成表示装置で切り取り・はめ込み処理される画像を模式的に示す説明図である。
【図２４】（ａ）〜（ｃ）は、図２２に示す二次元図面と映像の合成表示装置で行われる切り取り・はめ込み処理を模式的に示す説明図であり、（ｄ）〜（ｆ）は、（ａ）〜（ｃ）に示す説明図に対応した実際の画像例である。
【符号の説明】
【００８１】
１ 二次元図面と映像の合成表示装置
１０ 空間情報取得部
１１ 全周ビデオカメラ機器部
２０ データ生成部
２１ 全周ビデオ映像記録部
２２ 二次元地図部
２３ 座標統合部（ＣＶデータ演算部）
２４ 方位統合部
２５ 映像オルソ変換部
２６ はめ込み部
３０ 合成映像表示部
３１ 合成表示部
【特許請求の範囲】
【請求項１】
映像と二次元図面とを同一画面に合成表示する合成表示装置であって、
表示される映像を構成する三次元空間の中に合成平面を指定し、前記合成平面を当該映像の中に投影し、
前記合成平面が投影された投影平面に、合成表示すべき二次元図面を合致させ、
当該映像を取得した時点のカメラの位置座標及び映像表示時点の方位と、二次元図面上の指示地点の位置座標及び表示時点の方位とを一致させて連続表示する
ことを特徴とする二次元図面と映像の合成表示装置。
【請求項２】
前記映像が、予め記録された動画映像又は連続静止画像で、場所を特定する広角背景映像からなり、
前記二次元図面が、前記映像を取得したカメラ位置を示す現地点を含み、当該現地点と進行方向を示す表示を含む地図からなり、
前記合成平面が、前記映像から求められるオルソ面に平行な道路面近傍の平面からなり、
前記二次元面上の指示地点が現地点からなり、
前記オルソ面と前記地図面とを合致させ、当該映像を取得した時点のカメラの位置座標及び映像表示時点の方位と、地図上の現地点の位置座標及び地図表示時点の方位とを一致させて、それぞれを同一ビュア内に領域分割合成または重複合成して表示し、
機器操作に応じて前記合成表示された地図と映像との座標と方位との関係を保ったまま視点方向を変更表示する
ことを特徴とする請求項１記載の二次元図面と映像の合成表示装置。
【請求項３】
前記映像が、道路上を走行する車輌に積載されたカメラによって撮影される全周映像であって、道路面を含む視野の一部に欠損がある不完全な全周映像からなり、
前記二次元図面が、前記全周映像の欠損部分に相当する他フレーム映像による道路面映像からなり、
前記合成平面が、前記全周映像の欠損部分の道路面に合致する平面からなり、
前記全周映像の欠損部分に対応する映像を、前記他のフレーム映像から生成するとともに、当該映像を前記全周映像の道路面に一致させ、その方位及び座標を一致させて、当該全周映像とともに同一ビュア内に結合して合成表示し、
合成映像の視点方向を、それぞれの面と方位と座標との関係を保ったまま自由に変更表示する
ことを特徴とする請求項１記載の二次元図面と映像の合成表示装置。
【請求項１】
映像と二次元図面とを同一画面に合成表示する合成表示装置であって、
表示される映像を構成する三次元空間の中に合成平面を指定し、前記合成平面を当該映像の中に投影し、
前記合成平面が投影された投影平面に、合成表示すべき二次元図面を合致させ、
当該映像を取得した時点のカメラの位置座標及び映像表示時点の方位と、二次元図面上の指示地点の位置座標及び表示時点の方位とを一致させて連続表示する
ことを特徴とする二次元図面と映像の合成表示装置。
【請求項２】
前記映像が、予め記録された動画映像又は連続静止画像で、場所を特定する広角背景映像からなり、
前記二次元図面が、前記映像を取得したカメラ位置を示す現地点を含み、当該現地点と進行方向を示す表示を含む地図からなり、
前記合成平面が、前記映像から求められるオルソ面に平行な道路面近傍の平面からなり、
前記二次元面上の指示地点が現地点からなり、
前記オルソ面と前記地図面とを合致させ、当該映像を取得した時点のカメラの位置座標及び映像表示時点の方位と、地図上の現地点の位置座標及び地図表示時点の方位とを一致させて、それぞれを同一ビュア内に領域分割合成または重複合成して表示し、
機器操作に応じて前記合成表示された地図と映像との座標と方位との関係を保ったまま視点方向を変更表示する
ことを特徴とする請求項１記載の二次元図面と映像の合成表示装置。
【請求項３】
前記映像が、道路上を走行する車輌に積載されたカメラによって撮影される全周映像であって、道路面を含む視野の一部に欠損がある不完全な全周映像からなり、
前記二次元図面が、前記全周映像の欠損部分に相当する他フレーム映像による道路面映像からなり、
前記合成平面が、前記全周映像の欠損部分の道路面に合致する平面からなり、
前記全周映像の欠損部分に対応する映像を、前記他のフレーム映像から生成するとともに、当該映像を前記全周映像の道路面に一致させ、その方位及び座標を一致させて、当該全周映像とともに同一ビュア内に結合して合成表示し、
合成映像の視点方向を、それぞれの面と方位と座標との関係を保ったまま自由に変更表示する
ことを特徴とする請求項１記載の二次元図面と映像の合成表示装置。
【図１】
【図２】
【図４】
【図６】
【図１２】
【図１６】
【図２０】
【図２２】
【図２３】
【図３】
【図５】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１３】
【図１４】
【図１５】
【図１７】
【図１８】
【図１９】
【図２１】
【図２４】
【図２】
【図４】
【図６】
【図１２】
【図１６】
【図２０】
【図２２】
【図２３】
【図３】
【図５】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１３】
【図１４】
【図１５】
【図１７】
【図１８】
【図１９】
【図２１】
【図２４】
【公開番号】特開２００７−８９１１１（Ｐ２００７−８９１１１Ａ）
【公開日】平成１９年４月５日（２００７．４．５）
【国際特許分類】
【出願番号】特願２００５−３６８６９５（Ｐ２００５−３６８６９５）
【出願日】平成１７年１２月２１日（２００５．１２．２１）
【出願人】（５０３３６１９６１）
【Ｆターム（参考）】
【公開日】平成１９年４月５日（２００７．４．５）
【国際特許分類】
【出願日】平成１７年１２月２１日（２００５．１２．２１）
【出願人】（５０３３６１９６１）
【Ｆターム（参考）】
[ Back to top ]