画像表示処理プログラム、画像表示処理システム、及び、画像表示処理方法
【課題】モーフィングに必要な画像間の対応点を、画像マッチングを行うことなく求めることができる画像表示処理プログラム等を提供する。
【解決手段】撮影経路に沿って指定された速度で移動しているように前画像と補間画像と後画像とを合成して表示装置８に連続して表示させる際に、対応点算出処理プログラム１１が、撮影経路の周辺状況を単純化した簡易周辺立体モデルを作成し、前画像の任意の画素位置の画像座標に基づいて簡易周辺立体モデル上の前画像の撮影位置から前画像の任意の画素位置を見た方位角を算出し、前画像の撮影位置から上記方位角で示された方位に延ばした直線が簡易周辺立体モデルと交わる交差点を算出するとともに、簡易周辺立体モデル上の後画像の撮影位置から交差点を見た場合の方位角を算出し、方位角に基づいて後画像の任意の画素位置の画像座標を算出し、後画像の任意の画素位置を前画像の任意の画素位置に対応する対応点とする。
【解決手段】撮影経路に沿って指定された速度で移動しているように前画像と補間画像と後画像とを合成して表示装置８に連続して表示させる際に、対応点算出処理プログラム１１が、撮影経路の周辺状況を単純化した簡易周辺立体モデルを作成し、前画像の任意の画素位置の画像座標に基づいて簡易周辺立体モデル上の前画像の撮影位置から前画像の任意の画素位置を見た方位角を算出し、前画像の撮影位置から上記方位角で示された方位に延ばした直線が簡易周辺立体モデルと交わる交差点を算出するとともに、簡易周辺立体モデル上の後画像の撮影位置から交差点を見た場合の方位角を算出し、方位角に基づいて後画像の任意の画素位置の画像座標を算出し、後画像の任意の画素位置を前画像の任意の画素位置に対応する対応点とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、モーフィングに必要な対応点を、画像マッチングを行うことなく算出可能とする画像表示処理プログラムなどに関する。
【背景技術】
【０００２】
道路、河川、鉄道路線などの撮影経路に沿って一方向に所定距離進む毎に撮影経路及び撮影経路周辺を撮影した複数の画像を画像処理することにより、あたかも撮影経路沿いを自らが走行しているように表示装置の表示画面に画像を表示する画像処理システムが知られている（例えば、特許文献１等参照）。
上記画像処理システムにおいて、表示装置に撮影経路に沿って所定の速度Vm/sで走行しているように画像を表示させる場合に、１秒間に描画する画像数（フレームレート）NVは次の式で表される。
NV=V/D
ここでDは画像の取得間隔である。上の式は、画像処理システムに指定される速度が遅い場合にはフレームレートNVが落ちることを意味する。よって、表示装置が出力できる最大のフレームレートがNmaxで、Nmax>NVのとき、画像を滑らかに表示できなくなる。つまり、指定された速度Vが遅い場合には、表示装置の出力フレームレートに余裕があっても、フレームレートNVが小さくなってしまうので、滑らかな連続画像表示を実現できない。
指定された速度Vが遅い場合において滑らかな連続画像表示を実現するためには、Dを小さくして、撮影する画像の数を増やせばよい。しかしながら、この場合、撮影画像数が多くなるため撮影コストが増加する。また、撮影した画像をサーバコンピュータのデータベースに登録して、サーバコンピュータからクライアントコンピュータに画像を送信するシステムを構築する場合、画像を登録するためのデータベースの容量が増加するので、データ処理コストおよびデータ格納・管理コストが増加することになる。
そこで、Dを小さくする代わりに、前後して撮影された直近の前後の２つの画像である前画像と後画像との間に、モーフィングとよばれる手法によって、前画像と後画像との間に、前画像と後画像との間を補間する補間画像を合成して表示することが考えられる。
モーフィングでは、前画像内の任意の画素位置と対応する後画像内の画素位置である対応点を求める必要がある。即ち、前画像と後画像とで対応する画像座標を画像内のあらゆる点で求めておく必要がある。この対応点を、画像マッチングを行って求める方法が知られている（例えば、特許文献２等参照）。
【特許文献１】特開２００３−２１９４０３号公報
【特許文献２】特開２００２−２３２９０８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、画像マッチングにより対応点を求める方法によれば、前画像と後画像とにおいて画像内すべてにわたって類似点を探索することが必要となり、データ構築コストが増えてしまう上、各画像ペアに対してマッチング情報を管理しなければならなくなる。
またデータ構築時に画像マッチングを行わず、表示時にマッチングを画像内すべてにわたって行うことは、計算コストが高く、リアルタイムに補間画像を生成するのには適当な方法ではない。
本発明は、上記課題に鑑みてなされたもので、モーフィングに必要な画像間の対応点を、画像マッチングを行うことなく求めることができる画像表示処理プログラム、画像表示処理システム、及び、画像表示処理を提供する。
【課題を解決するための手段】
【０００４】
本発明の画像表示処理プログラムは、撮影経路に沿って一方向に所定距離進む毎に撮影経路及び撮影経路周辺を撮影して得られた前画像と後画像とを取り込んで表示装置に表示させるとともに前画像と後画像との間に補間画像を作成させることによって、撮影経路に沿って指定された速度で移動しているように前画像と補間画像と後画像とを合成して表示装置に連続して表示させる手段としてコンピュータを機能させる画像表示処理プログラムにおいて、画像表示処理プログラムが、補間画像を作成するために必要な対応点を算出する手段としてコンピュータを機能させる対応点算出処理プログラムを備え、対応点算出処理プログラムが、撮影経路の周辺状況を単純化した簡易周辺立体モデルを作成し、前画像の任意の画素位置の画像座標に基づいて簡易周辺立体モデル上の前画像の撮影位置から前画像の任意の画素位置を見た方位角を算出し、前画像の撮影位置から上記方位角で示された方位に延ばした直線が簡易周辺立体モデルと交わる交差点を算出するとともに、簡易周辺立体モデル上の後画像の撮影位置から上記交差点を見た場合の方位角を算出し、この方位角に基づいて後画像の任意の画素位置の画像座標を算出し、この後画像の任意の画素位置を前画像の任意の画素位置に対応する対応点とする手段としてコンピュータを機能させることを特徴とする。
対応点算出処理プログラムが、撮影位置の左右で互いに平行な左壁と右壁とを備えた簡易周辺立体モデルを作成し、左壁や右壁と交わる交差点を算出する手段としてコンピュータを機能させることも特徴とする。
対応点算出処理プログラムが、撮影位置と左壁や右壁との距離を設定する手段としてコンピュータを機能させることも特徴とする。
指定された速度に応じて作成する補間画像の数を決定する手段としてコンピュータを機能させる補間画像数決定処理プログラムを備えたことも特徴とする。
本発明の画像表示処理システムによれば、撮影経路に沿って一方向に所定距離進む毎に撮影経路及び撮影経路周辺を撮影して得られた前画像と後画像とを登録したサーバコンピュータと、サーバコンピュータから前画像と後画像とを取り込んで前画像と後画像との間に表示する補間画像を作成し、撮影経路に沿って指定された速度で移動しているように前画像と補間画像と後画像とを合成して表示装置に連続して表示させる画像表示処理手段とを備えた画像処理システムであって、画像表示処理手段が、上記画像表示処理プログラムを備えたことを特徴とする。
本発明の画像表示処理方法によれば、撮影経路に沿って一方向に所定距離進む毎に撮影経路及び撮影経路周辺を撮影して得られた前画像と後画像とを取り込んで表示装置に表示させるとともに前画像と後画像との間に補間画像を作成させることによって、撮影経路に沿って指定された速度で移動しているように前画像と補間画像と後画像とを合成して表示装置に連続して表示させる画像表示処理方法において、撮影経路の周辺状況を単純化した簡易周辺立体モデルを作成し、前画像の任意の画素位置の画像座標に基づいて前画像の撮影位置から前画像の任意の画素位置を見た場合の方位角を求め、前画像の撮影位置から上記方位角で示された方位に延ばした直線が簡易周辺立体モデルと交わる交差点を求めた後に、後画像の撮影位置から上記交差点を見た場合の方位角を求め、この方位角に基づいて後画像の任意の画素位置の画像座標を求め、この求めた後画像の任意の画素位置を前画像の任意の画素位置に対応する対応点とし、前画像のすべての画素位置に対応する後画像中の対応点を求め、この対応点を用いて前画像と後画像との間に補間画像を作成したことを特徴とする。
前画像及び後画像として、正距円筒投影画像で作成された全方位パノラマ画像を用いたことも特徴とする。
【発明の効果】
【０００５】
本発明によれば、モーフィングに必要な画像間の対応点を、画像マッチングを用いることなく、簡易周辺立体モデルを用いて高速に算出できるようになる。よって、前後の画像間の補間画像をリアルタイムにより多く作成でき、滑らかな連続画像表示を実現できる。また、サーバコンピュータのデータベースに登録する画像データ量を増やすことなく、クライアントコンピュータに指定された速度に応じてクライアントが表示フレームレートを落とさずにスムーズな連続画像表示を行えるようになる。
左壁と右壁とを備えた簡易周辺立体モデルを用いることによって、例えば、道路及びその道路の両脇に並ぶ建物を含む画像表示処理を適切に行える。
撮影位置と左壁や右壁との距離が適切に設定されることで、画像相関が高くなり、画像間の繋ぎを滑らかにできる。
補間画像数決定処理プログラムを備えたので、指定された速度に応じて作成する補間画像の数を決定でき、表示フレームレートを落とさずにスムーズな連続画像表示が可能となる。特に、遅い速度を指定した場合に、前後の画像間の補間画像をリアルタイムにより多く作成することにより、滑らかな連続画像表示を実現できる。
また、全方位パノラマ画像による滑らかな連続画像表示を実現できる。
【発明を実施するための最良の形態】
【０００６】
図１乃至図７は本発明の最良の形態を示し、図１は画像表示処理システムのブロック構成を示し、図２は画像取得方法を示し、図３は前画像と後画像と補間画像とを示し、図４は画素位置と方位との関係を示し、図５は画像座標系を示し、図６は道路周辺状況を表す簡易周辺立体モデルを示し、図７は対応点を求める方法を示す。
【０００７】
図１に示すように、画像表示処理システム１は、サーバコンピュータ２と画像表示処理装置３とを備える。サーバコンピュータ２はデータベース４を備える。画像表示処理装置３は、クライアントコンピュータ５と、クライアントコンピュータ５を画像表示処理手段として機能させる画像表示処理プログラム６と、入力装置７と、表示装置８とを備える。画像表示処理プログラム６は、対応点算出処理プログラム１１、モーフィング処理プログラム１２、補間画像数決定処理プログラム１３を備える。
【０００８】
画像表示処理システム１による画像表示処理方法の概要を説明する。まず、図２のように、撮影経路としての道路１９に沿って一方向ＡにDｍ進む毎に道路１９及びその道路１９の両脇に並ぶ建物を含む景観を撮影した複数のパノラマ静止画像（以下、画像と略す）２０をサーバコンピュータ２のデータベース４に登録する。サーバコンピュータ２は、画像表示処理装置３からの要求に応じて画像表示処理装置３に画像２０を送信する。画像表示処理装置３は、送られてきた複数の画像２０を用いて表示装置８の表示画面に、入力装置７を介して指示された速度で画像を連続表示する。つまり、表示画面を見ている者が道路を自らが走行しているように画像を表示する。この場合、画像表示処理装置３は、前後して撮影された直近の前後の２つの画像２０；２０である前画像I(i)と後画像I(i+1)との間に、モーフィング処理によって、図２；３に示すように、前画像I(i)と後画像I(i+1)との間を補間する補間画像２１である補間画像Iins(I(i),I(i+1),t)を合成して表示する。
【０００９】
複数の画像２０は、例えば、図２に示す車２５の黒点の位置に、車の上方・前方・左方・右方・左後方・右後方に向けてカメラ２６を個々に取付け、その車２５で道路を一方向（進行方向）Ａに向かって走行しながらDｍ走行する毎に上記６つのカメラ２６で同時に車２５の上方向、車２５の前方向、車２５の左方向、車２５の右方向、車２５の左後方向、車２５の右後方向を撮影して得た。つまり、複数台のカメラ２６でそれぞれ角度を変えた撮影を行い、これより得られた複数の画像を合成することによりパノラマ静止画像を形成した。
尚、効率の高い魚眼レンズもしくはそれに類するレンズを使用し、このレンズカメラに装着して撮影することによりパノラマ静止画像を取得してもよい。
【００１０】
道路１９に沿ってDｍ進む毎に撮影して得られた複数の個々の画像２０には撮影された順に連続番号i=1,…Nimgが割り付けられて一連の画像I(i)としデータベース４に登録される。また、各画像２０には、画像２０が撮影された撮影位置(Xi,Yi,H)の情報と撮影方位(進行方向の方位角)θiの情報とが固有の情報として付与される。
【００１１】
すべての画像２０は、図３に示すように、正距円筒投影画像（撮影位置からの水平角・鉛直角に線形にリサンプリングされた画像）で作成された全方位パノラマ画像である。全方位パノラマ画像は、図５に示すように、カラム（col）方向が水平方向360度、ライン（row）方向が鉛直方向180度に対応する画像２０であり、画像２０の中心線が車両の進行方向である。全方位パノラマ画像の画像サイズはcol×rowである。
【００１２】
図４に示すように、水平方位角は北から時計回りに計測した角とし、撮影方位θdは、画像２０の中心、すなわち車両の進行方向の水平方位角とする。また、撮影位置は、東向きをX(E)、北向きをY(N)、カメラ２６の鉛直上向きをZとする３次元座標系で計測される。θh、θvは、撮影位置から見た水平方位角θhおよび鉛直角θvである。ここで道路１９の傾斜は無視し、カメラ２６の上方向が鉛直軸に一致するものとする。
【００１３】
図５に示すように、左上原点の画像座標系において、画像２０上の任意の位置Pの画像座標が(x,y)である場合、位置Pを撮影位置から見た水平方位角θhおよび鉛直角θvは次の式で表される。
θvi=90-y×(180/row)
θhi=x×(360/col)+θd-180
・・・（１）
また、その逆変換は、次の式で表される。
y=(90-θvi)×(row/180)
x=(θhi-θd+180)×(col/360) //
・・・（２）
【００１４】
最良の形態１では、撮影位置の情報、撮影方位の情報、および、道路周辺状況を表す簡易道路モデルを用いて、前画像I(i)の画像上の位置Piに対応する後画像I(i+1)の画像上の位置P(i+1)を対応点として求める。以下、対応点を求める方法について説明する。
【００１５】
前画像I(i)の撮影位置を(Xi,Yi)、前画像I(i)の撮影方位(車両の進行方向の方位角)をθi、後画像I(i+1)の撮影位置を(X(i+1),Y(i+1))、後画像I(i+1)の撮影方位をθ(i+1)、撮影時の地上からカメラ２６までのカメラ高をHとする。
【００１６】
対応点を決定するための第１ステップは、図撮影位置(Xi,Yi,H)および撮影位置(X(i+1),Y(i+1),H)の周辺状況を表す簡易周辺立体モデル３０を仮定する。この簡易周辺立体モデル３０は、周辺の環境を単純化したものであればよい。
例えば、直線道路もしくは緩やかなカーブで建物が立ち並んでいるような道路の場合、簡易周辺立体モデル３０として、図６に示すように、走行方向に平行な左右の壁３１；３２を備えた直方体形状の簡易周辺立体モデル３０を作成する。すなわち、前画像I(i)の撮影位置を(Xi,Yi,H)として、底面がz=0、長辺方向が移動方向に平行な直方体とする。
【００１７】
簡易周辺立体モデル３０を決定する他のパラメータとして、撮影位置から撮影方向に向かって左側の左壁３１までの左距離DL、右側の右壁３２までの右距離DR、前方向の壁までの前距離DF、後ろ方向の壁までの後距離DB、上面までの高さHSがある。DB,DF,HSは、前画像I(i)の撮影位置と後画像I(i+1)の撮影位置(X(i+1),Y(i+1))との間の距離Dよりも十分大きな値（例えば１００倍など、無限大でもよい）にしておく。
【００１８】
直方体の簡易周辺立体モデル３０を採用する場合は、左距離DLおよび右距離DRについては、別途与えられた道路幅を参考に決定するか、もしくは、以下の手順で決定する。
今、前画像I(i)内の一部領域ALが、簡易周辺立体モデル３０の左壁３１側にあるとする。前画像I(i)の領域AL内のj番目(j=1,…,N)の画素位置P(i,j)のI(i+1)における対応点をP(i+1,j,DL)とする。画素位置Pijの画素値をI(i+1)のP(i+1,j,DL)で置き換えたリサンプリング画像を
I(i+1,DL)
とすれば、正しいDLでは、領域AでI(i)とI(i+1,DL)がほぼ同じ画像になることが期待される。すなわち、I(i)とI(i+1,DL)は画像相関が高くなり、画像間の繋ぎを滑らかにできる。
そこで、次のような手順でDLを決定する。
（１）n個の距離のリストDk(k=1,..n)を用意する。
（２）すべてのDkについて、領域ALについてリサンプリング画像I(i+1,Dk)を作成する。
（３）各kについて、I(i)とI(i+1,Dk)との相関係数Rkを計算する。
（４）Rkを最大にする距離Dkが、最適な左側の壁の距離DLを与える。
（５）右側の壁の距離DRも、上記と同様の方法で決定することができる。
【００１９】
対応点を決定するための第２ステップでは、まず、前画像I(i)の任意の画素位置(xi,yi)について、その画素位置(xi,yi)に対応する方位角(θhi,θvi)を式（１）を用いて求める。そして、図７に示すように、前画像I(i)の撮影位置(Xi,Yi,H)からその方位(θhi,θvi)に延ばした直線が簡易周辺立体モデル３０の左壁３１と交わる交差点PS(XSi,YSi,ZSi)を求める。
【００２０】
対応点を決定するための第３ステップでは、まず、図７に示すように、後画像I(i+1)の撮影位置(X(i+1),Y(i+1),H)から見た交差点PS(XSi,YSi,ZSi)の方位角(θh(i+1),θv(i+1))を求める。そして、その方位角(θh(i+1),θv(i+1))に対応する後画像I(i+1)の画素位置(x(i+1),y(i+1))を式（２）を用いて求める。
【００２１】
以上によって、前画像I(i)の任意の画素位置(xi,yi)に対応する後画像I(i+1)の画素位置(x(i+1),y(i+1))が求まる。
【００２２】
このように、前画像I(i)のすべての画素位置(xi,yi)に対応する後画像I(i+1)の画素位置(x(i+1),y(i+1))を求めることによって、画像I(i)と画像I(i+1)とで対応するすべての点について対応点が求まり、以下の式（３）を用いて、任意の内挿位置tにおける補間画像２１を求めることができる。
【００２３】
対応点が求まったなら、前画像I(i)と画像I(i+1)との間の任意の補間位置の画像Iins(I(i),I(i+1),t)をモーフィングによって生成する。
【００２４】
モーフィングで得られる画像Iins(I(i),I(i+1),t)は、次のように合成される。
画像I(i)の画像上の位置Piと画像I(i+1)の画像上の位置P(i+1)とが対応するとき、その補間画像２１は、そのパラメータtで指定される補間画像２１内の位置Pt=(1-t)×Pi+t×P(i+1)の画像の表示色Iins(Pt)が、Piの表示色I(i)(Pi)とP(i+1)の表示色I(i+1)(P(i+1))を用いて以下の式（３）により求められて作成される。
Iins(Pt)=(t-1)×I(i)(Pi)+t×I(i+1)(P(i+1))・・・（３）
【００２５】
即ち、画像表示処理装置３のクライアントコンピュータ２がＲＯＭのような図外の記憶装置から対応点算出処理プログラム１１、モーフィング処理プログラム１２、補間画像数決定処理プログラム１３を備えた画像表示処理プログラム６を取り込み、画像表示処理プログラム６の手順に従って以下の処理を行う。まず、クライアントコンピュータ５が対応点算出処理プログラム１１の手順に従って以下の処理を行う。左壁３１と右壁３２とを備える直方体形状の簡易周辺立体モデル３０を作成する。前画像I(i)の任意の画素位置(xi,yi)の画像座標(xi,yi)を式（１）に代入して前画像I(i)の撮影位置(Xi,Yi,H)から前画像I(i)の任意の画素位置(xi,yi)を見た方位角(θhi,θvi)を算出する。簡易周辺立体モデル３０上の撮影位置と左壁３１や右壁３２との距離DL，DRを入力装置７を介して指示された値に設定する。前画像I(i)の撮影位置(Xi,Yi,H)から上記方位角(θhi,θvi)で示された方位(θhi,θvi)に延ばした直線が簡易周辺立体モデル３０の左壁３１あるいは右壁３２と交わる交差点PS(XSi,YSi,ZSi)を算出する。簡易周辺立体モデル３０上における後画像I(i+1)の撮影位置(X(i+1),Y(i+1),H)から見た上記交差点PS(XSi,YSi,ZSi)の方位角(θh(i+1),θv(i+1))を算出する。この方位角(θh(i+1),θv(i+1))を式（２）に代入して画像座標(x(i+1),y(i+1))を求め、この求めた画像座標(x(i+1),y(i+1))を、前画像I(i)の任意の画素位置(xi,yi)に対応する後画像I(i+1)内の対応点として決定する。同様にして、前画像I(i)のすべての画素位置毎に対応する後画像I(i+1)内の対応点を決定する。
次に、クライアントコンピュータ５がモーフィング処理プログラム１２の手順に従って、前画像I(i)と画像I(i+1)との間の任意の補間位置の画像Iins(I(i),I(i+1),t)を生成する。
この際、入力装置７を介して速度が指定されると、クライアントコンピュータ５が補間画像数決定処理プログラム１３の手順に従って、モーフィングで作成する補間画像２１の数を決定する。例えば、速い速度が指定された場合には、モーフィングで作成する補間画像２１の数を少なくし、遅い速度が指定された場合には、モーフィングで作成する補間画像２１の数を多くする。補間画像数決定処理プログラム１３は、図外の指定速度と補間画像数との対応表を備え、クライアントコンピュータ２は、速度が指定された場合に、対応表を参照して補間画像数を決定する。
【００２６】
最良の形態によれば、モーフィングに必要な画像間の対応点を、画像マッチングを用いることなく、簡易周辺立体モデル３０を用いて高速に算出できるようになるので、前後の画像間の補間画像をリアルタイムにより多く作成でき、滑らかな連続画像表示を実現できるようになる。よって、サーバコンピュータ２のデータベース４に登録する画像データ量を増やすことなく、クライアントコンピュータ５に指定された速度に応じて表示フレームレートを落とさずにスムーズな連続画像表示を行えるようになる。
左壁３１と右壁３２とを備えた簡易周辺立体モデル３０を用いることによって、道路１９及びその道路１９の両脇に並ぶ建物を含む全方位パノラマ画像の連続画像表示を適切に行える。この場合、撮影位置と左壁３１や右壁３２との距離DL，DRが適切に設定されることで、画像相関が高くなり、画像間の繋ぎを滑らかにできる。
補間画像数決定処理プログラム１３を備えたので、指定された速度に応じて滑らかな連続画像表示を実現できる。
【００２７】
尚、周囲に建物がほとんどない場合は、簡易周辺立体モデル３０として、図８に示すような、底面がz=0となる上半球を採用する。半球の直径Ｒは、I(i)とI(i+1)の間の移動距離について十分大きな値（例えば１００倍など）にしておく。交差点周囲に建物がほとんどない場合も、簡易周辺立体モデル３０として底面がz=0となる上半球を採用する。半球の直径は、ほぼ道路幅に一致する。
【産業上の利用可能性】
【００２８】
本発明は、道路管理・カーナビゲーションデータ作成、電力・通信の施設管理、屋外広告物管理など、街並等を撮影した全方位パノラマ画像データを利用したアプリケーションに適用できる。
【図面の簡単な説明】
【００２９】
【図１】画像表示処理システムのブロック構成図。
【図２】画像取得方法を示す説明図。
【図３】前画像と後画像と補間画像とを示す図。
【図４】画素位置と方位との関係を示す図。
【図５】画像座標系を示す図。
【図６】道路周辺状況を表す簡易周辺立体モデルを示す図。
【図７】対応点を求める方法を示す説明図。
【図８】簡易周辺立体モデルの他例を示す図。
【符号の説明】
【００３０】
１ 画像表示処理システム、２ サーバコンピュータ、３ 画像表示処理装置、
４ データベース、５ クライアントコンピュータ、
６ 画像表示処理プログラム、１１ 対応点算出処理プログラム、
１２ モーフィング処理プログラム、１３ 補間画像数決定処理プログラム。
【技術分野】
【０００１】
本発明は、モーフィングに必要な対応点を、画像マッチングを行うことなく算出可能とする画像表示処理プログラムなどに関する。
【背景技術】
【０００２】
道路、河川、鉄道路線などの撮影経路に沿って一方向に所定距離進む毎に撮影経路及び撮影経路周辺を撮影した複数の画像を画像処理することにより、あたかも撮影経路沿いを自らが走行しているように表示装置の表示画面に画像を表示する画像処理システムが知られている（例えば、特許文献１等参照）。
上記画像処理システムにおいて、表示装置に撮影経路に沿って所定の速度Vm/sで走行しているように画像を表示させる場合に、１秒間に描画する画像数（フレームレート）NVは次の式で表される。
NV=V/D
ここでDは画像の取得間隔である。上の式は、画像処理システムに指定される速度が遅い場合にはフレームレートNVが落ちることを意味する。よって、表示装置が出力できる最大のフレームレートがNmaxで、Nmax>NVのとき、画像を滑らかに表示できなくなる。つまり、指定された速度Vが遅い場合には、表示装置の出力フレームレートに余裕があっても、フレームレートNVが小さくなってしまうので、滑らかな連続画像表示を実現できない。
指定された速度Vが遅い場合において滑らかな連続画像表示を実現するためには、Dを小さくして、撮影する画像の数を増やせばよい。しかしながら、この場合、撮影画像数が多くなるため撮影コストが増加する。また、撮影した画像をサーバコンピュータのデータベースに登録して、サーバコンピュータからクライアントコンピュータに画像を送信するシステムを構築する場合、画像を登録するためのデータベースの容量が増加するので、データ処理コストおよびデータ格納・管理コストが増加することになる。
そこで、Dを小さくする代わりに、前後して撮影された直近の前後の２つの画像である前画像と後画像との間に、モーフィングとよばれる手法によって、前画像と後画像との間に、前画像と後画像との間を補間する補間画像を合成して表示することが考えられる。
モーフィングでは、前画像内の任意の画素位置と対応する後画像内の画素位置である対応点を求める必要がある。即ち、前画像と後画像とで対応する画像座標を画像内のあらゆる点で求めておく必要がある。この対応点を、画像マッチングを行って求める方法が知られている（例えば、特許文献２等参照）。
【特許文献１】特開２００３−２１９４０３号公報
【特許文献２】特開２００２−２３２９０８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、画像マッチングにより対応点を求める方法によれば、前画像と後画像とにおいて画像内すべてにわたって類似点を探索することが必要となり、データ構築コストが増えてしまう上、各画像ペアに対してマッチング情報を管理しなければならなくなる。
またデータ構築時に画像マッチングを行わず、表示時にマッチングを画像内すべてにわたって行うことは、計算コストが高く、リアルタイムに補間画像を生成するのには適当な方法ではない。
本発明は、上記課題に鑑みてなされたもので、モーフィングに必要な画像間の対応点を、画像マッチングを行うことなく求めることができる画像表示処理プログラム、画像表示処理システム、及び、画像表示処理を提供する。
【課題を解決するための手段】
【０００４】
本発明の画像表示処理プログラムは、撮影経路に沿って一方向に所定距離進む毎に撮影経路及び撮影経路周辺を撮影して得られた前画像と後画像とを取り込んで表示装置に表示させるとともに前画像と後画像との間に補間画像を作成させることによって、撮影経路に沿って指定された速度で移動しているように前画像と補間画像と後画像とを合成して表示装置に連続して表示させる手段としてコンピュータを機能させる画像表示処理プログラムにおいて、画像表示処理プログラムが、補間画像を作成するために必要な対応点を算出する手段としてコンピュータを機能させる対応点算出処理プログラムを備え、対応点算出処理プログラムが、撮影経路の周辺状況を単純化した簡易周辺立体モデルを作成し、前画像の任意の画素位置の画像座標に基づいて簡易周辺立体モデル上の前画像の撮影位置から前画像の任意の画素位置を見た方位角を算出し、前画像の撮影位置から上記方位角で示された方位に延ばした直線が簡易周辺立体モデルと交わる交差点を算出するとともに、簡易周辺立体モデル上の後画像の撮影位置から上記交差点を見た場合の方位角を算出し、この方位角に基づいて後画像の任意の画素位置の画像座標を算出し、この後画像の任意の画素位置を前画像の任意の画素位置に対応する対応点とする手段としてコンピュータを機能させることを特徴とする。
対応点算出処理プログラムが、撮影位置の左右で互いに平行な左壁と右壁とを備えた簡易周辺立体モデルを作成し、左壁や右壁と交わる交差点を算出する手段としてコンピュータを機能させることも特徴とする。
対応点算出処理プログラムが、撮影位置と左壁や右壁との距離を設定する手段としてコンピュータを機能させることも特徴とする。
指定された速度に応じて作成する補間画像の数を決定する手段としてコンピュータを機能させる補間画像数決定処理プログラムを備えたことも特徴とする。
本発明の画像表示処理システムによれば、撮影経路に沿って一方向に所定距離進む毎に撮影経路及び撮影経路周辺を撮影して得られた前画像と後画像とを登録したサーバコンピュータと、サーバコンピュータから前画像と後画像とを取り込んで前画像と後画像との間に表示する補間画像を作成し、撮影経路に沿って指定された速度で移動しているように前画像と補間画像と後画像とを合成して表示装置に連続して表示させる画像表示処理手段とを備えた画像処理システムであって、画像表示処理手段が、上記画像表示処理プログラムを備えたことを特徴とする。
本発明の画像表示処理方法によれば、撮影経路に沿って一方向に所定距離進む毎に撮影経路及び撮影経路周辺を撮影して得られた前画像と後画像とを取り込んで表示装置に表示させるとともに前画像と後画像との間に補間画像を作成させることによって、撮影経路に沿って指定された速度で移動しているように前画像と補間画像と後画像とを合成して表示装置に連続して表示させる画像表示処理方法において、撮影経路の周辺状況を単純化した簡易周辺立体モデルを作成し、前画像の任意の画素位置の画像座標に基づいて前画像の撮影位置から前画像の任意の画素位置を見た場合の方位角を求め、前画像の撮影位置から上記方位角で示された方位に延ばした直線が簡易周辺立体モデルと交わる交差点を求めた後に、後画像の撮影位置から上記交差点を見た場合の方位角を求め、この方位角に基づいて後画像の任意の画素位置の画像座標を求め、この求めた後画像の任意の画素位置を前画像の任意の画素位置に対応する対応点とし、前画像のすべての画素位置に対応する後画像中の対応点を求め、この対応点を用いて前画像と後画像との間に補間画像を作成したことを特徴とする。
前画像及び後画像として、正距円筒投影画像で作成された全方位パノラマ画像を用いたことも特徴とする。
【発明の効果】
【０００５】
本発明によれば、モーフィングに必要な画像間の対応点を、画像マッチングを用いることなく、簡易周辺立体モデルを用いて高速に算出できるようになる。よって、前後の画像間の補間画像をリアルタイムにより多く作成でき、滑らかな連続画像表示を実現できる。また、サーバコンピュータのデータベースに登録する画像データ量を増やすことなく、クライアントコンピュータに指定された速度に応じてクライアントが表示フレームレートを落とさずにスムーズな連続画像表示を行えるようになる。
左壁と右壁とを備えた簡易周辺立体モデルを用いることによって、例えば、道路及びその道路の両脇に並ぶ建物を含む画像表示処理を適切に行える。
撮影位置と左壁や右壁との距離が適切に設定されることで、画像相関が高くなり、画像間の繋ぎを滑らかにできる。
補間画像数決定処理プログラムを備えたので、指定された速度に応じて作成する補間画像の数を決定でき、表示フレームレートを落とさずにスムーズな連続画像表示が可能となる。特に、遅い速度を指定した場合に、前後の画像間の補間画像をリアルタイムにより多く作成することにより、滑らかな連続画像表示を実現できる。
また、全方位パノラマ画像による滑らかな連続画像表示を実現できる。
【発明を実施するための最良の形態】
【０００６】
図１乃至図７は本発明の最良の形態を示し、図１は画像表示処理システムのブロック構成を示し、図２は画像取得方法を示し、図３は前画像と後画像と補間画像とを示し、図４は画素位置と方位との関係を示し、図５は画像座標系を示し、図６は道路周辺状況を表す簡易周辺立体モデルを示し、図７は対応点を求める方法を示す。
【０００７】
図１に示すように、画像表示処理システム１は、サーバコンピュータ２と画像表示処理装置３とを備える。サーバコンピュータ２はデータベース４を備える。画像表示処理装置３は、クライアントコンピュータ５と、クライアントコンピュータ５を画像表示処理手段として機能させる画像表示処理プログラム６と、入力装置７と、表示装置８とを備える。画像表示処理プログラム６は、対応点算出処理プログラム１１、モーフィング処理プログラム１２、補間画像数決定処理プログラム１３を備える。
【０００８】
画像表示処理システム１による画像表示処理方法の概要を説明する。まず、図２のように、撮影経路としての道路１９に沿って一方向ＡにDｍ進む毎に道路１９及びその道路１９の両脇に並ぶ建物を含む景観を撮影した複数のパノラマ静止画像（以下、画像と略す）２０をサーバコンピュータ２のデータベース４に登録する。サーバコンピュータ２は、画像表示処理装置３からの要求に応じて画像表示処理装置３に画像２０を送信する。画像表示処理装置３は、送られてきた複数の画像２０を用いて表示装置８の表示画面に、入力装置７を介して指示された速度で画像を連続表示する。つまり、表示画面を見ている者が道路を自らが走行しているように画像を表示する。この場合、画像表示処理装置３は、前後して撮影された直近の前後の２つの画像２０；２０である前画像I(i)と後画像I(i+1)との間に、モーフィング処理によって、図２；３に示すように、前画像I(i)と後画像I(i+1)との間を補間する補間画像２１である補間画像Iins(I(i),I(i+1),t)を合成して表示する。
【０００９】
複数の画像２０は、例えば、図２に示す車２５の黒点の位置に、車の上方・前方・左方・右方・左後方・右後方に向けてカメラ２６を個々に取付け、その車２５で道路を一方向（進行方向）Ａに向かって走行しながらDｍ走行する毎に上記６つのカメラ２６で同時に車２５の上方向、車２５の前方向、車２５の左方向、車２５の右方向、車２５の左後方向、車２５の右後方向を撮影して得た。つまり、複数台のカメラ２６でそれぞれ角度を変えた撮影を行い、これより得られた複数の画像を合成することによりパノラマ静止画像を形成した。
尚、効率の高い魚眼レンズもしくはそれに類するレンズを使用し、このレンズカメラに装着して撮影することによりパノラマ静止画像を取得してもよい。
【００１０】
道路１９に沿ってDｍ進む毎に撮影して得られた複数の個々の画像２０には撮影された順に連続番号i=1,…Nimgが割り付けられて一連の画像I(i)としデータベース４に登録される。また、各画像２０には、画像２０が撮影された撮影位置(Xi,Yi,H)の情報と撮影方位(進行方向の方位角)θiの情報とが固有の情報として付与される。
【００１１】
すべての画像２０は、図３に示すように、正距円筒投影画像（撮影位置からの水平角・鉛直角に線形にリサンプリングされた画像）で作成された全方位パノラマ画像である。全方位パノラマ画像は、図５に示すように、カラム（col）方向が水平方向360度、ライン（row）方向が鉛直方向180度に対応する画像２０であり、画像２０の中心線が車両の進行方向である。全方位パノラマ画像の画像サイズはcol×rowである。
【００１２】
図４に示すように、水平方位角は北から時計回りに計測した角とし、撮影方位θdは、画像２０の中心、すなわち車両の進行方向の水平方位角とする。また、撮影位置は、東向きをX(E)、北向きをY(N)、カメラ２６の鉛直上向きをZとする３次元座標系で計測される。θh、θvは、撮影位置から見た水平方位角θhおよび鉛直角θvである。ここで道路１９の傾斜は無視し、カメラ２６の上方向が鉛直軸に一致するものとする。
【００１３】
図５に示すように、左上原点の画像座標系において、画像２０上の任意の位置Pの画像座標が(x,y)である場合、位置Pを撮影位置から見た水平方位角θhおよび鉛直角θvは次の式で表される。
θvi=90-y×(180/row)
θhi=x×(360/col)+θd-180
・・・（１）
また、その逆変換は、次の式で表される。
y=(90-θvi)×(row/180)
x=(θhi-θd+180)×(col/360) //
・・・（２）
【００１４】
最良の形態１では、撮影位置の情報、撮影方位の情報、および、道路周辺状況を表す簡易道路モデルを用いて、前画像I(i)の画像上の位置Piに対応する後画像I(i+1)の画像上の位置P(i+1)を対応点として求める。以下、対応点を求める方法について説明する。
【００１５】
前画像I(i)の撮影位置を(Xi,Yi)、前画像I(i)の撮影方位(車両の進行方向の方位角)をθi、後画像I(i+1)の撮影位置を(X(i+1),Y(i+1))、後画像I(i+1)の撮影方位をθ(i+1)、撮影時の地上からカメラ２６までのカメラ高をHとする。
【００１６】
対応点を決定するための第１ステップは、図撮影位置(Xi,Yi,H)および撮影位置(X(i+1),Y(i+1),H)の周辺状況を表す簡易周辺立体モデル３０を仮定する。この簡易周辺立体モデル３０は、周辺の環境を単純化したものであればよい。
例えば、直線道路もしくは緩やかなカーブで建物が立ち並んでいるような道路の場合、簡易周辺立体モデル３０として、図６に示すように、走行方向に平行な左右の壁３１；３２を備えた直方体形状の簡易周辺立体モデル３０を作成する。すなわち、前画像I(i)の撮影位置を(Xi,Yi,H)として、底面がz=0、長辺方向が移動方向に平行な直方体とする。
【００１７】
簡易周辺立体モデル３０を決定する他のパラメータとして、撮影位置から撮影方向に向かって左側の左壁３１までの左距離DL、右側の右壁３２までの右距離DR、前方向の壁までの前距離DF、後ろ方向の壁までの後距離DB、上面までの高さHSがある。DB,DF,HSは、前画像I(i)の撮影位置と後画像I(i+1)の撮影位置(X(i+1),Y(i+1))との間の距離Dよりも十分大きな値（例えば１００倍など、無限大でもよい）にしておく。
【００１８】
直方体の簡易周辺立体モデル３０を採用する場合は、左距離DLおよび右距離DRについては、別途与えられた道路幅を参考に決定するか、もしくは、以下の手順で決定する。
今、前画像I(i)内の一部領域ALが、簡易周辺立体モデル３０の左壁３１側にあるとする。前画像I(i)の領域AL内のj番目(j=1,…,N)の画素位置P(i,j)のI(i+1)における対応点をP(i+1,j,DL)とする。画素位置Pijの画素値をI(i+1)のP(i+1,j,DL)で置き換えたリサンプリング画像を
I(i+1,DL)
とすれば、正しいDLでは、領域AでI(i)とI(i+1,DL)がほぼ同じ画像になることが期待される。すなわち、I(i)とI(i+1,DL)は画像相関が高くなり、画像間の繋ぎを滑らかにできる。
そこで、次のような手順でDLを決定する。
（１）n個の距離のリストDk(k=1,..n)を用意する。
（２）すべてのDkについて、領域ALについてリサンプリング画像I(i+1,Dk)を作成する。
（３）各kについて、I(i)とI(i+1,Dk)との相関係数Rkを計算する。
（４）Rkを最大にする距離Dkが、最適な左側の壁の距離DLを与える。
（５）右側の壁の距離DRも、上記と同様の方法で決定することができる。
【００１９】
対応点を決定するための第２ステップでは、まず、前画像I(i)の任意の画素位置(xi,yi)について、その画素位置(xi,yi)に対応する方位角(θhi,θvi)を式（１）を用いて求める。そして、図７に示すように、前画像I(i)の撮影位置(Xi,Yi,H)からその方位(θhi,θvi)に延ばした直線が簡易周辺立体モデル３０の左壁３１と交わる交差点PS(XSi,YSi,ZSi)を求める。
【００２０】
対応点を決定するための第３ステップでは、まず、図７に示すように、後画像I(i+1)の撮影位置(X(i+1),Y(i+1),H)から見た交差点PS(XSi,YSi,ZSi)の方位角(θh(i+1),θv(i+1))を求める。そして、その方位角(θh(i+1),θv(i+1))に対応する後画像I(i+1)の画素位置(x(i+1),y(i+1))を式（２）を用いて求める。
【００２１】
以上によって、前画像I(i)の任意の画素位置(xi,yi)に対応する後画像I(i+1)の画素位置(x(i+1),y(i+1))が求まる。
【００２２】
このように、前画像I(i)のすべての画素位置(xi,yi)に対応する後画像I(i+1)の画素位置(x(i+1),y(i+1))を求めることによって、画像I(i)と画像I(i+1)とで対応するすべての点について対応点が求まり、以下の式（３）を用いて、任意の内挿位置tにおける補間画像２１を求めることができる。
【００２３】
対応点が求まったなら、前画像I(i)と画像I(i+1)との間の任意の補間位置の画像Iins(I(i),I(i+1),t)をモーフィングによって生成する。
【００２４】
モーフィングで得られる画像Iins(I(i),I(i+1),t)は、次のように合成される。
画像I(i)の画像上の位置Piと画像I(i+1)の画像上の位置P(i+1)とが対応するとき、その補間画像２１は、そのパラメータtで指定される補間画像２１内の位置Pt=(1-t)×Pi+t×P(i+1)の画像の表示色Iins(Pt)が、Piの表示色I(i)(Pi)とP(i+1)の表示色I(i+1)(P(i+1))を用いて以下の式（３）により求められて作成される。
Iins(Pt)=(t-1)×I(i)(Pi)+t×I(i+1)(P(i+1))・・・（３）
【００２５】
即ち、画像表示処理装置３のクライアントコンピュータ２がＲＯＭのような図外の記憶装置から対応点算出処理プログラム１１、モーフィング処理プログラム１２、補間画像数決定処理プログラム１３を備えた画像表示処理プログラム６を取り込み、画像表示処理プログラム６の手順に従って以下の処理を行う。まず、クライアントコンピュータ５が対応点算出処理プログラム１１の手順に従って以下の処理を行う。左壁３１と右壁３２とを備える直方体形状の簡易周辺立体モデル３０を作成する。前画像I(i)の任意の画素位置(xi,yi)の画像座標(xi,yi)を式（１）に代入して前画像I(i)の撮影位置(Xi,Yi,H)から前画像I(i)の任意の画素位置(xi,yi)を見た方位角(θhi,θvi)を算出する。簡易周辺立体モデル３０上の撮影位置と左壁３１や右壁３２との距離DL，DRを入力装置７を介して指示された値に設定する。前画像I(i)の撮影位置(Xi,Yi,H)から上記方位角(θhi,θvi)で示された方位(θhi,θvi)に延ばした直線が簡易周辺立体モデル３０の左壁３１あるいは右壁３２と交わる交差点PS(XSi,YSi,ZSi)を算出する。簡易周辺立体モデル３０上における後画像I(i+1)の撮影位置(X(i+1),Y(i+1),H)から見た上記交差点PS(XSi,YSi,ZSi)の方位角(θh(i+1),θv(i+1))を算出する。この方位角(θh(i+1),θv(i+1))を式（２）に代入して画像座標(x(i+1),y(i+1))を求め、この求めた画像座標(x(i+1),y(i+1))を、前画像I(i)の任意の画素位置(xi,yi)に対応する後画像I(i+1)内の対応点として決定する。同様にして、前画像I(i)のすべての画素位置毎に対応する後画像I(i+1)内の対応点を決定する。
次に、クライアントコンピュータ５がモーフィング処理プログラム１２の手順に従って、前画像I(i)と画像I(i+1)との間の任意の補間位置の画像Iins(I(i),I(i+1),t)を生成する。
この際、入力装置７を介して速度が指定されると、クライアントコンピュータ５が補間画像数決定処理プログラム１３の手順に従って、モーフィングで作成する補間画像２１の数を決定する。例えば、速い速度が指定された場合には、モーフィングで作成する補間画像２１の数を少なくし、遅い速度が指定された場合には、モーフィングで作成する補間画像２１の数を多くする。補間画像数決定処理プログラム１３は、図外の指定速度と補間画像数との対応表を備え、クライアントコンピュータ２は、速度が指定された場合に、対応表を参照して補間画像数を決定する。
【００２６】
最良の形態によれば、モーフィングに必要な画像間の対応点を、画像マッチングを用いることなく、簡易周辺立体モデル３０を用いて高速に算出できるようになるので、前後の画像間の補間画像をリアルタイムにより多く作成でき、滑らかな連続画像表示を実現できるようになる。よって、サーバコンピュータ２のデータベース４に登録する画像データ量を増やすことなく、クライアントコンピュータ５に指定された速度に応じて表示フレームレートを落とさずにスムーズな連続画像表示を行えるようになる。
左壁３１と右壁３２とを備えた簡易周辺立体モデル３０を用いることによって、道路１９及びその道路１９の両脇に並ぶ建物を含む全方位パノラマ画像の連続画像表示を適切に行える。この場合、撮影位置と左壁３１や右壁３２との距離DL，DRが適切に設定されることで、画像相関が高くなり、画像間の繋ぎを滑らかにできる。
補間画像数決定処理プログラム１３を備えたので、指定された速度に応じて滑らかな連続画像表示を実現できる。
【００２７】
尚、周囲に建物がほとんどない場合は、簡易周辺立体モデル３０として、図８に示すような、底面がz=0となる上半球を採用する。半球の直径Ｒは、I(i)とI(i+1)の間の移動距離について十分大きな値（例えば１００倍など）にしておく。交差点周囲に建物がほとんどない場合も、簡易周辺立体モデル３０として底面がz=0となる上半球を採用する。半球の直径は、ほぼ道路幅に一致する。
【産業上の利用可能性】
【００２８】
本発明は、道路管理・カーナビゲーションデータ作成、電力・通信の施設管理、屋外広告物管理など、街並等を撮影した全方位パノラマ画像データを利用したアプリケーションに適用できる。
【図面の簡単な説明】
【００２９】
【図１】画像表示処理システムのブロック構成図。
【図２】画像取得方法を示す説明図。
【図３】前画像と後画像と補間画像とを示す図。
【図４】画素位置と方位との関係を示す図。
【図５】画像座標系を示す図。
【図６】道路周辺状況を表す簡易周辺立体モデルを示す図。
【図７】対応点を求める方法を示す説明図。
【図８】簡易周辺立体モデルの他例を示す図。
【符号の説明】
【００３０】
１ 画像表示処理システム、２ サーバコンピュータ、３ 画像表示処理装置、
４ データベース、５ クライアントコンピュータ、
６ 画像表示処理プログラム、１１ 対応点算出処理プログラム、
１２ モーフィング処理プログラム、１３ 補間画像数決定処理プログラム。
【特許請求の範囲】
【請求項１】
撮影経路に沿って一方向に所定距離進む毎に撮影経路及び撮影経路周辺を撮影して得られた前画像と後画像とを取り込んで表示装置に表示させるとともに前画像と後画像との間に補間画像を作成させることによって、撮影経路に沿って指定された速度で移動しているように前画像と補間画像と後画像とを合成して表示装置に連続して表示させる手段としてコンピュータを機能させる画像表示処理プログラムにおいて、画像表示処理プログラムが、補間画像を作成するために必要な対応点を算出する手段としてコンピュータを機能させる対応点算出処理プログラムを備え、対応点算出処理プログラムが、撮影経路の周辺状況を単純化した簡易周辺立体モデルを作成し、前画像の任意の画素位置の画像座標に基づいて簡易周辺立体モデル上の前画像の撮影位置から前画像の任意の画素位置を見た方位角を算出し、前画像の撮影位置から上記方位角で示された方位に延ばした直線が簡易周辺立体モデルと交わる交差点を算出するとともに、簡易周辺立体モデル上の後画像の撮影位置から上記交差点を見た場合の方位角を算出し、この方位角に基づいて後画像の任意の画素位置の画像座標を算出し、この後画像の任意の画素位置を前画像の任意の画素位置に対応する対応点とする手段としてコンピュータを機能させることを特徴とする画像表示処理プログラム。
【請求項２】
対応点算出処理プログラムが、撮影位置の左右で互いに平行な左壁と右壁および底面とを備えた簡易周辺立体モデルを作成し、左壁や右壁と交わる交差点を算出する手段としてコンピュータを機能させることを特徴とする請求項１に記載の画像表示処理プログラム。
【請求項３】
対応点算出処理プログラムが、撮影位置と左壁や右壁との距離を設定する手段としてコンピュータを機能させることを特徴とする請求項２に記載の画像表示処理プログラム。
【請求項４】
指定された速度に応じて作成する補間画像の数を決定する手段としてコンピュータを機能させる補間画像数決定処理プログラムを備えたことを特徴とする請求項１乃至請求項３のいずれかに記載の画像表示処理プログラム。
【請求項５】
撮影経路に沿って一方向に所定距離進む毎に撮影経路及び撮影経路周辺を撮影して得られた前画像と後画像とを登録したサーバコンピュータと、サーバコンピュータから前画像と後画像とを取り込んで前画像と後画像との間に表示する補間画像を作成し、撮影経路に沿って指定された速度で移動しているように前画像と補間画像と後画像とを合成して表示装置に連続して表示させる画像表示処理手段とを備えた画像処理システムであって、画像表示処理手段が、請求項１乃至請求項４のいずれかに記載の画像表示処理プログラムを備えたことを特徴とする画像表示処理システム。
【請求項６】
撮影経路に沿って一方向に所定距離進む毎に撮影経路及び撮影経路周辺を撮影して得られた前画像と後画像とを取り込んで表示装置に表示させるとともに前画像と後画像との間に補間画像を作成させることによって、撮影経路に沿って指定された速度で移動しているように前画像と補間画像と後画像とを合成して表示装置に連続して表示させる画像表示処理方法において、撮影経路の周辺状況を単純化した簡易周辺立体モデルを作成し、前画像の任意の画素位置の画像座標に基づいて前画像の撮影位置から前画像の任意の画素位置を見た場合の方位角を求め、前画像の撮影位置から上記方位角で示された方位に延ばした直線が簡易周辺立体モデルと交わる交差点を求めた後に、後画像の撮影位置から上記交差点を見た場合の方位角を求め、この方位角に基づいて後画像の任意の画素位置の画像座標を求め、この求めた後画像の任意の画素位置を前画像の任意の画素位置に対応する対応点とし、前画像のすべての画素位置に対応する後画像中の対応点を求め、この対応点を用いて前画像と後画像との間に補間画像を作成したことを特徴とする画像表示処理方法。
【請求項７】
前画像及び後画像として、正距円筒投影画像で作成された全方位パノラマ画像を用いたことを特徴とする請求項６に記載の画像表示処理方法。
【請求項１】
撮影経路に沿って一方向に所定距離進む毎に撮影経路及び撮影経路周辺を撮影して得られた前画像と後画像とを取り込んで表示装置に表示させるとともに前画像と後画像との間に補間画像を作成させることによって、撮影経路に沿って指定された速度で移動しているように前画像と補間画像と後画像とを合成して表示装置に連続して表示させる手段としてコンピュータを機能させる画像表示処理プログラムにおいて、画像表示処理プログラムが、補間画像を作成するために必要な対応点を算出する手段としてコンピュータを機能させる対応点算出処理プログラムを備え、対応点算出処理プログラムが、撮影経路の周辺状況を単純化した簡易周辺立体モデルを作成し、前画像の任意の画素位置の画像座標に基づいて簡易周辺立体モデル上の前画像の撮影位置から前画像の任意の画素位置を見た方位角を算出し、前画像の撮影位置から上記方位角で示された方位に延ばした直線が簡易周辺立体モデルと交わる交差点を算出するとともに、簡易周辺立体モデル上の後画像の撮影位置から上記交差点を見た場合の方位角を算出し、この方位角に基づいて後画像の任意の画素位置の画像座標を算出し、この後画像の任意の画素位置を前画像の任意の画素位置に対応する対応点とする手段としてコンピュータを機能させることを特徴とする画像表示処理プログラム。
【請求項２】
対応点算出処理プログラムが、撮影位置の左右で互いに平行な左壁と右壁および底面とを備えた簡易周辺立体モデルを作成し、左壁や右壁と交わる交差点を算出する手段としてコンピュータを機能させることを特徴とする請求項１に記載の画像表示処理プログラム。
【請求項３】
対応点算出処理プログラムが、撮影位置と左壁や右壁との距離を設定する手段としてコンピュータを機能させることを特徴とする請求項２に記載の画像表示処理プログラム。
【請求項４】
指定された速度に応じて作成する補間画像の数を決定する手段としてコンピュータを機能させる補間画像数決定処理プログラムを備えたことを特徴とする請求項１乃至請求項３のいずれかに記載の画像表示処理プログラム。
【請求項５】
撮影経路に沿って一方向に所定距離進む毎に撮影経路及び撮影経路周辺を撮影して得られた前画像と後画像とを登録したサーバコンピュータと、サーバコンピュータから前画像と後画像とを取り込んで前画像と後画像との間に表示する補間画像を作成し、撮影経路に沿って指定された速度で移動しているように前画像と補間画像と後画像とを合成して表示装置に連続して表示させる画像表示処理手段とを備えた画像処理システムであって、画像表示処理手段が、請求項１乃至請求項４のいずれかに記載の画像表示処理プログラムを備えたことを特徴とする画像表示処理システム。
【請求項６】
撮影経路に沿って一方向に所定距離進む毎に撮影経路及び撮影経路周辺を撮影して得られた前画像と後画像とを取り込んで表示装置に表示させるとともに前画像と後画像との間に補間画像を作成させることによって、撮影経路に沿って指定された速度で移動しているように前画像と補間画像と後画像とを合成して表示装置に連続して表示させる画像表示処理方法において、撮影経路の周辺状況を単純化した簡易周辺立体モデルを作成し、前画像の任意の画素位置の画像座標に基づいて前画像の撮影位置から前画像の任意の画素位置を見た場合の方位角を求め、前画像の撮影位置から上記方位角で示された方位に延ばした直線が簡易周辺立体モデルと交わる交差点を求めた後に、後画像の撮影位置から上記交差点を見た場合の方位角を求め、この方位角に基づいて後画像の任意の画素位置の画像座標を求め、この求めた後画像の任意の画素位置を前画像の任意の画素位置に対応する対応点とし、前画像のすべての画素位置に対応する後画像中の対応点を求め、この対応点を用いて前画像と後画像との間に補間画像を作成したことを特徴とする画像表示処理方法。
【請求項７】
前画像及び後画像として、正距円筒投影画像で作成された全方位パノラマ画像を用いたことを特徴とする請求項６に記載の画像表示処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２００９−１０４３４６（Ｐ２００９−１０４３４６Ａ）
【公開日】平成２１年５月１４日（２００９．５．１４）
【国際特許分類】
【出願番号】特願２００７−２７４５３９（Ｐ２００７−２７４５３９）
【出願日】平成１９年１０月２３日（２００７．１０．２３）
【出願人】（５０８０５５０８７）株式会社ロケーションビュー (5)
【Ｆターム（参考）】
【公開日】平成２１年５月１４日（２００９．５．１４）
【国際特許分類】
【出願日】平成１９年１０月２３日（２００７．１０．２３）
【出願人】（５０８０５５０８７）株式会社ロケーションビュー (5)
【Ｆターム（参考）】
[ Back to top ]