非平面画像の画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラム
【課題】 円筒状又は球面状の全方位画像についての圧縮・蓄積・再生などの処理を好適に行う。
【解決手段】 球面又は円筒面などの3次元座標系上にマッピングされた画像を、全方位の画素情報を少ない誤差で、情報量をなるべく等しく保ちつつ、冗長性が低くなるように2次元画像にマッピングする。全方位映像再生側の性能を考慮した形式で2次元画像に変換することが好ましい。元の全方位画像の3次元座標系とマッピングされた2次元画像座標系との対応関係を記述したマッピング情報を生成して、任意の視点方向からの全方位映像を合成する際に利用する。
【解決手段】 球面又は円筒面などの3次元座標系上にマッピングされた画像を、全方位の画素情報を少ない誤差で、情報量をなるべく等しく保ちつつ、冗長性が低くなるように2次元画像にマッピングする。全方位映像再生側の性能を考慮した形式で2次元画像に変換することが好ましい。元の全方位画像の3次元座標系とマッピングされた2次元画像座標系との対応関係を記述したマッピング情報を生成して、任意の視点方向からの全方位映像を合成する際に利用する。
【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、カメラにより撮影された映像データに対して圧縮、蓄積、再生などの処理を行う画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラムに係り、特に、複数のカメラにより撮影された映像データを貼り合せて構成される画像に対して圧縮、蓄積、再生などの処理を行う画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラムに関する。
【0002】更に詳しくは、本発明は、複数のカメラにより撮影された映像データを貼り合せて非平面状に構成される画像に対して圧縮、蓄積、再生などの処理を行う画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラムに係り、特に、空間中のある1つの点が視点として周囲の画像を撮影するように複数台のカメラが設置して構成される全方位カメラ又は全天球型カメラによる円筒状又は球面状の画像の処理を行う画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラムに関する。
【0003】
【従来の技術】ユーザの周囲の風景画像を提供する装置として全方位カメラが知られている。この種の全方位映像システムは、例えば、空間中のある1つの点が視点として周囲の画像を撮影するように複数台のカメラが設置して構成される。複数のカメラからなる全方位映像システムは、隣り合うカメラの撮像画像の境界同士をうまく接続することによって、個々のカメラの視野よりもはるかに広い領域の画像を、あたかも単一の広角度カメラで撮像したかのような画像を生成する画像処理を行う。
【0004】視野角の広いレンズを用いればカメラは広範囲を撮像することができるが、その分だけ解像度が低下して細部が見えづらくなる。これに対し、全方位映像システムによれば、広範囲の撮像画像を高解像度のまま提供することができる。
【0005】このような全方位型の映像を用いることにより、視点自由形の映像を視聴することができる。例えば、キャラクタ(登場人物)が空間を自由に動き回るようなテレビ・ゲームにおいて、任意の視点からの背景画面を表示させることができるので、より現実的な映像を介してゲームを楽しむことができ、エンターティンメント性が高まる。
【0006】また、全方位映像は、通常の映像に比し大容量であるが、インタラクティブ性に優れていることから、ブロードバンド・ネットワーク時代の新しいコンテンツとして有望である。
【0007】全方位映像システムに関しては既に幾つかの提案がなされている。例えば、特開平9−62861号公報には、ユーザの指定に応じて視点、視線方向を連続的に変化させたパノラマ映像を表示することができるパノラマ映像編集装置について開示されている。同公報に記載のパノラマ映像編集装置は、空間内を任意の軌跡を描いて移動する点を視点としてその周囲を撮影した画像の画像データを基に各視点毎のパノラマ画像を合成して、各パノラマ画像に連続した視点位置情報を設定する。再生時には、表示画像の視点位置や視線方向の情報と、ユーザが入力する視点と視線の移動方向の情報から、表示画像の空間内における位置を計算して、表示画像を合成するようになっている。
【0008】しかしながら、従来、表示装置としてテレビなどの高画質なものや任意視点映像の合成に関してリアルタイム性が要求されるような状況を特に想定していなかった。また、画像の表示・再生側の性能や条件を考慮して全方位映像を蓄積する方法に関しては何ら言及されていない。また、内側から任意視点方向を見るだけでなく、外側からの利用を考慮した画像蓄積方法に関して考慮されていない。
【0009】
【発明が解決しようとする課題】本発明の目的は、複数のカメラにより撮影された映像データを貼り合せて非平面状に構成される画像に対して圧縮、蓄積、再生などの処理を好適に行うことができる、優れた画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラムを提供することにある。
【0010】本発明の更なる目的は、空間中のある1つの点が視点として周囲の画像を撮影するように複数台のカメラが設置して構成される全方位カメラ又は全天球型カメラによる円筒状又は球面状の画像の処理を好適に行うことができる、優れた画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラムを提供することにある。
【0011】本発明の更なる目的は、全方位映像のような非平面画像を、表示・再生側の性能を考慮して蓄積処理することができる、優れた画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラムを提供することにある。
【0012】
【課題を解決するための手段及び作用】本発明は、上記課題を参酌してなされたものであり、その第1の側面は、3次元座標系で表される非平面画像を処理する画像処理装置又は画像処理方法であって、3次元座標系で表される非平面画像を2次元平面にマッピングする2次元平面画像マッピング手段又はステップと、元の非平面画像を表す3次元座標系とマッピングされた2次元画像座標系との対応関係を記述したマッピング情報を生成するマッピング情報生成手段又はステップと、を具備することを特徴とする非平面画像の画像処理装置又は画像処理方法である。
【0013】ここで、3次元座標系で表される非平面画像とは、例えば球面状の全方位画像のことである。このような場合、前記2次元平面画像マッピング手段は、全方位の画素情報を少ない誤差で、情報量をなるべく等しく保ちつつ、冗長性が低い2次元画像に変換することが好ましい。また、全方位映像を読み込むシステム側の性能を考慮した形式で2次元画像に変換することが好ましい。
【0014】また、2次元画像マッピング情報は、元の全方位画像の3次元座標系(Θ,Φ,r)と、マッピングされた2次元画像座標系(TX,TY)との対応関係を記述した情報のことであり、任意の視点方向からの全方位映像を合成する際に必要となる。2次元画像マッピング情報は、全方位映像を外側から見るときに、任意の形状で再生するために必要な情報である。
【0015】前記2次元平面画像マッピング手段又はステップは、2次元平面の横方向に球面の水平方向の角度を、縦方向に球面の垂直方法の角度を、それぞれ等間隔で割り当てるようにしてもよい。この場合、前記マッピング情報生成手段は、2次元平面画像の各行及び列に割り当てた球面上の水平方向及び垂直方向の角度で記述されたマッピング情報を生成するようにしてもよい。
【0016】このようなマッピング方法による場合、空間的・時間的相関が高く、また、球面から2次元平面への変換式すなわち2次元マッピング情報が簡単であるという利点がある。また、マッピングされた2次元平面画像から元の全方位画像の全体像を人間が把握し易い。但し、マッピングされた2次元平面の上下部(地図で言えば極部)では歪みが大きくなり(密度が赤道付近に比べて低くなり)、すべての方向について各画素に含まれる情報が等しく保つことはできない。
【0017】あるいは、前記2次元平面画像マッピング手段は、球面の水平方向及び/又は垂直方向の角度を、2次元平面の横方向及び/又は縦方向に任意の間隔で割り当てるようにしてもよい。例えば、横方向及び縦方向がある角度範囲で区切られた領域の密度すなわち情報量を高めるなどの柔軟性を持たせることができる。このときの2次元画像マッピング情報は、各行と列に割り当てた角度となる。
【0018】また、3次元座標系で表される非平面画像は球面状の全方位画像であるとき、前記2次元平面画像マッピング手段又はステップは、面積比率が正しくなるように球面を円筒に投影して、該円筒を平面に展開して2次元平面画像にマッピングするようにしてもよい。
【0019】このようなマッピング方法によれば、正積ゆえ各画素に含まれる情報量が等しくなる、空間的・時間的相関関係が高い、球面から2次元平面への変換式すなわち2次元画像マッピング情報が簡単であるという利点がある。
【0020】また、前記2次元平面画像マッピング手段又はステップは、3次元座標系で表される非平面画像をすべての方向について各画素に含まれる情報量が等しく保たれるように2次元平面画像にマッピングするようにしてもよい。
【0021】例えば、3次元座標系で表される非平面画像が球面状の全方位画像である場合に、前記2次元平面画像マッピング手段は、球のz軸を等間隔に平行な平面で切ったときに隣接する平面で挟まれる球面上の面積は一定となるという定理を利用して、3次元極座標系でZ軸方向に等間隔な範囲で区切られる球面上の領域を、2次元直交座標系で等間隔な範囲で区切られる帯状の平面領域にランダムにマッピングするようにすることで、球面から均一に画素をサンプリングすることができるということを挙げることができる。
【0022】但し、このようなマッピング方法では、計算処理が多少かかる、2次元平面へのマッピング画像からは元の全方位画像の全体像を把握しにくいなどの欠点を伴う。また、2次元画像マッピング情報は画素単位で記述されるので、全方位映像の表示・再生を領域毎に行う方式では使えない。また、ランダムな場所の画素にマッピングされているので、2次元画像から全方位映像の表示・再生する際に、点(Θ,Φ)の画素値を補間するためには、隣接画素を効率的に探索しなければならない。
【0023】また、前記2次元平面画像マッピング手段又はステップは、1行がw画素からなる2次元平面画像のi行j列目に、Hammersley Sequenceを用いてiw+j番目に全方位画像から抽出した点をマッピングすることによって、3次元座標系で表される非平面画像をすべての方向について各画素に含まれる情報量がより等しく保たれるように2次元平面画像にマッピングするようにすることができる。
【0024】但し、このようなマッピング方法では、計算処理が多少かかる、2次元平面へのマッピング画像からは元の全方位画像の全体像を把握しにくいなどの欠点を伴う。また、2次元画像マッピング情報は画素単位で記述されるので、全方位映像の表示・再生を領域毎に行う方式では使えない。また、隣接画素は必ずしも隣接してマッピングされないので、2次元画像から全方位映像の表示・再生する際に、点(Θ,Φ)の画素値を補間するためには、隣接画素を効率的に探索しなければならない。
【0025】また、3次元座標系で表される非平面画像が円筒状の全方位画像である場合には、前記2次元平面画像マッピング手段又はステップは、該円筒を縦に切って長方形に展開し、さらに該長方形画像を等分割して分割された各断片を上から順に配置して、規定のフォーマット・サイズに適合させるようにしてもよい。
【0026】また、本発明の第1の側面に係る非平面画像の画像処理装置又は画像処理方法は、マッピングされた2次元平面画像情報を所定の圧縮フォーマットで圧縮する画像圧縮手段又はステップをさらに備えていてもよい。
【0027】動画に対しては、MPEG−1、MPEG−2、MPEG−4、H.263、H.261、AVI、Motion JPEGなど、また、静止画に対しては、JPEG、GIF、PNG、BMP、TIFFなどの圧縮フォーマットを採用することができる。
【0028】例えば、面積比率が正しくなるように球面状の全方位映像を円筒に投影して、該円筒を平面に展開して2次元平面画像にマッピングする場合には、2次元平面画像情報に画素がマッピングされていない未使用領域ができてしまう。このような未使用領域に対して同じ画素値を割り当てることにより、空間的、時間的な相関関係が高まるので、圧縮率を高めることができる。
【0029】既に述べたように、マッピング情報は、任意の視点方向から全方位映像を合成するために必要なデータである。そこで、本発明の第1の側面に係る非平面画像の画像処理装置又は画像処理方法は、前記2次元平面画像マッピング手段又はステップによりマッピングされた2次元平面画像あるいは圧縮画像と、前記マッピング情報生成手段又はステップにより生成されたマッピング情報とを1組としたデータ・フォーマットに変換するデータ・フォーマット変換手段又はステップをさらに備えていてもよい。
【0030】また、このデータ・フォーマット変換手段又はステップは、映像情報と同期がとれるような形式で音声情報をインターリーブして挿入するようにしてもよい。
【0031】また、データ・フォーマット変換手段又はステップは、前記2次元平面画像マッピング手段又はステップが採用するマッピング方法が切り換わる度に、フレームの先頭にマッピング情報を挿入するようにしてもよい。
【0032】また、本発明の第2の側面は、2次元平面画像にマッピングされた3次元座標系の非平面画像を映像表示する画像処理装置又は画像処理方法であって、視点方向及び/又はズーム値を指定する指示手段又はステップと、2次元平面画像にマッピングしたときのマッピング情報を用いて該指定された視点方向及び/又はズーム値に従った任意視点方向の3次元形状映像を生成する映像生成手段又はステップと、を具備することを特徴とする非平面画像の画像処理装置又は画像処理方法である。
【0033】ここで、前記映像生成手段又はステップは、2次元平面にマッピングされている非平面画像から、所定の映像表示装置が持つ2次元表示画面への再マッピングを行う。
【0034】前記映像生成手段又はステップは、視点方向映像の各画素について視点方向及び/又はズーム値から極座標を計算する手段又はステップと、2次元画像マッピング情報を参照して極座標を全方位画像座標に変換する手段又はステップとを備え、任意視点方向の全方位映像を画素単位で合成処理するようにしてもよい。
【0035】あるいは、前記映像生成手段又はステップは、2次元画像マッピング情報を用いて全方位映像に含まれるプリミティブの各頂点について全方位画像座標を極座標に変換する手段又はステップと、視点方向及び/又はズーム値から極座標を視点方向画像座標に変換する手段又はステップと、全方位映像をテクスチャとしてプリミティブ単位で視点方向画像を生成する手段又はステップとを備え、任意視点方向の全方位映像を領域単位で合成処理するようにしてもよい。
【0036】また、前記映像生成手段又はステップは、全方位画像の隣接画素を基に画素を補間する手段又はステップをさらに備えていてもよい。また、画素補正に際し、全方位画像の左右両端付近に、他端から所定幅だけ複製した画素領域を配設することで、画素補正されない途切れの出現を防止することができる。
【0037】また、前記映像生成手段又はステップは、2次元マッピングされた全方位画像の各画素について隣接画素を検索するためのルックアップ・テーブルを作成する手段又はステップと、視点方向映像の各画素について視点方向及びズーム値から極座標を計算する手段又はステップと、前記ルックアップ・テーブルを参照して視点方向映像の画素に対応する極座標に隣接する画素を探索する手段又はステップと、隣接画素を用いて極座標を画素補間する手段又はステップと、2次元画像マッピング情報を参照して、極座標を全方位画像座標に変換する手段又はステップとを備えていてもよい。
【0038】このような前記映像生成手段又はステップは、球のz軸を等間隔に平行な平面で切ったときに隣接する平面で挟まれる球面上の面積は一定となるという定理を利用して、3次元極座標系でZ軸方向に等間隔な範囲で区切られる球面上の領域を、2次元直交座標系で等間隔な範囲で区切られる帯状の平面領域にランダムにマッピングされた2次元平面画像や、Hammersley Sequenceを用いてiw+j番目に全方位画像から抽出した点をマッピングすることによって、3次元座標系で表される非平面画像をすべての方向について各画素に含まれる情報量がより等しく保たれるようにマッピングされた2次元平面画像から、任意視点方向の全方位映像を合成することができる。
【0039】また、前記映像生成手段は、任意視点方向映像合成時に視点が内側にあるときに各種レンズのカメラで撮影した映像を擬似的に実現することができる。例えば、元はピンホール・カメラで撮影した映像で構成される全方位映像を基に、魚眼レンズで撮影したような視点画像を合成することができる。
【0040】また、前記映像生成手段は、任意視点方向映像合成時に視点が外側にあるときに任意の3次元形状の全方位映像を生成するようにしてもよい。例えば、多面体などの外側に視点を指定することで、多面体の表面に全方位映像を貼り付けることができる。これによって、従来にないGUI(Graphical User Interface)や利用が可能になると期待される。
【0041】また、本発明の第3の側面は、3次元座標系で表される非平面画像の処理をコンピュータ・システム上で実行するように記述されたコンピュータ・ソフトウェアをコンピュータ可読形式で物理的に格納した記憶媒体であって、前記コンピュータ・ソフトウェアは、3次元座標系で表される非平面画像を2次元平面にマッピングする2次元平面画像マッピング・ステップと、元の非平面画像を表す3次元座標系とマッピングされた2次元画像座標系との対応関係を記述したマッピング情報を生成するマッピング情報生成ステップと、を具備することを特徴とする記憶媒体である。
【0042】また、本発明の第4の側面は、2次元平面画像にマッピングされた3次元座標系の非平面画像を映像表示するための処理をコンピュータ・システム上で実行するように記述されたコンピュータ・ソフトウェアをコンピュータ可読形式で物理的に格納した記憶媒体であって、前記コンピュータ・ソフトウェアは、視点方向及び/又はズーム値を指定する指示ステップと、2次元平面画像にマッピングしたときのマッピング情報を用いて該指定された視点方向及び/又はズーム値に従った任意視点方向の3次元形状映像を生成する映像生成ステップと、を具備することを特徴とする記憶媒体である。
【0043】本発明の第3及び第4の各側面に係る記憶媒体は、例えば、さまざまなプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ・ソフトウェアをコンピュータ可読な形式で提供する媒体である。このような媒体は、例えば、DVD(Digital Versatile Disc)やCD(Compact Disc)、FD(Floppy Disk)、MO(Magneto-Optical disc)などの着脱自在で可搬性の記憶媒体である。あるいは、ネットワーク(ネットワークは無線、有線の区別を問わない)などの伝送媒体などを経由してコンピュータ・ソフトウェアを特定のコンピュータ・システムに提供することも技術的に可能である。
【0044】このような記憶媒体は、コンピュータ・システム上で所定のコンピュータ・ソフトウェアの機能を実現するための、コンピュータ・ソフトウェアと記憶媒体との構造上又は機能上の協働的関係を定義したものである。換言すれば、本発明の第3及び第4の各側面に係る記憶媒体を介して所定のコンピュータ・ソフトウェアをコンピュータ・システムにインストールすることによって、コンピュータ・システム上では協働的作用が発揮され、本発明の第1及び第2の各側面に係る非平面画像の画像処理装置又は画像処理方法と同様の作用効果を得ることができる。
【0045】また、本発明の第5の側面は、3次元座標系で表される非平面画像の処理をコンピュータ・システム上で実行するように記述されたコンピュータ・プログラムであって、3次元座標系で表される非平面画像を2次元平面にマッピングする2次元平面画像マッピング・ステップと、元の非平面画像を表す3次元座標系とマッピングされた2次元画像座標系との対応関係を記述したマッピング情報を生成するマッピング情報生成ステップと、を具備することを特徴とするコンピュータ・プログラムである。
【0046】また、本発明の第6の側面は、2次元平面画像にマッピングされた3次元座標系の非平面画像を映像表示するための処理をコンピュータ・システム上で実行するように記述されたコンピュータ・プログラムであって、視点方向及び/又はズーム値を指定する指示ステップと、2次元平面画像にマッピングしたときのマッピング情報を用いて該指定された視点方向及び/又はズーム値に従った任意視点方向の3次元形状映像を生成する映像生成ステップと、を具備することを特徴とするコンピュータ・プログラムである。
【0047】本発明の第5及び第6の各側面に係るコンピュータ・プログラムは、コンピュータ・システム上で所定の処理を実現するようにコンピュータ可読形式で記述されたコンピュータ・プログラムを定義したものである。換言すれば、本発明の第5及び第6の各側面に係るコンピュータ・プログラムをコンピュータ・システムにインストールすることによって、コンピュータ・システム上では協働的作用が発揮され、本発明の第1及び第2の各側面に係る非平面画像の画像処理装置又は画像処理方法と同様の作用効果を得ることができる。
【0048】本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【0049】
【発明の実施の形態】以下、図面を参照しながら本発明の実施形態について詳解する。
【0050】A.全方位映像生成システム図1には、本発明の実施に供される全方位映像生成システム10の構成を模式的に示している。同図に示すように、全方位映像生成システム10は、全方位撮影装置11と、全方位映像合成装置12と、全方位映像蓄積装置13で構成される。
【0051】全方位撮影装置11は、N台のカメラが空間中のある1つの視点を中心にしてすべての方向の映像を撮影できるように配置して構成される。各カメラの配置構成例として、以下のものを挙げることができる。
【0052】(1)N台のカメラを放射状に配置した構成。例えば、正十二面体のような多面体の構成面の各々にピンホール・カメラを設置した構成。
(2)反射鏡を介して水平方向に分割撮影できるようにN台のカメラを配置した構成。
(3)魚眼レンズを用いて1台のカメラで半球を撮影する構成。
(4)魚眼レンズを用いたカメラを2台組み合わせて全方位(全天球)映像を撮影する構成。
(5)1台のカメラをその視点を中心に回転させて、全方位を撮影する構成。
【0053】A−1.全方位撮影装置図2には、上述した(1)を採用した全方位撮影装置11の構成例を示している。この全方位撮影装置11−1は、12個の略正5角形の構成面からなる略正十二面体(Dodecahedron)形状のフレームと、該フレームの各面上に1台ずつ配備された11台のカメラ…で構成される。各カメラは、周囲の風景のうち、それぞれが担当する領域を撮像して周囲画像の一部として供給することができる。各カメラは、投影中心を持つピンホール・タイプのカメラであり、例えば、素子表面にマイクロレンズを組み込んだCCD(Charge Coupled device:電荷結合素子)カメラでよい。フレームの底面に相当する構成面は台座として使用されている。台座の一側面からは、各カメラによる撮像画像データを外部出力するためのケーブル類が接続されている。各カメラの映像を貼り合わせることにより、球面状の全方位画像が得られる。
【0054】また、図3には、上述した(2)を採用した全方位撮影装置11の構成例を示している。この全方位撮影装置11−2は、所定の円周方向に略等間隔に配列された8台のカメラと、各カメラ毎にその視線方向に配設された8枚の平面鏡が8角錐上に配設された反射部とで構成される。ここで、各カメラの投影中心が全方撮影装置11−2の中央付近で一致するように、且つ、各カメラの視線方向が1つの水平面上で所定角度間隔を置くように、各カメラが配設されている。各平面鏡で反射された周囲の情景を、反射方向に向けられたカメラで撮影することにより、全方位撮影装置11−2全体としては、水平方向360度の映像の鏡像を撮影することができる。各カメラの映像を反転、貼り合わせなどの処理を行うことにより、円筒状の全方位画像が得られる。
【0055】図4に示すように、各カメラにそれぞれVTRを接続することにより、合計8本の映像(及び音声)ストリームを記録することができる。これら記録された映像ストリームを、切り換え器を介してビデオ・キャプチャリングして、コンピュータ・データ(ビットマップ・ファイル)として、後段の全方位映像合成装置12に取り込んで、球面や円筒への3次元画像マッピングなど各種のデータ加工を行うことができる。
【0056】A−2.全方位映像合成装置図5には、全方位映像合成装置12における機能構成を模式的に示している。同図に示すように、全方位映像合成装置12は、レンズ歪・輝度・コントラスト・パースペクティブ補正部21と、3次元座標系へのマッピング部22と、2次元画像へのマッピング部23と、動画・静止画圧縮部24と、マッピング情報生成部25と、全方位映像データ・フォーマット変換部26とで構成される。
【0057】レンズ歪・輝度・コントラスト・パースペクティブ補正部21は、全方位撮影装置11によって撮影されたN台のカメラの映像データ(動画又は静止画)を入力して、各カメラのカメラ・パラメータを基に、レンズ歪補正、色補正、輝度補正、コントラスト補正、パースペクティブ補正などの処理を、フレーム単位で行う。
【0058】3次元座標系へのマッピング部22は、補正部21によって補正されたN個の映像から同期のとれた静止画を1枚ずつ選択して、このN枚の画像と撮影に使われた対応するカメラのカメラ・パラメータを用いて、各画像を1つの3次元座標系(極座標系)において、球面又は円筒面上にマッピングする。
【0059】2次元画像へのマッピング部23は、球面又は円筒面などの3次元座標系上にマッピングされた画像を2次元平面画像にマッピングする。全方位の画素情報を少ない誤差で、情報量をなるべく等しく保ちつつ、冗長性が低い2次元画像に変換することが好ましい。また、全方位映像を読み込むシステム(後述)側の性能を考慮した形式で2次元画像に変換することが好ましい。
【0060】なお、球面や円筒面などの3次元座標系にマッピングされた非平面画像を2次元画像にマッピングする方法に関しては幾つか挙げることができるが、その詳細については後述に譲る。
【0061】マッピング情報生成部25は、2次元画像へのマッピング部23において適用されたマッピングした方法に応じて、全方位映像表示システム(後述)において画像の表示・再生に必要な2次元画像マッピング情報を作成する。ここで言う2次元画像マッピング情報は、元の全方位画像の3次元座標系(Θ,Φ,r)と、マッピングされた2次元画像座標系(TX,TY)との対応関係を記述した情報のことである。2次元画像マッピング情報は、全方位映像を外側から見るときに、任意の形状で再生するために必要な情報である(後述)。
【0062】2次元画像へのマッピング部23は、全フレームについてマッピング処理を行う。マッピング方法はフレーム単位で切り換えることが可能であるが、この場合、マッピング情報生成部25は、その都度マッピング情報を生成する。
【0063】動画・静止画圧縮部24は、2次元画像へのマッピング部23により生成された2次元の静止画あるいは動画を圧縮する。圧縮フォーマットとしては、動画に対しては、MPEG−1、MPEG−2、MPEG−4、H.263、H.261、AVI、Motion JPEGなど、また、静止画に対しては、JPEG、GIF、PNG、BMP、TIFFなど、2次元画像を扱うことができる既存のフォーマットを使用することができる。
【0064】全方位映像データ・フォーマット変換部26は、マッピング情報生成部25により生成された2次元画像マッピング情報と、動画・静止画圧縮部24により生成された圧縮映像を1組としたデータ・フォーマットに変換する。図6には、このデータ・フォーマットの構造を模式的に示している。
【0065】図示のデータ・フォーマットには、映像情報と音声情報の同期がとれるような形式でインターリーブして挿入することも可能である。2次元画像マッピング情報は、映像情報に対して適用される2次元画像マッピング方法から切り換わる度に、そのフレームの先頭に挿入する。つまり、すべてのフレームに関して同じ2次元画像マッピング方法を使用する場合には、先頭に1つだけ2次元画像マッピング情報を含んでいればよい。また、表示・再生側(全方位映像表示システム)で必要な2次元マッピング情報を備えている場合には、データ・フォーマットから2次元マッピング情報を省略することができる。
【0066】例えば、表示・再生側で、画素単位で2次元画像を再生しようとする場合、各画素毎にマッピング情報を持たなければならず、マッピング情報だけでデータが肥大化してしまい、映像や音声に割り当てるデータが減ってしまうので、マッピング情報を省略できることが好ましい。また、画素ではなく、所定の面積を持つ領域単位で2次元画像を再生しようとする場合であっても、3次元座標系へ再マッピングするときに、2次元画像マッピング情報を逐次使用するよりも変換式で計算した方が高速である場合には、マッピング情報の分だけデータを削減することが好ましい。
【0067】A−3.全方位映像蓄積装置全方位映像蓄積装置13は、ハード・ディスクやDVD(Digital VersatileDisc)のような、一般的なコンピュータ・システムの外部記憶装置を用いて構成することができる。
【0068】また、全方位映像合成装置12及び全方位映像蓄積装置13を、単一又は複数台のコンピュータ・システム上で所定の画像処理・蓄積アプリケーションを起動するという形態で実現することも可能である。
【0069】図7には、全方位映像合成装置12及び全方位映像蓄積装置13として適用されるコンピュータ・システム100の構成を模式的に示している。以下、この図を参照しながら、コンピュータ・システム100について説明する。
【0070】システム100のメイン・コントローラであるCPU(Central Processing Unit)101は、オペレーティング・システム(OS)の制御下で、各種のアプリケーションを実行する。CPU101は、例えば、球面や円筒面上に描かれた3次元画像を2次元平面画像に変換したり、変換後の2次元平面画像を圧縮・蓄積処理するための非平面画像処理アプリケーションを実行することができる。図示の通り、CPU101は、バス108によって他の機器類(後述)と相互接続されている。
【0071】メモリ102は、CPU101において実行されるプログラム・コードを格納したり、実行中の作業データを一時保管するために使用される記憶装置である。同図に示すメモリ102は、ROMなどの不揮発性メモリ及びDRAMなどの揮発性メモリの双方を含むものと理解されたい。
【0072】ディスプレイ・コントローラ103は、CPU101が発行する描画命令を実際に処理するための専用コントローラである。ディスプレイ・コントローラ103において処理された描画データは、例えばフレーム・バッファ(図示しない)に一旦書き込まれた後、ディスプレイ111によって画面出力される。
【0073】入力機器インターフェース104は、キーボード112やマウス113などのユーザ入力機器を計算機システム100に接続するための装置である。
【0074】ネットワーク・インターフェース105は、Ethernetなどの所定の通信プロトコルに従って、システム100をLAN(Local Area Network)などの局所的ネットワーク、さらにはインターネットのような広域ネットワークに接続することができる。
【0075】ネットワーク上では、複数のホスト端末(図示しない)がトランスペアレントな状態で接続され、分散コンピューティング環境が構築されている。ネットワーク上では、ソフトウェア・プログラムやデータ・コンテンツなどの配信が行うことができる。例えば、球面や円筒面上に描かれた3次元画像を2次元平面画像に変換したり、変換後の2次元平面画像を圧縮・蓄積処理するための非平面画像処理アプリケーションを、ネットワーク経由でダウンロードすることができる。また、この非平面画像処理アプリケーションによって圧縮された画像データをネットワーク経由で配信することもできる。
【0076】外部機器インターフェース107は、ハード・ディスク・ドライブ(HDD)114やメディア・ドライブ115などの外部装置をシステム100に接続するための装置である。
【0077】HDD114は、記憶担体としての磁気ディスクを固定的に搭載した外部記憶装置であり(周知)、記憶容量やデータ転送速度などの点で他の外部記憶装置よりも優れている。ソフトウェア・プログラムを実行可能な状態でHDD114上に置くことをプログラムのシステムへの「インストール」と呼ぶ。通常、HDD114には、CPU101が実行すべきオペレーティング・システムのプログラム・コードや、アプリケーション・プログラム、デバイス・ドライバなどが不揮発的に格納されている。
【0078】例えば、球面や円筒面上に描かれた3次元画像を2次元平面画像に変換したり、変換後の2次元平面画像を圧縮・蓄積処理するための非平面画像処理アプリケーションを、HDD114上にインストールすることができる。また、この非平面画像処理アプリケーションの処理対象となる3次元非平面画像や、2次元平面に変換された画像やその圧縮画像データなどをHDD114上に保存することもできる。
【0079】メディア・ドライブ115は、CD(Compact Disc)やMO(Magneto-Opticaldisc)、DVD(Digital Versatile Disc)などの可搬型メディアを装填して、そのデータ記録面にアクセスするための装置である。
【0080】可搬型メディアは、主として、ソフトウェア・プログラムやデータ・ファイルなどをコンピュータ可読形式のデータとしてバックアップすることや、これらをシステム間で移動(すなわち販売・流通・配布を含む)する目的で使用される。例えば、球面や円筒面上に描かれた3次元画像を2次元平面画像に変換したり、変換後の2次元平面画像を圧縮・蓄積処理するための非平面画像処理アプリケーションを、これら可搬型メディアを利用して複数の機器間で物理的に流通・配布することができる。また、この非平面画像処理アプリケーションの処理対象となる3次元非平面画像や、2次元平面に変換された画像やその圧縮画像データなどを、これら可搬型メディアを利用して複数の機器間で物理的に流通・配布することができる。
【0081】ビデオ・キャプチャ・カード109は、全方位撮影装置11からの入力信号、すなわち切り換え器を介して接続される各VTRから再生されるビデオ信号をコンピュータ・データ(ビットマップ・ファイル)としてコンピュータ内に取り込むための装置である。
【0082】なお、図7に示すようなコンピュータ100の一例は、米IBM社のパーソナル・コンピュータ"PC/AT(Personal Computer/Advanced Technology)"の互換機又は後継機である。勿論、他のアーキテクチャを備えたコンピュータを、本実施形態に係るコンピュータ100として適用することも可能である。
【0083】A−4.3次元座標系の画像の2次元平面へのマッピング既に説明したように、、本実施形態に係る全方位映像合成システム10は、例えば図2に示すような全方位撮影装置11によって撮影された全方位映像を取り扱うシステムである。この種の全方位映像は、本来、極座標系において球面あるいは円筒にマッピングされた非平面状の3次元画像であり、2次元画像を取り扱うことを前提とした既存の圧縮フォーマットで取り扱うには適していない。言い換えれば、データの圧縮、蓄積、転送などの処理を行うためには、球面や円筒面などの3次元座標系の非平面上で表現された全方位画像を、2次元平面画像にマッピングする必要がある。
【0084】3次元座標系の画像を2次元平面画像にマッピングする方法には幾つか挙げられるが、以下に示す条件に応じて最適なマッピング方法を選択することが好ましい。
【0085】(1)球面を平面に展開するには、球面の表面のどこかを伸ばすか、又は、ある箇所に断裂を入れなければ、平面にすることはできない。つまり、球面形状をそのまま平面に展開することは不可能であり、必ず誤差が生ずる。できるだけ誤差を少なくしながら球面から平面に投影する方法が望ましい。球面を平面にマッピングする際に、すべての方向について各画素に含まれる情報量が等しく保たれていること、つまり、すべての方向に対して画素が等面積に扱われることが望ましい。
【0086】(2)全方位映像を表示・再生する全方位映像表示システム(後述)において、全方位映像蓄積装置と任意視点方向映像合成装置の間がネットワークで結ばれている場合、あるいは、全方位映像蓄積装置がDVDなどの記録メディアであるとしても、転送レートには制限がある。転送レートが限られているとき、圧縮レートもそれに応じて制限されるので、冗長性が低いことが望ましい。また、標準的な圧縮方法(例えば、MPEG−2)で圧縮し易い(例えば、空間・時間相関関係が高い)ことが望まれる。
【0087】(3)全方位映像表示システムにおいてリアルタイム処理が必要で、且つその処理性能や資源に制限がある可能性があることを考慮すると、球面から平面への変換のための演算処理が簡単であることが望ましい。
【0088】(4)MPEG−2などの圧縮フォーマットによっては、解像度に制限があるものがある。また、全方位映像表示システムにおいて、領域単位で任意視点方向映像が合成される場合(後述)には、映像表示装置に転送する映像を一時的に保持するテクスチャ・バッファに任意視点方向映像ではなく全方位映像が転送されることがあるが、このテクスチャ・バッファに制限があるものがある。このように解像度に制限があるときには、それを満たすように2次元画像に変換しなければならない。
【0089】ここで、球面や円筒などの3次元座標系の画像を2次元平面画像にマッピングする方法の具体例について説明する。
【0090】A−4−1.球型の全方位映像の2次元平面へのマッピング方法球面を平面にマッピングする方法としては、地球を平面上の世界地図に投影する地図投影法がよく知られている。一般的な地図投影法を用いて球状の全方位映像を平面に展開した場合、球面上の描画内容に類似する模様が平面上に投影されるので、マッピング後の2次元平面画像から元の全方位画像の全体像を人間が把握し易いという利点がある。
【0091】例えば、図8に示すように、球面を円筒に投影して、この円筒を平面に展開する方法が挙げられる。同図に示す例では、2次元平面の横方向に球面の水平方向の角度を、縦方向に球面の垂直方法の角度を、それぞれ等間隔で割り当てている。このときの2次元画像マッピング情報は、各行と列に割り当てた角度のデータとなる。
【0092】図9には、屋外のある場所で撮影された全方位画像を、図8に示したような円筒投影法で2次元平面にマッピングした画像の例を示している。
【0093】このようなマッピング方法では、マッピングされた2次元平面の上下部(地図で言えば極部)では歪みが大きくなる(密度が赤道付近に比べて低くなる)ので、すべての方向について各画素に含まれる情報が等しく保たれるという上述した第1の条件を満たすことができない。但し、このマッピング方法によれば、空間的・時間的相関が高く、また、球面から2次元平面への変換式すなわち2次元マッピング情報が簡単であるという利点がある。また、図9からも推測されるように、マッピングされた2次元平面画像から元の全方位画像の全体像を人間が把握し易い。
【0094】あるいは、図10に示すように、球面を円筒に投影して平面に展開した後、横方向及び縦方向の角度を球面上の水平方向及び垂直方向の角度に等間隔に割り当てるのではなく、マッピングされた角度の間隔を自由に変更してもよい。例えば、横方向及び縦方向がある角度範囲で区切られた領域の密度すなわち情報量を高めるなどの柔軟性を持たせることができる。例えば、全方位画像のうち詳細な情報を残したい画像領域により大きな角度範囲を割り当てることができる。このときの2次元画像マッピング情報は、上述と同様に、各行と列に割り当てた角度となる。
【0095】また、球面を円筒に投影して平面に展開する地図投影法の中には、地球上のどの部分についても、その面積比率が地図上に正しく表現される、すなわち正積図法としての性質を持つ「サンソン(Sanson)図法」を挙げることができる。緯線は水平線で正しい間隔、正しい長さで表される。また、経線は曲線であるが等間隔となる。赤道付近と中央経線付近でのひずみは小さくなる。
【0096】サンソン図法を適用した2次元画像マッピング方法によれば、正積ゆえ各画素に含まれる情報量が等しくなる、空間的・時間的相関関係が高い、球面から2次元平面への変換式すなわち2次元画像マッピング情報が簡単であるという利点がある。この場合の2次元画像マッピング情報は、以下のような3次元座標系−2次元座標系の変換式で構成される。(但し、2次元平面画像サイズがW×Hとする。)
【0097】
【数3】
【0098】
【数4】
【0099】サンソン図法(あるいはモルワイデ図法)のような正積・円筒図法を用いた場合、図11に示すような画像の未使用領域が生成されてしまう。このような未使用領域には、図12に示すように同じ背景色(画素値)を割り当てることにより、空間的・時間的相関関係を高めて圧縮率が高くなるので、表示・再生時の画質が向上する。
【0100】上述したような伝統的な地図投影方法を用いて球型の全方位映像を2次元平面にマッピングした場合、元の3次元画像とマッピング後の2次元平面画像との相関関係が視覚的に判るので、2次元平面画像から全方位画像の全体像を人間が把握し易いという利点がある。しかしながら、本実施形態に係る全方位映像合成システム10において、2次元平面画像にマッピングする主な理由は、画像圧縮などにおいて規定のデータ・フォーマットを利用して全方位映像を取り扱うことを可能にすることにある。言い換えるならば、2次元平面画像は、人間が見て理解できるか否かは二の次であり、球面を平面にマッピングする際に、すべての方向について各画素に含まれる情報量が等しく保たれていること、つまり、すべての方向に対して画素が等面積に扱われることの方が、画質の向上や映像表示システム側でのデータの取り扱いという観点からはより望ましい。
【0101】本発明者らは、すべての方向について各画素に含まれる情報量が等しく保たれるように球面を2次元平面にマッピングするために、数学的な手法に基づいて球面上から均一にサンプリング点を抽出して、これを2次元平面画像にマッピングしていくという手法を以下に提案する。このような場合、球面上からサンプリングされた点の3次元座標とマッピング先の2次元画像との対応関係が2次元画像マッピング情報となる。
【0102】例えば、「球のz軸を等間隔に平行な平面で切ったとき、隣接する平面で挟まれる球面上の面積は一定である」という幾何学上の定理がある。例えば、半径rの球をZ軸に直交する平行な平面で等間隔hで輪切りにしていった場合、分割された各球面上の面積は2πhと一定になる(詳細は、Joseph O'Rourke著の論文"Computational Geometry Column 31"を参照されたい)。
【0103】Z軸が[−1..1]で2次元平面画像サイズがW×Hのとき、hを[0..H]とすると、Z軸方向の高さhに相当する角度(緯度)Φhは、下式で表される。
【0104】
【数5】
【0105】ここで、Φが[Φh-1..Φh]、Θが[0..2π]の範囲に収まるような均一な乱数を用いて(Φ、Θ)のペアを決めていく。この内容を2次元画像マッピング情報に格納するとともに、2次元画像を生成する。すなわち、3次元極座標系でZ軸方向に等間隔すなわち等面積な範囲[Φh-1..Φh]で区切られる球面上の領域を、2次元座標系で[Φh-1..Φh]の範囲内で等間隔すなわち等面積で区切られる帯状の平面領域にランダムに展開していく(図13を参照のこと)。本発明者らは、この2次元画像マッピング方法のことを"Stratified Random "と呼ぶことにする。
【0106】図14に示すように、例えば、2次元平面上の点(i,j)において、Φi-1<Φi,j<Φi+1となるΦi,jをランダムに決定する。次いで、Θ値をソートして、球面上でランダムに抽出された点(Θi,j,Φi,j)の点を2次元平面上の点(i,j)に描画する。但し、Θi,jは[0..2π]の範囲内で、Φi,jは[Φi-1..Φi+1]の範囲内で、それぞれランダムに決定される。そして、2次元平面の各行iについて、すべての(Θi,j,Φi,j)を辞書式にソートし、これがこの場合の2次元画像マッピング情報となる。
【0107】図15には、屋外のある場所で撮影された全方位画像を、Stratified Randomに基づくマッピング方法により2次元平面にマッピングした画像の例を示している。同図の基となる全方位画像は、図9で使用したものと同じである。同図からも判るように、Stratified Randomに基づくマッピング方法はZ軸方向に等間隔で分割された球面上の領域を2次元平面上の該当する領域内にランダムにマッピングするので、図9に比べて目視では全体像を把握しづらい。
【0108】Stratified Randomによる2次元画像マッピング方法の利点として、球面から均一に画素をサンプリングすることができるということを挙げることができる。
【0109】一方、Stratified Randomによる2次元画像マッピング方法の欠点は計算処理が多少かかるということと、2次元平面へのマッピング画像からは元の全方位画像の全体像を把握しにくい(図15R>5を参照のこと)ということである。また、2次元画像マッピング情報は画素単位で記述されるので、全方位映像の表示・再生を領域毎に行う方式では使えない。また、ランダムな場所の画素にマッピングされているので、2次元画像から全方位映像の表示・再生する際に、点(Θ,Φ)の画素値を補間するためには、隣接画素を効率的に探索しなければならない。
【0110】上述したStratified Randomによる2次元平面へのマッピング法は、乱数を用いることにより、3次元座標系で表される非平面画像をすべての方向について各画素に含まれる情報量が等しく保たれる、すなわちすべての方向に対して画素が等面積に扱われるように2次元平面画像にマッピングするようにしている。この場合、各画素の情報量の均一性は、生成する乱数の均一性が保証されていることを前提とする。しかしながら、均一な乱数を生成することは、技術的に困難である。
【0111】他方、数学の分野では、密度の均一性を保ちながら正方形や球の表面から多数の点を抽出することを可能とする、"Hammersley"と呼ばれる定理が知られている。Hammersleyの定理を応用したHammersley Sequenceによれば、密度の均一性を保ちながら、球面上からサンプリング点を順次抽出していくことができる(例えば、Tien-Tsin Wong, Wai-Shing Luk,Pheng-Ann Heng共著の論文"Sampling with Hammersley and Halton Points"を参照されたい)。
【0112】図16及び図17には、Hammersley Sequenceにより球面上から1000個及び10000個のサンプリング点を抽出した様子を示している。また、これとの対比で、図18及び図19には、一般的な乱数計算で得られる乱数により球面上から1000個及び10000個のサンプリング点を抽出した様子を示している。各図を比較しても判るように、乱数を用いた場合よりも、Hammersley Sequenceを用いてサンプリング点を抽出した場合の方が、密度の均一性を保ちながら球面から点を抽出しており、したがって、3次元座標系で表される非平面画像をすべての方向について各画素に含まれる情報量が等しく保たれることが理解できるであろう。
【0113】そこで、本発明者らは、数学的な手法に基づいて球面上から均一にサンプリング点を抽出して、これを2次元平面画像にマッピングしていく他の例として、Hammersley Sequenceを用いたマッピング方法を以下に提案する。
【0114】この方法は、マッピング先となる2次元平面画像のi行j列目にマッピングすべき球面上のサンプリング点を、Hammersley Sequenceを用いて抽出するというものである。例えば、2次元平面画像の1行がw画素からなるとして、元の球面上におけるiw+j番目のサンプリング点をHammersley Sequenceにより抽出して、これを2次元平面上の(Θi,j,Φi,j)にマッピングしていく(図20R>0を参照のこと)。
【0115】ここで、Hammersley Sequenceにより球面上からiw+j番目のサンプリング点を抽出するための手順について説明する。
【0116】まず、k=iw+jとおき、このkを基底pを用いて以下の漸化式で表す。
【0117】
【数6】
【0118】また、このkを変数とする関数Ψp(k)を以下のように定義する。
【0119】
【数7】
【0120】ここで、(k/m,Ψp(k))=(ψ,t)と置き換えて、変数ψ及びtで表される下記の座標値(X,Y,Z)がHammersley Sequenceにより求まるサンプリング点である。
【0121】
【数8】
【0122】この場合、元の球面上の3次元極座標系(Θ,Φ)との対応関係すなわちマッピング情報は下式のように記述される。
【0123】
【数9】
【0124】図21には、屋外のある場所で撮影された全方位画像を、Hammersley Sequenceに基づくマッピング方法により2次元平面にマッピングした画像の例を示している。同図の基となる全方位画像は、図9で使用したものと同じであるが、Hammersley Sequenceに基づくマッピング方法は、Hammersley Sequenceによって順次算出される球面上のサンプリング点を2次元平面上の該当する領域内にランダムにマッピングするので、図9R>9に比べて目視では全方位画像の全体像を把握することは難しい。
【0125】Hammersley Sequenceによる2次元画像マッピング方法の利点として、球面から均一に画素をサンプリングすることができるということを挙げることができる。
【0126】一方、Hammersley Sequenceによる2次元画像マッピング方法の欠点は計算処理が多少かかるということと、2次元平面へのマッピング画像からは元の全方位画像の全体像を把握しにくい(図21を参照のこと)ということである。また、2次元画像マッピング情報は画素単位で記述されるので、全方位映像の表示・再生を領域毎に行う方式では使えない。また、隣接画素はHammersley Sequenceにより必ずしも隣接してマッピングされないので、2次元画像から全方位映像の表示・再生する際に、点(Θ,Φ)の画素値を補間するためには、隣接画素を効率的に探索しなければならない。
【0127】A−4−2.円筒型の全方位映像の2次元平面へのマッピング方法全方位映像が円筒型の場合には、図22に示すように、円筒を縦に切って開けばそのまま長方形になる。図22に示す例では、縦軸に上下に±45°を割り当てているが、この値は任意である。また、図10を参照しながら説明した場合と同様に、特定の領域の密度を集中的に高めて高画質化するということも可能である。
【0128】ただし、円筒型では、長方形に展開したときの縦横比が極端に異なる、すなわち、横方向の大きさが縦方向に比べて大きくなってしまうことがある。このような画像は、MPEGなどの規定の圧縮フォーマットのサイズに適合しないので、例えば長方形画像を等分割して分割された各断片を上から順に配置して、規定のフォーマット・サイズに適合させるようにする。図23に示す例では、円筒型から展開された長方形画像を2分割して、その右半分を左半分の下に貼り付けることで、縦横比を調整している。
【0129】A−5.2次元画像マッピング情報既に述べたように、マッピング情報生成部25は、平面画像の座標(TX,TY)と3次元極座標(Θ,Φ,r)との対応関係を2次元マッピング情報として生成する。また、全方位映像データ・フォーマット変換部は、この2次元マッピング情報必要に応じて映像情報に付加する。但し、画素単位ではなく領域単位でマッピングする方式では、プリミティブの各頂点座標のみ2次元マッピング情報を有すればよい。
【0130】2次元マッピング情報を映像情報に付加することにより、(TX,TY)→(Θ,Φ)への変換が必要なくなるので、全方位映像表示システム(後述)における負荷が軽くなる。また、3次元画像から2次元画像へのマッピングの自由度も高まる。例えば、図8に示したような単純なフォーマットでも、極部における密度を高めたり、特定の場所の密度を高めるといったことが可能になる。
【0131】また、マッピング情報を利用することにより、全方位映像表示装置において全方位映像の3次元物体あるいは空間としての利用に関して自由度が上がる。例えば、マッピング情報に含まれる距離情報を使って任意の3次元形状を全方位映像表示装置の任意視点方向映像合成装置において再現することが可能になる。例えば、すべての画素に距離1を付加すれば半径1の球になるが、任意のrを割り当てることによって任意の形状が再現可能になる。これによって、従来にない3次元GUI(Graphical User Interface)の生成やその利用が可能になる。全方位映像表示装置の詳細に関しては、後述に譲る。
【0132】2次元マッピング情報は、マッピング部23において採用される2次元平面へのマッピング方法に応じて異なる。各マッピング方法におけるマッピング情報を既に述べた通りである。
【0133】B.全方位映像表示システム次いで、前項Aで説明したような処理に従って2次元平面画像にマッピングされた3次元座標系の非平面画像を映像表示する全方位映像表示システムについて説明する。
【0134】B−1.システム構成図24には、本発明の実施に供される全方位映像表示システム50の構成を模式的に示している。同図に示すように、全方位映像表示システム50は、全方位映像蓄積装置51と、視点指定装置52と、任意視点方向映像合成装置53と、映像表示装置54とで構成される。全方位映像表示システム50は、専用のハードウェア装置としてデザインすることも可能であるが、例えば図7に示したような一般的なコンピュータ・システム100上で所定の画像処理アプリケーションを起動するという形態で実現することも可能である。
【0135】全方位映像蓄積装置51は、ハード・ディスクやDVD(Digital VersatileDisc)のような、一般的なコンピュータ・システムの外部記憶装置を用いて構成することができる。
【0136】視点指定装置52は、全方位映像において、ユーザが視聴を所望する角度方向、ズーム、並行移動などの情報をユーザから入力として受け付ける装置であり、例えばマウスやキーボード、ゲーム・コントローラなどの一般的なユーザ入力装置で構成される。視点指定装置52を介した入力データは、任意視点方向映像合成装置53に供給される。
【0137】任意視点方向映像合成装置53は、ユーザの所望する映像を生成する装置であり、少なくともCPU(中央演算処理装置)とGPU(グラフィック処理装置)から構成される。任意視点方向映像合成装置53で生成される映像は、3次元物体(球あるいは円筒など)の内側から外方向を見たときの視点方向映像、あるいは3次元物体を外側から見たときの3次元形状映像である。
【0138】映像表示装置54は、テレビやPCモニタなどの一般的な表示装置で構成され、任意視点方向映像合成装置53から転送される映像を表示出力する。
【0139】図25には、任意視点方向映像合成装置53の機能構成を模式的に示している。同図に示すように、任意視点方向映像合成装置53は、全方位映像データ・フォーマットの読み込み及び分離部61と、全方位映像復号部62と、視点方向映像・3次元形状映像生成部63とで構成される。
【0140】全方位映像データ・フォーマットの読み込み及び分離部61は、図6に示したようなデータ・フォーマットを持つ全方位映像データを全方位映像蓄積装置51から読み込んで、全方位映像情報と、2次元画像マッピング情報とに分離する。
【0141】全方位映像復号部62は、例えばMPEGフォーマットなどで符号化されている全方位映像情報を復号化処理する。
【0142】視点方向映像・3次元形状映像生成部63は、視点指定装置52を介してユーザから指定された視点方向及びズーム値に従った3次元形状映像を、復号化された全方位映像と2次元画像マッピング情報を用いて生成する。生成された3次元形状映像は、映像表示装置54に転送され、表示出力される。
【0143】B−2.視点方向に従った全方位映像の再生ここでは、2次元平面画像にマッピングされている全方位映像から任意の視点方向の3次元形状映像を再生するための処理について説明する。
【0144】球型又は円筒型の全方位映像を2次元平面画像にマッピングする方式は、画素単位でマッピングする「画素方式」と、領域単位でマッピングする「領域方式」に大別される。どちらの方式であっても、2次元平面にマッピングされている全方位映像から、映像表示装置54が持つ2次元表示画面への再マッピングを行うことになる。
【0145】B−2−1.画素方式図26には、全方位映像の2次元平面へのマッピングに画素方式を採用した場合の、任意の視点方向の3次元形状映像を再生するためのデータの流れを模式的に示している。この場合、視点方向映像の各画素を、視点指定装置52からの入力(視点方向及びズームの指定値)と、全方位映像に付加されている2次元画像マッピング情報を用いて、全方位映像から計算して求める。
【0146】まず、視点方向映像の各画素(x,y)について、視点指定装置52から渡された視点方向(θv,Φv)及びズーム値zから、下式を用いて極座標(Θ、Φ)を計算して求める。
【0147】
【数10】
【0148】ここで、Rは回転行列であり、下式に示すように視点方向(θv,Φv)から求まる。
【0149】
【数11】
【0150】また、Kは透視変換のための行列であり、下式に示すような3×3行列で表される。
【0151】
【数12】
【0152】但し、点(px,py)は画像の中心の点であり、また、fx及びfyはそれぞれx,y方向の焦点距離である。ズームは、fx及びfyにzをかけることにより実現される。
【0153】次いで、2次元画像マッピング情報を参照して、極座標(Θ、Φ)を全方位画像座標(TXf, TYf)に変換する。このとき、全方位映像生成システム10(前述及び図1を参照のこと)の全方位映像合成装置12において3次元座標から2次元画像に変換する際に用いられた式を映像表示システム50側でも判っている場合には、、全方位映像データ・フォーマットに付加されているマッピング情報ではなく、その式を用いても構わない。各画素についてマッピング情報を持つのは冗長であることがあるため、このような方法を使う有用性は大きい。
【0154】このようにして求まった全方位画像座標は浮動小数点であることが多い。このため、整数の座標系である全方位画像から補間して求めた方がよい場合がある。補間方法としては、最近傍補間、線形補間、キュービック補間、sinc補間、スプライン補間などを用いることができる。
【0155】以上の変換を全ての視点方向画像(x,y)について計算し、全方位画像座標(TX,TY)から視点方向画像を作成して、それを映像表示装置54に転送する。
【0156】B−2−2.領域方式任意視点方向映像合成装置53のCPUの性能によっては、上述した画素方式ではリアルタイム処理が間に合わないことがある。そこで、GPUが標準的に装備するテクスチャを画面上に貼り付けるテクスチャ・マッピング機能を用いた領域方式を用いることによって、計算量の大幅な削減を図ることができる。
【0157】図27には、全方位映像の2次元平面へのマッピングに領域方式を採用した場合の、任意の視点方向の3次元形状映像を再生するためのデータの流れを模式的に示している。また、図28には、領域方式を採用した場合の任意視点方向映像を合成する概念図を示している。
【0158】まず、付加情報として含まれるマッピング情報を用いて、全方位映像を「プリミティブ」という単位で、プリミティブの各頂点について全方位画像座標(TX,TY)を極座標(Θ,Φ)に変換する。ここで、プリミティブとは、三角形あるいは四角形からなる基本描画要素であり、GPUは一般にこのプリミティブ単位で描画を行う。
【0159】次いで、視点指定装置52から渡された視点方向(θv,Φv)及びズーム値zから、極座標(Θ,Φ)を視点方向画像座標(yf,yf)に変換する。変換式は以下のようになる。
【0160】
【数13】
【0161】ここで、Rは回転行列であり、Kは透視変換のための3×3行列である。上記の[数9]及び[数10]を参照されたい
【0162】上記の式では、(X,Y,Z)並びに(−X,−Y,−Z)という2つの点(つまり点対称な点の対)で同じ座標値(xf,yf)を持つ視点方向画像座標が求まってしまう。そこで、求まった視点方向画像座標(xf,yf)がどちらの点から求まったものなのかを調べるために、求まった(xf,yf)をマッピング情報によって3次元座標系(X',Y',Z')に変換し、この(X',Y',Z')と(X,Y,Z)が一致するか否かで判断することができる。あるいは、wの値が正であれば、その(X,Y,Z)で求まった値が有効であると解釈しても構わない。
【0163】次いで、全方位映像をテクスチャとして、GPU(又は、GPUに用意されたVRAM(Video Random Access Memory)内のテクスチャ・バッファ)に転送する。そして、各プリミティブの頂点について全方位画像座標(TX,TY)のテクスチャ・バッファ上で対応する座標値(tx,ty)と視点方向画像座標(xf,yf)の対をGPUに転送して、プリミティブ単位で視点方向画像を生成するように命令する。このときGPUに備わっている補間技術を使用することができる。補間方法としては、最近傍補間、線形補間、キュービック補間、sinc補間、スプライン補間などを用いることができる。
【0164】ここで、補間処理が実行されたとき、GPUによっては画像に不都合が生じることがある。例えば、テクスチャ・バッファの横幅が最大1024画素までと制限されているようなシステムにおいては、図23を参照しながら既に説明したように、円筒形の全方位映像を等分割して分割された各断片を上から順に配置して、規定のフォーマット・サイズに適合させる必要がある(図23に示す例では、円筒型から展開された長方形画像を2分割して、その右半分を左半分の下に貼り付けることで、縦横比を調整している)。例えば、ソニー・コンピュータ・エンターテインメント社のゲーム機Playstation2(PS2)に搭載されているGPU"Graphic Synthesizer"のように、線形補間機能が備わっているGPUを使用する場合、分割された端縁部分では線形補間機能がうまく機能しないことがある。
【0165】例えば、切断・展開された長方形画像の端縁付近に画素補間処理が差し掛かったとき、図29や図3030に示すように、補間に使用すべき画素は折り返した場所にある。しかしながら、このような長方形画像の端縁付近は、本来は連続している隣接画素又はマクロ・ブロックの画素データを持たないので、画素値の補間を行うことができない。このような箇所は、線形補間が施されない結果として、余計な線として映像表示装置54の画面上に現れてしまうことがある(図31を参照のこと)。
【0166】そこで、本発明者等は、図32及び図33に示すように、等分割された各断片の両端に任意の幅の糊代部分を付加するようにした。例えば、両端で連結する部分のマクロ・ブロック(ここでは、全方位映像がMPEG−2方式で符号化されているものとする)を付加する(図中の数値は各マクロ・ブロックの通し番号に相当すると理解されたい)。この糊代のような付加画素ブロックを利用することにより、折り返し点においても正確な補間処理が行われ、図31に示すような余計な線が現れない正常な画像が生成される。
【0167】なお、GPUは、一般に"CLAMP"という機能を備えており、テクスチャを繰り返して配置することができる。しかしながら、図23に示すように長方形画像を2つ折りにしている場合には、左端と右端が一致していないため、CLAMP機能を使っても適切な画像は生成されない。
【0168】以上の座標変換処理をすべてのプリミティブの頂点(TX,TY)について計算し、プリミティブの頂点のテクスチャ・バッファ上での座標(tx,ty)と視点方向画像座標(xf,yf)の対、及び、糊代を付加した全方位映像をGPUに転送する。そして、GPUは、視点方向画像を作成して、これを映像表示装置54に転送する。
【0169】B−2−3.数学的な手法に基づいてマッピングされた2次元画像の映像再生Stratified RandomやHammersley Sequence数学的な手法に基づいて球面上から均一にサンプリング点を抽出して、これを2次元平面画像にマッピングしていくことによって、すべての方向について各画素に含まれる情報量が等しく保たれるように非平面画像を2次元平面にマッピングすることができる、ということは既に述べた通りである。
【0170】ここでは、このような数学的な手法に基づいてマッピングされた2次元画像を用いて任意の視点方向の3次元形状映像を再生するための処理手順について説明する。図34には、数学的な手法に基づいてマッピングされた2次元画像から任意の視点方向の3次元形状映像を再生するためのデータの流れを模式的に示している。
【0171】Stratified RandomやHammersley Sequenceによる2次元画像マッピング方法によれば、球面から均一に画素をサンプリングすることができるが、隣接画素はStratified RandomやHammersley Sequenceにより隣接してマッピングされないので、2次元画像から全方位映像の表示・再生する際に、点(Θ,Φ)の画素値を補間するためには、隣接画素を効率的に探索しなければならない。
【0172】そこで、本実施形態では、3次元形状映像を合成するための前処理として、マッピング情報を利用して、極座標系上の各サンプリング点(Θi,Φj)について、これと隣接する4個(又は複数個)の隣接画素(Θi(1),Φj(1)),(Θi(2),Φj(2)),(Θi(3),Φj(3)),(Θi(4),Φj(4))を計算して、2次元マッピングされた全方位画像の画素サイズW×Hについて、隣接画素を検索するためのルックアップ・テーブルT(Θ,Φ)を作成する。
【0173】このような前処理の後、まず、視点方向映像の各画素(x,y)について、視点指定装置52から渡された視点方向(θv,Φv)及びズーム値zから極座標(Θ、Φ)を計算して求める。
【0174】次いで、ルックアップ・テーブルT(Θ,Φ)を参照して、視点方向映像の画素(x,y)に対応する極座標(Θ,Φ)に隣接する画素を探索する。
【0175】そして、これら隣接画素を用いて、極座標(Θ,Φ)を画素補間する。補間方法としては、最近傍補間、線形補間、キュービック補間、sinc補間、スプライン補間などを用いることができる。
【0176】次いで、2次元画像マッピング情報を参照して、極座標(Θ、Φ)を全方位画像座標(TXf, TYf)に変換する。
【0177】以上の変換をすべての視点方向画像(x,y)について計算し、全方位画像座標(TX,TY)から視点方向画像を作成して、それを映像表示装置54に転送する。
【0178】B−3.レンズ効果画素方式並びに領域方式の双方において、極座標系と2次元画像座標系の間での変換を行う際に、各種レンズ効果を入れることが可能である。それぞれの方式で示した変換式は理想的なピンホール・カメラの場合である。
【0179】魚眼レンズで撮影した映像として全方位映像を表示させる場合の変換式は以下のようになる。魚眼レンズを用いた際に生成される視点画像を図35に示しておく。
【0180】
【数14】
【0181】B−4.任意3次元形状の合成視点方向映像・3次元形状映像生成部63は、2次元画像マッピング情報を用いることによって、視点指定装置52を介してユーザから指定された視点方向及びズーム値に従った3次元形状映像を生成することができる。より具体的には、任意視点方向映像合成装置53を構成するGPUが備える3次元形状にテクスチャを貼り付ける機能を使って、2次元画像マッピング情報の距離情報を参照して全方位映像を3次元形状に貼り付ける。これによって、全方位画像を外側から見るときに任意の形状で再生することができる。
【0182】以下では、2次元平面にマッピングされた全方位映像を、外側の任意の3次元形状で映像合成するための処理について説明する。図36には、2次元平面にマッピングされた全方位映像から任意3次元形状の映像を合成するためのデータの流れを模式的に示している。
【0183】まず、2次元画像マッピング情報を参照して、全方位映像をプリミティブという単位でプリミティブの各頂点について全方位画像座標(TX,TY)を極座標(Θ、Φ、r)に変換する。プリミティブとは三角形あるいは四角形で構成される描画単位であり、GPUは一般にこのプリミティブ単位で描画を行う。
【0184】次いで、極座標(Θ、Φ、r)および視点指定装置52から渡された視点方向(θv,Φv)及び平行移動量(Xv,Yv,Zv)から3次元座標(X,Y,Z)に変換する。変換式は以下の通りである。
【0185】
【数15】
【0186】そして、全方位映像をテクスチャとして、GPU(又は、GPUに用意されたVRAM(Video Random Access Memory)内のテクスチャ・バッファ)に転送する。そして、各プリミティブの頂点について全方位画像座標(TX,TY)と3次元座標(X,Y,Z)の対をGPUに転送して、プリミティブ単位で3次元形状映像を生成するように命令する。このときGPUに備わっている補間技術を使用することができる。補間方法としては、最近傍補間、線形補間、キュービック補間、sinc補間、スプライン補間などを用いることができる。
【0187】図37〜図40には、2次元平面にマッピングされた全方位映像から任意3次元形状の映像を合成した例を示している。図37には、立方体の外側に全方位映像を貼り付けた様子を示している。同様に、図38R>8、図39、図40にはそれぞれ、正20面体、正12面体、ドーナツ(円環)の外側に全方位映像を貼り付けた様子を示している。
【0188】例えば、すべての画素に距離1を付加すれば半径1の球になるが、任意のrを割り当てることによって任意の形状が再現可能になる。これによって、従来にない3次元GUI(Graphical User Interface)を生成したり利用することが可能になる。
【0189】[追補]以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。
【0190】
【発明の効果】以上詳記したように、本発明によれば、複数のカメラにより撮影された映像データを貼り合せて非平面状に構成される画像に対して圧縮、蓄積、再生などの処理を好適に行うことができる、優れた画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラムを提供することができる。
【0191】また、本発明によれば、空間中のある1つの点が視点として周囲の画像を撮影するように複数台のカメラが設置して構成される全方位カメラ又は全天球型カメラによる円筒状又は球面状の画像の処理を好適に行うことができる、優れた画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラムを提供することができる。
【0192】また、本発明によれば、全方位映像のような非平面画像を、表示・再生側の性能を考慮して蓄積処理することができる、優れた画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラムを提供することができる。
【0193】本発明によれば、圧縮フォーマット及び表示装置の性能に応じて全方位映像を編集することによって、表示・再生装置側で画質やリアルタイム性を高めることが可能である。
【0194】一般に、ネットワーク経由で送信する場合だけでなく、DVDなどの記録メディアから読み込む場合にも、ビットレートに制限が課されていることが多い。本発明により全方位映像のような非平面画像を圧縮・蓄積処理すれば、このような限られたビットレートの中に最大限の情報を詰め込むことが可能である。
【0195】また、本発明によれば、全方位映像から任意支店方向映像を合成するときに、各種レンズのカメラで撮影した映像を擬似的に再生することによって、さまざまな特殊効果に利用することができる。
【0196】また、本発明によれば、全方位映像を内側からだけでなく、外側から任意の形状で再生する機能を適用することによって、新しいGUI(Graphical User Interface)環境を提供することができる。
【図面の簡単な説明】
【図1】本発明の実施に供される全方位映像生成システム10の構成を模式的に示した図である。
【図2】全方位撮影装置10の構成例を示した図である。
【図3】全方位撮影装置10の他の構成例を示した図である。
【図4】全方位撮影装置10の構成例を示した図である。
【図5】全方位映像合成装置12における機能構成を模式的に示した図である。
【図6】全方位映像データ・フォーマット変換部26により変換された、2次元画像マッピング情報と映像データを1組としたデータ・フォーマットの構成例を示した図である。
【図7】全方位映像合成装置12及び全方位映像蓄積装置13として適用されるコンピュータ・システム100の構成を模式的に示した図である。
【図8】3次元座標系の画像を2次元平面画像にマッピングする方法の一例を示した図であり、より具体的には、球面を円筒に投影して平面に展開する方法を示した図である。
【図9】屋外のある場所で撮影された全方位画像を、図8R>8に示したような円筒投影法で2次元平面にマッピングした画像の例を示した図である。
【図10】3次元座標系の画像を2次元平面画像にマッピングする方法の一例を示した図であり、より具体的には、図8に示した方法を変形した例を示した図である。
【図11】球面を円筒に投影して平面に展開することにより3次元座標系の画像を2次元平面画像にマッピングする方法の他の例を示した図であり、より具体的には、サンソン図法によりマッピングされた例を示した図である。
【図12】図11に示した2次元マッピング画像の未使用領域に同じ背景色を割り当てた様子を示した図である。
【図13】Stratified Random法の概念図を示した図である。
【図14】Stratified Random法の処理手順を説明するための図である。
【図15】屋外のある場所で撮影された全方位画像を、Stratified Randomに基づくマッピング方法により2次元平面にマッピングした画像の例を示している。
【図16】Hammersley Sequenceにより球面上から1000個のサンプリング点を抽出した様子を示した図である。
【図17】Hammersley Sequenceにより球面上から10000個のサンプリング点を抽出した様子を示した図である。
【図18】乱数により球面上から1000個のサンプリング点を抽出した様子を示した図である。
【図19】乱数により球面上から10000個のサンプリング点を抽出した様子を示した図である。
【図20】Hammersley Sequenceを用いて全方位画像を2次元平面画像にマッピングする様子を示した図である。
【図21】屋外のある場所で撮影された全方位画像を、Hammersley Sequenceに基づくマッピング方法により2次元平面にマッピングした画像の例を示している。
【図22】円筒型の全方位映像を2次元平面にマッピングするための方法を説明するための図である。
【図23】円筒型から展開された長方形画像を2分割して、その右半分を左半分の下に貼り付けることで、縦横比を調整している様子を示した図である。
【図24】本発明の実施に供される全方位映像表示システム50の構成を模式的に示した図である。
【図25】任意視点方向映像合成装置53における機能構成を模式的に示した図である。
【図26】全方位映像の2次元平面へのマッピングに画素方式を採用した場合の任意の視点方向の3次元形状映像を再生するためのデータの流れを模式的に示した図である。
【図27】全方位映像の2次元平面へのマッピングに領域方式を採用した場合の任意の視点方向の3次元形状映像を再生するためのデータの流れを模式的に示した図である。
【図28】領域方式を採用した場合の任意視点方向映像を合成する概念図である。
【図29】球状又は円筒状の全方位画像を2次元平面にマッピングした2次元全方位画像(但し、長方形画像を等分割して貼り合せていない場合)を示した図である。
【図30】球状又は円筒状の全方位画像を2次元平面にマッピングした2次元全方位画像(但し、長方形画像を等分割して貼り合せている場合)を示した図である。
【図31】線形補間が施されない箇所が余計な線として映像表示装置54の画面上に現れている様子を示した図である。
【図32】等分割された各断片の両端に連結する部分のマクロ・ブロックを糊代として付加した様子を示した図(但し、長方形画像を等分割して貼り合せていない場合)である。
【図33】等分割された各断片の両端に連結する部分のマクロ・ブロックを糊代として付加した様子を示した図(但し、長方形画像を等分割して貼り合せている場合)である。
【図34】数学的な手法に基づいてマッピングされた2次元画像から任意の視点方向の3次元形状映像を再生するためのデータの流れを模式的に示した図である。
【図35】魚眼レンズを用いた際に生成される視点画像を示した図である。
【図36】2次元平面にマッピングされた全方位映像から任意3次元形状の映像を合成するためのデータの流れを模式的に示した図である。
【図37】2次元平面にマッピングされた全方位映像から任意3次元形状の映像を合成した例を示した図であり、より具体的には、立方体の外側に全方位映像を貼り付けた様子を示した図である。
【図38】2次元平面にマッピングされた全方位映像から任意3次元形状の映像を合成した例を示した図であり、より具体的には、正20体の外側に全方位映像を貼り付けた様子を示した図である。
【図39】2次元平面にマッピングされた全方位映像から任意3次元形状の映像を合成した例を示した図であり、より具体的には、正12面体の外側に全方位映像を貼り付けた様子を示した図である。
【図40】2次元平面にマッピングされた全方位映像から任意3次元形状の映像を合成した例を示した図であり、より具体的には、ドーナツ形状体の外側に全方位映像を貼り付けた様子を示した図である。
【符号の説明】
10…全方位映像生成システム
11…全方位撮影装置
12…全方位映像合成装置
13…全方位映像蓄積装置
21…レンズ歪・輝度・コントラスト・パースペクティブ補正部
22…3次元座標系へのマッピング部
23…2次元画像へのマッピング部
24…動画・静止画圧縮部
25…マッピング情報生成部
26…全方位映像データ・フォーマット変換部
50…全方位映像表示システム
51…全方位映像蓄積装置
52…視点指定装置
53…任意視点方向映像合成装置
54…映像表示装置
61…全方位映像データ・フォーマットの読み込み及び分離部
62…全方位映像復号部
63…視点方向映像・3次元形状映像生成部
100…コンピュータ
101…CPU,102…メモリ
103…ディスプレイ・コントローラ
104…入力機器インターフェース
105…ネットワーク・インターフェース
107…外部機器インターフェース,108…バス
109…ビデオ・キャプチャ・カード
111…ディスプレイ,112…キーボード,113…マウス
114…ハード・ディスク装置
115…メディア・ドライブ
【0001】
【発明の属する技術分野】本発明は、カメラにより撮影された映像データに対して圧縮、蓄積、再生などの処理を行う画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラムに係り、特に、複数のカメラにより撮影された映像データを貼り合せて構成される画像に対して圧縮、蓄積、再生などの処理を行う画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラムに関する。
【0002】更に詳しくは、本発明は、複数のカメラにより撮影された映像データを貼り合せて非平面状に構成される画像に対して圧縮、蓄積、再生などの処理を行う画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラムに係り、特に、空間中のある1つの点が視点として周囲の画像を撮影するように複数台のカメラが設置して構成される全方位カメラ又は全天球型カメラによる円筒状又は球面状の画像の処理を行う画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラムに関する。
【0003】
【従来の技術】ユーザの周囲の風景画像を提供する装置として全方位カメラが知られている。この種の全方位映像システムは、例えば、空間中のある1つの点が視点として周囲の画像を撮影するように複数台のカメラが設置して構成される。複数のカメラからなる全方位映像システムは、隣り合うカメラの撮像画像の境界同士をうまく接続することによって、個々のカメラの視野よりもはるかに広い領域の画像を、あたかも単一の広角度カメラで撮像したかのような画像を生成する画像処理を行う。
【0004】視野角の広いレンズを用いればカメラは広範囲を撮像することができるが、その分だけ解像度が低下して細部が見えづらくなる。これに対し、全方位映像システムによれば、広範囲の撮像画像を高解像度のまま提供することができる。
【0005】このような全方位型の映像を用いることにより、視点自由形の映像を視聴することができる。例えば、キャラクタ(登場人物)が空間を自由に動き回るようなテレビ・ゲームにおいて、任意の視点からの背景画面を表示させることができるので、より現実的な映像を介してゲームを楽しむことができ、エンターティンメント性が高まる。
【0006】また、全方位映像は、通常の映像に比し大容量であるが、インタラクティブ性に優れていることから、ブロードバンド・ネットワーク時代の新しいコンテンツとして有望である。
【0007】全方位映像システムに関しては既に幾つかの提案がなされている。例えば、特開平9−62861号公報には、ユーザの指定に応じて視点、視線方向を連続的に変化させたパノラマ映像を表示することができるパノラマ映像編集装置について開示されている。同公報に記載のパノラマ映像編集装置は、空間内を任意の軌跡を描いて移動する点を視点としてその周囲を撮影した画像の画像データを基に各視点毎のパノラマ画像を合成して、各パノラマ画像に連続した視点位置情報を設定する。再生時には、表示画像の視点位置や視線方向の情報と、ユーザが入力する視点と視線の移動方向の情報から、表示画像の空間内における位置を計算して、表示画像を合成するようになっている。
【0008】しかしながら、従来、表示装置としてテレビなどの高画質なものや任意視点映像の合成に関してリアルタイム性が要求されるような状況を特に想定していなかった。また、画像の表示・再生側の性能や条件を考慮して全方位映像を蓄積する方法に関しては何ら言及されていない。また、内側から任意視点方向を見るだけでなく、外側からの利用を考慮した画像蓄積方法に関して考慮されていない。
【0009】
【発明が解決しようとする課題】本発明の目的は、複数のカメラにより撮影された映像データを貼り合せて非平面状に構成される画像に対して圧縮、蓄積、再生などの処理を好適に行うことができる、優れた画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラムを提供することにある。
【0010】本発明の更なる目的は、空間中のある1つの点が視点として周囲の画像を撮影するように複数台のカメラが設置して構成される全方位カメラ又は全天球型カメラによる円筒状又は球面状の画像の処理を好適に行うことができる、優れた画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラムを提供することにある。
【0011】本発明の更なる目的は、全方位映像のような非平面画像を、表示・再生側の性能を考慮して蓄積処理することができる、優れた画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラムを提供することにある。
【0012】
【課題を解決するための手段及び作用】本発明は、上記課題を参酌してなされたものであり、その第1の側面は、3次元座標系で表される非平面画像を処理する画像処理装置又は画像処理方法であって、3次元座標系で表される非平面画像を2次元平面にマッピングする2次元平面画像マッピング手段又はステップと、元の非平面画像を表す3次元座標系とマッピングされた2次元画像座標系との対応関係を記述したマッピング情報を生成するマッピング情報生成手段又はステップと、を具備することを特徴とする非平面画像の画像処理装置又は画像処理方法である。
【0013】ここで、3次元座標系で表される非平面画像とは、例えば球面状の全方位画像のことである。このような場合、前記2次元平面画像マッピング手段は、全方位の画素情報を少ない誤差で、情報量をなるべく等しく保ちつつ、冗長性が低い2次元画像に変換することが好ましい。また、全方位映像を読み込むシステム側の性能を考慮した形式で2次元画像に変換することが好ましい。
【0014】また、2次元画像マッピング情報は、元の全方位画像の3次元座標系(Θ,Φ,r)と、マッピングされた2次元画像座標系(TX,TY)との対応関係を記述した情報のことであり、任意の視点方向からの全方位映像を合成する際に必要となる。2次元画像マッピング情報は、全方位映像を外側から見るときに、任意の形状で再生するために必要な情報である。
【0015】前記2次元平面画像マッピング手段又はステップは、2次元平面の横方向に球面の水平方向の角度を、縦方向に球面の垂直方法の角度を、それぞれ等間隔で割り当てるようにしてもよい。この場合、前記マッピング情報生成手段は、2次元平面画像の各行及び列に割り当てた球面上の水平方向及び垂直方向の角度で記述されたマッピング情報を生成するようにしてもよい。
【0016】このようなマッピング方法による場合、空間的・時間的相関が高く、また、球面から2次元平面への変換式すなわち2次元マッピング情報が簡単であるという利点がある。また、マッピングされた2次元平面画像から元の全方位画像の全体像を人間が把握し易い。但し、マッピングされた2次元平面の上下部(地図で言えば極部)では歪みが大きくなり(密度が赤道付近に比べて低くなり)、すべての方向について各画素に含まれる情報が等しく保つことはできない。
【0017】あるいは、前記2次元平面画像マッピング手段は、球面の水平方向及び/又は垂直方向の角度を、2次元平面の横方向及び/又は縦方向に任意の間隔で割り当てるようにしてもよい。例えば、横方向及び縦方向がある角度範囲で区切られた領域の密度すなわち情報量を高めるなどの柔軟性を持たせることができる。このときの2次元画像マッピング情報は、各行と列に割り当てた角度となる。
【0018】また、3次元座標系で表される非平面画像は球面状の全方位画像であるとき、前記2次元平面画像マッピング手段又はステップは、面積比率が正しくなるように球面を円筒に投影して、該円筒を平面に展開して2次元平面画像にマッピングするようにしてもよい。
【0019】このようなマッピング方法によれば、正積ゆえ各画素に含まれる情報量が等しくなる、空間的・時間的相関関係が高い、球面から2次元平面への変換式すなわち2次元画像マッピング情報が簡単であるという利点がある。
【0020】また、前記2次元平面画像マッピング手段又はステップは、3次元座標系で表される非平面画像をすべての方向について各画素に含まれる情報量が等しく保たれるように2次元平面画像にマッピングするようにしてもよい。
【0021】例えば、3次元座標系で表される非平面画像が球面状の全方位画像である場合に、前記2次元平面画像マッピング手段は、球のz軸を等間隔に平行な平面で切ったときに隣接する平面で挟まれる球面上の面積は一定となるという定理を利用して、3次元極座標系でZ軸方向に等間隔な範囲で区切られる球面上の領域を、2次元直交座標系で等間隔な範囲で区切られる帯状の平面領域にランダムにマッピングするようにすることで、球面から均一に画素をサンプリングすることができるということを挙げることができる。
【0022】但し、このようなマッピング方法では、計算処理が多少かかる、2次元平面へのマッピング画像からは元の全方位画像の全体像を把握しにくいなどの欠点を伴う。また、2次元画像マッピング情報は画素単位で記述されるので、全方位映像の表示・再生を領域毎に行う方式では使えない。また、ランダムな場所の画素にマッピングされているので、2次元画像から全方位映像の表示・再生する際に、点(Θ,Φ)の画素値を補間するためには、隣接画素を効率的に探索しなければならない。
【0023】また、前記2次元平面画像マッピング手段又はステップは、1行がw画素からなる2次元平面画像のi行j列目に、Hammersley Sequenceを用いてiw+j番目に全方位画像から抽出した点をマッピングすることによって、3次元座標系で表される非平面画像をすべての方向について各画素に含まれる情報量がより等しく保たれるように2次元平面画像にマッピングするようにすることができる。
【0024】但し、このようなマッピング方法では、計算処理が多少かかる、2次元平面へのマッピング画像からは元の全方位画像の全体像を把握しにくいなどの欠点を伴う。また、2次元画像マッピング情報は画素単位で記述されるので、全方位映像の表示・再生を領域毎に行う方式では使えない。また、隣接画素は必ずしも隣接してマッピングされないので、2次元画像から全方位映像の表示・再生する際に、点(Θ,Φ)の画素値を補間するためには、隣接画素を効率的に探索しなければならない。
【0025】また、3次元座標系で表される非平面画像が円筒状の全方位画像である場合には、前記2次元平面画像マッピング手段又はステップは、該円筒を縦に切って長方形に展開し、さらに該長方形画像を等分割して分割された各断片を上から順に配置して、規定のフォーマット・サイズに適合させるようにしてもよい。
【0026】また、本発明の第1の側面に係る非平面画像の画像処理装置又は画像処理方法は、マッピングされた2次元平面画像情報を所定の圧縮フォーマットで圧縮する画像圧縮手段又はステップをさらに備えていてもよい。
【0027】動画に対しては、MPEG−1、MPEG−2、MPEG−4、H.263、H.261、AVI、Motion JPEGなど、また、静止画に対しては、JPEG、GIF、PNG、BMP、TIFFなどの圧縮フォーマットを採用することができる。
【0028】例えば、面積比率が正しくなるように球面状の全方位映像を円筒に投影して、該円筒を平面に展開して2次元平面画像にマッピングする場合には、2次元平面画像情報に画素がマッピングされていない未使用領域ができてしまう。このような未使用領域に対して同じ画素値を割り当てることにより、空間的、時間的な相関関係が高まるので、圧縮率を高めることができる。
【0029】既に述べたように、マッピング情報は、任意の視点方向から全方位映像を合成するために必要なデータである。そこで、本発明の第1の側面に係る非平面画像の画像処理装置又は画像処理方法は、前記2次元平面画像マッピング手段又はステップによりマッピングされた2次元平面画像あるいは圧縮画像と、前記マッピング情報生成手段又はステップにより生成されたマッピング情報とを1組としたデータ・フォーマットに変換するデータ・フォーマット変換手段又はステップをさらに備えていてもよい。
【0030】また、このデータ・フォーマット変換手段又はステップは、映像情報と同期がとれるような形式で音声情報をインターリーブして挿入するようにしてもよい。
【0031】また、データ・フォーマット変換手段又はステップは、前記2次元平面画像マッピング手段又はステップが採用するマッピング方法が切り換わる度に、フレームの先頭にマッピング情報を挿入するようにしてもよい。
【0032】また、本発明の第2の側面は、2次元平面画像にマッピングされた3次元座標系の非平面画像を映像表示する画像処理装置又は画像処理方法であって、視点方向及び/又はズーム値を指定する指示手段又はステップと、2次元平面画像にマッピングしたときのマッピング情報を用いて該指定された視点方向及び/又はズーム値に従った任意視点方向の3次元形状映像を生成する映像生成手段又はステップと、を具備することを特徴とする非平面画像の画像処理装置又は画像処理方法である。
【0033】ここで、前記映像生成手段又はステップは、2次元平面にマッピングされている非平面画像から、所定の映像表示装置が持つ2次元表示画面への再マッピングを行う。
【0034】前記映像生成手段又はステップは、視点方向映像の各画素について視点方向及び/又はズーム値から極座標を計算する手段又はステップと、2次元画像マッピング情報を参照して極座標を全方位画像座標に変換する手段又はステップとを備え、任意視点方向の全方位映像を画素単位で合成処理するようにしてもよい。
【0035】あるいは、前記映像生成手段又はステップは、2次元画像マッピング情報を用いて全方位映像に含まれるプリミティブの各頂点について全方位画像座標を極座標に変換する手段又はステップと、視点方向及び/又はズーム値から極座標を視点方向画像座標に変換する手段又はステップと、全方位映像をテクスチャとしてプリミティブ単位で視点方向画像を生成する手段又はステップとを備え、任意視点方向の全方位映像を領域単位で合成処理するようにしてもよい。
【0036】また、前記映像生成手段又はステップは、全方位画像の隣接画素を基に画素を補間する手段又はステップをさらに備えていてもよい。また、画素補正に際し、全方位画像の左右両端付近に、他端から所定幅だけ複製した画素領域を配設することで、画素補正されない途切れの出現を防止することができる。
【0037】また、前記映像生成手段又はステップは、2次元マッピングされた全方位画像の各画素について隣接画素を検索するためのルックアップ・テーブルを作成する手段又はステップと、視点方向映像の各画素について視点方向及びズーム値から極座標を計算する手段又はステップと、前記ルックアップ・テーブルを参照して視点方向映像の画素に対応する極座標に隣接する画素を探索する手段又はステップと、隣接画素を用いて極座標を画素補間する手段又はステップと、2次元画像マッピング情報を参照して、極座標を全方位画像座標に変換する手段又はステップとを備えていてもよい。
【0038】このような前記映像生成手段又はステップは、球のz軸を等間隔に平行な平面で切ったときに隣接する平面で挟まれる球面上の面積は一定となるという定理を利用して、3次元極座標系でZ軸方向に等間隔な範囲で区切られる球面上の領域を、2次元直交座標系で等間隔な範囲で区切られる帯状の平面領域にランダムにマッピングされた2次元平面画像や、Hammersley Sequenceを用いてiw+j番目に全方位画像から抽出した点をマッピングすることによって、3次元座標系で表される非平面画像をすべての方向について各画素に含まれる情報量がより等しく保たれるようにマッピングされた2次元平面画像から、任意視点方向の全方位映像を合成することができる。
【0039】また、前記映像生成手段は、任意視点方向映像合成時に視点が内側にあるときに各種レンズのカメラで撮影した映像を擬似的に実現することができる。例えば、元はピンホール・カメラで撮影した映像で構成される全方位映像を基に、魚眼レンズで撮影したような視点画像を合成することができる。
【0040】また、前記映像生成手段は、任意視点方向映像合成時に視点が外側にあるときに任意の3次元形状の全方位映像を生成するようにしてもよい。例えば、多面体などの外側に視点を指定することで、多面体の表面に全方位映像を貼り付けることができる。これによって、従来にないGUI(Graphical User Interface)や利用が可能になると期待される。
【0041】また、本発明の第3の側面は、3次元座標系で表される非平面画像の処理をコンピュータ・システム上で実行するように記述されたコンピュータ・ソフトウェアをコンピュータ可読形式で物理的に格納した記憶媒体であって、前記コンピュータ・ソフトウェアは、3次元座標系で表される非平面画像を2次元平面にマッピングする2次元平面画像マッピング・ステップと、元の非平面画像を表す3次元座標系とマッピングされた2次元画像座標系との対応関係を記述したマッピング情報を生成するマッピング情報生成ステップと、を具備することを特徴とする記憶媒体である。
【0042】また、本発明の第4の側面は、2次元平面画像にマッピングされた3次元座標系の非平面画像を映像表示するための処理をコンピュータ・システム上で実行するように記述されたコンピュータ・ソフトウェアをコンピュータ可読形式で物理的に格納した記憶媒体であって、前記コンピュータ・ソフトウェアは、視点方向及び/又はズーム値を指定する指示ステップと、2次元平面画像にマッピングしたときのマッピング情報を用いて該指定された視点方向及び/又はズーム値に従った任意視点方向の3次元形状映像を生成する映像生成ステップと、を具備することを特徴とする記憶媒体である。
【0043】本発明の第3及び第4の各側面に係る記憶媒体は、例えば、さまざまなプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ・ソフトウェアをコンピュータ可読な形式で提供する媒体である。このような媒体は、例えば、DVD(Digital Versatile Disc)やCD(Compact Disc)、FD(Floppy Disk)、MO(Magneto-Optical disc)などの着脱自在で可搬性の記憶媒体である。あるいは、ネットワーク(ネットワークは無線、有線の区別を問わない)などの伝送媒体などを経由してコンピュータ・ソフトウェアを特定のコンピュータ・システムに提供することも技術的に可能である。
【0044】このような記憶媒体は、コンピュータ・システム上で所定のコンピュータ・ソフトウェアの機能を実現するための、コンピュータ・ソフトウェアと記憶媒体との構造上又は機能上の協働的関係を定義したものである。換言すれば、本発明の第3及び第4の各側面に係る記憶媒体を介して所定のコンピュータ・ソフトウェアをコンピュータ・システムにインストールすることによって、コンピュータ・システム上では協働的作用が発揮され、本発明の第1及び第2の各側面に係る非平面画像の画像処理装置又は画像処理方法と同様の作用効果を得ることができる。
【0045】また、本発明の第5の側面は、3次元座標系で表される非平面画像の処理をコンピュータ・システム上で実行するように記述されたコンピュータ・プログラムであって、3次元座標系で表される非平面画像を2次元平面にマッピングする2次元平面画像マッピング・ステップと、元の非平面画像を表す3次元座標系とマッピングされた2次元画像座標系との対応関係を記述したマッピング情報を生成するマッピング情報生成ステップと、を具備することを特徴とするコンピュータ・プログラムである。
【0046】また、本発明の第6の側面は、2次元平面画像にマッピングされた3次元座標系の非平面画像を映像表示するための処理をコンピュータ・システム上で実行するように記述されたコンピュータ・プログラムであって、視点方向及び/又はズーム値を指定する指示ステップと、2次元平面画像にマッピングしたときのマッピング情報を用いて該指定された視点方向及び/又はズーム値に従った任意視点方向の3次元形状映像を生成する映像生成ステップと、を具備することを特徴とするコンピュータ・プログラムである。
【0047】本発明の第5及び第6の各側面に係るコンピュータ・プログラムは、コンピュータ・システム上で所定の処理を実現するようにコンピュータ可読形式で記述されたコンピュータ・プログラムを定義したものである。換言すれば、本発明の第5及び第6の各側面に係るコンピュータ・プログラムをコンピュータ・システムにインストールすることによって、コンピュータ・システム上では協働的作用が発揮され、本発明の第1及び第2の各側面に係る非平面画像の画像処理装置又は画像処理方法と同様の作用効果を得ることができる。
【0048】本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【0049】
【発明の実施の形態】以下、図面を参照しながら本発明の実施形態について詳解する。
【0050】A.全方位映像生成システム図1には、本発明の実施に供される全方位映像生成システム10の構成を模式的に示している。同図に示すように、全方位映像生成システム10は、全方位撮影装置11と、全方位映像合成装置12と、全方位映像蓄積装置13で構成される。
【0051】全方位撮影装置11は、N台のカメラが空間中のある1つの視点を中心にしてすべての方向の映像を撮影できるように配置して構成される。各カメラの配置構成例として、以下のものを挙げることができる。
【0052】(1)N台のカメラを放射状に配置した構成。例えば、正十二面体のような多面体の構成面の各々にピンホール・カメラを設置した構成。
(2)反射鏡を介して水平方向に分割撮影できるようにN台のカメラを配置した構成。
(3)魚眼レンズを用いて1台のカメラで半球を撮影する構成。
(4)魚眼レンズを用いたカメラを2台組み合わせて全方位(全天球)映像を撮影する構成。
(5)1台のカメラをその視点を中心に回転させて、全方位を撮影する構成。
【0053】A−1.全方位撮影装置図2には、上述した(1)を採用した全方位撮影装置11の構成例を示している。この全方位撮影装置11−1は、12個の略正5角形の構成面からなる略正十二面体(Dodecahedron)形状のフレームと、該フレームの各面上に1台ずつ配備された11台のカメラ…で構成される。各カメラは、周囲の風景のうち、それぞれが担当する領域を撮像して周囲画像の一部として供給することができる。各カメラは、投影中心を持つピンホール・タイプのカメラであり、例えば、素子表面にマイクロレンズを組み込んだCCD(Charge Coupled device:電荷結合素子)カメラでよい。フレームの底面に相当する構成面は台座として使用されている。台座の一側面からは、各カメラによる撮像画像データを外部出力するためのケーブル類が接続されている。各カメラの映像を貼り合わせることにより、球面状の全方位画像が得られる。
【0054】また、図3には、上述した(2)を採用した全方位撮影装置11の構成例を示している。この全方位撮影装置11−2は、所定の円周方向に略等間隔に配列された8台のカメラと、各カメラ毎にその視線方向に配設された8枚の平面鏡が8角錐上に配設された反射部とで構成される。ここで、各カメラの投影中心が全方撮影装置11−2の中央付近で一致するように、且つ、各カメラの視線方向が1つの水平面上で所定角度間隔を置くように、各カメラが配設されている。各平面鏡で反射された周囲の情景を、反射方向に向けられたカメラで撮影することにより、全方位撮影装置11−2全体としては、水平方向360度の映像の鏡像を撮影することができる。各カメラの映像を反転、貼り合わせなどの処理を行うことにより、円筒状の全方位画像が得られる。
【0055】図4に示すように、各カメラにそれぞれVTRを接続することにより、合計8本の映像(及び音声)ストリームを記録することができる。これら記録された映像ストリームを、切り換え器を介してビデオ・キャプチャリングして、コンピュータ・データ(ビットマップ・ファイル)として、後段の全方位映像合成装置12に取り込んで、球面や円筒への3次元画像マッピングなど各種のデータ加工を行うことができる。
【0056】A−2.全方位映像合成装置図5には、全方位映像合成装置12における機能構成を模式的に示している。同図に示すように、全方位映像合成装置12は、レンズ歪・輝度・コントラスト・パースペクティブ補正部21と、3次元座標系へのマッピング部22と、2次元画像へのマッピング部23と、動画・静止画圧縮部24と、マッピング情報生成部25と、全方位映像データ・フォーマット変換部26とで構成される。
【0057】レンズ歪・輝度・コントラスト・パースペクティブ補正部21は、全方位撮影装置11によって撮影されたN台のカメラの映像データ(動画又は静止画)を入力して、各カメラのカメラ・パラメータを基に、レンズ歪補正、色補正、輝度補正、コントラスト補正、パースペクティブ補正などの処理を、フレーム単位で行う。
【0058】3次元座標系へのマッピング部22は、補正部21によって補正されたN個の映像から同期のとれた静止画を1枚ずつ選択して、このN枚の画像と撮影に使われた対応するカメラのカメラ・パラメータを用いて、各画像を1つの3次元座標系(極座標系)において、球面又は円筒面上にマッピングする。
【0059】2次元画像へのマッピング部23は、球面又は円筒面などの3次元座標系上にマッピングされた画像を2次元平面画像にマッピングする。全方位の画素情報を少ない誤差で、情報量をなるべく等しく保ちつつ、冗長性が低い2次元画像に変換することが好ましい。また、全方位映像を読み込むシステム(後述)側の性能を考慮した形式で2次元画像に変換することが好ましい。
【0060】なお、球面や円筒面などの3次元座標系にマッピングされた非平面画像を2次元画像にマッピングする方法に関しては幾つか挙げることができるが、その詳細については後述に譲る。
【0061】マッピング情報生成部25は、2次元画像へのマッピング部23において適用されたマッピングした方法に応じて、全方位映像表示システム(後述)において画像の表示・再生に必要な2次元画像マッピング情報を作成する。ここで言う2次元画像マッピング情報は、元の全方位画像の3次元座標系(Θ,Φ,r)と、マッピングされた2次元画像座標系(TX,TY)との対応関係を記述した情報のことである。2次元画像マッピング情報は、全方位映像を外側から見るときに、任意の形状で再生するために必要な情報である(後述)。
【0062】2次元画像へのマッピング部23は、全フレームについてマッピング処理を行う。マッピング方法はフレーム単位で切り換えることが可能であるが、この場合、マッピング情報生成部25は、その都度マッピング情報を生成する。
【0063】動画・静止画圧縮部24は、2次元画像へのマッピング部23により生成された2次元の静止画あるいは動画を圧縮する。圧縮フォーマットとしては、動画に対しては、MPEG−1、MPEG−2、MPEG−4、H.263、H.261、AVI、Motion JPEGなど、また、静止画に対しては、JPEG、GIF、PNG、BMP、TIFFなど、2次元画像を扱うことができる既存のフォーマットを使用することができる。
【0064】全方位映像データ・フォーマット変換部26は、マッピング情報生成部25により生成された2次元画像マッピング情報と、動画・静止画圧縮部24により生成された圧縮映像を1組としたデータ・フォーマットに変換する。図6には、このデータ・フォーマットの構造を模式的に示している。
【0065】図示のデータ・フォーマットには、映像情報と音声情報の同期がとれるような形式でインターリーブして挿入することも可能である。2次元画像マッピング情報は、映像情報に対して適用される2次元画像マッピング方法から切り換わる度に、そのフレームの先頭に挿入する。つまり、すべてのフレームに関して同じ2次元画像マッピング方法を使用する場合には、先頭に1つだけ2次元画像マッピング情報を含んでいればよい。また、表示・再生側(全方位映像表示システム)で必要な2次元マッピング情報を備えている場合には、データ・フォーマットから2次元マッピング情報を省略することができる。
【0066】例えば、表示・再生側で、画素単位で2次元画像を再生しようとする場合、各画素毎にマッピング情報を持たなければならず、マッピング情報だけでデータが肥大化してしまい、映像や音声に割り当てるデータが減ってしまうので、マッピング情報を省略できることが好ましい。また、画素ではなく、所定の面積を持つ領域単位で2次元画像を再生しようとする場合であっても、3次元座標系へ再マッピングするときに、2次元画像マッピング情報を逐次使用するよりも変換式で計算した方が高速である場合には、マッピング情報の分だけデータを削減することが好ましい。
【0067】A−3.全方位映像蓄積装置全方位映像蓄積装置13は、ハード・ディスクやDVD(Digital VersatileDisc)のような、一般的なコンピュータ・システムの外部記憶装置を用いて構成することができる。
【0068】また、全方位映像合成装置12及び全方位映像蓄積装置13を、単一又は複数台のコンピュータ・システム上で所定の画像処理・蓄積アプリケーションを起動するという形態で実現することも可能である。
【0069】図7には、全方位映像合成装置12及び全方位映像蓄積装置13として適用されるコンピュータ・システム100の構成を模式的に示している。以下、この図を参照しながら、コンピュータ・システム100について説明する。
【0070】システム100のメイン・コントローラであるCPU(Central Processing Unit)101は、オペレーティング・システム(OS)の制御下で、各種のアプリケーションを実行する。CPU101は、例えば、球面や円筒面上に描かれた3次元画像を2次元平面画像に変換したり、変換後の2次元平面画像を圧縮・蓄積処理するための非平面画像処理アプリケーションを実行することができる。図示の通り、CPU101は、バス108によって他の機器類(後述)と相互接続されている。
【0071】メモリ102は、CPU101において実行されるプログラム・コードを格納したり、実行中の作業データを一時保管するために使用される記憶装置である。同図に示すメモリ102は、ROMなどの不揮発性メモリ及びDRAMなどの揮発性メモリの双方を含むものと理解されたい。
【0072】ディスプレイ・コントローラ103は、CPU101が発行する描画命令を実際に処理するための専用コントローラである。ディスプレイ・コントローラ103において処理された描画データは、例えばフレーム・バッファ(図示しない)に一旦書き込まれた後、ディスプレイ111によって画面出力される。
【0073】入力機器インターフェース104は、キーボード112やマウス113などのユーザ入力機器を計算機システム100に接続するための装置である。
【0074】ネットワーク・インターフェース105は、Ethernetなどの所定の通信プロトコルに従って、システム100をLAN(Local Area Network)などの局所的ネットワーク、さらにはインターネットのような広域ネットワークに接続することができる。
【0075】ネットワーク上では、複数のホスト端末(図示しない)がトランスペアレントな状態で接続され、分散コンピューティング環境が構築されている。ネットワーク上では、ソフトウェア・プログラムやデータ・コンテンツなどの配信が行うことができる。例えば、球面や円筒面上に描かれた3次元画像を2次元平面画像に変換したり、変換後の2次元平面画像を圧縮・蓄積処理するための非平面画像処理アプリケーションを、ネットワーク経由でダウンロードすることができる。また、この非平面画像処理アプリケーションによって圧縮された画像データをネットワーク経由で配信することもできる。
【0076】外部機器インターフェース107は、ハード・ディスク・ドライブ(HDD)114やメディア・ドライブ115などの外部装置をシステム100に接続するための装置である。
【0077】HDD114は、記憶担体としての磁気ディスクを固定的に搭載した外部記憶装置であり(周知)、記憶容量やデータ転送速度などの点で他の外部記憶装置よりも優れている。ソフトウェア・プログラムを実行可能な状態でHDD114上に置くことをプログラムのシステムへの「インストール」と呼ぶ。通常、HDD114には、CPU101が実行すべきオペレーティング・システムのプログラム・コードや、アプリケーション・プログラム、デバイス・ドライバなどが不揮発的に格納されている。
【0078】例えば、球面や円筒面上に描かれた3次元画像を2次元平面画像に変換したり、変換後の2次元平面画像を圧縮・蓄積処理するための非平面画像処理アプリケーションを、HDD114上にインストールすることができる。また、この非平面画像処理アプリケーションの処理対象となる3次元非平面画像や、2次元平面に変換された画像やその圧縮画像データなどをHDD114上に保存することもできる。
【0079】メディア・ドライブ115は、CD(Compact Disc)やMO(Magneto-Opticaldisc)、DVD(Digital Versatile Disc)などの可搬型メディアを装填して、そのデータ記録面にアクセスするための装置である。
【0080】可搬型メディアは、主として、ソフトウェア・プログラムやデータ・ファイルなどをコンピュータ可読形式のデータとしてバックアップすることや、これらをシステム間で移動(すなわち販売・流通・配布を含む)する目的で使用される。例えば、球面や円筒面上に描かれた3次元画像を2次元平面画像に変換したり、変換後の2次元平面画像を圧縮・蓄積処理するための非平面画像処理アプリケーションを、これら可搬型メディアを利用して複数の機器間で物理的に流通・配布することができる。また、この非平面画像処理アプリケーションの処理対象となる3次元非平面画像や、2次元平面に変換された画像やその圧縮画像データなどを、これら可搬型メディアを利用して複数の機器間で物理的に流通・配布することができる。
【0081】ビデオ・キャプチャ・カード109は、全方位撮影装置11からの入力信号、すなわち切り換え器を介して接続される各VTRから再生されるビデオ信号をコンピュータ・データ(ビットマップ・ファイル)としてコンピュータ内に取り込むための装置である。
【0082】なお、図7に示すようなコンピュータ100の一例は、米IBM社のパーソナル・コンピュータ"PC/AT(Personal Computer/Advanced Technology)"の互換機又は後継機である。勿論、他のアーキテクチャを備えたコンピュータを、本実施形態に係るコンピュータ100として適用することも可能である。
【0083】A−4.3次元座標系の画像の2次元平面へのマッピング既に説明したように、、本実施形態に係る全方位映像合成システム10は、例えば図2に示すような全方位撮影装置11によって撮影された全方位映像を取り扱うシステムである。この種の全方位映像は、本来、極座標系において球面あるいは円筒にマッピングされた非平面状の3次元画像であり、2次元画像を取り扱うことを前提とした既存の圧縮フォーマットで取り扱うには適していない。言い換えれば、データの圧縮、蓄積、転送などの処理を行うためには、球面や円筒面などの3次元座標系の非平面上で表現された全方位画像を、2次元平面画像にマッピングする必要がある。
【0084】3次元座標系の画像を2次元平面画像にマッピングする方法には幾つか挙げられるが、以下に示す条件に応じて最適なマッピング方法を選択することが好ましい。
【0085】(1)球面を平面に展開するには、球面の表面のどこかを伸ばすか、又は、ある箇所に断裂を入れなければ、平面にすることはできない。つまり、球面形状をそのまま平面に展開することは不可能であり、必ず誤差が生ずる。できるだけ誤差を少なくしながら球面から平面に投影する方法が望ましい。球面を平面にマッピングする際に、すべての方向について各画素に含まれる情報量が等しく保たれていること、つまり、すべての方向に対して画素が等面積に扱われることが望ましい。
【0086】(2)全方位映像を表示・再生する全方位映像表示システム(後述)において、全方位映像蓄積装置と任意視点方向映像合成装置の間がネットワークで結ばれている場合、あるいは、全方位映像蓄積装置がDVDなどの記録メディアであるとしても、転送レートには制限がある。転送レートが限られているとき、圧縮レートもそれに応じて制限されるので、冗長性が低いことが望ましい。また、標準的な圧縮方法(例えば、MPEG−2)で圧縮し易い(例えば、空間・時間相関関係が高い)ことが望まれる。
【0087】(3)全方位映像表示システムにおいてリアルタイム処理が必要で、且つその処理性能や資源に制限がある可能性があることを考慮すると、球面から平面への変換のための演算処理が簡単であることが望ましい。
【0088】(4)MPEG−2などの圧縮フォーマットによっては、解像度に制限があるものがある。また、全方位映像表示システムにおいて、領域単位で任意視点方向映像が合成される場合(後述)には、映像表示装置に転送する映像を一時的に保持するテクスチャ・バッファに任意視点方向映像ではなく全方位映像が転送されることがあるが、このテクスチャ・バッファに制限があるものがある。このように解像度に制限があるときには、それを満たすように2次元画像に変換しなければならない。
【0089】ここで、球面や円筒などの3次元座標系の画像を2次元平面画像にマッピングする方法の具体例について説明する。
【0090】A−4−1.球型の全方位映像の2次元平面へのマッピング方法球面を平面にマッピングする方法としては、地球を平面上の世界地図に投影する地図投影法がよく知られている。一般的な地図投影法を用いて球状の全方位映像を平面に展開した場合、球面上の描画内容に類似する模様が平面上に投影されるので、マッピング後の2次元平面画像から元の全方位画像の全体像を人間が把握し易いという利点がある。
【0091】例えば、図8に示すように、球面を円筒に投影して、この円筒を平面に展開する方法が挙げられる。同図に示す例では、2次元平面の横方向に球面の水平方向の角度を、縦方向に球面の垂直方法の角度を、それぞれ等間隔で割り当てている。このときの2次元画像マッピング情報は、各行と列に割り当てた角度のデータとなる。
【0092】図9には、屋外のある場所で撮影された全方位画像を、図8に示したような円筒投影法で2次元平面にマッピングした画像の例を示している。
【0093】このようなマッピング方法では、マッピングされた2次元平面の上下部(地図で言えば極部)では歪みが大きくなる(密度が赤道付近に比べて低くなる)ので、すべての方向について各画素に含まれる情報が等しく保たれるという上述した第1の条件を満たすことができない。但し、このマッピング方法によれば、空間的・時間的相関が高く、また、球面から2次元平面への変換式すなわち2次元マッピング情報が簡単であるという利点がある。また、図9からも推測されるように、マッピングされた2次元平面画像から元の全方位画像の全体像を人間が把握し易い。
【0094】あるいは、図10に示すように、球面を円筒に投影して平面に展開した後、横方向及び縦方向の角度を球面上の水平方向及び垂直方向の角度に等間隔に割り当てるのではなく、マッピングされた角度の間隔を自由に変更してもよい。例えば、横方向及び縦方向がある角度範囲で区切られた領域の密度すなわち情報量を高めるなどの柔軟性を持たせることができる。例えば、全方位画像のうち詳細な情報を残したい画像領域により大きな角度範囲を割り当てることができる。このときの2次元画像マッピング情報は、上述と同様に、各行と列に割り当てた角度となる。
【0095】また、球面を円筒に投影して平面に展開する地図投影法の中には、地球上のどの部分についても、その面積比率が地図上に正しく表現される、すなわち正積図法としての性質を持つ「サンソン(Sanson)図法」を挙げることができる。緯線は水平線で正しい間隔、正しい長さで表される。また、経線は曲線であるが等間隔となる。赤道付近と中央経線付近でのひずみは小さくなる。
【0096】サンソン図法を適用した2次元画像マッピング方法によれば、正積ゆえ各画素に含まれる情報量が等しくなる、空間的・時間的相関関係が高い、球面から2次元平面への変換式すなわち2次元画像マッピング情報が簡単であるという利点がある。この場合の2次元画像マッピング情報は、以下のような3次元座標系−2次元座標系の変換式で構成される。(但し、2次元平面画像サイズがW×Hとする。)
【0097】
【数3】
【0098】
【数4】
【0099】サンソン図法(あるいはモルワイデ図法)のような正積・円筒図法を用いた場合、図11に示すような画像の未使用領域が生成されてしまう。このような未使用領域には、図12に示すように同じ背景色(画素値)を割り当てることにより、空間的・時間的相関関係を高めて圧縮率が高くなるので、表示・再生時の画質が向上する。
【0100】上述したような伝統的な地図投影方法を用いて球型の全方位映像を2次元平面にマッピングした場合、元の3次元画像とマッピング後の2次元平面画像との相関関係が視覚的に判るので、2次元平面画像から全方位画像の全体像を人間が把握し易いという利点がある。しかしながら、本実施形態に係る全方位映像合成システム10において、2次元平面画像にマッピングする主な理由は、画像圧縮などにおいて規定のデータ・フォーマットを利用して全方位映像を取り扱うことを可能にすることにある。言い換えるならば、2次元平面画像は、人間が見て理解できるか否かは二の次であり、球面を平面にマッピングする際に、すべての方向について各画素に含まれる情報量が等しく保たれていること、つまり、すべての方向に対して画素が等面積に扱われることの方が、画質の向上や映像表示システム側でのデータの取り扱いという観点からはより望ましい。
【0101】本発明者らは、すべての方向について各画素に含まれる情報量が等しく保たれるように球面を2次元平面にマッピングするために、数学的な手法に基づいて球面上から均一にサンプリング点を抽出して、これを2次元平面画像にマッピングしていくという手法を以下に提案する。このような場合、球面上からサンプリングされた点の3次元座標とマッピング先の2次元画像との対応関係が2次元画像マッピング情報となる。
【0102】例えば、「球のz軸を等間隔に平行な平面で切ったとき、隣接する平面で挟まれる球面上の面積は一定である」という幾何学上の定理がある。例えば、半径rの球をZ軸に直交する平行な平面で等間隔hで輪切りにしていった場合、分割された各球面上の面積は2πhと一定になる(詳細は、Joseph O'Rourke著の論文"Computational Geometry Column 31"を参照されたい)。
【0103】Z軸が[−1..1]で2次元平面画像サイズがW×Hのとき、hを[0..H]とすると、Z軸方向の高さhに相当する角度(緯度)Φhは、下式で表される。
【0104】
【数5】
【0105】ここで、Φが[Φh-1..Φh]、Θが[0..2π]の範囲に収まるような均一な乱数を用いて(Φ、Θ)のペアを決めていく。この内容を2次元画像マッピング情報に格納するとともに、2次元画像を生成する。すなわち、3次元極座標系でZ軸方向に等間隔すなわち等面積な範囲[Φh-1..Φh]で区切られる球面上の領域を、2次元座標系で[Φh-1..Φh]の範囲内で等間隔すなわち等面積で区切られる帯状の平面領域にランダムに展開していく(図13を参照のこと)。本発明者らは、この2次元画像マッピング方法のことを"Stratified Random "と呼ぶことにする。
【0106】図14に示すように、例えば、2次元平面上の点(i,j)において、Φi-1<Φi,j<Φi+1となるΦi,jをランダムに決定する。次いで、Θ値をソートして、球面上でランダムに抽出された点(Θi,j,Φi,j)の点を2次元平面上の点(i,j)に描画する。但し、Θi,jは[0..2π]の範囲内で、Φi,jは[Φi-1..Φi+1]の範囲内で、それぞれランダムに決定される。そして、2次元平面の各行iについて、すべての(Θi,j,Φi,j)を辞書式にソートし、これがこの場合の2次元画像マッピング情報となる。
【0107】図15には、屋外のある場所で撮影された全方位画像を、Stratified Randomに基づくマッピング方法により2次元平面にマッピングした画像の例を示している。同図の基となる全方位画像は、図9で使用したものと同じである。同図からも判るように、Stratified Randomに基づくマッピング方法はZ軸方向に等間隔で分割された球面上の領域を2次元平面上の該当する領域内にランダムにマッピングするので、図9に比べて目視では全体像を把握しづらい。
【0108】Stratified Randomによる2次元画像マッピング方法の利点として、球面から均一に画素をサンプリングすることができるということを挙げることができる。
【0109】一方、Stratified Randomによる2次元画像マッピング方法の欠点は計算処理が多少かかるということと、2次元平面へのマッピング画像からは元の全方位画像の全体像を把握しにくい(図15R>5を参照のこと)ということである。また、2次元画像マッピング情報は画素単位で記述されるので、全方位映像の表示・再生を領域毎に行う方式では使えない。また、ランダムな場所の画素にマッピングされているので、2次元画像から全方位映像の表示・再生する際に、点(Θ,Φ)の画素値を補間するためには、隣接画素を効率的に探索しなければならない。
【0110】上述したStratified Randomによる2次元平面へのマッピング法は、乱数を用いることにより、3次元座標系で表される非平面画像をすべての方向について各画素に含まれる情報量が等しく保たれる、すなわちすべての方向に対して画素が等面積に扱われるように2次元平面画像にマッピングするようにしている。この場合、各画素の情報量の均一性は、生成する乱数の均一性が保証されていることを前提とする。しかしながら、均一な乱数を生成することは、技術的に困難である。
【0111】他方、数学の分野では、密度の均一性を保ちながら正方形や球の表面から多数の点を抽出することを可能とする、"Hammersley"と呼ばれる定理が知られている。Hammersleyの定理を応用したHammersley Sequenceによれば、密度の均一性を保ちながら、球面上からサンプリング点を順次抽出していくことができる(例えば、Tien-Tsin Wong, Wai-Shing Luk,Pheng-Ann Heng共著の論文"Sampling with Hammersley and Halton Points"を参照されたい)。
【0112】図16及び図17には、Hammersley Sequenceにより球面上から1000個及び10000個のサンプリング点を抽出した様子を示している。また、これとの対比で、図18及び図19には、一般的な乱数計算で得られる乱数により球面上から1000個及び10000個のサンプリング点を抽出した様子を示している。各図を比較しても判るように、乱数を用いた場合よりも、Hammersley Sequenceを用いてサンプリング点を抽出した場合の方が、密度の均一性を保ちながら球面から点を抽出しており、したがって、3次元座標系で表される非平面画像をすべての方向について各画素に含まれる情報量が等しく保たれることが理解できるであろう。
【0113】そこで、本発明者らは、数学的な手法に基づいて球面上から均一にサンプリング点を抽出して、これを2次元平面画像にマッピングしていく他の例として、Hammersley Sequenceを用いたマッピング方法を以下に提案する。
【0114】この方法は、マッピング先となる2次元平面画像のi行j列目にマッピングすべき球面上のサンプリング点を、Hammersley Sequenceを用いて抽出するというものである。例えば、2次元平面画像の1行がw画素からなるとして、元の球面上におけるiw+j番目のサンプリング点をHammersley Sequenceにより抽出して、これを2次元平面上の(Θi,j,Φi,j)にマッピングしていく(図20R>0を参照のこと)。
【0115】ここで、Hammersley Sequenceにより球面上からiw+j番目のサンプリング点を抽出するための手順について説明する。
【0116】まず、k=iw+jとおき、このkを基底pを用いて以下の漸化式で表す。
【0117】
【数6】
【0118】また、このkを変数とする関数Ψp(k)を以下のように定義する。
【0119】
【数7】
【0120】ここで、(k/m,Ψp(k))=(ψ,t)と置き換えて、変数ψ及びtで表される下記の座標値(X,Y,Z)がHammersley Sequenceにより求まるサンプリング点である。
【0121】
【数8】
【0122】この場合、元の球面上の3次元極座標系(Θ,Φ)との対応関係すなわちマッピング情報は下式のように記述される。
【0123】
【数9】
【0124】図21には、屋外のある場所で撮影された全方位画像を、Hammersley Sequenceに基づくマッピング方法により2次元平面にマッピングした画像の例を示している。同図の基となる全方位画像は、図9で使用したものと同じであるが、Hammersley Sequenceに基づくマッピング方法は、Hammersley Sequenceによって順次算出される球面上のサンプリング点を2次元平面上の該当する領域内にランダムにマッピングするので、図9R>9に比べて目視では全方位画像の全体像を把握することは難しい。
【0125】Hammersley Sequenceによる2次元画像マッピング方法の利点として、球面から均一に画素をサンプリングすることができるということを挙げることができる。
【0126】一方、Hammersley Sequenceによる2次元画像マッピング方法の欠点は計算処理が多少かかるということと、2次元平面へのマッピング画像からは元の全方位画像の全体像を把握しにくい(図21を参照のこと)ということである。また、2次元画像マッピング情報は画素単位で記述されるので、全方位映像の表示・再生を領域毎に行う方式では使えない。また、隣接画素はHammersley Sequenceにより必ずしも隣接してマッピングされないので、2次元画像から全方位映像の表示・再生する際に、点(Θ,Φ)の画素値を補間するためには、隣接画素を効率的に探索しなければならない。
【0127】A−4−2.円筒型の全方位映像の2次元平面へのマッピング方法全方位映像が円筒型の場合には、図22に示すように、円筒を縦に切って開けばそのまま長方形になる。図22に示す例では、縦軸に上下に±45°を割り当てているが、この値は任意である。また、図10を参照しながら説明した場合と同様に、特定の領域の密度を集中的に高めて高画質化するということも可能である。
【0128】ただし、円筒型では、長方形に展開したときの縦横比が極端に異なる、すなわち、横方向の大きさが縦方向に比べて大きくなってしまうことがある。このような画像は、MPEGなどの規定の圧縮フォーマットのサイズに適合しないので、例えば長方形画像を等分割して分割された各断片を上から順に配置して、規定のフォーマット・サイズに適合させるようにする。図23に示す例では、円筒型から展開された長方形画像を2分割して、その右半分を左半分の下に貼り付けることで、縦横比を調整している。
【0129】A−5.2次元画像マッピング情報既に述べたように、マッピング情報生成部25は、平面画像の座標(TX,TY)と3次元極座標(Θ,Φ,r)との対応関係を2次元マッピング情報として生成する。また、全方位映像データ・フォーマット変換部は、この2次元マッピング情報必要に応じて映像情報に付加する。但し、画素単位ではなく領域単位でマッピングする方式では、プリミティブの各頂点座標のみ2次元マッピング情報を有すればよい。
【0130】2次元マッピング情報を映像情報に付加することにより、(TX,TY)→(Θ,Φ)への変換が必要なくなるので、全方位映像表示システム(後述)における負荷が軽くなる。また、3次元画像から2次元画像へのマッピングの自由度も高まる。例えば、図8に示したような単純なフォーマットでも、極部における密度を高めたり、特定の場所の密度を高めるといったことが可能になる。
【0131】また、マッピング情報を利用することにより、全方位映像表示装置において全方位映像の3次元物体あるいは空間としての利用に関して自由度が上がる。例えば、マッピング情報に含まれる距離情報を使って任意の3次元形状を全方位映像表示装置の任意視点方向映像合成装置において再現することが可能になる。例えば、すべての画素に距離1を付加すれば半径1の球になるが、任意のrを割り当てることによって任意の形状が再現可能になる。これによって、従来にない3次元GUI(Graphical User Interface)の生成やその利用が可能になる。全方位映像表示装置の詳細に関しては、後述に譲る。
【0132】2次元マッピング情報は、マッピング部23において採用される2次元平面へのマッピング方法に応じて異なる。各マッピング方法におけるマッピング情報を既に述べた通りである。
【0133】B.全方位映像表示システム次いで、前項Aで説明したような処理に従って2次元平面画像にマッピングされた3次元座標系の非平面画像を映像表示する全方位映像表示システムについて説明する。
【0134】B−1.システム構成図24には、本発明の実施に供される全方位映像表示システム50の構成を模式的に示している。同図に示すように、全方位映像表示システム50は、全方位映像蓄積装置51と、視点指定装置52と、任意視点方向映像合成装置53と、映像表示装置54とで構成される。全方位映像表示システム50は、専用のハードウェア装置としてデザインすることも可能であるが、例えば図7に示したような一般的なコンピュータ・システム100上で所定の画像処理アプリケーションを起動するという形態で実現することも可能である。
【0135】全方位映像蓄積装置51は、ハード・ディスクやDVD(Digital VersatileDisc)のような、一般的なコンピュータ・システムの外部記憶装置を用いて構成することができる。
【0136】視点指定装置52は、全方位映像において、ユーザが視聴を所望する角度方向、ズーム、並行移動などの情報をユーザから入力として受け付ける装置であり、例えばマウスやキーボード、ゲーム・コントローラなどの一般的なユーザ入力装置で構成される。視点指定装置52を介した入力データは、任意視点方向映像合成装置53に供給される。
【0137】任意視点方向映像合成装置53は、ユーザの所望する映像を生成する装置であり、少なくともCPU(中央演算処理装置)とGPU(グラフィック処理装置)から構成される。任意視点方向映像合成装置53で生成される映像は、3次元物体(球あるいは円筒など)の内側から外方向を見たときの視点方向映像、あるいは3次元物体を外側から見たときの3次元形状映像である。
【0138】映像表示装置54は、テレビやPCモニタなどの一般的な表示装置で構成され、任意視点方向映像合成装置53から転送される映像を表示出力する。
【0139】図25には、任意視点方向映像合成装置53の機能構成を模式的に示している。同図に示すように、任意視点方向映像合成装置53は、全方位映像データ・フォーマットの読み込み及び分離部61と、全方位映像復号部62と、視点方向映像・3次元形状映像生成部63とで構成される。
【0140】全方位映像データ・フォーマットの読み込み及び分離部61は、図6に示したようなデータ・フォーマットを持つ全方位映像データを全方位映像蓄積装置51から読み込んで、全方位映像情報と、2次元画像マッピング情報とに分離する。
【0141】全方位映像復号部62は、例えばMPEGフォーマットなどで符号化されている全方位映像情報を復号化処理する。
【0142】視点方向映像・3次元形状映像生成部63は、視点指定装置52を介してユーザから指定された視点方向及びズーム値に従った3次元形状映像を、復号化された全方位映像と2次元画像マッピング情報を用いて生成する。生成された3次元形状映像は、映像表示装置54に転送され、表示出力される。
【0143】B−2.視点方向に従った全方位映像の再生ここでは、2次元平面画像にマッピングされている全方位映像から任意の視点方向の3次元形状映像を再生するための処理について説明する。
【0144】球型又は円筒型の全方位映像を2次元平面画像にマッピングする方式は、画素単位でマッピングする「画素方式」と、領域単位でマッピングする「領域方式」に大別される。どちらの方式であっても、2次元平面にマッピングされている全方位映像から、映像表示装置54が持つ2次元表示画面への再マッピングを行うことになる。
【0145】B−2−1.画素方式図26には、全方位映像の2次元平面へのマッピングに画素方式を採用した場合の、任意の視点方向の3次元形状映像を再生するためのデータの流れを模式的に示している。この場合、視点方向映像の各画素を、視点指定装置52からの入力(視点方向及びズームの指定値)と、全方位映像に付加されている2次元画像マッピング情報を用いて、全方位映像から計算して求める。
【0146】まず、視点方向映像の各画素(x,y)について、視点指定装置52から渡された視点方向(θv,Φv)及びズーム値zから、下式を用いて極座標(Θ、Φ)を計算して求める。
【0147】
【数10】
【0148】ここで、Rは回転行列であり、下式に示すように視点方向(θv,Φv)から求まる。
【0149】
【数11】
【0150】また、Kは透視変換のための行列であり、下式に示すような3×3行列で表される。
【0151】
【数12】
【0152】但し、点(px,py)は画像の中心の点であり、また、fx及びfyはそれぞれx,y方向の焦点距離である。ズームは、fx及びfyにzをかけることにより実現される。
【0153】次いで、2次元画像マッピング情報を参照して、極座標(Θ、Φ)を全方位画像座標(TXf, TYf)に変換する。このとき、全方位映像生成システム10(前述及び図1を参照のこと)の全方位映像合成装置12において3次元座標から2次元画像に変換する際に用いられた式を映像表示システム50側でも判っている場合には、、全方位映像データ・フォーマットに付加されているマッピング情報ではなく、その式を用いても構わない。各画素についてマッピング情報を持つのは冗長であることがあるため、このような方法を使う有用性は大きい。
【0154】このようにして求まった全方位画像座標は浮動小数点であることが多い。このため、整数の座標系である全方位画像から補間して求めた方がよい場合がある。補間方法としては、最近傍補間、線形補間、キュービック補間、sinc補間、スプライン補間などを用いることができる。
【0155】以上の変換を全ての視点方向画像(x,y)について計算し、全方位画像座標(TX,TY)から視点方向画像を作成して、それを映像表示装置54に転送する。
【0156】B−2−2.領域方式任意視点方向映像合成装置53のCPUの性能によっては、上述した画素方式ではリアルタイム処理が間に合わないことがある。そこで、GPUが標準的に装備するテクスチャを画面上に貼り付けるテクスチャ・マッピング機能を用いた領域方式を用いることによって、計算量の大幅な削減を図ることができる。
【0157】図27には、全方位映像の2次元平面へのマッピングに領域方式を採用した場合の、任意の視点方向の3次元形状映像を再生するためのデータの流れを模式的に示している。また、図28には、領域方式を採用した場合の任意視点方向映像を合成する概念図を示している。
【0158】まず、付加情報として含まれるマッピング情報を用いて、全方位映像を「プリミティブ」という単位で、プリミティブの各頂点について全方位画像座標(TX,TY)を極座標(Θ,Φ)に変換する。ここで、プリミティブとは、三角形あるいは四角形からなる基本描画要素であり、GPUは一般にこのプリミティブ単位で描画を行う。
【0159】次いで、視点指定装置52から渡された視点方向(θv,Φv)及びズーム値zから、極座標(Θ,Φ)を視点方向画像座標(yf,yf)に変換する。変換式は以下のようになる。
【0160】
【数13】
【0161】ここで、Rは回転行列であり、Kは透視変換のための3×3行列である。上記の[数9]及び[数10]を参照されたい
【0162】上記の式では、(X,Y,Z)並びに(−X,−Y,−Z)という2つの点(つまり点対称な点の対)で同じ座標値(xf,yf)を持つ視点方向画像座標が求まってしまう。そこで、求まった視点方向画像座標(xf,yf)がどちらの点から求まったものなのかを調べるために、求まった(xf,yf)をマッピング情報によって3次元座標系(X',Y',Z')に変換し、この(X',Y',Z')と(X,Y,Z)が一致するか否かで判断することができる。あるいは、wの値が正であれば、その(X,Y,Z)で求まった値が有効であると解釈しても構わない。
【0163】次いで、全方位映像をテクスチャとして、GPU(又は、GPUに用意されたVRAM(Video Random Access Memory)内のテクスチャ・バッファ)に転送する。そして、各プリミティブの頂点について全方位画像座標(TX,TY)のテクスチャ・バッファ上で対応する座標値(tx,ty)と視点方向画像座標(xf,yf)の対をGPUに転送して、プリミティブ単位で視点方向画像を生成するように命令する。このときGPUに備わっている補間技術を使用することができる。補間方法としては、最近傍補間、線形補間、キュービック補間、sinc補間、スプライン補間などを用いることができる。
【0164】ここで、補間処理が実行されたとき、GPUによっては画像に不都合が生じることがある。例えば、テクスチャ・バッファの横幅が最大1024画素までと制限されているようなシステムにおいては、図23を参照しながら既に説明したように、円筒形の全方位映像を等分割して分割された各断片を上から順に配置して、規定のフォーマット・サイズに適合させる必要がある(図23に示す例では、円筒型から展開された長方形画像を2分割して、その右半分を左半分の下に貼り付けることで、縦横比を調整している)。例えば、ソニー・コンピュータ・エンターテインメント社のゲーム機Playstation2(PS2)に搭載されているGPU"Graphic Synthesizer"のように、線形補間機能が備わっているGPUを使用する場合、分割された端縁部分では線形補間機能がうまく機能しないことがある。
【0165】例えば、切断・展開された長方形画像の端縁付近に画素補間処理が差し掛かったとき、図29や図3030に示すように、補間に使用すべき画素は折り返した場所にある。しかしながら、このような長方形画像の端縁付近は、本来は連続している隣接画素又はマクロ・ブロックの画素データを持たないので、画素値の補間を行うことができない。このような箇所は、線形補間が施されない結果として、余計な線として映像表示装置54の画面上に現れてしまうことがある(図31を参照のこと)。
【0166】そこで、本発明者等は、図32及び図33に示すように、等分割された各断片の両端に任意の幅の糊代部分を付加するようにした。例えば、両端で連結する部分のマクロ・ブロック(ここでは、全方位映像がMPEG−2方式で符号化されているものとする)を付加する(図中の数値は各マクロ・ブロックの通し番号に相当すると理解されたい)。この糊代のような付加画素ブロックを利用することにより、折り返し点においても正確な補間処理が行われ、図31に示すような余計な線が現れない正常な画像が生成される。
【0167】なお、GPUは、一般に"CLAMP"という機能を備えており、テクスチャを繰り返して配置することができる。しかしながら、図23に示すように長方形画像を2つ折りにしている場合には、左端と右端が一致していないため、CLAMP機能を使っても適切な画像は生成されない。
【0168】以上の座標変換処理をすべてのプリミティブの頂点(TX,TY)について計算し、プリミティブの頂点のテクスチャ・バッファ上での座標(tx,ty)と視点方向画像座標(xf,yf)の対、及び、糊代を付加した全方位映像をGPUに転送する。そして、GPUは、視点方向画像を作成して、これを映像表示装置54に転送する。
【0169】B−2−3.数学的な手法に基づいてマッピングされた2次元画像の映像再生Stratified RandomやHammersley Sequence数学的な手法に基づいて球面上から均一にサンプリング点を抽出して、これを2次元平面画像にマッピングしていくことによって、すべての方向について各画素に含まれる情報量が等しく保たれるように非平面画像を2次元平面にマッピングすることができる、ということは既に述べた通りである。
【0170】ここでは、このような数学的な手法に基づいてマッピングされた2次元画像を用いて任意の視点方向の3次元形状映像を再生するための処理手順について説明する。図34には、数学的な手法に基づいてマッピングされた2次元画像から任意の視点方向の3次元形状映像を再生するためのデータの流れを模式的に示している。
【0171】Stratified RandomやHammersley Sequenceによる2次元画像マッピング方法によれば、球面から均一に画素をサンプリングすることができるが、隣接画素はStratified RandomやHammersley Sequenceにより隣接してマッピングされないので、2次元画像から全方位映像の表示・再生する際に、点(Θ,Φ)の画素値を補間するためには、隣接画素を効率的に探索しなければならない。
【0172】そこで、本実施形態では、3次元形状映像を合成するための前処理として、マッピング情報を利用して、極座標系上の各サンプリング点(Θi,Φj)について、これと隣接する4個(又は複数個)の隣接画素(Θi(1),Φj(1)),(Θi(2),Φj(2)),(Θi(3),Φj(3)),(Θi(4),Φj(4))を計算して、2次元マッピングされた全方位画像の画素サイズW×Hについて、隣接画素を検索するためのルックアップ・テーブルT(Θ,Φ)を作成する。
【0173】このような前処理の後、まず、視点方向映像の各画素(x,y)について、視点指定装置52から渡された視点方向(θv,Φv)及びズーム値zから極座標(Θ、Φ)を計算して求める。
【0174】次いで、ルックアップ・テーブルT(Θ,Φ)を参照して、視点方向映像の画素(x,y)に対応する極座標(Θ,Φ)に隣接する画素を探索する。
【0175】そして、これら隣接画素を用いて、極座標(Θ,Φ)を画素補間する。補間方法としては、最近傍補間、線形補間、キュービック補間、sinc補間、スプライン補間などを用いることができる。
【0176】次いで、2次元画像マッピング情報を参照して、極座標(Θ、Φ)を全方位画像座標(TXf, TYf)に変換する。
【0177】以上の変換をすべての視点方向画像(x,y)について計算し、全方位画像座標(TX,TY)から視点方向画像を作成して、それを映像表示装置54に転送する。
【0178】B−3.レンズ効果画素方式並びに領域方式の双方において、極座標系と2次元画像座標系の間での変換を行う際に、各種レンズ効果を入れることが可能である。それぞれの方式で示した変換式は理想的なピンホール・カメラの場合である。
【0179】魚眼レンズで撮影した映像として全方位映像を表示させる場合の変換式は以下のようになる。魚眼レンズを用いた際に生成される視点画像を図35に示しておく。
【0180】
【数14】
【0181】B−4.任意3次元形状の合成視点方向映像・3次元形状映像生成部63は、2次元画像マッピング情報を用いることによって、視点指定装置52を介してユーザから指定された視点方向及びズーム値に従った3次元形状映像を生成することができる。より具体的には、任意視点方向映像合成装置53を構成するGPUが備える3次元形状にテクスチャを貼り付ける機能を使って、2次元画像マッピング情報の距離情報を参照して全方位映像を3次元形状に貼り付ける。これによって、全方位画像を外側から見るときに任意の形状で再生することができる。
【0182】以下では、2次元平面にマッピングされた全方位映像を、外側の任意の3次元形状で映像合成するための処理について説明する。図36には、2次元平面にマッピングされた全方位映像から任意3次元形状の映像を合成するためのデータの流れを模式的に示している。
【0183】まず、2次元画像マッピング情報を参照して、全方位映像をプリミティブという単位でプリミティブの各頂点について全方位画像座標(TX,TY)を極座標(Θ、Φ、r)に変換する。プリミティブとは三角形あるいは四角形で構成される描画単位であり、GPUは一般にこのプリミティブ単位で描画を行う。
【0184】次いで、極座標(Θ、Φ、r)および視点指定装置52から渡された視点方向(θv,Φv)及び平行移動量(Xv,Yv,Zv)から3次元座標(X,Y,Z)に変換する。変換式は以下の通りである。
【0185】
【数15】
【0186】そして、全方位映像をテクスチャとして、GPU(又は、GPUに用意されたVRAM(Video Random Access Memory)内のテクスチャ・バッファ)に転送する。そして、各プリミティブの頂点について全方位画像座標(TX,TY)と3次元座標(X,Y,Z)の対をGPUに転送して、プリミティブ単位で3次元形状映像を生成するように命令する。このときGPUに備わっている補間技術を使用することができる。補間方法としては、最近傍補間、線形補間、キュービック補間、sinc補間、スプライン補間などを用いることができる。
【0187】図37〜図40には、2次元平面にマッピングされた全方位映像から任意3次元形状の映像を合成した例を示している。図37には、立方体の外側に全方位映像を貼り付けた様子を示している。同様に、図38R>8、図39、図40にはそれぞれ、正20面体、正12面体、ドーナツ(円環)の外側に全方位映像を貼り付けた様子を示している。
【0188】例えば、すべての画素に距離1を付加すれば半径1の球になるが、任意のrを割り当てることによって任意の形状が再現可能になる。これによって、従来にない3次元GUI(Graphical User Interface)を生成したり利用することが可能になる。
【0189】[追補]以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。
【0190】
【発明の効果】以上詳記したように、本発明によれば、複数のカメラにより撮影された映像データを貼り合せて非平面状に構成される画像に対して圧縮、蓄積、再生などの処理を好適に行うことができる、優れた画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラムを提供することができる。
【0191】また、本発明によれば、空間中のある1つの点が視点として周囲の画像を撮影するように複数台のカメラが設置して構成される全方位カメラ又は全天球型カメラによる円筒状又は球面状の画像の処理を好適に行うことができる、優れた画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラムを提供することができる。
【0192】また、本発明によれば、全方位映像のような非平面画像を、表示・再生側の性能を考慮して蓄積処理することができる、優れた画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラムを提供することができる。
【0193】本発明によれば、圧縮フォーマット及び表示装置の性能に応じて全方位映像を編集することによって、表示・再生装置側で画質やリアルタイム性を高めることが可能である。
【0194】一般に、ネットワーク経由で送信する場合だけでなく、DVDなどの記録メディアから読み込む場合にも、ビットレートに制限が課されていることが多い。本発明により全方位映像のような非平面画像を圧縮・蓄積処理すれば、このような限られたビットレートの中に最大限の情報を詰め込むことが可能である。
【0195】また、本発明によれば、全方位映像から任意支店方向映像を合成するときに、各種レンズのカメラで撮影した映像を擬似的に再生することによって、さまざまな特殊効果に利用することができる。
【0196】また、本発明によれば、全方位映像を内側からだけでなく、外側から任意の形状で再生する機能を適用することによって、新しいGUI(Graphical User Interface)環境を提供することができる。
【図面の簡単な説明】
【図1】本発明の実施に供される全方位映像生成システム10の構成を模式的に示した図である。
【図2】全方位撮影装置10の構成例を示した図である。
【図3】全方位撮影装置10の他の構成例を示した図である。
【図4】全方位撮影装置10の構成例を示した図である。
【図5】全方位映像合成装置12における機能構成を模式的に示した図である。
【図6】全方位映像データ・フォーマット変換部26により変換された、2次元画像マッピング情報と映像データを1組としたデータ・フォーマットの構成例を示した図である。
【図7】全方位映像合成装置12及び全方位映像蓄積装置13として適用されるコンピュータ・システム100の構成を模式的に示した図である。
【図8】3次元座標系の画像を2次元平面画像にマッピングする方法の一例を示した図であり、より具体的には、球面を円筒に投影して平面に展開する方法を示した図である。
【図9】屋外のある場所で撮影された全方位画像を、図8R>8に示したような円筒投影法で2次元平面にマッピングした画像の例を示した図である。
【図10】3次元座標系の画像を2次元平面画像にマッピングする方法の一例を示した図であり、より具体的には、図8に示した方法を変形した例を示した図である。
【図11】球面を円筒に投影して平面に展開することにより3次元座標系の画像を2次元平面画像にマッピングする方法の他の例を示した図であり、より具体的には、サンソン図法によりマッピングされた例を示した図である。
【図12】図11に示した2次元マッピング画像の未使用領域に同じ背景色を割り当てた様子を示した図である。
【図13】Stratified Random法の概念図を示した図である。
【図14】Stratified Random法の処理手順を説明するための図である。
【図15】屋外のある場所で撮影された全方位画像を、Stratified Randomに基づくマッピング方法により2次元平面にマッピングした画像の例を示している。
【図16】Hammersley Sequenceにより球面上から1000個のサンプリング点を抽出した様子を示した図である。
【図17】Hammersley Sequenceにより球面上から10000個のサンプリング点を抽出した様子を示した図である。
【図18】乱数により球面上から1000個のサンプリング点を抽出した様子を示した図である。
【図19】乱数により球面上から10000個のサンプリング点を抽出した様子を示した図である。
【図20】Hammersley Sequenceを用いて全方位画像を2次元平面画像にマッピングする様子を示した図である。
【図21】屋外のある場所で撮影された全方位画像を、Hammersley Sequenceに基づくマッピング方法により2次元平面にマッピングした画像の例を示している。
【図22】円筒型の全方位映像を2次元平面にマッピングするための方法を説明するための図である。
【図23】円筒型から展開された長方形画像を2分割して、その右半分を左半分の下に貼り付けることで、縦横比を調整している様子を示した図である。
【図24】本発明の実施に供される全方位映像表示システム50の構成を模式的に示した図である。
【図25】任意視点方向映像合成装置53における機能構成を模式的に示した図である。
【図26】全方位映像の2次元平面へのマッピングに画素方式を採用した場合の任意の視点方向の3次元形状映像を再生するためのデータの流れを模式的に示した図である。
【図27】全方位映像の2次元平面へのマッピングに領域方式を採用した場合の任意の視点方向の3次元形状映像を再生するためのデータの流れを模式的に示した図である。
【図28】領域方式を採用した場合の任意視点方向映像を合成する概念図である。
【図29】球状又は円筒状の全方位画像を2次元平面にマッピングした2次元全方位画像(但し、長方形画像を等分割して貼り合せていない場合)を示した図である。
【図30】球状又は円筒状の全方位画像を2次元平面にマッピングした2次元全方位画像(但し、長方形画像を等分割して貼り合せている場合)を示した図である。
【図31】線形補間が施されない箇所が余計な線として映像表示装置54の画面上に現れている様子を示した図である。
【図32】等分割された各断片の両端に連結する部分のマクロ・ブロックを糊代として付加した様子を示した図(但し、長方形画像を等分割して貼り合せていない場合)である。
【図33】等分割された各断片の両端に連結する部分のマクロ・ブロックを糊代として付加した様子を示した図(但し、長方形画像を等分割して貼り合せている場合)である。
【図34】数学的な手法に基づいてマッピングされた2次元画像から任意の視点方向の3次元形状映像を再生するためのデータの流れを模式的に示した図である。
【図35】魚眼レンズを用いた際に生成される視点画像を示した図である。
【図36】2次元平面にマッピングされた全方位映像から任意3次元形状の映像を合成するためのデータの流れを模式的に示した図である。
【図37】2次元平面にマッピングされた全方位映像から任意3次元形状の映像を合成した例を示した図であり、より具体的には、立方体の外側に全方位映像を貼り付けた様子を示した図である。
【図38】2次元平面にマッピングされた全方位映像から任意3次元形状の映像を合成した例を示した図であり、より具体的には、正20体の外側に全方位映像を貼り付けた様子を示した図である。
【図39】2次元平面にマッピングされた全方位映像から任意3次元形状の映像を合成した例を示した図であり、より具体的には、正12面体の外側に全方位映像を貼り付けた様子を示した図である。
【図40】2次元平面にマッピングされた全方位映像から任意3次元形状の映像を合成した例を示した図であり、より具体的には、ドーナツ形状体の外側に全方位映像を貼り付けた様子を示した図である。
【符号の説明】
10…全方位映像生成システム
11…全方位撮影装置
12…全方位映像合成装置
13…全方位映像蓄積装置
21…レンズ歪・輝度・コントラスト・パースペクティブ補正部
22…3次元座標系へのマッピング部
23…2次元画像へのマッピング部
24…動画・静止画圧縮部
25…マッピング情報生成部
26…全方位映像データ・フォーマット変換部
50…全方位映像表示システム
51…全方位映像蓄積装置
52…視点指定装置
53…任意視点方向映像合成装置
54…映像表示装置
61…全方位映像データ・フォーマットの読み込み及び分離部
62…全方位映像復号部
63…視点方向映像・3次元形状映像生成部
100…コンピュータ
101…CPU,102…メモリ
103…ディスプレイ・コントローラ
104…入力機器インターフェース
105…ネットワーク・インターフェース
107…外部機器インターフェース,108…バス
109…ビデオ・キャプチャ・カード
111…ディスプレイ,112…キーボード,113…マウス
114…ハード・ディスク装置
115…メディア・ドライブ
【特許請求の範囲】
【請求項1】3次元座標系で表される非平面画像を処理する画像処理装置であって、3次元座標系で表される非平面画像を2次元平面にマッピングする2次元平面画像マッピング手段と、元の非平面画像を表す3次元座標系とマッピングされた2次元画像座標系との対応関係を記述したマッピング情報を生成するマッピング情報生成手段と、を具備することを特徴とする非平面画像の画像処理装置。
【請求項2】3次元座標系で表される非平面画像は球面状の全方位画像であり、前記2次元平面画像マッピング手段は、球面を円筒に投影して、該円筒を平面に展開して2次元平面画像にマッピングする、ことを特徴とする請求項1に記載の非平面画像の画像処理装置。
【請求項3】前記2次元平面画像マッピング手段は、2次元平面の横方向に球面の水平方向の角度を、縦方向に球面の垂直方法の角度を、それぞれ等間隔で割り当てる、ことを特徴とする請求項2に記載の非平面画像の画像処理装置。
【請求項4】前記2次元平面画像マッピング手段は、球面の水平方向及び/又は垂直方向の角度を、2次元平面の横方向及び/又は縦方向に任意の間隔で割り当てる、ことを特徴とする請求項2に記載の非平面画像の画像処理装置。
【請求項5】前記マッピング情報生成手段は、2次元平面画像の各行及び列に割り当てた球面上の水平方向及び垂直方向の角度で記述されたマッピング情報を生成する、ことを特徴とする請求項2に記載の非平面画像の画像処理装置。
【請求項6】3次元座標系で表される非平面画像は球面状の全方位画像であり、前記2次元平面画像マッピング手段は、面積比率が正しくなるように球面を円筒に投影して、該円筒を平面に展開して2次元平面画像にマッピングする、ことを特徴とする請求項1に記載の非平面画像の画像処理装置。
【請求項7】前記マッピング情報生成手段は、元の全方位画像の3次元座標系(Θ,Φ,r)と、マッピングされた2次元画像座標系(TX,TY)との対応関係を下式で表したマッピング情報を生成する、
【数1】
ことを特徴とする請求項6に記載の非平面画像の画像処理装置。
【請求項8】前記2次元平面画像マッピング手段は、3次元座標系で表される非平面画像をすべての方向について各画素に含まれる情報量が等しく保たれるように2次元平面画像にマッピングする、ことを特徴とする請求項1に記載の非平面画像の画像処理装置。
【請求項9】3次元座標系で表される非平面画像は球面状の全方位画像であり、前記2次元平面画像マッピング手段は、球のz軸を等間隔に平行な平面で切ったときに隣接する平面で挟まれる球面上の面積は一定となるという定理を利用して、3次元極座標系でZ軸方向に等間隔な範囲で区切られる球面上の領域を、2次元直交座標系で等間隔な範囲で区切られる帯状の平面領域にランダムにマッピングする、ことを特徴とする請求項1に記載の非平面画像の画像処理装置。
【請求項10】3次元座標系で表される非平面画像は球面状の全方位画像であり、前記2次元平面画像マッピング手段は、1行がw画素からなる2次元平面画像のi行j列目に、Hammersley Sequenceを用いてiw+j番目に全方位画像から抽出した点をマッピングする、ことを特徴とする請求項1に記載の非平面画像の画像処理装置。
【請求項11】3次元座標系で表される非平面画像は円筒状の全方位画像であり、前記2次元平面画像マッピング手段は、該円筒を縦に切って長方形に展開し、さらに該長方形画像を等分割して分割された各断片を上から順に配置して、規定のフォーマット・サイズに適合させるようにする、ことを特徴とする請求項1に記載の非平面画像の画像処理装置。
【請求項12】マッピングされた2次元平面画像情報を所定の圧縮フォーマットで圧縮する画像圧縮手段をさらに備える、ことを特徴とする請求項1に記載の非平面画像の画像処理装置。
【請求項13】前記画像圧縮手段は、動画に対しては、MPEG−1、MPEG−2、MPEG−4、H.263、H.261、AVI、Motion JPEGなど、また、静止画に対しては、JPEG、GIF、PNG、BMP、TIFFなどの圧縮フォーマットを採用する、ことを特徴とする請求項12に記載の非平面画像の画像処理装置。
【請求項14】前記画像圧縮手段は、2次元平面画像情報に画素がマッピングされていない未使用領域が含まれる場合には、該未使用領域に同じ画素値を割り当てる、ことを特徴とする請求項12に記載の非平面画像の画像処理装置。
【請求項15】前記2次元平面画像マッピング手段によりマッピングされた2次元平面画像又はその圧縮画像と前記マッピング情報生成手段により生成されたマッピング情報を1組としたデータ・フォーマットに変換するデータ・フォーマット変換手段をさらに備える、ことを特徴とする請求項1に記載の非平面画像の画像処理装置。
【請求項16】前記データ・フォーマット変換手段は、映像情報と同期がとれるような形式で音声情報をインターリーブして挿入する、ことを特徴とする請求項15に記載の非平面画像の画像処理装置。
【請求項17】前記データ・フォーマット変換手段は、前記2次元平面画像マッピング手段が採用するマッピング方法が切り換わる度に、フレームの先頭にマッピング情報を挿入する、ことを特徴とする請求項15に記載の非平面画像の画像処理装置。
【請求項18】3次元座標系で表される非平面画像を処理する画像処理方法であって、3次元座標系で表される非平面画像を2次元平面にマッピングする2次元平面画像マッピング・ステップと、元の非平面画像を表す3次元座標系とマッピングされた2次元画像座標系との対応関係を記述したマッピング情報を生成するマッピング情報生成ステップと、を具備することを特徴とする非平面画像の画像処理方法。
【請求項19】3次元座標系で表される非平面画像は球面状の全方位画像であり、前記2次元平面画像マッピング・ステップでは、球面を円筒に投影して、該円筒を平面に展開して2次元平面画像にマッピングする、ことを特徴とする請求項18に記載の非平面画像の画像処理方法。
【請求項20】前記2次元平面画像マッピング・ステップでは、2次元平面の横方向に球面の水平方向の角度を、縦方向に球面の垂直方法の角度を、それぞれ等間隔で割り当てる、ことを特徴とする請求項19に記載の非平面画像の画像処理方法。
【請求項21】前記2次元平面画像マッピング・ステップでは、球面の水平方向及び/又は垂直方向の角度を、2次元平面の横方向及び/又は縦方向に任意の間隔で割り当てる、ことを特徴とする請求項19に記載の非平面画像の画像処理方法。
【請求項22】前記マッピング情報生成ステップでは、2次元平面画像の各行及び列に割り当てた球面上の水平方向及び垂直方向の角度で記述されたマッピング情報を生成する、ことを特徴とする請求項19に記載の非平面画像の画像処理方法。
【請求項23】3次元座標系で表される非平面画像は球面状の全方位画像であり、前記2次元平面画像マッピング・ステップでは、面積比率が正しくなるように球面を円筒に投影して、該円筒を平面に展開して2次元平面画像にマッピングする、ことを特徴とする請求項18に記載の非平面画像の画像処理方法。
【請求項24】前記マッピング情報生成ステップでは、元の全方位画像の3次元座標系(Θ,Φ,r)と、マッピングされた2次元画像座標系(TX,TY)との対応関係を下式で表したマッピング情報を生成する、
【数2】
ことを特徴とする請求項23に記載の非平面画像の画像処理方法。
【請求項25】前記2次元平面画像マッピング・ステップでは、3次元座標系で表される非平面画像をすべての方向について各画素に含まれる情報量が等しく保たれるように2次元平面画像にマッピングする、ことを特徴とする請求項18に記載の非平面画像の画像処理方法。
【請求項26】3次元座標系で表される非平面画像は球面状の全方位画像であり、前記2次元平面画像マッピング・ステップでは、球のz軸を等間隔に平行な平面で切ったときに隣接する平面で挟まれる球面上の面積は一定となるという定理を利用して、3次元極座標系でZ軸方向に等間隔な範囲で区切られる球面上の領域を、2次元直交座標系で等間隔な範囲で区切られる帯状の平面領域にランダムにマッピングする、ことを特徴とする請求項18に記載の非平面画像の画像処理方法。
【請求項27】3次元座標系で表される非平面画像は球面状の全方位画像であり、前記2次元平面画像マッピング・ステップでは、1行がw画素からなる2次元平面画像のi行j列目に、Hammersley Sequenceを用いてiw+j番目に全方位画像から抽出した点をマッピングする、ことを特徴とする請求項18に記載の非平面画像の画像処理方法。
【請求項28】3次元座標系で表される非平面画像は円筒状の全方位画像であり、前記2次元平面画像マッピング・ステップでは、該円筒を縦に切って長方形に展開し、さらに該長方形画像を等分割して分割された各断片を上から順に配置して、規定のフォーマット・サイズに適合させるようにする、ことを特徴とする請求項18に記載の非平面画像の画像処理方法。
【請求項29】マッピングされた2次元平面画像情報を所定の圧縮フォーマットで圧縮する画像圧縮ステップをさらに備える、ことを特徴とする請求項18に記載の非平面画像の画像処理方法。
【請求項30】前記画像圧縮ステップでは、動画に対しては、MPEG−1、MPEG−2、MPEG−4、H.263、H.261、AVI、Motion JPEGなど、また、静止画に対しては、JPEG、GIF、PNG、BMP、TIFFなどの圧縮フォーマットを採用することを特徴とする請求項29に記載の非平面画像の画像処理方法。
【請求項31】前記画像圧縮ステップは、2次元平面画像情報に画素がマッピングされていない未使用領域が含まれる場合には、該未使用領域に同じ画素値を割り当てる、ことを特徴とする請求項18に記載の非平面画像の画像処理方法。
【請求項32】前記2次元平面画像マッピング・ステップによりマッピングされた2次元平面画像又はその圧縮画像と前記マッピング情報生成ステップにより生成されたマッピング情報を1組としたデータ・フォーマットに変換するデータ・フォーマット変換ステップをさらに備える、ことを特徴とする請求項18に記載の非平面画像の画像処理方法。
【請求項33】前記データ・フォーマット変換ステップでは、映像情報と同期がとれるような形式で音声情報をインターリーブして挿入する、ことを特徴とする請求項32に記載の非平面画像の画像処理方法。
【請求項34】前記データ・フォーマット変換ステップでは、前記2次元平面画像マッピング手段が採用するマッピング方法が切り換わる度に、フレームの先頭にマッピング情報を挿入する、ことを特徴とする請求項18に記載の非平面画像の画像処理方法。
【請求項35】2次元平面画像にマッピングされた3次元座標系の非平面画像を映像表示する画像処理装置であって、視点方向及び/又はズーム値を指定する指示手段と、2次元平面画像にマッピングしたときのマッピング情報を用いて該指定された視点方向及び/又はズーム値に従った任意視点方向の3次元形状映像を生成する映像生成手段と、を具備することを特徴とする非平面画像の画像処理装置。
【請求項36】前記映像生成手段は、2次元平面にマッピングされている非平面画像から、所定の映像表示装置が持つ2次元表示画面への再マッピングを行う、ことを特徴とする請求項35に記載の非平面画像の画像処理装置。
【請求項37】前記映像生成手段は、視点方向映像の各画素について、視点方向及び/又はズーム値から極座標を計算する手段と、2次元画像マッピング情報を参照して、極座標を全方位画像座標に変換する手段と、を備えることを特徴とする請求項35に記載の非平面画像の画像処理装置。
【請求項38】前記映像生成手段は、2次元画像マッピング情報を用いて、全方位映像に含まれるプリミティブの各頂点について全方位画像座標を極座標に変換する手段と、視点方向及び/又はズーム値から極座標を視点方向画像座標に変換する手段と、全方位映像をテクスチャとして、プリミティブ単位で視点方向画像を生成する手段と、を備えることを特徴とする請求項35に記載の非平面画像の画像処理装置。
【請求項39】前記映像生成手段は、全方位画像の隣接画素を基に画素を補間する手段をさらに備える、ことを特徴とする請求項35に記載の非平面画像の画像処理装置。
【請求項40】前記映像生成手段は、画素補正に際し、全方位画像の左右両端付近に、他端から所定幅だけ複製した画素領域を配設する、ことを特徴とする請求項35に記載の非平面画像の画像処理装置。
【請求項41】前記映像生成手段は、2次元マッピングされた全方位画像の各画素について、隣接画素を検索するためのルックアップ・テーブルを作成する手段と、視点方向映像の各画素について、視点方向及びズーム値から極座標を計算する手段と、前記ルックアップ・テーブルを参照して、視点方向映像の画素に対応する極座標に隣接する画素を探索する手段と、隣接画素を用いて極座標を画素補間する手段と、2次元画像マッピング情報を参照して、極座標を全方位画像座標に変換する手段と、を備えることを特徴とする請求項35に記載の非平面画像の画像処理装置。
【請求項42】前記映像生成手段は、任意視点方向映像合成時に視点が内側にあるときに各種レンズのカメラで撮影した映像を擬似的に実現する、ことを特徴とする請求項35に記載の非平面画像の画像処理装置。
【請求項43】前記映像生成手段は、任意視点方向映像合成時に視点が外側にあるときに任意の3次元形状の全方位映像を生成する、ことを特徴とする請求項35に記載の非平面画像の画像処理装置。
【請求項44】2次元平面画像にマッピングされた3次元座標系の非平面画像を映像表示する画像処理方法であって、視点方向及び/又はズーム値を指定する指示ステップと、2次元平面画像にマッピングしたときのマッピング情報を用いて該指定された視点方向及び/又はズーム値に従った任意視点方向の3次元形状映像を生成する映像生成ステップと、を具備することを特徴とする非平面画像の画像処理方法。
【請求項45】前記映像生成ステップでは、2次元平面にマッピングされている非平面画像から、所定の映像表示装置が持つ2次元表示画面への再マッピングを行う、ことを特徴とする請求項44に記載の非平面画像の画像処理方法。
【請求項46】前記映像生成ステップは、視点方向映像の各画素について、視点方向及び/又はズーム値から極座標を計算するステップと、2次元画像マッピング情報を参照して、極座標を全方位画像座標に変換するステップと、を備えることを特徴とする請求項44に記載の非平面画像の画像処理方法。
【請求項47】前記映像生成ステップは、2次元画像マッピング情報を用いて、全方位映像に含まれるプリミティブの各頂点について全方位画像座標を極座標に変換するステップと、視点方向及び/又はズーム値から極座標を視点方向画像座標に変換するステップと、全方位映像をテクスチャとして、プリミティブ単位で視点方向画像を生成するステップと、を備えることを特徴とする請求項44に記載の非平面画像の画像処理方法。
【請求項48】前記映像生成ステップは、全方位画像の隣接画素を基に画素を補間するステップを備える、ことを特徴とする請求項44に記載の非平面画像の画像処理方法。
【請求項49】前記映像生成ステップでは、画素補正に際し、全方位画像の左右両端付近に、他端から所定幅だけ複製した画素領域を配設する、ことを特徴とする請求項44に記載の非平面画像の画像処理方法。
【請求項50】前記映像生成ステップは、2次元マッピングされた全方位画像の各画素について、隣接画素を検索するためのルックアップ・テーブルを作成するステップと、視点方向映像の各画素について、視点方向及びズーム値から極座標を計算するステップと、前記ルックアップ・テーブルを参照して、視点方向映像の画素に対応する極座標に隣接する画素を探索するステップと、隣接画素を用いて極座標を画素補間するステップと、2次元画像マッピング情報を参照して、極座標を全方位画像座標に変換するステップと、を備えることを特徴とする請求項44に記載の非平面画像の画像処理方法。
【請求項51】前記映像生成ステップは、任意視点方向映像合成時に視点が内側にあるときに各種レンズのカメラで撮影した映像を擬似的に実現する、ことを特徴とする請求項44に記載の非平面画像の画像処理方法。
【請求項52】前記映像生成ステップは、任意視点方向映像合成時に視点が外側にあるときに任意の3次元形状の全方位映像を生成する、ことを特徴とする請求項44に記載の非平面画像の画像処理方法。
【請求項53】3次元座標系で表される非平面画像の処理をコンピュータ・システム上で実行するように記述されたコンピュータ・ソフトウェアをコンピュータ可読形式で物理的に格納した記憶媒体であって、前記コンピュータ・ソフトウェアは、3次元座標系で表される非平面画像を2次元平面にマッピングする2次元平面画像マッピング・ステップと、元の非平面画像を表す3次元座標系とマッピングされた2次元画像座標系との対応関係を記述したマッピング情報を生成するマッピング情報生成ステップと、を具備することを特徴とする記憶媒体。
【請求項54】2次元平面画像にマッピングされた3次元座標系の非平面画像を映像表示するための処理をコンピュータ・システム上で実行するように記述されたコンピュータ・ソフトウェアをコンピュータ可読形式で物理的に格納した記憶媒体であって、前記コンピュータ・ソフトウェアは、視点方向及び/又はズーム値を指定する指示ステップと、2次元平面画像にマッピングしたときのマッピング情報を用いて該指定された視点方向及び/又はズーム値に従った任意視点方向の3次元形状映像を生成する映像生成ステップと、を具備することを特徴とする記憶媒体。
【請求項55】3次元座標系で表される非平面画像の処理をコンピュータ・システム上で実行するように記述されたコンピュータ・プログラムであって、3次元座標系で表される非平面画像を2次元平面にマッピングする2次元平面画像マッピング・ステップと、元の非平面画像を表す3次元座標系とマッピングされた2次元画像座標系との対応関係を記述したマッピング情報を生成するマッピング情報生成ステップと、を具備することを特徴とするコンピュータ・プログラム。
【請求項56】2次元平面画像にマッピングされた3次元座標系の非平面画像を映像表示するための処理をコンピュータ・システム上で実行するように記述されたコンピュータ・プログラムであって、視点方向及び/又はズーム値を指定する指示ステップと、2次元平面画像にマッピングしたときのマッピング情報を用いて該指定された視点方向及び/又はズーム値に従った任意視点方向の3次元形状映像を生成する映像生成ステップと、を具備することを特徴とするコンピュータ・プログラム。
【請求項1】3次元座標系で表される非平面画像を処理する画像処理装置であって、3次元座標系で表される非平面画像を2次元平面にマッピングする2次元平面画像マッピング手段と、元の非平面画像を表す3次元座標系とマッピングされた2次元画像座標系との対応関係を記述したマッピング情報を生成するマッピング情報生成手段と、を具備することを特徴とする非平面画像の画像処理装置。
【請求項2】3次元座標系で表される非平面画像は球面状の全方位画像であり、前記2次元平面画像マッピング手段は、球面を円筒に投影して、該円筒を平面に展開して2次元平面画像にマッピングする、ことを特徴とする請求項1に記載の非平面画像の画像処理装置。
【請求項3】前記2次元平面画像マッピング手段は、2次元平面の横方向に球面の水平方向の角度を、縦方向に球面の垂直方法の角度を、それぞれ等間隔で割り当てる、ことを特徴とする請求項2に記載の非平面画像の画像処理装置。
【請求項4】前記2次元平面画像マッピング手段は、球面の水平方向及び/又は垂直方向の角度を、2次元平面の横方向及び/又は縦方向に任意の間隔で割り当てる、ことを特徴とする請求項2に記載の非平面画像の画像処理装置。
【請求項5】前記マッピング情報生成手段は、2次元平面画像の各行及び列に割り当てた球面上の水平方向及び垂直方向の角度で記述されたマッピング情報を生成する、ことを特徴とする請求項2に記載の非平面画像の画像処理装置。
【請求項6】3次元座標系で表される非平面画像は球面状の全方位画像であり、前記2次元平面画像マッピング手段は、面積比率が正しくなるように球面を円筒に投影して、該円筒を平面に展開して2次元平面画像にマッピングする、ことを特徴とする請求項1に記載の非平面画像の画像処理装置。
【請求項7】前記マッピング情報生成手段は、元の全方位画像の3次元座標系(Θ,Φ,r)と、マッピングされた2次元画像座標系(TX,TY)との対応関係を下式で表したマッピング情報を生成する、
【数1】
ことを特徴とする請求項6に記載の非平面画像の画像処理装置。
【請求項8】前記2次元平面画像マッピング手段は、3次元座標系で表される非平面画像をすべての方向について各画素に含まれる情報量が等しく保たれるように2次元平面画像にマッピングする、ことを特徴とする請求項1に記載の非平面画像の画像処理装置。
【請求項9】3次元座標系で表される非平面画像は球面状の全方位画像であり、前記2次元平面画像マッピング手段は、球のz軸を等間隔に平行な平面で切ったときに隣接する平面で挟まれる球面上の面積は一定となるという定理を利用して、3次元極座標系でZ軸方向に等間隔な範囲で区切られる球面上の領域を、2次元直交座標系で等間隔な範囲で区切られる帯状の平面領域にランダムにマッピングする、ことを特徴とする請求項1に記載の非平面画像の画像処理装置。
【請求項10】3次元座標系で表される非平面画像は球面状の全方位画像であり、前記2次元平面画像マッピング手段は、1行がw画素からなる2次元平面画像のi行j列目に、Hammersley Sequenceを用いてiw+j番目に全方位画像から抽出した点をマッピングする、ことを特徴とする請求項1に記載の非平面画像の画像処理装置。
【請求項11】3次元座標系で表される非平面画像は円筒状の全方位画像であり、前記2次元平面画像マッピング手段は、該円筒を縦に切って長方形に展開し、さらに該長方形画像を等分割して分割された各断片を上から順に配置して、規定のフォーマット・サイズに適合させるようにする、ことを特徴とする請求項1に記載の非平面画像の画像処理装置。
【請求項12】マッピングされた2次元平面画像情報を所定の圧縮フォーマットで圧縮する画像圧縮手段をさらに備える、ことを特徴とする請求項1に記載の非平面画像の画像処理装置。
【請求項13】前記画像圧縮手段は、動画に対しては、MPEG−1、MPEG−2、MPEG−4、H.263、H.261、AVI、Motion JPEGなど、また、静止画に対しては、JPEG、GIF、PNG、BMP、TIFFなどの圧縮フォーマットを採用する、ことを特徴とする請求項12に記載の非平面画像の画像処理装置。
【請求項14】前記画像圧縮手段は、2次元平面画像情報に画素がマッピングされていない未使用領域が含まれる場合には、該未使用領域に同じ画素値を割り当てる、ことを特徴とする請求項12に記載の非平面画像の画像処理装置。
【請求項15】前記2次元平面画像マッピング手段によりマッピングされた2次元平面画像又はその圧縮画像と前記マッピング情報生成手段により生成されたマッピング情報を1組としたデータ・フォーマットに変換するデータ・フォーマット変換手段をさらに備える、ことを特徴とする請求項1に記載の非平面画像の画像処理装置。
【請求項16】前記データ・フォーマット変換手段は、映像情報と同期がとれるような形式で音声情報をインターリーブして挿入する、ことを特徴とする請求項15に記載の非平面画像の画像処理装置。
【請求項17】前記データ・フォーマット変換手段は、前記2次元平面画像マッピング手段が採用するマッピング方法が切り換わる度に、フレームの先頭にマッピング情報を挿入する、ことを特徴とする請求項15に記載の非平面画像の画像処理装置。
【請求項18】3次元座標系で表される非平面画像を処理する画像処理方法であって、3次元座標系で表される非平面画像を2次元平面にマッピングする2次元平面画像マッピング・ステップと、元の非平面画像を表す3次元座標系とマッピングされた2次元画像座標系との対応関係を記述したマッピング情報を生成するマッピング情報生成ステップと、を具備することを特徴とする非平面画像の画像処理方法。
【請求項19】3次元座標系で表される非平面画像は球面状の全方位画像であり、前記2次元平面画像マッピング・ステップでは、球面を円筒に投影して、該円筒を平面に展開して2次元平面画像にマッピングする、ことを特徴とする請求項18に記載の非平面画像の画像処理方法。
【請求項20】前記2次元平面画像マッピング・ステップでは、2次元平面の横方向に球面の水平方向の角度を、縦方向に球面の垂直方法の角度を、それぞれ等間隔で割り当てる、ことを特徴とする請求項19に記載の非平面画像の画像処理方法。
【請求項21】前記2次元平面画像マッピング・ステップでは、球面の水平方向及び/又は垂直方向の角度を、2次元平面の横方向及び/又は縦方向に任意の間隔で割り当てる、ことを特徴とする請求項19に記載の非平面画像の画像処理方法。
【請求項22】前記マッピング情報生成ステップでは、2次元平面画像の各行及び列に割り当てた球面上の水平方向及び垂直方向の角度で記述されたマッピング情報を生成する、ことを特徴とする請求項19に記載の非平面画像の画像処理方法。
【請求項23】3次元座標系で表される非平面画像は球面状の全方位画像であり、前記2次元平面画像マッピング・ステップでは、面積比率が正しくなるように球面を円筒に投影して、該円筒を平面に展開して2次元平面画像にマッピングする、ことを特徴とする請求項18に記載の非平面画像の画像処理方法。
【請求項24】前記マッピング情報生成ステップでは、元の全方位画像の3次元座標系(Θ,Φ,r)と、マッピングされた2次元画像座標系(TX,TY)との対応関係を下式で表したマッピング情報を生成する、
【数2】
ことを特徴とする請求項23に記載の非平面画像の画像処理方法。
【請求項25】前記2次元平面画像マッピング・ステップでは、3次元座標系で表される非平面画像をすべての方向について各画素に含まれる情報量が等しく保たれるように2次元平面画像にマッピングする、ことを特徴とする請求項18に記載の非平面画像の画像処理方法。
【請求項26】3次元座標系で表される非平面画像は球面状の全方位画像であり、前記2次元平面画像マッピング・ステップでは、球のz軸を等間隔に平行な平面で切ったときに隣接する平面で挟まれる球面上の面積は一定となるという定理を利用して、3次元極座標系でZ軸方向に等間隔な範囲で区切られる球面上の領域を、2次元直交座標系で等間隔な範囲で区切られる帯状の平面領域にランダムにマッピングする、ことを特徴とする請求項18に記載の非平面画像の画像処理方法。
【請求項27】3次元座標系で表される非平面画像は球面状の全方位画像であり、前記2次元平面画像マッピング・ステップでは、1行がw画素からなる2次元平面画像のi行j列目に、Hammersley Sequenceを用いてiw+j番目に全方位画像から抽出した点をマッピングする、ことを特徴とする請求項18に記載の非平面画像の画像処理方法。
【請求項28】3次元座標系で表される非平面画像は円筒状の全方位画像であり、前記2次元平面画像マッピング・ステップでは、該円筒を縦に切って長方形に展開し、さらに該長方形画像を等分割して分割された各断片を上から順に配置して、規定のフォーマット・サイズに適合させるようにする、ことを特徴とする請求項18に記載の非平面画像の画像処理方法。
【請求項29】マッピングされた2次元平面画像情報を所定の圧縮フォーマットで圧縮する画像圧縮ステップをさらに備える、ことを特徴とする請求項18に記載の非平面画像の画像処理方法。
【請求項30】前記画像圧縮ステップでは、動画に対しては、MPEG−1、MPEG−2、MPEG−4、H.263、H.261、AVI、Motion JPEGなど、また、静止画に対しては、JPEG、GIF、PNG、BMP、TIFFなどの圧縮フォーマットを採用することを特徴とする請求項29に記載の非平面画像の画像処理方法。
【請求項31】前記画像圧縮ステップは、2次元平面画像情報に画素がマッピングされていない未使用領域が含まれる場合には、該未使用領域に同じ画素値を割り当てる、ことを特徴とする請求項18に記載の非平面画像の画像処理方法。
【請求項32】前記2次元平面画像マッピング・ステップによりマッピングされた2次元平面画像又はその圧縮画像と前記マッピング情報生成ステップにより生成されたマッピング情報を1組としたデータ・フォーマットに変換するデータ・フォーマット変換ステップをさらに備える、ことを特徴とする請求項18に記載の非平面画像の画像処理方法。
【請求項33】前記データ・フォーマット変換ステップでは、映像情報と同期がとれるような形式で音声情報をインターリーブして挿入する、ことを特徴とする請求項32に記載の非平面画像の画像処理方法。
【請求項34】前記データ・フォーマット変換ステップでは、前記2次元平面画像マッピング手段が採用するマッピング方法が切り換わる度に、フレームの先頭にマッピング情報を挿入する、ことを特徴とする請求項18に記載の非平面画像の画像処理方法。
【請求項35】2次元平面画像にマッピングされた3次元座標系の非平面画像を映像表示する画像処理装置であって、視点方向及び/又はズーム値を指定する指示手段と、2次元平面画像にマッピングしたときのマッピング情報を用いて該指定された視点方向及び/又はズーム値に従った任意視点方向の3次元形状映像を生成する映像生成手段と、を具備することを特徴とする非平面画像の画像処理装置。
【請求項36】前記映像生成手段は、2次元平面にマッピングされている非平面画像から、所定の映像表示装置が持つ2次元表示画面への再マッピングを行う、ことを特徴とする請求項35に記載の非平面画像の画像処理装置。
【請求項37】前記映像生成手段は、視点方向映像の各画素について、視点方向及び/又はズーム値から極座標を計算する手段と、2次元画像マッピング情報を参照して、極座標を全方位画像座標に変換する手段と、を備えることを特徴とする請求項35に記載の非平面画像の画像処理装置。
【請求項38】前記映像生成手段は、2次元画像マッピング情報を用いて、全方位映像に含まれるプリミティブの各頂点について全方位画像座標を極座標に変換する手段と、視点方向及び/又はズーム値から極座標を視点方向画像座標に変換する手段と、全方位映像をテクスチャとして、プリミティブ単位で視点方向画像を生成する手段と、を備えることを特徴とする請求項35に記載の非平面画像の画像処理装置。
【請求項39】前記映像生成手段は、全方位画像の隣接画素を基に画素を補間する手段をさらに備える、ことを特徴とする請求項35に記載の非平面画像の画像処理装置。
【請求項40】前記映像生成手段は、画素補正に際し、全方位画像の左右両端付近に、他端から所定幅だけ複製した画素領域を配設する、ことを特徴とする請求項35に記載の非平面画像の画像処理装置。
【請求項41】前記映像生成手段は、2次元マッピングされた全方位画像の各画素について、隣接画素を検索するためのルックアップ・テーブルを作成する手段と、視点方向映像の各画素について、視点方向及びズーム値から極座標を計算する手段と、前記ルックアップ・テーブルを参照して、視点方向映像の画素に対応する極座標に隣接する画素を探索する手段と、隣接画素を用いて極座標を画素補間する手段と、2次元画像マッピング情報を参照して、極座標を全方位画像座標に変換する手段と、を備えることを特徴とする請求項35に記載の非平面画像の画像処理装置。
【請求項42】前記映像生成手段は、任意視点方向映像合成時に視点が内側にあるときに各種レンズのカメラで撮影した映像を擬似的に実現する、ことを特徴とする請求項35に記載の非平面画像の画像処理装置。
【請求項43】前記映像生成手段は、任意視点方向映像合成時に視点が外側にあるときに任意の3次元形状の全方位映像を生成する、ことを特徴とする請求項35に記載の非平面画像の画像処理装置。
【請求項44】2次元平面画像にマッピングされた3次元座標系の非平面画像を映像表示する画像処理方法であって、視点方向及び/又はズーム値を指定する指示ステップと、2次元平面画像にマッピングしたときのマッピング情報を用いて該指定された視点方向及び/又はズーム値に従った任意視点方向の3次元形状映像を生成する映像生成ステップと、を具備することを特徴とする非平面画像の画像処理方法。
【請求項45】前記映像生成ステップでは、2次元平面にマッピングされている非平面画像から、所定の映像表示装置が持つ2次元表示画面への再マッピングを行う、ことを特徴とする請求項44に記載の非平面画像の画像処理方法。
【請求項46】前記映像生成ステップは、視点方向映像の各画素について、視点方向及び/又はズーム値から極座標を計算するステップと、2次元画像マッピング情報を参照して、極座標を全方位画像座標に変換するステップと、を備えることを特徴とする請求項44に記載の非平面画像の画像処理方法。
【請求項47】前記映像生成ステップは、2次元画像マッピング情報を用いて、全方位映像に含まれるプリミティブの各頂点について全方位画像座標を極座標に変換するステップと、視点方向及び/又はズーム値から極座標を視点方向画像座標に変換するステップと、全方位映像をテクスチャとして、プリミティブ単位で視点方向画像を生成するステップと、を備えることを特徴とする請求項44に記載の非平面画像の画像処理方法。
【請求項48】前記映像生成ステップは、全方位画像の隣接画素を基に画素を補間するステップを備える、ことを特徴とする請求項44に記載の非平面画像の画像処理方法。
【請求項49】前記映像生成ステップでは、画素補正に際し、全方位画像の左右両端付近に、他端から所定幅だけ複製した画素領域を配設する、ことを特徴とする請求項44に記載の非平面画像の画像処理方法。
【請求項50】前記映像生成ステップは、2次元マッピングされた全方位画像の各画素について、隣接画素を検索するためのルックアップ・テーブルを作成するステップと、視点方向映像の各画素について、視点方向及びズーム値から極座標を計算するステップと、前記ルックアップ・テーブルを参照して、視点方向映像の画素に対応する極座標に隣接する画素を探索するステップと、隣接画素を用いて極座標を画素補間するステップと、2次元画像マッピング情報を参照して、極座標を全方位画像座標に変換するステップと、を備えることを特徴とする請求項44に記載の非平面画像の画像処理方法。
【請求項51】前記映像生成ステップは、任意視点方向映像合成時に視点が内側にあるときに各種レンズのカメラで撮影した映像を擬似的に実現する、ことを特徴とする請求項44に記載の非平面画像の画像処理方法。
【請求項52】前記映像生成ステップは、任意視点方向映像合成時に視点が外側にあるときに任意の3次元形状の全方位映像を生成する、ことを特徴とする請求項44に記載の非平面画像の画像処理方法。
【請求項53】3次元座標系で表される非平面画像の処理をコンピュータ・システム上で実行するように記述されたコンピュータ・ソフトウェアをコンピュータ可読形式で物理的に格納した記憶媒体であって、前記コンピュータ・ソフトウェアは、3次元座標系で表される非平面画像を2次元平面にマッピングする2次元平面画像マッピング・ステップと、元の非平面画像を表す3次元座標系とマッピングされた2次元画像座標系との対応関係を記述したマッピング情報を生成するマッピング情報生成ステップと、を具備することを特徴とする記憶媒体。
【請求項54】2次元平面画像にマッピングされた3次元座標系の非平面画像を映像表示するための処理をコンピュータ・システム上で実行するように記述されたコンピュータ・ソフトウェアをコンピュータ可読形式で物理的に格納した記憶媒体であって、前記コンピュータ・ソフトウェアは、視点方向及び/又はズーム値を指定する指示ステップと、2次元平面画像にマッピングしたときのマッピング情報を用いて該指定された視点方向及び/又はズーム値に従った任意視点方向の3次元形状映像を生成する映像生成ステップと、を具備することを特徴とする記憶媒体。
【請求項55】3次元座標系で表される非平面画像の処理をコンピュータ・システム上で実行するように記述されたコンピュータ・プログラムであって、3次元座標系で表される非平面画像を2次元平面にマッピングする2次元平面画像マッピング・ステップと、元の非平面画像を表す3次元座標系とマッピングされた2次元画像座標系との対応関係を記述したマッピング情報を生成するマッピング情報生成ステップと、を具備することを特徴とするコンピュータ・プログラム。
【請求項56】2次元平面画像にマッピングされた3次元座標系の非平面画像を映像表示するための処理をコンピュータ・システム上で実行するように記述されたコンピュータ・プログラムであって、視点方向及び/又はズーム値を指定する指示ステップと、2次元平面画像にマッピングしたときのマッピング情報を用いて該指定された視点方向及び/又はズーム値に従った任意視点方向の3次元形状映像を生成する映像生成ステップと、を具備することを特徴とするコンピュータ・プログラム。
【図1】
【図2】
【図10】
【図3】
【図4】
【図5】
【図6】
【図8】
【図7】
【図9】
【図11】
【図16】
【図24】
【図12】
【図13】
【図14】
【図28】
【図15】
【図17】
【図18】
【図19】
【図26】
【図20】
【図21】
【図31】
【図32】
【図39】
【図22】
【図23】
【図29】
【図30】
【図25】
【図27】
【図33】
【図37】
【図34】
【図35】
【図36】
【図38】
【図40】
【図2】
【図10】
【図3】
【図4】
【図5】
【図6】
【図8】
【図7】
【図9】
【図11】
【図16】
【図24】
【図12】
【図13】
【図14】
【図28】
【図15】
【図17】
【図18】
【図19】
【図26】
【図20】
【図21】
【図31】
【図32】
【図39】
【図22】
【図23】
【図29】
【図30】
【図25】
【図27】
【図33】
【図37】
【図34】
【図35】
【図36】
【図38】
【図40】
【公開番号】特開2003−141562(P2003−141562A)
【公開日】平成15年5月16日(2003.5.16)
【国際特許分類】
【出願番号】特願2001−331508(P2001−331508)
【出願日】平成13年10月29日(2001.10.29)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】
【公開日】平成15年5月16日(2003.5.16)
【国際特許分類】
【出願日】平成13年10月29日(2001.10.29)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】
[ Back to top ]