画像変換装置、画像生成システム、画像変換方法及び画像生成方法
【課題】 球面画像を保存しやすい画像に変換可能な画像変換装置、画像生成システム、画像変換方法及び画像生成方法を提供する。
【解決手段】 画像変換装置３０は、離散球面に撮影画像が投影された球面画像４０を生成する球面画像生成部３２と球面画像を長方形画像７０に変換する画像変換部３３とを備える。離散球面が有する画素は測地ドーム５０の頂点５１に対応する。長方形画像が有する各四角形画素の画素値は、測地ドームの一経線上の各頂点を基点とし、複数の基点が第１の方向に並べられ各基点と同一緯度の頂点が各基点に対して第１の方向に直交する第２の方向に並べられた中間配列構造６０から、測地ドームの第１及び第２の極に対応する頂点を削除して中間配列構造の所定の頂点を移動させることで中間配列構造の複数の頂点が四角形状に並べられた２次元配列構造において、各四角形画素の位置の頂点に対応する球面画像の画素の画素値である。
【解決手段】 画像変換装置３０は、離散球面に撮影画像が投影された球面画像４０を生成する球面画像生成部３２と球面画像を長方形画像７０に変換する画像変換部３３とを備える。離散球面が有する画素は測地ドーム５０の頂点５１に対応する。長方形画像が有する各四角形画素の画素値は、測地ドームの一経線上の各頂点を基点とし、複数の基点が第１の方向に並べられ各基点と同一緯度の頂点が各基点に対して第１の方向に直交する第２の方向に並べられた中間配列構造６０から、測地ドームの第１及び第２の極に対応する頂点を削除して中間配列構造の所定の頂点を移動させることで中間配列構造の複数の頂点が四角形状に並べられた２次元配列構造において、各四角形画素の位置の頂点に対応する球面画像の画素の画素値である。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像変換装置、画像生成システム、画像変換方法及び画像生成方法に関するものである。
【背景技術】
【０００２】
ある視点を中心として周囲の画像を取得することで、全天周の画像を得ることができる。この場合、複数の画像で全天周が分割されて取得されているが、これらを一つの画像として表示するものとして、球面画像が知られている（特許文献１参照）。球面画像は、球面上に画像が投影されたものである。コンピュータなどによって球面画像を表す場合には、連続した球面を測地ドーム分割法で分割して構成される測地ドームを用いて球面画像を離散化して表す（非特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−５６２９５号公報
【非特許文献】
【０００４】
【非特許文献１】諸岡健一、外２名、「３次元物体自動モデリングのための視点空間表現と視点計画計算法」、電気情報通信学会論文誌 Ｄ−ＩＩ、２００１年１月、Ｖｏｌ．Ｊ８４−Ｄ−ＩＩ Ｎｏ．１ ｐｐ．６４−７４
【発明の概要】
【発明が解決しようとする課題】
【０００５】
離散化された球面に対応する測地ドーム１２０のデータ構造の表現方法としては、図２３に示すように、測地ドーム１２０を平面展開したものが知られている。図２３は、従来の測地ドームの展開図の一例を示す図面である。
【０００６】
しかしながら、このようなデータ構造を使用した場合には、例えば、図２３の破線で囲んだ領域Ａに示す平行四辺形を指定する指標ｕと、平行四辺形内の各画素を２次元的に指定する２つの指標ｖ，ｗを要し、３次元的な表現方法を採用することになる。そのため、データ保存等が煩雑になる場合があった。
【０００７】
本発明は、上記の問題点を解決するためになされたものであり、球面画像をより保存しやすい画像に変換可能な画像変換装置、画像生成システム、画像変換方法及び画像生成方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するため、本発明に係る画像変換装置は、複数の画素で離散的に表された離散球面に、複数の撮影画像が投影された球面画像を生成する球面画像生成部と、球面画像を長方形画像に変換する画像変換部と、を備え、離散球面を表す複数の画素は、球面を測地ドーム法で分割した測地ドームの各頂点に対応し、長方形画像は、複数の四角形画素を有し、各四角形画素の画素値は、測地ドームの一経線上の複数の頂点をそれぞれ基点として、複数の基点が第１の方向に並べられ各基点と同一緯度の頂点が各基点に対して第１の方向に直交する第２の方向に並べられた中間配列構造から、測地ドームの第１及び第２の極に対応する頂点を削除すると共に中間配列構造の所定の頂点を第１及び第２の方向に移動させることによって中間配列構造が有する複数の頂点が四角形状に並べられた２次元配列構造において、各四角形画素の位置の頂点に対応する球面画像の画素の画素値である、ことを特徴とする。
【０００９】
本発明に係る画像変換方法は、複数の撮影画像を、球面を測地ドーム法で分割して形成される測地ドームの各頂点に対応する画素で表した離散球面に投影することによって球面画像を生成するステップと、測地ドームの一経線上の複数の頂点をそれぞれ基点として、複数の基点が第１の方向に並べられ各基点と同一緯度の頂点が各基点に対して第１の方向に直交する第２の方向に並べられてなる中間配列構造を生成するステップと、中間配列構造に含まれる測地ドームの第１及び第２の極に対応する頂点以外の頂点のうち所定の頂点を第１及び第２の方向に移動させることによって、測地ドームの第１及び第２の極に対応する頂点以外の頂点が四角形状に並べられた２次元配列構造を生成するステップと、２次元配列構造を構成する各頂点を四角形画素として、各四角形画素の位置の頂点に対応する球面画像の画素の画素値を割り当てて長方形画像を生成するステップと、を備えることを特徴とする。
【００１０】
このような画像変換装置及び画像変換方法では、複数の撮影画像を一つの画像とした球面画像を長方形画像に変換している。この場合、長方形画像を保存すればよいので、画像データの保存が容易である。また、長方形画像として保存することにより、ＪＰＥＧ等の圧縮方法を容易に適用することができる。
【００１１】
上記画像変換装置においては、中間配列構造は、第１及び第２の方向をそれぞれ行方向及び列方向としたとき、第ｉ行（ｉは、０以上３・２Ｌ以下の整数）の列数Ｎｉが、式（１）で表される配列構造を有しており、２次元配列構造は、中間配列構造の第（２Ｌ+１＋１）行から第（ＲＬ−１）行までの領域をシフト領域として、シフト領域内の各頂点を第（５×２Ｌ）列側に向けて列シフトさせた後、シフト領域を、第（２Ｌ+１＋１）行が第０行に一致するように行シフトさせると共に、中間配列構造における第０行及び第ＲＬ行に対応する頂点を削除して構成されている、ことが好適である。或いは、本発明に係る画像変換方法においては、中間配列構造は、第１及び第２の方向をそれぞれ行方向及び列方向としたとき、第ｉ行（ｉは、０以上３・２Ｌ以下の整数）の列数Ｎｉが、式（１）で表される構造を有しており、２次元配列構造を生成するステップでは、中間配列構造の第（２Ｌ+１＋１）行から第（ＲＬ−１）行までの領域をシフト領域として、シフト領域内の各頂点を第（５×２Ｌ）列側に向けて列シフトさせた後、シフト領域を第（２Ｌ+１＋１）行が第０行に一致するように行シフトさせると共に、中間配列構造における第０行及び第ＲＬ行に対応する頂点を削除して２次元配列構造を生成する、ことが好適である。
【数１】
【００１２】
このように、中間配列構造が有する頂点を移動させることによって、長方形画像を容易に作成することができる。
【００１３】
また、本発明に係る画像生成システムは、複数の撮影画像を取得する画像取得手段と、画像取得手段によって取得された複数の撮影画像が、複数の画素で離散的に表された離散球面に投影された球面画像を生成する球面画像生成部と、球面画像を長方形画像に変換する画像変換部と、を備え、離散球面を表す複数の画素は、球面を測地ドーム法で分割した測地ドームの各頂点に対応し、長方形画像は、複数の四角形画素を有し、各四角形画素の画素値は、測地ドームの一経線上の複数の頂点をそれぞれ基点として、複数の基点が第１の方向に並べられ各基点と同一緯度の頂点が各基点に対して第１の方向に直交する第２の方向に並べられた中間配列構造から、測地ドームの第１及び第２の極に対応する頂点を削除すると共に中間配列構造の所定の頂点を第１及び第２の方向に移動させることによって中間配列構造が有する複数の頂点が四角形状に並べられた２次元配列構造において、各四角形画素の位置の頂点に対応する球面画像の画素の画素値である、ことを特徴とする。
【００１４】
また、本発明に係る撮像方法は、複数の撮影画像を取得するステップと、取得された複数の撮影画像を、球面を測地ドーム法で分割した測地ドームの各頂点に対応する画素とした離散球面に投影することによって球面画像を生成するステップと、測地ドームの一経線上の複数の頂点をそれぞれ基点として、複数の基点が第１の方向に並べられ各基点と同一緯度の頂点が各基点に対して第１の方向に直交する第２の方向に並べられてなる中間配列構造を生成するステップと、中間配列構造に含まれる測地ドームの第１及び第２の極に対応する頂点以外の頂点のうち所定の頂点を第１及び第２の方向に移動させることによって、測地ドームの第１及び第２の極に対応する頂点以外の頂点が四角形状に並べられた２次元配列構造を生成するステップと、２次元配列構造を構成する各頂点を四角形画素として、各四角形画素の位置の頂点に対応する球面画像の画素の画素値を割り当てて長方形画像を生成するステップと、を備えることを特徴とする。
【００１５】
このような撮像システム及び撮像方法によれば、複数の撮影画像を一つの画像とした球面画像を長方形画像に変換している。この場合、長方形画像を保存すればよいので、画像データの保存が容易である。また、長方形画像として保存することにより、ＪＰＥＧ等の圧縮方法を容易に適用することができる。
【００１６】
また、本発明に係る画像変換装置では、測地ドーム法による分割回数がＬ回の長方形画像を分割回数が（Ｌ−１）回の長方形画像に変換して縮小画像を生成する縮小画像生成部を更に備えることが好適である。同様に、本発明に係る画像変換方法では、測地ドーム法による分割回数がＬ回の長方形画像を分割回数が（Ｌ−１）回の長方形画像に変換して縮小画像を生成する縮小画像生成ステップを更に備えることが好適である。これにより、生成した長方形画像を縮小した縮小画像を生成することができる。
【００１７】
この場合、測地ドーム法による分割回数がＬ回の中間配列構造において第ｉ行の第ｊ列（ｊは、０以上Ｎｉ以下の整数）の位置を（ｉＬ，ｊＬ）と表し、分割回数がＬ回の中間配列構造に対応する長方形画像において、中間配列構造の（ｉＬ，ｊＬ）に対応する四角形画素をＳＬ（ｉＬ，ｊＬ）と表したとき、上記縮小画像生成部は（又は上記縮小画像生成ステップでは）、縮小画像としての長方形画像における四角形画素であるＳＬ−１（ｉＬ−１，ｊＬ−１）の画素値を、分割回数がＬ回である長方形画像における四角形画素であるＳＬ（２ｉＬ−１，２ｊＬ−１）の画素値に対応させることによって、縮小画像を生成することができる。
【００１８】
或いは、測地ドーム法による分割回数がＬ回の中間配列構造において第ｉ行の第ｊ列（ｊは、０以上Ｎｉ以下の整数）の位置を（ｉＬ，ｊＬ）と表し、分割回数がＬ回の中間配列構造に対応する長方形画像において、中間配列構造の（ｉＬ，ｊＬ）に対応する四角形画素をＳＬ（ｉＬ，ｊＬ）と表したとき、上記縮小画像生成部は（又は上記縮小画像生成ステップでは）、縮小画像中の四角形画素であるＳＬ−１（ｉＬ−１，ｊＬ−１）の画素値をＶＬ−１とし、分割回数がＬ回である長方形画像中の四角形画素であるＳＬ（２ｉＬ−１，２ｊＬ−１）の画素値をＶＬとしたとき、式（２）に基づいて、ＶＬ−１を算出してもよい。
【数２】
（式（２）中、Ｍは、分割回数がＬ回である測地ドームにおいて、対応する中間配列構造の（２ｉＬ−１，２ｊＬ−１）の位置に対応する頂点に隣接する隣接頂点の個数であり、ＶｍＬは、各前記隣接頂点の画素値である。）
【００１９】
また、本発明に係る画像変換装置は、測地ドーム法による分割回数がＬ回の長方形画像を分割回数が（Ｌ＋１）回の長方形画像に変換して拡大画像を生成する拡大画像生成部を更に備えることが好ましい。同様に、本発明に係る画像変換方法は、測地ドーム法による分割回数がＬ回の長方形画像を分割回数が（Ｌ＋１）回の長方形画像に変換して拡大画像を生成する拡大画像生成ステップを更に備えることが好ましい。これにより、生成した長方形画像を拡大した拡大画像を生成することができる。
【００２０】
この場合、測地ドーム法による分割回数がＬ回の中間配列構造において第ｉ行の第ｊ列（ｊは、０以上Ｎｉ以下の整数）の位置を（ｉＬ，ｊＬ）と表し、分割回数がＬ回の中間配列構造に対応する長方形画像において、中間配列構造の（ｉＬ，ｊＬ）に対応する画素をＳＬ（ｉＬ，ｊＬ）と表したとき、上記拡大画像生成部は（又は拡大画像生成ステップでは）、拡大画像としての長方形画像における四角形画素が、分割回数がＬ回である測地ドームの頂点に対応する場合、拡大画像としての長方形画像における四角形画素であるＳＬ＋１（ｉＬ＋１，ｊＬ＋１）の画素値を、分割回数がＬ回である長方形画像におけるＳＬ（２ｉＬ，２ｊＬ）の画素値とし、拡大画像としての長方形画像における四角形画素が、分割回数がＬ回である測地ドームの頂点のうち隣接する２つの頂点の間に生成された新たな頂点に対応する場合、拡大画像としての長方形画像における四角形画素であるＳＬ＋１（ｉＬ＋１，ｊＬ＋１）の画素値をＶｎｅｗＬ＋１とし、ＶｎｅｗＬ＋１を、分割回数がＬ回である測地ドームの頂点のうち隣接する２つの頂点に対応する画素値の平均値とする、ことが好適である。
【００２１】
或いは、測地ドーム法による分割回数がＬ回の中間配列構造において第ｉ行の第ｊ列（ｊは、０以上Ｎｉ以下の整数）の位置を（ｉＬ，ｊＬ）と表し、分割回数がＬ回の中間配列構造に対応する長方形画像において、中間配列構造の（ｉＬ，ｊＬ）に対応する四角形画素をＳＬ（ｉＬ，ｊＬ）と表したとき、上記拡大画像生成部は（又は拡大画像生成ステップでは）、拡大画像としての長方形画像における四角形画素が、分割回数がＬ回である測地ドームの頂点に対応する場合、拡大画像としての長方形画像における四角形画素であるＳＬ＋１（ｉＬ＋１，ｊＬ＋１）の画素値を、分割回数がＬ回である長方形画像におけるＳＬ（２ｉＬ，２ｊＬ）の画素値とし、拡大画像としての長方形画像における四角形画素が、（Ｌ＋１）回分割の測地ドームにおいて、分割回数がＬ回である測地ドームの頂点のうち隣接する２つの頂点の間に生成された新たな頂点に対応する場合、拡大画像としての長方形画像における四角形画素であるＳＬ＋１（ｉＬ＋１，ｊＬ＋１）の画素値をＶｎｅｗＬ＋１とし、ＶｎｅｗＬ＋１を、式（３）により算出することも好ましい。
【数３】
（式（３）中、Ｖｎ１Ｌ及びＶｎ２Ｌは、分割回数がＬ回である測地ドームの頂点のうち隣接する２つの頂点の画素値であり、Ｖｔ１Ｌ及びＶｔ２Ｌは、分割回数がＬ回である測地ドームの頂点のうち、隣接する２つの頂点のいずれにも隣接する２つの頂点の画素値である。）
【００２２】
更に、本発明に係る画像変換装置では、長方形画像に対応する測地ドームとしての球面画像から透視画像を生成する透視画像生成部を更に備え、透視画像生成部は、生成すべき透視画像の画素配列構造を生成し、画素配列構造内の画素ｐに対応する球面画像上の点をｍとし、点ｍの座標を（θ，φ）（θは、測地ドームの第１及び第２の極を結ぶ線をｚｓ軸とし、ｚｓ軸上の第１及び第２の極の間の中点を原点とし、ｚｓ軸に直交する２つの軸をｘｓ軸及びｙｓ軸として有するｘｓｙｓｚｓ座標系においてｚｓ軸に対する角度であり、φはｘｓ軸に対する角度である）とした場合に、画素ｐの画素値を、測地ドームにおいて、点ｍを囲む３つの頂点の画素値に基づいて算出することによって、透視画像を生成することが好適である。同様に、本発明に係る画像変換方法では、長方形画像に対応する測地ドームとしての球面画像から透視画像を生成する透視画像生成ステップを更に備え、透視画像生成ステップでは、生成すべき透視画像の画素配列構造を生成し、画素配列構造内の画素ｐに対応する球面画像上の点をｍとし、点ｍの座標を（θ，φ）（θは、測地ドームの第１及び第２の極を結ぶ線をｚｓ軸とし、ｚｓ軸上の第１及び第２の極の間の中点を原点とし、ｚｓ軸に直交する２つの軸をｘｓ軸及びｙｓ軸として有するｘｓｙｓｚｓ座標系においてｚｓ軸に対する角度であり、φはｘｓ軸に対する角度である）とした場合に、画素ｐの画素値を、測地ドームにおいて、点ｍを囲む３つの頂点の画素値に基づいて算出することによって、透視画像を生成することが好適である。
【００２３】
この場合、透視画像生成部（又は透視画像生成ステップ）は、点ｍの画素値をＶｍとし、長方形画像に対応する測地ドームにおいて点ｍを囲む３つの頂点の画素値をＶｔｋ（ｋは、１，２，３）としたとき、Ｖｍを式（４）に基づいて算出することができる。
【数４】
（式（４）中、係数ａ，ｂ，ｃは、θｋ及びφｋを３つの上記頂点の各々のｚｓ軸及びｘｓ軸に対する角度としたとき、３つの頂点に対する、
Ｖｔｋ＝ａθｋ＋ｂφｋ＋ｃ
で規定される実数である。）
【００２４】
また、本発明に係る画像変換装置では、長方形画像に対応する測地ドームとしての球面画像から透視画像を生成する透視画像生成部を更に備え、透視画像生成部は、生成すべき透視画像の画素配列を生成し、画素配列内の画素ｐに対応する球面画像上の点をｍとした場合に、画素ｐの画素値を、点ｍに最も近い、長方形画像に対応する測地ドームの頂点の画素値とすることによって、透視画像を生成することが好適である。同様に、本発明に係る画像変換方法では、長方形画像に対応する測地ドームとしての球面画像から透視画像を生成する透視画像生成ステップを更に備え、透視画像生成ステップでは、生成すべき透視画像の画素配列を生成し、画素配列内の画素ｐに対応する球面画像上の点をｍとした場合に、画素ｐの画素値を、点ｍに最も近い、長方形画像に対応する測地ドームの頂点の画素値とすることによって、透視画像を生成することもできる。
【発明の効果】
【００２５】
本発明によれば、球面画像をより保存しやすい画像に変換することができる。
【図面の簡単な説明】
【００２６】
【図１】本発明に係る撮像システムの一実施形態の構成を概略的に示す図面である。
【図２】図２（ａ）及び図２（ｂ）は、撮像装置で取得される一対の撮影画像のそれぞれの一例を示す図面である。
【図３】撮像画像と球面画像との対応関係を示す図面である。
【図４】離散球面を用いた球面画像の模式図である。
【図５】図５（ａ）〜図５（ｃ）は、０分割レベル〜２分割レベルの測地ドームを示す図面である。
【図６】長方形画像の模式図である。
【図７】図７（ａ）〜図７（ｃ）は、それぞれ図５（ａ）〜図５（ｃ）に示した測地ドームを展開した中間配列構造を示す図面である。
【図８】中間配列構造のグループ分けを示す図面である。
【図９】図９（ａ）〜図９（ｄ）は、中間配列構造から２次元配列構造を生成する工程を示す図面である。
【図１０】撮像システムの画像生成方法の一例のフローチャートである。
【図１１】長方形画像の一例を示す図面である。
【図１２】図１１に示した長方形画像を生成するための撮影画像を取得する撮影装置の一例を示す図面である。
【図１３】図１２に示した撮影装置で取得した撮像画像の一例である。
【図１４】本発明に係る画像生成システムの第２の実施形態の構成を概略的に示す図面である。
【図１５】球面画像と透視画像との対応関係を示す模式図である。
【図１６】図１５に示した投影点ｍを有する球面画像に対応する測地ドームの一例の模式図である。
【図１７】（ａ）は、拡大・縮小画像生成部において、縮小画像の第１の画素値割当方法を用いて図１１に示した長方形画像を縮小した画像を示す図面である。（ｂ）は、（ａ）に示した縮小画像としての長方形画像の球面画像の一例を示す図面である。
【図１８】（ａ）は、拡大・縮小画像生成部において、縮小画像の第２の画素値割当方法を用いて図１１に示した長方形画像を縮小した画像を示す図面である。（ｂ）は、（ａ）に示した縮小画像としての長方形画像の球面画像の一例を示す図面である。
【図１９】（ａ）〜（ｅ）は、拡大・縮小画像生成部において、第２の画素値割当方法を採用して画像を順次縮小した場合の画像を示す図面である。
【図２０】（ａ）は、拡大・縮小画像生成部において、新規生成画素の第１の画素値割当方法を用いて図１１に示した長方形画像を拡大した画像を示す図面である。（ｂ）は、（ａ）に示した拡大画像としての長方形画像の球面画像の一例を示す図面である。
【図２１】（ａ）は、拡大・縮小画像生成部において、新規生成画素の第２の画素値割当方法を用いて図１１に示した長方形画像を拡大した画像を示す図面である。（ｂ）は、（ａ）に示した拡大画像としての長方形画像の球面画像の一例を示す図面である。
【図２２】（ａ）は、画素値の割当て方法として透視画像用の第１の画素値割当て方法を採用した場合の透視画像を示す図面である。（ｂ）は、画素値の割当て方法として、透視画像用の第２の画素値割当て方法を採用した場合の透視画像を示す図である。
【図２３】従来の測地ドームの展開図の一例を示す図面である。
【発明を実施するための形態】
【００２７】
以下、図を参照して本発明の実施形態について説明する。以下の説明においては、同一の要素には同一の符号を用いることとし重複する説明は省略する。
【００２８】
図１は、本発明に係る画像変換装置の一実施形態を含む撮像システムの概略構成を示す図面である。撮像システム１０は、撮像装置（画像取得手段）２０と、画像変換装置３０とを備える。
【００２９】
撮像装置２０は、全天周の画像を取得するために、２つのカメラ２１，２１を備える。各カメラ２１，２１は、広角レンズである魚眼レンズを備えており、魚眼レンズ２１Ａによって結像された像を撮像素子２１Ｂによって検出する。魚眼レンズ２１Ａの画角の例は８５°であるが、１８０°以上であればよい。撮像素子２１Ｂの例はＣＣＤである。２つのカメラ２１，２１は、図１に模式的に示すように背面合わせで設けられている。これにより、２つのカメラ２１，２１は、実質的に同一の視点から互いに反対方向を撮影し、全天周における半球分の画像を取得する。
【００３０】
図１に示すように、撮像装置２０は、２つのカメラ２１，２１で取得された画像の画像データを画像変換装置３０に出力する。
【００３１】
図２（ａ）及び図２（ｂ）は、２つのカメラ２１，２１で撮影された撮影画像２２，２２の一例をそれぞれ示す図面である。各カメラ２１は魚眼レンズ２１Ａを利用しているため、図２に示すように、各撮影画像２２中の結像領域２２ａは円形となる。結像領域２２ａの周縁部は、各撮影画像２２でオーバーラップしたオーバーラップ領域２２ｂを有する。本実施形態では、円形の結像領域２２ａのうちオーバーラップ領域２２ｂを除いた領域を有効画像領域２２ｃと称する。
【００３２】
図１に戻って画像変換装置３０の構成を説明する。画像変換装置３０は、機能的な構成要素として、画像入力部３１と、球面画像生成部３２と、画像変換部３３と、画像出力部３４とを備える。図１では、画像変換装置３０の構成を機能ブロックとして示している。画像変換装置３０は、ハードウェアとして、演算処理を行うＣＰＵ及び所定のデータを記憶する記憶部等を備え、画像入力部３１、球面画像生成部３２、画像変換部３３及び画像出力部３４の各機能を実現する。画像変換装置３０の例は、コンピュータ装置である。
【００３３】
画像入力部３１は、カメラ２１で取得された撮影画像２２の画像データの入力をカメラ２１から受け付ける。画像入力部３１は、無線及び有線通信の少なくとも一方を介してデータを受け取ってもよいし、又は記録媒体（ＤＶＤやＳＤカード等）からデータを受け取ってもよい。
【００３４】
球面画像生成部３２は、画像入力部３１で受け付けられた撮影画像２２の画像データを、球面画像の球面画像データに変換する。球面画像は、一対の撮影画像２２を仮想単位球面Ｓ（図３参照）上に投影した画像である。一対の撮影画像２２，２２は、それぞれ全天周の半分の領域を撮影しているため、各撮影画像２２を用いることで、全天周を表示する球面画像を生成することができる。球面画像生成部３２は、各撮影画像２２による半球分の画像を、カメラ２１，２１の相対位置及びオーバーラップ領域２２ｂを利用して合成して一つの球面画像を生成する。
【００３５】
図３は、撮影画像２２と球面画像との対応関係を説明する図面である。図３では、単位球面Ｓの半球分を示している。カメラ２１が有する魚眼レンズ２１Ａの光軸をＺ軸とし、魚眼レンズ２１Ａの主点Ｏを通りＺ軸に直交する平面をＸＹ平面とする。Ｚ軸上において、主点Ｏから魚眼レンズ２１Ａの焦点距離ｆだけ離れた点ｃは、Ｚ軸と直交する撮影画像２２の中心点に対応する。この中心点ｃを通り、Ｚ軸と直交する平面をｘｙ平面とする。撮影画像２２は、魚眼レンズ２１Ａにより、実空間の点Ｐをｘｙ平面に射影してできる画像である。
【００３６】
天頂角をθＡ、方位角をφＡとすると、実空間の点Ｐから投影される球面画像上の点ｐの位置座標は、撮影画像２２上の点ｐaの座標（ｘ，ｙ）を用いて式（５）のように表される。
【数５】
上記式（５）は、魚眼レンズ２１Ａの射影方式を等距離射影方式（すなわち、ｒ＝ｆθＡ）とした場合のものである。しかし、魚眼レンズ２１Ａの射影方式は他の射影方式、例えば、立体射影、等立体角射影及び正射影を採用してもよい。
【００３７】
上記球面画像の点ｐと、撮影画像２２の点ｐａとの対応関係から、撮影画像２２に基づいて球面画像を生成することができる。
【００３８】
撮影画像２２が投影される球面Ｓは、理論的には、図３に示すように連続的である。しかし、コンピュータ等でデータ処理する場合には、離散的表現を用いる。本実施形態では、球面の離散的表現の一つとして、図４に示すように正六角形状の画素（以下、正六角形画素）４２を用いたデータ構造を採用する。図４は球面画像の一例を示す模式図である。正六角形画素４２を利用して表した離散的な球面画像４０は、ＳＣＶＴ（Sperical Centroidal Voronoi Tessellation)画像として知られている（例えば、Q. Du,M.Bunzburger, and L. Ju, “Constrained centroidal Voronoi tessellations ongeneralsurface,” SIAM J. Sci. Comput., 24(5), 2003, pp1499-1506参照）。本実施形態において、球面画像４０は、離散的に表現した球面（以下、離散球面と称す）４１を用いたＳＣＶＴ画像に対応する。
【００３９】
正六角形画素４２を利用した離散球面４１は、理論的な連続した球面Ｓを、測地ドーム法によりＬ回（Ｌは０以上の整数）分割した測地ドーム５０の双対多面体である。本実施形態では、上述した球又は測地ドームにおける位置を説明する際に、緯度及び経度といった地球座標系を使用する。
【００４０】
図５（ａ）〜図５（ｃ）は、測地ドーム法における各分割レベルの測地ドーム５０を示す図面である。図５（ａ）〜図５（ｃ）では、球面４１を地球座標系で表現した場合の北極（第１の極）側から見た場合の図面である。図５（ａ）は、０回分割レベル（Ｌ＝０）の測地ドーム５０を示しており、正二十面体に対応する。図５（ｂ）は、１回分割レベル（Ｌ＝１）の測地ドーム５０を示している。図５（ｃ）は、２回分割レベル（Ｌ＝２）の場合を示している。図５（ａ）〜図５（ｃ）に示される中括弧内に示された各数字は、説明の便宜のため示した測地ドーム５０の頂点５１の頂点番号を示している。また、図５（ａ）〜図５（ｃ）では、各測地ドーム５０を分割レベルに応じて、測地ドーム５０Ｌとして示している。
【００４１】
測地ドーム５０の各頂点５１を一つの画素で表した場合、各頂点５１を表す画素と、離散球面４１の正六角形画素４２とは双対である。この場合、測地ドーム５０の中心に対する各頂点５１を表す画素の方向と、離散球面４１の中心から正六角形画素４２の中心への方向、すなわち、正六角形画素４２の主方向とは一致する。
【００４２】
測地ドーム５０を生成するための分割回数は、式（６）を満たすＬとして決定する。
【数６】
【００４３】
式（６）中、Ｎｇは、有効画像領域２２ｃの画素数である。有効画像領域２２ｃは、魚眼レンズ２１Ａの結像特性と、撮像素子２１Ｂの撮像面との関係に基づいて予め算出してメモリ等に入力しておけばよい。例えば、有効画像領域２２ｃの画素数が２５４，６２８（＝１２７，３１４×２）画素である場合、Ｌ＝８を採用することが好ましい。この場合、測地ドーム５０の頂点５１の数は、６５５，３６０個であり、正六角形画素４２の数も６５５，３６０個である。
【００４４】
正六角形画素４２と有効画像領域２２ｃの画素とが一対一に対応しない場合には、有効画像領域２２ｃの画素に対応しない正六角形画素４２には、正六角形画素４２と対応する有効画像領域２２ｃ内の画素を利用して補間した画素値を割り当てる。
【００４５】
画像変換部３３は、球面画像４０を長方形画像に変換する。図６〜図８を参照して、画像変換部３３で生成される長方形画像と、球面画像４０との対応関係を説明する。
【００４６】
図６は、画像変換部３３で生成される長方形画像６０を示す図面である。図６は、Ｌ＝２の場合の測地ドーム５０に基づいた長方形画像６０に対応し、長方形画像６０における各四角形画素６１内の数字は、図５（ｃ）の各頂点５１の頂点番号である。
【００４７】
Ｌ回分割レベルの測地ドーム５０に基づいた長方形画像６０は、ｎｒ（＝２Ｌ＋１）×ｎｃ（＝５・２Ｌ）で配列された四角形画素６１を、図６に示すように、球面画像４０と双対な測地ドーム５０の各頂点５１を対応させ、対応する各頂点５１の画素値を割り当てたものである。
【００４８】
画像変換部３３は、球面画像４０を長方形画像６０に変換するために、中間配列構造生成部３３Ａと、２次元配列構造生成部３３Ｂと、画素値割当て部３３Ｃとを含む。
【００４９】
中間配列構造生成部３３Ａは、測地ドーム５０を２次元に展開した中間配列構造７０を生成する。図７（ａ）〜図７（ｃ）は、図５（ａ）〜図５（ｃ）に示した各測地ドーム５０に対応する中間配列構造７０をそれぞれ示す図面である。図７（ａ）〜図７（ｃ）では、Ｌ回分割レベルの測地ドーム５０に対応する中間配列構造７０を中間配列構造７０Ｌとして示している。
【００５０】
図７（ａ）〜図７（ｃ）に示すように、中間配列構造７０は、測地ドーム５０のある経線を基準線として展開したものである。すなわち、中間配列構造７０は、基準線上の各頂点５１がｉ方向（第１の方向）に配置され、基準線上の各頂点５１を基点として、各基点と同じ緯度上の複数の頂点５１が、ｉ方向に直交するｊ方向（第２の方向）に配置され構造を有する。図７（ａ）〜図７（ｃ）において、各頂点５１は四角形状のセル（以下、頂点セルと称す）７１として示しており、各頂点セル７１内の数字は、対応する各頂点５１の頂点番号である。以下では、中間配列構造７０の各頂点セル７１（又は頂点５１）の位置を（ｉ，ｊ）で表す。
【００５１】
Ｌ回分割時の測地ドーム５０に対応する中間配列構造７０は、（３・２Ｌ＋１）個の行を含む。第ｉ行目の頂点セル７１の数をＮｉ個とすると、Ｎｉは次式のように表される。
【数７】
ただし、ＲＬ＝３・２Ｌである。
【００５２】
中間配列構造７０は、測地ドーム５０を展開したものであるから、Ｌ回分割レベルの測地ドーム５０に基づく中間配列構造７０内の頂点セル７１ｎ（ｎは、頂点セル７１に対応する頂点番号）の位置（ｉ，ｊ）は、Ｋ（ただし、Ｋ＜Ｌ）回分割レベルの測地ドーム５０に基づく中間配列構造７０内の頂点セル７１ｎの位置（ｉＫ，ｊＫ）を用いて次のように表される。
ｉ＝２（Ｌ−Ｋ）ｉＫ，ｊ＝２（Ｌ−Ｋ）ｊＫ
【００５３】
中間配列構造７０において、測地ドーム５０の北極点及び南極（第２の極）点に対応する頂点セル７１以外の領域は、図８に例示すように、３つのグループＧＡ，ＧＢ，ＧＣに分けることができる。図８は、複数の頂点セル７１のグループ分けの一例として図７（ｃ）の中間配列構造７０を用いた場合を示している。グループＧＡは、０＜ｉ≦２Ｌの領域であり、グループＧＢは、２Ｌ＜ｉ≦２Ｌ＋１の領域であり、グループＧＣは、２Ｌ＋１＜ｉ≦ＲＬの領域である。
【００５４】
測地ドーム５０の各頂点５１に隣接する頂点５１の中間配列構造７０中の位置について、
（ａ）０分割レベルで現れる各頂点５１を基準の頂点５１Ｂとした場合、
（ｂ）グループＧＡに属する各頂点５１を基準の頂点５１Ｂとした場合、
（ｃ）グループＧＣに属する各頂点５１を基準の頂点５１Ｂとした場合、
（ｄ）グループＧＢに属する各頂点５１を基準の頂点５１Ｂとした場合について、
基準とする各頂点５１Ｂに隣接する頂点５１の位置を説明する。
【００５５】
以下の説明において、演算子「％」は「剰余」の計算を意味する。また、「Ｊｕ」及び「Ｊｄ」は次の関係を満たす。
Ｊｕ＝Ｎｉ＋１／５＊｛ｊ／（Ｎｉ／５）｝＋ｊ％（Ｎｉ／５）
Ｊｄ＝Ｎｉ−１／５＊｛ｊ／（Ｎｉ／５）｝＋ｊ％（Ｎｉ／５）
【００５６】
（ａ）の場合について説明する。
測地ドーム５０の北極点に対しては、基準となる頂点５１Ｂ（北極点）に隣接する頂点５１に対応する頂点セル７１の位置は次の５つである。
【００５７】
（１，０）、（１，１）、（１，２）、（１，３）、（１，４）
【００５８】
測地ドーム５０の南極点に対しては、基準となる頂点５１Ｂ（南極点）に隣接する頂点５１に対応する頂点セル７１の位置は次の５つである。
（ＲＬ−１，０）、（ＲＬ―１，１）、（ＲＬ―１，２）、
（ＲＬ−１，３）、（ＲＬ―１，４）
【００５９】
０分割レベルの北極点及び南極点以外の各頂点５１に対しては、基準となる頂点５１Ｂの頂点セル７１の位置がｉ＝２Ｌ且つｊ％２Ｌ＝０を満たす場合、頂点５１Ｂに隣接する頂点５１の頂点セル７１の位置は、次の５つの位置である。
（ｉ―１，Ｎｉ―１／５＊（ｊ／（Ｎｉ／５））、（ｉ，（ｊ−１＋Ｎｉ）％Ｎｉ）、
（ｉ，ｊ＋１）、（ｉ＋１，（ｊ−１＋Ｎｉ＋１）％Ｎｉ＋１）、（ｉ＋１，ｊ）
【００６０】
また、基準となる頂点５１Ｂの頂点セル７１の位置がｉ＝２Ｌ＋１且つｊ％２Ｌ＝０を満たす場合には、頂点５１Ｂに隣接する頂点５１の頂点セル７１の位置は、次の５つの位置である。
（ｉ―１，ｊ）、（ｉ−１，ｊ＋１）、（ｉ，（ｊ−１＋Ｎｉ）％Ｎｉ）、
（ｉ，ｊ＋１）、（ｉ＋１，Ｎｉ＋１／５＊（ｊ／（Ｎｉ／５）））
【００６１】
（ｂ）の場合について説明する。
０分割レベルの測地ドーム５０に属する一つの頂点５１と北極点とをつなぐ測地線上の頂点５１に対しては、基準となる頂点５１Ｂの頂点セル７１の位置がｊ％（Ｎｉ／５）＝０を満たす場合には、頂点５１Ｂに隣接する頂点５１の頂点セル７１の位置は、次の６つである。
（ｉ−１，Ｊｕ）、（ｉ，（ｊ−１＋Ｎｉ）％Ｎｉ）、
（ｉ，ｊ＋１）、（ｉ＋１，（Ｊｄ−１＋Ｎｉ＋１）％Ｎｉ＋１）、
（ｉ＋１，Ｊｄ）、（ｉ＋１，Ｊｄ＋１）
【００６２】
頂点５１Ｂの頂点セル７１の位置がｉ＝２Ｌで且つｊ％２Ｌが０でない場合には、頂点５１Ｂに隣接する頂点５１の位置は、次の６つである。
（ｉ−１，Ｊｕ）、（ｉ−１，（Ｊｕ−１＋Ｎｉ−１）％Ｎｉ−１）、
（ｉ，（ｊ−１＋Ｎｉ）％Ｎｉ）、（ｉ，（ｊ＋１）％Ｎｉ）、
（ｉ＋１，ｊ）、（ｉ＋１，（ｊ−１＋Ｎｉ＋１）％Ｎｉ＋１）
【００６３】
グループＧＡに属しており上述した条件を満たす頂点５１以外の頂点５１に対しては、基準となる各頂点５１Ｂに隣接する頂点５１の頂点セル７１の位置は、次の６つである。
（ｉ−１，Ｊｕ）、（ｉ−１，（Ｊｕ−１＋Ｎｉ−１）％Ｎｉ−１）、
（ｉ，（ｊ−１＋Ｎｉ）％Ｎｉ）、（ｉ，（ｊ＋１）％Ｎｉ）、
（ｉ＋１，Ｊｄ）、（ｉ＋１，（Ｊｄ＋１）％Ｎｉ＋１）
【００６４】
（ｃ）の場合について説明する。
０分割レベルの測地ドーム５０に属する一つの頂点５１と南極点とをつなぐ測地線上の頂点５１に対しては、基準となる頂点５１Ｂの頂点セル７１の位置がｊ％（Ｎｉ／５）＝０を満たす場合、頂点５１Ｂに隣接する頂点５１の頂点セル７１の位置は、次の６つである。
（ｉ−１，（Ｊｕ−１＋Ｎｉ−１）％Ｎｉ−１）、（ｉ−１，Ｊｕ）、
（ｉ−１，Ｊｕ＋１）、（ｉ，（ｊ−１＋Ｎｉ）％Ｎｉ）、
（ｉ，ｊ＋１）、（ｉ＋１，Ｊｄ）
【００６５】
グループＧＣに属しており上記条件を満たす頂点５１以外の頂点５１に対して、基準となる各頂点５１Ｂに隣接する頂点５１の頂点セル７１の位置は、次の６つである。
（ｉ−１，（Ｊｕ＋１）％Ｎｉ−１）、（ｉ−１，Ｊｕ）、
（ｉ，（ｊ−１＋Ｎｉ）％Ｎｉ）、（ｉ，ｊ＋１）、
（ｉ＋１，Ｊｄ）、（ｉ＋１，（Ｊｄ−１＋Ｎｉ＋１）％Ｎｉ＋１）、
【００６６】
（ｄ）の場合について説明する。
グループＧＢに属する各頂点５１を基準の頂点５１Ｂとした場合、基準となる各頂点５１Ｂに隣接する頂点５１の頂点セル７１の位置は次の通りである。
（ｉ−１，（ｊ＋１）％Ｎｉ−１）、（ｉ−１，ｊ）、
（ｉ，（ｊ−１＋Ｎｉ）％Ｎｉ）、（ｉ，（ｊ＋１）％Ｎｉ）、
（ｉ＋１，ｊ）、（ｉ＋１，（ｊ−１＋Ｎｉ＋１）％Ｎｉ＋１）
【００６７】
図９は、２次配列構造の生成工程を示す図面である。２次元配列構造生成部３３Ｂは、中間配列構造７０の頂点セル７１を行シフト及び列シフトさせて長方形状の２次元配列構造７２に変換する。
【００６８】
図９（ａ）に示すように、中間配列構造７０における第ＲＬ行目の頂点セル７１を第０行目の頂点セル７１の隣にシフトさせると共に、グループＧＣの各行の頂点セル７１を、第（５・２Ｌ）列側に列シフトさせる。続いて、図９（ｂ）に示すように、グループＧｃの各頂点セル７１を、グループＧＡ側に行シフトさせて、図９（ｃ）に示す配列構造を得る。そして、図９（ｄ）に示すように、北極点及び南極点に対応する頂点セル７１を消去して２Ｌ＋１行（５・２Ｌ）列の矩形状の２次元配列構造７２を生成する。
【００６９】
画素値割当て部３３Ｃは、２次元配列構造７２の各頂点セル７１を一つの四角形画素６１とし、各四角形画素６１に、対応する頂点５１の画素値を割り当てることで、図４に示した長方形画像６０を生成する。ここで、頂点５１の画素値とは、測地ドーム５０の各頂点５１に対応する球面画像４０の画素の画素値である。
【００７０】
上述したように、長方形画像６０のデータ構造となる２次元配列構造７２は、中間配列構造７０の所定の頂点セル７１、すなわち、２Ｌ＋１＋１≦ｉ≦ＲＬ−１（シフト領域）を満たす各行の頂点セル７１が行シフト及び列シフトされたものである。従って、長方形画像６０が有する各四角形画素６１の位置を、図９（ｄ）又は図４に示したように、ｉｃ軸及びｊｃ軸をとり、（ｉｃ，ｊｃ）で表すと、（ｉｃ，ｊｃ）と（ｉ，ｊ）との対応関係は次の通りである。
ｉｃ＜２Ｌ−１且つｊｃ＞５ｉｃである場合、
ｉ＝ｉｃ＋２Ｌ＋１、ｊ＝ｊｃ＋１
その他の場合、
ｉ＝ｉｃ＋１、ｊ＝ｊｃ−５ｉｃ
【００７１】
画素値割当て部３３Ｃは、（ｉｃ，ｊｃ）と（ｉ，ｊ）との上記対応関係及び頂点セル７１と頂点５１との対応関係に基づいて、各四角形画素６１に対応する頂点５１の画素値を割り当てる。
【００７２】
画像出力部３４は、画像変換部３３で生成された長方形画像６０又は球面画像生成部３２で生成された球面画像４０を表示装置、ネットワーク又は外部記憶媒体等に出力する。
【００７３】
図１０を参照して、画像生成システム１０及び画像変換装置３０の動作について説明する。
【００７４】
撮像装置２０の各カメラ２１，２１で撮影を行い、一対の撮影画像２２を取得する（撮影画像取得ステップＳ１０）。これにより、全天周の画像を取得する。
【００７５】
画像入力部３１が、カメラ２１，２１で撮影された一対の撮影画像２２，２２の画像データを受け付ける（画像入力ステップＳ１１）と、球面画像生成部３２が、入力された画像データを球面画像４０の画像データに変換して、球面画像４０を生成する（球面画像生成ステップＳ１２）。球面画像４０を表す離散球面４１の正六角形画素４２の数は、式（６）に基づいて予め設定しておいてもよいし、球面画像４０を生成する際に、球面画像生成部３２が式（６）に基づいて算出してもよい。
【００７６】
次に、画像変換部３３が、球面画像４０を長方形画像６０に変換する（画像変換ステップＳ１３）。具体的には、中間配列構造生成部３３Ａが、球面画像４０を表すための球面４１に双対な測地ドーム５０に基づいて中間配列構造７０を生成する（中間配列構造生成ステップＳ１３Ａ）。次に、２次元配列構造生成部３３Ｂが、中間配列構造７０を２次元配列構造７２に変換する（２次元配列構造生成ステップＳ１３Ｂ）。続いて、画素値割当て部３３Ｃが、２次元配列構造７２を構成する頂点セル７１に、対応する頂点５１の画素値を割り当てて、長方形画像６０を生成する（画素値割当てステップＳ１３Ｃ）。
【００７７】
そして、画像出力部３４が、長方形画像６０を表示装置又はネットワークなどに出力する（画像出力ステップＳ１４）。
【００７８】
画像変換装置３０が有する画像入力部３１、球面画像生成部３２、画像変換部３３及び画像出力部３４の各機能は、コンピュータが画像変換プログラムを実行することによって実現することができる。画像変換プログラムは、画像変換装置３０の記憶部に予め記憶されていてもよいし、コンピュータ読み取り可能記録媒体に記録されていてもよい。画像変換プログラムは、処理を総括するメインモジュールと、コンピュータに、上記の画像入力ステップＳ１１と、球面画像生成ステップＳ１２と、画像変換ステップＳ１３と、画像出力ステップＳ１４とを実行させるためのモジュールを備えるものとすることができる。
【００７９】
図１１は、実際の撮影画像に基づいた四角形画像の一例を示す図面である。図１２は、図１１に示した長方形画像６０の元になる撮影画像２２，２２を取得する撮像装置２０を示す図面である。図１３は、図１２に示した撮像装置２０で撮影した一対の撮影画像２２，２２を示す図面である。図１２に示した撮像装置２０は、２つのカメラ２１，２１を互いに背中合わせで配置したものである。カメラ２１，２１は、魚眼レンズ２１Ａを搭載したオリンパス株式会社製CAMEDIA（登録商標）C-900 ZOOMである。一対の撮影画像２２，２２の総画素数は、４，９１５，２００画素であり、有効画像領域２２ｃの総画素数は、約１，７７５，４３７画素である。よって、長方形画像６０の画素数は、式（６）より、９分割レベルの測地ドーム５０の頂点５１の数に対応し、２，６２１，４４０画素である。
【００８０】
図１１に示すように長方形画像６０のみを表示した場合には、撮影画像２２，２２又は球面画像４０を想起することは困難である。しかしながら、中間配列構造７０と、長方形画像６０を構成する２次元配列構造７２との対応関係及び中間配列構造７０における隣接する頂点５１の位置関係等を用いることにより、球面画像４０を復元することが可能である。
【００８１】
長方形画像６０の画素数は２，６２１，４４０画素といったように１００万画素程度あるため、上記長方形画像６０の生成方法で説明したように、北極点及び南極点に対応する２つの頂点セル４１の画素値を削除したとしても、表示画像の質は実質的に変わらない。また、長方形画像６０から球面画像４０を復元する場合には、北極点及び南極点の画素値を、その周囲の画素に割り当てられた画素値から補間するようにしてもよい。
【００８２】
次に、本実施形態で説明した画像変換装置及び撮像システム並びに画像変換方法及び撮像方法の作用効果について、一対の撮影画像２２，２２をそのまま保存する場合と比較して説明する。
【００８３】
２つのカメラ２１，２１は、全天周の半分をそれぞれ撮影しているため、各カメラ２１で取得された一対の撮影画像２２，２２は、ある視点を中心とした全天周画像を表す。ただし、各撮影画像２２は、図２に示したように、有効画像領域２２ｃ以外に、オーバーラップ領域２２ｂ及び余剰領域２２ｄを有するため、これらをデータ保存すると、有効画像領域２２ｃ以外の領域に対してもデータ領域を確保する必要がある。また、一対の撮影画像２２，２２をそのままデータ保存すると、例えば、これらを球面画像に変換するためには、カメラ２１で使用した魚眼レンズ２１Ａの焦点距離ｆ等といったカメラパラメータ等も一緒に保存する必要が生じてしまう。
【００８４】
これに対して、本実施形態では、有効画像領域２２ｃ内の画像をオーバーラップ領域２２ｂの画像を利用して、一対の撮影画像２２，２２を球面画像４０に変換している。よって、球面画像４０の画像データを利用すれば、各撮影画像２２において、有効画像領域２２ｃ以外の領域に対してデータ保存する必要がない。また、球面画像４０を一度生成することにより、カメラ２１で使用した魚眼レンズ２１Ａの焦点距離ｆ等といったカメラパラメータを保存する必要がない。このように、撮影画像２２，２２を球面画像４０に変換することで、データの保存を省略することができる。
【００８５】
更に、球面画像４０の球面画像データを、長方形画像６０の画像データに変換しているため、データ保存が容易である。また、球面画像４０の画像データを長方形画像６０の画像データに変換していることで、ＪＰＥＧなど、これまで２次元画像に対して適用可能は圧縮形式を好適に利用することができる。そして、この長方形画像６０は、球面画像４０を介して生成しているので、長方形画像６０を保存することで、前述したような撮影画像２２における実質的に必要でない領域のデータやカメラパラメータ等の保存する必要も省略できる。従って、一対の撮影画像２２，２２の場合より、全天周の画像をよりコンパクトに保存することが可能である。
【００８６】
以上、本発明の第１の実施形態を説明したが、本発明は上記実施形態に限定されない。例えば、２次元配列構造７２の生成において、グループＧＣに属しており、
２Ｌ＋１＋１≦ｉ≦ＲＬ−１
を満たす領域をシフト領域として、シフト領域内の各頂点セル７１を行シフト及び列シフトさせたが、グループＧＡ内に属しており、
１≦ｉ≦２Ｌ
を満たす領域を、シフト領域として実施形態の場合と同様にシフトさせて四角形状の２次元配列構造７２を生成してもよい。
【００８７】
また、撮影手段の一例として、一対のカメラ２１，２１を背中合わせで配置したものとした。しかし、例えば、一台のカメラ２１を回転させながら異なる方向を撮影するようにしてもよいし、２台以上のカメラ２１を用いて全天周の画像を取得してもよい。そして、カメラ２１は魚眼レンズ２１Ａを有するとしたが広角レンズであってもよい。更に、上述したように、一台のカメラ２１を回転させることで又は複数のカメラ２１で全天周の画像を取得する場合には、広角レンズよりも狭い画角を有するレンズでもよい。
【００８８】
画像変換装置３０の画像変換部３３は、中間配列構造生成部３３Ａ、２次元配列構造生成部３３Ｂ及び画素値割当て部３３Ｃを備えるとしたがこれに限定されない。離散球面４１に双対な測地ドーム５０の頂点５１と頂点セル７１との対応関係並びに頂点セル７１と四角形画素６１との対応関係を画像変換式又は例えばルックアップテーブルとして予めメモリ等に記憶しておくことで、画像変換部３３は、四角形画素６１の位置を指定することで四角形画素６１に画素値を割り当てることができる。
【００８９】
上述した画像変換式又はルックアップテーブルを用いた場合、画像変換部３３は次のようにして球面画像４０を長方形画像６０に変換することができる。すなわち、式（３）で決まる分割回数Ｌに基づいて、ｎｒ（＝２Ｌ＋１）行ｎｃ（＝５・２Ｌ）列の平面領域を長方形画像６０の画像領域として設定する。この画像領域が、図９（ｄ）に示した２次元配列構造７２に対応する。そして、画像変換部３３は、長方形画像６０の各四角形画素６１に対応する球面画像４０の画素位置を上述した画像変換式又はルックアップテーブルに基づいて算出して、四角形画素６１に所定の画素値を割り当てて長方形画像６０を生成する。
【００９０】
また、上記実施形態では、画像変換部３３は、２次元配列構造７２を生成して、各頂点に対応する四角形画素に画素値を割り当てるとしたが、中間配列構造７０の生成したときに、頂点セル７１に対応する画素値を割り当ててもよい。
【００９１】
（第２の実施形態）
次に、図１４は、本発明に係る画像生成システムの第２の実施形態の構成を概略的に示す図面である。画像生成システム８０は、撮像装置（画像取得手段）２０と、画像変換装置９０とを備えている。撮像装置２０は、第１の実施形態のものと同様であるため、説明を省略する。画像変換装置９０は、指示入力部９１と、指示判定部９２と、拡大・縮小画像生成部９３と、透視画像生成部９４とを更に備える点で、第１の実施形態の画像変換装置３０と相違する。この相違点を中心にして画像変換装置９０について説明する。
【００９２】
なお、本実施形態でも第１の実施形態の場合と同様に、分割レベルがＬ（すなわち、分割回数がＬ回）である測地ドーム５０を測地ドーム５０Ｌとも称し、対応する中間配列構造７０や長方形画像６０についても同様に分割レベルを付した表記方法を採用することもある。
【００９３】
指示入力部９１は、画像変換装置９０の操作者による各種指示の入力を受け付けるものである。指示入力部９１の例は、液晶表示パネルなどのタッチパネル形式のものからの指示を受け付けてもよいし、キーボードからの指示を受け付けてもよい。指示入力部９１が受け付ける指示の例は、例えば、画像の拡大又は縮小に関する指示や、透視画像の生成指示などである。
【００９４】
指示判定部９２は、指示入力部９１で入力された指示の内容を判定し、指示内容に対応した構成要素にその指示を入力する。例えば、指示判定部９２は、指示入力部９１で入力された指示が画像の拡大又は縮小に関する指示である場合、その旨を拡大・縮小画像生成部９３に入力する。また、指示判定部９２は、指示入力部９１で入力された指示が透視画像の生成に関する指示である場合、その旨を透視画像生成部９４に入力する。
【００９５】
拡大・縮小画像生成部９３は、中間配列構造生成部９３Ａと、２次元構造生成部９３Ｂと、画素値割当て部９３Ｃとを有する。
【００９６】
拡大・縮小画像生成部９３は、指示入力部９１で画像の縮小指示が入力された場合、中間配列構造生成部９３Ａと、２次元構造生成部９３Ｂと、画素値割当て部９３Ｃとにより、画像変換部３３で生成された長方形画像６０を縮小した縮小画像を生成する。この場合、拡大・縮小画像生成部９３は、縮小画像生成部として機能する。
【００９７】
また、拡大・縮小画像生成部９３は、指示入力部９１で画像の拡大指示が入力された場合、中間配列構造生成部９３Ａと、２次元構造生成部９３Ｂと、画素値割当て部９３Ｃとにより、画像変換部３３で生成された長方形画像６０を拡大した拡大画像を生成する。この場合、拡大・縮小画像生成部９３は、拡大画像生成部として機能する。
【００９８】
まず、拡大・縮小画像生成部９３が縮小画像生成部として機能する場合について、縮小画像の生成方法について説明する。
【００９９】
拡大・縮小画像生成部９３は、測地ドーム法において分割回数がＬ回である測地ドーム５０Ｌに対応する長方形画像６０を、分割回数が（Ｌ−１）回の場合の画素数に対応する長方形画像に変換することによって、縮小画像を生成する。縮小画像は、測地ドーム法における分割回数を１回分減らしているので、Ｌ回分割の場合の長方形画像６０Ｌより画素数が少ない。よって、縮小画像の生成は、長方形画像６０をダウンサンプリングしたものに対応する。
【０１００】
中間配列構造生成部９３Ａは、画像変換部３３の中間配列構造生成部３３Ａと同様にして、測地ドーム法における分割回数が（Ｌ−１）回の場合の中間配列構造７０Ｌ−１を生成する。そして、２次元構造生成部９３Ｂは、中間配列構造生成部９３Ａで生成された中間配列構造７０Ｌ−１から、画像変換部３３の２次元構造生成部３３Ｂと同様にして、縮小画像としての長方形画像６０Ｌ−１の画素配列構造を生成する。この画素配列構造は、縮小画像としての長方形画像６０Ｌ−１を構成する四角形画素６１の配列構造であり、第１の実施形態における二次元配列構造７２Ｌ−１に対応する。
【０１０１】
ここで、説明のために、測地ドーム法による分割回数がＬ回である場合の中間配列構造７０Ｌにおいて第ｉ行の第ｊ列（ｊは、０以上Ｎｉ以下の整数）にある頂点セル７１（又は対応する頂点）の位置を（ｉＬ，ｊＬ）と表す。また、分割回数がＬ回である場合の中間配列構造７０Ｌに対応する長方形画像６０Ｌにおいて、中間配列構造７０Ｌの（ｉＬ，ｊＬ）の位置の頂点セル７１に対応する四角形画素６１ＬをＳＬ（ｉＬ，ｊＬ）と表す。この場合、ｉＬ＝２ｉＬ−１，ｊＬ＝２Ｌ−１が成立する。
【０１０２】
画素値割当て部９３Ｃは、以下の２つの画素値割当方法の何れかにより縮小画像中の画素、換言すれば、縮小画像となるべき長方形画像６０Ｌ−１となる画素配列構造内の四角形画素６１Ｌ−１であるＳＬ−１（ｉＬ−１，ｊＬ−１）に画素値を割り当てる。
【０１０３】
（縮小画像生成における第１の画素割当方法）
この方法では、画素値割当て部９３Ｃは、ｉＬ＝２ｉＬ−１，ｊＬ＝２Ｌ−１の関係に基づいて、ＳＬ−１（ｉＬ−１，ｊＬ−１）に、分割回数がＬ回である長方形画像６０Ｌ中の画素であるＳＬ（２ｉＬ−１，２ｊＬ−１）の画素値を割り当てる。
【０１０４】
（縮小画像生成における第２の画素割当方法）
この方法では、画素値割当て部９３Ｃは、四角形画像６１Ｌ−１であるＳＬ−１（ｉＬ−１，ｊＬ−１）の画素値をＶＬ−１とし、分割回数がＬ回である長方形画像６０Ｌ中の四角形画素６１ＬであるＳＬ（２ｉＬ−１，２ｊＬ−１）の画素値をＶＬとしたとき、式（８）に基づいて、ＶＬ−１を算出する。
【数８】
式（８）中、Ｍは、Ｌ回分割に対応する測地ドーム５０Ｌにおいて、対応する中間配列構造７０Ｌの（２ｉＬ−１，２ｊＬ−１）の位置の頂点セル７１の対応頂点に隣接する隣接頂点の個数であり、ＶｍＬは、各隣接頂点の画素値である。よって、式（８）では、分割回数が（Ｌ−１）回である測地ドーム５０Ｌ−１内の各頂点番号に対応する画素の画素値を、分割回数がＬ回である測地ドーム５０Ｌにおける対応する頂点に隣接する頂点の画素値の影響を考慮して算出していることになる。
【０１０５】
なお、中間配列構造７０Ｌにおける位置（２ｉＬ−１，２ｊＬ−１）で指定される頂点セル７１の対応頂点に隣接する隣接頂点の画素値は、第１の実施形態において（ａ）〜（ｄ）に場合分けして説明した頂点５１Ｂに隣接する頂点５１の位置の算出方法に基づいて算出された頂点セル７１に対応する長方形画像６０Ｌの四角形画素６１の画素値とすればよい。
【０１０６】
Ｌ＝２の場合について具体的に説明する。ダウンサンプリング前の長方形画像６０２に対応する測地ドーム５０２及び中間配列構造７０２は、図５（ｃ）及び図７（ｃ）に示すものであり、測地ドーム法による（Ｌ−１）回分割に対応する測地ドーム５０１及び中間配列構造７０１は、図５（ｂ）及び図７（ｂ）に示すものである。図５（ｂ）に示す頂点５１１４に対応する画素値を算出する場合を例にして説明すると、画素値割当て部９３Ｃは、頂点５１１４に対応する画素値を図５（ｃ）における頂点５１４４，５１４９，５１５７，５１５６，５１５５，５１４８に対応する画素値の影響を考慮して算出する。
【０１０７】
なお、図５（ａ）〜図５（ｃ）から理解されるように、Ｌ＝０場合の１２個の頂点５１では、頂点５１の周囲の隣接頂点の個数は５個であり、Ｌ＝１以上の場合に新しく生成される頂点５１に対する隣接頂点の数は６個である。
【０１０８】
次に、拡大・縮小画像生成部９３が拡大画像生成部として機能する場合について、拡大画像の生成方法について説明する。
【０１０９】
拡大・縮小画像生成部９３は、測地ドーム法において分割回数がＬ回である測地ドームに対応する長方形画像６０Ｌを、分割回数が（Ｌ＋１）回の場合の画素数に対応する長方形画像に変換することによって、拡大画像を生成する。拡大画像は、測地ドーム法における分割回数を１回分増やしているので、Ｌ回分割の場合の長方形画像６０Ｌより画素数が多い。よって、拡大画像の生成は、長方形画像６０Ｌをアップサンプリングしたものに対応する。
【０１１０】
中間配列構造生成部９３Ａは、画像変換部３３の中間配列構造生成部３３Ａと同様にして、測地ドーム法における分割回数が（Ｌ＋１）回の場合の中間配列構造７０Ｌ＋１を生成する。そして、２次元構造生成部９３Ｂは、中間配列構造生成部９３Ａで生成された中間配列構造７０Ｌ＋１から、画像変換部３３の２次元構造生成部３３Ｂと同様にして、拡大画像としての長方形画像６０Ｌ＋１の四角形画素６１の画像配列構造を生成する。この画素配列構造は、縮小画像としての長方形画像６０Ｌを構成する四角形画素６１の配列構造であり、第１の実施形態における二次元配列構造７２Ｌに対応する。
【０１１１】
ここで、縮小画像の場合の説明と同様に、測地ドーム法による分割回数がＬ回である場合の中間配列構造７０Ｌにおいて第ｉ行の第ｊ列（ｊは、０以上Ｎｉ以下の整数）の位置を（ｉＬ，ｊＬ）と表す。また、分割回数がＬ回である場合の中間配列構造７０Ｌに対応する長方形画像６０Ｌにおいて、中間配列構造７０Ｌの（ｉＬ，ｊＬ）の位置の頂点セル７１に対応する四角形画素６１ＬをＳＬ（ｉＬ，ｊＬ）と表す。この場合、ｉＬ＋１＝２ｉＬ，ｊＬ＋１＝２Ｌが成立する。
【０１１２】
拡大画像における四角形画素６１が、Ｌ回分割の測地ドーム５０Ｌの頂点に一対一で対応する場合、拡大画像となるべきが画素配列構造の四角形画素６１であるＳＬ＋１（ｉＬ＋１，ｊＬ＋１）の画素値を、分割回数がＬ回である長方形画像６０ＬにおけるＳＬ（２ｉＬ，２ｊＬ）の画素値とする。
【０１１３】
また、拡大画像における四角形画素６１が、（Ｌ＋１）回分割の測地ドーム５０Ｌ＋１において、Ｌ回分割の測地ドーム５０Ｌの頂点５１のうち隣接する２つの頂点５１の間に生成された新たな頂点５１に対応する場合、新たな頂点５１に対応する四角形画素６１の画素値は、次の２つの画素値割当方法のいずれかの方法で割り当てることができる。
【０１１４】
（新規生成画素の第１の画素割当方法）
この方法では、新規生成された頂点５１に対応する四角形画素６１の画素値を、その頂点５１に隣接する２つの頂点５１，５１に対応する四角形画素６１の画素値の平均値として算出する。すなわち、新規生成画素である四角形画素６１の画素値をＶｎｅｗＬ＋１とし、隣接する２つの頂点５１，５１に対応する四角形画素６１の画素値を、Ｖｎ１Ｌ及びＶｎ２Ｌとすると、式（９）に基づいてＶｎｅｗＬ＋１を算出する。
【数９】
【０１１５】
Ｌ＝１の場合について具体的に説明する。アップサンプリング前の長方形画像６０１に対応する測地ドーム５０１及び中間配列構造７０１は、図５（ｂ）及び図７（ｂ）に示すものであり、測地ドーム法による（Ｌ＋１）回分割に対応する測地ドーム５０２及び中間配列構造７０２は、図５（ｃ）及び図７（ｃ）に示すものである。
【０１１６】
図５（ｃ）に示す測地ドーム５０２が有する頂点５１のうち、図５（ｂ）に示す測地ドーム５０１と同じの頂点番号を有する頂点５１１４に対応する画素配列構造の四角形画素６１には、頂点５１１４に画素値を割り当てる。一方、測地ドーム５０２において新たに生成された頂点５１５６に対応する四角形画素６１の画素値を算出する際、測地ドーム５０１の頂点５１１４，５１３に対応する画素値の平均値として算出する。ここでは、測地ドーム５０２の頂点５１１４及び頂点５１５６について説明したが、他の頂点５１に対しても同様である。
【０１１７】
なお、拡大画像を生成する場合においても、中間配列構造７０における位置（２ｉＬ，２ｊＬ）で指定される頂点セル７１の対応頂点に隣接する隣接頂点の画素値は、第１の実施形態において（ａ）〜（ｄ）に場合分けして説明した頂点５１Ｂに隣接する頂点５１の位置の算出方法に基づいて算出された頂点セル７１に対応する長方形画像６０Ｌの四角形画素６１の画素値とすればよい。これは、後述する第２の画素値割当て方法の場合も同様である。
【０１１８】
（新規生成画素の第２の画素値割当方法）
この方法では、新規生成された頂点５１に対応する四角形画素６１の画素値を、ＶｎｅｗＬ＋１とした場合、ＶｎｅｗＬ＋１を、式（１０）により算出する。
【数１０】
式（１０）中、Ｖｎ１Ｌ及びＶｎ２Ｌは、Ｌ回分割の測地ドーム５０Ｌの頂点５１のうち、新規生成頂点５１に隣接する２つの頂点５１，５１の画素値であり、Ｖｔ１Ｌ及びＶｔ２Ｌは、Ｌ回分割の測地ドーム５０Ｌの頂点５１のうち、新規生成頂点５１に隣接する２つの頂点５１，５１のいずれにも隣接する２つの頂点５１，５１の画素値である。
【０１１９】
Ｌ＝１の場合について具体的に説明する。前述したように、アップサンプリング前の長方形画像６０１に対応する測地ドーム５０１及び中間配列構造７０１は、図５（ｂ）及び図７（ｂ）に示すものであり、測地ドーム法による（Ｌ＋１）回分割に対応する測地ドーム５０２及び中間配列構造７０２は、図５（ｃ）及び図７（ｃ）に示すものである。
【０１２０】
図５（ｃ）に示す測地ドーム５０２が有する頂点５１において、図５（ｂ）に示す測地ドーム５０１と同じ頂点番号を有する頂点５１１４に対応する長方形画像６０２の四角形画素６１には、頂点５１１４の画素値を割り当てる。
【０１２１】
また、図５（ｂ）及び図５（ｃ）を比較すれば、例えば、頂点５１１４及び頂点５１３との間に頂点５１５６が生成されており、頂点５１５６は、Ｌ回分割時に現れている頂点５１である頂点５１１４及び頂点５１３との間に位置する。この場合、頂点５１５６に対して、頂点５１１４及び頂点５１３が上記隣接する２つの頂点５１，５１に対応する。そして、頂点５１１９及び頂点５１１８が、上記頂点５１１４及び頂点５１３のいずれにも隣接する頂点５１である。この場合、頂点５１５６は、Ｌ回分割時の測地ドーム５０１において頂点５１１４、頂点５１３、頂点５１１９及び頂点５１１８で形成される四角形内に位置している。式（１０）は、この４つ頂点５１１４，５１３，５１１９，５１１８の画素値を考慮して新規生成の頂点５１に対応する四角形画素６１の画素値を決定していることになる。
【０１２２】
具体的には、式（１０）において、Ｖｎ１Ｌ及びＶｎ２Ｌは、頂点５１１４及び頂点５１３の画素値であり、Ｖｔ１Ｌ及びＶｔ２Ｌは頂点５１１９及び頂点５１１８の画素値である。ここでは、頂点５１５６の画素値を算出する場合について説明したが、測地ドーム５０２において新たに生成される頂点５１については同様である。
【０１２３】
透視画像生成部９４は、長方形画像６０から透視画像を生成する。長方形画像６０は、測地ドーム５０の別表現でもあり、長方形画像６０の四角形画素６１と、測地ドーム５０における頂点５１の位置との対応関係をルックアップテーブルとして格納しておけば、長方形画像６０から容易に測地ドーム５０又はその測地ドーム５０と双対な球面画像４０を生成できる。よって、説明の都合上、球面画像４０から透視画像を生成する場合について説明する。
【０１２４】
透視画像生成部９４は、フレーム形成部９４Ａと、画素値割当部９４Ｂとを有する。図１５を利用して、透視画像生成部９４による透視画像の生成方法について説明する。図１５では、球面画像４０と透視画像との対応関係を示している。
【０１２５】
フレーム形成部９４Ａは、図１５に示すように、透視画像１１０となる複数の画素１０１が矩形状に配列されて構成される画像フレーム１００を形成する。
【０１２６】
画素値割当て部９４Ｂは、画像フレーム１００の各画素１０１を球面画像４０上に投影し、対応する投影点の画素値を画像フレーム１０１の画素に割り当てることで、透視画像１００を生成する。ここでは、画像フレーム１００の画素ｐの投影点を投影点ｍと称する。
【０１２７】
画素値割当部９４Ｂは、投影点ｍが測地ドーム５０の頂点５１に対応する場合には、その頂点５１の画素値を画素ｐに割り当てる。
【０１２８】
画素値割当部９４Ｂは、投影点ｍが測地ドーム５０の頂点４１に対応しない場合、例えば、図１６に示すように、投影点ｍが３つの頂点５１１４，５１１３，５１１８で形成される三角形内に位置する場合、次の何れかの方法により投影点ｍ、すなわち、画素ｐに画素値を割り当てる。図１６は、図１５に示した投影点ｍを有する球面画像４０に対応する測地ドーム５０の一例の模式図である。
【０１２９】
（透視画像用の第１の画素値割当方法）
画素値割当て部９４Ｂは、投影点ｍに最も近い頂点５１（以下、最近接頂点と称す）の画素値を画素ｐの画素値として割り当てる。最近接頂点５１は、例えば、球面画像４０を表示するための３次元座標系（図１５に示すｘｓｙｓｚｓ座標系）において投影点ｍの位置ベクトルと、各頂点５１の位置ベクトルの内積をとり、最も内積値の大きい頂点を最近接頂点とすることで探索できる。
【０１３０】
図１５に示すｘｓｙｓｚｓ座標系において、ｚｓ軸は、球面画像４０を地球とみなした場合、すなわち、地球座標系表現における北極点（第１の極）と南極点（第２の極）とを通る軸であり、ｚｓ軸上の北極点と南極点との中点を原点とした３次元座標系である。
【０１３１】
（透視画像用の第２の画素値割当方法）
画素値割当て部９４Ｂは、投影点ｍを囲む３つの頂点５１，５１，５１の画素値を用いて、投影点ｍの画素値を算出し、画素ｐに割り当てる。具体的に説明する。
【０１３２】
球面画像４０を表すためのｘｓｙｓｚｓ座標系おいて、球面画像４０に対応する測地ドーム５０上の任意の点ｋに対するｚｓ軸及びｘｓ軸からの偏角をそれぞれθｋ及びφｋとする。すなわち、測地ドーム５０上の点を球面座標で表す。この場合、投影点ｍの画素値Ｖｍを次式で表すとする。
【数１１】
式（１１）において、θｍ、φｍは投影点ｍに対する偏角θ、φであり、係数ａ，ｂ，ｃは、以下の３つの式に基づいて算出される値である。
【数１２】
式（１２ａ）、式（１２ｂ）及び式（１２ｃ）において、（θｔ１，φｔ１）、（θｔ２，φｔ２）及び（θｔ３，φｔ３）は、それぞれ投影点ｍを囲む３つの頂点５１，５１，５１の位置の偏角θ及び偏角φであり、それら３つの頂点５１，５１，５１の位置を示す球座標である。また、Ｖｔ１、Ｖｔ２及びＶｔ３は、（θｔ１，φｔ１）、（θｔ２，φｔ２）及び（θｔ３，φｔ３）の位置の頂点５１の画素値である。
【０１３３】
上記画像変換装置９０では、図１０に示した画像変換方法において、ステップＳ１３の後に、指示入力部９１から所定の指示を受け付けると、判定部９２が指示内容を判定して、指示内容に応じた処理を実行する。
【０１３４】
例えば、指示内容がステップＳ１３で生成した長方形画像６０から縮小画像を生成する場合には、拡大・縮小画像生成部９３が前述した方法により縮小画像を生成する。この際、拡大・縮小画像生成部９３は、予め設定されている縮小画像用の第１及び第２の画素値割当て方法に基づいて縮小画像を生成する。
【０１３５】
また、指示内容がステップＳ１３で生成した長方形画像６０から拡大画像を生成する場合には、拡大・縮小画像生成部９３が前述した方法により拡大画像を生成する。この際、拡大・縮小画像生成部９３は、予め設定されている新規生成画素の第１及び第２の画素値割当て方法に基づいて拡大画像を生成する。
【０１３６】
更に、長方形画像６０から透視画像１００を生成する旨である場合には、透視画像生成部９４が前述した方法により透視画像１００を生成する。この際、透視画像生成部９４は、予め設定されている透視画像１００用の第１及び第２の画素値割当て方法に基づいて透視画像１００を生成する。なお、透視画像生成部９４が透視画像１００を生成するための長方形画像６０は、拡大・縮小画像生成部９３で生成された縮小画像又は拡大画像としての長方形画像６０であってもよいし、画像変換部３３で生成され拡大又は縮小されていない長方形画像６０であってもよい。これらは、指示入力部９１で入力され判定部９２で判定された指示内容に基づいて実行することができる。
【０１３７】
そして、画像変換装置９０では、ステップ１３の後に、上述した一つ又は複数の処理を実行した後に、ステップ１４を実行し、画像を出力することができる。
【０１３８】
以上説明した画像変換装置９０は、拡大・縮小画像生成部９３を更に備えることで、画像変換部３３で生成せた長方形画像６０を拡大又は縮小し、新たな長方形画像６０とすることができる。長方形画像６０は、球面画像４０に対応するので、画像変換装置９０は、球面画像４０を拡大又は縮小することができることになる。この点について、実験例を参照して説明する。
【０１３９】
図１７（ａ）は、拡大・縮小画像生成部９３において、上記（縮小画像の第１の画素値割当方法）を用いて長方形画像６０を縮小した画像である。図１７（ｂ）は、図１７（ａ）に示した縮小画像としての長方形画像６０の球面画像の一例である。また、図１８（ａ）は、拡大・縮小画像生成部９３において、上記（縮小画像第２の画素値割当方法）を用いて長方形画像６０を縮小した画像である。図１８（ｂ）は、図１８（ａ）に示した縮小画像としての長方形画像６０の球面画像の一例である。縮小前の長方形画像６０は、測地ドーム法での分割回数Ｌを７回とした点以外は、図１１に示した長方形画像６０を形成する場合と同様にして形成した。縮小前の長方形画像６０の画素数は、６４０×２５６＝１６３，８４０画素である。
【０１４０】
拡大・縮小画像生成部９３を利用することで、図１７（ａ），（ｂ）及び図１８（ａ）,（ｂ）に示す縮小した長方形画像６０を得ることができる。なお、図１７（ａ）及び図１８（ａ）に示す長方形画像６０の画素数は、３２０×１２８画素である。
【０１４１】
図１７（ａ）と図１８（ａ）及び図１７（ａ）と図１８（ｂ）とをそれぞれ対比すると、第２の画素値割当方法を採用した方が、より画素値の変化が画像を得られることがわかる。
【０１４２】
また、拡大・縮小画像生成部９３による縮小画像の生成を反復することで、図１９（ａ）〜図１９（ｅ）に示すように階層的に画像の大きさの異なる複数の長方形画像６０を生成することも可能である。図１９（ａ）〜図１９（ｅ）は、拡大・縮小画像生成部９３において、第２の画素値割当方法を採用して画像を順次縮小した場合の図である。
【０１４３】
図２０（ａ）は、拡大・縮小画像生成部９３において、上記（新規生成画素の第１の画素値割当方法）を用いて長方形画像６０を拡大した画像である。図２０（ｂ）は、図２０（ａ）に示した拡大画像としての長方形画像６０の球面画像の一例である。また、図２１（ａ）は、拡大・縮小画像生成部９３において、上記（新規生成画素の第２の画素値割当方法）を用いて長方形画像６０を拡大した画像である。図２１（ｂ）は、図２１（ａ）に示した拡大画像としての長方形画像６０の球面画像の一例である。拡大前の長方形画像６０は、測地ドーム法での分割回数Ｌを７回とした点以外は、図１１に示した長方形画像６０を形成する場合と同様にして形成した。拡大前の長方形画像６０の画素数は、６４０×２５６＝１６３，８４０画素である。
【０１４４】
拡大・縮小画像生成部９３を利用することで、図２０（ａ），（ｂ）及び図２１（ａ）,（ｂ）に示すように、長方形画像６０を拡大した長方形画像６０を得ることができる。なお、図２０（ａ）及び図２１（ａ）に示す長方形画像６０の画素数は、１２８０×５１２画素である。
【０１４５】
図２０（ａ）と図２１（ａ）及び図２０（ｂ）と図２１（ｂ）とをそれぞれ対比すると、第２の画素割当方法を採用した方が、より画素値の変化がなめらかな画像を得られることがわかる。
【０１４６】
更に、画像変換装置９０は、透視画像生成部９４を備えているので、生成した長方形画像６０を透視画像として画像出力部３４に出力することができる。その結果、画像変換装置９０の操作者は、透視画像を表示装置などでみることが可能である。これは、拡大・縮小画像生成部９３によって、拡大・縮小された長方形画像６０に対しても同様である。この点について、実験例を参照して説明する。図２２（ａ）及び図２２（ｂ）は、透視画像生成部９４により生成した図１１に示した長方形画像６０の一部の透視画像である。図２２（ａ）は、画素値の割当て方法を透視画像用の第１の画素値割当て方法を採用した場合の図であり、図２２（ｂ）は、画素値の割当て方法として、透視画像用の第２の画素値割当て方法を採用した場合の図である。図２２（ａ）及び図２２（ｂ）に示すように、透視画像生成部９４により、透視画像１００を生成できることがわかる。そして、図２２（ａ）と図２２（ｂ）を対比すると、第２の画素割当方法を採用した方が、より画素値の変化がなめらかな画像を得られることがわかる。
【０１４７】
次に、コンピュータグラフィックス分野における環境マップとの関係に基づいて、画像変換装置９０及び画像変換方法の作用効果について説明する。
【０１４８】
バーチャルリアリティ環境の構築においては、いわゆる環境マップが広く使用されている。このような環境マップは、３次元環境でのある位置（点）から周囲を観測した全天周画像に対応する。そして、周囲の環境が球面に投影された球面画像は環境マップに対応する。画像変換装置９０では、球面画像を長方形画像６０に変換しており、この際、第１の実施形態で説明したように、ＳＣＶＴ（Sperical Centroidal Voronoi Tessellation)画像である環境マップとしての離散的な球面画像４０を元に長方形画像６０を生成している。よって、長方形画像６０は全天周画像としての環境マップである。また、長方形画像６０はＳＣＶＴ画像と対応しているので、以下では、環境マップである長方形画像６０をＳＣＶＴマップとも称す。
【０１４９】
コンピュータグラフィックス分野では、従来、球状環境マップやキュービック環境マップが知られている。球状環境マップは、周囲を２次元画像に写し込んだものであり、例えば、ミラーボールをある所定の方向から正投影のカメラで写した場合の画像に対応する。また、キュービック環境マップは、ある点をその中心とする立方体を想定し、中心点から立方体の各面への投影画像を各面にマッピングしたものである。
【０１５０】
ここで、このような環境マップにおいて、視点から任意の方向をみた場合における画素の最大立体角と最小立体角の比をサンプリングレートとする。
【０１５１】
球状環境マップ及びキュービック環境マップでは、３次元環境を２次元に移し込んでいるため、画素も一様にはなりにくい。一方、長方形画像６０に対応するＳＣＶＴ画像では球面画像を離散化して表しているので画素の大きさがほぼ一様でサンプリングレートがより小さくなる。また、球面環境マップでは、特異点を含むことが知られている。一方、ＳＣＶＴマップでは、このような特異点は存在しない。
【０１５２】
更に、画像変換装置９０及びそれを利用した画像変換方法では、長方形画像６０（ＳＣＶＴ画像）を拡大・縮小画像変換部９３を用いて、拡大・縮小することができるので、バーチャルリアリティ環境において、環境として表示される画像の拡大・縮小に対応することができる。
【０１５３】
また、画像変換装置９０及びそれを利用した画像変換方法では、ＳＣＶＴ画像を長方形画像６０として表しているので、第１の実施形態で説明したように、データ保存が容易である。また、ＪＰＥＧなど、これまで２次元画像に対して適用可能は圧縮形式を好適に利用することができる。そして、長方形画像６０は、ＳＣＶＴ画像としての球面画像４０を介して生成しているので、長方形画像６０を保存することで、撮影画像２２における実質的に必要でない領域のデータやカメラパラメータ等の保存する必要も省略できる。従って、一対の撮影画像２２，２２の場合より、全天周の画像をよりコンパクトに保存することが可能である。
【０１５４】
以上、第２の実施形態について説明したが、本発明は、上記実施形態にも限定されず、第１の実施形態で例示したような変形も、本実施形形態において可能である。更に、図１４に示した実施形態では、画像変換装置９０は、拡大・縮小画像生成部９３を有するとして、拡大画像及び縮小画像の両方を形成可能としている。しかしながら、上述した拡大画像のみを生成する機能を有する拡大画像生成部のみを備えていてもよいし、上述した縮小画像のみを生成する機能を有する縮小画像生成部のみを備えていてもよい。更に、拡大・縮小画像生成部９３の代わりに、拡大画像生成部及び縮小画像生成部を有する構成とすることもできる。また、拡大又は縮小画像を有さずに、透視画像を生成する透視画像生成部のみ、第１の実施形態の構成に対して更に備える構成とすることもできる。
【０１５５】
また、図１４に示した実施形態では、指示入力部及び判定部は、拡大・縮小画像生成部や透視画像生成部といった構成要素に対する指示の入力及び指示の判定をする機能を有するものとして説明した。しかしながら、指示入力部は、例えば、球面画像生成部、画像変換部及び出力部に対する操作者の入力を受け付け、判定部は、指示入力部で入力された指示を判定し、指示内容に応じた構成要素に指示を入力するようにしてもよい。この点は、第１の実施形態においても同様である。
【産業上の利用可能性】
【０１５６】
本発明は、全天周画像が必要とされる移動ロボット、監視カメラ、レスキュー道具等に適用可能である。また、本発明は、コンピュータグラフィックスにおける環境マップなどに適用可能である。
【符号の説明】
【０１５７】
１０…画像生成システム、２０…撮像装置（画像取得手段）、２２…撮影画像、３０…画像変換装置、３２…球面画像生成部、３３…画像変換部、４０…球面画像、４１…離散球面、４２…正六角形画素（測地ドームの頂点に対応する画素）、５０…測地ドーム、５１…測地ドームの頂点、６０…長方形画像、６１…四角形画素、７０…中間配列構造、７２…２次元配列構造、８０…画像生成システム、９０…画像変換装置、９３…拡大・縮小画像生成部（縮小画像生成部、拡大画像生成部）、９４…透視画像生成部。
【技術分野】
【０００１】
本発明は、画像変換装置、画像生成システム、画像変換方法及び画像生成方法に関するものである。
【背景技術】
【０００２】
ある視点を中心として周囲の画像を取得することで、全天周の画像を得ることができる。この場合、複数の画像で全天周が分割されて取得されているが、これらを一つの画像として表示するものとして、球面画像が知られている（特許文献１参照）。球面画像は、球面上に画像が投影されたものである。コンピュータなどによって球面画像を表す場合には、連続した球面を測地ドーム分割法で分割して構成される測地ドームを用いて球面画像を離散化して表す（非特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−５６２９５号公報
【非特許文献】
【０００４】
【非特許文献１】諸岡健一、外２名、「３次元物体自動モデリングのための視点空間表現と視点計画計算法」、電気情報通信学会論文誌 Ｄ−ＩＩ、２００１年１月、Ｖｏｌ．Ｊ８４−Ｄ−ＩＩ Ｎｏ．１ ｐｐ．６４−７４
【発明の概要】
【発明が解決しようとする課題】
【０００５】
離散化された球面に対応する測地ドーム１２０のデータ構造の表現方法としては、図２３に示すように、測地ドーム１２０を平面展開したものが知られている。図２３は、従来の測地ドームの展開図の一例を示す図面である。
【０００６】
しかしながら、このようなデータ構造を使用した場合には、例えば、図２３の破線で囲んだ領域Ａに示す平行四辺形を指定する指標ｕと、平行四辺形内の各画素を２次元的に指定する２つの指標ｖ，ｗを要し、３次元的な表現方法を採用することになる。そのため、データ保存等が煩雑になる場合があった。
【０００７】
本発明は、上記の問題点を解決するためになされたものであり、球面画像をより保存しやすい画像に変換可能な画像変換装置、画像生成システム、画像変換方法及び画像生成方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するため、本発明に係る画像変換装置は、複数の画素で離散的に表された離散球面に、複数の撮影画像が投影された球面画像を生成する球面画像生成部と、球面画像を長方形画像に変換する画像変換部と、を備え、離散球面を表す複数の画素は、球面を測地ドーム法で分割した測地ドームの各頂点に対応し、長方形画像は、複数の四角形画素を有し、各四角形画素の画素値は、測地ドームの一経線上の複数の頂点をそれぞれ基点として、複数の基点が第１の方向に並べられ各基点と同一緯度の頂点が各基点に対して第１の方向に直交する第２の方向に並べられた中間配列構造から、測地ドームの第１及び第２の極に対応する頂点を削除すると共に中間配列構造の所定の頂点を第１及び第２の方向に移動させることによって中間配列構造が有する複数の頂点が四角形状に並べられた２次元配列構造において、各四角形画素の位置の頂点に対応する球面画像の画素の画素値である、ことを特徴とする。
【０００９】
本発明に係る画像変換方法は、複数の撮影画像を、球面を測地ドーム法で分割して形成される測地ドームの各頂点に対応する画素で表した離散球面に投影することによって球面画像を生成するステップと、測地ドームの一経線上の複数の頂点をそれぞれ基点として、複数の基点が第１の方向に並べられ各基点と同一緯度の頂点が各基点に対して第１の方向に直交する第２の方向に並べられてなる中間配列構造を生成するステップと、中間配列構造に含まれる測地ドームの第１及び第２の極に対応する頂点以外の頂点のうち所定の頂点を第１及び第２の方向に移動させることによって、測地ドームの第１及び第２の極に対応する頂点以外の頂点が四角形状に並べられた２次元配列構造を生成するステップと、２次元配列構造を構成する各頂点を四角形画素として、各四角形画素の位置の頂点に対応する球面画像の画素の画素値を割り当てて長方形画像を生成するステップと、を備えることを特徴とする。
【００１０】
このような画像変換装置及び画像変換方法では、複数の撮影画像を一つの画像とした球面画像を長方形画像に変換している。この場合、長方形画像を保存すればよいので、画像データの保存が容易である。また、長方形画像として保存することにより、ＪＰＥＧ等の圧縮方法を容易に適用することができる。
【００１１】
上記画像変換装置においては、中間配列構造は、第１及び第２の方向をそれぞれ行方向及び列方向としたとき、第ｉ行（ｉは、０以上３・２Ｌ以下の整数）の列数Ｎｉが、式（１）で表される配列構造を有しており、２次元配列構造は、中間配列構造の第（２Ｌ+１＋１）行から第（ＲＬ−１）行までの領域をシフト領域として、シフト領域内の各頂点を第（５×２Ｌ）列側に向けて列シフトさせた後、シフト領域を、第（２Ｌ+１＋１）行が第０行に一致するように行シフトさせると共に、中間配列構造における第０行及び第ＲＬ行に対応する頂点を削除して構成されている、ことが好適である。或いは、本発明に係る画像変換方法においては、中間配列構造は、第１及び第２の方向をそれぞれ行方向及び列方向としたとき、第ｉ行（ｉは、０以上３・２Ｌ以下の整数）の列数Ｎｉが、式（１）で表される構造を有しており、２次元配列構造を生成するステップでは、中間配列構造の第（２Ｌ+１＋１）行から第（ＲＬ−１）行までの領域をシフト領域として、シフト領域内の各頂点を第（５×２Ｌ）列側に向けて列シフトさせた後、シフト領域を第（２Ｌ+１＋１）行が第０行に一致するように行シフトさせると共に、中間配列構造における第０行及び第ＲＬ行に対応する頂点を削除して２次元配列構造を生成する、ことが好適である。
【数１】
【００１２】
このように、中間配列構造が有する頂点を移動させることによって、長方形画像を容易に作成することができる。
【００１３】
また、本発明に係る画像生成システムは、複数の撮影画像を取得する画像取得手段と、画像取得手段によって取得された複数の撮影画像が、複数の画素で離散的に表された離散球面に投影された球面画像を生成する球面画像生成部と、球面画像を長方形画像に変換する画像変換部と、を備え、離散球面を表す複数の画素は、球面を測地ドーム法で分割した測地ドームの各頂点に対応し、長方形画像は、複数の四角形画素を有し、各四角形画素の画素値は、測地ドームの一経線上の複数の頂点をそれぞれ基点として、複数の基点が第１の方向に並べられ各基点と同一緯度の頂点が各基点に対して第１の方向に直交する第２の方向に並べられた中間配列構造から、測地ドームの第１及び第２の極に対応する頂点を削除すると共に中間配列構造の所定の頂点を第１及び第２の方向に移動させることによって中間配列構造が有する複数の頂点が四角形状に並べられた２次元配列構造において、各四角形画素の位置の頂点に対応する球面画像の画素の画素値である、ことを特徴とする。
【００１４】
また、本発明に係る撮像方法は、複数の撮影画像を取得するステップと、取得された複数の撮影画像を、球面を測地ドーム法で分割した測地ドームの各頂点に対応する画素とした離散球面に投影することによって球面画像を生成するステップと、測地ドームの一経線上の複数の頂点をそれぞれ基点として、複数の基点が第１の方向に並べられ各基点と同一緯度の頂点が各基点に対して第１の方向に直交する第２の方向に並べられてなる中間配列構造を生成するステップと、中間配列構造に含まれる測地ドームの第１及び第２の極に対応する頂点以外の頂点のうち所定の頂点を第１及び第２の方向に移動させることによって、測地ドームの第１及び第２の極に対応する頂点以外の頂点が四角形状に並べられた２次元配列構造を生成するステップと、２次元配列構造を構成する各頂点を四角形画素として、各四角形画素の位置の頂点に対応する球面画像の画素の画素値を割り当てて長方形画像を生成するステップと、を備えることを特徴とする。
【００１５】
このような撮像システム及び撮像方法によれば、複数の撮影画像を一つの画像とした球面画像を長方形画像に変換している。この場合、長方形画像を保存すればよいので、画像データの保存が容易である。また、長方形画像として保存することにより、ＪＰＥＧ等の圧縮方法を容易に適用することができる。
【００１６】
また、本発明に係る画像変換装置では、測地ドーム法による分割回数がＬ回の長方形画像を分割回数が（Ｌ−１）回の長方形画像に変換して縮小画像を生成する縮小画像生成部を更に備えることが好適である。同様に、本発明に係る画像変換方法では、測地ドーム法による分割回数がＬ回の長方形画像を分割回数が（Ｌ−１）回の長方形画像に変換して縮小画像を生成する縮小画像生成ステップを更に備えることが好適である。これにより、生成した長方形画像を縮小した縮小画像を生成することができる。
【００１７】
この場合、測地ドーム法による分割回数がＬ回の中間配列構造において第ｉ行の第ｊ列（ｊは、０以上Ｎｉ以下の整数）の位置を（ｉＬ，ｊＬ）と表し、分割回数がＬ回の中間配列構造に対応する長方形画像において、中間配列構造の（ｉＬ，ｊＬ）に対応する四角形画素をＳＬ（ｉＬ，ｊＬ）と表したとき、上記縮小画像生成部は（又は上記縮小画像生成ステップでは）、縮小画像としての長方形画像における四角形画素であるＳＬ−１（ｉＬ−１，ｊＬ−１）の画素値を、分割回数がＬ回である長方形画像における四角形画素であるＳＬ（２ｉＬ−１，２ｊＬ−１）の画素値に対応させることによって、縮小画像を生成することができる。
【００１８】
或いは、測地ドーム法による分割回数がＬ回の中間配列構造において第ｉ行の第ｊ列（ｊは、０以上Ｎｉ以下の整数）の位置を（ｉＬ，ｊＬ）と表し、分割回数がＬ回の中間配列構造に対応する長方形画像において、中間配列構造の（ｉＬ，ｊＬ）に対応する四角形画素をＳＬ（ｉＬ，ｊＬ）と表したとき、上記縮小画像生成部は（又は上記縮小画像生成ステップでは）、縮小画像中の四角形画素であるＳＬ−１（ｉＬ−１，ｊＬ−１）の画素値をＶＬ−１とし、分割回数がＬ回である長方形画像中の四角形画素であるＳＬ（２ｉＬ−１，２ｊＬ−１）の画素値をＶＬとしたとき、式（２）に基づいて、ＶＬ−１を算出してもよい。
【数２】
（式（２）中、Ｍは、分割回数がＬ回である測地ドームにおいて、対応する中間配列構造の（２ｉＬ−１，２ｊＬ−１）の位置に対応する頂点に隣接する隣接頂点の個数であり、ＶｍＬは、各前記隣接頂点の画素値である。）
【００１９】
また、本発明に係る画像変換装置は、測地ドーム法による分割回数がＬ回の長方形画像を分割回数が（Ｌ＋１）回の長方形画像に変換して拡大画像を生成する拡大画像生成部を更に備えることが好ましい。同様に、本発明に係る画像変換方法は、測地ドーム法による分割回数がＬ回の長方形画像を分割回数が（Ｌ＋１）回の長方形画像に変換して拡大画像を生成する拡大画像生成ステップを更に備えることが好ましい。これにより、生成した長方形画像を拡大した拡大画像を生成することができる。
【００２０】
この場合、測地ドーム法による分割回数がＬ回の中間配列構造において第ｉ行の第ｊ列（ｊは、０以上Ｎｉ以下の整数）の位置を（ｉＬ，ｊＬ）と表し、分割回数がＬ回の中間配列構造に対応する長方形画像において、中間配列構造の（ｉＬ，ｊＬ）に対応する画素をＳＬ（ｉＬ，ｊＬ）と表したとき、上記拡大画像生成部は（又は拡大画像生成ステップでは）、拡大画像としての長方形画像における四角形画素が、分割回数がＬ回である測地ドームの頂点に対応する場合、拡大画像としての長方形画像における四角形画素であるＳＬ＋１（ｉＬ＋１，ｊＬ＋１）の画素値を、分割回数がＬ回である長方形画像におけるＳＬ（２ｉＬ，２ｊＬ）の画素値とし、拡大画像としての長方形画像における四角形画素が、分割回数がＬ回である測地ドームの頂点のうち隣接する２つの頂点の間に生成された新たな頂点に対応する場合、拡大画像としての長方形画像における四角形画素であるＳＬ＋１（ｉＬ＋１，ｊＬ＋１）の画素値をＶｎｅｗＬ＋１とし、ＶｎｅｗＬ＋１を、分割回数がＬ回である測地ドームの頂点のうち隣接する２つの頂点に対応する画素値の平均値とする、ことが好適である。
【００２１】
或いは、測地ドーム法による分割回数がＬ回の中間配列構造において第ｉ行の第ｊ列（ｊは、０以上Ｎｉ以下の整数）の位置を（ｉＬ，ｊＬ）と表し、分割回数がＬ回の中間配列構造に対応する長方形画像において、中間配列構造の（ｉＬ，ｊＬ）に対応する四角形画素をＳＬ（ｉＬ，ｊＬ）と表したとき、上記拡大画像生成部は（又は拡大画像生成ステップでは）、拡大画像としての長方形画像における四角形画素が、分割回数がＬ回である測地ドームの頂点に対応する場合、拡大画像としての長方形画像における四角形画素であるＳＬ＋１（ｉＬ＋１，ｊＬ＋１）の画素値を、分割回数がＬ回である長方形画像におけるＳＬ（２ｉＬ，２ｊＬ）の画素値とし、拡大画像としての長方形画像における四角形画素が、（Ｌ＋１）回分割の測地ドームにおいて、分割回数がＬ回である測地ドームの頂点のうち隣接する２つの頂点の間に生成された新たな頂点に対応する場合、拡大画像としての長方形画像における四角形画素であるＳＬ＋１（ｉＬ＋１，ｊＬ＋１）の画素値をＶｎｅｗＬ＋１とし、ＶｎｅｗＬ＋１を、式（３）により算出することも好ましい。
【数３】
（式（３）中、Ｖｎ１Ｌ及びＶｎ２Ｌは、分割回数がＬ回である測地ドームの頂点のうち隣接する２つの頂点の画素値であり、Ｖｔ１Ｌ及びＶｔ２Ｌは、分割回数がＬ回である測地ドームの頂点のうち、隣接する２つの頂点のいずれにも隣接する２つの頂点の画素値である。）
【００２２】
更に、本発明に係る画像変換装置では、長方形画像に対応する測地ドームとしての球面画像から透視画像を生成する透視画像生成部を更に備え、透視画像生成部は、生成すべき透視画像の画素配列構造を生成し、画素配列構造内の画素ｐに対応する球面画像上の点をｍとし、点ｍの座標を（θ，φ）（θは、測地ドームの第１及び第２の極を結ぶ線をｚｓ軸とし、ｚｓ軸上の第１及び第２の極の間の中点を原点とし、ｚｓ軸に直交する２つの軸をｘｓ軸及びｙｓ軸として有するｘｓｙｓｚｓ座標系においてｚｓ軸に対する角度であり、φはｘｓ軸に対する角度である）とした場合に、画素ｐの画素値を、測地ドームにおいて、点ｍを囲む３つの頂点の画素値に基づいて算出することによって、透視画像を生成することが好適である。同様に、本発明に係る画像変換方法では、長方形画像に対応する測地ドームとしての球面画像から透視画像を生成する透視画像生成ステップを更に備え、透視画像生成ステップでは、生成すべき透視画像の画素配列構造を生成し、画素配列構造内の画素ｐに対応する球面画像上の点をｍとし、点ｍの座標を（θ，φ）（θは、測地ドームの第１及び第２の極を結ぶ線をｚｓ軸とし、ｚｓ軸上の第１及び第２の極の間の中点を原点とし、ｚｓ軸に直交する２つの軸をｘｓ軸及びｙｓ軸として有するｘｓｙｓｚｓ座標系においてｚｓ軸に対する角度であり、φはｘｓ軸に対する角度である）とした場合に、画素ｐの画素値を、測地ドームにおいて、点ｍを囲む３つの頂点の画素値に基づいて算出することによって、透視画像を生成することが好適である。
【００２３】
この場合、透視画像生成部（又は透視画像生成ステップ）は、点ｍの画素値をＶｍとし、長方形画像に対応する測地ドームにおいて点ｍを囲む３つの頂点の画素値をＶｔｋ（ｋは、１，２，３）としたとき、Ｖｍを式（４）に基づいて算出することができる。
【数４】
（式（４）中、係数ａ，ｂ，ｃは、θｋ及びφｋを３つの上記頂点の各々のｚｓ軸及びｘｓ軸に対する角度としたとき、３つの頂点に対する、
Ｖｔｋ＝ａθｋ＋ｂφｋ＋ｃ
で規定される実数である。）
【００２４】
また、本発明に係る画像変換装置では、長方形画像に対応する測地ドームとしての球面画像から透視画像を生成する透視画像生成部を更に備え、透視画像生成部は、生成すべき透視画像の画素配列を生成し、画素配列内の画素ｐに対応する球面画像上の点をｍとした場合に、画素ｐの画素値を、点ｍに最も近い、長方形画像に対応する測地ドームの頂点の画素値とすることによって、透視画像を生成することが好適である。同様に、本発明に係る画像変換方法では、長方形画像に対応する測地ドームとしての球面画像から透視画像を生成する透視画像生成ステップを更に備え、透視画像生成ステップでは、生成すべき透視画像の画素配列を生成し、画素配列内の画素ｐに対応する球面画像上の点をｍとした場合に、画素ｐの画素値を、点ｍに最も近い、長方形画像に対応する測地ドームの頂点の画素値とすることによって、透視画像を生成することもできる。
【発明の効果】
【００２５】
本発明によれば、球面画像をより保存しやすい画像に変換することができる。
【図面の簡単な説明】
【００２６】
【図１】本発明に係る撮像システムの一実施形態の構成を概略的に示す図面である。
【図２】図２（ａ）及び図２（ｂ）は、撮像装置で取得される一対の撮影画像のそれぞれの一例を示す図面である。
【図３】撮像画像と球面画像との対応関係を示す図面である。
【図４】離散球面を用いた球面画像の模式図である。
【図５】図５（ａ）〜図５（ｃ）は、０分割レベル〜２分割レベルの測地ドームを示す図面である。
【図６】長方形画像の模式図である。
【図７】図７（ａ）〜図７（ｃ）は、それぞれ図５（ａ）〜図５（ｃ）に示した測地ドームを展開した中間配列構造を示す図面である。
【図８】中間配列構造のグループ分けを示す図面である。
【図９】図９（ａ）〜図９（ｄ）は、中間配列構造から２次元配列構造を生成する工程を示す図面である。
【図１０】撮像システムの画像生成方法の一例のフローチャートである。
【図１１】長方形画像の一例を示す図面である。
【図１２】図１１に示した長方形画像を生成するための撮影画像を取得する撮影装置の一例を示す図面である。
【図１３】図１２に示した撮影装置で取得した撮像画像の一例である。
【図１４】本発明に係る画像生成システムの第２の実施形態の構成を概略的に示す図面である。
【図１５】球面画像と透視画像との対応関係を示す模式図である。
【図１６】図１５に示した投影点ｍを有する球面画像に対応する測地ドームの一例の模式図である。
【図１７】（ａ）は、拡大・縮小画像生成部において、縮小画像の第１の画素値割当方法を用いて図１１に示した長方形画像を縮小した画像を示す図面である。（ｂ）は、（ａ）に示した縮小画像としての長方形画像の球面画像の一例を示す図面である。
【図１８】（ａ）は、拡大・縮小画像生成部において、縮小画像の第２の画素値割当方法を用いて図１１に示した長方形画像を縮小した画像を示す図面である。（ｂ）は、（ａ）に示した縮小画像としての長方形画像の球面画像の一例を示す図面である。
【図１９】（ａ）〜（ｅ）は、拡大・縮小画像生成部において、第２の画素値割当方法を採用して画像を順次縮小した場合の画像を示す図面である。
【図２０】（ａ）は、拡大・縮小画像生成部において、新規生成画素の第１の画素値割当方法を用いて図１１に示した長方形画像を拡大した画像を示す図面である。（ｂ）は、（ａ）に示した拡大画像としての長方形画像の球面画像の一例を示す図面である。
【図２１】（ａ）は、拡大・縮小画像生成部において、新規生成画素の第２の画素値割当方法を用いて図１１に示した長方形画像を拡大した画像を示す図面である。（ｂ）は、（ａ）に示した拡大画像としての長方形画像の球面画像の一例を示す図面である。
【図２２】（ａ）は、画素値の割当て方法として透視画像用の第１の画素値割当て方法を採用した場合の透視画像を示す図面である。（ｂ）は、画素値の割当て方法として、透視画像用の第２の画素値割当て方法を採用した場合の透視画像を示す図である。
【図２３】従来の測地ドームの展開図の一例を示す図面である。
【発明を実施するための形態】
【００２７】
以下、図を参照して本発明の実施形態について説明する。以下の説明においては、同一の要素には同一の符号を用いることとし重複する説明は省略する。
【００２８】
図１は、本発明に係る画像変換装置の一実施形態を含む撮像システムの概略構成を示す図面である。撮像システム１０は、撮像装置（画像取得手段）２０と、画像変換装置３０とを備える。
【００２９】
撮像装置２０は、全天周の画像を取得するために、２つのカメラ２１，２１を備える。各カメラ２１，２１は、広角レンズである魚眼レンズを備えており、魚眼レンズ２１Ａによって結像された像を撮像素子２１Ｂによって検出する。魚眼レンズ２１Ａの画角の例は８５°であるが、１８０°以上であればよい。撮像素子２１Ｂの例はＣＣＤである。２つのカメラ２１，２１は、図１に模式的に示すように背面合わせで設けられている。これにより、２つのカメラ２１，２１は、実質的に同一の視点から互いに反対方向を撮影し、全天周における半球分の画像を取得する。
【００３０】
図１に示すように、撮像装置２０は、２つのカメラ２１，２１で取得された画像の画像データを画像変換装置３０に出力する。
【００３１】
図２（ａ）及び図２（ｂ）は、２つのカメラ２１，２１で撮影された撮影画像２２，２２の一例をそれぞれ示す図面である。各カメラ２１は魚眼レンズ２１Ａを利用しているため、図２に示すように、各撮影画像２２中の結像領域２２ａは円形となる。結像領域２２ａの周縁部は、各撮影画像２２でオーバーラップしたオーバーラップ領域２２ｂを有する。本実施形態では、円形の結像領域２２ａのうちオーバーラップ領域２２ｂを除いた領域を有効画像領域２２ｃと称する。
【００３２】
図１に戻って画像変換装置３０の構成を説明する。画像変換装置３０は、機能的な構成要素として、画像入力部３１と、球面画像生成部３２と、画像変換部３３と、画像出力部３４とを備える。図１では、画像変換装置３０の構成を機能ブロックとして示している。画像変換装置３０は、ハードウェアとして、演算処理を行うＣＰＵ及び所定のデータを記憶する記憶部等を備え、画像入力部３１、球面画像生成部３２、画像変換部３３及び画像出力部３４の各機能を実現する。画像変換装置３０の例は、コンピュータ装置である。
【００３３】
画像入力部３１は、カメラ２１で取得された撮影画像２２の画像データの入力をカメラ２１から受け付ける。画像入力部３１は、無線及び有線通信の少なくとも一方を介してデータを受け取ってもよいし、又は記録媒体（ＤＶＤやＳＤカード等）からデータを受け取ってもよい。
【００３４】
球面画像生成部３２は、画像入力部３１で受け付けられた撮影画像２２の画像データを、球面画像の球面画像データに変換する。球面画像は、一対の撮影画像２２を仮想単位球面Ｓ（図３参照）上に投影した画像である。一対の撮影画像２２，２２は、それぞれ全天周の半分の領域を撮影しているため、各撮影画像２２を用いることで、全天周を表示する球面画像を生成することができる。球面画像生成部３２は、各撮影画像２２による半球分の画像を、カメラ２１，２１の相対位置及びオーバーラップ領域２２ｂを利用して合成して一つの球面画像を生成する。
【００３５】
図３は、撮影画像２２と球面画像との対応関係を説明する図面である。図３では、単位球面Ｓの半球分を示している。カメラ２１が有する魚眼レンズ２１Ａの光軸をＺ軸とし、魚眼レンズ２１Ａの主点Ｏを通りＺ軸に直交する平面をＸＹ平面とする。Ｚ軸上において、主点Ｏから魚眼レンズ２１Ａの焦点距離ｆだけ離れた点ｃは、Ｚ軸と直交する撮影画像２２の中心点に対応する。この中心点ｃを通り、Ｚ軸と直交する平面をｘｙ平面とする。撮影画像２２は、魚眼レンズ２１Ａにより、実空間の点Ｐをｘｙ平面に射影してできる画像である。
【００３６】
天頂角をθＡ、方位角をφＡとすると、実空間の点Ｐから投影される球面画像上の点ｐの位置座標は、撮影画像２２上の点ｐaの座標（ｘ，ｙ）を用いて式（５）のように表される。
【数５】
上記式（５）は、魚眼レンズ２１Ａの射影方式を等距離射影方式（すなわち、ｒ＝ｆθＡ）とした場合のものである。しかし、魚眼レンズ２１Ａの射影方式は他の射影方式、例えば、立体射影、等立体角射影及び正射影を採用してもよい。
【００３７】
上記球面画像の点ｐと、撮影画像２２の点ｐａとの対応関係から、撮影画像２２に基づいて球面画像を生成することができる。
【００３８】
撮影画像２２が投影される球面Ｓは、理論的には、図３に示すように連続的である。しかし、コンピュータ等でデータ処理する場合には、離散的表現を用いる。本実施形態では、球面の離散的表現の一つとして、図４に示すように正六角形状の画素（以下、正六角形画素）４２を用いたデータ構造を採用する。図４は球面画像の一例を示す模式図である。正六角形画素４２を利用して表した離散的な球面画像４０は、ＳＣＶＴ（Sperical Centroidal Voronoi Tessellation)画像として知られている（例えば、Q. Du,M.Bunzburger, and L. Ju, “Constrained centroidal Voronoi tessellations ongeneralsurface,” SIAM J. Sci. Comput., 24(5), 2003, pp1499-1506参照）。本実施形態において、球面画像４０は、離散的に表現した球面（以下、離散球面と称す）４１を用いたＳＣＶＴ画像に対応する。
【００３９】
正六角形画素４２を利用した離散球面４１は、理論的な連続した球面Ｓを、測地ドーム法によりＬ回（Ｌは０以上の整数）分割した測地ドーム５０の双対多面体である。本実施形態では、上述した球又は測地ドームにおける位置を説明する際に、緯度及び経度といった地球座標系を使用する。
【００４０】
図５（ａ）〜図５（ｃ）は、測地ドーム法における各分割レベルの測地ドーム５０を示す図面である。図５（ａ）〜図５（ｃ）では、球面４１を地球座標系で表現した場合の北極（第１の極）側から見た場合の図面である。図５（ａ）は、０回分割レベル（Ｌ＝０）の測地ドーム５０を示しており、正二十面体に対応する。図５（ｂ）は、１回分割レベル（Ｌ＝１）の測地ドーム５０を示している。図５（ｃ）は、２回分割レベル（Ｌ＝２）の場合を示している。図５（ａ）〜図５（ｃ）に示される中括弧内に示された各数字は、説明の便宜のため示した測地ドーム５０の頂点５１の頂点番号を示している。また、図５（ａ）〜図５（ｃ）では、各測地ドーム５０を分割レベルに応じて、測地ドーム５０Ｌとして示している。
【００４１】
測地ドーム５０の各頂点５１を一つの画素で表した場合、各頂点５１を表す画素と、離散球面４１の正六角形画素４２とは双対である。この場合、測地ドーム５０の中心に対する各頂点５１を表す画素の方向と、離散球面４１の中心から正六角形画素４２の中心への方向、すなわち、正六角形画素４２の主方向とは一致する。
【００４２】
測地ドーム５０を生成するための分割回数は、式（６）を満たすＬとして決定する。
【数６】
【００４３】
式（６）中、Ｎｇは、有効画像領域２２ｃの画素数である。有効画像領域２２ｃは、魚眼レンズ２１Ａの結像特性と、撮像素子２１Ｂの撮像面との関係に基づいて予め算出してメモリ等に入力しておけばよい。例えば、有効画像領域２２ｃの画素数が２５４，６２８（＝１２７，３１４×２）画素である場合、Ｌ＝８を採用することが好ましい。この場合、測地ドーム５０の頂点５１の数は、６５５，３６０個であり、正六角形画素４２の数も６５５，３６０個である。
【００４４】
正六角形画素４２と有効画像領域２２ｃの画素とが一対一に対応しない場合には、有効画像領域２２ｃの画素に対応しない正六角形画素４２には、正六角形画素４２と対応する有効画像領域２２ｃ内の画素を利用して補間した画素値を割り当てる。
【００４５】
画像変換部３３は、球面画像４０を長方形画像に変換する。図６〜図８を参照して、画像変換部３３で生成される長方形画像と、球面画像４０との対応関係を説明する。
【００４６】
図６は、画像変換部３３で生成される長方形画像６０を示す図面である。図６は、Ｌ＝２の場合の測地ドーム５０に基づいた長方形画像６０に対応し、長方形画像６０における各四角形画素６１内の数字は、図５（ｃ）の各頂点５１の頂点番号である。
【００４７】
Ｌ回分割レベルの測地ドーム５０に基づいた長方形画像６０は、ｎｒ（＝２Ｌ＋１）×ｎｃ（＝５・２Ｌ）で配列された四角形画素６１を、図６に示すように、球面画像４０と双対な測地ドーム５０の各頂点５１を対応させ、対応する各頂点５１の画素値を割り当てたものである。
【００４８】
画像変換部３３は、球面画像４０を長方形画像６０に変換するために、中間配列構造生成部３３Ａと、２次元配列構造生成部３３Ｂと、画素値割当て部３３Ｃとを含む。
【００４９】
中間配列構造生成部３３Ａは、測地ドーム５０を２次元に展開した中間配列構造７０を生成する。図７（ａ）〜図７（ｃ）は、図５（ａ）〜図５（ｃ）に示した各測地ドーム５０に対応する中間配列構造７０をそれぞれ示す図面である。図７（ａ）〜図７（ｃ）では、Ｌ回分割レベルの測地ドーム５０に対応する中間配列構造７０を中間配列構造７０Ｌとして示している。
【００５０】
図７（ａ）〜図７（ｃ）に示すように、中間配列構造７０は、測地ドーム５０のある経線を基準線として展開したものである。すなわち、中間配列構造７０は、基準線上の各頂点５１がｉ方向（第１の方向）に配置され、基準線上の各頂点５１を基点として、各基点と同じ緯度上の複数の頂点５１が、ｉ方向に直交するｊ方向（第２の方向）に配置され構造を有する。図７（ａ）〜図７（ｃ）において、各頂点５１は四角形状のセル（以下、頂点セルと称す）７１として示しており、各頂点セル７１内の数字は、対応する各頂点５１の頂点番号である。以下では、中間配列構造７０の各頂点セル７１（又は頂点５１）の位置を（ｉ，ｊ）で表す。
【００５１】
Ｌ回分割時の測地ドーム５０に対応する中間配列構造７０は、（３・２Ｌ＋１）個の行を含む。第ｉ行目の頂点セル７１の数をＮｉ個とすると、Ｎｉは次式のように表される。
【数７】
ただし、ＲＬ＝３・２Ｌである。
【００５２】
中間配列構造７０は、測地ドーム５０を展開したものであるから、Ｌ回分割レベルの測地ドーム５０に基づく中間配列構造７０内の頂点セル７１ｎ（ｎは、頂点セル７１に対応する頂点番号）の位置（ｉ，ｊ）は、Ｋ（ただし、Ｋ＜Ｌ）回分割レベルの測地ドーム５０に基づく中間配列構造７０内の頂点セル７１ｎの位置（ｉＫ，ｊＫ）を用いて次のように表される。
ｉ＝２（Ｌ−Ｋ）ｉＫ，ｊ＝２（Ｌ−Ｋ）ｊＫ
【００５３】
中間配列構造７０において、測地ドーム５０の北極点及び南極（第２の極）点に対応する頂点セル７１以外の領域は、図８に例示すように、３つのグループＧＡ，ＧＢ，ＧＣに分けることができる。図８は、複数の頂点セル７１のグループ分けの一例として図７（ｃ）の中間配列構造７０を用いた場合を示している。グループＧＡは、０＜ｉ≦２Ｌの領域であり、グループＧＢは、２Ｌ＜ｉ≦２Ｌ＋１の領域であり、グループＧＣは、２Ｌ＋１＜ｉ≦ＲＬの領域である。
【００５４】
測地ドーム５０の各頂点５１に隣接する頂点５１の中間配列構造７０中の位置について、
（ａ）０分割レベルで現れる各頂点５１を基準の頂点５１Ｂとした場合、
（ｂ）グループＧＡに属する各頂点５１を基準の頂点５１Ｂとした場合、
（ｃ）グループＧＣに属する各頂点５１を基準の頂点５１Ｂとした場合、
（ｄ）グループＧＢに属する各頂点５１を基準の頂点５１Ｂとした場合について、
基準とする各頂点５１Ｂに隣接する頂点５１の位置を説明する。
【００５５】
以下の説明において、演算子「％」は「剰余」の計算を意味する。また、「Ｊｕ」及び「Ｊｄ」は次の関係を満たす。
Ｊｕ＝Ｎｉ＋１／５＊｛ｊ／（Ｎｉ／５）｝＋ｊ％（Ｎｉ／５）
Ｊｄ＝Ｎｉ−１／５＊｛ｊ／（Ｎｉ／５）｝＋ｊ％（Ｎｉ／５）
【００５６】
（ａ）の場合について説明する。
測地ドーム５０の北極点に対しては、基準となる頂点５１Ｂ（北極点）に隣接する頂点５１に対応する頂点セル７１の位置は次の５つである。
【００５７】
（１，０）、（１，１）、（１，２）、（１，３）、（１，４）
【００５８】
測地ドーム５０の南極点に対しては、基準となる頂点５１Ｂ（南極点）に隣接する頂点５１に対応する頂点セル７１の位置は次の５つである。
（ＲＬ−１，０）、（ＲＬ―１，１）、（ＲＬ―１，２）、
（ＲＬ−１，３）、（ＲＬ―１，４）
【００５９】
０分割レベルの北極点及び南極点以外の各頂点５１に対しては、基準となる頂点５１Ｂの頂点セル７１の位置がｉ＝２Ｌ且つｊ％２Ｌ＝０を満たす場合、頂点５１Ｂに隣接する頂点５１の頂点セル７１の位置は、次の５つの位置である。
（ｉ―１，Ｎｉ―１／５＊（ｊ／（Ｎｉ／５））、（ｉ，（ｊ−１＋Ｎｉ）％Ｎｉ）、
（ｉ，ｊ＋１）、（ｉ＋１，（ｊ−１＋Ｎｉ＋１）％Ｎｉ＋１）、（ｉ＋１，ｊ）
【００６０】
また、基準となる頂点５１Ｂの頂点セル７１の位置がｉ＝２Ｌ＋１且つｊ％２Ｌ＝０を満たす場合には、頂点５１Ｂに隣接する頂点５１の頂点セル７１の位置は、次の５つの位置である。
（ｉ―１，ｊ）、（ｉ−１，ｊ＋１）、（ｉ，（ｊ−１＋Ｎｉ）％Ｎｉ）、
（ｉ，ｊ＋１）、（ｉ＋１，Ｎｉ＋１／５＊（ｊ／（Ｎｉ／５）））
【００６１】
（ｂ）の場合について説明する。
０分割レベルの測地ドーム５０に属する一つの頂点５１と北極点とをつなぐ測地線上の頂点５１に対しては、基準となる頂点５１Ｂの頂点セル７１の位置がｊ％（Ｎｉ／５）＝０を満たす場合には、頂点５１Ｂに隣接する頂点５１の頂点セル７１の位置は、次の６つである。
（ｉ−１，Ｊｕ）、（ｉ，（ｊ−１＋Ｎｉ）％Ｎｉ）、
（ｉ，ｊ＋１）、（ｉ＋１，（Ｊｄ−１＋Ｎｉ＋１）％Ｎｉ＋１）、
（ｉ＋１，Ｊｄ）、（ｉ＋１，Ｊｄ＋１）
【００６２】
頂点５１Ｂの頂点セル７１の位置がｉ＝２Ｌで且つｊ％２Ｌが０でない場合には、頂点５１Ｂに隣接する頂点５１の位置は、次の６つである。
（ｉ−１，Ｊｕ）、（ｉ−１，（Ｊｕ−１＋Ｎｉ−１）％Ｎｉ−１）、
（ｉ，（ｊ−１＋Ｎｉ）％Ｎｉ）、（ｉ，（ｊ＋１）％Ｎｉ）、
（ｉ＋１，ｊ）、（ｉ＋１，（ｊ−１＋Ｎｉ＋１）％Ｎｉ＋１）
【００６３】
グループＧＡに属しており上述した条件を満たす頂点５１以外の頂点５１に対しては、基準となる各頂点５１Ｂに隣接する頂点５１の頂点セル７１の位置は、次の６つである。
（ｉ−１，Ｊｕ）、（ｉ−１，（Ｊｕ−１＋Ｎｉ−１）％Ｎｉ−１）、
（ｉ，（ｊ−１＋Ｎｉ）％Ｎｉ）、（ｉ，（ｊ＋１）％Ｎｉ）、
（ｉ＋１，Ｊｄ）、（ｉ＋１，（Ｊｄ＋１）％Ｎｉ＋１）
【００６４】
（ｃ）の場合について説明する。
０分割レベルの測地ドーム５０に属する一つの頂点５１と南極点とをつなぐ測地線上の頂点５１に対しては、基準となる頂点５１Ｂの頂点セル７１の位置がｊ％（Ｎｉ／５）＝０を満たす場合、頂点５１Ｂに隣接する頂点５１の頂点セル７１の位置は、次の６つである。
（ｉ−１，（Ｊｕ−１＋Ｎｉ−１）％Ｎｉ−１）、（ｉ−１，Ｊｕ）、
（ｉ−１，Ｊｕ＋１）、（ｉ，（ｊ−１＋Ｎｉ）％Ｎｉ）、
（ｉ，ｊ＋１）、（ｉ＋１，Ｊｄ）
【００６５】
グループＧＣに属しており上記条件を満たす頂点５１以外の頂点５１に対して、基準となる各頂点５１Ｂに隣接する頂点５１の頂点セル７１の位置は、次の６つである。
（ｉ−１，（Ｊｕ＋１）％Ｎｉ−１）、（ｉ−１，Ｊｕ）、
（ｉ，（ｊ−１＋Ｎｉ）％Ｎｉ）、（ｉ，ｊ＋１）、
（ｉ＋１，Ｊｄ）、（ｉ＋１，（Ｊｄ−１＋Ｎｉ＋１）％Ｎｉ＋１）、
【００６６】
（ｄ）の場合について説明する。
グループＧＢに属する各頂点５１を基準の頂点５１Ｂとした場合、基準となる各頂点５１Ｂに隣接する頂点５１の頂点セル７１の位置は次の通りである。
（ｉ−１，（ｊ＋１）％Ｎｉ−１）、（ｉ−１，ｊ）、
（ｉ，（ｊ−１＋Ｎｉ）％Ｎｉ）、（ｉ，（ｊ＋１）％Ｎｉ）、
（ｉ＋１，ｊ）、（ｉ＋１，（ｊ−１＋Ｎｉ＋１）％Ｎｉ＋１）
【００６７】
図９は、２次配列構造の生成工程を示す図面である。２次元配列構造生成部３３Ｂは、中間配列構造７０の頂点セル７１を行シフト及び列シフトさせて長方形状の２次元配列構造７２に変換する。
【００６８】
図９（ａ）に示すように、中間配列構造７０における第ＲＬ行目の頂点セル７１を第０行目の頂点セル７１の隣にシフトさせると共に、グループＧＣの各行の頂点セル７１を、第（５・２Ｌ）列側に列シフトさせる。続いて、図９（ｂ）に示すように、グループＧｃの各頂点セル７１を、グループＧＡ側に行シフトさせて、図９（ｃ）に示す配列構造を得る。そして、図９（ｄ）に示すように、北極点及び南極点に対応する頂点セル７１を消去して２Ｌ＋１行（５・２Ｌ）列の矩形状の２次元配列構造７２を生成する。
【００６９】
画素値割当て部３３Ｃは、２次元配列構造７２の各頂点セル７１を一つの四角形画素６１とし、各四角形画素６１に、対応する頂点５１の画素値を割り当てることで、図４に示した長方形画像６０を生成する。ここで、頂点５１の画素値とは、測地ドーム５０の各頂点５１に対応する球面画像４０の画素の画素値である。
【００７０】
上述したように、長方形画像６０のデータ構造となる２次元配列構造７２は、中間配列構造７０の所定の頂点セル７１、すなわち、２Ｌ＋１＋１≦ｉ≦ＲＬ−１（シフト領域）を満たす各行の頂点セル７１が行シフト及び列シフトされたものである。従って、長方形画像６０が有する各四角形画素６１の位置を、図９（ｄ）又は図４に示したように、ｉｃ軸及びｊｃ軸をとり、（ｉｃ，ｊｃ）で表すと、（ｉｃ，ｊｃ）と（ｉ，ｊ）との対応関係は次の通りである。
ｉｃ＜２Ｌ−１且つｊｃ＞５ｉｃである場合、
ｉ＝ｉｃ＋２Ｌ＋１、ｊ＝ｊｃ＋１
その他の場合、
ｉ＝ｉｃ＋１、ｊ＝ｊｃ−５ｉｃ
【００７１】
画素値割当て部３３Ｃは、（ｉｃ，ｊｃ）と（ｉ，ｊ）との上記対応関係及び頂点セル７１と頂点５１との対応関係に基づいて、各四角形画素６１に対応する頂点５１の画素値を割り当てる。
【００７２】
画像出力部３４は、画像変換部３３で生成された長方形画像６０又は球面画像生成部３２で生成された球面画像４０を表示装置、ネットワーク又は外部記憶媒体等に出力する。
【００７３】
図１０を参照して、画像生成システム１０及び画像変換装置３０の動作について説明する。
【００７４】
撮像装置２０の各カメラ２１，２１で撮影を行い、一対の撮影画像２２を取得する（撮影画像取得ステップＳ１０）。これにより、全天周の画像を取得する。
【００７５】
画像入力部３１が、カメラ２１，２１で撮影された一対の撮影画像２２，２２の画像データを受け付ける（画像入力ステップＳ１１）と、球面画像生成部３２が、入力された画像データを球面画像４０の画像データに変換して、球面画像４０を生成する（球面画像生成ステップＳ１２）。球面画像４０を表す離散球面４１の正六角形画素４２の数は、式（６）に基づいて予め設定しておいてもよいし、球面画像４０を生成する際に、球面画像生成部３２が式（６）に基づいて算出してもよい。
【００７６】
次に、画像変換部３３が、球面画像４０を長方形画像６０に変換する（画像変換ステップＳ１３）。具体的には、中間配列構造生成部３３Ａが、球面画像４０を表すための球面４１に双対な測地ドーム５０に基づいて中間配列構造７０を生成する（中間配列構造生成ステップＳ１３Ａ）。次に、２次元配列構造生成部３３Ｂが、中間配列構造７０を２次元配列構造７２に変換する（２次元配列構造生成ステップＳ１３Ｂ）。続いて、画素値割当て部３３Ｃが、２次元配列構造７２を構成する頂点セル７１に、対応する頂点５１の画素値を割り当てて、長方形画像６０を生成する（画素値割当てステップＳ１３Ｃ）。
【００７７】
そして、画像出力部３４が、長方形画像６０を表示装置又はネットワークなどに出力する（画像出力ステップＳ１４）。
【００７８】
画像変換装置３０が有する画像入力部３１、球面画像生成部３２、画像変換部３３及び画像出力部３４の各機能は、コンピュータが画像変換プログラムを実行することによって実現することができる。画像変換プログラムは、画像変換装置３０の記憶部に予め記憶されていてもよいし、コンピュータ読み取り可能記録媒体に記録されていてもよい。画像変換プログラムは、処理を総括するメインモジュールと、コンピュータに、上記の画像入力ステップＳ１１と、球面画像生成ステップＳ１２と、画像変換ステップＳ１３と、画像出力ステップＳ１４とを実行させるためのモジュールを備えるものとすることができる。
【００７９】
図１１は、実際の撮影画像に基づいた四角形画像の一例を示す図面である。図１２は、図１１に示した長方形画像６０の元になる撮影画像２２，２２を取得する撮像装置２０を示す図面である。図１３は、図１２に示した撮像装置２０で撮影した一対の撮影画像２２，２２を示す図面である。図１２に示した撮像装置２０は、２つのカメラ２１，２１を互いに背中合わせで配置したものである。カメラ２１，２１は、魚眼レンズ２１Ａを搭載したオリンパス株式会社製CAMEDIA（登録商標）C-900 ZOOMである。一対の撮影画像２２，２２の総画素数は、４，９１５，２００画素であり、有効画像領域２２ｃの総画素数は、約１，７７５，４３７画素である。よって、長方形画像６０の画素数は、式（６）より、９分割レベルの測地ドーム５０の頂点５１の数に対応し、２，６２１，４４０画素である。
【００８０】
図１１に示すように長方形画像６０のみを表示した場合には、撮影画像２２，２２又は球面画像４０を想起することは困難である。しかしながら、中間配列構造７０と、長方形画像６０を構成する２次元配列構造７２との対応関係及び中間配列構造７０における隣接する頂点５１の位置関係等を用いることにより、球面画像４０を復元することが可能である。
【００８１】
長方形画像６０の画素数は２，６２１，４４０画素といったように１００万画素程度あるため、上記長方形画像６０の生成方法で説明したように、北極点及び南極点に対応する２つの頂点セル４１の画素値を削除したとしても、表示画像の質は実質的に変わらない。また、長方形画像６０から球面画像４０を復元する場合には、北極点及び南極点の画素値を、その周囲の画素に割り当てられた画素値から補間するようにしてもよい。
【００８２】
次に、本実施形態で説明した画像変換装置及び撮像システム並びに画像変換方法及び撮像方法の作用効果について、一対の撮影画像２２，２２をそのまま保存する場合と比較して説明する。
【００８３】
２つのカメラ２１，２１は、全天周の半分をそれぞれ撮影しているため、各カメラ２１で取得された一対の撮影画像２２，２２は、ある視点を中心とした全天周画像を表す。ただし、各撮影画像２２は、図２に示したように、有効画像領域２２ｃ以外に、オーバーラップ領域２２ｂ及び余剰領域２２ｄを有するため、これらをデータ保存すると、有効画像領域２２ｃ以外の領域に対してもデータ領域を確保する必要がある。また、一対の撮影画像２２，２２をそのままデータ保存すると、例えば、これらを球面画像に変換するためには、カメラ２１で使用した魚眼レンズ２１Ａの焦点距離ｆ等といったカメラパラメータ等も一緒に保存する必要が生じてしまう。
【００８４】
これに対して、本実施形態では、有効画像領域２２ｃ内の画像をオーバーラップ領域２２ｂの画像を利用して、一対の撮影画像２２，２２を球面画像４０に変換している。よって、球面画像４０の画像データを利用すれば、各撮影画像２２において、有効画像領域２２ｃ以外の領域に対してデータ保存する必要がない。また、球面画像４０を一度生成することにより、カメラ２１で使用した魚眼レンズ２１Ａの焦点距離ｆ等といったカメラパラメータを保存する必要がない。このように、撮影画像２２，２２を球面画像４０に変換することで、データの保存を省略することができる。
【００８５】
更に、球面画像４０の球面画像データを、長方形画像６０の画像データに変換しているため、データ保存が容易である。また、球面画像４０の画像データを長方形画像６０の画像データに変換していることで、ＪＰＥＧなど、これまで２次元画像に対して適用可能は圧縮形式を好適に利用することができる。そして、この長方形画像６０は、球面画像４０を介して生成しているので、長方形画像６０を保存することで、前述したような撮影画像２２における実質的に必要でない領域のデータやカメラパラメータ等の保存する必要も省略できる。従って、一対の撮影画像２２，２２の場合より、全天周の画像をよりコンパクトに保存することが可能である。
【００８６】
以上、本発明の第１の実施形態を説明したが、本発明は上記実施形態に限定されない。例えば、２次元配列構造７２の生成において、グループＧＣに属しており、
２Ｌ＋１＋１≦ｉ≦ＲＬ−１
を満たす領域をシフト領域として、シフト領域内の各頂点セル７１を行シフト及び列シフトさせたが、グループＧＡ内に属しており、
１≦ｉ≦２Ｌ
を満たす領域を、シフト領域として実施形態の場合と同様にシフトさせて四角形状の２次元配列構造７２を生成してもよい。
【００８７】
また、撮影手段の一例として、一対のカメラ２１，２１を背中合わせで配置したものとした。しかし、例えば、一台のカメラ２１を回転させながら異なる方向を撮影するようにしてもよいし、２台以上のカメラ２１を用いて全天周の画像を取得してもよい。そして、カメラ２１は魚眼レンズ２１Ａを有するとしたが広角レンズであってもよい。更に、上述したように、一台のカメラ２１を回転させることで又は複数のカメラ２１で全天周の画像を取得する場合には、広角レンズよりも狭い画角を有するレンズでもよい。
【００８８】
画像変換装置３０の画像変換部３３は、中間配列構造生成部３３Ａ、２次元配列構造生成部３３Ｂ及び画素値割当て部３３Ｃを備えるとしたがこれに限定されない。離散球面４１に双対な測地ドーム５０の頂点５１と頂点セル７１との対応関係並びに頂点セル７１と四角形画素６１との対応関係を画像変換式又は例えばルックアップテーブルとして予めメモリ等に記憶しておくことで、画像変換部３３は、四角形画素６１の位置を指定することで四角形画素６１に画素値を割り当てることができる。
【００８９】
上述した画像変換式又はルックアップテーブルを用いた場合、画像変換部３３は次のようにして球面画像４０を長方形画像６０に変換することができる。すなわち、式（３）で決まる分割回数Ｌに基づいて、ｎｒ（＝２Ｌ＋１）行ｎｃ（＝５・２Ｌ）列の平面領域を長方形画像６０の画像領域として設定する。この画像領域が、図９（ｄ）に示した２次元配列構造７２に対応する。そして、画像変換部３３は、長方形画像６０の各四角形画素６１に対応する球面画像４０の画素位置を上述した画像変換式又はルックアップテーブルに基づいて算出して、四角形画素６１に所定の画素値を割り当てて長方形画像６０を生成する。
【００９０】
また、上記実施形態では、画像変換部３３は、２次元配列構造７２を生成して、各頂点に対応する四角形画素に画素値を割り当てるとしたが、中間配列構造７０の生成したときに、頂点セル７１に対応する画素値を割り当ててもよい。
【００９１】
（第２の実施形態）
次に、図１４は、本発明に係る画像生成システムの第２の実施形態の構成を概略的に示す図面である。画像生成システム８０は、撮像装置（画像取得手段）２０と、画像変換装置９０とを備えている。撮像装置２０は、第１の実施形態のものと同様であるため、説明を省略する。画像変換装置９０は、指示入力部９１と、指示判定部９２と、拡大・縮小画像生成部９３と、透視画像生成部９４とを更に備える点で、第１の実施形態の画像変換装置３０と相違する。この相違点を中心にして画像変換装置９０について説明する。
【００９２】
なお、本実施形態でも第１の実施形態の場合と同様に、分割レベルがＬ（すなわち、分割回数がＬ回）である測地ドーム５０を測地ドーム５０Ｌとも称し、対応する中間配列構造７０や長方形画像６０についても同様に分割レベルを付した表記方法を採用することもある。
【００９３】
指示入力部９１は、画像変換装置９０の操作者による各種指示の入力を受け付けるものである。指示入力部９１の例は、液晶表示パネルなどのタッチパネル形式のものからの指示を受け付けてもよいし、キーボードからの指示を受け付けてもよい。指示入力部９１が受け付ける指示の例は、例えば、画像の拡大又は縮小に関する指示や、透視画像の生成指示などである。
【００９４】
指示判定部９２は、指示入力部９１で入力された指示の内容を判定し、指示内容に対応した構成要素にその指示を入力する。例えば、指示判定部９２は、指示入力部９１で入力された指示が画像の拡大又は縮小に関する指示である場合、その旨を拡大・縮小画像生成部９３に入力する。また、指示判定部９２は、指示入力部９１で入力された指示が透視画像の生成に関する指示である場合、その旨を透視画像生成部９４に入力する。
【００９５】
拡大・縮小画像生成部９３は、中間配列構造生成部９３Ａと、２次元構造生成部９３Ｂと、画素値割当て部９３Ｃとを有する。
【００９６】
拡大・縮小画像生成部９３は、指示入力部９１で画像の縮小指示が入力された場合、中間配列構造生成部９３Ａと、２次元構造生成部９３Ｂと、画素値割当て部９３Ｃとにより、画像変換部３３で生成された長方形画像６０を縮小した縮小画像を生成する。この場合、拡大・縮小画像生成部９３は、縮小画像生成部として機能する。
【００９７】
また、拡大・縮小画像生成部９３は、指示入力部９１で画像の拡大指示が入力された場合、中間配列構造生成部９３Ａと、２次元構造生成部９３Ｂと、画素値割当て部９３Ｃとにより、画像変換部３３で生成された長方形画像６０を拡大した拡大画像を生成する。この場合、拡大・縮小画像生成部９３は、拡大画像生成部として機能する。
【００９８】
まず、拡大・縮小画像生成部９３が縮小画像生成部として機能する場合について、縮小画像の生成方法について説明する。
【００９９】
拡大・縮小画像生成部９３は、測地ドーム法において分割回数がＬ回である測地ドーム５０Ｌに対応する長方形画像６０を、分割回数が（Ｌ−１）回の場合の画素数に対応する長方形画像に変換することによって、縮小画像を生成する。縮小画像は、測地ドーム法における分割回数を１回分減らしているので、Ｌ回分割の場合の長方形画像６０Ｌより画素数が少ない。よって、縮小画像の生成は、長方形画像６０をダウンサンプリングしたものに対応する。
【０１００】
中間配列構造生成部９３Ａは、画像変換部３３の中間配列構造生成部３３Ａと同様にして、測地ドーム法における分割回数が（Ｌ−１）回の場合の中間配列構造７０Ｌ−１を生成する。そして、２次元構造生成部９３Ｂは、中間配列構造生成部９３Ａで生成された中間配列構造７０Ｌ−１から、画像変換部３３の２次元構造生成部３３Ｂと同様にして、縮小画像としての長方形画像６０Ｌ−１の画素配列構造を生成する。この画素配列構造は、縮小画像としての長方形画像６０Ｌ−１を構成する四角形画素６１の配列構造であり、第１の実施形態における二次元配列構造７２Ｌ−１に対応する。
【０１０１】
ここで、説明のために、測地ドーム法による分割回数がＬ回である場合の中間配列構造７０Ｌにおいて第ｉ行の第ｊ列（ｊは、０以上Ｎｉ以下の整数）にある頂点セル７１（又は対応する頂点）の位置を（ｉＬ，ｊＬ）と表す。また、分割回数がＬ回である場合の中間配列構造７０Ｌに対応する長方形画像６０Ｌにおいて、中間配列構造７０Ｌの（ｉＬ，ｊＬ）の位置の頂点セル７１に対応する四角形画素６１ＬをＳＬ（ｉＬ，ｊＬ）と表す。この場合、ｉＬ＝２ｉＬ−１，ｊＬ＝２Ｌ−１が成立する。
【０１０２】
画素値割当て部９３Ｃは、以下の２つの画素値割当方法の何れかにより縮小画像中の画素、換言すれば、縮小画像となるべき長方形画像６０Ｌ−１となる画素配列構造内の四角形画素６１Ｌ−１であるＳＬ−１（ｉＬ−１，ｊＬ−１）に画素値を割り当てる。
【０１０３】
（縮小画像生成における第１の画素割当方法）
この方法では、画素値割当て部９３Ｃは、ｉＬ＝２ｉＬ−１，ｊＬ＝２Ｌ−１の関係に基づいて、ＳＬ−１（ｉＬ−１，ｊＬ−１）に、分割回数がＬ回である長方形画像６０Ｌ中の画素であるＳＬ（２ｉＬ−１，２ｊＬ−１）の画素値を割り当てる。
【０１０４】
（縮小画像生成における第２の画素割当方法）
この方法では、画素値割当て部９３Ｃは、四角形画像６１Ｌ−１であるＳＬ−１（ｉＬ−１，ｊＬ−１）の画素値をＶＬ−１とし、分割回数がＬ回である長方形画像６０Ｌ中の四角形画素６１ＬであるＳＬ（２ｉＬ−１，２ｊＬ−１）の画素値をＶＬとしたとき、式（８）に基づいて、ＶＬ−１を算出する。
【数８】
式（８）中、Ｍは、Ｌ回分割に対応する測地ドーム５０Ｌにおいて、対応する中間配列構造７０Ｌの（２ｉＬ−１，２ｊＬ−１）の位置の頂点セル７１の対応頂点に隣接する隣接頂点の個数であり、ＶｍＬは、各隣接頂点の画素値である。よって、式（８）では、分割回数が（Ｌ−１）回である測地ドーム５０Ｌ−１内の各頂点番号に対応する画素の画素値を、分割回数がＬ回である測地ドーム５０Ｌにおける対応する頂点に隣接する頂点の画素値の影響を考慮して算出していることになる。
【０１０５】
なお、中間配列構造７０Ｌにおける位置（２ｉＬ−１，２ｊＬ−１）で指定される頂点セル７１の対応頂点に隣接する隣接頂点の画素値は、第１の実施形態において（ａ）〜（ｄ）に場合分けして説明した頂点５１Ｂに隣接する頂点５１の位置の算出方法に基づいて算出された頂点セル７１に対応する長方形画像６０Ｌの四角形画素６１の画素値とすればよい。
【０１０６】
Ｌ＝２の場合について具体的に説明する。ダウンサンプリング前の長方形画像６０２に対応する測地ドーム５０２及び中間配列構造７０２は、図５（ｃ）及び図７（ｃ）に示すものであり、測地ドーム法による（Ｌ−１）回分割に対応する測地ドーム５０１及び中間配列構造７０１は、図５（ｂ）及び図７（ｂ）に示すものである。図５（ｂ）に示す頂点５１１４に対応する画素値を算出する場合を例にして説明すると、画素値割当て部９３Ｃは、頂点５１１４に対応する画素値を図５（ｃ）における頂点５１４４，５１４９，５１５７，５１５６，５１５５，５１４８に対応する画素値の影響を考慮して算出する。
【０１０７】
なお、図５（ａ）〜図５（ｃ）から理解されるように、Ｌ＝０場合の１２個の頂点５１では、頂点５１の周囲の隣接頂点の個数は５個であり、Ｌ＝１以上の場合に新しく生成される頂点５１に対する隣接頂点の数は６個である。
【０１０８】
次に、拡大・縮小画像生成部９３が拡大画像生成部として機能する場合について、拡大画像の生成方法について説明する。
【０１０９】
拡大・縮小画像生成部９３は、測地ドーム法において分割回数がＬ回である測地ドームに対応する長方形画像６０Ｌを、分割回数が（Ｌ＋１）回の場合の画素数に対応する長方形画像に変換することによって、拡大画像を生成する。拡大画像は、測地ドーム法における分割回数を１回分増やしているので、Ｌ回分割の場合の長方形画像６０Ｌより画素数が多い。よって、拡大画像の生成は、長方形画像６０Ｌをアップサンプリングしたものに対応する。
【０１１０】
中間配列構造生成部９３Ａは、画像変換部３３の中間配列構造生成部３３Ａと同様にして、測地ドーム法における分割回数が（Ｌ＋１）回の場合の中間配列構造７０Ｌ＋１を生成する。そして、２次元構造生成部９３Ｂは、中間配列構造生成部９３Ａで生成された中間配列構造７０Ｌ＋１から、画像変換部３３の２次元構造生成部３３Ｂと同様にして、拡大画像としての長方形画像６０Ｌ＋１の四角形画素６１の画像配列構造を生成する。この画素配列構造は、縮小画像としての長方形画像６０Ｌを構成する四角形画素６１の配列構造であり、第１の実施形態における二次元配列構造７２Ｌに対応する。
【０１１１】
ここで、縮小画像の場合の説明と同様に、測地ドーム法による分割回数がＬ回である場合の中間配列構造７０Ｌにおいて第ｉ行の第ｊ列（ｊは、０以上Ｎｉ以下の整数）の位置を（ｉＬ，ｊＬ）と表す。また、分割回数がＬ回である場合の中間配列構造７０Ｌに対応する長方形画像６０Ｌにおいて、中間配列構造７０Ｌの（ｉＬ，ｊＬ）の位置の頂点セル７１に対応する四角形画素６１ＬをＳＬ（ｉＬ，ｊＬ）と表す。この場合、ｉＬ＋１＝２ｉＬ，ｊＬ＋１＝２Ｌが成立する。
【０１１２】
拡大画像における四角形画素６１が、Ｌ回分割の測地ドーム５０Ｌの頂点に一対一で対応する場合、拡大画像となるべきが画素配列構造の四角形画素６１であるＳＬ＋１（ｉＬ＋１，ｊＬ＋１）の画素値を、分割回数がＬ回である長方形画像６０ＬにおけるＳＬ（２ｉＬ，２ｊＬ）の画素値とする。
【０１１３】
また、拡大画像における四角形画素６１が、（Ｌ＋１）回分割の測地ドーム５０Ｌ＋１において、Ｌ回分割の測地ドーム５０Ｌの頂点５１のうち隣接する２つの頂点５１の間に生成された新たな頂点５１に対応する場合、新たな頂点５１に対応する四角形画素６１の画素値は、次の２つの画素値割当方法のいずれかの方法で割り当てることができる。
【０１１４】
（新規生成画素の第１の画素割当方法）
この方法では、新規生成された頂点５１に対応する四角形画素６１の画素値を、その頂点５１に隣接する２つの頂点５１，５１に対応する四角形画素６１の画素値の平均値として算出する。すなわち、新規生成画素である四角形画素６１の画素値をＶｎｅｗＬ＋１とし、隣接する２つの頂点５１，５１に対応する四角形画素６１の画素値を、Ｖｎ１Ｌ及びＶｎ２Ｌとすると、式（９）に基づいてＶｎｅｗＬ＋１を算出する。
【数９】
【０１１５】
Ｌ＝１の場合について具体的に説明する。アップサンプリング前の長方形画像６０１に対応する測地ドーム５０１及び中間配列構造７０１は、図５（ｂ）及び図７（ｂ）に示すものであり、測地ドーム法による（Ｌ＋１）回分割に対応する測地ドーム５０２及び中間配列構造７０２は、図５（ｃ）及び図７（ｃ）に示すものである。
【０１１６】
図５（ｃ）に示す測地ドーム５０２が有する頂点５１のうち、図５（ｂ）に示す測地ドーム５０１と同じの頂点番号を有する頂点５１１４に対応する画素配列構造の四角形画素６１には、頂点５１１４に画素値を割り当てる。一方、測地ドーム５０２において新たに生成された頂点５１５６に対応する四角形画素６１の画素値を算出する際、測地ドーム５０１の頂点５１１４，５１３に対応する画素値の平均値として算出する。ここでは、測地ドーム５０２の頂点５１１４及び頂点５１５６について説明したが、他の頂点５１に対しても同様である。
【０１１７】
なお、拡大画像を生成する場合においても、中間配列構造７０における位置（２ｉＬ，２ｊＬ）で指定される頂点セル７１の対応頂点に隣接する隣接頂点の画素値は、第１の実施形態において（ａ）〜（ｄ）に場合分けして説明した頂点５１Ｂに隣接する頂点５１の位置の算出方法に基づいて算出された頂点セル７１に対応する長方形画像６０Ｌの四角形画素６１の画素値とすればよい。これは、後述する第２の画素値割当て方法の場合も同様である。
【０１１８】
（新規生成画素の第２の画素値割当方法）
この方法では、新規生成された頂点５１に対応する四角形画素６１の画素値を、ＶｎｅｗＬ＋１とした場合、ＶｎｅｗＬ＋１を、式（１０）により算出する。
【数１０】
式（１０）中、Ｖｎ１Ｌ及びＶｎ２Ｌは、Ｌ回分割の測地ドーム５０Ｌの頂点５１のうち、新規生成頂点５１に隣接する２つの頂点５１，５１の画素値であり、Ｖｔ１Ｌ及びＶｔ２Ｌは、Ｌ回分割の測地ドーム５０Ｌの頂点５１のうち、新規生成頂点５１に隣接する２つの頂点５１，５１のいずれにも隣接する２つの頂点５１，５１の画素値である。
【０１１９】
Ｌ＝１の場合について具体的に説明する。前述したように、アップサンプリング前の長方形画像６０１に対応する測地ドーム５０１及び中間配列構造７０１は、図５（ｂ）及び図７（ｂ）に示すものであり、測地ドーム法による（Ｌ＋１）回分割に対応する測地ドーム５０２及び中間配列構造７０２は、図５（ｃ）及び図７（ｃ）に示すものである。
【０１２０】
図５（ｃ）に示す測地ドーム５０２が有する頂点５１において、図５（ｂ）に示す測地ドーム５０１と同じ頂点番号を有する頂点５１１４に対応する長方形画像６０２の四角形画素６１には、頂点５１１４の画素値を割り当てる。
【０１２１】
また、図５（ｂ）及び図５（ｃ）を比較すれば、例えば、頂点５１１４及び頂点５１３との間に頂点５１５６が生成されており、頂点５１５６は、Ｌ回分割時に現れている頂点５１である頂点５１１４及び頂点５１３との間に位置する。この場合、頂点５１５６に対して、頂点５１１４及び頂点５１３が上記隣接する２つの頂点５１，５１に対応する。そして、頂点５１１９及び頂点５１１８が、上記頂点５１１４及び頂点５１３のいずれにも隣接する頂点５１である。この場合、頂点５１５６は、Ｌ回分割時の測地ドーム５０１において頂点５１１４、頂点５１３、頂点５１１９及び頂点５１１８で形成される四角形内に位置している。式（１０）は、この４つ頂点５１１４，５１３，５１１９，５１１８の画素値を考慮して新規生成の頂点５１に対応する四角形画素６１の画素値を決定していることになる。
【０１２２】
具体的には、式（１０）において、Ｖｎ１Ｌ及びＶｎ２Ｌは、頂点５１１４及び頂点５１３の画素値であり、Ｖｔ１Ｌ及びＶｔ２Ｌは頂点５１１９及び頂点５１１８の画素値である。ここでは、頂点５１５６の画素値を算出する場合について説明したが、測地ドーム５０２において新たに生成される頂点５１については同様である。
【０１２３】
透視画像生成部９４は、長方形画像６０から透視画像を生成する。長方形画像６０は、測地ドーム５０の別表現でもあり、長方形画像６０の四角形画素６１と、測地ドーム５０における頂点５１の位置との対応関係をルックアップテーブルとして格納しておけば、長方形画像６０から容易に測地ドーム５０又はその測地ドーム５０と双対な球面画像４０を生成できる。よって、説明の都合上、球面画像４０から透視画像を生成する場合について説明する。
【０１２４】
透視画像生成部９４は、フレーム形成部９４Ａと、画素値割当部９４Ｂとを有する。図１５を利用して、透視画像生成部９４による透視画像の生成方法について説明する。図１５では、球面画像４０と透視画像との対応関係を示している。
【０１２５】
フレーム形成部９４Ａは、図１５に示すように、透視画像１１０となる複数の画素１０１が矩形状に配列されて構成される画像フレーム１００を形成する。
【０１２６】
画素値割当て部９４Ｂは、画像フレーム１００の各画素１０１を球面画像４０上に投影し、対応する投影点の画素値を画像フレーム１０１の画素に割り当てることで、透視画像１００を生成する。ここでは、画像フレーム１００の画素ｐの投影点を投影点ｍと称する。
【０１２７】
画素値割当部９４Ｂは、投影点ｍが測地ドーム５０の頂点５１に対応する場合には、その頂点５１の画素値を画素ｐに割り当てる。
【０１２８】
画素値割当部９４Ｂは、投影点ｍが測地ドーム５０の頂点４１に対応しない場合、例えば、図１６に示すように、投影点ｍが３つの頂点５１１４，５１１３，５１１８で形成される三角形内に位置する場合、次の何れかの方法により投影点ｍ、すなわち、画素ｐに画素値を割り当てる。図１６は、図１５に示した投影点ｍを有する球面画像４０に対応する測地ドーム５０の一例の模式図である。
【０１２９】
（透視画像用の第１の画素値割当方法）
画素値割当て部９４Ｂは、投影点ｍに最も近い頂点５１（以下、最近接頂点と称す）の画素値を画素ｐの画素値として割り当てる。最近接頂点５１は、例えば、球面画像４０を表示するための３次元座標系（図１５に示すｘｓｙｓｚｓ座標系）において投影点ｍの位置ベクトルと、各頂点５１の位置ベクトルの内積をとり、最も内積値の大きい頂点を最近接頂点とすることで探索できる。
【０１３０】
図１５に示すｘｓｙｓｚｓ座標系において、ｚｓ軸は、球面画像４０を地球とみなした場合、すなわち、地球座標系表現における北極点（第１の極）と南極点（第２の極）とを通る軸であり、ｚｓ軸上の北極点と南極点との中点を原点とした３次元座標系である。
【０１３１】
（透視画像用の第２の画素値割当方法）
画素値割当て部９４Ｂは、投影点ｍを囲む３つの頂点５１，５１，５１の画素値を用いて、投影点ｍの画素値を算出し、画素ｐに割り当てる。具体的に説明する。
【０１３２】
球面画像４０を表すためのｘｓｙｓｚｓ座標系おいて、球面画像４０に対応する測地ドーム５０上の任意の点ｋに対するｚｓ軸及びｘｓ軸からの偏角をそれぞれθｋ及びφｋとする。すなわち、測地ドーム５０上の点を球面座標で表す。この場合、投影点ｍの画素値Ｖｍを次式で表すとする。
【数１１】
式（１１）において、θｍ、φｍは投影点ｍに対する偏角θ、φであり、係数ａ，ｂ，ｃは、以下の３つの式に基づいて算出される値である。
【数１２】
式（１２ａ）、式（１２ｂ）及び式（１２ｃ）において、（θｔ１，φｔ１）、（θｔ２，φｔ２）及び（θｔ３，φｔ３）は、それぞれ投影点ｍを囲む３つの頂点５１，５１，５１の位置の偏角θ及び偏角φであり、それら３つの頂点５１，５１，５１の位置を示す球座標である。また、Ｖｔ１、Ｖｔ２及びＶｔ３は、（θｔ１，φｔ１）、（θｔ２，φｔ２）及び（θｔ３，φｔ３）の位置の頂点５１の画素値である。
【０１３３】
上記画像変換装置９０では、図１０に示した画像変換方法において、ステップＳ１３の後に、指示入力部９１から所定の指示を受け付けると、判定部９２が指示内容を判定して、指示内容に応じた処理を実行する。
【０１３４】
例えば、指示内容がステップＳ１３で生成した長方形画像６０から縮小画像を生成する場合には、拡大・縮小画像生成部９３が前述した方法により縮小画像を生成する。この際、拡大・縮小画像生成部９３は、予め設定されている縮小画像用の第１及び第２の画素値割当て方法に基づいて縮小画像を生成する。
【０１３５】
また、指示内容がステップＳ１３で生成した長方形画像６０から拡大画像を生成する場合には、拡大・縮小画像生成部９３が前述した方法により拡大画像を生成する。この際、拡大・縮小画像生成部９３は、予め設定されている新規生成画素の第１及び第２の画素値割当て方法に基づいて拡大画像を生成する。
【０１３６】
更に、長方形画像６０から透視画像１００を生成する旨である場合には、透視画像生成部９４が前述した方法により透視画像１００を生成する。この際、透視画像生成部９４は、予め設定されている透視画像１００用の第１及び第２の画素値割当て方法に基づいて透視画像１００を生成する。なお、透視画像生成部９４が透視画像１００を生成するための長方形画像６０は、拡大・縮小画像生成部９３で生成された縮小画像又は拡大画像としての長方形画像６０であってもよいし、画像変換部３３で生成され拡大又は縮小されていない長方形画像６０であってもよい。これらは、指示入力部９１で入力され判定部９２で判定された指示内容に基づいて実行することができる。
【０１３７】
そして、画像変換装置９０では、ステップ１３の後に、上述した一つ又は複数の処理を実行した後に、ステップ１４を実行し、画像を出力することができる。
【０１３８】
以上説明した画像変換装置９０は、拡大・縮小画像生成部９３を更に備えることで、画像変換部３３で生成せた長方形画像６０を拡大又は縮小し、新たな長方形画像６０とすることができる。長方形画像６０は、球面画像４０に対応するので、画像変換装置９０は、球面画像４０を拡大又は縮小することができることになる。この点について、実験例を参照して説明する。
【０１３９】
図１７（ａ）は、拡大・縮小画像生成部９３において、上記（縮小画像の第１の画素値割当方法）を用いて長方形画像６０を縮小した画像である。図１７（ｂ）は、図１７（ａ）に示した縮小画像としての長方形画像６０の球面画像の一例である。また、図１８（ａ）は、拡大・縮小画像生成部９３において、上記（縮小画像第２の画素値割当方法）を用いて長方形画像６０を縮小した画像である。図１８（ｂ）は、図１８（ａ）に示した縮小画像としての長方形画像６０の球面画像の一例である。縮小前の長方形画像６０は、測地ドーム法での分割回数Ｌを７回とした点以外は、図１１に示した長方形画像６０を形成する場合と同様にして形成した。縮小前の長方形画像６０の画素数は、６４０×２５６＝１６３，８４０画素である。
【０１４０】
拡大・縮小画像生成部９３を利用することで、図１７（ａ），（ｂ）及び図１８（ａ）,（ｂ）に示す縮小した長方形画像６０を得ることができる。なお、図１７（ａ）及び図１８（ａ）に示す長方形画像６０の画素数は、３２０×１２８画素である。
【０１４１】
図１７（ａ）と図１８（ａ）及び図１７（ａ）と図１８（ｂ）とをそれぞれ対比すると、第２の画素値割当方法を採用した方が、より画素値の変化が画像を得られることがわかる。
【０１４２】
また、拡大・縮小画像生成部９３による縮小画像の生成を反復することで、図１９（ａ）〜図１９（ｅ）に示すように階層的に画像の大きさの異なる複数の長方形画像６０を生成することも可能である。図１９（ａ）〜図１９（ｅ）は、拡大・縮小画像生成部９３において、第２の画素値割当方法を採用して画像を順次縮小した場合の図である。
【０１４３】
図２０（ａ）は、拡大・縮小画像生成部９３において、上記（新規生成画素の第１の画素値割当方法）を用いて長方形画像６０を拡大した画像である。図２０（ｂ）は、図２０（ａ）に示した拡大画像としての長方形画像６０の球面画像の一例である。また、図２１（ａ）は、拡大・縮小画像生成部９３において、上記（新規生成画素の第２の画素値割当方法）を用いて長方形画像６０を拡大した画像である。図２１（ｂ）は、図２１（ａ）に示した拡大画像としての長方形画像６０の球面画像の一例である。拡大前の長方形画像６０は、測地ドーム法での分割回数Ｌを７回とした点以外は、図１１に示した長方形画像６０を形成する場合と同様にして形成した。拡大前の長方形画像６０の画素数は、６４０×２５６＝１６３，８４０画素である。
【０１４４】
拡大・縮小画像生成部９３を利用することで、図２０（ａ），（ｂ）及び図２１（ａ）,（ｂ）に示すように、長方形画像６０を拡大した長方形画像６０を得ることができる。なお、図２０（ａ）及び図２１（ａ）に示す長方形画像６０の画素数は、１２８０×５１２画素である。
【０１４５】
図２０（ａ）と図２１（ａ）及び図２０（ｂ）と図２１（ｂ）とをそれぞれ対比すると、第２の画素割当方法を採用した方が、より画素値の変化がなめらかな画像を得られることがわかる。
【０１４６】
更に、画像変換装置９０は、透視画像生成部９４を備えているので、生成した長方形画像６０を透視画像として画像出力部３４に出力することができる。その結果、画像変換装置９０の操作者は、透視画像を表示装置などでみることが可能である。これは、拡大・縮小画像生成部９３によって、拡大・縮小された長方形画像６０に対しても同様である。この点について、実験例を参照して説明する。図２２（ａ）及び図２２（ｂ）は、透視画像生成部９４により生成した図１１に示した長方形画像６０の一部の透視画像である。図２２（ａ）は、画素値の割当て方法を透視画像用の第１の画素値割当て方法を採用した場合の図であり、図２２（ｂ）は、画素値の割当て方法として、透視画像用の第２の画素値割当て方法を採用した場合の図である。図２２（ａ）及び図２２（ｂ）に示すように、透視画像生成部９４により、透視画像１００を生成できることがわかる。そして、図２２（ａ）と図２２（ｂ）を対比すると、第２の画素割当方法を採用した方が、より画素値の変化がなめらかな画像を得られることがわかる。
【０１４７】
次に、コンピュータグラフィックス分野における環境マップとの関係に基づいて、画像変換装置９０及び画像変換方法の作用効果について説明する。
【０１４８】
バーチャルリアリティ環境の構築においては、いわゆる環境マップが広く使用されている。このような環境マップは、３次元環境でのある位置（点）から周囲を観測した全天周画像に対応する。そして、周囲の環境が球面に投影された球面画像は環境マップに対応する。画像変換装置９０では、球面画像を長方形画像６０に変換しており、この際、第１の実施形態で説明したように、ＳＣＶＴ（Sperical Centroidal Voronoi Tessellation)画像である環境マップとしての離散的な球面画像４０を元に長方形画像６０を生成している。よって、長方形画像６０は全天周画像としての環境マップである。また、長方形画像６０はＳＣＶＴ画像と対応しているので、以下では、環境マップである長方形画像６０をＳＣＶＴマップとも称す。
【０１４９】
コンピュータグラフィックス分野では、従来、球状環境マップやキュービック環境マップが知られている。球状環境マップは、周囲を２次元画像に写し込んだものであり、例えば、ミラーボールをある所定の方向から正投影のカメラで写した場合の画像に対応する。また、キュービック環境マップは、ある点をその中心とする立方体を想定し、中心点から立方体の各面への投影画像を各面にマッピングしたものである。
【０１５０】
ここで、このような環境マップにおいて、視点から任意の方向をみた場合における画素の最大立体角と最小立体角の比をサンプリングレートとする。
【０１５１】
球状環境マップ及びキュービック環境マップでは、３次元環境を２次元に移し込んでいるため、画素も一様にはなりにくい。一方、長方形画像６０に対応するＳＣＶＴ画像では球面画像を離散化して表しているので画素の大きさがほぼ一様でサンプリングレートがより小さくなる。また、球面環境マップでは、特異点を含むことが知られている。一方、ＳＣＶＴマップでは、このような特異点は存在しない。
【０１５２】
更に、画像変換装置９０及びそれを利用した画像変換方法では、長方形画像６０（ＳＣＶＴ画像）を拡大・縮小画像変換部９３を用いて、拡大・縮小することができるので、バーチャルリアリティ環境において、環境として表示される画像の拡大・縮小に対応することができる。
【０１５３】
また、画像変換装置９０及びそれを利用した画像変換方法では、ＳＣＶＴ画像を長方形画像６０として表しているので、第１の実施形態で説明したように、データ保存が容易である。また、ＪＰＥＧなど、これまで２次元画像に対して適用可能は圧縮形式を好適に利用することができる。そして、長方形画像６０は、ＳＣＶＴ画像としての球面画像４０を介して生成しているので、長方形画像６０を保存することで、撮影画像２２における実質的に必要でない領域のデータやカメラパラメータ等の保存する必要も省略できる。従って、一対の撮影画像２２，２２の場合より、全天周の画像をよりコンパクトに保存することが可能である。
【０１５４】
以上、第２の実施形態について説明したが、本発明は、上記実施形態にも限定されず、第１の実施形態で例示したような変形も、本実施形形態において可能である。更に、図１４に示した実施形態では、画像変換装置９０は、拡大・縮小画像生成部９３を有するとして、拡大画像及び縮小画像の両方を形成可能としている。しかしながら、上述した拡大画像のみを生成する機能を有する拡大画像生成部のみを備えていてもよいし、上述した縮小画像のみを生成する機能を有する縮小画像生成部のみを備えていてもよい。更に、拡大・縮小画像生成部９３の代わりに、拡大画像生成部及び縮小画像生成部を有する構成とすることもできる。また、拡大又は縮小画像を有さずに、透視画像を生成する透視画像生成部のみ、第１の実施形態の構成に対して更に備える構成とすることもできる。
【０１５５】
また、図１４に示した実施形態では、指示入力部及び判定部は、拡大・縮小画像生成部や透視画像生成部といった構成要素に対する指示の入力及び指示の判定をする機能を有するものとして説明した。しかしながら、指示入力部は、例えば、球面画像生成部、画像変換部及び出力部に対する操作者の入力を受け付け、判定部は、指示入力部で入力された指示を判定し、指示内容に応じた構成要素に指示を入力するようにしてもよい。この点は、第１の実施形態においても同様である。
【産業上の利用可能性】
【０１５６】
本発明は、全天周画像が必要とされる移動ロボット、監視カメラ、レスキュー道具等に適用可能である。また、本発明は、コンピュータグラフィックスにおける環境マップなどに適用可能である。
【符号の説明】
【０１５７】
１０…画像生成システム、２０…撮像装置（画像取得手段）、２２…撮影画像、３０…画像変換装置、３２…球面画像生成部、３３…画像変換部、４０…球面画像、４１…離散球面、４２…正六角形画素（測地ドームの頂点に対応する画素）、５０…測地ドーム、５１…測地ドームの頂点、６０…長方形画像、６１…四角形画素、７０…中間配列構造、７２…２次元配列構造、８０…画像生成システム、９０…画像変換装置、９３…拡大・縮小画像生成部（縮小画像生成部、拡大画像生成部）、９４…透視画像生成部。
【特許請求の範囲】
【請求項１】
複数の画素で離散的に表された離散球面に、複数の撮影画像が投影された球面画像を生成する球面画像生成部と、
前記球面画像を長方形画像に変換する画像変換部と、
を備え、
前記離散球面を表す複数の前記画素は、球面を測地ドーム法で分割した測地ドームの各頂点に対応し、
前記長方形画像は、複数の四角形画素を有し、
各前記四角形画素の画素値は、前記測地ドームの一経線上の複数の頂点をそれぞれ基点として、複数の前記基点が第１の方向に並べられ各前記基点と同一緯度の頂点が各前記基点に対して前記第１の方向に直交する第２の方向に並べられた中間配列構造から、前記測地ドームの第１及び第２の極に対応する頂点を削除すると共に前記中間配列構造の所定の頂点を前記第１及び第２の方向に移動させることによって前記中間配列構造が有する複数の前記頂点が四角形状に並べられた２次元配列構造において、各前記四角形画素の位置の前記頂点に対応する前記球面画像の画素の画素値である、
ことを特徴とする画像変換装置。
【請求項２】
前記中間配列構造は、前記第１及び第２の方向をそれぞれ行方向及び列方向としたとき、第ｉ行（ｉは０以上３・２Ｌ以下の整数であり、Ｌは、測地ドーム法による球面の分割回数）の列数Ｎｉが、式（１）で表される配列構造を有しており、
前記２次元配列構造は、前記中間配列構造の第（２Ｌ+１＋１）行から第（ＲＬ−１）行までの領域をシフト領域として、前記シフト領域内の各頂点を第（５×２Ｌ）列側に向けて列シフトさせた後、前記シフト領域を、第（２Ｌ+１＋１）行が第０行に一致するように行シフトさせると共に、前記中間配列構造における第０行及び前記第ＲＬ行に対応する頂点を削除して構成されている、
ことを特徴とする請求項１記載の画像変換装置。
【数１】
【請求項３】
複数の撮影画像を取得する画像取得手段と、
前記画像取得手段によって取得された複数の撮影画像が、複数の画素で離散的に表された離散球面に投影された球面画像を生成する球面画像生成部と、
前記球面画像を長方形画像に変換する画像変換部と、
を備え、
前記離散球面を表す複数の前記画素は、球面を測地ドーム法で分割した測地ドームの各頂点に対応し、
前記長方形画像は、複数の四角形画素を有し、
各前記四角形画素の画素値は、前記測地ドームの一経線上の複数の頂点をそれぞれ基点として、複数の前記基点が第１の方向に並べられ各前記基点と同一緯度の頂点が各前記基点に対して前記第１の方向に直交する第２の方向に並べられた中間配列構造から、前記測地ドームの第１及び第２の極に対応する頂点を削除すると共に前記中間配列構造の所定の頂点を前記第１及び第２の方向に移動させることによって前記中間配列構造が有する複数の前記頂点が四角形状に並べられた２次元配列構造において、各前記四角形画素の位置の前記頂点に対応する前記球面画像の画素の画素値である、
ることを特徴とする画像生成システム。
【請求項４】
複数の撮影画像を、球面を測地ドーム法で分割して形成される測地ドームの各頂点に対応する画素で表した離散球面に投影することによって球面画像を生成するステップと、
前記測地ドームの一経線上の複数の頂点をそれぞれ基点として、複数の前記基点が第１の方向に並べられ各前記基点と同一緯度の頂点が各前記基点に対して前記第１の方向に直交する第２の方向に並べられてなる中間配列構造を生成するステップと、
前記中間配列構造に含まれる前記測地ドームの第１及び第２の極に対応する頂点以外の頂点のうち所定の頂点を前記第１及び第２の方向に移動させることによって、前記測地ドームの第１及び第２の極に対応する頂点以外の頂点が四角形状に並べられた２次元配列構造を生成するステップと、
前記２次元配列構造を構成する各前記頂点を四角形画素として、各前記四角形画素の位置の前記頂点に対応する前記球面画像の画素の画素値を割り当てて長方形画像を生成するステップと、
を備えることを特徴とする画像変換方法。
【請求項５】
前記中間配列構造は、前記第１及び第２の方向をそれぞれ行方向及び列方向としたとき、第ｉ行（ｉは、０以上３・２Ｌ以下の整数）の列数Ｎｉが、式（２）で表される構造を有しており、
前記２次元配列構造を生成するステップでは、前記中間配列構造の第（２Ｌ+１＋１）行から第（ＲＬ−１）行までの領域をシフト領域として、前記シフト領域内の各頂点を第（５×２Ｌ）列側に向けて列シフトさせた後、前記シフト領域を第（２Ｌ+１＋１）行が第０行に一致するように行シフトさせると共に、前記中間配列構造における第０行及び前記第ＲＬ行に対応する頂点を削除して前記２次元配列構造を生成する、
ことを特徴とする請求項５記載の画像変換方法。
【数２】
【請求項６】
複数の撮影画像を取得するステップと、
取得された複数の前記撮影画像を、球面を測地ドーム法で分割した測地ドームの各頂点に対応する画素とした離散球面に投影することによって球面画像を生成するステップと、 前記測地ドームの一経線上の複数の頂点をそれぞれ基点として、複数の前記基点が第１の方向に並べられ各前記基点と同一緯度の頂点が各前記基点に対して前記第１の方向に直交する第２の方向に並べられてなる中間配列構造を生成するステップと、
前記中間配列構造に含まれる前記測地ドームの前記第１及び第２の極に対応する頂点以外の頂点のうち所定の頂点を前記第１及び第２の方向に移動させることによって、前記測地ドームの第１及び第２の極に対応する頂点以外の頂点が四角形状に並べられた２次元配列構造を生成するステップと、
前記２次元配列構造を構成する各前記頂点を四角形画素として、各前記四角形画素の位置の前記頂点に対応する前記球面画像の画素の画素値を割り当てて長方形画像を生成するステップと、
を備えることを特徴とする画像生成方法。
【請求項７】
前記測地ドーム法による分割回数がＬ回の前記長方形画像を前記分割回数が（Ｌ−１）回の長方形画像に変換して縮小画像を生成する縮小画像生成部を更に備えることを特徴とする請求項２記載の画像変換装置。
【請求項８】
前記測地ドーム法による分割回数がＬ回の前記長方形画像を前記分割回数が（Ｌ＋１）回の長方形画像に変換して拡大画像を生成する拡大画像生成部を更に備えることを特徴とする請求項２又は７記載の画像変換装置。
【請求項９】
前記長方形画像から透視画像を生成する透視画像生成部を更に備え、
前記透視画像生成部は、生成すべき前記透視画像の画素配列構造を生成し、前記長方形画像に対応する前記球面画像上における点であって前記画素配列構造内の画素ｐに対応する点をｍとし、点ｍの座標を（θ，φ）（θは、前記測地ドームの第１及び第２の極を結ぶ線をｚｓ軸とし、ｚｓ軸上の前記第１及び第２の極の間の中点を原点とし、ｚｓ軸に直交する２つの軸をｘｓ軸及びｙｓ軸として有するｘｓｙｓｚｓ座標系において前記ｚｓ軸に対する角度であり、φはｘｓ軸に対する角度である）とした場合に、前記画素ｐの画素値を、前記測地ドームにおいて、前記点ｍを囲む３つの頂点の画素値に基づいて算出することによって、前記透視画像を生成することを特徴とする請求項１，２，７，８の何れか一項に記載の画像変換装置。
【請求項１０】
前記測地ドーム法による分割回数がＬ回の前記長方形画像を前記分割回数が（Ｌ−１）回の長方形画像に変換して縮小画像を生成するステップを更に備えることを特徴とする請求項５記載の画像変換方法。
【請求項１１】
前記測地ドーム法による分割回数がＬ回の前記長方形画像を前記分割回数が（Ｌ＋１）回の長方形画像に変換して拡大画像を生成するステップを更に備えることを特徴とする請求項５記載の画像変換方法。
【請求項１２】
前記長方形画像から透視画像を生成するステップを更に備え、
前記透視画像を生成するステップでは、生成すべき前記透視画像の画素配列構造を生成し、前記長方形画像に対応する前記球面画像上における点であって前記画素配列構造内の画素ｐに対応する点をｍとし、点ｍの座標を（θｍ，φｍ）（θｍは、前記測地ドームの第１及び第２の極を結ぶ線をｚｓ軸とし、ｚｓ軸上の前記第１及び第２の極の間の中点を原点とし、ｚｓ軸に直交する２つの軸をｘｓ軸及びｙｓ軸として有するｘｓｙｓｚｓ座標系において、原点に対する点ｍの方向と前記ｚｓ軸となす角度であり、φｍは、原点に対する点ｍの方向に対するｘｓ軸となす角度である）とした場合に、前記画素ｐの画素値を、前記測地ドームにおいて、前記点ｍを囲む３つの頂点の画素値に基づいて算出することによって、前記透視画像を生成することを特徴とする請求項４，５，１０，１１の何れか一項に記載の画像変換方法。
【請求項１】
複数の画素で離散的に表された離散球面に、複数の撮影画像が投影された球面画像を生成する球面画像生成部と、
前記球面画像を長方形画像に変換する画像変換部と、
を備え、
前記離散球面を表す複数の前記画素は、球面を測地ドーム法で分割した測地ドームの各頂点に対応し、
前記長方形画像は、複数の四角形画素を有し、
各前記四角形画素の画素値は、前記測地ドームの一経線上の複数の頂点をそれぞれ基点として、複数の前記基点が第１の方向に並べられ各前記基点と同一緯度の頂点が各前記基点に対して前記第１の方向に直交する第２の方向に並べられた中間配列構造から、前記測地ドームの第１及び第２の極に対応する頂点を削除すると共に前記中間配列構造の所定の頂点を前記第１及び第２の方向に移動させることによって前記中間配列構造が有する複数の前記頂点が四角形状に並べられた２次元配列構造において、各前記四角形画素の位置の前記頂点に対応する前記球面画像の画素の画素値である、
ことを特徴とする画像変換装置。
【請求項２】
前記中間配列構造は、前記第１及び第２の方向をそれぞれ行方向及び列方向としたとき、第ｉ行（ｉは０以上３・２Ｌ以下の整数であり、Ｌは、測地ドーム法による球面の分割回数）の列数Ｎｉが、式（１）で表される配列構造を有しており、
前記２次元配列構造は、前記中間配列構造の第（２Ｌ+１＋１）行から第（ＲＬ−１）行までの領域をシフト領域として、前記シフト領域内の各頂点を第（５×２Ｌ）列側に向けて列シフトさせた後、前記シフト領域を、第（２Ｌ+１＋１）行が第０行に一致するように行シフトさせると共に、前記中間配列構造における第０行及び前記第ＲＬ行に対応する頂点を削除して構成されている、
ことを特徴とする請求項１記載の画像変換装置。
【数１】
【請求項３】
複数の撮影画像を取得する画像取得手段と、
前記画像取得手段によって取得された複数の撮影画像が、複数の画素で離散的に表された離散球面に投影された球面画像を生成する球面画像生成部と、
前記球面画像を長方形画像に変換する画像変換部と、
を備え、
前記離散球面を表す複数の前記画素は、球面を測地ドーム法で分割した測地ドームの各頂点に対応し、
前記長方形画像は、複数の四角形画素を有し、
各前記四角形画素の画素値は、前記測地ドームの一経線上の複数の頂点をそれぞれ基点として、複数の前記基点が第１の方向に並べられ各前記基点と同一緯度の頂点が各前記基点に対して前記第１の方向に直交する第２の方向に並べられた中間配列構造から、前記測地ドームの第１及び第２の極に対応する頂点を削除すると共に前記中間配列構造の所定の頂点を前記第１及び第２の方向に移動させることによって前記中間配列構造が有する複数の前記頂点が四角形状に並べられた２次元配列構造において、各前記四角形画素の位置の前記頂点に対応する前記球面画像の画素の画素値である、
ることを特徴とする画像生成システム。
【請求項４】
複数の撮影画像を、球面を測地ドーム法で分割して形成される測地ドームの各頂点に対応する画素で表した離散球面に投影することによって球面画像を生成するステップと、
前記測地ドームの一経線上の複数の頂点をそれぞれ基点として、複数の前記基点が第１の方向に並べられ各前記基点と同一緯度の頂点が各前記基点に対して前記第１の方向に直交する第２の方向に並べられてなる中間配列構造を生成するステップと、
前記中間配列構造に含まれる前記測地ドームの第１及び第２の極に対応する頂点以外の頂点のうち所定の頂点を前記第１及び第２の方向に移動させることによって、前記測地ドームの第１及び第２の極に対応する頂点以外の頂点が四角形状に並べられた２次元配列構造を生成するステップと、
前記２次元配列構造を構成する各前記頂点を四角形画素として、各前記四角形画素の位置の前記頂点に対応する前記球面画像の画素の画素値を割り当てて長方形画像を生成するステップと、
を備えることを特徴とする画像変換方法。
【請求項５】
前記中間配列構造は、前記第１及び第２の方向をそれぞれ行方向及び列方向としたとき、第ｉ行（ｉは、０以上３・２Ｌ以下の整数）の列数Ｎｉが、式（２）で表される構造を有しており、
前記２次元配列構造を生成するステップでは、前記中間配列構造の第（２Ｌ+１＋１）行から第（ＲＬ−１）行までの領域をシフト領域として、前記シフト領域内の各頂点を第（５×２Ｌ）列側に向けて列シフトさせた後、前記シフト領域を第（２Ｌ+１＋１）行が第０行に一致するように行シフトさせると共に、前記中間配列構造における第０行及び前記第ＲＬ行に対応する頂点を削除して前記２次元配列構造を生成する、
ことを特徴とする請求項５記載の画像変換方法。
【数２】
【請求項６】
複数の撮影画像を取得するステップと、
取得された複数の前記撮影画像を、球面を測地ドーム法で分割した測地ドームの各頂点に対応する画素とした離散球面に投影することによって球面画像を生成するステップと、 前記測地ドームの一経線上の複数の頂点をそれぞれ基点として、複数の前記基点が第１の方向に並べられ各前記基点と同一緯度の頂点が各前記基点に対して前記第１の方向に直交する第２の方向に並べられてなる中間配列構造を生成するステップと、
前記中間配列構造に含まれる前記測地ドームの前記第１及び第２の極に対応する頂点以外の頂点のうち所定の頂点を前記第１及び第２の方向に移動させることによって、前記測地ドームの第１及び第２の極に対応する頂点以外の頂点が四角形状に並べられた２次元配列構造を生成するステップと、
前記２次元配列構造を構成する各前記頂点を四角形画素として、各前記四角形画素の位置の前記頂点に対応する前記球面画像の画素の画素値を割り当てて長方形画像を生成するステップと、
を備えることを特徴とする画像生成方法。
【請求項７】
前記測地ドーム法による分割回数がＬ回の前記長方形画像を前記分割回数が（Ｌ−１）回の長方形画像に変換して縮小画像を生成する縮小画像生成部を更に備えることを特徴とする請求項２記載の画像変換装置。
【請求項８】
前記測地ドーム法による分割回数がＬ回の前記長方形画像を前記分割回数が（Ｌ＋１）回の長方形画像に変換して拡大画像を生成する拡大画像生成部を更に備えることを特徴とする請求項２又は７記載の画像変換装置。
【請求項９】
前記長方形画像から透視画像を生成する透視画像生成部を更に備え、
前記透視画像生成部は、生成すべき前記透視画像の画素配列構造を生成し、前記長方形画像に対応する前記球面画像上における点であって前記画素配列構造内の画素ｐに対応する点をｍとし、点ｍの座標を（θ，φ）（θは、前記測地ドームの第１及び第２の極を結ぶ線をｚｓ軸とし、ｚｓ軸上の前記第１及び第２の極の間の中点を原点とし、ｚｓ軸に直交する２つの軸をｘｓ軸及びｙｓ軸として有するｘｓｙｓｚｓ座標系において前記ｚｓ軸に対する角度であり、φはｘｓ軸に対する角度である）とした場合に、前記画素ｐの画素値を、前記測地ドームにおいて、前記点ｍを囲む３つの頂点の画素値に基づいて算出することによって、前記透視画像を生成することを特徴とする請求項１，２，７，８の何れか一項に記載の画像変換装置。
【請求項１０】
前記測地ドーム法による分割回数がＬ回の前記長方形画像を前記分割回数が（Ｌ−１）回の長方形画像に変換して縮小画像を生成するステップを更に備えることを特徴とする請求項５記載の画像変換方法。
【請求項１１】
前記測地ドーム法による分割回数がＬ回の前記長方形画像を前記分割回数が（Ｌ＋１）回の長方形画像に変換して拡大画像を生成するステップを更に備えることを特徴とする請求項５記載の画像変換方法。
【請求項１２】
前記長方形画像から透視画像を生成するステップを更に備え、
前記透視画像を生成するステップでは、生成すべき前記透視画像の画素配列構造を生成し、前記長方形画像に対応する前記球面画像上における点であって前記画素配列構造内の画素ｐに対応する点をｍとし、点ｍの座標を（θｍ，φｍ）（θｍは、前記測地ドームの第１及び第２の極を結ぶ線をｚｓ軸とし、ｚｓ軸上の前記第１及び第２の極の間の中点を原点とし、ｚｓ軸に直交する２つの軸をｘｓ軸及びｙｓ軸として有するｘｓｙｓｚｓ座標系において、原点に対する点ｍの方向と前記ｚｓ軸となす角度であり、φｍは、原点に対する点ｍの方向に対するｘｓ軸となす角度である）とした場合に、前記画素ｐの画素値を、前記測地ドームにおいて、前記点ｍを囲む３つの頂点の画素値に基づいて算出することによって、前記透視画像を生成することを特徴とする請求項４，５，１０，１１の何れか一項に記載の画像変換方法。
【図１】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１４】
【図１５】
【図１６】
【図２３】
【図２】
【図１１】
【図１２】
【図１３】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１４】
【図１５】
【図１６】
【図２３】
【図２】
【図１１】
【図１２】
【図１３】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【公開番号】特開２０１１−２１０２３２（Ｐ２０１１−２１０２３２Ａ）
【公開日】平成２３年１０月２０日（２０１１．１０．２０）
【国際特許分類】
【出願番号】特願２０１１−１５６５５（Ｐ２０１１−１５６５５）
【出願日】平成２３年１月２７日（２０１１．１．２７）
【出願人】（５０４１５０４６１）国立大学法人鳥取大学 (271)
【Ｆターム（参考）】
【公開日】平成２３年１０月２０日（２０１１．１０．２０）
【国際特許分類】
【出願日】平成２３年１月２７日（２０１１．１．２７）
【出願人】（５０４１５０４６１）国立大学法人鳥取大学 (271)
【Ｆターム（参考）】
[ Back to top ]