画像処理装置および画像処理方法、プログラム、並びに、記録媒体
【課題】観察者の位置にかかわらず、正面を観察する観察者に正しい網膜像を与えることが可能な画像を生成する。
【解決手段】 「室内空間」を撮像した画像は、観察者がイの位置から正面に向かって観察したとき、「室内空間」の中央に存在する観察者が方向イを見た場合の網膜像に相当する網膜像を得ることができ、観察者がロの位置から正面に向かって観察したとき、「室内空間」の中央に存在する観察者が方向ロを見た場合の網膜像に相当する網膜像を得ることができ、観察者がハの位置から正面に向かって観察したとき、「室内空間」の中央に存在する観察者が方向ハを見た場合の網膜像に相当する網膜像を得ることができる。すなわち、変換後画像は、位置イ乃至位置ハなど、その観察者の位置にかかわらず、その正面を観察する観察者に正しい網膜像を与えることができるものである。本発明は、画像処理装置に適用できる。
【解決手段】 「室内空間」を撮像した画像は、観察者がイの位置から正面に向かって観察したとき、「室内空間」の中央に存在する観察者が方向イを見た場合の網膜像に相当する網膜像を得ることができ、観察者がロの位置から正面に向かって観察したとき、「室内空間」の中央に存在する観察者が方向ロを見た場合の網膜像に相当する網膜像を得ることができ、観察者がハの位置から正面に向かって観察したとき、「室内空間」の中央に存在する観察者が方向ハを見た場合の網膜像に相当する網膜像を得ることができる。すなわち、変換後画像は、位置イ乃至位置ハなど、その観察者の位置にかかわらず、その正面を観察する観察者に正しい網膜像を与えることができるものである。本発明は、画像処理装置に適用できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法、プログラム、並びに、記録媒体に関し、特に、特定されない位置から観察する観察者に対して、違和感のない網膜像を提供することができる画像処理装置および画像処理方法、プログラム、並びに、記録媒体に関する。
【背景技術】
【０００２】
大型スクリーンを用いて、観察者の等身大またはそれ以上のスケールの映像を臨場感をもって提示するためには、従来、観察者がスクリーン前の所定の位置に立つか、または、観察者の位置によって提示する映像を変換することにより、スクリーンを観察したユーザが、臨場感のある、正しい（違和感のない）網膜像を得ることができるようになされていた。ここで、正しい網膜像とは、観察者が、スクリーンに投影された映像を観察して得られる網膜像と、実際の風景に臨場した場合に得られる網膜像とが実質的に同等であるということを示す。
【０００３】
また、観察者に臨場感のある映像を提示するための技術として、例えば、没入型ディスプレイ装置と称されるものがある。没入方ディスプレイを用いて、例えば、ユーザを囲むようにして周りの空間に大型のスクリーンを配置し、スクリーンの背面からプロジェクタで映像を投影することにより、この空間内でさまざまな仮想体験ができるシステムがある（例えば、非特許文献１）。
【０００４】
【非特許文献１】Cruz-Neira,C. ,Sandin,D.J. and DeFanti,T.A., ; 鉄urround-Screen Projection-Based Virtual Reality ：The Design and Implementation of the CAVE 刀CProceedings of SIGGRAPH '93 ，pp.135-142 ，1993.
【発明の開示】
【発明が解決しようとする課題】
【０００５】
従来、大型スクリーンを用いて、観察者に臨場感のある映像を提示する場合、上述したように、観察者がスクリーン前の所定の位置に立つか、または、観察者の位置によって提示する映像を変換する必要があった。すなわち、従来の技術においては、ある一箇所から観察される映像のみが、観察者に正しい網膜像を与えることができるようになされていた。したがって、従来の技術では、例えば、複数の観察者が同時に映像を観察したとき、複数の観察者に、同時に正しい網膜像を与えることができなかった。
【０００６】
本発明はこのような状況に鑑みてなされたものであり、提示される映像または画像の前面（提示される映像または画像の幅と等しい幅の範囲内）の特定されない位置から観察する観察者に対して、違和感のない網膜像を提供することができるようにするものである。
【課題を解決するための手段】
【０００７】
本発明の第１の画像処理装置は、第１の平面画像データの消失点を推定する消失点推定手段と、第１の平面画像データの画角を推定する画角推定手段と、消失点推定手段により推定された消失点、および、画角推定手段により推定された画角を基に、所定の半径の円柱のうち、画角に対応する部分の曲面に、円柱の中心かつ消失点と同一の高さとなる位置を基準点として、第１の平面画像データが投影された場合に対応する第２の平面画像データを生成する画像生成手段とを備えることを特徴とする。
【０００８】
画角推定手段には、消失点推定手段により推定された消失点を基に、画角を推定させるようにすることができる。
【０００９】
消失点推定手段には、第１の平面画像データのパース線を描画する描画手段と、描画手段により描画されたパース線を基に、第１の平面画像データの消失点を抽出する消失点抽出手段とを含ませるようにすることができる。
【００１０】
消失点推定手段には、第１の平面画像データの特徴量を抽出する特徴量抽出手段と、特徴量抽出手段により抽出された特徴量を量子化する特徴量量子化手段と、特徴量量子化手段により量子化された特徴量を基に、特徴量が第１の平面画像データの垂直方向にどのような勾配を伴って分布しているかを示す特徴量分布を算出する特徴量分布算出手段と、特徴量分布算出手段により算出された特徴量分布を基に、第１の平面画像データの消失点を抽出する消失点抽出手段とを含ませるようにすることができる。
【００１１】
画角推定手段には、第１の平面画像データにおいて表現される空間を垂直上方から観察した場合を想定した平面図を生成する平面図生成手段と、平面図生成手段により生成された平面図内で、第１の平面画像データにおける視点の位置を検出することにより、画角を算出する画角算出手段とを含ませるようにすることができる。
【００１２】
平面図生成手段には、第１の平面画像データの視点の仰角を求めることにより平面図を作成させるようにすることができる。
【００１３】
画像生成手段には、円柱の半径を、画角推定手段により推定された画角、および、第１の平面画像データの画像サイズを基に決定させるようにすることができる。
【００１４】
画像生成手段により生成された第２の平面画像データを表示する表示手段を更に備えさせることができ、表示手段は、平面形状のディスプレイで構成させることができる。
【００１５】
本発明の第１の画像処理方法は、第１の平面画像データの消失点を推定する消失点推定ステップと、第１の平面画像データの画角を推定する画角推定ステップと、消失点推定ステップの処理により推定された消失点、および、画角推定ステップの処理により推定された画角を基に、所定の半径の円柱のうち、画角に対応する部分の曲面に、円柱の中心かつ消失点と同一の高さとなる位置を基準点として、第１の平面画像データが投影された場合に対応する第２の平面画像データを生成する画像生成ステップとを含むことを特徴とする。
【００１６】
本発明の第１のプログラムまたは記録媒体に記録されているプログラムは、第１の平面画像データの消失点を推定する消失点推定ステップと、第１の平面画像データの画角を推定する画角推定ステップと、消失点推定ステップの処理により推定された消失点、および、画角推定ステップの処理により推定された画角を基に、所定の半径の円柱のうち、画角に対応する部分の曲面に、円柱の中心かつ消失点と同一の高さとなる位置を基準点として、第１の平面画像データが投影された場合に対応する第２の平面画像データを生成する画像生成ステップとを含むことを特徴とする処理をコンピュータに実行させる。
【００１７】
本発明の第１の画像処理装置および画像処理方法、並びに、プログラムにおいては、第１の平面画像データの消失点が推定され、第１の平面画像データの画角が推定され、これらを基に、第２の平面画像データが生成される。生成される第２の平面画像データは、所定の半径の円柱のうち、第１の平面画像データの画角に対応する部分の曲面に、円柱の中心かつ消失点と同一の高さとなる位置を基準点として、第１の平面画像データが投影されたものである。
【００１８】
本発明の第２の画像処理装置は、第１の平面画像データの消失点と第１の平面画像データの画角が入力される入力手段と、入力手段により入力された消失点、および画角を基に、所定の半径の円柱のうち、画角に対応する部分の曲面に、円柱の中心かつ消失点と同一の高さとなる位置を基準点として、第１の平面画像データが投影された場合に対応する第２の平面画像データを生成する画像生成手段とを備えることを特徴とする。
【００１９】
画像生成手段により生成された第２の平面画像データを表示する表示手段を更に備えさせることができ、表示手段は、平面形状のディスプレイで構成させることができる。
【００２０】
本発明の第２の画像処理方法は、第１の平面画像データの消失点と第１の平面画像データの画角の入力を制御する入力制御ステップと、入力制御ステップの処理により入力が制御された消失点、および画角を基に、所定の半径の円柱のうち、画角に対応する部分の曲面に、円柱の中心かつ消失点と同一の高さとなる位置を基準点として、第１の平面画像データが投影された場合に対応する第２の平面画像データを生成する画像生成ステップとを含むことを特徴とする。
【００２１】
本発明の第２の画像処理装置および画像処理方法においては、第１の平面画像データの消失点と第１の平面画像データの画角の入力を受け、入力された消失点、および画角を基に、所定の半径の円柱のうち、画角に対応する部分の曲面に、円柱の中心かつ消失点と同一の高さとなる位置を基準点として、第１の平面画像データが投影された場合に対応する第２の平面画像データが生成される。
【発明の効果】
【００２２】
本発明によれば、第１の平面画像を第２の平面画像に変換することができ、特に、奥行きを有する空間が表現されている第１の平面画像を基に、特定されない位置から観察する観察者に対して違和感のない網膜像を提供することができるような第２の平面画像を生成することができる。
【発明を実施するための最良の形態】
【００２３】
以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、発明の実施の形態に記載されていることを確認するためのものである。したがって、発明の実施の形態中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００２４】
さらに、この記載は、発明の実施の形態に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、発明の実施の形態に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。
【００２５】
請求項１に記載の画像処理装置（例えば、図２の画像処理装置４１）は、奥行きを有する空間が表現されている第１の平面画像データ（たとえば、図４の画像８１）を取得して変換する画像処理装置であって、第１の平面画像データの消失点（例えば、図１３または図５に示される消失点）を推定する消失点推定手段（例えば、図２の消失点推定部５２）と、第１の平面画像データの画角を推定する画角推定手段（例えば、図２の画角推定部５３）と、消失点推定手段により推定された消失点、および、画角推定手段により推定された画角を基に、所定の半径（例えば、図３１または図３２のａ）の円柱のうち、画角に対応する部分の曲面に、円柱の中心かつ消失点と同一の高さとなる位置（例えば、図３１または図３２の（０，０，−ａ）となる点）を基準点として、第１の平面画像データが投影された場合に対応する第２の平面画像データを生成する画像生成手段（例えば、図２の画像変換処理部５４）とを備えることを特徴とする。
【００２６】
消失点推定手段（例えば、図３の消失点推定部５２-１）は、第１の平面画像データのパース線を描画する描画手段（例えば、図３の奥行き方向平行線抽出部７１）と、描画手段により描画されたパース線を基に、第１の平面画像データの消失点を抽出する消失点抽出手段（例えば、図３の消失点算出部７２）とを含むことができる。
【００２７】
消失点推定手段（例えば、図６の消失点推定部５２-２）は、第１の平面画像データの特徴量を抽出する特徴量抽出手段（例えば、図６の特徴量抽出部１３１）と、特徴量抽出手段により抽出された特徴量を量子化する特徴量量子化手段（例えば、図６の量子化部１３２）と、特徴量量子化手段により量子化された特徴量を基に、特徴量が第１の平面画像データの垂直方向にどのような勾配を伴って分布しているかを示す特徴量分布（例えば、肌理勾配）を算出する特徴量分布算出手段（例えば、図６の肌理勾配算出部１３３）と、特徴量分布算出手段により算出された特徴量分布を基に、第１の平面画像データの消失点を抽出する消失点抽出手段（例えば、図６の消失点算出部１３４）とを含むことができる。
【００２８】
画角推定手段は、第１の平面画像データにおいて表現される空間を垂直上方から観察した場合を想定した平面図（例えば、図１７に示されるタイル画）を生成する平面図生成手段（例えば、図１４のタイル画生成部１７３）と、平面図生成手段により生成された平面図内で、第１の平面画像データにおける視点の位置（例えば、図１７に示されるカメラの位置）を検出することにより、画角を算出する画角算出手段（例えば、図１４の画角算出部１７４）とを含むことができる。
【００２９】
平面図生成手段は、第１の平面画像データの視点の仰角を求めること（例えば、図１９を用いて説明した水平方向平行線描画部１７１の処理）により平面図を作成することができる。
【００３０】
画像生成手段により生成された第２の平面画像データを表示する表示手段を更に備えることができ、表示手段は、平面形状のディスプレイ（例えば、図４４または図４５に示される画像を表示する平面ディスプレイ、もしくは、図５３の画像５０１を表示する平面ディスプレイ）で構成することができる。
【００３１】
請求項９に記載の情報処理方法は、奥行きを有する空間が表現されている第１の平面画像データ（たとえば、図４の画像８１）を取得して変換する画像処理装置（例えば、図２の画像処理装置４１）の画像処理方法であって、第１の平面画像データの消失点（例えば、図１３または図５に示される消失点）を推定する消失点推定ステップ（例えば、図３４のステップＳ２の処理）と、第１の平面画像データの画角を推定する画角推定ステップ（例えば、図３４のステップＳ３の処理）と、消失点推定ステップの処理により推定された消失点、および、画角推定ステップの処理により推定された画角を基に、所定の半径（例えば、図３１または図３２のａ）の円柱のうち、画角に対応する部分の曲面に、円柱の中心かつ消失点と同一の高さとなる位置（例えば、図３１または図３２の（０，０，−ａ）となる点）を基準点として、第１の平面画像データが投影された場合に対応する第２の平面画像データを生成する画像生成ステップ（例えば、図３４のステップＳ４の処理）とを含むことを特徴とする。
【００３２】
また、請求項１０に記載のプログラム、および、請求項１１に記載の記録媒体に記録されているプログラムにおいても、各ステップが対応する実施の形態（但し一例）は、請求項９に記載の情報処理方法と同様である。
【００３３】
請求項１２に記載の画像処理装置（例えば、図２の画像処理装置４１）は、奥行きを有する空間が表現されている第１の平面画像データ（たとえば、図４の画像８１）を取得して変換する画像処理装置であって、第１の平面画像データの消失点と第１の平面画像データの画角が入力される入力手段と、入力手段により入力された消失点、および画角を基に、所定の半径（例えば、図３１または図３２のａ）の円柱のうち、画角に対応する部分の曲面に、円柱の中心かつ消失点と同一の高さとなる位置（例えば、図３１または図３２の（０，０，−ａ）となる点）を基準点として、第１の平面画像データが投影された場合に対応する第２の平面画像データを生成する画像生成手段（例えば、図２の画像変換処理部５４）とを備えることを特徴とする。
【００３４】
画像生成手段により生成された第２の平面画像データを表示する表示手段を更に備えることができ、表示手段は、平面形状のディスプレイ（例えば、図４４または図４５に示される画像を表示する平面ディスプレイ、もしくは、図５３の画像５０１を表示する平面ディスプレイ）で構成することができる。
【００３５】
請求項１４に記載の画像処理方法は、奥行きを有する空間が表現されている第１の平面画像データ（たとえば、図４の画像８１）を取得して変換する画像処理装置（例えば、図２の画像処理装置４１）の画像処理方法であって、第１の平面画像データの消失点と第１の平面画像データの画角の入力を制御する入力制御ステップと、入力制御ステップの処理により入力が制御された消失点、および画角を基に、所定の半径（例えば、図３１または図３２のａ）の円柱のうち、画角に対応する部分の曲面に、円柱の中心かつ消失点と同一の高さとなる位置（例えば、図３１または図３２の（０，０，−ａ）となる点）を基準点として、第１の平面画像データが投影された場合に対応する第２の平面画像データを生成する画像生成ステップ（例えば、図３４のステップＳ４の処理）とを含むことを特徴とする。
【００３６】
以下、図を参照して、本発明の実施の形態について説明する。
【００３７】
本発明を適用した画像処理装置は、通常のカメラによって撮像された所定の画角内の平面の画像または映像、すなわち、カメラのレンズ位置を視点として撮像された平面の画像または映像を基に、複数の視点から観察しても違和感を覚えない平面画像または映像を生成するものである。
【００３８】
例えば、図１に示されるように、曲面１を含む円柱状の曲面には、その円柱の中心位置に存在する観察者１１が水平方向に３６０度回転して観察した場合に、どの角度においても違和感がないような画像または映像を投影することが可能である。
【００３９】
本発明を適用した画像処理装置は、通常のカメラによって撮像された平面画像または複数の平面画像からなる動画像（映像）を、曲面１に投影した場合と同様に変換し、変換された画像または映像を平面２に表示するか、または、同様の平面に印刷出力することができるようにするものである。このようにして平面２に提示された画像または映像は、その前面にいる複数の観察者１２乃至１４が、自分の位置から真正面を観察した場合（観察者の視線が、平面２に対して垂直または垂直に近い角度である場合）、曲面１を含む円柱の中央に存在する観察者１１が曲面２に対する向き（角度）を変更した場合と同様の正しい網膜像を得ることができる。
【００４０】
以下、画像の処理を例として説明するが、映像（動画像）は、複数フレームの画像（静止画像）により構成されるものとして、映像（動画像）が提示される場合にも、全てのフレーム画像に本発明を適用した処理が施されることにより、本発明は適用可能であることはいうまでもない。
【００４１】
図２は、本発明を適用した画像処理装置４１の構成例を示すブロック図である。
【００４２】
画像処理装置４１は、画像データ取得部５１、消失点推定部５２、画角推定部５３、画像変換処理部５４、および、画像データ出力部５５で構成されている。
【００４３】
画像データ取得部５１は、通常のカメラによって撮像された平面の画像、すなわち、カメラのレンズ位置を視点として、いわゆるピンホールカメラの原理に基づいて撮像された通常の平面の画像に対応する画像データを取得し、消失点推定部５２に供給する。
【００４４】
消失点推定部５２は、供給された画像データの消失点を検出し、検出された消失点の情報と、供給された画像データを、画角推定部５３に供給する。消失点とは、透視変換によって三次元空間中の平行線を画像平面上に投影した場合に、それら平行線に対応する画面平面状の直線が収束する点のことである。すなわち、消失点とは、実際は奥行きを有している空間が投影された平面画像上において、「無限に遠い点」であり、奥行き方向に平行な線（例えば、部屋の画像であれば、その稜線）の延長線が交わる点や、奥行き方向に伸びる面（例えば、部屋の画像であれば、奥行き方向に伸びる床、壁、天井に対応するそれぞれの平面）の延長が無限遠方に収束する点として認識されるものである。消失点から画像内で水平方向に描画された直線は地平線であるため、消失点の推定は、換言すれば、地平線の推定である。消失点推定部５２による消失点の推定方法はいかなる方法であっても良いが、その具体例として、２種類の消失点の推定方法について、図３乃至図１３を用いて後述する。
【００４５】
画角推定部５３は、供給された画像データの画角、すなわち、画像データを撮像したカメラにおける撮像範囲を表す角度を推定し、画角の推定値と、供給された画像データを、画像変換処理部５４に供給する。画角推定部５３による画角の推定方法はいかなる方法であっても良いが、その具体例は、図１４乃至図２８を用いて後述する。
【００４６】
画像変換処理部５４は、画角推定部５３から供給された画角の推定値を基に、供給された画像データを変換し、画像データ出力部５５に供給する。画像変換処理部５４の処理の詳細については、図２９乃至図３３を用いて後述する。
【００４７】
画像データ出力部５５は、画像変換処理部５４から供給された変換済みの画像データを、例えば、平面形状の大型ディスプレイに出力して表示させたり、プリンタに出力して印刷出力させたり、所定の記録媒体に記録させたり、所定の通信媒体を用いて、他の装置に送信する処理などを実行する。
【００４８】
なお、供給された画像データの消失点が予め分かっている場合、画角の推定処理に予め分かっている消失点の情報を用いることにより、消失点推定部５２による消失点の推定処理を省略することが可能である。また、供給される画像データの画角が予め分かっている場合、画像変換処理部５４による画像の変換処理に予め判っている画角の情報を用いることにより、画角推定部５３による画角の推定処理を省略することが可能である。
【００４９】
このような場合、例えば、図２に示される画像処理装置４１に、図示しないデータ入力部が備えられ、消失点、または、画角を示すデータの入力を受けて、入力されたデータを画像変換処理部５４に供給するようになされる。
【００５０】
図３は、図１の消失点推定部５２の第１の構成例であり、第１の消失点推定方法によって消失点を推定する消失点推定部５２-１の構成を示すブロック図である。
【００５１】
奥行き方向平行線抽出部７１は、供給された画像データから、例えば、エッジフィルタなどを用いて直線成分を抽出するなどして、地面（水平面）に対して平行であり、かつ、画像手前から奥に（カメラの視線の方向に対して同一方向に)伸びる直線、いわゆる、パース線を抽出する。図４に示される画像に対応する画像データが供給された場合、抽出される直線には、例えば、部屋の稜線や、床のフローリングの板目などがある。消失点を求めるのみであれば、複数のパース線が描画できれば充分である。しかしながら、奥行き方向平行線抽出部７１は、後述する処理において好適なように、抽出された直線（パース線）を基に、例えば、地面、床面など、所定の平面上に、実際空間において等間隔となる複数の平行線を描画する。換言すれば、奥行き方向平行線抽出部７１は、平面画像が表す空間内の所定の平面上に等間隔の平行線（パース線）を描画する。このようにして描画された平行線を、以下、奥行き方向平行線と称するものとする。
【００５２】
そして、消失点算出部７２は、奥行き方向平行線抽出部７１により抽出された奥行き方向平行線の交点を求め、この画像の消失点とする。
【００５３】
すなわち、画像データ取得部５１が、図４に示される画像８１の入力を受け、この画像データを消失点推定部５２-１に供給した場合、奥行き方向平行線抽出部７１は、図５に示されるように、複数の奥行き方向平行線を描き、消失点算出部７２は、この奥行き方向平行線の交点を消失点とする。例えば、奥行き方向平行線の抽出誤差などにより、奥行き方向平行線の交点が複数検出された場合、消失点算出部７２は、それらの交点の重心を消失点としたり、最も多くの奥行き方向平行線が交わる点を消失点とするようにしても良い。
【００５４】
図６は、図１の消失点推定部５２の第２の構成例であり、第２の消失点推定方法によって消失点を推定する消失点推定部５２-２の構成を示すブロック図である。
【００５５】
図６を用いて説明する消失点推定部５２-２は、いわゆる肌理の勾配を用いて、画像データから消失点を推定する。
【００５６】
真上から見ると所定の模様（色や輝度など）が略一定に広がっているような場所、例えば、図７に示すような花畑を、カメラによって、一定の仰角で撮像すると、図８に示すように、所定の模様が手前になるほど粗く、遠ざかるほど細かくなる映像が得られる。一定の仰角で撮像された場合に、手前になる程粗く、遠ざかるほど細かくなる傾向を有する模様の単位を、肌理と称し、その傾向の程度を、肌理の勾配と称する。すなわち、肌理の勾配は、撮像の仰角によって決まる。
【００５７】
特徴量抽出部１３１は、入力画像の各画素の特徴量（例えば、各画素の色差値やエッジ強度など）を抽出する。なお、エッジ強度を特徴量とする場合、特徴量抽出部１３１は、微分フィルタ（図示せず）を内蔵し、入力画像のエッジを強調してエッジ強度を抽出する。
【００５８】
量子化部１３２は、特徴量抽出部１３１により抽出された各画素の特徴量に基づいて、入力画像を量子化する。例えば、特徴量が色差値である場合、所定の基準値と同じ色差値を有する画素の値が１とされ、それ以外の色差値を有する画素の値が０とされる。図８に示されるような画像の画像データを量子化した場合、例えば、図９に示されるような量子化データを得ることができる。
【００５９】
肌理勾配算出部１３３は、量子化部１３２の処理により得られた量子化データ（例えば、図９を用いて説明した量子化データ）から、ライン毎に、白点（肌理）の間隔の平均値（肌理勾配データ）を算出する。例えば、図１０に示すように、所定のラインにおいて値が１の画素が複数並んでいる場合、その間隔ａ1，ａ2，ａ3，ａ4の平均値が算出される。
【００６０】
そして、肌理勾配算出部１３３は、図１１に示されるように、算出したライン毎のこの平均値ＡＶを、画像データ内のＹ軸（入力画像上のＹ軸）における位置に基づいてプロットし、図１２に示すように回帰直線を設定する。すなわちこの回帰直線が肌理の勾配に相当する。肌理勾配算出部１３３は、設定された回帰直線を消失点算出部１３４に供給する。
【００６１】
消失点算出部１３４は、設定された回帰直線と、そのＹ軸との交点を消失点として算出する。
【００６２】
消失点は、入力画像を見た場合の被写体の平面が無限遠方に収束する点であるので、図１３に示す消失点Ｒのように、入力画像の画像領域を超えた位置に存在する場合もある。なお、ここでは、消失点ＲのＸ軸座標は、入力画像の中心点のＸ軸座標とする。
【００６３】
次に、図１４は、図３の画角推定部５３の構成例を示すブロック図である。
【００６４】
画角推定部５３は、水平方向平行線描画部１７１、平行線抽出部１７２、タイル画生成部１７３、および、画角算出部１７４により構成されている。
【００６５】
水平方向平行線描画部１７１は、供給された画像の奥行き方向の平行線に対して実際の被写体空間において直交し、撮像された被写体の幅(間口)を示すベースラインを描画し、このベースラインを基準に、水平方向の平行線を描画する。この平行線を、水平方向平行線と称する。水平方向平行線は、奥行き方向平行線と同一の間隔となるように描画される。具体的には、図１５に示されるように、ベースライン１９１が描画され、ベースライン１９１と平行で、かつ、平行線同士の間隔が奥行き方向平行線の間隔と同一の間隔になるように、すなわち、奥行き方向平行線と水平方向平行線により被写体空間において正方形が描かれるようにして、水平方向平行線が描画される。このとき、水平方向平行線描画部１７１は、ベースライン１９１と、その１つ奥の平行線のみを描画し、描かれた正方形の対角線を書き加えることにより、それ以外の水平方向平行線を容易に描画することが可能である。
【００６６】
なお、消失点推定部５２として、図６を用いて説明した消失点推定部５２−２が用いられていた場合、奥行き方向の平行線は描画されていないので、水平方向平行線描画部１７１は、図３を用いて説明した消失点推定部５２−１の奥行き方向平行線抽出部７１と同様にして、奥行き方向の平行線を描画した後、水平方向の平行線を描画するものとする。
【００６７】
平行線抽出部１７２は、奥行き方向平行線のうちのいずれかと、上述した正方形の対角線のいずれかのうち、画像上で平行となるものを抽出する。正方形の対角線が、画像上、左下から右上方向に描画されている場合、画像上右側のいずれかの対角線と、画像上左側のいずれかの奥行き方向平行線とが画像上で平行となる。図１６に示される場合、対角線２０１と奥行き方向平行線２０２とが、画像上で平行であるので、平行線抽出部１７２により抽出される。また、正方形の対角線が、画像上、右下から左上方向に描画されている場合、画像上左側のいずれかの対角線と、画像上右側のいずれかの奥行き方向平行線とが画像上で平行となる。
【００６８】
タイル画生成部１７３は、奥行き方向平行線と水平方向平行線とを基に、タイル画を生成する。具体的には、タイル画生成部１７３は、被写体とカメラを充分含む領域を真上から見た場合の平面図を生成し、その平面図に、図１７に示されるように、奥行き方向平行線と水平方向平行線とをタイル状（グリット状）に描画する。奥行き方向平行線と水平方向平行線とがタイル状に描画された平面図を、タイル画と称するものとする。
【００６９】
画角算出部１７４は、タイル画生成部１７３により生成されたタイル画、水平方向平行線描画部１７１により描画されたベースライン１９１、および、平行線抽出部１７２により抽出された画像上で平行となる奥行き方向平行線と描画された正方形における対角線とのペアを基に、カメラの画角を求める。すなわち、画角算出部１７４は、図１７に示されるように、平行線抽出部１７２により抽出された対角線２０１および奥行き方向平行線２０２をタイル画内に描画する。タイル画内の対角線２０１および奥行き方向平行線２０２との交点と、ベースライン１９１との距離が、この画像を撮像したカメラとカメラの焦点との奥行きの距離に対応する。すなわち、タイル画内において、対角線２０１と奥行き方向平行線２０２との交点がカメラ２２１の位置であると想定することができる。ここで想定されるカメラ２２１の位置は、画像８１における視点（画像８１が正しい網膜像である場合の観察者の視点）に対応する。そして、タイル画において、カメラ２２１からベースライン１９１の両端に対して描かれる直線間の角度が、求められる画角である。
【００７０】
図１７における場合では、画角ｆｏｖは、約５７（deg）であると求められる。
【００７１】
ところで、水平方向平行線描画部１７１は、奥行き方向平行線と同一の間隔の水平方向平行線を描画するものであるが、奥行き方向平行線と水平方向平行線とのそれぞれの間隔に誤差が生じた場合、画角算出部１７４において算出される画角に誤差が生じてしまう。
【００７２】
例えば、図１８に示されるように、図１７を用いて説明した場合と異なる間隔で水平方向の平行線が描画されてしまった場合、タイル画を用いて求められる画角が、図１７における場合の結果と異なるものとなってしまう。
【００７３】
このような場合、消失点推定部５２により推定された消失点を基に、上述した仰角を求め、入力された画像を真上から撮像した場合の像に対応する正体画像（例えば、入力された画像が図８に示される画像である場合の図７に示される画像）を生成し、これを基に、水平方向平行線を描画することができるようにしても良い。
【００７４】
図１９は、仰角を求めることができるようになされている場合の、水平方向平行線描画部１７１の構成例を示すブロック図である。
【００７５】
水平方向平行線描画部１７１は、仰角算出部２５１、正体画像生成部２５２、および、水平ライン描画部２５３により構成することができる。
【００７６】
仰角算出部２５１は、消失点推定部５２から供給された消失点の座標を利用して、入力画像の撮像時の撮像部の仰角を算出し、その算出結果を正体画像生成部２５２に供給する。
【００７７】
正体画像生成部２５２は、仰角算出部２５１から供給された仰角の算出結果を利用して、入力画像を正対画像に変換する。
【００７８】
仰角算出部２５１および正体画像生成部２５２が実行する処理を、図２０乃至図２８を用いて説明する。
【００７９】
例えば、図２０に示すような等間隔に穴が空いた鉄板Ｔを、図２１に示すように、カメラＣＡによって所定の仰角φで撮像すると、図２２に示すようにして、穴の模様（肌理）が手前になるほどが粗く、遠ざかるほどが細かくなるような勾配を有する画像Ｄａが得られる。なお、図２２中の目盛りＭは、穴の模様の縦方向（肌理の勾配方向）の位置を表している。
【００８０】
このような肌理の勾配を有する画像Ｄａを、今度は、図２３に示すように、プロジェクタＰＪを用いて、カメラＣＡの仰角φと同じ分だけ傾けられたスクリーンＳＣに表示すると、図２４に示されるように、実際の鉄板Ｔ（図２０）と同様に、穴の模様が一定間隔で並ぶ鉄板Ｔの画像Ｄｂが映し出される。
【００８１】
なお、図２４の矢印の元は、画像Ｄａの所定の穴の模様の縦方向の位置を表し、矢印の先は、矢印の元の画像Ｄａの穴の模様に対応する画像Ｄｂの穴の模様の縦方向の位置を表している。
【００８２】
すなわち、正体画像生成部２５２は、図２４に示すような正対画像（画像Ｄｂ）および入力画像（画像Ｄａ）の画素位置と仰角（φ）の幾何学的な関係を利用して、算出された仰角に基づいて、正対画像を構成する各画素に対応する入力画像の画素を検出し、検出した入力画像の画素の画像値を正対画像の画素に設定することで、正対画像を生成する。
【００８３】
なお、消失点（正確には消失点の像）Ｒは、図２２の例では、穴の模様の縦方向の間隔がなくなる図上、上方に存在する。また図２４に示すように、消失点Ｒと焦点Ｑを結ぶ線は、被写体の面（図２４の例では、スクリーンの面）と平行となることから、仰角（カメラ光軸と被写体の面の角度）は、消失点を求めることで得ることができる。すなわちこの理由から、仰角算出部２５１では、消失点を利用して仰角を算出する。
【００８４】
仰角φは、図２５に示すように、消失点Ｒと焦点Ｑを結ぶ直線と、結像面Ｚの中心点と焦点Ｑを結ぶ直線からなる角度と同値であるので、仰角は、式（１）に示すように算出される。
【００８５】
【数１】
【００８６】
なお式（１）中、ｐは、上述した図１３に示される入力画像の中心点と消失点Ｒの距離であり、ｈは、図１３に示される入力画像のＹ軸方向の大きさ（高さ）であり、ｒは、ｐ／ｈである。またｋは所定の係数である。また図２５に示した幾何学関係は、図２６に示すこともできる。
【００８７】
このようして仰角が算出されると、正体画像生成部２５２は、その仰角を利用して、入力画像を正対画像に変換する。
【００８８】
具体的には、正体画像生成部２５２は、図２７に示されるように、正対画像の画素（ｘ１，ｙ１）毎に、それに対応する入力画像の画素（ｘ０，ｙ０）を検出する。
【００８９】
正対画像の画素（ｘ１，ｙ１）、入力画像の画素（ｘ０，ｙ０）、および仰角φは、図２８に示すような幾何学的な関係を有しているので、正対画像の画素（ｘ１，ｙ１）に対応する入力画像の画素（ｘ０，ｙ０）は、式（２）に示すように求められる。これを用いて、入力画像が与えられたとき被写体平面上の実際の模様が推定可能である。
【００９０】
【数２】
【００９１】
そして、水平ライン描画部２５３は、正体画像生成部２５２により生成された正体画像に、奥行き方向の水平線および水平方向の平行線を描画したのち、正体画像生成部２５２が実行した変換と逆変換を実行することにより、図１６および図１７を用いて説明した様な、正しい奥行き方向の水平線および水平方向の平行線が描画された画像データを生成し、平行線抽出部１７２に供給する。
【００９２】
次に、図２９は、図２の画像変換処理部５４の構成を示すブロック図である。
【００９３】
ピンホールカメラモデルを前提とする通常の画像においては、画像を平面スクリーンに結像させるようになされているが、画像変換処理部５４においては、平面スクリーンに結像される画像を円柱に含まれる曲面からなるスクリーンに結像させた場合の画像に変換することができるようになされている。換言すれば、画像変換処理部５４は、平面スクリーンの画像を、円柱のうちの画角に対応する部分の曲面で構成されるスクリーンに、円柱の中心かつ水平線の高さとなる位置を基準点として投影した場合に得られる画像に変換することができるようになされている。例えば、図３０に示されるように、画像処理装置４１に供給された、カメラ３０１によって撮像される画像は、通常画像の結像スクリーン３０２に結像される。これに対して、円柱の一部を切り取った形状である仮想結像スクリーン３０３を想定する。画像変換処理部５４は、画像処理装置４１に供給された画像、すなわち、通常画像の結像スクリーン３０２に結像される画像を、仮想結像スクリーン３０３に結像される画像に変換する。
【００９４】
変換前画像データ取得部２８１は、画角推定部５３から供給される、画像処理装置４１に供給された画像、すなわち、変換前の画像の画像データを取得し、対応画素抽出部２８４に供給するとともに、変換前の画像の寸法情報を、変換先画像サーフェス生成部２８２に供給する。
【００９５】
変換先画像サーフェス生成部２８２は、変換前画像データ取得部２８１から供給された変換前の画像の寸法情報を基に、変換元画像と同じ寸法で変換先画像のサーフェスを用意し、注目画素抽出部２８３および変換画像生成部２８５に供給する。
【００９６】
注目画素抽出部２８３は、変換先画像サーフェス生成部２８２から供給された変換先画像のサーフェスから注目画素を抽出し、注目画素の座標情報を、対応画素抽出部２８４および変換画像生成部２８５に供給する。
【００９７】
対応画素抽出部２８４は、画角推定部５３から供給される画角の推定値を基に、注目画素抽出部２８３から供給される座標情報によって示される変換先画像の各画素について、変換元画像での対応する画素を求め、その画素値を変換画像生成部２８５に供給する。
【００９８】
具体的には、対応画素抽出部２８４は、図３１に示されるように、半径ａの円柱状のスクリーンと平面スクリーンとが接している場合において、半径ａの円柱状のスクリーンのうちの少なくとも一部に結ぶ像の各画素が、平面スクリーン上のどの画素位置になるかを求める。ここで、円柱状のスクリーンの半径ａは、変換前画像の画角と横幅によって決まる値である。すなわち、変換前画像の横幅の１／２を１とし、画角の１／２をθとしたとき、ａの値は、tanθ＝１／ａが成り立つ値となる。
【００９９】
ｘｙｚ座標系における原点（０，０，０）を、半径ａの円柱状スクリーンと、平面スクリーンとの交線上の点で、かつ、高さが消失点と等しい（すなわち、水平線の高さ）となる座標とし、半径ａの円柱状スクリーンの中心点を（０，０，−ａ）とする。半径ａの円柱状のスクリーン上の座標を、ｘ−ｚ平面におけるｚ軸からの角度θと、ｙ軸座標βとにより、（θ，β）と表した場合、これをｘｙｚ座標系に変換すると、（ａsinθ，β，Ａ（cosθ−１））となる。したがって、半径ａの円柱状のスクリーンに結ぶ像の画素（θ，β）に対応する平面スクリーン上の座標は、中心点（０，０，−ａ）と座標（ａsinθ，β，Ａ（cosθ−１））とを結ぶ直線が、ｘ−ｙ平面と交わる点であり、座標（ａtanθ，β／cosθ，０）となる。
【０１００】
また、対応画素抽出部２８４は、図３２に示されるように、半径ａの円柱状のスクリーンと平面スクリーンとが接している場合において、平面スクリーン上の各画素が、半径ａの円柱状のスクリーンのうちの少なくとも一部のどの画素位置になるかを求めるようにしてもよい。
【０１０１】
図３１を用いて説明した場合と同様に、ｘｙｚ座標系における原点（０，０，０）を、半径ａの円柱状スクリーンと、平面スクリーンとの交線上の点で、かつ、高さが消失点と等しい（すなわち、水平線の高さ）となる座標とし、半径ａの円柱状スクリーンの中心点を（０，０，−ａ）としたとき、平面スクリーン上の座標（Ｘ，Ｙ，０）に対応する円柱状のスクリーン上の座標は、中心点（０，０，−ａ）と座標（Ｘ，Ｙ，０）とを結ぶ直線が、円柱スクリーン面と交わる点であり、次の式（３）で表される座標である。
【０１０２】
【数３】
・・・（３）
【０１０３】
変換画像生成部２８５は、上述したような方法で、対応画素抽出部２８４から供給された変換元画像での対応する画素の画素値を、変換先画像サーフェスの注目画素位置にコピーするという動作を繰り返すことにより、変換画像を生成し、画像データ出力部５５に供給する。
【０１０４】
なお、図３１を用いて説明した方法と図３２を用いて説明した方法とを比較した場合、最終的に生成される画像データに画素落ちが生じないのは、図３１を用いて説明した方法であるので、対応画素抽出部２８４は、図３１を用いて説明した方法を用いて、変換先画像の各画素について変換元画像での対応する画素を求めるようにすると好適である。
【０１０５】
なお、図３１および図３２においては、半径ａの円柱の一部である仮想結像スクリーン３０３が、通常画像の結像スクリーン３０２と接している場合について説明したが、これらのスクリーンが接していない場合を想定して変換処理を行っても、上述した場合と同様の変換処理が可能である。すなわち、所定の半径の円柱のうちの画角に対応する領域（中心点とスクリーンとで描かれる扇形の中心角が画角となるような領域）に、同一の画角の平面スクリーンの画像が投影されていれば良い。ここで、円柱の半径は、画角と、スクリーン同士の位置関係によって決まる。また、変換先画像のサーフェスのサイズも、画角と、スクリーン同士の位置関係によって決まる。
【０１０６】
換言すれば、図３３に示されるように、通常画像の結像スクリーン３０２に結像される変換前の画像と、仮想結像スクリーン３０３−１乃至３０３−４のそれぞれに結像される変換後の画像とにおいて、画角および視点（カメラ３０１の位置、すなわち、中心点（０，０，−ａ）に対応する点）が同一となるように画像が投影されていれば、通常画像の結像スクリーン３０２が仮想結像スクリーン３０３を含む円柱の外側に存在しても、内側に存在しても、上述した場合と基本的に同様の変換処理を行うことが可能である。
【０１０７】
次に、図３４のフローチャートを参照して、図２の画像処理装置４１が実行する処理について説明する。
【０１０８】
ステップＳ１において、画像データ取得部５１は、変換前の画像データを取得し、消失点推定部５２に供給する。
【０１０９】
ステップＳ２において、消失点推定部５２は、図３５を用いて後述する消失点推定処理１、または、図３６を用いて後述する消失点推定処理２を実行する。
【０１１０】
ステップＳ３において、画角推定部５３は、図４１を用いて後述する画角推定処理を実行する。
【０１１１】
ステップＳ４において、画像変換処理部５４は、図４３を用いて後述する画像変換処理４を実行する。
【０１１２】
ステップＳ５において、画像データ出力部５５は、ステップＳ２において消失点が算出され、ステップＳ３において画角が推定されて、ステップＳ４において変換されて生成された変換後の画像データの供給を受け、これを出力し、処理が終了される。
【０１１３】
このように、図２の画像処理装置４１においては、消失点が算出され、画角が推定されて、これを基に、画像データが変換されて、変換後の画像データが出力される。出力された画像データは、大型の平面ディスプレイに表示されたり、印刷出力されたり、所定の記録媒体に記録されたり、所定の通信媒体を介して通信される。
【０１１４】
次に、図３５のフローチャートを参照して、図３４のステップＳ２において、図３を用いて説明した消失点推定部５２−１により実行される消失点推定処理１について説明する。
【０１１５】
ステップＳ２１において、奥行き方向平行線抽出部７１は、画像データ取得部５１により取得された画像から、地面（水平面）に対して平行であり、かつ、画像手前から奥に（カメラの視線の方向に対して同一方向に)伸びる直線を検出することにより、図５を用いて説明した様に、それぞれの間隔が等しい奥行き方向の平行線を複数抽出する。
【０１１６】
ステップＳ２２において、消失点算出部７２は、奥行き方向平行線抽出部７１において抽出された奥行き方向の水平線を基に、図５を用いて説明した様に、それらの画像上での交点を求めることにより、消失点を算出し、処理は、図３４のステップＳ２に戻り、ステップＳ３に進む。
【０１１７】
このような処理により、画像データの奥行き方向の平行線を基に、消失点が推定される。
【０１１８】
次に、図３６のフローチャートを参照して、図３４のステップＳ２において、図６を用いて説明した消失点推定部５２−２により実行される消失点推定処理２について説明する。
【０１１９】
ステップＳ４１において、特徴量抽出部１３１は、入力画像の各画素の特徴量を抽出する。特徴量としては、例えば、各画素の色差値やエッジ強度が抽出される。なおエッジ強度を特徴量とする場合、特徴量抽出部５１は、微分フィルタ（図示せず）を内蔵し、入力画像のエッジを強調してエッジ強度を抽出する。
【０１２０】
ステップＳ４２において、量子化部１３２は、ステップＳ４１において抽出された各画素の特徴量に基づいて、入力画像の特徴量を量子化する。
【０１２１】
例えば、特徴量が色差値である場合、所定の基準値と同じ色差値を有する画素の値が１とされ、それ以外の色差値を有する画素の値が０とされる。
【０１２２】
例えば、図８に示した入力画像は、図９に示すように量子化される。なお図９中、白点は、値１の画素を表し、黒点は、値０の画素を表している。
【０１２３】
ステップＳ４３において、肌理勾配算出部１３３および消失点算出部１３４の処理により、消失点が算出され、処理は、図３４のステップＳ２に戻り、ステップＳ３に進む。
【０１２４】
具体的には、肌理勾配算出部１３３は、ステップＳ４２で得られた量子化データ（図９）から、ライン毎に、白点（肌理）の間隔の平均値（肌理勾配データ）を算出する。例えば、図１０を用いて説明したように、所定のラインにおいて値が１の画素が複数並んでいる場合、その間隔ａ1，ａ2，ａ3，ａ4の平均値が算出される。
【０１２５】
そして肌理勾配算出部１３３は、算出したライン毎のこの平均値ＡＶ（図１２）に基づいて、図１２を用いて説明したように、回帰直線を設定する。すなわちこの回帰直線が肌理の勾配に相当する。
【０１２６】
そして、消失点算出部１３４は、設定された回帰直線と、そのＹ軸（入力画像上のＹ軸）との交点を消失点として算出する。
【０１２７】
このような処理により、肌理勾配を基に、消失点が求められる。
【０１２８】
ところで、図３６のステップＳ４１において、特徴量抽出部１３１は、入力画像の各画素の特徴量を抽出する。特徴量としては、例えば、各画素の色差値やエッジ強度が抽出される。
【０１２９】
ここで、図３７のフローチャートを参照して、特徴量として色差値が用いられる場合に、図３６のステップＳ４１において特徴量抽出部１３１が実行する、特徴量の基準値を決定するための処理について説明する。
【０１３０】
ステップＳ６１において、特徴量抽出部１３１は、入力画像から、所定の特徴量（この例の場合、色差値）のヒストグラムを生成する。
【０１３１】
ステップＳ６２において、特徴量抽出部１３１は、ステップＳ６１で生成されたヒストグラムにおいて、度数の上位ｎ個の色差値を選択する。
【０１３２】
ステップＳ６３において、特徴量抽出部１３１は、ステップＳ６２で選択されたｎ個の色差値の中から１個の色差値を選択する。そして、ステップＳ６４において、特徴量抽出部１３１は、選択された色差値と同じ色差値を有する画素の位置を検出する。
【０１３３】
次にステップＳ６５において、特徴量抽出部１３１は、図３８乃至図４０に示す例のように、ステップＳ６４でその位置が検出された画素の、水平方向の位置（Ｘ軸座標）の最大値と最小値の差、および垂直方向の位置（Ｙ軸座標）の最大値と最小値の差をそれぞれ算出するとともに、その合計値を算出する。
【０１３４】
ステップＳ６６において、特徴量抽出部１３１は、ステップＳ６２で選択されたｎ個の色差値の全てがステップＳ６３で選択されたか否かを判断する。ステップＳ６６において、まだ選択されていない色差値があると判断された場合、処理は、ステップＳ６３に戻り、次の色差値が選択され、ステップＳ６４以降の処理が繰り返される。
【０１３５】
ステップＳ６６において、すべての色差値が選択されたと判断された場合、ステップＳ６７おいて、特徴量抽出部１３１は、ステップＳ６５で算出された合計値の中で最大の合計値が得られた色差値を基準値として選択する。
【０１３６】
このようにして基準値が決定される。例えば、入力画像に、比較的多く存在する色であって、入力画像全体に分布している色の色差値などが基準値となり、そのような色について量子化が実行される。
【０１３７】
なお、ここでは、特徴量が色差値である場合を例として説明したが、エッジ強度等の他の特徴量についても同様にして基準値が決定される。
【０１３８】
次に、図４１のフローチャートを参照して、図３４のステップＳ３において、図１４を用いて説明した画角推定部５３が実行する画角推定処理について説明する。
【０１３９】
ステップＳ９１において、水平方向平行線描画部１７１は、消失点を求めるために予め奥行き方向の平行線が描画されている場合は、その奥行き方向の平行線に対して、図１５および図１６を用いて説明した様にして、水平方向平行線と同一の間隔で、すなわち、正体画像で正方形が描画されるように、水平方向平行線を描画する。または、奥行き方向の平行線が予め描画されていない場合は、水平方向平行線描画部１７１は、図５を用いて説明した場合と同様の処理において奥行き方向の平行線を描画して、描画された奥行き方向の平行線に対して、図１５および図１６を用いて説明した様にして、水平方向平行線と同一の間隔で、すなわち、正体画像で正方形が描画されるように、水平方向平行線を描画する。
【０１４０】
ステップＳ９２において、平行線抽出部１７２は、図１６を用いて説明した様に、奥行き方向平行線と、描画された正方形における対角線とで、画像データ内で平行となっているものを抽出する。
【０１４１】
ステップＳ９３において、タイル画生成部１７３は、奥行き方向平行線と水平方向平行線とを基に、図１７を用いて説明した様に、タイル画を生成する。
【０１４２】
ステップＳ９４において、画角算出部１７４は、タイル画生成部１７３により生成されたタイル画、水平方向平行線描画部１７１により描画されたベースライン、および、平行線抽出部１７２により抽出された画像上で平行となる奥行き方向平行線と描画された正方形における対角線とのペアを基に、図１７を用いて説明した様に、画角を算出し、処理は、図３４のステップＳ３に戻り、ステップＳ４に進む。
【０１４３】
このような処理により、変換前画像を撮像したカメラの画角を推定することができる。
【０１４４】
また、奥行き方向平行線と同一の間隔で水平方向平行線を描画することが困難な場合、すなわち、正体画像で正方形が描画されるように水平方向平行線を描画することが困難な場合、奥行き方向平行線と水平方向平行線とのそれぞれの間隔に誤差が生じ、その結果、画角算出部１７４において算出される画角に誤差が生じてしまう。
【０１４５】
例えば、図１８を用いて説明したように、図１７を用いて説明した場合と異なる間隔で水平方向の平行線が描画されてしまった場合、タイル画を用いて求められる画角が、図１７における場合の結果と異なるものとなってしまう。このような場合は、水平方向平行線描画部１７１の構成を図１８を用いて説明した様な構成として、変換前の画像を撮像したときのカメラの仰角を算出し、正体画像を生成することにより、正確に、奥行き方向の平行線に対して、正体画像で正方形が描画されるように、水平方向の平行線を描画するようにしても良い。
【０１４６】
次に、仰角を算出し正体画像を生成する場合の、図４１のステップＳ９１の処理に該当する処理である水平方向平行線描画処理について、図４２のフローチャートを参照して説明する。
【０１４７】
ステップＳ１１１において、仰角算出部２５１は、消失点推定部５２の処理により求められている消失点を基に、カメラの仰角を算出する。
【０１４８】
具体的には、仰角は、図２５に示すように、消失点Ｒと焦点Ｑを結ぶ直線と、結像面Ｚの中心点と焦点Ｑを結ぶ直線からなる角度と同値であるので、仰角は、上述した式（１）を用いて算出することができる。
【０１４９】
ステップＳ１１２において、正体画像生成部２５２は、その仰角を利用して、入力画像を正対画像に変換し正体画像を生成する。
【０１５０】
具体的には、正体画像生成部２５２は、図２７を用いて説明した様に、正対画像の画素（ｘ１，ｙ１）毎に、それに対応する入力画像の画素（ｘ０，ｙ０）を検出する。
【０１５１】
正対画像の画素（ｘ１，ｙ１）、入力画像の画素（ｘ０，ｙ０）、および仰角φは、図２８に示すような幾何学的な関係を有しているので、正対画像の画素（ｘ１，ｙ１）に対応する入力画像の画素（ｘ０，ｙ０）は、上述した式（２）を用いて求めることができる。これを用いて、入力画像が与えられたとき被写体平面上の実際の模様を推定することができる。
【０１５２】
ステップＳ１１３において、水平ライン描画部２５３は、生成された正体画像において、消失点を求めるために描画した奥行き方向の平行線に対して、正体画像で正方形が描画されるように、水平方向に平行線を描画する。
【０１５３】
そして、水平ライン描画部２５３は、正体画像生成部２５２に、奥行き方向の水平線および水平方向の平行線を描画したのち、正体画像生成部２５２が実行した変換と逆変換を実行することにより、図１５および図１６を用いて説明した様な、正しい奥行き方向の水平線および水平方向の平行線が描画された画像データを生成し、平行線抽出部１７２に供給する。
【０１５４】
このような処理により、仰角を基に正体画像が生成されるので、正確に、奥行き方向の平行線に対して、正体画像で正方形が描画されるように、水平方向に平行線を描画することができる。したがって、精度よく画角を推定することができる。
【０１５５】
次に、図４３のフローチャートを参照して、図３４のステップＳ４において、図２９を用いて説明した画像変換処理部５４が実行する、画像変換処理について説明する。
【０１５６】
ステップＳ１３１において、変換前画像データ取得部２８１は、変換前の画像データを取得し、変換先画像サーフェス生成部２８２および対応画素抽出部２８４に供給する。
【０１５７】
ステップＳ１３２において、変換先画像サーフェス生成部２８２は、変換前の画像データと同一の寸法の変換先画像サーフェスを用意し、注目画素抽出部２８３および変換画像生成部２８５に供給する。
【０１５８】
ステップＳ１３３において、注目画素抽出部２８３は、変換先画像サーフェス生成部２８２から供給された変換先画像サーフェスのうちの未処理の画素を注目画素として抽出し、注目画素の座標情報を、対応画素抽出部２８４および変換画像生成部２８５に供給する。
【０１５９】
ステップＳ１３４において、対応画素抽出部２８４は、画角推定部５３から供給される画角の推定値を基に、図３１または図３２を用いて説明した変換式を基に、変換前の画像データの画素のうち、抽出された注目画素に対応する画素を抽出し、その画素値を変換画像生成部２８５に供給する。
【０１６０】
ステップＳ１３５において、変換画像生成部２８５は、変換先画像サーフェスの注目画素位置に、対応画素抽出部２８４から供給された変換元画像での対応する画素の画素値をコピーする。
【０１６１】
ステップＳ１３６において、変換画像生成部２８５は、全ての画素において画素をコピーする処理が終了されたか否かを判断する。ステップＳ１３６において、画素をコピーする処理が全ての画素において終了されていないと判断された場合、処理は、ステップＳ１３３に戻り、それ以降の処理が繰り返される。ステップＳ１３６において、画素をコピーする処理が全ての画素において終了されたと判断された場合、処理は、図３４のステップＳ４に戻り、ステップＳ５に進む。
【０１６２】
このような処理により、所定のカメラ位置から撮像された平面画像データを構成する各画素が、画角および変換前の画像データの大きさに基づいて、円柱状の少なくとも一部として構成される仮想的なスクリーン上のいずれかの画素に置き換えられて、変換後の画像データが生成される。
【０１６３】
図４４に、図４に示される変換前画像が、図１７を用いて説明した様にして求められた画角ｆｏｖ1＝５７(deg)を基に変換されて生成された、変換後画像の例を示す。このとき、ａ＝１．０８６となる。
【０１６４】
図４４に示されるような「室内空間」を撮像した画像は、観察者が図４５Ａに示されるイの位置から正面に向かって観察したとき、図４５Ｂに示されるように、「室内空間」の中央に存在する観察者３５１が方向イを見た場合の網膜像に相当する網膜像を得ることができ、観察者が図４５Ａに示されるロの位置から正面に向かって観察したとき、図４５Ｂに示されるように、「室内空間」の中央に存在する観察者３５１が方向ロを見た場合の網膜像に相当する網膜像を得ることができ、観察者が図４５Ａに示されるハの位置から正面に向かって観察したとき、図４５Ｂに示されるように、「室内空間」の中央に存在する観察者３５１が方向ハを見た場合の網膜像に相当する網膜像を得ることができる。すなわち、図４４および図４５に示される変換後画像は、図４５Ａに示される位置イ乃至位置ハなど、その観察者の位置にかかわらず、観察者に正しい網膜像を与えることができるものである。
【０１６５】
「室内空間」の中央に存在する観察者３５１が、方向イから方向ハまでを角度を変更しながら、部屋の左下隅の角から部屋の右下隅の角までの部屋の奥の壁と床との境界線を観察したとき、その境界線と観察者３５１との距離は、部屋の左下隅の角（方向イ）と部屋の右下隅の角（方向ハ）が最も遠く、部屋の中央部分（方向ロ）が最も近い。すなわち、図４４および図４５に示される変換後画像においては、部屋の奥の壁と床との境界線は、直線ではなく、やや下に凸の曲線となり、部屋の左下隅および右下隅の角は、部屋の中央部分の床と奥の壁の境界よりも、画像上で高い位置、換言すれば、観察者から遠く感じる位置に描画される。
【０１６６】
なお、変換後画像には、通常の画像には発生しない上辺と下辺の湾曲が発生してしまうため、図４５Ａに示されるように、その上辺と下辺の湾曲部分が削除された画像、すなわち、図４５Ａの直線３５２−１と直線３５２−２との間の部分の画像を観察者に提示するようにすると好適である。
【０１６７】
図４６に、ｔａｎθ2＝１．０、すなわち、画角ｆｏｖ2＝２ｔａｎ-1１．０＝９０ｄｅｇであり、かつ、ａ＝２における場合の変換後画像の例を示す。
【０１６８】
そして、図４７に、ｔａｎθ3＝０．２５、すなわち、画角ｆｏｖ3＝２ｔａｎ-1０．２５＝２８．１ｄｅｇであり、かつ、ａ＝０．５における場合の変換後画像の例を示す。
【０１６９】
すなわち、図４４に示される変換後画像は、図４８Ａに示されるような画角ｆｏｖおよびカメラとカメラの焦点との奥行きの距離ａとの関係を基に変換され、図４６に示される変換後画像は、図４８Ｂに示されるような画角ｆｏｖおよびカメラとカメラの焦点との奥行きの距離ａとの関係を基に変換され、図４７に示される変換後画像は、図４８Ｃに示されるような画角ｆｏｖおよびカメラとカメラの焦点との奥行きの距離ａとの関係を基に変換されている。
【０１７０】
すなわち、図４６に示される変換後画像は、正しく求められた図４８Ａに示されるような画角ｆｏｖおよびカメラとカメラの焦点との奥行きの距離ａに対して、図４８Ｂに示されるように、実際よりも広い画角で、遠くのカメラにより撮像されたものとして生成されている。また、図４７に示される変換後画像は、正しく求められた図４８Ａに示されるような画角ｆｏｖおよびカメラとカメラの焦点との奥行きの距離ａに対して、図４８Ｃに示されるように、実際よりも狭い画角で、近くのカメラにより撮像されたものとして生成されている。
【０１７１】
このように、正しく推定された画角および焦点距離を基に画像が変換されなければ、その観察者の位置にかかわらず、観察者に正しい網膜像を与えることができる画像を生成することはできない。
【０１７２】
次に、所定のポイントから３６０度全ての向きにおける網膜像に対応する平面画像データを得る場合を例として、本発明を適用した場合の顕著な効果について説明する。
【０１７３】
例えば、図４９に示されるように、ユーザ４０１が、ベンチ４１１およびベンチ４２２が設置され、周りに木４１３−１乃至４１３−８がある、直線状に伸びた歩道４０２において、自分自身の周辺３６０度の画像データを得る場合を想定して説明する。
【０１７４】
まず、図４９に示されるように、ユーザ４０１から、９０（deg）ずつ角度を変えて、歩道４０２の一方であって、ベンチ４１１およびベンチ４２２が設置されている方向に対応する方向ａ、方向ａと９０（deg）向きが異なり、木４１３−８がある方向に対応する方向ｂ、方向ａと１８０（deg）向きが異なる方向ｃ、並びに、方向ｃと９０（deg）向きが異なり、木４１３−１乃至４１３−７がある方向に対応する方向ｄの４方向の画像を撮像した場合に得られる画像を図５０に示す。
【０１７５】
図５０に示されるように、方向ａを撮像した画像は、画像４５１である。画像４５１には、ベンチ４１１およびベンチ４２２が含まれ、歩道４０２は画像内の遠方方向に伸び、歩道４０２の境界線は、消失点（画像４５１の外部に存在する消失点）に収束する斜めの直線となる。方向ｂを撮像した画像は、画像４５２である。画像４５２には、木４１３−８が含まれ、歩道４０２の境界線は、画面上、水平方向の直線である。方向ｃを撮像した画像は、画像４５３である。画像４５３において、歩道４０２は画像内の遠方方向に伸び、歩道４０２の境界線は、消失点（画像４５３の外部に存在する消失点）に収束する斜めの直線となる。方向ｄを撮像した画像は、画像４５４である。画像４５４には、複数の木４１３が含まれ、歩道４０２の境界線は、画面上、水平方向の直線である。
【０１７６】
そして、図５０に示される４枚の画像を単純に接続すると、図５１に示される画像４７１となる。なお、画像４１７においては、画像と画像との境界部分に存在する木４１３などは、不自然ではないように補正されるものとする。
【０１７７】
ここで、その元となる画像４５１乃至画像４５４のそれぞれにおいて、歩道４０２の境界線は、消失点に向かって収束する直線であるか、水平方向の直線であるかのいずれかである。したがって、画像４７１においては、歩道４０２の境界線が、全て直線により構成されてしまうため、図４９に示されるユーザ４０１が、自分自身の周辺３６０度を観察した場合に得られる網膜像とは異なり、上述した角度ａ乃至角度ｄのそれぞれのちょうど中間の角度（画像４５１乃至画像４５４の接続部分）において、歩道の境界が、所定の角度を持って曲がってしまうような、違和感のあるものとなってしまう。
【０１７８】
これに対して、例えば、図４９に示されるユーザ４０１の位置から撮像される画像を増やして、例えば、２倍の８枚の画像を合成して接続することにより、画像を生成する場合について考える。
【０１７９】
例えば、図５１を用いて説明した画像４７１において、画像４５１乃至画像４５４の接続部分に、上述した角度ａ乃至角度ｄのそれぞれのちょうど中間の角度で撮像された画像を接続した場合、図５２に示される画像４８１を得ることができる。しかしながら、画像４８１においても、歩道の境界部分は、８枚のそれぞれの画像の接続部分において所定の角度で接続される直線の集合である。
【０１８０】
すなわち、従来のピンホールカメラの原理により得られる画像を用いて、周辺３６０度を観察した場合に得られる網膜像に近い画像を得るために、撮像される枚数（撮像される画像の方向）を増やしても、歩道の境界部分は、厳密には、直線が接続されたものとなり、観察者であるユーザ４０１の目に映る網膜像のようにはならない。
【０１８１】
これに対して、本発明を適用した画像処理装置４１を用いて、従来のピンホールカメラの原理により得られる画像を上述した方法で変換し、適宜接続した場合、図５３に示される画像５０１のように、歩道の境界部分はなだらかな曲線に変換される。すなわち、画像５０１の前面のいかなる位置からその正面が観察された場合であっても、観察者に与えられる網膜像は、ユーザ４０１が３６０度回転した場合にその目に映る網膜像と略同等のものとなる。
【０１８２】
このようにして、本発明を適用することにより、従来のピンホールカメラの原理により得られる画像を接続しただけでは得ることができない、実際空間のユーザ４０１の目に映る網膜像と略同等の網膜像を複数の観察者の視点において得ることが可能な平面画像を生成することが可能となる。
【０１８３】
また、本発明は、通常のカメラによって撮像された画像または映像を変換する以外にも、例えば、コンピュータグラフィクスなどを用いて画像または映像が作成される場合においても適用可能である。すなわち、ピンホールカメラの原理に基づいて撮像された画像と同様の方法で奥行きが表現されている画像または映像を、本発明を用いて変換するようにしてもよい。
【０１８４】
また、例えば、人がスクリーンに入り込んだり、スクリーンがミラーとなるようにユーザに感じさせるようなアプリケーションがある。具体的には、例えば、大型スクリーンに細かいビーズや液体状のものが降ってくる映像が投影され、そのスクリーン内のビーズや液体が、スクリーン前に存在するユーザのスクリーン上の影に当たって、現実世界においてビーズや液体がユーザに当たったときのような振る舞いをしたり、スクリーン内に蝶々が飛んできて、スクリーン前に存在するユーザのスクリーン上の影に止まるような、平面的でありながら、いわゆる、仮想現実（virtual reality）または複合現実感（mixed reality）をユーザに提供するアプリケーションがある。
【０１８５】
このようなアプリケーションにおいて、本発明を適用することも可能である。すなわち、スクリーンに表示される画像または映像の生成に本発明を適用することにより、スクリーンに表示される画像または映像に対して特定されない位置（例えば、図４５Ａにおける位置イロハなど）に存在するユーザに対して、より現実世界に近い感覚を与えることが可能となる。
【０１８６】
このようにして、本発明を適用して、通常のカメラで撮影した画像に対して、所定の画像変換を施して生成された変換後画像は、その画像を観察する観察者が、変換後画像の前面のいかなる位置から観察者自身の正面を観察しても（観察者の視線が変換後画像平面に対して垂直または略垂直の方向であれば）実際の世界に臨場した場合と同様の網膜像を観察者に提供することが可能になる。
【０１８７】
また、このようにして、本発明を適用して、通常のカメラで撮影した画像に対して、所定の画像変換を施して生成された変換後画像を表示するディスプレイは、大きいものがより好ましい。
【０１８８】
また、本発明の画像変換は、カメラなどで撮像された画像のみならず、例えば、コンピュータグラフィックスなどによって生成された画像に対して適用することも可能である。
【０１８９】
このように生成された画像または映像は、大型の平面スクリーンに表示されたり、印刷出力されて観察者に観察されるのみならず、画像または映像を利用する各種アプリケーションに適用することが可能である。
【０１９０】
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。この場合、例えば、生体情報処理装置１は、図５４に示されるようなパーソナルコンピュータ９０１により構成される。
【０１９１】
図５４において、CPU（Central Processing Unit）９２１は、ROM（Read Only Memory）９２２に記憶されているプログラム、または記憶部９２８からRAM（Random Access Memory）９２３にロードされたプログラムに従って各種の処理を実行する。RAM９２３にはまた、CPU９２１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１９２】
CPU９２１、ROM９２２、およびRAM９２３は、バス９２４を介して相互に接続されている。このバス９２４にはまた、入出力インタフェース９２５も接続されている。
【０１９３】
入出力インタフェース９２５には、キーボード、マウスなどよりなる入力部９２６、CRT（Cathode Ray Tube)、LCD（Liquid Crystal display）などよりなるディスプレイ、並びにスピーカなどよりなる出力部９２７、ハードディスクなどより構成される記憶部９２８、モデムなどより構成される通信部９２９が接続されている。通信部９２９は、インターネットを含むネットワークを介しての通信処理を行う。
【０１９４】
入出力インタフェース９２５にはまた、必要に応じてドライブ９３０が接続され、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどのリムーバブルメディア９３１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部９２８にインストールされる。
【０１９５】
一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【０１９６】
この記録媒体は、図５４に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フロッピディスクを含む）、光ディスク（CD-ROM（Compact Disk-Read Only Memory)，DVD（Digital Versatile Disk）を含む）、光磁気ディスク（ＭＤ（Mini-Disk）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア９３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM９２２や、記憶部９２８に含まれるハードディスクなどで構成される。
【０１９７】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１９８】
また、本明細書において、システムとは、複数の装置（または特定の機能を実現する機能モジュール）が論理的に集合したものを意味し、各装置や機能モジュールが単一の筐体内にあるか否かは問わない。
【図面の簡単な説明】
【０１９９】
【図１】曲面のスクリーンと平面のスクリーンについて説明するための図である。
【図２】本発明を適用した画像処理装置の構成例について説明するためのブロック図である。
【図３】図２の消失点推定部の第１の構成例について説明するためのブロック図である。
【図４】供給される画像の例を示す図である。
【図５】奥行き方向平行線と消失点について説明するための図である。
【図６】図２の消失点推定部の第２の構成例について説明するためのブロック図である。
【図７】正体図について説明するための図である。
【図８】所定の仰角をもって撮像された画像について説明するための図である。
【図９】量子化データについて説明するための図である。
【図１０】肌理の間隔の平均値について説明するための図である。
【図１１】肌理の間隔の平均値について説明するための図である。
【図１２】肌理の間隔の平均値を基に求められる消失点について説明するための図である。
【図１３】肌理の間隔の平均値を基に求められる消失点について説明するための図である。
【図１４】図２の画角推定部の構成例について説明するためのブロック図である。
【図１５】水平方向平行線について説明するための図である。
【図１６】対角線と平行な奥行き方向平行線の抽出について説明するための図である。
【図１７】タイル画の生成と推定される画角について説明するための図である。
【図１８】奥行き方向平行線の描画に誤差があった場合について説明するための図である。
【図１９】図１４の水平方向平行線描画部の構成例について説明するためのブロック図である。
【図２０】被写体の他の例を示す図である。
【図２１】画像変換の原理を説明する図である
【図２２】図２０の被写体に対する撮像画像ついて説明するための図である。
【図２３】撮像画像と正体画像の画像変換の原理を説明するための図である。
【図２４】撮像画像と正体画像の画像変換の原理を説明するための図である。
【図２５】撮像画像と正体画像の画像変換の原理を説明するための図である。
【図２６】撮像画像と正体画像の画像変換の原理を説明するための図である。
【図２７】撮像画像と正体画像の画像変換の原理を説明するための図である。
【図２８】撮像画像と正体画像の画像変換の原理を説明するための図である。
【図２９】図２の画像変換処理部の構成例について説明するためのブロック図である。
【図３０】通常画像の結像スクリーンと、仮想的な結像スクリーンについて説明するための図である。
【図３１】２つのスクリーンにおける画素位置の対応について説明するための図である。
【図３２】２つのスクリーンにおける画素位置の対応について説明するための図である。
【図３３】通常画像の結像スクリーンと、仮想的な結像スクリーンの位置について説明するための図である。
【図３４】画像処理装置の処理について説明するためのフローチャートである。
【図３５】消失点推定処理１について説明するためのフローチャートである。
【図３６】消失点推定処理２について説明するためのフローチャートである。
【図３７】基準値決定処理について説明するためのフローチャートである。
【図３８】肌理を特定する際の基準値を決定する処理を説明するための図である。
【図３９】肌理を特定する際の基準値を決定する処理を説明するための図である。
【図４０】肌理を特定する際の基準値を決定する処理を説明するための図である。
【図４１】画角推定処理について説明するためのフローチャートである。
【図４２】水平方向平行線描画処理について説明するためのフローチャートである。
【図４３】画像変換処理について説明するためのフローチャートである。
【図４４】本発明を適用して正しく推定された画角を基に変更された画像について説明するための図である。
【図４５】本発明を適用して正しく推定された画角を基に変更された画像について説明するための図である。
【図４６】誤って推定された画角を基に変更された画像について説明するための図である。
【図４７】誤って推定された画角を基に変更された画像について説明するための図である。
【図４８】図４４、図４６、および、図４７における画角と焦点距離について説明するための図である。
【図４９】ユーザの周囲３６０度を撮像する場合について説明するための図である。
【図５０】図４９において４方向を撮像して得られる画像について説明するための図である。
【図５１】図５０の画像を接続して得られる画像について説明するための図である。
【図５２】図４９において８方向を撮像して得られる画像を接続して生成される画像について説明するための図である。
【図５３】本発明を適用して生成される画像について説明するための図である。
【図５４】パーソナルコンピュータの構成を示すブロック図である。
【符号の説明】
【０２００】
４１ 画像処理装置， ５１ 画像データ取得部， ５２ 消失点推定部， ５３ 画角推定部， ５４ 画像変換処理部， ５５ 画像データ出力部， ７１ 奥行き方向平行線抽出部， ７２ 消失点算出部， １３１ 特徴量抽出部， １３２ 量子化部， １３３ 肌理勾配算出部， １３４ 消失点算出部， １７１ 水平方向平行線描画部， １７２ 平行線抽出部， １７３ タイル画生成部， １７４ 画角算出部， １９１ ベースライン， ２５１ 仰角算出部， ２５２ 正体画像生成部， ２５３ 水平ライン描画部， ２８１ 変換前画像データ取得部， １８２ 変換先画像サーフェス生成部， ２８３ 注目画素抽出部， ２８４ 対応画素抽出部， ２８５ 変換画像生成部
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法、プログラム、並びに、記録媒体に関し、特に、特定されない位置から観察する観察者に対して、違和感のない網膜像を提供することができる画像処理装置および画像処理方法、プログラム、並びに、記録媒体に関する。
【背景技術】
【０００２】
大型スクリーンを用いて、観察者の等身大またはそれ以上のスケールの映像を臨場感をもって提示するためには、従来、観察者がスクリーン前の所定の位置に立つか、または、観察者の位置によって提示する映像を変換することにより、スクリーンを観察したユーザが、臨場感のある、正しい（違和感のない）網膜像を得ることができるようになされていた。ここで、正しい網膜像とは、観察者が、スクリーンに投影された映像を観察して得られる網膜像と、実際の風景に臨場した場合に得られる網膜像とが実質的に同等であるということを示す。
【０００３】
また、観察者に臨場感のある映像を提示するための技術として、例えば、没入型ディスプレイ装置と称されるものがある。没入方ディスプレイを用いて、例えば、ユーザを囲むようにして周りの空間に大型のスクリーンを配置し、スクリーンの背面からプロジェクタで映像を投影することにより、この空間内でさまざまな仮想体験ができるシステムがある（例えば、非特許文献１）。
【０００４】
【非特許文献１】Cruz-Neira,C. ,Sandin,D.J. and DeFanti,T.A., ; 鉄urround-Screen Projection-Based Virtual Reality ：The Design and Implementation of the CAVE 刀CProceedings of SIGGRAPH '93 ，pp.135-142 ，1993.
【発明の開示】
【発明が解決しようとする課題】
【０００５】
従来、大型スクリーンを用いて、観察者に臨場感のある映像を提示する場合、上述したように、観察者がスクリーン前の所定の位置に立つか、または、観察者の位置によって提示する映像を変換する必要があった。すなわち、従来の技術においては、ある一箇所から観察される映像のみが、観察者に正しい網膜像を与えることができるようになされていた。したがって、従来の技術では、例えば、複数の観察者が同時に映像を観察したとき、複数の観察者に、同時に正しい網膜像を与えることができなかった。
【０００６】
本発明はこのような状況に鑑みてなされたものであり、提示される映像または画像の前面（提示される映像または画像の幅と等しい幅の範囲内）の特定されない位置から観察する観察者に対して、違和感のない網膜像を提供することができるようにするものである。
【課題を解決するための手段】
【０００７】
本発明の第１の画像処理装置は、第１の平面画像データの消失点を推定する消失点推定手段と、第１の平面画像データの画角を推定する画角推定手段と、消失点推定手段により推定された消失点、および、画角推定手段により推定された画角を基に、所定の半径の円柱のうち、画角に対応する部分の曲面に、円柱の中心かつ消失点と同一の高さとなる位置を基準点として、第１の平面画像データが投影された場合に対応する第２の平面画像データを生成する画像生成手段とを備えることを特徴とする。
【０００８】
画角推定手段には、消失点推定手段により推定された消失点を基に、画角を推定させるようにすることができる。
【０００９】
消失点推定手段には、第１の平面画像データのパース線を描画する描画手段と、描画手段により描画されたパース線を基に、第１の平面画像データの消失点を抽出する消失点抽出手段とを含ませるようにすることができる。
【００１０】
消失点推定手段には、第１の平面画像データの特徴量を抽出する特徴量抽出手段と、特徴量抽出手段により抽出された特徴量を量子化する特徴量量子化手段と、特徴量量子化手段により量子化された特徴量を基に、特徴量が第１の平面画像データの垂直方向にどのような勾配を伴って分布しているかを示す特徴量分布を算出する特徴量分布算出手段と、特徴量分布算出手段により算出された特徴量分布を基に、第１の平面画像データの消失点を抽出する消失点抽出手段とを含ませるようにすることができる。
【００１１】
画角推定手段には、第１の平面画像データにおいて表現される空間を垂直上方から観察した場合を想定した平面図を生成する平面図生成手段と、平面図生成手段により生成された平面図内で、第１の平面画像データにおける視点の位置を検出することにより、画角を算出する画角算出手段とを含ませるようにすることができる。
【００１２】
平面図生成手段には、第１の平面画像データの視点の仰角を求めることにより平面図を作成させるようにすることができる。
【００１３】
画像生成手段には、円柱の半径を、画角推定手段により推定された画角、および、第１の平面画像データの画像サイズを基に決定させるようにすることができる。
【００１４】
画像生成手段により生成された第２の平面画像データを表示する表示手段を更に備えさせることができ、表示手段は、平面形状のディスプレイで構成させることができる。
【００１５】
本発明の第１の画像処理方法は、第１の平面画像データの消失点を推定する消失点推定ステップと、第１の平面画像データの画角を推定する画角推定ステップと、消失点推定ステップの処理により推定された消失点、および、画角推定ステップの処理により推定された画角を基に、所定の半径の円柱のうち、画角に対応する部分の曲面に、円柱の中心かつ消失点と同一の高さとなる位置を基準点として、第１の平面画像データが投影された場合に対応する第２の平面画像データを生成する画像生成ステップとを含むことを特徴とする。
【００１６】
本発明の第１のプログラムまたは記録媒体に記録されているプログラムは、第１の平面画像データの消失点を推定する消失点推定ステップと、第１の平面画像データの画角を推定する画角推定ステップと、消失点推定ステップの処理により推定された消失点、および、画角推定ステップの処理により推定された画角を基に、所定の半径の円柱のうち、画角に対応する部分の曲面に、円柱の中心かつ消失点と同一の高さとなる位置を基準点として、第１の平面画像データが投影された場合に対応する第２の平面画像データを生成する画像生成ステップとを含むことを特徴とする処理をコンピュータに実行させる。
【００１７】
本発明の第１の画像処理装置および画像処理方法、並びに、プログラムにおいては、第１の平面画像データの消失点が推定され、第１の平面画像データの画角が推定され、これらを基に、第２の平面画像データが生成される。生成される第２の平面画像データは、所定の半径の円柱のうち、第１の平面画像データの画角に対応する部分の曲面に、円柱の中心かつ消失点と同一の高さとなる位置を基準点として、第１の平面画像データが投影されたものである。
【００１８】
本発明の第２の画像処理装置は、第１の平面画像データの消失点と第１の平面画像データの画角が入力される入力手段と、入力手段により入力された消失点、および画角を基に、所定の半径の円柱のうち、画角に対応する部分の曲面に、円柱の中心かつ消失点と同一の高さとなる位置を基準点として、第１の平面画像データが投影された場合に対応する第２の平面画像データを生成する画像生成手段とを備えることを特徴とする。
【００１９】
画像生成手段により生成された第２の平面画像データを表示する表示手段を更に備えさせることができ、表示手段は、平面形状のディスプレイで構成させることができる。
【００２０】
本発明の第２の画像処理方法は、第１の平面画像データの消失点と第１の平面画像データの画角の入力を制御する入力制御ステップと、入力制御ステップの処理により入力が制御された消失点、および画角を基に、所定の半径の円柱のうち、画角に対応する部分の曲面に、円柱の中心かつ消失点と同一の高さとなる位置を基準点として、第１の平面画像データが投影された場合に対応する第２の平面画像データを生成する画像生成ステップとを含むことを特徴とする。
【００２１】
本発明の第２の画像処理装置および画像処理方法においては、第１の平面画像データの消失点と第１の平面画像データの画角の入力を受け、入力された消失点、および画角を基に、所定の半径の円柱のうち、画角に対応する部分の曲面に、円柱の中心かつ消失点と同一の高さとなる位置を基準点として、第１の平面画像データが投影された場合に対応する第２の平面画像データが生成される。
【発明の効果】
【００２２】
本発明によれば、第１の平面画像を第２の平面画像に変換することができ、特に、奥行きを有する空間が表現されている第１の平面画像を基に、特定されない位置から観察する観察者に対して違和感のない網膜像を提供することができるような第２の平面画像を生成することができる。
【発明を実施するための最良の形態】
【００２３】
以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、発明の実施の形態に記載されていることを確認するためのものである。したがって、発明の実施の形態中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００２４】
さらに、この記載は、発明の実施の形態に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、発明の実施の形態に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。
【００２５】
請求項１に記載の画像処理装置（例えば、図２の画像処理装置４１）は、奥行きを有する空間が表現されている第１の平面画像データ（たとえば、図４の画像８１）を取得して変換する画像処理装置であって、第１の平面画像データの消失点（例えば、図１３または図５に示される消失点）を推定する消失点推定手段（例えば、図２の消失点推定部５２）と、第１の平面画像データの画角を推定する画角推定手段（例えば、図２の画角推定部５３）と、消失点推定手段により推定された消失点、および、画角推定手段により推定された画角を基に、所定の半径（例えば、図３１または図３２のａ）の円柱のうち、画角に対応する部分の曲面に、円柱の中心かつ消失点と同一の高さとなる位置（例えば、図３１または図３２の（０，０，−ａ）となる点）を基準点として、第１の平面画像データが投影された場合に対応する第２の平面画像データを生成する画像生成手段（例えば、図２の画像変換処理部５４）とを備えることを特徴とする。
【００２６】
消失点推定手段（例えば、図３の消失点推定部５２-１）は、第１の平面画像データのパース線を描画する描画手段（例えば、図３の奥行き方向平行線抽出部７１）と、描画手段により描画されたパース線を基に、第１の平面画像データの消失点を抽出する消失点抽出手段（例えば、図３の消失点算出部７２）とを含むことができる。
【００２７】
消失点推定手段（例えば、図６の消失点推定部５２-２）は、第１の平面画像データの特徴量を抽出する特徴量抽出手段（例えば、図６の特徴量抽出部１３１）と、特徴量抽出手段により抽出された特徴量を量子化する特徴量量子化手段（例えば、図６の量子化部１３２）と、特徴量量子化手段により量子化された特徴量を基に、特徴量が第１の平面画像データの垂直方向にどのような勾配を伴って分布しているかを示す特徴量分布（例えば、肌理勾配）を算出する特徴量分布算出手段（例えば、図６の肌理勾配算出部１３３）と、特徴量分布算出手段により算出された特徴量分布を基に、第１の平面画像データの消失点を抽出する消失点抽出手段（例えば、図６の消失点算出部１３４）とを含むことができる。
【００２８】
画角推定手段は、第１の平面画像データにおいて表現される空間を垂直上方から観察した場合を想定した平面図（例えば、図１７に示されるタイル画）を生成する平面図生成手段（例えば、図１４のタイル画生成部１７３）と、平面図生成手段により生成された平面図内で、第１の平面画像データにおける視点の位置（例えば、図１７に示されるカメラの位置）を検出することにより、画角を算出する画角算出手段（例えば、図１４の画角算出部１７４）とを含むことができる。
【００２９】
平面図生成手段は、第１の平面画像データの視点の仰角を求めること（例えば、図１９を用いて説明した水平方向平行線描画部１７１の処理）により平面図を作成することができる。
【００３０】
画像生成手段により生成された第２の平面画像データを表示する表示手段を更に備えることができ、表示手段は、平面形状のディスプレイ（例えば、図４４または図４５に示される画像を表示する平面ディスプレイ、もしくは、図５３の画像５０１を表示する平面ディスプレイ）で構成することができる。
【００３１】
請求項９に記載の情報処理方法は、奥行きを有する空間が表現されている第１の平面画像データ（たとえば、図４の画像８１）を取得して変換する画像処理装置（例えば、図２の画像処理装置４１）の画像処理方法であって、第１の平面画像データの消失点（例えば、図１３または図５に示される消失点）を推定する消失点推定ステップ（例えば、図３４のステップＳ２の処理）と、第１の平面画像データの画角を推定する画角推定ステップ（例えば、図３４のステップＳ３の処理）と、消失点推定ステップの処理により推定された消失点、および、画角推定ステップの処理により推定された画角を基に、所定の半径（例えば、図３１または図３２のａ）の円柱のうち、画角に対応する部分の曲面に、円柱の中心かつ消失点と同一の高さとなる位置（例えば、図３１または図３２の（０，０，−ａ）となる点）を基準点として、第１の平面画像データが投影された場合に対応する第２の平面画像データを生成する画像生成ステップ（例えば、図３４のステップＳ４の処理）とを含むことを特徴とする。
【００３２】
また、請求項１０に記載のプログラム、および、請求項１１に記載の記録媒体に記録されているプログラムにおいても、各ステップが対応する実施の形態（但し一例）は、請求項９に記載の情報処理方法と同様である。
【００３３】
請求項１２に記載の画像処理装置（例えば、図２の画像処理装置４１）は、奥行きを有する空間が表現されている第１の平面画像データ（たとえば、図４の画像８１）を取得して変換する画像処理装置であって、第１の平面画像データの消失点と第１の平面画像データの画角が入力される入力手段と、入力手段により入力された消失点、および画角を基に、所定の半径（例えば、図３１または図３２のａ）の円柱のうち、画角に対応する部分の曲面に、円柱の中心かつ消失点と同一の高さとなる位置（例えば、図３１または図３２の（０，０，−ａ）となる点）を基準点として、第１の平面画像データが投影された場合に対応する第２の平面画像データを生成する画像生成手段（例えば、図２の画像変換処理部５４）とを備えることを特徴とする。
【００３４】
画像生成手段により生成された第２の平面画像データを表示する表示手段を更に備えることができ、表示手段は、平面形状のディスプレイ（例えば、図４４または図４５に示される画像を表示する平面ディスプレイ、もしくは、図５３の画像５０１を表示する平面ディスプレイ）で構成することができる。
【００３５】
請求項１４に記載の画像処理方法は、奥行きを有する空間が表現されている第１の平面画像データ（たとえば、図４の画像８１）を取得して変換する画像処理装置（例えば、図２の画像処理装置４１）の画像処理方法であって、第１の平面画像データの消失点と第１の平面画像データの画角の入力を制御する入力制御ステップと、入力制御ステップの処理により入力が制御された消失点、および画角を基に、所定の半径（例えば、図３１または図３２のａ）の円柱のうち、画角に対応する部分の曲面に、円柱の中心かつ消失点と同一の高さとなる位置（例えば、図３１または図３２の（０，０，−ａ）となる点）を基準点として、第１の平面画像データが投影された場合に対応する第２の平面画像データを生成する画像生成ステップ（例えば、図３４のステップＳ４の処理）とを含むことを特徴とする。
【００３６】
以下、図を参照して、本発明の実施の形態について説明する。
【００３７】
本発明を適用した画像処理装置は、通常のカメラによって撮像された所定の画角内の平面の画像または映像、すなわち、カメラのレンズ位置を視点として撮像された平面の画像または映像を基に、複数の視点から観察しても違和感を覚えない平面画像または映像を生成するものである。
【００３８】
例えば、図１に示されるように、曲面１を含む円柱状の曲面には、その円柱の中心位置に存在する観察者１１が水平方向に３６０度回転して観察した場合に、どの角度においても違和感がないような画像または映像を投影することが可能である。
【００３９】
本発明を適用した画像処理装置は、通常のカメラによって撮像された平面画像または複数の平面画像からなる動画像（映像）を、曲面１に投影した場合と同様に変換し、変換された画像または映像を平面２に表示するか、または、同様の平面に印刷出力することができるようにするものである。このようにして平面２に提示された画像または映像は、その前面にいる複数の観察者１２乃至１４が、自分の位置から真正面を観察した場合（観察者の視線が、平面２に対して垂直または垂直に近い角度である場合）、曲面１を含む円柱の中央に存在する観察者１１が曲面２に対する向き（角度）を変更した場合と同様の正しい網膜像を得ることができる。
【００４０】
以下、画像の処理を例として説明するが、映像（動画像）は、複数フレームの画像（静止画像）により構成されるものとして、映像（動画像）が提示される場合にも、全てのフレーム画像に本発明を適用した処理が施されることにより、本発明は適用可能であることはいうまでもない。
【００４１】
図２は、本発明を適用した画像処理装置４１の構成例を示すブロック図である。
【００４２】
画像処理装置４１は、画像データ取得部５１、消失点推定部５２、画角推定部５３、画像変換処理部５４、および、画像データ出力部５５で構成されている。
【００４３】
画像データ取得部５１は、通常のカメラによって撮像された平面の画像、すなわち、カメラのレンズ位置を視点として、いわゆるピンホールカメラの原理に基づいて撮像された通常の平面の画像に対応する画像データを取得し、消失点推定部５２に供給する。
【００４４】
消失点推定部５２は、供給された画像データの消失点を検出し、検出された消失点の情報と、供給された画像データを、画角推定部５３に供給する。消失点とは、透視変換によって三次元空間中の平行線を画像平面上に投影した場合に、それら平行線に対応する画面平面状の直線が収束する点のことである。すなわち、消失点とは、実際は奥行きを有している空間が投影された平面画像上において、「無限に遠い点」であり、奥行き方向に平行な線（例えば、部屋の画像であれば、その稜線）の延長線が交わる点や、奥行き方向に伸びる面（例えば、部屋の画像であれば、奥行き方向に伸びる床、壁、天井に対応するそれぞれの平面）の延長が無限遠方に収束する点として認識されるものである。消失点から画像内で水平方向に描画された直線は地平線であるため、消失点の推定は、換言すれば、地平線の推定である。消失点推定部５２による消失点の推定方法はいかなる方法であっても良いが、その具体例として、２種類の消失点の推定方法について、図３乃至図１３を用いて後述する。
【００４５】
画角推定部５３は、供給された画像データの画角、すなわち、画像データを撮像したカメラにおける撮像範囲を表す角度を推定し、画角の推定値と、供給された画像データを、画像変換処理部５４に供給する。画角推定部５３による画角の推定方法はいかなる方法であっても良いが、その具体例は、図１４乃至図２８を用いて後述する。
【００４６】
画像変換処理部５４は、画角推定部５３から供給された画角の推定値を基に、供給された画像データを変換し、画像データ出力部５５に供給する。画像変換処理部５４の処理の詳細については、図２９乃至図３３を用いて後述する。
【００４７】
画像データ出力部５５は、画像変換処理部５４から供給された変換済みの画像データを、例えば、平面形状の大型ディスプレイに出力して表示させたり、プリンタに出力して印刷出力させたり、所定の記録媒体に記録させたり、所定の通信媒体を用いて、他の装置に送信する処理などを実行する。
【００４８】
なお、供給された画像データの消失点が予め分かっている場合、画角の推定処理に予め分かっている消失点の情報を用いることにより、消失点推定部５２による消失点の推定処理を省略することが可能である。また、供給される画像データの画角が予め分かっている場合、画像変換処理部５４による画像の変換処理に予め判っている画角の情報を用いることにより、画角推定部５３による画角の推定処理を省略することが可能である。
【００４９】
このような場合、例えば、図２に示される画像処理装置４１に、図示しないデータ入力部が備えられ、消失点、または、画角を示すデータの入力を受けて、入力されたデータを画像変換処理部５４に供給するようになされる。
【００５０】
図３は、図１の消失点推定部５２の第１の構成例であり、第１の消失点推定方法によって消失点を推定する消失点推定部５２-１の構成を示すブロック図である。
【００５１】
奥行き方向平行線抽出部７１は、供給された画像データから、例えば、エッジフィルタなどを用いて直線成分を抽出するなどして、地面（水平面）に対して平行であり、かつ、画像手前から奥に（カメラの視線の方向に対して同一方向に)伸びる直線、いわゆる、パース線を抽出する。図４に示される画像に対応する画像データが供給された場合、抽出される直線には、例えば、部屋の稜線や、床のフローリングの板目などがある。消失点を求めるのみであれば、複数のパース線が描画できれば充分である。しかしながら、奥行き方向平行線抽出部７１は、後述する処理において好適なように、抽出された直線（パース線）を基に、例えば、地面、床面など、所定の平面上に、実際空間において等間隔となる複数の平行線を描画する。換言すれば、奥行き方向平行線抽出部７１は、平面画像が表す空間内の所定の平面上に等間隔の平行線（パース線）を描画する。このようにして描画された平行線を、以下、奥行き方向平行線と称するものとする。
【００５２】
そして、消失点算出部７２は、奥行き方向平行線抽出部７１により抽出された奥行き方向平行線の交点を求め、この画像の消失点とする。
【００５３】
すなわち、画像データ取得部５１が、図４に示される画像８１の入力を受け、この画像データを消失点推定部５２-１に供給した場合、奥行き方向平行線抽出部７１は、図５に示されるように、複数の奥行き方向平行線を描き、消失点算出部７２は、この奥行き方向平行線の交点を消失点とする。例えば、奥行き方向平行線の抽出誤差などにより、奥行き方向平行線の交点が複数検出された場合、消失点算出部７２は、それらの交点の重心を消失点としたり、最も多くの奥行き方向平行線が交わる点を消失点とするようにしても良い。
【００５４】
図６は、図１の消失点推定部５２の第２の構成例であり、第２の消失点推定方法によって消失点を推定する消失点推定部５２-２の構成を示すブロック図である。
【００５５】
図６を用いて説明する消失点推定部５２-２は、いわゆる肌理の勾配を用いて、画像データから消失点を推定する。
【００５６】
真上から見ると所定の模様（色や輝度など）が略一定に広がっているような場所、例えば、図７に示すような花畑を、カメラによって、一定の仰角で撮像すると、図８に示すように、所定の模様が手前になるほど粗く、遠ざかるほど細かくなる映像が得られる。一定の仰角で撮像された場合に、手前になる程粗く、遠ざかるほど細かくなる傾向を有する模様の単位を、肌理と称し、その傾向の程度を、肌理の勾配と称する。すなわち、肌理の勾配は、撮像の仰角によって決まる。
【００５７】
特徴量抽出部１３１は、入力画像の各画素の特徴量（例えば、各画素の色差値やエッジ強度など）を抽出する。なお、エッジ強度を特徴量とする場合、特徴量抽出部１３１は、微分フィルタ（図示せず）を内蔵し、入力画像のエッジを強調してエッジ強度を抽出する。
【００５８】
量子化部１３２は、特徴量抽出部１３１により抽出された各画素の特徴量に基づいて、入力画像を量子化する。例えば、特徴量が色差値である場合、所定の基準値と同じ色差値を有する画素の値が１とされ、それ以外の色差値を有する画素の値が０とされる。図８に示されるような画像の画像データを量子化した場合、例えば、図９に示されるような量子化データを得ることができる。
【００５９】
肌理勾配算出部１３３は、量子化部１３２の処理により得られた量子化データ（例えば、図９を用いて説明した量子化データ）から、ライン毎に、白点（肌理）の間隔の平均値（肌理勾配データ）を算出する。例えば、図１０に示すように、所定のラインにおいて値が１の画素が複数並んでいる場合、その間隔ａ1，ａ2，ａ3，ａ4の平均値が算出される。
【００６０】
そして、肌理勾配算出部１３３は、図１１に示されるように、算出したライン毎のこの平均値ＡＶを、画像データ内のＹ軸（入力画像上のＹ軸）における位置に基づいてプロットし、図１２に示すように回帰直線を設定する。すなわちこの回帰直線が肌理の勾配に相当する。肌理勾配算出部１３３は、設定された回帰直線を消失点算出部１３４に供給する。
【００６１】
消失点算出部１３４は、設定された回帰直線と、そのＹ軸との交点を消失点として算出する。
【００６２】
消失点は、入力画像を見た場合の被写体の平面が無限遠方に収束する点であるので、図１３に示す消失点Ｒのように、入力画像の画像領域を超えた位置に存在する場合もある。なお、ここでは、消失点ＲのＸ軸座標は、入力画像の中心点のＸ軸座標とする。
【００６３】
次に、図１４は、図３の画角推定部５３の構成例を示すブロック図である。
【００６４】
画角推定部５３は、水平方向平行線描画部１７１、平行線抽出部１７２、タイル画生成部１７３、および、画角算出部１７４により構成されている。
【００６５】
水平方向平行線描画部１７１は、供給された画像の奥行き方向の平行線に対して実際の被写体空間において直交し、撮像された被写体の幅(間口)を示すベースラインを描画し、このベースラインを基準に、水平方向の平行線を描画する。この平行線を、水平方向平行線と称する。水平方向平行線は、奥行き方向平行線と同一の間隔となるように描画される。具体的には、図１５に示されるように、ベースライン１９１が描画され、ベースライン１９１と平行で、かつ、平行線同士の間隔が奥行き方向平行線の間隔と同一の間隔になるように、すなわち、奥行き方向平行線と水平方向平行線により被写体空間において正方形が描かれるようにして、水平方向平行線が描画される。このとき、水平方向平行線描画部１７１は、ベースライン１９１と、その１つ奥の平行線のみを描画し、描かれた正方形の対角線を書き加えることにより、それ以外の水平方向平行線を容易に描画することが可能である。
【００６６】
なお、消失点推定部５２として、図６を用いて説明した消失点推定部５２−２が用いられていた場合、奥行き方向の平行線は描画されていないので、水平方向平行線描画部１７１は、図３を用いて説明した消失点推定部５２−１の奥行き方向平行線抽出部７１と同様にして、奥行き方向の平行線を描画した後、水平方向の平行線を描画するものとする。
【００６７】
平行線抽出部１７２は、奥行き方向平行線のうちのいずれかと、上述した正方形の対角線のいずれかのうち、画像上で平行となるものを抽出する。正方形の対角線が、画像上、左下から右上方向に描画されている場合、画像上右側のいずれかの対角線と、画像上左側のいずれかの奥行き方向平行線とが画像上で平行となる。図１６に示される場合、対角線２０１と奥行き方向平行線２０２とが、画像上で平行であるので、平行線抽出部１７２により抽出される。また、正方形の対角線が、画像上、右下から左上方向に描画されている場合、画像上左側のいずれかの対角線と、画像上右側のいずれかの奥行き方向平行線とが画像上で平行となる。
【００６８】
タイル画生成部１７３は、奥行き方向平行線と水平方向平行線とを基に、タイル画を生成する。具体的には、タイル画生成部１７３は、被写体とカメラを充分含む領域を真上から見た場合の平面図を生成し、その平面図に、図１７に示されるように、奥行き方向平行線と水平方向平行線とをタイル状（グリット状）に描画する。奥行き方向平行線と水平方向平行線とがタイル状に描画された平面図を、タイル画と称するものとする。
【００６９】
画角算出部１７４は、タイル画生成部１７３により生成されたタイル画、水平方向平行線描画部１７１により描画されたベースライン１９１、および、平行線抽出部１７２により抽出された画像上で平行となる奥行き方向平行線と描画された正方形における対角線とのペアを基に、カメラの画角を求める。すなわち、画角算出部１７４は、図１７に示されるように、平行線抽出部１７２により抽出された対角線２０１および奥行き方向平行線２０２をタイル画内に描画する。タイル画内の対角線２０１および奥行き方向平行線２０２との交点と、ベースライン１９１との距離が、この画像を撮像したカメラとカメラの焦点との奥行きの距離に対応する。すなわち、タイル画内において、対角線２０１と奥行き方向平行線２０２との交点がカメラ２２１の位置であると想定することができる。ここで想定されるカメラ２２１の位置は、画像８１における視点（画像８１が正しい網膜像である場合の観察者の視点）に対応する。そして、タイル画において、カメラ２２１からベースライン１９１の両端に対して描かれる直線間の角度が、求められる画角である。
【００７０】
図１７における場合では、画角ｆｏｖは、約５７（deg）であると求められる。
【００７１】
ところで、水平方向平行線描画部１７１は、奥行き方向平行線と同一の間隔の水平方向平行線を描画するものであるが、奥行き方向平行線と水平方向平行線とのそれぞれの間隔に誤差が生じた場合、画角算出部１７４において算出される画角に誤差が生じてしまう。
【００７２】
例えば、図１８に示されるように、図１７を用いて説明した場合と異なる間隔で水平方向の平行線が描画されてしまった場合、タイル画を用いて求められる画角が、図１７における場合の結果と異なるものとなってしまう。
【００７３】
このような場合、消失点推定部５２により推定された消失点を基に、上述した仰角を求め、入力された画像を真上から撮像した場合の像に対応する正体画像（例えば、入力された画像が図８に示される画像である場合の図７に示される画像）を生成し、これを基に、水平方向平行線を描画することができるようにしても良い。
【００７４】
図１９は、仰角を求めることができるようになされている場合の、水平方向平行線描画部１７１の構成例を示すブロック図である。
【００７５】
水平方向平行線描画部１７１は、仰角算出部２５１、正体画像生成部２５２、および、水平ライン描画部２５３により構成することができる。
【００７６】
仰角算出部２５１は、消失点推定部５２から供給された消失点の座標を利用して、入力画像の撮像時の撮像部の仰角を算出し、その算出結果を正体画像生成部２５２に供給する。
【００７７】
正体画像生成部２５２は、仰角算出部２５１から供給された仰角の算出結果を利用して、入力画像を正対画像に変換する。
【００７８】
仰角算出部２５１および正体画像生成部２５２が実行する処理を、図２０乃至図２８を用いて説明する。
【００７９】
例えば、図２０に示すような等間隔に穴が空いた鉄板Ｔを、図２１に示すように、カメラＣＡによって所定の仰角φで撮像すると、図２２に示すようにして、穴の模様（肌理）が手前になるほどが粗く、遠ざかるほどが細かくなるような勾配を有する画像Ｄａが得られる。なお、図２２中の目盛りＭは、穴の模様の縦方向（肌理の勾配方向）の位置を表している。
【００８０】
このような肌理の勾配を有する画像Ｄａを、今度は、図２３に示すように、プロジェクタＰＪを用いて、カメラＣＡの仰角φと同じ分だけ傾けられたスクリーンＳＣに表示すると、図２４に示されるように、実際の鉄板Ｔ（図２０）と同様に、穴の模様が一定間隔で並ぶ鉄板Ｔの画像Ｄｂが映し出される。
【００８１】
なお、図２４の矢印の元は、画像Ｄａの所定の穴の模様の縦方向の位置を表し、矢印の先は、矢印の元の画像Ｄａの穴の模様に対応する画像Ｄｂの穴の模様の縦方向の位置を表している。
【００８２】
すなわち、正体画像生成部２５２は、図２４に示すような正対画像（画像Ｄｂ）および入力画像（画像Ｄａ）の画素位置と仰角（φ）の幾何学的な関係を利用して、算出された仰角に基づいて、正対画像を構成する各画素に対応する入力画像の画素を検出し、検出した入力画像の画素の画像値を正対画像の画素に設定することで、正対画像を生成する。
【００８３】
なお、消失点（正確には消失点の像）Ｒは、図２２の例では、穴の模様の縦方向の間隔がなくなる図上、上方に存在する。また図２４に示すように、消失点Ｒと焦点Ｑを結ぶ線は、被写体の面（図２４の例では、スクリーンの面）と平行となることから、仰角（カメラ光軸と被写体の面の角度）は、消失点を求めることで得ることができる。すなわちこの理由から、仰角算出部２５１では、消失点を利用して仰角を算出する。
【００８４】
仰角φは、図２５に示すように、消失点Ｒと焦点Ｑを結ぶ直線と、結像面Ｚの中心点と焦点Ｑを結ぶ直線からなる角度と同値であるので、仰角は、式（１）に示すように算出される。
【００８５】
【数１】
【００８６】
なお式（１）中、ｐは、上述した図１３に示される入力画像の中心点と消失点Ｒの距離であり、ｈは、図１３に示される入力画像のＹ軸方向の大きさ（高さ）であり、ｒは、ｐ／ｈである。またｋは所定の係数である。また図２５に示した幾何学関係は、図２６に示すこともできる。
【００８７】
このようして仰角が算出されると、正体画像生成部２５２は、その仰角を利用して、入力画像を正対画像に変換する。
【００８８】
具体的には、正体画像生成部２５２は、図２７に示されるように、正対画像の画素（ｘ１，ｙ１）毎に、それに対応する入力画像の画素（ｘ０，ｙ０）を検出する。
【００８９】
正対画像の画素（ｘ１，ｙ１）、入力画像の画素（ｘ０，ｙ０）、および仰角φは、図２８に示すような幾何学的な関係を有しているので、正対画像の画素（ｘ１，ｙ１）に対応する入力画像の画素（ｘ０，ｙ０）は、式（２）に示すように求められる。これを用いて、入力画像が与えられたとき被写体平面上の実際の模様が推定可能である。
【００９０】
【数２】
【００９１】
そして、水平ライン描画部２５３は、正体画像生成部２５２により生成された正体画像に、奥行き方向の水平線および水平方向の平行線を描画したのち、正体画像生成部２５２が実行した変換と逆変換を実行することにより、図１６および図１７を用いて説明した様な、正しい奥行き方向の水平線および水平方向の平行線が描画された画像データを生成し、平行線抽出部１７２に供給する。
【００９２】
次に、図２９は、図２の画像変換処理部５４の構成を示すブロック図である。
【００９３】
ピンホールカメラモデルを前提とする通常の画像においては、画像を平面スクリーンに結像させるようになされているが、画像変換処理部５４においては、平面スクリーンに結像される画像を円柱に含まれる曲面からなるスクリーンに結像させた場合の画像に変換することができるようになされている。換言すれば、画像変換処理部５４は、平面スクリーンの画像を、円柱のうちの画角に対応する部分の曲面で構成されるスクリーンに、円柱の中心かつ水平線の高さとなる位置を基準点として投影した場合に得られる画像に変換することができるようになされている。例えば、図３０に示されるように、画像処理装置４１に供給された、カメラ３０１によって撮像される画像は、通常画像の結像スクリーン３０２に結像される。これに対して、円柱の一部を切り取った形状である仮想結像スクリーン３０３を想定する。画像変換処理部５４は、画像処理装置４１に供給された画像、すなわち、通常画像の結像スクリーン３０２に結像される画像を、仮想結像スクリーン３０３に結像される画像に変換する。
【００９４】
変換前画像データ取得部２８１は、画角推定部５３から供給される、画像処理装置４１に供給された画像、すなわち、変換前の画像の画像データを取得し、対応画素抽出部２８４に供給するとともに、変換前の画像の寸法情報を、変換先画像サーフェス生成部２８２に供給する。
【００９５】
変換先画像サーフェス生成部２８２は、変換前画像データ取得部２８１から供給された変換前の画像の寸法情報を基に、変換元画像と同じ寸法で変換先画像のサーフェスを用意し、注目画素抽出部２８３および変換画像生成部２８５に供給する。
【００９６】
注目画素抽出部２８３は、変換先画像サーフェス生成部２８２から供給された変換先画像のサーフェスから注目画素を抽出し、注目画素の座標情報を、対応画素抽出部２８４および変換画像生成部２８５に供給する。
【００９７】
対応画素抽出部２８４は、画角推定部５３から供給される画角の推定値を基に、注目画素抽出部２８３から供給される座標情報によって示される変換先画像の各画素について、変換元画像での対応する画素を求め、その画素値を変換画像生成部２８５に供給する。
【００９８】
具体的には、対応画素抽出部２８４は、図３１に示されるように、半径ａの円柱状のスクリーンと平面スクリーンとが接している場合において、半径ａの円柱状のスクリーンのうちの少なくとも一部に結ぶ像の各画素が、平面スクリーン上のどの画素位置になるかを求める。ここで、円柱状のスクリーンの半径ａは、変換前画像の画角と横幅によって決まる値である。すなわち、変換前画像の横幅の１／２を１とし、画角の１／２をθとしたとき、ａの値は、tanθ＝１／ａが成り立つ値となる。
【００９９】
ｘｙｚ座標系における原点（０，０，０）を、半径ａの円柱状スクリーンと、平面スクリーンとの交線上の点で、かつ、高さが消失点と等しい（すなわち、水平線の高さ）となる座標とし、半径ａの円柱状スクリーンの中心点を（０，０，−ａ）とする。半径ａの円柱状のスクリーン上の座標を、ｘ−ｚ平面におけるｚ軸からの角度θと、ｙ軸座標βとにより、（θ，β）と表した場合、これをｘｙｚ座標系に変換すると、（ａsinθ，β，Ａ（cosθ−１））となる。したがって、半径ａの円柱状のスクリーンに結ぶ像の画素（θ，β）に対応する平面スクリーン上の座標は、中心点（０，０，−ａ）と座標（ａsinθ，β，Ａ（cosθ−１））とを結ぶ直線が、ｘ−ｙ平面と交わる点であり、座標（ａtanθ，β／cosθ，０）となる。
【０１００】
また、対応画素抽出部２８４は、図３２に示されるように、半径ａの円柱状のスクリーンと平面スクリーンとが接している場合において、平面スクリーン上の各画素が、半径ａの円柱状のスクリーンのうちの少なくとも一部のどの画素位置になるかを求めるようにしてもよい。
【０１０１】
図３１を用いて説明した場合と同様に、ｘｙｚ座標系における原点（０，０，０）を、半径ａの円柱状スクリーンと、平面スクリーンとの交線上の点で、かつ、高さが消失点と等しい（すなわち、水平線の高さ）となる座標とし、半径ａの円柱状スクリーンの中心点を（０，０，−ａ）としたとき、平面スクリーン上の座標（Ｘ，Ｙ，０）に対応する円柱状のスクリーン上の座標は、中心点（０，０，−ａ）と座標（Ｘ，Ｙ，０）とを結ぶ直線が、円柱スクリーン面と交わる点であり、次の式（３）で表される座標である。
【０１０２】
【数３】
・・・（３）
【０１０３】
変換画像生成部２８５は、上述したような方法で、対応画素抽出部２８４から供給された変換元画像での対応する画素の画素値を、変換先画像サーフェスの注目画素位置にコピーするという動作を繰り返すことにより、変換画像を生成し、画像データ出力部５５に供給する。
【０１０４】
なお、図３１を用いて説明した方法と図３２を用いて説明した方法とを比較した場合、最終的に生成される画像データに画素落ちが生じないのは、図３１を用いて説明した方法であるので、対応画素抽出部２８４は、図３１を用いて説明した方法を用いて、変換先画像の各画素について変換元画像での対応する画素を求めるようにすると好適である。
【０１０５】
なお、図３１および図３２においては、半径ａの円柱の一部である仮想結像スクリーン３０３が、通常画像の結像スクリーン３０２と接している場合について説明したが、これらのスクリーンが接していない場合を想定して変換処理を行っても、上述した場合と同様の変換処理が可能である。すなわち、所定の半径の円柱のうちの画角に対応する領域（中心点とスクリーンとで描かれる扇形の中心角が画角となるような領域）に、同一の画角の平面スクリーンの画像が投影されていれば良い。ここで、円柱の半径は、画角と、スクリーン同士の位置関係によって決まる。また、変換先画像のサーフェスのサイズも、画角と、スクリーン同士の位置関係によって決まる。
【０１０６】
換言すれば、図３３に示されるように、通常画像の結像スクリーン３０２に結像される変換前の画像と、仮想結像スクリーン３０３−１乃至３０３−４のそれぞれに結像される変換後の画像とにおいて、画角および視点（カメラ３０１の位置、すなわち、中心点（０，０，−ａ）に対応する点）が同一となるように画像が投影されていれば、通常画像の結像スクリーン３０２が仮想結像スクリーン３０３を含む円柱の外側に存在しても、内側に存在しても、上述した場合と基本的に同様の変換処理を行うことが可能である。
【０１０７】
次に、図３４のフローチャートを参照して、図２の画像処理装置４１が実行する処理について説明する。
【０１０８】
ステップＳ１において、画像データ取得部５１は、変換前の画像データを取得し、消失点推定部５２に供給する。
【０１０９】
ステップＳ２において、消失点推定部５２は、図３５を用いて後述する消失点推定処理１、または、図３６を用いて後述する消失点推定処理２を実行する。
【０１１０】
ステップＳ３において、画角推定部５３は、図４１を用いて後述する画角推定処理を実行する。
【０１１１】
ステップＳ４において、画像変換処理部５４は、図４３を用いて後述する画像変換処理４を実行する。
【０１１２】
ステップＳ５において、画像データ出力部５５は、ステップＳ２において消失点が算出され、ステップＳ３において画角が推定されて、ステップＳ４において変換されて生成された変換後の画像データの供給を受け、これを出力し、処理が終了される。
【０１１３】
このように、図２の画像処理装置４１においては、消失点が算出され、画角が推定されて、これを基に、画像データが変換されて、変換後の画像データが出力される。出力された画像データは、大型の平面ディスプレイに表示されたり、印刷出力されたり、所定の記録媒体に記録されたり、所定の通信媒体を介して通信される。
【０１１４】
次に、図３５のフローチャートを参照して、図３４のステップＳ２において、図３を用いて説明した消失点推定部５２−１により実行される消失点推定処理１について説明する。
【０１１５】
ステップＳ２１において、奥行き方向平行線抽出部７１は、画像データ取得部５１により取得された画像から、地面（水平面）に対して平行であり、かつ、画像手前から奥に（カメラの視線の方向に対して同一方向に)伸びる直線を検出することにより、図５を用いて説明した様に、それぞれの間隔が等しい奥行き方向の平行線を複数抽出する。
【０１１６】
ステップＳ２２において、消失点算出部７２は、奥行き方向平行線抽出部７１において抽出された奥行き方向の水平線を基に、図５を用いて説明した様に、それらの画像上での交点を求めることにより、消失点を算出し、処理は、図３４のステップＳ２に戻り、ステップＳ３に進む。
【０１１７】
このような処理により、画像データの奥行き方向の平行線を基に、消失点が推定される。
【０１１８】
次に、図３６のフローチャートを参照して、図３４のステップＳ２において、図６を用いて説明した消失点推定部５２−２により実行される消失点推定処理２について説明する。
【０１１９】
ステップＳ４１において、特徴量抽出部１３１は、入力画像の各画素の特徴量を抽出する。特徴量としては、例えば、各画素の色差値やエッジ強度が抽出される。なおエッジ強度を特徴量とする場合、特徴量抽出部５１は、微分フィルタ（図示せず）を内蔵し、入力画像のエッジを強調してエッジ強度を抽出する。
【０１２０】
ステップＳ４２において、量子化部１３２は、ステップＳ４１において抽出された各画素の特徴量に基づいて、入力画像の特徴量を量子化する。
【０１２１】
例えば、特徴量が色差値である場合、所定の基準値と同じ色差値を有する画素の値が１とされ、それ以外の色差値を有する画素の値が０とされる。
【０１２２】
例えば、図８に示した入力画像は、図９に示すように量子化される。なお図９中、白点は、値１の画素を表し、黒点は、値０の画素を表している。
【０１２３】
ステップＳ４３において、肌理勾配算出部１３３および消失点算出部１３４の処理により、消失点が算出され、処理は、図３４のステップＳ２に戻り、ステップＳ３に進む。
【０１２４】
具体的には、肌理勾配算出部１３３は、ステップＳ４２で得られた量子化データ（図９）から、ライン毎に、白点（肌理）の間隔の平均値（肌理勾配データ）を算出する。例えば、図１０を用いて説明したように、所定のラインにおいて値が１の画素が複数並んでいる場合、その間隔ａ1，ａ2，ａ3，ａ4の平均値が算出される。
【０１２５】
そして肌理勾配算出部１３３は、算出したライン毎のこの平均値ＡＶ（図１２）に基づいて、図１２を用いて説明したように、回帰直線を設定する。すなわちこの回帰直線が肌理の勾配に相当する。
【０１２６】
そして、消失点算出部１３４は、設定された回帰直線と、そのＹ軸（入力画像上のＹ軸）との交点を消失点として算出する。
【０１２７】
このような処理により、肌理勾配を基に、消失点が求められる。
【０１２８】
ところで、図３６のステップＳ４１において、特徴量抽出部１３１は、入力画像の各画素の特徴量を抽出する。特徴量としては、例えば、各画素の色差値やエッジ強度が抽出される。
【０１２９】
ここで、図３７のフローチャートを参照して、特徴量として色差値が用いられる場合に、図３６のステップＳ４１において特徴量抽出部１３１が実行する、特徴量の基準値を決定するための処理について説明する。
【０１３０】
ステップＳ６１において、特徴量抽出部１３１は、入力画像から、所定の特徴量（この例の場合、色差値）のヒストグラムを生成する。
【０１３１】
ステップＳ６２において、特徴量抽出部１３１は、ステップＳ６１で生成されたヒストグラムにおいて、度数の上位ｎ個の色差値を選択する。
【０１３２】
ステップＳ６３において、特徴量抽出部１３１は、ステップＳ６２で選択されたｎ個の色差値の中から１個の色差値を選択する。そして、ステップＳ６４において、特徴量抽出部１３１は、選択された色差値と同じ色差値を有する画素の位置を検出する。
【０１３３】
次にステップＳ６５において、特徴量抽出部１３１は、図３８乃至図４０に示す例のように、ステップＳ６４でその位置が検出された画素の、水平方向の位置（Ｘ軸座標）の最大値と最小値の差、および垂直方向の位置（Ｙ軸座標）の最大値と最小値の差をそれぞれ算出するとともに、その合計値を算出する。
【０１３４】
ステップＳ６６において、特徴量抽出部１３１は、ステップＳ６２で選択されたｎ個の色差値の全てがステップＳ６３で選択されたか否かを判断する。ステップＳ６６において、まだ選択されていない色差値があると判断された場合、処理は、ステップＳ６３に戻り、次の色差値が選択され、ステップＳ６４以降の処理が繰り返される。
【０１３５】
ステップＳ６６において、すべての色差値が選択されたと判断された場合、ステップＳ６７おいて、特徴量抽出部１３１は、ステップＳ６５で算出された合計値の中で最大の合計値が得られた色差値を基準値として選択する。
【０１３６】
このようにして基準値が決定される。例えば、入力画像に、比較的多く存在する色であって、入力画像全体に分布している色の色差値などが基準値となり、そのような色について量子化が実行される。
【０１３７】
なお、ここでは、特徴量が色差値である場合を例として説明したが、エッジ強度等の他の特徴量についても同様にして基準値が決定される。
【０１３８】
次に、図４１のフローチャートを参照して、図３４のステップＳ３において、図１４を用いて説明した画角推定部５３が実行する画角推定処理について説明する。
【０１３９】
ステップＳ９１において、水平方向平行線描画部１７１は、消失点を求めるために予め奥行き方向の平行線が描画されている場合は、その奥行き方向の平行線に対して、図１５および図１６を用いて説明した様にして、水平方向平行線と同一の間隔で、すなわち、正体画像で正方形が描画されるように、水平方向平行線を描画する。または、奥行き方向の平行線が予め描画されていない場合は、水平方向平行線描画部１７１は、図５を用いて説明した場合と同様の処理において奥行き方向の平行線を描画して、描画された奥行き方向の平行線に対して、図１５および図１６を用いて説明した様にして、水平方向平行線と同一の間隔で、すなわち、正体画像で正方形が描画されるように、水平方向平行線を描画する。
【０１４０】
ステップＳ９２において、平行線抽出部１７２は、図１６を用いて説明した様に、奥行き方向平行線と、描画された正方形における対角線とで、画像データ内で平行となっているものを抽出する。
【０１４１】
ステップＳ９３において、タイル画生成部１７３は、奥行き方向平行線と水平方向平行線とを基に、図１７を用いて説明した様に、タイル画を生成する。
【０１４２】
ステップＳ９４において、画角算出部１７４は、タイル画生成部１７３により生成されたタイル画、水平方向平行線描画部１７１により描画されたベースライン、および、平行線抽出部１７２により抽出された画像上で平行となる奥行き方向平行線と描画された正方形における対角線とのペアを基に、図１７を用いて説明した様に、画角を算出し、処理は、図３４のステップＳ３に戻り、ステップＳ４に進む。
【０１４３】
このような処理により、変換前画像を撮像したカメラの画角を推定することができる。
【０１４４】
また、奥行き方向平行線と同一の間隔で水平方向平行線を描画することが困難な場合、すなわち、正体画像で正方形が描画されるように水平方向平行線を描画することが困難な場合、奥行き方向平行線と水平方向平行線とのそれぞれの間隔に誤差が生じ、その結果、画角算出部１７４において算出される画角に誤差が生じてしまう。
【０１４５】
例えば、図１８を用いて説明したように、図１７を用いて説明した場合と異なる間隔で水平方向の平行線が描画されてしまった場合、タイル画を用いて求められる画角が、図１７における場合の結果と異なるものとなってしまう。このような場合は、水平方向平行線描画部１７１の構成を図１８を用いて説明した様な構成として、変換前の画像を撮像したときのカメラの仰角を算出し、正体画像を生成することにより、正確に、奥行き方向の平行線に対して、正体画像で正方形が描画されるように、水平方向の平行線を描画するようにしても良い。
【０１４６】
次に、仰角を算出し正体画像を生成する場合の、図４１のステップＳ９１の処理に該当する処理である水平方向平行線描画処理について、図４２のフローチャートを参照して説明する。
【０１４７】
ステップＳ１１１において、仰角算出部２５１は、消失点推定部５２の処理により求められている消失点を基に、カメラの仰角を算出する。
【０１４８】
具体的には、仰角は、図２５に示すように、消失点Ｒと焦点Ｑを結ぶ直線と、結像面Ｚの中心点と焦点Ｑを結ぶ直線からなる角度と同値であるので、仰角は、上述した式（１）を用いて算出することができる。
【０１４９】
ステップＳ１１２において、正体画像生成部２５２は、その仰角を利用して、入力画像を正対画像に変換し正体画像を生成する。
【０１５０】
具体的には、正体画像生成部２５２は、図２７を用いて説明した様に、正対画像の画素（ｘ１，ｙ１）毎に、それに対応する入力画像の画素（ｘ０，ｙ０）を検出する。
【０１５１】
正対画像の画素（ｘ１，ｙ１）、入力画像の画素（ｘ０，ｙ０）、および仰角φは、図２８に示すような幾何学的な関係を有しているので、正対画像の画素（ｘ１，ｙ１）に対応する入力画像の画素（ｘ０，ｙ０）は、上述した式（２）を用いて求めることができる。これを用いて、入力画像が与えられたとき被写体平面上の実際の模様を推定することができる。
【０１５２】
ステップＳ１１３において、水平ライン描画部２５３は、生成された正体画像において、消失点を求めるために描画した奥行き方向の平行線に対して、正体画像で正方形が描画されるように、水平方向に平行線を描画する。
【０１５３】
そして、水平ライン描画部２５３は、正体画像生成部２５２に、奥行き方向の水平線および水平方向の平行線を描画したのち、正体画像生成部２５２が実行した変換と逆変換を実行することにより、図１５および図１６を用いて説明した様な、正しい奥行き方向の水平線および水平方向の平行線が描画された画像データを生成し、平行線抽出部１７２に供給する。
【０１５４】
このような処理により、仰角を基に正体画像が生成されるので、正確に、奥行き方向の平行線に対して、正体画像で正方形が描画されるように、水平方向に平行線を描画することができる。したがって、精度よく画角を推定することができる。
【０１５５】
次に、図４３のフローチャートを参照して、図３４のステップＳ４において、図２９を用いて説明した画像変換処理部５４が実行する、画像変換処理について説明する。
【０１５６】
ステップＳ１３１において、変換前画像データ取得部２８１は、変換前の画像データを取得し、変換先画像サーフェス生成部２８２および対応画素抽出部２８４に供給する。
【０１５７】
ステップＳ１３２において、変換先画像サーフェス生成部２８２は、変換前の画像データと同一の寸法の変換先画像サーフェスを用意し、注目画素抽出部２８３および変換画像生成部２８５に供給する。
【０１５８】
ステップＳ１３３において、注目画素抽出部２８３は、変換先画像サーフェス生成部２８２から供給された変換先画像サーフェスのうちの未処理の画素を注目画素として抽出し、注目画素の座標情報を、対応画素抽出部２８４および変換画像生成部２８５に供給する。
【０１５９】
ステップＳ１３４において、対応画素抽出部２８４は、画角推定部５３から供給される画角の推定値を基に、図３１または図３２を用いて説明した変換式を基に、変換前の画像データの画素のうち、抽出された注目画素に対応する画素を抽出し、その画素値を変換画像生成部２８５に供給する。
【０１６０】
ステップＳ１３５において、変換画像生成部２８５は、変換先画像サーフェスの注目画素位置に、対応画素抽出部２８４から供給された変換元画像での対応する画素の画素値をコピーする。
【０１６１】
ステップＳ１３６において、変換画像生成部２８５は、全ての画素において画素をコピーする処理が終了されたか否かを判断する。ステップＳ１３６において、画素をコピーする処理が全ての画素において終了されていないと判断された場合、処理は、ステップＳ１３３に戻り、それ以降の処理が繰り返される。ステップＳ１３６において、画素をコピーする処理が全ての画素において終了されたと判断された場合、処理は、図３４のステップＳ４に戻り、ステップＳ５に進む。
【０１６２】
このような処理により、所定のカメラ位置から撮像された平面画像データを構成する各画素が、画角および変換前の画像データの大きさに基づいて、円柱状の少なくとも一部として構成される仮想的なスクリーン上のいずれかの画素に置き換えられて、変換後の画像データが生成される。
【０１６３】
図４４に、図４に示される変換前画像が、図１７を用いて説明した様にして求められた画角ｆｏｖ1＝５７(deg)を基に変換されて生成された、変換後画像の例を示す。このとき、ａ＝１．０８６となる。
【０１６４】
図４４に示されるような「室内空間」を撮像した画像は、観察者が図４５Ａに示されるイの位置から正面に向かって観察したとき、図４５Ｂに示されるように、「室内空間」の中央に存在する観察者３５１が方向イを見た場合の網膜像に相当する網膜像を得ることができ、観察者が図４５Ａに示されるロの位置から正面に向かって観察したとき、図４５Ｂに示されるように、「室内空間」の中央に存在する観察者３５１が方向ロを見た場合の網膜像に相当する網膜像を得ることができ、観察者が図４５Ａに示されるハの位置から正面に向かって観察したとき、図４５Ｂに示されるように、「室内空間」の中央に存在する観察者３５１が方向ハを見た場合の網膜像に相当する網膜像を得ることができる。すなわち、図４４および図４５に示される変換後画像は、図４５Ａに示される位置イ乃至位置ハなど、その観察者の位置にかかわらず、観察者に正しい網膜像を与えることができるものである。
【０１６５】
「室内空間」の中央に存在する観察者３５１が、方向イから方向ハまでを角度を変更しながら、部屋の左下隅の角から部屋の右下隅の角までの部屋の奥の壁と床との境界線を観察したとき、その境界線と観察者３５１との距離は、部屋の左下隅の角（方向イ）と部屋の右下隅の角（方向ハ）が最も遠く、部屋の中央部分（方向ロ）が最も近い。すなわち、図４４および図４５に示される変換後画像においては、部屋の奥の壁と床との境界線は、直線ではなく、やや下に凸の曲線となり、部屋の左下隅および右下隅の角は、部屋の中央部分の床と奥の壁の境界よりも、画像上で高い位置、換言すれば、観察者から遠く感じる位置に描画される。
【０１６６】
なお、変換後画像には、通常の画像には発生しない上辺と下辺の湾曲が発生してしまうため、図４５Ａに示されるように、その上辺と下辺の湾曲部分が削除された画像、すなわち、図４５Ａの直線３５２−１と直線３５２−２との間の部分の画像を観察者に提示するようにすると好適である。
【０１６７】
図４６に、ｔａｎθ2＝１．０、すなわち、画角ｆｏｖ2＝２ｔａｎ-1１．０＝９０ｄｅｇであり、かつ、ａ＝２における場合の変換後画像の例を示す。
【０１６８】
そして、図４７に、ｔａｎθ3＝０．２５、すなわち、画角ｆｏｖ3＝２ｔａｎ-1０．２５＝２８．１ｄｅｇであり、かつ、ａ＝０．５における場合の変換後画像の例を示す。
【０１６９】
すなわち、図４４に示される変換後画像は、図４８Ａに示されるような画角ｆｏｖおよびカメラとカメラの焦点との奥行きの距離ａとの関係を基に変換され、図４６に示される変換後画像は、図４８Ｂに示されるような画角ｆｏｖおよびカメラとカメラの焦点との奥行きの距離ａとの関係を基に変換され、図４７に示される変換後画像は、図４８Ｃに示されるような画角ｆｏｖおよびカメラとカメラの焦点との奥行きの距離ａとの関係を基に変換されている。
【０１７０】
すなわち、図４６に示される変換後画像は、正しく求められた図４８Ａに示されるような画角ｆｏｖおよびカメラとカメラの焦点との奥行きの距離ａに対して、図４８Ｂに示されるように、実際よりも広い画角で、遠くのカメラにより撮像されたものとして生成されている。また、図４７に示される変換後画像は、正しく求められた図４８Ａに示されるような画角ｆｏｖおよびカメラとカメラの焦点との奥行きの距離ａに対して、図４８Ｃに示されるように、実際よりも狭い画角で、近くのカメラにより撮像されたものとして生成されている。
【０１７１】
このように、正しく推定された画角および焦点距離を基に画像が変換されなければ、その観察者の位置にかかわらず、観察者に正しい網膜像を与えることができる画像を生成することはできない。
【０１７２】
次に、所定のポイントから３６０度全ての向きにおける網膜像に対応する平面画像データを得る場合を例として、本発明を適用した場合の顕著な効果について説明する。
【０１７３】
例えば、図４９に示されるように、ユーザ４０１が、ベンチ４１１およびベンチ４２２が設置され、周りに木４１３−１乃至４１３−８がある、直線状に伸びた歩道４０２において、自分自身の周辺３６０度の画像データを得る場合を想定して説明する。
【０１７４】
まず、図４９に示されるように、ユーザ４０１から、９０（deg）ずつ角度を変えて、歩道４０２の一方であって、ベンチ４１１およびベンチ４２２が設置されている方向に対応する方向ａ、方向ａと９０（deg）向きが異なり、木４１３−８がある方向に対応する方向ｂ、方向ａと１８０（deg）向きが異なる方向ｃ、並びに、方向ｃと９０（deg）向きが異なり、木４１３−１乃至４１３−７がある方向に対応する方向ｄの４方向の画像を撮像した場合に得られる画像を図５０に示す。
【０１７５】
図５０に示されるように、方向ａを撮像した画像は、画像４５１である。画像４５１には、ベンチ４１１およびベンチ４２２が含まれ、歩道４０２は画像内の遠方方向に伸び、歩道４０２の境界線は、消失点（画像４５１の外部に存在する消失点）に収束する斜めの直線となる。方向ｂを撮像した画像は、画像４５２である。画像４５２には、木４１３−８が含まれ、歩道４０２の境界線は、画面上、水平方向の直線である。方向ｃを撮像した画像は、画像４５３である。画像４５３において、歩道４０２は画像内の遠方方向に伸び、歩道４０２の境界線は、消失点（画像４５３の外部に存在する消失点）に収束する斜めの直線となる。方向ｄを撮像した画像は、画像４５４である。画像４５４には、複数の木４１３が含まれ、歩道４０２の境界線は、画面上、水平方向の直線である。
【０１７６】
そして、図５０に示される４枚の画像を単純に接続すると、図５１に示される画像４７１となる。なお、画像４１７においては、画像と画像との境界部分に存在する木４１３などは、不自然ではないように補正されるものとする。
【０１７７】
ここで、その元となる画像４５１乃至画像４５４のそれぞれにおいて、歩道４０２の境界線は、消失点に向かって収束する直線であるか、水平方向の直線であるかのいずれかである。したがって、画像４７１においては、歩道４０２の境界線が、全て直線により構成されてしまうため、図４９に示されるユーザ４０１が、自分自身の周辺３６０度を観察した場合に得られる網膜像とは異なり、上述した角度ａ乃至角度ｄのそれぞれのちょうど中間の角度（画像４５１乃至画像４５４の接続部分）において、歩道の境界が、所定の角度を持って曲がってしまうような、違和感のあるものとなってしまう。
【０１７８】
これに対して、例えば、図４９に示されるユーザ４０１の位置から撮像される画像を増やして、例えば、２倍の８枚の画像を合成して接続することにより、画像を生成する場合について考える。
【０１７９】
例えば、図５１を用いて説明した画像４７１において、画像４５１乃至画像４５４の接続部分に、上述した角度ａ乃至角度ｄのそれぞれのちょうど中間の角度で撮像された画像を接続した場合、図５２に示される画像４８１を得ることができる。しかしながら、画像４８１においても、歩道の境界部分は、８枚のそれぞれの画像の接続部分において所定の角度で接続される直線の集合である。
【０１８０】
すなわち、従来のピンホールカメラの原理により得られる画像を用いて、周辺３６０度を観察した場合に得られる網膜像に近い画像を得るために、撮像される枚数（撮像される画像の方向）を増やしても、歩道の境界部分は、厳密には、直線が接続されたものとなり、観察者であるユーザ４０１の目に映る網膜像のようにはならない。
【０１８１】
これに対して、本発明を適用した画像処理装置４１を用いて、従来のピンホールカメラの原理により得られる画像を上述した方法で変換し、適宜接続した場合、図５３に示される画像５０１のように、歩道の境界部分はなだらかな曲線に変換される。すなわち、画像５０１の前面のいかなる位置からその正面が観察された場合であっても、観察者に与えられる網膜像は、ユーザ４０１が３６０度回転した場合にその目に映る網膜像と略同等のものとなる。
【０１８２】
このようにして、本発明を適用することにより、従来のピンホールカメラの原理により得られる画像を接続しただけでは得ることができない、実際空間のユーザ４０１の目に映る網膜像と略同等の網膜像を複数の観察者の視点において得ることが可能な平面画像を生成することが可能となる。
【０１８３】
また、本発明は、通常のカメラによって撮像された画像または映像を変換する以外にも、例えば、コンピュータグラフィクスなどを用いて画像または映像が作成される場合においても適用可能である。すなわち、ピンホールカメラの原理に基づいて撮像された画像と同様の方法で奥行きが表現されている画像または映像を、本発明を用いて変換するようにしてもよい。
【０１８４】
また、例えば、人がスクリーンに入り込んだり、スクリーンがミラーとなるようにユーザに感じさせるようなアプリケーションがある。具体的には、例えば、大型スクリーンに細かいビーズや液体状のものが降ってくる映像が投影され、そのスクリーン内のビーズや液体が、スクリーン前に存在するユーザのスクリーン上の影に当たって、現実世界においてビーズや液体がユーザに当たったときのような振る舞いをしたり、スクリーン内に蝶々が飛んできて、スクリーン前に存在するユーザのスクリーン上の影に止まるような、平面的でありながら、いわゆる、仮想現実（virtual reality）または複合現実感（mixed reality）をユーザに提供するアプリケーションがある。
【０１８５】
このようなアプリケーションにおいて、本発明を適用することも可能である。すなわち、スクリーンに表示される画像または映像の生成に本発明を適用することにより、スクリーンに表示される画像または映像に対して特定されない位置（例えば、図４５Ａにおける位置イロハなど）に存在するユーザに対して、より現実世界に近い感覚を与えることが可能となる。
【０１８６】
このようにして、本発明を適用して、通常のカメラで撮影した画像に対して、所定の画像変換を施して生成された変換後画像は、その画像を観察する観察者が、変換後画像の前面のいかなる位置から観察者自身の正面を観察しても（観察者の視線が変換後画像平面に対して垂直または略垂直の方向であれば）実際の世界に臨場した場合と同様の網膜像を観察者に提供することが可能になる。
【０１８７】
また、このようにして、本発明を適用して、通常のカメラで撮影した画像に対して、所定の画像変換を施して生成された変換後画像を表示するディスプレイは、大きいものがより好ましい。
【０１８８】
また、本発明の画像変換は、カメラなどで撮像された画像のみならず、例えば、コンピュータグラフィックスなどによって生成された画像に対して適用することも可能である。
【０１８９】
このように生成された画像または映像は、大型の平面スクリーンに表示されたり、印刷出力されて観察者に観察されるのみならず、画像または映像を利用する各種アプリケーションに適用することが可能である。
【０１９０】
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。この場合、例えば、生体情報処理装置１は、図５４に示されるようなパーソナルコンピュータ９０１により構成される。
【０１９１】
図５４において、CPU（Central Processing Unit）９２１は、ROM（Read Only Memory）９２２に記憶されているプログラム、または記憶部９２８からRAM（Random Access Memory）９２３にロードされたプログラムに従って各種の処理を実行する。RAM９２３にはまた、CPU９２１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１９２】
CPU９２１、ROM９２２、およびRAM９２３は、バス９２４を介して相互に接続されている。このバス９２４にはまた、入出力インタフェース９２５も接続されている。
【０１９３】
入出力インタフェース９２５には、キーボード、マウスなどよりなる入力部９２６、CRT（Cathode Ray Tube)、LCD（Liquid Crystal display）などよりなるディスプレイ、並びにスピーカなどよりなる出力部９２７、ハードディスクなどより構成される記憶部９２８、モデムなどより構成される通信部９２９が接続されている。通信部９２９は、インターネットを含むネットワークを介しての通信処理を行う。
【０１９４】
入出力インタフェース９２５にはまた、必要に応じてドライブ９３０が接続され、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどのリムーバブルメディア９３１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部９２８にインストールされる。
【０１９５】
一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【０１９６】
この記録媒体は、図５４に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フロッピディスクを含む）、光ディスク（CD-ROM（Compact Disk-Read Only Memory)，DVD（Digital Versatile Disk）を含む）、光磁気ディスク（ＭＤ（Mini-Disk）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア９３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM９２２や、記憶部９２８に含まれるハードディスクなどで構成される。
【０１９７】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１９８】
また、本明細書において、システムとは、複数の装置（または特定の機能を実現する機能モジュール）が論理的に集合したものを意味し、各装置や機能モジュールが単一の筐体内にあるか否かは問わない。
【図面の簡単な説明】
【０１９９】
【図１】曲面のスクリーンと平面のスクリーンについて説明するための図である。
【図２】本発明を適用した画像処理装置の構成例について説明するためのブロック図である。
【図３】図２の消失点推定部の第１の構成例について説明するためのブロック図である。
【図４】供給される画像の例を示す図である。
【図５】奥行き方向平行線と消失点について説明するための図である。
【図６】図２の消失点推定部の第２の構成例について説明するためのブロック図である。
【図７】正体図について説明するための図である。
【図８】所定の仰角をもって撮像された画像について説明するための図である。
【図９】量子化データについて説明するための図である。
【図１０】肌理の間隔の平均値について説明するための図である。
【図１１】肌理の間隔の平均値について説明するための図である。
【図１２】肌理の間隔の平均値を基に求められる消失点について説明するための図である。
【図１３】肌理の間隔の平均値を基に求められる消失点について説明するための図である。
【図１４】図２の画角推定部の構成例について説明するためのブロック図である。
【図１５】水平方向平行線について説明するための図である。
【図１６】対角線と平行な奥行き方向平行線の抽出について説明するための図である。
【図１７】タイル画の生成と推定される画角について説明するための図である。
【図１８】奥行き方向平行線の描画に誤差があった場合について説明するための図である。
【図１９】図１４の水平方向平行線描画部の構成例について説明するためのブロック図である。
【図２０】被写体の他の例を示す図である。
【図２１】画像変換の原理を説明する図である
【図２２】図２０の被写体に対する撮像画像ついて説明するための図である。
【図２３】撮像画像と正体画像の画像変換の原理を説明するための図である。
【図２４】撮像画像と正体画像の画像変換の原理を説明するための図である。
【図２５】撮像画像と正体画像の画像変換の原理を説明するための図である。
【図２６】撮像画像と正体画像の画像変換の原理を説明するための図である。
【図２７】撮像画像と正体画像の画像変換の原理を説明するための図である。
【図２８】撮像画像と正体画像の画像変換の原理を説明するための図である。
【図２９】図２の画像変換処理部の構成例について説明するためのブロック図である。
【図３０】通常画像の結像スクリーンと、仮想的な結像スクリーンについて説明するための図である。
【図３１】２つのスクリーンにおける画素位置の対応について説明するための図である。
【図３２】２つのスクリーンにおける画素位置の対応について説明するための図である。
【図３３】通常画像の結像スクリーンと、仮想的な結像スクリーンの位置について説明するための図である。
【図３４】画像処理装置の処理について説明するためのフローチャートである。
【図３５】消失点推定処理１について説明するためのフローチャートである。
【図３６】消失点推定処理２について説明するためのフローチャートである。
【図３７】基準値決定処理について説明するためのフローチャートである。
【図３８】肌理を特定する際の基準値を決定する処理を説明するための図である。
【図３９】肌理を特定する際の基準値を決定する処理を説明するための図である。
【図４０】肌理を特定する際の基準値を決定する処理を説明するための図である。
【図４１】画角推定処理について説明するためのフローチャートである。
【図４２】水平方向平行線描画処理について説明するためのフローチャートである。
【図４３】画像変換処理について説明するためのフローチャートである。
【図４４】本発明を適用して正しく推定された画角を基に変更された画像について説明するための図である。
【図４５】本発明を適用して正しく推定された画角を基に変更された画像について説明するための図である。
【図４６】誤って推定された画角を基に変更された画像について説明するための図である。
【図４７】誤って推定された画角を基に変更された画像について説明するための図である。
【図４８】図４４、図４６、および、図４７における画角と焦点距離について説明するための図である。
【図４９】ユーザの周囲３６０度を撮像する場合について説明するための図である。
【図５０】図４９において４方向を撮像して得られる画像について説明するための図である。
【図５１】図５０の画像を接続して得られる画像について説明するための図である。
【図５２】図４９において８方向を撮像して得られる画像を接続して生成される画像について説明するための図である。
【図５３】本発明を適用して生成される画像について説明するための図である。
【図５４】パーソナルコンピュータの構成を示すブロック図である。
【符号の説明】
【０２００】
４１ 画像処理装置， ５１ 画像データ取得部， ５２ 消失点推定部， ５３ 画角推定部， ５４ 画像変換処理部， ５５ 画像データ出力部， ７１ 奥行き方向平行線抽出部， ７２ 消失点算出部， １３１ 特徴量抽出部， １３２ 量子化部， １３３ 肌理勾配算出部， １３４ 消失点算出部， １７１ 水平方向平行線描画部， １７２ 平行線抽出部， １７３ タイル画生成部， １７４ 画角算出部， １９１ ベースライン， ２５１ 仰角算出部， ２５２ 正体画像生成部， ２５３ 水平ライン描画部， ２８１ 変換前画像データ取得部， １８２ 変換先画像サーフェス生成部， ２８３ 注目画素抽出部， ２８４ 対応画素抽出部， ２８５ 変換画像生成部
【特許請求の範囲】
【請求項１】
奥行きを有する空間が表現されている第１の平面画像データを取得して変換する画像処理装置において、
前記第１の平面画像データの消失点を推定する消失点推定手段と、
前記第１の平面画像データの画角を推定する画角推定手段と、
前記消失点推定手段により推定された前記消失点、および、前記画角推定手段により推定された前記画角を基に、所定の半径の円柱のうち、前記画角に対応する部分の曲面に、前記円柱の中心かつ前記消失点と同一の高さとなる位置を基準点として、前記第１の平面画像データが投影された場合に対応する第２の平面画像データを生成する画像生成手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記画角推定手段は、前記消失点推定手段により推定された前記消失点を基に、前記画角を推定する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記消失点推定手段は、
前記第１の平面画像データのパース線を描画する描画手段と、
前記描画手段により描画された前記パース線を基に、前記第１の平面画像データの消失点を抽出する消失点抽出手段と
を含むことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記消失点推定手段は、
前記第１の平面画像データの特徴量を抽出する特徴量抽出手段と、
前記特徴量抽出手段により抽出された前記特徴量を量子化する特徴量量子化手段と、
前記特徴量量子化手段により量子化された前記特徴量を基に、前記特徴量が前記第１の平面画像データの垂直方向にどのような勾配を伴って分布しているかを示す特徴量分布を算出する特徴量分布算出手段と、
前記特徴量分布算出手段により算出された前記特徴量分布を基に、前記第１の平面画像データの消失点を抽出する消失点抽出手段と
を含むことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記画角推定手段は、
前記第１の平面画像データにおいて表現される前記空間を垂直上方から観察した場合を想定した平面図を生成する平面図生成手段と、
前記平面図生成手段により生成された前記平面図内で、前記第１の平面画像データにおける視点の位置を検出することにより、前記画角を算出する画角算出手段と
を含むことを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記平面図生成手段は、前記第１の平面画像データの前記視点の仰角を求めることにより前記平面図を作成する
ことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記画像生成手段は、前記円柱の半径を、前記画角推定手段により推定された前記画角、および、前記第１の平面画像データの画像サイズを基に決定する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項８】
前記画像生成手段により生成された前記第２の平面画像データを表示する表示手段を更に備え、
前記表示手段は、平面形状のディスプレイでなる
ことを特徴とする請求項１に記載の画像処理装置。
【請求項９】
奥行きを有する空間が表現されている第１の平面画像データを取得して変換する画像処理装置の画像処理方法において、
前記第１の平面画像データの消失点を推定する消失点推定ステップと、
前記第１の平面画像データの画角を推定する画角推定ステップと、
前記消失点推定ステップの処理により推定された前記消失点、および、前記画角推定ステップの処理により推定された前記画角を基に、所定の半径の円柱のうち、前記画角に対応する部分の曲面に、前記円柱の中心かつ前記消失点と同一の高さとなる位置を基準点として、前記第１の平面画像データが投影された場合に対応する第２の平面画像データを生成する画像生成ステップと
を含むことを特徴とする画像処理方法。
【請求項１０】
奥行きを有する空間が表現されている第１の平面画像データを取得して変換する処理をコンピュータに実行させるためのプログラムであって、
前記第１の平面画像データの消失点を推定する消失点推定ステップと、
前記第１の平面画像データの画角を推定する画角推定ステップと、
前記消失点推定ステップの処理により推定された前記消失点、および、前記画角推定ステップの処理により推定された前記画角を基に、所定の半径の円柱のうち、前記画角に対応する部分の曲面に、前記円柱の中心かつ前記消失点と同一の高さとなる位置を基準点として、前記第１の平面画像データが投影された場合に対応する第２の平面画像データを生成する画像生成ステップと
を含むことを特徴とする処理をコンピュータに実行させるためのプログラム。
【請求項１１】
請求項１０に記載のプログラムが記録されている記録媒体。
【請求項１２】
奥行きを有する空間が表現されている第１の平面画像データを取得して変換する画像処理装置において、
前記第１の平面画像データの消失点と前記第１の平面画像データの画角が入力される入力手段と、
前記入力手段により入力された前記消失点、および前記画角を基に、所定の半径の円柱のうち、前記画角に対応する部分の曲面に、前記円柱の中心かつ前記消失点と同一の高さとなる位置を基準点として、前記第１の平面画像データが投影された場合に対応する第２の平面画像データを生成する画像生成手段と
を備えることを特徴とする画像処理装置。
【請求項１３】
前記画像生成手段により生成された前記第２の平面画像データを表示する表示手段を更に備え、
前記表示手段は、平面形状のディスプレイでなる
ことを特徴とする請求項１２に記載の画像処理装置。
【請求項１４】
奥行きを有する空間が表現されている第１の平面画像データを取得して変換する画像処理装置の画像処理方法において、
前記第１の平面画像データの消失点と前記第１の平面画像データの画角の入力を制御する入力制御ステップと、
前記入力制御ステップの処理により入力が制御された前記消失点、および前記画角を基に、所定の半径の円柱のうち、前記画角に対応する部分の曲面に、前記円柱の中心かつ前記消失点と同一の高さとなる位置を基準点として、前記第１の平面画像データが投影された場合に対応する第２の平面画像データを生成する画像生成ステップと
を含むことを特徴とする画像処理方法。
【請求項１】
奥行きを有する空間が表現されている第１の平面画像データを取得して変換する画像処理装置において、
前記第１の平面画像データの消失点を推定する消失点推定手段と、
前記第１の平面画像データの画角を推定する画角推定手段と、
前記消失点推定手段により推定された前記消失点、および、前記画角推定手段により推定された前記画角を基に、所定の半径の円柱のうち、前記画角に対応する部分の曲面に、前記円柱の中心かつ前記消失点と同一の高さとなる位置を基準点として、前記第１の平面画像データが投影された場合に対応する第２の平面画像データを生成する画像生成手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記画角推定手段は、前記消失点推定手段により推定された前記消失点を基に、前記画角を推定する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記消失点推定手段は、
前記第１の平面画像データのパース線を描画する描画手段と、
前記描画手段により描画された前記パース線を基に、前記第１の平面画像データの消失点を抽出する消失点抽出手段と
を含むことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記消失点推定手段は、
前記第１の平面画像データの特徴量を抽出する特徴量抽出手段と、
前記特徴量抽出手段により抽出された前記特徴量を量子化する特徴量量子化手段と、
前記特徴量量子化手段により量子化された前記特徴量を基に、前記特徴量が前記第１の平面画像データの垂直方向にどのような勾配を伴って分布しているかを示す特徴量分布を算出する特徴量分布算出手段と、
前記特徴量分布算出手段により算出された前記特徴量分布を基に、前記第１の平面画像データの消失点を抽出する消失点抽出手段と
を含むことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記画角推定手段は、
前記第１の平面画像データにおいて表現される前記空間を垂直上方から観察した場合を想定した平面図を生成する平面図生成手段と、
前記平面図生成手段により生成された前記平面図内で、前記第１の平面画像データにおける視点の位置を検出することにより、前記画角を算出する画角算出手段と
を含むことを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記平面図生成手段は、前記第１の平面画像データの前記視点の仰角を求めることにより前記平面図を作成する
ことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記画像生成手段は、前記円柱の半径を、前記画角推定手段により推定された前記画角、および、前記第１の平面画像データの画像サイズを基に決定する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項８】
前記画像生成手段により生成された前記第２の平面画像データを表示する表示手段を更に備え、
前記表示手段は、平面形状のディスプレイでなる
ことを特徴とする請求項１に記載の画像処理装置。
【請求項９】
奥行きを有する空間が表現されている第１の平面画像データを取得して変換する画像処理装置の画像処理方法において、
前記第１の平面画像データの消失点を推定する消失点推定ステップと、
前記第１の平面画像データの画角を推定する画角推定ステップと、
前記消失点推定ステップの処理により推定された前記消失点、および、前記画角推定ステップの処理により推定された前記画角を基に、所定の半径の円柱のうち、前記画角に対応する部分の曲面に、前記円柱の中心かつ前記消失点と同一の高さとなる位置を基準点として、前記第１の平面画像データが投影された場合に対応する第２の平面画像データを生成する画像生成ステップと
を含むことを特徴とする画像処理方法。
【請求項１０】
奥行きを有する空間が表現されている第１の平面画像データを取得して変換する処理をコンピュータに実行させるためのプログラムであって、
前記第１の平面画像データの消失点を推定する消失点推定ステップと、
前記第１の平面画像データの画角を推定する画角推定ステップと、
前記消失点推定ステップの処理により推定された前記消失点、および、前記画角推定ステップの処理により推定された前記画角を基に、所定の半径の円柱のうち、前記画角に対応する部分の曲面に、前記円柱の中心かつ前記消失点と同一の高さとなる位置を基準点として、前記第１の平面画像データが投影された場合に対応する第２の平面画像データを生成する画像生成ステップと
を含むことを特徴とする処理をコンピュータに実行させるためのプログラム。
【請求項１１】
請求項１０に記載のプログラムが記録されている記録媒体。
【請求項１２】
奥行きを有する空間が表現されている第１の平面画像データを取得して変換する画像処理装置において、
前記第１の平面画像データの消失点と前記第１の平面画像データの画角が入力される入力手段と、
前記入力手段により入力された前記消失点、および前記画角を基に、所定の半径の円柱のうち、前記画角に対応する部分の曲面に、前記円柱の中心かつ前記消失点と同一の高さとなる位置を基準点として、前記第１の平面画像データが投影された場合に対応する第２の平面画像データを生成する画像生成手段と
を備えることを特徴とする画像処理装置。
【請求項１３】
前記画像生成手段により生成された前記第２の平面画像データを表示する表示手段を更に備え、
前記表示手段は、平面形状のディスプレイでなる
ことを特徴とする請求項１２に記載の画像処理装置。
【請求項１４】
奥行きを有する空間が表現されている第１の平面画像データを取得して変換する画像処理装置の画像処理方法において、
前記第１の平面画像データの消失点と前記第１の平面画像データの画角の入力を制御する入力制御ステップと、
前記入力制御ステップの処理により入力が制御された前記消失点、および前記画角を基に、所定の半径の円柱のうち、前記画角に対応する部分の曲面に、前記円柱の中心かつ前記消失点と同一の高さとなる位置を基準点として、前記第１の平面画像データが投影された場合に対応する第２の平面画像データを生成する画像生成ステップと
を含むことを特徴とする画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図４０】
【図４１】
【図４２】
【図４３】
【図４４】
【図４５】
【図４６】
【図４７】
【図４８】
【図４９】
【図５０】
【図５１】
【図５２】
【図５３】
【図５４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図４０】
【図４１】
【図４２】
【図４３】
【図４４】
【図４５】
【図４６】
【図４７】
【図４８】
【図４９】
【図５０】
【図５１】
【図５２】
【図５３】
【図５４】
【公開番号】特開２００６−３１１３４３（Ｐ２００６−３１１３４３Ａ）
【公開日】平成１８年１１月９日（２００６．１１．９）
【国際特許分類】
【出願番号】特願２００５−１３３１７４（Ｐ２００５−１３３１７４）
【出願日】平成１７年４月２８日（２００５．４．２８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成１８年１１月９日（２００６．１１．９）
【国際特許分類】
【出願日】平成１７年４月２８日（２００５．４．２８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]