光線情報を高速に内挿補間する方法及び装置
【課題】自由視点映像を高速に生成するため、内挿補間を高速に行う方法を提供する。
【解決手段】第１の画像の画素及び第２の画像の画素に対して、それぞれ光線空間中の第１の座標及び第２の座標を求め、第１の座標から第１の奥行き値、及び第２の座標から第２の奥行き値を算出し、第１の画像の画素値及び第１の奥行き値を、第１の画像の位置及び第３の画像の位置に基づく角度だけ回転変換し、第３の画像の第１の画素値及び第１の奥行き値を算出し、第２の画像の画素値及び第２の奥行き値を、第２の画像の位置及び第３の画像の位置に基づく角度だけ回転変換し、第３の画像の第２の画素値及び第２の奥行き値を算出し、第３の画像の第１の画素値及び第３の画像の第２の画素値から、第３の画像の画素値を求める。
【解決手段】第１の画像の画素及び第２の画像の画素に対して、それぞれ光線空間中の第１の座標及び第２の座標を求め、第１の座標から第１の奥行き値、及び第２の座標から第２の奥行き値を算出し、第１の画像の画素値及び第１の奥行き値を、第１の画像の位置及び第３の画像の位置に基づく角度だけ回転変換し、第３の画像の第１の画素値及び第１の奥行き値を算出し、第２の画像の画素値及び第２の奥行き値を、第２の画像の位置及び第３の画像の位置に基づく角度だけ回転変換し、第３の画像の第２の画素値及び第２の奥行き値を算出し、第３の画像の第１の画素値及び第３の画像の第２の画素値から、第３の画像の画素値を求める。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、光線空間における光線情報を高速に内挿補間する方法及び装置に関する。より詳細には、Image-based Rendering（以下、ＩＢＲ）を用いて自由視点映像を生成する手法における内挿補間を高速に行う方法及び装置に関する。
【背景技術】
【０００２】
光線空間法やLight Field Rendering等のＩＢＲによる自由視点映像生成においては、仮想的な視点からの画像を生成するために、カメラ等で撮影して取得した光線情報を内挿補間する必要がある。
【０００３】
光線空間法は３次元空間の記録方法の１つである。カメラの画像はカメラの位置（Ｘ、Ｙ、Ｚ）の１点を通過する様々な方向（θ、φ）の光線を記録した情報と考えられる。光線情報（輝度や色）Ｆは、
Ｆ（Ｘ、Ｙ、Ｚ、θ、φ）
と５つのパラメータを有する関数として定義される。
【０００４】
光線情報Ｆは、５次元のパラメータ空間を必要としているため、内挿補間等の処理を行うには適切ではない。そのため、より効率的な記述方法が考えられた。非特許文献１及び２では３次元円筒記録光線空間が開示されている。これは、日常的な範囲（数メートル）内では、光は減衰しない。つまり、明るさ及び色は変化しない。このことを利用して、光が進んでいく方向は記録する必要がないことを利用して、光線情報Ｆを４つのパラメータで記述したものである。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】苗村 健他、「光線情報の正投影表現に基づく３次元空間の記述」、テレビジョン学会誌Vol. 51, No. 12, pp. 2082〜2090 (1997)
【非特許文献２】Takeshi Naemura and Hiroshi Harashima、"Ray-based approach to Integrated 3D Visual Communication"
【発明の概要】
【発明が解決しようとする課題】
【０００６】
従来のＩＢＲを用いた自由視点映像生成では、内挿補間する処理に多大な時間を必要とし、高速な自由視点映像の生成が困難であるという課題があったため、内挿補間処理の高速化が強く求められていた。近年、ＧＰＧＰＵやＰＣクラスタ等の並列性に優れた計算機が以前に比べて安価かつ容易に利用できるようになってきているが、効果的かつ同程度の精度で並列化を考慮した内挿補間処理方式が存在しなかった。
【０００７】
従って、本発明は自由視点映像を高速に生成するため、内挿補間を高速に行う方法及び装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を実現するため本発明による内挿補間方法は、第１の画像及び第２の画像から、第３の画像を求める内挿補間方法であって、前記第１の画像の画素及び前記第２の画像の画素に対して、それぞれ光線空間中の第１の座標及び第２の座標を求めるステップと、前記第１の座標から第１の奥行き値、及び前記第２の座標から第２の奥行き値を算出するステップと、前記第１の画像の画素値及び前記第１の奥行き値を、前記第１の画像の位置及び前記第３の画像の位置に基づく角度だけ回転変換し、前記第３の画像の第１の画素値及び前記第３の画像の第１の奥行き値を算出するステップと、前記第２の画像の画素値及び前記第２の奥行き値を、前記第２の画像の位置及び前記第３の画像の位置に基づく角度だけ回転変換し、前記第３の画像の第２の画素値及び前記第３の画像の第２の奥行き値を算出するステップと、前記第３の画像の第１の画素値及び前記第３の画像の第２の画素値から、前記第３の画像の画素値を求めるステップとを含んでいる。
【０００９】
また、前記第３の画像の画素値を求めるステップの前に、前記第３の画像の第１の画素値及び前記第３の画像の第２の画素値が、光線空間中の同一座標に格納された場合、該座標には奥行き値が最も大きい画素値を格納するステップを、さらに含むことも好ましい。
【００１０】
また、前記第３の画像の画素値を求めるステップは、前記第３の画像の第１の画素値及び前記第３の画像の第２の画素値の重み付け平均を取ることにより前記第３の画像の画素値を求めるステップであることも好ましい。
【００１１】
上記目的を実現するため本発明による内挿補間装置は、第１の画像及び第２の画像から、第３の画像を求める内挿補間装置であって、前記第１の画像の画素及び前記第２の画像の画素に対して、それぞれ光線空間中の第１の座標及び第２の座標を求める手段と、前記第１の座標から第１の奥行き値、及び前記第２の座標から第２の奥行き値を算出する手段と、前記第１の画像の画素値及び前記第１の奥行き値を、前記第１の画像の位置及び前記第３の画像の位置に基づく角度だけ回転変換し、前記第３の画像の第１の画素値及び前記第３の画像の第１の奥行き値を算出する手段と、前記第２の画像の画素値及び前記第２の奥行き値を、前記第２の画像の位置及び前記第３の画像の位置に基づく角度だけ回転変換し、前記第３の画像の第２の画素値及び前記第３の画像の第２の奥行き値を算出する手段と、前記第３の画像の第１の画素値及び前記第３の画像の第２の画素値から、前記第３の画像の画素値を求める手段とを備えている。
【発明の効果】
【００１２】
本発明の並列計算に適した計算方法をＧＰＵやＰＣクラスタ等の並列性に優れた計算機に実装した装置により、光線情報の内挿補間に要する時間が大幅に短縮され、自由視点映像生成の高速化が実現される。
【図面の簡単な説明】
【００１３】
【図１】本発明による光線情報を高速に内挿補間する装置を備えた自由視点映像生成装置の概略を示す。
【図２】３次元円筒記録光線空間の定義を示す。
【図３】自由視点映像生成装置での回転変換による内挿補間処理手順を示すフローチャートである。
【発明を実施するための形態】
【００１４】
本発明を実施するための最良の実施形態について、以下では図面を用いて詳細に説明する。図１は本発明による光線情報を高速に内挿補間する装置を備えた自由視点映像生成装置の概略を示す。
【００１５】
自由視点映像生成装置１は、光線情報取得部１１と、奥行き推定部１２と、光線情報格納部１３と、光線情報内挿補間部１４と、自由視点画像生成部１５とを備えている。ここで、奥行き推定部１２と光線情報内挿補間部１４が本発明による光線空間を高速に内挿補間する装置に該当する。
【００１６】
光線情報取得部１１は、複数のカメラによる撮影などにより、光線情報を取得する。奥行き推定部１２では、光線情報取得部１１で取得した光線情報の各々に対して、仮想視点から被写体までの奥行き値を算出する。光線情報格納部１３では、光線空間に対し、光線情報を格納する。それとともに、奥行き推定部１２で求めた奥行き値も記録する。光線情報内挿補間部１４では、記録された奥行き値に基づき前記パラメータ空間における実空間中の同一点の軌跡を求め、その軌跡上の光線情報を、既に光線情報取得部１１で取得した光線情報の内挿補間により求める。ただし、この内挿補間処理では回転変換を行うことにより補間すべき点を求める。また、奥行き値に基づく深度バッファリング（Ｚバッファリング）も行う。自由視点画像生成部１５では、光線情報内挿補間部１４で補間されたパラメータ空間から必要な光線情報を読み込み、自由視点画像を生成する。
【００１７】
また、光線情報内挿補間部１４の主な処理は回転変換、Ｚバッファリングであるため、ＧＰＵやＰＣクラスタ等の並列性に優れた計算システムに実装することにより高速に処理することができる。
【００１８】
以下、自由視点映像生成装置１の実施形態の一例を詳細に説明する。ここでは、カメラｎの画像とカメラｎ＋１の画像から、内挿補間を行うことにより視点ｉの位置から見た画像を生成する。
【００１９】
まず、最初に３次元円筒記録光線空間について説明する。３次元円筒記録光線空間とは、図２のようにＸ、Ｙ、Ｚ軸をＹ軸周りにθ回転させた後、Ｚ軸をＸ軸の周りにφ回転させ、回転されたＸ軸をＰ軸、Ｙ軸をＱ軸、回転されたＺ軸をＲ軸と定義する。３次元円筒記録光線空間ではＰＱ平面上の位置とＰＱ平面の傾き（θ、φ）の４つのパラメータによって記述される。カメラの画像はカメラの中心を通る光線の情報を集めたものであり、カメラで撮影することは（Ｐ、Ｑ、θ、φ）空間での１つの曲面上の光線情報を得ることに相当する。ただし、一般のカメラによる撮影の場合、カメラは水平面上にあるため仰角φはほぼ一定である。そのため、ＰＱ平面上の位置とＰＱ平面の傾き（方位角）θの３つのパラメータによって記述され、カメラの画像は（Ｐ、Ｑ、θ）空間での１つの曲面上の光線情報になる。この曲面上以外の点は、撮影していない場所であり、光線情報がないため内挿補間して求める。
【００２０】
実空間中の点（Ｘ、Ｙ、Ｚ）を通過して方位角θの向きに伝搬する光線は、３次元円筒記録光線空間では、
Ｐ＝Ｘｃｏｓθ−Ｚｓｉｎθ
Ｑ＝Ｙ
で求められる点（Ｐ、Ｑ、θ）に対応する。また、このときＰＱ平面に直交するＲ軸の値は奥行き値に相当し、
Ｒ＝Ｘｓｉｎθ＋Ｚｃｏｓθ
で求められる。
【００２１】
図３は、自由視点映像生成装置１での回転変換による内挿補間処理手順を示すフローチャートである。以下、このフローチャートに基づき説明する。
【００２２】
Ｓ１．３次元円筒記録光線空間での座標及び奥行き値を求める。本実施形態では、本処理は光線情報取得部１１及び奥行き推定部１２において行われる。まず、カメラｎの画像に着目する。画像は実空間中の１点を通過する光線の集合と見なせるので、画像の各画素は実空間中の点（Ｘ０，Ｙ０、Ｚ０）から放射されカメラｎに入射する１本の光線に対応する。３次元円筒記録光線空間中で、この光線の情報が格納される座標を（Ｐｎ，Ｑｎ、θｎ）、奥行き値をＲｎとおく。この時、実空間の座標と３次元円筒記録光線空間の座標、奥行きとの関係は、式
【数１】
が成り立つ。同様にカメラｎ＋１の画像に対しても、３次元円筒記録光線空間中の座標（Ｐｎ＋１，Ｑｎ＋１、θｎ＋１）、奥行き値Ｒｎ＋１に対して、式
【数２】
が成り立つ。光線情報取得部１１は上記で求めた座標での光線情報Ｆ（Ｐ、Ｑ、θ）を光線情報格納部１３に格納し、奥行き推定部１２は上記で求めた奥行き値を光線情報格納部１３に格納する。
【００２３】
Ｓ２．カメラｎ及びカメラｎ＋１の画像中の各画素（光線）を回転変換し、視点ｉの位置の画像の画素値（光線情報）と奥行き値を求める。本実施形態では、本処理以降は光線情報内挿補間部１４において行われる。
【００２４】
回転変換は以下のように定式化される。３次元円筒記録光線空間中で、実空間中の点（Ｘ０，Ｙ０、Ｚ０）から放射される光線の軌跡は、
【数３】
で表わされる。
【００２５】
式（１）及び式（３）より、
【数４】
が成立する。即ち、式（４）中の行列により、画素（Ｐｎ，Ｑｎ、Ｒｎ）を回転変換することができ、補完する光線の軌跡を求めることができる。
【００２６】
カメラｎの実空間中の位置を（Ｘｎ，Ｙｎ、Ｚｎ）、カメラｎ＋１の実空間中の位置を（Ｘｎ＋１，Ｙｎ＋１、Ｚｎ＋１）とおくと、視点ｉの画像とカメラｎの画像とカメラの画像ｎ＋１はそれぞれ３次元円筒記録光線空間中の
【数５】
で表される曲面に格納される。
【００２７】
故に、式（５）の曲面（視点ｉの画像の画素値と奥行き値が格納される曲面）上の点（Ｐｉ，Ｑｉ、θｉ）に格納すべき画素値と奥行き値を求めるには、
【数６】
で表される角度だけ、式（６）の曲面（カメラｎの画像の画素値と奥行き値が格納される曲面）を式（４）に基づいて回転変換すればよい。
【００２８】
同様にして、
【数７】
で表される角度だけ、式（７）の曲面（カメラｎ＋１の画像の画素値と奥行き値が格納される曲面）を式（４）に基づいて回転変換すればよい。
【００２９】
Ｓ３．回転変換後の画素を内挿補間する。元の画像（カメラｎの画像）中では隣接していた画素のペアであっても、回転変換後は光線空間中の対応する点のペアでは間隔が開いて間に画素値と奥行き値が得られない点が生じることがある。そこで、それらの点の画素値と奥行き値は、元の画像（カメラｎの画像）中の対応する画素のペア（前述の隣接していた画素のペア）の画素値と奥行き値から内挿補間して（線形補間または３次補間）求める。
【００３０】
ただし、あらかじめ閾値ΔＲを設定しておき、元の画像（カメラｎの画像）中の隣接する画素であっても、その奥行き値の差がΔＲより大きければ、この２画素は不連続であるとみなす。従って、この画素のペアの間は内挿補間を行わない。カメラｎ＋１の画像についても同様な内挿補間を行う。
【００３１】
Ｓ４．深度バッファリングを行う。前述の回転変換と内挿補間に伴い、光線空間中の同一座標に複数組の画素値と奥行き値が格納される場合がある。その場合は、深度バッファリング（Ｚバッファリング）を行う。即ち、奥行き値が最も大きい（視点に最も近い）点の画素値と奥行き値を格納する。
【００３２】
Ｓ５．２画像の合成を行う。一般に、光線空間中の各点において、カメラｎの画像から求めた奥行き値とカメラｎ＋１の画像から求めた奥行き値は一致するが、自己オクルージョンにより一致しない場合がある。そのような場合は、奥行き値が小さい（視点から遠い）方の画素値と奥行き値を使用する。
【００３３】
次に光線空間中の各点（Ｐ、Ｑ、θ）において、カメラｎの画像から求めた画素値とカメラｎ＋１の画像から求めた画素値とを、｜θ−θｎ｜および｜θ−θｎ＋１｜に基づき、
【数８】
で重み付け平均することにより、（Ｐ、Ｑ、θ）に格納される光線情報Ｆ（Ｐ、Ｑ、θ）を求めることができる。ここでＦ（Ｐｎ、Ｑｎ、θｎ）は式（６）の曲面を式（４）に基づいて、式（８）の角度だけ回転変換した結果の曲面上に格納される光線情報であり、Ｆ（Ｐｎ＋１、Ｑｎ＋１、θｎ＋１）は式（７）の曲面を式（４）に基づいて、式（９）の角度だけ回転変換した結果の曲面上に格納される光線情報である。なお、重み付け平均に用いる画素は以下のように決定される。被写体の１点から出た光は、方向に関係なく同じ色、同じ明るさをしている。そのため、カメラ画像に対応している（Ｐ、Ｑ、θ）空間での２枚の曲面上の同じ色、同じ明るさの部分は被写体の同じ１点を指している。従って、２枚の曲面上のそれぞれ同じ色、同じ明るさの画素を内挿補間に用いる。
【００３４】
ここで、カメラｎの位置を（Ｘｎ，Ｙｎ、Ｚｎ）、カメラｎ＋１の位置を（Ｘｎ＋１，Ｙｎ＋１、Ｚｎ＋１）とおくと、式
【数９】
が成り立つ。従って、例えばθｎ＜θ＜θｎ＋１の場合は、式（１０）および式（１１）から、
【数１０】
が導かれる。
【００３５】
以上のようにして、カメラｎの画像とカメラｎ＋１の画像から、内挿補間を行うことにより視点ｉの位置から見た画像が生成される。自由視点画像生成部１５では、光線情報内挿補間部１４で生成された光線情報を読み込み、自由視点画像を生成する。
【００３６】
また、以上述べた実施形態は全て本発明を例示的に示すものであって限定的に示すものではなく、本発明は他の種々の変形態様および変更態様で実施することができる。従って本発明の範囲は特許請求の範囲およびその均等範囲によってのみ規定されるものである。
【符号の説明】
【００３７】
１ 自由視点映像生成装置
１１ 光線情報取得部
１２ 奥行き推定部
１３ 光線情報格納部
１４ 光線情報内挿補間部
１５ 自由視点画像生成部
【技術分野】
【０００１】
本発明は、光線空間における光線情報を高速に内挿補間する方法及び装置に関する。より詳細には、Image-based Rendering（以下、ＩＢＲ）を用いて自由視点映像を生成する手法における内挿補間を高速に行う方法及び装置に関する。
【背景技術】
【０００２】
光線空間法やLight Field Rendering等のＩＢＲによる自由視点映像生成においては、仮想的な視点からの画像を生成するために、カメラ等で撮影して取得した光線情報を内挿補間する必要がある。
【０００３】
光線空間法は３次元空間の記録方法の１つである。カメラの画像はカメラの位置（Ｘ、Ｙ、Ｚ）の１点を通過する様々な方向（θ、φ）の光線を記録した情報と考えられる。光線情報（輝度や色）Ｆは、
Ｆ（Ｘ、Ｙ、Ｚ、θ、φ）
と５つのパラメータを有する関数として定義される。
【０００４】
光線情報Ｆは、５次元のパラメータ空間を必要としているため、内挿補間等の処理を行うには適切ではない。そのため、より効率的な記述方法が考えられた。非特許文献１及び２では３次元円筒記録光線空間が開示されている。これは、日常的な範囲（数メートル）内では、光は減衰しない。つまり、明るさ及び色は変化しない。このことを利用して、光が進んでいく方向は記録する必要がないことを利用して、光線情報Ｆを４つのパラメータで記述したものである。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】苗村 健他、「光線情報の正投影表現に基づく３次元空間の記述」、テレビジョン学会誌Vol. 51, No. 12, pp. 2082〜2090 (1997)
【非特許文献２】Takeshi Naemura and Hiroshi Harashima、"Ray-based approach to Integrated 3D Visual Communication"
【発明の概要】
【発明が解決しようとする課題】
【０００６】
従来のＩＢＲを用いた自由視点映像生成では、内挿補間する処理に多大な時間を必要とし、高速な自由視点映像の生成が困難であるという課題があったため、内挿補間処理の高速化が強く求められていた。近年、ＧＰＧＰＵやＰＣクラスタ等の並列性に優れた計算機が以前に比べて安価かつ容易に利用できるようになってきているが、効果的かつ同程度の精度で並列化を考慮した内挿補間処理方式が存在しなかった。
【０００７】
従って、本発明は自由視点映像を高速に生成するため、内挿補間を高速に行う方法及び装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を実現するため本発明による内挿補間方法は、第１の画像及び第２の画像から、第３の画像を求める内挿補間方法であって、前記第１の画像の画素及び前記第２の画像の画素に対して、それぞれ光線空間中の第１の座標及び第２の座標を求めるステップと、前記第１の座標から第１の奥行き値、及び前記第２の座標から第２の奥行き値を算出するステップと、前記第１の画像の画素値及び前記第１の奥行き値を、前記第１の画像の位置及び前記第３の画像の位置に基づく角度だけ回転変換し、前記第３の画像の第１の画素値及び前記第３の画像の第１の奥行き値を算出するステップと、前記第２の画像の画素値及び前記第２の奥行き値を、前記第２の画像の位置及び前記第３の画像の位置に基づく角度だけ回転変換し、前記第３の画像の第２の画素値及び前記第３の画像の第２の奥行き値を算出するステップと、前記第３の画像の第１の画素値及び前記第３の画像の第２の画素値から、前記第３の画像の画素値を求めるステップとを含んでいる。
【０００９】
また、前記第３の画像の画素値を求めるステップの前に、前記第３の画像の第１の画素値及び前記第３の画像の第２の画素値が、光線空間中の同一座標に格納された場合、該座標には奥行き値が最も大きい画素値を格納するステップを、さらに含むことも好ましい。
【００１０】
また、前記第３の画像の画素値を求めるステップは、前記第３の画像の第１の画素値及び前記第３の画像の第２の画素値の重み付け平均を取ることにより前記第３の画像の画素値を求めるステップであることも好ましい。
【００１１】
上記目的を実現するため本発明による内挿補間装置は、第１の画像及び第２の画像から、第３の画像を求める内挿補間装置であって、前記第１の画像の画素及び前記第２の画像の画素に対して、それぞれ光線空間中の第１の座標及び第２の座標を求める手段と、前記第１の座標から第１の奥行き値、及び前記第２の座標から第２の奥行き値を算出する手段と、前記第１の画像の画素値及び前記第１の奥行き値を、前記第１の画像の位置及び前記第３の画像の位置に基づく角度だけ回転変換し、前記第３の画像の第１の画素値及び前記第３の画像の第１の奥行き値を算出する手段と、前記第２の画像の画素値及び前記第２の奥行き値を、前記第２の画像の位置及び前記第３の画像の位置に基づく角度だけ回転変換し、前記第３の画像の第２の画素値及び前記第３の画像の第２の奥行き値を算出する手段と、前記第３の画像の第１の画素値及び前記第３の画像の第２の画素値から、前記第３の画像の画素値を求める手段とを備えている。
【発明の効果】
【００１２】
本発明の並列計算に適した計算方法をＧＰＵやＰＣクラスタ等の並列性に優れた計算機に実装した装置により、光線情報の内挿補間に要する時間が大幅に短縮され、自由視点映像生成の高速化が実現される。
【図面の簡単な説明】
【００１３】
【図１】本発明による光線情報を高速に内挿補間する装置を備えた自由視点映像生成装置の概略を示す。
【図２】３次元円筒記録光線空間の定義を示す。
【図３】自由視点映像生成装置での回転変換による内挿補間処理手順を示すフローチャートである。
【発明を実施するための形態】
【００１４】
本発明を実施するための最良の実施形態について、以下では図面を用いて詳細に説明する。図１は本発明による光線情報を高速に内挿補間する装置を備えた自由視点映像生成装置の概略を示す。
【００１５】
自由視点映像生成装置１は、光線情報取得部１１と、奥行き推定部１２と、光線情報格納部１３と、光線情報内挿補間部１４と、自由視点画像生成部１５とを備えている。ここで、奥行き推定部１２と光線情報内挿補間部１４が本発明による光線空間を高速に内挿補間する装置に該当する。
【００１６】
光線情報取得部１１は、複数のカメラによる撮影などにより、光線情報を取得する。奥行き推定部１２では、光線情報取得部１１で取得した光線情報の各々に対して、仮想視点から被写体までの奥行き値を算出する。光線情報格納部１３では、光線空間に対し、光線情報を格納する。それとともに、奥行き推定部１２で求めた奥行き値も記録する。光線情報内挿補間部１４では、記録された奥行き値に基づき前記パラメータ空間における実空間中の同一点の軌跡を求め、その軌跡上の光線情報を、既に光線情報取得部１１で取得した光線情報の内挿補間により求める。ただし、この内挿補間処理では回転変換を行うことにより補間すべき点を求める。また、奥行き値に基づく深度バッファリング（Ｚバッファリング）も行う。自由視点画像生成部１５では、光線情報内挿補間部１４で補間されたパラメータ空間から必要な光線情報を読み込み、自由視点画像を生成する。
【００１７】
また、光線情報内挿補間部１４の主な処理は回転変換、Ｚバッファリングであるため、ＧＰＵやＰＣクラスタ等の並列性に優れた計算システムに実装することにより高速に処理することができる。
【００１８】
以下、自由視点映像生成装置１の実施形態の一例を詳細に説明する。ここでは、カメラｎの画像とカメラｎ＋１の画像から、内挿補間を行うことにより視点ｉの位置から見た画像を生成する。
【００１９】
まず、最初に３次元円筒記録光線空間について説明する。３次元円筒記録光線空間とは、図２のようにＸ、Ｙ、Ｚ軸をＹ軸周りにθ回転させた後、Ｚ軸をＸ軸の周りにφ回転させ、回転されたＸ軸をＰ軸、Ｙ軸をＱ軸、回転されたＺ軸をＲ軸と定義する。３次元円筒記録光線空間ではＰＱ平面上の位置とＰＱ平面の傾き（θ、φ）の４つのパラメータによって記述される。カメラの画像はカメラの中心を通る光線の情報を集めたものであり、カメラで撮影することは（Ｐ、Ｑ、θ、φ）空間での１つの曲面上の光線情報を得ることに相当する。ただし、一般のカメラによる撮影の場合、カメラは水平面上にあるため仰角φはほぼ一定である。そのため、ＰＱ平面上の位置とＰＱ平面の傾き（方位角）θの３つのパラメータによって記述され、カメラの画像は（Ｐ、Ｑ、θ）空間での１つの曲面上の光線情報になる。この曲面上以外の点は、撮影していない場所であり、光線情報がないため内挿補間して求める。
【００２０】
実空間中の点（Ｘ、Ｙ、Ｚ）を通過して方位角θの向きに伝搬する光線は、３次元円筒記録光線空間では、
Ｐ＝Ｘｃｏｓθ−Ｚｓｉｎθ
Ｑ＝Ｙ
で求められる点（Ｐ、Ｑ、θ）に対応する。また、このときＰＱ平面に直交するＲ軸の値は奥行き値に相当し、
Ｒ＝Ｘｓｉｎθ＋Ｚｃｏｓθ
で求められる。
【００２１】
図３は、自由視点映像生成装置１での回転変換による内挿補間処理手順を示すフローチャートである。以下、このフローチャートに基づき説明する。
【００２２】
Ｓ１．３次元円筒記録光線空間での座標及び奥行き値を求める。本実施形態では、本処理は光線情報取得部１１及び奥行き推定部１２において行われる。まず、カメラｎの画像に着目する。画像は実空間中の１点を通過する光線の集合と見なせるので、画像の各画素は実空間中の点（Ｘ０，Ｙ０、Ｚ０）から放射されカメラｎに入射する１本の光線に対応する。３次元円筒記録光線空間中で、この光線の情報が格納される座標を（Ｐｎ，Ｑｎ、θｎ）、奥行き値をＲｎとおく。この時、実空間の座標と３次元円筒記録光線空間の座標、奥行きとの関係は、式
【数１】
が成り立つ。同様にカメラｎ＋１の画像に対しても、３次元円筒記録光線空間中の座標（Ｐｎ＋１，Ｑｎ＋１、θｎ＋１）、奥行き値Ｒｎ＋１に対して、式
【数２】
が成り立つ。光線情報取得部１１は上記で求めた座標での光線情報Ｆ（Ｐ、Ｑ、θ）を光線情報格納部１３に格納し、奥行き推定部１２は上記で求めた奥行き値を光線情報格納部１３に格納する。
【００２３】
Ｓ２．カメラｎ及びカメラｎ＋１の画像中の各画素（光線）を回転変換し、視点ｉの位置の画像の画素値（光線情報）と奥行き値を求める。本実施形態では、本処理以降は光線情報内挿補間部１４において行われる。
【００２４】
回転変換は以下のように定式化される。３次元円筒記録光線空間中で、実空間中の点（Ｘ０，Ｙ０、Ｚ０）から放射される光線の軌跡は、
【数３】
で表わされる。
【００２５】
式（１）及び式（３）より、
【数４】
が成立する。即ち、式（４）中の行列により、画素（Ｐｎ，Ｑｎ、Ｒｎ）を回転変換することができ、補完する光線の軌跡を求めることができる。
【００２６】
カメラｎの実空間中の位置を（Ｘｎ，Ｙｎ、Ｚｎ）、カメラｎ＋１の実空間中の位置を（Ｘｎ＋１，Ｙｎ＋１、Ｚｎ＋１）とおくと、視点ｉの画像とカメラｎの画像とカメラの画像ｎ＋１はそれぞれ３次元円筒記録光線空間中の
【数５】
で表される曲面に格納される。
【００２７】
故に、式（５）の曲面（視点ｉの画像の画素値と奥行き値が格納される曲面）上の点（Ｐｉ，Ｑｉ、θｉ）に格納すべき画素値と奥行き値を求めるには、
【数６】
で表される角度だけ、式（６）の曲面（カメラｎの画像の画素値と奥行き値が格納される曲面）を式（４）に基づいて回転変換すればよい。
【００２８】
同様にして、
【数７】
で表される角度だけ、式（７）の曲面（カメラｎ＋１の画像の画素値と奥行き値が格納される曲面）を式（４）に基づいて回転変換すればよい。
【００２９】
Ｓ３．回転変換後の画素を内挿補間する。元の画像（カメラｎの画像）中では隣接していた画素のペアであっても、回転変換後は光線空間中の対応する点のペアでは間隔が開いて間に画素値と奥行き値が得られない点が生じることがある。そこで、それらの点の画素値と奥行き値は、元の画像（カメラｎの画像）中の対応する画素のペア（前述の隣接していた画素のペア）の画素値と奥行き値から内挿補間して（線形補間または３次補間）求める。
【００３０】
ただし、あらかじめ閾値ΔＲを設定しておき、元の画像（カメラｎの画像）中の隣接する画素であっても、その奥行き値の差がΔＲより大きければ、この２画素は不連続であるとみなす。従って、この画素のペアの間は内挿補間を行わない。カメラｎ＋１の画像についても同様な内挿補間を行う。
【００３１】
Ｓ４．深度バッファリングを行う。前述の回転変換と内挿補間に伴い、光線空間中の同一座標に複数組の画素値と奥行き値が格納される場合がある。その場合は、深度バッファリング（Ｚバッファリング）を行う。即ち、奥行き値が最も大きい（視点に最も近い）点の画素値と奥行き値を格納する。
【００３２】
Ｓ５．２画像の合成を行う。一般に、光線空間中の各点において、カメラｎの画像から求めた奥行き値とカメラｎ＋１の画像から求めた奥行き値は一致するが、自己オクルージョンにより一致しない場合がある。そのような場合は、奥行き値が小さい（視点から遠い）方の画素値と奥行き値を使用する。
【００３３】
次に光線空間中の各点（Ｐ、Ｑ、θ）において、カメラｎの画像から求めた画素値とカメラｎ＋１の画像から求めた画素値とを、｜θ−θｎ｜および｜θ−θｎ＋１｜に基づき、
【数８】
で重み付け平均することにより、（Ｐ、Ｑ、θ）に格納される光線情報Ｆ（Ｐ、Ｑ、θ）を求めることができる。ここでＦ（Ｐｎ、Ｑｎ、θｎ）は式（６）の曲面を式（４）に基づいて、式（８）の角度だけ回転変換した結果の曲面上に格納される光線情報であり、Ｆ（Ｐｎ＋１、Ｑｎ＋１、θｎ＋１）は式（７）の曲面を式（４）に基づいて、式（９）の角度だけ回転変換した結果の曲面上に格納される光線情報である。なお、重み付け平均に用いる画素は以下のように決定される。被写体の１点から出た光は、方向に関係なく同じ色、同じ明るさをしている。そのため、カメラ画像に対応している（Ｐ、Ｑ、θ）空間での２枚の曲面上の同じ色、同じ明るさの部分は被写体の同じ１点を指している。従って、２枚の曲面上のそれぞれ同じ色、同じ明るさの画素を内挿補間に用いる。
【００３４】
ここで、カメラｎの位置を（Ｘｎ，Ｙｎ、Ｚｎ）、カメラｎ＋１の位置を（Ｘｎ＋１，Ｙｎ＋１、Ｚｎ＋１）とおくと、式
【数９】
が成り立つ。従って、例えばθｎ＜θ＜θｎ＋１の場合は、式（１０）および式（１１）から、
【数１０】
が導かれる。
【００３５】
以上のようにして、カメラｎの画像とカメラｎ＋１の画像から、内挿補間を行うことにより視点ｉの位置から見た画像が生成される。自由視点画像生成部１５では、光線情報内挿補間部１４で生成された光線情報を読み込み、自由視点画像を生成する。
【００３６】
また、以上述べた実施形態は全て本発明を例示的に示すものであって限定的に示すものではなく、本発明は他の種々の変形態様および変更態様で実施することができる。従って本発明の範囲は特許請求の範囲およびその均等範囲によってのみ規定されるものである。
【符号の説明】
【００３７】
１ 自由視点映像生成装置
１１ 光線情報取得部
１２ 奥行き推定部
１３ 光線情報格納部
１４ 光線情報内挿補間部
１５ 自由視点画像生成部
【特許請求の範囲】
【請求項１】
第１の画像及び第２の画像から、第３の画像を求める内挿補間方法であって、
前記第１の画像の画素及び前記第２の画像の画素に対して、それぞれ光線空間中の第１の座標及び第２の座標を求めるステップと、
前記第１の座標から第１の奥行き値、及び前記第２の座標から第２の奥行き値を算出するステップと、
前記第１の画像の画素値及び前記第１の奥行き値を、前記第１の画像の位置及び前記第３の画像の位置に基づく角度だけ回転変換し、前記第３の画像の第１の画素値及び前記第３の画像の第１の奥行き値を算出するステップと、
前記第２の画像の画素値及び前記第２の奥行き値を、前記第２の画像の位置及び前記第３の画像の位置に基づく角度だけ回転変換し、前記第３の画像の第２の画素値及び前記第３の画像の第２の奥行き値を算出するステップと、
前記第３の画像の第１の画素値及び前記第３の画像の第２の画素値から、前記第３の画像の画素値を求めるステップと、
を含んでいることを特徴とする内挿補間方法。
【請求項２】
前記第３の画像の画素値を求めるステップの前に、
前記第３の画像の第１の画素値及び前記第３の画像の第２の画素値が、光線空間中の同一座標に格納された場合、該座標には奥行き値が最も大きい画素値を格納するステップを、さらに含むことを特徴とする請求項１に記載の内挿補間方法。
【請求項３】
前記第３の画像の画素値を求めるステップは、前記第３の画像の第１の画素値及び前記第３の画像の第２の画素値の重み付け平均を取ることにより前記第３の画像の画素値を求めるステップであることを特徴とする請求項１または２に記載の内挿補間方法。
【請求項４】
第１の画像及び第２の画像から、第３の画像を求める内挿補間装置であって、
前記第１の画像の画素及び前記第２の画像の画素に対して、それぞれ光線空間中の第１の座標及び第２の座標を求める手段と、
前記第１の座標から第１の奥行き値、及び前記第２の座標から第２の奥行き値を算出する手段と、
前記第１の画像の画素値及び前記第１の奥行き値を、前記第１の画像の位置及び前記第３の画像の位置に基づく角度だけ回転変換し、前記第３の画像の第１の画素値及び前記第３の画像の第１の奥行き値を算出する手段と、
前記第２の画像の画素値及び前記第２の奥行き値を、前記第２の画像の位置及び前記第３の画像の位置に基づく角度だけ回転変換し、前記第３の画像の第２の画素値及び前記第３の画像の第２の奥行き値を算出する手段と、
前記第３の画像の第１の画素値及び前記第３の画像の第２の画素値から、前記第３の画像の画素値を求める手段と、
を備えていることを特徴とする内挿補間装置。
【請求項１】
第１の画像及び第２の画像から、第３の画像を求める内挿補間方法であって、
前記第１の画像の画素及び前記第２の画像の画素に対して、それぞれ光線空間中の第１の座標及び第２の座標を求めるステップと、
前記第１の座標から第１の奥行き値、及び前記第２の座標から第２の奥行き値を算出するステップと、
前記第１の画像の画素値及び前記第１の奥行き値を、前記第１の画像の位置及び前記第３の画像の位置に基づく角度だけ回転変換し、前記第３の画像の第１の画素値及び前記第３の画像の第１の奥行き値を算出するステップと、
前記第２の画像の画素値及び前記第２の奥行き値を、前記第２の画像の位置及び前記第３の画像の位置に基づく角度だけ回転変換し、前記第３の画像の第２の画素値及び前記第３の画像の第２の奥行き値を算出するステップと、
前記第３の画像の第１の画素値及び前記第３の画像の第２の画素値から、前記第３の画像の画素値を求めるステップと、
を含んでいることを特徴とする内挿補間方法。
【請求項２】
前記第３の画像の画素値を求めるステップの前に、
前記第３の画像の第１の画素値及び前記第３の画像の第２の画素値が、光線空間中の同一座標に格納された場合、該座標には奥行き値が最も大きい画素値を格納するステップを、さらに含むことを特徴とする請求項１に記載の内挿補間方法。
【請求項３】
前記第３の画像の画素値を求めるステップは、前記第３の画像の第１の画素値及び前記第３の画像の第２の画素値の重み付け平均を取ることにより前記第３の画像の画素値を求めるステップであることを特徴とする請求項１または２に記載の内挿補間方法。
【請求項４】
第１の画像及び第２の画像から、第３の画像を求める内挿補間装置であって、
前記第１の画像の画素及び前記第２の画像の画素に対して、それぞれ光線空間中の第１の座標及び第２の座標を求める手段と、
前記第１の座標から第１の奥行き値、及び前記第２の座標から第２の奥行き値を算出する手段と、
前記第１の画像の画素値及び前記第１の奥行き値を、前記第１の画像の位置及び前記第３の画像の位置に基づく角度だけ回転変換し、前記第３の画像の第１の画素値及び前記第３の画像の第１の奥行き値を算出する手段と、
前記第２の画像の画素値及び前記第２の奥行き値を、前記第２の画像の位置及び前記第３の画像の位置に基づく角度だけ回転変換し、前記第３の画像の第２の画素値及び前記第３の画像の第２の奥行き値を算出する手段と、
前記第３の画像の第１の画素値及び前記第３の画像の第２の画素値から、前記第３の画像の画素値を求める手段と、
を備えていることを特徴とする内挿補間装置。
【図１】
【図２】
【図３】
【図２】
【図３】
【公開番号】特開２０１１−２８４２８（Ｐ２０１１−２８４２８Ａ）
【公開日】平成２３年２月１０日（２０１１．２．１０）
【国際特許分類】
【出願番号】特願２００９−１７２０２１（Ｐ２００９−１７２０２１）
【出願日】平成２１年７月２３日（２００９．７．２３）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
【公開日】平成２３年２月１０日（２０１１．２．１０）
【国際特許分類】
【出願日】平成２１年７月２３日（２００９．７．２３）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
[ Back to top ]