画像生成装置、方法及びプログラム
【課題】光線空間を構築するために、実際に撮影された画像内の対応画素を簡易にかつ精度良く見つけて、補間画像を生成する画像生成装置を提供する。
【解決手段】画像生成装置は、指定された視点における生成画像を生成するため、２つの画像の各画素の光線空間及び実空間での位置情報、光線空間における一点の分布、及び、前記指定された視点に基づき、生成画像の画素に対応する、前記２つの画像の画素を求める交点検出手段と、求めた画素を中心とした所定範囲において、所定の画素サイズのブロックによるブロック・マッチングを適用し、対応するブロックを求める対応点検出手段と、求めた対応ブロックの中心にある画素に基づき、生成画像の画素値を決定する画素値算出手段とを備えている。
【解決手段】画像生成装置は、指定された視点における生成画像を生成するため、２つの画像の各画素の光線空間及び実空間での位置情報、光線空間における一点の分布、及び、前記指定された視点に基づき、生成画像の画素に対応する、前記２つの画像の画素を求める交点検出手段と、求めた画素を中心とした所定範囲において、所定の画素サイズのブロックによるブロック・マッチングを適用し、対応するブロックを求める対応点検出手段と、求めた対応ブロックの中心にある画素に基づき、生成画像の画素値を決定する画素値算出手段とを備えている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自由視点映像を実現する光線空間の構築技術に関する。
【背景技術】
【０００２】
複数のカメラで撮影した静止画像又は動画像に基づき、任意の視点位置から見た映像を再現する自由視点映像技術について、様々な提案が行われている（例えば、特許文献１、非特許文献１及び非特許文献２、参照。）。
【０００３】
従来技術による方法では、複数のカメラでほぼ同時刻に撮影した画像を光線空間上に配置し、カメラが存在しない位置から見た画像については、周囲にある実際に撮影した画像から補間処理により生成し、これにより任意の視点位置から見た映像を再現している。
【０００４】
【特許文献１】特開２００８−１５７５６号公報
【非特許文献１】Ｔａｋｅｓｈｉ Ｎａｅｍｕｒａ、ｅｔ ａｌ．、“Ｒａｙ−Ｂａｓｅｄ Ｃｒｅａｔｉｏｎ ｏｆ Ｐｈｏｔｏ−Ｒｅａｌｉｓｔｉｃ Ｖｉｒｔｕａｌ Ｗｏｒｌｄ”、ＶＳＭＭ９７、ｐｐ．５９−６８、１９９７年９月
【非特許文献２】Ｍｉｃｈａｅｌ Ｄｒｏｅｓｅ、ｅｔ ａｌ．、“Ｒａｙ−Ｓｐａｃｅ Ｉｎｔｅｒｐｏｌａｔｉｏｎ ｂａｓｅｄ ｏｎ Ｆｉｌｔｅｒｉｎｇ ｉｎ Ｄｉｓｐａｒｉｔｙ Ｄｏｍａｉｎ”、Ｐｒｏｃ． ｏｆ ３Ｄ Ｉｍａｇｅ Ｃｏｎｆｅｒｅｎｃｅ ２００４、ｐｐ．２９−３０、２００４年
【非特許文献３】Ｃ．Ｎｉｃｌａｓｓ、ｅｔ ａｌ．、“Ａ ＣＭＯＳ ３Ｄ Ｃａｍｅｒａ ｗｉｔｈ Ｍｉｌｌｉｍｅｔｒｉｃ Ｄｅｐｔｈ Ｒｅｓｏｌｕｔｉｏｎ”、ＩＥＥＥ Ｃｕｓｔｏｍ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔｓ Ｃｏｎｆｅｒｅｎｃｅ、ｐｐ．７０５−７０８、２００４年
【発明の開示】
【発明が解決しようとする課題】
【０００５】
実際に撮影した画像の間の位置から見た画像を補間処理により生成して密な光線空間を構築するにあたり、生成する画像内の各画素値を、実際に撮影した画像の対応画素に基づき生成することが重要となる。対応する画素判定の精度が低いと、補間処理により生成された画像の品質が劣化し、よって、自由視点映像システム全体の品質が劣化することとなる。一方、補間処理による画像の生成は、処理負荷が高く、できるだけ簡易に対応する画素を探索することが要求される。
【０００６】
したがって、本発明は、光線空間を構築するために、実際に撮影された画像内の対応する画素を簡易にかつ精度良く見つけて、実際にはカメラが存在しない位置における画像を生成する画像生成装置、方法及び前記画像生成装置としてコンピュータを機能させるプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明における画像生成装置によれば、
第１の画像及び第２の画像に基づき、指定された視点における第３の画像の第３の画素の画素値を決定する画像生成装置であって、第１及び第２の画像の各画素の光線空間及び実空間での位置情報と、実空間の一点からの光線を示す点の該光線空間における分布と、前記指定された視点に基づき、前記第３の画素に対応する、第１の画像の第１の画素と、第２の画像の第２の画素を求める交点検出手段と、第１の画素を中心とした範囲である第１の探索領域と、第２の画素を中心とした範囲である第２の探索領域内において、所定の画素サイズのブロックによるブロック・マッチングを適用し、最も相関の高い組合せである、第１の探索領域内の第１のブロックと第２の探索領域内の第２のブロックを求める対応点検出手段と、第１のブロックの中心にある画素と、第２のブロックの中心にある画素に基づき、第３の画素の画素値を決定する画素値算出手段とを備えていることを特徴とする。
【０００８】
本発明の画像生成装置における他の実施形態によれば、
複数のカメラの位置及び方向と、前記複数のカメラが撮影した撮影画像に基づき、前記複数のカメラのカメラパラメータのキャリブレーションと、前記撮影画像の各画素の実空間での位置情報を求める前処理手段と、前記撮影画像と、前記撮影画像から生成した生成画像を保存する保存手段とを備えており、前記第１の画像及び前記第２の画像は、それぞれ、前記撮影画像又は前記生成画像であり、前記生成画像の各画素は、前記交点検出手段、対応点検出手段及び画素値算出手段により決定したものであることも好ましい。
【０００９】
本発明の画像生成装置における他の実施形態によれば、
第１の探索領域及び第２の探索領域の範囲を、光線空間における前記第３の画素の位置に応じて変化させることも好ましく、さらに、前記第１の画像及び第２の画像の視点は、前記第３の画像の前記指定された視点において当該視点の方向に伸ばした直線の両側にあることも好ましい。
【００１０】
本発明における画像生成方法によれば、
第１の画像と、第２の画像に基づき、画像生成装置において、指定された視点における第３の画像の第３の画素の画素値を決定する方法であって、交点検出部が、第１及び第２の画像の各画素の光線空間及び実空間での位置情報と、該光線空間における実空間の各位置の分布と、前記指定された視点に基づき、前記第３の画素に対応する、第１の画像の第１の画素と、第２の画像の第２の画素を求めるステップと、対応点検出部が、第１の画素を中心とした範囲である第１の探索領域を第１の画像に、第２の画素を中心とした範囲である第２の探索領域を第２の画像に設定するステップと、対応点検出部が、第１の探索領域内にある所定の画素サイズの各ブロックと、第２の探索領域内にある前記所定の画素サイズの各ブロックとの相関をそれぞれ求めることにより、第１の探索領域内の第１のブロックに対応する第２の探索領域内の第２のブロックを求めるステップと、画素値算出部が、第１のブロックの中心にある画素と、第２のブロックの中心にある画素に基づき、第３の画素の画素値を決定するステップとを備えていることを特徴とする。
【００１１】
本発明におけるプログラムは、コンピュータを上記画像生成装置として機能させることを特徴とする。
【発明の効果】
【００１２】
実空間上のある一点からの各光線は、光線空間においては曲線又は直線状に分布し、この分布は、カメラパラメータ、カメラ位置及び方向、各画素の実空間での位置に基づき求めることができる。しかしながら、分布の算出に使用する各値には、通常、誤差が含まれており、この分布により第１及び第２の画像の対応画素を正確に求めることはできない。しかしながら、誤差が著しく大きくない限り、対応画素は、分布により求めた画素の近傍に存在するため、求めた画素を中心とする探索領域に対してブロック・マッチングを適用して対応画素を決定する。分布によりブロック・マッチングを適用する探索領域をある狭い範囲に限定することで、簡易に対応画素を見つけることが可能になる。
【発明を実施するための最良の形態】
【００１３】
まず、本発明による画像生成装置の概略について説明する。図４に示す様に、円周上にカメラ１１〜１８を、その中心に向けて配置して撮影する場合を考える。なお、Ｚ軸正方向を基準とし、方角をＺ軸から反時計周り方向の角度θで表すものとする。各カメラは、そのカメラ位置及び方向並びにカメラパラメータで決まる範囲の方角で進行する光線を受けて画像情報を取得する。非特許文献１に記載の様に、例えば、ある水平平面内において、各カメラが取得する各光線を、その方角と、その方角に直交するＰ軸と光線との交点の位置にて表すものとする。この場合、図４（ａ）に示す様に、カメラ１８が取得する光線の１つである光線９０は、方角θ０であり、Ｐ軸と位置ｐ０で交差するものであるため、図４（ｂ）に示す様にＰ−θ平面の点（ｐ０，θ０）で表されることになる。
【００１４】
各カメラが撮影した画像の各画素の原因となる光線は、上述した様にカメラ位置及び方向並びにカメラパラメータから計算可能であり、よって、各光線と画素には対応関係が存在する。よって、各カメラが撮影した動画像のうち、ほぼ同じ瞬間に各カメラが撮影した画像における画素の画素値を、図４（ｂ）に示す様に、Ｐ−θ平面の当該画素に対応する光線位置に記録することで光線空間が構築される。なお、図４（ｂ）において、符号１１−１〜１８−１は、それぞれ、カメラ１１〜１８が撮影した画像である。
【００１５】
しかしながら、図４（ｂ）に示す光線空間において、画像データは、実際にカメラが取得した光線に対応する位置にのみ存在し、それ以外の位置においては存在しない。本発明による画像生成装置は、他の光線に対応する画像データを、実際に撮影した画像データから補間処理により生成を行うものである。
【００１６】
図１は、本発明による画像生成装置のブロック図である。図１によると、画像生成装置は、保存部２と、前処理部３と、光線空間構築部４とを備えている。保存部２は、例えば、複数のカメラ１が撮影した静止画像又は動画像を、その画像を撮影したカメラについての情報に対応付けて保持している。なお、カメラについての情報とは、カメラの識別子と、カメラの位置と、カメラパラメータを含んでいる。なお、以下の実施形態においては、カメラ１は、図４に示す様に、円周状で、光軸が同一高さにおいてその中心を向く様に配置されているもの、つまり、各カメラの方向はカメラ位置から計算可能であるものとし、各カメラのカメラパラメータは同一であるものとする。
【００１７】
前処理部３は、保存部２から、各カメラが撮影したほぼ同時刻の画像（以後、撮影画像と呼ぶ。）と、各カメラの位置と、カメラパラメータを取得し、これら情報に基づき、カメラ・キャリブレーションを行ってカメラパラメータを調整する。さらに、撮影画像の各画素について前景であるか、背景であるかの判定を行って、撮影画像に写っている各被写体、つまり、各対象物をモデル化し、視差情報等によりその位置の判定を行い、各画素の位置を特定するモデル情報を生成する。なお、これら処理には、奥行き情報取得のための公知の各方法を使用することができる。
【００１８】
光線空間構築部４は、外部から指定される又はあらかじめ画像生成装置に設定されている視点を示す情報に基づき、この視点から見た画像（以後、生成画像と呼ぶ。）を生成する。より詳しくは、この視点の位置において、視点の方向を向けたカメラを配置した場合にそのカメラが撮影するであろう各時刻の画像を、実際のカメラが撮影したほぼ同時刻の撮影画像から生成する。その後、この生成画像に対する視点を示す情報を保存部２に保存する。なお、視点の位置は、実際のカメラと同一円周上で同じ高さにあり、視点の方向は、実際のカメラと同じく中心を向き、視点から見た画像の範囲は、実際のカメラと同一、つまり、生成画像を撮影するものと想定するカメラは、実際のカメラと同一のカメラパラメータであるものとする。
【００１９】
上述した様に、各画素の光線空間の位置は、カメラ位置、方向及びカメラパラメータから計算可能であるため、保存部２は、各カメラが撮影した撮影画像と、補間処理により生成した生成画像それぞれについて、各画素の光線空間及び実空間での位置情報を有することになり、撮影画像及び生成画像の画素値を対応する光線空間位置に配置することで、より密な光線空間が構築できることになる。なお、補間処理により生成する生成画像数、つまり、仮想的なカメラ位置の数は、システムに要求される視点位置の解像度等により決定する。
【００２０】
図２は、光線空間構築部４のブロック図である。図２によると、光線空構築部４は、交点検出部４１と、対応点検出部４２と、画素値算出部４３とを備えている。図３は、光線空間構築部４における処理を説明する図である。図３において、符号５０及び６０は、撮影画像であり、符号７０は、仮想的なカメラが撮影するであろう画像、つまり生成画像である。生成画像７０内の画素７１の画素値を決定するために、交点検出部４２は、光線空間上において実空間の同一位置を示す曲線のうち、画素７１を通る曲線８０を求め、この曲線８０と撮影画像５０との交点の画素５１と、この曲線８０と撮影画像６０との交点の画素６１を判定する。なお、曲線８０は、撮影画像５０及び６０のモデル情報、より詳しくは、撮影画像５０及び６０の各画素の実空間での位置情報に基づき計算され、よって、仮想カメラ位置を考慮することにより交点を求めることができる。
【００２１】
例えば、図５に示す様に、方角φで原点からの距離ｒにある点９４を通過する光線を考える。図５から明らかなように、点９４を通過してθ方向に進行する光線とＰ軸との交点は、
ｒ×ｓｉｎ（φ−θ） （１）
であり、点９４は、光線空間において正弦波状に分布することになる。より正確には、点９４を通る各光線は、光線空間において正弦波状に分布することになる。交点検出部４１は、各カメラのカメラパラメータ、位置及び方向に基づき撮影画像の各画素の光線空間上での位置を求め、モデル情報から各画素の位置、つまり、式（１）におけるφ及びｒを求め、これらと指定された視点の位置に設置を仮定するカメラの方向及びカメラパラメータから画素７１を通過する曲線８０を求めて、画素５１、６１を決定し、画素５１、６１を示す交点情報を対応点検出部４２に出力する。
【００２２】
仮に、各カメラの設置位置が正確であり、各カメラが正確にその中心を向き、さらに、カメラパラメータのキャリブレーションが完全に行われ、モデル情報が正確である場合、画素５１と画素６１は、それぞれ、画素７１に対応する画素であるが、通常、各カメラの位置及び方向を完全に調整することは難しく、キャリブレーションによりカメラパラメータの特性差を完全に補償することはできず、モデル情報にも誤差がある。したがって、通常、画素５１と、画素６１は対応する画素とはならない。このため、対応点検出部４２は、画素５１を中心とする所定範囲の探索領域５２と、画素６１を中心とする同じ所定範囲の探索領域６２を設定し、この範囲において、ブロック・マッチングにより対応するブロックを探索する。つまり、探索領域５２内の各ブロックと、探索領域６２内の各ブロックのうち、一番相関が高い組合せを探索する。具体的には、例えば、探索領域５２内の各ブロックと、探索領域６２内の各ブロックの組合せそれぞれに対して、同じ位置にある画素の値の差の絶対値の総和又は値の差の２乗の総和が一番小さいブロックの組合せを求める。図３（ｂ）においては、ブロック５３とブロック６３が対応するものと判定されている。なお、探索領域の高さ及び幅は、想定されるカメラ設置位置及び方向の誤差、キャリブレーション誤差、モデル情報における対象物位置の誤差に基づき決定する。
【００２３】
対応点検出部４２は、一番相関が高いブロックの中心画素、図３（ｂ）の場合、ブロック５３の中心にある画素５４と、ブロック６３の中心にある画素６４を、画素７１に対応する画素と判定し、画素５４及び画素６４を示す対応点情報を画素値算出部４３に出力する。画素値算出部４３は、対応点情報に基づき、以下の式にて画素７１の画素値を算出する。
画素７１の画素値＝ａ×画素５４の画素値＋（１−ａ）×画素６４の画素値
ここで、ａは、０＜ａ＜１であり、光線空間における画素５４と画素７１の距離と画素６４と画素７１の距離の和に対する、画素７１と画素６４の距離に依存する値である。
【００２４】
この様に、光線空間構築部４は、生成画像の各画素それぞれに対して、上述した様に、計算上対応する撮影画像内の画素を求め、この点を中心とする探索領域に対してブロック・マッチングを行い、これにより、生成画像の画素値のために使用する画素の組を決定する。図３における曲線８０は、カメラパラメータや、カメラ位置の誤差等により、実空間上の同じ点を結ぶ線とはならないが、カメラパラメータ及びカメラ位置の誤差が著しく大きくなければ、曲線８０の近傍に対応する画素が存在することになる。本発明は、この曲線８０により決定される点を中心に探索領域を設定して、ブロック・マッチングにより対応点を探索する。この様に、計算上の位置に基づき探索範囲を制限することで、対応点を簡易に素早く見つけることが可能になる。
【００２５】
以上、撮影画像を撮影する実際のカメラ及び生成画像のために仮定する仮想的なカメラを円周上で、その中心を向くように配置し、総てのカメラパラメータが同一であるものとする実施形態にて説明したが、実際の及び仮想的なカメラの設置位置、方向及びカメラパラメータは、画素と光線空間の対応関係を求めるために使用するものであり、各画素と光線空間の対応関係が決定できる限り、実際の及び仮想的なカメラの設置位置、方向及びカメラパラメータに制限はない。つまり、被写体が存在する第１の空間と、被写体がなく実際のカメラを配置する第２の空間を明確に区別することを前提とする限り、第２の空間において、実際のカメラを、第１の空間の方向に向けて、例えば、直線、楕円、その他、任意の形状に配置することが可能であり、生成画像のための視点は、第１の空間及び第２の空間の任意の位置に設定することができる。
【００２６】
また、上述した実施形態においては、探索領域５２及び６２の高さ及び幅を、あらかじめ決められた固定値としたが、例えば、画素７１の撮影画像５０及び６０に対する光線空間での距離に応じて可変とすることもできる。つまり、例えば、画素７１が、撮影画像５０に近くなるにつれて、探索領域５２を小さくし、離れるにつれて、探索領域５２を大きくする形態であっても良い。画素７１との距離により誤差の範囲が変化するため、探索領域を、画素７１の位置に応じて可変とすることで、より適切な探索領域とすることができる。また、各対象物の位置情報を、撮影画像に基づき判定するのではなく、例えば、非特許文献３に記載のセンサにより取得する形態であっても良い。
【００２７】
なお、生成画像の総ての画素の画素値を同じ撮影画像の組に基づき決定する必要はない。例えば、図６に示す様に、カメラ２１、２２、２３を設定して撮影画像を取得し、これら撮影画像からカメラ２１とカメラ２２の間に設定した視点に想定する仮想カメラ２４が撮影するであろう生成画像を生成する場合を考える。なお、符号２５及び符号２６は被写体、つまり、対象物である。図６（ａ）に示す様に、対象物２５の表面の点９５からの光線は、カメラ２１及びカメラ２２に到達するため、生成画像の点９５に対応する画素の画素値については、カメラ２１及びカメラ２２が撮影した撮影画像の組から生成することが可能である。しかしながら、図６（ｂ）に示す様に、対象物２５の表面の点９６からの光線は、カメラ２１及びカメラ２３には到達するが、対象物２６により遮蔽されるためカメラ２２には到達しない。したがって、生成画像の点９６に対応する画素の画素値については、カメラ２１及びカメラ２３が撮影した撮影画像の組から生成することになる。なお、図６（ｂ）に示す、いわゆるオクルージョンの発生については、モデル情報に基づき判定を行う。
【００２８】
なお、ある視点における生成画像の画素値決定のために使用する２つの撮影画像は、そのカメラ位置が、視点を挟むように選択することが好ましい。詳しくは、図６にも表わされている様に、生成画像の視点位置において、視点の方向に直線を引いたときに、この直線の両側に配置された２つのカメラが撮影した撮影画像を使用することが好ましい。なお、当然ではあるが、撮影画像は、生成画像の画素値を決定する画素に対応する画素を含むものから選択する。
【００２９】
また、上述した実施形態は、カメラが実際に撮影した撮影画像に基づき生成画像を生成するものであった。しかしがながら、画像生成装置は、撮影画像に基づき生成された生成画像についても、撮影画像と同じく、各画素の光線空間における位置と実空間における位置の情報を有することになるため、生成画像を、さらに他の生成画像の画素の画素値を決定するために使用することができる。この場合、上記実施形態における撮影画像を生成画像と、撮影画像のカメラ位置及び方向を、生成画像の視点位置及び方向と読み替えることになる。つまり、撮影画像は、そのカメラ位置及び方向を視点とする生成画像と見なすことができる。
【００３０】
なお、本発明による画像生成装置は、コンピュータを図１及び図２の各部として機能させるプログラムにより実現することができる。コンピュータプログラムは、コンピュータが読み取り可能な記憶媒体に記憶されて、又は、ネットワーク経由で配布が可能なものである。さらに、本発明の図１、図２に示す各部のうち一部のみをハードウェアで実現し、他の部分をコンピュータプログラムにより実現する、つまり、ハードウェア及びソフトウェアの組合せによっても実現可能である。
【図面の簡単な説明】
【００３１】
【図１】本発明による画像生成装置のブロック図である。
【図２】光線空間構築部のブロック図である。
【図３】光線空間構築部の処理を説明する図である。
【図４】本発明による画像生成装置の説明図である。
【図５】実空間の一点の光線空間における分布を説明する図である。
【図６】生成画像の画素値の決定に使用する撮影画像の関係を説明する図である。
【符号の説明】
【００３２】
１、１１〜１８、２１〜２３ カメラ
１１−１〜１８−１ 撮影画像
２ 保存部
２４ 仮想的なカメラ
２５、２６ 対象物
３ 前処理部
４ 光線空間構築部
４１ 交点検出部
４２ 対応点検出部
４３ 画素値算出部
５０、６０ 撮影画像
５１、６１、５４、６４ 撮影画像の画素
５２、６２ 探索領域
５３、６３ ブロック
７０ 生成画像
７１ 生成画像の画素
８０ 曲線
９０ 光線
９４、９５、９６ 点
【技術分野】
【０００１】
本発明は、自由視点映像を実現する光線空間の構築技術に関する。
【背景技術】
【０００２】
複数のカメラで撮影した静止画像又は動画像に基づき、任意の視点位置から見た映像を再現する自由視点映像技術について、様々な提案が行われている（例えば、特許文献１、非特許文献１及び非特許文献２、参照。）。
【０００３】
従来技術による方法では、複数のカメラでほぼ同時刻に撮影した画像を光線空間上に配置し、カメラが存在しない位置から見た画像については、周囲にある実際に撮影した画像から補間処理により生成し、これにより任意の視点位置から見た映像を再現している。
【０００４】
【特許文献１】特開２００８−１５７５６号公報
【非特許文献１】Ｔａｋｅｓｈｉ Ｎａｅｍｕｒａ、ｅｔ ａｌ．、“Ｒａｙ−Ｂａｓｅｄ Ｃｒｅａｔｉｏｎ ｏｆ Ｐｈｏｔｏ−Ｒｅａｌｉｓｔｉｃ Ｖｉｒｔｕａｌ Ｗｏｒｌｄ”、ＶＳＭＭ９７、ｐｐ．５９−６８、１９９７年９月
【非特許文献２】Ｍｉｃｈａｅｌ Ｄｒｏｅｓｅ、ｅｔ ａｌ．、“Ｒａｙ−Ｓｐａｃｅ Ｉｎｔｅｒｐｏｌａｔｉｏｎ ｂａｓｅｄ ｏｎ Ｆｉｌｔｅｒｉｎｇ ｉｎ Ｄｉｓｐａｒｉｔｙ Ｄｏｍａｉｎ”、Ｐｒｏｃ． ｏｆ ３Ｄ Ｉｍａｇｅ Ｃｏｎｆｅｒｅｎｃｅ ２００４、ｐｐ．２９−３０、２００４年
【非特許文献３】Ｃ．Ｎｉｃｌａｓｓ、ｅｔ ａｌ．、“Ａ ＣＭＯＳ ３Ｄ Ｃａｍｅｒａ ｗｉｔｈ Ｍｉｌｌｉｍｅｔｒｉｃ Ｄｅｐｔｈ Ｒｅｓｏｌｕｔｉｏｎ”、ＩＥＥＥ Ｃｕｓｔｏｍ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔｓ Ｃｏｎｆｅｒｅｎｃｅ、ｐｐ．７０５−７０８、２００４年
【発明の開示】
【発明が解決しようとする課題】
【０００５】
実際に撮影した画像の間の位置から見た画像を補間処理により生成して密な光線空間を構築するにあたり、生成する画像内の各画素値を、実際に撮影した画像の対応画素に基づき生成することが重要となる。対応する画素判定の精度が低いと、補間処理により生成された画像の品質が劣化し、よって、自由視点映像システム全体の品質が劣化することとなる。一方、補間処理による画像の生成は、処理負荷が高く、できるだけ簡易に対応する画素を探索することが要求される。
【０００６】
したがって、本発明は、光線空間を構築するために、実際に撮影された画像内の対応する画素を簡易にかつ精度良く見つけて、実際にはカメラが存在しない位置における画像を生成する画像生成装置、方法及び前記画像生成装置としてコンピュータを機能させるプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明における画像生成装置によれば、
第１の画像及び第２の画像に基づき、指定された視点における第３の画像の第３の画素の画素値を決定する画像生成装置であって、第１及び第２の画像の各画素の光線空間及び実空間での位置情報と、実空間の一点からの光線を示す点の該光線空間における分布と、前記指定された視点に基づき、前記第３の画素に対応する、第１の画像の第１の画素と、第２の画像の第２の画素を求める交点検出手段と、第１の画素を中心とした範囲である第１の探索領域と、第２の画素を中心とした範囲である第２の探索領域内において、所定の画素サイズのブロックによるブロック・マッチングを適用し、最も相関の高い組合せである、第１の探索領域内の第１のブロックと第２の探索領域内の第２のブロックを求める対応点検出手段と、第１のブロックの中心にある画素と、第２のブロックの中心にある画素に基づき、第３の画素の画素値を決定する画素値算出手段とを備えていることを特徴とする。
【０００８】
本発明の画像生成装置における他の実施形態によれば、
複数のカメラの位置及び方向と、前記複数のカメラが撮影した撮影画像に基づき、前記複数のカメラのカメラパラメータのキャリブレーションと、前記撮影画像の各画素の実空間での位置情報を求める前処理手段と、前記撮影画像と、前記撮影画像から生成した生成画像を保存する保存手段とを備えており、前記第１の画像及び前記第２の画像は、それぞれ、前記撮影画像又は前記生成画像であり、前記生成画像の各画素は、前記交点検出手段、対応点検出手段及び画素値算出手段により決定したものであることも好ましい。
【０００９】
本発明の画像生成装置における他の実施形態によれば、
第１の探索領域及び第２の探索領域の範囲を、光線空間における前記第３の画素の位置に応じて変化させることも好ましく、さらに、前記第１の画像及び第２の画像の視点は、前記第３の画像の前記指定された視点において当該視点の方向に伸ばした直線の両側にあることも好ましい。
【００１０】
本発明における画像生成方法によれば、
第１の画像と、第２の画像に基づき、画像生成装置において、指定された視点における第３の画像の第３の画素の画素値を決定する方法であって、交点検出部が、第１及び第２の画像の各画素の光線空間及び実空間での位置情報と、該光線空間における実空間の各位置の分布と、前記指定された視点に基づき、前記第３の画素に対応する、第１の画像の第１の画素と、第２の画像の第２の画素を求めるステップと、対応点検出部が、第１の画素を中心とした範囲である第１の探索領域を第１の画像に、第２の画素を中心とした範囲である第２の探索領域を第２の画像に設定するステップと、対応点検出部が、第１の探索領域内にある所定の画素サイズの各ブロックと、第２の探索領域内にある前記所定の画素サイズの各ブロックとの相関をそれぞれ求めることにより、第１の探索領域内の第１のブロックに対応する第２の探索領域内の第２のブロックを求めるステップと、画素値算出部が、第１のブロックの中心にある画素と、第２のブロックの中心にある画素に基づき、第３の画素の画素値を決定するステップとを備えていることを特徴とする。
【００１１】
本発明におけるプログラムは、コンピュータを上記画像生成装置として機能させることを特徴とする。
【発明の効果】
【００１２】
実空間上のある一点からの各光線は、光線空間においては曲線又は直線状に分布し、この分布は、カメラパラメータ、カメラ位置及び方向、各画素の実空間での位置に基づき求めることができる。しかしながら、分布の算出に使用する各値には、通常、誤差が含まれており、この分布により第１及び第２の画像の対応画素を正確に求めることはできない。しかしながら、誤差が著しく大きくない限り、対応画素は、分布により求めた画素の近傍に存在するため、求めた画素を中心とする探索領域に対してブロック・マッチングを適用して対応画素を決定する。分布によりブロック・マッチングを適用する探索領域をある狭い範囲に限定することで、簡易に対応画素を見つけることが可能になる。
【発明を実施するための最良の形態】
【００１３】
まず、本発明による画像生成装置の概略について説明する。図４に示す様に、円周上にカメラ１１〜１８を、その中心に向けて配置して撮影する場合を考える。なお、Ｚ軸正方向を基準とし、方角をＺ軸から反時計周り方向の角度θで表すものとする。各カメラは、そのカメラ位置及び方向並びにカメラパラメータで決まる範囲の方角で進行する光線を受けて画像情報を取得する。非特許文献１に記載の様に、例えば、ある水平平面内において、各カメラが取得する各光線を、その方角と、その方角に直交するＰ軸と光線との交点の位置にて表すものとする。この場合、図４（ａ）に示す様に、カメラ１８が取得する光線の１つである光線９０は、方角θ０であり、Ｐ軸と位置ｐ０で交差するものであるため、図４（ｂ）に示す様にＰ−θ平面の点（ｐ０，θ０）で表されることになる。
【００１４】
各カメラが撮影した画像の各画素の原因となる光線は、上述した様にカメラ位置及び方向並びにカメラパラメータから計算可能であり、よって、各光線と画素には対応関係が存在する。よって、各カメラが撮影した動画像のうち、ほぼ同じ瞬間に各カメラが撮影した画像における画素の画素値を、図４（ｂ）に示す様に、Ｐ−θ平面の当該画素に対応する光線位置に記録することで光線空間が構築される。なお、図４（ｂ）において、符号１１−１〜１８−１は、それぞれ、カメラ１１〜１８が撮影した画像である。
【００１５】
しかしながら、図４（ｂ）に示す光線空間において、画像データは、実際にカメラが取得した光線に対応する位置にのみ存在し、それ以外の位置においては存在しない。本発明による画像生成装置は、他の光線に対応する画像データを、実際に撮影した画像データから補間処理により生成を行うものである。
【００１６】
図１は、本発明による画像生成装置のブロック図である。図１によると、画像生成装置は、保存部２と、前処理部３と、光線空間構築部４とを備えている。保存部２は、例えば、複数のカメラ１が撮影した静止画像又は動画像を、その画像を撮影したカメラについての情報に対応付けて保持している。なお、カメラについての情報とは、カメラの識別子と、カメラの位置と、カメラパラメータを含んでいる。なお、以下の実施形態においては、カメラ１は、図４に示す様に、円周状で、光軸が同一高さにおいてその中心を向く様に配置されているもの、つまり、各カメラの方向はカメラ位置から計算可能であるものとし、各カメラのカメラパラメータは同一であるものとする。
【００１７】
前処理部３は、保存部２から、各カメラが撮影したほぼ同時刻の画像（以後、撮影画像と呼ぶ。）と、各カメラの位置と、カメラパラメータを取得し、これら情報に基づき、カメラ・キャリブレーションを行ってカメラパラメータを調整する。さらに、撮影画像の各画素について前景であるか、背景であるかの判定を行って、撮影画像に写っている各被写体、つまり、各対象物をモデル化し、視差情報等によりその位置の判定を行い、各画素の位置を特定するモデル情報を生成する。なお、これら処理には、奥行き情報取得のための公知の各方法を使用することができる。
【００１８】
光線空間構築部４は、外部から指定される又はあらかじめ画像生成装置に設定されている視点を示す情報に基づき、この視点から見た画像（以後、生成画像と呼ぶ。）を生成する。より詳しくは、この視点の位置において、視点の方向を向けたカメラを配置した場合にそのカメラが撮影するであろう各時刻の画像を、実際のカメラが撮影したほぼ同時刻の撮影画像から生成する。その後、この生成画像に対する視点を示す情報を保存部２に保存する。なお、視点の位置は、実際のカメラと同一円周上で同じ高さにあり、視点の方向は、実際のカメラと同じく中心を向き、視点から見た画像の範囲は、実際のカメラと同一、つまり、生成画像を撮影するものと想定するカメラは、実際のカメラと同一のカメラパラメータであるものとする。
【００１９】
上述した様に、各画素の光線空間の位置は、カメラ位置、方向及びカメラパラメータから計算可能であるため、保存部２は、各カメラが撮影した撮影画像と、補間処理により生成した生成画像それぞれについて、各画素の光線空間及び実空間での位置情報を有することになり、撮影画像及び生成画像の画素値を対応する光線空間位置に配置することで、より密な光線空間が構築できることになる。なお、補間処理により生成する生成画像数、つまり、仮想的なカメラ位置の数は、システムに要求される視点位置の解像度等により決定する。
【００２０】
図２は、光線空間構築部４のブロック図である。図２によると、光線空構築部４は、交点検出部４１と、対応点検出部４２と、画素値算出部４３とを備えている。図３は、光線空間構築部４における処理を説明する図である。図３において、符号５０及び６０は、撮影画像であり、符号７０は、仮想的なカメラが撮影するであろう画像、つまり生成画像である。生成画像７０内の画素７１の画素値を決定するために、交点検出部４２は、光線空間上において実空間の同一位置を示す曲線のうち、画素７１を通る曲線８０を求め、この曲線８０と撮影画像５０との交点の画素５１と、この曲線８０と撮影画像６０との交点の画素６１を判定する。なお、曲線８０は、撮影画像５０及び６０のモデル情報、より詳しくは、撮影画像５０及び６０の各画素の実空間での位置情報に基づき計算され、よって、仮想カメラ位置を考慮することにより交点を求めることができる。
【００２１】
例えば、図５に示す様に、方角φで原点からの距離ｒにある点９４を通過する光線を考える。図５から明らかなように、点９４を通過してθ方向に進行する光線とＰ軸との交点は、
ｒ×ｓｉｎ（φ−θ） （１）
であり、点９４は、光線空間において正弦波状に分布することになる。より正確には、点９４を通る各光線は、光線空間において正弦波状に分布することになる。交点検出部４１は、各カメラのカメラパラメータ、位置及び方向に基づき撮影画像の各画素の光線空間上での位置を求め、モデル情報から各画素の位置、つまり、式（１）におけるφ及びｒを求め、これらと指定された視点の位置に設置を仮定するカメラの方向及びカメラパラメータから画素７１を通過する曲線８０を求めて、画素５１、６１を決定し、画素５１、６１を示す交点情報を対応点検出部４２に出力する。
【００２２】
仮に、各カメラの設置位置が正確であり、各カメラが正確にその中心を向き、さらに、カメラパラメータのキャリブレーションが完全に行われ、モデル情報が正確である場合、画素５１と画素６１は、それぞれ、画素７１に対応する画素であるが、通常、各カメラの位置及び方向を完全に調整することは難しく、キャリブレーションによりカメラパラメータの特性差を完全に補償することはできず、モデル情報にも誤差がある。したがって、通常、画素５１と、画素６１は対応する画素とはならない。このため、対応点検出部４２は、画素５１を中心とする所定範囲の探索領域５２と、画素６１を中心とする同じ所定範囲の探索領域６２を設定し、この範囲において、ブロック・マッチングにより対応するブロックを探索する。つまり、探索領域５２内の各ブロックと、探索領域６２内の各ブロックのうち、一番相関が高い組合せを探索する。具体的には、例えば、探索領域５２内の各ブロックと、探索領域６２内の各ブロックの組合せそれぞれに対して、同じ位置にある画素の値の差の絶対値の総和又は値の差の２乗の総和が一番小さいブロックの組合せを求める。図３（ｂ）においては、ブロック５３とブロック６３が対応するものと判定されている。なお、探索領域の高さ及び幅は、想定されるカメラ設置位置及び方向の誤差、キャリブレーション誤差、モデル情報における対象物位置の誤差に基づき決定する。
【００２３】
対応点検出部４２は、一番相関が高いブロックの中心画素、図３（ｂ）の場合、ブロック５３の中心にある画素５４と、ブロック６３の中心にある画素６４を、画素７１に対応する画素と判定し、画素５４及び画素６４を示す対応点情報を画素値算出部４３に出力する。画素値算出部４３は、対応点情報に基づき、以下の式にて画素７１の画素値を算出する。
画素７１の画素値＝ａ×画素５４の画素値＋（１−ａ）×画素６４の画素値
ここで、ａは、０＜ａ＜１であり、光線空間における画素５４と画素７１の距離と画素６４と画素７１の距離の和に対する、画素７１と画素６４の距離に依存する値である。
【００２４】
この様に、光線空間構築部４は、生成画像の各画素それぞれに対して、上述した様に、計算上対応する撮影画像内の画素を求め、この点を中心とする探索領域に対してブロック・マッチングを行い、これにより、生成画像の画素値のために使用する画素の組を決定する。図３における曲線８０は、カメラパラメータや、カメラ位置の誤差等により、実空間上の同じ点を結ぶ線とはならないが、カメラパラメータ及びカメラ位置の誤差が著しく大きくなければ、曲線８０の近傍に対応する画素が存在することになる。本発明は、この曲線８０により決定される点を中心に探索領域を設定して、ブロック・マッチングにより対応点を探索する。この様に、計算上の位置に基づき探索範囲を制限することで、対応点を簡易に素早く見つけることが可能になる。
【００２５】
以上、撮影画像を撮影する実際のカメラ及び生成画像のために仮定する仮想的なカメラを円周上で、その中心を向くように配置し、総てのカメラパラメータが同一であるものとする実施形態にて説明したが、実際の及び仮想的なカメラの設置位置、方向及びカメラパラメータは、画素と光線空間の対応関係を求めるために使用するものであり、各画素と光線空間の対応関係が決定できる限り、実際の及び仮想的なカメラの設置位置、方向及びカメラパラメータに制限はない。つまり、被写体が存在する第１の空間と、被写体がなく実際のカメラを配置する第２の空間を明確に区別することを前提とする限り、第２の空間において、実際のカメラを、第１の空間の方向に向けて、例えば、直線、楕円、その他、任意の形状に配置することが可能であり、生成画像のための視点は、第１の空間及び第２の空間の任意の位置に設定することができる。
【００２６】
また、上述した実施形態においては、探索領域５２及び６２の高さ及び幅を、あらかじめ決められた固定値としたが、例えば、画素７１の撮影画像５０及び６０に対する光線空間での距離に応じて可変とすることもできる。つまり、例えば、画素７１が、撮影画像５０に近くなるにつれて、探索領域５２を小さくし、離れるにつれて、探索領域５２を大きくする形態であっても良い。画素７１との距離により誤差の範囲が変化するため、探索領域を、画素７１の位置に応じて可変とすることで、より適切な探索領域とすることができる。また、各対象物の位置情報を、撮影画像に基づき判定するのではなく、例えば、非特許文献３に記載のセンサにより取得する形態であっても良い。
【００２７】
なお、生成画像の総ての画素の画素値を同じ撮影画像の組に基づき決定する必要はない。例えば、図６に示す様に、カメラ２１、２２、２３を設定して撮影画像を取得し、これら撮影画像からカメラ２１とカメラ２２の間に設定した視点に想定する仮想カメラ２４が撮影するであろう生成画像を生成する場合を考える。なお、符号２５及び符号２６は被写体、つまり、対象物である。図６（ａ）に示す様に、対象物２５の表面の点９５からの光線は、カメラ２１及びカメラ２２に到達するため、生成画像の点９５に対応する画素の画素値については、カメラ２１及びカメラ２２が撮影した撮影画像の組から生成することが可能である。しかしながら、図６（ｂ）に示す様に、対象物２５の表面の点９６からの光線は、カメラ２１及びカメラ２３には到達するが、対象物２６により遮蔽されるためカメラ２２には到達しない。したがって、生成画像の点９６に対応する画素の画素値については、カメラ２１及びカメラ２３が撮影した撮影画像の組から生成することになる。なお、図６（ｂ）に示す、いわゆるオクルージョンの発生については、モデル情報に基づき判定を行う。
【００２８】
なお、ある視点における生成画像の画素値決定のために使用する２つの撮影画像は、そのカメラ位置が、視点を挟むように選択することが好ましい。詳しくは、図６にも表わされている様に、生成画像の視点位置において、視点の方向に直線を引いたときに、この直線の両側に配置された２つのカメラが撮影した撮影画像を使用することが好ましい。なお、当然ではあるが、撮影画像は、生成画像の画素値を決定する画素に対応する画素を含むものから選択する。
【００２９】
また、上述した実施形態は、カメラが実際に撮影した撮影画像に基づき生成画像を生成するものであった。しかしがながら、画像生成装置は、撮影画像に基づき生成された生成画像についても、撮影画像と同じく、各画素の光線空間における位置と実空間における位置の情報を有することになるため、生成画像を、さらに他の生成画像の画素の画素値を決定するために使用することができる。この場合、上記実施形態における撮影画像を生成画像と、撮影画像のカメラ位置及び方向を、生成画像の視点位置及び方向と読み替えることになる。つまり、撮影画像は、そのカメラ位置及び方向を視点とする生成画像と見なすことができる。
【００３０】
なお、本発明による画像生成装置は、コンピュータを図１及び図２の各部として機能させるプログラムにより実現することができる。コンピュータプログラムは、コンピュータが読み取り可能な記憶媒体に記憶されて、又は、ネットワーク経由で配布が可能なものである。さらに、本発明の図１、図２に示す各部のうち一部のみをハードウェアで実現し、他の部分をコンピュータプログラムにより実現する、つまり、ハードウェア及びソフトウェアの組合せによっても実現可能である。
【図面の簡単な説明】
【００３１】
【図１】本発明による画像生成装置のブロック図である。
【図２】光線空間構築部のブロック図である。
【図３】光線空間構築部の処理を説明する図である。
【図４】本発明による画像生成装置の説明図である。
【図５】実空間の一点の光線空間における分布を説明する図である。
【図６】生成画像の画素値の決定に使用する撮影画像の関係を説明する図である。
【符号の説明】
【００３２】
１、１１〜１８、２１〜２３ カメラ
１１−１〜１８−１ 撮影画像
２ 保存部
２４ 仮想的なカメラ
２５、２６ 対象物
３ 前処理部
４ 光線空間構築部
４１ 交点検出部
４２ 対応点検出部
４３ 画素値算出部
５０、６０ 撮影画像
５１、６１、５４、６４ 撮影画像の画素
５２、６２ 探索領域
５３、６３ ブロック
７０ 生成画像
７１ 生成画像の画素
８０ 曲線
９０ 光線
９４、９５、９６ 点
【特許請求の範囲】
【請求項１】
第１の画像及び第２の画像に基づき、指定された視点における第３の画像の第３の画素の画素値を決定する画像生成装置であって、
第１及び第２の画像の各画素の光線空間及び実空間での位置情報と、実空間の一点からの光線を示す点の該光線空間における分布と、前記指定された視点に基づき、前記第３の画素に対応する、第１の画像の第１の画素と、第２の画像の第２の画素を求める交点検出手段と、
第１の画素を中心とした範囲である第１の探索領域と、第２の画素を中心とした範囲である第２の探索領域内において、所定の画素サイズのブロックによるブロック・マッチングを適用し、最も相関の高い組合せである、第１の探索領域内の第１のブロックと第２の探索領域内の第２のブロックを求める対応点検出手段と、
第１のブロックの中心にある画素と、第２のブロックの中心にある画素に基づき、第３の画素の画素値を決定する画素値算出手段と、
を備えている画像生成装置。
【請求項２】
複数のカメラの位置及び方向と、前記複数のカメラが撮影した撮影画像に基づき、前記複数のカメラのカメラパラメータのキャリブレーションと、前記撮影画像の各画素の実空間での位置情報を求める前処理手段と、
前記撮影画像と、前記撮影画像から生成した生成画像を保存する保存手段と、
を備えており、
前記第１の画像及び前記第２の画像は、それぞれ、前記撮影画像又は前記生成画像であり、
前記生成画像の各画素は、前記交点検出手段、対応点検出手段及び画素値算出手段により決定したものである、
請求項１に記載の画像生成装置。
【請求項３】
第１の探索領域及び第２の探索領域の範囲を、光線空間における前記第３の画素の位置に応じて変化させる請求項１又は２に記載の画像生成装置。
【請求項４】
前記第１の画像及び第２の画像の視点は、前記第３の画像の前記指定された視点において当該視点の方向に伸ばした直線の両側にある、
請求項１から３のいずれか１項に記載の画像生成装置。
【請求項５】
第１の画像と、第２の画像に基づき、画像生成装置において、指定された視点における第３の画像の第３の画素の画素値を決定する方法であって、
交点検出部が、第１及び第２の画像の各画素の光線空間及び実空間での位置情報と、該光線空間における実空間の各位置の分布と、前記指定された視点に基づき、前記第３の画素に対応する、第１の画像の第１の画素と、第２の画像の第２の画素を求めるステップと、
対応点検出部が、第１の画素を中心とした範囲である第１の探索領域を第１の画像に、第２の画素を中心とした範囲である第２の探索領域を第２の画像に設定するステップと、
対応点検出部が、第１の探索領域内にある所定の画素サイズの各ブロックと、第２の探索領域内にある前記所定の画素サイズの各ブロックとの相関をそれぞれ求めることにより、第１の探索領域内の第１のブロックに対応する第２の探索領域内の第２のブロックを求めるステップと、
画素値算出部が、第１のブロックの中心にある画素と、第２のブロックの中心にある画素に基づき、第３の画素の画素値を決定するステップと、
を備えている方法。
【請求項６】
請求項１から４のいずれか１項に記載の画像生成装置としてコンピュータを機能させるプログラム。
【請求項１】
第１の画像及び第２の画像に基づき、指定された視点における第３の画像の第３の画素の画素値を決定する画像生成装置であって、
第１及び第２の画像の各画素の光線空間及び実空間での位置情報と、実空間の一点からの光線を示す点の該光線空間における分布と、前記指定された視点に基づき、前記第３の画素に対応する、第１の画像の第１の画素と、第２の画像の第２の画素を求める交点検出手段と、
第１の画素を中心とした範囲である第１の探索領域と、第２の画素を中心とした範囲である第２の探索領域内において、所定の画素サイズのブロックによるブロック・マッチングを適用し、最も相関の高い組合せである、第１の探索領域内の第１のブロックと第２の探索領域内の第２のブロックを求める対応点検出手段と、
第１のブロックの中心にある画素と、第２のブロックの中心にある画素に基づき、第３の画素の画素値を決定する画素値算出手段と、
を備えている画像生成装置。
【請求項２】
複数のカメラの位置及び方向と、前記複数のカメラが撮影した撮影画像に基づき、前記複数のカメラのカメラパラメータのキャリブレーションと、前記撮影画像の各画素の実空間での位置情報を求める前処理手段と、
前記撮影画像と、前記撮影画像から生成した生成画像を保存する保存手段と、
を備えており、
前記第１の画像及び前記第２の画像は、それぞれ、前記撮影画像又は前記生成画像であり、
前記生成画像の各画素は、前記交点検出手段、対応点検出手段及び画素値算出手段により決定したものである、
請求項１に記載の画像生成装置。
【請求項３】
第１の探索領域及び第２の探索領域の範囲を、光線空間における前記第３の画素の位置に応じて変化させる請求項１又は２に記載の画像生成装置。
【請求項４】
前記第１の画像及び第２の画像の視点は、前記第３の画像の前記指定された視点において当該視点の方向に伸ばした直線の両側にある、
請求項１から３のいずれか１項に記載の画像生成装置。
【請求項５】
第１の画像と、第２の画像に基づき、画像生成装置において、指定された視点における第３の画像の第３の画素の画素値を決定する方法であって、
交点検出部が、第１及び第２の画像の各画素の光線空間及び実空間での位置情報と、該光線空間における実空間の各位置の分布と、前記指定された視点に基づき、前記第３の画素に対応する、第１の画像の第１の画素と、第２の画像の第２の画素を求めるステップと、
対応点検出部が、第１の画素を中心とした範囲である第１の探索領域を第１の画像に、第２の画素を中心とした範囲である第２の探索領域を第２の画像に設定するステップと、
対応点検出部が、第１の探索領域内にある所定の画素サイズの各ブロックと、第２の探索領域内にある前記所定の画素サイズの各ブロックとの相関をそれぞれ求めることにより、第１の探索領域内の第１のブロックに対応する第２の探索領域内の第２のブロックを求めるステップと、
画素値算出部が、第１のブロックの中心にある画素と、第２のブロックの中心にある画素に基づき、第３の画素の画素値を決定するステップと、
を備えている方法。
【請求項６】
請求項１から４のいずれか１項に記載の画像生成装置としてコンピュータを機能させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１０−３３５０３（Ｐ２０１０−３３５０３Ａ）
【公開日】平成２２年２月１２日（２０１０．２．１２）
【国際特許分類】
【出願番号】特願２００８−１９７６９７（Ｐ２００８−１９７６９７）
【出願日】平成２０年７月３１日（２００８．７．３１）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
【公開日】平成２２年２月１２日（２０１０．２．１２）
【国際特許分類】
【出願日】平成２０年７月３１日（２００８．７．３１）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
[ Back to top ]