画像生成装置、方法及びプログラム
【課題】局所領域の光線空間データに基づき、指定された視点から見た画像であって、不必要な被写体を除去した画像を生成する画像生成装置を提供する。
【解決手段】空間を分割した各局所領域の光線空間データに基づき画像を生成する画像生成装置であり、指定された視点及び画角に基づき、生成する画像に含まれる局所領域である第１の局所領域を判定し、これにより描画手段は、出力画像を生成し、該出力画像の画素と、該画素の生成に使用した光線空間データの局所領域との対応関係を示す対応関係情報を作成する。その後、除去位置入力手段により出力画像の画素が指定された場合、指定された出力画像の画素に対応する第２の局所領域を判定し、描画手段は、第１の局所領域から第２の局所領域を除外して出力画像を再描画する。
【解決手段】空間を分割した各局所領域の光線空間データに基づき画像を生成する画像生成装置であり、指定された視点及び画角に基づき、生成する画像に含まれる局所領域である第１の局所領域を判定し、これにより描画手段は、出力画像を生成し、該出力画像の画素と、該画素の生成に使用した光線空間データの局所領域との対応関係を示す対応関係情報を作成する。その後、除去位置入力手段により出力画像の画素が指定された場合、指定された出力画像の画素に対応する第２の局所領域を判定し、描画手段は、第１の局所領域から第２の局所領域を除外して出力画像を再描画する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自由視点画像生成技術に関し、より詳しくは、空間を複数の局所領域に分割し、局所領域毎に光線空間を構築して自由視点画像を生成する画像生成技術に関する。
【背景技術】
【０００２】
複数のカメラで撮影した動画像から、任意の位置における画像を再現する自由視点画像生成技術について様々な提案がなされている。（例えば、特許文献１、非特許文献１及び非特許文献２、参照。）。
【０００３】
上記、従来技術における方法は、イメージ・ベースド・レンダリングと呼ばれるものであり、複数のカメラで撮影した画像から光線空間を構築し、この光線空間に基づき、任意の位置から見たときの画像を補間処理により生成するものである。ここで、光線空間を構築するとは、ある面を通過する光線を適当な座標軸を使用して表し、この座標空間の座標として表現される光線と、この光線により生じる画像の画素値を対応付けることを言う。なお、座標空間の総ての座標に対して画素値のデータをあらかじめ用意しておくことは現実的ではなく、通常は、アプリケーション等に応じて決定される適当な数の座標についてのみ画素値のデータを用意しておく。
【０００４】
ここで、特許文献１には、被写体が存在する領域を、複数の局所領域に分割し、この局所領域毎に光線空間を構築して自由視点画像を生成する技術が記載されている。特許文献１によると、まず、複数のカメラが撮影した画像に基づき、各局所領域の光線空間データを作成する。ここで、局所領域の光線空間データとは、この局所領域の境界面を通過する光線と、その光線に対応する画素値を特定するデータである。例えば、図２に示す例においては、空間を局所領域ｓａ１からｓａ１０に分割しており、画像生成装置は、点線で表した局所領域それぞれの光線空間データを保持している。なお、図２において、符号１０から１３は被写体を表している。
【０００５】
特許文献１に記載の画像生成装置は、視点位置が指定された場合、まず、この位置から見て一番奥に位置する局所領域の光線空間データに基づき画像を生成し、その後、一つ手前にある局所領域の光線空間データに基づき画像を上書きすることを繰り返すことで、自由視点画像を生成している。例えば、指定された視点が符号２０の位置であり、生成する画像の範囲が線２１及び２２の間とすると、特許文献１による画像生成装置は、まず、画像の範囲にある局所領域ｓａ１、ｓａ２及びｓａ３の光線空間データに基づき画像を生成し、つぎに、局所領域ｓａ５及びｓａ６の光線空間データで、先に生成した画像を上書きし、最後に、局所領域ｓａ９の光線空間データでさらに上書きすることにより画像を生成している。
【０００６】
【特許文献１】特開２００８−１５７５６号公報
【非特許文献１】Ｔａｋｅｓｈｉ Ｎａｅｍｕｒａ、ｅｔ ａｌ．、“Ｒａｙ−Ｂａｓｅｄ Ｃｒｅａｔｉｏｎ ｏｆ Ｐｈｏｔｏ−Ｒｅａｌｉｓｔｉｃ Ｖｉｒｔｕａｌ Ｗｏｒｌｄ”、ＶＳＭＭ９７、ｐｐ．５９−６２、１９９７年９月
【非特許文献２】Ｍｉｃｈａｅｌ Ｄｒｏｅｓｅ、ｅｔ ａｌ．、“Ｒａｙ−Ｓｐａｃｅ Ｉｎｔｅｒｐｏｌａｔｉｏｎ ｂａｓｅｄ ｏｎ Ｆｉｌｔｅｒｉｎｇ ｉｎ Ｄｉｓｐａｒｉｔｙ Ｄｏｍａｉｎ”、Ｐｒｏｃ． ｏｆ ３Ｄ Ｉｍａｇｅ Ｃｏｎｆｅｒｅｎｃｅ ２００４、ｐｐ．２９−３０、２００４年
【発明の開示】
【発明が解決しようとする課題】
【０００７】
ここで、視点２０から見た画像において、被写体１１の一部は、被写体１０により見えなくなっている。被写体１１全体を、画像に表示したい場合、視点位置を、被写体１０と被写体１１の間に設定する必要がある。しかしながら、得られる画像は、被写体１１にかなり近づいたものとなり、画角が固定的であり変更できない場合、被写体１１と被写体１０との距離と、被写体１１の大きさによっては、被写体１１全体を１つの画像に表示できなくなってしまう。また、画角が設定可能である場合には、より広角な画像、つまり、線２１及び２２の角度を広げることにより、被写体１１全体を１つの画像に表示することが可能であるが、設定可能な画角に制限が生じることになる。
【０００８】
これに対して、任意の視点位置から見た、任意の画角の画像であり、かつ、邪魔な被写体を取り除いた場合の画像を生成して表示したい場合が存在する。したがって、本発明は、局所領域の光線空間データに基づき、指定された視点から見た画像であって、不必要な被写体を除去した画像を生成する画像生成装置、方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明における画像生成装置によれば、
空間を複数の局所領域に分割し、各局所領域の光線空間データに基づき画像を生成する画像生成装置であって、指定された視点及び画角に基づき、生成する出力画像に含まれる局所領域である第１の局所領域を判定する局所領域判定手段と、指定された視点及び画角、並びに、第１の局所領域に基づき出力画像を生成し、該出力画像の画素と、該画素の生成に使用した光線空間データの局所領域との対応関係を示す対応関係情報を作成する描画手段と、出力画像の画素を指定するための除去位置入力手段と、除外局所領域判定手段と、を備えており、除去位置入力手段により出力画像の画素が指定された場合、除外局所領域判定手段は、対応関係情報に基づき指定された出力画像の画素に対応する局所領域である第２の局所領域を判定し、描画手段は、第１の局所領域から第２の局所領域を除外して出力画像を再描画することを特徴とする。
【００１０】
本発明の画像生成装置における他の実施形態によれば、
描画手段は、第１の局所領域のうち、指定された視点から見て一番奥にある局所領域に基づき描画した画像を、１つ手前の局所領域の光線空間データに基づき上書きすることを、指定された視点から見て一番手前にある局所領域まで、順次繰り返すことにより出力画像を生成することも好ましい。
【００１１】
また、本発明の画像生成装置における他の実施形態によれば、
前記空間に存在する被写体と、各局所領域の光線空間データとの対応関係を示すモデルデータを保持しており、除外局所領域判定手段は、除去位置入力手段により指定された出力画像の画素に対応する局所領域の光線空間データに基づき、指定された出力画像の画素に対応する被写体を判定し、この被写体が存在する総ての局所領域を第２の局所領域とすることも好ましい。
【００１２】
本発明におけるプログラムによれば、
前記画像生成装置としてコンピュータを機能させることを特徴とする。
【００１３】
本発明における画像生成方法によれば、
空間を複数の局所領域に分割し、各局所領域の光線空間データに基づき画像を生成する画像生成装置における画像生成方法であって、指定された視点及び画角に基づき、生成する出力画像に含まれる局所領域である第１の局所領域を判定するステップと、指定された視点及び画角、並びに、第１の局所領域に基づき出力画像を生成するステップと、生成した出力画像の画素と、該画素の生成に使用した光線空間データの局所領域との対応関係を示す対応関係情報を作成するステップと、出力画像の画素の指定を受けるステップと、対応関係情報に基づき、前記指定された出力画像の画素に対応する局所領域である第２の局所領域を判定するステップと、第１の局所領域から第２の局所領域を除外して出力画像を再描画するステップとを備えていることを特徴とする。
【発明の効果】
【００１４】
任意の視点位置から見た、任意の画角の画像であり、かつ、邪魔な被写体を取り除いた場合の画像を生成して表示することが可能になる。
【発明を実施するための最良の形態】
【００１５】
本発明を実施するための最良の実施形態について、以下では図面を用いて詳細に説明する。図１は、本発明による画像生成装置の簡略化した機能ブロック図である。図１によると、画像生成装置は、視点・画角入力部１と、局所領域選択部２と、描画処理部３と、画像表示部４と、除去位置入力部５と、除去局所領域判定部６と、データベース部７とを備えている。
【００１６】
データベース部７は、各局所領域の光線空間データと、モデルデータを保持するデータベースであり、光線空間データは、特許文献１に記載の様に、局所領域の境界面を通過する光線と、その光線に対応する画素値を特定するデータである。また、モデルデータとは、光線空間を構築するために撮影した複数の画像に基づき生成されるものであり、撮影した各画像の画素の実空間における位置の連続性から被写体が存在する領域を特定し、この被写体が存在する領域と、各局所領域の光線空間データとの対応関係を示すデータである。モデルデータは、特許文献１に記載の様に、複数のカメラで被写体を撮影する場合において、例えば、各カメラのカメラパラメータ及び撮影した画像の対応する画素の視差から算出できるものである。以下に、本発明による画像生成装置の動作を説明する。
【００１７】
視点・画角入力部１は、表示したい画像の視点及び画角を利用者に入力させるためのユーザインタフェースであり、利用者が指定した視点及び画角を局所領域選択部２に出力する。なお、視点とは位置及び方角で特定される値である。局所領域選択部２は、利用者が指定した視点及び画角に基づき画像の描画に必要な局所領域を選択する。例えば、図２の状態において、視点２０と、直線２１と２２の間の範囲に対応する画角が指定された場合、局所領域選択部２は、局所領域ｓａ１、ｓａ２、ｓａ３、ｓａ５、ｓａ６及びｓａ９を必要な局所領域と判定し、これら局所領域と、利用者が指定した視点及び画角を描画処理部３に出力する。
【００１８】
描画処理部３は、利用者が指定した視点及び画角と、データベース部７に保存されているデータのうち、局所領域選択部２が選択した局所領域の光線空間データに基づき画像を生成する。より具体的には、視点から見て一番奥の局所領域である局所領域ｓａ１、ｓａ２及びｓａ３の光線空間データから、視点２０に向かう光線を選択し、選択した光線に基づき画像を生成し、つぎに一つ手前にある局所領域ｓａ５及びｓａ６の光線空間データから、視点２０に向かう光線を選択して先に生成した画像を上書きし、最後に、さらに一つ手前にある局所領域ｓａ９の光線空間データで同様に上書きすることにより画像を生成する。
【００１９】
なお、本発明において上書きとは、ある局所領域の光線空間データに基づく画素値が、既に生成した画像の画素値と異なる場合に、このある局所領域の光線空間データにより、当該画素値を変更することを言う。図３は、本発明において使用する上書きの意味を説明する図である。なお、図３は、図を見易くするために図２の局所領域の表示を削除したものである。例えば、被写体１３から視点２０に向かう光線３０は、局所領域ｓａ３、ｓａ６、ｓａ９の総ての光線空間データにおいて同一値であり、この場合、描画処理部３は、上書きを行わず、この光線３０による画素は、局所領域ｓａ３の光線空間データにより生成されたものと認識する。
【００２０】
一方、被写体１１から視点２０に向かう光線は、被写体１０により遮られ、代わりに、被写体１０からの光線が視点２０に到達することになる。描画処理部３は、局所領域ｓａ５を処理したときには、光線３１に基づく画素の画素値として、被写体１１から出た光線による値を使用しているが、局所領域ｓａ９を処理するときに、局所領域ｓａ５の光線空間データにおける光線３１の画素値と、局所領域ｓａ９の光線空間データにおける光線３１の画素値が異なることを認識し、よって、局所領域ｓａ９の光線空間データにより、光線３１に対応する画素の画素値を上書きする。これにより、描画処理部３は、光線３１による画素は、局所領域ｓａ９の光線空間データにより生成されたものと認識する。
【００２１】
以上の様に、描画処理部３は、生成した画像の各画素の画素値が、どの局所領域の光線空間データにより生成されたものかを示す対応関係情報を生成し、生成した画像と、この対応関係情報を除外局所領域判定部６に出力する。また、生成した画像については、例えばディスプレイに表示するため画像表示部４に出力する。
【００２２】
利用者が、画像表示部４によりディスプレイに表示された画像を見て、例えば、図２の被写体１０を除去した画像を表示したいと考えたものとする。この場合、利用者は、除去位置入力部５を用いて、除去したい被写体１０を指定する。より具体的には、除去位置入力部５は、例えば、ポインティング・デバイスであり、利用者は、ディスプレイに表示されているカーソルを被写体１０が表示されている位置に動かして、被写体１０の除去を除去位置入力部５に入力し、除去位置入力部５は、このときカーソルが位置している画素を特定する情報を除外局所領域判定部６に出力する。
【００２３】
除外局所領域判定部６は、除去位置入力部５から出力された画素が、どの局所領域のものであるかを、対応関係情報に基づき判定する。続いて、判定した局所領域が、視点から見て最も奥に位置する局所領域であれば、除去不可であるためエラーとして描画処理部３に通知し、描画処理部３は、エラーを画像表示部４によりディスプレイに表示させる。
【００２４】
一方、判定した局所領域が、視点から見て最も奥に位置する局所領域ではなく、何らかの被写体に対応するものである場合、除外局所領域判定部６は、判定した局所領域を描画処理部３に通知する。描画処理部３は、除外局所領域判定部６から局所領域の通知を受けた場合、局所領域選択部２が選択した局所領域から、この通知を受けた局所領域を除外して画像の再描画を行う。つまり、例えば、利用者が被写体１０の画素を指定した場合、除外局所領域判定部６は、局所領域ｓａ９を描画処理部３に通知し、描画処理部３は、これにより、最初の描画の際に使用した局所領域ｓａ１、ｓａ２、ｓａ３、ｓａ５、ｓａ６及びｓａ９のうち、局所領域ｓａ９を除外し、再度、視点２０からの画像の生成を行う。これにより、被写体１０を除去した画像が生成される。
【００２５】
また、描画処理部３は、新たに生成した画像を表示するため画像表示部４に出力すると共に、新たに生成した画像に基づき対応関係情報を更新し、新たに生成した画像及び更新した対応関係情報を除外局所領域判定部６に出力する。これにより、被写体が複数個重なっている場合において、順番に邪魔な被写体を除去していくことができる。
【００２６】
なお、上述した構成ではカーソルにより指定した位置に対応する局所領域の光線空間データのみが除外されるため、例えば、被写体１１の様に、複数の局所領域を跨っている被写体の場合、カーソルにより指定した位置に応じて、被写体の一部のみが除去された画像が生成されることになり、１つの被写体を削除するために複数回の除去指定を行わなければならないことになる。
【００２７】
複数の局所領域に跨る被写体を１回の操作で除去したい場合、除去局所領域判定部６は、モデルデータを除去する局所領域の判定に使用する。つまり、指定された画素に対応する光線とモデルデータに基づき、指定された画素を含む被写体が、どの局所領域に存在しているかを判定し、この被写体が存在する局所領域の総てを描画処理部３に出力する。
【００２８】
なお、本発明による画像生成装置は、コンピュータを上記画像生成装置として機能させるプログラムにより実現することができる。これらコンピュータプログラムは、コンピュータが読み取り可能な記憶媒体に記憶されて、又は、ネットワーク経由で配布が可能なものである。さらに、本発明は、ハードウェア及びソフトウェアの組合せによっても実現可能である。
【図面の簡単な説明】
【００２９】
【図１】本発明による画像生成装置のブロック図である。
【図２】本発明による画像生成を説明する図である。
【図３】画像の上書きを説明する図である。
【符号の説明】
【００３０】
１ 視点・画角入力部
２ 局所領域選択部
３ 描画処理部
４ 画像表示部
５ 除去位置入力部
６ 除去局所領域判定部
７ データベース部
１０、１１、１２、１３ 被写体
２０ 視点
２１、２２ 線
３０、３１ 光線
【技術分野】
【０００１】
本発明は、自由視点画像生成技術に関し、より詳しくは、空間を複数の局所領域に分割し、局所領域毎に光線空間を構築して自由視点画像を生成する画像生成技術に関する。
【背景技術】
【０００２】
複数のカメラで撮影した動画像から、任意の位置における画像を再現する自由視点画像生成技術について様々な提案がなされている。（例えば、特許文献１、非特許文献１及び非特許文献２、参照。）。
【０００３】
上記、従来技術における方法は、イメージ・ベースド・レンダリングと呼ばれるものであり、複数のカメラで撮影した画像から光線空間を構築し、この光線空間に基づき、任意の位置から見たときの画像を補間処理により生成するものである。ここで、光線空間を構築するとは、ある面を通過する光線を適当な座標軸を使用して表し、この座標空間の座標として表現される光線と、この光線により生じる画像の画素値を対応付けることを言う。なお、座標空間の総ての座標に対して画素値のデータをあらかじめ用意しておくことは現実的ではなく、通常は、アプリケーション等に応じて決定される適当な数の座標についてのみ画素値のデータを用意しておく。
【０００４】
ここで、特許文献１には、被写体が存在する領域を、複数の局所領域に分割し、この局所領域毎に光線空間を構築して自由視点画像を生成する技術が記載されている。特許文献１によると、まず、複数のカメラが撮影した画像に基づき、各局所領域の光線空間データを作成する。ここで、局所領域の光線空間データとは、この局所領域の境界面を通過する光線と、その光線に対応する画素値を特定するデータである。例えば、図２に示す例においては、空間を局所領域ｓａ１からｓａ１０に分割しており、画像生成装置は、点線で表した局所領域それぞれの光線空間データを保持している。なお、図２において、符号１０から１３は被写体を表している。
【０００５】
特許文献１に記載の画像生成装置は、視点位置が指定された場合、まず、この位置から見て一番奥に位置する局所領域の光線空間データに基づき画像を生成し、その後、一つ手前にある局所領域の光線空間データに基づき画像を上書きすることを繰り返すことで、自由視点画像を生成している。例えば、指定された視点が符号２０の位置であり、生成する画像の範囲が線２１及び２２の間とすると、特許文献１による画像生成装置は、まず、画像の範囲にある局所領域ｓａ１、ｓａ２及びｓａ３の光線空間データに基づき画像を生成し、つぎに、局所領域ｓａ５及びｓａ６の光線空間データで、先に生成した画像を上書きし、最後に、局所領域ｓａ９の光線空間データでさらに上書きすることにより画像を生成している。
【０００６】
【特許文献１】特開２００８−１５７５６号公報
【非特許文献１】Ｔａｋｅｓｈｉ Ｎａｅｍｕｒａ、ｅｔ ａｌ．、“Ｒａｙ−Ｂａｓｅｄ Ｃｒｅａｔｉｏｎ ｏｆ Ｐｈｏｔｏ−Ｒｅａｌｉｓｔｉｃ Ｖｉｒｔｕａｌ Ｗｏｒｌｄ”、ＶＳＭＭ９７、ｐｐ．５９−６２、１９９７年９月
【非特許文献２】Ｍｉｃｈａｅｌ Ｄｒｏｅｓｅ、ｅｔ ａｌ．、“Ｒａｙ−Ｓｐａｃｅ Ｉｎｔｅｒｐｏｌａｔｉｏｎ ｂａｓｅｄ ｏｎ Ｆｉｌｔｅｒｉｎｇ ｉｎ Ｄｉｓｐａｒｉｔｙ Ｄｏｍａｉｎ”、Ｐｒｏｃ． ｏｆ ３Ｄ Ｉｍａｇｅ Ｃｏｎｆｅｒｅｎｃｅ ２００４、ｐｐ．２９−３０、２００４年
【発明の開示】
【発明が解決しようとする課題】
【０００７】
ここで、視点２０から見た画像において、被写体１１の一部は、被写体１０により見えなくなっている。被写体１１全体を、画像に表示したい場合、視点位置を、被写体１０と被写体１１の間に設定する必要がある。しかしながら、得られる画像は、被写体１１にかなり近づいたものとなり、画角が固定的であり変更できない場合、被写体１１と被写体１０との距離と、被写体１１の大きさによっては、被写体１１全体を１つの画像に表示できなくなってしまう。また、画角が設定可能である場合には、より広角な画像、つまり、線２１及び２２の角度を広げることにより、被写体１１全体を１つの画像に表示することが可能であるが、設定可能な画角に制限が生じることになる。
【０００８】
これに対して、任意の視点位置から見た、任意の画角の画像であり、かつ、邪魔な被写体を取り除いた場合の画像を生成して表示したい場合が存在する。したがって、本発明は、局所領域の光線空間データに基づき、指定された視点から見た画像であって、不必要な被写体を除去した画像を生成する画像生成装置、方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明における画像生成装置によれば、
空間を複数の局所領域に分割し、各局所領域の光線空間データに基づき画像を生成する画像生成装置であって、指定された視点及び画角に基づき、生成する出力画像に含まれる局所領域である第１の局所領域を判定する局所領域判定手段と、指定された視点及び画角、並びに、第１の局所領域に基づき出力画像を生成し、該出力画像の画素と、該画素の生成に使用した光線空間データの局所領域との対応関係を示す対応関係情報を作成する描画手段と、出力画像の画素を指定するための除去位置入力手段と、除外局所領域判定手段と、を備えており、除去位置入力手段により出力画像の画素が指定された場合、除外局所領域判定手段は、対応関係情報に基づき指定された出力画像の画素に対応する局所領域である第２の局所領域を判定し、描画手段は、第１の局所領域から第２の局所領域を除外して出力画像を再描画することを特徴とする。
【００１０】
本発明の画像生成装置における他の実施形態によれば、
描画手段は、第１の局所領域のうち、指定された視点から見て一番奥にある局所領域に基づき描画した画像を、１つ手前の局所領域の光線空間データに基づき上書きすることを、指定された視点から見て一番手前にある局所領域まで、順次繰り返すことにより出力画像を生成することも好ましい。
【００１１】
また、本発明の画像生成装置における他の実施形態によれば、
前記空間に存在する被写体と、各局所領域の光線空間データとの対応関係を示すモデルデータを保持しており、除外局所領域判定手段は、除去位置入力手段により指定された出力画像の画素に対応する局所領域の光線空間データに基づき、指定された出力画像の画素に対応する被写体を判定し、この被写体が存在する総ての局所領域を第２の局所領域とすることも好ましい。
【００１２】
本発明におけるプログラムによれば、
前記画像生成装置としてコンピュータを機能させることを特徴とする。
【００１３】
本発明における画像生成方法によれば、
空間を複数の局所領域に分割し、各局所領域の光線空間データに基づき画像を生成する画像生成装置における画像生成方法であって、指定された視点及び画角に基づき、生成する出力画像に含まれる局所領域である第１の局所領域を判定するステップと、指定された視点及び画角、並びに、第１の局所領域に基づき出力画像を生成するステップと、生成した出力画像の画素と、該画素の生成に使用した光線空間データの局所領域との対応関係を示す対応関係情報を作成するステップと、出力画像の画素の指定を受けるステップと、対応関係情報に基づき、前記指定された出力画像の画素に対応する局所領域である第２の局所領域を判定するステップと、第１の局所領域から第２の局所領域を除外して出力画像を再描画するステップとを備えていることを特徴とする。
【発明の効果】
【００１４】
任意の視点位置から見た、任意の画角の画像であり、かつ、邪魔な被写体を取り除いた場合の画像を生成して表示することが可能になる。
【発明を実施するための最良の形態】
【００１５】
本発明を実施するための最良の実施形態について、以下では図面を用いて詳細に説明する。図１は、本発明による画像生成装置の簡略化した機能ブロック図である。図１によると、画像生成装置は、視点・画角入力部１と、局所領域選択部２と、描画処理部３と、画像表示部４と、除去位置入力部５と、除去局所領域判定部６と、データベース部７とを備えている。
【００１６】
データベース部７は、各局所領域の光線空間データと、モデルデータを保持するデータベースであり、光線空間データは、特許文献１に記載の様に、局所領域の境界面を通過する光線と、その光線に対応する画素値を特定するデータである。また、モデルデータとは、光線空間を構築するために撮影した複数の画像に基づき生成されるものであり、撮影した各画像の画素の実空間における位置の連続性から被写体が存在する領域を特定し、この被写体が存在する領域と、各局所領域の光線空間データとの対応関係を示すデータである。モデルデータは、特許文献１に記載の様に、複数のカメラで被写体を撮影する場合において、例えば、各カメラのカメラパラメータ及び撮影した画像の対応する画素の視差から算出できるものである。以下に、本発明による画像生成装置の動作を説明する。
【００１７】
視点・画角入力部１は、表示したい画像の視点及び画角を利用者に入力させるためのユーザインタフェースであり、利用者が指定した視点及び画角を局所領域選択部２に出力する。なお、視点とは位置及び方角で特定される値である。局所領域選択部２は、利用者が指定した視点及び画角に基づき画像の描画に必要な局所領域を選択する。例えば、図２の状態において、視点２０と、直線２１と２２の間の範囲に対応する画角が指定された場合、局所領域選択部２は、局所領域ｓａ１、ｓａ２、ｓａ３、ｓａ５、ｓａ６及びｓａ９を必要な局所領域と判定し、これら局所領域と、利用者が指定した視点及び画角を描画処理部３に出力する。
【００１８】
描画処理部３は、利用者が指定した視点及び画角と、データベース部７に保存されているデータのうち、局所領域選択部２が選択した局所領域の光線空間データに基づき画像を生成する。より具体的には、視点から見て一番奥の局所領域である局所領域ｓａ１、ｓａ２及びｓａ３の光線空間データから、視点２０に向かう光線を選択し、選択した光線に基づき画像を生成し、つぎに一つ手前にある局所領域ｓａ５及びｓａ６の光線空間データから、視点２０に向かう光線を選択して先に生成した画像を上書きし、最後に、さらに一つ手前にある局所領域ｓａ９の光線空間データで同様に上書きすることにより画像を生成する。
【００１９】
なお、本発明において上書きとは、ある局所領域の光線空間データに基づく画素値が、既に生成した画像の画素値と異なる場合に、このある局所領域の光線空間データにより、当該画素値を変更することを言う。図３は、本発明において使用する上書きの意味を説明する図である。なお、図３は、図を見易くするために図２の局所領域の表示を削除したものである。例えば、被写体１３から視点２０に向かう光線３０は、局所領域ｓａ３、ｓａ６、ｓａ９の総ての光線空間データにおいて同一値であり、この場合、描画処理部３は、上書きを行わず、この光線３０による画素は、局所領域ｓａ３の光線空間データにより生成されたものと認識する。
【００２０】
一方、被写体１１から視点２０に向かう光線は、被写体１０により遮られ、代わりに、被写体１０からの光線が視点２０に到達することになる。描画処理部３は、局所領域ｓａ５を処理したときには、光線３１に基づく画素の画素値として、被写体１１から出た光線による値を使用しているが、局所領域ｓａ９を処理するときに、局所領域ｓａ５の光線空間データにおける光線３１の画素値と、局所領域ｓａ９の光線空間データにおける光線３１の画素値が異なることを認識し、よって、局所領域ｓａ９の光線空間データにより、光線３１に対応する画素の画素値を上書きする。これにより、描画処理部３は、光線３１による画素は、局所領域ｓａ９の光線空間データにより生成されたものと認識する。
【００２１】
以上の様に、描画処理部３は、生成した画像の各画素の画素値が、どの局所領域の光線空間データにより生成されたものかを示す対応関係情報を生成し、生成した画像と、この対応関係情報を除外局所領域判定部６に出力する。また、生成した画像については、例えばディスプレイに表示するため画像表示部４に出力する。
【００２２】
利用者が、画像表示部４によりディスプレイに表示された画像を見て、例えば、図２の被写体１０を除去した画像を表示したいと考えたものとする。この場合、利用者は、除去位置入力部５を用いて、除去したい被写体１０を指定する。より具体的には、除去位置入力部５は、例えば、ポインティング・デバイスであり、利用者は、ディスプレイに表示されているカーソルを被写体１０が表示されている位置に動かして、被写体１０の除去を除去位置入力部５に入力し、除去位置入力部５は、このときカーソルが位置している画素を特定する情報を除外局所領域判定部６に出力する。
【００２３】
除外局所領域判定部６は、除去位置入力部５から出力された画素が、どの局所領域のものであるかを、対応関係情報に基づき判定する。続いて、判定した局所領域が、視点から見て最も奥に位置する局所領域であれば、除去不可であるためエラーとして描画処理部３に通知し、描画処理部３は、エラーを画像表示部４によりディスプレイに表示させる。
【００２４】
一方、判定した局所領域が、視点から見て最も奥に位置する局所領域ではなく、何らかの被写体に対応するものである場合、除外局所領域判定部６は、判定した局所領域を描画処理部３に通知する。描画処理部３は、除外局所領域判定部６から局所領域の通知を受けた場合、局所領域選択部２が選択した局所領域から、この通知を受けた局所領域を除外して画像の再描画を行う。つまり、例えば、利用者が被写体１０の画素を指定した場合、除外局所領域判定部６は、局所領域ｓａ９を描画処理部３に通知し、描画処理部３は、これにより、最初の描画の際に使用した局所領域ｓａ１、ｓａ２、ｓａ３、ｓａ５、ｓａ６及びｓａ９のうち、局所領域ｓａ９を除外し、再度、視点２０からの画像の生成を行う。これにより、被写体１０を除去した画像が生成される。
【００２５】
また、描画処理部３は、新たに生成した画像を表示するため画像表示部４に出力すると共に、新たに生成した画像に基づき対応関係情報を更新し、新たに生成した画像及び更新した対応関係情報を除外局所領域判定部６に出力する。これにより、被写体が複数個重なっている場合において、順番に邪魔な被写体を除去していくことができる。
【００２６】
なお、上述した構成ではカーソルにより指定した位置に対応する局所領域の光線空間データのみが除外されるため、例えば、被写体１１の様に、複数の局所領域を跨っている被写体の場合、カーソルにより指定した位置に応じて、被写体の一部のみが除去された画像が生成されることになり、１つの被写体を削除するために複数回の除去指定を行わなければならないことになる。
【００２７】
複数の局所領域に跨る被写体を１回の操作で除去したい場合、除去局所領域判定部６は、モデルデータを除去する局所領域の判定に使用する。つまり、指定された画素に対応する光線とモデルデータに基づき、指定された画素を含む被写体が、どの局所領域に存在しているかを判定し、この被写体が存在する局所領域の総てを描画処理部３に出力する。
【００２８】
なお、本発明による画像生成装置は、コンピュータを上記画像生成装置として機能させるプログラムにより実現することができる。これらコンピュータプログラムは、コンピュータが読み取り可能な記憶媒体に記憶されて、又は、ネットワーク経由で配布が可能なものである。さらに、本発明は、ハードウェア及びソフトウェアの組合せによっても実現可能である。
【図面の簡単な説明】
【００２９】
【図１】本発明による画像生成装置のブロック図である。
【図２】本発明による画像生成を説明する図である。
【図３】画像の上書きを説明する図である。
【符号の説明】
【００３０】
１ 視点・画角入力部
２ 局所領域選択部
３ 描画処理部
４ 画像表示部
５ 除去位置入力部
６ 除去局所領域判定部
７ データベース部
１０、１１、１２、１３ 被写体
２０ 視点
２１、２２ 線
３０、３１ 光線
【特許請求の範囲】
【請求項１】
空間を複数の局所領域に分割し、各局所領域の光線空間データに基づき画像を生成する画像生成装置であって、
指定された視点及び画角に基づき、生成する出力画像に含まれる局所領域である第１の局所領域を選択する局所領域選択手段と、
指定された視点及び画角、並びに、第１の局所領域に基づき出力画像を生成し、該出力画像の画素と、該画素の生成に使用した光線空間データの局所領域との対応関係を示す対応関係情報を作成する描画手段と、
出力画像の画素を指定するための除去位置入力手段と、
除外局所領域判定手段と、
を備えており、
除去位置入力手段により出力画像の画素が指定された場合、
除外局所領域判定手段は、対応関係情報に基づき指定された出力画像の画素に対応する局所領域である第２の局所領域を判定し、
描画手段は、第１の局所領域から第２の局所領域を除外して出力画像を再描画する、
画像生成装置。
【請求項２】
描画手段は、第１の局所領域のうち、指定された視点から見て一番奥にある局所領域に基づき描画した画像を、１つ手前の局所領域の光線空間データに基づき上書きすることを、指定された視点から見て一番手前にある局所領域まで、順次繰り返すことにより出力画像を生成する、
請求項１に記載の画像生成装置。
【請求項３】
前記空間に存在する被写体と、各局所領域の光線空間データとの対応関係を示すモデルデータを保持しており、
除外局所領域判定手段は、除去位置入力手段により指定された出力画像の画素に対応する局所領域の光線空間データに基づき、指定された出力画像の画素に対応する被写体を判定し、この被写体が存在する総ての局所領域を第２の局所領域とする、
請求項１又は２に記載の画像生成装置。
【請求項４】
請求項１から３のいずれか１項に記載の画像生成装置としてコンピュータを機能させるプログラム。
【請求項５】
空間を複数の局所領域に分割し、各局所領域の光線空間データに基づき画像を生成する画像生成装置における画像生成方法であって、
指定された視点及び画角に基づき、生成する出力画像に含まれる局所領域である第１の局所領域を選択するステップと、
指定された視点及び画角、並びに、第１の局所領域に基づき出力画像を生成するステップと、
生成した出力画像の画素と、該画素の生成に使用した光線空間データの局所領域との対応関係を示す対応関係情報を作成するステップと、
出力画像の画素の指定を受けるステップと、
対応関係情報に基づき、前記指定された出力画像の画素に対応する局所領域である第２の局所領域を判定するステップと、
第１の局所領域から第２の局所領域を除外して出力画像を再描画するステップと、
を備えている画像生成方法。
【請求項１】
空間を複数の局所領域に分割し、各局所領域の光線空間データに基づき画像を生成する画像生成装置であって、
指定された視点及び画角に基づき、生成する出力画像に含まれる局所領域である第１の局所領域を選択する局所領域選択手段と、
指定された視点及び画角、並びに、第１の局所領域に基づき出力画像を生成し、該出力画像の画素と、該画素の生成に使用した光線空間データの局所領域との対応関係を示す対応関係情報を作成する描画手段と、
出力画像の画素を指定するための除去位置入力手段と、
除外局所領域判定手段と、
を備えており、
除去位置入力手段により出力画像の画素が指定された場合、
除外局所領域判定手段は、対応関係情報に基づき指定された出力画像の画素に対応する局所領域である第２の局所領域を判定し、
描画手段は、第１の局所領域から第２の局所領域を除外して出力画像を再描画する、
画像生成装置。
【請求項２】
描画手段は、第１の局所領域のうち、指定された視点から見て一番奥にある局所領域に基づき描画した画像を、１つ手前の局所領域の光線空間データに基づき上書きすることを、指定された視点から見て一番手前にある局所領域まで、順次繰り返すことにより出力画像を生成する、
請求項１に記載の画像生成装置。
【請求項３】
前記空間に存在する被写体と、各局所領域の光線空間データとの対応関係を示すモデルデータを保持しており、
除外局所領域判定手段は、除去位置入力手段により指定された出力画像の画素に対応する局所領域の光線空間データに基づき、指定された出力画像の画素に対応する被写体を判定し、この被写体が存在する総ての局所領域を第２の局所領域とする、
請求項１又は２に記載の画像生成装置。
【請求項４】
請求項１から３のいずれか１項に記載の画像生成装置としてコンピュータを機能させるプログラム。
【請求項５】
空間を複数の局所領域に分割し、各局所領域の光線空間データに基づき画像を生成する画像生成装置における画像生成方法であって、
指定された視点及び画角に基づき、生成する出力画像に含まれる局所領域である第１の局所領域を選択するステップと、
指定された視点及び画角、並びに、第１の局所領域に基づき出力画像を生成するステップと、
生成した出力画像の画素と、該画素の生成に使用した光線空間データの局所領域との対応関係を示す対応関係情報を作成するステップと、
出力画像の画素の指定を受けるステップと、
対応関係情報に基づき、前記指定された出力画像の画素に対応する局所領域である第２の局所領域を判定するステップと、
第１の局所領域から第２の局所領域を除外して出力画像を再描画するステップと、
を備えている画像生成方法。
【図１】
【図２】
【図３】
【図２】
【図３】
【公開番号】特開２０１０−７２９２２（Ｐ２０１０−７２９２２Ａ）
【公開日】平成２２年４月２日（２０１０．４．２）
【国際特許分類】
【出願番号】特願２００８−２３９２９８（Ｐ２００８−２３９２９８）
【出願日】平成２０年９月１８日（２００８．９．１８）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
【公開日】平成２２年４月２日（２０１０．４．２）
【国際特許分類】
【出願日】平成２０年９月１８日（２００８．９．１８）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
[ Back to top ]