画像処理装置および方法、補完画像生成装置および方法、プログラム、並びに記録媒体
【課題】低コストで、より広範囲の空間の多数の視点から見た画像を提供することができるようにする。
【解決手段】複数のカメラにより被写体の画像を撮影する撮影部と、前記撮影された画像に基づいて、前記複数のカメラの全部または一部の位置を結んだ複数の線分により構成される面内の任意の位置において撮影された画像を補完する画像補完部と、前記複数のカメラにより撮影された画像および前記補完された画像により構成されるカメラ面画像に基づいて、前記複数のカメラのそれぞれに共通する撮影範囲内の任意の点から撮影された被写体の画像を生成する任意点画像生成部とを備える。
【解決手段】複数のカメラにより被写体の画像を撮影する撮影部と、前記撮影された画像に基づいて、前記複数のカメラの全部または一部の位置を結んだ複数の線分により構成される面内の任意の位置において撮影された画像を補完する画像補完部と、前記複数のカメラにより撮影された画像および前記補完された画像により構成されるカメラ面画像に基づいて、前記複数のカメラのそれぞれに共通する撮影範囲内の任意の点から撮影された被写体の画像を生成する任意点画像生成部とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像処理装置および方法、補完画像生成装置および方法、プログラム、並びに記録媒体に関し、特に、低コストで、より広範囲の空間の多数の視点から見た画像を提供することができるようにする画像処理装置および方法、補完画像生成装置および方法、プログラム、並びに記録媒体に関する。
【背景技術】
【０００２】
従来の、ＣＲＴ(Cathod Ray Tube)や液晶パネル、プロジェクタなどを利用したディスプレイにおいては、例えば、ビデオカメラ（以下、適宜、単に、カメラともいう）で撮像された画像が表示される。しかし、その画像は、例えば、カメラの位置を視点として見たものにすぎなかった。
【０００３】
従って、ユーザが、例えば、頭部を移動して、ディスプレイに表示された画像を見るときの視点を変えても、ディスプレイに表示される画像は、カメラのレンズ中心（以下、適宜、カメラの視点ともいう）から見た画像のままである。
【０００４】
そこで、出願人は、ＣＧなどではない実写の画像であっても、容易に、ユーザの視点に応じて変化させることができるようにする技術を提案した（例えば、特許文献１参照）。特許文献１の技術によれば、ユーザの視点の変化に応じて、ディスプレイに表示される画像を変化させるようにすることができる。
【０００５】
また、複数カメラによって撮影された映像により被写体の３次元形状を推定し、そこにテクスチャを貼り付けてコンピュータグラフィクスとして任意の視点から見た映像を再構成する技術も提案されている（例えば、非特許文献１参照）。
【０００６】
さらに、スーパーボウル(アメリカンフットボール)が開催されたスタジアムにおいて、フィールドを取り囲むようにカメラを配置し、リプレイしたいシーンにおいて、視点を自由に切り替えて提示することも提案されている（例えば、非特許文献２参照）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特許第４２１１２９２号公報
【非特許文献】
【０００８】
【非特許文献１】T.Kanade and P.J.NarayananP.W.Rander. Virtualized Reality: Constructing Virtual Worlds from Real Scenes. IEEE Multimedia, Vol.4, No.1, pp.34-47, 1997.
【非特許文献２】I.Kitahara, H.Saito, S.Akimichi, T.Ono, Y.Ohta and T.Kanade. Large-scale Virtualized Reality. IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR2001), 2001.
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、非特許文献１の技術のように、ステレオマッチングによる３次元の被写体モデルを推定する方式は、人間の頭髪など、モデル化が難しい部分で失敗する可能性がある。このようにモデル化が失敗すると、映像としても大きく破綻するという問題があった。
【００１０】
また、テクスチャの貼り付けなどに係る処理負荷は大きく、処理の簡素化が期待される。
【００１１】
さらに、非特許文献２の技術の場合、視点を切り替えることができるのは、実際にカメラが配置されている場所のみであり、実際に面白味のある映像を提供するためには、コストがかかるという問題があった。
【００１２】
本技術はこのような状況に鑑みてなされたものであり、低コストで、より広範囲の空間の多数の視点から見た画像を提供することができるようにするものである。
【課題を解決するための手段】
【００１３】
本技術の第１の側面は、複数のカメラにより被写体の画像を撮影する撮影部と、前記撮影された画像に基づいて、前記複数のカメラの全部または一部の位置を結んだ複数の線分により構成される面内の任意の位置において撮影された画像を補完する画像補完部と、前記複数のカメラにより撮影された画像および前記補完された画像により構成されるカメラ面画像に基づいて、前記複数のカメラのそれぞれに共通する撮影範囲内の任意の点から撮影された被写体の画像を生成する任意点画像生成部とを備える画像処理装置である。
【００１４】
前記画像補完部は、前記複数のカメラのうちの３台を頂点とした三角形の面内の任意の位置において撮影された画像を補完するようにすることができる。
【００１５】
前記画像補完部は、前記複数のカメラのうちの３台を特定し、前記３台のカメラのうちの２台の組み合わせを３通り設定し、前記３通りの組み合わせの中の第１番目の組み合わせにおいて、それぞれのカメラで撮影された画像の視差に基づいて、第１のずれ量を算出し、前記３通りの組み合わせの中の第２番目の組み合わせにおいて、それぞれのカメラで撮影された画像の視差に基づいて、第２のずれ量を算出し、前記３通りの組み合わせの中の第３番目の組み合わせにおいて、それぞれのカメラで撮影された画像の視差に基づいて、第３のずれ量を算出し、前記第１乃至第３のずれ量に基づいて、最も確からしいずれ量を決定し、前記補完される画像が撮影される位置および前記３台のカメラのいずれか１台の位置、並びに前記ずれ量に基づいて移動先ベクトルを特定し、前記移動先ベクトルに基づいて、前記３台のカメラのいずれか１台により撮影された画像の画素を移動させて貼り付けることにより前記画像を補完するようにすることができる。
【００１６】
前記画像補完部は、複数のカメラにより撮影された画像の領域を、前記画像を構成する画素の色に基づいてクラス分けして、同一のクラスに属する画素の領域を単位領域とし、前記単位領域毎に画素を移動させて貼り付けることにより前記画像を補完するようにすることができる。
【００１７】
任意点画像生成部は、前記複数のカメラのそれぞれに共通する撮影範囲内の任意の点に仮想的なカメラであるバーチャルカメラを配置し、前記バーチャルカメラの焦点とフィルム面を通る直線に基づいて、前記カメラ面画像の中から適当な画像を選択し、前記選択された画像を撮影したカメラの焦点とフィルム面を通る直線、および前記バーチャルカメラの焦点とフィルム面を通る直線に基づいて、前記選択された画像の中から適当な画素を選択し、前記選択された画素により前記バーチャルカメラで撮影された画像を構成することで、前記任意の点から撮影された被写体の画像を生成するようにすることができる。
【００１８】
前記撮影部は、前記複数のカメラのうち、２台のカメラのレンズに入射する光の光軸の交点を特定し、前記交点を焦点とするように、他のカメラの向きを移動させるようにすることができる。
【００１９】
本技術の第１の側面は、撮影部が、複数のカメラにより被写体の画像を撮影し、画像補完部が、前記撮影された画像に基づいて、前記複数のカメラの全部または一部の位置を結んだ複数の線分により構成される面内の任意の位置において撮影された画像を補完し、任意点画像生成部が、前記複数のカメラにより撮影された画像および前記補完された画像により構成されるカメラ面画像に基づいて、前記複数のカメラのそれぞれに共通する撮影範囲内の任意の点から撮影された被写体の画像を生成するステップを含む画像処理装置である。
【００２０】
本技術の第１の側面は、コンピュータを、複数のカメラにより被写体の画像を撮影する撮影部と、前記撮影された画像に基づいて、前記複数のカメラの全部または一部の位置を結んだ複数の線分により構成される面内の任意の位置において撮影された画像を補完する画像補完部と、前記複数のカメラにより撮影された画像および前記補完された画像により構成されるカメラ面画像に基づいて、前記複数のカメラのそれぞれに共通する撮影範囲内の任意の点から撮影された被写体の画像を生成する任意点画像生成部とを備える画像処理装置として機能させるプログラムである。
【００２１】
本技術の第１の側面においては、複数のカメラにより被写体の画像が撮影され、前記撮影された画像に基づいて、前記複数のカメラの全部または一部の位置を結んだ複数の線分により構成される面内の任意の位置において撮影された画像が補完され、前記複数のカメラにより撮影された画像および前記補完された画像により構成されるカメラ面画像に基づいて、前記複数のカメラのそれぞれに共通する撮影範囲内の任意の点から撮影された被写体の画像が生成される。
【００２２】
本技術の第２の側面は、複数のカメラにより被写体の画像を撮影する撮影部と、前記撮影された画像に基づいて、前記複数のカメラの全部または一部の位置を結んだ複数の線分により構成される面内の任意の位置において撮影された画像を補完する画像補完部とを備え、前記画像補完部は、前記複数のカメラのうちの３台を特定し、前記３台のカメラのうちの２台の組み合わせを３通り設定し、前記３通りの組み合わせの中の第１番目の組み合わせにおいて、それぞれのカメラで撮影された画像の視差に基づいて、第１のずれ量を算出し、前記３通りの組み合わせの中の第２番目の組み合わせにおいて、それぞれのカメラで撮影された画像の視差に基づいて、第２のずれ量を算出し、前記３通りの組み合わせの中の第３番目の組み合わせにおいて、それぞれのカメラで撮影された画像の視差に基づいて、第３のずれ量を算出し、前記第１乃至第３のずれ量に基づいて、最も確からしいずれ量を決定し、前記補完される画像が撮影される位置および前記３台のカメラのいずれか１台の位置、並びに前記ずれ量に基づいて移動先ベクトルを特定し、前記移動先ベクトルに基づいて、前記３台のカメラのいずれか１台により撮影された画像の画素を移動させて貼り付けることにより前記画像を補完する補完画像生成装置である。
【００２３】
前記画像補完部は、複数のカメラにより撮影された画像の領域を、前記画像を構成する画素の色に基づいてクラス分けして、同一のクラスに属する画素の領域を単位領域とし、前記単位領域毎に画素を移動させて貼り付けることにより前記画像を補完するようにすることができる。
【００２４】
本技術の第２の側面は、撮影部が、複数のカメラにより被写体の画像を撮影し、画像補完部が、前記撮影された画像に基づいて、前記複数のカメラの全部または一部の位置を結んだ複数の線分により構成される面内の任意の位置において撮影された画像を補完するステップを含み、前記複数のカメラのうちの３台が特定され、前記３台のカメラのうちの２台の組み合わせが３通り設定され、前記３通りの組み合わせの中の第１番目の組み合わせにおいて、それぞれのカメラで撮影された画像の視差に基づいて、第１のずれ量が算出され、前記３通りの組み合わせの中の第２番目の組み合わせにおいて、それぞれのカメラで撮影された画像の視差に基づいて、第２のずれ量が算出され、前記３通りの組み合わせの中の第３番目の組み合わせにおいて、それぞれのカメラで撮影された画像の視差に基づいて、第３のずれ量が算出され、前記第１乃至第３のずれ量に基づいて、最も確からしいずれ量が決定され、前記補完される画像が撮影される位置および前記３台のカメラのいずれか１台の位置、並びに前記ずれ量に基づいて移動先ベクトルが特定され、前記移動先ベクトルに基づいて、前記３台のカメラのいずれか１台により撮影された画像の画素を移動させて貼り付けることにより前記画像が補完される補完画像生成方法である。
【００２５】
本技術の第２の側面は、コンピュータを、複数のカメラにより被写体の画像を撮影する撮影部と、前記撮影された画像に基づいて、前記複数のカメラの全部または一部の位置を結んだ複数の線分により構成される面内の任意の位置において撮影された画像を補完する画像補完部とを備え、前記画像補完部は、前記複数のカメラのうちの３台を特定し、前記３台のカメラのうちの２台の組み合わせを３通り設定し、前記３通りの組み合わせの中の第１番目の組み合わせにおいて、それぞれのカメラで撮影された画像の視差に基づいて、第１のずれ量を算出し、前記３通りの組み合わせの中の第２番目の組み合わせにおいて、それぞれのカメラで撮影された画像の視差に基づいて、第２のずれ量を算出し、前記３通りの組み合わせの中の第３番目の組み合わせにおいて、それぞれのカメラで撮影された画像の視差に基づいて、第３のずれ量を算出し、前記第１乃至第３のずれ量に基づいて、最も確からしいずれ量を決定し、前記補完される画像が撮影される位置および前記３台のカメラのいずれか１台の位置、並びに前記ずれ量に基づいて移動先ベクトルを特定し、前記移動先ベクトルに基づいて、前記３台のカメラのいずれか１台により撮影された画像の画素を移動させて貼り付けることにより前記画像を補完する補完画像生成装置として機能させるプログラムである。
【００２６】
本技術の第２の側面においては、複数のカメラにより被写体の画像が撮影され、前記撮影された画像に基づいて、前記複数のカメラの全部または一部の位置を結んだ複数の線分により構成される面内の任意の位置において撮影された画像が補完され、前記複数のカメラのうちの３台が特定され、前記３台のカメラのうちの２台の組み合わせが３通り設定され、前記３通りの組み合わせの中の第１番目の組み合わせにおいて、それぞれのカメラで撮影された画像の視差に基づいて、第１のずれ量が算出され、前記３通りの組み合わせの中の第２番目の組み合わせにおいて、それぞれのカメラで撮影された画像の視差に基づいて、第２のずれ量が算出され、前記３通りの組み合わせの中の第３番目の組み合わせにおいて、それぞれのカメラで撮影された画像の視差に基づいて、第３のずれ量が算出され、前記第１乃至第３のずれ量に基づいて、最も確からしいずれ量が決定され、前記補完される画像が撮影される位置および前記３台のカメラのいずれか１台の位置、並びに前記ずれ量に基づいて移動先ベクトルが特定され、前記移動先ベクトルに基づいて、前記３台のカメラのいずれか１台により撮影された画像の画素を移動させて貼り付けることにより前記画像が補完される。
【発明の効果】
【００２７】
本技術によれば、低コストで、より広範囲の空間の多数の視点から見た画像を提供することができる。
【図面の簡単な説明】
【００２８】
【図１】従来の画像の視点を説明する図である。
【図２】多視点ディスプレイを実現する画像表示装置の一実施の形態の構成例を示す図である。
【図３】図２の画像表示装置における多視点の画像の表示を説明する図である。
【図４】各視点における画像の生成を説明する図である。
【図５】ステレオ撮影された画像の例を示す図である。
【図６】ＥＰＩによる画像の補完の例を説明する図である。
【図７】実際のカメラの配置の例を示す図である。
【図８】実際のカメラと補完カメラの配置の例を示す図である。
【図９】３点補完方式におけるカメラの位置および画像の視差の関係を説明する図である。
【図１０】サッカースタジアムにおけるカメラ面と、各視点の画像について説明する図である。
【図１１】バーチャルカメラを配置可能な位置を説明する図である。
【図１２】バーチャルカメラの配置位置の制限を説明する図である。
【図１３】バーチャルカメラの配置位置の制限を説明する図である。
【図１４】本技術の一実施の形態に係る画像処理装置の構成例を示すブロック図である。
【図１５】図１４の補完カメラ画像生成部の詳細な構成例を示すブロック図である。
【図１６】図１３の視点画像生成部の詳細な構成例を示すブロック図である。
【図１７】画像提示処理の例を説明するフローチャートである。
【図１８】カメラ面画像生成処理の例を説明するフローチャートである。
【図１９】視点画像生成処理の例を説明するフローチャートである。
【図２０】本技術の一実施の形態に係る補完画像生成装置の構成例を示すブロック図である。
【図２１】パーソナルコンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００２９】
以下、図面を参照して、ここで開示する技術の実施の形態について説明する。
【００３０】
従来の、液晶パネル、プロジェクタなどを利用したディスプレイにおいては、例えば、ビデオカメラ（以下、適宜、単に、カメラともいう）で撮像された画像が表示されるが、その画像は、図１に示すように、カメラの位置を視点として見たものにすぎなかった。
【００３１】
従って、ユーザが、例えば、頭部を移動して、ディスプレイに表示された画像を見るときの視点を変えても、ディスプレイに表示される画像は、カメラのレンズ中心（以下、適宜、カメラの視点ともいう）から見た画像のままであり、ユーザの視点の変化に応じて、ディスプレイに表示される画像が変化することはなかった。
【００３２】
図２は、多視点ディスプレイを実現する画像表示装置の一実施の形態の構成例を示している。
【００３３】
コンピュータ１は、画像データベース２に記憶された原画像データを、中間データに変換し、中間データベース３に記憶させる。また、コンピュータ１は、位置センサとしてのレシーバ４およびトランスミッタ５を制御し、レシーバ４の出力に基づいて、ユーザの位置（さらには、必要に応じて姿勢）を検出する。
【００３４】
さらに、コンピュータ１は、ユーザの位置を、ユーザの視点の位置として設定し、中間データベース３に記憶された中間データを、そのユーザの視点から見た画像データ（以下、適宜、提示用画像データという）に変換する。そして、コンピュータ１は、提示用画像データを、ディスプレイ６に供給して表示させる。
【００３５】
画像データベース２は、後述するように、カメラ等の撮像装置で撮像された実写の画像データとしての原画像データを記憶している。中間データベース３は、コンピュータ１から供給される、原画像データを変換した中間データを記憶する。
【００３６】
レシーバ４は、ユーザに装着されており、トランスミッタ５が発生する磁界を検知し、その磁界の強度を、コンピュータ１に供給する。トランスミッタ５は、コンピュータ１の制御にしたがい、磁界を発生する。即ち、図２の実施の形態では、レシーバ４およびトランスミッタ５は、位置センサとしての磁界センサを構成しており、レシーバ４が、トランスミッタが発生する磁界の強度を計測することにより、レシーバ４の位置、ひいては、ユーザの位置が検出されるようになっている。
【００３７】
ここで、レシーバ４は、例えば、ユーザの頭部に装着される。また、ユーザが、例えば、ネクタイピンを着用していたり、または眼鏡をかけている場合には、レシーバ４は、そのネクタイピンや眼鏡のフレームに装着することができる。
【００３８】
なお、位置センサである磁界センサとしては、例えば、ポヒマス(Polhemus)社の３次元位置センサなどを採用することができる。
【００３９】
また、位置センサとしては、磁界センサの他、例えば、機械リンク式の位置計測手段（例えば、３次元ディジタイザなど）を採用することが可能である。さらに、位置センサとしては、例えば、ジョイスティックやトラックボールなどの、ユーザの位置の変化を入力することのできる手段を採用することも可能である。すなわち、ここでは、位置センサは、必ずしも実際のユーザの位置を検知する必要はなく、例えば、仮想的なユーザの位置を入力することができるものとしてもよい。
【００４０】
ディスプレイ６は、例えば、例えば、液晶パネルなどで構成され、コンピュータ１から供給される提示用画像データを表示する。なお、ディスプレイ６としては、ＣＲＴや液晶パネル以外に、例えば、プロジェクタやＨＭＤ(Head Mount Display)などを採用することが可能である。
【００４１】
図２の画像表示装置では、例えば、図３Ａに示すように、現実世界において、ユーザが、ある被写体を観察する場合と同様の提示用画像データが表示される。
【００４２】
即ち、現実世界において、ユーザが、ある被写体を観察する場合には、ユーザが、その視点を移動すると、ユーザは、その移動後の視点から見た被写体を観察することができる。具体的には、現実世界では、ユーザが、その視点を移動することによって、被写体の見える部分と見えない部分が変化する。
【００４３】
図２の画像表示装置においても、図３Ｂに示すように、ユーザが、その視点を移動した場合、その視点に応じて、ディスプレイ６に表示される提示用画像データが、現実世界においてユーザの視覚に映る被写体が表示されたものとなるようになっている。即ち、図２の画像表示装置においては、図３Ｃに示すように、ユーザが視点を移動した場合に、その視点から被写体を見た場合の提示用画像データが表示されるようになっている。
【００４４】
従って、図２の画像表示装置では、ユーザが視点を移動すると、例えば、移動前の視点からでは見えなかった被写体の部分が見える状態となった提示用画像データが表示される。すなわち、ユーザが、ディスプレイ６における提示用画像データに表示された被写体をのぞき込むように、視点を移動すると、現実世界において、その移動後の視点から被写体を見た場合に視覚に映るのと同様の提示用画像データが表示される。このことから、図２の画像表示装置は、多視点ディスプレイということができる。
【００４５】
次に、多視点の画像を生成する方式について説明する。
【００４６】
いま、被写体を囲む局面Ωを考える。視点Ｐから被写体を見たときの光線の軌跡（被写体から視点Ｐに入射する光線の軌跡）は、視点Ｐと被写体上の各点とを結ぶ直線によって表現することができる。この光線は、必ず、曲面Ωと交わる。
【００４７】
曲面Ω上の全ての視点において取得した画像を得ることができれば、視点Ｐと被写体上の各点とを結ぶ直線で表される光線に対応する画素値を得ることができる。従って、曲面Ω上の全ての視点において取得した画像を得ることができれば、それらの画像の画素値を用いて、被写体を曲面内の任意の視点から見た画像を生成することができる。
【００４８】
例えば、視点Ｐと被写体上のある点Ｒiとを結ぶ直線Ｌiに注目し、その直線Ｌiと曲面Ωとの交点をＱiと表す。ここで、曲面Ω上の任意の点を視点として、被写体を撮像した画像データが、データベースに記憶されているものとする。
【００４９】
光線は直進し、かつ減衰しないことを前提とすると、被写体上の点Ｒiから、曲面Ω上の点Ｑiに入射する光線と、視点Ｐに入射する光線とは、同一である。従って、視点Ｐから被写体を見た場合、その被写体上の点Ｒiから視点Ｐに向かう光線に対応する画素値は、被写体上の点Ｒiから曲面Ω上の点Ｑiに向かう光線に対応する画素値に一致し、この画素値は、データベースに記憶されている。
【００５０】
以上より、視点Ｐから、被写体上の点Ｒiを見たときの画素値は、曲面Ω上の点Ｑiを視点として撮像された画像データから得ることができる。
【００５１】
例えば、図４に示されるように被写体を囲む曲面Ω上にカメラＣａ１乃至カメラＣａ７が配置されていたものとする。この場合、視点Ｐ１から、被写体上の点Ｒiを見たときの画素値は、曲面Ω上の点Ｑiを視点として撮像された画像データから得ることができるので、カメラＣａ２により撮影された画像データから得ることができる。
【００５２】
一方、視点Ｐ２から、被写体上の点Ｒiを見たときの画素値は、曲面Ω上の点Ｑiを視点として撮像された画像データから得ることができるが、カメラＣａ３とカメラＣａ４の間にカメラが配置されていないので画像データを得ることができない。同様に、視点Ｐ３から、被写体上の点Ｒiを見たときの画素値は、曲面Ω上の点Ｑiを視点として撮像された画像データから得ることができるが、カメラＣａ４とカメラＣａ５の間にカメラが配置されていないので画像データを得ることができない。
【００５３】
このように、図４の形態では、視点Ｐ１から被写体上の点Ｒiを見たときの画素値を得ることはできるが、視点Ｐ２や視点Ｐ３から被写体上の点Ｒiを見たときの画素値を得ることができない。このため、多視点の画像を生成することはできるが、任意の視点の画像を生成することはできない。
【００５４】
任意の視点の画像を生成するためには、例えば、図４の曲面Ω上の全ての位置にカメラを配置することが必要であるようにも思われる。しかし、実際には、カメラＣａ１乃至カメラＣａ７により撮影された画像を用いて曲面Ω上の全ての位置から撮影した画像を補完することができる。
【００５５】
図５は、ステレオ撮影された画像の幾何的な特性を説明する図である。同図の右側の図および左側の図は、同一の被写体（ライオンの像）を、それぞれ異なる角度からカメラで撮影した画像の例を示している。
【００５６】
すなわち、図５はステレオ撮影された画像の例を示している。
【００５７】
図中の右側の画像３２は、図中の左側の画像３１を撮影したカメラの位置より右方向にカメラを移動させて被写体を撮影した画像である。この場合、画像３１と画像３２におけるカメラの位置は、被写体からの距離が同一であって、地面からの高さも同一であるものとする。
【００５８】
このように、カメラを水平右側に移動させて画像を撮影すると、撮影された画像の中の被写体の画素は水平左側に移動する。
【００５９】
例えば、画像３１の中の矩形の枠４１で示されるライオンの顔の画像を構成する画素は、画像３２において、図中左側に移動している。
【００６０】
このように、ステレオ撮影された画像においては、上述のように、カメラの移動方向と平行に画素が移動するという幾何的な特性を有している。
【００６１】
このような画像の幾何的な特性に基づいて、視点（すなわちカメラの位置）を平行移動させた画像を生成することが可能である。このようにして生成（補完）される画像は、エピポーラ平面画像（ＥＰＩ）と称される。
【００６２】
ＥＰＩによれば、例えば、２つの異なる位置に配置されたカメラの画像により、カメラをそれぞれの位置の間を水平に移動させて撮影される画像を仮想的に生成し、本来取得できなかった画像を補完することが可能となる。また、同様に、２つの異なる位置に配置されたカメラの画像により、カメラをそれぞれの位置の間を垂直に移動させて撮影される画像を仮想的に生成し、本来取得できなかった画像を補完することが可能となる。
【００６３】
例えば、図６に示されるように、位置Ａ乃至位置Ｄのそれぞれ４点に実際にカメラを配置する。位置Ａと位置Ｂは、水平方向に距離Ｌだけ離れており、垂直方向の位置は同じであるとする。また、位置Ｃと位置Ｄは、水平方向に距離Ｌだけ離れており、垂直方向の位置は同じであるとする。
【００６４】
従って、位置Ａと位置Ｂの間の位置Ａ´、位置Ａ´´、位置Ｂ´´、および位置Ｂ´にカメラを配置して撮影した場合に得られる画像は、位置Ａのカメラにより撮影された画像と位置Ｂのカメラにより撮影された画像によって補完できる。また、位置Ｃと位置Ｄの間の位置Ｃ´、位置Ｃ´´、位置Ｄ´´、および位置Ｄ´にカメラを配置して撮影した場合に得られる画像は、位置Ｃのカメラにより撮影された画像と位置Ｄのカメラにより撮影された画像によって補完できる。このようにして、ＥＰＩによる水平方向の画像の補完を行うことができる。
【００６５】
さらに、位置Ａと位置Ｃ、または、位置Ｂと位置Ｄは、それぞれ垂直方向に距離Ｌだけ離れており、水平方向の位置は同じであるとする。そうすると、位置Ａと位置Ｃの間の位置、または、位置Ｂと位置Ｄの間の位置のそれぞれについても、ＥＰＩによる垂直方向の画像の補完を行うことができる。
【００６６】
また、ＥＰＩによる水平方向の補完により得られた画像に基づいて、垂直方向の画像の補完を行うこともできる。例えば、位置Ａ´と位置Ｃ´の間の位置にカメラを配置して撮影した場合に得られる画像は、位置Ａ´のカメラにより撮影された画像と位置Ｃ´のカメラにより撮影された画像によって補完できる。同様にして、位置Ａ´´と位置Ｃ´´の間の位置にカメラを配置して撮影した場合に得られる画像、位置Ｂ´´と位置Ｄ´´の間の位置にカメラを配置して撮影した場合に得られる画像、位置Ｂ´と位置Ｄ´の間の位置にカメラを配置して撮影した場合に得られる画像のそれぞれも補完できる。
【００６７】
すなわち、正方形ＡＢＣＤの各頂点にそれぞれ配置された４つのカメラの画像を用いたＥＰＩにより、正方形ＡＢＣＤの面内の各位置から撮影された画像を補完することが可能である。つまり、例えば、図４のカメラＣａ１乃至カメラＣａ７により撮影された画像を用いて曲面Ω上の全ての位置から撮影した画像を補完することができるのである。
【００６８】
しかしながら、上述した画像の補完の方式（４点補完方式と称することにする）には、次のような問題がある。
【００６９】
例えば、４点補完方式では演算量が膨大になり、処理負荷、処理時間が増大するという問題がある。例えば、図６の例の場合、位置Ａと位置Ｂの間の水平方向の補完、および、位置Ｃと位置Ｄの間の水平方向の補完を完了させた後、垂直方向の補完のための演算を多数実行する必要がある。
【００７０】
また、例えば、４点補完方式ではロバスト性に欠けるという問題がある。すなわち、図６における位置Ａ´と位置Ｃ´の間の垂直方向の補完は、もともと、水平方向の補完により得られた位置Ａ´の画像と位置Ｃ´の画像に基づいて行われることになる。例えば、位置Ａ´の画像、または、位置Ｃ´の画像が補完される際に、誤差などのエラーなどが発生した場合、垂直方向の補完によって生成される画像のそれぞれには、そのエラーが伝搬されることになる。
【００７１】
そこで、本技術においては、次に述べるような方式を採用することにする。
【００７２】
例えば、図７に示されるようにカメラを配置する。図７中の黒い丸によりカメラの配置位置が示されており、これらのカメラにより、実際に画像が撮影されるものとされる。同図の例では、各カメラを頂点とする三角形が示されている。本技術では、三角形の頂点に配置された３つのカメラにより撮影されたそれぞれの画像に基づいて、当該三角形の面内の任意の位置に配置されたカメラで撮影された画像を補完する。
【００７３】
すなわち、例えば、図８に示されるように、実際には配置されていないカメラにより画像が撮影されるようにする。図８においては、図中の黒い丸によりカメラの配置位置が示されており、図中の白い丸により補完された画像に対応するカメラの配置位置が示されている。なお、ここでは、補完された画像に対応するカメラを補完カメラと称することにする。
【００７４】
例えば、被写体を囲むように実際のカメラを配置し、図８に示されるように補完カメラが配置された状態においては、図４を参照して上述した曲面Ω上の任意の一点で撮影された画像データを得ることができることになる。以下においては、実際のカメラと補完カメラにより形成される面（曲面）をカメラ面と称することにする。
【００７５】
三角形の頂点に配置された３つのカメラにより撮影されたそれぞれの画像に基づく当該三角形の面内の任意の位置に配置されたカメラで撮影された画像の補完は、次のようにして行うことができる。
【００７６】
例えば、図９に示されるように、三角形の頂点となる位置に実際のカメラであるカメラＡ、カメラＢ、カメラＣを配置する。同図には、カメラＡにより撮影された画像１０１、カメラＢにより撮影された画像１０２、カメラＣにより撮影された画像１０３が示されている。この例では、画像１０１乃至画像１０３のそれぞれは、サッカーボールの背景にグラウンド、校舎などが表示された画像とされている。
【００７７】
図５を参照して上述した場合と同様に、画像１０１乃至画像１０３において、サッカーボールが表示されている位置のそれぞれは、カメラＡ、カメラＢ、カメラＣの位置に応じてずれている。例えば、画像１０１において、サッカーボールは画像の右下に表示されているが、画像１０２において、サッカーボールは画像の左下に表示されている。さらに、画像１０３においては、サッカーボールは画像のほぼ中央に表示されている。
【００７８】
背景の画像を固定し、画像１０１乃至画像１０３におけるサッカーボールの画像を重ね合わせて表示すると、画像１１０のようになる。画像１１０においては、３つのサッカーボールの画像が重ねられて表示されている。３つのサッカーボールの中心点どうしを結ぶ直線が画像１０１乃至画像１０３のそれぞれの画像における視差を表すベクトルとなる。
【００７９】
すなわち、画像１１０に示される３つのサッカーボールの中心点どうしを結ぶ直線により構成される三角形の各辺がカメラ位置による視差を表す視差ベクトルになる。この三角形の１辺は、カメラＡとカメラＢとの視差を表すベクトル（ＡＢ間視差ベクトル）となり、別の１辺は、カメラＢとカメラＣとの視差を表すベクトル（ＢＣ間視差ベクトル）となり、さらに別の１辺は、カメラＡとカメラＣとの視差を表すベクトル（ＡＣ間視差ベクトル）となる。
【００８０】
一方、実際のカメラであるカメラＡ乃至カメラＣにおいて、各カメラのレンズの中心点を結ぶ直線により、各カメラの位置を表すベクトルが得られる。例えば、カメラＡおよびカメラＢのそれぞれのレンズの中心点を結ぶ直線により、カメラＡの位置からカメラＢの位置までの距離と方向を表すベクトル（ＡＢベクトル）が構成される。また、カメラＢおよびカメラＣのそれぞれのレンズの中心点を結ぶ直線により、カメラＢの位置からカメラＣの位置までの距離と方向を表すベクトル（ＢＣベクトル）が構成される。さらに、カメラＡおよびカメラＣのそれぞれのレンズの中心点を結ぶ直線により、カメラＡの位置からカメラＣの位置までの距離と方向を表すベクトル（ＡＣベクトル）が構成される。
【００８１】
そうすると、例えば、画像１０１と画像１０２における被写体（例えば、サッカーボール）のずれ量は、（ＡＢ間視差ベクトル）／（ＡＢベクトル）として算出することができる。また、画像１０２と画像１０３における被写体（例えば、サッカーボール）のずれ量は、（ＢＣ間視差ベクトル）／（ＢＣベクトル）として算出することができる。さらに、画像１０１と画像１０３における被写体（例えば、サッカーボール）のずれ量は、（ＡＣ間視差ベクトル）／（ＡＣベクトル）として算出することができる。
【００８２】
なお、上記の３種類の計算のうち、いずれの計算を行った場合も、ずれ量は同一となるはずであるが、誤差が生じる場合もある。例えば、上記の３種類の計算の結果の中央値を算出し、その値をずれ量とすることで、誤差の発生を抑制することができる。
【００８３】
例えば、図９のカメラＫにより撮影された画像における被写体の画素位置を算出する場合、カメラＡおよびカメラＫのそれぞれのレンズの中心点を結ぶＡＫベクトルに、上述のようにして得られたずれ量を乗じて得られたベクトルによって画素位置を特定することができる。つまり、画像１０１のサッカーボールの画素を、ＡＫベクトルにずれ量を乗じて得られたベクトルにより定まる位置に移動させる。
【００８４】
なお、図９においては、カメラＡ、カメラＢ、カメラＣがほぼ正三角形の頂点となる位置に配置されている例について説明したが、必ずしも正三角形とする必要はない。
【００８５】
このようにして、補完カメラの画像を生成することができる。上述したように、本技術では、三角形の面内の任意の位置で撮影された画像を補完することができ、この方式を３点補完方式と称することにする。３点補完方式は、４点補完方式の場合と異なり、例えば、水平方向の補完を完了させた後、垂直方向の補完のための演算を行うなどする必要がなく、演算量、処理負荷、処理時間を抑制することができる。また、３点補完方式は、４点補完方式の場合と異なり、誤差などのエラーなどが発生した場合、そのエラーが伝搬されるなどの問題もなく、ロバスト性に富んでいる。
【００８６】
さらに、本技術によれば、実際のカメラにより撮影された画像と補完カメラにより撮影された画像を用いて多視点の画像を生成することが可能となる。図１０は、本技術により多視点の画像を生成する例を示す図である。
【００８７】
例えば、図１０に示されるように、サッカースタジアムを囲むように実際のカメラを配置する。この例では、図中の黒い丸により実際のカメラが示されている。上述したように、実際のカメラにより撮影された画像を用いて３点補完方式により補完カメラの画像が補完され、曲面Ωにカメラ面が構成される。この際、実際のカメラの焦点は、全てスタジアム内の一点に向けられているものとする。
【００８８】
なお、図１０の例では、カメラが水平方向に一列に並べられて表現されているが、実際には図７や図８を参照して上述した３点補完方式を採用することができるように、垂直方向（紙面の奥行方向）にもカメラが並べられているものとする。
【００８９】
また、カメラ面は、実際には、図８に示されるような平面ではなく曲面であるものの、３点補完方式により補完カメラの画像が補完される際には、実際のカメラ３台により構成される三角形を個々に平面とみなすことができる。よって、図１０に示されるような曲面状のカメラ面であっても、図７や図８を参照して上述した３点補完方式を採用することができる
【００９０】
いま、プレーヤーＡに近い視点Ｐ１からみた画像と、プレーヤーＢに近い視点Ｐ２から見た画像を生成する場合を考える。この場合、視点Ｐ１または視点Ｐ２に仮想的なカメラ（バーチャルカメラ）を配置して画像を撮影することで、視点Ｐ１または視点Ｐ２からみた画像を得るようにする。
【００９１】
ここで、バーチャルカメラをピンホールカメラとし、そのピンホールカメラの内部のフィルムまたはＣＣＤにより画素が記録されていると考える。例えば、バーチャルカメラのフィルム（ＣＣＤ）面を構成する個々の画素の画素値は、バーチャルカメラの焦点（ピンホール）とフィルム面の各画素とを結んだ直線と平行な光線により定まる。つまり、バーチャルカメラの解像度に応じた個数の画素のそれぞれについて、画素と焦点とを結ぶ直線を特定していけば、各画素の画素に入射する光線を特定することができる。
【００９２】
光が減衰しないものと仮定すると、バーチャルカメラの焦点とフィルム面の各画素とを結んだ直線を曲面Ωまで延長すれば、その直線と曲面Ωの交点に、バーチャルカメラの各画素に入射した光線が入射していることになる。つまり、カメラ面（曲面Ω）上の１点で撮影された画像の画素を用いて、バーチャルカメラの画素を１つずつ構成することができる。
【００９３】
すなわち、バーチャルカメラのある画素を生成する場合、まずその画素と焦点を結ぶ直線（この直線をＬｖと称することにする）をカメラ面まで延長し、実際のカメラまたは補完カメラのうち、直線Ｌｖとカメラ面との交点に一番近いカメラを選択する。そして、選択された実際のカメラまたは補完カメラの焦点を起点とした、直線Ｌｖと平行な半直線Ｌｗを引く。なお、実際のカメラまたは補完カメラにも、焦点とフィルム（ＣＣＤ）面が存在する。
【００９４】
そして、半直線Ｌｗと選択された実際のカメラまたは補完カメラのフィルム面の交点に一番近い画素を、バーチャルカメラにおける当該画素として抽出する。この画素は、実際のカメラの画像または補完カメラの画像を構成する複数の画素の中の１つの画素として特定される。
【００９５】
このように、カメラ面のカメラにより撮影された画像の画素を個々に抽出していくことによりバーチャルカメラにより撮影された画像が生成される。これにより、視点Ｐ１や視点Ｐ２からみた画像が生成されるのである。
【００９６】
いま、水平方向のみについて考えた場合、カメラ面の最も左に配置された実際のカメラの撮影範囲内に位置し、かつカメラ面の最も右に配置された実際のカメラの撮影範囲内に位置する被写体を撮影するものであれば、任意の位置から見た画像を生成することができる。すなわち、例えば、図１１に示されるように、サッカースタジアムの周囲に配置された実際のカメラのそれぞれに共通する撮影範囲である空間ＲＣの内部であれば、バーチャルカメラを配置することが可能である。
【００９７】
例えば、サッカーの試合を中継する際に、実際のカメラによりボールを追いかけるように画像を撮影すれば、空間ＲＣはボールとともに移動することになる。その結果、例えば、ボールの周辺の様々な位置にバーチャルカメラを配置して、それらの視点からみた迫力のある画像を視聴者に提示することができる。
【００９８】
実際のカメラの台数が多い場合、カメラの台数分のカメラマンを集めることが難しい場合もある。このような場合、例えば、任意の２台のカメラのレンズの中心および焦点を通る直線が交わる点を焦点とするように、他のカメラが自動的に操作されるようにするとよい。つまり、少なくとも２台のカメラのレンズに入射する光の光軸が交差する点を求めることができれば、他のカメラはその点を焦点として追随させるようにすれば、全てのカメラでほぼ同じ場所の被写体を撮影するようにすることができるのである。
【００９９】
このようにすることで、少なくとも２人のカメラマンがカメラを操作することにより、空間ＲＣをボールとともに移動させることが可能になる。
【０１００】
また、例えば、サッカースタジアムの周囲を全て囲むように実際のカメラを配置すれば、ピッチのどの位置にもバーチャルカメラを配置することが可能である。
【０１０１】
ただし、サッカースタジアムの真上や真下に実際のカメラを配置することはできないと考えられるので、水平方向のカメラ位置は自由に選択できるものの、垂直方向のカメラ位置は制限される。
【０１０２】
例えば、図１２に示されるように、カメラ面において、垂直方向にカメラＣａ１乃至カメラＣａ５が配置されているものとする。なお、カメラＣａ１乃至カメラＣａ５は、実際のカメラであってもよいし、補完カメラであってもよい。図１２の例では、バーチャルカメラＶＣを被写体である人物の顔の高さとほぼ同等の位置に配置している。この場合、バーチャルカメラＶＣの焦点を通りフィルム面の各画素に入射する光は、全てカメラＣａ１乃至カメラＣａ５に入射している。従って、カメラ面のカメラで撮影された画像に基づいて、バーチャルカメラＶＣで撮影された画像を生成することができる。
【０１０３】
一方、例えば、図１３に示されるようにバーチャルカメラＶＣを被写体である人物の足元に配置した場合、バーチャルカメラＶＣの焦点を通りフィルム面の各画素に入射する光の一部はカメラＣａ１乃至カメラＣａ５に入射しない。図１３の場合、バーチャルカメラＶＣの上方向から入射する光は、カメラ面のカメラに入射していないので、例えば、バーチャルカメラＶＣで撮影された画像において、画面のほぼ上半分程度の画素を生成できないことになる。
【０１０４】
このように、バーチャルカメラを配置する場合、垂直方向のカメラ位置は制限される。
【０１０５】
なお、ここでは、サッカースタジアムの周囲に実際のカメラを配置する例について説明したが、例えば、コンサートホールの周囲に実際のカメラを配置するなど他の実施例も考えられる。
【０１０６】
図１４は、本技術を適用した画像処理装置の一実施の形態に係る構成例を示すブロック図である。同図に示される画像処理装置２００は、撮像部２０１、補完カメラ画像生成部２０２、視点画像生成部２０３、および画像提示部２０４により構成されている。
【０１０７】
同図において、撮像部２０１は、カメラ１乃至カメラｎを有する構成とされている。ここで、カメラ１乃至カメラｎは実際のカメラとされ、例えば、図１０の場合のように、サッカースタジアムの周囲に配置される。また、カメラ１乃至カメラｎは、図７や図８を参照して上述した３点補完方式を採用することができるように、垂直方向、水平方向に所定の距離をとって配置されるものとする。
【０１０８】
撮像部２０１は、カメラ１乃至カメラｎにより撮影された画像のデータを補完カメラ画像生成部２０２に供給する。なお、カメラ１乃至カメラｎにより撮影された画像のデータのそれぞれは、各カメラのカメラ面上での位置を特定する情報（例えば、カメラの座標位置）に対応付けられて供給される。
【０１０９】
補完カメラ画像生成部２０２は、カメラ１乃至カメラｎにより撮影された画像のデータに基づいて、補完カメラの画像を生成する。このとき、図７や図８を参照して上述した３点補完方式により補完カメラの画像が生成される。これにより、カメラ面の各位置で撮影された画像が記録されることになる。
【０１１０】
視点画像生成部２０３は、例えば、ユーザの所望の視点の入力を受け付け、当該視点における画像を生成する。視点画像生成部２０３は、例えば、図１０に示される視点Ｐ１、視点Ｐ２などの入力を受け付け、それらの視点においてバーチャルカメラで撮影された画像を生成することで、ユーザの所望の視点の画像を生成する。
【０１１１】
画像提示部２０４は、視点画像生成部２０３により生成された画像を、図示せぬディスプレイなどに提示する。これにより、ユーザは、所望の視点画像を見ることができる。
【０１１２】
なお、画像提示部２０４は、画像処理装置２００とは別の装置として設けられるようにしてもよい。
【０１１３】
図１５は、補完カメラ画像生成部２０２の詳細な構成例を示すブロック図である。同図に示されるように、補完カメラ画像生成部２０２は、ずれ量算出部２１１、および画素生成部２１２により構成されている。
【０１１４】
ずれ量算出部２１１は、ＡＢ間ずれ量判定部２２１−１、ＢＣ間ずれ量判定部２２１−２、ＡＣ間ずれ量判定部２２１−３、結果照合部２２２、およびずれ量出力部２２３により構成されている。
【０１１５】
ずれ量算出部２１１は、例えば、図９を参照して説明したようにずれ量を算出する。ずれ量算出部２１１は、いまから補完すべき画像を撮影する補完カメラの位置を特定し、その位置に応じて定まる三角形の面を特定するとともに、その三角形の頂点を構成する実際のカメラを特定する。このとき、例えば、図９のカメラＡ乃至カメラＣが特定される。
【０１１６】
ＡＢ間ずれ量判定部２２１−１、ＢＣ間ずれ量判定部２２１−２、およびＡＣ間ずれ量判定部２２１−３は、それぞれ上述した三角形の頂点を構成する実際のカメラにより撮影された画像のずれ量を判定（算出）する。ＡＢ間ずれ量判定部２２１−１、ＢＣ間ずれ量判定部２２１−２、およびＡＣ間ずれ量判定部２２１−３は、撮影部２０１から供給される実際のカメラの画像を取得し、ブロックマッチング処理を行うなどして各画像において対応する画素を特定する。例えば、図９の画像１０１と画像１０２におけるサッカーボールの画素からなるブロックが各画像において対応するブロックとして特定される。
【０１１７】
そして、ＡＢ間ずれ量判定部２２１−１、ＢＣ間ずれ量判定部２２１−２、およびＡＣ間ずれ量判定部２２１−３は、図９を参照して説明したように、各カメラ間の距離と方向を表すベクトル（ＡＢベクトル、ＢＣベクトル、ＡＣベクトル）、および各カメラ間の視差を表すベクトル（ＡＢ間視差ベクトル、ＢＣ間視差ベクトル、ＡＣ間視差ベクトル）を演算する。
【０１１８】
その後、ＡＢ間ずれ量判定部２２１−１は、（ＡＢ間視差ベクトル）／（ＡＢベクトル）によりずれ量を算出する。また、ＢＣ間ずれ量判定部２２１−２は、（ＢＣ間視差ベクトル）／（ＢＣベクトル）によりずれ量を算出し、ＡＣ間ずれ量判定部２２１−３は、（ＡＣ間視差ベクトル）／（ＡＣベクトル）によりずれ量を算出する。
【０１１９】
結果照合部２２２は、例えば、ＡＢ間ずれ量判定部２２１−１、ＢＣ間ずれ量判定部２２１−２、およびＡＣ間ずれ量判定部２２１−３によるそれぞれの計算の結果の中央値を算出する。あるいはまた、ＡＢ間ずれ量判定部２２１−１、ＢＣ間ずれ量判定部２２１−２、およびＡＣ間ずれ量判定部２２１−３の３種類の計算結果のうち、値が近い２つを選択し、その中央値が算出されるようにしてもよい。
【０１２０】
ずれ量出力部２２３は、結果照合部２２２から出力される値をずれ量として、画素生成部２１２に供給する。
【０１２１】
画素生成部２１２は、ずれ量出力部２２３により算出されたずれ量に基づいて、所定の位置の補完カメラの画像の画素を生成するようになされている。画素生成部２１２は、移動先計算部２３１、画素プロット部２３２、および画素補完部２３３により構成されている。
【０１２２】
移動先計算部２３１は、いまから補完すべき画像を撮影する補完カメラの位置と、上述した３点補完方式における三角形の頂点のいずれかを構成する実際のカメラの位置との間の距離と方向を表すベクトル特定する。このとき、例えば、補完カメラが図９のカメラＫである場合、カメラＡおよびカメラＫのそれぞれのレンズの中心点を結ぶＡＫベクトルが特定される。そして、移動先計算部２３１は、例えば、ＡＫベクトルに、ずれ量出力部２２３から出力されたずれ量を乗じて得られたベクトルを移動先ベクトルとして特定する。
【０１２３】
画素プロット部２３２は、実際のカメラにより撮影された画像の中の所定の画素数により構成されるブロックを抽出し、そのブロックを構成する画素を、補完カメラの画像の所定の位置に貼り付ける。このとき、画素プロット部２３２は、移動先計算部２３１により特定された移動先ベクトルに基づいて、補完カメラの画像の中で当該画素を貼り付ける位置を特定する。
【０１２４】
例えば、補完カメラが図９のカメラＫである場合、画像１０１のサッカーボール上の１点である座標（x1,y1）の画素が、座標（x1,y1）を起点とした移動先ベクトルにより示される座標（x2,y2）に貼り付けられる。このとき、画素単位での移動と貼り付けが行われるようにしてもよいし、ブロック単位での移動と貼り付けが行われるようにしてもよい。
【０１２５】
画素補完部２３３は、画素プロット部２３２により画素を貼り付けることができない位置の画素を補完する。画素補完部２３３は、例えば、実際のカメラの画像において、前景に隠れていた背景の部分が、補完カメラの画像では前景に隠れないようになった場合、その背景の画素を補完する。この場合、例えば、背景を構成する近隣の画素を用いて補完される。
【０１２６】
図１６は、図１４の視点画像生成部２０３の詳細な構成例を示すブロック図である。同図に示されるように視点画像生成部２０３は、画素取得部２５１、および画像合成部２５２により構成されている。
【０１２７】
画素取得部２５１は、例えば、ユーザにより入力された視点の位置を特定し、その位置において撮影された画像の画素を、カメラ面の画像の画素の中から選択する。画素取得部２５１は、カメラ選択部２６１と画素選択部２６２とを有する構成とされている。
【０１２８】
画素取得部２５１は、例えば、図１０の視点Ｐ１や視点Ｐ２などのように、ユーザにより入力された視点の位置を特定する。そして、画素取得部２５１は、上述したように、視点Ｐ１や視点Ｐ２にバーチャルカメラを配置して画像を撮影することで、視点Ｐ１や視点Ｐ２からみた画像を得るために、カメラ面のカメラと画素を選択して取得する。
【０１２９】
カメラ選択部２６１は、バーチャルカメラの画素と焦点を結ぶ直線Ｌｖをカメラ面まで延長し、実際のカメラまたは補完カメラのうち、直線Ｌｖとカメラ面との交点に一番近いカメラを選択する。
【０１３０】
画素選択部２６２は、カメラ選択部２６１により選択された実際のカメラまたは補完カメラの焦点を起点とした、直線Ｌｖと平行な半直線Ｌｗを引く。そして、半直線Ｌｗと選択された実際のカメラまたは補完カメラのフィルム面の交点に一番近い画素を、バーチャルカメラにおける当該画素として抽出（選択）する。この画素は、実際のカメラの画像または補完カメラの画像を構成する複数の画素の中の１つの画素として特定される。
【０１３１】
画素選択部２６２により選択された画素は、画像合成部２５２に供給される。なお、このとき、選択された画素がバーチャルカメラにより撮影された画像の中のどの位置の画素であるかを特定する情報も供給される。
【０１３２】
画像合成部２５２は、画素選択部２６２から供給された画素を、それぞれの位置に貼り付けることでバーチャルカメラにより撮影された画像の中の個々の画素を生成していく。
【０１３３】
このように、バーチャルカメラにより撮影された画像を構成する画素のそれぞれが、カメラ面のカメラにより撮影された画像の画素の中から選択されていく。これにより、視点Ｐ１や視点Ｐ２からみた画像が生成されるのである。
【０１３４】
次に、図１７のフローチャートを参照して、図１４の画像処理装置２００による画像提示処理の例について説明する。この処理は、例えば、ユーザにより所望の視点の画像の提示に係る指令がなされたとき実行される。
【０１３５】
ステップＳ２１において、撮像部２０１は、カメラ１乃至カメラｎによりそれぞれ画像を撮影する。これにより実際のカメラによる画像が撮影される。
【０１３６】
また、撮像部２０１は、カメラ１乃至カメラｎにより撮影された画像のデータを補完カメラ画像生成部２０２に供給する。なお、カメラ１乃至カメラｎにより撮影された画像のデータのそれぞれは、各カメラのカメラ面上での位置を特定する情報（例えば、カメラの座標位置）に対応付けられて供給される。
【０１３７】
ステップＳ２２において、補完カメラ画像生成部２０２は、図１８を参照して後述するカメラ面画像生成処理を実行する。このとき、カメラ１乃至カメラｎにより撮影された画像のデータに基づいて、補完カメラの画像が、例えば、図７や図８を参照して上述した３点補完方式により生成される。これにより、カメラ面の各位置で撮影された画像が記録されることになる。
【０１３８】
ステップＳ２３において、視点画像生成部２０３は、例えば、ユーザの所望の視点の入力を受け付ける。このとき、例えば、図１０に示される視点Ｐ１、視点Ｐ２などの入力が受け付けられる。
【０１３９】
ステップＳ２４において、視点画像生成部２０３は、図１９を参照して後述する視点画像生成処理を実行する。これにより、ステップＳ２３で受け付けられた視点における画像が生成される。例えば、図１０に示される視点Ｐ１、視点Ｐ２などの入力を受け付け、それらの視点においてバーチャルカメラで撮影された画像を生成することで、ユーザの所望の視点の画像が生成される。
【０１４０】
ステップＳ２５において、画像提示部２０４は、ステップＳ２４の処理で生成された画像を、図示せぬディスプレイなどに提示する。これにより、ユーザは、所望の視点画像を見ることができる。
【０１４１】
このようにして、画像提示処理が実行される。
【０１４２】
次に、図１８のフローチャートを参照して、図１７のステップＳ２２のカメラ面画像生成処理の詳細な例について説明する。
【０１４３】
ステップＳ４１において、ずれ量算出部２１１は、いまから補完すべき画像を撮影する補完カメラの位置を特定する。
【０１４４】
ステップＳ４２において、ずれ量算出部２１１は、ステップＳ４１で特定された位置に応じて定まる三角形の面を特定するとともに、その三角形の頂点を構成する実際のカメラを特定する。このとき、例えば、図９のカメラＡ乃至カメラＣが特定される。
【０１４５】
ステップＳ４３において、ＡＢ間ずれ量判定部２２１−１は、上述したように、（ＡＢ間視差ベクトル）／（ＡＢベクトル）によりずれ量（ＡＢ間ずれ量）を算出する。
【０１４６】
ステップＳ４４において、ＢＣ間ずれ量判定部２２１−２は、上述したように、（ＢＣ間視差ベクトル）／（ＢＣベクトル）によりずれ量（ＢＣ間ずれ量）を算出する。
【０１４７】
ステップＳ４５において、ＡＣ間ずれ量判定部２２１−３は、上述したように、（ＡＣ間視差ベクトル）／（ＡＣベクトル）によりずれ量（ＡＣ間ずれ量）を算出する。
【０１４８】
ステップＳ４６において、結果照合部２２２は、ずれ量を決定する。例えば、ステップＳ４３乃至ステップＳ４５の処理で得られたそれぞれのずれ量の中央値が算出されてずれ量が決定される。あるいはまた、３種類のずれ量のうち、値が近い２つが選択され、その中央値が算出されるようにしてもよい。
【０１４９】
このずれ量は、ずれ量出力部２２３により画素生成部２１２に出力される。
【０１５０】
ステップＳ４７において、移動先計算部２３１は、移動先ベクトルを特定する。このとき、例えば、補完カメラが図９のカメラＫである場合、カメラＡおよびカメラＫのそれぞれのレンズの中心点を結ぶＡＫベクトルが特定される。そして、移動先計算部２３１は、例えば、ＡＫベクトルに、ずれ量出力部２２３から出力されたずれ量を乗じて得られたベクトルを移動先ベクトルとして特定する。
【０１５１】
ステップＳ４８において、画素プロット部２３２は、ステップＳ４７で特定された移動先ベクトルに基づいて画素を貼り付ける。このとき、例えば、実際のカメラにより撮影された画像の中の所定の画素数により構成されるブロックが抽出され、そのブロックを構成する画素が、補完カメラの画像の所定の位置に貼り付けられる。
【０１５２】
例えば、補完カメラが図９のカメラＫである場合、画像１０１のサッカーボール上の１点である座標（x1,y1）の画素が、座標（x1,y1）を起点とした移動先ベクトルにより示される座標（x2,y2）に貼り付けられる。なお、画素単位での移動と貼り付けが行われるようにしてもよいし、ブロック単位での移動と貼り付けが行われるようにしてもよい。
【０１５３】
ステップＳ４９において、画素補完部２３３は、画素プロット部２３２により画素を貼り付けることができない位置の画素を補完する。画素補完部２３３は、例えば、実際のカメラの画像において、前景に隠れていた背景の部分が、補完カメラの画像では前景に隠れないようになった場合、その背景の画素を補完する。この場合、例えば、背景を構成する近隣の画素を用いて補完される。
【０１５４】
ステップＳ５０において、次の補完カメラがあるか否かが判定される。例えば、カメラ面において、補完カメラを配置すべき部分が残っている場合、次の補完カメラがあると判定される。
【０１５５】
ステップＳ５０において、次の補完カメラがあると判定された場合、処理は、ステップＳ４１に戻り、それ以降の処理が繰り返し実行される。
【０１５６】
ステップＳ５０において、次の補完カメラがないと判定された場合、処理は、ステップＳ５１に進む。
【０１５７】
ステップＳ５１において、補完カメラ画像生成部２０２は、カメラ面の画像を記録する。これにより、実際のカメラにより撮影された画像、補完カメラにより撮影された画像が、それぞれのカメラの位置に対応付けられて記録される。
【０１５８】
このようにして、カメラ面画像生成処理が実行される。
【０１５９】
次に、図１７のステップＳ２４の視点画像生成処理の詳細な例について図１９のフローチャートを参照して説明する。
【０１６０】
ステップＳ７１において、画素取得部２５１は、バーチャルカメラの画素を特定する。上述したように、画素取得部２５１は、視点Ｐ１や視点Ｐ２にバーチャルカメラを配置して画像を撮影することで、視点Ｐ１や視点Ｐ２からみた画像を得るようにする。ステップＳ７１では、バーチャルカメラにより撮影される画像を構成する画素のうち、処理対象となる画素が特定される。
【０１６１】
ステップＳ７２において、カメラ選択部２６１は、カメラ面のカメラを選択する。このとき、例えば、ステップＳ７１で特定されたバーチャルカメラの画素と焦点を結ぶ直線Ｌｖをカメラ面まで延長し、実際のカメラまたは補完カメラのうち、直線Ｌｖとカメラ面との交点に一番近いカメラが選択される。
【０１６２】
ステップＳ７３において、画素選択部２６２は、利用する画素を選択する。このとき、例えば、ステップＳ７２の処理で選択された実際のカメラまたは補完カメラの焦点を起点とした、直線Ｌｖと平行な半直線Ｌｗが引かれる。そして、半直線Ｌｗと選択された実際のカメラまたは補完カメラのフィルム面の交点に一番近い画素が、ステップＳ７１で特定されたバーチャルカメラの画素に利用する画素として選択される。
【０１６３】
ここで、画素選択部２６２により選択された画素は、画像合成部２５２に供給される。
【０１６４】
ステップＳ７４において、画像合成部２５２は、ステップＳ７３の処理で選択された画素を、ステップＳ７１の処理で特定された画素の位置に貼り付ける。
【０１６５】
ステップＳ７５において、次の画素があるか否かが判定される。まだ、バーチャルカメラの全ての画素が貼り付けられていない場合、ステップＳ７５では、次の画素があると判定される。
【０１６６】
ステップＳ７５において、次の画素があると判定された場合、処理は、ステップＳ７１に戻り、それ以降の処理が繰り返し実行される。
【０１６７】
ステップＳ７５において、次の画素がないと判定された場合、処理は終了する。
【０１６８】
このようにして、視点画像生成処理が実行される。
【０１６９】
従来より、複数カメラによって撮影された映像により被写体の３次元形状を推定し、そこにテクスチャを貼り付けてコンピュータグラフィクスとして任意の視点から見た映像を再構成する技術が提案されている。しかしながら、ステレオマッチングによる３次元の被写体モデルを推定する方式は、人間の頭髪など、モデル化が難しい部分で失敗する可能性がある。このようにモデル化が失敗すると、映像としても大きく破綻するという問題があった。また、テクスチャの貼り付けなどに係る処理負荷は大きく、処理の簡素化が期待される。
【０１７０】
さらに、従来よりスタジアムを取り囲むようにカメラを配置し、リプレイしたいシーンにおいて、視点を自由に切り替えて提示することも提案されているが、実際に面白味のある映像を提供するためには、コストがかかるという問題があった。
【０１７１】
これに対して、本技術によれば、上述したように、カメラ面画像の生成が行われ、視点画像の生成が行われるようにしたので、限られた台数のカメラを配置するだけで、多視点の画像の生成を行うことができる。また、コンピュータグラフィクスなどを用いる必要もないので、リアルで迫力のある視点画像を提供することができるとともに、処理負荷を軽減することも可能となる。
【０１７２】
従って、本技術によれば、低コストで、より広範囲の空間の多数の視点から見た画像を提供することができる。
【０１７３】
なお、以上において、図１５の画素プロット部２３２により、実際のカメラにより撮影された画像の中の所定の画素数により構成されるブロックが抽出され、移動と貼り付けが行われると説明した。この際、抽出されるブロックは、例えば、所定の画素を中心とした９×９の画素で構成されるブロックのようにしてもよいし、画素の色をクラスタリングし、同一クラスの画素で構成されるブロックのようにしてもよい。
【０１７４】
例えば、Ｋ−ｍｅａｎｓ法により、１枚の画像の全画素を、画素の色に基づいてクラス分けする。その結果得られた各クラスに属する画素群が、画素プロット部２３２によりブロックとして抽出され、上述したように移動と貼り付けが行われるようにしてもよい。
【０１７５】
このようにすることで、より効率的かつ適切に画素の移動と貼り付けを行うことができ、より完成度の高い補完カメラの画像を、より高速に生成することが可能となる。
【０１７６】
また、以上においては、本技術を、例えば、図１４に示される画像処理装置２００に適用する例について説明した。すなわち、撮像部２０１で撮影された画像に基づいて補完カメラの画像を生成する補完カメラ画像生成部２０２と、バーチャルカメラにより撮影された所望の視点の画像を生成する視点画像生成部２０３とを有する画像処理装置２００に本技術を適用するものとして説明した。
【０１７７】
しかしながら、例えば、図２０に示されるように、撮像部２０１で撮影された画像に基づいて補完カメラの画像を生成する補完カメラ画像生成部２０２によって構成される補完画像生成装置３００をもって本技術の実施の形態とすることも可能である。すなわち、上述したカメラ面の画像の生成は、多視点の画像の生成、３Ｄ画像の生成などにおいて有益な技術である。
【０１７８】
また、上述したように、本技術においては、３点補完方式を採用したことにより、例えば、水平方向の補完を完了させた後、垂直方向の補完のための演算を行うなどする必要がなく、演算量、処理負荷、処理時間を抑制することができる。さらに、３点補完方式は、４点補完方式の場合と異なり、誤差などのエラーなどが発生した場合、そのエラーが伝搬されるなどの問題もなく、ロバスト性に富んでいる。このように、本技術は、従来にはなかった方式でカメラ面の画像の生成を行うことを可能としている。
【０１７９】
なお、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図２１に示されるような汎用のパーソナルコンピュータ７００などに、ネットワークや記録媒体からインストールされる。
【０１８０】
図２１において、ＣＰＵ（Central Processing Unit）７０１は、ＲＯＭ（Read Only Memory）７０２に記憶されているプログラム、または記憶部７０８からＲＡＭ（Random Access Memory）７０３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ７０３にはまた、ＣＰＵ７０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１８１】
ＣＰＵ７０１、ＲＯＭ７０２、およびＲＡＭ７０３は、バス７０４を介して相互に接続されている。このバス７０４にはまた、入出力インタフェース７０５も接続されている。
【０１８２】
入出力インタフェース７０５には、キーボード、マウスなどよりなる入力部７０６、ＬＣＤ(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部７０７、ハードディスクなどより構成される記憶部７０８、モデム、ＬＡＮカードなどのネットワークインタフェースカードなどより構成される通信部７０９が接続されている。通信部７０９は、インターネットを含むネットワークを介しての通信処理を行う。
【０１８３】
入出力インタフェース７０５にはまた、必要に応じてドライブ７１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部７０８にインストールされる。
【０１８４】
上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、インターネットなどのネットワークや、リムーバブルメディア７１１などからなる記録媒体からインストールされる。
【０１８５】
なお、この記録媒体は、図２１に示される、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フロッピディスク（登録商標）を含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア７１１により構成されるものだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているＲＯＭ７０２や、記憶部７０８に含まれるハードディスクなどで構成されるものも含む。
【０１８６】
なお、本明細書において上述した一連の処理は、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１８７】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１８８】
なお、本技術は以下のような構成も取ることができる。
【０１８９】
（１）複数のカメラにより被写体の画像を撮影する撮影部と、
前記撮影された画像に基づいて、前記複数のカメラの全部または一部の位置を結んだ複数の線分により構成される面内の任意の位置において撮影された画像を補完する画像補完部と、
前記複数のカメラにより撮影された画像および前記補完された画像により構成されるカメラ面画像に基づいて、前記複数のカメラのそれぞれに共通する撮影範囲内の任意の点から撮影された被写体の画像を生成する任意点画像生成部と
を備える画像処理装置。
（２）前記画像補完部は、
前記複数のカメラのうちの３台を頂点とした三角形の面内の任意の位置において撮影された画像を補完する
（１）に記載の画像処理装置。
（３）前記画像補完部は、
前記複数のカメラのうちの３台を特定し、
前記３台のカメラのうちの２台の組み合わせを３通り設定し、
前記３通りの組み合わせの中の第１番目の組み合わせにおいて、それぞれのカメラで撮影された画像の視差に基づいて、第１のずれ量を算出し、
前記３通りの組み合わせの中の第２番目の組み合わせにおいて、それぞれのカメラで撮影された画像の視差に基づいて、第２のずれ量を算出し、
前記３通りの組み合わせの中の第３番目の組み合わせにおいて、それぞれのカメラで撮影された画像の視差に基づいて、第３のずれ量を算出し、
前記第１乃至第３のずれ量に基づいて、最も確からしいずれ量を決定し、
前記補完される画像が撮影される位置および前記３台のカメラのいずれか１台の位置、並びに前記ずれ量に基づいて移動先ベクトルを特定し、
前記移動先ベクトルに基づいて、前記３台のカメラのいずれか１台により撮影された画像の画素を移動させて貼り付けることにより前記画像を補完する
（１）または（２）に記載の画像処理装置。
（４）前記画像補完部は、
複数のカメラにより撮影された画像の領域を、前記画像を構成する画素の色に基づいてクラス分けして、同一のクラスに属する画素の領域を単位領域とし、
前記単位領域毎に画素を移動させて貼り付けることにより前記画像を補完する
（１）乃至（３）のいずれかに記載の画像処理装置。
（５）任意点画像生成部は、
前記複数のカメラのそれぞれに共通する撮影範囲内の任意の点に仮想的なカメラであるバーチャルカメラを配置し、
前記バーチャルカメラの焦点とフィルム面を通る直線に基づいて、前記カメラ面画像の中から適当な画像を選択し、
前記選択された画像を撮影したカメラの焦点とフィルム面を通る直線、および前記バーチャルカメラの焦点とフィルム面を通る直線に基づいて、前記選択された画像の中から適当な画素を選択し、
前記選択された画素により前記バーチャルカメラで撮影された画像を構成することで、前記任意の点から撮影された被写体の画像を生成する
（１）乃至（４）のいずれかに記載の画像処理装置。
（６）前記撮影部は、
前記複数のカメラのうち、２台のカメラのレンズに入射する光の光軸の交点を特定し、
前記交点を焦点とするように、他のカメラの向きを移動させる
（１）乃至（５）のいずれかに記載の画像処理装置。
（７）撮影部が、複数のカメラにより被写体の画像を撮影し、
画像補完部が、前記撮影された画像に基づいて、前記複数のカメラの全部または一部の位置を結んだ複数の線分により構成される面内の任意の位置において撮影された画像を補完し、
任意点画像生成部が、前記複数のカメラにより撮影された画像および前記補完された画像により構成されるカメラ面画像に基づいて、前記複数のカメラのそれぞれに共通する撮影範囲内の任意の点から撮影された被写体の画像を生成するステップ
を含む画像処理装置。
（８）コンピュータを、
複数のカメラにより被写体の画像を撮影する撮影部と、
前記撮影された画像に基づいて、前記複数のカメラの全部または一部の位置を結んだ複数の線分により構成される面内の任意の位置において撮影された画像を補完する画像補完部と、
前記複数のカメラにより撮影された画像および前記補完された画像により構成されるカメラ面画像に基づいて、前記複数のカメラのそれぞれに共通する撮影範囲内の任意の点から撮影された被写体の画像を生成する任意点画像生成部とを備える画像処理装置として機能させる
プログラム。
（９）（８）に記載のプログラムが記録されている記録媒体。
（１０）複数のカメラにより被写体の画像を撮影する撮影部と、
前記撮影された画像に基づいて、前記複数のカメラの全部または一部の位置を結んだ複数の線分により構成される面内の任意の位置において撮影された画像を補完する画像補完部とを備え、
前記画像補完部は、
前記複数のカメラのうちの３台を特定し、
前記３台のカメラのうちの２台の組み合わせを３通り設定し、
前記３通りの組み合わせの中の第１番目の組み合わせにおいて、それぞれのカメラで撮影された画像の視差に基づいて、第１のずれ量を算出し、
前記３通りの組み合わせの中の第２番目の組み合わせにおいて、それぞれのカメラで撮影された画像の視差に基づいて、第２のずれ量を算出し、
前記３通りの組み合わせの中の第３番目の組み合わせにおいて、それぞれのカメラで撮影された画像の視差に基づいて、第３のずれ量を算出し、
前記第１乃至第３のずれ量に基づいて、最も確からしいずれ量を決定し、
前記補完される画像が撮影される位置および前記３台のカメラのいずれか１台の位置、並びに前記ずれ量に基づいて移動先ベクトルを特定し、
前記移動先ベクトルに基づいて、前記３台のカメラのいずれか１台により撮影された画像の画素を移動させて貼り付けることにより前記画像を補完する
補完画像生成装置。
（１１）前記画像補完部は、
複数のカメラにより撮影された画像の領域を、前記画像を構成する画素の色に基づいてクラス分けして、同一のクラスに属する画素の領域を単位領域とし、
前記単位領域毎に画素を移動させて貼り付けることにより前記画像を補完する
（１０）に記載の補完画像生成装置。
（１２）撮影部が、複数のカメラにより被写体の画像を撮影し、
画像補完部が、前記撮影された画像に基づいて、前記複数のカメラの全部または一部の位置を結んだ複数の線分により構成される面内の任意の位置において撮影された画像を補完するステップを含み、
前記複数のカメラのうちの３台が特定され、
前記３台のカメラのうちの２台の組み合わせが３通り設定され、
前記３通りの組み合わせの中の第１番目の組み合わせにおいて、それぞれのカメラで撮影された画像の視差に基づいて、第１のずれ量が算出され、
前記３通りの組み合わせの中の第２番目の組み合わせにおいて、それぞれのカメラで撮影された画像の視差に基づいて、第２のずれ量が算出され、
前記３通りの組み合わせの中の第３番目の組み合わせにおいて、それぞれのカメラで撮影された画像の視差に基づいて、第３のずれ量が算出され、
前記第１乃至第３のずれ量に基づいて、最も確からしいずれ量が決定され、
前記補完される画像が撮影される位置および前記３台のカメラのいずれか１台の位置、並びに前記ずれ量に基づいて移動先ベクトルが特定され、
前記移動先ベクトルに基づいて、前記３台のカメラのいずれか１台により撮影された画像の画素を移動させて貼り付けることにより前記画像が補完される
補完画像生成方法。
（１３）コンピュータを、
複数のカメラにより被写体の画像を撮影する撮影部と、
前記撮影された画像に基づいて、前記複数のカメラの全部または一部の位置を結んだ複数の線分により構成される面内の任意の位置において撮影された画像を補完する画像補完部とを備え、
前記画像補完部は、
前記複数のカメラのうちの３台を特定し、
前記３台のカメラのうちの２台の組み合わせを３通り設定し、
前記３通りの組み合わせの中の第１番目の組み合わせにおいて、それぞれのカメラで撮影された画像の視差に基づいて、第１のずれ量を算出し、
前記３通りの組み合わせの中の第２番目の組み合わせにおいて、それぞれのカメラで撮影された画像の視差に基づいて、第２のずれ量を算出し、
前記３通りの組み合わせの中の第３番目の組み合わせにおいて、それぞれのカメラで撮影された画像の視差に基づいて、第３のずれ量を算出し、
前記第１乃至第３のずれ量に基づいて、最も確からしいずれ量を決定し、
前記補完される画像が撮影される位置および前記３台のカメラのいずれか１台の位置、並びに前記ずれ量に基づいて移動先ベクトルを特定し、
前記移動先ベクトルに基づいて、前記３台のカメラのいずれか１台により撮影された画像の画素を移動させて貼り付けることにより前記画像を補完する補完画像生成装置として機能させる
プログラム。
（１４）
（１３）に記載のプログラムが記録されている記録媒体。
【符号の説明】
【０１９０】
２００ 画像処理装置， ２０１ 撮像部， ２０２ 補完カメラ画像生成部， ２０３ 視点画像生成部， ２０４ 画像提示部， ２２１−１ ＡＢ間ずれ量判定部， ２２１−２ ＢＣ間ずれ量判定部， ２２１ ずれ量算出部， ２１２ 画素生成部， ２２１−３ ＡＣ間ずれ量判定部， ２２２ 結果照合部， ２２３ ずれ量出力部， ２３１ 移動先計算部， ２３２ 画素プロット部， ２３３ 画素補完部， ２５１ 画素取得部， ２５２ 画像合成部， ２６１ カメラ選択部， ２６２ 画素選択部， ３００ 補完画像生成装置
【技術分野】
【０００１】
本技術は、画像処理装置および方法、補完画像生成装置および方法、プログラム、並びに記録媒体に関し、特に、低コストで、より広範囲の空間の多数の視点から見た画像を提供することができるようにする画像処理装置および方法、補完画像生成装置および方法、プログラム、並びに記録媒体に関する。
【背景技術】
【０００２】
従来の、ＣＲＴ(Cathod Ray Tube)や液晶パネル、プロジェクタなどを利用したディスプレイにおいては、例えば、ビデオカメラ（以下、適宜、単に、カメラともいう）で撮像された画像が表示される。しかし、その画像は、例えば、カメラの位置を視点として見たものにすぎなかった。
【０００３】
従って、ユーザが、例えば、頭部を移動して、ディスプレイに表示された画像を見るときの視点を変えても、ディスプレイに表示される画像は、カメラのレンズ中心（以下、適宜、カメラの視点ともいう）から見た画像のままである。
【０００４】
そこで、出願人は、ＣＧなどではない実写の画像であっても、容易に、ユーザの視点に応じて変化させることができるようにする技術を提案した（例えば、特許文献１参照）。特許文献１の技術によれば、ユーザの視点の変化に応じて、ディスプレイに表示される画像を変化させるようにすることができる。
【０００５】
また、複数カメラによって撮影された映像により被写体の３次元形状を推定し、そこにテクスチャを貼り付けてコンピュータグラフィクスとして任意の視点から見た映像を再構成する技術も提案されている（例えば、非特許文献１参照）。
【０００６】
さらに、スーパーボウル(アメリカンフットボール)が開催されたスタジアムにおいて、フィールドを取り囲むようにカメラを配置し、リプレイしたいシーンにおいて、視点を自由に切り替えて提示することも提案されている（例えば、非特許文献２参照）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特許第４２１１２９２号公報
【非特許文献】
【０００８】
【非特許文献１】T.Kanade and P.J.NarayananP.W.Rander. Virtualized Reality: Constructing Virtual Worlds from Real Scenes. IEEE Multimedia, Vol.4, No.1, pp.34-47, 1997.
【非特許文献２】I.Kitahara, H.Saito, S.Akimichi, T.Ono, Y.Ohta and T.Kanade. Large-scale Virtualized Reality. IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR2001), 2001.
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、非特許文献１の技術のように、ステレオマッチングによる３次元の被写体モデルを推定する方式は、人間の頭髪など、モデル化が難しい部分で失敗する可能性がある。このようにモデル化が失敗すると、映像としても大きく破綻するという問題があった。
【００１０】
また、テクスチャの貼り付けなどに係る処理負荷は大きく、処理の簡素化が期待される。
【００１１】
さらに、非特許文献２の技術の場合、視点を切り替えることができるのは、実際にカメラが配置されている場所のみであり、実際に面白味のある映像を提供するためには、コストがかかるという問題があった。
【００１２】
本技術はこのような状況に鑑みてなされたものであり、低コストで、より広範囲の空間の多数の視点から見た画像を提供することができるようにするものである。
【課題を解決するための手段】
【００１３】
本技術の第１の側面は、複数のカメラにより被写体の画像を撮影する撮影部と、前記撮影された画像に基づいて、前記複数のカメラの全部または一部の位置を結んだ複数の線分により構成される面内の任意の位置において撮影された画像を補完する画像補完部と、前記複数のカメラにより撮影された画像および前記補完された画像により構成されるカメラ面画像に基づいて、前記複数のカメラのそれぞれに共通する撮影範囲内の任意の点から撮影された被写体の画像を生成する任意点画像生成部とを備える画像処理装置である。
【００１４】
前記画像補完部は、前記複数のカメラのうちの３台を頂点とした三角形の面内の任意の位置において撮影された画像を補完するようにすることができる。
【００１５】
前記画像補完部は、前記複数のカメラのうちの３台を特定し、前記３台のカメラのうちの２台の組み合わせを３通り設定し、前記３通りの組み合わせの中の第１番目の組み合わせにおいて、それぞれのカメラで撮影された画像の視差に基づいて、第１のずれ量を算出し、前記３通りの組み合わせの中の第２番目の組み合わせにおいて、それぞれのカメラで撮影された画像の視差に基づいて、第２のずれ量を算出し、前記３通りの組み合わせの中の第３番目の組み合わせにおいて、それぞれのカメラで撮影された画像の視差に基づいて、第３のずれ量を算出し、前記第１乃至第３のずれ量に基づいて、最も確からしいずれ量を決定し、前記補完される画像が撮影される位置および前記３台のカメラのいずれか１台の位置、並びに前記ずれ量に基づいて移動先ベクトルを特定し、前記移動先ベクトルに基づいて、前記３台のカメラのいずれか１台により撮影された画像の画素を移動させて貼り付けることにより前記画像を補完するようにすることができる。
【００１６】
前記画像補完部は、複数のカメラにより撮影された画像の領域を、前記画像を構成する画素の色に基づいてクラス分けして、同一のクラスに属する画素の領域を単位領域とし、前記単位領域毎に画素を移動させて貼り付けることにより前記画像を補完するようにすることができる。
【００１７】
任意点画像生成部は、前記複数のカメラのそれぞれに共通する撮影範囲内の任意の点に仮想的なカメラであるバーチャルカメラを配置し、前記バーチャルカメラの焦点とフィルム面を通る直線に基づいて、前記カメラ面画像の中から適当な画像を選択し、前記選択された画像を撮影したカメラの焦点とフィルム面を通る直線、および前記バーチャルカメラの焦点とフィルム面を通る直線に基づいて、前記選択された画像の中から適当な画素を選択し、前記選択された画素により前記バーチャルカメラで撮影された画像を構成することで、前記任意の点から撮影された被写体の画像を生成するようにすることができる。
【００１８】
前記撮影部は、前記複数のカメラのうち、２台のカメラのレンズに入射する光の光軸の交点を特定し、前記交点を焦点とするように、他のカメラの向きを移動させるようにすることができる。
【００１９】
本技術の第１の側面は、撮影部が、複数のカメラにより被写体の画像を撮影し、画像補完部が、前記撮影された画像に基づいて、前記複数のカメラの全部または一部の位置を結んだ複数の線分により構成される面内の任意の位置において撮影された画像を補完し、任意点画像生成部が、前記複数のカメラにより撮影された画像および前記補完された画像により構成されるカメラ面画像に基づいて、前記複数のカメラのそれぞれに共通する撮影範囲内の任意の点から撮影された被写体の画像を生成するステップを含む画像処理装置である。
【００２０】
本技術の第１の側面は、コンピュータを、複数のカメラにより被写体の画像を撮影する撮影部と、前記撮影された画像に基づいて、前記複数のカメラの全部または一部の位置を結んだ複数の線分により構成される面内の任意の位置において撮影された画像を補完する画像補完部と、前記複数のカメラにより撮影された画像および前記補完された画像により構成されるカメラ面画像に基づいて、前記複数のカメラのそれぞれに共通する撮影範囲内の任意の点から撮影された被写体の画像を生成する任意点画像生成部とを備える画像処理装置として機能させるプログラムである。
【００２１】
本技術の第１の側面においては、複数のカメラにより被写体の画像が撮影され、前記撮影された画像に基づいて、前記複数のカメラの全部または一部の位置を結んだ複数の線分により構成される面内の任意の位置において撮影された画像が補完され、前記複数のカメラにより撮影された画像および前記補完された画像により構成されるカメラ面画像に基づいて、前記複数のカメラのそれぞれに共通する撮影範囲内の任意の点から撮影された被写体の画像が生成される。
【００２２】
本技術の第２の側面は、複数のカメラにより被写体の画像を撮影する撮影部と、前記撮影された画像に基づいて、前記複数のカメラの全部または一部の位置を結んだ複数の線分により構成される面内の任意の位置において撮影された画像を補完する画像補完部とを備え、前記画像補完部は、前記複数のカメラのうちの３台を特定し、前記３台のカメラのうちの２台の組み合わせを３通り設定し、前記３通りの組み合わせの中の第１番目の組み合わせにおいて、それぞれのカメラで撮影された画像の視差に基づいて、第１のずれ量を算出し、前記３通りの組み合わせの中の第２番目の組み合わせにおいて、それぞれのカメラで撮影された画像の視差に基づいて、第２のずれ量を算出し、前記３通りの組み合わせの中の第３番目の組み合わせにおいて、それぞれのカメラで撮影された画像の視差に基づいて、第３のずれ量を算出し、前記第１乃至第３のずれ量に基づいて、最も確からしいずれ量を決定し、前記補完される画像が撮影される位置および前記３台のカメラのいずれか１台の位置、並びに前記ずれ量に基づいて移動先ベクトルを特定し、前記移動先ベクトルに基づいて、前記３台のカメラのいずれか１台により撮影された画像の画素を移動させて貼り付けることにより前記画像を補完する補完画像生成装置である。
【００２３】
前記画像補完部は、複数のカメラにより撮影された画像の領域を、前記画像を構成する画素の色に基づいてクラス分けして、同一のクラスに属する画素の領域を単位領域とし、前記単位領域毎に画素を移動させて貼り付けることにより前記画像を補完するようにすることができる。
【００２４】
本技術の第２の側面は、撮影部が、複数のカメラにより被写体の画像を撮影し、画像補完部が、前記撮影された画像に基づいて、前記複数のカメラの全部または一部の位置を結んだ複数の線分により構成される面内の任意の位置において撮影された画像を補完するステップを含み、前記複数のカメラのうちの３台が特定され、前記３台のカメラのうちの２台の組み合わせが３通り設定され、前記３通りの組み合わせの中の第１番目の組み合わせにおいて、それぞれのカメラで撮影された画像の視差に基づいて、第１のずれ量が算出され、前記３通りの組み合わせの中の第２番目の組み合わせにおいて、それぞれのカメラで撮影された画像の視差に基づいて、第２のずれ量が算出され、前記３通りの組み合わせの中の第３番目の組み合わせにおいて、それぞれのカメラで撮影された画像の視差に基づいて、第３のずれ量が算出され、前記第１乃至第３のずれ量に基づいて、最も確からしいずれ量が決定され、前記補完される画像が撮影される位置および前記３台のカメラのいずれか１台の位置、並びに前記ずれ量に基づいて移動先ベクトルが特定され、前記移動先ベクトルに基づいて、前記３台のカメラのいずれか１台により撮影された画像の画素を移動させて貼り付けることにより前記画像が補完される補完画像生成方法である。
【００２５】
本技術の第２の側面は、コンピュータを、複数のカメラにより被写体の画像を撮影する撮影部と、前記撮影された画像に基づいて、前記複数のカメラの全部または一部の位置を結んだ複数の線分により構成される面内の任意の位置において撮影された画像を補完する画像補完部とを備え、前記画像補完部は、前記複数のカメラのうちの３台を特定し、前記３台のカメラのうちの２台の組み合わせを３通り設定し、前記３通りの組み合わせの中の第１番目の組み合わせにおいて、それぞれのカメラで撮影された画像の視差に基づいて、第１のずれ量を算出し、前記３通りの組み合わせの中の第２番目の組み合わせにおいて、それぞれのカメラで撮影された画像の視差に基づいて、第２のずれ量を算出し、前記３通りの組み合わせの中の第３番目の組み合わせにおいて、それぞれのカメラで撮影された画像の視差に基づいて、第３のずれ量を算出し、前記第１乃至第３のずれ量に基づいて、最も確からしいずれ量を決定し、前記補完される画像が撮影される位置および前記３台のカメラのいずれか１台の位置、並びに前記ずれ量に基づいて移動先ベクトルを特定し、前記移動先ベクトルに基づいて、前記３台のカメラのいずれか１台により撮影された画像の画素を移動させて貼り付けることにより前記画像を補完する補完画像生成装置として機能させるプログラムである。
【００２６】
本技術の第２の側面においては、複数のカメラにより被写体の画像が撮影され、前記撮影された画像に基づいて、前記複数のカメラの全部または一部の位置を結んだ複数の線分により構成される面内の任意の位置において撮影された画像が補完され、前記複数のカメラのうちの３台が特定され、前記３台のカメラのうちの２台の組み合わせが３通り設定され、前記３通りの組み合わせの中の第１番目の組み合わせにおいて、それぞれのカメラで撮影された画像の視差に基づいて、第１のずれ量が算出され、前記３通りの組み合わせの中の第２番目の組み合わせにおいて、それぞれのカメラで撮影された画像の視差に基づいて、第２のずれ量が算出され、前記３通りの組み合わせの中の第３番目の組み合わせにおいて、それぞれのカメラで撮影された画像の視差に基づいて、第３のずれ量が算出され、前記第１乃至第３のずれ量に基づいて、最も確からしいずれ量が決定され、前記補完される画像が撮影される位置および前記３台のカメラのいずれか１台の位置、並びに前記ずれ量に基づいて移動先ベクトルが特定され、前記移動先ベクトルに基づいて、前記３台のカメラのいずれか１台により撮影された画像の画素を移動させて貼り付けることにより前記画像が補完される。
【発明の効果】
【００２７】
本技術によれば、低コストで、より広範囲の空間の多数の視点から見た画像を提供することができる。
【図面の簡単な説明】
【００２８】
【図１】従来の画像の視点を説明する図である。
【図２】多視点ディスプレイを実現する画像表示装置の一実施の形態の構成例を示す図である。
【図３】図２の画像表示装置における多視点の画像の表示を説明する図である。
【図４】各視点における画像の生成を説明する図である。
【図５】ステレオ撮影された画像の例を示す図である。
【図６】ＥＰＩによる画像の補完の例を説明する図である。
【図７】実際のカメラの配置の例を示す図である。
【図８】実際のカメラと補完カメラの配置の例を示す図である。
【図９】３点補完方式におけるカメラの位置および画像の視差の関係を説明する図である。
【図１０】サッカースタジアムにおけるカメラ面と、各視点の画像について説明する図である。
【図１１】バーチャルカメラを配置可能な位置を説明する図である。
【図１２】バーチャルカメラの配置位置の制限を説明する図である。
【図１３】バーチャルカメラの配置位置の制限を説明する図である。
【図１４】本技術の一実施の形態に係る画像処理装置の構成例を示すブロック図である。
【図１５】図１４の補完カメラ画像生成部の詳細な構成例を示すブロック図である。
【図１６】図１３の視点画像生成部の詳細な構成例を示すブロック図である。
【図１７】画像提示処理の例を説明するフローチャートである。
【図１８】カメラ面画像生成処理の例を説明するフローチャートである。
【図１９】視点画像生成処理の例を説明するフローチャートである。
【図２０】本技術の一実施の形態に係る補完画像生成装置の構成例を示すブロック図である。
【図２１】パーソナルコンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００２９】
以下、図面を参照して、ここで開示する技術の実施の形態について説明する。
【００３０】
従来の、液晶パネル、プロジェクタなどを利用したディスプレイにおいては、例えば、ビデオカメラ（以下、適宜、単に、カメラともいう）で撮像された画像が表示されるが、その画像は、図１に示すように、カメラの位置を視点として見たものにすぎなかった。
【００３１】
従って、ユーザが、例えば、頭部を移動して、ディスプレイに表示された画像を見るときの視点を変えても、ディスプレイに表示される画像は、カメラのレンズ中心（以下、適宜、カメラの視点ともいう）から見た画像のままであり、ユーザの視点の変化に応じて、ディスプレイに表示される画像が変化することはなかった。
【００３２】
図２は、多視点ディスプレイを実現する画像表示装置の一実施の形態の構成例を示している。
【００３３】
コンピュータ１は、画像データベース２に記憶された原画像データを、中間データに変換し、中間データベース３に記憶させる。また、コンピュータ１は、位置センサとしてのレシーバ４およびトランスミッタ５を制御し、レシーバ４の出力に基づいて、ユーザの位置（さらには、必要に応じて姿勢）を検出する。
【００３４】
さらに、コンピュータ１は、ユーザの位置を、ユーザの視点の位置として設定し、中間データベース３に記憶された中間データを、そのユーザの視点から見た画像データ（以下、適宜、提示用画像データという）に変換する。そして、コンピュータ１は、提示用画像データを、ディスプレイ６に供給して表示させる。
【００３５】
画像データベース２は、後述するように、カメラ等の撮像装置で撮像された実写の画像データとしての原画像データを記憶している。中間データベース３は、コンピュータ１から供給される、原画像データを変換した中間データを記憶する。
【００３６】
レシーバ４は、ユーザに装着されており、トランスミッタ５が発生する磁界を検知し、その磁界の強度を、コンピュータ１に供給する。トランスミッタ５は、コンピュータ１の制御にしたがい、磁界を発生する。即ち、図２の実施の形態では、レシーバ４およびトランスミッタ５は、位置センサとしての磁界センサを構成しており、レシーバ４が、トランスミッタが発生する磁界の強度を計測することにより、レシーバ４の位置、ひいては、ユーザの位置が検出されるようになっている。
【００３７】
ここで、レシーバ４は、例えば、ユーザの頭部に装着される。また、ユーザが、例えば、ネクタイピンを着用していたり、または眼鏡をかけている場合には、レシーバ４は、そのネクタイピンや眼鏡のフレームに装着することができる。
【００３８】
なお、位置センサである磁界センサとしては、例えば、ポヒマス(Polhemus)社の３次元位置センサなどを採用することができる。
【００３９】
また、位置センサとしては、磁界センサの他、例えば、機械リンク式の位置計測手段（例えば、３次元ディジタイザなど）を採用することが可能である。さらに、位置センサとしては、例えば、ジョイスティックやトラックボールなどの、ユーザの位置の変化を入力することのできる手段を採用することも可能である。すなわち、ここでは、位置センサは、必ずしも実際のユーザの位置を検知する必要はなく、例えば、仮想的なユーザの位置を入力することができるものとしてもよい。
【００４０】
ディスプレイ６は、例えば、例えば、液晶パネルなどで構成され、コンピュータ１から供給される提示用画像データを表示する。なお、ディスプレイ６としては、ＣＲＴや液晶パネル以外に、例えば、プロジェクタやＨＭＤ(Head Mount Display)などを採用することが可能である。
【００４１】
図２の画像表示装置では、例えば、図３Ａに示すように、現実世界において、ユーザが、ある被写体を観察する場合と同様の提示用画像データが表示される。
【００４２】
即ち、現実世界において、ユーザが、ある被写体を観察する場合には、ユーザが、その視点を移動すると、ユーザは、その移動後の視点から見た被写体を観察することができる。具体的には、現実世界では、ユーザが、その視点を移動することによって、被写体の見える部分と見えない部分が変化する。
【００４３】
図２の画像表示装置においても、図３Ｂに示すように、ユーザが、その視点を移動した場合、その視点に応じて、ディスプレイ６に表示される提示用画像データが、現実世界においてユーザの視覚に映る被写体が表示されたものとなるようになっている。即ち、図２の画像表示装置においては、図３Ｃに示すように、ユーザが視点を移動した場合に、その視点から被写体を見た場合の提示用画像データが表示されるようになっている。
【００４４】
従って、図２の画像表示装置では、ユーザが視点を移動すると、例えば、移動前の視点からでは見えなかった被写体の部分が見える状態となった提示用画像データが表示される。すなわち、ユーザが、ディスプレイ６における提示用画像データに表示された被写体をのぞき込むように、視点を移動すると、現実世界において、その移動後の視点から被写体を見た場合に視覚に映るのと同様の提示用画像データが表示される。このことから、図２の画像表示装置は、多視点ディスプレイということができる。
【００４５】
次に、多視点の画像を生成する方式について説明する。
【００４６】
いま、被写体を囲む局面Ωを考える。視点Ｐから被写体を見たときの光線の軌跡（被写体から視点Ｐに入射する光線の軌跡）は、視点Ｐと被写体上の各点とを結ぶ直線によって表現することができる。この光線は、必ず、曲面Ωと交わる。
【００４７】
曲面Ω上の全ての視点において取得した画像を得ることができれば、視点Ｐと被写体上の各点とを結ぶ直線で表される光線に対応する画素値を得ることができる。従って、曲面Ω上の全ての視点において取得した画像を得ることができれば、それらの画像の画素値を用いて、被写体を曲面内の任意の視点から見た画像を生成することができる。
【００４８】
例えば、視点Ｐと被写体上のある点Ｒiとを結ぶ直線Ｌiに注目し、その直線Ｌiと曲面Ωとの交点をＱiと表す。ここで、曲面Ω上の任意の点を視点として、被写体を撮像した画像データが、データベースに記憶されているものとする。
【００４９】
光線は直進し、かつ減衰しないことを前提とすると、被写体上の点Ｒiから、曲面Ω上の点Ｑiに入射する光線と、視点Ｐに入射する光線とは、同一である。従って、視点Ｐから被写体を見た場合、その被写体上の点Ｒiから視点Ｐに向かう光線に対応する画素値は、被写体上の点Ｒiから曲面Ω上の点Ｑiに向かう光線に対応する画素値に一致し、この画素値は、データベースに記憶されている。
【００５０】
以上より、視点Ｐから、被写体上の点Ｒiを見たときの画素値は、曲面Ω上の点Ｑiを視点として撮像された画像データから得ることができる。
【００５１】
例えば、図４に示されるように被写体を囲む曲面Ω上にカメラＣａ１乃至カメラＣａ７が配置されていたものとする。この場合、視点Ｐ１から、被写体上の点Ｒiを見たときの画素値は、曲面Ω上の点Ｑiを視点として撮像された画像データから得ることができるので、カメラＣａ２により撮影された画像データから得ることができる。
【００５２】
一方、視点Ｐ２から、被写体上の点Ｒiを見たときの画素値は、曲面Ω上の点Ｑiを視点として撮像された画像データから得ることができるが、カメラＣａ３とカメラＣａ４の間にカメラが配置されていないので画像データを得ることができない。同様に、視点Ｐ３から、被写体上の点Ｒiを見たときの画素値は、曲面Ω上の点Ｑiを視点として撮像された画像データから得ることができるが、カメラＣａ４とカメラＣａ５の間にカメラが配置されていないので画像データを得ることができない。
【００５３】
このように、図４の形態では、視点Ｐ１から被写体上の点Ｒiを見たときの画素値を得ることはできるが、視点Ｐ２や視点Ｐ３から被写体上の点Ｒiを見たときの画素値を得ることができない。このため、多視点の画像を生成することはできるが、任意の視点の画像を生成することはできない。
【００５４】
任意の視点の画像を生成するためには、例えば、図４の曲面Ω上の全ての位置にカメラを配置することが必要であるようにも思われる。しかし、実際には、カメラＣａ１乃至カメラＣａ７により撮影された画像を用いて曲面Ω上の全ての位置から撮影した画像を補完することができる。
【００５５】
図５は、ステレオ撮影された画像の幾何的な特性を説明する図である。同図の右側の図および左側の図は、同一の被写体（ライオンの像）を、それぞれ異なる角度からカメラで撮影した画像の例を示している。
【００５６】
すなわち、図５はステレオ撮影された画像の例を示している。
【００５７】
図中の右側の画像３２は、図中の左側の画像３１を撮影したカメラの位置より右方向にカメラを移動させて被写体を撮影した画像である。この場合、画像３１と画像３２におけるカメラの位置は、被写体からの距離が同一であって、地面からの高さも同一であるものとする。
【００５８】
このように、カメラを水平右側に移動させて画像を撮影すると、撮影された画像の中の被写体の画素は水平左側に移動する。
【００５９】
例えば、画像３１の中の矩形の枠４１で示されるライオンの顔の画像を構成する画素は、画像３２において、図中左側に移動している。
【００６０】
このように、ステレオ撮影された画像においては、上述のように、カメラの移動方向と平行に画素が移動するという幾何的な特性を有している。
【００６１】
このような画像の幾何的な特性に基づいて、視点（すなわちカメラの位置）を平行移動させた画像を生成することが可能である。このようにして生成（補完）される画像は、エピポーラ平面画像（ＥＰＩ）と称される。
【００６２】
ＥＰＩによれば、例えば、２つの異なる位置に配置されたカメラの画像により、カメラをそれぞれの位置の間を水平に移動させて撮影される画像を仮想的に生成し、本来取得できなかった画像を補完することが可能となる。また、同様に、２つの異なる位置に配置されたカメラの画像により、カメラをそれぞれの位置の間を垂直に移動させて撮影される画像を仮想的に生成し、本来取得できなかった画像を補完することが可能となる。
【００６３】
例えば、図６に示されるように、位置Ａ乃至位置Ｄのそれぞれ４点に実際にカメラを配置する。位置Ａと位置Ｂは、水平方向に距離Ｌだけ離れており、垂直方向の位置は同じであるとする。また、位置Ｃと位置Ｄは、水平方向に距離Ｌだけ離れており、垂直方向の位置は同じであるとする。
【００６４】
従って、位置Ａと位置Ｂの間の位置Ａ´、位置Ａ´´、位置Ｂ´´、および位置Ｂ´にカメラを配置して撮影した場合に得られる画像は、位置Ａのカメラにより撮影された画像と位置Ｂのカメラにより撮影された画像によって補完できる。また、位置Ｃと位置Ｄの間の位置Ｃ´、位置Ｃ´´、位置Ｄ´´、および位置Ｄ´にカメラを配置して撮影した場合に得られる画像は、位置Ｃのカメラにより撮影された画像と位置Ｄのカメラにより撮影された画像によって補完できる。このようにして、ＥＰＩによる水平方向の画像の補完を行うことができる。
【００６５】
さらに、位置Ａと位置Ｃ、または、位置Ｂと位置Ｄは、それぞれ垂直方向に距離Ｌだけ離れており、水平方向の位置は同じであるとする。そうすると、位置Ａと位置Ｃの間の位置、または、位置Ｂと位置Ｄの間の位置のそれぞれについても、ＥＰＩによる垂直方向の画像の補完を行うことができる。
【００６６】
また、ＥＰＩによる水平方向の補完により得られた画像に基づいて、垂直方向の画像の補完を行うこともできる。例えば、位置Ａ´と位置Ｃ´の間の位置にカメラを配置して撮影した場合に得られる画像は、位置Ａ´のカメラにより撮影された画像と位置Ｃ´のカメラにより撮影された画像によって補完できる。同様にして、位置Ａ´´と位置Ｃ´´の間の位置にカメラを配置して撮影した場合に得られる画像、位置Ｂ´´と位置Ｄ´´の間の位置にカメラを配置して撮影した場合に得られる画像、位置Ｂ´と位置Ｄ´の間の位置にカメラを配置して撮影した場合に得られる画像のそれぞれも補完できる。
【００６７】
すなわち、正方形ＡＢＣＤの各頂点にそれぞれ配置された４つのカメラの画像を用いたＥＰＩにより、正方形ＡＢＣＤの面内の各位置から撮影された画像を補完することが可能である。つまり、例えば、図４のカメラＣａ１乃至カメラＣａ７により撮影された画像を用いて曲面Ω上の全ての位置から撮影した画像を補完することができるのである。
【００６８】
しかしながら、上述した画像の補完の方式（４点補完方式と称することにする）には、次のような問題がある。
【００６９】
例えば、４点補完方式では演算量が膨大になり、処理負荷、処理時間が増大するという問題がある。例えば、図６の例の場合、位置Ａと位置Ｂの間の水平方向の補完、および、位置Ｃと位置Ｄの間の水平方向の補完を完了させた後、垂直方向の補完のための演算を多数実行する必要がある。
【００７０】
また、例えば、４点補完方式ではロバスト性に欠けるという問題がある。すなわち、図６における位置Ａ´と位置Ｃ´の間の垂直方向の補完は、もともと、水平方向の補完により得られた位置Ａ´の画像と位置Ｃ´の画像に基づいて行われることになる。例えば、位置Ａ´の画像、または、位置Ｃ´の画像が補完される際に、誤差などのエラーなどが発生した場合、垂直方向の補完によって生成される画像のそれぞれには、そのエラーが伝搬されることになる。
【００７１】
そこで、本技術においては、次に述べるような方式を採用することにする。
【００７２】
例えば、図７に示されるようにカメラを配置する。図７中の黒い丸によりカメラの配置位置が示されており、これらのカメラにより、実際に画像が撮影されるものとされる。同図の例では、各カメラを頂点とする三角形が示されている。本技術では、三角形の頂点に配置された３つのカメラにより撮影されたそれぞれの画像に基づいて、当該三角形の面内の任意の位置に配置されたカメラで撮影された画像を補完する。
【００７３】
すなわち、例えば、図８に示されるように、実際には配置されていないカメラにより画像が撮影されるようにする。図８においては、図中の黒い丸によりカメラの配置位置が示されており、図中の白い丸により補完された画像に対応するカメラの配置位置が示されている。なお、ここでは、補完された画像に対応するカメラを補完カメラと称することにする。
【００７４】
例えば、被写体を囲むように実際のカメラを配置し、図８に示されるように補完カメラが配置された状態においては、図４を参照して上述した曲面Ω上の任意の一点で撮影された画像データを得ることができることになる。以下においては、実際のカメラと補完カメラにより形成される面（曲面）をカメラ面と称することにする。
【００７５】
三角形の頂点に配置された３つのカメラにより撮影されたそれぞれの画像に基づく当該三角形の面内の任意の位置に配置されたカメラで撮影された画像の補完は、次のようにして行うことができる。
【００７６】
例えば、図９に示されるように、三角形の頂点となる位置に実際のカメラであるカメラＡ、カメラＢ、カメラＣを配置する。同図には、カメラＡにより撮影された画像１０１、カメラＢにより撮影された画像１０２、カメラＣにより撮影された画像１０３が示されている。この例では、画像１０１乃至画像１０３のそれぞれは、サッカーボールの背景にグラウンド、校舎などが表示された画像とされている。
【００７７】
図５を参照して上述した場合と同様に、画像１０１乃至画像１０３において、サッカーボールが表示されている位置のそれぞれは、カメラＡ、カメラＢ、カメラＣの位置に応じてずれている。例えば、画像１０１において、サッカーボールは画像の右下に表示されているが、画像１０２において、サッカーボールは画像の左下に表示されている。さらに、画像１０３においては、サッカーボールは画像のほぼ中央に表示されている。
【００７８】
背景の画像を固定し、画像１０１乃至画像１０３におけるサッカーボールの画像を重ね合わせて表示すると、画像１１０のようになる。画像１１０においては、３つのサッカーボールの画像が重ねられて表示されている。３つのサッカーボールの中心点どうしを結ぶ直線が画像１０１乃至画像１０３のそれぞれの画像における視差を表すベクトルとなる。
【００７９】
すなわち、画像１１０に示される３つのサッカーボールの中心点どうしを結ぶ直線により構成される三角形の各辺がカメラ位置による視差を表す視差ベクトルになる。この三角形の１辺は、カメラＡとカメラＢとの視差を表すベクトル（ＡＢ間視差ベクトル）となり、別の１辺は、カメラＢとカメラＣとの視差を表すベクトル（ＢＣ間視差ベクトル）となり、さらに別の１辺は、カメラＡとカメラＣとの視差を表すベクトル（ＡＣ間視差ベクトル）となる。
【００８０】
一方、実際のカメラであるカメラＡ乃至カメラＣにおいて、各カメラのレンズの中心点を結ぶ直線により、各カメラの位置を表すベクトルが得られる。例えば、カメラＡおよびカメラＢのそれぞれのレンズの中心点を結ぶ直線により、カメラＡの位置からカメラＢの位置までの距離と方向を表すベクトル（ＡＢベクトル）が構成される。また、カメラＢおよびカメラＣのそれぞれのレンズの中心点を結ぶ直線により、カメラＢの位置からカメラＣの位置までの距離と方向を表すベクトル（ＢＣベクトル）が構成される。さらに、カメラＡおよびカメラＣのそれぞれのレンズの中心点を結ぶ直線により、カメラＡの位置からカメラＣの位置までの距離と方向を表すベクトル（ＡＣベクトル）が構成される。
【００８１】
そうすると、例えば、画像１０１と画像１０２における被写体（例えば、サッカーボール）のずれ量は、（ＡＢ間視差ベクトル）／（ＡＢベクトル）として算出することができる。また、画像１０２と画像１０３における被写体（例えば、サッカーボール）のずれ量は、（ＢＣ間視差ベクトル）／（ＢＣベクトル）として算出することができる。さらに、画像１０１と画像１０３における被写体（例えば、サッカーボール）のずれ量は、（ＡＣ間視差ベクトル）／（ＡＣベクトル）として算出することができる。
【００８２】
なお、上記の３種類の計算のうち、いずれの計算を行った場合も、ずれ量は同一となるはずであるが、誤差が生じる場合もある。例えば、上記の３種類の計算の結果の中央値を算出し、その値をずれ量とすることで、誤差の発生を抑制することができる。
【００８３】
例えば、図９のカメラＫにより撮影された画像における被写体の画素位置を算出する場合、カメラＡおよびカメラＫのそれぞれのレンズの中心点を結ぶＡＫベクトルに、上述のようにして得られたずれ量を乗じて得られたベクトルによって画素位置を特定することができる。つまり、画像１０１のサッカーボールの画素を、ＡＫベクトルにずれ量を乗じて得られたベクトルにより定まる位置に移動させる。
【００８４】
なお、図９においては、カメラＡ、カメラＢ、カメラＣがほぼ正三角形の頂点となる位置に配置されている例について説明したが、必ずしも正三角形とする必要はない。
【００８５】
このようにして、補完カメラの画像を生成することができる。上述したように、本技術では、三角形の面内の任意の位置で撮影された画像を補完することができ、この方式を３点補完方式と称することにする。３点補完方式は、４点補完方式の場合と異なり、例えば、水平方向の補完を完了させた後、垂直方向の補完のための演算を行うなどする必要がなく、演算量、処理負荷、処理時間を抑制することができる。また、３点補完方式は、４点補完方式の場合と異なり、誤差などのエラーなどが発生した場合、そのエラーが伝搬されるなどの問題もなく、ロバスト性に富んでいる。
【００８６】
さらに、本技術によれば、実際のカメラにより撮影された画像と補完カメラにより撮影された画像を用いて多視点の画像を生成することが可能となる。図１０は、本技術により多視点の画像を生成する例を示す図である。
【００８７】
例えば、図１０に示されるように、サッカースタジアムを囲むように実際のカメラを配置する。この例では、図中の黒い丸により実際のカメラが示されている。上述したように、実際のカメラにより撮影された画像を用いて３点補完方式により補完カメラの画像が補完され、曲面Ωにカメラ面が構成される。この際、実際のカメラの焦点は、全てスタジアム内の一点に向けられているものとする。
【００８８】
なお、図１０の例では、カメラが水平方向に一列に並べられて表現されているが、実際には図７や図８を参照して上述した３点補完方式を採用することができるように、垂直方向（紙面の奥行方向）にもカメラが並べられているものとする。
【００８９】
また、カメラ面は、実際には、図８に示されるような平面ではなく曲面であるものの、３点補完方式により補完カメラの画像が補完される際には、実際のカメラ３台により構成される三角形を個々に平面とみなすことができる。よって、図１０に示されるような曲面状のカメラ面であっても、図７や図８を参照して上述した３点補完方式を採用することができる
【００９０】
いま、プレーヤーＡに近い視点Ｐ１からみた画像と、プレーヤーＢに近い視点Ｐ２から見た画像を生成する場合を考える。この場合、視点Ｐ１または視点Ｐ２に仮想的なカメラ（バーチャルカメラ）を配置して画像を撮影することで、視点Ｐ１または視点Ｐ２からみた画像を得るようにする。
【００９１】
ここで、バーチャルカメラをピンホールカメラとし、そのピンホールカメラの内部のフィルムまたはＣＣＤにより画素が記録されていると考える。例えば、バーチャルカメラのフィルム（ＣＣＤ）面を構成する個々の画素の画素値は、バーチャルカメラの焦点（ピンホール）とフィルム面の各画素とを結んだ直線と平行な光線により定まる。つまり、バーチャルカメラの解像度に応じた個数の画素のそれぞれについて、画素と焦点とを結ぶ直線を特定していけば、各画素の画素に入射する光線を特定することができる。
【００９２】
光が減衰しないものと仮定すると、バーチャルカメラの焦点とフィルム面の各画素とを結んだ直線を曲面Ωまで延長すれば、その直線と曲面Ωの交点に、バーチャルカメラの各画素に入射した光線が入射していることになる。つまり、カメラ面（曲面Ω）上の１点で撮影された画像の画素を用いて、バーチャルカメラの画素を１つずつ構成することができる。
【００９３】
すなわち、バーチャルカメラのある画素を生成する場合、まずその画素と焦点を結ぶ直線（この直線をＬｖと称することにする）をカメラ面まで延長し、実際のカメラまたは補完カメラのうち、直線Ｌｖとカメラ面との交点に一番近いカメラを選択する。そして、選択された実際のカメラまたは補完カメラの焦点を起点とした、直線Ｌｖと平行な半直線Ｌｗを引く。なお、実際のカメラまたは補完カメラにも、焦点とフィルム（ＣＣＤ）面が存在する。
【００９４】
そして、半直線Ｌｗと選択された実際のカメラまたは補完カメラのフィルム面の交点に一番近い画素を、バーチャルカメラにおける当該画素として抽出する。この画素は、実際のカメラの画像または補完カメラの画像を構成する複数の画素の中の１つの画素として特定される。
【００９５】
このように、カメラ面のカメラにより撮影された画像の画素を個々に抽出していくことによりバーチャルカメラにより撮影された画像が生成される。これにより、視点Ｐ１や視点Ｐ２からみた画像が生成されるのである。
【００９６】
いま、水平方向のみについて考えた場合、カメラ面の最も左に配置された実際のカメラの撮影範囲内に位置し、かつカメラ面の最も右に配置された実際のカメラの撮影範囲内に位置する被写体を撮影するものであれば、任意の位置から見た画像を生成することができる。すなわち、例えば、図１１に示されるように、サッカースタジアムの周囲に配置された実際のカメラのそれぞれに共通する撮影範囲である空間ＲＣの内部であれば、バーチャルカメラを配置することが可能である。
【００９７】
例えば、サッカーの試合を中継する際に、実際のカメラによりボールを追いかけるように画像を撮影すれば、空間ＲＣはボールとともに移動することになる。その結果、例えば、ボールの周辺の様々な位置にバーチャルカメラを配置して、それらの視点からみた迫力のある画像を視聴者に提示することができる。
【００９８】
実際のカメラの台数が多い場合、カメラの台数分のカメラマンを集めることが難しい場合もある。このような場合、例えば、任意の２台のカメラのレンズの中心および焦点を通る直線が交わる点を焦点とするように、他のカメラが自動的に操作されるようにするとよい。つまり、少なくとも２台のカメラのレンズに入射する光の光軸が交差する点を求めることができれば、他のカメラはその点を焦点として追随させるようにすれば、全てのカメラでほぼ同じ場所の被写体を撮影するようにすることができるのである。
【００９９】
このようにすることで、少なくとも２人のカメラマンがカメラを操作することにより、空間ＲＣをボールとともに移動させることが可能になる。
【０１００】
また、例えば、サッカースタジアムの周囲を全て囲むように実際のカメラを配置すれば、ピッチのどの位置にもバーチャルカメラを配置することが可能である。
【０１０１】
ただし、サッカースタジアムの真上や真下に実際のカメラを配置することはできないと考えられるので、水平方向のカメラ位置は自由に選択できるものの、垂直方向のカメラ位置は制限される。
【０１０２】
例えば、図１２に示されるように、カメラ面において、垂直方向にカメラＣａ１乃至カメラＣａ５が配置されているものとする。なお、カメラＣａ１乃至カメラＣａ５は、実際のカメラであってもよいし、補完カメラであってもよい。図１２の例では、バーチャルカメラＶＣを被写体である人物の顔の高さとほぼ同等の位置に配置している。この場合、バーチャルカメラＶＣの焦点を通りフィルム面の各画素に入射する光は、全てカメラＣａ１乃至カメラＣａ５に入射している。従って、カメラ面のカメラで撮影された画像に基づいて、バーチャルカメラＶＣで撮影された画像を生成することができる。
【０１０３】
一方、例えば、図１３に示されるようにバーチャルカメラＶＣを被写体である人物の足元に配置した場合、バーチャルカメラＶＣの焦点を通りフィルム面の各画素に入射する光の一部はカメラＣａ１乃至カメラＣａ５に入射しない。図１３の場合、バーチャルカメラＶＣの上方向から入射する光は、カメラ面のカメラに入射していないので、例えば、バーチャルカメラＶＣで撮影された画像において、画面のほぼ上半分程度の画素を生成できないことになる。
【０１０４】
このように、バーチャルカメラを配置する場合、垂直方向のカメラ位置は制限される。
【０１０５】
なお、ここでは、サッカースタジアムの周囲に実際のカメラを配置する例について説明したが、例えば、コンサートホールの周囲に実際のカメラを配置するなど他の実施例も考えられる。
【０１０６】
図１４は、本技術を適用した画像処理装置の一実施の形態に係る構成例を示すブロック図である。同図に示される画像処理装置２００は、撮像部２０１、補完カメラ画像生成部２０２、視点画像生成部２０３、および画像提示部２０４により構成されている。
【０１０７】
同図において、撮像部２０１は、カメラ１乃至カメラｎを有する構成とされている。ここで、カメラ１乃至カメラｎは実際のカメラとされ、例えば、図１０の場合のように、サッカースタジアムの周囲に配置される。また、カメラ１乃至カメラｎは、図７や図８を参照して上述した３点補完方式を採用することができるように、垂直方向、水平方向に所定の距離をとって配置されるものとする。
【０１０８】
撮像部２０１は、カメラ１乃至カメラｎにより撮影された画像のデータを補完カメラ画像生成部２０２に供給する。なお、カメラ１乃至カメラｎにより撮影された画像のデータのそれぞれは、各カメラのカメラ面上での位置を特定する情報（例えば、カメラの座標位置）に対応付けられて供給される。
【０１０９】
補完カメラ画像生成部２０２は、カメラ１乃至カメラｎにより撮影された画像のデータに基づいて、補完カメラの画像を生成する。このとき、図７や図８を参照して上述した３点補完方式により補完カメラの画像が生成される。これにより、カメラ面の各位置で撮影された画像が記録されることになる。
【０１１０】
視点画像生成部２０３は、例えば、ユーザの所望の視点の入力を受け付け、当該視点における画像を生成する。視点画像生成部２０３は、例えば、図１０に示される視点Ｐ１、視点Ｐ２などの入力を受け付け、それらの視点においてバーチャルカメラで撮影された画像を生成することで、ユーザの所望の視点の画像を生成する。
【０１１１】
画像提示部２０４は、視点画像生成部２０３により生成された画像を、図示せぬディスプレイなどに提示する。これにより、ユーザは、所望の視点画像を見ることができる。
【０１１２】
なお、画像提示部２０４は、画像処理装置２００とは別の装置として設けられるようにしてもよい。
【０１１３】
図１５は、補完カメラ画像生成部２０２の詳細な構成例を示すブロック図である。同図に示されるように、補完カメラ画像生成部２０２は、ずれ量算出部２１１、および画素生成部２１２により構成されている。
【０１１４】
ずれ量算出部２１１は、ＡＢ間ずれ量判定部２２１−１、ＢＣ間ずれ量判定部２２１−２、ＡＣ間ずれ量判定部２２１−３、結果照合部２２２、およびずれ量出力部２２３により構成されている。
【０１１５】
ずれ量算出部２１１は、例えば、図９を参照して説明したようにずれ量を算出する。ずれ量算出部２１１は、いまから補完すべき画像を撮影する補完カメラの位置を特定し、その位置に応じて定まる三角形の面を特定するとともに、その三角形の頂点を構成する実際のカメラを特定する。このとき、例えば、図９のカメラＡ乃至カメラＣが特定される。
【０１１６】
ＡＢ間ずれ量判定部２２１−１、ＢＣ間ずれ量判定部２２１−２、およびＡＣ間ずれ量判定部２２１−３は、それぞれ上述した三角形の頂点を構成する実際のカメラにより撮影された画像のずれ量を判定（算出）する。ＡＢ間ずれ量判定部２２１−１、ＢＣ間ずれ量判定部２２１−２、およびＡＣ間ずれ量判定部２２１−３は、撮影部２０１から供給される実際のカメラの画像を取得し、ブロックマッチング処理を行うなどして各画像において対応する画素を特定する。例えば、図９の画像１０１と画像１０２におけるサッカーボールの画素からなるブロックが各画像において対応するブロックとして特定される。
【０１１７】
そして、ＡＢ間ずれ量判定部２２１−１、ＢＣ間ずれ量判定部２２１−２、およびＡＣ間ずれ量判定部２２１−３は、図９を参照して説明したように、各カメラ間の距離と方向を表すベクトル（ＡＢベクトル、ＢＣベクトル、ＡＣベクトル）、および各カメラ間の視差を表すベクトル（ＡＢ間視差ベクトル、ＢＣ間視差ベクトル、ＡＣ間視差ベクトル）を演算する。
【０１１８】
その後、ＡＢ間ずれ量判定部２２１−１は、（ＡＢ間視差ベクトル）／（ＡＢベクトル）によりずれ量を算出する。また、ＢＣ間ずれ量判定部２２１−２は、（ＢＣ間視差ベクトル）／（ＢＣベクトル）によりずれ量を算出し、ＡＣ間ずれ量判定部２２１−３は、（ＡＣ間視差ベクトル）／（ＡＣベクトル）によりずれ量を算出する。
【０１１９】
結果照合部２２２は、例えば、ＡＢ間ずれ量判定部２２１−１、ＢＣ間ずれ量判定部２２１−２、およびＡＣ間ずれ量判定部２２１−３によるそれぞれの計算の結果の中央値を算出する。あるいはまた、ＡＢ間ずれ量判定部２２１−１、ＢＣ間ずれ量判定部２２１−２、およびＡＣ間ずれ量判定部２２１−３の３種類の計算結果のうち、値が近い２つを選択し、その中央値が算出されるようにしてもよい。
【０１２０】
ずれ量出力部２２３は、結果照合部２２２から出力される値をずれ量として、画素生成部２１２に供給する。
【０１２１】
画素生成部２１２は、ずれ量出力部２２３により算出されたずれ量に基づいて、所定の位置の補完カメラの画像の画素を生成するようになされている。画素生成部２１２は、移動先計算部２３１、画素プロット部２３２、および画素補完部２３３により構成されている。
【０１２２】
移動先計算部２３１は、いまから補完すべき画像を撮影する補完カメラの位置と、上述した３点補完方式における三角形の頂点のいずれかを構成する実際のカメラの位置との間の距離と方向を表すベクトル特定する。このとき、例えば、補完カメラが図９のカメラＫである場合、カメラＡおよびカメラＫのそれぞれのレンズの中心点を結ぶＡＫベクトルが特定される。そして、移動先計算部２３１は、例えば、ＡＫベクトルに、ずれ量出力部２２３から出力されたずれ量を乗じて得られたベクトルを移動先ベクトルとして特定する。
【０１２３】
画素プロット部２３２は、実際のカメラにより撮影された画像の中の所定の画素数により構成されるブロックを抽出し、そのブロックを構成する画素を、補完カメラの画像の所定の位置に貼り付ける。このとき、画素プロット部２３２は、移動先計算部２３１により特定された移動先ベクトルに基づいて、補完カメラの画像の中で当該画素を貼り付ける位置を特定する。
【０１２４】
例えば、補完カメラが図９のカメラＫである場合、画像１０１のサッカーボール上の１点である座標（x1,y1）の画素が、座標（x1,y1）を起点とした移動先ベクトルにより示される座標（x2,y2）に貼り付けられる。このとき、画素単位での移動と貼り付けが行われるようにしてもよいし、ブロック単位での移動と貼り付けが行われるようにしてもよい。
【０１２５】
画素補完部２３３は、画素プロット部２３２により画素を貼り付けることができない位置の画素を補完する。画素補完部２３３は、例えば、実際のカメラの画像において、前景に隠れていた背景の部分が、補完カメラの画像では前景に隠れないようになった場合、その背景の画素を補完する。この場合、例えば、背景を構成する近隣の画素を用いて補完される。
【０１２６】
図１６は、図１４の視点画像生成部２０３の詳細な構成例を示すブロック図である。同図に示されるように視点画像生成部２０３は、画素取得部２５１、および画像合成部２５２により構成されている。
【０１２７】
画素取得部２５１は、例えば、ユーザにより入力された視点の位置を特定し、その位置において撮影された画像の画素を、カメラ面の画像の画素の中から選択する。画素取得部２５１は、カメラ選択部２６１と画素選択部２６２とを有する構成とされている。
【０１２８】
画素取得部２５１は、例えば、図１０の視点Ｐ１や視点Ｐ２などのように、ユーザにより入力された視点の位置を特定する。そして、画素取得部２５１は、上述したように、視点Ｐ１や視点Ｐ２にバーチャルカメラを配置して画像を撮影することで、視点Ｐ１や視点Ｐ２からみた画像を得るために、カメラ面のカメラと画素を選択して取得する。
【０１２９】
カメラ選択部２６１は、バーチャルカメラの画素と焦点を結ぶ直線Ｌｖをカメラ面まで延長し、実際のカメラまたは補完カメラのうち、直線Ｌｖとカメラ面との交点に一番近いカメラを選択する。
【０１３０】
画素選択部２６２は、カメラ選択部２６１により選択された実際のカメラまたは補完カメラの焦点を起点とした、直線Ｌｖと平行な半直線Ｌｗを引く。そして、半直線Ｌｗと選択された実際のカメラまたは補完カメラのフィルム面の交点に一番近い画素を、バーチャルカメラにおける当該画素として抽出（選択）する。この画素は、実際のカメラの画像または補完カメラの画像を構成する複数の画素の中の１つの画素として特定される。
【０１３１】
画素選択部２６２により選択された画素は、画像合成部２５２に供給される。なお、このとき、選択された画素がバーチャルカメラにより撮影された画像の中のどの位置の画素であるかを特定する情報も供給される。
【０１３２】
画像合成部２５２は、画素選択部２６２から供給された画素を、それぞれの位置に貼り付けることでバーチャルカメラにより撮影された画像の中の個々の画素を生成していく。
【０１３３】
このように、バーチャルカメラにより撮影された画像を構成する画素のそれぞれが、カメラ面のカメラにより撮影された画像の画素の中から選択されていく。これにより、視点Ｐ１や視点Ｐ２からみた画像が生成されるのである。
【０１３４】
次に、図１７のフローチャートを参照して、図１４の画像処理装置２００による画像提示処理の例について説明する。この処理は、例えば、ユーザにより所望の視点の画像の提示に係る指令がなされたとき実行される。
【０１３５】
ステップＳ２１において、撮像部２０１は、カメラ１乃至カメラｎによりそれぞれ画像を撮影する。これにより実際のカメラによる画像が撮影される。
【０１３６】
また、撮像部２０１は、カメラ１乃至カメラｎにより撮影された画像のデータを補完カメラ画像生成部２０２に供給する。なお、カメラ１乃至カメラｎにより撮影された画像のデータのそれぞれは、各カメラのカメラ面上での位置を特定する情報（例えば、カメラの座標位置）に対応付けられて供給される。
【０１３７】
ステップＳ２２において、補完カメラ画像生成部２０２は、図１８を参照して後述するカメラ面画像生成処理を実行する。このとき、カメラ１乃至カメラｎにより撮影された画像のデータに基づいて、補完カメラの画像が、例えば、図７や図８を参照して上述した３点補完方式により生成される。これにより、カメラ面の各位置で撮影された画像が記録されることになる。
【０１３８】
ステップＳ２３において、視点画像生成部２０３は、例えば、ユーザの所望の視点の入力を受け付ける。このとき、例えば、図１０に示される視点Ｐ１、視点Ｐ２などの入力が受け付けられる。
【０１３９】
ステップＳ２４において、視点画像生成部２０３は、図１９を参照して後述する視点画像生成処理を実行する。これにより、ステップＳ２３で受け付けられた視点における画像が生成される。例えば、図１０に示される視点Ｐ１、視点Ｐ２などの入力を受け付け、それらの視点においてバーチャルカメラで撮影された画像を生成することで、ユーザの所望の視点の画像が生成される。
【０１４０】
ステップＳ２５において、画像提示部２０４は、ステップＳ２４の処理で生成された画像を、図示せぬディスプレイなどに提示する。これにより、ユーザは、所望の視点画像を見ることができる。
【０１４１】
このようにして、画像提示処理が実行される。
【０１４２】
次に、図１８のフローチャートを参照して、図１７のステップＳ２２のカメラ面画像生成処理の詳細な例について説明する。
【０１４３】
ステップＳ４１において、ずれ量算出部２１１は、いまから補完すべき画像を撮影する補完カメラの位置を特定する。
【０１４４】
ステップＳ４２において、ずれ量算出部２１１は、ステップＳ４１で特定された位置に応じて定まる三角形の面を特定するとともに、その三角形の頂点を構成する実際のカメラを特定する。このとき、例えば、図９のカメラＡ乃至カメラＣが特定される。
【０１４５】
ステップＳ４３において、ＡＢ間ずれ量判定部２２１−１は、上述したように、（ＡＢ間視差ベクトル）／（ＡＢベクトル）によりずれ量（ＡＢ間ずれ量）を算出する。
【０１４６】
ステップＳ４４において、ＢＣ間ずれ量判定部２２１−２は、上述したように、（ＢＣ間視差ベクトル）／（ＢＣベクトル）によりずれ量（ＢＣ間ずれ量）を算出する。
【０１４７】
ステップＳ４５において、ＡＣ間ずれ量判定部２２１−３は、上述したように、（ＡＣ間視差ベクトル）／（ＡＣベクトル）によりずれ量（ＡＣ間ずれ量）を算出する。
【０１４８】
ステップＳ４６において、結果照合部２２２は、ずれ量を決定する。例えば、ステップＳ４３乃至ステップＳ４５の処理で得られたそれぞれのずれ量の中央値が算出されてずれ量が決定される。あるいはまた、３種類のずれ量のうち、値が近い２つが選択され、その中央値が算出されるようにしてもよい。
【０１４９】
このずれ量は、ずれ量出力部２２３により画素生成部２１２に出力される。
【０１５０】
ステップＳ４７において、移動先計算部２３１は、移動先ベクトルを特定する。このとき、例えば、補完カメラが図９のカメラＫである場合、カメラＡおよびカメラＫのそれぞれのレンズの中心点を結ぶＡＫベクトルが特定される。そして、移動先計算部２３１は、例えば、ＡＫベクトルに、ずれ量出力部２２３から出力されたずれ量を乗じて得られたベクトルを移動先ベクトルとして特定する。
【０１５１】
ステップＳ４８において、画素プロット部２３２は、ステップＳ４７で特定された移動先ベクトルに基づいて画素を貼り付ける。このとき、例えば、実際のカメラにより撮影された画像の中の所定の画素数により構成されるブロックが抽出され、そのブロックを構成する画素が、補完カメラの画像の所定の位置に貼り付けられる。
【０１５２】
例えば、補完カメラが図９のカメラＫである場合、画像１０１のサッカーボール上の１点である座標（x1,y1）の画素が、座標（x1,y1）を起点とした移動先ベクトルにより示される座標（x2,y2）に貼り付けられる。なお、画素単位での移動と貼り付けが行われるようにしてもよいし、ブロック単位での移動と貼り付けが行われるようにしてもよい。
【０１５３】
ステップＳ４９において、画素補完部２３３は、画素プロット部２３２により画素を貼り付けることができない位置の画素を補完する。画素補完部２３３は、例えば、実際のカメラの画像において、前景に隠れていた背景の部分が、補完カメラの画像では前景に隠れないようになった場合、その背景の画素を補完する。この場合、例えば、背景を構成する近隣の画素を用いて補完される。
【０１５４】
ステップＳ５０において、次の補完カメラがあるか否かが判定される。例えば、カメラ面において、補完カメラを配置すべき部分が残っている場合、次の補完カメラがあると判定される。
【０１５５】
ステップＳ５０において、次の補完カメラがあると判定された場合、処理は、ステップＳ４１に戻り、それ以降の処理が繰り返し実行される。
【０１５６】
ステップＳ５０において、次の補完カメラがないと判定された場合、処理は、ステップＳ５１に進む。
【０１５７】
ステップＳ５１において、補完カメラ画像生成部２０２は、カメラ面の画像を記録する。これにより、実際のカメラにより撮影された画像、補完カメラにより撮影された画像が、それぞれのカメラの位置に対応付けられて記録される。
【０１５８】
このようにして、カメラ面画像生成処理が実行される。
【０１５９】
次に、図１７のステップＳ２４の視点画像生成処理の詳細な例について図１９のフローチャートを参照して説明する。
【０１６０】
ステップＳ７１において、画素取得部２５１は、バーチャルカメラの画素を特定する。上述したように、画素取得部２５１は、視点Ｐ１や視点Ｐ２にバーチャルカメラを配置して画像を撮影することで、視点Ｐ１や視点Ｐ２からみた画像を得るようにする。ステップＳ７１では、バーチャルカメラにより撮影される画像を構成する画素のうち、処理対象となる画素が特定される。
【０１６１】
ステップＳ７２において、カメラ選択部２６１は、カメラ面のカメラを選択する。このとき、例えば、ステップＳ７１で特定されたバーチャルカメラの画素と焦点を結ぶ直線Ｌｖをカメラ面まで延長し、実際のカメラまたは補完カメラのうち、直線Ｌｖとカメラ面との交点に一番近いカメラが選択される。
【０１６２】
ステップＳ７３において、画素選択部２６２は、利用する画素を選択する。このとき、例えば、ステップＳ７２の処理で選択された実際のカメラまたは補完カメラの焦点を起点とした、直線Ｌｖと平行な半直線Ｌｗが引かれる。そして、半直線Ｌｗと選択された実際のカメラまたは補完カメラのフィルム面の交点に一番近い画素が、ステップＳ７１で特定されたバーチャルカメラの画素に利用する画素として選択される。
【０１６３】
ここで、画素選択部２６２により選択された画素は、画像合成部２５２に供給される。
【０１６４】
ステップＳ７４において、画像合成部２５２は、ステップＳ７３の処理で選択された画素を、ステップＳ７１の処理で特定された画素の位置に貼り付ける。
【０１６５】
ステップＳ７５において、次の画素があるか否かが判定される。まだ、バーチャルカメラの全ての画素が貼り付けられていない場合、ステップＳ７５では、次の画素があると判定される。
【０１６６】
ステップＳ７５において、次の画素があると判定された場合、処理は、ステップＳ７１に戻り、それ以降の処理が繰り返し実行される。
【０１６７】
ステップＳ７５において、次の画素がないと判定された場合、処理は終了する。
【０１６８】
このようにして、視点画像生成処理が実行される。
【０１６９】
従来より、複数カメラによって撮影された映像により被写体の３次元形状を推定し、そこにテクスチャを貼り付けてコンピュータグラフィクスとして任意の視点から見た映像を再構成する技術が提案されている。しかしながら、ステレオマッチングによる３次元の被写体モデルを推定する方式は、人間の頭髪など、モデル化が難しい部分で失敗する可能性がある。このようにモデル化が失敗すると、映像としても大きく破綻するという問題があった。また、テクスチャの貼り付けなどに係る処理負荷は大きく、処理の簡素化が期待される。
【０１７０】
さらに、従来よりスタジアムを取り囲むようにカメラを配置し、リプレイしたいシーンにおいて、視点を自由に切り替えて提示することも提案されているが、実際に面白味のある映像を提供するためには、コストがかかるという問題があった。
【０１７１】
これに対して、本技術によれば、上述したように、カメラ面画像の生成が行われ、視点画像の生成が行われるようにしたので、限られた台数のカメラを配置するだけで、多視点の画像の生成を行うことができる。また、コンピュータグラフィクスなどを用いる必要もないので、リアルで迫力のある視点画像を提供することができるとともに、処理負荷を軽減することも可能となる。
【０１７２】
従って、本技術によれば、低コストで、より広範囲の空間の多数の視点から見た画像を提供することができる。
【０１７３】
なお、以上において、図１５の画素プロット部２３２により、実際のカメラにより撮影された画像の中の所定の画素数により構成されるブロックが抽出され、移動と貼り付けが行われると説明した。この際、抽出されるブロックは、例えば、所定の画素を中心とした９×９の画素で構成されるブロックのようにしてもよいし、画素の色をクラスタリングし、同一クラスの画素で構成されるブロックのようにしてもよい。
【０１７４】
例えば、Ｋ−ｍｅａｎｓ法により、１枚の画像の全画素を、画素の色に基づいてクラス分けする。その結果得られた各クラスに属する画素群が、画素プロット部２３２によりブロックとして抽出され、上述したように移動と貼り付けが行われるようにしてもよい。
【０１７５】
このようにすることで、より効率的かつ適切に画素の移動と貼り付けを行うことができ、より完成度の高い補完カメラの画像を、より高速に生成することが可能となる。
【０１７６】
また、以上においては、本技術を、例えば、図１４に示される画像処理装置２００に適用する例について説明した。すなわち、撮像部２０１で撮影された画像に基づいて補完カメラの画像を生成する補完カメラ画像生成部２０２と、バーチャルカメラにより撮影された所望の視点の画像を生成する視点画像生成部２０３とを有する画像処理装置２００に本技術を適用するものとして説明した。
【０１７７】
しかしながら、例えば、図２０に示されるように、撮像部２０１で撮影された画像に基づいて補完カメラの画像を生成する補完カメラ画像生成部２０２によって構成される補完画像生成装置３００をもって本技術の実施の形態とすることも可能である。すなわち、上述したカメラ面の画像の生成は、多視点の画像の生成、３Ｄ画像の生成などにおいて有益な技術である。
【０１７８】
また、上述したように、本技術においては、３点補完方式を採用したことにより、例えば、水平方向の補完を完了させた後、垂直方向の補完のための演算を行うなどする必要がなく、演算量、処理負荷、処理時間を抑制することができる。さらに、３点補完方式は、４点補完方式の場合と異なり、誤差などのエラーなどが発生した場合、そのエラーが伝搬されるなどの問題もなく、ロバスト性に富んでいる。このように、本技術は、従来にはなかった方式でカメラ面の画像の生成を行うことを可能としている。
【０１７９】
なお、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図２１に示されるような汎用のパーソナルコンピュータ７００などに、ネットワークや記録媒体からインストールされる。
【０１８０】
図２１において、ＣＰＵ（Central Processing Unit）７０１は、ＲＯＭ（Read Only Memory）７０２に記憶されているプログラム、または記憶部７０８からＲＡＭ（Random Access Memory）７０３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ７０３にはまた、ＣＰＵ７０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１８１】
ＣＰＵ７０１、ＲＯＭ７０２、およびＲＡＭ７０３は、バス７０４を介して相互に接続されている。このバス７０４にはまた、入出力インタフェース７０５も接続されている。
【０１８２】
入出力インタフェース７０５には、キーボード、マウスなどよりなる入力部７０６、ＬＣＤ(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部７０７、ハードディスクなどより構成される記憶部７０８、モデム、ＬＡＮカードなどのネットワークインタフェースカードなどより構成される通信部７０９が接続されている。通信部７０９は、インターネットを含むネットワークを介しての通信処理を行う。
【０１８３】
入出力インタフェース７０５にはまた、必要に応じてドライブ７１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部７０８にインストールされる。
【０１８４】
上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、インターネットなどのネットワークや、リムーバブルメディア７１１などからなる記録媒体からインストールされる。
【０１８５】
なお、この記録媒体は、図２１に示される、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フロッピディスク（登録商標）を含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア７１１により構成されるものだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているＲＯＭ７０２や、記憶部７０８に含まれるハードディスクなどで構成されるものも含む。
【０１８６】
なお、本明細書において上述した一連の処理は、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１８７】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１８８】
なお、本技術は以下のような構成も取ることができる。
【０１８９】
（１）複数のカメラにより被写体の画像を撮影する撮影部と、
前記撮影された画像に基づいて、前記複数のカメラの全部または一部の位置を結んだ複数の線分により構成される面内の任意の位置において撮影された画像を補完する画像補完部と、
前記複数のカメラにより撮影された画像および前記補完された画像により構成されるカメラ面画像に基づいて、前記複数のカメラのそれぞれに共通する撮影範囲内の任意の点から撮影された被写体の画像を生成する任意点画像生成部と
を備える画像処理装置。
（２）前記画像補完部は、
前記複数のカメラのうちの３台を頂点とした三角形の面内の任意の位置において撮影された画像を補完する
（１）に記載の画像処理装置。
（３）前記画像補完部は、
前記複数のカメラのうちの３台を特定し、
前記３台のカメラのうちの２台の組み合わせを３通り設定し、
前記３通りの組み合わせの中の第１番目の組み合わせにおいて、それぞれのカメラで撮影された画像の視差に基づいて、第１のずれ量を算出し、
前記３通りの組み合わせの中の第２番目の組み合わせにおいて、それぞれのカメラで撮影された画像の視差に基づいて、第２のずれ量を算出し、
前記３通りの組み合わせの中の第３番目の組み合わせにおいて、それぞれのカメラで撮影された画像の視差に基づいて、第３のずれ量を算出し、
前記第１乃至第３のずれ量に基づいて、最も確からしいずれ量を決定し、
前記補完される画像が撮影される位置および前記３台のカメラのいずれか１台の位置、並びに前記ずれ量に基づいて移動先ベクトルを特定し、
前記移動先ベクトルに基づいて、前記３台のカメラのいずれか１台により撮影された画像の画素を移動させて貼り付けることにより前記画像を補完する
（１）または（２）に記載の画像処理装置。
（４）前記画像補完部は、
複数のカメラにより撮影された画像の領域を、前記画像を構成する画素の色に基づいてクラス分けして、同一のクラスに属する画素の領域を単位領域とし、
前記単位領域毎に画素を移動させて貼り付けることにより前記画像を補完する
（１）乃至（３）のいずれかに記載の画像処理装置。
（５）任意点画像生成部は、
前記複数のカメラのそれぞれに共通する撮影範囲内の任意の点に仮想的なカメラであるバーチャルカメラを配置し、
前記バーチャルカメラの焦点とフィルム面を通る直線に基づいて、前記カメラ面画像の中から適当な画像を選択し、
前記選択された画像を撮影したカメラの焦点とフィルム面を通る直線、および前記バーチャルカメラの焦点とフィルム面を通る直線に基づいて、前記選択された画像の中から適当な画素を選択し、
前記選択された画素により前記バーチャルカメラで撮影された画像を構成することで、前記任意の点から撮影された被写体の画像を生成する
（１）乃至（４）のいずれかに記載の画像処理装置。
（６）前記撮影部は、
前記複数のカメラのうち、２台のカメラのレンズに入射する光の光軸の交点を特定し、
前記交点を焦点とするように、他のカメラの向きを移動させる
（１）乃至（５）のいずれかに記載の画像処理装置。
（７）撮影部が、複数のカメラにより被写体の画像を撮影し、
画像補完部が、前記撮影された画像に基づいて、前記複数のカメラの全部または一部の位置を結んだ複数の線分により構成される面内の任意の位置において撮影された画像を補完し、
任意点画像生成部が、前記複数のカメラにより撮影された画像および前記補完された画像により構成されるカメラ面画像に基づいて、前記複数のカメラのそれぞれに共通する撮影範囲内の任意の点から撮影された被写体の画像を生成するステップ
を含む画像処理装置。
（８）コンピュータを、
複数のカメラにより被写体の画像を撮影する撮影部と、
前記撮影された画像に基づいて、前記複数のカメラの全部または一部の位置を結んだ複数の線分により構成される面内の任意の位置において撮影された画像を補完する画像補完部と、
前記複数のカメラにより撮影された画像および前記補完された画像により構成されるカメラ面画像に基づいて、前記複数のカメラのそれぞれに共通する撮影範囲内の任意の点から撮影された被写体の画像を生成する任意点画像生成部とを備える画像処理装置として機能させる
プログラム。
（９）（８）に記載のプログラムが記録されている記録媒体。
（１０）複数のカメラにより被写体の画像を撮影する撮影部と、
前記撮影された画像に基づいて、前記複数のカメラの全部または一部の位置を結んだ複数の線分により構成される面内の任意の位置において撮影された画像を補完する画像補完部とを備え、
前記画像補完部は、
前記複数のカメラのうちの３台を特定し、
前記３台のカメラのうちの２台の組み合わせを３通り設定し、
前記３通りの組み合わせの中の第１番目の組み合わせにおいて、それぞれのカメラで撮影された画像の視差に基づいて、第１のずれ量を算出し、
前記３通りの組み合わせの中の第２番目の組み合わせにおいて、それぞれのカメラで撮影された画像の視差に基づいて、第２のずれ量を算出し、
前記３通りの組み合わせの中の第３番目の組み合わせにおいて、それぞれのカメラで撮影された画像の視差に基づいて、第３のずれ量を算出し、
前記第１乃至第３のずれ量に基づいて、最も確からしいずれ量を決定し、
前記補完される画像が撮影される位置および前記３台のカメラのいずれか１台の位置、並びに前記ずれ量に基づいて移動先ベクトルを特定し、
前記移動先ベクトルに基づいて、前記３台のカメラのいずれか１台により撮影された画像の画素を移動させて貼り付けることにより前記画像を補完する
補完画像生成装置。
（１１）前記画像補完部は、
複数のカメラにより撮影された画像の領域を、前記画像を構成する画素の色に基づいてクラス分けして、同一のクラスに属する画素の領域を単位領域とし、
前記単位領域毎に画素を移動させて貼り付けることにより前記画像を補完する
（１０）に記載の補完画像生成装置。
（１２）撮影部が、複数のカメラにより被写体の画像を撮影し、
画像補完部が、前記撮影された画像に基づいて、前記複数のカメラの全部または一部の位置を結んだ複数の線分により構成される面内の任意の位置において撮影された画像を補完するステップを含み、
前記複数のカメラのうちの３台が特定され、
前記３台のカメラのうちの２台の組み合わせが３通り設定され、
前記３通りの組み合わせの中の第１番目の組み合わせにおいて、それぞれのカメラで撮影された画像の視差に基づいて、第１のずれ量が算出され、
前記３通りの組み合わせの中の第２番目の組み合わせにおいて、それぞれのカメラで撮影された画像の視差に基づいて、第２のずれ量が算出され、
前記３通りの組み合わせの中の第３番目の組み合わせにおいて、それぞれのカメラで撮影された画像の視差に基づいて、第３のずれ量が算出され、
前記第１乃至第３のずれ量に基づいて、最も確からしいずれ量が決定され、
前記補完される画像が撮影される位置および前記３台のカメラのいずれか１台の位置、並びに前記ずれ量に基づいて移動先ベクトルが特定され、
前記移動先ベクトルに基づいて、前記３台のカメラのいずれか１台により撮影された画像の画素を移動させて貼り付けることにより前記画像が補完される
補完画像生成方法。
（１３）コンピュータを、
複数のカメラにより被写体の画像を撮影する撮影部と、
前記撮影された画像に基づいて、前記複数のカメラの全部または一部の位置を結んだ複数の線分により構成される面内の任意の位置において撮影された画像を補完する画像補完部とを備え、
前記画像補完部は、
前記複数のカメラのうちの３台を特定し、
前記３台のカメラのうちの２台の組み合わせを３通り設定し、
前記３通りの組み合わせの中の第１番目の組み合わせにおいて、それぞれのカメラで撮影された画像の視差に基づいて、第１のずれ量を算出し、
前記３通りの組み合わせの中の第２番目の組み合わせにおいて、それぞれのカメラで撮影された画像の視差に基づいて、第２のずれ量を算出し、
前記３通りの組み合わせの中の第３番目の組み合わせにおいて、それぞれのカメラで撮影された画像の視差に基づいて、第３のずれ量を算出し、
前記第１乃至第３のずれ量に基づいて、最も確からしいずれ量を決定し、
前記補完される画像が撮影される位置および前記３台のカメラのいずれか１台の位置、並びに前記ずれ量に基づいて移動先ベクトルを特定し、
前記移動先ベクトルに基づいて、前記３台のカメラのいずれか１台により撮影された画像の画素を移動させて貼り付けることにより前記画像を補完する補完画像生成装置として機能させる
プログラム。
（１４）
（１３）に記載のプログラムが記録されている記録媒体。
【符号の説明】
【０１９０】
２００ 画像処理装置， ２０１ 撮像部， ２０２ 補完カメラ画像生成部， ２０３ 視点画像生成部， ２０４ 画像提示部， ２２１−１ ＡＢ間ずれ量判定部， ２２１−２ ＢＣ間ずれ量判定部， ２２１ ずれ量算出部， ２１２ 画素生成部， ２２１−３ ＡＣ間ずれ量判定部， ２２２ 結果照合部， ２２３ ずれ量出力部， ２３１ 移動先計算部， ２３２ 画素プロット部， ２３３ 画素補完部， ２５１ 画素取得部， ２５２ 画像合成部， ２６１ カメラ選択部， ２６２ 画素選択部， ３００ 補完画像生成装置
【特許請求の範囲】
【請求項１】
複数のカメラにより被写体の画像を撮影する撮影部と、
前記撮影された画像に基づいて、前記複数のカメラの全部または一部の位置を結んだ複数の線分により構成される面内の任意の位置において撮影された画像を補完する画像補完部と、
前記複数のカメラにより撮影された画像および前記補完された画像により構成されるカメラ面画像に基づいて、前記複数のカメラのそれぞれに共通する撮影範囲内の任意の点から撮影された被写体の画像を生成する任意点画像生成部と
を備える画像処理装置。
【請求項２】
前記画像補完部は、
前記複数のカメラのうちの３台を頂点とした三角形の面内の任意の位置において撮影された画像を補完する
請求項１に記載の画像処理装置。
【請求項３】
前記画像補完部は、
前記複数のカメラのうちの３台を特定し、
前記３台のカメラのうちの２台の組み合わせを３通り設定し、
前記３通りの組み合わせの中の第１番目の組み合わせにおいて、それぞれのカメラで撮影された画像の視差に基づいて、第１のずれ量を算出し、
前記３通りの組み合わせの中の第２番目の組み合わせにおいて、それぞれのカメラで撮影された画像の視差に基づいて、第２のずれ量を算出し、
前記３通りの組み合わせの中の第３番目の組み合わせにおいて、それぞれのカメラで撮影された画像の視差に基づいて、第３のずれ量を算出し、
前記第１乃至第３のずれ量に基づいて、最も確からしいずれ量を決定し、
前記補完される画像が撮影される位置および前記３台のカメラのいずれか１台の位置、並びに前記ずれ量に基づいて移動先ベクトルを特定し、
前記移動先ベクトルに基づいて、前記３台のカメラのいずれか１台により撮影された画像の画素を移動させて貼り付けることにより前記画像を補完する
請求項１に記載の画像処理装置。
【請求項４】
前記画像補完部は、
複数のカメラにより撮影された画像の領域を、前記画像を構成する画素の色に基づいてクラス分けして、同一のクラスに属する画素の領域を単位領域とし、
前記単位領域毎に画素を移動させて貼り付けることにより前記画像を補完する
請求項１に記載の画像処理装置。
【請求項５】
任意点画像生成部は、
前記複数のカメラのそれぞれに共通する撮影範囲内の任意の点に仮想的なカメラであるバーチャルカメラを配置し、
前記バーチャルカメラの焦点とフィルム面を通る直線に基づいて、前記カメラ面画像の中から適当な画像を選択し、
前記選択された画像を撮影したカメラの焦点とフィルム面を通る直線、および前記バーチャルカメラの焦点とフィルム面を通る直線に基づいて、前記選択された画像の中から適当な画素を選択し、
前記選択された画素により前記バーチャルカメラで撮影された画像を構成することで、前記任意の点から撮影された被写体の画像を生成する
請求項１に記載の画像処理装置。
【請求項６】
前記撮影部は、
前記複数のカメラのうち、２台のカメラのレンズに入射する光の光軸の交点を特定し、
前記交点を焦点とするように、他のカメラの向きを移動させる
請求項１に記載の画像処理装置。
【請求項７】
撮影部が、複数のカメラにより被写体の画像を撮影し、
画像補完部が、前記撮影された画像に基づいて、前記複数のカメラの全部または一部の位置を結んだ複数の線分により構成される面内の任意の位置において撮影された画像を補完し、
任意点画像生成部が、前記複数のカメラにより撮影された画像および前記補完された画像により構成されるカメラ面画像に基づいて、前記複数のカメラのそれぞれに共通する撮影範囲内の任意の点から撮影された被写体の画像を生成するステップ
を含む画像処理装置。
【請求項８】
コンピュータを、
複数のカメラにより被写体の画像を撮影する撮影部と、
前記撮影された画像に基づいて、前記複数のカメラの全部または一部の位置を結んだ複数の線分により構成される面内の任意の位置において撮影された画像を補完する画像補完部と、
前記複数のカメラにより撮影された画像および前記補完された画像により構成されるカメラ面画像に基づいて、前記複数のカメラのそれぞれに共通する撮影範囲内の任意の点から撮影された被写体の画像を生成する任意点画像生成部とを備える画像処理装置として機能させる
プログラム。
【請求項９】
請求項８に記載のプログラムが記録されている記録媒体。
【請求項１０】
複数のカメラにより被写体の画像を撮影する撮影部と、
前記撮影された画像に基づいて、前記複数のカメラの全部または一部の位置を結んだ複数の線分により構成される面内の任意の位置において撮影された画像を補完する画像補完部とを備え、
前記画像補完部は、
前記複数のカメラのうちの３台を特定し、
前記３台のカメラのうちの２台の組み合わせを３通り設定し、
前記３通りの組み合わせの中の第１番目の組み合わせにおいて、それぞれのカメラで撮影された画像の視差に基づいて、第１のずれ量を算出し、
前記３通りの組み合わせの中の第２番目の組み合わせにおいて、それぞれのカメラで撮影された画像の視差に基づいて、第２のずれ量を算出し、
前記３通りの組み合わせの中の第３番目の組み合わせにおいて、それぞれのカメラで撮影された画像の視差に基づいて、第３のずれ量を算出し、
前記第１乃至第３のずれ量に基づいて、最も確からしいずれ量を決定し、
前記補完される画像が撮影される位置および前記３台のカメラのいずれか１台の位置、並びに前記ずれ量に基づいて移動先ベクトルを特定し、
前記移動先ベクトルに基づいて、前記３台のカメラのいずれか１台により撮影された画像の画素を移動させて貼り付けることにより前記画像を補完する
補完画像生成装置。
【請求項１１】
前記画像補完部は、
複数のカメラにより撮影された画像の領域を、前記画像を構成する画素の色に基づいてクラス分けして、同一のクラスに属する画素の領域を単位領域とし、
前記単位領域毎に画素を移動させて貼り付けることにより前記画像を補完する
請求項１０に記載の補完画像生成装置。
【請求項１２】
撮影部が、複数のカメラにより被写体の画像を撮影し、
画像補完部が、前記撮影された画像に基づいて、前記複数のカメラの全部または一部の位置を結んだ複数の線分により構成される面内の任意の位置において撮影された画像を補完するステップを含み、
前記複数のカメラのうちの３台が特定され、
前記３台のカメラのうちの２台の組み合わせが３通り設定され、
前記３通りの組み合わせの中の第１番目の組み合わせにおいて、それぞれのカメラで撮影された画像の視差に基づいて、第１のずれ量が算出され、
前記３通りの組み合わせの中の第２番目の組み合わせにおいて、それぞれのカメラで撮影された画像の視差に基づいて、第２のずれ量が算出され、
前記３通りの組み合わせの中の第３番目の組み合わせにおいて、それぞれのカメラで撮影された画像の視差に基づいて、第３のずれ量が算出され、
前記第１乃至第３のずれ量に基づいて、最も確からしいずれ量が決定され、
前記補完される画像が撮影される位置および前記３台のカメラのいずれか１台の位置、並びに前記ずれ量に基づいて移動先ベクトルが特定され、
前記移動先ベクトルに基づいて、前記３台のカメラのいずれか１台により撮影された画像の画素を移動させて貼り付けることにより前記画像が補完される
補完画像生成方法。
【請求項１３】
コンピュータを、
複数のカメラにより被写体の画像を撮影する撮影部と、
前記撮影された画像に基づいて、前記複数のカメラの全部または一部の位置を結んだ複数の線分により構成される面内の任意の位置において撮影された画像を補完する画像補完部とを備え、
前記画像補完部は、
前記複数のカメラのうちの３台を特定し、
前記３台のカメラのうちの２台の組み合わせを３通り設定し、
前記３通りの組み合わせの中の第１番目の組み合わせにおいて、それぞれのカメラで撮影された画像の視差に基づいて、第１のずれ量を算出し、
前記３通りの組み合わせの中の第２番目の組み合わせにおいて、それぞれのカメラで撮影された画像の視差に基づいて、第２のずれ量を算出し、
前記３通りの組み合わせの中の第３番目の組み合わせにおいて、それぞれのカメラで撮影された画像の視差に基づいて、第３のずれ量を算出し、
前記第１乃至第３のずれ量に基づいて、最も確からしいずれ量を決定し、
前記補完される画像が撮影される位置および前記３台のカメラのいずれか１台の位置、並びに前記ずれ量に基づいて移動先ベクトルを特定し、
前記移動先ベクトルに基づいて、前記３台のカメラのいずれか１台により撮影された画像の画素を移動させて貼り付けることにより前記画像を補完する補完画像生成装置として機能させる
プログラム。
【請求項１４】
請求項１３に記載のプログラムが記録されている記録媒体。
【請求項１】
複数のカメラにより被写体の画像を撮影する撮影部と、
前記撮影された画像に基づいて、前記複数のカメラの全部または一部の位置を結んだ複数の線分により構成される面内の任意の位置において撮影された画像を補完する画像補完部と、
前記複数のカメラにより撮影された画像および前記補完された画像により構成されるカメラ面画像に基づいて、前記複数のカメラのそれぞれに共通する撮影範囲内の任意の点から撮影された被写体の画像を生成する任意点画像生成部と
を備える画像処理装置。
【請求項２】
前記画像補完部は、
前記複数のカメラのうちの３台を頂点とした三角形の面内の任意の位置において撮影された画像を補完する
請求項１に記載の画像処理装置。
【請求項３】
前記画像補完部は、
前記複数のカメラのうちの３台を特定し、
前記３台のカメラのうちの２台の組み合わせを３通り設定し、
前記３通りの組み合わせの中の第１番目の組み合わせにおいて、それぞれのカメラで撮影された画像の視差に基づいて、第１のずれ量を算出し、
前記３通りの組み合わせの中の第２番目の組み合わせにおいて、それぞれのカメラで撮影された画像の視差に基づいて、第２のずれ量を算出し、
前記３通りの組み合わせの中の第３番目の組み合わせにおいて、それぞれのカメラで撮影された画像の視差に基づいて、第３のずれ量を算出し、
前記第１乃至第３のずれ量に基づいて、最も確からしいずれ量を決定し、
前記補完される画像が撮影される位置および前記３台のカメラのいずれか１台の位置、並びに前記ずれ量に基づいて移動先ベクトルを特定し、
前記移動先ベクトルに基づいて、前記３台のカメラのいずれか１台により撮影された画像の画素を移動させて貼り付けることにより前記画像を補完する
請求項１に記載の画像処理装置。
【請求項４】
前記画像補完部は、
複数のカメラにより撮影された画像の領域を、前記画像を構成する画素の色に基づいてクラス分けして、同一のクラスに属する画素の領域を単位領域とし、
前記単位領域毎に画素を移動させて貼り付けることにより前記画像を補完する
請求項１に記載の画像処理装置。
【請求項５】
任意点画像生成部は、
前記複数のカメラのそれぞれに共通する撮影範囲内の任意の点に仮想的なカメラであるバーチャルカメラを配置し、
前記バーチャルカメラの焦点とフィルム面を通る直線に基づいて、前記カメラ面画像の中から適当な画像を選択し、
前記選択された画像を撮影したカメラの焦点とフィルム面を通る直線、および前記バーチャルカメラの焦点とフィルム面を通る直線に基づいて、前記選択された画像の中から適当な画素を選択し、
前記選択された画素により前記バーチャルカメラで撮影された画像を構成することで、前記任意の点から撮影された被写体の画像を生成する
請求項１に記載の画像処理装置。
【請求項６】
前記撮影部は、
前記複数のカメラのうち、２台のカメラのレンズに入射する光の光軸の交点を特定し、
前記交点を焦点とするように、他のカメラの向きを移動させる
請求項１に記載の画像処理装置。
【請求項７】
撮影部が、複数のカメラにより被写体の画像を撮影し、
画像補完部が、前記撮影された画像に基づいて、前記複数のカメラの全部または一部の位置を結んだ複数の線分により構成される面内の任意の位置において撮影された画像を補完し、
任意点画像生成部が、前記複数のカメラにより撮影された画像および前記補完された画像により構成されるカメラ面画像に基づいて、前記複数のカメラのそれぞれに共通する撮影範囲内の任意の点から撮影された被写体の画像を生成するステップ
を含む画像処理装置。
【請求項８】
コンピュータを、
複数のカメラにより被写体の画像を撮影する撮影部と、
前記撮影された画像に基づいて、前記複数のカメラの全部または一部の位置を結んだ複数の線分により構成される面内の任意の位置において撮影された画像を補完する画像補完部と、
前記複数のカメラにより撮影された画像および前記補完された画像により構成されるカメラ面画像に基づいて、前記複数のカメラのそれぞれに共通する撮影範囲内の任意の点から撮影された被写体の画像を生成する任意点画像生成部とを備える画像処理装置として機能させる
プログラム。
【請求項９】
請求項８に記載のプログラムが記録されている記録媒体。
【請求項１０】
複数のカメラにより被写体の画像を撮影する撮影部と、
前記撮影された画像に基づいて、前記複数のカメラの全部または一部の位置を結んだ複数の線分により構成される面内の任意の位置において撮影された画像を補完する画像補完部とを備え、
前記画像補完部は、
前記複数のカメラのうちの３台を特定し、
前記３台のカメラのうちの２台の組み合わせを３通り設定し、
前記３通りの組み合わせの中の第１番目の組み合わせにおいて、それぞれのカメラで撮影された画像の視差に基づいて、第１のずれ量を算出し、
前記３通りの組み合わせの中の第２番目の組み合わせにおいて、それぞれのカメラで撮影された画像の視差に基づいて、第２のずれ量を算出し、
前記３通りの組み合わせの中の第３番目の組み合わせにおいて、それぞれのカメラで撮影された画像の視差に基づいて、第３のずれ量を算出し、
前記第１乃至第３のずれ量に基づいて、最も確からしいずれ量を決定し、
前記補完される画像が撮影される位置および前記３台のカメラのいずれか１台の位置、並びに前記ずれ量に基づいて移動先ベクトルを特定し、
前記移動先ベクトルに基づいて、前記３台のカメラのいずれか１台により撮影された画像の画素を移動させて貼り付けることにより前記画像を補完する
補完画像生成装置。
【請求項１１】
前記画像補完部は、
複数のカメラにより撮影された画像の領域を、前記画像を構成する画素の色に基づいてクラス分けして、同一のクラスに属する画素の領域を単位領域とし、
前記単位領域毎に画素を移動させて貼り付けることにより前記画像を補完する
請求項１０に記載の補完画像生成装置。
【請求項１２】
撮影部が、複数のカメラにより被写体の画像を撮影し、
画像補完部が、前記撮影された画像に基づいて、前記複数のカメラの全部または一部の位置を結んだ複数の線分により構成される面内の任意の位置において撮影された画像を補完するステップを含み、
前記複数のカメラのうちの３台が特定され、
前記３台のカメラのうちの２台の組み合わせが３通り設定され、
前記３通りの組み合わせの中の第１番目の組み合わせにおいて、それぞれのカメラで撮影された画像の視差に基づいて、第１のずれ量が算出され、
前記３通りの組み合わせの中の第２番目の組み合わせにおいて、それぞれのカメラで撮影された画像の視差に基づいて、第２のずれ量が算出され、
前記３通りの組み合わせの中の第３番目の組み合わせにおいて、それぞれのカメラで撮影された画像の視差に基づいて、第３のずれ量が算出され、
前記第１乃至第３のずれ量に基づいて、最も確からしいずれ量が決定され、
前記補完される画像が撮影される位置および前記３台のカメラのいずれか１台の位置、並びに前記ずれ量に基づいて移動先ベクトルが特定され、
前記移動先ベクトルに基づいて、前記３台のカメラのいずれか１台により撮影された画像の画素を移動させて貼り付けることにより前記画像が補完される
補完画像生成方法。
【請求項１３】
コンピュータを、
複数のカメラにより被写体の画像を撮影する撮影部と、
前記撮影された画像に基づいて、前記複数のカメラの全部または一部の位置を結んだ複数の線分により構成される面内の任意の位置において撮影された画像を補完する画像補完部とを備え、
前記画像補完部は、
前記複数のカメラのうちの３台を特定し、
前記３台のカメラのうちの２台の組み合わせを３通り設定し、
前記３通りの組み合わせの中の第１番目の組み合わせにおいて、それぞれのカメラで撮影された画像の視差に基づいて、第１のずれ量を算出し、
前記３通りの組み合わせの中の第２番目の組み合わせにおいて、それぞれのカメラで撮影された画像の視差に基づいて、第２のずれ量を算出し、
前記３通りの組み合わせの中の第３番目の組み合わせにおいて、それぞれのカメラで撮影された画像の視差に基づいて、第３のずれ量を算出し、
前記第１乃至第３のずれ量に基づいて、最も確からしいずれ量を決定し、
前記補完される画像が撮影される位置および前記３台のカメラのいずれか１台の位置、並びに前記ずれ量に基づいて移動先ベクトルを特定し、
前記移動先ベクトルに基づいて、前記３台のカメラのいずれか１台により撮影された画像の画素を移動させて貼り付けることにより前記画像を補完する補完画像生成装置として機能させる
プログラム。
【請求項１４】
請求項１３に記載のプログラムが記録されている記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【公開番号】特開２０１２−２４４５２７（Ｐ２０１２−２４４５２７Ａ）
【公開日】平成２４年１２月１０日（２０１２．１２．１０）
【国際特許分類】
【出願番号】特願２０１１−１１４６１０（Ｐ２０１１−１１４６１０）
【出願日】平成２３年５月２３日（２０１１．５．２３）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年１２月１０日（２０１２．１２．１０）
【国際特許分類】
【出願日】平成２３年５月２３日（２０１１．５．２３）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]