画像処理装置および方法、並びにプログラム
【課題】より適切な視差を有する多視点画像を表示できるようにする。
【解決手段】短冊領域決定部２３は、撮像装置１１が移動している状態で連続して撮像された複数の撮像画像について、撮像画像上の、多視点画像の視聴環境を示す視聴環境パラメータにより定まる数と位置関係の短冊領域を定める。パノラマ画像生成部２５は、複数の撮像画像の短冊領域を切り出して合成し、複数のパノラマ画像を生成する。表示選択部２７は、複数のパノラマ画像を用いて、ユーザの視点位置に応じて異なる視差で被写体が表示される多視点画像を生成し、表示部２８に表示させる。視聴環境パラメータに応じて、撮像画像上の短冊領域の位置関係を定めることで、視聴環境に対し、より適切な視差を有する多視点画像を得ることができる。本発明は、カメラに適用することができる。
【解決手段】短冊領域決定部２３は、撮像装置１１が移動している状態で連続して撮像された複数の撮像画像について、撮像画像上の、多視点画像の視聴環境を示す視聴環境パラメータにより定まる数と位置関係の短冊領域を定める。パノラマ画像生成部２５は、複数の撮像画像の短冊領域を切り出して合成し、複数のパノラマ画像を生成する。表示選択部２７は、複数のパノラマ画像を用いて、ユーザの視点位置に応じて異なる視差で被写体が表示される多視点画像を生成し、表示部２８に表示させる。視聴環境パラメータに応じて、撮像画像上の短冊領域の位置関係を定めることで、視聴環境に対し、より適切な視差を有する多視点画像を得ることができる。本発明は、カメラに適用することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置および方法、並びにプログラムに関し、特に、より適切な視差を有する多視点画像を表示させることができるようにした画像処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
従来、撮像装置を所定方向にパンさせながら撮像して得られた複数の静止画像を重ね合わせて合成することで、パノラマ画像を生成する技術が知られている（例えば、特許文献１参照）。パノラマ画像は、複数の静止画像を並べて合成することで得られる画像であるので、パノラマ画像によれば、１つの静止画像の撮像時に撮像対象となる空間上の領域よりも、より広い領域を被写体として表示することができる。
【０００３】
また、パノラマ画像を得るために、撮像装置をパンさせながら複数の静止画像を撮像した場合には、いくつかの静止画像に、同じ被写体が含まれていることがある。そのような場合において、異なる静止画像上の同じ被写体は、互いに異なる位置から撮像されたものであるから、視差が生じていることになる。
【０００４】
これを利用して、複数の静止画像から、互いに視差を有する複数のパノラマ画像を生成し、それらのパノラマ画像の一部または全部の領域をレンチキュラ方式で同時に表示すれば、多視点画像を表示させることができる。
【０００５】
ここで、多視点画像とは、画像が表示される表示画面を見る位置によって、つまりユーザの視点位置によって、同じ被写体が異なる視差で表示される画像である。例えば、複数のパノラマ画像をそのまま多視点画像とする場合、それらの複数のパノラマ画像のうち、ユーザの視点位置により定まる２つが、それぞれユーザの右眼および左眼で観察されるようにパノラマ画像が表示される。このとき、ユーザにより観察される２つのパノラマ画像は視差を有するから、ユーザにはパノラマ画像上の被写体が立体的に見える。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許第３１６８４４３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところが、多視点画像を表示させる表示装置の画面の大きさ等の視聴環境によって、多視点画像を構成する各画像間に持たせるべき適切な視差の大きさは変化する。しかしながら、上述した技術では、視聴環境に合わせて適切な視差を有する多視点画像を得ることはできなかった。
【０００８】
本発明は、このような状況に鑑みてなされたものであり、視聴環境に合った、より適切な視差を有する多視点画像を得ることができるようにするものである。
【課題を解決するための手段】
【０００９】
本発明の第１の側面の画像処理装置は、撮像手段を移動させながら前記撮像手段により撮像して得られた複数の撮像画像に基づいて、多視点画像の生成に用いられる互いに視差を有する複数の合成画像を生成する画像処理装置であって、前記多視点画像の視聴環境を示す情報に基づいて、複数の前記合成画像のそれぞれについて、前記合成画像の生成に用いられる画像が切り出される前記撮像画像上の短冊領域を決定する短冊領域決定手段と、複数の前記撮像画像から前記短冊領域の画像を切り出して合成し、前記合成画像を生成する合成画像生成手段と、複数の前記合成画像を用いて、ユーザの視点位置に応じて異なる視差の被写体が立体表示される前記多視点画像を生成する多視点画像生成手段とを備える。
【００１０】
前記短冊領域決定手段には、前記撮像画像上の前記短冊領域が、前記視聴環境を示す情報により示される前記多視点画像の表示先の画面サイズによって定まる位置関係となるように、前記短冊領域のそれぞれの位置を決定させることができる。
【００１１】
前記短冊領域決定手段には、前記撮像画像において、前記撮像画像の端により近い前記短冊領域ほど、隣接する前記短冊領域同士の距離がより短くなるように、前記短冊領域の位置を決定させることができる。
【００１２】
本発明の第１の側面の画像処理方法またはプログラムは、撮像手段を移動させながら前記撮像手段により撮像して得られた複数の撮像画像に基づいて、多視点画像の生成に用いられる互いに視差を有する複数の合成画像を生成する画像処理方法またはプログラムであって、前記多視点画像の視聴環境を示す情報に基づいて、複数の前記合成画像のそれぞれについて、前記合成画像の生成に用いられる画像が切り出される前記撮像画像上の短冊領域を決定し、複数の前記撮像画像から前記短冊領域の画像を切り出して合成することで、前記合成画像を生成し、複数の前記合成画像を用いて、ユーザの視点位置に応じて異なる視差の被写体が立体表示される前記多視点画像を生成するステップを含む。
【００１３】
本発明の第１の側面においては、撮像手段を移動させながら前記撮像手段により撮像して得られた複数の撮像画像に基づいて、多視点画像の生成に用いられる互いに視差を有する複数の合成画像を生成する画像処理において、前記多視点画像の視聴環境を示す情報に基づいて、複数の前記合成画像のそれぞれについて、前記合成画像の生成に用いられる画像が切り出される前記撮像画像上の短冊領域が決定され、複数の前記撮像画像から前記短冊領域の画像が切り出されて合成され、前記合成画像が生成され、複数の前記合成画像が用いられて、ユーザの視点位置に応じて異なる視差の被写体が立体表示される前記多視点画像が生成される。
【００１４】
本発明の第２の側面の画像処理装置は、撮像手段を移動させながら前記撮像手段により撮像して得られた複数の撮像画像に基づいて、多視点画像の生成に用いられる互いに視差を有する複数の合成画像を生成する画像処理装置であって、複数の前記合成画像のそれぞれについて、前記合成画像の生成に用いられる画像が切り出される前記撮像画像上の短冊領域を決定する短冊領域決定手段と、複数の前記撮像画像から前記短冊領域の画像を切り出して合成し、前記合成画像を生成する合成画像生成手段と、前記多視点画像の視聴環境を示す情報に基づいて、複数の前記合成画像のうちのいくつかを選択し、選択された前記合成画像を用いて、ユーザの視点位置に応じて異なる視差の被写体が立体表示される前記多視点画像を生成する多視点画像生成手段とを備える。
【００１５】
前記多視点画像生成手段には、前記視聴環境を示す情報により示される前記多視点画像の表示先の画面サイズによって定まる位置関係の前記短冊領域の画像から生成された前記パノラマ画像を選択させ、前記多視点画像を生成させることができる。
【００１６】
前記多視点画像生成手段には、前記視聴環境が変更された場合、変更された前記視聴環境を示す情報に基づいて、前記多視点画像を再生成させることができる。
【００１７】
前記多視点画像生成手段には、前記視聴環境として前記多視点画像の表示倍率が変更された場合、前記表示倍率の変更に応じて、前記画面サイズによって定まる前記位置関係を変更させることができる。
【００１８】
本発明の第２の側面の画像処理方法またはプログラムは、撮像手段を移動させながら前記撮像手段により撮像して得られた複数の撮像画像に基づいて、多視点画像の生成に用いられる互いに視差を有する複数の合成画像を生成する画像処理方法またはプログラムであって、複数の前記合成画像のそれぞれについて、前記合成画像の生成に用いられる画像が切り出される前記撮像画像上の短冊領域を決定し、複数の前記撮像画像から前記短冊領域の画像を切り出して合成することで、前記合成画像を生成し、前記多視点画像の視聴環境を示す情報に基づいて、複数の前記合成画像のうちのいくつかを選択し、選択された前記合成画像を用いて、ユーザの視点位置に応じて異なる視差の被写体が立体表示される前記多視点画像を生成するステップを含む。
【００１９】
本発明の第２の側面においては、撮像手段を移動させながら前記撮像手段により撮像して得られた複数の撮像画像に基づいて、多視点画像の生成に用いられる互いに視差を有する複数の合成画像を生成する画像処理において、複数の前記合成画像のそれぞれについて、前記合成画像の生成に用いられる画像が切り出される前記撮像画像上の短冊領域が決定され、複数の前記撮像画像から前記短冊領域の画像が切り出されて合成され、前記合成画像が生成され、前記多視点画像の視聴環境を示す情報に基づいて、複数の前記合成画像のうちのいくつかが選択され、選択された前記合成画像が用いられて、ユーザの視点位置に応じて異なる視差の被写体が立体表示される前記多視点画像が生成される。
【発明の効果】
【００２０】
本発明の第１の側面によれば、視聴環境に合った、より適切な視差を有する多視点画像を得ることができる。
【００２１】
また、本発明の第２の側面によれば、視聴環境に合った、より適切な視差を有する多視点画像を得ることができる。
【図面の簡単な説明】
【００２２】
【図１】パノラマ画像について説明する図である。
【図２】多視点画像について説明する図である。
【図３】本発明を適用した撮像装置の一実施の形態の構成例を示す図である。
【図４】多視点画像表示処理を説明するフローチャートである。
【図５】短冊領域について説明する図である。
【図６】支配的な視差の検出について説明する図である。
【図７】支配的な視差の検出について説明する図である。
【図８】支配的な視差の検出について説明する図である。
【図９】支配的な視差の検出について説明する図である。
【図１０】多視点画像の生成について説明する図である。
【図１１】本発明を適用した撮像装置の他の構成例を示す図である。
【図１２】多視点画像表示処理を説明するフローチャートである。
【図１３】多視点画像の生成について説明する図である。
【図１４】オフセット量と視差の関係について説明する図である。
【図１５】コンピュータの構成例を示す図である。
【発明を実施するための形態】
【００２３】
以下、図面を参照して、本発明を適用した実施の形態について説明する。
【００２４】
〈第１の実施の形態〉
［多視点画像の説明］
本発明を適用した撮像装置は、例えばカメラなどからなり、撮像装置が移動している状態で、撮像装置が連続的に撮像した複数の撮像画像から、多視点画像を生成する。多視点画像は、互いに視差を有する複数のパノラマ画像から構成される。
【００２５】
ユーザが撮像装置に多視点画像を生成させようとする場合、ユーザは撮像装置を操作して、多視点画像の生成に用いられる撮像画像を撮像させる。
【００２６】
例えば、図１の左側に示すように、撮像装置のレンズ主点が位置ｆｐ１にある状態で、仮想撮像面ＶＳを撮像すると、撮像画像ＩＭが得られる。例えば、撮像画像ＩＭ上の領域ＴＲＲおよび領域ＴＲＬには、それぞれ実空間上の領域ＳＥＲおよび領域ＳＥＬにある被写体が表示されることになる。
【００２７】
そして、ユーザが図１中、横方向に撮像装置を移動させながら複数の撮像画像を撮像させると、各撮像画像は視差を有することになる。具体的には、図１中央に示すように、時刻Ｔ＝ｔにおいて、レンズ主点が位置ｆｐ１にある状態で撮像画像を撮像し、時刻Ｔ＝ｔ＋Δｔにおいて、レンズ主点が位置ｆｐ２にある状態で撮像画像を撮像すると、それらの撮像画像には、同じ被写体ＯＢ１が表示される。このとき、被写体ＯＢ１の撮像位置は互いに異なるので視差が生じることになる。これを利用すれば、同じ被写体が表示される、互いに視差を有するパノラマ画像が得られる。
【００２８】
すなわち、撮像装置を移動させながら撮像して得られた各撮像画像から、それぞれ撮像画像ＩＭの領域ＴＲＲおよび領域ＴＲＬに対応する領域を切り出して合成すれば、図１中、右側に示すように、パノラマ画像ＰＲとパノラマ画像ＰＬが得られる。
【００２９】
ここで、パノラマ画像ＰＲは、各撮像画像の領域ＴＲＲに対応する領域を並べて合成することで得られる画像であり、このパノラマ画像ＰＲは、位置ｆｐ３を仮想的なレンズ主点位置として被写体を撮像して得られる画像である。一方、パノラマ画像ＰＬは、各撮像画像の領域ＴＲＬに対応する領域を並べて合成することで得られる画像であり、このパノラマ画像ＰＬは、位置ｆｐ４を仮想的なレンズ主点位置として被写体を撮像して得られる画像である。そしてパノラマ画像ＰＲとパノラマ画像ＰＬは、互いに視差を有し、同じ被写体が表示されている画像である。
【００３０】
そこで、パノラマ画像ＰＲを右眼用の画像とし、パノラマ画像ＰＬを左眼用の画像としてレンチキュラ方式等により同時に表示すれば、ユーザの目には、立体的なパノラマ画像が見えることになる。
【００３１】
このように、複数の撮像画像の所定の領域（以下、短冊領域と称する）を切り出して、それらの部分的な画像を並べて合成し、１つの画像とすれば１つのパノラマ画像が得られる。また、短冊領域をずらして異なるパノラマ画像を生成すれば、互いに視差を有するパノラマ画像の対を得ることができ、それらのパノラマ画像を用いれば、被写体を立体的に表示させることができる。
【００３２】
これと同様にして、撮像画像から３以上の短冊領域を切り出して、それらの短冊領域の画像を合成すれば、互いに視点の異なる複数のパノラマ画像を得ることができる。そして、それらの複数のパノラマ画像をレンチキュラ方式で同時に表示すれば、ユーザの視点位置によって、同じ被写体が異なる視差で立体表示されることになる。つまり多視点画像が表示されることになる。
【００３３】
このような多視点画像が生成される場合、例えば図２に示すように、各撮像画像ＩＭにおいて、互いに異なる複数の短冊領域が定められ、それらの短冊領域から切り出された画像が合成されて、複数のパノラマ画像が生成される。
【００３４】
図２の例では、撮像画像ＩＭの図中、左側から右側まで順番に、９つの異なる短冊領域Ｖ（０）乃至短冊領域Ｖ（８）が定められている。撮像画像ＩＭ上の各短冊領域の配置は、撮像画像ＩＭの中央の領域ほど疎とされ、撮像画像ＩＭの端により近い領域ほどより密とされている。
【００３５】
これらの短冊領域の位置は、基準となる短冊領域Ｖ（０）からの距離を示すオフセット量により定められる。例えば、短冊領域Ｖ（１）のオフセット量がＯＦ１であるとすると、短冊領域Ｖ（０）から短冊領域Ｖ（１）までの距離がＯＦ１となるように、短冊領域Ｖ（１）の位置が定められる。
【００３６】
このように複数の短冊領域が定められると、連続して撮像された複数の撮像画像ＩＭから、短冊領域Ｖ（０）乃至短冊領域Ｖ（８）の画像が切り出されて合成され、パノラマ画像ＰＶ（０）乃至パノラマ画像ＰＶ（８）が生成される。例えば、複数の撮像画像ＩＭのそれぞれから短冊領域Ｖ（０）のそれぞれが切り出されて合成され、パノラマ画像ＰＶ（０）が生成される。そして、得られた複数のパノラマ画像の組が多視点画像とされる。
【００３７】
［撮像装置の構成］
図３は、本発明を適用した撮像装置の一実施の形態の構成例を示す図である。
【００３８】
撮像装置１１は、連続して被写体を撮像し、得られた撮像画像から多視点画像を生成する。撮像装置１１は、生成された多視点画像を、撮像装置１１自体に設けられた表示部に表示したり、撮像装置１１に接続された表示部１２に表示させたりする。
【００３９】
表示部１２は、例えばLCD（Liquid Crystal Display）やレンチキュラレンズからなる多視点表示用の裸眼３Ｄディスプレイであり、撮像装置１１からの多視点画像を立体表示する。
【００４０】
撮像装置１１は、撮像部２１、動き算出部２２、短冊領域決定部２３、合成領域決定部２４、パノラマ画像生成部２５−１乃至パノラマ画像生成部２５−Ｎ、視差制御部２６、表示選択部２７、および表示部２８から構成される。
【００４１】
撮像部２１は、光学レンズ等の光学系や撮像素子などから構成され、被写体からの光を電気信号に変換することで、被写体の像を撮像し、その結果得られた撮像画像を動き算出部２２に供給する。
【００４２】
例えば、ユーザが撮像装置１１を所定方向に移動させながら連続して撮像画像の撮像を指示した場合、時間的に連続して撮像された撮像画像が、順次、撮像部２１から動き算出部２２に供給されることになる。なお、以下、連続して撮像された撮像画像のうち、ｍ番目に撮像された撮像画像をフレームｍの撮像画像とも称することとする。
【００４３】
動き算出部２２は、撮像部２１から供給された撮像画像に基づいて、撮像画像のフレーム間における、撮像装置１１の動き（移動）を補償する動き補償パラメータを算出し、撮像画像および動き補償パラメータを短冊領域決定部２３に供給する。
【００４４】
この動き補償パラメータは、複数の撮像画像のそれぞれを、実空間上において動きのない同じ被写体がほぼ重なるように並べた場合における、撮像画像同士の相対的な位置関係を示す情報である。
【００４５】
例えば、互いに垂直なｘ方向およびｙ方向からなる２次元平面（以下、投影面と称する）を考え、撮像画像の撮像時にユーザが撮像装置１１を移動させる方向に対応する方向がｘ方向であったとする。また、各撮像画像の端は、ｘ方向およびｙ方向にほぼ平行であるとする。この場合、動き算出部２２は、各撮像画像を投影面上に並べたときに、隣接する２つの撮像画像、つまり連続するフレームの撮像画像同士の相対的な位置関係を示す情報を動き補償パラメータとして算出する。
【００４６】
なお、以下、ｘ方向に平行な方向のうち、撮像装置１１の移動方向と同じ方向を、特に＋ｘ方向とも称し、＋ｘ方向と反対の方向を−ｘ方向とも称することとする。したがって、投影面上に各フレームの撮像画像を並べた場合、フレームｍの撮像画像は、フレーム（ｍ−１）の撮像画像に対して、＋ｘ方向側に位置することになる。
【００４７】
短冊領域決定部２３は、動き算出部２２から供給された撮像画像および動き補償パラメータと、入力された視聴環境パラメータに基づいて、撮像画像上において、パノラマ画像の生成に用いるために切り出される領域である短冊領域を決定する。
【００４８】
ここで、視聴環境パラメータは、ユーザの多視点画像の視聴時の環境を特定する情報である。例えば、多視点画像が表示される表示装置の表示画面のサイズ（以下、画面サイズと称する）、表示画面からユーザまでの距離（以下、視聴距離とも称する）、多視点画像の視点数などの情報が視聴環境パラメータに含まれている。
【００４９】
なお、表示画面のサイズや視聴距離、多視点画像の視点数などは、ユーザにより入力されてもよいし、撮像装置１１が特定するようにしてもよい。例えば、撮像装置１１は、多視点画像の表示先が指定された場合、その表示先となる表示装置から、画面サイズや視点数を特定したり、表示画面からユーザまでの距離を検出する図示せぬセンサから、視聴距離を取得したりする。
【００５０】
短冊領域決定部２３は、入力された視聴環境パラメータに基づいて、短冊領域の数と、各短冊領域のオフセット量とを定めて、各撮像画像における短冊領域を決定する。短冊領域決定部２３は、各撮像画像の短冊領域を決定すると、撮像画像、動き補償パラメータ、および短冊領域の位置を示す短冊領域位置情報を、合成領域決定部２４に供給する。
【００５１】
合成領域決定部２４は、短冊領域決定部２３から供給された撮像画像、動き補償パラメータ、および短冊領域位置情報に基づいて、合成領域を決定する。
【００５２】
撮像装置１１では、各撮像画像上の短冊領域が切り出されて合成され、１つのパノラマ画像が生成されるが、ユーザがｘ方向に撮像装置１１を移動させながら撮像画像を撮像した場合でも、撮像装置１１がｙ方向にもわずかに動いてしまう。そのため、各撮像画像を投影面に並べた場合、各撮像画像の位置はｙ方向にばらつきが生じる。
【００５３】
そこで、合成領域決定部２４は、撮像画像を投影面に並べた場合に、各撮像画像の短冊領域からなる領域に内接する最も大きい矩形領域を、パノラマ画像の生成に用いられる画像が切り出される合成領域とする。したがって、各撮像画像の短冊領域のうちの合成領域に含まれる領域を切り出して合成すれば、矩形状のパノラマ画像が得られる。
【００５４】
合成領域決定部２４は、決定された合成領域、つまり修正された最終的な各短冊領域の位置を示す合成領域情報と、撮像画像および動き補償パラメータとを、パノラマ画像生成部２５−１乃至パノラマ画像生成部２５−Ｎに供給する。
【００５５】
パノラマ画像生成部２５−１乃至パノラマ画像生成部２５−Ｎは、合成領域決定部２４から供給された合成領域情報、撮像画像、および動き補償パラメータを用いてパノラマ画像ＰＶ（０）乃至パノラマ画像ＰＶ（Ｎ−１）を生成し、視差制御部２６に供給する。
【００５６】
なお、より詳細には、例えば短冊領域の数が４つとされ、４つのパノラマ画像が生成される場合には、パノラマ画像生成部２５−１乃至パノラマ画像生成部２５−４により、パノラマ画像ＰＶ（０）乃至パノラマ画像ＰＶ（３）が生成される。そして、パノラマ画像生成部２５−５乃至パノラマ画像生成部２５−Ｎにおいては、パノラマ画像の生成は、行なわれない。
【００５７】
また、以下、パノラマ画像生成部２５−１乃至パノラマ画像生成部２５−Ｎを特に区別する必要のない場合、単にパノラマ画像生成部２５とも称する。
【００５８】
視差制御部２６は、パノラマ画像生成部２５から供給されたパノラマ画像を加工して、パノラマ画像の視差調整を行い、その結果得られたパノラマ画像を表示選択部２７に供給する。
【００５９】
表示選択部２７は、視差制御部２６から供給されたパノラマ画像に基づいて多視点画像を生成し、表示部１２または表示部２８に供給する。表示部２８は、例えばLCDやレンチキュラレンズからなる多視点表示用の裸眼３Ｄディスプレイであり、表示選択部２７からの多視点画像を立体表示する。また、例えば表示部２８は、表示部１２と比べて画面サイズの小さい、小型の表示装置とされる。
【００６０】
［多視点画像表示処理の説明］
ところで、ユーザが撮像装置１１を操作して、多視点画像の生成を指示すると、撮像装置１１は、多視点画像を生成して表示する処理である多視点画像表示処理を開始する。以下、図４のフローチャートを参照して、撮像装置１１による多視点画像表示処理について説明する。
【００６１】
ステップＳ１１において、撮像部２１は、撮像装置１１が移動している状態で被写体を撮像する。例えば、ユーザは撮像装置１１を所定方向に回動させながら、複数枚の撮像画像を連続して撮像装置１１に撮像させる。
【００６２】
被写体からの光は撮像部２１に入射するので、撮像部２１は入射した光を光電変換することにより、撮像画像を撮像する。得られた撮像画像は、順次、撮像部２１から動き算出部２２に供給される。なお、撮像画像は、撮像された１つの静止画像であってもよいし、撮影された動画像を構成する１フレーム分の画像であってもよい。
【００６３】
ステップＳ１２において、動き算出部２２は、撮像部２１から供給された各撮像画像について、撮像画像の動き補償パラメータを算出し、撮像画像および動き補償パラメータを短冊領域決定部２３に供給する。
【００６４】
例えば、動き算出部２２は、連続する２つのフレームの撮像画像を用いて、ブロックマッチングにより、撮像画像のグローバルモーションベクトルを動き補償パラメータとして算出する。
【００６５】
すなわち、動き算出部２２は、処理対象のフレームの撮像画像を複数ブロックに分割し、各ブロックについて、処理対象の１つ前のフレームの撮像画像とのブロックマッチングを行なうことにより、そのブロックの動きベクトルを検出する。そして、動き算出部２２は、ブロックごとに求めた動きベクトルのうち、最も多い大きさかつ方向の動きベクトルを、撮像画像のグローバルモーションベクトルとする。
【００６６】
グローバルモーションベクトルは、撮像画像上の被写体全体のフレーム間の動きを示すグローバルな動きベクトルである。撮像画像上の被写体の多くは、実空間上において動きのない静止物体であるので、グローバルモーションベクトルは、撮像画像上の静止物体のフレーム間の動き、つまり撮像画像の撮像時における撮像装置１１の動きを示すベクトルであるということができる。
【００６７】
なお、動き補償パラメータは、その他、拡張アフィン変換などを利用して求めてもよい。例えば、拡張アフィン変換を利用して動き補償パラメータを算出する場合、動き算出部２２は、次式（１）を計算することで、撮像画像のフレーム間の動きを示すベクトル（Ｖ，Ｗ）を求め、得られたベクトル（Ｖ，Ｗ）を動き補償パラメータとする。
【００６８】
【数１】
【００６９】
なお、式（１）において、ａ乃至ｌは、アフィンパラメータを示しており、ｘ，ｙは、それぞれｘｙ座標系における撮像画像上の特徴的なブロックの中心位置のｘ成分およびｙ成分を示している。
【００７０】
すなわち、動き算出部２２は、処理対象のフレームの撮像画像を複数ブロックに分割し、各ブロックについて、処理対象の１つ前のフレームの撮像画像とのブロックマッチングを行なうことにより、そのブロックの動きベクトルを検出する。そして、動き算出部２２は、コーナーディテクタ等を利用して、各ブロックの動きベクトルの信頼度を求め、最も信頼度の高い動きベクトルのブロックを特徴的なブロックとし、上述した式（１）を計算する。
【００７１】
なお、アフィンパラメータは、各ブロックの中心座標と、各ブロックの動きベクトルとが用いられて、最小自乗法により算出される。
【００７２】
ステップＳ１３において、短冊領域決定部２３は、入力された視聴環境パラメータに基づいて、短冊領域の数と、各短冊領域のオフセット量を定める。
【００７３】
具体的には、短冊領域決定部２３は、視聴環境パラメータにより示される多視点画像の視点数を、生成する短冊領域の数とする。
【００７４】
また、短冊領域決定部２３は、多視点画像を表示させる表示部の画面サイズおよび視聴距離と、各短冊領域のオフセット量とが対応付けられたオフセットテーブルを、予め保持している。
【００７５】
例えば、所定の画面サイズに対して、規定のオフセット量が定められているとすると、画面サイズがＮ倍になったときには、オフセット量が規定のオフセット量の１／Ｎ倍とされるようにされる。これは、視聴距離が同じである場合、画面サイズが大きいほど、ユーザから見た多視点画像の視差が大きくなるからである。つまり、画面サイズにより視差が大きくなる分、オフセット量を小さくすることで、多視点画像の視差が小さくなるように調整され、より適切な視差を持つ多視点画像が得られることになる。
【００７６】
また、例えば、所定の視聴距離に対して、規定のオフセット量が定められているとすると、視聴距離がＮ倍になったときには、オフセット量が規定のオフセット量のＮ倍とされるようにされる。これは、画面サイズが同じである場合、視聴距離が長いほど、ユーザから見た多視点画像の視差が小さくなるからである。
【００７７】
短冊領域決定部２３は、オフセットテーブルを参照し、視聴環境パラメータに示される画面サイズおよび視聴距離により定まる値を、各短冊領域のオフセット量とする。すなわち、視聴環境パラメータに基づいて、撮像画像上の各短冊領域の位置関係が定められる。
【００７８】
また、オフセット量により定まる各短冊領域の位置関係を、図２に示したように、撮像画像ＩＭの端により近い位置にある短冊領域ほど、隣接する短冊領域との間の距離が短くなるようにすれば、多視点画像の表示時に逆視の影響をより少なくすることができる。
【００７９】
例えば、図２の短冊領域から生成されたパノラマ画像が用いられて、９視点の多視点画像が生成され、表示部２８に表示される場合を考える。この場合、表示部２８の表示画面から所定の距離で、かつ表示画面のほぼ中央にユーザの視点があるとき、ユーザの右眼および左眼に、パノラマ画像ＰＶ（３）およびパノラマ画像ＰＶ（５）が見えるとする。そして、ユーザが表示画面の端方向に視点を移動させたとき、ユーザの右眼および左眼にパノラマ画像ＰＶ（７）およびパノラマ画像ＰＶ（８）が見えるとする。
【００８０】
この状態から、さらにユーザが視点を表示画面の端方向に移動させると、ユーザの右眼および左眼には、パノラマ画像ＰＶ（８）およびパノラマ画像ＰＶ（０）が見え、いわゆる逆視が生じる。このような逆視が生じると、ユーザが被写体の凹凸をうまく把握できないことがあり、ユーザの目と脳は疲れてしまう。
【００８１】
このとき、パノラマ画像ＰＶ（８）とパノラマ画像ＰＶ（０）の視差が小さければ、被写体の立体感を抑えることができるので、ユーザの目や脳の疲労を低減させることができる。したがって、この逆視の影響をより少なくするには、短冊領域Ｖ（０）から短冊領域Ｖ（８）までの距離をより短くすればよいが、この距離を短くすると、短冊領域同士の間隔が狭くなり、立体感のある多視点画像が得られなくなってしまう。
【００８２】
そこで、撮像画像の端近傍の短冊領域同士の間隔を狭くし、逆に撮像画像の中央付近の短冊領域同士の間隔を広くすることで、多視点画像の立体感が損なわれるのを抑制しつつ、逆視によるユーザの疲れを低減させることができる。すなわち、逆視の生じない表示画面の中央付近にユーザの視点がある場合には、より視差の大きい画像が表示されることになり、より立体感のある多視点画像を得ることができる。
【００８３】
短冊領域決定部２３により短冊領域の数とオフセット量が定められると、処理はステップＳ１３からステップＳ１４に進む。
【００８４】
ステップＳ１４において、短冊領域決定部２３は、動き算出部２２から供給された撮像画像および動き補償パラメータと、定めた短冊領域の数およびオフセット量とに基づいて、各撮像画像の短冊領域を決定する。
【００８５】
例えば、図５の左側に示すように、短冊領域決定部２３は、フレーム１の撮像画像ＩＭ（１）とフレーム２の撮像画像ＩＭ（２）とを動き補償パラメータに基づいて投影面上に並べる。なお、図５において、図中、横方向はｘ方向を示しており、特に右方向は＋ｘ方向を示している。また、図５では、説明を分かり易くするため、撮像画像のｘ方向の位置関係のみを示しており、実際には撮像画像を投影面上に並べると、それらの撮像画像は互いに重なることになる。
【００８６】
短冊領域決定部２３は、投影面上に並べられた撮像画像ＩＭ（１）と撮像画像ＩＭ（２）が重なる領域のｘ方向の中心の位置（以下、基準位置と称する）を求め、さらにその基準位置から−ｘ方向に特定の距離だけ離れた位置をＶ（０）基準位置とする。
【００８７】
短冊領域決定部２３は、撮像画像ＩＭ（１）上において、Ｖ（０）基準位置を中心とし、ｘ方向に予め定められた所定幅を有する領域を重複領域ＣＲ（１）とする。また、短冊領域決定部２３は、撮像画像ＩＭ（２）上において、Ｖ（０）基準位置を中心とし、ｘ方向に予め定められた所定幅を有する領域を重複領域ＣＲ（２）とする。ここで、重複領域ＣＲ（１）と重複領域ＣＲ（２）は、投影面上において互いに重なる領域（同じ領域）とされる。
【００８８】
そして、短冊領域決定部２３は、図中、右側に示すように、撮像画像ＩＭ（１）上における、撮像画像ＩＭ（１）の左端から重複領域ＣＲ（１）の右端までの領域を、フレーム１の撮像画像の短冊領域Ｖ（０）−１とする。同様に、短冊領域決定部２３は、撮像画像ＩＭ（２）上における、重複領域ＣＲ（２）の左端から撮像画像ＩＭ（２）の右端までの領域を、フレーム２の短冊領域Ｖ（０）−２とする。
【００８９】
なお、より詳細には、フレーム２以降では、処理対象のフレームの短冊領域Ｖ（０）を定めるにあたり、その前後のフレームについて考慮する必要がある。したがって、例えばフレームｍ（但し、ｍ≧２）の短冊領域Ｖ（０）−ｍは、撮像画像上における、フレーム（ｍ−１）との重複領域の左端から、フレーム（ｍ＋１）との重複領域の右端までの領域とされる。
【００９０】
短冊領域決定部２３は、このようにして各フレームの短冊領域Ｖ（０）を定めると、同様の処理を行って、各フレームの短冊領域Ｖ（ｎ）（但し、１≦ｎ）を定める。このとき、撮像画像上の基準位置から、＋ｘ方向または−ｘ方向に特定の距離だけ離れた位置が、Ｖ（０）基準位置に対応するＶ（ｎ）基準位置とされる。このとき、Ｖ（０）基準位置からＶ（ｎ）基準位置までの距離が、短冊領域Ｖ（ｎ）のオフセット量と等しくなるようにされる。
【００９１】
例えば、短冊領域決定部２３は、撮像画像ＩＭ（１）上における、撮像画像ＩＭ（１）の左端から、Ｖ（ｎ）基準位置に対して定められた重複領域の右端までの領域を、フレーム１の撮像画像の短冊領域Ｖ（ｎ）とする。
【００９２】
このように、Ｖ（０）基準位置からＶ（ｎ）基準位置までの距離が、オフセット量と等しくなるように各短冊領域を定めることで、互いに視差を有するパノラマ画像が得られる。
【００９３】
図４のフローチャートの説明に戻り、短冊領域決定部２３は、短冊領域を決定すると、撮像画像、動き補償パラメータ、および短冊領域の位置を示す短冊領域位置情報を、合成領域決定部２４に供給する。
【００９４】
ステップＳ１５において、合成領域決定部２４は、短冊領域決定部２３からの撮像画像、動き補償パラメータ、および短冊領域位置情報に基づいて合成領域を決定し、決定された合成領域の位置を示す合成領域情報、撮像画像、および動き補償パラメータをパノラマ画像生成部２５に供給する。このとき、パノラマ画像生成部２５−ｎ（但し１≦ｎ≦Ｎ）には、それぞれパノラマ画像ＰＶ（ｎ−１）を生成するための合成領域情報が供給される。
【００９５】
ステップＳ１６において、パノラマ画像生成部２５は、合成領域決定部２４からの合成領域情報、撮像画像、および動き補償パラメータを用いてパノラマ画像を生成し、視差制御部２６に供給する。
【００９６】
例えば、パノラマ画像生成部２５−１は、動き補償パラメータを用いて、動きのない同じ被写体がほぼ重なるように各撮像画像を投影面上に並べる。そして、パノラマ画像生成部２５−１は、合成領域情報により示される最終的な各撮像画像の短冊領域Ｖ（０）内の画像を切り出して、切り出された画像を合成することで、パノラマ画像ＰＶ（０）を生成する。
【００９７】
このように、パノラマ画像生成部２５によりステップＳ１６の処理が行われると、互いに異なる視点から見た被写体が表示される、複数個のパノラマ画像が得られる。これらのパノラマ画像には、同じ被写体が表示されているが、この被写体は視差を有することになる。そのため、これらのパノラマ画像のうちの任意の２つを同時に表示させれば、ユーザには、パノラマ画像上の被写体が立体的に見えることになる。
【００９８】
ステップＳ１７において、視差制御部２６は、パノラマ画像生成部２５から供給されたパノラマ画像の支配的な視差を検出する。すなわち、視差制御部２６は、パノラマ画像ＰＶ（０）を基準として、パノラマ画像ＰＶ（０）と他のパノラマ画像との支配的な視差を求める。
【００９９】
ここで、支配的な視差とは、パノラマ画像上の主要な被写体、つまり最も大きい（面積の広い）被写体が有する視差をいう。視差制御部２６は、パノラマ画像の画素ごとに視差を求め、各視差の大きさと、その大きさの視差を有するパノラマ画像の画素の数を示す評価値とからなる評価値テーブルを生成することにより、支配的な視差を求める。
【０１００】
具体的には、図６に示すように、視差制御部２６は、パノラマ画像ＰＶ（０）と、他のパノラマ画像とを選択する。例えば、図６の例では、パノラマ画像ＰＶ（０）とパノラマ画像ＰＶ（１）とが選択されている。なお、図６において、横方向および縦方向は、それぞれｘ方向およびｙ方向を示している。特に、図中、右方向は＋ｘ方向を示している。
【０１０１】
また、視差制御部２６は、パノラマ画像ＰＶ（０）およびパノラマ画像ＰＶ（１）上に、評価対象領域ＥＶ０および評価対象領域ＥＶ１を設定する。
【０１０２】
評価対象領域ＥＶ０は、その中心がパノラマ画像ＰＶ（０）の中心と同じ位置にあり、パノラマ画像ＰＶ（０）よりも所定の長さだけｘ方向に短い矩形領域である。同様に、評価対象領域ＥＶ１は、その中心がパノラマ画像ＰＶ（１）の中心と同じ位置にあり、パノラマ画像ＰＶ（１）よりも所定の長さだけｘ方向に短い矩形領域である。また、評価対象領域ＥＶ０と評価対象領域ＥＶ１は同じ大きさの領域とされる。視差制御部２６は、パノラマ画像の画素のうち、これらの評価対象領域内にある画素を処理対象として、各視差の評価値を求める。
【０１０３】
まず、視差制御部２６は、評価値テーブルの各視差に対する評価値を「０」に初期化し、視差「０」に対する評価値を求める。すなわち、図７に示すように、視差制御部２６は、パノラマ画像ＰＶ（０）における評価対象領域ＥＶ０内の所定の画素Ｇ０（ｉ）と、パノラマ画像ＰＶ（１）における評価対象領域ＥＶ１内の所定の画素Ｇ１（ｉ）とを処理対象の画素とする。なお、画素Ｇ０（ｉ）と画素Ｇ１（ｉ）は、パノラマ画像ＰＶ（０）とパノラマ画像ＰＶ（１）とを重ねた場合に、同じ位置にある画素とされる。
【０１０４】
次に、視差制御部２６は、パノラマ画像ＰＶ（１）上において画素Ｇ１（ｉ）にｘ方向に隣接する画素Ｇ１（ｉ＋１）および画素Ｇ１（ｉ−１）と、画素Ｇ１（ｉ）とを用いて閾値ｔｈを定める。すなわち、視差制御部２６は、画素Ｇ１（ｉ−１）、画素Ｇ１（ｉ）、および画素Ｇ１（ｉ＋１）の画素値のうちの最大値と最小値との差の絶対値を求めることにより、画素Ｇ１（ｉ）のｘ方向のダイナミックレンジＤＬを求める。
【０１０５】
視差制御部２６は、求めたダイナミックレンジＤＬが、予め定められた所定の値以上である場合、閾値ｔｈを予め定められた規定値とし、ダイナミックレンジＤＬが、予め定められた所定の値未満である場合、閾値ｔｈを規定値よりも小さい値とする。
【０１０６】
そして、視差制御部２６は、画素Ｇ０（ｉ）と画素Ｇ１（ｉ）の画素値の差分の絶対値を求め、求められた絶対値が閾値ｔｈ未満である場合、評価値テーブルの視差「０」に対する評価値に「１」を加算する。これに対して、視差制御部２６は、求めた絶対値が閾値ｔｈ以上である場合、視差「０」に対する評価値をそのままとする。
【０１０７】
処理対象の画素Ｇ０（ｉ）と画素Ｇ１（ｉ）の差分の絶対値がある程度小さい場合、それらの画素には同じ被写体が表示されているはずである。また、画素Ｇ０（ｉ）と画素Ｇ１（ｉ）は、パノラマ画像ＰＶ（０）およびパノラマ画像ＰＶ（１）上の同じ位置にある画素であるから、それらの画素に同じ被写体が表示されていれば、その被写体は視差を有さないことになる。つまり、画素Ｇ０（ｉ）と画素Ｇ１（ｉ）に表示されている被写体は、多視点画像の表示時においては、表示部２８等の表示画面上に定位することになる。
【０１０８】
なお、ダイナミックレンジＤＬに応じて閾値ｔｈを変化させるのは、処理対象の画素同士の相関の有無の誤判定を抑制するためである。例えば、画素Ｇ１（ｉ）の部分に、被写体として空間方向への画素値の変化が少ない平坦な被写体（例えば、空など）が表示されていたとする。
【０１０９】
この場合、画素Ｇ１（ｉ）近傍の画素の画素値は、画素Ｇ１（ｉ）の画素値に近い値となり、画素Ｇ０（ｉ）と画素Ｇ１（ｉ）に異なる被写体の部分が表示されていたとしても、それらの画素の差分の絶対値は、閾値ｔｈ未満となってしまうことがある。つまり、誤判定が生じることがある。そこで、ダイナミックレンジＤＬが小さい場合には、このような誤判定が生じにくくなるように、閾値ｔｈが通常の規定値よりも小さい値とされる。
【０１１０】
なお、誤判定の抑制のため、ダイナミックレンジＤＬが予め定められた所定の値未満である場合には、画素Ｇ０（ｉ）と画素Ｇ１（ｉ）を処理対象とせず、差分の計算を行わないようにしてもよい。
【０１１１】
このようにして、処理対象とされた画素の差分が求められ、閾値ｔｈとの閾値処理の結果に応じて評価値テーブルの評価値に「１」が加算されると、視差制御部２６は、評価対象領域ＥＶ０と評価対象領域ＥＶ１内のまだ処理対象としてない画素を選択し、処理対象とする。つまり、新たに処理対象とされた画素同士の差分の絶対値と、閾値ｔｈとが比較され、その比較結果に応じて、評価値テーブルが更新される。
【０１１２】
そして、評価対象領域ＥＶ０と評価対象領域ＥＶ１内の全ての画素が処理対象とされると、そのときの評価値テーブルの視差「０」の評価値が、最終的な評価値とされる。この評価値は、パノラマ画像の評価対象領域内において、視差が「０」である被写体が表示されている画素の数を示している。換言すれば、パノラマ画像上の評価対象領域内には、視差が「０」である被写体が表示される画素が、評価値に示される数だけ存在する。
【０１１３】
さらに、視差制御部２６は、評価対象領域ＥＶ０に対してパノラマ画像ＰＶ（０）の位置をずらしながら、評価対象領域ＥＶ０と評価対象領域ＥＶ１内の同じ位置にある画素を処理対象として、各視差の大きさについて評価値を求めていく。すなわち、視差制御部２６は、パノラマ画像ＰＶ（１）に対してパノラマ画像ＰＶ（０）の位置をずらしながら、パノラマ画像の差分を求め、各視差の評価値を求めていく。
【０１１４】
例えば、視差制御部２６は、図８に示すように、評価対象領域ＥＶ０に対してパノラマ画像ＰＶ（０）の位置を、図中、左方向にずらし、評価対象領域内の画素の差分を求める。なお、図中、横方向および縦方向はｘ方向およびｙ方向を示しており、特に右方向は＋ｘ方向を示している。
【０１１５】
図８の例では、評価対象領域ＥＶ０に対してパノラマ画像ＰＶ（０）が−ｘ方向に１２８画素分だけずらされており、評価対象領域ＥＶ０とパノラマ画像ＰＶ（０）の右側の端が一致している。この状態で、視差制御部２６は、図６および図７を参照して説明した処理を行う。つまり、視差制御部２６は、評価対象領域内の同じ位置にあるパノラマ画像ＰＶ（０）およびパノラマ画像ＰＶ（１）の画素の差分の絶対値を求め、その絶対値と閾値ｔｈを比較する。視差制御部２６は、比較の結果、絶対値が閾値未満であれば、評価値テーブルの視差「−１２８」の評価値に「１」を加算し、絶対値が閾値以上であれば、評価値の更新を行わない。
【０１１６】
このようにして、評価対象領域内の全ての画素を処理対象として評価値テーブルの更新を行うと、視差「−１２８」の最終的な評価値が得られる。視差「−１２８」の評価値の更新時においては、パノラマ画像ＰＶ（０）を１２８画素分だけずらして処理が行われるため、差分の絶対値が閾値未満である画素に表示される被写体は、パノラマ画像ＰＶ（０）とパノラマ画像ＰＶ（１）とで、１２８画素分だけ離れた位置に表示されることになる。つまり、その被写体は１２８画素分だけの視差を有することになる。そして、視差が「−１２８」である画素に表示されている被写体は、多視点画像の表示時においては、表示部２８等の表示画面よりもユーザから見て奥行き側に定位することになる。
【０１１７】
同様に、視差制御部２６は、図８の例と反対の方向にも評価対象領域ＥＶ０に対してパノラマ画像ＰＶ（０）の位置をずらしながら、評価対象領域ＥＶ０と評価対象領域ＥＶ１内の同じ位置にある画素を処理対象として、各視差の大きさについて評価値を求めていく。
【０１１８】
例えば、視差制御部２６は、図９に示すように、評価対象領域ＥＶ０に対してパノラマ画像ＰＶ（０）の位置を、図中、右方向にずらし、評価対象領域内の画素の差分を求める。なお、図中、横方向および縦方向はｘ方向およびｙ方向を示しており、特に右方向は＋ｘ方向を示している。
【０１１９】
図９の例では、評価対象領域ＥＶ０に対してパノラマ画像ＰＶ（０）が＋ｘ方向に１２８画素分だけずらされており、評価対象領域ＥＶ０とパノラマ画像ＰＶ（０）の左側の端が一致している。この状態で、視差制御部２６は、評価対象領域内の同じ位置にあるパノラマ画像ＰＶ（０）およびパノラマ画像ＰＶ（１）の画素の差分の絶対値を求め、その絶対値と閾値ｔｈを比較する。視差制御部２６は、比較の結果、絶対値が閾値未満であれば、評価値テーブルの視差「１２８」の評価値に「１」を加算し、絶対値が閾値以上であれば、評価値の更新を行わない。
【０１２０】
このようにして、評価対象領域内の全ての画素を処理対象として評価値テーブルの更新を行うと、視差「１２８」の最終的な評価値が得られる。視差が「１２８」である画素に表示されている被写体は、多視点画像の表示時においては、表示部２８等の表示画面よりもユーザから見て手前側に定位することになる。
【０１２１】
視差制御部２６は、以上のようにして、各視差の大きさについて評価値を求めると、評価値テーブルの評価値のうち、最も値が大きい評価値の視差を、パノラマ画像ＰＶ（０）とパノラマ画像ＰＶ（１）の間の支配的な視差とする。評価値テーブルにおいて、視差ごとの評価値は、その大きさの視差を有する画素の数、つまりパノラマ画像上の被写体の領域の大きさ（面積）を表している。したがって、パノラマ画像では、最も大きい評価値の視差を有する領域（画素）が、最も面積が広く、評価値が最大である視差が、パノラマ画像の被写体の支配的な視差であるということができる。
【０１２２】
また、視差制御部２６は、他のパノラマ画像についても、そのパノラマ画像とパノラマ画像ＰＶ（０）との支配的な視差を検出する。
【０１２３】
なお、パノラマ画像の支配的な視差を求める方法として、パノラマ画像の画素ごとの差分を求める例について説明したが、パノラマ画像ＰＶ（０）の領域と、他のパノラマ画像の領域との相関の度合いを示す相関値を求め、その相関値に基づいて各視差の評価値が求められればよい。例えば、パノラマ画像の画素ごとの差分ではなく、ブロックごとの差分に基づく値（例えばブロック内の画素の差分絶対値和）が相関値とされてもよい。
【０１２４】
また、パノラマ画像の差分を利用して支配的な視差を求める場合に、パノラマ画像ＰＶ（０）と、他のパノラマ画像とに対して間引きを行い、間引きされて縮小されたパノラマ画像の差分が求められて支配的な視差が求められるようにしてもよい。
【０１２５】
図４のフローチャートの説明に戻り、視差制御部２６が、パノラマ画像の支配的な視差を検出すると、処理はステップＳ１７からステップＳ１８へと進む。
【０１２６】
ステップＳ１８において、視差制御部２６は、求めたパノラマ画像間の支配的な視差に基づいて、パノラマ画像の視差調整を行う。
【０１２７】
すなわち、視差制御部２６は、求めた支配的な視差が打ち消されるように、パノラマ画像全体を視差の分だけシフト（移動）させる。具体的には、パノラマ画像ＰＶ（０）とパノラマ画像ＰＶ（１）の支配的な視差としてＰａが得られたとすると、視差制御部２６は、パノラマ画像のシフト量Ｓ＝Ｐａとして、パノラマ画像ＰＶ（１）全体をｘ方向にＳだけシフトさせる。
【０１２８】
例えばシフト量Ｓが正の値（Ｓ＞０）であれば、パノラマ画像ＰＶ（１）全体が評価対象領域ＥＶ１に対して＋ｘ方向にＳだけシフトされる。そして、シフト後において評価対象領域ＥＶ０および評価対象領域ＥＶ１内にあるパノラマ画像ＰＶ（０）とパノラマ画像ＰＶ（１）の領域が、最終的なパノラマ画像ＰＶ（０）およびパノラマ画像ＰＶ（１）とされて、多視点画像の生成に用いられる。
【０１２９】
支配的な視差Ｐａが正の値である場合、パノラマ画像ＰＶ（０）とパノラマ画像ＰＶ（１）を立体表示すると、主な被写体は表示部２８等の表示画面の手前側に定位する。そこで、視差が小さくなるように、つまり支配的な視差が「０」となるように、パノラマ画像ＰＶ（１）をシフトすれば、シフト後のパノラマ画像の主な被写体は表示部２８等の表示画面の位置に定位する。
【０１３０】
逆に、シフト量Ｓが負の値（Ｓ＜０）であれば、パノラマ画像ＰＶ（１）全体が評価対象領域ＥＶ１に対して−ｘ方向にシフトされる。すなわち、支配的な視差Ｐａが負の値である場合、パノラマ画像の主な被写体は、表示画面の奥行き側に定位するので、視差が大きくなるように、パノラマ画像ＰＶ（１）をシフトすれば、主な被写体を表示画面に定位させることができる。
【０１３１】
同様に、視差制御部２６は、他のパノラマ画像についても、パノラマ画像ＰＶ（０）を基準として、パノラマ画像ＰＶ（０）との支配的な視差に基づいて、その支配的な視差により定まるシフト量Ｓだけパノラマ画像をシフトさせ、視差制御を行なう。
【０１３２】
このように、パノラマ画像ＰＶ（０）を基準として視差制御を行なえば、例えば、パノラマ画像ＰＶ（１）とパノラマ画像ＰＶ（２）とに基づいて、パノラマ画像が立体表示されたときにも、主な被写体は、表示部２８等の表示画面に定位することになる。
【０１３３】
パノラマ画像の主要な被写体、つまり大きい被写体が表示部２８等の表示画面の位置に定位すると、その定位の位置とユーザの目の焦点位置とが一致して、ユーザの目や脳が疲れてしまうことがなくなる。しかも、パノラマ画像の主要な被写体は表示画面の位置に定位するが、他の被写体の部分は、表示画面の手前側や奥行き側に定位するため、パノラマ画像（多視点画像）が充分立体的に表示され、多視点画像は、より自然な奥行き感（立体感）を有するものとなる。
【０１３４】
このように、パノラマ画像の支配的な視差を求め、その支配的な視差が打ち消されるように、パノラマ画像の視差調整を行うことで、より適切な視差を有するパノラマ画像を得ることができ、その結果、より自然な立体感を再現することができる。
【０１３５】
視差制御部２６は、パノラマ画像の視差調整を行うと、その結果得られたパノラマ画像を表示選択部２７に供給し、処理はステップＳ１９に進む。
【０１３６】
ステップＳ１９において、表示選択部２７は、視差制御部２６から供給されたパノラマ画像に基づいて、多視点画像を生成する。
【０１３７】
例えば、図１０に示すように、視差制御部２６から表示選択部２７に４つのパノラマ画像ＰＶ（０）乃至パノラマ画像ＰＶ（３）が供給されたとする。このとき、表示選択部２７は、パノラマ画像ＰＶ（０）乃至パノラマ画像ＰＶ（３）のそれぞれの同じ位置にある、同じ大きさの表示領域ＤＰ−０乃至表示領域ＤＰ−３のそれぞれを部分画像Ｂ（０）乃至部分画像Ｂ（３）として切り出して、それらの４つの部分画像からなる画像を多視点画像とする。
【０１３８】
具体的には、表示選択部２７は、切り出された部分画像Ｂ（０）乃至部分画像Ｂ（３）のそれぞれを、いくつかの短冊状の画像（以下、短冊画像ＴＰ（０）乃至短冊画像ＴＰ（３）と称する）に分割する。そして、表示選択部２７は、短冊画像ＴＰ（０）乃至短冊画像ＴＰ（３）の順番で繰り返し短冊画像を１つずつ並べて得られる１つの画像を、多視点画像とする。つまり、短冊画像ＴＰ（０）乃至短冊画像ＴＰ（３）の順番で並べられた合計４つの短冊画像のセットが、繰り返し並べられたものが多視点画像とされる。
【０１３９】
この多視点画像をレンチキュラ方式により表示すると、多視点画像を構成する複数の部分画像のうち、ユーザの視点位置に応じて定まる２つの部分画像の光が、それぞれユーザの右眼および左眼に導かれて、ユーザの目には立体的な部分画像が観察される。
【０１４０】
なお、パノラマ画像の一部の領域が部分画像とされて、多視点画像が生成されると説明したが、パノラマ画像がそのまま部分画像とされて多視点画像が生成されてもよい。
【０１４１】
表示選択部２７は、多視点画像を生成すると、撮像装置１１の指示に従って、生成した多視点画像を表示部１２または表示部２８の何れかに供給する。このとき撮像装置１１は、表示選択部２７を制御して、視聴環境パラメータにより示される表示部、例えば、多視点画像の生成開始時にユーザにより指定された表示先に、多視点画像を供給させる。
【０１４２】
ステップＳ２０において、表示部２８または表示部１２は、表示選択部２７から供給された多視点画像を表示して、多視点画像表示処理は終了する。
【０１４３】
このようにして撮像装置１１は、視聴環境に合った視点数および視差を有する多視点画像が得られるように、視聴環境パラメータに基づいて、短冊領域の数とオフセット量を定め、短冊領域から画像を切り出してパノラマ画像を生成する。そして、撮像装置１１は、得られたパノラマ画像の視差調整を行い、視差調整後のパノラマ画像から多視点画像を生成し、表示する。
【０１４４】
このように、視聴環境パラメータに基づいて短冊領域の数およびオフセット量を定めることで、視聴環境に合った、より適切な視差を有する多視点画像を得ることができる。
【０１４５】
また、生成されたパノラマ画像に対して、パノラマ画像の画素同士の差分を求めることで、より簡単かつ迅速にパノラマ画像の支配的な視差を求めることができ、これにより得られた視差を打ち消すようにパノラマ画像に対するシフト処理を行えば、より適切な視差を有する多視点画像を得ることができる。したがって、得られた多視点画像を表示すれば、より自然な立体感を再現することができる。
【０１４６】
なお、以上においては、パノラマ画像の支配的な視差に基づいて、パノラマ画像の視差調整を行なうと説明したが、求められた支配的な視差を用いてオフセット量を設定し直して、撮像画像から最終的なパノラマ画像を生成し直すようにしてもよい。この場合、設定し直されたオフセット量に基づいて短冊領域が定められ、その短冊領域の画像が合成されて、最終的なパノラマ画像が生成される。
【０１４７】
また、パノラマ画像の視差調整時にパノラマ画像ＰＶ（０）を基準として、他のパノラマ画像をシフト量Ｓだけシフトさせると説明したが、パノラマ画像ＰＶ（０）もシフトされるようにしてもよい。そのような場合、各パノラマ画像について求められたシフト量に応じて、パノラマ画像ＰＶ（０）を含む各パノラマ画像のシフトの方向と量が定められる。
【０１４８】
さらに、多視点画像の生成に用いる部分画像が切り出される表示領域の大きさは、表示部２８等の画面サイズや、ユーザによる多視点画像の表示の表示倍率（拡大倍率）などにより定められるようにしてもよい。
【０１４９】
例えば、ユーザにより表示倍率が指定される場合、視聴環境パラメータには、表示倍率を示す情報も含まれる。そして、環境パラメータにより示される画面サイズ、視聴距離、および表示倍率によって、オフセット量が定められる。
【０１５０】
〈第２の実施の形態〉
［撮像装置の構成］
さらに、以上においては、視聴環境パラメータに基づいて、短冊領域の数とオフセット量を定めると説明したが、予め定められた数とオフセット量の短冊領域からパノラマ画像を生成し、それらのパノラマ画像のなかから、多視点画像の生成に用いるものを選択するようにしてもよい。
【０１５１】
そのような場合、撮像装置１１は、図１１に示すように構成される。なお、図１１において、図３における場合と対応する部分には同一の符号を付してあり、その説明は省略する。図１１の撮像装置１１では、図３の短冊領域決定部２３および表示選択部２７に代えて、短冊領域決定部５１および表示選択部５２が設けられている。
【０１５２】
短冊領域決定部５１は、動き算出部２２から供給された撮像画像および動き補償パラメータに基づいて、予め定められたオフセット量で、予め定められた数の短冊領域を決定し、撮像画像、動き補償パラメータ、および短冊領域位置情報を、合成領域決定部２４に供給する。
【０１５３】
また、表示選択部５２は、入力された視聴環境パラメータに基づいて、視差制御部２６から供給された、複数のパノラマ画像のうちのいくつかを用いて多視点画像を生成し、表示部１２または表示部２８に供給する。
【０１５４】
［多視点画像表示処理の説明］
次に、図１２のフローチャートを参照して、図１１の撮像装置１１により行なわれる多視点画像表示処理について説明する。なお、ステップＳ５１およびステップＳ５２の処理は、図４のステップＳ１１およびステップＳ１２の処理と同様の処理であるので、その説明は省略する。
【０１５５】
ステップＳ５３において、短冊領域決定部５１は、動き算出部２２から供給された撮像画像および動き補償パラメータに基づいて、予め定められたオフセット量で、予め定められた数の短冊領域を決定する。
【０１５６】
例えば、短冊領域決定部５１は、撮像画像上における互いに隣接する短冊領域同士の間隔（以下、短冊領域間隔と称する）が５０画素となるオフセット量で、予め定められたＮ個の短冊領域を決定する。なお、各撮像画像上における短冊領域の位置を定める処理は、図５を参照して説明した処理と同様の処理であるので、その説明は省略する。
【０１５７】
短冊領域を決定すると、短冊領域決定部５１は、撮像画像、動き補償パラメータ、および短冊領域位置情報を合成領域決定部２４に供給し、その後、ステップＳ５４乃至ステップＳ５７の処理が行われる。すなわち、最終的な短冊領域から画像が切り出されてパノラマ画像が生成され、各パノラマ画像の視差調整が行われる。
【０１５８】
なお、これらのステップＳ５４乃至ステップＳ５７の処理は、図４のステップＳ１５乃至ステップＳ１８の処理と同様であるので、その説明は省略する。
【０１５９】
ステップＳ５８において、表示選択部５２は、入力された視聴環境パラメータに基づいて、視差制御部２６から供給されたパノラマ画像から多視点画像を生成する。
【０１６０】
具体的には、表示選択部５２は、多視点画像を表示させる表示部の画面サイズおよび視聴距離と、多視点画像の生成に用いるべきパノラマ画像の短冊領域同士の撮像画像上における間隔（以下、オフセット間隔と称する）とが対応付けられたオフセット間隔テーブルを、予め保持している。このオフセット間隔は、実質的な短冊領域間隔であり、指定された視聴環境に対して、多視点画像の生成に用いるべきパノラマ画像の短冊領域の、撮像画像上における位置関係を示すものである。
【０１６１】
例えば、画面サイズがモバイルディスプレイなどの小型な表示部のサイズである場合、オフセット間隔は１００画素とされ、画面サイズがモバイルディスプレイよりも大型な、家庭用テレビジョン受像機等の表示部のサイズである場合、オフセット間隔は５０画素とされる。
【０１６２】
これは、視聴距離が同じである場合、画面サイズが大きいほど、ユーザから見た多視点画像の視差が大きくなるからである。すなわち、画面サイズにより視差が大きくなる分、オフセット間隔（オフセット量）を小さくすることで、多視点画像の視差が小さくなるように調整され、より適切な視差を持つ多視点画像が得られることになる。
【０１６３】
表示選択部５２は、オフセット間隔テーブルを参照し、視聴環境パラメータに示される画面サイズおよび視聴距離に基づいて、生成しようとする多視点画像のオフセット間隔を定める。そして、表示選択部５２は、視聴環境パラメータに示される多視点画像の視点数およびオフセット間隔から、生成に用いるパノラマ画像を選択し、選択したパノラマ画像から多視点画像を生成する。
【０１６４】
例えば、図１３の左側に示すように、視差制御部２６から８つのパノラマ画像ＰＶ（０）乃至パノラマ画像ＰＶ（７）が供給され、それらのパノラマ画像の短冊領域間隔が５０画素であるとする。すなわち、撮像画像上で互いに隣接する短冊領域同士の間隔が、５０画素とされて生成された８つのパノラマ画像が供給されたとする。
【０１６５】
なお、図１３において、パノラマ画像ＰＶ（０）乃至パノラマ画像ＰＶ（７）における表示領域ＤＰ−０乃至表示領域ＤＰ−７は、そのパノラマ画像が多視点画像の生成に用いられる場合に、部分画像が切り出される領域である。
【０１６６】
いま、表示選択部５２が、オフセット間隔テーブルと視聴環境パラメータとから、視点数が４で、オフセット間隔が１００画素である多視点画像を生成するとする。この場合、表示選択部５２は、図中、中央に示すように、パノラマ画像ＰＶ（０）乃至パノラマ画像ＰＶ（７）から、パノラマ画像ＰＶ（０）、パノラマ画像ＰＶ（２）、パノラマ画像ＰＶ（４）、およびパノラマ画像ＰＶ（６）の４つを選択する。
【０１６７】
そして、表示選択部５２は、選択したこれらのパノラマ画像の表示領域ＤＰ−０、表示領域ＤＰ−２、表示領域ＤＰ−４、および表示領域ＤＰ−６を部分画像として切り出して、４視点の多視点画像を生成する。
【０１６８】
ここで、パノラマ画像ＰＶ（０）、パノラマ画像ＰＶ（２）、パノラマ画像ＰＶ（４）、およびパノラマ画像ＰＶ（６）は、撮像画像上において、１００画素間隔で並ぶ短冊領域の画像から生成されたパノラマ画像である。したがって、実質的に、短冊領域間隔が１００画素となるオフセット量でパノラマ画像が生成され、それらのパノラマ画像から多視点画像が生成されたことになる。
【０１６９】
また、例えば、視点数が４でオフセット間隔が５０画素である多視点画像を生成する場合、表示選択部５２は、図中、右側に示すように、パノラマ画像ＰＶ（０）乃至パノラマ画像ＰＶ（７）のうちの、パノラマ画像ＰＶ（２）乃至パノラマ画像ＰＶ（５）を用いて多視点画像を生成する。
【０１７０】
このように、視聴環境に応じて、複数のパノラマ画像のうちのいくつかを選択すれば、互いに適切な視差を有するパノラマ画像が得られ、これらのパノラマ画像を用いると、視聴環境に合った、より適切な視差を有する多視点画像を得ることができる。
【０１７１】
表示選択部５２は、多視点画像を生成すると、得られた多視点画像を表示部１２または表示部２８に供給する。このとき表示選択部５２は、視聴環境パラメータにより示される表示先、例えば多視点画像の生成開始時にユーザにより指定された表示部に、多視点画像を供給する。
【０１７２】
ステップＳ５９において、表示部２８または表示部１２は、表示選択部５２から供給された多視点画像を表示する。
【０１７３】
ステップＳ６０において、表示選択部５２は、視聴環境が変更されたか否かを判定する。例えば、ユーザにより撮像装置１１が操作され、多視点画像の表示先が表示部２８から表示部１２に切り替えられると、表示選択部５２に供給される視聴環境パラメータが変化する。表示選択部５２は、供給された視聴環境パラメータが変化したとき、視聴環境が変更されたと判定する。なお、その他、例えば図示せぬセンサにより検出される視聴距離の変化によっても、視聴環境パラメータは変化する。
【０１７４】
ステップＳ６０において、視聴環境が変更されたと判定された場合、処理はステップＳ５８に戻り、上述した処理が繰り返される。すなわち、新たに供給された視聴環境パラメータに基づいて、新たな多視点画像が生成され、表示される。
【０１７５】
なお、視聴環境パラメータに、多視点画像の表示倍率や、多視点画像の立体感強度の設定が含まれるようにし、それらの表示倍率や立体感強度の設定が変更された場合にも、多視点画像が生成し直されるようにしてもよい。表示倍率は、部分画像の大きさ、つまりパノラマ画像から部分画像が切り出される表示領域の大きさにより定まる。
【０１７６】
例えば、視聴環境パラメータの表示倍率または立体感強度の設定のみが変更された場合、表示選択部５２は、これまで表示していた多視点画像のオフセット間隔を、表示倍率または立体感強度の設定の変更に応じた値（画素数）だけ増減させる。そして、表示選択部５２は、新たに定めたオフセット間隔と、これまでの視点数とから新たな多視点画像を生成する。
【０１７７】
具体的には、オフセット間隔が１００画素とされ、図１３のパノラマ画像ＰＶ（０）、パノラマ画像ＰＶ（２）、パノラマ画像ＰＶ（４）、およびパノラマ画像ＰＶ（６）から表示倍率が１である多視点画像が生成されて表示されていたとする。
【０１７８】
そして、この状態から、ユーザが撮像装置１１を操作して、表示倍率を「１」から「２」に変更したとする。この場合、例えば、表示選択部５２は、表示倍率の変更に応じてオフセット間隔を１００画素から５０画素だけ減少させ、新たなオフセット間隔を５０画素とする。そして、表示選択部５２は、視点数「４」と、新たなオフセット間隔「５０画素」とから、パノラマ画像ＰＶ（２）乃至パノラマ画像ＰＶ（５）を用いて多視点画像を再生成する。
【０１７９】
なお、このとき、例えば各パノラマ画像上の部分画像が切り出される表示領域は、これまでの大きさの半分の大きさの領域とされ、新たな表示領域から切り出された部分画像が２倍に拡大されて、多視点画像が生成される。これにより、これまで表示していた多視点画像に対して、被写体が２倍に拡大された新たな多視点画像が得られる。
【０１８０】
また、例えば、立体感強度の設定が普通から強めに変更された場合、オフセット間隔がこれまでの値から１００画素だけ増加され、立体感強度の設定が普通から弱めに変更された場合、オフセット間隔がこれまでの値から１００画素だけ減少される。
【０１８１】
なお、表示領域は、多視点画像が表示される表示部（例えば、表示部２８または表示部１２）の表示画面の大きさによって異なるようにしてもよい。そのような場合、視聴環境パラメータにより示される画面サイズによって、部分画像が切り出される表示領域の大きさが定められる。また、ユーザが好みに応じて、視聴距離などの視聴環境パラメータの要素を変更できるようにしてもよい。
【０１８２】
さらに、ステップＳ６０において、視聴環境が変更されなかったと判定された場合、ステップＳ６１において、撮像装置１１は、処理を終了するか否かを判定する。例えば、多視点画像の表示の終了がユーザにより指示された場合、処理を終了すると判定される。
【０１８３】
ステップＳ６１において、処理を終了しないと判定された場合、処理はステップＳ６０に戻り、上述した処理が繰り返される。
【０１８４】
一方、ステップＳ６１において、処理を終了すると判定された場合、撮像装置１１の各部は、行なっている処理を終了し、多視点画像表示処理は終了する。
【０１８５】
このようにして撮像装置１１は、視聴環境に合わせて複数のパノラマ画像のなかから、適切なパノラマ画像を選択し、それらの選択したパノラマ画像から多視点画像を生成して表示する。このように、視聴環境パラメータに基づいて、オフセット間隔および視点数を定めてパノラマ画像を選択することで、視聴環境に合った、より適切な視差を有する多視点画像を得ることができる。
【０１８６】
〈変形例１〉
［支配的な視差についての説明］
ところで、以上においては、パノラマ画像から支配的な視差を求め、その視差に応じてパノラマ画像の視差調整を行なうと説明したが、本出願人により、パノラマ画像の支配的な視差の絶対値は、短冊領域のオフセット量とほぼ等しいことが確認されている。
【０１８７】
例えば、図１４に示すように、撮像部２１を構成するレンズの主点Ｌ０が、回転中心ＯＣを中心として図中、時計回りの方向に回動するように、ユーザが撮像装置１１を移動させながら撮像画像を撮像させたとする。ここで、レンズの主点Ｌ０から回転中心ＯＣまでの距離、つまり回転半径はｒとされ、撮像部２１の焦点距離はｆであるとする。
【０１８８】
また、撮像面ＶＳ（ｔ）と撮像面ＶＳ（ｔ＋１）が時間的に連続して撮像され、撮像面ＶＳ（ｔ）上の領域Ｖ（０）−１と領域Ｖ（８）−１が短冊領域Ｖ（０）と短冊領域Ｖ（８）に相当し、撮像面ＶＳ（ｔ＋１）上の領域Ｖ（０）−２と領域Ｖ（８）−２が短冊領域Ｖ（０）と短冊領域Ｖ（８）に相当するとする。このとき、オフセット量が２Ｈであるとすると、領域Ｖ（０）−１と領域Ｖ（８）−１の間の距離、および領域Ｖ（０）−２と領域Ｖ（８）−２の間の距離は、ともにオフセット量２Ｈとなる。
【０１８９】
図１４の例では、撮像面ＶＳ（ｔ）と撮像面ＶＳ（ｔ＋１）のそれぞれに対応する撮像画像上には、同じ被写体ＯＢ２１が表示され、被写体ＯＢ２１は、それぞれ領域Ｖ（８）−１と領域Ｖ（０）−２に対応する領域に表示される。この場合における実際の被写体ＯＢ２１の視差は、領域Ｖ（８）−１と領域Ｖ（０）−２の距離２ｄである。
【０１９０】
また、図１４の例で撮像された撮像画像から、短冊領域Ｖ（０）と短冊領域Ｖ（８）を切り出して２つのパノラマ画像を生成すると、それらのパノラマ画像の視差は、領域Ｖ（０）−１から領域Ｖ（０）−２までの距離Ｄとなる。そして、この視差Ｄは、領域Ｖ（０）−１から領域Ｖ（８）−１までの距離、つまりオフセット量２Ｈと、被写体ＯＢ２１の視差２ｄの和により表すことができるが、連続して撮像画像が撮像される場合には、視差２ｄは微小な値となるため、無視することができる。したがって、パノラマ画像の視差Ｄは、オフセット量２Ｈと近似することができる。
【０１９１】
このように、２つのパノラマ画像の視差Ｄは、オフセット量２Ｈとほぼ同じであるので、オフセット量に基づいてパノラマ画像の視差調整をすれば、パノラマ画像の支配的な視差を求めなくても、適切な視差制御を行なうことができる。
【０１９２】
撮像装置１１が、オフセット量に基づいてパノラマ画像の視差調整を行なう場合、図３および図１１の視差制御部２６にオフセット量が供給される。そして、図４および図１２のステップＳ１７およびステップＳ５６の処理は行われず、ステップＳ１８およびステップＳ５７において、オフセット量に基づいてパノラマ画像の視差調整が行なわれる。
【０１９３】
すなわち、視差制御部２６は、オフセット量が入力されると、そのオフセット量に「−１」を乗算した値をシフト量Ｓとして、パノラマ画像ＰＶ（０）に対して、シフト量Ｓだけ処理対象のパノラマ画像全体をｘ方向にシフトさせることで、視差調整を行なう。
【０１９４】
例えば、短冊領域Ｖ（０）を基準として、短冊領域Ｖ（１）、短冊領域Ｖ（２）、および短冊領域Ｖ（３）のオフセット量が、それぞれ２Ｈ、４Ｈ、および６Ｈであったとする。この場合、視差制御部２６は、パノラマ画像ＰＶ（１）乃至パノラマ画像ＰＶ（３）のそれぞれのシフト量Ｓを、Ｓ＝−２Ｈ、Ｓ＝−４Ｈ、およびＳ＝−６Ｈとして、それらのシフト量の分だけ、パノラマ画像ＰＶ（１）乃至パノラマ画像ＰＶ（３）をｘ方向にシフトさせる。
【０１９５】
このように、オフセット量を用いてパノラマ画像の視差調整を行なうことでも、より適切な視差を有するパノラマ画像を得ることができ、より自然な立体感を有する多視点画像を表示することができる。
【０１９６】
なお、シフト量をオフセット量と同じ大きさにする例について説明したが、オフセット量を多少増減させた値をシフト量として用いるようにしてもよい。
＄
さらに、以上においては、パノラマ画像は、撮像画像よりも画角の広い画像であると説明したが、パノラマ画像は、必ずしもより画角の広い画像である必要はなく、例えば、撮像画像と同じ画角の画像であってもよい。
【０１９７】
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０１９８】
図１５は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０１９９】
コンピュータにおいて、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。
【０２００】
バス２０４には、さらに、入出力インターフェース２０５が接続されている。入出力インターフェース２０５には、キーボード、マウス、マイクロホンなどよりなる入力部２０６、ディスプレイ、スピーカなどよりなる出力部２０７、ハードディスクや不揮発性のメモリなどよりなる記録部２０８、ネットワークインターフェースなどよりなる通信部２０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア２１１を駆動するドライブ２１０が接続されている。
【０２０１】
以上のように構成されるコンピュータでは、CPU２０１が、例えば、記録部２０８に記録されているプログラムを、入出力インターフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。
【０２０２】
コンピュータ（CPU２０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア２１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０２０３】
そして、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インターフェース２０５を介して、記録部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記録部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記録部２０８に、あらかじめインストールしておくことができる。
【０２０４】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０２０５】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０２０６】
１１ 撮像装置， １２ 表示部， ２１ 撮像部， ２２ 動き算出部， ２３ 短冊領域決定部， ２４ 合成領域決定部， ２５−１乃至２５−Ｎ，２５ パノラマ画像生成部， ２６ 視差制御部， ２７ 表示選択部， ２８ 表示部， ５１ 短冊領域決定部， ５２ 表示選択部
【技術分野】
【０００１】
本発明は画像処理装置および方法、並びにプログラムに関し、特に、より適切な視差を有する多視点画像を表示させることができるようにした画像処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
従来、撮像装置を所定方向にパンさせながら撮像して得られた複数の静止画像を重ね合わせて合成することで、パノラマ画像を生成する技術が知られている（例えば、特許文献１参照）。パノラマ画像は、複数の静止画像を並べて合成することで得られる画像であるので、パノラマ画像によれば、１つの静止画像の撮像時に撮像対象となる空間上の領域よりも、より広い領域を被写体として表示することができる。
【０００３】
また、パノラマ画像を得るために、撮像装置をパンさせながら複数の静止画像を撮像した場合には、いくつかの静止画像に、同じ被写体が含まれていることがある。そのような場合において、異なる静止画像上の同じ被写体は、互いに異なる位置から撮像されたものであるから、視差が生じていることになる。
【０００４】
これを利用して、複数の静止画像から、互いに視差を有する複数のパノラマ画像を生成し、それらのパノラマ画像の一部または全部の領域をレンチキュラ方式で同時に表示すれば、多視点画像を表示させることができる。
【０００５】
ここで、多視点画像とは、画像が表示される表示画面を見る位置によって、つまりユーザの視点位置によって、同じ被写体が異なる視差で表示される画像である。例えば、複数のパノラマ画像をそのまま多視点画像とする場合、それらの複数のパノラマ画像のうち、ユーザの視点位置により定まる２つが、それぞれユーザの右眼および左眼で観察されるようにパノラマ画像が表示される。このとき、ユーザにより観察される２つのパノラマ画像は視差を有するから、ユーザにはパノラマ画像上の被写体が立体的に見える。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許第３１６８４４３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところが、多視点画像を表示させる表示装置の画面の大きさ等の視聴環境によって、多視点画像を構成する各画像間に持たせるべき適切な視差の大きさは変化する。しかしながら、上述した技術では、視聴環境に合わせて適切な視差を有する多視点画像を得ることはできなかった。
【０００８】
本発明は、このような状況に鑑みてなされたものであり、視聴環境に合った、より適切な視差を有する多視点画像を得ることができるようにするものである。
【課題を解決するための手段】
【０００９】
本発明の第１の側面の画像処理装置は、撮像手段を移動させながら前記撮像手段により撮像して得られた複数の撮像画像に基づいて、多視点画像の生成に用いられる互いに視差を有する複数の合成画像を生成する画像処理装置であって、前記多視点画像の視聴環境を示す情報に基づいて、複数の前記合成画像のそれぞれについて、前記合成画像の生成に用いられる画像が切り出される前記撮像画像上の短冊領域を決定する短冊領域決定手段と、複数の前記撮像画像から前記短冊領域の画像を切り出して合成し、前記合成画像を生成する合成画像生成手段と、複数の前記合成画像を用いて、ユーザの視点位置に応じて異なる視差の被写体が立体表示される前記多視点画像を生成する多視点画像生成手段とを備える。
【００１０】
前記短冊領域決定手段には、前記撮像画像上の前記短冊領域が、前記視聴環境を示す情報により示される前記多視点画像の表示先の画面サイズによって定まる位置関係となるように、前記短冊領域のそれぞれの位置を決定させることができる。
【００１１】
前記短冊領域決定手段には、前記撮像画像において、前記撮像画像の端により近い前記短冊領域ほど、隣接する前記短冊領域同士の距離がより短くなるように、前記短冊領域の位置を決定させることができる。
【００１２】
本発明の第１の側面の画像処理方法またはプログラムは、撮像手段を移動させながら前記撮像手段により撮像して得られた複数の撮像画像に基づいて、多視点画像の生成に用いられる互いに視差を有する複数の合成画像を生成する画像処理方法またはプログラムであって、前記多視点画像の視聴環境を示す情報に基づいて、複数の前記合成画像のそれぞれについて、前記合成画像の生成に用いられる画像が切り出される前記撮像画像上の短冊領域を決定し、複数の前記撮像画像から前記短冊領域の画像を切り出して合成することで、前記合成画像を生成し、複数の前記合成画像を用いて、ユーザの視点位置に応じて異なる視差の被写体が立体表示される前記多視点画像を生成するステップを含む。
【００１３】
本発明の第１の側面においては、撮像手段を移動させながら前記撮像手段により撮像して得られた複数の撮像画像に基づいて、多視点画像の生成に用いられる互いに視差を有する複数の合成画像を生成する画像処理において、前記多視点画像の視聴環境を示す情報に基づいて、複数の前記合成画像のそれぞれについて、前記合成画像の生成に用いられる画像が切り出される前記撮像画像上の短冊領域が決定され、複数の前記撮像画像から前記短冊領域の画像が切り出されて合成され、前記合成画像が生成され、複数の前記合成画像が用いられて、ユーザの視点位置に応じて異なる視差の被写体が立体表示される前記多視点画像が生成される。
【００１４】
本発明の第２の側面の画像処理装置は、撮像手段を移動させながら前記撮像手段により撮像して得られた複数の撮像画像に基づいて、多視点画像の生成に用いられる互いに視差を有する複数の合成画像を生成する画像処理装置であって、複数の前記合成画像のそれぞれについて、前記合成画像の生成に用いられる画像が切り出される前記撮像画像上の短冊領域を決定する短冊領域決定手段と、複数の前記撮像画像から前記短冊領域の画像を切り出して合成し、前記合成画像を生成する合成画像生成手段と、前記多視点画像の視聴環境を示す情報に基づいて、複数の前記合成画像のうちのいくつかを選択し、選択された前記合成画像を用いて、ユーザの視点位置に応じて異なる視差の被写体が立体表示される前記多視点画像を生成する多視点画像生成手段とを備える。
【００１５】
前記多視点画像生成手段には、前記視聴環境を示す情報により示される前記多視点画像の表示先の画面サイズによって定まる位置関係の前記短冊領域の画像から生成された前記パノラマ画像を選択させ、前記多視点画像を生成させることができる。
【００１６】
前記多視点画像生成手段には、前記視聴環境が変更された場合、変更された前記視聴環境を示す情報に基づいて、前記多視点画像を再生成させることができる。
【００１７】
前記多視点画像生成手段には、前記視聴環境として前記多視点画像の表示倍率が変更された場合、前記表示倍率の変更に応じて、前記画面サイズによって定まる前記位置関係を変更させることができる。
【００１８】
本発明の第２の側面の画像処理方法またはプログラムは、撮像手段を移動させながら前記撮像手段により撮像して得られた複数の撮像画像に基づいて、多視点画像の生成に用いられる互いに視差を有する複数の合成画像を生成する画像処理方法またはプログラムであって、複数の前記合成画像のそれぞれについて、前記合成画像の生成に用いられる画像が切り出される前記撮像画像上の短冊領域を決定し、複数の前記撮像画像から前記短冊領域の画像を切り出して合成することで、前記合成画像を生成し、前記多視点画像の視聴環境を示す情報に基づいて、複数の前記合成画像のうちのいくつかを選択し、選択された前記合成画像を用いて、ユーザの視点位置に応じて異なる視差の被写体が立体表示される前記多視点画像を生成するステップを含む。
【００１９】
本発明の第２の側面においては、撮像手段を移動させながら前記撮像手段により撮像して得られた複数の撮像画像に基づいて、多視点画像の生成に用いられる互いに視差を有する複数の合成画像を生成する画像処理において、複数の前記合成画像のそれぞれについて、前記合成画像の生成に用いられる画像が切り出される前記撮像画像上の短冊領域が決定され、複数の前記撮像画像から前記短冊領域の画像が切り出されて合成され、前記合成画像が生成され、前記多視点画像の視聴環境を示す情報に基づいて、複数の前記合成画像のうちのいくつかが選択され、選択された前記合成画像が用いられて、ユーザの視点位置に応じて異なる視差の被写体が立体表示される前記多視点画像が生成される。
【発明の効果】
【００２０】
本発明の第１の側面によれば、視聴環境に合った、より適切な視差を有する多視点画像を得ることができる。
【００２１】
また、本発明の第２の側面によれば、視聴環境に合った、より適切な視差を有する多視点画像を得ることができる。
【図面の簡単な説明】
【００２２】
【図１】パノラマ画像について説明する図である。
【図２】多視点画像について説明する図である。
【図３】本発明を適用した撮像装置の一実施の形態の構成例を示す図である。
【図４】多視点画像表示処理を説明するフローチャートである。
【図５】短冊領域について説明する図である。
【図６】支配的な視差の検出について説明する図である。
【図７】支配的な視差の検出について説明する図である。
【図８】支配的な視差の検出について説明する図である。
【図９】支配的な視差の検出について説明する図である。
【図１０】多視点画像の生成について説明する図である。
【図１１】本発明を適用した撮像装置の他の構成例を示す図である。
【図１２】多視点画像表示処理を説明するフローチャートである。
【図１３】多視点画像の生成について説明する図である。
【図１４】オフセット量と視差の関係について説明する図である。
【図１５】コンピュータの構成例を示す図である。
【発明を実施するための形態】
【００２３】
以下、図面を参照して、本発明を適用した実施の形態について説明する。
【００２４】
〈第１の実施の形態〉
［多視点画像の説明］
本発明を適用した撮像装置は、例えばカメラなどからなり、撮像装置が移動している状態で、撮像装置が連続的に撮像した複数の撮像画像から、多視点画像を生成する。多視点画像は、互いに視差を有する複数のパノラマ画像から構成される。
【００２５】
ユーザが撮像装置に多視点画像を生成させようとする場合、ユーザは撮像装置を操作して、多視点画像の生成に用いられる撮像画像を撮像させる。
【００２６】
例えば、図１の左側に示すように、撮像装置のレンズ主点が位置ｆｐ１にある状態で、仮想撮像面ＶＳを撮像すると、撮像画像ＩＭが得られる。例えば、撮像画像ＩＭ上の領域ＴＲＲおよび領域ＴＲＬには、それぞれ実空間上の領域ＳＥＲおよび領域ＳＥＬにある被写体が表示されることになる。
【００２７】
そして、ユーザが図１中、横方向に撮像装置を移動させながら複数の撮像画像を撮像させると、各撮像画像は視差を有することになる。具体的には、図１中央に示すように、時刻Ｔ＝ｔにおいて、レンズ主点が位置ｆｐ１にある状態で撮像画像を撮像し、時刻Ｔ＝ｔ＋Δｔにおいて、レンズ主点が位置ｆｐ２にある状態で撮像画像を撮像すると、それらの撮像画像には、同じ被写体ＯＢ１が表示される。このとき、被写体ＯＢ１の撮像位置は互いに異なるので視差が生じることになる。これを利用すれば、同じ被写体が表示される、互いに視差を有するパノラマ画像が得られる。
【００２８】
すなわち、撮像装置を移動させながら撮像して得られた各撮像画像から、それぞれ撮像画像ＩＭの領域ＴＲＲおよび領域ＴＲＬに対応する領域を切り出して合成すれば、図１中、右側に示すように、パノラマ画像ＰＲとパノラマ画像ＰＬが得られる。
【００２９】
ここで、パノラマ画像ＰＲは、各撮像画像の領域ＴＲＲに対応する領域を並べて合成することで得られる画像であり、このパノラマ画像ＰＲは、位置ｆｐ３を仮想的なレンズ主点位置として被写体を撮像して得られる画像である。一方、パノラマ画像ＰＬは、各撮像画像の領域ＴＲＬに対応する領域を並べて合成することで得られる画像であり、このパノラマ画像ＰＬは、位置ｆｐ４を仮想的なレンズ主点位置として被写体を撮像して得られる画像である。そしてパノラマ画像ＰＲとパノラマ画像ＰＬは、互いに視差を有し、同じ被写体が表示されている画像である。
【００３０】
そこで、パノラマ画像ＰＲを右眼用の画像とし、パノラマ画像ＰＬを左眼用の画像としてレンチキュラ方式等により同時に表示すれば、ユーザの目には、立体的なパノラマ画像が見えることになる。
【００３１】
このように、複数の撮像画像の所定の領域（以下、短冊領域と称する）を切り出して、それらの部分的な画像を並べて合成し、１つの画像とすれば１つのパノラマ画像が得られる。また、短冊領域をずらして異なるパノラマ画像を生成すれば、互いに視差を有するパノラマ画像の対を得ることができ、それらのパノラマ画像を用いれば、被写体を立体的に表示させることができる。
【００３２】
これと同様にして、撮像画像から３以上の短冊領域を切り出して、それらの短冊領域の画像を合成すれば、互いに視点の異なる複数のパノラマ画像を得ることができる。そして、それらの複数のパノラマ画像をレンチキュラ方式で同時に表示すれば、ユーザの視点位置によって、同じ被写体が異なる視差で立体表示されることになる。つまり多視点画像が表示されることになる。
【００３３】
このような多視点画像が生成される場合、例えば図２に示すように、各撮像画像ＩＭにおいて、互いに異なる複数の短冊領域が定められ、それらの短冊領域から切り出された画像が合成されて、複数のパノラマ画像が生成される。
【００３４】
図２の例では、撮像画像ＩＭの図中、左側から右側まで順番に、９つの異なる短冊領域Ｖ（０）乃至短冊領域Ｖ（８）が定められている。撮像画像ＩＭ上の各短冊領域の配置は、撮像画像ＩＭの中央の領域ほど疎とされ、撮像画像ＩＭの端により近い領域ほどより密とされている。
【００３５】
これらの短冊領域の位置は、基準となる短冊領域Ｖ（０）からの距離を示すオフセット量により定められる。例えば、短冊領域Ｖ（１）のオフセット量がＯＦ１であるとすると、短冊領域Ｖ（０）から短冊領域Ｖ（１）までの距離がＯＦ１となるように、短冊領域Ｖ（１）の位置が定められる。
【００３６】
このように複数の短冊領域が定められると、連続して撮像された複数の撮像画像ＩＭから、短冊領域Ｖ（０）乃至短冊領域Ｖ（８）の画像が切り出されて合成され、パノラマ画像ＰＶ（０）乃至パノラマ画像ＰＶ（８）が生成される。例えば、複数の撮像画像ＩＭのそれぞれから短冊領域Ｖ（０）のそれぞれが切り出されて合成され、パノラマ画像ＰＶ（０）が生成される。そして、得られた複数のパノラマ画像の組が多視点画像とされる。
【００３７】
［撮像装置の構成］
図３は、本発明を適用した撮像装置の一実施の形態の構成例を示す図である。
【００３８】
撮像装置１１は、連続して被写体を撮像し、得られた撮像画像から多視点画像を生成する。撮像装置１１は、生成された多視点画像を、撮像装置１１自体に設けられた表示部に表示したり、撮像装置１１に接続された表示部１２に表示させたりする。
【００３９】
表示部１２は、例えばLCD（Liquid Crystal Display）やレンチキュラレンズからなる多視点表示用の裸眼３Ｄディスプレイであり、撮像装置１１からの多視点画像を立体表示する。
【００４０】
撮像装置１１は、撮像部２１、動き算出部２２、短冊領域決定部２３、合成領域決定部２４、パノラマ画像生成部２５−１乃至パノラマ画像生成部２５−Ｎ、視差制御部２６、表示選択部２７、および表示部２８から構成される。
【００４１】
撮像部２１は、光学レンズ等の光学系や撮像素子などから構成され、被写体からの光を電気信号に変換することで、被写体の像を撮像し、その結果得られた撮像画像を動き算出部２２に供給する。
【００４２】
例えば、ユーザが撮像装置１１を所定方向に移動させながら連続して撮像画像の撮像を指示した場合、時間的に連続して撮像された撮像画像が、順次、撮像部２１から動き算出部２２に供給されることになる。なお、以下、連続して撮像された撮像画像のうち、ｍ番目に撮像された撮像画像をフレームｍの撮像画像とも称することとする。
【００４３】
動き算出部２２は、撮像部２１から供給された撮像画像に基づいて、撮像画像のフレーム間における、撮像装置１１の動き（移動）を補償する動き補償パラメータを算出し、撮像画像および動き補償パラメータを短冊領域決定部２３に供給する。
【００４４】
この動き補償パラメータは、複数の撮像画像のそれぞれを、実空間上において動きのない同じ被写体がほぼ重なるように並べた場合における、撮像画像同士の相対的な位置関係を示す情報である。
【００４５】
例えば、互いに垂直なｘ方向およびｙ方向からなる２次元平面（以下、投影面と称する）を考え、撮像画像の撮像時にユーザが撮像装置１１を移動させる方向に対応する方向がｘ方向であったとする。また、各撮像画像の端は、ｘ方向およびｙ方向にほぼ平行であるとする。この場合、動き算出部２２は、各撮像画像を投影面上に並べたときに、隣接する２つの撮像画像、つまり連続するフレームの撮像画像同士の相対的な位置関係を示す情報を動き補償パラメータとして算出する。
【００４６】
なお、以下、ｘ方向に平行な方向のうち、撮像装置１１の移動方向と同じ方向を、特に＋ｘ方向とも称し、＋ｘ方向と反対の方向を−ｘ方向とも称することとする。したがって、投影面上に各フレームの撮像画像を並べた場合、フレームｍの撮像画像は、フレーム（ｍ−１）の撮像画像に対して、＋ｘ方向側に位置することになる。
【００４７】
短冊領域決定部２３は、動き算出部２２から供給された撮像画像および動き補償パラメータと、入力された視聴環境パラメータに基づいて、撮像画像上において、パノラマ画像の生成に用いるために切り出される領域である短冊領域を決定する。
【００４８】
ここで、視聴環境パラメータは、ユーザの多視点画像の視聴時の環境を特定する情報である。例えば、多視点画像が表示される表示装置の表示画面のサイズ（以下、画面サイズと称する）、表示画面からユーザまでの距離（以下、視聴距離とも称する）、多視点画像の視点数などの情報が視聴環境パラメータに含まれている。
【００４９】
なお、表示画面のサイズや視聴距離、多視点画像の視点数などは、ユーザにより入力されてもよいし、撮像装置１１が特定するようにしてもよい。例えば、撮像装置１１は、多視点画像の表示先が指定された場合、その表示先となる表示装置から、画面サイズや視点数を特定したり、表示画面からユーザまでの距離を検出する図示せぬセンサから、視聴距離を取得したりする。
【００５０】
短冊領域決定部２３は、入力された視聴環境パラメータに基づいて、短冊領域の数と、各短冊領域のオフセット量とを定めて、各撮像画像における短冊領域を決定する。短冊領域決定部２３は、各撮像画像の短冊領域を決定すると、撮像画像、動き補償パラメータ、および短冊領域の位置を示す短冊領域位置情報を、合成領域決定部２４に供給する。
【００５１】
合成領域決定部２４は、短冊領域決定部２３から供給された撮像画像、動き補償パラメータ、および短冊領域位置情報に基づいて、合成領域を決定する。
【００５２】
撮像装置１１では、各撮像画像上の短冊領域が切り出されて合成され、１つのパノラマ画像が生成されるが、ユーザがｘ方向に撮像装置１１を移動させながら撮像画像を撮像した場合でも、撮像装置１１がｙ方向にもわずかに動いてしまう。そのため、各撮像画像を投影面に並べた場合、各撮像画像の位置はｙ方向にばらつきが生じる。
【００５３】
そこで、合成領域決定部２４は、撮像画像を投影面に並べた場合に、各撮像画像の短冊領域からなる領域に内接する最も大きい矩形領域を、パノラマ画像の生成に用いられる画像が切り出される合成領域とする。したがって、各撮像画像の短冊領域のうちの合成領域に含まれる領域を切り出して合成すれば、矩形状のパノラマ画像が得られる。
【００５４】
合成領域決定部２４は、決定された合成領域、つまり修正された最終的な各短冊領域の位置を示す合成領域情報と、撮像画像および動き補償パラメータとを、パノラマ画像生成部２５−１乃至パノラマ画像生成部２５−Ｎに供給する。
【００５５】
パノラマ画像生成部２５−１乃至パノラマ画像生成部２５−Ｎは、合成領域決定部２４から供給された合成領域情報、撮像画像、および動き補償パラメータを用いてパノラマ画像ＰＶ（０）乃至パノラマ画像ＰＶ（Ｎ−１）を生成し、視差制御部２６に供給する。
【００５６】
なお、より詳細には、例えば短冊領域の数が４つとされ、４つのパノラマ画像が生成される場合には、パノラマ画像生成部２５−１乃至パノラマ画像生成部２５−４により、パノラマ画像ＰＶ（０）乃至パノラマ画像ＰＶ（３）が生成される。そして、パノラマ画像生成部２５−５乃至パノラマ画像生成部２５−Ｎにおいては、パノラマ画像の生成は、行なわれない。
【００５７】
また、以下、パノラマ画像生成部２５−１乃至パノラマ画像生成部２５−Ｎを特に区別する必要のない場合、単にパノラマ画像生成部２５とも称する。
【００５８】
視差制御部２６は、パノラマ画像生成部２５から供給されたパノラマ画像を加工して、パノラマ画像の視差調整を行い、その結果得られたパノラマ画像を表示選択部２７に供給する。
【００５９】
表示選択部２７は、視差制御部２６から供給されたパノラマ画像に基づいて多視点画像を生成し、表示部１２または表示部２８に供給する。表示部２８は、例えばLCDやレンチキュラレンズからなる多視点表示用の裸眼３Ｄディスプレイであり、表示選択部２７からの多視点画像を立体表示する。また、例えば表示部２８は、表示部１２と比べて画面サイズの小さい、小型の表示装置とされる。
【００６０】
［多視点画像表示処理の説明］
ところで、ユーザが撮像装置１１を操作して、多視点画像の生成を指示すると、撮像装置１１は、多視点画像を生成して表示する処理である多視点画像表示処理を開始する。以下、図４のフローチャートを参照して、撮像装置１１による多視点画像表示処理について説明する。
【００６１】
ステップＳ１１において、撮像部２１は、撮像装置１１が移動している状態で被写体を撮像する。例えば、ユーザは撮像装置１１を所定方向に回動させながら、複数枚の撮像画像を連続して撮像装置１１に撮像させる。
【００６２】
被写体からの光は撮像部２１に入射するので、撮像部２１は入射した光を光電変換することにより、撮像画像を撮像する。得られた撮像画像は、順次、撮像部２１から動き算出部２２に供給される。なお、撮像画像は、撮像された１つの静止画像であってもよいし、撮影された動画像を構成する１フレーム分の画像であってもよい。
【００６３】
ステップＳ１２において、動き算出部２２は、撮像部２１から供給された各撮像画像について、撮像画像の動き補償パラメータを算出し、撮像画像および動き補償パラメータを短冊領域決定部２３に供給する。
【００６４】
例えば、動き算出部２２は、連続する２つのフレームの撮像画像を用いて、ブロックマッチングにより、撮像画像のグローバルモーションベクトルを動き補償パラメータとして算出する。
【００６５】
すなわち、動き算出部２２は、処理対象のフレームの撮像画像を複数ブロックに分割し、各ブロックについて、処理対象の１つ前のフレームの撮像画像とのブロックマッチングを行なうことにより、そのブロックの動きベクトルを検出する。そして、動き算出部２２は、ブロックごとに求めた動きベクトルのうち、最も多い大きさかつ方向の動きベクトルを、撮像画像のグローバルモーションベクトルとする。
【００６６】
グローバルモーションベクトルは、撮像画像上の被写体全体のフレーム間の動きを示すグローバルな動きベクトルである。撮像画像上の被写体の多くは、実空間上において動きのない静止物体であるので、グローバルモーションベクトルは、撮像画像上の静止物体のフレーム間の動き、つまり撮像画像の撮像時における撮像装置１１の動きを示すベクトルであるということができる。
【００６７】
なお、動き補償パラメータは、その他、拡張アフィン変換などを利用して求めてもよい。例えば、拡張アフィン変換を利用して動き補償パラメータを算出する場合、動き算出部２２は、次式（１）を計算することで、撮像画像のフレーム間の動きを示すベクトル（Ｖ，Ｗ）を求め、得られたベクトル（Ｖ，Ｗ）を動き補償パラメータとする。
【００６８】
【数１】
【００６９】
なお、式（１）において、ａ乃至ｌは、アフィンパラメータを示しており、ｘ，ｙは、それぞれｘｙ座標系における撮像画像上の特徴的なブロックの中心位置のｘ成分およびｙ成分を示している。
【００７０】
すなわち、動き算出部２２は、処理対象のフレームの撮像画像を複数ブロックに分割し、各ブロックについて、処理対象の１つ前のフレームの撮像画像とのブロックマッチングを行なうことにより、そのブロックの動きベクトルを検出する。そして、動き算出部２２は、コーナーディテクタ等を利用して、各ブロックの動きベクトルの信頼度を求め、最も信頼度の高い動きベクトルのブロックを特徴的なブロックとし、上述した式（１）を計算する。
【００７１】
なお、アフィンパラメータは、各ブロックの中心座標と、各ブロックの動きベクトルとが用いられて、最小自乗法により算出される。
【００７２】
ステップＳ１３において、短冊領域決定部２３は、入力された視聴環境パラメータに基づいて、短冊領域の数と、各短冊領域のオフセット量を定める。
【００７３】
具体的には、短冊領域決定部２３は、視聴環境パラメータにより示される多視点画像の視点数を、生成する短冊領域の数とする。
【００７４】
また、短冊領域決定部２３は、多視点画像を表示させる表示部の画面サイズおよび視聴距離と、各短冊領域のオフセット量とが対応付けられたオフセットテーブルを、予め保持している。
【００７５】
例えば、所定の画面サイズに対して、規定のオフセット量が定められているとすると、画面サイズがＮ倍になったときには、オフセット量が規定のオフセット量の１／Ｎ倍とされるようにされる。これは、視聴距離が同じである場合、画面サイズが大きいほど、ユーザから見た多視点画像の視差が大きくなるからである。つまり、画面サイズにより視差が大きくなる分、オフセット量を小さくすることで、多視点画像の視差が小さくなるように調整され、より適切な視差を持つ多視点画像が得られることになる。
【００７６】
また、例えば、所定の視聴距離に対して、規定のオフセット量が定められているとすると、視聴距離がＮ倍になったときには、オフセット量が規定のオフセット量のＮ倍とされるようにされる。これは、画面サイズが同じである場合、視聴距離が長いほど、ユーザから見た多視点画像の視差が小さくなるからである。
【００７７】
短冊領域決定部２３は、オフセットテーブルを参照し、視聴環境パラメータに示される画面サイズおよび視聴距離により定まる値を、各短冊領域のオフセット量とする。すなわち、視聴環境パラメータに基づいて、撮像画像上の各短冊領域の位置関係が定められる。
【００７８】
また、オフセット量により定まる各短冊領域の位置関係を、図２に示したように、撮像画像ＩＭの端により近い位置にある短冊領域ほど、隣接する短冊領域との間の距離が短くなるようにすれば、多視点画像の表示時に逆視の影響をより少なくすることができる。
【００７９】
例えば、図２の短冊領域から生成されたパノラマ画像が用いられて、９視点の多視点画像が生成され、表示部２８に表示される場合を考える。この場合、表示部２８の表示画面から所定の距離で、かつ表示画面のほぼ中央にユーザの視点があるとき、ユーザの右眼および左眼に、パノラマ画像ＰＶ（３）およびパノラマ画像ＰＶ（５）が見えるとする。そして、ユーザが表示画面の端方向に視点を移動させたとき、ユーザの右眼および左眼にパノラマ画像ＰＶ（７）およびパノラマ画像ＰＶ（８）が見えるとする。
【００８０】
この状態から、さらにユーザが視点を表示画面の端方向に移動させると、ユーザの右眼および左眼には、パノラマ画像ＰＶ（８）およびパノラマ画像ＰＶ（０）が見え、いわゆる逆視が生じる。このような逆視が生じると、ユーザが被写体の凹凸をうまく把握できないことがあり、ユーザの目と脳は疲れてしまう。
【００８１】
このとき、パノラマ画像ＰＶ（８）とパノラマ画像ＰＶ（０）の視差が小さければ、被写体の立体感を抑えることができるので、ユーザの目や脳の疲労を低減させることができる。したがって、この逆視の影響をより少なくするには、短冊領域Ｖ（０）から短冊領域Ｖ（８）までの距離をより短くすればよいが、この距離を短くすると、短冊領域同士の間隔が狭くなり、立体感のある多視点画像が得られなくなってしまう。
【００８２】
そこで、撮像画像の端近傍の短冊領域同士の間隔を狭くし、逆に撮像画像の中央付近の短冊領域同士の間隔を広くすることで、多視点画像の立体感が損なわれるのを抑制しつつ、逆視によるユーザの疲れを低減させることができる。すなわち、逆視の生じない表示画面の中央付近にユーザの視点がある場合には、より視差の大きい画像が表示されることになり、より立体感のある多視点画像を得ることができる。
【００８３】
短冊領域決定部２３により短冊領域の数とオフセット量が定められると、処理はステップＳ１３からステップＳ１４に進む。
【００８４】
ステップＳ１４において、短冊領域決定部２３は、動き算出部２２から供給された撮像画像および動き補償パラメータと、定めた短冊領域の数およびオフセット量とに基づいて、各撮像画像の短冊領域を決定する。
【００８５】
例えば、図５の左側に示すように、短冊領域決定部２３は、フレーム１の撮像画像ＩＭ（１）とフレーム２の撮像画像ＩＭ（２）とを動き補償パラメータに基づいて投影面上に並べる。なお、図５において、図中、横方向はｘ方向を示しており、特に右方向は＋ｘ方向を示している。また、図５では、説明を分かり易くするため、撮像画像のｘ方向の位置関係のみを示しており、実際には撮像画像を投影面上に並べると、それらの撮像画像は互いに重なることになる。
【００８６】
短冊領域決定部２３は、投影面上に並べられた撮像画像ＩＭ（１）と撮像画像ＩＭ（２）が重なる領域のｘ方向の中心の位置（以下、基準位置と称する）を求め、さらにその基準位置から−ｘ方向に特定の距離だけ離れた位置をＶ（０）基準位置とする。
【００８７】
短冊領域決定部２３は、撮像画像ＩＭ（１）上において、Ｖ（０）基準位置を中心とし、ｘ方向に予め定められた所定幅を有する領域を重複領域ＣＲ（１）とする。また、短冊領域決定部２３は、撮像画像ＩＭ（２）上において、Ｖ（０）基準位置を中心とし、ｘ方向に予め定められた所定幅を有する領域を重複領域ＣＲ（２）とする。ここで、重複領域ＣＲ（１）と重複領域ＣＲ（２）は、投影面上において互いに重なる領域（同じ領域）とされる。
【００８８】
そして、短冊領域決定部２３は、図中、右側に示すように、撮像画像ＩＭ（１）上における、撮像画像ＩＭ（１）の左端から重複領域ＣＲ（１）の右端までの領域を、フレーム１の撮像画像の短冊領域Ｖ（０）−１とする。同様に、短冊領域決定部２３は、撮像画像ＩＭ（２）上における、重複領域ＣＲ（２）の左端から撮像画像ＩＭ（２）の右端までの領域を、フレーム２の短冊領域Ｖ（０）−２とする。
【００８９】
なお、より詳細には、フレーム２以降では、処理対象のフレームの短冊領域Ｖ（０）を定めるにあたり、その前後のフレームについて考慮する必要がある。したがって、例えばフレームｍ（但し、ｍ≧２）の短冊領域Ｖ（０）−ｍは、撮像画像上における、フレーム（ｍ−１）との重複領域の左端から、フレーム（ｍ＋１）との重複領域の右端までの領域とされる。
【００９０】
短冊領域決定部２３は、このようにして各フレームの短冊領域Ｖ（０）を定めると、同様の処理を行って、各フレームの短冊領域Ｖ（ｎ）（但し、１≦ｎ）を定める。このとき、撮像画像上の基準位置から、＋ｘ方向または−ｘ方向に特定の距離だけ離れた位置が、Ｖ（０）基準位置に対応するＶ（ｎ）基準位置とされる。このとき、Ｖ（０）基準位置からＶ（ｎ）基準位置までの距離が、短冊領域Ｖ（ｎ）のオフセット量と等しくなるようにされる。
【００９１】
例えば、短冊領域決定部２３は、撮像画像ＩＭ（１）上における、撮像画像ＩＭ（１）の左端から、Ｖ（ｎ）基準位置に対して定められた重複領域の右端までの領域を、フレーム１の撮像画像の短冊領域Ｖ（ｎ）とする。
【００９２】
このように、Ｖ（０）基準位置からＶ（ｎ）基準位置までの距離が、オフセット量と等しくなるように各短冊領域を定めることで、互いに視差を有するパノラマ画像が得られる。
【００９３】
図４のフローチャートの説明に戻り、短冊領域決定部２３は、短冊領域を決定すると、撮像画像、動き補償パラメータ、および短冊領域の位置を示す短冊領域位置情報を、合成領域決定部２４に供給する。
【００９４】
ステップＳ１５において、合成領域決定部２４は、短冊領域決定部２３からの撮像画像、動き補償パラメータ、および短冊領域位置情報に基づいて合成領域を決定し、決定された合成領域の位置を示す合成領域情報、撮像画像、および動き補償パラメータをパノラマ画像生成部２５に供給する。このとき、パノラマ画像生成部２５−ｎ（但し１≦ｎ≦Ｎ）には、それぞれパノラマ画像ＰＶ（ｎ−１）を生成するための合成領域情報が供給される。
【００９５】
ステップＳ１６において、パノラマ画像生成部２５は、合成領域決定部２４からの合成領域情報、撮像画像、および動き補償パラメータを用いてパノラマ画像を生成し、視差制御部２６に供給する。
【００９６】
例えば、パノラマ画像生成部２５−１は、動き補償パラメータを用いて、動きのない同じ被写体がほぼ重なるように各撮像画像を投影面上に並べる。そして、パノラマ画像生成部２５−１は、合成領域情報により示される最終的な各撮像画像の短冊領域Ｖ（０）内の画像を切り出して、切り出された画像を合成することで、パノラマ画像ＰＶ（０）を生成する。
【００９７】
このように、パノラマ画像生成部２５によりステップＳ１６の処理が行われると、互いに異なる視点から見た被写体が表示される、複数個のパノラマ画像が得られる。これらのパノラマ画像には、同じ被写体が表示されているが、この被写体は視差を有することになる。そのため、これらのパノラマ画像のうちの任意の２つを同時に表示させれば、ユーザには、パノラマ画像上の被写体が立体的に見えることになる。
【００９８】
ステップＳ１７において、視差制御部２６は、パノラマ画像生成部２５から供給されたパノラマ画像の支配的な視差を検出する。すなわち、視差制御部２６は、パノラマ画像ＰＶ（０）を基準として、パノラマ画像ＰＶ（０）と他のパノラマ画像との支配的な視差を求める。
【００９９】
ここで、支配的な視差とは、パノラマ画像上の主要な被写体、つまり最も大きい（面積の広い）被写体が有する視差をいう。視差制御部２６は、パノラマ画像の画素ごとに視差を求め、各視差の大きさと、その大きさの視差を有するパノラマ画像の画素の数を示す評価値とからなる評価値テーブルを生成することにより、支配的な視差を求める。
【０１００】
具体的には、図６に示すように、視差制御部２６は、パノラマ画像ＰＶ（０）と、他のパノラマ画像とを選択する。例えば、図６の例では、パノラマ画像ＰＶ（０）とパノラマ画像ＰＶ（１）とが選択されている。なお、図６において、横方向および縦方向は、それぞれｘ方向およびｙ方向を示している。特に、図中、右方向は＋ｘ方向を示している。
【０１０１】
また、視差制御部２６は、パノラマ画像ＰＶ（０）およびパノラマ画像ＰＶ（１）上に、評価対象領域ＥＶ０および評価対象領域ＥＶ１を設定する。
【０１０２】
評価対象領域ＥＶ０は、その中心がパノラマ画像ＰＶ（０）の中心と同じ位置にあり、パノラマ画像ＰＶ（０）よりも所定の長さだけｘ方向に短い矩形領域である。同様に、評価対象領域ＥＶ１は、その中心がパノラマ画像ＰＶ（１）の中心と同じ位置にあり、パノラマ画像ＰＶ（１）よりも所定の長さだけｘ方向に短い矩形領域である。また、評価対象領域ＥＶ０と評価対象領域ＥＶ１は同じ大きさの領域とされる。視差制御部２６は、パノラマ画像の画素のうち、これらの評価対象領域内にある画素を処理対象として、各視差の評価値を求める。
【０１０３】
まず、視差制御部２６は、評価値テーブルの各視差に対する評価値を「０」に初期化し、視差「０」に対する評価値を求める。すなわち、図７に示すように、視差制御部２６は、パノラマ画像ＰＶ（０）における評価対象領域ＥＶ０内の所定の画素Ｇ０（ｉ）と、パノラマ画像ＰＶ（１）における評価対象領域ＥＶ１内の所定の画素Ｇ１（ｉ）とを処理対象の画素とする。なお、画素Ｇ０（ｉ）と画素Ｇ１（ｉ）は、パノラマ画像ＰＶ（０）とパノラマ画像ＰＶ（１）とを重ねた場合に、同じ位置にある画素とされる。
【０１０４】
次に、視差制御部２６は、パノラマ画像ＰＶ（１）上において画素Ｇ１（ｉ）にｘ方向に隣接する画素Ｇ１（ｉ＋１）および画素Ｇ１（ｉ−１）と、画素Ｇ１（ｉ）とを用いて閾値ｔｈを定める。すなわち、視差制御部２６は、画素Ｇ１（ｉ−１）、画素Ｇ１（ｉ）、および画素Ｇ１（ｉ＋１）の画素値のうちの最大値と最小値との差の絶対値を求めることにより、画素Ｇ１（ｉ）のｘ方向のダイナミックレンジＤＬを求める。
【０１０５】
視差制御部２６は、求めたダイナミックレンジＤＬが、予め定められた所定の値以上である場合、閾値ｔｈを予め定められた規定値とし、ダイナミックレンジＤＬが、予め定められた所定の値未満である場合、閾値ｔｈを規定値よりも小さい値とする。
【０１０６】
そして、視差制御部２６は、画素Ｇ０（ｉ）と画素Ｇ１（ｉ）の画素値の差分の絶対値を求め、求められた絶対値が閾値ｔｈ未満である場合、評価値テーブルの視差「０」に対する評価値に「１」を加算する。これに対して、視差制御部２６は、求めた絶対値が閾値ｔｈ以上である場合、視差「０」に対する評価値をそのままとする。
【０１０７】
処理対象の画素Ｇ０（ｉ）と画素Ｇ１（ｉ）の差分の絶対値がある程度小さい場合、それらの画素には同じ被写体が表示されているはずである。また、画素Ｇ０（ｉ）と画素Ｇ１（ｉ）は、パノラマ画像ＰＶ（０）およびパノラマ画像ＰＶ（１）上の同じ位置にある画素であるから、それらの画素に同じ被写体が表示されていれば、その被写体は視差を有さないことになる。つまり、画素Ｇ０（ｉ）と画素Ｇ１（ｉ）に表示されている被写体は、多視点画像の表示時においては、表示部２８等の表示画面上に定位することになる。
【０１０８】
なお、ダイナミックレンジＤＬに応じて閾値ｔｈを変化させるのは、処理対象の画素同士の相関の有無の誤判定を抑制するためである。例えば、画素Ｇ１（ｉ）の部分に、被写体として空間方向への画素値の変化が少ない平坦な被写体（例えば、空など）が表示されていたとする。
【０１０９】
この場合、画素Ｇ１（ｉ）近傍の画素の画素値は、画素Ｇ１（ｉ）の画素値に近い値となり、画素Ｇ０（ｉ）と画素Ｇ１（ｉ）に異なる被写体の部分が表示されていたとしても、それらの画素の差分の絶対値は、閾値ｔｈ未満となってしまうことがある。つまり、誤判定が生じることがある。そこで、ダイナミックレンジＤＬが小さい場合には、このような誤判定が生じにくくなるように、閾値ｔｈが通常の規定値よりも小さい値とされる。
【０１１０】
なお、誤判定の抑制のため、ダイナミックレンジＤＬが予め定められた所定の値未満である場合には、画素Ｇ０（ｉ）と画素Ｇ１（ｉ）を処理対象とせず、差分の計算を行わないようにしてもよい。
【０１１１】
このようにして、処理対象とされた画素の差分が求められ、閾値ｔｈとの閾値処理の結果に応じて評価値テーブルの評価値に「１」が加算されると、視差制御部２６は、評価対象領域ＥＶ０と評価対象領域ＥＶ１内のまだ処理対象としてない画素を選択し、処理対象とする。つまり、新たに処理対象とされた画素同士の差分の絶対値と、閾値ｔｈとが比較され、その比較結果に応じて、評価値テーブルが更新される。
【０１１２】
そして、評価対象領域ＥＶ０と評価対象領域ＥＶ１内の全ての画素が処理対象とされると、そのときの評価値テーブルの視差「０」の評価値が、最終的な評価値とされる。この評価値は、パノラマ画像の評価対象領域内において、視差が「０」である被写体が表示されている画素の数を示している。換言すれば、パノラマ画像上の評価対象領域内には、視差が「０」である被写体が表示される画素が、評価値に示される数だけ存在する。
【０１１３】
さらに、視差制御部２６は、評価対象領域ＥＶ０に対してパノラマ画像ＰＶ（０）の位置をずらしながら、評価対象領域ＥＶ０と評価対象領域ＥＶ１内の同じ位置にある画素を処理対象として、各視差の大きさについて評価値を求めていく。すなわち、視差制御部２６は、パノラマ画像ＰＶ（１）に対してパノラマ画像ＰＶ（０）の位置をずらしながら、パノラマ画像の差分を求め、各視差の評価値を求めていく。
【０１１４】
例えば、視差制御部２６は、図８に示すように、評価対象領域ＥＶ０に対してパノラマ画像ＰＶ（０）の位置を、図中、左方向にずらし、評価対象領域内の画素の差分を求める。なお、図中、横方向および縦方向はｘ方向およびｙ方向を示しており、特に右方向は＋ｘ方向を示している。
【０１１５】
図８の例では、評価対象領域ＥＶ０に対してパノラマ画像ＰＶ（０）が−ｘ方向に１２８画素分だけずらされており、評価対象領域ＥＶ０とパノラマ画像ＰＶ（０）の右側の端が一致している。この状態で、視差制御部２６は、図６および図７を参照して説明した処理を行う。つまり、視差制御部２６は、評価対象領域内の同じ位置にあるパノラマ画像ＰＶ（０）およびパノラマ画像ＰＶ（１）の画素の差分の絶対値を求め、その絶対値と閾値ｔｈを比較する。視差制御部２６は、比較の結果、絶対値が閾値未満であれば、評価値テーブルの視差「−１２８」の評価値に「１」を加算し、絶対値が閾値以上であれば、評価値の更新を行わない。
【０１１６】
このようにして、評価対象領域内の全ての画素を処理対象として評価値テーブルの更新を行うと、視差「−１２８」の最終的な評価値が得られる。視差「−１２８」の評価値の更新時においては、パノラマ画像ＰＶ（０）を１２８画素分だけずらして処理が行われるため、差分の絶対値が閾値未満である画素に表示される被写体は、パノラマ画像ＰＶ（０）とパノラマ画像ＰＶ（１）とで、１２８画素分だけ離れた位置に表示されることになる。つまり、その被写体は１２８画素分だけの視差を有することになる。そして、視差が「−１２８」である画素に表示されている被写体は、多視点画像の表示時においては、表示部２８等の表示画面よりもユーザから見て奥行き側に定位することになる。
【０１１７】
同様に、視差制御部２６は、図８の例と反対の方向にも評価対象領域ＥＶ０に対してパノラマ画像ＰＶ（０）の位置をずらしながら、評価対象領域ＥＶ０と評価対象領域ＥＶ１内の同じ位置にある画素を処理対象として、各視差の大きさについて評価値を求めていく。
【０１１８】
例えば、視差制御部２６は、図９に示すように、評価対象領域ＥＶ０に対してパノラマ画像ＰＶ（０）の位置を、図中、右方向にずらし、評価対象領域内の画素の差分を求める。なお、図中、横方向および縦方向はｘ方向およびｙ方向を示しており、特に右方向は＋ｘ方向を示している。
【０１１９】
図９の例では、評価対象領域ＥＶ０に対してパノラマ画像ＰＶ（０）が＋ｘ方向に１２８画素分だけずらされており、評価対象領域ＥＶ０とパノラマ画像ＰＶ（０）の左側の端が一致している。この状態で、視差制御部２６は、評価対象領域内の同じ位置にあるパノラマ画像ＰＶ（０）およびパノラマ画像ＰＶ（１）の画素の差分の絶対値を求め、その絶対値と閾値ｔｈを比較する。視差制御部２６は、比較の結果、絶対値が閾値未満であれば、評価値テーブルの視差「１２８」の評価値に「１」を加算し、絶対値が閾値以上であれば、評価値の更新を行わない。
【０１２０】
このようにして、評価対象領域内の全ての画素を処理対象として評価値テーブルの更新を行うと、視差「１２８」の最終的な評価値が得られる。視差が「１２８」である画素に表示されている被写体は、多視点画像の表示時においては、表示部２８等の表示画面よりもユーザから見て手前側に定位することになる。
【０１２１】
視差制御部２６は、以上のようにして、各視差の大きさについて評価値を求めると、評価値テーブルの評価値のうち、最も値が大きい評価値の視差を、パノラマ画像ＰＶ（０）とパノラマ画像ＰＶ（１）の間の支配的な視差とする。評価値テーブルにおいて、視差ごとの評価値は、その大きさの視差を有する画素の数、つまりパノラマ画像上の被写体の領域の大きさ（面積）を表している。したがって、パノラマ画像では、最も大きい評価値の視差を有する領域（画素）が、最も面積が広く、評価値が最大である視差が、パノラマ画像の被写体の支配的な視差であるということができる。
【０１２２】
また、視差制御部２６は、他のパノラマ画像についても、そのパノラマ画像とパノラマ画像ＰＶ（０）との支配的な視差を検出する。
【０１２３】
なお、パノラマ画像の支配的な視差を求める方法として、パノラマ画像の画素ごとの差分を求める例について説明したが、パノラマ画像ＰＶ（０）の領域と、他のパノラマ画像の領域との相関の度合いを示す相関値を求め、その相関値に基づいて各視差の評価値が求められればよい。例えば、パノラマ画像の画素ごとの差分ではなく、ブロックごとの差分に基づく値（例えばブロック内の画素の差分絶対値和）が相関値とされてもよい。
【０１２４】
また、パノラマ画像の差分を利用して支配的な視差を求める場合に、パノラマ画像ＰＶ（０）と、他のパノラマ画像とに対して間引きを行い、間引きされて縮小されたパノラマ画像の差分が求められて支配的な視差が求められるようにしてもよい。
【０１２５】
図４のフローチャートの説明に戻り、視差制御部２６が、パノラマ画像の支配的な視差を検出すると、処理はステップＳ１７からステップＳ１８へと進む。
【０１２６】
ステップＳ１８において、視差制御部２６は、求めたパノラマ画像間の支配的な視差に基づいて、パノラマ画像の視差調整を行う。
【０１２７】
すなわち、視差制御部２６は、求めた支配的な視差が打ち消されるように、パノラマ画像全体を視差の分だけシフト（移動）させる。具体的には、パノラマ画像ＰＶ（０）とパノラマ画像ＰＶ（１）の支配的な視差としてＰａが得られたとすると、視差制御部２６は、パノラマ画像のシフト量Ｓ＝Ｐａとして、パノラマ画像ＰＶ（１）全体をｘ方向にＳだけシフトさせる。
【０１２８】
例えばシフト量Ｓが正の値（Ｓ＞０）であれば、パノラマ画像ＰＶ（１）全体が評価対象領域ＥＶ１に対して＋ｘ方向にＳだけシフトされる。そして、シフト後において評価対象領域ＥＶ０および評価対象領域ＥＶ１内にあるパノラマ画像ＰＶ（０）とパノラマ画像ＰＶ（１）の領域が、最終的なパノラマ画像ＰＶ（０）およびパノラマ画像ＰＶ（１）とされて、多視点画像の生成に用いられる。
【０１２９】
支配的な視差Ｐａが正の値である場合、パノラマ画像ＰＶ（０）とパノラマ画像ＰＶ（１）を立体表示すると、主な被写体は表示部２８等の表示画面の手前側に定位する。そこで、視差が小さくなるように、つまり支配的な視差が「０」となるように、パノラマ画像ＰＶ（１）をシフトすれば、シフト後のパノラマ画像の主な被写体は表示部２８等の表示画面の位置に定位する。
【０１３０】
逆に、シフト量Ｓが負の値（Ｓ＜０）であれば、パノラマ画像ＰＶ（１）全体が評価対象領域ＥＶ１に対して−ｘ方向にシフトされる。すなわち、支配的な視差Ｐａが負の値である場合、パノラマ画像の主な被写体は、表示画面の奥行き側に定位するので、視差が大きくなるように、パノラマ画像ＰＶ（１）をシフトすれば、主な被写体を表示画面に定位させることができる。
【０１３１】
同様に、視差制御部２６は、他のパノラマ画像についても、パノラマ画像ＰＶ（０）を基準として、パノラマ画像ＰＶ（０）との支配的な視差に基づいて、その支配的な視差により定まるシフト量Ｓだけパノラマ画像をシフトさせ、視差制御を行なう。
【０１３２】
このように、パノラマ画像ＰＶ（０）を基準として視差制御を行なえば、例えば、パノラマ画像ＰＶ（１）とパノラマ画像ＰＶ（２）とに基づいて、パノラマ画像が立体表示されたときにも、主な被写体は、表示部２８等の表示画面に定位することになる。
【０１３３】
パノラマ画像の主要な被写体、つまり大きい被写体が表示部２８等の表示画面の位置に定位すると、その定位の位置とユーザの目の焦点位置とが一致して、ユーザの目や脳が疲れてしまうことがなくなる。しかも、パノラマ画像の主要な被写体は表示画面の位置に定位するが、他の被写体の部分は、表示画面の手前側や奥行き側に定位するため、パノラマ画像（多視点画像）が充分立体的に表示され、多視点画像は、より自然な奥行き感（立体感）を有するものとなる。
【０１３４】
このように、パノラマ画像の支配的な視差を求め、その支配的な視差が打ち消されるように、パノラマ画像の視差調整を行うことで、より適切な視差を有するパノラマ画像を得ることができ、その結果、より自然な立体感を再現することができる。
【０１３５】
視差制御部２６は、パノラマ画像の視差調整を行うと、その結果得られたパノラマ画像を表示選択部２７に供給し、処理はステップＳ１９に進む。
【０１３６】
ステップＳ１９において、表示選択部２７は、視差制御部２６から供給されたパノラマ画像に基づいて、多視点画像を生成する。
【０１３７】
例えば、図１０に示すように、視差制御部２６から表示選択部２７に４つのパノラマ画像ＰＶ（０）乃至パノラマ画像ＰＶ（３）が供給されたとする。このとき、表示選択部２７は、パノラマ画像ＰＶ（０）乃至パノラマ画像ＰＶ（３）のそれぞれの同じ位置にある、同じ大きさの表示領域ＤＰ−０乃至表示領域ＤＰ−３のそれぞれを部分画像Ｂ（０）乃至部分画像Ｂ（３）として切り出して、それらの４つの部分画像からなる画像を多視点画像とする。
【０１３８】
具体的には、表示選択部２７は、切り出された部分画像Ｂ（０）乃至部分画像Ｂ（３）のそれぞれを、いくつかの短冊状の画像（以下、短冊画像ＴＰ（０）乃至短冊画像ＴＰ（３）と称する）に分割する。そして、表示選択部２７は、短冊画像ＴＰ（０）乃至短冊画像ＴＰ（３）の順番で繰り返し短冊画像を１つずつ並べて得られる１つの画像を、多視点画像とする。つまり、短冊画像ＴＰ（０）乃至短冊画像ＴＰ（３）の順番で並べられた合計４つの短冊画像のセットが、繰り返し並べられたものが多視点画像とされる。
【０１３９】
この多視点画像をレンチキュラ方式により表示すると、多視点画像を構成する複数の部分画像のうち、ユーザの視点位置に応じて定まる２つの部分画像の光が、それぞれユーザの右眼および左眼に導かれて、ユーザの目には立体的な部分画像が観察される。
【０１４０】
なお、パノラマ画像の一部の領域が部分画像とされて、多視点画像が生成されると説明したが、パノラマ画像がそのまま部分画像とされて多視点画像が生成されてもよい。
【０１４１】
表示選択部２７は、多視点画像を生成すると、撮像装置１１の指示に従って、生成した多視点画像を表示部１２または表示部２８の何れかに供給する。このとき撮像装置１１は、表示選択部２７を制御して、視聴環境パラメータにより示される表示部、例えば、多視点画像の生成開始時にユーザにより指定された表示先に、多視点画像を供給させる。
【０１４２】
ステップＳ２０において、表示部２８または表示部１２は、表示選択部２７から供給された多視点画像を表示して、多視点画像表示処理は終了する。
【０１４３】
このようにして撮像装置１１は、視聴環境に合った視点数および視差を有する多視点画像が得られるように、視聴環境パラメータに基づいて、短冊領域の数とオフセット量を定め、短冊領域から画像を切り出してパノラマ画像を生成する。そして、撮像装置１１は、得られたパノラマ画像の視差調整を行い、視差調整後のパノラマ画像から多視点画像を生成し、表示する。
【０１４４】
このように、視聴環境パラメータに基づいて短冊領域の数およびオフセット量を定めることで、視聴環境に合った、より適切な視差を有する多視点画像を得ることができる。
【０１４５】
また、生成されたパノラマ画像に対して、パノラマ画像の画素同士の差分を求めることで、より簡単かつ迅速にパノラマ画像の支配的な視差を求めることができ、これにより得られた視差を打ち消すようにパノラマ画像に対するシフト処理を行えば、より適切な視差を有する多視点画像を得ることができる。したがって、得られた多視点画像を表示すれば、より自然な立体感を再現することができる。
【０１４６】
なお、以上においては、パノラマ画像の支配的な視差に基づいて、パノラマ画像の視差調整を行なうと説明したが、求められた支配的な視差を用いてオフセット量を設定し直して、撮像画像から最終的なパノラマ画像を生成し直すようにしてもよい。この場合、設定し直されたオフセット量に基づいて短冊領域が定められ、その短冊領域の画像が合成されて、最終的なパノラマ画像が生成される。
【０１４７】
また、パノラマ画像の視差調整時にパノラマ画像ＰＶ（０）を基準として、他のパノラマ画像をシフト量Ｓだけシフトさせると説明したが、パノラマ画像ＰＶ（０）もシフトされるようにしてもよい。そのような場合、各パノラマ画像について求められたシフト量に応じて、パノラマ画像ＰＶ（０）を含む各パノラマ画像のシフトの方向と量が定められる。
【０１４８】
さらに、多視点画像の生成に用いる部分画像が切り出される表示領域の大きさは、表示部２８等の画面サイズや、ユーザによる多視点画像の表示の表示倍率（拡大倍率）などにより定められるようにしてもよい。
【０１４９】
例えば、ユーザにより表示倍率が指定される場合、視聴環境パラメータには、表示倍率を示す情報も含まれる。そして、環境パラメータにより示される画面サイズ、視聴距離、および表示倍率によって、オフセット量が定められる。
【０１５０】
〈第２の実施の形態〉
［撮像装置の構成］
さらに、以上においては、視聴環境パラメータに基づいて、短冊領域の数とオフセット量を定めると説明したが、予め定められた数とオフセット量の短冊領域からパノラマ画像を生成し、それらのパノラマ画像のなかから、多視点画像の生成に用いるものを選択するようにしてもよい。
【０１５１】
そのような場合、撮像装置１１は、図１１に示すように構成される。なお、図１１において、図３における場合と対応する部分には同一の符号を付してあり、その説明は省略する。図１１の撮像装置１１では、図３の短冊領域決定部２３および表示選択部２７に代えて、短冊領域決定部５１および表示選択部５２が設けられている。
【０１５２】
短冊領域決定部５１は、動き算出部２２から供給された撮像画像および動き補償パラメータに基づいて、予め定められたオフセット量で、予め定められた数の短冊領域を決定し、撮像画像、動き補償パラメータ、および短冊領域位置情報を、合成領域決定部２４に供給する。
【０１５３】
また、表示選択部５２は、入力された視聴環境パラメータに基づいて、視差制御部２６から供給された、複数のパノラマ画像のうちのいくつかを用いて多視点画像を生成し、表示部１２または表示部２８に供給する。
【０１５４】
［多視点画像表示処理の説明］
次に、図１２のフローチャートを参照して、図１１の撮像装置１１により行なわれる多視点画像表示処理について説明する。なお、ステップＳ５１およびステップＳ５２の処理は、図４のステップＳ１１およびステップＳ１２の処理と同様の処理であるので、その説明は省略する。
【０１５５】
ステップＳ５３において、短冊領域決定部５１は、動き算出部２２から供給された撮像画像および動き補償パラメータに基づいて、予め定められたオフセット量で、予め定められた数の短冊領域を決定する。
【０１５６】
例えば、短冊領域決定部５１は、撮像画像上における互いに隣接する短冊領域同士の間隔（以下、短冊領域間隔と称する）が５０画素となるオフセット量で、予め定められたＮ個の短冊領域を決定する。なお、各撮像画像上における短冊領域の位置を定める処理は、図５を参照して説明した処理と同様の処理であるので、その説明は省略する。
【０１５７】
短冊領域を決定すると、短冊領域決定部５１は、撮像画像、動き補償パラメータ、および短冊領域位置情報を合成領域決定部２４に供給し、その後、ステップＳ５４乃至ステップＳ５７の処理が行われる。すなわち、最終的な短冊領域から画像が切り出されてパノラマ画像が生成され、各パノラマ画像の視差調整が行われる。
【０１５８】
なお、これらのステップＳ５４乃至ステップＳ５７の処理は、図４のステップＳ１５乃至ステップＳ１８の処理と同様であるので、その説明は省略する。
【０１５９】
ステップＳ５８において、表示選択部５２は、入力された視聴環境パラメータに基づいて、視差制御部２６から供給されたパノラマ画像から多視点画像を生成する。
【０１６０】
具体的には、表示選択部５２は、多視点画像を表示させる表示部の画面サイズおよび視聴距離と、多視点画像の生成に用いるべきパノラマ画像の短冊領域同士の撮像画像上における間隔（以下、オフセット間隔と称する）とが対応付けられたオフセット間隔テーブルを、予め保持している。このオフセット間隔は、実質的な短冊領域間隔であり、指定された視聴環境に対して、多視点画像の生成に用いるべきパノラマ画像の短冊領域の、撮像画像上における位置関係を示すものである。
【０１６１】
例えば、画面サイズがモバイルディスプレイなどの小型な表示部のサイズである場合、オフセット間隔は１００画素とされ、画面サイズがモバイルディスプレイよりも大型な、家庭用テレビジョン受像機等の表示部のサイズである場合、オフセット間隔は５０画素とされる。
【０１６２】
これは、視聴距離が同じである場合、画面サイズが大きいほど、ユーザから見た多視点画像の視差が大きくなるからである。すなわち、画面サイズにより視差が大きくなる分、オフセット間隔（オフセット量）を小さくすることで、多視点画像の視差が小さくなるように調整され、より適切な視差を持つ多視点画像が得られることになる。
【０１６３】
表示選択部５２は、オフセット間隔テーブルを参照し、視聴環境パラメータに示される画面サイズおよび視聴距離に基づいて、生成しようとする多視点画像のオフセット間隔を定める。そして、表示選択部５２は、視聴環境パラメータに示される多視点画像の視点数およびオフセット間隔から、生成に用いるパノラマ画像を選択し、選択したパノラマ画像から多視点画像を生成する。
【０１６４】
例えば、図１３の左側に示すように、視差制御部２６から８つのパノラマ画像ＰＶ（０）乃至パノラマ画像ＰＶ（７）が供給され、それらのパノラマ画像の短冊領域間隔が５０画素であるとする。すなわち、撮像画像上で互いに隣接する短冊領域同士の間隔が、５０画素とされて生成された８つのパノラマ画像が供給されたとする。
【０１６５】
なお、図１３において、パノラマ画像ＰＶ（０）乃至パノラマ画像ＰＶ（７）における表示領域ＤＰ−０乃至表示領域ＤＰ−７は、そのパノラマ画像が多視点画像の生成に用いられる場合に、部分画像が切り出される領域である。
【０１６６】
いま、表示選択部５２が、オフセット間隔テーブルと視聴環境パラメータとから、視点数が４で、オフセット間隔が１００画素である多視点画像を生成するとする。この場合、表示選択部５２は、図中、中央に示すように、パノラマ画像ＰＶ（０）乃至パノラマ画像ＰＶ（７）から、パノラマ画像ＰＶ（０）、パノラマ画像ＰＶ（２）、パノラマ画像ＰＶ（４）、およびパノラマ画像ＰＶ（６）の４つを選択する。
【０１６７】
そして、表示選択部５２は、選択したこれらのパノラマ画像の表示領域ＤＰ−０、表示領域ＤＰ−２、表示領域ＤＰ−４、および表示領域ＤＰ−６を部分画像として切り出して、４視点の多視点画像を生成する。
【０１６８】
ここで、パノラマ画像ＰＶ（０）、パノラマ画像ＰＶ（２）、パノラマ画像ＰＶ（４）、およびパノラマ画像ＰＶ（６）は、撮像画像上において、１００画素間隔で並ぶ短冊領域の画像から生成されたパノラマ画像である。したがって、実質的に、短冊領域間隔が１００画素となるオフセット量でパノラマ画像が生成され、それらのパノラマ画像から多視点画像が生成されたことになる。
【０１６９】
また、例えば、視点数が４でオフセット間隔が５０画素である多視点画像を生成する場合、表示選択部５２は、図中、右側に示すように、パノラマ画像ＰＶ（０）乃至パノラマ画像ＰＶ（７）のうちの、パノラマ画像ＰＶ（２）乃至パノラマ画像ＰＶ（５）を用いて多視点画像を生成する。
【０１７０】
このように、視聴環境に応じて、複数のパノラマ画像のうちのいくつかを選択すれば、互いに適切な視差を有するパノラマ画像が得られ、これらのパノラマ画像を用いると、視聴環境に合った、より適切な視差を有する多視点画像を得ることができる。
【０１７１】
表示選択部５２は、多視点画像を生成すると、得られた多視点画像を表示部１２または表示部２８に供給する。このとき表示選択部５２は、視聴環境パラメータにより示される表示先、例えば多視点画像の生成開始時にユーザにより指定された表示部に、多視点画像を供給する。
【０１７２】
ステップＳ５９において、表示部２８または表示部１２は、表示選択部５２から供給された多視点画像を表示する。
【０１７３】
ステップＳ６０において、表示選択部５２は、視聴環境が変更されたか否かを判定する。例えば、ユーザにより撮像装置１１が操作され、多視点画像の表示先が表示部２８から表示部１２に切り替えられると、表示選択部５２に供給される視聴環境パラメータが変化する。表示選択部５２は、供給された視聴環境パラメータが変化したとき、視聴環境が変更されたと判定する。なお、その他、例えば図示せぬセンサにより検出される視聴距離の変化によっても、視聴環境パラメータは変化する。
【０１７４】
ステップＳ６０において、視聴環境が変更されたと判定された場合、処理はステップＳ５８に戻り、上述した処理が繰り返される。すなわち、新たに供給された視聴環境パラメータに基づいて、新たな多視点画像が生成され、表示される。
【０１７５】
なお、視聴環境パラメータに、多視点画像の表示倍率や、多視点画像の立体感強度の設定が含まれるようにし、それらの表示倍率や立体感強度の設定が変更された場合にも、多視点画像が生成し直されるようにしてもよい。表示倍率は、部分画像の大きさ、つまりパノラマ画像から部分画像が切り出される表示領域の大きさにより定まる。
【０１７６】
例えば、視聴環境パラメータの表示倍率または立体感強度の設定のみが変更された場合、表示選択部５２は、これまで表示していた多視点画像のオフセット間隔を、表示倍率または立体感強度の設定の変更に応じた値（画素数）だけ増減させる。そして、表示選択部５２は、新たに定めたオフセット間隔と、これまでの視点数とから新たな多視点画像を生成する。
【０１７７】
具体的には、オフセット間隔が１００画素とされ、図１３のパノラマ画像ＰＶ（０）、パノラマ画像ＰＶ（２）、パノラマ画像ＰＶ（４）、およびパノラマ画像ＰＶ（６）から表示倍率が１である多視点画像が生成されて表示されていたとする。
【０１７８】
そして、この状態から、ユーザが撮像装置１１を操作して、表示倍率を「１」から「２」に変更したとする。この場合、例えば、表示選択部５２は、表示倍率の変更に応じてオフセット間隔を１００画素から５０画素だけ減少させ、新たなオフセット間隔を５０画素とする。そして、表示選択部５２は、視点数「４」と、新たなオフセット間隔「５０画素」とから、パノラマ画像ＰＶ（２）乃至パノラマ画像ＰＶ（５）を用いて多視点画像を再生成する。
【０１７９】
なお、このとき、例えば各パノラマ画像上の部分画像が切り出される表示領域は、これまでの大きさの半分の大きさの領域とされ、新たな表示領域から切り出された部分画像が２倍に拡大されて、多視点画像が生成される。これにより、これまで表示していた多視点画像に対して、被写体が２倍に拡大された新たな多視点画像が得られる。
【０１８０】
また、例えば、立体感強度の設定が普通から強めに変更された場合、オフセット間隔がこれまでの値から１００画素だけ増加され、立体感強度の設定が普通から弱めに変更された場合、オフセット間隔がこれまでの値から１００画素だけ減少される。
【０１８１】
なお、表示領域は、多視点画像が表示される表示部（例えば、表示部２８または表示部１２）の表示画面の大きさによって異なるようにしてもよい。そのような場合、視聴環境パラメータにより示される画面サイズによって、部分画像が切り出される表示領域の大きさが定められる。また、ユーザが好みに応じて、視聴距離などの視聴環境パラメータの要素を変更できるようにしてもよい。
【０１８２】
さらに、ステップＳ６０において、視聴環境が変更されなかったと判定された場合、ステップＳ６１において、撮像装置１１は、処理を終了するか否かを判定する。例えば、多視点画像の表示の終了がユーザにより指示された場合、処理を終了すると判定される。
【０１８３】
ステップＳ６１において、処理を終了しないと判定された場合、処理はステップＳ６０に戻り、上述した処理が繰り返される。
【０１８４】
一方、ステップＳ６１において、処理を終了すると判定された場合、撮像装置１１の各部は、行なっている処理を終了し、多視点画像表示処理は終了する。
【０１８５】
このようにして撮像装置１１は、視聴環境に合わせて複数のパノラマ画像のなかから、適切なパノラマ画像を選択し、それらの選択したパノラマ画像から多視点画像を生成して表示する。このように、視聴環境パラメータに基づいて、オフセット間隔および視点数を定めてパノラマ画像を選択することで、視聴環境に合った、より適切な視差を有する多視点画像を得ることができる。
【０１８６】
〈変形例１〉
［支配的な視差についての説明］
ところで、以上においては、パノラマ画像から支配的な視差を求め、その視差に応じてパノラマ画像の視差調整を行なうと説明したが、本出願人により、パノラマ画像の支配的な視差の絶対値は、短冊領域のオフセット量とほぼ等しいことが確認されている。
【０１８７】
例えば、図１４に示すように、撮像部２１を構成するレンズの主点Ｌ０が、回転中心ＯＣを中心として図中、時計回りの方向に回動するように、ユーザが撮像装置１１を移動させながら撮像画像を撮像させたとする。ここで、レンズの主点Ｌ０から回転中心ＯＣまでの距離、つまり回転半径はｒとされ、撮像部２１の焦点距離はｆであるとする。
【０１８８】
また、撮像面ＶＳ（ｔ）と撮像面ＶＳ（ｔ＋１）が時間的に連続して撮像され、撮像面ＶＳ（ｔ）上の領域Ｖ（０）−１と領域Ｖ（８）−１が短冊領域Ｖ（０）と短冊領域Ｖ（８）に相当し、撮像面ＶＳ（ｔ＋１）上の領域Ｖ（０）−２と領域Ｖ（８）−２が短冊領域Ｖ（０）と短冊領域Ｖ（８）に相当するとする。このとき、オフセット量が２Ｈであるとすると、領域Ｖ（０）−１と領域Ｖ（８）−１の間の距離、および領域Ｖ（０）−２と領域Ｖ（８）−２の間の距離は、ともにオフセット量２Ｈとなる。
【０１８９】
図１４の例では、撮像面ＶＳ（ｔ）と撮像面ＶＳ（ｔ＋１）のそれぞれに対応する撮像画像上には、同じ被写体ＯＢ２１が表示され、被写体ＯＢ２１は、それぞれ領域Ｖ（８）−１と領域Ｖ（０）−２に対応する領域に表示される。この場合における実際の被写体ＯＢ２１の視差は、領域Ｖ（８）−１と領域Ｖ（０）−２の距離２ｄである。
【０１９０】
また、図１４の例で撮像された撮像画像から、短冊領域Ｖ（０）と短冊領域Ｖ（８）を切り出して２つのパノラマ画像を生成すると、それらのパノラマ画像の視差は、領域Ｖ（０）−１から領域Ｖ（０）−２までの距離Ｄとなる。そして、この視差Ｄは、領域Ｖ（０）−１から領域Ｖ（８）−１までの距離、つまりオフセット量２Ｈと、被写体ＯＢ２１の視差２ｄの和により表すことができるが、連続して撮像画像が撮像される場合には、視差２ｄは微小な値となるため、無視することができる。したがって、パノラマ画像の視差Ｄは、オフセット量２Ｈと近似することができる。
【０１９１】
このように、２つのパノラマ画像の視差Ｄは、オフセット量２Ｈとほぼ同じであるので、オフセット量に基づいてパノラマ画像の視差調整をすれば、パノラマ画像の支配的な視差を求めなくても、適切な視差制御を行なうことができる。
【０１９２】
撮像装置１１が、オフセット量に基づいてパノラマ画像の視差調整を行なう場合、図３および図１１の視差制御部２６にオフセット量が供給される。そして、図４および図１２のステップＳ１７およびステップＳ５６の処理は行われず、ステップＳ１８およびステップＳ５７において、オフセット量に基づいてパノラマ画像の視差調整が行なわれる。
【０１９３】
すなわち、視差制御部２６は、オフセット量が入力されると、そのオフセット量に「−１」を乗算した値をシフト量Ｓとして、パノラマ画像ＰＶ（０）に対して、シフト量Ｓだけ処理対象のパノラマ画像全体をｘ方向にシフトさせることで、視差調整を行なう。
【０１９４】
例えば、短冊領域Ｖ（０）を基準として、短冊領域Ｖ（１）、短冊領域Ｖ（２）、および短冊領域Ｖ（３）のオフセット量が、それぞれ２Ｈ、４Ｈ、および６Ｈであったとする。この場合、視差制御部２６は、パノラマ画像ＰＶ（１）乃至パノラマ画像ＰＶ（３）のそれぞれのシフト量Ｓを、Ｓ＝−２Ｈ、Ｓ＝−４Ｈ、およびＳ＝−６Ｈとして、それらのシフト量の分だけ、パノラマ画像ＰＶ（１）乃至パノラマ画像ＰＶ（３）をｘ方向にシフトさせる。
【０１９５】
このように、オフセット量を用いてパノラマ画像の視差調整を行なうことでも、より適切な視差を有するパノラマ画像を得ることができ、より自然な立体感を有する多視点画像を表示することができる。
【０１９６】
なお、シフト量をオフセット量と同じ大きさにする例について説明したが、オフセット量を多少増減させた値をシフト量として用いるようにしてもよい。
＄
さらに、以上においては、パノラマ画像は、撮像画像よりも画角の広い画像であると説明したが、パノラマ画像は、必ずしもより画角の広い画像である必要はなく、例えば、撮像画像と同じ画角の画像であってもよい。
【０１９７】
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０１９８】
図１５は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０１９９】
コンピュータにおいて、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。
【０２００】
バス２０４には、さらに、入出力インターフェース２０５が接続されている。入出力インターフェース２０５には、キーボード、マウス、マイクロホンなどよりなる入力部２０６、ディスプレイ、スピーカなどよりなる出力部２０７、ハードディスクや不揮発性のメモリなどよりなる記録部２０８、ネットワークインターフェースなどよりなる通信部２０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア２１１を駆動するドライブ２１０が接続されている。
【０２０１】
以上のように構成されるコンピュータでは、CPU２０１が、例えば、記録部２０８に記録されているプログラムを、入出力インターフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。
【０２０２】
コンピュータ（CPU２０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア２１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０２０３】
そして、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インターフェース２０５を介して、記録部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記録部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記録部２０８に、あらかじめインストールしておくことができる。
【０２０４】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０２０５】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０２０６】
１１ 撮像装置， １２ 表示部， ２１ 撮像部， ２２ 動き算出部， ２３ 短冊領域決定部， ２４ 合成領域決定部， ２５−１乃至２５−Ｎ，２５ パノラマ画像生成部， ２６ 視差制御部， ２７ 表示選択部， ２８ 表示部， ５１ 短冊領域決定部， ５２ 表示選択部
【特許請求の範囲】
【請求項１】
撮像手段を移動させながら前記撮像手段により撮像して得られた複数の撮像画像に基づいて、多視点画像の生成に用いられる互いに視差を有する複数の合成画像を生成する画像処理装置であって、
前記多視点画像の視聴環境を示す情報に基づいて、複数の前記合成画像のそれぞれについて、前記合成画像の生成に用いられる画像が切り出される前記撮像画像上の短冊領域を決定する短冊領域決定手段と、
複数の前記撮像画像から前記短冊領域の画像を切り出して合成し、前記合成画像を生成する合成画像生成手段と、
複数の前記合成画像を用いて、ユーザの視点位置に応じて異なる視差の被写体が立体表示される前記多視点画像を生成する多視点画像生成手段と
を備える画像処理装置。
【請求項２】
前記短冊領域決定手段は、前記撮像画像上の前記短冊領域が、前記視聴環境を示す情報により示される前記多視点画像の表示先の画面サイズによって定まる位置関係となるように、前記短冊領域のそれぞれの位置を決定する
請求項１に記載の画像処理装置。
【請求項３】
前記短冊領域決定手段は、前記撮像画像において、前記撮像画像の端により近い前記短冊領域ほど、隣接する前記短冊領域同士の距離がより短くなるように、前記短冊領域の位置を決定する
請求項２に記載の画像処理装置。
【請求項４】
撮像手段を移動させながら前記撮像手段により撮像して得られた複数の撮像画像に基づいて、多視点画像の生成に用いられる互いに視差を有する複数の合成画像を生成する画像処理装置であり、
前記多視点画像の視聴環境を示す情報に基づいて、複数の前記合成画像のそれぞれについて、前記合成画像の生成に用いられる画像が切り出される前記撮像画像上の短冊領域を決定する短冊領域決定手段と、
複数の前記撮像画像から前記短冊領域の画像を切り出して合成し、前記合成画像を生成する合成画像生成手段と、
複数の前記合成画像を用いて、ユーザの視点位置に応じて異なる視差の被写体が立体表示される前記多視点画像を生成する多視点画像生成手段と
を備える画像処理装置の画像処理方法であって、
前記短冊領域決定手段が、前記視聴環境を示す情報に基づいて前記短冊領域を決定し、
前記合成画像生成手段が、前記短冊領域の画像を切り出して合成することで、前記合成画像を生成し、
前記多視点画像生成手段が、複数の前記合成画像を用いて前記多視点画像を生成する
ステップを含む画像処理方法。
【請求項５】
撮像手段を移動させながら前記撮像手段により撮像して得られた複数の撮像画像に基づいて、多視点画像の生成に用いられる互いに視差を有する複数の合成画像を生成する画像処理装置を制御するコンピュータに、
前記多視点画像の視聴環境を示す情報に基づいて、複数の前記合成画像のそれぞれについて、前記合成画像の生成に用いられる画像が切り出される前記撮像画像上の短冊領域を決定し、
複数の前記撮像画像から前記短冊領域の画像を切り出して合成することで、前記合成画像を生成し、
複数の前記合成画像を用いて、ユーザの視点位置に応じて異なる視差の被写体が立体表示される前記多視点画像を生成する
ステップを含む処理を実行させるプログラム。
【請求項６】
撮像手段を移動させながら前記撮像手段により撮像して得られた複数の撮像画像に基づいて、多視点画像の生成に用いられる互いに視差を有する複数の合成画像を生成する画像処理装置であって、
複数の前記合成画像のそれぞれについて、前記合成画像の生成に用いられる画像が切り出される前記撮像画像上の短冊領域を決定する短冊領域決定手段と、
複数の前記撮像画像から前記短冊領域の画像を切り出して合成し、前記合成画像を生成する合成画像生成手段と、
前記多視点画像の視聴環境を示す情報に基づいて、複数の前記合成画像のうちのいくつかを選択し、選択された前記合成画像を用いて、ユーザの視点位置に応じて異なる視差の被写体が立体表示される前記多視点画像を生成する多視点画像生成手段と
を備える画像処理装置。
【請求項７】
前記多視点画像生成手段は、前記視聴環境を示す情報により示される前記多視点画像の表示先の画面サイズによって定まる位置関係の前記短冊領域の画像から生成された前記合成画像を選択し、前記多視点画像を生成する
請求項６に記載の画像処理装置。
【請求項８】
前記多視点画像生成手段は、前記視聴環境が変更された場合、変更された前記視聴環境を示す情報に基づいて、前記多視点画像を再生成する
請求項７に記載の画像処理装置。
【請求項９】
前記多視点画像生成手段は、前記視聴環境として前記多視点画像の表示倍率が変更された場合、前記表示倍率の変更に応じて、前記画面サイズによって定まる前記位置関係を変更する
請求項８に記載の画像処理装置。
【請求項１０】
撮像手段を移動させながら前記撮像手段により撮像して得られた複数の撮像画像に基づいて、多視点画像の生成に用いられる互いに視差を有する複数の合成画像を生成する画像処理装置であり、
複数の前記合成画像のそれぞれについて、前記合成画像の生成に用いられる画像が切り出される前記撮像画像上の短冊領域を決定する短冊領域決定手段と、
複数の前記撮像画像から前記短冊領域の画像を切り出して合成し、前記合成画像を生成する合成画像生成手段と、
前記多視点画像の視聴環境を示す情報に基づいて、複数の前記合成画像のうちのいくつかを選択し、選択された前記合成画像を用いて、ユーザの視点位置に応じて異なる視差の被写体が立体表示される前記多視点画像を生成する多視点画像生成手段と
を備える画像処理装置の画像処理方法であって、
前記短冊領域決定手段が、前記撮像画像上の前記短冊領域を決定し、
前記合成画像生成手段が、前記短冊領域の画像を切り出して合成することで、前記合成画像を生成し、
前記多視点画像生成手段が、前記視聴環境を示す情報に基づいて、前記合成画像を用いて前記多視点画像を生成する
ステップを含む画像処理方法。
【請求項１１】
撮像手段を移動させながら前記撮像手段により撮像して得られた複数の撮像画像に基づいて、多視点画像の生成に用いられる互いに視差を有する複数の合成画像を生成する画像処理装置を制御するコンピュータに、
複数の前記合成画像のそれぞれについて、前記合成画像の生成に用いられる画像が切り出される前記撮像画像上の短冊領域を決定し、
複数の前記撮像画像から前記短冊領域の画像を切り出して合成することで、前記合成画像を生成し、
前記多視点画像の視聴環境を示す情報に基づいて、複数の前記合成画像のうちのいくつかを選択し、選択された前記合成画像を用いて、ユーザの視点位置に応じて異なる視差の被写体が立体表示される前記多視点画像を生成する
ステップを含む処理を実行させるプログラム。
【請求項１】
撮像手段を移動させながら前記撮像手段により撮像して得られた複数の撮像画像に基づいて、多視点画像の生成に用いられる互いに視差を有する複数の合成画像を生成する画像処理装置であって、
前記多視点画像の視聴環境を示す情報に基づいて、複数の前記合成画像のそれぞれについて、前記合成画像の生成に用いられる画像が切り出される前記撮像画像上の短冊領域を決定する短冊領域決定手段と、
複数の前記撮像画像から前記短冊領域の画像を切り出して合成し、前記合成画像を生成する合成画像生成手段と、
複数の前記合成画像を用いて、ユーザの視点位置に応じて異なる視差の被写体が立体表示される前記多視点画像を生成する多視点画像生成手段と
を備える画像処理装置。
【請求項２】
前記短冊領域決定手段は、前記撮像画像上の前記短冊領域が、前記視聴環境を示す情報により示される前記多視点画像の表示先の画面サイズによって定まる位置関係となるように、前記短冊領域のそれぞれの位置を決定する
請求項１に記載の画像処理装置。
【請求項３】
前記短冊領域決定手段は、前記撮像画像において、前記撮像画像の端により近い前記短冊領域ほど、隣接する前記短冊領域同士の距離がより短くなるように、前記短冊領域の位置を決定する
請求項２に記載の画像処理装置。
【請求項４】
撮像手段を移動させながら前記撮像手段により撮像して得られた複数の撮像画像に基づいて、多視点画像の生成に用いられる互いに視差を有する複数の合成画像を生成する画像処理装置であり、
前記多視点画像の視聴環境を示す情報に基づいて、複数の前記合成画像のそれぞれについて、前記合成画像の生成に用いられる画像が切り出される前記撮像画像上の短冊領域を決定する短冊領域決定手段と、
複数の前記撮像画像から前記短冊領域の画像を切り出して合成し、前記合成画像を生成する合成画像生成手段と、
複数の前記合成画像を用いて、ユーザの視点位置に応じて異なる視差の被写体が立体表示される前記多視点画像を生成する多視点画像生成手段と
を備える画像処理装置の画像処理方法であって、
前記短冊領域決定手段が、前記視聴環境を示す情報に基づいて前記短冊領域を決定し、
前記合成画像生成手段が、前記短冊領域の画像を切り出して合成することで、前記合成画像を生成し、
前記多視点画像生成手段が、複数の前記合成画像を用いて前記多視点画像を生成する
ステップを含む画像処理方法。
【請求項５】
撮像手段を移動させながら前記撮像手段により撮像して得られた複数の撮像画像に基づいて、多視点画像の生成に用いられる互いに視差を有する複数の合成画像を生成する画像処理装置を制御するコンピュータに、
前記多視点画像の視聴環境を示す情報に基づいて、複数の前記合成画像のそれぞれについて、前記合成画像の生成に用いられる画像が切り出される前記撮像画像上の短冊領域を決定し、
複数の前記撮像画像から前記短冊領域の画像を切り出して合成することで、前記合成画像を生成し、
複数の前記合成画像を用いて、ユーザの視点位置に応じて異なる視差の被写体が立体表示される前記多視点画像を生成する
ステップを含む処理を実行させるプログラム。
【請求項６】
撮像手段を移動させながら前記撮像手段により撮像して得られた複数の撮像画像に基づいて、多視点画像の生成に用いられる互いに視差を有する複数の合成画像を生成する画像処理装置であって、
複数の前記合成画像のそれぞれについて、前記合成画像の生成に用いられる画像が切り出される前記撮像画像上の短冊領域を決定する短冊領域決定手段と、
複数の前記撮像画像から前記短冊領域の画像を切り出して合成し、前記合成画像を生成する合成画像生成手段と、
前記多視点画像の視聴環境を示す情報に基づいて、複数の前記合成画像のうちのいくつかを選択し、選択された前記合成画像を用いて、ユーザの視点位置に応じて異なる視差の被写体が立体表示される前記多視点画像を生成する多視点画像生成手段と
を備える画像処理装置。
【請求項７】
前記多視点画像生成手段は、前記視聴環境を示す情報により示される前記多視点画像の表示先の画面サイズによって定まる位置関係の前記短冊領域の画像から生成された前記合成画像を選択し、前記多視点画像を生成する
請求項６に記載の画像処理装置。
【請求項８】
前記多視点画像生成手段は、前記視聴環境が変更された場合、変更された前記視聴環境を示す情報に基づいて、前記多視点画像を再生成する
請求項７に記載の画像処理装置。
【請求項９】
前記多視点画像生成手段は、前記視聴環境として前記多視点画像の表示倍率が変更された場合、前記表示倍率の変更に応じて、前記画面サイズによって定まる前記位置関係を変更する
請求項８に記載の画像処理装置。
【請求項１０】
撮像手段を移動させながら前記撮像手段により撮像して得られた複数の撮像画像に基づいて、多視点画像の生成に用いられる互いに視差を有する複数の合成画像を生成する画像処理装置であり、
複数の前記合成画像のそれぞれについて、前記合成画像の生成に用いられる画像が切り出される前記撮像画像上の短冊領域を決定する短冊領域決定手段と、
複数の前記撮像画像から前記短冊領域の画像を切り出して合成し、前記合成画像を生成する合成画像生成手段と、
前記多視点画像の視聴環境を示す情報に基づいて、複数の前記合成画像のうちのいくつかを選択し、選択された前記合成画像を用いて、ユーザの視点位置に応じて異なる視差の被写体が立体表示される前記多視点画像を生成する多視点画像生成手段と
を備える画像処理装置の画像処理方法であって、
前記短冊領域決定手段が、前記撮像画像上の前記短冊領域を決定し、
前記合成画像生成手段が、前記短冊領域の画像を切り出して合成することで、前記合成画像を生成し、
前記多視点画像生成手段が、前記視聴環境を示す情報に基づいて、前記合成画像を用いて前記多視点画像を生成する
ステップを含む画像処理方法。
【請求項１１】
撮像手段を移動させながら前記撮像手段により撮像して得られた複数の撮像画像に基づいて、多視点画像の生成に用いられる互いに視差を有する複数の合成画像を生成する画像処理装置を制御するコンピュータに、
複数の前記合成画像のそれぞれについて、前記合成画像の生成に用いられる画像が切り出される前記撮像画像上の短冊領域を決定し、
複数の前記撮像画像から前記短冊領域の画像を切り出して合成することで、前記合成画像を生成し、
前記多視点画像の視聴環境を示す情報に基づいて、複数の前記合成画像のうちのいくつかを選択し、選択された前記合成画像を用いて、ユーザの視点位置に応じて異なる視差の被写体が立体表示される前記多視点画像を生成する
ステップを含む処理を実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１１−１３５４５８（Ｐ２０１１−１３５４５８Ａ）
【公開日】平成２３年７月７日（２０１１．７．７）
【国際特許分類】
【出願番号】特願２００９−２９４５４７（Ｐ２００９−２９４５４７）
【出願日】平成２１年１２月２５日（２００９．１２．２５）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２３年７月７日（２０１１．７．７）
【国際特許分類】
【出願日】平成２１年１２月２５日（２００９．１２．２５）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]