画像処理装置および方法、並びにプログラム
【課題】より自然な奥行き感を有する立体画像を表示できるようにする。
【解決手段】パノラマ画像生成部２５−１は、撮像装置１１が移動している状態で連続して撮像された複数の撮像画像の短冊領域ＴＲＲを切り出して合成し、右眼用のパノラマ画像ＰＲを生成する。パノラマ画像生成部２５−２は、複数の撮像画像の短冊領域ＴＲＬを切り出して合成し、左眼用のパノラマ画像ＰＬを生成する。視差制御部２６は、パノラマ画像ＰＲとパノラマ画像ＰＬから、これらのパノラマ画像の支配的な視差を検出し、その検出結果に応じてパノラマ画像全体をシフトさせることで、視差調整を行なう。表示部２７は、視差調整されたパノラマ画像の対を同時に表示することで、より自然な奥行き感の立体パノラマ画像を表示する。本発明は、カメラに適用することができる。
【解決手段】パノラマ画像生成部２５−１は、撮像装置１１が移動している状態で連続して撮像された複数の撮像画像の短冊領域ＴＲＲを切り出して合成し、右眼用のパノラマ画像ＰＲを生成する。パノラマ画像生成部２５−２は、複数の撮像画像の短冊領域ＴＲＬを切り出して合成し、左眼用のパノラマ画像ＰＬを生成する。視差制御部２６は、パノラマ画像ＰＲとパノラマ画像ＰＬから、これらのパノラマ画像の支配的な視差を検出し、その検出結果に応じてパノラマ画像全体をシフトさせることで、視差調整を行なう。表示部２７は、視差調整されたパノラマ画像の対を同時に表示することで、より自然な奥行き感の立体パノラマ画像を表示する。本発明は、カメラに適用することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置および方法、並びにプログラムに関し、特に、より自然な奥行き感を有する立体画像を表示させることができるようにした画像処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
従来、撮像装置を所定方向にパンさせながら撮像して得られた複数の静止画像を重ね合わせて合成することで、パノラマ画像を生成する技術が知られている（例えば、特許文献１参照）。パノラマ画像は、複数の静止画像を並べて合成することで得られる画像であるので、パノラマ画像によれば、１つの静止画像の撮像時に撮像対象となる空間上の領域よりも、より広い領域を被写体として表示することができる。
【０００３】
また、パノラマ画像を得るために、撮像装置をパンさせながら複数の静止画像を撮像した場合には、いくつかの静止画像に、同じ被写体が含まれていることがある。そのような場合において、異なる静止画像上の同じ被写体は、互いに異なる位置から撮像されたものであるから、視差が生じていることになる。
【０００４】
これを利用して、複数の静止画像から、互いに視差を有する２つのパノラマ画像を生成すれば、これらのパノラマ画像をレンチキュラ方式で同時に表示することで、撮像対象となった被写体を立体的に表示することができる。なお、以下、２つのパノラマ画像に基づいて表示される立体的な画像を、立体パノラマ画像とも称することとする。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第３１６８４４３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、立体パノラマ画像を表示部に表示させる場合、同時に表示させる２つのパノラマ画像間の視差がほとんどなければ、立体パノラマ画像上の主な被写体は、表示部の表示面に定位することになる。
【０００７】
このとき、２つのパノラマ画像間において、被写体全体で全く視差がなければ、立体パノラマ画像の被写体は立体的には見えないが、被写体の一部に視差があれば、その被写体の部位は表示面とは異なる位置に定位し、全体として立体感のある被写体が表示される。つまり、２つのパノラマ画像上の被写体の各部が相対的に適切な視差を有していれば、被写体が立体的に表示されることになる。
【０００８】
これに対して、２つのパノラマ画像間に視差があれば、その視差に応じて、立体パノラマ画像の主な被写体は、観察者から見て表示面の手前側または奥行き側に定位するが、このような場合、自然な立体感が得られなくなることがある。さらに、この場合、観察者は表示部の表示面に目の焦点を合わせているのに、立体パノラマ画像の主な被写体は表示面とは異なる位置に定位しているので、観察者の目と脳が疲れてしまう。
【０００９】
通常、２つのパノラマ画像間において、パノラマ画像上の被写体の各部位は、互いに異なる視差を有するから、パノラマ画像上の主な被写体がどの位置に定位しても、立体パノラマ画像上の被写体は、立体的に見えるはずである。したがって、立体パノラマ画像上の主な被写体が、表示面に定位するような視差を有する２つのパノラマ画像が、最も適切な視差を有するパノラマ画像対であるということができる。
【００１０】
しかしながら、上述した技術では、撮像された複数の静止画像から、適切な視差を有する２つのパノラマ画像を得ることは困難であった。そのため、自然な奥行き感（立体感）のある立体画像を表示させることができなかった。
【００１１】
本発明は、このような状況に鑑みてなされたものであり、より自然な奥行き感を有する立体画像を表示させることができるようにするものである。
【課題を解決するための手段】
【００１２】
本発明の一側面の画像処理装置は、撮像手段を移動させながら前記撮像手段により撮像して得られた複数の撮像画像に基づいて、立体合成画像表示用の互いに視差を有する第１の合成画像および第２の合成画像を生成する画像処理装置であって、複数の前記撮像画像の第１の短冊領域の画像のそれぞれを合成して、前記第１の合成画像を生成する第１の合成画像生成手段と、複数の前記撮像画像の前記第１の短冊領域とは異なる第２の短冊領域の画像のそれぞれを合成して、前記第２の合成画像を生成する第２の合成画像生成手段と、所定のシフト量に基づいて、前記第１の合成画像または前記第２の合成画像のうちの少なくとも一方をシフトさせることで、前記第１の合成画像と前記第２の合成画像の視差を調整する視差制御手段とを備える。
【００１３】
前記視差制御手段には、前記第１の合成画像の領域と前記第２の合成画像の領域との相関の度合いを示す相関値を算出させ、前記相関値を用いて前記第１の合成画像と前記第２の合成画像の支配的な視差を検出させて、前記支配的な視差が打ち消される前記シフト量を算出させることができる。
【００１４】
前記視差制御手段には、前記第１の合成画像に対する前記第２の合成画像の位置をずらしながら、前記第１の合成画像と前記第２の合成画像との差分を前記相関値として算出させることができる。
【００１５】
前記視差制御手段には、前記撮像画像上における前記第１の短冊領域と前記第２の短冊領域との距離に基づいて、前記シフト量を算出させることができる。
【００１６】
本発明の一側面の画像処理方法またはプログラムは、撮像手段を移動させながら前記撮像手段により撮像して得られた複数の撮像画像に基づいて、立体合成画像表示用の互いに視差を有する第１の合成画像および第２の合成画像を生成する画像処理方法またはプログラムであって、複数の前記撮像画像の第１の短冊領域の画像のそれぞれを合成して、前記第１の合成画像を生成し、複数の前記撮像画像の前記第１の短冊領域とは異なる第２の短冊領域の画像のそれぞれを合成して、前記第２の合成画像を生成し、所定のシフト量に基づいて、前記第１の合成画像または前記第２の合成画像のうちの少なくとも一方をシフトさせることで、前記第１の合成画像と前記第２の合成画像の視差を調整するステップを含む。
【００１７】
本発明の一側面においては、撮像手段を移動させながら前記撮像手段により撮像して得られた複数の撮像画像に基づいて、立体合成画像表示用の互いに視差を有する第１の合成画像および第２の合成画像を生成する画像処理において、複数の前記撮像画像の第１の短冊領域の画像のそれぞれが合成されて、前記第１の合成画像が生成され、複数の前記撮像画像の前記第１の短冊領域とは異なる第２の短冊領域の画像のそれぞれが合成されて、前記第２の合成画像が生成され、所定のシフト量に基づいて、前記第１の合成画像または前記第２の合成画像のうちの少なくとも一方をシフトさせることで、前記第１の合成画像と前記第２の合成画像の視差が調整される。
【発明の効果】
【００１８】
本発明の一側面によれば、より自然な奥行き感を有する立体画像を表示させることができる。
【図面の簡単な説明】
【００１９】
【図１】立体パノラマ画像について説明する図である。
【図２】本発明を適用した撮像装置の一実施の形態の構成例を示す図である。
【図３】立体パノラマ画像表示処理を説明するフローチャートである。
【図４】短冊領域について説明する図である。
【図５】支配的な視差の検出について説明する図である。
【図６】支配的な視差の検出について説明する図である。
【図７】支配的な視差の検出について説明する図である。
【図８】支配的な視差の検出について説明する図である。
【図９】視差調整について説明する図である。
【図１０】オフセット量と視差の関係について説明する図である。
【図１１】立体パノラマ画像表示処理を説明するフローチャートである。
【図１２】コンピュータの構成例を示す図である。
【発明を実施するための形態】
【００２０】
以下、図面を参照して、本発明を適用した実施の形態について説明する。
【００２１】
〈第１の実施の形態〉
［立体パノラマ画像の説明］
本発明を適用した撮像装置は、例えばカメラなどからなり、撮像装置が移動している状態で、撮像装置が連続的に撮像した複数の撮像画像から、立体パノラマ画像を生成する。立体パノラマ画像は、視差を有する２つのパノラマ画像から構成される。
【００２２】
ユーザが撮像装置に立体パノラマ画像を生成させようとする場合、ユーザは撮像装置を操作して、立体パノラマ画像の生成に用いられる撮像画像を撮像させる。
【００２３】
例えば、図１の左側に示すように、撮像装置のレンズ主点が位置ｆｐ１にある状態で、仮想撮像面ＶＳを撮像すると、撮像画像ＩＭが得られる。例えば、撮像画像ＩＭ上の領域ＴＲＲおよび領域ＴＲＬには、それぞれ実空間上の領域ＳＥＲおよび領域ＳＥＬにある被写体が表示されることになる。
【００２４】
そして、ユーザが図１中、横方向に撮像装置を移動させながら複数の撮像画像を撮像させると、各撮像画像は視差を有することになる。具体的には、図１中央に示すように、時刻Ｔ＝ｔにおいて、レンズ主点が位置ｆｐ１にある状態で撮像画像を撮像し、時刻Ｔ＝ｔ＋Δｔにおいて、レンズ主点が位置ｆｐ２にある状態で撮像画像を撮像すると、それらの撮像画像には、同じ被写体ＯＢ１が表示される。このとき、被写体ＯＢ１の撮像位置は互いに異なるので視差が生じることになる。これを利用すれば、同じ被写体が表示される、互いに視差を有するパノラマ画像が得られる。
【００２５】
すなわち、撮像装置を移動させながら撮像して得られた各撮像画像から、それぞれ撮像画像ＩＭの領域ＴＲＲおよび領域ＴＲＬに対応する領域を切り出して合成すれば、図１中、右側に示すように、パノラマ画像ＰＲとパノラマ画像ＰＬが得られる。
【００２６】
ここで、パノラマ画像ＰＲは、各撮像画像の領域ＴＲＲに対応する領域を並べて合成することで得られる画像であり、このパノラマ画像ＰＲは、位置ｆｐ３を仮想的なレンズ主点位置として被写体を撮像して得られる画像である。一方、パノラマ画像ＰＬは、各撮像画像の領域ＴＲＬに対応する領域を並べて合成することで得られる画像であり、このパノラマ画像ＰＬは、位置ｆｐ４を仮想的なレンズ主点位置として被写体を撮像して得られる画像である。そしてパノラマ画像ＰＲとパノラマ画像ＰＬは、互いに視差を有し、同じ被写体が表示されている画像である。
【００２７】
そこで、パノラマ画像ＰＲを右眼用の画像とし、パノラマ画像ＰＬを左眼用の画像として、これらのパノラマ画像をレンチキュラ方式等により同時に表示すれば、ユーザの目には、立体的なパノラマ画像（以下、立体パノラマ画像とも称する）が見えることになる。
【００２８】
このように、複数の撮像画像の所定の領域（以下、短冊領域と称する）を切り出して、それらの部分的な画像を並べて合成し、１つの画像とすれば１つのパノラマ画像が得られる。また、短冊領域をずらして異なるパノラマ画像を生成すれば、互いに視差を有するパノラマ画像の対を得ることができ、それらのパノラマ画像を用いれば、立体パノラマ画像を表示させることができる。
【００２９】
［撮像装置の構成］
図２は、本発明を適用した撮像装置の一実施の形態の構成例を示す図である。
【００３０】
撮像装置１１は、撮像部２１、動き算出部２２、短冊領域決定部２３、合成領域決定部２４、パノラマ画像生成部２５−１、パノラマ画像生成部２５−２、視差制御部２６、および表示部２７から構成される。
【００３１】
撮像部２１は、光学レンズ等の光学系や撮像素子などから構成され、被写体からの光を電気信号に変換することで、被写体の像を撮像し、その結果得られた撮像画像を動き算出部２２に供給する。
【００３２】
例えば、ユーザが撮像装置１１を所定方向に移動させながら連続して撮像画像の撮像を指示した場合、時間的に連続して撮像された撮像画像が、順次、動き算出部２２に供給されることになる。なお、以下、連続して撮像された撮像画像のうち、ｍ番目に撮像された撮像画像をフレームｍの撮像画像とも称することとする。
【００３３】
動き算出部２２は、撮像部２１から供給された撮像画像に基づいて、撮像画像のフレーム間における、撮像装置１１の動き（移動）を補償する動き補償パラメータを算出し、撮像画像および動き補償パラメータを短冊領域決定部２３に供給する。
【００３４】
この動き補償パラメータは、複数の撮像画像のそれぞれを、実空間上において動きのない同じ被写体がほぼ重なるように並べた場合における、撮像画像同士の相対的な位置関係を示す情報である。
【００３５】
例えば、互いに垂直なｘ方向およびｙ方向からなる２次元平面（以下、投影面と称する）を考え、撮像画像の撮像時にユーザが撮像装置１１を移動させる方向に対応する方向がｘ方向であったとする。また、各撮像画像の端は、ｘ方向およびｙ方向にほぼ平行であるとする。この場合、動き算出部２２は、各撮像画像を投影面上に並べたときに、隣接する２つの撮像画像、つまり連続するフレームの撮像画像同士の相対的な位置関係を示す情報を動き補償パラメータとして算出する。
【００３６】
なお、以下、ｘ方向に平行な方向のうち、撮像装置１１の移動方向と同じ方向を、特に＋ｘ方向とも称し、＋ｘ方向と反対の方向を−ｘ方向とも称することとする。したがって、投影面上に各フレームの撮像画像を並べた場合、フレームｍの撮像画像は、フレーム（ｍ−１）の撮像画像に対して、＋ｘ方向側に位置することになる。
【００３７】
短冊領域決定部２３は、動き算出部２２から供給された撮像画像および動き補償パラメータと、入力されたオフセット量に基づいて、撮像画像上において、パノラマ画像の生成に用いるために切り出される領域である短冊領域を決定する。
【００３８】
ここで、短冊領域は、図１に示した領域ＴＲＲおよび領域ＴＲＬであり、撮像画像上の異なる２つの領域が短冊領域とされる。例えば、撮像画像上において、−ｘ方向側に位置する短冊領域をＴＲＲとし、＋ｘ方向側に位置する短冊領域をＴＲＬとして、１つの撮像画像上に２つの短冊領域が定められる。
【００３９】
このような場合に、撮像画像上の短冊領域ＴＲＲから短冊領域ＴＲＬまでの距離が、オフセット量として短冊領域決定部２３に入力される。このオフセット量は、予め定められていてもよいし、ユーザにより変更可能なようにしてもよい。
【００４０】
短冊領域決定部２３は、各撮像画像の短冊領域を決定すると、撮像画像、動き補償パラメータ、および短冊領域の位置を示す短冊領域位置情報を、合成領域決定部２４に供給する。
【００４１】
合成領域決定部２４は、短冊領域決定部２３から供給された撮像画像、動き補償パラメータ、および短冊領域位置情報に基づいて、合成領域を決定する。
【００４２】
撮像装置１１では、各撮像画像上の短冊領域が切り出されて合成され、１つのパノラマ画像が生成されるが、ユーザがｘ方向に撮像装置１１を移動させながら撮像画像を撮像した場合でも、撮像装置１１がｙ方向にもわずかに動いてしまう。そのため、各撮像画像を投影面に並べた場合、各撮像画像の位置はｙ方向にばらつきが生じる。
【００４３】
そこで、合成領域決定部２４は、撮像画像を投影面に並べた場合に、各撮像画像の短冊領域からなる領域に内接する最も大きい矩形領域を、パノラマ画像の生成に用いられる画像が切り出される合成領域とする。したがって、各撮像画像の短冊領域のうちの合成領域に含まれる領域を切り出して合成すれば、矩形状のパノラマ画像が得られる。
【００４４】
合成領域決定部２４は、決定された合成領域、つまり修正された最終的な各短冊領域の位置を示す合成領域情報と、撮像画像および動き補償パラメータとを、パノラマ画像生成部２５−１およびパノラマ画像生成部２５−２に供給する。
【００４５】
パノラマ画像生成部２５−１およびパノラマ画像生成部２５−２は、合成領域決定部２４から供給された合成領域情報、撮像画像、および動き補償パラメータを用いてパノラマ画像ＰＲおよびパノラマ画像ＰＬを生成し、視差制御部２６に供給する。なお、以下、パノラマ画像生成部２５−１およびパノラマ画像生成部２５−２を特に区別する必要のない場合、単にパノラマ画像生成部２５とも称する。
【００４６】
視差制御部２６は、パノラマ画像生成部２５から供給されたパノラマ画像を加工して、パノラマ画像の視差調整を行い、その結果得られたパノラマ画像の対を表示部２７に供給し、立体パノラマ画像を表示させる。
【００４７】
表示部２７は、例えばLCD（Liquid Crystal Display）やレンチキュラレンズからなり、視差制御部２６から供給されたパノラマ画像の対を、レンチキュラ方式で同時に表示することで、パノラマ画像を立体表示する。
【００４８】
［立体パノラマ画像表示処理の説明］
ところで、ユーザが撮像装置１１を操作して、立体パノラマ画像の生成を指示すると、撮像装置１１は、立体パノラマ画像を生成して表示する処理である立体パノラマ画像表示処理を開始する。以下、図３のフローチャートを参照して、撮像装置１１による立体パノラマ画像表示処理について説明する。
【００４９】
ステップＳ１１において、撮像部２１は、撮像装置１１が移動している状態で被写体を撮像する。例えば、ユーザは撮像装置１１を所定方向に回動させながら、複数枚の撮像画像を連続して撮像装置１１に撮像させる。
【００５０】
被写体からの光は撮像部２１に入射するので、撮像部２１は入射した光を光電変換することにより、撮像画像を撮像する。得られた撮像画像は、順次、撮像部２１から動き算出部２２に供給される。なお、撮像画像は、撮像された１つの静止画像であってもよいし、撮影された動画像を構成する１フレーム分の画像であってもよい。
【００５１】
ステップＳ１２において、動き算出部２２は、撮像部２１から供給された各撮像画像について、撮像画像の動き補償パラメータを算出し、撮像画像および動き補償パラメータを短冊領域決定部２３に供給する。
【００５２】
例えば、動き算出部２２は、連続する２つのフレームの撮像画像を用いて、ブロックマッチングにより、撮像画像のグローバルモーションベクトルを動き補償パラメータとして算出する。
【００５３】
すなわち、動き算出部２２は、処理対象のフレームの撮像画像を複数ブロックに分割し、各ブロックについて、処理対象の１つ前のフレームの撮像画像とのブロックマッチングを行なうことにより、そのブロックの動きベクトルを検出する。そして、動き算出部２２は、ブロックごとに求めた動きベクトルのうち、最も多い大きさかつ方向の動きベクトルを、撮像画像のグローバルモーションベクトルとする。
【００５４】
グローバルモーションベクトルは、撮像画像上の被写体全体のフレーム間の動きを示すグローバルな動きベクトルである。撮像画像上の被写体の多くは、実空間上において動きのない静止物体であるので、グローバルモーションベクトルは、撮像画像上の静止物体のフレーム間の動き、つまり撮像画像の撮像時における撮像装置１１の動きを示すベクトルであるということができる。
【００５５】
なお、動き補償パラメータは、その他、拡張アフィン変換などを利用して求めてもよい。例えば、拡張アフィン変換を利用して動き補償パラメータを算出する場合、動き算出部２２は、次式（１）を計算することで、撮像画像のフレーム間の動きを示すベクトル（Ｖ，Ｗ）を求め、得られたベクトル（Ｖ，Ｗ）を動き補償パラメータとする。
【００５６】
【数１】
【００５７】
なお、式（１）において、ａ乃至ｌは、アフィンパラメータを示しており、ｘ，ｙは、それぞれｘｙ座標系における撮像画像上の特徴的なブロックの中心位置のｘ成分およびｙ成分を示している。
【００５８】
すなわち、動き算出部２２は、処理対象のフレームの撮像画像を複数ブロックに分割し、各ブロックについて、処理対象の１つ前のフレームの撮像画像とのブロックマッチングを行なうことにより、そのブロックの動きベクトルを検出する。そして、動き算出部２２は、コーナーディテクタ等を利用して、各ブロックの動きベクトルの信頼性を求め、最も信頼性の高い動きベクトルのブロックを特徴的なブロックとし、上述した式（１）を計算する。
【００５９】
なお、アフィンパラメータは、各ブロックの中心座標と、各ブロックの動きベクトルとが用いられて、最小自乗法により算出される。
【００６０】
ステップＳ１３において、短冊領域決定部２３は、動き算出部２２から供給された撮像画像および動き補償パラメータと、オフセット量とに基づいて、各撮像画像の短冊領域を決定する。
【００６１】
例えば、図４の左側に示すように、短冊領域決定部２３は、フレーム１の撮像画像ＩＭ（１）とフレーム２の撮像画像ＩＭ（２）とを動き補償パラメータに基づいて投影面上に並べる。なお、図４において、図中、横方向はｘ方向を示しており、特に右方向は＋ｘ方向を示している。また、図４では、説明を分かり易くするため、撮像画像のｘ方向の位置関係のみを示しており、実際には撮像画像を投影面上に並べると、それらの撮像画像は互いに重なることになる。
【００６２】
短冊領域決定部２３は、投影面上に並べられた撮像画像ＩＭ（１）と撮像画像ＩＭ（２）が重なる領域のｘ方向の中心の位置（以下、基準位置と称する）を求め、さらにその基準位置から−ｘ方向に特定の距離だけ離れた位置をＲ基準位置とする。この特定の距離は、例えば、オフセット量の半分の距離とされる。
【００６３】
短冊領域決定部２３は、撮像画像ＩＭ（１）上において、Ｒ基準位置を中心とし、ｘ方向に予め定められた所定幅を有する領域を重複領域ＣＲ（１）とする。また、短冊領域決定部２３は、撮像画像ＩＭ（２）上において、Ｒ基準位置を中心とし、ｘ方向に予め定められた所定幅を有する領域を重複領域ＣＲ（２）とする。ここで、重複領域ＣＲ（１）と重複領域ＣＲ（２）は、投影面上において互いに重なる領域（同じ領域）とされる。
【００６４】
そして、短冊領域決定部２３は、図中、右側に示すように、撮像画像ＩＭ（１）上における、撮像画像ＩＭ（１）の左端から重複領域ＣＲ（１）の右端までの領域を、フレーム１の撮像画像の短冊領域ＴＲＲ（１）とする。同様に、短冊領域決定部２３は、撮像画像ＩＭ（２）上における、重複領域ＣＲ（２）の左端から撮像画像ＩＭ（２）の右端までの領域を、フレーム２の短冊領域ＴＲＲ（２）とする。
【００６５】
なお、より詳細には、フレーム２以降では、処理対象のフレームの短冊領域ＴＲＲを定めるにあたり、その前後のフレームについて考慮する必要がある。したがって、例えばフレームｍ（但し、ｍ≧２）の短冊領域ＴＲＲ（ｍ）は、撮像画像上における、フレーム（ｍ−１）との重複領域の左端から、フレーム（ｍ＋１）との重複領域の右端までの領域とされる。
【００６６】
短冊領域決定部２３は、このようにして各フレームの短冊領域ＴＲＲを定めると、同様の処理を行って、各フレームの短冊領域ＴＲＬを定める。このとき、撮像画像上の基準位置から、＋ｘ方向に特定の距離、例えばオフセット量の半分の距離だけ離れた位置が、Ｒ基準位置に対応するＬ基準位置とされる。そして、例えば短冊領域決定部２３は、撮像画像ＩＭ（１）上における、撮像画像ＩＭ（１）の左端から、Ｌ基準位置に対して定められた重複領域の右端までの領域を、フレーム１の撮像画像の短冊領域ＴＲＬとする。
【００６７】
このように、Ｒ基準位置とＬ基準位置を基準位置からｘ方向にずらした位置に定めることで、短冊領域ＴＲＲと短冊領域ＴＲＬとの間隔がオフセット量と等しくなり、互いに視差を有するパノラマ画像が得られる。
【００６８】
図３のフローチャートの説明に戻り、短冊領域決定部２３は、短冊領域を決定すると、撮像画像、動き補償パラメータ、および短冊領域の位置を示す短冊領域位置情報を、合成領域決定部２４に供給する。
【００６９】
ステップＳ１４において、合成領域決定部２４は、短冊領域決定部２３からの撮像画像、動き補償パラメータ、および短冊領域位置情報に基づいて合成領域を決定し、決定された合成領域の位置を示す合成領域情報、撮像画像、および動き補償パラメータをパノラマ画像生成部２５に供給する。このとき、パノラマ画像生成部２５−１には、パノラマ画像ＰＲを生成するための合成領域情報が供給され、パノラマ画像生成部２５−２には、パノラマ画像ＰＬを生成するための合成領域情報が供給される。
【００７０】
ステップＳ１５において、パノラマ画像生成部２５は、合成領域決定部２４からの合成領域情報、撮像画像、および動き補償パラメータを用いてパノラマ画像を生成し、視差制御部２６に供給する。
【００７１】
例えば、パノラマ画像生成部２５−１は、動き補償パラメータを用いて、動きのない同じ被写体がほぼ重なるように各撮像画像を投影面上に並べる。そして、パノラマ画像生成部２５−１は、合成領域情報により示される最終的な各撮像画像の短冊領域ＴＲＲ内の画像を切り出して、切り出された画像を合成することで、パノラマ画像ＰＲを生成する。
【００７２】
このように、パノラマ画像生成部２５−１およびパノラマ画像生成部２５−２によりステップＳ１５の処理が行われると、互いに異なる視点から見た被写体が表示される、２つのパノラマ画像が得られる。これらのパノラマ画像には、同じ被写体が表示されているが、この被写体は視差を有することになる。そのため、２つのパノラマ画像を同時に表示させれば、これらのパノラマ画像を観察するユーザには、パノラマ画像上の被写体が立体的に見えることになる。
【００７３】
ステップＳ１６において、視差制御部２６は、パノラマ画像生成部２５から供給されたパノラマ画像対の支配的な視差を検出する。
【００７４】
ここで、支配的な視差とは、パノラマ画像上の主要な被写体、つまり最も大きい（面積の広い）被写体が有する視差をいう。視差制御部２６は、パノラマ画像の画素ごとに視差を求め、各視差の大きさと、その大きさの視差を有するパノラマ画像の画素の数を示す評価値とからなる評価値テーブルを生成することにより、支配的な視差を求める。
【００７５】
具体的には、図５に示すように、視差制御部２６は、２つのパノラマ画像のうち、より−ｘ方向側に位置する短冊領域から切り出された画像により生成されたパノラマ画像ＰＲを、右眼用のパノラマ画像とし、他方のパノラマ画像ＰＬを左眼用のパノラマ画像とする。なお、図５において、横方向および縦方向は、それぞれｘ方向およびｙ方向を示している。特に、図中、右方向は＋ｘ方向を示している。
【００７６】
ここで、右眼用のパノラマ画像ＰＲとは、パノラマ画像対を立体表示するときに、ユーザの右眼により観察されるように表示されるパノラマ画像をいい、左眼用のパノラマ画像ＰＬとは、ユーザの左眼により観察されるように表示されるパノラマ画像をいう。
【００７７】
また、視差制御部２６は、パノラマ画像ＰＲおよびパノラマ画像ＰＬ上に、評価対象領域ＥＲおよび評価対象領域ＥＬを設定する。
【００７８】
評価対象領域ＥＲは、その中心がパノラマ画像ＰＲの中心と同じ位置にあり、パノラマ画像ＰＲよりも所定の長さだけｘ方向に短い矩形領域である。同様に、評価対象領域ＥＬは、その中心がパノラマ画像ＰＬの中心と同じ位置にあり、パノラマ画像ＰＬよりも所定の長さだけｘ方向に短い矩形領域である。また、評価対象領域ＥＲと評価対象領域ＥＬは同じ大きさの領域とされる。視差制御部２６は、パノラマ画像の画素のうち、これらの評価対象領域内にある画素を処理対象として、各視差の評価値を求める。
【００７９】
まず、視差制御部２６は、評価値テーブルの各視差に対する評価値を「０」に初期化し、視差「０」に対する評価値を求める。すなわち、図６に示すように、視差制御部２６は、パノラマ画像ＰＲにおける評価対象領域ＥＲ内の所定の画素ＧＲ（ｉ）と、パノラマ画像ＰＬにおける評価対象領域ＥＬ内の所定の画素ＧＬ（ｉ）とを処理対象の画素とする。なお、画素ＧＲ（ｉ）と画素ＧＬ（ｉ）は、パノラマ画像ＰＲとパノラマ画像ＰＬとを重ねた場合に、同じ位置にある画素とされる。
【００８０】
次に、視差制御部２６は、パノラマ画像ＰＬ上において画素ＧＬ（ｉ）にｘ方向に隣接する画素ＧＬ（ｉ＋１）および画素ＧＬ（ｉ−１）と、画素ＧＬ（ｉ）とを用いて閾値ｔｈを定める。すなわち、視差制御部２６は、画素ＧＬ（ｉ−１）、画素ＧＬ（ｉ）、および画素ＧＬ（ｉ＋１）の画素値のうちの最大値と最小値との差の絶対値を求めることにより、画素ＧＬ（ｉ）のｘ方向のダイナミックレンジＤＬを求める。
【００８１】
視差制御部２６は、求めたダイナミックレンジＤＬが、予め定められた所定の値以上である場合、閾値ｔｈを予め定められた規定値とし、ダイナミックレンジＤＬが、予め定められた所定の値未満である場合、閾値ｔｈを規定値よりも小さい値とする。
【００８２】
そして、視差制御部２６は、画素ＧＲ（ｉ）と画素ＧＬ（ｉ）の画素値の差分の絶対値を求め、求められた絶対値が閾値ｔｈ未満である場合、評価値テーブルの視差「０」に対する評価値に「１」を加算する。これに対して、視差制御部２６は、求めた絶対値が閾値ｔｈ以上である場合、視差「０」に対する評価値をそのままとする。
【００８３】
処理対象の画素ＧＲ（ｉ）と画素ＧＬ（ｉ）の差分の絶対値がある程度小さい場合、それらの画素には同じ被写体が表示されているはずである。また、画素ＧＲ（ｉ）と画素ＧＬ（ｉ）は、パノラマ画像ＰＲおよびパノラマ画像ＰＬ上の同じ位置にある画素であるから、それらの画素に同じ被写体が表示されていれば、その被写体は視差を有さないことになる。つまり、画素ＧＲ（ｉ）と画素ＧＬ（ｉ）に表示されている被写体は、立体パノラマ画像の表示時においては、表示部２７の表示画面上に定位することになる。
【００８４】
なお、ダイナミックレンジＤＬに応じて閾値ｔｈを変化させるのは、処理対象の画素同士の相関の有無の誤判定を抑制するためである。例えば、画素ＧＬ（ｉ）の部分に、被写体として空間方向への画素値の変化が少ない平坦な被写体（例えば、空など）が表示されていたとする。
【００８５】
この場合、画素ＧＬ（ｉ）近傍の画素の画素値は、画素ＧＬ（ｉ）の画素値に近い値となり、画素ＧＲ（ｉ）と画素ＧＬ（ｉ）に異なる被写体の部分が表示されていたとしても、それらの画素の差分の絶対値は、閾値ｔｈ未満となってしまうことがある。つまり、誤判定が生じることがある。そこで、ダイナミックレンジＤＬが小さい場合には、このような誤判定が生じにくくなるように、閾値ｔｈが通常の規定値よりも小さい値とされる。
【００８６】
なお、誤判定の抑制のため、ダイナミックレンジＤＬが予め定められた所定の値未満である場合には、画素ＧＲ（ｉ）と画素ＧＬ（ｉ）を処理対象とせず、差分の計算を行わないようにしてもよい。
【００８７】
このようにして、処理対象とされた画素の差分が求められ、閾値ｔｈとの閾値処理の結果に応じて評価値テーブルの評価値に「１」が加算されると、視差制御部２６は、評価対象領域ＥＲと評価対象領域ＥＬ内のまだ処理対象としてない画素を選択し、処理対象とする。つまり、新たに処理対象とされた画素同士の差分の絶対値と、閾値ｔｈとが比較され、その比較結果に応じて、評価値テーブルが更新される。
【００８８】
そして、評価対象領域ＥＲと評価対象領域ＥＬ内の全ての画素が処理対象とされると、そのときの評価値テーブルの視差「０」の評価値が、最終的な評価値とされる。この評価値は、パノラマ画像の評価対象領域内において、視差が「０」である被写体が表示されている画素の数を示している。換言すれば、パノラマ画像上の評価対象領域内には、視差が「０」である被写体が表示される画素が、評価値に示される数だけ存在する。
【００８９】
さらに、視差制御部２６は、評価対象領域ＥＲに対してパノラマ画像ＰＲの位置をずらしながら、評価対象領域ＥＲと評価対象領域ＥＬ内の同じ位置にある画素を処理対象として、各視差の大きさについて評価値を求めていく。すなわち、視差制御部２６は、パノラマ画像ＰＬに対してパノラマ画像ＰＲの位置をずらしながら、パノラマ画像の差分を求め、各視差の評価値を求めていく。
【００９０】
例えば、視差制御部２６は、図７に示すように、評価対象領域ＥＲに対してパノラマ画像ＰＲの位置を、図中、左方向にずらし、評価対象領域内の画素の差分を求める。なお、図中、横方向および縦方向はｘ方向およびｙ方向を示しており、特に右方向は＋ｘ方向を示している。
【００９１】
図７の例では、評価対象領域ＥＲに対してパノラマ画像ＰＲが−ｘ方向に１２８画素分だけずらされており、評価対象領域ＥＲとパノラマ画像ＰＲの右側の端が一致している。この状態で、視差制御部２６は、図５および図６を参照して説明した処理を行う。つまり、視差制御部２６は、評価対象領域内の同じ位置にあるパノラマ画像ＰＲおよびパノラマ画像ＰＬの画素の差分の絶対値を求め、その絶対値と閾値ｔｈを比較する。視差制御部２６は、比較の結果、絶対値が閾値未満であれば、評価値テーブルの視差「−１２８」の評価値に「１」を加算し、絶対値が閾値以上であれば、評価値の更新を行わない。
【００９２】
このようにして、評価対象領域内の全ての画素を処理対象として評価値テーブルの更新を行うと、視差「−１２８」の最終的な評価値が得られる。視差「−１２８」の評価値の更新時においては、パノラマ画像ＰＲを１２８画素分だけずらして処理が行われるため、差分の絶対値が閾値未満である画素に表示される被写体は、パノラマ画像ＰＲとパノラマ画像ＰＬとで、１２８画素分だけ離れた位置に表示されることになる。つまり、その被写体は１２８画素分だけの視差を有することになる。そして、視差が「−１２８」である画素に表示されている被写体は、立体パノラマ画像の表示時においては、表示部２７の表示画面よりもユーザから見て奥行き側に定位することになる。
【００９３】
同様に、視差制御部２６は、図７の例と反対の方向にも評価対象領域ＥＲに対してパノラマ画像ＰＲの位置をずらしながら、評価対象領域ＥＲと評価対象領域ＥＬ内の同じ位置にある画素を処理対象として、各視差の大きさについて評価値を求めていく。
【００９４】
例えば、視差制御部２６は、図８に示すように、評価対象領域ＥＲに対してパノラマ画像ＰＲの位置を、図中、右方向にずらし、評価対象領域内の画素の差分を求める。なお、図中、横方向および縦方向はｘ方向およびｙ方向を示しており、特に右方向は＋ｘ方向を示している。
【００９５】
図８の例では、評価対象領域ＥＲに対してパノラマ画像ＰＲが＋ｘ方向に１２８画素分だけずらされており、評価対象領域ＥＲとパノラマ画像ＰＲの左側の端が一致している。この状態で、視差制御部２６は、評価対象領域内の同じ位置にあるパノラマ画像ＰＲおよびパノラマ画像ＰＬの画素の差分の絶対値を求め、その絶対値と閾値ｔｈを比較する。視差制御部２６は、比較の結果、絶対値が閾値未満であれば、評価値テーブルの視差「１２８」の評価値に「１」を加算し、絶対値が閾値以上であれば、評価値の更新を行わない。
【００９６】
このようにして、評価対象領域内の全ての画素を処理対象として評価値テーブルの更新を行うと、視差「１２８」の最終的な評価値が得られる。視差が「１２８」である画素に表示されている被写体は、立体パノラマ画像の表示時においては、表示部２７の表示画面よりもユーザから見て手前側に定位することになる。
【００９７】
視差制御部２６は、以上のようにして、各視差の大きさについて評価値を求めると、評価値テーブルの評価値のうち、最も値が大きい評価値の視差を、パノラマ画像の支配的な視差とする。評価値テーブルにおいて、視差ごとの評価値は、その大きさの視差を有する画素の数、つまりパノラマ画像上の被写体の領域の大きさ（面積）を表している。したがって、パノラマ画像では、最も大きい評価値の視差を有する領域（画素）が、最も面積が広く、評価値が最大である視差が、パノラマ画像の被写体の支配的な視差であるということができる。
【００９８】
なお、パノラマ画像の支配的な視差を求める方法として、パノラマ画像の画素ごとの差分を求める例について説明したが、パノラマ画像ＰＲの領域とパノラマ画像ＰＬの領域との相関の度合いを示す相関値を求め、その相関値に基づいて各視差の評価値が求められればよい。例えば、パノラマ画像の画素ごとの差分ではなく、ブロックごとの差分に基づく値（例えばブロック内の画素の差分絶対値和）が相関値とされてもよい。
【００９９】
また、パノラマ画像の差分を利用して支配的な視差を求める場合に、パノラマ画像ＰＲとパノラマ画像ＰＬとに対して間引きを行い、間引きされて縮小されたパノラマ画像の差分が求められて支配的な視差が求められるようにしてもよい。
【０１００】
図３のフローチャートの説明に戻り、視差制御部２６が、パノラマ画像の支配的な視差を検出すると、処理はステップＳ１６からステップＳ１７へと進む。
【０１０１】
ステップＳ１７において、視差制御部２６は、求めたパノラマ画像ＰＲとパノラマ画像ＰＬの間の支配的な視差に基づいて、パノラマ画像ＰＲおよびパノラマ画像ＰＬの視差調整を行う。
【０１０２】
すなわち、視差制御部２６は、求めた支配的な視差が打ち消されるように、パノラマ画像ＰＲとパノラマ画像ＰＬ全体を視差の分だけシフト（移動）させる。このように、支配的な視差が打ち消されるようにパノラマ画像全体の位置をずらして視差調整を行うと、視差調整後のパノラマ画像の支配的な視差は「０」となる。これにより、パノラマ画像ＰＲとパノラマ画像ＰＬを同時に立体表示させると、立体パノラマ画像の主要な被写体は、表示部２７の表示画面の位置に定位することとなる。
【０１０３】
立体パノラマ画像の主要な被写体、つまり大きい被写体が表示部２７の表示画面の位置に定位すると、その定位の位置とユーザの目の焦点位置とが一致して、ユーザの目や脳が疲れてしまうことがなくなる。しかも、立体パノラマ画像の主要な被写体は表示画面の位置に定位するが、他の被写体の部分は、表示画面の手前側や奥行き側に定位するため、立体パノラマ画像が充分立体的に表示され、立体パノラマ画像は、より自然な奥行き感（立体感）を有するものとなる。
【０１０４】
このように、パノラマ画像の支配的な視差を求め、その支配的な視差が打ち消されるように、パノラマ画像の視差調整を行うことで、より適切な視差を有するパノラマ画像対を得ることができ、その結果、より自然な立体感を再現することができる。
【０１０５】
パノラマ画像の視差調整は、例えば図９に示すように、パノラマ画像ＰＲとパノラマ画像ＰＬとが支配的な視差に対して定まるシフト量だけシフトされることにより行われる。なお、図中、横方向および縦方向はｘ方向およびｙ方向を示しており、特に右方向および下方向は、＋ｘ方向および＋ｙ方向を示している。また、図９において図８における場合と対応する部分には、同一の符号を付してあり、その説明は適宜省略する。
【０１０６】
いま、パノラマ画像ＰＲとパノラマ画像ＰＬの支配的な視差としてＰａが得られたとすると、視差制御部２６は、パノラマ画像のシフト量Ｓ＝Ｐａとして、パノラマ画像ＰＲを＋ｘ方向にＳ／２だけシフトさせ、パノラマ画像ＰＬを−ｘ方向にＳ／２だけシフトさせる。
【０１０７】
例えばシフト量Ｓが正の値（Ｓ＞０）であれば、図９に示すように、パノラマ画像ＰＲ全体が評価対象領域ＥＲに対して右方向（＋ｘ方向）にＳ／２だけシフトされ、パノラマ画像ＰＬ全体が評価対象領域ＥＬに対して左方向（−ｘ方向）にＳ／２だけシフトされる。そして、シフト後において評価対象領域ＥＲおよび評価対象領域ＥＬ内にあるパノラマ画像ＰＲとパノラマ画像ＰＬの領域が、最終的なパノラマ画像の対とされて、立体パノラマ画像の表示に用いられる。
【０１０８】
支配的な視差Ｐａが正の値である場合、立体パノラマ画像の主な被写体は、表示部２７の表示画面の手前側に定位する。そこで、視差が小さくなるように、つまり支配的な視差が「０」となるように、図９中、パノラマ画像ＰＲとパノラマ画像ＰＬを遠ざける方向にシフトすれば、シフト後のパノラマ画像の主な被写体は表示部２７の表示画面の位置に定位する。
【０１０９】
逆に、シフト量Ｓが負の値（Ｓ＜０）であれば、パノラマ画像ＰＲ全体が評価対象領域ＥＲに対して図中、左方向（−ｘ方向）にシフトされ、パノラマ画像ＰＬ全体が評価対象領域ＥＬに対して右方向（＋ｘ方向）にシフトされる。すなわち、支配的な視差Ｐａが負の値である場合、立体パノラマ画像の主な被写体は、表示画面の奥行き側に定位するので、視差が大きくなるように、図９中、パノラマ画像同士を、互いに近づく方向にシフトすれば、主な被写体を表示画面に定位させることができる。
【０１１０】
以上において説明したパノラマ画像をシフトさせる処理を、式を用いて説明すると次のようになる。ｘｙ座標系において、パノラマ画像ＰＲ上の注目する画素をｐｒとし、パノラマ画像ＰＬ上の注目する画素をｐｌとして、それらの画素ｐｒと画素ｐｌの座標を（ｘｒ，ｙｒ）および（ｘｌ，ｙｌ）とする。
【０１１１】
また、シフト量をＳとすると、視差制御部２６は、次式（２）および式（３）を計算して、画素ｐｒおよび画素ｐｌを、それぞれ座標（ｘｒ’，ｙｒ’）および（ｘｌ’，ｙｌ’）に移動させることで、視差調整を行う。
【０１１２】
（ｘｒ’，ｙｒ’）＝（ｘｒ＋（Ｓ／２），ｙｒ） ・・・（２）
【０１１３】
（ｘｌ’，ｙｌ’）＝（ｘｌ−（Ｓ／２），ｙｌ） ・・・（３）
【０１１４】
このように、パノラマ画像上の各画素の表示位置をずらせば、より適切な視差を有するパノラマ画像対を得ることができる。
【０１１５】
図３のフローチャートの説明に戻り、視差制御部２６は、パノラマ画像対の視差調整を行うと、その結果得られたパノラマ画像対を表示部２７に供給し、処理はステップＳ１８に進む。
【０１１６】
ステップＳ１８において、表示部２７は、視差制御部２６から供給されたパノラマ画像対を、右眼用および左眼用のパノラマ画像として、これらのパノラマ画像をレンチキュラ方式で同時に立体表示する。これにより、表示部２７の表示画面には、立体パノラマ画像が表示される。立体パノラマ画像が表示されると、立体パノラマ画像表示処理は終了する。
【０１１７】
このようにして撮像装置１１は、オフセット量に基づいて各撮像画像上の短冊領域を決定し、その短冊領域から画像を切り出してパノラマ画像を生成する。そして、撮像装置１１は、得られたパノラマ画像の視差調整を行い、パノラマ画像対を立体パノラマ画像として表示する。
【０１１８】
このように、生成されたパノラマ画像に対して、パノラマ画像の画素同士の差分を求めることで、より簡単かつ迅速にパノラマ画像の支配的な視差を求めることができ、これにより得られた視差を打ち消すようにパノラマ画像に対するシフト処理を行えば、より適切な視差を有するパノラマ画像対を得ることができる。したがって、得られたパノラマ画像対を立体表示すれば、より自然な立体感を再現することができる。
【０１１９】
なお、以上においては、パノラマ画像の支配的な視差に基づいて、パノラマ画像の視差調整を行なうと説明したが、求められた支配的な視差を用いてオフセット量を設定し直して、撮像画像から最終的なパノラマ画像対を生成し直すようにしてもよい。この場合、設定し直されたオフセット量に基づいて短冊領域が定められ、その短冊領域の画像が合成されて、最終的なパノラマ画像が生成される。
【０１２０】
〈第２の実施の形態〉
［支配的な視差についての説明］
ところで、以上においては、パノラマ画像から支配的な視差を求め、その視差に応じてパノラマ画像の視差調整を行なうと説明したが、本出願人により、パノラマ画像の支配的な視差の絶対値は、短冊領域のオフセット量とほぼ等しいことが確認されている。
【０１２１】
例えば、図１０に示すように、撮像部２１を構成するレンズの主点Ｌ０が、回転中心ＯＣを中心として図中、時計回りの方向に回動するように、ユーザが撮像装置１１を移動させながら撮像画像を撮像させたとする。ここで、レンズの主点Ｌ０から回転中心ＯＣまでの距離、つまり回転半径はｒとされ、撮像部２１の焦点距離はｆであるとする。
【０１２２】
また、撮像面ＶＳ（ｔ）と撮像面ＶＳ（ｔ＋１）が時間的に連続して撮像され、撮像面ＶＳ（ｔ）上の領域ＴＲＲ−１と領域ＴＲＬ−１が短冊領域ＴＲＲと短冊領域ＴＲＬに相当し、撮像面ＶＳ（ｔ＋１）上の領域ＴＲＲ−２と領域ＴＲＬ−２が短冊領域ＴＲＲと短冊領域ＴＲＬに相当するとする。このとき、オフセット量が２Ｈであるとすると、領域ＴＲＲ−１と領域ＴＲＬ−１の間の距離、および領域ＴＲＲ−２と領域ＴＲＬ−２の間の距離は、ともにオフセット量２Ｈとなる。
【０１２３】
図１０の例では、撮像面ＶＳ（ｔ）と撮像面ＶＳ（ｔ＋１）のそれぞれに対応する撮像画像上には、同じ被写体ＯＢ２１が表示され、被写体ＯＢ２１は、それぞれ領域ＴＲＬ−１と領域ＴＲＲ−２に対応する領域に表示される。この場合における実際の被写体ＯＢ２１の視差は、領域ＴＲＬ−１と領域ＴＲＲ−２の距離２ｄである。
【０１２４】
また、図１０の例で撮像された撮像画像から２つのパノラマ画像ＰＲおよびパノラマ画像ＰＬを生成すると、それらのパノラマ画像の視差は、領域ＴＲＲ−１から領域ＴＲＲ−２までの距離Ｄとなる。そして、この視差Ｄは、領域ＴＲＲ−１から領域ＴＲＬ−１までの距離、つまりオフセット量２Ｈと、被写体ＯＢ２１の視差２ｄの和により表すことができるが、連続して撮像画像が撮像される場合には、視差２ｄは微小な値となるため、無視することができる。したがって、パノラマ画像の視差Ｄは、オフセット量２Ｈと近似することができる。
【０１２５】
このように、パノラマ画像ＰＲとパノラマ画像ＰＬとの視差Ｄは、オフセット量２Ｈとほぼ同じであるので、オフセット量に基づいてパノラマ画像の視差調整をすれば、パノラマ画像の支配的な視差を求めなくても、適切な視差制御を行なうことができる。
【０１２６】
［立体パノラマ画像表示処理の説明］
撮像装置１１が、オフセット量に基づいてパノラマ画像の視差調整を行なう場合、短冊領域決定部２３だけでなく、視差制御部２６にもオフセット量が供給される。
【０１２７】
以下、図１１のフローチャートを参照して、このような場合に撮像装置１１が行なう立体パノラマ画像表示処理について説明する。
【０１２８】
なお、ステップＳ５１乃至ステップＳ５５の処理は、図３のステップＳ１１乃至ステップＳ１５の処理と同様であるので、その説明は省略する。すなわち、撮像画像が撮像されて、それらの撮像画像からパノラマ画像ＰＲおよびパノラマ画像ＰＬが生成される。
【０１２９】
ステップＳ５６において、視差制御部２６は、入力されたオフセット量２Ｈを用いて、パノラマ画像生成部２５から供給されたパノラマ画像ＰＲおよびパノラマ画像ＰＬの視差調整を行う。
【０１３０】
すなわち、視差制御部２６は、パノラマ画像のシフト量Ｓ＝−２Ｈとして、図９を参照して説明した処理と同様の処理を行い、パノラマ画像ＰＲおよびパノラマ画像ＰＬの視差を調整する。つまりパノラマ画像ＰＲおよびパノラマ画像ＰＬが、それぞれＳ／２だけｘ方向にシフトされる。
【０１３１】
そしてステップＳ５７において、表示部２７は、視差制御部２６から供給されたパノラマ画像対を、右眼用および左眼用のパノラマ画像として、これらのパノラマ画像をレンチキュラ方式で同時に立体表示し、立体パノラマ画像表示処理は終了する。
【０１３２】
このようにして撮像装置１１は、オフセット量に基づいてパノラマ画像の視差調整を行い、パノラマ画像対を立体パノラマ画像として表示する。
【０１３３】
このように、オフセット量を用いてパノラマ画像の視差調整を行なうことでも、より適切な視差を有するパノラマ画像対を得ることができ、より自然な立体感を有する立体パノラマ画像を表示することができる。この場合、支配的な視差を求める場合よりも、より簡単な処理で、迅速に視差調整を行なうことができる。
【０１３４】
なお、以上においては、シフト量をオフセット量と同じ大きさにすると説明したが、オフセット量を多少増減させた値をシフト量として用いるようにしてもよい。
【０１３５】
また、撮像画像上の異なる２つの領域が短冊領域とされると説明したが、１つの撮像画像上の互いに異なる３以上の領域が、それぞれ短冊領域とされるようにしてもよい。そのような場合、それらの短冊領域ごとにパノラマ画像が生成される。これらの複数のパノラマ画像は、例えば多視点の立体パノラマ画像を表示するのに用いられる。例えば、複数のパノラマ画像のうちのいくつかをレンチキュラ方式で表示部２７に同時に表示すれば、表示部２７を見る視点位置によって、異なる視差のパノラマ画像が表示されるようにすることができる。この場合であっても、撮像装置１１は、パノラマ画像の対ごとに視差調整を行うことができる。
【０１３６】
さらに、パノラマ画像ＰＲとパノラマ画像ＰＬの両方をシフトさせることにより、それらのパノラマ画像の視差調整を行なうと説明したが、パノラマ画像ＰＲまたはパノラマ画像ＰＬの少なくとも一方がシフトされ、視差調整がされればよい。すなわち、例えばパノラマ画像ＰＲのみが、シフト量Ｓだけシフトされて視差調整されてもよい。
【０１３７】
さらに、以上においては、立体パノラマ画像が表示される例について説明したが、表示される立体画像は、撮像画像よりも広い画角である必要はなく、例えば、撮像画像と同じ広さの画角の立体画像が表示されるようにしてもよい。そのような場合、生成されるパノラマ画像の画角は、撮像画像の画角と同じとされる。
【０１３８】
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０１３９】
図１２は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０１４０】
コンピュータにおいて、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。
【０１４１】
バス２０４には、さらに、入出力インターフェース２０５が接続されている。入出力インターフェース２０５には、キーボード、マウス、マイクロホンなどよりなる入力部２０６、ディスプレイ、スピーカなどよりなる出力部２０７、ハードディスクや不揮発性のメモリなどよりなる記録部２０８、ネットワークインターフェースなどよりなる通信部２０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア２１１を駆動するドライブ２１０が接続されている。
【０１４２】
以上のように構成されるコンピュータでは、CPU２０１が、例えば、記録部２０８に記録されているプログラムを、入出力インターフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。
【０１４３】
コンピュータ（CPU２０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア２１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０１４４】
そして、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インターフェース２０５を介して、記録部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記録部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記録部２０８に、あらかじめインストールしておくことができる。
【０１４５】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１４６】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０１４７】
１１ 撮像装置， ２１ 撮像部， ２２ 動き算出部， ２３ 短冊領域決定部， ２４ 合成領域決定部， ２５−１，２５−２，２５ パノラマ画像生成部， ２６ 視差制御部， ２７ 表示部
【技術分野】
【０００１】
本発明は画像処理装置および方法、並びにプログラムに関し、特に、より自然な奥行き感を有する立体画像を表示させることができるようにした画像処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
従来、撮像装置を所定方向にパンさせながら撮像して得られた複数の静止画像を重ね合わせて合成することで、パノラマ画像を生成する技術が知られている（例えば、特許文献１参照）。パノラマ画像は、複数の静止画像を並べて合成することで得られる画像であるので、パノラマ画像によれば、１つの静止画像の撮像時に撮像対象となる空間上の領域よりも、より広い領域を被写体として表示することができる。
【０００３】
また、パノラマ画像を得るために、撮像装置をパンさせながら複数の静止画像を撮像した場合には、いくつかの静止画像に、同じ被写体が含まれていることがある。そのような場合において、異なる静止画像上の同じ被写体は、互いに異なる位置から撮像されたものであるから、視差が生じていることになる。
【０００４】
これを利用して、複数の静止画像から、互いに視差を有する２つのパノラマ画像を生成すれば、これらのパノラマ画像をレンチキュラ方式で同時に表示することで、撮像対象となった被写体を立体的に表示することができる。なお、以下、２つのパノラマ画像に基づいて表示される立体的な画像を、立体パノラマ画像とも称することとする。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第３１６８４４３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、立体パノラマ画像を表示部に表示させる場合、同時に表示させる２つのパノラマ画像間の視差がほとんどなければ、立体パノラマ画像上の主な被写体は、表示部の表示面に定位することになる。
【０００７】
このとき、２つのパノラマ画像間において、被写体全体で全く視差がなければ、立体パノラマ画像の被写体は立体的には見えないが、被写体の一部に視差があれば、その被写体の部位は表示面とは異なる位置に定位し、全体として立体感のある被写体が表示される。つまり、２つのパノラマ画像上の被写体の各部が相対的に適切な視差を有していれば、被写体が立体的に表示されることになる。
【０００８】
これに対して、２つのパノラマ画像間に視差があれば、その視差に応じて、立体パノラマ画像の主な被写体は、観察者から見て表示面の手前側または奥行き側に定位するが、このような場合、自然な立体感が得られなくなることがある。さらに、この場合、観察者は表示部の表示面に目の焦点を合わせているのに、立体パノラマ画像の主な被写体は表示面とは異なる位置に定位しているので、観察者の目と脳が疲れてしまう。
【０００９】
通常、２つのパノラマ画像間において、パノラマ画像上の被写体の各部位は、互いに異なる視差を有するから、パノラマ画像上の主な被写体がどの位置に定位しても、立体パノラマ画像上の被写体は、立体的に見えるはずである。したがって、立体パノラマ画像上の主な被写体が、表示面に定位するような視差を有する２つのパノラマ画像が、最も適切な視差を有するパノラマ画像対であるということができる。
【００１０】
しかしながら、上述した技術では、撮像された複数の静止画像から、適切な視差を有する２つのパノラマ画像を得ることは困難であった。そのため、自然な奥行き感（立体感）のある立体画像を表示させることができなかった。
【００１１】
本発明は、このような状況に鑑みてなされたものであり、より自然な奥行き感を有する立体画像を表示させることができるようにするものである。
【課題を解決するための手段】
【００１２】
本発明の一側面の画像処理装置は、撮像手段を移動させながら前記撮像手段により撮像して得られた複数の撮像画像に基づいて、立体合成画像表示用の互いに視差を有する第１の合成画像および第２の合成画像を生成する画像処理装置であって、複数の前記撮像画像の第１の短冊領域の画像のそれぞれを合成して、前記第１の合成画像を生成する第１の合成画像生成手段と、複数の前記撮像画像の前記第１の短冊領域とは異なる第２の短冊領域の画像のそれぞれを合成して、前記第２の合成画像を生成する第２の合成画像生成手段と、所定のシフト量に基づいて、前記第１の合成画像または前記第２の合成画像のうちの少なくとも一方をシフトさせることで、前記第１の合成画像と前記第２の合成画像の視差を調整する視差制御手段とを備える。
【００１３】
前記視差制御手段には、前記第１の合成画像の領域と前記第２の合成画像の領域との相関の度合いを示す相関値を算出させ、前記相関値を用いて前記第１の合成画像と前記第２の合成画像の支配的な視差を検出させて、前記支配的な視差が打ち消される前記シフト量を算出させることができる。
【００１４】
前記視差制御手段には、前記第１の合成画像に対する前記第２の合成画像の位置をずらしながら、前記第１の合成画像と前記第２の合成画像との差分を前記相関値として算出させることができる。
【００１５】
前記視差制御手段には、前記撮像画像上における前記第１の短冊領域と前記第２の短冊領域との距離に基づいて、前記シフト量を算出させることができる。
【００１６】
本発明の一側面の画像処理方法またはプログラムは、撮像手段を移動させながら前記撮像手段により撮像して得られた複数の撮像画像に基づいて、立体合成画像表示用の互いに視差を有する第１の合成画像および第２の合成画像を生成する画像処理方法またはプログラムであって、複数の前記撮像画像の第１の短冊領域の画像のそれぞれを合成して、前記第１の合成画像を生成し、複数の前記撮像画像の前記第１の短冊領域とは異なる第２の短冊領域の画像のそれぞれを合成して、前記第２の合成画像を生成し、所定のシフト量に基づいて、前記第１の合成画像または前記第２の合成画像のうちの少なくとも一方をシフトさせることで、前記第１の合成画像と前記第２の合成画像の視差を調整するステップを含む。
【００１７】
本発明の一側面においては、撮像手段を移動させながら前記撮像手段により撮像して得られた複数の撮像画像に基づいて、立体合成画像表示用の互いに視差を有する第１の合成画像および第２の合成画像を生成する画像処理において、複数の前記撮像画像の第１の短冊領域の画像のそれぞれが合成されて、前記第１の合成画像が生成され、複数の前記撮像画像の前記第１の短冊領域とは異なる第２の短冊領域の画像のそれぞれが合成されて、前記第２の合成画像が生成され、所定のシフト量に基づいて、前記第１の合成画像または前記第２の合成画像のうちの少なくとも一方をシフトさせることで、前記第１の合成画像と前記第２の合成画像の視差が調整される。
【発明の効果】
【００１８】
本発明の一側面によれば、より自然な奥行き感を有する立体画像を表示させることができる。
【図面の簡単な説明】
【００１９】
【図１】立体パノラマ画像について説明する図である。
【図２】本発明を適用した撮像装置の一実施の形態の構成例を示す図である。
【図３】立体パノラマ画像表示処理を説明するフローチャートである。
【図４】短冊領域について説明する図である。
【図５】支配的な視差の検出について説明する図である。
【図６】支配的な視差の検出について説明する図である。
【図７】支配的な視差の検出について説明する図である。
【図８】支配的な視差の検出について説明する図である。
【図９】視差調整について説明する図である。
【図１０】オフセット量と視差の関係について説明する図である。
【図１１】立体パノラマ画像表示処理を説明するフローチャートである。
【図１２】コンピュータの構成例を示す図である。
【発明を実施するための形態】
【００２０】
以下、図面を参照して、本発明を適用した実施の形態について説明する。
【００２１】
〈第１の実施の形態〉
［立体パノラマ画像の説明］
本発明を適用した撮像装置は、例えばカメラなどからなり、撮像装置が移動している状態で、撮像装置が連続的に撮像した複数の撮像画像から、立体パノラマ画像を生成する。立体パノラマ画像は、視差を有する２つのパノラマ画像から構成される。
【００２２】
ユーザが撮像装置に立体パノラマ画像を生成させようとする場合、ユーザは撮像装置を操作して、立体パノラマ画像の生成に用いられる撮像画像を撮像させる。
【００２３】
例えば、図１の左側に示すように、撮像装置のレンズ主点が位置ｆｐ１にある状態で、仮想撮像面ＶＳを撮像すると、撮像画像ＩＭが得られる。例えば、撮像画像ＩＭ上の領域ＴＲＲおよび領域ＴＲＬには、それぞれ実空間上の領域ＳＥＲおよび領域ＳＥＬにある被写体が表示されることになる。
【００２４】
そして、ユーザが図１中、横方向に撮像装置を移動させながら複数の撮像画像を撮像させると、各撮像画像は視差を有することになる。具体的には、図１中央に示すように、時刻Ｔ＝ｔにおいて、レンズ主点が位置ｆｐ１にある状態で撮像画像を撮像し、時刻Ｔ＝ｔ＋Δｔにおいて、レンズ主点が位置ｆｐ２にある状態で撮像画像を撮像すると、それらの撮像画像には、同じ被写体ＯＢ１が表示される。このとき、被写体ＯＢ１の撮像位置は互いに異なるので視差が生じることになる。これを利用すれば、同じ被写体が表示される、互いに視差を有するパノラマ画像が得られる。
【００２５】
すなわち、撮像装置を移動させながら撮像して得られた各撮像画像から、それぞれ撮像画像ＩＭの領域ＴＲＲおよび領域ＴＲＬに対応する領域を切り出して合成すれば、図１中、右側に示すように、パノラマ画像ＰＲとパノラマ画像ＰＬが得られる。
【００２６】
ここで、パノラマ画像ＰＲは、各撮像画像の領域ＴＲＲに対応する領域を並べて合成することで得られる画像であり、このパノラマ画像ＰＲは、位置ｆｐ３を仮想的なレンズ主点位置として被写体を撮像して得られる画像である。一方、パノラマ画像ＰＬは、各撮像画像の領域ＴＲＬに対応する領域を並べて合成することで得られる画像であり、このパノラマ画像ＰＬは、位置ｆｐ４を仮想的なレンズ主点位置として被写体を撮像して得られる画像である。そしてパノラマ画像ＰＲとパノラマ画像ＰＬは、互いに視差を有し、同じ被写体が表示されている画像である。
【００２７】
そこで、パノラマ画像ＰＲを右眼用の画像とし、パノラマ画像ＰＬを左眼用の画像として、これらのパノラマ画像をレンチキュラ方式等により同時に表示すれば、ユーザの目には、立体的なパノラマ画像（以下、立体パノラマ画像とも称する）が見えることになる。
【００２８】
このように、複数の撮像画像の所定の領域（以下、短冊領域と称する）を切り出して、それらの部分的な画像を並べて合成し、１つの画像とすれば１つのパノラマ画像が得られる。また、短冊領域をずらして異なるパノラマ画像を生成すれば、互いに視差を有するパノラマ画像の対を得ることができ、それらのパノラマ画像を用いれば、立体パノラマ画像を表示させることができる。
【００２９】
［撮像装置の構成］
図２は、本発明を適用した撮像装置の一実施の形態の構成例を示す図である。
【００３０】
撮像装置１１は、撮像部２１、動き算出部２２、短冊領域決定部２３、合成領域決定部２４、パノラマ画像生成部２５−１、パノラマ画像生成部２５−２、視差制御部２６、および表示部２７から構成される。
【００３１】
撮像部２１は、光学レンズ等の光学系や撮像素子などから構成され、被写体からの光を電気信号に変換することで、被写体の像を撮像し、その結果得られた撮像画像を動き算出部２２に供給する。
【００３２】
例えば、ユーザが撮像装置１１を所定方向に移動させながら連続して撮像画像の撮像を指示した場合、時間的に連続して撮像された撮像画像が、順次、動き算出部２２に供給されることになる。なお、以下、連続して撮像された撮像画像のうち、ｍ番目に撮像された撮像画像をフレームｍの撮像画像とも称することとする。
【００３３】
動き算出部２２は、撮像部２１から供給された撮像画像に基づいて、撮像画像のフレーム間における、撮像装置１１の動き（移動）を補償する動き補償パラメータを算出し、撮像画像および動き補償パラメータを短冊領域決定部２３に供給する。
【００３４】
この動き補償パラメータは、複数の撮像画像のそれぞれを、実空間上において動きのない同じ被写体がほぼ重なるように並べた場合における、撮像画像同士の相対的な位置関係を示す情報である。
【００３５】
例えば、互いに垂直なｘ方向およびｙ方向からなる２次元平面（以下、投影面と称する）を考え、撮像画像の撮像時にユーザが撮像装置１１を移動させる方向に対応する方向がｘ方向であったとする。また、各撮像画像の端は、ｘ方向およびｙ方向にほぼ平行であるとする。この場合、動き算出部２２は、各撮像画像を投影面上に並べたときに、隣接する２つの撮像画像、つまり連続するフレームの撮像画像同士の相対的な位置関係を示す情報を動き補償パラメータとして算出する。
【００３６】
なお、以下、ｘ方向に平行な方向のうち、撮像装置１１の移動方向と同じ方向を、特に＋ｘ方向とも称し、＋ｘ方向と反対の方向を−ｘ方向とも称することとする。したがって、投影面上に各フレームの撮像画像を並べた場合、フレームｍの撮像画像は、フレーム（ｍ−１）の撮像画像に対して、＋ｘ方向側に位置することになる。
【００３７】
短冊領域決定部２３は、動き算出部２２から供給された撮像画像および動き補償パラメータと、入力されたオフセット量に基づいて、撮像画像上において、パノラマ画像の生成に用いるために切り出される領域である短冊領域を決定する。
【００３８】
ここで、短冊領域は、図１に示した領域ＴＲＲおよび領域ＴＲＬであり、撮像画像上の異なる２つの領域が短冊領域とされる。例えば、撮像画像上において、−ｘ方向側に位置する短冊領域をＴＲＲとし、＋ｘ方向側に位置する短冊領域をＴＲＬとして、１つの撮像画像上に２つの短冊領域が定められる。
【００３９】
このような場合に、撮像画像上の短冊領域ＴＲＲから短冊領域ＴＲＬまでの距離が、オフセット量として短冊領域決定部２３に入力される。このオフセット量は、予め定められていてもよいし、ユーザにより変更可能なようにしてもよい。
【００４０】
短冊領域決定部２３は、各撮像画像の短冊領域を決定すると、撮像画像、動き補償パラメータ、および短冊領域の位置を示す短冊領域位置情報を、合成領域決定部２４に供給する。
【００４１】
合成領域決定部２４は、短冊領域決定部２３から供給された撮像画像、動き補償パラメータ、および短冊領域位置情報に基づいて、合成領域を決定する。
【００４２】
撮像装置１１では、各撮像画像上の短冊領域が切り出されて合成され、１つのパノラマ画像が生成されるが、ユーザがｘ方向に撮像装置１１を移動させながら撮像画像を撮像した場合でも、撮像装置１１がｙ方向にもわずかに動いてしまう。そのため、各撮像画像を投影面に並べた場合、各撮像画像の位置はｙ方向にばらつきが生じる。
【００４３】
そこで、合成領域決定部２４は、撮像画像を投影面に並べた場合に、各撮像画像の短冊領域からなる領域に内接する最も大きい矩形領域を、パノラマ画像の生成に用いられる画像が切り出される合成領域とする。したがって、各撮像画像の短冊領域のうちの合成領域に含まれる領域を切り出して合成すれば、矩形状のパノラマ画像が得られる。
【００４４】
合成領域決定部２４は、決定された合成領域、つまり修正された最終的な各短冊領域の位置を示す合成領域情報と、撮像画像および動き補償パラメータとを、パノラマ画像生成部２５−１およびパノラマ画像生成部２５−２に供給する。
【００４５】
パノラマ画像生成部２５−１およびパノラマ画像生成部２５−２は、合成領域決定部２４から供給された合成領域情報、撮像画像、および動き補償パラメータを用いてパノラマ画像ＰＲおよびパノラマ画像ＰＬを生成し、視差制御部２６に供給する。なお、以下、パノラマ画像生成部２５−１およびパノラマ画像生成部２５−２を特に区別する必要のない場合、単にパノラマ画像生成部２５とも称する。
【００４６】
視差制御部２６は、パノラマ画像生成部２５から供給されたパノラマ画像を加工して、パノラマ画像の視差調整を行い、その結果得られたパノラマ画像の対を表示部２７に供給し、立体パノラマ画像を表示させる。
【００４７】
表示部２７は、例えばLCD（Liquid Crystal Display）やレンチキュラレンズからなり、視差制御部２６から供給されたパノラマ画像の対を、レンチキュラ方式で同時に表示することで、パノラマ画像を立体表示する。
【００４８】
［立体パノラマ画像表示処理の説明］
ところで、ユーザが撮像装置１１を操作して、立体パノラマ画像の生成を指示すると、撮像装置１１は、立体パノラマ画像を生成して表示する処理である立体パノラマ画像表示処理を開始する。以下、図３のフローチャートを参照して、撮像装置１１による立体パノラマ画像表示処理について説明する。
【００４９】
ステップＳ１１において、撮像部２１は、撮像装置１１が移動している状態で被写体を撮像する。例えば、ユーザは撮像装置１１を所定方向に回動させながら、複数枚の撮像画像を連続して撮像装置１１に撮像させる。
【００５０】
被写体からの光は撮像部２１に入射するので、撮像部２１は入射した光を光電変換することにより、撮像画像を撮像する。得られた撮像画像は、順次、撮像部２１から動き算出部２２に供給される。なお、撮像画像は、撮像された１つの静止画像であってもよいし、撮影された動画像を構成する１フレーム分の画像であってもよい。
【００５１】
ステップＳ１２において、動き算出部２２は、撮像部２１から供給された各撮像画像について、撮像画像の動き補償パラメータを算出し、撮像画像および動き補償パラメータを短冊領域決定部２３に供給する。
【００５２】
例えば、動き算出部２２は、連続する２つのフレームの撮像画像を用いて、ブロックマッチングにより、撮像画像のグローバルモーションベクトルを動き補償パラメータとして算出する。
【００５３】
すなわち、動き算出部２２は、処理対象のフレームの撮像画像を複数ブロックに分割し、各ブロックについて、処理対象の１つ前のフレームの撮像画像とのブロックマッチングを行なうことにより、そのブロックの動きベクトルを検出する。そして、動き算出部２２は、ブロックごとに求めた動きベクトルのうち、最も多い大きさかつ方向の動きベクトルを、撮像画像のグローバルモーションベクトルとする。
【００５４】
グローバルモーションベクトルは、撮像画像上の被写体全体のフレーム間の動きを示すグローバルな動きベクトルである。撮像画像上の被写体の多くは、実空間上において動きのない静止物体であるので、グローバルモーションベクトルは、撮像画像上の静止物体のフレーム間の動き、つまり撮像画像の撮像時における撮像装置１１の動きを示すベクトルであるということができる。
【００５５】
なお、動き補償パラメータは、その他、拡張アフィン変換などを利用して求めてもよい。例えば、拡張アフィン変換を利用して動き補償パラメータを算出する場合、動き算出部２２は、次式（１）を計算することで、撮像画像のフレーム間の動きを示すベクトル（Ｖ，Ｗ）を求め、得られたベクトル（Ｖ，Ｗ）を動き補償パラメータとする。
【００５６】
【数１】
【００５７】
なお、式（１）において、ａ乃至ｌは、アフィンパラメータを示しており、ｘ，ｙは、それぞれｘｙ座標系における撮像画像上の特徴的なブロックの中心位置のｘ成分およびｙ成分を示している。
【００５８】
すなわち、動き算出部２２は、処理対象のフレームの撮像画像を複数ブロックに分割し、各ブロックについて、処理対象の１つ前のフレームの撮像画像とのブロックマッチングを行なうことにより、そのブロックの動きベクトルを検出する。そして、動き算出部２２は、コーナーディテクタ等を利用して、各ブロックの動きベクトルの信頼性を求め、最も信頼性の高い動きベクトルのブロックを特徴的なブロックとし、上述した式（１）を計算する。
【００５９】
なお、アフィンパラメータは、各ブロックの中心座標と、各ブロックの動きベクトルとが用いられて、最小自乗法により算出される。
【００６０】
ステップＳ１３において、短冊領域決定部２３は、動き算出部２２から供給された撮像画像および動き補償パラメータと、オフセット量とに基づいて、各撮像画像の短冊領域を決定する。
【００６１】
例えば、図４の左側に示すように、短冊領域決定部２３は、フレーム１の撮像画像ＩＭ（１）とフレーム２の撮像画像ＩＭ（２）とを動き補償パラメータに基づいて投影面上に並べる。なお、図４において、図中、横方向はｘ方向を示しており、特に右方向は＋ｘ方向を示している。また、図４では、説明を分かり易くするため、撮像画像のｘ方向の位置関係のみを示しており、実際には撮像画像を投影面上に並べると、それらの撮像画像は互いに重なることになる。
【００６２】
短冊領域決定部２３は、投影面上に並べられた撮像画像ＩＭ（１）と撮像画像ＩＭ（２）が重なる領域のｘ方向の中心の位置（以下、基準位置と称する）を求め、さらにその基準位置から−ｘ方向に特定の距離だけ離れた位置をＲ基準位置とする。この特定の距離は、例えば、オフセット量の半分の距離とされる。
【００６３】
短冊領域決定部２３は、撮像画像ＩＭ（１）上において、Ｒ基準位置を中心とし、ｘ方向に予め定められた所定幅を有する領域を重複領域ＣＲ（１）とする。また、短冊領域決定部２３は、撮像画像ＩＭ（２）上において、Ｒ基準位置を中心とし、ｘ方向に予め定められた所定幅を有する領域を重複領域ＣＲ（２）とする。ここで、重複領域ＣＲ（１）と重複領域ＣＲ（２）は、投影面上において互いに重なる領域（同じ領域）とされる。
【００６４】
そして、短冊領域決定部２３は、図中、右側に示すように、撮像画像ＩＭ（１）上における、撮像画像ＩＭ（１）の左端から重複領域ＣＲ（１）の右端までの領域を、フレーム１の撮像画像の短冊領域ＴＲＲ（１）とする。同様に、短冊領域決定部２３は、撮像画像ＩＭ（２）上における、重複領域ＣＲ（２）の左端から撮像画像ＩＭ（２）の右端までの領域を、フレーム２の短冊領域ＴＲＲ（２）とする。
【００６５】
なお、より詳細には、フレーム２以降では、処理対象のフレームの短冊領域ＴＲＲを定めるにあたり、その前後のフレームについて考慮する必要がある。したがって、例えばフレームｍ（但し、ｍ≧２）の短冊領域ＴＲＲ（ｍ）は、撮像画像上における、フレーム（ｍ−１）との重複領域の左端から、フレーム（ｍ＋１）との重複領域の右端までの領域とされる。
【００６６】
短冊領域決定部２３は、このようにして各フレームの短冊領域ＴＲＲを定めると、同様の処理を行って、各フレームの短冊領域ＴＲＬを定める。このとき、撮像画像上の基準位置から、＋ｘ方向に特定の距離、例えばオフセット量の半分の距離だけ離れた位置が、Ｒ基準位置に対応するＬ基準位置とされる。そして、例えば短冊領域決定部２３は、撮像画像ＩＭ（１）上における、撮像画像ＩＭ（１）の左端から、Ｌ基準位置に対して定められた重複領域の右端までの領域を、フレーム１の撮像画像の短冊領域ＴＲＬとする。
【００６７】
このように、Ｒ基準位置とＬ基準位置を基準位置からｘ方向にずらした位置に定めることで、短冊領域ＴＲＲと短冊領域ＴＲＬとの間隔がオフセット量と等しくなり、互いに視差を有するパノラマ画像が得られる。
【００６８】
図３のフローチャートの説明に戻り、短冊領域決定部２３は、短冊領域を決定すると、撮像画像、動き補償パラメータ、および短冊領域の位置を示す短冊領域位置情報を、合成領域決定部２４に供給する。
【００６９】
ステップＳ１４において、合成領域決定部２４は、短冊領域決定部２３からの撮像画像、動き補償パラメータ、および短冊領域位置情報に基づいて合成領域を決定し、決定された合成領域の位置を示す合成領域情報、撮像画像、および動き補償パラメータをパノラマ画像生成部２５に供給する。このとき、パノラマ画像生成部２５−１には、パノラマ画像ＰＲを生成するための合成領域情報が供給され、パノラマ画像生成部２５−２には、パノラマ画像ＰＬを生成するための合成領域情報が供給される。
【００７０】
ステップＳ１５において、パノラマ画像生成部２５は、合成領域決定部２４からの合成領域情報、撮像画像、および動き補償パラメータを用いてパノラマ画像を生成し、視差制御部２６に供給する。
【００７１】
例えば、パノラマ画像生成部２５−１は、動き補償パラメータを用いて、動きのない同じ被写体がほぼ重なるように各撮像画像を投影面上に並べる。そして、パノラマ画像生成部２５−１は、合成領域情報により示される最終的な各撮像画像の短冊領域ＴＲＲ内の画像を切り出して、切り出された画像を合成することで、パノラマ画像ＰＲを生成する。
【００７２】
このように、パノラマ画像生成部２５−１およびパノラマ画像生成部２５−２によりステップＳ１５の処理が行われると、互いに異なる視点から見た被写体が表示される、２つのパノラマ画像が得られる。これらのパノラマ画像には、同じ被写体が表示されているが、この被写体は視差を有することになる。そのため、２つのパノラマ画像を同時に表示させれば、これらのパノラマ画像を観察するユーザには、パノラマ画像上の被写体が立体的に見えることになる。
【００７３】
ステップＳ１６において、視差制御部２６は、パノラマ画像生成部２５から供給されたパノラマ画像対の支配的な視差を検出する。
【００７４】
ここで、支配的な視差とは、パノラマ画像上の主要な被写体、つまり最も大きい（面積の広い）被写体が有する視差をいう。視差制御部２６は、パノラマ画像の画素ごとに視差を求め、各視差の大きさと、その大きさの視差を有するパノラマ画像の画素の数を示す評価値とからなる評価値テーブルを生成することにより、支配的な視差を求める。
【００７５】
具体的には、図５に示すように、視差制御部２６は、２つのパノラマ画像のうち、より−ｘ方向側に位置する短冊領域から切り出された画像により生成されたパノラマ画像ＰＲを、右眼用のパノラマ画像とし、他方のパノラマ画像ＰＬを左眼用のパノラマ画像とする。なお、図５において、横方向および縦方向は、それぞれｘ方向およびｙ方向を示している。特に、図中、右方向は＋ｘ方向を示している。
【００７６】
ここで、右眼用のパノラマ画像ＰＲとは、パノラマ画像対を立体表示するときに、ユーザの右眼により観察されるように表示されるパノラマ画像をいい、左眼用のパノラマ画像ＰＬとは、ユーザの左眼により観察されるように表示されるパノラマ画像をいう。
【００７７】
また、視差制御部２６は、パノラマ画像ＰＲおよびパノラマ画像ＰＬ上に、評価対象領域ＥＲおよび評価対象領域ＥＬを設定する。
【００７８】
評価対象領域ＥＲは、その中心がパノラマ画像ＰＲの中心と同じ位置にあり、パノラマ画像ＰＲよりも所定の長さだけｘ方向に短い矩形領域である。同様に、評価対象領域ＥＬは、その中心がパノラマ画像ＰＬの中心と同じ位置にあり、パノラマ画像ＰＬよりも所定の長さだけｘ方向に短い矩形領域である。また、評価対象領域ＥＲと評価対象領域ＥＬは同じ大きさの領域とされる。視差制御部２６は、パノラマ画像の画素のうち、これらの評価対象領域内にある画素を処理対象として、各視差の評価値を求める。
【００７９】
まず、視差制御部２６は、評価値テーブルの各視差に対する評価値を「０」に初期化し、視差「０」に対する評価値を求める。すなわち、図６に示すように、視差制御部２６は、パノラマ画像ＰＲにおける評価対象領域ＥＲ内の所定の画素ＧＲ（ｉ）と、パノラマ画像ＰＬにおける評価対象領域ＥＬ内の所定の画素ＧＬ（ｉ）とを処理対象の画素とする。なお、画素ＧＲ（ｉ）と画素ＧＬ（ｉ）は、パノラマ画像ＰＲとパノラマ画像ＰＬとを重ねた場合に、同じ位置にある画素とされる。
【００８０】
次に、視差制御部２６は、パノラマ画像ＰＬ上において画素ＧＬ（ｉ）にｘ方向に隣接する画素ＧＬ（ｉ＋１）および画素ＧＬ（ｉ−１）と、画素ＧＬ（ｉ）とを用いて閾値ｔｈを定める。すなわち、視差制御部２６は、画素ＧＬ（ｉ−１）、画素ＧＬ（ｉ）、および画素ＧＬ（ｉ＋１）の画素値のうちの最大値と最小値との差の絶対値を求めることにより、画素ＧＬ（ｉ）のｘ方向のダイナミックレンジＤＬを求める。
【００８１】
視差制御部２６は、求めたダイナミックレンジＤＬが、予め定められた所定の値以上である場合、閾値ｔｈを予め定められた規定値とし、ダイナミックレンジＤＬが、予め定められた所定の値未満である場合、閾値ｔｈを規定値よりも小さい値とする。
【００８２】
そして、視差制御部２６は、画素ＧＲ（ｉ）と画素ＧＬ（ｉ）の画素値の差分の絶対値を求め、求められた絶対値が閾値ｔｈ未満である場合、評価値テーブルの視差「０」に対する評価値に「１」を加算する。これに対して、視差制御部２６は、求めた絶対値が閾値ｔｈ以上である場合、視差「０」に対する評価値をそのままとする。
【００８３】
処理対象の画素ＧＲ（ｉ）と画素ＧＬ（ｉ）の差分の絶対値がある程度小さい場合、それらの画素には同じ被写体が表示されているはずである。また、画素ＧＲ（ｉ）と画素ＧＬ（ｉ）は、パノラマ画像ＰＲおよびパノラマ画像ＰＬ上の同じ位置にある画素であるから、それらの画素に同じ被写体が表示されていれば、その被写体は視差を有さないことになる。つまり、画素ＧＲ（ｉ）と画素ＧＬ（ｉ）に表示されている被写体は、立体パノラマ画像の表示時においては、表示部２７の表示画面上に定位することになる。
【００８４】
なお、ダイナミックレンジＤＬに応じて閾値ｔｈを変化させるのは、処理対象の画素同士の相関の有無の誤判定を抑制するためである。例えば、画素ＧＬ（ｉ）の部分に、被写体として空間方向への画素値の変化が少ない平坦な被写体（例えば、空など）が表示されていたとする。
【００８５】
この場合、画素ＧＬ（ｉ）近傍の画素の画素値は、画素ＧＬ（ｉ）の画素値に近い値となり、画素ＧＲ（ｉ）と画素ＧＬ（ｉ）に異なる被写体の部分が表示されていたとしても、それらの画素の差分の絶対値は、閾値ｔｈ未満となってしまうことがある。つまり、誤判定が生じることがある。そこで、ダイナミックレンジＤＬが小さい場合には、このような誤判定が生じにくくなるように、閾値ｔｈが通常の規定値よりも小さい値とされる。
【００８６】
なお、誤判定の抑制のため、ダイナミックレンジＤＬが予め定められた所定の値未満である場合には、画素ＧＲ（ｉ）と画素ＧＬ（ｉ）を処理対象とせず、差分の計算を行わないようにしてもよい。
【００８７】
このようにして、処理対象とされた画素の差分が求められ、閾値ｔｈとの閾値処理の結果に応じて評価値テーブルの評価値に「１」が加算されると、視差制御部２６は、評価対象領域ＥＲと評価対象領域ＥＬ内のまだ処理対象としてない画素を選択し、処理対象とする。つまり、新たに処理対象とされた画素同士の差分の絶対値と、閾値ｔｈとが比較され、その比較結果に応じて、評価値テーブルが更新される。
【００８８】
そして、評価対象領域ＥＲと評価対象領域ＥＬ内の全ての画素が処理対象とされると、そのときの評価値テーブルの視差「０」の評価値が、最終的な評価値とされる。この評価値は、パノラマ画像の評価対象領域内において、視差が「０」である被写体が表示されている画素の数を示している。換言すれば、パノラマ画像上の評価対象領域内には、視差が「０」である被写体が表示される画素が、評価値に示される数だけ存在する。
【００８９】
さらに、視差制御部２６は、評価対象領域ＥＲに対してパノラマ画像ＰＲの位置をずらしながら、評価対象領域ＥＲと評価対象領域ＥＬ内の同じ位置にある画素を処理対象として、各視差の大きさについて評価値を求めていく。すなわち、視差制御部２６は、パノラマ画像ＰＬに対してパノラマ画像ＰＲの位置をずらしながら、パノラマ画像の差分を求め、各視差の評価値を求めていく。
【００９０】
例えば、視差制御部２６は、図７に示すように、評価対象領域ＥＲに対してパノラマ画像ＰＲの位置を、図中、左方向にずらし、評価対象領域内の画素の差分を求める。なお、図中、横方向および縦方向はｘ方向およびｙ方向を示しており、特に右方向は＋ｘ方向を示している。
【００９１】
図７の例では、評価対象領域ＥＲに対してパノラマ画像ＰＲが−ｘ方向に１２８画素分だけずらされており、評価対象領域ＥＲとパノラマ画像ＰＲの右側の端が一致している。この状態で、視差制御部２６は、図５および図６を参照して説明した処理を行う。つまり、視差制御部２６は、評価対象領域内の同じ位置にあるパノラマ画像ＰＲおよびパノラマ画像ＰＬの画素の差分の絶対値を求め、その絶対値と閾値ｔｈを比較する。視差制御部２６は、比較の結果、絶対値が閾値未満であれば、評価値テーブルの視差「−１２８」の評価値に「１」を加算し、絶対値が閾値以上であれば、評価値の更新を行わない。
【００９２】
このようにして、評価対象領域内の全ての画素を処理対象として評価値テーブルの更新を行うと、視差「−１２８」の最終的な評価値が得られる。視差「−１２８」の評価値の更新時においては、パノラマ画像ＰＲを１２８画素分だけずらして処理が行われるため、差分の絶対値が閾値未満である画素に表示される被写体は、パノラマ画像ＰＲとパノラマ画像ＰＬとで、１２８画素分だけ離れた位置に表示されることになる。つまり、その被写体は１２８画素分だけの視差を有することになる。そして、視差が「−１２８」である画素に表示されている被写体は、立体パノラマ画像の表示時においては、表示部２７の表示画面よりもユーザから見て奥行き側に定位することになる。
【００９３】
同様に、視差制御部２６は、図７の例と反対の方向にも評価対象領域ＥＲに対してパノラマ画像ＰＲの位置をずらしながら、評価対象領域ＥＲと評価対象領域ＥＬ内の同じ位置にある画素を処理対象として、各視差の大きさについて評価値を求めていく。
【００９４】
例えば、視差制御部２６は、図８に示すように、評価対象領域ＥＲに対してパノラマ画像ＰＲの位置を、図中、右方向にずらし、評価対象領域内の画素の差分を求める。なお、図中、横方向および縦方向はｘ方向およびｙ方向を示しており、特に右方向は＋ｘ方向を示している。
【００９５】
図８の例では、評価対象領域ＥＲに対してパノラマ画像ＰＲが＋ｘ方向に１２８画素分だけずらされており、評価対象領域ＥＲとパノラマ画像ＰＲの左側の端が一致している。この状態で、視差制御部２６は、評価対象領域内の同じ位置にあるパノラマ画像ＰＲおよびパノラマ画像ＰＬの画素の差分の絶対値を求め、その絶対値と閾値ｔｈを比較する。視差制御部２６は、比較の結果、絶対値が閾値未満であれば、評価値テーブルの視差「１２８」の評価値に「１」を加算し、絶対値が閾値以上であれば、評価値の更新を行わない。
【００９６】
このようにして、評価対象領域内の全ての画素を処理対象として評価値テーブルの更新を行うと、視差「１２８」の最終的な評価値が得られる。視差が「１２８」である画素に表示されている被写体は、立体パノラマ画像の表示時においては、表示部２７の表示画面よりもユーザから見て手前側に定位することになる。
【００９７】
視差制御部２６は、以上のようにして、各視差の大きさについて評価値を求めると、評価値テーブルの評価値のうち、最も値が大きい評価値の視差を、パノラマ画像の支配的な視差とする。評価値テーブルにおいて、視差ごとの評価値は、その大きさの視差を有する画素の数、つまりパノラマ画像上の被写体の領域の大きさ（面積）を表している。したがって、パノラマ画像では、最も大きい評価値の視差を有する領域（画素）が、最も面積が広く、評価値が最大である視差が、パノラマ画像の被写体の支配的な視差であるということができる。
【００９８】
なお、パノラマ画像の支配的な視差を求める方法として、パノラマ画像の画素ごとの差分を求める例について説明したが、パノラマ画像ＰＲの領域とパノラマ画像ＰＬの領域との相関の度合いを示す相関値を求め、その相関値に基づいて各視差の評価値が求められればよい。例えば、パノラマ画像の画素ごとの差分ではなく、ブロックごとの差分に基づく値（例えばブロック内の画素の差分絶対値和）が相関値とされてもよい。
【００９９】
また、パノラマ画像の差分を利用して支配的な視差を求める場合に、パノラマ画像ＰＲとパノラマ画像ＰＬとに対して間引きを行い、間引きされて縮小されたパノラマ画像の差分が求められて支配的な視差が求められるようにしてもよい。
【０１００】
図３のフローチャートの説明に戻り、視差制御部２６が、パノラマ画像の支配的な視差を検出すると、処理はステップＳ１６からステップＳ１７へと進む。
【０１０１】
ステップＳ１７において、視差制御部２６は、求めたパノラマ画像ＰＲとパノラマ画像ＰＬの間の支配的な視差に基づいて、パノラマ画像ＰＲおよびパノラマ画像ＰＬの視差調整を行う。
【０１０２】
すなわち、視差制御部２６は、求めた支配的な視差が打ち消されるように、パノラマ画像ＰＲとパノラマ画像ＰＬ全体を視差の分だけシフト（移動）させる。このように、支配的な視差が打ち消されるようにパノラマ画像全体の位置をずらして視差調整を行うと、視差調整後のパノラマ画像の支配的な視差は「０」となる。これにより、パノラマ画像ＰＲとパノラマ画像ＰＬを同時に立体表示させると、立体パノラマ画像の主要な被写体は、表示部２７の表示画面の位置に定位することとなる。
【０１０３】
立体パノラマ画像の主要な被写体、つまり大きい被写体が表示部２７の表示画面の位置に定位すると、その定位の位置とユーザの目の焦点位置とが一致して、ユーザの目や脳が疲れてしまうことがなくなる。しかも、立体パノラマ画像の主要な被写体は表示画面の位置に定位するが、他の被写体の部分は、表示画面の手前側や奥行き側に定位するため、立体パノラマ画像が充分立体的に表示され、立体パノラマ画像は、より自然な奥行き感（立体感）を有するものとなる。
【０１０４】
このように、パノラマ画像の支配的な視差を求め、その支配的な視差が打ち消されるように、パノラマ画像の視差調整を行うことで、より適切な視差を有するパノラマ画像対を得ることができ、その結果、より自然な立体感を再現することができる。
【０１０５】
パノラマ画像の視差調整は、例えば図９に示すように、パノラマ画像ＰＲとパノラマ画像ＰＬとが支配的な視差に対して定まるシフト量だけシフトされることにより行われる。なお、図中、横方向および縦方向はｘ方向およびｙ方向を示しており、特に右方向および下方向は、＋ｘ方向および＋ｙ方向を示している。また、図９において図８における場合と対応する部分には、同一の符号を付してあり、その説明は適宜省略する。
【０１０６】
いま、パノラマ画像ＰＲとパノラマ画像ＰＬの支配的な視差としてＰａが得られたとすると、視差制御部２６は、パノラマ画像のシフト量Ｓ＝Ｐａとして、パノラマ画像ＰＲを＋ｘ方向にＳ／２だけシフトさせ、パノラマ画像ＰＬを−ｘ方向にＳ／２だけシフトさせる。
【０１０７】
例えばシフト量Ｓが正の値（Ｓ＞０）であれば、図９に示すように、パノラマ画像ＰＲ全体が評価対象領域ＥＲに対して右方向（＋ｘ方向）にＳ／２だけシフトされ、パノラマ画像ＰＬ全体が評価対象領域ＥＬに対して左方向（−ｘ方向）にＳ／２だけシフトされる。そして、シフト後において評価対象領域ＥＲおよび評価対象領域ＥＬ内にあるパノラマ画像ＰＲとパノラマ画像ＰＬの領域が、最終的なパノラマ画像の対とされて、立体パノラマ画像の表示に用いられる。
【０１０８】
支配的な視差Ｐａが正の値である場合、立体パノラマ画像の主な被写体は、表示部２７の表示画面の手前側に定位する。そこで、視差が小さくなるように、つまり支配的な視差が「０」となるように、図９中、パノラマ画像ＰＲとパノラマ画像ＰＬを遠ざける方向にシフトすれば、シフト後のパノラマ画像の主な被写体は表示部２７の表示画面の位置に定位する。
【０１０９】
逆に、シフト量Ｓが負の値（Ｓ＜０）であれば、パノラマ画像ＰＲ全体が評価対象領域ＥＲに対して図中、左方向（−ｘ方向）にシフトされ、パノラマ画像ＰＬ全体が評価対象領域ＥＬに対して右方向（＋ｘ方向）にシフトされる。すなわち、支配的な視差Ｐａが負の値である場合、立体パノラマ画像の主な被写体は、表示画面の奥行き側に定位するので、視差が大きくなるように、図９中、パノラマ画像同士を、互いに近づく方向にシフトすれば、主な被写体を表示画面に定位させることができる。
【０１１０】
以上において説明したパノラマ画像をシフトさせる処理を、式を用いて説明すると次のようになる。ｘｙ座標系において、パノラマ画像ＰＲ上の注目する画素をｐｒとし、パノラマ画像ＰＬ上の注目する画素をｐｌとして、それらの画素ｐｒと画素ｐｌの座標を（ｘｒ，ｙｒ）および（ｘｌ，ｙｌ）とする。
【０１１１】
また、シフト量をＳとすると、視差制御部２６は、次式（２）および式（３）を計算して、画素ｐｒおよび画素ｐｌを、それぞれ座標（ｘｒ’，ｙｒ’）および（ｘｌ’，ｙｌ’）に移動させることで、視差調整を行う。
【０１１２】
（ｘｒ’，ｙｒ’）＝（ｘｒ＋（Ｓ／２），ｙｒ） ・・・（２）
【０１１３】
（ｘｌ’，ｙｌ’）＝（ｘｌ−（Ｓ／２），ｙｌ） ・・・（３）
【０１１４】
このように、パノラマ画像上の各画素の表示位置をずらせば、より適切な視差を有するパノラマ画像対を得ることができる。
【０１１５】
図３のフローチャートの説明に戻り、視差制御部２６は、パノラマ画像対の視差調整を行うと、その結果得られたパノラマ画像対を表示部２７に供給し、処理はステップＳ１８に進む。
【０１１６】
ステップＳ１８において、表示部２７は、視差制御部２６から供給されたパノラマ画像対を、右眼用および左眼用のパノラマ画像として、これらのパノラマ画像をレンチキュラ方式で同時に立体表示する。これにより、表示部２７の表示画面には、立体パノラマ画像が表示される。立体パノラマ画像が表示されると、立体パノラマ画像表示処理は終了する。
【０１１７】
このようにして撮像装置１１は、オフセット量に基づいて各撮像画像上の短冊領域を決定し、その短冊領域から画像を切り出してパノラマ画像を生成する。そして、撮像装置１１は、得られたパノラマ画像の視差調整を行い、パノラマ画像対を立体パノラマ画像として表示する。
【０１１８】
このように、生成されたパノラマ画像に対して、パノラマ画像の画素同士の差分を求めることで、より簡単かつ迅速にパノラマ画像の支配的な視差を求めることができ、これにより得られた視差を打ち消すようにパノラマ画像に対するシフト処理を行えば、より適切な視差を有するパノラマ画像対を得ることができる。したがって、得られたパノラマ画像対を立体表示すれば、より自然な立体感を再現することができる。
【０１１９】
なお、以上においては、パノラマ画像の支配的な視差に基づいて、パノラマ画像の視差調整を行なうと説明したが、求められた支配的な視差を用いてオフセット量を設定し直して、撮像画像から最終的なパノラマ画像対を生成し直すようにしてもよい。この場合、設定し直されたオフセット量に基づいて短冊領域が定められ、その短冊領域の画像が合成されて、最終的なパノラマ画像が生成される。
【０１２０】
〈第２の実施の形態〉
［支配的な視差についての説明］
ところで、以上においては、パノラマ画像から支配的な視差を求め、その視差に応じてパノラマ画像の視差調整を行なうと説明したが、本出願人により、パノラマ画像の支配的な視差の絶対値は、短冊領域のオフセット量とほぼ等しいことが確認されている。
【０１２１】
例えば、図１０に示すように、撮像部２１を構成するレンズの主点Ｌ０が、回転中心ＯＣを中心として図中、時計回りの方向に回動するように、ユーザが撮像装置１１を移動させながら撮像画像を撮像させたとする。ここで、レンズの主点Ｌ０から回転中心ＯＣまでの距離、つまり回転半径はｒとされ、撮像部２１の焦点距離はｆであるとする。
【０１２２】
また、撮像面ＶＳ（ｔ）と撮像面ＶＳ（ｔ＋１）が時間的に連続して撮像され、撮像面ＶＳ（ｔ）上の領域ＴＲＲ−１と領域ＴＲＬ−１が短冊領域ＴＲＲと短冊領域ＴＲＬに相当し、撮像面ＶＳ（ｔ＋１）上の領域ＴＲＲ−２と領域ＴＲＬ−２が短冊領域ＴＲＲと短冊領域ＴＲＬに相当するとする。このとき、オフセット量が２Ｈであるとすると、領域ＴＲＲ−１と領域ＴＲＬ−１の間の距離、および領域ＴＲＲ−２と領域ＴＲＬ−２の間の距離は、ともにオフセット量２Ｈとなる。
【０１２３】
図１０の例では、撮像面ＶＳ（ｔ）と撮像面ＶＳ（ｔ＋１）のそれぞれに対応する撮像画像上には、同じ被写体ＯＢ２１が表示され、被写体ＯＢ２１は、それぞれ領域ＴＲＬ−１と領域ＴＲＲ−２に対応する領域に表示される。この場合における実際の被写体ＯＢ２１の視差は、領域ＴＲＬ−１と領域ＴＲＲ−２の距離２ｄである。
【０１２４】
また、図１０の例で撮像された撮像画像から２つのパノラマ画像ＰＲおよびパノラマ画像ＰＬを生成すると、それらのパノラマ画像の視差は、領域ＴＲＲ−１から領域ＴＲＲ−２までの距離Ｄとなる。そして、この視差Ｄは、領域ＴＲＲ−１から領域ＴＲＬ−１までの距離、つまりオフセット量２Ｈと、被写体ＯＢ２１の視差２ｄの和により表すことができるが、連続して撮像画像が撮像される場合には、視差２ｄは微小な値となるため、無視することができる。したがって、パノラマ画像の視差Ｄは、オフセット量２Ｈと近似することができる。
【０１２５】
このように、パノラマ画像ＰＲとパノラマ画像ＰＬとの視差Ｄは、オフセット量２Ｈとほぼ同じであるので、オフセット量に基づいてパノラマ画像の視差調整をすれば、パノラマ画像の支配的な視差を求めなくても、適切な視差制御を行なうことができる。
【０１２６】
［立体パノラマ画像表示処理の説明］
撮像装置１１が、オフセット量に基づいてパノラマ画像の視差調整を行なう場合、短冊領域決定部２３だけでなく、視差制御部２６にもオフセット量が供給される。
【０１２７】
以下、図１１のフローチャートを参照して、このような場合に撮像装置１１が行なう立体パノラマ画像表示処理について説明する。
【０１２８】
なお、ステップＳ５１乃至ステップＳ５５の処理は、図３のステップＳ１１乃至ステップＳ１５の処理と同様であるので、その説明は省略する。すなわち、撮像画像が撮像されて、それらの撮像画像からパノラマ画像ＰＲおよびパノラマ画像ＰＬが生成される。
【０１２９】
ステップＳ５６において、視差制御部２６は、入力されたオフセット量２Ｈを用いて、パノラマ画像生成部２５から供給されたパノラマ画像ＰＲおよびパノラマ画像ＰＬの視差調整を行う。
【０１３０】
すなわち、視差制御部２６は、パノラマ画像のシフト量Ｓ＝−２Ｈとして、図９を参照して説明した処理と同様の処理を行い、パノラマ画像ＰＲおよびパノラマ画像ＰＬの視差を調整する。つまりパノラマ画像ＰＲおよびパノラマ画像ＰＬが、それぞれＳ／２だけｘ方向にシフトされる。
【０１３１】
そしてステップＳ５７において、表示部２７は、視差制御部２６から供給されたパノラマ画像対を、右眼用および左眼用のパノラマ画像として、これらのパノラマ画像をレンチキュラ方式で同時に立体表示し、立体パノラマ画像表示処理は終了する。
【０１３２】
このようにして撮像装置１１は、オフセット量に基づいてパノラマ画像の視差調整を行い、パノラマ画像対を立体パノラマ画像として表示する。
【０１３３】
このように、オフセット量を用いてパノラマ画像の視差調整を行なうことでも、より適切な視差を有するパノラマ画像対を得ることができ、より自然な立体感を有する立体パノラマ画像を表示することができる。この場合、支配的な視差を求める場合よりも、より簡単な処理で、迅速に視差調整を行なうことができる。
【０１３４】
なお、以上においては、シフト量をオフセット量と同じ大きさにすると説明したが、オフセット量を多少増減させた値をシフト量として用いるようにしてもよい。
【０１３５】
また、撮像画像上の異なる２つの領域が短冊領域とされると説明したが、１つの撮像画像上の互いに異なる３以上の領域が、それぞれ短冊領域とされるようにしてもよい。そのような場合、それらの短冊領域ごとにパノラマ画像が生成される。これらの複数のパノラマ画像は、例えば多視点の立体パノラマ画像を表示するのに用いられる。例えば、複数のパノラマ画像のうちのいくつかをレンチキュラ方式で表示部２７に同時に表示すれば、表示部２７を見る視点位置によって、異なる視差のパノラマ画像が表示されるようにすることができる。この場合であっても、撮像装置１１は、パノラマ画像の対ごとに視差調整を行うことができる。
【０１３６】
さらに、パノラマ画像ＰＲとパノラマ画像ＰＬの両方をシフトさせることにより、それらのパノラマ画像の視差調整を行なうと説明したが、パノラマ画像ＰＲまたはパノラマ画像ＰＬの少なくとも一方がシフトされ、視差調整がされればよい。すなわち、例えばパノラマ画像ＰＲのみが、シフト量Ｓだけシフトされて視差調整されてもよい。
【０１３７】
さらに、以上においては、立体パノラマ画像が表示される例について説明したが、表示される立体画像は、撮像画像よりも広い画角である必要はなく、例えば、撮像画像と同じ広さの画角の立体画像が表示されるようにしてもよい。そのような場合、生成されるパノラマ画像の画角は、撮像画像の画角と同じとされる。
【０１３８】
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０１３９】
図１２は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０１４０】
コンピュータにおいて、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。
【０１４１】
バス２０４には、さらに、入出力インターフェース２０５が接続されている。入出力インターフェース２０５には、キーボード、マウス、マイクロホンなどよりなる入力部２０６、ディスプレイ、スピーカなどよりなる出力部２０７、ハードディスクや不揮発性のメモリなどよりなる記録部２０８、ネットワークインターフェースなどよりなる通信部２０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア２１１を駆動するドライブ２１０が接続されている。
【０１４２】
以上のように構成されるコンピュータでは、CPU２０１が、例えば、記録部２０８に記録されているプログラムを、入出力インターフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。
【０１４３】
コンピュータ（CPU２０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア２１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０１４４】
そして、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インターフェース２０５を介して、記録部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記録部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記録部２０８に、あらかじめインストールしておくことができる。
【０１４５】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１４６】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０１４７】
１１ 撮像装置， ２１ 撮像部， ２２ 動き算出部， ２３ 短冊領域決定部， ２４ 合成領域決定部， ２５−１，２５−２，２５ パノラマ画像生成部， ２６ 視差制御部， ２７ 表示部
【特許請求の範囲】
【請求項１】
撮像手段を移動させながら前記撮像手段により撮像して得られた複数の撮像画像に基づいて、立体合成画像表示用の互いに視差を有する第１の合成画像および第２の合成画像を生成する画像処理装置であって、
複数の前記撮像画像の第１の短冊領域の画像のそれぞれを合成して、前記第１の合成画像を生成する第１の合成画像生成手段と、
複数の前記撮像画像の前記第１の短冊領域とは異なる第２の短冊領域の画像のそれぞれを合成して、前記第２の合成画像を生成する第２の合成画像生成手段と、
所定のシフト量に基づいて、前記第１の合成画像または前記第２の合成画像のうちの少なくとも一方をシフトさせることで、前記第１の合成画像と前記第２の合成画像の視差を調整する視差制御手段と
を備える画像処理装置。
【請求項２】
前記視差制御手段は、前記第１の合成画像の領域と前記第２の合成画像の領域との相関の度合いを示す相関値を算出し、前記相関値を用いて前記第１の合成画像と前記第２の合成画像の支配的な視差を検出して、前記支配的な視差が打ち消される前記シフト量を算出する
請求項１に記載の画像処理装置。
【請求項３】
前記視差制御手段は、前記第１の合成画像に対する前記第２の合成画像の位置をずらしながら、前記第１の合成画像と前記第２の合成画像との差分を前記相関値として算出する
請求項２に記載の画像処理装置。
【請求項４】
前記視差制御手段は、前記撮像画像上における前記第１の短冊領域と前記第２の短冊領域との距離に基づいて、前記シフト量を算出する
請求項１に記載の画像処理装置。
【請求項５】
撮像手段を移動させながら前記撮像手段により撮像して得られた複数の撮像画像に基づいて、立体合成画像表示用の互いに視差を有する第１の合成画像および第２の合成画像を生成する画像処理装置であり、
複数の前記撮像画像の第１の短冊領域の画像のそれぞれを合成して、前記第１の合成画像を生成する第１の合成画像生成手段と、
複数の前記撮像画像の前記第１の短冊領域とは異なる第２の短冊領域の画像のそれぞれを合成して、前記第２の合成画像を生成する第２の合成画像生成手段と、
所定のシフト量に基づいて、前記第１の合成画像または前記第２の合成画像のうちの少なくとも一方をシフトさせることで、前記第１の合成画像と前記第２の合成画像の視差を調整する視差制御手段と
を備える画像処理装置の画像処理方法であって、
前記第１の合成画像生成手段が、前記撮像画像の前記第１の短冊領域の画像を合成して、前記第１の合成画像を生成し、
前記第２の合成画像生成手段が、前記撮像画像の前記第２の短冊領域の画像を合成して、前記第２の合成画像を生成し、
前記視差制御手段が、前記シフト量に基づいて、前記第１の合成画像と前記第２の合成画像の視差を調整する
ステップを含む画像処理方法。
【請求項６】
撮像手段を移動させながら前記撮像手段により撮像して得られた複数の撮像画像に基づいて、立体合成画像表示用の互いに視差を有する第１の合成画像および第２の合成画像を生成する画像処理装置を制御するコンピュータに、
複数の前記撮像画像の第１の短冊領域の画像のそれぞれを合成して、前記第１の合成画像を生成し、
複数の前記撮像画像の前記第１の短冊領域とは異なる第２の短冊領域の画像のそれぞれを合成して、前記第２の合成画像を生成し、
所定のシフト量に基づいて、前記第１の合成画像または前記第２の合成画像のうちの少なくとも一方をシフトさせることで、前記第１の合成画像と前記第２の合成画像の視差を調整する
ステップを含む処理を実行させるプログラム。
【請求項１】
撮像手段を移動させながら前記撮像手段により撮像して得られた複数の撮像画像に基づいて、立体合成画像表示用の互いに視差を有する第１の合成画像および第２の合成画像を生成する画像処理装置であって、
複数の前記撮像画像の第１の短冊領域の画像のそれぞれを合成して、前記第１の合成画像を生成する第１の合成画像生成手段と、
複数の前記撮像画像の前記第１の短冊領域とは異なる第２の短冊領域の画像のそれぞれを合成して、前記第２の合成画像を生成する第２の合成画像生成手段と、
所定のシフト量に基づいて、前記第１の合成画像または前記第２の合成画像のうちの少なくとも一方をシフトさせることで、前記第１の合成画像と前記第２の合成画像の視差を調整する視差制御手段と
を備える画像処理装置。
【請求項２】
前記視差制御手段は、前記第１の合成画像の領域と前記第２の合成画像の領域との相関の度合いを示す相関値を算出し、前記相関値を用いて前記第１の合成画像と前記第２の合成画像の支配的な視差を検出して、前記支配的な視差が打ち消される前記シフト量を算出する
請求項１に記載の画像処理装置。
【請求項３】
前記視差制御手段は、前記第１の合成画像に対する前記第２の合成画像の位置をずらしながら、前記第１の合成画像と前記第２の合成画像との差分を前記相関値として算出する
請求項２に記載の画像処理装置。
【請求項４】
前記視差制御手段は、前記撮像画像上における前記第１の短冊領域と前記第２の短冊領域との距離に基づいて、前記シフト量を算出する
請求項１に記載の画像処理装置。
【請求項５】
撮像手段を移動させながら前記撮像手段により撮像して得られた複数の撮像画像に基づいて、立体合成画像表示用の互いに視差を有する第１の合成画像および第２の合成画像を生成する画像処理装置であり、
複数の前記撮像画像の第１の短冊領域の画像のそれぞれを合成して、前記第１の合成画像を生成する第１の合成画像生成手段と、
複数の前記撮像画像の前記第１の短冊領域とは異なる第２の短冊領域の画像のそれぞれを合成して、前記第２の合成画像を生成する第２の合成画像生成手段と、
所定のシフト量に基づいて、前記第１の合成画像または前記第２の合成画像のうちの少なくとも一方をシフトさせることで、前記第１の合成画像と前記第２の合成画像の視差を調整する視差制御手段と
を備える画像処理装置の画像処理方法であって、
前記第１の合成画像生成手段が、前記撮像画像の前記第１の短冊領域の画像を合成して、前記第１の合成画像を生成し、
前記第２の合成画像生成手段が、前記撮像画像の前記第２の短冊領域の画像を合成して、前記第２の合成画像を生成し、
前記視差制御手段が、前記シフト量に基づいて、前記第１の合成画像と前記第２の合成画像の視差を調整する
ステップを含む画像処理方法。
【請求項６】
撮像手段を移動させながら前記撮像手段により撮像して得られた複数の撮像画像に基づいて、立体合成画像表示用の互いに視差を有する第１の合成画像および第２の合成画像を生成する画像処理装置を制御するコンピュータに、
複数の前記撮像画像の第１の短冊領域の画像のそれぞれを合成して、前記第１の合成画像を生成し、
複数の前記撮像画像の前記第１の短冊領域とは異なる第２の短冊領域の画像のそれぞれを合成して、前記第２の合成画像を生成し、
所定のシフト量に基づいて、前記第１の合成画像または前記第２の合成画像のうちの少なくとも一方をシフトさせることで、前記第１の合成画像と前記第２の合成画像の視差を調整する
ステップを含む処理を実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１１−１３５４５９（Ｐ２０１１−１３５４５９Ａ）
【公開日】平成２３年７月７日（２０１１．７．７）
【国際特許分類】
【出願番号】特願２００９−２９４５４８（Ｐ２００９−２９４５４８）
【出願日】平成２１年１２月２５日（２００９．１２．２５）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２３年７月７日（２０１１．７．７）
【国際特許分類】
【出願日】平成２１年１２月２５日（２００９．１２．２５）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]