画像処理装置および画像処理方法
【課題】立体画像の鑑賞に伴う視聴者の負担を軽減する技術を提供する。
【解決手段】視点設置部２０は、ある視点から観察した、所定の視差分布を持つ左目用の視差画像と右目用の視差画像とを含む立体映像が与えられたとき、別の視点から当該立体映像中の被写体を観察する仮想の視点を設置する。視差画像生成部４０は、視点設置部２０が設置した視点から観察したときの、所望の視差分布を与える左目用の視差画像と右目用の視差画像とを、前記左目用の視差画像と右目用の視差画像との少なくともいずれか一方の画像の切り出し位置をシフトさせることによって生成する。ここで視差画像生成部２０は、仮想の視点の位置を変更することで画像の切り出し位置のシフト量が変化する場合、変化の前におけるシフト量から変化の後におけるシフト量に至るまで、シフト量を段階的に変化させながら視差画像を生成する。
【解決手段】視点設置部２０は、ある視点から観察した、所定の視差分布を持つ左目用の視差画像と右目用の視差画像とを含む立体映像が与えられたとき、別の視点から当該立体映像中の被写体を観察する仮想の視点を設置する。視差画像生成部４０は、視点設置部２０が設置した視点から観察したときの、所望の視差分布を与える左目用の視差画像と右目用の視差画像とを、前記左目用の視差画像と右目用の視差画像との少なくともいずれか一方の画像の切り出し位置をシフトさせることによって生成する。ここで視差画像生成部２０は、仮想の視点の位置を変更することで画像の切り出し位置のシフト量が変化する場合、変化の前におけるシフト量から変化の後におけるシフト量に至るまで、シフト量を段階的に変化させながら視差画像を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
近年、被写体の左目用の視差画像と右目用の視差画像とを含む立体画像を生成することができる撮像装置が普及してきている。このような撮像装置は、例えば撮像するための光学系を２つ以上持つ多眼カメラの場合もあるし、１眼カメラを用いて複数の異なる視点から撮像した画像を画像処理することにより、視差画像を生成する場合もある。
【０００３】
一方で、立体画像に含まれる左目用の画像を視聴者の左目に提示し、右目用の視差画像を視聴者の右目に提示することで、視聴者に奥行きを持った映像を提示するための表示デバイスも普及してきている。特に、シャッターメガネを利用した民生用の３次元テレビが急速に普及しつつあり、一般の視聴者が撮像した立体画像をリビングで気軽に鑑賞する機会が多くなってきている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
左目用の視差画像と右目用の視差画像とを含む立体画像を表示デバイスで鑑賞する際、視聴者は主に両眼視差を手がかりとして脳内に立体画像を定位させようとする。表示デバイスに表示する画像が立体画像として適当でない場合、視聴者に、両眼の輻輳角などを調整しながら立体視をすることに伴う負担をかけることになり得る。立体画像の提供者が、立体映像として適切な視差調整を行った上で提供したコンテントであっても、視聴者が立体映像を拡大または縮小して表示したり、立体映像の一部を切り出して表示したりすることによって、結果として立体画像として適当でない映像が生成されるケースも発生しうる。
【０００５】
本発明はこうした課題に鑑みてなされたものであり、その目的は、立体画像の鑑賞に伴う視聴者の負担を軽減する技術を提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明のある態様は画像処理装置である。この装置は、ある視点から観察した、所定の視差分布を持つ左目用の視差画像と右目用の視差画像とを含む立体映像が与えられたとき、別の視点から当該立体映像中の被写体を観察する仮想の視点を設置する視点設置部と、前記視点設置部が設置した視点から観察したときの、所望の視差分布を与える左目用の視差画像と右目用の視差画像とを、前記左目用の視差画像と右目用の視差画像とのいずれか一方の画像の切り出し位置をシフトさせることによって生成する視差画像生成部とを含む。ここで前記視差画像生成部は、前記仮想の視点の位置を変更することで画像の切り出し位置のシフト量が変化する場合、変化の前におけるシフト量から変化の後におけるシフト量に至るまで、シフト量を段階的に変化させながら視差画像を生成する。
【０００７】
本発明の別の態様は、画像処理方法である。この方法は、ある視点から観察した、所定の視差分布を持つ左目用の視差画像と右目用の視差画像とを含む立体映像が与えられたとき、別の視点から当該立体映像中の被写体を観察する仮想の視点を設置して、当該視点から観察したときに所望の視差分布を与える左目用の視差画像と右目用の視差画像とを、前記左目用の視差画像と右目用の視差画像とのいずれか一方の画像の切り出し位置をシフトさせることによって生成するとともに、前記仮想の視点の位置を変更することで切り出し位置のシフト量が変化する場合、変化の前におけるシフト量から変化の後におけるシフト量に至るまで、シフト量を段階的に変化させながら視差画像を生成することをプロセッサに実行させる。
【０００８】
なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【０００９】
本発明によれば、立体画像の鑑賞に伴う視聴者の負担を軽減する技術を提供することができる。
【図面の簡単な説明】
【００１０】
【図１】３次元空間における被写体とその視差画像との関係を示す図である。
【図２】左目用の視差画像と右目用の視差画像との一例を示す図である。
【図３】視差画像の一部を示す部分画像の例を示した図である。
【図４】視差画像の一部を示す部分画像の別の例を示した図である。
【図５】視差画像の一部を示す部分画像のさらに別の例を示した図である。
【図６】図６（ａ）は、図３に示す部分画像の視差分布のヒストグラムを例示する図である。図６（ｂ）は、図４に示す部分画像の視差分布のヒストグラムを例示する図である。図６（ｃ）は、図５に示す部分画像の視差分布のヒストグラムを例示する図である。
【図７】視差の調整と画像の切り出し位置との関係を説明するための図である。
【図８】図８（ａ）は、視差画像における視差をｘとし、ヒストグラムの度数をｘの関数であるヒストグラムＨ（ｘ）で表した図である。図８（ｂ）は、適正な視差分布を求めるために用いられる重み関数Ｗ（ｘ）の概形を示す図である。図８（ｃ）は、ヒストグラム関数Ｈ（ｘ）と重み関数Ｗ（ｘ）との積Ｈ（ｘ）・Ｗ（ｘ）の概形を示す図である。
【図９】図９（ａ）は、図８（ａ）におけるヒストグラム関数Ｈ（ｘ）を、ｘ軸方向にｓシフトした関数Ｈ（ｘ−ｓ）を示す図である。図９（ｂ）は重み関数Ｗ（ｘ）の概形を示す図であり、図８（ｂ）に示す図と同じである。図９（ｃ）は、ヒストグラム関数Ｈ（ｘ−ｓ）とＷ（ｘ）との積Ｈ（ｘ−ｓ）・Ｗ（ｘ）の概形を示す図である。
【図１０】図１０（ａ）は、図６（ａ）に示すヒストグラムを用いた場合の評価関数Ｅ（ｓ）の概形を示す図である。図１０（ｃ）は、図６（ｂ）に示すヒストグラムを用いた場合の評価関数Ｅ（ｓ）の概形を示す図である。図１０（ｂ）は、図６（ａ）に示すヒストグラムが図６（ｂ）に示すヒストグラムに変化する途中のヒストグラムを用いた場合の評価関数Ｅ（ｓ）の概形を示す図である。
【図１１】実施の形態に係る画像処理装置の機能構成を模式的に示す図である。
【図１２】拡縮率および表示位置の変更と視点位置との関係を説明する図である。
【図１３】図１３（ａ）は、視点の移動量ｖとシフト量との関係の一例を示す図である。図１３（ｂ）は、視点の移動量ｖとシフト量との関係の別の例を示す図である。
【図１４】仮想の三次元空間におけるシフト量算出基準点の一例を示す図である。
【図１５】実施の形態に係るシフト量算出部の機能構成を模式的に示す図である。
【図１６】視差の調整量の重み係数を説明するための図である。
【図１７】実施の形態に係る画像処理装置の処理の流れを説明するフローチャートである。
【図１８】一方の立体映像の一部に他方の立体映像を重畳して再生する場合の一例を示す図である。
【発明を実施するための形態】
【００１１】
［視差画像を用いた立体映像］
図１は、３次元空間における被写体とその視差画像との関係を示す図である。３次元空間において、被写体２００ａと被写体２００ｂとのふたつの被写体（以下、「被写体２００」と総称する。）を、被写体２００に対して左側から撮像する左目用カメラ２０２ａと、被写体２００に対して右側から撮像する右目用カメラ２０２ｂとのふたつのカメラ（以下、「カメラ２０２」と総称する。）で撮像する。図１においては、左目用カメラ２０２ａで撮像された被写体２００の映像および右目用カメラ２０２ｂで撮像された被写体２００の映像は、それぞれモニタ２０４と総称するモニタ２０４ａおよびモニタ２０４ｂに表示されている。
【００１２】
左目用カメラ２０２ａと右目用カメラ２０２ｂとは、異なる位置から被写体２００を撮像しているため、モニタ２０４ａに写される映像とモニタ２０４ｂに写される映像とでは被写体２００の向きが異なる映像となる。このように、３次元空間における被写体２００を異なる視点から見た場合の画像を「視差画像」という。人間の左右の目は６ｃｍ程度離れているため、左目から見える映像と右目から見える映像には視差が生じる。人間の脳は、左右の目で知覚した視差画像を物体の奥行きを認識するための情報のひとつとして利用しているといわれている。そのため、左目で知覚される視差画像と右目で知覚される視差画像とをそれぞれの目に投影すると、人間には奥行きを持った映像として認識される。
【００１３】
図２は、左目用の視差画像と右目用の視差画像との一例を示す図であり、図１におけるカメラ２０２が撮像した映像の一例を示す図である。図２は、視差画像２０６として総称する左目用の視差画像２０６ａと右目用の視差画像２０６ｂとを示している。図１において、左目用カメラ２０２ａは、ふたりの被写体２００に向かって、右目用カメラ２０２ｂよりも左側に位置しており、被写体２００ａが映像のほぼ中央となるように撮像している。反対に、右目用カメラ２０２ｂは、ふたりの被写体２００に向かって、左目用カメラ２０２ａよりも右側に位置しており、被写体２００ｂが映像のほぼ中央となるように撮像している。
【００１４】
この結果、例えば被写体２００ａに着目すると、左目用の視差画像２０６ａ中における被写体２００ａは画像のほぼ中央に位置するのに対し、右目用の視差画像２０６ｂにおける被写体２００ａは、画像の中央よりも左側にずれて位置することになる。ペアとなる左右の視差画像２０６間における、同一の被写体２００の撮像位置のずれを視差という。例えば図２において、被写体２００ａの視差は「−ｄ」を用いて示されている。図２の例において視差の値が負の値である理由は後述する。
【００１５】
一般に、視差は画素単位で定義される。視差画像２０６において被写体２００を構成する画素は複数存在することが通常であるから、「被写体２００ａの視差ｄ」という表現は厳密には正しくない。視差の算出は、例えば左目用の視差画像２０６ａと右目用の視差画像２０６ｂとの間でＤＰマッチング（Dynamic Programming マッチング）等をすることによって各画素間の対応点を求め、対応点間の距離を計算することで行われる。以下、本明細書においては、「視差画像２０６において被写体２００を構成する画素の視差」を、省略して単に「被写体２００の視差」と表現することもある。また、左目用の視差画像２０６ａまたは右目用の視差画像２０６ｂの各画素における視差を、各画素に対応づけて画像形式で表した情報を「視差マップ」という。
【００１６】
上記で定義した視差ｄの大きさは、視差画像２０６を表示する表示デバイスの大きさによって異なる大きさとなる。例えば、ある表示デバイスで表示したときに、その表示デバイス上において被写体２００の視差が２ｃｍであるとする。このとき、同じ視差画像２０６を、横方向の画素ピッチが２倍の大きさを持つ別の表示デバイスで表示すると、そのデバイス上においては被写体２００の視差は２倍の４ｃｍとなる。そこで、以下本明細書において、「被写体２００の視差」は、表示デバイスに実際に表示されたときの視差を意味することとし、その単位を「ｃｍ」とする。
【００１７】
ところで、立体映像を視聴すると視聴者には奥行きを持った映像として認識されるが、視差が０である被写体は、視聴者には表示デバイス上に定位しているように認識される。また、左目用の視差画像２０６ａ中の被写体２００の撮像位置に対して右目用の視差画像２０６ｂにおける被写体２００の撮像位置が画像の左側にずれている場合、視聴者には表示デバイスよりも視点側に被写体２００が定位するように認識される。反対に、左目用の視差画像２０６ａ中の被写体２００の撮像位置に対して右目用の視差画像２０６ｂにおける被写体２００の撮像位置が画像の右側にずれている場合、視聴者には表示デバイスよりも視線方向において奥側に被写体２００が定位するように認識される。また、視差ｄの絶対値が大きいほど、その被写体２００は表示デバイスから離れて定位するように認識される。
【００１８】
そこで、以下本明細書において、視聴者には表示デバイスよりも視線方向において奥側に被写体２００が定位する場合を「正の視差」、表示デバイスよりも視聴者側に被写体２００が定位する場合を「負の視差」とする。例えば、被写体２００の視差が−２ｃｍの場合、その被写体２００は表示デバイスよりも視聴者側に定位するように認識される。図２に示した例では、左目用の視差画像２０６ａ中の被写体２００ａの撮像位置に対して右目用の視差画像２０６ｂにおける被写体２００ａの撮像位置が画像の左側にずれているので、視差は負の値となる。
【００１９】
［視差分布］
以下、図３、図４、図５、および図６を用いて「視差分布」を説明する。本明細書において「視差分布」とは、例えば視差画像２０６を構成する画素それぞれの視差を度数として集計したものをいう。これはすなわち視差マップの各要素を度数として集計したものに対応する。また、横軸に視差の大きさ、縦軸に視差の度数とした視差分布のヒストグラムも、単に視差分布という。視差画像２０６は本来左目用の視差画像２０６ａと右目用の視差画像２０６ｂとのペアで表されるが、両者を特に区別する必要がない限り、以下単に視差画像２０６として説明する。
【００２０】
図３は、視差画像２０６の一部を示す部分画像の例を示した図である。図３に示す部分画像２０８ａにおいては、ふたりの被写体２００のうち被写体２００ａのみが存在する。例えば視差画像２０６の画素数が表示デバイスの画素数よりも大きい場合、表示デバイスに等倍で表示するとき等に、部分画像２０８ａが生成される。
【００２１】
図４は、視差画像２０６の一部を示す部分画像の別の例を示した図である。視差画像２０６がパノラマ画像である場合、視聴者は画像をパンしながら視聴する場合がある。図４に示す例は、画像をパンすることにより、図３に示す部分画像２０８ａから図４に示す部分画像２０８ｂに、表示デバイスに表示される表示領域が移動したことを示す。図４に示す部分画像２０８ｂには、被写体２００ａのみならず被写体２００ｂも存在している。
【００２２】
このように、例えば視差画像２０６をパンしながら表示すると、表示領域となる部分画像２０８に存在する被写体が変化する。表示領域となる部分画像２０８に存在する被写体が変化すると、その部分画像２０８の視差分布も変化する。
【００２３】
図５は、視差画像２０６の一部を示す部分画像のさらに別の例を示した図である。図５に示す部分画像２０８ｃは、例えば図４に示す部分画像２０８ｂの一部を拡大して表示するときに生成される。部分画像２０８ｂの一部が拡大されることに伴って視野が狭くなり、被写体２００ｂが表示領域から外れ、結果として図５に示す部分画像２０８ｃには被写体２００ａのみが存在することとなる。
【００２４】
このように、視差画像２０６をパンしながら表示する場合に加え、視差画像２０６を拡大または縮小して表示すると、表示領域となる部分画像２０８に存在する被写体が変化する。また、その部分画像２０８の視差分布も変化する。
【００２５】
図６は、視差画像２０６の一部を示す部分画像の、視差分布をヒストグラム形式で例示する図である。図６（ａ）は、図３に示す部分画像２０８ａの視差分布のヒストグラムを示す。図６（ｂ）は、図４に示す部分画像２０８ｂの視差分布のヒストグラムを示す。図６（ｃ）は、図５に示す部分画像２０８ｃの視差分布のヒストグラムを示す。
【００２６】
図３に示すように、部分画像２０８ａには被写体２００ａが存在する。被写体２００ａは被写体２００ｂと比較して視線方向において奥側に存在する。図６（ａ）は、＋３ｃｍ付近に視差が集中しており、被写体２００ａが表示デバイスよりも奥側に定位していることを示している。
【００２７】
視聴者が視差画像２０６をパンすることで表示領域が図４に示す部分画像２０８ｂとなると、部分画像２０８ｂには被写体２００ａと被写体２００ｂとが同時に存在することになる。図６（ｂ）は、−３ｃｍ付近と＋３ｃｍ付近との両方に視差が集中しており、被写体２００ａが表示デバイスよりも奥側に定位し、被写体２００ｂが表示デバイスよりも視聴者側に定位していることを示している。また、被写体２００ａと被写体２００ｂとの実物が同程度の大きさである場合、カメラ２０２に近い方の被写体が視差画像２０６において大きく撮像される。図６（ｂ）は−３ｃｍ付近に定位している被写体２００ｂの方が、＋３ｃｍ付近に定位している被写体２００ａよりも、部分画像２０８において大きな領域を占めていることを意味している。
【００２８】
視聴者が、図４に示す部分画像２０８ｂの一部を拡大することで、表示領域が図５に示す部分画像２０８ｃとなると、部分画像２０８ｃには被写体２００ａのみが存在することになる。部分画像２０８ａと部分画像２０８ｃとはともに被写体２００ａのみが存在する点では共通するが、部分画像２０８ａと部分画像２０８ｃとでは、画像の拡縮率が異なる。具体的には、部分画像２０８ｃは部分画像２０８ａよりも拡大して画像を表示している。
【００２９】
図６（ｃ）は、＋４ｃｍ付近に視差が集中していることを示すが、図６（ａ）に示す分布と比較して、分布を示す山が大きくなり、かつ分布のピークを示す視差の大きさが３ｃｍ付近よりも大きくなっている。このように、視差画像を拡大すると表示領域が狭くなることによって視差分布の一部が欠落し、残った視差分布が拡大される。逆に、視差画像を縮小すると視差分布が縮小するとともに、表示領域が広くなることに伴って出現した被写体の視差分布が既存の視差分布に加算される。
【００３０】
［視差の調整］
図２を参照して説明したように、視差は、ペアとなる左右の視差画像２０６間における同一被写体２００の撮像位置のずれの量である。したがって、ある被写体２００に着目したときに、左右の視差画像２０６間における撮像位置のずれを調整することで、その被写体の定位する奥行き方向の位置を調整することができる。これは、例えばあらかじめ表示領域よりも広い領域を持つ視差調整用元画像を用意しておき、表示領域として切り出す位置をシフトすることで実現できる。当然ながら、左目用の視差調整用元画像と右目用の視差調整用元画像とのペアも立体映像を構成する。視差調整用元画像は視差画像ということもできる。
【００３１】
図７は、視差の調整と画像の切り出し位置との関係を説明するための図である。図７は、左目用の視差画像２０６ａの視差調整用元画像２１０の位置例を示している。図７（ａ）に示すように、左目用の視差画像２０６ａは、視差調整用元画像２１０の部分画像である。左目用の視差画像２０６ａにおいて被写体２００ａは画像のほぼ中央に存在する。ここで視差調整用元画像２１０において左目用の視差画像として切り出す位置を左側にシフトして新たな左目用の視差画像２０６ａ’を生成すると、左目用の視差画像２０６ａ’における被写体２００ａの位置は相対的に右にずれることになる。これにより、ペアとなる右目用の視差画像２０６ｂとの間における被写体２００ａの視差を変更することができる。
【００３２】
画像の切り出し位置を変更すると、被写体２００ａの視差のみならず画像全体の視差が変化する。画像の切り出し位置を変更することで視差分布のヒストグラムの形状も変化するが、切り出し位置の変更が少なければストグラムの形状変化も少ない。このため、画像の切り出し位置を変更することは、視差分布のヒストグラムの原点を変更することにほぼ等しい。以下本明細書において、左目用の視差画像２０６ａと右目用の視差画像２０６ｂとの少なくともいずれか一方の画像の切り出し位置をシフトさせることを、単に「視差を調整する」ということがある。また、切り出し位置をシフトさせる量を、単に「シフト量」ということがある。図７において「ｓ」で示される長さがシフト量である。
【００３３】
例えば図２に示す例において、被写体２００ａを表示デバイス付近に定位させるには、視差画像２０６における被写体２００ａの視差が０となるように切り出し位置をシフトさせればよい。被写体２００ａを構成する画素は複数あるのが通常であるから、実際には被写体２００ａの視差分布が原点付近でピークを持つように、切り出し位置をシフトさせる。
【００３４】
［適正な視差分布］
前述したとおり、人間の両目の間隔はおよそ６ｃｍである。そのため、表示デバイス上で視差が＋６ｃｍとなる被写体を観察する視聴者にとって、その被写体は無限遠に定位するように認識される。表示デバイス上で視差が＋６ｃｍ以上となる被写体が存在すると、視聴者は両眼の輻輳角などを調整することが困難となり、視聴者に負担をかけることとなり得る。したがって、＋６ｃｍを超えて存在する視差分布を持つ視差画像２０６は、視聴者に、両眼の輻輳角などを調整しながら立体視をすることに伴う負担をかける視差画像であることがいえる。表示デバイスよりも視聴者側に定位するように認識される場合、すなわち視差分布が負の場合は上述のような制約はなく、視聴者が快適に立体視できる範囲は表示デバイスの大きさに依存して変化する。この範囲は医学的な研究等によっても指摘されているので、これらを考慮に入れ、視聴者が快適に立体視できるような視差分布の下限を実験によって定めればよい。表示デバイス上で視差が、定めた下限値以上＋６ｃｍ以下の範囲を、「立体映像として最低限満たすべき視差分布」ということとする。
【００３５】
立体映像として満たすべき視差分布をもつ視差画像の中でも、表示デバイス上で定位する被写体が多い分布、すなわち０付近にピークが存在する視差分布を持つ視差画像は、視聴者にとって観察しやすい立体映像であることが知られている。そこで、０付近に視差の分布が集中している視差分布を、「適正な視差分布」ということとする。
【００３６】
［視差調整のアルゴリズム］
一般に、立体映像のプロのクリエイタが制作して提供する立体映像は、あらかじめ適正な視差分布を持つように視差が調整されている場合が多い。芸術的な観点等から、立体映像のクリエイタによって上述の適正な視差分布とは異なる視差分布を持つように調整されている場合もあるが、少なくとも立体映像として最低限満たすべき視差分布の範囲内において調整されているのが通常である。したがって、例えば購入等の手段によって立体映像を取得した場合、視聴者は負担なく立体映像を鑑賞することができる。
【００３７】
しかしながら、上述したように、例えば視聴者が立体映像を拡大して表示させることによって立体映像の一部のみを表示させるような場合、表示領域における視差分布は、元となる立体映像の視差分布とは異なる視差分布となる。このような場合、表示領域における視差分布が適正な視差分布となるように、再生装置によって自動調整されることがある。以下、図８、図９、および図１０を参照して、視差分布が適正な視差分布となるように調整するためのアルゴリズムの一例を説明する。
【００３８】
図８は、視差分布を調整するアルゴリズムを説明するための図である。図８（ａ）は、視差画像における視差をｘとし、ヒストグラムの度数をｘの関数であるヒストグラムＨ（ｘ）で表した図である。図８（ｂ）は、適正な視差分布を求めるために用いられる重み関数Ｗ（ｘ）の概形を示す図である。重み関数Ｗ（ｘ）の詳細は後述する。図８（ｃ）は、ヒストグラム関数Ｈ（ｘ）と重み関数Ｗ（ｘ）との積Ｈ（ｘ）・Ｗ（ｘ）の概形を示す図である。
【００３９】
図８（ｂ）に示すように、重み関数Ｗ（ｘ）は原点で０となり、原点から離れるほど大きな値をとる下に凸な関数である。したがって、図８（ｃ）に示すように、ヒストグラム関数Ｈ（ｘ）と重み関数Ｗ（ｘ）との積は、原点付近で小さな値となり、原点から離れるほど関数の値が相対的に大きくなる関数となる。
【００４０】
図９は、視差分布を調整するアルゴリズムを説明するための別の図である。図９（ａ）は、図８（ａ）におけるヒストグラム関数Ｈ（ｘ）を、ｘ軸方向にｓシフトした関数Ｈ（ｘ−ｓ）を示す図である。図９（ｂ）は重み関数Ｗ（ｘ）の概形を示す図であり、図８（ｂ）に示す図と同じである。図９（ｃ）は、ヒストグラム関数Ｈ（ｘ−ｓ）とＷ（ｘ）との積Ｈ（ｘ−ｓ）・Ｗ（ｘ）の概形を示す図である。
【００４１】
図９（ｃ）は、図８（ｃ）に示す場合と同様に、ヒストグラム関数Ｈ（ｘ−ｓ）と重み関数Ｗ（ｘ）との積は原点付近で小さな値となり、原点から離れるほど関数の値が相対的に大きくなる。
【００４２】
図８（ｃ）および図９（ｃ）から分かるように、ｓを任意の実数として、ヒストグラム関数Ｈ（ｘ−ｓ）の値が原点付近で大きくなりかつ原点から離れるほど小さくなる場合、その逆の場合と比較すると、関数Ｈ（ｘ−ｓ）・Ｗ（ｘ）とｘ軸とで囲まれる部分の面積が小さくなる。したがって、関数Ｈ（ｘ−ｓ）・Ｗ（ｘ）とｘ軸とで囲まれる部分の面積は、関数Ｈ（ｘ−ｓ）で表されるヒストグラムの形状が原点付近に集中する形状であるか否かを示す量となる。そこで、以下の評価関数Ｅ（ｓ）を定義する。
Ｅ（ｓ）＝∫Ｗ（ｘ）・Ｈ（ｘ−ｓ）ｄｘ （１）
【００４３】
例えば上記の式（１）においてｓ＝０とすると、Ｅ（０）＝∫Ｗ（ｘ）・Ｈ（ｘ）ｄｘとなる。この式は、図８（ｃ）に示す関数Ｗ（ｘ）・Ｈ（ｘ）とｘ軸とが囲む領域の面積を表す。このように、式（１）で示す評価関数Ｅ（ｓ）は、ヒストグラム関数Ｈ（ｘ）をｘ軸方向にｓシフトしてできる関数Ｈ（ｘ−ｓ）と重み関数Ｗ（ｘ）との積Ｗ（ｘ）・Ｈ（ｘ−ｓ）、およびｘ軸が囲む部分の面積を表す量である。これはすなわち関数Ｈ（ｘ−ｓ）で表されるヒストグラムの形状が原点付近に集中する形状であるか否かを示す量となる。
【００４４】
したがって、評価関数Ｅ（ｓ）の値が最小となるｓの値だけヒストグラム関数Ｈ（ｘ）をシフトすることによってできる関数Ｈ（ｘ−ｓ）が、評価関数Ｅ（ｓ）で評価するという観点において、原点付近に分布が最も集中する形状のヒストグラムということができる。すなわち、「適正な視差分布」ということができる。上述したように、視差画像の切り出し位置をｓだけシフトすると、そのときの視差分布の原点もｓだけシフトする。ゆえに、評価関数Ｅ（ｓ）の値が最小となるｓの値は、視差画像２０６が適正な視差分布を持つように、視差調整用元画像２１０から切り出す際にシフトすべきシフト量となる。もちろん、重み関数Ｗ（ｘ）の形は図８（ｂ）に示す形に限定されない。「適正な視差分布」として所望の視差分布を設定し、そのような視差分布が得られるような重み関数を実験により定めればよい。
【００４５】
以上より、所定の視差分布を持つ視差画像２０６が与えられたとき、その視差画像２０６が所望の適正な視差分布を持つように調整するためには、評価関数Ｅ（ｓ）の値が最小となるｓだけシフトして切り出せばよい。このときのシフト量をｓｏｐｔとすると、ｓｏｐｔは以下の式で表される。
ｓｏｐｔ＝ａｒｇｍｉｎＥ（ｓ） （２）
ここでａｒｇｍｉｎＥ（ｓ）は、関数Ｅ（ｓ）が最小値を取るときのｓの値を意味する。
【００４６】
［シフト量の急激な変化］
上述したアルゴリズムは、ある視差画像２０６が与えられたときに、その視差画像２０６が適正な視差分布を持つように調整するためのシフト量を求めるためのアルゴリズムである。このアルゴリズムを用いることにより、例えば視聴者がある視差画像２０６をパンしながら表示させる際、表示デバイスに現在表示されている視差画像について適正な視差分布を持つように調整することができる。しかしながら、上述したアルゴリズムは現在表示されている視差画像についての適正なシフト量を求めるものであり、次の瞬間に表示される視差画像のシフト量を考慮するものではなく、また過去のシフト量を考慮するものでもない。したがって、視差画像２０６の表示領域を連続的に変更しながら表示させる場合であっても、条件によってはシフト量の変化が視聴者に違和感を与える程度にとても大きくなる場合もあり得る。
【００４７】
図１０は、評価関数Ｅ（ｓ）を用いて求めたシフト量の変化を説明するための図である。図１０（ａ）は、図６（ａ）に示すヒストグラムを用いた場合の評価関数Ｅ（ｓ）の概形を示す図である。図１０（ｃ）は、図６（ｂ）に示すヒストグラムを用いた場合の評価関数Ｅ（ｓ）の概形を示す図である。図１０（ｂ）は、図６（ａ）に示すヒストグラムが図６（ｂ）に示すヒストグラムに変化する途中のヒストグラムを用いた場合の評価関数Ｅ（ｓ）の概形を示す図である。
【００４８】
視聴者が視差画像２０６を、図３に示す画像から図４に示す画像に至るまでパンしながら画像を表示すると、視差分布のヒストグラムは図６（ａ）に示すヒストグラムから図６（ｂ）に示すヒストグラムまで変化する。視差画像２０６の表示領域には被写体２００ａのみが写っているが、次第に被写体２００ｂも映り込んでくることになる。
【００４９】
図１０（ａ）に示すように、図６（ａ）に示すヒストグラムを、ｘ軸の負の方向にシフトさせることにより、ヒストグラムを原点付近に集中させることができる。したがって、ｓｏｐｔは負の値である。視聴者が映像をパンすることによって視差画像２０６の表示領域には被写体２００ａが映り込んでくると、視差分布のヒストグラムは図６（ａ）に示すヒストグラムから図６（ｂ）に示すヒストグラムに変化し、評価関数Ｅ（ｓ）のグラフは図１０（ｂ）に示す形に変化する。図１０（ａ）に示す評価関数Ｅ（ｓ）のグラフの形と図１０（ｂ）に示す評価関数Ｅ（ｓ）のグラフの形とを比較すると、両者ともｓｏｐｔで極小値を取る点で共通する。しかしながら、図１０（ｂ）に示す評価関数Ｅ（ｓ）のグラフは、ｓｏｐｔ以降のｓ軸に対する傾きが小さくなる点で異なる。視差画像２０６の表示領域に映り込む被写体２００ａが大きくなると、やがて評価関数Ｅ（ｓ）のグラフは図１０（ｃ）に示す形となり、ｓｏｐｔが正の値となる。このように、視差画像２０６をパンしながら連続的に表示領域を変更する場合であっても、そのときの適正なシフト量は負の値から正の値へと急激に変化することになる。
【００５０】
シフト量が大きく変化すると、上述の例のように、視聴者にとっては表示デバイス付近に定位していた被写体が、突然表示デバイスの奥側に定位するように認識される。このような場合視聴者は急激な視点調整を強いられることになり、負担となり得る。
【００５１】
［画像処理装置１００］
実施の形態に係る画像処理装置１００は、上述のように視差画像の表示領域を変更することに伴ってされる適正なシフト量が、連続的に変化するように制御する。
【００５２】
図１１は、実施の形態に係る画像処理装置１００の機能構成を模式的に示す図である。実施の形態に係る画像処理装置１００は、変更受付部１０、視点設置部２０、立体映像取得部３０、視差画像生成部４０、および基準座標格納部６０を含む。
【００５３】
図１１および後述する図１５は、実施の形態に係る画像処理装置１００を実現するための機能構成を示しており、その他の構成は省略している。図１１および図１５において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、ＣＰＵ（Central Processing Unit）、メインメモリ、その他のＬＳＩ（Large Scale Integration）で構成することができ、ソフトウェア的には、メインメモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではないが、実施の形態に係る画像処理装置１００の一例としては据え置き型のゲーム機があげられる。
【００５４】
立体映像取得部３０は、デコーダ等の立体映像再生部（図示せず）から立体映像を取得する。立体映像取得部３０はまた、地上デジタルのような放送網から立体映像を取得する。
【００５５】
変更受付部１０は、画像処理装置１００に付属するインタフェースであるコントローラ（図示せず）を介して、視聴者から画像処理装置１００が再生する立体映像の拡縮率や表示位置の変更指示を受け付ける。変更受付部１０はまた、例えば立体パノラマ画像を自動でスクロールしながら再生する場合にも、その映像の表示位置の変更指示を取得する。
【００５６】
ところで、表示する立体映像の拡縮率や表示位置を変更することは、その立体映像に撮像されている被写体を観察する視点の位置を変更することに対応する。図１２は、拡縮率および表示位置の変更と視点位置との関係を説明する図である。図１２において、三次元空間中にｘ軸、ｙ軸、およびｚ軸の各座標軸が設定されており、表示デバイスの表示面２１４の一辺がｘ軸と接するように、表示面２１４がｘｙ平面上に設置されている。ここで、座標軸の原点が、ｘ軸と接している表示面２１４の一辺の中点となるように設定されている。ｚ軸は、表示面２１４に対して視点側が負であり、奥側が正となるように設定されている。
【００５７】
被写体をある視点から観察したときの立体映像が与えられると、その立体映像は所定の視差マップを持っており、この視差マップを用いて被写体を上述の３次元空間中に仮想的に再配置することができる。例えば、与えられた立体映像が、図１２における左目用カメラ２０２ａと右目用カメラ２０２ｂとから観察したときの映像であるとする。立体映像はふたつのカメラ２０２、すなわちふたつの視点から観察するものであるが、以下便宜のため、ふたつの視点の中点を「視点」ということにする。具体的には、上述の立体映像は、図１２における視点２１２ａから観察された映像である。
【００５８】
視聴者が立体映像を拡大して表示することは、視点２１２ａをｚ軸の正の方向に移動することに対応する。例えば視点２１２ａのｚ座標と比較して大きなｚ座標を持つ視点２１２ｂから観察される映像は、視点２１２ａから観察される映像よりも、被写体が拡大されて表示される。また、視点２１２ｂから視点２１２ｃまで移動しながら映像を観察することは、映像をパンすることに対応する。このように、表示する立体映像の拡縮率や表示位置を変更することは、その立体映像に撮像されている被写体を観察する視点の位置を変更することに対応づけることができる。
【００５９】
図１１の説明に戻る。視点設置部２０は、変更受付部１０から立体映像の拡縮率や表示位置の変更指示を受け取って対応する視点位置を計算し、その視点から当該立体映像中の被写体を観察するために仮想の視点を設置する。
【００６０】
視差画像生成部４０は、視点設置部２０が設置した視点から観察したときの、上述した適正な視差分布を与える左目用の視差画像と右目用の視差画像とを、左目用の視差画像と右目用の視差画像との少なくともいずれか一方の画像の切り出し位置をシフトさせることによって生成する。視差画像生成部４０は、制御部４２、拡縮部４４、切取部４６、シフト量算出部５０、および合成部４８を含む。ここで合成部４８は、異なるふたつの立体映像を合成してひとつの新しい立体映像を生成する。合成部４８の詳細は後述する。
【００６１】
制御部４２は、視差画像生成部４０の動作を統括的に制御する。具体的には、画像を拡大または縮小する拡縮部４４と、画像の一部をクリッピングする切取部４６とを制御して、シフト量算出部５０が算出したシフト量と拡縮率とをもとに、視差調整用元画像から視差画像を生成する。
【００６２】
ここで視差画像生成部４０は、視点設置部２０が仮想の視点の設置位置を変更することに伴って画像の切り出し位置のシフト量が変化する必要が生じた場合、変化の前におけるシフト量から変化の後におけるシフト量に至るまで、シフト量を段階的に変化させながら視差画像を生成する。より具体的には、視差画像生成部４０中のシフト量算出部５０が、段階的に変化するようにシフト量を生成する。以下、シフト量を段階的に変化させるアルゴリズムについて説明する。
【００６３】
視点設置部２０が設置した視点から観察した場合の視差画像に対する上述の式（２）から求まるシフト量ｓｏｐｔはその視点一点におけるシフト量であるため、視点が移動するとシフト量が急激に変化する可能性がある。例えば図１０を参照して説明したように、立体映像において視点を移動しながら再生するとシフト量が急激に変化することが起こりうる。図１３は、視点の移動量ｖとシフト量との関係の一例を示す図である。図１３（ａ）は、視点の移動量がｖ１未満のときのシフト量はｓ１であるが、視点の移動量がｖ１以上となると、シフト量がｓ２へと急激に変化することを示す図である。
【００６４】
このようなシフト量の急激な変化を抑制するために、シフト量算出部５０は、図１３（ｂ）に示すように移動量ｖがｖ１の前後にあるときにシフト量をｓ１からｓ２に至るまで段階的に変化させる。これを実現するためのアルゴリズムの概要は、視点設置部２０が設置した視点におけるシフト量を、その視点の周囲におけるシフト量を考慮して求めることである。例えば、図１３（ａ）において、移動量がｖ２のときに、移動量がｖ１となるとシフト量がｓ１からｓ２へと急激に変化することが分かれば、シフト量を徐々に変化させることが可能となる。そこで、図１２を参照して説明した立体映像中の仮想の３次元空間において、画像の切り出し位置のシフト量算出の基準となるシフト量算出基準点をあらかじめ定めておく。視点設置部２０が視点を設置した場合、その視点の近傍に存在するシフト量算出基準点において求めたシフト量を考慮してシフト量を算出する。具体的には、視点の近傍に存在するシフト量算出基準点において求めたシフト量の重み付き平均を、その視点に置けるシフト量とする。
【００６５】
図１４は、仮想の三次元空間におけるシフト量算出基準点の一例を示す図である。シフト量算出基準点の位置座標は、基準座標格納部６０に格納されている。説明の便宜のため、図１４にはｘｚ平面上のシフト量算出基準点のみを図示しているが、シフト量算出基準点は三次元空間中に分布している。
【００６６】
図１４に示す例では、シフト量算出基準点は、ｚ座標の値が大きいほど密に配置されている。これは視点位置のｚ座標が大きい場合、立体映像は拡大して表示されるため視野が狭くなり、移動にともなる画像の変化が大きいからである。反対に、視点位置のｚ座標が小さくなると、立体映像は縮小して表示されるので、シフト量算出基準点の配置密度は粗くてもよい。したがって、シフト量算出基準点は、視線方向であるｚ軸方向では対数線形（Log-Linear）となるように配置される。なお、シフト量算出基準点の配置位置はこれに限られるものではなく、計算コストや記憶容量等を考慮して実験により定めればよい。
【００６７】
図１５は、実施の形態に係るシフト量算出部５０の機能構成を模式的に示す図である。シフト量算出部５０は、基準座標取得部５２、視差分布生成部５４、局所シフト量算出部５６、および調整部５８を含む。
【００６８】
基準座標取得部５２は、基準座標格納部６０を参照して視点設置部２０が定めた視点位置の近傍に存在するシフト量算出基準点の位置座標を取得する。ここで「視点位置の近傍に存在するシフト量算出基準点」とは、３次元空間中で視点位置の近傍に位置する８つのシフト量算出基準点であって、各シフト量算出基準点を頂点とする６面体を形成する点の集合である。図１４に示す例ではｘｚ平面上においてのみシフト量算出基準点を示しているが、視点２１２ｄが設置されたとすると、その近傍にあるシフト量算出基準点２１６ａ〜２１６ｄは、近傍の点として選択される。
【００６９】
視差分布生成部５４は、基準座標取得部５２が取得した各位置座標に視点を設置して観察した場合における立体映像の左目用の視差画像と右目用の視差画像との間の視差の分布を生成する。局所シフト量算出部５６は、視差分布生成部５４が生成した視差の分布をもとに、立体映像の左目用の視差画像と右目用の視差画像との間の視差が上述した「立体映像として最低限満たすべき視差分布」に収まるように視差の調整量を生成するとともに、上述した「適正な視差分布」となるようなシフト量Ｓｏｐｔを求める。
【００７０】
調整部５８は、局所シフト量算出部５６が算出した各シフト量算出基準点の位置座標における各シフト量Ｓｏｐｔの重み付き平均値を、視点設置部２０が定めた視点から観察した場合のシフト量とする。
【００７１】
ここで調整部５８は、画像補間の分野における３次元の線形補間方式の重み係数と類似の係数を、重み付き平均値を求めるときの重み係数として採用する。より具体的には、調整部５８は、基準座標取得部５２が取得した各シフト量算出基準点の位置座標を頂点とする立体を、視点設置部２０が定めた視点位置を交点とする互いに垂直な３つの平面で分割してできる複数の立体それぞれの体積の、各位置座標を頂点とする立体の体積に対する割合を、重み付き平均値を求める際の重みとする。ここで互いに垂直な３つの平面は、それぞれｘｙ平面、ｙｚ平面、およびｘｚ平面に平行な平面である。
【００７２】
図１６は、視差の調整量の重み係数を説明するための図であり、図１４の一部を拡大した図である。説明の便宜のため、２次元の場合について説明するが、３次元の線形補間方式に拡張することは当業者であれば容易である。
【００７３】
図１６において、線分Ｐ１Ｐ２はｚ軸に平行な線分であり、線分Ｑ１Ｑ２はｘ軸に平行な線分である。線分Ｐ１Ｐ２と線分Ｑ１Ｑ２とは、視点２１２ｄに交点を持つ。シフト量算出基準点２１６ａ〜２１６ｄは、視点２１２ｄの近傍に存在するシフト量算出基準点である。いま、シフト量算出基準点２１６ａ〜２１６ｄの各点におけるシフト量を、それぞれｓａ、ｓｂ、ｓｃ、ｓｄとし、シフト量算出基準点２１６ａ〜２１６ｄを頂点とする四角形の面積をＴとする。
【００７４】
シフト量算出基準点２１６ａ〜２１６ｄを頂点とする四角形を、視点２１２ｄを交点とする垂直なふたつの線分Ｐ１Ｐ２および線分Ｑ１Ｑ２で４つの四角形に分割する。このとき、視点２１２ｄに対してシフト量算出基準点２１６ａ〜２１６ｄそれぞれの点対称の位置にある４角形の面積をそれぞれｔａ、ｔｂ、ｔｃ、ｔｄとする。
【００７５】
ここで、４角形の面積ｔａ、ｔｂ、ｔｃ、ｔｄは、それぞれシフト量算出基準点２１６ａ〜２１６ｄと、視点２１２ｄとの「近さ」を反映している値である。例えば、シフト量算出基準点２１６ａと視点２１２ｄとの距離が近いほど、面積ｔａは大きくなる。そこで、４角形の面積ｔａ、ｔｂ、ｔｃ、ｔｄは、視点２１２ｄにおけるシフト量算出の際の、シフト量算出基準点２１６ａ〜２１６ｄの寄与率として用いることができる。これは、視点２１２ｄとシフト量算出基準点２１６との距離が近ければ、そのときの視点２１２ｄにおけるシフト量はシフト量算出基準点２１６におけるシフト量に近いという前提に基づく。
【００７６】
以上より、視点２１２ｄにおけるシフト量ｓを以下の式（３）で求める。
ｓ＝（ｔａｓａ＋ｔｂｓｂ＋ｔｃｓｃ＋ｔｄｓｄ）／Ｔ （３）
ここで、Ｔ＝ｔａ＋ｔｂ＋ｔｃ＋ｔｄ。
実施の形態に係る調整部５８は、同様の考え方を３次元に拡張して重み付き平均値を求める際の重みを算出する。
【００７７】
視点２１２ｄにおけるシフト量ｓを、近傍に存在するシフト量算出基準点２１６ａ〜２１６ｄにおけるシフト量の重み付き平均値とすることは、各点において求めたシフト量にローパスフィルタをかけて丸める効果があることになる。これにより、シフト量の急激な変化を抑制し、シフト量を段階的に変化するように算出することが可能となる。
【００７８】
シフト量にローパスフィルタをかけて丸める別の方法として、例えば過去に求めたシフト量との移動平均を求めて現在のシフト量とする方法も考えられる。この方法でもシフト量を段階的に変化するように算出することが可能であるが、ある視点位置におけるシフト量が過去のシフト量の影響を受けるため、シフト量に時間遅れが生じうる。また、ある視点位置におけるシフト量が、その視点位置に近づく経路によって変わる場合もあり得る。
【００７９】
これに対し、視点位置におけるシフト量ｓを、近傍に存在するシフト量算出基準点におけるシフト量の重み付き平均値とする場合、視点位置が決まればシフト量も一意に定まるため、視点位置に近づく経路によってシフト量が変化することもなく、時間遅れも生じない。
【００８０】
なお、視点位置におけるシフト量の算出に重み付き平均を利用することは、シフト量の算出方法の一例である。視点位置におけるシフト量は、視点位置の近傍に存在するシフト量算出基準点におけるシフト量の最小値以上かつ最大値以下の値であれば、どのような方法を用いて求めてもよい。例えば、視点位置の近傍に存在するシフト量算出基準点におけるシフト量の最小値と最大値との平均値を、視点位置のシフト量として採用する方法等、様々な手法が考えられる。
【００８１】
図１７は、実施の形態に係る画像処理装置１００の処理の流れを説明するフローチャートである。本フローチャートにおける処理は、例えば画像処理装置１００の電源が投入されたときに開始する。
【００８２】
立体映像取得部３０は、被写体をある視点から観察した場合における、所定の視差マップおよび視差分布を持つ左目用の視差画像と右目用の視差画像とを含む立体映像を取得する（Ｓ１０）。視点設置部２０は、上記被写体を別の視点から別の倍率で観察するために、視点の位置および画像の拡縮率を設定する（Ｓ１２）。
【００８３】
基準座標取得部５２は、視点設置部２０が設置した視点位置の近傍に存在するシフト量算出基準点の位置座標を、基準座標格納部６０を参照して取得する（Ｓ１４）。視差分布生成部５４は、基準座標が取得したシフト量算出基準点から観察した場合の立体映像の視差分布を生成する（Ｓ１６）。局所シフト量算出部５６は、視差分布生成部５４が生成した視差分布をもとに、基準座標取得部５２が取得したシフト量算出基準点における局所的なシフト量Ｓｏｐｔを算出する（Ｓ１８）。
【００８４】
局所シフト量算出部５６が、基準座標取得部５２が取得した全てのシフト量算出基準点においてシフト量の算出が終了するまで（Ｓ２０のＮ）、上述のステップ１２からステップ１８を繰り返す。局所シフト量算出部５６が、基準座標取得部５２が取得した全てのシフト量算出基準点におけるシフト量の算出を終了すると（Ｓ２０のＹ）、調整部５８は、各基準点におけるシフト量の重み付き平均値を算出し、視点設置部２０が設置した視点位置におけるシフト量として決定する（Ｓ２２）。
【００８５】
制御部４２は、調整部５８が算出したシフト量をもとに、拡縮部４４と切取部４６とを制御して視差画像を生成する（Ｓ２４）。制御部４２が拡縮部４４と切取部４６とを制御して視差画像を生成すると、本フローチャートにおける処理は終了する。
【００８６】
以上の構成による動作は以下のとおりである。視聴者が画像処理装置１００を用いて立体映像を視聴するときに立体映像の表示位置や拡縮率を変更すると、シフト量算出部５０は、視聴者が所望する立体映像が適正な視差分布を持つように、視差画像の切り出し入りのシフト量を生成する。このとき、シフト量算出部５０は、視聴者が立体映像の表示位置や拡縮率をさらに変更するのに伴って視差画像の切り出し入りのシフト量も変更する必要があるときは、変化の前後が滑らかに接続するようにシフト量を制御する。これにより、シフト量が急激に変化することによって視聴者にかかる、両眼の輻輳角などを調整しながら立体視をすることに伴う負担を軽減することができる。
【００８７】
以上説明したとおり、実施の形態によれば立体画像の鑑賞に伴う視聴者の負担を軽減する技術を提供できる。
【００８８】
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００８９】
［変形例］
実施の形態に係る画像処理装置１００の変形例について説明する。上記の説明では、立体映像取得部３０が、１種類の立体映像を取得することを前提とする場合について説明したが、立体映像取得部３０はふたつの異なる立体映像を取得してもよい。
【００９０】
例えば、一方の立体映像の一部に他方の立体映像を重畳して再生してもよい。一方の立体映像が旅行を撮影した映像であり、他方の立体映像が映画などの映画や、テレビ電話の映像のような場合が考えられる。
【００９１】
図１８は、一方の立体映像の一部に他方の立体映像を重畳して再生する場合の一例を示す図である。図１８に示す例では、ふたりの被写体２００ａおよび２００ｂが存在する視差画像２０６を含む立体映像の上に、被写体２００ａと２００ｂとの間のテレビ電話の映像を表示するインタフェース２１８が重畳して表示されている。
【００９２】
具体的に、合成部４８は、立体映像取得部３０から２つの異なる立体映像を取得して、一方の立体映像内の一部に他方の立体映像を重畳する。ここで合成部４８は、一方の立体映像に関して視差分布生成部５４が生成した視差の分布をもとに、その立体映像において表示デバイスから最も観察者側に定位する被写体を特定する。合成部４８はさらに、特定した被写体よりもさらに視聴者側に、他方の立体映像が定位するように他方の立体映像を重畳する。
【００９３】
これにより、被写体２００ａと２００ｂとは、共通の立体映像を視聴しながらテレビ電話による会話を楽しむことができる。このとき、テレビ電話のインタフェース２１８は視差画像２０６を含む立体映像よりも視点側に定位するので、インタフェース２１８が視差画像２０６の映像に邪魔されることが防止できる。
【００９４】
合成部４８がふたつの立体映像を合成した場合、シフト量算出部５０は、合成された立体映像を新たなひとつの立体映像として、シフト量を生成する。これにより、合成された立体映像を視聴する視聴者の、両眼の輻輳角などを調整しながら立体視をすることに伴う負担を軽減することができる。
【符号の説明】
【００９５】
１０ 変更受付部、 ２０ 視点設置部、 ３０ 立体映像取得部、 ４０ 視差画像生成部、 ４２ 制御部、 ４４ 拡縮部、 ４６ 切取部、 ４８ 合成部、 ５０ シフト量算出部、 ５２ 基準座標取得部、 ５４ 視差分布生成部、 ５６ 局所シフト量算出部、 ５８ 調整部、 ６０ 基準座標格納部、 １００ 画像処理装置。
【技術分野】
【０００１】
この発明は、画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
近年、被写体の左目用の視差画像と右目用の視差画像とを含む立体画像を生成することができる撮像装置が普及してきている。このような撮像装置は、例えば撮像するための光学系を２つ以上持つ多眼カメラの場合もあるし、１眼カメラを用いて複数の異なる視点から撮像した画像を画像処理することにより、視差画像を生成する場合もある。
【０００３】
一方で、立体画像に含まれる左目用の画像を視聴者の左目に提示し、右目用の視差画像を視聴者の右目に提示することで、視聴者に奥行きを持った映像を提示するための表示デバイスも普及してきている。特に、シャッターメガネを利用した民生用の３次元テレビが急速に普及しつつあり、一般の視聴者が撮像した立体画像をリビングで気軽に鑑賞する機会が多くなってきている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
左目用の視差画像と右目用の視差画像とを含む立体画像を表示デバイスで鑑賞する際、視聴者は主に両眼視差を手がかりとして脳内に立体画像を定位させようとする。表示デバイスに表示する画像が立体画像として適当でない場合、視聴者に、両眼の輻輳角などを調整しながら立体視をすることに伴う負担をかけることになり得る。立体画像の提供者が、立体映像として適切な視差調整を行った上で提供したコンテントであっても、視聴者が立体映像を拡大または縮小して表示したり、立体映像の一部を切り出して表示したりすることによって、結果として立体画像として適当でない映像が生成されるケースも発生しうる。
【０００５】
本発明はこうした課題に鑑みてなされたものであり、その目的は、立体画像の鑑賞に伴う視聴者の負担を軽減する技術を提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明のある態様は画像処理装置である。この装置は、ある視点から観察した、所定の視差分布を持つ左目用の視差画像と右目用の視差画像とを含む立体映像が与えられたとき、別の視点から当該立体映像中の被写体を観察する仮想の視点を設置する視点設置部と、前記視点設置部が設置した視点から観察したときの、所望の視差分布を与える左目用の視差画像と右目用の視差画像とを、前記左目用の視差画像と右目用の視差画像とのいずれか一方の画像の切り出し位置をシフトさせることによって生成する視差画像生成部とを含む。ここで前記視差画像生成部は、前記仮想の視点の位置を変更することで画像の切り出し位置のシフト量が変化する場合、変化の前におけるシフト量から変化の後におけるシフト量に至るまで、シフト量を段階的に変化させながら視差画像を生成する。
【０００７】
本発明の別の態様は、画像処理方法である。この方法は、ある視点から観察した、所定の視差分布を持つ左目用の視差画像と右目用の視差画像とを含む立体映像が与えられたとき、別の視点から当該立体映像中の被写体を観察する仮想の視点を設置して、当該視点から観察したときに所望の視差分布を与える左目用の視差画像と右目用の視差画像とを、前記左目用の視差画像と右目用の視差画像とのいずれか一方の画像の切り出し位置をシフトさせることによって生成するとともに、前記仮想の視点の位置を変更することで切り出し位置のシフト量が変化する場合、変化の前におけるシフト量から変化の後におけるシフト量に至るまで、シフト量を段階的に変化させながら視差画像を生成することをプロセッサに実行させる。
【０００８】
なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【０００９】
本発明によれば、立体画像の鑑賞に伴う視聴者の負担を軽減する技術を提供することができる。
【図面の簡単な説明】
【００１０】
【図１】３次元空間における被写体とその視差画像との関係を示す図である。
【図２】左目用の視差画像と右目用の視差画像との一例を示す図である。
【図３】視差画像の一部を示す部分画像の例を示した図である。
【図４】視差画像の一部を示す部分画像の別の例を示した図である。
【図５】視差画像の一部を示す部分画像のさらに別の例を示した図である。
【図６】図６（ａ）は、図３に示す部分画像の視差分布のヒストグラムを例示する図である。図６（ｂ）は、図４に示す部分画像の視差分布のヒストグラムを例示する図である。図６（ｃ）は、図５に示す部分画像の視差分布のヒストグラムを例示する図である。
【図７】視差の調整と画像の切り出し位置との関係を説明するための図である。
【図８】図８（ａ）は、視差画像における視差をｘとし、ヒストグラムの度数をｘの関数であるヒストグラムＨ（ｘ）で表した図である。図８（ｂ）は、適正な視差分布を求めるために用いられる重み関数Ｗ（ｘ）の概形を示す図である。図８（ｃ）は、ヒストグラム関数Ｈ（ｘ）と重み関数Ｗ（ｘ）との積Ｈ（ｘ）・Ｗ（ｘ）の概形を示す図である。
【図９】図９（ａ）は、図８（ａ）におけるヒストグラム関数Ｈ（ｘ）を、ｘ軸方向にｓシフトした関数Ｈ（ｘ−ｓ）を示す図である。図９（ｂ）は重み関数Ｗ（ｘ）の概形を示す図であり、図８（ｂ）に示す図と同じである。図９（ｃ）は、ヒストグラム関数Ｈ（ｘ−ｓ）とＷ（ｘ）との積Ｈ（ｘ−ｓ）・Ｗ（ｘ）の概形を示す図である。
【図１０】図１０（ａ）は、図６（ａ）に示すヒストグラムを用いた場合の評価関数Ｅ（ｓ）の概形を示す図である。図１０（ｃ）は、図６（ｂ）に示すヒストグラムを用いた場合の評価関数Ｅ（ｓ）の概形を示す図である。図１０（ｂ）は、図６（ａ）に示すヒストグラムが図６（ｂ）に示すヒストグラムに変化する途中のヒストグラムを用いた場合の評価関数Ｅ（ｓ）の概形を示す図である。
【図１１】実施の形態に係る画像処理装置の機能構成を模式的に示す図である。
【図１２】拡縮率および表示位置の変更と視点位置との関係を説明する図である。
【図１３】図１３（ａ）は、視点の移動量ｖとシフト量との関係の一例を示す図である。図１３（ｂ）は、視点の移動量ｖとシフト量との関係の別の例を示す図である。
【図１４】仮想の三次元空間におけるシフト量算出基準点の一例を示す図である。
【図１５】実施の形態に係るシフト量算出部の機能構成を模式的に示す図である。
【図１６】視差の調整量の重み係数を説明するための図である。
【図１７】実施の形態に係る画像処理装置の処理の流れを説明するフローチャートである。
【図１８】一方の立体映像の一部に他方の立体映像を重畳して再生する場合の一例を示す図である。
【発明を実施するための形態】
【００１１】
［視差画像を用いた立体映像］
図１は、３次元空間における被写体とその視差画像との関係を示す図である。３次元空間において、被写体２００ａと被写体２００ｂとのふたつの被写体（以下、「被写体２００」と総称する。）を、被写体２００に対して左側から撮像する左目用カメラ２０２ａと、被写体２００に対して右側から撮像する右目用カメラ２０２ｂとのふたつのカメラ（以下、「カメラ２０２」と総称する。）で撮像する。図１においては、左目用カメラ２０２ａで撮像された被写体２００の映像および右目用カメラ２０２ｂで撮像された被写体２００の映像は、それぞれモニタ２０４と総称するモニタ２０４ａおよびモニタ２０４ｂに表示されている。
【００１２】
左目用カメラ２０２ａと右目用カメラ２０２ｂとは、異なる位置から被写体２００を撮像しているため、モニタ２０４ａに写される映像とモニタ２０４ｂに写される映像とでは被写体２００の向きが異なる映像となる。このように、３次元空間における被写体２００を異なる視点から見た場合の画像を「視差画像」という。人間の左右の目は６ｃｍ程度離れているため、左目から見える映像と右目から見える映像には視差が生じる。人間の脳は、左右の目で知覚した視差画像を物体の奥行きを認識するための情報のひとつとして利用しているといわれている。そのため、左目で知覚される視差画像と右目で知覚される視差画像とをそれぞれの目に投影すると、人間には奥行きを持った映像として認識される。
【００１３】
図２は、左目用の視差画像と右目用の視差画像との一例を示す図であり、図１におけるカメラ２０２が撮像した映像の一例を示す図である。図２は、視差画像２０６として総称する左目用の視差画像２０６ａと右目用の視差画像２０６ｂとを示している。図１において、左目用カメラ２０２ａは、ふたりの被写体２００に向かって、右目用カメラ２０２ｂよりも左側に位置しており、被写体２００ａが映像のほぼ中央となるように撮像している。反対に、右目用カメラ２０２ｂは、ふたりの被写体２００に向かって、左目用カメラ２０２ａよりも右側に位置しており、被写体２００ｂが映像のほぼ中央となるように撮像している。
【００１４】
この結果、例えば被写体２００ａに着目すると、左目用の視差画像２０６ａ中における被写体２００ａは画像のほぼ中央に位置するのに対し、右目用の視差画像２０６ｂにおける被写体２００ａは、画像の中央よりも左側にずれて位置することになる。ペアとなる左右の視差画像２０６間における、同一の被写体２００の撮像位置のずれを視差という。例えば図２において、被写体２００ａの視差は「−ｄ」を用いて示されている。図２の例において視差の値が負の値である理由は後述する。
【００１５】
一般に、視差は画素単位で定義される。視差画像２０６において被写体２００を構成する画素は複数存在することが通常であるから、「被写体２００ａの視差ｄ」という表現は厳密には正しくない。視差の算出は、例えば左目用の視差画像２０６ａと右目用の視差画像２０６ｂとの間でＤＰマッチング（Dynamic Programming マッチング）等をすることによって各画素間の対応点を求め、対応点間の距離を計算することで行われる。以下、本明細書においては、「視差画像２０６において被写体２００を構成する画素の視差」を、省略して単に「被写体２００の視差」と表現することもある。また、左目用の視差画像２０６ａまたは右目用の視差画像２０６ｂの各画素における視差を、各画素に対応づけて画像形式で表した情報を「視差マップ」という。
【００１６】
上記で定義した視差ｄの大きさは、視差画像２０６を表示する表示デバイスの大きさによって異なる大きさとなる。例えば、ある表示デバイスで表示したときに、その表示デバイス上において被写体２００の視差が２ｃｍであるとする。このとき、同じ視差画像２０６を、横方向の画素ピッチが２倍の大きさを持つ別の表示デバイスで表示すると、そのデバイス上においては被写体２００の視差は２倍の４ｃｍとなる。そこで、以下本明細書において、「被写体２００の視差」は、表示デバイスに実際に表示されたときの視差を意味することとし、その単位を「ｃｍ」とする。
【００１７】
ところで、立体映像を視聴すると視聴者には奥行きを持った映像として認識されるが、視差が０である被写体は、視聴者には表示デバイス上に定位しているように認識される。また、左目用の視差画像２０６ａ中の被写体２００の撮像位置に対して右目用の視差画像２０６ｂにおける被写体２００の撮像位置が画像の左側にずれている場合、視聴者には表示デバイスよりも視点側に被写体２００が定位するように認識される。反対に、左目用の視差画像２０６ａ中の被写体２００の撮像位置に対して右目用の視差画像２０６ｂにおける被写体２００の撮像位置が画像の右側にずれている場合、視聴者には表示デバイスよりも視線方向において奥側に被写体２００が定位するように認識される。また、視差ｄの絶対値が大きいほど、その被写体２００は表示デバイスから離れて定位するように認識される。
【００１８】
そこで、以下本明細書において、視聴者には表示デバイスよりも視線方向において奥側に被写体２００が定位する場合を「正の視差」、表示デバイスよりも視聴者側に被写体２００が定位する場合を「負の視差」とする。例えば、被写体２００の視差が−２ｃｍの場合、その被写体２００は表示デバイスよりも視聴者側に定位するように認識される。図２に示した例では、左目用の視差画像２０６ａ中の被写体２００ａの撮像位置に対して右目用の視差画像２０６ｂにおける被写体２００ａの撮像位置が画像の左側にずれているので、視差は負の値となる。
【００１９】
［視差分布］
以下、図３、図４、図５、および図６を用いて「視差分布」を説明する。本明細書において「視差分布」とは、例えば視差画像２０６を構成する画素それぞれの視差を度数として集計したものをいう。これはすなわち視差マップの各要素を度数として集計したものに対応する。また、横軸に視差の大きさ、縦軸に視差の度数とした視差分布のヒストグラムも、単に視差分布という。視差画像２０６は本来左目用の視差画像２０６ａと右目用の視差画像２０６ｂとのペアで表されるが、両者を特に区別する必要がない限り、以下単に視差画像２０６として説明する。
【００２０】
図３は、視差画像２０６の一部を示す部分画像の例を示した図である。図３に示す部分画像２０８ａにおいては、ふたりの被写体２００のうち被写体２００ａのみが存在する。例えば視差画像２０６の画素数が表示デバイスの画素数よりも大きい場合、表示デバイスに等倍で表示するとき等に、部分画像２０８ａが生成される。
【００２１】
図４は、視差画像２０６の一部を示す部分画像の別の例を示した図である。視差画像２０６がパノラマ画像である場合、視聴者は画像をパンしながら視聴する場合がある。図４に示す例は、画像をパンすることにより、図３に示す部分画像２０８ａから図４に示す部分画像２０８ｂに、表示デバイスに表示される表示領域が移動したことを示す。図４に示す部分画像２０８ｂには、被写体２００ａのみならず被写体２００ｂも存在している。
【００２２】
このように、例えば視差画像２０６をパンしながら表示すると、表示領域となる部分画像２０８に存在する被写体が変化する。表示領域となる部分画像２０８に存在する被写体が変化すると、その部分画像２０８の視差分布も変化する。
【００２３】
図５は、視差画像２０６の一部を示す部分画像のさらに別の例を示した図である。図５に示す部分画像２０８ｃは、例えば図４に示す部分画像２０８ｂの一部を拡大して表示するときに生成される。部分画像２０８ｂの一部が拡大されることに伴って視野が狭くなり、被写体２００ｂが表示領域から外れ、結果として図５に示す部分画像２０８ｃには被写体２００ａのみが存在することとなる。
【００２４】
このように、視差画像２０６をパンしながら表示する場合に加え、視差画像２０６を拡大または縮小して表示すると、表示領域となる部分画像２０８に存在する被写体が変化する。また、その部分画像２０８の視差分布も変化する。
【００２５】
図６は、視差画像２０６の一部を示す部分画像の、視差分布をヒストグラム形式で例示する図である。図６（ａ）は、図３に示す部分画像２０８ａの視差分布のヒストグラムを示す。図６（ｂ）は、図４に示す部分画像２０８ｂの視差分布のヒストグラムを示す。図６（ｃ）は、図５に示す部分画像２０８ｃの視差分布のヒストグラムを示す。
【００２６】
図３に示すように、部分画像２０８ａには被写体２００ａが存在する。被写体２００ａは被写体２００ｂと比較して視線方向において奥側に存在する。図６（ａ）は、＋３ｃｍ付近に視差が集中しており、被写体２００ａが表示デバイスよりも奥側に定位していることを示している。
【００２７】
視聴者が視差画像２０６をパンすることで表示領域が図４に示す部分画像２０８ｂとなると、部分画像２０８ｂには被写体２００ａと被写体２００ｂとが同時に存在することになる。図６（ｂ）は、−３ｃｍ付近と＋３ｃｍ付近との両方に視差が集中しており、被写体２００ａが表示デバイスよりも奥側に定位し、被写体２００ｂが表示デバイスよりも視聴者側に定位していることを示している。また、被写体２００ａと被写体２００ｂとの実物が同程度の大きさである場合、カメラ２０２に近い方の被写体が視差画像２０６において大きく撮像される。図６（ｂ）は−３ｃｍ付近に定位している被写体２００ｂの方が、＋３ｃｍ付近に定位している被写体２００ａよりも、部分画像２０８において大きな領域を占めていることを意味している。
【００２８】
視聴者が、図４に示す部分画像２０８ｂの一部を拡大することで、表示領域が図５に示す部分画像２０８ｃとなると、部分画像２０８ｃには被写体２００ａのみが存在することになる。部分画像２０８ａと部分画像２０８ｃとはともに被写体２００ａのみが存在する点では共通するが、部分画像２０８ａと部分画像２０８ｃとでは、画像の拡縮率が異なる。具体的には、部分画像２０８ｃは部分画像２０８ａよりも拡大して画像を表示している。
【００２９】
図６（ｃ）は、＋４ｃｍ付近に視差が集中していることを示すが、図６（ａ）に示す分布と比較して、分布を示す山が大きくなり、かつ分布のピークを示す視差の大きさが３ｃｍ付近よりも大きくなっている。このように、視差画像を拡大すると表示領域が狭くなることによって視差分布の一部が欠落し、残った視差分布が拡大される。逆に、視差画像を縮小すると視差分布が縮小するとともに、表示領域が広くなることに伴って出現した被写体の視差分布が既存の視差分布に加算される。
【００３０】
［視差の調整］
図２を参照して説明したように、視差は、ペアとなる左右の視差画像２０６間における同一被写体２００の撮像位置のずれの量である。したがって、ある被写体２００に着目したときに、左右の視差画像２０６間における撮像位置のずれを調整することで、その被写体の定位する奥行き方向の位置を調整することができる。これは、例えばあらかじめ表示領域よりも広い領域を持つ視差調整用元画像を用意しておき、表示領域として切り出す位置をシフトすることで実現できる。当然ながら、左目用の視差調整用元画像と右目用の視差調整用元画像とのペアも立体映像を構成する。視差調整用元画像は視差画像ということもできる。
【００３１】
図７は、視差の調整と画像の切り出し位置との関係を説明するための図である。図７は、左目用の視差画像２０６ａの視差調整用元画像２１０の位置例を示している。図７（ａ）に示すように、左目用の視差画像２０６ａは、視差調整用元画像２１０の部分画像である。左目用の視差画像２０６ａにおいて被写体２００ａは画像のほぼ中央に存在する。ここで視差調整用元画像２１０において左目用の視差画像として切り出す位置を左側にシフトして新たな左目用の視差画像２０６ａ’を生成すると、左目用の視差画像２０６ａ’における被写体２００ａの位置は相対的に右にずれることになる。これにより、ペアとなる右目用の視差画像２０６ｂとの間における被写体２００ａの視差を変更することができる。
【００３２】
画像の切り出し位置を変更すると、被写体２００ａの視差のみならず画像全体の視差が変化する。画像の切り出し位置を変更することで視差分布のヒストグラムの形状も変化するが、切り出し位置の変更が少なければストグラムの形状変化も少ない。このため、画像の切り出し位置を変更することは、視差分布のヒストグラムの原点を変更することにほぼ等しい。以下本明細書において、左目用の視差画像２０６ａと右目用の視差画像２０６ｂとの少なくともいずれか一方の画像の切り出し位置をシフトさせることを、単に「視差を調整する」ということがある。また、切り出し位置をシフトさせる量を、単に「シフト量」ということがある。図７において「ｓ」で示される長さがシフト量である。
【００３３】
例えば図２に示す例において、被写体２００ａを表示デバイス付近に定位させるには、視差画像２０６における被写体２００ａの視差が０となるように切り出し位置をシフトさせればよい。被写体２００ａを構成する画素は複数あるのが通常であるから、実際には被写体２００ａの視差分布が原点付近でピークを持つように、切り出し位置をシフトさせる。
【００３４】
［適正な視差分布］
前述したとおり、人間の両目の間隔はおよそ６ｃｍである。そのため、表示デバイス上で視差が＋６ｃｍとなる被写体を観察する視聴者にとって、その被写体は無限遠に定位するように認識される。表示デバイス上で視差が＋６ｃｍ以上となる被写体が存在すると、視聴者は両眼の輻輳角などを調整することが困難となり、視聴者に負担をかけることとなり得る。したがって、＋６ｃｍを超えて存在する視差分布を持つ視差画像２０６は、視聴者に、両眼の輻輳角などを調整しながら立体視をすることに伴う負担をかける視差画像であることがいえる。表示デバイスよりも視聴者側に定位するように認識される場合、すなわち視差分布が負の場合は上述のような制約はなく、視聴者が快適に立体視できる範囲は表示デバイスの大きさに依存して変化する。この範囲は医学的な研究等によっても指摘されているので、これらを考慮に入れ、視聴者が快適に立体視できるような視差分布の下限を実験によって定めればよい。表示デバイス上で視差が、定めた下限値以上＋６ｃｍ以下の範囲を、「立体映像として最低限満たすべき視差分布」ということとする。
【００３５】
立体映像として満たすべき視差分布をもつ視差画像の中でも、表示デバイス上で定位する被写体が多い分布、すなわち０付近にピークが存在する視差分布を持つ視差画像は、視聴者にとって観察しやすい立体映像であることが知られている。そこで、０付近に視差の分布が集中している視差分布を、「適正な視差分布」ということとする。
【００３６】
［視差調整のアルゴリズム］
一般に、立体映像のプロのクリエイタが制作して提供する立体映像は、あらかじめ適正な視差分布を持つように視差が調整されている場合が多い。芸術的な観点等から、立体映像のクリエイタによって上述の適正な視差分布とは異なる視差分布を持つように調整されている場合もあるが、少なくとも立体映像として最低限満たすべき視差分布の範囲内において調整されているのが通常である。したがって、例えば購入等の手段によって立体映像を取得した場合、視聴者は負担なく立体映像を鑑賞することができる。
【００３７】
しかしながら、上述したように、例えば視聴者が立体映像を拡大して表示させることによって立体映像の一部のみを表示させるような場合、表示領域における視差分布は、元となる立体映像の視差分布とは異なる視差分布となる。このような場合、表示領域における視差分布が適正な視差分布となるように、再生装置によって自動調整されることがある。以下、図８、図９、および図１０を参照して、視差分布が適正な視差分布となるように調整するためのアルゴリズムの一例を説明する。
【００３８】
図８は、視差分布を調整するアルゴリズムを説明するための図である。図８（ａ）は、視差画像における視差をｘとし、ヒストグラムの度数をｘの関数であるヒストグラムＨ（ｘ）で表した図である。図８（ｂ）は、適正な視差分布を求めるために用いられる重み関数Ｗ（ｘ）の概形を示す図である。重み関数Ｗ（ｘ）の詳細は後述する。図８（ｃ）は、ヒストグラム関数Ｈ（ｘ）と重み関数Ｗ（ｘ）との積Ｈ（ｘ）・Ｗ（ｘ）の概形を示す図である。
【００３９】
図８（ｂ）に示すように、重み関数Ｗ（ｘ）は原点で０となり、原点から離れるほど大きな値をとる下に凸な関数である。したがって、図８（ｃ）に示すように、ヒストグラム関数Ｈ（ｘ）と重み関数Ｗ（ｘ）との積は、原点付近で小さな値となり、原点から離れるほど関数の値が相対的に大きくなる関数となる。
【００４０】
図９は、視差分布を調整するアルゴリズムを説明するための別の図である。図９（ａ）は、図８（ａ）におけるヒストグラム関数Ｈ（ｘ）を、ｘ軸方向にｓシフトした関数Ｈ（ｘ−ｓ）を示す図である。図９（ｂ）は重み関数Ｗ（ｘ）の概形を示す図であり、図８（ｂ）に示す図と同じである。図９（ｃ）は、ヒストグラム関数Ｈ（ｘ−ｓ）とＷ（ｘ）との積Ｈ（ｘ−ｓ）・Ｗ（ｘ）の概形を示す図である。
【００４１】
図９（ｃ）は、図８（ｃ）に示す場合と同様に、ヒストグラム関数Ｈ（ｘ−ｓ）と重み関数Ｗ（ｘ）との積は原点付近で小さな値となり、原点から離れるほど関数の値が相対的に大きくなる。
【００４２】
図８（ｃ）および図９（ｃ）から分かるように、ｓを任意の実数として、ヒストグラム関数Ｈ（ｘ−ｓ）の値が原点付近で大きくなりかつ原点から離れるほど小さくなる場合、その逆の場合と比較すると、関数Ｈ（ｘ−ｓ）・Ｗ（ｘ）とｘ軸とで囲まれる部分の面積が小さくなる。したがって、関数Ｈ（ｘ−ｓ）・Ｗ（ｘ）とｘ軸とで囲まれる部分の面積は、関数Ｈ（ｘ−ｓ）で表されるヒストグラムの形状が原点付近に集中する形状であるか否かを示す量となる。そこで、以下の評価関数Ｅ（ｓ）を定義する。
Ｅ（ｓ）＝∫Ｗ（ｘ）・Ｈ（ｘ−ｓ）ｄｘ （１）
【００４３】
例えば上記の式（１）においてｓ＝０とすると、Ｅ（０）＝∫Ｗ（ｘ）・Ｈ（ｘ）ｄｘとなる。この式は、図８（ｃ）に示す関数Ｗ（ｘ）・Ｈ（ｘ）とｘ軸とが囲む領域の面積を表す。このように、式（１）で示す評価関数Ｅ（ｓ）は、ヒストグラム関数Ｈ（ｘ）をｘ軸方向にｓシフトしてできる関数Ｈ（ｘ−ｓ）と重み関数Ｗ（ｘ）との積Ｗ（ｘ）・Ｈ（ｘ−ｓ）、およびｘ軸が囲む部分の面積を表す量である。これはすなわち関数Ｈ（ｘ−ｓ）で表されるヒストグラムの形状が原点付近に集中する形状であるか否かを示す量となる。
【００４４】
したがって、評価関数Ｅ（ｓ）の値が最小となるｓの値だけヒストグラム関数Ｈ（ｘ）をシフトすることによってできる関数Ｈ（ｘ−ｓ）が、評価関数Ｅ（ｓ）で評価するという観点において、原点付近に分布が最も集中する形状のヒストグラムということができる。すなわち、「適正な視差分布」ということができる。上述したように、視差画像の切り出し位置をｓだけシフトすると、そのときの視差分布の原点もｓだけシフトする。ゆえに、評価関数Ｅ（ｓ）の値が最小となるｓの値は、視差画像２０６が適正な視差分布を持つように、視差調整用元画像２１０から切り出す際にシフトすべきシフト量となる。もちろん、重み関数Ｗ（ｘ）の形は図８（ｂ）に示す形に限定されない。「適正な視差分布」として所望の視差分布を設定し、そのような視差分布が得られるような重み関数を実験により定めればよい。
【００４５】
以上より、所定の視差分布を持つ視差画像２０６が与えられたとき、その視差画像２０６が所望の適正な視差分布を持つように調整するためには、評価関数Ｅ（ｓ）の値が最小となるｓだけシフトして切り出せばよい。このときのシフト量をｓｏｐｔとすると、ｓｏｐｔは以下の式で表される。
ｓｏｐｔ＝ａｒｇｍｉｎＥ（ｓ） （２）
ここでａｒｇｍｉｎＥ（ｓ）は、関数Ｅ（ｓ）が最小値を取るときのｓの値を意味する。
【００４６】
［シフト量の急激な変化］
上述したアルゴリズムは、ある視差画像２０６が与えられたときに、その視差画像２０６が適正な視差分布を持つように調整するためのシフト量を求めるためのアルゴリズムである。このアルゴリズムを用いることにより、例えば視聴者がある視差画像２０６をパンしながら表示させる際、表示デバイスに現在表示されている視差画像について適正な視差分布を持つように調整することができる。しかしながら、上述したアルゴリズムは現在表示されている視差画像についての適正なシフト量を求めるものであり、次の瞬間に表示される視差画像のシフト量を考慮するものではなく、また過去のシフト量を考慮するものでもない。したがって、視差画像２０６の表示領域を連続的に変更しながら表示させる場合であっても、条件によってはシフト量の変化が視聴者に違和感を与える程度にとても大きくなる場合もあり得る。
【００４７】
図１０は、評価関数Ｅ（ｓ）を用いて求めたシフト量の変化を説明するための図である。図１０（ａ）は、図６（ａ）に示すヒストグラムを用いた場合の評価関数Ｅ（ｓ）の概形を示す図である。図１０（ｃ）は、図６（ｂ）に示すヒストグラムを用いた場合の評価関数Ｅ（ｓ）の概形を示す図である。図１０（ｂ）は、図６（ａ）に示すヒストグラムが図６（ｂ）に示すヒストグラムに変化する途中のヒストグラムを用いた場合の評価関数Ｅ（ｓ）の概形を示す図である。
【００４８】
視聴者が視差画像２０６を、図３に示す画像から図４に示す画像に至るまでパンしながら画像を表示すると、視差分布のヒストグラムは図６（ａ）に示すヒストグラムから図６（ｂ）に示すヒストグラムまで変化する。視差画像２０６の表示領域には被写体２００ａのみが写っているが、次第に被写体２００ｂも映り込んでくることになる。
【００４９】
図１０（ａ）に示すように、図６（ａ）に示すヒストグラムを、ｘ軸の負の方向にシフトさせることにより、ヒストグラムを原点付近に集中させることができる。したがって、ｓｏｐｔは負の値である。視聴者が映像をパンすることによって視差画像２０６の表示領域には被写体２００ａが映り込んでくると、視差分布のヒストグラムは図６（ａ）に示すヒストグラムから図６（ｂ）に示すヒストグラムに変化し、評価関数Ｅ（ｓ）のグラフは図１０（ｂ）に示す形に変化する。図１０（ａ）に示す評価関数Ｅ（ｓ）のグラフの形と図１０（ｂ）に示す評価関数Ｅ（ｓ）のグラフの形とを比較すると、両者ともｓｏｐｔで極小値を取る点で共通する。しかしながら、図１０（ｂ）に示す評価関数Ｅ（ｓ）のグラフは、ｓｏｐｔ以降のｓ軸に対する傾きが小さくなる点で異なる。視差画像２０６の表示領域に映り込む被写体２００ａが大きくなると、やがて評価関数Ｅ（ｓ）のグラフは図１０（ｃ）に示す形となり、ｓｏｐｔが正の値となる。このように、視差画像２０６をパンしながら連続的に表示領域を変更する場合であっても、そのときの適正なシフト量は負の値から正の値へと急激に変化することになる。
【００５０】
シフト量が大きく変化すると、上述の例のように、視聴者にとっては表示デバイス付近に定位していた被写体が、突然表示デバイスの奥側に定位するように認識される。このような場合視聴者は急激な視点調整を強いられることになり、負担となり得る。
【００５１】
［画像処理装置１００］
実施の形態に係る画像処理装置１００は、上述のように視差画像の表示領域を変更することに伴ってされる適正なシフト量が、連続的に変化するように制御する。
【００５２】
図１１は、実施の形態に係る画像処理装置１００の機能構成を模式的に示す図である。実施の形態に係る画像処理装置１００は、変更受付部１０、視点設置部２０、立体映像取得部３０、視差画像生成部４０、および基準座標格納部６０を含む。
【００５３】
図１１および後述する図１５は、実施の形態に係る画像処理装置１００を実現するための機能構成を示しており、その他の構成は省略している。図１１および図１５において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、ＣＰＵ（Central Processing Unit）、メインメモリ、その他のＬＳＩ（Large Scale Integration）で構成することができ、ソフトウェア的には、メインメモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではないが、実施の形態に係る画像処理装置１００の一例としては据え置き型のゲーム機があげられる。
【００５４】
立体映像取得部３０は、デコーダ等の立体映像再生部（図示せず）から立体映像を取得する。立体映像取得部３０はまた、地上デジタルのような放送網から立体映像を取得する。
【００５５】
変更受付部１０は、画像処理装置１００に付属するインタフェースであるコントローラ（図示せず）を介して、視聴者から画像処理装置１００が再生する立体映像の拡縮率や表示位置の変更指示を受け付ける。変更受付部１０はまた、例えば立体パノラマ画像を自動でスクロールしながら再生する場合にも、その映像の表示位置の変更指示を取得する。
【００５６】
ところで、表示する立体映像の拡縮率や表示位置を変更することは、その立体映像に撮像されている被写体を観察する視点の位置を変更することに対応する。図１２は、拡縮率および表示位置の変更と視点位置との関係を説明する図である。図１２において、三次元空間中にｘ軸、ｙ軸、およびｚ軸の各座標軸が設定されており、表示デバイスの表示面２１４の一辺がｘ軸と接するように、表示面２１４がｘｙ平面上に設置されている。ここで、座標軸の原点が、ｘ軸と接している表示面２１４の一辺の中点となるように設定されている。ｚ軸は、表示面２１４に対して視点側が負であり、奥側が正となるように設定されている。
【００５７】
被写体をある視点から観察したときの立体映像が与えられると、その立体映像は所定の視差マップを持っており、この視差マップを用いて被写体を上述の３次元空間中に仮想的に再配置することができる。例えば、与えられた立体映像が、図１２における左目用カメラ２０２ａと右目用カメラ２０２ｂとから観察したときの映像であるとする。立体映像はふたつのカメラ２０２、すなわちふたつの視点から観察するものであるが、以下便宜のため、ふたつの視点の中点を「視点」ということにする。具体的には、上述の立体映像は、図１２における視点２１２ａから観察された映像である。
【００５８】
視聴者が立体映像を拡大して表示することは、視点２１２ａをｚ軸の正の方向に移動することに対応する。例えば視点２１２ａのｚ座標と比較して大きなｚ座標を持つ視点２１２ｂから観察される映像は、視点２１２ａから観察される映像よりも、被写体が拡大されて表示される。また、視点２１２ｂから視点２１２ｃまで移動しながら映像を観察することは、映像をパンすることに対応する。このように、表示する立体映像の拡縮率や表示位置を変更することは、その立体映像に撮像されている被写体を観察する視点の位置を変更することに対応づけることができる。
【００５９】
図１１の説明に戻る。視点設置部２０は、変更受付部１０から立体映像の拡縮率や表示位置の変更指示を受け取って対応する視点位置を計算し、その視点から当該立体映像中の被写体を観察するために仮想の視点を設置する。
【００６０】
視差画像生成部４０は、視点設置部２０が設置した視点から観察したときの、上述した適正な視差分布を与える左目用の視差画像と右目用の視差画像とを、左目用の視差画像と右目用の視差画像との少なくともいずれか一方の画像の切り出し位置をシフトさせることによって生成する。視差画像生成部４０は、制御部４２、拡縮部４４、切取部４６、シフト量算出部５０、および合成部４８を含む。ここで合成部４８は、異なるふたつの立体映像を合成してひとつの新しい立体映像を生成する。合成部４８の詳細は後述する。
【００６１】
制御部４２は、視差画像生成部４０の動作を統括的に制御する。具体的には、画像を拡大または縮小する拡縮部４４と、画像の一部をクリッピングする切取部４６とを制御して、シフト量算出部５０が算出したシフト量と拡縮率とをもとに、視差調整用元画像から視差画像を生成する。
【００６２】
ここで視差画像生成部４０は、視点設置部２０が仮想の視点の設置位置を変更することに伴って画像の切り出し位置のシフト量が変化する必要が生じた場合、変化の前におけるシフト量から変化の後におけるシフト量に至るまで、シフト量を段階的に変化させながら視差画像を生成する。より具体的には、視差画像生成部４０中のシフト量算出部５０が、段階的に変化するようにシフト量を生成する。以下、シフト量を段階的に変化させるアルゴリズムについて説明する。
【００６３】
視点設置部２０が設置した視点から観察した場合の視差画像に対する上述の式（２）から求まるシフト量ｓｏｐｔはその視点一点におけるシフト量であるため、視点が移動するとシフト量が急激に変化する可能性がある。例えば図１０を参照して説明したように、立体映像において視点を移動しながら再生するとシフト量が急激に変化することが起こりうる。図１３は、視点の移動量ｖとシフト量との関係の一例を示す図である。図１３（ａ）は、視点の移動量がｖ１未満のときのシフト量はｓ１であるが、視点の移動量がｖ１以上となると、シフト量がｓ２へと急激に変化することを示す図である。
【００６４】
このようなシフト量の急激な変化を抑制するために、シフト量算出部５０は、図１３（ｂ）に示すように移動量ｖがｖ１の前後にあるときにシフト量をｓ１からｓ２に至るまで段階的に変化させる。これを実現するためのアルゴリズムの概要は、視点設置部２０が設置した視点におけるシフト量を、その視点の周囲におけるシフト量を考慮して求めることである。例えば、図１３（ａ）において、移動量がｖ２のときに、移動量がｖ１となるとシフト量がｓ１からｓ２へと急激に変化することが分かれば、シフト量を徐々に変化させることが可能となる。そこで、図１２を参照して説明した立体映像中の仮想の３次元空間において、画像の切り出し位置のシフト量算出の基準となるシフト量算出基準点をあらかじめ定めておく。視点設置部２０が視点を設置した場合、その視点の近傍に存在するシフト量算出基準点において求めたシフト量を考慮してシフト量を算出する。具体的には、視点の近傍に存在するシフト量算出基準点において求めたシフト量の重み付き平均を、その視点に置けるシフト量とする。
【００６５】
図１４は、仮想の三次元空間におけるシフト量算出基準点の一例を示す図である。シフト量算出基準点の位置座標は、基準座標格納部６０に格納されている。説明の便宜のため、図１４にはｘｚ平面上のシフト量算出基準点のみを図示しているが、シフト量算出基準点は三次元空間中に分布している。
【００６６】
図１４に示す例では、シフト量算出基準点は、ｚ座標の値が大きいほど密に配置されている。これは視点位置のｚ座標が大きい場合、立体映像は拡大して表示されるため視野が狭くなり、移動にともなる画像の変化が大きいからである。反対に、視点位置のｚ座標が小さくなると、立体映像は縮小して表示されるので、シフト量算出基準点の配置密度は粗くてもよい。したがって、シフト量算出基準点は、視線方向であるｚ軸方向では対数線形（Log-Linear）となるように配置される。なお、シフト量算出基準点の配置位置はこれに限られるものではなく、計算コストや記憶容量等を考慮して実験により定めればよい。
【００６７】
図１５は、実施の形態に係るシフト量算出部５０の機能構成を模式的に示す図である。シフト量算出部５０は、基準座標取得部５２、視差分布生成部５４、局所シフト量算出部５６、および調整部５８を含む。
【００６８】
基準座標取得部５２は、基準座標格納部６０を参照して視点設置部２０が定めた視点位置の近傍に存在するシフト量算出基準点の位置座標を取得する。ここで「視点位置の近傍に存在するシフト量算出基準点」とは、３次元空間中で視点位置の近傍に位置する８つのシフト量算出基準点であって、各シフト量算出基準点を頂点とする６面体を形成する点の集合である。図１４に示す例ではｘｚ平面上においてのみシフト量算出基準点を示しているが、視点２１２ｄが設置されたとすると、その近傍にあるシフト量算出基準点２１６ａ〜２１６ｄは、近傍の点として選択される。
【００６９】
視差分布生成部５４は、基準座標取得部５２が取得した各位置座標に視点を設置して観察した場合における立体映像の左目用の視差画像と右目用の視差画像との間の視差の分布を生成する。局所シフト量算出部５６は、視差分布生成部５４が生成した視差の分布をもとに、立体映像の左目用の視差画像と右目用の視差画像との間の視差が上述した「立体映像として最低限満たすべき視差分布」に収まるように視差の調整量を生成するとともに、上述した「適正な視差分布」となるようなシフト量Ｓｏｐｔを求める。
【００７０】
調整部５８は、局所シフト量算出部５６が算出した各シフト量算出基準点の位置座標における各シフト量Ｓｏｐｔの重み付き平均値を、視点設置部２０が定めた視点から観察した場合のシフト量とする。
【００７１】
ここで調整部５８は、画像補間の分野における３次元の線形補間方式の重み係数と類似の係数を、重み付き平均値を求めるときの重み係数として採用する。より具体的には、調整部５８は、基準座標取得部５２が取得した各シフト量算出基準点の位置座標を頂点とする立体を、視点設置部２０が定めた視点位置を交点とする互いに垂直な３つの平面で分割してできる複数の立体それぞれの体積の、各位置座標を頂点とする立体の体積に対する割合を、重み付き平均値を求める際の重みとする。ここで互いに垂直な３つの平面は、それぞれｘｙ平面、ｙｚ平面、およびｘｚ平面に平行な平面である。
【００７２】
図１６は、視差の調整量の重み係数を説明するための図であり、図１４の一部を拡大した図である。説明の便宜のため、２次元の場合について説明するが、３次元の線形補間方式に拡張することは当業者であれば容易である。
【００７３】
図１６において、線分Ｐ１Ｐ２はｚ軸に平行な線分であり、線分Ｑ１Ｑ２はｘ軸に平行な線分である。線分Ｐ１Ｐ２と線分Ｑ１Ｑ２とは、視点２１２ｄに交点を持つ。シフト量算出基準点２１６ａ〜２１６ｄは、視点２１２ｄの近傍に存在するシフト量算出基準点である。いま、シフト量算出基準点２１６ａ〜２１６ｄの各点におけるシフト量を、それぞれｓａ、ｓｂ、ｓｃ、ｓｄとし、シフト量算出基準点２１６ａ〜２１６ｄを頂点とする四角形の面積をＴとする。
【００７４】
シフト量算出基準点２１６ａ〜２１６ｄを頂点とする四角形を、視点２１２ｄを交点とする垂直なふたつの線分Ｐ１Ｐ２および線分Ｑ１Ｑ２で４つの四角形に分割する。このとき、視点２１２ｄに対してシフト量算出基準点２１６ａ〜２１６ｄそれぞれの点対称の位置にある４角形の面積をそれぞれｔａ、ｔｂ、ｔｃ、ｔｄとする。
【００７５】
ここで、４角形の面積ｔａ、ｔｂ、ｔｃ、ｔｄは、それぞれシフト量算出基準点２１６ａ〜２１６ｄと、視点２１２ｄとの「近さ」を反映している値である。例えば、シフト量算出基準点２１６ａと視点２１２ｄとの距離が近いほど、面積ｔａは大きくなる。そこで、４角形の面積ｔａ、ｔｂ、ｔｃ、ｔｄは、視点２１２ｄにおけるシフト量算出の際の、シフト量算出基準点２１６ａ〜２１６ｄの寄与率として用いることができる。これは、視点２１２ｄとシフト量算出基準点２１６との距離が近ければ、そのときの視点２１２ｄにおけるシフト量はシフト量算出基準点２１６におけるシフト量に近いという前提に基づく。
【００７６】
以上より、視点２１２ｄにおけるシフト量ｓを以下の式（３）で求める。
ｓ＝（ｔａｓａ＋ｔｂｓｂ＋ｔｃｓｃ＋ｔｄｓｄ）／Ｔ （３）
ここで、Ｔ＝ｔａ＋ｔｂ＋ｔｃ＋ｔｄ。
実施の形態に係る調整部５８は、同様の考え方を３次元に拡張して重み付き平均値を求める際の重みを算出する。
【００７７】
視点２１２ｄにおけるシフト量ｓを、近傍に存在するシフト量算出基準点２１６ａ〜２１６ｄにおけるシフト量の重み付き平均値とすることは、各点において求めたシフト量にローパスフィルタをかけて丸める効果があることになる。これにより、シフト量の急激な変化を抑制し、シフト量を段階的に変化するように算出することが可能となる。
【００７８】
シフト量にローパスフィルタをかけて丸める別の方法として、例えば過去に求めたシフト量との移動平均を求めて現在のシフト量とする方法も考えられる。この方法でもシフト量を段階的に変化するように算出することが可能であるが、ある視点位置におけるシフト量が過去のシフト量の影響を受けるため、シフト量に時間遅れが生じうる。また、ある視点位置におけるシフト量が、その視点位置に近づく経路によって変わる場合もあり得る。
【００７９】
これに対し、視点位置におけるシフト量ｓを、近傍に存在するシフト量算出基準点におけるシフト量の重み付き平均値とする場合、視点位置が決まればシフト量も一意に定まるため、視点位置に近づく経路によってシフト量が変化することもなく、時間遅れも生じない。
【００８０】
なお、視点位置におけるシフト量の算出に重み付き平均を利用することは、シフト量の算出方法の一例である。視点位置におけるシフト量は、視点位置の近傍に存在するシフト量算出基準点におけるシフト量の最小値以上かつ最大値以下の値であれば、どのような方法を用いて求めてもよい。例えば、視点位置の近傍に存在するシフト量算出基準点におけるシフト量の最小値と最大値との平均値を、視点位置のシフト量として採用する方法等、様々な手法が考えられる。
【００８１】
図１７は、実施の形態に係る画像処理装置１００の処理の流れを説明するフローチャートである。本フローチャートにおける処理は、例えば画像処理装置１００の電源が投入されたときに開始する。
【００８２】
立体映像取得部３０は、被写体をある視点から観察した場合における、所定の視差マップおよび視差分布を持つ左目用の視差画像と右目用の視差画像とを含む立体映像を取得する（Ｓ１０）。視点設置部２０は、上記被写体を別の視点から別の倍率で観察するために、視点の位置および画像の拡縮率を設定する（Ｓ１２）。
【００８３】
基準座標取得部５２は、視点設置部２０が設置した視点位置の近傍に存在するシフト量算出基準点の位置座標を、基準座標格納部６０を参照して取得する（Ｓ１４）。視差分布生成部５４は、基準座標が取得したシフト量算出基準点から観察した場合の立体映像の視差分布を生成する（Ｓ１６）。局所シフト量算出部５６は、視差分布生成部５４が生成した視差分布をもとに、基準座標取得部５２が取得したシフト量算出基準点における局所的なシフト量Ｓｏｐｔを算出する（Ｓ１８）。
【００８４】
局所シフト量算出部５６が、基準座標取得部５２が取得した全てのシフト量算出基準点においてシフト量の算出が終了するまで（Ｓ２０のＮ）、上述のステップ１２からステップ１８を繰り返す。局所シフト量算出部５６が、基準座標取得部５２が取得した全てのシフト量算出基準点におけるシフト量の算出を終了すると（Ｓ２０のＹ）、調整部５８は、各基準点におけるシフト量の重み付き平均値を算出し、視点設置部２０が設置した視点位置におけるシフト量として決定する（Ｓ２２）。
【００８５】
制御部４２は、調整部５８が算出したシフト量をもとに、拡縮部４４と切取部４６とを制御して視差画像を生成する（Ｓ２４）。制御部４２が拡縮部４４と切取部４６とを制御して視差画像を生成すると、本フローチャートにおける処理は終了する。
【００８６】
以上の構成による動作は以下のとおりである。視聴者が画像処理装置１００を用いて立体映像を視聴するときに立体映像の表示位置や拡縮率を変更すると、シフト量算出部５０は、視聴者が所望する立体映像が適正な視差分布を持つように、視差画像の切り出し入りのシフト量を生成する。このとき、シフト量算出部５０は、視聴者が立体映像の表示位置や拡縮率をさらに変更するのに伴って視差画像の切り出し入りのシフト量も変更する必要があるときは、変化の前後が滑らかに接続するようにシフト量を制御する。これにより、シフト量が急激に変化することによって視聴者にかかる、両眼の輻輳角などを調整しながら立体視をすることに伴う負担を軽減することができる。
【００８７】
以上説明したとおり、実施の形態によれば立体画像の鑑賞に伴う視聴者の負担を軽減する技術を提供できる。
【００８８】
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００８９】
［変形例］
実施の形態に係る画像処理装置１００の変形例について説明する。上記の説明では、立体映像取得部３０が、１種類の立体映像を取得することを前提とする場合について説明したが、立体映像取得部３０はふたつの異なる立体映像を取得してもよい。
【００９０】
例えば、一方の立体映像の一部に他方の立体映像を重畳して再生してもよい。一方の立体映像が旅行を撮影した映像であり、他方の立体映像が映画などの映画や、テレビ電話の映像のような場合が考えられる。
【００９１】
図１８は、一方の立体映像の一部に他方の立体映像を重畳して再生する場合の一例を示す図である。図１８に示す例では、ふたりの被写体２００ａおよび２００ｂが存在する視差画像２０６を含む立体映像の上に、被写体２００ａと２００ｂとの間のテレビ電話の映像を表示するインタフェース２１８が重畳して表示されている。
【００９２】
具体的に、合成部４８は、立体映像取得部３０から２つの異なる立体映像を取得して、一方の立体映像内の一部に他方の立体映像を重畳する。ここで合成部４８は、一方の立体映像に関して視差分布生成部５４が生成した視差の分布をもとに、その立体映像において表示デバイスから最も観察者側に定位する被写体を特定する。合成部４８はさらに、特定した被写体よりもさらに視聴者側に、他方の立体映像が定位するように他方の立体映像を重畳する。
【００９３】
これにより、被写体２００ａと２００ｂとは、共通の立体映像を視聴しながらテレビ電話による会話を楽しむことができる。このとき、テレビ電話のインタフェース２１８は視差画像２０６を含む立体映像よりも視点側に定位するので、インタフェース２１８が視差画像２０６の映像に邪魔されることが防止できる。
【００９４】
合成部４８がふたつの立体映像を合成した場合、シフト量算出部５０は、合成された立体映像を新たなひとつの立体映像として、シフト量を生成する。これにより、合成された立体映像を視聴する視聴者の、両眼の輻輳角などを調整しながら立体視をすることに伴う負担を軽減することができる。
【符号の説明】
【００９５】
１０ 変更受付部、 ２０ 視点設置部、 ３０ 立体映像取得部、 ４０ 視差画像生成部、 ４２ 制御部、 ４４ 拡縮部、 ４６ 切取部、 ４８ 合成部、 ５０ シフト量算出部、 ５２ 基準座標取得部、 ５４ 視差分布生成部、 ５６ 局所シフト量算出部、 ５８ 調整部、 ６０ 基準座標格納部、 １００ 画像処理装置。
【特許請求の範囲】
【請求項１】
ある視点から観察した、所定の視差分布を持つ左目用の視差画像と右目用の視差画像とを含む立体映像が与えられたとき、別の視点から当該立体映像中の被写体を観察する仮想の視点を設置する視点設置部と、
前記視点設置部が設置した視点から観察したときの、所望の視差分布を与える左目用の視差画像と右目用の視差画像とを、前記左目用の視差画像と右目用の視差画像との少なくともいずれか一方の画像の切り出し位置をシフトさせることによって生成する視差画像生成部とを含み、
前記視差画像生成部は、前記仮想の視点の位置を変更することで画像の切り出し位置のシフト量が変化する場合、変化の前におけるシフト量から変化の後におけるシフト量に至るまで、シフト量を段階的に変化させながら視差画像を生成することを特徴とする画像処理装置。
【請求項２】
前記立体映像中の仮想の３次元空間において、画像の切り出し位置のシフト量算出の基準として定められたシフト量算出基準点の位置座標を格納する基準座標格納部をさらに含み、
前記視差画像生成部は、前記基準座標格納部を参照して、前記視点設置部が定めた視点位置の近傍に存在するシフト量算出基準点の位置座標を取得し、当該位置座標それぞれにおいて観察した場合の被写体の立体映像から算出したシフト量の最小値以上かつ最大値以下の値をシフト量として算出するシフト量算出部をさらに含むことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記シフト量算出部は、
前記基準座標格納部を参照して前記視点設置部が定めた視点位置の近傍に存在するシフト量算出基準点の位置座標を取得する基準座標取得部と、
前記基準座標取得部が取得した各位置座標に視点を設置して観察した場合における立体映像の左目用の視差画像と右目用の視差画像との間の視差の分布を生成する視差分布生成部と、
前記視差分布生成部が生成した視差の分布をもとに、立体映像の左目用の視差画像と右目用の視差画像との間の視差が所定の視差レンジに収まるように視差の調整量を生成するとともに、立体映像を表示する表示デバイス付近に定位する被写体が多くなるようにシフト量を求める局所シフト量算出部と、
前記局所シフト量算出部が算出した各基準点の位置座標におけるシフト量の重み付き平均値を、前記視点設置部が定めた視点から観察した場合のシフト量とする調整部とを含むことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記調整部は、前記基準座標取得部が取得した各位置座標を頂点とする立体を、前記視点設置部が定めた視点位置を交点とする互いに垂直な３つの平面で分割してできる複数の立体それぞれの体積の、前記各位置座標を頂点とする立体の体積に対する割合を、重み付き平均値を求める際の重みとすることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
２つの異なる立体映像を取得して一方の立体映像内の一部に他方の立体映像を重畳する合成部をさらに含み、
前記合成部は、一方の立体映像に関して前記視差分布生成部が生成した視差の分布をもとに当該一方の立体映像において表示デバイスから最も視点側に定位する被写体を特定し、当該被写体よりもさらに視点側に他方の立体映像が定位するように他方の立体映像を重畳することを特徴とする請求項３または４に記載の画像処理装置。
【請求項６】
前記シフト量算出部は、前記合成部が合成した立体映像をひとつの立体映像としてシフト量を生成することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
ある視点から観察した、所定の視差分布を持つ左目用の視差画像と右目用の視差画像とを含む立体映像が与えられたとき、別の視点から当該立体映像中の被写体を観察する仮想の視点を設置して、当該視点から観察したときに所望の視差分布を与える左目用の視差画像と右目用の視差画像とを、前記左目用の視差画像と右目用の視差画像とのいずれか一方の画像の切り出し位置をシフトさせることによって生成するとともに、前記仮想の視点の位置を変更することで切り出し位置のシフト量が変化する場合、変化の前におけるシフト量から変化の後におけるシフト量に至るまで、シフト量を段階的に変化させながら視差画像を生成することをプロセッサに実行させることを特徴とする画像処理方法。
【請求項８】
ある視点から観察した、所定の視差分布を持つ左目用の視差画像と右目用の視差画像とを含む立体映像が与えられたとき、別の視点から当該立体映像中の被写体を観察する仮想の視点を設置する機能と、
設定した視点から観察したときの所望の視差分布を与える左目用の視差画像と右目用の視差画像とを、前記左目用の視差画像と右目用の視差画像とのいずれか一方の画像の切り出し位置をシフトさせることによって生成する機能であって、前記仮想の視点の位置を変更することで切り出し位置のシフト量が変化する場合、変化の前におけるシフト量から変化の後におけるシフト量に至るまで、シフト量を段階的に変化させながら視差画像を生成する機能とをコンピュータに実現させることを特徴とするプログラム。
【請求項１】
ある視点から観察した、所定の視差分布を持つ左目用の視差画像と右目用の視差画像とを含む立体映像が与えられたとき、別の視点から当該立体映像中の被写体を観察する仮想の視点を設置する視点設置部と、
前記視点設置部が設置した視点から観察したときの、所望の視差分布を与える左目用の視差画像と右目用の視差画像とを、前記左目用の視差画像と右目用の視差画像との少なくともいずれか一方の画像の切り出し位置をシフトさせることによって生成する視差画像生成部とを含み、
前記視差画像生成部は、前記仮想の視点の位置を変更することで画像の切り出し位置のシフト量が変化する場合、変化の前におけるシフト量から変化の後におけるシフト量に至るまで、シフト量を段階的に変化させながら視差画像を生成することを特徴とする画像処理装置。
【請求項２】
前記立体映像中の仮想の３次元空間において、画像の切り出し位置のシフト量算出の基準として定められたシフト量算出基準点の位置座標を格納する基準座標格納部をさらに含み、
前記視差画像生成部は、前記基準座標格納部を参照して、前記視点設置部が定めた視点位置の近傍に存在するシフト量算出基準点の位置座標を取得し、当該位置座標それぞれにおいて観察した場合の被写体の立体映像から算出したシフト量の最小値以上かつ最大値以下の値をシフト量として算出するシフト量算出部をさらに含むことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記シフト量算出部は、
前記基準座標格納部を参照して前記視点設置部が定めた視点位置の近傍に存在するシフト量算出基準点の位置座標を取得する基準座標取得部と、
前記基準座標取得部が取得した各位置座標に視点を設置して観察した場合における立体映像の左目用の視差画像と右目用の視差画像との間の視差の分布を生成する視差分布生成部と、
前記視差分布生成部が生成した視差の分布をもとに、立体映像の左目用の視差画像と右目用の視差画像との間の視差が所定の視差レンジに収まるように視差の調整量を生成するとともに、立体映像を表示する表示デバイス付近に定位する被写体が多くなるようにシフト量を求める局所シフト量算出部と、
前記局所シフト量算出部が算出した各基準点の位置座標におけるシフト量の重み付き平均値を、前記視点設置部が定めた視点から観察した場合のシフト量とする調整部とを含むことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記調整部は、前記基準座標取得部が取得した各位置座標を頂点とする立体を、前記視点設置部が定めた視点位置を交点とする互いに垂直な３つの平面で分割してできる複数の立体それぞれの体積の、前記各位置座標を頂点とする立体の体積に対する割合を、重み付き平均値を求める際の重みとすることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
２つの異なる立体映像を取得して一方の立体映像内の一部に他方の立体映像を重畳する合成部をさらに含み、
前記合成部は、一方の立体映像に関して前記視差分布生成部が生成した視差の分布をもとに当該一方の立体映像において表示デバイスから最も視点側に定位する被写体を特定し、当該被写体よりもさらに視点側に他方の立体映像が定位するように他方の立体映像を重畳することを特徴とする請求項３または４に記載の画像処理装置。
【請求項６】
前記シフト量算出部は、前記合成部が合成した立体映像をひとつの立体映像としてシフト量を生成することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
ある視点から観察した、所定の視差分布を持つ左目用の視差画像と右目用の視差画像とを含む立体映像が与えられたとき、別の視点から当該立体映像中の被写体を観察する仮想の視点を設置して、当該視点から観察したときに所望の視差分布を与える左目用の視差画像と右目用の視差画像とを、前記左目用の視差画像と右目用の視差画像とのいずれか一方の画像の切り出し位置をシフトさせることによって生成するとともに、前記仮想の視点の位置を変更することで切り出し位置のシフト量が変化する場合、変化の前におけるシフト量から変化の後におけるシフト量に至るまで、シフト量を段階的に変化させながら視差画像を生成することをプロセッサに実行させることを特徴とする画像処理方法。
【請求項８】
ある視点から観察した、所定の視差分布を持つ左目用の視差画像と右目用の視差画像とを含む立体映像が与えられたとき、別の視点から当該立体映像中の被写体を観察する仮想の視点を設置する機能と、
設定した視点から観察したときの所望の視差分布を与える左目用の視差画像と右目用の視差画像とを、前記左目用の視差画像と右目用の視差画像とのいずれか一方の画像の切り出し位置をシフトさせることによって生成する機能であって、前記仮想の視点の位置を変更することで切り出し位置のシフト量が変化する場合、変化の前におけるシフト量から変化の後におけるシフト量に至るまで、シフト量を段階的に変化させながら視差画像を生成する機能とをコンピュータに実現させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公開番号】特開２０１３−４６２６３（Ｐ２０１３−４６２６３Ａ）
【公開日】平成２５年３月４日（２０１３．３．４）
【国際特許分類】
【出願番号】特願２０１１−１８３１５９（Ｐ２０１１−１８３１５９）
【出願日】平成２３年８月２４日（２０１１．８．２４）
【出願人】（３１００２１７６６）株式会社ソニー・コンピュータエンタテインメント (417)
【Ｆターム（参考）】
【公開日】平成２５年３月４日（２０１３．３．４）
【国際特許分類】
【出願日】平成２３年８月２４日（２０１１．８．２４）
【出願人】（３１００２１７６６）株式会社ソニー・コンピュータエンタテインメント (417)
【Ｆターム（参考）】
[ Back to top ]