立体視映像再生装置
【課題】
複数の立体視映像コンテンツを重ね合わせて再生する際に、各コンテンツの立体感を損ねることなく自然な立体視を可能とする立体視映像再生装置を提供する。
【解決手段】
第一のコンテンツが第二のコンテンツより手前に結像することを判定することにより、第一のコンテンツが第二のコンテンツの一部または全部の視聴を妨げることを判断する干渉判断手段と、第二の立体視映像コンテンツの周囲に枠状の装飾を施す装飾手段と、立体映像コンテンツを重ね合わせる合成手段と備え干渉判断手段により干渉があると判定された場合に、装飾手段は前記第二のコンテンツの周囲に装飾を付与し、合成手段は、第二のコンテンツおよび第二のコンテンツに付与された装飾を第一のコンテンツに優先して合成する。
複数の立体視映像コンテンツを重ね合わせて再生する際に、各コンテンツの立体感を損ねることなく自然な立体視を可能とする立体視映像再生装置を提供する。
【解決手段】
第一のコンテンツが第二のコンテンツより手前に結像することを判定することにより、第一のコンテンツが第二のコンテンツの一部または全部の視聴を妨げることを判断する干渉判断手段と、第二の立体視映像コンテンツの周囲に枠状の装飾を施す装飾手段と、立体映像コンテンツを重ね合わせる合成手段と備え干渉判断手段により干渉があると判定された場合に、装飾手段は前記第二のコンテンツの周囲に装飾を付与し、合成手段は、第二のコンテンツおよび第二のコンテンツに付与された装飾を第一のコンテンツに優先して合成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体視画像や立体視ビデオを再生する再生機器または表示する表示機器において、特に複数の立体視画像、立体視ビデオを重ねて表示または再生技術に関する。
【背景技術】
【０００２】
近年、ＢＤレコーダやＢＤプレーヤ等の据え置き機器や、小型ゲーム機、撮像機器や携帯電話等の携帯機器において、両眼視差を用いた立体視表示機能が搭載されつつある。立体視表示方式にはさまざまな方式があるが、両眼視差を用いた立体視表示の基本的な原理は、左目と右目に視差の程度に異なる映像（動画像、静止画像を含む）を見せる仕組みを導入し、その両目間の視差を利用することにより立体的な映像を知覚させる。
【０００３】
また、立体視映像を視聴可能な機器に加えて、立体視写真や立体視ビデオを撮影する機能を持った立体視対応カメラ、コンバージョンレンズ、立体視対応ハンディカム等の機器も普及を始めており、個人で撮影した立体視コンテンツを視聴する環境が普及しつつある。
一方、従来の静止画像の一例である２Ｄ写真においては、多くの２D写真を一覧表示するときに、お互いに重なりあった状態で表示をすることがあった。ここで、重ね合わせて表示するとは、ある２D写真の被写体が別の２D写真の被写体の一部を覆い隠すような状態を指す。
【０００４】
このように、例えば２枚の２D写真を重ね合わせて表示する場合において、重ね合わせた部分においては、見ている方向から手前に位置させようとする２D写真の像を表示し、奥に位置させようとする２D写真は手前に位置させようとする２D写真に覆い隠されるように表示がなされる。
上述の例では２枚の２D写真に見え方に関し説明をしているが、複数の場合であっても、対象となる２枚の２D写真に対し上述の説明を適用すれば、複数の２D写真を重ね合わせて表示させる場合、重ね合わせた部分の像は、その部分において一番手前に位置させようとする２Ｄ写真の像が表示され、奥に位置させようとする２D写真は手前に位置させようとする２D写真に覆い隠されるように表示がなされる。
【０００５】
現実世界においても、複数の写真の一部が重なり合ったとき、重なり合った部分について、鑑賞者が見る方向から手前に位置する写真が見えるので、上述のような表示のさせ方は、現実世界の見え方と同じであるため、利用者は違和感なく表示された複数の２Ｄ写真を見ることができる。
同じように、静止画像の一例である複数の立体視写真を重ねて表示をする場合を考える。立体視写真では各写真がお互いに奥行きを持って表示される。この場合、立体視写真の像の奥行きを考慮することなく、複数の２Ｄ写真のように決められた順序で上書きするように重ね合わせて表示する場合、重ねあわせが生じる部分について、現実世界とか異なる見え方で表示がなされる場合がある。
【０００６】
例えば本体手前に見えるべき像の上に奥に見えるべき像を上書きするように重ねてしまうと、複数の立体視写真の重なり生じている部分について、現実世界と異なる見え方で表示がなされ、非常に見づらくなってしまう。
このような奥に表示する立体視写真の像で手前に表示する写真の像を上書きするように重ね合わせること起因して、現実世界と異なる見え方で表示がなされることを奥行きが干渉する（もしくは単に干渉する）と呼ぶ。
【０００７】
こうした立体視写真の重ね合わせ時に発生する干渉を解消するため、奥行きを操作してから重ね合わせる手法が存在する。例えば特許文献１では、立体視画像と立体視ビデオを重ね合わせる際に、立体視画像、立体視ビデオのそれぞれの奥行きレンジを圧縮することで、干渉が発生しないようにしている。ここで奥行きレンジとは、最も手前に表示される画素と、最も奥に表示される画素の奥行きの差を意味し、奥行きレンジの圧縮とは、奥行きレンジが小さくなるように各画素の奥行きを手前ないし奥へシフトすることを意味する。図１８に特許文献１による奥行きレンジの圧縮の例を示す。奥行きレンジ４４は立体視映像を出力するディスプレイが表示可能な奥行きの範囲である。第１の立体視映像、第２の立体視映像の奥行きレンジを、それぞれ奥行きサブレンジ４１、奥行きサブレンジ４３に収まるように調節を加えてから重畳を行う。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特表２０１０−５０５１７４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、前記従来の構成では、重ねる立体視コンテンツの数を増やすにつれ、各立体視コンテンツの奥行きレンジが小さくなり、結果として十分な立体視効果を得ることができなくなるという課題を有していた。例えば同じ奥行きレンジをもつ１０枚の立体視写真を重ねて表示する場合、重ねた後の1枚あたりの立体視写真の奥行きレンジは重ねる前に比べて１０分の１に減少してしまう。このため、重ねた後の状態では各立体視写真の立体感が乏しくなってしまい、十分な立体視効果を得ることが出来ない。
【００１０】
本発明は、前記従来の課題を解決するもので、各写真の立体度を低減させずに多数の写真を重ね合わせることができる立体視映像再生装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記課題を解決するため本発明は、
第一の立体視映像コンテンツ、および第二の立体視映像コンテンツを読み取る読取り部、
前記第一の立体視映像コンテンツおよび前記第二の立体視映像コンテンツの表示位置、並びに第一の立体視映像コンテンツと前記第二の立体視映像コンテンツとを上書きするように重ね合わせる順序を決める表示座標決定部、
前記第一の立体視映像コンテンツおよび前記第二の立体視映像コンテンツを前記重ね合わせる順序に従って重ね合わせたときであって、前記第一の立体視映像コンテンツの表示領域の一部と前記第二の立体視映像コンテンツの表示領域の一部が重なる場合、干渉が生じているのかどうかを判定する干渉判定部、
前記干渉判定部において、干渉が生じていると判定した場合、上書きする立体視映像コンテンツの表示画像の端部から外側にかけて装飾画像を生成する干渉解消処理部、
前記第一の立体視映像コンテンツと前記第二の立体視映像コンテンツと前記装飾画像とを合成する画像合成部、
を備えることを特徴する。
【発明の効果】
【００１２】
本発明によれば、第一の立体視映像コンテンツ、および第二の立体視映像コンテンツを読み取る読取り部、前記第一の立体視映像コンテンツおよび前記第二の立体視映像コンテンツの表示位置、並びに第一の立体視映像コンテンツと前記第二の立体視映像コンテンツとを上書きするように重ね合わせる順序を決める表示座標決定部、前記第一の立体視映像コンテンツおよび前記第二の立体視映像コンテンツを前記重ね合わせる順序に従って重ね合わせたときであって、前記第一の立体視映像コンテンツの表示領域の一部と前記第二の立体視映像コンテンツの表示領域の一部が重なる場合、干渉が生じているのかどうかを判定する干渉判定部、前記干渉判定部において、干渉が生じていると判定した場合、上書きする立体視映像コンテンツの表示画像の端部から外側にかけて装飾画像を生成する干渉解消処理部、前記第一の立体視映像コンテンツと前記第二の立体視映像コンテンツと前記装飾画像とを合成する画像合成部、とを備えるので、複数の立体視映像コンテンツを重ね合わせて再生表示する際に、各立体視コンテンツの立体感を損なわず、かつ、重なりが生じている部分の境界付近の違和感を装飾画像の表示により低減することが可能となる。
【００１３】
また前記干渉判定部は、第一の立体視映像コンテンツにおける特定の視点からの色画像の各画素に対する奥行きに対応する値を画素値とする第一のデプス画像および第二の立体視映像コンテンツにおける特定の視点からの色画像の各画素に対する奥行きに対応する値を画素値とする第二のデプス画像を、それぞれ前記表示座標決定部において決定した表示位置に前記表示座標決定部において決定した重合せ順序で、上書きするように重ね合わせたとき、前記第一のデプス画像と第二のデプス画像とが重なり合う部分において、上書きされるデプス画像と隣接する上書きするデプス画像の端部である辺に位置する画素と上書きされるデプス画像に対応する立体視コンテンツの撮影点を用いて決められる干渉判定関数と、前記上書きするデプス画像の辺よりも外側に位置する前記上書きされるデプス画像の画素の値を用いて干渉が生じているかどうかを判定するので、干渉が生じているのかどうかを判定することができる。
【００１４】
また、前記干渉判定部は、前記表示座標決定部において決定した重合せ順序が、第一の立体視映像コンテンツの上に前記第二の立体視映像コンテンツを上書きするように重ね合わせる順序である場合、前記第二のデプス画像の辺よりも外側に位置する前記第一のデプス画像の画素の値と、前記画素に前記干渉判定関数を適用したときの値とを比較し、前記第一のデプス画像の画素の画素値の方が大きければ、干渉が生じていると判定するので、干渉が生じているのかどうかを判定することができる。
【００１５】
また、前記干渉解消処理部は、前記第二の立体視コンテンツの水平方向の端部から外側にかけて生成する装飾画像の前記水平方向の幅を決める装飾幅計算手段を備えるので、適切な幅の装飾画像を生成することができる。
また、前記装飾幅計算手段は、前記第一の立体視映像コンテンツと隣接する側における前記第二の立体視映像コンテンツの辺と前記第一の立体視映像コンテンツの撮影点の座標を含む平面よりも前記撮影点側に結像する前記第一の立体視映像コンテンツのピクセル幅を装飾の幅とすることにより、複数の立体視映像コンテンツを重ね合わせて再生表示する際に、重なりが生じている部分の境界付近の違和感を低減する装飾画像の幅を適切に決めることが可能となる。
【００１６】
また、前記装飾手段は、奥に知覚される側ほど間隔が狭くなるように構成されたパターン画像により装飾を施すことを特徴とすることにより装飾画像の立体感を得やすくし、より自然な立体視が可能となる。
また、前記装飾手段は、装飾の上部から下部に行くに従い漸次的に明るくなるように装飾を施すことを特徴とすることにより装飾画像の立体感を得やすくし、より自然な立体視が可能となる。
【００１７】
また、前記装飾手段は、前記装飾幅計算手段により決定された装飾幅に応じて、装飾方法を切り替えることにより干渉の度合いに応じた最適な装飾を行うことが可能となる。
また、本発明によれば、前記第一の立体視映像コンテンツ、前記第二の立体視映像コンテンツの少なくとも一方がビデオ映像である場合、前記干渉判断手段は、前記ビデオ映像の所定の間隔毎に干渉判定を行い前記装飾幅計算手段は、前記ビデオ映像の所定の間隔毎に装飾幅の計算を行うことにより、奥行きの干渉を引き起こすことなく動画と静止画の重ね合わせ、動画同士を重ね合わせることが可能となる。
【図面の簡単な説明】
【００１８】
【図１】本発明の実施の形態１におけるシステム図
【図２】本発明の実施の形態１における再生装置の内部構成を示す図
【図３】本発明の実施の形態１における入力画像の一例を示す図
【図４】本発明の実施の形態１における画像重ね合わせ処理のフローチャート
【図５】本発明の実施の形態１におけるデプス画像生成方法を示す図
【図６】本発明の実施の形態１における色画像、デプス画像の一例を示す図
【図７】本発明の実施の形態１における２枚の画像の重ね合わせの一例を示す図
【図８】本発明の実施の形態１における干渉解消判定、干渉解消処理のフローチャートを示す図
【図９】本発明の実施の形態１における干渉判定関数の一例を示す図
【図１０】本発明の実施の形態１における色画像の干渉解消処理の一例を示す図
【図１１】本発明の実施の形態１におけるデプス画像の干渉解消処理の一例を示す図
【図１２】本発明の実施の形態１における干渉解消後の色画像、デプス画像の一例を示す図
【図１３】本発明の実施の形態１における３枚以上の写真の重ね合わせ時に発生する干渉の一例を示す図
【図１４】本発明の実施の形態１における装飾部の一例を示す図
【図１５】本発明の実施の形態２におけるシステム図
【図１６】本発明の実施の形態２における再生装置の内部構成を示す図
【図１７】本発明の実施の形態３における再生装置の内部構成を示す図
【図１８】従来の発明における立体映像重ね合わせ時の干渉解消方法を示す図
【発明を実施するための形態】
【００１９】
以下本発明の実施の形態について、図面を参照しながら説明する。
（実施の形態１）
まず始めに、本発明にかかる立体視映像再生装置の実施行為のうち、使用行為についての形態を説明する。図１は、本発明に係る再生装置の使用行為についての形態の一例を示す図である。図１において、再生装置１０１は、本発明に係る再生装置の一例である。
【００２０】
この再生装置１０１は、例えば、リモコン１０２、立体視可能な表示装置の一例である、２つの視点を同時に表示可能なステレオテレビ１０３により形成されるホームシアターシステムに、立体視映像コンテンツを供給するという用途に供される。また、リムーバブルメディア１０４に記録された立体視映像を視聴することができる。
次に本発明に係る再生装置１０１の構成に関して説明をする。図２は再生装置１０１の内部構成の一例を示すブロック図である。再生装置１０１は、典型的には立体視映像読み取り部２０１、デプス画像生成部２０２、表示座標決定部２０３、干渉判定部２０４、干渉解消処理部２０５、画像合成部２０６、視点画像生成部２０７、映像外部出力部２０８を備える。
【００２１】
立体視映像読み取り部２０１は、再生装置１０１が備えるスロット（図示せず）に挿入されたＳＤカード等のリムーバブルメディアに記録された立体視映像コンテンツを読み出すよう構成されている。ここで、立体視映像コンテンツとして、例えば静止画像、または動画像の立体視映像コンテンツがあるが、本実施の形態では、立体視映像コンテンツとして、静止画像（たとえば写真）を例に説明をする。
【００２２】
本実施の形態において、リムーバブルメディアの一例としてＳＤカードなどの半導体メモリ用いて説明をするが、これに限定をされる必要は必ずしもなく、例えば可搬性のあるハードディスク、光ディスクがリムーバブルディスクであっても構わない。この場合、スロット（図示せず）以外に光ディスクに記録された情報を読み取るドライブ装置（図示せず）、ハードディスクと本実施の形態の再生装置とを接続する有線／無線の接続手段（図示せず）が必要となる。
【００２３】
立体視映像コンテンツは、立体視に必要な複数の視点画像を格納したデータのことであり、以降の説明では、立体視映像コンテンツとは同じ被写体を左目視点から撮影した画像（左目画像）と右目視点から撮影した画像（右目画像）のペアである。
ここでは説明を簡単にするため、立体視映像読み取り部２０１は、例えば図３に示す写真１および写真２の２組の左右画像ペアを読み取った場合を例に説明を行う。立体視映像コンテンツのデータ形式は、左右各視点の画像をＪＰＥＧ、ＰＮＧなどの任意のフォーマットの画像ファイルのペアとして扱ってもよいし、ＭＰＯ（Ｍｕｌｔｉ−Ｐｉｃｔｕｒｅ Ｆｏｒｍａｔ）などのファイル形式であっても構わない。ＭＰＯはカメラ映像機器工業会規格で規定された複数画像を単一のファイルに格納するためのファイルフォーマットである。
【００２４】
図２を参照して、デプス画像生成部２０２は、立体視映像読み取り部２０１が読み取った左右画像ペアを入力として受け取り、色画像とデプス画像を生成する処理部である。
ここで、色画像はある視点から被写体を撮影した画像に相当し、立体視映像読み取り部２０１が読み込んだ左右画像ペアの左目画像、右目画像のどちらか一方を表す。デプス画像は撮影位置から被写体の遠近距離に応じて画素値が割り当てられた画像で、本実施の形態では、画素値が２５５の場合が撮影位置から最も近い位置に画像内の被写体が存在し、画素値が０の場合が撮影位置から最も遠い位置に画像内の被写体が存在するものとする。
【００２５】
本実施の形態において、デプス画像の画素に割り当てる画素値は、一例であって、撮影位置から最も遠い位置の画素値を０、撮影位置から最も近い位置の画素値を２５５とする必要は必ずしもなく、撮影位置から被写体までの距離を相対的な数値で示せればよい。
以降では、デプス画像に記録された画素値のことを、デプス値と呼ぶ。デプス画像生成部２０２の詳細な動作は後述する。
【００２６】
表示座標決定部２０３は、写真１、写真２を重ねて立体視表示する際の写真１、写真２それぞれのｘ座標、ｙ座標および、各写真のＺオーダーを決定する。本実施の形態ではx座標は視聴者からみて水平（または左右）方向の座標、ｙ座標は視聴者からみて垂直（上下）方向の座標で、原点（画面上の左下位置）からのピクセル数で表す。Ｚオーダーはどちらの写真を視聴者から見て手前側に見せるかを現す数値である。本実施の形態においては、視聴者から見て手前側に見せる写真のＺオーダーにより小さい数値を割り当てる例を用いて説明をするので、Ｚオーダーが小さい画像が手前に表示されるが、これに限定をされる必要はなく、例えば、視聴者から見て手前側に見せる写真のＺオーダーにより大きい数値を割り当てるようにすれば、Ｚオーダーが大きい画像が手前に表示されることになる。
【００２７】
干渉判定部２０４は、デプス画像生成部２０２で生成された写真１、写真２のそれぞれの色画像、デプス画像と、表示座標決定部２０３が決定した写真１、写真２のｘ座標、y座標、Ｚオーダーを入力として受け取り、奥行きの干渉が発生しているか否か（奥側に表示すべき画像の奥行きが手前側に表示すべき画像より手前になっているか否か）を判定し、干渉解消に必要な装飾部の幅を決定する処理部である。判定処理および装飾幅決定の詳細な手順については後述する。
【００２８】
干渉解消処理部２０５は、干渉判定部２０４が決定した装飾幅に基づき、写真１、写真２の色画像、デプス画像を加工することにより、干渉を解消する処理部である。加工の詳細な手順については後述する。
画像合成部２０６は、表示座標決定部２０３が決定したｘ座標、ｙ座標、Ｚオーダーに従い、写真１および写真２の色画像、デプス画像をそれぞれ重ね合わせる処理をする。写真１、写真２の表示領域が重複する場合には、Ｚオーダーが小さい方の画像の画素を合成後の画素として採用する。
【００２９】
視点画像生成部２０７は、画像合成部２０６で生成された重ね合わせ後の色画像（左目画像）とデプス画像から、右目画像を生成し、左右画像ペアを生成する処理部である。
映像外部出力部２０８は、視点画像生成部２０７により生成された左右画像ペアを外部機器へ出力する処理部である。外部機器との通信は好適にはＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）などの映像・音声入出力インターフェースでされる。また、ＨＤＭＩを使って伝送されるステレオ画像データのデータ形式には、サイドバイサイド形式、フレームシーケンシャル形式、チェッカーパターン形式などの形式が用いられる。映像外部出力部２０７は出力データ形式にあわせ、視点画像生成部２０７が生成した左右画像ペアのデータを変形する処理も行う。
【００３０】
次に、本発明に係る再生装置１０１について説明を行う。図４に立体写真を重ね合わせて表示する処理のフローチャートを示す。
まず、立体視映像読み取り部２０１が、再生装置１０１が備えるスロット（図示せず）に挿入されたＳＤカード等のリムーバブルメディアに記録された立体視映像（写真１、写真２）を読み出す（ステップＳ４０１）。
【００３１】
次にデプス画像生成部２０２は、立体視映像読み取り部２０１が読み出した写真１、写真２それぞれのデプス画像を生成する（ステップＳ４０２）。
図５は、左目画像、右目画像からデプス画像を生成する処理の一例を表す図である。本実施の形態では、左目画像を基準として視差画像を生成する構成を例として説明をするが、右目画像を基準にして視差画像を生成する構成としてもよい。
【００３２】
左目画像を基準として視差画像を生成する場合、左目画像の各画素に対応する右目画像の画素が右目用のどこに存在するかを水平方向に探索していく。左目画素に対応する右目画素を検出する方法として、例えば本実施の形態のようにｎ＊ｎのブロック単位でブロック内の画素値の絶対値差が最小になる点を探索する方法がある。左目用の各画素に対応する画素を右目用画像中から検出すると、左目用画像の画素を基準として、検出された対応する右目用画像の画素が何画素分離れているか、および検出される右目用画像の画素は、基準とする左目用画像の画素よりも右側又は左側にあるのかが検出されることになる。基準とする左目用画像の画素よりも右側又は左側にあるのかを極性（つまり、プラス“＋”またはマイナス“−”を用いて表現すると整数値により距離が表現されることになる。この距離に対応する整数値を０〜２５５の値に１対１に対応付ける関数を予め用意しておき、左右の画素間の距離（向きを含む）を、この関数を用いて０〜２５５のいずれかの整数値に変換し、変換した値をデプス画像の画素の画素値としてマップする。この処理を左目用画像の各画素について行うことでデプス画像を生成することができる。
【００３３】
図６は、写真１の左目用画像、写真２の左目用画像をそれぞれ、写真１の色画像、写真２の色画像としたときに、デプス画像生成部２０２により生成された写真１のデプス画像、写真２のデプス画像の一例を示す。
図６の左側上部は写真１（写真１の左目用画像）の撮影時における被写体（被写体１）と撮影点（撮影点１）との位置関係を示す図であり、被写体１を上から見たときの被写体と撮影点１との位置関係を示す図である。左側中央は被写体１を撮影点１から撮影した際の色画像（写真１の左目画像）、左側下部は、写真１の左目用画像、右目用画像を用いてデプス画像生成部２０２により生成された写真１のデプス画像である。
【００３４】
図６の右側も同様に、右側上部は写真２（写真２の左目用画像）の撮影時における被写体（被写体２）と撮影点（撮影点２）との位置関係を示す図であり、被写体２を上から見たときの被写体２と撮影点２との位置関係を示す図である。右側中央は被写体２を撮影点２から撮影した際の色画像（写真２の左目画像）、右側下部は、写真２の左目用画像、右目用画像を用いてデプス画像生成部２０２により生成された写真２のデプス画像である。
【００３５】
図６の上側の図に示すように理解できるように、撮像点１から被写体１を見た方向、撮像点２から被写体２を見た方向を奥行き方向とし、撮影点１の奥行き方向の値、撮影点２の奥行き方向の値を一致させたとき、写真２の方が写真１に比べ奥側にある物体を撮影しているため、得られるデプス画像においても、写真１のデプス画像における被写体の画素値に比べ写真２に対応するデプス画像における被写体の画素値の方が撮影点からより遠い位置にあることを示す値となる。
【００３６】
本実施の形態において、図５に示すようにデプス画像は撮影点から離れるほど、０により近い値（黒色に近い値）の画素値が割り当てられるので、図６に示す例では、写真２に対応するデプス画像における被写体の方が黒に近い色をしている。
図４を参照して、次に、表示座標決定部２０３は、写真１、写真２を表示するｘ座標、ｙ座標、Ｚオーダーを決定する（ステップＳ４０３）。本実施の形態においては、表示座標決定部２０３は、再生装置１０１の使用者によるリモコン１０２の操作に従い、入力された写真１、写真２の表示画面上の位置、写真１および写真２を重ね合わせる順序に関する情報から、写真１、写真２を表示する表示画面上のｘ座標、ｙ座標、写真１および写真２のＺオーダーを決定する。
【００３７】
ここで、図４に示す表示座標決定部２０３において決定されるｘ座標、ｙ座標というのは、例えば表示装置（図示せず）において表示される左目画像の座標である。
図７に、本実施の形態における写真１および写真２の重ね合わせ位置の一例を示す。図７におけるｘ軸、ｙ軸は、ステレオテレビ１０３の表示画面上の表示位置を特定するための座標系である。同図に示すとおり、写真１は左上頂点が（０，ｙ３）、写真２は左上頂点が（ｘ１，ｙ２）の位置に配置され、写真２側が手前に表示される（写真２のＺオーダーが写真１のＺオーダーよりも小さい）ように、リモコン１０２より選択入力されたものとする。
【００３８】
（ｘ１，ｙ１）および（ｘ２，ｙ２）を対角とする矩形領域は、写真１の色画像と写真２の色画像が重ねて再生される領域であり、実際の撮影距離では写真１の被写体の方が写真２の被写体よりも撮影位置に近いにも関わらず、写真２を写真１より優先して表示するため干渉が発生する可能性がある領域である。また、図７は色画像についてのみ示しているが、デプス画像も同様である。
【００３９】
尚、ステップＳ４０３の処理はステップＳ４０１、ステップＳ４０２より前に実施しても構わない。
次に干渉判定部２０４が、表示座標決定部２０３が決定した写真１の色画像、写真２の色画像のｘ座標、ｙ座標、写真１、写真２のＺオーダーから、写真１、写真２が干渉するかどうかの判定および装飾部の幅を決定する（ステップＳ４０４）。
【００４０】
図８は、Ｓ４０４における装飾部の幅の決定方法のアルゴリズムの一例を示したフローチャートである。
図８のフローチャートは、写真１の中央よりも右側に写真２の左端が位置していることを前提にしている。従って、写真１の中央よりも左側に写真２の左端が位置することを表示座標決定部２０３が決定した場合、写真２の移動を促す警告を表示画面に表示させたり、警告音を発生させることが望ましい。
【００４１】
まず、変数ｗｉｄｔｈ１、ｙｉをそれぞれ０、ｙ１で初期化する（ステップＳ８０１）。
次に、変数ｘｉをｘ２／２で初期化する（ステップＳ８０２）。
ｘ２は写真１の右端のｘ座標に相当する。ｘ２／２は写真１における中央のｘ座標であり、写真１の撮影点のｘ軸方向の位置に相当する。
【００４２】
次に、ｙ＝ｙ１における干渉判定関数ｆ（ｘ）を求める（ステップＳ８０３）。干渉判定関数は、複数の立体写真を重ねた時に、見かけ上奥に配置する写真の被写体の奥行きが、見かけ上手前の写真の被写体よりも手前の奥行き値を持つため、奥に配置される写真によって手前に配置する写真が隠される干渉が発生する境界線を表す関数である。
ｙ＝ｙ１における干渉判定関数の求め方を、図９を用いて説明する。図９は、表示座標決定部２０３が決定した写真１の色画像、写真２の色画像を配置した位置に写真１のデプス画像、写真２のデプス画像の配置した場合における相対的な位置関係を示す図である。
【００４３】
本実施の形態では、写真１の上に写真２を重ね合わせるものを例に説明をする。この例では、写真１と写真２とが重なり合う部分は、写真２の方が優先して表示されることを意味する。
図９においてｘ軸は、表示画面の水平方向の位置、ｙ軸は表示画面の垂直方向の位置である。図９において、ｚ軸は表示画面と垂直な方向の位置を示し、表示画面からの飛び出す度合い、表示画面から引っ込む度合いといった奥行きを数値で示すものであり、図５、図６で説明をしたように０〜２５５の数値で示されている。より具体的には、ｘ軸、ｙ軸によって特定される位置における画素の値である。
【００４４】
図９の上側の図において、（０，ｙ１）は写真１の左下頂点の座標、（０，ｙ３）は写真１の右上頂点の座標、（ｘ２，ｙ１）は写真１の右下頂点の座標、（ｘ２，ｙ３）は写真１の右上頂点の座標、（ｘ１，０）は写真２の左下頂点の座標、（ｘ１，ｙ２）は写真２の左上頂点の座標、（ｘ３，０）は写真２の右下頂点の座標、（ｘ３，ｙ２）は写真２の右上頂点の座標である。
【００４５】
図９の下側は、ｙ＝ｙ１に固定したときの、０≦ｘ≦ｘ３までの画素の値を示すものである。つまり、写真１のデプス画像、写真２のデプス画像を重ねた時のｙ＝ｙ１としたときのｘ−ｚ平面を示したものであり、各デプス画像の画素値を実線でプロットしてある。点Ａを写真１の撮影点（ｘ２／２，（ｙ３−ｙ１）／２，２５５）をｘ−ｚ平面に投影した位置（ｘ２／２，２５５）、点Ｂを写真２のｙ＝ｙ１における左端の画素（ｘ１，０）とした時のＡＢを結ぶ直線がｙ＝ｙ１における干渉判定関数である。
【００４６】
一般に、写真の水平方向の両端には被写体から十分離れた遠方の背景が映っている場合が多い。このような場合、Ｚオーダーで奥に配置される写真（本実施の形態では写真１）に隣接する側で、Ｚオーダーで手前に位置する写真（本実施の形態では写真２）におけるデプス画像の垂直方向の辺（ｙ軸方向の辺）はｘｙｚ空間上ではｙ軸方向と平行な直線となる。
【００４７】
このような場合、干渉判定関数ｆ（ｘ）は、例えば、Ｚオーダーで奥に配置される写真（本実施の形態では写真１）の撮影点と、上述したＺオーダーで手前に位置する写真（本実施の形態では写真２）におけるデプス画像の垂直方向の辺（ｙ軸方向の辺）を含む平面をｙ＝ｙｉ上（ｉはｙ１〜ｙ２までの値）のｘ−ｚ平面に投影したときの直線で示されることになる。
【００４８】
図８を参照して、ステップＳ８０４で、テンポラリ変数ｚ１およびｚ２を計算する。ｚ１は写真１のデプス画像の（ｘｉ，ｙｉ）における画素値であり、ｚ２は干渉判定関数ｆ（ｘ）のｘ＝ｘｉにおける値である。次に、ｚ１とｚ２の値を比較し（ステップＳ８０５）、ｚ１＞ｚ２即ち写真１のデプス画像の（ｘｉ，ｙｉ）における画素値が干渉判定関数の値よりも大きい、つまり、より手前（より撮影点側）に位置するような場合には、写真２の左端座標ｘ１とｘｉの差分を変数ｗに格納する（ステップＳ８０６）。
【００４９】
次に、変数ｗと変数ｗｉｄｔｈ１の値を比較し（ステップＳ８０７）、ｗ＞ｗｉｄｔｈ１の場合はｗｉｄｔｈ１の値をｗで更新する（ステップＳ８０８）。ステップＳ８０５でｚ１＜ｚ２と判定されなかった場合には、ステップＳ８０６〜ステップＳ８０８の実行はスキップし、ステップＳ８０９を実行する。ステップＳ８０９ではｘｉの値を１増加させる（ステップＳ８０９）。ｘｉ＜ｘ２の間、ステップＳ８０４〜ステップＳ８０９の実行を繰り返す（ステップＳ８１０）。ステップＳ８１１ではｙｉの値を１増加させる（ステップＳ８１１）。ｙｉ＜ｙ２の間、ステップＳ８０２〜ステップＳ８１１の実行を繰り返す（ステップＳ８１２）。
【００５０】
図４を参照して、ステップＳ４０４において干渉があると判定された場合、即ち写真２に付与する装飾部の大きさ（ｗｉｄｔｈ１）が１ピクセルより大きいと判定された場合には、写真２に装飾を施す（ステップＳ４０５）。
図１０に色画像の装飾例、図１１デプス画像の装飾例をそれぞれ示す。色画像では、装飾は（ｘ１−ｗｉｄｔｈ１，ｙ２）と（ｘ１，ｙ１）を対角とする領域を単色で塗りつぶしてある。デプス画像では、（ｘ１−ｗｉｄｔｈ１，ｙ２）と（ｘ１，ｙ１）を対角とする領域を、ｘ＝ｘ１−ｗｉｄｔｈ１の列は写真１のデプス画像の列ｘ＝ｘ１−ｗｉｄｔｈ１における画素の中の最小値、ｘ＝ｘ１の列は写真２のデプス画像の列ｘ＝ｘ２における画素内の最大値とし、両者の間の画素は奥行きが連続的に変化するように塗りつぶしてある。
【００５１】
尚、同図に示す装飾領域は干渉が発生した場合において、図４のアルゴリズムを適用して算出される最低限の領域であり、これより広い装飾を施しても問題ない。例えば、写真２の上側、右側、下側などに、図１０、図１１と同じ幅の装飾を施しても構わない。
図４を参照して、ステップＳ４０４において干渉がないと判定された場合には、ステップＳ４０５は実行せずにステップS４０６を実行する。ステップS４０６では、画像合成部２０６は、表示座標決定部２０３が決定したｘ座標、ｙ座標に従い写真１、写真２の色画像、デプス画像をそれぞれ重ね合わせる処理をする。図１２に装飾をつけて重ね合わせた後の色画像、デプス画像の例を示す。点１２０１および点１２０２の座標は図７における（ｘ１，ｙ２）に相当する。
【００５２】
次に、視点画像生成部２０７が写真１、写真２を合成したステレオ画像ペアを生成する（ステップＳ４０７）。色画像とデプス画像からのステレオ画像の生成は、一般にＤＩＢＲ（Ｄｅｐｔｈ Ｉｍａｇｅ ｂａｓｅｄ Ｒｅｎｄｅｒｒｉｎｇ）と呼ばれる手法である。ＤＩＢＲでは、元画像の色画像のあるピクセルを、デプス画像に従い水平（または横）方向へシフトさせることにより新しい視点の画素を生成する。
【００５３】
例えば色画像の画素（ｘｉ，ｙｉ）のシフト量に対応する値がデプス画像の画素（ｘｉ，ｙｉ）の画素値であるとする。この場合、まず、色画像の画素（ｘｉ，ｙｉ）に対応するデプス画像の画素（ｘｉ，ｙｉ）の画素値（０〜２５５のいずれか）を読み取り、これに対応する画素間の距離に変換する。図５の説明において説明したように、デプス画像の画素値（０〜２５５のいずれかの値）と画素間の距離（向き（つまり極性）を含む）とを１対１に対応ける関数を利用すればよい。例えば、元画像における色画像の（ｘｉ，ｙｉ）の画素値のコピー先は、元画像のデプス画像の座標（ｘｉ，ｙｉ）における画素値から算出される距離が３であった場合、視点画像の座標（ｘｉ＋３，ｙｉ）の画素へとコピーされる。このようなシフト処理を色画像の各画素について行うことで新しい視点の画像を生成する。
【００５４】
この色画像を新たな左目用画像、生成される視点画像を新たな右目用画像として用いる。
写真１、写真２との間に干渉が生じている場合には、図１０、図１１に説明をしたように色画像、デプス画像に装飾が施されるので、新たな左目用画像、新たな右目用画像における写真１と写真２との間の干渉が生じている部分は装飾が施された画像となっている。
【００５５】
最後に、映像外部出力部２０８が、視点映像生成部２０７が生成したステレオ画像ペア（つまり、色画像を新たな左目用画像、生成される視点画像を新たな右目用画像とする画像ペア）を外部機器へ出力する（ステップＳ４０８）。映像外部出力部２０８は、出力に先立ち、視点映像生成部２０７が生成したステレオ画像ペアをサイドバイサイド形式、フレームシーケンシャル形式、チェッカーパターン形式などの形式に変換してもよい。
【００５６】
以上のように構成することにより、複数の立体視コンテンツを重ねて表示する際に、各立体視映像コンテンツの立体感を保ちつつ、立体視表示する複数のコンテンツ間で重なりが生じている部分について、手前に表示されるコンテンツよりも奥に表示されるコンテンツを優先して表示するような場合、コンテンツの境界に違和感を緩和する装飾部を作成して表示するため、干渉に起因する違和感を低減ことが可能となる。
【００５７】
尚、本実施の形態では立体視映像読み取り部２０１はＳＤカード等のリムーバブルメディアに記録された立体視映像コンテンツを読み出すよう構成したが、再生装置１０１が備えるＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記憶装置（図示せず）に記憶された立体視映像を読み出すように構成してもよい。
【００５８】
また、立体視映像読み取り部２０１は、再生装置１０１が備えるＵＳＢインターフェース（図示せず）を通じて接続されたフラッシュメモリドライブ、携帯電話、デジタルカメラ等の電子機器に記録された立体視映像コンテンツを読み出すよう構成してもよい。
また、立体視映像読み取り部２０１は、立体映像再生装置１０１が備えるＤＶＤドライブ、ＢＤドライブ（図示せず）に挿入されたＤＶＤ、ＢＤ−ＲＯＭ等の光ディスクに記録された立体視映像コンテンツを読み出すよう構成してもよい。
【００５９】
また、立体視映像読み取り部２０１は、再生装置１０１が備える有線ＬＡＮまたは無線ＬＡＮネットワークインターフェース（図示せず）を通じてネットワーク接続された外部サーバから立体視映像コンテンツをダウンロードするように構成してもよい。この場合、立体視映像コンテンツのダウンロードはＨＴＴＰ（Ｈｙｐｅｒｔｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）、ＦＴＰ（Ｆｉｌｅ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）などの公知のプロトコルを用いて実現することができる。
【００６０】
また、立体視映像読み取り部２０１は、再生装置１０１が備えるｂｌｕｅｔｏｏｔｈインターフェース（図示せず）を通じてネットワーク接続された外部サーバから立体視映像コンテンツをダウンロードするように構成してもよい。この場合、立体視映像コンテンツのダウンロードはＦＴＰ（Ｆｉｌｅ Ｔｒａｎｓｆｅｒ Ｐｒｏｆｉｌｅ）、ＢＩＰ（Ｂａｓｉｃ Ｉｍａｇｉｎｇ Ｐｒｏｆｉｌｅ）などの公知のプロファイルを用いて実現することができる。
【００６１】
尚、本実施の形態では立体視映像読み取り部２０１はステレオ画像のペアを読み込むものとしたが、立体視映像コンテンツの形態はステレオ画像ペアに限るものではなく、例えば色画像とデプス画像のペアであってもよい。この場合、図２におけるデプス画像生成部は不要になる。
尚、図４に示すフローチャートのうち、特にステップＳ４０４、ステップＳ４０５は、ソフトウェアでの実現以外に、ＬＳＩとして実現してもよい。こうすることにより、干渉解消後の画像生成に必要な処理を高速化することが可能になる。
【００６２】
尚、本実施の形態では写真１側を左奥側、写真２を右手前側に配置する例で説明を行ったが、写真２が左手前側、写真１が右奥側であっても、本発明は同様に実施できる。
また、３枚以上の写真を重ね合わせる場合であっても、本発明は同様に実施できる。
図１３に３枚の写真を重ねて表示する例（ａ）（ｂ）を示す。それぞれの例において、干渉１、干渉２の２つの領域で干渉が発生している。複数の干渉が発生し、それぞれの装飾部のサイズが変わる場合、干渉箇所毎に計算した装飾部サイズの中の最大値を、全ての装飾部のサイズとしてもよい。装飾部のサイズの違いは見かけ上の奥行きの違いとして知覚されるため、このように異なる干渉部における装飾サイズを統一することにより、装飾部の見かけ上の奥行き感が均一になり、違和感を軽減することが可能になる。
【００６３】
尚、本実施の形態では図１０に示す色画像の装飾方法を単色で塗りつぶすとして説明したが、立体視の心理的要因を利用して特定の色、パターンで塗りつぶすよう構成してもよい。立体視の心理的要因は人間の生活の中で得られる経験的な知識に基づくもので、様々な暗黙の仮定のもとに画像を解析することによって立体感を得ると言われている。こうした仮定に添う形で装飾部を塗ることで、装飾部の立体感を強調し、視聴者が立体感を感じやすくする効果がある。
【００６４】
例えば、視界の上方に一つの光源が存在するという暗黙の仮定を用いて奥行きを感じると言われている。これを利用し、例えば図１４の（ａ）のように上側につける装飾部を暗く、下側につける装飾部を明るくし、装飾部に陰影をつけることで装飾部の立体感を強調できる。
また、例えば、物体の表面に模様がある場合その模様のきめは均一であるという暗黙の仮定を用いて奥行きを感じると言われている。これを利用し、例えば図１４の（ｂ）のように手前ほど模様のきめが粗く、奥に行くほど模様のきめが細かくなるようにすることで装飾部の立体感を強調できる。
【００６５】
また、装飾部の大きさによって塗り分け方を変化させるように構成してもよい。このようにすることにより、装飾部の大きさに応じて最適な装飾を施すことが可能となる。
尚、本実施の形態では、写真１と写真２は横方向、縦方向に重なっているとして説明をしたが、必ずしも重なっている必要はない。例えば、写真１、写真２が横方向にちょうど並んでいる場合であっても、写真１が写真２より奥行き方向で大きく手前に結像するように表示される場合には、写真１の被写体が飛び出して見えることにより干渉が発生することがある。
【００６６】
また、図８に示すフローチャートでは、写真１の中央よりも右側に写真２の左端が位置していることを前提にしているが、写真１の中央よりも右側に写真２の左端が位置した場合には、例えば点Ａとして原点（０，０）を用いて処理をすること、図８で説明したフローチャートのＳ８０２において、初期化するときの初期値を０とすること、およびＳ８１０において、０≦ｘｉ＜（ｘ２／２）の間、ステップＳ８０４〜ステップＳ８０９の実行を繰り返すようにすれば、写真１の中央よりも右側に写真２の左端が位置している場合のおいても装飾処理をおこなうことができる。
【００６７】
（実施の形態２）
実施の形態１では、再生装置外部の立体視対応ディスプレイに映像出力する例を説明したが、実施の形態２では再生装置自身が立体視対応ディスプレイを備える場合について説明をする。尚、実施の形態２では前述の実施の形態１と同様の部分は詳細な説明を省略し、実施の形態１との変更点のみを記載している。記載していない部分は実施の形態１と同様である。
【００６８】
図１５は、本発明に係る再生装置の使用行為についての形態の一例を示す図である。図１において、本発明に係る再生装置は、再生装置１５０１である。再生装置１５０１の具体的な例としては、立体視機能を備えたスマートフォン、タブレット型コンピュータ、液晶ＴＶ、プラズマＴＶなどが考えられる。以下の説明では、再生装置１５０１は２視点を同時に表示可能な立体視ディスプレイを備えるものとする。
【００６９】
図１６に再生装置１５０１の内部構成を示す。再生装置１５０１は、典型的には立体視映像読み取り部１６０１、デプス画像生成部１６０２、表示座標決定部１６０３、干渉判定部１６０４、干渉解消処理部１６０５、画像合成部１６０６、視点画像生成部１６０７、映像出力部１６０８から構成される。立体視映像読み取り部１６０１〜視点画像生成部１６０７は、図２における立体視映像読み取り部２０１〜視点画像生成部２０７と同様であるため詳細な説明を省略する。
【００７０】
映像出力部１６０８は、視点画像生成部１６０７により生成された左目画像および右目画像を、利用者の左目および右目へそれぞれ見せるディスプレイデバイスである。
視点画像生成部１６０７の実現方法には様々な方法が考えられる。例えば、よく使われる方式の一つにシャッターメガネ（図示せず）を利用した方式がある。
この方式では、視聴者の左目と右目の視野を、メガネによって交互に高速にふさぎ、このメガネの動作と同期してディスプレイの表示画像も左目用・右目用と高速で更新することによって、結果的にディスプレイで表示される左目用の画像はシャッターメガネにより左目だけが見え、逆に右目用の画像は右目だけが見える仕組みを実現できる。また、別の方法としてはレンチキュラーレンズを用いる方法がある。レンチキュラーレンズは蒲鉾状のレンズを横方向に並べたもので、ディスプレイから発せられる光を、表示画像の画素単位で屈折させることにより、左右の眼に異なる絵を見せることができる。
【００７１】
以上のように構成することにより、再生装置自身が立体視対応ディスプレイを備える場合であっても、複数の立体視コンテンツを重ねて再生する際に、各立体視映像コンテンツの立体感を保ちつつ、奥行きの干渉を回避することが可能となる。
尚、本実施の形態では、再生装置１５０１は視点数が２であるとして説明を行ったが、視点数が３つ以上の多視点ディスプレイであっても構わない。多視点ディスプレイを用いる場合、視点の配置によって２つのケースが考えられる。
【００７２】
一つは左右方向にのみ視差をもち、上下方向の視差がない場合である。この場合、視点画像生成部１６０７は３つ以上の視点を生成し、映像出力部１６０８が各視点の絵をそれぞれの視聴位置から正しく見えるように構成すればよい。こうすることにより、干渉解消のための装飾部分も、視聴位置に応じた立体映像を見ることができるため、より自然な立体感を得ることができる。
【００７３】
多視点ディスプレイを用いる場合のもう一つのケースは上下方向の視差を持つ場合である。この場合、図４に示すステップＳ４０４は、写真１写真２をｚ軸中心に９０度回転させてから計算することで、縦方向の干渉発生の有無を判定することが可能になる。同様にステップＳ４０５の処理は、写真１写真２をｚ軸中心に９０度回転させてから計算することで、縦方向に必要な装飾部のサイズを求めることが可能になる。このように構成することにより、干渉解消のための装飾部分は、上下方向に視点を移動させた場合であっても、視点位置に応じた立体映像を見ることができるため、より自然な立体感を得ることができる。
【００７４】
（実施の形態３）
実施の形態１、実施の形態２では、重ね合わせて表示する立体視映像コンテンツは静止画、つまり写真１、写真２を重ね合わせたときにおける処理であったが、本実施例では重ね合わせて表示する立体映像コンテンツの少なくとも一方が動画である例について説明する。尚、実施の形態３では前述の実施の形態１〜２と同様の部分は詳細な説明を省略し、実施の形態１〜２との変更点のみを記載している。記載していない部分は実施の形態１〜２と同様である。
【００７５】
図１７は、本実施例における再生装置１０１の内部構造を示す図である。再生装置１０１は、典型的には立体視映像読み取り部１７０１、デプス画像生成部１７０２、表示座標決定部１７０３、干渉判定部１７０４、干渉解消処理部１７０５、画像合成部１７０６、視点画像生成部１７０７、映像外部出力部１７０８、ビデオデコーダ１７０９を備える。表示座標決定部１７０３〜映像外部出力部１７０８は、図２における立体視映像読み取り部２０１〜映像外部出力部２０８と同様であるため詳細な説明を省略する。
【００７６】
立体視映像読み取り部１７０１は立体視動画ストリームを読み込む。立体視動画ストリームは、サイドバイサイド、トップアンドボトムなどの形式で左右視点の映像を各フレームに記録した形式や、右目用のストリームと左目用のストリームが異なるトランスポートストリームファイルとして提供される場合や、右目用のストリームと左目用のストリームが単一のトランスポートストリームファイルに多重化されて提供される形式がある。本実施の形態では立体視映像読み取り部１７０１はサイドバイサイド形式で記録された動画ストリームを読み込むものとして説明をする。
【００７７】
デプス画像生成部１７０２の詳細は後述する。
ビデオデコーダ１７０９は立体視映像読み取り部１７０１が読み込んだビデオストリームをデコードし、フレームを得る。フレームには左目フレーム画像、および右目フレーム画像が含まれる。本実施の形態においては、フレームの左半分が左目フレーム画像、フレームの右半分が右目フレーム画像であるとする。デコードして得られたフレームの左半分、右半分をそれぞれ横方向に２倍に拡大して左目フレーム画像、右目フレーム画像を得るものである。ビデオデコーダ１７０９は、同時に再生する動画の数に比例した数が必要である。例えば、ビデオデコーダ１７０９は、２つの動画の重ね合わせの場合は２つ、１つの動画と静止画を重ねる場合は１つのように、同時に再生する動画の数だけ必要になる。
【００７８】
図４を参照して、本実施の形態における、立体ビデオストリームを重ね合わせて表示する処理のフローチャートを説明する。以下では、図４における写真１および写真２は、立体視映像読み取り部１７０１が読み込んだ立体視動画ストリームを、ビデオデコーダがデコード１７０９することによって得られたフレーム画像と読み替える。
ステップＳ４０１は、立体視映像読み取り部１７０１が読み込んだ２つの立体視動画ストリーム１と立体視動画ストリーム２を、それぞれビデオデコーダ１７０９、１７１０がデコードし、フレーム画像１、フレーム画像２を得る。
【００７９】
ステップＳ４０２は、フレーム画像１、フレーム画像２それぞれからデプス画像を得る。
デプス画像の取得方法には様々な方法が考えられる。
例えば、各フレームにおけるデプス値を実施の形態１と同様の方法でリアルタイムに計算する方法が考えられる。これは、左目用ビデオストリーム、右目用ビデオストリームをデコードすることにより得られたビデオフレームデータを基に計算する方法である。この時、得られたデプス画像をメディア再生時間と関連付けて保存しておき、同じビデオストリームの2回目以降の時にはそれを利用するよう構成してもよい。
【００８０】
また別の方法として、ビデオストリーム側に事前にデプスに関するデータを多重化しておく方法も考えられる。各フレームのデプス画像を事前に求め、デプス画像の時間における変化をビデオストリームに多重化しておくことで実現できる。
この際、デプス画像の時間変化を、映像データのフレーム毎に求めるのではなく、例えばＧＯＰなどの任意の単位ごとでの最大値、最小値を求めても良い。このように構成することにより、ビデオストリームのサイズを小さくする効果や、デコード負荷が下がる効果がある。特に、ビデオストリームの再生を通じてのデプス値の最大値、最小値のみを保存する場合には静止画画像として記録できるため、デコードの負担が大きく軽減される。
【００８１】
ステップＳ４０３〜ステップＳ４０８は実施の形態１と同様であるため詳細な説明を省略する。
以上のように構成することにより、動画と静止画の重ね合わせ、動画同士の重ね合わせの場合においても、干渉を回避することが可能になる。
【産業上の利用可能性】
【００８２】
本発明を構成する再生装置は、
立体視視聴が可能な写真、動画などのコンテンツを重ねて表示する際に、それぞれの立体視コンテンツの立体度を損ねることなく、自然な立体視を実現することが可能になる。特に、写真、動画コンテンツの再生機に携わる民生機器産業において利用できる。
【符号の説明】
【００８３】
１０１ 再生装置
１０２ リモコン
１０３ 出力モニタ
１０４ リムーバブルメディア
２０１ 立体視映像読み取り部
２０２ デプス画像生成部
２０３ 表示座標決定部
２０４ 干渉判定部
２０５ 干渉解消処理部
２０６ 画像合成部
２０７ 視点画像生成部
２０８ 映像外部出力部
【技術分野】
【０００１】
本発明は、立体視画像や立体視ビデオを再生する再生機器または表示する表示機器において、特に複数の立体視画像、立体視ビデオを重ねて表示または再生技術に関する。
【背景技術】
【０００２】
近年、ＢＤレコーダやＢＤプレーヤ等の据え置き機器や、小型ゲーム機、撮像機器や携帯電話等の携帯機器において、両眼視差を用いた立体視表示機能が搭載されつつある。立体視表示方式にはさまざまな方式があるが、両眼視差を用いた立体視表示の基本的な原理は、左目と右目に視差の程度に異なる映像（動画像、静止画像を含む）を見せる仕組みを導入し、その両目間の視差を利用することにより立体的な映像を知覚させる。
【０００３】
また、立体視映像を視聴可能な機器に加えて、立体視写真や立体視ビデオを撮影する機能を持った立体視対応カメラ、コンバージョンレンズ、立体視対応ハンディカム等の機器も普及を始めており、個人で撮影した立体視コンテンツを視聴する環境が普及しつつある。
一方、従来の静止画像の一例である２Ｄ写真においては、多くの２D写真を一覧表示するときに、お互いに重なりあった状態で表示をすることがあった。ここで、重ね合わせて表示するとは、ある２D写真の被写体が別の２D写真の被写体の一部を覆い隠すような状態を指す。
【０００４】
このように、例えば２枚の２D写真を重ね合わせて表示する場合において、重ね合わせた部分においては、見ている方向から手前に位置させようとする２D写真の像を表示し、奥に位置させようとする２D写真は手前に位置させようとする２D写真に覆い隠されるように表示がなされる。
上述の例では２枚の２D写真に見え方に関し説明をしているが、複数の場合であっても、対象となる２枚の２D写真に対し上述の説明を適用すれば、複数の２D写真を重ね合わせて表示させる場合、重ね合わせた部分の像は、その部分において一番手前に位置させようとする２Ｄ写真の像が表示され、奥に位置させようとする２D写真は手前に位置させようとする２D写真に覆い隠されるように表示がなされる。
【０００５】
現実世界においても、複数の写真の一部が重なり合ったとき、重なり合った部分について、鑑賞者が見る方向から手前に位置する写真が見えるので、上述のような表示のさせ方は、現実世界の見え方と同じであるため、利用者は違和感なく表示された複数の２Ｄ写真を見ることができる。
同じように、静止画像の一例である複数の立体視写真を重ねて表示をする場合を考える。立体視写真では各写真がお互いに奥行きを持って表示される。この場合、立体視写真の像の奥行きを考慮することなく、複数の２Ｄ写真のように決められた順序で上書きするように重ね合わせて表示する場合、重ねあわせが生じる部分について、現実世界とか異なる見え方で表示がなされる場合がある。
【０００６】
例えば本体手前に見えるべき像の上に奥に見えるべき像を上書きするように重ねてしまうと、複数の立体視写真の重なり生じている部分について、現実世界と異なる見え方で表示がなされ、非常に見づらくなってしまう。
このような奥に表示する立体視写真の像で手前に表示する写真の像を上書きするように重ね合わせること起因して、現実世界と異なる見え方で表示がなされることを奥行きが干渉する（もしくは単に干渉する）と呼ぶ。
【０００７】
こうした立体視写真の重ね合わせ時に発生する干渉を解消するため、奥行きを操作してから重ね合わせる手法が存在する。例えば特許文献１では、立体視画像と立体視ビデオを重ね合わせる際に、立体視画像、立体視ビデオのそれぞれの奥行きレンジを圧縮することで、干渉が発生しないようにしている。ここで奥行きレンジとは、最も手前に表示される画素と、最も奥に表示される画素の奥行きの差を意味し、奥行きレンジの圧縮とは、奥行きレンジが小さくなるように各画素の奥行きを手前ないし奥へシフトすることを意味する。図１８に特許文献１による奥行きレンジの圧縮の例を示す。奥行きレンジ４４は立体視映像を出力するディスプレイが表示可能な奥行きの範囲である。第１の立体視映像、第２の立体視映像の奥行きレンジを、それぞれ奥行きサブレンジ４１、奥行きサブレンジ４３に収まるように調節を加えてから重畳を行う。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特表２０１０−５０５１７４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、前記従来の構成では、重ねる立体視コンテンツの数を増やすにつれ、各立体視コンテンツの奥行きレンジが小さくなり、結果として十分な立体視効果を得ることができなくなるという課題を有していた。例えば同じ奥行きレンジをもつ１０枚の立体視写真を重ねて表示する場合、重ねた後の1枚あたりの立体視写真の奥行きレンジは重ねる前に比べて１０分の１に減少してしまう。このため、重ねた後の状態では各立体視写真の立体感が乏しくなってしまい、十分な立体視効果を得ることが出来ない。
【００１０】
本発明は、前記従来の課題を解決するもので、各写真の立体度を低減させずに多数の写真を重ね合わせることができる立体視映像再生装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記課題を解決するため本発明は、
第一の立体視映像コンテンツ、および第二の立体視映像コンテンツを読み取る読取り部、
前記第一の立体視映像コンテンツおよび前記第二の立体視映像コンテンツの表示位置、並びに第一の立体視映像コンテンツと前記第二の立体視映像コンテンツとを上書きするように重ね合わせる順序を決める表示座標決定部、
前記第一の立体視映像コンテンツおよび前記第二の立体視映像コンテンツを前記重ね合わせる順序に従って重ね合わせたときであって、前記第一の立体視映像コンテンツの表示領域の一部と前記第二の立体視映像コンテンツの表示領域の一部が重なる場合、干渉が生じているのかどうかを判定する干渉判定部、
前記干渉判定部において、干渉が生じていると判定した場合、上書きする立体視映像コンテンツの表示画像の端部から外側にかけて装飾画像を生成する干渉解消処理部、
前記第一の立体視映像コンテンツと前記第二の立体視映像コンテンツと前記装飾画像とを合成する画像合成部、
を備えることを特徴する。
【発明の効果】
【００１２】
本発明によれば、第一の立体視映像コンテンツ、および第二の立体視映像コンテンツを読み取る読取り部、前記第一の立体視映像コンテンツおよび前記第二の立体視映像コンテンツの表示位置、並びに第一の立体視映像コンテンツと前記第二の立体視映像コンテンツとを上書きするように重ね合わせる順序を決める表示座標決定部、前記第一の立体視映像コンテンツおよび前記第二の立体視映像コンテンツを前記重ね合わせる順序に従って重ね合わせたときであって、前記第一の立体視映像コンテンツの表示領域の一部と前記第二の立体視映像コンテンツの表示領域の一部が重なる場合、干渉が生じているのかどうかを判定する干渉判定部、前記干渉判定部において、干渉が生じていると判定した場合、上書きする立体視映像コンテンツの表示画像の端部から外側にかけて装飾画像を生成する干渉解消処理部、前記第一の立体視映像コンテンツと前記第二の立体視映像コンテンツと前記装飾画像とを合成する画像合成部、とを備えるので、複数の立体視映像コンテンツを重ね合わせて再生表示する際に、各立体視コンテンツの立体感を損なわず、かつ、重なりが生じている部分の境界付近の違和感を装飾画像の表示により低減することが可能となる。
【００１３】
また前記干渉判定部は、第一の立体視映像コンテンツにおける特定の視点からの色画像の各画素に対する奥行きに対応する値を画素値とする第一のデプス画像および第二の立体視映像コンテンツにおける特定の視点からの色画像の各画素に対する奥行きに対応する値を画素値とする第二のデプス画像を、それぞれ前記表示座標決定部において決定した表示位置に前記表示座標決定部において決定した重合せ順序で、上書きするように重ね合わせたとき、前記第一のデプス画像と第二のデプス画像とが重なり合う部分において、上書きされるデプス画像と隣接する上書きするデプス画像の端部である辺に位置する画素と上書きされるデプス画像に対応する立体視コンテンツの撮影点を用いて決められる干渉判定関数と、前記上書きするデプス画像の辺よりも外側に位置する前記上書きされるデプス画像の画素の値を用いて干渉が生じているかどうかを判定するので、干渉が生じているのかどうかを判定することができる。
【００１４】
また、前記干渉判定部は、前記表示座標決定部において決定した重合せ順序が、第一の立体視映像コンテンツの上に前記第二の立体視映像コンテンツを上書きするように重ね合わせる順序である場合、前記第二のデプス画像の辺よりも外側に位置する前記第一のデプス画像の画素の値と、前記画素に前記干渉判定関数を適用したときの値とを比較し、前記第一のデプス画像の画素の画素値の方が大きければ、干渉が生じていると判定するので、干渉が生じているのかどうかを判定することができる。
【００１５】
また、前記干渉解消処理部は、前記第二の立体視コンテンツの水平方向の端部から外側にかけて生成する装飾画像の前記水平方向の幅を決める装飾幅計算手段を備えるので、適切な幅の装飾画像を生成することができる。
また、前記装飾幅計算手段は、前記第一の立体視映像コンテンツと隣接する側における前記第二の立体視映像コンテンツの辺と前記第一の立体視映像コンテンツの撮影点の座標を含む平面よりも前記撮影点側に結像する前記第一の立体視映像コンテンツのピクセル幅を装飾の幅とすることにより、複数の立体視映像コンテンツを重ね合わせて再生表示する際に、重なりが生じている部分の境界付近の違和感を低減する装飾画像の幅を適切に決めることが可能となる。
【００１６】
また、前記装飾手段は、奥に知覚される側ほど間隔が狭くなるように構成されたパターン画像により装飾を施すことを特徴とすることにより装飾画像の立体感を得やすくし、より自然な立体視が可能となる。
また、前記装飾手段は、装飾の上部から下部に行くに従い漸次的に明るくなるように装飾を施すことを特徴とすることにより装飾画像の立体感を得やすくし、より自然な立体視が可能となる。
【００１７】
また、前記装飾手段は、前記装飾幅計算手段により決定された装飾幅に応じて、装飾方法を切り替えることにより干渉の度合いに応じた最適な装飾を行うことが可能となる。
また、本発明によれば、前記第一の立体視映像コンテンツ、前記第二の立体視映像コンテンツの少なくとも一方がビデオ映像である場合、前記干渉判断手段は、前記ビデオ映像の所定の間隔毎に干渉判定を行い前記装飾幅計算手段は、前記ビデオ映像の所定の間隔毎に装飾幅の計算を行うことにより、奥行きの干渉を引き起こすことなく動画と静止画の重ね合わせ、動画同士を重ね合わせることが可能となる。
【図面の簡単な説明】
【００１８】
【図１】本発明の実施の形態１におけるシステム図
【図２】本発明の実施の形態１における再生装置の内部構成を示す図
【図３】本発明の実施の形態１における入力画像の一例を示す図
【図４】本発明の実施の形態１における画像重ね合わせ処理のフローチャート
【図５】本発明の実施の形態１におけるデプス画像生成方法を示す図
【図６】本発明の実施の形態１における色画像、デプス画像の一例を示す図
【図７】本発明の実施の形態１における２枚の画像の重ね合わせの一例を示す図
【図８】本発明の実施の形態１における干渉解消判定、干渉解消処理のフローチャートを示す図
【図９】本発明の実施の形態１における干渉判定関数の一例を示す図
【図１０】本発明の実施の形態１における色画像の干渉解消処理の一例を示す図
【図１１】本発明の実施の形態１におけるデプス画像の干渉解消処理の一例を示す図
【図１２】本発明の実施の形態１における干渉解消後の色画像、デプス画像の一例を示す図
【図１３】本発明の実施の形態１における３枚以上の写真の重ね合わせ時に発生する干渉の一例を示す図
【図１４】本発明の実施の形態１における装飾部の一例を示す図
【図１５】本発明の実施の形態２におけるシステム図
【図１６】本発明の実施の形態２における再生装置の内部構成を示す図
【図１７】本発明の実施の形態３における再生装置の内部構成を示す図
【図１８】従来の発明における立体映像重ね合わせ時の干渉解消方法を示す図
【発明を実施するための形態】
【００１９】
以下本発明の実施の形態について、図面を参照しながら説明する。
（実施の形態１）
まず始めに、本発明にかかる立体視映像再生装置の実施行為のうち、使用行為についての形態を説明する。図１は、本発明に係る再生装置の使用行為についての形態の一例を示す図である。図１において、再生装置１０１は、本発明に係る再生装置の一例である。
【００２０】
この再生装置１０１は、例えば、リモコン１０２、立体視可能な表示装置の一例である、２つの視点を同時に表示可能なステレオテレビ１０３により形成されるホームシアターシステムに、立体視映像コンテンツを供給するという用途に供される。また、リムーバブルメディア１０４に記録された立体視映像を視聴することができる。
次に本発明に係る再生装置１０１の構成に関して説明をする。図２は再生装置１０１の内部構成の一例を示すブロック図である。再生装置１０１は、典型的には立体視映像読み取り部２０１、デプス画像生成部２０２、表示座標決定部２０３、干渉判定部２０４、干渉解消処理部２０５、画像合成部２０６、視点画像生成部２０７、映像外部出力部２０８を備える。
【００２１】
立体視映像読み取り部２０１は、再生装置１０１が備えるスロット（図示せず）に挿入されたＳＤカード等のリムーバブルメディアに記録された立体視映像コンテンツを読み出すよう構成されている。ここで、立体視映像コンテンツとして、例えば静止画像、または動画像の立体視映像コンテンツがあるが、本実施の形態では、立体視映像コンテンツとして、静止画像（たとえば写真）を例に説明をする。
【００２２】
本実施の形態において、リムーバブルメディアの一例としてＳＤカードなどの半導体メモリ用いて説明をするが、これに限定をされる必要は必ずしもなく、例えば可搬性のあるハードディスク、光ディスクがリムーバブルディスクであっても構わない。この場合、スロット（図示せず）以外に光ディスクに記録された情報を読み取るドライブ装置（図示せず）、ハードディスクと本実施の形態の再生装置とを接続する有線／無線の接続手段（図示せず）が必要となる。
【００２３】
立体視映像コンテンツは、立体視に必要な複数の視点画像を格納したデータのことであり、以降の説明では、立体視映像コンテンツとは同じ被写体を左目視点から撮影した画像（左目画像）と右目視点から撮影した画像（右目画像）のペアである。
ここでは説明を簡単にするため、立体視映像読み取り部２０１は、例えば図３に示す写真１および写真２の２組の左右画像ペアを読み取った場合を例に説明を行う。立体視映像コンテンツのデータ形式は、左右各視点の画像をＪＰＥＧ、ＰＮＧなどの任意のフォーマットの画像ファイルのペアとして扱ってもよいし、ＭＰＯ（Ｍｕｌｔｉ−Ｐｉｃｔｕｒｅ Ｆｏｒｍａｔ）などのファイル形式であっても構わない。ＭＰＯはカメラ映像機器工業会規格で規定された複数画像を単一のファイルに格納するためのファイルフォーマットである。
【００２４】
図２を参照して、デプス画像生成部２０２は、立体視映像読み取り部２０１が読み取った左右画像ペアを入力として受け取り、色画像とデプス画像を生成する処理部である。
ここで、色画像はある視点から被写体を撮影した画像に相当し、立体視映像読み取り部２０１が読み込んだ左右画像ペアの左目画像、右目画像のどちらか一方を表す。デプス画像は撮影位置から被写体の遠近距離に応じて画素値が割り当てられた画像で、本実施の形態では、画素値が２５５の場合が撮影位置から最も近い位置に画像内の被写体が存在し、画素値が０の場合が撮影位置から最も遠い位置に画像内の被写体が存在するものとする。
【００２５】
本実施の形態において、デプス画像の画素に割り当てる画素値は、一例であって、撮影位置から最も遠い位置の画素値を０、撮影位置から最も近い位置の画素値を２５５とする必要は必ずしもなく、撮影位置から被写体までの距離を相対的な数値で示せればよい。
以降では、デプス画像に記録された画素値のことを、デプス値と呼ぶ。デプス画像生成部２０２の詳細な動作は後述する。
【００２６】
表示座標決定部２０３は、写真１、写真２を重ねて立体視表示する際の写真１、写真２それぞれのｘ座標、ｙ座標および、各写真のＺオーダーを決定する。本実施の形態ではx座標は視聴者からみて水平（または左右）方向の座標、ｙ座標は視聴者からみて垂直（上下）方向の座標で、原点（画面上の左下位置）からのピクセル数で表す。Ｚオーダーはどちらの写真を視聴者から見て手前側に見せるかを現す数値である。本実施の形態においては、視聴者から見て手前側に見せる写真のＺオーダーにより小さい数値を割り当てる例を用いて説明をするので、Ｚオーダーが小さい画像が手前に表示されるが、これに限定をされる必要はなく、例えば、視聴者から見て手前側に見せる写真のＺオーダーにより大きい数値を割り当てるようにすれば、Ｚオーダーが大きい画像が手前に表示されることになる。
【００２７】
干渉判定部２０４は、デプス画像生成部２０２で生成された写真１、写真２のそれぞれの色画像、デプス画像と、表示座標決定部２０３が決定した写真１、写真２のｘ座標、y座標、Ｚオーダーを入力として受け取り、奥行きの干渉が発生しているか否か（奥側に表示すべき画像の奥行きが手前側に表示すべき画像より手前になっているか否か）を判定し、干渉解消に必要な装飾部の幅を決定する処理部である。判定処理および装飾幅決定の詳細な手順については後述する。
【００２８】
干渉解消処理部２０５は、干渉判定部２０４が決定した装飾幅に基づき、写真１、写真２の色画像、デプス画像を加工することにより、干渉を解消する処理部である。加工の詳細な手順については後述する。
画像合成部２０６は、表示座標決定部２０３が決定したｘ座標、ｙ座標、Ｚオーダーに従い、写真１および写真２の色画像、デプス画像をそれぞれ重ね合わせる処理をする。写真１、写真２の表示領域が重複する場合には、Ｚオーダーが小さい方の画像の画素を合成後の画素として採用する。
【００２９】
視点画像生成部２０７は、画像合成部２０６で生成された重ね合わせ後の色画像（左目画像）とデプス画像から、右目画像を生成し、左右画像ペアを生成する処理部である。
映像外部出力部２０８は、視点画像生成部２０７により生成された左右画像ペアを外部機器へ出力する処理部である。外部機器との通信は好適にはＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）などの映像・音声入出力インターフェースでされる。また、ＨＤＭＩを使って伝送されるステレオ画像データのデータ形式には、サイドバイサイド形式、フレームシーケンシャル形式、チェッカーパターン形式などの形式が用いられる。映像外部出力部２０７は出力データ形式にあわせ、視点画像生成部２０７が生成した左右画像ペアのデータを変形する処理も行う。
【００３０】
次に、本発明に係る再生装置１０１について説明を行う。図４に立体写真を重ね合わせて表示する処理のフローチャートを示す。
まず、立体視映像読み取り部２０１が、再生装置１０１が備えるスロット（図示せず）に挿入されたＳＤカード等のリムーバブルメディアに記録された立体視映像（写真１、写真２）を読み出す（ステップＳ４０１）。
【００３１】
次にデプス画像生成部２０２は、立体視映像読み取り部２０１が読み出した写真１、写真２それぞれのデプス画像を生成する（ステップＳ４０２）。
図５は、左目画像、右目画像からデプス画像を生成する処理の一例を表す図である。本実施の形態では、左目画像を基準として視差画像を生成する構成を例として説明をするが、右目画像を基準にして視差画像を生成する構成としてもよい。
【００３２】
左目画像を基準として視差画像を生成する場合、左目画像の各画素に対応する右目画像の画素が右目用のどこに存在するかを水平方向に探索していく。左目画素に対応する右目画素を検出する方法として、例えば本実施の形態のようにｎ＊ｎのブロック単位でブロック内の画素値の絶対値差が最小になる点を探索する方法がある。左目用の各画素に対応する画素を右目用画像中から検出すると、左目用画像の画素を基準として、検出された対応する右目用画像の画素が何画素分離れているか、および検出される右目用画像の画素は、基準とする左目用画像の画素よりも右側又は左側にあるのかが検出されることになる。基準とする左目用画像の画素よりも右側又は左側にあるのかを極性（つまり、プラス“＋”またはマイナス“−”を用いて表現すると整数値により距離が表現されることになる。この距離に対応する整数値を０〜２５５の値に１対１に対応付ける関数を予め用意しておき、左右の画素間の距離（向きを含む）を、この関数を用いて０〜２５５のいずれかの整数値に変換し、変換した値をデプス画像の画素の画素値としてマップする。この処理を左目用画像の各画素について行うことでデプス画像を生成することができる。
【００３３】
図６は、写真１の左目用画像、写真２の左目用画像をそれぞれ、写真１の色画像、写真２の色画像としたときに、デプス画像生成部２０２により生成された写真１のデプス画像、写真２のデプス画像の一例を示す。
図６の左側上部は写真１（写真１の左目用画像）の撮影時における被写体（被写体１）と撮影点（撮影点１）との位置関係を示す図であり、被写体１を上から見たときの被写体と撮影点１との位置関係を示す図である。左側中央は被写体１を撮影点１から撮影した際の色画像（写真１の左目画像）、左側下部は、写真１の左目用画像、右目用画像を用いてデプス画像生成部２０２により生成された写真１のデプス画像である。
【００３４】
図６の右側も同様に、右側上部は写真２（写真２の左目用画像）の撮影時における被写体（被写体２）と撮影点（撮影点２）との位置関係を示す図であり、被写体２を上から見たときの被写体２と撮影点２との位置関係を示す図である。右側中央は被写体２を撮影点２から撮影した際の色画像（写真２の左目画像）、右側下部は、写真２の左目用画像、右目用画像を用いてデプス画像生成部２０２により生成された写真２のデプス画像である。
【００３５】
図６の上側の図に示すように理解できるように、撮像点１から被写体１を見た方向、撮像点２から被写体２を見た方向を奥行き方向とし、撮影点１の奥行き方向の値、撮影点２の奥行き方向の値を一致させたとき、写真２の方が写真１に比べ奥側にある物体を撮影しているため、得られるデプス画像においても、写真１のデプス画像における被写体の画素値に比べ写真２に対応するデプス画像における被写体の画素値の方が撮影点からより遠い位置にあることを示す値となる。
【００３６】
本実施の形態において、図５に示すようにデプス画像は撮影点から離れるほど、０により近い値（黒色に近い値）の画素値が割り当てられるので、図６に示す例では、写真２に対応するデプス画像における被写体の方が黒に近い色をしている。
図４を参照して、次に、表示座標決定部２０３は、写真１、写真２を表示するｘ座標、ｙ座標、Ｚオーダーを決定する（ステップＳ４０３）。本実施の形態においては、表示座標決定部２０３は、再生装置１０１の使用者によるリモコン１０２の操作に従い、入力された写真１、写真２の表示画面上の位置、写真１および写真２を重ね合わせる順序に関する情報から、写真１、写真２を表示する表示画面上のｘ座標、ｙ座標、写真１および写真２のＺオーダーを決定する。
【００３７】
ここで、図４に示す表示座標決定部２０３において決定されるｘ座標、ｙ座標というのは、例えば表示装置（図示せず）において表示される左目画像の座標である。
図７に、本実施の形態における写真１および写真２の重ね合わせ位置の一例を示す。図７におけるｘ軸、ｙ軸は、ステレオテレビ１０３の表示画面上の表示位置を特定するための座標系である。同図に示すとおり、写真１は左上頂点が（０，ｙ３）、写真２は左上頂点が（ｘ１，ｙ２）の位置に配置され、写真２側が手前に表示される（写真２のＺオーダーが写真１のＺオーダーよりも小さい）ように、リモコン１０２より選択入力されたものとする。
【００３８】
（ｘ１，ｙ１）および（ｘ２，ｙ２）を対角とする矩形領域は、写真１の色画像と写真２の色画像が重ねて再生される領域であり、実際の撮影距離では写真１の被写体の方が写真２の被写体よりも撮影位置に近いにも関わらず、写真２を写真１より優先して表示するため干渉が発生する可能性がある領域である。また、図７は色画像についてのみ示しているが、デプス画像も同様である。
【００３９】
尚、ステップＳ４０３の処理はステップＳ４０１、ステップＳ４０２より前に実施しても構わない。
次に干渉判定部２０４が、表示座標決定部２０３が決定した写真１の色画像、写真２の色画像のｘ座標、ｙ座標、写真１、写真２のＺオーダーから、写真１、写真２が干渉するかどうかの判定および装飾部の幅を決定する（ステップＳ４０４）。
【００４０】
図８は、Ｓ４０４における装飾部の幅の決定方法のアルゴリズムの一例を示したフローチャートである。
図８のフローチャートは、写真１の中央よりも右側に写真２の左端が位置していることを前提にしている。従って、写真１の中央よりも左側に写真２の左端が位置することを表示座標決定部２０３が決定した場合、写真２の移動を促す警告を表示画面に表示させたり、警告音を発生させることが望ましい。
【００４１】
まず、変数ｗｉｄｔｈ１、ｙｉをそれぞれ０、ｙ１で初期化する（ステップＳ８０１）。
次に、変数ｘｉをｘ２／２で初期化する（ステップＳ８０２）。
ｘ２は写真１の右端のｘ座標に相当する。ｘ２／２は写真１における中央のｘ座標であり、写真１の撮影点のｘ軸方向の位置に相当する。
【００４２】
次に、ｙ＝ｙ１における干渉判定関数ｆ（ｘ）を求める（ステップＳ８０３）。干渉判定関数は、複数の立体写真を重ねた時に、見かけ上奥に配置する写真の被写体の奥行きが、見かけ上手前の写真の被写体よりも手前の奥行き値を持つため、奥に配置される写真によって手前に配置する写真が隠される干渉が発生する境界線を表す関数である。
ｙ＝ｙ１における干渉判定関数の求め方を、図９を用いて説明する。図９は、表示座標決定部２０３が決定した写真１の色画像、写真２の色画像を配置した位置に写真１のデプス画像、写真２のデプス画像の配置した場合における相対的な位置関係を示す図である。
【００４３】
本実施の形態では、写真１の上に写真２を重ね合わせるものを例に説明をする。この例では、写真１と写真２とが重なり合う部分は、写真２の方が優先して表示されることを意味する。
図９においてｘ軸は、表示画面の水平方向の位置、ｙ軸は表示画面の垂直方向の位置である。図９において、ｚ軸は表示画面と垂直な方向の位置を示し、表示画面からの飛び出す度合い、表示画面から引っ込む度合いといった奥行きを数値で示すものであり、図５、図６で説明をしたように０〜２５５の数値で示されている。より具体的には、ｘ軸、ｙ軸によって特定される位置における画素の値である。
【００４４】
図９の上側の図において、（０，ｙ１）は写真１の左下頂点の座標、（０，ｙ３）は写真１の右上頂点の座標、（ｘ２，ｙ１）は写真１の右下頂点の座標、（ｘ２，ｙ３）は写真１の右上頂点の座標、（ｘ１，０）は写真２の左下頂点の座標、（ｘ１，ｙ２）は写真２の左上頂点の座標、（ｘ３，０）は写真２の右下頂点の座標、（ｘ３，ｙ２）は写真２の右上頂点の座標である。
【００４５】
図９の下側は、ｙ＝ｙ１に固定したときの、０≦ｘ≦ｘ３までの画素の値を示すものである。つまり、写真１のデプス画像、写真２のデプス画像を重ねた時のｙ＝ｙ１としたときのｘ−ｚ平面を示したものであり、各デプス画像の画素値を実線でプロットしてある。点Ａを写真１の撮影点（ｘ２／２，（ｙ３−ｙ１）／２，２５５）をｘ−ｚ平面に投影した位置（ｘ２／２，２５５）、点Ｂを写真２のｙ＝ｙ１における左端の画素（ｘ１，０）とした時のＡＢを結ぶ直線がｙ＝ｙ１における干渉判定関数である。
【００４６】
一般に、写真の水平方向の両端には被写体から十分離れた遠方の背景が映っている場合が多い。このような場合、Ｚオーダーで奥に配置される写真（本実施の形態では写真１）に隣接する側で、Ｚオーダーで手前に位置する写真（本実施の形態では写真２）におけるデプス画像の垂直方向の辺（ｙ軸方向の辺）はｘｙｚ空間上ではｙ軸方向と平行な直線となる。
【００４７】
このような場合、干渉判定関数ｆ（ｘ）は、例えば、Ｚオーダーで奥に配置される写真（本実施の形態では写真１）の撮影点と、上述したＺオーダーで手前に位置する写真（本実施の形態では写真２）におけるデプス画像の垂直方向の辺（ｙ軸方向の辺）を含む平面をｙ＝ｙｉ上（ｉはｙ１〜ｙ２までの値）のｘ−ｚ平面に投影したときの直線で示されることになる。
【００４８】
図８を参照して、ステップＳ８０４で、テンポラリ変数ｚ１およびｚ２を計算する。ｚ１は写真１のデプス画像の（ｘｉ，ｙｉ）における画素値であり、ｚ２は干渉判定関数ｆ（ｘ）のｘ＝ｘｉにおける値である。次に、ｚ１とｚ２の値を比較し（ステップＳ８０５）、ｚ１＞ｚ２即ち写真１のデプス画像の（ｘｉ，ｙｉ）における画素値が干渉判定関数の値よりも大きい、つまり、より手前（より撮影点側）に位置するような場合には、写真２の左端座標ｘ１とｘｉの差分を変数ｗに格納する（ステップＳ８０６）。
【００４９】
次に、変数ｗと変数ｗｉｄｔｈ１の値を比較し（ステップＳ８０７）、ｗ＞ｗｉｄｔｈ１の場合はｗｉｄｔｈ１の値をｗで更新する（ステップＳ８０８）。ステップＳ８０５でｚ１＜ｚ２と判定されなかった場合には、ステップＳ８０６〜ステップＳ８０８の実行はスキップし、ステップＳ８０９を実行する。ステップＳ８０９ではｘｉの値を１増加させる（ステップＳ８０９）。ｘｉ＜ｘ２の間、ステップＳ８０４〜ステップＳ８０９の実行を繰り返す（ステップＳ８１０）。ステップＳ８１１ではｙｉの値を１増加させる（ステップＳ８１１）。ｙｉ＜ｙ２の間、ステップＳ８０２〜ステップＳ８１１の実行を繰り返す（ステップＳ８１２）。
【００５０】
図４を参照して、ステップＳ４０４において干渉があると判定された場合、即ち写真２に付与する装飾部の大きさ（ｗｉｄｔｈ１）が１ピクセルより大きいと判定された場合には、写真２に装飾を施す（ステップＳ４０５）。
図１０に色画像の装飾例、図１１デプス画像の装飾例をそれぞれ示す。色画像では、装飾は（ｘ１−ｗｉｄｔｈ１，ｙ２）と（ｘ１，ｙ１）を対角とする領域を単色で塗りつぶしてある。デプス画像では、（ｘ１−ｗｉｄｔｈ１，ｙ２）と（ｘ１，ｙ１）を対角とする領域を、ｘ＝ｘ１−ｗｉｄｔｈ１の列は写真１のデプス画像の列ｘ＝ｘ１−ｗｉｄｔｈ１における画素の中の最小値、ｘ＝ｘ１の列は写真２のデプス画像の列ｘ＝ｘ２における画素内の最大値とし、両者の間の画素は奥行きが連続的に変化するように塗りつぶしてある。
【００５１】
尚、同図に示す装飾領域は干渉が発生した場合において、図４のアルゴリズムを適用して算出される最低限の領域であり、これより広い装飾を施しても問題ない。例えば、写真２の上側、右側、下側などに、図１０、図１１と同じ幅の装飾を施しても構わない。
図４を参照して、ステップＳ４０４において干渉がないと判定された場合には、ステップＳ４０５は実行せずにステップS４０６を実行する。ステップS４０６では、画像合成部２０６は、表示座標決定部２０３が決定したｘ座標、ｙ座標に従い写真１、写真２の色画像、デプス画像をそれぞれ重ね合わせる処理をする。図１２に装飾をつけて重ね合わせた後の色画像、デプス画像の例を示す。点１２０１および点１２０２の座標は図７における（ｘ１，ｙ２）に相当する。
【００５２】
次に、視点画像生成部２０７が写真１、写真２を合成したステレオ画像ペアを生成する（ステップＳ４０７）。色画像とデプス画像からのステレオ画像の生成は、一般にＤＩＢＲ（Ｄｅｐｔｈ Ｉｍａｇｅ ｂａｓｅｄ Ｒｅｎｄｅｒｒｉｎｇ）と呼ばれる手法である。ＤＩＢＲでは、元画像の色画像のあるピクセルを、デプス画像に従い水平（または横）方向へシフトさせることにより新しい視点の画素を生成する。
【００５３】
例えば色画像の画素（ｘｉ，ｙｉ）のシフト量に対応する値がデプス画像の画素（ｘｉ，ｙｉ）の画素値であるとする。この場合、まず、色画像の画素（ｘｉ，ｙｉ）に対応するデプス画像の画素（ｘｉ，ｙｉ）の画素値（０〜２５５のいずれか）を読み取り、これに対応する画素間の距離に変換する。図５の説明において説明したように、デプス画像の画素値（０〜２５５のいずれかの値）と画素間の距離（向き（つまり極性）を含む）とを１対１に対応ける関数を利用すればよい。例えば、元画像における色画像の（ｘｉ，ｙｉ）の画素値のコピー先は、元画像のデプス画像の座標（ｘｉ，ｙｉ）における画素値から算出される距離が３であった場合、視点画像の座標（ｘｉ＋３，ｙｉ）の画素へとコピーされる。このようなシフト処理を色画像の各画素について行うことで新しい視点の画像を生成する。
【００５４】
この色画像を新たな左目用画像、生成される視点画像を新たな右目用画像として用いる。
写真１、写真２との間に干渉が生じている場合には、図１０、図１１に説明をしたように色画像、デプス画像に装飾が施されるので、新たな左目用画像、新たな右目用画像における写真１と写真２との間の干渉が生じている部分は装飾が施された画像となっている。
【００５５】
最後に、映像外部出力部２０８が、視点映像生成部２０７が生成したステレオ画像ペア（つまり、色画像を新たな左目用画像、生成される視点画像を新たな右目用画像とする画像ペア）を外部機器へ出力する（ステップＳ４０８）。映像外部出力部２０８は、出力に先立ち、視点映像生成部２０７が生成したステレオ画像ペアをサイドバイサイド形式、フレームシーケンシャル形式、チェッカーパターン形式などの形式に変換してもよい。
【００５６】
以上のように構成することにより、複数の立体視コンテンツを重ねて表示する際に、各立体視映像コンテンツの立体感を保ちつつ、立体視表示する複数のコンテンツ間で重なりが生じている部分について、手前に表示されるコンテンツよりも奥に表示されるコンテンツを優先して表示するような場合、コンテンツの境界に違和感を緩和する装飾部を作成して表示するため、干渉に起因する違和感を低減ことが可能となる。
【００５７】
尚、本実施の形態では立体視映像読み取り部２０１はＳＤカード等のリムーバブルメディアに記録された立体視映像コンテンツを読み出すよう構成したが、再生装置１０１が備えるＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記憶装置（図示せず）に記憶された立体視映像を読み出すように構成してもよい。
【００５８】
また、立体視映像読み取り部２０１は、再生装置１０１が備えるＵＳＢインターフェース（図示せず）を通じて接続されたフラッシュメモリドライブ、携帯電話、デジタルカメラ等の電子機器に記録された立体視映像コンテンツを読み出すよう構成してもよい。
また、立体視映像読み取り部２０１は、立体映像再生装置１０１が備えるＤＶＤドライブ、ＢＤドライブ（図示せず）に挿入されたＤＶＤ、ＢＤ−ＲＯＭ等の光ディスクに記録された立体視映像コンテンツを読み出すよう構成してもよい。
【００５９】
また、立体視映像読み取り部２０１は、再生装置１０１が備える有線ＬＡＮまたは無線ＬＡＮネットワークインターフェース（図示せず）を通じてネットワーク接続された外部サーバから立体視映像コンテンツをダウンロードするように構成してもよい。この場合、立体視映像コンテンツのダウンロードはＨＴＴＰ（Ｈｙｐｅｒｔｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）、ＦＴＰ（Ｆｉｌｅ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）などの公知のプロトコルを用いて実現することができる。
【００６０】
また、立体視映像読み取り部２０１は、再生装置１０１が備えるｂｌｕｅｔｏｏｔｈインターフェース（図示せず）を通じてネットワーク接続された外部サーバから立体視映像コンテンツをダウンロードするように構成してもよい。この場合、立体視映像コンテンツのダウンロードはＦＴＰ（Ｆｉｌｅ Ｔｒａｎｓｆｅｒ Ｐｒｏｆｉｌｅ）、ＢＩＰ（Ｂａｓｉｃ Ｉｍａｇｉｎｇ Ｐｒｏｆｉｌｅ）などの公知のプロファイルを用いて実現することができる。
【００６１】
尚、本実施の形態では立体視映像読み取り部２０１はステレオ画像のペアを読み込むものとしたが、立体視映像コンテンツの形態はステレオ画像ペアに限るものではなく、例えば色画像とデプス画像のペアであってもよい。この場合、図２におけるデプス画像生成部は不要になる。
尚、図４に示すフローチャートのうち、特にステップＳ４０４、ステップＳ４０５は、ソフトウェアでの実現以外に、ＬＳＩとして実現してもよい。こうすることにより、干渉解消後の画像生成に必要な処理を高速化することが可能になる。
【００６２】
尚、本実施の形態では写真１側を左奥側、写真２を右手前側に配置する例で説明を行ったが、写真２が左手前側、写真１が右奥側であっても、本発明は同様に実施できる。
また、３枚以上の写真を重ね合わせる場合であっても、本発明は同様に実施できる。
図１３に３枚の写真を重ねて表示する例（ａ）（ｂ）を示す。それぞれの例において、干渉１、干渉２の２つの領域で干渉が発生している。複数の干渉が発生し、それぞれの装飾部のサイズが変わる場合、干渉箇所毎に計算した装飾部サイズの中の最大値を、全ての装飾部のサイズとしてもよい。装飾部のサイズの違いは見かけ上の奥行きの違いとして知覚されるため、このように異なる干渉部における装飾サイズを統一することにより、装飾部の見かけ上の奥行き感が均一になり、違和感を軽減することが可能になる。
【００６３】
尚、本実施の形態では図１０に示す色画像の装飾方法を単色で塗りつぶすとして説明したが、立体視の心理的要因を利用して特定の色、パターンで塗りつぶすよう構成してもよい。立体視の心理的要因は人間の生活の中で得られる経験的な知識に基づくもので、様々な暗黙の仮定のもとに画像を解析することによって立体感を得ると言われている。こうした仮定に添う形で装飾部を塗ることで、装飾部の立体感を強調し、視聴者が立体感を感じやすくする効果がある。
【００６４】
例えば、視界の上方に一つの光源が存在するという暗黙の仮定を用いて奥行きを感じると言われている。これを利用し、例えば図１４の（ａ）のように上側につける装飾部を暗く、下側につける装飾部を明るくし、装飾部に陰影をつけることで装飾部の立体感を強調できる。
また、例えば、物体の表面に模様がある場合その模様のきめは均一であるという暗黙の仮定を用いて奥行きを感じると言われている。これを利用し、例えば図１４の（ｂ）のように手前ほど模様のきめが粗く、奥に行くほど模様のきめが細かくなるようにすることで装飾部の立体感を強調できる。
【００６５】
また、装飾部の大きさによって塗り分け方を変化させるように構成してもよい。このようにすることにより、装飾部の大きさに応じて最適な装飾を施すことが可能となる。
尚、本実施の形態では、写真１と写真２は横方向、縦方向に重なっているとして説明をしたが、必ずしも重なっている必要はない。例えば、写真１、写真２が横方向にちょうど並んでいる場合であっても、写真１が写真２より奥行き方向で大きく手前に結像するように表示される場合には、写真１の被写体が飛び出して見えることにより干渉が発生することがある。
【００６６】
また、図８に示すフローチャートでは、写真１の中央よりも右側に写真２の左端が位置していることを前提にしているが、写真１の中央よりも右側に写真２の左端が位置した場合には、例えば点Ａとして原点（０，０）を用いて処理をすること、図８で説明したフローチャートのＳ８０２において、初期化するときの初期値を０とすること、およびＳ８１０において、０≦ｘｉ＜（ｘ２／２）の間、ステップＳ８０４〜ステップＳ８０９の実行を繰り返すようにすれば、写真１の中央よりも右側に写真２の左端が位置している場合のおいても装飾処理をおこなうことができる。
【００６７】
（実施の形態２）
実施の形態１では、再生装置外部の立体視対応ディスプレイに映像出力する例を説明したが、実施の形態２では再生装置自身が立体視対応ディスプレイを備える場合について説明をする。尚、実施の形態２では前述の実施の形態１と同様の部分は詳細な説明を省略し、実施の形態１との変更点のみを記載している。記載していない部分は実施の形態１と同様である。
【００６８】
図１５は、本発明に係る再生装置の使用行為についての形態の一例を示す図である。図１において、本発明に係る再生装置は、再生装置１５０１である。再生装置１５０１の具体的な例としては、立体視機能を備えたスマートフォン、タブレット型コンピュータ、液晶ＴＶ、プラズマＴＶなどが考えられる。以下の説明では、再生装置１５０１は２視点を同時に表示可能な立体視ディスプレイを備えるものとする。
【００６９】
図１６に再生装置１５０１の内部構成を示す。再生装置１５０１は、典型的には立体視映像読み取り部１６０１、デプス画像生成部１６０２、表示座標決定部１６０３、干渉判定部１６０４、干渉解消処理部１６０５、画像合成部１６０６、視点画像生成部１６０７、映像出力部１６０８から構成される。立体視映像読み取り部１６０１〜視点画像生成部１６０７は、図２における立体視映像読み取り部２０１〜視点画像生成部２０７と同様であるため詳細な説明を省略する。
【００７０】
映像出力部１６０８は、視点画像生成部１６０７により生成された左目画像および右目画像を、利用者の左目および右目へそれぞれ見せるディスプレイデバイスである。
視点画像生成部１６０７の実現方法には様々な方法が考えられる。例えば、よく使われる方式の一つにシャッターメガネ（図示せず）を利用した方式がある。
この方式では、視聴者の左目と右目の視野を、メガネによって交互に高速にふさぎ、このメガネの動作と同期してディスプレイの表示画像も左目用・右目用と高速で更新することによって、結果的にディスプレイで表示される左目用の画像はシャッターメガネにより左目だけが見え、逆に右目用の画像は右目だけが見える仕組みを実現できる。また、別の方法としてはレンチキュラーレンズを用いる方法がある。レンチキュラーレンズは蒲鉾状のレンズを横方向に並べたもので、ディスプレイから発せられる光を、表示画像の画素単位で屈折させることにより、左右の眼に異なる絵を見せることができる。
【００７１】
以上のように構成することにより、再生装置自身が立体視対応ディスプレイを備える場合であっても、複数の立体視コンテンツを重ねて再生する際に、各立体視映像コンテンツの立体感を保ちつつ、奥行きの干渉を回避することが可能となる。
尚、本実施の形態では、再生装置１５０１は視点数が２であるとして説明を行ったが、視点数が３つ以上の多視点ディスプレイであっても構わない。多視点ディスプレイを用いる場合、視点の配置によって２つのケースが考えられる。
【００７２】
一つは左右方向にのみ視差をもち、上下方向の視差がない場合である。この場合、視点画像生成部１６０７は３つ以上の視点を生成し、映像出力部１６０８が各視点の絵をそれぞれの視聴位置から正しく見えるように構成すればよい。こうすることにより、干渉解消のための装飾部分も、視聴位置に応じた立体映像を見ることができるため、より自然な立体感を得ることができる。
【００７３】
多視点ディスプレイを用いる場合のもう一つのケースは上下方向の視差を持つ場合である。この場合、図４に示すステップＳ４０４は、写真１写真２をｚ軸中心に９０度回転させてから計算することで、縦方向の干渉発生の有無を判定することが可能になる。同様にステップＳ４０５の処理は、写真１写真２をｚ軸中心に９０度回転させてから計算することで、縦方向に必要な装飾部のサイズを求めることが可能になる。このように構成することにより、干渉解消のための装飾部分は、上下方向に視点を移動させた場合であっても、視点位置に応じた立体映像を見ることができるため、より自然な立体感を得ることができる。
【００７４】
（実施の形態３）
実施の形態１、実施の形態２では、重ね合わせて表示する立体視映像コンテンツは静止画、つまり写真１、写真２を重ね合わせたときにおける処理であったが、本実施例では重ね合わせて表示する立体映像コンテンツの少なくとも一方が動画である例について説明する。尚、実施の形態３では前述の実施の形態１〜２と同様の部分は詳細な説明を省略し、実施の形態１〜２との変更点のみを記載している。記載していない部分は実施の形態１〜２と同様である。
【００７５】
図１７は、本実施例における再生装置１０１の内部構造を示す図である。再生装置１０１は、典型的には立体視映像読み取り部１７０１、デプス画像生成部１７０２、表示座標決定部１７０３、干渉判定部１７０４、干渉解消処理部１７０５、画像合成部１７０６、視点画像生成部１７０７、映像外部出力部１７０８、ビデオデコーダ１７０９を備える。表示座標決定部１７０３〜映像外部出力部１７０８は、図２における立体視映像読み取り部２０１〜映像外部出力部２０８と同様であるため詳細な説明を省略する。
【００７６】
立体視映像読み取り部１７０１は立体視動画ストリームを読み込む。立体視動画ストリームは、サイドバイサイド、トップアンドボトムなどの形式で左右視点の映像を各フレームに記録した形式や、右目用のストリームと左目用のストリームが異なるトランスポートストリームファイルとして提供される場合や、右目用のストリームと左目用のストリームが単一のトランスポートストリームファイルに多重化されて提供される形式がある。本実施の形態では立体視映像読み取り部１７０１はサイドバイサイド形式で記録された動画ストリームを読み込むものとして説明をする。
【００７７】
デプス画像生成部１７０２の詳細は後述する。
ビデオデコーダ１７０９は立体視映像読み取り部１７０１が読み込んだビデオストリームをデコードし、フレームを得る。フレームには左目フレーム画像、および右目フレーム画像が含まれる。本実施の形態においては、フレームの左半分が左目フレーム画像、フレームの右半分が右目フレーム画像であるとする。デコードして得られたフレームの左半分、右半分をそれぞれ横方向に２倍に拡大して左目フレーム画像、右目フレーム画像を得るものである。ビデオデコーダ１７０９は、同時に再生する動画の数に比例した数が必要である。例えば、ビデオデコーダ１７０９は、２つの動画の重ね合わせの場合は２つ、１つの動画と静止画を重ねる場合は１つのように、同時に再生する動画の数だけ必要になる。
【００７８】
図４を参照して、本実施の形態における、立体ビデオストリームを重ね合わせて表示する処理のフローチャートを説明する。以下では、図４における写真１および写真２は、立体視映像読み取り部１７０１が読み込んだ立体視動画ストリームを、ビデオデコーダがデコード１７０９することによって得られたフレーム画像と読み替える。
ステップＳ４０１は、立体視映像読み取り部１７０１が読み込んだ２つの立体視動画ストリーム１と立体視動画ストリーム２を、それぞれビデオデコーダ１７０９、１７１０がデコードし、フレーム画像１、フレーム画像２を得る。
【００７９】
ステップＳ４０２は、フレーム画像１、フレーム画像２それぞれからデプス画像を得る。
デプス画像の取得方法には様々な方法が考えられる。
例えば、各フレームにおけるデプス値を実施の形態１と同様の方法でリアルタイムに計算する方法が考えられる。これは、左目用ビデオストリーム、右目用ビデオストリームをデコードすることにより得られたビデオフレームデータを基に計算する方法である。この時、得られたデプス画像をメディア再生時間と関連付けて保存しておき、同じビデオストリームの2回目以降の時にはそれを利用するよう構成してもよい。
【００８０】
また別の方法として、ビデオストリーム側に事前にデプスに関するデータを多重化しておく方法も考えられる。各フレームのデプス画像を事前に求め、デプス画像の時間における変化をビデオストリームに多重化しておくことで実現できる。
この際、デプス画像の時間変化を、映像データのフレーム毎に求めるのではなく、例えばＧＯＰなどの任意の単位ごとでの最大値、最小値を求めても良い。このように構成することにより、ビデオストリームのサイズを小さくする効果や、デコード負荷が下がる効果がある。特に、ビデオストリームの再生を通じてのデプス値の最大値、最小値のみを保存する場合には静止画画像として記録できるため、デコードの負担が大きく軽減される。
【００８１】
ステップＳ４０３〜ステップＳ４０８は実施の形態１と同様であるため詳細な説明を省略する。
以上のように構成することにより、動画と静止画の重ね合わせ、動画同士の重ね合わせの場合においても、干渉を回避することが可能になる。
【産業上の利用可能性】
【００８２】
本発明を構成する再生装置は、
立体視視聴が可能な写真、動画などのコンテンツを重ねて表示する際に、それぞれの立体視コンテンツの立体度を損ねることなく、自然な立体視を実現することが可能になる。特に、写真、動画コンテンツの再生機に携わる民生機器産業において利用できる。
【符号の説明】
【００８３】
１０１ 再生装置
１０２ リモコン
１０３ 出力モニタ
１０４ リムーバブルメディア
２０１ 立体視映像読み取り部
２０２ デプス画像生成部
２０３ 表示座標決定部
２０４ 干渉判定部
２０５ 干渉解消処理部
２０６ 画像合成部
２０７ 視点画像生成部
２０８ 映像外部出力部
【特許請求の範囲】
【請求項１】
第一の立体視映像コンテンツ、および第二の立体視映像コンテンツを読み取る読取り部、
前記第一の立体視映像コンテンツおよび前記第二の立体視映像コンテンツの表示位置、並びに第一の立体視映像コンテンツと前記第二の立体視映像コンテンツとを上書きするように重ね合わせる順序を決める表示座標決定部、
前記第一の立体視映像コンテンツおよび前記第二の立体視映像コンテンツを前記重ね合わせる順序に従って重ね合わせたときであって、前記第一の立体視映像コンテンツの表示領域の一部と前記第二の立体視映像コンテンツの表示領域の一部が重なる場合、干渉が生じているのかどうかを判定する干渉判定部、
前記干渉判定部において、干渉が生じていると判定した場合、上書きする立体視映像コンテンツの表示画像の端部から外側にかけて装飾画像を生成する干渉解消処理部、
前記第一の立体視映像コンテンツと前記第二の立体視映像コンテンツと前記装飾画像とを合成する画像合成部を備える
ことを特徴する立体視映像再生装置。
【請求項２】
前記干渉判定部は、
第一の立体視映像コンテンツにおける特定の視点からの色画像の各画素に対する奥行きに対応する値を画素値とする第一のデプス画像および第二の立体視映像コンテンツにおける特定の視点からの色画像の各画素に対する奥行きに対応する値を画素値とする第二のデプス画像を、それぞれ前記表示座標決定部において決定した表示位置に前記表示座標決定部において決定した重合せ順序で、上書きするように重ね合わせたとき、
前記第一のデプス画像と第二のデプス画像とが重なり合う部分において、上書きされるデプス画像と隣接する上書きするデプス画像の端部である辺に位置する画素と上書きされるデプス画像に対応する立体視コンテンツの撮影点を用いて決められる干渉判定関数と、前記上書きするデプス画像の辺よりも外側に位置する前記上書きされるデプス画像の画素の値を用いて干渉が生じているかどうかを判定する、請求項１に記載の立体視映像再生装置。
【請求項３】
前記干渉判定部は、
前記表示座標決定部において決定した重合せ順序が、第一の立体視映像コンテンツの上に前記第二の立体視映像コンテンツを上書きするように重ね合わせる順序である場合、前記第二のデプス画像の辺よりも外側に位置する前記第一のデプス画像の画素の値と、前記画素に前記干渉判定関数を適用したときの値とを比較し、前記第一のデプス画像の画素の画素値の方が大きければ、干渉が生じていると判定する請求項２に記載の立体視映像再生装置。
【請求項４】
前記干渉解消処理部は、前記第二の立体視コンテンツの水平方向の端部から外側にかけて生成する装飾画像の前記水平方向の幅を決める装飾幅計算手段を備えることを特徴とする請求項３に記載の立体視映像再生装置。
【請求項５】
前記装飾幅計算手段は、
前記第一の立体視映像コンテンツと隣接する側における前記第二の立体視映像コンテンツの辺と前記第一の立体視映像コンテンツの撮影点の座標を含む平面よりも前記撮影点側に結像する前記第一の立体視映像コンテンツの水平方向のピクセル幅を装飾の幅とする請求項１乃至請求項４に記載の立体視映像再生装置。
【請求項６】
前記装飾手段は、奥に知覚される側ほど間隔が狭くなるように構成されたパターン画像により装飾を施すことを特徴とする請求項１乃至請求項５に記載の立体視映像再生装置。
【請求項７】
前記装飾手段は、装飾の上部から下部に行くに従い漸次的に明るくなるように装飾を施すことを特徴とする請求項１乃至請求項６に記載の立体視映像再生装置。
【請求項８】
前記装飾手段は、前記装飾幅計算手段により決定された装飾幅に応じて、装飾方法を切り替えることを特徴とする請求項１乃至請求項７に記載の立体視映像再生装置。
【請求項９】
前記第一の立体視映像コンテンツ、前記第二の立体視映像コンテンツの少なくとも一方が動画像である場合、
前記干渉判断手段は、前記ビデオ映像の所定の間隔毎に干渉判定を行い
前記装飾幅計算手段は、前記ビデオ映像の所定の間隔毎に装飾幅の計算を行う
ことを特徴とする請求項１乃至請求項８に記載の立体視映像再生装置。
【請求項１】
第一の立体視映像コンテンツ、および第二の立体視映像コンテンツを読み取る読取り部、
前記第一の立体視映像コンテンツおよび前記第二の立体視映像コンテンツの表示位置、並びに第一の立体視映像コンテンツと前記第二の立体視映像コンテンツとを上書きするように重ね合わせる順序を決める表示座標決定部、
前記第一の立体視映像コンテンツおよび前記第二の立体視映像コンテンツを前記重ね合わせる順序に従って重ね合わせたときであって、前記第一の立体視映像コンテンツの表示領域の一部と前記第二の立体視映像コンテンツの表示領域の一部が重なる場合、干渉が生じているのかどうかを判定する干渉判定部、
前記干渉判定部において、干渉が生じていると判定した場合、上書きする立体視映像コンテンツの表示画像の端部から外側にかけて装飾画像を生成する干渉解消処理部、
前記第一の立体視映像コンテンツと前記第二の立体視映像コンテンツと前記装飾画像とを合成する画像合成部を備える
ことを特徴する立体視映像再生装置。
【請求項２】
前記干渉判定部は、
第一の立体視映像コンテンツにおける特定の視点からの色画像の各画素に対する奥行きに対応する値を画素値とする第一のデプス画像および第二の立体視映像コンテンツにおける特定の視点からの色画像の各画素に対する奥行きに対応する値を画素値とする第二のデプス画像を、それぞれ前記表示座標決定部において決定した表示位置に前記表示座標決定部において決定した重合せ順序で、上書きするように重ね合わせたとき、
前記第一のデプス画像と第二のデプス画像とが重なり合う部分において、上書きされるデプス画像と隣接する上書きするデプス画像の端部である辺に位置する画素と上書きされるデプス画像に対応する立体視コンテンツの撮影点を用いて決められる干渉判定関数と、前記上書きするデプス画像の辺よりも外側に位置する前記上書きされるデプス画像の画素の値を用いて干渉が生じているかどうかを判定する、請求項１に記載の立体視映像再生装置。
【請求項３】
前記干渉判定部は、
前記表示座標決定部において決定した重合せ順序が、第一の立体視映像コンテンツの上に前記第二の立体視映像コンテンツを上書きするように重ね合わせる順序である場合、前記第二のデプス画像の辺よりも外側に位置する前記第一のデプス画像の画素の値と、前記画素に前記干渉判定関数を適用したときの値とを比較し、前記第一のデプス画像の画素の画素値の方が大きければ、干渉が生じていると判定する請求項２に記載の立体視映像再生装置。
【請求項４】
前記干渉解消処理部は、前記第二の立体視コンテンツの水平方向の端部から外側にかけて生成する装飾画像の前記水平方向の幅を決める装飾幅計算手段を備えることを特徴とする請求項３に記載の立体視映像再生装置。
【請求項５】
前記装飾幅計算手段は、
前記第一の立体視映像コンテンツと隣接する側における前記第二の立体視映像コンテンツの辺と前記第一の立体視映像コンテンツの撮影点の座標を含む平面よりも前記撮影点側に結像する前記第一の立体視映像コンテンツの水平方向のピクセル幅を装飾の幅とする請求項１乃至請求項４に記載の立体視映像再生装置。
【請求項６】
前記装飾手段は、奥に知覚される側ほど間隔が狭くなるように構成されたパターン画像により装飾を施すことを特徴とする請求項１乃至請求項５に記載の立体視映像再生装置。
【請求項７】
前記装飾手段は、装飾の上部から下部に行くに従い漸次的に明るくなるように装飾を施すことを特徴とする請求項１乃至請求項６に記載の立体視映像再生装置。
【請求項８】
前記装飾手段は、前記装飾幅計算手段により決定された装飾幅に応じて、装飾方法を切り替えることを特徴とする請求項１乃至請求項７に記載の立体視映像再生装置。
【請求項９】
前記第一の立体視映像コンテンツ、前記第二の立体視映像コンテンツの少なくとも一方が動画像である場合、
前記干渉判断手段は、前記ビデオ映像の所定の間隔毎に干渉判定を行い
前記装飾幅計算手段は、前記ビデオ映像の所定の間隔毎に装飾幅の計算を行う
ことを特徴とする請求項１乃至請求項８に記載の立体視映像再生装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公開番号】特開２０１３−９０１７０（Ｐ２０１３−９０１７０Ａ）
【公開日】平成２５年５月１３日（２０１３．５．１３）
【国際特許分類】
【出願番号】特願２０１１−２２９３７８（Ｐ２０１１−２２９３７８）
【出願日】平成２３年１０月１９日（２０１１．１０．１９）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．Ｂｌｕｅｔｏｏｔｈ
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２５年５月１３日（２０１３．５．１３）
【国際特許分類】
【出願日】平成２３年１０月１９日（２０１１．１０．１９）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．Ｂｌｕｅｔｏｏｔｈ
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]