映像処理装置および立体映像生成装置
【課題】２Ｄ３Ｄ変換後の映像において、映像の一部分が無理矢理引き伸ばされたようにならず、かつ、映像の中で特に目立つ前景の物体が不自然に歪んだりしない３Ｄ映像を生成する。
【解決手段】立体映像生成装置は、２Ｄ映像データから抽出された第一の領域と第一の領域よりも奥側に位置する第二の領域とに含まれる各画素の奥行き値を生成する奥行き情報生成部１０３と、第一の領域の外側の周辺部分を緩衝領域とし、緩衝領域に含まれる画素の奥行き値を、第一の領域からの距離に応じて、第一の領域の奥行き値から第二の領域の奥行き値まで連続的にまたは段階的に変更する緩衝領域奥行き情報加工部１０４とを備える。
【解決手段】立体映像生成装置は、２Ｄ映像データから抽出された第一の領域と第一の領域よりも奥側に位置する第二の領域とに含まれる各画素の奥行き値を生成する奥行き情報生成部１０３と、第一の領域の外側の周辺部分を緩衝領域とし、緩衝領域に含まれる画素の奥行き値を、第一の領域からの距離に応じて、第一の領域の奥行き値から第二の領域の奥行き値まで連続的にまたは段階的に変更する緩衝領域奥行き情報加工部１０４とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像データの奥行き情報から視差画像を生成する映像処理装置および該装置を備えた立体映像生成装置に関するものである。
【背景技術】
【０００２】
従来、立体映像を表示する様々な方法が提案されてきた。その中でも一般的に用いられているのは、両眼視差を持った左眼用画像と右眼用画像を用意し、それぞれ独立に左右の眼に投影することにより立体表示を行う「２眼式」と呼ばれるものである。このような立体映像の表示を行う機器として、３Ｄ対応テレビや３Ｄ対応携帯端末などが普及し始めている。しかし、３Ｄ映像データの放送や３Ｄ映像データが記録された記録メディア、３Ｄ対応カメラで撮影されたコンテンツ等はまだ一般的ではないため、立体映像表示機器としては、デジタルチューナや記録メディアから取得した２Ｄ映像データを３Ｄの映像データにリアルタイムに変換して再生する機能を搭載しているのが一般的である。この機能を「２Ｄ３Ｄ変換」と呼ぶ。なお、ここではリアルタイムに変換する機能としたが、オフラインで非リアルタイムに２Ｄ映像データを３Ｄ映像データに変換しておく機能も２Ｄ３Ｄ変換機能の実現手法の１つである。
【０００３】
この２Ｄ３Ｄ変換の手法はいくつかあるが、代表的な手法として、例えば、特許文献１に記載された手法が知られている。この手法では、基本奥行きモデルを３種類用意しておき、所定領域の画素値の統計量に基づいて、用意しておいた奥行きモデルの合成比を決定して、各画素の奥行き情報を生成し、さらに赤色信号の成分に応じて奥行き情報を画素毎に補正する。画素毎の奥行き情報は、各画素をディスプレイ面からどの程度奥側または手前側に表示するかを示す情報に相当するので、その情報を左眼用画素と右眼用画素のシフト量に換算して、入力画像から各画素を換算したシフト量分シフトして左眼用画像と右眼用画像を生成すれば、３Ｄ映像データに変換できたこととなる。この際、各画素のシフト量が異なることにより、画素値が存在しなくなる穴のような画素が発生してしまうが、これは「オクルージョン」と呼ばれる事象で、一般的に周辺画素から画素値を補填することで対応している。
【０００４】
図６は、従来の立体映像生成装置の一例の概略構成を示すブロック図で、図中、３００は立体映像生成装置を示す。立体映像生成装置３００は、映像データ取得部３０１、奥行き情報生成部３０２、映像シフト部３０３、およびオクルージョン補償部３０４を備えた構成となっている。
【０００５】
映像データ取得部３０１は、図示しないデジタルチューナ、あるいは通信ネットワーク、あるいは映像データが格納された記録メディアに接続し、３Ｄ映像データに変換する２Ｄ映像データを取得する部分である。奥行き情報生成部３０２は、各種画像の特性を利用して各画素の奥行き情報を生成する部分である。映像シフト部３０３は、各画素の奥行き情報に応じて入力画像を左右にシフトして右眼用画像と左眼用画像を生成する部分である。オクルージョン補償部３０４は、画像をシフトすることにより画素値が存在しなくなるオクルージョン領域を補填する部分である。
【０００６】
特許文献１に記載の手法以外の手法として、特許文献２に記載の手法がある。この手法は、映像内のエッジを検出し、エッジ情報（高周波成分）が多い領域を前景と判断し、そうでない領域を背景と判断し、前景の領域と背景の領域とで入力画像のシフトの仕方を変えることで３Ｄ映像を生成している。この他に前景と背景とに分離する手法としては、被写体の動きの速さ，物体の遮蔽関係，コントラスト比などの画像特性のいずれかを利用して前景と背景に分離する手法があり、その前後関係を推測して各画素に奥行き情報を設定することで、３Ｄ映像を生成する。
【０００７】
この前景と背景との前後関係の差によっては、隣接する画素間で奥行き値が大きく異なることとなる。そのような奥行き情報から特許文献１の手法で３Ｄ映像データを生成すると、隣接する画素どうしでシフト量が大きく異なるので、大きなオクルージョンの領域が発生してしまう。オクルージョンへの対応策は、前述したように、周辺の画素からコピーするなどしてオクルージョンの部分を補填するのが一般的である。すると、大きなオクルージョンの領域の場合には、同じ画素が連続して何画素もコピーされることとなり、結果的に、映像の一部分が無理矢理引きのばされたような映像が生成されてしまう。
【０００８】
このような現象の回避方法として、例えば、特許文献３に記載の奥行き情報を付与する手法がある。この手法とは、離散的奥行きが等しく隣接する画素をまとめてオブジェクトとし、そのオブジェクト内部及びオブジェクトとオブジェクトの間に連続的かつ滑らかな奥行きを付与する手法である。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００６−１８６７９５号公報
【特許文献２】特開平１０−２７６４５５号公報
【特許文献３】特開２００５−１５７９１０号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、上述の特許文献３に記載の手法では、人工的に付与したテロップや平らな物体に円柱のように丸まった出っ張りが生じて不自然に歪んでしまうとの課題が有る。特許文献３（図６）には、オブジェクト内部及びオブジェクトとオブジェクトの間に連続的かつ滑らかな奥行きを付与した例が示されている。放射線分２２上では、オブジェクト１４、オブジェクト１３、オブジェクト１６、背景の順に並んでいて、離散的奥行きは、点Ａ１と点Ａ２の間の領域でＹ１、点Ａ２と点Ａ３の間の領域でＹ２、点Ａ３と点Ａ４の間の領域でＹ３となっている。線分３２が所定の奥行き関数に従って作成する擬似的奥行きであり、一番手前に位置するオブジェクト１４の奥行き値が丸みを帯びるように補正されている。この際、ぬいぐるみのような丸みを帯びた物体に対して、この手法を適用することは特段問題とならないが、人工的に付与したテロップや平らな物体にこの手法を適用すると、テロップや平らな物体が円柱のように前後方向に丸まったように見えてしまう。
【００１１】
本発明は、上述のような実情を鑑み、２Ｄ３Ｄ変換後の映像において、映像の一部分が無理矢理引き伸ばされたようにならず、かつ、映像の中で特に目立つ前景の物体が不自然に歪んだりしない３Ｄ映像を生成する映像処理装置および該装置を備えた立体映像生成装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記課題を解決するために、本発明の第１の技術手段は、映像データの第一の領域と該第一の領域よりも奥側に位置する第二の領域とに含まれる各画素の奥行き値を取得する奥行き情報取得部と、前記第一の領域の外側の周辺部分を緩衝領域とし、該緩衝領域に含まれる画素の奥行き値を、前記第一の領域からの距離に応じて、該第一の領域の奥行き値から前記第二の領域の奥行き値まで連続的にまたは段階的に変更する奥行き情報加工部とを備えたことを特徴としたものである。
【００１３】
第２の技術手段は、第１の技術手段において、前記奥行き情報加工部は、前記緩衝領域に含まれる画素の奥行き値を、前記第一の領域からの距離が近いほど該第一の領域の奥行き値に近い値に変更し、前記第一の領域からの距離が遠いほど前記第二の領域の奥行き値に近い値に変更することを特徴としたものである。
【００１４】
第３の技術手段は、第１または第２の技術手段において、前記映像データから前景領域と背景領域を分離して抽出する前景背景抽出部を備え、前記第一の領域は前記前景領域であり、前記第二の領域は前記背景領域であることを特徴としたものである。
【００１５】
第４の技術手段は、第１または第２の技術手段において、前記映像データに対して手前に飛び出させる飛び出し領域を設定する飛び出し領域設定部と、該飛び出し領域設定部で設定した飛び出し領域に含まれる奥行き値を、手前に飛び出させるための所定の奥行き値に変更する飛び出し領域奥行き情報加工部とを備え、前記第一の領域は前記飛び出し領域であり、前記第二の領域は前記飛び出し領域以外の領域であることを特徴としたものである。
【００１６】
第５の技術手段は、第１〜第４のいずれか１の技術手段において、前記奥行き情報加工部は、前記緩衝領域の水平方向に含まれる画素の奥行き値を変更することを特徴としたものである。
【００１７】
第６の技術手段は、第５の技術手段において、前記奥行き情報加工部は、さらに、前記緩衝領域の垂直方向に含まれる画素の奥行き値を変更することを特徴としたものである。
【００１８】
第７の技術手段は、第１〜第６のいずれか１の技術手段において、前記奥行き情報加工部は、前記緩衝領域の対象画素に対して、前記第一の領域から前記緩衝領域の対象画素までの距離をＬ、予め定められた傾きの絶対値をａ、前記第一の領域の奥行き値をＤ、前記対象画素の奥行き候補値をＣとした場合、該対象画素の奥行き候補値を、Ｃ＝Ｄ−（ａ＊Ｌ）により求め、前記対象画素の奥行き候補値が、該対象画素の奥行き値よりも大きい場合に、前記対象画素の奥行き値を前記奥行き候補値に置き換えることを特徴としたものである。
【００１９】
第８の技術手段は、第１〜第７のいずれか１の技術手段において、前記奥行き情報加工部から出力される各画素の奥行き値に応じて、前記映像データを左右にシフトして左眼用画像と右眼用画像を生成する映像シフト部を備えたことを特徴としたものである。
【００２０】
第９の技術手段は、第１〜第８のいずれか１の技術手段において、前記奥行き情報取得部として、前記第一の領域と前記第二の領域とに含まれる各画素の奥行き値を生成する奥行き情報生成部を備えたことを特徴としたものである。
【００２１】
第１０の技術手段は、第１〜第９のいずれか１の技術手段において、前記第一の領域は、文字を含むことを特徴としたものである。
【００２２】
第１１の技術手段は、第１〜第１０のいずれか１の技術手段における映像処理装置を備えた立体映像生成装置である。
【発明の効果】
【００２３】
本発明によれば、２Ｄ３Ｄ変換を行なう際に、前景領域あるいはユーザが指定した飛び出し領域と、その領域に隣接するそれ以外の領域との奥行きの差が大きい場合でも、映像の一部分が無理矢理引き伸ばされたようにならず、かつ、映像の中で特に目立つ前景領域あるいは飛び出し領域の物体が不自然に歪んだりすることのない自然な３Ｄ映像を生成することができる。
【図面の簡単な説明】
【００２４】
【図１】本発明の立体映像生成装置の一例の概略構成を示すブロック図である。
【図２】本発明による奥行き情報加工部に入力された奥行き情報の一例を示した図である。
【図３】本発明による奥行き情報加工部にて加工を行った奥行き情報の一例を示した図である。
【図４】本発明の立体映像生成装置の別の一例の概略構成を示すブロック図である。
【図５】本発明による奥行き情報加工部に入力された奥行き情報及び奥行き情報加工部にて加工を行った奥行き情報の一例を示した図である。
【図６】従来の立体映像生成装置の一例の概略構成を示すブロック図である。
【発明を実施するための形態】
【００２５】
以下、添付図面を参照しながら、本発明の映像処理装置および該装置を備えた立体映像生成装置に係る好適な実施の形態について立体映像生成装置を例示して説明するものとする。
【００２６】
（実施例１）
図１は、本発明の立体映像生成装置の一例の概略構成を示すブロック図である。同図に示すように、立体映像生成装置１００は、映像データ取得部１０１、前景背景抽出部１０２、奥行き情報生成部１０３、奥行き情報加工部１０４、映像シフト部１０５、およびオクルージョン補償部１０６を備えた構成となっている。なお、本発明に係る映像処理装置は、少なくとも奥行き情報加工部１０４を備えたものであるが、この奥行き情報加工部１０４に加え、前景背景抽出部１０２、奥行き情報生成部１０３、および映像シフト部１０５を含めるようにしてもよい。
【００２７】
映像データ取得部１０１は、図示しないデジタルチューナ、あるいは通信ネットワーク、あるいは映像データが格納された記録メディアに接続し、３Ｄ映像データに変換する２Ｄ映像データを取得する部分である。前景背景抽出部１０２は、映像データ取得部１０１で取得した入力画像の画像特性から前景の領域と背景の領域とに分離して抽出する部分である。前景と背景の分離方法としては、前述した公知の方法を用いることができる。すなわち、エッジ情報（高周波成分）が多い領域を前景と判断し、そうでない領域を背景と判断する方法や、被写体の動きの速さ，物体の遮蔽関係，コントラスト比などの画像特性のいずれかを利用して前景と背景に分離するようにしてもよい。
【００２８】
奥行き情報生成部１０３は、各種画像の特性を利用して各画素の奥行き値を生成する部分である。奥行き情報加工部１０４は、前景と背景との間における隣接画素間での奥行き値の差が大きい部分を滑らかにするように、奥行き情報生成部１０３で生成した奥行き情報の加工を行う部分である。映像シフト部１０５は、奥行き情報加工部１０４から出力される奥行き情報（各画素の奥行き値）に応じて、映像データ取得部１０１で取得した入力画像（２Ｄ映像データ）を左右にシフトして右眼用画像と左眼用画像を生成する部分である。オクルージョン補償部１０６は、映像シフト部１０５で各画素をシフトしたことにより生じた画素値が存在しないオクルージョン領域を補填して、違和感のない３Ｄ映像データを生成する部分である。
【００２９】
図１の構成要素のうち、映像データ取得部１０１、映像シフト部１０５、およびオクルージョン補償部１０６は、前述の図６に示した構成要素である映像データ取得部３０１、映像シフト部３０３、およびオクルージョン補償部３０４とそれぞれ同等の機能を有しているものとする。
【００３０】
以下、奥行き情報加工部１０４で奥行き情報を加工した例を図２および図３に基づいて説明する。図２は、奥行き情報加工部１０４に入力された加工前の奥行き情報の一例を示す図であり、図３は、奥行き情報加工部１０４で加工後の奥行き情報の一例を示す図である。
【００３１】
この図２の奥行き情報に対応する２Ｄ映像データは、背景となる壁１が画面全体に奥行き方向にほぼ同一の位置にあり、その手前に平らな時計２が真正面に置かれ、さらにその前にテロップと書かれた文字３が重畳された映像である。このような映像での奥行き情報として、点線Ｈ１の横線部分の画素の奥行き値を図示している。つまり、映像の下に太直線Ｌ１で示したものが奥行き値である。点線Ｈ１上の画素の中で、テロップと書かれた文字３の部分には奥行き値Ｄ１が割り振られ、時計２の部分には奥行き値Ｄ２が割り振られ、壁１の部分には奥行き値Ｄ３が割り振られている。これらの奥行き値Ｄ１〜Ｄ３は、奥行き情報生成部１０３により割り振られる。ここで、Ｄ１、Ｄ２、Ｄ３の関係は、視聴者に近い位置から、Ｄ１、Ｄ２、Ｄ３の奥行き値となっている。ここでは奥行き値が大きいほど視聴者に近いものと定義するので、Ｄ１＞Ｄ２＞Ｄ３の関係となっている。
【００３２】
奥行き値Ｄ１が割り振られる文字３の部分の画素は、画素Ｐ１から画素Ｐ２までの間と、画素Ｐ３から画素Ｐ４までの間と、画素Ｐ５から画素Ｐ６までの間と、画素Ｐ７から画素Ｐ８までの間である。奥行き値Ｄ２が割り振られる時計２の前面部分の画素は、画素Ｐ８が文字の部分の画素になるため、画素Ｐ８の右隣から画素Ｐ９までの間である。奥行き値Ｄ３が割り振られる壁１の部分の画素は、画素Ｐ０から画素Ｐ１の左隣までの間と、画素Ｐ２の右隣から画素Ｐ３の左隣までの間と、画素Ｐ４の右隣から画素Ｐ５の左隣までの間と、画素Ｐ６の右隣から画素Ｐ７の左隣までの間と、画素Ｐ９の右隣から画素Ｐ１０までの間である。
【００３３】
例えば、特許文献１に記載のように、入力画像の画素値を右にシフトさせるシフト量をＳとした場合、左眼用画像は、下記の式（１）で求まるシフト量Ｓだけ画素シフトすることによって生成される。
Ｓ＝（Ｙｄ−ｍ）／ｎ …式（１）
ここでＹｄは各画素での奥行き値、ｍはディスプレイ面の奥行き値、ｎは奥行き感を調整するパラメータとなる。そして、Ｙｄの値がｍより大きい場合は、その画素をディスプレイ面よりも手前に表示する場合であり、入力画像の該当画素の値を、右に（Ｙｄ−ｍ）／ｎ画素分シフトした位置の左眼用画像の画素の値とする。Ｙｄの値がｍより小さい場合は、その画素をディスプレイ面よりも奥側に表示する場合であり、（Ｙｄ−ｍ）／ｎの値がマイナスの値となるので、入力画像の該当画素の値を反対方向である左に（ｍ−Ｙｄ）／ｎ画素分シフトした位置の左眼用画像の画素の値とする。
【００３４】
なお、特許文献１では、各画素のシフトを行って生成した画像を左眼用画像とし、入力画像を右眼用画像としているが、これは処理量を減らすためであり、一般的には、右眼用画像についても各画素のシフトを行って生成する。その場合は左眼用画像の生成時とは逆の方にシフトさせることになる。すなわち、入力画像の画素値を左に（Ｙｄ−ｍ）／ｎ画素シフトすることによって右眼用画像を生成する。また、左眼用画像のときと同様に、Ｙｄの値がｍより大きい場合は、その画素をディスプレイ面よりも手前に表示する場合であり、入力画像の該当画素の値を、左に（Ｙｄ−ｍ）／ｎ画素分シフトした位置の右眼用画像の画素の値とする。Ｙｄの値がｍより小さい場合は、その画素をディスプレイ面よりも奥側に表示する場合であり、（Ｙｄ−ｍ）／ｎの値がマイナスの値となるので、入力画像の該当画素の値を反対方向である右に（ｍ−Ｙｄ）／ｎ画素分シフトした位置の右眼用画像の画素の値とする。
【００３５】
ここで例として、奥行き値Ｙｄの値を０から２５５の値とし、ディスプレイ面ｍは奥行き値の取り得る値の中央値である１２８とし、奥行き感を調整するパラメータｎを１とする。また、文字３の部分の奥行き値Ｄ１を１２７、時計２の部分の奥行き値Ｄ２を１２３、壁１の部分の奥行き値Ｄ３を１１８とする。すなわちこの例では、全画素がディスプレイ面よりも奥側に位置する設定となる。
【００３６】
左眼用画像の場合、（Ｙｄ−ｍ）／ｎの式（１）から、奥行き値がＤ１の場合は左に１画素ずらし、奥行き値がＤ２の場合は左に５画素ずらし、奥行き値がＤ３の場合は左に１０画素ずらして左眼用画像を生成することとなる。また、画素Ｐ０から画素Ｐ１の左隣までの間は奥行き値がＤ３であるので、その間は、各々の画素を左に１０画素ずらして左眼用画像を生成する。画素Ｐ１から画素Ｐ２までは奥行き値がＤ１となり、左に１画素ずらして左眼用画像を生成する。すると、画素Ｐ１が１画素左にずれ、画素Ｐ１の左隣が１０画素左にずれるので、左眼用画像のその間の９画素分はどこからもずれてこないこととなり、画素値が算出出来ない穴のような領域となる。この領域をオクルージョンと呼ぶ。
【００３７】
画素Ｐ２の右隣の奥行き値はＤ３であるので、画素を左に１０画素ずらすが、画素Ｐ２の９画素左の画素の奥行き値がＤ１であれば、その画素と重なってしまう。その場合は視聴者に近い側を優先するのが一般的である。
【００３８】
また、右眼用画像の場合、（Ｙｄ−ｍ）／ｎの式（１）から、奥行き値がＤ１の場合は右に１画素ずらし、奥行き値がＤ２の場合は右に５画素ずらし、奥行き値がＤ３の場合は右に１０画素ずらして右眼用画像を生成することとなる。画素Ｐ０から画素Ｐ１の左隣までの間は奥行き値がＤ３であるので、その間は、各々の画素を右に１０画素ずらして右眼用画像を生成する。また、画素Ｐ１から画素Ｐ２までは奥行き値がＤ１となり、右に１画素ずらして右眼用画像を生成する。画素Ｐ１の９画素左の画素の奥行き値がＤ３であれば、画素Ｐ１のずらし先と重なってしまうが、その場合は視聴者に近い側を優先するのが一般的である。
【００３９】
画素Ｐ２の右隣の奥行き値はＤ３であるので、画素を右に１０画素ずらすことになる。つまり、画素Ｐ２が１画素右にずれ、画素Ｐ２の右隣が１０画素右にずれるので、右眼用画像のその間の９画素分はどこからもずれてこないこととなり、画素値が算出出来ないオクルージョン領域が出来てしまう。
【００４０】
オクルージョンへの対応策は、周辺の画素からコピーするなどしてオクルージョンの部分を補填するのが一般的である。数画素程度のオクルージョンであればこの手法で違和感は生じないが、今回の例のように９画素分のオクルージョンについては、９画素も同じ値が連続するとその部分が無理矢理引きのばされたような映像となってしまう。特に前景のようなクッキリしており、人が注目しやすい領域を何画素もコピーすると、大きな歪みとなり、著しく違和感のある映像となってしまう。
【００４１】
本発明の主たる目的は、２Ｄ３Ｄ変換後の映像において、映像の一部分が無理矢理引き伸ばされたようにならず、かつ、映像の中で特に目立つ前景の物体が不自然に歪んだりしない３Ｄ映像を生成できるようにすることにある。このための構成として、前述の図１に示したように、立体映像生成装置１００は、２Ｄ映像データの第一の領域と第一の領域よりも奥側に位置する第二の領域とに含まれる各画素の奥行き値を取得する奥行き情報取得部と、第一の領域の外側の周辺部分を緩衝領域とし、緩衝領域に含まれる画素の奥行き値を、第一の領域からの距離に応じて、第一の領域の奥行き値から第二の領域の奥行き値まで連続的にまたは段階的に変更する奥行き情報加工部１０４とを備える。図１の例における立体映像生成装置１００は、２Ｄ映像データから前景領域と背景領域を分離して抽出する前景背景抽出部１０２と、奥行き情報取得部の一例として、前景背景抽出部１０２で抽出された前景領域と背景領域とに含まれる各画素の奥行き値を生成する奥行き情報生成部１０３とを備えており、第一の領域は前景領域に相当し、第二の領域は背景領域に相当する。
【００４２】
図１の例では、奥行き情報生成部１０３が奥行き情報取得部に相当する。そして、奥行き情報加工部１０４は、奥行き情報生成部１０３から前景領域と背景領域とに含まれる各画素の奥行き値を入力するようにしているが、別の形態として、前景領域および背景領域それぞれの領域毎の奥行き値を外部ネットワーク等から取得するようにしてもよい。この場合、映像データ取得部１０１が奥行き情報取得部に相当し、映像データ取得部１０１が外部ネットワーク等から映像データおよび領域毎の奥行き値を取得する。そして、映像データ取得部１０１で取得された領域毎の奥行き値が奥行き情報加工部１０４に入力される。このように外部ネットワーク等を利用できる場合には、前景背景抽出部１０２および奥行き情報生成部１０３を不要にすることができる。
【００４３】
本発明では、図３で示した太直線Ｌ２のように、隣接画素間での奥行き値の差が大きい部分を滑らかにするように奥行き値を変更（加工）することにより、オクルージョンの部分が大きくならないようにする。ただし、前景領域は人が着目し易い部分であるため、その部分の奥行き値を変えると違和感が生じやすい。そこで、前景領域の奥行き値は変えずに、前景領域の外側の周辺部分の奥行き値を変えるようにすればよい。具体的には、前景領域の奥行き値は変えずに、前景領域の外側の周辺部分に含まれる画素の奥行き値を、前景領域からの距離が近いほど前景領域の奥行き値に近い値に変更し、前景領域からの距離が遠いほど背景領域の奥行き値に近い値に変更する。この変更を行う画素の領域を、前景領域と背景領域の奥行き値の差を滑らかにつなげる領域との意味で、本明細書では「緩衝領域」と呼ぶ。
【００４４】
図３の例では、緩衝領域に相当する画素は、画素Ｑ１の右隣から画素Ｐ１の左隣までの間と、画素Ｐ２の右隣から画素Ｐ３の左隣までの間と、画素Ｐ４の右隣から画素Ｑ３の左隣までの間と、画素Ｑ４の右隣から画素Ｐ５の左隣までの間と、画素Ｐ６の右隣から画素Ｐ７の左隣までの間と、画素Ｐ８の右隣から画素Ｑ６の左隣までの間と、画素Ｐ９の右隣から画素Ｑ９の左隣までの間に相当する。
【００４５】
奥行き情報加工部１０４による緩衝領域での奥行き値の算出方法の一例について説明する。まず一定の傾きａを有する１次関数をあらかじめ定義しておく。図３の例では、傾きａの値は、（Ｄ１−Ｄ３）／（Ｐ１のｘ座標−Ｑ１のｘ座標）に相当する。なお、例えば、Ｐ２〜Ｑ２、Ｑ２〜Ｐ３のように前景間に挟まれた緩衝領域の場合、Ｐ２〜Ｑ２とＱ２〜Ｐ３とで逆の傾きがそれぞれ設定される。これは、左眼用画像を生成する際にはＱ２〜Ｐ３間でオクルージョン領域が発生し、右眼用画像を生成する際にはＰ２〜Ｑ２間でオクルージョン領域が発生するため、左右で逆の傾きを設定するようにしている。そして、緩衝領域に含まれる対象画素に対して、前景領域から緩衝領域の対象画素までの（ｘ座標上の）距離をＬ、予め定められた傾きの絶対値をａ、前景領域の奥行き値をＤ、対象画素の奥行き候補値をＣとした場合に、対象画素の奥行き候補値Ｃを、
Ｃ＝Ｄ−（ａ＊Ｌ） …式（２）
により算出する。なお、本例では、前景領域の奥行き値ＤはＤ１、緩衝領域の対象画素の奥行き値はＤ３である。
【００４６】
上記の式（２）で求めた対象画素の奥行き候補値Ｃが対象画素の奥行き値Ｄ３よりも手前側の奥行き値となる場合、すなわち、奥行き候補値Ｃが奥行き値Ｄ３よりも大きい場合（図３の例ではＱ１からＰ１の間の部分の画素）には、対象画素の奥行き値Ｄ３を奥行き候補値Ｃで置き換える。一方、対象画素の奥行き候補値Ｃが対象画素の奥行き値Ｄ３よりも小さい場合（図３の例ではＰ０からＱ１の間の部分の画素）には、奥行き値Ｄ３はそのままとし、置き換え処理は実行しない。このようにして前景領域と背景領域の隣接画素間での奥行き値の差が大きい部分を滑らかにしている。
【００４７】
ここで、緩衝領域の対象画素に対して、ｘ座標上の前景領域からの距離が１離れると対象画素の奥行き値が前景領域の奥行き値から１減算されるように傾きａを設定した場合を想定する。この場合、画素Ｐ１の奥行き値は１２７なので、画素Ｐ１の１つ左隣の画素の奥行き値は１２６、画素Ｐ１の２つ左側の画素の奥行き値は１２５、画素Ｐ１の３つ左側の画素の奥行き値は１２４、・・・となる。このようにすることにより、前述の式（１）で、ｍ＝１２８，ｎ＝１，Ｙｄ＝１２７，１２６，１２５，１２４，…とした場合、左眼用画像に関しては、画素Ｐ１は左に１画素ずれ、画素Ｐ１の１つ左隣の画素は左に２画素ずれ、画素Ｐ１の２つ左側の画素は左に３画素ずれ、画素Ｐ１の３つ左側の画素は左に４画素ずれ、・・・となり、９画素分の大きな穴が発生することはなく、１画素の穴が飛び飛びに発生することとなる。すなわち、同じ画素値が連続して何画素もコピーされて無理矢理引き伸ばされたような映像ではなく、広い範囲で序々にコピーが発生し、全体的に引き伸ばされたような映像となる。
【００４８】
また、画素Ｐ２と画素Ｐ３の間、画素Ｐ４と画素Ｐ５の間、画素Ｐ６と画素Ｐ７の間のような前景領域の間に挟まれた領域では、それぞれの領域に含まれる対象画素に対して、左右それぞれの前景領域からの距離に応じた奥行き値を式（２）により算出し、さらに、対象画素の奥行き値を含めた３つの値の中から一番大きい値を選択する。すなわち、（左側の前景の奥行き値）−（ａの絶対値）＊（ｘ座標上の左側の前景からの距離）の算出値と、（右側の前景の奥行き値）−（ａの絶対値）＊（ｘ座標上の右側の前景からの距離）の算出値と、対象画素の奥行き値との３つの値の中から一番大きい値を選択する。結果的に、画素Ｐ２と画素Ｐ３の間や、画素Ｐ６と画素Ｐ７の間のように全領域が緩衝領域となり奥行き値が変更された値となる場合もあれば、画素Ｐ４と画素Ｐ５の間のように、画素Ｑ３の間と画素Ｑ４の間を除いた一部の部分が緩衝領域となる場合もある。
【００４９】
また、異なる２つの前景領域が隣接する場合もある。例えば図３の画素Ｐ８のように文字３の前景と時計２の前景が隣接している場合である。図３では、隣接した場合に限り、両者の中からより視聴者に近い前景（この例では文字３）を前景と見なし、視聴者から遠い前景（この例では時計２）を背景と見なして、緩衝領域を視聴者から遠いほうの前景、つまり、時計２に設定している。より視聴者に近い前景の方に歪みがあると目立つため、このように処理をするのが妥当である。
【００５０】
上記の処理を行うことにより、大きなオクルージョンの領域が発生することはなく、小さいオクルージョンの領域が飛び飛びに発生するような状態となるので、同じ画素値が連続して何画素もコピーされて無理矢理引き伸ばされたような映像ではなく、広い範囲で序々にコピーが発生し、全体的に引き伸ばされたような映像となる。また、前景領域の外側の周辺部分の奥行き値のみを変更し、前景領域の奥行き値を変更しないので、映像の中で特に目立つ前景領域が不自然に歪んだりすることがない。
【００５１】
これまで述べた例では一次関数を利用して緩衝領域の奥行き値を変更して隣接画素間での奥行き値の差を滑らかにしたが、一次関数でなく２次以上のＮ次関数や指数関数を用いて緩衝領域の奥行き値を変更してもよい。また、前景領域の奥行き値からの減算具合を連続的な線状でなく、ある程度量子化して非連続的な階段状に減算するようにして滑らかにしてもよい。
【００５２】
また、傾きａの値を画像に一律の値に適用するのではなく、隣接画素間での奥行き値の差が大きいところは傾きを大きくし、奥行き値の差が小さいところは傾きを小さくして、緩衝領域の幅が有る程度の範囲に収まるようにしてもよい。
【００５３】
また、前景領域の外側の周辺画素の全てに適用せずに、隣接画素間での奥行き値の差が一定以上の場合にだけ適用したり、前景領域の大きさが一定以上の場合にだけ適用するようにしてもよい。また、動画などで前景領域があまり一定個所にとどまっていない場合には、適用しないようにしてもよい。これらの処理により、あまりオクルージョンが目立たない個所で余分な処理を行うことによる演算量の増加を抑えることができる。
【００５４】
（実施例２）
図４は、本発明の立体映像生成装置の別の一例の概略構成を示すブロック図である。同図に示すように、立体映像生成装置２００は、映像データ取得部１０１、奥行き情報生成部１０３、飛び出し領域設定部２０１、飛び出し領域奥行き情報加工部２０２、奥行き情報加工部１０４、映像シフト部１０５、およびオクルージョン補償部１０６を備えた構成となっている。図４の構成要素のうち、映像データ取得部１０１、奥行き情報生成部１０３、奥行き情報加工部１０４、映像シフト部１０５、およびオクルージョン補償部１０６は、前述の実施例１に記載した立体映像生成装置（図１）の構成要素と同等の機能であり、ここでの繰り返しの説明は省略する。
【００５５】
本例の立体映像生成装置は、図１の前景背景抽出部１０２の代わりに、飛び出し領域設定部２０１および飛び出し領域奥行き情報加工部２０２を備え、飛び出し領域設定部２０１は、２Ｄ映像データに対して手前に飛び出させる飛び出し領域を設定し、飛び出し領域奥行き情報加工部２０２は、飛び出し領域設定部２０１で設定した飛び出し領域に含まれる奥行き値を、手前に飛び出させるための所定の奥行き値に変更する。
【００５６】
すなわち、飛び出し領域設定部２０１は、ユーザの指示を解釈して、映像データ取得部１０１で取得した入力画像の中からユーザが飛び出させたい飛び出し領域を設定する部分である。飛び出し領域奥行き情報加工部２０２は、奥行き情報生成部１０３が生成した奥行き値に対して、飛び出し領域設定部２０１で設定した飛び出し領域に含まれる奥行き値を手前に飛び出させるための所定の奥行き値に変更する部分である。本例では、単に２Ｄ映像データを３Ｄ映像データに変換するだけでなく、映像データのある部分に注目を集めたい場合や、人の目を引き付けて“アッ”と思わせたい場合がある。この場合には、特定の部分が飛び出た３Ｄ映像データに変換することが有効である。
【００５７】
注目を集めたい部分や人の目を引き付けたい部分は、ユーザの意図や映像データの内容によって異なるため、飛び出させる部分をユーザに指定してもらうのが現実的である。この飛び出し領域設定部２０１は、ユーザからの指示に従って飛び出し領域を設定する部分であるが、その実現手段はいくつもある。例えば、飛び出させる部分をマスク映像として用意してもらったり、飛び出させたい領域を大まかに囲ってもらい、その内部にある物体を認識して、その物体を飛び出し領域として認識したり、画面内で幾つかの候補をユーザに提示してポインティングしてもらったりする手法があり、そのどれであっても構わない。また、動画シーケンスの場合に、全画面で飛び出させる部分をユーザが指定することとしても良いし、任意の画面でユーザが指定した飛び出させる部分を全動画シーケンスにわたって追跡して飛び出させる部分を抽出するようにしても良い。
【００５８】
飛び出し領域奥行き情報加工部２０２は、上記で設定された飛び出し領域の奥行き値を、手前に飛び出させるための所定の奥行き値に加工する部分であり、所定の奥行き値とは、手前に飛び出させる特定の奥行き値でも良いし、画像内の奥行き値の中で一番視聴者に近い値よりも一定値分だけ手前になる奥行き値でも良く、ユーザが適宜設定するようにしても良い。
【００５９】
奥行き情報加工部１０４は、前述の実施例１では、前景と背景との隣接画素間の奥行き情報の差が大きい部分を滑らかにするように奥行き値を変更したが、本実施例では、飛び出させる領域とそれ以外の領域との隣接画素間の奥行き情報の差が大きい部分を滑らかにするように奥行き値を変更する。具体的な方法については実施例１に記載した通りであるため、繰り返しの説明は省略する。
【００６０】
（実施例３）
ここまでの実施例では、画素を左右にずらすことによるオクルージョン領域を小さくする手法について述べてきたため、緩衝領域の水平方向（ｘ軸方向）の隣接画素間での奥行き値の差が大きい部分についての対応を記載した。しかし、緩衝領域の垂直方向（ｙ軸方向）の隣接画素間での奥行き値の差が大きい場合に、特に文字を重畳した部分に物体が存在すると、その物体が前後方向にデコボコに折れ曲がって見える場合がある。それを解消するために、ｘ軸方向だけでなく、ｙ軸方向の隣接画素間での奥行き値の差も滑らかにすることにより、デコボコ感を無くし、違和感のない、前後方向になだらかな凹凸感を得ることが可能となる。
【００６１】
図５（Ａ）は、奥行き情報加工部１０４に入力された奥行き情報の一例を示す図で、図中、４は背景領域、５は前景領域を示す。図５（Ｂ）は、ｘ軸方向及びｙ軸方向の隣接画素間での奥行き値の差が大きい部分を滑らかにするように、奥行き情報加工部１０４で加工した奥行き情報の一例を示す図で、図中、６は背景領域、７は前景領域、８は緩衝領域を示す。図５（Ａ）、（Ｂ）はともに、０〜２５５の奥行き値をグレースケールの映像とした図であり、黒に近いほど視聴者から遠い奥行き値が設定され、白に近いほど視聴者に近い奥行き値が設定されているものとする。
【００６２】
図５（Ａ）に示すように、一様な奥行き値が設定された背景領域４に、前景領域５として、「評価用映像」という文字が重畳された２Ｄ映像データの奥行き情報が奥行き情報加工部１０４に入力される。なお、「評価用映像」という文字部分に相当する前景領域５の画素には２５５の奥行き値が設定され、それ以外の部分に相当する背景領域４の画素の奥行き値には０が設定されている。そして、図５（Ｂ）に示すように、奥行き情報加工部１０４で図５（Ａ）の奥行き情報が加工される。図５（Ａ）の「評価用映像」という文字に対応する前景領域７の画素は２５５の奥行き値のままであるが、その外側の周辺部分、すなわち、緩衝領域８に含まれる画素の奥行き値が、前景領域７から遠ざかるにつれて２５５から段々０に近づいているような映像となっていることが分かる。
【００６３】
ここでは左右斜めの８方向に隣接した画素間の距離を１とするチェス盤距離を用いて、領域７の画素からのチェス盤距離に応じて奥行き値を減算する所定の一次関数を定義し、その関数で算出した値が対象画素の奥行き値よりも大きい場合には対象画素の奥行き値をその算出値で置き換え、算出値が対象画素の奥行き値よりも小さい場合には対象画素の奥行き値をそのままとする。これにより、ｘ軸方向およびｙ軸方向の隣接画素間での奥行き値の差が大きい部分を滑らかにしている。なお、ここでチェス盤距離を利用する例を記載したが、街区画距離やユークリッド距離を利用してもよく、ｘ軸方向とｙ軸方向とに用いる重み付けが異なるような距離を用いても良い。
【００６４】
これまで述べた例では一次関数を利用して緩衝領域の奥行き値を変更して隣接画素間での奥行き値の差を滑らかにしたが、一次関数でなく２次以上のＮ次関数や指数関数を用いて緩衝領域の奥行き値を変更してもよい。また、前景領域の奥行き値からの減算具合を連続的な線状でなく、ある程度量子化して非連続的な階段状に減算するように滑らかにしてもよい。
【００６５】
また、前景領域の外側の周辺画素の全てに適用せずに、隣接画素間での奥行き値の差が一定以上の場合にだけ適用したり、前景領域の大きさが一定以上の場合にだけ適用するようにしたりしてもよい。また、動画などで前景領域があまり一定個所にとどまっていない場合には、適用しないようにしてもよい。これらの処理により、あまりオクルージョンが目立たない個所で余分な処理を行うことによる演算量の増加を抑えることが可能となる。
【符号の説明】
【００６６】
１…壁、２…時計、３…文字、４，６…背景領域、５，７…前景領域、８…緩衝領域、１００，２００，３００…立体映像生成装置、１０１，３０１…映像データ取得部、１０２…前景背景抽出部、１０３，３０２…奥行き情報生成部、１０４…奥行き情報加工部、１０５，３０３…映像シフト部、１０６，３０４…オクルージョン補償部、２０１…飛び出し領域設定部、２０２…飛び出し領域奥行き情報加工部。
【技術分野】
【０００１】
本発明は、映像データの奥行き情報から視差画像を生成する映像処理装置および該装置を備えた立体映像生成装置に関するものである。
【背景技術】
【０００２】
従来、立体映像を表示する様々な方法が提案されてきた。その中でも一般的に用いられているのは、両眼視差を持った左眼用画像と右眼用画像を用意し、それぞれ独立に左右の眼に投影することにより立体表示を行う「２眼式」と呼ばれるものである。このような立体映像の表示を行う機器として、３Ｄ対応テレビや３Ｄ対応携帯端末などが普及し始めている。しかし、３Ｄ映像データの放送や３Ｄ映像データが記録された記録メディア、３Ｄ対応カメラで撮影されたコンテンツ等はまだ一般的ではないため、立体映像表示機器としては、デジタルチューナや記録メディアから取得した２Ｄ映像データを３Ｄの映像データにリアルタイムに変換して再生する機能を搭載しているのが一般的である。この機能を「２Ｄ３Ｄ変換」と呼ぶ。なお、ここではリアルタイムに変換する機能としたが、オフラインで非リアルタイムに２Ｄ映像データを３Ｄ映像データに変換しておく機能も２Ｄ３Ｄ変換機能の実現手法の１つである。
【０００３】
この２Ｄ３Ｄ変換の手法はいくつかあるが、代表的な手法として、例えば、特許文献１に記載された手法が知られている。この手法では、基本奥行きモデルを３種類用意しておき、所定領域の画素値の統計量に基づいて、用意しておいた奥行きモデルの合成比を決定して、各画素の奥行き情報を生成し、さらに赤色信号の成分に応じて奥行き情報を画素毎に補正する。画素毎の奥行き情報は、各画素をディスプレイ面からどの程度奥側または手前側に表示するかを示す情報に相当するので、その情報を左眼用画素と右眼用画素のシフト量に換算して、入力画像から各画素を換算したシフト量分シフトして左眼用画像と右眼用画像を生成すれば、３Ｄ映像データに変換できたこととなる。この際、各画素のシフト量が異なることにより、画素値が存在しなくなる穴のような画素が発生してしまうが、これは「オクルージョン」と呼ばれる事象で、一般的に周辺画素から画素値を補填することで対応している。
【０００４】
図６は、従来の立体映像生成装置の一例の概略構成を示すブロック図で、図中、３００は立体映像生成装置を示す。立体映像生成装置３００は、映像データ取得部３０１、奥行き情報生成部３０２、映像シフト部３０３、およびオクルージョン補償部３０４を備えた構成となっている。
【０００５】
映像データ取得部３０１は、図示しないデジタルチューナ、あるいは通信ネットワーク、あるいは映像データが格納された記録メディアに接続し、３Ｄ映像データに変換する２Ｄ映像データを取得する部分である。奥行き情報生成部３０２は、各種画像の特性を利用して各画素の奥行き情報を生成する部分である。映像シフト部３０３は、各画素の奥行き情報に応じて入力画像を左右にシフトして右眼用画像と左眼用画像を生成する部分である。オクルージョン補償部３０４は、画像をシフトすることにより画素値が存在しなくなるオクルージョン領域を補填する部分である。
【０００６】
特許文献１に記載の手法以外の手法として、特許文献２に記載の手法がある。この手法は、映像内のエッジを検出し、エッジ情報（高周波成分）が多い領域を前景と判断し、そうでない領域を背景と判断し、前景の領域と背景の領域とで入力画像のシフトの仕方を変えることで３Ｄ映像を生成している。この他に前景と背景とに分離する手法としては、被写体の動きの速さ，物体の遮蔽関係，コントラスト比などの画像特性のいずれかを利用して前景と背景に分離する手法があり、その前後関係を推測して各画素に奥行き情報を設定することで、３Ｄ映像を生成する。
【０００７】
この前景と背景との前後関係の差によっては、隣接する画素間で奥行き値が大きく異なることとなる。そのような奥行き情報から特許文献１の手法で３Ｄ映像データを生成すると、隣接する画素どうしでシフト量が大きく異なるので、大きなオクルージョンの領域が発生してしまう。オクルージョンへの対応策は、前述したように、周辺の画素からコピーするなどしてオクルージョンの部分を補填するのが一般的である。すると、大きなオクルージョンの領域の場合には、同じ画素が連続して何画素もコピーされることとなり、結果的に、映像の一部分が無理矢理引きのばされたような映像が生成されてしまう。
【０００８】
このような現象の回避方法として、例えば、特許文献３に記載の奥行き情報を付与する手法がある。この手法とは、離散的奥行きが等しく隣接する画素をまとめてオブジェクトとし、そのオブジェクト内部及びオブジェクトとオブジェクトの間に連続的かつ滑らかな奥行きを付与する手法である。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００６−１８６７９５号公報
【特許文献２】特開平１０−２７６４５５号公報
【特許文献３】特開２００５−１５７９１０号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、上述の特許文献３に記載の手法では、人工的に付与したテロップや平らな物体に円柱のように丸まった出っ張りが生じて不自然に歪んでしまうとの課題が有る。特許文献３（図６）には、オブジェクト内部及びオブジェクトとオブジェクトの間に連続的かつ滑らかな奥行きを付与した例が示されている。放射線分２２上では、オブジェクト１４、オブジェクト１３、オブジェクト１６、背景の順に並んでいて、離散的奥行きは、点Ａ１と点Ａ２の間の領域でＹ１、点Ａ２と点Ａ３の間の領域でＹ２、点Ａ３と点Ａ４の間の領域でＹ３となっている。線分３２が所定の奥行き関数に従って作成する擬似的奥行きであり、一番手前に位置するオブジェクト１４の奥行き値が丸みを帯びるように補正されている。この際、ぬいぐるみのような丸みを帯びた物体に対して、この手法を適用することは特段問題とならないが、人工的に付与したテロップや平らな物体にこの手法を適用すると、テロップや平らな物体が円柱のように前後方向に丸まったように見えてしまう。
【００１１】
本発明は、上述のような実情を鑑み、２Ｄ３Ｄ変換後の映像において、映像の一部分が無理矢理引き伸ばされたようにならず、かつ、映像の中で特に目立つ前景の物体が不自然に歪んだりしない３Ｄ映像を生成する映像処理装置および該装置を備えた立体映像生成装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記課題を解決するために、本発明の第１の技術手段は、映像データの第一の領域と該第一の領域よりも奥側に位置する第二の領域とに含まれる各画素の奥行き値を取得する奥行き情報取得部と、前記第一の領域の外側の周辺部分を緩衝領域とし、該緩衝領域に含まれる画素の奥行き値を、前記第一の領域からの距離に応じて、該第一の領域の奥行き値から前記第二の領域の奥行き値まで連続的にまたは段階的に変更する奥行き情報加工部とを備えたことを特徴としたものである。
【００１３】
第２の技術手段は、第１の技術手段において、前記奥行き情報加工部は、前記緩衝領域に含まれる画素の奥行き値を、前記第一の領域からの距離が近いほど該第一の領域の奥行き値に近い値に変更し、前記第一の領域からの距離が遠いほど前記第二の領域の奥行き値に近い値に変更することを特徴としたものである。
【００１４】
第３の技術手段は、第１または第２の技術手段において、前記映像データから前景領域と背景領域を分離して抽出する前景背景抽出部を備え、前記第一の領域は前記前景領域であり、前記第二の領域は前記背景領域であることを特徴としたものである。
【００１５】
第４の技術手段は、第１または第２の技術手段において、前記映像データに対して手前に飛び出させる飛び出し領域を設定する飛び出し領域設定部と、該飛び出し領域設定部で設定した飛び出し領域に含まれる奥行き値を、手前に飛び出させるための所定の奥行き値に変更する飛び出し領域奥行き情報加工部とを備え、前記第一の領域は前記飛び出し領域であり、前記第二の領域は前記飛び出し領域以外の領域であることを特徴としたものである。
【００１６】
第５の技術手段は、第１〜第４のいずれか１の技術手段において、前記奥行き情報加工部は、前記緩衝領域の水平方向に含まれる画素の奥行き値を変更することを特徴としたものである。
【００１７】
第６の技術手段は、第５の技術手段において、前記奥行き情報加工部は、さらに、前記緩衝領域の垂直方向に含まれる画素の奥行き値を変更することを特徴としたものである。
【００１８】
第７の技術手段は、第１〜第６のいずれか１の技術手段において、前記奥行き情報加工部は、前記緩衝領域の対象画素に対して、前記第一の領域から前記緩衝領域の対象画素までの距離をＬ、予め定められた傾きの絶対値をａ、前記第一の領域の奥行き値をＤ、前記対象画素の奥行き候補値をＣとした場合、該対象画素の奥行き候補値を、Ｃ＝Ｄ−（ａ＊Ｌ）により求め、前記対象画素の奥行き候補値が、該対象画素の奥行き値よりも大きい場合に、前記対象画素の奥行き値を前記奥行き候補値に置き換えることを特徴としたものである。
【００１９】
第８の技術手段は、第１〜第７のいずれか１の技術手段において、前記奥行き情報加工部から出力される各画素の奥行き値に応じて、前記映像データを左右にシフトして左眼用画像と右眼用画像を生成する映像シフト部を備えたことを特徴としたものである。
【００２０】
第９の技術手段は、第１〜第８のいずれか１の技術手段において、前記奥行き情報取得部として、前記第一の領域と前記第二の領域とに含まれる各画素の奥行き値を生成する奥行き情報生成部を備えたことを特徴としたものである。
【００２１】
第１０の技術手段は、第１〜第９のいずれか１の技術手段において、前記第一の領域は、文字を含むことを特徴としたものである。
【００２２】
第１１の技術手段は、第１〜第１０のいずれか１の技術手段における映像処理装置を備えた立体映像生成装置である。
【発明の効果】
【００２３】
本発明によれば、２Ｄ３Ｄ変換を行なう際に、前景領域あるいはユーザが指定した飛び出し領域と、その領域に隣接するそれ以外の領域との奥行きの差が大きい場合でも、映像の一部分が無理矢理引き伸ばされたようにならず、かつ、映像の中で特に目立つ前景領域あるいは飛び出し領域の物体が不自然に歪んだりすることのない自然な３Ｄ映像を生成することができる。
【図面の簡単な説明】
【００２４】
【図１】本発明の立体映像生成装置の一例の概略構成を示すブロック図である。
【図２】本発明による奥行き情報加工部に入力された奥行き情報の一例を示した図である。
【図３】本発明による奥行き情報加工部にて加工を行った奥行き情報の一例を示した図である。
【図４】本発明の立体映像生成装置の別の一例の概略構成を示すブロック図である。
【図５】本発明による奥行き情報加工部に入力された奥行き情報及び奥行き情報加工部にて加工を行った奥行き情報の一例を示した図である。
【図６】従来の立体映像生成装置の一例の概略構成を示すブロック図である。
【発明を実施するための形態】
【００２５】
以下、添付図面を参照しながら、本発明の映像処理装置および該装置を備えた立体映像生成装置に係る好適な実施の形態について立体映像生成装置を例示して説明するものとする。
【００２６】
（実施例１）
図１は、本発明の立体映像生成装置の一例の概略構成を示すブロック図である。同図に示すように、立体映像生成装置１００は、映像データ取得部１０１、前景背景抽出部１０２、奥行き情報生成部１０３、奥行き情報加工部１０４、映像シフト部１０５、およびオクルージョン補償部１０６を備えた構成となっている。なお、本発明に係る映像処理装置は、少なくとも奥行き情報加工部１０４を備えたものであるが、この奥行き情報加工部１０４に加え、前景背景抽出部１０２、奥行き情報生成部１０３、および映像シフト部１０５を含めるようにしてもよい。
【００２７】
映像データ取得部１０１は、図示しないデジタルチューナ、あるいは通信ネットワーク、あるいは映像データが格納された記録メディアに接続し、３Ｄ映像データに変換する２Ｄ映像データを取得する部分である。前景背景抽出部１０２は、映像データ取得部１０１で取得した入力画像の画像特性から前景の領域と背景の領域とに分離して抽出する部分である。前景と背景の分離方法としては、前述した公知の方法を用いることができる。すなわち、エッジ情報（高周波成分）が多い領域を前景と判断し、そうでない領域を背景と判断する方法や、被写体の動きの速さ，物体の遮蔽関係，コントラスト比などの画像特性のいずれかを利用して前景と背景に分離するようにしてもよい。
【００２８】
奥行き情報生成部１０３は、各種画像の特性を利用して各画素の奥行き値を生成する部分である。奥行き情報加工部１０４は、前景と背景との間における隣接画素間での奥行き値の差が大きい部分を滑らかにするように、奥行き情報生成部１０３で生成した奥行き情報の加工を行う部分である。映像シフト部１０５は、奥行き情報加工部１０４から出力される奥行き情報（各画素の奥行き値）に応じて、映像データ取得部１０１で取得した入力画像（２Ｄ映像データ）を左右にシフトして右眼用画像と左眼用画像を生成する部分である。オクルージョン補償部１０６は、映像シフト部１０５で各画素をシフトしたことにより生じた画素値が存在しないオクルージョン領域を補填して、違和感のない３Ｄ映像データを生成する部分である。
【００２９】
図１の構成要素のうち、映像データ取得部１０１、映像シフト部１０５、およびオクルージョン補償部１０６は、前述の図６に示した構成要素である映像データ取得部３０１、映像シフト部３０３、およびオクルージョン補償部３０４とそれぞれ同等の機能を有しているものとする。
【００３０】
以下、奥行き情報加工部１０４で奥行き情報を加工した例を図２および図３に基づいて説明する。図２は、奥行き情報加工部１０４に入力された加工前の奥行き情報の一例を示す図であり、図３は、奥行き情報加工部１０４で加工後の奥行き情報の一例を示す図である。
【００３１】
この図２の奥行き情報に対応する２Ｄ映像データは、背景となる壁１が画面全体に奥行き方向にほぼ同一の位置にあり、その手前に平らな時計２が真正面に置かれ、さらにその前にテロップと書かれた文字３が重畳された映像である。このような映像での奥行き情報として、点線Ｈ１の横線部分の画素の奥行き値を図示している。つまり、映像の下に太直線Ｌ１で示したものが奥行き値である。点線Ｈ１上の画素の中で、テロップと書かれた文字３の部分には奥行き値Ｄ１が割り振られ、時計２の部分には奥行き値Ｄ２が割り振られ、壁１の部分には奥行き値Ｄ３が割り振られている。これらの奥行き値Ｄ１〜Ｄ３は、奥行き情報生成部１０３により割り振られる。ここで、Ｄ１、Ｄ２、Ｄ３の関係は、視聴者に近い位置から、Ｄ１、Ｄ２、Ｄ３の奥行き値となっている。ここでは奥行き値が大きいほど視聴者に近いものと定義するので、Ｄ１＞Ｄ２＞Ｄ３の関係となっている。
【００３２】
奥行き値Ｄ１が割り振られる文字３の部分の画素は、画素Ｐ１から画素Ｐ２までの間と、画素Ｐ３から画素Ｐ４までの間と、画素Ｐ５から画素Ｐ６までの間と、画素Ｐ７から画素Ｐ８までの間である。奥行き値Ｄ２が割り振られる時計２の前面部分の画素は、画素Ｐ８が文字の部分の画素になるため、画素Ｐ８の右隣から画素Ｐ９までの間である。奥行き値Ｄ３が割り振られる壁１の部分の画素は、画素Ｐ０から画素Ｐ１の左隣までの間と、画素Ｐ２の右隣から画素Ｐ３の左隣までの間と、画素Ｐ４の右隣から画素Ｐ５の左隣までの間と、画素Ｐ６の右隣から画素Ｐ７の左隣までの間と、画素Ｐ９の右隣から画素Ｐ１０までの間である。
【００３３】
例えば、特許文献１に記載のように、入力画像の画素値を右にシフトさせるシフト量をＳとした場合、左眼用画像は、下記の式（１）で求まるシフト量Ｓだけ画素シフトすることによって生成される。
Ｓ＝（Ｙｄ−ｍ）／ｎ …式（１）
ここでＹｄは各画素での奥行き値、ｍはディスプレイ面の奥行き値、ｎは奥行き感を調整するパラメータとなる。そして、Ｙｄの値がｍより大きい場合は、その画素をディスプレイ面よりも手前に表示する場合であり、入力画像の該当画素の値を、右に（Ｙｄ−ｍ）／ｎ画素分シフトした位置の左眼用画像の画素の値とする。Ｙｄの値がｍより小さい場合は、その画素をディスプレイ面よりも奥側に表示する場合であり、（Ｙｄ−ｍ）／ｎの値がマイナスの値となるので、入力画像の該当画素の値を反対方向である左に（ｍ−Ｙｄ）／ｎ画素分シフトした位置の左眼用画像の画素の値とする。
【００３４】
なお、特許文献１では、各画素のシフトを行って生成した画像を左眼用画像とし、入力画像を右眼用画像としているが、これは処理量を減らすためであり、一般的には、右眼用画像についても各画素のシフトを行って生成する。その場合は左眼用画像の生成時とは逆の方にシフトさせることになる。すなわち、入力画像の画素値を左に（Ｙｄ−ｍ）／ｎ画素シフトすることによって右眼用画像を生成する。また、左眼用画像のときと同様に、Ｙｄの値がｍより大きい場合は、その画素をディスプレイ面よりも手前に表示する場合であり、入力画像の該当画素の値を、左に（Ｙｄ−ｍ）／ｎ画素分シフトした位置の右眼用画像の画素の値とする。Ｙｄの値がｍより小さい場合は、その画素をディスプレイ面よりも奥側に表示する場合であり、（Ｙｄ−ｍ）／ｎの値がマイナスの値となるので、入力画像の該当画素の値を反対方向である右に（ｍ−Ｙｄ）／ｎ画素分シフトした位置の右眼用画像の画素の値とする。
【００３５】
ここで例として、奥行き値Ｙｄの値を０から２５５の値とし、ディスプレイ面ｍは奥行き値の取り得る値の中央値である１２８とし、奥行き感を調整するパラメータｎを１とする。また、文字３の部分の奥行き値Ｄ１を１２７、時計２の部分の奥行き値Ｄ２を１２３、壁１の部分の奥行き値Ｄ３を１１８とする。すなわちこの例では、全画素がディスプレイ面よりも奥側に位置する設定となる。
【００３６】
左眼用画像の場合、（Ｙｄ−ｍ）／ｎの式（１）から、奥行き値がＤ１の場合は左に１画素ずらし、奥行き値がＤ２の場合は左に５画素ずらし、奥行き値がＤ３の場合は左に１０画素ずらして左眼用画像を生成することとなる。また、画素Ｐ０から画素Ｐ１の左隣までの間は奥行き値がＤ３であるので、その間は、各々の画素を左に１０画素ずらして左眼用画像を生成する。画素Ｐ１から画素Ｐ２までは奥行き値がＤ１となり、左に１画素ずらして左眼用画像を生成する。すると、画素Ｐ１が１画素左にずれ、画素Ｐ１の左隣が１０画素左にずれるので、左眼用画像のその間の９画素分はどこからもずれてこないこととなり、画素値が算出出来ない穴のような領域となる。この領域をオクルージョンと呼ぶ。
【００３７】
画素Ｐ２の右隣の奥行き値はＤ３であるので、画素を左に１０画素ずらすが、画素Ｐ２の９画素左の画素の奥行き値がＤ１であれば、その画素と重なってしまう。その場合は視聴者に近い側を優先するのが一般的である。
【００３８】
また、右眼用画像の場合、（Ｙｄ−ｍ）／ｎの式（１）から、奥行き値がＤ１の場合は右に１画素ずらし、奥行き値がＤ２の場合は右に５画素ずらし、奥行き値がＤ３の場合は右に１０画素ずらして右眼用画像を生成することとなる。画素Ｐ０から画素Ｐ１の左隣までの間は奥行き値がＤ３であるので、その間は、各々の画素を右に１０画素ずらして右眼用画像を生成する。また、画素Ｐ１から画素Ｐ２までは奥行き値がＤ１となり、右に１画素ずらして右眼用画像を生成する。画素Ｐ１の９画素左の画素の奥行き値がＤ３であれば、画素Ｐ１のずらし先と重なってしまうが、その場合は視聴者に近い側を優先するのが一般的である。
【００３９】
画素Ｐ２の右隣の奥行き値はＤ３であるので、画素を右に１０画素ずらすことになる。つまり、画素Ｐ２が１画素右にずれ、画素Ｐ２の右隣が１０画素右にずれるので、右眼用画像のその間の９画素分はどこからもずれてこないこととなり、画素値が算出出来ないオクルージョン領域が出来てしまう。
【００４０】
オクルージョンへの対応策は、周辺の画素からコピーするなどしてオクルージョンの部分を補填するのが一般的である。数画素程度のオクルージョンであればこの手法で違和感は生じないが、今回の例のように９画素分のオクルージョンについては、９画素も同じ値が連続するとその部分が無理矢理引きのばされたような映像となってしまう。特に前景のようなクッキリしており、人が注目しやすい領域を何画素もコピーすると、大きな歪みとなり、著しく違和感のある映像となってしまう。
【００４１】
本発明の主たる目的は、２Ｄ３Ｄ変換後の映像において、映像の一部分が無理矢理引き伸ばされたようにならず、かつ、映像の中で特に目立つ前景の物体が不自然に歪んだりしない３Ｄ映像を生成できるようにすることにある。このための構成として、前述の図１に示したように、立体映像生成装置１００は、２Ｄ映像データの第一の領域と第一の領域よりも奥側に位置する第二の領域とに含まれる各画素の奥行き値を取得する奥行き情報取得部と、第一の領域の外側の周辺部分を緩衝領域とし、緩衝領域に含まれる画素の奥行き値を、第一の領域からの距離に応じて、第一の領域の奥行き値から第二の領域の奥行き値まで連続的にまたは段階的に変更する奥行き情報加工部１０４とを備える。図１の例における立体映像生成装置１００は、２Ｄ映像データから前景領域と背景領域を分離して抽出する前景背景抽出部１０２と、奥行き情報取得部の一例として、前景背景抽出部１０２で抽出された前景領域と背景領域とに含まれる各画素の奥行き値を生成する奥行き情報生成部１０３とを備えており、第一の領域は前景領域に相当し、第二の領域は背景領域に相当する。
【００４２】
図１の例では、奥行き情報生成部１０３が奥行き情報取得部に相当する。そして、奥行き情報加工部１０４は、奥行き情報生成部１０３から前景領域と背景領域とに含まれる各画素の奥行き値を入力するようにしているが、別の形態として、前景領域および背景領域それぞれの領域毎の奥行き値を外部ネットワーク等から取得するようにしてもよい。この場合、映像データ取得部１０１が奥行き情報取得部に相当し、映像データ取得部１０１が外部ネットワーク等から映像データおよび領域毎の奥行き値を取得する。そして、映像データ取得部１０１で取得された領域毎の奥行き値が奥行き情報加工部１０４に入力される。このように外部ネットワーク等を利用できる場合には、前景背景抽出部１０２および奥行き情報生成部１０３を不要にすることができる。
【００４３】
本発明では、図３で示した太直線Ｌ２のように、隣接画素間での奥行き値の差が大きい部分を滑らかにするように奥行き値を変更（加工）することにより、オクルージョンの部分が大きくならないようにする。ただし、前景領域は人が着目し易い部分であるため、その部分の奥行き値を変えると違和感が生じやすい。そこで、前景領域の奥行き値は変えずに、前景領域の外側の周辺部分の奥行き値を変えるようにすればよい。具体的には、前景領域の奥行き値は変えずに、前景領域の外側の周辺部分に含まれる画素の奥行き値を、前景領域からの距離が近いほど前景領域の奥行き値に近い値に変更し、前景領域からの距離が遠いほど背景領域の奥行き値に近い値に変更する。この変更を行う画素の領域を、前景領域と背景領域の奥行き値の差を滑らかにつなげる領域との意味で、本明細書では「緩衝領域」と呼ぶ。
【００４４】
図３の例では、緩衝領域に相当する画素は、画素Ｑ１の右隣から画素Ｐ１の左隣までの間と、画素Ｐ２の右隣から画素Ｐ３の左隣までの間と、画素Ｐ４の右隣から画素Ｑ３の左隣までの間と、画素Ｑ４の右隣から画素Ｐ５の左隣までの間と、画素Ｐ６の右隣から画素Ｐ７の左隣までの間と、画素Ｐ８の右隣から画素Ｑ６の左隣までの間と、画素Ｐ９の右隣から画素Ｑ９の左隣までの間に相当する。
【００４５】
奥行き情報加工部１０４による緩衝領域での奥行き値の算出方法の一例について説明する。まず一定の傾きａを有する１次関数をあらかじめ定義しておく。図３の例では、傾きａの値は、（Ｄ１−Ｄ３）／（Ｐ１のｘ座標−Ｑ１のｘ座標）に相当する。なお、例えば、Ｐ２〜Ｑ２、Ｑ２〜Ｐ３のように前景間に挟まれた緩衝領域の場合、Ｐ２〜Ｑ２とＱ２〜Ｐ３とで逆の傾きがそれぞれ設定される。これは、左眼用画像を生成する際にはＱ２〜Ｐ３間でオクルージョン領域が発生し、右眼用画像を生成する際にはＰ２〜Ｑ２間でオクルージョン領域が発生するため、左右で逆の傾きを設定するようにしている。そして、緩衝領域に含まれる対象画素に対して、前景領域から緩衝領域の対象画素までの（ｘ座標上の）距離をＬ、予め定められた傾きの絶対値をａ、前景領域の奥行き値をＤ、対象画素の奥行き候補値をＣとした場合に、対象画素の奥行き候補値Ｃを、
Ｃ＝Ｄ−（ａ＊Ｌ） …式（２）
により算出する。なお、本例では、前景領域の奥行き値ＤはＤ１、緩衝領域の対象画素の奥行き値はＤ３である。
【００４６】
上記の式（２）で求めた対象画素の奥行き候補値Ｃが対象画素の奥行き値Ｄ３よりも手前側の奥行き値となる場合、すなわち、奥行き候補値Ｃが奥行き値Ｄ３よりも大きい場合（図３の例ではＱ１からＰ１の間の部分の画素）には、対象画素の奥行き値Ｄ３を奥行き候補値Ｃで置き換える。一方、対象画素の奥行き候補値Ｃが対象画素の奥行き値Ｄ３よりも小さい場合（図３の例ではＰ０からＱ１の間の部分の画素）には、奥行き値Ｄ３はそのままとし、置き換え処理は実行しない。このようにして前景領域と背景領域の隣接画素間での奥行き値の差が大きい部分を滑らかにしている。
【００４７】
ここで、緩衝領域の対象画素に対して、ｘ座標上の前景領域からの距離が１離れると対象画素の奥行き値が前景領域の奥行き値から１減算されるように傾きａを設定した場合を想定する。この場合、画素Ｐ１の奥行き値は１２７なので、画素Ｐ１の１つ左隣の画素の奥行き値は１２６、画素Ｐ１の２つ左側の画素の奥行き値は１２５、画素Ｐ１の３つ左側の画素の奥行き値は１２４、・・・となる。このようにすることにより、前述の式（１）で、ｍ＝１２８，ｎ＝１，Ｙｄ＝１２７，１２６，１２５，１２４，…とした場合、左眼用画像に関しては、画素Ｐ１は左に１画素ずれ、画素Ｐ１の１つ左隣の画素は左に２画素ずれ、画素Ｐ１の２つ左側の画素は左に３画素ずれ、画素Ｐ１の３つ左側の画素は左に４画素ずれ、・・・となり、９画素分の大きな穴が発生することはなく、１画素の穴が飛び飛びに発生することとなる。すなわち、同じ画素値が連続して何画素もコピーされて無理矢理引き伸ばされたような映像ではなく、広い範囲で序々にコピーが発生し、全体的に引き伸ばされたような映像となる。
【００４８】
また、画素Ｐ２と画素Ｐ３の間、画素Ｐ４と画素Ｐ５の間、画素Ｐ６と画素Ｐ７の間のような前景領域の間に挟まれた領域では、それぞれの領域に含まれる対象画素に対して、左右それぞれの前景領域からの距離に応じた奥行き値を式（２）により算出し、さらに、対象画素の奥行き値を含めた３つの値の中から一番大きい値を選択する。すなわち、（左側の前景の奥行き値）−（ａの絶対値）＊（ｘ座標上の左側の前景からの距離）の算出値と、（右側の前景の奥行き値）−（ａの絶対値）＊（ｘ座標上の右側の前景からの距離）の算出値と、対象画素の奥行き値との３つの値の中から一番大きい値を選択する。結果的に、画素Ｐ２と画素Ｐ３の間や、画素Ｐ６と画素Ｐ７の間のように全領域が緩衝領域となり奥行き値が変更された値となる場合もあれば、画素Ｐ４と画素Ｐ５の間のように、画素Ｑ３の間と画素Ｑ４の間を除いた一部の部分が緩衝領域となる場合もある。
【００４９】
また、異なる２つの前景領域が隣接する場合もある。例えば図３の画素Ｐ８のように文字３の前景と時計２の前景が隣接している場合である。図３では、隣接した場合に限り、両者の中からより視聴者に近い前景（この例では文字３）を前景と見なし、視聴者から遠い前景（この例では時計２）を背景と見なして、緩衝領域を視聴者から遠いほうの前景、つまり、時計２に設定している。より視聴者に近い前景の方に歪みがあると目立つため、このように処理をするのが妥当である。
【００５０】
上記の処理を行うことにより、大きなオクルージョンの領域が発生することはなく、小さいオクルージョンの領域が飛び飛びに発生するような状態となるので、同じ画素値が連続して何画素もコピーされて無理矢理引き伸ばされたような映像ではなく、広い範囲で序々にコピーが発生し、全体的に引き伸ばされたような映像となる。また、前景領域の外側の周辺部分の奥行き値のみを変更し、前景領域の奥行き値を変更しないので、映像の中で特に目立つ前景領域が不自然に歪んだりすることがない。
【００５１】
これまで述べた例では一次関数を利用して緩衝領域の奥行き値を変更して隣接画素間での奥行き値の差を滑らかにしたが、一次関数でなく２次以上のＮ次関数や指数関数を用いて緩衝領域の奥行き値を変更してもよい。また、前景領域の奥行き値からの減算具合を連続的な線状でなく、ある程度量子化して非連続的な階段状に減算するようにして滑らかにしてもよい。
【００５２】
また、傾きａの値を画像に一律の値に適用するのではなく、隣接画素間での奥行き値の差が大きいところは傾きを大きくし、奥行き値の差が小さいところは傾きを小さくして、緩衝領域の幅が有る程度の範囲に収まるようにしてもよい。
【００５３】
また、前景領域の外側の周辺画素の全てに適用せずに、隣接画素間での奥行き値の差が一定以上の場合にだけ適用したり、前景領域の大きさが一定以上の場合にだけ適用するようにしてもよい。また、動画などで前景領域があまり一定個所にとどまっていない場合には、適用しないようにしてもよい。これらの処理により、あまりオクルージョンが目立たない個所で余分な処理を行うことによる演算量の増加を抑えることができる。
【００５４】
（実施例２）
図４は、本発明の立体映像生成装置の別の一例の概略構成を示すブロック図である。同図に示すように、立体映像生成装置２００は、映像データ取得部１０１、奥行き情報生成部１０３、飛び出し領域設定部２０１、飛び出し領域奥行き情報加工部２０２、奥行き情報加工部１０４、映像シフト部１０５、およびオクルージョン補償部１０６を備えた構成となっている。図４の構成要素のうち、映像データ取得部１０１、奥行き情報生成部１０３、奥行き情報加工部１０４、映像シフト部１０５、およびオクルージョン補償部１０６は、前述の実施例１に記載した立体映像生成装置（図１）の構成要素と同等の機能であり、ここでの繰り返しの説明は省略する。
【００５５】
本例の立体映像生成装置は、図１の前景背景抽出部１０２の代わりに、飛び出し領域設定部２０１および飛び出し領域奥行き情報加工部２０２を備え、飛び出し領域設定部２０１は、２Ｄ映像データに対して手前に飛び出させる飛び出し領域を設定し、飛び出し領域奥行き情報加工部２０２は、飛び出し領域設定部２０１で設定した飛び出し領域に含まれる奥行き値を、手前に飛び出させるための所定の奥行き値に変更する。
【００５６】
すなわち、飛び出し領域設定部２０１は、ユーザの指示を解釈して、映像データ取得部１０１で取得した入力画像の中からユーザが飛び出させたい飛び出し領域を設定する部分である。飛び出し領域奥行き情報加工部２０２は、奥行き情報生成部１０３が生成した奥行き値に対して、飛び出し領域設定部２０１で設定した飛び出し領域に含まれる奥行き値を手前に飛び出させるための所定の奥行き値に変更する部分である。本例では、単に２Ｄ映像データを３Ｄ映像データに変換するだけでなく、映像データのある部分に注目を集めたい場合や、人の目を引き付けて“アッ”と思わせたい場合がある。この場合には、特定の部分が飛び出た３Ｄ映像データに変換することが有効である。
【００５７】
注目を集めたい部分や人の目を引き付けたい部分は、ユーザの意図や映像データの内容によって異なるため、飛び出させる部分をユーザに指定してもらうのが現実的である。この飛び出し領域設定部２０１は、ユーザからの指示に従って飛び出し領域を設定する部分であるが、その実現手段はいくつもある。例えば、飛び出させる部分をマスク映像として用意してもらったり、飛び出させたい領域を大まかに囲ってもらい、その内部にある物体を認識して、その物体を飛び出し領域として認識したり、画面内で幾つかの候補をユーザに提示してポインティングしてもらったりする手法があり、そのどれであっても構わない。また、動画シーケンスの場合に、全画面で飛び出させる部分をユーザが指定することとしても良いし、任意の画面でユーザが指定した飛び出させる部分を全動画シーケンスにわたって追跡して飛び出させる部分を抽出するようにしても良い。
【００５８】
飛び出し領域奥行き情報加工部２０２は、上記で設定された飛び出し領域の奥行き値を、手前に飛び出させるための所定の奥行き値に加工する部分であり、所定の奥行き値とは、手前に飛び出させる特定の奥行き値でも良いし、画像内の奥行き値の中で一番視聴者に近い値よりも一定値分だけ手前になる奥行き値でも良く、ユーザが適宜設定するようにしても良い。
【００５９】
奥行き情報加工部１０４は、前述の実施例１では、前景と背景との隣接画素間の奥行き情報の差が大きい部分を滑らかにするように奥行き値を変更したが、本実施例では、飛び出させる領域とそれ以外の領域との隣接画素間の奥行き情報の差が大きい部分を滑らかにするように奥行き値を変更する。具体的な方法については実施例１に記載した通りであるため、繰り返しの説明は省略する。
【００６０】
（実施例３）
ここまでの実施例では、画素を左右にずらすことによるオクルージョン領域を小さくする手法について述べてきたため、緩衝領域の水平方向（ｘ軸方向）の隣接画素間での奥行き値の差が大きい部分についての対応を記載した。しかし、緩衝領域の垂直方向（ｙ軸方向）の隣接画素間での奥行き値の差が大きい場合に、特に文字を重畳した部分に物体が存在すると、その物体が前後方向にデコボコに折れ曲がって見える場合がある。それを解消するために、ｘ軸方向だけでなく、ｙ軸方向の隣接画素間での奥行き値の差も滑らかにすることにより、デコボコ感を無くし、違和感のない、前後方向になだらかな凹凸感を得ることが可能となる。
【００６１】
図５（Ａ）は、奥行き情報加工部１０４に入力された奥行き情報の一例を示す図で、図中、４は背景領域、５は前景領域を示す。図５（Ｂ）は、ｘ軸方向及びｙ軸方向の隣接画素間での奥行き値の差が大きい部分を滑らかにするように、奥行き情報加工部１０４で加工した奥行き情報の一例を示す図で、図中、６は背景領域、７は前景領域、８は緩衝領域を示す。図５（Ａ）、（Ｂ）はともに、０〜２５５の奥行き値をグレースケールの映像とした図であり、黒に近いほど視聴者から遠い奥行き値が設定され、白に近いほど視聴者に近い奥行き値が設定されているものとする。
【００６２】
図５（Ａ）に示すように、一様な奥行き値が設定された背景領域４に、前景領域５として、「評価用映像」という文字が重畳された２Ｄ映像データの奥行き情報が奥行き情報加工部１０４に入力される。なお、「評価用映像」という文字部分に相当する前景領域５の画素には２５５の奥行き値が設定され、それ以外の部分に相当する背景領域４の画素の奥行き値には０が設定されている。そして、図５（Ｂ）に示すように、奥行き情報加工部１０４で図５（Ａ）の奥行き情報が加工される。図５（Ａ）の「評価用映像」という文字に対応する前景領域７の画素は２５５の奥行き値のままであるが、その外側の周辺部分、すなわち、緩衝領域８に含まれる画素の奥行き値が、前景領域７から遠ざかるにつれて２５５から段々０に近づいているような映像となっていることが分かる。
【００６３】
ここでは左右斜めの８方向に隣接した画素間の距離を１とするチェス盤距離を用いて、領域７の画素からのチェス盤距離に応じて奥行き値を減算する所定の一次関数を定義し、その関数で算出した値が対象画素の奥行き値よりも大きい場合には対象画素の奥行き値をその算出値で置き換え、算出値が対象画素の奥行き値よりも小さい場合には対象画素の奥行き値をそのままとする。これにより、ｘ軸方向およびｙ軸方向の隣接画素間での奥行き値の差が大きい部分を滑らかにしている。なお、ここでチェス盤距離を利用する例を記載したが、街区画距離やユークリッド距離を利用してもよく、ｘ軸方向とｙ軸方向とに用いる重み付けが異なるような距離を用いても良い。
【００６４】
これまで述べた例では一次関数を利用して緩衝領域の奥行き値を変更して隣接画素間での奥行き値の差を滑らかにしたが、一次関数でなく２次以上のＮ次関数や指数関数を用いて緩衝領域の奥行き値を変更してもよい。また、前景領域の奥行き値からの減算具合を連続的な線状でなく、ある程度量子化して非連続的な階段状に減算するように滑らかにしてもよい。
【００６５】
また、前景領域の外側の周辺画素の全てに適用せずに、隣接画素間での奥行き値の差が一定以上の場合にだけ適用したり、前景領域の大きさが一定以上の場合にだけ適用するようにしたりしてもよい。また、動画などで前景領域があまり一定個所にとどまっていない場合には、適用しないようにしてもよい。これらの処理により、あまりオクルージョンが目立たない個所で余分な処理を行うことによる演算量の増加を抑えることが可能となる。
【符号の説明】
【００６６】
１…壁、２…時計、３…文字、４，６…背景領域、５，７…前景領域、８…緩衝領域、１００，２００，３００…立体映像生成装置、１０１，３０１…映像データ取得部、１０２…前景背景抽出部、１０３，３０２…奥行き情報生成部、１０４…奥行き情報加工部、１０５，３０３…映像シフト部、１０６，３０４…オクルージョン補償部、２０１…飛び出し領域設定部、２０２…飛び出し領域奥行き情報加工部。
【特許請求の範囲】
【請求項１】
映像データの第一の領域と該第一の領域よりも奥側に位置する第二の領域とに含まれる各画素の奥行き値を取得する奥行き情報取得部と、
前記第一の領域の外側の周辺部分を緩衝領域とし、該緩衝領域に含まれる画素の奥行き値を、前記第一の領域からの距離に応じて、該第一の領域の奥行き値から前記第二の領域の奥行き値まで連続的にまたは段階的に変更する奥行き情報加工部とを備えたことを特徴とする映像処理装置。
【請求項２】
請求項１に記載の映像処理装置において、
前記奥行き情報加工部は、前記緩衝領域に含まれる画素の奥行き値を、前記第一の領域からの距離が近いほど該第一の領域の奥行き値に近い値に変更し、前記第一の領域からの距離が遠いほど前記第二の領域の奥行き値に近い値に変更することを特徴とする映像処理装置。
【請求項３】
請求項１または２に記載の映像処理装置において、
前記映像データから前景領域と背景領域を分離して抽出する前景背景抽出部を備え、前記第一の領域は前記前景領域であり、前記第二の領域は前記背景領域であることを特徴とする映像処理装置。
【請求項４】
請求項１または２に記載の映像処理装置において、
前記映像データに対して手前に飛び出させる飛び出し領域を設定する飛び出し領域設定部と、該飛び出し領域設定部で設定した飛び出し領域に含まれる奥行き値を、手前に飛び出させるための所定の奥行き値に変更する飛び出し領域奥行き情報加工部とを備え、前記第一の領域は前記飛び出し領域であり、前記第二の領域は前記飛び出し領域以外の領域であることを特徴とする映像処理装置。
【請求項５】
請求項１〜４のいずれか１項に記載の映像処理装置において、
前記奥行き情報加工部は、前記緩衝領域の水平方向に含まれる画素の奥行き値を変更することを特徴とする映像処理装置。
【請求項６】
請求項５に記載の映像処理装置において、
前記奥行き情報加工部は、さらに、前記緩衝領域の垂直方向に含まれる画素の奥行き値を変更することを特徴とする映像処理装置。
【請求項７】
請求項１〜６のいずれか１項に記載の映像処理装置において、
前記奥行き情報加工部は、前記緩衝領域の対象画素に対して、前記第一の領域から前記緩衝領域の対象画素までの距離をＬ、予め定められた傾きの絶対値をａ、前記第一の領域の奥行き値をＤ、前記対象画素の奥行き候補値をＣとした場合、該対象画素の奥行き候補値を、
Ｃ＝Ｄ−（ａ＊Ｌ）
により求め、前記対象画素の奥行き候補値が、該対象画素の奥行き値よりも大きい場合に、前記対象画素の奥行き値を前記奥行き候補値に置き換えることを特徴とする映像処理装置。
【請求項８】
請求項１〜７のいずれか１項に記載の映像処理装置において、
前記奥行き情報加工部から出力される各画素の奥行き値に応じて、前記映像データを左右にシフトして左眼用画像と右眼用画像を生成する映像シフト部を備えたことを特徴とする映像処理装置。
【請求項９】
請求項１〜８のいずれか１項に記載の映像処理装置において、
前記奥行き情報取得部として、前記第一の領域と前記第二の領域とに含まれる各画素の奥行き値を生成する奥行き情報生成部を備えたことを特徴とする映像処理装置。
【請求項１０】
請求項１〜９のいずれか１項に記載の映像処理装置において、
前記第一の領域は、文字を含むことを特徴とする映像処理装置。
【請求項１１】
請求項１〜１０のいずれか１項に記載の映像処理装置を備えた立体映像生成装置。
【請求項１】
映像データの第一の領域と該第一の領域よりも奥側に位置する第二の領域とに含まれる各画素の奥行き値を取得する奥行き情報取得部と、
前記第一の領域の外側の周辺部分を緩衝領域とし、該緩衝領域に含まれる画素の奥行き値を、前記第一の領域からの距離に応じて、該第一の領域の奥行き値から前記第二の領域の奥行き値まで連続的にまたは段階的に変更する奥行き情報加工部とを備えたことを特徴とする映像処理装置。
【請求項２】
請求項１に記載の映像処理装置において、
前記奥行き情報加工部は、前記緩衝領域に含まれる画素の奥行き値を、前記第一の領域からの距離が近いほど該第一の領域の奥行き値に近い値に変更し、前記第一の領域からの距離が遠いほど前記第二の領域の奥行き値に近い値に変更することを特徴とする映像処理装置。
【請求項３】
請求項１または２に記載の映像処理装置において、
前記映像データから前景領域と背景領域を分離して抽出する前景背景抽出部を備え、前記第一の領域は前記前景領域であり、前記第二の領域は前記背景領域であることを特徴とする映像処理装置。
【請求項４】
請求項１または２に記載の映像処理装置において、
前記映像データに対して手前に飛び出させる飛び出し領域を設定する飛び出し領域設定部と、該飛び出し領域設定部で設定した飛び出し領域に含まれる奥行き値を、手前に飛び出させるための所定の奥行き値に変更する飛び出し領域奥行き情報加工部とを備え、前記第一の領域は前記飛び出し領域であり、前記第二の領域は前記飛び出し領域以外の領域であることを特徴とする映像処理装置。
【請求項５】
請求項１〜４のいずれか１項に記載の映像処理装置において、
前記奥行き情報加工部は、前記緩衝領域の水平方向に含まれる画素の奥行き値を変更することを特徴とする映像処理装置。
【請求項６】
請求項５に記載の映像処理装置において、
前記奥行き情報加工部は、さらに、前記緩衝領域の垂直方向に含まれる画素の奥行き値を変更することを特徴とする映像処理装置。
【請求項７】
請求項１〜６のいずれか１項に記載の映像処理装置において、
前記奥行き情報加工部は、前記緩衝領域の対象画素に対して、前記第一の領域から前記緩衝領域の対象画素までの距離をＬ、予め定められた傾きの絶対値をａ、前記第一の領域の奥行き値をＤ、前記対象画素の奥行き候補値をＣとした場合、該対象画素の奥行き候補値を、
Ｃ＝Ｄ−（ａ＊Ｌ）
により求め、前記対象画素の奥行き候補値が、該対象画素の奥行き値よりも大きい場合に、前記対象画素の奥行き値を前記奥行き候補値に置き換えることを特徴とする映像処理装置。
【請求項８】
請求項１〜７のいずれか１項に記載の映像処理装置において、
前記奥行き情報加工部から出力される各画素の奥行き値に応じて、前記映像データを左右にシフトして左眼用画像と右眼用画像を生成する映像シフト部を備えたことを特徴とする映像処理装置。
【請求項９】
請求項１〜８のいずれか１項に記載の映像処理装置において、
前記奥行き情報取得部として、前記第一の領域と前記第二の領域とに含まれる各画素の奥行き値を生成する奥行き情報生成部を備えたことを特徴とする映像処理装置。
【請求項１０】
請求項１〜９のいずれか１項に記載の映像処理装置において、
前記第一の領域は、文字を含むことを特徴とする映像処理装置。
【請求項１１】
請求項１〜１０のいずれか１項に記載の映像処理装置を備えた立体映像生成装置。
【図１】
【図４】
【図６】
【図２】
【図３】
【図５】
【図４】
【図６】
【図２】
【図３】
【図５】
【公開番号】特開２０１３−１１５６０６（Ｐ２０１３−１１５６０６Ａ）
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願番号】特願２０１１−２５９８８３（Ｐ２０１１−２５９８８３）
【出願日】平成２３年１１月２９日（２０１１．１１．２９）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願日】平成２３年１１月２９日（２０１１．１１．２９）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]