視差画像生成装置、立体映像表示装置及び視差画像生成方法
【課題】陰面領域の補間処理による画質劣化を抑制し高画質の多視点画像を生成する。
【解決手段】 実施形態によれば、入力画像の各部分のデプスが与えられ、前記デプスに基づいて前記画像の各部分における視点毎のディスパリティを生成するディスパリティ生成部と、前記画像中の対象部分のディスパリティを前記対象部分の周囲の部分のうち最前面の部分について求められたディスパリティに基づく値に補正するディスパリティ補正部と、前記ディスパリティ補正部によって補正されたディスパリティに基づいて前記入力画像の各部分を移動させて、視点毎の視差画像を生成する画像シフト部とを具備したことを特徴とする。
【解決手段】 実施形態によれば、入力画像の各部分のデプスが与えられ、前記デプスに基づいて前記画像の各部分における視点毎のディスパリティを生成するディスパリティ生成部と、前記画像中の対象部分のディスパリティを前記対象部分の周囲の部分のうち最前面の部分について求められたディスパリティに基づく値に補正するディスパリティ補正部と、前記ディスパリティ補正部によって補正されたディスパリティに基づいて前記入力画像の各部分を移動させて、視点毎の視差画像を生成する画像シフト部とを具備したことを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、視差画像生成装置、立体映像表示装置及び視差画像生成方法に関する。
【背景技術】
【０００２】
近年、画像の高画質化の要求に伴い、立体化処理技術の研究が盛んに行われている。立体化処理方法としては、ステレオ法や光切断法等の種々の方法がある。これらの方法には一長一短があり、画像の用途等に応じて採用される方法が選択される。しかし、いずれの方法においても３次元画像（３Ｄ画像）を得るためには、高価で大型の入力装置が必要である。
【０００３】
一方、簡単な回路で立体化処理を行う方法として、３Ｄ画像を用いずに、２次元画像（２Ｄ画像）から３Ｄ画像を生成する方法がある。このような２Ｄ画像からステレオ３Ｄ画像への変換、２視点のステレオ３Ｄ画像から多視点の３Ｄ画像への変換に採用される方法として、入力画像のデプス（奥行き）を推定する方法がある。なお、デプスを求める手法としては種々の方法が開発されている。
【０００４】
このような画像変換を行う表示装置においては、入力画像のデプス（奥行き）を推定し、デプスを視点に応じて水平方向のシフト量であるディスパリティ（視差）に変換する。表示装置は、求めた視差に応じて画像をシフトすることにより、各視点における視差画像を生成する。例えば、表示装置が右目を視点とする視差画像（以下、右画像という）と左目を視点とする視差画像（以下、左画像という）とを、夫々右目及び左目に与えることで、左右画像による立体表示が可能である。
【０００５】
ところで、デプスを画像中の画素やオブジェクト毎に求め、画素やオブジェクトを視差に応じて移動させた場合、各画素やオブジェクト毎の移動量はデプス（視差）に応じて異なり、同一の領域に異なる領域の画素が重なって移動したり、画素が移動して画像情報が存在しない領域（以下、陰面領域という）が生じる可能性がある。
【０００６】
そこで、表示装置は、陰面領域については、補間処理を行う。この補間処理において、画質の劣化が生じる虞がある。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平３−１７９９９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明は、陰面領域の補間処理による画質劣化を抑制し高画質の多視点画像を生成することができる視差画像生成装置、立体映像表示装置及び視差画像生成方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の実施形態に係る視差画像生成装置は、入力画像の各部分のデプスが与えられ、前記デプスに基づいて前記画像の各部分における視点毎のディスパリティを生成するディスパリティ生成部と、前記画像中の対象部分のディスパリティを前記対象部分の周囲の部分のうち最前面の部分について求められたディスパリティに基づく値に補正するディスパリティ補正部と、前記ディスパリティ補正部によって補正されたディスパリティに基づいて前記入力画像の各部分を移動させて、視点毎の視差画像を生成する画像シフト部とを具備する。
【図面の簡単な説明】
【００１０】
【図１】本発明の第１の実施の形態に係る立体映像表示装置を示すブロック図。
【図２】図１中の立体映像生成部１３の具体的な構成を示すブロック図。
【図３】図２中の視差画像生成部２２の具体的な構成を示すブロック図。
【図４】視差画像生成部２２におけるディスパリティの求め方を説明するための説明図。
【図５】視差画像生成部２２におけるディスパリティの求め方を説明するための説明図。
【図６】ディスパリティ補正部２６による補正を説明するための説明図。
【図７】ディスパリティ補正部２６による補正を説明するための説明図。
【図８】ディスパリティ補正部２６による補正を説明するための説明図。
【図９】ディスパリティ補正部２６による補正を説明するための説明図。
【図１０】ディスパリティ補正部２６による補正を説明するための説明図。
【図１１】ディスパリティ補正部２６による補正を説明するための説明図。
【図１２】第１の実施の形態の動作を説明するためのフローチャート。
【図１３】第１の実施の形態の動作を説明するための説明図。
【図１４】第１の実施の形態の動作を説明するためのフローチャート。
【図１５】第１の実施の形態の動作を説明するための説明図。
【図１６】第２の実施の形態を示すフローチャート。
【図１７】第２の実施の形態を示すフローチャート。
【図１８】第２の実施の形態を説明するための説明図。
【図１９】第３の実施の形態を示すフローチャート。
【図２０】第３の実施の形態を示すフローチャート。
【発明を実施するための形態】
【００１１】
以下、図面を参照して本発明の実施形態について詳細に説明する。
【００１２】
（第１の実施形態）
図１は本発明の第１の実施の形態に係る立体映像表示装置を示すブロック図である。
【００１３】
立体映像表示装置１０の入力端子１１には入力映像及び視点情報が入力される。入力映像はデプス推定部１２に与えられる。デプス推定部１２は、公知のデプス推定方法を採用して、入力映像の各画像中の所定領域毎に、デプスを推定する。例えば、デプス推定部１２は、画像の画面全体の構図、人物の検出、オブジェクト毎の動き検出等に基づいて、画素毎やオブジェクト毎にデプスを求める。デプス推定部１２は、入力映像、デプス及び視点情報を立体映像生成部１３に出力する。
【００１４】
図２は図１中の立体映像生成部１３の具体的な構成を示すブロック図である。
【００１５】
立体映像生成部１３は、ｎ個の視差画像生成部２２−１〜２２−ｎ（以下、代表して視差画像生成部２２という）を有している。視差画像生成部２２−１〜２２−ｎは、入力端子２１を介して入力映像、デプス及び視点情報が与えられ、夫々視点＃１〜視点＃ｎにおける視差画像を生成する。立体映像生成部１３は、視差画像生成部２２−１〜２２−ｎによって生成された視点＃１〜視点＃ｎにおける視差画像を合成して多視点画像（立体映像）を生成して、出力端子２３を介して表示部１４に出力する。
【００１６】
表示部１４は、多視点画像を表示可能に構成されている。例えば、表示部１４としては、パララックスバリア方式やレンチキュラ方式等の視差分割方式を採用した表示部を採用することができる。
【００１７】
図３は図２中の視差画像生成部２２の具体的な構成を示すブロック図である。
【００１８】
図２の視差画像生成部２２−１〜２２−ｎは相互に同一構成であり、視差画像生成部２２には入力映像、デプス及び視点情報が与えられる。視差画像生成部２２のディスパリティ生成部２５は、視点情報に応じて、入力画像のデプスを水平方向のシフト量であるディスパリティ（視差）に変換する。こうして、ディスパリティ生成部２５によって各視点におけるディスパリティが例えば各画素毎に求められる。
【００１９】
図４及び図５は視差画像生成部２２におけるディスパリティの求め方を説明するための説明図である。図４はディスパリティ生成部２５におけるディスパリティの求め方を示している。
【００２０】
図４は入力映像を表示する表示部１４のディスプレイ面３０上の所定のラインを示している。入力映像の所定の画素３１についてのデプスが、画素３１をディスプレイ面３０よりも手前の位置３２に感じるように表示させるものである場合には、ディスパリティ生成部２５は視点３３Ｌにおける視差画像（画素）３１Ｌを画素３１の右側に表示されるようにディスパリティを設定し、視点３３Ｒにおける視差画像（画素）３１Ｒを画素３１の左側に表示されるようにディスパリティを設定する。また、図４に示すように、ディスパリティ生成部２５は、デプスが大きいほど、大きいディスパリティを設定する。
【００２１】
また、入力映像の所定の画素３４についてのデプスが、画素３４をディスプレイ面３０よりも奥行き方向の位置３５に感じるように表示させるものである場合には、ディスパリティ生成部２５は視点３６Ｌにおける視差画像（画素）３４Ｌを画素３１の左側に表示されるようにディスパリティを設定し、視点３６Ｒにおける視差画像（画素）３４Ｒを画素３１の右側に表示されるようにディスパリティを設定する。また、図４に示すように、ディスパリティ生成部２５は、デプスが大きいほど、大きいディスパリティを設定する。
【００２２】
ディスパリティ生成部２５によって生成されたディスパリティに基づいて左右にシフトさせた２つの視点の画像を生成することにより、２視点の立体画像を生成することができる。例えば、視点３３Ｌ，３３Ｒを左右の眼とすると、画素３１Ｌ，３１Ｒによって画素３１が手前側に飛び出したように感じられる立体画像表示が可能である。同様に、視点３６Ｌ，３６Ｒを左右の眼とすると、画素３４Ｌ，３４Ｒによって画素３４が奥行き方向に引っ込んだように感じられる立体画像表示が可能である。
【００２３】
図５はディスパリティ生成部２５において求めたディスパリティに基づく画像のシフトを説明するものである。図５（ａ）は入力映像である２Ｄ画像を示しており、背景の画像４１の手前に２本の木の画像４２が表示され、更に、２本の木４２の手前にオブジェクト４３が表示された状態を示している。
【００２４】
図５（ａ）中の塗りつぶした矢印は、１つの視点、例えば左目に対するディスパリティに基づく画像の移動を示しており、矢印の向きが移動方向を示し、矢印の長さが移動量を示している。即ち、図５（ａ）の例は、ディスプレイ面を基準に、背景の画像４１が奥行き方向に、木の画像４２が手前側に、オブジェクト４３が最も手前側に表示されたように感じられる画像を得るためのものである。
【００２５】
図５（ａ）に示す画像を矢印に従って画素毎にシフトさせた場合には、図５（ｂ）に示す理想的な視差画像に対して、実際には図５（ｃ）に示す視差画像が得られる。図５（ｂ）は背景の画像４１、木の画像４２及びオブジェクト４３が夫々移動して背景の画像４１’、木の画像４２’及びオブジェクト４３’が表示されている。しかし、実際には、図５（ｃ）に示すように、背景の画像４１、木の画像４２及びオブジェクト４３を夫々移動させると、移動量及び移動方向によって、画像が重なる領域（破線で囲った部分）と、斜線にて示す画像が無くなる領域（陰面領域）４４，４５とが生じる。陰面領域４５は背景の画像４１の移動によるものであり、陰面領域４４は木の画像４２とオブジェクト４３の移動量の相違によるものである。
【００２６】
これらの画像が重なる領域及び陰面領域を補正するためにディスパリティ補正部２６が設けられている。ディスパリティ補正部２６は、破線で囲った画像が重なる領域については、いずれか１つの画像、例えば最も手前（最前面）の画像を表示するように、ディスパリティを補正するようになっている。
【００２７】
本実施の形態においては、ディスパリティ補正部２６は、陰面領域については、最前面の画像に基づくディスパリティを利用することで、画質劣化を抑制した視差画像を得るようになっている。
【００２８】
なお、以後説明を簡略化するために、移動後の画像（画素）を基準に、移動元の画像（画素）までの距離をディスパリティとして扱うことがある。
【００２９】
図６乃至図１１は、ディスパリティ補正部２６による補正を説明するための説明図である。
【００３０】
図６乃至図８及び図１１は、上段及び下段によって画像中の所定の同一ラインの一部を示し、上段は移動前の画素位置、下段はディスパリティに基づく移動後の画素位置を示している。なお、図６乃至図９及び図１１は、各枠によって例えば画素を示しており、１つの視点、例えば左目に対するディスパリティに応じた各画素の移動を説明するものである。
【００３１】
図６乃至図８及び図１１は同一入力画像についてのものであり、この入力画像を示す上段の各画素Ｐ０〜Ｐ９のうち、画素Ｐ０，Ｐ１，Ｐ９はディスプレイ面の位置、画素Ｐ２〜Ｐ４は奥行き方向の位置、画素Ｐ５〜Ｐ８は手前側の位置に感じられるように表示すべきものであるものとする。
【００３２】
この場合には、図６の破線矢印に示すように、画素Ｐ０，Ｐ１，Ｐ９を水平方向同一位置、画素Ｐ２〜Ｐ４を水平方向左側の位置、画素Ｐ５〜Ｐ８を水平方向右側の位置に移動させることが考えられる。
【００３３】
図７はこの結果得られる画像を下段に示している。ディスパリティ補正部２６は、上述したように、画像（画素）が重なる領域については、最前面の画像を選択的する。従って、図７の下段の左から２つの画素及び最も右の画素の画素位置には、ディスパリティに従って、夫々元の画素Ｐ０，Ｐ１，Ｐ７を移動させて配置する。
【００３４】
なお、ディスパリティ補正部２６は、最前面にある画像をディスパリティの大きさによって判定することができる。画面右方向へのディスパリティを正の値で表し、画面左方向へのディスパリティを負の値で表すものとすると、左目の視点、即ち、視点が入力画像の視点位置よりも左側にある場合には正方向に最も大きい値のディスパリティを有する画像（画素）が最前面にある画像であると判定することができる。逆に、右目の視点、即ち、視点が入力画像の視点位置よりも右側にある場合には負方向に最も大きい値のディスパリティを有する画像（画素）が最前面前の画像である。
【００３５】
また、ディスパリティ補正部２６は、図７の下段の左から３つ目の画素及び右から２，３番目の画素の画素位置には、夫々元の画素Ｐ４，Ｐ５，Ｐ６を移動させて配置する。図７の矢印は元の画素との位置関係を示している。デプスから求めたディスパリティのみによって画素を移動させると、図７の下段の中央の４画素（斜線部）は、陰面領域となる。
【００３６】
陰面領域を補間する手法として、周囲の画素の情報を利用して、なだらかに変化させる方法が考えられる。図８はこの補間方法を説明するものである。陰面領域（太枠部）の画素については、周囲の画素を平均的に用いて補間を行う。図８の下段の例では、陰面領域の左側の２画素は隣接する画素Ｐ４によって補間し、右側の２画素は隣接する画素Ｐ５によって補間する。
【００３７】
図９は図８上段の入力画像の各画素の奥行きを示している。図９に示すように、画素Ｐ２〜Ｐ４はディスプレイ面よりも奥に感じられるように表示されるべき画像であり、画素Ｐ５〜Ｐ７はディスプレイ面よりも手前に感じられるように表示されるべき画像である。即ち、画素Ｐ４，Ｐ５はデプスの境界の画素であり、画素Ｐ４が含まれるオブジェクトと画素Ｐ５が含まれるオブジェクトとは別のオブジェクトであって、画素Ｐ４，Ｐ５は絵柄の境界の画素である可能性が高い。ところが、図８の例では、境界の画素Ｐ４，Ｐ５のいずれも夫々３画素に割当てられており、境界領域が水平方向に引き延ばされた画像となっている。
【００３８】
図１０は図８の手法によって陰面領域を補間して左右の目に対応する２つの視点画像を生成して表示した場合の表示例を模式的に示す説明図である。図１０は背景の画像５１上に、スケートをしている女性の画像５２が表示されていることを示している。上に持ち上げられた女性の足の画像５３と背景の画像５１との境界部分は水平方向に引き延ばされて、不鮮明な画像（斜線部）５４が表示されている。
【００３９】
このように前景と背景の奥行きがくっきり分かれているような部分では陰面領域が集中して出現し、図８のような単純なフィルタリング処理では陰面領域の画像がうまく生成されず、奥行きの境界部分、物体の境界部分に歪みが発生する。物体の輪郭においてこのような歪みが発生すると、この歪は画面上において極めて目立ち、画面品位が劣化する。
【００４０】
そこで、本実施の形態においては、陰面領域のディスパリティとして、陰面領域の周囲の最前面の画像のディスパリティを用いるという手法を採用する。
【００４１】
図１１は本実施の形態におけるディスパリティ補正処理を示す説明図である。
【００４２】
画像が重なる領域についての補正処理は図７と同様である。即ち、ディスパリティ補正部２６は、図１１の下段の左から２つの画素及び最も右の画素の画素位置には、夫々元の画素Ｐ０，Ｐ１，Ｐ７を移動させて配置する。
【００４３】
ディスパリティ補正部２６は、太枠で示す陰面領域について、周囲の最前面の画像のディスパリティを用いる。図１１の例では、画素Ｐ５〜Ｐ７が最前面の画素であり、ディスパリティ補正部２６は、陰面領域に最も近い最前面の画素Ｐ５のディスパリティを、陰面領域のディスパリティとする。従って、陰面領域については、元の画素が２画素分右方向にシフトして移動後の画素となる。
【００４４】
図１１に示すように、陰面領域については右側から順に、元の画素Ｐ４，Ｐ３，Ｐ２，Ｐ１を移動させて移動後の画像が得られる。図１１下段に示すように、物体の境界部分である移動後の画素Ｐ４，Ｐ５の部分は、補正前と同様の境界状態であり、境界部分に画質劣化は生じない。
【００４５】
なお、背景部分については、図１１下段の左から３，４画素目に示すように、元の画素Ｐ４，Ｐ１が配置順が変化して移動している。従って、この部分には歪みが生じている。しかし、背景部分の歪みは、境界部分の歪みに比べて目立ちにくく、画質の劣化は比較的小さい。
【００４６】
ディスパリティ補正部２６は、ディスパリティ生成部２５からのディスパリティを図１１の矢印に示すように補正して、補正後の補正ディスパリティを画像シフト部２７に出力する。画像シフト部２７は、入力画像の各画素を補正ディスパリティに従って移動させて、各視点における視差画像を生成する。
【００４７】
なお、図１１では陰面領域の左右の同一水平ライン上の画素のうち最前面の画素のディスパリティを用いる例を説明したが、ディスパリティ補正部２６は、陰面領域内の補間する画素の周囲に所定のブロックを設定し、このブロック内で最前面の画素を検出し、この最前面画素のディスパリティによって陰面領域の補間する画素のディスパリティを得てもよい。
【００４８】
次にこのように構成された実施の形態の動作について図１２乃至図１５を参照して説明する。図１２及び図１４は実施の形態の動作を説明するためのフローチャートであり、図１３及び図１５は実施の形態の動作を説明するための説明図である。
【００４９】
立体映像表示装置１０の入力端子１１には入力映像及び視点情報が入力される。デプス推定部１２は、入力映像の各画像のデプスを例えば画素毎に求める。入力映像、デプス及び視点情報は立体映像生成部１３に与えられる。立体映像生成部１３は、視差画像生成部２２−１〜２２−ｎによって、各視点毎に視差画像を生成する。
【００５０】
即ち、視差画像生成部２２においては、先ずディスパリティ生成部２５によって、各視点のディスパリティが求められる。ディスパリティ生成部２５は、各画素のデプスに応じて各視点のディスパリティを求める。ディスパリティ生成部２５が求めたディスパリティは、ディスパリティ補正部２６に与えられる。
【００５１】
ディスパリティ補正部２６は、入力されたディスパリティに従って画像をシフトさせた場合に画像が重なる領域については、重なる画像のうち最前面の画像を選択して表示するようにディスパリティを補正する。また、ディスパリティ補正部２６は、入力されたディスパリティに従って画像をシフトさせた場合に画像がなくなる陰面領域については、周囲の画素のうち最前面の画素のディスパリティを用いる。
【００５２】
図１２はディスパリティ補正部２６による左目を視点とする陰面領域のディスパリティの補正処理を示している。図１２は視点が入力画像の視点位置よりも左側にある全ての視点に共通の処理である。なお、図１２及び後述する図１４、図１６、図１７、図１９及び図２０においては、画面右方向へのディスパリティを正の値で表し、画面左方向へのディスパリティを負の値で表すものとする。
【００５３】
ディスパリティ補正部２６は、図１２のステップＳ１において、全画素についての処理を開始する。ディスパリティ補正部２６は、ステップＳ２において、変数ｍａｘを１６ビット精度におけるディスパリティの最小値である−３２７６８に設定する。上述したように、最前面の画像（画素）は、視点が左目の場合には、正方向で最も大きい値のディスパリティが設定された画素である。ディスパリティ補正部２６は、最前面の画素、即ち、最大ディスパリティの画素を検出するために、ディスパリティを代入する変数ｍａｘを最小値に設定しておく。
【００５４】
次に、ステップＳ３において、ディスパリティ補正部２６は、対象画素が陰面領域の画素であるか否かを判定する。陰面領域の画素でない場合には、処理をステップＳ１１からステップＳ１に戻して、次の画素に対する処理を行う。
【００５５】
対象画素が陰面領域の画素の場合には、次のステップＳ４において、ディスパリティ補正部２６は対象画素の周囲の画素に対する処理を開始する。例えば、ディスパリティ補正部２６は、周囲画素として、図１３に示す周囲画素範囲を設定する。ディスパリティ補正部２６は、この周囲画素範囲を最大ディスパリティの検出範囲として設定する。図１３の例は最大ディスパリティの検出範囲として３×３画素範囲を設定した例を示している。図１３の中央の網線部が対象画素であり、斜線部が陰面領域を示している。
【００５６】
ディスパリティ補正部２６は、ステップＳ４〜Ｓ８において、検出範囲中で最も大きいディスパリティ値を有する画素を検索する。即ち、ディスパリティ補正部２６は、ステップＳ５において周囲画素が非陰面領域の画素であるか否かを判定する。陰面領域の画素にはディスパリティが設定されていないので、ステップＳ８からステップＳ４に処理を戻して次の画素に対する検索処理を行う。
【００５７】
非陰面領域の画素の場合には、その画素のディスパリティが変数ｍａｘよりも大きいか否かを判定し（ステップＳ６）、大きい場合には変数ｍａｘにその画素のディスパリティ値を代入する。検出範囲内の全ての画素についての処理を行うことで、変数ｍａｘには、検出範囲内の画素の最大ディスパリティ値が代入される。こうして、図１３の例では斜線が施されていない画素の最大ディスパリティ値が求められることになる。
【００５８】
ディスパリティ補正部２６は、ステップＳ９において、変数ｍａｘが最小値−３２７６８のまま変化していないか否か、即ち、周囲画素である検出範囲内の全ての画素が陰面領域の画素であるか否かを判定する。変数ｍａｘが最小値でない場合には、対象画素のディスパリティ値に変数ｍａｘの値を代入する。こうして、周囲画素の最大ディスパリティ値が対象画素のディスパリティ値として求められる。ディスパリティ補正部２６は、ステップＳ１〜Ｓ１１において、陰面領域の全ての画素について、各周囲画素の最大ディスパリティ値を求めてディスパリティ値とする。
【００５９】
図１４はディスパリティ補正部２６による右目を視点とする陰面領域のディスパリティの補正処理を示している。図１４において図１２と同一の手順には同一符号を付して説明を省略する。なお、図１４は視点が入力画像の視点位置よりも右側にある全ての視点に共通の処理である。
【００６０】
視点が右目の場合には、負方向の最大ディスパリティ値を有する画素が最前面の画素であることを考慮した点が、図１２の左目の視点に対する処理と異なるのみである。
【００６１】
従って、ディスパリティ補正部２６は、ディスパリティの最大値を検出するための変数ｍｉｎを最大値に設定しておく（ステップＳ１２）。また、ディスパリティ補正部２６は、検出範囲内の非陰面領域の画素について、その画素のディスパリティが変数ｍｉｎよりも小さいか否かを判定し（ステップＳ１６）、小さい場合には変数ｍｉｎにその画素のディスパリティ値を代入する。検出範囲内の全ての画素についての処理を行うことで、変数ｍｉｎには、検出範囲内の画素の負方向の最大ディスパリティ値が代入される。
【００６２】
ディスパリティ補正部２６は、ステップＳ１９において、変数ｍｉｎが最大値３２７６８のまま変化していないか否か、即ち、周囲画素である検出範囲内の全ての画素が陰面領域の画素であるか否かを判定する。変数ｍｉｎが最大値でない場合には、対象画素のディスパリティ値に変数ｍｉｎの値を代入する。こうして、周囲画素の負方向の最大ディスパリティ値が対象画素のディスパリティ値として求められる。
【００６３】
ディスパリティ補正部２６は、画像が重なった領域の画素のディスパリティを補正すると共に、図１２及び図１４のフローに基づいて、陰面領域の画素のディスパリティを補正して、補正後の補正ディスパリティを画像シフト部２７に出力する。画像シフト部２７は、入力画像を補正ディスパリティを用いて移動させて、各視点についての視差画像を生成し出力する。
【００６４】
立体映像生成部１３は、視差画像生成部２２−１〜２２−ｎが生成した各視差画像を合成して多視点画像を生成し、出力端子２３を介して立体映像として出力する。この立体映像は表示部１４に供給され、表示部１４の表示画面上に映出される。
【００６５】
図１５は図１０と同一画像についてディスパリティ補正部２６による補正ディスパリティを用いて生成した視差画像による表示を模式的に示している。図１４に示すように、陰面領域の画素のディスパリティとして、周囲画素のうち最前面の画素のディスパリティの値を用いていることから、女性の足の画像５３と背景の画像５１との境界部分５５に歪みが生じることはない。
【００６６】
このように本実施の形態においては、陰面領域の画素のディスパリティとして、周囲画素のうち最前面の画素のディスパリティの値を用いていることから、物体の境界位置において画像が歪むことを防止することができ、高画質の視差画像を得ることができる。
【００６７】
（第２の実施の形態）
図１６乃至図１８は本発明の第２の実施の形態に係り、図１６及び図１７は第２の実施の形態を示すフローチャートであり、図１８は第２の実施の形態を説明するための説明図である。
【００６８】
本実施の形態におけるハードウェア構成は第１の実施の形態と同様である。本実施の形態はディスパリティ補正部２６における補正処理が第１の実施の形態と異なるのみである。
【００６９】
先ず図１８を参照して第２の実施の形態における陰面領域の画素のディスパリティの補正処理について説明する。第１の実施の形態においては、陰面領域の周囲の画像のうち最前面の画像のディスパリティを陰面領域の画素のディスパリティとした。更に、本実施の形態においては、陰面領域の周囲画素のディスパリティも利用して、陰面領域の画素のディスパリティを求めるものである。
【００７０】
図１８は陰面領域内のディスパリティを補正する対象画素を中心に設定した周囲画素範囲を示している。図１８の例は周囲画素範囲として３×３画素範囲を設定した例を示している。図１８の中央の網線部が対象画素であり、斜線部が陰面領域を示している。
【００７１】
本実施の形態においては、ディスパリティ補正部２６は、周囲画素範囲のディスパリティに、夫々設定した重み付けを乗算し、更に、周囲画素範囲内の最前面の画素のディスパリティに、設定した重み付けを乗算して、両者を加算して平均を算出することにより対象画素のディスパリティを得る。
【００７２】
図１８の例では、３×３の周囲画素のディスパリティに、３×３の枠内に示した重み付けの値（位置重み）が乗算される。なお、中央の対象画素に対する重み付けの値（４）は、他の周囲画素との比較のために示している。更に、周囲画素のうち最前面の画素のディスパリティに重み付けの値（４）が乗算される。これらの乗算結果が加算され、重み付けの総和（図１８では１２）で除算することにより、対象画素のディスパリティが求められる。
【００７３】
このように構成された実施の形態においては、図１６及び図１７に示す陰面領域の補正処理が行われる。図１６及び図１７において夫々図１２及び図１４と同一の手順には同一符号を付して説明を省略する。
【００７４】
図１６はディスパリティ補正部２６による左目を視点とする陰面領域のディスパリティの補正処理を示している。図１６のステップＳ２２では、ディスパリティ補正部２６は、変数ｍａｘに最小値を設定すると共に、変数ｓｕｍを０に初期化する。変数ｓｕｍは、周囲画素の各ディスパリティを夫々重み付けして加算した結果を代入するためのものである。
【００７５】
ステップＳ２３においては、ディスパリティ補正部２６は、周囲画素のディスパリティに画素位置に応じた重み（位置重み）を乗算し、乗算結果を変数ｓｕｍの値に積算する。ステップＳ４〜Ｓ８，Ｓ２３によって、周囲画素の非陰面領域の画素全てについてのディスパリティ×位置重みの乗算結果が加算される。
【００７６】
更に、ディスパリティ補正部２６は、ステップＳ２４において、周囲画素の最大ディスパリティ値に重みを乗算し、乗算結果を変数ｓｕｍに加算し、変数ｓｕｍを重みの総和で除算する。重みの総和についても非陰面領域の画素に対応する位置重みの総和となる。ディスパリティ補正部２６は、ステップＳ２５において、変数ｓｕｍの値を対象画素のディスパリティ値とする。
【００７７】
図１７はディスパリティ補正部２６による右目を視点とする陰面領域のディスパリティの補正処理を示している。図１７のステップＳ３２では、ディスパリティ補正部２６は、変数ｍｉｎに最大値を設定すると共に、変数ｓｕｍを０に初期化する。ステップＳ３３において、ディスパリティ補正部２６は、周囲画素のディスパリティに画素位置に応じた重み（位置重み）を乗算し、乗算結果を変数ｓｕｍの値に積算する。ステップＳ４，Ｓ５，Ｓ３３，Ｓ１６，Ｓ１７，Ｓ８によって、周囲画素の非陰面領域の画素全てについてのディスパリティ×位置重みの乗算結果が加算される。
【００７８】
更に、ディスパリティ補正部２６は、ステップＳ３４において、周囲画素の負方向の最大ディスパリティ値に重みを乗算し、乗算結果を変数ｓｕｍに加算し、変数ｓｕｍを重みの総和で除算する。重みの総和についても非陰面領域の画素に対応する位置重みの総和となる。ディスパリティ補正部２６は、ステップＳ５５において、変数ｓｕｍの値を対象画素のディスパリティ値とする。
【００７９】
他の作用は第１の実施の形態と同様である。
【００８０】
このように本実施の形態においては、陰面領域については、対象画素の周囲画素のディスパリティと周囲画素中の最前面の画素のディスパリティとを用いて、対象画素のディスパリティを求めている。これにより、本実施の形態においても、物体の境界位置において画像が歪むことを防止することができ、高画質の視差画像を得ることができる。
【００８１】
なお、本実施の形態においては、周囲画素及び最前面の画素のディスパリティに重みを付した後平均化しており、対象画素のディスパリティが小数点精度となることがある。この場合には、画像シフト部２７において、ディスパリティに対応する２画素の画素値をディスパリティに応じて加算して、視差画像の画素値を求めてもよい。
【００８２】
（第３の実施の形態）
図１９及び図２０は本発明の第３の実施の形態を示すフローチャートである。図１９及び図２０において夫々図１６及び図１７と同一の手順については同一符号を付してある。本実施の形態におけるハードウェア構成は第１及び第２の実施の形態と同様である。本実施の形態はディスパリティ補正部２６における補正処理が第２の実施の形態と異なるのみである。
【００８３】
第２の実施の形態においては、陰面領域の各画素について、周囲画素及び周囲画素中の最前面の画素のディスパリティを重み付けして、対象画素のディスパリティを求めた。これに対し、本実施の形態は第２の実施の形態において陰面領域の各画素について行った補正処理を全ての画素について実施するものである。
【００８４】
図１９はディスパリティ補正部２６による左目を視点とするディスパリティの補正処理を示しており、図２０はディスパリティ補正部２６による右目を視点とするディスパリティの補正処理を示している。
【００８５】
図１９及び図２０のフローは、陰面領域の画素のみを対象とするためのステップＳ３の処理が省略されている点が図１６及び図１７のフローと異なるのみである。
【００８６】
本実施の形態においては、画像中の全画素を対象画素とし、各対象画素の周囲に所定サイズの周囲画素範囲を設定し、周囲画素のディスパリティと周囲画素中の最前面の画素のディスパリティとに重み付けを付して、対象画素のディスパリティを補正するものである。この場合には、ディスパリティ生成部２５によって対象画素のディスパリティが既に求められていることがあり、対象画素のディスパリティについても例えば図１８の位置重みに示すように所定の重みが乗算される。
【００８７】
他の作用は、第２の実施の形態と同様である。
【００８８】
このように本実施の形態においては、全画素について、周囲画素のディスパリティと周囲画素中の最前面の画素のディスパリティとに重み付けを付すことで、ディスパリティを補正するようになっている。これにより、デプスに基づいて画像を移動させる処理による歪みを軽減し、高画質の視差画像を得ることができる。
【００８９】
更に、上記実施の形態においては、対象画素について１回の補正処理を行う例を説明したが、対象画素について、図１８に示す補正処理を複数回繰り返すことで、歪みの軽減効果を一層向上させることができる。
【００９０】
このように上記各実施の形態によれば、１視点の２Ｄ映像から２視点のステレオ３Ｄ映像への変換や、２視点のステレオ３Ｄ映像から多視点の３Ｄ映像への変換等の多視点画像への変換処理において、陰面領域の画像を高精度に生成することができる。
【００９１】
本発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適当な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
【符号の説明】
【００９２】
１０…立体映像表示装置、１２…デプス推定部、１３…立体映像生成部、４１…表示部、２２…視差画像生成部、２５…ディスパリティ生成部、２６…ディスパリティ補正部、２７…画像シフト部。
【技術分野】
【０００１】
本発明の実施形態は、視差画像生成装置、立体映像表示装置及び視差画像生成方法に関する。
【背景技術】
【０００２】
近年、画像の高画質化の要求に伴い、立体化処理技術の研究が盛んに行われている。立体化処理方法としては、ステレオ法や光切断法等の種々の方法がある。これらの方法には一長一短があり、画像の用途等に応じて採用される方法が選択される。しかし、いずれの方法においても３次元画像（３Ｄ画像）を得るためには、高価で大型の入力装置が必要である。
【０００３】
一方、簡単な回路で立体化処理を行う方法として、３Ｄ画像を用いずに、２次元画像（２Ｄ画像）から３Ｄ画像を生成する方法がある。このような２Ｄ画像からステレオ３Ｄ画像への変換、２視点のステレオ３Ｄ画像から多視点の３Ｄ画像への変換に採用される方法として、入力画像のデプス（奥行き）を推定する方法がある。なお、デプスを求める手法としては種々の方法が開発されている。
【０００４】
このような画像変換を行う表示装置においては、入力画像のデプス（奥行き）を推定し、デプスを視点に応じて水平方向のシフト量であるディスパリティ（視差）に変換する。表示装置は、求めた視差に応じて画像をシフトすることにより、各視点における視差画像を生成する。例えば、表示装置が右目を視点とする視差画像（以下、右画像という）と左目を視点とする視差画像（以下、左画像という）とを、夫々右目及び左目に与えることで、左右画像による立体表示が可能である。
【０００５】
ところで、デプスを画像中の画素やオブジェクト毎に求め、画素やオブジェクトを視差に応じて移動させた場合、各画素やオブジェクト毎の移動量はデプス（視差）に応じて異なり、同一の領域に異なる領域の画素が重なって移動したり、画素が移動して画像情報が存在しない領域（以下、陰面領域という）が生じる可能性がある。
【０００６】
そこで、表示装置は、陰面領域については、補間処理を行う。この補間処理において、画質の劣化が生じる虞がある。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平３−１７９９９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明は、陰面領域の補間処理による画質劣化を抑制し高画質の多視点画像を生成することができる視差画像生成装置、立体映像表示装置及び視差画像生成方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の実施形態に係る視差画像生成装置は、入力画像の各部分のデプスが与えられ、前記デプスに基づいて前記画像の各部分における視点毎のディスパリティを生成するディスパリティ生成部と、前記画像中の対象部分のディスパリティを前記対象部分の周囲の部分のうち最前面の部分について求められたディスパリティに基づく値に補正するディスパリティ補正部と、前記ディスパリティ補正部によって補正されたディスパリティに基づいて前記入力画像の各部分を移動させて、視点毎の視差画像を生成する画像シフト部とを具備する。
【図面の簡単な説明】
【００１０】
【図１】本発明の第１の実施の形態に係る立体映像表示装置を示すブロック図。
【図２】図１中の立体映像生成部１３の具体的な構成を示すブロック図。
【図３】図２中の視差画像生成部２２の具体的な構成を示すブロック図。
【図４】視差画像生成部２２におけるディスパリティの求め方を説明するための説明図。
【図５】視差画像生成部２２におけるディスパリティの求め方を説明するための説明図。
【図６】ディスパリティ補正部２６による補正を説明するための説明図。
【図７】ディスパリティ補正部２６による補正を説明するための説明図。
【図８】ディスパリティ補正部２６による補正を説明するための説明図。
【図９】ディスパリティ補正部２６による補正を説明するための説明図。
【図１０】ディスパリティ補正部２６による補正を説明するための説明図。
【図１１】ディスパリティ補正部２６による補正を説明するための説明図。
【図１２】第１の実施の形態の動作を説明するためのフローチャート。
【図１３】第１の実施の形態の動作を説明するための説明図。
【図１４】第１の実施の形態の動作を説明するためのフローチャート。
【図１５】第１の実施の形態の動作を説明するための説明図。
【図１６】第２の実施の形態を示すフローチャート。
【図１７】第２の実施の形態を示すフローチャート。
【図１８】第２の実施の形態を説明するための説明図。
【図１９】第３の実施の形態を示すフローチャート。
【図２０】第３の実施の形態を示すフローチャート。
【発明を実施するための形態】
【００１１】
以下、図面を参照して本発明の実施形態について詳細に説明する。
【００１２】
（第１の実施形態）
図１は本発明の第１の実施の形態に係る立体映像表示装置を示すブロック図である。
【００１３】
立体映像表示装置１０の入力端子１１には入力映像及び視点情報が入力される。入力映像はデプス推定部１２に与えられる。デプス推定部１２は、公知のデプス推定方法を採用して、入力映像の各画像中の所定領域毎に、デプスを推定する。例えば、デプス推定部１２は、画像の画面全体の構図、人物の検出、オブジェクト毎の動き検出等に基づいて、画素毎やオブジェクト毎にデプスを求める。デプス推定部１２は、入力映像、デプス及び視点情報を立体映像生成部１３に出力する。
【００１４】
図２は図１中の立体映像生成部１３の具体的な構成を示すブロック図である。
【００１５】
立体映像生成部１３は、ｎ個の視差画像生成部２２−１〜２２−ｎ（以下、代表して視差画像生成部２２という）を有している。視差画像生成部２２−１〜２２−ｎは、入力端子２１を介して入力映像、デプス及び視点情報が与えられ、夫々視点＃１〜視点＃ｎにおける視差画像を生成する。立体映像生成部１３は、視差画像生成部２２−１〜２２−ｎによって生成された視点＃１〜視点＃ｎにおける視差画像を合成して多視点画像（立体映像）を生成して、出力端子２３を介して表示部１４に出力する。
【００１６】
表示部１４は、多視点画像を表示可能に構成されている。例えば、表示部１４としては、パララックスバリア方式やレンチキュラ方式等の視差分割方式を採用した表示部を採用することができる。
【００１７】
図３は図２中の視差画像生成部２２の具体的な構成を示すブロック図である。
【００１８】
図２の視差画像生成部２２−１〜２２−ｎは相互に同一構成であり、視差画像生成部２２には入力映像、デプス及び視点情報が与えられる。視差画像生成部２２のディスパリティ生成部２５は、視点情報に応じて、入力画像のデプスを水平方向のシフト量であるディスパリティ（視差）に変換する。こうして、ディスパリティ生成部２５によって各視点におけるディスパリティが例えば各画素毎に求められる。
【００１９】
図４及び図５は視差画像生成部２２におけるディスパリティの求め方を説明するための説明図である。図４はディスパリティ生成部２５におけるディスパリティの求め方を示している。
【００２０】
図４は入力映像を表示する表示部１４のディスプレイ面３０上の所定のラインを示している。入力映像の所定の画素３１についてのデプスが、画素３１をディスプレイ面３０よりも手前の位置３２に感じるように表示させるものである場合には、ディスパリティ生成部２５は視点３３Ｌにおける視差画像（画素）３１Ｌを画素３１の右側に表示されるようにディスパリティを設定し、視点３３Ｒにおける視差画像（画素）３１Ｒを画素３１の左側に表示されるようにディスパリティを設定する。また、図４に示すように、ディスパリティ生成部２５は、デプスが大きいほど、大きいディスパリティを設定する。
【００２１】
また、入力映像の所定の画素３４についてのデプスが、画素３４をディスプレイ面３０よりも奥行き方向の位置３５に感じるように表示させるものである場合には、ディスパリティ生成部２５は視点３６Ｌにおける視差画像（画素）３４Ｌを画素３１の左側に表示されるようにディスパリティを設定し、視点３６Ｒにおける視差画像（画素）３４Ｒを画素３１の右側に表示されるようにディスパリティを設定する。また、図４に示すように、ディスパリティ生成部２５は、デプスが大きいほど、大きいディスパリティを設定する。
【００２２】
ディスパリティ生成部２５によって生成されたディスパリティに基づいて左右にシフトさせた２つの視点の画像を生成することにより、２視点の立体画像を生成することができる。例えば、視点３３Ｌ，３３Ｒを左右の眼とすると、画素３１Ｌ，３１Ｒによって画素３１が手前側に飛び出したように感じられる立体画像表示が可能である。同様に、視点３６Ｌ，３６Ｒを左右の眼とすると、画素３４Ｌ，３４Ｒによって画素３４が奥行き方向に引っ込んだように感じられる立体画像表示が可能である。
【００２３】
図５はディスパリティ生成部２５において求めたディスパリティに基づく画像のシフトを説明するものである。図５（ａ）は入力映像である２Ｄ画像を示しており、背景の画像４１の手前に２本の木の画像４２が表示され、更に、２本の木４２の手前にオブジェクト４３が表示された状態を示している。
【００２４】
図５（ａ）中の塗りつぶした矢印は、１つの視点、例えば左目に対するディスパリティに基づく画像の移動を示しており、矢印の向きが移動方向を示し、矢印の長さが移動量を示している。即ち、図５（ａ）の例は、ディスプレイ面を基準に、背景の画像４１が奥行き方向に、木の画像４２が手前側に、オブジェクト４３が最も手前側に表示されたように感じられる画像を得るためのものである。
【００２５】
図５（ａ）に示す画像を矢印に従って画素毎にシフトさせた場合には、図５（ｂ）に示す理想的な視差画像に対して、実際には図５（ｃ）に示す視差画像が得られる。図５（ｂ）は背景の画像４１、木の画像４２及びオブジェクト４３が夫々移動して背景の画像４１’、木の画像４２’及びオブジェクト４３’が表示されている。しかし、実際には、図５（ｃ）に示すように、背景の画像４１、木の画像４２及びオブジェクト４３を夫々移動させると、移動量及び移動方向によって、画像が重なる領域（破線で囲った部分）と、斜線にて示す画像が無くなる領域（陰面領域）４４，４５とが生じる。陰面領域４５は背景の画像４１の移動によるものであり、陰面領域４４は木の画像４２とオブジェクト４３の移動量の相違によるものである。
【００２６】
これらの画像が重なる領域及び陰面領域を補正するためにディスパリティ補正部２６が設けられている。ディスパリティ補正部２６は、破線で囲った画像が重なる領域については、いずれか１つの画像、例えば最も手前（最前面）の画像を表示するように、ディスパリティを補正するようになっている。
【００２７】
本実施の形態においては、ディスパリティ補正部２６は、陰面領域については、最前面の画像に基づくディスパリティを利用することで、画質劣化を抑制した視差画像を得るようになっている。
【００２８】
なお、以後説明を簡略化するために、移動後の画像（画素）を基準に、移動元の画像（画素）までの距離をディスパリティとして扱うことがある。
【００２９】
図６乃至図１１は、ディスパリティ補正部２６による補正を説明するための説明図である。
【００３０】
図６乃至図８及び図１１は、上段及び下段によって画像中の所定の同一ラインの一部を示し、上段は移動前の画素位置、下段はディスパリティに基づく移動後の画素位置を示している。なお、図６乃至図９及び図１１は、各枠によって例えば画素を示しており、１つの視点、例えば左目に対するディスパリティに応じた各画素の移動を説明するものである。
【００３１】
図６乃至図８及び図１１は同一入力画像についてのものであり、この入力画像を示す上段の各画素Ｐ０〜Ｐ９のうち、画素Ｐ０，Ｐ１，Ｐ９はディスプレイ面の位置、画素Ｐ２〜Ｐ４は奥行き方向の位置、画素Ｐ５〜Ｐ８は手前側の位置に感じられるように表示すべきものであるものとする。
【００３２】
この場合には、図６の破線矢印に示すように、画素Ｐ０，Ｐ１，Ｐ９を水平方向同一位置、画素Ｐ２〜Ｐ４を水平方向左側の位置、画素Ｐ５〜Ｐ８を水平方向右側の位置に移動させることが考えられる。
【００３３】
図７はこの結果得られる画像を下段に示している。ディスパリティ補正部２６は、上述したように、画像（画素）が重なる領域については、最前面の画像を選択的する。従って、図７の下段の左から２つの画素及び最も右の画素の画素位置には、ディスパリティに従って、夫々元の画素Ｐ０，Ｐ１，Ｐ７を移動させて配置する。
【００３４】
なお、ディスパリティ補正部２６は、最前面にある画像をディスパリティの大きさによって判定することができる。画面右方向へのディスパリティを正の値で表し、画面左方向へのディスパリティを負の値で表すものとすると、左目の視点、即ち、視点が入力画像の視点位置よりも左側にある場合には正方向に最も大きい値のディスパリティを有する画像（画素）が最前面にある画像であると判定することができる。逆に、右目の視点、即ち、視点が入力画像の視点位置よりも右側にある場合には負方向に最も大きい値のディスパリティを有する画像（画素）が最前面前の画像である。
【００３５】
また、ディスパリティ補正部２６は、図７の下段の左から３つ目の画素及び右から２，３番目の画素の画素位置には、夫々元の画素Ｐ４，Ｐ５，Ｐ６を移動させて配置する。図７の矢印は元の画素との位置関係を示している。デプスから求めたディスパリティのみによって画素を移動させると、図７の下段の中央の４画素（斜線部）は、陰面領域となる。
【００３６】
陰面領域を補間する手法として、周囲の画素の情報を利用して、なだらかに変化させる方法が考えられる。図８はこの補間方法を説明するものである。陰面領域（太枠部）の画素については、周囲の画素を平均的に用いて補間を行う。図８の下段の例では、陰面領域の左側の２画素は隣接する画素Ｐ４によって補間し、右側の２画素は隣接する画素Ｐ５によって補間する。
【００３７】
図９は図８上段の入力画像の各画素の奥行きを示している。図９に示すように、画素Ｐ２〜Ｐ４はディスプレイ面よりも奥に感じられるように表示されるべき画像であり、画素Ｐ５〜Ｐ７はディスプレイ面よりも手前に感じられるように表示されるべき画像である。即ち、画素Ｐ４，Ｐ５はデプスの境界の画素であり、画素Ｐ４が含まれるオブジェクトと画素Ｐ５が含まれるオブジェクトとは別のオブジェクトであって、画素Ｐ４，Ｐ５は絵柄の境界の画素である可能性が高い。ところが、図８の例では、境界の画素Ｐ４，Ｐ５のいずれも夫々３画素に割当てられており、境界領域が水平方向に引き延ばされた画像となっている。
【００３８】
図１０は図８の手法によって陰面領域を補間して左右の目に対応する２つの視点画像を生成して表示した場合の表示例を模式的に示す説明図である。図１０は背景の画像５１上に、スケートをしている女性の画像５２が表示されていることを示している。上に持ち上げられた女性の足の画像５３と背景の画像５１との境界部分は水平方向に引き延ばされて、不鮮明な画像（斜線部）５４が表示されている。
【００３９】
このように前景と背景の奥行きがくっきり分かれているような部分では陰面領域が集中して出現し、図８のような単純なフィルタリング処理では陰面領域の画像がうまく生成されず、奥行きの境界部分、物体の境界部分に歪みが発生する。物体の輪郭においてこのような歪みが発生すると、この歪は画面上において極めて目立ち、画面品位が劣化する。
【００４０】
そこで、本実施の形態においては、陰面領域のディスパリティとして、陰面領域の周囲の最前面の画像のディスパリティを用いるという手法を採用する。
【００４１】
図１１は本実施の形態におけるディスパリティ補正処理を示す説明図である。
【００４２】
画像が重なる領域についての補正処理は図７と同様である。即ち、ディスパリティ補正部２６は、図１１の下段の左から２つの画素及び最も右の画素の画素位置には、夫々元の画素Ｐ０，Ｐ１，Ｐ７を移動させて配置する。
【００４３】
ディスパリティ補正部２６は、太枠で示す陰面領域について、周囲の最前面の画像のディスパリティを用いる。図１１の例では、画素Ｐ５〜Ｐ７が最前面の画素であり、ディスパリティ補正部２６は、陰面領域に最も近い最前面の画素Ｐ５のディスパリティを、陰面領域のディスパリティとする。従って、陰面領域については、元の画素が２画素分右方向にシフトして移動後の画素となる。
【００４４】
図１１に示すように、陰面領域については右側から順に、元の画素Ｐ４，Ｐ３，Ｐ２，Ｐ１を移動させて移動後の画像が得られる。図１１下段に示すように、物体の境界部分である移動後の画素Ｐ４，Ｐ５の部分は、補正前と同様の境界状態であり、境界部分に画質劣化は生じない。
【００４５】
なお、背景部分については、図１１下段の左から３，４画素目に示すように、元の画素Ｐ４，Ｐ１が配置順が変化して移動している。従って、この部分には歪みが生じている。しかし、背景部分の歪みは、境界部分の歪みに比べて目立ちにくく、画質の劣化は比較的小さい。
【００４６】
ディスパリティ補正部２６は、ディスパリティ生成部２５からのディスパリティを図１１の矢印に示すように補正して、補正後の補正ディスパリティを画像シフト部２７に出力する。画像シフト部２７は、入力画像の各画素を補正ディスパリティに従って移動させて、各視点における視差画像を生成する。
【００４７】
なお、図１１では陰面領域の左右の同一水平ライン上の画素のうち最前面の画素のディスパリティを用いる例を説明したが、ディスパリティ補正部２６は、陰面領域内の補間する画素の周囲に所定のブロックを設定し、このブロック内で最前面の画素を検出し、この最前面画素のディスパリティによって陰面領域の補間する画素のディスパリティを得てもよい。
【００４８】
次にこのように構成された実施の形態の動作について図１２乃至図１５を参照して説明する。図１２及び図１４は実施の形態の動作を説明するためのフローチャートであり、図１３及び図１５は実施の形態の動作を説明するための説明図である。
【００４９】
立体映像表示装置１０の入力端子１１には入力映像及び視点情報が入力される。デプス推定部１２は、入力映像の各画像のデプスを例えば画素毎に求める。入力映像、デプス及び視点情報は立体映像生成部１３に与えられる。立体映像生成部１３は、視差画像生成部２２−１〜２２−ｎによって、各視点毎に視差画像を生成する。
【００５０】
即ち、視差画像生成部２２においては、先ずディスパリティ生成部２５によって、各視点のディスパリティが求められる。ディスパリティ生成部２５は、各画素のデプスに応じて各視点のディスパリティを求める。ディスパリティ生成部２５が求めたディスパリティは、ディスパリティ補正部２６に与えられる。
【００５１】
ディスパリティ補正部２６は、入力されたディスパリティに従って画像をシフトさせた場合に画像が重なる領域については、重なる画像のうち最前面の画像を選択して表示するようにディスパリティを補正する。また、ディスパリティ補正部２６は、入力されたディスパリティに従って画像をシフトさせた場合に画像がなくなる陰面領域については、周囲の画素のうち最前面の画素のディスパリティを用いる。
【００５２】
図１２はディスパリティ補正部２６による左目を視点とする陰面領域のディスパリティの補正処理を示している。図１２は視点が入力画像の視点位置よりも左側にある全ての視点に共通の処理である。なお、図１２及び後述する図１４、図１６、図１７、図１９及び図２０においては、画面右方向へのディスパリティを正の値で表し、画面左方向へのディスパリティを負の値で表すものとする。
【００５３】
ディスパリティ補正部２６は、図１２のステップＳ１において、全画素についての処理を開始する。ディスパリティ補正部２６は、ステップＳ２において、変数ｍａｘを１６ビット精度におけるディスパリティの最小値である−３２７６８に設定する。上述したように、最前面の画像（画素）は、視点が左目の場合には、正方向で最も大きい値のディスパリティが設定された画素である。ディスパリティ補正部２６は、最前面の画素、即ち、最大ディスパリティの画素を検出するために、ディスパリティを代入する変数ｍａｘを最小値に設定しておく。
【００５４】
次に、ステップＳ３において、ディスパリティ補正部２６は、対象画素が陰面領域の画素であるか否かを判定する。陰面領域の画素でない場合には、処理をステップＳ１１からステップＳ１に戻して、次の画素に対する処理を行う。
【００５５】
対象画素が陰面領域の画素の場合には、次のステップＳ４において、ディスパリティ補正部２６は対象画素の周囲の画素に対する処理を開始する。例えば、ディスパリティ補正部２６は、周囲画素として、図１３に示す周囲画素範囲を設定する。ディスパリティ補正部２６は、この周囲画素範囲を最大ディスパリティの検出範囲として設定する。図１３の例は最大ディスパリティの検出範囲として３×３画素範囲を設定した例を示している。図１３の中央の網線部が対象画素であり、斜線部が陰面領域を示している。
【００５６】
ディスパリティ補正部２６は、ステップＳ４〜Ｓ８において、検出範囲中で最も大きいディスパリティ値を有する画素を検索する。即ち、ディスパリティ補正部２６は、ステップＳ５において周囲画素が非陰面領域の画素であるか否かを判定する。陰面領域の画素にはディスパリティが設定されていないので、ステップＳ８からステップＳ４に処理を戻して次の画素に対する検索処理を行う。
【００５７】
非陰面領域の画素の場合には、その画素のディスパリティが変数ｍａｘよりも大きいか否かを判定し（ステップＳ６）、大きい場合には変数ｍａｘにその画素のディスパリティ値を代入する。検出範囲内の全ての画素についての処理を行うことで、変数ｍａｘには、検出範囲内の画素の最大ディスパリティ値が代入される。こうして、図１３の例では斜線が施されていない画素の最大ディスパリティ値が求められることになる。
【００５８】
ディスパリティ補正部２６は、ステップＳ９において、変数ｍａｘが最小値−３２７６８のまま変化していないか否か、即ち、周囲画素である検出範囲内の全ての画素が陰面領域の画素であるか否かを判定する。変数ｍａｘが最小値でない場合には、対象画素のディスパリティ値に変数ｍａｘの値を代入する。こうして、周囲画素の最大ディスパリティ値が対象画素のディスパリティ値として求められる。ディスパリティ補正部２６は、ステップＳ１〜Ｓ１１において、陰面領域の全ての画素について、各周囲画素の最大ディスパリティ値を求めてディスパリティ値とする。
【００５９】
図１４はディスパリティ補正部２６による右目を視点とする陰面領域のディスパリティの補正処理を示している。図１４において図１２と同一の手順には同一符号を付して説明を省略する。なお、図１４は視点が入力画像の視点位置よりも右側にある全ての視点に共通の処理である。
【００６０】
視点が右目の場合には、負方向の最大ディスパリティ値を有する画素が最前面の画素であることを考慮した点が、図１２の左目の視点に対する処理と異なるのみである。
【００６１】
従って、ディスパリティ補正部２６は、ディスパリティの最大値を検出するための変数ｍｉｎを最大値に設定しておく（ステップＳ１２）。また、ディスパリティ補正部２６は、検出範囲内の非陰面領域の画素について、その画素のディスパリティが変数ｍｉｎよりも小さいか否かを判定し（ステップＳ１６）、小さい場合には変数ｍｉｎにその画素のディスパリティ値を代入する。検出範囲内の全ての画素についての処理を行うことで、変数ｍｉｎには、検出範囲内の画素の負方向の最大ディスパリティ値が代入される。
【００６２】
ディスパリティ補正部２６は、ステップＳ１９において、変数ｍｉｎが最大値３２７６８のまま変化していないか否か、即ち、周囲画素である検出範囲内の全ての画素が陰面領域の画素であるか否かを判定する。変数ｍｉｎが最大値でない場合には、対象画素のディスパリティ値に変数ｍｉｎの値を代入する。こうして、周囲画素の負方向の最大ディスパリティ値が対象画素のディスパリティ値として求められる。
【００６３】
ディスパリティ補正部２６は、画像が重なった領域の画素のディスパリティを補正すると共に、図１２及び図１４のフローに基づいて、陰面領域の画素のディスパリティを補正して、補正後の補正ディスパリティを画像シフト部２７に出力する。画像シフト部２７は、入力画像を補正ディスパリティを用いて移動させて、各視点についての視差画像を生成し出力する。
【００６４】
立体映像生成部１３は、視差画像生成部２２−１〜２２−ｎが生成した各視差画像を合成して多視点画像を生成し、出力端子２３を介して立体映像として出力する。この立体映像は表示部１４に供給され、表示部１４の表示画面上に映出される。
【００６５】
図１５は図１０と同一画像についてディスパリティ補正部２６による補正ディスパリティを用いて生成した視差画像による表示を模式的に示している。図１４に示すように、陰面領域の画素のディスパリティとして、周囲画素のうち最前面の画素のディスパリティの値を用いていることから、女性の足の画像５３と背景の画像５１との境界部分５５に歪みが生じることはない。
【００６６】
このように本実施の形態においては、陰面領域の画素のディスパリティとして、周囲画素のうち最前面の画素のディスパリティの値を用いていることから、物体の境界位置において画像が歪むことを防止することができ、高画質の視差画像を得ることができる。
【００６７】
（第２の実施の形態）
図１６乃至図１８は本発明の第２の実施の形態に係り、図１６及び図１７は第２の実施の形態を示すフローチャートであり、図１８は第２の実施の形態を説明するための説明図である。
【００６８】
本実施の形態におけるハードウェア構成は第１の実施の形態と同様である。本実施の形態はディスパリティ補正部２６における補正処理が第１の実施の形態と異なるのみである。
【００６９】
先ず図１８を参照して第２の実施の形態における陰面領域の画素のディスパリティの補正処理について説明する。第１の実施の形態においては、陰面領域の周囲の画像のうち最前面の画像のディスパリティを陰面領域の画素のディスパリティとした。更に、本実施の形態においては、陰面領域の周囲画素のディスパリティも利用して、陰面領域の画素のディスパリティを求めるものである。
【００７０】
図１８は陰面領域内のディスパリティを補正する対象画素を中心に設定した周囲画素範囲を示している。図１８の例は周囲画素範囲として３×３画素範囲を設定した例を示している。図１８の中央の網線部が対象画素であり、斜線部が陰面領域を示している。
【００７１】
本実施の形態においては、ディスパリティ補正部２６は、周囲画素範囲のディスパリティに、夫々設定した重み付けを乗算し、更に、周囲画素範囲内の最前面の画素のディスパリティに、設定した重み付けを乗算して、両者を加算して平均を算出することにより対象画素のディスパリティを得る。
【００７２】
図１８の例では、３×３の周囲画素のディスパリティに、３×３の枠内に示した重み付けの値（位置重み）が乗算される。なお、中央の対象画素に対する重み付けの値（４）は、他の周囲画素との比較のために示している。更に、周囲画素のうち最前面の画素のディスパリティに重み付けの値（４）が乗算される。これらの乗算結果が加算され、重み付けの総和（図１８では１２）で除算することにより、対象画素のディスパリティが求められる。
【００７３】
このように構成された実施の形態においては、図１６及び図１７に示す陰面領域の補正処理が行われる。図１６及び図１７において夫々図１２及び図１４と同一の手順には同一符号を付して説明を省略する。
【００７４】
図１６はディスパリティ補正部２６による左目を視点とする陰面領域のディスパリティの補正処理を示している。図１６のステップＳ２２では、ディスパリティ補正部２６は、変数ｍａｘに最小値を設定すると共に、変数ｓｕｍを０に初期化する。変数ｓｕｍは、周囲画素の各ディスパリティを夫々重み付けして加算した結果を代入するためのものである。
【００７５】
ステップＳ２３においては、ディスパリティ補正部２６は、周囲画素のディスパリティに画素位置に応じた重み（位置重み）を乗算し、乗算結果を変数ｓｕｍの値に積算する。ステップＳ４〜Ｓ８，Ｓ２３によって、周囲画素の非陰面領域の画素全てについてのディスパリティ×位置重みの乗算結果が加算される。
【００７６】
更に、ディスパリティ補正部２６は、ステップＳ２４において、周囲画素の最大ディスパリティ値に重みを乗算し、乗算結果を変数ｓｕｍに加算し、変数ｓｕｍを重みの総和で除算する。重みの総和についても非陰面領域の画素に対応する位置重みの総和となる。ディスパリティ補正部２６は、ステップＳ２５において、変数ｓｕｍの値を対象画素のディスパリティ値とする。
【００７７】
図１７はディスパリティ補正部２６による右目を視点とする陰面領域のディスパリティの補正処理を示している。図１７のステップＳ３２では、ディスパリティ補正部２６は、変数ｍｉｎに最大値を設定すると共に、変数ｓｕｍを０に初期化する。ステップＳ３３において、ディスパリティ補正部２６は、周囲画素のディスパリティに画素位置に応じた重み（位置重み）を乗算し、乗算結果を変数ｓｕｍの値に積算する。ステップＳ４，Ｓ５，Ｓ３３，Ｓ１６，Ｓ１７，Ｓ８によって、周囲画素の非陰面領域の画素全てについてのディスパリティ×位置重みの乗算結果が加算される。
【００７８】
更に、ディスパリティ補正部２６は、ステップＳ３４において、周囲画素の負方向の最大ディスパリティ値に重みを乗算し、乗算結果を変数ｓｕｍに加算し、変数ｓｕｍを重みの総和で除算する。重みの総和についても非陰面領域の画素に対応する位置重みの総和となる。ディスパリティ補正部２６は、ステップＳ５５において、変数ｓｕｍの値を対象画素のディスパリティ値とする。
【００７９】
他の作用は第１の実施の形態と同様である。
【００８０】
このように本実施の形態においては、陰面領域については、対象画素の周囲画素のディスパリティと周囲画素中の最前面の画素のディスパリティとを用いて、対象画素のディスパリティを求めている。これにより、本実施の形態においても、物体の境界位置において画像が歪むことを防止することができ、高画質の視差画像を得ることができる。
【００８１】
なお、本実施の形態においては、周囲画素及び最前面の画素のディスパリティに重みを付した後平均化しており、対象画素のディスパリティが小数点精度となることがある。この場合には、画像シフト部２７において、ディスパリティに対応する２画素の画素値をディスパリティに応じて加算して、視差画像の画素値を求めてもよい。
【００８２】
（第３の実施の形態）
図１９及び図２０は本発明の第３の実施の形態を示すフローチャートである。図１９及び図２０において夫々図１６及び図１７と同一の手順については同一符号を付してある。本実施の形態におけるハードウェア構成は第１及び第２の実施の形態と同様である。本実施の形態はディスパリティ補正部２６における補正処理が第２の実施の形態と異なるのみである。
【００８３】
第２の実施の形態においては、陰面領域の各画素について、周囲画素及び周囲画素中の最前面の画素のディスパリティを重み付けして、対象画素のディスパリティを求めた。これに対し、本実施の形態は第２の実施の形態において陰面領域の各画素について行った補正処理を全ての画素について実施するものである。
【００８４】
図１９はディスパリティ補正部２６による左目を視点とするディスパリティの補正処理を示しており、図２０はディスパリティ補正部２６による右目を視点とするディスパリティの補正処理を示している。
【００８５】
図１９及び図２０のフローは、陰面領域の画素のみを対象とするためのステップＳ３の処理が省略されている点が図１６及び図１７のフローと異なるのみである。
【００８６】
本実施の形態においては、画像中の全画素を対象画素とし、各対象画素の周囲に所定サイズの周囲画素範囲を設定し、周囲画素のディスパリティと周囲画素中の最前面の画素のディスパリティとに重み付けを付して、対象画素のディスパリティを補正するものである。この場合には、ディスパリティ生成部２５によって対象画素のディスパリティが既に求められていることがあり、対象画素のディスパリティについても例えば図１８の位置重みに示すように所定の重みが乗算される。
【００８７】
他の作用は、第２の実施の形態と同様である。
【００８８】
このように本実施の形態においては、全画素について、周囲画素のディスパリティと周囲画素中の最前面の画素のディスパリティとに重み付けを付すことで、ディスパリティを補正するようになっている。これにより、デプスに基づいて画像を移動させる処理による歪みを軽減し、高画質の視差画像を得ることができる。
【００８９】
更に、上記実施の形態においては、対象画素について１回の補正処理を行う例を説明したが、対象画素について、図１８に示す補正処理を複数回繰り返すことで、歪みの軽減効果を一層向上させることができる。
【００９０】
このように上記各実施の形態によれば、１視点の２Ｄ映像から２視点のステレオ３Ｄ映像への変換や、２視点のステレオ３Ｄ映像から多視点の３Ｄ映像への変換等の多視点画像への変換処理において、陰面領域の画像を高精度に生成することができる。
【００９１】
本発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適当な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
【符号の説明】
【００９２】
１０…立体映像表示装置、１２…デプス推定部、１３…立体映像生成部、４１…表示部、２２…視差画像生成部、２５…ディスパリティ生成部、２６…ディスパリティ補正部、２７…画像シフト部。
【特許請求の範囲】
【請求項１】
入力画像の各部分のデプスが与えられ、前記デプスに基づいて前記画像の各部分における視点毎のディスパリティを生成するディスパリティ生成部と、
前記画像中の対象部分のディスパリティを前記対象部分の周囲の部分のうち最前面の部分について求められたディスパリティに基づく値に補正するディスパリティ補正部と、
前記ディスパリティ補正部によって補正されたディスパリティに基づいて前記入力画像の各部分を移動させて、視点毎の視差画像を生成する画像シフト部と
を具備したことを特徴とする視差画像生成装置。
【請求項２】
前記ディスパリティ補正部は、前記最前面の部分について求められたディスパリティの値を前記対象部分のディスパリティの値とする
ことを特徴とする請求項１に記載の視差画像生成装置。
【請求項３】
前記ディスパリティ補正部は、前記対象部分の周囲の部分について求めたディスパリティと前記最前面の部分について求められたディスパリティとに重み付けを付して加算した結果によって前記対象部分のディスパリティを求める
ことを特徴とする請求項１に記載の視差画像生成装置。
【請求項４】
前記対象部分は、前記ディスパリティ生成部が求めたディスパリティに基づいて前記画像シフト部が前記入力画像の部分を移動させた場合に、前記入力画像の部分が移動されない陰面領域の部分である
ことを特徴とする請求項１乃至３のいずれか１つに記載の視差画像生成装置。
【請求項５】
前記対象部分は、前記入力画像中の全ての部分である
ことを特徴とする請求項１乃至３のいずれか１つに記載の視差画像生成装置。
【請求項６】
入力画像の各部分のデプスを求めるデプス生成部と、
前記デプスに基づいて前記画像の各部分における視点毎のディスパリティを生成するディスパリティ生成部と、前記画像中の対象部分のディスパリティを前記対象部分の周囲の部分のうち最前面の部分について求められたディスパリティに基づく値に補正するディスパリティ補正部と、前記ディスパリティ補正部によって補正されたディスパリティに基づいて前記入力画像の各部分を移動させて、視点毎の視差画像を生成する画像シフト部とを有する視差画像生成部と、
前記視差画像生成部によって視点毎に生成された視差画像を合成して多視点画像を生成する多視点画像生成部と
を具備したことを特徴とする立体映像表示装置。
【請求項７】
入力画像の各部分のデプスが与えられ、前記デプスに基づいて前記画像の各部分における視点毎のディスパリティを生成し、
前記画像中の対象部分のディスパリティを前記対象部分の周囲の部分のうち最前面の部分について求められたディスパリティに基づく値に補正し、
前記ディスパリティ補正部によって補正されたディスパリティに基づいて前記入力画像の各部分を移動させて、視点毎の視差画像を生成する
ことを特徴とする視差画像生成方法。
【請求項１】
入力画像の各部分のデプスが与えられ、前記デプスに基づいて前記画像の各部分における視点毎のディスパリティを生成するディスパリティ生成部と、
前記画像中の対象部分のディスパリティを前記対象部分の周囲の部分のうち最前面の部分について求められたディスパリティに基づく値に補正するディスパリティ補正部と、
前記ディスパリティ補正部によって補正されたディスパリティに基づいて前記入力画像の各部分を移動させて、視点毎の視差画像を生成する画像シフト部と
を具備したことを特徴とする視差画像生成装置。
【請求項２】
前記ディスパリティ補正部は、前記最前面の部分について求められたディスパリティの値を前記対象部分のディスパリティの値とする
ことを特徴とする請求項１に記載の視差画像生成装置。
【請求項３】
前記ディスパリティ補正部は、前記対象部分の周囲の部分について求めたディスパリティと前記最前面の部分について求められたディスパリティとに重み付けを付して加算した結果によって前記対象部分のディスパリティを求める
ことを特徴とする請求項１に記載の視差画像生成装置。
【請求項４】
前記対象部分は、前記ディスパリティ生成部が求めたディスパリティに基づいて前記画像シフト部が前記入力画像の部分を移動させた場合に、前記入力画像の部分が移動されない陰面領域の部分である
ことを特徴とする請求項１乃至３のいずれか１つに記載の視差画像生成装置。
【請求項５】
前記対象部分は、前記入力画像中の全ての部分である
ことを特徴とする請求項１乃至３のいずれか１つに記載の視差画像生成装置。
【請求項６】
入力画像の各部分のデプスを求めるデプス生成部と、
前記デプスに基づいて前記画像の各部分における視点毎のディスパリティを生成するディスパリティ生成部と、前記画像中の対象部分のディスパリティを前記対象部分の周囲の部分のうち最前面の部分について求められたディスパリティに基づく値に補正するディスパリティ補正部と、前記ディスパリティ補正部によって補正されたディスパリティに基づいて前記入力画像の各部分を移動させて、視点毎の視差画像を生成する画像シフト部とを有する視差画像生成部と、
前記視差画像生成部によって視点毎に生成された視差画像を合成して多視点画像を生成する多視点画像生成部と
を具備したことを特徴とする立体映像表示装置。
【請求項７】
入力画像の各部分のデプスが与えられ、前記デプスに基づいて前記画像の各部分における視点毎のディスパリティを生成し、
前記画像中の対象部分のディスパリティを前記対象部分の周囲の部分のうち最前面の部分について求められたディスパリティに基づく値に補正し、
前記ディスパリティ補正部によって補正されたディスパリティに基づいて前記入力画像の各部分を移動させて、視点毎の視差画像を生成する
ことを特徴とする視差画像生成方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【公開番号】特開２０１２−１２０１０９（Ｐ２０１２−１２０１０９Ａ）
【公開日】平成２４年６月２１日（２０１２．６．２１）
【国際特許分類】
【出願番号】特願２０１０−２７０５５６（Ｐ２０１０−２７０５５６）
【出願日】平成２２年１２月３日（２０１０．１２．３）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２４年６月２１日（２０１２．６．２１）
【国際特許分類】
【出願日】平成２２年１２月３日（２０１０．１２．３）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]