画像処理装置および表示装置
【課題】副作用の少ないクロストークの軽減処理を行うことができる画像処理装置および表示装置を提供する。
【解決手段】入力された複数の視点画像のそれぞれに対して所定のフィルタリング処理を施した場合の第１の補正量を算出する補正量算出部と、
前記第１の補正量を、前記複数の視点画像間の階調レベルの関係に応じて変化するようなゲインによって調整する調整部とを備える。
【解決手段】入力された複数の視点画像のそれぞれに対して所定のフィルタリング処理を施した場合の第１の補正量を算出する補正量算出部と、
前記第１の補正量を、前記複数の視点画像間の階調レベルの関係に応じて変化するようなゲインによって調整する調整部とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、複数の視点画像が入力される画像処理装置および表示装置に関する。
【背景技術】
【０００２】
３Ｄ（立体）表示を行う手法としては、立体視用の眼鏡を用いる眼鏡方式と、立体視用の特殊な眼鏡を用いることなく裸眼での立体視を可能にした裸眼方式とがある。裸眼方式としては、パララックスバリアやレンチキュラレンズ等の光学素子（視差分離手段）を用いるものがある。この裸眼方式の場合、観察者が視差分離手段を通して２次元表示装置に表示された２次元画像を見ると、ある方向から見える画像はパララックスバリアやレンチキュラレンズ等の配列ピッチに対応した、２次元表示装置の離散的な位置の画素のみとなる。別の方向から見た場合は別の離散的な位置の画素を見ることになる。これにより両眼に異なる画像を提示することが可能となり、立体表示が実現する。
【０００３】
眼鏡方式の代表的なものとしては、２次元表示装置に右眼用画像および左眼用画像を表示する際に時間分割、空間分割または波長分割等により画像の選択性を持たせると共に、眼鏡にこれに対応する選択性をもたせる。これにより、観察者の右眼と左眼とに異なる画像を提示することが可能となり立体表示が可能となる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−２５１０９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
立体表示装置の問題として、立体表示性能が損なわれるいわゆるクロストークの問題がある。クロストークは、観察者の一方の眼に、本来、呈示されるべき視点画像だけでなく他の視点画像が混じって観察されてしまう現象である（例えば右眼に左眼用画像が混じって観察されてしまう）。裸眼方式の場合においては、光学素子を通してある方向から見たとき、他の方向の画像が光学素子で十分に分離されずに混入して見えることによりクロストークが発生する。眼鏡方式の場合においては、一方の眼に呈示されるべき画像に他方の眼に呈示されるべき画像が眼鏡で十分に分離されずに混入してしまうことによりクロストークが発生する。
【０００６】
そこで、クロストークを減らすために、ハイパスフィルタ等によるフィルタリング処理を施す方法があるが、この場合、処理ができる階調が限られているため、副作用のほうが大きくなる場合が頻繁に起こってしまう。特許文献１には、ある方向に表示する画素の表示を、別の方向に表示する画像データをもとに補正することでクロストークの発生を抑制する技術が開示されている。しかしながら、特許文献１に記載の技術では、暗い背景の中で明るい物体に視差があるような立体画像におけるクロストークの弊害に対しては補正が十分ではない。なぜなら、特許文献１に記載の技術では、信号の黒表示レベル以下に補正信号を設定できないためである。
【０００７】
本開示の目的は、副作用の少ないクロストークの軽減処理を行うことができる画像処理装置および表示装置を提供することにある。
【課題を解決するための手段】
【０００８】
本開示による画像処理装置は、入力された複数の視点画像のそれぞれに対して所定のフィルタリング処理を施した場合の第１の補正量を算出する補正量算出部と、第１の補正量を、複数の視点画像間の階調レベルの関係に応じて変化するようなゲインによって調整する調整部とを備えたものである。
【０００９】
本開示による表示装置は、複数の視点画像のそれぞれに対して所定のフィルタリング処理を行う画像処理部と、画像処理部によってフィルタリング処理された後の複数の視点画像に基づいて画像表示を行う表示部とを備え、その画像処理部を、上記本開示の画像処理装置で構成したものである。
【００１０】
本開示による画像処理装置または表示装置では、入力された複数の視点画像のそれぞれに対して所定のフィルタリング処理を施した場合の第１の補正量が、複数の視点画像間の階調レベルの関係に応じて変化するようなゲインによって調整される。
【発明の効果】
【００１１】
本開示の画像処理装置または表示装置によれば、所定のフィルタリング処理を施した場合の第１の補正量を、複数の視点画像間の階調レベルの関係に応じて変化するようなゲインによって調整するようにしたので、副作用の少ないクロストークの軽減処理を行うことができる。
【図面の簡単な説明】
【００１２】
【図１】本開示の一実施の形態に係る表示装置の一構成例を示すブロック図である。
【図２】表示部の画素とパララックス素子との組み合わせの第１の例を示す平面図である。
【図３】表示部の画素とパララックス素子との組み合わせの第２の例を示す平面図である。
【図４】クロストーク発生の原理を示す説明図である。
【図５】フィルタリング処理によりクロストークを補正した第１の例を示す説明図である。
【図６】フィルタリング処理によるクロストークの補正可能範囲を示す説明図である。
【図７】補正量がダイナミックレンジを超える場合のクロストークの補正の概念を示す説明図である。
【図８】ダイナミックレンジを超える場合に補正量の調整を行う概念を示す説明図である。
【図９】ダイナミックレンジを超える場合に補正量の調整を行った例を示す説明図である。
【図１０】クロストーク補正の処理の一例を示す流れ図である。
【発明を実施するための形態】
【００１３】
以下、本開示の実施の形態について図面を参照して詳細に説明する。
【００１４】
［表示装置の構成］
図１は、本開示の一実施の形態に係る表示装置の一構成例を示している。この表示装置は、入力信号Ｖｉｎに対して所定のフィルタリング処理を行う画像処理部と、画像処理部によってフィルタリング処理された後の出力信号Ｖｏｕｔに基づいて画像表示を行う表示部１とを備えている。
【００１５】
入力信号Ｖｉｎは、例えば立体表示用の複数の視点画像を含むデータとなっている。出力信号Ｖｏｕｔは、画像処理部によって所定のフィルタリング処理が施された複数の視点画像を含むデータとなっている。
【００１６】
表示部１は、液晶表示パネル、有機ＥＬ（エレクトロルミネッセンス）、またはプラズマディスプレイ等の２次元表示ディスプレイで構成されている。表示部１の表示画面には、複数の画素が２次元的に配列されている。表示部１の表示画面には、複数の視点画像に基づいて、この表示装置の立体表示方式に応じた画像表示がなされる。
【００１７】
この表示装置の立体表示方式は、特に限定されない。眼鏡方式であっても良いし、パララックスバリア方式やレンチキュラレンズ方式等の裸眼方式であっても良い。例えばシャッタ眼鏡を用いた眼鏡方式の場合、表示部１には、複数の視点画像として、例えば左右２視点の視差画像（左眼用視差画像および右眼用視差画像）が時分割で交互に表示される。また例えば裸眼方式の場合、表示部１には、複数の視点画像として、左右２視点の視差画像または多視点の視差画像が１画面内に合成された視差合成画像が表示される。すなわち、複数の視点画像が空間分割されて表示される。
【００１８】
図２および図３は、レンチキュラレンズ方式による立体表示装置の一例を示している。この立体表示装置は、表示部１に対して、パララックス素子としてのレンチキュラレンズ１０が対向配置されたものである。図２および図３の構成例では、表示部１がＲ（赤色）用画素１１Ｒ、Ｇ（緑色）用画素１１Ｇ、およびＢ（青色）用画素１１Ｂからなる画素を複数有し、それら複数の画素がマトリクス状に配置されている。図２および図３は、４視点表示を行う例を示している。各画素１１Ｒ，１１Ｇ，１１Ｂ内に付した０〜３の数字は、各画素１１Ｒ，１１Ｇ，１１Ｂに割り当てられる４種類の視点画像の番号（視点番号）を示している。
【００１９】
レンチキュラレンズ１０は、例えばシリンドリカル状の分割レンズ１０Ａを複数並列配置したものとなっている。図２は分割レンズ１０Ａの母線方向が垂直となるようにして水平方向に複数並列配置した例を示し、図３は分割レンズ１０Ａの母線方向が斜めとなるように傾けて水平方向に複数並列配置した例（斜めレンチキュラ方式）を示している。レンチキュラレンズ１０は、表示部１に表示された複数の視点画像を空間的に分離して観察者側に出射するようになっている。
【００２０】
なお、レンチキュラレンズ１０に代えて、パララックス素子としてパララックスバリア素子を配置することで、パララックスバリア方式による立体表示装置の構成にすることができる。パララックスバリア素子は、光を透過する開口部と、光を遮蔽する遮蔽部とを備えたものである。
【００２１】
図１に戻って画像処理部の構成を説明する。画像処理部は、クロストーク補正量算出部２と、補正量調整部９と、加算器５とを備えている。補正量調整部９は、クロストーク補正量クリップ部３と、ゲイン算出部４と、加算器６と、加算器７と、乗算器８とを有している。
【００２２】
クロストーク補正量算出部２は、入力された複数の視点画像のそれぞれに対して所定のフィルタリング処理を施した場合の第１の補正量（Δi,1）を算出するものである。ここでいう所定のフィルタリング処理は、例えば後述する具体例のようなハイパスフィルタ処理である。
【００２３】
補正量調整部９は、第１の補正量（Δi,1）を、複数の視点画像間の階調レベルの関係に応じて変化するようなゲイン（Ｇi）によって調整するものである。具体例は後述するが、ゲイン（Ｇi）は、クリップ前の所望の第１の補正量（Δi,1）と、複数の視点画像のそれぞれに対して所定のフィルタリング処理を施した場合の補正限界となるクリップ後の第２の補正量（Δi,2）との比に基づくものである。補正量調整部９は、複数の視点画像のそれぞれに対して、同一のゲインを用いるようになっている。
【００２４】
加算器５は、第１の補正量（Δi,1）と各視点画像の入力値との差分量（加算器６の出力値）にゲイン（Ｇi）を乗じた値を各視点画像の入力値に加算するようになっている。
【００２５】
［比較例によるフィルタリング処理］
本実施の形態における画像処理の具体例を説明するのに先だって、クロストーク発生の原理と、そのクロストークを軽減するための比較例によるフィルタリング処理について説明する。
【００２６】
ここでは、図２および図３に示したレンチキュラレンズ方式において発生するクロストークを例に説明する。図２のように分割レンズ１０Ａを傾けない構成の場合、モアレが発生しやすい。そのモアレ対策として、図３のように分割レンズ１０Ａを傾けた構成にする方法がある。しかしながら、分割レンズ１０Ａを傾けた構成にする場合、その副作用として隣接視点のクロストークが大きくなってしまうという問題がある。
【００２７】
ここで、図３のような構成において、クロストーク改善用の画像処理（フィルタリング処理）を行わずに、多視点画像を出力した場合のクロストーク発生の原理を図４（Ａ）〜（Ｄ）に模式的に示す。図４（Ｂ）は任意のｎ番目の視点画像の階調レベル（信号レベル）を示す。図４（Ａ）はｎ−１番目、図４（Ｃ）はｎ＋１番目の視点画像の階調レベルを示す。図４（Ｄ）は、ｎ番目の視点位置で観測される視点画像の状態を示している。図４（Ｄ）では、図４（Ａ）〜（Ｃ）の視点画像が合成された状態となる。ｎ番目の視点位置では、理想的には図４（Ｂ）の視点画像の状態のまま観測されれば良いが、隣接するｎ−１番目、ｎ＋１番目の視点画像がクロストーク成分（ゴースト成分）となって観測されてしまう。
【００２８】
４視点でのクロストーク成分は、以下の（式１）によるＸで表現される。（式１）において、例えばＶ1,inは第１番目の視点画像の入力値を表し、Ｖ1,outは第１番目の視点画像の出力値を表す。図４（Ｄ）に示すように、隣接視点のクロストーク成分によって、輪郭がはっきりせず、ゴーストのように見えてしまうことが分かる。
【００２９】
【数１】
【００３０】
これに対して、（式２）で表される逆行列Ｘ-1を掛けるフィルタリング処理（ハイパスフィルタ処理）による補正を行ってクロストークの改善を行うことができる。図５（Ａ）〜（Ｄ）は、そのようなフィルタリング処理を行った例を示している。図５（Ｄ）に示した状態では、図４（Ｄ）に示した状態に対して、輪郭が強調されたことによってクロストークが抑制され、はっきりと見えるようになる。
【００３１】
【数２】
【００３２】
しかしながら、図６に示すように、フィルタリング処理のできる階調の組み合わせには限界があり、場合によっては副作用のほうが目立つ場合もある。図６において横軸は例えばｎ番目の視点画像に対して、背景（クロストーク成分）となる他の視点画像の階調レベル（信号レベルを示している。例えば、ある着目したｎ番目の視点のある箇所の階調が高階調側にあって、背景の階調が中間調側にある場合、背景の階調は低階調側にマージンがまだあるため、補正をかけられるのだが、すでに高階調側にいる箇所の補正は入力階調が頭打ちになり、補正のかけられる限界に達してしまい、所望の補正をかけられないという状況になってしまう。その結果、例えば図７（Ａ）〜（Ｄ）に示すように、背景の低階調方向の補正が極端にかかってしまい、クロストークが悪化してしまい、立体表示の劣化の原因となる場合がある。
【００３３】
［本実施の形態のフィルタリング処理の具体例］
本実施の形態では、上述の比較例によるフィルタリング処理によるクロストーク悪化の問題を解決するために、フィルタリング処理の補正量のゲイン値を階調の組み合わせによって変化させる。図７（Ａ）〜（Ｄ）のように所望の補正量がかけられない（もしくは限界に近づく）場合、補正量のゲイン値を下げていく。具体的な方法を図８（Ａ），（Ｂ）に示す。ゲイン値の補正方法は多数あるが、図８（Ａ），（Ｂ）に示すように、所望の補正量Δ１（第１の補正量）と実際にかけられる限界の補正量Δ２（第２の補正量）との比を算出し、それに伴ったゲイン値を背景（クロストーク成分）の補正量に反映させるという方法が望ましい。その結果、図９（Ａ）〜（Ｄ）に示すように、補正の副作用を最小限に抑えつつ、クロストーク成分を減少させることができる。
【００３４】
図１０は、本実施の形態におけるクロストークを軽減するためのフィルタリング処理の一例を示している。入力信号Ｖｉｎとして、複数の視点画像Ｖi,in（ｉ＝０〜Ｎ）が入力される（ステップＳ１１）。クロストーク補正量算出部２は例えば上述の（式２）のような演算式によって、複数の視点画像Ｖi,inのそれぞれに対して所定のフィルタリング処理を施した場合の第１の補正量（Δi,1）を算出する（ステップＳ１２）。
【００３５】
クロストーク補正量クリップ部３では、所定のフィルタリング処理を施した場合の補正限界となるクリップ後の第２の補正量（Δi,2）を算出する（ステップＳ１３）。ゲイン算出部４では、例えばクリップ前の所望の第１の補正量（Δi,1）と、クリップ後の第２の補正量（Δi,2）との比で表されるゲイン（Ｇi）を算出する（ステップＳ１４）。乗算器８では、第１の補正量（Δi,1）と各視点画像の入力値との差分量（加算器６の出力値）にゲイン（Ｇi）を乗じた値を、最終的な補正量ｘｉとして求める（ステップＳ１５）。加算器５では、最終的な補正量ｘｉを複数の視点画像Ｖi,inのそれぞれに対して加算した出力値Ｖi,outを出力信号Ｖｏｕｔとして出力する（ステップＳ１６）。
【００３６】
［効果］
以上説明したように、本実施の形態に係る表示装置によれば、所定のフィルタリング処理を施した場合の第１の補正量を、複数の視点画像間の階調レベルの関係に応じて変化するようなゲインによって調整するようにしたので、副作用の少ないクロストークの軽減処理を行うことができる。これにより、ぼけやゴーストの少ない立体表示を行うことができる。
【００３７】
＜その他の実施の形態＞
本開示による技術は、上記実施の形態の説明に限定されず種々の変形実施が可能である。
例えば、上記実施の形態では、互いに視差のある複数の視点画像に基づいて立体表示を行う場合を例に挙げたが、立体表示ではなく、複数の方向に異なる画像を呈示するようなマルチビューディスプレイにも、本技術は適用可能である。
【００３８】
また例えば、本技術は以下のような構成を取ることができる。
（１）
入力された複数の視点画像のそれぞれに対して所定のフィルタリング処理を施した場合の第１の補正量を算出する補正量算出部と、
前記第１の補正量を、前記複数の視点画像間の階調レベルの関係に応じて変化するようなゲインによって調整する調整部と
を備えた画像処理装置。
（２）
前記所定のフィルタリング処理は、ハイパスフィルタ処理である
上記（１）に記載の画像処理装置。
（３）
前記第１の補正量と前記各視点画像の入力値との差分量に前記ゲインを乗じた値を前記各視点画像の入力値に加算する加算部をさらに備えた
上記（１）または（２）に記載の画像処理装置。
（４）
前記ゲインは、
前記第１の補正量と、前記複数の視点画像のそれぞれに対して前記所定のフィルタリング処理を施した場合の補正限界となる第２の補正量との比に基づくものである
上記（１）ないし（３）のいずれか１つに記載の画像処理装置。
（５）
前記調整部は、前記複数の視点画像のそれぞれに対して、同一のゲインを用いる
上記（１）ないし（４）のいずれか１つに記載の画像処理装置。
【符号の説明】
【００３９】
１…表示部、２…クロストーク補正量算出部、３…クロストーク補正量クリップ部、４…ゲイン算出部、５…加算器、６…加算器、７…加算器、８…乗算器、９…補正量調整部、１０…レンチキュラレンズ、１０Ａ…分割レンズ、１１Ｒ…赤色用画素、１１Ｇ…緑色用画素、１１Ｂ…青色用画素、Ｖｉｎ…入力信号、Ｖｏｕｔ…出力信号。
【技術分野】
【０００１】
本開示は、複数の視点画像が入力される画像処理装置および表示装置に関する。
【背景技術】
【０００２】
３Ｄ（立体）表示を行う手法としては、立体視用の眼鏡を用いる眼鏡方式と、立体視用の特殊な眼鏡を用いることなく裸眼での立体視を可能にした裸眼方式とがある。裸眼方式としては、パララックスバリアやレンチキュラレンズ等の光学素子（視差分離手段）を用いるものがある。この裸眼方式の場合、観察者が視差分離手段を通して２次元表示装置に表示された２次元画像を見ると、ある方向から見える画像はパララックスバリアやレンチキュラレンズ等の配列ピッチに対応した、２次元表示装置の離散的な位置の画素のみとなる。別の方向から見た場合は別の離散的な位置の画素を見ることになる。これにより両眼に異なる画像を提示することが可能となり、立体表示が実現する。
【０００３】
眼鏡方式の代表的なものとしては、２次元表示装置に右眼用画像および左眼用画像を表示する際に時間分割、空間分割または波長分割等により画像の選択性を持たせると共に、眼鏡にこれに対応する選択性をもたせる。これにより、観察者の右眼と左眼とに異なる画像を提示することが可能となり立体表示が可能となる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−２５１０９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
立体表示装置の問題として、立体表示性能が損なわれるいわゆるクロストークの問題がある。クロストークは、観察者の一方の眼に、本来、呈示されるべき視点画像だけでなく他の視点画像が混じって観察されてしまう現象である（例えば右眼に左眼用画像が混じって観察されてしまう）。裸眼方式の場合においては、光学素子を通してある方向から見たとき、他の方向の画像が光学素子で十分に分離されずに混入して見えることによりクロストークが発生する。眼鏡方式の場合においては、一方の眼に呈示されるべき画像に他方の眼に呈示されるべき画像が眼鏡で十分に分離されずに混入してしまうことによりクロストークが発生する。
【０００６】
そこで、クロストークを減らすために、ハイパスフィルタ等によるフィルタリング処理を施す方法があるが、この場合、処理ができる階調が限られているため、副作用のほうが大きくなる場合が頻繁に起こってしまう。特許文献１には、ある方向に表示する画素の表示を、別の方向に表示する画像データをもとに補正することでクロストークの発生を抑制する技術が開示されている。しかしながら、特許文献１に記載の技術では、暗い背景の中で明るい物体に視差があるような立体画像におけるクロストークの弊害に対しては補正が十分ではない。なぜなら、特許文献１に記載の技術では、信号の黒表示レベル以下に補正信号を設定できないためである。
【０００７】
本開示の目的は、副作用の少ないクロストークの軽減処理を行うことができる画像処理装置および表示装置を提供することにある。
【課題を解決するための手段】
【０００８】
本開示による画像処理装置は、入力された複数の視点画像のそれぞれに対して所定のフィルタリング処理を施した場合の第１の補正量を算出する補正量算出部と、第１の補正量を、複数の視点画像間の階調レベルの関係に応じて変化するようなゲインによって調整する調整部とを備えたものである。
【０００９】
本開示による表示装置は、複数の視点画像のそれぞれに対して所定のフィルタリング処理を行う画像処理部と、画像処理部によってフィルタリング処理された後の複数の視点画像に基づいて画像表示を行う表示部とを備え、その画像処理部を、上記本開示の画像処理装置で構成したものである。
【００１０】
本開示による画像処理装置または表示装置では、入力された複数の視点画像のそれぞれに対して所定のフィルタリング処理を施した場合の第１の補正量が、複数の視点画像間の階調レベルの関係に応じて変化するようなゲインによって調整される。
【発明の効果】
【００１１】
本開示の画像処理装置または表示装置によれば、所定のフィルタリング処理を施した場合の第１の補正量を、複数の視点画像間の階調レベルの関係に応じて変化するようなゲインによって調整するようにしたので、副作用の少ないクロストークの軽減処理を行うことができる。
【図面の簡単な説明】
【００１２】
【図１】本開示の一実施の形態に係る表示装置の一構成例を示すブロック図である。
【図２】表示部の画素とパララックス素子との組み合わせの第１の例を示す平面図である。
【図３】表示部の画素とパララックス素子との組み合わせの第２の例を示す平面図である。
【図４】クロストーク発生の原理を示す説明図である。
【図５】フィルタリング処理によりクロストークを補正した第１の例を示す説明図である。
【図６】フィルタリング処理によるクロストークの補正可能範囲を示す説明図である。
【図７】補正量がダイナミックレンジを超える場合のクロストークの補正の概念を示す説明図である。
【図８】ダイナミックレンジを超える場合に補正量の調整を行う概念を示す説明図である。
【図９】ダイナミックレンジを超える場合に補正量の調整を行った例を示す説明図である。
【図１０】クロストーク補正の処理の一例を示す流れ図である。
【発明を実施するための形態】
【００１３】
以下、本開示の実施の形態について図面を参照して詳細に説明する。
【００１４】
［表示装置の構成］
図１は、本開示の一実施の形態に係る表示装置の一構成例を示している。この表示装置は、入力信号Ｖｉｎに対して所定のフィルタリング処理を行う画像処理部と、画像処理部によってフィルタリング処理された後の出力信号Ｖｏｕｔに基づいて画像表示を行う表示部１とを備えている。
【００１５】
入力信号Ｖｉｎは、例えば立体表示用の複数の視点画像を含むデータとなっている。出力信号Ｖｏｕｔは、画像処理部によって所定のフィルタリング処理が施された複数の視点画像を含むデータとなっている。
【００１６】
表示部１は、液晶表示パネル、有機ＥＬ（エレクトロルミネッセンス）、またはプラズマディスプレイ等の２次元表示ディスプレイで構成されている。表示部１の表示画面には、複数の画素が２次元的に配列されている。表示部１の表示画面には、複数の視点画像に基づいて、この表示装置の立体表示方式に応じた画像表示がなされる。
【００１７】
この表示装置の立体表示方式は、特に限定されない。眼鏡方式であっても良いし、パララックスバリア方式やレンチキュラレンズ方式等の裸眼方式であっても良い。例えばシャッタ眼鏡を用いた眼鏡方式の場合、表示部１には、複数の視点画像として、例えば左右２視点の視差画像（左眼用視差画像および右眼用視差画像）が時分割で交互に表示される。また例えば裸眼方式の場合、表示部１には、複数の視点画像として、左右２視点の視差画像または多視点の視差画像が１画面内に合成された視差合成画像が表示される。すなわち、複数の視点画像が空間分割されて表示される。
【００１８】
図２および図３は、レンチキュラレンズ方式による立体表示装置の一例を示している。この立体表示装置は、表示部１に対して、パララックス素子としてのレンチキュラレンズ１０が対向配置されたものである。図２および図３の構成例では、表示部１がＲ（赤色）用画素１１Ｒ、Ｇ（緑色）用画素１１Ｇ、およびＢ（青色）用画素１１Ｂからなる画素を複数有し、それら複数の画素がマトリクス状に配置されている。図２および図３は、４視点表示を行う例を示している。各画素１１Ｒ，１１Ｇ，１１Ｂ内に付した０〜３の数字は、各画素１１Ｒ，１１Ｇ，１１Ｂに割り当てられる４種類の視点画像の番号（視点番号）を示している。
【００１９】
レンチキュラレンズ１０は、例えばシリンドリカル状の分割レンズ１０Ａを複数並列配置したものとなっている。図２は分割レンズ１０Ａの母線方向が垂直となるようにして水平方向に複数並列配置した例を示し、図３は分割レンズ１０Ａの母線方向が斜めとなるように傾けて水平方向に複数並列配置した例（斜めレンチキュラ方式）を示している。レンチキュラレンズ１０は、表示部１に表示された複数の視点画像を空間的に分離して観察者側に出射するようになっている。
【００２０】
なお、レンチキュラレンズ１０に代えて、パララックス素子としてパララックスバリア素子を配置することで、パララックスバリア方式による立体表示装置の構成にすることができる。パララックスバリア素子は、光を透過する開口部と、光を遮蔽する遮蔽部とを備えたものである。
【００２１】
図１に戻って画像処理部の構成を説明する。画像処理部は、クロストーク補正量算出部２と、補正量調整部９と、加算器５とを備えている。補正量調整部９は、クロストーク補正量クリップ部３と、ゲイン算出部４と、加算器６と、加算器７と、乗算器８とを有している。
【００２２】
クロストーク補正量算出部２は、入力された複数の視点画像のそれぞれに対して所定のフィルタリング処理を施した場合の第１の補正量（Δi,1）を算出するものである。ここでいう所定のフィルタリング処理は、例えば後述する具体例のようなハイパスフィルタ処理である。
【００２３】
補正量調整部９は、第１の補正量（Δi,1）を、複数の視点画像間の階調レベルの関係に応じて変化するようなゲイン（Ｇi）によって調整するものである。具体例は後述するが、ゲイン（Ｇi）は、クリップ前の所望の第１の補正量（Δi,1）と、複数の視点画像のそれぞれに対して所定のフィルタリング処理を施した場合の補正限界となるクリップ後の第２の補正量（Δi,2）との比に基づくものである。補正量調整部９は、複数の視点画像のそれぞれに対して、同一のゲインを用いるようになっている。
【００２４】
加算器５は、第１の補正量（Δi,1）と各視点画像の入力値との差分量（加算器６の出力値）にゲイン（Ｇi）を乗じた値を各視点画像の入力値に加算するようになっている。
【００２５】
［比較例によるフィルタリング処理］
本実施の形態における画像処理の具体例を説明するのに先だって、クロストーク発生の原理と、そのクロストークを軽減するための比較例によるフィルタリング処理について説明する。
【００２６】
ここでは、図２および図３に示したレンチキュラレンズ方式において発生するクロストークを例に説明する。図２のように分割レンズ１０Ａを傾けない構成の場合、モアレが発生しやすい。そのモアレ対策として、図３のように分割レンズ１０Ａを傾けた構成にする方法がある。しかしながら、分割レンズ１０Ａを傾けた構成にする場合、その副作用として隣接視点のクロストークが大きくなってしまうという問題がある。
【００２７】
ここで、図３のような構成において、クロストーク改善用の画像処理（フィルタリング処理）を行わずに、多視点画像を出力した場合のクロストーク発生の原理を図４（Ａ）〜（Ｄ）に模式的に示す。図４（Ｂ）は任意のｎ番目の視点画像の階調レベル（信号レベル）を示す。図４（Ａ）はｎ−１番目、図４（Ｃ）はｎ＋１番目の視点画像の階調レベルを示す。図４（Ｄ）は、ｎ番目の視点位置で観測される視点画像の状態を示している。図４（Ｄ）では、図４（Ａ）〜（Ｃ）の視点画像が合成された状態となる。ｎ番目の視点位置では、理想的には図４（Ｂ）の視点画像の状態のまま観測されれば良いが、隣接するｎ−１番目、ｎ＋１番目の視点画像がクロストーク成分（ゴースト成分）となって観測されてしまう。
【００２８】
４視点でのクロストーク成分は、以下の（式１）によるＸで表現される。（式１）において、例えばＶ1,inは第１番目の視点画像の入力値を表し、Ｖ1,outは第１番目の視点画像の出力値を表す。図４（Ｄ）に示すように、隣接視点のクロストーク成分によって、輪郭がはっきりせず、ゴーストのように見えてしまうことが分かる。
【００２９】
【数１】
【００３０】
これに対して、（式２）で表される逆行列Ｘ-1を掛けるフィルタリング処理（ハイパスフィルタ処理）による補正を行ってクロストークの改善を行うことができる。図５（Ａ）〜（Ｄ）は、そのようなフィルタリング処理を行った例を示している。図５（Ｄ）に示した状態では、図４（Ｄ）に示した状態に対して、輪郭が強調されたことによってクロストークが抑制され、はっきりと見えるようになる。
【００３１】
【数２】
【００３２】
しかしながら、図６に示すように、フィルタリング処理のできる階調の組み合わせには限界があり、場合によっては副作用のほうが目立つ場合もある。図６において横軸は例えばｎ番目の視点画像に対して、背景（クロストーク成分）となる他の視点画像の階調レベル（信号レベルを示している。例えば、ある着目したｎ番目の視点のある箇所の階調が高階調側にあって、背景の階調が中間調側にある場合、背景の階調は低階調側にマージンがまだあるため、補正をかけられるのだが、すでに高階調側にいる箇所の補正は入力階調が頭打ちになり、補正のかけられる限界に達してしまい、所望の補正をかけられないという状況になってしまう。その結果、例えば図７（Ａ）〜（Ｄ）に示すように、背景の低階調方向の補正が極端にかかってしまい、クロストークが悪化してしまい、立体表示の劣化の原因となる場合がある。
【００３３】
［本実施の形態のフィルタリング処理の具体例］
本実施の形態では、上述の比較例によるフィルタリング処理によるクロストーク悪化の問題を解決するために、フィルタリング処理の補正量のゲイン値を階調の組み合わせによって変化させる。図７（Ａ）〜（Ｄ）のように所望の補正量がかけられない（もしくは限界に近づく）場合、補正量のゲイン値を下げていく。具体的な方法を図８（Ａ），（Ｂ）に示す。ゲイン値の補正方法は多数あるが、図８（Ａ），（Ｂ）に示すように、所望の補正量Δ１（第１の補正量）と実際にかけられる限界の補正量Δ２（第２の補正量）との比を算出し、それに伴ったゲイン値を背景（クロストーク成分）の補正量に反映させるという方法が望ましい。その結果、図９（Ａ）〜（Ｄ）に示すように、補正の副作用を最小限に抑えつつ、クロストーク成分を減少させることができる。
【００３４】
図１０は、本実施の形態におけるクロストークを軽減するためのフィルタリング処理の一例を示している。入力信号Ｖｉｎとして、複数の視点画像Ｖi,in（ｉ＝０〜Ｎ）が入力される（ステップＳ１１）。クロストーク補正量算出部２は例えば上述の（式２）のような演算式によって、複数の視点画像Ｖi,inのそれぞれに対して所定のフィルタリング処理を施した場合の第１の補正量（Δi,1）を算出する（ステップＳ１２）。
【００３５】
クロストーク補正量クリップ部３では、所定のフィルタリング処理を施した場合の補正限界となるクリップ後の第２の補正量（Δi,2）を算出する（ステップＳ１３）。ゲイン算出部４では、例えばクリップ前の所望の第１の補正量（Δi,1）と、クリップ後の第２の補正量（Δi,2）との比で表されるゲイン（Ｇi）を算出する（ステップＳ１４）。乗算器８では、第１の補正量（Δi,1）と各視点画像の入力値との差分量（加算器６の出力値）にゲイン（Ｇi）を乗じた値を、最終的な補正量ｘｉとして求める（ステップＳ１５）。加算器５では、最終的な補正量ｘｉを複数の視点画像Ｖi,inのそれぞれに対して加算した出力値Ｖi,outを出力信号Ｖｏｕｔとして出力する（ステップＳ１６）。
【００３６】
［効果］
以上説明したように、本実施の形態に係る表示装置によれば、所定のフィルタリング処理を施した場合の第１の補正量を、複数の視点画像間の階調レベルの関係に応じて変化するようなゲインによって調整するようにしたので、副作用の少ないクロストークの軽減処理を行うことができる。これにより、ぼけやゴーストの少ない立体表示を行うことができる。
【００３７】
＜その他の実施の形態＞
本開示による技術は、上記実施の形態の説明に限定されず種々の変形実施が可能である。
例えば、上記実施の形態では、互いに視差のある複数の視点画像に基づいて立体表示を行う場合を例に挙げたが、立体表示ではなく、複数の方向に異なる画像を呈示するようなマルチビューディスプレイにも、本技術は適用可能である。
【００３８】
また例えば、本技術は以下のような構成を取ることができる。
（１）
入力された複数の視点画像のそれぞれに対して所定のフィルタリング処理を施した場合の第１の補正量を算出する補正量算出部と、
前記第１の補正量を、前記複数の視点画像間の階調レベルの関係に応じて変化するようなゲインによって調整する調整部と
を備えた画像処理装置。
（２）
前記所定のフィルタリング処理は、ハイパスフィルタ処理である
上記（１）に記載の画像処理装置。
（３）
前記第１の補正量と前記各視点画像の入力値との差分量に前記ゲインを乗じた値を前記各視点画像の入力値に加算する加算部をさらに備えた
上記（１）または（２）に記載の画像処理装置。
（４）
前記ゲインは、
前記第１の補正量と、前記複数の視点画像のそれぞれに対して前記所定のフィルタリング処理を施した場合の補正限界となる第２の補正量との比に基づくものである
上記（１）ないし（３）のいずれか１つに記載の画像処理装置。
（５）
前記調整部は、前記複数の視点画像のそれぞれに対して、同一のゲインを用いる
上記（１）ないし（４）のいずれか１つに記載の画像処理装置。
【符号の説明】
【００３９】
１…表示部、２…クロストーク補正量算出部、３…クロストーク補正量クリップ部、４…ゲイン算出部、５…加算器、６…加算器、７…加算器、８…乗算器、９…補正量調整部、１０…レンチキュラレンズ、１０Ａ…分割レンズ、１１Ｒ…赤色用画素、１１Ｇ…緑色用画素、１１Ｂ…青色用画素、Ｖｉｎ…入力信号、Ｖｏｕｔ…出力信号。
【特許請求の範囲】
【請求項１】
入力された複数の視点画像のそれぞれに対して所定のフィルタリング処理を施した場合の第１の補正量を算出する補正量算出部と、
前記第１の補正量を、前記複数の視点画像間の階調レベルの関係に応じて変化するようなゲインによって調整する調整部と
を備えた画像処理装置。
【請求項２】
前記所定のフィルタリング処理は、ハイパスフィルタ処理である
請求項１に記載の画像処理装置。
【請求項３】
前記第１の補正量と前記各視点画像の入力値との差分量に前記ゲインを乗じた値を前記各視点画像の入力値に加算する加算部をさらに備えた
請求項１に記載の画像処理装置。
【請求項４】
前記ゲインは、
前記第１の補正量と、前記複数の視点画像のそれぞれに対して前記所定のフィルタリング処理を施した場合の補正限界となる第２の補正量との比に基づくものである
請求項１に記載の画像処理装置。
【請求項５】
前記調整部は、前記複数の視点画像のそれぞれに対して、同一のゲインを用いる
請求項１に記載の画像処理装置。
【請求項６】
複数の視点画像のそれぞれに対して所定のフィルタリング処理を行う画像処理部と、
前記画像処理部によってフィルタリング処理された後の前記複数の視点画像に基づいて画像表示を行う表示部と
を備え、
前記画像処理部は、
入力された前記複数の視点画像のそれぞれに対して前記所定のフィルタリング処理を施した場合の第１の補正量を算出する補正量算出部と、
前記第１の補正量を、前記複数の視点画像間の階調レベルの関係に応じて変化するようなゲインによって調整する調整部と
を有する表示装置。
【請求項１】
入力された複数の視点画像のそれぞれに対して所定のフィルタリング処理を施した場合の第１の補正量を算出する補正量算出部と、
前記第１の補正量を、前記複数の視点画像間の階調レベルの関係に応じて変化するようなゲインによって調整する調整部と
を備えた画像処理装置。
【請求項２】
前記所定のフィルタリング処理は、ハイパスフィルタ処理である
請求項１に記載の画像処理装置。
【請求項３】
前記第１の補正量と前記各視点画像の入力値との差分量に前記ゲインを乗じた値を前記各視点画像の入力値に加算する加算部をさらに備えた
請求項１に記載の画像処理装置。
【請求項４】
前記ゲインは、
前記第１の補正量と、前記複数の視点画像のそれぞれに対して前記所定のフィルタリング処理を施した場合の補正限界となる第２の補正量との比に基づくものである
請求項１に記載の画像処理装置。
【請求項５】
前記調整部は、前記複数の視点画像のそれぞれに対して、同一のゲインを用いる
請求項１に記載の画像処理装置。
【請求項６】
複数の視点画像のそれぞれに対して所定のフィルタリング処理を行う画像処理部と、
前記画像処理部によってフィルタリング処理された後の前記複数の視点画像に基づいて画像表示を行う表示部と
を備え、
前記画像処理部は、
入力された前記複数の視点画像のそれぞれに対して前記所定のフィルタリング処理を施した場合の第１の補正量を算出する補正量算出部と、
前記第１の補正量を、前記複数の視点画像間の階調レベルの関係に応じて変化するようなゲインによって調整する調整部と
を有する表示装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１３−５３６２（Ｐ２０１３−５３６２Ａ）
【公開日】平成２５年１月７日（２０１３．１．７）
【国際特許分類】
【出願番号】特願２０１１−１３６９３１（Ｐ２０１１−１３６９３１）
【出願日】平成２３年６月２１日（２０１１．６．２１）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２５年１月７日（２０１３．１．７）
【国際特許分類】
【出願日】平成２３年６月２１日（２０１１．６．２１）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]