画像表示装置及び画像表示方法
【課題】
より好適な裸眼立体視聴のための画像処理技術を提供する。
【解決手段】
画像表示装置において、画像を入力する画像入力部と、入力画像を多視点視聴用画像に変換する変換処理を行う画像処理部と、前記画像処理部で生成した多視点視聴用画像に基づいて表示を行う多視点視聴用表示部とを備え、前記画像処理部は、生成する多視点視聴用画像について、多視点の視点毎に2D画像とするか３D画像とするか決定する表示方式決定部を有するように構成すればよい。
より好適な裸眼立体視聴のための画像処理技術を提供する。
【解決手段】
画像表示装置において、画像を入力する画像入力部と、入力画像を多視点視聴用画像に変換する変換処理を行う画像処理部と、前記画像処理部で生成した多視点視聴用画像に基づいて表示を行う多視点視聴用表示部とを備え、前記画像処理部は、生成する多視点視聴用画像について、多視点の視点毎に2D画像とするか３D画像とするか決定する表示方式決定部を有するように構成すればよい。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像表示技術に関する。
【背景技術】
【０００２】
近年、テレビの付加価値機能として、３次元（３D）視聴が可能な製品が普及し始めている。方式としては、現状一般的なアクティブシャッター方式のメガネを用いたフレームシーケンシャルに加え、メガネ不要の裸眼立体視可能な製品も登場している。
【０００３】
また、特許文献１には、水平方向に観察者が複数人並んで観察することができる多視点画像表示装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−１６７４４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に開示される多視点画像表示技術は、実際にテレビとしての応用を考えた場合、その画像処理において、未だ課題が存在する。
【０００６】
例えば、特許文献１に開示される多視点画像表示技術には、複数人で同時に視聴している場合に、特定の人物は３次元視聴を望んでいない場合の画像処理や、他の視点の画像とのクロストークについての画像処理、特定の視点位置の視聴者の好みに応じた画像処理などは開示されておらず、実用上十分ではなかった。
【０００７】
本発明は上記問題を鑑みて考えたものであり、より好適な裸眼立体視聴のための画像処理技術を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達するために、例えば、画像を入力する画像入力部と、入力画像を多視点視聴用画像に変換する変換処理を行う画像処理部と、前記画像処理部で生成した多視点視聴用画像に基づいて表示を行う多視点視聴用表示部とを備え、前記画像処理部は、生成する多視点視聴用画像について、多視点の視点毎に2D画像とするか３D画像とするか決定する表示方式決定部を有するように構成すればよい。
【発明の効果】
【０００９】
本発明によれば、より好適な裸眼立体視聴のための画像処理技術を提供することが可能となる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施例１に係る３次元画像表示装置を示すブロック図である。
【図２】本発明の実施例１における画像処理部の構成の一例を示すものである。
【図３】本発明の実施例１における視差画像変換部の構成の一例を示すものである。
【図４】本発明の実施例１における表示方式決定部の処理フローの一例を示すものである。
【図５】本発明の実施例１におけるテレビのメニュー画面での設定方法の一例を示すものである。
【図６】本発明の実施例１における設定画面の一例を示すものである。
【図７】本発明の実施例２における表示方式決定部の処理フローの一例を示すものである。
【図８】クロストーク低減モードの一例を示す図である。
【図９】クロストーク低減モードの一例を示す図である。
【図１０】クロストーク低減モードの一例を示す図である。
【図１１】本発明の実施例３に係る画像処理部を示すブロック図である。
【図１２】本発明の実施例３における高画質化処理部の構成の一例を示すものである。
【図１３】適応ガンマ補正を説明するための図である。
【図１４】本発明の実施例３におけるエンハンサ部の構成の一例を示すものである。
【図１５】本発明の実施例３におけるエンハンサ部の非線形処理部の構成の一例を示すものである。
【図１６】本発明の実施例３におけるエンハンサ部の非線形処理部の入出力特性の一例を示すものである。
【図１７】本発明の実施例１における画像表示部の構成の一例を示すものである。
【発明を実施するための形態】
【実施例１】
【００１１】
図１は、本発明の実施例１に係る３次元画像表示装置の構成の一例を示すブロック図である。
【００１２】
図１において、1001はデコーダ部、1002は画像処理部、1003はバックライト個制御部（以下、BLC部：Back Light Controlと呼ぶ）、1004はタイミングコントローラ部（以下、TCON部と呼ぶ）、1005は画像表示部、1006はバックライト駆動部（以下、ドライバ部：driverと呼ぶ）である。
【００１３】
画像表示部1005は、多視点視聴用表示部である。デバイスとしてはLCDを想定しているが、これに限らず、PDP、有機EL等の自発光型ディスプレイで置き換えても問題はない。但し、その場合、BLC部は不要となる。また、実際には画像表示部1005において、画像の表示方向を制限し、多視点視聴を実現するために開口制御を行うレンチキュラレンズ等のセグメントレンズアレイ板が存在するが、本発明はその部分の構成には依存しないため、記載を省略している。
【００１４】
デコーダ部1001では、放送やメディアから取得する、圧縮データ(例えば、ＭＰＥＧやＨ．２６４または同様の圧縮方式により圧縮されたデータ)をデコード処理する。画像処理部1002では、前記デコード処理されたベースバンド信号に対して、プログレッシブ変換、スケーリング、エンハンサ、フレームレート変換等の高画質化処理を行う。画像処理部1002は、制御部1007の制御信号により制御される。BLC部1003では、表示画像に合わせたバックライト制御を行う。TCON部1004では画像表示部1005に表示するためのタイミング調整を行う。ドライバ部1006では、BLC部1003から出力されるバックライトの調光データに応じて、バックライトを点灯させる。
【００１５】
図１７は、図１における画像表示部1005の詳細構成、及び視聴位置における光線の軌跡の一例を概略的に示している。
【００１６】
図１７において、17001はLCD等の画像表示部、17002は光学的開口を制御する視差バリア部、17003は各視点位置と光源が通る開口部である各アパーチャとを結ぶ線を示し、17004は視点位置である。各視点位置17004からは視差バリア17002を介して各視点への表示画像が制御され、その結果各視点に応じた立体画像を観察することができる。
【００１７】
図２は、図１における画像処理部1002の構成の一例を示すものである。
【００１８】
図２において、2001は高画質化処理部、2002はフレームレート変換部（以下、FRC:Frame Rate Convertorと呼ぶ）、2003は視差画像変換部、2004、2005、2006は制御部1007からの制御信号、2007は動きベクトルである。
【００１９】
以下の説明の前提条件として、入力画像としては２Dを想定し、視差画像変換部2003にて、画像表示部1005での視差数に応じた３D多視差画像（多視点視聴用画像）へ変換するものとする。また、表示視差数に関しては任意の所定数とし、例えば本実施例においては9視差とする。しかしながら、当該前提条件は一例であって、本実施例の条件はこれに限られない。例えば、２視点の３次元画像用画像が入力し、入力された２視点の画像に基づいて所定の視点数(例えば９視点)の画像を生成してもよい。
【００２０】
高画質化処理部2001では、例えば、インターレース／プログレッシブ変換、拡大縮小処理、エンハンサ、コントラスト補正、ノイズリダクション等の高画質化処理を行う。FRC部2002では、フレームレートの変換を行う。特に画像表示部1005がLCDである本実施例の場合には、LCD特有の動画ぼやけの低減や映画等の2-3プルダウン方式の映像におけるジャダー低減等を目的としたフレームレート変換を行う。具体的には、60Hz／120Hz、60Hz／240Hzへの変換である。共に制御部1007からの制御信号2004、2005に応じた処理が行われ、例えば視聴番組のジャンルや入力切替に応じた適応処理が実施される。
【００２１】
視差画像変換部2003は、２Dの画像から３D表示のための多視点画像へ変換を行う。
【００２２】
図３は、視差画像変換部2003の構成の一例を示すものである。
【００２３】
図３において、3001は奥行き情報抽出部、3002は視差画像生成部、3003は表示方式決定部、3004は奥行き情報である。
【００２４】
多視差画像生成の方法に関しては多数の方法があり、いずれを適用してもかまわないが、以下の説明では一例として、動き推定を用いた奥行き推定から視差を算出して、多視差画像を生成する方法を用いるものとして説明する。具体的には、奥行き情報抽出部3001において、FRC部2002からの動きベクトル2007を用いた、物体の奥行き情報3004を抽出する。つまり、運動視差の考え方を利用し、動きの大きな（動きベクトルの大きな）領域は手前にある物体と認識し、逆に動きの小さな（動きベクトルの小さな）領域は奥にある背景等と認識することで行う。視差画像生成部3002では、前記奥行き情報3004に基づき被写体各部へ与えるべき視差を算出、9視差分の画像を生成する。
【００２５】
視差画像生成部3002処理以降は、所定の視差数分（9視差分）の画像が並行することになり、後段の表示方式決定部3003は９個並列に処理部を配置するように構成すればよい。
【００２６】
表示方式決定部3003では、各視点位置での表示方式を決定する。具体的には２D表示、３D表示を制御部1007からの制御信号2006に応じて、各視点位置毎に独立に設定する。
【００２７】
図４は表示方式決定部3003の処理フローの一例を示すものである。
【００２８】
各視点での表示を３D表示とするか否かを示す制御信号が、制御部1007より送られ（4001）、３D表示である場合には、視点画像生成部3002で生成された左右視差画像（L,R）を出力する（4002）。３D表示でない場合には、片方の視差画像（LもしくはR）のみを出力する（4003）。
【００２９】
図５は、制御部1007からの制御信号によって、それぞれの視点での３D表示、２D表示を設定した場合の一例を示す。このような、各視点での３D表示、２D表示を設定する場合には、いかに説明する設定画面を表示して、図示しないリモートコントローラー等でユーザーが設定入力を行えばよい。
【００３０】
図６は、制御部1007からの制御信号2006を送るためのテレビのメニュー画面での設定方法の一例を示すものである。例えば、図６では、ユーザが操作するリモートコントローラーの選択信号により、「視点３」が選択され、「視点３」についての「３Ｄ表示」および「２Ｄ表示」を選択するアイコンが表示されている状態を示している。リモートコントローラーからの操作信号により、一方のアイコンが選択されることにより、「視点３」についての３Ｄ表示・２Ｄ表示設定を行うことができる。他の視点についても同様に設定可能である。このように、各視点位置に応じて、２D、３D表示を切り替え可能とし、視聴前にユーザが設定できるようにする。
【００３１】
テレビ視聴は、家族や仲間など複数人で同時に視聴することが少なくない。複数人で同時に視聴する場合、３Dテレビにおいては、人によっては２Dで見たい、子供がいる場合には子供には３Dでは見せたくない、などの要望が予想される。
【００３２】
以上説明した本発明の実施例１に係る３次元画像表示技術によれば、視点位置に応じて独立に表示方法を切り替えることが可能となる。これにより、例えば、２D表示で視聴できる視点位置を事前に設定できるため、同じコンテンツを各視聴者の状況に応じた視聴環境を提供することができる。
【実施例２】
【００３３】
本発明の実施例２は、実施例１に係る３次元画像表示装置の構成のうち、図３の制御信号2006の制御内容および表示方式決定部３００３の動作、処理が異なるものである。その他の構成は、実施例１と同様であるため、説明を省略する。 本実施例に係る３次元画像表示装置は、視点位置に応じて黒の画像を挿入するクロストーク低減モードを設けることにより、隣の視点画像が混入して見えてしまうクロストーク現象を低減することができる。
【００３４】
以下、上述した実施例１と異なる部分についてその動作を説明する。
【００３５】
図７は、本発明の実施例２に係る表示方式決定部3003の処理フローの一例を示すものである。
【００３６】
表示方式決定部3003は、制御部1007からの制御信号2006により、ユーザのリモートコントローラ等によってクロストーク低減モードが選択されたか否かを示す情報を取得（7001）し、クロストーク低減モードが選択された場合には各視点間に一面黒レベルの画像（全黒画像）を挿入する（7002）。クロストーク低減モードが選択されていない場合には、通常処理（実施例１と同様）を行う（7003）。
【００３７】
図８は、クロストーク低減モードの処理の一例を示している。３D表示する視点１、３、５、７、９の間の視点２、４、６、８は全黒表示とし、クロストーク低減を図る。すなわち、一視点おきに全黒表示を挿入する。また、実施例１同様、図８での３D表示部分は、図９のように２D表示へ切替可能である。
【００３８】
図８または図９の処理を、以下、クロストーク低減モード１と呼ぶ。これにより、３Ｄ表示がなされている視点では、隣の視点画像が混入してクロストークが生じることを防止できる。
【００３９】
また、別のクロストーク低減モードの例としては、全黒を表示する視点位置を交互に繰り返す方式がある。本モードをクロストーク低減モード２と呼ぶ。つまり、フレーム単位で全黒挿入視点位置を図１０に示すように、偶数視点、奇数視点で交互に変更して繰り返す。図２に示したように、本実施例の３次元画像表示装置ではFRC部2002によりフレームレートを120Hz、もしくは240Hzへ向上させることが可能であるので、面フリッカ現象も比較的抑えることが可能である。また、クロストーク低減モード２は、クロストーク低減モード１よりも各視点での平均輝度が下がるものの、クロストーク低減モード１では全黒表示となってしまった視点でも視聴が可能である。なお、図１０では切り替えは、フレーム単位としたが、フィールド単位でも、サブフレーム単位などその他所定の周期で切り替えてもよい。
【００４０】
よって、クロストーク低減モード「ＯＦＦ」、クロストーク低減モード１、クロストーク低減モード２をユーザの選択により設定できるように、設定画面を表示して、ユーザによるリモートコントローラーを介した選択を促せばよい。
【００４１】
以上説明した本発明の実施例２に係る３次元画像表示技術によれば、１視点おきに全黒画像を挿入することによって、クロストーク弊害を低減することが可能となる。
【実施例３】
【００４２】
本発明の実施例３は、実施例１に係る３次元画像表示装置の構成のうち、図２の画像処理部１００２の構成、動作、処理が異なるものである。その他の構成は、実施例１と同様であるため、説明を省略する。
【００４３】
図１１は、本発明の実施例３に係る３次元画像表示装置における画像処理部の構成の一例を示すものである。図１１において、図２に示した構成要素と同一の要素に関しては、同一の符号を付してその説明を省略する。
【００４４】
本実施例によれば、視点毎に異なる画像処理を行うことにより、各視点位置でより好適な３D画像を視聴することが可能となる。
【００４５】
以下、上述した実施例１と異なる部分についてその動作を説明する。
【００４６】
図１１において、11001は第2の高画質化処理部、11002は制御部1007からの制御信号、11003は視差画像信号、11004は奥行き情報である。
【００４７】
尚、第2の高画質化処理部11001における処理は、視差画像変換部2003での多視差変換後の画像処理であるため、図示は省略するが、第2の高画質化処理部11001は、視差数の分だけ並列のハードウェアで処理する構成とすればよい。本実施例においては視差数が９視差の構成であるので、処理ハードウェアは9段並列配置されることになる。
【００４８】
図１２は、図１１における第2の高画質化処理部11001の構成の一例を示すものである。図１２において、12001はエンハンサ処理部、12002はガンマ補正部である。画像表示部1005として例えば、LCDを用いた場合、視野角特性という問題が存在する。つまり見る角度によって、色が変化してしまうパネルの特性である。近年の技術進化により、かなり改善は見られてきてはいるものの、見る角度によっては上記弊害が残る。つまり、そうしたデバイスで多視点の３D表示を行った場合、視点位置によって異なる特性の画像を視聴することになる。具体的には、例えば図５において、視点１や視点9での画像は、視点5で見る画像と比較し、色シフト、コントラスト低下（ガンマシフト）が発生する。
【００４９】
従って、ガンマ補正部12002では、パネルのガンマシフト量に応じたガンマ補正処理を行う。具体的には、例えば図１３の(a)は、画面中央で見る場合のガンマ特性であり、(c)はガンマシフトが起こる視点位置で見た場合のガンマ特性を示すものである。(c)のようなガンマ特性にならないように、(b)に示すようなガンマ補正処理を行う。(b)に示す波形は視点位置に応じて適応的に変更できるようにする。例えば、本実施例において9視差の場合に、図１３の(a)で示した中央（視点5）でのガンマ特性と、最も斜め(視聴方向のうち表示画面の垂直方向から最も角度大きい方向)の位置（視点１、視点9）でのガンマ補正処理(補正特性)を、それぞれ数式１、数式２で表せたとすると、その間の視点位置の、(視点２、視点8)、（視点３、視点７）、（視点４、視点６）のガンマ補正曲線はそれぞれ式数式３、数式４、数式５で表される。
（数１） OUT＝INα
（数２） OUT＝IN(α+β)
（数３） OUT＝IN(α+(1/4)β)
（数４） OUT＝IN(α+(2/4)β)
（数５） OUT＝IN(α+(3/4)β)
上記の処理は、実施例1に示したように各視点位置に応じた表示が２D（視差なし）、３D（視差あり）の場合に限らず同様に適用することが望ましい。
【００５０】
また、エンハンサ処理部12001では、視差画像変換部2003からの奥行き情報11004に応じてエンハンサ処理を施す。具体的には３D表示の場合には、奥行き情報11004により物体の前後関係を判定し、前にある物体の鮮鋭感をより高めることによって、より立体感を感じさせる画像処理を行ってもよい。処理対象の視点位置の画像が２D表示なのか３D表示なのかは、制御部1007からの制御信号11002より判定する。処理対象視点位置が３D表示の場合には、左右の画像それぞれに対して上記処理を実施する。ここで、エンハンサ処理とは、エッジ強調、シャープネス、LTI（CTI）、超解像などの処理それぞれやこれらの組合せを含む。エンハンサ処理部12001の一構成例を図１４に示す。
【００５１】
図１４において、14001は垂直ハイパスフィルタ、14002は水平ハイパスフィルタ、14003は遅延部、14004、14006は加算器、14005は非線形処理部、14007はセレクタ部である。
【００５２】
図１４の例では、入力信号14009は、遅延部14003と、水平・垂直ハイパスフィルタ処理部14001、14002への入力の2系統に分かれる。水平・垂直ハイパスフィルタ14001、14002では、入力信号14009に対してフィルタ処理を施し、エンハンスしたい信号の周波数成分を取り出す。図１４では、垂直エンハンス成分と水平エンハンス成分を個々に抽出し、加算器14004にてそれらを加算してエンハンス成分を生成している。前記エンハンサ成分は、非線形処理部14005により、ノイズ除去、ゲイン調整、リミッタ等の非線形処理を施され、最終的なエンハンス信号が生成される。加算器14006により、前記遅延部14003からのタイミング調整された入力信号にエンハンス信号を加算することにより、所定の高域成分をエンハンスした信号が生成される。セレクタ部14007では、制御部1007からの制御信号11002、及び奥行き情報11004により、エンハンス処理ON／OFFを切り替える。
【００５３】
ここで、図１５は、図１４の非線形処理部14005の構成の一例を示すものである。
【００５４】
図１５において、15001はコアリング処理部、15002はゲイン調整部、15003は振幅リミッタ部である。コアリング処理部15001は、所定閾値CORE以下の入力信号に対する出力信号のレベルを0とし、ノイズ成分をエンハンス成分として抽出することを防止する。ゲイン調整部15002は、エンハンス成分の感度を所定ゲイン量GAINに応じて上げる。振幅リミッタ部15003は、ダイナミックレンジ付近の大振幅の成分に対して、前記ゲイン調整により過度にエンハンスされることによる白飛びや黒潰れという過度なエンハンサ処理を防止するために、入力信号が所定レベルLIM1とLIM2の範囲内の大振幅のエンハンス信号に対してその振幅レベルを一定もしくは下げるように制御を施す。以上のように非線形処理部14005は、例えば図１６に示すような入出力特性を示す。
【００５５】
なお、以上説明した実施例３の視点毎の高画質化処理（エンハンス処理、ガンマ補正処理）の設定について、図６に示した各視点についての２Ｄ・３Ｄ表示選択設定画面のように、ユーザがリモートコントローラーを介して、視点毎に独立してＯＮ／ＯＦＦやその度合いを調整するメニュー画面を表示して、設定処理をおこなってもよい。この場合は、視点毎に異なる高画質化処理を行い、視点毎に所望の画質で視聴することが可能となる。
【００５６】
以上説明した本発明の実施例３に係る３次元画像表示技術によれば、視点位置に応じて最適な画像処理を行い、視聴位置毎に好適な画質で３D視聴することが可能となる。また、多視差変換時に算出される奥行き情報を用いた画像処理を実施することによって、より立体感のある画像を実現することが可能となる。
【００５７】
また、本実施例においては、エンハンサ処理を３D画像の時に適用する３次元画像表示技術として説明したが、２D表示画像に対しも適用し、２D表示でもより立体感を強調した２次元画像表示技術を実現することも可能である。
【符号の説明】
【００５８】
1001デコーダ部、1002画像処理部、1003バックライト個制御部、1004はタイミングコントローラ部、1005LCD画像表示部、1006バックライト駆動部、1007制御部、
2001高画質化部、2002フレームレート変換部、2003視差画像変換部、2004、2005、2006制御部1007からの制御信号、2007動きベクトル、
3001奥行き情報抽出部、3002視差画像生成部、3003表示方式決定部、3004奥行き情報
6001表示方式決定部、6002制御部1007からの制御信号、
11001高画質化処理部、11002制御部1007からの制御信号、11003視差画像信号、11004奥行き情報、
12001エンハンサ処理部、12002ガンマ補正部、
14001垂直ハイパスフィルタ、14002水平ハイパスフィルタ、14003遅延部、14004、14006加算器、14005非線形処理部、14007セレクタ部、
15001コアリング処理部、15002ゲイン調整部、15003振幅リミッタ部、
17001画像表示部、17002視差バリア部、17003各視点位置と各アパーチャとを結ぶ線、17004視点位置
【技術分野】
【０００１】
本発明は、画像表示技術に関する。
【背景技術】
【０００２】
近年、テレビの付加価値機能として、３次元（３D）視聴が可能な製品が普及し始めている。方式としては、現状一般的なアクティブシャッター方式のメガネを用いたフレームシーケンシャルに加え、メガネ不要の裸眼立体視可能な製品も登場している。
【０００３】
また、特許文献１には、水平方向に観察者が複数人並んで観察することができる多視点画像表示装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−１６７４４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に開示される多視点画像表示技術は、実際にテレビとしての応用を考えた場合、その画像処理において、未だ課題が存在する。
【０００６】
例えば、特許文献１に開示される多視点画像表示技術には、複数人で同時に視聴している場合に、特定の人物は３次元視聴を望んでいない場合の画像処理や、他の視点の画像とのクロストークについての画像処理、特定の視点位置の視聴者の好みに応じた画像処理などは開示されておらず、実用上十分ではなかった。
【０００７】
本発明は上記問題を鑑みて考えたものであり、より好適な裸眼立体視聴のための画像処理技術を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達するために、例えば、画像を入力する画像入力部と、入力画像を多視点視聴用画像に変換する変換処理を行う画像処理部と、前記画像処理部で生成した多視点視聴用画像に基づいて表示を行う多視点視聴用表示部とを備え、前記画像処理部は、生成する多視点視聴用画像について、多視点の視点毎に2D画像とするか３D画像とするか決定する表示方式決定部を有するように構成すればよい。
【発明の効果】
【０００９】
本発明によれば、より好適な裸眼立体視聴のための画像処理技術を提供することが可能となる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施例１に係る３次元画像表示装置を示すブロック図である。
【図２】本発明の実施例１における画像処理部の構成の一例を示すものである。
【図３】本発明の実施例１における視差画像変換部の構成の一例を示すものである。
【図４】本発明の実施例１における表示方式決定部の処理フローの一例を示すものである。
【図５】本発明の実施例１におけるテレビのメニュー画面での設定方法の一例を示すものである。
【図６】本発明の実施例１における設定画面の一例を示すものである。
【図７】本発明の実施例２における表示方式決定部の処理フローの一例を示すものである。
【図８】クロストーク低減モードの一例を示す図である。
【図９】クロストーク低減モードの一例を示す図である。
【図１０】クロストーク低減モードの一例を示す図である。
【図１１】本発明の実施例３に係る画像処理部を示すブロック図である。
【図１２】本発明の実施例３における高画質化処理部の構成の一例を示すものである。
【図１３】適応ガンマ補正を説明するための図である。
【図１４】本発明の実施例３におけるエンハンサ部の構成の一例を示すものである。
【図１５】本発明の実施例３におけるエンハンサ部の非線形処理部の構成の一例を示すものである。
【図１６】本発明の実施例３におけるエンハンサ部の非線形処理部の入出力特性の一例を示すものである。
【図１７】本発明の実施例１における画像表示部の構成の一例を示すものである。
【発明を実施するための形態】
【実施例１】
【００１１】
図１は、本発明の実施例１に係る３次元画像表示装置の構成の一例を示すブロック図である。
【００１２】
図１において、1001はデコーダ部、1002は画像処理部、1003はバックライト個制御部（以下、BLC部：Back Light Controlと呼ぶ）、1004はタイミングコントローラ部（以下、TCON部と呼ぶ）、1005は画像表示部、1006はバックライト駆動部（以下、ドライバ部：driverと呼ぶ）である。
【００１３】
画像表示部1005は、多視点視聴用表示部である。デバイスとしてはLCDを想定しているが、これに限らず、PDP、有機EL等の自発光型ディスプレイで置き換えても問題はない。但し、その場合、BLC部は不要となる。また、実際には画像表示部1005において、画像の表示方向を制限し、多視点視聴を実現するために開口制御を行うレンチキュラレンズ等のセグメントレンズアレイ板が存在するが、本発明はその部分の構成には依存しないため、記載を省略している。
【００１４】
デコーダ部1001では、放送やメディアから取得する、圧縮データ(例えば、ＭＰＥＧやＨ．２６４または同様の圧縮方式により圧縮されたデータ)をデコード処理する。画像処理部1002では、前記デコード処理されたベースバンド信号に対して、プログレッシブ変換、スケーリング、エンハンサ、フレームレート変換等の高画質化処理を行う。画像処理部1002は、制御部1007の制御信号により制御される。BLC部1003では、表示画像に合わせたバックライト制御を行う。TCON部1004では画像表示部1005に表示するためのタイミング調整を行う。ドライバ部1006では、BLC部1003から出力されるバックライトの調光データに応じて、バックライトを点灯させる。
【００１５】
図１７は、図１における画像表示部1005の詳細構成、及び視聴位置における光線の軌跡の一例を概略的に示している。
【００１６】
図１７において、17001はLCD等の画像表示部、17002は光学的開口を制御する視差バリア部、17003は各視点位置と光源が通る開口部である各アパーチャとを結ぶ線を示し、17004は視点位置である。各視点位置17004からは視差バリア17002を介して各視点への表示画像が制御され、その結果各視点に応じた立体画像を観察することができる。
【００１７】
図２は、図１における画像処理部1002の構成の一例を示すものである。
【００１８】
図２において、2001は高画質化処理部、2002はフレームレート変換部（以下、FRC:Frame Rate Convertorと呼ぶ）、2003は視差画像変換部、2004、2005、2006は制御部1007からの制御信号、2007は動きベクトルである。
【００１９】
以下の説明の前提条件として、入力画像としては２Dを想定し、視差画像変換部2003にて、画像表示部1005での視差数に応じた３D多視差画像（多視点視聴用画像）へ変換するものとする。また、表示視差数に関しては任意の所定数とし、例えば本実施例においては9視差とする。しかしながら、当該前提条件は一例であって、本実施例の条件はこれに限られない。例えば、２視点の３次元画像用画像が入力し、入力された２視点の画像に基づいて所定の視点数(例えば９視点)の画像を生成してもよい。
【００２０】
高画質化処理部2001では、例えば、インターレース／プログレッシブ変換、拡大縮小処理、エンハンサ、コントラスト補正、ノイズリダクション等の高画質化処理を行う。FRC部2002では、フレームレートの変換を行う。特に画像表示部1005がLCDである本実施例の場合には、LCD特有の動画ぼやけの低減や映画等の2-3プルダウン方式の映像におけるジャダー低減等を目的としたフレームレート変換を行う。具体的には、60Hz／120Hz、60Hz／240Hzへの変換である。共に制御部1007からの制御信号2004、2005に応じた処理が行われ、例えば視聴番組のジャンルや入力切替に応じた適応処理が実施される。
【００２１】
視差画像変換部2003は、２Dの画像から３D表示のための多視点画像へ変換を行う。
【００２２】
図３は、視差画像変換部2003の構成の一例を示すものである。
【００２３】
図３において、3001は奥行き情報抽出部、3002は視差画像生成部、3003は表示方式決定部、3004は奥行き情報である。
【００２４】
多視差画像生成の方法に関しては多数の方法があり、いずれを適用してもかまわないが、以下の説明では一例として、動き推定を用いた奥行き推定から視差を算出して、多視差画像を生成する方法を用いるものとして説明する。具体的には、奥行き情報抽出部3001において、FRC部2002からの動きベクトル2007を用いた、物体の奥行き情報3004を抽出する。つまり、運動視差の考え方を利用し、動きの大きな（動きベクトルの大きな）領域は手前にある物体と認識し、逆に動きの小さな（動きベクトルの小さな）領域は奥にある背景等と認識することで行う。視差画像生成部3002では、前記奥行き情報3004に基づき被写体各部へ与えるべき視差を算出、9視差分の画像を生成する。
【００２５】
視差画像生成部3002処理以降は、所定の視差数分（9視差分）の画像が並行することになり、後段の表示方式決定部3003は９個並列に処理部を配置するように構成すればよい。
【００２６】
表示方式決定部3003では、各視点位置での表示方式を決定する。具体的には２D表示、３D表示を制御部1007からの制御信号2006に応じて、各視点位置毎に独立に設定する。
【００２７】
図４は表示方式決定部3003の処理フローの一例を示すものである。
【００２８】
各視点での表示を３D表示とするか否かを示す制御信号が、制御部1007より送られ（4001）、３D表示である場合には、視点画像生成部3002で生成された左右視差画像（L,R）を出力する（4002）。３D表示でない場合には、片方の視差画像（LもしくはR）のみを出力する（4003）。
【００２９】
図５は、制御部1007からの制御信号によって、それぞれの視点での３D表示、２D表示を設定した場合の一例を示す。このような、各視点での３D表示、２D表示を設定する場合には、いかに説明する設定画面を表示して、図示しないリモートコントローラー等でユーザーが設定入力を行えばよい。
【００３０】
図６は、制御部1007からの制御信号2006を送るためのテレビのメニュー画面での設定方法の一例を示すものである。例えば、図６では、ユーザが操作するリモートコントローラーの選択信号により、「視点３」が選択され、「視点３」についての「３Ｄ表示」および「２Ｄ表示」を選択するアイコンが表示されている状態を示している。リモートコントローラーからの操作信号により、一方のアイコンが選択されることにより、「視点３」についての３Ｄ表示・２Ｄ表示設定を行うことができる。他の視点についても同様に設定可能である。このように、各視点位置に応じて、２D、３D表示を切り替え可能とし、視聴前にユーザが設定できるようにする。
【００３１】
テレビ視聴は、家族や仲間など複数人で同時に視聴することが少なくない。複数人で同時に視聴する場合、３Dテレビにおいては、人によっては２Dで見たい、子供がいる場合には子供には３Dでは見せたくない、などの要望が予想される。
【００３２】
以上説明した本発明の実施例１に係る３次元画像表示技術によれば、視点位置に応じて独立に表示方法を切り替えることが可能となる。これにより、例えば、２D表示で視聴できる視点位置を事前に設定できるため、同じコンテンツを各視聴者の状況に応じた視聴環境を提供することができる。
【実施例２】
【００３３】
本発明の実施例２は、実施例１に係る３次元画像表示装置の構成のうち、図３の制御信号2006の制御内容および表示方式決定部３００３の動作、処理が異なるものである。その他の構成は、実施例１と同様であるため、説明を省略する。 本実施例に係る３次元画像表示装置は、視点位置に応じて黒の画像を挿入するクロストーク低減モードを設けることにより、隣の視点画像が混入して見えてしまうクロストーク現象を低減することができる。
【００３４】
以下、上述した実施例１と異なる部分についてその動作を説明する。
【００３５】
図７は、本発明の実施例２に係る表示方式決定部3003の処理フローの一例を示すものである。
【００３６】
表示方式決定部3003は、制御部1007からの制御信号2006により、ユーザのリモートコントローラ等によってクロストーク低減モードが選択されたか否かを示す情報を取得（7001）し、クロストーク低減モードが選択された場合には各視点間に一面黒レベルの画像（全黒画像）を挿入する（7002）。クロストーク低減モードが選択されていない場合には、通常処理（実施例１と同様）を行う（7003）。
【００３７】
図８は、クロストーク低減モードの処理の一例を示している。３D表示する視点１、３、５、７、９の間の視点２、４、６、８は全黒表示とし、クロストーク低減を図る。すなわち、一視点おきに全黒表示を挿入する。また、実施例１同様、図８での３D表示部分は、図９のように２D表示へ切替可能である。
【００３８】
図８または図９の処理を、以下、クロストーク低減モード１と呼ぶ。これにより、３Ｄ表示がなされている視点では、隣の視点画像が混入してクロストークが生じることを防止できる。
【００３９】
また、別のクロストーク低減モードの例としては、全黒を表示する視点位置を交互に繰り返す方式がある。本モードをクロストーク低減モード２と呼ぶ。つまり、フレーム単位で全黒挿入視点位置を図１０に示すように、偶数視点、奇数視点で交互に変更して繰り返す。図２に示したように、本実施例の３次元画像表示装置ではFRC部2002によりフレームレートを120Hz、もしくは240Hzへ向上させることが可能であるので、面フリッカ現象も比較的抑えることが可能である。また、クロストーク低減モード２は、クロストーク低減モード１よりも各視点での平均輝度が下がるものの、クロストーク低減モード１では全黒表示となってしまった視点でも視聴が可能である。なお、図１０では切り替えは、フレーム単位としたが、フィールド単位でも、サブフレーム単位などその他所定の周期で切り替えてもよい。
【００４０】
よって、クロストーク低減モード「ＯＦＦ」、クロストーク低減モード１、クロストーク低減モード２をユーザの選択により設定できるように、設定画面を表示して、ユーザによるリモートコントローラーを介した選択を促せばよい。
【００４１】
以上説明した本発明の実施例２に係る３次元画像表示技術によれば、１視点おきに全黒画像を挿入することによって、クロストーク弊害を低減することが可能となる。
【実施例３】
【００４２】
本発明の実施例３は、実施例１に係る３次元画像表示装置の構成のうち、図２の画像処理部１００２の構成、動作、処理が異なるものである。その他の構成は、実施例１と同様であるため、説明を省略する。
【００４３】
図１１は、本発明の実施例３に係る３次元画像表示装置における画像処理部の構成の一例を示すものである。図１１において、図２に示した構成要素と同一の要素に関しては、同一の符号を付してその説明を省略する。
【００４４】
本実施例によれば、視点毎に異なる画像処理を行うことにより、各視点位置でより好適な３D画像を視聴することが可能となる。
【００４５】
以下、上述した実施例１と異なる部分についてその動作を説明する。
【００４６】
図１１において、11001は第2の高画質化処理部、11002は制御部1007からの制御信号、11003は視差画像信号、11004は奥行き情報である。
【００４７】
尚、第2の高画質化処理部11001における処理は、視差画像変換部2003での多視差変換後の画像処理であるため、図示は省略するが、第2の高画質化処理部11001は、視差数の分だけ並列のハードウェアで処理する構成とすればよい。本実施例においては視差数が９視差の構成であるので、処理ハードウェアは9段並列配置されることになる。
【００４８】
図１２は、図１１における第2の高画質化処理部11001の構成の一例を示すものである。図１２において、12001はエンハンサ処理部、12002はガンマ補正部である。画像表示部1005として例えば、LCDを用いた場合、視野角特性という問題が存在する。つまり見る角度によって、色が変化してしまうパネルの特性である。近年の技術進化により、かなり改善は見られてきてはいるものの、見る角度によっては上記弊害が残る。つまり、そうしたデバイスで多視点の３D表示を行った場合、視点位置によって異なる特性の画像を視聴することになる。具体的には、例えば図５において、視点１や視点9での画像は、視点5で見る画像と比較し、色シフト、コントラスト低下（ガンマシフト）が発生する。
【００４９】
従って、ガンマ補正部12002では、パネルのガンマシフト量に応じたガンマ補正処理を行う。具体的には、例えば図１３の(a)は、画面中央で見る場合のガンマ特性であり、(c)はガンマシフトが起こる視点位置で見た場合のガンマ特性を示すものである。(c)のようなガンマ特性にならないように、(b)に示すようなガンマ補正処理を行う。(b)に示す波形は視点位置に応じて適応的に変更できるようにする。例えば、本実施例において9視差の場合に、図１３の(a)で示した中央（視点5）でのガンマ特性と、最も斜め(視聴方向のうち表示画面の垂直方向から最も角度大きい方向)の位置（視点１、視点9）でのガンマ補正処理(補正特性)を、それぞれ数式１、数式２で表せたとすると、その間の視点位置の、(視点２、視点8)、（視点３、視点７）、（視点４、視点６）のガンマ補正曲線はそれぞれ式数式３、数式４、数式５で表される。
（数１） OUT＝INα
（数２） OUT＝IN(α+β)
（数３） OUT＝IN(α+(1/4)β)
（数４） OUT＝IN(α+(2/4)β)
（数５） OUT＝IN(α+(3/4)β)
上記の処理は、実施例1に示したように各視点位置に応じた表示が２D（視差なし）、３D（視差あり）の場合に限らず同様に適用することが望ましい。
【００５０】
また、エンハンサ処理部12001では、視差画像変換部2003からの奥行き情報11004に応じてエンハンサ処理を施す。具体的には３D表示の場合には、奥行き情報11004により物体の前後関係を判定し、前にある物体の鮮鋭感をより高めることによって、より立体感を感じさせる画像処理を行ってもよい。処理対象の視点位置の画像が２D表示なのか３D表示なのかは、制御部1007からの制御信号11002より判定する。処理対象視点位置が３D表示の場合には、左右の画像それぞれに対して上記処理を実施する。ここで、エンハンサ処理とは、エッジ強調、シャープネス、LTI（CTI）、超解像などの処理それぞれやこれらの組合せを含む。エンハンサ処理部12001の一構成例を図１４に示す。
【００５１】
図１４において、14001は垂直ハイパスフィルタ、14002は水平ハイパスフィルタ、14003は遅延部、14004、14006は加算器、14005は非線形処理部、14007はセレクタ部である。
【００５２】
図１４の例では、入力信号14009は、遅延部14003と、水平・垂直ハイパスフィルタ処理部14001、14002への入力の2系統に分かれる。水平・垂直ハイパスフィルタ14001、14002では、入力信号14009に対してフィルタ処理を施し、エンハンスしたい信号の周波数成分を取り出す。図１４では、垂直エンハンス成分と水平エンハンス成分を個々に抽出し、加算器14004にてそれらを加算してエンハンス成分を生成している。前記エンハンサ成分は、非線形処理部14005により、ノイズ除去、ゲイン調整、リミッタ等の非線形処理を施され、最終的なエンハンス信号が生成される。加算器14006により、前記遅延部14003からのタイミング調整された入力信号にエンハンス信号を加算することにより、所定の高域成分をエンハンスした信号が生成される。セレクタ部14007では、制御部1007からの制御信号11002、及び奥行き情報11004により、エンハンス処理ON／OFFを切り替える。
【００５３】
ここで、図１５は、図１４の非線形処理部14005の構成の一例を示すものである。
【００５４】
図１５において、15001はコアリング処理部、15002はゲイン調整部、15003は振幅リミッタ部である。コアリング処理部15001は、所定閾値CORE以下の入力信号に対する出力信号のレベルを0とし、ノイズ成分をエンハンス成分として抽出することを防止する。ゲイン調整部15002は、エンハンス成分の感度を所定ゲイン量GAINに応じて上げる。振幅リミッタ部15003は、ダイナミックレンジ付近の大振幅の成分に対して、前記ゲイン調整により過度にエンハンスされることによる白飛びや黒潰れという過度なエンハンサ処理を防止するために、入力信号が所定レベルLIM1とLIM2の範囲内の大振幅のエンハンス信号に対してその振幅レベルを一定もしくは下げるように制御を施す。以上のように非線形処理部14005は、例えば図１６に示すような入出力特性を示す。
【００５５】
なお、以上説明した実施例３の視点毎の高画質化処理（エンハンス処理、ガンマ補正処理）の設定について、図６に示した各視点についての２Ｄ・３Ｄ表示選択設定画面のように、ユーザがリモートコントローラーを介して、視点毎に独立してＯＮ／ＯＦＦやその度合いを調整するメニュー画面を表示して、設定処理をおこなってもよい。この場合は、視点毎に異なる高画質化処理を行い、視点毎に所望の画質で視聴することが可能となる。
【００５６】
以上説明した本発明の実施例３に係る３次元画像表示技術によれば、視点位置に応じて最適な画像処理を行い、視聴位置毎に好適な画質で３D視聴することが可能となる。また、多視差変換時に算出される奥行き情報を用いた画像処理を実施することによって、より立体感のある画像を実現することが可能となる。
【００５７】
また、本実施例においては、エンハンサ処理を３D画像の時に適用する３次元画像表示技術として説明したが、２D表示画像に対しも適用し、２D表示でもより立体感を強調した２次元画像表示技術を実現することも可能である。
【符号の説明】
【００５８】
1001デコーダ部、1002画像処理部、1003バックライト個制御部、1004はタイミングコントローラ部、1005LCD画像表示部、1006バックライト駆動部、1007制御部、
2001高画質化部、2002フレームレート変換部、2003視差画像変換部、2004、2005、2006制御部1007からの制御信号、2007動きベクトル、
3001奥行き情報抽出部、3002視差画像生成部、3003表示方式決定部、3004奥行き情報
6001表示方式決定部、6002制御部1007からの制御信号、
11001高画質化処理部、11002制御部1007からの制御信号、11003視差画像信号、11004奥行き情報、
12001エンハンサ処理部、12002ガンマ補正部、
14001垂直ハイパスフィルタ、14002水平ハイパスフィルタ、14003遅延部、14004、14006加算器、14005非線形処理部、14007セレクタ部、
15001コアリング処理部、15002ゲイン調整部、15003振幅リミッタ部、
17001画像表示部、17002視差バリア部、17003各視点位置と各アパーチャとを結ぶ線、17004視点位置
【特許請求の範囲】
【請求項１】
画像を入力する画像入力部と、
入力画像を多視点視聴用画像に変換する変換処理を行う画像処理部と、
前記画像処理部で生成した多視点視聴用画像に基づいて表示を行う多視点視聴用表示部とを備え、
前記画像処理部は、生成する多視点視聴用画像について、多視点の視点毎に2D画像とするか３D画像とするか決定する表示方式決定部を有することを特徴とする画像表示装置。
【請求項２】
請求項１記載の画像表示装置であって、
前記多視点視聴用表示部は、視点毎について2D表示と３D表示との切り替えを設定可能なメニュー画面を表示することを特徴とする画像表示装置。
【請求項３】
請求項１記載の画像表示装置であって、
前記多視点視聴用表示部は、視点毎に独立して高画質化処理の設定を行うメニュー画面を表示することを特徴とする画像表示装置。
【請求項４】
請求項１記載の画像表示装置であって、
前記画像処理部は、一視点おきに黒表示画像を表示する多視点視聴用画像を生成することを特徴とする画像表示装置。
【請求項５】
請求項１記載の画像表示装置であって、
前記画像処理部は、一視点おきに３Ｄ表示用画像と黒表示画像とを交互に表示し、所定の周期で、３Ｄ画像表示用視点と黒画像表示用視点を切り替えるように多視点視聴用画像を生成することを特徴とする画像表示装置。
【請求項６】
画像を入力する画像入力ステップと、
入力画像を多視点視聴用画像に変換する変換処理を行う画像処理ステップと、
前記画像処理部で生成した多視点視聴用画像に基づいて表示を行う表示ステップとを備え、
前記画像処理ステップでは、生成する多視点視聴用画像について、多視点の視点毎に2D画像とするか３D画像とするか決定することを特徴とする画像表示方法。
【請求項７】
請求項６記載の画像表示方法であって、
前記画像処理ステップでは、視点毎に独立して高画質化処理を行うことを特徴とする画像表示方法。
【請求項８】
請求項６記載の画像表示方法であって、
前記画像処理ステップでは、一視点おきに黒表示画像を表示する多視点視聴用画像を生成することを特徴とする画像表示方法。
【請求項９】
請求項６記載の画像表示方法であって、
前記画像処理ステップでは、一視点おきに３Ｄ表示用画像と黒表示画像とを交互に表示し、所定の周期で、３Ｄ画像表示用視点と黒画像表示用視点を切り替えるように多視点視聴用画像を生成することを特徴とする画像表示方法。
【請求項１】
画像を入力する画像入力部と、
入力画像を多視点視聴用画像に変換する変換処理を行う画像処理部と、
前記画像処理部で生成した多視点視聴用画像に基づいて表示を行う多視点視聴用表示部とを備え、
前記画像処理部は、生成する多視点視聴用画像について、多視点の視点毎に2D画像とするか３D画像とするか決定する表示方式決定部を有することを特徴とする画像表示装置。
【請求項２】
請求項１記載の画像表示装置であって、
前記多視点視聴用表示部は、視点毎について2D表示と３D表示との切り替えを設定可能なメニュー画面を表示することを特徴とする画像表示装置。
【請求項３】
請求項１記載の画像表示装置であって、
前記多視点視聴用表示部は、視点毎に独立して高画質化処理の設定を行うメニュー画面を表示することを特徴とする画像表示装置。
【請求項４】
請求項１記載の画像表示装置であって、
前記画像処理部は、一視点おきに黒表示画像を表示する多視点視聴用画像を生成することを特徴とする画像表示装置。
【請求項５】
請求項１記載の画像表示装置であって、
前記画像処理部は、一視点おきに３Ｄ表示用画像と黒表示画像とを交互に表示し、所定の周期で、３Ｄ画像表示用視点と黒画像表示用視点を切り替えるように多視点視聴用画像を生成することを特徴とする画像表示装置。
【請求項６】
画像を入力する画像入力ステップと、
入力画像を多視点視聴用画像に変換する変換処理を行う画像処理ステップと、
前記画像処理部で生成した多視点視聴用画像に基づいて表示を行う表示ステップとを備え、
前記画像処理ステップでは、生成する多視点視聴用画像について、多視点の視点毎に2D画像とするか３D画像とするか決定することを特徴とする画像表示方法。
【請求項７】
請求項６記載の画像表示方法であって、
前記画像処理ステップでは、視点毎に独立して高画質化処理を行うことを特徴とする画像表示方法。
【請求項８】
請求項６記載の画像表示方法であって、
前記画像処理ステップでは、一視点おきに黒表示画像を表示する多視点視聴用画像を生成することを特徴とする画像表示方法。
【請求項９】
請求項６記載の画像表示方法であって、
前記画像処理ステップでは、一視点おきに３Ｄ表示用画像と黒表示画像とを交互に表示し、所定の周期で、３Ｄ画像表示用視点と黒画像表示用視点を切り替えるように多視点視聴用画像を生成することを特徴とする画像表示方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２０１３−５８９５０（Ｐ２０１３−５８９５０Ａ）
【公開日】平成２５年３月２８日（２０１３．３．２８）
【国際特許分類】
【出願番号】特願２０１１−１９６６７７（Ｐ２０１１−１９６６７７）
【出願日】平成２３年９月９日（２０１１．９．９）
【出願人】（５０９１８９４４４）日立コンシューマエレクトロニクス株式会社 (998)
【Ｆターム（参考）】
【公開日】平成２５年３月２８日（２０１３．３．２８）
【国際特許分類】
【出願日】平成２３年９月９日（２０１１．９．９）
【出願人】（５０９１８９４４４）日立コンシューマエレクトロニクス株式会社 (998)
【Ｆターム（参考）】
[ Back to top ]