映像処理装置及びそれを用いた映像表示装置
【課題】
映像の立体感を向上させる技術を提供する。
【解決手段】
映像を入力し、入力映像の奥行き方向の情報と、周波数特性と、色情報とに基づいて、前記入力映像の特徴を画素単位で判定し、前記特徴に応じて、前記入力映像に画像処理を行って映像の立体感を強調する。
映像の立体感を向上させる技術を提供する。
【解決手段】
映像を入力し、入力映像の奥行き方向の情報と、周波数特性と、色情報とに基づいて、前記入力映像の特徴を画素単位で判定し、前記特徴に応じて、前記入力映像に画像処理を行って映像の立体感を強調する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、映像信号処理技術に関する。
【背景技術】
【0002】
近年、視聴者が奥行き感、立体感を体感できる映像コンテンツが普及し始めている。このような映像コンテンツを視聴するための製品として、例えば、3D映像の視聴が可能な製品が登場し始めている。方式としてはアクティブシャッター方式のメガネを用いたフレームシーケンシャルが一般的である。つまり基本的に右目用、左目用の映像を高速に交互に表示し、それに同期してメガネのシャッターを制御して右目、左目に映像を送り込むことで、3D表示を実現する。
【0003】
このような、3D映像の画質改善技術として、例えば、3D映像の輝度の向上やクロストークの低減を行う技術などが知られている(特許文献1参照)。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2010-061105
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、映像コンテンツによっては、映像の奥行き感、立体感が不十分な場合があり、特許文献1に開示される輝度の向上やクロストークの低減では、視聴者が体感する映像の奥行き感、立体感の改善には不十分である場合があった。
【0006】
本発明は上記問題を鑑みて考えたものであり、映像の立体感を向上させる技術を提供することを目的とする。
【課題を解決するための手段】
【0007】
上記目的を達するためには、例えば、入力映像の奥行き方向の情報と、周波数特性と、色情報とに基づいて、前記入力映像の特徴を画素単位で判定する判定部と、前記特徴に応じて、前記入力映像に画像処理を行う処理部とを備える構成とすればよい。
【発明の効果】
【0008】
本発明によれば、映像の立体感を向上させること可能となる。
【図面の簡単な説明】
【0009】
【図1】本発明の第一の実施の形態を示すブロック図である。
【図2】本発明の第一の実施の形態における高画質化処理部の構成の一例を示すものである。
【図3】本発明の第一の実施の形態における色情報検出部を説明するための図である。
【図4】本発明の第一の実施の形態における色相、彩度信号を説明するための図である。
【図5】本発明の第一の実施の形態における12色色相環を説明するための図である。
【図6】本発明の第一の実施の形態におけるエンハンサ処理部の構成の一例を示すブロック図である。
【図7】本発明の第一の実施の形態におけるエンハンサ処理部の非線形処理部の構成の一例を示すブロック図である。
【図8】本発明の第一の実施の形態における非線形処理部の入出力特性を説明するための図である。
【図9】本発明の第二の実施の形態を示すブロック図である。
【図10】本発明の第二の実施の形態の処理フローを説明するための図である。
【図11】本発明の第二の実施の別の形態を示すブロック図である。
【図12】本発明の第三の実施の形態を示すブロック図である。
【図13】本発明の第三の実施の形態における高画質化処理部の構成の一例を示すものである。
【図14】本発明の第三の実施の形態におけるFRC部の構成の一例を示すものである。
【図15】本発明の第三の実施の形態におけるFRC部の補間処理を説明するための図である。
【図16】本発明の第三の実施の形態におけるBLC部の構成の一例を示すものである。
【図17】本発明の第三の実施の形態におけるTCON部のオーバードライブ処理部の構成の一例を示すものである。
【図18】本発明の第四の実施の形態を示すブロック図である。
【発明を実施するための形態】
【実施例1】
【0010】
図1は、本発明の第一の実施形態である映像表示装置の構成の一例を示すブロック図である。図1において、1001はデコーダ部、1002は高画質化処理部、1003はフレームレート変換(以下、FRC:Frame Rate Conversionと呼ぶ)部、1004はバックライト制御(以下、BLC:Back Light Controlと呼ぶ)部、1005はタイミングコントローラ部、1006はPDPやLCDといった映像表示部である。
【0011】
デコーダ部1001では、放送やメディアからのMPEGやH.264といった圧縮データをデコード処理する。高画質化処理部1002では、前記デコード処理されたベースバンド信号に対して、2D、3Dそれぞれに応じた高画質化処理を行う。FRC部1003では、フレームレートの変換処理を行う。BLC部1004はバックライトの制御を行う。タイミングコントローラ部1005では表示部1006に表示するためのタイミング調整を行う。
【0012】
図2は、図1における高画質化処理部1002の構成の一例を示すものである。図2において、2001は奥行き推定部、2002はエッジ検出部、2003は色情報検出部、2004は特徴判定部、2005は画像処理部、である。
【0013】
奥行き推定部2001では、入力映像内の物体同士の相対距離の推定を行う。検出方法としては多々既に検討されており、本発明では物体の位置関係を画素単位で示す奥行き情報が正確に得られればどの手法を用いてもよい。例えば、特開2001-61164に示されるような手法を用いればよい。
【0014】
エッジ検出部2002では、エッジ量を画素単位で検出する。ここでエッジとしては、水平方向、垂直方向、もしくはその両方いずれでも構わない。
【0015】
色情報検出部2003では、入力映像を色情報から分類する。図3は、色情報検出部2003の構成の一例を示すものである。図3において、3001は色相/彩度変換部、3002はカテゴライズ部である。色相/彩度変換部3001では、入力映像から色相信号、彩度信号を得るための変換を施す。図2においては、特に説明なしに内部の信号形式としてはYCbCrを想定している。この場合、例えば以下の数式1、数式2によって色相、彩度信号をそれぞれ算出する。
(数1)
色相=tan-1(Cr/Cb)
(数2)
彩度=√((Cr)2+(Cb)2)
また、信号形式がRGBであったとしても、例えば数式3によってHSV空間へ変換することにより色相、彩度信号を得ることも可能である。
(数3)
H(色相)=cos-1{((R-G)+(R-B))/(2√((R-G)2+(R-B)(G-B)))}
S(彩度)=(max(R,G,B)-min(R,G,B))/max(R,G,B)*100
V(明度)=max(R,G,B)
数式3において、max()、min()はそれぞれR,G,Bの最大値、最小値を示す。
【0016】
さらに、上記信号形式がRGBの場合、一旦例えば数式4によってYCbCr空間へ変換したのち、数式1、数式2によって色相、彩度信号を得ても良い。
(数4)
Y=0.2990*R+0.5870+G+0.1140*B
Cb=-0.1687*R-0.3313*G+0.5000*B
Cr=0.5000*R-0.4187*G-0.0813*B
カテゴライズ部3002では、上記色相/彩度変換で得られた色情報の分類を行う。一般的に色相信号と彩度信号を用いると、図4に示すように横軸にCb信号をとり、
縦軸にCr信号をとり、垂直軸(図示しない)に輝度をとったとき、色はベクトルで表すことができる。つまり、ベクトルの方向が色相を示し、ベクトルの大きさが彩度を示している。このように色をベクトル表示したものは、色相環と呼ばれる。この色相環を用いて入力信号の色情報をカテゴライズする。全ての色を分類するのは現実的ではなく、またデジタル信号で表すのには限界がある。そこで本実施例においては、一般的に広く用いられる図5に示すような、12色の色相環を用いる。図5において、番号はそれぞれの色を区別するために表示しているものであり、ここでは1で示される赤色から始まり、赤紫色で終わる(時計周り)マンセル表示系に沿うものとする。
【0017】
カテゴライズ部3002では、得られた入力信号が図5の12色のどの色に分布されるかを判定し出力する。
【0018】
特徴判定部2004では、前記奥行き推定2001、エッジ検出2002、色情報検出2003から得られたそれぞれの情報から入力映像の特徴を抽出する。例えば表1に示すような組み合わせを特徴として検出する。
【0019】
【表1】
【0020】
画像処理部2005では、前記特徴判定部2004で得られた映像特徴に応じて画像処理を施す。例えば表1において、No.1、No.2に属する画素に対してはエッジ強調、シャープネス、LTI(Luminance Transient Improvement)、CTI(Chrominance Transient Improvement)、超解像といった映像の輝度、色度、または解像度を強調する強調系のエンハンサ処理を行う。つまり、画面手前に存在して、エッジがある部分は、カメラのフォーカスが合っている部分であり、ここを強調すればよりくっきり表示され、立体感を増すことが可能となる。ここで、No.1,2で色情報を赤or緑系としているのは、一般的に人間の目の感度が強いと言われている色であることが理由である。また、赤系とは図5の12色相環における例えば1,12に位置する色、緑系とは4,5に位置する色である。
【0021】
また、No.3に属する画素に対しては特に何も処理をしない、もしくは低域通過フィルタ、減色処理等によるぼかし処理を施して映像の解像度または色度を低減する。これにより、前記エンハンス処理した部分がより目立つことになり、結果的にフォーカスの合っている部分と合っていない部分のコントラストが強調され、立体感が増して見えることになる。
【0022】
図6は、前記エンハンサ処理の構成の一例を示すものである。図6において、6001は垂直ハイパスフィルタ、6002は水平ハイパスフィルタ、6003は遅延部、6004、6006は加算器、6005は非線形処理部、6007はセレクタ部である。
【0023】
入力信号6009は、遅延部6003と、水平・垂直ハイパスフィルタ処理部6001、6002への入力の2系統に分かれる。水平・垂直ハイパスフィルタ6001、6002では、入力信号6009に対してフィルタ処理を施し、エンハンスしたい信号の周波数成分を取り出す。図6では、垂直エンハンス成分と水平エンハンス成分を個々に抽出し、加算器6004にてそれらを加算してエンハンス成分を生成している。前記エンハンサ成分は、非線形処理部6005により、ノイズ除去、ゲイン調整、リミッタ等の非線形処理を施され、最終的なエンハンス信号が生成される。加算器6006により、前記遅延部6003からのタイミング調整された入力信号にエンハンス信号を加算することにより、所定の高域成分をエンハンスした信号が生成される。セレクタ部6007では、特徴判定部2004の結果により、No.1,2の場合はエンハンス処理後、No.3の場合はエンハンス処理前の信号を選択する。
【0024】
図7は、図6における、非線形処理部6005の構成の一例を示すものである。図7において、7001はコアリング処理部、7002はゲイン調整部、7003は振幅リミッタ部である。コアリング処理部7001は、所定閾値CORE以下の入力信号に対する出力信号のレベルを0とし、ノイズ成分をエンハンス成分として抽出することを防止する。ゲイン調整部7002は、エンハンス成分の感度を所定ゲイン量GAINに応じて上げる。振幅リミッタ部7003は、ダイナミックレンジ付近の大振幅の成分に対して、前記ゲイン調整により過度にエンハンスされることによる白飛びや黒潰れという過度なエンハンサ処理を防止するために、入力信号が所定レベルLIM1とLIM2の範囲内の大振幅のエンハンス信号に対してその振幅レベルを一定もしくは下げるように制御を施す。以上のように非線形処理部7005は、例えば図8に示すような入出力特性を示す。上記コアリング量、ゲイン量、リミッタレベルを特徴判定部2004でNo.1とNo.2で可変させたり、例えば奥行きの量やエッジ量、色の濃さに応じてそれぞれ適応的に可変することで、入力映像に対する最適な高画質化処理が可能となる。
【0025】
前記エンハンサ処理は、入力信号の輝度と色差両成分に対して実施しても良いし、輝度信号に対してのみ実施しても良い。
【0026】
以上のように本実施例によれば、入力された映像信号の特徴を抽出し、前記特徴に適応した最適な高画質化処理を施すことにより、より立体感を持つ映像表示が可能となる。
【0027】
また、本実施例においては、特に2D、3D表示を明記していないが、どちらの場合でも適用可能であり、どちらの場合においてもより立体感、奥行き感のある映像表示を実現することができる。
【実施例2】
【0028】
図9は、本発明の第二の実施形態である高画質化処理の構成の一例を示すブロック図である。図9において、図2に示した構成要素と同一の要素に関しては、同一の符号を付してその説明を省略する。
【0029】
本実施例によれば、映像の特徴に応じて色情報の補正を行うことで、より立体感のある3D映像を実現することが可能となる。
【0030】
以下、上述した第一の実施の形態と異なる部分についてその動作を説明する。
【0031】
図9において、9001は色相環の中の赤を中心とした暖色系、及び青を中心とした寒色系を強調する寒暖色強調処理部である。図10は、図9の処理フローを示したものである。まず、奥行き推定部2001により奥行き検出を行い、対象画素の相対位置が手前にあるか奥にあるかを検出する(S01)。前記にて手前にあると判定された場合、次にエッジ検出部2002により、エッジの有無を検出する(S02)。前記にてエッジ有と判定された場合、次に色情報検出部2003により対象画素を図5に示したような色相環に分類し、暖色系であるか否かを検出する(S03)。ここで、暖色系とは赤、橙、黄等赤系の色相で構成される色のことであり、図5では例えば1,2,3,10,11,12に分類される色のことを指す。前記にて暖色系と判定された場合には、その画素をエンハンス処理する(S04)。前記エンハンス処理は第一の実施例と同様である。
【0032】
また、奥行き推定によって奥にあると判定され(S05)、且つエッジがないと判定された場合(S06)には、寒色系をエンハンス処理する(S07)。ここで寒色系とは、青、シアン、緑等青系の色相で構成される色のことであり、図5では例えば4,5,6,7,8,9に分類される色のことを指す。
【0033】
本処理の内容を纏めると、手前にあってエッジ成分があり、且つ暖色系である場合と、奥、もしくは手前にあって且つエッジ成分がなく、且つ寒色系である場合において、それぞれ暖色系、寒色系を強調する。上記以外の条件に関しては何も処理をしない。
【0034】
暖色は前進色とも呼ばれ、前に出てくるように人間の目には感じ、一方寒色は後退色とも呼ばれ、後ろに下がっていくように感じる色である。つまり本処理により、手前にあってエッジ成分のある、つまりカメラのピントが合っている物体でさらに暖色系である場合にはよりそれを強調して前に出てくるような感じを持たせ、逆にエッジ成分がない、つまり例えば背景部分において、寒色系である場合にはそれを強調してより後ろへ下げるような感じを持たせることにより、人間の目にはより奥行きが強調されて立体コントラストが向上する。
【0035】
ここで、上記とは逆に、手前にあってエッジ成分がある場合の寒色系を弱め、奥、もしくは手前にあって且つエッジ成分がない場合の暖色系を弱める処理をすることで、同様の効果を狙っても良い。前記弱める処理としては低域通過フィルタ、減色処理、もしくは対象画素の輝度レベルを下げる等の処理が考えられる。もちろん上記寒暖色の強弱を組み合わせた処理を行っても良い。
【0036】
ここで、弱める処理においては、補色の関係を利用する。つまり、図5に示す色相環上で相互に向かい合う色が補色であり、例えば図中No.10で示す紫色を強調する際には、その補色であるNo.4の黄緑色を弱めることにより、より立体コントラストをつけることが可能となる。
【0037】
本実施例の別の構成を図11に示す。図11において、図9に示した構成要素と同一の要素に関しては、同一の符号を付してその説明を省略する。ぼかし処理1101とは前記寒暖色を弱める処理のことを示す。11002はセレクタであり、11003は2D/3D識別信号である。
【0038】
前記2D/3D識別信号11003は、前段のデコーダ部1001または図示しない制御部により得られることを想定している。例えば外部機器からの入力AV信号を再生する場合においては、例えば、AV信号に重畳して伝送される3D識別フラグに応じた2D/3D識別信号11003をデコーダ部1001から高画質化処理部1002へ出力する構成とすれば良い。また、放送においても放送信号に含まれる2D/3D識別信号をデコーダ部1001から高画質化処理部1002へ出力する構成とすれば良い。その他の例としては、図示しない制御部により、ユーザがTVのメニュー表示などから設定する3D表示設定信号を2D/3D識別信号11003として高画質化処理1002へ出力する構成としても良い。
【0039】
本構成により、3D信号処理または3D信号表示の場合は、上述したぼかし処理を含めた立体コントラスト重視の画像処理を行い、2D処理または2D信号表示の場合はぼかし処理は行わず、強調処理のみを実施する。つまり、2D処理または2D信号表示においてはぼかす処理は劣化として捉えやすいため採用せず、強調処理のみを行う。
【0040】
以上のように本実施例によれば、入力された映像信号の特徴に応じて、寒暖色の補正を行うことにより、より立体感のある映像を実現することができる。
【0041】
また、寒暖色補正の際には色相環上の互いの補色を意識した補正を行うことにより、さらに立体感を向上することができる。
【0042】
また、2D処理または2D信号表示の場合にはぼかし処理を行わず、3D信号処理または3D信号表示の場合にのみ強調処理とぼかし処理を組み合わせることで、より好適な画質制御が可能となる。
【0043】
なお、本実施例では、寒暖色の補正とぼかし処理の組合せについて説明したが、一方のみを行う構成にしても良い。
【実施例3】
【0044】
図12は、本発明の第三の実施形態である映像表示装置の構成の一例を示すブロック図である。図12において、図1に示した構成要素と同一の構成要素に関しては、同一の符号を付してその説明を省略する。
【0045】
本実施の形態によれば、入力映像の特徴によって、高画質化処理以降の処理の制御を行うことにより、さらに好適な画質制御が可能となる。
【0046】
図13は、図12における高画質化処理部1002の構成の一例を示すブロック図である。図13において、図11に示した構成要素と同一の構成要素に関しては、同一の符号を付してその説明を省略する。
【0047】
図13において、特徴判定部2004からの出力を映像特徴信号13001として出力する。ここで、映像特徴信号13001は、図10の処理フローで示した内容に沿い、例えば表2に示すように2bitの情報として表す。
【0048】
【表2】
【0049】
上記映像特徴信号13001は、FRC部1003へ入力される。
【0050】
図14は、図12におけるFRC部1003の構成の一例を示すブロック図である。図14において、14001は動きベクトル検出部、14002は補間フレーム生成部、14003はメモリコントローラを含むフレームメモリ部、14004は現フレーム用映像特徴信号、14005は現フレーム信号、14006は1フレーム前信号、14007は1フレーム前用映像特徴信号、14008は動きベクトル、14009は補間用現フレーム信号、14010は補間用1フレーム前信号、14011は補間用現フレーム用映像特徴信号、14012は補間用1フレーム前信号用映像特徴信号、14013は補間フレーム信号、14014は補間フレーム用映像特徴信号、14015はFRC映像出力信号、14016はFRC映像用特徴信号である。
【0051】
FRC部1003に関しては、入力信号のフレームレートに対する出力信号のフレームレートに応じて作成する補間フレーム数が異なる。以下では、説明を簡単にするため、一例として出力フレームレートが入力フレームレートの2倍の場合について説明する。
【0052】
動きベクトル検出部14001では、現フレーム信号14005、1フレーム前信号14006、現フレーム用映像特徴信号14004、1フレーム前信号用特徴信号14007が入力され、画素単位、もしくはブロック単位の動きベクトルが検出される。動きベクトルの検出手法としては画素マッチング方式、ブロックマッチング方式、位相限定相関方式等いずれの方式でも構わない。ここで、現フレーム信号、1フレーム前信号共に、映像特徴信号が入力されるため、前記各方式の検出精度の向上が図れる。補間フレーム生成部14002では、動きベクトル検出部14001からの動きベクトル14008、補間用現フレーム信号14009、補間用1フレーム前信号14010、及び補間用現フレーム用映像特徴信号14011、補間用1フレーム前信号用映像特徴信号14012を用いて、補間フレーム信号14013、補間フレーム用映像特徴信号14014を生成する。補間フレームは、例えば図15に示すように、動きベクトルが示す画素同士の線形フィルタリングを用いて生成する。つまり、図15において補間フレーム15003上のある位置の画素(領域)Pの値は、以下の数式5で表される。
(数5)
P=(A+B)/2
ここで、15001は1フレーム前信号、15002は現フレーム信号、15003は補間フレーム信号、15004は動きベクトルである。横軸は時間を取っており、縦軸は水平、もしくは垂直のどちらかを表している。
【0053】
ここで、動きベクトル検出時同様、現フレーム、1フレーム前信号共に、映像特徴信号が入力されるため、この情報を利用し補間フレーム生成方法を工夫する。再び図15においてPを求めることを考える。この際、A,Bの表2で示された特徴信号を利用して、表3に示すような制御を行う。
【0054】
【表3】
【0055】
つまり、A、Bが共に特徴信号00(手前にあり、エッジ有り、且つ暖色系である場合に)の場合は、線形フィルタリングによる補間フレーム生成を行い、補間画素の特徴信号も00を出力する。また片方だけ00の場合には、そちらの画素の重みを多く持たせたフィルタリング処理を行い、補間画素の特徴信号も00を出力する。それ以外の場合はフレーム繰り返しによる補間フレーム生成を行い、採用したフレーム側の特徴信号を補間画素の特徴信号として出力する。
【0056】
本処理により、特徴信号00の画素を含む補間画素のみフィルタリングを適用して補間フレームを生成することにより、本画素に対しては動画ぼやけの改善が図られ、クリアな絵が得られる。一方それ以外の特徴を持つ画素に対しては、フレーム繰り返しとするため、動画ぼやけが残る。つまり、本処理により動きのコントラストが加わることで、さらに立体感を向上することができる。
【0057】
図16は、図12におけるBLC部1004の構成の一例を示すブロック図である。図16において、16001は入力映像信号、16002は映像特徴信号、16003はバックライト制御単位での特徴抽出部、16004はバックライト補正に合わせた映像補正部、16005はバックライトの輝度補正部、16006はバックライト部である。本実施例においては、バックライトはLEDを想定し、所定エリア単位の制御が可能であるものとする。入力映像信号16001、映像特徴信号16002は、それぞれFRC部1002からの出力であり、補間フレームを含めた2倍のデータ量を持つ。エリア毎特徴抽出部16003では、バックライト制御単位内でのヒストグラム情報や、APL情報に加え、映像特徴信号16002を用いてバックライト輝度補正部16005における輝度補正値を決定する。すなわち例えばエリア内に所定閾値以上の特徴信号00の画素が存在する場合には、そのエリアのバックライト輝度を上げる。逆にエリア内に所定閾値以上の特徴信号01、10の画素が存在する場合には、そのエリアのバックライト輝度を下げる。上記以外の場合には、エリア内のヒストグラム情報、APL情報のみでバックライト輝度値を決定する。本処理により、特徴量に応じて明暗差をつけることにより、より立体感が強調された映像を得ることができる。
【0058】
図17は、図12におけるTCON部1005内のオーバードライブ処理部の構成の一例を示すブロック図である。図17において、17001は入力映像信号、17002は映像特徴信号、17003はメモリコントロール部を含めたフレームメモリ、17004は映像補正部である。オーバードライブ処理は、目標となる階調電圧よりも高い、あるいは低い電圧を印加することで、液晶の応答速度を制御する処理である。その結果、液晶の応答を擬似的に高速化することができる。本実施例においては、このオーバードライブ処理に対しても映像特徴信号17004に応じた制御を行う。つまり、映像特徴信号17004が、00の場合にはオーバードライブ処理を強くかけ、応答性を擬似的に高速化する。映像特徴信号1704が01、10の場合には、オーバードライブ処理をかけない。また、映像特徴信号17004が11の場合には、オーバードライブ処理を弱くかける。
【0059】
オーバードライブ処理は、入力映像信号17001に対して、例えば以下数式6に示すような補正データを印加することで実現する。
(数6)
Dout=Din(n)+α((Din(n)-Din(n-1))
つまり、映像補正部17004では数式6の処理を行う。
【0060】
ここで、Din(n)は現フレームデータであり、Din(n-1)は1フレーム前データである。Doutはオーバードライブによる補正後の現フレームデータであり、αはオーバードライブ係数であり、液晶パネルの補正前の応答速度特性と入力Dinによって設定される係数である。本実施例においては、このオーバードライブの強弱を制御する係数αの値を、映像特徴信号に応じて可変させる機能を追加するものである。また、数式6を見ても分かる通り、オーバードライブ処理をかけないとはα=0とすることである。本処理により、映像特徴に応じて応答差をつけることで、くっきり見せる部分とぼかす部分を表現することができ、より立体的な映像を実現することができる。
【0061】
以上のように本実施例によれば、入力された映像信号の特徴をFRC処理へ適用し、及び補間フレーム用の特徴信号を生成し、前記特徴信号をさらに後段のBLC部、TCON部へ適用することによって、より立体感のある映像を実現することが可能となる。
【0062】
また、本実施例においても第三の実施例同様、2D処理時または2D信号表示時と、3D処理時または3D信号表示時において適応的に処理を可変することが可能である。例えば2D処理時または2D信号表示時に、画素値自体をあまり改変したくない場合には、BLC部、TCON部のみの処理を適用する等の手法が考えられる。
【0063】
なお、本実施例では、特徴信号を用いたFRC部、BLC部、TCON部の制御について説明したが、それぞれの制御を1つのみ行う構成としてもよく、これらの制御を組み合わせた制御を行う構成にしても良い。
【実施例4】
【0064】
図18は、本発明の第四の実施形態である画像処理装置の構成の一例を示すブロック図である。図18において、図12に示した構成要素と同一の構成要素に関しては、同一の符号を付してその説明を省略する。
【0065】
図18において、18001は時分割制御部、18002はバックライト部であり、本実施例は、所謂フィールドシーケンシャル方式のディスプレイである。以下の説明では使用デバイスは一例としてLCDとしている。フィールドシーケンシャル方式とは、時分割による混色を利用したカラー表示方式である。すなわち、二色以上の光を継続的に切り替えて発光させ、かつ、その切り替えの速さを人間の目の時間的分解能を越えた速さとした場合に、人間が上述の二色以上の色を混色して認識することを応用した方式である。
【0066】
つまり、フルカラーフィールドシーケンシャルLCDにおいては、発光色がR、G、Bの3色のときは、バックライトをR、G、Bの三つの発光色のうちの一つの発光色を順次発光させ、その切り替えの速さを十分に速くすることにより任意の色光を実現する。
【0067】
ここで、時分割制御18001において、R、G、Bの発光タイミング、強度を制御している。すなわち、時分割制御18001は、R、G、Bの発光タイミングや強度(発光量)を制御する発光制御部である。図18の例では、この発光タイミングと強度をFRC部1003から入力される映像特徴信号に応じて可変させる。すなわち、表2を参照し、映像特徴信号が00の場合には、暖色系であるRの発光タイミングを長くする、もしくは強度を上げる。特徴信号が01、もしくは10の場合には、寒色系であるBの発光タイミングを長くする、もしくは強度を上げる。さらに第二の実施例同様、特徴信号が00の場合には、Bの発光タイミングを短く、強度を下げる、特徴信号が01、10の場合には、Rの発光タイミングを短く、輝度を下げる、といった処理を行っても良い。
【0068】
以上のように本実施例によれば、フィールドシーケンシャル方式のLCDにおいて、その発光タイミング、強度を映像特徴に応じて制御することにより、より立体感のある映像を実現することが可能となる。
【0069】
また、本実施例では、デバイスとしてLCD、発光色としてR、G、Bの3色を説明したが、これに限るものではなく、デバイスとしては有機EL、FED等、発光色としてはR、G、BにY、C、M等を加えた多色システムでも適用可能である。
【符号の説明】
【0070】
1001デコーダ部、1002高画質化処理部、1003FRC部、1004BLC部、1005タイミングコントローラ部、1006映像表示部、2001奥行き推定部、2002エッジ検出部、2003色情報検出部、2004特徴判定部、2005画像処理部、3001色相/彩度変換部、3002カテゴライズ部、6001垂直ハイパスフィルタ、6002水平ハイパスフィルタ、6003遅延部、6004、6006加算器、6005非線形処理部、6007セレクタ部、7001コアリング処理部、7002ゲイン調整部、7003振幅リミッタ部、9001寒暖色強調処理部、1101ぼかし処理、11002セレクタ、11003 2D/3D識別信号、13001映像特徴信号、14001動きベクトル検出部、14002補間フレーム生成部、14003フレームメモリ部、14004現フレーム用映像特徴信号、14005現フレーム信号、140061フレーム前信号、14007 1フレーム前用映像特徴信号、14008動きベクトル、14009補間用現フレーム信号、14010補間用1フレーム前信号、14011補間用現フレーム用映像特徴信号、14012補間用1フレーム前信号用映像特徴信号、14013補間フレーム信号、14014補間フレーム用映像特徴信号、14015FRC映像出力信号、14016FRC映像用特徴信号、
150011フレーム前信号、15002現フレーム信号、15003補間フレーム信号、15004動きベクトル、16001入力映像信号、16002映像特徴信号、16003特徴抽出部、16004映像補正部、16005バックライトの輝度補正部、16006バックライト部、17001入力映像信号、17002映像特徴信号、17003フレームメモリ、17004映像補正部、18001時分割制御部、18002バックライト部
【技術分野】
【0001】
本発明は、映像信号処理技術に関する。
【背景技術】
【0002】
近年、視聴者が奥行き感、立体感を体感できる映像コンテンツが普及し始めている。このような映像コンテンツを視聴するための製品として、例えば、3D映像の視聴が可能な製品が登場し始めている。方式としてはアクティブシャッター方式のメガネを用いたフレームシーケンシャルが一般的である。つまり基本的に右目用、左目用の映像を高速に交互に表示し、それに同期してメガネのシャッターを制御して右目、左目に映像を送り込むことで、3D表示を実現する。
【0003】
このような、3D映像の画質改善技術として、例えば、3D映像の輝度の向上やクロストークの低減を行う技術などが知られている(特許文献1参照)。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2010-061105
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、映像コンテンツによっては、映像の奥行き感、立体感が不十分な場合があり、特許文献1に開示される輝度の向上やクロストークの低減では、視聴者が体感する映像の奥行き感、立体感の改善には不十分である場合があった。
【0006】
本発明は上記問題を鑑みて考えたものであり、映像の立体感を向上させる技術を提供することを目的とする。
【課題を解決するための手段】
【0007】
上記目的を達するためには、例えば、入力映像の奥行き方向の情報と、周波数特性と、色情報とに基づいて、前記入力映像の特徴を画素単位で判定する判定部と、前記特徴に応じて、前記入力映像に画像処理を行う処理部とを備える構成とすればよい。
【発明の効果】
【0008】
本発明によれば、映像の立体感を向上させること可能となる。
【図面の簡単な説明】
【0009】
【図1】本発明の第一の実施の形態を示すブロック図である。
【図2】本発明の第一の実施の形態における高画質化処理部の構成の一例を示すものである。
【図3】本発明の第一の実施の形態における色情報検出部を説明するための図である。
【図4】本発明の第一の実施の形態における色相、彩度信号を説明するための図である。
【図5】本発明の第一の実施の形態における12色色相環を説明するための図である。
【図6】本発明の第一の実施の形態におけるエンハンサ処理部の構成の一例を示すブロック図である。
【図7】本発明の第一の実施の形態におけるエンハンサ処理部の非線形処理部の構成の一例を示すブロック図である。
【図8】本発明の第一の実施の形態における非線形処理部の入出力特性を説明するための図である。
【図9】本発明の第二の実施の形態を示すブロック図である。
【図10】本発明の第二の実施の形態の処理フローを説明するための図である。
【図11】本発明の第二の実施の別の形態を示すブロック図である。
【図12】本発明の第三の実施の形態を示すブロック図である。
【図13】本発明の第三の実施の形態における高画質化処理部の構成の一例を示すものである。
【図14】本発明の第三の実施の形態におけるFRC部の構成の一例を示すものである。
【図15】本発明の第三の実施の形態におけるFRC部の補間処理を説明するための図である。
【図16】本発明の第三の実施の形態におけるBLC部の構成の一例を示すものである。
【図17】本発明の第三の実施の形態におけるTCON部のオーバードライブ処理部の構成の一例を示すものである。
【図18】本発明の第四の実施の形態を示すブロック図である。
【発明を実施するための形態】
【実施例1】
【0010】
図1は、本発明の第一の実施形態である映像表示装置の構成の一例を示すブロック図である。図1において、1001はデコーダ部、1002は高画質化処理部、1003はフレームレート変換(以下、FRC:Frame Rate Conversionと呼ぶ)部、1004はバックライト制御(以下、BLC:Back Light Controlと呼ぶ)部、1005はタイミングコントローラ部、1006はPDPやLCDといった映像表示部である。
【0011】
デコーダ部1001では、放送やメディアからのMPEGやH.264といった圧縮データをデコード処理する。高画質化処理部1002では、前記デコード処理されたベースバンド信号に対して、2D、3Dそれぞれに応じた高画質化処理を行う。FRC部1003では、フレームレートの変換処理を行う。BLC部1004はバックライトの制御を行う。タイミングコントローラ部1005では表示部1006に表示するためのタイミング調整を行う。
【0012】
図2は、図1における高画質化処理部1002の構成の一例を示すものである。図2において、2001は奥行き推定部、2002はエッジ検出部、2003は色情報検出部、2004は特徴判定部、2005は画像処理部、である。
【0013】
奥行き推定部2001では、入力映像内の物体同士の相対距離の推定を行う。検出方法としては多々既に検討されており、本発明では物体の位置関係を画素単位で示す奥行き情報が正確に得られればどの手法を用いてもよい。例えば、特開2001-61164に示されるような手法を用いればよい。
【0014】
エッジ検出部2002では、エッジ量を画素単位で検出する。ここでエッジとしては、水平方向、垂直方向、もしくはその両方いずれでも構わない。
【0015】
色情報検出部2003では、入力映像を色情報から分類する。図3は、色情報検出部2003の構成の一例を示すものである。図3において、3001は色相/彩度変換部、3002はカテゴライズ部である。色相/彩度変換部3001では、入力映像から色相信号、彩度信号を得るための変換を施す。図2においては、特に説明なしに内部の信号形式としてはYCbCrを想定している。この場合、例えば以下の数式1、数式2によって色相、彩度信号をそれぞれ算出する。
(数1)
色相=tan-1(Cr/Cb)
(数2)
彩度=√((Cr)2+(Cb)2)
また、信号形式がRGBであったとしても、例えば数式3によってHSV空間へ変換することにより色相、彩度信号を得ることも可能である。
(数3)
H(色相)=cos-1{((R-G)+(R-B))/(2√((R-G)2+(R-B)(G-B)))}
S(彩度)=(max(R,G,B)-min(R,G,B))/max(R,G,B)*100
V(明度)=max(R,G,B)
数式3において、max()、min()はそれぞれR,G,Bの最大値、最小値を示す。
【0016】
さらに、上記信号形式がRGBの場合、一旦例えば数式4によってYCbCr空間へ変換したのち、数式1、数式2によって色相、彩度信号を得ても良い。
(数4)
Y=0.2990*R+0.5870+G+0.1140*B
Cb=-0.1687*R-0.3313*G+0.5000*B
Cr=0.5000*R-0.4187*G-0.0813*B
カテゴライズ部3002では、上記色相/彩度変換で得られた色情報の分類を行う。一般的に色相信号と彩度信号を用いると、図4に示すように横軸にCb信号をとり、
縦軸にCr信号をとり、垂直軸(図示しない)に輝度をとったとき、色はベクトルで表すことができる。つまり、ベクトルの方向が色相を示し、ベクトルの大きさが彩度を示している。このように色をベクトル表示したものは、色相環と呼ばれる。この色相環を用いて入力信号の色情報をカテゴライズする。全ての色を分類するのは現実的ではなく、またデジタル信号で表すのには限界がある。そこで本実施例においては、一般的に広く用いられる図5に示すような、12色の色相環を用いる。図5において、番号はそれぞれの色を区別するために表示しているものであり、ここでは1で示される赤色から始まり、赤紫色で終わる(時計周り)マンセル表示系に沿うものとする。
【0017】
カテゴライズ部3002では、得られた入力信号が図5の12色のどの色に分布されるかを判定し出力する。
【0018】
特徴判定部2004では、前記奥行き推定2001、エッジ検出2002、色情報検出2003から得られたそれぞれの情報から入力映像の特徴を抽出する。例えば表1に示すような組み合わせを特徴として検出する。
【0019】
【表1】
【0020】
画像処理部2005では、前記特徴判定部2004で得られた映像特徴に応じて画像処理を施す。例えば表1において、No.1、No.2に属する画素に対してはエッジ強調、シャープネス、LTI(Luminance Transient Improvement)、CTI(Chrominance Transient Improvement)、超解像といった映像の輝度、色度、または解像度を強調する強調系のエンハンサ処理を行う。つまり、画面手前に存在して、エッジがある部分は、カメラのフォーカスが合っている部分であり、ここを強調すればよりくっきり表示され、立体感を増すことが可能となる。ここで、No.1,2で色情報を赤or緑系としているのは、一般的に人間の目の感度が強いと言われている色であることが理由である。また、赤系とは図5の12色相環における例えば1,12に位置する色、緑系とは4,5に位置する色である。
【0021】
また、No.3に属する画素に対しては特に何も処理をしない、もしくは低域通過フィルタ、減色処理等によるぼかし処理を施して映像の解像度または色度を低減する。これにより、前記エンハンス処理した部分がより目立つことになり、結果的にフォーカスの合っている部分と合っていない部分のコントラストが強調され、立体感が増して見えることになる。
【0022】
図6は、前記エンハンサ処理の構成の一例を示すものである。図6において、6001は垂直ハイパスフィルタ、6002は水平ハイパスフィルタ、6003は遅延部、6004、6006は加算器、6005は非線形処理部、6007はセレクタ部である。
【0023】
入力信号6009は、遅延部6003と、水平・垂直ハイパスフィルタ処理部6001、6002への入力の2系統に分かれる。水平・垂直ハイパスフィルタ6001、6002では、入力信号6009に対してフィルタ処理を施し、エンハンスしたい信号の周波数成分を取り出す。図6では、垂直エンハンス成分と水平エンハンス成分を個々に抽出し、加算器6004にてそれらを加算してエンハンス成分を生成している。前記エンハンサ成分は、非線形処理部6005により、ノイズ除去、ゲイン調整、リミッタ等の非線形処理を施され、最終的なエンハンス信号が生成される。加算器6006により、前記遅延部6003からのタイミング調整された入力信号にエンハンス信号を加算することにより、所定の高域成分をエンハンスした信号が生成される。セレクタ部6007では、特徴判定部2004の結果により、No.1,2の場合はエンハンス処理後、No.3の場合はエンハンス処理前の信号を選択する。
【0024】
図7は、図6における、非線形処理部6005の構成の一例を示すものである。図7において、7001はコアリング処理部、7002はゲイン調整部、7003は振幅リミッタ部である。コアリング処理部7001は、所定閾値CORE以下の入力信号に対する出力信号のレベルを0とし、ノイズ成分をエンハンス成分として抽出することを防止する。ゲイン調整部7002は、エンハンス成分の感度を所定ゲイン量GAINに応じて上げる。振幅リミッタ部7003は、ダイナミックレンジ付近の大振幅の成分に対して、前記ゲイン調整により過度にエンハンスされることによる白飛びや黒潰れという過度なエンハンサ処理を防止するために、入力信号が所定レベルLIM1とLIM2の範囲内の大振幅のエンハンス信号に対してその振幅レベルを一定もしくは下げるように制御を施す。以上のように非線形処理部7005は、例えば図8に示すような入出力特性を示す。上記コアリング量、ゲイン量、リミッタレベルを特徴判定部2004でNo.1とNo.2で可変させたり、例えば奥行きの量やエッジ量、色の濃さに応じてそれぞれ適応的に可変することで、入力映像に対する最適な高画質化処理が可能となる。
【0025】
前記エンハンサ処理は、入力信号の輝度と色差両成分に対して実施しても良いし、輝度信号に対してのみ実施しても良い。
【0026】
以上のように本実施例によれば、入力された映像信号の特徴を抽出し、前記特徴に適応した最適な高画質化処理を施すことにより、より立体感を持つ映像表示が可能となる。
【0027】
また、本実施例においては、特に2D、3D表示を明記していないが、どちらの場合でも適用可能であり、どちらの場合においてもより立体感、奥行き感のある映像表示を実現することができる。
【実施例2】
【0028】
図9は、本発明の第二の実施形態である高画質化処理の構成の一例を示すブロック図である。図9において、図2に示した構成要素と同一の要素に関しては、同一の符号を付してその説明を省略する。
【0029】
本実施例によれば、映像の特徴に応じて色情報の補正を行うことで、より立体感のある3D映像を実現することが可能となる。
【0030】
以下、上述した第一の実施の形態と異なる部分についてその動作を説明する。
【0031】
図9において、9001は色相環の中の赤を中心とした暖色系、及び青を中心とした寒色系を強調する寒暖色強調処理部である。図10は、図9の処理フローを示したものである。まず、奥行き推定部2001により奥行き検出を行い、対象画素の相対位置が手前にあるか奥にあるかを検出する(S01)。前記にて手前にあると判定された場合、次にエッジ検出部2002により、エッジの有無を検出する(S02)。前記にてエッジ有と判定された場合、次に色情報検出部2003により対象画素を図5に示したような色相環に分類し、暖色系であるか否かを検出する(S03)。ここで、暖色系とは赤、橙、黄等赤系の色相で構成される色のことであり、図5では例えば1,2,3,10,11,12に分類される色のことを指す。前記にて暖色系と判定された場合には、その画素をエンハンス処理する(S04)。前記エンハンス処理は第一の実施例と同様である。
【0032】
また、奥行き推定によって奥にあると判定され(S05)、且つエッジがないと判定された場合(S06)には、寒色系をエンハンス処理する(S07)。ここで寒色系とは、青、シアン、緑等青系の色相で構成される色のことであり、図5では例えば4,5,6,7,8,9に分類される色のことを指す。
【0033】
本処理の内容を纏めると、手前にあってエッジ成分があり、且つ暖色系である場合と、奥、もしくは手前にあって且つエッジ成分がなく、且つ寒色系である場合において、それぞれ暖色系、寒色系を強調する。上記以外の条件に関しては何も処理をしない。
【0034】
暖色は前進色とも呼ばれ、前に出てくるように人間の目には感じ、一方寒色は後退色とも呼ばれ、後ろに下がっていくように感じる色である。つまり本処理により、手前にあってエッジ成分のある、つまりカメラのピントが合っている物体でさらに暖色系である場合にはよりそれを強調して前に出てくるような感じを持たせ、逆にエッジ成分がない、つまり例えば背景部分において、寒色系である場合にはそれを強調してより後ろへ下げるような感じを持たせることにより、人間の目にはより奥行きが強調されて立体コントラストが向上する。
【0035】
ここで、上記とは逆に、手前にあってエッジ成分がある場合の寒色系を弱め、奥、もしくは手前にあって且つエッジ成分がない場合の暖色系を弱める処理をすることで、同様の効果を狙っても良い。前記弱める処理としては低域通過フィルタ、減色処理、もしくは対象画素の輝度レベルを下げる等の処理が考えられる。もちろん上記寒暖色の強弱を組み合わせた処理を行っても良い。
【0036】
ここで、弱める処理においては、補色の関係を利用する。つまり、図5に示す色相環上で相互に向かい合う色が補色であり、例えば図中No.10で示す紫色を強調する際には、その補色であるNo.4の黄緑色を弱めることにより、より立体コントラストをつけることが可能となる。
【0037】
本実施例の別の構成を図11に示す。図11において、図9に示した構成要素と同一の要素に関しては、同一の符号を付してその説明を省略する。ぼかし処理1101とは前記寒暖色を弱める処理のことを示す。11002はセレクタであり、11003は2D/3D識別信号である。
【0038】
前記2D/3D識別信号11003は、前段のデコーダ部1001または図示しない制御部により得られることを想定している。例えば外部機器からの入力AV信号を再生する場合においては、例えば、AV信号に重畳して伝送される3D識別フラグに応じた2D/3D識別信号11003をデコーダ部1001から高画質化処理部1002へ出力する構成とすれば良い。また、放送においても放送信号に含まれる2D/3D識別信号をデコーダ部1001から高画質化処理部1002へ出力する構成とすれば良い。その他の例としては、図示しない制御部により、ユーザがTVのメニュー表示などから設定する3D表示設定信号を2D/3D識別信号11003として高画質化処理1002へ出力する構成としても良い。
【0039】
本構成により、3D信号処理または3D信号表示の場合は、上述したぼかし処理を含めた立体コントラスト重視の画像処理を行い、2D処理または2D信号表示の場合はぼかし処理は行わず、強調処理のみを実施する。つまり、2D処理または2D信号表示においてはぼかす処理は劣化として捉えやすいため採用せず、強調処理のみを行う。
【0040】
以上のように本実施例によれば、入力された映像信号の特徴に応じて、寒暖色の補正を行うことにより、より立体感のある映像を実現することができる。
【0041】
また、寒暖色補正の際には色相環上の互いの補色を意識した補正を行うことにより、さらに立体感を向上することができる。
【0042】
また、2D処理または2D信号表示の場合にはぼかし処理を行わず、3D信号処理または3D信号表示の場合にのみ強調処理とぼかし処理を組み合わせることで、より好適な画質制御が可能となる。
【0043】
なお、本実施例では、寒暖色の補正とぼかし処理の組合せについて説明したが、一方のみを行う構成にしても良い。
【実施例3】
【0044】
図12は、本発明の第三の実施形態である映像表示装置の構成の一例を示すブロック図である。図12において、図1に示した構成要素と同一の構成要素に関しては、同一の符号を付してその説明を省略する。
【0045】
本実施の形態によれば、入力映像の特徴によって、高画質化処理以降の処理の制御を行うことにより、さらに好適な画質制御が可能となる。
【0046】
図13は、図12における高画質化処理部1002の構成の一例を示すブロック図である。図13において、図11に示した構成要素と同一の構成要素に関しては、同一の符号を付してその説明を省略する。
【0047】
図13において、特徴判定部2004からの出力を映像特徴信号13001として出力する。ここで、映像特徴信号13001は、図10の処理フローで示した内容に沿い、例えば表2に示すように2bitの情報として表す。
【0048】
【表2】
【0049】
上記映像特徴信号13001は、FRC部1003へ入力される。
【0050】
図14は、図12におけるFRC部1003の構成の一例を示すブロック図である。図14において、14001は動きベクトル検出部、14002は補間フレーム生成部、14003はメモリコントローラを含むフレームメモリ部、14004は現フレーム用映像特徴信号、14005は現フレーム信号、14006は1フレーム前信号、14007は1フレーム前用映像特徴信号、14008は動きベクトル、14009は補間用現フレーム信号、14010は補間用1フレーム前信号、14011は補間用現フレーム用映像特徴信号、14012は補間用1フレーム前信号用映像特徴信号、14013は補間フレーム信号、14014は補間フレーム用映像特徴信号、14015はFRC映像出力信号、14016はFRC映像用特徴信号である。
【0051】
FRC部1003に関しては、入力信号のフレームレートに対する出力信号のフレームレートに応じて作成する補間フレーム数が異なる。以下では、説明を簡単にするため、一例として出力フレームレートが入力フレームレートの2倍の場合について説明する。
【0052】
動きベクトル検出部14001では、現フレーム信号14005、1フレーム前信号14006、現フレーム用映像特徴信号14004、1フレーム前信号用特徴信号14007が入力され、画素単位、もしくはブロック単位の動きベクトルが検出される。動きベクトルの検出手法としては画素マッチング方式、ブロックマッチング方式、位相限定相関方式等いずれの方式でも構わない。ここで、現フレーム信号、1フレーム前信号共に、映像特徴信号が入力されるため、前記各方式の検出精度の向上が図れる。補間フレーム生成部14002では、動きベクトル検出部14001からの動きベクトル14008、補間用現フレーム信号14009、補間用1フレーム前信号14010、及び補間用現フレーム用映像特徴信号14011、補間用1フレーム前信号用映像特徴信号14012を用いて、補間フレーム信号14013、補間フレーム用映像特徴信号14014を生成する。補間フレームは、例えば図15に示すように、動きベクトルが示す画素同士の線形フィルタリングを用いて生成する。つまり、図15において補間フレーム15003上のある位置の画素(領域)Pの値は、以下の数式5で表される。
(数5)
P=(A+B)/2
ここで、15001は1フレーム前信号、15002は現フレーム信号、15003は補間フレーム信号、15004は動きベクトルである。横軸は時間を取っており、縦軸は水平、もしくは垂直のどちらかを表している。
【0053】
ここで、動きベクトル検出時同様、現フレーム、1フレーム前信号共に、映像特徴信号が入力されるため、この情報を利用し補間フレーム生成方法を工夫する。再び図15においてPを求めることを考える。この際、A,Bの表2で示された特徴信号を利用して、表3に示すような制御を行う。
【0054】
【表3】
【0055】
つまり、A、Bが共に特徴信号00(手前にあり、エッジ有り、且つ暖色系である場合に)の場合は、線形フィルタリングによる補間フレーム生成を行い、補間画素の特徴信号も00を出力する。また片方だけ00の場合には、そちらの画素の重みを多く持たせたフィルタリング処理を行い、補間画素の特徴信号も00を出力する。それ以外の場合はフレーム繰り返しによる補間フレーム生成を行い、採用したフレーム側の特徴信号を補間画素の特徴信号として出力する。
【0056】
本処理により、特徴信号00の画素を含む補間画素のみフィルタリングを適用して補間フレームを生成することにより、本画素に対しては動画ぼやけの改善が図られ、クリアな絵が得られる。一方それ以外の特徴を持つ画素に対しては、フレーム繰り返しとするため、動画ぼやけが残る。つまり、本処理により動きのコントラストが加わることで、さらに立体感を向上することができる。
【0057】
図16は、図12におけるBLC部1004の構成の一例を示すブロック図である。図16において、16001は入力映像信号、16002は映像特徴信号、16003はバックライト制御単位での特徴抽出部、16004はバックライト補正に合わせた映像補正部、16005はバックライトの輝度補正部、16006はバックライト部である。本実施例においては、バックライトはLEDを想定し、所定エリア単位の制御が可能であるものとする。入力映像信号16001、映像特徴信号16002は、それぞれFRC部1002からの出力であり、補間フレームを含めた2倍のデータ量を持つ。エリア毎特徴抽出部16003では、バックライト制御単位内でのヒストグラム情報や、APL情報に加え、映像特徴信号16002を用いてバックライト輝度補正部16005における輝度補正値を決定する。すなわち例えばエリア内に所定閾値以上の特徴信号00の画素が存在する場合には、そのエリアのバックライト輝度を上げる。逆にエリア内に所定閾値以上の特徴信号01、10の画素が存在する場合には、そのエリアのバックライト輝度を下げる。上記以外の場合には、エリア内のヒストグラム情報、APL情報のみでバックライト輝度値を決定する。本処理により、特徴量に応じて明暗差をつけることにより、より立体感が強調された映像を得ることができる。
【0058】
図17は、図12におけるTCON部1005内のオーバードライブ処理部の構成の一例を示すブロック図である。図17において、17001は入力映像信号、17002は映像特徴信号、17003はメモリコントロール部を含めたフレームメモリ、17004は映像補正部である。オーバードライブ処理は、目標となる階調電圧よりも高い、あるいは低い電圧を印加することで、液晶の応答速度を制御する処理である。その結果、液晶の応答を擬似的に高速化することができる。本実施例においては、このオーバードライブ処理に対しても映像特徴信号17004に応じた制御を行う。つまり、映像特徴信号17004が、00の場合にはオーバードライブ処理を強くかけ、応答性を擬似的に高速化する。映像特徴信号1704が01、10の場合には、オーバードライブ処理をかけない。また、映像特徴信号17004が11の場合には、オーバードライブ処理を弱くかける。
【0059】
オーバードライブ処理は、入力映像信号17001に対して、例えば以下数式6に示すような補正データを印加することで実現する。
(数6)
Dout=Din(n)+α((Din(n)-Din(n-1))
つまり、映像補正部17004では数式6の処理を行う。
【0060】
ここで、Din(n)は現フレームデータであり、Din(n-1)は1フレーム前データである。Doutはオーバードライブによる補正後の現フレームデータであり、αはオーバードライブ係数であり、液晶パネルの補正前の応答速度特性と入力Dinによって設定される係数である。本実施例においては、このオーバードライブの強弱を制御する係数αの値を、映像特徴信号に応じて可変させる機能を追加するものである。また、数式6を見ても分かる通り、オーバードライブ処理をかけないとはα=0とすることである。本処理により、映像特徴に応じて応答差をつけることで、くっきり見せる部分とぼかす部分を表現することができ、より立体的な映像を実現することができる。
【0061】
以上のように本実施例によれば、入力された映像信号の特徴をFRC処理へ適用し、及び補間フレーム用の特徴信号を生成し、前記特徴信号をさらに後段のBLC部、TCON部へ適用することによって、より立体感のある映像を実現することが可能となる。
【0062】
また、本実施例においても第三の実施例同様、2D処理時または2D信号表示時と、3D処理時または3D信号表示時において適応的に処理を可変することが可能である。例えば2D処理時または2D信号表示時に、画素値自体をあまり改変したくない場合には、BLC部、TCON部のみの処理を適用する等の手法が考えられる。
【0063】
なお、本実施例では、特徴信号を用いたFRC部、BLC部、TCON部の制御について説明したが、それぞれの制御を1つのみ行う構成としてもよく、これらの制御を組み合わせた制御を行う構成にしても良い。
【実施例4】
【0064】
図18は、本発明の第四の実施形態である画像処理装置の構成の一例を示すブロック図である。図18において、図12に示した構成要素と同一の構成要素に関しては、同一の符号を付してその説明を省略する。
【0065】
図18において、18001は時分割制御部、18002はバックライト部であり、本実施例は、所謂フィールドシーケンシャル方式のディスプレイである。以下の説明では使用デバイスは一例としてLCDとしている。フィールドシーケンシャル方式とは、時分割による混色を利用したカラー表示方式である。すなわち、二色以上の光を継続的に切り替えて発光させ、かつ、その切り替えの速さを人間の目の時間的分解能を越えた速さとした場合に、人間が上述の二色以上の色を混色して認識することを応用した方式である。
【0066】
つまり、フルカラーフィールドシーケンシャルLCDにおいては、発光色がR、G、Bの3色のときは、バックライトをR、G、Bの三つの発光色のうちの一つの発光色を順次発光させ、その切り替えの速さを十分に速くすることにより任意の色光を実現する。
【0067】
ここで、時分割制御18001において、R、G、Bの発光タイミング、強度を制御している。すなわち、時分割制御18001は、R、G、Bの発光タイミングや強度(発光量)を制御する発光制御部である。図18の例では、この発光タイミングと強度をFRC部1003から入力される映像特徴信号に応じて可変させる。すなわち、表2を参照し、映像特徴信号が00の場合には、暖色系であるRの発光タイミングを長くする、もしくは強度を上げる。特徴信号が01、もしくは10の場合には、寒色系であるBの発光タイミングを長くする、もしくは強度を上げる。さらに第二の実施例同様、特徴信号が00の場合には、Bの発光タイミングを短く、強度を下げる、特徴信号が01、10の場合には、Rの発光タイミングを短く、輝度を下げる、といった処理を行っても良い。
【0068】
以上のように本実施例によれば、フィールドシーケンシャル方式のLCDにおいて、その発光タイミング、強度を映像特徴に応じて制御することにより、より立体感のある映像を実現することが可能となる。
【0069】
また、本実施例では、デバイスとしてLCD、発光色としてR、G、Bの3色を説明したが、これに限るものではなく、デバイスとしては有機EL、FED等、発光色としてはR、G、BにY、C、M等を加えた多色システムでも適用可能である。
【符号の説明】
【0070】
1001デコーダ部、1002高画質化処理部、1003FRC部、1004BLC部、1005タイミングコントローラ部、1006映像表示部、2001奥行き推定部、2002エッジ検出部、2003色情報検出部、2004特徴判定部、2005画像処理部、3001色相/彩度変換部、3002カテゴライズ部、6001垂直ハイパスフィルタ、6002水平ハイパスフィルタ、6003遅延部、6004、6006加算器、6005非線形処理部、6007セレクタ部、7001コアリング処理部、7002ゲイン調整部、7003振幅リミッタ部、9001寒暖色強調処理部、1101ぼかし処理、11002セレクタ、11003 2D/3D識別信号、13001映像特徴信号、14001動きベクトル検出部、14002補間フレーム生成部、14003フレームメモリ部、14004現フレーム用映像特徴信号、14005現フレーム信号、140061フレーム前信号、14007 1フレーム前用映像特徴信号、14008動きベクトル、14009補間用現フレーム信号、14010補間用1フレーム前信号、14011補間用現フレーム用映像特徴信号、14012補間用1フレーム前信号用映像特徴信号、14013補間フレーム信号、14014補間フレーム用映像特徴信号、14015FRC映像出力信号、14016FRC映像用特徴信号、
150011フレーム前信号、15002現フレーム信号、15003補間フレーム信号、15004動きベクトル、16001入力映像信号、16002映像特徴信号、16003特徴抽出部、16004映像補正部、16005バックライトの輝度補正部、16006バックライト部、17001入力映像信号、17002映像特徴信号、17003フレームメモリ、17004映像補正部、18001時分割制御部、18002バックライト部
【特許請求の範囲】
【請求項1】
入力映像に画像処理を施す映像処理装置であって、
前記入力映像の奥行き方向の情報と、周波数特性と、色情報とに基づいて、前記入力映像の特徴を画素単位で判定する判定部と、
前記特徴に応じて、前記入力映像に画像処理を行う処理部と
を備えることを特徴とする映像処理装置。
【請求項2】
請求項1に記載される映像処理装置であって、
前記処理部は、前記特徴に応じて、映像の輝度、色度、または解像度を強調する処理を行うことを特徴とする映像処理装置。
【請求項3】
請求項2に記載される映像処理装置であって、
前記処理部は、前記特徴に応じて、映像の色度または解像度を低減する処理を行うことを特徴とする映像処理装置。
【請求項4】
請求項3に記載の映像処理装置であって、前記処理部が映像の輝度、色度、または解像度を強調する処理を行う画素の色と、映像の色度または解像度を低減する処理を行う画素の色が補色の関係にあることを特徴とする映像処理装置。
【請求項5】
請求項3または請求項4に記載の映像処理装置であって、
前記処理部が処理する映像が2D映像であるか3D映像であるかを判別する情報を入力する入力部を備え、
前記処理部が2D映像を処理する場合は、前記映像の色度または解像度を低減する処理は行わず、前記映像の輝度、色度、または解像度を強調する処理は行うことを特徴とする映像処理装置。
【請求項6】
請求項1乃至5に記載される映像処理装置であって、
前記処理部は、前記特徴に応じて、映像のフレームレート変換するフレームレート変換処理を行うことを特徴とする映像処理装置。
【請求項7】
請求項6に記載される映像処理装置であって、前記処理部は、前記特徴に応じて、前記フレームレート変換処理における補間フレームの生成方法を切り替えることを特徴とする映像処理装置。
【請求項8】
入力映像に画像処理を行って表示する映像表示装置であって、
前記入力映像の奥行き方向の情報と、周波数特性と、色情報とに基づいて、前記入力映像の特徴を画素単位で判定する判定部と、
前記特徴に応じて、前記入力映像に画像処理を行う処理部と、
前記入力映像または前記処理部で画像処理を行った映像を表示する表示部と
を備えることを特徴とする映像表示装置。
【請求項9】
請求項8に記載される映像表示装置であって、
前記処理部は、前記特徴に応じて、映像の輝度、色度、または解像度を強調する処理を行うことを特徴とする映像表示装置。
【請求項10】
請求項9に記載される映像表示装置であって、
前記処理部は、前記特徴に応じて、映像の色度または解像度を低減する処理を行うことを特徴とする映像表示装置。
【請求項11】
請求項10に記載の映像表示装置であって、前記処理部が映像の輝度、色度、または解像度を強調する処理を行う画素の色と、映像の色度または解像度を低減する処理を行う画素の色が補色の関係にあることを特徴とする映像表示装置。
【請求項12】
請求項10または請求項11に記載の映像表示装置であって、
前記処理部が処理する映像が2D映像であるか3D映像であるかを判別する情報を入力する入力部を備え、
前記処理部が2D映像を処理する場合は、前記映像の色度または解像度を低減する処理は行わず、前記映像の輝度、色度、または解像度を強調する処理は行うことを特徴とする映像表示装置。
【請求項13】
請求項8乃至12に記載される映像表示装置であって、
前記処理部は、前記特徴に応じて、映像のフレームレート変換するフレームレート変換処理を行うことを特徴とする映像表示装置。
【請求項14】
請求項13に記載される映像処理装置であって、前記処理部は、前記特徴に応じて、前記フレームレート変換処理における補間フレームの生成方法を切り替えることを特徴とする映像処理装置。
【請求項15】
請求項8乃至14に記載される映像表示装置であって、
前記表示部の表示に用いるバックライトを制御するバックライト制御部を備え、
前記バックライト制御部は、前記特徴に応じてバックライト輝度を変化させることを特徴とする映像表示装置。
【請求項16】
請求項8乃至15に記載される映像表示装置であって、
前記表示部は、液晶方式であり、
前記表示部のオーバードライブ処理の制御を行うオーバードライブ処理制御部を備え、
前記オーバードライブ処理制御部は、前記特徴に応じてオーバードライブ処理制御を変更することを特徴とする映像表示装置。
【請求項17】
請求項8乃至15に記載される映像表示装置であって、
前記表示部は、フィールドシーケンシャルによるカラー表示方式であり、
複数の発光色の発光タイミングまたは発光量を制御する発光制御部を備え、
前記発光制御部は、前記特徴に応じて各色のバックライトの発光体タイミング、発光量を制御することを特徴とする映像表示装置。
【請求項1】
入力映像に画像処理を施す映像処理装置であって、
前記入力映像の奥行き方向の情報と、周波数特性と、色情報とに基づいて、前記入力映像の特徴を画素単位で判定する判定部と、
前記特徴に応じて、前記入力映像に画像処理を行う処理部と
を備えることを特徴とする映像処理装置。
【請求項2】
請求項1に記載される映像処理装置であって、
前記処理部は、前記特徴に応じて、映像の輝度、色度、または解像度を強調する処理を行うことを特徴とする映像処理装置。
【請求項3】
請求項2に記載される映像処理装置であって、
前記処理部は、前記特徴に応じて、映像の色度または解像度を低減する処理を行うことを特徴とする映像処理装置。
【請求項4】
請求項3に記載の映像処理装置であって、前記処理部が映像の輝度、色度、または解像度を強調する処理を行う画素の色と、映像の色度または解像度を低減する処理を行う画素の色が補色の関係にあることを特徴とする映像処理装置。
【請求項5】
請求項3または請求項4に記載の映像処理装置であって、
前記処理部が処理する映像が2D映像であるか3D映像であるかを判別する情報を入力する入力部を備え、
前記処理部が2D映像を処理する場合は、前記映像の色度または解像度を低減する処理は行わず、前記映像の輝度、色度、または解像度を強調する処理は行うことを特徴とする映像処理装置。
【請求項6】
請求項1乃至5に記載される映像処理装置であって、
前記処理部は、前記特徴に応じて、映像のフレームレート変換するフレームレート変換処理を行うことを特徴とする映像処理装置。
【請求項7】
請求項6に記載される映像処理装置であって、前記処理部は、前記特徴に応じて、前記フレームレート変換処理における補間フレームの生成方法を切り替えることを特徴とする映像処理装置。
【請求項8】
入力映像に画像処理を行って表示する映像表示装置であって、
前記入力映像の奥行き方向の情報と、周波数特性と、色情報とに基づいて、前記入力映像の特徴を画素単位で判定する判定部と、
前記特徴に応じて、前記入力映像に画像処理を行う処理部と、
前記入力映像または前記処理部で画像処理を行った映像を表示する表示部と
を備えることを特徴とする映像表示装置。
【請求項9】
請求項8に記載される映像表示装置であって、
前記処理部は、前記特徴に応じて、映像の輝度、色度、または解像度を強調する処理を行うことを特徴とする映像表示装置。
【請求項10】
請求項9に記載される映像表示装置であって、
前記処理部は、前記特徴に応じて、映像の色度または解像度を低減する処理を行うことを特徴とする映像表示装置。
【請求項11】
請求項10に記載の映像表示装置であって、前記処理部が映像の輝度、色度、または解像度を強調する処理を行う画素の色と、映像の色度または解像度を低減する処理を行う画素の色が補色の関係にあることを特徴とする映像表示装置。
【請求項12】
請求項10または請求項11に記載の映像表示装置であって、
前記処理部が処理する映像が2D映像であるか3D映像であるかを判別する情報を入力する入力部を備え、
前記処理部が2D映像を処理する場合は、前記映像の色度または解像度を低減する処理は行わず、前記映像の輝度、色度、または解像度を強調する処理は行うことを特徴とする映像表示装置。
【請求項13】
請求項8乃至12に記載される映像表示装置であって、
前記処理部は、前記特徴に応じて、映像のフレームレート変換するフレームレート変換処理を行うことを特徴とする映像表示装置。
【請求項14】
請求項13に記載される映像処理装置であって、前記処理部は、前記特徴に応じて、前記フレームレート変換処理における補間フレームの生成方法を切り替えることを特徴とする映像処理装置。
【請求項15】
請求項8乃至14に記載される映像表示装置であって、
前記表示部の表示に用いるバックライトを制御するバックライト制御部を備え、
前記バックライト制御部は、前記特徴に応じてバックライト輝度を変化させることを特徴とする映像表示装置。
【請求項16】
請求項8乃至15に記載される映像表示装置であって、
前記表示部は、液晶方式であり、
前記表示部のオーバードライブ処理の制御を行うオーバードライブ処理制御部を備え、
前記オーバードライブ処理制御部は、前記特徴に応じてオーバードライブ処理制御を変更することを特徴とする映像表示装置。
【請求項17】
請求項8乃至15に記載される映像表示装置であって、
前記表示部は、フィールドシーケンシャルによるカラー表示方式であり、
複数の発光色の発光タイミングまたは発光量を制御する発光制御部を備え、
前記発光制御部は、前記特徴に応じて各色のバックライトの発光体タイミング、発光量を制御することを特徴とする映像表示装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【公開番号】特開2012−151776(P2012−151776A)
【公開日】平成24年8月9日(2012.8.9)
【国際特許分類】
【出願番号】特願2011−10365(P2011−10365)
【出願日】平成23年1月21日(2011.1.21)
【出願人】(509189444)日立コンシューマエレクトロニクス株式会社 (998)
【Fターム(参考)】
【公開日】平成24年8月9日(2012.8.9)
【国際特許分類】
【出願日】平成23年1月21日(2011.1.21)
【出願人】(509189444)日立コンシューマエレクトロニクス株式会社 (998)
【Fターム(参考)】
[ Back to top ]