説明

映像処理装置及び方法

【課題】 擬似インパルス駆動を実現して動画ボケを改善しつつ、焼付き等の品位低下を防止する。
【解決手段】 高周波画像データと1つ手前のサブフレームの低周波画像データとを第1の合成比率αで合成して得た画像データを第1サブフレームとし、低周波画像データと高周波画像データとを第2の合成比率1−αで合成して得た画像データを第2サブフレームとし、第1サブフレームの画像に対して、第2サブフレームの画像を極性を反転して出力する。ここで、第1フレーム群ではαの値をフレーム毎に逓減するように調整し、第1フレーム群より後の第2フレーム群ではαの値をフレーム毎に逓増するように調整する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、映像処理技術に関し、特に、液晶表示装置における焼付き等の品質劣化を効果的に防止するための技術に関する。
【背景技術】
【0002】
液晶表示装置(直視型液晶表示装置、液晶プロジェクタ等)は、常に発光している光源を液晶シャッターで調光する方式で、ホールド型表示装置と呼ばれる。ホールド型表示装置は、1フレーム期間において発光するため、追従視(動画表示において、動く部分を視線で追いかける見方)を行うと、発光期間に応じた“動きぼけ”が観測される。この課題を解決する方法として例えば、擬似インパルス駆動方式がある。擬似インパルス駆動方式においては、フレーム周波数をN倍にしサブフレームを生成する。そして、サブフレームの1つに、“動きぼけ”に大きく寄与する空間的高周波成分を集中させ高周波強調画像として表示し、他のサブフレームは、空間的低周波成分を分配した低周波画像として表示する(例えば、特許文献1参照)。
【0003】
また、一般に液晶表示デバイスは、画素電極と対向電極との間に直流電圧が長時間にわたり印加され続けると、内部にイオンの偏りが発生し、階調特性を再現できなくなるいわゆる“焼付き”が発生してしまう。このため、液晶表示デバイスでは、イオンの偏りが生じないように、サブフレーム毎に液晶に印加する映像信号電圧の極性を、共通電極(VCOM)電圧に対して周期的に反転するという駆動を行っている。
【0004】
そのため、上記のような、擬似インパルス駆動を行うとサブフレーム間で印加する電圧が異なるため、一方の極性へ印加電圧の偏りが生じてしまい、長時間駆動時において焼付きが発生してしまう問題があった。この問題を解決する方法として、特許文献2には、極性反転駆動周期をサブフレーム単位からフレーム単位に拡張することで、印加電圧の偏りを防止する技術が開示されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2002−351382号公報
【特許文献2】特開2008−064919号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、特許文献2に開示された極性反転周期を拡張する方法では、極性反転周期が長くなることによりフリッカが視認されやすくなるという問題がある。
【0007】
そこで、本発明は、極性反転周期を変更することなく焼付き等の品質劣化を防止しつつ擬似インパルス駆動を実現することを目的とする。
【課題を解決するための手段】
【0008】
本発明の一側面は、映像信号をフレーム単位に入力し、1つのフレームにつき2つのサブフレームを生成し、出力する映像処理装置に係り、映像信号をフレーム単位に入力する入力手段と、入力したフレームの原画像データから、高周波画像データと低周波画像データとを生成し、前記入力手段の入力するフレームレートの2倍の周波数で、前記生成した高周波画像データと低周波画像データとを交互に出力するサブフレーム画像生成手段と、前記サブフレーム画像生成手段から出力された高周波画像データ及び低周波画像データを記憶する記憶手段と、前記サブフレーム画像生成手段から出力された高周波画像データと前記記憶手段から読み出した1つ手前のサブフレームの低周波画像データとを第1の合成比率α(0≦α≦1)で合成して得た画像データを第1サブフレームの画像データとして生成するとともに、前記サブフレーム画像生成手段から出力された低周波画像データと高周波画像データとを第2の合成比率1−αで合成して得た画像データを第2サブフレームの画像データとして生成する画像合成手段と、前記画像合成手段により生成された第1サブフレームの画像に対して、第2サブフレームの画像を極性を反転して出力する極性反転手段とを備え、前記画像合成手段は、現在のフレームが、連続するN個(Nは2以上の整数)のフレームからなる第1フレーム群にある間、前記αの値をフレーム毎に逓減するように調整し、現在のフレームが、前記第1フレーム群より後で連続するN個のフレームからなる第2フレーム群にある間、前記αの値をフレーム毎に逓増するように調整する調整手段とを含むことを特徴とする。
【発明の効果】
【0009】
本発明によれば、擬似インパルス駆動を実現して動画ボケを改善しつつ、焼付き等の品位低下を防止することができる。
【図面の簡単な説明】
【0010】
【図1】実施例における映像処理装置の構成を示すブロック図。
【図2】実施例1における映像処理方法を説明する図。
【図3】実施例1における映像処理方法を示すフローチャート。
【図4】実施例2における映像処理方法を説明する図。
【図5】実施例2における映像処理方法を示すフローチャート。
【図6】従来の液晶インパルス駆動制御装置の構成を示すブロック図。
【発明を実施するための形態】
【0011】
以下、図面を参照して本発明の好適な実施形態について詳細に説明する。
【0012】
(実施例1)
図1(a)は、液晶表示装置を駆動するための、本実施例に係る映像処理装置の構成を示すブロック図である。フレームレート変換部102には、例えばフレームレート60Hzの映像信号がフレーム単位に入力される。フレームレート変換部102は、入力した1フレームの原画像データをフレームメモリ101に格納する。フレームレート変換部102はまた、その原画像データに対して倍速処理を行い、2倍のフレームレート120Hzの周波数で、サブフレーム画像を生成する。その後、各サブフレーム画像から、サブフレーム画像生成部103で高周波画像データ(高周波強調画像)と低周波画像データを生成する。生成された高周波画像データ及び低周波画像データは、記憶手段であるフレームメモリ104に記憶される。
【0013】
図2の(a)及び(b)を参照して、上記処理を説明する。図2においては、連続するN個(Nは2以上の整数)のフレームからなる第1フレーム群を想定する。図2の(a)には、N=10としたとき、すなわち、連続する10個のフレームからなる第1フレーム群Org(0)乃至Org(9)が示されている。なお、括弧内はフレーム番号を示すが、図中では括弧は省略して表記されている。201は第0フレームの60Hz入力画像 Org(0)であり、このOrg(0) 201に対して倍速処理を行う。202は第0フレームの120Hz 高周波強調画像H(0) 、203は0フレ―ム目の120Hz低周波画像L(0)を示す。これらは倍速処理後に図1(a)に示すサブフレーム画像生成部103で生成される。
【0014】
ここで、従来方式では、図6に示すようにサブフレーム画像に対して、極性反転部107でサブレフ―ム毎に液晶へ印加する電圧極性を反転しているため、図2(b)に示すように、極性電圧がプラスの時に高周波強調画像、マイナスの時に低周波画像が表示される。このように、サブフレーム毎に、一方の極性へ印加電圧の偏りが生じる擬似インパルス駆動を行うと、長時間駆動時に焼付きが発生してしまう。この問題の解決策の一つを図2(c)に示す。211は、第1フレーム群の前半と後半の境界である表示画像順切り替えタイミングを示している。表示画像順切り替えタイミング211で、図2(c)中の矢印に示すように低周波画像L4 208を繰り返して表示(挿入)し、表示画像順を1サブフレームずらす。このように表示画像順を切り替えることで極性電圧がプラスの時に低周波画像、マイナスの時に高周波強調画像を表示することになる。このような極性切り替えを繰り返すことで、印加電圧の偏りを改善することができる。
【0015】
しかしながら、上記L4 208の挿入時に、1サブフレーム分表示画像がずれることにより、動画において動きの不連続が視認されるという問題がある。これに対しては、表示画像順切り替えタイミング211を、シーンチェンジやチャンネル切り替え時など、画面の切り替えが発生する所定タイミングで実施することにより、不連続に視認される問題を回避することができる。本実施例では、上記のような所定タイミングにおける表示画像順の切り替えを行わずに、連続した動画表示の中で、表示画像順の切り替えを行い、動きが不連続に視認される問題を回避する方法を説明する。
【0016】
図2(b)の高周波強調画像H(n)と低周波画像L(n) (n:フレーム番号) を、図2(d)に示すように、サブフレームシフト比率に基づいて、現在のサブフレーム画像を1つ手前のサブフレームの画像に、フレーム毎に段階的に切り換える。1つ手前のサブフレームの画像に切り替える際は、図1(a)のフレームメモリ104から1サブフレーム遅延させたサブフレーム画像を読み出して、これを、現在のサブフレーム画像と、サブフレームシフト演算部105にて比率に応じて画像合成(マージ)する。上記処理を式(1)に示す。
【0017】
第1サブフレーム画像 = H'(n) + L'(n)
第2サブフレーム画像 = H''(n) + L''(n)
H'(n) = H(n)*α、 L'(n) = L(n-1)*(1 - α)
H''(n) = H(n)*(1 - α )、 L''(n) = L(n)*α …式(1)
ただし、0≦α≦1、
nはフレーム番号
【0018】
上式の意味するところは、次のとおりである。まず、サブフレーム画像生成部103から出力された高周波画像データH(n)と、フレームメモリ104から読み出した1つ手前のサブフレームの低周波画像データL(n-1)とを、第1の合成比率α(0≦α≦1)で合成する。この合成で得られた画像データを、第1サブフレーム画像のデータとして生成する。また、サブフレーム画像生成部103から出力された高周波画像データH(n)と低周波画像データL(n)とを、第2の合成比率1−αで合成する。この合成で得られた画像データを、第2サブフレーム画像のデータとして生成する。なお、上記の例では、第1の合成比率αを0乃至1の実数で定義したが、以下では、この第1の合成比率を「サブフレームシフト比率」ともいい、その場合、%で表す。
【0019】
具体的な処理を図2(d)を参照して説明する。まず、第0フレームにおいて、212はサブフレームシフト比率100%の状態を示し、213は式(1)演算後の第1サブフレームを示し、214は式(1)演算後の第2サブフレームを示す。サブフレームシフト比率100%の状態では、第1サブフレームはH(0) 202、第2サブフレームはL(0) 203となり、通常の擬似インパルス駆動と同じ状態である。
【0020】
次に、第1フレームにおいて、215はサブフレームシフト比率90%の状態を示し、216、217は式(1)演算後の第1サブフレームと第2サブフレームを示す。ここで、サブフレームシフト比率90%の状態では、第1サブフレーム216はH(1) 204とL(0) 203が9:1の割合で加算された画像になり、第2サブフレーム217はL(1) 205とH(1) 204が9:1の割合で加算された画像になる。
【0021】
同様に、第2フレームにおいて、218はサブフレームシフト比率80%の状態を示す。そして、第1サブフレーム219はH(2) 206とL(1) 205が4:1の割合で加算された画像になり、第2サブフレーム220はL(2) 207とH(2) 206が4:1の割合で加算された画像になる。
【0022】
このように、段階的に高周波強調画像と低周波画像の割合が入れ替わる。最終的には、221に示すサブフレームシフト比率が0%の段階で、第1サブフレーム222には、L(8) 209が表示され、第2サブフレーム223にはH(9) 210が表示され、表示画像順の切り替えが完了する。
【0023】
従来方式(図2の(b))ではそのまま表示していたサブフレームに、その前のサブフレームを、サブフレームシフト比率に応じてマージし、サブフレームシフト比率を段階的に遷移する。このようにすることで、動画の不連続が視認されることなく表示画像順を切り替えることが可能になり、ひいてはイオンの偏りによる焼き付きを減少できる。
【0024】
このように、現在のフレームが第1フレーム群にある間は、サブフレームシフト比率、すなわち第1の合成比率αの値が、フレーム毎に逓減するように調整される。なお、サブフレームシフト比率の調整は、図1(a)のサブフレームシフト比率制御部106で行われ、サブフレームシフト比率の変化タイミングの制御は、制御タイミング決定部108で行われる。
【0025】
上記一連の処理を、図3のフローチャートを用いて説明する。まず、S302において、第1サブフレームに高周波強調画像H(n)が、第2サブフレームに低周波画像L(n)が表示されるモードになる(以降、ドライブモード1と記載する)。ドライブモード1では、サブフレームシフト比率が所定の最大値(例えば1(100%))に固定される。S303により、上記した第1フレーム群より前のmフレーム内(mは1以上の整数)において、ドライブモード1が継続される。このドライブモード1が継続される間は、高周波強調画像と低周波画像を交互に表示する擬似インパルス駆動方式となり、動きぼけの改善効果を期待できる。
【0026】
次に、S304において、前記式(1)に示すサブフレームシフト比率に応じたサブフレーム画像の段階的な切り替え処理を行う。ここでサブフレームシフト比率を、100%から0%に、ある割合でフレーム毎に減少させる。図2(d)では、この割合を10%にした場合の例を記載したが、必ずしも10%である必要はない。割合が少ないほど、各フレームにおけるシフト量が少なくなり動画の不連続性が軽減される。しかし、割合を少なくすると、サブフレームシフト比率を遷移させるためのフレーム数が多くなるため、擬似インパルス駆動による動きぼけの改善効果が弱まる期間が多くなるデメリットが生じる。逆に割合を多くすると、擬似インパルス駆動による動きぼけの改善効果が弱まる期間が減るが、表示画像順をずらしたことによる動画の不連続が視認されやすくなる。さらに、サブフレームシフト比率を急激に変化させると、この急激な変化が目立ち、画質の劣化として視認されてしまう。実験によれば、256フレーム (変化の割合は約0.4%) かけてサブフレームシフト比率を遷移させることで、動画の不連続が視認されず、シフト量の変化による画質の劣化も目立たないことが確認されている。
【0027】
サブフレームシフト比率が所定の最低値(例えば0%)になることで(図2(d)の221)、第1サブフレームに低周波画像L(n-1)が、第2サブフレームに高周波強調画像H(n)が表示される。本実施例ではその後、サブフレームシフト比率を最小値に固定するモードになる(以降、ドライブモード2と記載する)。次に、S306により、上記第1フレーム群とその後で連続するN個のフレームからなる第2フレーム群との間のmフレーム(mは1以上の整数)だけ、ドライブモード2を継続する。このようにドライブモードを1から2に切替えることにより、すなわち、高周波強調画像と低周波画像の表示順を反転させることにより、イオンの偏りに起因する焼付きを回避する。なお、ドライブモード2が継続される間は、ドライブモード1と同様に、擬似インパルス駆動方式となり、動きぼけの改善効果が期待できる。また、第1フレーム群と第2フレーム群の間の、ドライブモード1または2が継続される期間mに関して、このmが小さいとサブフレーム画像の切替え処理が短い周期で発生することになり、視聴者がこの変化に気付きやすくなる。実験によれば、このmの期間を約1800フレーム(約30秒)の期間とすることで変化に気付き難いことが確認されている。
【0028】
次に、S307において、現在のフレームが第2フレーム群に入り、式(1)に示すサブフレームシフト比率に応じたサブフレーム画像の段階的な切り替え処理を行う。ここでサブフレームシフト比率を、0%から100%に、ある割合でフレーム毎に逓増させる。サブフレームシフト比率が100%になることで、S302に戻りドライブモード1となり、ループ処理が行われる。
【0029】
以上説明した本実施例によれば、サブフレームシフト比率に応じて段階的にサブフレームの表示画像順の切り替えが行われる。これにより、擬似インパルス駆動で動画ボケを改善しつつ、焼付き等の品位低下を防止することができる。
【0030】
(実施例2)
図1(b)は、液晶表示装置を駆動するための、実施例2に係る映像処理装置の構成を示すブロック図である。まず、フレームメモリ101に記憶されている例えば60Hzの原画像データに対してフレームレート変換部102で倍速処理を行い、120Hzのサブフレーム画像を生成する。その後、高周波強調画像生成部402で高周波強調画像データを生成し、低周波画像生成部403で低周波画像データを生成し、サブフレーム表示切り替え部404で交互にサブフレームを選択出力する。低周波画像生成部403及び高周波強調画像生成部402で生成された画像データは、記憶手段としてのフレームメモリ405に記憶されうる。
【0031】
図4の(a)及び(b)を参照して、上記処理を説明する。図4においては、図2と同様、連続するN個(Nは2以上の整数)のフレームからなる第1フレーム群を想定する。図示の例ではN=10である。501は第0フレームの60Hz入力画像 Org(0)であり、このOrg(0) 501に対して倍速処理を行う。502は第0フレームの120Hz 高周波強調画像H(0) 、503は0フレ―ム目の120Hz低周波画像L(0)を示す。これらは倍速処理後に図1(b)に示す高周波強調画像生成部402と低周波画像生成部403で生成され、サブフレーム表示切り替え回路404で交互に選択出力される。図4(b)によれば、上述した実施例1に係る図2(b)と同様に、サブフレーム毎に一方の極性へ印加電圧の偏りが生じる擬似インパルス駆動となり、このまま表示させると長時間駆動時に焼付きが発生してしまう。
【0032】
この問題の解決策の一つを図4(c)に示す。504は表示画像切り替えタイミングを示し、この次のフレームにおいて、図1(b)の表示切り替え制御部406からサブフレーム表示切り替え部405に対してサブフレーム生成順序を逆にするよう制御することにより表示画像順を切り替える。これにより、極性電圧がプラスの時に低周波画像、マイナスの時に高周波強調画像を表示することになり、印加電圧の偏りを改善することができる。
【0033】
しかしながら、上記表示画像切り替えタイミング504において、動画において動きの不連続が視認されるという問題がある。これは、擬似インパルス駆動を行った場合、高周波強調画像に人間の視覚が追従していることに起因する。よって、高周波強調画像の表示周期が周期的な場合は、正常に動画を視認できるが、表示周期に不連続点が発生すると、視覚追従も不連続になるため、結果、動画において動きの不連続が視認されてしまう。さらに、高周波強調画像と低周波画像の生成順序を切り替えた場合、切り替え前後で動画の見え方が異なる問題も発生する。この問題は、生成順序が替わることでフレーム内における画像の重心位置が変わることに起因する。フレーム内の画像の重心位置は、あるフレーム時間nおける高周波強調画像をH(n)、低周波画像をL(n)とすると、同じフレーム時間nにおけるH(n)とL(n)の表示順で決定される。人間の視覚は、高周波強調画像に追従するため、H(n)→L(n)の順で表示された場合、前方のH(n)に画像の重心があり、逆に、L(n)→H(n)の順で表示された場合、後方のH(n)に画像の重心があるように視覚される。動画の場合において、時間重心が前にあるか後ろにあるかで高周波強調画像と低周波画像のフレーム間積分結果が異なり、残像方向が逆になるといった動画の見え方の違いが生じる。
【0034】
本実施例では、サブフレーム生成順序の切り替え時に、動画において動きが不連続になる問題と、切り替え前後で動画の見え方に違いが生じる問題を回避する方法を説明する。図4(c)の高周波強調画像H(n)と低周波画像L(n) (n:フレーム番号) を、図4(d)に示すように、サブフレーム演算係数に基づいて、入力画像Org(n)に近づくよう段階的に変化させる(第1画像合成処理)。この演算処理は、図1(b)のサブフレーム演算係数制御部401と高周波強調画像生成部402と低周波画像生成部403で行われる。上記処理を式(2)に示す。
【0035】
第1サブフレーム画像 = H(n)*β(n) + Org(n)*(1 - β(n))
第2サブフレーム画像 = L(n)*β(n) + Org(n)*(1 - β(n)) … 式(2)
ただし、0≦β(n)≦1、
nはフレーム番号
【0036】
上式の意味するところは、次のとおりである。まず、高周波強調画像生成部402は、高周波画像データH(n)と現在のフレームの原画像データOrg(n)とを第1の合成係数β(n)(0≦β(n)≦1)を用いて合成する。この合成で得られた画像データを、第1サブフレームの画像データとして生成する。また、低周波画像生成部403は、低周波画像データL(n)と、現在のフレームの原画像データOrg(n)とを第1の合成係数β(n)を用いて合成する。この合成で得られた画像データを、第2サブフレームの画像データとして生成する。なお、上記の例では、第1の合成比率β(n)を0乃至1の実数で定義したが、以下では、この第1の合成比率を「サブフレーム演算係数」ともいい、その場合、%で表す。
【0037】
具体的な処理を図4(d)を参照して説明する。まず、第0フレームにおいて、505はサブフレーム演算係数100%の状態を示し、506は式(2)演算後の第1サブフレームを示し、507は式(2)演算後の第2サブフレームを示す。サブフレーム演算係数100%の状態では、第1サブフレームはH(0) 508、第2サブフレームはL(0) 509となり、通常の擬似インパルス駆動と同じ状態である。
【0038】
次に、第1フレームにおいて、510はサブフレーム演算係数75%の状態を示し、511、512は式(2)演算後の第1サブフレームと第2サブフレームを示す。ここで、サブフレーム演算係数75%の状態では、第1サブフレーム511はH(1) 513とOrg(1) 515が3:1の割合で加算された画像になる。また、第2サブフレーム512はL(1) 514とOrg(1) 515が3:1の割合で加算された画像になる。
【0039】
同様に、第2フレームにおいて、516はサブフレーム演算係数50%の状態を示す。そして、第1サブフレーム517はH(2) 519とOrg(2) 521が1:1の割合で加算された画像になり、第2サブフレーム518はL(2) 520とOrg(2) 521が1:1の割合で加算された画像になる。
【0040】
最終的には、522に示すようにサブレフ―ム演算係数が0%の段階で、第1サブフレーム523には、Org(4) 525が表示され、第2サブフレーム524にもOrg(4) 525が表示される。このように、現在のフレームが第1フレーム群の前半にある間は、サブレフ―ム演算係数、すなわち第1の合成比率βの値が、フレーム毎に逓減するように調整される。こうして、段階的に高周波強調画像と低周波画像が入力画像に入れ替わる。
【0041】
次に、第1フレーム群の前半と後半との境界を示す表示画像切り替えタイミング504において、第1サブフレームと第2サブフレームの生成順序の入れ替えを行う。各サブフレームは同時刻フレームの原画像に置き換わっているため、高周波強調画像に人間の視覚が追従することに起因する動きの不連続は起こらない。なお本実施例では、サブフレーム演算係数を0%、すなわち、各サブフレームを入力画像に置き換えてから生成順序の入れ替えを行っているが、必ずしも上記演算係数は0%である必要はない。人間の視覚追従が行われなくなる程度に高周波強調画像を弱める低めの係数値でもよい。
【0042】
表示画像切り替え後、第1サブフレームを低周波画像へと、また、第2サブフレームを高周波強調画像へと、サブフレーム演算係数に基づいて段階的に変換していく。同時に、現在の低周波画像を1フレーム前の低周波画像へと、サブフレームシフト比率α(第2の合成比率α)に基づいて段階的に変換していく。なお、サブフレーム演算係数に基づいた段階的な変換は、図1(b)のサブフレーム演算係数制御部401と高周波強調画像生成部402と低周波画像生成部403で行われる。また、1フレーム前の低周波画像に切り替える際は、以下に説明するように、図1(b)のフレームメモリ405にて1サブフレーム遅延させた低周波中間画像と、現在の低周波画像を、サブフレームシフト演算部105にて比率に応じてマージする(第2画像合成処理)。上記処理を式(3)に示す。
【0043】
第1サブフレーム画像 = (L(n)*β(n) + Org(n)*(1 - β(n)))*α
+ (L(n-1)*β(n-1) + Org(n-1)*(1 - β(n-1)))*(1-α)
第2サブフレーム画像 = H(n)*β(n) + Org(n)*(1 - β(n)) … 式(3)
ただし、αはサブフレームシフト比率(0≦α≦1)、
βはサブフレーム演算係数(0≦β≦1)、
nはフレーム番号
【0044】
上式の意味するところは、次のとおりである。まず、低周波画像生成部403は、低周波画像データL(n)と現在のフレームの原画像データOrg(n)とを第1の合成比率(サブフレーム演算係数)β(n)を用いて合成する。これは式(3)において、L(n)*β(n) + Org(n)*(1 - β(n))で表される。この合成により得られた画像データは、第1中間画像データとしてフレームメモリ405に格納される。次に、フレームメモリ405から1フレーム過去の第1中間画像データを第2中間画像データとして読み出す。この第2中間画像データは式(3)においてL(n-1)*β(n-1) + Org(n-1)*(1 - β(n-1))と表される。その後、現在のフレーム第1中間画像データと、読み出した第2中間画像データとを第2の合成比率(サブフレームシフト比率)αを用いて合成して得た画像データを第1サブフレームの画像データとして生成する。更に、高周波強調画像生成部402から出力された高周波画像データH(n)と現在のフレームの原画像データOrg(n)とを第1の合成比率β(n)で合成して得た画像データを第2サブフレームの画像データとして生成する。
【0045】
具体的な処理を図4(d)を参照して説明する。まず、第1フレーム群の後半の、第6フレームにおいて、526はサブフレーム演算係数25%の状態を示し、527はサブフレームシフト比率80%の状態を示す。また、528は式(3)演算後の第1サブフレームを示し、529は式(3)演算後の第2サブフレームを示す。
【0046】
第1サブフレーム528は以下のように生成される。まず、サブフレーム演算係数25%に基づき、L(6) 531とOrg(6) 534を3:1の割合で加算し、L(5) 530とOrg(5) 533を3:1の割合で加算する。そして、前記各々の演算結果をサブフレームシフト比率80%に基づき、4:1の割合で加算した画像を第1サブフレームとして生成する。同様に第2サブフレームは、サブフレーム演算係数25%に基づき、H(6) 532とOrg(6) 534を3:1の割合で加算した画像となる。
【0047】
次に、第7フレームにおいて、535はサブフレーム演算係数50%の状態を示し、536はサブフレームシフト比率40%の状態を示す。第1サブフレーム537は以下のように生成される。まず、サブフレーム演算係数50%に基づき、L(7) 539とOrg(7) 541を1:1の割合で加算し、L(6) 531とOrg(6) 534を同様に1:1の割合で加算する。そして、前記各々の演算結果をサブフレームシフト比率40%に基づき、2:3の割合で加算した画像を第1サブフレームとして生成する。同様に第2サブフレーム538は、サブフレーム演算係数50%に基づき、H(7) 540とOrg(7) 541を3:1の割合で加算した画像となる。最終的に542のサブフレーム演算係数100%、543のサブフレームシフト係数0%の状態において、第1サブフレーム544は、1フレーム前の低周波画像L(8) 546となり、第2サブフレーム545は高周波強調画像H(9) 547となる。
【0048】
上記のように、第1サブフレームは、サブフレーム演算係数の増加に伴い低周波画像に遷移しつつ、1フレーム前の低周波画像に置き換わる。第2サブフレームは、サブフレーム演算係数の増加に伴い高周波強調画像に遷移する。このように、サブフレーム生成順の切り替え後に、低周波画像を1フレーム前の低周波画像に置き換えることにより、同時刻フレームにおける高周波強調画像と低周波画像の並びを、切り替え前後で等しくすることができる。これにより、残像方向が逆になるといった動画の見え方の違いを無くすことが可能となる。
【0049】
上記一連の処理方法を図5のフローチャートを用いて説明する。まず、S602において、第1サブフレームに高周波強調画像H(n)が、第2サブフレームに低周波画像L(n)が表示されるモードになる(以降、ドライブモード1と記載する)。ドライブモード1では、サブフレーム演算係数βの値が所定の最大値(例えば100%)に固定される。次に、S603により、上記した第1フレーム群より前の一定のフレーム数mだけ、ドライブモード1が継続される。このドライブモード1が継続される間は、高周波強調画像と低周波画像を交互に表示する擬似インパルス駆動方式となり、動きぼけの改善効果を期待できる。
【0050】
次に、S604において、前記式(2)に示すように、サブフレーム演算係数βに応じて、第1サブフレームの高周波強調画像と、第2サブフレームの低周波画像を段階的に原画像に近づけていく。ここでは、サブフレーム演算係数βを、100%から0%にある割合でフレーム毎に減少させる。サブフレーム演算係数βが0%に遷移後、S605で、第1フレーム群の後半開始位置である第6フレームにおいてサブフレーム生成順序の切り替えを行う。これは第5フレームと同じくサブフレーム演算係数βを0%、サブフレームシフト比率αを100%にしたまま上記式(3)を演算することで実現される。
【0051】
次に、S606において、上記式(3)に示すように、サブフレーム演算係数βに応じて、第1サブフレームの入力画像を低周波画像に、第2サブフレームの入力画像を高周波強調画像に段階的に切り替える。同時に、サブフレームシフト比率αに応じて、第1サブフレームの低周波画像を1フレーム前の低周波画像に段階的に切り替える。ここでは、サブフレーム演算係数βを0%から100%に、ある割合でフレーム毎に増加させ、サブフレームシフト比率αを100%から0%に、ある割合でフレーム毎に減少させる。
【0052】
次に、サブフレーム演算係数βが100%、サブフレームシフト係数αが0%になることで(図4(d)の542、543)、S607において、第1サブフレームに低周波画像L(n-1)が、第2サブフレームに高周波強調画像H(n)が表示される。本実施例ではその後、βの値を100%に固定するとともに、αの値を0%に固定するモードになる(以降、ドライブモード2と記載する)。S608により、第1フレーム群とその後で連続するN個のフレームからなる第2フレーム群との間の一定のフレーム数mだけ、ドライブモード2を継続する。このようにドライブモードを1から2に切替えることにより、すなわち、高周波強調画像と低周波画像の表示順を反転させることにより、イオンの偏りに起因する焼付きを回避する。なお、ドライブモード2が継続される間は、ドライブモード1と同様に、擬似インパルス駆動方式となり、動きぼけの改善効果が期待できる。また、第1フレーム群と第2フレーム群の間の、ドライブモード1または2が継続される期間mに関して、このmが小さいとサブフレーム画像の切替え処理が短い周期で発生することになり、視聴者がこの変化に気付きやすくなる。実験によれば、このmの期間を約1800フレーム(約30秒)の期間とすることで変化に気付き難いことが確認されている。
【0053】
次に、S609において、現在のフレームが第2フレーム群に入り、式(3)に示すように、サブフレーム演算係数βに応じて、第1サブフレームの低周波画像と第2サブフレームの高周波強調画像を、入力画像に段階的に切り替える。同時に、サブフレームシフト比率αに応じて、第1サブフレームの低周波画像を元のフレームの低周波画像に段階的に切り替える。ここでは、サブフレーム演算係数βを100%から0%に、ある割合でフレーム毎に逓減させ、サブフレームシフト比率αを0%から100%に、ある割合でフレーム毎に逓増させる。サブフレーム演算係数βが0%に遷移後、S610においてサブフレーム生成順序の切り替えを行う。
【0054】
次に、S611において、式(2)に示すように、サブフレーム演算係数に応じて、各サブフレームにおける入力画像を、第1サブフレームを高周波強調画像に、第2サブフレームの低周波画像に段階的に切り替える。ここでは、サブフレーム演算係数βを、0%から100%にある割合でフレーム毎に逓増させる。ここでサブフレーム演算係数βが100%になることで、S602に戻りドライブモード1となり、ループ処理が行われる。
【0055】
上述の例では、サブフレーム演算係数βとサブフレームシフト比率αの変化の割合として、図4(d)では、所定の割合で変化させているが、必ずしも図に示す値である必要はない。サブフレーム演算係数に関しては、変化の割合が少ないと、係数の遷移に必要となるフレーム数が増えて、擬似インパルス駆動による動きぼけの改善効果が弱まる期間が多くなるデメリットが生じる。逆に変化の割合が多いと、動きボケ改善効果が弱まる期間が少なくなるが、サブフレーム演算の急激な変化が目立ち、画質の劣化として視認されてしまう。実験によれば、128フレーム(変化の割合は約0.8%)かけてサブフレーム演算係数を遷移(100%から0%、または0%から100%)させることで、係数の変化による画質の劣化が目立たないことが確認されている。
【0056】
また、サブレフ―ムシフト比率に関しては、変化の割合が少ないと、高周波強調画像と低周波画像の並びを元に戻すのに時間がかかり、変化の割合が多いと、急激な変化が目立ち、画質の劣化として視認されてしまう。実験によれば、64フレーム(変化の割合は約1.6%)かけてサブフレームシフト比率を遷移(100%から0%、または0%から100%)させることで、比率の変化による画質の劣化が目立たないことが確認されている。
【0057】
以上より、本実施例によれば、高周波強調画像を弱めてサブフレーム生成順序の切り替えが行われ、低周波画像を切り替えて画像の重心位置が調整される。これにより、擬似インパルス駆動で動画ボケを改善しつつ、焼き付き等の品位低下を防止することができる。
【0058】
(他の実施形態)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。

【特許請求の範囲】
【請求項1】
映像信号をフレーム単位に入力し、1つのフレームにつき2つのサブフレームを生成し、出力する映像処理装置であって、
映像信号をフレーム単位に入力する入力手段と、
入力したフレームの原画像データから、高周波画像データと低周波画像データとを生成し、前記入力手段の入力するフレームレートの2倍の周波数で、前記生成した高周波画像データと低周波画像データとを交互に出力するサブフレーム画像生成手段と、
前記サブフレーム画像生成手段から出力された高周波画像データ及び低周波画像データを記憶する記憶手段と、
前記サブフレーム画像生成手段から出力された高周波画像データと前記記憶手段から読み出した1つ手前のサブフレームの低周波画像データとを第1の合成比率α(0≦α≦1)で合成して得た画像データを第1サブフレームの画像データとして生成するとともに、前記サブフレーム画像生成手段から出力された低周波画像データと高周波画像データとを第2の合成比率1−αで合成して得た画像データを第2サブフレームの画像データとして生成する画像合成手段と、
前記画像合成手段により生成された第1サブフレームの画像に対して、第2サブフレームの画像を極性を反転して出力する極性反転手段と、
を備え、
前記画像合成手段は、
現在のフレームが、連続するN個(Nは2以上の整数)のフレームからなる第1フレーム群にある間、前記αの値をフレーム毎に逓減するように調整し、
現在のフレームが、前記第1フレーム群より後で連続するN個のフレームからなる第2フレーム群にある間、前記αの値をフレーム毎に逓増するように調整する調整手段と、
を含むことを特徴とする映像処理装置。
【請求項2】
前記画像合成手段は、更に、
現在のフレームが、前記第1フレーム群より前のmフレーム(mは1以上の整数)内にある間、前記αの値を所定の最大値に固定し、
現在のフレームが、前記第1フレーム群と前記第2フレーム群との間のmフレーム内にある間、前記αの値を所定の最小値に固定する
ことを特徴とする請求項1に記載の映像処理装置。
【請求項3】
映像信号をフレーム単位に入力し、1つのフレームにつき2つのサブフレームを生成し、出力する映像処理装置であって、
映像信号をフレーム単位に入力する入力手段と、
入力したフレームの原画像データから、高周波画像データと低周波画像データとを生成し、前記入力手段の入力するフレームレートの2倍の周波数で、前記生成した高周波画像データと低周波画像データとを交互に出力するサブフレーム画像生成手段と、
前記サブフレーム画像生成手段で生成された画像データを記憶する記憶手段と、
現在のフレームが、連続するN個(Nは2以上の整数)のフレームからなる第1フレーム群の前半又は前記第1フレーム群より後で連続するN個のフレームからなる第2フレーム群の後半にある場合、前記サブフレーム画像生成手段から出力された高周波画像データと現在のフレームの原画像データとを第1の合成比率β(0≦β≦1)で合成して得た画像データを第1サブフレームの画像データとして生成するとともに、前記サブフレーム画像生成手段から出力された低周波画像データと現在のフレームの原画像データとを前記第1の合成比率βで合成して得た画像データを第2サブフレームの画像データとして生成する第1画像合成手段と、
現在のフレームが、前記第1フレーム群の後半又は前記第2フレーム群の前半にある場合、
前記サブフレーム画像生成手段から出力された低周波画像データと現在のフレームの原画像データとを第1の合成比率βを用いて合成して得た画像データを第1中間画像データとして前記記憶手段に格納し、
現在のフレームの前記第1中間画像データと前記記憶手段から読み出した1フレーム過去の第1中間画像データである第2中間画像データとを第2の合成比率α(0≦α≦1)を用いて合成して得た画像データを第1サブフレームの画像データとして生成するとともに、
前記サブフレーム画像生成手段から出力された高周波画像データと現在のフレームの原画像データとを前記第1の合成比率βを用いて合成して得た画像データを第2サブフレームの画像データとして生成する第2画像合成手段と、
前記第1及び第2画像合成手段により生成された第1サブフレームの画像に対して、第2サブフレームの画像を極性を反転して出力する極性反転手段と、
を備え、
前記第1画像合成手段は、
現在のフレームが前記第1フレーム群の前半にある間、前記βの値をフレーム毎に逓減するように調整し、
現在のフレームが前記第2フレーム群の後半にある間、前記βの値をフレーム毎に逓増するように調整し、
前記第2画像合成手段は、
現在のフレームが前記第1フレーム群の後半にある間、前記βの値をフレーム毎に逓増するように調整するとともに、前記αの値をフレーム毎に逓減するように調整し、
現在のフレームが前記第2フレーム群の前半にある間、前記βの値をフレーム毎に逓減するように調整するとともに、前記αの値をフレーム毎に逓増するように調整する
ことを特徴とする映像処理装置。
【請求項4】
前記第1画像合成手段は、更に、
現在のフレームが、前記第1フレーム群より前のmフレーム(mは1以上の整数)内にある間、前記βの値を所定の最大値に固定し、
前記第2画像合成手段は、更に、
現在のフレームが、前記第1フレーム群と前記第2フレーム群との間のmフレーム内にある間、前記βの値を所定の最大値に固定するとともに、前記αの値を所定の最小値に固定する
ことを特徴とする請求項3に記載の映像処理装置。
【請求項5】
映像信号をフレーム単位に入力し、1つのフレームにつき2つのサブフレームを生成し、出力する映像処理装置によって実行される映像処理方法であって、
入力手段が、映像信号をフレーム単位に入力する入力ステップと、
サブフレーム画像生成手段が、入力したフレームの原画像データから、高周波画像データと低周波画像データとを生成し、前記入力手段の入力するフレームレートの2倍の周波数で、前記生成した高周波画像データと低周波画像データとを交互に出力するサブフレーム画像生成ステップと、
記憶手段が、前記サブフレーム画像生成手段から出力された高周波画像データ及び低周波画像データを記憶する記憶ステップと、
画像合成手段が、前記サブフレーム画像生成手段から出力された高周波画像データと前記記憶手段から読み出した1つ手前のサブフレームの低周波画像データとを第1の合成比率α(0≦α≦1)で合成して得た画像データを第1サブフレームの画像データとして生成するとともに、前記サブフレーム画像生成手段から出力された低周波画像データと高周波画像データとを第2の合成比率1−αで合成して得た画像データを第2サブフレームの画像データとして生成する画像合成ステップと、
極性反転手段が、前記画像合成手段により生成された第1サブフレームの画像に対して、第2サブフレームの画像を極性を反転して出力する極性反転ステップと、
を有し、
前記画像合成ステップは、
現在のフレームが、連続するN個(Nは2以上の整数)のフレームからなる第1フレーム群にある間、前記αの値をフレーム毎に逓減するように調整するステップと、
現在のフレームが、前記第1フレーム群より後で連続するN個のフレームからなる第2フレーム群にある間、前記αの値をフレーム毎に逓増するように調整するステップと、
を含むことを特徴とする映像処理方法。
【請求項6】
映像信号をフレーム単位に入力し、1つのフレームにつき2つのサブフレームを生成し、出力する映像処理装置によって実行される映像処理方法であって、
入力手段が、映像信号をフレーム単位に入力する入力ステップと、
サブフレーム画像生成手段が、入力したフレームの原画像データから、高周波画像データと低周波画像データとを生成し、前記入力手段の入力するフレームレートの2倍の周波数で、前記生成した高周波画像データと低周波画像データとを交互に出力するサブフレーム画像生成ステップと、
記憶手段が、前記サブフレーム画像生成手段から出力された低周波画像データを記憶する記憶ステップと、
第1画像合成手段が、現在のフレームが、連続するN個(Nは2以上の整数)のフレームからなる第1フレーム群の前半又は前記第1フレーム群より後で連続するN個のフレームからなる第2フレーム群の後半にある場合、前記サブフレーム画像生成手段から出力された高周波画像データと現在のフレームの原画像データとを第1の合成比率β(0≦β≦1)で合成して得た画像データを第1サブフレームの画像データとして生成するとともに、前記サブフレーム画像生成手段から出力された低周波画像データと現在のフレームの原画像データとを前記第1の合成比率βで合成して得た画像データを第2サブフレームの画像データとして生成する第1画像合成ステップと、
第2画像合成手段が、
現在のフレームが、前記第1フレーム群の後半又は前記第2フレーム群の前半にある場合、
前記サブフレーム画像生成手段から出力された低周波画像データと現在のフレームの原画像データとを第1の合成比率βを用いて合成して得た画像データを第1中間画像データとして前記記憶手段に格納し、
現在のフレームの前記第1中間画像データと前記記憶手段から読み出した1フレーム過去の第1中間画像データである第2中間画像データとを第2の合成比率α(0≦α≦1)を用いて合成して得た画像データを第1サブフレームの画像データとして生成するとともに、
前記サブフレーム画像生成手段から出力された高周波画像データと現在のフレームの原画像データとを前記第1の合成比率βを用いて合成して得た画像データを第2サブフレームの画像データとして生成する第2画像合成ステップと、
極性反転手段が、前記第1及び第2画像合成手段により生成された第1サブフレームの画像に対して、第2サブフレームの画像を極性を反転して出力する極性反転ステップと、
を有し、
前記第1画像合成ステップは、
現在のフレームが前記第1フレーム群の前半にある間、前記βの値をフレーム毎に逓減するように調整するステップと、
現在のフレームが前記第2フレーム群の後半にある間、前記βの値をフレーム毎に逓増するように調整するステップと、
を含み、
前記第2画像合成ステップは、
現在のフレームが前記第1フレーム群の後半にある間、前記βの値をフレーム毎に逓増するように調整するとともに、前記αの値をフレーム毎に逓減するように調整するステップと、
現在のフレームが前記第2フレーム群の前半にある間、前記βの値をフレーム毎に逓減するように調整するとともに、前記αの値をフレーム毎に逓増するように調整するステップと、
を含むことを特徴とする映像処理方法。
【請求項7】
コンピュータを請求項1乃至4のいずれか1項に記載の映像処理装置が有する各手段として機能させるためのプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate


【公開番号】特開2011−141497(P2011−141497A)
【公開日】平成23年7月21日(2011.7.21)
【国際特許分類】
【出願番号】特願2010−3412(P2010−3412)
【出願日】平成22年1月8日(2010.1.8)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】