画像処理装置、画像処理方法
【課題】 オーバーシュートやゴーストを低減しつつ“動きぼけ”を改善する為の技術を提供すること。
【解決手段】 入力画像遷移方向判別部300は、着目低周波成分画像から1フレーム前の低周波成分画像を減じた場合に階調値が正となる画素から成る正領域、階調値が負となる画素から成る負領域を検出する。補正処理部440は、選択画像内の負領域内で、1つ前のサブフレームにおける画像内の負領域内の階調値よりも大きい部分については、階調値を低減させる。また、補正処理部440は、選択画像内の正領域内で、1つ前のサブフレームにおける画像内の正領域内の階調値よりも小さい部分については、階調値を低減させる。
【解決手段】 入力画像遷移方向判別部300は、着目低周波成分画像から1フレーム前の低周波成分画像を減じた場合に階調値が正となる画素から成る正領域、階調値が負となる画素から成る負領域を検出する。補正処理部440は、選択画像内の負領域内で、1つ前のサブフレームにおける画像内の負領域内の階調値よりも大きい部分については、階調値を低減させる。また、補正処理部440は、選択画像内の正領域内で、1つ前のサブフレームにおける画像内の正領域内の階調値よりも小さい部分については、階調値を低減させる。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、フレームレートを増加させて動画像表示を行う技術に関するものである。
【背景技術】
【0002】
近年、TV受像機やPCモニタを始めとして、画像表示部を備えた様々な装置が実用化されている。これらの画像表示部には、液晶表示装置を始めとして様々なデバイスが使用されている。
【0003】
例えば、液晶表示装置は、常に発光しているバックライトを液晶シャッターで調光する方式を採用しており、1フレーム期間にわたって光が出力され、それ故、ホールド型表示装置と言われる。ホールド型表示装置において動画の追従視(動画表示において、動く部分を視線で追いかける見方)を行った場合、光出力期間に応じた“動きぼけ”が観測される。例えば、60Hzの動画表示では、原理的に最低16.7msの“動きぼけ”が観測される。
【0004】
上記“動きぼけ”の低減技術として、フレームレート60Hzの入力画像を倍のフレームレート120Hzにし、倍速サブフレームの一方について画像の空間的高周波成分を増加し、もう一方は減少して表示する方法が提案されている(特許文献1、2)。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2006−184896号公報
【特許文献2】特開2007−304204号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
上記特許文献1あるいは特許文献2に記載の“動きぼけ”低減技術は、空間的高周波成分の表示時間重心をずらすことにより、画像の輪郭部分の知覚をインパルス型に近付ける技術であり、“動きぼけ”を低減することが出来る。しかしながら、追従視を行った場合、空間的高周波成分を増加した画像と減少した画像との間で、視認される空間的位置がずれてしまう。
【0007】
図11を用いて、ステップ変化画像(以下、単に入力画像と呼称する)が6画素/フレームで左から右へ移動する場合の例について説明する。図11において横軸は画素位置、縦軸は画素値(輝度値)を示す。
【0008】
図11(A)に示す入力画像の空間的高周波成分を増加させた画像B0(高周波成分強調画像)、及び空間的高周波成分を減少させた画像B1(低周波成分画像)を図11(B)に示す。特許文献1あるいは特許文献2に記載の“動きぼけ”低減技術では、入力画像のフレームレートを2倍とし、最初の倍速サブフレームで高周波成分強調画像B0を表示し、次の倍速サブフレームで低周波成分画像B1を表示する。この表示を追従視した場合、画像の移動速度に合わせた視点移動が生じる。図11の例では、1フレーム期間内で視点が6画素右へ移動する。
【0009】
ここで移動している視点を1点に合わせたとすると、最初の倍速サブフレームでは、高周波成分強調画像B0を視認開始から1画素ずつ左へずれた位置で視認される。この視認される画像(視認画像)が、図11(C)に示す視認画像C0〜C2である。次の倍速サブフレームでは、低周波成分画像がさらに1画素ずつずれた位置で視認される。この視認される画像(視認画像)が、図11(C)に示す視認画像C3〜C5である。
【0010】
人間の目では、視認画像C0〜C5を時間積分した輝度として画像を知覚するため、結果として視認される画像は、図11(D)に示す視認画像Dとなる。なお、ステップ変化階調の大小関係が反転した画像を上記入力画像とする場合、人間の目には、視認画像Dを上下反転した画像が視認される。また、空間的高周波成分の増減を行わない通常表示を行った場合の追従視画像Eを図11(E)に示す。
【0011】
視認画像Dと追従視画像Eの比較から、空間的高周波成分の増減を行なうことで階調遷移の幅が約半分となることから“動きぼけ”の低減効果が分かる。しかしながら、画像の移動方向前方にある階調において、高周波成分強調画像に起因するオーバーシュートSが視認される。また、画像の移動方向後方にある階調において、低周波成分画像に起因する階調段差(以降、ゴーストと表現)Gが視認されるという課題がある。
【0012】
本発明は、このような問題に鑑みてなされたものであり、オーバーシュートやゴーストを低減しつつ“動きぼけ”を改善する為の技術を提供すること目的とする。
【課題を解決するための手段】
【0013】
本発明の目的を達成するために、例えば、本発明の画像処理装置は以下の構成を備える。即ち、フレーム毎に入力されるフレーム画像を取得し、該取得したフレーム画像から複数のサブフレームの画像を生成する生成手段と、サブフレーム毎に、該サブフレームの画像の低周波数成分から成る低周波成分画像と、該サブフレームの画像の高周波数成分を強調した高周波成分画像と、を生成する生成手段と、サブフレーム毎に前記高周波成分画像、前記低周波成分画像をこの順で交互に選択する選択手段と、前記選択手段が選択した画像の階調値を補正して出力する出力手段とを備え、前記出力手段は、前記選択手段が着目サブフレームの画像として選択した着目低周波成分画像から、該着目サブフレームが属するフレームよりも1つ過去のフレーム内で前記選択手段が選択した低周波成分画像を減じた場合に階調値が正となる画素から成る前記着目低周波成分画像内の領域を正領域として検出し、階調値が負となる画素から成る前記着目低周波成分画像内の領域を負領域として検出する検出手段と、前記着目サブフレームが属するフレーム内で前記選択手段が選択した選択画像内の前記負領域に対応する領域内で、前記選択手段が該着目サブフレームより1つ過去のサブフレームにおける画像として選択した画像内の前記負領域に対応する領域内の階調値よりも大きい部分については、該部分の階調値を前記負領域に対応する領域内の階調値よりも小さい部分に対して低減させ、前記着目サブフレームが属するフレーム内で前記選択手段が選択した選択画像内の前記正領域に対応する領域内で、前記選択手段が該着目サブフレームより1つ過去のサブフレームにおける画像として選択した画像内の前記正領域に対応する領域内の階調値よりも小さい部分については、該部分の階調値を前記正領域に対応する領域内の階調値よりも大きい部分に対して相対的に低減させる制御手段と、前記制御手段により階調値が制御された前記選択画像を出力する手段とを備えることを特徴とする。
【発明の効果】
【0014】
本発明の構成によれば、オーバーシュートやゴーストを低減しつつ“動きぼけ”を改善することができる。
【図面の簡単な説明】
【0015】
【図1】画像処理装置の機能構成例を示すブロック図。
【図2】各画像の波形を示す図。
【図3】各サブフレームの画像及び視認画像の波形を示す図。
【図4】各サブフレームの画像及び視認画像の波形を示す図。
【図5】画像処理装置が行う処理のフローチャート。
【図6】各サブフレームの画像及び視認画像の波形を示す図。
【図7】各サブフレームの画像及び視認画像の波形を示す図。
【図8】各サブフレームの画像及び視認画像の波形を示す図。
【図9】画像処理装置の機能構成例を示すブロック図。
【図10】各画像の関係を示す図。
【図11】各サブフレームの画像及び視認画像の波形を示す図である。
【発明を実施するための形態】
【0016】
以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載の構成の具体的な実施例の1つである。
【0017】
[第1の実施形態]
先ず、本実施形態に係る画像処理装置の機能構成例について、図1のブロック図を用いて説明する。なお、本実施形態では、オーバードライブ回路から供給される階調補正値(以下、単に補正値と呼称する)を制御する画像処理装置について説明するが、本実施形態の本質は、表示フレームに対する階調値制御を行うために供給される補正値を制御するものである。そのため、階調値の供給元については別段、オーバードライブ回路に限定するものではない。
【0018】
先ず、フレームコンバータ100内の各部について説明する。N倍速処理部110は、フレーム毎に入力されるフレーム画像を取得し、取得したフレーム画像から複数(N(N>1)個)のサブフレームの画像Aを生成する。本実施形態ではN=2の場合について説明する。N=2の場合、1つのフレーム画像から2つのサブフレームの画像を生成することになり、これにより、60Hzで入力したフレーム画像を120Hzで出力することができる。なお、Nが2より大きい数である場合に、その数に合わせて本実施形態を適用させることは、当業者であれば容易である。
【0019】
LPF(ローパスフィルタ)120は、N倍速処理部110から順次出力されるサブフレームの画像Aから、所定の定数で示される上限空間周波数をカットオフ(濾波)することで、この画像Aの低周波数成分から成る低周波成分画像Lを生成する。なお、ここで言うカットオフ周波数は画素数として考えることが出来る。
【0020】
減算器130は、サブフレームの画像Aから、LPF120で生成される低周波成分画像Lを差し引くことで(H=A−L)、その差分画像である高周波成分画像Hを生成する。
【0021】
乗算器150は、高周波成分画像Hを、いくつのサブフレームに局在して重畳するのかを決定するものであり、高周波成分画像Hに対して(N−a)/a倍の演算を行う。ここで、aは、高周波成分画像Hを局在させるサブフレーム数を示す。
【0022】
加算器140は、乗算器150で(N−a)/a倍に変倍された高周波成分画像Hと、サブフレームの画像Aとを加算(SH=A+{(N−a)/a}H=L+(N/a)H)し、サブフレームの画像Aの高周波数成分を強調した画像SHを生成する。本実施形態では、N=2、a=1なので、SH=L+2Hとなる。
【0023】
即ち、本実施形態では、1つのサブフレーム画像から、このサブフレーム画像の低周波数成分から成る低周波数画像Lと、このサブフレーム画像の高周波数成分を強調した高周波数画像SHと、を生成する。そしてこの生成処理をサブフレーム毎に行うので、サブフレーム毎に、このサブフレームの画像の低周波数成分から成る低周波成分画像Lと、このサブフレーム画像の高周波数成分を強調した高周波成分画像SHと、を生成することになる。
【0024】
セレクタ160は、LPF120で生成した低周波成分画像L、加算器140で生成した高周波成分画像SH、をサブフレーム単位で所定の順となるように切り替えて出力する。本実施形態では、1つのフレームから生成したサブフレーム列を出力する場合、最初のサブフレームでは高周波成分画像SHを出力し、次のサブフレームでは低周波成分画像Lを出力する。即ち、最初のフレームからサブフレーム1,2(表示順)を生成した場合、サブフレーム1については高周波成分画像SHを出力し、サブフレーム2については低周波成分画像Lを出力する。そして次のフレームからサブフレーム3,4(表示順)を生成した場合、サブフレーム3については高周波成分画像SHを出力し、サブフレーム4については低周波成分画像Lを出力する。このように、以降のフレームについても同様に出力処理を行うことで、高周波成分画像SH、低周波成分画像Lが交互に出力されることになる。なお、1つのフレームから3つ以上のサブフレームを生成した場合でも同様に、高周波成分画像SH、低周波成分画像Lを交互に出力する。
【0025】
また、フレームコンバータ100外に設けられているフレームメモリ200には、セレクタ160で出力対象として選択される低周波成分画像Lが格納される。もちろん、このフレームメモリ200は、フレームコンバータ100内に設けても良い。
【0026】
本実施形態では、フレームコンバータ100からは、1フレームの期間内に1つの高周波成分画像SHと1つの低周波成分画像Lとが出力される。本実施形態では、現フレームで出力する低周波成分画像Lと、現フレームよりも1つ前(過去)のフレームで出力した低周波成分画像Lと、を比較することで、現フレームにおける階調の遷移方向を判定する。この判定処理は、入力画像遷移方向判別部300が行う。
【0027】
入力画像遷移方向判別部300には、現フレームFで出力するものとしてLPF120が生成した低周波成分画像Lが入力される。更に、入力画像遷移方向判別部300には、フレームメモリ200に格納されている「フレーム(F−1)で出力するものとしてLPF120が生成した低周波成分画像(L−1)」、が入力される。
【0028】
フレーム画像間における階調遷移方向の判別として、フレーム画像同士の比較、高周波成分画像同士の比較、低周波成分画像同士の差分比較が考えられる。フレーム画像同士の比較では、図2の(A0)〜(A2)に示すように、画像の移動画素分についての差分が得られる。しかしながら、必要となる遷移方向の判別範囲は、フレーム画像の遷移に関わる高周波成分画像SHと低周波成分画像Lが変化する画素範囲である。そのため、フレーム画像同士の比較では、所望の判別結果が得られない。また、高周波成分画像同士の比較では、(B0)〜(B2)で示すように高周波成分が生成されるフィルタ範囲と画素の移動分についての差分が得られる。しかしながら、この範囲における差分はプラスとマイナスの両方の値を取るため、一意的に遷移方向を判別することが出来ない。
【0029】
一方、低周波成分画像同士の比較では、(C0)〜(C2)に示すように低周波成分が生成されるフィルタ範囲と画像の移動分についての差分が得られる。この範囲における差分値はマイナス(立ち上がり遷移ではプラス)の値となり、一意的に遷移方向を判別することが出来る。つまり、図2の例で差分がマイナスとなる画素は、フレーム画像間で立下り遷移に関わると判別することが出来る。一方、差分がプラスとなる画素は、フレーム画像間で立ち上がり遷移に関わると判別することが出来る。ここで、フレーム画像間での遷移方向を判別する為に用いる画像は、LPF120のフィルタサイズと同じサイズの低周波成分画像であることが重要である。
【0030】
然るに本実施形態では入力画像遷移方向判別部300は、低周波成分画像Lから低周波成分画像(L−1)を減じた場合に階調値が正の画素から成る低周波成分画像L内の領域を検出した場合、この領域の階調遷移の方向として立ち上がりを検出したことになる。一方、階調値が負となる画素から成る低周波成分画像L内の領域を検出した場合、この領域の階調遷移の方向として立ち下りを検出したことになる。このように、低周波成分画像同士の差分から、フレーム画像間における階調遷移の方向を検出することができる。
【0031】
なお、本実施形態では、LPF120から出力される低周波成分画像を用いて上記の遷移方向判別を行うものとしているが、この構成以外の構成を採用することもできる。例えば、N倍速処理部110の入力前でLPF120と同等の処理を伴って判別する構成を採用しても良い。
【0032】
次に、表示階調補正部400を構成する各部について説明する。セレクタ160から送出されたサブフレームの画像(高周波成分画像SHと低周波成分画像Lとが交互に送出される)は、フレームメモリ410、補正値決定部420、倍速画像遷移方向判別部500、補正処理部440、に送出される。
【0033】
補正値決定部420は、セレクタ160から送出された現サブフレームSFの画像と、フレームメモリ410から読み出したサブフレーム(SF−1)の画像と、を用いて、現サブフレームSFの画像の階調補正値を決定する。例えば、補正値決定部420がオーバードライブ回路等である、若しくは補正値決定部420にオーバードライブ回路が接続されているとする。この場合、補正値決定部420は、このオーバードライブ回路がこれら2つの隣接するサブフレームの画像を用いて決定した階調補正値を採用する。オーバードライブ回路が、隣接する2つのフレーム画像のそれぞれの画素値の組み合わせから、対応する階調補正値を決定するための技術については周知のものであるため、これについての説明は省略する。
【0034】
倍速画像遷移方向判別部500は、現サブフレームSFの画像の階調値と、サブフレーム(SF−1)の画像の階調値と、の大小比較を行う。これにより、前後サブフレーム間での階調遷移方向を判別する。
【0035】
補正値制御部430は、倍速画像遷移方向判別部500及び入力画像遷移方向判別部300による判別の結果を用いて、補正値決定部420で決定した補正値を増減させ、この補正値を確定させる。
【0036】
補正処理部440は、現サブフレームSFの画像の階調値を、補正値制御部430により確定した補正値を用いて補正する。そしてこの補正が完了すると、補正処理部440は、この補正したサブフレームの画像を出力する。
【0037】
次に、表示階調補正部400の動作について、図3,4に示した具体例を用いて説明する。図3では、フレーム単位で、画像の内容が左から右に6画素ずつ移動している。図3(a)には、サブフレーム画像の波形が表示順に上から下に列挙されている。横軸は画素位置、縦軸は階調値を示す。
【0038】
フレーム(F−1)内で2番目に出力する低周波成分画像(L−1)(前入力フレームの第二サブフレーム表示画像)の次は、フレームF内で1番目に出力する高周波成分画像SH(現入力フレームの第一サブフレーム表示画像)が表示される。図3(a)の中段において実線は現入力フレームの第一サブフレーム表示画像の波形を示し、点線は前入力フレームの第二サブフレーム表示画像の波形を示している。
【0039】
フレームF内で1番目に出力する高周波成分画像SHの次は、フレームF内で2番目に出力する低周波成分画像L(現入力フレームの第二サブフレーム表示画像)が表示される。図3(a)の下段において実線は現入力フレームの第二サブフレーム表示画像の波形を示し、点線は現入力フレームの第一サブフレーム表示画像の波形を示している。
【0040】
これら3つのサブフレーム画像が順次表示された場合の、追従視における視認画像を図3(b)に示す。この視認画像には、オーバーシュートSとゴーストGが生じていることが分かる。
【0041】
図3の場合、入力画像遷移方向判別部300は、現入力フレームの第二サブフレーム表示画像から前入力フレームの第二サブフレーム表示画像を減じた場合に、階調値が負となる画素から成る負領域を検出する。この負領域は、画素位置390から画素位置391の間の領域である。負領域が検出されたということは、前入力フレームから現入力フレームへの遷移方向は立下り遷移であることになる。
【0042】
また、図3の場合、倍速画像遷移方向判別部500は、この負領域内で、現入力フレームの第一サブフレーム表示画像と、前入力フレームの第二サブフレーム表示画像とを比較する。その結果、負領域のハッチング部aでは現入力フレームの第一サブフレーム表示画像の方が前入力フレームの第二サブフレーム表示画像よりも階調値が大きく、この部分においては立ち上がり遷移である。一方、負領域のハッチング部bでは現入力フレームの第一サブフレーム表示画像の方が前入力フレームの第二サブフレーム表示画像よりも階調値が小さく、この部分においては立下り遷移である。
【0043】
次に、倍速画像遷移方向判別部500は、この負領域内で、現入力フレームの第二サブフレーム表示画像と、現入力フレームの第一サブフレーム表示画像とを比較する。その結果、負領域のハッチング部cでは現入力フレームの第二サブフレーム表示画像の方が現入力フレームの第一サブフレーム表示画像よりも階調値が小さく、この部分においては立ち下り遷移である。一方、負領域のハッチング部dでは現入力フレームの第二サブフレーム表示画像の方が現入力フレームの第一サブフレーム表示画像よりも階調値が大きく、この部分においては立上がり遷移である。
【0044】
ここで、視認画像におけるオーバーシュートSは図3(b)に示す如く、立ち上がり遷移aと立下り遷移cの追従視で視認されるものであり、ゴーストGは立下り遷移bと立ち上がり遷移dの追従視で視認されるものである。従って、これらの視認を軽減するためには、(aの立ち上がり遷移)<(cの立下り遷移)、(bの立下り遷移)>(dの立ち上がり遷移)として遷移幅を制御することで達成出来る。つまり、入力フレーム画像の立下り遷移に関わるサブフレームでは(立下り遷移)>(立ち上がり遷移)となるように階調補正を行う。
【0045】
例えば、入力画像遷移方向判別部300及び倍速画像遷移方向判別部500により、サブフレームSFの画像内の負領域内で、サブフレーム(SF−1)の画像内の負領域内よりも大きい階調値を有する部分(図3(a)ではa、d)を検出したとする。この場合、補正値制御部430は、サブフレームSFの画像内のこの検出した部分の階調値に対する補正量を低減させる。
【0046】
そして、この低減された補正量を用いて、対応する部分の階調補正を行うことで、オーバーシュートSとゴーストGを低階調側へ引き寄せる効果が得ることができ、これにより、オーバーシュートSとゴーストGを低減することができる。
【0047】
図4では、フレーム単位で、画像の内容が左から右に6画素ずつ移動している。図4(a)には、サブフレーム画像の波形が表示順に上から下に列挙されている。横軸は画素位置、縦軸は階調値を示す。
【0048】
フレーム(F−1)内で2番目に出力する低周波成分画像(L−1)(前入力フレームの第二サブフレーム表示画像)の次は、フレームF内で1番目に出力する高周波成分画像SH(現入力フレームの第一サブフレーム表示画像)が表示される。図4(a)の中段において実線は現入力フレームの第一サブフレーム表示画像の波形を示し、点線は前入力フレームの第二サブフレーム表示画像の波形を示している。
【0049】
フレームF内で1番目に出力する高周波成分画像SHの次は、フレームF内で2番目に出力する低周波成分画像L(現入力フレームの第二サブフレーム表示画像)が表示される。図4(a)の下段において実線は現入力フレームの第二サブフレーム表示画像の波形を示し、点線は現入力フレームの第一サブフレーム表示画像の波形を示している。
【0050】
これら3つのサブフレーム画像が順次表示された場合の、追従視における視認画像を図4(b)に示す。この視認画像には、オーバーシュートSとゴーストGが生じていることが分かる。
【0051】
図4の場合、入力画像遷移方向判別部300は、現入力フレームの第二サブフレーム表示画像から前入力フレームの第二サブフレーム表示画像を減じた場合に、階調値が正となる画素から成る正領域を検出する。この正領域は、画素位置490から画素位置491の間の領域である。正領域が検出されたということは、前入力フレームから現入力フレームへの遷移方向は立上がり遷移であることになる。
【0052】
また、図4の場合、倍速画像遷移方向判別部500は、この正領域内で、現入力フレームの第一サブフレーム表示画像と、前入力フレームの第二サブフレーム表示画像とを比較する。その結果、正領域のハッチング部bでは現入力フレームの第一サブフレーム表示画像の方が前入力フレームの第二サブフレーム表示画像よりも階調値が大きく、この部分においては立ち上がり遷移である。一方、正領域のハッチング部aでは現入力フレームの第一サブフレーム表示画像の方が前入力フレームの第二サブフレーム表示画像よりも階調値が小さく、この部分においては立下り遷移である。
【0053】
次に、倍速画像遷移方向判別部500は、この正領域内で、現入力フレームの第二サブフレーム表示画像と、現入力フレームの第一サブフレーム表示画像とを比較する。その結果、正領域のハッチング部dでは現入力フレームの第二サブフレーム表示画像の方が現入力フレームの第一サブフレーム表示画像よりも階調値が小さく、この部分においては立ち下り遷移である。一方、正領域のハッチング部cでは現入力フレームの第二サブフレーム表示画像の方が現入力フレームの第一サブフレーム表示画像よりも階調値が大きく、この部分においては立上がり遷移である。
【0054】
ここで、視認画像におけるオーバーシュートSは図4(b)に示す如く、立ち上がり遷移cと立下り遷移aの追従視で視認されるものであり、ゴーストGは立下り遷移dと立ち上がり遷移bの追従視で視認されるものである。従って、これらの視認を軽減するためには、(aの立ち下り遷移)<(cの立上がり遷移)、(bの立上がり遷移)>(dの立ち下り遷移)として遷移幅を制御することで達成出来る。つまり、入力フレーム画像の立上がり遷移に関わるサブフレームでは(立下り遷移)<(立ち上がり遷移)となるように階調補正を行う。
【0055】
例えば、入力画像遷移方向判別部300及び倍速画像遷移方向判別部500により、サブフレームSFの画像内の正領域内で、サブフレーム(SF−1)の画像内の正領域内よりも小さい階調値を有する部分(図3(a)ではa、d)を検出したとする。この場合、補正値制御部430は、サブフレームSFの画像内のこの検出した部分の階調値に対する補正量を低減させる。
【0056】
そして、この低減された補正量を用いて、対応する部分の階調補正を行うことで、オーバーシュートSとゴーストGを低階調側へ引き寄せる効果が得ることができ、これにより、オーバーシュートSとゴーストGを低減することができる。
【0057】
液晶表示装置では、液晶の応答速度が遅いため、オーバードライブ補正を行うことで適正な階調表示を行う。従って、液晶表示装置における上記階調補正は、オーバードライブ回路による補正値の増減を上記のように制御することで実現させる。
【0058】
なお、図3の例においては負領域における立ち上がり遷移の補正量を低減し、図4の例においては正領域における立ち下がり遷移の補正量を低減すると説明した。しかしながら、これに限定するものではなく、図3の例において負領域における立下り遷移の補正量を増加し、図4の例において正領域における立ち上がり遷移の補正量を増加しても良い。
【0059】
次に、上記の画像処理装置を液晶表示装置における階調制御装置として適用した場合に、この画像処理装置が行う処理について、同処理のフローチャートを示す図5を用いて説明する。なお、図5のフローチャートは、1つのフレームについての処理を示すものであるので、実際には、各フレームについて、図5のフローチャートに従った処理を行うことになる。
【0060】
ステップS101では先ず、N倍速処理部110は、入力されたフレームFのフレーム画像から2つのサブフレームの画像を生成する。次に、それぞれのサブフレームの画像について、LPF(ローパスフィルタ)120は低周波成分画像Lを生成し、減算器130、乗算器150、加算器140により高周波成分画像SHを生成する。
【0061】
ステップS102で入力画像遷移方向判別部300は、フレームメモリ200に格納されている「フレーム(F−1)において出力する低周波成分画像(L−1)」を読み出す。
【0062】
ステップS103で入力画像遷移方向判別部300は、低周波成分画像Lから低周波成分画像(L−1)を減じた場合に階調値が正となる画素から成る領域を低周波成分画像Lから検出した場合には、この領域に対して「立ち上がり遷移」と判断する。一方、階調値が負となる画素から成る領域を低周波成分画像Lから検出した場合には、この領域に対して「立ち下り遷移」と判断する。「立ち下り遷移」と判断した場合には処理はステップS107に進み、「立ち上がり遷移」と判断した場合には処理はステップS104に進む。
【0063】
ステップS107で倍速画像遷移方向判別部500は、現サブフレームSFの画像内の負領域内の階調値と、サブフレーム(SF−1)の画像内の負領域内の階調値と、の大小比較を行う。そして、現サブフレームSFの画像内の負領域内で、サブフレーム(SF−1)の画像内の負領域内の階調値よりも大きい階調値を有する部分を検出した場合には「立ち上がり遷移」と判断し、処理はステップS108に進む。一方、現サブフレームSFの画像内の負領域内で、サブフレーム(SF−1)の画像内の負領域内の階調値よりも小さい階調値を有する部分を検出した場合には「立ち下り遷移」と判断し、処理はステップS109に進む。
【0064】
ステップS108で補正値制御部430は、「現サブフレームSFの画像内の負領域内で、サブフレーム(SF−1)の画像内の負領域内の階調値よりも大きい階調値を有する部分」について補正値決定部420が決定した補正値を低減させる。もちろん、補正値を0にしても良い。
【0065】
ステップS109で補正値制御部430は、「現サブフレームSFの画像内の負領域内で、サブフレーム(SF−1)の画像内の負領域内の階調値よりも小さい階調値を有する部分」について補正値決定部420が決定した補正値を増加させる。
【0066】
一方、ステップS104で倍速画像遷移方向判別部500は、現サブフレームSFの画像内の正領域内の階調値と、サブフレーム(SF−1)の画像内の正領域内の階調値と、の大小比較を行う。そして、現サブフレームSFの画像内の正領域内で、サブフレーム(SF−1)の画像内の正領域内の階調値よりも大きい階調値を有する部分を検出した場合には「立ち上がり遷移」と判断し、処理はステップS105に進む。一方、現サブフレームSFの画像内の正領域内で、サブフレーム(SF−1)の画像内の正領域内の階調値よりも小さい階調値を有する部分を検出した場合には「立ち下り遷移」と判断し、処理はステップS106に進む。
【0067】
ステップS106で補正値制御部430は、「現サブフレームSFの画像内の正領域内で、サブフレーム(SF−1)の画像内の正領域内の階調値よりも小さい階調値を有する部分」について補正値決定部420が決定した補正値を低減させる。もちろん、補正値を0にしても良い。
【0068】
ステップS105で補正値制御部430は、「現サブフレームSFの画像内の正領域内で、サブフレーム(SF−1)の画像内の正領域内の階調値よりも大きい階調値を有する部分」について補正値決定部420が決定した補正値を増加させる。
【0069】
そして以降では、補正処理部440は、現サブフレームSFの画像において正領域に対しては、この正領域に対して確定した補正値を用いて階調補正を行い、負領域に対しては、この負領域に対して確定した補正値を用いて階調補正を行う。そしてこの補正が完了すると、補正処理部440は、この補正したサブフレームの画像を出力する。
【0070】
以上の説明により、本実施形態によれば、前の入力フレームについて生成した低周波成分画像と現フレームについて生成した低周波成分画像との差分から、現フレームにおける階調遷移方向を判別することが出来る。そしてこの判別した階調遷移方向に応じて、サブフレームにおける階調遷移の階調補正を行う。
【0071】
即ち、本実施形態の要点は、次の通りである。フレーム毎に入力されるフレーム画像を取得し、取得したフレーム画像から複数のサブフレームの画像を生成する。そして、サブフレーム毎に、サブフレームの画像の低周波数成分から成る低周波成分画像、サブフレームの画像の高周波数成分を強調した高周波成分画像、を生成する。そして、高周波成分画像、低周波成分画像の選択順に、サブフレーム毎に高周波成分画像、低周波成分画像を交互に選択し、選択した画像の階調値を補正して出力する。この出力の際には、以下の動作を行う。
【0072】
先ず、着目サブフレームSFの着目低周波成分画像から、着目サブフレームSFが属するフレームFから1フレーム前のフレーム(F−1))内で選択された低周波成分画像を減じた場合に階調値が正の画素から成る着目低周波成分画像内の領域を検出する。同様に、階調値が負となる画素から成る着目低周波成分画像内の領域を検出する。そして、フレームF内で選択された選択画像内の負領域に対応する領域内で、サブフレーム(SF−1)の画像として選択された画像内の負領域に対応する領域内の階調値より大きい部分については、次のような処理を行う。即ち、この部分の階調値を負領域に対応する領域内の階調値よりも小さい部分に対して低減させる。一方、フレームF内で選択された選択画像内の正領域に対応する領域内で、サブフレーム(SF−1)の画像として選択された画像内の正領域に対応する領域内の階調値よりも小さい部分については、次のような処理を行う。即ち、この部分の階調値を正領域に対応する領域内の階調値よりも大きい部分に対して相対的に低減させる。そして、階調値が制御された選択画像を出力する。これにより、オーバーシュートとゴーストを低減しつつ“動きぼけ”を改善することができる。
【0073】
[第2の実施形態]
第1の実施形態では1つのフレーム内で、最初に高周波成分画像を出力し、次に低周波成分画像を出力するようにした。本実施形態では先に低周波成分画像を出力し、次に高周波成分画像を出力する。以下に、第1の実施形態と異なる部分についてのみ説明する。
【0074】
図6では、フレーム単位で、画像の内容が左から右に6画素ずつ移動している。図6(a)には、サブフレーム画像の波形が表示順に上から下に列挙されている。横軸は画素位置、縦軸は階調値を示す。
【0075】
フレーム(F−1)内で2番目に出力する高周波成分画像(SH−1)(前入力フレームの第二サブフレーム表示画像)の次は、フレームF内で1番目に出力する低周波成分画像L(現入力フレームの第一サブフレーム表示画像)が表示される。図6(a)の中段において実線は現入力フレームの第一サブフレーム表示画像の波形を示し、点線は前入力フレームの第二サブフレーム表示画像の波形を示している。
【0076】
フレームF内で1番目に出力する低周波成分画像Lの次は、フレームF内で2番目に出力する高周波成分画像SH(現入力フレームの第二サブフレーム表示画像)が表示される。図6(a)の下段において実線は現入力フレームの第二サブフレーム表示画像の波形を示し、点線は現入力フレームの第一サブフレーム表示画像の波形を示している。
【0077】
これら3つのサブフレーム画像が順次表示された場合の、追従視における視認画像を図6(b)に示す。この視認画像におけるオーバーシュートSとゴーストGの見え方が第1の実施形態とは異なっていることが分かる。
【0078】
図6の場合、入力画像遷移方向判別部300は、現入力フレームの第一サブフレーム表示画像から前入力フレームの第一サブフレーム表示画像(不図示)を減じた場合に、階調値が負となる画素から成る負領域を検出する。負領域が検出されたということは、前入力フレームから現入力フレームへの遷移方向は立下り遷移であることになる。
【0079】
また、図6の場合、倍速画像遷移方向判別部500は、この負領域内で、現入力フレームの第一サブフレーム表示画像と、前入力フレームの第二サブフレーム表示画像とを比較する。その結果、負領域内のハッチング部aでは現入力フレームの第一サブフレーム表示画像の方が前入力フレームの第二サブフレーム表示画像よりも階調値が小さく、この部分においては立ち下り遷移である。一方、負領域内のハッチング部bでは現入力フレームの第一サブフレーム表示画像の方が前入力フレームの第二サブフレーム表示画像よりも階調値が大きく、この部分においては立上がり遷移である。
【0080】
次に、倍速画像遷移方向判別部500は、この負領域内で、現入力フレームの第二サブフレーム表示画像と、現入力フレームの第一サブフレーム表示画像とを比較する。その結果、負領域内のハッチング部cでは現入力フレームの第二サブフレーム表示画像の方が現入力フレームの第一サブフレーム表示画像よりも階調値が大きく、この部分においては立ち上がり遷移である。一方、負領域内のハッチング部dでは現入力フレームの第二サブフレーム表示画像の方が現入力フレームの第一サブフレーム表示画像よりも階調値が小さく、この部分においては立下り遷移である。
【0081】
ここで、視認画像におけるゴーストGは図6(b)に示す如く、立ち上がり遷移cと立下り遷移aの追従視で視認されるものであり、オーバーシュートSは立下り遷移dと立ち上がり遷移bの追従視で視認されるものである。従って、これらの視認を軽減するためには、(aの立ち下り遷移)<(cの立上がり遷移)、(bの立上がり遷移)>(dの立ち下り遷移)として遷移幅を制御することで達成出来る。つまり、入力フレーム画像の立下り遷移に関わるサブフレームでは(立下り遷移)<(立ち上がり遷移)となるように階調補正を行う。
【0082】
例えば、入力画像遷移方向判別部300及び倍速画像遷移方向判別部500により、サブフレームSFの画像内の負領域内で、サブフレーム(SF−1)の画像内の負領域内よりも小さい階調値を有する部分(図6(a)ではa、d)を検出したとする。この場合、補正値制御部430は、サブフレームSFの画像内のこの検出した部分の階調値に対する補正量を低減させる。
【0083】
そして、この低減された補正量を用いて、対応する部分の階調補正を行うことで、オーバーシュートSとゴーストGを高階調側へ引き寄せる効果が得ることができ、これにより、オーバーシュートSとゴーストGを低減することができる。
【0084】
図7では、フレーム単位で、画像の内容が左から右に6画素ずつ移動している。図7(a)には、サブフレーム画像の波形が表示順に上から下に列挙されている。横軸は画素位置、縦軸は階調値を示す。
【0085】
フレーム(F−1)内で2番目に出力する高周波成分画像(SH−1)(前入力フレームの第二サブフレーム表示画像)の次は、フレームF内で1番目に出力する低周波成分画像L(現入力フレームの第一サブフレーム表示画像)が表示される。図7(a)の中段において実線は現入力フレームの第一サブフレーム表示画像の波形を示し、点線は前入力フレームの第二サブフレーム表示画像の波形を示している。
【0086】
フレームF内で1番目に出力する低周波成分画像Lの次は、フレームF内で2番目に出力する高周波成分画像SH(現入力フレームの第二サブフレーム表示画像)が表示される。図7(a)の下段において実線は現入力フレームの第二サブフレーム表示画像の波形を示し、点線は現入力フレームの第一サブフレーム表示画像の波形を示している。
【0087】
これら3つのサブフレーム画像が順次表示された場合の、追従視における視認画像を図7(b)に示す。この視認画像におけるオーバーシュートSとゴーストGの見え方が第1の実施形態とは異なっていることが分かる。
【0088】
図7の場合、入力画像遷移方向判別部300は、現入力フレームの第一サブフレーム表示画像から前入力フレームの第一サブフレーム表示画像(不図示)を減じた場合に、階調値が正となる画素から成る正領域を検出する。正領域が検出されたということは、前入力フレームから現入力フレームへの遷移方向は立上がり遷移であることになる。
【0089】
また、図7の場合、倍速画像遷移方向判別部500は、この正領域内で、現入力フレームの第一サブフレーム表示画像と、前入力フレームの第二サブフレーム表示画像とを比較する。その結果、正領域内のハッチング部aでは現入力フレームの第一サブフレーム表示画像の方が前入力フレームの第二サブフレーム表示画像よりも階調値が大きく、この部分においては立ち上がり遷移である。一方、正領域内のハッチング部bでは現入力フレームの第一サブフレーム表示画像の方が前入力フレームの第二サブフレーム表示画像よりも階調値が小さく、この部分においては立下り遷移である。
【0090】
次に、倍速画像遷移方向判別部500は、この正領域内で、現入力フレームの第二サブフレーム表示画像と、現入力フレームの第一サブフレーム表示画像とを比較する。その結果、正領域内のハッチング部cでは現入力フレームの第二サブフレーム表示画像の方が現入力フレームの第一サブフレーム表示画像よりも階調値が小さく、この部分においては立ち下り遷移である。一方、正領域内のハッチング部dでは現入力フレームの第二サブフレーム表示画像の方が現入力フレームの第一サブフレーム表示画像よりも階調値が大きく、この部分においては立上がり遷移である。
【0091】
ここで、視認画像におけるゴーストGは図7(b)に示す如く、立ち上がり遷移aと立下り遷移cの追従視で視認されるものであり、オーバーシュートSは立下り遷移bと立ち上がり遷移dの追従視で視認されるものである。従って、これらの視認を軽減するためには、(aの立ち上がり遷移)<(cの立下り遷移)、(bの立下り遷移)>(dの立ち上がり遷移)として遷移幅を制御することで達成出来る。つまり、入力フレーム画像の立上がり遷移に関わるサブフレームでは(立下り遷移)>(立ち上がり遷移)となるように階調補正を行う。
【0092】
例えば、入力画像遷移方向判別部300及び倍速画像遷移方向判別部500により、サブフレームSFの画像内の正領域内で、サブフレーム(SF−1)の画像内の正領域内よりも大きい階調値を有する部分(図6(a)ではa、d)を検出したとする。この場合、補正値制御部430は、サブフレームSFの画像内のこの検出した部分の階調値に対する補正量を低減させる。
【0093】
そして、この低減された補正量を用いて、対応する部分の階調補正を行うことで、オーバーシュートSとゴーストGを低階調側へ引き寄せる効果が得ることができ、これにより、オーバーシュートSとゴーストGを低減することができる。
【0094】
以上の説明により、本実施形態によれば、フレームコンバータからの出力が低周波成分画像、高周波成分画像の順においても、オーバーシュートとゴーストとを低減しつつ“動きぼけ”を改善することができる。
【0095】
[第3の実施形態]
第1,2の実施形態では、フレームコンバータ100において、60Hzで入力されるフレームを2つのサブサブフレームに分割し(N=2)、120Hzの画像に変換して出力する場合について説明した。本実施形態ではN=3とし、1つのフレームから生成された3つのサブフレームを順次出力する。この場合、最初のサブフレームではこのサブフレームから生成された低周波成分画像を出力し、次のサブフレームではこのサブフレームから生成された高周波成分画像を出力し、最後のサブフレームではこのサブフレームから生成された低周波成分画像を出力する。以下に、第1の実施形態と異なる部分についてのみ説明する。
【0096】
図8では、フレーム単位で、画像の内容が左から右に6画素ずつ移動している。図8(a)には、サブフレーム画像の波形が表示順に上から下に列挙されている。横軸は画素位置、縦軸は階調値を示す。
【0097】
フレーム(F−1)内で3番目に出力する低周波成分画像(前入力フレームの第三サブフレーム表示画像)の次は、フレームF内で最初に出力する低周波成分画像(現入力フレームの第一サブフレーム表示画像)が表示される。図8(a)の上から二段目において実線は現入力フレームの第一サブフレーム表示画像の波形を示し、点線は前入力フレームの第三サブフレーム表示画像の波形を示している。
【0098】
フレームF内で2番目には、高周波成分画像(現入力フレームの第二サブフレーム表示画像)が表示される。図8(a)の上から三段目において実線は現入力フレームの第二サブフレーム表示画像の波形を示し、点線は現入力フレームの第一サブフレーム表示画像の波形を示している。
【0099】
フレームF内で3番目には、低周波成分画像(現入力フレームの第三サブフレーム表示画像)が表示される。図8(a)の上から四段目において実線は現入力フレームの第三サブフレーム表示画像の波形を示し、点線は現入力フレームの第二サブフレーム表示画像の波形を示している。
【0100】
これら4つのサブフレーム画像が順次表示された場合の、追従視における視認画像を図8(b)に示す。図8(b)に示す如く、視認画像には、追従視におけるオーバーシュートは見えず、ゴーストG0,G1が見える。
【0101】
図8(a)において、前入力フレームの第三サブフレーム表示画像から現入力フレームの第一サブフレーム表示画像へは、ハッチング部aにおいては、遷移方向は立下り遷移である。また、現入力フレームの第一サブフレーム表示画像から現入力フレームの第二サブフレーム表示画像へは、ハッチング部bにおいては遷移方向は立上がり遷移であり、ハッチング部cにおいては遷移方向は立ち下り遷移である。また、現入力フレームの第二サブフレーム表示画像から現入力フレームの第三サブフレーム表示画像へは、ハッチング部eにおいては遷移方向は立上がり遷移であり、ハッチング部dにおいては遷移方向は立ち下り遷移である。
【0102】
ここで、視認画像におけるゴーストG0は立下り遷移aと立ち上がり遷移bの追従視で視認されるものであり、ゴーストG1は立下り遷移cと立上がり遷移eの追従視で視認されるものである。従って、これらの視認を軽減するためには、(aの立下り遷移)<(bの立ち上がり遷移)、(cの立下り遷移)>(eの立ち上がり遷移)として遷移幅を制御することで達成出来る。
【0103】
ところで、本実施形態では、フレーム画像の立下り遷移に関して、サブフレームの立ち上がり遷移を強くする場合と、立下り遷移を強くする場合とが混在する。この場合分けとして、フレームコンバータ100からの出力画像の種類を判断に用いる。つまり、前のサブフレームで低周波成分画像を表示していた場合は、(立下り遷移)<(立ち上がり遷移)となるように階調補正を行う。また、前のサブフレームで高周波成分画像を表示していた場合は、(立下り遷移)>(立ち上がり遷移)となるように階調補正を行う。
【0104】
この補正により、ゴーストG0を高階調側へ引き上げ、ゴーストG1を低階調側へ引き下げる効果が得ることができ、結果としてゴーストG0、G1を低減することができる。なお、フレームコンバータ100からの出力画像の種類の判断は、フレームコンバータ100からの出力信号にフラグとして情報を持たせるといった方法が考えられる。
【0105】
以上の説明により、本実施形態によれば、フレームコンバータからの出力画像の種類と、フレーム画像の階調遷移の方向に応じて、サブフレームの階調遷移における階調補正の方法を切り替えることができる。これにより、3倍速表示とした場合でも、ゴーストを低減しつつ“動きぼけ”を改善することができる。
【0106】
[第4の実施形態]
本実施形態に係る画像処理装置の機能構成例について、図9のブロック図を用いて説明する。図9に示した構成は、図1に示した構成からフレームメモリ410を省き、代わりにセレクタ210を追加した構成となっており、それ以外については図1と同じである。セレクタ210は、加算器140からの高周波成分画像SHと、フレームメモリ200からの低周波成分画像Lとを交互に切り替えて出力する。
【0107】
フレームコンバータ100が出力する画像、フレームコンバータ100の内部で生成される各画像、フレームメモリ200からの読み出し画像、について図10を用いて説明する。
【0108】
例えば、フレームF1では、フレームコンバータ100内で高周波成分画像H1と低周波成分画像L1とを生成する。そして、最初のサブフレームで高周波成分画像H1を、次のサブフレームで低周波成分画像L1をセレクタ160で切り替えて出力する。フレームF1においてフレームメモリ200からは、前のフレームF0で生成した低周波成分画像L0を読み出す。入力画像遷移方向判別部300は、この読み出した低周波成分画像L0と現在の低周波成分画像L1とから遷移方向を判別する。
【0109】
また、セレクタ210は、フレームF1における最初のサブフレームでは、フレームメモリ200から読み出された低周波成分画像L0を、次のサブフレームではフレームコンバータ100で生成される高周波成分画像H1を選択して出力する。この制御により、補正値決定部420、倍速画像遷移方向判別部500は、フレームF1における最初のサブフレームでは、低周波成分画像L0から高周波成分画像H1への階調遷移に対して、遷移方向判別および補正値の決定を行うことが出来る。また、次のサブフレームでは、高周波成分画像H1から低周波成分画像L1への階調遷移に対して、遷移方向判別および補正値の決定を行うことが出来る。なお、本実施形態において、フレームコンバータ100からの出力は、最初のサブフレームで高周波成分画像、次のサブフレームで低周波成分画像という順である。以上の説明により、本実施形態によれば、単一のフレームメモリを用いた構成で、オーバーシュートとゴーストを低減しつつ“動きぼけ”を改善することができる。
【0110】
[第5の実施形態]
第1乃至4の実施形態で説明した各画像処理は、それぞれの実施形態では、図1,9に示すような構成を有するハードウェアの動作により実現させていた。しかし、各画像処理をCPUに実行させるためのコンピュータプログラムを、このCPUを有するコンピュータ内のメモリにインストールし、このCPUがこのコンピュータプログラムを実行することで、このコンピュータに上記各画像処理を実現させても良い。このようなコンピュータには、一般のパーソナルコンピュータなどが適用可能である。
【0111】
(その他の実施例)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
【技術分野】
【0001】
本発明は、フレームレートを増加させて動画像表示を行う技術に関するものである。
【背景技術】
【0002】
近年、TV受像機やPCモニタを始めとして、画像表示部を備えた様々な装置が実用化されている。これらの画像表示部には、液晶表示装置を始めとして様々なデバイスが使用されている。
【0003】
例えば、液晶表示装置は、常に発光しているバックライトを液晶シャッターで調光する方式を採用しており、1フレーム期間にわたって光が出力され、それ故、ホールド型表示装置と言われる。ホールド型表示装置において動画の追従視(動画表示において、動く部分を視線で追いかける見方)を行った場合、光出力期間に応じた“動きぼけ”が観測される。例えば、60Hzの動画表示では、原理的に最低16.7msの“動きぼけ”が観測される。
【0004】
上記“動きぼけ”の低減技術として、フレームレート60Hzの入力画像を倍のフレームレート120Hzにし、倍速サブフレームの一方について画像の空間的高周波成分を増加し、もう一方は減少して表示する方法が提案されている(特許文献1、2)。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2006−184896号公報
【特許文献2】特開2007−304204号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
上記特許文献1あるいは特許文献2に記載の“動きぼけ”低減技術は、空間的高周波成分の表示時間重心をずらすことにより、画像の輪郭部分の知覚をインパルス型に近付ける技術であり、“動きぼけ”を低減することが出来る。しかしながら、追従視を行った場合、空間的高周波成分を増加した画像と減少した画像との間で、視認される空間的位置がずれてしまう。
【0007】
図11を用いて、ステップ変化画像(以下、単に入力画像と呼称する)が6画素/フレームで左から右へ移動する場合の例について説明する。図11において横軸は画素位置、縦軸は画素値(輝度値)を示す。
【0008】
図11(A)に示す入力画像の空間的高周波成分を増加させた画像B0(高周波成分強調画像)、及び空間的高周波成分を減少させた画像B1(低周波成分画像)を図11(B)に示す。特許文献1あるいは特許文献2に記載の“動きぼけ”低減技術では、入力画像のフレームレートを2倍とし、最初の倍速サブフレームで高周波成分強調画像B0を表示し、次の倍速サブフレームで低周波成分画像B1を表示する。この表示を追従視した場合、画像の移動速度に合わせた視点移動が生じる。図11の例では、1フレーム期間内で視点が6画素右へ移動する。
【0009】
ここで移動している視点を1点に合わせたとすると、最初の倍速サブフレームでは、高周波成分強調画像B0を視認開始から1画素ずつ左へずれた位置で視認される。この視認される画像(視認画像)が、図11(C)に示す視認画像C0〜C2である。次の倍速サブフレームでは、低周波成分画像がさらに1画素ずつずれた位置で視認される。この視認される画像(視認画像)が、図11(C)に示す視認画像C3〜C5である。
【0010】
人間の目では、視認画像C0〜C5を時間積分した輝度として画像を知覚するため、結果として視認される画像は、図11(D)に示す視認画像Dとなる。なお、ステップ変化階調の大小関係が反転した画像を上記入力画像とする場合、人間の目には、視認画像Dを上下反転した画像が視認される。また、空間的高周波成分の増減を行わない通常表示を行った場合の追従視画像Eを図11(E)に示す。
【0011】
視認画像Dと追従視画像Eの比較から、空間的高周波成分の増減を行なうことで階調遷移の幅が約半分となることから“動きぼけ”の低減効果が分かる。しかしながら、画像の移動方向前方にある階調において、高周波成分強調画像に起因するオーバーシュートSが視認される。また、画像の移動方向後方にある階調において、低周波成分画像に起因する階調段差(以降、ゴーストと表現)Gが視認されるという課題がある。
【0012】
本発明は、このような問題に鑑みてなされたものであり、オーバーシュートやゴーストを低減しつつ“動きぼけ”を改善する為の技術を提供すること目的とする。
【課題を解決するための手段】
【0013】
本発明の目的を達成するために、例えば、本発明の画像処理装置は以下の構成を備える。即ち、フレーム毎に入力されるフレーム画像を取得し、該取得したフレーム画像から複数のサブフレームの画像を生成する生成手段と、サブフレーム毎に、該サブフレームの画像の低周波数成分から成る低周波成分画像と、該サブフレームの画像の高周波数成分を強調した高周波成分画像と、を生成する生成手段と、サブフレーム毎に前記高周波成分画像、前記低周波成分画像をこの順で交互に選択する選択手段と、前記選択手段が選択した画像の階調値を補正して出力する出力手段とを備え、前記出力手段は、前記選択手段が着目サブフレームの画像として選択した着目低周波成分画像から、該着目サブフレームが属するフレームよりも1つ過去のフレーム内で前記選択手段が選択した低周波成分画像を減じた場合に階調値が正となる画素から成る前記着目低周波成分画像内の領域を正領域として検出し、階調値が負となる画素から成る前記着目低周波成分画像内の領域を負領域として検出する検出手段と、前記着目サブフレームが属するフレーム内で前記選択手段が選択した選択画像内の前記負領域に対応する領域内で、前記選択手段が該着目サブフレームより1つ過去のサブフレームにおける画像として選択した画像内の前記負領域に対応する領域内の階調値よりも大きい部分については、該部分の階調値を前記負領域に対応する領域内の階調値よりも小さい部分に対して低減させ、前記着目サブフレームが属するフレーム内で前記選択手段が選択した選択画像内の前記正領域に対応する領域内で、前記選択手段が該着目サブフレームより1つ過去のサブフレームにおける画像として選択した画像内の前記正領域に対応する領域内の階調値よりも小さい部分については、該部分の階調値を前記正領域に対応する領域内の階調値よりも大きい部分に対して相対的に低減させる制御手段と、前記制御手段により階調値が制御された前記選択画像を出力する手段とを備えることを特徴とする。
【発明の効果】
【0014】
本発明の構成によれば、オーバーシュートやゴーストを低減しつつ“動きぼけ”を改善することができる。
【図面の簡単な説明】
【0015】
【図1】画像処理装置の機能構成例を示すブロック図。
【図2】各画像の波形を示す図。
【図3】各サブフレームの画像及び視認画像の波形を示す図。
【図4】各サブフレームの画像及び視認画像の波形を示す図。
【図5】画像処理装置が行う処理のフローチャート。
【図6】各サブフレームの画像及び視認画像の波形を示す図。
【図7】各サブフレームの画像及び視認画像の波形を示す図。
【図8】各サブフレームの画像及び視認画像の波形を示す図。
【図9】画像処理装置の機能構成例を示すブロック図。
【図10】各画像の関係を示す図。
【図11】各サブフレームの画像及び視認画像の波形を示す図である。
【発明を実施するための形態】
【0016】
以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載の構成の具体的な実施例の1つである。
【0017】
[第1の実施形態]
先ず、本実施形態に係る画像処理装置の機能構成例について、図1のブロック図を用いて説明する。なお、本実施形態では、オーバードライブ回路から供給される階調補正値(以下、単に補正値と呼称する)を制御する画像処理装置について説明するが、本実施形態の本質は、表示フレームに対する階調値制御を行うために供給される補正値を制御するものである。そのため、階調値の供給元については別段、オーバードライブ回路に限定するものではない。
【0018】
先ず、フレームコンバータ100内の各部について説明する。N倍速処理部110は、フレーム毎に入力されるフレーム画像を取得し、取得したフレーム画像から複数(N(N>1)個)のサブフレームの画像Aを生成する。本実施形態ではN=2の場合について説明する。N=2の場合、1つのフレーム画像から2つのサブフレームの画像を生成することになり、これにより、60Hzで入力したフレーム画像を120Hzで出力することができる。なお、Nが2より大きい数である場合に、その数に合わせて本実施形態を適用させることは、当業者であれば容易である。
【0019】
LPF(ローパスフィルタ)120は、N倍速処理部110から順次出力されるサブフレームの画像Aから、所定の定数で示される上限空間周波数をカットオフ(濾波)することで、この画像Aの低周波数成分から成る低周波成分画像Lを生成する。なお、ここで言うカットオフ周波数は画素数として考えることが出来る。
【0020】
減算器130は、サブフレームの画像Aから、LPF120で生成される低周波成分画像Lを差し引くことで(H=A−L)、その差分画像である高周波成分画像Hを生成する。
【0021】
乗算器150は、高周波成分画像Hを、いくつのサブフレームに局在して重畳するのかを決定するものであり、高周波成分画像Hに対して(N−a)/a倍の演算を行う。ここで、aは、高周波成分画像Hを局在させるサブフレーム数を示す。
【0022】
加算器140は、乗算器150で(N−a)/a倍に変倍された高周波成分画像Hと、サブフレームの画像Aとを加算(SH=A+{(N−a)/a}H=L+(N/a)H)し、サブフレームの画像Aの高周波数成分を強調した画像SHを生成する。本実施形態では、N=2、a=1なので、SH=L+2Hとなる。
【0023】
即ち、本実施形態では、1つのサブフレーム画像から、このサブフレーム画像の低周波数成分から成る低周波数画像Lと、このサブフレーム画像の高周波数成分を強調した高周波数画像SHと、を生成する。そしてこの生成処理をサブフレーム毎に行うので、サブフレーム毎に、このサブフレームの画像の低周波数成分から成る低周波成分画像Lと、このサブフレーム画像の高周波数成分を強調した高周波成分画像SHと、を生成することになる。
【0024】
セレクタ160は、LPF120で生成した低周波成分画像L、加算器140で生成した高周波成分画像SH、をサブフレーム単位で所定の順となるように切り替えて出力する。本実施形態では、1つのフレームから生成したサブフレーム列を出力する場合、最初のサブフレームでは高周波成分画像SHを出力し、次のサブフレームでは低周波成分画像Lを出力する。即ち、最初のフレームからサブフレーム1,2(表示順)を生成した場合、サブフレーム1については高周波成分画像SHを出力し、サブフレーム2については低周波成分画像Lを出力する。そして次のフレームからサブフレーム3,4(表示順)を生成した場合、サブフレーム3については高周波成分画像SHを出力し、サブフレーム4については低周波成分画像Lを出力する。このように、以降のフレームについても同様に出力処理を行うことで、高周波成分画像SH、低周波成分画像Lが交互に出力されることになる。なお、1つのフレームから3つ以上のサブフレームを生成した場合でも同様に、高周波成分画像SH、低周波成分画像Lを交互に出力する。
【0025】
また、フレームコンバータ100外に設けられているフレームメモリ200には、セレクタ160で出力対象として選択される低周波成分画像Lが格納される。もちろん、このフレームメモリ200は、フレームコンバータ100内に設けても良い。
【0026】
本実施形態では、フレームコンバータ100からは、1フレームの期間内に1つの高周波成分画像SHと1つの低周波成分画像Lとが出力される。本実施形態では、現フレームで出力する低周波成分画像Lと、現フレームよりも1つ前(過去)のフレームで出力した低周波成分画像Lと、を比較することで、現フレームにおける階調の遷移方向を判定する。この判定処理は、入力画像遷移方向判別部300が行う。
【0027】
入力画像遷移方向判別部300には、現フレームFで出力するものとしてLPF120が生成した低周波成分画像Lが入力される。更に、入力画像遷移方向判別部300には、フレームメモリ200に格納されている「フレーム(F−1)で出力するものとしてLPF120が生成した低周波成分画像(L−1)」、が入力される。
【0028】
フレーム画像間における階調遷移方向の判別として、フレーム画像同士の比較、高周波成分画像同士の比較、低周波成分画像同士の差分比較が考えられる。フレーム画像同士の比較では、図2の(A0)〜(A2)に示すように、画像の移動画素分についての差分が得られる。しかしながら、必要となる遷移方向の判別範囲は、フレーム画像の遷移に関わる高周波成分画像SHと低周波成分画像Lが変化する画素範囲である。そのため、フレーム画像同士の比較では、所望の判別結果が得られない。また、高周波成分画像同士の比較では、(B0)〜(B2)で示すように高周波成分が生成されるフィルタ範囲と画素の移動分についての差分が得られる。しかしながら、この範囲における差分はプラスとマイナスの両方の値を取るため、一意的に遷移方向を判別することが出来ない。
【0029】
一方、低周波成分画像同士の比較では、(C0)〜(C2)に示すように低周波成分が生成されるフィルタ範囲と画像の移動分についての差分が得られる。この範囲における差分値はマイナス(立ち上がり遷移ではプラス)の値となり、一意的に遷移方向を判別することが出来る。つまり、図2の例で差分がマイナスとなる画素は、フレーム画像間で立下り遷移に関わると判別することが出来る。一方、差分がプラスとなる画素は、フレーム画像間で立ち上がり遷移に関わると判別することが出来る。ここで、フレーム画像間での遷移方向を判別する為に用いる画像は、LPF120のフィルタサイズと同じサイズの低周波成分画像であることが重要である。
【0030】
然るに本実施形態では入力画像遷移方向判別部300は、低周波成分画像Lから低周波成分画像(L−1)を減じた場合に階調値が正の画素から成る低周波成分画像L内の領域を検出した場合、この領域の階調遷移の方向として立ち上がりを検出したことになる。一方、階調値が負となる画素から成る低周波成分画像L内の領域を検出した場合、この領域の階調遷移の方向として立ち下りを検出したことになる。このように、低周波成分画像同士の差分から、フレーム画像間における階調遷移の方向を検出することができる。
【0031】
なお、本実施形態では、LPF120から出力される低周波成分画像を用いて上記の遷移方向判別を行うものとしているが、この構成以外の構成を採用することもできる。例えば、N倍速処理部110の入力前でLPF120と同等の処理を伴って判別する構成を採用しても良い。
【0032】
次に、表示階調補正部400を構成する各部について説明する。セレクタ160から送出されたサブフレームの画像(高周波成分画像SHと低周波成分画像Lとが交互に送出される)は、フレームメモリ410、補正値決定部420、倍速画像遷移方向判別部500、補正処理部440、に送出される。
【0033】
補正値決定部420は、セレクタ160から送出された現サブフレームSFの画像と、フレームメモリ410から読み出したサブフレーム(SF−1)の画像と、を用いて、現サブフレームSFの画像の階調補正値を決定する。例えば、補正値決定部420がオーバードライブ回路等である、若しくは補正値決定部420にオーバードライブ回路が接続されているとする。この場合、補正値決定部420は、このオーバードライブ回路がこれら2つの隣接するサブフレームの画像を用いて決定した階調補正値を採用する。オーバードライブ回路が、隣接する2つのフレーム画像のそれぞれの画素値の組み合わせから、対応する階調補正値を決定するための技術については周知のものであるため、これについての説明は省略する。
【0034】
倍速画像遷移方向判別部500は、現サブフレームSFの画像の階調値と、サブフレーム(SF−1)の画像の階調値と、の大小比較を行う。これにより、前後サブフレーム間での階調遷移方向を判別する。
【0035】
補正値制御部430は、倍速画像遷移方向判別部500及び入力画像遷移方向判別部300による判別の結果を用いて、補正値決定部420で決定した補正値を増減させ、この補正値を確定させる。
【0036】
補正処理部440は、現サブフレームSFの画像の階調値を、補正値制御部430により確定した補正値を用いて補正する。そしてこの補正が完了すると、補正処理部440は、この補正したサブフレームの画像を出力する。
【0037】
次に、表示階調補正部400の動作について、図3,4に示した具体例を用いて説明する。図3では、フレーム単位で、画像の内容が左から右に6画素ずつ移動している。図3(a)には、サブフレーム画像の波形が表示順に上から下に列挙されている。横軸は画素位置、縦軸は階調値を示す。
【0038】
フレーム(F−1)内で2番目に出力する低周波成分画像(L−1)(前入力フレームの第二サブフレーム表示画像)の次は、フレームF内で1番目に出力する高周波成分画像SH(現入力フレームの第一サブフレーム表示画像)が表示される。図3(a)の中段において実線は現入力フレームの第一サブフレーム表示画像の波形を示し、点線は前入力フレームの第二サブフレーム表示画像の波形を示している。
【0039】
フレームF内で1番目に出力する高周波成分画像SHの次は、フレームF内で2番目に出力する低周波成分画像L(現入力フレームの第二サブフレーム表示画像)が表示される。図3(a)の下段において実線は現入力フレームの第二サブフレーム表示画像の波形を示し、点線は現入力フレームの第一サブフレーム表示画像の波形を示している。
【0040】
これら3つのサブフレーム画像が順次表示された場合の、追従視における視認画像を図3(b)に示す。この視認画像には、オーバーシュートSとゴーストGが生じていることが分かる。
【0041】
図3の場合、入力画像遷移方向判別部300は、現入力フレームの第二サブフレーム表示画像から前入力フレームの第二サブフレーム表示画像を減じた場合に、階調値が負となる画素から成る負領域を検出する。この負領域は、画素位置390から画素位置391の間の領域である。負領域が検出されたということは、前入力フレームから現入力フレームへの遷移方向は立下り遷移であることになる。
【0042】
また、図3の場合、倍速画像遷移方向判別部500は、この負領域内で、現入力フレームの第一サブフレーム表示画像と、前入力フレームの第二サブフレーム表示画像とを比較する。その結果、負領域のハッチング部aでは現入力フレームの第一サブフレーム表示画像の方が前入力フレームの第二サブフレーム表示画像よりも階調値が大きく、この部分においては立ち上がり遷移である。一方、負領域のハッチング部bでは現入力フレームの第一サブフレーム表示画像の方が前入力フレームの第二サブフレーム表示画像よりも階調値が小さく、この部分においては立下り遷移である。
【0043】
次に、倍速画像遷移方向判別部500は、この負領域内で、現入力フレームの第二サブフレーム表示画像と、現入力フレームの第一サブフレーム表示画像とを比較する。その結果、負領域のハッチング部cでは現入力フレームの第二サブフレーム表示画像の方が現入力フレームの第一サブフレーム表示画像よりも階調値が小さく、この部分においては立ち下り遷移である。一方、負領域のハッチング部dでは現入力フレームの第二サブフレーム表示画像の方が現入力フレームの第一サブフレーム表示画像よりも階調値が大きく、この部分においては立上がり遷移である。
【0044】
ここで、視認画像におけるオーバーシュートSは図3(b)に示す如く、立ち上がり遷移aと立下り遷移cの追従視で視認されるものであり、ゴーストGは立下り遷移bと立ち上がり遷移dの追従視で視認されるものである。従って、これらの視認を軽減するためには、(aの立ち上がり遷移)<(cの立下り遷移)、(bの立下り遷移)>(dの立ち上がり遷移)として遷移幅を制御することで達成出来る。つまり、入力フレーム画像の立下り遷移に関わるサブフレームでは(立下り遷移)>(立ち上がり遷移)となるように階調補正を行う。
【0045】
例えば、入力画像遷移方向判別部300及び倍速画像遷移方向判別部500により、サブフレームSFの画像内の負領域内で、サブフレーム(SF−1)の画像内の負領域内よりも大きい階調値を有する部分(図3(a)ではa、d)を検出したとする。この場合、補正値制御部430は、サブフレームSFの画像内のこの検出した部分の階調値に対する補正量を低減させる。
【0046】
そして、この低減された補正量を用いて、対応する部分の階調補正を行うことで、オーバーシュートSとゴーストGを低階調側へ引き寄せる効果が得ることができ、これにより、オーバーシュートSとゴーストGを低減することができる。
【0047】
図4では、フレーム単位で、画像の内容が左から右に6画素ずつ移動している。図4(a)には、サブフレーム画像の波形が表示順に上から下に列挙されている。横軸は画素位置、縦軸は階調値を示す。
【0048】
フレーム(F−1)内で2番目に出力する低周波成分画像(L−1)(前入力フレームの第二サブフレーム表示画像)の次は、フレームF内で1番目に出力する高周波成分画像SH(現入力フレームの第一サブフレーム表示画像)が表示される。図4(a)の中段において実線は現入力フレームの第一サブフレーム表示画像の波形を示し、点線は前入力フレームの第二サブフレーム表示画像の波形を示している。
【0049】
フレームF内で1番目に出力する高周波成分画像SHの次は、フレームF内で2番目に出力する低周波成分画像L(現入力フレームの第二サブフレーム表示画像)が表示される。図4(a)の下段において実線は現入力フレームの第二サブフレーム表示画像の波形を示し、点線は現入力フレームの第一サブフレーム表示画像の波形を示している。
【0050】
これら3つのサブフレーム画像が順次表示された場合の、追従視における視認画像を図4(b)に示す。この視認画像には、オーバーシュートSとゴーストGが生じていることが分かる。
【0051】
図4の場合、入力画像遷移方向判別部300は、現入力フレームの第二サブフレーム表示画像から前入力フレームの第二サブフレーム表示画像を減じた場合に、階調値が正となる画素から成る正領域を検出する。この正領域は、画素位置490から画素位置491の間の領域である。正領域が検出されたということは、前入力フレームから現入力フレームへの遷移方向は立上がり遷移であることになる。
【0052】
また、図4の場合、倍速画像遷移方向判別部500は、この正領域内で、現入力フレームの第一サブフレーム表示画像と、前入力フレームの第二サブフレーム表示画像とを比較する。その結果、正領域のハッチング部bでは現入力フレームの第一サブフレーム表示画像の方が前入力フレームの第二サブフレーム表示画像よりも階調値が大きく、この部分においては立ち上がり遷移である。一方、正領域のハッチング部aでは現入力フレームの第一サブフレーム表示画像の方が前入力フレームの第二サブフレーム表示画像よりも階調値が小さく、この部分においては立下り遷移である。
【0053】
次に、倍速画像遷移方向判別部500は、この正領域内で、現入力フレームの第二サブフレーム表示画像と、現入力フレームの第一サブフレーム表示画像とを比較する。その結果、正領域のハッチング部dでは現入力フレームの第二サブフレーム表示画像の方が現入力フレームの第一サブフレーム表示画像よりも階調値が小さく、この部分においては立ち下り遷移である。一方、正領域のハッチング部cでは現入力フレームの第二サブフレーム表示画像の方が現入力フレームの第一サブフレーム表示画像よりも階調値が大きく、この部分においては立上がり遷移である。
【0054】
ここで、視認画像におけるオーバーシュートSは図4(b)に示す如く、立ち上がり遷移cと立下り遷移aの追従視で視認されるものであり、ゴーストGは立下り遷移dと立ち上がり遷移bの追従視で視認されるものである。従って、これらの視認を軽減するためには、(aの立ち下り遷移)<(cの立上がり遷移)、(bの立上がり遷移)>(dの立ち下り遷移)として遷移幅を制御することで達成出来る。つまり、入力フレーム画像の立上がり遷移に関わるサブフレームでは(立下り遷移)<(立ち上がり遷移)となるように階調補正を行う。
【0055】
例えば、入力画像遷移方向判別部300及び倍速画像遷移方向判別部500により、サブフレームSFの画像内の正領域内で、サブフレーム(SF−1)の画像内の正領域内よりも小さい階調値を有する部分(図3(a)ではa、d)を検出したとする。この場合、補正値制御部430は、サブフレームSFの画像内のこの検出した部分の階調値に対する補正量を低減させる。
【0056】
そして、この低減された補正量を用いて、対応する部分の階調補正を行うことで、オーバーシュートSとゴーストGを低階調側へ引き寄せる効果が得ることができ、これにより、オーバーシュートSとゴーストGを低減することができる。
【0057】
液晶表示装置では、液晶の応答速度が遅いため、オーバードライブ補正を行うことで適正な階調表示を行う。従って、液晶表示装置における上記階調補正は、オーバードライブ回路による補正値の増減を上記のように制御することで実現させる。
【0058】
なお、図3の例においては負領域における立ち上がり遷移の補正量を低減し、図4の例においては正領域における立ち下がり遷移の補正量を低減すると説明した。しかしながら、これに限定するものではなく、図3の例において負領域における立下り遷移の補正量を増加し、図4の例において正領域における立ち上がり遷移の補正量を増加しても良い。
【0059】
次に、上記の画像処理装置を液晶表示装置における階調制御装置として適用した場合に、この画像処理装置が行う処理について、同処理のフローチャートを示す図5を用いて説明する。なお、図5のフローチャートは、1つのフレームについての処理を示すものであるので、実際には、各フレームについて、図5のフローチャートに従った処理を行うことになる。
【0060】
ステップS101では先ず、N倍速処理部110は、入力されたフレームFのフレーム画像から2つのサブフレームの画像を生成する。次に、それぞれのサブフレームの画像について、LPF(ローパスフィルタ)120は低周波成分画像Lを生成し、減算器130、乗算器150、加算器140により高周波成分画像SHを生成する。
【0061】
ステップS102で入力画像遷移方向判別部300は、フレームメモリ200に格納されている「フレーム(F−1)において出力する低周波成分画像(L−1)」を読み出す。
【0062】
ステップS103で入力画像遷移方向判別部300は、低周波成分画像Lから低周波成分画像(L−1)を減じた場合に階調値が正となる画素から成る領域を低周波成分画像Lから検出した場合には、この領域に対して「立ち上がり遷移」と判断する。一方、階調値が負となる画素から成る領域を低周波成分画像Lから検出した場合には、この領域に対して「立ち下り遷移」と判断する。「立ち下り遷移」と判断した場合には処理はステップS107に進み、「立ち上がり遷移」と判断した場合には処理はステップS104に進む。
【0063】
ステップS107で倍速画像遷移方向判別部500は、現サブフレームSFの画像内の負領域内の階調値と、サブフレーム(SF−1)の画像内の負領域内の階調値と、の大小比較を行う。そして、現サブフレームSFの画像内の負領域内で、サブフレーム(SF−1)の画像内の負領域内の階調値よりも大きい階調値を有する部分を検出した場合には「立ち上がり遷移」と判断し、処理はステップS108に進む。一方、現サブフレームSFの画像内の負領域内で、サブフレーム(SF−1)の画像内の負領域内の階調値よりも小さい階調値を有する部分を検出した場合には「立ち下り遷移」と判断し、処理はステップS109に進む。
【0064】
ステップS108で補正値制御部430は、「現サブフレームSFの画像内の負領域内で、サブフレーム(SF−1)の画像内の負領域内の階調値よりも大きい階調値を有する部分」について補正値決定部420が決定した補正値を低減させる。もちろん、補正値を0にしても良い。
【0065】
ステップS109で補正値制御部430は、「現サブフレームSFの画像内の負領域内で、サブフレーム(SF−1)の画像内の負領域内の階調値よりも小さい階調値を有する部分」について補正値決定部420が決定した補正値を増加させる。
【0066】
一方、ステップS104で倍速画像遷移方向判別部500は、現サブフレームSFの画像内の正領域内の階調値と、サブフレーム(SF−1)の画像内の正領域内の階調値と、の大小比較を行う。そして、現サブフレームSFの画像内の正領域内で、サブフレーム(SF−1)の画像内の正領域内の階調値よりも大きい階調値を有する部分を検出した場合には「立ち上がり遷移」と判断し、処理はステップS105に進む。一方、現サブフレームSFの画像内の正領域内で、サブフレーム(SF−1)の画像内の正領域内の階調値よりも小さい階調値を有する部分を検出した場合には「立ち下り遷移」と判断し、処理はステップS106に進む。
【0067】
ステップS106で補正値制御部430は、「現サブフレームSFの画像内の正領域内で、サブフレーム(SF−1)の画像内の正領域内の階調値よりも小さい階調値を有する部分」について補正値決定部420が決定した補正値を低減させる。もちろん、補正値を0にしても良い。
【0068】
ステップS105で補正値制御部430は、「現サブフレームSFの画像内の正領域内で、サブフレーム(SF−1)の画像内の正領域内の階調値よりも大きい階調値を有する部分」について補正値決定部420が決定した補正値を増加させる。
【0069】
そして以降では、補正処理部440は、現サブフレームSFの画像において正領域に対しては、この正領域に対して確定した補正値を用いて階調補正を行い、負領域に対しては、この負領域に対して確定した補正値を用いて階調補正を行う。そしてこの補正が完了すると、補正処理部440は、この補正したサブフレームの画像を出力する。
【0070】
以上の説明により、本実施形態によれば、前の入力フレームについて生成した低周波成分画像と現フレームについて生成した低周波成分画像との差分から、現フレームにおける階調遷移方向を判別することが出来る。そしてこの判別した階調遷移方向に応じて、サブフレームにおける階調遷移の階調補正を行う。
【0071】
即ち、本実施形態の要点は、次の通りである。フレーム毎に入力されるフレーム画像を取得し、取得したフレーム画像から複数のサブフレームの画像を生成する。そして、サブフレーム毎に、サブフレームの画像の低周波数成分から成る低周波成分画像、サブフレームの画像の高周波数成分を強調した高周波成分画像、を生成する。そして、高周波成分画像、低周波成分画像の選択順に、サブフレーム毎に高周波成分画像、低周波成分画像を交互に選択し、選択した画像の階調値を補正して出力する。この出力の際には、以下の動作を行う。
【0072】
先ず、着目サブフレームSFの着目低周波成分画像から、着目サブフレームSFが属するフレームFから1フレーム前のフレーム(F−1))内で選択された低周波成分画像を減じた場合に階調値が正の画素から成る着目低周波成分画像内の領域を検出する。同様に、階調値が負となる画素から成る着目低周波成分画像内の領域を検出する。そして、フレームF内で選択された選択画像内の負領域に対応する領域内で、サブフレーム(SF−1)の画像として選択された画像内の負領域に対応する領域内の階調値より大きい部分については、次のような処理を行う。即ち、この部分の階調値を負領域に対応する領域内の階調値よりも小さい部分に対して低減させる。一方、フレームF内で選択された選択画像内の正領域に対応する領域内で、サブフレーム(SF−1)の画像として選択された画像内の正領域に対応する領域内の階調値よりも小さい部分については、次のような処理を行う。即ち、この部分の階調値を正領域に対応する領域内の階調値よりも大きい部分に対して相対的に低減させる。そして、階調値が制御された選択画像を出力する。これにより、オーバーシュートとゴーストを低減しつつ“動きぼけ”を改善することができる。
【0073】
[第2の実施形態]
第1の実施形態では1つのフレーム内で、最初に高周波成分画像を出力し、次に低周波成分画像を出力するようにした。本実施形態では先に低周波成分画像を出力し、次に高周波成分画像を出力する。以下に、第1の実施形態と異なる部分についてのみ説明する。
【0074】
図6では、フレーム単位で、画像の内容が左から右に6画素ずつ移動している。図6(a)には、サブフレーム画像の波形が表示順に上から下に列挙されている。横軸は画素位置、縦軸は階調値を示す。
【0075】
フレーム(F−1)内で2番目に出力する高周波成分画像(SH−1)(前入力フレームの第二サブフレーム表示画像)の次は、フレームF内で1番目に出力する低周波成分画像L(現入力フレームの第一サブフレーム表示画像)が表示される。図6(a)の中段において実線は現入力フレームの第一サブフレーム表示画像の波形を示し、点線は前入力フレームの第二サブフレーム表示画像の波形を示している。
【0076】
フレームF内で1番目に出力する低周波成分画像Lの次は、フレームF内で2番目に出力する高周波成分画像SH(現入力フレームの第二サブフレーム表示画像)が表示される。図6(a)の下段において実線は現入力フレームの第二サブフレーム表示画像の波形を示し、点線は現入力フレームの第一サブフレーム表示画像の波形を示している。
【0077】
これら3つのサブフレーム画像が順次表示された場合の、追従視における視認画像を図6(b)に示す。この視認画像におけるオーバーシュートSとゴーストGの見え方が第1の実施形態とは異なっていることが分かる。
【0078】
図6の場合、入力画像遷移方向判別部300は、現入力フレームの第一サブフレーム表示画像から前入力フレームの第一サブフレーム表示画像(不図示)を減じた場合に、階調値が負となる画素から成る負領域を検出する。負領域が検出されたということは、前入力フレームから現入力フレームへの遷移方向は立下り遷移であることになる。
【0079】
また、図6の場合、倍速画像遷移方向判別部500は、この負領域内で、現入力フレームの第一サブフレーム表示画像と、前入力フレームの第二サブフレーム表示画像とを比較する。その結果、負領域内のハッチング部aでは現入力フレームの第一サブフレーム表示画像の方が前入力フレームの第二サブフレーム表示画像よりも階調値が小さく、この部分においては立ち下り遷移である。一方、負領域内のハッチング部bでは現入力フレームの第一サブフレーム表示画像の方が前入力フレームの第二サブフレーム表示画像よりも階調値が大きく、この部分においては立上がり遷移である。
【0080】
次に、倍速画像遷移方向判別部500は、この負領域内で、現入力フレームの第二サブフレーム表示画像と、現入力フレームの第一サブフレーム表示画像とを比較する。その結果、負領域内のハッチング部cでは現入力フレームの第二サブフレーム表示画像の方が現入力フレームの第一サブフレーム表示画像よりも階調値が大きく、この部分においては立ち上がり遷移である。一方、負領域内のハッチング部dでは現入力フレームの第二サブフレーム表示画像の方が現入力フレームの第一サブフレーム表示画像よりも階調値が小さく、この部分においては立下り遷移である。
【0081】
ここで、視認画像におけるゴーストGは図6(b)に示す如く、立ち上がり遷移cと立下り遷移aの追従視で視認されるものであり、オーバーシュートSは立下り遷移dと立ち上がり遷移bの追従視で視認されるものである。従って、これらの視認を軽減するためには、(aの立ち下り遷移)<(cの立上がり遷移)、(bの立上がり遷移)>(dの立ち下り遷移)として遷移幅を制御することで達成出来る。つまり、入力フレーム画像の立下り遷移に関わるサブフレームでは(立下り遷移)<(立ち上がり遷移)となるように階調補正を行う。
【0082】
例えば、入力画像遷移方向判別部300及び倍速画像遷移方向判別部500により、サブフレームSFの画像内の負領域内で、サブフレーム(SF−1)の画像内の負領域内よりも小さい階調値を有する部分(図6(a)ではa、d)を検出したとする。この場合、補正値制御部430は、サブフレームSFの画像内のこの検出した部分の階調値に対する補正量を低減させる。
【0083】
そして、この低減された補正量を用いて、対応する部分の階調補正を行うことで、オーバーシュートSとゴーストGを高階調側へ引き寄せる効果が得ることができ、これにより、オーバーシュートSとゴーストGを低減することができる。
【0084】
図7では、フレーム単位で、画像の内容が左から右に6画素ずつ移動している。図7(a)には、サブフレーム画像の波形が表示順に上から下に列挙されている。横軸は画素位置、縦軸は階調値を示す。
【0085】
フレーム(F−1)内で2番目に出力する高周波成分画像(SH−1)(前入力フレームの第二サブフレーム表示画像)の次は、フレームF内で1番目に出力する低周波成分画像L(現入力フレームの第一サブフレーム表示画像)が表示される。図7(a)の中段において実線は現入力フレームの第一サブフレーム表示画像の波形を示し、点線は前入力フレームの第二サブフレーム表示画像の波形を示している。
【0086】
フレームF内で1番目に出力する低周波成分画像Lの次は、フレームF内で2番目に出力する高周波成分画像SH(現入力フレームの第二サブフレーム表示画像)が表示される。図7(a)の下段において実線は現入力フレームの第二サブフレーム表示画像の波形を示し、点線は現入力フレームの第一サブフレーム表示画像の波形を示している。
【0087】
これら3つのサブフレーム画像が順次表示された場合の、追従視における視認画像を図7(b)に示す。この視認画像におけるオーバーシュートSとゴーストGの見え方が第1の実施形態とは異なっていることが分かる。
【0088】
図7の場合、入力画像遷移方向判別部300は、現入力フレームの第一サブフレーム表示画像から前入力フレームの第一サブフレーム表示画像(不図示)を減じた場合に、階調値が正となる画素から成る正領域を検出する。正領域が検出されたということは、前入力フレームから現入力フレームへの遷移方向は立上がり遷移であることになる。
【0089】
また、図7の場合、倍速画像遷移方向判別部500は、この正領域内で、現入力フレームの第一サブフレーム表示画像と、前入力フレームの第二サブフレーム表示画像とを比較する。その結果、正領域内のハッチング部aでは現入力フレームの第一サブフレーム表示画像の方が前入力フレームの第二サブフレーム表示画像よりも階調値が大きく、この部分においては立ち上がり遷移である。一方、正領域内のハッチング部bでは現入力フレームの第一サブフレーム表示画像の方が前入力フレームの第二サブフレーム表示画像よりも階調値が小さく、この部分においては立下り遷移である。
【0090】
次に、倍速画像遷移方向判別部500は、この正領域内で、現入力フレームの第二サブフレーム表示画像と、現入力フレームの第一サブフレーム表示画像とを比較する。その結果、正領域内のハッチング部cでは現入力フレームの第二サブフレーム表示画像の方が現入力フレームの第一サブフレーム表示画像よりも階調値が小さく、この部分においては立ち下り遷移である。一方、正領域内のハッチング部dでは現入力フレームの第二サブフレーム表示画像の方が現入力フレームの第一サブフレーム表示画像よりも階調値が大きく、この部分においては立上がり遷移である。
【0091】
ここで、視認画像におけるゴーストGは図7(b)に示す如く、立ち上がり遷移aと立下り遷移cの追従視で視認されるものであり、オーバーシュートSは立下り遷移bと立ち上がり遷移dの追従視で視認されるものである。従って、これらの視認を軽減するためには、(aの立ち上がり遷移)<(cの立下り遷移)、(bの立下り遷移)>(dの立ち上がり遷移)として遷移幅を制御することで達成出来る。つまり、入力フレーム画像の立上がり遷移に関わるサブフレームでは(立下り遷移)>(立ち上がり遷移)となるように階調補正を行う。
【0092】
例えば、入力画像遷移方向判別部300及び倍速画像遷移方向判別部500により、サブフレームSFの画像内の正領域内で、サブフレーム(SF−1)の画像内の正領域内よりも大きい階調値を有する部分(図6(a)ではa、d)を検出したとする。この場合、補正値制御部430は、サブフレームSFの画像内のこの検出した部分の階調値に対する補正量を低減させる。
【0093】
そして、この低減された補正量を用いて、対応する部分の階調補正を行うことで、オーバーシュートSとゴーストGを低階調側へ引き寄せる効果が得ることができ、これにより、オーバーシュートSとゴーストGを低減することができる。
【0094】
以上の説明により、本実施形態によれば、フレームコンバータからの出力が低周波成分画像、高周波成分画像の順においても、オーバーシュートとゴーストとを低減しつつ“動きぼけ”を改善することができる。
【0095】
[第3の実施形態]
第1,2の実施形態では、フレームコンバータ100において、60Hzで入力されるフレームを2つのサブサブフレームに分割し(N=2)、120Hzの画像に変換して出力する場合について説明した。本実施形態ではN=3とし、1つのフレームから生成された3つのサブフレームを順次出力する。この場合、最初のサブフレームではこのサブフレームから生成された低周波成分画像を出力し、次のサブフレームではこのサブフレームから生成された高周波成分画像を出力し、最後のサブフレームではこのサブフレームから生成された低周波成分画像を出力する。以下に、第1の実施形態と異なる部分についてのみ説明する。
【0096】
図8では、フレーム単位で、画像の内容が左から右に6画素ずつ移動している。図8(a)には、サブフレーム画像の波形が表示順に上から下に列挙されている。横軸は画素位置、縦軸は階調値を示す。
【0097】
フレーム(F−1)内で3番目に出力する低周波成分画像(前入力フレームの第三サブフレーム表示画像)の次は、フレームF内で最初に出力する低周波成分画像(現入力フレームの第一サブフレーム表示画像)が表示される。図8(a)の上から二段目において実線は現入力フレームの第一サブフレーム表示画像の波形を示し、点線は前入力フレームの第三サブフレーム表示画像の波形を示している。
【0098】
フレームF内で2番目には、高周波成分画像(現入力フレームの第二サブフレーム表示画像)が表示される。図8(a)の上から三段目において実線は現入力フレームの第二サブフレーム表示画像の波形を示し、点線は現入力フレームの第一サブフレーム表示画像の波形を示している。
【0099】
フレームF内で3番目には、低周波成分画像(現入力フレームの第三サブフレーム表示画像)が表示される。図8(a)の上から四段目において実線は現入力フレームの第三サブフレーム表示画像の波形を示し、点線は現入力フレームの第二サブフレーム表示画像の波形を示している。
【0100】
これら4つのサブフレーム画像が順次表示された場合の、追従視における視認画像を図8(b)に示す。図8(b)に示す如く、視認画像には、追従視におけるオーバーシュートは見えず、ゴーストG0,G1が見える。
【0101】
図8(a)において、前入力フレームの第三サブフレーム表示画像から現入力フレームの第一サブフレーム表示画像へは、ハッチング部aにおいては、遷移方向は立下り遷移である。また、現入力フレームの第一サブフレーム表示画像から現入力フレームの第二サブフレーム表示画像へは、ハッチング部bにおいては遷移方向は立上がり遷移であり、ハッチング部cにおいては遷移方向は立ち下り遷移である。また、現入力フレームの第二サブフレーム表示画像から現入力フレームの第三サブフレーム表示画像へは、ハッチング部eにおいては遷移方向は立上がり遷移であり、ハッチング部dにおいては遷移方向は立ち下り遷移である。
【0102】
ここで、視認画像におけるゴーストG0は立下り遷移aと立ち上がり遷移bの追従視で視認されるものであり、ゴーストG1は立下り遷移cと立上がり遷移eの追従視で視認されるものである。従って、これらの視認を軽減するためには、(aの立下り遷移)<(bの立ち上がり遷移)、(cの立下り遷移)>(eの立ち上がり遷移)として遷移幅を制御することで達成出来る。
【0103】
ところで、本実施形態では、フレーム画像の立下り遷移に関して、サブフレームの立ち上がり遷移を強くする場合と、立下り遷移を強くする場合とが混在する。この場合分けとして、フレームコンバータ100からの出力画像の種類を判断に用いる。つまり、前のサブフレームで低周波成分画像を表示していた場合は、(立下り遷移)<(立ち上がり遷移)となるように階調補正を行う。また、前のサブフレームで高周波成分画像を表示していた場合は、(立下り遷移)>(立ち上がり遷移)となるように階調補正を行う。
【0104】
この補正により、ゴーストG0を高階調側へ引き上げ、ゴーストG1を低階調側へ引き下げる効果が得ることができ、結果としてゴーストG0、G1を低減することができる。なお、フレームコンバータ100からの出力画像の種類の判断は、フレームコンバータ100からの出力信号にフラグとして情報を持たせるといった方法が考えられる。
【0105】
以上の説明により、本実施形態によれば、フレームコンバータからの出力画像の種類と、フレーム画像の階調遷移の方向に応じて、サブフレームの階調遷移における階調補正の方法を切り替えることができる。これにより、3倍速表示とした場合でも、ゴーストを低減しつつ“動きぼけ”を改善することができる。
【0106】
[第4の実施形態]
本実施形態に係る画像処理装置の機能構成例について、図9のブロック図を用いて説明する。図9に示した構成は、図1に示した構成からフレームメモリ410を省き、代わりにセレクタ210を追加した構成となっており、それ以外については図1と同じである。セレクタ210は、加算器140からの高周波成分画像SHと、フレームメモリ200からの低周波成分画像Lとを交互に切り替えて出力する。
【0107】
フレームコンバータ100が出力する画像、フレームコンバータ100の内部で生成される各画像、フレームメモリ200からの読み出し画像、について図10を用いて説明する。
【0108】
例えば、フレームF1では、フレームコンバータ100内で高周波成分画像H1と低周波成分画像L1とを生成する。そして、最初のサブフレームで高周波成分画像H1を、次のサブフレームで低周波成分画像L1をセレクタ160で切り替えて出力する。フレームF1においてフレームメモリ200からは、前のフレームF0で生成した低周波成分画像L0を読み出す。入力画像遷移方向判別部300は、この読み出した低周波成分画像L0と現在の低周波成分画像L1とから遷移方向を判別する。
【0109】
また、セレクタ210は、フレームF1における最初のサブフレームでは、フレームメモリ200から読み出された低周波成分画像L0を、次のサブフレームではフレームコンバータ100で生成される高周波成分画像H1を選択して出力する。この制御により、補正値決定部420、倍速画像遷移方向判別部500は、フレームF1における最初のサブフレームでは、低周波成分画像L0から高周波成分画像H1への階調遷移に対して、遷移方向判別および補正値の決定を行うことが出来る。また、次のサブフレームでは、高周波成分画像H1から低周波成分画像L1への階調遷移に対して、遷移方向判別および補正値の決定を行うことが出来る。なお、本実施形態において、フレームコンバータ100からの出力は、最初のサブフレームで高周波成分画像、次のサブフレームで低周波成分画像という順である。以上の説明により、本実施形態によれば、単一のフレームメモリを用いた構成で、オーバーシュートとゴーストを低減しつつ“動きぼけ”を改善することができる。
【0110】
[第5の実施形態]
第1乃至4の実施形態で説明した各画像処理は、それぞれの実施形態では、図1,9に示すような構成を有するハードウェアの動作により実現させていた。しかし、各画像処理をCPUに実行させるためのコンピュータプログラムを、このCPUを有するコンピュータ内のメモリにインストールし、このCPUがこのコンピュータプログラムを実行することで、このコンピュータに上記各画像処理を実現させても良い。このようなコンピュータには、一般のパーソナルコンピュータなどが適用可能である。
【0111】
(その他の実施例)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
【特許請求の範囲】
【請求項1】
フレーム毎に入力されるフレーム画像を取得し、該取得したフレーム画像から複数のサブフレームの画像を生成する生成手段と、
サブフレーム毎に、該サブフレームの画像の低周波数成分から成る低周波成分画像と、該サブフレームの画像の高周波数成分を強調した高周波成分画像と、を生成する生成手段と、
サブフレーム毎に前記高周波成分画像、前記低周波成分画像をこの順で交互に選択する選択手段と、
前記選択手段が選択した画像の階調値を補正して出力する出力手段と
を備え、
前記出力手段は、
前記選択手段が着目サブフレームの画像として選択した着目低周波成分画像から、該着目サブフレームが属するフレームよりも1つ過去のフレーム内で前記選択手段が選択した低周波成分画像を減じた場合に階調値が正となる画素から成る前記着目低周波成分画像内の領域を正領域として検出し、階調値が負となる画素から成る前記着目低周波成分画像内の領域を負領域として検出する検出手段と、
前記着目サブフレームが属するフレーム内で前記選択手段が選択した選択画像内の前記負領域に対応する領域内で、前記選択手段が該着目サブフレームより1つ過去のサブフレームにおける画像として選択した画像内の前記負領域に対応する領域内の階調値よりも大きい部分については、該部分の階調値を前記負領域に対応する領域内の階調値よりも小さい部分に対して低減させ、
前記着目サブフレームが属するフレーム内で前記選択手段が選択した選択画像内の前記正領域に対応する領域内で、前記選択手段が該着目サブフレームより1つ過去のサブフレームにおける画像として選択した画像内の前記正領域に対応する領域内の階調値よりも小さい部分については、該部分の階調値を前記正領域に対応する領域内の階調値よりも大きい部分に対して相対的に低減させる制御手段と、
前記制御手段により階調値が制御された前記選択画像を出力する手段と
を備えることを特徴とする画像処理装置。
【請求項2】
フレーム毎に入力されるフレーム画像を取得し、該取得したフレーム画像から複数のサブフレームの画像を生成する生成手段と、
サブフレーム毎に、該サブフレームの画像の低周波数成分から成る低周波成分画像と、該サブフレームの画像の高周波数成分を強調した高周波成分画像と、を生成する生成手段と、
サブフレーム毎に前記低周波成分画像、前記高周波成分画像をこの順で交互に選択する選択手段と、
前記選択手段が選択した画像の階調値を補正して出力する出力手段と
を備え、
前記出力手段は、
前記選択手段が着目サブフレームの画像として選択した着目低周波成分画像から、該着目サブフレームが属するフレームよりも1つ過去のフレーム内で前記選択手段が選択した低周波成分画像を減じた場合に階調値が正となる画素から成る前記着目低周波成分画像内の領域を正領域として検出し、階調値が負となる画素から成る前記着目低周波成分画像内の領域を負領域として検出する検出手段と、
前記着目サブフレームが属するフレーム内で前記選択手段が選択した選択画像内の前記負領域に対応する領域内で、前記選択手段が該着目サブフレームより1つ過去のサブフレームにおける画像として選択した画像内の前記負領域に対応する領域内の階調値よりも小さい部分については、該部分の階調値を前記負領域に対応する領域内の階調値よりも小さい部分に対して低減させ、
前記着目サブフレームが属するフレーム内で前記選択手段が選択した選択画像内の前記正領域に対応する領域内で、前記選択手段が該着目サブフレームより1つ過去のサブフレームにおける画像として選択した画像内の前記正領域に対応する領域内の階調値よりも大きい部分については、該部分の階調値を前記正領域に対応する領域内の階調値よりも大きい部分に対して相対的に低減させる制御手段と、
前記制御手段により階調値が制御された前記選択画像を出力する手段と
を備えることを特徴とする画像処理装置。
【請求項3】
前記制御手段は、オーバードライブ回路から供給される階調値を制御することを特徴とする請求項1又は2に記載の画像処理装置。
【請求項4】
フレーム毎に入力されるフレーム画像を取得し、該取得したフレーム画像から複数のサブフレームの画像を生成する生成工程と、
サブフレーム毎に、該サブフレームの画像の低周波数成分から成る低周波成分画像と、該サブフレームの画像の高周波数成分を強調した高周波成分画像と、を生成する生成工程と、
サブフレーム毎に前記高周波成分画像、前記低周波成分画像をこの順で交互に選択する選択工程と、
前記選択工程で選択した画像の階調値を補正して出力する出力工程と
を備え、
前記出力工程は、
前記選択工程で着目サブフレームの画像として選択した着目低周波成分画像から、該着目サブフレームが属するフレームよりも1つ過去のフレーム内で前記選択工程で選択した低周波成分画像を減じた場合に階調値が正となる画素から成る前記着目低周波成分画像内の領域を正領域として検出し、階調値が負となる画素から成る前記着目低周波成分画像内の領域を負領域として検出する検出工程と、
前記着目サブフレームが属するフレーム内で前記選択工程で選択した選択画像内の前記負領域に対応する領域内で、前記選択工程で該着目サブフレームより1つ過去のサブフレームにおける画像として選択した画像内の前記負領域に対応する領域内の階調値よりも大きい部分については、該部分の階調値を前記負領域に対応する領域内の階調値よりも小さい部分に対して低減させ、
前記着目サブフレームが属するフレーム内で前記選択工程で選択した選択画像内の前記正領域に対応する領域内で、前記選択工程で該着目サブフレームより1つ過去のサブフレームにおける画像として選択した画像内の前記正領域に対応する領域内の階調値よりも小さい部分については、該部分の階調値を前記正領域に対応する領域内の階調値よりも大きい部分に対して相対的に低減させる制御工程と、
前記制御工程で階調値が制御された前記選択画像を出力する工程と
を備えることを特徴とする画像処理方法。
【請求項5】
フレーム毎に入力されるフレーム画像を取得し、該取得したフレーム画像から複数のサブフレームの画像を生成する生成工程と、
サブフレーム毎に、該サブフレームの画像の低周波数成分から成る低周波成分画像と、該サブフレームの画像の高周波数成分を強調した高周波成分画像と、を生成する生成工程と、
サブフレーム毎に前記低周波成分画像、前記高周波成分画像をこの順で交互に選択する選択工程と、
前記選択工程で選択した画像の階調値を補正して出力する出力工程と
を備え、
前記出力工程は、
前記選択工程で着目サブフレームの画像として選択した着目低周波成分画像から、該着目サブフレームが属するフレームよりも1つ過去のフレーム内で前記選択工程で選択した低周波成分画像を減じた場合に階調値が正となる画素から成る前記着目低周波成分画像内の領域を正領域として検出し、階調値が負となる画素から成る前記着目低周波成分画像内の領域を負領域として検出する検出工程と、
前記着目サブフレームが属するフレーム内で前記選択工程で選択した選択画像内の前記負領域に対応する領域内で、前記選択工程で該着目サブフレームより1つ過去のサブフレームにおける画像として選択した画像内の前記負領域に対応する領域内の階調値よりも小さい部分については、該部分の階調値を前記負領域に対応する領域内の階調値よりも小さい部分に対して低減させ、
前記着目サブフレームが属するフレーム内で前記選択工程で選択した選択画像内の前記正領域に対応する領域内で、前記選択工程で該着目サブフレームより1つ過去のサブフレームにおける画像として選択した画像内の前記正領域に対応する領域内の階調値よりも大きい部分については、該部分の階調値を前記正領域に対応する領域内の階調値よりも大きい部分に対して相対的に低減させる制御工程と、
前記制御工程で階調値が制御された前記選択画像を出力する工程と
を備えることを特徴とする画像処理方法。
【請求項6】
コンピュータを、請求項1乃至3の何れか1項に記載の画像処理装置が有する各手段として機能させるためのコンピュータプログラム。
【請求項7】
請求項6に記載のコンピュータプログラムを格納した、コンピュータが読み取り可能な記憶媒体。
【請求項1】
フレーム毎に入力されるフレーム画像を取得し、該取得したフレーム画像から複数のサブフレームの画像を生成する生成手段と、
サブフレーム毎に、該サブフレームの画像の低周波数成分から成る低周波成分画像と、該サブフレームの画像の高周波数成分を強調した高周波成分画像と、を生成する生成手段と、
サブフレーム毎に前記高周波成分画像、前記低周波成分画像をこの順で交互に選択する選択手段と、
前記選択手段が選択した画像の階調値を補正して出力する出力手段と
を備え、
前記出力手段は、
前記選択手段が着目サブフレームの画像として選択した着目低周波成分画像から、該着目サブフレームが属するフレームよりも1つ過去のフレーム内で前記選択手段が選択した低周波成分画像を減じた場合に階調値が正となる画素から成る前記着目低周波成分画像内の領域を正領域として検出し、階調値が負となる画素から成る前記着目低周波成分画像内の領域を負領域として検出する検出手段と、
前記着目サブフレームが属するフレーム内で前記選択手段が選択した選択画像内の前記負領域に対応する領域内で、前記選択手段が該着目サブフレームより1つ過去のサブフレームにおける画像として選択した画像内の前記負領域に対応する領域内の階調値よりも大きい部分については、該部分の階調値を前記負領域に対応する領域内の階調値よりも小さい部分に対して低減させ、
前記着目サブフレームが属するフレーム内で前記選択手段が選択した選択画像内の前記正領域に対応する領域内で、前記選択手段が該着目サブフレームより1つ過去のサブフレームにおける画像として選択した画像内の前記正領域に対応する領域内の階調値よりも小さい部分については、該部分の階調値を前記正領域に対応する領域内の階調値よりも大きい部分に対して相対的に低減させる制御手段と、
前記制御手段により階調値が制御された前記選択画像を出力する手段と
を備えることを特徴とする画像処理装置。
【請求項2】
フレーム毎に入力されるフレーム画像を取得し、該取得したフレーム画像から複数のサブフレームの画像を生成する生成手段と、
サブフレーム毎に、該サブフレームの画像の低周波数成分から成る低周波成分画像と、該サブフレームの画像の高周波数成分を強調した高周波成分画像と、を生成する生成手段と、
サブフレーム毎に前記低周波成分画像、前記高周波成分画像をこの順で交互に選択する選択手段と、
前記選択手段が選択した画像の階調値を補正して出力する出力手段と
を備え、
前記出力手段は、
前記選択手段が着目サブフレームの画像として選択した着目低周波成分画像から、該着目サブフレームが属するフレームよりも1つ過去のフレーム内で前記選択手段が選択した低周波成分画像を減じた場合に階調値が正となる画素から成る前記着目低周波成分画像内の領域を正領域として検出し、階調値が負となる画素から成る前記着目低周波成分画像内の領域を負領域として検出する検出手段と、
前記着目サブフレームが属するフレーム内で前記選択手段が選択した選択画像内の前記負領域に対応する領域内で、前記選択手段が該着目サブフレームより1つ過去のサブフレームにおける画像として選択した画像内の前記負領域に対応する領域内の階調値よりも小さい部分については、該部分の階調値を前記負領域に対応する領域内の階調値よりも小さい部分に対して低減させ、
前記着目サブフレームが属するフレーム内で前記選択手段が選択した選択画像内の前記正領域に対応する領域内で、前記選択手段が該着目サブフレームより1つ過去のサブフレームにおける画像として選択した画像内の前記正領域に対応する領域内の階調値よりも大きい部分については、該部分の階調値を前記正領域に対応する領域内の階調値よりも大きい部分に対して相対的に低減させる制御手段と、
前記制御手段により階調値が制御された前記選択画像を出力する手段と
を備えることを特徴とする画像処理装置。
【請求項3】
前記制御手段は、オーバードライブ回路から供給される階調値を制御することを特徴とする請求項1又は2に記載の画像処理装置。
【請求項4】
フレーム毎に入力されるフレーム画像を取得し、該取得したフレーム画像から複数のサブフレームの画像を生成する生成工程と、
サブフレーム毎に、該サブフレームの画像の低周波数成分から成る低周波成分画像と、該サブフレームの画像の高周波数成分を強調した高周波成分画像と、を生成する生成工程と、
サブフレーム毎に前記高周波成分画像、前記低周波成分画像をこの順で交互に選択する選択工程と、
前記選択工程で選択した画像の階調値を補正して出力する出力工程と
を備え、
前記出力工程は、
前記選択工程で着目サブフレームの画像として選択した着目低周波成分画像から、該着目サブフレームが属するフレームよりも1つ過去のフレーム内で前記選択工程で選択した低周波成分画像を減じた場合に階調値が正となる画素から成る前記着目低周波成分画像内の領域を正領域として検出し、階調値が負となる画素から成る前記着目低周波成分画像内の領域を負領域として検出する検出工程と、
前記着目サブフレームが属するフレーム内で前記選択工程で選択した選択画像内の前記負領域に対応する領域内で、前記選択工程で該着目サブフレームより1つ過去のサブフレームにおける画像として選択した画像内の前記負領域に対応する領域内の階調値よりも大きい部分については、該部分の階調値を前記負領域に対応する領域内の階調値よりも小さい部分に対して低減させ、
前記着目サブフレームが属するフレーム内で前記選択工程で選択した選択画像内の前記正領域に対応する領域内で、前記選択工程で該着目サブフレームより1つ過去のサブフレームにおける画像として選択した画像内の前記正領域に対応する領域内の階調値よりも小さい部分については、該部分の階調値を前記正領域に対応する領域内の階調値よりも大きい部分に対して相対的に低減させる制御工程と、
前記制御工程で階調値が制御された前記選択画像を出力する工程と
を備えることを特徴とする画像処理方法。
【請求項5】
フレーム毎に入力されるフレーム画像を取得し、該取得したフレーム画像から複数のサブフレームの画像を生成する生成工程と、
サブフレーム毎に、該サブフレームの画像の低周波数成分から成る低周波成分画像と、該サブフレームの画像の高周波数成分を強調した高周波成分画像と、を生成する生成工程と、
サブフレーム毎に前記低周波成分画像、前記高周波成分画像をこの順で交互に選択する選択工程と、
前記選択工程で選択した画像の階調値を補正して出力する出力工程と
を備え、
前記出力工程は、
前記選択工程で着目サブフレームの画像として選択した着目低周波成分画像から、該着目サブフレームが属するフレームよりも1つ過去のフレーム内で前記選択工程で選択した低周波成分画像を減じた場合に階調値が正となる画素から成る前記着目低周波成分画像内の領域を正領域として検出し、階調値が負となる画素から成る前記着目低周波成分画像内の領域を負領域として検出する検出工程と、
前記着目サブフレームが属するフレーム内で前記選択工程で選択した選択画像内の前記負領域に対応する領域内で、前記選択工程で該着目サブフレームより1つ過去のサブフレームにおける画像として選択した画像内の前記負領域に対応する領域内の階調値よりも小さい部分については、該部分の階調値を前記負領域に対応する領域内の階調値よりも小さい部分に対して低減させ、
前記着目サブフレームが属するフレーム内で前記選択工程で選択した選択画像内の前記正領域に対応する領域内で、前記選択工程で該着目サブフレームより1つ過去のサブフレームにおける画像として選択した画像内の前記正領域に対応する領域内の階調値よりも大きい部分については、該部分の階調値を前記正領域に対応する領域内の階調値よりも大きい部分に対して相対的に低減させる制御工程と、
前記制御工程で階調値が制御された前記選択画像を出力する工程と
を備えることを特徴とする画像処理方法。
【請求項6】
コンピュータを、請求項1乃至3の何れか1項に記載の画像処理装置が有する各手段として機能させるためのコンピュータプログラム。
【請求項7】
請求項6に記載のコンピュータプログラムを格納した、コンピュータが読み取り可能な記憶媒体。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【公開番号】特開2012−32549(P2012−32549A)
【公開日】平成24年2月16日(2012.2.16)
【国際特許分類】
【出願番号】特願2010−171172(P2010−171172)
【出願日】平成22年7月29日(2010.7.29)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
【公開日】平成24年2月16日(2012.2.16)
【国際特許分類】
【出願日】平成22年7月29日(2010.7.29)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
[ Back to top ]