画像処理装置及びその制御方法
【課題】 単位時間当たりF個のフレームで構成される動画像データを、単位時間当たり2F個のサブフレームで構成される動画像データに変換して得られた動画像中の静止物のエッジが劣化することを抑制することが可能になる。
【解決手段】 入力端子200は、ラスタースキャン順に画素データを入力する。そして入力端子200、遅延回路201、202によって、連続する3つの画素データX1、X2、X3を取得が取得される。差分器300は着目画素データX2と隣接する画素データX1との差分d1(=X1−X2)を算出する。比較器302は、予め設定された正の閾値Thとd1とを比較する。d1≦Thの場合、選択回路304は、通常のフィルタ処理のための乗算係数V0を選択し、乗算器202に出力する。また、d1>Thの場合、選択回路304は、着目画素データX2の輝度が大きな値になることを抑制するため、乗算係数V0よりも小さい乗算係数V1を選択し、乗算器202に出力する。
【解決手段】 入力端子200は、ラスタースキャン順に画素データを入力する。そして入力端子200、遅延回路201、202によって、連続する3つの画素データX1、X2、X3を取得が取得される。差分器300は着目画素データX2と隣接する画素データX1との差分d1(=X1−X2)を算出する。比較器302は、予め設定された正の閾値Thとd1とを比較する。d1≦Thの場合、選択回路304は、通常のフィルタ処理のための乗算係数V0を選択し、乗算器202に出力する。また、d1>Thの場合、選択回路304は、着目画素データX2の輝度が大きな値になることを抑制するため、乗算係数V0よりも小さい乗算係数V1を選択し、乗算器202に出力する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、入力した動画像データを、更に高いフレームレートの動画像データに変換する技術に関するものである。
【背景技術】
【0002】
テレビジョン受像機に代表される動画像の表示装置には、CRTが長年用いられてきたが、近年では液晶デバイスを用いた薄型パネルが主流となりつつある。図10を用いて液晶デバイスの特徴を説明する。図10の水平軸は時間を、垂直軸は画素の明るさを示している。ここでのフレームレートは60フレーム/秒である。同図が示すように、液晶デバイスの場合は、1フレームに対して1/60秒の期間、発光を持続する。このため、液晶デバイスは「ホールド型」のデバイスと呼ばれている。
【0003】
ホールド型のデバイスは、動きに対し、ボケを生じやすいという欠点を有している。図11はその説明図である。図11の水平軸は画面上の位置を、垂直軸は時間を示している。この図は矩形の波形が画面の左から右に向かって移動する例である。このような動きを眼で追う場合、眼が追従する動きに対して、1/60秒の間、画素が同じ位置に留まった状態が、動きに対する相対的な遅れとなる。ホールド時間が長いと、この遅れの幅が広くなり、画面上では、動きのボケとして知覚されることとなる。図11の一番下の図は、追従視している時の見え方を示したものであり、エッジ部分で、ある幅をもったボケが検知されることを示している。
【0004】
動きボケ対策の一例として、駆動周波数を上げ、ホールド時間を短くする方法がある。図12は、2倍の120Hzで表示する例である。
【0005】
また、2倍のフレームレートにするために、入力画像を高域成分を含む画像と低周波成分のみを含む画像を時間方向に分割して表示する手法も知られている。図13は、この方法により駆動分配した画像の動特性である。図11と比較してわかるように、動きボケは大幅に低減されている。
【0006】
また、CRTと同様な発光特性をもつデバイスとして、フィールドエミッションタイプの表示装置の開発も進んでいる。図14は、これらデバイスの発光特性の説明図である。図10と同様、水平軸が時間、垂直軸が画素の明るさを示している。このタイプの表示装置は、1/60秒のうちの或る一瞬だけ発光するので、「インパルス型」と呼ばれている。
【0007】
インパルス型のデバイスは、1/60の周期で、発光の有無を繰り返すので、この点滅をフリッカとして知覚しやすいという欠点を有している。フリッカは面積が大きくなるほど目立ちやすいという特性があるため、近年活発な、表示装置大画面化の流れの中では、特に問題となりやすい。
【0008】
図15は、インパルス型デバイスの動特性を示している。ホールド型の特性と違い、残像となるような動きボケが発生しないことが最大の特徴となっている。
【0009】
フリッカ対策の一例としても、駆動周波数を上げることが考えられる。図16は、2倍の120Hzで表示する例である。インパルス型の場合は、1回の明るさの半分のレベルを2回表示することで、同等の明るさを得ることができる。
【0010】
図17は、高域成分を含む画像と低周波成分のみを含む画像を時間方向に分割して表示する場合の動特性である。単純に2回ずつ同じフレームを表示すると、2重写りとなってしまうが、高域側のみを1回表示させることにより、低周波成分に起因するボケのみで、視覚的な劣化は抑制される。
【0011】
上記の通り、ホールド型の表示装置における動きボケ対策、及び、インパルス型の表示装置におけるフリッカ対策としての周波数成分によりフレーム画像を2つのサブフレームに分配する方法は、効果的である。
【0012】
ホールド型の倍速駆動を実現する方法の一例としては、特許文献1が知られている。この特許文献1における回路構成の一部を図18に示す。入力フレームに対し、ローパスフィルタ処理部102では、低周波成分のみを含むサブフレームを生成する。この低周波成分のみのサブフレームは一旦フレームメモリ1004に格納される。一方、差分検出部1003は、入力フレームからローパスフィルタ処理部1002で生成した低周波成分のみを含むサブフレームを減算、すなわち、差分を検出し、高周波成分を抽出する。ここで生成された高周波成分を入力フレームに足すことにより、高周波成分を強調したサブフレームを得る。切替回路1005では、フレームメモリ1004に格納された低周波サブフレームと、高周波サブフレームとを、120Hzの周期で切り替えて後段の処理に送る。高周波成分を除いたサブフレームと高周波成分を強調したサブフレームを交互に表示することで、60Hzの時間周期で見た場合は、元のフレーム画像が再現されていることになる。
【特許文献1】特開2006−184896号公報
【発明の開示】
【発明が解決しようとする課題】
【0013】
しかしながら、2つのサブフレームを合成した見かけのフレーム画像が、元のフレーム画像と同じにならない場合がある。以下、図19(a)乃至(f)を用いて説明する。
【0014】
図19(a)は、入力フレーム画像の波形例を示している。図19(b)は、この入力フレーム画像に、図18のローパスフィルタ処理部1002で得られた出力波形である。図19(c)は、図18の差分検出部1003が検出した出力波形である。高周波成分であるため、正負の値を取る。図19(d)は、元の入力波形(図19(a))に高周波成分(図19(c))を足した波形である。理論上は、120Hzの周期で、図19(b)の波形と図19(d)の波形とを交互に表示することで、見かけ上の波形は、図19(a)の波形と同じになる。しかしながら、図19(a)の低輝度レベル部分がゼロ、もしくはそれに近い値である場合、図19(d)の波形は、負の値を持つことになる。負の値の画像を表示することはできないので、実際には、図19(d)ではなく、図19(e)のように、負の値はゼロとして表示されることになる。すると、見かけの合成波形は、図19(b)と図19(e)とを交互表示することになるので、人間には、図19(f)のような波形が視覚されることになる。図19(f)に示す波形は、黒の背景に白の文字があるような場合(字幕等がこれに対応する)に、文字の輪郭がにじんだ画像として知覚されることを意味する。このように入力画像の波形によっては、分配処理後の画像が元の画像と同じに見えず、それが劣化として知覚される問題がある。
【0015】
本発明は、かかる問題点に鑑みなされたものであり、より高いフレームレートに変換した場合であっても、動画像中の静止物のエッジが劣化することを抑制する技術を提供しようとするものである。
【課題を解決するための手段】
【0016】
かかる課題を解決するため、例えば本発明の画像処理装置は以下の構成を備える。すなわち、
単位時間当たりF個のフレームで構成される動画像データを、単位時間当たり2F個のサブフレームで構成される動画像データに変換する画像処理装置であって、
フレームを単位に動画像データを入力する入力手段と、
該入力手段が入力したフレーム中の着目画素データと当該着目画素データに隣接する隣接画素データに、それぞれ乗算係数を乗算し、乗算した結果を加算することで、低周波サブフレームを生成するローパスフィルタ手段と、
前記入力手段で入力したフレームから、高周波成分データを抽出し、当該高周波成分データを前記入力手段で入力したフレームに加算することで、高周波サブフレームを生成する高周波サブフレーム生成手段と、
前記低周波サブフレーム、前記高周波サブフレームを出力する出力手段とを備え、
前記ローパスフィルタ手段は、
前記隣接画素データの輝度値X1から、前記着目画素データの輝度値X2を減算する減算手段と、
該減算手段の減算結果d1と、予め設定された0以上の閾値Thとを比較する比較手段と、
該比較手段の比較結果が、d1≦Thを示す場合、前記隣接画素データに乗算する乗算係数として、予め設定された正の乗算係数V0を選択し、
前記比較手段の比較結果が、d1>Thであった場合、前記隣接画素データに乗算する乗算係数として、前記乗算係数V0よりも小さい、正の乗算係数V1を選択する選択手段とを備える。
【発明の効果】
【0017】
本発明によれば、単位時間当たりF個のフレームで構成される動画像データを、単位時間当たり2F個のサブフレームで構成される動画像データに変換して得られた動画像中の静止物のエッジが劣化することを抑制することが可能になる。
【発明を実施するための最良の形態】
【0018】
以下、添付図面に従って本発明に係る実施形態を詳細に説明する。
【0019】
[第1の実施形態]
本第1の実施形態では、特にホールド型表示装置に好適な例を説明する。
【0020】
図1は、本第1の実施形態の画像処理装置のブロック構成図である。本装置は装置全体の制御を司る制御部500、入力端子101、ローパスフィルタ処理部102、減算器103、加算器104、フレームメモリ105、切替回路106を有する。なお、図示の各処理部の間には、タイミングを合せるためのバッファメモリが存在するが、それらは省略していることに注意されたい。
【0021】
本装置は、フレームレートF/秒の動画像を、2倍のフレームレート2F/秒の動画画像に変換する例を説明する。F/秒は例えば60フレーム/秒である。従って、1フレームの画像を入力毎に、2つのサブフレームを生成し、出力する。2つのサブフレームのうち、一方は高周波成分を含むサブフレームであるので、以降、高周波サブフレームと表現する。もう一方は、低周波成分のみを含むサブフレームであるので、以降、低周波サブフレームと表現する。
【0022】
なお、動画像の入力源としては、ビデオカメラとするが、例えばDVDメディアの映像のデコード処理後の動画像データで良く、その種類は問わない。
【0023】
また、実施形態では説明を簡単なものとするため、動画像データはモノクロ(輝度成分のみの画像)であるものとして説明する。また、1画素は8ビット(256階調)であるものとする。但し、R、G、B等のカラー動画像の場合には、各色成分毎に以下に示す処理を行なえば良いので、必ずしもモノクロである必要もない。
【0024】
先ず、低周波サブフレームの生成処理について説明する。
【0025】
LPF(ローパスフィルタ)処理部102では、入力端子101から入力した1フレームの画像データを入力し、その高周波成分を除去するフィルタ処理を行なう。このフィルタ処理の関数は、ガウス関数でもよいし、移動平均あるいは重み付け移動平均フィルタのようなものでもよい。ただし、以下の説明のように、制御部500が、フィルタリング処理する際の各値(パラメータ)が設定できるようになっている。
【0026】
図7は、第1の実施形態におけるローパスフィルタ処理部102の具体的な構成を示している。
【0027】
ローパスフィルタ102の入力端子200には、上記の通り1フレーム中の画素データがラスタースキャン順に供給される。
【0028】
遅延回路(DL)201、202は、それぞれ1画素分の遅延処理を行う。入力端子200に供給された画素データをX1、遅延回路201に格納された画素データをX2、遅延回路202に格納された画素データをX3とする。なお、以下の説明で、画素データX1、X2、X2の値も輝度値X1、X2、X3と表わすことする。実施形態におけるフィルタリング処理対象は画素データX2である。以降、この画素データX2を着目画素とも言う。
【0029】
画素データX1は、着目画素データX2の1つ後に位置するので、この画素データX1は画面上では着目画素の右隣の画素になる。また、画素データX3は、画面上では着目画素データX2の左隣の画素になる。フィルタ処理部102は、これら連続する3つの画素データに基づき、フィルタ処理を行なう。すなわち、本実施形態のフィルタ処理部102は、水平3タップ分の画素を参照してフィルタ処理を行なうものである。
【0030】
乗算器202乃至204は、輝度値X1、輝度値X2、輝度値X3に対して、以下に説明する乗算係数を乗算する。そして、加算器205は各乗算結果を加算して、着目画素X2に対するローパスフィルタ処理結果の画素データX2’を出力することになる。
【0031】
差分器300は、隣接画素データX1から着目画素データX2を減算し、その減算結果d1を算出する。
d1=X1−X2
そして、差分器300は、減算結果d1を差分として比較器302に出力する。なお、差分d1は正、負のいずれの値も取り得ることに注意されたい。
【0032】
比較器302は、制御部500により設定された閾値Thと、差分d1とを比較し、その比較結果を選択回路304に出力する。この閾値Thは、不図示の操作部からの入力に従って、制御部500が設定するものであり、“0”以上の値である。
【0033】
説明を単純にするため、ここでは閾値Th=0として説明すると、比較器302は、着目画素データX2が、それに隣接する画素データX1に対して輝度が小さいか否かを判定するものと言える。特に、閾値Thが大きければ大きいほど、隣接画素データX1に対して、着目画素データX2の輝度が十分に小さい場合を判定できることになる。
【0034】
実施形態では、d1>Thの場合(着目画素データX2の値が隣接画素データX1よりも輝度が小さい場合)、比較器302は“1”の信号を選択回路304に出力する。一方、d1≦Thの場合、比較器302は“0”の信号を選択回路304に出力する。
【0035】
選択回路304の端子307、308には、予め制御部500からフィルタ処理用の乗算係数V0、V1(いずれも正の値)が設定されている。このうち、乗算係数V0は通常の高周波成分を除去するのに十分な値である。一方、乗算係数V1は乗算係数V0よりも小さな値な値が設定されている。乗算係数V0は固定値で良いが、乗算係数V1は0≦V1<V0の範囲で、ユーザの指示に従って制御部500が設定するものとする。
【0036】
選択回路304は、比較器302からの信号が“0”の場合には、乗算係数V0を選択し、乗算器202に出力する。また、比較器302からの信号が“1”の場合には、乗数V0よりも小さな値である乗算係数V1を選択し、乗算器202に出力する。
【0037】
乗算器202は、着目画素データX2に後続して入力された隣接画素データX1に、選択回路304から供給された乗算係数(V0、V1のいずれか)を乗算する。
【0038】
上記を平たく言えば次の通りである。
【0039】
選択回路304は、着目画素データX2が、白文字のエッジの1つ外側の暗い領域に位置し、その隣の画素データX1が白文字のエッジ上に存在する場合に、小さな乗算係数V1を選択し、それ以外の条件の場合には乗算係数V0を選択する。
【0040】
上記は差分器301、比較器303、選択回路305、及び乗算器204でも同様である。すなわち、差分器301は、着目画素データX2とそれに隣接する画素データX3との差分d2:
d2=X3−X2
を算出し、算出した差分d2を比較器303に出力する。
【0041】
比較器303は、閾値Thと差分d2とを比較し、その比較結果を選択回路305に出力する。選択回路305には、選択回路304と同様に、比較器303の比較結果に基づき、制御部500から設定された乗算係数V0、V1のいずれか一方を選択し、乗算器204に出力する。より詳しくは、d2≦Thの場合には、乗算係数V0を選択し、d2>Thの場合には乗算係数V1を選択する。
【0042】
乗算器204は、着目画素データX2よりも先に入力された隣接画素データX3に、選択回路305から供給された乗算係数(V0、V1のいずれか)を乗算する。
【0043】
乗算器203は着目画素データX2に対して予め設定された乗算係数を乗算する。
【0044】
加算器205は、乗算器202、203、204の乗算結果を加算し、着目画素データX2に対するローパスフィルタ処理後の画素データX2’を出力する。
【0045】
先に説明したように入力端子200には、ラスタースキャン順に画素データが入力されるので、加算器204による加算結果の画素データで表わされるフレームは低周波サブフレームとなる。この低周波サブフレームはフレームメモリ105に一旦、格納される(図1参照)。
【0046】
要するに、閾値Thの設定によるが、着目画素データX2が白文字のエッジの1画素隣の暗い領域に位置しない場合、着目画素データX2は通常のローパスフィルタ乗算係数V0が用いられて、フィルタ処理が行われる(以下、通常ケースという)。
【0047】
一方、着目画素データX2が白文字のエッジの1画素だけ隣の暗い領域に位置する場合には、着目画素データX2は通常のローパスフィルタ乗算係数V0よりも小さな乗算係数V1が用いられて、フィルタ処理が行われる。従って、この場合、着目画素X2の値(輝度)は、上記の通常ケースと比較して、その値が大きくなることを抑制できることになる。
【0048】
次に高周波サブフレームの生成処理を説明する。
【0049】
図1に示すように、減算器103は、入力したフレームから、上記説明したローパスフィルタ処理部102で生成された低周波サブフレームを減じることで、高周波成分データ、換言すれば、高周波差分フレームを生成する。つまり、減算器103は、高周波差分フレーム生成部として機能することになる。加算器104は、この高周波差分フレームを、入力端子101からの入力フレームに加算することで、高周波成分を含む高周波サブフレームを生成し、切替回路106に出力する。つまり、減算器103、加算器104が高周波サブフレーム生成部として機能することになる。
【0050】
切替回路106は、入力した動画像のフレーム周波数の2倍、すなわち、1/120秒毎に、選択対象として供給された高周波サブフレームと低周波サブフレームを交互に出力する。出力先には、ホールド型表示装置が接続されることになる。
【0051】
次に、上記の処理を図2(a)乃至(b)の波形に基づいて説明する。
【0052】
図2(a)は入力端子101から入力したフレームの或るラインの波形を示している。同図(b)は本第1の実施形態におけるローパスフィルタ処理部102によるフィルタ処理後の低周波サブフレームの波形を示している。図示の通り、フィルタ処理後の低周波成分サブフレームの高輝度部分の幅は、入力フレームの高輝度部分の幅とほぼ等しいものとすることができる点に注意されたい。
【0053】
図2(c)は、同図(a)から同図(b)の波形を減じた波形であり、減算器103から出力される差分フレームである。また、同図(d)は加算器104が加算処理して得られた高周波サブフレームの波形を示している。
【0054】
切替回路106では、例えば入力される動画像のフレームレートが60フレーム/秒(60Hz)の場合、1/120秒(120Hz)の間隔で、図2(b)、(d)の2つのサブフレームを交互に出力する。従って、切替回路106に、ホールド型表示装置を接続した場合には、高速に2つのサブフレームが表示されるので、人間には図2(a)のような波形の映像が視覚されることになる。すなわち、60Hzの表示における入力フレームである図2(a)と同一の波形として知覚させることが可能になる。
【0055】
なお、上記はモノクロの例であったが、カラー画像の場合にも適用できる。カラー表示装置の場合、R,G,BやY,Cb,Crといった3種類の色成分に分けて処理することが多い。従って、R,G,Bの場合には、それぞれの色成分の輝度値に対して上記処理を行なえば良い。また、Y,Cb,Crの場合、人間の視覚感度上、輝度成分Yに対してのみ行えば十分であろう。
【0056】
次に、本第1の実施形態における画像処理装置の制御部500の処理内容を図3のフローチャートに従って説明する。
【0057】
まず、ステップS301で、必要な初期設定を行う。ここでは、ローパスフィルタ処理部102で利用する乗数の設定も行われる。ステップS302では、1フレーム画像を入力する。波形の例では、図2(a)がこれに相当する。次にステップS303として、ローパスフィルタ処理部102内の差分器300、301、比較器302、303等の処理回路にて制御信号を生成させることで、乗算器202、204で用いる乗算係数を決定する。次いで、ステップS304にて、ローパスフィルタ処理部102内の乗算器202、203、204、及び、加算器205によるフィルタ処理を実行することで、低周波サブフレームの生成処理を行なわせる。これにより、図2(b)の波形を有する低周波サブフレームが生成される。
【0058】
次いで、ステップS305にて、減算器103が、入力したフレームから、ローパスフィルタ処理部102で生成した低周波サブフレームを減算することで、高周波差分フレームを生成させる(図2(c)参照)。そして、ステップS306にて、加算器104が入力したフレームに、高周波サブフレームを加算することで、高周波サブフレームを生成する(図2(d)参照)。
【0059】
ステップS307にて、切替回路106は、高周波サブフレームの出力タイミングを判断し、ステップS308にて、高周波サブフレームを出力する。高周波サブフレームの出力後、切替回路106は、ステップS309にて、低周波サブフレームの出力タイミングを判断し、ステップS310にて、低周波サブフレームを出力する。ホールド型の表示装置の場合、1/120秒の間に高周波サブフレームを表示し、次の1/120秒の間に低周波サブフレームを表示することになる。1/60秒の時間平均での見かけの波形は、図2(e)のようになり、入力フレームと同じ波形となる。液晶の応答特性の改善や、バックライトを制御するなどの方法により、1/120秒よりも、短い時間でサブフレームを表示させることも可能であるが、1/60秒の時間周期で入力と見かけ上同じ波形を生成する、という本発明の特徴は何ら変わるものではない。なお、低周波サブフレーム、高周波サブフレームの出力順は、上記と逆でも構わない。
【0060】
以上説明したように本第1の実施形態によれば、入力した動画像を2倍にフレームレートの動画像に変換した場合に、その変換後の動画像をホールド型表示装置で表示させた場合、動画像中の静止物のエッジがボケることを抑制することが可能になる。
【0061】
[第2の実施形態]
次に、インパルス型表示装置に適用する例を第2の実施形態として説明する。
【0062】
図4は第2の実施形態の画像処理装置のブロック構成図である。図4において、図1と同じ機能を持つ部分には同符号を付した。図4において、図1と異なる点は分配率処理部110が追加された点と、減算器103、加算器104の代りに、減算器107が追加された点である。
【0063】
ローパスフィルタ処理部102は、第1の実施形態と同じであるので、その処理内容については第1の実施形態を参照されたい。但し、本第2の実施形態の場合、ローパスフィルタ処理部102からの低周波サブフレームが最終的なサブフレームになるものではない。すなわち、分配率処理部110で、予め設定された分配率乗数を乗算した結果が、最終的な低周波サブフレームとなる。
【0064】
インパルス型表示装置に、通常のフレームレートの2倍のフレームレートで動画像データを出力する際、2つのサブフレームによって、オリジナルの1つのフレームを再現することになるので、明るさを2つのサブフレームに分配する必要がある。そこで、分配処理部110は、ローパスフィルタ処理部102からの低周波サブフレームに乗算係数“0.5”を乗算し、その結果をフレームメモリ105に格納する。このフレームメモリ105に格納されたサブフレームが最終的な低周波サブフレームとなる。
【0065】
図5(a)は、入力したフレームの或るラインの画像データの波形を示している。ローパスフィルタ処理部102による処理結果は同図(b)のようになる。このような波形になる理由は、第1の実施形態を参照されたい。分配率処理部110は、同図(b)の波形に乗算係数“0.5”を乗算することで、明るさを1/2にした低周波サブフレームを生成し、フレームメモリ105に格納する。
【0066】
次に本第2の実施形態における高周波成分を含むサブフレーム(高周波サブフレーム)の生成処理を説明する。
【0067】
減算器107は、入力フレームからフレームから、分配率処理部110で生成された低周波サブフレームを減じる。図5を用いて説明すると、減算器107は、図5(a)の波形から、同図(c)の波形を減じる処理を行なうことになる。この減算結果は、同図(d)の波形、すなわち、高周波サブフレームとなる。
【0068】
切替回路106では、所望のタイミング、例えば入力した動画像が60Hzの場合、120Hzの周期で、2つのサブフレームを交互に表示する。図5(d)の高周波サブフレームと図5(c)の低周波サブフレームを高速に交互表示すると、人間には図5(e)のように見えることとなり、60Hz表示における入力フレーム図5(a)と同一の波形として知覚されることになる。
【0069】
このように、ホールド型とインパルス型では、サブフレームの生成形態が異なるが、入力フレームから低周波成分のみを含むサブフレームを減じた場合に、負値を取らないという点が、本発明に共通する処理である。
【0070】
次に、本第2の実施形態における制御部500の処理内容を図6のフローチャートに従って説明する。
【0071】
まず、ステップS601で、必要な初期設定を行う。これは、ローパスフィルタ処理部102における乗算係数や閾値の設定が含まれる。なお、フィルタのタップ数が設定できるのであれば、それも併せて設定する。
【0072】
次に、ステップS602では、1フレーム分の画像を入力する。波形の例では、図5(a)がこれに相当する。次にステップS603として、ローパスフィルタ処理部102によるフィルタ処理を実行させる。図5(b)は、図5(a)にローパスフィルタ処理した結果の波形である。
【0073】
次にステップS605で分配率処理部110による分配率処理を行なわせる。この処理は、低周波サブフレームを全体の何%にするかを決定する処理でもある。ここでは、画素値に関係なく一律50%として説明する。図5(c)は、図5(b)の波形に0.5を乗じて、半分の明るさに減じた波形であり、最終的な低周波サブフレームでもある。
【0074】
次に、ステップS606にて、もうひとつのサブフレームである高周波サブフレームを生成する。このため、減算器107は、入力フレームから、分配率処理部110で生成された低周波サブフレームを減じる処理を行なう。図5(d)が、その減算結果の波形を示しており、これが高周波サブフレームとなる。この差分波形には、負の値を生じないという点が、本発明の特徴部分である。
【0075】
次にステップS607にて、切替回路106は、高周波サブフレームの出力タイミングを判断し、ステップS608にて、高周波サブフレームを出力する。この高周波サブフレームを出力後にステップS609にて、今度は低周波サブフレームの出力タイミングを判断し、ステップS610にて、低周波サブフレームを出力する。各サブフレームは、どちらを先に表示しなければならない、ということはない。インパルス型の表示装置の場合、最初の1/120秒の瞬間に一方のサブフレームを表示し、次の1/120秒の瞬間にもう1つのサブフレームを表示することになる。結果、1/60秒の時間平均での見かけの波形は、図5(e)のようになり、入力フレームと同じ波形となる。
【0076】
以上説明したように、本第2の実施形態の場合、インパルス型表示装置に適用した場合であっても、第1の実施形態と同様の作用効果を奏することが可能になる。
【0077】
[第3の実施形態]
第1,第2の実施形態におけるローパスフィルタ処理部102の他の構成を図8に示す。
【0078】
図8と図7の違いは、その配線にある。以下、図8の構成について説明する。
【0079】
差分器300、301、比較器302、305については、図7と同じである。
【0080】
選択回路304は、比較器302からの信号が“1”の場合、すなわち、着目画素データX2が、その隣の画素データX1よりも小さい場合、着目画素データX2を選択し、乗算器202に出力する。また、選択回路304は、比較器302からの信号が“0”の場合、すなわち、着目画素データX2が、その隣の画素データX1の値以上の場合には、隣接画素データX1を選択し、乗算器202に出力する。
【0081】
一方、選択回路305は、比較器303からの信号が“1”の場合、すなわち、着目画素データX2が、その隣の画素データX3よりも小さい場合、着目画素データX2を選択し、乗算器204に出力する。また、選択回路305は、比較器303からの信号が“0”の場合、すなわち、着目画素データX2が、その隣の画素データX3の値以上の場合には、隣接画素データX3を選択し、乗算器204に出力する。
【0082】
乗算器202、203、204はそれぞれ、予め設定された固定の乗算係数(いずれも0以上1未満の値)を、入力した画素データの値に乗算する。加算器205は、各乗算器の乗算結果を入力し、それらを合算し、その結果を着目画素データX2のローパスフィルタ処理後の画素データX2’として出力する。
【0083】
上記の構成によれば、図7の構成と同様、着目画素データX2が白文字のエッジの1画素だけ隣の暗い領域に位置する場合には、着目画素データX2の値(輝度)が、大きくなることを抑制できることになる。従って、第1,第2の実施形態に適用した場合、動画像中の静止物のエッジがボケることを改善できる。
【0084】
なお、図8の構成中の差分器300、301では、差分d1、d2を算出したが、その絶対値を算出しても良い。
【0085】
[第4の実施形態]
上記第1乃至第3の実施形態をコンピュータが読込み実行するコンピュータプログラムでもって処理する例を、第4の実施形態として説明する。
【0086】
図9は、一般的なコンピュータ(パーソナルコンピュータ)のブロック構成図である。このコンピュータは、図示の通り、装置全体の制御を司るCPU2002、BIOS及びブートプログラムを格納したROM2003、CPU2002のワークエリアや実行すべきアプリケーションプログラムをロードするためのRAM2004を備える。また、コンピュータは、ネットワークインタフェース2005、キーボードやマウス等の入力装置2006、表示装置等の出力装置2007、ハードディスク等の外部記憶装置2008も備える。これらの構成要素は、システムバス2001を介して互いに接続されている。
【0087】
本装置の電源をONにすると、CPU2002はROM2003に格納されたブートプログラムに従って、外部記憶装置2008内のOS(オペレーティングシステム)をRAM2004にロードし、そのOSを起動する。この結果、本装置が情報処理装置として機能する。その後、ユーザが入力装置2006を操作し、動画像変換用のアプリケーションの起動指示を与えると、CPU2002は外部記憶装置2008から該当する動画像変換用のアプリケーションプログラムをRAM2004にロードし、実行する。この結果、本装置が画像処理装置として機能する。
【0088】
画像処理装置として機能した場合、CPU2002は、例えば、外部記憶装置2008に格納された変換対象の動画像データファイル(ユーザが指定するものとする)から1フレームずつ入力する。そして。CPU2002は、第1乃至第3の実施形態と同様な処理で得られた低周波サブフレーム、高周波サブフレームを生成し、動画像ファイルとしてハードディスク等に格納する処理を行なう。なお、2倍速の出力先はファイルとして保存するのではなく、表示装置に出力しても良い。
【0089】
特に、2倍速に変換した動画像をファイルとして保存する場合には、リアルタイム再生は不要である。従って、CPU2002の処理能力に依存した速度で2倍速動画像ファイルを作成すれば良い。従って、図3のステップS307、S309、又は、図6のステップS607、S609のタイミング合せのステップは不要となる。
【0090】
以上説明したように、コンピュータプログラムにしたがってコンピュータが、第1乃至第3の実施形態と同様の処理を行なうことが可能である。
【0091】
また、通常、コンピュータプログラムは、CD−ROMやメモリカード等、コンピュータ可読記憶媒体に格納されている。そして、そのコンピュータ可読記憶媒体をコンピュータが有する読取り装置(CD−ROMドライブやメモリカードリーダ)にセットし、システムにコピーもしくはインストールすることで実行可能になる。従って、かかるコンピュータプログラムを格納したコンピュータ可読記憶媒体も本発明の範疇にあることは明らかである。
【図面の簡単な説明】
【0092】
【図1】第1の実施形態における画像処理装置のブロック構成図である。
【図2】第1の実施形態における各処理段階での波形を示す図である。
【図3】第1の実施形態における処理の流れを示すフローチャートである。
【図4】第2の実施形態における画像処理装置のブロック構成図である。
【図5】第2の実施形態における各処理段階での波形を示す図である。
【図6】第3の実施形態における処理の流れを示すフローチャートである。
【図7】第1,第2の実施形態におけるローパスフィルタ処理部のブロック構成図である。
【図8】第3の実施形態におけるローパスフィルタ処理部のブロック構成図である。
【図9】第4の実施形態のコンピュータのハードウエア構成例を示すブロック図である。
【図10】ホールド型表示装置の発光時間を説明する図である。
【図11】ホールド型表示装置の動特性を説明する図である。
【図12】ホールド型表示装置の倍速駆動における発光時間を説明する図である。
【図13】ホールド型表示装置の倍速駆動における動特性を説明する図である。
【図14】インパルス型表示装置の発光時間を説明する図である。
【図15】インパルス型表示装置の動特性を説明する図である。
【図16】インパルス型表示装置の倍速駆動における発光時間を説明する図である。
【図17】インパルス型表示装置の倍速駆動における動特性を説明する図である。
【図18】従来の回路構成を説明する図である。
【図19】従来方法による処理波形を説明する図である。
【技術分野】
【0001】
本発明は、入力した動画像データを、更に高いフレームレートの動画像データに変換する技術に関するものである。
【背景技術】
【0002】
テレビジョン受像機に代表される動画像の表示装置には、CRTが長年用いられてきたが、近年では液晶デバイスを用いた薄型パネルが主流となりつつある。図10を用いて液晶デバイスの特徴を説明する。図10の水平軸は時間を、垂直軸は画素の明るさを示している。ここでのフレームレートは60フレーム/秒である。同図が示すように、液晶デバイスの場合は、1フレームに対して1/60秒の期間、発光を持続する。このため、液晶デバイスは「ホールド型」のデバイスと呼ばれている。
【0003】
ホールド型のデバイスは、動きに対し、ボケを生じやすいという欠点を有している。図11はその説明図である。図11の水平軸は画面上の位置を、垂直軸は時間を示している。この図は矩形の波形が画面の左から右に向かって移動する例である。このような動きを眼で追う場合、眼が追従する動きに対して、1/60秒の間、画素が同じ位置に留まった状態が、動きに対する相対的な遅れとなる。ホールド時間が長いと、この遅れの幅が広くなり、画面上では、動きのボケとして知覚されることとなる。図11の一番下の図は、追従視している時の見え方を示したものであり、エッジ部分で、ある幅をもったボケが検知されることを示している。
【0004】
動きボケ対策の一例として、駆動周波数を上げ、ホールド時間を短くする方法がある。図12は、2倍の120Hzで表示する例である。
【0005】
また、2倍のフレームレートにするために、入力画像を高域成分を含む画像と低周波成分のみを含む画像を時間方向に分割して表示する手法も知られている。図13は、この方法により駆動分配した画像の動特性である。図11と比較してわかるように、動きボケは大幅に低減されている。
【0006】
また、CRTと同様な発光特性をもつデバイスとして、フィールドエミッションタイプの表示装置の開発も進んでいる。図14は、これらデバイスの発光特性の説明図である。図10と同様、水平軸が時間、垂直軸が画素の明るさを示している。このタイプの表示装置は、1/60秒のうちの或る一瞬だけ発光するので、「インパルス型」と呼ばれている。
【0007】
インパルス型のデバイスは、1/60の周期で、発光の有無を繰り返すので、この点滅をフリッカとして知覚しやすいという欠点を有している。フリッカは面積が大きくなるほど目立ちやすいという特性があるため、近年活発な、表示装置大画面化の流れの中では、特に問題となりやすい。
【0008】
図15は、インパルス型デバイスの動特性を示している。ホールド型の特性と違い、残像となるような動きボケが発生しないことが最大の特徴となっている。
【0009】
フリッカ対策の一例としても、駆動周波数を上げることが考えられる。図16は、2倍の120Hzで表示する例である。インパルス型の場合は、1回の明るさの半分のレベルを2回表示することで、同等の明るさを得ることができる。
【0010】
図17は、高域成分を含む画像と低周波成分のみを含む画像を時間方向に分割して表示する場合の動特性である。単純に2回ずつ同じフレームを表示すると、2重写りとなってしまうが、高域側のみを1回表示させることにより、低周波成分に起因するボケのみで、視覚的な劣化は抑制される。
【0011】
上記の通り、ホールド型の表示装置における動きボケ対策、及び、インパルス型の表示装置におけるフリッカ対策としての周波数成分によりフレーム画像を2つのサブフレームに分配する方法は、効果的である。
【0012】
ホールド型の倍速駆動を実現する方法の一例としては、特許文献1が知られている。この特許文献1における回路構成の一部を図18に示す。入力フレームに対し、ローパスフィルタ処理部102では、低周波成分のみを含むサブフレームを生成する。この低周波成分のみのサブフレームは一旦フレームメモリ1004に格納される。一方、差分検出部1003は、入力フレームからローパスフィルタ処理部1002で生成した低周波成分のみを含むサブフレームを減算、すなわち、差分を検出し、高周波成分を抽出する。ここで生成された高周波成分を入力フレームに足すことにより、高周波成分を強調したサブフレームを得る。切替回路1005では、フレームメモリ1004に格納された低周波サブフレームと、高周波サブフレームとを、120Hzの周期で切り替えて後段の処理に送る。高周波成分を除いたサブフレームと高周波成分を強調したサブフレームを交互に表示することで、60Hzの時間周期で見た場合は、元のフレーム画像が再現されていることになる。
【特許文献1】特開2006−184896号公報
【発明の開示】
【発明が解決しようとする課題】
【0013】
しかしながら、2つのサブフレームを合成した見かけのフレーム画像が、元のフレーム画像と同じにならない場合がある。以下、図19(a)乃至(f)を用いて説明する。
【0014】
図19(a)は、入力フレーム画像の波形例を示している。図19(b)は、この入力フレーム画像に、図18のローパスフィルタ処理部1002で得られた出力波形である。図19(c)は、図18の差分検出部1003が検出した出力波形である。高周波成分であるため、正負の値を取る。図19(d)は、元の入力波形(図19(a))に高周波成分(図19(c))を足した波形である。理論上は、120Hzの周期で、図19(b)の波形と図19(d)の波形とを交互に表示することで、見かけ上の波形は、図19(a)の波形と同じになる。しかしながら、図19(a)の低輝度レベル部分がゼロ、もしくはそれに近い値である場合、図19(d)の波形は、負の値を持つことになる。負の値の画像を表示することはできないので、実際には、図19(d)ではなく、図19(e)のように、負の値はゼロとして表示されることになる。すると、見かけの合成波形は、図19(b)と図19(e)とを交互表示することになるので、人間には、図19(f)のような波形が視覚されることになる。図19(f)に示す波形は、黒の背景に白の文字があるような場合(字幕等がこれに対応する)に、文字の輪郭がにじんだ画像として知覚されることを意味する。このように入力画像の波形によっては、分配処理後の画像が元の画像と同じに見えず、それが劣化として知覚される問題がある。
【0015】
本発明は、かかる問題点に鑑みなされたものであり、より高いフレームレートに変換した場合であっても、動画像中の静止物のエッジが劣化することを抑制する技術を提供しようとするものである。
【課題を解決するための手段】
【0016】
かかる課題を解決するため、例えば本発明の画像処理装置は以下の構成を備える。すなわち、
単位時間当たりF個のフレームで構成される動画像データを、単位時間当たり2F個のサブフレームで構成される動画像データに変換する画像処理装置であって、
フレームを単位に動画像データを入力する入力手段と、
該入力手段が入力したフレーム中の着目画素データと当該着目画素データに隣接する隣接画素データに、それぞれ乗算係数を乗算し、乗算した結果を加算することで、低周波サブフレームを生成するローパスフィルタ手段と、
前記入力手段で入力したフレームから、高周波成分データを抽出し、当該高周波成分データを前記入力手段で入力したフレームに加算することで、高周波サブフレームを生成する高周波サブフレーム生成手段と、
前記低周波サブフレーム、前記高周波サブフレームを出力する出力手段とを備え、
前記ローパスフィルタ手段は、
前記隣接画素データの輝度値X1から、前記着目画素データの輝度値X2を減算する減算手段と、
該減算手段の減算結果d1と、予め設定された0以上の閾値Thとを比較する比較手段と、
該比較手段の比較結果が、d1≦Thを示す場合、前記隣接画素データに乗算する乗算係数として、予め設定された正の乗算係数V0を選択し、
前記比較手段の比較結果が、d1>Thであった場合、前記隣接画素データに乗算する乗算係数として、前記乗算係数V0よりも小さい、正の乗算係数V1を選択する選択手段とを備える。
【発明の効果】
【0017】
本発明によれば、単位時間当たりF個のフレームで構成される動画像データを、単位時間当たり2F個のサブフレームで構成される動画像データに変換して得られた動画像中の静止物のエッジが劣化することを抑制することが可能になる。
【発明を実施するための最良の形態】
【0018】
以下、添付図面に従って本発明に係る実施形態を詳細に説明する。
【0019】
[第1の実施形態]
本第1の実施形態では、特にホールド型表示装置に好適な例を説明する。
【0020】
図1は、本第1の実施形態の画像処理装置のブロック構成図である。本装置は装置全体の制御を司る制御部500、入力端子101、ローパスフィルタ処理部102、減算器103、加算器104、フレームメモリ105、切替回路106を有する。なお、図示の各処理部の間には、タイミングを合せるためのバッファメモリが存在するが、それらは省略していることに注意されたい。
【0021】
本装置は、フレームレートF/秒の動画像を、2倍のフレームレート2F/秒の動画画像に変換する例を説明する。F/秒は例えば60フレーム/秒である。従って、1フレームの画像を入力毎に、2つのサブフレームを生成し、出力する。2つのサブフレームのうち、一方は高周波成分を含むサブフレームであるので、以降、高周波サブフレームと表現する。もう一方は、低周波成分のみを含むサブフレームであるので、以降、低周波サブフレームと表現する。
【0022】
なお、動画像の入力源としては、ビデオカメラとするが、例えばDVDメディアの映像のデコード処理後の動画像データで良く、その種類は問わない。
【0023】
また、実施形態では説明を簡単なものとするため、動画像データはモノクロ(輝度成分のみの画像)であるものとして説明する。また、1画素は8ビット(256階調)であるものとする。但し、R、G、B等のカラー動画像の場合には、各色成分毎に以下に示す処理を行なえば良いので、必ずしもモノクロである必要もない。
【0024】
先ず、低周波サブフレームの生成処理について説明する。
【0025】
LPF(ローパスフィルタ)処理部102では、入力端子101から入力した1フレームの画像データを入力し、その高周波成分を除去するフィルタ処理を行なう。このフィルタ処理の関数は、ガウス関数でもよいし、移動平均あるいは重み付け移動平均フィルタのようなものでもよい。ただし、以下の説明のように、制御部500が、フィルタリング処理する際の各値(パラメータ)が設定できるようになっている。
【0026】
図7は、第1の実施形態におけるローパスフィルタ処理部102の具体的な構成を示している。
【0027】
ローパスフィルタ102の入力端子200には、上記の通り1フレーム中の画素データがラスタースキャン順に供給される。
【0028】
遅延回路(DL)201、202は、それぞれ1画素分の遅延処理を行う。入力端子200に供給された画素データをX1、遅延回路201に格納された画素データをX2、遅延回路202に格納された画素データをX3とする。なお、以下の説明で、画素データX1、X2、X2の値も輝度値X1、X2、X3と表わすことする。実施形態におけるフィルタリング処理対象は画素データX2である。以降、この画素データX2を着目画素とも言う。
【0029】
画素データX1は、着目画素データX2の1つ後に位置するので、この画素データX1は画面上では着目画素の右隣の画素になる。また、画素データX3は、画面上では着目画素データX2の左隣の画素になる。フィルタ処理部102は、これら連続する3つの画素データに基づき、フィルタ処理を行なう。すなわち、本実施形態のフィルタ処理部102は、水平3タップ分の画素を参照してフィルタ処理を行なうものである。
【0030】
乗算器202乃至204は、輝度値X1、輝度値X2、輝度値X3に対して、以下に説明する乗算係数を乗算する。そして、加算器205は各乗算結果を加算して、着目画素X2に対するローパスフィルタ処理結果の画素データX2’を出力することになる。
【0031】
差分器300は、隣接画素データX1から着目画素データX2を減算し、その減算結果d1を算出する。
d1=X1−X2
そして、差分器300は、減算結果d1を差分として比較器302に出力する。なお、差分d1は正、負のいずれの値も取り得ることに注意されたい。
【0032】
比較器302は、制御部500により設定された閾値Thと、差分d1とを比較し、その比較結果を選択回路304に出力する。この閾値Thは、不図示の操作部からの入力に従って、制御部500が設定するものであり、“0”以上の値である。
【0033】
説明を単純にするため、ここでは閾値Th=0として説明すると、比較器302は、着目画素データX2が、それに隣接する画素データX1に対して輝度が小さいか否かを判定するものと言える。特に、閾値Thが大きければ大きいほど、隣接画素データX1に対して、着目画素データX2の輝度が十分に小さい場合を判定できることになる。
【0034】
実施形態では、d1>Thの場合(着目画素データX2の値が隣接画素データX1よりも輝度が小さい場合)、比較器302は“1”の信号を選択回路304に出力する。一方、d1≦Thの場合、比較器302は“0”の信号を選択回路304に出力する。
【0035】
選択回路304の端子307、308には、予め制御部500からフィルタ処理用の乗算係数V0、V1(いずれも正の値)が設定されている。このうち、乗算係数V0は通常の高周波成分を除去するのに十分な値である。一方、乗算係数V1は乗算係数V0よりも小さな値な値が設定されている。乗算係数V0は固定値で良いが、乗算係数V1は0≦V1<V0の範囲で、ユーザの指示に従って制御部500が設定するものとする。
【0036】
選択回路304は、比較器302からの信号が“0”の場合には、乗算係数V0を選択し、乗算器202に出力する。また、比較器302からの信号が“1”の場合には、乗数V0よりも小さな値である乗算係数V1を選択し、乗算器202に出力する。
【0037】
乗算器202は、着目画素データX2に後続して入力された隣接画素データX1に、選択回路304から供給された乗算係数(V0、V1のいずれか)を乗算する。
【0038】
上記を平たく言えば次の通りである。
【0039】
選択回路304は、着目画素データX2が、白文字のエッジの1つ外側の暗い領域に位置し、その隣の画素データX1が白文字のエッジ上に存在する場合に、小さな乗算係数V1を選択し、それ以外の条件の場合には乗算係数V0を選択する。
【0040】
上記は差分器301、比較器303、選択回路305、及び乗算器204でも同様である。すなわち、差分器301は、着目画素データX2とそれに隣接する画素データX3との差分d2:
d2=X3−X2
を算出し、算出した差分d2を比較器303に出力する。
【0041】
比較器303は、閾値Thと差分d2とを比較し、その比較結果を選択回路305に出力する。選択回路305には、選択回路304と同様に、比較器303の比較結果に基づき、制御部500から設定された乗算係数V0、V1のいずれか一方を選択し、乗算器204に出力する。より詳しくは、d2≦Thの場合には、乗算係数V0を選択し、d2>Thの場合には乗算係数V1を選択する。
【0042】
乗算器204は、着目画素データX2よりも先に入力された隣接画素データX3に、選択回路305から供給された乗算係数(V0、V1のいずれか)を乗算する。
【0043】
乗算器203は着目画素データX2に対して予め設定された乗算係数を乗算する。
【0044】
加算器205は、乗算器202、203、204の乗算結果を加算し、着目画素データX2に対するローパスフィルタ処理後の画素データX2’を出力する。
【0045】
先に説明したように入力端子200には、ラスタースキャン順に画素データが入力されるので、加算器204による加算結果の画素データで表わされるフレームは低周波サブフレームとなる。この低周波サブフレームはフレームメモリ105に一旦、格納される(図1参照)。
【0046】
要するに、閾値Thの設定によるが、着目画素データX2が白文字のエッジの1画素隣の暗い領域に位置しない場合、着目画素データX2は通常のローパスフィルタ乗算係数V0が用いられて、フィルタ処理が行われる(以下、通常ケースという)。
【0047】
一方、着目画素データX2が白文字のエッジの1画素だけ隣の暗い領域に位置する場合には、着目画素データX2は通常のローパスフィルタ乗算係数V0よりも小さな乗算係数V1が用いられて、フィルタ処理が行われる。従って、この場合、着目画素X2の値(輝度)は、上記の通常ケースと比較して、その値が大きくなることを抑制できることになる。
【0048】
次に高周波サブフレームの生成処理を説明する。
【0049】
図1に示すように、減算器103は、入力したフレームから、上記説明したローパスフィルタ処理部102で生成された低周波サブフレームを減じることで、高周波成分データ、換言すれば、高周波差分フレームを生成する。つまり、減算器103は、高周波差分フレーム生成部として機能することになる。加算器104は、この高周波差分フレームを、入力端子101からの入力フレームに加算することで、高周波成分を含む高周波サブフレームを生成し、切替回路106に出力する。つまり、減算器103、加算器104が高周波サブフレーム生成部として機能することになる。
【0050】
切替回路106は、入力した動画像のフレーム周波数の2倍、すなわち、1/120秒毎に、選択対象として供給された高周波サブフレームと低周波サブフレームを交互に出力する。出力先には、ホールド型表示装置が接続されることになる。
【0051】
次に、上記の処理を図2(a)乃至(b)の波形に基づいて説明する。
【0052】
図2(a)は入力端子101から入力したフレームの或るラインの波形を示している。同図(b)は本第1の実施形態におけるローパスフィルタ処理部102によるフィルタ処理後の低周波サブフレームの波形を示している。図示の通り、フィルタ処理後の低周波成分サブフレームの高輝度部分の幅は、入力フレームの高輝度部分の幅とほぼ等しいものとすることができる点に注意されたい。
【0053】
図2(c)は、同図(a)から同図(b)の波形を減じた波形であり、減算器103から出力される差分フレームである。また、同図(d)は加算器104が加算処理して得られた高周波サブフレームの波形を示している。
【0054】
切替回路106では、例えば入力される動画像のフレームレートが60フレーム/秒(60Hz)の場合、1/120秒(120Hz)の間隔で、図2(b)、(d)の2つのサブフレームを交互に出力する。従って、切替回路106に、ホールド型表示装置を接続した場合には、高速に2つのサブフレームが表示されるので、人間には図2(a)のような波形の映像が視覚されることになる。すなわち、60Hzの表示における入力フレームである図2(a)と同一の波形として知覚させることが可能になる。
【0055】
なお、上記はモノクロの例であったが、カラー画像の場合にも適用できる。カラー表示装置の場合、R,G,BやY,Cb,Crといった3種類の色成分に分けて処理することが多い。従って、R,G,Bの場合には、それぞれの色成分の輝度値に対して上記処理を行なえば良い。また、Y,Cb,Crの場合、人間の視覚感度上、輝度成分Yに対してのみ行えば十分であろう。
【0056】
次に、本第1の実施形態における画像処理装置の制御部500の処理内容を図3のフローチャートに従って説明する。
【0057】
まず、ステップS301で、必要な初期設定を行う。ここでは、ローパスフィルタ処理部102で利用する乗数の設定も行われる。ステップS302では、1フレーム画像を入力する。波形の例では、図2(a)がこれに相当する。次にステップS303として、ローパスフィルタ処理部102内の差分器300、301、比較器302、303等の処理回路にて制御信号を生成させることで、乗算器202、204で用いる乗算係数を決定する。次いで、ステップS304にて、ローパスフィルタ処理部102内の乗算器202、203、204、及び、加算器205によるフィルタ処理を実行することで、低周波サブフレームの生成処理を行なわせる。これにより、図2(b)の波形を有する低周波サブフレームが生成される。
【0058】
次いで、ステップS305にて、減算器103が、入力したフレームから、ローパスフィルタ処理部102で生成した低周波サブフレームを減算することで、高周波差分フレームを生成させる(図2(c)参照)。そして、ステップS306にて、加算器104が入力したフレームに、高周波サブフレームを加算することで、高周波サブフレームを生成する(図2(d)参照)。
【0059】
ステップS307にて、切替回路106は、高周波サブフレームの出力タイミングを判断し、ステップS308にて、高周波サブフレームを出力する。高周波サブフレームの出力後、切替回路106は、ステップS309にて、低周波サブフレームの出力タイミングを判断し、ステップS310にて、低周波サブフレームを出力する。ホールド型の表示装置の場合、1/120秒の間に高周波サブフレームを表示し、次の1/120秒の間に低周波サブフレームを表示することになる。1/60秒の時間平均での見かけの波形は、図2(e)のようになり、入力フレームと同じ波形となる。液晶の応答特性の改善や、バックライトを制御するなどの方法により、1/120秒よりも、短い時間でサブフレームを表示させることも可能であるが、1/60秒の時間周期で入力と見かけ上同じ波形を生成する、という本発明の特徴は何ら変わるものではない。なお、低周波サブフレーム、高周波サブフレームの出力順は、上記と逆でも構わない。
【0060】
以上説明したように本第1の実施形態によれば、入力した動画像を2倍にフレームレートの動画像に変換した場合に、その変換後の動画像をホールド型表示装置で表示させた場合、動画像中の静止物のエッジがボケることを抑制することが可能になる。
【0061】
[第2の実施形態]
次に、インパルス型表示装置に適用する例を第2の実施形態として説明する。
【0062】
図4は第2の実施形態の画像処理装置のブロック構成図である。図4において、図1と同じ機能を持つ部分には同符号を付した。図4において、図1と異なる点は分配率処理部110が追加された点と、減算器103、加算器104の代りに、減算器107が追加された点である。
【0063】
ローパスフィルタ処理部102は、第1の実施形態と同じであるので、その処理内容については第1の実施形態を参照されたい。但し、本第2の実施形態の場合、ローパスフィルタ処理部102からの低周波サブフレームが最終的なサブフレームになるものではない。すなわち、分配率処理部110で、予め設定された分配率乗数を乗算した結果が、最終的な低周波サブフレームとなる。
【0064】
インパルス型表示装置に、通常のフレームレートの2倍のフレームレートで動画像データを出力する際、2つのサブフレームによって、オリジナルの1つのフレームを再現することになるので、明るさを2つのサブフレームに分配する必要がある。そこで、分配処理部110は、ローパスフィルタ処理部102からの低周波サブフレームに乗算係数“0.5”を乗算し、その結果をフレームメモリ105に格納する。このフレームメモリ105に格納されたサブフレームが最終的な低周波サブフレームとなる。
【0065】
図5(a)は、入力したフレームの或るラインの画像データの波形を示している。ローパスフィルタ処理部102による処理結果は同図(b)のようになる。このような波形になる理由は、第1の実施形態を参照されたい。分配率処理部110は、同図(b)の波形に乗算係数“0.5”を乗算することで、明るさを1/2にした低周波サブフレームを生成し、フレームメモリ105に格納する。
【0066】
次に本第2の実施形態における高周波成分を含むサブフレーム(高周波サブフレーム)の生成処理を説明する。
【0067】
減算器107は、入力フレームからフレームから、分配率処理部110で生成された低周波サブフレームを減じる。図5を用いて説明すると、減算器107は、図5(a)の波形から、同図(c)の波形を減じる処理を行なうことになる。この減算結果は、同図(d)の波形、すなわち、高周波サブフレームとなる。
【0068】
切替回路106では、所望のタイミング、例えば入力した動画像が60Hzの場合、120Hzの周期で、2つのサブフレームを交互に表示する。図5(d)の高周波サブフレームと図5(c)の低周波サブフレームを高速に交互表示すると、人間には図5(e)のように見えることとなり、60Hz表示における入力フレーム図5(a)と同一の波形として知覚されることになる。
【0069】
このように、ホールド型とインパルス型では、サブフレームの生成形態が異なるが、入力フレームから低周波成分のみを含むサブフレームを減じた場合に、負値を取らないという点が、本発明に共通する処理である。
【0070】
次に、本第2の実施形態における制御部500の処理内容を図6のフローチャートに従って説明する。
【0071】
まず、ステップS601で、必要な初期設定を行う。これは、ローパスフィルタ処理部102における乗算係数や閾値の設定が含まれる。なお、フィルタのタップ数が設定できるのであれば、それも併せて設定する。
【0072】
次に、ステップS602では、1フレーム分の画像を入力する。波形の例では、図5(a)がこれに相当する。次にステップS603として、ローパスフィルタ処理部102によるフィルタ処理を実行させる。図5(b)は、図5(a)にローパスフィルタ処理した結果の波形である。
【0073】
次にステップS605で分配率処理部110による分配率処理を行なわせる。この処理は、低周波サブフレームを全体の何%にするかを決定する処理でもある。ここでは、画素値に関係なく一律50%として説明する。図5(c)は、図5(b)の波形に0.5を乗じて、半分の明るさに減じた波形であり、最終的な低周波サブフレームでもある。
【0074】
次に、ステップS606にて、もうひとつのサブフレームである高周波サブフレームを生成する。このため、減算器107は、入力フレームから、分配率処理部110で生成された低周波サブフレームを減じる処理を行なう。図5(d)が、その減算結果の波形を示しており、これが高周波サブフレームとなる。この差分波形には、負の値を生じないという点が、本発明の特徴部分である。
【0075】
次にステップS607にて、切替回路106は、高周波サブフレームの出力タイミングを判断し、ステップS608にて、高周波サブフレームを出力する。この高周波サブフレームを出力後にステップS609にて、今度は低周波サブフレームの出力タイミングを判断し、ステップS610にて、低周波サブフレームを出力する。各サブフレームは、どちらを先に表示しなければならない、ということはない。インパルス型の表示装置の場合、最初の1/120秒の瞬間に一方のサブフレームを表示し、次の1/120秒の瞬間にもう1つのサブフレームを表示することになる。結果、1/60秒の時間平均での見かけの波形は、図5(e)のようになり、入力フレームと同じ波形となる。
【0076】
以上説明したように、本第2の実施形態の場合、インパルス型表示装置に適用した場合であっても、第1の実施形態と同様の作用効果を奏することが可能になる。
【0077】
[第3の実施形態]
第1,第2の実施形態におけるローパスフィルタ処理部102の他の構成を図8に示す。
【0078】
図8と図7の違いは、その配線にある。以下、図8の構成について説明する。
【0079】
差分器300、301、比較器302、305については、図7と同じである。
【0080】
選択回路304は、比較器302からの信号が“1”の場合、すなわち、着目画素データX2が、その隣の画素データX1よりも小さい場合、着目画素データX2を選択し、乗算器202に出力する。また、選択回路304は、比較器302からの信号が“0”の場合、すなわち、着目画素データX2が、その隣の画素データX1の値以上の場合には、隣接画素データX1を選択し、乗算器202に出力する。
【0081】
一方、選択回路305は、比較器303からの信号が“1”の場合、すなわち、着目画素データX2が、その隣の画素データX3よりも小さい場合、着目画素データX2を選択し、乗算器204に出力する。また、選択回路305は、比較器303からの信号が“0”の場合、すなわち、着目画素データX2が、その隣の画素データX3の値以上の場合には、隣接画素データX3を選択し、乗算器204に出力する。
【0082】
乗算器202、203、204はそれぞれ、予め設定された固定の乗算係数(いずれも0以上1未満の値)を、入力した画素データの値に乗算する。加算器205は、各乗算器の乗算結果を入力し、それらを合算し、その結果を着目画素データX2のローパスフィルタ処理後の画素データX2’として出力する。
【0083】
上記の構成によれば、図7の構成と同様、着目画素データX2が白文字のエッジの1画素だけ隣の暗い領域に位置する場合には、着目画素データX2の値(輝度)が、大きくなることを抑制できることになる。従って、第1,第2の実施形態に適用した場合、動画像中の静止物のエッジがボケることを改善できる。
【0084】
なお、図8の構成中の差分器300、301では、差分d1、d2を算出したが、その絶対値を算出しても良い。
【0085】
[第4の実施形態]
上記第1乃至第3の実施形態をコンピュータが読込み実行するコンピュータプログラムでもって処理する例を、第4の実施形態として説明する。
【0086】
図9は、一般的なコンピュータ(パーソナルコンピュータ)のブロック構成図である。このコンピュータは、図示の通り、装置全体の制御を司るCPU2002、BIOS及びブートプログラムを格納したROM2003、CPU2002のワークエリアや実行すべきアプリケーションプログラムをロードするためのRAM2004を備える。また、コンピュータは、ネットワークインタフェース2005、キーボードやマウス等の入力装置2006、表示装置等の出力装置2007、ハードディスク等の外部記憶装置2008も備える。これらの構成要素は、システムバス2001を介して互いに接続されている。
【0087】
本装置の電源をONにすると、CPU2002はROM2003に格納されたブートプログラムに従って、外部記憶装置2008内のOS(オペレーティングシステム)をRAM2004にロードし、そのOSを起動する。この結果、本装置が情報処理装置として機能する。その後、ユーザが入力装置2006を操作し、動画像変換用のアプリケーションの起動指示を与えると、CPU2002は外部記憶装置2008から該当する動画像変換用のアプリケーションプログラムをRAM2004にロードし、実行する。この結果、本装置が画像処理装置として機能する。
【0088】
画像処理装置として機能した場合、CPU2002は、例えば、外部記憶装置2008に格納された変換対象の動画像データファイル(ユーザが指定するものとする)から1フレームずつ入力する。そして。CPU2002は、第1乃至第3の実施形態と同様な処理で得られた低周波サブフレーム、高周波サブフレームを生成し、動画像ファイルとしてハードディスク等に格納する処理を行なう。なお、2倍速の出力先はファイルとして保存するのではなく、表示装置に出力しても良い。
【0089】
特に、2倍速に変換した動画像をファイルとして保存する場合には、リアルタイム再生は不要である。従って、CPU2002の処理能力に依存した速度で2倍速動画像ファイルを作成すれば良い。従って、図3のステップS307、S309、又は、図6のステップS607、S609のタイミング合せのステップは不要となる。
【0090】
以上説明したように、コンピュータプログラムにしたがってコンピュータが、第1乃至第3の実施形態と同様の処理を行なうことが可能である。
【0091】
また、通常、コンピュータプログラムは、CD−ROMやメモリカード等、コンピュータ可読記憶媒体に格納されている。そして、そのコンピュータ可読記憶媒体をコンピュータが有する読取り装置(CD−ROMドライブやメモリカードリーダ)にセットし、システムにコピーもしくはインストールすることで実行可能になる。従って、かかるコンピュータプログラムを格納したコンピュータ可読記憶媒体も本発明の範疇にあることは明らかである。
【図面の簡単な説明】
【0092】
【図1】第1の実施形態における画像処理装置のブロック構成図である。
【図2】第1の実施形態における各処理段階での波形を示す図である。
【図3】第1の実施形態における処理の流れを示すフローチャートである。
【図4】第2の実施形態における画像処理装置のブロック構成図である。
【図5】第2の実施形態における各処理段階での波形を示す図である。
【図6】第3の実施形態における処理の流れを示すフローチャートである。
【図7】第1,第2の実施形態におけるローパスフィルタ処理部のブロック構成図である。
【図8】第3の実施形態におけるローパスフィルタ処理部のブロック構成図である。
【図9】第4の実施形態のコンピュータのハードウエア構成例を示すブロック図である。
【図10】ホールド型表示装置の発光時間を説明する図である。
【図11】ホールド型表示装置の動特性を説明する図である。
【図12】ホールド型表示装置の倍速駆動における発光時間を説明する図である。
【図13】ホールド型表示装置の倍速駆動における動特性を説明する図である。
【図14】インパルス型表示装置の発光時間を説明する図である。
【図15】インパルス型表示装置の動特性を説明する図である。
【図16】インパルス型表示装置の倍速駆動における発光時間を説明する図である。
【図17】インパルス型表示装置の倍速駆動における動特性を説明する図である。
【図18】従来の回路構成を説明する図である。
【図19】従来方法による処理波形を説明する図である。
【特許請求の範囲】
【請求項1】
単位時間当たりF個のフレームで構成される動画像データを、単位時間当たり2F個のサブフレームで構成される動画像データに変換する画像処理装置であって、
フレームを単位に動画像データを入力する入力手段と、
該入力手段が入力したフレーム中の着目画素データと当該着目画素データに隣接する隣接画素データに、それぞれ乗算係数を乗算し、乗算した結果を加算することで、低周波サブフレームを生成するローパスフィルタ手段と、
前記入力手段で入力したフレームから、高周波成分データを抽出し、当該高周波成分データを前記入力手段で入力したフレームに加算することで、高周波サブフレームを生成する高周波サブフレーム生成手段と、
前記低周波サブフレーム、前記高周波サブフレームを出力する出力手段とを備え、
前記ローパスフィルタ手段は、
前記隣接画素データの輝度値X1から、前記着目画素データの輝度値X2を減算する減算手段と、
該減算手段の減算結果d1と、予め設定された0以上の閾値Thとを比較する比較手段と、
該比較手段の比較結果が、d1≦Thを示す場合、前記隣接画素データに乗算する乗算係数として、予め設定された正の乗算係数V0を選択し、
前記比較手段の比較結果が、d1>Thであった場合、前記隣接画素データに乗算する乗算係数として、前記乗算係数V0よりも小さい、正の乗算係数V1を選択する選択手段とを備える
ことを特徴とする画像処理装置。
【請求項2】
前記高周波サブフレーム生成手段は、
前記ローパスフィルタ手段で生成された低周波サブフレームを、前記入力手段で入力したフレームから減算して差分フレームを生成する差分フレーム生成手段と、
該差分フレーム生成手段で生成した差分フレームを、前記入力手段で入力したフレームに加算する加算手段と
を含むことを特徴とする請求項1に記載の画像処理装置。
【請求項3】
更に、前記ローパスフィルタ手段で生成された低周波サブフレームに1未満の正の乗算係数を乗算し、前記出力手段の選択対象として出力する乗算手段を備え、
前記高周波サブフレーム生成手段は、前記乗算手段の乗算結果を、前記入力手段で入力したフレームから減算することで、前記高周波サブフレームを生成する
ことを特徴とする請求項1に記載の画像処理装置。
【請求項4】
単位時間当たりF個のフレームで構成される動画像データを、単位時間当たり2F個のサブフレームで構成される動画像データに変換する画像処理装置であって、
フレームを単位に動画像データを入力する入力手段と、
該入力手段が入力したフレーム中の着目画素データと当該着目画素データに隣接する隣接画素データに、それぞれ乗算係数を乗算し、乗算した結果を加算することで、低周波サブフレームを生成するローパスフィルタ手段と、
前記入力手段で入力したフレームから、高周波成分データを抽出し、当該高周波成分データを前記入力手段で入力したフレームに加算することで、高周波サブフレームを生成する高周波サブフレーム生成手段と、
前記低周波サブフレーム、前記高周波サブフレームを出力する出力手段とを備え、
前記ローパスフィルタ手段は、
前記隣接画素データの輝度値X1から、前記着目画素データの輝度値X2を減算する減算手段と、
該減算手段の減算結果d1と、予め設定された0以上の閾値Thとを比較する比較手段と、
該比較手段の比較結果が、d1≦Thを示す場合、前記着目画素データX2、前記隣接画素データX1を用いて、前記着目画素データX2に対するローパスフィルタ処理を行ない、
該比較手段の比較結果が、d1>Thを示す場合、前記着目画素データX2、前記隣接画素データX1の代りとしての前記着目画素データX2を用いて、前記着目画素データX2に対するローパスフィルタ処理を行なう処理手段とを備える
ことを特徴とする画像処理装置。
【請求項5】
前記高周波サブフレーム生成手段は、
前記ローパスフィルタ手段で生成された低周波サブフレームを、前記入力手段で入力したフレームから減算して差分フレームを生成する差分フレーム生成手段と、
該差分フレーム生成手段で生成した差分フレームを、前記入力手段で入力したフレームに加算する加算手段と
を含むことを特徴とする請求項4に記載の画像処理装置。
【請求項6】
更に、前記ローパスフィルタ手段で生成された低周波サブフレームに1未満の正の乗算係数を乗算し、前記出力手段の選択対象として出力する乗算手段を備え、
前記高周波サブフレーム生成手段は、前記乗算手段の乗算結果を、前記入力手段で入力したフレームから減算することで、前記高周波サブフレームを生成する
ことを特徴とする請求項4に記載の画像処理装置。
【請求項7】
単位時間当たりF個のフレームで構成される動画像データを、単位時間当たり2F個のサブフレームで構成される動画像データに変換する画像処理装置の制御方法であって、
フレームを単位に動画像データを入力する入力工程と、
該入力工程で入力したフレーム中の着目画素データと当該着目画素データに隣接する隣接画素データに、それぞれ乗算係数を乗算し、乗算した結果を加算することで、低周波サブフレームを生成するローパスフィルタ工程と、
前記入力工程で入力したフレームから、高周波成分データを抽出し、当該高周波成分データを前記入力工程で入力したフレームに加算することで、高周波サブフレームを生成する高周波サブフレーム生成工程と、
前記低周波サブフレーム、前記高周波サブフレームを出力する出力工程とを備え、
前記ローパスフィルタ工程は、
前記隣接画素データの輝度値X1から、前記着目画素データの輝度値X2を減算する減算工程と、
該減算工程の減算結果d1と、予め設定された0以上の閾値Thとを比較する比較工程と、
該比較工程の比較結果が、d1≦Thを示す場合、前記隣接画素データに乗算する乗算係数として、予め設定された正の乗算係数V0を選択し、
前記比較工程の比較結果が、d1>Thであった場合、前記隣接画素データに乗算する乗算係数として、前記乗算係数V0よりも小さい、正の乗算係数V1を選択する選択工程とを備える
ことを特徴とする画像処理装置の制御方法。
【請求項8】
単位時間当たりF個のフレームで構成される動画像データを、単位時間当たり2F個のサブフレームで構成される動画像データに変換する画像処理装置の制御方法であって、
フレームを単位に動画像データを入力する入力工程と、
該入力工程で入力したフレーム中の着目画素データと当該着目画素データに隣接する隣接画素データに、それぞれ乗算係数を乗算し、乗算した結果を加算することで、低周波サブフレームを生成するローパスフィルタ工程と、
前記入力工程で入力したフレームから、高周波成分データを抽出し、当該高周波成分データを前記入力工程で入力したフレームに加算することで、高周波サブフレームを生成する高周波サブフレーム生成工程と、
前記低周波サブフレーム、前記高周波サブフレームを出力する出力工程とを備え、
前記ローパスフィルタ工程は、
前記隣接画素データの輝度値X1から、前記着目画素データの輝度値X2を減算する減算工程と、
該減算工程の減算結果d1と、予め設定された0以上の閾値Thとを比較する比較工程と、
該比較工程の比較結果が、d1≦Thを示す場合、前記着目画素データX2、前記隣接画素データX1を用いて、前記着目画素データX2に対するローパスフィルタ処理を行ない、
該比較工程の比較結果が、d1>Thを示す場合、前記着目画素データX2、前記隣接画素データX1の代りとしての前記着目画素データX2を用いて、前記着目画素データX2に対するローパスフィルタ処理を行なう処理工程とを備える
ことを特徴とする画像処理装置の制御方法。
【請求項9】
コンピュータに読込ませ、実行させることで、前記コンピュータを請求項1乃至6のいずれか1項に記載の画像処理装置として機能させることを特徴とするコンピュータプログラム。
【請求項10】
請求項9に記載のコンピュータプログラムを格納したことを特徴とするコンピュータ可読記憶媒体。
【請求項1】
単位時間当たりF個のフレームで構成される動画像データを、単位時間当たり2F個のサブフレームで構成される動画像データに変換する画像処理装置であって、
フレームを単位に動画像データを入力する入力手段と、
該入力手段が入力したフレーム中の着目画素データと当該着目画素データに隣接する隣接画素データに、それぞれ乗算係数を乗算し、乗算した結果を加算することで、低周波サブフレームを生成するローパスフィルタ手段と、
前記入力手段で入力したフレームから、高周波成分データを抽出し、当該高周波成分データを前記入力手段で入力したフレームに加算することで、高周波サブフレームを生成する高周波サブフレーム生成手段と、
前記低周波サブフレーム、前記高周波サブフレームを出力する出力手段とを備え、
前記ローパスフィルタ手段は、
前記隣接画素データの輝度値X1から、前記着目画素データの輝度値X2を減算する減算手段と、
該減算手段の減算結果d1と、予め設定された0以上の閾値Thとを比較する比較手段と、
該比較手段の比較結果が、d1≦Thを示す場合、前記隣接画素データに乗算する乗算係数として、予め設定された正の乗算係数V0を選択し、
前記比較手段の比較結果が、d1>Thであった場合、前記隣接画素データに乗算する乗算係数として、前記乗算係数V0よりも小さい、正の乗算係数V1を選択する選択手段とを備える
ことを特徴とする画像処理装置。
【請求項2】
前記高周波サブフレーム生成手段は、
前記ローパスフィルタ手段で生成された低周波サブフレームを、前記入力手段で入力したフレームから減算して差分フレームを生成する差分フレーム生成手段と、
該差分フレーム生成手段で生成した差分フレームを、前記入力手段で入力したフレームに加算する加算手段と
を含むことを特徴とする請求項1に記載の画像処理装置。
【請求項3】
更に、前記ローパスフィルタ手段で生成された低周波サブフレームに1未満の正の乗算係数を乗算し、前記出力手段の選択対象として出力する乗算手段を備え、
前記高周波サブフレーム生成手段は、前記乗算手段の乗算結果を、前記入力手段で入力したフレームから減算することで、前記高周波サブフレームを生成する
ことを特徴とする請求項1に記載の画像処理装置。
【請求項4】
単位時間当たりF個のフレームで構成される動画像データを、単位時間当たり2F個のサブフレームで構成される動画像データに変換する画像処理装置であって、
フレームを単位に動画像データを入力する入力手段と、
該入力手段が入力したフレーム中の着目画素データと当該着目画素データに隣接する隣接画素データに、それぞれ乗算係数を乗算し、乗算した結果を加算することで、低周波サブフレームを生成するローパスフィルタ手段と、
前記入力手段で入力したフレームから、高周波成分データを抽出し、当該高周波成分データを前記入力手段で入力したフレームに加算することで、高周波サブフレームを生成する高周波サブフレーム生成手段と、
前記低周波サブフレーム、前記高周波サブフレームを出力する出力手段とを備え、
前記ローパスフィルタ手段は、
前記隣接画素データの輝度値X1から、前記着目画素データの輝度値X2を減算する減算手段と、
該減算手段の減算結果d1と、予め設定された0以上の閾値Thとを比較する比較手段と、
該比較手段の比較結果が、d1≦Thを示す場合、前記着目画素データX2、前記隣接画素データX1を用いて、前記着目画素データX2に対するローパスフィルタ処理を行ない、
該比較手段の比較結果が、d1>Thを示す場合、前記着目画素データX2、前記隣接画素データX1の代りとしての前記着目画素データX2を用いて、前記着目画素データX2に対するローパスフィルタ処理を行なう処理手段とを備える
ことを特徴とする画像処理装置。
【請求項5】
前記高周波サブフレーム生成手段は、
前記ローパスフィルタ手段で生成された低周波サブフレームを、前記入力手段で入力したフレームから減算して差分フレームを生成する差分フレーム生成手段と、
該差分フレーム生成手段で生成した差分フレームを、前記入力手段で入力したフレームに加算する加算手段と
を含むことを特徴とする請求項4に記載の画像処理装置。
【請求項6】
更に、前記ローパスフィルタ手段で生成された低周波サブフレームに1未満の正の乗算係数を乗算し、前記出力手段の選択対象として出力する乗算手段を備え、
前記高周波サブフレーム生成手段は、前記乗算手段の乗算結果を、前記入力手段で入力したフレームから減算することで、前記高周波サブフレームを生成する
ことを特徴とする請求項4に記載の画像処理装置。
【請求項7】
単位時間当たりF個のフレームで構成される動画像データを、単位時間当たり2F個のサブフレームで構成される動画像データに変換する画像処理装置の制御方法であって、
フレームを単位に動画像データを入力する入力工程と、
該入力工程で入力したフレーム中の着目画素データと当該着目画素データに隣接する隣接画素データに、それぞれ乗算係数を乗算し、乗算した結果を加算することで、低周波サブフレームを生成するローパスフィルタ工程と、
前記入力工程で入力したフレームから、高周波成分データを抽出し、当該高周波成分データを前記入力工程で入力したフレームに加算することで、高周波サブフレームを生成する高周波サブフレーム生成工程と、
前記低周波サブフレーム、前記高周波サブフレームを出力する出力工程とを備え、
前記ローパスフィルタ工程は、
前記隣接画素データの輝度値X1から、前記着目画素データの輝度値X2を減算する減算工程と、
該減算工程の減算結果d1と、予め設定された0以上の閾値Thとを比較する比較工程と、
該比較工程の比較結果が、d1≦Thを示す場合、前記隣接画素データに乗算する乗算係数として、予め設定された正の乗算係数V0を選択し、
前記比較工程の比較結果が、d1>Thであった場合、前記隣接画素データに乗算する乗算係数として、前記乗算係数V0よりも小さい、正の乗算係数V1を選択する選択工程とを備える
ことを特徴とする画像処理装置の制御方法。
【請求項8】
単位時間当たりF個のフレームで構成される動画像データを、単位時間当たり2F個のサブフレームで構成される動画像データに変換する画像処理装置の制御方法であって、
フレームを単位に動画像データを入力する入力工程と、
該入力工程で入力したフレーム中の着目画素データと当該着目画素データに隣接する隣接画素データに、それぞれ乗算係数を乗算し、乗算した結果を加算することで、低周波サブフレームを生成するローパスフィルタ工程と、
前記入力工程で入力したフレームから、高周波成分データを抽出し、当該高周波成分データを前記入力工程で入力したフレームに加算することで、高周波サブフレームを生成する高周波サブフレーム生成工程と、
前記低周波サブフレーム、前記高周波サブフレームを出力する出力工程とを備え、
前記ローパスフィルタ工程は、
前記隣接画素データの輝度値X1から、前記着目画素データの輝度値X2を減算する減算工程と、
該減算工程の減算結果d1と、予め設定された0以上の閾値Thとを比較する比較工程と、
該比較工程の比較結果が、d1≦Thを示す場合、前記着目画素データX2、前記隣接画素データX1を用いて、前記着目画素データX2に対するローパスフィルタ処理を行ない、
該比較工程の比較結果が、d1>Thを示す場合、前記着目画素データX2、前記隣接画素データX1の代りとしての前記着目画素データX2を用いて、前記着目画素データX2に対するローパスフィルタ処理を行なう処理工程とを備える
ことを特徴とする画像処理装置の制御方法。
【請求項9】
コンピュータに読込ませ、実行させることで、前記コンピュータを請求項1乃至6のいずれか1項に記載の画像処理装置として機能させることを特徴とするコンピュータプログラム。
【請求項10】
請求項9に記載のコンピュータプログラムを格納したことを特徴とするコンピュータ可読記憶媒体。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【公開番号】特開2010−28575(P2010−28575A)
【公開日】平成22年2月4日(2010.2.4)
【国際特許分類】
【出願番号】特願2008−189047(P2008−189047)
【出願日】平成20年7月22日(2008.7.22)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
【公開日】平成22年2月4日(2010.2.4)
【国際特許分類】
【出願日】平成20年7月22日(2008.7.22)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
[ Back to top ]