画像処理装置及びその制御方法
【課題】 単位時間当たりＦ個のフレームで構成される動画像データを、単位時間当たり２Ｆ個のサブフレームで構成される動画像データに変換して得られた動画像中の静止物のエッジが劣化することを抑制する。
【解決手段】 ＬＰＦ処理部１０１は、入力したフレームの高周波成分を除去するフィルタ処理を行なう。差分算出部１０２は、入力したフレームの各画素値から、フィルタ処理後のフレームの各画素値を減じる処理を行ない、“０”以上の差分画素値で構成される正差分フレームと、“０”以下の差分画素値で構成される負差分フレームを生成する。低周波サブフレーム生成部１０３は、フィルタ処理後のフレームに、負差分フレームを加算することで、低周波サブフレームを生成する。高周波サブフレーム生成部１０４は、入力したフレームに、正差分フレームを加算することで、高周波サブフレームを生成する。切替回路１０５は、１フレームを入力する毎に、低周波サブフレーム、高周波サブフレームの２つのサブフレームを出力する。
【解決手段】 ＬＰＦ処理部１０１は、入力したフレームの高周波成分を除去するフィルタ処理を行なう。差分算出部１０２は、入力したフレームの各画素値から、フィルタ処理後のフレームの各画素値を減じる処理を行ない、“０”以上の差分画素値で構成される正差分フレームと、“０”以下の差分画素値で構成される負差分フレームを生成する。低周波サブフレーム生成部１０３は、フィルタ処理後のフレームに、負差分フレームを加算することで、低周波サブフレームを生成する。高周波サブフレーム生成部１０４は、入力したフレームに、正差分フレームを加算することで、高周波サブフレームを生成する。切替回路１０５は、１フレームを入力する毎に、低周波サブフレーム、高周波サブフレームの２つのサブフレームを出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像データを、その動画像のフレームレートよりも高いフレームレートの動画像データに変換する技術に関するものである。
【背景技術】
【０００２】
テレビジョン受像機に代表される動画像の表示装置には、ＣＲＴが長年用いられてきたが、近年では液晶デバイスを用いたパネルが主流となりつつある。図７を用いて液晶デバイスの特徴を説明する。図７の水平軸は時間を、垂直軸は画素の明るさを示している。ここでのフレームレートは、６０Ｈｚである。同図が示すように、液晶デバイスの場合は、１／６０秒の間、発光を持続する。このため、液晶デバイスは「ホールド型」のデバイスと呼ばれている。
【０００３】
ホールド型のデバイスは、動きに対し、ボケを生じやすいという欠点を有している。図８はその説明図である。図８の水平軸は画面上の位置を、垂直軸は時間を示している。この図は矩形の波形が画面の左から右に動く例であある。このような動きを眼で追う場合、眼が追従する動きに対して、１／６０秒の間画素が同じ位置に留まった状態が、動きに対する相対的な遅れとなる。ホールド時間が長いと、この遅れの幅が広くなり、画面上では、動きのボケとして知覚されることとなる。図８の一番下の図は、追従視している時の見え方を示したものであり、エッジ部分で、ある幅をもったボケが検知されることを示している。
【０００４】
動きボケ対策の一例として、駆動周波数を上げ、ホールド時間を短くする方法がある。図９は、２倍の１２０Ｈｚで表示する例である。また、２倍のフレームレートにするために、入力画像を高周波成分を含む画像と低周波成分のみを含む画像を時間方向に分割して表示する手法も知られている。図１０は、この方法により駆動分配した画像の動特性である。図８と比較してわかるように、図１０の表示の場合、動きボケは大幅に低減されている。
【０００５】
また、ＣＲＴと同様な発光特性をもつデバイスとして、フィールドエミッションタイプの表示装置の開発も進んでいる。図１１は、これらのデバイスの発光特性の説明図である。図７と同様、横軸が時間、縦軸が画素の明るさを示している。このタイプの表示装置は、６０分の１秒のうちの一瞬だけ発光するので、「インパルス型」と呼ばれている。
【０００６】
インパルス型のデバイスは、１／６０秒の周期で、発光の有無を繰り返すので、この点滅をフリッカとして知覚しやすいという欠点を有している。フリッカは面積が大きくなるほど目立ちやすいという特性があるため、近年の表示装置の大画面化の流れの中では、特に問題となりやすい。
【０００７】
図１２は、インパルス型デバイスの動特性を示している。ホールド型の特性と違い、残像となるような動きボケが発生しないことが最大の特徴となっている。
【０００８】
フリッカ対策の一例としても、駆動周波数を上げることが考えられる。図１３は、倍の１２０Ｈｚで表示する例である。インパルス型の場合は、１回の明るさの半分のレベルを２回表示することで、同等の明るさを得ることができる。
【０００９】
図１４は、高周波成分を含む画像と低周波成分のみを含む画像を時間方向に分割して表示する場合の動特性である。単純に２回ずつ同じフレームを表示すると、２重写りとなってしまうが、高周波側のみを１回表示させることにより、低周波成分に起因するボケのみで、視覚的な劣化は抑制される。
【００１０】
このように、ホールド型の表示装置における動きボケ対策として、もしくはインパルス型の表示装置におけるフリッカ対策として、周波数成分によりフレーム画像を２つのサブフレームに分配する方法は、効果的である。
【００１１】
ホールド型の２倍速駆動を実現する方法の一例としては、特許文献１がある。この文献における回路構成の一部を図１５に示す。入力フレームに対し、ローパスフィルタ処理部１００１では、低周波成分のみを含むサブフレームを生成する。生成された低周波成分のみのサブフレームは一旦フレームメモリ１００７に格納される。差分検出部１００６では、入力フレームとローパスフィルタ処理部１００１で生成した低周波成分のみを含むサブフレームとの差分を検出し、高周波成分を抽出する。ここで生成された高周波成分と入力フレームを足すことにより、高周波成分を強調したサブフレームを得ることができる。切替回路１００５では、低周波成分のみを含むサブフレームと、高周波成分を強調したサブフレームとを、１２０Ｈｚの周期で切り替えて後段の処理に送る。高周波成分を除いたサブフレームと高周波成分を強調したサブフレームを交互に表示することで、６０Ｈｚの時間周期で見た場合は、元のフレーム画像が再現されていることになる。
【特許文献１】特開２００６−１８４８９６号公報
【発明の開示】
【発明が解決しようとする課題】
【００１２】
しかしながら、上記のようにして、２つのサブフレームを合成した見かけのフレーム画像が、元のフレーム画像と同じにならない場合がある。以下、図１６（ａ）乃至（ｆ）を用いて説明する。図１６（ａ）は、入力フレーム画像の波形例を示している。図１６（ｂ）は、この入力フレーム画像に、図１５のローパスフィルタ処理部１００１の処理結果を示す出力波形である。図１６（ｃ）は、図１５の差分検出部１００６が検出した出力波形である。高周波成分であるため、正負の値を取る。図１６（ｄ）は、元の入力波形（図１６（ａ））に高周波成分（図１６（ｃ））を足した波形である。１２０Ｈｚの周期で図１６（ｂ）の波形と図１６（ｃ）の波形とを交互に表示することで、理論上、その見かけ上の波形は、図１６（ａ）と同じになる。しかしながら、図１６（ａ）の低輝度レベル部分がゼロ、もしくはそれに近い値である場合、図１６（ｄ）の波形は、負の値を持つことになる。負の値の画像を表示することはできないので、実際には、図１６（ｅ）のように、負の値はゼロとして表示されることになる。すると、実際は、図１６（ｂ）と図１６（ｅ）とを交互表示することになるので、人間には図１６（ｆ）のような波形なって知覚される。これは、黒の背景に白の文字があるような場合に、文字の輪郭がにじんだ画像として知覚されることを意味する。すなわち、このように入力画像の波形によっては、分配処理後の画像が元の画像と同じに見えず、それが劣化として知覚されることが起こり得る。
【００１３】
本発明はかかる課題に鑑みなされたものであり、動画像中の静止物のエッジの劣化を抑制する技術を提供しようとするものである。
【課題を解決するための手段】
【００１４】
かかる課題を解決するため、例えば本発明の画像処理装置は以下の構成を備える。すなわち、
単位時間当たりＦ個のフレームで構成される動画像データを、単位時間当たり２Ｆ個のフレームで構成される動画像データに変換する画像処理装置であって、
フレームを単位に動画像データを入力する入力手段と、
該入力手段が入力したフレームをローパスフィルタ処理するローパスフィルタ手段と、
前記入力手段で入力したフレームの各画素値から、前記ローパスフィルタ手段によるフィルタ処理後のフレームの各画素値を減じる処理を行ない、減じて得られた差分画素値が負の値を持つ場合には“０”とした“０”以上の差分画素値で構成される正差分フレームを生成すると共に、前記差分画素値が正の値を持つ場合には“０”とした“０”以下の差分画素値で構成される負差分フレームを生成する差分算出手段と、
前記ローパスフィルタ手段で得られたフィルタ処理後のフレームに、前記負差分フレームを加算することで、低周波サブフレームを生成する低周波サブフレーム生成手段と、
前記入力手段で入力したフレームに、前記正差分フレームを加算することで、高周波サブフレームを生成する高周波サブフレーム生成手段と
前記低周波サブフレーム、前記高周波サブフレームを出力する出力手段とを備える。
【発明の効果】
【００１５】
本発明によれば、単位時間当たりＦ個のフレームで構成される動画像データを、単位時間当たり２Ｆ個のサブフレームで構成される動画像データに変換して得られた動画像中の静止物のエッジが劣化することを抑制することが可能になる。
【発明を実施するための最良の形態】
【００１６】
以下、添付図面に従って本発明に係る実施形態を詳細に説明する。
【００１７】
［第１の実施形態］
本第１の実施形態では、特にホールド型表示装置に好適な例を説明する。
【００１８】
図１は、本第１の実施形態の画像処理装置のブロック構成図である。本装置は、装置全体の制御を司る制御部１５０、ＬＰＦ（ローパスフィルタ）処理部１０１、差分算出部１０２、低周波サブフレーム生成部１０３、高周波サブフレーム生成部１０４、及び、切替回路１０５で構成される。なお、図示の各処理部の間には、タイミングを合せるためのバッファメモリが存在するが、それらは省略していることに注意されたい。
【００１９】
本装置は、入力端子からフレームレートＦ／秒の動画像を入力し、２倍のフレームレート２Ｆ／秒の動画画像に変換し、出力する例を説明する。Ｆ／秒は例えば６０フレーム／秒である。従って、１フレームの画像を入力毎に、２つのサブフレームを生成し、出力する。２つのサブフレームのうち、一方は高周波成分を含むサブフレームであるので、以降、高周波サブフレームと表現する。もう一方は、低周波成分のみを含むサブフレームであるので、以降、低周波サブフレームと表現する。
【００２０】
なお、動画像の入力源としては、ビデオカメラとするが、例えばＤＶＤメディアの映像のデコード処理後の動画像データで良く、その種類は問わない。
【００２１】
また、実施形態では説明を簡単なものとするため、動画像データはモノクロであるものとして説明する。但し、Ｒ、Ｇ、Ｂ等のカラー動画像の場合には、各色成分毎に以下に示す処理を行なえば良いので、必ずしもモノクロである必要はない。
【００２２】
先ず、低周波サブフレームの生成処理について説明する。
【００２３】
ローパスフィルタ処理部１０１では、高周波成分を除去するためのフィルタ処理を行う。このフィルタは、特に関数を規定するものではなく、例えばガウス関数でもよいし、移動平均あるいは重み付け移動平均フィルタのようなものでもよい。
【００２４】
図２（ａ）は、入力波形の一例であり、図２（ｂ）は、ローパスフィルタ処理部１０１で生成した低周波成分のみを含む低周波サブフレームの波形を示している。
【００２５】
差分算出部１０２は、入力したフレームから、ローパスフィルタ処理処理後のサブフレームを減じることで、その差分値を検出する。なお、２つのフレームどうしの加算や減算は、それら２つのフレーム中の同じ座標位置の画素値の加算、減算を言う。これは、以下に説明する差分フレームとフレーム間の演算でも同じである。
【００２６】
さて、差分算出部１０２が算出する差分値は、図２（ｃ）のように、正の値と負の値の両方を取り得る。負の値の画像を表示することはできないため、図２（ｄ）と図２（ｅ）に示すように、正の値と負の値を分離し、負の値については、絶対値を用いて処理する。図２（ｄ）の波形で示されるフレームは、要するに、差分値が負の値の場合にその値を“０”にした、“０”以上の正の差分値で構成される正差分フレームということができる。また、図２（ｅ）の波形で示されるフレームは、差分値が正の値の場合にその値を“０”にした、“０”以下の差分値の絶対値で構成される負差分フレームということができる。
【００２７】
上記をより明確に定義するであれば、次の通りである。
【００２８】
入力フレームから、フィルタ処理したフレームを減じた各画素の差分画素値を、その座標（ｘ，ｙ）を用いてＤ（ｘ，ｙ）と定義する。正差分フレームの座標（ｘ，ｙ）の値ＰＤ（ｘ、ｙ）は、次のようにして求める。
Ｄ（ｘ，ｙ）≦０の場合、ＰＤ（ｘ，ｙ）←０
Ｄ（ｘ，ｙ）＞０の場合、ＰＤ（ｘ，ｙ）←Ｄ（ｘ，ｙ）
【００２９】
同様に、負差分フレームの座標（ｘ，ｙ）の値をＮＤ（ｘ，ｙ）は、次のように定義できる。
Ｄ（ｘ，ｙ）≧０の場合、ＮＤ（ｘ，ｙ）←０
Ｄ（ｘ，ｙ）＜０の場合、ＮＤ（ｘ，ｙ）←｜Ｄ（ｘ，ｙ）｜
（ここで、｜Ｖ｜はＶの絶対値を示す）。
【００３０】
差分算出部１０２は、上記のようにして算出した負差分フレーム（図２（ｄ））を低周波サブフレーム生成部１０３に、正差分フレーム（図２（ｅ））を高周波サブフレーム生成部１０４に出力する。
【００３１】
低周波サブフレーム生成部１０３は、ローパスフィルタ処理したフレームから、負差分フレームを減じる処理を行う。
【００３２】
なお、差分算出部１０２が、負差分フレームを絶対値に変換しないまま出力するのであれば、低周波サブフレーム生成部１０３は、ローパスフィルタ処理したフレームに、負差分フレームを「加算」する処理を行なえば良い。或る値から負の値の絶対値を減じることと、或る値に負の値を加算することは等価であるからである。
【００３３】
さて、上記の通り、低周波サブフレーム生成部１０３は、図２（ｂ）に示す波形から、図２（ｄ）の波形を減じる処理を行なうものであるから、その減じた結果は図２（ｆ）の波形となる。この図２（ｆ）の波形で示されるフレームが、本実施形態における低周波成分のみの含む低周波サブフレームとなる。
【００３４】
次に、高周波サブフレームの生成について説明する。この高周波サブフレームは、高周波サブフレーム生成部１０４が生成する。
【００３５】
差分算出部１０２は、上記の通り、図２（ｅ）の正差分フレームを高周波サブフレーム生成部１０４に供給する。高周波サブフレーム生成部１０４は、入力フレーム（図２（ａ））に、差分算出部１０２からの正差分フレーム（図２（ｅ））を加算し、出力する。この結果、高周波サブフレーム生成部１０４は、図２（ｇ）に示すな波形を有するフレームを出力する。この高周波サブフレーム生成部１０４から出力されるのが高周波サブフレームである。
【００３６】
切替回路１０５では、所望のタイミング、例えば入力した動画像のフレームレートが６０Ｈｚの場合、１２０Ｈｚの周期で、図２（ｆ）と図２（ｇ）、すなわち、低周波サブフレームと高周波サブフレームを交互に出力する。ここで、切替回路１０５にホールド型表示デバイスが接続されている場合、人間の視覚では図２（ｈ）のように見えることとなり、６０Ｈｚ表示における入力フレーム図２（ａ）と同一の波形として知覚することができる。
【００３７】
なお、上記はモノクロの例であったが、カラー画像の場合にも適用できる。カラー表示装置の場合、Ｒ，Ｇ，ＢやＹ，Ｃｂ，Ｃｒといった３種類の色成分に分けて処理することが多い。従って、Ｒ，Ｇ，Ｂの場合には、それぞれの色成分の輝度値に対して上記処理を行なえば良い。また、Ｙ，Ｃｂ，Ｃｒの場合、人間の視覚感度上、輝度成分Ｙに対してのみ行えば十分であろう。
【００３８】
次に、上記の処理を図３のフローチャートと図２の処理波形の例を用いて、制御部１５０の処理内容を説明する。
【００３９】
まず、ステップＳ３０１で、制御部１５０は必要な初期設定を行う。ローパスフィルタ処理部１０１の静的特性などは、この段階で設定しておく。ステップＳ３０２では、フレーム画像を入力する。波形の例では、図２（ａ）がこれに相当する。次にステップＳ３０３として、ローパスフィルタ処理部１０１によるローパスフィルタ処理を行う。図２（ｂ）の波形を生成する処理がこれに相当する。
【００４０】
次にステップＳ３０４で、差分算出部１０２に、入力フレームからローパスフィルタ処理後のフレームを減算する処理を行なわせる。差分算出部１０２は、２つの差分フレームを生成する。１つは、差分値が負の値を持つ場合には“０”とし、差分値が正の場合にはその正の値のままの正差分フレームである。もう１つは、差分値が正の値を持つ場合には“０”とし、差分値が負の場合にはその負の値のままの負差分フレームである。なお、ここでは、負差分フレームの各画素位置の値は０、もしくは負の値を持ったままとして説明する。
【００４１】
ステップＳ３０５では、低周波サブフレーム生成部１０３が、低周波サブフレームの生成処理を行う。具体的には、ローパスフィルタ処理部１０１からのフレームに、差分算出部１０２からの負差分フレームを加算する処理を行なう。生成された低周波サブフレームは、図２（ｆ）の波形に対応する。
【００４２】
ステップＳ３０６では、高周波サブフレーム生成部１０４が、高周波サブフレームの生成処理を行う。具体的には、入力端子から入力したフレームに、差分算出部１０２からの正差分フレームを加算する処理を行なう。生成された高周波サブフレームは、図２（ｇ）の波形に対応する。高周波サブフレームは、低周波サブフレーム中の失った高周波成分を補うものである。
【００４３】
ステップＳ３０７では、切替回路１０５は、低周波サブフレームの出力タイミングを判断する。そして、その出力タイミングになったとき、ステップＳ３０８にて、低周波サブフレームを出力する。この低周波サブフレームを出力後にステップＳ３０９にて、今度は、高周波サブフレームの出力タイミングを判断する。そして、そのタイミングになった場合、ステップＳ３１０にて、高周波サブフレームを出力する。各サブフレームは、どちらを先に表示しなければならない、ということはない。ホールド型の表示装置の場合、最初の１／１２０秒の間に低周波サブフレームを表示し、次の１／１２０秒の間に高周波サブフレームを表示することになる。
【００４４】
以降、ステップＳ３１１にて終了と判定するまで、ステップＳ３０２からの処理を繰り返す。１／６０秒の時間平均での見かけの波形は、図２（ｈ）のようになり、入力フレームと同じ波形となる。液晶の応答特性の改善や、バックライトを制御するなどの方法により、１／１２０秒よりも、短い時間でサブフレームを表示させることも可能であるが、１／６０秒の時間周期で入力と見かけ上同じ波形を生成する、という本発明の特徴は何ら変わるものではない。
【００４５】
［第２の実施形態］
次に、インパルス型の表示装置に好適な例を第２の実施形態として説明する。
【００４６】
図４は、本第２の実施形態の画像処理装置のブロック構成図である。図４において、ローパスフィルタ処理部１０１は、図１と同じである。
【００４７】
以下、図５（ａ）乃至（ｇ）に示す波形を参照し、本第２の実施形態を説明する。
【００４８】
本第２の実施形態では、第１の実施形態と同様、入力した１フレームの画像から、高周波成分を含む高周波サブフレームと、低周波成分のみを含む低周波サブフレームを生成する。そこで、先ず、低周波サブフレームの生成処理について説明する。
【００４９】
ローパスフィルタ処理部１０１は、高周波成分を除去するためのフィルタ処理を行う。このフィルタは、特に関数を規定するものではなく、例えばガウス関数でもよいし、移動平均あるいは重み付け移動平均フィルタのようなものでもよい。図５（ａ）は、入力波形の一例であり、図５（ｂ）は、ローパスフィルタ処理部１０１によるローパスフィルタ処理した結果を示している。
【００５０】
差分算出部４０２は、入力フレームから、ローパスフィルタ処理で得られたフレームを減算する。そして、減算結果が正の値の場合には“０”、負の値の場合にはその負の値の絶対値で構成される負差分フレームを出力する。図５（ｃ）の波形は、差分算出部４０２が出力する波形である。
【００５１】
減算部４０１は、ローパスフィルタ処理したフレーム（図５（ｂ））から、差分算出部４０２が生成した負差分フレーム（図５（ｃ））を減じる処理を行なう。なお、先の第１の実施形態でも説明したが、差分算出部４０２は、負差分フレームを生成する際、その絶対値への変換を行なわないのであれば、減算部４０１の代りに、加算部を設ければよく、技術的に等価のことである。
【００５２】
次に分配比率処理部４０３は、２つのサブフレームを発光させる割合に従って、差分負値減算部１０３から画像データを補正する。フリッカを知覚しにくくするためには、２つのサブフレームの明るさの差が少ない方が望ましい。したがって、ここでは、１未満の乗算係数（実施形態では乗算係数＝０．５＝５０％）に従って分配する例で説明する。すなわち、分配比率処理部４０３は、２つのサブフレームを発光させる割合に従って、減算部４０１から画像データの各画素に対して、乗算係数“０．５”を乗算する。
【００５３】
図５（ｅ）は、図５（ｄ）の波形に“０．５”を乗じて得た波形である。この図５（ｅ）に示す波形で示される画像が、低周波サブフレームとなる。つまり、減算部４０１、分配比率処理部４０３が、第２の実施形態における低周波サブフレーム生成部として機能することになる。
【００５４】
次に、高周波サブフレームの生成方法を説明する。
【００５５】
高周波サブフレーム生成部４０４は、入力したフレームから、低周波サブフレームを減じる処理を行なって、高周波サブフレームを生成し、出力する。図５（ｆ）は、この高周波サブフレームの波形を示している。
【００５６】
切替回路１０５では、所望のタイミング、例えば入力画像のフレームレートが６０フレーム／秒（６０Ｈｚ）の場合には、１／１２０秒（１２０Ｈｚ）の周期で、２つのサブフレームを交互に選択し、出力する。切替回路１０５に、インパルス型表示デバイスが接続されている場合、図５（ｅ）の低周波サブフレームと図５（ｄ）の高周波サブフレームが１２０Ｈｚの周期で交互に表示されるので、人間には図５（ｇ）のような波形の像が視覚される。すなわち、６０Ｈｚ表示における入力フレーム図５（ａ）と同一の波形として知覚することができる。
【００５７】
このように、ホールド型とインパルス型では、サブフレームの生成形態が異なるが、サブフレームが負値を取らないよう、後処理がなされている点が、本発明に共通する処理である。
【００５８】
次に上記処理を図６のフローチャートと図５の波形の例を用いて説明する。
【００５９】
まず、ステップＳ６０１で、制御部１５０は必要な初期設定を行う。ローパスフィルタ処理部１０１の静的特性などは、ここであらかじめ設定しておく。ステップＳ６０２では、フレーム画像を入力する。入力した画像の波形の例は、図５（ａ）である。
【００６０】
次にステップＳ６０３において、ローパスフィルタ処理部１０１によるローパスフィルタ処理を行なわせる。図５（ｂ）は、ローパスフィルタ処理した結果の波形である。
【００６１】
次にステップＳ６０４にて、差分算出部４０２に、入力フレームから、フィルタ処理後のフレームを減じることで、負差分フレームを生成する。この差分演算にて得られた負の値の絶対値波形が図５（ｃ）に相当する。
【００６２】
ステップＳ６０５では、減算部４０１に、フィルタ処理後のフレームから、負差分フレームを減じる処理を行なわせる。波形の例では、図５（ｂ）から図５（ｃ）を減じた図５（ｄ）がこれに相当する。
【００６３】
次にステップＳ６０６で分配比率処理部４０３による分配処理を行う。これは、低周波成分のみからなる低周波サブフレームを全体の何％にするかを決定する部分である。ここでは、画素値に関係なく一律５０％として説明する。これは、図５（ｄ）の波形に０．５を乗じて、図５（ｅ）の波形を生成することに対応する。この図５（ｅ）の波形で示される画像が、低周波サブフレームとなる。
【００６４】
次のステップＳ６０７では、高周波サブフレーム生成部４０４が、高周波サブフレームを生成する。具体的には、入力フレームから、低周波サブフレームを減じる処理を行なう。図５（ｆ）は、減じた結果の差分波形を示しており、これが高周波サブフレームとなる。
【００６５】
次にステップＳ６０８にて、切替回路１０５は、低周波サブフレームの出力タイミングを判断し、ステップＳ６０９にて、低周波サブフレームを出力する。低周波サブフレームを出力後にステップＳ６１０にて、切替回路１０５は、高周波サブフレームの出力タイミングを判断し、ステップＳ６１１にて、高周波サブフレームを出力する。
【００６６】
以降ステップＳ６１２にて終了と判定するまで、ステップＳ６０２からの処理を繰り返す。
【００６７】
インパルス型の表示装置の場合、最初の１／１２０秒内の予め設定された瞬間に低周波サブフレームを表示し、次の１／１２０秒内の予め設定された瞬間に高周波サブフレームを表示することになる。各サブフレームは、どちらを先に表示しなければならない、ということはない。この結果、１／６０秒の時間平均での見かけの波形は、図５（ｇ）のようになり、入力フレームと同じ波形となる。
【００６８】
［第３の実施形態］
上記第１，第２の実施形態をコンピュータによるコンピュータプログラムでもって処理する例を、第３の実施形態として説明する。
【００６９】
図１７は、一般的なコンピュータ（パーソナルコンピュータ）のブロック構成図である。このコンピュータは、図示の通り、装置全体の制御を司るＣＰＵ２００２、ＢＩＯＳ及びブートプログラムを格納したＲＯＭ２００３、ＣＰＵ２００２のワークエリアや実行すべきアプリケーションプログラムをロードするためのＲＡＭ２００４を備える。また、コンピュータは、ネットワークインタフェース２００５、キーボードやマウス等の入力装置２００６、表示装置等の出力装置２００７、ハードディスク等の外部記憶装置２００８も備える。これらの構成要素は、システムバス２００１を介して互いに接続されている。
【００７０】
本装置の電源をＯＮにすると、ＣＰＵ２００２はＲＯＭ２００３に格納されたブートプログラムに従って、外部記憶装置２００８内のＯＳ（オペレーティングシステム）をＲＡＭ２００４にロードし、そのＯＳを起動することで、本装置が情報処理装置として機能する。その後、ユーザが入力装置２００６を操作し、動画像変換用のアプリケーションの起動指示を与えると、ＣＰＵ２００２は外部記憶装置２００８から該当する動画像変換用のアプリケーションプログラムをＲＡＭ２００４にロードし、実行することで本装置が画像処理装置として機能する。
【００７１】
画像処理装置として機能した場合、ＣＰＵ２００２は、例えば、外部記憶装置２００８に格納された変換対象の動画像データファイル（ユーザが指定するものとする）から１フレームずつ入力し、第１，第２の実施形態と同様な処理で得られた低周波サブフレーム、高周波サブフレームの動画像ファイルとしてハードディスク等に格納する処理を行なう。なお、２倍速の出力先はファイルとして保存するのではなく、表示装置に出力しても良い。
【００７２】
特に、２倍速に変換した動画像をファイルとして保存する場合には、リアルタイム再生は不要である。従って、ＣＰＵ２００２の処理能力に依存した速度で２倍速動画像ファイルを作成すれば良い。従って、図３のステップＳ３０７、Ｓ３０９、又は、図６のステップＳ６０８、Ｓ６１０のタイミング合せのステップは不要となる。
【００７３】
以上説明したように、コンピュータプログラムにしたがってコンピュータが、第１，第２の実施形態と同様の処理を行なうことが可能である。
【００７４】
また、通常、コンピュータプログラムは、ＣＤ−ＲＯＭやメモリカード等、コンピュータ可読記憶媒体に格納されている。そして、そのコンピュータ可読記憶媒体をコンピュータが有する読取り装置（ＣＤ−ＲＯＭドライブやメモリカードリーダ）にセットし、システムにコピーもしくはインストールすることで実行可能になる。従って、かかるコンピュータプログラムを格納したコンピュータ可読記憶媒体も本発明の範疇にあることは明らかである。
【図面の簡単な説明】
【００７５】
【図１】第１の実施形態の画像処理装置のブロック構成図である。
【図２】第１の実施形態における各処理段階での波形を示す図である。
【図３】第１の実施形態における処理の流れを示すフローチャートである。
【図４】第２の実施形態の画像処理装置のブロック構成図である。
【図５】第２の実施形態における各処理段階での波形を示す図である。
【図６】第２の実施形態における処理の流れを示すフローチャートである。
【図７】ホールド型表示装置の発光時間を説明する図である。
【図８】ホールド型表示装置の動特性を説明する図である。
【図９】ホールド型表示装置の倍速駆動における発光時間を説明する図である。
【図１０】ホールド型表示装置の倍速駆動における動特性を説明する図である。
【図１１】インパルス型表示装置の発光時間を説明する図である。
【図１２】インパルス型表示装置の動特性を説明する図である。
【図１３】インパルス型表示装置の倍速駆動における発光時間を説明する図である。
【図１４】インパルス型表示装置の倍速駆動における動特性を説明する図である。
【図１５】従来の回路構成を説明する図である。
【図１６】従来方法による処理波形を説明する図である。
【図１７】コンピュータのハードウエア構成例を示すブロック図である。
【技術分野】
【０００１】
本発明は、動画像データを、その動画像のフレームレートよりも高いフレームレートの動画像データに変換する技術に関するものである。
【背景技術】
【０００２】
テレビジョン受像機に代表される動画像の表示装置には、ＣＲＴが長年用いられてきたが、近年では液晶デバイスを用いたパネルが主流となりつつある。図７を用いて液晶デバイスの特徴を説明する。図７の水平軸は時間を、垂直軸は画素の明るさを示している。ここでのフレームレートは、６０Ｈｚである。同図が示すように、液晶デバイスの場合は、１／６０秒の間、発光を持続する。このため、液晶デバイスは「ホールド型」のデバイスと呼ばれている。
【０００３】
ホールド型のデバイスは、動きに対し、ボケを生じやすいという欠点を有している。図８はその説明図である。図８の水平軸は画面上の位置を、垂直軸は時間を示している。この図は矩形の波形が画面の左から右に動く例であある。このような動きを眼で追う場合、眼が追従する動きに対して、１／６０秒の間画素が同じ位置に留まった状態が、動きに対する相対的な遅れとなる。ホールド時間が長いと、この遅れの幅が広くなり、画面上では、動きのボケとして知覚されることとなる。図８の一番下の図は、追従視している時の見え方を示したものであり、エッジ部分で、ある幅をもったボケが検知されることを示している。
【０００４】
動きボケ対策の一例として、駆動周波数を上げ、ホールド時間を短くする方法がある。図９は、２倍の１２０Ｈｚで表示する例である。また、２倍のフレームレートにするために、入力画像を高周波成分を含む画像と低周波成分のみを含む画像を時間方向に分割して表示する手法も知られている。図１０は、この方法により駆動分配した画像の動特性である。図８と比較してわかるように、図１０の表示の場合、動きボケは大幅に低減されている。
【０００５】
また、ＣＲＴと同様な発光特性をもつデバイスとして、フィールドエミッションタイプの表示装置の開発も進んでいる。図１１は、これらのデバイスの発光特性の説明図である。図７と同様、横軸が時間、縦軸が画素の明るさを示している。このタイプの表示装置は、６０分の１秒のうちの一瞬だけ発光するので、「インパルス型」と呼ばれている。
【０００６】
インパルス型のデバイスは、１／６０秒の周期で、発光の有無を繰り返すので、この点滅をフリッカとして知覚しやすいという欠点を有している。フリッカは面積が大きくなるほど目立ちやすいという特性があるため、近年の表示装置の大画面化の流れの中では、特に問題となりやすい。
【０００７】
図１２は、インパルス型デバイスの動特性を示している。ホールド型の特性と違い、残像となるような動きボケが発生しないことが最大の特徴となっている。
【０００８】
フリッカ対策の一例としても、駆動周波数を上げることが考えられる。図１３は、倍の１２０Ｈｚで表示する例である。インパルス型の場合は、１回の明るさの半分のレベルを２回表示することで、同等の明るさを得ることができる。
【０００９】
図１４は、高周波成分を含む画像と低周波成分のみを含む画像を時間方向に分割して表示する場合の動特性である。単純に２回ずつ同じフレームを表示すると、２重写りとなってしまうが、高周波側のみを１回表示させることにより、低周波成分に起因するボケのみで、視覚的な劣化は抑制される。
【００１０】
このように、ホールド型の表示装置における動きボケ対策として、もしくはインパルス型の表示装置におけるフリッカ対策として、周波数成分によりフレーム画像を２つのサブフレームに分配する方法は、効果的である。
【００１１】
ホールド型の２倍速駆動を実現する方法の一例としては、特許文献１がある。この文献における回路構成の一部を図１５に示す。入力フレームに対し、ローパスフィルタ処理部１００１では、低周波成分のみを含むサブフレームを生成する。生成された低周波成分のみのサブフレームは一旦フレームメモリ１００７に格納される。差分検出部１００６では、入力フレームとローパスフィルタ処理部１００１で生成した低周波成分のみを含むサブフレームとの差分を検出し、高周波成分を抽出する。ここで生成された高周波成分と入力フレームを足すことにより、高周波成分を強調したサブフレームを得ることができる。切替回路１００５では、低周波成分のみを含むサブフレームと、高周波成分を強調したサブフレームとを、１２０Ｈｚの周期で切り替えて後段の処理に送る。高周波成分を除いたサブフレームと高周波成分を強調したサブフレームを交互に表示することで、６０Ｈｚの時間周期で見た場合は、元のフレーム画像が再現されていることになる。
【特許文献１】特開２００６−１８４８９６号公報
【発明の開示】
【発明が解決しようとする課題】
【００１２】
しかしながら、上記のようにして、２つのサブフレームを合成した見かけのフレーム画像が、元のフレーム画像と同じにならない場合がある。以下、図１６（ａ）乃至（ｆ）を用いて説明する。図１６（ａ）は、入力フレーム画像の波形例を示している。図１６（ｂ）は、この入力フレーム画像に、図１５のローパスフィルタ処理部１００１の処理結果を示す出力波形である。図１６（ｃ）は、図１５の差分検出部１００６が検出した出力波形である。高周波成分であるため、正負の値を取る。図１６（ｄ）は、元の入力波形（図１６（ａ））に高周波成分（図１６（ｃ））を足した波形である。１２０Ｈｚの周期で図１６（ｂ）の波形と図１６（ｃ）の波形とを交互に表示することで、理論上、その見かけ上の波形は、図１６（ａ）と同じになる。しかしながら、図１６（ａ）の低輝度レベル部分がゼロ、もしくはそれに近い値である場合、図１６（ｄ）の波形は、負の値を持つことになる。負の値の画像を表示することはできないので、実際には、図１６（ｅ）のように、負の値はゼロとして表示されることになる。すると、実際は、図１６（ｂ）と図１６（ｅ）とを交互表示することになるので、人間には図１６（ｆ）のような波形なって知覚される。これは、黒の背景に白の文字があるような場合に、文字の輪郭がにじんだ画像として知覚されることを意味する。すなわち、このように入力画像の波形によっては、分配処理後の画像が元の画像と同じに見えず、それが劣化として知覚されることが起こり得る。
【００１３】
本発明はかかる課題に鑑みなされたものであり、動画像中の静止物のエッジの劣化を抑制する技術を提供しようとするものである。
【課題を解決するための手段】
【００１４】
かかる課題を解決するため、例えば本発明の画像処理装置は以下の構成を備える。すなわち、
単位時間当たりＦ個のフレームで構成される動画像データを、単位時間当たり２Ｆ個のフレームで構成される動画像データに変換する画像処理装置であって、
フレームを単位に動画像データを入力する入力手段と、
該入力手段が入力したフレームをローパスフィルタ処理するローパスフィルタ手段と、
前記入力手段で入力したフレームの各画素値から、前記ローパスフィルタ手段によるフィルタ処理後のフレームの各画素値を減じる処理を行ない、減じて得られた差分画素値が負の値を持つ場合には“０”とした“０”以上の差分画素値で構成される正差分フレームを生成すると共に、前記差分画素値が正の値を持つ場合には“０”とした“０”以下の差分画素値で構成される負差分フレームを生成する差分算出手段と、
前記ローパスフィルタ手段で得られたフィルタ処理後のフレームに、前記負差分フレームを加算することで、低周波サブフレームを生成する低周波サブフレーム生成手段と、
前記入力手段で入力したフレームに、前記正差分フレームを加算することで、高周波サブフレームを生成する高周波サブフレーム生成手段と
前記低周波サブフレーム、前記高周波サブフレームを出力する出力手段とを備える。
【発明の効果】
【００１５】
本発明によれば、単位時間当たりＦ個のフレームで構成される動画像データを、単位時間当たり２Ｆ個のサブフレームで構成される動画像データに変換して得られた動画像中の静止物のエッジが劣化することを抑制することが可能になる。
【発明を実施するための最良の形態】
【００１６】
以下、添付図面に従って本発明に係る実施形態を詳細に説明する。
【００１７】
［第１の実施形態］
本第１の実施形態では、特にホールド型表示装置に好適な例を説明する。
【００１８】
図１は、本第１の実施形態の画像処理装置のブロック構成図である。本装置は、装置全体の制御を司る制御部１５０、ＬＰＦ（ローパスフィルタ）処理部１０１、差分算出部１０２、低周波サブフレーム生成部１０３、高周波サブフレーム生成部１０４、及び、切替回路１０５で構成される。なお、図示の各処理部の間には、タイミングを合せるためのバッファメモリが存在するが、それらは省略していることに注意されたい。
【００１９】
本装置は、入力端子からフレームレートＦ／秒の動画像を入力し、２倍のフレームレート２Ｆ／秒の動画画像に変換し、出力する例を説明する。Ｆ／秒は例えば６０フレーム／秒である。従って、１フレームの画像を入力毎に、２つのサブフレームを生成し、出力する。２つのサブフレームのうち、一方は高周波成分を含むサブフレームであるので、以降、高周波サブフレームと表現する。もう一方は、低周波成分のみを含むサブフレームであるので、以降、低周波サブフレームと表現する。
【００２０】
なお、動画像の入力源としては、ビデオカメラとするが、例えばＤＶＤメディアの映像のデコード処理後の動画像データで良く、その種類は問わない。
【００２１】
また、実施形態では説明を簡単なものとするため、動画像データはモノクロであるものとして説明する。但し、Ｒ、Ｇ、Ｂ等のカラー動画像の場合には、各色成分毎に以下に示す処理を行なえば良いので、必ずしもモノクロである必要はない。
【００２２】
先ず、低周波サブフレームの生成処理について説明する。
【００２３】
ローパスフィルタ処理部１０１では、高周波成分を除去するためのフィルタ処理を行う。このフィルタは、特に関数を規定するものではなく、例えばガウス関数でもよいし、移動平均あるいは重み付け移動平均フィルタのようなものでもよい。
【００２４】
図２（ａ）は、入力波形の一例であり、図２（ｂ）は、ローパスフィルタ処理部１０１で生成した低周波成分のみを含む低周波サブフレームの波形を示している。
【００２５】
差分算出部１０２は、入力したフレームから、ローパスフィルタ処理処理後のサブフレームを減じることで、その差分値を検出する。なお、２つのフレームどうしの加算や減算は、それら２つのフレーム中の同じ座標位置の画素値の加算、減算を言う。これは、以下に説明する差分フレームとフレーム間の演算でも同じである。
【００２６】
さて、差分算出部１０２が算出する差分値は、図２（ｃ）のように、正の値と負の値の両方を取り得る。負の値の画像を表示することはできないため、図２（ｄ）と図２（ｅ）に示すように、正の値と負の値を分離し、負の値については、絶対値を用いて処理する。図２（ｄ）の波形で示されるフレームは、要するに、差分値が負の値の場合にその値を“０”にした、“０”以上の正の差分値で構成される正差分フレームということができる。また、図２（ｅ）の波形で示されるフレームは、差分値が正の値の場合にその値を“０”にした、“０”以下の差分値の絶対値で構成される負差分フレームということができる。
【００２７】
上記をより明確に定義するであれば、次の通りである。
【００２８】
入力フレームから、フィルタ処理したフレームを減じた各画素の差分画素値を、その座標（ｘ，ｙ）を用いてＤ（ｘ，ｙ）と定義する。正差分フレームの座標（ｘ，ｙ）の値ＰＤ（ｘ、ｙ）は、次のようにして求める。
Ｄ（ｘ，ｙ）≦０の場合、ＰＤ（ｘ，ｙ）←０
Ｄ（ｘ，ｙ）＞０の場合、ＰＤ（ｘ，ｙ）←Ｄ（ｘ，ｙ）
【００２９】
同様に、負差分フレームの座標（ｘ，ｙ）の値をＮＤ（ｘ，ｙ）は、次のように定義できる。
Ｄ（ｘ，ｙ）≧０の場合、ＮＤ（ｘ，ｙ）←０
Ｄ（ｘ，ｙ）＜０の場合、ＮＤ（ｘ，ｙ）←｜Ｄ（ｘ，ｙ）｜
（ここで、｜Ｖ｜はＶの絶対値を示す）。
【００３０】
差分算出部１０２は、上記のようにして算出した負差分フレーム（図２（ｄ））を低周波サブフレーム生成部１０３に、正差分フレーム（図２（ｅ））を高周波サブフレーム生成部１０４に出力する。
【００３１】
低周波サブフレーム生成部１０３は、ローパスフィルタ処理したフレームから、負差分フレームを減じる処理を行う。
【００３２】
なお、差分算出部１０２が、負差分フレームを絶対値に変換しないまま出力するのであれば、低周波サブフレーム生成部１０３は、ローパスフィルタ処理したフレームに、負差分フレームを「加算」する処理を行なえば良い。或る値から負の値の絶対値を減じることと、或る値に負の値を加算することは等価であるからである。
【００３３】
さて、上記の通り、低周波サブフレーム生成部１０３は、図２（ｂ）に示す波形から、図２（ｄ）の波形を減じる処理を行なうものであるから、その減じた結果は図２（ｆ）の波形となる。この図２（ｆ）の波形で示されるフレームが、本実施形態における低周波成分のみの含む低周波サブフレームとなる。
【００３４】
次に、高周波サブフレームの生成について説明する。この高周波サブフレームは、高周波サブフレーム生成部１０４が生成する。
【００３５】
差分算出部１０２は、上記の通り、図２（ｅ）の正差分フレームを高周波サブフレーム生成部１０４に供給する。高周波サブフレーム生成部１０４は、入力フレーム（図２（ａ））に、差分算出部１０２からの正差分フレーム（図２（ｅ））を加算し、出力する。この結果、高周波サブフレーム生成部１０４は、図２（ｇ）に示すな波形を有するフレームを出力する。この高周波サブフレーム生成部１０４から出力されるのが高周波サブフレームである。
【００３６】
切替回路１０５では、所望のタイミング、例えば入力した動画像のフレームレートが６０Ｈｚの場合、１２０Ｈｚの周期で、図２（ｆ）と図２（ｇ）、すなわち、低周波サブフレームと高周波サブフレームを交互に出力する。ここで、切替回路１０５にホールド型表示デバイスが接続されている場合、人間の視覚では図２（ｈ）のように見えることとなり、６０Ｈｚ表示における入力フレーム図２（ａ）と同一の波形として知覚することができる。
【００３７】
なお、上記はモノクロの例であったが、カラー画像の場合にも適用できる。カラー表示装置の場合、Ｒ，Ｇ，ＢやＹ，Ｃｂ，Ｃｒといった３種類の色成分に分けて処理することが多い。従って、Ｒ，Ｇ，Ｂの場合には、それぞれの色成分の輝度値に対して上記処理を行なえば良い。また、Ｙ，Ｃｂ，Ｃｒの場合、人間の視覚感度上、輝度成分Ｙに対してのみ行えば十分であろう。
【００３８】
次に、上記の処理を図３のフローチャートと図２の処理波形の例を用いて、制御部１５０の処理内容を説明する。
【００３９】
まず、ステップＳ３０１で、制御部１５０は必要な初期設定を行う。ローパスフィルタ処理部１０１の静的特性などは、この段階で設定しておく。ステップＳ３０２では、フレーム画像を入力する。波形の例では、図２（ａ）がこれに相当する。次にステップＳ３０３として、ローパスフィルタ処理部１０１によるローパスフィルタ処理を行う。図２（ｂ）の波形を生成する処理がこれに相当する。
【００４０】
次にステップＳ３０４で、差分算出部１０２に、入力フレームからローパスフィルタ処理後のフレームを減算する処理を行なわせる。差分算出部１０２は、２つの差分フレームを生成する。１つは、差分値が負の値を持つ場合には“０”とし、差分値が正の場合にはその正の値のままの正差分フレームである。もう１つは、差分値が正の値を持つ場合には“０”とし、差分値が負の場合にはその負の値のままの負差分フレームである。なお、ここでは、負差分フレームの各画素位置の値は０、もしくは負の値を持ったままとして説明する。
【００４１】
ステップＳ３０５では、低周波サブフレーム生成部１０３が、低周波サブフレームの生成処理を行う。具体的には、ローパスフィルタ処理部１０１からのフレームに、差分算出部１０２からの負差分フレームを加算する処理を行なう。生成された低周波サブフレームは、図２（ｆ）の波形に対応する。
【００４２】
ステップＳ３０６では、高周波サブフレーム生成部１０４が、高周波サブフレームの生成処理を行う。具体的には、入力端子から入力したフレームに、差分算出部１０２からの正差分フレームを加算する処理を行なう。生成された高周波サブフレームは、図２（ｇ）の波形に対応する。高周波サブフレームは、低周波サブフレーム中の失った高周波成分を補うものである。
【００４３】
ステップＳ３０７では、切替回路１０５は、低周波サブフレームの出力タイミングを判断する。そして、その出力タイミングになったとき、ステップＳ３０８にて、低周波サブフレームを出力する。この低周波サブフレームを出力後にステップＳ３０９にて、今度は、高周波サブフレームの出力タイミングを判断する。そして、そのタイミングになった場合、ステップＳ３１０にて、高周波サブフレームを出力する。各サブフレームは、どちらを先に表示しなければならない、ということはない。ホールド型の表示装置の場合、最初の１／１２０秒の間に低周波サブフレームを表示し、次の１／１２０秒の間に高周波サブフレームを表示することになる。
【００４４】
以降、ステップＳ３１１にて終了と判定するまで、ステップＳ３０２からの処理を繰り返す。１／６０秒の時間平均での見かけの波形は、図２（ｈ）のようになり、入力フレームと同じ波形となる。液晶の応答特性の改善や、バックライトを制御するなどの方法により、１／１２０秒よりも、短い時間でサブフレームを表示させることも可能であるが、１／６０秒の時間周期で入力と見かけ上同じ波形を生成する、という本発明の特徴は何ら変わるものではない。
【００４５】
［第２の実施形態］
次に、インパルス型の表示装置に好適な例を第２の実施形態として説明する。
【００４６】
図４は、本第２の実施形態の画像処理装置のブロック構成図である。図４において、ローパスフィルタ処理部１０１は、図１と同じである。
【００４７】
以下、図５（ａ）乃至（ｇ）に示す波形を参照し、本第２の実施形態を説明する。
【００４８】
本第２の実施形態では、第１の実施形態と同様、入力した１フレームの画像から、高周波成分を含む高周波サブフレームと、低周波成分のみを含む低周波サブフレームを生成する。そこで、先ず、低周波サブフレームの生成処理について説明する。
【００４９】
ローパスフィルタ処理部１０１は、高周波成分を除去するためのフィルタ処理を行う。このフィルタは、特に関数を規定するものではなく、例えばガウス関数でもよいし、移動平均あるいは重み付け移動平均フィルタのようなものでもよい。図５（ａ）は、入力波形の一例であり、図５（ｂ）は、ローパスフィルタ処理部１０１によるローパスフィルタ処理した結果を示している。
【００５０】
差分算出部４０２は、入力フレームから、ローパスフィルタ処理で得られたフレームを減算する。そして、減算結果が正の値の場合には“０”、負の値の場合にはその負の値の絶対値で構成される負差分フレームを出力する。図５（ｃ）の波形は、差分算出部４０２が出力する波形である。
【００５１】
減算部４０１は、ローパスフィルタ処理したフレーム（図５（ｂ））から、差分算出部４０２が生成した負差分フレーム（図５（ｃ））を減じる処理を行なう。なお、先の第１の実施形態でも説明したが、差分算出部４０２は、負差分フレームを生成する際、その絶対値への変換を行なわないのであれば、減算部４０１の代りに、加算部を設ければよく、技術的に等価のことである。
【００５２】
次に分配比率処理部４０３は、２つのサブフレームを発光させる割合に従って、差分負値減算部１０３から画像データを補正する。フリッカを知覚しにくくするためには、２つのサブフレームの明るさの差が少ない方が望ましい。したがって、ここでは、１未満の乗算係数（実施形態では乗算係数＝０．５＝５０％）に従って分配する例で説明する。すなわち、分配比率処理部４０３は、２つのサブフレームを発光させる割合に従って、減算部４０１から画像データの各画素に対して、乗算係数“０．５”を乗算する。
【００５３】
図５（ｅ）は、図５（ｄ）の波形に“０．５”を乗じて得た波形である。この図５（ｅ）に示す波形で示される画像が、低周波サブフレームとなる。つまり、減算部４０１、分配比率処理部４０３が、第２の実施形態における低周波サブフレーム生成部として機能することになる。
【００５４】
次に、高周波サブフレームの生成方法を説明する。
【００５５】
高周波サブフレーム生成部４０４は、入力したフレームから、低周波サブフレームを減じる処理を行なって、高周波サブフレームを生成し、出力する。図５（ｆ）は、この高周波サブフレームの波形を示している。
【００５６】
切替回路１０５では、所望のタイミング、例えば入力画像のフレームレートが６０フレーム／秒（６０Ｈｚ）の場合には、１／１２０秒（１２０Ｈｚ）の周期で、２つのサブフレームを交互に選択し、出力する。切替回路１０５に、インパルス型表示デバイスが接続されている場合、図５（ｅ）の低周波サブフレームと図５（ｄ）の高周波サブフレームが１２０Ｈｚの周期で交互に表示されるので、人間には図５（ｇ）のような波形の像が視覚される。すなわち、６０Ｈｚ表示における入力フレーム図５（ａ）と同一の波形として知覚することができる。
【００５７】
このように、ホールド型とインパルス型では、サブフレームの生成形態が異なるが、サブフレームが負値を取らないよう、後処理がなされている点が、本発明に共通する処理である。
【００５８】
次に上記処理を図６のフローチャートと図５の波形の例を用いて説明する。
【００５９】
まず、ステップＳ６０１で、制御部１５０は必要な初期設定を行う。ローパスフィルタ処理部１０１の静的特性などは、ここであらかじめ設定しておく。ステップＳ６０２では、フレーム画像を入力する。入力した画像の波形の例は、図５（ａ）である。
【００６０】
次にステップＳ６０３において、ローパスフィルタ処理部１０１によるローパスフィルタ処理を行なわせる。図５（ｂ）は、ローパスフィルタ処理した結果の波形である。
【００６１】
次にステップＳ６０４にて、差分算出部４０２に、入力フレームから、フィルタ処理後のフレームを減じることで、負差分フレームを生成する。この差分演算にて得られた負の値の絶対値波形が図５（ｃ）に相当する。
【００６２】
ステップＳ６０５では、減算部４０１に、フィルタ処理後のフレームから、負差分フレームを減じる処理を行なわせる。波形の例では、図５（ｂ）から図５（ｃ）を減じた図５（ｄ）がこれに相当する。
【００６３】
次にステップＳ６０６で分配比率処理部４０３による分配処理を行う。これは、低周波成分のみからなる低周波サブフレームを全体の何％にするかを決定する部分である。ここでは、画素値に関係なく一律５０％として説明する。これは、図５（ｄ）の波形に０．５を乗じて、図５（ｅ）の波形を生成することに対応する。この図５（ｅ）の波形で示される画像が、低周波サブフレームとなる。
【００６４】
次のステップＳ６０７では、高周波サブフレーム生成部４０４が、高周波サブフレームを生成する。具体的には、入力フレームから、低周波サブフレームを減じる処理を行なう。図５（ｆ）は、減じた結果の差分波形を示しており、これが高周波サブフレームとなる。
【００６５】
次にステップＳ６０８にて、切替回路１０５は、低周波サブフレームの出力タイミングを判断し、ステップＳ６０９にて、低周波サブフレームを出力する。低周波サブフレームを出力後にステップＳ６１０にて、切替回路１０５は、高周波サブフレームの出力タイミングを判断し、ステップＳ６１１にて、高周波サブフレームを出力する。
【００６６】
以降ステップＳ６１２にて終了と判定するまで、ステップＳ６０２からの処理を繰り返す。
【００６７】
インパルス型の表示装置の場合、最初の１／１２０秒内の予め設定された瞬間に低周波サブフレームを表示し、次の１／１２０秒内の予め設定された瞬間に高周波サブフレームを表示することになる。各サブフレームは、どちらを先に表示しなければならない、ということはない。この結果、１／６０秒の時間平均での見かけの波形は、図５（ｇ）のようになり、入力フレームと同じ波形となる。
【００６８】
［第３の実施形態］
上記第１，第２の実施形態をコンピュータによるコンピュータプログラムでもって処理する例を、第３の実施形態として説明する。
【００６９】
図１７は、一般的なコンピュータ（パーソナルコンピュータ）のブロック構成図である。このコンピュータは、図示の通り、装置全体の制御を司るＣＰＵ２００２、ＢＩＯＳ及びブートプログラムを格納したＲＯＭ２００３、ＣＰＵ２００２のワークエリアや実行すべきアプリケーションプログラムをロードするためのＲＡＭ２００４を備える。また、コンピュータは、ネットワークインタフェース２００５、キーボードやマウス等の入力装置２００６、表示装置等の出力装置２００７、ハードディスク等の外部記憶装置２００８も備える。これらの構成要素は、システムバス２００１を介して互いに接続されている。
【００７０】
本装置の電源をＯＮにすると、ＣＰＵ２００２はＲＯＭ２００３に格納されたブートプログラムに従って、外部記憶装置２００８内のＯＳ（オペレーティングシステム）をＲＡＭ２００４にロードし、そのＯＳを起動することで、本装置が情報処理装置として機能する。その後、ユーザが入力装置２００６を操作し、動画像変換用のアプリケーションの起動指示を与えると、ＣＰＵ２００２は外部記憶装置２００８から該当する動画像変換用のアプリケーションプログラムをＲＡＭ２００４にロードし、実行することで本装置が画像処理装置として機能する。
【００７１】
画像処理装置として機能した場合、ＣＰＵ２００２は、例えば、外部記憶装置２００８に格納された変換対象の動画像データファイル（ユーザが指定するものとする）から１フレームずつ入力し、第１，第２の実施形態と同様な処理で得られた低周波サブフレーム、高周波サブフレームの動画像ファイルとしてハードディスク等に格納する処理を行なう。なお、２倍速の出力先はファイルとして保存するのではなく、表示装置に出力しても良い。
【００７２】
特に、２倍速に変換した動画像をファイルとして保存する場合には、リアルタイム再生は不要である。従って、ＣＰＵ２００２の処理能力に依存した速度で２倍速動画像ファイルを作成すれば良い。従って、図３のステップＳ３０７、Ｓ３０９、又は、図６のステップＳ６０８、Ｓ６１０のタイミング合せのステップは不要となる。
【００７３】
以上説明したように、コンピュータプログラムにしたがってコンピュータが、第１，第２の実施形態と同様の処理を行なうことが可能である。
【００７４】
また、通常、コンピュータプログラムは、ＣＤ−ＲＯＭやメモリカード等、コンピュータ可読記憶媒体に格納されている。そして、そのコンピュータ可読記憶媒体をコンピュータが有する読取り装置（ＣＤ−ＲＯＭドライブやメモリカードリーダ）にセットし、システムにコピーもしくはインストールすることで実行可能になる。従って、かかるコンピュータプログラムを格納したコンピュータ可読記憶媒体も本発明の範疇にあることは明らかである。
【図面の簡単な説明】
【００７５】
【図１】第１の実施形態の画像処理装置のブロック構成図である。
【図２】第１の実施形態における各処理段階での波形を示す図である。
【図３】第１の実施形態における処理の流れを示すフローチャートである。
【図４】第２の実施形態の画像処理装置のブロック構成図である。
【図５】第２の実施形態における各処理段階での波形を示す図である。
【図６】第２の実施形態における処理の流れを示すフローチャートである。
【図７】ホールド型表示装置の発光時間を説明する図である。
【図８】ホールド型表示装置の動特性を説明する図である。
【図９】ホールド型表示装置の倍速駆動における発光時間を説明する図である。
【図１０】ホールド型表示装置の倍速駆動における動特性を説明する図である。
【図１１】インパルス型表示装置の発光時間を説明する図である。
【図１２】インパルス型表示装置の動特性を説明する図である。
【図１３】インパルス型表示装置の倍速駆動における発光時間を説明する図である。
【図１４】インパルス型表示装置の倍速駆動における動特性を説明する図である。
【図１５】従来の回路構成を説明する図である。
【図１６】従来方法による処理波形を説明する図である。
【図１７】コンピュータのハードウエア構成例を示すブロック図である。
【特許請求の範囲】
【請求項１】
単位時間当たりＦ個のフレームで構成される動画像データを、単位時間当たり２Ｆ個のサブフレームで構成される動画像データに変換する画像処理装置であって、
フレームを単位に動画像データを入力する入力手段と、
該入力手段が入力したフレームをローパスフィルタ処理するローパスフィルタ手段と、
前記入力手段で入力したフレームの各画素値から、前記ローパスフィルタ手段によるフィルタ処理後のフレームの各画素値を減じる処理を行ない、減じて得られた差分画素値が負の値を持つ場合には“０”とした“０”以上の差分画素値で構成される正差分フレームを生成すると共に、前記差分画素値が正の値を持つ場合には“０”とした“０”以下の差分画素値で構成される負差分フレームを生成する差分算出手段と、
前記ローパスフィルタ手段で得られたフィルタ処理後のフレームに、前記負差分フレームを加算することで、低周波サブフレームを生成する低周波サブフレーム生成手段と、
前記入力手段で入力したフレームに、前記正差分フレームを加算することで、高周波サブフレームを生成する高周波サブフレーム生成手段と、
前記低周波サブフレーム、前記高周波サブフレームを出力する出力手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記出力手段は、ホールド型表示装置に出力することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
単位時間当たりＦ個のフレームで構成される動画像データを、単位時間当たり２Ｆ個のサブフレームで構成される動画像データに変換する画像処理装置の制御方法であって、
フレームを単位に動画像データを入力する入力工程と、
該入力工程が入力したフレームをローパスフィルタ処理するローパスフィルタ工程と、
前記入力工程で入力したフレームの各画素値から、前記ローパスフィルタ工程によるフィルタ処理後のフレームの各画素値を減じる処理を行ない、減じて得られた差分画素値が負の値を持つ場合には“０”とした“０”以上の差分画素値で構成される正差分フレームを生成すると共に、前記差分画素値が正の値を持つ場合には“０”とした“０”以下の差分画素値で構成される負差分フレームを生成する差分算出工程と、
前記ローパスフィルタ工程で得られたフィルタ処理後のフレームに、前記負差分フレームを加算することで、低周波サブフレームを生成する低周波サブフレーム生成工程と、
前記入力工程で入力したフレームに、前記正差分フレームを加算することで、高周波サブフレームを生成する高周波サブフレーム生成工程と、
前記低周波サブフレーム、前記高周波サブフレームを出力する出力工程と
を備えることを特徴とする画像処理装置の制御方法。
【請求項４】
単位時間当たりＦ個のフレームで構成される動画像データを、単位時間当たり２Ｆ個のサブフレームで構成される動画像データに変換する画像処理装置であって、
フレームを単位に動画像データを入力する入力手段と、
入力したフレームをローパスフィルタ処理するローパスフィルタ手段と、
前記入力手段で入力したフレームの各画素値から、前記ローパスフィルタ手段によるフィルタ処理後のフレームの各画素値を減じる処理を行ない、減じて得られた差分画素値が正の値を持つ場合には“０”とした“０”以下の差分画素値で構成される負差分フレームを生成する差分算出手段と、
前記ローパスフィルタ手段で得られたフィルタ処理後のフレームに、前記負差分フレームを加算する加算手段と、
該加算手段によって得られたフレーム中の各画素値に、予め設定された１未満の乗算係数を乗算することで、低周波サブフレームを生成する低周波サブフレーム生成手段と、
前記入力手段で入力したフレームから、前記低周波サブフレームを減算すことで、高周波サブフレームを生成する高周波サブフレーム生成手段と、
前記低周波サブフレーム、前記高周波サブフレームを出力する出力手段と
を備えることを特徴とする画像処理装置。
【請求項５】
前記出力手段は、インパルス型表示装置に出力することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
単位時間当たりＦ個のフレームで構成される動画像データを、単位時間当たり２Ｆ個のサブフレームで構成される動画像データに変換する画像処理装置の制御方法であって、
フレームを単位に動画像データを入力する入力工程と、
入力したフレームをローパスフィルタ処理するローパスフィルタ工程と、
前記入力工程で入力したフレームの各画素値から、前記ローパスフィルタ工程によるフィルタ処理後のフレームの各画素値を減じる処理を行ない、減じて得られた差分画素値が正の値を持つ場合には“０”とした“０”以下の差分画素値で構成される負差分フレームを生成する差分算出工程と、
前記ローパスフィルタ工程で得られたフィルタ処理後のフレームに、前記負差分フレームを加算する加算工程と、
該加算工程によって得られたフレーム中の各画素値に、予め設定された１未満の乗算係数を乗算するこで、低周波サブフレームを生成する低周波サブフレーム生成工程と、
前記入力工程で入力したフレームから、前記低周波サブフレームを減算すことで、高周波サブフレームを生成する高周波サブフレーム生成工程と、
前記低周波サブフレーム、前記高周波サブフレームを出力する出力工程と
を備えることを特徴とする画像処理装置の制御方法。
【請求項７】
コンピュータに読み込ませ実行させることで、前記コンピュータを、請求項１又は４に記載の画像処理装置として機能させることを特徴とするコンピュータプログラム。
【請求項８】
請求項７に記載のコンピュータプログラムを格納したことを特徴とするコンピュータ可読記憶媒体。
【請求項１】
単位時間当たりＦ個のフレームで構成される動画像データを、単位時間当たり２Ｆ個のサブフレームで構成される動画像データに変換する画像処理装置であって、
フレームを単位に動画像データを入力する入力手段と、
該入力手段が入力したフレームをローパスフィルタ処理するローパスフィルタ手段と、
前記入力手段で入力したフレームの各画素値から、前記ローパスフィルタ手段によるフィルタ処理後のフレームの各画素値を減じる処理を行ない、減じて得られた差分画素値が負の値を持つ場合には“０”とした“０”以上の差分画素値で構成される正差分フレームを生成すると共に、前記差分画素値が正の値を持つ場合には“０”とした“０”以下の差分画素値で構成される負差分フレームを生成する差分算出手段と、
前記ローパスフィルタ手段で得られたフィルタ処理後のフレームに、前記負差分フレームを加算することで、低周波サブフレームを生成する低周波サブフレーム生成手段と、
前記入力手段で入力したフレームに、前記正差分フレームを加算することで、高周波サブフレームを生成する高周波サブフレーム生成手段と、
前記低周波サブフレーム、前記高周波サブフレームを出力する出力手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記出力手段は、ホールド型表示装置に出力することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
単位時間当たりＦ個のフレームで構成される動画像データを、単位時間当たり２Ｆ個のサブフレームで構成される動画像データに変換する画像処理装置の制御方法であって、
フレームを単位に動画像データを入力する入力工程と、
該入力工程が入力したフレームをローパスフィルタ処理するローパスフィルタ工程と、
前記入力工程で入力したフレームの各画素値から、前記ローパスフィルタ工程によるフィルタ処理後のフレームの各画素値を減じる処理を行ない、減じて得られた差分画素値が負の値を持つ場合には“０”とした“０”以上の差分画素値で構成される正差分フレームを生成すると共に、前記差分画素値が正の値を持つ場合には“０”とした“０”以下の差分画素値で構成される負差分フレームを生成する差分算出工程と、
前記ローパスフィルタ工程で得られたフィルタ処理後のフレームに、前記負差分フレームを加算することで、低周波サブフレームを生成する低周波サブフレーム生成工程と、
前記入力工程で入力したフレームに、前記正差分フレームを加算することで、高周波サブフレームを生成する高周波サブフレーム生成工程と、
前記低周波サブフレーム、前記高周波サブフレームを出力する出力工程と
を備えることを特徴とする画像処理装置の制御方法。
【請求項４】
単位時間当たりＦ個のフレームで構成される動画像データを、単位時間当たり２Ｆ個のサブフレームで構成される動画像データに変換する画像処理装置であって、
フレームを単位に動画像データを入力する入力手段と、
入力したフレームをローパスフィルタ処理するローパスフィルタ手段と、
前記入力手段で入力したフレームの各画素値から、前記ローパスフィルタ手段によるフィルタ処理後のフレームの各画素値を減じる処理を行ない、減じて得られた差分画素値が正の値を持つ場合には“０”とした“０”以下の差分画素値で構成される負差分フレームを生成する差分算出手段と、
前記ローパスフィルタ手段で得られたフィルタ処理後のフレームに、前記負差分フレームを加算する加算手段と、
該加算手段によって得られたフレーム中の各画素値に、予め設定された１未満の乗算係数を乗算することで、低周波サブフレームを生成する低周波サブフレーム生成手段と、
前記入力手段で入力したフレームから、前記低周波サブフレームを減算すことで、高周波サブフレームを生成する高周波サブフレーム生成手段と、
前記低周波サブフレーム、前記高周波サブフレームを出力する出力手段と
を備えることを特徴とする画像処理装置。
【請求項５】
前記出力手段は、インパルス型表示装置に出力することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
単位時間当たりＦ個のフレームで構成される動画像データを、単位時間当たり２Ｆ個のサブフレームで構成される動画像データに変換する画像処理装置の制御方法であって、
フレームを単位に動画像データを入力する入力工程と、
入力したフレームをローパスフィルタ処理するローパスフィルタ工程と、
前記入力工程で入力したフレームの各画素値から、前記ローパスフィルタ工程によるフィルタ処理後のフレームの各画素値を減じる処理を行ない、減じて得られた差分画素値が正の値を持つ場合には“０”とした“０”以下の差分画素値で構成される負差分フレームを生成する差分算出工程と、
前記ローパスフィルタ工程で得られたフィルタ処理後のフレームに、前記負差分フレームを加算する加算工程と、
該加算工程によって得られたフレーム中の各画素値に、予め設定された１未満の乗算係数を乗算するこで、低周波サブフレームを生成する低周波サブフレーム生成工程と、
前記入力工程で入力したフレームから、前記低周波サブフレームを減算すことで、高周波サブフレームを生成する高周波サブフレーム生成工程と、
前記低周波サブフレーム、前記高周波サブフレームを出力する出力工程と
を備えることを特徴とする画像処理装置の制御方法。
【請求項７】
コンピュータに読み込ませ実行させることで、前記コンピュータを、請求項１又は４に記載の画像処理装置として機能させることを特徴とするコンピュータプログラム。
【請求項８】
請求項７に記載のコンピュータプログラムを格納したことを特徴とするコンピュータ可読記憶媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２０１０−２８５７６（Ｐ２０１０−２８５７６Ａ）
【公開日】平成２２年２月４日（２０１０．２．４）
【国際特許分類】
【出願番号】特願２００８−１８９０４８（Ｐ２００８−１８９０４８）
【出願日】平成２０年７月２２日（２００８．７．２２）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２２年２月４日（２０１０．２．４）
【国際特許分類】
【出願日】平成２０年７月２２日（２００８．７．２２）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]