画像処理装置およびその制御方法、プログラム
【課題】 動画像データと静止画像データのいずれに対してもフリッカーを抑制し、動きぼけを低減する。
【解決手段】 入力フレームから周波数成分の異なるフレームを生成し出力する画像処理装置であって、前記入力フレームと、該入力フレームと時間的に前もしくは後のフレームとの比較によって該入力フレームの動きを検出し、入力フレームをフレームメモリに記憶し、前記入力フレームを複数回読み出すことにより該入力フレームのフレームレートを変換し、フレームレートが変換されたフレームから周波数成分の異なるフレームを生成し、入力フレームが動画像であると判定された場合には、周波数成分の異なるフレームを出力し、前記入力フレームが静止画像であると判定された場合には、前記フレームレートが変換されたフレームを出力する。
【解決手段】 入力フレームから周波数成分の異なるフレームを生成し出力する画像処理装置であって、前記入力フレームと、該入力フレームと時間的に前もしくは後のフレームとの比較によって該入力フレームの動きを検出し、入力フレームをフレームメモリに記憶し、前記入力フレームを複数回読み出すことにより該入力フレームのフレームレートを変換し、フレームレートが変換されたフレームから周波数成分の異なるフレームを生成し、入力フレームが動画像であると判定された場合には、周波数成分の異なるフレームを出力し、前記入力フレームが静止画像であると判定された場合には、前記フレームレートが変換されたフレームを出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、フレームレートを変換する動画像処理であって、特に、６０Ｈｚの画像を１２０Ｈｚの画像に変換するような、より高フレームレートへの変換処理に関する。
【背景技術】
【０００２】
従来、映像を表示装置に表示した際に発生する動きぼけやフリッカーを抑制する技術として、画像データから周波数成分の異なるサブフレームを生成し、これらを交互に倍速で表示する映像表示方法が知られている。（特許文献１参照）
この映像表示方法は、入力された画像データから高周波成分を強調した高周波強調画像データ（第２サブフレーム）と、高周波成分を抑制した低周波成分からなる低周波画像データ（第１サブフレーム）とを生成し、この画像データを交互に倍速で表示するものである。この技術により、フリッカーを抑制し、動きぼけを低減することが可能になる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−１８４８９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した映像表示方法は、動画像データに対してはフリッカーを抑制し、動きぼけを低減することが可能になるが、静止画像データに対しては、入力画像データの輪郭部分がフリッカーとして知覚される問題があった。
【０００５】
本発明は上述した課題を解決するためになされたものであり、動画像データと静止画像データのいずれに対してもフリッカーを抑制し、動きぼけを低減することを可能とする動画像処理装置およびその制御方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述の問題点を解決するため、本発明の画像処理装置は以下の構成を備える。すなわち、入力フレームから周波数成分の異なるフレームを生成し出力する画像処理装置であって、前記入力フレームと、該入力フレームと時間的に前もしくは後のフレームとの比較によって該入力フレームの動きを検出する検出手段と、入力フレームをフレームメモリに記憶し、前記入力フレームを複数回読み出すことにより該入力フレームのフレームレートを変換する変換手段と、前記変換手段によってフレームレートが変換されたフレームから周波数成分の異なるフレームを生成する生成手段と、前記検出手段によって前記入力フレームが動画像であると判定された場合には、前記生成手段によって生成されたフレームを出力し、前記入力フレームが静止画像であると判定された場合には、前記変換手段によってフレームレートが変換されたフレームを出力する出力手段とを備える。
【発明の効果】
【０００７】
以上の構成からなる本発明によれば、動画像データと静止画像データのいずれに対してもフリッカーを抑制し、動きぼけを低減することが可能となる。
【図面の簡単な説明】
【０００８】
【図１】実施形態１に対応する画像処理装置の一例を示す図
【図２】実施形態１に対応する処理波形を説明するための図
【図３】動き検出部１０２の構成例を示す図
【図４】実施形態１に対応する処理を示したフローチャート
【図５】実施形態１に対応する画像処理装置の一例を示す図
【図６】図５に示す画像処理装置の処理波形を説明するための図
【図７】実施形態２に対応する画像処理装置の一例を示す図
【図８】実施形態３に対応する画像処理装置のハードウェア構成の一例を示す図
【図９】従来の回路構成を説明するための図
【図１０】従来方法による処理波形を説明するための図
【発明を実施するための形態】
【０００９】
以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
【００１０】
＜実施形態１＞
図１は、実施形態１に対応する表示装置、特にフィールドエミッションタイプの表示装置のようなインパルス型の表示装置において倍速駆動を行うための画像処理装置の一例を示す図である。
【００１１】
図１において、画像データである入力フレームは、変換部１０１に入力され、変換部１０１内のフレームメモリ（不図示）に記憶されて、複数回読み出される。本実施形態では、２度書きの倍速に変換される。これにより入力フレームのフレームレートが変換される。また入力フレームは、画像の高周波成分が抑制された第１サブフレームと高周波成分が強調された第２サブフレームとを生成するため２つに分配される。ここではまず高周波成分が抑制された第１サブフレームの生成方法から説明する。
【００１２】
最小値フィルタ部１０３はローパスフィルタ処理部１０４におけるローパスフィルタ処理の前処理として、ブロック内の画素の最小値を選択する最小値フィルタ処理を行う。
ここで最小値フィルタ処理を行うのは、動画のにじみを軽減させるためである。以下、動画のにじみについて説明する。
【００１３】
図１０に、図９に示す倍速駆動回路（従来技術）から出力されるフレーム画像の波形の例を示す。波形１００１は入力フレームの波形の例を示している。波形１００２は、入力フレームの波形１００１に図９のＬＰＦ処理部９０２においてローパスフィルタ処理を施して得られる出力波形である。波形１００３は、図９の差分検出部９０３において差分検出を行って得られる出力波形である。この波形１００３は高周波成分であるため正負の値を取る。波形１００４は、元の入力フレームの波形１００１に高周波成分の波形１００３を足し合わせた波形である。
【００１４】
理論上は、１２０Ｈｚの周期で波形１００２と波形１００４とを交互に表示することで、見かけ上の波形は、波形１００１と同じになる。しかしながら、波形１００１の低輝度レベル部分がゼロ、もしくはそれに近い値である場合、波形１００４は負の値を持つことになる。
【００１５】
負の値の画像を表示することはできないので、実際には、波形１００５のように負の値はゼロとして表示されることになる。すると、見かけの合成波形は、波形１００２と波形１００５とを交互表示することになるので、波形１００６のような波形となる。これは、黒の背景に白の文字があるような場合に、文字の輪郭がボケたような画像若しくはにじんだ画像として知覚される。このように入力画像の波形によっては、分配処理後の画像が元の画像と同じに見えず、それが劣化として知覚される問題がある。最小値フィルタ処理は、上述した動画のにじみを軽減させることを可能にする。
【００１６】
最小値フィルタ処理では、入力フレームの処理対象画素について、所定フィルタサイズ（例えば、９×９）のブロックを設定する。そして、該ブロック内の処理対象画素の周辺画素のうち画素値が最小のものを選択し、処理対象画素の画素値と置換する。なお、最小値フィルタは、フィルタサイズ内の最小値を選択する処理に限定されない。例えば、フィルタサイズ内の最小値が極端に小さい場合はノイズの可能性があるのでこの画素値は選択せず、２番目に小さい値等を選択するといった処理を施してもよい。
【００１７】
図２において、波形２０１は入力波形の一例を示す。波形２０２は、入力波形２０１に対して最小値フィルタ部１０３で最小値フィルタ処理を施した結果得られる波形を示している。入力フレームにおいて高輝度の画素値と低輝度の画素値が隣接している境界部分では、低輝度の画素値が選ばれることになるので、結果としてエッジの境界は、波形２０２に示すように高輝度領域の内側に狭められることになる。
【００１８】
ローパスフィルタ処理部１０４は、入力フレームに対し、２次元のローパスフィルタ処理を施す。ローパスフィルタは、特に関数を規定するものではなく、例えばガウス関数でもよいし、移動平均あるいは重み付け移動平均フィルタのようなものでもよい。
【００１９】
次に分配比率処理部１０５は、２つのサブフレームを発光させる割合を決定する。フリッカーを知覚しにくくするためには、２つのサブフレームの明るさの差が少ない方が望ましい。したがって、本実施形態では５０％ずつに分配する例で説明する。図２の波形２０４は、波形２０３に０．５を乗じて得られた波形である。ここでは、これを高周波成分が抑制された第１サブフレームとする。
【００２０】
以上のようにして入力フレームに対して最小値フィルタ処理とローパスフィルタ処理とを行い、分配比率を適用することで、高周波成分が抑制された第１サブフレームの生成が完了する。このサブフレームは、切替部１０７に出力される。
【００２１】
次に高周波成分が強調された第２サブフレームの生成方法を説明する。差分検出部１０６は、第２サブフレーム生成手段として機能し、２度書きの倍速に変換された入力フレームから第１サブフレームを減じ、その差分を高周波成分が強調された第２サブフレームとして出力する。このサブフレームは、切替部１０７に出力される。さらに、２度書きの倍速に変換された入力フレームが、切替部１０７に出力される。
【００２２】
以上、最小値フィルタ部１０３、ローパスフィルタ処理部１０４、分配比率処理部１０５、差分検出部１０６によって、周波数成分の異なるフレームが生成される。これら各部は一つの生成部として機能してもよい。
【００２３】
動き検出部１０２は、入力フレームの動きを検出し、入力フレームが静止画像か動画像かを判断する。図３を用いて動き検出部１０２について説明する。フレームメモリ３０１、３０２には、時間的に前後する２つのフレーム（フレームｎ＋１とフレームｎ）が記憶される。
【００２４】
次に動き検出部１０２は、フレームｎの着目領域の位置と同一の位置にあるフレームｎ＋１の領域をフレームメモリから読み出して、平均輝度算出部３０３および３０４で領域の平均輝度を算出する。動き検出部１０２はこれらの輝度を比較する。領域は、予め設定した範囲縦ｍドット、横ｎドット（例えば、８×８）毎に行う。ここで、領域の設定は、縦１ドット×横１ドットから縦１０ドット×横１０ドット程度の範囲で設定することが好ましく、これ以上の範囲で設定すると、検出範囲の中に動画領域と静止画領域とが混在する可能性が高く、好ましくない。
【００２５】
次に差分検出部３０５にて、フレームｎとフレームｎ＋１の着目領域の平均輝度の差の絶対値を算出し、予め設定している閾値よりも大きい場合に動画像と判断し、例えば１を出力する。閾値よりも小さい場合は静止画像と判断し、例えば０を出力する。なお、平均輝度の差分によって動きの検出を行っているが、Ｒ，Ｇ，ＢやＹ，Ｃｂ，Ｃｒといった３種類の画像データの差分によって動きの検出を行っても良い。また、ここでは２つのフレームを参照して動き検出を行っているが、３つ以上のフレームを参照してもよい。また、動きベクトルを利用して動きを判定するなどといった処理によっても動画像が静止画像かの判定が可能であり、本実施形態の判定方法に限定されない。
【００２６】
図１の切替部１０７では、動き検出部１０２の出力が１（動画像）の場合、所望のタイミング、例えば入力６０Ｈｚの場合であれば１２０Ｈｚの周期で、第２サブフレームと第１サブフレームの２つのサブフレームを切替え、出力フレームとして出力する。動き検出部１０２の出力が０（静止画像）の場合、所望のタイミングで、２度書きされた入力フレームを出力フレームとして０．５を乗じて段に出力する。なお、切替部１０７は入力されるサブフレーム及び入力フレームを、各出力タイミングが到来するまで一時的に保持しておくバッファ回路を含むことができる。
【００２７】
カラー画像の処理は、Ｒ，Ｇ，ＢやＹ，Ｃｂ，Ｃｒといった３種類の画像データに分けて処理することが多いが、本発明の一連の処理は、Ｒ，Ｇ，Ｂそれぞれに対して行ってもよいし、Ｙに対してのみ行ってもよい。また、Ｒ，Ｇ，ＢからＹを算出し、結果をＲ，Ｇ，Ｂに当てはめることも、もちろん可能である。
【００２８】
ローパスフィルタ処理部１０４におけるローパスフィルタ処理の前処理として、最小値フィルタ部１０３を使用しているが、静止画像のフリッカーを軽減するという課題に対しては必須ではなく、用途に応じて適宜採用すれば良い。
【００２９】
図４は本実施形態における処理を示すフローチャートである。
【００３０】
まず、ステップＳ４０１では、必要な初期設定を行う。ここでは、最小値フィルタにおけるフィルタサイズや、ローパスフィルタの静的特性、動き検出における領域範囲、閾値などが設定される。続くステップＳ４０２において、入力フレームが入力される。図２の例では、波形２０１が入力される。
【００３１】
次にステップＳ４０３において、動き検出部１０２は、入力フレームから動き検出を行う。次にステップＳ４０４において、入力フレームは２度書きの倍速に変換される。ステップＳ４０５において、最小値フィルタ部１０３は、入力された入力フレームに対して最小値フィルタ処理を施す。図２の例では、波形２０２が最小値フィルタ処理後の結果を示しており、破線が元の入力波形２０１である。
【００３２】
続いてステップＳ４０６において、ローパスフィルタ処理部１０４は、最小値フィルタ部１０３から出力されたフィルタ処理後の入力フレーに対してローパスフィルタ処理を施す。図２の例では波形２０３が、波形２０２にローパスフィルタ処理を施した結果の波形である。
【００３３】
続くステップＳ４０７において、分配比率処理部１０５は入力フレームに対して分配処理を行う。この分配処理は、高周波成分が抑制された第１サブフレームを全体の何％にするかという、分配比率を決定する処理である。本実施形態では画素値に関係なく一律５０％とする。図２の例では、ローパスフィルタ処理の結果得られた波形２０３に０．５を乗じて、半分の明るさに減じた波形２０４が得られる。以上により、高周波成分が抑制された第１サブフレームの生成が完了する。
【００３４】
次に、ステップＳ４０８において、差分検出部１０６は、入力フレームから生成された第１サブフレームを減算した差分を、第２のサブフレームとして算出する。図２の例では、波形２０５が差分波形を示しており、これが高周波成分が強調された第２サブフレームとなる。
【００３５】
続くステップＳ４０９において、切替部１０７は、動き検出部１０２による動き検出の結果から、入力フレームが動画像であるか静止画像であるかを判定する。判定結果が動画像であれば（ステップＳ４０９において「ＹＥＳ」）、続くステップＳ４１０において、切替部１０７はフレームの出力タイミングを判定し、第１サブフレームの出力タイミングであれば（ステップＳ４１０において「ＹＥＳ」）、ステップＳ４１２に移行する。ステップＳ４１２では、第１サブフレームを出力する。なお、第１サブフレームは、切替部１０７内のバッファ回路内に一時的に保持されていても良く、出力のタイミングにおいて切替部１０７から出力フレームとして出力される。
【００３６】
第１サブフレームを出力後にステップＳ４１４において、切替部１０７は、第２サブフレームの出力タイミングを判定する。出力タイミングであれば（ステップＳ４１４において「ＹＥＳ」）、ステップＳ４１６にて第２サブフレームを出力する。なお、第２サブフレームは、切替部１０７内のバッファ回路内に一時的に保持されてもよく、出力のタイミングにおいて切替部１０７から出力フレーム１０８として出力される。
【００３７】
ステップＳ４０９による判定の結果が静止画像であれば（ステップＳ４０９において「ＮＯ」）、続くステップＳ４１１において、切替部１０７はフレームの出力タイミングを判定し、第１サブフレームの出力タイミングであれば（ステップＳ４１１において「ＹＥＳ」）、ステップＳ４１３に移行する。ステップＳ４１３において、切替部１０７は２度書きされた入力フレームを出力する。なお、２度書きされた入力フレームは、切替部１０７内のバッファ回路内に一時的に保持されていても良く、出力のタイミングにおいて切替部１０７から出力フレームとして出力される。
【００３８】
第１サブフレームを出力後にステップＳ４１５おいては、切替部１０７は第２サブフレームの出力タイミングを判定する。出力タイミングであれば（ステップＳ４１５において「ＹＥＳ」）、ステップＳ４１７にて２度書きされた入力フレームを出力する。なお、２度書きされた入力フレームは、切替部１０７内のバッファ回路内に一時的に保持されてもよく、出力のタイミングにおいて切替部１０７から出力フレームとして出力される。
【００３９】
その後、全てのフレームについて処理が完了した場合には（ステップＳ４１８において「ＹＥＳ」）、本処理を終了する。未処理フレームがある場合には（ステップＳ４１８において「ＮＯ」）、ステップＳ４０２に戻って処理を繰り返す。
【００４０】
なお、図４のフローチャートで説明したサブフレームの出力順序は、あくまで一例であってこれに限定されるものではなく、第２サブフレームを出力した後に第１サブフレームを出力してもよい。また、２つのサブフレームを作成した後に出力タイミングを判定しているが、発明の実施形態はこれに限定されるものではない。例えば、ステップＳ４０６におけるローパスフィルタ処理が完了した時点で第１サブフレームの出力タイミングを判定し、出力した後に差分検出処理を行って第２サブフレームを生成してもよい。
【００４１】
以上、実施形態１の構成によれば、入力フレームが動画像の場合、最初の１２０分の１秒の間に高周波成分を強調した第２サブフレームを表示し、次の１２０分の１秒の間に高周波成分を抑制した第１サブフレームを表示することになる。若しくは、最初の１２０分の１秒の間に高周波成分を抑制した第１サブフレームを表示し、次の１２０分の１秒の間に高周波成分を強調した第２サブフレームを表示することになる。そのため、６０分の１秒の時間平均での見かけの波形は、図２の波形２０６のようになり、入力フレーム２０１と同じ波形となる。また、入力フレームが静止画像の場合、第１サブフレームと第２サブフレームとが交互に表示されることがなく、２度書きされた入力フレームを連続表示することになる。そのためフリッカーが軽減される。
【００４２】
なお、ホールド型の表示装置のようにフリッカーを知覚しにくい装置においては、図５に示すような構成例が有効である。図５においては、分配比率処理部１０５は必要なく、回路の簡易化が可能である。代わりに、加算部５０２が入力フレームと差分検出部５０１からの出力との加算処理を行う。これは、第１サブフレームにおいて抑制された高周波成分を入力フレームに付加することにより、高周波成分を補償するために行われる。加算部５０２からは高周波成分が強調された第２サブフレームが出力される。分配比率処理を行わない一連の波形を図６に示す。図２の２０１から２０６が図６の６０１から６０６までに相当し、第１サブフレームの波形が６０３、第２サブフレームが波形６０５となる。
【００４３】
なお、液晶の応答特性の改善や、バックライトを制御するなどの方法により、１２０分の１秒よりも、短い時間でサブフレームを表示させることも可能である。その場合であっても、６０分の１秒の時間周期で入力と見かけ上同じ波形を生成する、という本発明の特徴は何ら変わるものではない。
【００４４】
以上の構成によれば、ホールド型の表示装置においても、動画像の場合、最初の１２０分の１秒の間に第１サブフレーム（第２サブフレーム）を表示し、次の１２０分の１秒の間に第２サブフレーム（第１サブフレーム）を表示することになる。そのため、６０分の１秒の時間平均での見かけの波形は、図６の波形６０６のようになり、入力フレーム６０１と同じ波形となる。また、静止画像の場合、第１サブフレームと第２サブフレームとが交互に表示されることがなく、２度書きされた入力フレームを連続表示することになる。そのためフリッカーが軽減される。
【００４５】
＜実施形態２＞
図１の分配比率処理部１０５は、２つのサブフレームを発光させる割合を決定する。上述したように、フリッカーを知覚しにくくするためには、２つのサブフレームの明るさの差が少ない方が望ましい。よって実施形態１では５０％ずつに分配する例を説明した。しかしながら、動きの激しい動画に対しては５０％ずつの分配比率ではなく、例えば第１サブフレームの分配比率を４０％、第２サブフレームの分配比率を６０％とした方が好ましい結果が得られる場合がある。
【００４６】
このような場合において、動き検出部１０２により１画面内で動画像領域と静止画像領域とが混在すると、動画像領域では、分配比率４０％の第１サブフレームと分配比率６０％の第２サブフレームとが交互に出力される。また、静止画像領域では、分配比率が５０％ずつの２度書きされた入力フレームが交互に出力されることになる。
【００４７】
この場合、１２０Ｈｚの１画面内において、分配比率４０％の画像と分配比率５０％の画像または、分配比率６０％の画像と分配比率５０％の画像が混在することになり、動画像領域と静止画像領域との間で輝度差が視認される場合がある。
【００４８】
本実施形態においては、実施形態１の効果に加えて、１枚のサブフレームで動画像領域と静止画像領域とが混在する場合でも、動画像領域と静止画像領域との間で輝度差が視認されることのない構成例について説明する。
【００４９】
図７は、本実施形態に対応する表示装置、特にフィールドエミッションタイプの表示装置のようなインパルス型の表示装置において倍速駆動を行うための画像処理装置の一例を示す図である。なお、実施形態１と重複する処理については、説明を省略する。
【００５０】
分配比率処理部７０１は２つのサブフレームを発光させる割合を決定し、分配処理を実行する。また、第１乗算部７０２と第２乗算部７０３に決定した分配比率を出力する。第１乗算部７０２と第２乗算部７０３は、分配比率処理部７０１から出力された分配比率に基づいて、２度書きされた入力フレームに対して分配比率を乗算する。この際、第１乗算部７０２が、分配比率処理部７０１によって決定された第１サブフレームに対応する分配比率を乗算する場合は、第２乗算部は第２サブフレームに対応する分配比率を乗算する。
【００５１】
なお、本実施形態では、２つの乗算部を設けているが、１つの乗算部にまとめることも可能である。その場合、一つの乗算部にて、第１サブフレームに対応する分配比率と、第２サブフレームに対応する分配比率とを所定のタイミングで適宜切替えるように構成すればよい。
【００５２】
切替部７０４では、動き検出部１０２の出力が１（動画像）の場合、所望のタイミングで差分検出部１０６から出力される第２サブフレームと分配比率処理部７０１から出力される第１サブフレームとを切替えて出力する。動き検出部の出力が０（静止画像）の場合、所望のタイミングで乗算部７０２と乗算部７０３から出力される乗算後の入力フレームを出力する。なお、切替部１０７は入力されるサブフレームを、各出力タイミングが到来するまで一時的に保持しておくバッファ回路を含むことができる。
【００５３】
カラー画像の処理は、Ｒ，Ｇ，ＢやＹ，Ｃｂ，Ｃｒといった３種類の画像データに分けて処理することが多いが、本発明の一連の処理は、Ｒ，Ｇ，Ｂそれぞれに対して行ってもよいし、Ｙに対してのみ行ってもよい。また、Ｒ，Ｇ，ＢからＹを算出し、結果をＲ，Ｇ，Ｂに当てはめることも、もちろん可能である。
【００５４】
以上のように、本実施形態では、実施形態１の効果に加えて、１枚のサブフレームで動画像領域と静止画像領域とが混在する場合でも、動画像領域と静止画像領域との間の輝度差を視認されることがなくなるという効果を得ることができる。
【００５５】
＜実施形態３＞
図１，図５、図７に示したそれぞれの装置が有する各部は全てハードウェアでもって構成しているものとして上記実施形態では説明した。しかし、フレームメモリを除く各部をコンピュータプログラムでもって構成しても良い。この場合、このようなコンピュータプログラムを格納するためのメモリと、このメモリに格納されているコンピュータプログラムを実行するＣＰＵとを有するコンピュータは、上記各実施形態に係る画像処理装置に適用することができる。
【００５６】
図８は、上記各実施形態に係る画像処理装置に適用可能なコンピュータのハードウェアの構成例を示すブロック図である。
【００５７】
ＣＰＵ８０１は、ＲＡＭ８０２やＲＯＭ８０３に格納されているコンピュータプログラムやデータを用いてコンピュータ全体の制御を行うと共に、上記各実施形態に係る画像処理装置が行うものとして上述した各処理を実行する。即ち、ＣＰＵ８０１は、図１、図５、図７の１０１〜１０７、若しくは図５の５０１、５０２、図７の７０１〜７０４として機能することになる。
【００５８】
ＲＡＭ８０２は、外部記憶装置８０６からロードされたコンピュータプログラムやデータ、Ｉ／Ｆ（インターフェース）８０９を介して外部から取得したデータなどを一時的に記憶するためのエリアを有する。更に、ＲＡＭ８０２は、ＣＰＵ８０１が各種の処理を実行する際に用いるワークエリアを有する。即ち、ＲＡＭ８０２は、例えば、フレームメモリとして割当てたり、その他の各種のエリアを適宜提供することができる。
【００５９】
ＲＯＭ８０３には、本コンピュータの設定データや、ブートプログラムなどが格納されている。操作部８０４は、キーボードやマウスなどにより構成されており、本コンピュータのユーザが操作することで、各種の指示をＣＰＵ８０１に対して入力することができる。表示部８０５は、ＣＰＵ８０１による処理結果を表示する。また表示部８０５は例えば液晶ディスプレイのようなホールド型の表示装置や、フィールドエミッションタイプの表示装置のようなインパルス型の表示装置で構成される。
【００６０】
外部記憶装置８０６は、ハードディスクドライブ装置に代表される、大容量情報記憶装置である。外部記憶装置８０６には、ＯＳ（オペレーティングシステム）や、図１、図５、図７に示した各部の機能及び図２に示したフローをＣＰＵ８０１に実現させるためのコンピュータプログラムが保存されている。更には、外部記憶装置８０６には、処理対象としての各画像データが保存されていても良い。
【００６１】
外部記憶装置８０６に保存されているコンピュータプログラムやデータは、ＣＰＵ８０１による制御に従って適宜ＲＡＭ８０２にロードされ、ＣＰＵ８０１による処理対象となる。Ｉ／Ｆ８０７には、ＬＡＮやインターネット等のネットワーク、他の機器を接続することができ、本コンピュータはこのＩ／Ｆ８０７を介して様々な情報を取得したり、送出したりすることができる。８０８は上述の各部を繋ぐバスである。
【００６２】
上述の構成からなる作動は前述のフローチャートで説明した作動をＣＰＵ８０１が中心となって行う。
【００６３】
＜その他の実施形態＞
なお、本発明は、複数の機器（例えばホストコンピュータ、インターフェース機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。
【００６４】
また、本発明の目的は、前述した機能を実現するコンピュータプログラムのコードを記録した記憶媒体を、システムに供給し、そのシステムがコンピュータプログラムのコードを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたコンピュータプログラムのコード自体が前述した実施形態の機能を実現し、そのコンピュータプログラムのコードを記憶した記憶媒体は本発明を構成する。また、そのプログラムのコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した機能が実現される場合も含まれる。
【００６５】
さらに、以下の形態で実現しても構わない。すなわち、記憶媒体から読み出されたコンピュータプログラムコードを、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込む。そして、そのコンピュータプログラムのコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行って、前述した機能が実現される場合も含まれる。
【００６６】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するコンピュータプログラムのコードが格納されることになる。
【技術分野】
【０００１】
本発明は、フレームレートを変換する動画像処理であって、特に、６０Ｈｚの画像を１２０Ｈｚの画像に変換するような、より高フレームレートへの変換処理に関する。
【背景技術】
【０００２】
従来、映像を表示装置に表示した際に発生する動きぼけやフリッカーを抑制する技術として、画像データから周波数成分の異なるサブフレームを生成し、これらを交互に倍速で表示する映像表示方法が知られている。（特許文献１参照）
この映像表示方法は、入力された画像データから高周波成分を強調した高周波強調画像データ（第２サブフレーム）と、高周波成分を抑制した低周波成分からなる低周波画像データ（第１サブフレーム）とを生成し、この画像データを交互に倍速で表示するものである。この技術により、フリッカーを抑制し、動きぼけを低減することが可能になる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−１８４８９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した映像表示方法は、動画像データに対してはフリッカーを抑制し、動きぼけを低減することが可能になるが、静止画像データに対しては、入力画像データの輪郭部分がフリッカーとして知覚される問題があった。
【０００５】
本発明は上述した課題を解決するためになされたものであり、動画像データと静止画像データのいずれに対してもフリッカーを抑制し、動きぼけを低減することを可能とする動画像処理装置およびその制御方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述の問題点を解決するため、本発明の画像処理装置は以下の構成を備える。すなわち、入力フレームから周波数成分の異なるフレームを生成し出力する画像処理装置であって、前記入力フレームと、該入力フレームと時間的に前もしくは後のフレームとの比較によって該入力フレームの動きを検出する検出手段と、入力フレームをフレームメモリに記憶し、前記入力フレームを複数回読み出すことにより該入力フレームのフレームレートを変換する変換手段と、前記変換手段によってフレームレートが変換されたフレームから周波数成分の異なるフレームを生成する生成手段と、前記検出手段によって前記入力フレームが動画像であると判定された場合には、前記生成手段によって生成されたフレームを出力し、前記入力フレームが静止画像であると判定された場合には、前記変換手段によってフレームレートが変換されたフレームを出力する出力手段とを備える。
【発明の効果】
【０００７】
以上の構成からなる本発明によれば、動画像データと静止画像データのいずれに対してもフリッカーを抑制し、動きぼけを低減することが可能となる。
【図面の簡単な説明】
【０００８】
【図１】実施形態１に対応する画像処理装置の一例を示す図
【図２】実施形態１に対応する処理波形を説明するための図
【図３】動き検出部１０２の構成例を示す図
【図４】実施形態１に対応する処理を示したフローチャート
【図５】実施形態１に対応する画像処理装置の一例を示す図
【図６】図５に示す画像処理装置の処理波形を説明するための図
【図７】実施形態２に対応する画像処理装置の一例を示す図
【図８】実施形態３に対応する画像処理装置のハードウェア構成の一例を示す図
【図９】従来の回路構成を説明するための図
【図１０】従来方法による処理波形を説明するための図
【発明を実施するための形態】
【０００９】
以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
【００１０】
＜実施形態１＞
図１は、実施形態１に対応する表示装置、特にフィールドエミッションタイプの表示装置のようなインパルス型の表示装置において倍速駆動を行うための画像処理装置の一例を示す図である。
【００１１】
図１において、画像データである入力フレームは、変換部１０１に入力され、変換部１０１内のフレームメモリ（不図示）に記憶されて、複数回読み出される。本実施形態では、２度書きの倍速に変換される。これにより入力フレームのフレームレートが変換される。また入力フレームは、画像の高周波成分が抑制された第１サブフレームと高周波成分が強調された第２サブフレームとを生成するため２つに分配される。ここではまず高周波成分が抑制された第１サブフレームの生成方法から説明する。
【００１２】
最小値フィルタ部１０３はローパスフィルタ処理部１０４におけるローパスフィルタ処理の前処理として、ブロック内の画素の最小値を選択する最小値フィルタ処理を行う。
ここで最小値フィルタ処理を行うのは、動画のにじみを軽減させるためである。以下、動画のにじみについて説明する。
【００１３】
図１０に、図９に示す倍速駆動回路（従来技術）から出力されるフレーム画像の波形の例を示す。波形１００１は入力フレームの波形の例を示している。波形１００２は、入力フレームの波形１００１に図９のＬＰＦ処理部９０２においてローパスフィルタ処理を施して得られる出力波形である。波形１００３は、図９の差分検出部９０３において差分検出を行って得られる出力波形である。この波形１００３は高周波成分であるため正負の値を取る。波形１００４は、元の入力フレームの波形１００１に高周波成分の波形１００３を足し合わせた波形である。
【００１４】
理論上は、１２０Ｈｚの周期で波形１００２と波形１００４とを交互に表示することで、見かけ上の波形は、波形１００１と同じになる。しかしながら、波形１００１の低輝度レベル部分がゼロ、もしくはそれに近い値である場合、波形１００４は負の値を持つことになる。
【００１５】
負の値の画像を表示することはできないので、実際には、波形１００５のように負の値はゼロとして表示されることになる。すると、見かけの合成波形は、波形１００２と波形１００５とを交互表示することになるので、波形１００６のような波形となる。これは、黒の背景に白の文字があるような場合に、文字の輪郭がボケたような画像若しくはにじんだ画像として知覚される。このように入力画像の波形によっては、分配処理後の画像が元の画像と同じに見えず、それが劣化として知覚される問題がある。最小値フィルタ処理は、上述した動画のにじみを軽減させることを可能にする。
【００１６】
最小値フィルタ処理では、入力フレームの処理対象画素について、所定フィルタサイズ（例えば、９×９）のブロックを設定する。そして、該ブロック内の処理対象画素の周辺画素のうち画素値が最小のものを選択し、処理対象画素の画素値と置換する。なお、最小値フィルタは、フィルタサイズ内の最小値を選択する処理に限定されない。例えば、フィルタサイズ内の最小値が極端に小さい場合はノイズの可能性があるのでこの画素値は選択せず、２番目に小さい値等を選択するといった処理を施してもよい。
【００１７】
図２において、波形２０１は入力波形の一例を示す。波形２０２は、入力波形２０１に対して最小値フィルタ部１０３で最小値フィルタ処理を施した結果得られる波形を示している。入力フレームにおいて高輝度の画素値と低輝度の画素値が隣接している境界部分では、低輝度の画素値が選ばれることになるので、結果としてエッジの境界は、波形２０２に示すように高輝度領域の内側に狭められることになる。
【００１８】
ローパスフィルタ処理部１０４は、入力フレームに対し、２次元のローパスフィルタ処理を施す。ローパスフィルタは、特に関数を規定するものではなく、例えばガウス関数でもよいし、移動平均あるいは重み付け移動平均フィルタのようなものでもよい。
【００１９】
次に分配比率処理部１０５は、２つのサブフレームを発光させる割合を決定する。フリッカーを知覚しにくくするためには、２つのサブフレームの明るさの差が少ない方が望ましい。したがって、本実施形態では５０％ずつに分配する例で説明する。図２の波形２０４は、波形２０３に０．５を乗じて得られた波形である。ここでは、これを高周波成分が抑制された第１サブフレームとする。
【００２０】
以上のようにして入力フレームに対して最小値フィルタ処理とローパスフィルタ処理とを行い、分配比率を適用することで、高周波成分が抑制された第１サブフレームの生成が完了する。このサブフレームは、切替部１０７に出力される。
【００２１】
次に高周波成分が強調された第２サブフレームの生成方法を説明する。差分検出部１０６は、第２サブフレーム生成手段として機能し、２度書きの倍速に変換された入力フレームから第１サブフレームを減じ、その差分を高周波成分が強調された第２サブフレームとして出力する。このサブフレームは、切替部１０７に出力される。さらに、２度書きの倍速に変換された入力フレームが、切替部１０７に出力される。
【００２２】
以上、最小値フィルタ部１０３、ローパスフィルタ処理部１０４、分配比率処理部１０５、差分検出部１０６によって、周波数成分の異なるフレームが生成される。これら各部は一つの生成部として機能してもよい。
【００２３】
動き検出部１０２は、入力フレームの動きを検出し、入力フレームが静止画像か動画像かを判断する。図３を用いて動き検出部１０２について説明する。フレームメモリ３０１、３０２には、時間的に前後する２つのフレーム（フレームｎ＋１とフレームｎ）が記憶される。
【００２４】
次に動き検出部１０２は、フレームｎの着目領域の位置と同一の位置にあるフレームｎ＋１の領域をフレームメモリから読み出して、平均輝度算出部３０３および３０４で領域の平均輝度を算出する。動き検出部１０２はこれらの輝度を比較する。領域は、予め設定した範囲縦ｍドット、横ｎドット（例えば、８×８）毎に行う。ここで、領域の設定は、縦１ドット×横１ドットから縦１０ドット×横１０ドット程度の範囲で設定することが好ましく、これ以上の範囲で設定すると、検出範囲の中に動画領域と静止画領域とが混在する可能性が高く、好ましくない。
【００２５】
次に差分検出部３０５にて、フレームｎとフレームｎ＋１の着目領域の平均輝度の差の絶対値を算出し、予め設定している閾値よりも大きい場合に動画像と判断し、例えば１を出力する。閾値よりも小さい場合は静止画像と判断し、例えば０を出力する。なお、平均輝度の差分によって動きの検出を行っているが、Ｒ，Ｇ，ＢやＹ，Ｃｂ，Ｃｒといった３種類の画像データの差分によって動きの検出を行っても良い。また、ここでは２つのフレームを参照して動き検出を行っているが、３つ以上のフレームを参照してもよい。また、動きベクトルを利用して動きを判定するなどといった処理によっても動画像が静止画像かの判定が可能であり、本実施形態の判定方法に限定されない。
【００２６】
図１の切替部１０７では、動き検出部１０２の出力が１（動画像）の場合、所望のタイミング、例えば入力６０Ｈｚの場合であれば１２０Ｈｚの周期で、第２サブフレームと第１サブフレームの２つのサブフレームを切替え、出力フレームとして出力する。動き検出部１０２の出力が０（静止画像）の場合、所望のタイミングで、２度書きされた入力フレームを出力フレームとして０．５を乗じて段に出力する。なお、切替部１０７は入力されるサブフレーム及び入力フレームを、各出力タイミングが到来するまで一時的に保持しておくバッファ回路を含むことができる。
【００２７】
カラー画像の処理は、Ｒ，Ｇ，ＢやＹ，Ｃｂ，Ｃｒといった３種類の画像データに分けて処理することが多いが、本発明の一連の処理は、Ｒ，Ｇ，Ｂそれぞれに対して行ってもよいし、Ｙに対してのみ行ってもよい。また、Ｒ，Ｇ，ＢからＹを算出し、結果をＲ，Ｇ，Ｂに当てはめることも、もちろん可能である。
【００２８】
ローパスフィルタ処理部１０４におけるローパスフィルタ処理の前処理として、最小値フィルタ部１０３を使用しているが、静止画像のフリッカーを軽減するという課題に対しては必須ではなく、用途に応じて適宜採用すれば良い。
【００２９】
図４は本実施形態における処理を示すフローチャートである。
【００３０】
まず、ステップＳ４０１では、必要な初期設定を行う。ここでは、最小値フィルタにおけるフィルタサイズや、ローパスフィルタの静的特性、動き検出における領域範囲、閾値などが設定される。続くステップＳ４０２において、入力フレームが入力される。図２の例では、波形２０１が入力される。
【００３１】
次にステップＳ４０３において、動き検出部１０２は、入力フレームから動き検出を行う。次にステップＳ４０４において、入力フレームは２度書きの倍速に変換される。ステップＳ４０５において、最小値フィルタ部１０３は、入力された入力フレームに対して最小値フィルタ処理を施す。図２の例では、波形２０２が最小値フィルタ処理後の結果を示しており、破線が元の入力波形２０１である。
【００３２】
続いてステップＳ４０６において、ローパスフィルタ処理部１０４は、最小値フィルタ部１０３から出力されたフィルタ処理後の入力フレーに対してローパスフィルタ処理を施す。図２の例では波形２０３が、波形２０２にローパスフィルタ処理を施した結果の波形である。
【００３３】
続くステップＳ４０７において、分配比率処理部１０５は入力フレームに対して分配処理を行う。この分配処理は、高周波成分が抑制された第１サブフレームを全体の何％にするかという、分配比率を決定する処理である。本実施形態では画素値に関係なく一律５０％とする。図２の例では、ローパスフィルタ処理の結果得られた波形２０３に０．５を乗じて、半分の明るさに減じた波形２０４が得られる。以上により、高周波成分が抑制された第１サブフレームの生成が完了する。
【００３４】
次に、ステップＳ４０８において、差分検出部１０６は、入力フレームから生成された第１サブフレームを減算した差分を、第２のサブフレームとして算出する。図２の例では、波形２０５が差分波形を示しており、これが高周波成分が強調された第２サブフレームとなる。
【００３５】
続くステップＳ４０９において、切替部１０７は、動き検出部１０２による動き検出の結果から、入力フレームが動画像であるか静止画像であるかを判定する。判定結果が動画像であれば（ステップＳ４０９において「ＹＥＳ」）、続くステップＳ４１０において、切替部１０７はフレームの出力タイミングを判定し、第１サブフレームの出力タイミングであれば（ステップＳ４１０において「ＹＥＳ」）、ステップＳ４１２に移行する。ステップＳ４１２では、第１サブフレームを出力する。なお、第１サブフレームは、切替部１０７内のバッファ回路内に一時的に保持されていても良く、出力のタイミングにおいて切替部１０７から出力フレームとして出力される。
【００３６】
第１サブフレームを出力後にステップＳ４１４において、切替部１０７は、第２サブフレームの出力タイミングを判定する。出力タイミングであれば（ステップＳ４１４において「ＹＥＳ」）、ステップＳ４１６にて第２サブフレームを出力する。なお、第２サブフレームは、切替部１０７内のバッファ回路内に一時的に保持されてもよく、出力のタイミングにおいて切替部１０７から出力フレーム１０８として出力される。
【００３７】
ステップＳ４０９による判定の結果が静止画像であれば（ステップＳ４０９において「ＮＯ」）、続くステップＳ４１１において、切替部１０７はフレームの出力タイミングを判定し、第１サブフレームの出力タイミングであれば（ステップＳ４１１において「ＹＥＳ」）、ステップＳ４１３に移行する。ステップＳ４１３において、切替部１０７は２度書きされた入力フレームを出力する。なお、２度書きされた入力フレームは、切替部１０７内のバッファ回路内に一時的に保持されていても良く、出力のタイミングにおいて切替部１０７から出力フレームとして出力される。
【００３８】
第１サブフレームを出力後にステップＳ４１５おいては、切替部１０７は第２サブフレームの出力タイミングを判定する。出力タイミングであれば（ステップＳ４１５において「ＹＥＳ」）、ステップＳ４１７にて２度書きされた入力フレームを出力する。なお、２度書きされた入力フレームは、切替部１０７内のバッファ回路内に一時的に保持されてもよく、出力のタイミングにおいて切替部１０７から出力フレームとして出力される。
【００３９】
その後、全てのフレームについて処理が完了した場合には（ステップＳ４１８において「ＹＥＳ」）、本処理を終了する。未処理フレームがある場合には（ステップＳ４１８において「ＮＯ」）、ステップＳ４０２に戻って処理を繰り返す。
【００４０】
なお、図４のフローチャートで説明したサブフレームの出力順序は、あくまで一例であってこれに限定されるものではなく、第２サブフレームを出力した後に第１サブフレームを出力してもよい。また、２つのサブフレームを作成した後に出力タイミングを判定しているが、発明の実施形態はこれに限定されるものではない。例えば、ステップＳ４０６におけるローパスフィルタ処理が完了した時点で第１サブフレームの出力タイミングを判定し、出力した後に差分検出処理を行って第２サブフレームを生成してもよい。
【００４１】
以上、実施形態１の構成によれば、入力フレームが動画像の場合、最初の１２０分の１秒の間に高周波成分を強調した第２サブフレームを表示し、次の１２０分の１秒の間に高周波成分を抑制した第１サブフレームを表示することになる。若しくは、最初の１２０分の１秒の間に高周波成分を抑制した第１サブフレームを表示し、次の１２０分の１秒の間に高周波成分を強調した第２サブフレームを表示することになる。そのため、６０分の１秒の時間平均での見かけの波形は、図２の波形２０６のようになり、入力フレーム２０１と同じ波形となる。また、入力フレームが静止画像の場合、第１サブフレームと第２サブフレームとが交互に表示されることがなく、２度書きされた入力フレームを連続表示することになる。そのためフリッカーが軽減される。
【００４２】
なお、ホールド型の表示装置のようにフリッカーを知覚しにくい装置においては、図５に示すような構成例が有効である。図５においては、分配比率処理部１０５は必要なく、回路の簡易化が可能である。代わりに、加算部５０２が入力フレームと差分検出部５０１からの出力との加算処理を行う。これは、第１サブフレームにおいて抑制された高周波成分を入力フレームに付加することにより、高周波成分を補償するために行われる。加算部５０２からは高周波成分が強調された第２サブフレームが出力される。分配比率処理を行わない一連の波形を図６に示す。図２の２０１から２０６が図６の６０１から６０６までに相当し、第１サブフレームの波形が６０３、第２サブフレームが波形６０５となる。
【００４３】
なお、液晶の応答特性の改善や、バックライトを制御するなどの方法により、１２０分の１秒よりも、短い時間でサブフレームを表示させることも可能である。その場合であっても、６０分の１秒の時間周期で入力と見かけ上同じ波形を生成する、という本発明の特徴は何ら変わるものではない。
【００４４】
以上の構成によれば、ホールド型の表示装置においても、動画像の場合、最初の１２０分の１秒の間に第１サブフレーム（第２サブフレーム）を表示し、次の１２０分の１秒の間に第２サブフレーム（第１サブフレーム）を表示することになる。そのため、６０分の１秒の時間平均での見かけの波形は、図６の波形６０６のようになり、入力フレーム６０１と同じ波形となる。また、静止画像の場合、第１サブフレームと第２サブフレームとが交互に表示されることがなく、２度書きされた入力フレームを連続表示することになる。そのためフリッカーが軽減される。
【００４５】
＜実施形態２＞
図１の分配比率処理部１０５は、２つのサブフレームを発光させる割合を決定する。上述したように、フリッカーを知覚しにくくするためには、２つのサブフレームの明るさの差が少ない方が望ましい。よって実施形態１では５０％ずつに分配する例を説明した。しかしながら、動きの激しい動画に対しては５０％ずつの分配比率ではなく、例えば第１サブフレームの分配比率を４０％、第２サブフレームの分配比率を６０％とした方が好ましい結果が得られる場合がある。
【００４６】
このような場合において、動き検出部１０２により１画面内で動画像領域と静止画像領域とが混在すると、動画像領域では、分配比率４０％の第１サブフレームと分配比率６０％の第２サブフレームとが交互に出力される。また、静止画像領域では、分配比率が５０％ずつの２度書きされた入力フレームが交互に出力されることになる。
【００４７】
この場合、１２０Ｈｚの１画面内において、分配比率４０％の画像と分配比率５０％の画像または、分配比率６０％の画像と分配比率５０％の画像が混在することになり、動画像領域と静止画像領域との間で輝度差が視認される場合がある。
【００４８】
本実施形態においては、実施形態１の効果に加えて、１枚のサブフレームで動画像領域と静止画像領域とが混在する場合でも、動画像領域と静止画像領域との間で輝度差が視認されることのない構成例について説明する。
【００４９】
図７は、本実施形態に対応する表示装置、特にフィールドエミッションタイプの表示装置のようなインパルス型の表示装置において倍速駆動を行うための画像処理装置の一例を示す図である。なお、実施形態１と重複する処理については、説明を省略する。
【００５０】
分配比率処理部７０１は２つのサブフレームを発光させる割合を決定し、分配処理を実行する。また、第１乗算部７０２と第２乗算部７０３に決定した分配比率を出力する。第１乗算部７０２と第２乗算部７０３は、分配比率処理部７０１から出力された分配比率に基づいて、２度書きされた入力フレームに対して分配比率を乗算する。この際、第１乗算部７０２が、分配比率処理部７０１によって決定された第１サブフレームに対応する分配比率を乗算する場合は、第２乗算部は第２サブフレームに対応する分配比率を乗算する。
【００５１】
なお、本実施形態では、２つの乗算部を設けているが、１つの乗算部にまとめることも可能である。その場合、一つの乗算部にて、第１サブフレームに対応する分配比率と、第２サブフレームに対応する分配比率とを所定のタイミングで適宜切替えるように構成すればよい。
【００５２】
切替部７０４では、動き検出部１０２の出力が１（動画像）の場合、所望のタイミングで差分検出部１０６から出力される第２サブフレームと分配比率処理部７０１から出力される第１サブフレームとを切替えて出力する。動き検出部の出力が０（静止画像）の場合、所望のタイミングで乗算部７０２と乗算部７０３から出力される乗算後の入力フレームを出力する。なお、切替部１０７は入力されるサブフレームを、各出力タイミングが到来するまで一時的に保持しておくバッファ回路を含むことができる。
【００５３】
カラー画像の処理は、Ｒ，Ｇ，ＢやＹ，Ｃｂ，Ｃｒといった３種類の画像データに分けて処理することが多いが、本発明の一連の処理は、Ｒ，Ｇ，Ｂそれぞれに対して行ってもよいし、Ｙに対してのみ行ってもよい。また、Ｒ，Ｇ，ＢからＹを算出し、結果をＲ，Ｇ，Ｂに当てはめることも、もちろん可能である。
【００５４】
以上のように、本実施形態では、実施形態１の効果に加えて、１枚のサブフレームで動画像領域と静止画像領域とが混在する場合でも、動画像領域と静止画像領域との間の輝度差を視認されることがなくなるという効果を得ることができる。
【００５５】
＜実施形態３＞
図１，図５、図７に示したそれぞれの装置が有する各部は全てハードウェアでもって構成しているものとして上記実施形態では説明した。しかし、フレームメモリを除く各部をコンピュータプログラムでもって構成しても良い。この場合、このようなコンピュータプログラムを格納するためのメモリと、このメモリに格納されているコンピュータプログラムを実行するＣＰＵとを有するコンピュータは、上記各実施形態に係る画像処理装置に適用することができる。
【００５６】
図８は、上記各実施形態に係る画像処理装置に適用可能なコンピュータのハードウェアの構成例を示すブロック図である。
【００５７】
ＣＰＵ８０１は、ＲＡＭ８０２やＲＯＭ８０３に格納されているコンピュータプログラムやデータを用いてコンピュータ全体の制御を行うと共に、上記各実施形態に係る画像処理装置が行うものとして上述した各処理を実行する。即ち、ＣＰＵ８０１は、図１、図５、図７の１０１〜１０７、若しくは図５の５０１、５０２、図７の７０１〜７０４として機能することになる。
【００５８】
ＲＡＭ８０２は、外部記憶装置８０６からロードされたコンピュータプログラムやデータ、Ｉ／Ｆ（インターフェース）８０９を介して外部から取得したデータなどを一時的に記憶するためのエリアを有する。更に、ＲＡＭ８０２は、ＣＰＵ８０１が各種の処理を実行する際に用いるワークエリアを有する。即ち、ＲＡＭ８０２は、例えば、フレームメモリとして割当てたり、その他の各種のエリアを適宜提供することができる。
【００５９】
ＲＯＭ８０３には、本コンピュータの設定データや、ブートプログラムなどが格納されている。操作部８０４は、キーボードやマウスなどにより構成されており、本コンピュータのユーザが操作することで、各種の指示をＣＰＵ８０１に対して入力することができる。表示部８０５は、ＣＰＵ８０１による処理結果を表示する。また表示部８０５は例えば液晶ディスプレイのようなホールド型の表示装置や、フィールドエミッションタイプの表示装置のようなインパルス型の表示装置で構成される。
【００６０】
外部記憶装置８０６は、ハードディスクドライブ装置に代表される、大容量情報記憶装置である。外部記憶装置８０６には、ＯＳ（オペレーティングシステム）や、図１、図５、図７に示した各部の機能及び図２に示したフローをＣＰＵ８０１に実現させるためのコンピュータプログラムが保存されている。更には、外部記憶装置８０６には、処理対象としての各画像データが保存されていても良い。
【００６１】
外部記憶装置８０６に保存されているコンピュータプログラムやデータは、ＣＰＵ８０１による制御に従って適宜ＲＡＭ８０２にロードされ、ＣＰＵ８０１による処理対象となる。Ｉ／Ｆ８０７には、ＬＡＮやインターネット等のネットワーク、他の機器を接続することができ、本コンピュータはこのＩ／Ｆ８０７を介して様々な情報を取得したり、送出したりすることができる。８０８は上述の各部を繋ぐバスである。
【００６２】
上述の構成からなる作動は前述のフローチャートで説明した作動をＣＰＵ８０１が中心となって行う。
【００６３】
＜その他の実施形態＞
なお、本発明は、複数の機器（例えばホストコンピュータ、インターフェース機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。
【００６４】
また、本発明の目的は、前述した機能を実現するコンピュータプログラムのコードを記録した記憶媒体を、システムに供給し、そのシステムがコンピュータプログラムのコードを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたコンピュータプログラムのコード自体が前述した実施形態の機能を実現し、そのコンピュータプログラムのコードを記憶した記憶媒体は本発明を構成する。また、そのプログラムのコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した機能が実現される場合も含まれる。
【００６５】
さらに、以下の形態で実現しても構わない。すなわち、記憶媒体から読み出されたコンピュータプログラムコードを、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込む。そして、そのコンピュータプログラムのコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行って、前述した機能が実現される場合も含まれる。
【００６６】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するコンピュータプログラムのコードが格納されることになる。
【特許請求の範囲】
【請求項１】
入力フレームから周波数成分の異なるフレームを生成し出力する画像処理装置であって、
前記入力フレームと、該入力フレームと時間的に前もしくは後のフレームとの比較によって該入力フレームの動きを検出する検出手段と、
入力フレームをフレームメモリに記憶し、前記入力フレームを複数回読み出すことにより該入力フレームのフレームレートを変換する変換手段と、
前記変換手段によってフレームレートが変換されたフレームから周波数成分の異なるフレームを生成する生成手段と、
前記検出手段によって前記入力フレームが動画像であると判定された場合には、前記生成手段によって生成されたフレームを出力し、前記入力フレームが静止画像であると判定された場合には、前記変換手段によってフレームレートが変換されたフレームを出力する出力手段とを備えることを特徴とする画像処理装置。
【請求項２】
前記検出手段は、前記入力フレームの処理対象画素に対応する時間的に前後する２つ以上のフレームの画素を比較し、その差が予め設定している閾値よりも大きい場合には前記入力フレームは動画像であると判定し、閾値よりも小さい場合には静止画像であると判定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記検出手段は、前記入力フレームの処理対象画素に対応する時間的に前後する２つ以上のフレームの画素の平均輝度を比較することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記生成手段は、
前記変換手段によってフレームレートが変換されたフレームに対して、ローパスフィルタ処理を行って、第１サブフレームを生成するローパスフィルタ処理手段と、
前記第１サブフレームと前記変換手段によってフレームレートが変換されたフレームとから第２サブフレームを生成するサブフレーム生成手段とを備え、
前記出力手段は、前記検出手段によって前記入力フレームが動画像であると検出された場合には、前記第１サブフレームと前記第２サブフレームとを所定のタイミングで切替えて出力することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記生成手段は、
入力フレームに含まれる各画素の画素値を当該画素の周辺の画素の画素値のうち最小の画素値で置換する最小値フィルタ手段を備え、
前記ローパスフィルタ処理手段は、前記最小値フィルタ手段により処理された入力フレームに前記ローパスフィルタ処理を施すことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記生成手段は、
前記ローパスフィルタ処理手段によってローパスフィルタ処理されたフレームに対して所定の分配比率を乗じて前記第１サブフレームを生成する分配比率処理手段を備え、
前記サブフレーム生成手段は、前記配比率処理手段によって前記所定の分配比率が乗算された第１サブフレームと前記変換手段によってフレームレートが変換されたフレームとから第２サブフレームを生成することを特徴とする請求項４に記載の画像処理装置。
【請求項７】
前記変換手段によってフレームレートが変換されたフレームに対して、前記所定の分配比率を乗算する乗算手段とを備え、
前記出力手段は、前記入力フレームが静止画像であると検出された場合には、前記乗算手段によって前記所定の分配比率が乗算されたフレームを出力することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
入力フレームから周波数成分の異なるフレームを生成し出力する画像処理装置の制御方法であって、
前記入力フレームと、該入力フレームと時間的に前もしくは後のフレームとの比較によって該入力フレームの動きを検出する検出工程と、
入力フレームをフレームメモリに記憶し、前記入力フレームを複数回読み出すことにより該入力フレームのフレームレートを変換する変換工程と、
フレームレートが変換されたフレームから周波数成分の異なるフレームを生成する生成工程と、
前記検出工程によって前記入力フレームが動画像であると判定された場合には、前記生成工程によって生成されたフレームを出力し、前記入力フレームが静止画像であると判定された場合には、前記変換工程によってフレームレートが変換されたフレームを出力する出力工程とを備えることを特徴とする画像処理装置の制御方法。
【請求項９】
コンピュータが読み出して実行することにより、前記コンピュータを、請求項１乃至７のいずれか１項に記載の画像処理装置として機能させることを特徴とするプログラム。
【請求項１】
入力フレームから周波数成分の異なるフレームを生成し出力する画像処理装置であって、
前記入力フレームと、該入力フレームと時間的に前もしくは後のフレームとの比較によって該入力フレームの動きを検出する検出手段と、
入力フレームをフレームメモリに記憶し、前記入力フレームを複数回読み出すことにより該入力フレームのフレームレートを変換する変換手段と、
前記変換手段によってフレームレートが変換されたフレームから周波数成分の異なるフレームを生成する生成手段と、
前記検出手段によって前記入力フレームが動画像であると判定された場合には、前記生成手段によって生成されたフレームを出力し、前記入力フレームが静止画像であると判定された場合には、前記変換手段によってフレームレートが変換されたフレームを出力する出力手段とを備えることを特徴とする画像処理装置。
【請求項２】
前記検出手段は、前記入力フレームの処理対象画素に対応する時間的に前後する２つ以上のフレームの画素を比較し、その差が予め設定している閾値よりも大きい場合には前記入力フレームは動画像であると判定し、閾値よりも小さい場合には静止画像であると判定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記検出手段は、前記入力フレームの処理対象画素に対応する時間的に前後する２つ以上のフレームの画素の平均輝度を比較することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記生成手段は、
前記変換手段によってフレームレートが変換されたフレームに対して、ローパスフィルタ処理を行って、第１サブフレームを生成するローパスフィルタ処理手段と、
前記第１サブフレームと前記変換手段によってフレームレートが変換されたフレームとから第２サブフレームを生成するサブフレーム生成手段とを備え、
前記出力手段は、前記検出手段によって前記入力フレームが動画像であると検出された場合には、前記第１サブフレームと前記第２サブフレームとを所定のタイミングで切替えて出力することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記生成手段は、
入力フレームに含まれる各画素の画素値を当該画素の周辺の画素の画素値のうち最小の画素値で置換する最小値フィルタ手段を備え、
前記ローパスフィルタ処理手段は、前記最小値フィルタ手段により処理された入力フレームに前記ローパスフィルタ処理を施すことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記生成手段は、
前記ローパスフィルタ処理手段によってローパスフィルタ処理されたフレームに対して所定の分配比率を乗じて前記第１サブフレームを生成する分配比率処理手段を備え、
前記サブフレーム生成手段は、前記配比率処理手段によって前記所定の分配比率が乗算された第１サブフレームと前記変換手段によってフレームレートが変換されたフレームとから第２サブフレームを生成することを特徴とする請求項４に記載の画像処理装置。
【請求項７】
前記変換手段によってフレームレートが変換されたフレームに対して、前記所定の分配比率を乗算する乗算手段とを備え、
前記出力手段は、前記入力フレームが静止画像であると検出された場合には、前記乗算手段によって前記所定の分配比率が乗算されたフレームを出力することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
入力フレームから周波数成分の異なるフレームを生成し出力する画像処理装置の制御方法であって、
前記入力フレームと、該入力フレームと時間的に前もしくは後のフレームとの比較によって該入力フレームの動きを検出する検出工程と、
入力フレームをフレームメモリに記憶し、前記入力フレームを複数回読み出すことにより該入力フレームのフレームレートを変換する変換工程と、
フレームレートが変換されたフレームから周波数成分の異なるフレームを生成する生成工程と、
前記検出工程によって前記入力フレームが動画像であると判定された場合には、前記生成工程によって生成されたフレームを出力し、前記入力フレームが静止画像であると判定された場合には、前記変換工程によってフレームレートが変換されたフレームを出力する出力工程とを備えることを特徴とする画像処理装置の制御方法。
【請求項９】
コンピュータが読み出して実行することにより、前記コンピュータを、請求項１乃至７のいずれか１項に記載の画像処理装置として機能させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１１−１２４８９３（Ｐ２０１１−１２４８９３Ａ）
【公開日】平成２３年６月２３日（２０１１．６．２３）
【国際特許分類】
【出願番号】特願２００９−２８２２９５（Ｐ２００９−２８２２９５）
【出願日】平成２１年１２月１１日（２００９．１２．１１）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２３年６月２３日（２０１１．６．２３）
【国際特許分類】
【出願日】平成２１年１２月１１日（２００９．１２．１１）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]