画像処理装置、画像処理方法、プログラム及び記憶媒体
【課題】画像劣化を抑制しながら動画のフレームレートを増加させる。
【解決手段】フレーム画像中の各画素について、該画素の周辺に位置する周辺画素の色成分毎の画素値から色成分毎の最小画素値を特定する。特定した色成分毎の最小画素値のうち最小値を共通画素値として特定する。フレーム画像中の各画素の画素値を、画素について特定した共通画素値で置き換えた画像を前処理画像として生成する。前処理画像に対してローパスフィルタ処理を行うことにより、第１サブフレーム画像を生成する。フレーム画像と第１サブフレーム画像との差分画像を、第２サブフレーム画像として生成する。第１サブフレーム画像と第２サブフレーム画像とを出力する。
【解決手段】フレーム画像中の各画素について、該画素の周辺に位置する周辺画素の色成分毎の画素値から色成分毎の最小画素値を特定する。特定した色成分毎の最小画素値のうち最小値を共通画素値として特定する。フレーム画像中の各画素の画素値を、画素について特定した共通画素値で置き換えた画像を前処理画像として生成する。前処理画像に対してローパスフィルタ処理を行うことにより、第１サブフレーム画像を生成する。フレーム画像と第１サブフレーム画像との差分画像を、第２サブフレーム画像として生成する。第１サブフレーム画像と第２サブフレーム画像とを出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画のフレームレートを変換する画像処理技術に関する。
【背景技術】
【０００２】
テレビジョン受像機に代表される動画像の表示装置には、ＣＲＴが長年用いられてきたが、近年では液晶デバイスを用いたパネルが主流となりつつある。液晶デバイスは、フレームレート６０Ｈｚの動画を表示する場合、各画素が１／６０秒間発光を持続するため、「ホールド型」のデバイスと呼ばれている。
【０００３】
また、ＣＲＴと同様な発光特性をもつデバイスとして、フィールドエミッションタイプの表示装置の開発も進んでいる。このタイプの表示装置は、フレームレート６０Ｈｚの動画を表示する場合、１／６０秒のうちの一瞬だけ発光するので、「インパルス型」と呼ばれている。
【０００４】
ホールド型のデバイスは、動きに対しボケを生じやすい。また、インパルス型のデバイスはフリッカが目立ちやすい。特許文献１は、動画のフレームレートを増加させることで、ホールド型デバイスで表示した時に動きボケを低減させる技術が開示している。すなわち、フレームレート６０Ｈｚの動画の１つの入力フレーム画像から、低域成分のみを含むサブフレーム画像と、高域成分を強調したサブフレーム画像との２種類のサブフレーム画像を生成する。これらを１２０Ｈｚの周期で切り替えて出力フレーム画像として出力する。低域成分のみを含むサブフレーム画像と高域成分を強調したサブフレーム画像とを交互に表示することで、６０Ｈｚの時間周期で見た場合に元のフレーム画像が再現される。この方法でフレームレートを増加させた動画像は、元の６０Ｈｚの動画像と比べて動きボケが低減されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−１８４８９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら特許文献１に開示された方法を用いると、２種類のサブフレーム画像を合成した画像（すなわち、視聴者に見える画像）が元のフレーム画像と同じにならない場合がある。すなわち、出力した画像が元の画像と同じに見えないことがある。これは劣化として知覚されうる。
【０００７】
以下、特許文献１に開示された方法を図４を用いて説明する。波形１９０１は入力フレーム画像の波形の例を示している。波形１９０２は、入力フレーム画像の波形１９０１の低周波成分を強調して得られる波形である。波形１９０３は、波形１９０１（入力フレーム画像）と波形１９０２（低周波成分）との差として得られる高周波成分である。特許文献１の方法では、波形１９０１に高域成分の波形１９０３を足し合わせて波形１９０４を生成する。そして、１２０Ｈｚの周期で波形１９０２と波形１９０３とを交互に表示する。理論上は、１２０Ｈｚの周期で波形１９０２と波形１９０３とを交互に表示することで、見かけ上の波形は、波形１９０１と同じになるはずである。
【０００８】
しかしながら、波形１９０１がゼロもしくはそれに近い値を有する場合、波形１９０４が負の値を持つことがある。負の値を持つ画像は表示できないので、実際には、波形１９０５のように負の値はゼロとして表示されることになる。すると、波形１９０２と波形１９０５とを交互表示することになるので、見かけの波形は波形１９０６のようになる。すなわち、黒の背景に白の文字があるような場合に、文字の輪郭がにじんだ画像として知覚される。
【０００９】
本発明は、画像劣化を抑制しながら動画のフレームレートを増加させることを目的とする。
【課題を解決するための手段】
【００１０】
本発明の目的を達成するために、例えば、本発明の画像処理装置は以下の構成を備える。すなわち、
色成分毎の画素値を有する画素で構成されているフレーム画像から複数のサブフレーム画像を生成して出力する画像処理装置であって、
前記フレーム画像中の各画素について、該画素の周辺に位置する周辺画素の色成分毎の画素値から色成分毎の最小画素値を特定し、該特定した色成分毎の最小画素値のうち最小値を共通画素値として特定する特定手段と、
前記フレーム画像中の各画素の画素値を、該画素について前記特定手段が特定した共通画素値で置き換えた画像を前処理画像として生成する生成手段と、
前記前処理画像に対してローパスフィルタ処理を行うことにより、第１サブフレーム画像を生成するローパスフィルタ処理手段と、
前記フレーム画像と前記第１サブフレーム画像との差分画像を、第２サブフレーム画像として生成する差分計算手段と、
前記第１サブフレーム画像と前記第２サブフレーム画像とを出力する出力手段とを備えることを特徴とする、画像処理装置。
【発明の効果】
【００１１】
本発明によれば、画像劣化を抑制しながら動画のフレームレートを増加させることができる。
【図面の簡単な説明】
【００１２】
【図１】第１及び第２の実施形態に係る画像処理装置の一例。
【図２】第１及び第２の実施形態、並びに変形例２に係る処理を説明する。
【図３】第１及び第２の実施形態に係る処理の流れを示すフローチャート。
【図４】従来の方法に係る処理を説明するための図。
【図５】第３の実施形態に係る画像処理装置のハードウェア構成の一例。
【図６】変形例２に係るフィルタのタップ数の関係を説明するための図。
【図７】変形例１に係る画像処理装置の一例。
【図８】第１の実施形態に係る最小値フィルタの概念図。
【図９】変形例１に係る処理の流れを示すフローチャート。
【図１０】第１の実施形態に係る最小値フィルタの回路構成。
【図１１】第２の実施形態に係るマスクフィルタの回路構成。
【図１２】第２の実施形態の処理を説明するための図。
【図１３】第２の実施形態の処理の特性を説明するための図。
【発明を実施するための形態】
【００１３】
［第１の実施形態］
本発明の第１の実施形態を、図１（Ａ）及び図２（Ａ）を用いて説明する。図１（Ａ）は本実施形態の構成を示すブロック図である。図２（Ａ）は本実施形態による処理波形の例である。本実施形態では、フィールドエミッションタイプの表示装置のようなインパルス型の表示装置に対して好適に用いられる例を説明する。また、以下ではフレーム画像の各画素は３色（Ｒ，Ｇ，Ｂ）の色成分についての画素値を有するものとする。しかしながら、Ｒ，Ｇ，Ｂ以外の色成分の画素値を有してもよい。また、２色または４色以上の色成分の画素値を有してもよい。
【００１４】
入力画像である入力フレーム画像１０１は一時的にフレームメモリ１０２に格納される。フレームメモリ１０２に格納された画像は２回読み出され、最小値フィルタ部１０３と差分検出部１０６とに送られる。以下で、１つの入力フレーム画像から複数のサブフレーム画像を生成する。
【００１５】
最小値フィルタ部１０３は、読み出した入力フレーム画像から前処理画像を生成する。具体的には、入力フレーム画像中の各画素について、処理対象画素の周辺に位置する周辺画素の色成分毎の画素値から色成分毎の最小画素値を特定する。次に、色成分毎の最小画素値のうちの最小値を共通画素値として特定する。そして、この共通画素値を、前処理画像における処理対象画素位置の画素の各色成分に共通する画素値とする。最小値フィルタ部１０３の概念図を図８に示す。最小値フィルタ部の具体的な回路構成を図１０に示す。
【００１６】
図８に示すように、最小値フィルタ部１０３は、処理対象の画素の周囲（Ｍ×Ｎ）画素の画像データを参照する。そして、最小値検出部２４０１〜２４０３は、ＲＧＢそれぞれの画素値の最小値（最小画素値）を求める。すなわち、最小値検出部２４０１は（Ｍ×Ｎ）画素のＲ画素値のうちで最小のＲ画素値を選択する。同様に、最小値検出部２４０２は（Ｍ×Ｎ）画素のＧ画素値のうちで最小のＧ画素値を選択し、最小値検出部２４０３は（Ｍ×Ｎ）画素のＢ画素値のうちで最小のＢ画素値を選択する。次に最小値検出部２４０４は、最小値検出部２４０１〜２４０３のそれぞれが選択した３つの画素値のうち、最も小さい画素値（共通画素値）を特定する（特定手段）。最小値検出部２４０４が特定した画素の画素値をＭＩＮとする。最小値フィルタ部１０３はそして、前処理画像における処理対象画素位置の画素値を（Ｒ，Ｇ，Ｂ）＝（ＭＩＮ，ＭＩＮ，ＭＩＮ）とする。この処理を各画素について行い、最小値フィルタ部１０３は入力フレーム画像から前処理画像を生成する（生成手段）。このように最小値選択、置換の処理を２段に分ける必要はなく、１段で処理してもよい。
【００１７】
次にローパスフィルタ処理部１０４は、前処理画像に対してローパスフィルタ処理を行い、低周波強調画像を生成する（ローパスフィルタ処理手段）。ローパスフィルタはどのようなものでもよく、例えばガウス関数でもよいし、移動平均あるいは重み付け移動平均フィルタのようなものでもよい。ローパスフィルタは、二次元ローパスフィルタであることが特に好ましい。
【００１８】
次に分配比率処理部１０５は、第１サブフレーム画像と第２サブフレーム画像とにどのような割合で低周波成分を配分するかを決定する。フリッカを知覚しにくくするためには、２つのサブフレーム画像の明るさの差が少ない方が望ましい。従って本実施形態においては、分配比率処理部１０５は、ローパスフィルタ処理部１０４が生成した低周波強調画像の各画素値に１／２を乗じて得た画像を第１サブフレーム画像として生成する。こうして、第１サブフレーム画像と第２サブフレーム画像とに低周波成分が同等に分配され、サブフレーム画像間の明るさの差が小さくなる。そして、分配比率処理部１０５は第１サブフレーム画像を切替回路１０７に出力する。また分配比率処理部１０５は、第１サブフレーム画像を差分検出部１０６にも出力する。しかしながら、明るさの比は任意に定めることができる。例えば、２つのサブフレーム画像の輝度差を意図的に顕著にすることによって、特殊な表示効果を得ることができる。この場合、分配比率処理部１０５は、低周波強調画像の各画素値に例えば０．８を乗じて得た画素を第１サブフレーム画像とすることができる。
【００１９】
差分検出部１０６は、フレームメモリ１０２から入力フレーム画像１０１を取得する。また、分配比率処理部１０５から第１サブフレーム画像を取得する。そして、第１サブフレーム画像の各画素値から、入力フレーム画像の各画素値を減じることにより得られる画像（差分画像）を、第２サブフレーム画像として生成する（差分計算手段）。こうして、高周波成分を強調した第２サブフレーム画像を得ることができる。
【００２０】
切替回路１０７は、第１サブフレーム画像と第２サブフレーム画像との一方を、所望の周波数で切り替えながら、出力フレーム画像として後段の処理回路に出力する（出力手段）。本実施形態においては、切替回路１０７は入力される動画像のフレームレートの２倍の周波数で切り替えを行う。例えば、６０Ｈｚの動画像が入力されたなら、切替回路１０７は１２０Ｈｚで切り替えを行う。こうして、動画像のフレームレートを増加させることができる。切替回路１０７はさらにバッファ回路を含んでもよい。このバッファ回路は、入力される第１及び第２サブフレーム画像を、出力タイミングが到来するまで一時的に保持しておくことができる。
【００２１】
図２（Ａ）は、本実施形態の処理を例示的に示す。図２（Ａ）では画像データをアナログ的に波形で表示した。説明のために、図２（Ａ）においては単色の画像データを取り扱う。波形２０１は入力波形（入力フレーム画像）の一例を示す。波形２０２は、波形２０１に対して最小値フィルタ部１０３が最小値フィルタ処理を行って得られる波形を示している。大きい画素値と小さい画素値とが隣接している境界領域では、小さい画素値が選ばれることになる。結果として大きい画素値と小さい画素値との境界は、波形２０２に示すように大きい画素値の領域の内側に狭められることになる。
【００２２】
波形２０３は、ローパスフィルタ処理部１０４が波形２０２にローパスフィルタ処理を行った結果を示す。波形２０４は第１サブフレーム画像の波形である。波形２０４は、分配比率処理部１０５が波形２０３に０．５を乗じて得られる。波形２０５は、差分検出部１０６によって得られる第２サブフレーム画像の波形である。第１サブフレーム画像の波形２０４と、第２サブフレーム画像の波形２０５と、を高速に交互表示して得られる波形は、視覚的には波形２０６と同等である。すなわち、交互表示によって得られる波形は、入力フレーム画像１０１の波形２０１と同一の波形として知覚される。
【００２３】
次に、以上の本実施形態に対応する処理を図３（Ａ）のフローチャートを参照して説明する。まず、ステップＳ３０１では、ユーザの指定を取得して初期設定を行う。本実施形態では、最小値フィルタ部１０３かフィルタのサイズ、ローパスフィルタ処理部１０４が用いるローパスフィルタの特性、及び分配比率処理部１０５が用いるサブフレーム画像間の明るさの比、を設定する。しかし、本実施形態の画像処理装置に関する他の設定を行うこともできる。
【００２４】
ステップＳ３０２では、フレーム画像１０１が本実施形態の画像処理装置に入力される。ステップＳ３０３では、フレームメモリ１０２がフレーム画像１０１を一時的に格納する。ステップＳ３０４では最小値フィルタ部１０３が、入力フレーム画像１０１に対して上述の最小値フィルタ処理を行い、前処理画像を生成する。ステップＳ３０５ではローパスフィルタ処理部１０４が、最小値フィルタ部１０３が出力した前処理画像に対してローパスフィルタ処理を施し、低周波強調画像を生成する。
【００２５】
ステップＳ３０６では、分配比率処理部１０５が上述のように第１サブフレーム画像を生成する。すなわち、ローパスフィルタ処理部１０４が生成した低周波強調画像の各画素値に対して、分配比率処理部１０５が所定の分配比率を乗じて得られる画像を、第１サブフレーム画像とする。低周波強調画像の各画素値に所定の分配比率を乗じて、低周波強調画像を更新することにより第１サブフレーム画像を生成してもよい。本実施形態では所定の分配比率を０．５とするが、上述のように他の値でもよい。この所定の分配比率は、通常０以上１以下である。以上により、低周波成分を強調した第１サブフレーム画像の生成が完了する。ステップＳ３０７では差分検出部１０６が、入力フレーム画像１０１の各画素値から、分配比率処理部１０５が生成した第１サブフレーム画像の各画素値を減算して得られる画像（差分画像）を、第２サブフレーム画像として生成する。
【００２６】
ステップＳ３０８では切替回路１０７がフレーム画像の出力タイミングを判定する。ステップＳ３０８で第１サブフレーム画像の出力タイミングが到来したと切替回路１０７が判断すると（ステップＳ３０８において「ＹＥＳ」）、処理はステップＳ３０９に移行する。ステップＳ３０９では切替回路１０７が、分配比率処理部１０５が生成した第１サブフレーム画像を出力する。ステップＳ３１０では切替回路１０７がフレーム画像の出力タイミングを判定する。ステップＳ３１０で第２サブフレーム画像の出力タイミングが到来したと切替回路１０７が判断すると（ステップＳ３１０において「ＹＥＳ」）、処理はステップＳ３１１に移行する。ステップＳ３１１では切替回路１０７が、差分検出部１０６が生成した第２サブフレーム画像を出力する。
【００２７】
第１及び第２サブフレーム画像は、切替回路１０７内のバッファ回路内、不図示のフレームメモリ等の記憶装置に一時的に保持されていてもよい。ステップＳ３０９又はステップＳ３１１において切替回路１０７は、これらの記憶装置から第１又は第２サブフレーム画像を読み出して出力してもよい。ステップＳ３０８又はステップＳ３１０における出力タイミングの判断は、例えば不図示の制御回路からの制御信号に従って行われてもよい。また、切替回路１０７が有するタイマからの制御信号に従って、出力タイミングの判断が行われてもよい。
【００２８】
その後、全てのフレーム画像について処理が完了した場合には（ステップＳ３１２において「ＹＥＳ」）、本処理を終了する。未処理フレーム画像がある場合には（ステップＳ３１２において「ＮＯ」）、ステップＳ３０２に戻って処理を繰り返す。ステップＳ３１２の判断は、例えばフレーム画像の入力を制御する不図示の制御回路からの制御信号に従って行われてもよい。
【００２９】
図３（Ａ）のフローチャートを用いて説明したサブフレーム画像の出力順序は、あくまで一例であってこれに限定されるものではない。例えば、第２サブフレーム画像を出力した後に第１サブフレーム画像を出力してもよい。また、本実施形態では２つのサブフレーム画像を作成した後に出力タイミングが判定されが、発明の実施形態はこれに限定されるものではない。例えば、ステップＳ３０６におけるローパスフィルタ処理が完了した時点で、切替回路１０７が第１サブフレーム画像の出力タイミングを判定する。そして、第１サブフレーム画像を出力した後に差分検出部１０６が第２サブフレーム画像を生成してもよい。さらに、分配比率処理部１０５が乗じる分配比率を適切に設定し、第１サブフレーム画像と第２サブフレーム画像の少なくとも一方を複数回出力することにより、フレームレートを３倍以上に上げることも可能である。
【００３０】
以上説明した本実施形態によれば、インパルス型の表示装置は、最初の１２０分の１秒間のうちの一瞬に第１サブフレーム画像を表示し、次の１２０分の１秒間の一瞬に第２サブフレーム画像を表示する。実際に本実施形態に従って、入力フレーム画像からサブフレーム画像を生成し、フレームレートを上げて表示したところ、画像の滲みを改善することができた。
【００３１】
［第２の実施形態］
本実施形態では、フレームレートを増加させた際の滲みを抑制する手段として、最小値フィルタ部１０３の代わりにマスクフィルタ部４０１を用いる。以下、本実施形態を図１（Ｂ）のブロック図と図２（Ｂ）の処理波形の例を用いて説明する。図１（Ｂ）では、図１（Ａ）の画像処理装置に含まれる処理ブロックと同様の機能を果たす処理ブロックについては、同一番号を付している。本実施形態においてカラー画像を処理する場合、それぞれの色成分からなる画像について以下の処理を行うことができる。例えばＲＧＢ成分を持つ画像であれば、Ｒ成分の画像、Ｇ成分の画像、Ｂ成分の画像のそれぞれについて以下の処理を行うことができる。Ｙ，Ｃｂ，Ｃｒ成分を持つ画像についても同様である。また、色成分のうちいくつか、例えばＲ成分にのみ以下の処理を行ってもよい。さらに、Ｒ，Ｇ，Ｂ成分からＹ成分を算出し、Ｙ成分に対して以下の処理を行い、処理の結果をＲ，Ｇ，Ｂ成分に当てはめることも、もちろん可能である。
【００３２】
入力画像である入力フレーム画像１０１は、第１の実施形態と同様に、第１サブフレーム画像と第２サブフレーム画像とを生成するため２つに分配される。本実施形態ではローパスフィルタ処理部１０４は、フレームメモリ１０２から取得した入力フレーム画像１０１に対してローパスフィルタ処理を行い、低周波強調画像を生成する。ローパスフィルタ処理の詳細は第１の実施形態と同様であるから省略する。
【００３３】
マスクフィルタ部４０１は、入力フレーム画像１０１と、ローパスフィルタ処理部１０４が生成した低周波強調画像とから、マスク画像を生成する（合成手段）。具体的には、各画素位置について入力フレーム画像１０１と低周波強調画像との画素値を比較し、小さい方の画素値をマスク画像における当該画素位置の画素値とすることにより、マスク画像を生成する。
【００３４】
以下で、マスクフィルタ部４０１を詳しく説明する。マスクフィルタ部４０１の具体的な回路構成を図１１に示す。ローパスフィルタ処理部１０４が生成した低周波強調画像２６０２の画素値と、入力フレーム画像１０１の画素値とを、比較器２６０３は各画素ごとに比較し、比較結果を選択器２６０４に入力する。選択器２６０４は、入力フレーム画像１０１の画素値の方が小さいのなら入力フレーム画像１０１の画素値を選択し、低周波強調画像２６０２の画素値の方が小さいのなら低周波強調画像２６０２の画素値を選択する。そして選択器２６０４は、選択した画素値をマスク画像２６０５における画素値とすることにより、マスク画像２６０５を生成する。分配比率処理部１０５、差分検出部１０６及び切替回路１０７は、第１の処理形態と同様に動作する。
【００３５】
図２（Ａ）と同様に画像データをアナログ的に波形で示す図２（Ｂ）を用いて、本実施形態の効果を説明する。図２（Ｂ）の例では、波形５０１が入力フレーム画像１０１として入力される。ローパスフィルタ処理部１０４は、波形５０１に対してローパスフィルタ処理を行い、低周波強調画像である波形５０２を生成する。マスクフィルタ部４０１は、入力フレーム画像１０１である波形５０１と、低周波強調画像である波形５０２との各画素値を比較する。そしてマスクフィルタ部は、波形５０１と波形５０２とから低い方の画素値を選択することにより、波形５０３をマスク画像として生成する。第１の実施形態と同様に、分配比率処理部１０５は波形５０３から第１サブフレーム画像である波形５０４を生成する。また差分検出部１０６は、波形５０１と波形５０４とから第２サブフレーム画像である波形５０５を生成する。波形５０４と波形５０５とを順番に高速に表示すると、この表示は視聴者には波形５０６のように見える。波形５０６は波形５０１と同様の波形である。
【００３６】
本実施形態の画像処理を行うことのメリットを以下に示す。図１２の２７０１のような単色のＲとＢが並んだ画像が入力されたと仮定する。波形２７００は、画像２７０１におけるＲの画素値の波形を示す。この入力画像から、前述のローパスフィルタ処理のみを用いて第１サブフレーム画像を生成した場合、第１サブフレーム画像のＲの画素値は波形２７０３のように表される。第２サブフレーム画像は波形２７００と波形２７０３との差分であるから、第２サブフレーム画像のＲの画素値は波形２７０４となる。負の画素値を表示することはできないので、表示される第２サブフレーム画像の波形は２７０５となる。第１サブフレーム画像と第２サブフレーム画像との高速な交互表示は、視聴者には波形２７０６のように見える。波形２７００と波形２７０６とを比較すると、波形２７０６においてはＲとＧとの境界部に波形２７００よりも大きな画素値を持つ画素が出現することがわかる。この結果、画像２７０２のようにＲとＢとの境界部に色滲みが発生してしまう。
【００３７】
本実施形態の特徴であるマスクフィルタ部４０１を用いると、図２（Ｂ）を用いて上で説明したように、第１サブフレーム画像は波形２７０７となる。よって、第２サブフレーム画像は波形２７０８となる。波形２７０７と波形２７０８との交互表示は波形２７０９となるので、波形２７０６のような色滲みが発生しない。以上のように本実施形態に従えば、マスクフィルタ部４０１を用いることにより、色滲みの発生を抑制する。
【００３８】
次に、図３（Ｂ）のフローチャートを参照して本実施形態の処理を説明する。図３（Ｂ）では、第１の実施形態に係る図３（Ａ）のフローチャートに示される処理と同様の処理には、図３（Ａ）と同一の番号を付している。以下の説明では、第１の実施形態と同様の処理については詳細な説明を省略する。
【００３９】
ステップＳ３０１では、必要な初期設定を行う。ステップＳ３０２では、フレーム画像が入力フレーム画像１０１として入力される。ステップＳ３０３では、入力フレーム画像１０１がフレームメモリ１０２に一時的に格納される。これらの処理は、第１の実施形態と同様である。ステップＳ３０５では、入力フレーム画像１０１に対してローパスフィルタ処理部１０４がローパスフィルタ処理を行う。
【００４０】
ステップＳ６０１では、ローパスフィルタ処理部１０４が出力した低周波強調画像、及び入力フレーム画像１０１を用いて、マスクフィルタ部４０１が上述のようにマスク画像を生成する。ステップＳ３０６では、マスクフィルタ部４０１が生成したマスク画像を用いて、分配比率処理部１０５が第１サブフレーム画像を生成する。これ以降、ステップＳ３０７からステップＳ３１２における処理は、第１の実施形態と同様と同様であるので、説明は省略する。実際に本実施形態に従って、入力フレーム画像からサブフレーム画像を生成し、フレームレートを上げて表示したところ、画像の滲みを改善することができた。
【００４１】
また、ローパスフィルタ処理の前処理として、最小値フィルタ処理を施してもよい。最小値フィルタ処理とは、処理対象画素の周辺の画素値のうち最も小さい値を、フィルタ処理後の処理対象画素の画素値とする処理のことである。この最小値フィルタ処理は第１の実施形態と類似のものであるが、第１の実施形態と同じように、各色の画素値を同一にする必要はない。すなわち、この最小値フィルタは処理対象の画素の周囲（Ｍ×Ｎ）画素の画像データを参照する。そして、参照した画素の中から例えばＲの画素値の最小値を求める（ＲＧＢデータの場合）。そして、フィルタ処理後の処理対象画素のＲの画素値を求めた最小値とする。Ｇの画素値及びＢの画素値についても同様に行うことができる。もちろん、ＹＣｂＣｒなどの他の色データを有する画像についても同様に行うことができる。また、全ての色について最小値フィルタ処理を行わず、一部の色についてのみ最小値フィルタ処理を行ってもよい。
【００４２】
図１３（Ａ）は本実施形態における、最小値フィルタを用いない場合の処理後の動画像特性である。ローパスフィルタをかけることにより生まれたなだらかな部分が、マスクフィルタ処理によって削られるので、動きボケが発生している。図１３（Ｂ）は本実施形態における、最小値フィルタを用いた場合の動画像特性である。最小値フィルタを用いることにより、ローパスフィルタをかけることにより生まれたなだらかな部分が削られず、図１３（Ａ）と比べて動きボケが抑制されている。本実施形態においては、最小値フィルタを適用することにより、より好ましい結果が得られる。本実施形態では、第１の実施形態とはサブフレーム画像の生成形態が異なるものの、入力フレーム画像と低域成分を含むサブフレーム画像とから生成した高域成分を含むサブフレーム画像が負の画素値を取らないため、色滲みの発生を抑制するという点は共通している。
【００４３】
［変形例１］
以下、図７を参照して、第１及び第２の実施形態における変形例を説明する。第１及び第２の実施形態では、インパルス型の表示装置で表示させる動画のフレームレートを増加させる方法を説明した。本変形例では、ホールド型の表示装置で表示させる動画のフレームレートを増加させる方法を説明する。
【００４４】
例として、６０Ｈｚの動画のフレームレートが１２０Ｈｚに上げられる場合を考える。さらに、フレーム画像の明るさがＡであるものとする。インパルス型の表示装置で明るさＡの第１サブフレーム画像と明るさＡの第２サブフレーム画像とを１／６０秒間のうちに表示すると、視聴者はフレーム画像の明るさが２Ａであるように見える。そのため、第１の実施形態では分配比率処理部１０５を用いて明るさを調節している。一方でホールド型の表示装置では、最初の１／１２０秒間に明るさＡの第１サブフレーム画像を表示し、次の１／１２０秒間に明るさＡの第２サブフレーム画像を表示しても、視聴者にはフレーム画像の明るさはＡであるように見える。このようにインパルス型の表示装置とホールド型の表示装置とでは特性が異なるため、本変形例の構成を用いて、ホールド型の表示装置で表示させる動画のフレームレートを増加させるのがよい。
【００４５】
図７（Ａ）は第１の実施形態の変形例に係る画像処理装置の構成の一例を示す。フレームメモリ１０２、最小値フィルタ部１０３及びローパスフィルタ処理部１０４の動作は、第１の実施形態と同様である。ローパスフィルタ処理部１０４が生成した低周波強調画像は、そのまま第１サブフレーム画像として差分検出部１０６及び切替回路１０７に出力される。
【００４６】
差分検出部１０６は、入力フレーム画像１０１の各画素値から、ローパスフィルタ処理部１０４が生成した第１サブフレーム画像の各画素値を減算して得られる画像を、差分画像として生成する。加算回路７０１は、差分検出部１０６が生成した差分画像の各画素値と、入力フレーム画像１０１の各画素値とを加算して得られる画像を、第２サブフレーム画像として生成する。切替回路１０７の動作は第１の実施形態と同様である。
【００４７】
図９（Ａ）は第１の実施形態の変形例に係る処理のフローチャートを示す。図９（Ａ）及び（Ｂ）では、図３（Ａ）、図３（Ｂ）のフローチャートに含まれる処理と同様の処理については、同一番号を付している。ステップＳ３０１からステップＳ３０５の処理は第１の実施形態と同様であるから、説明を省略する。ステップＳ９０１では、上述のように差分検出部１０６が入力フレーム画像１０１と、ローパスフィルタ処理部１０４が生成した低周波強調画像とから差分画像を生成する。ステップＳ９０２では、上述のように加算回路７０１が、入力フレーム画像１０１と、差分検出部１０６が生成した差分画像とから第２サブフレーム画像を生成する。ステップＳ３０８からステップＳ３１２の処理は第１の実施形態と同様であるため、説明は省略する。
【００４８】
図７（Ｂ）は第２の実施形態の変形例に係る画像処理装置の構成の一例を示す。本変形例において、フレームメモリ１０２、ローパスフィルタ処理部１０４、マスクフィルタ部４０１の動作は、第２の実施形態と同様である。マスクフィルタ部４０１が生成したマスク画像は、そのまま第１サブフレーム画像として差分検出部１０６及び切替回路１０７に出力される。差分検出部１０６、加算回路７０１及び切替回路１０７の動作は、上述の第１の実施形態の変形例と同様である。
【００４９】
図９（Ｂ）は第２の実施形態の変形例に係る処理のフローチャートを示す。ステップＳ３０１からステップＳ３０５、ステップＳ６０１、ステップＳ３０８からステップＳ３１２の処理は第１の実施形態と同様であるから、説明を省略する。ステップＳ９０１では、上述のように差分検出部１０６が入力フレーム画像１０１と、マスクフィルタ部４０１が生成したマスク画像とから差分画像を生成する。ステップＳ９０２では、上述のように加算回路７０１が、入力フレーム画像１０１と、差分検出部１０６が生成した差分画像とから第２サブフレーム画像を生成する。
【００５０】
このように本変形例では、第１及び第２の実施形態とはサブフレーム画像の生成形態が異なる。しかしながら、入力フレーム画像と低域成分を含むサブフレーム画像とから生成した高域成分を含むサブフレーム画像が負の画素値を取らないため、色滲みの発生が抑制されるという点は第１及び第２の実施形態と共通している。
【００５１】
なお、液晶の応答特性の改善や、バックライトを制御するなどの方法により、１２０分の１秒よりも短い時間だけ、サブフレーム画像を表示させる表示装置も実現可能である。このような表示装置で表示するための画像を、本変形例に係る画像処理装置が生成することもできる。この場合にも、連続して表示したときに入力フレーム画像と同じように見えるサブフレーム画像を生成するという、本発明の特徴は何ら変わるものではない。
【００５２】
また、次の方法によってもホールド型の表示装置で表示させる動画を生成することができる。すなわち、第１及び第２の実施形態に従って第１サブフレーム画像及び第２サブフレーム画像を生成する。そして、切替回路１０７が各サブフレーム画像の画素値に適切な値を乗算してから出力フレーム画像として出力すればよい。例えば、第１の実施形態において分配比率処理部１０５は分配比率を０．５として処理する。そして、切替回路１０７は第１サブフレーム画像及び第２サブフレーム画像の各画素値に２を乗算する。この方法によれば、第１の実施形態の方法で変形例１と同じ結果を得ることができる。もちろん切替回路１０７がこの乗算処理を行う必要はなく、適切な他の処理部又は出力装置がこの乗算処理を行うこともできる。
【００５３】
［変形例２］
以下、図２（Ｃ）及び図６（Ａ）〜（Ｄ）を参照して、第１の実施形態における変形例を説明する。影響範囲の大きいローパスフィルタを用いる場合、最小値フィルタの適用範囲も広げる必要がある。例えば、図２（Ｃ）の波形２１０３は、図２（Ａ）で用いたローパスフィルタよりも広い範囲の波形が変化するローパスフィルタを、波形２１０２に適用した結果得られる波形である。この場合にも第２サブフレーム画像２１０５において負の値が発生しないようにするためには、波形２１０２の画素値が大きい部分を、図２（Ａ）の波形２０２よりも狭くするとよい。すなわち、図２（Ａ）の場合（波形２０２）よりも適用範囲の広い最小値フィルタを用いることが望ましい。このように最小値フィルタの影響範囲を、ローパスフィルタの影響範囲と同じ又はより広く設定することにより、第２サブフレーム画像生成時に負の画素値が発生することを防ぐことができる。
【００５４】
これらの関係をより詳細に図６（Ａ）〜（Ｄ）を参照して説明する。ここでは、フィルタの影響の及ぶ範囲をタップ長を使って説明する。画素毎にフィルタ処理を行う場合、タップ長はフィルタの大きさ、すなわち図８におけるＭ及びＮを意味する。フィルタ特性図２２０１は、図２（Ａ）の波形２０３を生成するために使用されるローパスフィルタの特性を示している。ここで、点線で示す波形は入力波形を示し、実線で示す波形は入力波形に対してフィルタ処理を行って得られる波形を示している。２２０２は画素のサンプル点を示しており、ここでは水平方向に５画素の範囲でフィルタの効果が及んでいる。即ち、このときのローパスフィルタの水平方向のタップ長は５である。ローパスフィルタが対称性を有するものと考えると、２２０３に示すように最小値フィルタのタップ長を５とすることで、ローパスフィルタの影響の及ぶ範囲が入力波形における画素値が大きい部分からはみ出すことはなくなる。
【００５５】
同様に、ローパスフィルタのタップ長が９である場合、すなわちフィルタ特性が２２０４である場合を考える。この場合、最小値フィルタのタップ長も９以上にすれば、２２０６に示すように、ローパスフィルタの影響の及ぶ範囲が入力波形における画素値が大きい部分からはみ出すことはなくなる。
【００５６】
このように最小値フィルタのタップ長を少なくともローパスフィルタのタップ長と同じか、それ以上の値とすることで、入力フレーム画像からローパスフィルタ処理後の画像の画素値を差し引いた際に負の画素値を生じさせないようにすることができる。尚、上記では簡単のために水平方向のタップ数（タップ長）について説明したが、フィルタ処理を垂直方向についても行う場合には、水平方向と垂直方向の双方のローパスフィルタのタップ数に基づいて、最小値フィルタのタップ数を決定することができる。
【００５７】
実際の最小値フィルタ処理及びローパスフィルタ処理では、垂直方向にもタップ数が設定されることが考えられる。ここで、図８のように、ローパスフィルタ処理の垂直方向のタップ数を自然数Ｎ、水平方向のタップ数を自然数Ｍとする。ＮとＭは同一の値をとっても良いし、異なる値であってもよい。例えば、（Ｎ，Ｍ）＝（５，５）、（７，５）、（５，７）のように設定してもよい。
【００５８】
また、最小値フィルタの垂直方向のタップ数を自然数Ｎ’、水平方向のタップ数を自然数Ｍ’とする。この場合、最小値フィルタが着目する画素は、処理対象画素を中心とした垂直方向にＮ’画素、水平方向にＭ’画素の領域内の画素となる。従って、最小値フィルタ処理ではこの領域内の画素のうち最小の画素値が、最小値として決定される。なお本実施形態では、Ｎ’はＮ以上であり、かつ、Ｍ’はＭ以上であればよい。以上のタップ数に関する考え方は、第２の実施形態における最小値フィルタとローパスフィルタとの関係にも同様に適用することができる。
【００５９】
［第３の実施形態］
図５は、本発明の第１の実施形態及び第２の実施形態、並びにこれらの変形例を実現するための画像処理装置としてのコンピュータのハードウェア構成の一例を示す図である。もっとも、図５に示される各部の全てを、本実施形態に係る画像処理装置が有する必要はない。
【００６０】
図５において、ＣＰＵ２００１は、外部記憶装置（ハードディスク）２００７に格納されているＯＳ、アプリケーションプログラム等を実行し、画像処理装置２０００の動作を制御する。なお、ＣＰＵ２００１は、対応する処理プログラムを実行することにより、第１及び第２の実施形態で示した各部として機能し、例えば図３（Ａ）又は図３（Ｂ）に示される処理を実現する。すなわちＣＰＵ２００１は、図１（Ａ）の最小値フィルタ部１０２、ローパスフィルタ処理部１０３、図１（Ｂ）のマスクフィルタ部４０１、差分検出部１０６、分配比率処理部１０５を含む各部として機能する。またＣＰＵ２００１は、ＲＡＭ２００３にプログラムの実行に必要な情報、ファイル等を一時的に格納する。また、ＲＡＭ２００３をＣＰＵ２００１が制御することにより、図１（Ａ）の切替回路１０７を実現することができる。
【００６１】
ＲＯＭ２００２は、基本Ｉ／Ｏプログラム等のプログラムを記憶している。ＲＡＭ２００３は、ＣＰＵ２００１の主メモリ、ワークエリア等として機能する。ネットワークインタフェイス（Ｉ／Ｆ）２００４は、本実施形態のコンピュータがＬＡＮ又はＷＡＮに接続して外部装置と通信するためのインタフェイスである。
【００６２】
入力装置２００５は、ユーザからの入力を受け付けるマウスとキーボードとの少なくとも一方、並びに被写体の画像を撮影して画像を画像処理装置２０００に入力するための撮像装置を含むことができる。この撮像装置を有することにより、画像処理装置２０００はデジタルカメラ、或いは、デジタルビデオカメラとして機能することができる。
【００６３】
出力装置２００６は、液晶ディスプレイのようなホールド型の表示装置や、フィールドエミッションタイプの表示装置のようなインパルス型の表示装置を含む出力デバイスである。外部記憶装置２００７は、アプリケーションプログラム、ドライバプログラム、ＯＳ、制御プログラム、本実施形態に対応する処理を実行するための処理プログラム等を含むプログラムを格納している。システムバス２００８は、画像処理装置２０００内の各部を接続し、データのやりとりを可能とする。
【００６４】
［その他の実施形態］
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
【技術分野】
【０００１】
本発明は、動画のフレームレートを変換する画像処理技術に関する。
【背景技術】
【０００２】
テレビジョン受像機に代表される動画像の表示装置には、ＣＲＴが長年用いられてきたが、近年では液晶デバイスを用いたパネルが主流となりつつある。液晶デバイスは、フレームレート６０Ｈｚの動画を表示する場合、各画素が１／６０秒間発光を持続するため、「ホールド型」のデバイスと呼ばれている。
【０００３】
また、ＣＲＴと同様な発光特性をもつデバイスとして、フィールドエミッションタイプの表示装置の開発も進んでいる。このタイプの表示装置は、フレームレート６０Ｈｚの動画を表示する場合、１／６０秒のうちの一瞬だけ発光するので、「インパルス型」と呼ばれている。
【０００４】
ホールド型のデバイスは、動きに対しボケを生じやすい。また、インパルス型のデバイスはフリッカが目立ちやすい。特許文献１は、動画のフレームレートを増加させることで、ホールド型デバイスで表示した時に動きボケを低減させる技術が開示している。すなわち、フレームレート６０Ｈｚの動画の１つの入力フレーム画像から、低域成分のみを含むサブフレーム画像と、高域成分を強調したサブフレーム画像との２種類のサブフレーム画像を生成する。これらを１２０Ｈｚの周期で切り替えて出力フレーム画像として出力する。低域成分のみを含むサブフレーム画像と高域成分を強調したサブフレーム画像とを交互に表示することで、６０Ｈｚの時間周期で見た場合に元のフレーム画像が再現される。この方法でフレームレートを増加させた動画像は、元の６０Ｈｚの動画像と比べて動きボケが低減されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−１８４８９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら特許文献１に開示された方法を用いると、２種類のサブフレーム画像を合成した画像（すなわち、視聴者に見える画像）が元のフレーム画像と同じにならない場合がある。すなわち、出力した画像が元の画像と同じに見えないことがある。これは劣化として知覚されうる。
【０００７】
以下、特許文献１に開示された方法を図４を用いて説明する。波形１９０１は入力フレーム画像の波形の例を示している。波形１９０２は、入力フレーム画像の波形１９０１の低周波成分を強調して得られる波形である。波形１９０３は、波形１９０１（入力フレーム画像）と波形１９０２（低周波成分）との差として得られる高周波成分である。特許文献１の方法では、波形１９０１に高域成分の波形１９０３を足し合わせて波形１９０４を生成する。そして、１２０Ｈｚの周期で波形１９０２と波形１９０３とを交互に表示する。理論上は、１２０Ｈｚの周期で波形１９０２と波形１９０３とを交互に表示することで、見かけ上の波形は、波形１９０１と同じになるはずである。
【０００８】
しかしながら、波形１９０１がゼロもしくはそれに近い値を有する場合、波形１９０４が負の値を持つことがある。負の値を持つ画像は表示できないので、実際には、波形１９０５のように負の値はゼロとして表示されることになる。すると、波形１９０２と波形１９０５とを交互表示することになるので、見かけの波形は波形１９０６のようになる。すなわち、黒の背景に白の文字があるような場合に、文字の輪郭がにじんだ画像として知覚される。
【０００９】
本発明は、画像劣化を抑制しながら動画のフレームレートを増加させることを目的とする。
【課題を解決するための手段】
【００１０】
本発明の目的を達成するために、例えば、本発明の画像処理装置は以下の構成を備える。すなわち、
色成分毎の画素値を有する画素で構成されているフレーム画像から複数のサブフレーム画像を生成して出力する画像処理装置であって、
前記フレーム画像中の各画素について、該画素の周辺に位置する周辺画素の色成分毎の画素値から色成分毎の最小画素値を特定し、該特定した色成分毎の最小画素値のうち最小値を共通画素値として特定する特定手段と、
前記フレーム画像中の各画素の画素値を、該画素について前記特定手段が特定した共通画素値で置き換えた画像を前処理画像として生成する生成手段と、
前記前処理画像に対してローパスフィルタ処理を行うことにより、第１サブフレーム画像を生成するローパスフィルタ処理手段と、
前記フレーム画像と前記第１サブフレーム画像との差分画像を、第２サブフレーム画像として生成する差分計算手段と、
前記第１サブフレーム画像と前記第２サブフレーム画像とを出力する出力手段とを備えることを特徴とする、画像処理装置。
【発明の効果】
【００１１】
本発明によれば、画像劣化を抑制しながら動画のフレームレートを増加させることができる。
【図面の簡単な説明】
【００１２】
【図１】第１及び第２の実施形態に係る画像処理装置の一例。
【図２】第１及び第２の実施形態、並びに変形例２に係る処理を説明する。
【図３】第１及び第２の実施形態に係る処理の流れを示すフローチャート。
【図４】従来の方法に係る処理を説明するための図。
【図５】第３の実施形態に係る画像処理装置のハードウェア構成の一例。
【図６】変形例２に係るフィルタのタップ数の関係を説明するための図。
【図７】変形例１に係る画像処理装置の一例。
【図８】第１の実施形態に係る最小値フィルタの概念図。
【図９】変形例１に係る処理の流れを示すフローチャート。
【図１０】第１の実施形態に係る最小値フィルタの回路構成。
【図１１】第２の実施形態に係るマスクフィルタの回路構成。
【図１２】第２の実施形態の処理を説明するための図。
【図１３】第２の実施形態の処理の特性を説明するための図。
【発明を実施するための形態】
【００１３】
［第１の実施形態］
本発明の第１の実施形態を、図１（Ａ）及び図２（Ａ）を用いて説明する。図１（Ａ）は本実施形態の構成を示すブロック図である。図２（Ａ）は本実施形態による処理波形の例である。本実施形態では、フィールドエミッションタイプの表示装置のようなインパルス型の表示装置に対して好適に用いられる例を説明する。また、以下ではフレーム画像の各画素は３色（Ｒ，Ｇ，Ｂ）の色成分についての画素値を有するものとする。しかしながら、Ｒ，Ｇ，Ｂ以外の色成分の画素値を有してもよい。また、２色または４色以上の色成分の画素値を有してもよい。
【００１４】
入力画像である入力フレーム画像１０１は一時的にフレームメモリ１０２に格納される。フレームメモリ１０２に格納された画像は２回読み出され、最小値フィルタ部１０３と差分検出部１０６とに送られる。以下で、１つの入力フレーム画像から複数のサブフレーム画像を生成する。
【００１５】
最小値フィルタ部１０３は、読み出した入力フレーム画像から前処理画像を生成する。具体的には、入力フレーム画像中の各画素について、処理対象画素の周辺に位置する周辺画素の色成分毎の画素値から色成分毎の最小画素値を特定する。次に、色成分毎の最小画素値のうちの最小値を共通画素値として特定する。そして、この共通画素値を、前処理画像における処理対象画素位置の画素の各色成分に共通する画素値とする。最小値フィルタ部１０３の概念図を図８に示す。最小値フィルタ部の具体的な回路構成を図１０に示す。
【００１６】
図８に示すように、最小値フィルタ部１０３は、処理対象の画素の周囲（Ｍ×Ｎ）画素の画像データを参照する。そして、最小値検出部２４０１〜２４０３は、ＲＧＢそれぞれの画素値の最小値（最小画素値）を求める。すなわち、最小値検出部２４０１は（Ｍ×Ｎ）画素のＲ画素値のうちで最小のＲ画素値を選択する。同様に、最小値検出部２４０２は（Ｍ×Ｎ）画素のＧ画素値のうちで最小のＧ画素値を選択し、最小値検出部２４０３は（Ｍ×Ｎ）画素のＢ画素値のうちで最小のＢ画素値を選択する。次に最小値検出部２４０４は、最小値検出部２４０１〜２４０３のそれぞれが選択した３つの画素値のうち、最も小さい画素値（共通画素値）を特定する（特定手段）。最小値検出部２４０４が特定した画素の画素値をＭＩＮとする。最小値フィルタ部１０３はそして、前処理画像における処理対象画素位置の画素値を（Ｒ，Ｇ，Ｂ）＝（ＭＩＮ，ＭＩＮ，ＭＩＮ）とする。この処理を各画素について行い、最小値フィルタ部１０３は入力フレーム画像から前処理画像を生成する（生成手段）。このように最小値選択、置換の処理を２段に分ける必要はなく、１段で処理してもよい。
【００１７】
次にローパスフィルタ処理部１０４は、前処理画像に対してローパスフィルタ処理を行い、低周波強調画像を生成する（ローパスフィルタ処理手段）。ローパスフィルタはどのようなものでもよく、例えばガウス関数でもよいし、移動平均あるいは重み付け移動平均フィルタのようなものでもよい。ローパスフィルタは、二次元ローパスフィルタであることが特に好ましい。
【００１８】
次に分配比率処理部１０５は、第１サブフレーム画像と第２サブフレーム画像とにどのような割合で低周波成分を配分するかを決定する。フリッカを知覚しにくくするためには、２つのサブフレーム画像の明るさの差が少ない方が望ましい。従って本実施形態においては、分配比率処理部１０５は、ローパスフィルタ処理部１０４が生成した低周波強調画像の各画素値に１／２を乗じて得た画像を第１サブフレーム画像として生成する。こうして、第１サブフレーム画像と第２サブフレーム画像とに低周波成分が同等に分配され、サブフレーム画像間の明るさの差が小さくなる。そして、分配比率処理部１０５は第１サブフレーム画像を切替回路１０７に出力する。また分配比率処理部１０５は、第１サブフレーム画像を差分検出部１０６にも出力する。しかしながら、明るさの比は任意に定めることができる。例えば、２つのサブフレーム画像の輝度差を意図的に顕著にすることによって、特殊な表示効果を得ることができる。この場合、分配比率処理部１０５は、低周波強調画像の各画素値に例えば０．８を乗じて得た画素を第１サブフレーム画像とすることができる。
【００１９】
差分検出部１０６は、フレームメモリ１０２から入力フレーム画像１０１を取得する。また、分配比率処理部１０５から第１サブフレーム画像を取得する。そして、第１サブフレーム画像の各画素値から、入力フレーム画像の各画素値を減じることにより得られる画像（差分画像）を、第２サブフレーム画像として生成する（差分計算手段）。こうして、高周波成分を強調した第２サブフレーム画像を得ることができる。
【００２０】
切替回路１０７は、第１サブフレーム画像と第２サブフレーム画像との一方を、所望の周波数で切り替えながら、出力フレーム画像として後段の処理回路に出力する（出力手段）。本実施形態においては、切替回路１０７は入力される動画像のフレームレートの２倍の周波数で切り替えを行う。例えば、６０Ｈｚの動画像が入力されたなら、切替回路１０７は１２０Ｈｚで切り替えを行う。こうして、動画像のフレームレートを増加させることができる。切替回路１０７はさらにバッファ回路を含んでもよい。このバッファ回路は、入力される第１及び第２サブフレーム画像を、出力タイミングが到来するまで一時的に保持しておくことができる。
【００２１】
図２（Ａ）は、本実施形態の処理を例示的に示す。図２（Ａ）では画像データをアナログ的に波形で表示した。説明のために、図２（Ａ）においては単色の画像データを取り扱う。波形２０１は入力波形（入力フレーム画像）の一例を示す。波形２０２は、波形２０１に対して最小値フィルタ部１０３が最小値フィルタ処理を行って得られる波形を示している。大きい画素値と小さい画素値とが隣接している境界領域では、小さい画素値が選ばれることになる。結果として大きい画素値と小さい画素値との境界は、波形２０２に示すように大きい画素値の領域の内側に狭められることになる。
【００２２】
波形２０３は、ローパスフィルタ処理部１０４が波形２０２にローパスフィルタ処理を行った結果を示す。波形２０４は第１サブフレーム画像の波形である。波形２０４は、分配比率処理部１０５が波形２０３に０．５を乗じて得られる。波形２０５は、差分検出部１０６によって得られる第２サブフレーム画像の波形である。第１サブフレーム画像の波形２０４と、第２サブフレーム画像の波形２０５と、を高速に交互表示して得られる波形は、視覚的には波形２０６と同等である。すなわち、交互表示によって得られる波形は、入力フレーム画像１０１の波形２０１と同一の波形として知覚される。
【００２３】
次に、以上の本実施形態に対応する処理を図３（Ａ）のフローチャートを参照して説明する。まず、ステップＳ３０１では、ユーザの指定を取得して初期設定を行う。本実施形態では、最小値フィルタ部１０３かフィルタのサイズ、ローパスフィルタ処理部１０４が用いるローパスフィルタの特性、及び分配比率処理部１０５が用いるサブフレーム画像間の明るさの比、を設定する。しかし、本実施形態の画像処理装置に関する他の設定を行うこともできる。
【００２４】
ステップＳ３０２では、フレーム画像１０１が本実施形態の画像処理装置に入力される。ステップＳ３０３では、フレームメモリ１０２がフレーム画像１０１を一時的に格納する。ステップＳ３０４では最小値フィルタ部１０３が、入力フレーム画像１０１に対して上述の最小値フィルタ処理を行い、前処理画像を生成する。ステップＳ３０５ではローパスフィルタ処理部１０４が、最小値フィルタ部１０３が出力した前処理画像に対してローパスフィルタ処理を施し、低周波強調画像を生成する。
【００２５】
ステップＳ３０６では、分配比率処理部１０５が上述のように第１サブフレーム画像を生成する。すなわち、ローパスフィルタ処理部１０４が生成した低周波強調画像の各画素値に対して、分配比率処理部１０５が所定の分配比率を乗じて得られる画像を、第１サブフレーム画像とする。低周波強調画像の各画素値に所定の分配比率を乗じて、低周波強調画像を更新することにより第１サブフレーム画像を生成してもよい。本実施形態では所定の分配比率を０．５とするが、上述のように他の値でもよい。この所定の分配比率は、通常０以上１以下である。以上により、低周波成分を強調した第１サブフレーム画像の生成が完了する。ステップＳ３０７では差分検出部１０６が、入力フレーム画像１０１の各画素値から、分配比率処理部１０５が生成した第１サブフレーム画像の各画素値を減算して得られる画像（差分画像）を、第２サブフレーム画像として生成する。
【００２６】
ステップＳ３０８では切替回路１０７がフレーム画像の出力タイミングを判定する。ステップＳ３０８で第１サブフレーム画像の出力タイミングが到来したと切替回路１０７が判断すると（ステップＳ３０８において「ＹＥＳ」）、処理はステップＳ３０９に移行する。ステップＳ３０９では切替回路１０７が、分配比率処理部１０５が生成した第１サブフレーム画像を出力する。ステップＳ３１０では切替回路１０７がフレーム画像の出力タイミングを判定する。ステップＳ３１０で第２サブフレーム画像の出力タイミングが到来したと切替回路１０７が判断すると（ステップＳ３１０において「ＹＥＳ」）、処理はステップＳ３１１に移行する。ステップＳ３１１では切替回路１０７が、差分検出部１０６が生成した第２サブフレーム画像を出力する。
【００２７】
第１及び第２サブフレーム画像は、切替回路１０７内のバッファ回路内、不図示のフレームメモリ等の記憶装置に一時的に保持されていてもよい。ステップＳ３０９又はステップＳ３１１において切替回路１０７は、これらの記憶装置から第１又は第２サブフレーム画像を読み出して出力してもよい。ステップＳ３０８又はステップＳ３１０における出力タイミングの判断は、例えば不図示の制御回路からの制御信号に従って行われてもよい。また、切替回路１０７が有するタイマからの制御信号に従って、出力タイミングの判断が行われてもよい。
【００２８】
その後、全てのフレーム画像について処理が完了した場合には（ステップＳ３１２において「ＹＥＳ」）、本処理を終了する。未処理フレーム画像がある場合には（ステップＳ３１２において「ＮＯ」）、ステップＳ３０２に戻って処理を繰り返す。ステップＳ３１２の判断は、例えばフレーム画像の入力を制御する不図示の制御回路からの制御信号に従って行われてもよい。
【００２９】
図３（Ａ）のフローチャートを用いて説明したサブフレーム画像の出力順序は、あくまで一例であってこれに限定されるものではない。例えば、第２サブフレーム画像を出力した後に第１サブフレーム画像を出力してもよい。また、本実施形態では２つのサブフレーム画像を作成した後に出力タイミングが判定されが、発明の実施形態はこれに限定されるものではない。例えば、ステップＳ３０６におけるローパスフィルタ処理が完了した時点で、切替回路１０７が第１サブフレーム画像の出力タイミングを判定する。そして、第１サブフレーム画像を出力した後に差分検出部１０６が第２サブフレーム画像を生成してもよい。さらに、分配比率処理部１０５が乗じる分配比率を適切に設定し、第１サブフレーム画像と第２サブフレーム画像の少なくとも一方を複数回出力することにより、フレームレートを３倍以上に上げることも可能である。
【００３０】
以上説明した本実施形態によれば、インパルス型の表示装置は、最初の１２０分の１秒間のうちの一瞬に第１サブフレーム画像を表示し、次の１２０分の１秒間の一瞬に第２サブフレーム画像を表示する。実際に本実施形態に従って、入力フレーム画像からサブフレーム画像を生成し、フレームレートを上げて表示したところ、画像の滲みを改善することができた。
【００３１】
［第２の実施形態］
本実施形態では、フレームレートを増加させた際の滲みを抑制する手段として、最小値フィルタ部１０３の代わりにマスクフィルタ部４０１を用いる。以下、本実施形態を図１（Ｂ）のブロック図と図２（Ｂ）の処理波形の例を用いて説明する。図１（Ｂ）では、図１（Ａ）の画像処理装置に含まれる処理ブロックと同様の機能を果たす処理ブロックについては、同一番号を付している。本実施形態においてカラー画像を処理する場合、それぞれの色成分からなる画像について以下の処理を行うことができる。例えばＲＧＢ成分を持つ画像であれば、Ｒ成分の画像、Ｇ成分の画像、Ｂ成分の画像のそれぞれについて以下の処理を行うことができる。Ｙ，Ｃｂ，Ｃｒ成分を持つ画像についても同様である。また、色成分のうちいくつか、例えばＲ成分にのみ以下の処理を行ってもよい。さらに、Ｒ，Ｇ，Ｂ成分からＹ成分を算出し、Ｙ成分に対して以下の処理を行い、処理の結果をＲ，Ｇ，Ｂ成分に当てはめることも、もちろん可能である。
【００３２】
入力画像である入力フレーム画像１０１は、第１の実施形態と同様に、第１サブフレーム画像と第２サブフレーム画像とを生成するため２つに分配される。本実施形態ではローパスフィルタ処理部１０４は、フレームメモリ１０２から取得した入力フレーム画像１０１に対してローパスフィルタ処理を行い、低周波強調画像を生成する。ローパスフィルタ処理の詳細は第１の実施形態と同様であるから省略する。
【００３３】
マスクフィルタ部４０１は、入力フレーム画像１０１と、ローパスフィルタ処理部１０４が生成した低周波強調画像とから、マスク画像を生成する（合成手段）。具体的には、各画素位置について入力フレーム画像１０１と低周波強調画像との画素値を比較し、小さい方の画素値をマスク画像における当該画素位置の画素値とすることにより、マスク画像を生成する。
【００３４】
以下で、マスクフィルタ部４０１を詳しく説明する。マスクフィルタ部４０１の具体的な回路構成を図１１に示す。ローパスフィルタ処理部１０４が生成した低周波強調画像２６０２の画素値と、入力フレーム画像１０１の画素値とを、比較器２６０３は各画素ごとに比較し、比較結果を選択器２６０４に入力する。選択器２６０４は、入力フレーム画像１０１の画素値の方が小さいのなら入力フレーム画像１０１の画素値を選択し、低周波強調画像２６０２の画素値の方が小さいのなら低周波強調画像２６０２の画素値を選択する。そして選択器２６０４は、選択した画素値をマスク画像２６０５における画素値とすることにより、マスク画像２６０５を生成する。分配比率処理部１０５、差分検出部１０６及び切替回路１０７は、第１の処理形態と同様に動作する。
【００３５】
図２（Ａ）と同様に画像データをアナログ的に波形で示す図２（Ｂ）を用いて、本実施形態の効果を説明する。図２（Ｂ）の例では、波形５０１が入力フレーム画像１０１として入力される。ローパスフィルタ処理部１０４は、波形５０１に対してローパスフィルタ処理を行い、低周波強調画像である波形５０２を生成する。マスクフィルタ部４０１は、入力フレーム画像１０１である波形５０１と、低周波強調画像である波形５０２との各画素値を比較する。そしてマスクフィルタ部は、波形５０１と波形５０２とから低い方の画素値を選択することにより、波形５０３をマスク画像として生成する。第１の実施形態と同様に、分配比率処理部１０５は波形５０３から第１サブフレーム画像である波形５０４を生成する。また差分検出部１０６は、波形５０１と波形５０４とから第２サブフレーム画像である波形５０５を生成する。波形５０４と波形５０５とを順番に高速に表示すると、この表示は視聴者には波形５０６のように見える。波形５０６は波形５０１と同様の波形である。
【００３６】
本実施形態の画像処理を行うことのメリットを以下に示す。図１２の２７０１のような単色のＲとＢが並んだ画像が入力されたと仮定する。波形２７００は、画像２７０１におけるＲの画素値の波形を示す。この入力画像から、前述のローパスフィルタ処理のみを用いて第１サブフレーム画像を生成した場合、第１サブフレーム画像のＲの画素値は波形２７０３のように表される。第２サブフレーム画像は波形２７００と波形２７０３との差分であるから、第２サブフレーム画像のＲの画素値は波形２７０４となる。負の画素値を表示することはできないので、表示される第２サブフレーム画像の波形は２７０５となる。第１サブフレーム画像と第２サブフレーム画像との高速な交互表示は、視聴者には波形２７０６のように見える。波形２７００と波形２７０６とを比較すると、波形２７０６においてはＲとＧとの境界部に波形２７００よりも大きな画素値を持つ画素が出現することがわかる。この結果、画像２７０２のようにＲとＢとの境界部に色滲みが発生してしまう。
【００３７】
本実施形態の特徴であるマスクフィルタ部４０１を用いると、図２（Ｂ）を用いて上で説明したように、第１サブフレーム画像は波形２７０７となる。よって、第２サブフレーム画像は波形２７０８となる。波形２７０７と波形２７０８との交互表示は波形２７０９となるので、波形２７０６のような色滲みが発生しない。以上のように本実施形態に従えば、マスクフィルタ部４０１を用いることにより、色滲みの発生を抑制する。
【００３８】
次に、図３（Ｂ）のフローチャートを参照して本実施形態の処理を説明する。図３（Ｂ）では、第１の実施形態に係る図３（Ａ）のフローチャートに示される処理と同様の処理には、図３（Ａ）と同一の番号を付している。以下の説明では、第１の実施形態と同様の処理については詳細な説明を省略する。
【００３９】
ステップＳ３０１では、必要な初期設定を行う。ステップＳ３０２では、フレーム画像が入力フレーム画像１０１として入力される。ステップＳ３０３では、入力フレーム画像１０１がフレームメモリ１０２に一時的に格納される。これらの処理は、第１の実施形態と同様である。ステップＳ３０５では、入力フレーム画像１０１に対してローパスフィルタ処理部１０４がローパスフィルタ処理を行う。
【００４０】
ステップＳ６０１では、ローパスフィルタ処理部１０４が出力した低周波強調画像、及び入力フレーム画像１０１を用いて、マスクフィルタ部４０１が上述のようにマスク画像を生成する。ステップＳ３０６では、マスクフィルタ部４０１が生成したマスク画像を用いて、分配比率処理部１０５が第１サブフレーム画像を生成する。これ以降、ステップＳ３０７からステップＳ３１２における処理は、第１の実施形態と同様と同様であるので、説明は省略する。実際に本実施形態に従って、入力フレーム画像からサブフレーム画像を生成し、フレームレートを上げて表示したところ、画像の滲みを改善することができた。
【００４１】
また、ローパスフィルタ処理の前処理として、最小値フィルタ処理を施してもよい。最小値フィルタ処理とは、処理対象画素の周辺の画素値のうち最も小さい値を、フィルタ処理後の処理対象画素の画素値とする処理のことである。この最小値フィルタ処理は第１の実施形態と類似のものであるが、第１の実施形態と同じように、各色の画素値を同一にする必要はない。すなわち、この最小値フィルタは処理対象の画素の周囲（Ｍ×Ｎ）画素の画像データを参照する。そして、参照した画素の中から例えばＲの画素値の最小値を求める（ＲＧＢデータの場合）。そして、フィルタ処理後の処理対象画素のＲの画素値を求めた最小値とする。Ｇの画素値及びＢの画素値についても同様に行うことができる。もちろん、ＹＣｂＣｒなどの他の色データを有する画像についても同様に行うことができる。また、全ての色について最小値フィルタ処理を行わず、一部の色についてのみ最小値フィルタ処理を行ってもよい。
【００４２】
図１３（Ａ）は本実施形態における、最小値フィルタを用いない場合の処理後の動画像特性である。ローパスフィルタをかけることにより生まれたなだらかな部分が、マスクフィルタ処理によって削られるので、動きボケが発生している。図１３（Ｂ）は本実施形態における、最小値フィルタを用いた場合の動画像特性である。最小値フィルタを用いることにより、ローパスフィルタをかけることにより生まれたなだらかな部分が削られず、図１３（Ａ）と比べて動きボケが抑制されている。本実施形態においては、最小値フィルタを適用することにより、より好ましい結果が得られる。本実施形態では、第１の実施形態とはサブフレーム画像の生成形態が異なるものの、入力フレーム画像と低域成分を含むサブフレーム画像とから生成した高域成分を含むサブフレーム画像が負の画素値を取らないため、色滲みの発生を抑制するという点は共通している。
【００４３】
［変形例１］
以下、図７を参照して、第１及び第２の実施形態における変形例を説明する。第１及び第２の実施形態では、インパルス型の表示装置で表示させる動画のフレームレートを増加させる方法を説明した。本変形例では、ホールド型の表示装置で表示させる動画のフレームレートを増加させる方法を説明する。
【００４４】
例として、６０Ｈｚの動画のフレームレートが１２０Ｈｚに上げられる場合を考える。さらに、フレーム画像の明るさがＡであるものとする。インパルス型の表示装置で明るさＡの第１サブフレーム画像と明るさＡの第２サブフレーム画像とを１／６０秒間のうちに表示すると、視聴者はフレーム画像の明るさが２Ａであるように見える。そのため、第１の実施形態では分配比率処理部１０５を用いて明るさを調節している。一方でホールド型の表示装置では、最初の１／１２０秒間に明るさＡの第１サブフレーム画像を表示し、次の１／１２０秒間に明るさＡの第２サブフレーム画像を表示しても、視聴者にはフレーム画像の明るさはＡであるように見える。このようにインパルス型の表示装置とホールド型の表示装置とでは特性が異なるため、本変形例の構成を用いて、ホールド型の表示装置で表示させる動画のフレームレートを増加させるのがよい。
【００４５】
図７（Ａ）は第１の実施形態の変形例に係る画像処理装置の構成の一例を示す。フレームメモリ１０２、最小値フィルタ部１０３及びローパスフィルタ処理部１０４の動作は、第１の実施形態と同様である。ローパスフィルタ処理部１０４が生成した低周波強調画像は、そのまま第１サブフレーム画像として差分検出部１０６及び切替回路１０７に出力される。
【００４６】
差分検出部１０６は、入力フレーム画像１０１の各画素値から、ローパスフィルタ処理部１０４が生成した第１サブフレーム画像の各画素値を減算して得られる画像を、差分画像として生成する。加算回路７０１は、差分検出部１０６が生成した差分画像の各画素値と、入力フレーム画像１０１の各画素値とを加算して得られる画像を、第２サブフレーム画像として生成する。切替回路１０７の動作は第１の実施形態と同様である。
【００４７】
図９（Ａ）は第１の実施形態の変形例に係る処理のフローチャートを示す。図９（Ａ）及び（Ｂ）では、図３（Ａ）、図３（Ｂ）のフローチャートに含まれる処理と同様の処理については、同一番号を付している。ステップＳ３０１からステップＳ３０５の処理は第１の実施形態と同様であるから、説明を省略する。ステップＳ９０１では、上述のように差分検出部１０６が入力フレーム画像１０１と、ローパスフィルタ処理部１０４が生成した低周波強調画像とから差分画像を生成する。ステップＳ９０２では、上述のように加算回路７０１が、入力フレーム画像１０１と、差分検出部１０６が生成した差分画像とから第２サブフレーム画像を生成する。ステップＳ３０８からステップＳ３１２の処理は第１の実施形態と同様であるため、説明は省略する。
【００４８】
図７（Ｂ）は第２の実施形態の変形例に係る画像処理装置の構成の一例を示す。本変形例において、フレームメモリ１０２、ローパスフィルタ処理部１０４、マスクフィルタ部４０１の動作は、第２の実施形態と同様である。マスクフィルタ部４０１が生成したマスク画像は、そのまま第１サブフレーム画像として差分検出部１０６及び切替回路１０７に出力される。差分検出部１０６、加算回路７０１及び切替回路１０７の動作は、上述の第１の実施形態の変形例と同様である。
【００４９】
図９（Ｂ）は第２の実施形態の変形例に係る処理のフローチャートを示す。ステップＳ３０１からステップＳ３０５、ステップＳ６０１、ステップＳ３０８からステップＳ３１２の処理は第１の実施形態と同様であるから、説明を省略する。ステップＳ９０１では、上述のように差分検出部１０６が入力フレーム画像１０１と、マスクフィルタ部４０１が生成したマスク画像とから差分画像を生成する。ステップＳ９０２では、上述のように加算回路７０１が、入力フレーム画像１０１と、差分検出部１０６が生成した差分画像とから第２サブフレーム画像を生成する。
【００５０】
このように本変形例では、第１及び第２の実施形態とはサブフレーム画像の生成形態が異なる。しかしながら、入力フレーム画像と低域成分を含むサブフレーム画像とから生成した高域成分を含むサブフレーム画像が負の画素値を取らないため、色滲みの発生が抑制されるという点は第１及び第２の実施形態と共通している。
【００５１】
なお、液晶の応答特性の改善や、バックライトを制御するなどの方法により、１２０分の１秒よりも短い時間だけ、サブフレーム画像を表示させる表示装置も実現可能である。このような表示装置で表示するための画像を、本変形例に係る画像処理装置が生成することもできる。この場合にも、連続して表示したときに入力フレーム画像と同じように見えるサブフレーム画像を生成するという、本発明の特徴は何ら変わるものではない。
【００５２】
また、次の方法によってもホールド型の表示装置で表示させる動画を生成することができる。すなわち、第１及び第２の実施形態に従って第１サブフレーム画像及び第２サブフレーム画像を生成する。そして、切替回路１０７が各サブフレーム画像の画素値に適切な値を乗算してから出力フレーム画像として出力すればよい。例えば、第１の実施形態において分配比率処理部１０５は分配比率を０．５として処理する。そして、切替回路１０７は第１サブフレーム画像及び第２サブフレーム画像の各画素値に２を乗算する。この方法によれば、第１の実施形態の方法で変形例１と同じ結果を得ることができる。もちろん切替回路１０７がこの乗算処理を行う必要はなく、適切な他の処理部又は出力装置がこの乗算処理を行うこともできる。
【００５３】
［変形例２］
以下、図２（Ｃ）及び図６（Ａ）〜（Ｄ）を参照して、第１の実施形態における変形例を説明する。影響範囲の大きいローパスフィルタを用いる場合、最小値フィルタの適用範囲も広げる必要がある。例えば、図２（Ｃ）の波形２１０３は、図２（Ａ）で用いたローパスフィルタよりも広い範囲の波形が変化するローパスフィルタを、波形２１０２に適用した結果得られる波形である。この場合にも第２サブフレーム画像２１０５において負の値が発生しないようにするためには、波形２１０２の画素値が大きい部分を、図２（Ａ）の波形２０２よりも狭くするとよい。すなわち、図２（Ａ）の場合（波形２０２）よりも適用範囲の広い最小値フィルタを用いることが望ましい。このように最小値フィルタの影響範囲を、ローパスフィルタの影響範囲と同じ又はより広く設定することにより、第２サブフレーム画像生成時に負の画素値が発生することを防ぐことができる。
【００５４】
これらの関係をより詳細に図６（Ａ）〜（Ｄ）を参照して説明する。ここでは、フィルタの影響の及ぶ範囲をタップ長を使って説明する。画素毎にフィルタ処理を行う場合、タップ長はフィルタの大きさ、すなわち図８におけるＭ及びＮを意味する。フィルタ特性図２２０１は、図２（Ａ）の波形２０３を生成するために使用されるローパスフィルタの特性を示している。ここで、点線で示す波形は入力波形を示し、実線で示す波形は入力波形に対してフィルタ処理を行って得られる波形を示している。２２０２は画素のサンプル点を示しており、ここでは水平方向に５画素の範囲でフィルタの効果が及んでいる。即ち、このときのローパスフィルタの水平方向のタップ長は５である。ローパスフィルタが対称性を有するものと考えると、２２０３に示すように最小値フィルタのタップ長を５とすることで、ローパスフィルタの影響の及ぶ範囲が入力波形における画素値が大きい部分からはみ出すことはなくなる。
【００５５】
同様に、ローパスフィルタのタップ長が９である場合、すなわちフィルタ特性が２２０４である場合を考える。この場合、最小値フィルタのタップ長も９以上にすれば、２２０６に示すように、ローパスフィルタの影響の及ぶ範囲が入力波形における画素値が大きい部分からはみ出すことはなくなる。
【００５６】
このように最小値フィルタのタップ長を少なくともローパスフィルタのタップ長と同じか、それ以上の値とすることで、入力フレーム画像からローパスフィルタ処理後の画像の画素値を差し引いた際に負の画素値を生じさせないようにすることができる。尚、上記では簡単のために水平方向のタップ数（タップ長）について説明したが、フィルタ処理を垂直方向についても行う場合には、水平方向と垂直方向の双方のローパスフィルタのタップ数に基づいて、最小値フィルタのタップ数を決定することができる。
【００５７】
実際の最小値フィルタ処理及びローパスフィルタ処理では、垂直方向にもタップ数が設定されることが考えられる。ここで、図８のように、ローパスフィルタ処理の垂直方向のタップ数を自然数Ｎ、水平方向のタップ数を自然数Ｍとする。ＮとＭは同一の値をとっても良いし、異なる値であってもよい。例えば、（Ｎ，Ｍ）＝（５，５）、（７，５）、（５，７）のように設定してもよい。
【００５８】
また、最小値フィルタの垂直方向のタップ数を自然数Ｎ’、水平方向のタップ数を自然数Ｍ’とする。この場合、最小値フィルタが着目する画素は、処理対象画素を中心とした垂直方向にＮ’画素、水平方向にＭ’画素の領域内の画素となる。従って、最小値フィルタ処理ではこの領域内の画素のうち最小の画素値が、最小値として決定される。なお本実施形態では、Ｎ’はＮ以上であり、かつ、Ｍ’はＭ以上であればよい。以上のタップ数に関する考え方は、第２の実施形態における最小値フィルタとローパスフィルタとの関係にも同様に適用することができる。
【００５９】
［第３の実施形態］
図５は、本発明の第１の実施形態及び第２の実施形態、並びにこれらの変形例を実現するための画像処理装置としてのコンピュータのハードウェア構成の一例を示す図である。もっとも、図５に示される各部の全てを、本実施形態に係る画像処理装置が有する必要はない。
【００６０】
図５において、ＣＰＵ２００１は、外部記憶装置（ハードディスク）２００７に格納されているＯＳ、アプリケーションプログラム等を実行し、画像処理装置２０００の動作を制御する。なお、ＣＰＵ２００１は、対応する処理プログラムを実行することにより、第１及び第２の実施形態で示した各部として機能し、例えば図３（Ａ）又は図３（Ｂ）に示される処理を実現する。すなわちＣＰＵ２００１は、図１（Ａ）の最小値フィルタ部１０２、ローパスフィルタ処理部１０３、図１（Ｂ）のマスクフィルタ部４０１、差分検出部１０６、分配比率処理部１０５を含む各部として機能する。またＣＰＵ２００１は、ＲＡＭ２００３にプログラムの実行に必要な情報、ファイル等を一時的に格納する。また、ＲＡＭ２００３をＣＰＵ２００１が制御することにより、図１（Ａ）の切替回路１０７を実現することができる。
【００６１】
ＲＯＭ２００２は、基本Ｉ／Ｏプログラム等のプログラムを記憶している。ＲＡＭ２００３は、ＣＰＵ２００１の主メモリ、ワークエリア等として機能する。ネットワークインタフェイス（Ｉ／Ｆ）２００４は、本実施形態のコンピュータがＬＡＮ又はＷＡＮに接続して外部装置と通信するためのインタフェイスである。
【００６２】
入力装置２００５は、ユーザからの入力を受け付けるマウスとキーボードとの少なくとも一方、並びに被写体の画像を撮影して画像を画像処理装置２０００に入力するための撮像装置を含むことができる。この撮像装置を有することにより、画像処理装置２０００はデジタルカメラ、或いは、デジタルビデオカメラとして機能することができる。
【００６３】
出力装置２００６は、液晶ディスプレイのようなホールド型の表示装置や、フィールドエミッションタイプの表示装置のようなインパルス型の表示装置を含む出力デバイスである。外部記憶装置２００７は、アプリケーションプログラム、ドライバプログラム、ＯＳ、制御プログラム、本実施形態に対応する処理を実行するための処理プログラム等を含むプログラムを格納している。システムバス２００８は、画像処理装置２０００内の各部を接続し、データのやりとりを可能とする。
【００６４】
［その他の実施形態］
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
【特許請求の範囲】
【請求項１】
色成分毎の画素値を有する画素で構成されているフレーム画像から複数のサブフレーム画像を生成して出力する画像処理装置であって、
前記フレーム画像中の各画素について、該画素の周辺に位置する周辺画素の色成分毎の画素値から色成分毎の最小画素値を特定し、該特定した色成分毎の最小画素値のうち最小値を共通画素値として特定する特定手段と、
前記フレーム画像中の各画素の画素値を、該画素について前記特定手段が特定した共通画素値で置き換えた画像を前処理画像として生成する生成手段と、
前記前処理画像に対してローパスフィルタ処理を行うことにより、第１サブフレーム画像を生成するローパスフィルタ処理手段と、
前記フレーム画像と前記第１サブフレーム画像との差分画像を、第２サブフレーム画像として生成する差分計算手段と、
前記第１サブフレーム画像と前記第２サブフレーム画像とを出力する出力手段とを備えることを特徴とする、画像処理装置。
【請求項２】
フレーム画像から複数のサブフレーム画像を生成して出力する画像処理装置であって、
前記フレーム画像に対してローパスフィルタ処理を行うことにより、低周波強調画像を生成するローパスフィルタ処理手段と、
各画素位置について前記フレーム画像と前記低周波強調画像との画素値を比較し、小さい方の画素値を第１サブフレーム画像における当該画素位置の画素値とすることにより、第１サブフレーム画像を生成する合成手段と、
前記フレーム画像と前記第１サブフレーム画像との差分画像を、第２サブフレーム画像として生成する差分計算手段と、
前記第１サブフレーム画像と前記第２サブフレーム画像とを出力する出力手段とを備えることを特徴とする、画像処理装置。
【請求項３】
前記ローパスフィルタ処理手段は、前記フレーム画像中の各画素について、該画素の周辺に位置する周辺画素の画素値のうちの最小画素値を特定する特定手段と、前記フレーム画像中の各画素の画素値を、該画素について前記特定手段が特定した最小画素値で置き換えた画像を前処理画像として生成する生成手段とをさらに備え、
前記前処理画像に対してローパスフィルタ処理を行うことにより、前記低周波強調画像を生成することを特徴とする、請求項２に記載の画像処理装置。
【請求項４】
前記ローパスフィルタ処理手段は、前記ローパスフィルタ処理を行って得た画像の各画素値に分配比率を乗じて前記第１サブフレーム画像を生成することを特徴とする、請求項１に記載の画像処理装置。
【請求項５】
前記合成手段は、前記生成した第１サブフレーム画像の各画素値に分配比率を乗じることで前記第１サブフレーム画像を更新し、当該更新した第１サブフレーム画像を前記差分計算手段及び前記出力手段に出力することを特徴とする、請求項２又は３に記載の画像処理装置。
【請求項６】
前記差分計算手段は、前記フレーム画像と前記第１サブフレーム画像との差分画像の各画素値と、前記フレーム画像の各画素値とを加算して前記第２サブフレーム画像を生成することを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
【請求項７】
前記ローパスフィルタ処理手段が用いる前記ローパスフィルタにおける垂直方向のタップ数をＮ、水平方向のタップ数をＭとすると、
前記特定手段は、処理対象の画素を中心とした垂直方向にＮ’画素、水平方向にＭ’画素の領域内の画素から前記最小画素値を特定し、
前記Ｎ’は前記Ｎ以上であって、かつ、前記Ｍ’は前記Ｍ以上であることを特徴とする請求項１又は３に記載の画像処理装置。
【請求項８】
色成分毎の画素値を有する画素で構成されているフレーム画像から複数のサブフレーム画像を生成して出力するための構成を備える画像処理装置が行う画像処理方法であって、
前記フレーム画像中の各画素について、該画素の周辺に位置する周辺画素の色成分毎の画素値から色成分毎の最小画素値を特定し、該特定した色成分毎の最小画素値のうち最小値を共通画素値として特定する特定工程と、
前記フレーム画像中の各画素の画素値を、該画素について前記特定工程で特定した共通画素値で置き換えた画像を前処理画像として生成する生成工程と、
前記前処理画像に対してローパスフィルタ処理を行うことにより、第１サブフレーム画像を生成するローパスフィルタ処理工程と、
前記フレーム画像と前記第１サブフレーム画像との差分画像を、第２サブフレーム画像として生成する差分計算工程と、
前記第１サブフレーム画像と前記第２サブフレーム画像とを出力する出力工程とを備えることを特徴とする、画像処理方法。
【請求項９】
フレーム画像から複数のサブフレーム画像を生成して出力するための構成を備える画像処理装置が行う画像処理方法であって、
前記フレーム画像に対してローパスフィルタ処理を行うことにより、低周波強調画像を生成するローパスフィルタ処理工程と、
各画素位置について前記フレーム画像と前記低周波強調画像との画素値を比較し、小さい方の画素値を第１サブフレーム画像における当該画素位置の画素値とすることにより、第１サブフレーム画像を生成する合成工程と、
前記フレーム画像と前記第１サブフレーム画像との差分画像を、第２サブフレーム画像として生成する差分計算工程と、
前記第１サブフレーム画像と前記第２サブフレーム画像とを出力する出力工程とを備えることを特徴とする、画像処理方法。
【請求項１０】
コンピュータを、請求項１乃至７の何れか１項に記載の画像処理装置が有する各手段として機能させるためのプログラム。
【請求項１１】
請求項１０に記載のプログラムを格納した、コンピュータが読み取り可能な記憶媒体。
【請求項１】
色成分毎の画素値を有する画素で構成されているフレーム画像から複数のサブフレーム画像を生成して出力する画像処理装置であって、
前記フレーム画像中の各画素について、該画素の周辺に位置する周辺画素の色成分毎の画素値から色成分毎の最小画素値を特定し、該特定した色成分毎の最小画素値のうち最小値を共通画素値として特定する特定手段と、
前記フレーム画像中の各画素の画素値を、該画素について前記特定手段が特定した共通画素値で置き換えた画像を前処理画像として生成する生成手段と、
前記前処理画像に対してローパスフィルタ処理を行うことにより、第１サブフレーム画像を生成するローパスフィルタ処理手段と、
前記フレーム画像と前記第１サブフレーム画像との差分画像を、第２サブフレーム画像として生成する差分計算手段と、
前記第１サブフレーム画像と前記第２サブフレーム画像とを出力する出力手段とを備えることを特徴とする、画像処理装置。
【請求項２】
フレーム画像から複数のサブフレーム画像を生成して出力する画像処理装置であって、
前記フレーム画像に対してローパスフィルタ処理を行うことにより、低周波強調画像を生成するローパスフィルタ処理手段と、
各画素位置について前記フレーム画像と前記低周波強調画像との画素値を比較し、小さい方の画素値を第１サブフレーム画像における当該画素位置の画素値とすることにより、第１サブフレーム画像を生成する合成手段と、
前記フレーム画像と前記第１サブフレーム画像との差分画像を、第２サブフレーム画像として生成する差分計算手段と、
前記第１サブフレーム画像と前記第２サブフレーム画像とを出力する出力手段とを備えることを特徴とする、画像処理装置。
【請求項３】
前記ローパスフィルタ処理手段は、前記フレーム画像中の各画素について、該画素の周辺に位置する周辺画素の画素値のうちの最小画素値を特定する特定手段と、前記フレーム画像中の各画素の画素値を、該画素について前記特定手段が特定した最小画素値で置き換えた画像を前処理画像として生成する生成手段とをさらに備え、
前記前処理画像に対してローパスフィルタ処理を行うことにより、前記低周波強調画像を生成することを特徴とする、請求項２に記載の画像処理装置。
【請求項４】
前記ローパスフィルタ処理手段は、前記ローパスフィルタ処理を行って得た画像の各画素値に分配比率を乗じて前記第１サブフレーム画像を生成することを特徴とする、請求項１に記載の画像処理装置。
【請求項５】
前記合成手段は、前記生成した第１サブフレーム画像の各画素値に分配比率を乗じることで前記第１サブフレーム画像を更新し、当該更新した第１サブフレーム画像を前記差分計算手段及び前記出力手段に出力することを特徴とする、請求項２又は３に記載の画像処理装置。
【請求項６】
前記差分計算手段は、前記フレーム画像と前記第１サブフレーム画像との差分画像の各画素値と、前記フレーム画像の各画素値とを加算して前記第２サブフレーム画像を生成することを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
【請求項７】
前記ローパスフィルタ処理手段が用いる前記ローパスフィルタにおける垂直方向のタップ数をＮ、水平方向のタップ数をＭとすると、
前記特定手段は、処理対象の画素を中心とした垂直方向にＮ’画素、水平方向にＭ’画素の領域内の画素から前記最小画素値を特定し、
前記Ｎ’は前記Ｎ以上であって、かつ、前記Ｍ’は前記Ｍ以上であることを特徴とする請求項１又は３に記載の画像処理装置。
【請求項８】
色成分毎の画素値を有する画素で構成されているフレーム画像から複数のサブフレーム画像を生成して出力するための構成を備える画像処理装置が行う画像処理方法であって、
前記フレーム画像中の各画素について、該画素の周辺に位置する周辺画素の色成分毎の画素値から色成分毎の最小画素値を特定し、該特定した色成分毎の最小画素値のうち最小値を共通画素値として特定する特定工程と、
前記フレーム画像中の各画素の画素値を、該画素について前記特定工程で特定した共通画素値で置き換えた画像を前処理画像として生成する生成工程と、
前記前処理画像に対してローパスフィルタ処理を行うことにより、第１サブフレーム画像を生成するローパスフィルタ処理工程と、
前記フレーム画像と前記第１サブフレーム画像との差分画像を、第２サブフレーム画像として生成する差分計算工程と、
前記第１サブフレーム画像と前記第２サブフレーム画像とを出力する出力工程とを備えることを特徴とする、画像処理方法。
【請求項９】
フレーム画像から複数のサブフレーム画像を生成して出力するための構成を備える画像処理装置が行う画像処理方法であって、
前記フレーム画像に対してローパスフィルタ処理を行うことにより、低周波強調画像を生成するローパスフィルタ処理工程と、
各画素位置について前記フレーム画像と前記低周波強調画像との画素値を比較し、小さい方の画素値を第１サブフレーム画像における当該画素位置の画素値とすることにより、第１サブフレーム画像を生成する合成工程と、
前記フレーム画像と前記第１サブフレーム画像との差分画像を、第２サブフレーム画像として生成する差分計算工程と、
前記第１サブフレーム画像と前記第２サブフレーム画像とを出力する出力工程とを備えることを特徴とする、画像処理方法。
【請求項１０】
コンピュータを、請求項１乃至７の何れか１項に記載の画像処理装置が有する各手段として機能させるためのプログラム。
【請求項１１】
請求項１０に記載のプログラムを格納した、コンピュータが読み取り可能な記憶媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１１−９７３７５（Ｐ２０１１−９７３７５Ａ）
【公開日】平成２３年５月１２日（２０１１．５．１２）
【国際特許分類】
【出願番号】特願２００９−２４９４７８（Ｐ２００９−２４９４７８）
【出願日】平成２１年１０月２９日（２００９．１０．２９）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２３年５月１２日（２０１１．５．１２）
【国際特許分類】
【出願日】平成２１年１０月２９日（２００９．１０．２９）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]