画像処理装置およびその制御方法
【課題】動画表示の際の空間的高周波成分のフリッカの発生を抑制しつつエッジ波形の再現を可能とする技術を提供する。
【解決手段】動画像を構成する各フレーム画像からＭ個のサブフレーム画像を生成することによりフレームレート変換を行なう画像処理装置において、注目フレーム画像と該注目フレーム画像に対し先行するまたは後続するフレーム画像との差分に基づいて、注目フレーム画像の各領域について画像の変化の程度を示す変化指標を導出する導出手段と、注目フレーム画像にローパスフィルタ処理を施し低周波フレーム画像を生成する低周波フレーム画像生成手段と、注目フレーム画像と低周波フレーム画像との差分により高周波フレーム画像を生成する高周波フレーム画像生成手段と、注目フレーム画像の各領域の変化指標に応じた重みで、高周波フレーム画像に含まれる画像成分をＭ個の低周波フレーム画像に分配し加算することによりＭ個のサブフレーム画像を生成する生成手段と、を備える。
【解決手段】動画像を構成する各フレーム画像からＭ個のサブフレーム画像を生成することによりフレームレート変換を行なう画像処理装置において、注目フレーム画像と該注目フレーム画像に対し先行するまたは後続するフレーム画像との差分に基づいて、注目フレーム画像の各領域について画像の変化の程度を示す変化指標を導出する導出手段と、注目フレーム画像にローパスフィルタ処理を施し低周波フレーム画像を生成する低周波フレーム画像生成手段と、注目フレーム画像と低周波フレーム画像との差分により高周波フレーム画像を生成する高周波フレーム画像生成手段と、注目フレーム画像の各領域の変化指標に応じた重みで、高周波フレーム画像に含まれる画像成分をＭ個の低周波フレーム画像に分配し加算することによりＭ個のサブフレーム画像を生成する生成手段と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像のフレームレートを変換する技術に関するものである。
【背景技術】
【０００２】
ＣＦＦ（critical fusion frequency）未満のフレームレート（以下、低フレームレートと呼ぶ）で撮影された動画（例えば、２４ｆｐｓや３０ｆｐｓの動画）をそのまま表示する場合、視聴者によりちらつき（フリッカ）が認識される。そこで、フリッカを抑制するため、表示装置において各フレームを複数回繰り返して表示する方法が行われている。しかし、この手法ではコマの繰り返し表示に起因して映像の動きがガタガタして見える現象（ジャダー）が発生する。そこで、例えば特許文献１では、動き領域におけるエッジ波形を再現することによりジャダーを低減する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−１８９２６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、空間的高周波成分の強調・抑制をＣＦＦ未満のフレームレートの動画に対し、上述のエッジ波形の再現処理を適用した場合、空間的高周波成分がフリッカして知覚されるという問題が発生する。
【０００５】
本発明は、上述の問題点に鑑みなされたものであり、動画表示の際の空間的高周波成分のフリッカを抑制しつつエッジ波形の再現を可能とする技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の画像処理装置は以下の構成を備える。すなわち、動画像を構成する各フレーム画像からＭ個のサブフレーム画像を生成することによりフレームレート変換を行なう画像処理装置において、注目フレーム画像と該注目フレーム画像に対し先行するまたは後続するフレーム画像との差分に基づいて、前記注目フレーム画像の各領域について画像の変化の程度を示す変化指標を導出する導出手段と、前記注目フレーム画像にローパスフィルタ処理を施し低周波フレーム画像を生成する低周波フレーム画像生成手段と、前記注目フレーム画像と前記低周波フレーム画像との差分により高周波フレーム画像を生成する高周波フレーム画像生成手段と、前記導出手段により導出された前記注目フレーム画像の各領域の変化指標に応じた重みで、前記高周波フレーム画像に含まれる画像成分をＭ個の前記低周波フレーム画像に分配し加算することにより前記Ｍ個のサブフレーム画像を生成する生成手段と、を備える。
【発明の効果】
【０００７】
本発明によれば、動画表示の際の空間的高周波成分のフリッカの発生を抑制しつつエッジ波形の再現を可能とする技術を提供することができる。
【図面の簡単な説明】
【０００８】
【図１】ディスプレイシステムにおける補正処理部のブロック図である。
【図２】第１実施形態に係るフレームレート変換処理部のブロック図である。
【図３】第１実施形態に係るフレームレート変換処理部の全体動作フローチャートである。
【図４】動き度算出部の動作フローチャートである。
【図５】出力サブフレームを説明する概念図である。
【図６】制御閾値に基づいて加算高周波成分を補正するフローチャートである。
【図７】制御閾値関数に基づいて加算高周波成分を補正するフローチャートである。
【図８】動き度ｍおよび高周波成分ｈを説明する図である。
【図９】高周波制御部の制御閾値を説明する図である。
【図１０】高周波制御部の制御閾値関数を説明する図である。
【図１１】高周波成分を抑制・強調した領域の出力を示す図である。
【図１２】高周波成分を抑制・強調しない領域の出力を示す図である。
【図１３】第２実施形態に係るフレームレート変換処理部のブロック図である。
【図１４】第２実施形態に係るフレームレート変換処理部の動作フローチャートである。
【図１５】順応輝度算出部の動作フローチャートである。
【図１６】第３実施形態に係るフレームレート変換処理部のブロック図である。
【発明を実施するための形態】
【０００９】
以下に、図面を参照して、この発明の好適な実施の形態を詳しく説明する。なお、以下の実施の形態はあくまで例示であり、本発明の範囲を限定する趣旨のものではない。
【００１０】
（第１実施形態）
本発明に係る画像処理装置の第１実施形態として、ディスプレイシステムにおける補正回路内のフレームレート変換処理部を例に挙げて以下に説明する。特に、第１実施形態では、出力サブフレームの領域毎の高周波成分の分配量を制御するにあたり、動画像に含まれるフレーム画像の動きとエッジコントラストに基づいて制御する方法について説明する。
【００１１】
＜装置構成＞
図１は、第１実施形態に係るディスプレイシステムにおける補正回路の内部ブロック図である。補正回路１０００には、例えばセレクタを介して、外部の画像出力装置から所定のフレームレートの動画像が入力される。以下の説明では２４ｐ（２４フレーム／秒のプログレッシブ画像）の動画像に対して処理する場合について述べるが、他のフレームレートの動画像であっても同様に適用可能である。
【００１２】
なお、補正回路１０００は、後述するフレームレート変換処理部１００の他にも、各所の画像処理部を含み得る。例えば、ノイズリダクション、フィルムソース検出、インタレース／プログレッシブ（Ｉ／Ｐ）変換、解像度変換の他、各種の色補正処理を含み得る。例えば、フィルムソース検出処理部としては、特開２００９−００８７３３号公報に開示される技術を適用し得る。
【００１３】
フレームレート変換処理部１００は、ｎ枚のフレーム画像に対してｎ’（＞ｎ）枚（請求項ではＭ個）のサブフレーム画像を生成して出力する処理部である。以下の説明では、２４ｐの動画像に含まれる各フレーム画像に対して５枚のサブフレーム画像を生成する（つまり、ｎ＝１、ｎ’＝５）の場合について説明する。ただし、既存の２−３プルダウン（２４ｆｐｓから６０ｆｐｓへの変換）のようなフレームレート変換と組み合わせることにより（ｎ＝２、ｎ’＝５）あるいは（ｎ＝２、ｎ’＝１０）のように構成してもよい。
【００１４】
図２は、第１実施形態のフレームレート変換処理部のブロック図である。ローパスフィルタ（ＬＰＦ）１０１（低周波フレーム画像生成手段）は、動画像に含まれる各フレーム画像ｆｉｎに対しローパスフィルタ処理を行い低周波フレーム画像を生成する処理部である。具体的には、ＬＰＦ１０１は、入力フレーム画像ｆｉｎに対して、ガウシアンフィルターや平均値フィルターなど、入力画像よりも空間周波数分布が低くなる処理を行い、低周波フレーム画像ｆＬの信号を出力する。
【００１５】
高周波成分抽出部１０３（高周波フレーム画像生成手段）は、入力したフレーム画像ｆｉｎと低周波フレーム画像ｆＬとに基づいて高周波成分（高周波フレーム画像）ｈを算出し出力する。具体的な算出方法としては、以下の式で示されるように、低周波フレーム画像と入力したフレーム画像との差分を用いることが出来る。
【００１６】
ｈ＝ａｂｓ（ｆｉｎ−ｆＬ）
なお、以下の式で示されるように、入力したフレーム画像に対しエッジ強調を行った画像と当該入力したフレーム画像との差分を用いて高周波成分ｈを算出しても良い。
【００１７】
ｈ＝ａｂｓ（ｓｈａｒｐｅｎ（ｆｉｎ）−ｆｉｎ）
ここで、ａｂｓ（）は絶対値関数、ｓｈａｒｐｅｎ（）はエッジ強調処理関数をそれぞれ示している。
【００１８】
フレーム周波数変換部１０２は、１個の低周波フレーム画像ｆＬを複製することにより、５個の低周波フレーム画像ｆＬｎ’（ｎ’＝１、...、５）を生成する。なお、５個の低周波フレーム画像は、最終的に出力される５個のサブフレーム画像のベース画像に相当する。
【００１９】
動き度算出部１０５（導出手段）は、フレーム画像ｆｉｎと該注目フレーム画像に隣接（先行または後続）するフレーム画像とに基づいて、ｆｉｎの内部の各領域における動き度（変化指標）ｍとして導出する。動き度ｍはフレーム画像の内部の各領域の変化を多段階、例えば０〜２５５（８ｂｉｔ）や０〜４０９５（１２ｂｉｔ）で表す行列である。なお、動き度の算出の詳細については後述する。
【００２０】
高周波量制御部１０６は、動き度（変化指標）ｍを用いて、高周波フレーム画像に含まれる画像成分の５個の低周波フレーム画像への分配の重みをフレーム画像の領域毎に決定する。高周波成分加算部１０４は、高周波量制御部１０６によって決定された分配の重みに基づいて、５個の低周波フレーム画像に対し高周波フレーム画像に含まれる画像成分をフレーム画像の領域毎に分配して加算する。そして、高周波フレーム画像の画像成分が加算された５個の低周波フレーム画像を出力フレームｆｏｕｔとして出力する。
【００２１】
＜装置の動作＞
動き度算出部１０５の動作について説明する。図４は、動き度算出部における動き度ｍを推定し算出する動作フローチャートである。
【００２２】
ステップｆ１２１では、注目フレーム画像ｆｉｎを含む、連続する複数のフレーム画像を入力する。ステップｆ１２２では、入力した複数のフレーム画像について、隣接するフレーム間の差分を算出する。ステップｆ１２３では、算出されたフレーム間差分に基づいて動き度ｍを算出する。ステップｆ１２４では、動き度ｍを出力し、処理を終了する。
【００２３】
以上の処理は、最も計算コストの少ない方法を例示的に示したものである。なお、差分を算出する前に、複数のフレーム画像に対してあらかじめローパスフィルタ処理を行うことにより、動きが異なる領域の境界部における破綻をより少なくすることが可能である。また、動き度ｍとして動きベクトルを用いるよう構成しても良い。なお、動きベクトルの算出は、例えば特開２００９−３８６２０号公報に開示されているような方法を利用可能であるが、これに限定するものではない。
【００２４】
次に、高周波量制御部１０６および高周波成分加算部１０４について説明する。上述したように、当該２つのブロックにより、出力サブフレームｆＬｎ’（ｎ’＝１、...、５）に含まれる高周波成分をサブフレーム毎かつサブフレーム画像の内部の領域毎に制御する。
【００２５】
高周波量制御部１０６は、動き度ｍと高周波成分ｈに応じて低域通過画像ｆＬ３に加算する高周波成分ｈｐを算出する。以降では、ｈｐを加算高周波量と言う。高周波量制御部１０６の目的は、フレームレート変換処理部１００の出力サブフレームにおいて高周波成分の時間周波数がＣＦＦ未満である場合に発生するフリッカを抑制することである。そこで、第１実施形態では、高周波成分ｈの加算量を入力画像に応じて抑制する。具体的には、高周波成分がある各領域において動き度が小さく、かつ、その面積が大きい場合に加算高周波量ｈｐを抑制する。
【００２６】
図６は高周波量制御部の処理フローチャートであり、加算高周波成分の閾値判定を用いる場合の処理を示している。
【００２７】
ステップｆ１３１では、動き度ｍと高周波成分ｈとを入力する。ステップｆ１３２では、加算高周波成分をｈｍ＝ｍ×｜ｈ｜として算出する。ステップｆ１３３では、ｈｍ（ｍ）のｍ＝０からｍ＝ｍ１までの積分値と所定の閾値ｈｔｈとを比較する。積分値がｈｔｈ以上であればステップｆ１３５に進み、そうでなければステップｆ１３６に進む。
【００２８】
ステップｆ１３５では、補正加算高周波成分をｈｐ＝ｈｍ×ｒ（０≦ｒ＜１）として算出する。一方、ステップｆ１３６では、補正加算高周波成分をｈｐ＝ｈｍとして算出する。そして、ステップｆ１３７では、算出されたｈｐを出力し、処理が終了する。
【００２９】
高周波成分加算部１０４は、低周波フレーム画像ｆＬ３に対しては、高周波量制御部１０６から入力された高周波成分ｈｐを加算する。一方、残りの低周波フレーム画像ｆＬ１、ｆＬ２、ｆＬ４、ｆＬ５に対しては、高周波成分ｈｐの残成分（ｈ−ｈｐ）を加算する。
【００３０】
低周波フレーム画像ｆＬ１、ｆＬ２、ｆＬ４、ｆＬ５に対して均等に加算するしても良い。また、低周波フレーム画像ｆＬ１とｆＬ５とを均等に、ｆＬ２とｆＬ４とを、均等に加算してもよい。
【００３１】
図８（ａ）に示される動き度ｍ、図８（ｂ）に示される高周波成分ｈが入力される場合について、上述の処理を更に具体的に説明する。
【００３２】
ステップｆ１３２では、加算高周波成分ｈｍが算出される。
【００３３】
ステップｆ１３３では、加算高周波成分ｈｍの０からｍ１（ｍ１：任意の設定値）までの積分値が、所定の閾値ｈｔｈ以上であるか否かを判定する。ここで、図９（ａ）は加算高周波成分ｈｍの積分値が閾値ｈｔｈ以上である場合の図を示している。一方、図９（ｃ）は加算高周波成分ｈｍの積分値が閾値ｈｔｈ未満である場合の図を示している。
【００３４】
積分値が閾値ｈｔｈ以上である場合、ｈｐはステップｆ１３５において補正される。図９（ｂ）は、補正された加算高周波成分ｈｐの一例を示す図である。一方、積分値が閾値ｈｔｈ未満と判定される場合は、補正せず出力される。つまり、図９（ｃ）では、加算高周波成分ｈｍがそのままｈｐとして出力される。
【００３５】
上述の説明では、加算高周波成分ｈｍの補正の有無を、加算高周波成分ｈｍの積分値が閾値ｈｔｈ以上であるか否かに基づいて決定した。しかし、加算高周波成分ｈｍを所定の閾値関数と比較し補正するよう構成しても良い。
【００３６】
図７は高周波量制御部の処理フローチャートであり、加算高周波成分の閾値関数判定を用いる場合の処理を示している。なお、ステップｆ１３１、ｆ１３２においては前述と同じであるため省略する。
【００３７】
ステップｆ１３８では、ｒ＝ｍｉｎ｛ｈｔｈ（ｍ）／ｈｍ（ｍ）｝（ｈｔｈ（ｍ）：所定の閾値関数）としてｒを算出する。ステップｆ１３９では、補正加算周波数成分としてｈｐ＝ｈｍ×ｒを算出する。そして、ステップｆ１４０では、ｈｐを出力し、処理が終了される。
【００３８】
図８（ａ）に示される動き度ｍ、図８（ｂ）に示される高周波成分ｈが入力される場合について、上述の処理を更に具体的に説明する。
【００３９】
ステップｆ１３２によって加算高周波成分ｈｍが図１０（ａ）のように算出される。ステップｆ１３８においてｈｍ（ｍ）とｈｔｈ（ｍ）が図１０（ａ）のような関係である場合、補正されｈｐとして算出される。具体的には、ステップｆ１３９によってｈｐは図１０（ｂ）のようにｈｔｈ（ｍ）以下に補正される。つまり、閾値関数を用いて正規化することにより抑制制御を行う。
【００４０】
なお、ｈｍが常に閾値関数未満と判定される場合は、補正せず出力しても良い。その場合には、加算高周波成分ｈｍがそのままｈｐとして出力される。
【００４１】
図３は、フレームレート変換処理部の全体動作フローチャートである。
【００４２】
ステップｆ１０１では、フレームレート変換処理部１００が、注目フレーム画像ｆｉｎを含む複数のフレーム画像を入力する。ステップｆ１０２では、ＬＰＦ１０１が、注目フレーム画像ｆｉｎに対してローパスフィルタ処理を行い低周波フレーム画像ｆＬを生成する。ステップｆ１０３では、高周波成分抽出部１０３が、注目フレーム画像ｆｉｎと低周波フレーム画像ｆＬとの差分から高周波成分ｈを算出する。
【００４３】
ステップｆ１０４では、動き度算出部１０５が、注目フレーム画像ｆｉｎと該注目フレーム画像と隣接するフレーム画像との差分から、フレーム画像内の各領域における動き度ｍを算出する。ステップｆ１０５では、高周波量制御部１０６が、高周波成分ｈと動き度ｍの積から加算高周波成分ｈｍを算出する。ステップｆ１０６では、高周波量制御部１０６が、フリッカが発生しないようにｈｍの抑制処理を行い、ｈｐを算出する。
【００４４】
ステップｆ１０７では、高周波成分加算部１０４が、低周波フレーム画像ｆＬと同じ画像ｆＬｎ’（ｎ’＝１〜５）を生成する。ステップｆ１０８では、ｎ’＝３の場合はステップｆ１０９に、ｎ’≠３の場合はステップｆ１１０に進む。ステップｆ１０９では、ｆＬ３にｈ×ｍ（０≦ｍ≦１）を加算しｆｏｕｔ３を算出する。ステップｆ１１０では、ｆＬｎ’にｈ×（１−ｍ）／４を加算しｆｏｕｔｎ’を算出する。ステップｆ１１１では、ｆｏｕｔｎ’を出力し、処理が終了する。
【００４５】
＜効果＞
図５は、出力されるサブフレーム画像の概念図である。高周波量制御部１０６は、５個の低周波フレーム画像ｆＬ１〜ｆＬ５に分配し加算する高周波成分ｈｐをフレーム画像内の領域毎に決定する。そして、高周波成分加算部１０４は、決定された高周波成分ｈｐを５個の低周波フレーム画像の各々に加算し、出力フレームｆｏｕｔとして出力する。
【００４６】
図５（ａ）は、動き度ｍが大きい領域に対する高周波成分ｈｐの分配を例示的に示したものである。図示されるように、高周波成分ｈｐは１つのサブフレーム画像ｆＬ３に集中するように制御される。一方、図５（ｂ）は、動き度ｍが小さい領域に対する高周波成分ｈｐの分配を例示的に示したものである。図示されるように、高周波成分ｈｐは５つのサブフレーム画像ｆＬ１〜ｆＬ５に均等に分散するように制御される。なお、ここでは、動き度ｍが大きい領域に対しては１つのサブフレーム画像に集中して加算し、動き度ｍが小さい領域に対しては全サブフレーム画像に均等に分散して加算するよう説明した。しかし、動き度ｍが大きいほど少数のサブフレーム画像に集中させて加算するようにすればよい。
【００４７】
図１１および図１２は、上述のように生成されたサブフレーム画像を表示した際の効果を例示的に説明する図である。
【００４８】
図１１は、高周波成分を抑制・強調した場合の図を示しており、動き度が大きい領域に対応している。図１１（ａ）は、画像のエッジ部分の輝度を示している。ここで、Ｓ１は、高周波成分ｈｐが加算されたサブフレーム画像ｆＬ３に対応する輝度を示し、Ｓ２は残りのサブフレーム画像に対応する輝度を示している。
【００４９】
一方、図１１（ｂ）は、画像の位置−輝度を時間順に沿って縦方向に並べた図である。ここでは、２つのフレーム画像に対して１０個のサブフレーム画像を出力した例を示している。２４ｆｐｓの入力信号に対し５倍のフレームレートである１２０ｆｐｓの出力信号を生成する場合、図に示されるように高周波成分がｆｐｓＩｎ＝２４ｆｐｓで変化することになる。しかし、動き度ｍの大きい領域（動領域）の高周波成分のフリッカは認識されにくい特性があるため、フリッカは検知されない。そのため、動領域において見た目のエッジ波形が維持されるとともに、ジャダーも抑制されることが分かる。
【００５０】
図１２は、高周波成分を抑制・強調しない場合の図を示しており、動き度が小さい領域に対応している。図１２（ａ）は、画像のエッジ部分の輝度を示している。ここで、Ｓ１は、高周波成分ｈｐが加算されたサブフレーム画像ｆＬ３に対応する輝度を示し、Ｓ２は残りのサブフレーム画像に対応する輝度を示しているが、Ｓ１＝Ｓ２となっている。そのため、高周波成分のフリッカは発生しない。
【００５１】
一方、図１２（ｂ）は、画像の位置−輝度を時間順に沿って縦方向に並べた図である。ただし、動き度が小さい領域であるため、繰返し表示した場合であってもジャダーがもともと問題にならない。
【００５２】
以上説明したとおり、第１実施形態によれば、フレームレート変換処理部１００は、フリッカの発生を抑制しつつエッジ波形の再現を可能とするサブフレーム画像を生成することが出来る。
【００５３】
なお、ここでは、入力フレームレートを５倍にする例を用いて説明したが、フレーム周波数変換部１０２の変換倍率を２，３，４、ｎ倍とし、高周波成分加算部１０４の加算方法を２，３，４、ｎ周期に変更するよう構成しても良い。特に２４ｆｐｓ入力の場合、４８、７２、９６ｆｐｓ出力が考えられる。
【００５４】
（第２実施形態）
第２実施形態では、第１実施形態で説明した制御に加え、入力したフレーム画像の絶対輝度および順応輝度から領域毎に加算する高周波量を制御する例について説明する。
【００５５】
図１３は、第２実施形態に係るフレームレート変換処理部１００のブロック図である。なお、ＬＰＦ１０１、高周波成分抽出部１０３、フレーム周波数変換部１０２、高周波成分加算部１０４、動き度算出部１０５、高周波量制御部１０６は第１実施形態と同様であるため説明を省略する。
【００５６】
輝度算出部２０１は、入力したフレーム画像ｆｉｎ［ｎ］（ｎ：入力フレーム番号）の絶対輝度ｌｉｎ［ｎ］を算出する。フレーム画像ｆｉｎ［ｎ］がＲＧＢでの画素値で表現される場合、ｌｉｎ［ｎ］＝ｉ×Ｒ＋ｊ×Ｇ＋ｋ×Ｂとするとよい。また、ＲＧＢのうちＧのみを選択し、ｌｉｎ［ｎ］＝Ｇとしてもよい。また、追加処理としてブロック内前処理にｆｉｎ［ｎ］にローパスフィルタ処理を行って領域境界の制御値変動をゆるやかにしてもよい。
順応輝度算出部２０２は、加算高周波ｈｐを制御するための輝度を、ディスプレイの視聴者の視認輝度に補正する。ジャダーやフリッカ検知の程度は視認輝度によって変化するため、視認輝度に合わせて高周波成分を領域毎に制御することにより、より精度の高いフリッカ抑制制御をすることが出来る。
【００５７】
図１５は、順応輝度算出部の処理フローチャートである。なお、ここでは、１つ前のフレーム画像における補正輝度（前補正輝度）を用いた処理を示しているが、代わりに先行する１以上のフレーム画像におけるフレーム画像輝度を用いた処理としてもよい。
【００５８】
ステップｆ２１１では、入力画像ｆｉｎ［ｎ］の輝度ｌｉｎ［ｎ］と、１つ前のフレームの補正輝度ｌａ［ｎ−１］を入力する。ステップｆ２１２では、補正輝度をｌａ［ｎ］＝ａ×ｌａ［ｎ−１］＋（１−ａ）×ｌｉｎ［ｎ］として算出する。ここで、ａは０≦ａ≦１を満たす数である。ステップｆ２１３では、補正輝度ｌａ［ｎ］を出力して、処理が終了する。
【００５９】
図１４は、第２実施形態に係るフレームレート変換処理部の動作フローチャートである。ステップｆ１０１〜ｆ１０４、ｆ１０６〜ｆ１１１は第１実施形態と同様であるため説明を省略する。
【００６０】
ステップｆ１０１〜ｆ１０６の処理が行われた後、ステップｆ２０１では、入力画像ｆｉｎの輝度ｌｉｎ［ｎ］を算出する。ステップｆ２０２では、ｌｉｎ［ｎ］から順応輝度ｌａを算出する。ステップｆ２０３では、高周波量制御部１０６は、動き度ｍと順応輝度ｌａとｈとの積から加算高周波成分ｈｍを算出する。引き続いて、ステップｆ１０６〜ｆ１１１を実行し処理を終了する。
【００６１】
以上説明したとおり、第２実施形態によれば、ユーザの視認輝度を考慮した順応輝度を用いることにより、より好適な映像出力が得られる。
【００６２】
（第３実施形態）
第３実施形態では、加算する高周波成分の時間方向の輝度変化の制御、および、加算した高周波成分の輝度値が表示レンジを超えた場合に加算量の制限について説明する。
【００６３】
図１６は、第３実施形態に係るフレームレート変換処理部１００のブロック図である。図２に対し、時間変化抑制部３０１と飽和検出加算部３０２が追加されている。
【００６４】
時間変化抑制部３０１は、隣接するフレーム画像に対する加算高周波量と現フレーム画像（注目フレーム画像）とにおける加算高周波量の輝度の変化量を所定の範囲内に抑える。それにより、高周波成分が時間的に急激に変化した際のフリッカの発生を抑制することが出来る。
【００６５】
また、飽和検出加算部３０２は、高周波成分が加算されたサブフレームの輝度値が、ディスプレイシステムの表示レンジ以上もしくは以下で飽和した場合に、他のサブフレームに飽和分の値を分散して加算する。これにより、高周波成分の輝度クリッピングを抑制することが出来、解像度の低下を抑制することが可能となる。
【００６６】
（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【技術分野】
【０００１】
本発明は、動画像のフレームレートを変換する技術に関するものである。
【背景技術】
【０００２】
ＣＦＦ（critical fusion frequency）未満のフレームレート（以下、低フレームレートと呼ぶ）で撮影された動画（例えば、２４ｆｐｓや３０ｆｐｓの動画）をそのまま表示する場合、視聴者によりちらつき（フリッカ）が認識される。そこで、フリッカを抑制するため、表示装置において各フレームを複数回繰り返して表示する方法が行われている。しかし、この手法ではコマの繰り返し表示に起因して映像の動きがガタガタして見える現象（ジャダー）が発生する。そこで、例えば特許文献１では、動き領域におけるエッジ波形を再現することによりジャダーを低減する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−１８９２６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、空間的高周波成分の強調・抑制をＣＦＦ未満のフレームレートの動画に対し、上述のエッジ波形の再現処理を適用した場合、空間的高周波成分がフリッカして知覚されるという問題が発生する。
【０００５】
本発明は、上述の問題点に鑑みなされたものであり、動画表示の際の空間的高周波成分のフリッカを抑制しつつエッジ波形の再現を可能とする技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の画像処理装置は以下の構成を備える。すなわち、動画像を構成する各フレーム画像からＭ個のサブフレーム画像を生成することによりフレームレート変換を行なう画像処理装置において、注目フレーム画像と該注目フレーム画像に対し先行するまたは後続するフレーム画像との差分に基づいて、前記注目フレーム画像の各領域について画像の変化の程度を示す変化指標を導出する導出手段と、前記注目フレーム画像にローパスフィルタ処理を施し低周波フレーム画像を生成する低周波フレーム画像生成手段と、前記注目フレーム画像と前記低周波フレーム画像との差分により高周波フレーム画像を生成する高周波フレーム画像生成手段と、前記導出手段により導出された前記注目フレーム画像の各領域の変化指標に応じた重みで、前記高周波フレーム画像に含まれる画像成分をＭ個の前記低周波フレーム画像に分配し加算することにより前記Ｍ個のサブフレーム画像を生成する生成手段と、を備える。
【発明の効果】
【０００７】
本発明によれば、動画表示の際の空間的高周波成分のフリッカの発生を抑制しつつエッジ波形の再現を可能とする技術を提供することができる。
【図面の簡単な説明】
【０００８】
【図１】ディスプレイシステムにおける補正処理部のブロック図である。
【図２】第１実施形態に係るフレームレート変換処理部のブロック図である。
【図３】第１実施形態に係るフレームレート変換処理部の全体動作フローチャートである。
【図４】動き度算出部の動作フローチャートである。
【図５】出力サブフレームを説明する概念図である。
【図６】制御閾値に基づいて加算高周波成分を補正するフローチャートである。
【図７】制御閾値関数に基づいて加算高周波成分を補正するフローチャートである。
【図８】動き度ｍおよび高周波成分ｈを説明する図である。
【図９】高周波制御部の制御閾値を説明する図である。
【図１０】高周波制御部の制御閾値関数を説明する図である。
【図１１】高周波成分を抑制・強調した領域の出力を示す図である。
【図１２】高周波成分を抑制・強調しない領域の出力を示す図である。
【図１３】第２実施形態に係るフレームレート変換処理部のブロック図である。
【図１４】第２実施形態に係るフレームレート変換処理部の動作フローチャートである。
【図１５】順応輝度算出部の動作フローチャートである。
【図１６】第３実施形態に係るフレームレート変換処理部のブロック図である。
【発明を実施するための形態】
【０００９】
以下に、図面を参照して、この発明の好適な実施の形態を詳しく説明する。なお、以下の実施の形態はあくまで例示であり、本発明の範囲を限定する趣旨のものではない。
【００１０】
（第１実施形態）
本発明に係る画像処理装置の第１実施形態として、ディスプレイシステムにおける補正回路内のフレームレート変換処理部を例に挙げて以下に説明する。特に、第１実施形態では、出力サブフレームの領域毎の高周波成分の分配量を制御するにあたり、動画像に含まれるフレーム画像の動きとエッジコントラストに基づいて制御する方法について説明する。
【００１１】
＜装置構成＞
図１は、第１実施形態に係るディスプレイシステムにおける補正回路の内部ブロック図である。補正回路１０００には、例えばセレクタを介して、外部の画像出力装置から所定のフレームレートの動画像が入力される。以下の説明では２４ｐ（２４フレーム／秒のプログレッシブ画像）の動画像に対して処理する場合について述べるが、他のフレームレートの動画像であっても同様に適用可能である。
【００１２】
なお、補正回路１０００は、後述するフレームレート変換処理部１００の他にも、各所の画像処理部を含み得る。例えば、ノイズリダクション、フィルムソース検出、インタレース／プログレッシブ（Ｉ／Ｐ）変換、解像度変換の他、各種の色補正処理を含み得る。例えば、フィルムソース検出処理部としては、特開２００９−００８７３３号公報に開示される技術を適用し得る。
【００１３】
フレームレート変換処理部１００は、ｎ枚のフレーム画像に対してｎ’（＞ｎ）枚（請求項ではＭ個）のサブフレーム画像を生成して出力する処理部である。以下の説明では、２４ｐの動画像に含まれる各フレーム画像に対して５枚のサブフレーム画像を生成する（つまり、ｎ＝１、ｎ’＝５）の場合について説明する。ただし、既存の２−３プルダウン（２４ｆｐｓから６０ｆｐｓへの変換）のようなフレームレート変換と組み合わせることにより（ｎ＝２、ｎ’＝５）あるいは（ｎ＝２、ｎ’＝１０）のように構成してもよい。
【００１４】
図２は、第１実施形態のフレームレート変換処理部のブロック図である。ローパスフィルタ（ＬＰＦ）１０１（低周波フレーム画像生成手段）は、動画像に含まれる各フレーム画像ｆｉｎに対しローパスフィルタ処理を行い低周波フレーム画像を生成する処理部である。具体的には、ＬＰＦ１０１は、入力フレーム画像ｆｉｎに対して、ガウシアンフィルターや平均値フィルターなど、入力画像よりも空間周波数分布が低くなる処理を行い、低周波フレーム画像ｆＬの信号を出力する。
【００１５】
高周波成分抽出部１０３（高周波フレーム画像生成手段）は、入力したフレーム画像ｆｉｎと低周波フレーム画像ｆＬとに基づいて高周波成分（高周波フレーム画像）ｈを算出し出力する。具体的な算出方法としては、以下の式で示されるように、低周波フレーム画像と入力したフレーム画像との差分を用いることが出来る。
【００１６】
ｈ＝ａｂｓ（ｆｉｎ−ｆＬ）
なお、以下の式で示されるように、入力したフレーム画像に対しエッジ強調を行った画像と当該入力したフレーム画像との差分を用いて高周波成分ｈを算出しても良い。
【００１７】
ｈ＝ａｂｓ（ｓｈａｒｐｅｎ（ｆｉｎ）−ｆｉｎ）
ここで、ａｂｓ（）は絶対値関数、ｓｈａｒｐｅｎ（）はエッジ強調処理関数をそれぞれ示している。
【００１８】
フレーム周波数変換部１０２は、１個の低周波フレーム画像ｆＬを複製することにより、５個の低周波フレーム画像ｆＬｎ’（ｎ’＝１、...、５）を生成する。なお、５個の低周波フレーム画像は、最終的に出力される５個のサブフレーム画像のベース画像に相当する。
【００１９】
動き度算出部１０５（導出手段）は、フレーム画像ｆｉｎと該注目フレーム画像に隣接（先行または後続）するフレーム画像とに基づいて、ｆｉｎの内部の各領域における動き度（変化指標）ｍとして導出する。動き度ｍはフレーム画像の内部の各領域の変化を多段階、例えば０〜２５５（８ｂｉｔ）や０〜４０９５（１２ｂｉｔ）で表す行列である。なお、動き度の算出の詳細については後述する。
【００２０】
高周波量制御部１０６は、動き度（変化指標）ｍを用いて、高周波フレーム画像に含まれる画像成分の５個の低周波フレーム画像への分配の重みをフレーム画像の領域毎に決定する。高周波成分加算部１０４は、高周波量制御部１０６によって決定された分配の重みに基づいて、５個の低周波フレーム画像に対し高周波フレーム画像に含まれる画像成分をフレーム画像の領域毎に分配して加算する。そして、高周波フレーム画像の画像成分が加算された５個の低周波フレーム画像を出力フレームｆｏｕｔとして出力する。
【００２１】
＜装置の動作＞
動き度算出部１０５の動作について説明する。図４は、動き度算出部における動き度ｍを推定し算出する動作フローチャートである。
【００２２】
ステップｆ１２１では、注目フレーム画像ｆｉｎを含む、連続する複数のフレーム画像を入力する。ステップｆ１２２では、入力した複数のフレーム画像について、隣接するフレーム間の差分を算出する。ステップｆ１２３では、算出されたフレーム間差分に基づいて動き度ｍを算出する。ステップｆ１２４では、動き度ｍを出力し、処理を終了する。
【００２３】
以上の処理は、最も計算コストの少ない方法を例示的に示したものである。なお、差分を算出する前に、複数のフレーム画像に対してあらかじめローパスフィルタ処理を行うことにより、動きが異なる領域の境界部における破綻をより少なくすることが可能である。また、動き度ｍとして動きベクトルを用いるよう構成しても良い。なお、動きベクトルの算出は、例えば特開２００９−３８６２０号公報に開示されているような方法を利用可能であるが、これに限定するものではない。
【００２４】
次に、高周波量制御部１０６および高周波成分加算部１０４について説明する。上述したように、当該２つのブロックにより、出力サブフレームｆＬｎ’（ｎ’＝１、...、５）に含まれる高周波成分をサブフレーム毎かつサブフレーム画像の内部の領域毎に制御する。
【００２５】
高周波量制御部１０６は、動き度ｍと高周波成分ｈに応じて低域通過画像ｆＬ３に加算する高周波成分ｈｐを算出する。以降では、ｈｐを加算高周波量と言う。高周波量制御部１０６の目的は、フレームレート変換処理部１００の出力サブフレームにおいて高周波成分の時間周波数がＣＦＦ未満である場合に発生するフリッカを抑制することである。そこで、第１実施形態では、高周波成分ｈの加算量を入力画像に応じて抑制する。具体的には、高周波成分がある各領域において動き度が小さく、かつ、その面積が大きい場合に加算高周波量ｈｐを抑制する。
【００２６】
図６は高周波量制御部の処理フローチャートであり、加算高周波成分の閾値判定を用いる場合の処理を示している。
【００２７】
ステップｆ１３１では、動き度ｍと高周波成分ｈとを入力する。ステップｆ１３２では、加算高周波成分をｈｍ＝ｍ×｜ｈ｜として算出する。ステップｆ１３３では、ｈｍ（ｍ）のｍ＝０からｍ＝ｍ１までの積分値と所定の閾値ｈｔｈとを比較する。積分値がｈｔｈ以上であればステップｆ１３５に進み、そうでなければステップｆ１３６に進む。
【００２８】
ステップｆ１３５では、補正加算高周波成分をｈｐ＝ｈｍ×ｒ（０≦ｒ＜１）として算出する。一方、ステップｆ１３６では、補正加算高周波成分をｈｐ＝ｈｍとして算出する。そして、ステップｆ１３７では、算出されたｈｐを出力し、処理が終了する。
【００２９】
高周波成分加算部１０４は、低周波フレーム画像ｆＬ３に対しては、高周波量制御部１０６から入力された高周波成分ｈｐを加算する。一方、残りの低周波フレーム画像ｆＬ１、ｆＬ２、ｆＬ４、ｆＬ５に対しては、高周波成分ｈｐの残成分（ｈ−ｈｐ）を加算する。
【００３０】
低周波フレーム画像ｆＬ１、ｆＬ２、ｆＬ４、ｆＬ５に対して均等に加算するしても良い。また、低周波フレーム画像ｆＬ１とｆＬ５とを均等に、ｆＬ２とｆＬ４とを、均等に加算してもよい。
【００３１】
図８（ａ）に示される動き度ｍ、図８（ｂ）に示される高周波成分ｈが入力される場合について、上述の処理を更に具体的に説明する。
【００３２】
ステップｆ１３２では、加算高周波成分ｈｍが算出される。
【００３３】
ステップｆ１３３では、加算高周波成分ｈｍの０からｍ１（ｍ１：任意の設定値）までの積分値が、所定の閾値ｈｔｈ以上であるか否かを判定する。ここで、図９（ａ）は加算高周波成分ｈｍの積分値が閾値ｈｔｈ以上である場合の図を示している。一方、図９（ｃ）は加算高周波成分ｈｍの積分値が閾値ｈｔｈ未満である場合の図を示している。
【００３４】
積分値が閾値ｈｔｈ以上である場合、ｈｐはステップｆ１３５において補正される。図９（ｂ）は、補正された加算高周波成分ｈｐの一例を示す図である。一方、積分値が閾値ｈｔｈ未満と判定される場合は、補正せず出力される。つまり、図９（ｃ）では、加算高周波成分ｈｍがそのままｈｐとして出力される。
【００３５】
上述の説明では、加算高周波成分ｈｍの補正の有無を、加算高周波成分ｈｍの積分値が閾値ｈｔｈ以上であるか否かに基づいて決定した。しかし、加算高周波成分ｈｍを所定の閾値関数と比較し補正するよう構成しても良い。
【００３６】
図７は高周波量制御部の処理フローチャートであり、加算高周波成分の閾値関数判定を用いる場合の処理を示している。なお、ステップｆ１３１、ｆ１３２においては前述と同じであるため省略する。
【００３７】
ステップｆ１３８では、ｒ＝ｍｉｎ｛ｈｔｈ（ｍ）／ｈｍ（ｍ）｝（ｈｔｈ（ｍ）：所定の閾値関数）としてｒを算出する。ステップｆ１３９では、補正加算周波数成分としてｈｐ＝ｈｍ×ｒを算出する。そして、ステップｆ１４０では、ｈｐを出力し、処理が終了される。
【００３８】
図８（ａ）に示される動き度ｍ、図８（ｂ）に示される高周波成分ｈが入力される場合について、上述の処理を更に具体的に説明する。
【００３９】
ステップｆ１３２によって加算高周波成分ｈｍが図１０（ａ）のように算出される。ステップｆ１３８においてｈｍ（ｍ）とｈｔｈ（ｍ）が図１０（ａ）のような関係である場合、補正されｈｐとして算出される。具体的には、ステップｆ１３９によってｈｐは図１０（ｂ）のようにｈｔｈ（ｍ）以下に補正される。つまり、閾値関数を用いて正規化することにより抑制制御を行う。
【００４０】
なお、ｈｍが常に閾値関数未満と判定される場合は、補正せず出力しても良い。その場合には、加算高周波成分ｈｍがそのままｈｐとして出力される。
【００４１】
図３は、フレームレート変換処理部の全体動作フローチャートである。
【００４２】
ステップｆ１０１では、フレームレート変換処理部１００が、注目フレーム画像ｆｉｎを含む複数のフレーム画像を入力する。ステップｆ１０２では、ＬＰＦ１０１が、注目フレーム画像ｆｉｎに対してローパスフィルタ処理を行い低周波フレーム画像ｆＬを生成する。ステップｆ１０３では、高周波成分抽出部１０３が、注目フレーム画像ｆｉｎと低周波フレーム画像ｆＬとの差分から高周波成分ｈを算出する。
【００４３】
ステップｆ１０４では、動き度算出部１０５が、注目フレーム画像ｆｉｎと該注目フレーム画像と隣接するフレーム画像との差分から、フレーム画像内の各領域における動き度ｍを算出する。ステップｆ１０５では、高周波量制御部１０６が、高周波成分ｈと動き度ｍの積から加算高周波成分ｈｍを算出する。ステップｆ１０６では、高周波量制御部１０６が、フリッカが発生しないようにｈｍの抑制処理を行い、ｈｐを算出する。
【００４４】
ステップｆ１０７では、高周波成分加算部１０４が、低周波フレーム画像ｆＬと同じ画像ｆＬｎ’（ｎ’＝１〜５）を生成する。ステップｆ１０８では、ｎ’＝３の場合はステップｆ１０９に、ｎ’≠３の場合はステップｆ１１０に進む。ステップｆ１０９では、ｆＬ３にｈ×ｍ（０≦ｍ≦１）を加算しｆｏｕｔ３を算出する。ステップｆ１１０では、ｆＬｎ’にｈ×（１−ｍ）／４を加算しｆｏｕｔｎ’を算出する。ステップｆ１１１では、ｆｏｕｔｎ’を出力し、処理が終了する。
【００４５】
＜効果＞
図５は、出力されるサブフレーム画像の概念図である。高周波量制御部１０６は、５個の低周波フレーム画像ｆＬ１〜ｆＬ５に分配し加算する高周波成分ｈｐをフレーム画像内の領域毎に決定する。そして、高周波成分加算部１０４は、決定された高周波成分ｈｐを５個の低周波フレーム画像の各々に加算し、出力フレームｆｏｕｔとして出力する。
【００４６】
図５（ａ）は、動き度ｍが大きい領域に対する高周波成分ｈｐの分配を例示的に示したものである。図示されるように、高周波成分ｈｐは１つのサブフレーム画像ｆＬ３に集中するように制御される。一方、図５（ｂ）は、動き度ｍが小さい領域に対する高周波成分ｈｐの分配を例示的に示したものである。図示されるように、高周波成分ｈｐは５つのサブフレーム画像ｆＬ１〜ｆＬ５に均等に分散するように制御される。なお、ここでは、動き度ｍが大きい領域に対しては１つのサブフレーム画像に集中して加算し、動き度ｍが小さい領域に対しては全サブフレーム画像に均等に分散して加算するよう説明した。しかし、動き度ｍが大きいほど少数のサブフレーム画像に集中させて加算するようにすればよい。
【００４７】
図１１および図１２は、上述のように生成されたサブフレーム画像を表示した際の効果を例示的に説明する図である。
【００４８】
図１１は、高周波成分を抑制・強調した場合の図を示しており、動き度が大きい領域に対応している。図１１（ａ）は、画像のエッジ部分の輝度を示している。ここで、Ｓ１は、高周波成分ｈｐが加算されたサブフレーム画像ｆＬ３に対応する輝度を示し、Ｓ２は残りのサブフレーム画像に対応する輝度を示している。
【００４９】
一方、図１１（ｂ）は、画像の位置−輝度を時間順に沿って縦方向に並べた図である。ここでは、２つのフレーム画像に対して１０個のサブフレーム画像を出力した例を示している。２４ｆｐｓの入力信号に対し５倍のフレームレートである１２０ｆｐｓの出力信号を生成する場合、図に示されるように高周波成分がｆｐｓＩｎ＝２４ｆｐｓで変化することになる。しかし、動き度ｍの大きい領域（動領域）の高周波成分のフリッカは認識されにくい特性があるため、フリッカは検知されない。そのため、動領域において見た目のエッジ波形が維持されるとともに、ジャダーも抑制されることが分かる。
【００５０】
図１２は、高周波成分を抑制・強調しない場合の図を示しており、動き度が小さい領域に対応している。図１２（ａ）は、画像のエッジ部分の輝度を示している。ここで、Ｓ１は、高周波成分ｈｐが加算されたサブフレーム画像ｆＬ３に対応する輝度を示し、Ｓ２は残りのサブフレーム画像に対応する輝度を示しているが、Ｓ１＝Ｓ２となっている。そのため、高周波成分のフリッカは発生しない。
【００５１】
一方、図１２（ｂ）は、画像の位置−輝度を時間順に沿って縦方向に並べた図である。ただし、動き度が小さい領域であるため、繰返し表示した場合であってもジャダーがもともと問題にならない。
【００５２】
以上説明したとおり、第１実施形態によれば、フレームレート変換処理部１００は、フリッカの発生を抑制しつつエッジ波形の再現を可能とするサブフレーム画像を生成することが出来る。
【００５３】
なお、ここでは、入力フレームレートを５倍にする例を用いて説明したが、フレーム周波数変換部１０２の変換倍率を２，３，４、ｎ倍とし、高周波成分加算部１０４の加算方法を２，３，４、ｎ周期に変更するよう構成しても良い。特に２４ｆｐｓ入力の場合、４８、７２、９６ｆｐｓ出力が考えられる。
【００５４】
（第２実施形態）
第２実施形態では、第１実施形態で説明した制御に加え、入力したフレーム画像の絶対輝度および順応輝度から領域毎に加算する高周波量を制御する例について説明する。
【００５５】
図１３は、第２実施形態に係るフレームレート変換処理部１００のブロック図である。なお、ＬＰＦ１０１、高周波成分抽出部１０３、フレーム周波数変換部１０２、高周波成分加算部１０４、動き度算出部１０５、高周波量制御部１０６は第１実施形態と同様であるため説明を省略する。
【００５６】
輝度算出部２０１は、入力したフレーム画像ｆｉｎ［ｎ］（ｎ：入力フレーム番号）の絶対輝度ｌｉｎ［ｎ］を算出する。フレーム画像ｆｉｎ［ｎ］がＲＧＢでの画素値で表現される場合、ｌｉｎ［ｎ］＝ｉ×Ｒ＋ｊ×Ｇ＋ｋ×Ｂとするとよい。また、ＲＧＢのうちＧのみを選択し、ｌｉｎ［ｎ］＝Ｇとしてもよい。また、追加処理としてブロック内前処理にｆｉｎ［ｎ］にローパスフィルタ処理を行って領域境界の制御値変動をゆるやかにしてもよい。
順応輝度算出部２０２は、加算高周波ｈｐを制御するための輝度を、ディスプレイの視聴者の視認輝度に補正する。ジャダーやフリッカ検知の程度は視認輝度によって変化するため、視認輝度に合わせて高周波成分を領域毎に制御することにより、より精度の高いフリッカ抑制制御をすることが出来る。
【００５７】
図１５は、順応輝度算出部の処理フローチャートである。なお、ここでは、１つ前のフレーム画像における補正輝度（前補正輝度）を用いた処理を示しているが、代わりに先行する１以上のフレーム画像におけるフレーム画像輝度を用いた処理としてもよい。
【００５８】
ステップｆ２１１では、入力画像ｆｉｎ［ｎ］の輝度ｌｉｎ［ｎ］と、１つ前のフレームの補正輝度ｌａ［ｎ−１］を入力する。ステップｆ２１２では、補正輝度をｌａ［ｎ］＝ａ×ｌａ［ｎ−１］＋（１−ａ）×ｌｉｎ［ｎ］として算出する。ここで、ａは０≦ａ≦１を満たす数である。ステップｆ２１３では、補正輝度ｌａ［ｎ］を出力して、処理が終了する。
【００５９】
図１４は、第２実施形態に係るフレームレート変換処理部の動作フローチャートである。ステップｆ１０１〜ｆ１０４、ｆ１０６〜ｆ１１１は第１実施形態と同様であるため説明を省略する。
【００６０】
ステップｆ１０１〜ｆ１０６の処理が行われた後、ステップｆ２０１では、入力画像ｆｉｎの輝度ｌｉｎ［ｎ］を算出する。ステップｆ２０２では、ｌｉｎ［ｎ］から順応輝度ｌａを算出する。ステップｆ２０３では、高周波量制御部１０６は、動き度ｍと順応輝度ｌａとｈとの積から加算高周波成分ｈｍを算出する。引き続いて、ステップｆ１０６〜ｆ１１１を実行し処理を終了する。
【００６１】
以上説明したとおり、第２実施形態によれば、ユーザの視認輝度を考慮した順応輝度を用いることにより、より好適な映像出力が得られる。
【００６２】
（第３実施形態）
第３実施形態では、加算する高周波成分の時間方向の輝度変化の制御、および、加算した高周波成分の輝度値が表示レンジを超えた場合に加算量の制限について説明する。
【００６３】
図１６は、第３実施形態に係るフレームレート変換処理部１００のブロック図である。図２に対し、時間変化抑制部３０１と飽和検出加算部３０２が追加されている。
【００６４】
時間変化抑制部３０１は、隣接するフレーム画像に対する加算高周波量と現フレーム画像（注目フレーム画像）とにおける加算高周波量の輝度の変化量を所定の範囲内に抑える。それにより、高周波成分が時間的に急激に変化した際のフリッカの発生を抑制することが出来る。
【００６５】
また、飽和検出加算部３０２は、高周波成分が加算されたサブフレームの輝度値が、ディスプレイシステムの表示レンジ以上もしくは以下で飽和した場合に、他のサブフレームに飽和分の値を分散して加算する。これにより、高周波成分の輝度クリッピングを抑制することが出来、解像度の低下を抑制することが可能となる。
【００６６】
（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【特許請求の範囲】
【請求項１】
動画像を構成する各フレーム画像からＭ個のサブフレーム画像を生成することによりフレームレート変換を行なう画像処理装置であって、
注目フレーム画像と該注目フレーム画像に対し先行するまたは後続するフレーム画像との差分に基づいて、前記注目フレーム画像の各領域について画像の変化の程度を示す変化指標を導出する導出手段と、
前記注目フレーム画像にローパスフィルタ処理を施し低周波フレーム画像を生成する低周波フレーム画像生成手段と、
前記注目フレーム画像と前記低周波フレーム画像との差分により高周波フレーム画像を生成する高周波フレーム画像生成手段と、
前記導出手段により導出された前記注目フレーム画像の各領域の変化指標に応じた重みで、前記高周波フレーム画像に含まれる画像成分をＭ個の前記低周波フレーム画像に分配し加算することにより前記Ｍ個のサブフレーム画像を生成する生成手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記生成手段は、前記高周波フレーム画像の画像成分を１個の低周波フレーム画像に加算し、残りのＭ−１個の低周波フレーム画像には加算しないことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記変化指標は動きベクトルであり、前記生成手段は、前記高周波フレーム画像に含まれる画像成分をＭ個の前記低周波フレーム画像に分配し加算する際に、動きベクトルが大きいほど少数の低周波フレーム画像に集中させて加算することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記変化指標は順応輝度であり、前記生成手段は、前記高周波フレーム画像に含まれる画像成分をＭ個の前記低周波フレーム画像に分配し加算する際に、順応輝度が大きいほど少数の低周波フレーム画像に集中させて加算することを特徴とする請求項１または２に記載の画像処理装置。
【請求項５】
前記生成手段は、所定の輝度値を超える画素を有するサブフレーム画像が生成されないように、前記高周波フレーム画像に含まれる画像成分のＭ個の前記低周波フレーム画像への加算量を制御する制御手段を有することを特徴とする請求項１乃至４の何れか一項に記載の画像処理装置。
【請求項６】
前記制御手段は、さらに、前記動画像に含まれる各フレーム画像に対して生成される複数のサブフレーム画像における輝度変化が所定の範囲内に収まるように、前記高周波フレーム画像に含まれる画像成分のＭ個の前記低周波フレーム画像への加算量を制御することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
動画像を構成する各フレーム画像からＭ個のサブフレーム画像を生成することによりフレームレート変換を行なう画像処理装置の制御方法であって、
注目フレーム画像と該注目フレーム画像に対し先行するまたは後続するフレーム画像との差分に基づいて、前記注目フレーム画像の各領域について画像の変化の程度を示す変化指標を導出する導出工程と、
前記注目フレーム画像にローパスフィルタ処理を施し低周波フレーム画像を生成する低周波フレーム画像生成工程と、
前記注目フレーム画像と前記低周波フレーム画像との差分により高周波フレーム画像を生成する高周波フレーム画像生成工程と、
前記導出手段により導出された前記注目フレーム画像の各領域の変化指標に応じた重みで、前記高周波フレーム画像に含まれる画像成分をＭ個の前記低周波フレーム画像に分配し加算することにより前記Ｍ個のサブフレーム画像を生成する生成工程と、
を備えることを特徴とする画像処理装置の制御方法。
【請求項８】
コンピュータを請求項１乃至６の何れか一項に記載の画像処理装置の各手段として動作させるためのプログラム。
【請求項１】
動画像を構成する各フレーム画像からＭ個のサブフレーム画像を生成することによりフレームレート変換を行なう画像処理装置であって、
注目フレーム画像と該注目フレーム画像に対し先行するまたは後続するフレーム画像との差分に基づいて、前記注目フレーム画像の各領域について画像の変化の程度を示す変化指標を導出する導出手段と、
前記注目フレーム画像にローパスフィルタ処理を施し低周波フレーム画像を生成する低周波フレーム画像生成手段と、
前記注目フレーム画像と前記低周波フレーム画像との差分により高周波フレーム画像を生成する高周波フレーム画像生成手段と、
前記導出手段により導出された前記注目フレーム画像の各領域の変化指標に応じた重みで、前記高周波フレーム画像に含まれる画像成分をＭ個の前記低周波フレーム画像に分配し加算することにより前記Ｍ個のサブフレーム画像を生成する生成手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記生成手段は、前記高周波フレーム画像の画像成分を１個の低周波フレーム画像に加算し、残りのＭ−１個の低周波フレーム画像には加算しないことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記変化指標は動きベクトルであり、前記生成手段は、前記高周波フレーム画像に含まれる画像成分をＭ個の前記低周波フレーム画像に分配し加算する際に、動きベクトルが大きいほど少数の低周波フレーム画像に集中させて加算することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記変化指標は順応輝度であり、前記生成手段は、前記高周波フレーム画像に含まれる画像成分をＭ個の前記低周波フレーム画像に分配し加算する際に、順応輝度が大きいほど少数の低周波フレーム画像に集中させて加算することを特徴とする請求項１または２に記載の画像処理装置。
【請求項５】
前記生成手段は、所定の輝度値を超える画素を有するサブフレーム画像が生成されないように、前記高周波フレーム画像に含まれる画像成分のＭ個の前記低周波フレーム画像への加算量を制御する制御手段を有することを特徴とする請求項１乃至４の何れか一項に記載の画像処理装置。
【請求項６】
前記制御手段は、さらに、前記動画像に含まれる各フレーム画像に対して生成される複数のサブフレーム画像における輝度変化が所定の範囲内に収まるように、前記高周波フレーム画像に含まれる画像成分のＭ個の前記低周波フレーム画像への加算量を制御することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
動画像を構成する各フレーム画像からＭ個のサブフレーム画像を生成することによりフレームレート変換を行なう画像処理装置の制御方法であって、
注目フレーム画像と該注目フレーム画像に対し先行するまたは後続するフレーム画像との差分に基づいて、前記注目フレーム画像の各領域について画像の変化の程度を示す変化指標を導出する導出工程と、
前記注目フレーム画像にローパスフィルタ処理を施し低周波フレーム画像を生成する低周波フレーム画像生成工程と、
前記注目フレーム画像と前記低周波フレーム画像との差分により高周波フレーム画像を生成する高周波フレーム画像生成工程と、
前記導出手段により導出された前記注目フレーム画像の各領域の変化指標に応じた重みで、前記高周波フレーム画像に含まれる画像成分をＭ個の前記低周波フレーム画像に分配し加算することにより前記Ｍ個のサブフレーム画像を生成する生成工程と、
を備えることを特徴とする画像処理装置の制御方法。
【請求項８】
コンピュータを請求項１乃至６の何れか一項に記載の画像処理装置の各手段として動作させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１１−２５４４０４（Ｐ２０１１−２５４４０４Ａ）
【公開日】平成２３年１２月１５日（２０１１．１２．１５）
【国際特許分類】
【出願番号】特願２０１０−１２８２７１（Ｐ２０１０−１２８２７１）
【出願日】平成２２年６月３日（２０１０．６．３）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２３年１２月１５日（２０１１．１２．１５）
【国際特許分類】
【出願日】平成２２年６月３日（２０１０．６．３）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]