フレーム画像処理装置およびフレーム画像処理方法
【課題】オーバードライブ技術を用いると、動きの小さい動画や静止画像ではフレーム画像にのるノイズが強調されてしまう。
【解決手段】分割領域毎に現在のフレーム画像に対して所定の画像処理を行うフレーム画像処理装置１００において、現在のフレーム画像の階調レベルを補正する補正処理部２と、現在のフレーム画像のノイズ低減を行うフィルタ処理部３と、現在のフレーム画像の動きベクトルおよび動きベクトルの信頼度を算出する動きベクトル算出部４と、動きベクトルおよび動きベクトルの信頼度に基づき、階調レベルを補正した現在のフレーム画像、または、ノイズ低減した現在のフレーム画像のいずれかを選択する選択部５と、からなるフレーム画像処理装置１００。
【解決手段】分割領域毎に現在のフレーム画像に対して所定の画像処理を行うフレーム画像処理装置１００において、現在のフレーム画像の階調レベルを補正する補正処理部２と、現在のフレーム画像のノイズ低減を行うフィルタ処理部３と、現在のフレーム画像の動きベクトルおよび動きベクトルの信頼度を算出する動きベクトル算出部４と、動きベクトルおよび動きベクトルの信頼度に基づき、階調レベルを補正した現在のフレーム画像、または、ノイズ低減した現在のフレーム画像のいずれかを選択する選択部５と、からなるフレーム画像処理装置１００。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、フレーム画像処理装置およびフレーム画像処理法に関し、特に、少なくとも２つ以上のフレーム画像を用いて、現在のフレーム画像に対して所定の画像処理を行う装置および方法に関する。
【背景技術】
【０００２】
液晶パネルは、フレーム画像の階調変化に対する応答速度が遅いという特性を持ち、さらに詳細には、フレーム画像の白→黒または黒→白の階調変化に対する応答速度は早く、中間階調から中間階調の階調変化に対する応答速度は遅い。
【０００３】
そのため、液晶パネルをそなえた表示装置において、動画像を表示する場合に、視聴者に残像感を感じさせる。
【０００４】
上記残像感を軽減する技術として、オーバードライブ技術がある。オーバードライブ技術とは、フレーム画像の中間階調から中間階調の階調変化に対する応答速度を、白→黒または黒→白の階調変化に対する応答速度に近付けようとする技術である。具体的には、オーバードライブ技術は、フレーム画像の階調が上昇する場合には、液晶パネルの駆動電圧をその階調に対応する値よりも高くし、逆に、フレーム画像の階調が低下する場合には、液晶パネルの駆動電圧をその階調に対応する値よりも低くする。このオーバードライブ技術により、液晶パネルの応答特性を改善し、動画像表示における残像感を軽減することが可能となる（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平６−１８９２３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、液晶パネルをそなえた表示装置において、オーバードライブ技術を用いると、動きの大きいフレーム画像では画像表示の応答速度を改善することができる一方で、画像表示の応答速度の改善があまり必要とされない動きの小さい動画や静止画ではフレーム画像にのるノイズが強調されてしまうという課題があった。
【０００７】
本発明は、動きの大きいフレーム画像における画像表示の応答速度を改善しつつ、動きの小さい動画や静止画像にのるノイズを強調せず低減することが可能なフレーム画像処理装置およびフレーム画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記従来の課題を解決するために、本発明のフレーム画像処理装置は、フレーム画像を複数の画素からなる領域に分割し、少なくとも２つ以上のフレーム画像を用いて、分割領域毎に現在のフレーム画像に対して所定の画像処理を行うフレーム画像処理装置において、前記分割領域毎に、前記現在のフレーム画像の階調レベルを補正する補正処理部と、前記分割領域毎に、前記現在のフレーム画像のノイズ低減を行うフィルタ処理部と、前記分割領域毎に、前記現在のフレーム画像の動きベクトルおよび前記動きベクトルの信頼度を算出する動きベクトル算出部と、前記動きベクトルおよび前記動きベクトルの信頼度に基づき、前記分割領域毎に、前記階調レベルを補正した現在のフレーム画像、または、前記ノイズ低減した現在のフレーム画像のいずれかを選択する選択部と、からなる。
【０００９】
また、本発明のフレーム画像処理方法は、フレーム画像を複数の画素からなる領域に分割し、少なくとも２つ以上のフレーム画像を用いて、分割領域毎に現在のフレーム画像に対して所定の画像処理を行うフレーム画像処理装置におけるフレーム画像処理方法において、前記分割領域毎に、前記現在のフレーム画像の階調レベルを補正する補正処理ステップと、前記分割領域毎に、前記現在のフレーム画像のノイズ低減を行うフィルタ処理ステップと、前記分割領域毎に、前記現在のフレーム画像の動きベクトルおよび前記動きベクトルの信頼度を算出する動きベクトル算出ステップと、前記動きベクトルおよび前記動きベクトルの信頼度に基づき、前記分割領域毎に、前記階調レベルを補正した現在のフレーム画像、または、前記ノイズ低減した現在のフレーム画像のいずれかを選択する選択ステップと、からなる。
【００１０】
本発明のフレーム画像処理装置およびフレーム画像処理方法によれば、少なくとも２つ以上のフレーム画像を用いて算出した分割領域毎の動きベクトルおよび動きベクトルの信頼度に基づき、分割領域毎に、階調レベルを補正したフレーム画像またはノイズ低減したフレーム画像のいずれかを選択するので、動きの大きいフレーム画像におけるフレーム画像表示の応答速度を改善しつつ、動きの小さい動画や静止画のフレーム画像にのるノイズを強調せず軽減することが可能となる。
【発明の効果】
【００１１】
本発明のフレーム画像処理装置およびフレーム画像処理方法によれば、少なくとも２つ以上のフレーム画像を用いて算出した分割領域毎の動きベクトルおよび動きベクトルの信頼度に基づき、分割領域毎に、階調レベルを補正したフレーム画像またはノイズ低減したフレーム画像のいずれかを選択するので、動きの大きいフレーム画像における画像表示の応答速度を改善しつつ、動きの小さい動画や静止画像にのるノイズを強調せず低減することが可能となる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施例１に係るフレーム画像処理装置の構成を示すブロック図
【図２】本発明の実施例１に係るフレーム画像処理装置の動作を示すフローチャート
【図３】本発明の実施例２に係るフレーム画像処理装置の構成を示すブロック図
【図４】本発明の実施例２に係るフレーム画像処理装置の動作を示すフローチャート
【発明を実施するための形態】
【００１３】
以下、本発明を実施するための一実施の形態について、図面を参照しながら説明する。
【実施例１】
【００１４】
図１は、本発明の実施例１に係るフレーム画像処理装置の構成を示すブロック図である。
【００１５】
フレーム画像処理装置１００は、フレームメモリ１、補正処理部２、フィルタ処理部３、動きベクトル算出部４および選択部５からなる。また、補正処理部２は、ＬＵＴ（Ｌｏｏｋ Ｕｐ Ｔａｂｌｅ）２１および加算器２２からなる。
【００１６】
フレームメモリ１は、フレーム画像を少なくとも１フレーム遅延させ、遅延させた１以上のフレーム画像を補正処理部２、フィルタ処理部３および動きベクトル算出４に出力する。
【００１７】
補正処理部２は、フレーム画像を所定の画素数、例えば、１６画素×１６画素、１６画素×３２画素等、に分割した分割領域毎に、現在のフレームと、フレームメモリ１から出力された遅延されたフレーム画像との階調レベルの差分から、現在のフレーム画像の階調レベルを補正し、選択部５に出力する。
【００１８】
より具体的には、補正処理部２のＬＵＴ２１は、入力されるフレーム画像の階調レベルの差に応じた補正値を保持しており、分割領域毎に現在のフレーム画像の階調レベルとフレームメモリ１から出力される遅延されたフレーム画像の階調レベルの差に応じた補正値を加算器２２に出力する。ＬＵＴ２１が保持する補正値は、現在のフレーム画像の階調レベルとフレームメモリ１から出力される遅延されたフレーム画像の階調レベルの差が大きいほど大きい絶対値を有し、現在のフレーム画像の階調レベルがフレームメモリ１から出力される遅延されたフレーム画像の階調レベルよりも高い場合には、補正値は正となり、一方、現在のフレーム画像の階調レベルがフレームメモリ１から出力される遅延されたフレーム画像の階調レベルよりも低い場合には、補正値は負となる。補正処理部２の加算器２２は、現在のフレーム画像の階調レベルにＬＵＴ２１から出力される分割領域毎の補正値を加算し、選択部５に出力する。
【００１９】
フィルタ処理部３は、例えば、ＬＰＦ（Ｌｏｗ Ｐａｓｓ Ｆｉｌｔｅｒ）で構成され、分割領域毎に、現在のフレーム画像とフレームメモリ１から出力される遅延されたフレーム画像とから現在のフレーム画像のノイズを低減する。
【００２０】
動きベクトル算出部４は、公知の動きベクトル検出方法を用いて、例えば、ブロックマッチング処理による検出方法を用いて、分割領域毎に現在のフレーム画像の動きベクトルを算出し、選択部５に出力する。また、動きベクトル算出部４は、公知の動きベクトル信頼度算出方法を用いて、分割領域毎に算出した現在のフレーム画像の動きベクトルの信頼度を算出し、選択部５に出力する。
【００２１】
動きベクトルの信頼度を算出する方法として、例えば、現在のフレーム画像において、対象とする分割領域の動きベクトルが、その周辺の分割領域の動きベクトルと同等かどうかで算出する。すなわち、対象とする分割領域の動きベクトルがその周辺の分割領域の動きベクトルと同等の場合には、対象とする分割領域の動きベクトルの信頼度が高いと判定する。逆に、対象とする分割領域の動きベクトルがその周辺の分割領域の動きベクトルと大きく異なっている場合には、確率的には誤検出の可能性が高いので、対象とする分割領域の動きベクトルの信頼度が低いと判定する。なお、動きベクトルの信頼度を算出する方法は上記に限定されず、その他公知の方法が適用可能である。
【００２２】
選択部５は、動きベクトル算出部４から出力される動きベクトルおよび動きベクトル信頼度に基づき、分割領域毎に、補正処理部２から出力される現在のフレーム画像またはフィルタ処理部３から出力される現在のフレーム画像のいずれかを選択する。
【００２３】
より具体的には、選択部５は、分割領域毎に、動きベクトル算出部４から出力される動きベクトルが第一の閾値よりも大きく、かつ、動きベクトル算出部４から出力される動きベクトルの信頼度が第二の閾値よりも大きい場合、補正処理部２から出力される、階調レベルが補正された現在のフレーム画像を選択する。この場合、対象となる分割領域において、フレーム画像の動きが大きい可能性が高いと判断し、補正処理部２から出力される、階調レベルが補正された現在のフレーム画像を選択することで、画像表示の応答速度を改善し、残像感を軽減することを優先させる。
【００２４】
一方、選択部５は、動きベクトル算出部４から出力される動きベクトルが第一の閾値と同じか小さい、または、動きベクトル算出部４から出力される動きベクトルの信頼度が第二の閾値と同じか小さい場合、フィルタ処理部３から出力されるノイズ低減された現在のフレーム画像を選択する。この場合、対象となる分割領域において、フレーム画像の動きが小さい、または、動きベクトル算出部４による動きベクトルの誤検出の可能性が高いと判断し、フィルタ処理部３から出力されるノイズ低減された現在のフレーム画像を選択することで、画像表示の応答速度を改善することよりも、フレーム画像にのるノイズを強調せず低減することを優先させる。
【００２５】
なお、第一の閾値は、例えば、動きベクトルの検出値が７ビットであるときは、１０から２０である。また、第二の閾値は、例えば、信頼度が６ビットであるときは、４８から５８である。
【００２６】
なお、本実施例１において、補正処理部２が補正処理部の一例に相当し、フィルタ処理部３がフィルタ処理部の一例に相当し、動きベクトル算出部４が動きベクトル算出部の一例に相当し、選択部５が選択部の一例に相当する。
【００２７】
図２は、本発明の実施例１に係るフレーム画像処理装置の動作を示すフローチャートである。
【００２８】
選択部５は、対象となる分割領域において、動きベクトル算出部４から出力される動きベクトルが第一の閾値よりも大きいか否かを判定する（ステップＳ２１）。動きベクトル算出部４から出力される動きベクトルが第一の閾値よりも大きい場合（ステップＳ２１でＹｅｓ）、選択部５は、該対象となる分割領域において、動きベクトル算出部４から出力される動きベクトルの信頼度が第二の閾値よりも大きいか否かを判定する（ステップＳ２２）。動きベクトル算出部４から出力される動きベクトルの信頼度が第二の閾値よりも大きい場合（ステップＳ２２でＹｅｓ）、選択部５は、該対象となる分割領域において、補正処理部２から出力される、階調レベルが補正された現在のフレーム画像を選択する（ステップＳ２３）。
【００２９】
一方、選択部５は、動きベクトル算出部４から出力される動きベクトルが第一の閾値と同じかまたは小さい場合（ステップＳ２１でＮｏ）、または、動きベクトル算出部４から出力される動きベクトルの信頼度が第二の閾値と同じかまたは小さい場合（ステップＳ２２でＮｏ）、選択部５は、該対象となる分割領域において、フィルタ処理部３から出力されるノイズ低減された現在のフレーム画像を選択する。
【００３０】
以上、本発明のフレーム画像処理装置およびフレーム画像処理方法によれば、少なくとも２つ以上のフレーム画像を用いて算出した分割領域毎の動きベクトルおよび動きベクトルの信頼度に基づき、分割領域毎に、階調レベルを補正したフレーム画像またはノイズ低減したフレーム画像のいずれかを選択するので、動きの大きいフレーム画像における画像表示の応答速度を改善しつつ、動きの小さい動画や静止画像にのるノイズを強調せず低減することが可能となる。
【００３１】
なお、本実施例１のフレーム画像処理装置およびフレーム画像処理方法における処理は分割領域単位で実施するとしたが、これに限定されず、フレーム単位または画素単位で実施してもよい。
【実施例２】
【００３２】
図３は、本発明の実施例２に係るフレーム画像処理装置の構成を示すブロック図である。
【００３３】
フレーム画像処理装置２００は、フレームメモリ１、補正処理部２、フィルタ処理部３、動きベクトル算出部４および選択部５からなる。また、フィルタ処理部３は、時間方向フィルタ３１、空間方向フィルタ３２、輝度変化検出部３３および第二の選択部３４からなる。なお、フレーム画像処理装置２００において、実施例１のフレーム画像処理装置１００の構成と異なる点は、フィルタ処理部３のより具体的な構成の一例を示した点である。
【００３４】
以下、フィルタ処理部３の構成および動作を中心に説明を行う。
【００３５】
フィルタ処理部３は、分割領域毎に、現在のフレーム画像に対して最適なフィルタを選択し、現在のフレーム画像のノイズを低減し、選択部５に出力する。
【００３６】
フィルタ処理部３の時間方向フィルタ３１は、例えば、ＩＩＲ（Ｉｎｆｉｎｉｔｅ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ；無限インパルス応答）フィルタで構成され、分割領域毎に、現在のフレーム画像とフレームメモリ１から出力される遅延されたフレーム画像とから現在のフレーム画像のノイズを低減し、第二の選択部３４に出力する。
【００３７】
フィルタ処理部３の空間方向フィルタ３２は、例えば、ＦＩＲ（Ｆｉｎｉｔｅ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ；有限インパルス応答）フィルタで構成され、分割領域毎に、現在のフレーム画像から、現在のフレーム画像内で隣接する分割領域を用いて、現在のフレーム画像のノイズを低減し、第二の選択部３４に出力する。
【００３８】
フィルタ処理部３の輝度変化検出部３３は、分割領域毎に輝度変化の激しさを検出し、第二の選択部３４に出力する。より具体的には、例えば、輝度変化検出部３３は、現在のフレーム画像の注目画素を中心として、例えば３画素×３画素の画素群を抜き出し、この抜き出した画素群に対してハイパスフィルタを掛け合わせ、フィルタ値を算出する。このフィルタ値が注目画素の輝度変化の激しさを表し、各分割領域における輝度変化の激しさは、分割領域に含まれる各画素で求めたフィルタ値の総和となる。輝度変化検出部３３は、分割領域毎に、輝度変化の激しさであるフィルタ値の総和を第二の選択部３４に出力する。
【００３９】
第二の選択部３４は、輝度変化検出部３３から出力される各分割領域の輝度変化の激しさであるフィルタ値の総和に基づき、分割領域毎に、時間方向フィルタ３１から出力されるノイズ低減された現在のフレーム画像、または、空間方向フィルタ３２から出力されるノイズ低減された現在のフレーム画像のいずれかを選択する。
【００４０】
より具体的には、第二の選択部３４は、分割領域毎に、輝度変化検出部３３から出力される輝度変化の激しさであるフィルタ値の総和が第三の閾値よりも大きい場合、空間方向フィルタ３２から出力されるノイズ低減された現在のフレーム画像を選択する。この場合、第二の選択部３４は、対象となる分割領域において、フレーム画像の動きが非常に大きい可能性が高い、例えば、シーンチェンジ等が発生した、と判断し、遅延されたフレームを用いることで発生する尾引きによる弊害を防ぐため、空間方向フィルタ３２から出力されるノイズ低減された現在のフレーム画像を選択する。一方、第二の選択部３４は、分割領域毎に、輝度変化検出部３３から出力される輝度変化の激しさであるフィルタ値の総和が第三の閾値と同じかまたは小さい場合、時間方向フィルタ３１から出力されるノイズ低減された現在のフレーム画像を選択する。
【００４１】
なお、第三の閾値は、例えば、１０×１０ピクセルの領域にて輝度信号８ビットで考えた場合、２５６０である。
【００４２】
なお、本実施例２において、補正処理部２が補正処理部の一例に相当し、フィルタ処理部３がフィルタ処理部の一例に相当し、時間方向フィルタ３１が第一のフィルタ処理部の一例に相当し、空間方向フィルタ３２が第二のフィルタ処理部の一例に相当し、輝度変化検出部３３が輝度変化検出部の一例に相当し、第二の選択部３４が第二の選択部の一例に相当し、動きベクトル算出部４が動きベクトル算出部の一例に相当し、選択部５が選択部の一例に相当する。
【００４３】
図４は、本発明の実施例２に係るフレーム画像処理装置の動作を示すフローチャートである。なお、ステップＳ２１、ステップＳ２２およびステップＳ２４は、実施例１の図２におけるステップＳ２１、ステップＳ２２およびステップＳ２４と同じ動作であるので、ここでの説明は省略する。
【００４４】
第二の選択部３４は、分割領域毎に、輝度変化検出部３３から出力される輝度変化の激しさであるフィルタ値の総和が第三の閾値よりも大きいか否かを判定する（ステップＳ４１）。輝度変化検出部３３から出力される輝度変化の激しさであるフィルタ値の総和が第三の閾値よりも大きい場合（ステップＳ４１でＹｅｓ）、第二の選択部３４は、分割領域毎に、空間方向フィルタ３２から出力されるノイズ低減された現在のフレーム画像を選択する（ステップＳ４２）。一方、輝度変化検出部３３から出力される輝度変化の激しさであるフィルタ値の総和が第三の閾値と同じかまたは小さい場合（ステップＳ４１でＮｏ）、第二の選択部３４は、分割領域毎に、時間方向フィルタ３１から出力されるノイズ低減された現在のフレーム画像を選択する（ステップＳ４３）。
【００４５】
以上、本発明のフレーム画像処理装置およびフレーム画像処理方法によれば、少なくとも２つ以上のフレーム画像を用いて算出した分割領域毎の動きベクトルおよび動きベクトルの信頼度に基づき、分割領域毎に、階調レベルを補正したフレーム画像または分割領域毎にノイズ低減したフレーム画像のいずれかを選択するので、動きの大きいフレーム画像における画像表示の応答速度を改善しつつ、動きの小さい動画や静止画像にのるノイズを強調せず低減することが可能となる。
【００４６】
また、本発明のフレーム画像処理装置およびフレーム画像処理方法によれば、現在のフレーム画像を用いて検出した分割領域毎の輝度変化の激しさに基づき、分割領域毎に、現在のフレーム画像に対して最適なフィルタを選択するので、現在のフレーム画像のノイズを効率的に低減することが可能となる。
【００４７】
なお、本実施例２のフレーム画像処理装置およびフレーム画像処理方法における処理は分割領域単位で実施するとしたが、これに限定されず、フレーム単位または画素単位で実施してもよい。
【産業上の利用可能性】
【００４８】
本発明は、動きの大きいフレーム画像における画像表示の応答速度を改善しつつ、動きの小さい動画や静止画像にのるノイズを強調せず低減することが可能なので、フレーム画像処理技術として有用である。
【符号の説明】
【００４９】
１ フレームメモリ
２ 補正処理部
３ フィルタ処理部
４ 動きベクトル算出部
５ 選択部
２１ ＬＵＴ
２２ 加算器
３１ 時間方向フィルタ
３２ 空間方向フィルタ
３３ 輝度変化検出部
３４ 第二の選択部
１００、２００ フレーム画像処理装置
【技術分野】
【０００１】
本発明は、フレーム画像処理装置およびフレーム画像処理法に関し、特に、少なくとも２つ以上のフレーム画像を用いて、現在のフレーム画像に対して所定の画像処理を行う装置および方法に関する。
【背景技術】
【０００２】
液晶パネルは、フレーム画像の階調変化に対する応答速度が遅いという特性を持ち、さらに詳細には、フレーム画像の白→黒または黒→白の階調変化に対する応答速度は早く、中間階調から中間階調の階調変化に対する応答速度は遅い。
【０００３】
そのため、液晶パネルをそなえた表示装置において、動画像を表示する場合に、視聴者に残像感を感じさせる。
【０００４】
上記残像感を軽減する技術として、オーバードライブ技術がある。オーバードライブ技術とは、フレーム画像の中間階調から中間階調の階調変化に対する応答速度を、白→黒または黒→白の階調変化に対する応答速度に近付けようとする技術である。具体的には、オーバードライブ技術は、フレーム画像の階調が上昇する場合には、液晶パネルの駆動電圧をその階調に対応する値よりも高くし、逆に、フレーム画像の階調が低下する場合には、液晶パネルの駆動電圧をその階調に対応する値よりも低くする。このオーバードライブ技術により、液晶パネルの応答特性を改善し、動画像表示における残像感を軽減することが可能となる（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平６−１８９２３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、液晶パネルをそなえた表示装置において、オーバードライブ技術を用いると、動きの大きいフレーム画像では画像表示の応答速度を改善することができる一方で、画像表示の応答速度の改善があまり必要とされない動きの小さい動画や静止画ではフレーム画像にのるノイズが強調されてしまうという課題があった。
【０００７】
本発明は、動きの大きいフレーム画像における画像表示の応答速度を改善しつつ、動きの小さい動画や静止画像にのるノイズを強調せず低減することが可能なフレーム画像処理装置およびフレーム画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記従来の課題を解決するために、本発明のフレーム画像処理装置は、フレーム画像を複数の画素からなる領域に分割し、少なくとも２つ以上のフレーム画像を用いて、分割領域毎に現在のフレーム画像に対して所定の画像処理を行うフレーム画像処理装置において、前記分割領域毎に、前記現在のフレーム画像の階調レベルを補正する補正処理部と、前記分割領域毎に、前記現在のフレーム画像のノイズ低減を行うフィルタ処理部と、前記分割領域毎に、前記現在のフレーム画像の動きベクトルおよび前記動きベクトルの信頼度を算出する動きベクトル算出部と、前記動きベクトルおよび前記動きベクトルの信頼度に基づき、前記分割領域毎に、前記階調レベルを補正した現在のフレーム画像、または、前記ノイズ低減した現在のフレーム画像のいずれかを選択する選択部と、からなる。
【０００９】
また、本発明のフレーム画像処理方法は、フレーム画像を複数の画素からなる領域に分割し、少なくとも２つ以上のフレーム画像を用いて、分割領域毎に現在のフレーム画像に対して所定の画像処理を行うフレーム画像処理装置におけるフレーム画像処理方法において、前記分割領域毎に、前記現在のフレーム画像の階調レベルを補正する補正処理ステップと、前記分割領域毎に、前記現在のフレーム画像のノイズ低減を行うフィルタ処理ステップと、前記分割領域毎に、前記現在のフレーム画像の動きベクトルおよび前記動きベクトルの信頼度を算出する動きベクトル算出ステップと、前記動きベクトルおよび前記動きベクトルの信頼度に基づき、前記分割領域毎に、前記階調レベルを補正した現在のフレーム画像、または、前記ノイズ低減した現在のフレーム画像のいずれかを選択する選択ステップと、からなる。
【００１０】
本発明のフレーム画像処理装置およびフレーム画像処理方法によれば、少なくとも２つ以上のフレーム画像を用いて算出した分割領域毎の動きベクトルおよび動きベクトルの信頼度に基づき、分割領域毎に、階調レベルを補正したフレーム画像またはノイズ低減したフレーム画像のいずれかを選択するので、動きの大きいフレーム画像におけるフレーム画像表示の応答速度を改善しつつ、動きの小さい動画や静止画のフレーム画像にのるノイズを強調せず軽減することが可能となる。
【発明の効果】
【００１１】
本発明のフレーム画像処理装置およびフレーム画像処理方法によれば、少なくとも２つ以上のフレーム画像を用いて算出した分割領域毎の動きベクトルおよび動きベクトルの信頼度に基づき、分割領域毎に、階調レベルを補正したフレーム画像またはノイズ低減したフレーム画像のいずれかを選択するので、動きの大きいフレーム画像における画像表示の応答速度を改善しつつ、動きの小さい動画や静止画像にのるノイズを強調せず低減することが可能となる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施例１に係るフレーム画像処理装置の構成を示すブロック図
【図２】本発明の実施例１に係るフレーム画像処理装置の動作を示すフローチャート
【図３】本発明の実施例２に係るフレーム画像処理装置の構成を示すブロック図
【図４】本発明の実施例２に係るフレーム画像処理装置の動作を示すフローチャート
【発明を実施するための形態】
【００１３】
以下、本発明を実施するための一実施の形態について、図面を参照しながら説明する。
【実施例１】
【００１４】
図１は、本発明の実施例１に係るフレーム画像処理装置の構成を示すブロック図である。
【００１５】
フレーム画像処理装置１００は、フレームメモリ１、補正処理部２、フィルタ処理部３、動きベクトル算出部４および選択部５からなる。また、補正処理部２は、ＬＵＴ（Ｌｏｏｋ Ｕｐ Ｔａｂｌｅ）２１および加算器２２からなる。
【００１６】
フレームメモリ１は、フレーム画像を少なくとも１フレーム遅延させ、遅延させた１以上のフレーム画像を補正処理部２、フィルタ処理部３および動きベクトル算出４に出力する。
【００１７】
補正処理部２は、フレーム画像を所定の画素数、例えば、１６画素×１６画素、１６画素×３２画素等、に分割した分割領域毎に、現在のフレームと、フレームメモリ１から出力された遅延されたフレーム画像との階調レベルの差分から、現在のフレーム画像の階調レベルを補正し、選択部５に出力する。
【００１８】
より具体的には、補正処理部２のＬＵＴ２１は、入力されるフレーム画像の階調レベルの差に応じた補正値を保持しており、分割領域毎に現在のフレーム画像の階調レベルとフレームメモリ１から出力される遅延されたフレーム画像の階調レベルの差に応じた補正値を加算器２２に出力する。ＬＵＴ２１が保持する補正値は、現在のフレーム画像の階調レベルとフレームメモリ１から出力される遅延されたフレーム画像の階調レベルの差が大きいほど大きい絶対値を有し、現在のフレーム画像の階調レベルがフレームメモリ１から出力される遅延されたフレーム画像の階調レベルよりも高い場合には、補正値は正となり、一方、現在のフレーム画像の階調レベルがフレームメモリ１から出力される遅延されたフレーム画像の階調レベルよりも低い場合には、補正値は負となる。補正処理部２の加算器２２は、現在のフレーム画像の階調レベルにＬＵＴ２１から出力される分割領域毎の補正値を加算し、選択部５に出力する。
【００１９】
フィルタ処理部３は、例えば、ＬＰＦ（Ｌｏｗ Ｐａｓｓ Ｆｉｌｔｅｒ）で構成され、分割領域毎に、現在のフレーム画像とフレームメモリ１から出力される遅延されたフレーム画像とから現在のフレーム画像のノイズを低減する。
【００２０】
動きベクトル算出部４は、公知の動きベクトル検出方法を用いて、例えば、ブロックマッチング処理による検出方法を用いて、分割領域毎に現在のフレーム画像の動きベクトルを算出し、選択部５に出力する。また、動きベクトル算出部４は、公知の動きベクトル信頼度算出方法を用いて、分割領域毎に算出した現在のフレーム画像の動きベクトルの信頼度を算出し、選択部５に出力する。
【００２１】
動きベクトルの信頼度を算出する方法として、例えば、現在のフレーム画像において、対象とする分割領域の動きベクトルが、その周辺の分割領域の動きベクトルと同等かどうかで算出する。すなわち、対象とする分割領域の動きベクトルがその周辺の分割領域の動きベクトルと同等の場合には、対象とする分割領域の動きベクトルの信頼度が高いと判定する。逆に、対象とする分割領域の動きベクトルがその周辺の分割領域の動きベクトルと大きく異なっている場合には、確率的には誤検出の可能性が高いので、対象とする分割領域の動きベクトルの信頼度が低いと判定する。なお、動きベクトルの信頼度を算出する方法は上記に限定されず、その他公知の方法が適用可能である。
【００２２】
選択部５は、動きベクトル算出部４から出力される動きベクトルおよび動きベクトル信頼度に基づき、分割領域毎に、補正処理部２から出力される現在のフレーム画像またはフィルタ処理部３から出力される現在のフレーム画像のいずれかを選択する。
【００２３】
より具体的には、選択部５は、分割領域毎に、動きベクトル算出部４から出力される動きベクトルが第一の閾値よりも大きく、かつ、動きベクトル算出部４から出力される動きベクトルの信頼度が第二の閾値よりも大きい場合、補正処理部２から出力される、階調レベルが補正された現在のフレーム画像を選択する。この場合、対象となる分割領域において、フレーム画像の動きが大きい可能性が高いと判断し、補正処理部２から出力される、階調レベルが補正された現在のフレーム画像を選択することで、画像表示の応答速度を改善し、残像感を軽減することを優先させる。
【００２４】
一方、選択部５は、動きベクトル算出部４から出力される動きベクトルが第一の閾値と同じか小さい、または、動きベクトル算出部４から出力される動きベクトルの信頼度が第二の閾値と同じか小さい場合、フィルタ処理部３から出力されるノイズ低減された現在のフレーム画像を選択する。この場合、対象となる分割領域において、フレーム画像の動きが小さい、または、動きベクトル算出部４による動きベクトルの誤検出の可能性が高いと判断し、フィルタ処理部３から出力されるノイズ低減された現在のフレーム画像を選択することで、画像表示の応答速度を改善することよりも、フレーム画像にのるノイズを強調せず低減することを優先させる。
【００２５】
なお、第一の閾値は、例えば、動きベクトルの検出値が７ビットであるときは、１０から２０である。また、第二の閾値は、例えば、信頼度が６ビットであるときは、４８から５８である。
【００２６】
なお、本実施例１において、補正処理部２が補正処理部の一例に相当し、フィルタ処理部３がフィルタ処理部の一例に相当し、動きベクトル算出部４が動きベクトル算出部の一例に相当し、選択部５が選択部の一例に相当する。
【００２７】
図２は、本発明の実施例１に係るフレーム画像処理装置の動作を示すフローチャートである。
【００２８】
選択部５は、対象となる分割領域において、動きベクトル算出部４から出力される動きベクトルが第一の閾値よりも大きいか否かを判定する（ステップＳ２１）。動きベクトル算出部４から出力される動きベクトルが第一の閾値よりも大きい場合（ステップＳ２１でＹｅｓ）、選択部５は、該対象となる分割領域において、動きベクトル算出部４から出力される動きベクトルの信頼度が第二の閾値よりも大きいか否かを判定する（ステップＳ２２）。動きベクトル算出部４から出力される動きベクトルの信頼度が第二の閾値よりも大きい場合（ステップＳ２２でＹｅｓ）、選択部５は、該対象となる分割領域において、補正処理部２から出力される、階調レベルが補正された現在のフレーム画像を選択する（ステップＳ２３）。
【００２９】
一方、選択部５は、動きベクトル算出部４から出力される動きベクトルが第一の閾値と同じかまたは小さい場合（ステップＳ２１でＮｏ）、または、動きベクトル算出部４から出力される動きベクトルの信頼度が第二の閾値と同じかまたは小さい場合（ステップＳ２２でＮｏ）、選択部５は、該対象となる分割領域において、フィルタ処理部３から出力されるノイズ低減された現在のフレーム画像を選択する。
【００３０】
以上、本発明のフレーム画像処理装置およびフレーム画像処理方法によれば、少なくとも２つ以上のフレーム画像を用いて算出した分割領域毎の動きベクトルおよび動きベクトルの信頼度に基づき、分割領域毎に、階調レベルを補正したフレーム画像またはノイズ低減したフレーム画像のいずれかを選択するので、動きの大きいフレーム画像における画像表示の応答速度を改善しつつ、動きの小さい動画や静止画像にのるノイズを強調せず低減することが可能となる。
【００３１】
なお、本実施例１のフレーム画像処理装置およびフレーム画像処理方法における処理は分割領域単位で実施するとしたが、これに限定されず、フレーム単位または画素単位で実施してもよい。
【実施例２】
【００３２】
図３は、本発明の実施例２に係るフレーム画像処理装置の構成を示すブロック図である。
【００３３】
フレーム画像処理装置２００は、フレームメモリ１、補正処理部２、フィルタ処理部３、動きベクトル算出部４および選択部５からなる。また、フィルタ処理部３は、時間方向フィルタ３１、空間方向フィルタ３２、輝度変化検出部３３および第二の選択部３４からなる。なお、フレーム画像処理装置２００において、実施例１のフレーム画像処理装置１００の構成と異なる点は、フィルタ処理部３のより具体的な構成の一例を示した点である。
【００３４】
以下、フィルタ処理部３の構成および動作を中心に説明を行う。
【００３５】
フィルタ処理部３は、分割領域毎に、現在のフレーム画像に対して最適なフィルタを選択し、現在のフレーム画像のノイズを低減し、選択部５に出力する。
【００３６】
フィルタ処理部３の時間方向フィルタ３１は、例えば、ＩＩＲ（Ｉｎｆｉｎｉｔｅ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ；無限インパルス応答）フィルタで構成され、分割領域毎に、現在のフレーム画像とフレームメモリ１から出力される遅延されたフレーム画像とから現在のフレーム画像のノイズを低減し、第二の選択部３４に出力する。
【００３７】
フィルタ処理部３の空間方向フィルタ３２は、例えば、ＦＩＲ（Ｆｉｎｉｔｅ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ；有限インパルス応答）フィルタで構成され、分割領域毎に、現在のフレーム画像から、現在のフレーム画像内で隣接する分割領域を用いて、現在のフレーム画像のノイズを低減し、第二の選択部３４に出力する。
【００３８】
フィルタ処理部３の輝度変化検出部３３は、分割領域毎に輝度変化の激しさを検出し、第二の選択部３４に出力する。より具体的には、例えば、輝度変化検出部３３は、現在のフレーム画像の注目画素を中心として、例えば３画素×３画素の画素群を抜き出し、この抜き出した画素群に対してハイパスフィルタを掛け合わせ、フィルタ値を算出する。このフィルタ値が注目画素の輝度変化の激しさを表し、各分割領域における輝度変化の激しさは、分割領域に含まれる各画素で求めたフィルタ値の総和となる。輝度変化検出部３３は、分割領域毎に、輝度変化の激しさであるフィルタ値の総和を第二の選択部３４に出力する。
【００３９】
第二の選択部３４は、輝度変化検出部３３から出力される各分割領域の輝度変化の激しさであるフィルタ値の総和に基づき、分割領域毎に、時間方向フィルタ３１から出力されるノイズ低減された現在のフレーム画像、または、空間方向フィルタ３２から出力されるノイズ低減された現在のフレーム画像のいずれかを選択する。
【００４０】
より具体的には、第二の選択部３４は、分割領域毎に、輝度変化検出部３３から出力される輝度変化の激しさであるフィルタ値の総和が第三の閾値よりも大きい場合、空間方向フィルタ３２から出力されるノイズ低減された現在のフレーム画像を選択する。この場合、第二の選択部３４は、対象となる分割領域において、フレーム画像の動きが非常に大きい可能性が高い、例えば、シーンチェンジ等が発生した、と判断し、遅延されたフレームを用いることで発生する尾引きによる弊害を防ぐため、空間方向フィルタ３２から出力されるノイズ低減された現在のフレーム画像を選択する。一方、第二の選択部３４は、分割領域毎に、輝度変化検出部３３から出力される輝度変化の激しさであるフィルタ値の総和が第三の閾値と同じかまたは小さい場合、時間方向フィルタ３１から出力されるノイズ低減された現在のフレーム画像を選択する。
【００４１】
なお、第三の閾値は、例えば、１０×１０ピクセルの領域にて輝度信号８ビットで考えた場合、２５６０である。
【００４２】
なお、本実施例２において、補正処理部２が補正処理部の一例に相当し、フィルタ処理部３がフィルタ処理部の一例に相当し、時間方向フィルタ３１が第一のフィルタ処理部の一例に相当し、空間方向フィルタ３２が第二のフィルタ処理部の一例に相当し、輝度変化検出部３３が輝度変化検出部の一例に相当し、第二の選択部３４が第二の選択部の一例に相当し、動きベクトル算出部４が動きベクトル算出部の一例に相当し、選択部５が選択部の一例に相当する。
【００４３】
図４は、本発明の実施例２に係るフレーム画像処理装置の動作を示すフローチャートである。なお、ステップＳ２１、ステップＳ２２およびステップＳ２４は、実施例１の図２におけるステップＳ２１、ステップＳ２２およびステップＳ２４と同じ動作であるので、ここでの説明は省略する。
【００４４】
第二の選択部３４は、分割領域毎に、輝度変化検出部３３から出力される輝度変化の激しさであるフィルタ値の総和が第三の閾値よりも大きいか否かを判定する（ステップＳ４１）。輝度変化検出部３３から出力される輝度変化の激しさであるフィルタ値の総和が第三の閾値よりも大きい場合（ステップＳ４１でＹｅｓ）、第二の選択部３４は、分割領域毎に、空間方向フィルタ３２から出力されるノイズ低減された現在のフレーム画像を選択する（ステップＳ４２）。一方、輝度変化検出部３３から出力される輝度変化の激しさであるフィルタ値の総和が第三の閾値と同じかまたは小さい場合（ステップＳ４１でＮｏ）、第二の選択部３４は、分割領域毎に、時間方向フィルタ３１から出力されるノイズ低減された現在のフレーム画像を選択する（ステップＳ４３）。
【００４５】
以上、本発明のフレーム画像処理装置およびフレーム画像処理方法によれば、少なくとも２つ以上のフレーム画像を用いて算出した分割領域毎の動きベクトルおよび動きベクトルの信頼度に基づき、分割領域毎に、階調レベルを補正したフレーム画像または分割領域毎にノイズ低減したフレーム画像のいずれかを選択するので、動きの大きいフレーム画像における画像表示の応答速度を改善しつつ、動きの小さい動画や静止画像にのるノイズを強調せず低減することが可能となる。
【００４６】
また、本発明のフレーム画像処理装置およびフレーム画像処理方法によれば、現在のフレーム画像を用いて検出した分割領域毎の輝度変化の激しさに基づき、分割領域毎に、現在のフレーム画像に対して最適なフィルタを選択するので、現在のフレーム画像のノイズを効率的に低減することが可能となる。
【００４７】
なお、本実施例２のフレーム画像処理装置およびフレーム画像処理方法における処理は分割領域単位で実施するとしたが、これに限定されず、フレーム単位または画素単位で実施してもよい。
【産業上の利用可能性】
【００４８】
本発明は、動きの大きいフレーム画像における画像表示の応答速度を改善しつつ、動きの小さい動画や静止画像にのるノイズを強調せず低減することが可能なので、フレーム画像処理技術として有用である。
【符号の説明】
【００４９】
１ フレームメモリ
２ 補正処理部
３ フィルタ処理部
４ 動きベクトル算出部
５ 選択部
２１ ＬＵＴ
２２ 加算器
３１ 時間方向フィルタ
３２ 空間方向フィルタ
３３ 輝度変化検出部
３４ 第二の選択部
１００、２００ フレーム画像処理装置
【特許請求の範囲】
【請求項１】
フレーム画像を複数の画素からなる領域に分割し、少なくとも２つ以上のフレーム画像を用いて、分割領域毎に現在のフレーム画像に対して所定の画像処理を行うフレーム画像処理装置において、
前記分割領域毎に、前記現在のフレーム画像の階調レベルを補正する補正処理部と、
前記分割領域毎に、前記現在のフレーム画像のノイズ低減を行うフィルタ処理部と、
前記分割領域毎に、前記現在のフレーム画像の動きベクトルおよび前記動きベクトルの信頼度を算出する動きベクトル算出部と、
前記動きベクトルおよび前記動きベクトルの信頼度に基づき、前記分割領域毎に、前記階調レベルを補正した現在のフレーム画像、または、前記ノイズ低減した現在のフレーム画像のいずれかを選択する選択部と、
からなるフレーム画像処理装置。
【請求項２】
前記選択部は、前記分割領域毎に
前記動きベクトルが第一の閾値より大きく、かつ、前記動きベクトルの信頼度が第二の閾値よりも大きい場合、前記階調レベルを補正した現在のフレーム画像を選択し、
前記動きベクトルが第一の閾値と同じか小さい、または、前記動きベクトルの信頼度が第二の閾値と同じか小さい場合、前記ノイズ低減した現在のフレーム画像を選択する
ことを特徴とする請求項１記載のフレーム画像処理装置。
【請求項３】
前記フィルタ処理部は、
前記分割領域毎に、前記現在のフレーム画像の輝度変化の激しさを検出する輝度変化検出部と、
前記少なくとも２つ以上のフレーム画像を用いて、前記分割領域毎に、前記現在のフレーム画像のノイズ低減を行う第一のフィルタ処理部と、
前記現在のフレーム画像の分割領域に隣接する分割領域を用いて、前記分割領域毎に、前記現在のフレーム画像のノイズ低減を行う第二のフィルタ処理部と、
前記分割領域毎に、
前記現在のフレーム画像の輝度変化の激しさが第三の閾値よりも大きい場合、前記第二のフィルタ処理部でノイズ低減された現在のフレーム画像を選択し、
前記現在のフレーム画像の輝度変化の激しさが第三の閾値よりも小さい場合、前記第一のフィルタ処理部でノイズ低減された現在のフレーム画像を選択する第二の選択部と、
からなることを特徴とする請求項１記載のフレーム画像処理装置。
【請求項４】
フレーム画像を複数の画素からなる領域に分割し、少なくとも２つ以上のフレーム画像を用いて、分割領域毎に現在のフレーム画像に対して所定の画像処理を行うフレーム画像処理装置におけるフレーム画像処理方法において、
前記分割領域毎に、前記現在のフレーム画像の階調レベルを補正する補正処理ステップと、
前記分割領域毎に、前記現在のフレーム画像のノイズ低減を行うフィルタ処理ステップと、
前記分割領域毎に、前記現在のフレーム画像の動きベクトルおよび前記動きベクトルの信頼度を算出する動きベクトル算出ステップと、
前記動きベクトルおよび前記動きベクトルの信頼度に基づき、前記分割領域毎に、前記階調レベルを補正した現在のフレーム画像、または、前記ノイズ低減した現在のフレーム画像のいずれかを選択する選択ステップと、
からなるフレーム画像処理方法。
【請求項１】
フレーム画像を複数の画素からなる領域に分割し、少なくとも２つ以上のフレーム画像を用いて、分割領域毎に現在のフレーム画像に対して所定の画像処理を行うフレーム画像処理装置において、
前記分割領域毎に、前記現在のフレーム画像の階調レベルを補正する補正処理部と、
前記分割領域毎に、前記現在のフレーム画像のノイズ低減を行うフィルタ処理部と、
前記分割領域毎に、前記現在のフレーム画像の動きベクトルおよび前記動きベクトルの信頼度を算出する動きベクトル算出部と、
前記動きベクトルおよび前記動きベクトルの信頼度に基づき、前記分割領域毎に、前記階調レベルを補正した現在のフレーム画像、または、前記ノイズ低減した現在のフレーム画像のいずれかを選択する選択部と、
からなるフレーム画像処理装置。
【請求項２】
前記選択部は、前記分割領域毎に
前記動きベクトルが第一の閾値より大きく、かつ、前記動きベクトルの信頼度が第二の閾値よりも大きい場合、前記階調レベルを補正した現在のフレーム画像を選択し、
前記動きベクトルが第一の閾値と同じか小さい、または、前記動きベクトルの信頼度が第二の閾値と同じか小さい場合、前記ノイズ低減した現在のフレーム画像を選択する
ことを特徴とする請求項１記載のフレーム画像処理装置。
【請求項３】
前記フィルタ処理部は、
前記分割領域毎に、前記現在のフレーム画像の輝度変化の激しさを検出する輝度変化検出部と、
前記少なくとも２つ以上のフレーム画像を用いて、前記分割領域毎に、前記現在のフレーム画像のノイズ低減を行う第一のフィルタ処理部と、
前記現在のフレーム画像の分割領域に隣接する分割領域を用いて、前記分割領域毎に、前記現在のフレーム画像のノイズ低減を行う第二のフィルタ処理部と、
前記分割領域毎に、
前記現在のフレーム画像の輝度変化の激しさが第三の閾値よりも大きい場合、前記第二のフィルタ処理部でノイズ低減された現在のフレーム画像を選択し、
前記現在のフレーム画像の輝度変化の激しさが第三の閾値よりも小さい場合、前記第一のフィルタ処理部でノイズ低減された現在のフレーム画像を選択する第二の選択部と、
からなることを特徴とする請求項１記載のフレーム画像処理装置。
【請求項４】
フレーム画像を複数の画素からなる領域に分割し、少なくとも２つ以上のフレーム画像を用いて、分割領域毎に現在のフレーム画像に対して所定の画像処理を行うフレーム画像処理装置におけるフレーム画像処理方法において、
前記分割領域毎に、前記現在のフレーム画像の階調レベルを補正する補正処理ステップと、
前記分割領域毎に、前記現在のフレーム画像のノイズ低減を行うフィルタ処理ステップと、
前記分割領域毎に、前記現在のフレーム画像の動きベクトルおよび前記動きベクトルの信頼度を算出する動きベクトル算出ステップと、
前記動きベクトルおよび前記動きベクトルの信頼度に基づき、前記分割領域毎に、前記階調レベルを補正した現在のフレーム画像、または、前記ノイズ低減した現在のフレーム画像のいずれかを選択する選択ステップと、
からなるフレーム画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２０１２−２５２０６９（Ｐ２０１２−２５２０６９Ａ）
【公開日】平成２４年１２月２０日（２０１２．１２．２０）
【国際特許分類】
【出願番号】特願２０１１−１２３１１５（Ｐ２０１１−１２３１１５）
【出願日】平成２３年６月１日（２０１１．６．１）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２４年１２月２０日（２０１２．１２．２０）
【国際特許分類】
【出願日】平成２３年６月１日（２０１１．６．１）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]