画像処理装置および画像処理方法
【課題】画質劣化やチラツキを抑えながら、動画表示時の動きボケの発生を防止する。
【解決手段】隣り合う入力フレームの間に、動き補償補間によって生成した補間フレームを挿入する。このとき、ある領域の動きベクトルのばらつきが大きい場合には、動き補償補間の失敗よって当該領域の画質の劣化が発生する可能性があるため、劣化が目立たないように、補間フレームの当該領域は暗くする。そして、補間フレームの当該領域を暗くしたことによる輝度の低下が目立たないように、その前又は後の入力フレームの当該領域を明るくする。
【解決手段】隣り合う入力フレームの間に、動き補償補間によって生成した補間フレームを挿入する。このとき、ある領域の動きベクトルのばらつきが大きい場合には、動き補償補間の失敗よって当該領域の画質の劣化が発生する可能性があるため、劣化が目立たないように、補間フレームの当該領域は暗くする。そして、補間フレームの当該領域を暗くしたことによる輝度の低下が目立たないように、その前又は後の入力フレームの当該領域を明るくする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ホールドタイプの画像表示装置において、動画表示時の動きボケの発生を防止する画像処理装置および画像処理方法に関するものである。
【背景技術】
【０００２】
液晶表示装置等のホールドタイプ（１フレーム期間中各画素の輝度がホールドされ続けるタイプ）では、動画を表示した場合、人間の視覚特性によって、動画ボケが目立つ。
【０００３】
そこで、従来では、時間的に隣り合う前後の入力フレームから動き補償補間によって補間フレームを生成し、この補間フレームを前後の入力フレームの中間に挿入させ、フレーム周波数を増大させ、動画ボケを減少させる手法が取られている。この場合、中間に１枚の補間フレームを挿入し、フレームレートを２倍にすることが多い。補間フレームの生成は、ブロックごとに動きベクトルを検出して行われる（特許文献１）。
【０００４】
このような補間フレームを生成するとき、動きベクトルに誤検出が発生し、変換後の画像の一部が不適切な画像に置き換えられると、孤立的な劣化等が発生する。そこで、検出された動きベクトルが、隣接動きベクトルと比較して相関が低い特異ベクトルとなっていた場合に、妥当な動きベクトルに修正することが行われている（特許文献２）。ここでは、動きベクトル相互の差分成分の絶対値和が小さいほど相関が高いと定義することが行われるので、その絶対値和が大きいほど相関が低くなる。
【０００５】
また、補間フレームの生成では、前後の入力フレームの各画像の画素値の中間値をとって画像データを作成した補間フレームについて、その画像の各画素値に１未満の係数を乗じて画素値のレベルを低下させて補間フレームを生成し、これを内挿する手法も提案されている（特許文献３）。この例では、補間フレームの挿入の代わりにバックライトをシャッタした（黒挿入）場合に比較して、画面のチラツキや画面全体の明るさの低下が抑制される。
【０００６】
さらに、１つの入力フレームを２枚連続で使用してフレーム周波数を２倍にし、片方のフレームの画像は原画フレームの画像より明るく補正し、他方のフレームの画像は原画フレームの画像より暗く補正して、交互に表示するものもある（特許文献４）。これは、時間積分して輝度が原画フレームの画像の輝度と同じになるように補正するものである。
【特許文献１】特開平０６−１７８２７０号公報
【特許文献２】特開２０００−１３４５８５号公報
【特許文献３】特開２００５−２４１７８７号公報
【特許文献４】特開２００６−３４３７０６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
ところが、特許文献１に記載のものは、動きが単調な動画に対しては高い改善効果を得ることができるが、複雑な動きを含むような動画に対しては、正確な補間フレームの画像データを生成することができず、画質の劣化を招く。また、特許文献２に記載のものは、特異ベクトルの場合に別の動きベクトルに修正するので、処理が複雑になる。また、特許文献３に記載のものは、補間フレームの画像の画素値を、前後の入力フレームの画像の画素値の中間値として求め、さらにその中間値に１未満の係数を乗算して生成するので、画面全体が暗くなる。さらに、特許文献４に記載のものは、複雑さによらず改善効果を得ることができるが、１フレームごとに輝度を大きく変化させるために、フリッカが発生する問題がある。特に動きのない静止画を表示したときに、画面のチラツキとして目立ってしまう。
【０００８】
本発明の目的は、画質劣化やチラツキを抑えながら、動画表示時の動きボケの発生を効果的に防止する画像処理装置および画像処理方法を提供することである。
【課題を解決するための手段】
【０００９】
上記目的を達成するため、請求項１にかかる発明の画像処理装置は、入力フレームごとの画像データを含む入力画像データの入力を受け、隣り合う２つの入力フレームの画像データから、フレーム内の領域ごとの動きベクトルを検出する動き予測器と、前記検出した動きベクトルを利用して、前記隣り合う２つの入力フレーム間に挿入する補間フレームの画像データを生成する動き補償器と、前記検出した動きベクトルのばらつきを評価し、該ばらつきが閾値よりも大きい領域を明暗切り替え有効領域として検出するばらつき判定器と、前記補間フレームの、前記ばらつき判定器が明暗切り替え有効領域として検出した領域の画像データを、検出しなかった場合に比較して輝度が低くなるように修正して、修正済み画像データを生成する明暗切り替え器とを含み、前記入力フレームごとの画像データと、前記補間フレームの前記修正済み画像データとを含む出力画像データを出力することを特徴とする。
請求項２にかかる発明は、請求項１記載の画像処理装置において、前記ばらつき判定器が、前記動き予測器が前記動きベクトルを検出した領域を複数含むばらつき評価領域内の動きベクトルのばらつきを評価し、該ばらつきが前記閾値よりも大きい場合に、該ばらつき評価領域を前記明暗切り替え有効領域として検出することを特徴とする。
請求項３にかかる発明は、請求項１または２記載の画像処理装置において、前記明暗切り替え器は、前記隣り合う２つの入力フレームの少なくとも一方の、前記明暗切り替え有効領域として検出した補間フレームの領域に対応する領域の画像データを、該補間フレームの領域を明暗切り替え有効領域として検出しなかった場合に比較して、輝度が高くなるように修正することを特徴とする。
請求項４にかかる発明の画像処理方法は、入力フレームごとの画像データを含む入力画像データの入力を受け、隣り合う２つの入力フレームの画像データから、フレーム内の領域ごとの動きべクトルを検出する動き予測処理と、前記検出した動きベクトルを利用して、前記隣り合う２つの入力フレーム間に挿入する補間フレームの画像データを生成する動き補償処理と、前記検出した動きベクトルのばらつきを評価し、該ばらつきが閾値よりも大きい領域を明暗切り替え有効領域として検出するばらつき判定処理と、前記補間フレームの、前記ばらつき判定処理で明暗切り替え有効領域として検出した領域の画像データを、検出しなかった場合に比較して輝度が低くなるように修正して、修正済み画像データを生成する明暗切り替え処理とを含み、前記入力フレームごとの画像データと、前記補間フレームの前記修正済み画像データとを含む出力画像データを出力することを特徴とする。
請求項５にかかる発明は、請求項４記載の画像処理方法において、前記ばらつき判定処理において、前記動き予測処理で動きベクトルを検出した領域を複数含むばらつき評価領域内の動きベクトルのばらつきを評価し、該ばらつきが前記閾値よりも大きい場合に、該ばらつき評価領域を前記明暗切り替え有効領域として検出することを特徴とする。
請求項６にかかる発明は、請求項４または５記載の画像処理方法において、前記明暗切り替え処理において、前記隣り合う２つの入力フレームの少なくとも一方の、前記明暗切り替え有効領域として検出した補間フレームの領域に対応する領域の画像データを、該補間フレームの領域を明暗切り替え有効領域として検出しなかった場合に比較して、輝度が高くなるように修正することを特徴とする。
【発明の効果】
【００１０】
一般的に、動きベクトルを使用して補間フレームを生成する手法では、動きが複雑な領域のある画像では、動き補償補間の失敗により補間フレームの画質が劣化する可能性があるが、本発明では、動きが複雑な領域がある画像の場合に、明暗切り替えにより補間フレームの画像の当該領域を暗くするので、劣化が見えにくくなる。動きが単調な画像又は静止画の場合は、明暗切り替えは行われないので、チラツキは発生しない。しかも、動き補償補間により高い動画改善効果が得られる。よって、どのような動きに対しても、画質の劣化や画面のチラツキを抑制しながら、高い動きボケの改善効果を得ることができる。
【発明を実施するための最良の形態】
【００１１】
本発明では、隣り合う入力フレームの間に、動き補償補間によって生成した補間フレームを挿入する。このとき、ある領域の動きベクトルのばらつきが大きい場合には、動き補償補間の失敗よって当該領域の画質の劣化が発生する可能性があるため、劣化が目立たないように、補間フレームの当該領域は暗くする。そして、補間フレームの当該領域を暗くしたことによる輝度の低下が目立たないように、その前又は後の入力フレームの当該領域を明るくする。
【実施例１】
【００１２】
図１は本発明の１つの実施例の画像処理装置の構成を示すブロック図である。１０はフレームメモリであり、入力画像データの１フレーム分を格納する。
【００１３】
２０は動き予測器であり、フレームメモリ１に格納された直前の入力フレームＦn-1の画像データと、現在の入力フレームＦnの画像データを入力し、各動きベクトル検出領域ごとの動きベクトルＭＶを、既知のブロックマッチング法等により検出する。動きベクトル検出領域は、フレームを一定の寸法に分割するように、予め定められた領域である。
【００１４】
３０は動き補償器であり、動き予測器２によって検出された動きベクトルＭＶと入力フレームＦnの画像データを利用して、隣り合う２つの入力フレームＦn、Ｆn-1の間に挿入する補間フレームＦn’の画像データを生成する。この動き補償器３０からは、入力フレームＦnと補間フレームＦn’の切り替えタイミングを示すＳＥＬ信号も出力する。
【００１５】
４０はセレクタであり、ＳＥＬ信号によって、入力フレームＦnの画像データと補間フレームＦn’の画像データが交互に選択される。これにより、セレクタ４０から出力する各フレームは入力フレームのフレームレートの２倍となる。
【００１６】
５０はばらつき判定器であり、動き予測器２０で得られた動きベクトルＭＶのばらつきをばらつき評価領域ごとに評価し、そのばらつきの程度が予め設定した閾値を超える場合は、当該ばらつき評価領域を明暗切り替え有効領域として、当該領域につきＥＮＡＢＬＥ信号をアサートする。ばらつき評価領域は、動きベクトル検出領域をある決まった個数だけ含むように、予め定められた領域である。
【００１７】
６０は明暗切り替え器であり、ある領域がばらつき判定器５により明暗切り替え有効領域と判定されていれば、補間フレームＦn’の画像データについては当該領域を暗く補正し、入力フレームＦnの画像データについては当該領域を明るく補正する。図２に画像データの補正特性を示した。補間フレームＦn’の画像データを暗く補正したときは、その補正量とほぼ同等の補正量で、入力フレームＦｎの画像データを明るく補正する。
【００１８】
ばらつき判定器５０では、フレームを予め定めた複数のばらつき評価領域７１に分け、各領域７１内に複数の動きベクトル検出領域７２が含まれるようにする。そして、図３(a)に示すように、領域７１内に存在する複数の動きベクトルＭＶが互いに相関が低い場合は、動きが複雑で正確に動きベクトルＭＶを検出できていない可能性があるので、そのばらつき評価領域７１については、明暗切り替え有効領域とする。
【００１９】
逆に、図３(b)に示すように、動きベクトルＭＶが同じ方向を向いている場合や、図３(c)に示すように、静止している（動きベクトルＭＶ＝０）場合は、当該領域７１内の動きベクトルＭＶの相関が高くなる。この場合は、動き補償補間によって高い改善効果を期待できるため、有効領域ではないと判定し、ＥＮＡＢＬＥ信号をネゲートする。これにより、チラツキを抑えることができる。
【００２０】
ばらつきの評価には、標準偏差などを用い、得られた標準偏差の値が予め決めた閾値より大きければ、動きベクトルのばらつきが大きく誤動作可能性ありとして、明暗切り替え有効領域と判定する。
【００２１】
図４にこのばらつき判定器５０の内部構成を示す。まず、領域分割器５１において、動きベクトル検出領域７２ごとの動きベクトル（ＭＶｊ）がどの評価領域（Ｒｉ）にあるかを判定する。これにより評価領域７１ごとの動きベクトル（Ｒｉ．ＭＶｊ）が求められる。次に、領域毎標準偏差計算器５２において、各ばらつき評価領域７１ごとの動きベクトル（Ｒｉ．ＭＶｊ）の標準偏差（Ｒｉ，σ）が計算される。標準偏差（Ｒｉ，σ）は、具体的には、例えば、評価領域７１内の動きベクトルのｘ方向成分の標準偏差およびｙ方向成分の標準偏差である。次に、比較器５３において、標準偏差（Ｒｉ，σ）の値を予め設定した閾値と比較し、当該領域７１の比較結果（Ｒｉ．ＥＮＡＢＬＥ）を出力する。標準偏差（Ｒｉ，σ）が閾値より大きければ、動きベクトルのばらつきが大きいとして、比較結果（Ｒｉ．ＥＮＡＢＬＥ）はアサートされ、そうでなければネゲートされる。このようにして、ばらつき評価領域７１ごとの比較結果（Ｒｉ．ＥＮＡＢＬＥ）が出力する。
【００２２】
以上より、セレクタ４０からは、入力フレームＦnの画像データと補間フレームＦn’の画像データが交互に、入力フレームＦnの２倍のフレームレートで出力する。そして、フレームの各ばらつき評価領域７１のうち、動きベクトルのばらつきが大きい領域では、ばらつき判定器５０からのＥＮＡＢＬＥ信号がアサートされることで、明暗切り替え器６０において、補間フレームＦn’の当該領域７１の輝度が暗くなるような補正が行われる。このとき、入力フレームＦnの当該領域７１について、輝度が高くなるような補正が行われるので、入力フレームＦｎの画像データが優性となり、当該領域７１について、動き補償補間の失敗による画質劣化は目立たなくなる。
【００２３】
動きが単調な画像あるいは静止画については、補間フレームＦn’による動き補償補間で高い動画改善効果が得られるため、明暗切り替えは行われない（ＥＮＡＢＬＥ信号がネゲート）。
【００２４】
ここで、動きベクトルのばらつきが大きいと判断し、明暗切り替えを行う場合は、チラツキが発生する可能性はある。しかし、動きベクトルのばらつきが大きい、動きが複雑な領域の場合には、明暗の変化があっても、チラツキが目立ちにくい。しかも。明暗切り替えは、画面全体ではなく、動きベクトルのばらつきが大きいと判断した領域のみについて行う。これにより、特に、前または後のフレームの対応する領域を明るくした場合には、実用的に問題になるようなチラツキの発生を抑えることができる。
【００２５】
以上から、どのような動きに対しても、画質の劣化や画面のチラツキを抑えながら、高い動きボケの改善効果を奏することができる。
【００２６】
図５に入力フレーム、セレクタ４０から出力する倍速変換後のフレーム、明暗切り替え器６０から出力するフレームを示した。ここでは、入力フレームＦn-1，Ｆnの領域Ａ，Ｅ間での動きベクトルのばらつきが閾値を超え、補間フレームＦn’の領域ＡＥを暗く補正し、入力フレームＦnの領域Ｅを明るく補正している。
【００２７】
なお、当該領域７１の輝度を高く補正する入力フレームは、補間フレームＦn’の直後の入力フレームＦnに限られず、直前の入力フレームＦn-1であってもよい。また、バックライトを備えた画像表示装置では、実際の表示画面の輝度を、ＥＮＡＢＬＥ信号による画像データの輝度の制御に加えて、同じＥＮＡＢＬＥ信号によるバックライトの輝度の制御によって実現することも可能である。
【図面の簡単な説明】
【００２８】
【図１】本発明の実施例の画像処理装置のブロック図である。
【図２】明暗切り替え器における画像データ補正の特性図である。
【図３】ばらつき評価領域での動きベクトルの説明図である。
【図４】ばらつき判定器の内部構成を示すブロック図である。
【図５】各フレームの説明図である。
【符号の説明】
【００２９】
１０：フレームメモリ、２０：動き予測器、３０：動き補償器、４０：セレクタ、５０：ばらつき判定器、６０：明暗切り替え器
５１：領域分割器、５２：領域毎標準偏差計算器、５３：比較器
７１：ばらつき評価領域、７２：動きベクトル検出領域
【技術分野】
【０００１】
本発明は、ホールドタイプの画像表示装置において、動画表示時の動きボケの発生を防止する画像処理装置および画像処理方法に関するものである。
【背景技術】
【０００２】
液晶表示装置等のホールドタイプ（１フレーム期間中各画素の輝度がホールドされ続けるタイプ）では、動画を表示した場合、人間の視覚特性によって、動画ボケが目立つ。
【０００３】
そこで、従来では、時間的に隣り合う前後の入力フレームから動き補償補間によって補間フレームを生成し、この補間フレームを前後の入力フレームの中間に挿入させ、フレーム周波数を増大させ、動画ボケを減少させる手法が取られている。この場合、中間に１枚の補間フレームを挿入し、フレームレートを２倍にすることが多い。補間フレームの生成は、ブロックごとに動きベクトルを検出して行われる（特許文献１）。
【０００４】
このような補間フレームを生成するとき、動きベクトルに誤検出が発生し、変換後の画像の一部が不適切な画像に置き換えられると、孤立的な劣化等が発生する。そこで、検出された動きベクトルが、隣接動きベクトルと比較して相関が低い特異ベクトルとなっていた場合に、妥当な動きベクトルに修正することが行われている（特許文献２）。ここでは、動きベクトル相互の差分成分の絶対値和が小さいほど相関が高いと定義することが行われるので、その絶対値和が大きいほど相関が低くなる。
【０００５】
また、補間フレームの生成では、前後の入力フレームの各画像の画素値の中間値をとって画像データを作成した補間フレームについて、その画像の各画素値に１未満の係数を乗じて画素値のレベルを低下させて補間フレームを生成し、これを内挿する手法も提案されている（特許文献３）。この例では、補間フレームの挿入の代わりにバックライトをシャッタした（黒挿入）場合に比較して、画面のチラツキや画面全体の明るさの低下が抑制される。
【０００６】
さらに、１つの入力フレームを２枚連続で使用してフレーム周波数を２倍にし、片方のフレームの画像は原画フレームの画像より明るく補正し、他方のフレームの画像は原画フレームの画像より暗く補正して、交互に表示するものもある（特許文献４）。これは、時間積分して輝度が原画フレームの画像の輝度と同じになるように補正するものである。
【特許文献１】特開平０６−１７８２７０号公報
【特許文献２】特開２０００−１３４５８５号公報
【特許文献３】特開２００５−２４１７８７号公報
【特許文献４】特開２００６−３４３７０６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
ところが、特許文献１に記載のものは、動きが単調な動画に対しては高い改善効果を得ることができるが、複雑な動きを含むような動画に対しては、正確な補間フレームの画像データを生成することができず、画質の劣化を招く。また、特許文献２に記載のものは、特異ベクトルの場合に別の動きベクトルに修正するので、処理が複雑になる。また、特許文献３に記載のものは、補間フレームの画像の画素値を、前後の入力フレームの画像の画素値の中間値として求め、さらにその中間値に１未満の係数を乗算して生成するので、画面全体が暗くなる。さらに、特許文献４に記載のものは、複雑さによらず改善効果を得ることができるが、１フレームごとに輝度を大きく変化させるために、フリッカが発生する問題がある。特に動きのない静止画を表示したときに、画面のチラツキとして目立ってしまう。
【０００８】
本発明の目的は、画質劣化やチラツキを抑えながら、動画表示時の動きボケの発生を効果的に防止する画像処理装置および画像処理方法を提供することである。
【課題を解決するための手段】
【０００９】
上記目的を達成するため、請求項１にかかる発明の画像処理装置は、入力フレームごとの画像データを含む入力画像データの入力を受け、隣り合う２つの入力フレームの画像データから、フレーム内の領域ごとの動きベクトルを検出する動き予測器と、前記検出した動きベクトルを利用して、前記隣り合う２つの入力フレーム間に挿入する補間フレームの画像データを生成する動き補償器と、前記検出した動きベクトルのばらつきを評価し、該ばらつきが閾値よりも大きい領域を明暗切り替え有効領域として検出するばらつき判定器と、前記補間フレームの、前記ばらつき判定器が明暗切り替え有効領域として検出した領域の画像データを、検出しなかった場合に比較して輝度が低くなるように修正して、修正済み画像データを生成する明暗切り替え器とを含み、前記入力フレームごとの画像データと、前記補間フレームの前記修正済み画像データとを含む出力画像データを出力することを特徴とする。
請求項２にかかる発明は、請求項１記載の画像処理装置において、前記ばらつき判定器が、前記動き予測器が前記動きベクトルを検出した領域を複数含むばらつき評価領域内の動きベクトルのばらつきを評価し、該ばらつきが前記閾値よりも大きい場合に、該ばらつき評価領域を前記明暗切り替え有効領域として検出することを特徴とする。
請求項３にかかる発明は、請求項１または２記載の画像処理装置において、前記明暗切り替え器は、前記隣り合う２つの入力フレームの少なくとも一方の、前記明暗切り替え有効領域として検出した補間フレームの領域に対応する領域の画像データを、該補間フレームの領域を明暗切り替え有効領域として検出しなかった場合に比較して、輝度が高くなるように修正することを特徴とする。
請求項４にかかる発明の画像処理方法は、入力フレームごとの画像データを含む入力画像データの入力を受け、隣り合う２つの入力フレームの画像データから、フレーム内の領域ごとの動きべクトルを検出する動き予測処理と、前記検出した動きベクトルを利用して、前記隣り合う２つの入力フレーム間に挿入する補間フレームの画像データを生成する動き補償処理と、前記検出した動きベクトルのばらつきを評価し、該ばらつきが閾値よりも大きい領域を明暗切り替え有効領域として検出するばらつき判定処理と、前記補間フレームの、前記ばらつき判定処理で明暗切り替え有効領域として検出した領域の画像データを、検出しなかった場合に比較して輝度が低くなるように修正して、修正済み画像データを生成する明暗切り替え処理とを含み、前記入力フレームごとの画像データと、前記補間フレームの前記修正済み画像データとを含む出力画像データを出力することを特徴とする。
請求項５にかかる発明は、請求項４記載の画像処理方法において、前記ばらつき判定処理において、前記動き予測処理で動きベクトルを検出した領域を複数含むばらつき評価領域内の動きベクトルのばらつきを評価し、該ばらつきが前記閾値よりも大きい場合に、該ばらつき評価領域を前記明暗切り替え有効領域として検出することを特徴とする。
請求項６にかかる発明は、請求項４または５記載の画像処理方法において、前記明暗切り替え処理において、前記隣り合う２つの入力フレームの少なくとも一方の、前記明暗切り替え有効領域として検出した補間フレームの領域に対応する領域の画像データを、該補間フレームの領域を明暗切り替え有効領域として検出しなかった場合に比較して、輝度が高くなるように修正することを特徴とする。
【発明の効果】
【００１０】
一般的に、動きベクトルを使用して補間フレームを生成する手法では、動きが複雑な領域のある画像では、動き補償補間の失敗により補間フレームの画質が劣化する可能性があるが、本発明では、動きが複雑な領域がある画像の場合に、明暗切り替えにより補間フレームの画像の当該領域を暗くするので、劣化が見えにくくなる。動きが単調な画像又は静止画の場合は、明暗切り替えは行われないので、チラツキは発生しない。しかも、動き補償補間により高い動画改善効果が得られる。よって、どのような動きに対しても、画質の劣化や画面のチラツキを抑制しながら、高い動きボケの改善効果を得ることができる。
【発明を実施するための最良の形態】
【００１１】
本発明では、隣り合う入力フレームの間に、動き補償補間によって生成した補間フレームを挿入する。このとき、ある領域の動きベクトルのばらつきが大きい場合には、動き補償補間の失敗よって当該領域の画質の劣化が発生する可能性があるため、劣化が目立たないように、補間フレームの当該領域は暗くする。そして、補間フレームの当該領域を暗くしたことによる輝度の低下が目立たないように、その前又は後の入力フレームの当該領域を明るくする。
【実施例１】
【００１２】
図１は本発明の１つの実施例の画像処理装置の構成を示すブロック図である。１０はフレームメモリであり、入力画像データの１フレーム分を格納する。
【００１３】
２０は動き予測器であり、フレームメモリ１に格納された直前の入力フレームＦn-1の画像データと、現在の入力フレームＦnの画像データを入力し、各動きベクトル検出領域ごとの動きベクトルＭＶを、既知のブロックマッチング法等により検出する。動きベクトル検出領域は、フレームを一定の寸法に分割するように、予め定められた領域である。
【００１４】
３０は動き補償器であり、動き予測器２によって検出された動きベクトルＭＶと入力フレームＦnの画像データを利用して、隣り合う２つの入力フレームＦn、Ｆn-1の間に挿入する補間フレームＦn’の画像データを生成する。この動き補償器３０からは、入力フレームＦnと補間フレームＦn’の切り替えタイミングを示すＳＥＬ信号も出力する。
【００１５】
４０はセレクタであり、ＳＥＬ信号によって、入力フレームＦnの画像データと補間フレームＦn’の画像データが交互に選択される。これにより、セレクタ４０から出力する各フレームは入力フレームのフレームレートの２倍となる。
【００１６】
５０はばらつき判定器であり、動き予測器２０で得られた動きベクトルＭＶのばらつきをばらつき評価領域ごとに評価し、そのばらつきの程度が予め設定した閾値を超える場合は、当該ばらつき評価領域を明暗切り替え有効領域として、当該領域につきＥＮＡＢＬＥ信号をアサートする。ばらつき評価領域は、動きベクトル検出領域をある決まった個数だけ含むように、予め定められた領域である。
【００１７】
６０は明暗切り替え器であり、ある領域がばらつき判定器５により明暗切り替え有効領域と判定されていれば、補間フレームＦn’の画像データについては当該領域を暗く補正し、入力フレームＦnの画像データについては当該領域を明るく補正する。図２に画像データの補正特性を示した。補間フレームＦn’の画像データを暗く補正したときは、その補正量とほぼ同等の補正量で、入力フレームＦｎの画像データを明るく補正する。
【００１８】
ばらつき判定器５０では、フレームを予め定めた複数のばらつき評価領域７１に分け、各領域７１内に複数の動きベクトル検出領域７２が含まれるようにする。そして、図３(a)に示すように、領域７１内に存在する複数の動きベクトルＭＶが互いに相関が低い場合は、動きが複雑で正確に動きベクトルＭＶを検出できていない可能性があるので、そのばらつき評価領域７１については、明暗切り替え有効領域とする。
【００１９】
逆に、図３(b)に示すように、動きベクトルＭＶが同じ方向を向いている場合や、図３(c)に示すように、静止している（動きベクトルＭＶ＝０）場合は、当該領域７１内の動きベクトルＭＶの相関が高くなる。この場合は、動き補償補間によって高い改善効果を期待できるため、有効領域ではないと判定し、ＥＮＡＢＬＥ信号をネゲートする。これにより、チラツキを抑えることができる。
【００２０】
ばらつきの評価には、標準偏差などを用い、得られた標準偏差の値が予め決めた閾値より大きければ、動きベクトルのばらつきが大きく誤動作可能性ありとして、明暗切り替え有効領域と判定する。
【００２１】
図４にこのばらつき判定器５０の内部構成を示す。まず、領域分割器５１において、動きベクトル検出領域７２ごとの動きベクトル（ＭＶｊ）がどの評価領域（Ｒｉ）にあるかを判定する。これにより評価領域７１ごとの動きベクトル（Ｒｉ．ＭＶｊ）が求められる。次に、領域毎標準偏差計算器５２において、各ばらつき評価領域７１ごとの動きベクトル（Ｒｉ．ＭＶｊ）の標準偏差（Ｒｉ，σ）が計算される。標準偏差（Ｒｉ，σ）は、具体的には、例えば、評価領域７１内の動きベクトルのｘ方向成分の標準偏差およびｙ方向成分の標準偏差である。次に、比較器５３において、標準偏差（Ｒｉ，σ）の値を予め設定した閾値と比較し、当該領域７１の比較結果（Ｒｉ．ＥＮＡＢＬＥ）を出力する。標準偏差（Ｒｉ，σ）が閾値より大きければ、動きベクトルのばらつきが大きいとして、比較結果（Ｒｉ．ＥＮＡＢＬＥ）はアサートされ、そうでなければネゲートされる。このようにして、ばらつき評価領域７１ごとの比較結果（Ｒｉ．ＥＮＡＢＬＥ）が出力する。
【００２２】
以上より、セレクタ４０からは、入力フレームＦnの画像データと補間フレームＦn’の画像データが交互に、入力フレームＦnの２倍のフレームレートで出力する。そして、フレームの各ばらつき評価領域７１のうち、動きベクトルのばらつきが大きい領域では、ばらつき判定器５０からのＥＮＡＢＬＥ信号がアサートされることで、明暗切り替え器６０において、補間フレームＦn’の当該領域７１の輝度が暗くなるような補正が行われる。このとき、入力フレームＦnの当該領域７１について、輝度が高くなるような補正が行われるので、入力フレームＦｎの画像データが優性となり、当該領域７１について、動き補償補間の失敗による画質劣化は目立たなくなる。
【００２３】
動きが単調な画像あるいは静止画については、補間フレームＦn’による動き補償補間で高い動画改善効果が得られるため、明暗切り替えは行われない（ＥＮＡＢＬＥ信号がネゲート）。
【００２４】
ここで、動きベクトルのばらつきが大きいと判断し、明暗切り替えを行う場合は、チラツキが発生する可能性はある。しかし、動きベクトルのばらつきが大きい、動きが複雑な領域の場合には、明暗の変化があっても、チラツキが目立ちにくい。しかも。明暗切り替えは、画面全体ではなく、動きベクトルのばらつきが大きいと判断した領域のみについて行う。これにより、特に、前または後のフレームの対応する領域を明るくした場合には、実用的に問題になるようなチラツキの発生を抑えることができる。
【００２５】
以上から、どのような動きに対しても、画質の劣化や画面のチラツキを抑えながら、高い動きボケの改善効果を奏することができる。
【００２６】
図５に入力フレーム、セレクタ４０から出力する倍速変換後のフレーム、明暗切り替え器６０から出力するフレームを示した。ここでは、入力フレームＦn-1，Ｆnの領域Ａ，Ｅ間での動きベクトルのばらつきが閾値を超え、補間フレームＦn’の領域ＡＥを暗く補正し、入力フレームＦnの領域Ｅを明るく補正している。
【００２７】
なお、当該領域７１の輝度を高く補正する入力フレームは、補間フレームＦn’の直後の入力フレームＦnに限られず、直前の入力フレームＦn-1であってもよい。また、バックライトを備えた画像表示装置では、実際の表示画面の輝度を、ＥＮＡＢＬＥ信号による画像データの輝度の制御に加えて、同じＥＮＡＢＬＥ信号によるバックライトの輝度の制御によって実現することも可能である。
【図面の簡単な説明】
【００２８】
【図１】本発明の実施例の画像処理装置のブロック図である。
【図２】明暗切り替え器における画像データ補正の特性図である。
【図３】ばらつき評価領域での動きベクトルの説明図である。
【図４】ばらつき判定器の内部構成を示すブロック図である。
【図５】各フレームの説明図である。
【符号の説明】
【００２９】
１０：フレームメモリ、２０：動き予測器、３０：動き補償器、４０：セレクタ、５０：ばらつき判定器、６０：明暗切り替え器
５１：領域分割器、５２：領域毎標準偏差計算器、５３：比較器
７１：ばらつき評価領域、７２：動きベクトル検出領域
【特許請求の範囲】
【請求項１】
入力フレームごとの画像データを含む入力画像データの入力を受け、隣り合う２つの入力フレームの画像データから、フレーム内の領域ごとの動きベクトルを検出する動き予測器と、
前記検出した動きベクトルを利用して、前記隣り合う２つの入力フレーム間に挿入する補間フレームの画像データを生成する動き補償器と、
前記検出した動きベクトルのばらつきを評価し、該ばらつきが閾値よりも大きい領域を明暗切り替え有効領域として検出するばらつき判定器と、
前記補間フレームの、前記ばらつき判定器が明暗切り替え有効領域として検出した領域の画像データを、検出しなかった場合に比較して輝度が低くなるように修正して、修正済み画像データを生成する明暗切り替え器とを含み、
前記入力フレームごとの画像データと、前記補間フレームの前記修正済み画像データとを含む出力画像データを出力することを特徴とする画像処理装置。
【請求項２】
前記ばらつき判定器が、前記動き予測器が前記動きベクトルを検出した領域を複数含むばらつき評価領域内の動きベクトルのばらつきを評価し、該ばらつきが前記閾値よりも大きい場合に、該ばらつき評価領域を前記明暗切り替え有効領域として検出することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記明暗切り替え器は、前記隣り合う２つの入力フレームの少なくとも一方の、前記明暗切り替え有効領域として検出した補間フレームの領域に対応する領域の画像データを、該補間フレームの領域を明暗切り替え有効領域として検出しなかった場合に比較して、輝度が高くなるように修正することを特徴とする請求項１または２記載の画像処理装置。
【請求項４】
入力フレームごとの画像データを含む入力画像データの入力を受け、隣り合う２つの入力フレームの画像データから、フレーム内の領域ごとの動きべクトルを検出する動き予測処理と、
前記検出した動きベクトルを利用して、前記隣り合う２つの入力フレーム間に挿入する補間フレームの画像データを生成する動き補償処理と、
前記検出した動きベクトルのばらつきを評価し、該ばらつきが閾値よりも大きい領域を明暗切り替え有効領域として検出するばらつき判定処理と、
前記補間フレームの、前記ばらつき判定処理で明暗切り替え有効領域として検出した領域の画像データを、検出しなかった場合に比較して輝度が低くなるように修正して、修正済み画像データを生成する明暗切り替え処理とを含み、
前記入力フレームごとの画像データと、前記補間フレームの前記修正済み画像データとを含む出力画像データを出力することを特徴とする画像処理方法。
【請求項５】
前記ばらつき判定処理において、前記動き予測処理で動きベクトルを検出した領域を複数含むばらつき評価領域内の動きベクトルのばらつきを評価し、該ばらつきが前記閾値よりも大きい場合に、該ばらつき評価領域を前記明暗切り替え有効領域として検出することを特徴とする請求項４記載の画像処理方法。
【請求項６】
前記明暗切り替え処理において、前記隣り合う２つの入力フレームの少なくとも一方の、前記明暗切り替え有効領域として検出した補間フレームの領域に対応する領域の画像データを、該補間フレームの領域を明暗切り替え有効領域として検出しなかった場合に比較して、輝度が高くなるように修正することを特徴とする請求項４または５記載の画像処理方法。
【請求項１】
入力フレームごとの画像データを含む入力画像データの入力を受け、隣り合う２つの入力フレームの画像データから、フレーム内の領域ごとの動きベクトルを検出する動き予測器と、
前記検出した動きベクトルを利用して、前記隣り合う２つの入力フレーム間に挿入する補間フレームの画像データを生成する動き補償器と、
前記検出した動きベクトルのばらつきを評価し、該ばらつきが閾値よりも大きい領域を明暗切り替え有効領域として検出するばらつき判定器と、
前記補間フレームの、前記ばらつき判定器が明暗切り替え有効領域として検出した領域の画像データを、検出しなかった場合に比較して輝度が低くなるように修正して、修正済み画像データを生成する明暗切り替え器とを含み、
前記入力フレームごとの画像データと、前記補間フレームの前記修正済み画像データとを含む出力画像データを出力することを特徴とする画像処理装置。
【請求項２】
前記ばらつき判定器が、前記動き予測器が前記動きベクトルを検出した領域を複数含むばらつき評価領域内の動きベクトルのばらつきを評価し、該ばらつきが前記閾値よりも大きい場合に、該ばらつき評価領域を前記明暗切り替え有効領域として検出することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記明暗切り替え器は、前記隣り合う２つの入力フレームの少なくとも一方の、前記明暗切り替え有効領域として検出した補間フレームの領域に対応する領域の画像データを、該補間フレームの領域を明暗切り替え有効領域として検出しなかった場合に比較して、輝度が高くなるように修正することを特徴とする請求項１または２記載の画像処理装置。
【請求項４】
入力フレームごとの画像データを含む入力画像データの入力を受け、隣り合う２つの入力フレームの画像データから、フレーム内の領域ごとの動きべクトルを検出する動き予測処理と、
前記検出した動きベクトルを利用して、前記隣り合う２つの入力フレーム間に挿入する補間フレームの画像データを生成する動き補償処理と、
前記検出した動きベクトルのばらつきを評価し、該ばらつきが閾値よりも大きい領域を明暗切り替え有効領域として検出するばらつき判定処理と、
前記補間フレームの、前記ばらつき判定処理で明暗切り替え有効領域として検出した領域の画像データを、検出しなかった場合に比較して輝度が低くなるように修正して、修正済み画像データを生成する明暗切り替え処理とを含み、
前記入力フレームごとの画像データと、前記補間フレームの前記修正済み画像データとを含む出力画像データを出力することを特徴とする画像処理方法。
【請求項５】
前記ばらつき判定処理において、前記動き予測処理で動きベクトルを検出した領域を複数含むばらつき評価領域内の動きベクトルのばらつきを評価し、該ばらつきが前記閾値よりも大きい場合に、該ばらつき評価領域を前記明暗切り替え有効領域として検出することを特徴とする請求項４記載の画像処理方法。
【請求項６】
前記明暗切り替え処理において、前記隣り合う２つの入力フレームの少なくとも一方の、前記明暗切り替え有効領域として検出した補間フレームの領域に対応する領域の画像データを、該補間フレームの領域を明暗切り替え有効領域として検出しなかった場合に比較して、輝度が高くなるように修正することを特徴とする請求項４または５記載の画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１０−１１７５２４（Ｐ２０１０−１１７５２４Ａ）
【公開日】平成２２年５月２７日（２０１０．５．２７）
【国際特許分類】
【出願番号】特願２００８−２９０２７０（Ｐ２００８−２９０２７０）
【出願日】平成２０年１１月１２日（２００８．１１．１２）
【出願人】（５０１２８５１３３）川崎マイクロエレクトロニクス株式会社 (449)
【Ｆターム（参考）】
【公開日】平成２２年５月２７日（２０１０．５．２７）
【国際特許分類】
【出願日】平成２０年１１月１２日（２００８．１１．１２）
【出願人】（５０１２８５１３３）川崎マイクロエレクトロニクス株式会社 (449)
【Ｆターム（参考）】
[ Back to top ]