説明

画像処理装置及び画像処理方法

【課題】画像の変化に応じて鮮鋭化処理又はコアリング処理を制御することが可能な画像処理装置を提供すること。
【解決手段】画像処理装置は、画像データに含まれた複数フレーム間の明暗変化量を検出する検出手段と、前記検出された明暗変化量に応じて、前記画像データに対する鮮鋭化効果ゲインを制御する鮮鋭化パラメータを設定する鮮鋭化制御手段と、前記鮮鋭化パラメータに基づき前記画像データに対して鮮鋭化処理を実行する鮮鋭化処理手段と、を備えている。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像を鮮鋭化する鮮鋭化処理を実行する画像処理装置及び画像処理方法に関する。また、本発明は、画像中のノイズ成分を低減するコアリング処理を実行する画像処理装置に関する。
【背景技術】
【0002】
近年、SD(Standard Definition)規格を超える解像度を持つパーソナルコンピュータ用ディスプレイで、映像コンテンツを視聴する機会が増加している。また、プリンタ性能も向上し、高密度な印刷も可能になってきている。さらに、ハイビジョン放送の本格化に伴い、HD(High Definition)規格対応のテレビジョン受信機も一般家庭に普及してきている。
【0003】
このような高い解像度をもつ出力機器に比べて、ビデオカメラ等の撮影機器により取得された映像データやSD規格対応のテレビジョン放送、DVD等は、解像度が低い。このため、何らかの手段によって、映像データの高解像度化を図る必要がある。また、映像や画像の一部を拡大表示する場合や、ビデオカメラ使用時に、光学ズームを超えてデジタルズームによる撮影を行う場合にも、高解像度化の必要がある。
【0004】
従来、高解像度化には、線形内挿や3次元畳み込み法(Cubic Convolution)による内挿が用いられていたが、十分な鮮鋭さが得られないという問題があった。そこで、画素と画素との間に新しい画素値データを生成し、高い周波数成分を創造し、鮮鋭化することで、画像データの元の解像度を超える画像を生成する超解像化技術の研究が進められている(特許文献1、特許文献2参照)。また、上述したような映像入出力機器に対して、超解像機能を組み込むための開発も進められている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2008−067110号公報
【特許文献2】特開2008−146190号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、このような鮮鋭化処理を実際のデジタルテレビ等の出力機器に実装した場合、画像の状態によっては、この鮮鋭化処理により画質が低下することがあることがわかった。例えば、入力ソース画像にフェードイン又はフェードアウト等の急激な明るさの変化が含まれる場合に、鮮鋭化処理により画質が低下することがある。同様に、コアリング処理により画質が低下してしまうことがある。
【0007】
本発明の目的は、画像の変化に応じて鮮鋭化処理又はコアリング処理を制御することが可能な画像処理装置及び画像処理方法を提供することにある。
【課題を解決するための手段】
【0008】
本発明の一実施形態に係る画像処理装置は、画像データに含まれた複数フレーム間の明暗変化量を検出する検出手段と、前記検出された明暗変化量に応じて、前記画像データに対する鮮鋭化効果ゲインを制御する鮮鋭化パラメータを設定する鮮鋭化制御手段と、前記鮮鋭化パラメータに基づき前記画像データに対して鮮鋭化処理を実行する鮮鋭化処理手段と、を備えている。
【0009】
本発明の一実施形態に係る画像処理方法は、画像データに含まれた複数フレーム間の明暗変化量を検出し、前記検出された明暗変化量に応じて、前記画像データに対する鮮鋭化効果ゲインを制御する鮮鋭化パラメータを設定し、前記鮮鋭化パラメータに基づき前記画像データに対して鮮鋭化処理を実行する。
【発明の効果】
【0010】
本発明によれば、画像の変化に応じて鮮鋭化処理又はコアリング処理を制御することが可能な画像処理装置及び画像処理方法を提供できる。
【図面の簡単な説明】
【0011】
【図1】本発明の一実施形態に係る画像処理装置の概略構成を示す図である。
【図2】フェードアウト時の輝度ヒストグラムの変化の一例を示す図である。
【図3】ヒストグラム分布に対する重み付け処理の一例を示す図である。
【図4】フェードイン又はフェードアウト等の急な明るさの変化に応じて、超解像コアリング処理及び画像鮮鋭化処理の効果を可変制御する画質悪化防止処理の一例を示すフローチャートである。
【図5】複数フレーム間の明暗変化量(差分値)の概要を説明するための図である。
【図6】超解像コアリング処理の効果を制御するための補正パラメータを取得するための入出力変換の一例を示す図である。
【図7】画像鮮鋭化処理の効果を制御するための補正パラメータを取得するための入出力変換の一例を示す図である。
【図8】図1に示す画像処理装置が組み込まれたテレビジョン信号受信装置の概略構成を示す図である。
【図9】超解像コアリング処理モジュールの概略構成を示す図である。
【図10】垂直ノイズ低減回路(コアリング)の概略構成を示す図である。
【発明を実施するための形態】
【0012】
以下、図面を参照し、本発明の実施形態について説明する。
【0013】
図1は、本発明の一実施形態に係る画像処理装置の概略構成を示す図である。図1に示すように、画像処理装置は、ヒストグラム取得モジュール104、ヒストグラム値フレームバッファ105、輝度レベル遷移状態判定モジュール108、加算器110、117、超解像コアリング処理モジュール120、及び画像鮮鋭化処理モジュール127を備えている。
【0014】
超解像コアリング処理モジュール120には、入力映像信号101(輝度:Y)、102(色信号:Cb/Pb)、103(色信号:Cr/Pr)が入力される。同様に、ヒストグラム取得モジュール104にも、入力映像信号101、102、103が入力される。超解像コアリング処理モジュール120は、超解像コアリング処理を実行し、ここでいう超解像コアリング処理とは、超解像処理によって生じ得るノイズ成分を抑える処理を意味する。ヒストグラム取得モジュール104は、1フレーム単位で入力映像の画像の輝度分布を示すヒストグラムを取得する。
【0015】
フェードアウトする場合は、図2に示すように、各画像のヒストグラムは、次第に暗部が強くなるように変化する。逆に、フェードインする場合は、各画像のヒストグラムは、次第に明るい部分が強くなるように変化する。
【0016】
図3は、ヒストグラム分布に対する重み付け処理の一例を示す図である。図3から分かるように重み付け係数は、輝度レベルが低い値になるにしたがって、大きい値となっている。これは、フェードイン・フェードアウト時に、プレーン領域の階調差による縞模様は、輝度レベルが低い領域で目立ちやすいことに起因する。つまりプレーン領域の階調差による縞模様は、暗い側の画面において目立ちやすいから、暗い側の画面になればなるほどヒストグラム値を強調するようにしている。さらに、重み付け係数特性は、輝度レベルの高いほうは係数値が少ないので、明るい側の画面に対してはデータ量を低減していることになる。このことはデータの演算処理の負担を軽減することにもなる。
【0017】
図3に示すように、ヒストグラム取得部104は、取得したヒストグラム分布の各々のレベルの度数に対して、各々のレベルに設定された重み付け係数を乗算し、全てのレベルの度数の和を取得し、現フレームの計算値(ヒストグラム値)としてヒストグラム値フレームバッファ105へ出力する。フェードアウトの場合、現フレームの計算値は前フレームの計算値より減少する。逆にフェードアウトの場合、現フレームの計算値は前フレームの計算値より増加する。得られた計算値は現フレームの計算値としてヒストグラム値フレームバッファ105へ出力する。
【0018】
ヒストグラム値フレームバッファ105は、現フレームを含めた複数フレームのヒストグラム値をバッファリングし、輝度レベル遷移状態判定モジュール108での演算に使用する現フレームを含めた複数フレームのヒストグラム値107を輝度レベル遷移状態判定モジュール108へ送信する。
【0019】
輝度レベル遷移状態判定モジュール108は、ヒストグラム値107に基づき複数フレーム間の明暗変化量(以下で説明する差分値)を検出し、明暗変化量の検出結果に基づきフェードイン又はフェードアウト区間を検出する。フェードイン又はフェードアウト区間は、複数フレーム間のヒストグラム値の差分に基づき、同じ極性(プラス又はマイナス)が連続しているか否かで検出することができる。輝度レベル遷移状態判定モジュール108は、フェードン又はフェードアウト区間を検出したとき、当該区間で輝度変化傾斜(明暗変化量)に応じた第1の補正パラメータ(オフセットデータ)を加算器110へ出力し、また、当該区間で輝度変化傾斜(明暗変化量)に応じた第2の補正パラメータ(オフセットデータ)を加算器117へ出力する。なお、輝度レベル遷移状態判定モジュール108は、第1又は第2の補正パラメータが急激あるいは頻繁に変動しないように、修正した第1又は第2の補正パラメータを出力してもよい。
【0020】
加算器110は、超解像コアリングイニシャルパラメータ111と第1の補正パラメータとを加算し超解像コアリングパラメータを生成し、超解像コアリングパラメータを超解像コアリング処理モジュール120へ出力する。つまり、加算器110は、輝度変化傾斜(明暗変化量)に応じて補正された超解像コアリングパラメータを超解像コアリング処理モジュール120に対して設定する。
【0021】
加算器117は、画像鮮鋭化イニシャルパラメータ118と第2の補正パラメータとを加算し画像鮮鋭化パラメータを生成し、画像鮮鋭化パラメータを画像鮮鋭化処理モジュール127へ出力する。つまり、加算器117は、輝度変化傾斜(明暗変化量)に応じて補正された画像鮮鋭化パラメータを画像鮮鋭化処理モジュール127に対して設定する。
【0022】
これにより、超解像コアリング処理モジュール120は、輝度変化傾斜(明暗変化量)に応じて、超解像コアリング効果を制御することができる。つまり、超解像コアリング処理モジュール120は、フェードイン又はフェードアウト等の急な明るさの変化(一定程度以上のフェードイン又はフェードアウト)に対応して、超解像コアリング効果を強めることができる。これにより、MPEGノイズの悪化を防止することができ、ユーザーは入力画像に最適な超解像コアリング処理が適用された映像を楽しむことができる。
【0023】
また、画像鮮鋭化処理モジュール127も、輝度変化傾斜(明暗変化量)に応じて、画像鮮鋭化効果を制御することができる。つまり、画像鮮鋭化処理モジュール127も、フェードイン又はフェードアウト等の急な明るさの変化(一定程度以上のフェードイン又はフェードアウト)に対応して、画像鮮鋭化効果を制御することができる。これにより、MPEGノイズの悪化を防止することができ、ユーザーは入力画像に最適な画像鮮鋭化処理が適用された映像を楽しむことができる。
【0024】
ここで、超解像コアリング処理モジュール120及び画像鮮鋭化処理モジュール127による超解像処理について補足する。例えば、画像鮮鋭化処理モジュール127は、第1解像度である低解像度の画像信号から本来の画素値を推定して画素を増やすことにより、第2解像度である高解像度の画像信号を復元する鮮鋭化処理を行う。ここで、「本来の画素値」とは、例えば、低解像度(第1解像度)の画像信号を得たときと同じ被写体を、高解像度(第2解像度)のカメラで撮像したときに得られる画像信号の各画素が示す値をいう。また、「推定して画素を増やす」とは、対象とする画像の特徴を捉えて、同一フレーム内、またはフレーム間において相関の高い画像から、本来の画素値を推定して、新たな画素に対応付ける画素値とすることを意味する。つまり、画像の相関性を利用する。
【0025】
さらに、詳しく説明すると、まず、オリジナルの入力映像から、アップコンバート処理によって、仮のフルHD高解像度映像を作る。つまり、隣り合う画素の情報をもとに間の画素を補間し、仮のフルHD高解像度映像を作る。補間された画素は必ずしもオリジナル映像にあったものとは言えない。つまり、計算誤差によるノイズやエッジの乱れなどが発生し得る。
【0026】
次に、撮像モデル関数に基づき、仮のフルHD高解像度映像から、オリジナル映像と同じ解像度にダウンコンバートした映像を作る。撮像モデル関数とは、一般的なカメラが撮像素子の情報を映像信号に変換するのと同じ処理を計算で再現するものである。
【0027】
ダウンコンバートした映像はオリジナルの入力映像と同じものになるはずであるが、アップコンバート処理における計算誤差などのため、ダウンコンバートした映像とオリジナルの入力映像との間には相違部分が発生する。この相違部分を検出し、また、周辺の画素の情報などを参考に計算誤差が出ないように補正して、オリジナルの入力映像に近い超解像処理された出力映像が生成される。
【0028】
つまり、超解像処理とは、ダウンコンバートした映像とオリジナルの入力映像とを比較し、オリジナルの入力映像が本来持っているはずの信号を復元する技術である。なお、比較と復元の処理を繰り返すほどに、超解像処理の精度は向上する。従って、比較と復元の処理を1回だけ行う処理も超解像処理であるし、比較と復元の処理を複数回繰り返す処理も超解像処理である。時間に余裕がある場合、例えば録画した映像を後で視聴する場合には、比較と復元の処理を複数回繰り返す超解像処理を利用することができる。
【0029】
なお、本実施形態の超解像処理は、例えば、特開2007−310837号公報、特開2008−98803号公報及び特開2000−188680号公報等に開示された公知・公用の技術も含む。本実施形態の超解像処理としては、例えば、入力画像の標本化周期で決まるナイキスト周波数より高い周波数成分を有する画像を復元する技術を用いることができる。
【0030】
例えば、特開2007−310837号公報に開示された超解像処理を用いる場合には、複数の中解像度フレームのそれぞれに対してフレーム中の注目画素を含む注目画像領域中の画素値の変化パターンに最も近い複数の注目画像領域に対応する複数の対応点を基準フレームの中から選択し、対応点での輝度の標本値を対応点に対応している注目画素の画素値に設定し、複数の標本値の大きさと、複数の対応点の配置とに基づいて、基準フレームの画素数よりも多い画素数の高解像度フレームであって基準フレームに対応する高解像度フレームの画素値を算出することにより、低解像度の画像信号から本来の画素値を推定して画素を増やすことにより、高解像度の画像信号を復元する。
【0031】
また、特開2008−98803号公報に開示された同一フレーム画像内の自己合同位置探索を利用した超解像処理を用いる場合には、中解像度フレームの探索領域の各画素の誤差を比較して最小となる第1の画素位置を算出し、第1の画素位置、及びこの第1の誤差、並びに第1の画素の周辺の第2の画素位置、及びこの第2の誤差に基づいて、探索領域のなかで誤差が最小となる位置を小数精度で算出する。そして、この位置を終点、及び注目画素を始点とする小数精度ベクトルを算出し、この小数精度ベクトルを用いて、探索領域に含まれない画面上の画素を終点とする小数精度ベクトルの外挿ベクトルを算出する。そして、小数精度ベクトル、外挿ベクトル、及び画像信号から取得された画素値に基づいて、画像信号に含まれる画素数よりも多い画素数の高解像度画像の画素値を算出する。本実施形態の超解像処理は、このような処理を行うことにより、低解像度の画像信号から本来の画素値を推定して画素を増やすことにより、高解像度の画像信号を復元する。
【0032】
また、特開2000−188680号公報に開示された複数フレーム画像間でのマッピングを利用した超解像処理を用いることもできる。
【0033】
また、本実施形態の超解像処理では、引き伸ばした映像に独自のアルゴリズムを加えることで一度低解像度映像に変換、さらにその映像をオリジナルの入力映像と比較して差分を検出して更に補正処理を施すことで、高画質処理がされてもよい。
【0034】
ただし、本実施形態の超解像処理の手法は、上記に限定されるものではなく、低解像度の画像信号から本来の画素値を推定して画素を増やすことにより、高解像度の画像信号を復元する処理であったり、あらゆる手法を適用することができる。
【0035】
以下、超解像コアリング処理及び画像鮮鋭化処理の効果を可変制御する処理をさらに詳細に説明する。
【0036】
図4は、フェードイン又はフェードアウト等の急な明るさの変化に応じて、超解像コアリング処理及び画像鮮鋭化処理の効果を可変制御する画質悪化防止処理の一例を示すフローチャートである。なお、本実施形態では、急な明るさの変化に応じて、超解像コアリング処理及び画像鮮鋭化処理の二つの処理を可変制御する画質悪化防止処理について説明する。しかし、本発明はこれに限定されるものではない。例えば、以下説明する画質悪化防止処理が、急な明るさの変化に応じて、超解像コアリング処理及び画像鮮鋭化処理のどちらか一方だけの効果を可変制御してもよい。また、以下説明する画質悪化防止処理は、超解像コアリング処理及び画像鮮鋭化処理以外の画像処理に対して適用することもできる。
【0037】
図4に示すように、ステップSA1では、mフレーム分のヒストグラム値(DIN(1)-DIN(m))が取得される。次に、ステップSA2、ステップSA3、ステップSA4により、フレーム(i=1)〜フレーム(i=n)の各々のヒストグラム値に対してdフレーム過去のヒストグラム値との差分値(DΔ(1〜n))を取得している。なおm=n+d、または、m>n+d、である。
【0038】
図5は、バッファリングされたmフレーム分のヒストグラム値(DIN(1)-DIN(m))と、フレーム(i=1)〜フレーム(i=n)のヒストグラム値を用いて差分値(DΔ(1〜n))が取得される様子を示している。
【0039】
差分値(DΔ(1〜n))が取得されると、図4のステップSA5で、差分値の極性が連続して一致しているか否か判定される。全ての極性が一致するということは、数フレームに渡って、画面が連続して明るいほうから暗くなっている(フェードアウト)、あるいは暗いほうから明るくなっている(フェードイン)ということである。このときは、差分値(DΔ(1〜n))の絶対値を全て加算し、加算値をDΔallとして設定する(ステップSA6)。極性が一致しない場合には、0をDΔallとして設定する(ステップSA7)。
【0040】
続いて、DΔallに基づき、図6に示す入出力変換C1を経て、第1の補正パラメータを出力する(ステップSA8)。同様に、DΔallに基づき、図7に示す入出力変換C2を経て、第2の補正パラメータを出力する(ステップSA9)。
【0041】
図6は、ステップSA8の入出力変換C1の一例を示す図である。入出力変換C1では、入力−出力のスレッシュレベル(閾値)を2点とした変換関数を挙げている。図6に示すように、IN1に対してOUT1を、IN2に対してOUT2を設定する。なお、図6に示す入力スレッシュレベルと出力レベルの関係は一例であり、画質悪化防止効果を引き出すために、自由に変更することができる。
【0042】
図6に示すように、IN1とIN2の間のような入力値(IN1以上且つIN2以下)に関しては線形補間を行うことでOUT1からOUT2へ遷移する値を出力する。入力値がIN1未満の場合は、常にOUT1を出力する。また入力値がIN2を超える場合は、OUT2を常に出力する。
【0043】
入出力変換C1(ステップSA8)により得られた値を、超解像コアリング処理モジュール120への第1の補正パラメータとして加算器110へ出力する。加算器110は、超解像コアリングイニシャルパラメータ111と第1の補正パラメータとを加算し超解像コアリングパラメータ(超解像コアリングオフセットパラメータ)を生成し、超解像コアリングパラメータを超解像コアリング処理モジュール120へ出力する(ステップSA10)。
【0044】
つまり、超解像コアリング処理モジュール120に入力される超解像コアリングパラメータは、以下のようになる。
【0045】
(1)IN1未満の第1の明暗変化量の検出時には、第1のコアリング効果を得るための第1の超解像コアリングパラメータが設定される。
【0046】
(2)IN2より大きい第2の明暗変化量の検出時には、第1のコアリング効果より大きい第2のコアリング効果を得るための第2の超解像コアリングパラメータが設定される。
【0047】
(3)IN1以上でIN2以下の第3の明暗変化量の検出に基づき、第1のコアリング効果より大きく第2のコアリング効果より小さい第3のコアリング効果を得るためのコアリングパラメータであって、且つ第3の明暗変化量の増加に応じて増加する第3のコアリング効果を得るための第3のコアリングパラメータが設定される。
【0048】
これにより、超解像コアリング処理モジュール120は、フェードイン又はフェードアウト区間等の明るさの変化に応じて補正された超解像コアリングパラメータ(超解像コアリングオフセットパラメータ)に基づき、明るさの変化に応じた超解像コアリング処理を実行することができる(ステップSA12)。つまり、フェードイン又はフェードアウト区間等の明るさの変化に応じて、超解像コアリングの効果を強め、MPEGノイズの悪化を防止することができる。図1に示すように、超解像コアリング処理モジュール120は、入力映像信号101、102、103に対応した超解像コアリング処理済み映像信号103(輝度:Y’)、104(色信号:Cb’/Pb’)、105(色信号:Cr’/Pr’)を出力する。
【0049】
図7は、ステップSA9の入出力変換C2の一例を示す図である。入出力変換C2では、入力−出力のスレッシュレベル(閾値)を2点とした変換関数を挙げている。図7に示すように、IN1に対してOUT1を、IN2に対してOUT2を設定する。なお、図7に示す入力スレッシュレベルと出力レベルの関係は一例であり、画質悪化防止効果を引き出すために、自由に変更することができる。
【0050】
図7に示すように、IN1とIN2の間のような入力値(IN1以上且つIN2以下)に関しては線形補間を行うことでOUT1からOUT2へ遷移する値を出力する。入力値がIN1未満の場合は、常にOUT2を出力する。また入力値がIN2を超える場合は、OUT1を常に出力する。
【0051】
入出力変換C2(ステップSA9)により得られた値を、画像鮮鋭化処理モジュール127への第2の補正パラメータとして加算器117へ出力する。加算器117は、画像鮮鋭化イニシャルパラメータ118と第2の補正パラメータとを加算し画像鮮鋭化パラメータ(画像鮮鋭化オフセットパラメータ)を生成し、画像鮮鋭化パラメータを画像鮮鋭化処理モジュール127へ出力する(ステップSA11)。
【0052】
つまり、画像鮮鋭化処理モジュール127に入力される画像鮮鋭化パラメータは、以下のようになる。
【0053】
(1)IN1未満の第1の明暗変化量の検出時には、第1の鮮鋭化効果ゲインを得るための第1の鮮鋭化パラメータが設定される。
【0054】
(2)IN2より大きい第2の明暗変化量の検出時には、第1の鮮鋭化効果ゲインより小さい第2の鮮鋭化効果ゲインを得るための第2の鮮鋭化パラメータが設定される。
【0055】
(3)IN1以上でIN2以下の第3の明暗変化量の検出に基づき、第1の鮮鋭化効果ゲインより小さく第2の鮮鋭化効果ゲインより大きい第3の鮮鋭化効果ゲインを得るための鮮鋭化パラメータであって、且つ第3の明暗変化量の増加に応じて減少する第3の鮮鋭化効果ゲインを得るための第3の鮮鋭化パラメータが設定される。
【0056】
これにより、画像鮮鋭化処理モジュール127は、フェードイン又はフェードアウト区間等の明るさの変化に応じて補正された画像鮮鋭化パラメータ(画像鮮鋭化オフセットパラメータ)に基づき、明るさの変化に応じた画像鮮鋭化処理を実行することができる(ステップSA13)。つまり、フェードイン又はフェードアウト区間等の明るさの変化に応じて、画像鮮鋭化ゲインを下げて、MPEGノイズの悪化を防止することができる。図1に示すように、画像鮮鋭化処理モジュール127は、超解像コアリング処理済み映像信号103、104、105に対応した画像鮮鋭化処理済み映像信号120(輝度:Y’’)、121(色信号:Cb’’/Pb’’)、122(色信号:Cr’’/Pr’’)を出力する。
【0057】
上記説明した画像処理装置は、MPEGノイズが出やすい状況(フェードイン又はフェードアウト区間)を検出することができ、この検出時に超解像コアリングの効果を強め画像鮮鋭化ゲインを下げることができる。これにより、その他の画像に影響することなしに、フェードイン又はフェードアウト区間に発生するMPEGノイズを軽減できる。
【0058】
上記説明した画像処理装置を適用しなければ、例えば、超解像コアリングパラメータおよび画像鮮鋭化パラメータは固定されたままとなり、MPEGノイズが出やすい状況で、MPEGノイズを強調してしまうことになる。
【0059】
図8は、図1に示す画像処理装置が組み込まれたテレビジョン信号受信装置の概略構成を示す図である。
【0060】
図8に示すようにテレビジョン信号受信装置は、信号処理モジュール34を備え、信号処理モジュール34は、図1に示す画像処理装置を画像処理モジュールとして含む。デジタルテレビジョン放送受信用のアンテナ22で受信したデジタルテレビジョン放送信号は、入力端子23を介してチューナ24に供給される。このチューナ24は、入力されたデジタルテレビジョン放送信号から所望のチャンネルの信号を選局し復調している。そして、このチューナ24から出力された信号は、デコーダ25に供給されて、MPEGデコーダ41等により、MPEG(moving picture experts group)2デコード処理される。
【0061】
またチューナ24の出力は、セレクタ26にも供給されている。この信号から映像・音声情報などが分離され、この映像・音声情報が制御部35を介して記憶部において記録されることも可能である。
【0062】
さらに、アナログテレビジョン放送受信用のアンテナ27で受信したアナログテレビジョン放送信号は、入力端子28を介してチューナ29に供給される。このチューナ29は、入力されたアナログテレビジョン放送信号から所望のチャンネルの信号を選局し復調している。そして、このチューナ29から出力された信号は、A/D(analog/digital)変換部30によりデジタル化された後、上記セレクタ26に出力される。
【0063】
また、アナログ信号用の入力端子31に供給されたアナログの映像及び音声信号は、A/D変換部32に供給されてデジタル化された後、上記セレクタ26に出力される。さらに、デジタル信号用の入力端子33に供給されたデジタルの映像及び音声信号は、そのまま上記セレクタ26に供給される。
【0064】
A/D変換された信号が、記憶部にて記録される場合は、セレクタ26に付随しているMPEGエンコーダ42により、所定のフォーマット例えばMPEG(moving picture experts group)2方式による圧縮処理が施された後、記憶部にて記録される。
【0065】
上記セレクタ26は、4箇所の入力デジタル映像及び音声信号から1つを選択して、信号処理モジュール34に供給している。この信号処理モジュール34は、入力されたデジタル映像信号に所定の信号処理を施して上記映像表示器14での映像表示に供させている。この映像表示部14としては、例えば、液晶ディスプレイやプラズマディスプレイ等でなるフラットパネルディスプレイが採用される。また、信号処理モジュール34は、入力されたデジタル音声信号に所定の信号処理を施し、アナログ化してスピーカ15に出力することにより、音声再生を行なっている。
【0066】
ここで、このテレビジョン信号受信装置は、上記した各種の受信動作を含む種々の動作を制御部35によって統括的に制御されている。この制御部35は、CPU(central processing unit)等を内蔵したマイクロプロセッサであり、操作部16や操作子(図示せず)からの操作情報、または、上記リモートコントローラ17から送信された操作情報を受光部18で受けて処理することにより、その操作内容が反映されるように各部をそれぞれ制御している。
【0067】
この場合、制御部35は、メモリ36を使用している。このメモリ36は、主として、そのCPUが実行する制御プログラムを格納したROM(read only memory)と、該CPUに作業エリアを提供するためのRAM(random access memory)と、各種の設定情報及び制御情報等が格納される不揮発性メモリとを備えている。
【0068】
次に、図9及び図10を参照して、超解像コアリング処理について説明する。例えば、図9に示すように、超解像コアリング処理モジュール120は構成されている。入力映像信号は、水平ノイズ低減回路1202、フレーム遅延回路1205、フレーム間差分情報計数回路1206に入力される。
【0069】
水平ノイズ低減回路1202は、例えばクロック遅延素子と係数器を用いたフィルタであり、水平方向の水平ライン上のノイズの低減処理を行う。水平ノイズ低減回路1202の出力は、5タップライン遅延回路1203に入力される。5タップライン遅延回路1203は、複数のライン遅延回路を用いて、水平ラインを5ライン分同時化する。この同時化されたライン信号は、垂直ノイズ低減回路1204に入力され、垂直方向のノイズ低減処理が行われ、出力端子に出力される。
【0070】
ここで、上記した水平ノイズ低減回路1202、及び垂直ノイズ低減回路1204に対しては、そのノイズ低減量を制御するために、上記した超解像コアリングパラメータが入力されている。水平ノイズ低減回路1202は、超解像コアリングパラメータに基づき、ノイズ低減レベルが制御され、水平方向の高域成分のコアリング処理によりノイズを低減している。また、垂直ノイズ低減回路1204も、超解像コアリングパラメータに基づき、ノイズ低減レベルが制御され、垂直方向の高域成分のコアリング処理によりノイズを低減している。
【0071】
図10は、図9に示す垂直ノイズ低減回路1204の一例を示す図である。5タップライン遅延回路1203からの信号は、垂直バンドパスフィルタ1204aに入力される。垂直バンドバスフィルタ1204aは、入力信号を用いてフィルタリング処理を行い、ノイズ成分が含まれる垂直高域成分を抽出する。この垂直高域成分は、リミッタ1204bに入力され、超解像コアリングパラメータにより、例えば振幅制限を受けて、減算器1204cに入力される。減算器1204cでは、ライン遅延出力信号のセンタータップの信号からリミッタ1204bの出力を減算し、垂直高域成分であるノイズを低減する。これにより、減算器1204cからは、高域コアリング方式よるノイズ低減された映像信号を得ることができる。リミッタ1204cの出力の振幅の大きさが、ノイズ低減の程度となる。
【0072】
なお、本願発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は可能な限り適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適当な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
【符号の説明】
【0073】
104…ヒストグラム取得モジュール、105…ヒストグラム値フレームバッファ、108…輝度レベル遷移状態判定モジュール、120…超解像コアリング処理モジュール、127…画像鮮鋭化処理モジュール

【特許請求の範囲】
【請求項1】
画像データに含まれた複数フレーム間の明暗変化量を検出する検出手段と、
前記検出された明暗変化量に応じて、前記画像データに対する鮮鋭化効果ゲインを制御する鮮鋭化パラメータを設定する鮮鋭化制御手段と、
前記鮮鋭化パラメータに基づき前記画像データに対して鮮鋭化処理を実行する鮮鋭化処理手段と、
を備えたことを特徴とする画像処理装置。
【請求項2】
画像データに含まれた複数フレーム間の明暗変化量を検出する検出手段と、
前記検出された明暗変化量に応じて、前記画像データに対するコアリング効果を制御するコアリングパラメータを設定するコアリング制御手段と、
前記コアリングパラメータに基づき前記画像データに対してコアリング処理を実行するコアリング処理手段と、
を備えたことを特徴とする画像処理装置。
【請求項3】
前記検出された明暗変化量に応じて、前記画像データに対するコアリング効果を制御するコアリングパラメータを設定するコアリング制御手段と、
前記コアリングパラメータに基づき前記画像データに対してコアリング処理を実行するコアリング処理手段と、
を備えたことを特徴とする請求項1に記載の画像処理装置。
【請求項4】
前記鮮鋭化制御手段は、第1の明暗変化量の検出に基づき第1の鮮鋭化効果ゲインを得るための第1の鮮鋭化パラメータを設定し、前記第1の明暗変化量より大きい第2の明暗変化量の検出に基づき前記第1の鮮鋭化効果ゲインより小さい第2の鮮鋭化効果ゲインを得るための第2の鮮鋭化パラメータを設定し、
前記鮮鋭化処理手段は、前記第1又は第2の鮮鋭化パラメータに基づき前記画像データに対して鮮鋭化処理を実行する、
ことを特徴とする請求項1又は3に記載の画像処理装置。
【請求項5】
前記コアリング制御手段は、第1の明暗変化量の検出に基づき第1のコアリング効果を得るための第1のコアリングパラメータを設定し、前記第1の明暗変化量より大きい第2の明暗変化量の検出に基づき前記第1のコアリング効果より大きい第2のコアリング効果を得るための第2のコアリングパラメータを設定し、
前記鮮鋭化処理手段は、前記第1又は第2のコアリングパラメータに基づき前記画像データに対してコアリング処理を実行する、
ことを特徴とする請求項2又は3に記載の画像処理装置。
【請求項6】
前記鮮鋭化制御手段は、
第1の閾値及びこの第1の閾値より大きい第2の閾値を設定し、
前記第1の閾値未満の第1の明暗変化量の検出に基づき第1の鮮鋭化効果ゲインを得るための第1の鮮鋭化パラメータを設定し、
前記第2の閾値より大きい第2の明暗変化量の検出に基づき前記第1の鮮鋭化効果ゲインより小さい第2の鮮鋭化効果ゲインを得るための第2の鮮鋭化パラメータを設定し、
前記第1の閾値以上で前記第2の閾値以下の第3の明暗変化量の検出に基づき、前記第1の鮮鋭化効果ゲインより小さく前記第2の鮮鋭化効果ゲインより大きい第3の鮮鋭化効果ゲインを得るための鮮鋭化パラメータであって、且つ前記第3の明暗変化量の増加に応じて減少する前記第3の鮮鋭化効果ゲインを得るための第3の鮮鋭化パラメータを生成し、
前記鮮鋭化処理手段は、
前記第1、第2、又は第3の鮮鋭化パラメータに基づき前記画像データに対して鮮鋭化処理を実行する、
ことを特徴とする請求項1又は3に記載の画像処理装置。
【請求項7】
前記コアリング制御手段は、
第1の閾値及びこの第1の閾値より大きい第2の閾値を設定し、
前記第1の閾値未満の第1の明暗変化量の検出に基づき第1のコアリング効果を得るための第1のコアリングパラメータを設定し、
前記第2の閾値より大きい第2の明暗変化量の検出に基づき前記第1のコアリング効果より大きい第2のコアリング効果を得るための第2のコアリングパラメータを設定し、
前記第1の閾値以上で前記第2の閾値以下の第3の明暗変化量の検出に基づき、前記第1のコアリング効果より大きく前記第2のコアリング効果より小さい第3のコアリング効果を得るためのコアリングパラメータであって、且つ前記第3の明暗変化量の増加に応じて増加する前記第3のコアリング効果を得るための第3のコアリングパラメータを生成し、
前記コアリング処理手段は、前記第1、第2、又は第3のコアリングパラメータに基づき前記画像データに対してコアリング処理を実行する、
ことを特徴とする請求項2又は3に記載の画像処理装置。
【請求項8】
放送信号から所望チャンネルの信号を選局する選局手段を備え、
前記検出手段は、前記選局された信号中の画像データに含まれた複数フレーム間の明暗変化量を検出する、
ことを特徴とする請求項1に記載の画像処理装置。
【請求項9】
画像データに含まれた複数フレーム間の明暗変化量を検出し、
前記検出された明暗変化量に応じて、前記画像データに対する鮮鋭化効果ゲインを制御する鮮鋭化パラメータを設定し、
前記鮮鋭化パラメータに基づき前記画像データに対して鮮鋭化処理を実行する、
を備えたことを特徴とする画像処理方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate


【公開番号】特開2010−198346(P2010−198346A)
【公開日】平成22年9月9日(2010.9.9)
【国際特許分類】
【出願番号】特願2009−42705(P2009−42705)
【出願日】平成21年2月25日(2009.2.25)
【出願人】(000003078)株式会社東芝 (54,554)
【Fターム(参考)】