説明

映像処理装置及び映像処理方法

【課題】撮像ぼけ補正に優れた映像処理装置を提供することにある。
【解決手段】映像処理装置は、映像信号を入力する入力手段と、前記映像信号に含まれた水平方向の画素と垂直方向の画素に対して鮮鋭化処理を実行し、撮像モデル関数に基づいて前記水平方向の画素と前記垂直方向の画素に対して撮像ぼけ補正を実行する映像処理手段と、を備えている。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、映像品質を改善する映像処理装置及び映像処理方法に関する。
【背景技術】
【0002】
近年、標準解像度映像(SD(Standard Definition)映像:480×480〜720×480)を超える解像度を有するパーソナルコンピュータ用ディスプレイで、映像コンテンツを視聴する機会が増加している。また、ハイビジョン放送の本格化に伴い、準高解像度映像(1440×1080)及び高解像度映像(フルHD(Full High Definition)映像:1920×1080)対応のテレビジョン受信機も一般家庭に普及してきている。これに伴い、DVDビデオなどのSD映像、又は地上デジタル放送などの準高解像度映像を高解像度映像に変換するアップコンバート技術が提案されている。
【0003】
特許文献1には、低解像度画像から高解像度画像へ変換する際に、補間ぼけやジャギーを生じることなく高画質な画像を得ることができる画像処理装置が開示されている。この画像処理装置は、人工的に作成された文字、線画像等と自然画像が同じ一枚の画像中に混在している場合でも、文字及び線画像部分のエッジを再現し、自然画像部分の補間ぼけを抑制した画像を生成できる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2001−189851号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところで、ビデオカメラを用いて撮影した実写映像には、撮像素子及びレンズ等の性質に起因する撮像ぼけが生じることがあり、このような撮像ぼけを効率良く低減する技術が要望されている。
【0006】
また、このような撮像ぼけは、全ての映像コンテンツにおいて発生するわけではない。テレビジョン放送番組等の映像コンテンツには、異なる性質の映像が含まれる。例えば、実写映像による映像コンテンツ(実写映像コンテンツ)と、アニメーションやCG等による映像コンテンツ(グラフィックス映像コンテンツ)とが存在する。グラフィックス映像コンテンツには撮像ぼけが生じないことが知られている。したがって、グラフィックス映像コンテンツに対して撮像ぼけ補正を適用する必要はない。
【0007】
本発明の目的は、撮像ぼけ補正に優れた映像処理装置及び映像処理方法を提供することにある。
【課題を解決するための手段】
【0008】
本発明の一実施形態に係る映像処理装置は、映像信号を入力する入力手段と、前記映像信号に含まれた水平方向の画素と垂直方向の画素に対して鮮鋭化処理を実行し、撮像モデル関数に基づいて前記水平方向の画素と前記垂直方向の画素に対して撮像ぼけ補正を実行する映像処理手段とを備えている。
【0009】
本発明の一実施形態に係る映像処理方法は、映像信号に含まれた水平方向の画素と垂直方向の画素に対して鮮鋭化処理を実行し、撮像モデル関数に基づいて前記水平方向の画素と前記垂直方向の画素に対して撮像ぼけ補正を実行する。
【発明の効果】
【0010】
本発明によれば、撮像ぼけ補正に優れた映像処理装置及び映像処理方法を提供できる。
【図面の簡単な説明】
【0011】
【図1】本発明の第1〜第5の実施形態に共通する映像処理装置の全体構成を示すブロック図。
【図2】本発明の第1の実施形態に係る映像処理装置の一部構成を示すブロック図。
【図3】本発明の第1〜第5の実施形態の映像処理装置に入力される実写映像のヒストグラムを示す図。
【図4】本発明の第1〜第5の実施形態の映像処理装置に入力されるグラフィックス映像のヒストグラムを示す図。
【図5】図2に示すヒストグラム検出部に設けられるグラフィックス判定部による判定の例を説明する図。
【図6】本発明の第1〜第5の実施形態の映像処理装置で用いられる実写映像及びグラフィックス映像の撮像モデル関数の例を説明する図。
【図7】本発明の第1〜第5の実施形態の映像処理装置によって表示されるアニメモード設定画面の例を示す図。
【図8】本発明の第1〜第5の実施形態の映像処理装置による鮮鋭化処理の手順の例を示すフローチャート。
【図9】本発明の第1〜第5の実施形態の映像処理装置によるグラフィックス判定処理の手順の例を示すフローチャート。
【図10】本発明の第2の実施形態の映像処理装置の一部構成を示すブロック図。
【図11】本発明の第2の実施形態の映像処理装置による鮮鋭化処理の手順の例を示すフローチャート。
【図12】本発明の第1〜第5の実施形態の映像処理装置の可変フィルタ特性の一例を示す図。
【図13】グラフィクス以外の映像に適用されるフィルタ制御パラメータの一例を示す図。
【図14】グラフィクス映像に適用されるフィルタ制御パラメータの一例を示す図。
【図15】本発明の第3の実施形態の映像処理装置の一部構成を示すブロック図。
【図16】グラフィクス以外の映像に適用されるフィルタ制御パラメータの一例を示す図。
【図17】グラフィクス映像に適用されるフィルタ制御パラメータの一例を示す図。
【図18】本発明の第4の実施形態の映像処理装置の一部構成を示すブロック図。
【図19】本発明の第5の実施形態の映像処理装置の一部構成を示すブロック図。
【図20】本発明の第6の実施形態の映像処理装置の一部構成を示すブロック図。
【図21】グラフィクス以外の映像に適用されるフィルタ制御パラメータの一例を示す図。
【図22】グラフィクス映像に適用されるフィルタ制御パラメータの一例を示す図。
【発明を実施するための形態】
【0012】
以下、図面を参照し、本発明の実施形態について説明する。
【0013】
まず、図1を参照して、本発明の第1〜第5の実施形態に共通する映像処理装置(デジタルテレビジョン受信機11)の全体構成を説明する。
【0014】
デジタルテレビジョン受信機11は、映像表示部14、スピーカ15、操作部16、受光部18、放送信号入力端子48,53、アナログ信号入力端子60、出力端子63,64、チューナ49,54,56、PSK復調器50、OFDM復調器55、アナログ復調器57、信号処理部51、音声処理部59、グラフィック処理部58、映像処理部62、OSD信号生成部61、制御部65等を備える。
【0015】
また、放送信号入力端子48及び放送信号入力端子53には、それぞれBS/CSデジタル放送受信用アンテナ47及び地上波放送受信用アンテナ52が接続される。受光部18は、リモートコントローラ17から出力される信号を受信する。
【0016】
制御部65は、デジタルテレビジョン受信機11内の各部の動作を制御する。制御部65は、CPU69、ROM66、RAM67、及び不揮発性メモリ68を備える。ROM66は、CPU69によって実行される制御プログラムを格納する。不揮発性メモリ68は、各種の設定情報及び制御情報を格納する。CPU69は、処理に必要な命令群及びデータをRAM67にロードし、処理を実行する。
【0017】
制御部65には、操作部16による操作情報、もしくは受光部18で受信されるリモートコントローラ17による操作情報が入力される。制御部65は、この操作内容を反映した各部の制御を行う。
【0018】
BS/CSデジタル放送受信用アンテナ47は、衛星デジタルテレビジョン放送信号を受信する。BS/CSデジタル放送受信用アンテナ47は、受信した衛星デジタルテレビジョン放送信号を、入力端子48を介して衛星デジタル放送用のチューナ49に出力する。チューナ49は、この放送信号からユーザが選択しているチャンネルの放送信号を選局する。チューナ49は、選局した放送信号をPSK復調器50に出力する。PSK(Phase Shift Keying)復調器50は、チューナ49により選局された放送信号をデジタルの映像信号及び音声信号に復調する。PSK復調器50は、復調したデジタルの映像信号及び音声信号を信号処理部51に出力する。
【0019】
地上波放送受信用アンテナ52は、地上デジタルテレビジョン放送信号及び地上アナログテレビジョン放送信号を受信する。地上波放送受信用アンテナ52は、地上デジタルテレビジョン放送信号を、入力端子53を介してチューナ54に出力する。チューナ54は、この放送信号からユーザが選択しているチャンネルの放送信号を選局する。チューナ54は、選局した放送信号をOFDM復調器55に出力する。OFDM(Orthogonal Frequency Division Multiplexing)復調器55は、チューナ54により選局された放送信号をデジタルの映像信号及び音声信号に復調する。OFDM復調器55は復調したデジタルの映像信号及び音声信号を信号処理部51に出力する。
【0020】
また、地上波放送受信用アンテナ52は、地上アナログテレビジョン放送信号を、入力端子53を介して地上アナログ放送用のチューナ56に出力する。チューナ56は、この放送信号からユーザが選択しているチャンネルの放送信号を選局する。チューナ56は選局した放送信号をアナログ復調器57に出力する。アナログ復調器57は、チューナ56により選局された放送信号をアナログの映像信号及び音声信号に復調する。アナログ復調器57は、復調したアナログの映像信号及び音声信号を信号処理部51に出力する。
【0021】
また、信号処理部51には、入力端子60が接続される。この入力端子60は、デジタルテレビジョン受信機11に対して、外部からアナログの映像信号及び音声信号を入力するための端子である。信号処理部51は、アナログ復調器57又は入力端子60を介して入力されたアナログの映像信号及び音声信号を、それぞれデジタルの映像信号及び音声信号に変換する。
【0022】
信号処理部51は、変換されたデジタルの映像信号及び音声信号、並びにPSK復調器50又はOFDM復調器55から入力されたデジタルの映像信号及び音声信号に対して所定のデジタル信号処理を施す。信号処理部51は、所定のデジタル信号処理を施した映像信号及び音声信号を、グラフィック処理部58及び音声処理部59に出力する。
【0023】
グラフィック処理部58は、信号処理部51から出力されるデジタル映像信号に、OSD(On Screen Display)信号生成部61で生成されるメニュー等のOSD信号を重畳する。グラフィック処理部58は、OSD信号が重畳された映像信号を映像処理部62に出力する。また、グラフィック処理部58は、信号処理部51の出力である映像信号と、OSD信号生成部61の出力であるOSD信号とを選択的に出力してもよい。
【0024】
映像処理部62は、入力されたデジタル映像信号を、映像表示部14で表示可能なアナログ映像信号に変換する。映像処理部62は、このアナログ映像信号を映像表示部14に出力する。映像表示部14は、入力されたアナログ映像信号に基づいて映像を表示する。映像処理部62はさらに、出力端子63を介してアナログ映像信号を外部に導出してもよい。
【0025】
音声処理部59は、入力されたデジタル音声信号を、スピーカ15で再生可能なアナログ音声信号に変換する。音声処理部59は、このアナログ音声信号をスピーカ15に出力する。スピーカ15は、入力されたアナログ音声信号に基づいて音声を再生する。音声処理部59はさらに、出力端子64を介してアナログ音声信号を外部に導出してもよい。
【0026】
信号処理部51は、ヒストグラム検出部104を備える。また、映像処理部62は、鮮鋭化処理部108を備える。信号処理部51では、処理対象の映像信号のうち、輝度信号Yがヒストグラム検出部104に入力される。ヒストグラム検出部104は、輝度信号Yからヒストグラムを生成し、生成したヒストグラムに基づいて、鮮鋭化処理部108による鮮鋭化に用いるパラメータを生成する。映像処理部62では、輝度信号Y、色差信号Cb/Pb、及び色差信号Cr/Prから構成される映像信号が鮮鋭化処理部108に入力される。鮮鋭化処理部108は、ヒストグラム検出部104により生成されたパラメータに基づいて映像信号を鮮鋭化し、また映像の種別に応じて映像信号の撮像ぼけを低減補正する。
【0027】
図2は、ヒストグラム検出部104及び鮮鋭化処理部108の構成を示すブロック図である。
【0028】
ヒストグラム検出部104は、映像信号101(例えば輝度信号Y)が入力されたことに応答して処理を開始する。ヒストグラム検出部104は、映像信号101の画素の輝度レベルに基づいて、ヒストグラムを生成する。具体的には、ヒストグラム検出部104は、映像信号101のフレーム毎に、輝度レベル毎の画素数を算出する。以下では、輝度レベルがn段階に分割されることを想定する。なお、輝度レベルの分割数nは十分に細かいものとする(例えば、n=256)。また、輝度レベル毎の画素数をDIN(i)と表す。なお、iは輝度レベルを表し、1からnの値を取り得る。
【0029】
ヒストグラム検出部104は、グラフィックス判定部119(判定手段)及び周波数状態判定部105(制御手段)を備える。グラフィックス判定部119は、算出された輝度レベル毎の画素数(ヒストグラム)に基づいて、入力映像信号の種別を判定する。例えば、グラフィックス判定部119は、映像信号がグラフィック映像なのか、又はグラフィック以外の映像なのかを判定する。グラフィック以外の映像としては、実写映像がある。実写映像とは、ビデオカメラ等を用いて撮影された映像である。グラフィックス映像とは、アニメーションやCG等を用いて作成された映像である。
【0030】
ヒストグラムは、入力映像信号の性質によって異なる傾向を示す。図3及び図4はそれぞれ、グラフィック以外の映像の映像フレームのヒストグラムの例とグラフィックス映像の映像フレームのヒストグラムの例とを示す。
【0031】
グラフィック以外の映像フレームでは、図3に示すように、輝度レベル毎の画素数はなだらかに分布する傾向を示す。換言すると、グラフィック以外の映像フレームでは、輝度レベル毎の画素数は連続的に変化する。したがって、隣り合う輝度レベル間で画素数が大きく変動する可能性は低い。
【0032】
グラフィックス映像の映像フレームでは、図4に示すように、ピーク毎に分かれる分布をとる傾向がある。換言すると、グラフィックス映像の映像フレームでは、輝度レベル毎の画素数は離散的に変化する。したがって、隣り合う輝度レベル間で画素数が大きく変動する可能性は高い。
【0033】
そこで、グラフィックス判定部119は、上述の特徴、すなわちヒストグラムの傾向を利用して入力映像信号がグラフィックス映像であるか又はグラフィックス以外の映像であるかを判定する。グラフィックス判定部119は、隣り合う輝度レベル間で、輝度レベル毎の画素数の差の絶対値を算出し、算出した絶対値の総和を算出し、算出した総和に基づいて入力映像信号がグラフィックス映像であるか又はグラフィックス以外の映像であるかを判定する。上述の特徴から、算出した総和は、グラフィックス以外の映像では小さな値をとり、グラフィックス映像では大きな値をとる可能性が高い。したがって、グラフィックス判定部119は、図5に示すように、算出した総和が第1のしきい値THより大きい場合に、映像信号をグラフィックス映像であると判定し(グラフィックス判定オン)、算出した総和が第2のしきい値THより小さい場合に、映像信号をグラフィックス以外の映像であると判定する(グラフィックス判定オフ)。グラフィックス判定部119は、第1のしきい値及び第2のしきい値の2つのしきい値を用いて判定を行うことによって、算出した総和がしきい値に近い値をとる際に、判定がふらつくことを抑制する。つまり、2つのしきい値を用いて判定を行うことで、グラフィックス判定部119にヒステリシス特性を持たせている。
【0034】
以下では、グラフィックス判定部119による具体的な判定方法について説明する。
【0035】
まず、グラフィックス判定部119は、算出された輝度レベル毎の画素数DIN(i)からしきい値αを引いた値を次式のように算出する。
【0036】
DIN(i)=DIN(i)−α
但し、上式により算出されたDIN(i)が0未満である場合、
DIN(i)=0
とする。このしきい値αを用いた減算は、映像信号に含まれるノイズ成分の影響を低減するために行われる。
【0037】
そして、グラフィックス判定部119は、隣り合う輝度レベル間で、算出したDIN(i)の差の絶対値を算出する。グラフィックス判定部119は、各輝度レベルについて算出したDIN(i)の差の絶対値の和Dgtotalを算出する。すなわち、グラフィックス判定部119は、次式によりDgtotalを算出する。
【数1】

【0038】
次いで、グラフィックス判定部119は、算出したDgtotalに基づいて、映像信号がグラフィックス映像又はグラフィックス以外の映像のいずれであるかを判定する。グラフィックス判定部119は、Dgtotalがしきい値THよりも大きい場合、グラフィックス判定をオンに設定する。また、グラフィックス判定部119は、Dgtotalがしきい値THよりも小さい場合、グラフィックス判定をオフに設定する。グラフィックス判定部119は、上述したように、第1のしきい値TH及び第2のしきい値THの2つのしきい値を用いて判定を行うことによって、算出した総和がしきい値に近い値をとる際に、判定がふらつくことを抑制する。
【0039】
また、第1のしきい値TH及び第2のしきい値THは、以下のように算出される。まず、ヒステリシス特性を考慮していないしきい値THが算出される。しきい値THは、例えば処理対象の映像フレームの画素数の1/16である。したがって例えば、処理対象の映像フレームが1920画素×1080画素である場合、しきい値THは、1920×1080/16=129600と算出される。第1のしきい値TH及び第2のしきい値THは、算出されたしきい値THに基づき、ヒステリシス特性を考慮して決定される。したがって、第1のしきい値THには、例えばしきい値THに所定の値を加えた値が設定される。また、第2のしきい値THには、例えばしきい値THから所定の値を引いた値が設定される。
【0040】
グラフィックス判定部119は、グラフィックス判定のオン又はオフを示す制御パラメータ120を、点広がり関数による補正選択部113に出力する。点広がり関数による補正選択部113は、撮像ぼけを抑制するための点広がり関数による補正を設定したり、非設定にしたりすることができる。ビデオカメラを用いて撮影したグラフィック以外の映像には、撮像素子及びレンズ等の性質に起因する撮像ぼけが生じることがある。このため、グラフィック以外の映像に対して、点広がり関数(PSF:Point Spread Function)を撮像モデル関数として用いた高画質化処理を施すことにより、撮像ぼけを抑制することができる。なお、グラフィックス判定部119による判定結果は、鮮鋭化処理部108内のみならず、デジタルテレビジョン受信機11内の各部で使用されてもよい。
【0041】
周波数状態判定部105は、ヒストグラム検出部104によって生成されたフレーム毎のヒストグラムを用いて、映像信号101に含まれた輝度信号Yの周波数状態を検出する。具体的には、周波数状態判定部105は、輝度信号Yの周波数分布に基づき、映像信号101から鮮鋭化を施す成分を抽出するフィルタ制御パラメータ106aと、鮮鋭化効果を決定するための鮮鋭化効果制御パラメータ(鮮鋭化効果ゲイン・微小信号コアリング制御信号)107とを生成する。周波数状態判定部105は、算出したフィルタ制御パラメータ106aを、鮮鋭化帯域フィルタ109を構成する水平フィルタ109aに出力し、鮮鋭化効果制御パラメータ107をパラメータ調整部121に出力する。
【0042】
図12は、フィルタ制御パラメータ106aによる可変フィルタ特性の一例を示す図である。画質に合わせた最適な映像を提供するため、フィルタ制御パラメータ106aは、入力に高域が少ない場合と入力に高域が多い場合とで可変するような制御を行うためのパラメータである。
【0043】
鮮鋭化処理部108は、鮮鋭化帯域フィルタ109、差分検出部110、仮の高解像度画像生成部111(補正手段)、点広がり関数による補正選択部113(補正手段)、高解像度画像生成部114、パラメータ調整部121等を備える。また、鮮鋭化帯域フィルタ109は、水平フィルタ109a及び垂直フィルタ109bにより構成される。鮮鋭化処理部108は、輝度信号Y、色差信号Cb/Pb、及び色差信号Cr/Prを含む映像信号101が入力されたことに応答して、映像信号101に鮮鋭化処理を施す。
【0044】
鮮鋭化帯域フィルタ109を構成する水平フィルタ109aは、周波数状態判定部105からのフィルタ制御パラメータ106aに基づいて、映像信号101に含まれた輝度信号Y、色差信号Cb/Pb、及び色差信号Cr/Prから鮮鋭化を施す成分を抽出する。さらに、水平フィルタ109aは、映像信号101に含まれる、細密な模様等のあるテクスチャ部分、線や境目等のあるエッジ部分、及び背景等の平坦部分のうち、鮮鋭化を施す対象であるテクスチャ部分を抽出する。水平フィルタ109aは、抽出した成分を差分検出部110に出力する。
【0045】
鮮鋭化帯域フィルタ109を構成する垂直フィルタ109bは、周波数状態判定部105からのフィルタ制御パラメータ106a又は106bに基づいて、映像信号101に含まれた輝度信号Y、色差信号Cb/Pb、及び色差信号Cr/Prから鮮鋭化を施す成分を抽出する。さらに、垂直フィルタ109bは、映像信号101に含まれる、細密な模様等のあるテクスチャ部分、線や境目等のあるエッジ部分、及び背景等の平坦部分のうち、鮮鋭化を施す対象であるテクスチャ部分を抽出する。垂直フィルタ106bは、抽出した成分を差分検出部110に出力する。
【0046】
フィルタ制御パラメータ106bは、垂直方向の点広がり関数(映像モデル関数)に基づいてフィルタ制御パラメータ106aを補正したパラメータである。図14は、フィルタ制御パラメータ106aの一例を示す図である。図14に示すように、例えば、フィルタ制御パラメータ106aは、n段階の可変パラメータであって、水平方向の画素を鮮鋭化するためのパラメータ(H1、H2、H3、…、H(n))を持つことができ、また、フィルタ制御パラメータ106aは、垂直方向の画素を鮮鋭化するためのパラメータ(V1、V2、V3、…、V(n))を持つことができる。
【0047】
図13は、フィルタ制御パラメータ106a及び106bの一例を示す図である。例えば、フィルタ制御パラメータ106a及び106bは、n段階の可変パラメータであって、フィルタ制御パラメータ106bの垂直方向の点拡がり関数による補正量は一律となる。なお、図13では、フィルタ制御パラメータ106bは、フィルタ制御パラメータ106aに対して補正量を加算したパラメータとして示されているが、加減乗除のいずれでも良い。
【0048】
また、切替回路118は、制御パラメータ120に基づき、フィルタ制御パラメータ106a又は106bのどちらを使用するか決定する。例えば、切替回路118は、グラフィックス判定オンに対応した制御パラメータ120に基づき、フィルタ制御パラメータ106aの使用を決定し、フィルタ制御パラメータ106aを選択信号116として出力する。また、切替回路118は、グラフィックス判定オフに対応した制御パラメータ120に基づき、フィルタ制御パラメータ106bの使用を決定し、フィルタ制御パラメータ106bを選択信号116として出力する。
【0049】
点広がり関数による補正選択部113は、グラフィックス判定部119から入力された制御パラメータ120に基づいて、補正に用いる点広がり関数(撮像モデル関数)を選択する。具体的には、点広がり関数による補正選択部113は、制御パラメータ120がグラフィックス判定のオフを示す場合(映像信号がグラフィック以外の映像と判定された場合)に、撮像ぼけを考慮した点広がり関数を補正に用いる撮像モデル関数に設定する。一方、点広がり関数による補正選択部113は、制御パラメータ120がグラフィックス判定のオンを示す場合(映像信号がグラフィックス映像と判定された場合)に、撮像ぼけを考慮しない点広がり関数を補正に用いる撮像モデル関数(フラットな補正の点広がり関数)に設定する。つまり、点広がり関数による補正選択部113は、制御パラメータ120が示すグラフィックス判定のオン又はオフに基づいて、撮像ぼけを考慮しない点広がり関数と撮像ぼけを考慮した点広がり関数とを切り替えて、撮像モデル関数に設定する。
【0050】
図6は、グラフィック以外の映像及びグラフィックス映像の各々に対して用いられる撮像モデル関数の例を示す。
【0051】
グラフィックス以外の映像(例えば実写映像)の映像信号には、撮影に用いるカメラ(ビデオカメラ)の撮像素子やレンズ等の性質に起因して、撮像ぼけが生じる。つまり、カメラには、撮像ぼけのない真の信号201ではなく、撮像によるぼけが生じた点広がりの信号202が捉えられる。このため、グラフィックス以外の映像に対する撮像モデル関数には、撮像によるぼけが生じた点広がりの信号202に基づく、点広がり関数が用いられる。
【0052】
一方、グラフィックス映像の映像信号は、アニメーションやCG等を用いて作成されるため、撮像ぼけが生じない。このため、グラフィックス映像に対する撮像モデル関数には、撮像によるぼけがない信号203に基づくフラットな点広がり関数が用いられる。
【0053】
上述のように、グラフィックス以外の映像及びグラフィックス映像に対して、それぞれ最適な特性を有する点広がり関数を撮像モデル関数に設定することで、それぞれの映像に適した画質処理が施された映像を生成することができる。
【0054】
仮の高解像度画像生成部111は、点広がり関数による補正選択部113によって設定された撮像モデル関数に基づいて、高解像度画像生成部114から出力された画像の水平方向の画素を補正した仮の高解像度画像を生成する。仮の高解像度画像生成部111は、生成した仮の高解像度画像を差分検出部110に出力する。
【0055】
差分検出部110は、仮の高解像度画像生成部111により生成された仮の高解像度画像と、水平フィルタ109a及び垂直フィルタ109bにより抽出された成分との差分を示す差分パラメータ112を生成する。差分検出部110は、生成した差分パラメータ112をパラメータ調整部121に出力する。なお、差分検出部110は、入力映像信号(オリジナルの映像信号)と、仮の高解像度画像生成部111により生成された仮の高解像度画像との差分を、差分パラメータ112として生成してもよい。
【0056】
パラメータ調整部121は、差分検出部110により生成された差分パラメータ112を、周波数状態判定部105により生成された鮮鋭化効果制御パラメータ107を用いて調整し、パラメータ115を生成する。具体的には、パラメータ調整部121は、鮮鋭化効果制御パラメータ107を用いて、差分パラメータ112に対して鮮鋭化効果ゲイン及び微小信号コアリングの最適化制御を行う。パラメータ調整部121は、生成したパラメータ115を高解像度画像生成部114に出力する。
【0057】
高解像度画像生成部114は、元の映像信号101(輝度信号Y,色差信号Cb/Pb,及び色差信号Cr/Pr)にパラメータ115を加算する。高解像度画像生成部114は、上述の処理により鮮鋭化が施された輝度信号Y’,色差信号Cb’/Pb’,及び色差信号Cr’/Pr’により構成される映像信号101’を出力する。
【0058】
なお、この鮮鋭化処理は一つの映像フレームに対して繰り返し施されてもよい。鮮鋭化処理は、例えば差分検出部110により検出される差分パラメータ112がしきい値以下になるまで、繰り返し行われる。鮮鋭化処理を繰り返すことにより、精度の高い高解像度画像を生成することができる。
【0059】
また、ユーザは、操作部16やリモートコントローラ17等を用いた入力によって、入力される映像信号(視聴する映像コンテンツ)がグラフィックス以外の映像とグラフィックス映像のいずれであるかを設定してもよい。図7は、映像表示部14に表示されるアニメモード選択画面301の例を示す。
【0060】
アニメモード選択画面301は、自動(おまかせ)ボタン302、オンボタン303、及びオフボタン304を備える。ユーザは、アニメモード選択画面301から、これら3つのボタンのいずれかを選択する。
【0061】
自動(おまかせ)ボタン302が選択された場合、グラフィックス判定部119は、ヒストグラムに基づいて、入力映像信号がグラフィックス以外の映像とグラフィックス映像のいずれであるかを判定する。そして、点広がり関数による補正選択部113は、判定結果に基づいて撮像モデル関数を選択する。すなわち、点広がり関数による補正選択部113は、入力映像信号がグラフィックス以外の映像である場合には、撮像ぼけを考慮した点広がり関数を撮像モデル関数に設定し、入力映像信号がグラフィックス映像である場合には、撮像ぼけを考慮しない点広がり関数(フラットな補正のための点広がり関数)を撮像モデル関数に設定する。
【0062】
同様に、垂直フィルタ109bにおいての点広がり関数の制御は、入力映像信号がグラフィックス以外の映像である場合には、フィルタ制御パラメータ106bを、入力映像信号がグラフィックス映像である場合、フィルタ制御パラメータ106aを選択する。
【0063】
オンボタン303が選択された場合、点広がり関数による補正選択部113は、撮像ぼけを考慮しない点広がり関数(フラットな補正のための点広がり関数)を撮像モデル関数に設定する。オフボタン304が選択された場合、点広がり関数による補正選択部113は、撮像ぼけを考慮した点広がり関数を撮像モデル関数に設定する。オンボタン303又はオフボタン304が選択された場合、それぞれグラフィックス判定のオンとグラフィックス判定のオフとを示す制御パラメータ120と同様のパラメータが、点広がり関数による補正選択部113に入力される。点広がり関数による補正選択部113は、入力されたパラメータに応じて、上述のように撮像モデル関数を切り替える。
【0064】
同様に、垂直フィルタ109bにおいての点広がり関数の制御は、オンボタン303が選択された場合、フィルタ制御パラメータ106aを、オフボタン304が選択された場合、フィルタ制御パラメータ106bを選択する。
【0065】
このように、自動ボタン302が選択された場合には、グラフィックス判定部119によって、入力映像信号がグラフィックス以外の映像とグラフィックス映像のいずれかであるかを自動的に判定することができ、オンボタン303又はオフボタン304が選択された場合には、グラフィックス判定のオン又はオフを手動で設定することができる。
【0066】
また、グラフィックス判定部119は、入力映像信号に付加されるEPG情報(番組情報)も用いて、入力映像信号が実写映像とグラフィックス映像のいずれであるかを判定してもよい。EPG情報は、例えば、映像コンテンツ(番組)のジャンル情報を含む。例えば、映像コンテンツがアニメーション番組である場合、EPG情報には、「アニメ」を示すジャンル情報が含まれる。また例えば、映像コンテンツがニュース番組である場合、EPG情報には、「ニュース」を示すジャンル情報が含まれる。
【0067】
例えば、EPG情報に含まれるジャンル情報が「アニメ」を示す場合(すなわち、入力される映像コンテンツ(入力映像信号)がアニメーション番組であることを示す場合)、グラフィックス判定部119は、図5のしきい値TH、または、THもしくは、TH、TH共にグラフィックスONよりに可変し判定する。また例えば、EPG情報に含まれるジャンル情報が「ニュース」を示す場合(すなわち、入力される映像コンテンツ(入力映像信号)がニュース番組であることを示す場合)、グラフィックス判定部119は、図5のしきい値TH、または、THもしくは、TH、TH共にグラフィックスOFFよりに可変し判定する。つまり、グラフィックス判定部119は、ジャンル情報に基づいて、入力映像信号が実写映像とグラフィックス映像のいずれであるかを判定するためのしきい値TH,THを変更する。
【0068】
上述のように、グラフィックス判定部119は、算出したDgtotalとしきい値TH及びTHとに基づいて、入力映像信号が実写映像とグラフィックス映像のいずれであるかを判定する。グラフィックス判定部119は、Dgtotalがしきい値THよりも大きい場合、グラフィックス判定をオンに設定する。また、グラフィックス判定部119は、Dgtotalがしきい値THよりも小さい場合、グラフィックス判定をオフに設定する。
【0069】
この判定にさらにジャンル情報(EPG情報)を考慮するとき、グラフィックス判定部119は、ジャンル情報が「アニメ」等のグラフィックス映像に対応するジャンルを示す場合、しきい値THもしくはTH、又はしきい値TH及びTHを小さく設定する。グラフィックス判定部119は、小さく設定されたしきい値に基づいて判定を行う。したがって、ジャンル情報が「アニメ」等のグラフィックス映像に対応するジャンルを示す場合、入力映像信号はグラフィックス映像である(グラフィックス判定オン)と判定されやすくなる。
【0070】
また、グラフィックス判定部119は、ジャンル情報が「ニュース」等の実写映像に対応するジャンルを示す場合、しきい値THもしくはTH、又はしきい値TH及びTHを大きく設定する。グラフィックス判定部119は、大きく設定されたしきい値に基づいて判定を行う。したがって、ジャンル情報が「ニュース」等の実写映像に対応するジャンルを示す場合、入力映像信号は実写映像である(グラフィックス判定オフ)と判定されやすくなる。
【0071】
このように、入力映像信号の輝度ヒストグラムと入力映像信号に付加されるEPG情報(ジャンル情報)とを用いて、入力映像信号が実写映像とグラフィックス映像のいずれであるかを判定することにより、いずれか一方を用いて判定を行う場合よりも高精度に判定を行うことができる。
【0072】
点広がり関数による補正選択部113は、EPG情報とヒストグラムとに基づくグラフィックス判定の結果に基づいて、撮像モデル関数を変更する。なお、グラフィックス判定部119は、EPG情報とヒストグラムのいずれか一方に基づいて、入力映像信号が実写映像とグラフィックス映像のいずれであるかを判定してもよい。
【0073】
図8は、ヒストグラム検出部104による処理結果を用いた、鮮鋭化処理部108による鮮鋭化処理の手順の例を示すフローチャートである。
【0074】
まず、ヒストグラム検出部104及び鮮鋭化処理部108に映像信号101が入力される(ステップS101)。ヒストグラム検出部104には、映像信号101に含まれる輝度信号Yが入力される。鮮鋭化処理部108には、映像信号101に含まれる輝度信号Y,色差信号Cb/Pb,及び色差信号Cr/Prが入力される。
【0075】
次に、ヒストグラム検出部104は、画素の輝度レベルに基づいて、入力された輝度信号Yからフレーム毎にヒストグラムを生成する(ステップS102)。具体的には、ヒストグラム検出部104は、輝度信号Yに含まれるフレーム毎の画素を、輝度レベル毎にカウントすることによって輝度レベル毎の画素数を算出する。
【0076】
そして、グラフィックス判定部119は、算出された輝度レベル毎の画素数(ヒストグラム)に基づいて、映像信号101がグラフィックス以外の映像とグラフィックス映像のいずれであるかを判定する(ステップS103)。グラフィックス判定部119によるグラフィックス判定処理の手順は、図9に示すフローチャートを参照して後述する。
【0077】
次いで、点広がり関数による補正選択部113は、グラフィックス判定の結果に基づいて、補正に用いる点広がり関数(撮像モデル関数)を選択する(ステップS104)。具体的には、点広がり関数による補正選択部113は、制御パラメータ120がグラフィックス判定のオフを示す場合(映像信号がグラフィックス以外の映像と判定された場合)に、撮像ぼけを考慮した点広がり関数を、補正に用いる撮像モデル関数に設定する。一方、点広がり関数による補正選択部113は、制御パラメータ120がグラフィックス判定のオンを示す場合(映像信号がグラフィックス映像と判定された場合)に、撮像ぼけを考慮しない点広がり関数を、補正に用いる撮像モデル関数に設定する。
【0078】
仮の高解像度画像生成部111は、点広がり関数による補正選択部113によって設定された撮像モデル関数に基づいて、高解像度画像生成部114が保持する画像(水平方向の画素)を補正し、仮の高解像度画像を生成する(ステップS105)。なお、高解像度画像生成部114が保持する高解像度画像は、初期状態では入力映像信号による画像である。
【0079】
ステップS103からステップS105までの処理と並行して、周波数状態判定部107は、ヒストグラム検出部104によって生成されたフレーム毎のヒストグラムを用いて、入力された輝度信号Yの周波数状態を検出する(ステップS106)。具体的には、周波数状態判定部105は、輝度信号Yの周波数分布に基づき、映像信号から鮮鋭化を施す成分を抽出するフィルタ制御パラメータ106と、鮮鋭化効果を決定するための鮮鋭化効果制御パラメータ(効果ゲイン・微小信号コアリング制御信号)107とを生成する。周波数状態判定部105は、算出したフィルタ制御パラメータ106を鮮鋭化帯域フィルタ109に出力し、鮮鋭化効果制御パラメータ107をパラメータ調整部121に出力する。
【0080】
鮮鋭化帯域フィルタ109を構成する水平フィルタ109aは、周波数状態判定部105から入力されたフィルタ制御パラメータ106aに基づいて、映像信号101に含まれた輝度信号Y、色差信号Cb/Pb、及び色差信号Cr/Prから鮮鋭化を施す交流成分を抽出する(ステップS107)。水平フィルタ109aは、抽出した交流成分を差分検出部110に出力する。
【0081】
鮮鋭化帯域フィルタ109を構成する垂直フィルタ109bは、周波数状態判定部105からのフィルタ制御パラメータ106a又は106bに基づいて、映像信号101に含まれた輝度信号Y、色差信号Cb/Pb、及び色差信号Cr/Prから鮮鋭化を施す成分を抽出する。水平フィルタ109aは、抽出した成分を差分検出部110に出力する。
【0082】
フィルタ制御パラメータ106bは、垂直方向の点広がり関数(映像モデル関数)に基づいてフィルタ制御パラメータ106aを補正したパラメータである。切替回路118は、制御パラメータ120に基づき、フィルタ制御パラメータ106a又は106bのどちらを使用するか決定する。例えば、切替回路118は、グラフィックス判定オンに対応した制御パラメータ120に基づき、フィルタ制御パラメータ106aの使用を決定し、フィルタ制御パラメータ106aを選択信号116として出力する。また、切替回路118は、グラフィックス判定オフに対応した制御パラメータ120に基づき、フィルタ制御パラメータ106bの使用を決定し、フィルタ制御パラメータ106bを選択信号116として出力する。
【0083】
次いで、差分検出部110は、仮の高解像度画像生成部111により生成された仮の高解像度画像と、鮮鋭化帯域フィルタ109により抽出された交流成分との差分を示す差分パラメータ112を生成する(ステップS108)。差分検出部110は、生成した差分パラメータ112をパラメータ調整部121に出力する。
【0084】
パラメータ調整部121は、差分検出部110により生成された差分パラメータ112を、周波数状態判定部105により生成された鮮鋭化効果制御パラメータ107を用いて調整する(ステップS109)。パラメータ調整部121は、調整されたパラメータ115を高解像度画像生成部114に出力する。
【0085】
高解像度画像生成部114は、元の映像信号101(輝度信号Y,色差信号Cb/Pb,及び色差信号Cr/Pr)にパラメータ115を加算して、高解像度画像を生成する(ステップS110)。そして、高解像度画像生成部114は、差分検出部110により検出された差分がしきい値より大きいか否かを判定する(ステップS111)。差分がしきい値より大きい場合(ステップS111のYES)、ステップS105に戻る。差分がしきい値以下である場合(ステップS111のNO)、高解像度画像生成部114は生成した高解像度画像を出力する(ステップS112)。
【0086】
図9は、図10に示すフローチャートのステップS103に対応するグラフィックス判定処理の手順の例を示すフローチャートである。グラフィックス判定部119は、テレビジョン受信機11に入力される映像信号が、グラフィックス以外の映像とグラフィックス映像のいずれであるかを判定する。グラフィックス判定部119は、入力映像信号がグラフィックス以外の映像である場合にはグラフィックス判定をオフに設定し、入力信号がグラフィックス映像である場合にはグラフィックス判定をオンに設定する。
【0087】
まず、グラフィックス判定部119は、輝度のダイナミックレンジをn個に分割して、n段階の輝度レベルに基づくヒストグラムを生成する(ステップS201)。グラフィックス判定部119は、輝度信号101に含まれるフレーム毎の画素を、輝度レベル毎にカウントすることによって、輝度レベル毎の画素数DIN(1)〜DIN(n)を算出する。
【0088】
次に、グラフィックス判定部119は、判定に用いる変数Dgtotalを初期化する(ステップS202)。グラフィックス判定部119は、Dgtotalに0を設定する。
【0089】
そして、グラフィックス判定部119は、繰り返し処理(ループA)のための変数iに1を設定する(ステップS203)。なお、変数iは1からn−1の値を取り得る。
【0090】
グラフィックス判定部119は、DIN(i)及びDIN(i+1)から、それぞれしきい値αを減算したDIN及びDINを算出する(ステップS204)。DINが負の値である場合、グラフィックス判定部119はDINに0を設定する。同様に、DINが負の値である場合、グラフィックス判定部119はDINに0を設定する。そして、グラフィックス判定部119は、変数Dgtotalに設定されている値に、DINとDINとの差の絶対値を加算した値を設定する(ステップS205)。
【0091】
次いで、グラフィックス判定部119は、変数iが(n−1)以上であるか否かを判定する(ステップS206)。変数iが(n−1)以上でない場合、グラフィックス判定部119は、変数iに1を加えて、ループA(ステップS203からステップS206)の処理を再度実行する。
【0092】
変数iが(n−1)以上である場合、グラフィックス判定部119は、ループAの処理を終了する。そして、グラフィックス判定部119は、Dgtotalがしきい値THより大きいか否かを判定する(ステップS207)。Dgtotalがしきい値THより大きい場合(ステップS207のYES)、グラフィックス判定部119は、グラフィックス判定をオンに設定する(ステップS208)。
【0093】
gtotalがしきい値TH以下である場合(ステップS207のNO)、グラフィックス判定部119は、Dgtotalがしきい値TH未満であるか否かを判定する(ステップS209)。Dgtotalがしきい値TH未満である場合(ステップS209のYES)、グラフィックス判定部119は、グラフィックス判定をオフに設定する(ステップS210)。また、Dgtotalがしきい値TH以上である場合(ステップS209のNO)、グラフィックス判定部119は、グラフィックス判定を一つ前の映像フレームに対する判定結果のままに維持する。この際、処理対象のフレーム(現在のフレーム)が映像信号の先頭のフレームである場合、グラフィックス判定はオフに設定される。つまり、グラフィックス判定の初期値はオフに設定されている。
【0094】
以上の処理により、グラフィックス判定部119は、入力映像信号がグラフィックス以外の映像とグラフィックス映像のいずれであるかを判定し、入力映像信号がグラフィックス以外の映像である場合にはグラフィックス判定をオフに設定し、入力信号がグラフィックス映像である場合にはグラフィックス判定をオンに設定する。点広がり関数による補正選択部113は、グラフィックス判定に応じて、撮像モデル関数を変更し(切り替え)、また、切替回路118は、グラフィックス判定に応じて、フィルタ制御パラメータを変更する(切り替える)。その結果、鮮鋭化処理部108は、入力映像信号に適した鮮鋭化処理及び撮像ぼけ低減補正を施すことができる。
【0095】
つまり、鮮鋭化処理部108は、グラフィックス判定がオフである場合(入力映像信号がグラフィックス以外の映像である場合)には、撮像ぼけを考慮した点広がり関数(撮像モデル関数)に基づき、水平方向の画素に対して撮像ぼけ低減補正を行ない、さらに、フィルタ制御パラメータ106aに基づき水平方向の画素に対して鮮鋭化を行ない、フィルタ制御パラメータ106bに基づき垂直方向の画素に対して鮮鋭化及び撮像ぼけ低減補正を行なう。
【0096】
また、鮮鋭化処理部108は、グラフィックス判定がオンである場合(入力映像信号がグラフィックス映像である場合)には、撮像ぼけを考慮しない点広がり関数(撮像モデル関数)に基づき、水平方向の画素を処理し(撮像ぼけ低減補正を行なわず)、さらに、フィルタ制御パラメータ106aに基づき水平方向の画素と垂直方向の画素に対して鮮鋭化を行なう。
【0097】
このようにして、入力映像信号の性質に応じた鮮鋭化処理及び撮像ぼけ低減補正を施すことにより、画質を向上させることができる。
【0098】
図10は、本発明の第2の実施形態に係る映像処理装置(デジタルテレビジョン受信機11)を説明する。ここでは、主に、第1の実施形態に係る映像処理装置と異なる部分について説明する。図10に示すように、鮮鋭化処理部108は、入力映像信号をアップコンバートする機能を有する。これは例えば、DVDビデオなどのSD映像、又は地上デジタル放送などの準高解像度映像を高解像度映像に変換する際に用いられる。したがって、第2の実施形態では、入力映像信号にアップコンバート処理(スケーリング処理)を施し、このアップコンバート処理を施した映像信号に対して鮮鋭化を行う。第2の実施形態の鮮鋭化処理部108は、仮の高解像度画像生成部122、及び仮の低解像度画像生成部123を備える。なお、第2の実施形態の鮮鋭化処理部108は、第1の実施形態の鮮鋭化処理部108が備えている仮の高解像度画像生成部111の替わりに、仮の低解像度画像生成部123を備えている。
【0099】
仮の高解像度画像生成部122は、入力映像信号をアップコンバートする。仮の高解像度画像生成部122は、第1解像度の入力映像信号(低解像度画像)を、映像表示部14に表示される映像の解像度である、第1解像度よりも高い第2解像度の映像信号(高解像度画像)に変換する。仮の高解像度画像生成部122は、アップコンバートした映像信号を高解像度画像生成部114に出力する。
【0100】
仮の低解像度画像生成部123は、高解像度画像生成部114から出力された高解像度画像に対して、撮像モデル関数に基づく補正及びダウンコンバートを施す。仮の低解像度画像生成部123は、ダウンコンバートによって、第2解像度の高解像度画像を第1解像度の低解像度画像に変換する。仮の低解像度画像生成部123は、ダウンコンバートされた画像(映像信号)を差分検出部110に出力する。
【0101】
差分検出部110は、仮の低解像度画像生成部123により生成された仮の低解像度画像と、鮮鋭化帯域フィルタ109により抽出された交流成分との差分を示す差分パラメータ112を生成する。差分検出部110は、生成した差分パラメータ112をパラメータ調整部121に出力する。
【0102】
パラメータ調整部121は、差分検出部110により生成された差分パラメータ112を、周波数状態判定部105により生成された鮮鋭化効果制御パラメータ107を用いて調整し、パラメータ115を生成する。パラメータ調整部121は、生成したパラメータ115を高解像度画像生成部114に出力する。
【0103】
高解像度画像生成部114は、元の映像信号101(輝度信号Y,色差信号Cb/Pb,及び色差信号Cr/Pr)にパラメータ115を加算する。高解像度画像生成部114は、上述の処理により鮮鋭化が施された映像信号101’(輝度信号Y’,色差信号Cb’/Pb’,及び色差信号Cr’/Pr’)を出力する。
【0104】
上記した第2の実施形態に係る映像処理装置は、第1の実施形態に係る映像処理装置と同様に、入力映像信号の性質に応じた鮮鋭化処理及び撮像ぼけ低減補正を施すことができ、画質を向上させることができる。
【0105】
図11は、図10に示す本実施形態の映像処理装置の変形例による鮮鋭化処理の手順の例を示すフローチャートである。
【0106】
まず、信号処理部51及び映像処理部62は、それぞれヒストグラム検出部104及び鮮鋭化処理部108に映像信号を入力する(ステップS301)。信号処理部51は、ヒストグラム検出部104に映像信号に含まれる輝度信号Yを入力する。映像処理部62は、鮮鋭化処理部108に映像信号に含まれる輝度信号Y,色差信号Cb/Pb,及び色差信号Cr/Prを入力する。
【0107】
次に、仮の高解像度画像生成部122は、映像信号をアップコンバートして仮の高解像度画像を生成する(ステップS302)。そして、仮の高解像度画像生成部122は、アップコンバートした映像信号を高解像度画像生成部114に出力する。
【0108】
ヒストグラム検出部104は、画素の輝度レベルに基づいて、入力された輝度信号101からフレーム毎にヒストグラムを生成する(ステップS303)。具体的には、ヒストグラム検出部104は、輝度信号Yに含まれるフレーム毎の画素を、輝度レベル毎にカウントすることによって輝度レベル毎の画素数を算出する。
【0109】
そして、グラフィックス判定部119は、算出された輝度レベル毎の画素数(ヒストグラム)に基づいて、映像信号がグラフィックス以外の映像とグラフィックス映像のいずれであるかを判定する(ステップS304)。グラフィックス判定部119によるグラフィックス判定処理の手順は、図9に示すフローチャートを参照して後述する。
【0110】
次いで、点広がり関数による補正選択部113は、グラフィックス判定の結果に基づいて、補正に用いる点広がり関数(撮像モデル関数)を選択する(ステップS305)。具体的には、点広がり関数による補正選択部113は、制御パラメータ120がグラフィックス判定のオフを示す場合(映像信号がグラフィックス以外の映像と判定された場合)に、撮像ぼけを考慮した点広がり関数を、補正に用いる撮像モデル関数に設定する。一方、点広がり関数による補正選択部113は、制御パラメータ120がグラフィックス判定のオンを示す場合(映像信号がグラフィックス映像と判定された場合)に、撮像ぼけを考慮しない点広がり関数を、補正に用いる撮像モデル関数に設定する。
【0111】
仮の低解像度画像生成部123は、高解像度画像生成部114が保持する画像の水平方向の画素に対する、点広がり関数による補正選択部113によって設定された撮像モデル関数に基づく補正と、高解像度画像生成部114が保持する画像に対する、ダウンコンバートとを施した仮の低解像度画像を生成する(ステップS306)。なお、高解像度画像生成部114が保持する高解像度画像は、初期状態では仮の高解像度画像生成部122から入力された仮の高解像度画像である。また、仮の低解像度画像生成部123により生成された仮の低解像度画像の解像度は、元の映像信号(入力映像信号)の解像度と同じである。
【0112】
ステップS304からステップS306までの処理と並行して、周波数状態判定部107は、ヒストグラム検出部104によって生成されたフレーム毎のヒストグラムを用いて、入力された輝度信号Yの周波数状態を検出する(ステップS307)。具体的には、周波数状態判定部105は、輝度信号Yの周波数分布に基づき、映像信号から鮮鋭化を施す成分を抽出するフィルタ制御パラメータ106aと、鮮鋭化効果を決定するための鮮鋭化効果制御パラメータ(効果ゲイン・微小信号コアリング制御信号)107とを生成する。周波数状態判定部105は、算出したフィルタ制御パラメータ106aを、鮮鋭化帯域フィルタ109を構成する水平フィルタ109aに出力し、鮮鋭化効果制御パラメータ107をパラメータ調整部121に出力する。
【0113】
鮮鋭化帯域フィルタ109を構成する水平フィルタ109aは、周波数状態判定部105から入力されたフィルタ制御パラメータ106aに基づいて、映像信号101に含まれた輝度信号Y、色差信号Cb/Pb、及び色差信号Cr/Prから鮮鋭化を施す交流成分を抽出する(ステップS308)。水平フィルタ109aは、抽出した交流成分を差分検出部110に出力する。
【0114】
鮮鋭化帯域フィルタ109を構成する垂直フィルタ109bは、周波数状態判定部105からのフィルタ制御パラメータ106a又は106bに基づいて、映像信号101に含まれた輝度信号Y、色差信号Cb/Pb、及び色差信号Cr/Prから鮮鋭化を施す成分を抽出する。水平フィルタ109aは、抽出した成分を差分検出部110に出力する。
【0115】
フィルタ制御パラメータ106bは、垂直方向の点広がり関数(映像モデル関数)に基づいてフィルタ制御パラメータ106aを補正したパラメータである。切替回路118は、制御パラメータ120に基づき、フィルタ制御パラメータ106a又は106bのどちらを使用するか決定する。例えば、切替回路118は、グラフィックス判定オンに対応した制御パラメータ120に基づき、フィルタ制御パラメータ106aの使用を決定し、フィルタ制御パラメータ106aを選択信号116として出力する。また、切替回路118は、グラフィックス判定オフに対応した制御パラメータ120に基づき、フィルタ制御パラメータ106bの使用を決定し、フィルタ制御パラメータ106bを選択信号116として出力する。
【0116】
次いで、差分検出部110は、仮の低解像度画像生成部123により生成された仮の低解像度画像と、鮮鋭化帯域フィルタ109により抽出された交流成分との差分を示す差分パラメータ112を生成する(ステップS309)。差分検出部110は、生成した差分パラメータ112をパラメータ調整部121に出力する。
【0117】
パラメータ調整部121は、差分検出部110により生成された差分パラメータ112を、周波数状態判定部105により生成された鮮鋭化効果制御パラメータ107を用いて調整する(ステップS310)。パラメータ調整部121は、調整されたパラメータ115を高解像度画像生成部114に出力する。
【0118】
高解像度画像生成部114は、元の映像信号101(輝度信号Y,色差信号Cb/Pb,及び色差信号Cr/Pr)にパラメータ115を加算して、高解像度画像を生成する(ステップS311)。そして、高解像度画像生成部114は、差分検出部110により検出された差分がしきい値より大きいか否かを判定する(ステップS312)。差分がしきい値より大きい場合(ステップS312のYES)、ステップS305に戻る。差分がしきい値以下である場合(ステップS312のNO)、高解像度画像生成部114は生成した高解像度画像を出力する(ステップS313)。
【0119】
以上の処理により、第2の実施形態の映像処理装置は、入力映像信号(低解像度画像)にアップコンバート処理を施し、さらに、アップコンバート処理を施した映像信号に対して鮮鋭化処理及び撮像ぼけ低減補正を施した高解像度画像を生成できる。その際、鮮鋭化処理部108は、グラフィックス判定に応じて撮像モデル関数を切り替え、入力映像信号に適した鮮鋭化処理及び撮像ぼけ低減補正を施すことができる。第2の実施形態の映像処理装置は、入力映像信号の解像度を上げ、さらに、当該入力映像信号の性質に応じて、入力映像信号に対して鮮鋭化処理及び撮像ぼけ低減補正を施すことにより、画質を向上させることができる。
【0120】
なお、本実施形態では、ヒストグラム検出部104を信号処理部51に設け、鮮鋭化処理部108を映像処理部62に設ける例について説明したが、ヒストグラム検出部104及び鮮鋭化処理部108を信号処理部51に設けてもよい。
【0121】
以上の処理により、グラフィックス判定部119は、入力映像信号がグラフィックス以外の映像とグラフィックス映像のいずれであるかを判定し、入力映像信号がグラフィックス以外の映像である場合にはグラフィックス判定をオフに設定し、入力信号がグラフィックス映像である場合にはグラフィックス判定をオンに設定する。点広がり関数による補正選択部113は、グラフィックス判定に応じて、撮像モデル関数を変更し(切り替え)、また、切替回路118は、グラフィックス判定に応じて、フィルタ制御パラメータを変更する(切り替える)。その結果、鮮鋭化処理部108は、入力映像信号に適した鮮鋭化処理及び撮像ぼけ低減補正を施すことができる。
【0122】
つまり、鮮鋭化処理部108は、グラフィックス判定がオフである場合(入力映像信号がグラフィックス以外の映像である場合)には、撮像ぼけを考慮した点広がり関数(撮像モデル関数)に基づき、水平方向の画素に対して撮像ぼけ低減補正を行ない、さらに、フィルタ制御パラメータ106aに基づき水平方向の画素に対して鮮鋭化を行ない、フィルタ制御パラメータ106bに基づき垂直方向の画素に対して鮮鋭化及び撮像ぼけ低減補正を行なう。
【0123】
また、鮮鋭化処理部108は、グラフィックス判定がオンである場合(入力映像信号がグラフィックス映像である場合)には、撮像ぼけを考慮しない点広がり関数(撮像モデル関数)に基づき、水平方向の画素を処理し(撮像ぼけ低減補正を行なわず)、さらに、フィルタ制御パラメータ106aに基づき水平方向の画素と垂直方向の画素に対して鮮鋭化を行なう。
【0124】
このようにして、入力映像信号の性質に応じた鮮鋭化処理及び撮像ぼけ低減補正を施すことにより、画質を向上させることができる。
【0125】
なお、上述の説明では、入力映像信号をグラフィックス以外の映像とグラフィックス映像のいずれであるかを判定して、撮像モデル関数を切り替える例について述べたが、グラフィックス以外の映像とグラフィックス映像とに限らず、さらに細分化された映像の性質(内容)に基づいて、それぞれに適した撮像モデル関数を設定してもよい。
【0126】
次に、図15〜図17を参照して、本発明の第3の実施形態に係る映像処理装置(デジタルテレビジョン受信機11)を説明する。図15は、本発明の第3の実施形態に係る映像処理装置(デジタルテレビジョン受信機11)を示す図である。
【0127】
第1及び第2の実施形態の映像処理装置は、ヒストグラム検出部104の外の切替回路118によりフィルタ制御パラメータ106a又は106bが選択されていたが、第3の実施形態の映像処理装置は、ヒストグラム検出部104の中でフィルタ制御パラメータを決定する。
【0128】
垂直点拡がり補正切替部129は、グラフィックス判定のオンを示す制御パラメータ120に基づき、周波数状態判定部105からのフィルタ制御パラメータ128を選択信号130(図17)として出力し、グラフィックス判定のオフを示す制御パラメータ120に基づき、垂直方向の点広がり関数(映像モデル関数)に基づいて補正されたフィルタ制御パラメータ128を選択信号130(図16)として出力する。
【0129】
図16は、垂直方向の点広がり関数(映像モデル関数)に基づいて補正されたフィルタ制御パラメータの一例を示す図であり、このフィルタ制御パラメータはグラフィクス以外の映像に適用される。図17は、垂直方向の点広がり関数(映像モデル関数)に基づいて補正されていないフィルタ制御パラメータの一例を示す図であり、このフィルタ制御パラメータはグラフィクス映像に適用される。
【0130】
次に、図18を参照して、本発明の第4の実施形態に係る映像処理装置(デジタルテレビジョン受信機11)を説明する。図18は、本発明の第4の実施形態に係る映像処理装置(デジタルテレビジョン受信機11)を示す図である。
【0131】
第3の実施形態の映像処理装置は、ヒストグラム検出部104内に、垂直点拡がり補正切替部129を備えている。これに対して、第4の実施形態の映像処理装置は、ヒストグラム検出部104外に、垂直点拡がり補正切替部129を備えている。
【0132】
次に、図19を参照して、本発明の第5の実施形態に係る映像処理装置(デジタルテレビジョン受信機11)を説明する。図19は、本発明の第5の実施形態に係る映像処理装置(デジタルテレビジョン受信機11)を示す図である。
【0133】
第5の実施形態の映像処理装置は、ヒストグラム検出部104内に、垂直点拡がり補正切替部129を備えている。垂直点拡がり補正切替部129は、グラフィックス判定オンに対応した制御パラメータ120に基づき、フィルタ制御パラメータ106aの使用を決定し、フィルタ制御パラメータ106aを選択信号116(図22)として出力する。また、垂直点拡がり補正切替部129は、グラフィックス判定オフに対応した制御パラメータ120に基づき、フィルタ制御パラメータ106bの使用を決定し、フィルタ制御パラメータ106bを選択信号116(図21)として出力する。
【0134】
次に、図20を参照して、本発明の第6の実施形態に係る映像処理装置(デジタルテレビジョン受信機11)を説明する。図20は、本発明の第6の実施形態に係る映像処理装置(デジタルテレビジョン受信機11)を示す図である。
【0135】
第5の実施形態の映像処理装置は、ヒストグラム検出部104内に、垂直点拡がり補正切替部129を備えている。これに対して、第6の実施形態の映像処理装置は、ヒストグラム検出部104外に、垂直点拡がり補正切替部129を備えている。
【0136】
以上により、第1〜第5の実施形態の映像処理装置は、水平方向の画素だけでなく、垂直方向の画素に対しても撮像ぼけ低減補正を適用することができる。仮の高解像度画像生成部111は、点広がり関数による補正選択部113で選択された点広がり関数(撮像モデル関数)に基づき、水平方向の画素に対して撮像ぼけ低減補正を実行し、仮の高解像度画像を生成する。また、垂直フィルタ109bのフィルタ特性は、垂直方向の点広がり関数(映像モデル関数)に基づいて補正され、これにより、垂直方向の画素に対しても撮像ぼけ低減補正が実行される。このように、映像処理装置は、水平方向の画素及び垂直方向の画素に対して撮像ぼけ低減補正を実行し、より精細で鮮明な映像を提供することが出来る。
【0137】
なお、本願発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は可能な限り適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適当な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
【符号の説明】
【0138】
101…映像信号、104…ヒストグラム検出部、105…周波数状態判定部、108…鮮鋭化処理部、109…鮮鋭化帯域フィルタ、110…差分検出部、111…仮の高解像度画像生成部、113…点広がり関数による補正選択部、114…高解像度画像生成部、119…グラフィックス判定部、121…パラメータ調整部。

【特許請求の範囲】
【請求項1】
映像信号を入力する入力手段と、
前記映像信号に含まれた水平方向の画素と垂直方向の画素に対して鮮鋭化処理を実行し、撮像モデル関数に基づいて前記水平方向の画素と前記垂直方向の画素に対して撮像ぼけ補正を実行する映像処理手段と、
を備えた映像処理装置。
【請求項2】
前記映像処理手段は、前記鮮鋭化処理のための鮮鋭化水平フィルタと、前記鮮鋭化処理及び前記撮像ぼけ補正のための鮮鋭化垂直フィルタとを備えたことを特徴とする請求項1に記載の映像処理装置。
【請求項3】
前記映像信号の周波数帯域に対応した第1のパラメータ、又は前記撮像モデル関数に基づいて前記第1のパラメータを補正した第2のパラメータにより、前記鮮鋭化垂直フィルタの特性を切り替える切替手段を備えたことを特徴とする請求項2に記載の映像処理装置。
【請求項4】
前記第1のパラメータにより前記鮮鋭化水平フィルタの特性を制御する制御手段を備えたことを特徴とする請求項3に記載の映像処理装置。
【請求項5】
前記映像処理手段は、前記撮像モデル関数に基づいて前記水平方向の画素に対して前記撮像ぼけ補正を実行する補正手段を備えたことを特徴とする請求項2に記載の映像処理装置。
【請求項6】
前記映像信号の種別を判定する判定手段を備え、
前記映像処理手段は、前記判定手段の判定結果に基づき、前記映像信号に対する前記撮像ぼけ補正の適用と非適用を制御することを特徴とする請求項1に記載の映像処理装置。
【請求項7】
前記映像処理手段は、前記判定手段によるグラフィックス以外の判定に基づき、前記映像信号に対して前記撮像ぼけ補正を適用することを特徴とする請求項6に記載の映像処理装置。
【請求項8】
前記切替手段は、前記判定手段によるグラフィックス判定に基づき前記第1のパラメータにより前記鮮鋭化垂直フィルタの特性を制御し、前記判定手段によるグラフィックス以外の判定に基づき前記第2のパラメータにより前記鮮鋭化垂直フィルタの特性を制御することを特徴とする請求項7に記載の映像処理装置。
【請求項9】
映像信号を入力する入力手段と、
撮像モデル関数に基づいて、前記映像信号に含まれた水平方向と垂直方向の画素に対する撮像ぼけ補正を実行する映像処理手段と、
を備えた映像処理装置。
【請求項10】
映像信号に含まれた水平方向の画素と垂直方向の画素に対して鮮鋭化処理を実行し、撮像モデル関数に基づいて前記水平方向の画素と前記垂直方向の画素に対して撮像ぼけ補正を実行する、
ことを特徴とする映像処理方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate

【図22】
image rotate


【公開番号】特開2011−66542(P2011−66542A)
【公開日】平成23年3月31日(2011.3.31)
【国際特許分類】
【出願番号】特願2009−213625(P2009−213625)
【出願日】平成21年9月15日(2009.9.15)
【出願人】(000003078)株式会社東芝 (54,554)
【Fターム(参考)】