画像処理装置および画像信号処理方法
【課題】画像部分ごとの画像変化の急峻性の度合いに応じた画像鮮鋭化を簡易かつ効率的な処理により実現する。
【解決手段】画像変化特徴量算出部１０４は、フレーム画像データにおける１つの画素を注目画素とする特徴量算出対象画素ブロック２００を対象として算出されたダイナミックレンジと一次微分絶対値とにより画像変化特徴量を算出する。フィルタ係数算出部１０５は、係数変換データの多項式係数と画像変化特徴量とを利用してフィルタ係数を算出する。鮮鋭化フィルタ部１０８は、フィルタ処理として、算出されたフィルタ係数と鮮鋭化処理対象画素ブロック２１０を形成する各画素の画素値とを利用して注目画素の出力画素値を求める。この一連の処理を、フレーム画像データを形成する画素ごとに行う。
【解決手段】画像変化特徴量算出部１０４は、フレーム画像データにおける１つの画素を注目画素とする特徴量算出対象画素ブロック２００を対象として算出されたダイナミックレンジと一次微分絶対値とにより画像変化特徴量を算出する。フィルタ係数算出部１０５は、係数変換データの多項式係数と画像変化特徴量とを利用してフィルタ係数を算出する。鮮鋭化フィルタ部１０８は、フィルタ処理として、算出されたフィルタ係数と鮮鋭化処理対象画素ブロック２１０を形成する各画素の画素値とを利用して注目画素の出力画素値を求める。この一連の処理を、フレーム画像データを形成する画素ごとに行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関し、特に画像の鮮鋭感を高めるための画像信号処理を行う画像処理装置、および、その方法に関する。
【背景技術】
【０００２】
例えば、解像度変換などの画像信号処理を実行するにあたり、デジタル信号処理において用いるフィルタの係数を次のようにして設定する従来技術が知られている。すなわち、まずは異なる解像度に対応する複数の固定のパラメータ値ごとに対応して複数の係数値を求めておく。次に、これらの離散的な係数に近似する曲線に対応する関数を求め、例えば求められた関数の係数の組み合わせをフィルタ係数の係数種データとして記憶させておく。そして、画像信号処理を実行する際には、記憶されている係数種データとして示される係数による関数の変数に対して、例えばユーザ操作に応じて得られたパラメータ値を代入して演算を行うことでフィルタ係数を求める。そして、この求められたフィルタ係数によるフィルタ処理を行うというものである（例えば、特許文献１参照。）。これにより、パラメータが取り得る値ごとに対応した多数のフィルタ係数を記憶しておく必要がなくなり、メモリ容量を小さくすることが可能になる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−３５９８２０号公報（図１）
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ここで、例えば画像に対する補正処理の１つとして、画像の鮮鋭感を高める画像鮮鋭化処理を行うこととした場合には、次のことを考慮する必要がある。すなわち、現状において、例えばテレビジョン放送などのコンテンツの画像内容にはテロップが頻繁に挿入される傾向にある。また、１つの表示画面において、主画面とともに子画面を表示させることも広く行われるようになっている。これは、画像全体においてその画像内容が急峻に変化する画像部分が増加し、また、微細になってきていることを意味している。すなわち、画像全体において空間周波数特性の大きく異なる部分が多数存在するようになってきている。例えばこのような画像では、画像変化が急峻な画像部分と緩慢な画像部分とが混在していることになる。すなわち、空間周波数が高く振幅が大きい傾向の画像部分と、空間周波数が低く振幅が小さい傾向の画像部分とが混在している。
【０００５】
例えば、上記のような画像の全体に対して一様の制御量による画像鮮鋭化処理を行うこととした場合には画像変化の急峻な画像部分では鮮鋭感が過剰に高くなって不自然な画像になりやすい。そこで、例えば制御量を抑えたとすると、画像変化が緩慢な画像部分では鮮鋭感が不足する傾向となってしまう。このようにして、画面全体に対して同じ制御量により鮮鋭化を図る画像鮮鋭化処理では、画像変化の急峻な部分と緩慢な部分との両者について適切な鮮鋭感を与えることが難しい。この点からすれば、画像鮮鋭化処理としては、画像全体における部分ごとに、その画像変化の急峻さの度合い（急峻度）に応じて個別に制御量を与えることが必要になる。
【０００６】
例えば先に述べた従来技術の場合、画像処理のためのフィルタ係数を算出するのに利用するデータのサイズを小さくできるという点では処理の効率化が図られている。しかし、この従来技術は、例えば解像度変換という画像全体を対象とした画像処理を前提としており、画像の部分ごとに異なる制御量を与えるための画像処理に対応するものではない。例えば、画像の部分ごとに異なる制御量を与える処理を実現しようとすれば、通常は高速フーリエ変換などの処理を必要とするが、この処理は複雑で重いため、例えば信号処理能力が低い傾向にある民生機器などでは実装することが難しい場合がある。
【０００７】
本発明はこのような状況に鑑みてなされたものであり、画像の部分ごとの画像変化の急峻度に応じて異なる鮮鋭化制御量を与える画像鮮鋭化処理を可能とするとともに、この画像鮮鋭化処理が簡易かつ効率的なものとなるようにすることを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、上記課題を解決するためになされたものであり、その第１の側面は、入力画像を形成する画素のうちから選択した注目画素およびその周辺の所定数の画素から成る特徴量算出対象画像部分における最大画素値と最小画素値との差分値である最大最小画素差分値を算出する最大最小画素差分値算出部と、上記特徴量算出対象画素部分において隣接する画素の差分値のうちで最大値となる最大隣接画素差分値を算出する最大隣接画素差分値算出部と、上記最大最小画素差分値および上記最大隣接画素差分値に基づいて上記特徴量算出対象画素部分における画像変化の急峻性に対応する画像変化特徴量を算出する画像変化特徴量算出部と、上記画像変化特徴量に基づいてフィルタ係数を算出するフィルタ係数算出部と、１つの上記特徴量算出対象画像部分と同じ注目画素およびその周辺の所定数の画素から成るフィルタ処理対象画像部分を形成する画素を入力して、上記１つの上記特徴量算出対象画像部分に対応するフィルタ係数を用いて上記フィルタ処理対象画像部分における注目画素の出力画素値を算出する鮮鋭化フィルタ部とを具備する画像処理装置である。これにより、特徴量算出対象画像部分の最大最小画素差分値と最大隣接画素差分値とに基づいて画像変化を定量化した画像変化特徴量に基づいて、画素ごとに制御量を設定した画像鮮鋭化処理を実行するという作用をもたらす。
【０００９】
また、この第１の側面において、上記特徴量算出対象画像部分を形成する画素数と上記フィルタ処理対象画像部分を形成する画素数とは互いに異なるようにしてもよい。これにより、特徴量算出対象画像部分を形成する画素数とフィルタ処理対象画像部分を形成する画素数との多様な組み合わせのうちから適切なものを選択して鮮鋭化処理を実行するという作用をもたらす。
【００１０】
また、この第１の側面において、上記フィルタ係数を算出するための多項式関数における多項式係数を記憶する多項式係数記憶部をさらに具備し、上記フィルタ係数算出部は、上記多項式係数記憶部に記憶されている多項式係数による多項式関数の変数に画像変化特徴量の値を代入して演算を行うことで上記フィルタ係数を算出するようにしてもよい。これにより、多項式係数のデータと画像変化特徴量とを利用した多項式関数の演算処理によってフィルタ係数を算出するという作用をもたらす。
【００１１】
また、この第１の側面において、上記画像変化特徴量算出部は、算出された上記最大隣接画素差分値が算出された上記最大最小画素差分値に対応して予め設定された上限閾値以上の場合には上記画像変化特徴量として最大値を設定し、上記最大隣接画素差分値が上記最大最小画素差分値ごとに対応して予め設定される下限閾値以下の場合には上記画像変化特徴量として最小値を設定し、上記最大隣接画素差分値が上記上限閾値と上記下限閾値との間である場合には、上記上限閾値に対する上記下限閾値の差分値と上記最大隣接画素差分値に対する上記下限閾値の差分値との比に基づいて上記画像変化特徴量を算出するようにしてもよい。これにより、最大隣接画素差分値と最大最小画素差分値との組み合わせに対応させて、最大値から最小値までの範囲における画像変化特徴量としての値を算出するという作用をもたらす。
【発明の効果】
【００１２】
本発明によれば、簡易な処理でありながら、画像全体における部分ごとの画像変化の急峻度に応じて制御量を変更するという画像鮮鋭化処理が実現されるという優れた効果を奏し得る。
【図面の簡単な説明】
【００１３】
【図１】本発明の第１の実施の形態における画像処理装置１００の構成例を示す図である。
【図２】本発明の第１の実施の形態におけるダイナミックレンジの算出処理例を説明するための図である。
【図３】本発明の第１の実施の形態における一次微分絶対値の算出処理例を説明するための図である。
【図４】本発明の第１の実施の形態における画像変化特徴量の算出処理例を説明するための図である。
【図５】本発明の第１の実施の形態におけるフィルタ係数の算出処理例を説明するための図である。
【図６】本発明の第１の実施の形態における鮮鋭化フィルタ部１０８のフィルタ処理例を示す図である。
【図７】本発明の第１の実施の形態における画像処理装置１００が実行する画像鮮鋭化のための処理手順例を示す図である。
【図８】本発明の第１の実施の形態におけるフィルタ係数算出部１０５が実行するフィルタ係数算出のための処理手順例を示す図である。
【図９】本発明の第２の実施の形態におけるテレビジョン受像機４００の構成例を示す図である。
【発明を実施するための形態】
【００１４】
以下、本発明を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（画素ごとに算出した画像変化特徴量に基づいて画像鮮鋭化処理を実行する例）
２．第２の実施の形態（第１の実施の形態の画像処理装置をテレビジョン受像機に適用した例）
３．変形例
【００１５】
＜１．第１の実施の形態＞
［画像処理装置の構成例］
図１は、本発明の第１の実施の形態における画像処理装置１００の構成例を示している。この図に示す画像処理装置１００は、画像信号処理として、画像の鮮鋭性を高める画像鮮鋭化処理を実行する。
【００１６】
この図１に示す画像処理装置１００は、特徴量算出対象画素ブロック抽出部１０１、ダイナミックレンジ算出部１０２、一次微分絶対値算出部１０３、および、画像変化特徴量算出部１０４を備える。また、フィルタ係数算出部１０５、係数変換データ記憶部１０６、鮮鋭化処理対象画素ブロック抽出部１０７、および、鮮鋭化フィルタ部１０８を備える。
【００１７】
この画像処理装置１００の入力画像信号は、所定のデジタル信号形式による動画像データであり、例えば時系列に応じたフレーム画像データが連続して形成される。１つのフレーム画像データは設定された解像度に応じた水平画素数と垂直画素数とによる複数の画素により形成される。特徴量算出対象画素ブロック抽出部１０１は、入力画像信号としてのフレーム画像データから所定の水平画素数および垂直画素数による画像部分を抜き出して抽出し、これを特徴量算出対象画素ブロックとして取得する部位である。この特徴量算出対象画素ブロックは、フレーム画像データを形成する画素のうちから選択した１つの注目画素とその周辺に配列される所定数の周辺画素により形成される。また、注目画素は、フレーム画像データを形成する全ての画素を対象にして順次選択が行われ、この選択された注目画素ごとに対応して順次１つの特徴量算出対象画素ブロックが抽出される。したがって、本発明の実施の形態では、１フレーム画像データごとにつき、そのフレーム画像データを形成する画素数分の特徴量算出対象画素ブロックが抽出される。
【００１８】
ダイナミックレンジ算出部１０２は、特徴量算出対象画素ブロックとしての画像部分についてのダイナミックレンジを算出する。このダイナミックレンジの算出例については後述する。また、一次微分絶対値算出部１０３は、特徴量算出対象画素ブロックとしての画像部分についての一次微分絶対値を算出する。この一次微分絶対値の算出例については後述する。なお、ダイナミックレンジ算出部１０２は、特許請求の範囲に記載の最大最小画素差分値算出部の一例である。また、一次微分絶対値算出部１０３は、特許請求の範囲に記載の最大隣接画素差分値算出部の一例である。
【００１９】
画像変化特徴量算出部１０４は、上記のようにして算出されたダイナミックレンジと一次微分絶対値とに基づいて画像変化特徴量を算出する。画像変化特徴量は、特徴量算出対象画素ブロックとしての画像部分における空間周波数特性として、例えばその周波数と振幅との組み合わせを或る１つの値として定量化したものとしてみることができる。すなわち、特徴量算出対象画素ブロックの画像部分における画像変化についての急峻さの度合いを数値化したものとなる。なお、画像変化特徴量の算出例については後述する。
【００２０】
フィルタ係数算出部１０５は、係数変換データ記憶部１０６から読み出した係数変換データを利用して演算を行うことで、画像変化特徴量に対応したフィルタ係数を算出する部位である。なお、このフィルタ係数算出部１０５によるフィルタ係数の算出処理例については後述する。
【００２１】
係数変換データ記憶部１０６は、上記のようにしてフィルタ係数算出部１０５がフィルタ係数の算出に利用する係数変換データを記憶する部位である。この係数変換データ記憶部１０６は、例えば実際には、不揮発性メモリ、ＲＯＭ（Read Only Memory）または所定の補助記憶装置により構成できる。本発明の実施の形態における係数変換データは、後述するフィルタ係数の算出処理例からも理解されるように、画像変化性特徴量として得られた数値をフィルタ係数に変換する機能を有するものとなる。なお、係数変換データ記憶部１０６は、特許請求の範囲に記載の多項式係数記憶部の一例である。
【００２２】
鮮鋭化処理対象画素ブロック抽出部１０７は、先の特徴量算出対象画素ブロック抽出部１０１と同様に、入力画像信号としてのフレーム画像データから所定の水平画素数および垂直画素数による画像部分を抜き出す。これにより、鮮鋭化処理対象画素ブロックを抽出して取得する部位である。また、注目画素を順次選択しながら、この注目画素を含む鮮鋭化処理対象画素ブロックを順次抽出していく点も同様である。例えば同じ時刻において抽出される特徴量算出対象画素ブロックと鮮鋭化処理対象画素ブロックの注目画素は同じとなる。
【００２３】
ただし、本発明の実施の形態においては、特徴量算出対象画素ブロックと鮮鋭化処理対象画素ブロックは、それぞれを形成する画素数が異なるものとなる。すなわち、本発明の実施の形態では、画像変化特徴量を算出するための画素ブロックを形成する画素数と、鮮鋭化のためのフィルタ処理に利用される画素ブロックを形成する画素数とについて互いに異なるものとしている。これは、画像変化特徴量を算出するための画素ブロックを形成する画素数と、鮮鋭化フィルタ処理のための画素ブロックを形成する画素数との設定について自由度が与えられていることを意味する。例えば、特徴量算出対象画素ブロックと鮮鋭化処理対象画素ブロックの各画素数の組み合わせにより、視覚的に認識される鮮鋭感は異なるものとなることが想定できる。そこで、例えば予めのシミュレーションなどにより、視覚的に最も良好な鮮鋭感が得られる画素数の組み合わせを特定しておくようにする。そして、この特定された画素数による特徴量算出対象画素ブロックおよび鮮鋭化処理対象画素ブロックを形成して実際の画像鮮鋭化処理を実行させるようにすることができる。このようにして、本発明の実施の形態においては、画像変化特徴量の算出と鮮鋭化フィルタ処理とで同じ画素ブロックを利用する場合と比較して、例えばより柔軟に鮮鋭化の効果を設定可能になる。また、後述する図２、図３および図６では、特徴量算出対象画素ブロックおよび鮮鋭化処理対象画素ブロックは、それぞれ、所定の行数と列数により画素が配列されることで、全体として矩形となるものとして示されている。しかし、このような特徴量算出対象画素ブロックおよび鮮鋭化処理対象画素ブロックの全体形状も一例であって、例えば菱形や円形その他の多様な形状とすることが考えられる。また、そのうえで、特徴量算出対象画素ブロックと鮮鋭化処理対象画素ブロックとで互いに異なる形状とすることも考えられる。
【００２４】
鮮鋭化フィルタ部１０８は、鮮鋭化処理対象画素ブロックを形成する画素群を入力してフィルタ係数算出部１０５により算出されたフィルタ係数によるフィルタ処理を実行する。これにより、入力した鮮鋭化処理対象画素ブロックにおける注目画素についての出力画素値を得る。この出力画素値の１フレーム分により、例えば出力画像信号としてのフレーム画像データが形成される。
【００２５】
［ダイナミックレンジの算出処理例］
次に、図２を参照して、上記図１におけるダイナミックレンジ算出部１０２が実行するダイナミックレンジ算出処理の一具体例について説明する。図２には、特徴量算出対象画素ブロック２００の一例が示されている。この図に示す特徴量算出対象画素ブロック２００は、例えば（３×３）による９個の画素２０１により形成されるものとしている。このようにして９個の画素２０１により形成される場合には、２行２列目の中央の画素が注目画素２０１Ａとなり、その周辺の８個の画素が周辺画素２０１Ｂとなる。
【００２６】
また、図２においては、特徴量算出対象画素ブロック２００を形成する９個の画素２０１ごとに、その画素値の具体例が示されている。なお、この図に示される各画素値は、８ビットにより０から２５５までの２５６段階で画素値が表現される場合を想定している。
【００２７】
ダイナミックレンジ算出部１０２は、入力した特徴量算出対象画素ブロック２００を形成する９個の画素２０１が有する画素値のうちから、まず、最大画素値と最小画素値とを認識する。図２の場合であれば、１行２列目の画素２０１の画素値「２５０」が最大画素値として認識され、３行１列目の画素２０１の画素値「１０」が最小画素値として認識される。次に、ダイナミックレンジ算出部１０２は、認識した最大画素値と最小画素値との差分絶対値を算出する。図２の場合には差分絶対値は「２４０」となる。この差分絶対値がダイナミックレンジとなる。すなわち、ここでのダイナミックレンジは、特徴量算出対象画素ブロック２００における最大画素値と最小画素値との差分絶対値となる。
【００２８】
［一次微分絶対値の算出処理例］
次に、図３を参照して、一次微分絶対値算出部１０３が実行する一次微分絶対値算出処理例について説明する。図３には、上記図２と同じ特徴量算出対象画素ブロック２００が示されている。一次微分絶対値算出部１０３は、まず、入力した特徴量算出対象画素ブロック２００において水平方向と垂直方向とで隣接する２つの画素２０１の画素値の差分絶対値（隣接画素差分値）を算出する。すなわち、図２の場合であれば、水平方向に対応しては、１行乃至３行目の各行において、１列目と２列目の画素２０１間の画素値の隣接画素差分値と、２列目と３列目の画素２０１間の隣接画素差分値を算出する。また、垂直方向に対応しては、１列乃至３列目の各列において、１行目と２行目の画素２０１間の隣接画素差分値と、２行目と３行目の画素２０１間の隣接画素差分値を算出する。このようにして、（３×３）による画素２０１の配列により形成される特徴量算出対象画素ブロック２００においては１２個の隣接画素差分値が得られることになる。
【００２９】
上記のようにして隣接画素差分値を算出した後、一次微分絶対値算出部１０３は、算出された隣接画素差分値のうちから最大のものを選択し、これを一微分絶対値として出力する。図２の場合であれば、最大の隣接画素差分値は、３行１列目の画素２０１の画素値「１０」と３行２列目の画素２０１の画素値「２３０」とにより求められる「２２０」となる。一次微分絶対値算出部１０３は、この「２２０」の値を一次微分絶対値として出力することになる。
【００３０】
なお、一次微分絶対値の算出に関しては、例えば、図３により説明した水平方向と垂直方向とにおける隣接画素差分値に加えて、例えば斜め方向において隣接する２つの画素間の隣接画素差分値も求めるようにすることが考えられる。そして、これらの隣接画素差分値における最大値を一次微分絶対値とするものである。
【００３１】
［画像変化特徴量の算出処理例］
ここで、先に図２により説明したようにして算出されるダイナミックレンジは、特徴量算出対象画素ブロック２００としての部分画像領域全体としてみた場合の画素値の変化量がどの程度であるのかについて示すものとなる。これは、例えば空間周波数特性における振幅に対応して得られる特徴量としてみることができる。
【００３２】
また、上記図３による説明のようにして算出される一次微分絶対値は、特徴量算出対象画素ブロック２００としての部分画像領域における画素値の変化の細かさを示すものとなる。これは、空間周波数特性における周波数に相当する特徴量としてみることができる。
【００３３】
仮に一次微分絶対値を一定としてダイナミックレンジを変化させていった場合、画像の細かさは一定であるがダイナミックレンジが小さくなれば、その画像の変化幅が少なくなっていき、これに応じて画像変化は緩慢になっていく。これに対して、ダイナミックレンジが大きくなれば、その画像の変化幅は大きくなっていき、これに応じて画像変化は急峻なものとなっていく。
【００３４】
同様に、ダイナミックレンジを一定として一次微分絶対値を変化させていった場合にも、画像の変化幅は一定であるが、一次微分絶対値が小さくなっていくのに応じて画像の変化は大まかになるために画像の変化は緩慢になる。これに対して、一次微分絶対値が小さくなっていくのに応じて画像の変化は細かくなっていくため、画像の変化は急峻なものとなる。
【００３５】
このようにして、ダイナミックレンジと一次微分絶対値との組み合わせ、すなわち空間周波数特性に応じて、画像変化の急峻性が決まってくるということがいえる。本発明の実施の形態の画像鮮鋭化処理は、画像変化が急峻となるのに応じて鮮鋭化量を抑制し、緩慢となるのに応じて鮮鋭化量を増加させるものである。このためには、画像変化の急峻性の度合いを定量化して鮮鋭化の制御に用いる必要がある。なお、以降の説明において、この画像変化に関する急峻性の度合いについては、急峻度ということにする。
【００３６】
そこで、本発明の実施の形態においては、算出されたダイナミックレンジおよび一次微分絶対値を利用して画像変化特徴量を算出することにより、画像変化の急峻度の定量化を図る。画像変化特徴量算出部１０４は、空間周波数特性に相当するものとして算出されたダイナミックレンジおよび一次微分絶対値を利用して、一例として、次に説明するようにして画像変化特徴量を算出する。
【００３７】
図４には、ダイナミックレンジと一次微分絶対値とによる二次元特徴量空間が示されている。この図において横軸（ｘ軸）はダイナミックレンジであり、縦軸（ｙ軸）は一次微分絶対値である。この図４の二次元特徴量空間においては、２本の曲線Ａ、Ｂが示されている。曲線Ａにおける縦軸座標は、ダイナミックレンジとして取り得る値ごとに対応して予め設定した一次微分絶対値の上限閾値に対応している。曲線Ｂは、ダイナミックレンジとして取り得る値ごとに対応して予め設定した一次微分絶対値の下限閾値に対応している。
【００３８】
そして、図４の座標領域において曲線Ａに対応する上限閾値よりもｙ座標値ｙｐ（一次微分絶対値）が大きい領域については急峻領域として設定する。曲線Ｂに対応する下限閾値よりもｙ座標値ｙｐが小さい領域については緩慢領域として設定する。また、ｙ座標値ｙｐが曲線Ａ、Ｂの間となる領域については中間領域として設定する。
【００３９】
図４では、算出されたダイナミックレンジおよび一次微分絶対値の組み合わせに応じた座標をＰ（ｘｐ、ｙｐ）として示している。座標Ｐが急峻領域に含まれる場合は、実際の画像変化も例えば最小制御量により画像鮮鋭化処理を行うことが必要な程度にまで急峻度が高いことを示す。また、座標Ｐが緩慢領域に含まれる場合は、例えば最大制御量により画像鮮鋭化処理を行うことが必要な程度にまで、実際の画像変化の急峻度も低いことを示す。また、座標Ｐが中間領域に含まれる場合、画像変化の急峻度としては、急峻領域と緩慢領域の場合の中間となる。この場合には、例えば実際の急峻度に応じた画像鮮鋭化処理の制御量を設定することが必要になる。
【００４０】
そのうえで、画像変化特徴量算出部１０４は、画像変化特徴量ｆについて、例えば次の特徴量算出式により求める。なお、次式においては、算出されたダイナミックレンジおよび一次微分絶対値の組み合わせに応じた座標をＰ（ｘｐ、ｙｐ）とする。また、ｘ＝ｘｐにおける上限閾値ｙＡに対応する曲線Ａ上の座標を（ｘｐ、ｙＡ）としている。また、ｘ＝ｘｐにおける下限閾値ｙＢに対応する閾値曲線Ｂ上の座標を（ｘｐ、ｙＢ）としている。
【数１】
【００４１】
すなわち、この例の場合には、座標Ｐ（ｘｐ、ｙｐ）が急峻領域に含まれる場合には、画像変化特徴量ｆとして一律に所定の最大値ｆｈを与えることとしている。また、座標Ｐ（ｘｐ、ｙｐ）が緩慢領域に含まれる場合には、画像変化特徴量ｆとして一律に所定の最小値ｆｌを与えることとしている。また、座標Ｐ（ｘｐ、ｙｐ）が中間領域に含まれる場合には、下限閾値ｙＢから上限閾値ｙＡまでの距離と、下限閾値ｙＢからｙ座標値ｙｐまでの距離との比に基づいて一意に画像変化特徴量ｆの値を算出することとしている。
【００４２】
なお、ダイナミックレンジの値ごとに対応する上限閾値ｙＡおよび下限閾値ｙＢ、すなわち、図４の曲線Ａ、Ｂについては、次のようにして設定することが考えられる。例えば、ダイナミックレンジおよび一次微分絶対値と空間周波数特性の関係性に基づいて、ダイナミックレンジを変数とする所定規則に従った演算式による演算を行う。これにより、ダイナミックレンジの値ごとに対応する上限閾値ｙＡおよび下限閾値ｙＢを一意に求めようというものである。また、例えば実際にダイナミックレンジと一次微分絶対値とについての組み合わせに対応する画像信号を生成して実際に表示させ、この表示された画像により、画像変化の急峻度を視覚的に判断する、または測定する。そして、この判断結果または測定結果に基づいて上限閾値ｙＡおよび下限閾値ｙＢを決定するというものである。
【００４３】
このようにして、本発明の実施の形態においては、ダイナミックレンジおよび一次微分絶対値の２つの特徴量を利用して画像変化特徴量を算出することにより画像変化の急峻さを定量化する。先にも述べたように、ダイナミックレンジおよび一次微分絶対値は空間周波数特性に相当するものとしてみることができる。したがって、例えばダイナミックレンジおよび一次微分絶対値の算出に代えて、実際に特徴量算出対象画素ブロック２００の周波数特性を解析して求め、この周波数特性を利用して画像変化特徴量を算出することも可能である。
【００４４】
しかし、周波数特性を求めようとすれば、例えば高速フーリエ変換などの重い解析処理を行うことになる。例えば本発明の実施の形態の画像処理装置１００は、後述もするようにして、実際には、テレビジョン受像機などの民生器に実装して好適である。しかし、このような民生器ではコストなどの問題で高速なデジタル信号処理回路を実装することが難しく、したがって画像処理などもできるだけ軽い処理とすることが求められる。前述もしたように、本発明の実施の形態におけるダイナミックレンジおよび一次微分絶対値は、いずれも図２および図３により説明したように、例えば画素値の最大値と最小値の差分を求める、または隣接画素差分値の最大値を求めることにより求められる。すなわち、非常に簡易で軽い処理により求めることができる。また、画像変化特徴量に関しても、例えば図４および先の特徴量算出式により説明したように、簡単でありながらも、上限閾値ｙＡと下限閾値ｙＢが適切に設定されていさえすれば、画像鮮鋭化処理に対応して十分な精度の値を求めることができる。
【００４５】
［係数変換データの例］
次に、係数変換データ記憶部１０６に記憶される係数変換データについて簡単に説明しておく。この係数変換データは、次のようにして作成される。まず、教師画像と、例えばこの教師画像についてぼかし処理を行って得られる複数の生徒画像とによる学習対を用意する。また、この学習対としては、教師画像と生徒画像との間での特性が異なる複数を用意する。具体的には、図４に示した急峻領域に対応する特性の学習対と、緩慢領域に対応する特性の学習対と、中間領域に対応する複数の異なる特性の学習対とを用意する。
【００４６】
そして、この学習対ごとにおける教師画像と生徒画像との間の回帰係数をフィルタ係数として学習する。この学習対ごとの学習によっては、例えば、鮮鋭化処理対象画素ブロックを形成する画素ごとに対応した複数のフィルタ係数が求められる。この際、学習対となる教師画像と生徒画像との間の特性が異なるものを複数用意していることで、特性ごとに応じて異なる鮮鋭化量を与えるためのフィルタ係数が得られる。
【００４７】
次に、この場合のパラメータである画像変化特徴量について複数の異なる固定値を用意する。そして、これらのパラメータの固定値と、算出されたフィルタ係数とを利用して、例えば最小二乗法などにより、画像変化特徴量としてのパラメータを変数として代入してフィルタ係数を算出するための多項式関数を求める。
【００４８】
本発明の実施の形態では、このようにして求められた多項式関数の係数（多項式係数）の組み合わせが係数変換データとなる。例えばフィルタ係数を求めるための多項式関数が三次関数（ｙ＝ａｘ３＋ｂｘ２＋ｃｘ＋ｄ）として求められたのであれば、各項における多項式係数ａ、ｂ、ｃ、ｄの組み合わせが係数変換データとなる。そして、この係数変換データを、鮮鋭化フィルタ部１０８が有するタップごとに求めるものである。これらのタップごとに求められた係数変換データが記憶部１０６に記憶される。
【００４９】
［フィルタ係数の算出処理例］
続いて、フィルタ係数算出部１０５が実行するフィルタ係数の算出処理例について説明する。ここで、図５は、或る１つのタップに対応する係数変換データによって得られる関数のグラフを示している。この図からも理解されるように、最小値ｆｌから最大値ｆｈまでの値を取り得る任意の画像変化特徴量ｆを変数として代入することにより１つのフィルタ係数ωｉが特定されるようにして算出される。
【００５０】
実際におけるフィルタ係数算出部１０５は、例えば次のようにしてフィルタ係数を算出する。まず、フィルタ係数算出部１０５は、例えば係数変換データ記憶部１０６から、ｉ番目のタップに対応する係数変換データを読み出す。次に、この係数変換データとして示される多項式係数を関数に与えたうえで、この関数に画像変化特徴量ｆを代入して、フィルタ係数ωｉを求める。そして、このフィルタ係数ωｉを求める処理を、タップごとに対応して順次実行する。これにより、鮮鋭化フィルタ部１０８が実際に備えるタップごとに応じた複数のフィルタ係数ωｉが求められる。
【００５１】
上記のようにして鮮鋭化フィルタ部１０８のｉ番目のタップごとに応じたフィルタ係数ωｉを算出する処理は、例えば係数変換データとしての多項式係数が三次関数に対応するものである場合には、次の係数変換式により表すことができる。次の係数変換式において、ｊ（０≦３）は、三次関数における０乃至３までの各項の次数を示す。また、ｋｉｊは、ｉ番目のタップに対応するｊ次（０次乃至３次）の各項の係数（多項式係数）を示す。
【数２】
【００５２】
下記の係数変換式によれば、０次乃至３次の各項の値として、ｋｉ０、ｋｉ１・ｆ、ｋｉ２・ｆ２、ｋｉ３・ｆ３を順次求め、これらの各項の値を加算することでフィルタ係数ωｉが算出される。すなわち、前述したように、係数変換データとしての多項式係数を与えた関数の変数ｘに画像変化特徴量ｆを代入することにより、フィルタ係数ωｉが算出されるものである。
【００５３】
例えば、係数フィルタを算出するにあたり、上記の係数変換データに代えて、画像変化特徴量として取り得る値ごとに対応するフィルタ係数の値を示すテーブルデータを記憶しておくようにすることも考えられる。この場合には、フィルタ係数算出部１０５は、上記のテーブルから画像変化特徴量の値に対応付けられているフィルタ係数を読み出すことになる。しかし、このようなテーブルは、画像変化特徴量の値とタップの組み合わせに対応した多数のフィルタ係数のデータから成るために、そのデータサイズは相当に大きなものとなる。このために、例えば実際のメモリなどの容量を多く使用してしまうことになる。これに対して、本発明の実施の形態の係数変換データであれば、例えばタップごとに対応した多項式係数の値を記憶すればよく、係数変換データ全体としてのデータサイズは大幅に縮小できる。これにより、係数変換データを記憶しておくための記憶容量も大幅に縮小される。また、フィルタ係数の算出に際しても、例えば上記の係数変換式として示されるように、その演算処理は、所定次数による多項式関数を求めるという簡易で軽い処理となっている。
【００５４】
ここで、画像変化特徴量ｆとフィルタ係数の関係について述べておく。最小値ｆｌ未満の画像変化特徴量に対応しては、設定可能な鮮鋭化制御量の範囲において最も大きな制御量が得られるフィルタ係数が算出される。また、最大値ｆｈより大きな画像変化特徴量に対応しては、最も小さい制御量となるフィルタ係数が算出される。また、画像変化特徴量が最小値ｆｌ以上、かつ最大値ｆｈ以下となる範囲では、画像変化特徴量ｆの値に応じた鮮鋭化量が得られるフィルタ係数が算出される。先に説明した係数変換データは、上記の画像変化特徴量ｆに応じたフィルタ係数が得られるようにして作成されている。
【００５５】
［画像鮮鋭化処理の例］
続いて、鮮鋭化フィルタ部１０８が実行する画像鮮鋭化処理について説明する。まず、鮮鋭化処理対象画素ブロック抽出部１０７が抽出する鮮鋭化処理対象画素ブロックについて説明しておく。図６においては、鮮鋭化処理対象画素ブロック２１０の一例が示されている。
【００５６】
この図６に示す鮮鋭化処理対象画素ブロック２１０は、例えば、先に図２および図３に示した特徴量算出対象画素ブロック２００と同様に、１つの注目画素２０１Ａと所定の複数の周辺画素２０１Ｂとから成る。ただし、前述もしたように、本発明の実施の形態においては、鮮鋭化処理対象画素ブロック２１０を形成する画素数は、特徴量算出対象画素ブロック２００とは異なるものとなる。
【００５７】
なお、図６において鮮鋭化処理対象画素ブロック２１０は、横５画素×縦５画素の計２５個の画素２０１から成るものとして示されている。しかし、このことは図２および図３に示した特徴量算出対象画素ブロック２００と画素数が異なっていることを明示しているに過ぎない。実際において鮮鋭化処理対象画素ブロック２１０を形成する画素数については特に限定されるべきものではなく、例えば実際に得られる画像鮮鋭化処理の効果などを考慮して適切な画素数が設定されればよい。
【００５８】
ただし、次の説明から理解されるように、鮮鋭化処理対象画素ブロック２１０を形成する画素数は、鮮鋭化フィルタ部１０８におけるタップ数と同じとなる。例えば、実際に画像処理装置１００を構成する場合、まず、鮮鋭化の効果などを考慮して鮮鋭化処理対象画素ブロック２１０を形成する画素数を決定する。そして、この決定に応じて、鮮鋭化フィルタ部１０８について、鮮鋭化処理対象画素ブロック２１０を形成する画素数と同じタップ数による構成を与えることになる。
【００５９】
鮮鋭化フィルタ部１０８は、次のようにして画像鮮鋭化処理を実行する。なお、ここでの説明は図６を参照することとして、鮮鋭化処理対象画素ブロック２１０は、２４個の画素から成る場合を想定する。これに応じて、鮮鋭化フィルタ部１０８が備えるタップ数も第０タップから第２４タップまでの２５個となる。
【００６０】
図６に示すように鮮鋭化フィルタ部１０８は、鮮鋭化処理対象画素ブロック２１０を入力するとともに、フィルタ係数群３００を入力する。この図における鮮鋭化処理対象画素ブロック２１０においては、第０番目から第２４番目までの２５個の画素２０１ごとの画素値ｘ０乃至ｘ２４が示されている。また、フィルタ係数群３００も、図示するようにして、鮮鋭化フィルタ部１０８が２５個のタップを有することに対応して、第０フィルタ係数ω１から第２４フィルタ係数ω２４までの２５個のフィルタ係数から成る。なお、これらのフィルタ係数は、前述のフィルタ係数算出処理によってタップごとに求められたものである。
【００６１】
鮮鋭化フィルタ部１０８は、第０タップから第２４タップの２５個のタップごとに対して、第０フィルタ係数ω１から第２４フィルタ係数ω２４（０≦ｉ≦２４）までのフィルタ係数を設定する。そして、第０タップから第２４タップまでのタップごとに、第０番目から第２４番目の各画素２０１の画素値ｘ０乃至ｘ２４を入力して乗算を実行する。次に、これらの乗算結果を加算する。すなわち、鮮鋭化フィルタ部１０８は、画素値とフィルタ係数についての積和演算を行う。これにより、鮮鋭化フィルタ部１０８からは注目画素２０１Ａの画素値ｘ１２について鮮鋭化に対応する補正を行った結果としての出力画素値ｏが出力される。
【００６２】
上記の鮮鋭化フィルタ部１０８のフィルタ処理は、複数のタップに付す番号としての変数をｉとして出力画素値ｏを算出する、次のフィルタ演算式により表すことができる。
【数３】
【００６３】
上記フィルタ演算式の分子に示されるようにして、ｉ番目のタップごとにフィルタ係数ωｉと画素値ｘｉとを乗算したうえで、これらの乗算値を加算するという積和演算を行うことにより出力画素値ｏを算出する。なお、上記フィルタ演算式の分母は、各タップに対応するフィルタ係数を加算したものとなる。画像のフィルタ処理においては、各タップのフィルタ係数の合計が「１」となるようにして設定されるが、本発明の実施の形態においても、各タップに対応するフィルタ係数の合計は「１」となるようにされている。したがって、鮮鋭化フィルタ部１０８は、実質的には上記フィルタ演算式の分子により示される積和演算を行うものとなる。
【００６４】
そして、時系列に応じて順次選択される注目画素２０１Ａごとに対応して求められた出力画素値ｏにより、図１の画像処理装置１００の出力である出力画像信号が得られる。この出力画像信号により得られる画像は、例えば、画像部分における画像変化が大きくなるのに応じて鮮鋭化が抑制されたものとなる。一方、画像変化が小さくなるのに応じて鮮鋭感が高められていくことになる。この結果、画像において鮮鋭化が過剰な部分と鮮鋭化が不足する部分とが混在しなくなり、画面全体において均一で適切な鮮鋭感が得られることになる。
【００６５】
［画像処理装置が実行する処理手順例］
図７および図８のフローチャートは、図１に示した本発明の実施の形態の画像処理装置１００が実行する処理手順例を示している。図７は、１つのフレーム画像データに対応して画像処理装置１００が実行する画像鮮鋭化処理のための処理手順例を示している。画像処理装置１００は、入力画像信号としてのフレーム画像データが入力されるごとに、この図に示す処理を繰り返し実行する。
【００６６】
図７において、まず、特徴量算出対象画素ブロック抽出部１０１は、１フレーム画像データを形成する画素ごとに付した番号を示す変数ｎに１を代入する初期化を実行する（ステップＳ９０１）。続いて、特徴量算出対象画素ブロック抽出部１０１は、現フレーム画像データを形成する画素のうちから、ｎ番目の画素を注目画素２０１Ａとして選択する。そのうえで、例えば先に図２により説明したようにして特徴量算出対象画素ブロック２００を抽出する処理を実行する（ステップＳ９０２）。
【００６７】
続いて、ダイナミックレンジ算出部１０２は、上記ステップＳ９０１により抽出された特徴量算出対象画素ブロック２００を対象として、例えば先の図２による説明のようにしてダイナミックレンジの算出を行う（ステップＳ９０３）。また、一次微分絶対値算出部１０３は、同じ特徴量算出対象画素ブロック２００についての一次微分絶対値を、例えば先の図２による説明のようにして算出する（ステップＳ９０４）。
【００６８】
続いて、画像変化特徴量算出部１０４は、上記ステップＳ９０３により算出されたダイナミックレンジとステップＳ９０４により算出された一次微分絶対値とにより、先に図４により説明したようにして画像変化特徴量を算出する（ステップＳ９０５）。
【００６９】
続いて、フィルタ係数算出部１０５は、上記ステップＳ９０５により算出された画像変化特徴量に基づいて、先に図５にて説明したようにしてタップごとに応じたフィルタ係数算出のための処理を実行する（ステップＳ９２０）。
【００７０】
続いて、鮮鋭化処理対象画素ブロック抽出部１０７は、ｎ番目の画素を注目画素として、例えば図６による説明のようにして鮮鋭化処理対象画素ブロック２１０を抽出する（ステップＳ９０６）。そして、鮮鋭化フィルタ部１０８は、次のようにしてｎ番目の画素についての鮮鋭化フィルタ処理を実行する（ステップＳ９０７）。すなわち、鮮鋭化フィルタ部１０８は、例えば先のステップＳ９２０により算出されたフィルタ係数をタップごとに対して設定する。そして、上記ステップＳ９０６により抽出された鮮鋭化処理対象画素ブロック２１０を形成する画素２０１の各々を対応するタップに入力して、その画素値とフィルタ係数とを乗算し、これらの乗算結果を加算する。この積和演算の結果がｎ番目の画素に対応する出力画素値ｏとして出力される。
【００７１】
続いて、例えば特徴量算出対象画素ブロック抽出部１０１は、変数ｎをインクリメントしたうえで（ステップＳ９０８）、現在の変数ｎが最大値よりも大きいか否かについて判定する（ステップＳ９０９）。なお、変数ｎの最大値は、１つのフレーム画像データを形成する画素数となる。ここで、変数ｎが最大値以下である場合には、現フレーム画像データにおいて未だ鮮鋭化フィルタ部１０８による処理が行われていない画素が残っていることになる。そこで、この場合には、ステップＳ９０２の処理に戻る。そして、現フレーム画像データにおける全ての画素についての処理が完了すると、ステップＳ９０９において現在の変数ｎが最大値よりも大きくなったと判定される。この場合には、例えば次のフレーム画像データに対応した画像鮮鋭化処理として、ステップＳ９０１からの処理を再度実行する。
【００７２】
図８は、上記図７のステップＳ９２０として示したフィルタ係数算出のための処理手順例を示している。まず、フィルタ係数算出部１０５は、鮮鋭化フィルタ部１０８におけるタップに付された番号に対応する変数ｉに対して０を代入する初期化を実行する（ステップＳ９２１）。次に、フィルタ係数算出部１０５は、係数変換データ記憶部１０６から第ｉタップに対応する係数変換データを読み出して入力する（ステップＳ９２２）。
【００７３】
続いて、フィルタ係数算出部１０５は、フィルタ係数ωｉを算出する（ステップＳ９２３）。前述したように、係数変換データはフィルタ係数を算出するための多項式関数における係数（多項式係数）である。そこで、フィルタ係数算出部１０５は、上記ステップＳ９２２により入力した係数変換データとしての多項式係数を設定して得られる多項式関数の変数に対して、先に図７のステップＳ９０５により算出された画像変化特徴量の値を代入する。これにより求められる関数の値がフィルタ係数ωｉとなる。
【００７４】
続いて、フィルタ係数算出部１０５は、変数ｉをインクリメントしたうえで（ステップＳ９２４）、現在の変数ｉが最大値より大きいか否かについて判定する（ステップＳ９２５）。なお、変数ｎの最大値は、鮮鋭化フィルタ部１０８が有するタップ数よりも１つ少ない数となる。このステップＳ９２５において、変数ｉが最大値以下であると判定された場合には、未だ第ｉ番目以降のタップに対応するフィルタ係数が算出されていないことになる。そこで、この場合には、ステップＳ９２２の処理に戻る。そして、全てのタップに対応するフィルタ係数の算出が完了すると、ステップＳ９２５により変数ｉが最大値より大きいと判定されることになり、ステップＳ９２０としてのフィルタ係数算出処理を終了する。
【００７５】
＜第２の実施の形態＞
［テレビジョン受像機の構成］
上記図１乃至図８により説明した画像処理装置１００は、例えばテレビジョン受像機により具現化することができる。そこで、本発明の第２の実施の形態として、画像処理装置１００の構成が適用されたテレビジョン受像機について説明する。
【００７６】
図９は、第２の実施の形態としてのテレビジョン受像機４００の構成例を示している。この図に示されるテレビジョン受像機４００は、チューナ４０１、復調器４０２、デマルチプレクサ４０３、画像デコーダ４０４、画像信号処理部４２０、表示部４０５、音声デコーダ４０６、音声信号処理部４０７、および、スピーカ４０８を備えて成る。また、制御部４０９、および、操作部４１０を備えて成る。また、テレビジョン受像機４００にはアンテナ４３０が接続されている。
【００７７】
アンテナ４３０は、放送電波を受信するものである。チューナ４０１は、アンテナ４３０にて電波を受信したことにより発生する受信信号を入力して、例えば制御部４０９により指定されたデジタル放送のチャンネルに対応する周波数信号を抽出する部位である。
【００７８】
復調器４０２は、チューナ４０１から入力した周波数信号について、例えばビタビ復調処理や誤り訂正処理などの復調処理を施す部位である。この復調処理によって、指定されたチャンネルのデータを含むトランスポートストリーム信号が得られる。
【００７９】
デマルチプレクサ４０３は、トランスポートストリーム信号から、指定されたチャンネルに対応する圧縮画像データと圧縮音声データを抽出する部位である。抽出された圧縮画像データは、画像デコーダ４０４に出力される。また、抽出された圧縮音声データは、音声デコーダ４０６に出力される。
【００８０】
画像デコーダ４０４は、デマルチプレクサ４０３から入力した圧縮画像データについて伸長のためのデコード処理を実行して所定のデジタル形式による画像信号を得る部位である。
【００８１】
画像信号処理部４２０は、画像デコーダ４０４から出力される画像信号を入力して、例えば画質調整などをはじめとする各種所要の画像信号処理を実行する部位である。そして、この画像信号処理部４２０は、上記所要の画像信号処理の１つとして画像の画像鮮鋭化処理を実行可能とされている。このために、画像信号処理部４２０においては、画像鮮鋭化処理部４２１が備えられる。この画像鮮鋭化処理部４２１は、例えば第１の実施の形態として説明した図１の画像処理装置１００と同様の構成を採る。
【００８２】
例えば画像鮮鋭化処理部４２１は、画像信号処理部４２０において所定段階までの画像信号処理を経た画像信号を入力する。そして、先に説明した画像鮮鋭化のための処理を施した画像信号を得る。
【００８３】
画像信号処理部４２０により所要の画像信号処理を経た画像信号は、表示部４０５に出力される。表示部４０５は、入力される画像信号を画像として表示する部位である。なお、表示部４０５として実際に採用されるディスプレイデバイスについては特に限定されないが、例えば液晶ディスプレイ装置、有機ＥＬ（Electro-Luminescence）ディスプレイ装置、および、プラズマディスプレイ装置など挙げることができる。例えば、画像鮮鋭化処理部４２１によって画像鮮鋭化処理が施された画像信号が表示部４０５にて表示されているとする。このときに表示されている画像は、例えば元の画像全体における部分ごとの鮮鋭度の相違に係わらず、均一で適正な鮮鋭感が得られるようにして画質が調整されたものとなっている。
【００８４】
音声デコーダ４０６は、デマルチプレクサ４０３から入力された圧縮音声データについて伸長のためのデコード処理を行って、所定のデジタル形式による音声信号を得るための部位である。
【００８５】
音声信号処理部４０７は、音声デコーダ４０６からの音声信号を入力して、例えば音質調整や音量調整などをはじめとする所要のデジタル音声信号処理および音声信号の増幅を実行する部位である。また、音声信号処理部４０７は、音声信号が画像信号に同期して再生されるようにするための出力タイミング設定も行う。音声信号処理部４０７にて増幅された音声信号は例えばスピーカ４０８に供給されることで音声として放出される。
【００８６】
制御部４０９は、テレビジョン受像機４００における各部の制御を実行する部位である。この制御部４０９は、例えばＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、および、ＲＡＭ（Random Access Memory）などを備えて構成される。
【００８７】
操作部４１０は、テレビジョン受像機４００の本体に備えられる各種の操作子およびこれらの操作子に対して行われた操作に応じた操作信号を生成して制御部４０９に出力する操作信号出力部などを一括して示している。また、例えばテレビジョン受像機４００に対応するリモートコントロール装置と、このリモートコントロール装置からのコマンド信号を受信して操作信号に変換して出力するテレビジョン受像機４００内の受信部なども、この操作部４１０に含まれる。制御部４０９は、操作部４１０から入力された操作信号に応じた所要の制御、処理を実行する。これによりユーザ操作に応じてテレビジョン受像機の４００がしかるべき動作を行うことができる。
【００８８】
なお、例えばこのようなテレビジョン受像機４００に本発明の実施の形態の画像鮮鋭化処理を適用する場合、ユーザ操作に応じて、画像鮮鋭化処理のオンオフを行えるよう構成することが可能である。また、ユーザ操作に応じて画像鮮鋭化の効き具合を変更することも可能である。このようにして画像鮮鋭化の効き具合を変更したとしても、ユーザが適切であると感じる鮮鋭感が画面全体において均一に得られることに変わりはない。
【００８９】
また、本発明に基づく画像処理装置１００が具現化される機器は、上記のテレビジョン受像機４００に限定されるものではない。例えば、入力される画像信号の画像を表示するモニタ装置や、テレビジョン放送を受信選局して選局したチャンネルの画像信号を出力する生成する放送チューナ装置などをはじめ、各種の映像機器に適用できる。
【００９０】
また、本発明の実施の形態における画像処理装置１００や画像鮮鋭化処理部４２１は、ハードウェアにより構成することができる。また、ＤＳＰ（Digital Signal Processor）やＣＰＵなどにプログラムを実行させることにより実現できる。この点からすれば、本願発明は、パーソナルコンピュータなどに実行させるアプリケーションプログラムなどとして構成することも可能である。
【００９１】
＜３．変形例＞
［画像ノイズ低減処理に本発明の実施の形態の画像鮮鋭化処理を適用する例］
続いて、本発明の実施の形態の変形例について説明する。例えば、圧縮画像データに特有のモスキートノイズやブロックノイズといわれるノイズを低減する画像ノイズ低減処理の機能と、本発明の実施の形態の画像鮮鋭化処理の機能とが同じシステム内に実装されているとする。この場合、両者が独立に動作した場合には、画像ノイズ低減処理により低減されたノイズを画像鮮鋭化処理によって再び強調してしまうような場合もあると考えられる。そこで、画像ノイズ低減処理が実行されているか否かの情報を、画像部分ごとにパラメータ化する。そして、この画像ノイズ低減処理のパラメータに基づいて、画像ノイズ低減処理が実行されている画像部分については、鮮鋭化制御量を抑制してノイズを強調させないようにすることが考えられる。このためには、例えば画像変化特徴量算出部１０４により先の説明のようにして求めた画像変化特徴量について、画像ノイズ低減処理のパラメータに応じた補正を行い、この補正後の画像変化特徴量ｆによりフィルタ係数を算出すればよい。このようにして、例えば本発明の実施の形態の画像鮮鋭化処理を画像ノイズ低減処理と協調して動作させることが可能である。
【００９２】
［巡回型ノイズ低減処理に本発明の実施の形態の画像鮮鋭化処理を適用する例］
画像処理として、例えば巡回型ノイズ低減処理により撮像や伝送の過程において動画像に生じる時間変動ノイズを低減することが行われる。この巡回型ノイズ低減処理と本発明の実施の形態の画像鮮鋭化処理とを併用した場合にも、巡回型ノイズ低減処理により低減されたノイズを強調してしまう可能性が有る。例えば、画像鮮鋭化処理の前段に巡回型ノイズ低減処理を実行する構成とすれば時間変動するノイズが抑制された後に画像鮮鋭化処理を行うことになるので、鮮鋭感を高めることができる。しかし、巡回型ノイズ低減処理は一画面内におけるノイズ低減効果に偏りのあることが知られている。具体例として、動きベクトルを利用した巡回型ノイズリ低減処理では、画像内容の細かな領域については動きベクトルを適切に求めることができるためにノイズ除去効果が高い。その一方で、画像内容が平坦な領域では動きベクトルを安定して求めることができないため、十分なノイズ除去効果が得られない。したがって、ノイズ除去が十分に行われていない領域に対して鮮鋭感を積極的に高めるように画像鮮鋭化処理を行った場合、その画像部分のノイズが強調されてしまうことになる。一方で、十分なノイズ除去効果が得られている領域は、画像内容が細かな状態であるために画像鮮鋭化処理による鮮鋭感の向上効果が視覚的に分かりやすいといえる。そこで、巡回型ノイズ低減処理のノイズ低減強度に応じた特徴量を算出し、画像変化特徴量ｆに代えて、このノイズ低減強度の特徴量から求めたフィルタ係数により画像鮮鋭化処理を実行する構成とすることが考えられる。または、巡回型ノイズ低減処理のノイズ低減強度をパラメータ化して、このパラメータに応じて補正した画像変化特徴量ｆにより画像鮮鋭化処理を実行する構成とすることが考えられる。これらの構成により、ノイズが強調されることを回避しながら有効に鮮鋭感を高めることができる。
【００９３】
［輝度値に応じて画像鮮鋭化処理を実行する例］
ビデオカメラなどの撮像装置においては、撮像により得られた画像部分の輝度値に応じてノイズの量が異なるという現象が生じる場合がある。このようなノイズの代表例としては暗部ノイズを挙げることができる。暗部ノイズは、例えば画像が暗くなるほど発生しやすくなる。そこで、例えば画素の輝度値に関連した特徴量を算出し、画像変化特徴量ｆに代えて、この輝度値の特徴量から求めたフィルタ係数により画像鮮鋭化処理を実行する構成とすることが考えられる。または、画素の輝度値をパラメータ化して、このパラメータに応じて補正した画像変化特徴量ｆにより画像鮮鋭化処理を実行する構成とすることが考えられる。これらの構成により、例えば暗部ノイズなどを強調することなく鮮鋭感を高めることが可能になる。
【００９４】
［人肌検出に本発明の実施の形態の画像鮮鋭化処理を適用する例］
また、画像における人肌は、例えば鮮鋭感を高くしていくのに応じて皺が目立ったり皮膚が荒れて見えたりする傾向となる。そこで、人肌に関する特徴量を定義して、先に説明した画像変化特徴量ｆの代わりに利用して画像鮮鋭化処理を実行させることが考えられる。または、人肌に関するパラメータを求め、このパラメータにより補正した画像変化特徴量ｆにより画像鮮鋭化処理を実行する構成とすることが考えられる。これにより、例えば画像全体において人肌が検出された部分領域については鮮鋭感を高くしないようにして画像鮮鋭化処理を行うことが可能になり、例えば上記の皺や皮膚の荒れなどは目立たなくすることができる。
【００９５】
なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、本発明の実施の形態において明示したように、本発明の実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本発明の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本発明は実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
【００９６】
また、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disk）、メモリカード、ブルーレイディスク（Blu-ray Disc（登録商標））等を用いることができる。
【符号の説明】
【００９７】
１００ 画像処理装置
１０１ 特徴量算出対象画素ブロック抽出部
１０２ ダイナミックレンジ算出部
１０３ 一次微分絶対値算出部
１０４ 画像変化特徴量算出部
１０５ フィルタ係数算出部
１０６ 係数変換データ記憶部
１０７ 鮮鋭化処理対象画素ブロック抽出部
１０８ 鮮鋭化フィルタ部
２００ 特徴量算出対象画素ブロック
２１０ 鮮鋭化処理対象画素ブロック
４００ テレビジョン受像機
４２０ 画像信号処理部
４２１ 画像鮮鋭化処理部
【技術分野】
【０００１】
本発明は、画像処理装置に関し、特に画像の鮮鋭感を高めるための画像信号処理を行う画像処理装置、および、その方法に関する。
【背景技術】
【０００２】
例えば、解像度変換などの画像信号処理を実行するにあたり、デジタル信号処理において用いるフィルタの係数を次のようにして設定する従来技術が知られている。すなわち、まずは異なる解像度に対応する複数の固定のパラメータ値ごとに対応して複数の係数値を求めておく。次に、これらの離散的な係数に近似する曲線に対応する関数を求め、例えば求められた関数の係数の組み合わせをフィルタ係数の係数種データとして記憶させておく。そして、画像信号処理を実行する際には、記憶されている係数種データとして示される係数による関数の変数に対して、例えばユーザ操作に応じて得られたパラメータ値を代入して演算を行うことでフィルタ係数を求める。そして、この求められたフィルタ係数によるフィルタ処理を行うというものである（例えば、特許文献１参照。）。これにより、パラメータが取り得る値ごとに対応した多数のフィルタ係数を記憶しておく必要がなくなり、メモリ容量を小さくすることが可能になる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−３５９８２０号公報（図１）
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ここで、例えば画像に対する補正処理の１つとして、画像の鮮鋭感を高める画像鮮鋭化処理を行うこととした場合には、次のことを考慮する必要がある。すなわち、現状において、例えばテレビジョン放送などのコンテンツの画像内容にはテロップが頻繁に挿入される傾向にある。また、１つの表示画面において、主画面とともに子画面を表示させることも広く行われるようになっている。これは、画像全体においてその画像内容が急峻に変化する画像部分が増加し、また、微細になってきていることを意味している。すなわち、画像全体において空間周波数特性の大きく異なる部分が多数存在するようになってきている。例えばこのような画像では、画像変化が急峻な画像部分と緩慢な画像部分とが混在していることになる。すなわち、空間周波数が高く振幅が大きい傾向の画像部分と、空間周波数が低く振幅が小さい傾向の画像部分とが混在している。
【０００５】
例えば、上記のような画像の全体に対して一様の制御量による画像鮮鋭化処理を行うこととした場合には画像変化の急峻な画像部分では鮮鋭感が過剰に高くなって不自然な画像になりやすい。そこで、例えば制御量を抑えたとすると、画像変化が緩慢な画像部分では鮮鋭感が不足する傾向となってしまう。このようにして、画面全体に対して同じ制御量により鮮鋭化を図る画像鮮鋭化処理では、画像変化の急峻な部分と緩慢な部分との両者について適切な鮮鋭感を与えることが難しい。この点からすれば、画像鮮鋭化処理としては、画像全体における部分ごとに、その画像変化の急峻さの度合い（急峻度）に応じて個別に制御量を与えることが必要になる。
【０００６】
例えば先に述べた従来技術の場合、画像処理のためのフィルタ係数を算出するのに利用するデータのサイズを小さくできるという点では処理の効率化が図られている。しかし、この従来技術は、例えば解像度変換という画像全体を対象とした画像処理を前提としており、画像の部分ごとに異なる制御量を与えるための画像処理に対応するものではない。例えば、画像の部分ごとに異なる制御量を与える処理を実現しようとすれば、通常は高速フーリエ変換などの処理を必要とするが、この処理は複雑で重いため、例えば信号処理能力が低い傾向にある民生機器などでは実装することが難しい場合がある。
【０００７】
本発明はこのような状況に鑑みてなされたものであり、画像の部分ごとの画像変化の急峻度に応じて異なる鮮鋭化制御量を与える画像鮮鋭化処理を可能とするとともに、この画像鮮鋭化処理が簡易かつ効率的なものとなるようにすることを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、上記課題を解決するためになされたものであり、その第１の側面は、入力画像を形成する画素のうちから選択した注目画素およびその周辺の所定数の画素から成る特徴量算出対象画像部分における最大画素値と最小画素値との差分値である最大最小画素差分値を算出する最大最小画素差分値算出部と、上記特徴量算出対象画素部分において隣接する画素の差分値のうちで最大値となる最大隣接画素差分値を算出する最大隣接画素差分値算出部と、上記最大最小画素差分値および上記最大隣接画素差分値に基づいて上記特徴量算出対象画素部分における画像変化の急峻性に対応する画像変化特徴量を算出する画像変化特徴量算出部と、上記画像変化特徴量に基づいてフィルタ係数を算出するフィルタ係数算出部と、１つの上記特徴量算出対象画像部分と同じ注目画素およびその周辺の所定数の画素から成るフィルタ処理対象画像部分を形成する画素を入力して、上記１つの上記特徴量算出対象画像部分に対応するフィルタ係数を用いて上記フィルタ処理対象画像部分における注目画素の出力画素値を算出する鮮鋭化フィルタ部とを具備する画像処理装置である。これにより、特徴量算出対象画像部分の最大最小画素差分値と最大隣接画素差分値とに基づいて画像変化を定量化した画像変化特徴量に基づいて、画素ごとに制御量を設定した画像鮮鋭化処理を実行するという作用をもたらす。
【０００９】
また、この第１の側面において、上記特徴量算出対象画像部分を形成する画素数と上記フィルタ処理対象画像部分を形成する画素数とは互いに異なるようにしてもよい。これにより、特徴量算出対象画像部分を形成する画素数とフィルタ処理対象画像部分を形成する画素数との多様な組み合わせのうちから適切なものを選択して鮮鋭化処理を実行するという作用をもたらす。
【００１０】
また、この第１の側面において、上記フィルタ係数を算出するための多項式関数における多項式係数を記憶する多項式係数記憶部をさらに具備し、上記フィルタ係数算出部は、上記多項式係数記憶部に記憶されている多項式係数による多項式関数の変数に画像変化特徴量の値を代入して演算を行うことで上記フィルタ係数を算出するようにしてもよい。これにより、多項式係数のデータと画像変化特徴量とを利用した多項式関数の演算処理によってフィルタ係数を算出するという作用をもたらす。
【００１１】
また、この第１の側面において、上記画像変化特徴量算出部は、算出された上記最大隣接画素差分値が算出された上記最大最小画素差分値に対応して予め設定された上限閾値以上の場合には上記画像変化特徴量として最大値を設定し、上記最大隣接画素差分値が上記最大最小画素差分値ごとに対応して予め設定される下限閾値以下の場合には上記画像変化特徴量として最小値を設定し、上記最大隣接画素差分値が上記上限閾値と上記下限閾値との間である場合には、上記上限閾値に対する上記下限閾値の差分値と上記最大隣接画素差分値に対する上記下限閾値の差分値との比に基づいて上記画像変化特徴量を算出するようにしてもよい。これにより、最大隣接画素差分値と最大最小画素差分値との組み合わせに対応させて、最大値から最小値までの範囲における画像変化特徴量としての値を算出するという作用をもたらす。
【発明の効果】
【００１２】
本発明によれば、簡易な処理でありながら、画像全体における部分ごとの画像変化の急峻度に応じて制御量を変更するという画像鮮鋭化処理が実現されるという優れた効果を奏し得る。
【図面の簡単な説明】
【００１３】
【図１】本発明の第１の実施の形態における画像処理装置１００の構成例を示す図である。
【図２】本発明の第１の実施の形態におけるダイナミックレンジの算出処理例を説明するための図である。
【図３】本発明の第１の実施の形態における一次微分絶対値の算出処理例を説明するための図である。
【図４】本発明の第１の実施の形態における画像変化特徴量の算出処理例を説明するための図である。
【図５】本発明の第１の実施の形態におけるフィルタ係数の算出処理例を説明するための図である。
【図６】本発明の第１の実施の形態における鮮鋭化フィルタ部１０８のフィルタ処理例を示す図である。
【図７】本発明の第１の実施の形態における画像処理装置１００が実行する画像鮮鋭化のための処理手順例を示す図である。
【図８】本発明の第１の実施の形態におけるフィルタ係数算出部１０５が実行するフィルタ係数算出のための処理手順例を示す図である。
【図９】本発明の第２の実施の形態におけるテレビジョン受像機４００の構成例を示す図である。
【発明を実施するための形態】
【００１４】
以下、本発明を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（画素ごとに算出した画像変化特徴量に基づいて画像鮮鋭化処理を実行する例）
２．第２の実施の形態（第１の実施の形態の画像処理装置をテレビジョン受像機に適用した例）
３．変形例
【００１５】
＜１．第１の実施の形態＞
［画像処理装置の構成例］
図１は、本発明の第１の実施の形態における画像処理装置１００の構成例を示している。この図に示す画像処理装置１００は、画像信号処理として、画像の鮮鋭性を高める画像鮮鋭化処理を実行する。
【００１６】
この図１に示す画像処理装置１００は、特徴量算出対象画素ブロック抽出部１０１、ダイナミックレンジ算出部１０２、一次微分絶対値算出部１０３、および、画像変化特徴量算出部１０４を備える。また、フィルタ係数算出部１０５、係数変換データ記憶部１０６、鮮鋭化処理対象画素ブロック抽出部１０７、および、鮮鋭化フィルタ部１０８を備える。
【００１７】
この画像処理装置１００の入力画像信号は、所定のデジタル信号形式による動画像データであり、例えば時系列に応じたフレーム画像データが連続して形成される。１つのフレーム画像データは設定された解像度に応じた水平画素数と垂直画素数とによる複数の画素により形成される。特徴量算出対象画素ブロック抽出部１０１は、入力画像信号としてのフレーム画像データから所定の水平画素数および垂直画素数による画像部分を抜き出して抽出し、これを特徴量算出対象画素ブロックとして取得する部位である。この特徴量算出対象画素ブロックは、フレーム画像データを形成する画素のうちから選択した１つの注目画素とその周辺に配列される所定数の周辺画素により形成される。また、注目画素は、フレーム画像データを形成する全ての画素を対象にして順次選択が行われ、この選択された注目画素ごとに対応して順次１つの特徴量算出対象画素ブロックが抽出される。したがって、本発明の実施の形態では、１フレーム画像データごとにつき、そのフレーム画像データを形成する画素数分の特徴量算出対象画素ブロックが抽出される。
【００１８】
ダイナミックレンジ算出部１０２は、特徴量算出対象画素ブロックとしての画像部分についてのダイナミックレンジを算出する。このダイナミックレンジの算出例については後述する。また、一次微分絶対値算出部１０３は、特徴量算出対象画素ブロックとしての画像部分についての一次微分絶対値を算出する。この一次微分絶対値の算出例については後述する。なお、ダイナミックレンジ算出部１０２は、特許請求の範囲に記載の最大最小画素差分値算出部の一例である。また、一次微分絶対値算出部１０３は、特許請求の範囲に記載の最大隣接画素差分値算出部の一例である。
【００１９】
画像変化特徴量算出部１０４は、上記のようにして算出されたダイナミックレンジと一次微分絶対値とに基づいて画像変化特徴量を算出する。画像変化特徴量は、特徴量算出対象画素ブロックとしての画像部分における空間周波数特性として、例えばその周波数と振幅との組み合わせを或る１つの値として定量化したものとしてみることができる。すなわち、特徴量算出対象画素ブロックの画像部分における画像変化についての急峻さの度合いを数値化したものとなる。なお、画像変化特徴量の算出例については後述する。
【００２０】
フィルタ係数算出部１０５は、係数変換データ記憶部１０６から読み出した係数変換データを利用して演算を行うことで、画像変化特徴量に対応したフィルタ係数を算出する部位である。なお、このフィルタ係数算出部１０５によるフィルタ係数の算出処理例については後述する。
【００２１】
係数変換データ記憶部１０６は、上記のようにしてフィルタ係数算出部１０５がフィルタ係数の算出に利用する係数変換データを記憶する部位である。この係数変換データ記憶部１０６は、例えば実際には、不揮発性メモリ、ＲＯＭ（Read Only Memory）または所定の補助記憶装置により構成できる。本発明の実施の形態における係数変換データは、後述するフィルタ係数の算出処理例からも理解されるように、画像変化性特徴量として得られた数値をフィルタ係数に変換する機能を有するものとなる。なお、係数変換データ記憶部１０６は、特許請求の範囲に記載の多項式係数記憶部の一例である。
【００２２】
鮮鋭化処理対象画素ブロック抽出部１０７は、先の特徴量算出対象画素ブロック抽出部１０１と同様に、入力画像信号としてのフレーム画像データから所定の水平画素数および垂直画素数による画像部分を抜き出す。これにより、鮮鋭化処理対象画素ブロックを抽出して取得する部位である。また、注目画素を順次選択しながら、この注目画素を含む鮮鋭化処理対象画素ブロックを順次抽出していく点も同様である。例えば同じ時刻において抽出される特徴量算出対象画素ブロックと鮮鋭化処理対象画素ブロックの注目画素は同じとなる。
【００２３】
ただし、本発明の実施の形態においては、特徴量算出対象画素ブロックと鮮鋭化処理対象画素ブロックは、それぞれを形成する画素数が異なるものとなる。すなわち、本発明の実施の形態では、画像変化特徴量を算出するための画素ブロックを形成する画素数と、鮮鋭化のためのフィルタ処理に利用される画素ブロックを形成する画素数とについて互いに異なるものとしている。これは、画像変化特徴量を算出するための画素ブロックを形成する画素数と、鮮鋭化フィルタ処理のための画素ブロックを形成する画素数との設定について自由度が与えられていることを意味する。例えば、特徴量算出対象画素ブロックと鮮鋭化処理対象画素ブロックの各画素数の組み合わせにより、視覚的に認識される鮮鋭感は異なるものとなることが想定できる。そこで、例えば予めのシミュレーションなどにより、視覚的に最も良好な鮮鋭感が得られる画素数の組み合わせを特定しておくようにする。そして、この特定された画素数による特徴量算出対象画素ブロックおよび鮮鋭化処理対象画素ブロックを形成して実際の画像鮮鋭化処理を実行させるようにすることができる。このようにして、本発明の実施の形態においては、画像変化特徴量の算出と鮮鋭化フィルタ処理とで同じ画素ブロックを利用する場合と比較して、例えばより柔軟に鮮鋭化の効果を設定可能になる。また、後述する図２、図３および図６では、特徴量算出対象画素ブロックおよび鮮鋭化処理対象画素ブロックは、それぞれ、所定の行数と列数により画素が配列されることで、全体として矩形となるものとして示されている。しかし、このような特徴量算出対象画素ブロックおよび鮮鋭化処理対象画素ブロックの全体形状も一例であって、例えば菱形や円形その他の多様な形状とすることが考えられる。また、そのうえで、特徴量算出対象画素ブロックと鮮鋭化処理対象画素ブロックとで互いに異なる形状とすることも考えられる。
【００２４】
鮮鋭化フィルタ部１０８は、鮮鋭化処理対象画素ブロックを形成する画素群を入力してフィルタ係数算出部１０５により算出されたフィルタ係数によるフィルタ処理を実行する。これにより、入力した鮮鋭化処理対象画素ブロックにおける注目画素についての出力画素値を得る。この出力画素値の１フレーム分により、例えば出力画像信号としてのフレーム画像データが形成される。
【００２５】
［ダイナミックレンジの算出処理例］
次に、図２を参照して、上記図１におけるダイナミックレンジ算出部１０２が実行するダイナミックレンジ算出処理の一具体例について説明する。図２には、特徴量算出対象画素ブロック２００の一例が示されている。この図に示す特徴量算出対象画素ブロック２００は、例えば（３×３）による９個の画素２０１により形成されるものとしている。このようにして９個の画素２０１により形成される場合には、２行２列目の中央の画素が注目画素２０１Ａとなり、その周辺の８個の画素が周辺画素２０１Ｂとなる。
【００２６】
また、図２においては、特徴量算出対象画素ブロック２００を形成する９個の画素２０１ごとに、その画素値の具体例が示されている。なお、この図に示される各画素値は、８ビットにより０から２５５までの２５６段階で画素値が表現される場合を想定している。
【００２７】
ダイナミックレンジ算出部１０２は、入力した特徴量算出対象画素ブロック２００を形成する９個の画素２０１が有する画素値のうちから、まず、最大画素値と最小画素値とを認識する。図２の場合であれば、１行２列目の画素２０１の画素値「２５０」が最大画素値として認識され、３行１列目の画素２０１の画素値「１０」が最小画素値として認識される。次に、ダイナミックレンジ算出部１０２は、認識した最大画素値と最小画素値との差分絶対値を算出する。図２の場合には差分絶対値は「２４０」となる。この差分絶対値がダイナミックレンジとなる。すなわち、ここでのダイナミックレンジは、特徴量算出対象画素ブロック２００における最大画素値と最小画素値との差分絶対値となる。
【００２８】
［一次微分絶対値の算出処理例］
次に、図３を参照して、一次微分絶対値算出部１０３が実行する一次微分絶対値算出処理例について説明する。図３には、上記図２と同じ特徴量算出対象画素ブロック２００が示されている。一次微分絶対値算出部１０３は、まず、入力した特徴量算出対象画素ブロック２００において水平方向と垂直方向とで隣接する２つの画素２０１の画素値の差分絶対値（隣接画素差分値）を算出する。すなわち、図２の場合であれば、水平方向に対応しては、１行乃至３行目の各行において、１列目と２列目の画素２０１間の画素値の隣接画素差分値と、２列目と３列目の画素２０１間の隣接画素差分値を算出する。また、垂直方向に対応しては、１列乃至３列目の各列において、１行目と２行目の画素２０１間の隣接画素差分値と、２行目と３行目の画素２０１間の隣接画素差分値を算出する。このようにして、（３×３）による画素２０１の配列により形成される特徴量算出対象画素ブロック２００においては１２個の隣接画素差分値が得られることになる。
【００２９】
上記のようにして隣接画素差分値を算出した後、一次微分絶対値算出部１０３は、算出された隣接画素差分値のうちから最大のものを選択し、これを一微分絶対値として出力する。図２の場合であれば、最大の隣接画素差分値は、３行１列目の画素２０１の画素値「１０」と３行２列目の画素２０１の画素値「２３０」とにより求められる「２２０」となる。一次微分絶対値算出部１０３は、この「２２０」の値を一次微分絶対値として出力することになる。
【００３０】
なお、一次微分絶対値の算出に関しては、例えば、図３により説明した水平方向と垂直方向とにおける隣接画素差分値に加えて、例えば斜め方向において隣接する２つの画素間の隣接画素差分値も求めるようにすることが考えられる。そして、これらの隣接画素差分値における最大値を一次微分絶対値とするものである。
【００３１】
［画像変化特徴量の算出処理例］
ここで、先に図２により説明したようにして算出されるダイナミックレンジは、特徴量算出対象画素ブロック２００としての部分画像領域全体としてみた場合の画素値の変化量がどの程度であるのかについて示すものとなる。これは、例えば空間周波数特性における振幅に対応して得られる特徴量としてみることができる。
【００３２】
また、上記図３による説明のようにして算出される一次微分絶対値は、特徴量算出対象画素ブロック２００としての部分画像領域における画素値の変化の細かさを示すものとなる。これは、空間周波数特性における周波数に相当する特徴量としてみることができる。
【００３３】
仮に一次微分絶対値を一定としてダイナミックレンジを変化させていった場合、画像の細かさは一定であるがダイナミックレンジが小さくなれば、その画像の変化幅が少なくなっていき、これに応じて画像変化は緩慢になっていく。これに対して、ダイナミックレンジが大きくなれば、その画像の変化幅は大きくなっていき、これに応じて画像変化は急峻なものとなっていく。
【００３４】
同様に、ダイナミックレンジを一定として一次微分絶対値を変化させていった場合にも、画像の変化幅は一定であるが、一次微分絶対値が小さくなっていくのに応じて画像の変化は大まかになるために画像の変化は緩慢になる。これに対して、一次微分絶対値が小さくなっていくのに応じて画像の変化は細かくなっていくため、画像の変化は急峻なものとなる。
【００３５】
このようにして、ダイナミックレンジと一次微分絶対値との組み合わせ、すなわち空間周波数特性に応じて、画像変化の急峻性が決まってくるということがいえる。本発明の実施の形態の画像鮮鋭化処理は、画像変化が急峻となるのに応じて鮮鋭化量を抑制し、緩慢となるのに応じて鮮鋭化量を増加させるものである。このためには、画像変化の急峻性の度合いを定量化して鮮鋭化の制御に用いる必要がある。なお、以降の説明において、この画像変化に関する急峻性の度合いについては、急峻度ということにする。
【００３６】
そこで、本発明の実施の形態においては、算出されたダイナミックレンジおよび一次微分絶対値を利用して画像変化特徴量を算出することにより、画像変化の急峻度の定量化を図る。画像変化特徴量算出部１０４は、空間周波数特性に相当するものとして算出されたダイナミックレンジおよび一次微分絶対値を利用して、一例として、次に説明するようにして画像変化特徴量を算出する。
【００３７】
図４には、ダイナミックレンジと一次微分絶対値とによる二次元特徴量空間が示されている。この図において横軸（ｘ軸）はダイナミックレンジであり、縦軸（ｙ軸）は一次微分絶対値である。この図４の二次元特徴量空間においては、２本の曲線Ａ、Ｂが示されている。曲線Ａにおける縦軸座標は、ダイナミックレンジとして取り得る値ごとに対応して予め設定した一次微分絶対値の上限閾値に対応している。曲線Ｂは、ダイナミックレンジとして取り得る値ごとに対応して予め設定した一次微分絶対値の下限閾値に対応している。
【００３８】
そして、図４の座標領域において曲線Ａに対応する上限閾値よりもｙ座標値ｙｐ（一次微分絶対値）が大きい領域については急峻領域として設定する。曲線Ｂに対応する下限閾値よりもｙ座標値ｙｐが小さい領域については緩慢領域として設定する。また、ｙ座標値ｙｐが曲線Ａ、Ｂの間となる領域については中間領域として設定する。
【００３９】
図４では、算出されたダイナミックレンジおよび一次微分絶対値の組み合わせに応じた座標をＰ（ｘｐ、ｙｐ）として示している。座標Ｐが急峻領域に含まれる場合は、実際の画像変化も例えば最小制御量により画像鮮鋭化処理を行うことが必要な程度にまで急峻度が高いことを示す。また、座標Ｐが緩慢領域に含まれる場合は、例えば最大制御量により画像鮮鋭化処理を行うことが必要な程度にまで、実際の画像変化の急峻度も低いことを示す。また、座標Ｐが中間領域に含まれる場合、画像変化の急峻度としては、急峻領域と緩慢領域の場合の中間となる。この場合には、例えば実際の急峻度に応じた画像鮮鋭化処理の制御量を設定することが必要になる。
【００４０】
そのうえで、画像変化特徴量算出部１０４は、画像変化特徴量ｆについて、例えば次の特徴量算出式により求める。なお、次式においては、算出されたダイナミックレンジおよび一次微分絶対値の組み合わせに応じた座標をＰ（ｘｐ、ｙｐ）とする。また、ｘ＝ｘｐにおける上限閾値ｙＡに対応する曲線Ａ上の座標を（ｘｐ、ｙＡ）としている。また、ｘ＝ｘｐにおける下限閾値ｙＢに対応する閾値曲線Ｂ上の座標を（ｘｐ、ｙＢ）としている。
【数１】
【００４１】
すなわち、この例の場合には、座標Ｐ（ｘｐ、ｙｐ）が急峻領域に含まれる場合には、画像変化特徴量ｆとして一律に所定の最大値ｆｈを与えることとしている。また、座標Ｐ（ｘｐ、ｙｐ）が緩慢領域に含まれる場合には、画像変化特徴量ｆとして一律に所定の最小値ｆｌを与えることとしている。また、座標Ｐ（ｘｐ、ｙｐ）が中間領域に含まれる場合には、下限閾値ｙＢから上限閾値ｙＡまでの距離と、下限閾値ｙＢからｙ座標値ｙｐまでの距離との比に基づいて一意に画像変化特徴量ｆの値を算出することとしている。
【００４２】
なお、ダイナミックレンジの値ごとに対応する上限閾値ｙＡおよび下限閾値ｙＢ、すなわち、図４の曲線Ａ、Ｂについては、次のようにして設定することが考えられる。例えば、ダイナミックレンジおよび一次微分絶対値と空間周波数特性の関係性に基づいて、ダイナミックレンジを変数とする所定規則に従った演算式による演算を行う。これにより、ダイナミックレンジの値ごとに対応する上限閾値ｙＡおよび下限閾値ｙＢを一意に求めようというものである。また、例えば実際にダイナミックレンジと一次微分絶対値とについての組み合わせに対応する画像信号を生成して実際に表示させ、この表示された画像により、画像変化の急峻度を視覚的に判断する、または測定する。そして、この判断結果または測定結果に基づいて上限閾値ｙＡおよび下限閾値ｙＢを決定するというものである。
【００４３】
このようにして、本発明の実施の形態においては、ダイナミックレンジおよび一次微分絶対値の２つの特徴量を利用して画像変化特徴量を算出することにより画像変化の急峻さを定量化する。先にも述べたように、ダイナミックレンジおよび一次微分絶対値は空間周波数特性に相当するものとしてみることができる。したがって、例えばダイナミックレンジおよび一次微分絶対値の算出に代えて、実際に特徴量算出対象画素ブロック２００の周波数特性を解析して求め、この周波数特性を利用して画像変化特徴量を算出することも可能である。
【００４４】
しかし、周波数特性を求めようとすれば、例えば高速フーリエ変換などの重い解析処理を行うことになる。例えば本発明の実施の形態の画像処理装置１００は、後述もするようにして、実際には、テレビジョン受像機などの民生器に実装して好適である。しかし、このような民生器ではコストなどの問題で高速なデジタル信号処理回路を実装することが難しく、したがって画像処理などもできるだけ軽い処理とすることが求められる。前述もしたように、本発明の実施の形態におけるダイナミックレンジおよび一次微分絶対値は、いずれも図２および図３により説明したように、例えば画素値の最大値と最小値の差分を求める、または隣接画素差分値の最大値を求めることにより求められる。すなわち、非常に簡易で軽い処理により求めることができる。また、画像変化特徴量に関しても、例えば図４および先の特徴量算出式により説明したように、簡単でありながらも、上限閾値ｙＡと下限閾値ｙＢが適切に設定されていさえすれば、画像鮮鋭化処理に対応して十分な精度の値を求めることができる。
【００４５】
［係数変換データの例］
次に、係数変換データ記憶部１０６に記憶される係数変換データについて簡単に説明しておく。この係数変換データは、次のようにして作成される。まず、教師画像と、例えばこの教師画像についてぼかし処理を行って得られる複数の生徒画像とによる学習対を用意する。また、この学習対としては、教師画像と生徒画像との間での特性が異なる複数を用意する。具体的には、図４に示した急峻領域に対応する特性の学習対と、緩慢領域に対応する特性の学習対と、中間領域に対応する複数の異なる特性の学習対とを用意する。
【００４６】
そして、この学習対ごとにおける教師画像と生徒画像との間の回帰係数をフィルタ係数として学習する。この学習対ごとの学習によっては、例えば、鮮鋭化処理対象画素ブロックを形成する画素ごとに対応した複数のフィルタ係数が求められる。この際、学習対となる教師画像と生徒画像との間の特性が異なるものを複数用意していることで、特性ごとに応じて異なる鮮鋭化量を与えるためのフィルタ係数が得られる。
【００４７】
次に、この場合のパラメータである画像変化特徴量について複数の異なる固定値を用意する。そして、これらのパラメータの固定値と、算出されたフィルタ係数とを利用して、例えば最小二乗法などにより、画像変化特徴量としてのパラメータを変数として代入してフィルタ係数を算出するための多項式関数を求める。
【００４８】
本発明の実施の形態では、このようにして求められた多項式関数の係数（多項式係数）の組み合わせが係数変換データとなる。例えばフィルタ係数を求めるための多項式関数が三次関数（ｙ＝ａｘ３＋ｂｘ２＋ｃｘ＋ｄ）として求められたのであれば、各項における多項式係数ａ、ｂ、ｃ、ｄの組み合わせが係数変換データとなる。そして、この係数変換データを、鮮鋭化フィルタ部１０８が有するタップごとに求めるものである。これらのタップごとに求められた係数変換データが記憶部１０６に記憶される。
【００４９】
［フィルタ係数の算出処理例］
続いて、フィルタ係数算出部１０５が実行するフィルタ係数の算出処理例について説明する。ここで、図５は、或る１つのタップに対応する係数変換データによって得られる関数のグラフを示している。この図からも理解されるように、最小値ｆｌから最大値ｆｈまでの値を取り得る任意の画像変化特徴量ｆを変数として代入することにより１つのフィルタ係数ωｉが特定されるようにして算出される。
【００５０】
実際におけるフィルタ係数算出部１０５は、例えば次のようにしてフィルタ係数を算出する。まず、フィルタ係数算出部１０５は、例えば係数変換データ記憶部１０６から、ｉ番目のタップに対応する係数変換データを読み出す。次に、この係数変換データとして示される多項式係数を関数に与えたうえで、この関数に画像変化特徴量ｆを代入して、フィルタ係数ωｉを求める。そして、このフィルタ係数ωｉを求める処理を、タップごとに対応して順次実行する。これにより、鮮鋭化フィルタ部１０８が実際に備えるタップごとに応じた複数のフィルタ係数ωｉが求められる。
【００５１】
上記のようにして鮮鋭化フィルタ部１０８のｉ番目のタップごとに応じたフィルタ係数ωｉを算出する処理は、例えば係数変換データとしての多項式係数が三次関数に対応するものである場合には、次の係数変換式により表すことができる。次の係数変換式において、ｊ（０≦３）は、三次関数における０乃至３までの各項の次数を示す。また、ｋｉｊは、ｉ番目のタップに対応するｊ次（０次乃至３次）の各項の係数（多項式係数）を示す。
【数２】
【００５２】
下記の係数変換式によれば、０次乃至３次の各項の値として、ｋｉ０、ｋｉ１・ｆ、ｋｉ２・ｆ２、ｋｉ３・ｆ３を順次求め、これらの各項の値を加算することでフィルタ係数ωｉが算出される。すなわち、前述したように、係数変換データとしての多項式係数を与えた関数の変数ｘに画像変化特徴量ｆを代入することにより、フィルタ係数ωｉが算出されるものである。
【００５３】
例えば、係数フィルタを算出するにあたり、上記の係数変換データに代えて、画像変化特徴量として取り得る値ごとに対応するフィルタ係数の値を示すテーブルデータを記憶しておくようにすることも考えられる。この場合には、フィルタ係数算出部１０５は、上記のテーブルから画像変化特徴量の値に対応付けられているフィルタ係数を読み出すことになる。しかし、このようなテーブルは、画像変化特徴量の値とタップの組み合わせに対応した多数のフィルタ係数のデータから成るために、そのデータサイズは相当に大きなものとなる。このために、例えば実際のメモリなどの容量を多く使用してしまうことになる。これに対して、本発明の実施の形態の係数変換データであれば、例えばタップごとに対応した多項式係数の値を記憶すればよく、係数変換データ全体としてのデータサイズは大幅に縮小できる。これにより、係数変換データを記憶しておくための記憶容量も大幅に縮小される。また、フィルタ係数の算出に際しても、例えば上記の係数変換式として示されるように、その演算処理は、所定次数による多項式関数を求めるという簡易で軽い処理となっている。
【００５４】
ここで、画像変化特徴量ｆとフィルタ係数の関係について述べておく。最小値ｆｌ未満の画像変化特徴量に対応しては、設定可能な鮮鋭化制御量の範囲において最も大きな制御量が得られるフィルタ係数が算出される。また、最大値ｆｈより大きな画像変化特徴量に対応しては、最も小さい制御量となるフィルタ係数が算出される。また、画像変化特徴量が最小値ｆｌ以上、かつ最大値ｆｈ以下となる範囲では、画像変化特徴量ｆの値に応じた鮮鋭化量が得られるフィルタ係数が算出される。先に説明した係数変換データは、上記の画像変化特徴量ｆに応じたフィルタ係数が得られるようにして作成されている。
【００５５】
［画像鮮鋭化処理の例］
続いて、鮮鋭化フィルタ部１０８が実行する画像鮮鋭化処理について説明する。まず、鮮鋭化処理対象画素ブロック抽出部１０７が抽出する鮮鋭化処理対象画素ブロックについて説明しておく。図６においては、鮮鋭化処理対象画素ブロック２１０の一例が示されている。
【００５６】
この図６に示す鮮鋭化処理対象画素ブロック２１０は、例えば、先に図２および図３に示した特徴量算出対象画素ブロック２００と同様に、１つの注目画素２０１Ａと所定の複数の周辺画素２０１Ｂとから成る。ただし、前述もしたように、本発明の実施の形態においては、鮮鋭化処理対象画素ブロック２１０を形成する画素数は、特徴量算出対象画素ブロック２００とは異なるものとなる。
【００５７】
なお、図６において鮮鋭化処理対象画素ブロック２１０は、横５画素×縦５画素の計２５個の画素２０１から成るものとして示されている。しかし、このことは図２および図３に示した特徴量算出対象画素ブロック２００と画素数が異なっていることを明示しているに過ぎない。実際において鮮鋭化処理対象画素ブロック２１０を形成する画素数については特に限定されるべきものではなく、例えば実際に得られる画像鮮鋭化処理の効果などを考慮して適切な画素数が設定されればよい。
【００５８】
ただし、次の説明から理解されるように、鮮鋭化処理対象画素ブロック２１０を形成する画素数は、鮮鋭化フィルタ部１０８におけるタップ数と同じとなる。例えば、実際に画像処理装置１００を構成する場合、まず、鮮鋭化の効果などを考慮して鮮鋭化処理対象画素ブロック２１０を形成する画素数を決定する。そして、この決定に応じて、鮮鋭化フィルタ部１０８について、鮮鋭化処理対象画素ブロック２１０を形成する画素数と同じタップ数による構成を与えることになる。
【００５９】
鮮鋭化フィルタ部１０８は、次のようにして画像鮮鋭化処理を実行する。なお、ここでの説明は図６を参照することとして、鮮鋭化処理対象画素ブロック２１０は、２４個の画素から成る場合を想定する。これに応じて、鮮鋭化フィルタ部１０８が備えるタップ数も第０タップから第２４タップまでの２５個となる。
【００６０】
図６に示すように鮮鋭化フィルタ部１０８は、鮮鋭化処理対象画素ブロック２１０を入力するとともに、フィルタ係数群３００を入力する。この図における鮮鋭化処理対象画素ブロック２１０においては、第０番目から第２４番目までの２５個の画素２０１ごとの画素値ｘ０乃至ｘ２４が示されている。また、フィルタ係数群３００も、図示するようにして、鮮鋭化フィルタ部１０８が２５個のタップを有することに対応して、第０フィルタ係数ω１から第２４フィルタ係数ω２４までの２５個のフィルタ係数から成る。なお、これらのフィルタ係数は、前述のフィルタ係数算出処理によってタップごとに求められたものである。
【００６１】
鮮鋭化フィルタ部１０８は、第０タップから第２４タップの２５個のタップごとに対して、第０フィルタ係数ω１から第２４フィルタ係数ω２４（０≦ｉ≦２４）までのフィルタ係数を設定する。そして、第０タップから第２４タップまでのタップごとに、第０番目から第２４番目の各画素２０１の画素値ｘ０乃至ｘ２４を入力して乗算を実行する。次に、これらの乗算結果を加算する。すなわち、鮮鋭化フィルタ部１０８は、画素値とフィルタ係数についての積和演算を行う。これにより、鮮鋭化フィルタ部１０８からは注目画素２０１Ａの画素値ｘ１２について鮮鋭化に対応する補正を行った結果としての出力画素値ｏが出力される。
【００６２】
上記の鮮鋭化フィルタ部１０８のフィルタ処理は、複数のタップに付す番号としての変数をｉとして出力画素値ｏを算出する、次のフィルタ演算式により表すことができる。
【数３】
【００６３】
上記フィルタ演算式の分子に示されるようにして、ｉ番目のタップごとにフィルタ係数ωｉと画素値ｘｉとを乗算したうえで、これらの乗算値を加算するという積和演算を行うことにより出力画素値ｏを算出する。なお、上記フィルタ演算式の分母は、各タップに対応するフィルタ係数を加算したものとなる。画像のフィルタ処理においては、各タップのフィルタ係数の合計が「１」となるようにして設定されるが、本発明の実施の形態においても、各タップに対応するフィルタ係数の合計は「１」となるようにされている。したがって、鮮鋭化フィルタ部１０８は、実質的には上記フィルタ演算式の分子により示される積和演算を行うものとなる。
【００６４】
そして、時系列に応じて順次選択される注目画素２０１Ａごとに対応して求められた出力画素値ｏにより、図１の画像処理装置１００の出力である出力画像信号が得られる。この出力画像信号により得られる画像は、例えば、画像部分における画像変化が大きくなるのに応じて鮮鋭化が抑制されたものとなる。一方、画像変化が小さくなるのに応じて鮮鋭感が高められていくことになる。この結果、画像において鮮鋭化が過剰な部分と鮮鋭化が不足する部分とが混在しなくなり、画面全体において均一で適切な鮮鋭感が得られることになる。
【００６５】
［画像処理装置が実行する処理手順例］
図７および図８のフローチャートは、図１に示した本発明の実施の形態の画像処理装置１００が実行する処理手順例を示している。図７は、１つのフレーム画像データに対応して画像処理装置１００が実行する画像鮮鋭化処理のための処理手順例を示している。画像処理装置１００は、入力画像信号としてのフレーム画像データが入力されるごとに、この図に示す処理を繰り返し実行する。
【００６６】
図７において、まず、特徴量算出対象画素ブロック抽出部１０１は、１フレーム画像データを形成する画素ごとに付した番号を示す変数ｎに１を代入する初期化を実行する（ステップＳ９０１）。続いて、特徴量算出対象画素ブロック抽出部１０１は、現フレーム画像データを形成する画素のうちから、ｎ番目の画素を注目画素２０１Ａとして選択する。そのうえで、例えば先に図２により説明したようにして特徴量算出対象画素ブロック２００を抽出する処理を実行する（ステップＳ９０２）。
【００６７】
続いて、ダイナミックレンジ算出部１０２は、上記ステップＳ９０１により抽出された特徴量算出対象画素ブロック２００を対象として、例えば先の図２による説明のようにしてダイナミックレンジの算出を行う（ステップＳ９０３）。また、一次微分絶対値算出部１０３は、同じ特徴量算出対象画素ブロック２００についての一次微分絶対値を、例えば先の図２による説明のようにして算出する（ステップＳ９０４）。
【００６８】
続いて、画像変化特徴量算出部１０４は、上記ステップＳ９０３により算出されたダイナミックレンジとステップＳ９０４により算出された一次微分絶対値とにより、先に図４により説明したようにして画像変化特徴量を算出する（ステップＳ９０５）。
【００６９】
続いて、フィルタ係数算出部１０５は、上記ステップＳ９０５により算出された画像変化特徴量に基づいて、先に図５にて説明したようにしてタップごとに応じたフィルタ係数算出のための処理を実行する（ステップＳ９２０）。
【００７０】
続いて、鮮鋭化処理対象画素ブロック抽出部１０７は、ｎ番目の画素を注目画素として、例えば図６による説明のようにして鮮鋭化処理対象画素ブロック２１０を抽出する（ステップＳ９０６）。そして、鮮鋭化フィルタ部１０８は、次のようにしてｎ番目の画素についての鮮鋭化フィルタ処理を実行する（ステップＳ９０７）。すなわち、鮮鋭化フィルタ部１０８は、例えば先のステップＳ９２０により算出されたフィルタ係数をタップごとに対して設定する。そして、上記ステップＳ９０６により抽出された鮮鋭化処理対象画素ブロック２１０を形成する画素２０１の各々を対応するタップに入力して、その画素値とフィルタ係数とを乗算し、これらの乗算結果を加算する。この積和演算の結果がｎ番目の画素に対応する出力画素値ｏとして出力される。
【００７１】
続いて、例えば特徴量算出対象画素ブロック抽出部１０１は、変数ｎをインクリメントしたうえで（ステップＳ９０８）、現在の変数ｎが最大値よりも大きいか否かについて判定する（ステップＳ９０９）。なお、変数ｎの最大値は、１つのフレーム画像データを形成する画素数となる。ここで、変数ｎが最大値以下である場合には、現フレーム画像データにおいて未だ鮮鋭化フィルタ部１０８による処理が行われていない画素が残っていることになる。そこで、この場合には、ステップＳ９０２の処理に戻る。そして、現フレーム画像データにおける全ての画素についての処理が完了すると、ステップＳ９０９において現在の変数ｎが最大値よりも大きくなったと判定される。この場合には、例えば次のフレーム画像データに対応した画像鮮鋭化処理として、ステップＳ９０１からの処理を再度実行する。
【００７２】
図８は、上記図７のステップＳ９２０として示したフィルタ係数算出のための処理手順例を示している。まず、フィルタ係数算出部１０５は、鮮鋭化フィルタ部１０８におけるタップに付された番号に対応する変数ｉに対して０を代入する初期化を実行する（ステップＳ９２１）。次に、フィルタ係数算出部１０５は、係数変換データ記憶部１０６から第ｉタップに対応する係数変換データを読み出して入力する（ステップＳ９２２）。
【００７３】
続いて、フィルタ係数算出部１０５は、フィルタ係数ωｉを算出する（ステップＳ９２３）。前述したように、係数変換データはフィルタ係数を算出するための多項式関数における係数（多項式係数）である。そこで、フィルタ係数算出部１０５は、上記ステップＳ９２２により入力した係数変換データとしての多項式係数を設定して得られる多項式関数の変数に対して、先に図７のステップＳ９０５により算出された画像変化特徴量の値を代入する。これにより求められる関数の値がフィルタ係数ωｉとなる。
【００７４】
続いて、フィルタ係数算出部１０５は、変数ｉをインクリメントしたうえで（ステップＳ９２４）、現在の変数ｉが最大値より大きいか否かについて判定する（ステップＳ９２５）。なお、変数ｎの最大値は、鮮鋭化フィルタ部１０８が有するタップ数よりも１つ少ない数となる。このステップＳ９２５において、変数ｉが最大値以下であると判定された場合には、未だ第ｉ番目以降のタップに対応するフィルタ係数が算出されていないことになる。そこで、この場合には、ステップＳ９２２の処理に戻る。そして、全てのタップに対応するフィルタ係数の算出が完了すると、ステップＳ９２５により変数ｉが最大値より大きいと判定されることになり、ステップＳ９２０としてのフィルタ係数算出処理を終了する。
【００７５】
＜第２の実施の形態＞
［テレビジョン受像機の構成］
上記図１乃至図８により説明した画像処理装置１００は、例えばテレビジョン受像機により具現化することができる。そこで、本発明の第２の実施の形態として、画像処理装置１００の構成が適用されたテレビジョン受像機について説明する。
【００７６】
図９は、第２の実施の形態としてのテレビジョン受像機４００の構成例を示している。この図に示されるテレビジョン受像機４００は、チューナ４０１、復調器４０２、デマルチプレクサ４０３、画像デコーダ４０４、画像信号処理部４２０、表示部４０５、音声デコーダ４０６、音声信号処理部４０７、および、スピーカ４０８を備えて成る。また、制御部４０９、および、操作部４１０を備えて成る。また、テレビジョン受像機４００にはアンテナ４３０が接続されている。
【００７７】
アンテナ４３０は、放送電波を受信するものである。チューナ４０１は、アンテナ４３０にて電波を受信したことにより発生する受信信号を入力して、例えば制御部４０９により指定されたデジタル放送のチャンネルに対応する周波数信号を抽出する部位である。
【００７８】
復調器４０２は、チューナ４０１から入力した周波数信号について、例えばビタビ復調処理や誤り訂正処理などの復調処理を施す部位である。この復調処理によって、指定されたチャンネルのデータを含むトランスポートストリーム信号が得られる。
【００７９】
デマルチプレクサ４０３は、トランスポートストリーム信号から、指定されたチャンネルに対応する圧縮画像データと圧縮音声データを抽出する部位である。抽出された圧縮画像データは、画像デコーダ４０４に出力される。また、抽出された圧縮音声データは、音声デコーダ４０６に出力される。
【００８０】
画像デコーダ４０４は、デマルチプレクサ４０３から入力した圧縮画像データについて伸長のためのデコード処理を実行して所定のデジタル形式による画像信号を得る部位である。
【００８１】
画像信号処理部４２０は、画像デコーダ４０４から出力される画像信号を入力して、例えば画質調整などをはじめとする各種所要の画像信号処理を実行する部位である。そして、この画像信号処理部４２０は、上記所要の画像信号処理の１つとして画像の画像鮮鋭化処理を実行可能とされている。このために、画像信号処理部４２０においては、画像鮮鋭化処理部４２１が備えられる。この画像鮮鋭化処理部４２１は、例えば第１の実施の形態として説明した図１の画像処理装置１００と同様の構成を採る。
【００８２】
例えば画像鮮鋭化処理部４２１は、画像信号処理部４２０において所定段階までの画像信号処理を経た画像信号を入力する。そして、先に説明した画像鮮鋭化のための処理を施した画像信号を得る。
【００８３】
画像信号処理部４２０により所要の画像信号処理を経た画像信号は、表示部４０５に出力される。表示部４０５は、入力される画像信号を画像として表示する部位である。なお、表示部４０５として実際に採用されるディスプレイデバイスについては特に限定されないが、例えば液晶ディスプレイ装置、有機ＥＬ（Electro-Luminescence）ディスプレイ装置、および、プラズマディスプレイ装置など挙げることができる。例えば、画像鮮鋭化処理部４２１によって画像鮮鋭化処理が施された画像信号が表示部４０５にて表示されているとする。このときに表示されている画像は、例えば元の画像全体における部分ごとの鮮鋭度の相違に係わらず、均一で適正な鮮鋭感が得られるようにして画質が調整されたものとなっている。
【００８４】
音声デコーダ４０６は、デマルチプレクサ４０３から入力された圧縮音声データについて伸長のためのデコード処理を行って、所定のデジタル形式による音声信号を得るための部位である。
【００８５】
音声信号処理部４０７は、音声デコーダ４０６からの音声信号を入力して、例えば音質調整や音量調整などをはじめとする所要のデジタル音声信号処理および音声信号の増幅を実行する部位である。また、音声信号処理部４０７は、音声信号が画像信号に同期して再生されるようにするための出力タイミング設定も行う。音声信号処理部４０７にて増幅された音声信号は例えばスピーカ４０８に供給されることで音声として放出される。
【００８６】
制御部４０９は、テレビジョン受像機４００における各部の制御を実行する部位である。この制御部４０９は、例えばＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、および、ＲＡＭ（Random Access Memory）などを備えて構成される。
【００８７】
操作部４１０は、テレビジョン受像機４００の本体に備えられる各種の操作子およびこれらの操作子に対して行われた操作に応じた操作信号を生成して制御部４０９に出力する操作信号出力部などを一括して示している。また、例えばテレビジョン受像機４００に対応するリモートコントロール装置と、このリモートコントロール装置からのコマンド信号を受信して操作信号に変換して出力するテレビジョン受像機４００内の受信部なども、この操作部４１０に含まれる。制御部４０９は、操作部４１０から入力された操作信号に応じた所要の制御、処理を実行する。これによりユーザ操作に応じてテレビジョン受像機の４００がしかるべき動作を行うことができる。
【００８８】
なお、例えばこのようなテレビジョン受像機４００に本発明の実施の形態の画像鮮鋭化処理を適用する場合、ユーザ操作に応じて、画像鮮鋭化処理のオンオフを行えるよう構成することが可能である。また、ユーザ操作に応じて画像鮮鋭化の効き具合を変更することも可能である。このようにして画像鮮鋭化の効き具合を変更したとしても、ユーザが適切であると感じる鮮鋭感が画面全体において均一に得られることに変わりはない。
【００８９】
また、本発明に基づく画像処理装置１００が具現化される機器は、上記のテレビジョン受像機４００に限定されるものではない。例えば、入力される画像信号の画像を表示するモニタ装置や、テレビジョン放送を受信選局して選局したチャンネルの画像信号を出力する生成する放送チューナ装置などをはじめ、各種の映像機器に適用できる。
【００９０】
また、本発明の実施の形態における画像処理装置１００や画像鮮鋭化処理部４２１は、ハードウェアにより構成することができる。また、ＤＳＰ（Digital Signal Processor）やＣＰＵなどにプログラムを実行させることにより実現できる。この点からすれば、本願発明は、パーソナルコンピュータなどに実行させるアプリケーションプログラムなどとして構成することも可能である。
【００９１】
＜３．変形例＞
［画像ノイズ低減処理に本発明の実施の形態の画像鮮鋭化処理を適用する例］
続いて、本発明の実施の形態の変形例について説明する。例えば、圧縮画像データに特有のモスキートノイズやブロックノイズといわれるノイズを低減する画像ノイズ低減処理の機能と、本発明の実施の形態の画像鮮鋭化処理の機能とが同じシステム内に実装されているとする。この場合、両者が独立に動作した場合には、画像ノイズ低減処理により低減されたノイズを画像鮮鋭化処理によって再び強調してしまうような場合もあると考えられる。そこで、画像ノイズ低減処理が実行されているか否かの情報を、画像部分ごとにパラメータ化する。そして、この画像ノイズ低減処理のパラメータに基づいて、画像ノイズ低減処理が実行されている画像部分については、鮮鋭化制御量を抑制してノイズを強調させないようにすることが考えられる。このためには、例えば画像変化特徴量算出部１０４により先の説明のようにして求めた画像変化特徴量について、画像ノイズ低減処理のパラメータに応じた補正を行い、この補正後の画像変化特徴量ｆによりフィルタ係数を算出すればよい。このようにして、例えば本発明の実施の形態の画像鮮鋭化処理を画像ノイズ低減処理と協調して動作させることが可能である。
【００９２】
［巡回型ノイズ低減処理に本発明の実施の形態の画像鮮鋭化処理を適用する例］
画像処理として、例えば巡回型ノイズ低減処理により撮像や伝送の過程において動画像に生じる時間変動ノイズを低減することが行われる。この巡回型ノイズ低減処理と本発明の実施の形態の画像鮮鋭化処理とを併用した場合にも、巡回型ノイズ低減処理により低減されたノイズを強調してしまう可能性が有る。例えば、画像鮮鋭化処理の前段に巡回型ノイズ低減処理を実行する構成とすれば時間変動するノイズが抑制された後に画像鮮鋭化処理を行うことになるので、鮮鋭感を高めることができる。しかし、巡回型ノイズ低減処理は一画面内におけるノイズ低減効果に偏りのあることが知られている。具体例として、動きベクトルを利用した巡回型ノイズリ低減処理では、画像内容の細かな領域については動きベクトルを適切に求めることができるためにノイズ除去効果が高い。その一方で、画像内容が平坦な領域では動きベクトルを安定して求めることができないため、十分なノイズ除去効果が得られない。したがって、ノイズ除去が十分に行われていない領域に対して鮮鋭感を積極的に高めるように画像鮮鋭化処理を行った場合、その画像部分のノイズが強調されてしまうことになる。一方で、十分なノイズ除去効果が得られている領域は、画像内容が細かな状態であるために画像鮮鋭化処理による鮮鋭感の向上効果が視覚的に分かりやすいといえる。そこで、巡回型ノイズ低減処理のノイズ低減強度に応じた特徴量を算出し、画像変化特徴量ｆに代えて、このノイズ低減強度の特徴量から求めたフィルタ係数により画像鮮鋭化処理を実行する構成とすることが考えられる。または、巡回型ノイズ低減処理のノイズ低減強度をパラメータ化して、このパラメータに応じて補正した画像変化特徴量ｆにより画像鮮鋭化処理を実行する構成とすることが考えられる。これらの構成により、ノイズが強調されることを回避しながら有効に鮮鋭感を高めることができる。
【００９３】
［輝度値に応じて画像鮮鋭化処理を実行する例］
ビデオカメラなどの撮像装置においては、撮像により得られた画像部分の輝度値に応じてノイズの量が異なるという現象が生じる場合がある。このようなノイズの代表例としては暗部ノイズを挙げることができる。暗部ノイズは、例えば画像が暗くなるほど発生しやすくなる。そこで、例えば画素の輝度値に関連した特徴量を算出し、画像変化特徴量ｆに代えて、この輝度値の特徴量から求めたフィルタ係数により画像鮮鋭化処理を実行する構成とすることが考えられる。または、画素の輝度値をパラメータ化して、このパラメータに応じて補正した画像変化特徴量ｆにより画像鮮鋭化処理を実行する構成とすることが考えられる。これらの構成により、例えば暗部ノイズなどを強調することなく鮮鋭感を高めることが可能になる。
【００９４】
［人肌検出に本発明の実施の形態の画像鮮鋭化処理を適用する例］
また、画像における人肌は、例えば鮮鋭感を高くしていくのに応じて皺が目立ったり皮膚が荒れて見えたりする傾向となる。そこで、人肌に関する特徴量を定義して、先に説明した画像変化特徴量ｆの代わりに利用して画像鮮鋭化処理を実行させることが考えられる。または、人肌に関するパラメータを求め、このパラメータにより補正した画像変化特徴量ｆにより画像鮮鋭化処理を実行する構成とすることが考えられる。これにより、例えば画像全体において人肌が検出された部分領域については鮮鋭感を高くしないようにして画像鮮鋭化処理を行うことが可能になり、例えば上記の皺や皮膚の荒れなどは目立たなくすることができる。
【００９５】
なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、本発明の実施の形態において明示したように、本発明の実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本発明の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本発明は実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
【００９６】
また、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disk）、メモリカード、ブルーレイディスク（Blu-ray Disc（登録商標））等を用いることができる。
【符号の説明】
【００９７】
１００ 画像処理装置
１０１ 特徴量算出対象画素ブロック抽出部
１０２ ダイナミックレンジ算出部
１０３ 一次微分絶対値算出部
１０４ 画像変化特徴量算出部
１０５ フィルタ係数算出部
１０６ 係数変換データ記憶部
１０７ 鮮鋭化処理対象画素ブロック抽出部
１０８ 鮮鋭化フィルタ部
２００ 特徴量算出対象画素ブロック
２１０ 鮮鋭化処理対象画素ブロック
４００ テレビジョン受像機
４２０ 画像信号処理部
４２１ 画像鮮鋭化処理部
【特許請求の範囲】
【請求項１】
入力画像を形成する画素のうちから選択した注目画素およびその周辺の所定数の画素から成る特徴量算出対象画像部分における最大画素値と最小画素値との差分値である最大最小画素差分値を算出する最大最小画素差分値算出部と、
前記特徴量算出対象画素部分において隣接する画素の差分値のうちで最大値となる最大隣接画素差分値を算出する最大隣接画素差分値算出部と、
前記最大最小画素差分値および前記最大隣接画素差分値に基づいて前記特徴量算出対象画素部分における画像変化の急峻性に対応する画像変化特徴量を算出する画像変化特徴量算出部と、
前記画像変化特徴量に基づいてフィルタ係数を算出するフィルタ係数算出部と、
１つの前記特徴量算出対象画像部分と同じ注目画素およびその周辺の所定数の画素から成るフィルタ処理対象画像部分を形成する画素を入力して、前記１つの前記特徴量算出対象画像部分に対応するフィルタ係数を用いて前記フィルタ処理対象画像部分における注目画素の出力画素値を算出する鮮鋭化フィルタ部と
を具備する画像処理装置。
【請求項２】
前記特徴量算出対象画像部分を形成する画素数と前記フィルタ処理対象画像部分を形成する画素数とは互いに異なる請求項１記載の画像処理装置。
【請求項３】
前記フィルタ係数を算出するための多項式関数における多項式係数を記憶する多項式係数記憶部をさらに具備し、
前記フィルタ係数算出部は、前記多項式係数記憶部に記憶されている多項式係数による多項式関数の変数に画像変化特徴量の値を代入して演算を行うことで前記フィルタ係数を算出する
請求項１記載の画像処理装置。
【請求項４】
前記画像変化特徴量算出部は、算出された前記最大隣接画素差分値が算出された前記最大最小画素差分値に対応して予め設定された上限閾値以上の場合には前記画像変化特徴量として最大値を設定し、前記最大隣接画素差分値が前記最大最小画素差分値ごとに対応して予め設定される下限閾値以下の場合には前記画像変化特徴量として最小値を設定し、前記最大隣接画素差分値が前記上限閾値と前記下限閾値との間である場合には、前記上限閾値に対する前記下限閾値の差分値と前記最大隣接画素差分値に対する前記下限閾値の差分値との比に基づいて前記画像変化特徴量を算出する請求項１記載の画像処理装置。
【請求項５】
入力画像を形成する画素のうちから選択した注目画素およびその周辺の所定数の画素から成る特徴量算出対象画像部分における最大画素値と最小画素値との差分値である最大最小画素差分値を算出する最大最小画素差分値算出手順と、
前記特徴量算出対象画素部分において隣接する画素の差分値のうちで最大値となる最大隣接画素差分値を算出する最大隣接画素差分値算出手順と、
前記最大最小画素差分値および前記最大隣接画素差分値に基づいて前記特徴量算出対象画素部分における画像変化の急峻性に対応する画像変化特徴量を算出する画像変化特徴量算出手順と、
前記画像変化特徴量に基づいてフィルタ係数を算出するフィルタ係数算出手順と、
１つの前記特徴量算出対象画像部分と同じ注目画素およびその周辺の所定数の画素から成るフィルタ処理対象画像部分を形成する画素を入力して、前記１つの前記特徴量算出対象画像部分に対応するフィルタ係数を用いて前記フィルタ処理対象画像部分における注目画素の出力画素値を算出する鮮鋭化フィルタ手順と
を具備する画像処理方法。
【請求項１】
入力画像を形成する画素のうちから選択した注目画素およびその周辺の所定数の画素から成る特徴量算出対象画像部分における最大画素値と最小画素値との差分値である最大最小画素差分値を算出する最大最小画素差分値算出部と、
前記特徴量算出対象画素部分において隣接する画素の差分値のうちで最大値となる最大隣接画素差分値を算出する最大隣接画素差分値算出部と、
前記最大最小画素差分値および前記最大隣接画素差分値に基づいて前記特徴量算出対象画素部分における画像変化の急峻性に対応する画像変化特徴量を算出する画像変化特徴量算出部と、
前記画像変化特徴量に基づいてフィルタ係数を算出するフィルタ係数算出部と、
１つの前記特徴量算出対象画像部分と同じ注目画素およびその周辺の所定数の画素から成るフィルタ処理対象画像部分を形成する画素を入力して、前記１つの前記特徴量算出対象画像部分に対応するフィルタ係数を用いて前記フィルタ処理対象画像部分における注目画素の出力画素値を算出する鮮鋭化フィルタ部と
を具備する画像処理装置。
【請求項２】
前記特徴量算出対象画像部分を形成する画素数と前記フィルタ処理対象画像部分を形成する画素数とは互いに異なる請求項１記載の画像処理装置。
【請求項３】
前記フィルタ係数を算出するための多項式関数における多項式係数を記憶する多項式係数記憶部をさらに具備し、
前記フィルタ係数算出部は、前記多項式係数記憶部に記憶されている多項式係数による多項式関数の変数に画像変化特徴量の値を代入して演算を行うことで前記フィルタ係数を算出する
請求項１記載の画像処理装置。
【請求項４】
前記画像変化特徴量算出部は、算出された前記最大隣接画素差分値が算出された前記最大最小画素差分値に対応して予め設定された上限閾値以上の場合には前記画像変化特徴量として最大値を設定し、前記最大隣接画素差分値が前記最大最小画素差分値ごとに対応して予め設定される下限閾値以下の場合には前記画像変化特徴量として最小値を設定し、前記最大隣接画素差分値が前記上限閾値と前記下限閾値との間である場合には、前記上限閾値に対する前記下限閾値の差分値と前記最大隣接画素差分値に対する前記下限閾値の差分値との比に基づいて前記画像変化特徴量を算出する請求項１記載の画像処理装置。
【請求項５】
入力画像を形成する画素のうちから選択した注目画素およびその周辺の所定数の画素から成る特徴量算出対象画像部分における最大画素値と最小画素値との差分値である最大最小画素差分値を算出する最大最小画素差分値算出手順と、
前記特徴量算出対象画素部分において隣接する画素の差分値のうちで最大値となる最大隣接画素差分値を算出する最大隣接画素差分値算出手順と、
前記最大最小画素差分値および前記最大隣接画素差分値に基づいて前記特徴量算出対象画素部分における画像変化の急峻性に対応する画像変化特徴量を算出する画像変化特徴量算出手順と、
前記画像変化特徴量に基づいてフィルタ係数を算出するフィルタ係数算出手順と、
１つの前記特徴量算出対象画像部分と同じ注目画素およびその周辺の所定数の画素から成るフィルタ処理対象画像部分を形成する画素を入力して、前記１つの前記特徴量算出対象画像部分に対応するフィルタ係数を用いて前記フィルタ処理対象画像部分における注目画素の出力画素値を算出する鮮鋭化フィルタ手順と
を具備する画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１１−２１１４７４（Ｐ２０１１−２１１４７４Ａ）
【公開日】平成２３年１０月２０日（２０１１．１０．２０）
【国際特許分類】
【出願番号】特願２０１０−７７０３５（Ｐ２０１０−７７０３５）
【出願日】平成２２年３月３０日（２０１０．３．３０）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２３年１０月２０日（２０１１．１０．２０）
【国際特許分類】
【出願日】平成２２年３月３０日（２０１０．３．３０）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]