係数学習装置および方法、画像処理装置および方法、プログラム、並びに記録媒体
【課題】それぞれ特性の異なる複数の領域を有する画像において、それぞれの領域を適切に分類することができるようにする。
【解決手段】生徒画像の注目画素の特徴量を抽出する特徴量抽出部と、注目画素を所定のクラスに分類し、注目画素に対して、自然画処理を施し、注目画素に対して、人工画処理を施し、自然処理された注目画素の画素値、人工画処理された注目画素の画素値、教師画像の注目画素の画素値、および所定のミキシング係数を用いた正規方程式のサンプルをクラス毎に生成し、生成された複数のサンプルに基づいて、ミキシング係数を算出する。
【解決手段】生徒画像の注目画素の特徴量を抽出する特徴量抽出部と、注目画素を所定のクラスに分類し、注目画素に対して、自然画処理を施し、注目画素に対して、人工画処理を施し、自然処理された注目画素の画素値、人工画処理された注目画素の画素値、教師画像の注目画素の画素値、および所定のミキシング係数を用いた正規方程式のサンプルをクラス毎に生成し、生成された複数のサンプルに基づいて、ミキシング係数を算出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、係数学習装置および方法、画像処理装置および方法、プログラム、並びに記録媒体に関し、特に、それぞれ特性の異なる複数の領域を有する画像において、それぞれの領域を適切に分類することができるようにする係数学習装置および方法、画像処理装置および方法、プログラム、並びに記録媒体に関する。
【背景技術】
【０００２】
従来より画像の高画質化処理が実用化されている。高画質化処理を実行する場合、画像の特性などを考慮して、その画像に適した処理を実行する必要がある。
【０００３】
例えば、画像に含まれるそれぞれの部分を、人工画と自然画に分類して考える。ここで人工画とは、文字や単純な図形などの、階調が少なく、エッジの位置を表す位相情報がはっきりした、すなわち、平坦部分が多い人工的な画像である。換言すれば、人工画は、文字や単純図形等の階調があまり無く、輪郭等の位置を表す情報が支配的になっている画像中の部分（領域）と定義される。また、自然画とは、人工画以外の画像中の部分（領域）と定義され、例えば、自然界に存在するものをそのまま撮影した画像等が該当する。
【０００４】
高画質化処理を行なう場合、人工画と自然画では、画像の特性が大きく異なるので、自然画に対して適用する処理と、人工画に対して適用する処理とがそれぞれ異なる処理とした方が、より高い効果を得ることができる。一方で、自然画と人工画では、画像の特性が大きく異なるため、自然画に特化した処理を人工画に適用した場合、または、人工画に特化した処理を自然画に適用した場合、弊害が大きくなる（かえって画質が劣化してしまう）。
【０００５】
すなわち、自然画に特化した処理と人工画に特化した処理のそれぞれを含む高画質化処理を行なう際に、画像中の注目画素が自然画に分類される部分の画素であるか、人工画に分類される部分の画素であるかを正しく判定する必要がある。
【０００６】
そこで、出願人は、画像における自然画としての要素を含む領域と人工画としての要素を含む領域とを区別して、それぞれの領域に対して最適な処理を施すことにより、画像全体の品質を的確に高めることができるようにする技術を提案した（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００７−２５１６８７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１の技術では、判定に必要な閾値を人間が経験を頼りに調整していた。
【０００９】
このため、特許文献１の技術では、考慮すべきパラメータが増大するとパラメータ調整の工数が膨大になるおそれがある。
【００１０】
また、人間の経験に頼っているため定量的な妥当性を欠く場合がある。
【００１１】
本技術はこのような状況に鑑みて開示するものであり、それぞれ特性の異なる複数の領域を有する画像において、それぞれの領域を適切に分類することができるようにするものである。
【課題を解決するための手段】
【００１２】
本技術の第１の側面は、生徒画像の注目画素の特徴量を抽出する特徴量抽出部と、前記抽出した特徴量に基づいて前記注目画素を所定のクラスに分類するクラス分類部と、前記注目画素に対して、少なくとも画素の輝度レベルを復元させるための処理を含む自然画処理を施す自然画処理部と、前記注目画素に対して、少なくともエッジを鮮明にするための処理を含む人工画処理を施す人工画処理部と、前記自然処理された前記注目画素の画素値、前記人工画処理された前記注目画素の画素値、教師画像の注目画素の画素値、および所定のミキシング係数を用いた正規方程式のサンプルを前記クラス毎に生成するサンプル生成部と、前記生成された複数のサンプルに基づいて、前記ミキシング係数を算出するミキシング係数算出部とを備える係数学習装置である。
【００１３】
前記特徴量抽出部は、比較的広い領域において、前記注目画素を中心とする当該領域におけるダイナミックレンジ、隣接画素差分絶対値、隣接画素差分絶対値の最大値に基づいて算出される広域特徴量を抽出するようにすることができる。
【００１４】
前記特徴量抽出部は、比較的広い領域において、前記注目画素を中心とする当該領域におけるダイナミックレンジ、隣接画素差分絶対値、隣接画素差分絶対値の最大値に基づいて算出される広域特徴量を抽出し、前記注目画素を中心とした比較的広い領域におけるダイナミックレンジ、および前記注目画素を含む比較的狭い複数の領域のそれぞれのダイナミックレンジのうちの最大値に基づいて算出される狭域特徴量を抽出するようにすることができる。
【００１５】
本技術の第１の側面は、特徴量抽出部が、生徒画像の注目画素の特徴量を抽出し、クラス分類部が、前記抽出した特徴量に基づいて前記注目画素を所定のクラスに分類し、自然画処理部が、前記注目画素に対して、少なくとも画素の輝度レベルを復元させるための処理を含む自然画処理を施し、人工画処理部が、前記注目画素に対して、少なくともエッジを鮮明にするための処理を含む人工画処理を施し、サンプル生成部が、前記自然処理された前記注目画素の画素値、前記人工画処理された前記注目画素の画素値、教師画像の注目画素の画素値、および所定のミキシング係数を用いた正規方程式のサンプルを前記クラス毎に生成し、ミキシング係数算出部が、前記生成された複数のサンプルに基づいて、前記ミキシング係数を算出するステップを含む係数学習方法である。
【００１６】
本技術の第１の側面は、コンピュータを、生徒画像の注目画素の特徴量を抽出する特徴量抽出部と、前記抽出した特徴量に基づいて前記注目画素を所定のクラスに分類するクラス分類部と、前記注目画素に対して、少なくとも画素の輝度レベルを復元させるための処理を含む自然画処理を施す自然画処理部と、前記注目画素に対して、少なくともエッジを鮮明にするための処理を含む人工画処理を施す人工画処理部と、前記自然処理された前記注目画素の画素値、前記人工画処理された前記注目画素の画素値、教師画像の注目画素の画素値、および所定のミキシング係数を用いた正規方程式のサンプルを前記クラス毎に生成するサンプル生成部と、前記生成された複数のサンプルに基づいて、前記ミキシング係数を算出するミキシング係数算出部とを備える係数学習装置として機能させるプログラムである。
【００１７】
本技術の第１の側面においては、生徒画像の注目画素の特徴量が抽出され、前記抽出した特徴量に基づいて前記注目画素が所定のクラスに分類され、前記注目画素に対して、少なくとも画素の輝度レベルを復元させるための処理を含む自然画処理が施され、前記注目画素に対して、少なくともエッジを鮮明にするための処理を含む人工画処理が施され、前記自然処理された前記注目画素の画素値、前記人工画処理された前記注目画素の画素値、教師画像の注目画素の画素値、および所定のミキシング係数を用いた正規方程式のサンプルが前記クラス毎に生成され、前記生成された複数のサンプルに基づいて、前記ミキシング係数が算出される。
【００１８】
本技術の第２の側面は、入力画像の注目画素の特徴量を抽出する特徴量抽出部と、前記抽出した特徴量に基づいて前記注目画素を所定のクラスに分類するクラス分類部と、前記注目画素に対して、少なくとも画素の輝度レベルを復元させるための処理を含む自然画処理を施す自然画処理部と、前記注目画素に対して、少なくともエッジを鮮明にするための処理を含む人工画処理を施す人工画処理部と、前記自然処理された前記注目画素の画素値と、前記人工画処理された前記注目画素の画素値とを、前記クラスに対応付けられて予め記憶されているミキシング係数を用いてミキシングすることで出力画像の画素を生成する画素生成部とを備える画像処理装置である。
【００１９】
前記特徴量抽出部は、比較的広い領域において、前記注目画素を中心とする当該領域におけるダイナミックレンジ、隣接画素差分絶対値、隣接画素差分絶対値の最大値に基づいて算出される広域特徴量を抽出するようにすることができる。
【００２０】
前記特徴量抽出部は、比較的広い領域において、前記注目画素を中心とする当該領域におけるダイナミックレンジ、隣接画素差分絶対値、隣接画素差分絶対値の最大値に基づいて算出される広域特徴量を抽出し、前記注目画素を中心とした比較的広い領域におけるダイナミックレンジ、および前記注目画素を含む比較的狭い複数の領域のそれぞれのダイナミックレンジのうちの最大値に基づいて算出される狭域特徴量を抽出するようにすることができる。
【００２１】
前記画素生成部は、前記注目画素が属するクラスとその周辺のクラスに対応するミキシング係数を、注目画素の特徴量から得られたベクトルと周辺のクラスの重心ベクトルの距離にしたがった重み付けして各クラスの前記ミキシング係数を加重平均し、前記加重平均されたミキシング係数を用いたミキシングにより出力画像の画素を生成するようにすることができる。
【００２２】
本技術の第２の側面は、特徴量抽出部が、入力画像の注目画素の特徴量を抽出し、前記抽出した特徴量に基づいて前記注目画素を所定のクラスに分類するクラス分類部と、クラス分類部が、前記注目画素に対して、少なくとも画素の輝度レベルを復元させるための処理を含む自然画処理を施し、人工画処理部が、前記注目画素に対して、少なくともエッジを鮮明にするための処理を含む人工画処理を施し、画素生成部が、前記自然処理された前記注目画素の画素値と、前記人工画処理された前記注目画素の画素値とを、前記クラスに対応付けられて予め記憶されているミキシング係数を用いてミキシングすることで出力画像の画素を生成するステップを含む画像処理方法である。
【００２３】
本技術の第２の側面は、コンピュータを、入力画像の注目画素の特徴量を抽出する特徴量抽出部と、前記抽出した特徴量に基づいて前記注目画素を所定のクラスに分類するクラス分類部と、前記注目画素に対して、少なくとも画素の輝度レベルを復元させるための処理を含む自然画処理を施す自然画処理部と、前記注目画素に対して、少なくともエッジを鮮明にするための処理を含む人工画処理を施す人工画処理部と、前記自然処理された前記注目画素の画素値と、前記人工画処理された前記注目画素の画素値とを、前記クラスに対応付けられて予め記憶されているミキシング係数を用いてミキシングすることで出力画像の画素を生成する画素生成部とを備える画像処理装置として機能させるプログラムである。
【００２４】
本技術の第２の側面においては、入力画像の注目画素の特徴量が抽出され、前記抽出した特徴量に基づいて前記注目画素が所定のクラスに分類され、前記注目画素に対して、少なくとも画素の輝度レベルを復元させるための処理を含む自然画処理が施され、前記注目画素に対して、少なくともエッジを鮮明にするための処理を含む人工画処理が施され、前記自然処理された前記注目画素の画素値と、前記人工画処理された前記注目画素の画素値とを、前記クラスに対応付けられて予め記憶されているミキシング係数を用いてミキシングすることで出力画像の画素が生成される。
【発明の効果】
【００２５】
本技術によれば、それぞれ特性の異なる複数の領域を有する画像において、それぞれの領域を適切に分類することができる。
【図面の簡単な説明】
【００２６】
【図１】本技術を適用した画像処理装置の一実施の形態に係る構成例を示すブロック図である。
【図２】人工画処理部の処理の例について説明する図である。
【図３】人工画処理部の処理の例について説明する図である。
【図４】自然画処理部の処理の例について説明する図である。
【図５】自然画処理部の処理の例について説明する図である。
【図６】図１の画像処理装置に対応する学習装置の構成例を示すブロック図である。
【図７】diffn／ＤＲの値に応じて出力されるポイント値の変化の例を示すグラフである。
【図８】狭域特徴量を算出する際のブロックの抽出方式の例を示す図である。
【図９】注目画素が細線の真上に位置している場合の例を示す図である。
【図１０】注目画素が細線の真上から外れた場所に位置している場合の例を示す図である。
【図１１】図１の自然画人工画判定部の詳細な構成例を示すブロック図である。
【図１２】係数学習処理の例を説明するフローチャートである。
【図１３】高画質化処理の例を説明するフローチャートである。
【図１４】人工画度判定処理の例を説明するフローチャートである。
【図１５】図１の自然画人工画判定部による判定結果を別の処理に用いる例を示すブロック図である。
【図１６】パーソナルコンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００２７】
以下、図面を参照して、ここで開示する技術の実施の形態について説明する。
【００２８】
図１は、本技術を適用した画像処理装置の一実施の形態に係る構成例を示すブロック図である。
【００２９】
同図に示される画像処理装置２０は、入力画像に対して高画質化処理を施し、高画質化された画像を出力画像として出力するようになされている。この例では、画像処理装置２０は、自然画処理部２１、人工画処理部２２、自然画人工画判定部２３、および統合部２４を有する構成とされている。
【００３０】
自然画人工画判定部２３は、入力画像の各画素について、自然画の画素であるか人工画の画素であるかを判定する。自然画人工画判定部２３は、入力画像の中の注目画素、およびその周辺の画素の画素値に基づいて注目画素に対応する特徴量を算出する。そして、自然画人工画判定部２３は、算出された特徴量に基づいて注目画素を所定のクラスに分類し、その分類結果に基づいて注目画素が自然画の画素であるか人工画の画素であるかを判定する。
【００３１】
なお、詳細は後述するが、自然画人工画判定部２３による判定結果は、注目画素の人工画の度合として出力されるようになされている。
【００３２】
自然画処理部２１は、入力画像の中で自然画の画素であると判定された注目画素に対する高画質化処理を実行するようになされている。
【００３３】
人工画処理部２２は、入力画像の中で人工画の画素であると判定された注目画素に対する高画質化処理を実行するようになされている。
【００３４】
ここで人工画とは、文字や単純な図形などの、階調が少なく、エッジの位置を表す位相情報がはっきりした、すなわち、平坦部分が多い人工的な画像である。換言すれば、人工画は、文字や単純図形等の階調があまり無く、輪郭等の位置を表す情報が支配的になっている画像中の部分（領域）と定義される。また、自然画とは、人工画以外の画像中の部分（領域）と定義され、例えば、自然界に存在するものをそのまま撮影した画像等が該当する。
【００３５】
図２と図３を参照して人工画処理部２２の処理の例について説明する。
【００３６】
図２は、極めて高画質（実世界の画像に近い）画像の中のエッジ部分の画素の輝度レベルの変化の例を示す図である。同図は、縦軸が輝度レベル、横軸が水平方向の画素位置とされ、各画素の輝度レベルがグラフとして示されている。図２の例では、画素位置Ｋにおいて、輝度レベルが急峻に変化しており、ここにエッジが存在することが分かる。
【００３７】
図３は、図２と同じ画像をカメラで撮影し、ディスプレイに表示した場合の画素の輝度レベルの変化の例を示す図である。同図は、縦軸が輝度レベル、横軸が水平方向の画素位置とされ、各画素の輝度レベルがグラフとして示されている。図３の例では、図２の場合と異なり、画素位置Ｋの周辺において輝度レベルがなだらかに変化している。すなわち、図３の場合、画質が劣化したことにより、画像のエッジ部分が不鮮明に表示されていることが分かる。
【００３８】
人工画処理部２２は、例えば、図３に示されるような各画素の輝度レベルを図２に近づけるような処理を実行するようになされている。この例では、図３の画素位置Ｋの左側に位置する所定数の画素の輝度レベルを引き上げ、かつ、図３の画素位置Ｋの左側に位置する所定数の画素の輝度レベルを引き下げる処理が実行される。この際、画素位置Ｋにおいてのみ、急峻に輝度レベルが変化するように、上述した処理が実行される。人工画処理部２２の処理では、このように、画素値の波形の位相を適切にとらえてリンギングなどを発生させずにエッジを鮮明にするようになされている。
【００３９】
図４と図５を参照して自然画処理部２１の処理の例について説明する。
【００４０】
図４は、極めて高画質（実世界の画像に近い）画像の中のテクスチャ部分の画素の輝度レベルの変化の例を示す図である。同図は、縦軸が輝度レベル、横軸が水平方向の画素位置とされ、各画素の輝度レベルがグラフとして示されている。図４の例では、グラフに山型の形状が２つ形成されており、ここに模様などのテクスチャが存在することが分かる。
【００４１】
図５は、図４と同じ画像をカメラで撮影し、ディスプレイに表示した場合の画素の輝度レベルの変化の例を示す図である。同図は、縦軸が輝度レベル、横軸が水平方向の画素位置とされ、各画素の輝度レベルがグラフとして示されている。図５の例では、図４の場合と異なり、グラフの中の山のピークのレベルが低くなっており、グラフの中の谷の部分のレベルも高くなっている。すなわち、図５の場合、画質が劣化したことにより、画像のテクスチャ部分が不鮮明に表示されていることが分かる。
【００４２】
人工画処理部２２は、例えば、図５に示されるような各画素の輝度レベルを図４に近づけるような処理を実行するようになされている。この例では、図５のグラフの山と谷の部分に位置する所定数の画素の輝度レベルの変化をより大きくする処理が実行される。人工画処理部２２の処理では、このように、画素の輝度レベルを復元させるようになされている。
【００４３】
このように、自然画処理部２１と人工画処理部２２は、それぞれ異なる処理を実行するようになされている。このため、例えば、画像のテクスチャ部分の画素に対して人工画処理部２２の処理を実行するとかえって画質が劣化してしまい、画像のエッジ部分の画素に対して自然画処理部２１の処理を実行するとかえって画質が劣化してしまう。例えば、エッジの画素に対して自然画処理部２１の処理を実行すると、一般的にリンギングが発生することが知られている。
【００４４】
図１に戻って、自然画処理部２１の処理結果と人工画処理部２２の処理結果は、統合部２４に供給される。
【００４５】
統合部２４は、自然画人工画判定部２３の判定結果、すなわち注目画素の人工画の度合に基づいて、自然画処理部２１の処理結果と人工画処理部２２の処理結果をミキシングすることで、注目画素を高画質化するようになされている。そして、それらの高画質化された画素により構成される画像が出力画像とされる。
【００４６】
例えば、出力画像の画素の輝度値（画素値）をＹで表し、自然画処理部２１の処理結果の画素値をｎとし、人工画処理部２２の処理結果の画素値をａとした場合、統合部２４は、式（１）の演算を行って注目画素を高画質化する。
【００４７】
【数１】
・・・（１）
【００４８】
なお、式（１）における係数ｗは、自然画人工画判定部２３の判定結果として出力された注目画素の人工画の度合とされる。
【００４９】
このようにして、画像処理装置２０によって、入力画像に対して高画質化処理が施される。
【００５０】
上述したように、人工画は、文字や単純な図形などの、階調が少なく、エッジの位置を表す位相情報がはっきりした画像中の領域であり、自然画は、人工画以外の画像中の領域とされる。
【００５１】
従って、自然画処理部２１の処理は複雑に輝度レベルが空間方向に変化する波形を入力として想定しており、例えば、テクスチャの領域が主な処理対象となり、人工画処理部２２の処理は位相情報が重要な波形を入力として想定しており、例えば、主にエッジが処理対象となる。
【００５２】
しかしながら、「人工画」という言葉から想起される、例えば、ＣＧやテロップといった画像のすべてが人工画処理部２２の処理がなされるべき領域になるとは限らない。この点について、点や細線を例に挙げて説明する。
【００５３】
例えば、単色の壁を背景とした画像の中に人工的な細い線状のオブジェクト（細線）が表示されているものとすると、このオブジェクトの周辺にエッジが存在することになる。
【００５４】
細線の輪郭であるエッジとその周辺では、画像を構成する画素値の波形の位相を適切にとらえてリンギングなどを発生させずにエッジを鮮明にすることで、画像を高画質化することができる。このため、細線の輪郭であるエッジとその周辺では、人工画処理部２２の処理が施されることが望ましい。
【００５５】
一方で、細線の真上の画素は、例えば、撮像から表示に至る過程で輝度レベル方向に劣化している可能性が高いので、例えば、テクスチャ領域の画素と同様に、輝度レベルを復元させることで画像を高画質化することができる。このため、細線の真上の画素には、輝度レベルの復元に適した自然画処理部２１による処理が施されることが望ましい。
【００５６】
上述した細線と同様に、点に近い形状のオブジェクトが表示されている場合も、やはりエッジとその周辺では、人工画処理部２２の処理が施されることが望ましく、点の真上の画素には、自然画処理部２１による処理が施されることが望ましい。
【００５７】
本技術では、画像の中のエッジとその周辺の画素と、細線や点の真上の画素とを区別して、自然画処理部２１による処理と人工画処理部２２の処理を適用する。
【００５８】
また、本技術では、上述した式（１）の係数ｗを学習によって求めるようになされている。図６は、図１の画像処理装置２０に対応する学習装置の構成例を示すブロック図である。
【００５９】
図６の学習装置５０は、自然画処理部５１、人工画処理部５２、特徴量抽出部５３、クラス分類部５４、正規方程式生成部５５、および係数生成部５６を有する構成とされている。
【００６０】
学習装置５０は、所定の高画質の画像を教師画像とし、その教師画像の画質を予め劣化させた画像を生徒画像とし、教師画像の画素、および生徒画像の画素を高画質化した画素に基づいて、最適な係数ｗを演算により求めるようになされている。
【００６１】
自然画処理部５１、および人工画処理部５２は、それぞれ自然画処理部２１、および人工画処理部２２と同様の機能ブロックであるため、詳細な説明は省略する。
【００６２】
特徴量抽出部５３は、注目画素に対応する特徴量を生徒画像から抽出するようになされている。特徴量抽出部５３は、広域特徴量抽出部６１、および狭域特徴量抽出部６２を有する構成とされており、広域特徴量抽出部６１、および狭域特徴量抽出部６２によりそれぞれ抽出された特徴量の組み合わせがクラス分類部５４に出力される。
【００６３】
なお、広域特徴量抽出部６１、および狭域特徴量抽出部６２により抽出される特徴量の詳細については後述する。
【００６４】
クラス分類部５４は、特徴量抽出部５３から供給される特徴量に基づいて、例えば、注目画素を予め設定された複数のクラスに分類する。クラス分類部５４は、広域特徴量抽出部６１、および狭域特徴量抽出部６２によりそれぞれ抽出された特徴量の組み合わせを、多次元のベクトルとして解析し、その多次元ベクトル空間を所定の基準で分割することにより、注目画素を複数のクラスに分類する。クラス分類部５４は、注目画素が属するクラスを表すクラスコードを出力するようになされている。
【００６５】
正規方程式生成部５５には、自然画処理部５１により処理された注目画素の画素値、人工画処理部５２により処理された注目画素の画素値、および教師画像における注目画素の画素値、並びにクラス分類部５４から出力された注目画素のクラスコードが入力される。
【００６６】
正規方程式生成部５５は、教師画像における注目画素の画素値をｔとし、自然画処理部５１の処理結果の画素値をｎとし、人工画処理部５２の処理結果の画素値をａとし、式（２）に示される方程式を生成する。
【００６７】
【数２】
・・・（２）
【００６８】
いま、式（２）における係数ｗを求める場合、式（２）に各値を代入し、式（３）のように変形した上で、二乗誤差（ｅの二乗）を最小とするようにすればよい。
【００６９】
【数３】
・・・（３）
【００７０】
正規方程式生成部５５は、式（３）に示される方程式をクラスコード毎にサンプルとして蓄積するようになされている。そして、各クラスについて十分なサンプルが蓄積された上で、次のようにして最小二乗法により係数ｗを算出する。
【００７１】
式（３）より式（４）が導出される。
【００７２】
【数４】
・・・（４）
【００７３】
式（４）より式（５）の方程式を生成することができる。
【００７４】
【数５】
・・・（５）
【００７５】
なお、式（４）と式（５）におけるsampleは、当該クラスコードにおいて蓄積されたサンプルの数を表している。
【００７６】
式（５）の方程式を解いて、係数ｗを求めることにより、当該クラスコードにおいて最適な係数ｗを求めることができる。
【００７７】
正規方程式生成部５５は、各クラスコードについて、式（３）のサンプルが所定数蓄積された場合、サンプルを係数生成部５６に出力する。
【００７８】
係数生成部５６は、式（３）乃至式（５）の演算をクラスコード毎に行い、当該クラスコードに対応する係数ｗを算出する。上述したように、係数ｗは、自然画処理部２１の処理結果と人工画処理部２２の処理結果をミキシングする際に用いられるものなので、適宜ミキシング係数と称することにする。
【００７９】
なお、係数生成部５６により算出されたミキシング係数は、クラスコードに対応づけて記憶されるようになされている。そして、記憶された係数が、後述するように、自然画人工画判定部２３により用いられることになる。
【００８０】
次に、広域特徴量抽出部６１、および狭域特徴量抽出部６２により抽出される特徴量について説明する。
【００８１】
上述したように、本技術では、画像の中のエッジとその周辺の画素と、細線や点の真上の画素とを区別して、自然画処理部２１による処理と人工画処理部２２の処理を適用する。従って、注目画素の付近にエッジがありその付近に平坦部が存在するか否かを検知し、さらに、注目画素が細線や点などの真上に存在しているのかエッジ付近の平坦部に存在しているのかを検知できるようにする必要がある。
【００８２】
広域特徴量抽出部６１は、注目画素の付近にエッジがありその付近に平坦部が存在するか否かを検知できるようにするための特徴量として広域特徴量を抽出する。すなわち、注目画素の付近の画像は、例えば、単色の壁を背景とした画像の中に人工的な細い線状のオブジェクト（細線）が表示されているような画像であるかを検知できるようにする広域特徴量が抽出される。
【００８３】
例えば、比較的広い領域（例えば、１３×１３画素で構成される領域）において、注目画素を中心とする当該領域におけるダイナミックレンジ、隣接画素差分絶対値、隣接画素差分絶対値の最大値に基づいて算出される特徴量が広域特徴量とされる。
【００８４】
当該領域における第ｎ番目の隣接画素差分絶対値をdiffn（ｎ＝０，・・・Ｎ）で表すことにする。なお、隣接画素差分絶対値は、当該領域内において水平方向または垂直方向に隣接する画素どうしの輝度値の差分絶対値とされ、最大でＮ個の差分絶対値が存在するものとする。
【００８５】
例えば、式（６）に示されるように、当該領域におけるダイナミックレンジと、各隣接画素差分絶対値をパラメータとして入力し、関数ｆによる演算結果の総和として得られるポイントＰを広域特徴量の値とする。
【００８６】
【数６】
・・・（６）
【００８７】
なお、式（６）における関数ｆは、０乃至１の間の値をポイントとして出力するものとし、当該領域における隣接画素差分絶対値のそれぞれをダイナミックレンジと比較して、十分小さければ高いポイントを出力するものとされる。関数ｆは、例えば、図７に示されるようにポイントを出力する。
【００８８】
図７は、横軸が当該領域における隣接画素差分絶対値diffnとダイナミックレンジＤＲとの比の値とされ、縦軸がポイントの値とされ、diffn／ＤＲの値に応じて出力されるポイント値の変化がグラフとして示されている。diffn／ＤＲの最大値は１であるから、横軸が１のとき、ポイントは最小値の０となる。また、diffn／ＤＲの最小値は０であるから、横軸が０のとき、ポイントは最大値の１となる。そして、同図のグラフに示されるように、diffn／ＤＲの値が大きくなるにつれてポイント値が小さくなる。
【００８９】
例えば、式（６）により得られるポイントＰが所定の閾値以上である場合、当該領域において注目画素の付近にエッジがありその付近に平坦部が存在すると判断できる。もし、当該領域が平坦な部分だけの画像である場合、または、繰り返し模様などの画像である場合、diffn／ＤＲの大多数が１に近い値となり、式（６）により得られるポイントＰの値も小さくなるからである。
【００９０】
なお、ここで説明した以外の方式で広域特徴量が抽出されるようにしてもよい。要は、当該領域において注目画素の付近にエッジがありその付近に平坦部が存在するか否かを判断できるようにすればよい。
【００９１】
狭域特徴量抽出部６２は、注目画素が細線や点などの真上に存在しているのかエッジ付近の平坦部に存在しているのかを検知できるようにするための特徴量として狭域特徴量を抽出する。
【００９２】
例えば、狭域特徴量抽出部６２は、注目画素を含む複数の異なる位置や面積の領域のダイナミックレンジを比較することで得られる値を狭域特徴量とすることができる。
【００９３】
例えば、注目画素を中心とする１３×１３画素で構成される領域の画素を抽出し、この領域のダイナミックレンジＤＲ０を取得する。
【００９４】
さらに、狭域特徴量抽出部６２は、例えば、注目画素を含む３×３画素で構成されるブロック（比較的狭い領域）の画素を抽出する。この場合、ブロック内での注目画素の位置を変化させ、例えば、図８Ａ乃至図８Ｄの４通りのブロックを抽出する。なお、図８においては、ハッチングされた円により注目画素の位置が示されており、図中の太線によりブロックの位置が示されている。
【００９５】
図８Ａの場合、注目画素は、ブロックの右下に位置しており、狭域特徴量抽出部６２は、当該ブロックのダイナミックレンジＤＲ１を取得する。
【００９６】
また、図８Ｂの場合、注目画素は、ブロックの左上に位置しており、狭域特徴量抽出部６２は、当該ブロックのダイナミックレンジＤＲ２を取得する。
【００９７】
さらに、図８Ｃの場合、注目画素は、ブロックの左下に位置しており、狭域特徴量抽出部６２は、当該ブロックのダイナミックレンジＤＲ３を取得する。
【００９８】
また、図８Ｄの場合、注目画素は、ブロックの右上に位置しており、狭域特徴量抽出部６２は、当該ブロックのダイナミックレンジＤＲ４を取得する。
【００９９】
そして、狭域特徴量抽出部６２は、ＤＲ１乃至ＤＲ４の中の最小の値を選択する。例えば、ＤＲ４が最小のダイナミックレンジの値として選択されたものとする。狭域特徴量抽出部６２は、最小のダイナミックレンジの値として選択されたＤＲ４とＤＲ０の比（ＤＲ４／ＤＲ０）を算出する。
【０１００】
例えば、図９に示されるように、細線１０１の真上に注目画素が存在している場合、図８Ａ乃至図８Ｄのいずれのブロックを抽出した場合であっても、ブロック内に細線の画素と背景の画素とが含まれることになる（エッジが含まれることになる）。従って、ＤＲ１乃至ＤＲ４の中の最小の値は、ＤＲ０の値と近いものになる。
【０１０１】
なお、図９は、細線１０１が表示される画像の領域の例を示しており、図中ハッチングされた円により注目画素の位置が示されており、図中の太線によりブロックの位置が示されている。この例では、図８Ｂに示されるブロックが示されている。
【０１０２】
しかし、例えば、図１０に示されるように、注目画素が細線１０１から少しでも外れた位置に存在している場合、図８Ａ乃至図８Ｄの少なくとも１つのブロックは、背景の画素のみで構成されることになる。従って、ＤＲ１乃至ＤＲ４の中の最小の値は、ＤＲ０の値と比較して充分に小さいものとなる。
【０１０３】
なお、図１０は、図９と同様に、細線１０１が表示される画像の領域の例を示しており、図中ハッチングされた円により注目画素の位置が示されており、図中の太線によりブロックの位置が示されている。この例では、図８Ｂに示されるブロックが示されており、このブロックは、背景の画素のみで構成されている。
【０１０４】
従って、ＤＲ１乃至ＤＲ４の中の最小の値を選択されたものとＤＲ０との比を狭域特徴量として抽出し、狭域特徴量が所定の閾値以上である場合、注目画素が細線や点などの真上に存在していると判断できる。この場合、ＤＲ１乃至ＤＲ４の中の最小の値は、ＤＲ０の値と近いものと想定され、図８の４通りのブロックのいずれにもエッジが含まれていると考えられるからである。
【０１０５】
このように、狭域特徴量を閾値と比較することで、注目画素が細線や点などの真上に存在しているのか、エッジ付近の平坦部に存在しているのかを検知できる。ただし、当該注目画素の広域特徴量に基づいて、当該領域において注目画素の付近にエッジがありその付近に平坦部が存在すると判断できることを前提とする。
【０１０６】
なお、ここで説明した以外の方式で狭域特徴量が抽出されるようにしてもよい。例えば、Ｓｏｂｅｌフィルタなどのフィルタ処理によりエッジが抽出されて特徴量とされるようにしてもよい。要は、注目画素が細線や点などの真上に存在しているのか、エッジ付近の平坦部に存在しているのかを判断できるようにすればよい。
【０１０７】
このようにして、広域特徴量および狭域特徴量が抽出される。そして、上述したように、広域特徴量および狭域特徴量の組み合わせがクラス分類部５４に出力され、クラス分類部５４が、広域特徴量および狭域特徴量の組み合わせに基づいて、例えば、注目画素を予め設定された複数のクラスに分類する。
【０１０８】
このようにして、ミキシング係数の学習が行われるようになされている。
【０１０９】
図１１は、図１の自然画人工画判定部２３の詳細な構成例を示す図である。同図の例では、自然画人工画判定部２３が、特徴量抽出部１２１、クラス分類部１２２、およびミキシング係数出力部１２３により構成されている。また、特徴量抽出部１２１は、広域特徴量抽出部１３１、および狭域特徴量抽出部１３２を有する構成とされている。
【０１１０】
図１１の自然画人工画判定部２３は、例えば、入力画像の中の注目画素を設定し、ラスタスキャンするなどして注目画素の位置をずらしながら、各注目画素の人工画の度合を表す値（ミキシング係数）を出力するようになされている。
【０１１１】
入力画像は、最初に特徴量抽出部１２１に供給され、注目画素に対応する特徴量が生徒画像から抽出される。広域特徴量抽出部１３１は、広域特徴量抽出部６１と同様に、注目画素の付近にエッジがありその付近に平坦部が存在するか否かを検知できるようにするための特徴量として広域特徴量を抽出する。また、狭域特徴量抽出部１３２は、狭域特徴量抽出部６２と同様に、注目画素が細線や点などの真上に存在しているのかエッジ付近の平坦部に存在しているのかを検知できるようにするための特徴量として狭域特徴量を抽出する。
【０１１２】
そして、広域特徴量、および狭域特徴量の組み合わせがクラス分類部１２２に出力されるようになされている。
【０１１３】
クラス分類部１２２は、クラス分類部５４と同様に、特徴量抽出部１２１から供給される特徴量に基づいて、例えば、注目画素を予め設定された複数のクラスに分類する。クラス分類部１２２は、広域特徴量、および狭域特徴量の組み合わせを、多次元のベクトルとして解析し、その多次元ベクトル空間を所定の基準で分割することにより、注目画素を複数のクラスに分類する。クラス分類部１２２は、注目画素が属するクラスを表すクラスコードを出力するようになされている。
【０１１４】
ミキシング係数出力部１２３には、図６の学習装置５０の学習結果として得られたクラスコード毎のミキシング係数が予め記憶されている。ミキシング係数出力部１２３は、クラス分類部１２２から供給されるクラスコードに対応づけられて記憶されているミキシング係数を出力する。これにより、注目画素の人工画の度合が出力されることになる。
【０１１５】
あるいはまた、ミキシング係数出力部１２３は、次のようにしてミキシング係数を出力するようにしてもよい。例えば、ミキシング係数出力部１２３は、上述した多次元ベクトル空間において、注目画素の特徴量から得られたベクトルが属するクラスとその周辺のクラスに対応するミキシング係数を所定の個数（例えば、Ｍ個）を取り出す。そして、ミキシング係数出力部１２３は、注目画素の特徴量から得られたベクトルと周辺のクラスの重心ベクトルの距離にしたがった重み付けを行い、各クラスの係数を加重平均して出力するようにしてもよい。
【０１１６】
例えば、加重平均後のミキシング係数をｗoutで表し、注目画素の特徴量から得られたベクトルをｐとし、周辺のクラスのうちの第ｉ番目のクラスの重心ベクトルをｃiとし、その第ｉ番目のクラスに対応づけられたミキシング係数をｗiとする。いまの場合、求めるべきミキシング係数ｗoutは、式（７）により算出される。
【０１１７】
【数７】
・・・（７）
【０１１８】
このようにしてミキシング係数が出力されるようにしてもよい。
【０１１９】
次に、図１２のフローチャートを参照して、図６の学習装置５０による学習処理の例について説明する。
【０１２０】
ステップＳ２１において、教師画像と生徒画像を入力する。
【０１２１】
ステップＳ２２において、注目画素が設定される。
【０１２２】
ステップＳ２３において、広域特徴量抽出部６１は、注目画素の付近にエッジがありその付近に平坦部が存在するか否かを検知できるようにするための特徴量として広域特徴量を抽出する。すなわち、注目画素の付近の画像は、例えば、単色の壁を背景とした画像の中に人工的な細い線状のオブジェクト（細線）が表示されているような画像であるかを検知できるようにする広域特徴量が抽出される。
【０１２３】
このとき、例えば、上述したように、比較的広い領域（例えば、１３×１３画素で構成される領域）において、注目画素を中心とする当該領域におけるダイナミックレンジ、隣接画素差分絶対値、隣接画素差分絶対値の最大値に基づいて算出される特徴量が広域特徴量とされて抽出される。例えば、式（６）に示されるように、当該領域におけるダイナミックレンジと、各隣接画素差分絶対値をパラメータとして入力し、関数ｆによる演算結果の総和として得られるポイントＰが広域特徴量の値とされ抽出される。
【０１２４】
ステップＳ２４において、狭域特徴量抽出部６２は、注目画素が細線や点などの真上に存在しているのかエッジ付近の平坦部に存在しているのかを検知できるようにするための特徴量として狭域特徴量を抽出する。
【０１２５】
このとき、例えば、注目画素を中心とする１３×１３画素で構成される領域の画素を抽出し、この領域のダイナミックレンジＤＲ０が取得される。さらに、注目画素を含む３×３画素で構成されるブロックの画素が抽出され、それぞれのブロックのダイナミックレンジＤＲ１乃至ＤＲ４が取得される。そして、ＤＲ１乃至ＤＲ４の中の最小の値を選択されたものとＤＲ０との比が狭域特徴量として抽出される。
【０１２６】
ステップＳ２５において、クラス分類部５４は、ステップＳ２３とステップＳ２４の処理で抽出された特徴量の組み合わせに基づいて、クラスコードを決定する。
【０１２７】
このとき、例えば、広域特徴量と狭域特徴量の組み合わせを、多次元のベクトルとして解析し、その多次元ベクトル空間を所定の基準で分割することにより、注目画素が複数のクラスに分類される。そして、クラス分類部５４は、注目画素が属するクラスを表すクラスコードを出力する。
【０１２８】
ステップＳ２６において、自然画処理部５１は、注目画素を処理する。このとき、例えば、図４と図５を参照して上述したように、輝度レベルを復元させることで画像を高画質化する処理が注目画素に対して実行される。
【０１２９】
ステップＳ２７において、人工画処理部５２は、注目画素を処理する。このとき、例えば、図２と図３を参照して上述したように、画像を構成する画素値の波形の位相を適切にとらえてリンギングなどを発生させずにエッジを鮮明にすることで、画像を高画質化する処理が注目画素に対して実行される。
【０１３０】
ステップＳ２８において、正規方程式生成部５５は、サンプルを生成する。
【０１３１】
このとき、正規方程式生成部５５は、教師画像における注目画素の画素値をｔとし、自然画処理部５１の処理結果の画素値をｎとし、人工画処理部５２の処理結果の画素値をａとし、式（２）に示される方程式を生成し、式（３）に示される方程式をサンプルとして生成する。
【０１３２】
ステップＳ２９において、正規方程式生成部５５は、ステップＳ２８の処理で生成されたサンプルを、ステップＳ２５の処理で決定されたクラスコード毎に蓄積する。
【０１３３】
ステップＳ３０において、次の注目画素があるか否かが判定され、次の注目画素があると判定された場合、処理は、ステップＳ２２に戻り、それ以降の処理が繰り返し実行される。
【０１３４】
一方、ステップＳ３０において、次の注目画素がないと判定された場合、処理は、ステップＳ３１に進む。
【０１３５】
あるいはまた、ステップＳ３０においては、各クラスについて十分なサンプルが蓄積されたか否かが判定されるようにしてもよい。
【０１３６】
ステップＳ３１において、係数生成部５６は、ステップＳ２９の処理で蓄積されたサンプルに基づいて、ミキシング係数を算出する。
【０１３７】
このとき、係数生成部５６は、例えば、式（３）乃至式（５）の演算をクラスコード毎に行い、当該クラスコードに対応するミキシング係数ｗを算出する。
【０１３８】
ステップＳ３２において、係数生成部５６は、ステップＳ３１の処理で算出されたミキシング係数を、クラスコードに対応づけて記憶する。
【０１３９】
このようにして、係数学習処理が実行される。
【０１４０】
次に、図１３のフローチャートを参照して、図１の画像処理装置２０による高画質化処理の例について説明する。なお、この処理の実行に先立って、図１２のステップＳ３２の処理によって記憶されたミキシング係数が図１１のミキシング係数出力部１２３の内部のメモリなどにコピーされているものとする。
【０１４１】
ステップＳ５１において、高画質化処理の処理対象となる画像を入力する。
【０１４２】
ステップＳ５２において、ステップＳ５１で入力された画像の中の注目画素が設定される。
【０１４３】
ステップＳ５３において、自然画人工画判定部２３は、図１４のフローチャートを参照して後述する人工画度判定処理を実行する。これにより、ミキシング係数が出力されることになる。
【０１４４】
ステップＳ５４において、自然画処理部２１は、注目画素を処理する。このとき、例えば、図４と図５を参照して上述したように、輝度レベルを復元させることで画像を高画質化する処理が注目画素に対して実行される。
【０１４５】
ステップＳ５５において、人工画処理部２２は、注目画素を処理する。このとき、例えば、図２と図３を参照して上述したように、画像を構成する画素値の波形の位相を適切にとらえてリンギングなどを発生させずにエッジを鮮明にすることで、画像を高画質化する処理が注目画素に対して実行される。
【０１４６】
ステップＳ５６において、統合部２４は、ステップＳ５３の処理で出力されたミキシング係数に基づいて、ステップＳ５４の処理結果、および、ステップＳ５５の処理結果をミキシングして出力する。すなわち、上述した式（１）の演算が行われることで、注目画素が高画質化される。
【０１４７】
ステップＳ５７において、次の注目画素があるか否かが判定され、次の注目画素があると判定された場合、処理は、ステップＳ５２に戻り、それ以降の処理が繰り返し実行される。
【０１４８】
一方、ステップＳ５７において、次の注目画素がないと判定された場合、高画質化処理は終了する。
【０１４９】
このようにして、高画質化処理が実行される。
【０１５０】
次に、図１４のフローチャートを参照して、図１３のステップＳ５３の人工画度判定処理の詳細な例について説明する。
【０１５１】
ステップＳ７１において、広域特徴量抽出部１３１は、ステップＳ５２の処理で設定された注目画素の付近にエッジがありその付近に平坦部が存在するか否かを検知できるようにするための特徴量として広域特徴量を抽出する。
【０１５２】
このとき、例えば、上述したように、比較的広い領域（例えば、１３×１３画素で構成される領域）において、注目画素を中心とする当該領域におけるダイナミックレンジ、隣接画素差分絶対値、隣接画素差分絶対値の最大値に基づいて算出される特徴量が広域特徴量とされて抽出される。例えば、式（６）に示されるように、当該領域におけるダイナミックレンジと、各隣接画素差分絶対値をパラメータとして入力し、関数ｆによる演算結果の総和として得られるポイントＰが広域特徴量の値とされ抽出される。
【０１５３】
ステップＳ７２において、狭域特徴量抽出部１３２は、注目画素が細線や点などの真上に存在しているのかエッジ付近の平坦部に存在しているのかを検知できるようにするための特徴量として狭域特徴量を抽出する。
【０１５４】
このとき、例えば、注目画素を中心とする１３×１３画素で構成される領域の画素を抽出し、この領域のダイナミックレンジＤＲ０が取得される。さらに、注目画素を含む３×３画素で構成されるブロックの画素が抽出され、それぞれのブロックのダイナミックレンジＤＲ１乃至ＤＲ４が取得される。そして、ＤＲ１乃至ＤＲ４の中の最小の値を選択されたものとＤＲ０との比が狭域特徴量として抽出される。
【０１５５】
ステップＳ７３において、クラス分類部１２２は、ステップＳ７１の処理で抽出された広域特徴量、および、ステップＳ７２の処理で抽出された狭域特徴量の組み合わせに基づいて、例えば、注目画素を予め設定された複数のクラスに分類する。そして、クラス分類部１２２は、注目画素が属するクラスを表すクラスコードを決定して出力する。
【０１５６】
ステップＳ７４において、ミキシング係数出力部１２３は、ステップＳ７３の処理で決定されたクラスコードに対応づけられて記憶されているミキシング係数を出力する。これにより、注目画素の人工画の度合が出力されることになる。
【０１５７】
なお、式（７）による演算結果がミキシング係数として出力されるようにしてもよい。
【０１５８】
このようにして、人工画度判定処理が実行される。
【０１５９】
高画質化処理を行なう場合、人工画と自然画では、画像の特性が大きく異なるので、自然画に対して適用する処理と、人工画に対して適用する処理とがそれぞれ異なる処理とした方が、より高い効果を得ることができる。一方で、自然画と人工画では、画像の特性が大きく異なるため、自然画に特化した処理を人工画に適用した場合、または、人工画に特化した処理を自然画に適用した場合、弊害が大きくなる（かえって画質が劣化してしまう）。
【０１６０】
すなわち、自然画に特化した処理と人工画に特化した処理のそれぞれを含む高画質化処理を行なう際に、画像中の注目画素が自然画に分類される部分の画素であるか、人工画に分類される部分の画素であるかを正しく判定する必要がある。
【０１６１】
従来の技術では、自然画に分類される画素であるのか人工画に分類される画素であるのかの判定に必要な閾値を、例えば、人間が経験を頼りに調整していた。
【０１６２】
このため、従来の技術では、考慮すべきパラメータが増大するとパラメータ調整の工数が膨大になるおそれがある。
【０１６３】
また、従来の技術での閾値の調整は、人間の経験に頼っているため定量的な妥当性を欠く場合がある。
【０１６４】
これに対して、本技術では、上述した通り、ミキシング係数を学習により求めるようにしたので、定量的な妥当性を確保することが可能となる。また、これに加えて、広域特徴量と狭域特徴量を用いて注目画素を分類するようにしたので、単にエッジやテクスチャを検出して分類する場合とは異なり、真に人工画処理部の処理を施すべき画素と真に自然画処理部の処理を施すべき画素を適切に分類することができる。
【０１６５】
従って、本技術によれば、それぞれ特性の異なる複数の領域を有する画像において、それぞれの領域を適切に分類することができる。
【０１６６】
なお、以上において、注目画素を分類する際に、広域特徴量および狭域特徴量に基づいて分類する例について説明したが、例えば、広域特徴量のみに基づいて分類するようにしてもよい。
【０１６７】
ところで、図１においては、自然画人工画判定部２３による判定結果に基づいて、統合部２４が自然画処理部２１の処理結果と人工画処理部２２の処理結果とをミキシングする例について説明した。しかしながら、自然画人工画判定部２３による判定結果が別の処理に用いられるようにしてもよい。
【０１６８】
例えば、図１５に示されるように、画像の人工画の度合に基づいて独自の画像処理を実行する処理装置３０に自然画人工画判定部２３による判定結果が供給されるようにしてもよい。処理装置３０は、例えば、画面内の各注目画素の人工画の度合に基づいて、当該画面のフレームをマーキングするなどの処理を実行する。
【０１６９】
このように、例えば、自然画人工画判定部２３を独立の装置として用いるようにした場合でも、本技術による効果を得ることができる。
【０１７０】
なお、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図１６に示されるような汎用のパーソナルコンピュータ７００などに、ネットワークや記録媒体からインストールされる。
【０１７１】
図１６において、ＣＰＵ（Central Processing Unit）７０１は、ＲＯＭ（Read Only Memory）７０２に記憶されているプログラム、または記憶部７０８からＲＡＭ（Random Access Memory）７０３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ７０３にはまた、ＣＰＵ７０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１７２】
ＣＰＵ７０１、ＲＯＭ７０２、およびＲＡＭ７０３は、バス７０４を介して相互に接続されている。このバス７０４にはまた、入出力インタフェース７０５も接続されている。
【０１７３】
入出力インタフェース７０５には、キーボード、マウスなどよりなる入力部７０６、ＬＣＤ(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部７０７、ハードディスクなどより構成される記憶部７０８、モデム、ＬＡＮカードなどのネットワークインタフェースカードなどより構成される通信部７０９が接続されている。通信部７０９は、インターネットを含むネットワークを介しての通信処理を行う。
【０１７４】
入出力インタフェース７０５にはまた、必要に応じてドライブ７１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部７０８にインストールされる。
【０１７５】
上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、インターネットなどのネットワークや、リムーバブルメディア７１１などからなる記録媒体からインストールされる。
【０１７６】
なお、この記録媒体は、図１６に示される、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フロッピディスク（登録商標）を含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア７１１により構成されるものだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているＲＯＭ７０２や、記憶部７０８に含まれるハードディスクなどで構成されるものも含む。
【０１７７】
なお、本明細書において上述した一連の処理は、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１７８】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１７９】
なお、本技術は以下のような構成も取ることができる。
【０１８０】
（１）生徒画像の注目画素の特徴量を抽出する特徴量抽出部と、
前記抽出した特徴量に基づいて前記注目画素を所定のクラスに分類するクラス分類部と、
前記注目画素に対して、少なくとも画素の輝度レベルを復元させるための処理を含む自然画処理を施す自然画処理部と、
前記注目画素に対して、少なくともエッジを鮮明にするための処理を含む人工画処理を施す人工画処理部と、
前記自然処理された前記注目画素の画素値、前記人工画処理された前記注目画素の画素値、教師画像の注目画素の画素値、および所定のミキシング係数を用いた正規方程式のサンプルを前記クラス毎に生成するサンプル生成部と、
前記生成された複数のサンプルに基づいて、前記ミキシング係数を算出するミキシング係数算出部と
を備える係数学習装置。
（２）前記特徴量抽出部は、
比較的広い領域において、前記注目画素を中心とする当該領域におけるダイナミックレンジ、隣接画素差分絶対値、隣接画素差分絶対値の最大値に基づいて算出される広域特徴量を抽出する
（１）に記載の係数学習装置。
（３）前記特徴量抽出部は、
比較的広い領域において、前記注目画素を中心とする当該領域におけるダイナミックレンジ、隣接画素差分絶対値、隣接画素差分絶対値の最大値に基づいて算出される広域特徴量を抽出し、
前記注目画素を中心とした比較的広い領域におけるダイナミックレンジ、および前記注目画素を含む比較的狭い複数の領域のそれぞれのダイナミックレンジのうちの最大値に基づいて算出される狭域特徴量を抽出する
（１）に記載の係数学習装置。
（４）特徴量抽出部が、生徒画像の注目画素の特徴量を抽出し、
クラス分類部が、前記抽出した特徴量に基づいて前記注目画素を所定のクラスに分類し、
自然画処理部が、前記注目画素に対して、少なくとも画素の輝度レベルを復元させるための処理を含む自然画処理を施し、
人工画処理部が、前記注目画素に対して、少なくともエッジを鮮明にするための処理を含む人工画処理を施し、
サンプル生成部が、前記自然処理された前記注目画素の画素値、前記人工画処理された前記注目画素の画素値、教師画像の注目画素の画素値、および所定のミキシング係数を用いた正規方程式のサンプルを前記クラス毎に生成し、
ミキシング係数算出部が、前記生成された複数のサンプルに基づいて、前記ミキシング係数を算出するステップ
を含む係数学習方法。
（５）コンピュータを、
生徒画像の注目画素の特徴量を抽出する特徴量抽出部と、
前記抽出した特徴量に基づいて前記注目画素を所定のクラスに分類するクラス分類部と、
前記注目画素に対して、少なくとも画素の輝度レベルを復元させるための処理を含む自然画処理を施す自然画処理部と、
前記注目画素に対して、少なくともエッジを鮮明にするための処理を含む人工画処理を施す人工画処理部と、
前記自然処理された前記注目画素の画素値、前記人工画処理された前記注目画素の画素値、教師画像の注目画素の画素値、および所定のミキシング係数を用いた正規方程式のサンプルを前記クラス毎に生成するサンプル生成部と、
前記生成された複数のサンプルに基づいて、前記ミキシング係数を算出するミキシング係数算出部とを備える係数学習装置として機能させる
プログラム。
（６）請求項５に記載のプログラムが記録されている記録媒体。
（７）入力画像の注目画素の特徴量を抽出する特徴量抽出部と、
前記抽出した特徴量に基づいて前記注目画素を所定のクラスに分類するクラス分類部と、
前記注目画素に対して、少なくとも画素の輝度レベルを復元させるための処理を含む自然画処理を施す自然画処理部と、
前記注目画素に対して、少なくともエッジを鮮明にするための処理を含む人工画処理を施す人工画処理部と、
前記自然処理された前記注目画素の画素値と、前記人工画処理された前記注目画素の画素値とを、前記クラスに対応付けられて予め記憶されているミキシング係数を用いてミキシングすることで出力画像の画素を生成する画素生成部と
を備える画像処理装置。
（８）前記特徴量抽出部は、
比較的広い領域において、前記注目画素を中心とする当該領域におけるダイナミックレンジ、隣接画素差分絶対値、隣接画素差分絶対値の最大値に基づいて算出される広域特徴量を抽出する
（７）に記載の画像処理装置。
（９）前記特徴量抽出部は、
比較的広い領域において、前記注目画素を中心とする当該領域におけるダイナミックレンジ、隣接画素差分絶対値、隣接画素差分絶対値の最大値に基づいて算出される広域特徴量を抽出し、
前記注目画素を中心とした比較的広い領域におけるダイナミックレンジ、および前記注目画素を含む比較的狭い複数の領域のそれぞれのダイナミックレンジのうちの最大値に基づいて算出される狭域特徴量を抽出する
（７）に記載の画像処理装置。
（１０）前記画素生成部は、
前記注目画素が属するクラスとその周辺のクラスに対応するミキシング係数を、注目画素の特徴量から得られたベクトルと周辺のクラスの重心ベクトルの距離にしたがった重み付けして各クラスの前記ミキシング係数を加重平均し、
前記加重平均されたミキシング係数を用いたミキシングにより出力画像の画素を生成する
（７）乃至（９）のいずれかに記載の画像処理装置。
（１１）特徴量抽出部が、入力画像の注目画素の特徴量を抽出し、
前記抽出した特徴量に基づいて前記注目画素を所定のクラスに分類するクラス分類部と、
クラス分類部が、前記注目画素に対して、少なくとも画素の輝度レベルを復元させるための処理を含む自然画処理を施し、
人工画処理部が、前記注目画素に対して、少なくともエッジを鮮明にするための処理を含む人工画処理を施し、
画素生成部が、前記自然処理された前記注目画素の画素値と、前記人工画処理された前記注目画素の画素値とを、前記クラスに対応付けられて予め記憶されているミキシング係数を用いてミキシングすることで出力画像の画素を生成するステップ
を含む画像処理方法。
（１２）コンピュータを、
入力画像の注目画素の特徴量を抽出する特徴量抽出部と、
前記抽出した特徴量に基づいて前記注目画素を所定のクラスに分類するクラス分類部と、
前記注目画素に対して、少なくとも画素の輝度レベルを復元させるための処理を含む自然画処理を施す自然画処理部と、
前記注目画素に対して、少なくともエッジを鮮明にするための処理を含む人工画処理を施す人工画処理部と、
前記自然処理された前記注目画素の画素値と、前記人工画処理された前記注目画素の画素値とを、前記クラスに対応付けられて予め記憶されているミキシング係数を用いてミキシングすることで出力画像の画素を生成する画素生成部とを備える画像処理装置として機能させる
プログラム。
（１３）請求項１２に記載のプログラムが記録されている記録媒体。
【符号の説明】
【０１８１】
２０ 画像処理装置， ２１ 自然画処理部， ２２ 人工画処理部， ２３ 自然画人工画判定部， ２４ 統合部， ３０ 処理装置 ５１ 自然画処理部， ５２ 人工画処理部， ５３ 特徴量抽出部， ６１ 広域特徴量抽出部， ６２ 狭域特徴量抽出部， ５４ クラス分類部， ５５ 正規方程式生成部， ５６ 係数生成部， １２１ 特徴量抽出部， １２２ クラス分類部， １２３ ミキシング係数出力部， １３１ 広域特徴量抽出部， １３２ 狭域特徴量抽出部
【技術分野】
【０００１】
本技術は、係数学習装置および方法、画像処理装置および方法、プログラム、並びに記録媒体に関し、特に、それぞれ特性の異なる複数の領域を有する画像において、それぞれの領域を適切に分類することができるようにする係数学習装置および方法、画像処理装置および方法、プログラム、並びに記録媒体に関する。
【背景技術】
【０００２】
従来より画像の高画質化処理が実用化されている。高画質化処理を実行する場合、画像の特性などを考慮して、その画像に適した処理を実行する必要がある。
【０００３】
例えば、画像に含まれるそれぞれの部分を、人工画と自然画に分類して考える。ここで人工画とは、文字や単純な図形などの、階調が少なく、エッジの位置を表す位相情報がはっきりした、すなわち、平坦部分が多い人工的な画像である。換言すれば、人工画は、文字や単純図形等の階調があまり無く、輪郭等の位置を表す情報が支配的になっている画像中の部分（領域）と定義される。また、自然画とは、人工画以外の画像中の部分（領域）と定義され、例えば、自然界に存在するものをそのまま撮影した画像等が該当する。
【０００４】
高画質化処理を行なう場合、人工画と自然画では、画像の特性が大きく異なるので、自然画に対して適用する処理と、人工画に対して適用する処理とがそれぞれ異なる処理とした方が、より高い効果を得ることができる。一方で、自然画と人工画では、画像の特性が大きく異なるため、自然画に特化した処理を人工画に適用した場合、または、人工画に特化した処理を自然画に適用した場合、弊害が大きくなる（かえって画質が劣化してしまう）。
【０００５】
すなわち、自然画に特化した処理と人工画に特化した処理のそれぞれを含む高画質化処理を行なう際に、画像中の注目画素が自然画に分類される部分の画素であるか、人工画に分類される部分の画素であるかを正しく判定する必要がある。
【０００６】
そこで、出願人は、画像における自然画としての要素を含む領域と人工画としての要素を含む領域とを区別して、それぞれの領域に対して最適な処理を施すことにより、画像全体の品質を的確に高めることができるようにする技術を提案した（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００７−２５１６８７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１の技術では、判定に必要な閾値を人間が経験を頼りに調整していた。
【０００９】
このため、特許文献１の技術では、考慮すべきパラメータが増大するとパラメータ調整の工数が膨大になるおそれがある。
【００１０】
また、人間の経験に頼っているため定量的な妥当性を欠く場合がある。
【００１１】
本技術はこのような状況に鑑みて開示するものであり、それぞれ特性の異なる複数の領域を有する画像において、それぞれの領域を適切に分類することができるようにするものである。
【課題を解決するための手段】
【００１２】
本技術の第１の側面は、生徒画像の注目画素の特徴量を抽出する特徴量抽出部と、前記抽出した特徴量に基づいて前記注目画素を所定のクラスに分類するクラス分類部と、前記注目画素に対して、少なくとも画素の輝度レベルを復元させるための処理を含む自然画処理を施す自然画処理部と、前記注目画素に対して、少なくともエッジを鮮明にするための処理を含む人工画処理を施す人工画処理部と、前記自然処理された前記注目画素の画素値、前記人工画処理された前記注目画素の画素値、教師画像の注目画素の画素値、および所定のミキシング係数を用いた正規方程式のサンプルを前記クラス毎に生成するサンプル生成部と、前記生成された複数のサンプルに基づいて、前記ミキシング係数を算出するミキシング係数算出部とを備える係数学習装置である。
【００１３】
前記特徴量抽出部は、比較的広い領域において、前記注目画素を中心とする当該領域におけるダイナミックレンジ、隣接画素差分絶対値、隣接画素差分絶対値の最大値に基づいて算出される広域特徴量を抽出するようにすることができる。
【００１４】
前記特徴量抽出部は、比較的広い領域において、前記注目画素を中心とする当該領域におけるダイナミックレンジ、隣接画素差分絶対値、隣接画素差分絶対値の最大値に基づいて算出される広域特徴量を抽出し、前記注目画素を中心とした比較的広い領域におけるダイナミックレンジ、および前記注目画素を含む比較的狭い複数の領域のそれぞれのダイナミックレンジのうちの最大値に基づいて算出される狭域特徴量を抽出するようにすることができる。
【００１５】
本技術の第１の側面は、特徴量抽出部が、生徒画像の注目画素の特徴量を抽出し、クラス分類部が、前記抽出した特徴量に基づいて前記注目画素を所定のクラスに分類し、自然画処理部が、前記注目画素に対して、少なくとも画素の輝度レベルを復元させるための処理を含む自然画処理を施し、人工画処理部が、前記注目画素に対して、少なくともエッジを鮮明にするための処理を含む人工画処理を施し、サンプル生成部が、前記自然処理された前記注目画素の画素値、前記人工画処理された前記注目画素の画素値、教師画像の注目画素の画素値、および所定のミキシング係数を用いた正規方程式のサンプルを前記クラス毎に生成し、ミキシング係数算出部が、前記生成された複数のサンプルに基づいて、前記ミキシング係数を算出するステップを含む係数学習方法である。
【００１６】
本技術の第１の側面は、コンピュータを、生徒画像の注目画素の特徴量を抽出する特徴量抽出部と、前記抽出した特徴量に基づいて前記注目画素を所定のクラスに分類するクラス分類部と、前記注目画素に対して、少なくとも画素の輝度レベルを復元させるための処理を含む自然画処理を施す自然画処理部と、前記注目画素に対して、少なくともエッジを鮮明にするための処理を含む人工画処理を施す人工画処理部と、前記自然処理された前記注目画素の画素値、前記人工画処理された前記注目画素の画素値、教師画像の注目画素の画素値、および所定のミキシング係数を用いた正規方程式のサンプルを前記クラス毎に生成するサンプル生成部と、前記生成された複数のサンプルに基づいて、前記ミキシング係数を算出するミキシング係数算出部とを備える係数学習装置として機能させるプログラムである。
【００１７】
本技術の第１の側面においては、生徒画像の注目画素の特徴量が抽出され、前記抽出した特徴量に基づいて前記注目画素が所定のクラスに分類され、前記注目画素に対して、少なくとも画素の輝度レベルを復元させるための処理を含む自然画処理が施され、前記注目画素に対して、少なくともエッジを鮮明にするための処理を含む人工画処理が施され、前記自然処理された前記注目画素の画素値、前記人工画処理された前記注目画素の画素値、教師画像の注目画素の画素値、および所定のミキシング係数を用いた正規方程式のサンプルが前記クラス毎に生成され、前記生成された複数のサンプルに基づいて、前記ミキシング係数が算出される。
【００１８】
本技術の第２の側面は、入力画像の注目画素の特徴量を抽出する特徴量抽出部と、前記抽出した特徴量に基づいて前記注目画素を所定のクラスに分類するクラス分類部と、前記注目画素に対して、少なくとも画素の輝度レベルを復元させるための処理を含む自然画処理を施す自然画処理部と、前記注目画素に対して、少なくともエッジを鮮明にするための処理を含む人工画処理を施す人工画処理部と、前記自然処理された前記注目画素の画素値と、前記人工画処理された前記注目画素の画素値とを、前記クラスに対応付けられて予め記憶されているミキシング係数を用いてミキシングすることで出力画像の画素を生成する画素生成部とを備える画像処理装置である。
【００１９】
前記特徴量抽出部は、比較的広い領域において、前記注目画素を中心とする当該領域におけるダイナミックレンジ、隣接画素差分絶対値、隣接画素差分絶対値の最大値に基づいて算出される広域特徴量を抽出するようにすることができる。
【００２０】
前記特徴量抽出部は、比較的広い領域において、前記注目画素を中心とする当該領域におけるダイナミックレンジ、隣接画素差分絶対値、隣接画素差分絶対値の最大値に基づいて算出される広域特徴量を抽出し、前記注目画素を中心とした比較的広い領域におけるダイナミックレンジ、および前記注目画素を含む比較的狭い複数の領域のそれぞれのダイナミックレンジのうちの最大値に基づいて算出される狭域特徴量を抽出するようにすることができる。
【００２１】
前記画素生成部は、前記注目画素が属するクラスとその周辺のクラスに対応するミキシング係数を、注目画素の特徴量から得られたベクトルと周辺のクラスの重心ベクトルの距離にしたがった重み付けして各クラスの前記ミキシング係数を加重平均し、前記加重平均されたミキシング係数を用いたミキシングにより出力画像の画素を生成するようにすることができる。
【００２２】
本技術の第２の側面は、特徴量抽出部が、入力画像の注目画素の特徴量を抽出し、前記抽出した特徴量に基づいて前記注目画素を所定のクラスに分類するクラス分類部と、クラス分類部が、前記注目画素に対して、少なくとも画素の輝度レベルを復元させるための処理を含む自然画処理を施し、人工画処理部が、前記注目画素に対して、少なくともエッジを鮮明にするための処理を含む人工画処理を施し、画素生成部が、前記自然処理された前記注目画素の画素値と、前記人工画処理された前記注目画素の画素値とを、前記クラスに対応付けられて予め記憶されているミキシング係数を用いてミキシングすることで出力画像の画素を生成するステップを含む画像処理方法である。
【００２３】
本技術の第２の側面は、コンピュータを、入力画像の注目画素の特徴量を抽出する特徴量抽出部と、前記抽出した特徴量に基づいて前記注目画素を所定のクラスに分類するクラス分類部と、前記注目画素に対して、少なくとも画素の輝度レベルを復元させるための処理を含む自然画処理を施す自然画処理部と、前記注目画素に対して、少なくともエッジを鮮明にするための処理を含む人工画処理を施す人工画処理部と、前記自然処理された前記注目画素の画素値と、前記人工画処理された前記注目画素の画素値とを、前記クラスに対応付けられて予め記憶されているミキシング係数を用いてミキシングすることで出力画像の画素を生成する画素生成部とを備える画像処理装置として機能させるプログラムである。
【００２４】
本技術の第２の側面においては、入力画像の注目画素の特徴量が抽出され、前記抽出した特徴量に基づいて前記注目画素が所定のクラスに分類され、前記注目画素に対して、少なくとも画素の輝度レベルを復元させるための処理を含む自然画処理が施され、前記注目画素に対して、少なくともエッジを鮮明にするための処理を含む人工画処理が施され、前記自然処理された前記注目画素の画素値と、前記人工画処理された前記注目画素の画素値とを、前記クラスに対応付けられて予め記憶されているミキシング係数を用いてミキシングすることで出力画像の画素が生成される。
【発明の効果】
【００２５】
本技術によれば、それぞれ特性の異なる複数の領域を有する画像において、それぞれの領域を適切に分類することができる。
【図面の簡単な説明】
【００２６】
【図１】本技術を適用した画像処理装置の一実施の形態に係る構成例を示すブロック図である。
【図２】人工画処理部の処理の例について説明する図である。
【図３】人工画処理部の処理の例について説明する図である。
【図４】自然画処理部の処理の例について説明する図である。
【図５】自然画処理部の処理の例について説明する図である。
【図６】図１の画像処理装置に対応する学習装置の構成例を示すブロック図である。
【図７】diffn／ＤＲの値に応じて出力されるポイント値の変化の例を示すグラフである。
【図８】狭域特徴量を算出する際のブロックの抽出方式の例を示す図である。
【図９】注目画素が細線の真上に位置している場合の例を示す図である。
【図１０】注目画素が細線の真上から外れた場所に位置している場合の例を示す図である。
【図１１】図１の自然画人工画判定部の詳細な構成例を示すブロック図である。
【図１２】係数学習処理の例を説明するフローチャートである。
【図１３】高画質化処理の例を説明するフローチャートである。
【図１４】人工画度判定処理の例を説明するフローチャートである。
【図１５】図１の自然画人工画判定部による判定結果を別の処理に用いる例を示すブロック図である。
【図１６】パーソナルコンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００２７】
以下、図面を参照して、ここで開示する技術の実施の形態について説明する。
【００２８】
図１は、本技術を適用した画像処理装置の一実施の形態に係る構成例を示すブロック図である。
【００２９】
同図に示される画像処理装置２０は、入力画像に対して高画質化処理を施し、高画質化された画像を出力画像として出力するようになされている。この例では、画像処理装置２０は、自然画処理部２１、人工画処理部２２、自然画人工画判定部２３、および統合部２４を有する構成とされている。
【００３０】
自然画人工画判定部２３は、入力画像の各画素について、自然画の画素であるか人工画の画素であるかを判定する。自然画人工画判定部２３は、入力画像の中の注目画素、およびその周辺の画素の画素値に基づいて注目画素に対応する特徴量を算出する。そして、自然画人工画判定部２３は、算出された特徴量に基づいて注目画素を所定のクラスに分類し、その分類結果に基づいて注目画素が自然画の画素であるか人工画の画素であるかを判定する。
【００３１】
なお、詳細は後述するが、自然画人工画判定部２３による判定結果は、注目画素の人工画の度合として出力されるようになされている。
【００３２】
自然画処理部２１は、入力画像の中で自然画の画素であると判定された注目画素に対する高画質化処理を実行するようになされている。
【００３３】
人工画処理部２２は、入力画像の中で人工画の画素であると判定された注目画素に対する高画質化処理を実行するようになされている。
【００３４】
ここで人工画とは、文字や単純な図形などの、階調が少なく、エッジの位置を表す位相情報がはっきりした、すなわち、平坦部分が多い人工的な画像である。換言すれば、人工画は、文字や単純図形等の階調があまり無く、輪郭等の位置を表す情報が支配的になっている画像中の部分（領域）と定義される。また、自然画とは、人工画以外の画像中の部分（領域）と定義され、例えば、自然界に存在するものをそのまま撮影した画像等が該当する。
【００３５】
図２と図３を参照して人工画処理部２２の処理の例について説明する。
【００３６】
図２は、極めて高画質（実世界の画像に近い）画像の中のエッジ部分の画素の輝度レベルの変化の例を示す図である。同図は、縦軸が輝度レベル、横軸が水平方向の画素位置とされ、各画素の輝度レベルがグラフとして示されている。図２の例では、画素位置Ｋにおいて、輝度レベルが急峻に変化しており、ここにエッジが存在することが分かる。
【００３７】
図３は、図２と同じ画像をカメラで撮影し、ディスプレイに表示した場合の画素の輝度レベルの変化の例を示す図である。同図は、縦軸が輝度レベル、横軸が水平方向の画素位置とされ、各画素の輝度レベルがグラフとして示されている。図３の例では、図２の場合と異なり、画素位置Ｋの周辺において輝度レベルがなだらかに変化している。すなわち、図３の場合、画質が劣化したことにより、画像のエッジ部分が不鮮明に表示されていることが分かる。
【００３８】
人工画処理部２２は、例えば、図３に示されるような各画素の輝度レベルを図２に近づけるような処理を実行するようになされている。この例では、図３の画素位置Ｋの左側に位置する所定数の画素の輝度レベルを引き上げ、かつ、図３の画素位置Ｋの左側に位置する所定数の画素の輝度レベルを引き下げる処理が実行される。この際、画素位置Ｋにおいてのみ、急峻に輝度レベルが変化するように、上述した処理が実行される。人工画処理部２２の処理では、このように、画素値の波形の位相を適切にとらえてリンギングなどを発生させずにエッジを鮮明にするようになされている。
【００３９】
図４と図５を参照して自然画処理部２１の処理の例について説明する。
【００４０】
図４は、極めて高画質（実世界の画像に近い）画像の中のテクスチャ部分の画素の輝度レベルの変化の例を示す図である。同図は、縦軸が輝度レベル、横軸が水平方向の画素位置とされ、各画素の輝度レベルがグラフとして示されている。図４の例では、グラフに山型の形状が２つ形成されており、ここに模様などのテクスチャが存在することが分かる。
【００４１】
図５は、図４と同じ画像をカメラで撮影し、ディスプレイに表示した場合の画素の輝度レベルの変化の例を示す図である。同図は、縦軸が輝度レベル、横軸が水平方向の画素位置とされ、各画素の輝度レベルがグラフとして示されている。図５の例では、図４の場合と異なり、グラフの中の山のピークのレベルが低くなっており、グラフの中の谷の部分のレベルも高くなっている。すなわち、図５の場合、画質が劣化したことにより、画像のテクスチャ部分が不鮮明に表示されていることが分かる。
【００４２】
人工画処理部２２は、例えば、図５に示されるような各画素の輝度レベルを図４に近づけるような処理を実行するようになされている。この例では、図５のグラフの山と谷の部分に位置する所定数の画素の輝度レベルの変化をより大きくする処理が実行される。人工画処理部２２の処理では、このように、画素の輝度レベルを復元させるようになされている。
【００４３】
このように、自然画処理部２１と人工画処理部２２は、それぞれ異なる処理を実行するようになされている。このため、例えば、画像のテクスチャ部分の画素に対して人工画処理部２２の処理を実行するとかえって画質が劣化してしまい、画像のエッジ部分の画素に対して自然画処理部２１の処理を実行するとかえって画質が劣化してしまう。例えば、エッジの画素に対して自然画処理部２１の処理を実行すると、一般的にリンギングが発生することが知られている。
【００４４】
図１に戻って、自然画処理部２１の処理結果と人工画処理部２２の処理結果は、統合部２４に供給される。
【００４５】
統合部２４は、自然画人工画判定部２３の判定結果、すなわち注目画素の人工画の度合に基づいて、自然画処理部２１の処理結果と人工画処理部２２の処理結果をミキシングすることで、注目画素を高画質化するようになされている。そして、それらの高画質化された画素により構成される画像が出力画像とされる。
【００４６】
例えば、出力画像の画素の輝度値（画素値）をＹで表し、自然画処理部２１の処理結果の画素値をｎとし、人工画処理部２２の処理結果の画素値をａとした場合、統合部２４は、式（１）の演算を行って注目画素を高画質化する。
【００４７】
【数１】
・・・（１）
【００４８】
なお、式（１）における係数ｗは、自然画人工画判定部２３の判定結果として出力された注目画素の人工画の度合とされる。
【００４９】
このようにして、画像処理装置２０によって、入力画像に対して高画質化処理が施される。
【００５０】
上述したように、人工画は、文字や単純な図形などの、階調が少なく、エッジの位置を表す位相情報がはっきりした画像中の領域であり、自然画は、人工画以外の画像中の領域とされる。
【００５１】
従って、自然画処理部２１の処理は複雑に輝度レベルが空間方向に変化する波形を入力として想定しており、例えば、テクスチャの領域が主な処理対象となり、人工画処理部２２の処理は位相情報が重要な波形を入力として想定しており、例えば、主にエッジが処理対象となる。
【００５２】
しかしながら、「人工画」という言葉から想起される、例えば、ＣＧやテロップといった画像のすべてが人工画処理部２２の処理がなされるべき領域になるとは限らない。この点について、点や細線を例に挙げて説明する。
【００５３】
例えば、単色の壁を背景とした画像の中に人工的な細い線状のオブジェクト（細線）が表示されているものとすると、このオブジェクトの周辺にエッジが存在することになる。
【００５４】
細線の輪郭であるエッジとその周辺では、画像を構成する画素値の波形の位相を適切にとらえてリンギングなどを発生させずにエッジを鮮明にすることで、画像を高画質化することができる。このため、細線の輪郭であるエッジとその周辺では、人工画処理部２２の処理が施されることが望ましい。
【００５５】
一方で、細線の真上の画素は、例えば、撮像から表示に至る過程で輝度レベル方向に劣化している可能性が高いので、例えば、テクスチャ領域の画素と同様に、輝度レベルを復元させることで画像を高画質化することができる。このため、細線の真上の画素には、輝度レベルの復元に適した自然画処理部２１による処理が施されることが望ましい。
【００５６】
上述した細線と同様に、点に近い形状のオブジェクトが表示されている場合も、やはりエッジとその周辺では、人工画処理部２２の処理が施されることが望ましく、点の真上の画素には、自然画処理部２１による処理が施されることが望ましい。
【００５７】
本技術では、画像の中のエッジとその周辺の画素と、細線や点の真上の画素とを区別して、自然画処理部２１による処理と人工画処理部２２の処理を適用する。
【００５８】
また、本技術では、上述した式（１）の係数ｗを学習によって求めるようになされている。図６は、図１の画像処理装置２０に対応する学習装置の構成例を示すブロック図である。
【００５９】
図６の学習装置５０は、自然画処理部５１、人工画処理部５２、特徴量抽出部５３、クラス分類部５４、正規方程式生成部５５、および係数生成部５６を有する構成とされている。
【００６０】
学習装置５０は、所定の高画質の画像を教師画像とし、その教師画像の画質を予め劣化させた画像を生徒画像とし、教師画像の画素、および生徒画像の画素を高画質化した画素に基づいて、最適な係数ｗを演算により求めるようになされている。
【００６１】
自然画処理部５１、および人工画処理部５２は、それぞれ自然画処理部２１、および人工画処理部２２と同様の機能ブロックであるため、詳細な説明は省略する。
【００６２】
特徴量抽出部５３は、注目画素に対応する特徴量を生徒画像から抽出するようになされている。特徴量抽出部５３は、広域特徴量抽出部６１、および狭域特徴量抽出部６２を有する構成とされており、広域特徴量抽出部６１、および狭域特徴量抽出部６２によりそれぞれ抽出された特徴量の組み合わせがクラス分類部５４に出力される。
【００６３】
なお、広域特徴量抽出部６１、および狭域特徴量抽出部６２により抽出される特徴量の詳細については後述する。
【００６４】
クラス分類部５４は、特徴量抽出部５３から供給される特徴量に基づいて、例えば、注目画素を予め設定された複数のクラスに分類する。クラス分類部５４は、広域特徴量抽出部６１、および狭域特徴量抽出部６２によりそれぞれ抽出された特徴量の組み合わせを、多次元のベクトルとして解析し、その多次元ベクトル空間を所定の基準で分割することにより、注目画素を複数のクラスに分類する。クラス分類部５４は、注目画素が属するクラスを表すクラスコードを出力するようになされている。
【００６５】
正規方程式生成部５５には、自然画処理部５１により処理された注目画素の画素値、人工画処理部５２により処理された注目画素の画素値、および教師画像における注目画素の画素値、並びにクラス分類部５４から出力された注目画素のクラスコードが入力される。
【００６６】
正規方程式生成部５５は、教師画像における注目画素の画素値をｔとし、自然画処理部５１の処理結果の画素値をｎとし、人工画処理部５２の処理結果の画素値をａとし、式（２）に示される方程式を生成する。
【００６７】
【数２】
・・・（２）
【００６８】
いま、式（２）における係数ｗを求める場合、式（２）に各値を代入し、式（３）のように変形した上で、二乗誤差（ｅの二乗）を最小とするようにすればよい。
【００６９】
【数３】
・・・（３）
【００７０】
正規方程式生成部５５は、式（３）に示される方程式をクラスコード毎にサンプルとして蓄積するようになされている。そして、各クラスについて十分なサンプルが蓄積された上で、次のようにして最小二乗法により係数ｗを算出する。
【００７１】
式（３）より式（４）が導出される。
【００７２】
【数４】
・・・（４）
【００７３】
式（４）より式（５）の方程式を生成することができる。
【００７４】
【数５】
・・・（５）
【００７５】
なお、式（４）と式（５）におけるsampleは、当該クラスコードにおいて蓄積されたサンプルの数を表している。
【００７６】
式（５）の方程式を解いて、係数ｗを求めることにより、当該クラスコードにおいて最適な係数ｗを求めることができる。
【００７７】
正規方程式生成部５５は、各クラスコードについて、式（３）のサンプルが所定数蓄積された場合、サンプルを係数生成部５６に出力する。
【００７８】
係数生成部５６は、式（３）乃至式（５）の演算をクラスコード毎に行い、当該クラスコードに対応する係数ｗを算出する。上述したように、係数ｗは、自然画処理部２１の処理結果と人工画処理部２２の処理結果をミキシングする際に用いられるものなので、適宜ミキシング係数と称することにする。
【００７９】
なお、係数生成部５６により算出されたミキシング係数は、クラスコードに対応づけて記憶されるようになされている。そして、記憶された係数が、後述するように、自然画人工画判定部２３により用いられることになる。
【００８０】
次に、広域特徴量抽出部６１、および狭域特徴量抽出部６２により抽出される特徴量について説明する。
【００８１】
上述したように、本技術では、画像の中のエッジとその周辺の画素と、細線や点の真上の画素とを区別して、自然画処理部２１による処理と人工画処理部２２の処理を適用する。従って、注目画素の付近にエッジがありその付近に平坦部が存在するか否かを検知し、さらに、注目画素が細線や点などの真上に存在しているのかエッジ付近の平坦部に存在しているのかを検知できるようにする必要がある。
【００８２】
広域特徴量抽出部６１は、注目画素の付近にエッジがありその付近に平坦部が存在するか否かを検知できるようにするための特徴量として広域特徴量を抽出する。すなわち、注目画素の付近の画像は、例えば、単色の壁を背景とした画像の中に人工的な細い線状のオブジェクト（細線）が表示されているような画像であるかを検知できるようにする広域特徴量が抽出される。
【００８３】
例えば、比較的広い領域（例えば、１３×１３画素で構成される領域）において、注目画素を中心とする当該領域におけるダイナミックレンジ、隣接画素差分絶対値、隣接画素差分絶対値の最大値に基づいて算出される特徴量が広域特徴量とされる。
【００８４】
当該領域における第ｎ番目の隣接画素差分絶対値をdiffn（ｎ＝０，・・・Ｎ）で表すことにする。なお、隣接画素差分絶対値は、当該領域内において水平方向または垂直方向に隣接する画素どうしの輝度値の差分絶対値とされ、最大でＮ個の差分絶対値が存在するものとする。
【００８５】
例えば、式（６）に示されるように、当該領域におけるダイナミックレンジと、各隣接画素差分絶対値をパラメータとして入力し、関数ｆによる演算結果の総和として得られるポイントＰを広域特徴量の値とする。
【００８６】
【数６】
・・・（６）
【００８７】
なお、式（６）における関数ｆは、０乃至１の間の値をポイントとして出力するものとし、当該領域における隣接画素差分絶対値のそれぞれをダイナミックレンジと比較して、十分小さければ高いポイントを出力するものとされる。関数ｆは、例えば、図７に示されるようにポイントを出力する。
【００８８】
図７は、横軸が当該領域における隣接画素差分絶対値diffnとダイナミックレンジＤＲとの比の値とされ、縦軸がポイントの値とされ、diffn／ＤＲの値に応じて出力されるポイント値の変化がグラフとして示されている。diffn／ＤＲの最大値は１であるから、横軸が１のとき、ポイントは最小値の０となる。また、diffn／ＤＲの最小値は０であるから、横軸が０のとき、ポイントは最大値の１となる。そして、同図のグラフに示されるように、diffn／ＤＲの値が大きくなるにつれてポイント値が小さくなる。
【００８９】
例えば、式（６）により得られるポイントＰが所定の閾値以上である場合、当該領域において注目画素の付近にエッジがありその付近に平坦部が存在すると判断できる。もし、当該領域が平坦な部分だけの画像である場合、または、繰り返し模様などの画像である場合、diffn／ＤＲの大多数が１に近い値となり、式（６）により得られるポイントＰの値も小さくなるからである。
【００９０】
なお、ここで説明した以外の方式で広域特徴量が抽出されるようにしてもよい。要は、当該領域において注目画素の付近にエッジがありその付近に平坦部が存在するか否かを判断できるようにすればよい。
【００９１】
狭域特徴量抽出部６２は、注目画素が細線や点などの真上に存在しているのかエッジ付近の平坦部に存在しているのかを検知できるようにするための特徴量として狭域特徴量を抽出する。
【００９２】
例えば、狭域特徴量抽出部６２は、注目画素を含む複数の異なる位置や面積の領域のダイナミックレンジを比較することで得られる値を狭域特徴量とすることができる。
【００９３】
例えば、注目画素を中心とする１３×１３画素で構成される領域の画素を抽出し、この領域のダイナミックレンジＤＲ０を取得する。
【００９４】
さらに、狭域特徴量抽出部６２は、例えば、注目画素を含む３×３画素で構成されるブロック（比較的狭い領域）の画素を抽出する。この場合、ブロック内での注目画素の位置を変化させ、例えば、図８Ａ乃至図８Ｄの４通りのブロックを抽出する。なお、図８においては、ハッチングされた円により注目画素の位置が示されており、図中の太線によりブロックの位置が示されている。
【００９５】
図８Ａの場合、注目画素は、ブロックの右下に位置しており、狭域特徴量抽出部６２は、当該ブロックのダイナミックレンジＤＲ１を取得する。
【００９６】
また、図８Ｂの場合、注目画素は、ブロックの左上に位置しており、狭域特徴量抽出部６２は、当該ブロックのダイナミックレンジＤＲ２を取得する。
【００９７】
さらに、図８Ｃの場合、注目画素は、ブロックの左下に位置しており、狭域特徴量抽出部６２は、当該ブロックのダイナミックレンジＤＲ３を取得する。
【００９８】
また、図８Ｄの場合、注目画素は、ブロックの右上に位置しており、狭域特徴量抽出部６２は、当該ブロックのダイナミックレンジＤＲ４を取得する。
【００９９】
そして、狭域特徴量抽出部６２は、ＤＲ１乃至ＤＲ４の中の最小の値を選択する。例えば、ＤＲ４が最小のダイナミックレンジの値として選択されたものとする。狭域特徴量抽出部６２は、最小のダイナミックレンジの値として選択されたＤＲ４とＤＲ０の比（ＤＲ４／ＤＲ０）を算出する。
【０１００】
例えば、図９に示されるように、細線１０１の真上に注目画素が存在している場合、図８Ａ乃至図８Ｄのいずれのブロックを抽出した場合であっても、ブロック内に細線の画素と背景の画素とが含まれることになる（エッジが含まれることになる）。従って、ＤＲ１乃至ＤＲ４の中の最小の値は、ＤＲ０の値と近いものになる。
【０１０１】
なお、図９は、細線１０１が表示される画像の領域の例を示しており、図中ハッチングされた円により注目画素の位置が示されており、図中の太線によりブロックの位置が示されている。この例では、図８Ｂに示されるブロックが示されている。
【０１０２】
しかし、例えば、図１０に示されるように、注目画素が細線１０１から少しでも外れた位置に存在している場合、図８Ａ乃至図８Ｄの少なくとも１つのブロックは、背景の画素のみで構成されることになる。従って、ＤＲ１乃至ＤＲ４の中の最小の値は、ＤＲ０の値と比較して充分に小さいものとなる。
【０１０３】
なお、図１０は、図９と同様に、細線１０１が表示される画像の領域の例を示しており、図中ハッチングされた円により注目画素の位置が示されており、図中の太線によりブロックの位置が示されている。この例では、図８Ｂに示されるブロックが示されており、このブロックは、背景の画素のみで構成されている。
【０１０４】
従って、ＤＲ１乃至ＤＲ４の中の最小の値を選択されたものとＤＲ０との比を狭域特徴量として抽出し、狭域特徴量が所定の閾値以上である場合、注目画素が細線や点などの真上に存在していると判断できる。この場合、ＤＲ１乃至ＤＲ４の中の最小の値は、ＤＲ０の値と近いものと想定され、図８の４通りのブロックのいずれにもエッジが含まれていると考えられるからである。
【０１０５】
このように、狭域特徴量を閾値と比較することで、注目画素が細線や点などの真上に存在しているのか、エッジ付近の平坦部に存在しているのかを検知できる。ただし、当該注目画素の広域特徴量に基づいて、当該領域において注目画素の付近にエッジがありその付近に平坦部が存在すると判断できることを前提とする。
【０１０６】
なお、ここで説明した以外の方式で狭域特徴量が抽出されるようにしてもよい。例えば、Ｓｏｂｅｌフィルタなどのフィルタ処理によりエッジが抽出されて特徴量とされるようにしてもよい。要は、注目画素が細線や点などの真上に存在しているのか、エッジ付近の平坦部に存在しているのかを判断できるようにすればよい。
【０１０７】
このようにして、広域特徴量および狭域特徴量が抽出される。そして、上述したように、広域特徴量および狭域特徴量の組み合わせがクラス分類部５４に出力され、クラス分類部５４が、広域特徴量および狭域特徴量の組み合わせに基づいて、例えば、注目画素を予め設定された複数のクラスに分類する。
【０１０８】
このようにして、ミキシング係数の学習が行われるようになされている。
【０１０９】
図１１は、図１の自然画人工画判定部２３の詳細な構成例を示す図である。同図の例では、自然画人工画判定部２３が、特徴量抽出部１２１、クラス分類部１２２、およびミキシング係数出力部１２３により構成されている。また、特徴量抽出部１２１は、広域特徴量抽出部１３１、および狭域特徴量抽出部１３２を有する構成とされている。
【０１１０】
図１１の自然画人工画判定部２３は、例えば、入力画像の中の注目画素を設定し、ラスタスキャンするなどして注目画素の位置をずらしながら、各注目画素の人工画の度合を表す値（ミキシング係数）を出力するようになされている。
【０１１１】
入力画像は、最初に特徴量抽出部１２１に供給され、注目画素に対応する特徴量が生徒画像から抽出される。広域特徴量抽出部１３１は、広域特徴量抽出部６１と同様に、注目画素の付近にエッジがありその付近に平坦部が存在するか否かを検知できるようにするための特徴量として広域特徴量を抽出する。また、狭域特徴量抽出部１３２は、狭域特徴量抽出部６２と同様に、注目画素が細線や点などの真上に存在しているのかエッジ付近の平坦部に存在しているのかを検知できるようにするための特徴量として狭域特徴量を抽出する。
【０１１２】
そして、広域特徴量、および狭域特徴量の組み合わせがクラス分類部１２２に出力されるようになされている。
【０１１３】
クラス分類部１２２は、クラス分類部５４と同様に、特徴量抽出部１２１から供給される特徴量に基づいて、例えば、注目画素を予め設定された複数のクラスに分類する。クラス分類部１２２は、広域特徴量、および狭域特徴量の組み合わせを、多次元のベクトルとして解析し、その多次元ベクトル空間を所定の基準で分割することにより、注目画素を複数のクラスに分類する。クラス分類部１２２は、注目画素が属するクラスを表すクラスコードを出力するようになされている。
【０１１４】
ミキシング係数出力部１２３には、図６の学習装置５０の学習結果として得られたクラスコード毎のミキシング係数が予め記憶されている。ミキシング係数出力部１２３は、クラス分類部１２２から供給されるクラスコードに対応づけられて記憶されているミキシング係数を出力する。これにより、注目画素の人工画の度合が出力されることになる。
【０１１５】
あるいはまた、ミキシング係数出力部１２３は、次のようにしてミキシング係数を出力するようにしてもよい。例えば、ミキシング係数出力部１２３は、上述した多次元ベクトル空間において、注目画素の特徴量から得られたベクトルが属するクラスとその周辺のクラスに対応するミキシング係数を所定の個数（例えば、Ｍ個）を取り出す。そして、ミキシング係数出力部１２３は、注目画素の特徴量から得られたベクトルと周辺のクラスの重心ベクトルの距離にしたがった重み付けを行い、各クラスの係数を加重平均して出力するようにしてもよい。
【０１１６】
例えば、加重平均後のミキシング係数をｗoutで表し、注目画素の特徴量から得られたベクトルをｐとし、周辺のクラスのうちの第ｉ番目のクラスの重心ベクトルをｃiとし、その第ｉ番目のクラスに対応づけられたミキシング係数をｗiとする。いまの場合、求めるべきミキシング係数ｗoutは、式（７）により算出される。
【０１１７】
【数７】
・・・（７）
【０１１８】
このようにしてミキシング係数が出力されるようにしてもよい。
【０１１９】
次に、図１２のフローチャートを参照して、図６の学習装置５０による学習処理の例について説明する。
【０１２０】
ステップＳ２１において、教師画像と生徒画像を入力する。
【０１２１】
ステップＳ２２において、注目画素が設定される。
【０１２２】
ステップＳ２３において、広域特徴量抽出部６１は、注目画素の付近にエッジがありその付近に平坦部が存在するか否かを検知できるようにするための特徴量として広域特徴量を抽出する。すなわち、注目画素の付近の画像は、例えば、単色の壁を背景とした画像の中に人工的な細い線状のオブジェクト（細線）が表示されているような画像であるかを検知できるようにする広域特徴量が抽出される。
【０１２３】
このとき、例えば、上述したように、比較的広い領域（例えば、１３×１３画素で構成される領域）において、注目画素を中心とする当該領域におけるダイナミックレンジ、隣接画素差分絶対値、隣接画素差分絶対値の最大値に基づいて算出される特徴量が広域特徴量とされて抽出される。例えば、式（６）に示されるように、当該領域におけるダイナミックレンジと、各隣接画素差分絶対値をパラメータとして入力し、関数ｆによる演算結果の総和として得られるポイントＰが広域特徴量の値とされ抽出される。
【０１２４】
ステップＳ２４において、狭域特徴量抽出部６２は、注目画素が細線や点などの真上に存在しているのかエッジ付近の平坦部に存在しているのかを検知できるようにするための特徴量として狭域特徴量を抽出する。
【０１２５】
このとき、例えば、注目画素を中心とする１３×１３画素で構成される領域の画素を抽出し、この領域のダイナミックレンジＤＲ０が取得される。さらに、注目画素を含む３×３画素で構成されるブロックの画素が抽出され、それぞれのブロックのダイナミックレンジＤＲ１乃至ＤＲ４が取得される。そして、ＤＲ１乃至ＤＲ４の中の最小の値を選択されたものとＤＲ０との比が狭域特徴量として抽出される。
【０１２６】
ステップＳ２５において、クラス分類部５４は、ステップＳ２３とステップＳ２４の処理で抽出された特徴量の組み合わせに基づいて、クラスコードを決定する。
【０１２７】
このとき、例えば、広域特徴量と狭域特徴量の組み合わせを、多次元のベクトルとして解析し、その多次元ベクトル空間を所定の基準で分割することにより、注目画素が複数のクラスに分類される。そして、クラス分類部５４は、注目画素が属するクラスを表すクラスコードを出力する。
【０１２８】
ステップＳ２６において、自然画処理部５１は、注目画素を処理する。このとき、例えば、図４と図５を参照して上述したように、輝度レベルを復元させることで画像を高画質化する処理が注目画素に対して実行される。
【０１２９】
ステップＳ２７において、人工画処理部５２は、注目画素を処理する。このとき、例えば、図２と図３を参照して上述したように、画像を構成する画素値の波形の位相を適切にとらえてリンギングなどを発生させずにエッジを鮮明にすることで、画像を高画質化する処理が注目画素に対して実行される。
【０１３０】
ステップＳ２８において、正規方程式生成部５５は、サンプルを生成する。
【０１３１】
このとき、正規方程式生成部５５は、教師画像における注目画素の画素値をｔとし、自然画処理部５１の処理結果の画素値をｎとし、人工画処理部５２の処理結果の画素値をａとし、式（２）に示される方程式を生成し、式（３）に示される方程式をサンプルとして生成する。
【０１３２】
ステップＳ２９において、正規方程式生成部５５は、ステップＳ２８の処理で生成されたサンプルを、ステップＳ２５の処理で決定されたクラスコード毎に蓄積する。
【０１３３】
ステップＳ３０において、次の注目画素があるか否かが判定され、次の注目画素があると判定された場合、処理は、ステップＳ２２に戻り、それ以降の処理が繰り返し実行される。
【０１３４】
一方、ステップＳ３０において、次の注目画素がないと判定された場合、処理は、ステップＳ３１に進む。
【０１３５】
あるいはまた、ステップＳ３０においては、各クラスについて十分なサンプルが蓄積されたか否かが判定されるようにしてもよい。
【０１３６】
ステップＳ３１において、係数生成部５６は、ステップＳ２９の処理で蓄積されたサンプルに基づいて、ミキシング係数を算出する。
【０１３７】
このとき、係数生成部５６は、例えば、式（３）乃至式（５）の演算をクラスコード毎に行い、当該クラスコードに対応するミキシング係数ｗを算出する。
【０１３８】
ステップＳ３２において、係数生成部５６は、ステップＳ３１の処理で算出されたミキシング係数を、クラスコードに対応づけて記憶する。
【０１３９】
このようにして、係数学習処理が実行される。
【０１４０】
次に、図１３のフローチャートを参照して、図１の画像処理装置２０による高画質化処理の例について説明する。なお、この処理の実行に先立って、図１２のステップＳ３２の処理によって記憶されたミキシング係数が図１１のミキシング係数出力部１２３の内部のメモリなどにコピーされているものとする。
【０１４１】
ステップＳ５１において、高画質化処理の処理対象となる画像を入力する。
【０１４２】
ステップＳ５２において、ステップＳ５１で入力された画像の中の注目画素が設定される。
【０１４３】
ステップＳ５３において、自然画人工画判定部２３は、図１４のフローチャートを参照して後述する人工画度判定処理を実行する。これにより、ミキシング係数が出力されることになる。
【０１４４】
ステップＳ５４において、自然画処理部２１は、注目画素を処理する。このとき、例えば、図４と図５を参照して上述したように、輝度レベルを復元させることで画像を高画質化する処理が注目画素に対して実行される。
【０１４５】
ステップＳ５５において、人工画処理部２２は、注目画素を処理する。このとき、例えば、図２と図３を参照して上述したように、画像を構成する画素値の波形の位相を適切にとらえてリンギングなどを発生させずにエッジを鮮明にすることで、画像を高画質化する処理が注目画素に対して実行される。
【０１４６】
ステップＳ５６において、統合部２４は、ステップＳ５３の処理で出力されたミキシング係数に基づいて、ステップＳ５４の処理結果、および、ステップＳ５５の処理結果をミキシングして出力する。すなわち、上述した式（１）の演算が行われることで、注目画素が高画質化される。
【０１４７】
ステップＳ５７において、次の注目画素があるか否かが判定され、次の注目画素があると判定された場合、処理は、ステップＳ５２に戻り、それ以降の処理が繰り返し実行される。
【０１４８】
一方、ステップＳ５７において、次の注目画素がないと判定された場合、高画質化処理は終了する。
【０１４９】
このようにして、高画質化処理が実行される。
【０１５０】
次に、図１４のフローチャートを参照して、図１３のステップＳ５３の人工画度判定処理の詳細な例について説明する。
【０１５１】
ステップＳ７１において、広域特徴量抽出部１３１は、ステップＳ５２の処理で設定された注目画素の付近にエッジがありその付近に平坦部が存在するか否かを検知できるようにするための特徴量として広域特徴量を抽出する。
【０１５２】
このとき、例えば、上述したように、比較的広い領域（例えば、１３×１３画素で構成される領域）において、注目画素を中心とする当該領域におけるダイナミックレンジ、隣接画素差分絶対値、隣接画素差分絶対値の最大値に基づいて算出される特徴量が広域特徴量とされて抽出される。例えば、式（６）に示されるように、当該領域におけるダイナミックレンジと、各隣接画素差分絶対値をパラメータとして入力し、関数ｆによる演算結果の総和として得られるポイントＰが広域特徴量の値とされ抽出される。
【０１５３】
ステップＳ７２において、狭域特徴量抽出部１３２は、注目画素が細線や点などの真上に存在しているのかエッジ付近の平坦部に存在しているのかを検知できるようにするための特徴量として狭域特徴量を抽出する。
【０１５４】
このとき、例えば、注目画素を中心とする１３×１３画素で構成される領域の画素を抽出し、この領域のダイナミックレンジＤＲ０が取得される。さらに、注目画素を含む３×３画素で構成されるブロックの画素が抽出され、それぞれのブロックのダイナミックレンジＤＲ１乃至ＤＲ４が取得される。そして、ＤＲ１乃至ＤＲ４の中の最小の値を選択されたものとＤＲ０との比が狭域特徴量として抽出される。
【０１５５】
ステップＳ７３において、クラス分類部１２２は、ステップＳ７１の処理で抽出された広域特徴量、および、ステップＳ７２の処理で抽出された狭域特徴量の組み合わせに基づいて、例えば、注目画素を予め設定された複数のクラスに分類する。そして、クラス分類部１２２は、注目画素が属するクラスを表すクラスコードを決定して出力する。
【０１５６】
ステップＳ７４において、ミキシング係数出力部１２３は、ステップＳ７３の処理で決定されたクラスコードに対応づけられて記憶されているミキシング係数を出力する。これにより、注目画素の人工画の度合が出力されることになる。
【０１５７】
なお、式（７）による演算結果がミキシング係数として出力されるようにしてもよい。
【０１５８】
このようにして、人工画度判定処理が実行される。
【０１５９】
高画質化処理を行なう場合、人工画と自然画では、画像の特性が大きく異なるので、自然画に対して適用する処理と、人工画に対して適用する処理とがそれぞれ異なる処理とした方が、より高い効果を得ることができる。一方で、自然画と人工画では、画像の特性が大きく異なるため、自然画に特化した処理を人工画に適用した場合、または、人工画に特化した処理を自然画に適用した場合、弊害が大きくなる（かえって画質が劣化してしまう）。
【０１６０】
すなわち、自然画に特化した処理と人工画に特化した処理のそれぞれを含む高画質化処理を行なう際に、画像中の注目画素が自然画に分類される部分の画素であるか、人工画に分類される部分の画素であるかを正しく判定する必要がある。
【０１６１】
従来の技術では、自然画に分類される画素であるのか人工画に分類される画素であるのかの判定に必要な閾値を、例えば、人間が経験を頼りに調整していた。
【０１６２】
このため、従来の技術では、考慮すべきパラメータが増大するとパラメータ調整の工数が膨大になるおそれがある。
【０１６３】
また、従来の技術での閾値の調整は、人間の経験に頼っているため定量的な妥当性を欠く場合がある。
【０１６４】
これに対して、本技術では、上述した通り、ミキシング係数を学習により求めるようにしたので、定量的な妥当性を確保することが可能となる。また、これに加えて、広域特徴量と狭域特徴量を用いて注目画素を分類するようにしたので、単にエッジやテクスチャを検出して分類する場合とは異なり、真に人工画処理部の処理を施すべき画素と真に自然画処理部の処理を施すべき画素を適切に分類することができる。
【０１６５】
従って、本技術によれば、それぞれ特性の異なる複数の領域を有する画像において、それぞれの領域を適切に分類することができる。
【０１６６】
なお、以上において、注目画素を分類する際に、広域特徴量および狭域特徴量に基づいて分類する例について説明したが、例えば、広域特徴量のみに基づいて分類するようにしてもよい。
【０１６７】
ところで、図１においては、自然画人工画判定部２３による判定結果に基づいて、統合部２４が自然画処理部２１の処理結果と人工画処理部２２の処理結果とをミキシングする例について説明した。しかしながら、自然画人工画判定部２３による判定結果が別の処理に用いられるようにしてもよい。
【０１６８】
例えば、図１５に示されるように、画像の人工画の度合に基づいて独自の画像処理を実行する処理装置３０に自然画人工画判定部２３による判定結果が供給されるようにしてもよい。処理装置３０は、例えば、画面内の各注目画素の人工画の度合に基づいて、当該画面のフレームをマーキングするなどの処理を実行する。
【０１６９】
このように、例えば、自然画人工画判定部２３を独立の装置として用いるようにした場合でも、本技術による効果を得ることができる。
【０１７０】
なお、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図１６に示されるような汎用のパーソナルコンピュータ７００などに、ネットワークや記録媒体からインストールされる。
【０１７１】
図１６において、ＣＰＵ（Central Processing Unit）７０１は、ＲＯＭ（Read Only Memory）７０２に記憶されているプログラム、または記憶部７０８からＲＡＭ（Random Access Memory）７０３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ７０３にはまた、ＣＰＵ７０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１７２】
ＣＰＵ７０１、ＲＯＭ７０２、およびＲＡＭ７０３は、バス７０４を介して相互に接続されている。このバス７０４にはまた、入出力インタフェース７０５も接続されている。
【０１７３】
入出力インタフェース７０５には、キーボード、マウスなどよりなる入力部７０６、ＬＣＤ(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部７０７、ハードディスクなどより構成される記憶部７０８、モデム、ＬＡＮカードなどのネットワークインタフェースカードなどより構成される通信部７０９が接続されている。通信部７０９は、インターネットを含むネットワークを介しての通信処理を行う。
【０１７４】
入出力インタフェース７０５にはまた、必要に応じてドライブ７１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部７０８にインストールされる。
【０１７５】
上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、インターネットなどのネットワークや、リムーバブルメディア７１１などからなる記録媒体からインストールされる。
【０１７６】
なお、この記録媒体は、図１６に示される、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フロッピディスク（登録商標）を含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア７１１により構成されるものだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているＲＯＭ７０２や、記憶部７０８に含まれるハードディスクなどで構成されるものも含む。
【０１７７】
なお、本明細書において上述した一連の処理は、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１７８】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１７９】
なお、本技術は以下のような構成も取ることができる。
【０１８０】
（１）生徒画像の注目画素の特徴量を抽出する特徴量抽出部と、
前記抽出した特徴量に基づいて前記注目画素を所定のクラスに分類するクラス分類部と、
前記注目画素に対して、少なくとも画素の輝度レベルを復元させるための処理を含む自然画処理を施す自然画処理部と、
前記注目画素に対して、少なくともエッジを鮮明にするための処理を含む人工画処理を施す人工画処理部と、
前記自然処理された前記注目画素の画素値、前記人工画処理された前記注目画素の画素値、教師画像の注目画素の画素値、および所定のミキシング係数を用いた正規方程式のサンプルを前記クラス毎に生成するサンプル生成部と、
前記生成された複数のサンプルに基づいて、前記ミキシング係数を算出するミキシング係数算出部と
を備える係数学習装置。
（２）前記特徴量抽出部は、
比較的広い領域において、前記注目画素を中心とする当該領域におけるダイナミックレンジ、隣接画素差分絶対値、隣接画素差分絶対値の最大値に基づいて算出される広域特徴量を抽出する
（１）に記載の係数学習装置。
（３）前記特徴量抽出部は、
比較的広い領域において、前記注目画素を中心とする当該領域におけるダイナミックレンジ、隣接画素差分絶対値、隣接画素差分絶対値の最大値に基づいて算出される広域特徴量を抽出し、
前記注目画素を中心とした比較的広い領域におけるダイナミックレンジ、および前記注目画素を含む比較的狭い複数の領域のそれぞれのダイナミックレンジのうちの最大値に基づいて算出される狭域特徴量を抽出する
（１）に記載の係数学習装置。
（４）特徴量抽出部が、生徒画像の注目画素の特徴量を抽出し、
クラス分類部が、前記抽出した特徴量に基づいて前記注目画素を所定のクラスに分類し、
自然画処理部が、前記注目画素に対して、少なくとも画素の輝度レベルを復元させるための処理を含む自然画処理を施し、
人工画処理部が、前記注目画素に対して、少なくともエッジを鮮明にするための処理を含む人工画処理を施し、
サンプル生成部が、前記自然処理された前記注目画素の画素値、前記人工画処理された前記注目画素の画素値、教師画像の注目画素の画素値、および所定のミキシング係数を用いた正規方程式のサンプルを前記クラス毎に生成し、
ミキシング係数算出部が、前記生成された複数のサンプルに基づいて、前記ミキシング係数を算出するステップ
を含む係数学習方法。
（５）コンピュータを、
生徒画像の注目画素の特徴量を抽出する特徴量抽出部と、
前記抽出した特徴量に基づいて前記注目画素を所定のクラスに分類するクラス分類部と、
前記注目画素に対して、少なくとも画素の輝度レベルを復元させるための処理を含む自然画処理を施す自然画処理部と、
前記注目画素に対して、少なくともエッジを鮮明にするための処理を含む人工画処理を施す人工画処理部と、
前記自然処理された前記注目画素の画素値、前記人工画処理された前記注目画素の画素値、教師画像の注目画素の画素値、および所定のミキシング係数を用いた正規方程式のサンプルを前記クラス毎に生成するサンプル生成部と、
前記生成された複数のサンプルに基づいて、前記ミキシング係数を算出するミキシング係数算出部とを備える係数学習装置として機能させる
プログラム。
（６）請求項５に記載のプログラムが記録されている記録媒体。
（７）入力画像の注目画素の特徴量を抽出する特徴量抽出部と、
前記抽出した特徴量に基づいて前記注目画素を所定のクラスに分類するクラス分類部と、
前記注目画素に対して、少なくとも画素の輝度レベルを復元させるための処理を含む自然画処理を施す自然画処理部と、
前記注目画素に対して、少なくともエッジを鮮明にするための処理を含む人工画処理を施す人工画処理部と、
前記自然処理された前記注目画素の画素値と、前記人工画処理された前記注目画素の画素値とを、前記クラスに対応付けられて予め記憶されているミキシング係数を用いてミキシングすることで出力画像の画素を生成する画素生成部と
を備える画像処理装置。
（８）前記特徴量抽出部は、
比較的広い領域において、前記注目画素を中心とする当該領域におけるダイナミックレンジ、隣接画素差分絶対値、隣接画素差分絶対値の最大値に基づいて算出される広域特徴量を抽出する
（７）に記載の画像処理装置。
（９）前記特徴量抽出部は、
比較的広い領域において、前記注目画素を中心とする当該領域におけるダイナミックレンジ、隣接画素差分絶対値、隣接画素差分絶対値の最大値に基づいて算出される広域特徴量を抽出し、
前記注目画素を中心とした比較的広い領域におけるダイナミックレンジ、および前記注目画素を含む比較的狭い複数の領域のそれぞれのダイナミックレンジのうちの最大値に基づいて算出される狭域特徴量を抽出する
（７）に記載の画像処理装置。
（１０）前記画素生成部は、
前記注目画素が属するクラスとその周辺のクラスに対応するミキシング係数を、注目画素の特徴量から得られたベクトルと周辺のクラスの重心ベクトルの距離にしたがった重み付けして各クラスの前記ミキシング係数を加重平均し、
前記加重平均されたミキシング係数を用いたミキシングにより出力画像の画素を生成する
（７）乃至（９）のいずれかに記載の画像処理装置。
（１１）特徴量抽出部が、入力画像の注目画素の特徴量を抽出し、
前記抽出した特徴量に基づいて前記注目画素を所定のクラスに分類するクラス分類部と、
クラス分類部が、前記注目画素に対して、少なくとも画素の輝度レベルを復元させるための処理を含む自然画処理を施し、
人工画処理部が、前記注目画素に対して、少なくともエッジを鮮明にするための処理を含む人工画処理を施し、
画素生成部が、前記自然処理された前記注目画素の画素値と、前記人工画処理された前記注目画素の画素値とを、前記クラスに対応付けられて予め記憶されているミキシング係数を用いてミキシングすることで出力画像の画素を生成するステップ
を含む画像処理方法。
（１２）コンピュータを、
入力画像の注目画素の特徴量を抽出する特徴量抽出部と、
前記抽出した特徴量に基づいて前記注目画素を所定のクラスに分類するクラス分類部と、
前記注目画素に対して、少なくとも画素の輝度レベルを復元させるための処理を含む自然画処理を施す自然画処理部と、
前記注目画素に対して、少なくともエッジを鮮明にするための処理を含む人工画処理を施す人工画処理部と、
前記自然処理された前記注目画素の画素値と、前記人工画処理された前記注目画素の画素値とを、前記クラスに対応付けられて予め記憶されているミキシング係数を用いてミキシングすることで出力画像の画素を生成する画素生成部とを備える画像処理装置として機能させる
プログラム。
（１３）請求項１２に記載のプログラムが記録されている記録媒体。
【符号の説明】
【０１８１】
２０ 画像処理装置， ２１ 自然画処理部， ２２ 人工画処理部， ２３ 自然画人工画判定部， ２４ 統合部， ３０ 処理装置 ５１ 自然画処理部， ５２ 人工画処理部， ５３ 特徴量抽出部， ６１ 広域特徴量抽出部， ６２ 狭域特徴量抽出部， ５４ クラス分類部， ５５ 正規方程式生成部， ５６ 係数生成部， １２１ 特徴量抽出部， １２２ クラス分類部， １２３ ミキシング係数出力部， １３１ 広域特徴量抽出部， １３２ 狭域特徴量抽出部
【特許請求の範囲】
【請求項１】
生徒画像の注目画素の特徴量を抽出する特徴量抽出部と、
前記抽出した特徴量に基づいて前記注目画素を所定のクラスに分類するクラス分類部と、
前記注目画素に対して、少なくとも画素の輝度レベルを復元させるための処理を含む自然画処理を施す自然画処理部と、
前記注目画素に対して、少なくともエッジを鮮明にするための処理を含む人工画処理を施す人工画処理部と、
前記自然処理された前記注目画素の画素値、前記人工画処理された前記注目画素の画素値、教師画像の注目画素の画素値、および所定のミキシング係数を用いた正規方程式のサンプルを前記クラス毎に生成するサンプル生成部と、
前記生成された複数のサンプルに基づいて、前記ミキシング係数を算出するミキシング係数算出部と
を備える係数学習装置。
【請求項２】
前記特徴量抽出部は、
比較的広い領域において、前記注目画素を中心とする当該領域におけるダイナミックレンジ、隣接画素差分絶対値、隣接画素差分絶対値の最大値に基づいて算出される広域特徴量を抽出する
請求項１に記載の係数学習装置。
【請求項３】
前記特徴量抽出部は、
比較的広い領域において、前記注目画素を中心とする当該領域におけるダイナミックレンジ、隣接画素差分絶対値、隣接画素差分絶対値の最大値に基づいて算出される広域特徴量を抽出し、
前記注目画素を中心とした比較的広い領域におけるダイナミックレンジ、および前記注目画素を含む比較的狭い複数の領域のそれぞれのダイナミックレンジのうちの最大値に基づいて算出される狭域特徴量を抽出する
請求項１に記載の係数学習装置。
【請求項４】
特徴量抽出部が、生徒画像の注目画素の特徴量を抽出し、
クラス分類部が、前記抽出した特徴量に基づいて前記注目画素を所定のクラスに分類し、
自然画処理部が、前記注目画素に対して、少なくとも画素の輝度レベルを復元させるための処理を含む自然画処理を施し、
人工画処理部が、前記注目画素に対して、少なくともエッジを鮮明にするための処理を含む人工画処理を施し、
サンプル生成部が、前記自然処理された前記注目画素の画素値、前記人工画処理された前記注目画素の画素値、教師画像の注目画素の画素値、および所定のミキシング係数を用いた正規方程式のサンプルを前記クラス毎に生成し、
ミキシング係数算出部が、前記生成された複数のサンプルに基づいて、前記ミキシング係数を算出するステップ
を含む係数学習方法。
【請求項５】
コンピュータを、
生徒画像の注目画素の特徴量を抽出する特徴量抽出部と、
前記抽出した特徴量に基づいて前記注目画素を所定のクラスに分類するクラス分類部と、
前記注目画素に対して、少なくとも画素の輝度レベルを復元させるための処理を含む自然画処理を施す自然画処理部と、
前記注目画素に対して、少なくともエッジを鮮明にするための処理を含む人工画処理を施す人工画処理部と、
前記自然処理された前記注目画素の画素値、前記人工画処理された前記注目画素の画素値、教師画像の注目画素の画素値、および所定のミキシング係数を用いた正規方程式のサンプルを前記クラス毎に生成するサンプル生成部と、
前記生成された複数のサンプルに基づいて、前記ミキシング係数を算出するミキシング係数算出部とを備える係数学習装置として機能させる
プログラム。
【請求項６】
請求項５に記載のプログラムが記録されている記録媒体。
【請求項７】
入力画像の注目画素の特徴量を抽出する特徴量抽出部と、
前記抽出した特徴量に基づいて前記注目画素を所定のクラスに分類するクラス分類部と、
前記注目画素に対して、少なくとも画素の輝度レベルを復元させるための処理を含む自然画処理を施す自然画処理部と、
前記注目画素に対して、少なくともエッジを鮮明にするための処理を含む人工画処理を施す人工画処理部と、
前記自然処理された前記注目画素の画素値と、前記人工画処理された前記注目画素の画素値とを、前記クラスに対応付けられて予め記憶されているミキシング係数を用いてミキシングすることで出力画像の画素を生成する画素生成部と
を備える画像処理装置。
【請求項８】
前記特徴量抽出部は、
比較的広い領域において、前記注目画素を中心とする当該領域におけるダイナミックレンジ、隣接画素差分絶対値、隣接画素差分絶対値の最大値に基づいて算出される広域特徴量を抽出する
請求項７に記載の画像処理装置。
【請求項９】
前記特徴量抽出部は、
比較的広い領域において、前記注目画素を中心とする当該領域におけるダイナミックレンジ、隣接画素差分絶対値、隣接画素差分絶対値の最大値に基づいて算出される広域特徴量を抽出し、
前記注目画素を中心とした比較的広い領域におけるダイナミックレンジ、および前記注目画素を含む比較的狭い複数の領域のそれぞれのダイナミックレンジのうちの最大値に基づいて算出される狭域特徴量を抽出する
請求項７に記載の画像処理装置。
【請求項１０】
前記画素生成部は、
前記注目画素が属するクラスとその周辺のクラスに対応するミキシング係数を、注目画素の特徴量から得られたベクトルと周辺のクラスの重心ベクトルの距離にしたがった重み付けして各クラスの前記ミキシング係数を加重平均し、
前記加重平均されたミキシング係数を用いたミキシングにより出力画像の画素を生成する
請求項７に記載の画像処理装置。
【請求項１１】
特徴量抽出部が、入力画像の注目画素の特徴量を抽出し、
前記抽出した特徴量に基づいて前記注目画素を所定のクラスに分類するクラス分類部と、
クラス分類部が、前記注目画素に対して、少なくとも画素の輝度レベルを復元させるための処理を含む自然画処理を施し、
人工画処理部が、前記注目画素に対して、少なくともエッジを鮮明にするための処理を含む人工画処理を施し、
画素生成部が、前記自然処理された前記注目画素の画素値と、前記人工画処理された前記注目画素の画素値とを、前記クラスに対応付けられて予め記憶されているミキシング係数を用いてミキシングすることで出力画像の画素を生成するステップ
を含む画像処理方法。
【請求項１２】
コンピュータを、
入力画像の注目画素の特徴量を抽出する特徴量抽出部と、
前記抽出した特徴量に基づいて前記注目画素を所定のクラスに分類するクラス分類部と、
前記注目画素に対して、少なくとも画素の輝度レベルを復元させるための処理を含む自然画処理を施す自然画処理部と、
前記注目画素に対して、少なくともエッジを鮮明にするための処理を含む人工画処理を施す人工画処理部と、
前記自然処理された前記注目画素の画素値と、前記人工画処理された前記注目画素の画素値とを、前記クラスに対応付けられて予め記憶されているミキシング係数を用いてミキシングすることで出力画像の画素を生成する画素生成部とを備える画像処理装置として機能させる
プログラム。
【請求項１３】
請求項１２に記載のプログラムが記録されている記録媒体。
【請求項１】
生徒画像の注目画素の特徴量を抽出する特徴量抽出部と、
前記抽出した特徴量に基づいて前記注目画素を所定のクラスに分類するクラス分類部と、
前記注目画素に対して、少なくとも画素の輝度レベルを復元させるための処理を含む自然画処理を施す自然画処理部と、
前記注目画素に対して、少なくともエッジを鮮明にするための処理を含む人工画処理を施す人工画処理部と、
前記自然処理された前記注目画素の画素値、前記人工画処理された前記注目画素の画素値、教師画像の注目画素の画素値、および所定のミキシング係数を用いた正規方程式のサンプルを前記クラス毎に生成するサンプル生成部と、
前記生成された複数のサンプルに基づいて、前記ミキシング係数を算出するミキシング係数算出部と
を備える係数学習装置。
【請求項２】
前記特徴量抽出部は、
比較的広い領域において、前記注目画素を中心とする当該領域におけるダイナミックレンジ、隣接画素差分絶対値、隣接画素差分絶対値の最大値に基づいて算出される広域特徴量を抽出する
請求項１に記載の係数学習装置。
【請求項３】
前記特徴量抽出部は、
比較的広い領域において、前記注目画素を中心とする当該領域におけるダイナミックレンジ、隣接画素差分絶対値、隣接画素差分絶対値の最大値に基づいて算出される広域特徴量を抽出し、
前記注目画素を中心とした比較的広い領域におけるダイナミックレンジ、および前記注目画素を含む比較的狭い複数の領域のそれぞれのダイナミックレンジのうちの最大値に基づいて算出される狭域特徴量を抽出する
請求項１に記載の係数学習装置。
【請求項４】
特徴量抽出部が、生徒画像の注目画素の特徴量を抽出し、
クラス分類部が、前記抽出した特徴量に基づいて前記注目画素を所定のクラスに分類し、
自然画処理部が、前記注目画素に対して、少なくとも画素の輝度レベルを復元させるための処理を含む自然画処理を施し、
人工画処理部が、前記注目画素に対して、少なくともエッジを鮮明にするための処理を含む人工画処理を施し、
サンプル生成部が、前記自然処理された前記注目画素の画素値、前記人工画処理された前記注目画素の画素値、教師画像の注目画素の画素値、および所定のミキシング係数を用いた正規方程式のサンプルを前記クラス毎に生成し、
ミキシング係数算出部が、前記生成された複数のサンプルに基づいて、前記ミキシング係数を算出するステップ
を含む係数学習方法。
【請求項５】
コンピュータを、
生徒画像の注目画素の特徴量を抽出する特徴量抽出部と、
前記抽出した特徴量に基づいて前記注目画素を所定のクラスに分類するクラス分類部と、
前記注目画素に対して、少なくとも画素の輝度レベルを復元させるための処理を含む自然画処理を施す自然画処理部と、
前記注目画素に対して、少なくともエッジを鮮明にするための処理を含む人工画処理を施す人工画処理部と、
前記自然処理された前記注目画素の画素値、前記人工画処理された前記注目画素の画素値、教師画像の注目画素の画素値、および所定のミキシング係数を用いた正規方程式のサンプルを前記クラス毎に生成するサンプル生成部と、
前記生成された複数のサンプルに基づいて、前記ミキシング係数を算出するミキシング係数算出部とを備える係数学習装置として機能させる
プログラム。
【請求項６】
請求項５に記載のプログラムが記録されている記録媒体。
【請求項７】
入力画像の注目画素の特徴量を抽出する特徴量抽出部と、
前記抽出した特徴量に基づいて前記注目画素を所定のクラスに分類するクラス分類部と、
前記注目画素に対して、少なくとも画素の輝度レベルを復元させるための処理を含む自然画処理を施す自然画処理部と、
前記注目画素に対して、少なくともエッジを鮮明にするための処理を含む人工画処理を施す人工画処理部と、
前記自然処理された前記注目画素の画素値と、前記人工画処理された前記注目画素の画素値とを、前記クラスに対応付けられて予め記憶されているミキシング係数を用いてミキシングすることで出力画像の画素を生成する画素生成部と
を備える画像処理装置。
【請求項８】
前記特徴量抽出部は、
比較的広い領域において、前記注目画素を中心とする当該領域におけるダイナミックレンジ、隣接画素差分絶対値、隣接画素差分絶対値の最大値に基づいて算出される広域特徴量を抽出する
請求項７に記載の画像処理装置。
【請求項９】
前記特徴量抽出部は、
比較的広い領域において、前記注目画素を中心とする当該領域におけるダイナミックレンジ、隣接画素差分絶対値、隣接画素差分絶対値の最大値に基づいて算出される広域特徴量を抽出し、
前記注目画素を中心とした比較的広い領域におけるダイナミックレンジ、および前記注目画素を含む比較的狭い複数の領域のそれぞれのダイナミックレンジのうちの最大値に基づいて算出される狭域特徴量を抽出する
請求項７に記載の画像処理装置。
【請求項１０】
前記画素生成部は、
前記注目画素が属するクラスとその周辺のクラスに対応するミキシング係数を、注目画素の特徴量から得られたベクトルと周辺のクラスの重心ベクトルの距離にしたがった重み付けして各クラスの前記ミキシング係数を加重平均し、
前記加重平均されたミキシング係数を用いたミキシングにより出力画像の画素を生成する
請求項７に記載の画像処理装置。
【請求項１１】
特徴量抽出部が、入力画像の注目画素の特徴量を抽出し、
前記抽出した特徴量に基づいて前記注目画素を所定のクラスに分類するクラス分類部と、
クラス分類部が、前記注目画素に対して、少なくとも画素の輝度レベルを復元させるための処理を含む自然画処理を施し、
人工画処理部が、前記注目画素に対して、少なくともエッジを鮮明にするための処理を含む人工画処理を施し、
画素生成部が、前記自然処理された前記注目画素の画素値と、前記人工画処理された前記注目画素の画素値とを、前記クラスに対応付けられて予め記憶されているミキシング係数を用いてミキシングすることで出力画像の画素を生成するステップ
を含む画像処理方法。
【請求項１２】
コンピュータを、
入力画像の注目画素の特徴量を抽出する特徴量抽出部と、
前記抽出した特徴量に基づいて前記注目画素を所定のクラスに分類するクラス分類部と、
前記注目画素に対して、少なくとも画素の輝度レベルを復元させるための処理を含む自然画処理を施す自然画処理部と、
前記注目画素に対して、少なくともエッジを鮮明にするための処理を含む人工画処理を施す人工画処理部と、
前記自然処理された前記注目画素の画素値と、前記人工画処理された前記注目画素の画素値とを、前記クラスに対応付けられて予め記憶されているミキシング係数を用いてミキシングすることで出力画像の画素を生成する画素生成部とを備える画像処理装置として機能させる
プログラム。
【請求項１３】
請求項１２に記載のプログラムが記録されている記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１２−２３１３０１（Ｐ２０１２−２３１３０１Ａ）
【公開日】平成２４年１１月２２日（２０１２．１１．２２）
【国際特許分類】
【出願番号】特願２０１１−９８３８９（Ｐ２０１１−９８３８９）
【出願日】平成２３年４月２６日（２０１１．４．２６）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年１１月２２日（２０１２．１１．２２）
【国際特許分類】
【出願日】平成２３年４月２６日（２０１１．４．２６）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]