画像処理装置および方法、プログラム、並びに記録媒体
【課題】より簡単な構成で、アップコンバート機能を有する高画質化処理を実現することができるようにする。
【解決手段】位相予測／鮮鋭感向上特徴量演算部は、入力画像を高画質化した画像を予測画像として出力する際の、予測画像を構成する画素を注目画素として、注目画素に対応する入力画像の画素周辺の複数の周辺画素の画素値と、帯域制限及びノイズ付加の強度、並びに、注目画素と周辺画素それぞれとの位相に応じたフィルタ係数との積和演算により、注目画素の鮮鋭感向上の特徴量である鮮鋭感向上特徴量を演算する。予測演算部は、演算により得られた鮮鋭感向上特徴量と、学習により予め求められた予測係数との積和演算で定義される予測式を演算することにより、注目画素の予測値を算出する。本技術は、例えば、アップコンバート機能を有する高画質化処理を行う画像処理装置に適用できる。
【解決手段】位相予測／鮮鋭感向上特徴量演算部は、入力画像を高画質化した画像を予測画像として出力する際の、予測画像を構成する画素を注目画素として、注目画素に対応する入力画像の画素周辺の複数の周辺画素の画素値と、帯域制限及びノイズ付加の強度、並びに、注目画素と周辺画素それぞれとの位相に応じたフィルタ係数との積和演算により、注目画素の鮮鋭感向上の特徴量である鮮鋭感向上特徴量を演算する。予測演算部は、演算により得られた鮮鋭感向上特徴量と、学習により予め求められた予測係数との積和演算で定義される予測式を演算することにより、注目画素の予測値を算出する。本技術は、例えば、アップコンバート機能を有する高画質化処理を行う画像処理装置に適用できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像処理装置および方法、プログラム、並びに記録媒体に関し、特に、より簡単な構成で、アップコンバート機能を有する高画質化処理を実現することができる画像処理装置および方法、プログラム、並びに記録媒体に関する。
【背景技術】
【０００２】
近年、映像信号が多様化しており、映像信号には画像のフォーマットに関わらず様々な周波数帯域が混在している。例えば、HD (High Definition)サイズの画像でも、実はもともとSD (Standard Definition)サイズの画像がアップコンバートされている場合や、編集によりテロップや小窓画面が挿入された結果、１画面中に周波数帯域が著しくことなる箇所が混在している場合がある。また、ノイズもさまざまなレベルのものが混入している。特許文献１および特許文献２で提案されている技術は、このような多様な入力信号に対しても、その画質に応じて適応的に解像度感や鮮鋭感を向上させ、高画質化することを低コストで実現するものである。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１０２６９６号公報
【特許文献２】特開２０１０−１０３９８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１および２に記載の画像処理装置において、アップコンバートした画像の高画質化を行う場合には、入力画像に対してアップコンバートを行う処理ブロックを画像処理装置の前段に別途用意する必要があった。また、特許文献１および２に記載の画像処理装置にアップコンバート機能が含まれているとしても、どのような具体的処理によりアップコンバート機能を実現しているかは開示されていない。
【０００５】
本技術は、このような状況に鑑みてなされたものであり、より簡単な構成で、アップコンバート機能を有する高画質化処理を実現することができるようにするものである。
【課題を解決するための手段】
【０００６】
本技術の一側面の画像処理装置は、入力画像を高画質化した画像を予測画像として出力する際の、前記予測画像を構成する画素を注目画素として、前記注目画素に対応する前記入力画像の画素周辺の複数の周辺画素の画素値と、帯域制限及びノイズ付加の強度、並びに、前記注目画素と前記周辺画素それぞれとの位相に応じたフィルタ係数との積和演算により、前記注目画素の鮮鋭感向上の特徴量である鮮鋭感向上特徴量を演算する鮮鋭感向上用特徴量演算部と、前記鮮鋭感向上特徴量と、学習により予め求められた予測係数との積和演算で定義される予測式を演算することにより、前記注目画素の予測値を算出する予測演算部とを備える。
【０００７】
本技術の一側面の画像処理方法は、入力画像を高画質化した画像を予測画像として出力する際の、前記予測画像を構成する画素を注目画素として、前記注目画素に対応する前記入力画像の画素周辺の複数の周辺画素の画素値と、帯域制限及びノイズ付加の強度、並びに、前記注目画素と前記周辺画素それぞれとの位相に応じたフィルタ係数との積和演算により、前記注目画素の鮮鋭感向上の特徴量である鮮鋭感向上特徴量を演算し、演算により得られた前記鮮鋭感向上特徴量と、学習により予め求められた予測係数との積和演算で定義される予測式を演算することにより、前記注目画素の予測値を算出するステップを含む。
【０００８】
本技術の一側面のプログラムは、コンピュータに、入力画像を高画質化した画像を予測画像として出力する際の、前記予測画像を構成する所定の画素を注目画素として、前記入力画像の前記注目画素に対応する画素周辺の複数の周辺画素の画素値と、帯域制限及びノイズ付加の強度、並びに、前記注目画素と前記周辺画素それぞれとの位相に応じたフィルタ係数との積和演算により、前記注目画素の鮮鋭感向上の特徴量である鮮鋭感向上特徴量を演算し、演算により得られた前記鮮鋭感向上特徴量と、学習により予め求められた予測係数との積和演算で定義される予測式を演算することにより、前記注目画素の予測値を算出するステップを含む処理を実行させるためのものである。
【０００９】
本技術の一側面の記録媒体のプログラムは、コンピュータに、入力画像を高画質化した画像を予測画像として出力する際の、前記予測画像を構成する画素を注目画素として、前記注目画素に対応する前記入力画像の画素周辺の複数の周辺画素の画素値と、帯域制限及びノイズ付加の強度、並びに、前記注目画素と前記周辺画素それぞれとの位相に応じたフィルタ係数との積和演算により、前記注目画素の鮮鋭感向上の特徴量である鮮鋭感向上特徴量を演算し、演算により得られた前記鮮鋭感向上特徴量と、学習により予め求められた予測係数との積和演算で定義される予測式を演算することにより、前記注目画素の予測値を算出するステップを含む処理を実行させるためのものである。
【００１０】
本技術の一側面においては、入力画像を高画質化した画像を予測画像として出力する際の、予測画像を構成する画素を注目画素として、注目画素に対応する入力画像の画素周辺の複数の周辺画素の画素値と、帯域制限及びノイズ付加の強度、並びに、注目画素と周辺画素それぞれとの位相に応じたフィルタ係数との積和演算により、注目画素の鮮鋭感向上の特徴量である鮮鋭感向上特徴量が演算され、演算により得られた鮮鋭感向上特徴量と、学習により予め求められた予測係数との積和演算で定義される予測式を演算することにより、注目画素の予測値が算出される。
【００１１】
なお、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
【００１２】
画像処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
【発明の効果】
【００１３】
本技術の一側面によれば、より簡単な構成で、アップコンバート機能を有する高画質化処理を実現することができる。
【図面の簡単な説明】
【００１４】
【図１】本技術が適用される予測装置の一実施の形態に係る構成例を示すブロック図である。
【図２】波形クラス分類部の処理を説明する図である。
【図３】フィルタ係数の求め方を説明する図である。
【図４】フィルタ係数を学習するフィルタ係数学習装置の構成例を示すブロック図である。
【図５】２分木によるクラス分類を概念的に示した図である。
【図６】予測装置による予測処理を説明するフローチャートである。
【図７】学習装置の構成例を示すブロック図である。
【図８】学習対生成部の詳細な構成例を示すブロック図である。
【図９】タップの要素となる画素の例を示す図である。
【図１０】ラベリング部の処理を説明するヒストグラムである。
【図１１】学習対生成処理を説明するフローチャートである。
【図１２】係数学習処理を説明するフローチャートである。
【図１３】ラベリング処理の詳細を説明するフローチャートである。
【図１４】予測係数演算処理の詳細を説明するフローチャートである。
【図１５】判別係数演算処理の詳細を説明するフローチャートである。
【図１６】本技術が適用されたコンピュータの一実施の形態の構成例を示すブロック図である。
【発明を実施するための形態】
【００１５】
以下、本技術を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．本技術が適用される予測装置の構成例
２．予測装置で使用される予測係数等を学習する学習装置の構成例
【００１６】
＜１．予測装置の構成例＞
［予測装置のブロック図］
図１は、本技術が適用される画像処理装置としての予測装置の一実施の形態の構成例を示すブロック図である。
【００１７】
図１の予測装置１は、入力画像をアップコンバートした画像を生成し、出力する。即ち、予測装置１は、入力画像の画像サイズより大きい画像サイズの出力画像を予測処理により求めて出力する。
【００１８】
予測装置１の予測処理では、図６等を参照して後述する学習装置４１で学習された予測係数などが用いられる。この学習装置４１では、高画質の教師画像が入力され、その教師画像に対して、帯域制限およびノイズ付加が所定の強度で設定されて生成された画像を生徒画像として用いて、予測係数等が学習される。これにより、予測装置１では、帯域制限およびノイズ付加の観点から、入力画像を高画質化した画像を予測し、出力画像とすることができる。
【００１９】
予測装置１は、外部パラメータ取得部１０、注目画素設定部１１、及びタップ設定部１２を有する。
【００２０】
外部パラメータ取得部１０は、キーボード等の操作部（不図示）において、ユーザにより設定された外部パラメータを取得し、後述する位相予測／鮮鋭感向上特徴量演算部１３などに供給する。ここで取得される外部パラメータは、学習時の帯域制限の強度に応じた外部パラメータvolr、学習時のノイズ付加の強度に応じた外部パラメータvolqなどである。
【００２１】
注目画素設定部１１は、ユーザの指定などに基づく出力画像の画像サイズを決定するとともに、出力画像を構成する画素を、順次、注目画素として設定する。タップ設定部１２は、注目画素に対応する入力画像の画素（注目対応画素）周辺の複数の画素を選択し、タップとして設定する。
【００２２】
本実施の形態では、タップ設定部１２においてタップとして設定された画素がｘijであるとする（i=1,2,・・・,N,N=入力画像の画素数，j=1,2,・・・,M,M=タップ数）。なお、出力画像は入力画像がアップコンバートされたものであるため、出力画像の画素数N'（i'=1,2,・・・,N'）は入力画像の画素数Nより大となるが、以下では、入力画像と出力画像のいずれにも存在する画素で、入力画像の画素iに対応する画素が注目画素であるとして説明する。入力画像に存在しない出力画像の画素が注目画素である場合にも以下と同様に処理が可能である。
【００２３】
予測装置１は、位相予測／鮮鋭感向上特徴量演算部１３、波形クラス分類部１４、フィルタ係数DB１５、画像特徴量演算部１６、２分木クラス分類部１７、判別係数DB１８、予測係数DB１９、および予測演算部２０を有する。
【００２４】
位相予測／鮮鋭感向上特徴量演算部１３（以下、鮮鋭感特徴量演算部１３と称する。）は、注目画素iに対応する入力画像の周辺画素ｘijを用いて、次式（１）で表されるフィルタ演算（積和演算）を行い、注目画素iに対する位相予測／鮮鋭感向上特徴量parami,1およびparami,2を求める。位相予測／鮮鋭感向上特徴量parami,1およびparami,2は、注目画素iの特徴量を表す２つのパラメータであり、以下では、第１のパラメータparami,1と第２のパラメータparami,2ともいう。第１のパラメータparami,1と第２のパラメータparami,2とでは、画像に含まれる周波数帯の適用領域が異なる。例えば、第１のパラメータparami,1は、画像の低域成分（ローパス）に対応するパラメータであり、第２のパラメータparami,2は、画像の高域成分（ハイパス）または全周波数帯に対応するパラメータである。
【００２５】
【数１】
【００２６】
式（１）において、volrrは、学習時の帯域制限の強度r（ｒ＝０，・・・，R）に応じて外部から与えられる外部パラメータであり、volqqは、学習時のノイズ付加の強度q（q＝０，・・・，Q-R）に応じて外部から与えられる外部パラメータである。また、volhhは、生成画素（注目画素）と周辺画素ｘijとの水平方向の位相h（h＝０，・・・，H-(Q+R)）に応じて定まるパラメータであり、volvvは、生成画素（注目画素）と周辺画素ｘijとの垂直方向の位相v（v＝０，・・・，V-(H+Q+R)）に応じて定まるパラメータである。さらに、ｖj,p,r,q,h,vは、フィルタ係数に相当し、波形クラス分類部１４で分類された波形クラスに応じてフィルタ係数DB１５から取得されるものである。
【００２７】
波形クラス分類部１４は、注目画素周辺の波形パターンを、複数の波形クラスのなかの所定の波形クラスにクラス分類する。具体的には、波形クラス分類部１４は、注目画素iに対応する入力画像の周辺画素ｘijの波形パターンを所定の波形クラスにクラス分類することで、注目画素周辺の波形パターンをクラス分類する。
【００２８】
クラス分類を行う方法としては、例えば、ADRC(Adaptive Dynamic Range Coding)等を採用することができる。
【００２９】
ADRCを用いる方法では、周辺画素ｘijの画素値がADRC処理され、その結果得られるADRCコードにしたがって、注目画素iの波形クラス番号が決定される。
【００３０】
例えば、KビットADRCにおいては、周辺画素ｘijを構成する画素の画素値の最大値MAXと最小値MINが検出され、DR=MAX-MINを、集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、周辺画素ｘijを構成する画素値がKビットに再量子化される。即ち、周辺画素ｘijを構成する各画素の画素値から、最小値MINが減算され、その減算値がDR/2Kで除算（量子化）される。そして、以上のようにして得られる、周辺画素ｘijを構成するKビットの各画素の画素値を、所定の順番で並べたビット列が、ADRCコードとして出力される。
【００３１】
[ADRC処理によるクラス分類]
図２は、１ビットADRCにより注目画素iの波形クラス番号を求める例を示している。
【００３２】
周辺画素ｘijを構成する画素が１ビットADRC処理された場合には、その周辺画素ｘijを構成する各画素の画素値は、最大値MAXと最小値MINとの平均値で除算され（小数点以下切り捨て）、これにより、各画素の画素値が１ビットとされる（２値化される）。そして、その１ビットの画素値を所定の順番で並べたビット列が、ADRCコードとして出力される。このように周辺画素ｘijをADRC処理して得られるADRCコードを、波形クラス分類部１４は、波形クラス番号としてフィルタ係数DB１５に出力する。
【００３３】
図１に戻り、フィルタ係数DB１５は、波形クラスごとのフィルタ係数ｖj,p,r,q,h,vを記憶し、波形クラス分類部１４から供給される波形クラス番号に応じたフィルタ係数ｖj,p,r,q,h,vを鮮鋭感特徴量演算部１３に供給する。これにより、注目画素iの周辺画素ｘijの波形パターンを詳細に分類して適応処理することが可能となり、高性能な任意位相での予測処理を行うことができる。
【００３４】
［フィルタ係数の学習について］
波形クラスごとのフィルタ係数ｖj,p,r,q,h,vは、後述する判別係数ｚp,r,qおよび予測係数ｗk,r,qの学習より前に、別途学習により求められて、フィルタ係数DB１５に格納される。
【００３５】
そこでまず、波形クラスごとのフィルタ係数ｖj,p,r,q,h,vの学習について説明する。
【００３６】
初めに、上述した式（１）の意味について説明する。上述した式（１）は、ボリュームvolが、帯域制限、ノイズ付加、水平方向の画素位相（画素位置）、垂直方向の画素位相（画素位置）についての４種類ある場合の式であり、説明を簡単にするため、ボリュームvolが１種類の場合について考える。ボリュームvolが１種類の場合には、式（１）に対応する式は、式（２）で表される。
【００３７】
【数２】
【数３】
【００３８】
式（２）の一番右側の項は、式（３）で表される置き換えを行ったものであり、フィルタ係数としてのwjがvolrのR次式で表すことができることを意味する。式（２）のvolr（0≦volr≦1）は、例えば、鮮鋭感のレベルを表すボリューム軸の値（ボリューム軸値）である。ボリューム軸値volrの役割は、その値を制御することにより、各タップのフィルタ係数wjを連続的に変化させ、フィルタ演算結果画像の鮮鋭感の強弱を調整することにある。
【００３９】
式（３）のフィルタ係数ｖj,rは、後述するフィルタ係数学習装置において、教師画像の各画素tsの画素値と、その画素tsに対応する生徒画像の周辺画素ｘs,i,jの画素値から求められる予測値との二乗誤差を最小化する値として求められる。即ち、フィルタ係数ｖj,rは、式（４）を解くことにより求めることができる。
【００４０】
【数４】
【００４１】
式（４）において、ts及びｘs,i,jは、画素ts及び周辺画素ｘs,i,jの画素値（輝度値）を表し、samplenumは、学習に用いられるサンプル数に対応する。実際に学習する際には、図３に示すように９点等の離散的なボリューム軸値volrが設定され、それぞれに対応する学習対（教師画像と生徒画像の対）が用意される。そして、学習対のサンプルデータを用いて、式（４）を解くことにより、フィルタ係数ｖj,rが求められる。
【００４２】
図４は、フィルタ係数ｖj,rを学習するフィルタ係数学習装置の構成例を示すブロック図である。
【００４３】
図４のフィルタ係数学習装置３０は、学習対生成部３１、タップ設定部３２、タップ抽出部３３、波形クラス分類部３４、および正規方程式演算部３５により構成される。
【００４４】
フィルタ係数学習装置３０を構成する各部について、処理動作の順に説明する。
【００４５】
学習対生成部３１には、学習対を生成するための入力画像と、外部パラメータであるボリューム軸値volrが入力され、学習対生成部３１は、ボリューム軸値volrに対応する学習対（教師画像と生徒画像の対）のデータを生成する。なお、後述するように、生徒画像が入力画像として学習対生成部３１に入力され、生徒画像から教師画像を生成して学習対を生成する場合と、教師画像が入力画像として学習対生成部３１に入力され、教師画像から生徒画像を生成して学習対を生成する場合の両方があり得る。なお、教師画像と生徒画像の画像サイズは、後述するように同一にすることができる。
【００４６】
タップ設定部３２は、教師画像を構成する各画素を順次、注目画素に設定し、注目画素の周辺画素をタップとして設定する。ここで設定される周辺画素が、式（４）のｘs,i,jに相当する。
【００４７】
タップ抽出部３３は、タップ設定部３２の設定にしたがい、学習対生成部３１から供給される生徒画像から、注目画素の周辺画素ｘs,i,j（の画素値）をタップとして抽出する。抽出されたタップは、波形クラス分類部３４と正規方程式演算部３５に供給される。
【００４８】
波形クラス分類部３４は、図１の波形クラス分類部１４と同様の処理を行う。即ち、波形クラス分類部３４は、注目画素の周辺画素ｘs,i,j（の画素値）に基づいて、注目画素の波形パターンを所定の波形クラスに分類する。波形クラスに分類された結果である波形クラス番号が正規方程式演算部３５に供給される。
【００４９】
正規方程式演算部３５には、ボリューム軸値volrと波形クラス番号ごとに、注目画素の画素tsおよび周辺画素ｘs,i,jの画素値が、多数の学習対のサンプルデータについて集められる。正規方程式演算部３５は、波形クラスごとに式（４）を解くことにより、フィルタ係数ｖj,rを求める。
【００５０】
そして、フィルタ係数ｖj,rが求まると、ボリューム軸値volrを与えると、上述の式（３）により、フィルタ係数wjを求めることができる。
【００５１】
フィルタ係数ｖj,p,r,q,h,vを求める場合には、学習対生成部３１において生成される学習対のデータが、帯域制限、ノイズ付加、水平方向の画素位相、及び、垂直方向の画素位相のボリュームvolr，volq，volh，volvの様々な組み合わせによって生成される点が異なるだけで、基本的に同様に処理で求めることができる。帯域制限、ノイズ付加、水平方向の画素位相、及び、垂直方向の画素位相のボリュームvolr，volq，volh，volvを、様々な組み合わせにより求めた学習対のデータを用いてフィルタ係数ｖj,p,r,q,h,vを求めることにより、任意の帯域制限、ノイズ付加、水平方向の画素位相、及び、垂直方向の画素位相の画素値を求めるためのフィルタ係数ｖj,p,r,q,h,vを求めることができる。
【００５２】
なお、第１のパラメータparami,1を算出するためのフィルタ係数ｖj,p,r,q,h,vと、第２のパラメータparami,2を算出するためのフィルタ係数ｖj,p,r,q,h,vは、図４のフィルタ係数学習装置３０を用いて、別々に学習される。
【００５３】
フィルタ係数学習装置３０によるフィルタ係数学習処理において、教師画像と生徒画像との間の位相の関係は、第１のパラメータparami,1を算出する場合と、第２のパラメータparami,2を算出する場合とで合わせる必要がある。
【００５４】
一方、帯域制限については、第１のパラメータparami,1が画像の低域成分（ローパス）に対応するパラメータであり、第２のパラメータparami,2が画像の高域成分（ハイパス）または全周波数帯に対応するパラメータであるので、第１のパラメータparami,1を算出する場合と、第２のパラメータparami,2を算出する場合とで異なるようにする必要がある。
【００５５】
その際、第１のパラメータparami,1を算出するためのフィルタ係数ｖj,p,r,q,h,vは、ローパスの特徴を有する必要があるので、教師画像は生徒画像よりもボケた画像とする必要がある。そのため、学習対生成部３１では、入力画像として生徒画像が入力され、生徒画像に対して、適宜、帯域制限、位相シフト、ノイズ付加を行って教師画像が生成される。
【００５６】
一方、第２のパラメータparami,2を算出するためのフィルタ係数ｖj,p,r,q,h,vは、ハイパスまたは全帯域パスの特徴を有する必要があるので、入力画像として教師画像が入力され、教師画像に対して、適宜、位相シフト、ノイズ付加、帯域制限を行って生徒画像が生成される。
【００５７】
ノイズの付加については、第１のパラメータparami,1を算出する場合と、第２のパラメータparami,2を算出する場合とで同一でもよいし、異なるようにしてもよい。
【００５８】
以上のようにして学習され、フィルタ係数DB１５に記憶されているフィルタ係数ｖj,p,r,q,h,vは、波形クラス分類部１４で分類された波形クラスに対応するものである。これにより、式（１）で得られる位相予測／鮮鋭感向上特徴量parami,1およびparami,2は、注目画素iに対応する入力画像の周辺画素ｘijの波形パターンに応じた適切なものとなる。
【００５９】
そして、式（１）で得られる位相予測／鮮鋭感向上特徴量parami,1およびparami,2には、ノイズや帯域を加味しながら、鮮鋭感を向上させる予測処理を任意位相で行うための情報が含まれる。
【００６０】
図１に戻って、画像特徴量演算部１６は、注目画素iの画像特徴量を演算する。具体的には、画像特徴量演算部１６は、以下の式（５）乃至式（７）で表される、注目画素iに対応する周辺画素ｘijの最大値xi(max)および最小値xi(min)、並びに隣接画素の差分絶対値の最大値|xi'|(max)を求める。注目画素iに対応する周辺画素ｘijの最大値xi(max)および最小値xi(min)、並びに隣接画素の差分絶対値の最大値|xi'|(max)を、それぞれ、注目画素iの第３のパラメータparami,p=3および第４のパラメータparami,p=4、並びに第５のパラメータparami,p=5ともいう。
【００６１】
【数５】
【００６２】
式（７）において、(h),(v),(s1),(s2)それぞれは、隣接差分を計算する方向が水平方向、垂直方向、右上斜め方向、右下斜め方向であることを表し、O,P.Qそれぞれは、水平方向、垂直方向、斜め方向（右上・右下）の隣接画素の算出個数に対応する。第５のパラメータparami,p=5は、水平方向、垂直方向、右上斜め方向、右下斜め方向の全ての差分絶対値の最大値のなかの、さらに最大値とされる。なお、入力画像と出力画像の画素位置（位相）が一致しない注目画素の画素値は、画素位置が一致する周辺の画素の加重平均等で求めることができ、その場合の計算に、第３乃至第５のパラメータparami,p=3乃至parami,p=5を使用することもできる。
【００６３】
本実施の形態において、第１乃至第５のパラメータparami,p=1乃至parami,p=5それぞれを計算する際に設定される周辺画素ｘij（j=1,2,・・・,M）は、説明を簡単にするため同一であるとするが、別々にしてもよい。即ち、周辺画素ｘij（j=1,2,・・・,M）のMの値は、第１乃至第５のパラメータparami,p=1乃至parami,p=5それぞれで異なっていてもよい。
【００６４】
２分木クラス分類部１７は、鮮鋭感特徴量演算部１３および画像特徴量演算部１６から供給される第１乃至第５のパラメータparami,p=1乃至parami,p=5を用いて、２分木構造を用いたクラス分類を行う。そして、２分木クラス分類部１７は、クラス分類した結果である予測クラス番号（予測クラスコード）Ckを予測係数DB１９に出力する。
【００６５】
[２分木クラス分類部１７のクラス分類]
図５は、２分木構造を用いたクラス分類を概念的に示した図である。なお、図５は、８つのクラスにクラス分類する場合の例である。
【００６６】
２分木クラス分類部１７は、分岐点番号１ないし７の各分岐点において、次式（８）の線形予測式を用いて判別予測値diを演算する。
【００６７】
【数６】
【００６８】
式（８）において、volrrおよびvolqqは、式（１）と同様の外部パラメータであり、ｚp,r,qは、各分岐点において予め学習により求められた判別係数であり、判別係数DB１８から取得される。なお、式（８）におけるR',Q'は、ｒおよびｑの次数が式（１）のR,Qとは異なっていてもよいことを表す。
【００６９】
より具体的に説明すると、初めに、２分木クラス分類部１７は、分岐点番号１の分岐点において、式（８）を演算し、得られた判別予測値diが０未満か、または、０以上であるかを判定する。分岐点番号１の分岐点における式（８）の演算では、予め学習により得られている分岐点番号１の分岐点用の判別係数ｚp,r,qが、判別係数DB１８から取得されて代入される。
【００７０】
分岐点番号１の分岐点における式（８）の判別予測値diが０未満である場合、２分木クラス分類部１７は、'0'をコードとして割り当て、分岐点番号２の分岐点へ降下する。一方、分岐点番号１の分岐点における式（８）の判別予測値diが０以上である場合、２分木クラス分類部１７は、'１'をコードとして割り当て、分岐点番号３の分岐点へ降下する。
【００７１】
分岐点番号２の分岐点では、２分木クラス分類部１７は、さらに、式（８）を演算し、得られた判別予測値diが０未満か、または、０以上であるかを判定する。分岐点番号２の分岐点における式（８）の演算では、予め学習により得られている分岐点番号２の分岐点用の判別係数ｚp,r,qが、判別係数DB１８から取得されて代入される。
【００７２】
分岐点番号２の分岐点における式（８）の判別予測値diが０未満である場合、２分木クラス分類部１７は、先に割り当てたコード'0'の下位のコードとして'0'を割り当て、分岐点番号４の分岐点へ降下する。一方、分岐点番号２の分岐点における式（８）の判別予測値diが０以上である場合、２分木クラス分類部１７は、先に割り当てたコード'0'の下位のコードとして'１'を割り当て、分岐点番号５の分岐点へ降下する。
【００７３】
その他の分岐点番号３乃至７においても、同様の処理が行われる。これにより、図５の例では、式（８）の判別予測値diの演算が３回行われ、３桁のコードが割り当てられる。この割り当てられた３桁のコードが予測クラス番号Ckとなる。２分木クラス分類部１７では、外部パラメータvolrrおよびvolqqを制御することにより、所望の帯域およびノイズ量に応じたクラス分類が可能となる。
【００７４】
図１に戻り、判別係数DB１８は、上述した２分木構造を用いたクラス分類を行う際の各分岐点の判別係数ｚp,r,qを記憶する。
【００７５】
予測係数DB１９は、２分木クラス分類部１７で算出される予測クラス番号Ckごとに、後述する学習装置４１（図７）で予め算出された予測係数ｗk,r,qを記憶する。
【００７６】
予測演算部２０は、次式（９）で表される位相予測／鮮鋭感向上特徴量parami,1およびparami,2と予測係数ｗk,r,qの積和演算で定義される予測式を計算することにより、注目画素iの予測値（出力画素値）を算出する。
【００７７】
【数７】
式（９）におけるR”,Q”は、ｒおよびｑの次数が式（１）のR,Qおよび式（８）のR',Q'とは異なっていてもよいことを表す。
【００７８】
［予測処理のフローチャート］
次に、図６のフローチャートを参照して、入力画像をアップコンバートし、かつ、高画質化した画像を予測生成する予測処理について説明する。この処理は、例えば、入力画像が入力されたとき、開始される。なお、出力画像の画像サイズは、図６の処理開始前に設定されているものとする。
【００７９】
初めに、ステップＳ１において、外部パラメータ取得部１０は、ユーザにより設定された外部パラメータvolr及びvolqを取得し、鮮鋭感特徴量演算部１３及び２分木クラス分類部１７に供給する。
【００８０】
ステップＳ２において、注目画素設定部１１とタップ設定部１２は、注目画素とタップを設定する。即ち、注目画素設定部１１が、生成する予測画像を構成する画素のうちの所定の画素を注目画素に設定する。そして、タップ設定部１２が、注目画素に対応する入力画像の画素周辺の複数の画素を、タップとして設定する。
【００８１】
ステップＳ３において、画像特徴量演算部１６は、注目画素iの第３乃至第５のパラメータparami,p=3,4,5を求める。具体的には、画像特徴量演算部１６は、式（５）乃至式（７）で表される、周辺画素ｘijの最大値xi(max)および最小値xi(min)、並びに隣接画素の差分絶対値の最大値|xi'|(max)を求める。周辺画素ｘijの最大値xi(max)が第３のパラメータparami,3となり、周辺画素ｘijの最小値xi(min)が第４のパラメータparami,4となり、差分絶対値の最大値|xi'|(max)が第５のパラメータparami,5となる。
【００８２】
ステップＳ４において、波形クラス分類部１４は、注目画素の波形パターンを所定の波形クラスにクラス分類する。例えば、波形クラス分類部１４は、注目画素iに対応する入力画像の周辺画素ｘijの画素値を１ビットADRC処理し、その結果得られるADRCコードを、波形クラス番号として出力する。
【００８３】
ステップＳ５において、鮮鋭感特徴量演算部１３は、注目画素iの第１と第２のパラメータparami,p=1,2を求める。具体的には、鮮鋭感特徴量演算部１３は、波形クラス番号に基づいてフィルタ係数DB１５から取得したフィルタ係数ｖj,p,r,q,h,v、外部パラメータ取得部１０から供給された外部パラメータvolrr及びvolqq、並びに、注目画素と周辺画素ｘijとの水平方向及び垂直方向の位相（位置）に応じて定まるパラメータvolhh及びvolvvを用いて、式（１）で表されるフィルタ演算を行う。
【００８４】
ステップＳ６において、２分木クラス分類部１７は、ステップＳ３およびステップＳ５で算出された第１乃至第５のパラメータparami,p=1乃至parami,p=5を用いて、２分木によるクラス分類を行う。そして、２分木クラス分類部１７は、クラス分類した結果である予測クラス番号Ckを予測係数DB１９に出力する。
【００８５】
ステップＳ７において、予測演算部２０は、式（９）で表される予測式を計算することにより、注目画素iの予測値（出力画素値）を算出する。
【００８６】
ステップＳ８において、注目画素設定部１１は、予測画像を構成する全ての画素を、注目画素に設定したかを判定する。
【００８７】
ステップＳ８で、まだ全ての画素を注目画素に設定していないと判定された場合、処理はステップＳ２に戻り、上述したステップＳ２乃至Ｓ８の処理が繰り返される。即ち、まだ注目画素に設定されていない予測画像の画素が次の注目画素に設定され、予測値が算出される。
【００８８】
一方、ステップＳ８で、全ての画素を注目画素に設定したと判定された場合、処理はステップＳ９に進み、予測演算部２０は、生成した予測画像を出力して、処理を終了する。
【００８９】
以上のようにして、予測装置１では、入力画像をアップコンバートし、かつ、高画質化（鮮鋭化）した画像を予測画像として生成して、出力することができる。
【００９０】
＜２．学習装置の構成例＞
次に、上述した予測装置１で使用される予測係数ｗk,r,qなどを、学習により求める学習装置について説明する。
【００９１】
［学習装置のブロック図］
図７は、学習装置４１の構成例を示すブロック図である。
【００９２】
学習装置４１には、学習の教師となる教師画像が入力画像として入力され、学習対生成部５１に供給される。
【００９３】
学習対生成部５１は、入力画像である教師画像から生徒画像を生成し、学習処理させるための教師画像と生徒画像の対のデータ（学習対）を生成する。学習対生成部５１では、生成される生徒画像が、予測装置１に入力される画像を模擬したものとなるように、多種多様な学習対の画像を生成することが望ましい。従って、入力画像には、自然画だけでなく、人工画も含まるようにする。ここで、自然画とは、自然界に存在するものをそのまま撮像することにより得られる画像である。また、人工画とは、文字や単純な図形などの、階調が少なく、エッジの位置を表す位相情報が自然画よりはっきりした、すなわち、平坦部分が多い人工的な画像である。テロップやCG (Computer Graphics)画像は、人工画に含まれる。
【００９４】
［学習対生成部５１の詳細構成例］
図８は、学習対生成部５１の詳細な構成例を示すブロック図である。
【００９５】
学習対生成部５１は、帯域制限／位相シフト部７１、ノイズ付加部７２、及び強度設定部７３を少なくとも有する。ダウンサンプリング部７４は、必要に応じて設けられる。
【００９６】
帯域制限／位相シフト部７１は、入力画像に対して、入力画像に含まれる周波数帯のうち所定の周波数帯域を制限（カット）する処理を行う帯域制限処理、及び、入力画像の各画素の位相（位置）をシフトする位相シフト処理を行う。帯域制限の強度（例えば、帯域幅）および位相シフトの強度（例えば、位相量）は、強度設定部７３により設定される。
【００９７】
ノイズ付加部７２は、帯域制限／位相シフト部７１から供給される画像（入力画像）に対して、撮像時または信号伝送時に発生するノイズや符号化歪みに対応するノイズを付加した画像を生成し、処理後の画像を生徒画像として出力する。ノイズの強度は、強度設定部７３により設定される。
【００９８】
強度設定部７３は、帯域制限／位相シフト部７１に対して帯域制限および位相シフトの強度を設定するとともに、ノイズ付加部７２に対してノイズの強度を設定する。
【００９９】
ダウンサンプリング部７４は、入力画像の画像サイズを、所定の画像サイズにダウンサンプリング処理し、処理後の画像を、生徒画像として出力する。例えば、ダウンサンプリング部７４は、HDサイズの入力画像を、SDサイズにダウンサンプリングして出力する。なお、詳細は後述するが、ダウンサンプリング部７４は省略することができる。
【０１００】
また、学習対生成部５１は、入力された入力画像を、そのまま教師画像として出力する。
【０１０１】
図７の学習対生成部５１より後段では、入力画像として入力された高画質の教師画像と、その教師画像に対して、帯域制限処理、位相シフト処理、およびノイズ付加処理が所定の強度で実行された後、必要に応じてダウンサンプリングされて得られる生徒画像を用いて、上述した予測係数ｗk,r,q等が学習される。
【０１０２】
従って、予測装置１では、入力画像をアップコンバートし、かつ、高画質化（鮮鋭化）した画像を予測画像として出力することができる。また、入力画像をノイズ除去した画像を予測画像として出力することができる。
【０１０３】
さらに、位相シフトのシフト量を様々な値とすることで、任意の位相の画素を予測することができるようになり、任意倍率ズームをした画像であって、高画質化（鮮鋭化）した画像を予測画像として出力することができる。
【０１０４】
図７の説明に戻り、注目画素設定部５２は、教師画像を構成する各画素を、順次、注目する注目画素として設定する。注目画素設定部５２で設定された注目画素に対して、学習装置４１の各部の処理が行われる。
【０１０５】
タップ設定部５３は、注目画素に対応する生徒画像の画素（注目対応画素）周辺の複数の画素を選択し、タップとして設定する。
【０１０６】
図９は、タップの要素となる画素の例を示す図である。同図は、水平方向をｘ軸で表し、垂直方向をｙ軸で表した２次元の図である。
【０１０７】
学習対生成部５１においてダウンサンプリング部７４が設けられ、学習対生成部５１から出力される生徒画像の画像サイズが教師画像より小さいとし、図９において黒色が付された画素xi13が注目対応画素であるとする。この場合、タップ設定部５３は、例えば、注目対応画素xi13の周辺の２５個の画素ｘi1乃至xi25をタップとして設定する。ここで、iは、生徒画像を構成する画素を特定する変数（i=1,2,・・・,N,N=全サンプル数）である。
【０１０８】
一方、学習対生成部５１においてダウンサンプリング部７４が省略され、学習対生成部５１から出力される生徒画像の画像サイズが教師画像と同一であり、図９が、そのような生徒画像の注目対応画素周辺を示しているとする。この場合、タップ設定部５３は、斜線を付して示される、注目対応画素xi13周辺の２５個の画素ｘi2, ｘi3, ｘi4, ｘi5, ｘi9,ｘi11,ｘi15,ｘi17,・・・をタップとして設定する。
【０１０９】
仮に、ダウンサンプリング部７４が教師画像に対して１ライン（画素列／画素行）おきに間引き、生徒画像を生成したとすると、例えば、間引いた画像としての画素ｘi12と、間引かない画像としての画素ｘi11は同一となる。このように、学習対生成部５１から出力される生徒画像の画像サイズが教師画像と同一である場合には、設定するタップの間隔を疎にすることで、ダウンサンプリング処理と等価となる（ダウンサンプリング処理をしていることになる）。従って、学習対生成部５１においてダウンサンプリング部７４は省略が可能である。以下では、タップの間隔を疎にするようにタップが設定されるものとし、教師画像と生徒画像の画像サイズは同一であるとする。
【０１１０】
学習対生成部５１で生成された生徒画像は、予測係数学習部６１、予測演算部６３、判別係数学習部６５、および判別予測部６７に供給される。
【０１１１】
図７に戻って、フィルタ係数記憶部５４は、図４のフィルタ係数学習装置３０で学習され、予測装置１のフィルタ係数DB１５に記憶されるものと同一の、波形クラスごとのフィルタ係数ｖj,p,r,q,h,vを記憶する。
【０１１２】
フィルタ係数取得部５５は、図１の波形クラス分類部１４と同様に、注目画素の周辺画素ｘs,i,j（の画素値）に基づいて、注目画素の波形パターンを所定の波形クラスに分類し、分類結果である波形クラス（波形クラス番号）に対応するフィルタ係数ｖj,p,r,q,h,vを、予測係数学習部６１や予測演算部６３などに供給する。
【０１１３】
予測係数学習部６１は、生徒画像の注目対応画素とその周辺の画素ｘijの画素値から、注目画素の画素値を予測するための予測演算式の予測係数ｗk,r,qを学習する。ここで、予測係数学習部６１には、後述するように、クラス分割部６８から、２分木によるクラス分類を行った結果である予測クラス番号（予測クラスコード）Ckが供給される。よって、予測係数学習部６１は、予測クラス番号Ckの予測係数ｗk,r,qを学習する。
【０１１４】
式（９）のparami,1およびparami,2は、上述の式（１）で表され、式（１）のvolrr、volqq、volhh、及びvolvvは、学習対生成部５１の強度設定部７３で設定される強度r,qや、注目画素と周辺画素ｘijとの位相h,vに応じて決定されるパラメータ（固定値）である。従って、式（９）は、予測係数ｗk,r,qの線形予測式であるから、教師画像の画素値ti（すなわち真値ti）と注目画素の画素値yiとの誤差を最小とするような最小二乗法を解くことにより、予測係数ｗk,r,qを求めることができる。
【０１１５】
予測係数記憶部６２は、予測係数学習部６１で求められた予測演算式の予測係数ｗk,r,qを記憶する。
【０１１６】
予測演算部６３は、予測係数記憶部６２に記憶されている予測係数ｗk,r,qと、フィルタ係数取得部５５から供給されるフィルタ係数ｖj,p,r,q,h,vを用いて、注目画素の画素値yiを予測する。予測演算部６３は、予測装置１の予測演算部２０と同様の、式（９）で表される予測式を用いて、注目画素の画素値yiを予測する。注目画素の画素値yiを予測値yiともいう。
【０１１７】
ラベリング部６４は、予測演算部６３により演算された予測値yiを、教師画像の注目画素の画素値である真値tiと比較する。ラベリング部６４は、例えば、予測値yiが真値ti以上となった注目画素を判別クラスＡとしてラベリングし、予測値yiが真値ti未満となった注目画素を判別クラスＢとしてラベリングする。すなわち、ラベリング部６４は、予測演算部６３の演算結果に基づいて、注目画素を判別クラスＡと判別クラスＢに分類する。
【０１１８】
図１０は、ラベリング部６４の処理を説明するヒストグラムである。同図の横軸は、予測値yiから真値tiを引いた差分値を表し、縦軸は、その差分値が得られたサンプル（教師画像の画素と生徒画像の画素との組み合わせ）の相対頻度を表している。
【０１１９】
同図に示されるように、予測演算部６３の演算により、予測値yiから真値tiを引いた差分値が０となったサンプルの頻度が最も高くなっている。差分値が０である場合、予測演算部６３により正確な予測値（＝真値）が演算されたことになり、適切に高画質化の処理がなされたことになる。すなわち、予測係数学習部６１により予測係数ｗk,r,qが学習されたので、式（９）により正確な予測値が演算される可能性は高いといえる。
【０１２０】
しかし、差分値が０以外のものについては、正確な回帰予測がなされたとはいえない。そうであれば、より適切な予測係数ｗk,r,qを学習する余地があると考えられる。
【０１２１】
本技術では、例えば、予測値yiが真値ti以上となった注目画素のみを対象として予測係数ｗk,r,qを学習すれば、それらの注目画素に対してより適切な予測係数ｗk,r,qを学習することができ、予測値yiが真値ti未満となった注目画素のみを対象として予測係数ｗk,r,qを学習すれば、それらの注目画素に対してより適切な予測係数ｗk,r,qを学習することができると仮定する。このため、ラベリング部６４は、予測演算部６３の演算結果に基づいて、注目画素を判別クラスＡ（コード'0'）と判別クラスＢ（コード'1'）に分類する。なお、判別クラスＡが、上述した２分木によるクラス分類のコード'0'に対応し、判別クラスＢが、２分木によるクラス分類のコード'1'に対応する。
【０１２２】
そして、この後、判別係数学習部６５の処理によって、生徒画像の画素値に基づいて、注目画素を判別クラスＡ（コード'0'）と判別クラスＢ（コード'1'）に分類するための予測演算に用いられる判別係数ｚk,r,qが学習されるのである。すなわち、本技術においては、真値が不明であっても、入力画像の画素値に基づいて、教師画像の注目画素を判別クラスＡと判別クラスＢに分類できるようにするのである。
【０１２３】
なお、ここでは、予測値yiが真値ti以上となった注目画素と、予測値yiが真値ti未満となった注目画素とを判別してラベリングする例について説明したが、他の方式でラベリングするようにしてもよい。例えば、予測値yiと真値tiの差分絶対値が予め設定された閾値未満の値となった注目画素を判別クラスＡとしてラベリングし、予測値yiと真値tiの差分絶対値が予め設定された閾値以上の値となった注目画素を判別クラスＢとしてラベリングするようにしてもよい。さらに、それ以外の方式で注目画素を判別クラスＡと判別クラスＢにラベリングしてもよい。以下では、予測値yiが真値ti以上となった注目画素と、予測値yiが真値ti未満となった注目画素とを判別してラベリングする場合の例について説明する。
【０１２４】
図７に戻って、判別係数学習部６５は、注目対応画素周辺の周辺画素ｘijの画素値から、判別クラスＡ（コード'0'）と判別クラスＢ（コード'1'）を判定するための予測値の演算に用いられる判別係数ｚk,r,qを、例えば、最小二乗法を用いて学習する。
【０１２５】
判別係数ｚk,r,qの学習においては、注目対応画素周辺の周辺画素ｘijから、判別クラスＡと判別クラスＢを判定するための判別予測値ｙi'が式（１０）により求められるものとする。なお、式（１０）の計算には、注目画素を複数の波形クラスのうちの所定の波形クラスに分類した結果の波形クラスに対応するフィルタ係数ｖj,p,r,q,h,vが、フィルタ係数取得部５５から供給されて用いられる。
【０１２６】
【数８】
【０１２７】
判別係数学習部６５は、式（１０）の判別予測値ｙi'を、真値tiとの関係式である次式（１１）に代入し、式（１１）の誤差項の全サンプル分の自乗和を式（１２）により演算する。
【０１２８】
【数９】
【０１２９】
式（１２）のＳ(AB)は、以下の式（１３）により求められる値を要素とする行列である。
【数１０】
【０１３０】
式（１３）のＮAとＮBは、それぞれ判別クラスＡと判別クラスＢに属するサンプルの総数である。また、式（１３）のＳjk(A)とＳjk(B)は、それぞれ判別クラスＡと判別クラスＢに属するサンプル（タップ）を用いて求めた分散・共分散値であり、式（１４）により求められる。
【０１３１】
【数１１】
【０１３２】
【数１２】
【０１３３】
このようにして学習された判別係数ｚk,r,qは、タップの要素数と同じ要素数のベクトルとなる。学習された判別係数ｚk,r,qは、判別係数記憶部６６に供給され、記憶される。
【０１３４】
学習された判別係数ｚk,r,qを用いて判別予測部６７により判別予測値ｙi'が演算されて、注目画素が判別クラスＡに属するものであるか判別クラスＢに属するものであるかを判定することができる。判別予測部６７は、式（１０）に注目対応画素の周辺画素ｘijの画素値と判別係数ｚk,r,qを代入して判別予測値yi'を演算する。
【０１３５】
そして、判別予測部６７による演算の結果、判別予測値yi'が０以上となった注目画素は、判別クラスＡに属する画素であり、判別予測値yi'が０未満となった注目画素は、判別クラスＢに属する画素であるものと推定できる。
【０１３６】
しかしながら、判別予測部６７による演算の結果に基づく推定が必ずしも真実であるとは限らない。すなわち、式（１０）により演算された判別予測値yi'は、教師画像の画素値（真値）に係らず、生徒画像の画素値から予測した結果であるから、実際には判別クラスＡに属する画素が判別クラスＢに属する画素として推定されてしまったり、実際には判別クラスＢに属する画素が判別クラスＡに属する画素として推定されてしまうことがある。
【０１３７】
そこで、本技術においては、反復して判別係数ｚk,r,qを学習させることにより、より精度の高い予測を可能とする。
【０１３８】
すなわち、クラス分割部６８が、判別予測部６７の予測結果に基づいて、生徒画像を構成する各画素を、判別クラスＡ（コード'0'）に属する画素と判別クラスＢ（コード'1'）に属する画素とに分割する。
【０１３９】
そして、予測係数学習部６１が、クラス分割部６８により判別クラスＡに属する画素のみを対象として、上述した場合と同様に予測係数ｗk,r,qを学習して予測係数記憶部６２に記憶する。予測演算部６３は、クラス分割部６８により判別クラスＡに属するとされた画素のみを対象として、上述した場合と同様に式（９）の予測式を用いて予測値yiを演算する。
【０１４０】
このようにして、得られた予測値yiと真値tiとを比較して、ラベリング部６４がクラス分割部６８により判別クラスＡ（コード'0'）に属するとされた画素を、さらに判別クラスＡ（コード'0'）と判別クラスＢ（コード'1'）にラベリングする。
【０１４１】
また、予測係数学習部６１が、クラス分割部６８により判別クラスＢに属するとされた画素のみを対象として、上述した場合と同様に予測係数ｗk,r,qを学習する。予測演算部６３は、クラス分割部６８により判別クラスＢに属するとされた画素のみを対象として、上述した場合と同様に式（９）の予測式を用いて予測値yiを演算する。
【０１４２】
このようにして、得られた予測値yiと真値tiとを比較して、ラベリング部６４がクラス分割部６８により判別クラスＢ（コード'1'）に属するとされた画素を、さらに判別クラスＡ（コード'0'）と判別クラスＢ（コード'1'）にラベリングする。
【０１４３】
つまり、生徒画像の画素が、４つの集合に分割されることになる。第１の集合は、クラス分割部６８により判別クラスＡに属するとされた画素であって、ラベリング部６４により判別クラスＡにラベリングされた画素の集合（コード'00'）である。第２の集合は、クラス分割部６８により判別クラスＡに属するとされた画素であって、ラベリング部６４により判別クラスＢにラベリングされた画素の集合（コード'01'）である。第３の集合は、クラス分割部６８により判別クラスＢに属するとされた画素であって、ラベリング部６４により判別クラスＡにラベリングされた画素の集合（コード'10'）である。第４の集合は、クラス分割部６８により判別クラスＢに属するとされた画素であって、ラベリング部６４により判別クラスＢにラベリングされた画素の集合（コード'11'）である。
【０１４４】
このように、判別係数学習部６５によって学習される、判別クラスＡ（コード'0'）と判別クラスＢ（コード'1'）に分類するための判別係数ｚk,r,qが、図５に示した、２分木によるクラス分類において、分岐点番号ごと取得される判別係数ｚp,r,qとなる。即ち、１回目に判別クラスＡ（コード'0'）と判別クラスＢ（コード'1'）に分類するための判別係数ｚk,r,qが、分岐点番号１の判別係数ｚp,r,qに相当する。また、１回目に判別クラスＡ（コード'0'）に属するとされた画素に対して、判別クラスＡ（コード'0'）と判別クラスＢ（コード'1'）に分類するための判別係数ｚk,r,qが、分岐点番号２の判別係数ｚp,r,qに相当する。判別係数記憶部６６に記憶された各分岐点の判別係数ｚp,r,qが、予測装置１に供給され、判別係数DB１８に記憶される。
【０１４５】
判別クラスＡと判別クラスＢに対応するコードを、反復回数順に、上位から下位ビットに繋げた値が予測クラス番号（予測クラスコード）Ckに対応している。従って、３回反復して判別を行った場合、図５に示したような、３ビットからなるコードが予測クラス番号Ckとされる。また、上述した反復処理では、予測クラス番号Ckに対応する予測係数ｗk,r,qも求められている。反復処理において求められ、予測係数記憶部６２に記憶された予測クラス番号Ckごとの予測係数ｗk,r,qは、予測装置１に供給され、予測係数DB１９に記憶される。
【０１４６】
なお、予測装置１の２分木クラス分類部１７における判別予測において、適応的に反復回数を減らすことで、処理のロバスト化や高速化を図ることも可能である。そのようにする場合には各分岐点において用いられた予測係数ｗk,r,qも必要になる。
【０１４７】
ここでは、主として、判別係数ｚk,r,qの学習が３回反復して行われる例について説明したが、反復回数は、１回であってもよい。すなわち、第１回目の判別係数ｚk,r,qの学習が終了した後、判別係数学習部６５による判別係数ｚk,r,qの演算、判別予測部６７による判別予測が繰り返し実行されないようにしてもよい。
【０１４８】
［学習対生成処理のフローチャート］
次に、フローチャートを参照して、分岐点ごとの判別係数ｚk,r,q、および、予測クラス番号Ckごとの予測係数ｗk,r,qを学習する処理について説明する。
【０１４９】
初めに、図１１のフローチャートを参照して、学習装置４１の学習対生成部５１による学習対生成処理について説明する。この処理は、所定の入力画像が学習対生成部５１に供給されたとき、開始される。
【０１５０】
ステップＳ２１において、強度設定部７３は、帯域制限、位相シフト、及びノイズの強度を設定する。即ち、強度設定部７３は、帯域制限／位相シフト部７１に対して、帯域制限および位相シフトの強度を設定し、ノイズ付加部７２に対して、ノイズの強度を設定する。例えば、帯域制限の強度に応じて帯域幅が決定され、位相シフトの強度に応じて位相量（シフト量）が決定され、ノイズの強度に応じて付加するノイズ量が決定される。
【０１５１】
ステップＳ２２において、帯域制限／位相シフト部７１は、設定された強度に応じて、入力画像に含まれる周波数帯のうち所定の周波数帯域を制限する処理を行う帯域制限処理、及び、入力画像の各画素の位相をシフトする位相シフト処理を入力画像に対して行う。設定される強度の値によっては、帯域制限処理または位相シフト処理のいずれか一方が実質的に行われない場合もある。
【０１５２】
ステップＳ２３において、ノイズ付加部７２は、帯域制限／位相シフト部７１から供給される画像に、設定された強度に応じたノイズを付加した画像を生成する。
【０１５３】
ステップＳ２４において、ダウンサンプリング部７４は、ノイズ付加後の画像を、所定の画像サイズにダウンサンプリングする。ステップＳ２４の処理は、上述したように省略することができる。
【０１５４】
ステップＳ２５において、学習対生成部５１は、生徒画像と教師画像の対を出力する。即ち、学習対生成部５１は、ダウンサンプリング後の画像を、生徒画像として出力するとともに、入力されたままの入力画像を、教師画像として出力する。
【０１５５】
ステップＳ２６において、学習対生成部５１は、学習対の生成を終了するか否かを判定する。例えば、学習対生成部５１は、多種多様な学習対の画像を生成したと判定されるまで、入力画像に対して、帯域制限、位相シフト、及びノイズの強度を、予め決定した各種の値に設定し、学習対の画像を生成した場合、学習対の生成を終了すると判定する。
【０１５６】
ステップＳ２６で、学習対の生成をまだ終了しないと判定された場合、処理はステップＳ２１に戻り、それ以降の処理が繰り返される。これにより、入力画像に対して、帯域制限、位相シフト、及びノイズの強度が、予め決定した次の値に設定された学習対が生成される。
【０１５７】
一方、ステップＳ２６で、学習対の生成を終了すると判定された場合、学習対生成処理は終了する。
【０１５８】
学習対生成部５１には、様々な周波数帯域が含まれるものや、自然画、人工画などの様々な画像の種類のものなど、多種多様な画像が、入力画像として供給される。学習対生成部５１に、入力画像が供給される都度、図１１を参照して説明した処理を実行する。これにより、多数の入力画像それぞれに対して、帯域制限、位相シフト、及びノイズの強度が様々な値に設定されて、教師画像と生徒画像の対（学習対）のデータが、多数、生成される。
【０１５９】
［係数学習処理のフローチャート］
次に、図１２のフローチャートを参照して、生成された教師画像と生徒画像の対を用いて、予測係数ｗk,r,q等を学習する係数学習処理について説明する。
【０１６０】
ステップＳ１０１において、判別係数学習部６５は、分岐点を特定する。いまの場合、第１回目の学習の処理であるから分岐点番号１の分岐点と特定される。
【０１６１】
ステップＳ１０２において、予測係数学習部６１乃至ラベリング部６４は、ラベリング処理を実行する。
【０１６２】
ここで、図１３のフローチャートを参照して、ステップＳ１０２のラベリング処理の詳細について説明する。
【０１６３】
ステップＳ１３１において、予測係数学習部６１は、図１４に示す予測係数演算処理を実行する。これにより、生徒画像の画素値に基づいて教師画像の画素値を予測するための演算に用いられる予測係数ｗk,r,qが求められる。
【０１６４】
ステップＳ１３２において、予測演算部６３は、ステップＳ１３１の処理により求められた予測係数ｗk,r,qを用いて予測値ｙiを演算する。即ち、予測演算部６３は、式（９）で表される予測式を用いて、注目画素の画素値yiを予測する。
【０１６５】
ステップＳ１３３において、ラベリング部６４は、ステップＳ１３２の処理により得られた予測値yiを、教師画像の画素値である真値tiと比較する。
【０１６６】
ステップＳ１３４において、ラベリング部６４は、ステップＳ１３３の比較結果に基づいて、注目画素（実際には、注目画素に対応するタップ）を判別クラスＡまたは判別クラスＢにラベリングする。
【０１６７】
なお、ステップＳ１３２乃至ステップＳ１３４の処理は、分岐点に対応して定まる処理対象の画素のそれぞれを対象として行われる。
【０１６８】
このようにしてラベリング処理が実行される。
【０１６９】
続いて、図１４のフローチャートを参照して、図１３のステップＳ１３１の予測係数演算処理の詳細について説明する。
【０１７０】
ステップＳ１５１において、予測係数学習部６１は、ステップＳ１０１の処理で特定された分岐点に対応するサンプルを特定する。ここでのサンプルは、注目画素に対応する生徒画像のタップと、その注目画素である教師画像の画素との組み合わせを意味する。例えば、分岐点番号１の分岐点であれば、第１回目の学習の処理なので、生徒画像の全画素がサンプルとして特定される。例えば、分岐点番号２の分岐点であれば、第２回目の学習の処理の一部なので、生徒画像の画素のうち、１回目の学習の処理でコード'0'が付与された画素のそれぞれがサンプルとして特定される。例えば、分岐点番号４の分岐点であれば、第３回目の学習の処理の一部なので、生徒画像の画素のうち、１回目の学習の処理でコード'0'が付与され、２回目の学習の処理でコード'0'が付与された画素のそれぞれがサンプルとして特定される。
【０１７１】
ステップＳ１５２において、フィルタ取得部５５は、ステップＳ１５１の処理で特定されたサンプルの各注目画素について、注目画素の波形パターンを複数の波形クラスのいずれかに分類し、分類結果である波形クラス（波形クラス番号）に対応するフィルタ係数ｖj,p,r,q,h,vをフィルタ係数記憶部５４から取得して予測演算部６３に供給する。
【０１７２】
ステップＳ１５３において、予測係数学習部６１は、ステップＳ１５１の処理で特定されたサンプルの足しこみを行う。より具体的には、予測係数学習部６１は、サンプルi＝１，２，・・について、注目画素の真値tiと、注目対応画素の周辺画素ｘij（タップ）を用いた式（９）で表されるその予測値yiとを用いた次式（１６）の計算を行う。
【数１３】
【０１７３】
ステップＳ１５４において、予測係数学習部６１は、全サンプルを足しこんだか否かを判定し、全サンプルを足しこんだと判定されるまで、ステップＳ１５３の処理が繰り返し実行される。
【０１７４】
ステップＳ１５４で、全サンプルを足しこんだと判定された場合、処理はステップＳ１５５に進み、予測係数学習部６１は、式（１６）の二乗誤差を最小とするような予測係数ｗk,r,qを導出する。
【０１７５】
以上により、図１２のステップＳ１０２におけるラベリング処理が終了し、処理は図１２のステップＳ１０３に進む。
【０１７６】
ステップＳ１０３において、判別係数学習部６５は、図１５に示す判別係数演算処理を実行する。
【０１７７】
図１５のフローチャートを参照して、図１２のステップＳ１０３の判別係数演算処理の詳細について説明する。
【０１７８】
ステップＳ１７１において、判別係数学習部６５は、ステップＳ１０１の処理で特定された分岐点に対応するサンプルを特定する。ここでのサンプルは、注目画素に対応する生徒画像のタップと、注目画素についての判別クラスＡまたは判別クラスＢのラベリングの結果との組み合わせを意味する。例えば、分岐点番号１の分岐点であれば、第１回目の学習の処理なので、生徒画像の全画素のそれぞれがサンプルとして特定される。例えば、分岐点番号２の分岐点であれば、第２回目の学習の処理の一部なので、生徒画像の画素のうち、１回目の学習の処理でコード'0'が付与された画素のそれぞれがサンプルとして特定される。例えば、分岐点番号４の分岐点であれば、第３回目の学習の処理の一部なので、生徒画像の画素のうち、１回目の学習の処理でコード'0'が付与され、２回目の学習の処理でコード'0'が付与された画素のそれぞれがサンプルとして特定される。
【０１７９】
ステップＳ１７２において、フィルタ取得部５５は、ステップＳ１７１の処理で特定されたサンプルの各注目画素について、注目画素の波形パターンを複数の波形クラスのいずれかに分類し、分類結果である波形クラス（波形クラス番号）に対応するフィルタ係数ｖj,p,r,q,h,vをフィルタ係数記憶部５４から取得して判別係数学習部６５に供給する。
【０１８０】
ステップＳ１７３において、判別係数学習部６５は、ステップＳ１７１の処理で特定されたサンプルの足しこみを行う。このとき、ラベリング処理によるラベリングの結果、即ち、判別結果が判別クラスＡであるかまたは判別クラスＢであるかに基づいて数値が、式（１２）に足しこまれていく。
【０１８１】
ステップＳ１７４において、判別係数学習部６５は、全サンプルを足しこんだか否かを判定し、全サンプルを足しこんだと判定されるまで、ステップＳ１７３の処理が繰り返し実行される。
【０１８２】
ステップＳ１７４で、全サンプルを足しこんだと判定された場合、処理はステップＳ１７５に進み、判別係数学習部６５は、式（１３）乃至式（１５）の演算により、判別係数ｚk,r,qを導出する。
【０１８３】
以上で、判別係数演算処理が終了し、図１２に戻る。
【０１８４】
そして、処理はステップＳ１０３からステップＳ１０４に進み、予測演算部６３は、ステップＳ１０３の処理により求められた判別係数ｚk,r,qと、生徒画像から得られるタップを用いて、判別予測値を演算する。即ち、式（１０）の演算が行われ、判別予測値ｙi'が求められる。
【０１８５】
ステップＳ１０５において、クラス分割部６８は、ステップＳ１０４の処理により求められた判別予測値ｙi'が０以上であるか否かを判定する。
【０１８６】
ステップＳ１０５において、判別予測値ｙi'が０以上であると判定された場合、処理は、ステップＳ１０６に進み、クラス分割部６８は、当該注目画素（実際にはタップ）にコード'1'を設定する。一方、ステップＳ１０５において、判別予測値ｙi'が０未満であると判定された場合、処理は、ステップＳ１０７に進み、クラス分割部６８は、当該注目画素（実際にはタップ）にコード'0'を設定する。
【０１８７】
なお、ステップＳ１０４乃至ステップＳ１０７の処理は、分岐点に対応して定まる処理対象の画素のそれぞれを対象として行われる。
【０１８８】
ステップＳ１０６またはステップＳ１０７の処理の後、処理はステップＳ１０８に進み、判別係数記憶部６６は、ステップＳ１０３の処理で求められた判別係数ｚk,r,qを、ステップＳ１０１で特定された分岐点に対応付けて記憶する。
【０１８９】
ステップＳ１０９において、学習装置４１は、反復が終了したか否かを判定する。例えば、所定回数の反復を行うことが予め設定されている場合、規定の反復回数に達したか否かにより反復が終了したかが判定される。
【０１９０】
ステップＳ１０９で、反復が終了していないと判定された場合、処理はステップＳ１０１に戻る。そして、ステップＳ１０１において、あらためて分岐点が特定される。いまの場合、第２回目の学習の最初の処理であるから、分岐点番号２の分岐点と特定される。
【０１９１】
そして、同様に、ステップＳ１０２乃至Ｓ１０８の処理が実行される。２回目のステップＳ１０２とステップＳ１０３の処理では、例えば、１回目の学習の処理でコード'0'が付与された画素に対応する生徒画像の画素がサンプルとして特定されることになる。そして、再度、ステップＳ１０９において、反復が終了したか否かが判定される。
【０１９２】
このように、ステップＳ１０９において反復が終了したと判定されるまで、ステップＳ１０１乃至Ｓ１０９の処理が繰り返し実行される。３回反復して学習することが予め設定されている場合、ステップＳ１０１で分岐点番号７の分岐点であると特定された後、ステップＳ１０２乃至Ｓ１０８の処理が実行され、ステップＳ１０９において、反復は終了したと判定されることになる。
【０１９３】
このように、ステップＳ１０１乃至Ｓ１０９の処理が繰り返し実行されたことにより、７種類の判別係数ｚk,r,qが、分岐点の位置を示す分岐点番号に対応付けられて判別係数記憶部６６に記憶される。
【０１９４】
ステップＳ１０９で、反復が終了したと判定された場合、処理は、ステップＳ１１０に進む。
【０１９５】
ステップＳ１１０において、予測係数学習部６１は、予測係数演算処理を実行する。この処理は、図１４を参照して説明した処理と同様なので、詳細な説明は省略するが、ステップＳ１１０の処理としての図１４のステップＳ１５１では、分岐点に対応するサンプルが特定されるのではなく、各予測クラス番号Ckに対応するサンプルがそれぞれ特定される。
【０１９６】
すなわち、ステップＳ１０１乃至Ｓ１０９の処理が繰り返し実行されたことにより、生徒画像の各画素は、予測クラス番号C0乃至C7のいずれかのクラスに分類されたことになる。従って、予測クラス番号C0の生徒画像の画素がサンプルとして特定されて、第１の予測係数ｗk,r,qが導出される。また、予測クラス番号C1の生徒画像の画素がサンプルとして特定されて、第２の予測係数ｗk,r,qが導出され、予測クラス番号C2の生徒画像の画素がサンプルとして特定されて、第３の予測係数ｗk,r,qが導出され、・・・予測クラス番号C7の生徒画像の画素がサンプルとして特定されて、第８の予測係数ｗk,r,qが導出される。
【０１９７】
つまり、ステップＳ１１０の予測係数演算処理においては、予測クラス番号C0乃至C7のそれぞれに対応する８種類の予測係数ｗk,r,qが求められることになる。
【０１９８】
ステップＳ１１１において、予測係数記憶部６２は、ステップＳ１１０の処理により求められた８種類の予測係数ｗk,r,qのそれぞれを、予測クラス番号Ckに対応付けて記憶する。
【０１９９】
ステップＳ１１１の処理後、図１２の係数学習処理は終了する。
【０２００】
以上のように、学習装置４１では、様々な周波数帯域が含まれるものや、自然画、人工画などの様々な画像の種類のものなど、多種多様な画像が、入力画像として学習される。そして、多種多様な入力画像に対して、画素ごとに、適応的にクラス分類し、画素の特徴に適した解像度感／鮮鋭感を向上させた画素値を出力するような判別係数ｚk,r,qおよび予測係数ｗk,r,qが学習される。
【０２０１】
これにより、予測装置１では、多種多様な入力画像に対して、画素ごとに、適応的にクラス分類し、画素の特徴に適した解像度感／鮮鋭感を向上させた画素値を生成することができ、高画質化した画像を予測画像として出力することができる。例えば、SD信号の画像に、HD信号の画像がはめ込まれている画像や、テロップが重畳されている画像などに対しても、劣化を生じさせることなく、アップコンバートした画像やズーム処理した画像を出力することができる。
【０２０２】
また、学習装置４１では、教師画像に、撮像時または信号伝送時に発生するノイズや符号化歪みに対応するノイズを付加して生徒画像を生成した学習対を用いて、学習処理が行われる。これにより、解像度感／鮮鋭感の向上に加え、予測装置１は、ノイズ除去機能も有し、ノイズを除去した画像を出力することができる。
【０２０３】
従って、予測装置１では、より簡単な構成で、アップコンバート機能を有する高画質化処理を実現することができる。
【０２０４】
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０２０５】
図１６は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０２０６】
コンピュータにおいて、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。
【０２０７】
バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、入力部１０６、出力部１０７、記憶部１０８、通信部１０９、及びドライブ１１０が接続されている。
【０２０８】
入力部１０６は、キーボード、マウス、マイクロホンなどよりなる。出力部１０７は、ディスプレイ、スピーカなどよりなる。記憶部１０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１０９は、ネットワークインタフェースなどよりなる。ドライブ１１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体１１１を駆動する。
【０２０９】
以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５及びバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。
【０２１０】
コンピュータでは、プログラムは、リムーバブル記録媒体１１１をドライブ１１０に装着することにより、入出力インタフェース１０５を介して、記憶部１０８にインストールすることができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して、通信部１０９で受信し、記憶部１０８にインストールすることができる。その他、プログラムは、ROM１０２や記憶部１０８に、あらかじめインストールしておくことができる。
【０２１１】
本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる場合はもちろん、必ずしも時系列的に処理されなくとも、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで実行されてもよい。
【０２１２】
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０２１３】
なお、本技術は以下のような構成も取ることができる。
（１）
入力画像を高画質化した画像を予測画像として出力する際の、前記予測画像を構成する画素を注目画素として、前記注目画素に対応する前記入力画像の画素周辺の複数の周辺画素の画素値と、帯域制限及びノイズ付加の強度、並びに、前記注目画素と前記周辺画素それぞれとの位相に応じたフィルタ係数との積和演算により、前記注目画素の鮮鋭感向上の特徴量である鮮鋭感向上特徴量を演算する鮮鋭感向上用特徴量演算部と、
前記鮮鋭感向上特徴量と、学習により予め求められた予測係数との積和演算で定義される予測式を演算することにより、前記注目画素の予測値を算出する予測演算部と
を備える画像処理装置。
（２）
前記複数の周辺画素の画素値をADRC処理することにより、前記注目画素周辺の波形パターンを、複数の波形クラスのなかの所定の波形クラスにクラス分類する波形クラス分類部と、
前記波形クラスごとの前記フィルタ係数を記憶するフィルタ係数記憶部と
をさらに備え、
前記鮮鋭感向上用特徴量演算部は、前記注目画素が属する前記波形クラスの前記フィルタ係数と、前記注目画素に対応する前記複数の周辺画素の画素値との積和演算により、前記鮮鋭感向上特徴量を演算する
前記（１）に記載の画像処理装置。
（３）
前記鮮鋭感向上特徴量を少なくとも用いて、前記注目画素を、複数のクラスのいずれかに分類するクラス分類部と、
複数のクラスそれぞれの前記予測係数を記憶する予測係数記憶部と
をさらに備え、
前記予測演算部は、前記注目画素が属するクラスの前記予測係数と、前記鮮鋭感向上特徴量との積和演算で定義される予測式を演算することにより、前記注目画素の予測値を算出する
前記（１）または（２）に記載の画像処理装置。
（４）
前記クラス分類部は、２分木構造を用いたクラス分類を行う
前記（３）に記載の画像処理装置。
（５）
前記クラス分類部は、前記複数の周辺画素の画素値の最大値および最小値、並びに、前記複数の周辺画素の隣接する画素の差分絶対値も用いて、前記注目画素を、複数のクラスのいずれかに分類する
前記（３）または（４）のいずれかに記載の画像処理装置。
（６）
前記予測係数は、
教師画像に対して帯域制限、及び、位相シフトの強度を所定の値に設定して帯域制限処理及び位相シフト処理を行い、かつ、ノイズ付加の強度を所定の値に設定してノイズ付加処理を行った画像である生徒画像と、前記教師画像の対を用いて、前記教師画像に対して設定した注目画素に対応する前記生徒画像の画素周辺の複数の周辺画素の画素値を用いた前記鮮鋭感向上特徴量と前記予測係数との積和演算の前記予測式の結果と、前記注目画素の画素値との誤差が最小となるように、前記学習により予め求められたものである
前記（１）乃至（５）のいずれかに記載の画像処理装置。
（７）
入力画像を高画質化した画像を予測画像として出力する際の、前記予測画像を構成する画素を注目画素として、前記注目画素に対応する前記入力画像の画素周辺の複数の周辺画素の画素値と、帯域制限及びノイズ付加の強度、並びに、前記注目画素と前記周辺画素それぞれとの位相に応じたフィルタ係数との積和演算により、前記注目画素の鮮鋭感向上の特徴量である鮮鋭感向上特徴量を演算し、
演算により得られた前記鮮鋭感向上特徴量と、学習により予め求められた予測係数との積和演算で定義される予測式を演算することにより、前記注目画素の予測値を算出する
ステップを含む画像処理方法。
（８）
コンピュータに、
入力画像を高画質化した画像を予測画像として出力する際の、前記予測画像を構成する画素を注目画素として、前記注目画素に対応する前記入力画像の画素周辺の複数の周辺画素の画素値と、帯域制限及びノイズ付加の強度、並びに、前記注目画素と前記周辺画素それぞれとの位相に応じたフィルタ係数との積和演算により、前記注目画素の鮮鋭感向上の特徴量である鮮鋭感向上特徴量を演算し、
演算により得られた前記鮮鋭感向上特徴量と、学習により予め求められた予測係数との積和演算で定義される予測式を演算することにより、前記注目画素の予測値を算出する
ステップを含む処理を実行させるためのプログラム。
（９）
前記（８）に記載のプログラムが記録されている記録媒体。
【符号の説明】
【０２１４】
１ 予測装置， １３ 位相予測／鮮鋭感向上特徴量演算部， １４ 波形クラス分類部， １５ フィルタ係数DB， １６ 画像特徴量演算部， １７ ２分木クラス分類部， １８ 判別係数DB， １９ 予測係数DB， ２０ 予測演算部， ４１ 学習装置
【技術分野】
【０００１】
本技術は、画像処理装置および方法、プログラム、並びに記録媒体に関し、特に、より簡単な構成で、アップコンバート機能を有する高画質化処理を実現することができる画像処理装置および方法、プログラム、並びに記録媒体に関する。
【背景技術】
【０００２】
近年、映像信号が多様化しており、映像信号には画像のフォーマットに関わらず様々な周波数帯域が混在している。例えば、HD (High Definition)サイズの画像でも、実はもともとSD (Standard Definition)サイズの画像がアップコンバートされている場合や、編集によりテロップや小窓画面が挿入された結果、１画面中に周波数帯域が著しくことなる箇所が混在している場合がある。また、ノイズもさまざまなレベルのものが混入している。特許文献１および特許文献２で提案されている技術は、このような多様な入力信号に対しても、その画質に応じて適応的に解像度感や鮮鋭感を向上させ、高画質化することを低コストで実現するものである。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１０２６９６号公報
【特許文献２】特開２０１０−１０３９８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１および２に記載の画像処理装置において、アップコンバートした画像の高画質化を行う場合には、入力画像に対してアップコンバートを行う処理ブロックを画像処理装置の前段に別途用意する必要があった。また、特許文献１および２に記載の画像処理装置にアップコンバート機能が含まれているとしても、どのような具体的処理によりアップコンバート機能を実現しているかは開示されていない。
【０００５】
本技術は、このような状況に鑑みてなされたものであり、より簡単な構成で、アップコンバート機能を有する高画質化処理を実現することができるようにするものである。
【課題を解決するための手段】
【０００６】
本技術の一側面の画像処理装置は、入力画像を高画質化した画像を予測画像として出力する際の、前記予測画像を構成する画素を注目画素として、前記注目画素に対応する前記入力画像の画素周辺の複数の周辺画素の画素値と、帯域制限及びノイズ付加の強度、並びに、前記注目画素と前記周辺画素それぞれとの位相に応じたフィルタ係数との積和演算により、前記注目画素の鮮鋭感向上の特徴量である鮮鋭感向上特徴量を演算する鮮鋭感向上用特徴量演算部と、前記鮮鋭感向上特徴量と、学習により予め求められた予測係数との積和演算で定義される予測式を演算することにより、前記注目画素の予測値を算出する予測演算部とを備える。
【０００７】
本技術の一側面の画像処理方法は、入力画像を高画質化した画像を予測画像として出力する際の、前記予測画像を構成する画素を注目画素として、前記注目画素に対応する前記入力画像の画素周辺の複数の周辺画素の画素値と、帯域制限及びノイズ付加の強度、並びに、前記注目画素と前記周辺画素それぞれとの位相に応じたフィルタ係数との積和演算により、前記注目画素の鮮鋭感向上の特徴量である鮮鋭感向上特徴量を演算し、演算により得られた前記鮮鋭感向上特徴量と、学習により予め求められた予測係数との積和演算で定義される予測式を演算することにより、前記注目画素の予測値を算出するステップを含む。
【０００８】
本技術の一側面のプログラムは、コンピュータに、入力画像を高画質化した画像を予測画像として出力する際の、前記予測画像を構成する所定の画素を注目画素として、前記入力画像の前記注目画素に対応する画素周辺の複数の周辺画素の画素値と、帯域制限及びノイズ付加の強度、並びに、前記注目画素と前記周辺画素それぞれとの位相に応じたフィルタ係数との積和演算により、前記注目画素の鮮鋭感向上の特徴量である鮮鋭感向上特徴量を演算し、演算により得られた前記鮮鋭感向上特徴量と、学習により予め求められた予測係数との積和演算で定義される予測式を演算することにより、前記注目画素の予測値を算出するステップを含む処理を実行させるためのものである。
【０００９】
本技術の一側面の記録媒体のプログラムは、コンピュータに、入力画像を高画質化した画像を予測画像として出力する際の、前記予測画像を構成する画素を注目画素として、前記注目画素に対応する前記入力画像の画素周辺の複数の周辺画素の画素値と、帯域制限及びノイズ付加の強度、並びに、前記注目画素と前記周辺画素それぞれとの位相に応じたフィルタ係数との積和演算により、前記注目画素の鮮鋭感向上の特徴量である鮮鋭感向上特徴量を演算し、演算により得られた前記鮮鋭感向上特徴量と、学習により予め求められた予測係数との積和演算で定義される予測式を演算することにより、前記注目画素の予測値を算出するステップを含む処理を実行させるためのものである。
【００１０】
本技術の一側面においては、入力画像を高画質化した画像を予測画像として出力する際の、予測画像を構成する画素を注目画素として、注目画素に対応する入力画像の画素周辺の複数の周辺画素の画素値と、帯域制限及びノイズ付加の強度、並びに、注目画素と周辺画素それぞれとの位相に応じたフィルタ係数との積和演算により、注目画素の鮮鋭感向上の特徴量である鮮鋭感向上特徴量が演算され、演算により得られた鮮鋭感向上特徴量と、学習により予め求められた予測係数との積和演算で定義される予測式を演算することにより、注目画素の予測値が算出される。
【００１１】
なお、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
【００１２】
画像処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
【発明の効果】
【００１３】
本技術の一側面によれば、より簡単な構成で、アップコンバート機能を有する高画質化処理を実現することができる。
【図面の簡単な説明】
【００１４】
【図１】本技術が適用される予測装置の一実施の形態に係る構成例を示すブロック図である。
【図２】波形クラス分類部の処理を説明する図である。
【図３】フィルタ係数の求め方を説明する図である。
【図４】フィルタ係数を学習するフィルタ係数学習装置の構成例を示すブロック図である。
【図５】２分木によるクラス分類を概念的に示した図である。
【図６】予測装置による予測処理を説明するフローチャートである。
【図７】学習装置の構成例を示すブロック図である。
【図８】学習対生成部の詳細な構成例を示すブロック図である。
【図９】タップの要素となる画素の例を示す図である。
【図１０】ラベリング部の処理を説明するヒストグラムである。
【図１１】学習対生成処理を説明するフローチャートである。
【図１２】係数学習処理を説明するフローチャートである。
【図１３】ラベリング処理の詳細を説明するフローチャートである。
【図１４】予測係数演算処理の詳細を説明するフローチャートである。
【図１５】判別係数演算処理の詳細を説明するフローチャートである。
【図１６】本技術が適用されたコンピュータの一実施の形態の構成例を示すブロック図である。
【発明を実施するための形態】
【００１５】
以下、本技術を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．本技術が適用される予測装置の構成例
２．予測装置で使用される予測係数等を学習する学習装置の構成例
【００１６】
＜１．予測装置の構成例＞
［予測装置のブロック図］
図１は、本技術が適用される画像処理装置としての予測装置の一実施の形態の構成例を示すブロック図である。
【００１７】
図１の予測装置１は、入力画像をアップコンバートした画像を生成し、出力する。即ち、予測装置１は、入力画像の画像サイズより大きい画像サイズの出力画像を予測処理により求めて出力する。
【００１８】
予測装置１の予測処理では、図６等を参照して後述する学習装置４１で学習された予測係数などが用いられる。この学習装置４１では、高画質の教師画像が入力され、その教師画像に対して、帯域制限およびノイズ付加が所定の強度で設定されて生成された画像を生徒画像として用いて、予測係数等が学習される。これにより、予測装置１では、帯域制限およびノイズ付加の観点から、入力画像を高画質化した画像を予測し、出力画像とすることができる。
【００１９】
予測装置１は、外部パラメータ取得部１０、注目画素設定部１１、及びタップ設定部１２を有する。
【００２０】
外部パラメータ取得部１０は、キーボード等の操作部（不図示）において、ユーザにより設定された外部パラメータを取得し、後述する位相予測／鮮鋭感向上特徴量演算部１３などに供給する。ここで取得される外部パラメータは、学習時の帯域制限の強度に応じた外部パラメータvolr、学習時のノイズ付加の強度に応じた外部パラメータvolqなどである。
【００２１】
注目画素設定部１１は、ユーザの指定などに基づく出力画像の画像サイズを決定するとともに、出力画像を構成する画素を、順次、注目画素として設定する。タップ設定部１２は、注目画素に対応する入力画像の画素（注目対応画素）周辺の複数の画素を選択し、タップとして設定する。
【００２２】
本実施の形態では、タップ設定部１２においてタップとして設定された画素がｘijであるとする（i=1,2,・・・,N,N=入力画像の画素数，j=1,2,・・・,M,M=タップ数）。なお、出力画像は入力画像がアップコンバートされたものであるため、出力画像の画素数N'（i'=1,2,・・・,N'）は入力画像の画素数Nより大となるが、以下では、入力画像と出力画像のいずれにも存在する画素で、入力画像の画素iに対応する画素が注目画素であるとして説明する。入力画像に存在しない出力画像の画素が注目画素である場合にも以下と同様に処理が可能である。
【００２３】
予測装置１は、位相予測／鮮鋭感向上特徴量演算部１３、波形クラス分類部１４、フィルタ係数DB１５、画像特徴量演算部１６、２分木クラス分類部１７、判別係数DB１８、予測係数DB１９、および予測演算部２０を有する。
【００２４】
位相予測／鮮鋭感向上特徴量演算部１３（以下、鮮鋭感特徴量演算部１３と称する。）は、注目画素iに対応する入力画像の周辺画素ｘijを用いて、次式（１）で表されるフィルタ演算（積和演算）を行い、注目画素iに対する位相予測／鮮鋭感向上特徴量parami,1およびparami,2を求める。位相予測／鮮鋭感向上特徴量parami,1およびparami,2は、注目画素iの特徴量を表す２つのパラメータであり、以下では、第１のパラメータparami,1と第２のパラメータparami,2ともいう。第１のパラメータparami,1と第２のパラメータparami,2とでは、画像に含まれる周波数帯の適用領域が異なる。例えば、第１のパラメータparami,1は、画像の低域成分（ローパス）に対応するパラメータであり、第２のパラメータparami,2は、画像の高域成分（ハイパス）または全周波数帯に対応するパラメータである。
【００２５】
【数１】
【００２６】
式（１）において、volrrは、学習時の帯域制限の強度r（ｒ＝０，・・・，R）に応じて外部から与えられる外部パラメータであり、volqqは、学習時のノイズ付加の強度q（q＝０，・・・，Q-R）に応じて外部から与えられる外部パラメータである。また、volhhは、生成画素（注目画素）と周辺画素ｘijとの水平方向の位相h（h＝０，・・・，H-(Q+R)）に応じて定まるパラメータであり、volvvは、生成画素（注目画素）と周辺画素ｘijとの垂直方向の位相v（v＝０，・・・，V-(H+Q+R)）に応じて定まるパラメータである。さらに、ｖj,p,r,q,h,vは、フィルタ係数に相当し、波形クラス分類部１４で分類された波形クラスに応じてフィルタ係数DB１５から取得されるものである。
【００２７】
波形クラス分類部１４は、注目画素周辺の波形パターンを、複数の波形クラスのなかの所定の波形クラスにクラス分類する。具体的には、波形クラス分類部１４は、注目画素iに対応する入力画像の周辺画素ｘijの波形パターンを所定の波形クラスにクラス分類することで、注目画素周辺の波形パターンをクラス分類する。
【００２８】
クラス分類を行う方法としては、例えば、ADRC(Adaptive Dynamic Range Coding)等を採用することができる。
【００２９】
ADRCを用いる方法では、周辺画素ｘijの画素値がADRC処理され、その結果得られるADRCコードにしたがって、注目画素iの波形クラス番号が決定される。
【００３０】
例えば、KビットADRCにおいては、周辺画素ｘijを構成する画素の画素値の最大値MAXと最小値MINが検出され、DR=MAX-MINを、集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、周辺画素ｘijを構成する画素値がKビットに再量子化される。即ち、周辺画素ｘijを構成する各画素の画素値から、最小値MINが減算され、その減算値がDR/2Kで除算（量子化）される。そして、以上のようにして得られる、周辺画素ｘijを構成するKビットの各画素の画素値を、所定の順番で並べたビット列が、ADRCコードとして出力される。
【００３１】
[ADRC処理によるクラス分類]
図２は、１ビットADRCにより注目画素iの波形クラス番号を求める例を示している。
【００３２】
周辺画素ｘijを構成する画素が１ビットADRC処理された場合には、その周辺画素ｘijを構成する各画素の画素値は、最大値MAXと最小値MINとの平均値で除算され（小数点以下切り捨て）、これにより、各画素の画素値が１ビットとされる（２値化される）。そして、その１ビットの画素値を所定の順番で並べたビット列が、ADRCコードとして出力される。このように周辺画素ｘijをADRC処理して得られるADRCコードを、波形クラス分類部１４は、波形クラス番号としてフィルタ係数DB１５に出力する。
【００３３】
図１に戻り、フィルタ係数DB１５は、波形クラスごとのフィルタ係数ｖj,p,r,q,h,vを記憶し、波形クラス分類部１４から供給される波形クラス番号に応じたフィルタ係数ｖj,p,r,q,h,vを鮮鋭感特徴量演算部１３に供給する。これにより、注目画素iの周辺画素ｘijの波形パターンを詳細に分類して適応処理することが可能となり、高性能な任意位相での予測処理を行うことができる。
【００３４】
［フィルタ係数の学習について］
波形クラスごとのフィルタ係数ｖj,p,r,q,h,vは、後述する判別係数ｚp,r,qおよび予測係数ｗk,r,qの学習より前に、別途学習により求められて、フィルタ係数DB１５に格納される。
【００３５】
そこでまず、波形クラスごとのフィルタ係数ｖj,p,r,q,h,vの学習について説明する。
【００３６】
初めに、上述した式（１）の意味について説明する。上述した式（１）は、ボリュームvolが、帯域制限、ノイズ付加、水平方向の画素位相（画素位置）、垂直方向の画素位相（画素位置）についての４種類ある場合の式であり、説明を簡単にするため、ボリュームvolが１種類の場合について考える。ボリュームvolが１種類の場合には、式（１）に対応する式は、式（２）で表される。
【００３７】
【数２】
【数３】
【００３８】
式（２）の一番右側の項は、式（３）で表される置き換えを行ったものであり、フィルタ係数としてのwjがvolrのR次式で表すことができることを意味する。式（２）のvolr（0≦volr≦1）は、例えば、鮮鋭感のレベルを表すボリューム軸の値（ボリューム軸値）である。ボリューム軸値volrの役割は、その値を制御することにより、各タップのフィルタ係数wjを連続的に変化させ、フィルタ演算結果画像の鮮鋭感の強弱を調整することにある。
【００３９】
式（３）のフィルタ係数ｖj,rは、後述するフィルタ係数学習装置において、教師画像の各画素tsの画素値と、その画素tsに対応する生徒画像の周辺画素ｘs,i,jの画素値から求められる予測値との二乗誤差を最小化する値として求められる。即ち、フィルタ係数ｖj,rは、式（４）を解くことにより求めることができる。
【００４０】
【数４】
【００４１】
式（４）において、ts及びｘs,i,jは、画素ts及び周辺画素ｘs,i,jの画素値（輝度値）を表し、samplenumは、学習に用いられるサンプル数に対応する。実際に学習する際には、図３に示すように９点等の離散的なボリューム軸値volrが設定され、それぞれに対応する学習対（教師画像と生徒画像の対）が用意される。そして、学習対のサンプルデータを用いて、式（４）を解くことにより、フィルタ係数ｖj,rが求められる。
【００４２】
図４は、フィルタ係数ｖj,rを学習するフィルタ係数学習装置の構成例を示すブロック図である。
【００４３】
図４のフィルタ係数学習装置３０は、学習対生成部３１、タップ設定部３２、タップ抽出部３３、波形クラス分類部３４、および正規方程式演算部３５により構成される。
【００４４】
フィルタ係数学習装置３０を構成する各部について、処理動作の順に説明する。
【００４５】
学習対生成部３１には、学習対を生成するための入力画像と、外部パラメータであるボリューム軸値volrが入力され、学習対生成部３１は、ボリューム軸値volrに対応する学習対（教師画像と生徒画像の対）のデータを生成する。なお、後述するように、生徒画像が入力画像として学習対生成部３１に入力され、生徒画像から教師画像を生成して学習対を生成する場合と、教師画像が入力画像として学習対生成部３１に入力され、教師画像から生徒画像を生成して学習対を生成する場合の両方があり得る。なお、教師画像と生徒画像の画像サイズは、後述するように同一にすることができる。
【００４６】
タップ設定部３２は、教師画像を構成する各画素を順次、注目画素に設定し、注目画素の周辺画素をタップとして設定する。ここで設定される周辺画素が、式（４）のｘs,i,jに相当する。
【００４７】
タップ抽出部３３は、タップ設定部３２の設定にしたがい、学習対生成部３１から供給される生徒画像から、注目画素の周辺画素ｘs,i,j（の画素値）をタップとして抽出する。抽出されたタップは、波形クラス分類部３４と正規方程式演算部３５に供給される。
【００４８】
波形クラス分類部３４は、図１の波形クラス分類部１４と同様の処理を行う。即ち、波形クラス分類部３４は、注目画素の周辺画素ｘs,i,j（の画素値）に基づいて、注目画素の波形パターンを所定の波形クラスに分類する。波形クラスに分類された結果である波形クラス番号が正規方程式演算部３５に供給される。
【００４９】
正規方程式演算部３５には、ボリューム軸値volrと波形クラス番号ごとに、注目画素の画素tsおよび周辺画素ｘs,i,jの画素値が、多数の学習対のサンプルデータについて集められる。正規方程式演算部３５は、波形クラスごとに式（４）を解くことにより、フィルタ係数ｖj,rを求める。
【００５０】
そして、フィルタ係数ｖj,rが求まると、ボリューム軸値volrを与えると、上述の式（３）により、フィルタ係数wjを求めることができる。
【００５１】
フィルタ係数ｖj,p,r,q,h,vを求める場合には、学習対生成部３１において生成される学習対のデータが、帯域制限、ノイズ付加、水平方向の画素位相、及び、垂直方向の画素位相のボリュームvolr，volq，volh，volvの様々な組み合わせによって生成される点が異なるだけで、基本的に同様に処理で求めることができる。帯域制限、ノイズ付加、水平方向の画素位相、及び、垂直方向の画素位相のボリュームvolr，volq，volh，volvを、様々な組み合わせにより求めた学習対のデータを用いてフィルタ係数ｖj,p,r,q,h,vを求めることにより、任意の帯域制限、ノイズ付加、水平方向の画素位相、及び、垂直方向の画素位相の画素値を求めるためのフィルタ係数ｖj,p,r,q,h,vを求めることができる。
【００５２】
なお、第１のパラメータparami,1を算出するためのフィルタ係数ｖj,p,r,q,h,vと、第２のパラメータparami,2を算出するためのフィルタ係数ｖj,p,r,q,h,vは、図４のフィルタ係数学習装置３０を用いて、別々に学習される。
【００５３】
フィルタ係数学習装置３０によるフィルタ係数学習処理において、教師画像と生徒画像との間の位相の関係は、第１のパラメータparami,1を算出する場合と、第２のパラメータparami,2を算出する場合とで合わせる必要がある。
【００５４】
一方、帯域制限については、第１のパラメータparami,1が画像の低域成分（ローパス）に対応するパラメータであり、第２のパラメータparami,2が画像の高域成分（ハイパス）または全周波数帯に対応するパラメータであるので、第１のパラメータparami,1を算出する場合と、第２のパラメータparami,2を算出する場合とで異なるようにする必要がある。
【００５５】
その際、第１のパラメータparami,1を算出するためのフィルタ係数ｖj,p,r,q,h,vは、ローパスの特徴を有する必要があるので、教師画像は生徒画像よりもボケた画像とする必要がある。そのため、学習対生成部３１では、入力画像として生徒画像が入力され、生徒画像に対して、適宜、帯域制限、位相シフト、ノイズ付加を行って教師画像が生成される。
【００５６】
一方、第２のパラメータparami,2を算出するためのフィルタ係数ｖj,p,r,q,h,vは、ハイパスまたは全帯域パスの特徴を有する必要があるので、入力画像として教師画像が入力され、教師画像に対して、適宜、位相シフト、ノイズ付加、帯域制限を行って生徒画像が生成される。
【００５７】
ノイズの付加については、第１のパラメータparami,1を算出する場合と、第２のパラメータparami,2を算出する場合とで同一でもよいし、異なるようにしてもよい。
【００５８】
以上のようにして学習され、フィルタ係数DB１５に記憶されているフィルタ係数ｖj,p,r,q,h,vは、波形クラス分類部１４で分類された波形クラスに対応するものである。これにより、式（１）で得られる位相予測／鮮鋭感向上特徴量parami,1およびparami,2は、注目画素iに対応する入力画像の周辺画素ｘijの波形パターンに応じた適切なものとなる。
【００５９】
そして、式（１）で得られる位相予測／鮮鋭感向上特徴量parami,1およびparami,2には、ノイズや帯域を加味しながら、鮮鋭感を向上させる予測処理を任意位相で行うための情報が含まれる。
【００６０】
図１に戻って、画像特徴量演算部１６は、注目画素iの画像特徴量を演算する。具体的には、画像特徴量演算部１６は、以下の式（５）乃至式（７）で表される、注目画素iに対応する周辺画素ｘijの最大値xi(max)および最小値xi(min)、並びに隣接画素の差分絶対値の最大値|xi'|(max)を求める。注目画素iに対応する周辺画素ｘijの最大値xi(max)および最小値xi(min)、並びに隣接画素の差分絶対値の最大値|xi'|(max)を、それぞれ、注目画素iの第３のパラメータparami,p=3および第４のパラメータparami,p=4、並びに第５のパラメータparami,p=5ともいう。
【００６１】
【数５】
【００６２】
式（７）において、(h),(v),(s1),(s2)それぞれは、隣接差分を計算する方向が水平方向、垂直方向、右上斜め方向、右下斜め方向であることを表し、O,P.Qそれぞれは、水平方向、垂直方向、斜め方向（右上・右下）の隣接画素の算出個数に対応する。第５のパラメータparami,p=5は、水平方向、垂直方向、右上斜め方向、右下斜め方向の全ての差分絶対値の最大値のなかの、さらに最大値とされる。なお、入力画像と出力画像の画素位置（位相）が一致しない注目画素の画素値は、画素位置が一致する周辺の画素の加重平均等で求めることができ、その場合の計算に、第３乃至第５のパラメータparami,p=3乃至parami,p=5を使用することもできる。
【００６３】
本実施の形態において、第１乃至第５のパラメータparami,p=1乃至parami,p=5それぞれを計算する際に設定される周辺画素ｘij（j=1,2,・・・,M）は、説明を簡単にするため同一であるとするが、別々にしてもよい。即ち、周辺画素ｘij（j=1,2,・・・,M）のMの値は、第１乃至第５のパラメータparami,p=1乃至parami,p=5それぞれで異なっていてもよい。
【００６４】
２分木クラス分類部１７は、鮮鋭感特徴量演算部１３および画像特徴量演算部１６から供給される第１乃至第５のパラメータparami,p=1乃至parami,p=5を用いて、２分木構造を用いたクラス分類を行う。そして、２分木クラス分類部１７は、クラス分類した結果である予測クラス番号（予測クラスコード）Ckを予測係数DB１９に出力する。
【００６５】
[２分木クラス分類部１７のクラス分類]
図５は、２分木構造を用いたクラス分類を概念的に示した図である。なお、図５は、８つのクラスにクラス分類する場合の例である。
【００６６】
２分木クラス分類部１７は、分岐点番号１ないし７の各分岐点において、次式（８）の線形予測式を用いて判別予測値diを演算する。
【００６７】
【数６】
【００６８】
式（８）において、volrrおよびvolqqは、式（１）と同様の外部パラメータであり、ｚp,r,qは、各分岐点において予め学習により求められた判別係数であり、判別係数DB１８から取得される。なお、式（８）におけるR',Q'は、ｒおよびｑの次数が式（１）のR,Qとは異なっていてもよいことを表す。
【００６９】
より具体的に説明すると、初めに、２分木クラス分類部１７は、分岐点番号１の分岐点において、式（８）を演算し、得られた判別予測値diが０未満か、または、０以上であるかを判定する。分岐点番号１の分岐点における式（８）の演算では、予め学習により得られている分岐点番号１の分岐点用の判別係数ｚp,r,qが、判別係数DB１８から取得されて代入される。
【００７０】
分岐点番号１の分岐点における式（８）の判別予測値diが０未満である場合、２分木クラス分類部１７は、'0'をコードとして割り当て、分岐点番号２の分岐点へ降下する。一方、分岐点番号１の分岐点における式（８）の判別予測値diが０以上である場合、２分木クラス分類部１７は、'１'をコードとして割り当て、分岐点番号３の分岐点へ降下する。
【００７１】
分岐点番号２の分岐点では、２分木クラス分類部１７は、さらに、式（８）を演算し、得られた判別予測値diが０未満か、または、０以上であるかを判定する。分岐点番号２の分岐点における式（８）の演算では、予め学習により得られている分岐点番号２の分岐点用の判別係数ｚp,r,qが、判別係数DB１８から取得されて代入される。
【００７２】
分岐点番号２の分岐点における式（８）の判別予測値diが０未満である場合、２分木クラス分類部１７は、先に割り当てたコード'0'の下位のコードとして'0'を割り当て、分岐点番号４の分岐点へ降下する。一方、分岐点番号２の分岐点における式（８）の判別予測値diが０以上である場合、２分木クラス分類部１７は、先に割り当てたコード'0'の下位のコードとして'１'を割り当て、分岐点番号５の分岐点へ降下する。
【００７３】
その他の分岐点番号３乃至７においても、同様の処理が行われる。これにより、図５の例では、式（８）の判別予測値diの演算が３回行われ、３桁のコードが割り当てられる。この割り当てられた３桁のコードが予測クラス番号Ckとなる。２分木クラス分類部１７では、外部パラメータvolrrおよびvolqqを制御することにより、所望の帯域およびノイズ量に応じたクラス分類が可能となる。
【００７４】
図１に戻り、判別係数DB１８は、上述した２分木構造を用いたクラス分類を行う際の各分岐点の判別係数ｚp,r,qを記憶する。
【００７５】
予測係数DB１９は、２分木クラス分類部１７で算出される予測クラス番号Ckごとに、後述する学習装置４１（図７）で予め算出された予測係数ｗk,r,qを記憶する。
【００７６】
予測演算部２０は、次式（９）で表される位相予測／鮮鋭感向上特徴量parami,1およびparami,2と予測係数ｗk,r,qの積和演算で定義される予測式を計算することにより、注目画素iの予測値（出力画素値）を算出する。
【００７７】
【数７】
式（９）におけるR”,Q”は、ｒおよびｑの次数が式（１）のR,Qおよび式（８）のR',Q'とは異なっていてもよいことを表す。
【００７８】
［予測処理のフローチャート］
次に、図６のフローチャートを参照して、入力画像をアップコンバートし、かつ、高画質化した画像を予測生成する予測処理について説明する。この処理は、例えば、入力画像が入力されたとき、開始される。なお、出力画像の画像サイズは、図６の処理開始前に設定されているものとする。
【００７９】
初めに、ステップＳ１において、外部パラメータ取得部１０は、ユーザにより設定された外部パラメータvolr及びvolqを取得し、鮮鋭感特徴量演算部１３及び２分木クラス分類部１７に供給する。
【００８０】
ステップＳ２において、注目画素設定部１１とタップ設定部１２は、注目画素とタップを設定する。即ち、注目画素設定部１１が、生成する予測画像を構成する画素のうちの所定の画素を注目画素に設定する。そして、タップ設定部１２が、注目画素に対応する入力画像の画素周辺の複数の画素を、タップとして設定する。
【００８１】
ステップＳ３において、画像特徴量演算部１６は、注目画素iの第３乃至第５のパラメータparami,p=3,4,5を求める。具体的には、画像特徴量演算部１６は、式（５）乃至式（７）で表される、周辺画素ｘijの最大値xi(max)および最小値xi(min)、並びに隣接画素の差分絶対値の最大値|xi'|(max)を求める。周辺画素ｘijの最大値xi(max)が第３のパラメータparami,3となり、周辺画素ｘijの最小値xi(min)が第４のパラメータparami,4となり、差分絶対値の最大値|xi'|(max)が第５のパラメータparami,5となる。
【００８２】
ステップＳ４において、波形クラス分類部１４は、注目画素の波形パターンを所定の波形クラスにクラス分類する。例えば、波形クラス分類部１４は、注目画素iに対応する入力画像の周辺画素ｘijの画素値を１ビットADRC処理し、その結果得られるADRCコードを、波形クラス番号として出力する。
【００８３】
ステップＳ５において、鮮鋭感特徴量演算部１３は、注目画素iの第１と第２のパラメータparami,p=1,2を求める。具体的には、鮮鋭感特徴量演算部１３は、波形クラス番号に基づいてフィルタ係数DB１５から取得したフィルタ係数ｖj,p,r,q,h,v、外部パラメータ取得部１０から供給された外部パラメータvolrr及びvolqq、並びに、注目画素と周辺画素ｘijとの水平方向及び垂直方向の位相（位置）に応じて定まるパラメータvolhh及びvolvvを用いて、式（１）で表されるフィルタ演算を行う。
【００８４】
ステップＳ６において、２分木クラス分類部１７は、ステップＳ３およびステップＳ５で算出された第１乃至第５のパラメータparami,p=1乃至parami,p=5を用いて、２分木によるクラス分類を行う。そして、２分木クラス分類部１７は、クラス分類した結果である予測クラス番号Ckを予測係数DB１９に出力する。
【００８５】
ステップＳ７において、予測演算部２０は、式（９）で表される予測式を計算することにより、注目画素iの予測値（出力画素値）を算出する。
【００８６】
ステップＳ８において、注目画素設定部１１は、予測画像を構成する全ての画素を、注目画素に設定したかを判定する。
【００８７】
ステップＳ８で、まだ全ての画素を注目画素に設定していないと判定された場合、処理はステップＳ２に戻り、上述したステップＳ２乃至Ｓ８の処理が繰り返される。即ち、まだ注目画素に設定されていない予測画像の画素が次の注目画素に設定され、予測値が算出される。
【００８８】
一方、ステップＳ８で、全ての画素を注目画素に設定したと判定された場合、処理はステップＳ９に進み、予測演算部２０は、生成した予測画像を出力して、処理を終了する。
【００８９】
以上のようにして、予測装置１では、入力画像をアップコンバートし、かつ、高画質化（鮮鋭化）した画像を予測画像として生成して、出力することができる。
【００９０】
＜２．学習装置の構成例＞
次に、上述した予測装置１で使用される予測係数ｗk,r,qなどを、学習により求める学習装置について説明する。
【００９１】
［学習装置のブロック図］
図７は、学習装置４１の構成例を示すブロック図である。
【００９２】
学習装置４１には、学習の教師となる教師画像が入力画像として入力され、学習対生成部５１に供給される。
【００９３】
学習対生成部５１は、入力画像である教師画像から生徒画像を生成し、学習処理させるための教師画像と生徒画像の対のデータ（学習対）を生成する。学習対生成部５１では、生成される生徒画像が、予測装置１に入力される画像を模擬したものとなるように、多種多様な学習対の画像を生成することが望ましい。従って、入力画像には、自然画だけでなく、人工画も含まるようにする。ここで、自然画とは、自然界に存在するものをそのまま撮像することにより得られる画像である。また、人工画とは、文字や単純な図形などの、階調が少なく、エッジの位置を表す位相情報が自然画よりはっきりした、すなわち、平坦部分が多い人工的な画像である。テロップやCG (Computer Graphics)画像は、人工画に含まれる。
【００９４】
［学習対生成部５１の詳細構成例］
図８は、学習対生成部５１の詳細な構成例を示すブロック図である。
【００９５】
学習対生成部５１は、帯域制限／位相シフト部７１、ノイズ付加部７２、及び強度設定部７３を少なくとも有する。ダウンサンプリング部７４は、必要に応じて設けられる。
【００９６】
帯域制限／位相シフト部７１は、入力画像に対して、入力画像に含まれる周波数帯のうち所定の周波数帯域を制限（カット）する処理を行う帯域制限処理、及び、入力画像の各画素の位相（位置）をシフトする位相シフト処理を行う。帯域制限の強度（例えば、帯域幅）および位相シフトの強度（例えば、位相量）は、強度設定部７３により設定される。
【００９７】
ノイズ付加部７２は、帯域制限／位相シフト部７１から供給される画像（入力画像）に対して、撮像時または信号伝送時に発生するノイズや符号化歪みに対応するノイズを付加した画像を生成し、処理後の画像を生徒画像として出力する。ノイズの強度は、強度設定部７３により設定される。
【００９８】
強度設定部７３は、帯域制限／位相シフト部７１に対して帯域制限および位相シフトの強度を設定するとともに、ノイズ付加部７２に対してノイズの強度を設定する。
【００９９】
ダウンサンプリング部７４は、入力画像の画像サイズを、所定の画像サイズにダウンサンプリング処理し、処理後の画像を、生徒画像として出力する。例えば、ダウンサンプリング部７４は、HDサイズの入力画像を、SDサイズにダウンサンプリングして出力する。なお、詳細は後述するが、ダウンサンプリング部７４は省略することができる。
【０１００】
また、学習対生成部５１は、入力された入力画像を、そのまま教師画像として出力する。
【０１０１】
図７の学習対生成部５１より後段では、入力画像として入力された高画質の教師画像と、その教師画像に対して、帯域制限処理、位相シフト処理、およびノイズ付加処理が所定の強度で実行された後、必要に応じてダウンサンプリングされて得られる生徒画像を用いて、上述した予測係数ｗk,r,q等が学習される。
【０１０２】
従って、予測装置１では、入力画像をアップコンバートし、かつ、高画質化（鮮鋭化）した画像を予測画像として出力することができる。また、入力画像をノイズ除去した画像を予測画像として出力することができる。
【０１０３】
さらに、位相シフトのシフト量を様々な値とすることで、任意の位相の画素を予測することができるようになり、任意倍率ズームをした画像であって、高画質化（鮮鋭化）した画像を予測画像として出力することができる。
【０１０４】
図７の説明に戻り、注目画素設定部５２は、教師画像を構成する各画素を、順次、注目する注目画素として設定する。注目画素設定部５２で設定された注目画素に対して、学習装置４１の各部の処理が行われる。
【０１０５】
タップ設定部５３は、注目画素に対応する生徒画像の画素（注目対応画素）周辺の複数の画素を選択し、タップとして設定する。
【０１０６】
図９は、タップの要素となる画素の例を示す図である。同図は、水平方向をｘ軸で表し、垂直方向をｙ軸で表した２次元の図である。
【０１０７】
学習対生成部５１においてダウンサンプリング部７４が設けられ、学習対生成部５１から出力される生徒画像の画像サイズが教師画像より小さいとし、図９において黒色が付された画素xi13が注目対応画素であるとする。この場合、タップ設定部５３は、例えば、注目対応画素xi13の周辺の２５個の画素ｘi1乃至xi25をタップとして設定する。ここで、iは、生徒画像を構成する画素を特定する変数（i=1,2,・・・,N,N=全サンプル数）である。
【０１０８】
一方、学習対生成部５１においてダウンサンプリング部７４が省略され、学習対生成部５１から出力される生徒画像の画像サイズが教師画像と同一であり、図９が、そのような生徒画像の注目対応画素周辺を示しているとする。この場合、タップ設定部５３は、斜線を付して示される、注目対応画素xi13周辺の２５個の画素ｘi2, ｘi3, ｘi4, ｘi5, ｘi9,ｘi11,ｘi15,ｘi17,・・・をタップとして設定する。
【０１０９】
仮に、ダウンサンプリング部７４が教師画像に対して１ライン（画素列／画素行）おきに間引き、生徒画像を生成したとすると、例えば、間引いた画像としての画素ｘi12と、間引かない画像としての画素ｘi11は同一となる。このように、学習対生成部５１から出力される生徒画像の画像サイズが教師画像と同一である場合には、設定するタップの間隔を疎にすることで、ダウンサンプリング処理と等価となる（ダウンサンプリング処理をしていることになる）。従って、学習対生成部５１においてダウンサンプリング部７４は省略が可能である。以下では、タップの間隔を疎にするようにタップが設定されるものとし、教師画像と生徒画像の画像サイズは同一であるとする。
【０１１０】
学習対生成部５１で生成された生徒画像は、予測係数学習部６１、予測演算部６３、判別係数学習部６５、および判別予測部６７に供給される。
【０１１１】
図７に戻って、フィルタ係数記憶部５４は、図４のフィルタ係数学習装置３０で学習され、予測装置１のフィルタ係数DB１５に記憶されるものと同一の、波形クラスごとのフィルタ係数ｖj,p,r,q,h,vを記憶する。
【０１１２】
フィルタ係数取得部５５は、図１の波形クラス分類部１４と同様に、注目画素の周辺画素ｘs,i,j（の画素値）に基づいて、注目画素の波形パターンを所定の波形クラスに分類し、分類結果である波形クラス（波形クラス番号）に対応するフィルタ係数ｖj,p,r,q,h,vを、予測係数学習部６１や予測演算部６３などに供給する。
【０１１３】
予測係数学習部６１は、生徒画像の注目対応画素とその周辺の画素ｘijの画素値から、注目画素の画素値を予測するための予測演算式の予測係数ｗk,r,qを学習する。ここで、予測係数学習部６１には、後述するように、クラス分割部６８から、２分木によるクラス分類を行った結果である予測クラス番号（予測クラスコード）Ckが供給される。よって、予測係数学習部６１は、予測クラス番号Ckの予測係数ｗk,r,qを学習する。
【０１１４】
式（９）のparami,1およびparami,2は、上述の式（１）で表され、式（１）のvolrr、volqq、volhh、及びvolvvは、学習対生成部５１の強度設定部７３で設定される強度r,qや、注目画素と周辺画素ｘijとの位相h,vに応じて決定されるパラメータ（固定値）である。従って、式（９）は、予測係数ｗk,r,qの線形予測式であるから、教師画像の画素値ti（すなわち真値ti）と注目画素の画素値yiとの誤差を最小とするような最小二乗法を解くことにより、予測係数ｗk,r,qを求めることができる。
【０１１５】
予測係数記憶部６２は、予測係数学習部６１で求められた予測演算式の予測係数ｗk,r,qを記憶する。
【０１１６】
予測演算部６３は、予測係数記憶部６２に記憶されている予測係数ｗk,r,qと、フィルタ係数取得部５５から供給されるフィルタ係数ｖj,p,r,q,h,vを用いて、注目画素の画素値yiを予測する。予測演算部６３は、予測装置１の予測演算部２０と同様の、式（９）で表される予測式を用いて、注目画素の画素値yiを予測する。注目画素の画素値yiを予測値yiともいう。
【０１１７】
ラベリング部６４は、予測演算部６３により演算された予測値yiを、教師画像の注目画素の画素値である真値tiと比較する。ラベリング部６４は、例えば、予測値yiが真値ti以上となった注目画素を判別クラスＡとしてラベリングし、予測値yiが真値ti未満となった注目画素を判別クラスＢとしてラベリングする。すなわち、ラベリング部６４は、予測演算部６３の演算結果に基づいて、注目画素を判別クラスＡと判別クラスＢに分類する。
【０１１８】
図１０は、ラベリング部６４の処理を説明するヒストグラムである。同図の横軸は、予測値yiから真値tiを引いた差分値を表し、縦軸は、その差分値が得られたサンプル（教師画像の画素と生徒画像の画素との組み合わせ）の相対頻度を表している。
【０１１９】
同図に示されるように、予測演算部６３の演算により、予測値yiから真値tiを引いた差分値が０となったサンプルの頻度が最も高くなっている。差分値が０である場合、予測演算部６３により正確な予測値（＝真値）が演算されたことになり、適切に高画質化の処理がなされたことになる。すなわち、予測係数学習部６１により予測係数ｗk,r,qが学習されたので、式（９）により正確な予測値が演算される可能性は高いといえる。
【０１２０】
しかし、差分値が０以外のものについては、正確な回帰予測がなされたとはいえない。そうであれば、より適切な予測係数ｗk,r,qを学習する余地があると考えられる。
【０１２１】
本技術では、例えば、予測値yiが真値ti以上となった注目画素のみを対象として予測係数ｗk,r,qを学習すれば、それらの注目画素に対してより適切な予測係数ｗk,r,qを学習することができ、予測値yiが真値ti未満となった注目画素のみを対象として予測係数ｗk,r,qを学習すれば、それらの注目画素に対してより適切な予測係数ｗk,r,qを学習することができると仮定する。このため、ラベリング部６４は、予測演算部６３の演算結果に基づいて、注目画素を判別クラスＡ（コード'0'）と判別クラスＢ（コード'1'）に分類する。なお、判別クラスＡが、上述した２分木によるクラス分類のコード'0'に対応し、判別クラスＢが、２分木によるクラス分類のコード'1'に対応する。
【０１２２】
そして、この後、判別係数学習部６５の処理によって、生徒画像の画素値に基づいて、注目画素を判別クラスＡ（コード'0'）と判別クラスＢ（コード'1'）に分類するための予測演算に用いられる判別係数ｚk,r,qが学習されるのである。すなわち、本技術においては、真値が不明であっても、入力画像の画素値に基づいて、教師画像の注目画素を判別クラスＡと判別クラスＢに分類できるようにするのである。
【０１２３】
なお、ここでは、予測値yiが真値ti以上となった注目画素と、予測値yiが真値ti未満となった注目画素とを判別してラベリングする例について説明したが、他の方式でラベリングするようにしてもよい。例えば、予測値yiと真値tiの差分絶対値が予め設定された閾値未満の値となった注目画素を判別クラスＡとしてラベリングし、予測値yiと真値tiの差分絶対値が予め設定された閾値以上の値となった注目画素を判別クラスＢとしてラベリングするようにしてもよい。さらに、それ以外の方式で注目画素を判別クラスＡと判別クラスＢにラベリングしてもよい。以下では、予測値yiが真値ti以上となった注目画素と、予測値yiが真値ti未満となった注目画素とを判別してラベリングする場合の例について説明する。
【０１２４】
図７に戻って、判別係数学習部６５は、注目対応画素周辺の周辺画素ｘijの画素値から、判別クラスＡ（コード'0'）と判別クラスＢ（コード'1'）を判定するための予測値の演算に用いられる判別係数ｚk,r,qを、例えば、最小二乗法を用いて学習する。
【０１２５】
判別係数ｚk,r,qの学習においては、注目対応画素周辺の周辺画素ｘijから、判別クラスＡと判別クラスＢを判定するための判別予測値ｙi'が式（１０）により求められるものとする。なお、式（１０）の計算には、注目画素を複数の波形クラスのうちの所定の波形クラスに分類した結果の波形クラスに対応するフィルタ係数ｖj,p,r,q,h,vが、フィルタ係数取得部５５から供給されて用いられる。
【０１２６】
【数８】
【０１２７】
判別係数学習部６５は、式（１０）の判別予測値ｙi'を、真値tiとの関係式である次式（１１）に代入し、式（１１）の誤差項の全サンプル分の自乗和を式（１２）により演算する。
【０１２８】
【数９】
【０１２９】
式（１２）のＳ(AB)は、以下の式（１３）により求められる値を要素とする行列である。
【数１０】
【０１３０】
式（１３）のＮAとＮBは、それぞれ判別クラスＡと判別クラスＢに属するサンプルの総数である。また、式（１３）のＳjk(A)とＳjk(B)は、それぞれ判別クラスＡと判別クラスＢに属するサンプル（タップ）を用いて求めた分散・共分散値であり、式（１４）により求められる。
【０１３１】
【数１１】
【０１３２】
【数１２】
【０１３３】
このようにして学習された判別係数ｚk,r,qは、タップの要素数と同じ要素数のベクトルとなる。学習された判別係数ｚk,r,qは、判別係数記憶部６６に供給され、記憶される。
【０１３４】
学習された判別係数ｚk,r,qを用いて判別予測部６７により判別予測値ｙi'が演算されて、注目画素が判別クラスＡに属するものであるか判別クラスＢに属するものであるかを判定することができる。判別予測部６７は、式（１０）に注目対応画素の周辺画素ｘijの画素値と判別係数ｚk,r,qを代入して判別予測値yi'を演算する。
【０１３５】
そして、判別予測部６７による演算の結果、判別予測値yi'が０以上となった注目画素は、判別クラスＡに属する画素であり、判別予測値yi'が０未満となった注目画素は、判別クラスＢに属する画素であるものと推定できる。
【０１３６】
しかしながら、判別予測部６７による演算の結果に基づく推定が必ずしも真実であるとは限らない。すなわち、式（１０）により演算された判別予測値yi'は、教師画像の画素値（真値）に係らず、生徒画像の画素値から予測した結果であるから、実際には判別クラスＡに属する画素が判別クラスＢに属する画素として推定されてしまったり、実際には判別クラスＢに属する画素が判別クラスＡに属する画素として推定されてしまうことがある。
【０１３７】
そこで、本技術においては、反復して判別係数ｚk,r,qを学習させることにより、より精度の高い予測を可能とする。
【０１３８】
すなわち、クラス分割部６８が、判別予測部６７の予測結果に基づいて、生徒画像を構成する各画素を、判別クラスＡ（コード'0'）に属する画素と判別クラスＢ（コード'1'）に属する画素とに分割する。
【０１３９】
そして、予測係数学習部６１が、クラス分割部６８により判別クラスＡに属する画素のみを対象として、上述した場合と同様に予測係数ｗk,r,qを学習して予測係数記憶部６２に記憶する。予測演算部６３は、クラス分割部６８により判別クラスＡに属するとされた画素のみを対象として、上述した場合と同様に式（９）の予測式を用いて予測値yiを演算する。
【０１４０】
このようにして、得られた予測値yiと真値tiとを比較して、ラベリング部６４がクラス分割部６８により判別クラスＡ（コード'0'）に属するとされた画素を、さらに判別クラスＡ（コード'0'）と判別クラスＢ（コード'1'）にラベリングする。
【０１４１】
また、予測係数学習部６１が、クラス分割部６８により判別クラスＢに属するとされた画素のみを対象として、上述した場合と同様に予測係数ｗk,r,qを学習する。予測演算部６３は、クラス分割部６８により判別クラスＢに属するとされた画素のみを対象として、上述した場合と同様に式（９）の予測式を用いて予測値yiを演算する。
【０１４２】
このようにして、得られた予測値yiと真値tiとを比較して、ラベリング部６４がクラス分割部６８により判別クラスＢ（コード'1'）に属するとされた画素を、さらに判別クラスＡ（コード'0'）と判別クラスＢ（コード'1'）にラベリングする。
【０１４３】
つまり、生徒画像の画素が、４つの集合に分割されることになる。第１の集合は、クラス分割部６８により判別クラスＡに属するとされた画素であって、ラベリング部６４により判別クラスＡにラベリングされた画素の集合（コード'00'）である。第２の集合は、クラス分割部６８により判別クラスＡに属するとされた画素であって、ラベリング部６４により判別クラスＢにラベリングされた画素の集合（コード'01'）である。第３の集合は、クラス分割部６８により判別クラスＢに属するとされた画素であって、ラベリング部６４により判別クラスＡにラベリングされた画素の集合（コード'10'）である。第４の集合は、クラス分割部６８により判別クラスＢに属するとされた画素であって、ラベリング部６４により判別クラスＢにラベリングされた画素の集合（コード'11'）である。
【０１４４】
このように、判別係数学習部６５によって学習される、判別クラスＡ（コード'0'）と判別クラスＢ（コード'1'）に分類するための判別係数ｚk,r,qが、図５に示した、２分木によるクラス分類において、分岐点番号ごと取得される判別係数ｚp,r,qとなる。即ち、１回目に判別クラスＡ（コード'0'）と判別クラスＢ（コード'1'）に分類するための判別係数ｚk,r,qが、分岐点番号１の判別係数ｚp,r,qに相当する。また、１回目に判別クラスＡ（コード'0'）に属するとされた画素に対して、判別クラスＡ（コード'0'）と判別クラスＢ（コード'1'）に分類するための判別係数ｚk,r,qが、分岐点番号２の判別係数ｚp,r,qに相当する。判別係数記憶部６６に記憶された各分岐点の判別係数ｚp,r,qが、予測装置１に供給され、判別係数DB１８に記憶される。
【０１４５】
判別クラスＡと判別クラスＢに対応するコードを、反復回数順に、上位から下位ビットに繋げた値が予測クラス番号（予測クラスコード）Ckに対応している。従って、３回反復して判別を行った場合、図５に示したような、３ビットからなるコードが予測クラス番号Ckとされる。また、上述した反復処理では、予測クラス番号Ckに対応する予測係数ｗk,r,qも求められている。反復処理において求められ、予測係数記憶部６２に記憶された予測クラス番号Ckごとの予測係数ｗk,r,qは、予測装置１に供給され、予測係数DB１９に記憶される。
【０１４６】
なお、予測装置１の２分木クラス分類部１７における判別予測において、適応的に反復回数を減らすことで、処理のロバスト化や高速化を図ることも可能である。そのようにする場合には各分岐点において用いられた予測係数ｗk,r,qも必要になる。
【０１４７】
ここでは、主として、判別係数ｚk,r,qの学習が３回反復して行われる例について説明したが、反復回数は、１回であってもよい。すなわち、第１回目の判別係数ｚk,r,qの学習が終了した後、判別係数学習部６５による判別係数ｚk,r,qの演算、判別予測部６７による判別予測が繰り返し実行されないようにしてもよい。
【０１４８】
［学習対生成処理のフローチャート］
次に、フローチャートを参照して、分岐点ごとの判別係数ｚk,r,q、および、予測クラス番号Ckごとの予測係数ｗk,r,qを学習する処理について説明する。
【０１４９】
初めに、図１１のフローチャートを参照して、学習装置４１の学習対生成部５１による学習対生成処理について説明する。この処理は、所定の入力画像が学習対生成部５１に供給されたとき、開始される。
【０１５０】
ステップＳ２１において、強度設定部７３は、帯域制限、位相シフト、及びノイズの強度を設定する。即ち、強度設定部７３は、帯域制限／位相シフト部７１に対して、帯域制限および位相シフトの強度を設定し、ノイズ付加部７２に対して、ノイズの強度を設定する。例えば、帯域制限の強度に応じて帯域幅が決定され、位相シフトの強度に応じて位相量（シフト量）が決定され、ノイズの強度に応じて付加するノイズ量が決定される。
【０１５１】
ステップＳ２２において、帯域制限／位相シフト部７１は、設定された強度に応じて、入力画像に含まれる周波数帯のうち所定の周波数帯域を制限する処理を行う帯域制限処理、及び、入力画像の各画素の位相をシフトする位相シフト処理を入力画像に対して行う。設定される強度の値によっては、帯域制限処理または位相シフト処理のいずれか一方が実質的に行われない場合もある。
【０１５２】
ステップＳ２３において、ノイズ付加部７２は、帯域制限／位相シフト部７１から供給される画像に、設定された強度に応じたノイズを付加した画像を生成する。
【０１５３】
ステップＳ２４において、ダウンサンプリング部７４は、ノイズ付加後の画像を、所定の画像サイズにダウンサンプリングする。ステップＳ２４の処理は、上述したように省略することができる。
【０１５４】
ステップＳ２５において、学習対生成部５１は、生徒画像と教師画像の対を出力する。即ち、学習対生成部５１は、ダウンサンプリング後の画像を、生徒画像として出力するとともに、入力されたままの入力画像を、教師画像として出力する。
【０１５５】
ステップＳ２６において、学習対生成部５１は、学習対の生成を終了するか否かを判定する。例えば、学習対生成部５１は、多種多様な学習対の画像を生成したと判定されるまで、入力画像に対して、帯域制限、位相シフト、及びノイズの強度を、予め決定した各種の値に設定し、学習対の画像を生成した場合、学習対の生成を終了すると判定する。
【０１５６】
ステップＳ２６で、学習対の生成をまだ終了しないと判定された場合、処理はステップＳ２１に戻り、それ以降の処理が繰り返される。これにより、入力画像に対して、帯域制限、位相シフト、及びノイズの強度が、予め決定した次の値に設定された学習対が生成される。
【０１５７】
一方、ステップＳ２６で、学習対の生成を終了すると判定された場合、学習対生成処理は終了する。
【０１５８】
学習対生成部５１には、様々な周波数帯域が含まれるものや、自然画、人工画などの様々な画像の種類のものなど、多種多様な画像が、入力画像として供給される。学習対生成部５１に、入力画像が供給される都度、図１１を参照して説明した処理を実行する。これにより、多数の入力画像それぞれに対して、帯域制限、位相シフト、及びノイズの強度が様々な値に設定されて、教師画像と生徒画像の対（学習対）のデータが、多数、生成される。
【０１５９】
［係数学習処理のフローチャート］
次に、図１２のフローチャートを参照して、生成された教師画像と生徒画像の対を用いて、予測係数ｗk,r,q等を学習する係数学習処理について説明する。
【０１６０】
ステップＳ１０１において、判別係数学習部６５は、分岐点を特定する。いまの場合、第１回目の学習の処理であるから分岐点番号１の分岐点と特定される。
【０１６１】
ステップＳ１０２において、予測係数学習部６１乃至ラベリング部６４は、ラベリング処理を実行する。
【０１６２】
ここで、図１３のフローチャートを参照して、ステップＳ１０２のラベリング処理の詳細について説明する。
【０１６３】
ステップＳ１３１において、予測係数学習部６１は、図１４に示す予測係数演算処理を実行する。これにより、生徒画像の画素値に基づいて教師画像の画素値を予測するための演算に用いられる予測係数ｗk,r,qが求められる。
【０１６４】
ステップＳ１３２において、予測演算部６３は、ステップＳ１３１の処理により求められた予測係数ｗk,r,qを用いて予測値ｙiを演算する。即ち、予測演算部６３は、式（９）で表される予測式を用いて、注目画素の画素値yiを予測する。
【０１６５】
ステップＳ１３３において、ラベリング部６４は、ステップＳ１３２の処理により得られた予測値yiを、教師画像の画素値である真値tiと比較する。
【０１６６】
ステップＳ１３４において、ラベリング部６４は、ステップＳ１３３の比較結果に基づいて、注目画素（実際には、注目画素に対応するタップ）を判別クラスＡまたは判別クラスＢにラベリングする。
【０１６７】
なお、ステップＳ１３２乃至ステップＳ１３４の処理は、分岐点に対応して定まる処理対象の画素のそれぞれを対象として行われる。
【０１６８】
このようにしてラベリング処理が実行される。
【０１６９】
続いて、図１４のフローチャートを参照して、図１３のステップＳ１３１の予測係数演算処理の詳細について説明する。
【０１７０】
ステップＳ１５１において、予測係数学習部６１は、ステップＳ１０１の処理で特定された分岐点に対応するサンプルを特定する。ここでのサンプルは、注目画素に対応する生徒画像のタップと、その注目画素である教師画像の画素との組み合わせを意味する。例えば、分岐点番号１の分岐点であれば、第１回目の学習の処理なので、生徒画像の全画素がサンプルとして特定される。例えば、分岐点番号２の分岐点であれば、第２回目の学習の処理の一部なので、生徒画像の画素のうち、１回目の学習の処理でコード'0'が付与された画素のそれぞれがサンプルとして特定される。例えば、分岐点番号４の分岐点であれば、第３回目の学習の処理の一部なので、生徒画像の画素のうち、１回目の学習の処理でコード'0'が付与され、２回目の学習の処理でコード'0'が付与された画素のそれぞれがサンプルとして特定される。
【０１７１】
ステップＳ１５２において、フィルタ取得部５５は、ステップＳ１５１の処理で特定されたサンプルの各注目画素について、注目画素の波形パターンを複数の波形クラスのいずれかに分類し、分類結果である波形クラス（波形クラス番号）に対応するフィルタ係数ｖj,p,r,q,h,vをフィルタ係数記憶部５４から取得して予測演算部６３に供給する。
【０１７２】
ステップＳ１５３において、予測係数学習部６１は、ステップＳ１５１の処理で特定されたサンプルの足しこみを行う。より具体的には、予測係数学習部６１は、サンプルi＝１，２，・・について、注目画素の真値tiと、注目対応画素の周辺画素ｘij（タップ）を用いた式（９）で表されるその予測値yiとを用いた次式（１６）の計算を行う。
【数１３】
【０１７３】
ステップＳ１５４において、予測係数学習部６１は、全サンプルを足しこんだか否かを判定し、全サンプルを足しこんだと判定されるまで、ステップＳ１５３の処理が繰り返し実行される。
【０１７４】
ステップＳ１５４で、全サンプルを足しこんだと判定された場合、処理はステップＳ１５５に進み、予測係数学習部６１は、式（１６）の二乗誤差を最小とするような予測係数ｗk,r,qを導出する。
【０１７５】
以上により、図１２のステップＳ１０２におけるラベリング処理が終了し、処理は図１２のステップＳ１０３に進む。
【０１７６】
ステップＳ１０３において、判別係数学習部６５は、図１５に示す判別係数演算処理を実行する。
【０１７７】
図１５のフローチャートを参照して、図１２のステップＳ１０３の判別係数演算処理の詳細について説明する。
【０１７８】
ステップＳ１７１において、判別係数学習部６５は、ステップＳ１０１の処理で特定された分岐点に対応するサンプルを特定する。ここでのサンプルは、注目画素に対応する生徒画像のタップと、注目画素についての判別クラスＡまたは判別クラスＢのラベリングの結果との組み合わせを意味する。例えば、分岐点番号１の分岐点であれば、第１回目の学習の処理なので、生徒画像の全画素のそれぞれがサンプルとして特定される。例えば、分岐点番号２の分岐点であれば、第２回目の学習の処理の一部なので、生徒画像の画素のうち、１回目の学習の処理でコード'0'が付与された画素のそれぞれがサンプルとして特定される。例えば、分岐点番号４の分岐点であれば、第３回目の学習の処理の一部なので、生徒画像の画素のうち、１回目の学習の処理でコード'0'が付与され、２回目の学習の処理でコード'0'が付与された画素のそれぞれがサンプルとして特定される。
【０１７９】
ステップＳ１７２において、フィルタ取得部５５は、ステップＳ１７１の処理で特定されたサンプルの各注目画素について、注目画素の波形パターンを複数の波形クラスのいずれかに分類し、分類結果である波形クラス（波形クラス番号）に対応するフィルタ係数ｖj,p,r,q,h,vをフィルタ係数記憶部５４から取得して判別係数学習部６５に供給する。
【０１８０】
ステップＳ１７３において、判別係数学習部６５は、ステップＳ１７１の処理で特定されたサンプルの足しこみを行う。このとき、ラベリング処理によるラベリングの結果、即ち、判別結果が判別クラスＡであるかまたは判別クラスＢであるかに基づいて数値が、式（１２）に足しこまれていく。
【０１８１】
ステップＳ１７４において、判別係数学習部６５は、全サンプルを足しこんだか否かを判定し、全サンプルを足しこんだと判定されるまで、ステップＳ１７３の処理が繰り返し実行される。
【０１８２】
ステップＳ１７４で、全サンプルを足しこんだと判定された場合、処理はステップＳ１７５に進み、判別係数学習部６５は、式（１３）乃至式（１５）の演算により、判別係数ｚk,r,qを導出する。
【０１８３】
以上で、判別係数演算処理が終了し、図１２に戻る。
【０１８４】
そして、処理はステップＳ１０３からステップＳ１０４に進み、予測演算部６３は、ステップＳ１０３の処理により求められた判別係数ｚk,r,qと、生徒画像から得られるタップを用いて、判別予測値を演算する。即ち、式（１０）の演算が行われ、判別予測値ｙi'が求められる。
【０１８５】
ステップＳ１０５において、クラス分割部６８は、ステップＳ１０４の処理により求められた判別予測値ｙi'が０以上であるか否かを判定する。
【０１８６】
ステップＳ１０５において、判別予測値ｙi'が０以上であると判定された場合、処理は、ステップＳ１０６に進み、クラス分割部６８は、当該注目画素（実際にはタップ）にコード'1'を設定する。一方、ステップＳ１０５において、判別予測値ｙi'が０未満であると判定された場合、処理は、ステップＳ１０７に進み、クラス分割部６８は、当該注目画素（実際にはタップ）にコード'0'を設定する。
【０１８７】
なお、ステップＳ１０４乃至ステップＳ１０７の処理は、分岐点に対応して定まる処理対象の画素のそれぞれを対象として行われる。
【０１８８】
ステップＳ１０６またはステップＳ１０７の処理の後、処理はステップＳ１０８に進み、判別係数記憶部６６は、ステップＳ１０３の処理で求められた判別係数ｚk,r,qを、ステップＳ１０１で特定された分岐点に対応付けて記憶する。
【０１８９】
ステップＳ１０９において、学習装置４１は、反復が終了したか否かを判定する。例えば、所定回数の反復を行うことが予め設定されている場合、規定の反復回数に達したか否かにより反復が終了したかが判定される。
【０１９０】
ステップＳ１０９で、反復が終了していないと判定された場合、処理はステップＳ１０１に戻る。そして、ステップＳ１０１において、あらためて分岐点が特定される。いまの場合、第２回目の学習の最初の処理であるから、分岐点番号２の分岐点と特定される。
【０１９１】
そして、同様に、ステップＳ１０２乃至Ｓ１０８の処理が実行される。２回目のステップＳ１０２とステップＳ１０３の処理では、例えば、１回目の学習の処理でコード'0'が付与された画素に対応する生徒画像の画素がサンプルとして特定されることになる。そして、再度、ステップＳ１０９において、反復が終了したか否かが判定される。
【０１９２】
このように、ステップＳ１０９において反復が終了したと判定されるまで、ステップＳ１０１乃至Ｓ１０９の処理が繰り返し実行される。３回反復して学習することが予め設定されている場合、ステップＳ１０１で分岐点番号７の分岐点であると特定された後、ステップＳ１０２乃至Ｓ１０８の処理が実行され、ステップＳ１０９において、反復は終了したと判定されることになる。
【０１９３】
このように、ステップＳ１０１乃至Ｓ１０９の処理が繰り返し実行されたことにより、７種類の判別係数ｚk,r,qが、分岐点の位置を示す分岐点番号に対応付けられて判別係数記憶部６６に記憶される。
【０１９４】
ステップＳ１０９で、反復が終了したと判定された場合、処理は、ステップＳ１１０に進む。
【０１９５】
ステップＳ１１０において、予測係数学習部６１は、予測係数演算処理を実行する。この処理は、図１４を参照して説明した処理と同様なので、詳細な説明は省略するが、ステップＳ１１０の処理としての図１４のステップＳ１５１では、分岐点に対応するサンプルが特定されるのではなく、各予測クラス番号Ckに対応するサンプルがそれぞれ特定される。
【０１９６】
すなわち、ステップＳ１０１乃至Ｓ１０９の処理が繰り返し実行されたことにより、生徒画像の各画素は、予測クラス番号C0乃至C7のいずれかのクラスに分類されたことになる。従って、予測クラス番号C0の生徒画像の画素がサンプルとして特定されて、第１の予測係数ｗk,r,qが導出される。また、予測クラス番号C1の生徒画像の画素がサンプルとして特定されて、第２の予測係数ｗk,r,qが導出され、予測クラス番号C2の生徒画像の画素がサンプルとして特定されて、第３の予測係数ｗk,r,qが導出され、・・・予測クラス番号C7の生徒画像の画素がサンプルとして特定されて、第８の予測係数ｗk,r,qが導出される。
【０１９７】
つまり、ステップＳ１１０の予測係数演算処理においては、予測クラス番号C0乃至C7のそれぞれに対応する８種類の予測係数ｗk,r,qが求められることになる。
【０１９８】
ステップＳ１１１において、予測係数記憶部６２は、ステップＳ１１０の処理により求められた８種類の予測係数ｗk,r,qのそれぞれを、予測クラス番号Ckに対応付けて記憶する。
【０１９９】
ステップＳ１１１の処理後、図１２の係数学習処理は終了する。
【０２００】
以上のように、学習装置４１では、様々な周波数帯域が含まれるものや、自然画、人工画などの様々な画像の種類のものなど、多種多様な画像が、入力画像として学習される。そして、多種多様な入力画像に対して、画素ごとに、適応的にクラス分類し、画素の特徴に適した解像度感／鮮鋭感を向上させた画素値を出力するような判別係数ｚk,r,qおよび予測係数ｗk,r,qが学習される。
【０２０１】
これにより、予測装置１では、多種多様な入力画像に対して、画素ごとに、適応的にクラス分類し、画素の特徴に適した解像度感／鮮鋭感を向上させた画素値を生成することができ、高画質化した画像を予測画像として出力することができる。例えば、SD信号の画像に、HD信号の画像がはめ込まれている画像や、テロップが重畳されている画像などに対しても、劣化を生じさせることなく、アップコンバートした画像やズーム処理した画像を出力することができる。
【０２０２】
また、学習装置４１では、教師画像に、撮像時または信号伝送時に発生するノイズや符号化歪みに対応するノイズを付加して生徒画像を生成した学習対を用いて、学習処理が行われる。これにより、解像度感／鮮鋭感の向上に加え、予測装置１は、ノイズ除去機能も有し、ノイズを除去した画像を出力することができる。
【０２０３】
従って、予測装置１では、より簡単な構成で、アップコンバート機能を有する高画質化処理を実現することができる。
【０２０４】
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０２０５】
図１６は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０２０６】
コンピュータにおいて、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。
【０２０７】
バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、入力部１０６、出力部１０７、記憶部１０８、通信部１０９、及びドライブ１１０が接続されている。
【０２０８】
入力部１０６は、キーボード、マウス、マイクロホンなどよりなる。出力部１０７は、ディスプレイ、スピーカなどよりなる。記憶部１０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１０９は、ネットワークインタフェースなどよりなる。ドライブ１１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体１１１を駆動する。
【０２０９】
以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５及びバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。
【０２１０】
コンピュータでは、プログラムは、リムーバブル記録媒体１１１をドライブ１１０に装着することにより、入出力インタフェース１０５を介して、記憶部１０８にインストールすることができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して、通信部１０９で受信し、記憶部１０８にインストールすることができる。その他、プログラムは、ROM１０２や記憶部１０８に、あらかじめインストールしておくことができる。
【０２１１】
本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる場合はもちろん、必ずしも時系列的に処理されなくとも、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで実行されてもよい。
【０２１２】
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０２１３】
なお、本技術は以下のような構成も取ることができる。
（１）
入力画像を高画質化した画像を予測画像として出力する際の、前記予測画像を構成する画素を注目画素として、前記注目画素に対応する前記入力画像の画素周辺の複数の周辺画素の画素値と、帯域制限及びノイズ付加の強度、並びに、前記注目画素と前記周辺画素それぞれとの位相に応じたフィルタ係数との積和演算により、前記注目画素の鮮鋭感向上の特徴量である鮮鋭感向上特徴量を演算する鮮鋭感向上用特徴量演算部と、
前記鮮鋭感向上特徴量と、学習により予め求められた予測係数との積和演算で定義される予測式を演算することにより、前記注目画素の予測値を算出する予測演算部と
を備える画像処理装置。
（２）
前記複数の周辺画素の画素値をADRC処理することにより、前記注目画素周辺の波形パターンを、複数の波形クラスのなかの所定の波形クラスにクラス分類する波形クラス分類部と、
前記波形クラスごとの前記フィルタ係数を記憶するフィルタ係数記憶部と
をさらに備え、
前記鮮鋭感向上用特徴量演算部は、前記注目画素が属する前記波形クラスの前記フィルタ係数と、前記注目画素に対応する前記複数の周辺画素の画素値との積和演算により、前記鮮鋭感向上特徴量を演算する
前記（１）に記載の画像処理装置。
（３）
前記鮮鋭感向上特徴量を少なくとも用いて、前記注目画素を、複数のクラスのいずれかに分類するクラス分類部と、
複数のクラスそれぞれの前記予測係数を記憶する予測係数記憶部と
をさらに備え、
前記予測演算部は、前記注目画素が属するクラスの前記予測係数と、前記鮮鋭感向上特徴量との積和演算で定義される予測式を演算することにより、前記注目画素の予測値を算出する
前記（１）または（２）に記載の画像処理装置。
（４）
前記クラス分類部は、２分木構造を用いたクラス分類を行う
前記（３）に記載の画像処理装置。
（５）
前記クラス分類部は、前記複数の周辺画素の画素値の最大値および最小値、並びに、前記複数の周辺画素の隣接する画素の差分絶対値も用いて、前記注目画素を、複数のクラスのいずれかに分類する
前記（３）または（４）のいずれかに記載の画像処理装置。
（６）
前記予測係数は、
教師画像に対して帯域制限、及び、位相シフトの強度を所定の値に設定して帯域制限処理及び位相シフト処理を行い、かつ、ノイズ付加の強度を所定の値に設定してノイズ付加処理を行った画像である生徒画像と、前記教師画像の対を用いて、前記教師画像に対して設定した注目画素に対応する前記生徒画像の画素周辺の複数の周辺画素の画素値を用いた前記鮮鋭感向上特徴量と前記予測係数との積和演算の前記予測式の結果と、前記注目画素の画素値との誤差が最小となるように、前記学習により予め求められたものである
前記（１）乃至（５）のいずれかに記載の画像処理装置。
（７）
入力画像を高画質化した画像を予測画像として出力する際の、前記予測画像を構成する画素を注目画素として、前記注目画素に対応する前記入力画像の画素周辺の複数の周辺画素の画素値と、帯域制限及びノイズ付加の強度、並びに、前記注目画素と前記周辺画素それぞれとの位相に応じたフィルタ係数との積和演算により、前記注目画素の鮮鋭感向上の特徴量である鮮鋭感向上特徴量を演算し、
演算により得られた前記鮮鋭感向上特徴量と、学習により予め求められた予測係数との積和演算で定義される予測式を演算することにより、前記注目画素の予測値を算出する
ステップを含む画像処理方法。
（８）
コンピュータに、
入力画像を高画質化した画像を予測画像として出力する際の、前記予測画像を構成する画素を注目画素として、前記注目画素に対応する前記入力画像の画素周辺の複数の周辺画素の画素値と、帯域制限及びノイズ付加の強度、並びに、前記注目画素と前記周辺画素それぞれとの位相に応じたフィルタ係数との積和演算により、前記注目画素の鮮鋭感向上の特徴量である鮮鋭感向上特徴量を演算し、
演算により得られた前記鮮鋭感向上特徴量と、学習により予め求められた予測係数との積和演算で定義される予測式を演算することにより、前記注目画素の予測値を算出する
ステップを含む処理を実行させるためのプログラム。
（９）
前記（８）に記載のプログラムが記録されている記録媒体。
【符号の説明】
【０２１４】
１ 予測装置， １３ 位相予測／鮮鋭感向上特徴量演算部， １４ 波形クラス分類部， １５ フィルタ係数DB， １６ 画像特徴量演算部， １７ ２分木クラス分類部， １８ 判別係数DB， １９ 予測係数DB， ２０ 予測演算部， ４１ 学習装置
【特許請求の範囲】
【請求項１】
入力画像を高画質化した画像を予測画像として出力する際の、前記予測画像を構成する画素を注目画素として、前記注目画素に対応する前記入力画像の画素周辺の複数の周辺画素の画素値と、帯域制限及びノイズ付加の強度、並びに、前記注目画素と前記周辺画素それぞれとの位相に応じたフィルタ係数との積和演算により、前記注目画素の鮮鋭感向上の特徴量である鮮鋭感向上特徴量を演算する鮮鋭感向上用特徴量演算部と、
前記鮮鋭感向上特徴量と、学習により予め求められた予測係数との積和演算で定義される予測式を演算することにより、前記注目画素の予測値を算出する予測演算部と
を備える画像処理装置。
【請求項２】
前記複数の周辺画素の画素値をADRC処理することにより、前記注目画素周辺の波形パターンを、複数の波形クラスのなかの所定の波形クラスにクラス分類する波形クラス分類部と、
前記波形クラスごとの前記フィルタ係数を記憶するフィルタ係数記憶部と
をさらに備え、
前記鮮鋭感向上用特徴量演算部は、前記注目画素が属する前記波形クラスの前記フィルタ係数と、前記注目画素に対応する前記複数の周辺画素の画素値との積和演算により、前記鮮鋭感向上特徴量を演算する
請求項１に記載の画像処理装置。
【請求項３】
前記鮮鋭感向上特徴量を少なくとも用いて、前記注目画素を、複数のクラスのいずれかに分類するクラス分類部と、
複数のクラスそれぞれの前記予測係数を記憶する予測係数記憶部と
をさらに備え、
前記予測演算部は、前記注目画素が属するクラスの前記予測係数と、前記鮮鋭感向上特徴量との積和演算で定義される予測式を演算することにより、前記注目画素の予測値を算出する
請求項１に記載の画像処理装置。
【請求項４】
前記クラス分類部は、２分木構造を用いたクラス分類を行う
請求項３に記載の画像処理装置。
【請求項５】
前記クラス分類部は、前記複数の周辺画素の画素値の最大値および最小値、並びに、前記複数の周辺画素の隣接する画素の差分絶対値も用いて、前記注目画素を、複数のクラスのいずれかに分類する
請求項３に記載の画像処理装置。
【請求項６】
前記予測係数は、
教師画像に対して帯域制限、及び、位相シフトの強度を所定の値に設定して帯域制限処理及び位相シフト処理を行い、かつ、ノイズ付加の強度を所定の値に設定してノイズ付加処理を行った画像である生徒画像と、前記教師画像の対を用いて、前記教師画像に対して設定した注目画素に対応する前記生徒画像の画素周辺の複数の周辺画素の画素値を用いた前記鮮鋭感向上特徴量と前記予測係数との積和演算の前記予測式の結果と、前記注目画素の画素値との誤差が最小となるように、前記学習により予め求められたものである
請求項１に記載の画像処理装置。
【請求項７】
入力画像を高画質化した画像を予測画像として出力する際の、前記予測画像を構成する画素を注目画素として、前記注目画素に対応する前記入力画像の画素周辺の複数の周辺画素の画素値と、帯域制限及びノイズ付加の強度、並びに、前記注目画素と前記周辺画素それぞれとの位相に応じたフィルタ係数との積和演算により、前記注目画素の鮮鋭感向上の特徴量である鮮鋭感向上特徴量を演算し、
演算により得られた前記鮮鋭感向上特徴量と、学習により予め求められた予測係数との積和演算で定義される予測式を演算することにより、前記注目画素の予測値を算出する
ステップを含む画像処理方法。
【請求項８】
コンピュータに、
入力画像を高画質化した画像を予測画像として出力する際の、前記予測画像を構成する画素を注目画素として、前記注目画素に対応する前記入力画像の画素周辺の複数の周辺画素の画素値と、帯域制限及びノイズ付加の強度、並びに、前記注目画素と前記周辺画素それぞれとの位相に応じたフィルタ係数との積和演算により、前記注目画素の鮮鋭感向上の特徴量である鮮鋭感向上特徴量を演算し、
演算により得られた前記鮮鋭感向上特徴量と、学習により予め求められた予測係数との積和演算で定義される予測式を演算することにより、前記注目画素の予測値を算出する
ステップを含む処理を実行させるためのプログラム。
【請求項９】
請求項８に記載のプログラムが記録されている記録媒体。
【請求項１】
入力画像を高画質化した画像を予測画像として出力する際の、前記予測画像を構成する画素を注目画素として、前記注目画素に対応する前記入力画像の画素周辺の複数の周辺画素の画素値と、帯域制限及びノイズ付加の強度、並びに、前記注目画素と前記周辺画素それぞれとの位相に応じたフィルタ係数との積和演算により、前記注目画素の鮮鋭感向上の特徴量である鮮鋭感向上特徴量を演算する鮮鋭感向上用特徴量演算部と、
前記鮮鋭感向上特徴量と、学習により予め求められた予測係数との積和演算で定義される予測式を演算することにより、前記注目画素の予測値を算出する予測演算部と
を備える画像処理装置。
【請求項２】
前記複数の周辺画素の画素値をADRC処理することにより、前記注目画素周辺の波形パターンを、複数の波形クラスのなかの所定の波形クラスにクラス分類する波形クラス分類部と、
前記波形クラスごとの前記フィルタ係数を記憶するフィルタ係数記憶部と
をさらに備え、
前記鮮鋭感向上用特徴量演算部は、前記注目画素が属する前記波形クラスの前記フィルタ係数と、前記注目画素に対応する前記複数の周辺画素の画素値との積和演算により、前記鮮鋭感向上特徴量を演算する
請求項１に記載の画像処理装置。
【請求項３】
前記鮮鋭感向上特徴量を少なくとも用いて、前記注目画素を、複数のクラスのいずれかに分類するクラス分類部と、
複数のクラスそれぞれの前記予測係数を記憶する予測係数記憶部と
をさらに備え、
前記予測演算部は、前記注目画素が属するクラスの前記予測係数と、前記鮮鋭感向上特徴量との積和演算で定義される予測式を演算することにより、前記注目画素の予測値を算出する
請求項１に記載の画像処理装置。
【請求項４】
前記クラス分類部は、２分木構造を用いたクラス分類を行う
請求項３に記載の画像処理装置。
【請求項５】
前記クラス分類部は、前記複数の周辺画素の画素値の最大値および最小値、並びに、前記複数の周辺画素の隣接する画素の差分絶対値も用いて、前記注目画素を、複数のクラスのいずれかに分類する
請求項３に記載の画像処理装置。
【請求項６】
前記予測係数は、
教師画像に対して帯域制限、及び、位相シフトの強度を所定の値に設定して帯域制限処理及び位相シフト処理を行い、かつ、ノイズ付加の強度を所定の値に設定してノイズ付加処理を行った画像である生徒画像と、前記教師画像の対を用いて、前記教師画像に対して設定した注目画素に対応する前記生徒画像の画素周辺の複数の周辺画素の画素値を用いた前記鮮鋭感向上特徴量と前記予測係数との積和演算の前記予測式の結果と、前記注目画素の画素値との誤差が最小となるように、前記学習により予め求められたものである
請求項１に記載の画像処理装置。
【請求項７】
入力画像を高画質化した画像を予測画像として出力する際の、前記予測画像を構成する画素を注目画素として、前記注目画素に対応する前記入力画像の画素周辺の複数の周辺画素の画素値と、帯域制限及びノイズ付加の強度、並びに、前記注目画素と前記周辺画素それぞれとの位相に応じたフィルタ係数との積和演算により、前記注目画素の鮮鋭感向上の特徴量である鮮鋭感向上特徴量を演算し、
演算により得られた前記鮮鋭感向上特徴量と、学習により予め求められた予測係数との積和演算で定義される予測式を演算することにより、前記注目画素の予測値を算出する
ステップを含む画像処理方法。
【請求項８】
コンピュータに、
入力画像を高画質化した画像を予測画像として出力する際の、前記予測画像を構成する画素を注目画素として、前記注目画素に対応する前記入力画像の画素周辺の複数の周辺画素の画素値と、帯域制限及びノイズ付加の強度、並びに、前記注目画素と前記周辺画素それぞれとの位相に応じたフィルタ係数との積和演算により、前記注目画素の鮮鋭感向上の特徴量である鮮鋭感向上特徴量を演算し、
演算により得られた前記鮮鋭感向上特徴量と、学習により予め求められた予測係数との積和演算で定義される予測式を演算することにより、前記注目画素の予測値を算出する
ステップを含む処理を実行させるためのプログラム。
【請求項９】
請求項８に記載のプログラムが記録されている記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１３−３８９２（Ｐ２０１３−３８９２Ａ）
【公開日】平成２５年１月７日（２０１３．１．７）
【国際特許分類】
【出願番号】特願２０１１−１３５１３７（Ｐ２０１１−１３５１３７）
【出願日】平成２３年６月１７日（２０１１．６．１７）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２５年１月７日（２０１３．１．７）
【国際特許分類】
【出願日】平成２３年６月１７日（２０１１．６．１７）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]