画像処理装置、画像処理方法、およびプログラム
【課題】より高画質の画像を生成する。
【解決手段】帯域判定部１２1乃至１２3は、第１の画像データを構成する複数のコンポーネント信号の信号帯域を判定する。クラス分類部１３は、それらの信号帯域の判定結果に基づいて、複数のコンポーネント信号間の相関性を求め、複数のコンポーネント信号の信号帯域の判定結果と、複数のコンポーネント信号間の相関性との組み合わせに基づいて、複数のコンポーネント信号のそれぞれから、第２の画像データの注目している画素である注目画素を予測する予測演算に用いるためのタップとして、注目画素に対応する、第１の画像データの対応画素を含む、対応画素の周囲に存在する複数の画素を抽出する際のタップ形状を、複数のコンポーネント信号ごとに決定し、そのタップを用いて注目画素のクラス分類を行う。本発明は、例えば、画像処理装置に適用できる。
【解決手段】帯域判定部１２1乃至１２3は、第１の画像データを構成する複数のコンポーネント信号の信号帯域を判定する。クラス分類部１３は、それらの信号帯域の判定結果に基づいて、複数のコンポーネント信号間の相関性を求め、複数のコンポーネント信号の信号帯域の判定結果と、複数のコンポーネント信号間の相関性との組み合わせに基づいて、複数のコンポーネント信号のそれぞれから、第２の画像データの注目している画素である注目画素を予測する予測演算に用いるためのタップとして、注目画素に対応する、第１の画像データの対応画素を含む、対応画素の周囲に存在する複数の画素を抽出する際のタップ形状を、複数のコンポーネント信号ごとに決定し、そのタップを用いて注目画素のクラス分類を行う。本発明は、例えば、画像処理装置に適用できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、およびプログラムに関し、特に、より高画質の画像を生成することができるようにした画像処理装置、画像処理方法、およびプログラムに関する。
【背景技術】
【０００２】
本出願人は、例えば、低解像度の画像データを、より解像度が高い高解像度の画像データに変換する方法として、クラス分類適応処理を先に提案している（例えば、特許文献１を参照）。
【０００３】
クラス分類適応処理では、低解像度の画像データの特徴に基づいてクラス分類が行われ、クラスごとに求められた予測係数を用いて高解像度の画像データが取得される。
【０００４】
即ち、クラス分類適応処理では、例えば、予測すべき高解像度の画像データの画素（以下、注目画素という）が決定され、注目画素の位置に相当する、低解像度の画像データの位置から最も近くに存在する画素を、注目画素に対応する対応画素として、対応画素を含む、その対応画素の周囲に存在する複数の画素がクラスタップとして抽出され、クラスタップを構成する複数の画素に基づいて、注目画素が複数のクラスのうちのいずれかのクラスに分類される。そして、注目画素の位置に対応する、低解像度の画像データの対応画素を含む、その対応画素の周囲に存在する複数の画素が予測タップとして抽出され、予測タップを構成する複数の画素と、注目画素が分類されたクラスに対応する予測係数とを用いた予測演算によって注目画素が予測（生成）される。
【０００５】
このようなクラス分類適応処理により高解像度の画像データを取得する方法は、例えば、直線補完により高解像度の画像データを取得する方法よりも、非常に高精度な変換性能を有している一方で、クラス分類の精度を十分に確保することができなければ、予測精度が低下することがある。
【０００６】
そこで、予測精度の低下を回避するために、例えば、低解像度の画像データを構成するコンポーネント信号の３つの成分（例えば、Ｒ，Ｇ，Ｂ）から、高解像度の画像データを構成するコンポーネント信号の１成分を予測する際に、低解像度の画像データのその１成分だけでなく、他の２成分も利用する（例えば、Ｒ成分の予測に、Ｒ成分だけでなく、Ｇ成分およびＢ成分も利用する）方法が提案されている（例えば、特許文献２を参照）。
【０００７】
コンポーネント信号の３つの成分には、それぞれ相関性があることより、高解像度の画像データを構成するコンポーネント信号の１成分を予測する際に、低解像度の画像データのその１成分だけでなく、他の２成分も利用することで、クラス分類の精度を向上させることができ、予測精度を向上させることができる。
【０００８】
【特許文献１】特開平５−３２８１８５号公報
【特許文献２】特許第３７４８０８８号
【発明の開示】
【発明が解決しようとする課題】
【０００９】
ところで、高解像度の画像データを構成するコンポーネント信号の１成分を予測する際に、低解像度の画像データのその１成分だけでなく、他の２成分も利用する方法において、コンポーネント信号の各成分間の相関性が極めて高い場合において、クラスタップを抽出するタップ構造が同一の形状であると、高解像度の画像データの１成分を予測する際に、低解像度の画像データのその１成分だけを利用する場合からの予測精度の向上が小さかった。
【００１０】
図１を参照して、コンポーネント信号の各成分間の相関性について説明する。
【００１１】
例えば、図１Ａに示すように、コンポーネント信号のＲ成分、Ｇ成分、およびＢ成分の相関性が極めて高い場合に、高解像度の画像データのＲ成分を予測する際に、低解像度の画像データのＲ成分、Ｇ成分、およびＢ成分を利用するとき、クラスタップを抽出するタップ構造が同一の形状であると、低解像度の画像データのＲ成分から取得される情報（画像データの特徴）と、低解像度の画像データのＧ成分およびＢ成分から取得される情報とは、それぞれほぼ同じものとなる。
【００１２】
このように、低解像度の画像データのＲ成分、Ｇ成分、およびＢ成分から情報を取得しているにもかかわらず、低解像度の画像データのＲ成分から取得される情報と、低解像度の画像データのＧ成分およびＢ成分から取得される情報とが、ほぼ同じ情報であるということは、コンポーネント信号Ｒのみを用いてコンポーネント信号Ｒを予測する場合と比べて、予測精度は少ししか向上しない。
【００１３】
また、例えば、図１Ｂに示すように、画像がコンポーネント信号のＹ成分、Ｕ成分、およびＶ成分からなる場合には、コンポーネント信号の各成分で情報量が大きく異なっており、クラスタップを抽出するタップ構造が同一の形状であると、情報量の少ない成分からは、有用な情報をほとんど取得することができない。
【００１４】
従って、例えば、高解像度の画像データのＹ成分を予測する際に、低解像度の画像データのＹ成分、Ｕ成分、およびＶ成分を利用したとしても、Ｕ成分およびＶ成分からは有用な情報をほとんど取得することができないため、Ｙ成分だけを利用する場合からの予測精度の向上が小さかった。
【００１５】
これらのことより、従来より予測精度を大きく向上させ、より高画質の画像を生成することができるようにすることが求められていた。
【００１６】
本発明は、このような状況に鑑みてなされたものであり、より高画質の画像を生成することができるようにするものである。
【課題を解決するための手段】
【００１７】
本発明の一側面の画像処理装置は、第１の画像データを、より高画質の第２の画像データに変換する画像処理を行う画像処理装置であって、前記第１の画像データを構成する複数のコンポーネント信号の信号帯域を判定する帯域判定手段と、前記帯域判定手段により判定された信号帯域の判定結果に基づいて、前記複数のコンポーネント信号間の相関性を求める相関性取得手段と、前記複数のコンポーネント信号の信号帯域の判定結果と、前記相関性取得手段により求められた前記複数のコンポーネント信号間の相関性との組み合わせに基づいて、前記複数のコンポーネント信号のそれぞれから、前記第２の画像データの注目している画素である注目画素を予測する予測演算に用いるためのタップとして、前記注目画素に対応する、前記第１の画像データの対応画素を含む、前記対応画素の周囲に存在する複数の画素を抽出する際のタップ形状を、前記複数のコンポーネント信号ごとに決定するタップ形状決定手段と、前記タップ決定手段により決定されたタップ形状で、前記注目画素に対応する、前記第１の画像データの対応画素を含む、前記対応画素の周囲に存在する複数の画素を、前記第１の画像データから抽出するタップ抽出手段と、前記タップ抽出手段により抽出されたタップに基づいて、前記注目画素をクラス分けするクラス分類手段と、学習用の前記第１の画像データを用いた前記予測演算の結果と、学習用の前記第１の画像データに対応する学習用の前記第２の画像データとの誤差を最小にする学習によりあらかじめ求められて保持されている予測係数の中から、前記クラス分類手段によりクラス分けされた前記注目画素のクラスに対応する予測係数を出力する予測係数出力手段と、前記予測係数出力手段から出力された前記予測係数と、前記タップ抽出手段により抽出されたタップを構成する複数の画素とを用いた前記予測演算により、前記第２の画像データの前記注目画素を予測する予測演算手段とを備える。
【００１８】
本発明の一側面の画像処理方法またはプログラムは、第１の画像データを、より高画質の第２の画像データに変換する画像処理を行う画像処理方法、または、第１の画像データを、より高画質の第２の画像データに変換する画像処理を行う画像処理処理をコンピュータに実行させるプログラムであって、前記第１の画像データを構成する複数のコンポーネント信号の信号帯域を判定し、前記信号帯域の判定結果に基づいて、前記複数のコンポーネント信号間の相関性を求め、前記複数のコンポーネント信号の信号帯域の判定結果と、前記複数のコンポーネント信号間の相関性との組み合わせに基づいて、前記複数のコンポーネント信号のそれぞれから、前記第２の画像データの注目している画素である注目画素を予測する予測演算に用いるためのタップとして、前記注目画素に対応する、前記第１の画像データの対応画素を含む、前記対応画素の周囲に存在する複数の画素を抽出する際のタップ形状を、前記複数のコンポーネント信号ごとに決定し、前記タップ形状で、前記注目画素に対応する、前記第１の画像データの対応画素を含む、前記対応画素の周囲に存在する複数の画素を、前記第１の画像データから抽出し、前記第１の画像データから抽出されたタップに基づいて、前記注目画素をクラス分けし、学習用の前記第１の画像データを用いた前記予測演算の結果と、学習用の前記第１の画像データに対応する学習用の前記第２の画像データとの誤差を最小にする学習によりあらかじめ求められて保持されている予測係数の中から、前記注目画素のクラスに対応する予測係数を出力し、前記注目画素のクラスに対応する予測係数と、前記タップを構成する複数の画素とを用いた前記予測演算により、前記第２の画像データの前記注目画素を予測するステップを含む。
【００１９】
本発明の一側面においては、第１の画像データを構成する複数のコンポーネント信号の信号帯域が判定され、それらの信号帯域の判定結果に基づいて、複数のコンポーネント信号間の相関性が求められる。また、複数のコンポーネント信号の信号帯域の判定結果と、複数のコンポーネント信号間の相関性との組み合わせに基づいて、複数のコンポーネント信号のそれぞれから、第２の画像データの注目している画素である注目画素を予測する予測演算に用いるためのタップとして、注目画素に対応する、第１の画像データの対応画素を含む、対応画素の周囲に存在する複数の画素を抽出する際のタップ形状が、複数のコンポーネント信号ごとに決定される。そして、決定されたタップ形状で、注目画素に対応する、第１の画像データの対応画素を含む、対応画素の周囲に存在する複数の画素が、第１の画像データから抽出され、第１の画像データから抽出されたタップに基づいて、注目画素がクラス分けされる。また、学習用の第１の画像データを用いた予測演算の結果と、学習用の第１の画像データに対応する学習用の第２の画像データとの誤差を最小にする学習によりあらかじめ求められて保持されている予測係数の中から、注目画素のクラスに対応する予測係数が出力され、その予測係数と、タップを構成する複数の画素とを用いた予測演算により、第２の画像データの注目画素が予測される。
【発明の効果】
【００２０】
本発明の一側面によれば、より高画質の画像を生成することができる。
【発明を実施するための最良の形態】
【００２１】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
【００２２】
図２は、本発明を適用した画像処理装置の一実施の形態の構成例を示すブロック図である。
【００２３】
図２において、画像処理装置１１は、３つの帯域判定部１２1乃至１２3、クラス分類部１３、予測係数ROM（Read Only Memory）１４、および予測演算部１５から構成される。
【００２４】
画像処理装置１１には、低解像度の画像データを構成するコンポーネント信号Ｃ1乃至Ｃ3が供給され、画像処理装置１１は、低解像度の画像データに対し、解像度を向上させる画像処理を施し、高解像度の画像データを出力する。画像処理装置１１では、例えば、高解像度の画像データを構成するコンポーネント信号Ｃ1を予測する際に、低解像度の画像データを構成するコンポーネント信号Ｃ1だけでなく、コンポーネント信号Ｃ2およびＣ3も利用される。
【００２５】
帯域判定部１２1乃至１２3には、コンポーネント信号Ｃ1乃至Ｃ3がそれぞれ供給される。帯域判定部１２1は、コンポーネント信号Ｃ1の信号帯域を判定し、その判定結果として、例えば、高帯域、中帯域、または低帯域を示す判定結果信号をクラス分類部１３に供給する。帯域判定部１２2および１２3は、帯域判定部１２1と同様に、コンポーネント信号Ｃ2およびＣ3の信号帯域を判定した結果を示す判定結果信号をクラス分類部１３に供給する。
【００２６】
クラス分類部１３には、コンポーネント信号Ｃ1乃至Ｃ3が供給され、クラス分類部１３は、帯域判定部１２1乃至１２3から供給される判定結果信号に基づいて、コンポーネント信号Ｃ1乃至Ｃ3のクラス分類を行う。
【００２７】
即ち、クラス分類部１３は、例えば、予測すべき高解像度の画像データの画素（以下、注目画素という）の位置に相当する、低解像度の画像データの位置から最も近くに存在する画素を、注目画素に対応する対応画素として、対応画素を含む、その対応画素の周囲に存在する複数の画素をクラスタップとして抽出する。このとき、クラス分類部１３は、判定結果信号に基づいて、クラスタップの形状をコンポーネント信号ごとに選択し、クラスタップを構成する複数の画素に基づいて、注目画素を、複数のクラスのうちのいずれかのクラスに分類する。
【００２８】
そして、クラス分類部１３は、注目画素ごとに、それぞれのクラスを示すクラスコード（例えば、後述するADRCコード）を、予測係数ROM１４に供給する。
【００２９】
予測係数ROM１４は、クラスコードと、そのクラスコードに対応する予測係数（後述する学習によって予め求められる予測係数）とのセットを記憶（保持）しており、クラス分類部１３からクラスコードが供給されると、そのクラスコードに対応付けられている予測係数を予測演算部１５に供給する。
【００３０】
予測演算部１５は、低解像度の画像データを構成するコンポーネント信号Ｃ1乃至Ｃ3と、予測係数ROM１４から供給される予測係数とを用いて、所定の予測演算（例えば、線形１次演算）を行い、高解像度の画像データを構成するコンポーネント信号Ｃ1乃至Ｃ3を出力する。
【００３１】
即ち、予測演算部１５は、注目画素の位置に対応する、低解像度の画像データの対応画素を含む、その対応画素の周囲に存在する複数の画素を予測タップとして抽出し、予測タップを構成する複数の画素と、注目画素が分類されたクラスに対応する予測係数とを用いた予測演算によって注目画素を予測（生成）する。
【００３２】
次に、図３は、帯域判定部１２の構成例を示すブロック図である。
【００３３】
帯域判定部１２1乃至１２3は、コンポーネント信号Ｃ1乃至Ｃ3の信号帯域の判定をそれぞれ行うことにより、コンポーネント信号Ｃ1乃至Ｃ3が有する情報量を明らかにする。また、帯域判定部１２1乃至１２3がコンポーネント信号Ｃ1乃至Ｃ3の信号帯域の判定を行うことで、後述するコンポーネント間相関判定部５１（図１２）がコンポーネント信号Ｃ1乃至Ｃ3の帯域を揃えた上で、より高精度な相関性を評価することができるようになる。なお、帯域判定部１２1乃至１２3では、低解像度の画像データの全情報を利用して処理が行われる。なお、帯域判定部１２1乃至１２3は、それぞれ同様に構成されており、帯域判定部１２1乃至１２3のそれぞれを区別する必要がない場合、以下、適宜、帯域判定部１２と称する。
【００３４】
図３において、帯域判定部１２は、帯域制限部２１1および２１2、画像差分取得部２２1および２２2、並びに、判定部２３から構成される。
【００３５】
帯域制限部２１1および２１2には、それぞれ異なるフィルタ係数があらかじめ設定されており、入力信号Ｃ（例えば、帯域判定部１２1であれば、コンポーネント信号Ｃ1）がそれぞれ供給される。そして、帯域制限部２１1は、フィルタ係数に基づいて入力信号Ｃに帯域制限を施し、その結果得られる帯域制限信号ＣL1を画像差分取得部２２1に供給する。また、帯域制限部２１2は、帯域制限部２１1と同様に、帯域制限信号ＣL2を画像差分取得部２２2に供給する。
【００３６】
また、例えば、帯域制限部２１1および２１2に設定されているフィルタ係数は、帯域制限部２１1よりも、帯域制限部２１2の方が、通過帯域が低くなるような特性とされている。具体的には、帯域制限部２１1には、通過帯域５０％程度のフィルタ係数が設定され、帯域制限部２１2には、通過帯域２５％程度のフィルタ係数が設定される。
【００３７】
また、帯域制限部２１1および２１2は、入力画像の水平ラインにのみ帯域制限を行い、その結果得られる帯域制限画像を出力する。
【００３８】
例えば、図４に示すように、帯域制限部２１1および２１2は、入力画像の所定の画素を含む水平方向の所定数の画素（図４の入力画像の黒丸の画素を含む５つの画素）の画素値と、帯域制限部２１1および２１2にそれぞれ設定されているフィルタ係数（帯域制限フィルタ係数）との積和演算を行う。そして、帯域制限部２１1および２１2は、積和演算を行った結果得られる積和値を、入力画像の所定の画素に対応する帯域制限画像の画素（図４の帯域制限画像の黒丸の画素）の画素値として出力する。
【００３９】
一般的に、ＹＵＶ信号などは、水平方向を重点的に帯域制限をしているので、このように入力画像の水平ラインにのみ帯域制限を行うことで、帯域判定部１２は、垂直方向に大きなアクティビティがある画素に重きを置いた帯域判定を行うことができる。また、水平方向および垂直方向に帯域制限を行う場合よりも処理を高速に行うことができる。
【００４０】
また、帯域制限部２１1および２１2において、入力信号に対して帯域制限を施す結果、図５Ａに示すように、入力信号Ｃの帯域が高い場合には、帯域制限信号ＣLは入力信号Ｃから大きく変化し、入力信号Ｃの帯域が低い場合には、帯域制限信号ＣLは入力信号Ｃから大きく変化しない。
【００４１】
画像差分取得部２２1は、入力信号Ｃと、帯域制限部２１1から供給される帯域制限信号ＣL1との全画面での差分の総和を算出し、その総和を示す差分情報Ｄ1を判定部２３に供給する。画像差分取得部２２2は、画像差分取得部２２1と同様に、差分情報Ｄ2を判定部２３に供給する。差分情報の算出については、図７を参照して後述する。
【００４２】
判定部２３は、画像差分取得部２２1から供給される差分情報Ｄ1と、画像差分取得部２２2から供給される差分情報Ｄ2との比を算出し、あらかじめ設定されている閾値に従って入力信号の信号帯域を判定し、その判定結果を示す判定結果信号Ｅを１画面ごとに出力する。
【００４３】
例えば、図６に示すように、信号帯域を判定する閾値として、0.4と0.6とが判定部２３に設定されているとき、判定部２３は、差分情報Ｄ1と差分情報Ｄ2との比（Ｄ1／Ｄ2）が、０以上0.4未満であれば、低帯域を表す判定結果信号Ｅを出力する。また、判定部２３は、差分情報Ｄ1と差分情報Ｄ2との比が、0.4以上0.6未満であれば、中帯域を表す判定結果信号Ｅを出力し、差分情報Ｄ1と差分情報Ｄ2との比が、0.6以上であれば、高帯域を表す判定結果信号Ｅを出力する。なお、信号帯域を判定する閾値は、高解像度の画像データの変化に応じて適切な画質となるような値を設定することができ、0.4や0.6で限定されるものではない。
【００４４】
なお、図３において、帯域判定部１２には、帯域制限部および画像差分取得部が、それぞれ２つ設けられているが、例えば、帯域制限部および画像差分取得部を２つ以上設けて、種々の帯域制限信号を用いて判定部２３における判定を行うことで、その判定を高精度化させることができる。
【００４５】
次に、図７は、図３の画像差分取得部２２の構成例を示すブロック図である。
【００４６】
図７において、画像差分取得部２２は、ＤＲ取得部３１、レベル正規化差分絶対値取得部３２、積算部３３、およびメモリ３４から構成される。
【００４７】
ＤＲ取得部３１は、入力画像の水平方向のダイナミックレンジ（水平ＤＲ）と、入力画像の垂直方向のダイナミックレンジ（垂直ＤＲ）とを算出して、レベル正規化差分絶対値取得部３２に供給する。
【００４８】
例えば、図８に示すように、ＤＲ取得部３１は、入力画像の所定の画素について、所定の画素を含む水平方向の所定数の画素（図８の例では、黒丸の画素（所定の画素）を含む水平方向の５つの画素）から水平ＤＲを算出するとともに、所定の画素を含む垂直方向の所定数の画素（図８の例では、黒丸の画素（所定の画素）を含む垂直方向の５つの画素）から垂直ＤＲを算出する。
【００４９】
レベル正規化差分絶対値取得部３２には、入力画像を表す入力信号Ｃ、および、帯域制限部２１により帯域制限が施された帯域制限信号ＣLが供給され、レベル正規化差分絶対値取得部３２は、入力画像の所定の画素ごとに、入力画像の水平ＤＲが、入力画像の垂直ＤＲの閾値倍（例えば、２倍）以上であるか否かを判定する。そして、レベル正規化差分絶対値取得部３２は、入力画像の水平ＤＲが、入力画像の垂直ＤＲの閾値倍以上である場合、入力画素（入力画像の所定の画素）と、帯域制限部２１1から供給される帯域制限画素（帯域制限画像を表す帯域制限信号ＣLにおける、入力画像の所定の画素に対応する画素）との差分絶対値を、水平ＤＲで除して１００を乗じた値を、レベル正規化差分絶対値として算出する。
【００５０】
積算部３３には、レベル正規化差分絶対値取得部３２からレベル正規化差分絶対値が画素ごとに供給され、積算部３３は、レベル正規化差分絶対値を積算してメモリ３４に適宜記憶させ、１画面分のレベル正規化差分絶対値を積算すると、レベル正規化差分絶対値の総和を差分情報Ｄとして判定部２３（図３）に供給する。
【００５１】
次に、図９は、図７の画像差分取得部２２が差分情報を算出する処理を説明するフローチャートである。
【００５２】
画像差分取得部２２では、入力画像の１画面ごとに処理が行われ、１画面の先頭の画素を表す入力信号が画像差分取得部２２に供給されると処理が開始され、ステップＳ１１において、レベル正規化差分絶対値取得部３２は、積算部３３を介してメモリ３４を初期化させる。
【００５３】
ステップＳ１１の処理後、ステップＳ１２に進み、ＤＲ取得部３１は、１画面の先頭の画素から順に処理の対象とし、現在処理の対象となっている画素に対する水平ＤＲおよび垂直ＤＲを算出してレベル正規化差分絶対値取得部３２に供給する。レベル正規化差分絶対値取得部３２は、入力画像の水平ＤＲが、入力画像の垂直ＤＲの閾値倍（垂直ＤＲ×閾値）以上であるか否かを判定する。
【００５４】
ステップＳ１２において、レベル正規化差分絶対値取得部３２が、入力画像の水平ＤＲが、入力画像の垂直ＤＲの閾値倍以上でないと判定した場合、ＤＲ取得部３１は、次の画素を処理の対象として水平ＤＲおよび垂直ＤＲを算出し、入力画像の水平ＤＲが入力画像の垂直ＤＲの閾値倍以上であると判定されるまで処理が繰り返される。
【００５５】
一方、ステップＳ１２において、レベル正規化差分絶対値取得部３２が、入力画像の水平ＤＲが、入力画像の垂直ＤＲの閾値倍以上であると判定した場合、処理はステップＳ１３に進み、レベル正規化差分絶対値取得部３２は、入力画素と帯域制限画素との差分絶対値（即ち、入力信号Ｃと、帯域制限部２１1が入力信号Ｃに帯域制限を施した帯域制限信号ＣLとの差分絶対値）を、水平ＤＲで除して１００を乗じた値（｜Ｃ−ＣL｜×１００／ＤＲ）を、レベル正規化差分絶対値として算出し、レベル正規化差分絶対値を積算部３３に供給する。
【００５６】
ステップＳ１３の処理後、処理はステップＳ１４に進み、積算部３３は、レベル正規化差分絶対値取得部３２からのレベル正規化差分絶対値を積算し、メモリ３４に記憶させる。即ち、現在処理の対象となっている画素より前に、レベル正規化差分絶対値取得部３２からレベル正規化差分絶対値が既に積算部３３に供給されていた場合には、メモリ３４には既に積算値が記憶されており、積算部３３は、その積算値に、新たに供給されたレベル正規化差分絶対値を加算して、メモリ３４に上書きする。
【００５７】
ステップＳ１４の処理後、処理はステップＳ１５に進み、レベル正規化差分絶対値取得部３２は、１画面分（１フレーム分）の画像信号に対する処理が終了したか否か、即ち、ステップＳ１１で処理を開始した画面の最後の画素を表す画像信号に対する処理が行われたか否かを判定し、１画面分の画像信号に対する処理が終了していないと判定した場合、処理はステップＳ１２に戻り、以下、同様の処理が繰り返される。
【００５８】
一方、ステップＳ１５において、レベル正規化差分絶対値取得部３２が、１画面分の画像信号に対する処理が終了したと判定した場合、処理はステップＳ１６に進み、積算部３３は、メモリ３４に記憶させている積算値を、差分情報として出力し、処理は終了される。
【００５９】
そして、帯域判定部１２では、判定部２３（図３）において、画像差分取得部２２から供給された差分情報に基づいて、入力信号の信号帯域が判定される。
【００６０】
即ち、図１０を参照して、信号帯域の判定について説明する。
【００６１】
例えば、入力信号Ｃの信号帯域が低い場合、図１０の左側に示すように、入力信号Ｃに対する、入力信号Ｃが帯域制限部２１1により帯域制限された帯域制限信号ＣL1の変化は非常に小さく、入力信号Ｃが帯域制限部２１2により帯域制限された帯域制限信号ＣL2の変化も比較的に小さい。従って、画像差分取得部２２1が、入力信号Ｃから算出する差分情報Ｄ1は、ほぼ０となり、画像差分取得部２２2が、入力信号Ｃから算出する差分情報Ｄ2は、小さな値となる。
【００６２】
また、入力信号Ｃの信号帯域が高い場合、図１０の右側に示すように、入力信号Ｃに対する、入力信号Ｃが帯域制限部２１1により帯域制限された帯域制限信号ＣL1の変化は大きく、入力信号Ｃが帯域制限部２１2により帯域制限された帯域制限信号ＣL2の変化はさらに大きい。従って、差分情報Ｄ1および差分情報Ｄ2は、ある程度大きな値となる。
【００６３】
このように、入力信号の信号帯域が異なることにより、入力信号が帯域制限されることによる変化に差が生じ、低帯域の入力信号に対する差分情報Ｄ1と差分情報Ｄ2との比は小さな値となり、高帯域の入力信号に対する差分情報Ｄ1と差分情報Ｄ2との比は大きな値となる。従って、差分情報Ｄ1と差分情報Ｄ2との比に基づいて、入力信号の信号帯域を判定することができる。
【００６４】
また、このように帯域判定部１２を構成することにより、コンポーネント信号の信号帯域を判定する処理を、より簡易的な構成で行うことができる。なお、各コンポーネント信号の信号帯域を判定することができれば、帯域判定部１２の構成に限定されるものではなく、例えば、周波数解析を行うなど、コンポーネント信号の信号帯域を判定する方法には、他の方法を用いることができる。
【００６５】
次に、図１１は、図２のクラス分類部１３の構成例を示すブロック図である。
【００６６】
図１１に示すように、クラス分類部１３は、タップ情報取得部４１、およびADRCクラス分類部４２から構成される。
【００６７】
タップ情報取得部４１には、コンポーネント信号Ｃ1乃至Ｃ3が供給されるとともに、図２の帯域判定部１２1乃至１２3から帯域判定結果信号Ｅ1乃至Ｅ3が供給される。タップ情報取得部４１は、帯域判定結果信号Ｅ1乃至Ｅ3に基づいてコンポーネント信号Ｃ1乃至Ｃ3間の相関関係を求め、その相関関係に応じて選択したタップ形状で、コンポーネント信号Ｃ1乃至Ｃ3からタップを抽出し、それらのタップを合成したタップ情報をADRCクラス分類部４２に供給する。
【００６８】
ADRCクラス分類部４２は、タップ情報取得部４１から供給されるタップ情報を用いて、ADRC（Adaptive Dynamic Range Coding）クラス分類処理を施し、注目画素をクラスに分け、そのクラスを示すクラスコード（ADRCコード）を出力する。なお、ADRCクラス分類処理は、従来から用いられている方法と同様である。
【００６９】
次に、図１２は、図１１のタップ情報取得部４１の構成例を示すブロック図である。
【００７０】
図１２に示すように、タップ情報取得部４１は、コンポーネント間相関判定部５１、３つの狭域タップ構築部５２1乃至５２3、３つの標準タップ構築部５３1乃至５３3、３つの広域タップ構築部５４1乃至５４3、３つのタップ選択部５５1乃至５５3、および、タップ情報合成部５６から構成される。
【００７１】
コンポーネント間相関判定部５１には、コンポーネント信号Ｃ1乃至Ｃ3が供給されるとともに、図２の帯域判定部１２1乃至１２3から帯域判定結果信号Ｅ1乃至Ｅ3が供給される。コンポーネント間相関判定部５１は、帯域判定結果信号Ｅ1乃至Ｅ3に基づいて、コンポーネント信号Ｃ1乃至Ｃ3のそれぞれの間の相関関係を求め、その相関関係に応じて、狭域、標準、または広域のいずれのタップを抽出するかをコンポーネント信号Ｃ1乃至Ｃ3ごとに決定する。
【００７２】
そして、コンポーネント間相関判定部５１は、コンポーネント信号Ｃ1から抽出するタップを選択するタップ選択信号を、即ち、狭域、標準、または広域のいずれのタップを抽出するかを指示するタップ選択信号をタップ選択部５５1に供給する。また、コンポーネント間相関判定部５１は、コンポーネント信号Ｃ2から抽出するタップを選択するタップ選択信号をタップ選択部５５2に供給し、コンポーネント信号Ｃ3から抽出するタップを選択するタップ選択信号をタップ選択部５５3に供給する。
【００７３】
狭域タップ構築部５２1、標準タップ構築部５３1、および広域タップ構築部５４1には、コンポーネント信号Ｃ1がそれぞれ供給される。狭域タップ構築部５２1は、コンポーネント信号Ｃ1から狭域タップ（例えば、図１３Ａに示すような形状のタップ）を抽出し、標準タップ構築部５３1は、コンポーネント信号Ｃ1から標準タップ（例えば、図１３Ｂに示すような形状のタップ）を抽出し、広域タップ構築部５４1は、コンポーネント信号Ｃ3から広域タップ（例えば、図１３Ｃに示すような形状のタップ）を抽出する。狭域タップ構築部５２1、標準タップ構築部５３1、広域タップ構築部５４1は、それぞれコンポーネント信号Ｃ1から抽出したタップをタップ選択部５５1に供給する。
【００７４】
また、狭域タップ構築部５２2は、コンポーネント信号Ｃ2から狭域タップを抽出してタップ選択部５５2に供給し、標準タップ構築部５３2は、コンポーネント信号Ｃ2から標準タップを抽出してタップ選択部５５2に供給し、広域タップ構築部５４2は、コンポーネント信号Ｃ2から広域タップを抽出してタップ選択部５５2に供給する。また、狭域タップ構築部５２3は、コンポーネント信号Ｃ3から狭域タップを抽出してタップ選択部５５3に供給し、標準タップ構築部５３3は、コンポーネント信号Ｃ3から標準タップを抽出してタップ選択部５５3に供給し、広域タップ構築部５４3は、コンポーネント信号Ｃ3から広域タップを抽出してタップ選択部５５3に供給する。
【００７５】
タップ選択部５５1は、コンポーネント間相関判定部５１から供給されるタップ選択信号に基づいて、狭域タップ構築部５２1から供給されるコンポーネント信号Ｃ1の狭域タップ、標準タップ構築部５３1から供給されるコンポーネント信号Ｃ1の標準タップ、または、広域タップ構築部５４1から供給されるコンポーネント信号Ｃ1の広域タップのうちのいずれか１つを選択して、タップ情報合成部５６に供給する。
【００７６】
タップ選択部５５2は、タップ選択部５５1と同様に、コンポーネント信号Ｃ2の狭域タップ、標準タップ、または広域タップのうちのいずれか１つを選択して、タップ情報合成部５６に供給する。タップ選択部５５3は、タップ選択部５５1と同様に、コンポーネント信号Ｃ3の狭域タップ、標準タップ、または広域タップのうちのいずれか１つを選択して、タップ情報合成部５６に供給する。
【００７７】
タップ情報合成部５６は、タップ選択部５５1乃至５５3から供給されるタップを合成したタップ情報を、図１１のADRCクラス分類部４２に供給する。
【００７８】
次に、図１３は、コンポーネント信号から抽出するタップの形状の例を示す図である。
【００７９】
図１３Ａ乃至Ｃには、注目画素を中心として、注目画素の上下および左右の画素からなる５つの画素で構成される形状のタップの例が示されている。図１３Ａに示されている狭域タップは、注目画素と、注目画素に隣接する４つの画素とからなり、図１３Ｂに示されている標準タップは、注目画素と、注目画素から１画素離れた４つの画素とからなり、図１３Ｃに示されている広域タップは、注目画素と、注目画素から２画素離れた４つの画素とからなる。
【００８０】
また、図１３Ｄには、注目画素と、注目画素の上下および左右にそれぞれ３つ連続する画素との１３個の画素からなる形状の広域密タップの例が示されている。この広域密タップは、後述する図２４の広域密タップ構築部５７により抽出される。
【００８１】
なお、タップの形状は、図１３に示す例に限られるものではなく、任意の形状を指定することができる。
【００８２】
次に、図１４は、図１２のコンポーネント間相関判定部５１の構成例を示すブロック図である。
【００８３】
図１４に示すように、コンポーネント間相関判定部５１は、帯域判定結果統合部６１、３つのフィルタ係数設定部６２1乃至６２3、３つの帯域制限部６３1乃至６３3、３つの相関性算出部６４1乃至６４3、および閾値判定部６５から構成される。
【００８４】
帯域判定結果統合部６１には、図２の帯域判定部１２1乃至１２3から帯域判定結果信号Ｅ1乃至Ｅ3が供給され、帯域判定結果統合部６１は、帯域判定結果信号Ｅ1乃至Ｅ3のうちの、最も低い信号帯域を示す帯域判定結果信号であるコンポーネント信号の信号帯域に、全てのコンポーネント信号の信号帯域が揃えられるように、帯域制限部６３1乃至６３3に設定されるフィルタ係数を決定する。
【００８５】
例えば、コンポーネント信号Ｃ1の信号帯域を判定した結果である帯域判定結果信号Ｅ1が広帯域を表しており、コンポーネント信号Ｃ2の信号帯域を判定した結果である帯域判定結果信号Ｅ2が広帯域を表しており、コンポーネント信号Ｃ3の信号帯域を判定した結果である帯域判定結果信号Ｅ3が中帯域を表している場合、帯域判定結果統合部６１は、コンポーネント信号Ｃ1乃至Ｃ3の信号帯域を、中帯域に揃えるように、帯域制限部６３1乃至６３3のフィルタ係数を決定する。
【００８６】
具体的には、帯域判定結果統合部６１に、例えば、広帯域として７０％が設定され、中帯域として５０％が設定されている場合において、帯域判定結果信号Ｅ1およびＥ2が広帯域を表し、帯域判定結果信号Ｅ3が中帯域を表しているとき、帯域判定結果統合部６１は、帯域制限部６３1および６３2のフィルタ係数を５０％に決定するとともに、帯域制限部６３3のフィルタ係数を１００％（即ち、帯域制限無し）に決定する。これにより、コンポーネント信号Ｃ1乃至Ｃ3の信号帯域は、いずれも５０％に揃えられる。
【００８７】
フィルタ係数設定部６２1乃至６２3は、帯域判定結果統合部６１により決定された係数フィルタを、帯域制限部６３1乃至６３3にそれぞれ設定する。
【００８８】
帯域制限部６３1は、フィルタ係数設定部６２1により設定されたフィルタ係数で、コンポーネント信号Ｃ1の帯域制限を行い、即ち、フィルタ係数とコンポーネント信号Ｃ1との積和演算を行い、コンポーネント信号Ｃ1を帯域制限した信号を、相関性算出部６４1および６４3に供給する。
【００８９】
帯域制限部６３2は、フィルタ係数設定部６２2により設定されたフィルタ係数で、コンポーネント信号Ｃ2の帯域制限を行い、コンポーネント信号Ｃ2を帯域制限した信号を、相関性算出部６４1および６４2に供給する。帯域制限部６３3は、フィルタ係数設定部６２3により設定されたフィルタ係数で、コンポーネント信号Ｃ3の帯域制限を行い、コンポーネント信号Ｃ3を帯域制限した信号を、相関性算出部６４2および６４3に供給する。
【００９０】
相関性算出部６４1は、帯域制限部６３1を介して供給されるコンポーネント信号Ｃ1と、帯域制限部６３2を介して供給されるコンポーネント信号Ｃ2との相関性を算出する。コンポーネント信号間の相関性を示す指数としては、例えば、相関係数を用いることができる。相関係数は、次の式（１）を演算することにより求めることができる。
【００９１】
【数１】
【００９２】
但し、式（１）において、ｘiはコンポーネント信号Ｃ1のデータ列を表し、ｙiはコンポーネント信号Ｃ2のデータ列を表し、ｘaveは、ｘiの平均値を表し、ｙaveは、ｙiの平均値を表す。
【００９３】
式（１）を演算することにより得られる相関係数は、その値が１に近いほど、コンポーネント信号Ｃ1およびＣ2間の相関が強いことを表している。相関性算出部６４1は、算出したコンポーネント信号Ｃ1およびＣ2間の相関係数を閾値判定部６５に供給する。
【００９４】
相関性算出部６４1と同様に、相関性算出部６４2は、コンポーネント信号Ｃ2およびＣ3間の相関係数を算出して閾値判定部６５に供給し、相関性算出部６４3は、コンポーネント信号Ｃ1およびＣ3間の相関係数を算出して閾値判定部６５に供給する。
【００９５】
閾値判定部６５は、図２の帯域判定部１２1乃至１２3から供給される帯域判定結果信号Ｅ1乃至Ｅ3と、相関性算出部６４1乃至６４3から供給される相関係数に基づいて、コンポーネント信号Ｃ1乃至Ｃ3から狭域、標準、または広域のいずれのタップを抽出するかを決定する。
【００９６】
例えば、閾値判定部６５には、図１５に示すように、帯域判定結果信号Ｅ1乃至Ｅ3の組み合わせ、および、コンポーネント信号Ｃ1乃至Ｃ3間の相関係数の組み合わせに従って、選択すべきタップの形状が、コンポーネント信号Ｃ1乃至Ｃ3ごとにあらかじめ設定されている。
【００９７】
図１５には、帯域判定結果信号Ｅ1乃至Ｅ3が全て同一（即ち、全て広帯域、全て中帯域、または全て低帯域）であるときに、コンポーネント信号Ｃ1の予測に用いられるタップ形状の例が示されている。
【００９８】
図１５において、相関性判定結果として、相関性算出部６４1乃至６４3からの相関係数が、０．９以上であるものには○は示されており、０．９未満であるものには×が示されている。
【００９９】
即ち、図１５の上から１番目の行には、帯域判定結果信号Ｅ1乃至Ｅ3が全て同一、かつ、コンポーネント信号Ｃ1およびＣ2間の相関係数、コンポーネント信号Ｃ2およびＣ3間の相関係数、コンポーネント信号Ｃ1およびＣ3間の相関係数が、全て０．９以上である場合に選択されるタップ形状が示されている。即ち、この場合、コンポーネント信号Ｃ1（Ｒ成分）は、狭域タップが選択され、コンポーネント信号Ｃ2（Ｇ成分）は、標準タップが選択され、コンポーネント信号Ｃ3（Ｂ成分）は、広域タップが選択される。
【０１００】
また、例えば、図１５の上から３番目の行には、帯域判定結果信号Ｅ1乃至Ｅ3が全て同一、かつ、コンポーネント信号Ｃ1およびＣ2間の相関係数が０．９以上で、コンポーネント信号Ｃ2およびＣ3間の相関係数が０．９未満で、コンポーネント信号Ｃ1およびＣ3間の相関係数が０．９以上である場合に選択されるタップ形状が示されている。即ち、この場合、コンポーネント信号Ｃ1（Ｒ成分）は、狭域タップが選択され、コンポーネント信号Ｃ2（Ｇ成分）は、標準タップが選択され、コンポーネント信号Ｃ3（Ｂ成分）は、狭域タップが選択される。
【０１０１】
なお、相関係数を、○または×と判定する際の閾値は、0.9に限定されるものではなく、高解像度の画像データの変化に応じて適切な画質となるような値に設定することができ、例えば、0.99など、さらに相関性が高いものを○としてもよい。
【０１０２】
また、閾値判定部６５に設定されるタップパターン（タップの形状の組み合わせ）は、例えば、低解像度の画像データを高解像度の画像データに変換したときの高解像度の画像データのsnr（Signal to Noise Ratio）に基づいて設定することができる。即ち、帯域判定結果信号Ｅ1乃至Ｅ3の全ての組み合わせ、および、コンポーネント信号Ｃ1乃至Ｃ3間の相関係数の全ての組み合わせにおいて、選択しうるタップパターンの全てにおけるsnrを算出し、所定の帯域判定結果信号Ｅ1乃至Ｅ3の組み合わせ、かつ、所定のコンポーネント信号Ｃ1乃至Ｃ3間の相関係数の組み合わせにおいて、snrが最大になるタップパターンが、その組み合わせにおけるタップパターンとして選択される。
【０１０３】
例えば、図１６を参照して、コンポーネント信号Ｃ1乃至Ｃ3間の相関性の組み合わせ（８パターン）におけるタップパターンの選択について説明する。
【０１０４】
例えば、コンポーネント信号Ｃ1乃至Ｃ3間の相関性が、全て○である場合（例えば、相関係数が全て0.9以上である場合）、コンポーネント信号Ｃ1乃至Ｃ3のとりえるタップパターンの組み合わせの中で、図１６の一番上の行に示すように、コンポーネント信号Ｃ1が狭域タップであり、コンポーネント信号Ｃ2が標準タップであり、コンポーネント信号Ｃ3が広域タップであるときに、snrが最大の値である29.31である。これより、コンポーネント信号Ｃ1乃至Ｃ3間の相関性が全て○である場合には、コンポーネント信号Ｃ1が狭域タップであり、コンポーネント信号Ｃ2が標準タップであり、コンポーネント信号Ｃ3が広域タップであるタップパターンが選択される。
【０１０５】
同様に、例えば、コンポーネント信号Ｃ1およびＣ2間の相関性、並びにコンポーネント信号Ｃ1およびＣ3間の相関性が○であり、コンポーネント信号Ｃ2およびＣ3間の相関性が×である場合、snrが31.90であるタップパターン、即ち、コンポーネント信号Ｃ1が狭域タップであり、コンポーネント信号Ｃ2が標準タップであり、コンポーネント信号Ｃ3が狭域タップであるタップパターンが選択される。
【０１０６】
なお、タップパターンは、予測の対象となるコンポーネント信号毎に、例えば、RGB信号やYUV信号ごとに変更することができる。また、タップパターンの選択は、snrに基づいて決定されるだけではなく、定性的な観点も絡めて最終的に決定される。
【０１０７】
このようにして決定されたタップパターンが、閾値判定部６５にあらかじめ設定されており、閾値判定部６５は、帯域判定結果信号Ｅ1乃至Ｅ3の組み合わせ、および、コンポーネント信号Ｃ1乃至Ｃ3間の相関係数の組み合わせに従って、タップパターンを選択する。そして、閾値判定部６５は、コンポーネント信号Ｃ1から抽出するタップを選択するタップ選択信号を、タップ選択部５５1（図１２）に供給し、コンポーネント信号Ｃ2から抽出するタップを選択するタップ選択信号を、タップ選択部５５2に供給し、コンポーネント信号Ｃ3から抽出するタップを選択するタップ選択信号を、タップ選択部５５3に供給する。
【０１０８】
そして、タップ選択部５５1乃至５５3が、コンポーネント信号Ｃ1乃至Ｃ3からそれぞれ抽出したタップが、タップ情報合成部５６を介して図１１のADRCクラス分類部４２され、ADRCクラス分類部４２において、注目画素のクラス分類を行う。
【０１０９】
このとき、ADRCクラス分類部４２は、図１７に示すように、タップ選択部５５1乃至５５3が抽出したタップを用いて一括でクラス分類を行うことができる。また、ADRCクラス分類部４２は、コンポーネント信号ごとに、即ち、タップ選択部５５1乃至５５3それぞれが抽出したタップごとにクラス分類を行うことができる。
【０１１０】
また、ADRCクラス分類部４２が出力するクラスコードは、ADRCクラス分類の結果と、相関性判定結果とを組み合わせた結果になる。但し、相関性判定結果の代わりに、各コンポーネント信号のタップ形状（図１５に示すタップの選択結果）を用いることで、クラス数を削減することができる。つまり、相関性判定結果は、８パターンであるのに対し、タップの選択結果は、８パターン以下になる。
【０１１１】
相関性判定結果とタップの選択結果とのいずれを用いるかは、画像処理装置１１の性能と規模との兼ね合いで決定することができる。つまり、相関性判定結果をクラスコードに組み込む場合には性能が高くなり、一方、タップの選択結果をクラスコードに組み込む場合にはクラス数の削減を図れる。なお、帯域判定結果は、クラスコードに組み込まれない。
【０１１２】
次に、図１８は、図２の画像処理装置１１が行う画像変換処理を説明するフローチャートである。
【０１１３】
画像処理装置１１に、低解像度の画像データを構成するコンポーネント信号Ｃ1乃至Ｃ3が供給されると処理が開始され、ステップＳ２１において、図２の帯域判定部１２1乃至１２3は、コンポーネント信号Ｃ1乃至Ｃ3の信号帯域を判定し、判定結果信号をクラス分類部１３に供給する。
【０１１４】
ステップＳ２１の処理後、処理はステップＳ２２に進み、クラス分類部１３では、タップ情報取得部４１のコンポーネント間相関判定部５１（図１２）において、相関性算出部６４1乃至６４3（図１４）が、上述の式（１）の演算を行って相関係数を算出し、処理はステップＳ２３に進む。
【０１１５】
ステップＳ２３において、閾値判定部６５が、ステップＳ２２で算出された相関係数に基づいて、あらかじめ設定されているタップパターン（図１５）を選択することで、コンポーネント信号Ｃ1乃至Ｃ3のそれぞれから、狭域、標準、または広域のいずれのタップを抽出するかがコンポーネント信号Ｃ1乃至Ｃ3ごとに決定される。そして、コンポーネント間相関判定部５１からタップ選択部５５1乃至５５3に、狭域、標準、または広域のいずれのタップを抽出するかを示すタップ選択信号が供給される。
【０１１６】
ステップＳ２４において、タップ選択部５５1は、ステップＳ２３でコンポーネント間相関判定部５１から供給されるタップ選択信号に基づいて、狭域タップ構築部５２1から供給されるコンポーネント信号Ｃ1の狭域タップ、標準タップ構築部５３1から供給されるコンポーネント信号Ｃ1の標準タップ、または、広域タップ構築部５４1から供給されるコンポーネント信号Ｃ1の広域タップのうちのいずれか１つを選択して、タップ情報合成部５６に供給する。また、タップ選択部５５2、およびタップ選択部５５3も、タップ選択部５５1と同様に、それぞれタップ選択信号に基づいたタップをタップ情報合成部５６に供給する。
【０１１７】
ステップＳ２４の処理後、処理はステップＳ２５に進み、ADRCクラス分類部４２（図１１）は、タップ情報合成部５６を介して供給されるタップを用いて、クラス分類を行い、その結果得られるクラスを、予測係数ROM１４に供給し、処理はステップＳ２６に進む。
【０１１８】
ステップＳ２６において、予測係数ROM１４は、ADRCクラス分類部４２からのクラスに対応付けられている予測係数を、予測演算部１５に供給する。
【０１１９】
ステップＳ２７において、予測演算部１５は、予測係数ROM１４からの予測係数と、コンポーネント信号Ｃ1乃至Ｃ3とを用いて、後述する式（２）の予測演算を行い、高解像度の画像データを構成するコンポーネント信号を出力し、処理は終了する。
【０１２０】
以上のように、コンポーネント信号Ｃ1乃至Ｃ3間の相関性に応じてタップを抽出すること、即ち、コンポーネント信号Ｃ1乃至Ｃ3から予測に必要な情報を取得することで、最適な情報を取得することができ、これにより、低解像度の画像データから高解像度の画像データへの予測精度を向上させることができる。従って、従来よりも高画質な高解像度の画像を得ることができる。例えば、色にじみを改善して、解像感を向上させた画像を得ることができる。
【０１２１】
次に、図１９を参照して、画像処理装置１１による画像変換処理の評価結果を説明する。
【０１２２】
図１９には、画像処理装置１１により画像変換処理が施された高解像度の画像データのsnrと、従来の方法により画像変換処理が施された高解像度の画像データのsnrとが、相関性判定結果ごと示されている。また、図１９は、コンポーネント信号Ｃ1乃至Ｃ3に、RGB信号を用いて画像処理を行ったときのＲ成分における高解像度の画像データの評価結果である。
【０１２３】
ここで、従来方法１では、図２０Ａに示す組み合わせのタップパターンを用いて、即ち、コンポーネント信号Ｃ1乃至Ｃ3のいずれからも（例えば、Ｒ成分、Ｇ成分、Ｂ成分のいずれからも）狭域タップが抽出されて、画像変換処理が行われた。また、従来方法２では、図２０Ｂに示す組み合わせのタップパターンを用いて、即ち、コンポーネント信号Ｃ1（例えば、Ｒ成分）からは狭域タップが抽出され、コンポーネント信号Ｃ2（例えば、Ｇ成分）からは標準タップが抽出され、コンポーネント信号Ｃ3（例えば、Ｂ成分）からは広域タップが抽出されて画像変換処理が行われた。
【０１２４】
なお、従来方法１および２による画像変換処理では、ADRCクラス分類処理において出力するクラスコードは、２5×２5×２5クラスであり、画像処理装置１１による画像変換処理では、ADRCクラス分類処理において出力するクラスコードは、２5×２5×２5×８クラスである。
【０１２５】
図１９に示すように、コンポーネント信号Ｃ1乃至Ｃ3間の相関性によらず、全ての相関性判定結果および全サンプルにおいて、画像処理装置１１による画像変換処理が施された高解像度の画像データのsnrは、従来の方法により画像変換処理が施された高解像度の画像データのsnrよりも、高い値となっている。即ち、画像処理装置１１による画像変換処理が施された高解像度の画像データの方が、ノイズが少なく、高画質である。
【０１２６】
なお、画像変換処理において、注目画素のクラスを分類する際のクラスタップと、注目画素を予測する際の予測タップとでは、同一の組み合わせのタップの形状を用いてもよいし、異なる組み合わせのタップの形状を用いてもよい。
【０１２７】
次に、コンポーネント信号Ｃ1乃至Ｃ3のうちの、１つのみが高帯域である場合についての画像処理について説明する。
【０１２８】
図２１には、コンポーネント信号Ｃ2のみが高帯域であるとき（即ち、帯域判定結果信号Ｅ2のみが高帯域を示しているとき）に、コンポーネント信号Ｃ2の予測に用いられるタップ形状の例が示されている。
【０１２９】
図２１には、図１５と同様に、相関性判定結果として、相関性算出部６４1乃至６４3からの相関係数が、０．９以上であるものには○は示されており、０．９未満であるものには×が示されており、コンポーネント信号Ｃ1乃至Ｃ3としては、YUV信号が用いられているときの、タップ形状の例が示されている。図２１では、コンポーネント信号Ｃ1がＶ成分とされ、コンポーネント信号Ｃ2がＹ成分とされ、コンポーネント信号Ｃ3がＵ成分とされている。
【０１３０】
次に、図２２には、画像処理装置１１により、図２１に示されているタップ形状でタップが抽出されて画像が変換される画像変換処理の評価結果が示されている。また、図２２は、Ｙ成分における高解像度の画像データの評価結果である。
【０１３１】
図２２における従来方法１では、図２３Ａに示す組み合わせのタップパターンを用いて、即ち、コンポーネント信号Ｃ1乃至Ｃ3のいずれからも（例えば、Ｖ成分、Ｙ成分、Ｕ成分のいずれからも）狭域タップが抽出されて、画像変換処理が行われた。また、従来方法２では、図２３Ｂに示す組み合わせのタップパターンを用いて、即ち、コンポーネント信号Ｃ1（例えば、Ｖ成分）からは広域タップが抽出され、コンポーネント信号Ｃ2（例えば、Ｙ成分）からは狭域タップが抽出され、コンポーネント信号Ｃ3（例えば、Ｕ成分）からは標準タップが抽出されて画像変換処理が行われた。また、ADRCクラス分類処理において出力するクラスコードは、図１９の場合と同様である。
【０１３２】
図２２に示すように、コンポーネント信号Ｃ1乃至Ｃ3としてYUV信号を用いた場合にも、コンポーネント信号Ｃ1乃至Ｃ3間の相関性によらず、全ての相関性判定結果および全サンプルにおいて、画像処理装置１１による画像変換処理が施された高解像度の画像データのsnrは、従来の方法により画像変換処理が施された高解像度の画像データのsnrよりも、高い値となっている。
【０１３３】
ところで、画像処理装置１１において選択されるタップの形状は、図１３Ａ乃至１３Ｃに示した３つのいずれかであるが、画像処理装置１１では、図１３Ｄに示す広域密タップを選択することができる。例えば、所定の条件においては、広域密タップを用いてコンポーネント信号Ｃ1乃至Ｃ3のうちの１つからタップを抽出し、そのタップだけを用いて予測を行った場合に、予測精度が向上することがある。
【０１３４】
例えば、コンポーネント信号がYUV信号である場合、コンポーネント信号のＹ成分だけが高帯域であり、Ｕ成分およびＶ成分は、低帯域または中帯域となる。そして、YUV信号間でいずれも相関が極めて強い場合、図２４に示すように、情報量が削減されたＵ成分およびＶ成分から情報を取得するよりも、Ｙ成分のみから情報を取得した方が効率がよくなり、予測精度が向上する。即ち、情報量が削減されたＵ成分およびＶ成分からは、同じ情報が重複して取得される可能性があるからである。
【０１３５】
このことより、タップ情報取得部は、広域密タップを抽出することができるように構成することができる。
【０１３６】
次に、図２５は、タップ情報取得部の他の構成例を示すブロック図である。
【０１３７】
図２５において、タップ情報取得部４１’は、コンポーネント間相関判定部５１、３つの狭域タップ構築部５２1乃至５２3、３つの標準タップ構築部５３1乃至５３3、３つの広域タップ構築部５４1乃至５４3、３つのタップ選択部５５1乃至５５3、タップ情報合成部５６、および、３つの広域密タップ構築部５７1乃至５７3から構成される。
【０１３８】
なお、図２５では、図１２のタップ情報取得部４１と対応する部分については、同一の符号をそれぞれ付してあり、以下では、その説明は、適宜省略する。即ち、図２５のタップ情報取得部４１’は、コンポーネント間相関判定部５１、３つの狭域タップ構築部５２1乃至５２3、３つの標準タップ構築部５３1乃至５３3、３つの広域タップ構築部５４1乃至５４3、３つのタップ選択部５５1乃至５５3、タップ情報合成部５６を備える点で、図１２のタップ情報取得部４１と共通する。但し、タップ情報取得部４１’においては、広域密タップ構築部５７1乃至５７3が設けられている点で、図１２のタップ情報取得部４１と異なっている。
【０１３９】
広域密タップ構築部５７1乃至５７3は、コンポーネント信号Ｃ1乃至Ｃ3から広域密タップ（例えば、図１３Ｄに示すような形状のタップ）を抽出して、タップ選択部５５1乃至５５3にそれぞれ供給する。
【０１４０】
例えば、タップ情報取得部４１’のコンポーネント間相関判定部５１には、所定の条件（図２６を参照して後述する条件）の場合に、予測の対象となっているコンポーネント信号の１つから広域密タップを抽出するように、タップ選択部５５1乃至５５3を制御する。
【０１４１】
例えば、コンポーネント信号Ｃ1が予測の対象となっているとき、タップ選択部５５1に広域密タップ構築部５７1が抽出したタップをタップ情報合成部５６に供給させ、タップ選択部５５2および５５3にはタップの供給を行わせない。これにより、コンポーネント信号Ｃ1の予測が、コンポーネント信号Ｃ1から抽出された広域密タップのみを用いて行われる。
【０１４２】
これにより、図２４を参照して説明したように、効率よく情報を取得することができ、情報量が削減されたコンポーネント信号から重複した情報を取得するなどのロスが少なくなるので、予測精度を向上させることができる。
【０１４３】
次に、タップ情報取得部４１’のコンポーネント間相関判定部５１において、予測の対象となっているコンポーネント信号の１つから広域密タップを抽出するようにタップ選択部５５1乃至５５3を制御する条件について説明する。
【０１４４】
図２６には、図２７に示すような広域密タップのみを用いて画像変換処理を行った場合のsnrと、図１２のタップ情報取得部４１を備えた画像処理装置１１による画像変換処理のsnr（即ち、図１９と同一のsnr）とが示されている。
【０１４５】
図２６に示すように、コンポーネント信号Ｃ1乃至Ｃ3間の相関性の判定結果によって、広域密タップのみを用いて画像変換処理を行った場合のsnrが高い値であるときがあれば、タップ情報取得部４１を備えた画像処理装置１１による画像変換処理のsnrが高い値であるときときもある。
【０１４６】
画像処理装置１１は、あらかじめ図２６に示すような評価を行い、広域密タップのみを用いて画像変換処理を行った場合のsnrが高い値である相関性の判定結果の組み合わせでは、予測の対象となっているコンポーネント信号の１つから広域密タップを抽出するようにタップ選択部５５1乃至５５3を制御するように、タップ情報取得部４１’のコンポーネント間相関判定部５１が設定されている。一方、タップ情報取得部４１を備えた画像処理装置１１による画像変換処理のsnrが高い値である相関性の判定結果の組み合わせでは、タップ選択部５５1乃至５５3のそれぞれからタップを抽出するような制御が行われるように、タップ情報取得部４１’のコンポーネント間相関判定部５１が設定されている。
【０１４７】
次に、図２８は、タップ情報取得部のさらに他の構成例を示すブロック図である。
【０１４８】
図２８において、タップ情報取得部４１’’は、コンポーネント間相関判定部５１、３つの狭域タップ構築部５２1乃至５２3、３つの標準タップ構築部５３1乃至５３3、３つの広域タップ構築部５４1乃至５４3、およびタップ選択部５５から構成される。
【０１４９】
なお、図２８では、図１２のタップ情報取得部４１と対応する部分については、同一の符号をそれぞれ付してあり、以下では、その説明は、適宜省略する。
【０１５０】
図２８のタップ情報取得部４１’’では、狭域タップ構築部５２1乃至５２3、標準タップ構築部５３1乃至５３3、および広域タップ構築部５４1乃至５４3により抽出されたタップが全てタップ選択部５５に供給され、タップ選択部５５は、コンポーネント間相関判定部５１からのタップ選択情報に従って、１つのタップを出力する。
【０１５１】
ここで、タップ選択部５５が選択するタップは、予測の対象となっているコンポーネント信号から抽出されるものに限定されない。例えば、コンポーネント信号Ｃ2が予測の対象となっているときに、図２９に示すように、コンポーネント信号Ｃ1のみの信号帯域が高く、コンポーネント信号Ｃ2およびＣ3の信号帯域が低い場合であって、かつ、コンポーネント信号Ｃ1およびＣ2間の相関が強い場合においては、コンポーネント信号Ｃ2から広域タップを抽出するよりも、コンポーネント信号Ｃ1から狭域タップを抽出したほうが、より多くの情報を取得することができる。
【０１５２】
従って、コンポーネント信号Ｃ1から抽出したタップを用いて、コンポーネント信号Ｃ2の予測をした方が、コンポーネント信号Ｃ2から抽出したタップを用いて予測をするよりも、高い予測精度を実現することができる。
【０１５３】
なお、図２８のタップ情報取得部４１’’を備えた画像処理装置１１による画像変換処理では、例えば、図１２のタップ情報取得部４１を備えた画像処理装置１１による画像変換処理よりも予測精度が低くなるが、クラス数を削減することができ、これにより、処理を高速に行うことができる。
【０１５４】
次に、図２の予測演算部１５における予測演算と、予測係数ROM１４に記憶された予測係数の学習について説明する。
【０１５５】
上述したように、画像変換処理においては、低解像度の画像データから予測タップを抽出し、その予測タップと予測係数を用いて、高解像度の画像データの画素（以下、適宜、高解像度画素という）の画素値を、所定の予測演算によって求める（予測する）ことを考える。また、学習処理においては、教師用のデータとしての高解像度の画像データと、生徒用のデータとしての低解像度の画像データとが用いられ、例えば、解像度の異なる撮像装置で同一の被写体を撮像して高解像度の画像データと低解像度の画像データと得ることや、高解像度の画像データをサブサンプルすることで低解像度の画像データを得ることができる。
【０１５６】
所定の予測演算として、例えば、線形１次演算を採用することとすると、高解像度画素の画素値ｙは、次式（２）の線形１次式によって求められることになる。
【０１５７】
【数２】
【０１５８】
但し、式（２）において、ｘnは、高解像度画素ｙについての予測タップを構成する、ｎ番目の低解像度画像データの画素（以下、適宜、低解像度画素という）の画素値を表し、ｗnは、ｎ番目の低解像度画素（の画素値）と乗算されるｎ番目の予測係数を表す。なお、式（２）では、予測タップが、Ｎ個の低解像度画素ｘ1，ｘ2，・・・，ｘNで構成されるものとしてある。
【０１５９】
ここで、高解像度画素の画素値ｙは、式（２）に示した線形１次式ではなく、２次以上の高次の式によって求めるようにすることも可能である。
【０１６０】
いま、第ｋサンプルの高解像度画素の画素値の真値をｙkと表すとともに、式（２）によって得られるその真値ｙkの予測値をｙk'と表すと、その予測誤差ｅkは、次式（３）で表される。
【０１６１】
【数３】
【０１６２】
いま、式（３）の予測値ｙk'は、式（２）にしたがって求められるため、式（３）のｙk'を、式（２）にしたがって置き換えると、次式（４）が得られる。
【０１６３】
【数４】
【０１６４】
但し、式（４）において、ｘn,kは、第ｋサンプルの高解像度画素についての予測タップを構成するｎ番目の低解像度画素を表す。
【０１６５】
式（４）（又は式（３））の予測誤差ｅkを０とする予測係数ｗnが、高解像度画素を予測するのに最適なものとなるが、すべての高解像度画素について、そのような予測係数ｗnを求めることは、一般には困難である。
【０１６６】
そこで、予測係数ｗnが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適な予測係数ｗnは、次式（５）で表される自乗誤差の総和Ｅを最小にすることで求めることができる。
【０１６７】
【数５】
【０１６８】
但し、式（５）において、ｋは、高解像度画素ｙkと、その高解像度画素ｙkについての予測タップを構成する低解像度画素ｘ1,k，ｘ2,k，・・・，ｘN,kとのセットのサンプル数（学習用のサンプルの数）を表す。
【０１６９】
式（５）の自乗誤差の総和Ｅの最小値（極小値）は、次式（６）に示すように、総和Ｅを予測係数ｗnで偏微分したものを０とするｗnによって与えられる。
【０１７０】
【数６】
【０１７１】
一方、上述の式（４）を予測係数ｗnで偏微分すると、次式（７）が得られる。
【０１７２】
【数７】
【０１７３】
式（６）と式（７）から、次式（８）が得られる。
【０１７４】
【数８】
【０１７５】
式（８）のｅkに、式（４）を代入することにより、式（８）は、次式（９）に示す正規方程式で表すことができる。
【０１７６】
【数９】
【０１７７】
式（９）の正規方程式は、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、予測係数ｗnについて解くことができる。
【０１７８】
式（９）の正規方程式を、クラス（の組合せ）毎にたてて解くことにより、最適な予測係数（ここでは、自乗誤差の総和Ｅを最小にする予測係数）ｗnを、クラス毎に求めることができる。
【０１７９】
図２の画像処理装置１１では、以上のようなクラス毎の予測係数が予測係数ROM１４に記憶され、その予測係数を用いて、式（２）の演算を行うことにより、低解像度画像データが高解像度画像データに変換される。
【０１８０】
なお、低解像度の画像データを構成するコンポーネント信号Ｃ1乃至Ｃ3の画素は、図１１のタップ情報取得部４１で取得されたタップ情報となる。または、画像変換処理（予測処理）で用いるために、クラスタップとは異なる形状の予測タップを設定してもよい。
【０１８１】
次に、図３０は、予測係数を学習する処理を説明するフローチャートである。なお、予測係数を学習する学習装置は、後述する図３１のコンピュータがプログラムを実行することにより実現される。
【０１８２】
ステップＳ３１において、高解像度画像データに相当する画像である教師画像をサブサンプリングし、その解像度を低下させることにより低解像度画像データに相当する画像である生徒画像を生成する。
【０１８３】
ステップＳ３２において、教師画像を構成する画素を、例えば、ラスタスキャン順に、順次、注目画素としてクラス分類処理（図２のクラス分類部１３と同様の処理）が行われ、注目画素のクラスを求める。
【０１８４】
ステップＳ３３において、教師画像の注目画素（の画素値）と、注目画素についての予測タップを構成する生徒画像の画素とを対象とした足し込みをクラスごとに行い、教師画像の画素すべてを注目画素として、上述の足し込みを行うことにより、注目画素のクラスについて、式（９）に示した正規方程式を生成する。
【０１８５】
ステップＳ３４において、教師画像を構成する画素のうちの、まだ注目画素とされていない画素が存在するか否かが判定され、まだ注目画素とされていない画素が存在すると判定された場合、処理はステップＳ３２に戻り、まだ注目画素とされていない画素が存在しないと判定されるまで、処理が繰り返される。
【０１８６】
ステップＳ３４において、まだ注目画素とされていない画素が存在しないと判定された場合、処理はステップＳ３５に進み、ステップＳ３３で生成された正規方程式を解くことにより、予測係数を算出する。
【０１８７】
ステップＳ３６において、ステップＳ３５で算出された予測係数が、予測係数ROM１４に記憶され、予測係数を学習する処理は終了される。
【０１８８】
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０１８９】
図３１は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０１９０】
コンピュータにおいて、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。
【０１９１】
バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、キーボード、マウス、マイクロホンなどよりなる入力部１０６、ディスプレイ、スピーカなどよりなる出力部１０７、ハードディスクや不揮発性のメモリなどよりなる記憶部１０８、ネットワークインタフェースなどよりなる通信部１０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１１１を駆動するドライブ１１０が接続されている。
【０１９２】
以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５及びバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。
【０１９３】
コンピュータ（CPU１０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア１１１に記録して、あるいは、ローカルエリアネットワーク、インタネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０１９４】
そして、プログラムは、リムーバブルメディア１１１をドライブ１１０に装着することにより、入出力インタフェース１０５を介して、記憶部１０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１０９で受信し、記憶部１０８にインストールすることができる。その他、プログラムは、ROM１０２や記憶部１０８に、あらかじめインストールしておくことができる。
【０１９５】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。
【０１９６】
なお、上述のフローチャートを参照して説明した各処理は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。また、プログラムは、１のCPUにより処理されるものであってもよいし、複数のCPUによって分散処理されるものであってもよい。
【０１９７】
また、プログラムは、１のコンピュータにより処理されるものであってもよいし、複数のコンピュータによって分散処理されるものであってもよい。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであってもよい。
【０１９８】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０１９９】
【図１】コンポーネント信号の各成分間の相関性について説明する図である。
【図２】本発明を適用した画像処理装置の一実施の形態の構成例を示すブロック図である。
【図３】帯域判定部１２の構成例を示すブロック図である。
【図４】入力画像の水平ラインに帯域制限を施す処理を説明する図である。
【図５】帯域制限を施すことによる入力信号の変化を説明する図である。
【図６】判定部２３における入力信号の信号帯域の判定の例を示す図である。
【図７】画像差分取得部２２の構成例を示すブロック図である。
【図８】ダイナミックレンジの算出について説明する図である。
【図９】画像差分取得部２２が差分情報を算出する処理を説明するフローチャートである。
【図１０】信号帯域の判定について説明する図である。
【図１１】クラス分類部１３の構成例を示すブロック図である。
【図１２】タップ情報取得部４１の構成例を示すブロック図である。
【図１３】タップの形状の例を示す図である。
【図１４】コンポーネント間相関判定部５１の構成例を示すブロック図である。
【図１５】帯域判定結果と相関性判定結果に従って選択される各コンポーネント信号のタップの形状の例を示す図である。
【図１６】タップの形状を決定する方法について説明する図である。
【図１７】一括して行われるADRC処理と、コンポーネント信号ごとに行われるADRC処理とについて説明する図である。
【図１８】画像処理装置１１が行う画像変換処理を説明するフローチャートである。
【図１９】画像変換処理の評価結果を説明する図である。
【図２０】従来方法のタップの形状を示す図である。
【図２１】帯域判定結果と相関性判定結果に基づいて選択される各コンポーネント信号のタップの形状を説明する図である。
【図２２】評価結果を示す図である。
【図２３】従来方法のタップの形状を示す図である。
【図２４】信号帯域と情報量について説明する図である。
【図２５】タップ情報取得部の他の構成例を示すブロック図である。
【図２６】評価結果を示す図である。
【図２７】広域密タップの形状を示す図である。
【図２８】タップ情報取得部のさらに他の構成例を示すブロック図である。
【図２９】コンポーネント信号の例を示す図である。
【図３０】学習処理を説明するフローチャートである。
【図３１】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【符号の説明】
【０２００】
１１ 画像処理装置， １２1乃至１２3 帯域判定部， １３ クラス分類部， １４ 予測係数ROM， １５ 予測演算部， ２１1および２１2 帯域制限部， ２２1および２２2 画像差分取得部， ２３ 判定部， ３１ ＤＲ取得部， ３２ レベル正規化差分絶対値取得部， ３３ 積算部， ３４ メモリ， ４１ タップ情報取得部， ４２ ADRCクラス分類部， ５１ コンポーネント間相関判定部， ５２1乃至５２3 狭域タップ構築部， ５３1乃至５３3 標準タップ構築部， ５４1乃至５４3 広域タップ構築部， ５５1乃至５５3 タップ選択部， ５６ タップ情報合成部， ６１ 帯域判定結果統合部， ６２1乃至６２3 フィルタ係数設定部， ６３1乃至６３3 帯域制限部， ６４1乃至６４3 相関性算出部， ６５ 閾値判定部
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、およびプログラムに関し、特に、より高画質の画像を生成することができるようにした画像処理装置、画像処理方法、およびプログラムに関する。
【背景技術】
【０００２】
本出願人は、例えば、低解像度の画像データを、より解像度が高い高解像度の画像データに変換する方法として、クラス分類適応処理を先に提案している（例えば、特許文献１を参照）。
【０００３】
クラス分類適応処理では、低解像度の画像データの特徴に基づいてクラス分類が行われ、クラスごとに求められた予測係数を用いて高解像度の画像データが取得される。
【０００４】
即ち、クラス分類適応処理では、例えば、予測すべき高解像度の画像データの画素（以下、注目画素という）が決定され、注目画素の位置に相当する、低解像度の画像データの位置から最も近くに存在する画素を、注目画素に対応する対応画素として、対応画素を含む、その対応画素の周囲に存在する複数の画素がクラスタップとして抽出され、クラスタップを構成する複数の画素に基づいて、注目画素が複数のクラスのうちのいずれかのクラスに分類される。そして、注目画素の位置に対応する、低解像度の画像データの対応画素を含む、その対応画素の周囲に存在する複数の画素が予測タップとして抽出され、予測タップを構成する複数の画素と、注目画素が分類されたクラスに対応する予測係数とを用いた予測演算によって注目画素が予測（生成）される。
【０００５】
このようなクラス分類適応処理により高解像度の画像データを取得する方法は、例えば、直線補完により高解像度の画像データを取得する方法よりも、非常に高精度な変換性能を有している一方で、クラス分類の精度を十分に確保することができなければ、予測精度が低下することがある。
【０００６】
そこで、予測精度の低下を回避するために、例えば、低解像度の画像データを構成するコンポーネント信号の３つの成分（例えば、Ｒ，Ｇ，Ｂ）から、高解像度の画像データを構成するコンポーネント信号の１成分を予測する際に、低解像度の画像データのその１成分だけでなく、他の２成分も利用する（例えば、Ｒ成分の予測に、Ｒ成分だけでなく、Ｇ成分およびＢ成分も利用する）方法が提案されている（例えば、特許文献２を参照）。
【０００７】
コンポーネント信号の３つの成分には、それぞれ相関性があることより、高解像度の画像データを構成するコンポーネント信号の１成分を予測する際に、低解像度の画像データのその１成分だけでなく、他の２成分も利用することで、クラス分類の精度を向上させることができ、予測精度を向上させることができる。
【０００８】
【特許文献１】特開平５−３２８１８５号公報
【特許文献２】特許第３７４８０８８号
【発明の開示】
【発明が解決しようとする課題】
【０００９】
ところで、高解像度の画像データを構成するコンポーネント信号の１成分を予測する際に、低解像度の画像データのその１成分だけでなく、他の２成分も利用する方法において、コンポーネント信号の各成分間の相関性が極めて高い場合において、クラスタップを抽出するタップ構造が同一の形状であると、高解像度の画像データの１成分を予測する際に、低解像度の画像データのその１成分だけを利用する場合からの予測精度の向上が小さかった。
【００１０】
図１を参照して、コンポーネント信号の各成分間の相関性について説明する。
【００１１】
例えば、図１Ａに示すように、コンポーネント信号のＲ成分、Ｇ成分、およびＢ成分の相関性が極めて高い場合に、高解像度の画像データのＲ成分を予測する際に、低解像度の画像データのＲ成分、Ｇ成分、およびＢ成分を利用するとき、クラスタップを抽出するタップ構造が同一の形状であると、低解像度の画像データのＲ成分から取得される情報（画像データの特徴）と、低解像度の画像データのＧ成分およびＢ成分から取得される情報とは、それぞれほぼ同じものとなる。
【００１２】
このように、低解像度の画像データのＲ成分、Ｇ成分、およびＢ成分から情報を取得しているにもかかわらず、低解像度の画像データのＲ成分から取得される情報と、低解像度の画像データのＧ成分およびＢ成分から取得される情報とが、ほぼ同じ情報であるということは、コンポーネント信号Ｒのみを用いてコンポーネント信号Ｒを予測する場合と比べて、予測精度は少ししか向上しない。
【００１３】
また、例えば、図１Ｂに示すように、画像がコンポーネント信号のＹ成分、Ｕ成分、およびＶ成分からなる場合には、コンポーネント信号の各成分で情報量が大きく異なっており、クラスタップを抽出するタップ構造が同一の形状であると、情報量の少ない成分からは、有用な情報をほとんど取得することができない。
【００１４】
従って、例えば、高解像度の画像データのＹ成分を予測する際に、低解像度の画像データのＹ成分、Ｕ成分、およびＶ成分を利用したとしても、Ｕ成分およびＶ成分からは有用な情報をほとんど取得することができないため、Ｙ成分だけを利用する場合からの予測精度の向上が小さかった。
【００１５】
これらのことより、従来より予測精度を大きく向上させ、より高画質の画像を生成することができるようにすることが求められていた。
【００１６】
本発明は、このような状況に鑑みてなされたものであり、より高画質の画像を生成することができるようにするものである。
【課題を解決するための手段】
【００１７】
本発明の一側面の画像処理装置は、第１の画像データを、より高画質の第２の画像データに変換する画像処理を行う画像処理装置であって、前記第１の画像データを構成する複数のコンポーネント信号の信号帯域を判定する帯域判定手段と、前記帯域判定手段により判定された信号帯域の判定結果に基づいて、前記複数のコンポーネント信号間の相関性を求める相関性取得手段と、前記複数のコンポーネント信号の信号帯域の判定結果と、前記相関性取得手段により求められた前記複数のコンポーネント信号間の相関性との組み合わせに基づいて、前記複数のコンポーネント信号のそれぞれから、前記第２の画像データの注目している画素である注目画素を予測する予測演算に用いるためのタップとして、前記注目画素に対応する、前記第１の画像データの対応画素を含む、前記対応画素の周囲に存在する複数の画素を抽出する際のタップ形状を、前記複数のコンポーネント信号ごとに決定するタップ形状決定手段と、前記タップ決定手段により決定されたタップ形状で、前記注目画素に対応する、前記第１の画像データの対応画素を含む、前記対応画素の周囲に存在する複数の画素を、前記第１の画像データから抽出するタップ抽出手段と、前記タップ抽出手段により抽出されたタップに基づいて、前記注目画素をクラス分けするクラス分類手段と、学習用の前記第１の画像データを用いた前記予測演算の結果と、学習用の前記第１の画像データに対応する学習用の前記第２の画像データとの誤差を最小にする学習によりあらかじめ求められて保持されている予測係数の中から、前記クラス分類手段によりクラス分けされた前記注目画素のクラスに対応する予測係数を出力する予測係数出力手段と、前記予測係数出力手段から出力された前記予測係数と、前記タップ抽出手段により抽出されたタップを構成する複数の画素とを用いた前記予測演算により、前記第２の画像データの前記注目画素を予測する予測演算手段とを備える。
【００１８】
本発明の一側面の画像処理方法またはプログラムは、第１の画像データを、より高画質の第２の画像データに変換する画像処理を行う画像処理方法、または、第１の画像データを、より高画質の第２の画像データに変換する画像処理を行う画像処理処理をコンピュータに実行させるプログラムであって、前記第１の画像データを構成する複数のコンポーネント信号の信号帯域を判定し、前記信号帯域の判定結果に基づいて、前記複数のコンポーネント信号間の相関性を求め、前記複数のコンポーネント信号の信号帯域の判定結果と、前記複数のコンポーネント信号間の相関性との組み合わせに基づいて、前記複数のコンポーネント信号のそれぞれから、前記第２の画像データの注目している画素である注目画素を予測する予測演算に用いるためのタップとして、前記注目画素に対応する、前記第１の画像データの対応画素を含む、前記対応画素の周囲に存在する複数の画素を抽出する際のタップ形状を、前記複数のコンポーネント信号ごとに決定し、前記タップ形状で、前記注目画素に対応する、前記第１の画像データの対応画素を含む、前記対応画素の周囲に存在する複数の画素を、前記第１の画像データから抽出し、前記第１の画像データから抽出されたタップに基づいて、前記注目画素をクラス分けし、学習用の前記第１の画像データを用いた前記予測演算の結果と、学習用の前記第１の画像データに対応する学習用の前記第２の画像データとの誤差を最小にする学習によりあらかじめ求められて保持されている予測係数の中から、前記注目画素のクラスに対応する予測係数を出力し、前記注目画素のクラスに対応する予測係数と、前記タップを構成する複数の画素とを用いた前記予測演算により、前記第２の画像データの前記注目画素を予測するステップを含む。
【００１９】
本発明の一側面においては、第１の画像データを構成する複数のコンポーネント信号の信号帯域が判定され、それらの信号帯域の判定結果に基づいて、複数のコンポーネント信号間の相関性が求められる。また、複数のコンポーネント信号の信号帯域の判定結果と、複数のコンポーネント信号間の相関性との組み合わせに基づいて、複数のコンポーネント信号のそれぞれから、第２の画像データの注目している画素である注目画素を予測する予測演算に用いるためのタップとして、注目画素に対応する、第１の画像データの対応画素を含む、対応画素の周囲に存在する複数の画素を抽出する際のタップ形状が、複数のコンポーネント信号ごとに決定される。そして、決定されたタップ形状で、注目画素に対応する、第１の画像データの対応画素を含む、対応画素の周囲に存在する複数の画素が、第１の画像データから抽出され、第１の画像データから抽出されたタップに基づいて、注目画素がクラス分けされる。また、学習用の第１の画像データを用いた予測演算の結果と、学習用の第１の画像データに対応する学習用の第２の画像データとの誤差を最小にする学習によりあらかじめ求められて保持されている予測係数の中から、注目画素のクラスに対応する予測係数が出力され、その予測係数と、タップを構成する複数の画素とを用いた予測演算により、第２の画像データの注目画素が予測される。
【発明の効果】
【００２０】
本発明の一側面によれば、より高画質の画像を生成することができる。
【発明を実施するための最良の形態】
【００２１】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
【００２２】
図２は、本発明を適用した画像処理装置の一実施の形態の構成例を示すブロック図である。
【００２３】
図２において、画像処理装置１１は、３つの帯域判定部１２1乃至１２3、クラス分類部１３、予測係数ROM（Read Only Memory）１４、および予測演算部１５から構成される。
【００２４】
画像処理装置１１には、低解像度の画像データを構成するコンポーネント信号Ｃ1乃至Ｃ3が供給され、画像処理装置１１は、低解像度の画像データに対し、解像度を向上させる画像処理を施し、高解像度の画像データを出力する。画像処理装置１１では、例えば、高解像度の画像データを構成するコンポーネント信号Ｃ1を予測する際に、低解像度の画像データを構成するコンポーネント信号Ｃ1だけでなく、コンポーネント信号Ｃ2およびＣ3も利用される。
【００２５】
帯域判定部１２1乃至１２3には、コンポーネント信号Ｃ1乃至Ｃ3がそれぞれ供給される。帯域判定部１２1は、コンポーネント信号Ｃ1の信号帯域を判定し、その判定結果として、例えば、高帯域、中帯域、または低帯域を示す判定結果信号をクラス分類部１３に供給する。帯域判定部１２2および１２3は、帯域判定部１２1と同様に、コンポーネント信号Ｃ2およびＣ3の信号帯域を判定した結果を示す判定結果信号をクラス分類部１３に供給する。
【００２６】
クラス分類部１３には、コンポーネント信号Ｃ1乃至Ｃ3が供給され、クラス分類部１３は、帯域判定部１２1乃至１２3から供給される判定結果信号に基づいて、コンポーネント信号Ｃ1乃至Ｃ3のクラス分類を行う。
【００２７】
即ち、クラス分類部１３は、例えば、予測すべき高解像度の画像データの画素（以下、注目画素という）の位置に相当する、低解像度の画像データの位置から最も近くに存在する画素を、注目画素に対応する対応画素として、対応画素を含む、その対応画素の周囲に存在する複数の画素をクラスタップとして抽出する。このとき、クラス分類部１３は、判定結果信号に基づいて、クラスタップの形状をコンポーネント信号ごとに選択し、クラスタップを構成する複数の画素に基づいて、注目画素を、複数のクラスのうちのいずれかのクラスに分類する。
【００２８】
そして、クラス分類部１３は、注目画素ごとに、それぞれのクラスを示すクラスコード（例えば、後述するADRCコード）を、予測係数ROM１４に供給する。
【００２９】
予測係数ROM１４は、クラスコードと、そのクラスコードに対応する予測係数（後述する学習によって予め求められる予測係数）とのセットを記憶（保持）しており、クラス分類部１３からクラスコードが供給されると、そのクラスコードに対応付けられている予測係数を予測演算部１５に供給する。
【００３０】
予測演算部１５は、低解像度の画像データを構成するコンポーネント信号Ｃ1乃至Ｃ3と、予測係数ROM１４から供給される予測係数とを用いて、所定の予測演算（例えば、線形１次演算）を行い、高解像度の画像データを構成するコンポーネント信号Ｃ1乃至Ｃ3を出力する。
【００３１】
即ち、予測演算部１５は、注目画素の位置に対応する、低解像度の画像データの対応画素を含む、その対応画素の周囲に存在する複数の画素を予測タップとして抽出し、予測タップを構成する複数の画素と、注目画素が分類されたクラスに対応する予測係数とを用いた予測演算によって注目画素を予測（生成）する。
【００３２】
次に、図３は、帯域判定部１２の構成例を示すブロック図である。
【００３３】
帯域判定部１２1乃至１２3は、コンポーネント信号Ｃ1乃至Ｃ3の信号帯域の判定をそれぞれ行うことにより、コンポーネント信号Ｃ1乃至Ｃ3が有する情報量を明らかにする。また、帯域判定部１２1乃至１２3がコンポーネント信号Ｃ1乃至Ｃ3の信号帯域の判定を行うことで、後述するコンポーネント間相関判定部５１（図１２）がコンポーネント信号Ｃ1乃至Ｃ3の帯域を揃えた上で、より高精度な相関性を評価することができるようになる。なお、帯域判定部１２1乃至１２3では、低解像度の画像データの全情報を利用して処理が行われる。なお、帯域判定部１２1乃至１２3は、それぞれ同様に構成されており、帯域判定部１２1乃至１２3のそれぞれを区別する必要がない場合、以下、適宜、帯域判定部１２と称する。
【００３４】
図３において、帯域判定部１２は、帯域制限部２１1および２１2、画像差分取得部２２1および２２2、並びに、判定部２３から構成される。
【００３５】
帯域制限部２１1および２１2には、それぞれ異なるフィルタ係数があらかじめ設定されており、入力信号Ｃ（例えば、帯域判定部１２1であれば、コンポーネント信号Ｃ1）がそれぞれ供給される。そして、帯域制限部２１1は、フィルタ係数に基づいて入力信号Ｃに帯域制限を施し、その結果得られる帯域制限信号ＣL1を画像差分取得部２２1に供給する。また、帯域制限部２１2は、帯域制限部２１1と同様に、帯域制限信号ＣL2を画像差分取得部２２2に供給する。
【００３６】
また、例えば、帯域制限部２１1および２１2に設定されているフィルタ係数は、帯域制限部２１1よりも、帯域制限部２１2の方が、通過帯域が低くなるような特性とされている。具体的には、帯域制限部２１1には、通過帯域５０％程度のフィルタ係数が設定され、帯域制限部２１2には、通過帯域２５％程度のフィルタ係数が設定される。
【００３７】
また、帯域制限部２１1および２１2は、入力画像の水平ラインにのみ帯域制限を行い、その結果得られる帯域制限画像を出力する。
【００３８】
例えば、図４に示すように、帯域制限部２１1および２１2は、入力画像の所定の画素を含む水平方向の所定数の画素（図４の入力画像の黒丸の画素を含む５つの画素）の画素値と、帯域制限部２１1および２１2にそれぞれ設定されているフィルタ係数（帯域制限フィルタ係数）との積和演算を行う。そして、帯域制限部２１1および２１2は、積和演算を行った結果得られる積和値を、入力画像の所定の画素に対応する帯域制限画像の画素（図４の帯域制限画像の黒丸の画素）の画素値として出力する。
【００３９】
一般的に、ＹＵＶ信号などは、水平方向を重点的に帯域制限をしているので、このように入力画像の水平ラインにのみ帯域制限を行うことで、帯域判定部１２は、垂直方向に大きなアクティビティがある画素に重きを置いた帯域判定を行うことができる。また、水平方向および垂直方向に帯域制限を行う場合よりも処理を高速に行うことができる。
【００４０】
また、帯域制限部２１1および２１2において、入力信号に対して帯域制限を施す結果、図５Ａに示すように、入力信号Ｃの帯域が高い場合には、帯域制限信号ＣLは入力信号Ｃから大きく変化し、入力信号Ｃの帯域が低い場合には、帯域制限信号ＣLは入力信号Ｃから大きく変化しない。
【００４１】
画像差分取得部２２1は、入力信号Ｃと、帯域制限部２１1から供給される帯域制限信号ＣL1との全画面での差分の総和を算出し、その総和を示す差分情報Ｄ1を判定部２３に供給する。画像差分取得部２２2は、画像差分取得部２２1と同様に、差分情報Ｄ2を判定部２３に供給する。差分情報の算出については、図７を参照して後述する。
【００４２】
判定部２３は、画像差分取得部２２1から供給される差分情報Ｄ1と、画像差分取得部２２2から供給される差分情報Ｄ2との比を算出し、あらかじめ設定されている閾値に従って入力信号の信号帯域を判定し、その判定結果を示す判定結果信号Ｅを１画面ごとに出力する。
【００４３】
例えば、図６に示すように、信号帯域を判定する閾値として、0.4と0.6とが判定部２３に設定されているとき、判定部２３は、差分情報Ｄ1と差分情報Ｄ2との比（Ｄ1／Ｄ2）が、０以上0.4未満であれば、低帯域を表す判定結果信号Ｅを出力する。また、判定部２３は、差分情報Ｄ1と差分情報Ｄ2との比が、0.4以上0.6未満であれば、中帯域を表す判定結果信号Ｅを出力し、差分情報Ｄ1と差分情報Ｄ2との比が、0.6以上であれば、高帯域を表す判定結果信号Ｅを出力する。なお、信号帯域を判定する閾値は、高解像度の画像データの変化に応じて適切な画質となるような値を設定することができ、0.4や0.6で限定されるものではない。
【００４４】
なお、図３において、帯域判定部１２には、帯域制限部および画像差分取得部が、それぞれ２つ設けられているが、例えば、帯域制限部および画像差分取得部を２つ以上設けて、種々の帯域制限信号を用いて判定部２３における判定を行うことで、その判定を高精度化させることができる。
【００４５】
次に、図７は、図３の画像差分取得部２２の構成例を示すブロック図である。
【００４６】
図７において、画像差分取得部２２は、ＤＲ取得部３１、レベル正規化差分絶対値取得部３２、積算部３３、およびメモリ３４から構成される。
【００４７】
ＤＲ取得部３１は、入力画像の水平方向のダイナミックレンジ（水平ＤＲ）と、入力画像の垂直方向のダイナミックレンジ（垂直ＤＲ）とを算出して、レベル正規化差分絶対値取得部３２に供給する。
【００４８】
例えば、図８に示すように、ＤＲ取得部３１は、入力画像の所定の画素について、所定の画素を含む水平方向の所定数の画素（図８の例では、黒丸の画素（所定の画素）を含む水平方向の５つの画素）から水平ＤＲを算出するとともに、所定の画素を含む垂直方向の所定数の画素（図８の例では、黒丸の画素（所定の画素）を含む垂直方向の５つの画素）から垂直ＤＲを算出する。
【００４９】
レベル正規化差分絶対値取得部３２には、入力画像を表す入力信号Ｃ、および、帯域制限部２１により帯域制限が施された帯域制限信号ＣLが供給され、レベル正規化差分絶対値取得部３２は、入力画像の所定の画素ごとに、入力画像の水平ＤＲが、入力画像の垂直ＤＲの閾値倍（例えば、２倍）以上であるか否かを判定する。そして、レベル正規化差分絶対値取得部３２は、入力画像の水平ＤＲが、入力画像の垂直ＤＲの閾値倍以上である場合、入力画素（入力画像の所定の画素）と、帯域制限部２１1から供給される帯域制限画素（帯域制限画像を表す帯域制限信号ＣLにおける、入力画像の所定の画素に対応する画素）との差分絶対値を、水平ＤＲで除して１００を乗じた値を、レベル正規化差分絶対値として算出する。
【００５０】
積算部３３には、レベル正規化差分絶対値取得部３２からレベル正規化差分絶対値が画素ごとに供給され、積算部３３は、レベル正規化差分絶対値を積算してメモリ３４に適宜記憶させ、１画面分のレベル正規化差分絶対値を積算すると、レベル正規化差分絶対値の総和を差分情報Ｄとして判定部２３（図３）に供給する。
【００５１】
次に、図９は、図７の画像差分取得部２２が差分情報を算出する処理を説明するフローチャートである。
【００５２】
画像差分取得部２２では、入力画像の１画面ごとに処理が行われ、１画面の先頭の画素を表す入力信号が画像差分取得部２２に供給されると処理が開始され、ステップＳ１１において、レベル正規化差分絶対値取得部３２は、積算部３３を介してメモリ３４を初期化させる。
【００５３】
ステップＳ１１の処理後、ステップＳ１２に進み、ＤＲ取得部３１は、１画面の先頭の画素から順に処理の対象とし、現在処理の対象となっている画素に対する水平ＤＲおよび垂直ＤＲを算出してレベル正規化差分絶対値取得部３２に供給する。レベル正規化差分絶対値取得部３２は、入力画像の水平ＤＲが、入力画像の垂直ＤＲの閾値倍（垂直ＤＲ×閾値）以上であるか否かを判定する。
【００５４】
ステップＳ１２において、レベル正規化差分絶対値取得部３２が、入力画像の水平ＤＲが、入力画像の垂直ＤＲの閾値倍以上でないと判定した場合、ＤＲ取得部３１は、次の画素を処理の対象として水平ＤＲおよび垂直ＤＲを算出し、入力画像の水平ＤＲが入力画像の垂直ＤＲの閾値倍以上であると判定されるまで処理が繰り返される。
【００５５】
一方、ステップＳ１２において、レベル正規化差分絶対値取得部３２が、入力画像の水平ＤＲが、入力画像の垂直ＤＲの閾値倍以上であると判定した場合、処理はステップＳ１３に進み、レベル正規化差分絶対値取得部３２は、入力画素と帯域制限画素との差分絶対値（即ち、入力信号Ｃと、帯域制限部２１1が入力信号Ｃに帯域制限を施した帯域制限信号ＣLとの差分絶対値）を、水平ＤＲで除して１００を乗じた値（｜Ｃ−ＣL｜×１００／ＤＲ）を、レベル正規化差分絶対値として算出し、レベル正規化差分絶対値を積算部３３に供給する。
【００５６】
ステップＳ１３の処理後、処理はステップＳ１４に進み、積算部３３は、レベル正規化差分絶対値取得部３２からのレベル正規化差分絶対値を積算し、メモリ３４に記憶させる。即ち、現在処理の対象となっている画素より前に、レベル正規化差分絶対値取得部３２からレベル正規化差分絶対値が既に積算部３３に供給されていた場合には、メモリ３４には既に積算値が記憶されており、積算部３３は、その積算値に、新たに供給されたレベル正規化差分絶対値を加算して、メモリ３４に上書きする。
【００５７】
ステップＳ１４の処理後、処理はステップＳ１５に進み、レベル正規化差分絶対値取得部３２は、１画面分（１フレーム分）の画像信号に対する処理が終了したか否か、即ち、ステップＳ１１で処理を開始した画面の最後の画素を表す画像信号に対する処理が行われたか否かを判定し、１画面分の画像信号に対する処理が終了していないと判定した場合、処理はステップＳ１２に戻り、以下、同様の処理が繰り返される。
【００５８】
一方、ステップＳ１５において、レベル正規化差分絶対値取得部３２が、１画面分の画像信号に対する処理が終了したと判定した場合、処理はステップＳ１６に進み、積算部３３は、メモリ３４に記憶させている積算値を、差分情報として出力し、処理は終了される。
【００５９】
そして、帯域判定部１２では、判定部２３（図３）において、画像差分取得部２２から供給された差分情報に基づいて、入力信号の信号帯域が判定される。
【００６０】
即ち、図１０を参照して、信号帯域の判定について説明する。
【００６１】
例えば、入力信号Ｃの信号帯域が低い場合、図１０の左側に示すように、入力信号Ｃに対する、入力信号Ｃが帯域制限部２１1により帯域制限された帯域制限信号ＣL1の変化は非常に小さく、入力信号Ｃが帯域制限部２１2により帯域制限された帯域制限信号ＣL2の変化も比較的に小さい。従って、画像差分取得部２２1が、入力信号Ｃから算出する差分情報Ｄ1は、ほぼ０となり、画像差分取得部２２2が、入力信号Ｃから算出する差分情報Ｄ2は、小さな値となる。
【００６２】
また、入力信号Ｃの信号帯域が高い場合、図１０の右側に示すように、入力信号Ｃに対する、入力信号Ｃが帯域制限部２１1により帯域制限された帯域制限信号ＣL1の変化は大きく、入力信号Ｃが帯域制限部２１2により帯域制限された帯域制限信号ＣL2の変化はさらに大きい。従って、差分情報Ｄ1および差分情報Ｄ2は、ある程度大きな値となる。
【００６３】
このように、入力信号の信号帯域が異なることにより、入力信号が帯域制限されることによる変化に差が生じ、低帯域の入力信号に対する差分情報Ｄ1と差分情報Ｄ2との比は小さな値となり、高帯域の入力信号に対する差分情報Ｄ1と差分情報Ｄ2との比は大きな値となる。従って、差分情報Ｄ1と差分情報Ｄ2との比に基づいて、入力信号の信号帯域を判定することができる。
【００６４】
また、このように帯域判定部１２を構成することにより、コンポーネント信号の信号帯域を判定する処理を、より簡易的な構成で行うことができる。なお、各コンポーネント信号の信号帯域を判定することができれば、帯域判定部１２の構成に限定されるものではなく、例えば、周波数解析を行うなど、コンポーネント信号の信号帯域を判定する方法には、他の方法を用いることができる。
【００６５】
次に、図１１は、図２のクラス分類部１３の構成例を示すブロック図である。
【００６６】
図１１に示すように、クラス分類部１３は、タップ情報取得部４１、およびADRCクラス分類部４２から構成される。
【００６７】
タップ情報取得部４１には、コンポーネント信号Ｃ1乃至Ｃ3が供給されるとともに、図２の帯域判定部１２1乃至１２3から帯域判定結果信号Ｅ1乃至Ｅ3が供給される。タップ情報取得部４１は、帯域判定結果信号Ｅ1乃至Ｅ3に基づいてコンポーネント信号Ｃ1乃至Ｃ3間の相関関係を求め、その相関関係に応じて選択したタップ形状で、コンポーネント信号Ｃ1乃至Ｃ3からタップを抽出し、それらのタップを合成したタップ情報をADRCクラス分類部４２に供給する。
【００６８】
ADRCクラス分類部４２は、タップ情報取得部４１から供給されるタップ情報を用いて、ADRC（Adaptive Dynamic Range Coding）クラス分類処理を施し、注目画素をクラスに分け、そのクラスを示すクラスコード（ADRCコード）を出力する。なお、ADRCクラス分類処理は、従来から用いられている方法と同様である。
【００６９】
次に、図１２は、図１１のタップ情報取得部４１の構成例を示すブロック図である。
【００７０】
図１２に示すように、タップ情報取得部４１は、コンポーネント間相関判定部５１、３つの狭域タップ構築部５２1乃至５２3、３つの標準タップ構築部５３1乃至５３3、３つの広域タップ構築部５４1乃至５４3、３つのタップ選択部５５1乃至５５3、および、タップ情報合成部５６から構成される。
【００７１】
コンポーネント間相関判定部５１には、コンポーネント信号Ｃ1乃至Ｃ3が供給されるとともに、図２の帯域判定部１２1乃至１２3から帯域判定結果信号Ｅ1乃至Ｅ3が供給される。コンポーネント間相関判定部５１は、帯域判定結果信号Ｅ1乃至Ｅ3に基づいて、コンポーネント信号Ｃ1乃至Ｃ3のそれぞれの間の相関関係を求め、その相関関係に応じて、狭域、標準、または広域のいずれのタップを抽出するかをコンポーネント信号Ｃ1乃至Ｃ3ごとに決定する。
【００７２】
そして、コンポーネント間相関判定部５１は、コンポーネント信号Ｃ1から抽出するタップを選択するタップ選択信号を、即ち、狭域、標準、または広域のいずれのタップを抽出するかを指示するタップ選択信号をタップ選択部５５1に供給する。また、コンポーネント間相関判定部５１は、コンポーネント信号Ｃ2から抽出するタップを選択するタップ選択信号をタップ選択部５５2に供給し、コンポーネント信号Ｃ3から抽出するタップを選択するタップ選択信号をタップ選択部５５3に供給する。
【００７３】
狭域タップ構築部５２1、標準タップ構築部５３1、および広域タップ構築部５４1には、コンポーネント信号Ｃ1がそれぞれ供給される。狭域タップ構築部５２1は、コンポーネント信号Ｃ1から狭域タップ（例えば、図１３Ａに示すような形状のタップ）を抽出し、標準タップ構築部５３1は、コンポーネント信号Ｃ1から標準タップ（例えば、図１３Ｂに示すような形状のタップ）を抽出し、広域タップ構築部５４1は、コンポーネント信号Ｃ3から広域タップ（例えば、図１３Ｃに示すような形状のタップ）を抽出する。狭域タップ構築部５２1、標準タップ構築部５３1、広域タップ構築部５４1は、それぞれコンポーネント信号Ｃ1から抽出したタップをタップ選択部５５1に供給する。
【００７４】
また、狭域タップ構築部５２2は、コンポーネント信号Ｃ2から狭域タップを抽出してタップ選択部５５2に供給し、標準タップ構築部５３2は、コンポーネント信号Ｃ2から標準タップを抽出してタップ選択部５５2に供給し、広域タップ構築部５４2は、コンポーネント信号Ｃ2から広域タップを抽出してタップ選択部５５2に供給する。また、狭域タップ構築部５２3は、コンポーネント信号Ｃ3から狭域タップを抽出してタップ選択部５５3に供給し、標準タップ構築部５３3は、コンポーネント信号Ｃ3から標準タップを抽出してタップ選択部５５3に供給し、広域タップ構築部５４3は、コンポーネント信号Ｃ3から広域タップを抽出してタップ選択部５５3に供給する。
【００７５】
タップ選択部５５1は、コンポーネント間相関判定部５１から供給されるタップ選択信号に基づいて、狭域タップ構築部５２1から供給されるコンポーネント信号Ｃ1の狭域タップ、標準タップ構築部５３1から供給されるコンポーネント信号Ｃ1の標準タップ、または、広域タップ構築部５４1から供給されるコンポーネント信号Ｃ1の広域タップのうちのいずれか１つを選択して、タップ情報合成部５６に供給する。
【００７６】
タップ選択部５５2は、タップ選択部５５1と同様に、コンポーネント信号Ｃ2の狭域タップ、標準タップ、または広域タップのうちのいずれか１つを選択して、タップ情報合成部５６に供給する。タップ選択部５５3は、タップ選択部５５1と同様に、コンポーネント信号Ｃ3の狭域タップ、標準タップ、または広域タップのうちのいずれか１つを選択して、タップ情報合成部５６に供給する。
【００７７】
タップ情報合成部５６は、タップ選択部５５1乃至５５3から供給されるタップを合成したタップ情報を、図１１のADRCクラス分類部４２に供給する。
【００７８】
次に、図１３は、コンポーネント信号から抽出するタップの形状の例を示す図である。
【００７９】
図１３Ａ乃至Ｃには、注目画素を中心として、注目画素の上下および左右の画素からなる５つの画素で構成される形状のタップの例が示されている。図１３Ａに示されている狭域タップは、注目画素と、注目画素に隣接する４つの画素とからなり、図１３Ｂに示されている標準タップは、注目画素と、注目画素から１画素離れた４つの画素とからなり、図１３Ｃに示されている広域タップは、注目画素と、注目画素から２画素離れた４つの画素とからなる。
【００８０】
また、図１３Ｄには、注目画素と、注目画素の上下および左右にそれぞれ３つ連続する画素との１３個の画素からなる形状の広域密タップの例が示されている。この広域密タップは、後述する図２４の広域密タップ構築部５７により抽出される。
【００８１】
なお、タップの形状は、図１３に示す例に限られるものではなく、任意の形状を指定することができる。
【００８２】
次に、図１４は、図１２のコンポーネント間相関判定部５１の構成例を示すブロック図である。
【００８３】
図１４に示すように、コンポーネント間相関判定部５１は、帯域判定結果統合部６１、３つのフィルタ係数設定部６２1乃至６２3、３つの帯域制限部６３1乃至６３3、３つの相関性算出部６４1乃至６４3、および閾値判定部６５から構成される。
【００８４】
帯域判定結果統合部６１には、図２の帯域判定部１２1乃至１２3から帯域判定結果信号Ｅ1乃至Ｅ3が供給され、帯域判定結果統合部６１は、帯域判定結果信号Ｅ1乃至Ｅ3のうちの、最も低い信号帯域を示す帯域判定結果信号であるコンポーネント信号の信号帯域に、全てのコンポーネント信号の信号帯域が揃えられるように、帯域制限部６３1乃至６３3に設定されるフィルタ係数を決定する。
【００８５】
例えば、コンポーネント信号Ｃ1の信号帯域を判定した結果である帯域判定結果信号Ｅ1が広帯域を表しており、コンポーネント信号Ｃ2の信号帯域を判定した結果である帯域判定結果信号Ｅ2が広帯域を表しており、コンポーネント信号Ｃ3の信号帯域を判定した結果である帯域判定結果信号Ｅ3が中帯域を表している場合、帯域判定結果統合部６１は、コンポーネント信号Ｃ1乃至Ｃ3の信号帯域を、中帯域に揃えるように、帯域制限部６３1乃至６３3のフィルタ係数を決定する。
【００８６】
具体的には、帯域判定結果統合部６１に、例えば、広帯域として７０％が設定され、中帯域として５０％が設定されている場合において、帯域判定結果信号Ｅ1およびＥ2が広帯域を表し、帯域判定結果信号Ｅ3が中帯域を表しているとき、帯域判定結果統合部６１は、帯域制限部６３1および６３2のフィルタ係数を５０％に決定するとともに、帯域制限部６３3のフィルタ係数を１００％（即ち、帯域制限無し）に決定する。これにより、コンポーネント信号Ｃ1乃至Ｃ3の信号帯域は、いずれも５０％に揃えられる。
【００８７】
フィルタ係数設定部６２1乃至６２3は、帯域判定結果統合部６１により決定された係数フィルタを、帯域制限部６３1乃至６３3にそれぞれ設定する。
【００８８】
帯域制限部６３1は、フィルタ係数設定部６２1により設定されたフィルタ係数で、コンポーネント信号Ｃ1の帯域制限を行い、即ち、フィルタ係数とコンポーネント信号Ｃ1との積和演算を行い、コンポーネント信号Ｃ1を帯域制限した信号を、相関性算出部６４1および６４3に供給する。
【００８９】
帯域制限部６３2は、フィルタ係数設定部６２2により設定されたフィルタ係数で、コンポーネント信号Ｃ2の帯域制限を行い、コンポーネント信号Ｃ2を帯域制限した信号を、相関性算出部６４1および６４2に供給する。帯域制限部６３3は、フィルタ係数設定部６２3により設定されたフィルタ係数で、コンポーネント信号Ｃ3の帯域制限を行い、コンポーネント信号Ｃ3を帯域制限した信号を、相関性算出部６４2および６４3に供給する。
【００９０】
相関性算出部６４1は、帯域制限部６３1を介して供給されるコンポーネント信号Ｃ1と、帯域制限部６３2を介して供給されるコンポーネント信号Ｃ2との相関性を算出する。コンポーネント信号間の相関性を示す指数としては、例えば、相関係数を用いることができる。相関係数は、次の式（１）を演算することにより求めることができる。
【００９１】
【数１】
【００９２】
但し、式（１）において、ｘiはコンポーネント信号Ｃ1のデータ列を表し、ｙiはコンポーネント信号Ｃ2のデータ列を表し、ｘaveは、ｘiの平均値を表し、ｙaveは、ｙiの平均値を表す。
【００９３】
式（１）を演算することにより得られる相関係数は、その値が１に近いほど、コンポーネント信号Ｃ1およびＣ2間の相関が強いことを表している。相関性算出部６４1は、算出したコンポーネント信号Ｃ1およびＣ2間の相関係数を閾値判定部６５に供給する。
【００９４】
相関性算出部６４1と同様に、相関性算出部６４2は、コンポーネント信号Ｃ2およびＣ3間の相関係数を算出して閾値判定部６５に供給し、相関性算出部６４3は、コンポーネント信号Ｃ1およびＣ3間の相関係数を算出して閾値判定部６５に供給する。
【００９５】
閾値判定部６５は、図２の帯域判定部１２1乃至１２3から供給される帯域判定結果信号Ｅ1乃至Ｅ3と、相関性算出部６４1乃至６４3から供給される相関係数に基づいて、コンポーネント信号Ｃ1乃至Ｃ3から狭域、標準、または広域のいずれのタップを抽出するかを決定する。
【００９６】
例えば、閾値判定部６５には、図１５に示すように、帯域判定結果信号Ｅ1乃至Ｅ3の組み合わせ、および、コンポーネント信号Ｃ1乃至Ｃ3間の相関係数の組み合わせに従って、選択すべきタップの形状が、コンポーネント信号Ｃ1乃至Ｃ3ごとにあらかじめ設定されている。
【００９７】
図１５には、帯域判定結果信号Ｅ1乃至Ｅ3が全て同一（即ち、全て広帯域、全て中帯域、または全て低帯域）であるときに、コンポーネント信号Ｃ1の予測に用いられるタップ形状の例が示されている。
【００９８】
図１５において、相関性判定結果として、相関性算出部６４1乃至６４3からの相関係数が、０．９以上であるものには○は示されており、０．９未満であるものには×が示されている。
【００９９】
即ち、図１５の上から１番目の行には、帯域判定結果信号Ｅ1乃至Ｅ3が全て同一、かつ、コンポーネント信号Ｃ1およびＣ2間の相関係数、コンポーネント信号Ｃ2およびＣ3間の相関係数、コンポーネント信号Ｃ1およびＣ3間の相関係数が、全て０．９以上である場合に選択されるタップ形状が示されている。即ち、この場合、コンポーネント信号Ｃ1（Ｒ成分）は、狭域タップが選択され、コンポーネント信号Ｃ2（Ｇ成分）は、標準タップが選択され、コンポーネント信号Ｃ3（Ｂ成分）は、広域タップが選択される。
【０１００】
また、例えば、図１５の上から３番目の行には、帯域判定結果信号Ｅ1乃至Ｅ3が全て同一、かつ、コンポーネント信号Ｃ1およびＣ2間の相関係数が０．９以上で、コンポーネント信号Ｃ2およびＣ3間の相関係数が０．９未満で、コンポーネント信号Ｃ1およびＣ3間の相関係数が０．９以上である場合に選択されるタップ形状が示されている。即ち、この場合、コンポーネント信号Ｃ1（Ｒ成分）は、狭域タップが選択され、コンポーネント信号Ｃ2（Ｇ成分）は、標準タップが選択され、コンポーネント信号Ｃ3（Ｂ成分）は、狭域タップが選択される。
【０１０１】
なお、相関係数を、○または×と判定する際の閾値は、0.9に限定されるものではなく、高解像度の画像データの変化に応じて適切な画質となるような値に設定することができ、例えば、0.99など、さらに相関性が高いものを○としてもよい。
【０１０２】
また、閾値判定部６５に設定されるタップパターン（タップの形状の組み合わせ）は、例えば、低解像度の画像データを高解像度の画像データに変換したときの高解像度の画像データのsnr（Signal to Noise Ratio）に基づいて設定することができる。即ち、帯域判定結果信号Ｅ1乃至Ｅ3の全ての組み合わせ、および、コンポーネント信号Ｃ1乃至Ｃ3間の相関係数の全ての組み合わせにおいて、選択しうるタップパターンの全てにおけるsnrを算出し、所定の帯域判定結果信号Ｅ1乃至Ｅ3の組み合わせ、かつ、所定のコンポーネント信号Ｃ1乃至Ｃ3間の相関係数の組み合わせにおいて、snrが最大になるタップパターンが、その組み合わせにおけるタップパターンとして選択される。
【０１０３】
例えば、図１６を参照して、コンポーネント信号Ｃ1乃至Ｃ3間の相関性の組み合わせ（８パターン）におけるタップパターンの選択について説明する。
【０１０４】
例えば、コンポーネント信号Ｃ1乃至Ｃ3間の相関性が、全て○である場合（例えば、相関係数が全て0.9以上である場合）、コンポーネント信号Ｃ1乃至Ｃ3のとりえるタップパターンの組み合わせの中で、図１６の一番上の行に示すように、コンポーネント信号Ｃ1が狭域タップであり、コンポーネント信号Ｃ2が標準タップであり、コンポーネント信号Ｃ3が広域タップであるときに、snrが最大の値である29.31である。これより、コンポーネント信号Ｃ1乃至Ｃ3間の相関性が全て○である場合には、コンポーネント信号Ｃ1が狭域タップであり、コンポーネント信号Ｃ2が標準タップであり、コンポーネント信号Ｃ3が広域タップであるタップパターンが選択される。
【０１０５】
同様に、例えば、コンポーネント信号Ｃ1およびＣ2間の相関性、並びにコンポーネント信号Ｃ1およびＣ3間の相関性が○であり、コンポーネント信号Ｃ2およびＣ3間の相関性が×である場合、snrが31.90であるタップパターン、即ち、コンポーネント信号Ｃ1が狭域タップであり、コンポーネント信号Ｃ2が標準タップであり、コンポーネント信号Ｃ3が狭域タップであるタップパターンが選択される。
【０１０６】
なお、タップパターンは、予測の対象となるコンポーネント信号毎に、例えば、RGB信号やYUV信号ごとに変更することができる。また、タップパターンの選択は、snrに基づいて決定されるだけではなく、定性的な観点も絡めて最終的に決定される。
【０１０７】
このようにして決定されたタップパターンが、閾値判定部６５にあらかじめ設定されており、閾値判定部６５は、帯域判定結果信号Ｅ1乃至Ｅ3の組み合わせ、および、コンポーネント信号Ｃ1乃至Ｃ3間の相関係数の組み合わせに従って、タップパターンを選択する。そして、閾値判定部６５は、コンポーネント信号Ｃ1から抽出するタップを選択するタップ選択信号を、タップ選択部５５1（図１２）に供給し、コンポーネント信号Ｃ2から抽出するタップを選択するタップ選択信号を、タップ選択部５５2に供給し、コンポーネント信号Ｃ3から抽出するタップを選択するタップ選択信号を、タップ選択部５５3に供給する。
【０１０８】
そして、タップ選択部５５1乃至５５3が、コンポーネント信号Ｃ1乃至Ｃ3からそれぞれ抽出したタップが、タップ情報合成部５６を介して図１１のADRCクラス分類部４２され、ADRCクラス分類部４２において、注目画素のクラス分類を行う。
【０１０９】
このとき、ADRCクラス分類部４２は、図１７に示すように、タップ選択部５５1乃至５５3が抽出したタップを用いて一括でクラス分類を行うことができる。また、ADRCクラス分類部４２は、コンポーネント信号ごとに、即ち、タップ選択部５５1乃至５５3それぞれが抽出したタップごとにクラス分類を行うことができる。
【０１１０】
また、ADRCクラス分類部４２が出力するクラスコードは、ADRCクラス分類の結果と、相関性判定結果とを組み合わせた結果になる。但し、相関性判定結果の代わりに、各コンポーネント信号のタップ形状（図１５に示すタップの選択結果）を用いることで、クラス数を削減することができる。つまり、相関性判定結果は、８パターンであるのに対し、タップの選択結果は、８パターン以下になる。
【０１１１】
相関性判定結果とタップの選択結果とのいずれを用いるかは、画像処理装置１１の性能と規模との兼ね合いで決定することができる。つまり、相関性判定結果をクラスコードに組み込む場合には性能が高くなり、一方、タップの選択結果をクラスコードに組み込む場合にはクラス数の削減を図れる。なお、帯域判定結果は、クラスコードに組み込まれない。
【０１１２】
次に、図１８は、図２の画像処理装置１１が行う画像変換処理を説明するフローチャートである。
【０１１３】
画像処理装置１１に、低解像度の画像データを構成するコンポーネント信号Ｃ1乃至Ｃ3が供給されると処理が開始され、ステップＳ２１において、図２の帯域判定部１２1乃至１２3は、コンポーネント信号Ｃ1乃至Ｃ3の信号帯域を判定し、判定結果信号をクラス分類部１３に供給する。
【０１１４】
ステップＳ２１の処理後、処理はステップＳ２２に進み、クラス分類部１３では、タップ情報取得部４１のコンポーネント間相関判定部５１（図１２）において、相関性算出部６４1乃至６４3（図１４）が、上述の式（１）の演算を行って相関係数を算出し、処理はステップＳ２３に進む。
【０１１５】
ステップＳ２３において、閾値判定部６５が、ステップＳ２２で算出された相関係数に基づいて、あらかじめ設定されているタップパターン（図１５）を選択することで、コンポーネント信号Ｃ1乃至Ｃ3のそれぞれから、狭域、標準、または広域のいずれのタップを抽出するかがコンポーネント信号Ｃ1乃至Ｃ3ごとに決定される。そして、コンポーネント間相関判定部５１からタップ選択部５５1乃至５５3に、狭域、標準、または広域のいずれのタップを抽出するかを示すタップ選択信号が供給される。
【０１１６】
ステップＳ２４において、タップ選択部５５1は、ステップＳ２３でコンポーネント間相関判定部５１から供給されるタップ選択信号に基づいて、狭域タップ構築部５２1から供給されるコンポーネント信号Ｃ1の狭域タップ、標準タップ構築部５３1から供給されるコンポーネント信号Ｃ1の標準タップ、または、広域タップ構築部５４1から供給されるコンポーネント信号Ｃ1の広域タップのうちのいずれか１つを選択して、タップ情報合成部５６に供給する。また、タップ選択部５５2、およびタップ選択部５５3も、タップ選択部５５1と同様に、それぞれタップ選択信号に基づいたタップをタップ情報合成部５６に供給する。
【０１１７】
ステップＳ２４の処理後、処理はステップＳ２５に進み、ADRCクラス分類部４２（図１１）は、タップ情報合成部５６を介して供給されるタップを用いて、クラス分類を行い、その結果得られるクラスを、予測係数ROM１４に供給し、処理はステップＳ２６に進む。
【０１１８】
ステップＳ２６において、予測係数ROM１４は、ADRCクラス分類部４２からのクラスに対応付けられている予測係数を、予測演算部１５に供給する。
【０１１９】
ステップＳ２７において、予測演算部１５は、予測係数ROM１４からの予測係数と、コンポーネント信号Ｃ1乃至Ｃ3とを用いて、後述する式（２）の予測演算を行い、高解像度の画像データを構成するコンポーネント信号を出力し、処理は終了する。
【０１２０】
以上のように、コンポーネント信号Ｃ1乃至Ｃ3間の相関性に応じてタップを抽出すること、即ち、コンポーネント信号Ｃ1乃至Ｃ3から予測に必要な情報を取得することで、最適な情報を取得することができ、これにより、低解像度の画像データから高解像度の画像データへの予測精度を向上させることができる。従って、従来よりも高画質な高解像度の画像を得ることができる。例えば、色にじみを改善して、解像感を向上させた画像を得ることができる。
【０１２１】
次に、図１９を参照して、画像処理装置１１による画像変換処理の評価結果を説明する。
【０１２２】
図１９には、画像処理装置１１により画像変換処理が施された高解像度の画像データのsnrと、従来の方法により画像変換処理が施された高解像度の画像データのsnrとが、相関性判定結果ごと示されている。また、図１９は、コンポーネント信号Ｃ1乃至Ｃ3に、RGB信号を用いて画像処理を行ったときのＲ成分における高解像度の画像データの評価結果である。
【０１２３】
ここで、従来方法１では、図２０Ａに示す組み合わせのタップパターンを用いて、即ち、コンポーネント信号Ｃ1乃至Ｃ3のいずれからも（例えば、Ｒ成分、Ｇ成分、Ｂ成分のいずれからも）狭域タップが抽出されて、画像変換処理が行われた。また、従来方法２では、図２０Ｂに示す組み合わせのタップパターンを用いて、即ち、コンポーネント信号Ｃ1（例えば、Ｒ成分）からは狭域タップが抽出され、コンポーネント信号Ｃ2（例えば、Ｇ成分）からは標準タップが抽出され、コンポーネント信号Ｃ3（例えば、Ｂ成分）からは広域タップが抽出されて画像変換処理が行われた。
【０１２４】
なお、従来方法１および２による画像変換処理では、ADRCクラス分類処理において出力するクラスコードは、２5×２5×２5クラスであり、画像処理装置１１による画像変換処理では、ADRCクラス分類処理において出力するクラスコードは、２5×２5×２5×８クラスである。
【０１２５】
図１９に示すように、コンポーネント信号Ｃ1乃至Ｃ3間の相関性によらず、全ての相関性判定結果および全サンプルにおいて、画像処理装置１１による画像変換処理が施された高解像度の画像データのsnrは、従来の方法により画像変換処理が施された高解像度の画像データのsnrよりも、高い値となっている。即ち、画像処理装置１１による画像変換処理が施された高解像度の画像データの方が、ノイズが少なく、高画質である。
【０１２６】
なお、画像変換処理において、注目画素のクラスを分類する際のクラスタップと、注目画素を予測する際の予測タップとでは、同一の組み合わせのタップの形状を用いてもよいし、異なる組み合わせのタップの形状を用いてもよい。
【０１２７】
次に、コンポーネント信号Ｃ1乃至Ｃ3のうちの、１つのみが高帯域である場合についての画像処理について説明する。
【０１２８】
図２１には、コンポーネント信号Ｃ2のみが高帯域であるとき（即ち、帯域判定結果信号Ｅ2のみが高帯域を示しているとき）に、コンポーネント信号Ｃ2の予測に用いられるタップ形状の例が示されている。
【０１２９】
図２１には、図１５と同様に、相関性判定結果として、相関性算出部６４1乃至６４3からの相関係数が、０．９以上であるものには○は示されており、０．９未満であるものには×が示されており、コンポーネント信号Ｃ1乃至Ｃ3としては、YUV信号が用いられているときの、タップ形状の例が示されている。図２１では、コンポーネント信号Ｃ1がＶ成分とされ、コンポーネント信号Ｃ2がＹ成分とされ、コンポーネント信号Ｃ3がＵ成分とされている。
【０１３０】
次に、図２２には、画像処理装置１１により、図２１に示されているタップ形状でタップが抽出されて画像が変換される画像変換処理の評価結果が示されている。また、図２２は、Ｙ成分における高解像度の画像データの評価結果である。
【０１３１】
図２２における従来方法１では、図２３Ａに示す組み合わせのタップパターンを用いて、即ち、コンポーネント信号Ｃ1乃至Ｃ3のいずれからも（例えば、Ｖ成分、Ｙ成分、Ｕ成分のいずれからも）狭域タップが抽出されて、画像変換処理が行われた。また、従来方法２では、図２３Ｂに示す組み合わせのタップパターンを用いて、即ち、コンポーネント信号Ｃ1（例えば、Ｖ成分）からは広域タップが抽出され、コンポーネント信号Ｃ2（例えば、Ｙ成分）からは狭域タップが抽出され、コンポーネント信号Ｃ3（例えば、Ｕ成分）からは標準タップが抽出されて画像変換処理が行われた。また、ADRCクラス分類処理において出力するクラスコードは、図１９の場合と同様である。
【０１３２】
図２２に示すように、コンポーネント信号Ｃ1乃至Ｃ3としてYUV信号を用いた場合にも、コンポーネント信号Ｃ1乃至Ｃ3間の相関性によらず、全ての相関性判定結果および全サンプルにおいて、画像処理装置１１による画像変換処理が施された高解像度の画像データのsnrは、従来の方法により画像変換処理が施された高解像度の画像データのsnrよりも、高い値となっている。
【０１３３】
ところで、画像処理装置１１において選択されるタップの形状は、図１３Ａ乃至１３Ｃに示した３つのいずれかであるが、画像処理装置１１では、図１３Ｄに示す広域密タップを選択することができる。例えば、所定の条件においては、広域密タップを用いてコンポーネント信号Ｃ1乃至Ｃ3のうちの１つからタップを抽出し、そのタップだけを用いて予測を行った場合に、予測精度が向上することがある。
【０１３４】
例えば、コンポーネント信号がYUV信号である場合、コンポーネント信号のＹ成分だけが高帯域であり、Ｕ成分およびＶ成分は、低帯域または中帯域となる。そして、YUV信号間でいずれも相関が極めて強い場合、図２４に示すように、情報量が削減されたＵ成分およびＶ成分から情報を取得するよりも、Ｙ成分のみから情報を取得した方が効率がよくなり、予測精度が向上する。即ち、情報量が削減されたＵ成分およびＶ成分からは、同じ情報が重複して取得される可能性があるからである。
【０１３５】
このことより、タップ情報取得部は、広域密タップを抽出することができるように構成することができる。
【０１３６】
次に、図２５は、タップ情報取得部の他の構成例を示すブロック図である。
【０１３７】
図２５において、タップ情報取得部４１’は、コンポーネント間相関判定部５１、３つの狭域タップ構築部５２1乃至５２3、３つの標準タップ構築部５３1乃至５３3、３つの広域タップ構築部５４1乃至５４3、３つのタップ選択部５５1乃至５５3、タップ情報合成部５６、および、３つの広域密タップ構築部５７1乃至５７3から構成される。
【０１３８】
なお、図２５では、図１２のタップ情報取得部４１と対応する部分については、同一の符号をそれぞれ付してあり、以下では、その説明は、適宜省略する。即ち、図２５のタップ情報取得部４１’は、コンポーネント間相関判定部５１、３つの狭域タップ構築部５２1乃至５２3、３つの標準タップ構築部５３1乃至５３3、３つの広域タップ構築部５４1乃至５４3、３つのタップ選択部５５1乃至５５3、タップ情報合成部５６を備える点で、図１２のタップ情報取得部４１と共通する。但し、タップ情報取得部４１’においては、広域密タップ構築部５７1乃至５７3が設けられている点で、図１２のタップ情報取得部４１と異なっている。
【０１３９】
広域密タップ構築部５７1乃至５７3は、コンポーネント信号Ｃ1乃至Ｃ3から広域密タップ（例えば、図１３Ｄに示すような形状のタップ）を抽出して、タップ選択部５５1乃至５５3にそれぞれ供給する。
【０１４０】
例えば、タップ情報取得部４１’のコンポーネント間相関判定部５１には、所定の条件（図２６を参照して後述する条件）の場合に、予測の対象となっているコンポーネント信号の１つから広域密タップを抽出するように、タップ選択部５５1乃至５５3を制御する。
【０１４１】
例えば、コンポーネント信号Ｃ1が予測の対象となっているとき、タップ選択部５５1に広域密タップ構築部５７1が抽出したタップをタップ情報合成部５６に供給させ、タップ選択部５５2および５５3にはタップの供給を行わせない。これにより、コンポーネント信号Ｃ1の予測が、コンポーネント信号Ｃ1から抽出された広域密タップのみを用いて行われる。
【０１４２】
これにより、図２４を参照して説明したように、効率よく情報を取得することができ、情報量が削減されたコンポーネント信号から重複した情報を取得するなどのロスが少なくなるので、予測精度を向上させることができる。
【０１４３】
次に、タップ情報取得部４１’のコンポーネント間相関判定部５１において、予測の対象となっているコンポーネント信号の１つから広域密タップを抽出するようにタップ選択部５５1乃至５５3を制御する条件について説明する。
【０１４４】
図２６には、図２７に示すような広域密タップのみを用いて画像変換処理を行った場合のsnrと、図１２のタップ情報取得部４１を備えた画像処理装置１１による画像変換処理のsnr（即ち、図１９と同一のsnr）とが示されている。
【０１４５】
図２６に示すように、コンポーネント信号Ｃ1乃至Ｃ3間の相関性の判定結果によって、広域密タップのみを用いて画像変換処理を行った場合のsnrが高い値であるときがあれば、タップ情報取得部４１を備えた画像処理装置１１による画像変換処理のsnrが高い値であるときときもある。
【０１４６】
画像処理装置１１は、あらかじめ図２６に示すような評価を行い、広域密タップのみを用いて画像変換処理を行った場合のsnrが高い値である相関性の判定結果の組み合わせでは、予測の対象となっているコンポーネント信号の１つから広域密タップを抽出するようにタップ選択部５５1乃至５５3を制御するように、タップ情報取得部４１’のコンポーネント間相関判定部５１が設定されている。一方、タップ情報取得部４１を備えた画像処理装置１１による画像変換処理のsnrが高い値である相関性の判定結果の組み合わせでは、タップ選択部５５1乃至５５3のそれぞれからタップを抽出するような制御が行われるように、タップ情報取得部４１’のコンポーネント間相関判定部５１が設定されている。
【０１４７】
次に、図２８は、タップ情報取得部のさらに他の構成例を示すブロック図である。
【０１４８】
図２８において、タップ情報取得部４１’’は、コンポーネント間相関判定部５１、３つの狭域タップ構築部５２1乃至５２3、３つの標準タップ構築部５３1乃至５３3、３つの広域タップ構築部５４1乃至５４3、およびタップ選択部５５から構成される。
【０１４９】
なお、図２８では、図１２のタップ情報取得部４１と対応する部分については、同一の符号をそれぞれ付してあり、以下では、その説明は、適宜省略する。
【０１５０】
図２８のタップ情報取得部４１’’では、狭域タップ構築部５２1乃至５２3、標準タップ構築部５３1乃至５３3、および広域タップ構築部５４1乃至５４3により抽出されたタップが全てタップ選択部５５に供給され、タップ選択部５５は、コンポーネント間相関判定部５１からのタップ選択情報に従って、１つのタップを出力する。
【０１５１】
ここで、タップ選択部５５が選択するタップは、予測の対象となっているコンポーネント信号から抽出されるものに限定されない。例えば、コンポーネント信号Ｃ2が予測の対象となっているときに、図２９に示すように、コンポーネント信号Ｃ1のみの信号帯域が高く、コンポーネント信号Ｃ2およびＣ3の信号帯域が低い場合であって、かつ、コンポーネント信号Ｃ1およびＣ2間の相関が強い場合においては、コンポーネント信号Ｃ2から広域タップを抽出するよりも、コンポーネント信号Ｃ1から狭域タップを抽出したほうが、より多くの情報を取得することができる。
【０１５２】
従って、コンポーネント信号Ｃ1から抽出したタップを用いて、コンポーネント信号Ｃ2の予測をした方が、コンポーネント信号Ｃ2から抽出したタップを用いて予測をするよりも、高い予測精度を実現することができる。
【０１５３】
なお、図２８のタップ情報取得部４１’’を備えた画像処理装置１１による画像変換処理では、例えば、図１２のタップ情報取得部４１を備えた画像処理装置１１による画像変換処理よりも予測精度が低くなるが、クラス数を削減することができ、これにより、処理を高速に行うことができる。
【０１５４】
次に、図２の予測演算部１５における予測演算と、予測係数ROM１４に記憶された予測係数の学習について説明する。
【０１５５】
上述したように、画像変換処理においては、低解像度の画像データから予測タップを抽出し、その予測タップと予測係数を用いて、高解像度の画像データの画素（以下、適宜、高解像度画素という）の画素値を、所定の予測演算によって求める（予測する）ことを考える。また、学習処理においては、教師用のデータとしての高解像度の画像データと、生徒用のデータとしての低解像度の画像データとが用いられ、例えば、解像度の異なる撮像装置で同一の被写体を撮像して高解像度の画像データと低解像度の画像データと得ることや、高解像度の画像データをサブサンプルすることで低解像度の画像データを得ることができる。
【０１５６】
所定の予測演算として、例えば、線形１次演算を採用することとすると、高解像度画素の画素値ｙは、次式（２）の線形１次式によって求められることになる。
【０１５７】
【数２】
【０１５８】
但し、式（２）において、ｘnは、高解像度画素ｙについての予測タップを構成する、ｎ番目の低解像度画像データの画素（以下、適宜、低解像度画素という）の画素値を表し、ｗnは、ｎ番目の低解像度画素（の画素値）と乗算されるｎ番目の予測係数を表す。なお、式（２）では、予測タップが、Ｎ個の低解像度画素ｘ1，ｘ2，・・・，ｘNで構成されるものとしてある。
【０１５９】
ここで、高解像度画素の画素値ｙは、式（２）に示した線形１次式ではなく、２次以上の高次の式によって求めるようにすることも可能である。
【０１６０】
いま、第ｋサンプルの高解像度画素の画素値の真値をｙkと表すとともに、式（２）によって得られるその真値ｙkの予測値をｙk'と表すと、その予測誤差ｅkは、次式（３）で表される。
【０１６１】
【数３】
【０１６２】
いま、式（３）の予測値ｙk'は、式（２）にしたがって求められるため、式（３）のｙk'を、式（２）にしたがって置き換えると、次式（４）が得られる。
【０１６３】
【数４】
【０１６４】
但し、式（４）において、ｘn,kは、第ｋサンプルの高解像度画素についての予測タップを構成するｎ番目の低解像度画素を表す。
【０１６５】
式（４）（又は式（３））の予測誤差ｅkを０とする予測係数ｗnが、高解像度画素を予測するのに最適なものとなるが、すべての高解像度画素について、そのような予測係数ｗnを求めることは、一般には困難である。
【０１６６】
そこで、予測係数ｗnが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適な予測係数ｗnは、次式（５）で表される自乗誤差の総和Ｅを最小にすることで求めることができる。
【０１６７】
【数５】
【０１６８】
但し、式（５）において、ｋは、高解像度画素ｙkと、その高解像度画素ｙkについての予測タップを構成する低解像度画素ｘ1,k，ｘ2,k，・・・，ｘN,kとのセットのサンプル数（学習用のサンプルの数）を表す。
【０１６９】
式（５）の自乗誤差の総和Ｅの最小値（極小値）は、次式（６）に示すように、総和Ｅを予測係数ｗnで偏微分したものを０とするｗnによって与えられる。
【０１７０】
【数６】
【０１７１】
一方、上述の式（４）を予測係数ｗnで偏微分すると、次式（７）が得られる。
【０１７２】
【数７】
【０１７３】
式（６）と式（７）から、次式（８）が得られる。
【０１７４】
【数８】
【０１７５】
式（８）のｅkに、式（４）を代入することにより、式（８）は、次式（９）に示す正規方程式で表すことができる。
【０１７６】
【数９】
【０１７７】
式（９）の正規方程式は、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、予測係数ｗnについて解くことができる。
【０１７８】
式（９）の正規方程式を、クラス（の組合せ）毎にたてて解くことにより、最適な予測係数（ここでは、自乗誤差の総和Ｅを最小にする予測係数）ｗnを、クラス毎に求めることができる。
【０１７９】
図２の画像処理装置１１では、以上のようなクラス毎の予測係数が予測係数ROM１４に記憶され、その予測係数を用いて、式（２）の演算を行うことにより、低解像度画像データが高解像度画像データに変換される。
【０１８０】
なお、低解像度の画像データを構成するコンポーネント信号Ｃ1乃至Ｃ3の画素は、図１１のタップ情報取得部４１で取得されたタップ情報となる。または、画像変換処理（予測処理）で用いるために、クラスタップとは異なる形状の予測タップを設定してもよい。
【０１８１】
次に、図３０は、予測係数を学習する処理を説明するフローチャートである。なお、予測係数を学習する学習装置は、後述する図３１のコンピュータがプログラムを実行することにより実現される。
【０１８２】
ステップＳ３１において、高解像度画像データに相当する画像である教師画像をサブサンプリングし、その解像度を低下させることにより低解像度画像データに相当する画像である生徒画像を生成する。
【０１８３】
ステップＳ３２において、教師画像を構成する画素を、例えば、ラスタスキャン順に、順次、注目画素としてクラス分類処理（図２のクラス分類部１３と同様の処理）が行われ、注目画素のクラスを求める。
【０１８４】
ステップＳ３３において、教師画像の注目画素（の画素値）と、注目画素についての予測タップを構成する生徒画像の画素とを対象とした足し込みをクラスごとに行い、教師画像の画素すべてを注目画素として、上述の足し込みを行うことにより、注目画素のクラスについて、式（９）に示した正規方程式を生成する。
【０１８５】
ステップＳ３４において、教師画像を構成する画素のうちの、まだ注目画素とされていない画素が存在するか否かが判定され、まだ注目画素とされていない画素が存在すると判定された場合、処理はステップＳ３２に戻り、まだ注目画素とされていない画素が存在しないと判定されるまで、処理が繰り返される。
【０１８６】
ステップＳ３４において、まだ注目画素とされていない画素が存在しないと判定された場合、処理はステップＳ３５に進み、ステップＳ３３で生成された正規方程式を解くことにより、予測係数を算出する。
【０１８７】
ステップＳ３６において、ステップＳ３５で算出された予測係数が、予測係数ROM１４に記憶され、予測係数を学習する処理は終了される。
【０１８８】
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０１８９】
図３１は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０１９０】
コンピュータにおいて、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。
【０１９１】
バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、キーボード、マウス、マイクロホンなどよりなる入力部１０６、ディスプレイ、スピーカなどよりなる出力部１０７、ハードディスクや不揮発性のメモリなどよりなる記憶部１０８、ネットワークインタフェースなどよりなる通信部１０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１１１を駆動するドライブ１１０が接続されている。
【０１９２】
以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５及びバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。
【０１９３】
コンピュータ（CPU１０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア１１１に記録して、あるいは、ローカルエリアネットワーク、インタネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０１９４】
そして、プログラムは、リムーバブルメディア１１１をドライブ１１０に装着することにより、入出力インタフェース１０５を介して、記憶部１０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１０９で受信し、記憶部１０８にインストールすることができる。その他、プログラムは、ROM１０２や記憶部１０８に、あらかじめインストールしておくことができる。
【０１９５】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。
【０１９６】
なお、上述のフローチャートを参照して説明した各処理は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。また、プログラムは、１のCPUにより処理されるものであってもよいし、複数のCPUによって分散処理されるものであってもよい。
【０１９７】
また、プログラムは、１のコンピュータにより処理されるものであってもよいし、複数のコンピュータによって分散処理されるものであってもよい。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであってもよい。
【０１９８】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０１９９】
【図１】コンポーネント信号の各成分間の相関性について説明する図である。
【図２】本発明を適用した画像処理装置の一実施の形態の構成例を示すブロック図である。
【図３】帯域判定部１２の構成例を示すブロック図である。
【図４】入力画像の水平ラインに帯域制限を施す処理を説明する図である。
【図５】帯域制限を施すことによる入力信号の変化を説明する図である。
【図６】判定部２３における入力信号の信号帯域の判定の例を示す図である。
【図７】画像差分取得部２２の構成例を示すブロック図である。
【図８】ダイナミックレンジの算出について説明する図である。
【図９】画像差分取得部２２が差分情報を算出する処理を説明するフローチャートである。
【図１０】信号帯域の判定について説明する図である。
【図１１】クラス分類部１３の構成例を示すブロック図である。
【図１２】タップ情報取得部４１の構成例を示すブロック図である。
【図１３】タップの形状の例を示す図である。
【図１４】コンポーネント間相関判定部５１の構成例を示すブロック図である。
【図１５】帯域判定結果と相関性判定結果に従って選択される各コンポーネント信号のタップの形状の例を示す図である。
【図１６】タップの形状を決定する方法について説明する図である。
【図１７】一括して行われるADRC処理と、コンポーネント信号ごとに行われるADRC処理とについて説明する図である。
【図１８】画像処理装置１１が行う画像変換処理を説明するフローチャートである。
【図１９】画像変換処理の評価結果を説明する図である。
【図２０】従来方法のタップの形状を示す図である。
【図２１】帯域判定結果と相関性判定結果に基づいて選択される各コンポーネント信号のタップの形状を説明する図である。
【図２２】評価結果を示す図である。
【図２３】従来方法のタップの形状を示す図である。
【図２４】信号帯域と情報量について説明する図である。
【図２５】タップ情報取得部の他の構成例を示すブロック図である。
【図２６】評価結果を示す図である。
【図２７】広域密タップの形状を示す図である。
【図２８】タップ情報取得部のさらに他の構成例を示すブロック図である。
【図２９】コンポーネント信号の例を示す図である。
【図３０】学習処理を説明するフローチャートである。
【図３１】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【符号の説明】
【０２００】
１１ 画像処理装置， １２1乃至１２3 帯域判定部， １３ クラス分類部， １４ 予測係数ROM， １５ 予測演算部， ２１1および２１2 帯域制限部， ２２1および２２2 画像差分取得部， ２３ 判定部， ３１ ＤＲ取得部， ３２ レベル正規化差分絶対値取得部， ３３ 積算部， ３４ メモリ， ４１ タップ情報取得部， ４２ ADRCクラス分類部， ５１ コンポーネント間相関判定部， ５２1乃至５２3 狭域タップ構築部， ５３1乃至５３3 標準タップ構築部， ５４1乃至５４3 広域タップ構築部， ５５1乃至５５3 タップ選択部， ５６ タップ情報合成部， ６１ 帯域判定結果統合部， ６２1乃至６２3 フィルタ係数設定部， ６３1乃至６３3 帯域制限部， ６４1乃至６４3 相関性算出部， ６５ 閾値判定部
【特許請求の範囲】
【請求項１】
第１の画像データを、より高画質の第２の画像データに変換する画像処理を行う画像処理装置において、
前記第１の画像データを構成する複数のコンポーネント信号の信号帯域を判定する帯域判定手段と、
前記帯域判定手段により判定された信号帯域の判定結果に基づいて、前記複数のコンポーネント信号間の相関性を求める相関性取得手段と、
前記複数のコンポーネント信号の信号帯域の判定結果と、前記相関性取得手段により求められた前記複数のコンポーネント信号間の相関性との組み合わせに基づいて、前記複数のコンポーネント信号のそれぞれから、前記第２の画像データの注目している画素である注目画素を予測する予測演算に用いるためのタップとして、前記注目画素に対応する、前記第１の画像データの対応画素を含む、前記対応画素の周囲に存在する複数の画素を抽出する際のタップ形状を、前記複数のコンポーネント信号ごとに決定するタップ形状決定手段と、
前記タップ決定手段により決定されたタップ形状で、前記注目画素に対応する、前記第１の画像データの対応画素を含む、前記対応画素の周囲に存在する複数の画素を、前記第１の画像データから抽出するタップ抽出手段と、
前記タップ抽出手段により抽出されたタップに基づいて、前記注目画素をクラス分けするクラス分類手段と、
学習用の前記第１の画像データを用いた前記予測演算の結果と、学習用の前記第１の画像データに対応する学習用の前記第２の画像データとの誤差を最小にする学習によりあらかじめ求められて保持されている予測係数の中から、前記クラス分類手段によりクラス分けされた前記注目画素のクラスに対応する予測係数を出力する予測係数出力手段と、
前記予測係数出力手段から出力された前記予測係数と、前記タップ抽出手段により抽出されたタップを構成する複数の画素とを用いた前記予測演算により、前記第２の画像データの前記注目画素を予測する予測演算手段と
を備える画像処理装置。
【請求項２】
前記タップ形状決定手段は、前記第１の画像データの対応画素を中心とした所定の範囲の標準タップ、前記所定の範囲より狭い範囲の狭域タップ、または、前記所定の範囲より広い範囲の広域タップのいずれかを、前記複数のコンポーネント信号ごとに決定する
請求項１に記載の画像処理装置。
【請求項３】
前記タップ形状決定手段は、前記複数のコンポーネント信号の信号帯域の判定結果が同一の信号帯域であり、前記複数のコンポーネント信号間の相関性の組み合わせがいずれも所定の閾値以上である場合、前記標準タップ、前記狭域タップ、および前記広域タップの全てを含む広域密タップを、予測の対象となっているコンポーネント信号の予測に用いるタップとして決定する
請求項２に記載の画像処理装置。
【請求項４】
第１の画像データを、より高画質の第２の画像データに変換する画像処理を行う画像処理方法において、
前記第１の画像データを構成する複数のコンポーネント信号の信号帯域を判定し、
前記信号帯域の判定結果に基づいて、前記複数のコンポーネント信号間の相関性を求め、
前記複数のコンポーネント信号の信号帯域の判定結果と、前記複数のコンポーネント信号間の相関性との組み合わせに基づいて、前記複数のコンポーネント信号のそれぞれから、前記第２の画像データの注目している画素である注目画素を予測する予測演算に用いるためのタップとして、前記注目画素に対応する、前記第１の画像データの対応画素を含む、前記対応画素の周囲に存在する複数の画素を抽出する際のタップ形状を、前記複数のコンポーネント信号ごとに決定し、
前記タップ形状で、前記注目画素に対応する、前記第１の画像データの対応画素を含む、前記対応画素の周囲に存在する複数の画素を、前記第１の画像データから抽出し、
前記第１の画像データから抽出されたタップに基づいて、前記注目画素をクラス分けし、
学習用の前記第１の画像データを用いた前記予測演算の結果と、学習用の前記第１の画像データに対応する学習用の前記第２の画像データとの誤差を最小にする学習によりあらかじめ求められて保持されている予測係数の中から、前記注目画素のクラスに対応する予測係数を出力し、
前記注目画素のクラスに対応する前記予測係数と、前記タップを構成する複数の画素とを用いた前記予測演算により、前記第２の画像データの前記注目画素を予測する
ステップを含む画像処理方法。
【請求項５】
第１の画像データを、より高画質の第２の画像データに変換する画像処理を行う画像処理処理をコンピュータに実行させるプログラムにおいて、
前記第１の画像データを構成する複数のコンポーネント信号の信号帯域を判定し、
前記信号帯域の判定結果に基づいて、前記複数のコンポーネント信号間の相関性を求め、
前記複数のコンポーネント信号の信号帯域の判定結果と、前記複数のコンポーネント信号間の相関性との組み合わせに基づいて、前記複数のコンポーネント信号のそれぞれから、前記第２の画像データの注目している画素である注目画素を予測する予測演算に用いるためのタップとして、前記注目画素に対応する、前記第１の画像データの対応画素を含む、前記対応画素の周囲に存在する複数の画素を抽出する際のタップ形状を、前記複数のコンポーネント信号ごとに決定し、
前記タップ形状で、前記注目画素に対応する、前記第１の画像データの対応画素を含む、前記対応画素の周囲に存在する複数の画素を、前記第１の画像データから抽出し、
前記第１の画像データから抽出されたタップに基づいて、前記注目画素をクラス分けし、
学習用の前記第１の画像データを用いた前記予測演算の結果と、学習用の前記第１の画像データに対応する学習用の前記第２の画像データとの誤差を最小にする学習によりあらかじめ求められて保持されている予測係数の中から、前記注目画素のクラスに対応する予測係数を出力し、
前記注目画素のクラスに対応する予測係数と、前記タップを構成する複数の画素とを用いた前記予測演算により、前記第２の画像データの前記注目画素を予測する
ステップを含む画像処理をコンピュータに実行させるプログラム。
【請求項１】
第１の画像データを、より高画質の第２の画像データに変換する画像処理を行う画像処理装置において、
前記第１の画像データを構成する複数のコンポーネント信号の信号帯域を判定する帯域判定手段と、
前記帯域判定手段により判定された信号帯域の判定結果に基づいて、前記複数のコンポーネント信号間の相関性を求める相関性取得手段と、
前記複数のコンポーネント信号の信号帯域の判定結果と、前記相関性取得手段により求められた前記複数のコンポーネント信号間の相関性との組み合わせに基づいて、前記複数のコンポーネント信号のそれぞれから、前記第２の画像データの注目している画素である注目画素を予測する予測演算に用いるためのタップとして、前記注目画素に対応する、前記第１の画像データの対応画素を含む、前記対応画素の周囲に存在する複数の画素を抽出する際のタップ形状を、前記複数のコンポーネント信号ごとに決定するタップ形状決定手段と、
前記タップ決定手段により決定されたタップ形状で、前記注目画素に対応する、前記第１の画像データの対応画素を含む、前記対応画素の周囲に存在する複数の画素を、前記第１の画像データから抽出するタップ抽出手段と、
前記タップ抽出手段により抽出されたタップに基づいて、前記注目画素をクラス分けするクラス分類手段と、
学習用の前記第１の画像データを用いた前記予測演算の結果と、学習用の前記第１の画像データに対応する学習用の前記第２の画像データとの誤差を最小にする学習によりあらかじめ求められて保持されている予測係数の中から、前記クラス分類手段によりクラス分けされた前記注目画素のクラスに対応する予測係数を出力する予測係数出力手段と、
前記予測係数出力手段から出力された前記予測係数と、前記タップ抽出手段により抽出されたタップを構成する複数の画素とを用いた前記予測演算により、前記第２の画像データの前記注目画素を予測する予測演算手段と
を備える画像処理装置。
【請求項２】
前記タップ形状決定手段は、前記第１の画像データの対応画素を中心とした所定の範囲の標準タップ、前記所定の範囲より狭い範囲の狭域タップ、または、前記所定の範囲より広い範囲の広域タップのいずれかを、前記複数のコンポーネント信号ごとに決定する
請求項１に記載の画像処理装置。
【請求項３】
前記タップ形状決定手段は、前記複数のコンポーネント信号の信号帯域の判定結果が同一の信号帯域であり、前記複数のコンポーネント信号間の相関性の組み合わせがいずれも所定の閾値以上である場合、前記標準タップ、前記狭域タップ、および前記広域タップの全てを含む広域密タップを、予測の対象となっているコンポーネント信号の予測に用いるタップとして決定する
請求項２に記載の画像処理装置。
【請求項４】
第１の画像データを、より高画質の第２の画像データに変換する画像処理を行う画像処理方法において、
前記第１の画像データを構成する複数のコンポーネント信号の信号帯域を判定し、
前記信号帯域の判定結果に基づいて、前記複数のコンポーネント信号間の相関性を求め、
前記複数のコンポーネント信号の信号帯域の判定結果と、前記複数のコンポーネント信号間の相関性との組み合わせに基づいて、前記複数のコンポーネント信号のそれぞれから、前記第２の画像データの注目している画素である注目画素を予測する予測演算に用いるためのタップとして、前記注目画素に対応する、前記第１の画像データの対応画素を含む、前記対応画素の周囲に存在する複数の画素を抽出する際のタップ形状を、前記複数のコンポーネント信号ごとに決定し、
前記タップ形状で、前記注目画素に対応する、前記第１の画像データの対応画素を含む、前記対応画素の周囲に存在する複数の画素を、前記第１の画像データから抽出し、
前記第１の画像データから抽出されたタップに基づいて、前記注目画素をクラス分けし、
学習用の前記第１の画像データを用いた前記予測演算の結果と、学習用の前記第１の画像データに対応する学習用の前記第２の画像データとの誤差を最小にする学習によりあらかじめ求められて保持されている予測係数の中から、前記注目画素のクラスに対応する予測係数を出力し、
前記注目画素のクラスに対応する前記予測係数と、前記タップを構成する複数の画素とを用いた前記予測演算により、前記第２の画像データの前記注目画素を予測する
ステップを含む画像処理方法。
【請求項５】
第１の画像データを、より高画質の第２の画像データに変換する画像処理を行う画像処理処理をコンピュータに実行させるプログラムにおいて、
前記第１の画像データを構成する複数のコンポーネント信号の信号帯域を判定し、
前記信号帯域の判定結果に基づいて、前記複数のコンポーネント信号間の相関性を求め、
前記複数のコンポーネント信号の信号帯域の判定結果と、前記複数のコンポーネント信号間の相関性との組み合わせに基づいて、前記複数のコンポーネント信号のそれぞれから、前記第２の画像データの注目している画素である注目画素を予測する予測演算に用いるためのタップとして、前記注目画素に対応する、前記第１の画像データの対応画素を含む、前記対応画素の周囲に存在する複数の画素を抽出する際のタップ形状を、前記複数のコンポーネント信号ごとに決定し、
前記タップ形状で、前記注目画素に対応する、前記第１の画像データの対応画素を含む、前記対応画素の周囲に存在する複数の画素を、前記第１の画像データから抽出し、
前記第１の画像データから抽出されたタップに基づいて、前記注目画素をクラス分けし、
学習用の前記第１の画像データを用いた前記予測演算の結果と、学習用の前記第１の画像データに対応する学習用の前記第２の画像データとの誤差を最小にする学習によりあらかじめ求められて保持されている予測係数の中から、前記注目画素のクラスに対応する予測係数を出力し、
前記注目画素のクラスに対応する予測係数と、前記タップを構成する複数の画素とを用いた前記予測演算により、前記第２の画像データの前記注目画素を予測する
ステップを含む画像処理をコンピュータに実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【公開番号】特開２００９−２００９１４（Ｐ２００９−２００９１４Ａ）
【公開日】平成２１年９月３日（２００９．９．３）
【国際特許分類】
【出願番号】特願２００８−４１４３１（Ｐ２００８−４１４３１）
【出願日】平成２０年２月２２日（２００８．２．２２）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２１年９月３日（２００９．９．３）
【国際特許分類】
【出願日】平成２０年２月２２日（２００８．２．２２）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]