画像情報変換装置、判別係数学習装置、予測係数学習装置、および、これらにおける処理方法ならびに当該方法をコンピュータに実行させるプログラム
【課題】解像度の異なる画像を相互に変換する画像情報変換装置において、予測係数の増大を抑制しつつ、画像の変換精度を向上させる。
【解決手段】
タップ抽出部は、クラスタップおよび予測タップを第１の画像から抽出する。クラス分類部は、クラスタップを複数のクラスのうちのいずれかに分類する。判別係数選択部は、分類されたクラスに対応する判別係数群を選択する。判別演算部は、選択された判別係数群と予測タップ内の各画素の画素値とに基づいて予測タップが属する前記予測タップ種別を判別する。予測係数選択部は、複数の予測係数群の中から分類されたクラスと判別された予測タップ種別との組合せに対応する予測係数群を選択する。予測演算部は、選択された予測係数群と予測タップ内の各画素の画素値とに基づいて予測演算を実行する。
【解決手段】
タップ抽出部は、クラスタップおよび予測タップを第１の画像から抽出する。クラス分類部は、クラスタップを複数のクラスのうちのいずれかに分類する。判別係数選択部は、分類されたクラスに対応する判別係数群を選択する。判別演算部は、選択された判別係数群と予測タップ内の各画素の画素値とに基づいて予測タップが属する前記予測タップ種別を判別する。予測係数選択部は、複数の予測係数群の中から分類されたクラスと判別された予測タップ種別との組合せに対応する予測係数群を選択する。予測演算部は、選択された予測係数群と予測タップ内の各画素の画素値とに基づいて予測演算を実行する。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像情報変換装置、判別係数学習装置、予測係数学習装置、および、これらにおける制御方法ならびに当該方法をコンピュータに実行させるプログラムに関する。詳しくは、画像の解像度を変更する画像情報変換装置、および、その制御方法ならびに当該方法をコンピュータに実行させるプログラムに関する。また、解像度の変更において使用すべき判別係数および予測係数を学習する判別係数学習装置および予測係数学習装置、ならびに、これらにおける制御方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
【背景技術】
【０００２】
従来、画像情報変換装置は、変換対象の画像内の画素群を複数のクラスに分類して、クラスごとに異なる演算により変換対象の画素値を求めるクラス分類適応処理を実行することにより、解像度の異なる画像を相互に変換していた（例えば、特許文献１参照。）。ここで、クラスとは、変換対象の画像内において注目した注目画素を含む画素群における各画素値の３次元分布の形状パターンに基づいて、その画素群が分類される各グループである。ここで、３次元分布の形状パターンに関して、１フレームを構成する２つのフィールドのそれぞれ属する時刻を時間軸とし、それぞれのフィールドにおける画素群内の各画素の位置を横軸とし、画素値の大きさを縦軸とした３次元の座標系を想定する。この座標系に各画素をプロットした３次元の分布図において、各プロットのなす形状が各画素値の３次元分布の形状パターンとされる。
【０００３】
このクラス分類適応処理においては、変換対象の画像において注目画素を含む所定個（例えば、１３個）の画素群内の各画素値を使用して所定の演算を行うことにより、変換後の画像の画素値が算出（予測）される。以下、この演算を予測演算と称し、この画素群を「予測タップ」と称する。注目画素を含む領域の３次元分布の形状パターンが、クラス分類の対象となる。注目画素を含む領域の形状パターンが、いずれのクラスに属するかを決定するために、注目画素を含む所定の画素群がクラスタップとして抽出される。ここで、例えば、各画素値を８ビットで量子化した場合、クラスタップの形状パターンは（２8）13パターンとなり、膨大な数となる。そこで、一般に、この膨大なグループ数の削減としてこれらの形状パターンに対してグループ化が行われる。３次元分布の形状パターンのグループ化は、各画素値の階調数に割り当てられた量子化ビット数をＡＤＲＣ等の圧縮手法で削減することにより行われることが多い。
【０００４】
クラスタップがクラスに分類されると、画像情報変換装置は、クラスごとに異なる予測係数群を使用して変換対象の画像における画素値を予測演算する。具体的には、画像情報変換装置は、クラスに対応する予測係数群と予測タップ内の各画素値との積和を、予測した画素値として出力する。これにより、変換対象の画像が、その画像とは解像度の異なる画像に変換される。これらの予測係数群は、画像変換前にクラスごとに予め設定しておく。
【０００５】
ここで、画像の変換前にクラスごとの予測係数を画像情報変換装置に設定しておくために、予め学習装置によって予測係数を学習して求めておく必要がある。具体的には、学習装置は、ある解像度の画像を教師画像として、その教師画像の解像度を変更した画像である生徒画像を生成する。学習装置は、その生徒画像の画素値から予測した予測値と、教師画像の画素値との誤差が最小になるように予測係数をクラスごとに算出しておく。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平７−７９４１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上述の従来技術では、入力された画像を、画像情報変換装置が予測係数を使用して変換する場合に画像が劣化することがあった。具体的には、変換した画像において、破綻が発生したり、高解像度感が不足したりすることがあった。これは、入力画像の特性の多様化が進み、入力された画像とあらかじめ作成する係数を作成した環境で使用した画像と特性的に差があるために、画像の変換精度が低下したためである。入力画像の多様化が進んだ背景としては、編集技術の進展やフォーマットの多様化、またデジタル放送やブルーレイディスク（Blu-ray Disc（登録商標））の普及といったことが考えられる。予測係数の数を削減せずに、多様な入力画像の特性すべてに考慮した形状パターンごとの予測係数を設定しておけば、変換精度は向上する。ところが、その構成では、形状パターンの数が膨大であるために多数の予測係数が必要となってしまう。このため、画像の変換精度の向上が困難であるという問題があった。
【０００８】
本技術はこのような状況に鑑みて生み出されたものであり、解像度の異なる画像を相互に変換する画像情報変換装置において、予測係数の増大を抑制しつつ、画像の変換精度を向上させることを目的とする。
【課題を解決するための手段】
【０００９】
本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、第１の画像内のいずれかの画素を注目画素として当該注目画素を含む第１の画素群であるクラスタップと上記注目画素を含む第２の画素群である予測タップとを上記第１の画像から抽出するタップ抽出部と、上記クラスタップ内の各画素の画素値の３次元分布の形状パターンを複数のクラスのうちのいずれかに分類するクラス分類部と、複数の予測タップ種別のうちのいずれに上記予測タップが属するかを判別する判別演算において使用すべき係数群として上記予測タップ種別ごとに上記複数のクラスに対応付けて設定された複数の判別係数群の中から上記複数の予測タップ種別のそれぞれにおいて上記分類されたクラスに対応する上記判別係数群を選択する判別係数選択部と、上記選択された判別係数群と上記予測タップ内の各画素の画素値とに基づいて上記判別演算を実行した結果から上記予測タップが属する上記予測タップ種別を判別する判別演算部と、上記第１の画像の解像度を変更した画像である第２の画像内の画素の画素値を予測する予測演算において使用すべき係数群として上記複数のクラスと上記複数の予測タップ種別との各組合せに対応付けて設定された複数の予測係数群の中から上記分類されたクラスと上記判別された予測タップ種別との組合せに対応する上記予測係数群を選択する予測係数選択部と、上記選択された予測係数群と上記予測タップ内の各画素の画素値とに基づいて上記予測演算を実行する予測演算部とを具備する画像情報変換装置、および、その制御方法、ならびに当該方法をコンピュータに実行させるためのプログラムである。これにより、分類されたクラスおよび判別された予測タップ種別の組合せに対応する予測係数群と予測タップ内の各画素値とに基づいて予測演算が実行されるという作用をもたらす。
【００１０】
また、この第１の側面において、前記クラス分類部は、前記クラスタップ内の各画素の画素値の階調数を減じて当該階調数を減じた前記画素値に基づいて前記形状パターンを前記複数のクラスのうちのいずれかに分類してもよい。これにより、階調数を減じた画素値に基づいて形状パターンが複数のクラスのうちのいずれかに分類されるという作用をもたらす。
【００１１】
また、この第１の側面において、上記判別演算部は、上記選択された上記判別係数群内の各判別係数と上記予測タップ内の各画素の画素値との積和演算を上記判別演算として実行する判別演算実行部と、上記複数の予測タップ種別のそれぞれにおける上記積和演算の結果と所定の閾値とを比較して比較した結果の各々を比較結果として出力する比較部と、上記比較結果に基づいて上記予測タップが属する上記予測タップ種別を判別する予測タップ種別判別部とを備えてもよい。これにより、各判別係数と予測タップ内の各画素値との積和演算を閾値と比較した結果に基づいて予測タップ種別が判別されるという作用をもたらす。
【００１２】
また、この第１の側面において、上記第２の画像の画質を調整する操作信号を記録する記録部をさらに具備し、上記予測タップ種別判別部は、上記記録された操作信号により行われる上記画質の調整に適した上記予測係数群が属する上記予測タップ種別を優先して上記複数の予測タップのうちのいずれかを選択してもよい。これにより、補正される第２の画像に適した予測係数群が属する予測タップ種別が優先して選択されるという作用をもたらす。
【００１３】
また、この第１の側面において、上記第２の画像の視聴環境を示す視聴環境パラメータを検出する視聴環境検出部をさらに具備し、上記予測タップ種別判別部は、上記視聴環境パラメータの示す上記視聴環境に適した上記予測係数群が属する上記予測タップ種別を優先して上記複数の予測タップ種別のうちのいずれかを選択してもよい。これにより、視聴環境に適した予測係数群が属する予測タップ種別が優先して選択されるという作用をもたらす。
【００１４】
また、この第１の側面において、上記視聴環境パラメータは、上記第２の画像を表示する表示装置が設置された室内の照明の照度を含むこととしてもよい。これにより、室内の照度に適した予測タップ種別を優先して予測タップ種別が判別されるという作用をもたらす。
【００１５】
また、この第１の側面において、上記視聴環境パラメータは、上記第２の画像を表示する表示装置の種別を含むこととしてもよい。これにより、表示装置の種別に適した予測タップ種別を優先して予測タップ種別が判別されるという作用をもたらす。
【００１６】
また、この第１の側面において、上記予測タップ内の各画素の画素値の平均値を演算する平均値演算部をさらに具備し、上記予測タップ種別判別部は、上記平均値が所定の範囲外である場合に前記上記平均値に適した上記予測係数群が属する上記予測タップ種別を優先して上記複数の予測タップ種別のうちのいずれかを選択してもよい。これにより、平均値に適した予測係数群が属する予測タップ種別が優先して選択されるという作用をもたらす。
【００１７】
また、本技術の第２の側面は、複数の異なる画像のそれぞれを生徒画像として複数の上記生徒画像からなる生徒画像群を複数回入力する生徒画像入力部と、上記入力された生徒画像内のいずれかの画素を注目画素として当該注目画素を含む第１の画素群であるクラスタップと上記注目画素を含む第２の画素群である予測タップとを上記画像から抽出するタップ抽出部と、上記クラスタップ内の各画素の画素値の３次元分布の形状パターンを複数のクラスのうちのいずれかに分類するクラス分類部と、上記生徒画像群内のいずれかの上記生徒画像を判別画像として上記判別画像が入力された場合に第１の目標値を生成し、上記判別画像以外の上記生徒画像が入力された場合に第２の目標値を生成する目標値生成部と、画像の解像度を変更する場合において変更対象の上記画像が上記学習画像に類似するか否かを判別する判別演算において使用すべき判別係数群を上記第１および第２の目標値と上記予測タップ内の各画素の画素値とに基づいて上記クラスごとに演算する判別係数演算部とを具備する判別係数学習装置、および、その制御方法ならびに当該方法をコンピュータに実行させるためのプログラムである。これにより、複数の生徒画像においてクラスごとに判別係数が演算されるという作用をもたらす。
【００１８】
また、この第２の側面において、上記生徒画像入力部は、上記生徒画像の解像度を変更した画像である教師画像を複数のフィルタに通過させることにより上記生徒画像群を生成するフィルタ部と、上記生成された複数の生徒画像群を複数回入力する生徒画像供給部とを備えてもよい。これにより、複数のフィルタにより生徒画像群が生成されるという作用をもたらす。
【００１９】
また、この第２の側面において、上記判別演算は、上記判別係数群内の各判別係数と上記変更対象の画像内の上記予測タップ内の各画素値との積和演算であり、上記判別係数演算部は、上記学習画像における上記判別演算の結果と上記第１の目標値との間の差分の二乗和に上記学習画像以外の上記生徒画像における上記判別演算の結果と上記第２の目標値との間の差分の二乗和を加算した値を最小にする上記判別係数群を上記複数のクラスの各々について演算することもできる。これにより、判別演算の結果と第１の目標値との差分の二乗和に、判別演算の結果と第２の目標値との差分の二乗和を加算した値が最小になる判別係数群が演算されるという作用をもたらす。
【００２０】
また、本技術の第３の側面は、複数の異なる画像のそれぞれを生徒画像として入力する生徒画像入力部と、上記入力された生徒画像内のいずれかの画素を注目画素として当該注目画素を含む第１の画素群であるクラスタップと上記注目画素を含む第２の画素群である予測タップとを上記第１の画像から抽出するタップ抽出部と、上記クラスタップ内の各画素の画素値の３次元分布の形状パターンを複数のクラスのうちのいずれかに分類するクラス分類部と、上記入力された生徒画像の解像度を変更した画像である教師画像内の１つ以上の画素を教師画素として抽出する教師画素抽出部と、上記教師画素の画素値を予測する予測演算において使用すべき予測係数群を上記予測タップ内の各画素の画素値と上記教師画素の画素値とに基づいて上記クラスごとに演算する予測係数演算部とを具備する予測係数学習装置、および、その制御方法ならびに当該方法をコンピュータに実行させるためのプログラムである。これにより、複数の生徒画像においてクラスごとに予測係数が演算されるという作用をもたらす。
【００２１】
また、この第３の側面において、上記生徒画像入力部は、上記教師画像を複数のフィルタに通過させることにより上記複数の生徒画像を生成して入力してもよい。これにより、複数のフィルタにより生徒画像群が生成されるという作用をもたらす。
【発明の効果】
【００２２】
本技術によれば、解像度の異なる画像を相互に変換する画像情報変換装置において、予測係数の増大が抑制され、画像の変換精度が向上するという優れた効果を奏し得る。
【図面の簡単な説明】
【００２３】
【図１】第１の実施の形態における画像情報変換システムの一構成例を示すブロック図である。
【図２】第１の実施の形態における画像情報変換装置の一構成例を示すブロック図である。
【図３】第１の実施の形態におけるＨＤ（High Definition）信号の画素とＳＤ（Standard Definition）信号の画素との間の位置関係の一例を示す図である。
【図４】第１の実施の形態における予測タップおよびクラスタップを構成する画素群の一例を示す図である。
【図５】第１の実施の形態における判別係数選択部の一構成例を示すブロック図である。
【図６】第１の実施の形態において判別係数記憶部に記憶される判別係数の一例を示す図である。
【図７】第１の実施の形態における判別演算部の一構成例を示すブロック図である。
【図８】第１の実施の形態における予測係数選択部の一構成例を示すブロック図である。
【図９】第１の実施の形態において予測係数記憶部に記憶される予測係数の一例を示す図である。
【図１０】第１の実施の形態における判別係数学習装置の一構成例を示すブロック図である。
【図１１】第１の実施の形態における判別係数学習装置のフィルタ部の一構成例を示すブロック図である。
【図１２】第１の実施の形態における判別係数の学習方法の一例を示す図である。
【図１３】第１の実施の形態における目標値の設定例を示す図である。
【図１４】第１の実施の形態における判別係数演算部の一構成例を示すブロック図である。
【図１５】第１の実施の形態における正規方程式生成部の一構成例を示すブロック図である。
【図１６】第１の実施の形態における行列成分の統計量の一例を示す図である。
【図１７】第１の実施の形態における予測係数学習装置の一構成例を示すブロック図である。
【図１８】第１の実施の形態における予測係数学習装置のフィルタ部の一構成例を示すブロック図である。
【図１９】第１の実施の形態における予測係数の学習方法の一例を示す図である。
【図２０】第１の実施の形態における画像情報変換装置の動作の一例を示すフローチャートである。
【図２１】第１の実施の形態におけるクラス分類処理の一例を示すフローチャートである。
【図２２】第１の実施の形態における予測タップ種別判別処理の一例を示すフローチャートである。
【図２３】第１の実施の形態における判別係数学習装置の動作の一例を示すフローチャートである。
【図２４】第１の実施の形態における予測係数学習装置の動作の一例を示すフローチャートである。
【図２５】変形例における判別係数の学習方法の一例を示す図である。
【図２６】第２の実施の形態における画像情報変換装置の一構成例を示すブロック図である。
【図２７】第２の実施の形態における候補判定結果列の一例を示す図である。
【図２８】第２の実施の形態におけるシフト量の設定例を示す図である。
【図２９】第２の実施の形態における操作信号履歴情報記録部の一構成例を示すブロック図である。
【図３０】第２の実施の形態における視聴環境検出部の一構成例を示すブロック図である。
【図３１】第２の実施の形態における判別演算部の一構成例を示すブロック図である。
【図３２】第２の実施の形態における予測タップ種別判別処理の一例を示すフローチャートである。
【図３３】第３の実施の形態における画像情報変換装置の一構成例を示すブロック図である。
【図３４】第３の実施の形態における平均波形演算部の一構成例を示すブロック図である。
【発明を実施するための形態】
【００２４】
以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（画像情報変換処理：クラスおよび予測タップ種別の組合せに対応付けられた予測係数群を使用する例）
２．第２の実施の形態（画像情報変換処理：候補判定結果列をシフトする例）
３．第３の実施の形態（画像情報変換処理：平均波形を算出する例）
【００２５】
＜１．第１の実施の形態＞
［画像情報変換システムの構成例］
図１は、第１の実施の形態における画像情報変換システムの一構成例を示すブロック図である。この画像情報変換システムは、画像情報変換装置１００、判別係数学習装置２００、および、予測係数学習装置３００を備える。
【００２６】
画像情報変換装置１００は、画像信号が入力されるたびに、その画像信号を、その画像信号の示す画像とは解像度の異なる画像の画像信号に変換して出力するものである。画像情報変換装置１００は、例えば、画像をより解像度の高い画像にアップコンバートする。また、画像情報変換装置１００は、画像信号の変換において、後述する判別係数および予測係数を使用する。画像情報変換装置１００には、動画を構成する各画像を示す画像信号が入力される。画像信号は、画像内の各画素の画素値および座標を特定するためのデータを有する信号である。以下、低解像度の画像を示す画像信号を低解像度画像信号と称し、高解像度の画像を示す画像信号を高解像度画像信号と称する。低解像度画像信号は、例えば、ＳＤ（Standard Definition）信号であり、高解像度画像信号は、例えば、ＨＤ（High Definition）信号である。
【００２７】
判別係数学習装置２００は、高解像度画像信号および判別画像指定信号に基づいて判別係数を学習するものである。判別画像指定信号については後述する。判別係数学習装置２００は、学習した判別係数を画像情報変換装置１００に信号線２０９を介して出力する。
【００２８】
予測係数学習装置３００は、高解像度画像信号と学習画像指定信号に基づいて予測係数を学習するものである。学習画像指定信号については後述する。予測係数学習装置３００は、学習した予測係数を画像情報変換装置１００に信号線３０９を介して出力する。
【００２９】
［画像情報変換装置の構成例］
図２は、画像情報変換装置１００の一構成例を示すブロック図である。画像情報変換装置１００は、タップ抽出部１１０、クラス分類部１２０、判別係数選択部１３０、判別演算部１４０、予測係数選択部１５０、および、予測演算部１６０を備える。
【００３０】
タップ抽出部１１０は、低解像度画像信号からクラスタップおよび予測タップを抽出するものである。タップ抽出部１１０は、予測タップ抽出部１１１およびクラスタップ抽出部１１２を備える。予測タップ抽出部１１１およびクラスタップ抽出部１１２には、低解像度画像信号が入力される。
【００３１】
予測タップ抽出部１１１は、入力された画像信号から予測タップを抽出するものである。予測タップは、高解像度画像の画素値を予測するために、低解像度画像から抽出される所定個（例えば、１３個）の画素群である。予測タップは、低解像度画像における各画素を注目画素として注目画素ごとに抽出される。注目画素は、予測タップにおいて基準となる画素（例えば、中心の画素）である。低解像度画像の解像度が７２０×４８０画素である場合、各画素を注目画素とする７２０×４８０個の予測タップが抽出される。予測タップ抽出部１１１は、予測タップを抽出するたびに、抽出した予測タップ内の各画素の画素値を判別演算部１４０および予測演算部１６０に信号線１１８を介して出力する。
【００３２】
クラスタップ抽出部１１２は、低解像度画像信号からクラスタップを抽出するものである。クラスタップとは、クラス分類のために、低解像度画像において注目画素を含む所定個（例えば、９個）の画素群である。クラスタップも、予測タップと同様に、画像内の画素ごとに抽出される。クラスタップ抽出部１１２は、クラスタップを抽出するたびに、抽出したクラスタップ内の各画素の画素値をクラス分類部１２０に信号線１１９を介して出力する。
【００３３】
クラス分類部１２０は、クラスタップ内の各画素の画素値の３次元分布の形状パターンを複数のクラスのうちのいずれかに分類するものである。このクラス分類部１２０は、再量子化部１２１およびクラスコード決定部１２２を備える。
【００３４】
再量子化部１２１は、クラスタップ内の各画素の画素値の階調数が減少するように各画素の再量子化を行うものである。具体的には、クラスタップ内の各画素の画素値を、ＡＤＲＣ（Adaptive Dynamic Range Coding）を使用して再量子化する。ＡＤＲＣにおいては、再量子化部１２１は、クラスタップ内の各画素の画素値のうちの最大値ＭＡＸと最小値ＭＩＮとの間の差分を、ダイナミックレンジＤＲとして算出する。再量子化部１２１は、クラスタップ内の各画素の画素値から最小値ＭＩＮを減算した値を、ＤＲ／２ｍ（ｍは、１以上の整数）で除算する。再量子化部１２１は、各画素についての除算の結果を画素の位置に基づいて所定の順番で並べたデータを、ＡＤＲＣコードとしてクラスコード決定部１２２に出力する。例えば、画素のｘ、ｙ座標の合計値が小さい順に、それぞれの画素についての除算の結果が並べられる。変換前の画素値を表わすビット数と異なるビット数をｍに設定して上述のＡＤＲＣを実行することにより、画素値の階調数が変更される。このように、所定の階調数により画素値が表わされている（量子化されている）画素に対して、その階調数を変更する処理は、再量子化と呼ばれる。変換前の画素値を表わすビット数（例えば、８）より小さなビット数（例えば、１）をｍに設定して再量子化を行うことにより、クラスタップ内の各画素値の階調数が削減される。階調数の削減により同一のＡＤＲＣコードが生成されるクラスタップ同士を同じクラスに分類すると、クラスタップは、各ＡＤＲＣコードの示す複数のクラスに分類される。例えば、クラスタップ内の９個の各画素の画素値の階調数を減じて２階調にした場合、クラスタップは、２９＝５１２クラスに分類される。
【００３５】
クラスコード決定部１２２は、ＡＤＲＣコードに基づいてクラスコードを決定するものである。クラスコードは、クラスタップが分類されたクラスを識別する情報である。ＡＤＲＣコードとクラスコードとは、１対１に対応付けられる。例えば、クラスコード決定部１２２は、ＡＤＲＣコードごとにクラスコードを記憶しておき、入力されたＡＤＲＣコードに対応するクラスコードを読み出して、クラスタップのクラスコードとして決定する。クラスコード決定部１２２は、決定したクラスコードを判別係数選択部１３０および予測係数選択部１５０に信号線１２９を介して出力する。
【００３６】
判別係数選択部１３０は、複数の判別係数群の中から、クラスコードに基づいて判別係数群を選択するものである。１つの判別係数群は、予測タップ内の画素数（例えば、１３個）と同数の判別係数を含む。これらの判別係数は、抽出された予測タップが属すべき予測タップ種別を判別する判別演算において使用される係数である。予測タップ種別は２つ以上、定義されており、各予測タップは、これらの予測タップ種別のうちのいずれかに属する。
【００３７】
ここで、予測タップ種別は、抽出された複数の予測タップを、クラス分類とは別の基準で分類したグループである。詳細には、予測タップは、予測係数の学習時に、その予測タップが抽出された画像の画像種別に基づいて、複数の予測タップ種別に分類される。例えば、各予測タップは、学習時における予測タップの抽出元の画像の圧縮率に応じて複数の予測タップ種別に分類される。
【００３８】
判別係数選択部１３０においては、複数のクラスとＮ（Ｎは、２以上の整数）個の予測タップ種別との各組合せに対応付けて複数の判別係数群が予め設定される。例えば、クラス数が５１２クラスの場合、５１２×Ｎ個の判別係数群が設定される。判別係数選択部１３０は、５１２×Ｎ個の判別係数群の中から、クラスコードの示すクラスに対応する判別係数群をＮ個選択する。判別係数選択部１３０は、選択した各判別係数群を判別演算部１４０に信号線１３９を介して出力する。
【００３９】
判別演算部１４０は、予測タップと判別係数群とに基づいて判別演算を実行することによりＮ個の予測タップ種別のうちのいずれに予測タップが属するかを判別するものである。判別演算の詳細については後述する。判別演算部１４０は、判別した予測タップ種別を示す種別コードを生成して予測係数選択部１５０に信号線１４９を介して出力する。
【００４０】
予測係数選択部１５０は、クラスコードおよび種別コードに基づいて複数の予測係数群の中から、いずれかを選択するものである。予測係数選択部１５０においては、複数のクラスおよびＮ個の予測タップ種別の各組合せに対応付けて複数の予測係数群が予め設定される。例えば、クラスが５１２個の場合、５１２×Ｎ個の予測係数群が設定される。低解像度画像信号を高解像度画像信号に変換する場合、１つの低解像度画像信号から複数（例えば、４つ）の高解像度画像信号を生成する必要がある。このため、それぞれの予測係数群は、複数の予測係数からなるセットを、生成すべき高解像画像信号の数だけ含む。それぞれのセットは、予測タップ内の画素数（例えば、１３個）と同数の予測係数を含む。例えば、予測タップ内の画素数が１３個で、１つの低解像度信号から４つの高解像度画像信号を生成する場合、各予測係数群は、１３個の予測係数からなるセットを４つ含む。これらの予測係数は、高解像度画像における画素の画素値を予測する予測演算において使用すべき係数である。予測係数選択部１５０は、種別コードの示す予測タップ種別とクラスコードの示すクラスとの組合せに対応する予測係数群を予測演算部１６０に信号線１５９を介して出力する。
【００４１】
予測演算部１６０は、予測タップと予測係数群に基づいて、高解像度画像の画素値を予測する予測演算を実行するものである。この予測演算は、例えば、線形一次結合式である下記の式１により実行される。
【数１】
式１においてｗｎ（ｎは１乃至１３の整数）は、予測係数群内の１つの高解像度画像信号に対応するセットにおける各予測係数である。ｘｎは、予測タップ内の各画素の画素値である。予測演算部１６０は、予測演算の結果であるｙを、高解像度画像信号の画素値として出力する。１つの低解像度信号から４つの高解像度画像信号を生成する場合、予測演算部１６０は、１３個の予測係数からなるセットを４つ使用して４つの画素値を求める。
【００４２】
ここで、画像情報変換装置１００による変換対象となるＳＤ信号と、変換後のＨＤ信号との関係について説明する。図３は、第１の実施の形態におけるＨＤ信号の画素とＳＤ信号の画素との間の位置関係の一例を示す図である。図３において、円形のマークはＳＤ信号における画素であり、菱形のマークは、ＨＤ信号における画素である。また、網掛けのマークは、第１フィールドにおける画素であり、白抜きのマークは、第２フィールドにおける画素である。ここで、第１フィールドおよび第２フィールドは、時間軸において隣り合うフィールドであり、これらのフィールドにより１フレームの画像が構成される。
【００４３】
図３（ａ）は、画像の垂直方向における各画素の位置関係の一例を示す図である。図３（ａ）の横軸は時間軸であり、縦軸は、画面の垂直方向の座標である。図３（ａ）に例示したように、各フィールドの垂直方向において隣り合うＨＤ信号の画素間に、ＳＤ信号の画素が位置する。より詳細には、垂直方向に隣り合うＨＤ信号の画素間の距離をｄとした場合、例えば、上方のＨＤ信号の画素とＳＤ信号との間の距離が１／４×ｄになる位置に、そのＳＤ信号の画素が位置する。
【００４４】
図３（ｂ）は、画像の水平方向における各画素の位置関係の一例を示す図である。図３（ｂ）の画像は、第１フィールドおよび第２フィールドにより構成される１つのフレームである。図３（ｂ）において縦軸は、画像の垂直方向の座標であり、横軸は、画像の水平方向の座標である。図３（ｂ）に例示するように、フレームの水平方向において、隣り合うＨＤ信号の画素間の中間にＳＤ信号の画素が配置される。
【００４５】
図４は、第１の実施の形態における予測タップおよびクラスタップの一例である。図４において、円形のマークはＳＤ信号における画素であり、菱形のマークは、ＨＤ信号における画素である。また、網掛けのマークは、第１フィールドにおける画素であり、白抜きのマークは、第２フィールドにおける画素である。第１フィールドおよび第２フィールドは、時間軸において隣り合うフィールドであり、これらのフィールドにより１フレームの画像が構成される。
【００４６】
さらに図４において左側の第１フィールドにおける×印は、注目画素の位置を示す。注目画素は、クラスタップおよび予測タップにおいて基準となる画素である。例えば、クラスタップおよび予測タップの中心にする画素が注目画素とされる。右側の第２フィールドにおける×印は、注目画素に対応する位置、すなわち、注目画像の座標と同じ座標を示す。ここで、前述したように第１フィールドおよび第２フィールドは１つのフレームを構成するフィールドであるため、画素が配置されるラインが各フィールドで異なる。例えば、第１フィールドにおいて奇数ラインに画素が配置される場合、第２フィールドにおいて偶数ラインに画素が配置される。このため、第２フィールドにおける×印を含むラインは、画素が配置されるラインではなく、実際には、第２フィールドの×印の位置に画素が配置されない。
【００４７】
図４（ａ）は、抽出される予測タップの一例を示す図である。例えば、１３個の画素ｐ１乃至ｐ１３が、予測タップとして抽出される。画素ｐ４は、注目画素である。画素ｐ１およびｐ７は、画素ｐ４の上下に位置する画素である。画素ｐ３は、画素ｐ４の左隣に位置する画素であり、画素ｐ５は、画素ｐ４の右隣に位置する画素である。画素ｐ２は、画素ｐ３の左隣に位置する画素であり、画素ｐ６は、画素ｐ５の右隣に位置する画素である。画素ｐ８およびｐ９は、右側の第２フィールドにおける注目画素に対応する位置の上下に位置する画素である。画素ｐ１０およびｐ１１は、画素ｐ８の左右に位置する画素であり、画素ｐ１２およびｐ１３は、画素ｐ９の左右に位置する画素である。
【００４８】
図４（ｂ）は、抽出されるクラスタップの一例を示す図である。例えば、９個の画素ｐ１乃至ｐ９が、予測タップとして抽出される。クラスタップにおける画素ｐ１乃至ｐ９は、予測タップにおける画素ｐ１乃至ｐ９と同一座標の画素である。
【００４９】
図５は、第１の実施の形態における判別係数選択部１３０の一構成例を示すブロック図である。判別係数選択部１３０は、判別係数記憶部１３１と、Ｎ個の予測タップ種別に対応づけられたＮ個の判別係数読出部１３３とを備える。
【００５０】
判別係数記憶部１３１は、複数のクラスとＮ個の予測タップ種別との各組合せに対応付けて複数の判別係数群を記憶するものである。判別係数記憶部１３１は、Ｎ個の判別係数読出部１３３に対応するＮ個の判別係数メモリ１３２を備える。Ｎ個の判別係数メモリ１３２は、クラスごとに判別係数群を記憶するものである。
【００５１】
判別係数読出部１３３は、クラスコードに対応する判別係数群を読み出すものである。Ｎ個の判別係数読出部１３３は、それぞれクラス分類部１２０からクラスコードを受け取る。そして、Ｎ個の判別係数読出部１３３のそれぞれは、対応する判別係数メモリ１３２から、クラスコードの示すクラスに対応する判別係数群を読み出す。この結果、Ｎ個の判別係数群が読み出される。Ｎ個の判別係数読出部１３３のそれぞれは、これらの判別係数群を判別演算部１４０へ信号線１３９を介して出力する。
【００５２】
図６は、判別係数記憶部１３１に記憶される判別係数群の一例を示す図である。Ｎ個の判別係数メモリ１３２は、Ｎ個の予測タップ種別に、それぞれ１対１に対応付けられる。予測タップ種別は、予測係数の学習時に、予測タップが抽出された画像の圧縮率で分類されたものとする。例えば、判別係数メモリ＃１は、圧縮率が最も高い画像から抽出された各予測タップが属する予測タップ種別に対応付けられ、以下、圧縮率の高い順に、判別係数メモリ＃２乃至＃Ｎに各予測タップ種別が対応付けられる。各判別係数メモリにおいて、クラスコード「０００００００００」乃至「１１１１１１１１１」の５１２個の各クラスに対応付けて判別係数ｖ１乃至ｖ１３からなる判別係数群が保存される。
【００５３】
図７は、第１の実施の形態における判別演算部１４０の一構成例を示すブロック図である。判別係数演算部は、Ｎ個の判別演算器１４２、Ｎ個の閾値処理部１４３、候補判定結果列生成部１４４、および、予測タップ種別決定部１４６を備える。Ｎ個の判別演算器１４２は、Ｎ個の判別係数読出部１３３に１対１に対応付けられ、Ｎ個の判別演算器１４２は、Ｎ個の閾値処理部１４３に１対１に対応付けられている。
【００５４】
Ｎ個の判別演算器１４２のそれぞれは、対応付けられた予測タップ種別に予測タップが属するか否かを判別するための判別演算を実行するものである。Ｎ個の判別演算器１４２のそれぞれには、タップ抽出部１１０により抽出された予測タップ内の各画素の画素値と、対応する判別係数読出部１３３からの判別係数群とが入力される。Ｎ個の判別演算器１４２のそれぞれは、これらの値を使用して判別演算を実行する。この判別演算は、例えば、線形一次結合式である次式により実行される。
【数２】
【００５５】
上式においてｖｎ（ｎは１乃至１３の整数）は、判別係数群内の各判別係数である。ｘｎは、予測タップ内の各画素の画素値である。判別演算器１４２は、判別演算の結果であるＹを、対応する閾値処理部１４３へ出力する。
【００５６】
Ｎ個の閾値処理部１４３のそれぞれは、判別演算の結果を閾値と比較するものである。Ｎ個の閾値処理部１４３のそれぞれは、所定の同一の閾値を、対応する判別演算器１４２からの演算結果と比較する。閾値の設定例については、後述する。比較した結果は、閾値処理部１４３に対応する予測タップ種別に予測タップが属しうるか否かを示す。属しうる場合は、その予測タップ種別は、最終的に１つに決定すべき予測タップ種別の候補とされる。この比較結果を、以下、候補判定結果と称する。例えば、演算結果が閾値以上である場合は、対応する予測タップ種別に予測タップが属する可能性が高いため、その予測タップ種別は候補に該当する。これに対して、演算結果が閾値未満である場合は、対応する予測タップ種別に予測タップが属する可能性は低いため、その予測タップ種別は候補に該当しない。Ｎ個の閾値処理部１４３のそれぞれは、対応する予測タップ種別についての候補判定結果を示すビットを生成する。例えば、Ｎ個の閾値処理部１４３のそれぞれは、演算結果が閾値以上である（すなわち、候補に該当する）場合には「１」を示すビットを生成し、演算結果が閾値未満である（すなわち、候補に該当しない）場合には「０」を示すビットを生成する。Ｎ個の閾値処理部１４３のそれぞれは、生成した１ビットを候補判定結果列生成部１４４へ出力する。
【００５７】
候補判定結果列生成部１４４は、閾値処理部１４３からのＮ個の候補判定結果から候補判定結果列を生成するものである。候補判定結果列は、Ｎ個の候補判定結果を示すＮビットを所定の順番で並べたビット列である。候補判定結果列生成部１４４は、予測係数群の抽出元の画像の画像種別に基づいて各候補判定結果を並べる。例えば、各画像の圧縮率に応じて各予測タップが複数の予測タップ種別に分類されている場合、候補判定結果列生成部１４４は、圧縮率の高い順に、各候補判定結果を並べる。候補判定結果列生成部１４４は、生成した候補判定結果列を予測タップ種別決定部１４６に出力する。
【００５８】
予測タップ種別決定部１４６は、候補判定結果列に基づいて予測タップ種別が属する予測タップ種別を決定するものである。詳細には、予測タップ種別決定部１４６は、候補判定結果列の示す、予測タップ種別の候補の中から、１つの予測タップ種別を選択する。Ｎ個の予測タップ種別には、予め優先度が設定される。複数の予測タップ種別が候補となった場合、予測タップ種別決定部１４６は、優先度の最も高い予測タップ種別を選択する。例えば、予測タップの抽出元の画像の圧縮率が高いほど、その画像に係る予測タップ種別の優先度が高く設定される。圧縮率の高い順に候補判定結果が並べられた場合は、先頭から順に高い優先度が設定される。予測タップ種別決定部１４６は、選択した予測タップ種別を示す種別コードを予測係数選択部１５０に信号線１４９を介して出力する。
【００５９】
図８は、第１の実施の形態における予測係数選択部１５０の一構成例を示すブロック図である。予測係数選択部１５０は、予測係数記憶部１５１と、Ｎ個の予測係数読出部１５３と、セレクタ１５４とを備える。
【００６０】
予測係数記憶部１５１は、複数のクラスおよびＮ個の予測タップ種別の各組合せに対応付けて複数の予測係数群を記憶するものである。予測係数記憶部１５１は、Ｎ個の予測係数メモリ１５２を備える。Ｎ個の予測係数メモリ１５２には、Ｎ個の予測タップ種別が割り当てられる。Ｎ個の予測係数メモリ１５２のそれぞれは、割り当てられた予測タップ種別に対応する予測係数群をクラスごとに記憶するものである。
【００６１】
予測係数読出部１５３は、クラスコードの示すクラスに対応する予測係数群を読み出すものである。Ｎ個の予測係数読出部１５３は、Ｎ個の予測係数メモリ１５２に対応付けられる。Ｎ個の予測係数読出部１５３のそれぞれは、クラス分類部１２０からクラスコードを受け取る。Ｎ個の予測係数読出部１５３のそれぞれは、対応する予測係数メモリ１５２から、クラスコードの示すクラスに対応する予測係数群を読み出す。Ｎ個の予測係数読出部１５３のそれぞれは、読み出した予測係数群をセレクタ１５４へ出力する。
【００６２】
セレクタ１５４は、Ｎ個の予測係数群の中から、種別コードの示す予測タップ種別に対応する予測係数群を選択するものである。詳細には、セレクタ１５４は、Ｎ個の予測係数読出部１５３からＮ個の予測係数群を受け取り、判別演算部１４０から種別コードを受け取る。セレクタ１５４は、Ｎ個の予測係数群の中から、種別コードの示す予測タップ種別に対応する予測係数群を選択する。セレクタ１５４は、選択した予測係数群を予測演算部１６０に信号線１５９を介して出力する。
【００６３】
図９は、予測係数記憶部１５１に記憶される予測係数群の一例を示す図である。Ｎ個の予測係数メモリ１５２には、それぞれ、Ｎ個の予測タップ種別に対応する予測係数群がクラス数の分、記憶される。例えば、予測係数メモリ＃１には、最も高圧縮の画像における各予測タップが属する予測タップ種別に対応する予測係数群が記憶され、画像の圧縮率の高い順に、予測係数メモリ＃２乃至＃Ｎに、Ｎ個の予測タップ種別のそれぞれに対応する予測係数群が記憶される。Ｎ個の予測係数メモリのそれぞれにおいて、クラスコード「０００００００００」乃至「１１１１１１１１１」の５１２個の各クラスに対応付けて予測係数群が保存される。それぞれの予測係数群は、予測タップ内の画素数と同数の予測係数からなるセットを予測すべき画素値の数だけ含む。例えば、予測タップ内の画素数が１３個で、左上、左下、右上、および、右下の位置の４つの画素の各画素値を予測する場合、それぞれの予測係数群は、１３個の予測係数からなるセットを４つ含む。
【００６４】
［判別係数学習装置の構成例］
図１０は、第１の実施の形態における判別係数学習装置２００の一構成例を示すブロック図である。判別係数学習装置２００は、フィルタ部２１０、目標値供給部２２０、タップ抽出部２３０、クラス分類部２４０、および、判別係数演算部２５０を備える。
【００６５】
フィルタ部２１０は、教師画像として入力された高解像度画像信号から、Ｎ個の異なる生徒画像を生成するものである。教師画像は、生徒画像を生成するために使用される画像である。生徒画像は、判別係数や予測係数を学習するために使用される画像である。フィルタ部２１０には、教師画像として入力された高解像度画像信号が入力される。フィルタ部２１０は、この教師画像を、解像度を変更するＮ個のフィルタに通過させることにより、Ｎ枚の異なる生徒画像を生成する。これらの生徒画像は、例えば、解像度が同一で圧縮率が互いに異なる画像である。フィルタ部２１０は、Ｎ枚の生徒画像からなる生徒画像群として低解像度画像信号をタップ抽出部２３０に信号線２１９を介してＮ回、出力する。
【００６６】
目標値供給部２２０は、判別画像指定信号に従って、目標値Ｙを供給するものである。判別画像指定信号は、Ｎ枚の生徒画像のうちのいずれかを判別対象の生徒画像として指定するための信号である。判別対象の生徒画像とは、画像の変換において、入力された画像に類似する画像であると判別されるべき画像である。目標値Ｙは、上記式２の判別演算の結果の目標値として設定される値である。目標値供給部２２０には、判別画像指定信号がＮ回入力され、それぞれの判別画像指定信号において異なる生徒画像が判別対象として指定される。Ｎ枚の生徒画像において判別対象の指定の順番は任意であり、ユーザなどにより設定される。判別画像指定信号が入力されると、目標値供給部２２０は、各生徒画像に与える目標値Ｙを生成する。判別対象の生徒画像と、それ以外の生徒画像とに対しては、異なる目標値Ｙが生成される。目標値Ｙのうち、判別対象の生徒画像に対する目標値をＹ１とし、それ以外の目標値をＹ２とする。例えば、目標値供給部２２０は、判別対象の生徒画像に対してＹ１として「１」を生成し、それ以外の生徒画像に対してＹ２として「０」を生成する。目標値供給部２２０は、生成した目標値Ｙを判別係数演算部２５０に信号線２２１を介して出力する。
【００６７】
タップ抽出部２３０の構成は、画像情報変換装置１００におけるタップ抽出部１１０と同様の構成である。タップ抽出部２３０は、低解像度画像信号からクラスタップおよび予測タップを抽出する。タップ抽出部２３０は、抽出したクラスタップ内の各画素値をクラス分類部２４０に信号線２３８を介して出力し、抽出した予測タップ内の各画素値を判別係数演算部２５０に信号線２３９を介して出力する。
【００６８】
クラス分類部２４０の構成は、画像情報変換装置１００におけるクラス分類部１２０と同様の構成である。クラス分類部２４０は、抽出されたクラスタップを分類したクラスを示すクラスコードを判別係数演算部２５０に信号線２４９を介して出力する。
【００６９】
判別係数演算部２５０は、判別係数を演算するものである。判別係数演算部２５０には、目標値供給部２２０からの目標値Ｙと、タップ抽出部２３０からの予測タップ内の各画素値と、クラス分類部２４０からのクラスコードとが入力される。判別係数演算部２５０は、目標値Ｙと予測タップ内の各画素値とから、クラスコードの示すクラスごとに判別係数群を演算する。判別係数演算部２５０は、演算した判別係数群を、判別対象の生徒画像に対応する判別係数群として出力する。
【００７０】
ここで、タップ抽出部２３０は、正御画像群内のＮ枚の生徒画像のそれぞれにおいて、生徒画像内の画素数と同数の予測タップを抽出している。例えば、生徒画像の解像度が７２０×４８０画素である場合、Ｎ枚の生徒画像から７２０×４８０×Ｎ個の予測タップが抽出される。一方、クラス分類部２４０は、これらの予測タップの抽出と同期して、予測タップと注目画素が同一のクラスタップが属するクラスを示すクラスコードを求める。判別係数演算部２５０は、タップ抽出部２３０およびクラス分類部２４０から、予測タップ内の各画素値と、その予測タップが属するクラスとを受け取る。クラスコードが同一の各予測タップを以下、そのクラスの「サンプル」と称する。例えば、７２０×４８０×Ｎ個の予測タップのうち、クラスコード「０００００００００」に対応する予測タップが１００個抽出された場合、それら１００個の予測タップは、そのクラスコードの示すクラスのサンプルとされる。判別係数演算部２５０は、それぞれのサンプル内の画素値について、上記式２の判別演算を行った各演算結果Ｙｋ'と、目標値Ｙ（Ｙ１またはＹ２）との差分の二乗和が最小になる判別係数群をクラスごとに演算する。ｋは、１以上の整数であり、各サンプルに割り当てられる番号である。例えば、判別係数演算部２５０は、後述する正規方程式を生成して、その正規方程式を解くことにより判別係数群を求める。
【００７１】
正規方程式の導出方法について説明する。第ｋ個目のサンプルにおける差分ｅｋは、次式により求められる。
【数３】
【００７２】
上式の演算結果Ｙｋ'は、上記式２により求められる。ｘｎを第ｋサンプル内の各画素値をｘn_kで置き換えた上記式２を上記式３に代入すると、次式が得られる。
【数４】
【００７３】
最小二乗法において、最適な判別係数群は、次式で表わされる二乗和Ｅを最小にすることで求められる。
【数５】
【００７４】
上式において、Ｋは、統計対象のクラスに属するサンプルの総数である。二乗和Ｅを最小にする判別係数の値は、その判別係数による二乗和Ｅの偏微分が０になるときの値である。下記式６は、二乗和Ｅを判別係数ｖ１乃至ｖ１３のそれぞれで偏微分したものである。
【数６】
【００７５】
上式を満たす判別係数群が最適な判別係数群である。上式から次式が得られる。
【数７】
【００７６】
ここで、上記式４を判別係数ｖ１乃至ｖ１３のそれぞれで偏微分すると、次式が得られる。
【数８】
【００７７】
上記式７に上記式８を代入することにより、次式が得られる。
【数９】
【００７８】
そして、上記式９のeｋに上記式４を代入することにより、次式が得られる。
【数１０】
【００７９】
上式を変形することにより、次式が得られる。
【数１１】
【００８０】
上式は、行列を用いて、正規方程式である次式で表される。
【数１２】
【００８１】
上式は、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、それぞれの判別係数について解くことができる。これにより、判別演算の結果と目標値との間の差分が最小となる判別係数が求められる。
【００８２】
前述したように、判別対象の生徒画像に目標値Ｙ１が与えられ、それ以外の生徒画像には、目標値Ｙ２が与えられる。このため、画像情報変換装置１００が、入力された画像に対して判別係数群を使用して判別演算を行うと、判別演算の結果は、その画像が判別対象の生徒画像と類似する場合にＹ１に近い値となり、判別対象の生徒画像と類似しない場合にＹ２に近い値となる。したがって、閾値をこれらの目標値Ｙ１およびＹ２の間の値とし、この閾値と判別結果とを比較することにより、画像情報変換装置１００は、入力された画像が、判別対象の生徒画像と類似するか否かを判別することができる。判別対象の生徒画像に目標値「１」が与えられ、それ以外の生徒画像に目標値「０」が与えられた場合において、閾値は、それらの間の値の「０．５」などに設定される。画像情報変換装置１００は、判別結果が閾値以上であるか否かにより、入力された画像が判別対象の生徒画像と類似の画像であるか否かを判別することができる。
【００８３】
なお、フィルタ部２１０は、特許請求の範囲に記載の生徒画像入力部の一例である。目標値供給部２２０は、特許請求の範囲に記載の目標値生成部の一例である。
【００８４】
図１１は、第１の実施の形態における判別係数学習装置のフィルタ部２１０の一構成例を示すブロック図である。フィルタ部２１０は、Ｎ枚の２次元フィルタ２１１と、生徒画像記憶部２１２と、生徒画像供給部２１３とを備える。
【００８５】
２次元フィルタ２１１は、教師画像の解像度を変更して生徒画像を生成するものである。Ｎ枚の２次元フィルタ２１１には、同一の教師画像が入力される。Ｎ枚の２次元フィルタ２１１は、教師画像の解像度を変更するとともに、それぞれ異なる画像処理を行って、異なるＮ枚の生徒画像を生成する。例えば、Ｎ枚の２次元フィルタ２１１は、圧縮率の異なるＮ枚の生徒画像を生成する。Ｎ枚の生徒画像は、生徒画像記憶部２１２に保存される。
【００８６】
生徒画像記憶部２１２は、Ｎ枚の生徒画像からなる生徒画像群を記憶するものである。生徒画像供給部２１３は、生徒画像記憶部２１２から生徒画像群を読み出してタップ抽出部２３０に供給するものである。生徒画像供給部２１３は、生徒画像群の供給をＮ回実行する。
【００８７】
なお、２次元フィルタ２１１は、特許請求の範囲に記載のフィルタの一例である。
【００８８】
図１２は、第１の実施の形態における判別係数の学習方法の一例を示す図である。図１２に例示するように全学習においてＮ行Ｎ列の生徒画像が生成される。各行の生徒画像は、Ｎ回の学習のそれぞれにおいて生成される生徒画像群内の生徒画像である。各行において、生徒画像は圧縮率の順に配列されている。各列の生徒画像は、Ｎ回の学習のそれぞれにおいて、同じ２次元フィルタから生成された生徒画像である。網掛けの生徒画像は、判別対象の生徒画像である。例えば、１回目の学習においては、２次元フィルタ＃１から生成された生徒画像＃１−１が判別対象として指定される。この場合、１回目に生成された生徒画像＃１−１乃至＃Ｎ−１のうち、生徒画像＃１−１に目標値Ｙ１が設定され、生徒画像＃１−２乃至１−Ｎに目標値Ｙ２が設定される。２回目の学習においては、生徒画像＃２−２が判別対象として指定される。この場合、２回目に生成された生徒画像＃２−１乃至＃Ｎ−２のうち、生徒画像＃２−２に目標値Ｙ１が設定され、生徒画像２−１と生徒画像＃２−３乃至２−Ｎに目標値Ｙ２が設定される。このようにして、Ｎ回学習が行われ、Ｎ枚の生徒画像のそれぞれについて判別係数が学習される。
【００８９】
図１３は、第１の実施の形態における目標値の設定例を示す図である。生徒画像＃１が判別対象に指定された場合、生徒画像＃１に対して「１」の目標値Ｙ１が設定され、それ以外の生徒画像に対して「０」の目標値Ｙ２が設定される。生徒画像＃２が判別対象に指定された場合、生徒画像＃２に対して「１」の目標値Ｙ１が設定され、それ以外の生徒画像に対して「０」の目標値Ｙ２が設定される。このようにして、判別対象の生徒画像と、それ以外の生徒画像とには、異なる目標値が与えられる。
【００９０】
図１４は、判別係数演算部２５０の一構成例を示すブロック図である。判別係数演算部２５０は、正規方程式生成部２６０、判別係数決定部２７０、および、判別係数記憶部２８０を備える。判別係数決定部２７０は、統計処理部２７１、行列成分合計値記憶部２７２、および、判別係数演算器２７３を備える。
【００９１】
正規方程式生成部２６０は、予測タップ内の各画素値と目標値とに基づいて、１つのサンプルにおける正規方程式の行列成分を生成するものである。正規方程式生成部２６０は、生成した各行列成分を統計処理部２７１に出力する。
【００９２】
統計処理部２７１は、クラスごとに、そのクラスに属する各サンプルの行列成分に対して統計処理を実行するものである。統計処理部２７１は、正規方程式生成部２６０からの行列成分と、クラス分類部２４０からのクラスコードとを受け取る。統計処理部２７１は、クラスコードが同一の各行列成分を全て加算する。以下、加算後の行列成分を行列成分合計値と称する。例えば、統計処理部２７１は、クラスコードおよび行列成分を受け取ると、そのクラスコードに対応する行列成分合計値を、行列成分合計値記憶部から読み出し、受け取った行列成分を読み出した値に加算する。統計処理部２７１は、加算した値を、そのクラスコードにおける新たな行列成分合計値として、行列成分合計値記憶部２７２に格納する。Ｎ枚の生徒画像について統計処理が終了したとき、統計処理部２７１は、統計の終了を通知する統計終了通知を発行して判別係数演算器２７３に出力する。
【００９３】
判別係数演算器２７３は、判別係数群をクラスごとに演算するものである。判別係数演算器２７３は、目標値Ｙおよび統計終了通知を受け取ると、クラスごとの行列成分合計値を行列成分合計値記憶部２７２から読み出す。判別係数演算器２７３は、クラスごとに、上記式１２に例示した正規方程式を解くことにより、判別係数群を演算する。判別係数演算器２７３は、演算した各判別係数群を、目標値Ｙの示す判別対象の生徒画像に対応する判別係数群として判別係数記憶部２８０に格納する。
【００９４】
判別係数記憶部２８０は、複数のクラスとＮ個の生徒画像との各組合せに対応付けて複数の判別係数群を記憶するものである。Ｎ個の生徒画像は、それぞれ、Ｎ個の予測タップ種別に１対１に対応付けられる。判別係数記憶部２８０に記憶された判別係数群は、画像情報変換装置１００に信号線２０９を介して出力される。
【００９５】
図１５は、正規方程式生成部２６０の一構成例を示すブロック図である。正規方程式生成部２６０は、乗算器群２６１乃至２７３と、乗算器群２７４とを備える。それぞれの乗算器群は、１３個の乗算器を備える。乗算器群２６１内の乗算器２６１−１乃至２６１−１３は、それぞれ、画素値ｘ１と、ｘ１乃至ｘ１３とを乗算した結果であるｘ１ｘ１乃至ｘ１ｘ１３を、正規方程式の左辺第１行ベクトルの行列成分として出力する。同様に、乗算器群２６２乃至２７３により、左辺第２行ベクトルから左辺第１３行ベクトルまでの各行列成分が出力される。乗算器群２７４内の乗算器２７４−１乃至２７１−１３は、それぞれ、目標値Ｙと、ｘ１乃至ｘ１３とを乗算した結果であるｘ１Ｙ乃至ｘ１３Ｙを、正規方程式の右辺第１列ベクトルの行列成分として出力する。
【００９６】
図１６は、第１の実施の形態の行列成分合計値記憶部２７２における行列成分の統計量の一例を示す図である。図１６に示すように、クラスコードごとに、各サンプルの行列成分が足しこまれて、行政成分の合計値が求められる。詳細には、上記式１２の左辺第１行ベクトルから左辺第１３行ベクトルまでと、右辺第１列ベクトルとについて行列成分の合計値が求められる。
【００９７】
［予測係数学習装置の構成例］
図１７は、第１の実施の形態における予測係数学習装置３００の一構成例を示すブロック図である。予測係数学習装置３００は、フィルタ部３１０、教師画素抽出部３２０、タップ抽出部３３０、および、クラス分類部３４０を備える。
【００９８】
フィルタ部３１０は、教師画像として入力された高解像度画像信号から、Ｎ個の異なる生徒画像を生成するものである。フィルタ部３１０には、教師画像として高解像度画像信号が入力される。フィルタ部３１０は、この教師画像を、Ｎ個のフィルタに通過させることにより、Ｎ枚の異なる生徒画像を生成する。これらの生徒画像は、例えば、圧縮率が互いに異なる画像である。フィルタ部３１０は、Ｎ枚の生徒画像のうち、学習画像指定信号の指定する生徒画像を選択して、タップ抽出部３３０に信号線３１９を介して出力する。
【００９９】
教師画素抽出部３２０は、教師画像として入力される高解像度画像信号から、学習対象の画素を教師画素として抽出するものである。１つの低解像度画像信号から画像情報変換装置１００が生成すべき、複数の高解像度画像信号に対応する各画素が抽出される。例えば、生徒画像内の各画素に対して、４つの教師画素が教師画像から抽出される。教師画素抽出部３２０は、抽出した各教師画素の画素値を予測演算における目標値として予測係数演算部３５０に信号線３２１を介して出力する。
【０１００】
タップ抽出部３３０の構成は、画像情報変換装置１００におけるタップ抽出部１１０と同様の構成である。タップ抽出部３３０は、低解像度画像信号からクラスタップおよび予測タップを抽出する。タップ抽出部３３０は、抽出したクラスタップ内の各画素値をクラス分類部３４０に信号線３３８を介して出力し、抽出した予測タップ内の各画素値を予測係数演算部３５０に信号線３３９を介して出力する。
【０１０１】
クラス分類部３４０の構成は、画像情報変換装置１００におけるクラス分類部１２０と同様の構成である。クラス分類部３４０は、抽出されたクラスタップを分類したクラスを示すクラスコードを予測係数演算部３５０に信号線３４９を介して出力する。
【０１０２】
予測係数演算部３５０は、予測係数を演算するものである。予測係数演算部３５０には、教師画素抽出部３２０からの各教師画素の画素値と、タップ抽出部３３０からの予測タップ内の各画素値と、クラス分類部３４０からのクラスコードと、学習画像指定信号とが入力される。予測係数演算部３５０は、目標値である教師画素の画素値と予測タップ内の各画素値とから、クラスコードの示すクラスごとに予測係数群を演算する。予測係数群内の各予測係数は、例えば、次式を使用して算出される。
【数１３】
【０１０３】
上式において、ｋは、各サンプルに割り当てられた番号である。xn_kは、第ｋサンプル内の各画素値である。ｙｋは、第ｋサンプルに対応する教師画素のうちのいずれかの画素値である。Ｋは、１つのクラスに属するサンプルの総数である。予測係数ｗ１乃至ｗ１３は、予測係数群内の１つのセットにおける各予測係数である。上記式１３は、上記式１２と同様の方法により導出されたものである。判別係数演算部３５０は、演算した各予測係数群を、学習画像指定信号の指定する生徒画像に対応する予測係数群として出力する。
【０１０４】
なお、フィルタ部３１０は、特許請求の範囲に記載の生徒画像入力部の一例である。
【０１０５】
図１８は、第１の実施の形態における予測係数学習装置のフィルタ部３１０の一構成例を示すブロック図である。フィルタ部３１０は、Ｎ枚の２次元フィルタ３１１およびセレクタ３１２を備える。
【０１０６】
２次元フィルタ３１１は、判別係数学習装置２００における２次元フィルタ２１１と同様のフィルタである。セレクタ３１２は、Ｎ枚の２次元フィルタ３１１により生成されたＮ枚の生徒画像の中から、学習画像指定信号の指定する生徒画像を選択するものである。セレクタ３１２は、選択した生徒画像として低解像度画像信号をタップ抽出部３３０に信号線３１９を介して出力する。
【０１０７】
なお、２次元フィルタ３１１は、特許請求の範囲に記載のフィルタの一例である。
【０１０８】
図１９は、第１の実施の形態における予測係数の学習方法の一例を示す図である。Ｎ回の学習のそれぞれにおいて、Ｎ枚の２次元フィルタのうちのいずれかにより、学習対象として指定された生徒画像が生成される。例えば、１回目の学習においては、生徒画像＃１が学習対象として指定される。２回目の学習においては、生徒画像＃２が指定される。このようにして、Ｎ回学習が行われ、Ｎ枚の生徒画像のそれぞれについて予測係数が学習される。
【０１０９】
［画像情報変換装置の動作例］
図２０は、第１の実施の形態における画像情報変換装置１００の動作の一例を示すフローチャートである。画像情報変換装置１００は、低解像度画像信号が入力されたときに、画像の解像度を変換するための画像情報変換処理を開始する。
【０１１０】
画像情報変換装置１００は、低解像度画像のいずれかの画素を注目画素として、その注目画素を中心とするクラスタップおよび予測タップを抽出する（ステップＳ９０５）。
【０１１１】
画像情報変換装置１００は、クラスタップを複数のクラスのうちのいずれかに分類するためのクラス分類処理を実行する（ステップＳ９１０）。画像情報変換装置１００は、予測タップが属する予測タップ種別を判別するための予測タップ種別判別処理を実行する（ステップＳ９２０）。
【０１１２】
そして、画像情報変換装置１００は、分類されたクラスと判別された予測タップ種別との組合せに対応する予測係数群を選択する（ステップＳ９３０）。画像情報変換装置１００は、選択した予測係数群を使用した予測演算の結果を高解像度画像の画素値として出力する（ステップＳ９３５）。
【０１１３】
画像情報変換装置１００は、高解像度画像の全画素の演算が終了したか否かを判断する（ステップＳ９４０）。全画素の演算が終了していなければ（ステップＳ９４０：Ｎｏ）、画像情報変換装置１００は、ステップＳ９０５に戻る。全画素の演算が終了したのであれば（ステップＳ９４０：Ｙｅｓ）、画像情報変換装置１００は、画像情報変換処理を終了する。
【０１１４】
図２１は、第１の実施の形態におけるクラス分類処理の一例を示すフローチャートである。クラス分類部１２０は、クラスタップ内の各画素を再量子化してＡＤＲＣコードを生成する（ステップＳ９１１）。クラス分類部１２０は、ＡＤＲＣコードに基づいてクラスコードを決定する（ステップＳ９１２）。ステップＳ９１２の後、クラス分類部１２０は、クラス分類処理を終了する。
【０１１５】
図２２は、第１の実施の形態における予測タップ種別判別処理の一例を示すフローチャートである。判別係数選択部１３０は、クラスコードに対応するＮ個の判別係数群をＮ個の判別係数メモリ１３２から読み出す（ステップＳ９２１）。判別演算部１４０は、判別係数群を使用して、Ｎ個の判別演算を実行して候補判定結果列を生成する（ステップＳ９２２）。判別演算部１４０は、候補判定結果列から予測タップが属する予測タップ種別を判別する（ステップＳ９２４）。ステップＳ９２４の後、判別演算部１４０は、予測タップ種別判別処理を終了する。
【０１１６】
［判別係数学習装置の動作例］
図２３は、第１の実施の形態における判別係数学習装置２００の動作の一例を示すフローチャートである。判別係数学習装置２００は、高解像度画像信号および判別画像指定信号が入力されたときに、判別係数を学習するための判別係数学習処理を開始する。
【０１１７】
判別係数学習装置２００は、Ｎ個の２次元フィルタから生成したＮ枚の生徒画像をタップ抽出部２３０に供給する（ステップＳ９５０）。判別係数学習装置２００は、判別対象の生徒画像の目標値を１、それ以外の目標値を０として、Ｎ枚の生徒画像に目標値を与える（ステップＳ９５５）。
【０１１８】
判別係数学習装置２００は、いずれかの画素を注目画素としてクラスタップおよび予測タップを抽出する（ステップＳ９６０）。判別係数学習装置２００は、クラス分類処理を実行する（ステップＳ９６５）。判別係数学習装置２００は、クラスごとに、正規方程式の各行列成分を生成して、その統計処理を実行する（ステップＳ９７０）。判別係数学習装置２００は、Ｎ枚の生徒画像の全画素において正規方程式の行列成分の統計が終了したか否かを判断する（ステップＳ９７５）。統計が終了していなければ（ステップＳ９７５：Ｎｏ）、判別係数学習装置２００は、ステップＳ９６０に戻る。
【０１１９】
統計が終了したのであれば（ステップＳ９７５：Ｙｅｓ）、判別係数学習装置２００は、クラスごとに正規方程式から判別係数群を演算する（ステップＳ９８０）。判別係数学習装置２００は、演算した判別係数群を、指定の生徒画像に係る予測タップ種別に対応付ける（ステップＳ９８５）。
【０１２０】
判別係数学習装置２００は、全２次元フィルタの学習が終了したか否かを判断する（ステップＳ９９０）。いずれかの２次元フィルタの学習が終了していなければ（ステップＳ９９０：Ｎｏ）、判別係数学習装置２００は、ステップＳ９５０に戻る。学習が終了したのであれば（ステップＳ９９０：Ｙｅｓ）、判別係数学習装置２００は、判別係数学習処理を終了する。
【０１２１】
［予測係数学習装置の動作例］
図２４は、第１の実施の形態における予測係数学習装置３００の動作の一例を示すフローチャートである。予測係数学習装置３００は、高解像度画像信号および学習画像指定信号が入力されたときに、予測係数を学習するための予測係数学習処理を開始する。予測係数学習処理は、ステップＳ９５０、Ｓ９５５、および、Ｓ９７５の代わりにステップＳ９５１、Ｓ９５６、および、Ｓ９７６を実行する点以外は、図２３に例示した判別係数学習処理と同様である。
【０１２２】
予測係数学習装置３００は、指定された生徒画像を生成する（ステップＳ９５１）。予測係数学習装置３００は、教師画像から教師画素を抽出する（ステップＳ９５６）。クラスごとに正規方程式を生成した後（ステップＳ９７０）、統計が終了していなければ（ステップＳ９７６：Ｎｏ）、判別係数学習装置２００は、ステップＳ９５６に戻る。統計が終了したのであれば（ステップＳ９７６：Ｙｅｓ）、判別係数学習装置２００は、クラスごとに正規方程式から判別係数群を演算する（ステップＳ９８０）。
【０１２３】
このように第１の実施の形態によれば、画像情報変換装置１００は、クラスタップを画素値の削減によりクラスに分類するとともに、判別演算により予測タップが属する予測タップ種別を判別する。そして、画像情報変換装置１００は、複数の予測係数群の中から分類されたクラスと判別された予測タップ種別との組合せに対応する予測係数群を選択して予測演算を実行する。クラス分類のみを行う場合よりも多い予測係数群を使用して画像が変換されるため、画像の変換精度が向上する。また、クラスおよび予測タップ種別の組合せの数だけ、予測係数群を設定しておくため、予測係数群の増大が抑制される。
【０１２４】
また、画像情報変換装置１００は、複数の判別係数と予測タップ内の各画素の画素値との積和演算を行い、その演算結果と所定の閾値との比較結果に基づいて予測タップが属する予測タップ種別を判別する。演算が簡易であるため、予測タップ種別を判別する処理が高速となる。
【０１２５】
また、判別係数学習装置２００は、生徒画像群を生成して、そのうちの判別対象の生徒画像に第１の目標値Ｙ１を与え、それ以外の生徒画像に第２の目標値Ｙ２を与え、これらの目標値と予測タップ内の各画素の画素値とに基づいてクラスごとに判別係数群を演算する。これにより、判別対象の生徒画像と類似の画像であるか否かを判別するための判別係数群が、Ｎ枚の生徒画像についてクラスごとに学習される。
【０１２６】
また、判別係数学習装置２００は、教師画像を複数のフィルタに通過させることにより生徒画像群を生成する。このため、特性の異なる複数のフィルタの使用により、特徴の異なる複数の生徒画像が容易に生成される。
【０１２７】
また、判別係数学習装置２００は、最小二乗法を使用した判別係数の演算において、判別対象の生徒画像に目標値Ｙ１を与え、それ以外の生徒画像に目標値Ｙ２を与える。このため、画像情報変換装置１００は、判別演算の結果がＹ１およびＴ２のいずれに近いかを判断することにより、入力された画像が判別対象の生徒画像と類似するか否かを判別することができる。
【０１２８】
また、予測係数学習装置３００は、複数の生徒画像のそれぞれにおいて、その生徒画像内の予測タップ内の予測タップ内の各画素の画素値と教師画素の画素値とに基づいてクラスごとに予測係数群を演算する。これにより、予測係数群が、Ｎ枚の生徒画像についてクラスごとに学習される。
【０１２９】
また、予測係数学習装置３００は、教師画像を複数のフィルタに通過させることにより複数の生徒画像を生成する。このため、特性の異なる複数のフィルタの使用により、特徴の異なる複数の生徒画像が容易に生成される。
【０１３０】
なお、画像情報変換装置１００は、低解像度画像信号を高解像度画像信号にアップコンバートしているが、高解像度画像信号を低解像度画像信号にダウンコンバートすることもできる。ダウンコンバートの場合、１つの予測タップ係数群は、予測タップ内の画素数と同数の予測係数からなるセットを１組のみ含む。
【０１３１】
また、クラスタップ内の画素数を予測タップ内の画素数と異なる値としているが、クラスタップ内の画素数を予測タップ内の画素数と同数としてもよい。
【０１３２】
また、クラスタップおよび予測タップの画素群は、図４に例示した画素群に限定されない。例えば、注目画素を中心とする３×３画素からなる正方形の画素群をクラスタップまたは予測タップとしてもよい。
【０１３３】
また、図４に例示したように低解像度画像をインターレス方式の動画における画像としているが、ノンインターレス方式の動画における画像としてもよい。
【０１３４】
また、クラス分類部１２０は、階調数を減じることによりクラス分類を行っているが、階調数の削減以外の手法を使用してクラス分類を行うこともできる。例えば、クラス分類部１２０は、クラスごとに予め定義しておいた３次元分布の形状パターンと、クラスタップの形状パターンとのマッチングをとった結果に基づいてクラスを分類することもできる。また、クラス分類部１２０は、ＡＤＲＣにより階調数を減じているが、ＡＤＲＣ以外の処理により階調数を減じてもよい。例えば、クラス分類部１２０は、ダイナミックレンジを算出せず、クラスタップ内の各画素値を所定値（例えば、１２８）と比較することにより階調数を減じてもよい。
【０１３５】
また、予測タップ種別の分類において、学習時における予測タップの抽出元の画像の圧縮率に応じて各予測タップを複数の予測タップ種別に分類しているが、圧縮率以外の種類に基づいて、予測タップを分類してもよい。例えば、ぼかしや輪郭強調などの効果の異なる複数の２次元フィルタにより生成された生徒画像で学習することにより、画像に施されたぼかしや、輪郭強調の程度に基づいて予測タップを分類してもよい。
【０１３６】
また、画像情報変換装置１００の判別演算部１４０は、上記式１に例示した線形一次結合式により、判別演算を行っているが、判別演算は上記式１に限定されない。例えば、判別係数と画素値の二乗との積を含む２次式による演算であってもよい。この場合、上記１２式の正規方程式も変更される。
【０１３７】
また、画像情報変換装置１００の予測演算部１６０は、上記式２に例示した線形一次結合式により、予測演算を行っているが、予測演算は、上記式２に限定されない。例えば、予測係数と画素値の二乗との積を含む２次式による演算であってもよい。この場合、上記１３式の正規方程式も変更される。
【０１３８】
また、判別係数記憶部１３１は、Ｎ個の判別係数メモリ１３２を備えているが、判別係数記憶部１３１の構成は、この構成に限定されない。例えば、判別係数記憶部１３１は、Ｎ個の領域を有する１つのメモリを備える構成とすることもできる。
【０１３９】
予測係数記憶部１５１は、Ｎ個の予測係数メモリ１５２を備えているが、予測係数記憶部１５１の構成は、この構成に限定されない。例えば、予測係数記憶部１５１は、Ｎ個の領域を有する１つのメモリを備える構成とすることもできる。
【０１４０】
また、判別係数学習装置２００は、Ｎ枚のフィルタを使用してＮ枚の生徒画像を生成しているが、Ｎ枚の生徒画像を供給できるのであれば、Ｎ枚のフィルタを備える構成に限定されない。例えば、判別係数学習装置２００は、Ｎ枚のフィルタを備えず、予め生成されたＮ枚の生徒画像を外部から受け取る構成としてもよい。
【０１４１】
また、判別係数学習装置２００は、１枚の教師画像を用いて判別係数を学習しているが、２以上の教師画像を使用することもできる。この場合、複数の教師画像から生成した生徒画像群をＮ回供給して判別係数を学習してもよいし、１枚の教師画像から生成した生徒画像群をＮ回供給する学習を複数回行ってもよい。予測係数学習装置３００も、同様に２枚以上の教師画像を使用してもよい。
【０１４２】
＜変形例＞
［判別係数学習装置の動作例］
図２５は、変形例における判別係数の学習方法の一例を示す図である。変形例の判別係数学習装置２００は、２次元フィルタ２１１を１枚のみ備える点において、第１の実施の形態の判別係数学習装置２００と異なる。判別係数学習装置２００には、図２５に示すように、Ｎ個の教師画像＃１乃至＃Ｎが供給される。教師画像＃１は自然画であり、教師画像＃ＮはＣＧ（Computer Graphics）画像である。教師画像＃２乃至Ｎ−１は、自然画に近い順に配列された画像である。教師画像＃１乃至＃Ｎを２次元フィルタ２１１に通過させて解像度を変更することにより、生徒画像＃１乃至＃Ｎが生成される。生徒画像供給部２１３は、生徒画像＃１乃至Ｎの生徒画像群を複数回、タップ抽出部２３０に供給する。各学習において、Ｎ個の生徒画像のうちのいずれかが判別対象の生徒画像として指定される。予測係数の学習においても、同様の学習方法が用いられる。
【０１４３】
このように、変形例によれば、判別係数学習装置２００は、自然画またはＣＧ画像に近い各生徒画像において、判別係数を学習する。このため、画像情報変換装置１００は、その判別係数を使用して入力された画像が、自然画またはＣＧ画像のいずれに近い画像であるかを判別できる。
【０１４４】
＜２．第２の実施の形態＞
［画像情報変換装置の構成例］
図２６は、第２の実施の形態における画像情報変換装置１００の一構成例を示すブロック図である。第２の実施の形態の画像情報変換装置１００は、判別演算部１４０の代わりに判別演算部１４１を備える点において第１の実施の形態の画像情報変換装置１００と異なる。また、操作信号履歴情報記録部１７０、視聴環境検出部１８０、および、画質調整部１９０をさらに備える点において第１の実施の形態の画像情報変換装置１００と異なる。
【０１４５】
画質調整部１９０は、予測演算部１６０により生成された高画質画像の画質を、操作信号に従って調整するものである。操作信号は、高解像度画像の画質に影響を与える画質パラメータの値の変更を指示する信号である。画質パラメータは、例えば、ブライトネス（すなわち、輝度）、ガンマ、コントラストなどである。画質調整部１９０は、調整後の高画質画像を示す高画質画像信号を、表示装置などに出力する。
【０１４６】
操作信号履歴情報記録部１７０は、画質調整部１９０に出力された操作信号により調整された画質パラメータの値を記録するものである。操作信号履歴情報記録部１７０は、調整後の画質パラメータの値の履歴を記録して、その履歴から、高解像度画像に行われる調整の内容を推定する。操作信号履歴情報記録部１７０は、推定した画質調整に基づいて候補判定結果列をシフトするシフト量Ａを判別演算部１４１に信号線１７９を介して出力する。
【０１４７】
ここで、シフト量Ａは、推定した調整に適した予測係数群が属する予測タップ種別を、適さない予測係数群が属する予測タップ種別よりも優先する方向に候補判定結果列をビットシフトする量である。各予測係数群が推定した画質調整に適するか否かは、その予測係数群を選択した場合に、調整後において適切な高解像度画像となるか否かにより判断される。例えば、輝度を高くする調整が推定される場合、入力された低解像度画像の実際の圧縮率よりも低い圧縮率の画像で学習した予測係数群を使用した方がよい。実際の圧縮率より低い圧縮率で学習した予測係数群を使用した予測演算により、より高画質の高解像度画像が生成される。このように高解像度感が強調された画像の方が、高輝度下において見易く、画質もよく見える。この傾向に基づいて、高輝度に調整される場合は、低圧縮の生徒画像で学習した予測係数群が属する予測タップ種別を優先する方向に候補判定結果列がシフトされる。逆に低輝度に調整される場合は、高圧縮の生徒画像に対応する予測タップ種別を優先する方向に候補判定結果列がシフトされる。
【０１４８】
視聴環境検出部１８０は、高解像度画像を視聴する視聴環境を示す視聴環境パラメータを検出するものである。視聴環境パラメータは、例えば、高解像度画像を表示する表示装置が設置された室内の照度や、その表示装置の種別である。表示装置の種別は、具体的には、表示装置の物理的な画面サイズや、液晶かプラズマディスプレイかなどの表示方式に基づいて分類される種類である。室内の照度は、光センサからのセンサ信号などにより取得される。視聴環境検出部は、視聴環境パラメータに基づいて候補判定結果列をシフトするシフト量Ｂを判別演算部１４１に信号線１８９を介して出力する。
【０１４９】
ここで、シフト量Ｂは、視聴環境パラメータの示す視聴環境に適した予測係数群が属する予測タップ種別を優先する方向に候補判定結果列をビットシフトする量である。各予測係数群が、ある視聴環境に適するか否かは、その予測係数群を選択した場合に、その視聴環境における視聴に適した高解像度画像が生成されるか否かによって判断される。例えば、明るい室内では、入力された低解像度画像の実際の圧縮率よりも低い圧縮率の画像で学習した予測係数群を使用した方が、見易い高解像度画像が得られる。この傾向に基づいて、照度が高い場合は、低圧縮の生徒画像で学習した予測係数群が属する予測タップ種別を優先する方向に候補判定結果列がシフトされる。逆に照度が低い場合は、高圧縮の生徒画像に対応する予測タップ種別を優先する方向に候補判定結果列がシフトされる。
【０１５０】
判別演算部１４１は、生成した候補判定結果列をシフト量ＡおよびＢの分だけビットシフトする。シフト演算は、例えば、空いたビットに０を挿入する論理シフトにより実行される。そして、判別演算部１４１は、シフトした候補判定結果列に基づいて予測タップ種別を判別して、種別コードを出力する。
【０１５１】
なお、操作信号履歴情報記録部１７０は、特許請求の範囲に記載の記録部の一例である。
【０１５２】
図２７は、候補判定結果列の構成例を示す図である。候補判定結果列において、圧縮率の高い順に、各候補判定結果が並べられる。より具体的には、先頭に圧縮率の最も高い画像に係る予測タップ種別についての候補判定結果ｂ１が配置され、以降は、圧縮率の高い順に候補判定結果ｂ２乃至ｂＮが並べられる。この候補判定結果列をシフトする方向は、シフト量の符号により設定される。例えば、圧縮率の高い方向へシフトさせる場合、シフト量の符号に−が設定され、圧縮率の低い方向へシフトさせる場合、シフト量の符号に＋が設定される。シフトによって空いたビットには、０が挿入される。
【０１５３】
図２８は、シフト量Ａの設定例を示す図である。シフト量Ａは、画質調整に適した予測係数群が使用されるように設定される。例えば、画質パラメータとしてコントラストの値が１乃至１００の１００段階で調整され、値が大きいほどコントラストが強くなる場合を考える。コントラストの強い画質調整が行われる場合、低圧縮の生徒画像で学習した予測係数群を使用した方が、調整後の画像の画質がよく見える。逆にコントラストが弱いと、高圧縮の生徒画像で学習した予測係数群を使用した方が、画質がよく見える。この傾向に基づいて、コントラストの統計量（例えば、平均値）が１乃至３０の場合、高圧縮の画像に係る予測タップ種別の方へ１ビットシフトさせるシフト量−１が設定される。コントラストの平均値が３１乃至７０の場合、候補判定結果列をビットシフトさせる必要がなく、シフト量０が設定される。コントラストの平均値が７１乃至１００の場合、低圧縮の画像に係る予測タップ種別の方へ１ビットシフトさせるシフト量＋１が設定される。シフト量Ｂについても、シフト量Ａと同様に、視聴環境パラメータの統計量ごとに、予めシフト量が設定される。
【０１５４】
図２９は、第２の実施の形態における操作信号履歴情報記録部１７０の一構成例を示すブロック図である。操作信号履歴情報記録部１７０は、操作信号解析部１７１、統計処理部１７２、および、シフト量出力部１７３を備える。
【０１５５】
操作信号解析部１７１は、検出された操作信号を解析するものである。操作信号の解析においては、調整された画質パラメータの値などが解析される。操作信号解析部１７１は、解析した結果を統計処理部１７２に出力する。
【０１５６】
統計処理部１７２は、操作信号の解析結果に対して統計処理を行うものである。統計処理部１７２は、例えば、所定期間内における画質パラメータの値の平均値や中央値などの統計量を演算する。統計処理部１７２は、統計処理の結果をシフト量出力部１７３に出力する。
【０１５７】
シフト量出力部１７３は、統計結果に基づいてシフト量Ａを決定するものである。シフト量Ａは、統計量ごとに予め設定されている。シフト量出力部１７３は、決定したシフト量を判別演算部１４１に信号線１７９を介して出力する。
【０１５８】
図３０は、第２の実施の形態における視聴環境検出部１８０の一構成例を示すブロック図である。視聴環境検出部１８０は、センサ信号解析部１８１、統計処理部１８２、および、シフト量出力部１８３を備える。
【０１５９】
センサ信号解析部１８１は、センサ信号を解析するものである。センサ信号は、例えば、高解像度画像を視聴する表示装置が設置された室内において光センサが検出した、室内の照度を示す信号である。センサ信号解析部１８１は、解析結果を統計処理部１８２に出力する。
【０１６０】
統計処理部１８２は、センサ信号の解析結果に対して統計処理を行うものである。統計処理部１８２は、例えば、所定期間内における照度の平均値や中央値などの統計量を演算する。統計処理部１８２は、統計処理の結果をシフト量出力部１８３に出力する。
【０１６１】
シフト量出力部１８３は、統計結果に基づいてシフト量Ｂを決定するものである。シフト量Ｂは、統計量ごとに予め設定されている。シフト量出力部１８３は、決定したシフト量を判別演算部１４１に信号線１８９を介して出力する。
【０１６２】
図３１は、第２の実施の形態における判別演算部１４１の一構成例を示すブロック図である。判別演算部１４１の構成は、シフト部１４５をさらに備える点において第１の実施の形態の判別演算部１４０と異なる。判別演算部１４１において候補判定結果列生成部１４４は、候補判定結果列をシフト部１４５に出力する。
【０１６３】
シフト部１４５は、候補判定結果列に対してシフト演算を行うものである。シフト部１４５は、候補判定結果列生成部１４４から候補判定結果列を受け取り、操作信号履歴情報記録部１７０および視聴環境検出部１８０からシフト量ＡおよびＢを受け取る。シフト部１４５は、シフト量ＡおよびＢに基づいて候補判定結果列に対するシフト演算を行う。シフト部１４５は、シフト演算後の候補判定結果列を予測タップ種別決定部１４６に出力する。
【０１６４】
［画像情報変換装置の動作例］
図３２は、第２の実施の形態における予測タップ種別判別処理の一例を示すフローチャートである。第２の実施形態における予測タップ種別判別処理は、ステップＳ９２３をさらに実行する点において第１の実施の形態と異なる。
【０１６５】
判別演算部１４１は、候補判定結果列を生成した後（ステップＳ９２２）、候補判定結果列をシフト量に基づいてシフトする（ステップＳ９２３）。判別演算部１４１は、シフトした候補判定結果列から予測タップ種別を決定する（ステップＳ９２４）。
【０１６６】
このように第２の実施の形態によれば、判別演算部１４１は、画質調整に適した予測係数群が属する予測タップ種別を優先する方向に候補判定結果列をビットシフトする。このため、操作信号により画調整が行われる場合であっても、高い変換精度を維持できる。
【０１６７】
また、判別演算部１４１は、視聴環境に適した予測係数群が属する予測タップ種別を優先する方向に候補判定結果列をビットシフトする。このため、視聴環境に関りなく、高い変換精度を維持できる。
【０１６８】
なお、操作信号履歴情報記録部１７０は、操作信号から、操作したユーザを特定する情報をさらに取得することもできる。例えば、操作信号を発信するリモートコントロール装置において、操作時にユーザを特定するコードを入力することでユーザ認証を行う構成とし、操作信号から、操作信号履歴情報記録部１７０は、そのコードを取得してユーザを特定する。この場合、ユーザごとに統計処理が行われる。
【０１６９】
また、操作信号を発信できるリモートコントロール装置が複数ある場合、操作信号履歴情報記録部１７０は、いずれの装置からの操作信号であるかを解析してもよい。この場合、装置ごとに統計処理が行われる。
【０１７０】
また、視聴環境検出部１８０は、視聴環境を示すパラメータであれば、照度以外のパラメータを検出することもできる。例えば、視聴環境検出部１８０は、高解像度画像を表示する表示装置の物理的な画面サイズを検出してもよい。画面サイズが大きい表示装置での視聴に適した高解像度画像を予測する予測演算においては、低圧縮の生徒画像で学習した予測係数群が適している。この傾向に基づいてシフト量が決定される。
【０１７１】
また、予測タップ種別の分類において、学習時における予測タップの抽出元の画像の圧縮率で、各予測タップを複数の予測タップ種別に分類しているが、圧縮率以外の種類に基づいて、予測タップを分類してもよい。例えば、学習時の抽出元の画像が自然画またはＣＧ画像のいずれに近いかにより予測タップ種別に分類してもよい。自然画またはＣＧ画像のいずれに近いかにより予測タップ種別を分類した場合、コントラストが強いほど、ＣＧ画像に近い画像で学習した予測係数群が適している。この傾向に基づいてシフト量が決定される。
【０１７２】
＜第３の実施の形態＞
［画像情報変換装置の構成例］
図３３は、第３の実施の形態における画像情報変換装置１００の一構成例を示すブロック図である。第３の実施の形態の画像情報変換装置１００は、平均波形演算部１８５をさらに備える点において第１の実施の形態の画像情報変換装置１００と異なる。第２の変形例における予測タップ抽出部１１１は、予測タップ内の各画素値を平均波形演算部１８５にさらに出力する。
【０１７３】
平均波形演算部１８５は、予測タップ内の各画素の画素値の平均値を平均波形として演算するものである。平均波形演算部１８５は、演算した平均波形が学習時における平均波形の範囲外であった場合に、候補判定結果列をシフトするシフト量Ｃを判別演算部１４１に信号線１８９を介して出力する。
【０１７４】
シフト量Ｃは、その平均波形に適した予測係数群が属する予測タップ種別を優先する方向に候補判定結果列をビットシフトする量である。各予測係数群が、平均波形に適するか否かは、その予測係数群を選択した場合に、それ以外の予測係数群を選択する場合よりも、その低解像度画像から変換した高画質画像の画質がよく見えるか否かにより判断される。例えば、画素値を輝度値として、学習時の生徒画像よりも明るい低解像度画像が入力された場合、入力された低解像度画像の実際の圧縮率よりも低い圧縮率の画像で学習した予測係数群を使用した方が、比較的適切な高解像度画像が生成される。
【０１７５】
図３４は、第３の実施の形態における平均波形演算部１８５の一構成例を示すブロック図である。平均波形演算部１８５は、平均波形演算器１８６およびシフト量出力部１８７を備える。
【０１７６】
平均波形演算器１８６は、予測タップ内の各画素値から平均波形を演算するものである。平均波形演算器１８６は、演算した平均波形をシフト量出力部１８７に出力する。
【０１７７】
シフト量出力部１８７は、平均波形に基づいてシフト量Ｃを決定するものである。シフト量出力部１８７は、決定したシフト量Ｃを判別演算部１４１に出力する。シフト量Ｃは、平均波形の値ごとに予め設定される。判別演算部１４１は、そのシフト量Ｃに基づいて候補判定結果列をシフトする。
【０１７８】
このように、第３の実施の形態によれば、画像情報変換装置１００は、平均波形に適した予測係数群が属する予測タップ種別を優先する方向に候補判定結果列をシフトする。このため、学習時の平均波形の範囲外の低解像度画像が入力された場合であっても、適切な予測タップ係数群が選択され、画質が低下しにくい。
【０１７９】
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
【０１８０】
また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disk）、メモリカード、ブルーレイディスク（Blu-ray Disc（登録商標））等を用いることができる。
【０１８１】
なお、本技術は以下のような構成もとることができる。
（１）第１の画像内のいずれかの画素を注目画素として当該注目画素を含む第１の画素群であるクラスタップと前記注目画素を含む第２の画素群である予測タップとを前記第１の画像から抽出するタップ抽出部と、
前記クラスタップ内の各画素の画素値の３次元分布の形状パターンを複数のクラスのうちのいずれかに分類するクラス分類部と、
複数の予測タップ種別のうちのいずれに前記予測タップが属するかを判別する判別演算において使用すべき係数群として前記予測タップ種別ごとに前記複数のクラスに対応付けて設定された複数の判別係数群の中から前記複数の予測タップ種別のそれぞれにおいて前記分類されたクラスに対応する前記判別係数群を選択する判別係数選択部と、
前記選択された判別係数群と前記予測タップ内の各画素の画素値とに基づいて前記判別演算を実行した結果から前記予測タップが属する前記予測タップ種別を判別する判別演算部と、
前記第１の画像の解像度を変更した画像である第２の画像内の画素の画素値を予測する予測演算において使用すべき係数群として前記複数のクラスと前記複数の予測タップ種別との各組合せに対応付けて設定された複数の予測係数群の中から前記分類されたクラスと前記判別された予測タップ種別との組合せに対応する前記予測係数群を選択する予測係数選択部と、
前記選択された予測係数群と前記予測タップ内の各画素の画素値とに基づいて前記予測演算を実行する予測演算部と
を具備する画像情報変換装置。
（２）前記クラス分類部は、前記クラスタップ内の各画素の画素値の階調数を減じて当該階調数を減じた前記画素値に基づいて前記形状パターンを前記複数のクラスのうちのいずれかに分類する前記（１）の画像情報変換装置。
（３）前記判別演算部は、
前記選択された前記判別係数群内の各判別係数と前記予測タップ内の各画素の画素値との積和演算を前記判別演算として実行する判別演算実行部と、
前記複数の予測タップ種別のそれぞれにおける前記積和演算の結果と所定の閾値とを比較して比較した結果の各々を比較結果として出力する比較部と、
前記比較結果に基づいて前記予測タップが属する前記予測タップ種別を判別する予測タップ種別判別部と
を備える前記（１）または（２）記載の画像情報変換装置。
（４）前記第２の画像の画質を調整する操作信号を記録する記録部をさらに具備し、
前記予測タップ種別判別部は、前記記録された操作信号により行われる前記画質の調整に適した前記予測係数群が属する前記予測タップ種別を優先して前記複数の予測タップのうちのいずれかを選択する
前記（３）記載の画像情報変換装置。
（５）前記第２の画像の視聴環境を示す視聴環境パラメータを検出する視聴環境検出部をさらに具備し、
前記予測タップ種別判別部は、前記視聴環境パラメータの示す前記視聴環境に適した前記予測係数群が属する前記予測タップ種別を優先して前記複数の予測タップ種別のうちのいずれかを選択する
前記（３）記載の画像情報変換装置。
（６）前記視聴環境パラメータは、前記第２の画像を表示する表示装置が設置された室内の照明の照度を含む
前記（５）記載の画像情報変換装置。
（７）前記視聴環境パラメータは、前記第２の画像を表示する表示装置の種別を含む
前記（５）または（６）記載の画像情報変換装置。
（８）前記予測タップ内の各画素の画素値の平均値を演算する平均値演算部をさらに具備し、
前記予測タップ種別判別部は、
前記平均値が所定の範囲外である場合に前記平均値に適した前記予測係数群が属する前記予測タップ種別を優先して前記複数の予測タップ種別のうちのいずれかを選択する
前記（３）記載の画像情報変換装置。
（９）第１の画像内のいずれかの画素を注目画素として当該注目画素を含む第１の画素群であるクラスタップと前記注目画素を含む第２の画素群である予測タップとを前記第１の画像から抽出するタップ抽出ステップと、
前記クラスタップ内の各画素の画素値の３次元分布の形状パターンを複数のクラスのうちのいずれかに分類するクラス分類ステップと、
複数の予測タップ種別のうちのいずれに前記予測タップが属するかを判別する判別演算において使用すべき係数群として前記予測タップ種別ごとに前記複数のクラスに対応付けて設定された複数の判別係数群の中から前記複数の予測タップ種別のそれぞれにおいて前記分類されたクラスに対応する前記判別係数群を選択する判別係数選択ステップと、
前記選択された判別係数群と前記予測タップ内の各画素の画素値とに基づいて前記判別演算を実行した結果から前記予測タップが属する前記予測タップ種別を判別する判別演算ステップと、
前記第１の画像の解像度を変更した画像である第２の画像内の画素の画素値を予測する予測演算において使用すべき係数群として前記複数のクラスと前記複数の予測タップ種別との各組合せに対応付けて設定された複数の予測係数群の中から前記分類されたクラスと前記判別された予測タップ種別との組合せに対応する前記予測係数群を選択する予測係数選択ステップと、
前記選択された予測係数群と前記予測タップ内の各画素の画素値とに基づいて前記予測演算を実行する予測演算ステップと
を具備する画像情報変換装置の制御方法。
（１０）第１の画像内のいずれかの画素を注目画素として当該注目画素を含む第１の画素群であるクラスタップと前記注目画素を含む第２の画素群である予測タップとを前記第１の画像から抽出するタップ抽出ステップと、
前記クラスタップ内の各画素の画素値の３次元分布の形状パターンを複数のクラスのうちのいずれかに分類するクラス分類ステップと、
複数の予測タップ種別のうちのいずれに前記予測タップが属するかを判別する判別演算において使用すべき係数群として前記予測タップ種別ごとに前記複数のクラスに対応付けて設定された複数の判別係数群の中から前記複数の予測タップ種別のそれぞれにおいて前記分類されたクラスに対応する前記判別係数群を選択する判別係数選択ステップと、
前記選択された判別係数群と前記予測タップ内の各画素の画素値とに基づいて前記判別演算を実行した結果から前記予測タップが属する前記予測タップ種別を判別する判別演算ステップと、
前記第１の画像の解像度を変更した画像である第２の画像内の画素の画素値を予測する予測演算において使用すべき係数群として前記複数のクラスと前記複数の予測タップ種別との各組合せに対応付けて設定された複数の予測係数群の中から前記分類されたクラスと前記判別された予測タップ種別との組合せに対応する前記予測係数群を選択する予測係数選択ステップと、
前記選択された予測係数群と前記予測タップ内の各画素の画素値とに基づいて前記予測演算を実行する予測演算ステップと
をコンピュータに実行させるためのプログラム。
（１１）複数の異なる画像のそれぞれを生徒画像として複数の前記生徒画像からなる生徒画像群を複数回入力する生徒画像入力部と、
前記入力された生徒画像内のいずれかの画素を注目画素として当該注目画素を含む第１の画素群であるクラスタップと前記注目画素を含む第２の画素群である予測タップとを前記画像から抽出するタップ抽出部と、
前記クラスタップ内の各画素の画素値の３次元分布の形状パターンを複数のクラスのうちのいずれかに分類するクラス分類部と、
前記生徒画像群内のいずれかの前記生徒画像を判別画像として前記判別画像が入力された場合に第１の目標値を生成し、前記判別画像以外の前記生徒画像が入力された場合に第２の目標値を生成する目標値生成部と、
画像の解像度を変更する場合において変更対象の前記画像が前記学習画像に類似するか否かを判別する判別演算において使用すべき判別係数群を前記第１および第２の目標値と前記予測タップ内の各画素の画素値とに基づいて前記クラスごとに演算する判別係数演算部と
を具備する判別係数学習装置。
（１２）前記生徒画像入力部は、前記生徒画像の解像度を変更した画像である教師画像を複数のフィルタに通過させることにより前記生徒画像群を生成するフィルタ部と、
前記生成された複数の生徒画像群を複数回入力する生徒画像供給部とを備える前記（１１）記載の判別係数学習装置。
（１３）前記判別演算は、前記判別係数群内の各判別係数と前記変更対象の画像内の前記予測タップ内の各画素値との積和演算であり、
前記判別係数演算部は、前記学習画像における前記判別演算の結果と前記第１の目標値との間の差分の二乗和に前記学習画像以外の前記生徒画像における前記判別演算の結果と前記第２の目標値との間の差分の二乗和を加算した値を最小にする前記判別係数群を前記複数のクラスの各々について演算する
前記（１１）または（１２）記載の判別係数学習装置。
（１４）複数の異なる画像のそれぞれを生徒画像として複数の前記生徒画像からなる生徒画像群を複数回入力する生徒画像入力ステップと、
前記入力された生徒画像内のいずれかの画素を注目画素として当該注目画素を含む第１の画素群であるクラスタップと前記注目画素を含む第２の画素群である予測タップとを前記画像から抽出するタップ抽出ステップと、
前記クラスタップ内の各画素の画素値の３次元分布の形状パターンを複数のクラスのうちのいずれかに分類するクラス分類ステップと、
前記生徒画像群内のいずれかの前記生徒画像を判別画像として前記判別画像が入力された場合に第１の目標値を生成し、前記判別画像以外の前記生徒画像が入力された場合に第２の目標値を生成する目標値生成ステップと、
画像の解像度を変更する場合において変更対象の前記画像が前記学習画像に類似するか否かを判別する判別演算において使用すべき判別係数群を前記第１および第２の目標値と前記予測タップ内の各画素の画素値とに基づいて前記クラスごとに演算する判別係数演算ステップと
を具備する判別係数学習装置の制御方法。
（１５）複数の異なる画像のそれぞれを生徒画像として複数の前記生徒画像からなる生徒画像群を複数回入力する生徒画像入力ステップと、
前記入力された生徒画像内のいずれかの画素を注目画素として当該注目画素を含む第１の画素群であるクラスタップと前記注目画素を含む第２の画素群である予測タップとを前記画像から抽出するタップ抽出ステップと、
前記クラスタップ内の各画素の画素値の３次元分布の形状パターンを複数のクラスのうちのいずれかに分類するクラス分類ステップと、
前記生徒画像群内のいずれかの前記生徒画像を判別画像として前記判別画像が入力された場合に第１の目標値を生成し、前記判別画像以外の前記生徒画像が入力された場合に第２の目標値を生成する目標値生成ステップと、
画像の解像度を変更する場合において変更対象の前記画像が前記学習画像に類似するか否かを判別する判別演算において使用すべき判別係数群を前記第１および第２の目標値と前記予測タップ内の各画素の画素値とに基づいて前記クラスごとに演算する判別係数演算ステップと
を実行させるためのプログラム。
（１６）複数の異なる画像のそれぞれを生徒画像として入力する生徒画像入力部と、
前記入力された生徒画像内のいずれかの画素を注目画素として当該注目画素を含む第１の画素群であるクラスタップと前記注目画素を含む第２の画素群である予測タップとを前記第１の画像から抽出するタップ抽出部と、
前記クラスタップ内の各画素の画素値の３次元分布の形状パターンを複数のクラスのうちのいずれかに分類するクラス分類部と、
前記入力された生徒画像の解像度を変更した画像である教師画像内の１つ以上の画素を教師画素として抽出する教師画素抽出部と、
前記教師画素の画素値を予測する予測演算において使用すべき予測係数群を前記予測タップ内の各画素の画素値と前記教師画素の画素値とに基づいて前記クラスごとに演算する予測係数演算部と
を具備する予測係数学習装置。
（１７）前記生徒画像入力部は、前記教師画像を複数のフィルタに通過させることにより前記複数の生徒画像を生成して入力する
前記（１６）記載の予測係数学習装置。
（１８）複数の異なる画像のそれぞれを生徒画像として入力する生徒画像入力ステップと、
前記入力された生徒画像内のいずれかの画素を注目画素として当該注目画素を含む第１の画素群であるクラスタップと前記注目画素を含む第２の画素群である予測タップとを前記第１の画像から抽出するタップ抽出ステップと、
前記クラスタップ内の各画素の画素値の３次元分布の形状パターンを複数のクラスのうちのいずれかに分類するクラス分類ステップと、
前記入力された生徒画像の解像度を変更した画像である教師画像内の１つ以上の画素を教師画素として抽出する教師画素抽出ステップと、
前記教師画素の画素値を予測する予測演算において使用すべき予測係数群を前記予測タップ内の各画素の画素値と前記教師画素の画素値とに基づいて前記クラスごとに演算する予測係数演算ステップと
を具備する予測係数学習装置の制御方法。
（１９）複数の異なる画像のそれぞれを生徒画像として入力する生徒画像入力ステップと、
前記入力された生徒画像内のいずれかの画素を注目画素として当該注目画素を含む第１の画素群であるクラスタップと前記注目画素を含む第２の画素群である予測タップとを前記第１の画像から抽出するタップ抽出ステップと、
前記クラスタップ内の各画素の画素値の３次元分布の形状パターンを複数のクラスのうちのいずれかに分類するクラス分類ステップと、
前記入力された生徒画像の解像度を変更した画像である教師画像内の１つ以上の画素を教師画素として抽出する教師画素抽出ステップと、
前記教師画素の画素値を予測する予測演算において使用すべき予測係数群を前記予測タップ内の各画素の画素値と前記教師画素の画素値とに基づいて前記クラスごとに演算する予測係数演算ステップと
をコンピュータに実行させるためのプログラム。
【符号の説明】
【０１８２】
１００ 画像情報変換装置
１１０、２３０、３３０ タップ抽出部
１１１ 予測タップ抽出部
１１２ クラスタップ抽出部
１２０、２４０、３４０ クラス分類部
１２１ 再量子化部
１２２ クラスコード決定部
１３０ 判別係数選択部
１３１、２８０ 判別係数記憶部
１３２ 判別係数メモリ
１３３ 判別係数読出部
１４０、１４１ 判別演算部
１４２ 判別演算器
１４３ 閾値処理部
１４４ 候補判定結果列生成部
１４５ シフト部
１４６ 予測タップ種別決定部
１５０ 予測係数選択部
１５１ 予測係数記憶部
１５２ 予測係数メモリ
１５３ 予測係数読出部
１５４、３１２ セレクタ
１６０ 予測演算部
１７０ 操作信号履歴情報記録部
１７１ 操作信号解析部
１７２、１８２、２７１ 統計処理部
１７３、１８３、１８７ シフト量出力部
１８０ 視聴環境検出部
１８１ センサ信号解析部
１８５ 平均波形演算部
１８６ 平均波形演算器
１９０ 画質調整部
２００ 判別係数学習装置
２１０、３１０ フィルタ部
２１１、３１１ ２次元フィルタ
２１２ 生徒画像記憶部
２１３ 生徒画像供給部
２２０ 目標値供給部
２５０ 判別係数演算部
２６０ 正規方程式生成部
２７０ 判別係数決定部
２７２ 行列成分合計値記憶部
２７３ 判別係数演算器
３００ 予測係数学習装置
３２０ 教師画素抽出部
３５０ 予測係数演算部
【技術分野】
【０００１】
本技術は、画像情報変換装置、判別係数学習装置、予測係数学習装置、および、これらにおける制御方法ならびに当該方法をコンピュータに実行させるプログラムに関する。詳しくは、画像の解像度を変更する画像情報変換装置、および、その制御方法ならびに当該方法をコンピュータに実行させるプログラムに関する。また、解像度の変更において使用すべき判別係数および予測係数を学習する判別係数学習装置および予測係数学習装置、ならびに、これらにおける制御方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
【背景技術】
【０００２】
従来、画像情報変換装置は、変換対象の画像内の画素群を複数のクラスに分類して、クラスごとに異なる演算により変換対象の画素値を求めるクラス分類適応処理を実行することにより、解像度の異なる画像を相互に変換していた（例えば、特許文献１参照。）。ここで、クラスとは、変換対象の画像内において注目した注目画素を含む画素群における各画素値の３次元分布の形状パターンに基づいて、その画素群が分類される各グループである。ここで、３次元分布の形状パターンに関して、１フレームを構成する２つのフィールドのそれぞれ属する時刻を時間軸とし、それぞれのフィールドにおける画素群内の各画素の位置を横軸とし、画素値の大きさを縦軸とした３次元の座標系を想定する。この座標系に各画素をプロットした３次元の分布図において、各プロットのなす形状が各画素値の３次元分布の形状パターンとされる。
【０００３】
このクラス分類適応処理においては、変換対象の画像において注目画素を含む所定個（例えば、１３個）の画素群内の各画素値を使用して所定の演算を行うことにより、変換後の画像の画素値が算出（予測）される。以下、この演算を予測演算と称し、この画素群を「予測タップ」と称する。注目画素を含む領域の３次元分布の形状パターンが、クラス分類の対象となる。注目画素を含む領域の形状パターンが、いずれのクラスに属するかを決定するために、注目画素を含む所定の画素群がクラスタップとして抽出される。ここで、例えば、各画素値を８ビットで量子化した場合、クラスタップの形状パターンは（２8）13パターンとなり、膨大な数となる。そこで、一般に、この膨大なグループ数の削減としてこれらの形状パターンに対してグループ化が行われる。３次元分布の形状パターンのグループ化は、各画素値の階調数に割り当てられた量子化ビット数をＡＤＲＣ等の圧縮手法で削減することにより行われることが多い。
【０００４】
クラスタップがクラスに分類されると、画像情報変換装置は、クラスごとに異なる予測係数群を使用して変換対象の画像における画素値を予測演算する。具体的には、画像情報変換装置は、クラスに対応する予測係数群と予測タップ内の各画素値との積和を、予測した画素値として出力する。これにより、変換対象の画像が、その画像とは解像度の異なる画像に変換される。これらの予測係数群は、画像変換前にクラスごとに予め設定しておく。
【０００５】
ここで、画像の変換前にクラスごとの予測係数を画像情報変換装置に設定しておくために、予め学習装置によって予測係数を学習して求めておく必要がある。具体的には、学習装置は、ある解像度の画像を教師画像として、その教師画像の解像度を変更した画像である生徒画像を生成する。学習装置は、その生徒画像の画素値から予測した予測値と、教師画像の画素値との誤差が最小になるように予測係数をクラスごとに算出しておく。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平７−７９４１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上述の従来技術では、入力された画像を、画像情報変換装置が予測係数を使用して変換する場合に画像が劣化することがあった。具体的には、変換した画像において、破綻が発生したり、高解像度感が不足したりすることがあった。これは、入力画像の特性の多様化が進み、入力された画像とあらかじめ作成する係数を作成した環境で使用した画像と特性的に差があるために、画像の変換精度が低下したためである。入力画像の多様化が進んだ背景としては、編集技術の進展やフォーマットの多様化、またデジタル放送やブルーレイディスク（Blu-ray Disc（登録商標））の普及といったことが考えられる。予測係数の数を削減せずに、多様な入力画像の特性すべてに考慮した形状パターンごとの予測係数を設定しておけば、変換精度は向上する。ところが、その構成では、形状パターンの数が膨大であるために多数の予測係数が必要となってしまう。このため、画像の変換精度の向上が困難であるという問題があった。
【０００８】
本技術はこのような状況に鑑みて生み出されたものであり、解像度の異なる画像を相互に変換する画像情報変換装置において、予測係数の増大を抑制しつつ、画像の変換精度を向上させることを目的とする。
【課題を解決するための手段】
【０００９】
本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、第１の画像内のいずれかの画素を注目画素として当該注目画素を含む第１の画素群であるクラスタップと上記注目画素を含む第２の画素群である予測タップとを上記第１の画像から抽出するタップ抽出部と、上記クラスタップ内の各画素の画素値の３次元分布の形状パターンを複数のクラスのうちのいずれかに分類するクラス分類部と、複数の予測タップ種別のうちのいずれに上記予測タップが属するかを判別する判別演算において使用すべき係数群として上記予測タップ種別ごとに上記複数のクラスに対応付けて設定された複数の判別係数群の中から上記複数の予測タップ種別のそれぞれにおいて上記分類されたクラスに対応する上記判別係数群を選択する判別係数選択部と、上記選択された判別係数群と上記予測タップ内の各画素の画素値とに基づいて上記判別演算を実行した結果から上記予測タップが属する上記予測タップ種別を判別する判別演算部と、上記第１の画像の解像度を変更した画像である第２の画像内の画素の画素値を予測する予測演算において使用すべき係数群として上記複数のクラスと上記複数の予測タップ種別との各組合せに対応付けて設定された複数の予測係数群の中から上記分類されたクラスと上記判別された予測タップ種別との組合せに対応する上記予測係数群を選択する予測係数選択部と、上記選択された予測係数群と上記予測タップ内の各画素の画素値とに基づいて上記予測演算を実行する予測演算部とを具備する画像情報変換装置、および、その制御方法、ならびに当該方法をコンピュータに実行させるためのプログラムである。これにより、分類されたクラスおよび判別された予測タップ種別の組合せに対応する予測係数群と予測タップ内の各画素値とに基づいて予測演算が実行されるという作用をもたらす。
【００１０】
また、この第１の側面において、前記クラス分類部は、前記クラスタップ内の各画素の画素値の階調数を減じて当該階調数を減じた前記画素値に基づいて前記形状パターンを前記複数のクラスのうちのいずれかに分類してもよい。これにより、階調数を減じた画素値に基づいて形状パターンが複数のクラスのうちのいずれかに分類されるという作用をもたらす。
【００１１】
また、この第１の側面において、上記判別演算部は、上記選択された上記判別係数群内の各判別係数と上記予測タップ内の各画素の画素値との積和演算を上記判別演算として実行する判別演算実行部と、上記複数の予測タップ種別のそれぞれにおける上記積和演算の結果と所定の閾値とを比較して比較した結果の各々を比較結果として出力する比較部と、上記比較結果に基づいて上記予測タップが属する上記予測タップ種別を判別する予測タップ種別判別部とを備えてもよい。これにより、各判別係数と予測タップ内の各画素値との積和演算を閾値と比較した結果に基づいて予測タップ種別が判別されるという作用をもたらす。
【００１２】
また、この第１の側面において、上記第２の画像の画質を調整する操作信号を記録する記録部をさらに具備し、上記予測タップ種別判別部は、上記記録された操作信号により行われる上記画質の調整に適した上記予測係数群が属する上記予測タップ種別を優先して上記複数の予測タップのうちのいずれかを選択してもよい。これにより、補正される第２の画像に適した予測係数群が属する予測タップ種別が優先して選択されるという作用をもたらす。
【００１３】
また、この第１の側面において、上記第２の画像の視聴環境を示す視聴環境パラメータを検出する視聴環境検出部をさらに具備し、上記予測タップ種別判別部は、上記視聴環境パラメータの示す上記視聴環境に適した上記予測係数群が属する上記予測タップ種別を優先して上記複数の予測タップ種別のうちのいずれかを選択してもよい。これにより、視聴環境に適した予測係数群が属する予測タップ種別が優先して選択されるという作用をもたらす。
【００１４】
また、この第１の側面において、上記視聴環境パラメータは、上記第２の画像を表示する表示装置が設置された室内の照明の照度を含むこととしてもよい。これにより、室内の照度に適した予測タップ種別を優先して予測タップ種別が判別されるという作用をもたらす。
【００１５】
また、この第１の側面において、上記視聴環境パラメータは、上記第２の画像を表示する表示装置の種別を含むこととしてもよい。これにより、表示装置の種別に適した予測タップ種別を優先して予測タップ種別が判別されるという作用をもたらす。
【００１６】
また、この第１の側面において、上記予測タップ内の各画素の画素値の平均値を演算する平均値演算部をさらに具備し、上記予測タップ種別判別部は、上記平均値が所定の範囲外である場合に前記上記平均値に適した上記予測係数群が属する上記予測タップ種別を優先して上記複数の予測タップ種別のうちのいずれかを選択してもよい。これにより、平均値に適した予測係数群が属する予測タップ種別が優先して選択されるという作用をもたらす。
【００１７】
また、本技術の第２の側面は、複数の異なる画像のそれぞれを生徒画像として複数の上記生徒画像からなる生徒画像群を複数回入力する生徒画像入力部と、上記入力された生徒画像内のいずれかの画素を注目画素として当該注目画素を含む第１の画素群であるクラスタップと上記注目画素を含む第２の画素群である予測タップとを上記画像から抽出するタップ抽出部と、上記クラスタップ内の各画素の画素値の３次元分布の形状パターンを複数のクラスのうちのいずれかに分類するクラス分類部と、上記生徒画像群内のいずれかの上記生徒画像を判別画像として上記判別画像が入力された場合に第１の目標値を生成し、上記判別画像以外の上記生徒画像が入力された場合に第２の目標値を生成する目標値生成部と、画像の解像度を変更する場合において変更対象の上記画像が上記学習画像に類似するか否かを判別する判別演算において使用すべき判別係数群を上記第１および第２の目標値と上記予測タップ内の各画素の画素値とに基づいて上記クラスごとに演算する判別係数演算部とを具備する判別係数学習装置、および、その制御方法ならびに当該方法をコンピュータに実行させるためのプログラムである。これにより、複数の生徒画像においてクラスごとに判別係数が演算されるという作用をもたらす。
【００１８】
また、この第２の側面において、上記生徒画像入力部は、上記生徒画像の解像度を変更した画像である教師画像を複数のフィルタに通過させることにより上記生徒画像群を生成するフィルタ部と、上記生成された複数の生徒画像群を複数回入力する生徒画像供給部とを備えてもよい。これにより、複数のフィルタにより生徒画像群が生成されるという作用をもたらす。
【００１９】
また、この第２の側面において、上記判別演算は、上記判別係数群内の各判別係数と上記変更対象の画像内の上記予測タップ内の各画素値との積和演算であり、上記判別係数演算部は、上記学習画像における上記判別演算の結果と上記第１の目標値との間の差分の二乗和に上記学習画像以外の上記生徒画像における上記判別演算の結果と上記第２の目標値との間の差分の二乗和を加算した値を最小にする上記判別係数群を上記複数のクラスの各々について演算することもできる。これにより、判別演算の結果と第１の目標値との差分の二乗和に、判別演算の結果と第２の目標値との差分の二乗和を加算した値が最小になる判別係数群が演算されるという作用をもたらす。
【００２０】
また、本技術の第３の側面は、複数の異なる画像のそれぞれを生徒画像として入力する生徒画像入力部と、上記入力された生徒画像内のいずれかの画素を注目画素として当該注目画素を含む第１の画素群であるクラスタップと上記注目画素を含む第２の画素群である予測タップとを上記第１の画像から抽出するタップ抽出部と、上記クラスタップ内の各画素の画素値の３次元分布の形状パターンを複数のクラスのうちのいずれかに分類するクラス分類部と、上記入力された生徒画像の解像度を変更した画像である教師画像内の１つ以上の画素を教師画素として抽出する教師画素抽出部と、上記教師画素の画素値を予測する予測演算において使用すべき予測係数群を上記予測タップ内の各画素の画素値と上記教師画素の画素値とに基づいて上記クラスごとに演算する予測係数演算部とを具備する予測係数学習装置、および、その制御方法ならびに当該方法をコンピュータに実行させるためのプログラムである。これにより、複数の生徒画像においてクラスごとに予測係数が演算されるという作用をもたらす。
【００２１】
また、この第３の側面において、上記生徒画像入力部は、上記教師画像を複数のフィルタに通過させることにより上記複数の生徒画像を生成して入力してもよい。これにより、複数のフィルタにより生徒画像群が生成されるという作用をもたらす。
【発明の効果】
【００２２】
本技術によれば、解像度の異なる画像を相互に変換する画像情報変換装置において、予測係数の増大が抑制され、画像の変換精度が向上するという優れた効果を奏し得る。
【図面の簡単な説明】
【００２３】
【図１】第１の実施の形態における画像情報変換システムの一構成例を示すブロック図である。
【図２】第１の実施の形態における画像情報変換装置の一構成例を示すブロック図である。
【図３】第１の実施の形態におけるＨＤ（High Definition）信号の画素とＳＤ（Standard Definition）信号の画素との間の位置関係の一例を示す図である。
【図４】第１の実施の形態における予測タップおよびクラスタップを構成する画素群の一例を示す図である。
【図５】第１の実施の形態における判別係数選択部の一構成例を示すブロック図である。
【図６】第１の実施の形態において判別係数記憶部に記憶される判別係数の一例を示す図である。
【図７】第１の実施の形態における判別演算部の一構成例を示すブロック図である。
【図８】第１の実施の形態における予測係数選択部の一構成例を示すブロック図である。
【図９】第１の実施の形態において予測係数記憶部に記憶される予測係数の一例を示す図である。
【図１０】第１の実施の形態における判別係数学習装置の一構成例を示すブロック図である。
【図１１】第１の実施の形態における判別係数学習装置のフィルタ部の一構成例を示すブロック図である。
【図１２】第１の実施の形態における判別係数の学習方法の一例を示す図である。
【図１３】第１の実施の形態における目標値の設定例を示す図である。
【図１４】第１の実施の形態における判別係数演算部の一構成例を示すブロック図である。
【図１５】第１の実施の形態における正規方程式生成部の一構成例を示すブロック図である。
【図１６】第１の実施の形態における行列成分の統計量の一例を示す図である。
【図１７】第１の実施の形態における予測係数学習装置の一構成例を示すブロック図である。
【図１８】第１の実施の形態における予測係数学習装置のフィルタ部の一構成例を示すブロック図である。
【図１９】第１の実施の形態における予測係数の学習方法の一例を示す図である。
【図２０】第１の実施の形態における画像情報変換装置の動作の一例を示すフローチャートである。
【図２１】第１の実施の形態におけるクラス分類処理の一例を示すフローチャートである。
【図２２】第１の実施の形態における予測タップ種別判別処理の一例を示すフローチャートである。
【図２３】第１の実施の形態における判別係数学習装置の動作の一例を示すフローチャートである。
【図２４】第１の実施の形態における予測係数学習装置の動作の一例を示すフローチャートである。
【図２５】変形例における判別係数の学習方法の一例を示す図である。
【図２６】第２の実施の形態における画像情報変換装置の一構成例を示すブロック図である。
【図２７】第２の実施の形態における候補判定結果列の一例を示す図である。
【図２８】第２の実施の形態におけるシフト量の設定例を示す図である。
【図２９】第２の実施の形態における操作信号履歴情報記録部の一構成例を示すブロック図である。
【図３０】第２の実施の形態における視聴環境検出部の一構成例を示すブロック図である。
【図３１】第２の実施の形態における判別演算部の一構成例を示すブロック図である。
【図３２】第２の実施の形態における予測タップ種別判別処理の一例を示すフローチャートである。
【図３３】第３の実施の形態における画像情報変換装置の一構成例を示すブロック図である。
【図３４】第３の実施の形態における平均波形演算部の一構成例を示すブロック図である。
【発明を実施するための形態】
【００２４】
以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（画像情報変換処理：クラスおよび予測タップ種別の組合せに対応付けられた予測係数群を使用する例）
２．第２の実施の形態（画像情報変換処理：候補判定結果列をシフトする例）
３．第３の実施の形態（画像情報変換処理：平均波形を算出する例）
【００２５】
＜１．第１の実施の形態＞
［画像情報変換システムの構成例］
図１は、第１の実施の形態における画像情報変換システムの一構成例を示すブロック図である。この画像情報変換システムは、画像情報変換装置１００、判別係数学習装置２００、および、予測係数学習装置３００を備える。
【００２６】
画像情報変換装置１００は、画像信号が入力されるたびに、その画像信号を、その画像信号の示す画像とは解像度の異なる画像の画像信号に変換して出力するものである。画像情報変換装置１００は、例えば、画像をより解像度の高い画像にアップコンバートする。また、画像情報変換装置１００は、画像信号の変換において、後述する判別係数および予測係数を使用する。画像情報変換装置１００には、動画を構成する各画像を示す画像信号が入力される。画像信号は、画像内の各画素の画素値および座標を特定するためのデータを有する信号である。以下、低解像度の画像を示す画像信号を低解像度画像信号と称し、高解像度の画像を示す画像信号を高解像度画像信号と称する。低解像度画像信号は、例えば、ＳＤ（Standard Definition）信号であり、高解像度画像信号は、例えば、ＨＤ（High Definition）信号である。
【００２７】
判別係数学習装置２００は、高解像度画像信号および判別画像指定信号に基づいて判別係数を学習するものである。判別画像指定信号については後述する。判別係数学習装置２００は、学習した判別係数を画像情報変換装置１００に信号線２０９を介して出力する。
【００２８】
予測係数学習装置３００は、高解像度画像信号と学習画像指定信号に基づいて予測係数を学習するものである。学習画像指定信号については後述する。予測係数学習装置３００は、学習した予測係数を画像情報変換装置１００に信号線３０９を介して出力する。
【００２９】
［画像情報変換装置の構成例］
図２は、画像情報変換装置１００の一構成例を示すブロック図である。画像情報変換装置１００は、タップ抽出部１１０、クラス分類部１２０、判別係数選択部１３０、判別演算部１４０、予測係数選択部１５０、および、予測演算部１６０を備える。
【００３０】
タップ抽出部１１０は、低解像度画像信号からクラスタップおよび予測タップを抽出するものである。タップ抽出部１１０は、予測タップ抽出部１１１およびクラスタップ抽出部１１２を備える。予測タップ抽出部１１１およびクラスタップ抽出部１１２には、低解像度画像信号が入力される。
【００３１】
予測タップ抽出部１１１は、入力された画像信号から予測タップを抽出するものである。予測タップは、高解像度画像の画素値を予測するために、低解像度画像から抽出される所定個（例えば、１３個）の画素群である。予測タップは、低解像度画像における各画素を注目画素として注目画素ごとに抽出される。注目画素は、予測タップにおいて基準となる画素（例えば、中心の画素）である。低解像度画像の解像度が７２０×４８０画素である場合、各画素を注目画素とする７２０×４８０個の予測タップが抽出される。予測タップ抽出部１１１は、予測タップを抽出するたびに、抽出した予測タップ内の各画素の画素値を判別演算部１４０および予測演算部１６０に信号線１１８を介して出力する。
【００３２】
クラスタップ抽出部１１２は、低解像度画像信号からクラスタップを抽出するものである。クラスタップとは、クラス分類のために、低解像度画像において注目画素を含む所定個（例えば、９個）の画素群である。クラスタップも、予測タップと同様に、画像内の画素ごとに抽出される。クラスタップ抽出部１１２は、クラスタップを抽出するたびに、抽出したクラスタップ内の各画素の画素値をクラス分類部１２０に信号線１１９を介して出力する。
【００３３】
クラス分類部１２０は、クラスタップ内の各画素の画素値の３次元分布の形状パターンを複数のクラスのうちのいずれかに分類するものである。このクラス分類部１２０は、再量子化部１２１およびクラスコード決定部１２２を備える。
【００３４】
再量子化部１２１は、クラスタップ内の各画素の画素値の階調数が減少するように各画素の再量子化を行うものである。具体的には、クラスタップ内の各画素の画素値を、ＡＤＲＣ（Adaptive Dynamic Range Coding）を使用して再量子化する。ＡＤＲＣにおいては、再量子化部１２１は、クラスタップ内の各画素の画素値のうちの最大値ＭＡＸと最小値ＭＩＮとの間の差分を、ダイナミックレンジＤＲとして算出する。再量子化部１２１は、クラスタップ内の各画素の画素値から最小値ＭＩＮを減算した値を、ＤＲ／２ｍ（ｍは、１以上の整数）で除算する。再量子化部１２１は、各画素についての除算の結果を画素の位置に基づいて所定の順番で並べたデータを、ＡＤＲＣコードとしてクラスコード決定部１２２に出力する。例えば、画素のｘ、ｙ座標の合計値が小さい順に、それぞれの画素についての除算の結果が並べられる。変換前の画素値を表わすビット数と異なるビット数をｍに設定して上述のＡＤＲＣを実行することにより、画素値の階調数が変更される。このように、所定の階調数により画素値が表わされている（量子化されている）画素に対して、その階調数を変更する処理は、再量子化と呼ばれる。変換前の画素値を表わすビット数（例えば、８）より小さなビット数（例えば、１）をｍに設定して再量子化を行うことにより、クラスタップ内の各画素値の階調数が削減される。階調数の削減により同一のＡＤＲＣコードが生成されるクラスタップ同士を同じクラスに分類すると、クラスタップは、各ＡＤＲＣコードの示す複数のクラスに分類される。例えば、クラスタップ内の９個の各画素の画素値の階調数を減じて２階調にした場合、クラスタップは、２９＝５１２クラスに分類される。
【００３５】
クラスコード決定部１２２は、ＡＤＲＣコードに基づいてクラスコードを決定するものである。クラスコードは、クラスタップが分類されたクラスを識別する情報である。ＡＤＲＣコードとクラスコードとは、１対１に対応付けられる。例えば、クラスコード決定部１２２は、ＡＤＲＣコードごとにクラスコードを記憶しておき、入力されたＡＤＲＣコードに対応するクラスコードを読み出して、クラスタップのクラスコードとして決定する。クラスコード決定部１２２は、決定したクラスコードを判別係数選択部１３０および予測係数選択部１５０に信号線１２９を介して出力する。
【００３６】
判別係数選択部１３０は、複数の判別係数群の中から、クラスコードに基づいて判別係数群を選択するものである。１つの判別係数群は、予測タップ内の画素数（例えば、１３個）と同数の判別係数を含む。これらの判別係数は、抽出された予測タップが属すべき予測タップ種別を判別する判別演算において使用される係数である。予測タップ種別は２つ以上、定義されており、各予測タップは、これらの予測タップ種別のうちのいずれかに属する。
【００３７】
ここで、予測タップ種別は、抽出された複数の予測タップを、クラス分類とは別の基準で分類したグループである。詳細には、予測タップは、予測係数の学習時に、その予測タップが抽出された画像の画像種別に基づいて、複数の予測タップ種別に分類される。例えば、各予測タップは、学習時における予測タップの抽出元の画像の圧縮率に応じて複数の予測タップ種別に分類される。
【００３８】
判別係数選択部１３０においては、複数のクラスとＮ（Ｎは、２以上の整数）個の予測タップ種別との各組合せに対応付けて複数の判別係数群が予め設定される。例えば、クラス数が５１２クラスの場合、５１２×Ｎ個の判別係数群が設定される。判別係数選択部１３０は、５１２×Ｎ個の判別係数群の中から、クラスコードの示すクラスに対応する判別係数群をＮ個選択する。判別係数選択部１３０は、選択した各判別係数群を判別演算部１４０に信号線１３９を介して出力する。
【００３９】
判別演算部１４０は、予測タップと判別係数群とに基づいて判別演算を実行することによりＮ個の予測タップ種別のうちのいずれに予測タップが属するかを判別するものである。判別演算の詳細については後述する。判別演算部１４０は、判別した予測タップ種別を示す種別コードを生成して予測係数選択部１５０に信号線１４９を介して出力する。
【００４０】
予測係数選択部１５０は、クラスコードおよび種別コードに基づいて複数の予測係数群の中から、いずれかを選択するものである。予測係数選択部１５０においては、複数のクラスおよびＮ個の予測タップ種別の各組合せに対応付けて複数の予測係数群が予め設定される。例えば、クラスが５１２個の場合、５１２×Ｎ個の予測係数群が設定される。低解像度画像信号を高解像度画像信号に変換する場合、１つの低解像度画像信号から複数（例えば、４つ）の高解像度画像信号を生成する必要がある。このため、それぞれの予測係数群は、複数の予測係数からなるセットを、生成すべき高解像画像信号の数だけ含む。それぞれのセットは、予測タップ内の画素数（例えば、１３個）と同数の予測係数を含む。例えば、予測タップ内の画素数が１３個で、１つの低解像度信号から４つの高解像度画像信号を生成する場合、各予測係数群は、１３個の予測係数からなるセットを４つ含む。これらの予測係数は、高解像度画像における画素の画素値を予測する予測演算において使用すべき係数である。予測係数選択部１５０は、種別コードの示す予測タップ種別とクラスコードの示すクラスとの組合せに対応する予測係数群を予測演算部１６０に信号線１５９を介して出力する。
【００４１】
予測演算部１６０は、予測タップと予測係数群に基づいて、高解像度画像の画素値を予測する予測演算を実行するものである。この予測演算は、例えば、線形一次結合式である下記の式１により実行される。
【数１】
式１においてｗｎ（ｎは１乃至１３の整数）は、予測係数群内の１つの高解像度画像信号に対応するセットにおける各予測係数である。ｘｎは、予測タップ内の各画素の画素値である。予測演算部１６０は、予測演算の結果であるｙを、高解像度画像信号の画素値として出力する。１つの低解像度信号から４つの高解像度画像信号を生成する場合、予測演算部１６０は、１３個の予測係数からなるセットを４つ使用して４つの画素値を求める。
【００４２】
ここで、画像情報変換装置１００による変換対象となるＳＤ信号と、変換後のＨＤ信号との関係について説明する。図３は、第１の実施の形態におけるＨＤ信号の画素とＳＤ信号の画素との間の位置関係の一例を示す図である。図３において、円形のマークはＳＤ信号における画素であり、菱形のマークは、ＨＤ信号における画素である。また、網掛けのマークは、第１フィールドにおける画素であり、白抜きのマークは、第２フィールドにおける画素である。ここで、第１フィールドおよび第２フィールドは、時間軸において隣り合うフィールドであり、これらのフィールドにより１フレームの画像が構成される。
【００４３】
図３（ａ）は、画像の垂直方向における各画素の位置関係の一例を示す図である。図３（ａ）の横軸は時間軸であり、縦軸は、画面の垂直方向の座標である。図３（ａ）に例示したように、各フィールドの垂直方向において隣り合うＨＤ信号の画素間に、ＳＤ信号の画素が位置する。より詳細には、垂直方向に隣り合うＨＤ信号の画素間の距離をｄとした場合、例えば、上方のＨＤ信号の画素とＳＤ信号との間の距離が１／４×ｄになる位置に、そのＳＤ信号の画素が位置する。
【００４４】
図３（ｂ）は、画像の水平方向における各画素の位置関係の一例を示す図である。図３（ｂ）の画像は、第１フィールドおよび第２フィールドにより構成される１つのフレームである。図３（ｂ）において縦軸は、画像の垂直方向の座標であり、横軸は、画像の水平方向の座標である。図３（ｂ）に例示するように、フレームの水平方向において、隣り合うＨＤ信号の画素間の中間にＳＤ信号の画素が配置される。
【００４５】
図４は、第１の実施の形態における予測タップおよびクラスタップの一例である。図４において、円形のマークはＳＤ信号における画素であり、菱形のマークは、ＨＤ信号における画素である。また、網掛けのマークは、第１フィールドにおける画素であり、白抜きのマークは、第２フィールドにおける画素である。第１フィールドおよび第２フィールドは、時間軸において隣り合うフィールドであり、これらのフィールドにより１フレームの画像が構成される。
【００４６】
さらに図４において左側の第１フィールドにおける×印は、注目画素の位置を示す。注目画素は、クラスタップおよび予測タップにおいて基準となる画素である。例えば、クラスタップおよび予測タップの中心にする画素が注目画素とされる。右側の第２フィールドにおける×印は、注目画素に対応する位置、すなわち、注目画像の座標と同じ座標を示す。ここで、前述したように第１フィールドおよび第２フィールドは１つのフレームを構成するフィールドであるため、画素が配置されるラインが各フィールドで異なる。例えば、第１フィールドにおいて奇数ラインに画素が配置される場合、第２フィールドにおいて偶数ラインに画素が配置される。このため、第２フィールドにおける×印を含むラインは、画素が配置されるラインではなく、実際には、第２フィールドの×印の位置に画素が配置されない。
【００４７】
図４（ａ）は、抽出される予測タップの一例を示す図である。例えば、１３個の画素ｐ１乃至ｐ１３が、予測タップとして抽出される。画素ｐ４は、注目画素である。画素ｐ１およびｐ７は、画素ｐ４の上下に位置する画素である。画素ｐ３は、画素ｐ４の左隣に位置する画素であり、画素ｐ５は、画素ｐ４の右隣に位置する画素である。画素ｐ２は、画素ｐ３の左隣に位置する画素であり、画素ｐ６は、画素ｐ５の右隣に位置する画素である。画素ｐ８およびｐ９は、右側の第２フィールドにおける注目画素に対応する位置の上下に位置する画素である。画素ｐ１０およびｐ１１は、画素ｐ８の左右に位置する画素であり、画素ｐ１２およびｐ１３は、画素ｐ９の左右に位置する画素である。
【００４８】
図４（ｂ）は、抽出されるクラスタップの一例を示す図である。例えば、９個の画素ｐ１乃至ｐ９が、予測タップとして抽出される。クラスタップにおける画素ｐ１乃至ｐ９は、予測タップにおける画素ｐ１乃至ｐ９と同一座標の画素である。
【００４９】
図５は、第１の実施の形態における判別係数選択部１３０の一構成例を示すブロック図である。判別係数選択部１３０は、判別係数記憶部１３１と、Ｎ個の予測タップ種別に対応づけられたＮ個の判別係数読出部１３３とを備える。
【００５０】
判別係数記憶部１３１は、複数のクラスとＮ個の予測タップ種別との各組合せに対応付けて複数の判別係数群を記憶するものである。判別係数記憶部１３１は、Ｎ個の判別係数読出部１３３に対応するＮ個の判別係数メモリ１３２を備える。Ｎ個の判別係数メモリ１３２は、クラスごとに判別係数群を記憶するものである。
【００５１】
判別係数読出部１３３は、クラスコードに対応する判別係数群を読み出すものである。Ｎ個の判別係数読出部１３３は、それぞれクラス分類部１２０からクラスコードを受け取る。そして、Ｎ個の判別係数読出部１３３のそれぞれは、対応する判別係数メモリ１３２から、クラスコードの示すクラスに対応する判別係数群を読み出す。この結果、Ｎ個の判別係数群が読み出される。Ｎ個の判別係数読出部１３３のそれぞれは、これらの判別係数群を判別演算部１４０へ信号線１３９を介して出力する。
【００５２】
図６は、判別係数記憶部１３１に記憶される判別係数群の一例を示す図である。Ｎ個の判別係数メモリ１３２は、Ｎ個の予測タップ種別に、それぞれ１対１に対応付けられる。予測タップ種別は、予測係数の学習時に、予測タップが抽出された画像の圧縮率で分類されたものとする。例えば、判別係数メモリ＃１は、圧縮率が最も高い画像から抽出された各予測タップが属する予測タップ種別に対応付けられ、以下、圧縮率の高い順に、判別係数メモリ＃２乃至＃Ｎに各予測タップ種別が対応付けられる。各判別係数メモリにおいて、クラスコード「０００００００００」乃至「１１１１１１１１１」の５１２個の各クラスに対応付けて判別係数ｖ１乃至ｖ１３からなる判別係数群が保存される。
【００５３】
図７は、第１の実施の形態における判別演算部１４０の一構成例を示すブロック図である。判別係数演算部は、Ｎ個の判別演算器１４２、Ｎ個の閾値処理部１４３、候補判定結果列生成部１４４、および、予測タップ種別決定部１４６を備える。Ｎ個の判別演算器１４２は、Ｎ個の判別係数読出部１３３に１対１に対応付けられ、Ｎ個の判別演算器１４２は、Ｎ個の閾値処理部１４３に１対１に対応付けられている。
【００５４】
Ｎ個の判別演算器１４２のそれぞれは、対応付けられた予測タップ種別に予測タップが属するか否かを判別するための判別演算を実行するものである。Ｎ個の判別演算器１４２のそれぞれには、タップ抽出部１１０により抽出された予測タップ内の各画素の画素値と、対応する判別係数読出部１３３からの判別係数群とが入力される。Ｎ個の判別演算器１４２のそれぞれは、これらの値を使用して判別演算を実行する。この判別演算は、例えば、線形一次結合式である次式により実行される。
【数２】
【００５５】
上式においてｖｎ（ｎは１乃至１３の整数）は、判別係数群内の各判別係数である。ｘｎは、予測タップ内の各画素の画素値である。判別演算器１４２は、判別演算の結果であるＹを、対応する閾値処理部１４３へ出力する。
【００５６】
Ｎ個の閾値処理部１４３のそれぞれは、判別演算の結果を閾値と比較するものである。Ｎ個の閾値処理部１４３のそれぞれは、所定の同一の閾値を、対応する判別演算器１４２からの演算結果と比較する。閾値の設定例については、後述する。比較した結果は、閾値処理部１４３に対応する予測タップ種別に予測タップが属しうるか否かを示す。属しうる場合は、その予測タップ種別は、最終的に１つに決定すべき予測タップ種別の候補とされる。この比較結果を、以下、候補判定結果と称する。例えば、演算結果が閾値以上である場合は、対応する予測タップ種別に予測タップが属する可能性が高いため、その予測タップ種別は候補に該当する。これに対して、演算結果が閾値未満である場合は、対応する予測タップ種別に予測タップが属する可能性は低いため、その予測タップ種別は候補に該当しない。Ｎ個の閾値処理部１４３のそれぞれは、対応する予測タップ種別についての候補判定結果を示すビットを生成する。例えば、Ｎ個の閾値処理部１４３のそれぞれは、演算結果が閾値以上である（すなわち、候補に該当する）場合には「１」を示すビットを生成し、演算結果が閾値未満である（すなわち、候補に該当しない）場合には「０」を示すビットを生成する。Ｎ個の閾値処理部１４３のそれぞれは、生成した１ビットを候補判定結果列生成部１４４へ出力する。
【００５７】
候補判定結果列生成部１４４は、閾値処理部１４３からのＮ個の候補判定結果から候補判定結果列を生成するものである。候補判定結果列は、Ｎ個の候補判定結果を示すＮビットを所定の順番で並べたビット列である。候補判定結果列生成部１４４は、予測係数群の抽出元の画像の画像種別に基づいて各候補判定結果を並べる。例えば、各画像の圧縮率に応じて各予測タップが複数の予測タップ種別に分類されている場合、候補判定結果列生成部１４４は、圧縮率の高い順に、各候補判定結果を並べる。候補判定結果列生成部１４４は、生成した候補判定結果列を予測タップ種別決定部１４６に出力する。
【００５８】
予測タップ種別決定部１４６は、候補判定結果列に基づいて予測タップ種別が属する予測タップ種別を決定するものである。詳細には、予測タップ種別決定部１４６は、候補判定結果列の示す、予測タップ種別の候補の中から、１つの予測タップ種別を選択する。Ｎ個の予測タップ種別には、予め優先度が設定される。複数の予測タップ種別が候補となった場合、予測タップ種別決定部１４６は、優先度の最も高い予測タップ種別を選択する。例えば、予測タップの抽出元の画像の圧縮率が高いほど、その画像に係る予測タップ種別の優先度が高く設定される。圧縮率の高い順に候補判定結果が並べられた場合は、先頭から順に高い優先度が設定される。予測タップ種別決定部１４６は、選択した予測タップ種別を示す種別コードを予測係数選択部１５０に信号線１４９を介して出力する。
【００５９】
図８は、第１の実施の形態における予測係数選択部１５０の一構成例を示すブロック図である。予測係数選択部１５０は、予測係数記憶部１５１と、Ｎ個の予測係数読出部１５３と、セレクタ１５４とを備える。
【００６０】
予測係数記憶部１５１は、複数のクラスおよびＮ個の予測タップ種別の各組合せに対応付けて複数の予測係数群を記憶するものである。予測係数記憶部１５１は、Ｎ個の予測係数メモリ１５２を備える。Ｎ個の予測係数メモリ１５２には、Ｎ個の予測タップ種別が割り当てられる。Ｎ個の予測係数メモリ１５２のそれぞれは、割り当てられた予測タップ種別に対応する予測係数群をクラスごとに記憶するものである。
【００６１】
予測係数読出部１５３は、クラスコードの示すクラスに対応する予測係数群を読み出すものである。Ｎ個の予測係数読出部１５３は、Ｎ個の予測係数メモリ１５２に対応付けられる。Ｎ個の予測係数読出部１５３のそれぞれは、クラス分類部１２０からクラスコードを受け取る。Ｎ個の予測係数読出部１５３のそれぞれは、対応する予測係数メモリ１５２から、クラスコードの示すクラスに対応する予測係数群を読み出す。Ｎ個の予測係数読出部１５３のそれぞれは、読み出した予測係数群をセレクタ１５４へ出力する。
【００６２】
セレクタ１５４は、Ｎ個の予測係数群の中から、種別コードの示す予測タップ種別に対応する予測係数群を選択するものである。詳細には、セレクタ１５４は、Ｎ個の予測係数読出部１５３からＮ個の予測係数群を受け取り、判別演算部１４０から種別コードを受け取る。セレクタ１５４は、Ｎ個の予測係数群の中から、種別コードの示す予測タップ種別に対応する予測係数群を選択する。セレクタ１５４は、選択した予測係数群を予測演算部１６０に信号線１５９を介して出力する。
【００６３】
図９は、予測係数記憶部１５１に記憶される予測係数群の一例を示す図である。Ｎ個の予測係数メモリ１５２には、それぞれ、Ｎ個の予測タップ種別に対応する予測係数群がクラス数の分、記憶される。例えば、予測係数メモリ＃１には、最も高圧縮の画像における各予測タップが属する予測タップ種別に対応する予測係数群が記憶され、画像の圧縮率の高い順に、予測係数メモリ＃２乃至＃Ｎに、Ｎ個の予測タップ種別のそれぞれに対応する予測係数群が記憶される。Ｎ個の予測係数メモリのそれぞれにおいて、クラスコード「０００００００００」乃至「１１１１１１１１１」の５１２個の各クラスに対応付けて予測係数群が保存される。それぞれの予測係数群は、予測タップ内の画素数と同数の予測係数からなるセットを予測すべき画素値の数だけ含む。例えば、予測タップ内の画素数が１３個で、左上、左下、右上、および、右下の位置の４つの画素の各画素値を予測する場合、それぞれの予測係数群は、１３個の予測係数からなるセットを４つ含む。
【００６４】
［判別係数学習装置の構成例］
図１０は、第１の実施の形態における判別係数学習装置２００の一構成例を示すブロック図である。判別係数学習装置２００は、フィルタ部２１０、目標値供給部２２０、タップ抽出部２３０、クラス分類部２４０、および、判別係数演算部２５０を備える。
【００６５】
フィルタ部２１０は、教師画像として入力された高解像度画像信号から、Ｎ個の異なる生徒画像を生成するものである。教師画像は、生徒画像を生成するために使用される画像である。生徒画像は、判別係数や予測係数を学習するために使用される画像である。フィルタ部２１０には、教師画像として入力された高解像度画像信号が入力される。フィルタ部２１０は、この教師画像を、解像度を変更するＮ個のフィルタに通過させることにより、Ｎ枚の異なる生徒画像を生成する。これらの生徒画像は、例えば、解像度が同一で圧縮率が互いに異なる画像である。フィルタ部２１０は、Ｎ枚の生徒画像からなる生徒画像群として低解像度画像信号をタップ抽出部２３０に信号線２１９を介してＮ回、出力する。
【００６６】
目標値供給部２２０は、判別画像指定信号に従って、目標値Ｙを供給するものである。判別画像指定信号は、Ｎ枚の生徒画像のうちのいずれかを判別対象の生徒画像として指定するための信号である。判別対象の生徒画像とは、画像の変換において、入力された画像に類似する画像であると判別されるべき画像である。目標値Ｙは、上記式２の判別演算の結果の目標値として設定される値である。目標値供給部２２０には、判別画像指定信号がＮ回入力され、それぞれの判別画像指定信号において異なる生徒画像が判別対象として指定される。Ｎ枚の生徒画像において判別対象の指定の順番は任意であり、ユーザなどにより設定される。判別画像指定信号が入力されると、目標値供給部２２０は、各生徒画像に与える目標値Ｙを生成する。判別対象の生徒画像と、それ以外の生徒画像とに対しては、異なる目標値Ｙが生成される。目標値Ｙのうち、判別対象の生徒画像に対する目標値をＹ１とし、それ以外の目標値をＹ２とする。例えば、目標値供給部２２０は、判別対象の生徒画像に対してＹ１として「１」を生成し、それ以外の生徒画像に対してＹ２として「０」を生成する。目標値供給部２２０は、生成した目標値Ｙを判別係数演算部２５０に信号線２２１を介して出力する。
【００６７】
タップ抽出部２３０の構成は、画像情報変換装置１００におけるタップ抽出部１１０と同様の構成である。タップ抽出部２３０は、低解像度画像信号からクラスタップおよび予測タップを抽出する。タップ抽出部２３０は、抽出したクラスタップ内の各画素値をクラス分類部２４０に信号線２３８を介して出力し、抽出した予測タップ内の各画素値を判別係数演算部２５０に信号線２３９を介して出力する。
【００６８】
クラス分類部２４０の構成は、画像情報変換装置１００におけるクラス分類部１２０と同様の構成である。クラス分類部２４０は、抽出されたクラスタップを分類したクラスを示すクラスコードを判別係数演算部２５０に信号線２４９を介して出力する。
【００６９】
判別係数演算部２５０は、判別係数を演算するものである。判別係数演算部２５０には、目標値供給部２２０からの目標値Ｙと、タップ抽出部２３０からの予測タップ内の各画素値と、クラス分類部２４０からのクラスコードとが入力される。判別係数演算部２５０は、目標値Ｙと予測タップ内の各画素値とから、クラスコードの示すクラスごとに判別係数群を演算する。判別係数演算部２５０は、演算した判別係数群を、判別対象の生徒画像に対応する判別係数群として出力する。
【００７０】
ここで、タップ抽出部２３０は、正御画像群内のＮ枚の生徒画像のそれぞれにおいて、生徒画像内の画素数と同数の予測タップを抽出している。例えば、生徒画像の解像度が７２０×４８０画素である場合、Ｎ枚の生徒画像から７２０×４８０×Ｎ個の予測タップが抽出される。一方、クラス分類部２４０は、これらの予測タップの抽出と同期して、予測タップと注目画素が同一のクラスタップが属するクラスを示すクラスコードを求める。判別係数演算部２５０は、タップ抽出部２３０およびクラス分類部２４０から、予測タップ内の各画素値と、その予測タップが属するクラスとを受け取る。クラスコードが同一の各予測タップを以下、そのクラスの「サンプル」と称する。例えば、７２０×４８０×Ｎ個の予測タップのうち、クラスコード「０００００００００」に対応する予測タップが１００個抽出された場合、それら１００個の予測タップは、そのクラスコードの示すクラスのサンプルとされる。判別係数演算部２５０は、それぞれのサンプル内の画素値について、上記式２の判別演算を行った各演算結果Ｙｋ'と、目標値Ｙ（Ｙ１またはＹ２）との差分の二乗和が最小になる判別係数群をクラスごとに演算する。ｋは、１以上の整数であり、各サンプルに割り当てられる番号である。例えば、判別係数演算部２５０は、後述する正規方程式を生成して、その正規方程式を解くことにより判別係数群を求める。
【００７１】
正規方程式の導出方法について説明する。第ｋ個目のサンプルにおける差分ｅｋは、次式により求められる。
【数３】
【００７２】
上式の演算結果Ｙｋ'は、上記式２により求められる。ｘｎを第ｋサンプル内の各画素値をｘn_kで置き換えた上記式２を上記式３に代入すると、次式が得られる。
【数４】
【００７３】
最小二乗法において、最適な判別係数群は、次式で表わされる二乗和Ｅを最小にすることで求められる。
【数５】
【００７４】
上式において、Ｋは、統計対象のクラスに属するサンプルの総数である。二乗和Ｅを最小にする判別係数の値は、その判別係数による二乗和Ｅの偏微分が０になるときの値である。下記式６は、二乗和Ｅを判別係数ｖ１乃至ｖ１３のそれぞれで偏微分したものである。
【数６】
【００７５】
上式を満たす判別係数群が最適な判別係数群である。上式から次式が得られる。
【数７】
【００７６】
ここで、上記式４を判別係数ｖ１乃至ｖ１３のそれぞれで偏微分すると、次式が得られる。
【数８】
【００７７】
上記式７に上記式８を代入することにより、次式が得られる。
【数９】
【００７８】
そして、上記式９のeｋに上記式４を代入することにより、次式が得られる。
【数１０】
【００７９】
上式を変形することにより、次式が得られる。
【数１１】
【００８０】
上式は、行列を用いて、正規方程式である次式で表される。
【数１２】
【００８１】
上式は、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、それぞれの判別係数について解くことができる。これにより、判別演算の結果と目標値との間の差分が最小となる判別係数が求められる。
【００８２】
前述したように、判別対象の生徒画像に目標値Ｙ１が与えられ、それ以外の生徒画像には、目標値Ｙ２が与えられる。このため、画像情報変換装置１００が、入力された画像に対して判別係数群を使用して判別演算を行うと、判別演算の結果は、その画像が判別対象の生徒画像と類似する場合にＹ１に近い値となり、判別対象の生徒画像と類似しない場合にＹ２に近い値となる。したがって、閾値をこれらの目標値Ｙ１およびＹ２の間の値とし、この閾値と判別結果とを比較することにより、画像情報変換装置１００は、入力された画像が、判別対象の生徒画像と類似するか否かを判別することができる。判別対象の生徒画像に目標値「１」が与えられ、それ以外の生徒画像に目標値「０」が与えられた場合において、閾値は、それらの間の値の「０．５」などに設定される。画像情報変換装置１００は、判別結果が閾値以上であるか否かにより、入力された画像が判別対象の生徒画像と類似の画像であるか否かを判別することができる。
【００８３】
なお、フィルタ部２１０は、特許請求の範囲に記載の生徒画像入力部の一例である。目標値供給部２２０は、特許請求の範囲に記載の目標値生成部の一例である。
【００８４】
図１１は、第１の実施の形態における判別係数学習装置のフィルタ部２１０の一構成例を示すブロック図である。フィルタ部２１０は、Ｎ枚の２次元フィルタ２１１と、生徒画像記憶部２１２と、生徒画像供給部２１３とを備える。
【００８５】
２次元フィルタ２１１は、教師画像の解像度を変更して生徒画像を生成するものである。Ｎ枚の２次元フィルタ２１１には、同一の教師画像が入力される。Ｎ枚の２次元フィルタ２１１は、教師画像の解像度を変更するとともに、それぞれ異なる画像処理を行って、異なるＮ枚の生徒画像を生成する。例えば、Ｎ枚の２次元フィルタ２１１は、圧縮率の異なるＮ枚の生徒画像を生成する。Ｎ枚の生徒画像は、生徒画像記憶部２１２に保存される。
【００８６】
生徒画像記憶部２１２は、Ｎ枚の生徒画像からなる生徒画像群を記憶するものである。生徒画像供給部２１３は、生徒画像記憶部２１２から生徒画像群を読み出してタップ抽出部２３０に供給するものである。生徒画像供給部２１３は、生徒画像群の供給をＮ回実行する。
【００８７】
なお、２次元フィルタ２１１は、特許請求の範囲に記載のフィルタの一例である。
【００８８】
図１２は、第１の実施の形態における判別係数の学習方法の一例を示す図である。図１２に例示するように全学習においてＮ行Ｎ列の生徒画像が生成される。各行の生徒画像は、Ｎ回の学習のそれぞれにおいて生成される生徒画像群内の生徒画像である。各行において、生徒画像は圧縮率の順に配列されている。各列の生徒画像は、Ｎ回の学習のそれぞれにおいて、同じ２次元フィルタから生成された生徒画像である。網掛けの生徒画像は、判別対象の生徒画像である。例えば、１回目の学習においては、２次元フィルタ＃１から生成された生徒画像＃１−１が判別対象として指定される。この場合、１回目に生成された生徒画像＃１−１乃至＃Ｎ−１のうち、生徒画像＃１−１に目標値Ｙ１が設定され、生徒画像＃１−２乃至１−Ｎに目標値Ｙ２が設定される。２回目の学習においては、生徒画像＃２−２が判別対象として指定される。この場合、２回目に生成された生徒画像＃２−１乃至＃Ｎ−２のうち、生徒画像＃２−２に目標値Ｙ１が設定され、生徒画像２−１と生徒画像＃２−３乃至２−Ｎに目標値Ｙ２が設定される。このようにして、Ｎ回学習が行われ、Ｎ枚の生徒画像のそれぞれについて判別係数が学習される。
【００８９】
図１３は、第１の実施の形態における目標値の設定例を示す図である。生徒画像＃１が判別対象に指定された場合、生徒画像＃１に対して「１」の目標値Ｙ１が設定され、それ以外の生徒画像に対して「０」の目標値Ｙ２が設定される。生徒画像＃２が判別対象に指定された場合、生徒画像＃２に対して「１」の目標値Ｙ１が設定され、それ以外の生徒画像に対して「０」の目標値Ｙ２が設定される。このようにして、判別対象の生徒画像と、それ以外の生徒画像とには、異なる目標値が与えられる。
【００９０】
図１４は、判別係数演算部２５０の一構成例を示すブロック図である。判別係数演算部２５０は、正規方程式生成部２６０、判別係数決定部２７０、および、判別係数記憶部２８０を備える。判別係数決定部２７０は、統計処理部２７１、行列成分合計値記憶部２７２、および、判別係数演算器２７３を備える。
【００９１】
正規方程式生成部２６０は、予測タップ内の各画素値と目標値とに基づいて、１つのサンプルにおける正規方程式の行列成分を生成するものである。正規方程式生成部２６０は、生成した各行列成分を統計処理部２７１に出力する。
【００９２】
統計処理部２７１は、クラスごとに、そのクラスに属する各サンプルの行列成分に対して統計処理を実行するものである。統計処理部２７１は、正規方程式生成部２６０からの行列成分と、クラス分類部２４０からのクラスコードとを受け取る。統計処理部２７１は、クラスコードが同一の各行列成分を全て加算する。以下、加算後の行列成分を行列成分合計値と称する。例えば、統計処理部２７１は、クラスコードおよび行列成分を受け取ると、そのクラスコードに対応する行列成分合計値を、行列成分合計値記憶部から読み出し、受け取った行列成分を読み出した値に加算する。統計処理部２７１は、加算した値を、そのクラスコードにおける新たな行列成分合計値として、行列成分合計値記憶部２７２に格納する。Ｎ枚の生徒画像について統計処理が終了したとき、統計処理部２７１は、統計の終了を通知する統計終了通知を発行して判別係数演算器２７３に出力する。
【００９３】
判別係数演算器２７３は、判別係数群をクラスごとに演算するものである。判別係数演算器２７３は、目標値Ｙおよび統計終了通知を受け取ると、クラスごとの行列成分合計値を行列成分合計値記憶部２７２から読み出す。判別係数演算器２７３は、クラスごとに、上記式１２に例示した正規方程式を解くことにより、判別係数群を演算する。判別係数演算器２７３は、演算した各判別係数群を、目標値Ｙの示す判別対象の生徒画像に対応する判別係数群として判別係数記憶部２８０に格納する。
【００９４】
判別係数記憶部２８０は、複数のクラスとＮ個の生徒画像との各組合せに対応付けて複数の判別係数群を記憶するものである。Ｎ個の生徒画像は、それぞれ、Ｎ個の予測タップ種別に１対１に対応付けられる。判別係数記憶部２８０に記憶された判別係数群は、画像情報変換装置１００に信号線２０９を介して出力される。
【００９５】
図１５は、正規方程式生成部２６０の一構成例を示すブロック図である。正規方程式生成部２６０は、乗算器群２６１乃至２７３と、乗算器群２７４とを備える。それぞれの乗算器群は、１３個の乗算器を備える。乗算器群２６１内の乗算器２６１−１乃至２６１−１３は、それぞれ、画素値ｘ１と、ｘ１乃至ｘ１３とを乗算した結果であるｘ１ｘ１乃至ｘ１ｘ１３を、正規方程式の左辺第１行ベクトルの行列成分として出力する。同様に、乗算器群２６２乃至２７３により、左辺第２行ベクトルから左辺第１３行ベクトルまでの各行列成分が出力される。乗算器群２７４内の乗算器２７４−１乃至２７１−１３は、それぞれ、目標値Ｙと、ｘ１乃至ｘ１３とを乗算した結果であるｘ１Ｙ乃至ｘ１３Ｙを、正規方程式の右辺第１列ベクトルの行列成分として出力する。
【００９６】
図１６は、第１の実施の形態の行列成分合計値記憶部２７２における行列成分の統計量の一例を示す図である。図１６に示すように、クラスコードごとに、各サンプルの行列成分が足しこまれて、行政成分の合計値が求められる。詳細には、上記式１２の左辺第１行ベクトルから左辺第１３行ベクトルまでと、右辺第１列ベクトルとについて行列成分の合計値が求められる。
【００９７】
［予測係数学習装置の構成例］
図１７は、第１の実施の形態における予測係数学習装置３００の一構成例を示すブロック図である。予測係数学習装置３００は、フィルタ部３１０、教師画素抽出部３２０、タップ抽出部３３０、および、クラス分類部３４０を備える。
【００９８】
フィルタ部３１０は、教師画像として入力された高解像度画像信号から、Ｎ個の異なる生徒画像を生成するものである。フィルタ部３１０には、教師画像として高解像度画像信号が入力される。フィルタ部３１０は、この教師画像を、Ｎ個のフィルタに通過させることにより、Ｎ枚の異なる生徒画像を生成する。これらの生徒画像は、例えば、圧縮率が互いに異なる画像である。フィルタ部３１０は、Ｎ枚の生徒画像のうち、学習画像指定信号の指定する生徒画像を選択して、タップ抽出部３３０に信号線３１９を介して出力する。
【００９９】
教師画素抽出部３２０は、教師画像として入力される高解像度画像信号から、学習対象の画素を教師画素として抽出するものである。１つの低解像度画像信号から画像情報変換装置１００が生成すべき、複数の高解像度画像信号に対応する各画素が抽出される。例えば、生徒画像内の各画素に対して、４つの教師画素が教師画像から抽出される。教師画素抽出部３２０は、抽出した各教師画素の画素値を予測演算における目標値として予測係数演算部３５０に信号線３２１を介して出力する。
【０１００】
タップ抽出部３３０の構成は、画像情報変換装置１００におけるタップ抽出部１１０と同様の構成である。タップ抽出部３３０は、低解像度画像信号からクラスタップおよび予測タップを抽出する。タップ抽出部３３０は、抽出したクラスタップ内の各画素値をクラス分類部３４０に信号線３３８を介して出力し、抽出した予測タップ内の各画素値を予測係数演算部３５０に信号線３３９を介して出力する。
【０１０１】
クラス分類部３４０の構成は、画像情報変換装置１００におけるクラス分類部１２０と同様の構成である。クラス分類部３４０は、抽出されたクラスタップを分類したクラスを示すクラスコードを予測係数演算部３５０に信号線３４９を介して出力する。
【０１０２】
予測係数演算部３５０は、予測係数を演算するものである。予測係数演算部３５０には、教師画素抽出部３２０からの各教師画素の画素値と、タップ抽出部３３０からの予測タップ内の各画素値と、クラス分類部３４０からのクラスコードと、学習画像指定信号とが入力される。予測係数演算部３５０は、目標値である教師画素の画素値と予測タップ内の各画素値とから、クラスコードの示すクラスごとに予測係数群を演算する。予測係数群内の各予測係数は、例えば、次式を使用して算出される。
【数１３】
【０１０３】
上式において、ｋは、各サンプルに割り当てられた番号である。xn_kは、第ｋサンプル内の各画素値である。ｙｋは、第ｋサンプルに対応する教師画素のうちのいずれかの画素値である。Ｋは、１つのクラスに属するサンプルの総数である。予測係数ｗ１乃至ｗ１３は、予測係数群内の１つのセットにおける各予測係数である。上記式１３は、上記式１２と同様の方法により導出されたものである。判別係数演算部３５０は、演算した各予測係数群を、学習画像指定信号の指定する生徒画像に対応する予測係数群として出力する。
【０１０４】
なお、フィルタ部３１０は、特許請求の範囲に記載の生徒画像入力部の一例である。
【０１０５】
図１８は、第１の実施の形態における予測係数学習装置のフィルタ部３１０の一構成例を示すブロック図である。フィルタ部３１０は、Ｎ枚の２次元フィルタ３１１およびセレクタ３１２を備える。
【０１０６】
２次元フィルタ３１１は、判別係数学習装置２００における２次元フィルタ２１１と同様のフィルタである。セレクタ３１２は、Ｎ枚の２次元フィルタ３１１により生成されたＮ枚の生徒画像の中から、学習画像指定信号の指定する生徒画像を選択するものである。セレクタ３１２は、選択した生徒画像として低解像度画像信号をタップ抽出部３３０に信号線３１９を介して出力する。
【０１０７】
なお、２次元フィルタ３１１は、特許請求の範囲に記載のフィルタの一例である。
【０１０８】
図１９は、第１の実施の形態における予測係数の学習方法の一例を示す図である。Ｎ回の学習のそれぞれにおいて、Ｎ枚の２次元フィルタのうちのいずれかにより、学習対象として指定された生徒画像が生成される。例えば、１回目の学習においては、生徒画像＃１が学習対象として指定される。２回目の学習においては、生徒画像＃２が指定される。このようにして、Ｎ回学習が行われ、Ｎ枚の生徒画像のそれぞれについて予測係数が学習される。
【０１０９】
［画像情報変換装置の動作例］
図２０は、第１の実施の形態における画像情報変換装置１００の動作の一例を示すフローチャートである。画像情報変換装置１００は、低解像度画像信号が入力されたときに、画像の解像度を変換するための画像情報変換処理を開始する。
【０１１０】
画像情報変換装置１００は、低解像度画像のいずれかの画素を注目画素として、その注目画素を中心とするクラスタップおよび予測タップを抽出する（ステップＳ９０５）。
【０１１１】
画像情報変換装置１００は、クラスタップを複数のクラスのうちのいずれかに分類するためのクラス分類処理を実行する（ステップＳ９１０）。画像情報変換装置１００は、予測タップが属する予測タップ種別を判別するための予測タップ種別判別処理を実行する（ステップＳ９２０）。
【０１１２】
そして、画像情報変換装置１００は、分類されたクラスと判別された予測タップ種別との組合せに対応する予測係数群を選択する（ステップＳ９３０）。画像情報変換装置１００は、選択した予測係数群を使用した予測演算の結果を高解像度画像の画素値として出力する（ステップＳ９３５）。
【０１１３】
画像情報変換装置１００は、高解像度画像の全画素の演算が終了したか否かを判断する（ステップＳ９４０）。全画素の演算が終了していなければ（ステップＳ９４０：Ｎｏ）、画像情報変換装置１００は、ステップＳ９０５に戻る。全画素の演算が終了したのであれば（ステップＳ９４０：Ｙｅｓ）、画像情報変換装置１００は、画像情報変換処理を終了する。
【０１１４】
図２１は、第１の実施の形態におけるクラス分類処理の一例を示すフローチャートである。クラス分類部１２０は、クラスタップ内の各画素を再量子化してＡＤＲＣコードを生成する（ステップＳ９１１）。クラス分類部１２０は、ＡＤＲＣコードに基づいてクラスコードを決定する（ステップＳ９１２）。ステップＳ９１２の後、クラス分類部１２０は、クラス分類処理を終了する。
【０１１５】
図２２は、第１の実施の形態における予測タップ種別判別処理の一例を示すフローチャートである。判別係数選択部１３０は、クラスコードに対応するＮ個の判別係数群をＮ個の判別係数メモリ１３２から読み出す（ステップＳ９２１）。判別演算部１４０は、判別係数群を使用して、Ｎ個の判別演算を実行して候補判定結果列を生成する（ステップＳ９２２）。判別演算部１４０は、候補判定結果列から予測タップが属する予測タップ種別を判別する（ステップＳ９２４）。ステップＳ９２４の後、判別演算部１４０は、予測タップ種別判別処理を終了する。
【０１１６】
［判別係数学習装置の動作例］
図２３は、第１の実施の形態における判別係数学習装置２００の動作の一例を示すフローチャートである。判別係数学習装置２００は、高解像度画像信号および判別画像指定信号が入力されたときに、判別係数を学習するための判別係数学習処理を開始する。
【０１１７】
判別係数学習装置２００は、Ｎ個の２次元フィルタから生成したＮ枚の生徒画像をタップ抽出部２３０に供給する（ステップＳ９５０）。判別係数学習装置２００は、判別対象の生徒画像の目標値を１、それ以外の目標値を０として、Ｎ枚の生徒画像に目標値を与える（ステップＳ９５５）。
【０１１８】
判別係数学習装置２００は、いずれかの画素を注目画素としてクラスタップおよび予測タップを抽出する（ステップＳ９６０）。判別係数学習装置２００は、クラス分類処理を実行する（ステップＳ９６５）。判別係数学習装置２００は、クラスごとに、正規方程式の各行列成分を生成して、その統計処理を実行する（ステップＳ９７０）。判別係数学習装置２００は、Ｎ枚の生徒画像の全画素において正規方程式の行列成分の統計が終了したか否かを判断する（ステップＳ９７５）。統計が終了していなければ（ステップＳ９７５：Ｎｏ）、判別係数学習装置２００は、ステップＳ９６０に戻る。
【０１１９】
統計が終了したのであれば（ステップＳ９７５：Ｙｅｓ）、判別係数学習装置２００は、クラスごとに正規方程式から判別係数群を演算する（ステップＳ９８０）。判別係数学習装置２００は、演算した判別係数群を、指定の生徒画像に係る予測タップ種別に対応付ける（ステップＳ９８５）。
【０１２０】
判別係数学習装置２００は、全２次元フィルタの学習が終了したか否かを判断する（ステップＳ９９０）。いずれかの２次元フィルタの学習が終了していなければ（ステップＳ９９０：Ｎｏ）、判別係数学習装置２００は、ステップＳ９５０に戻る。学習が終了したのであれば（ステップＳ９９０：Ｙｅｓ）、判別係数学習装置２００は、判別係数学習処理を終了する。
【０１２１】
［予測係数学習装置の動作例］
図２４は、第１の実施の形態における予測係数学習装置３００の動作の一例を示すフローチャートである。予測係数学習装置３００は、高解像度画像信号および学習画像指定信号が入力されたときに、予測係数を学習するための予測係数学習処理を開始する。予測係数学習処理は、ステップＳ９５０、Ｓ９５５、および、Ｓ９７５の代わりにステップＳ９５１、Ｓ９５６、および、Ｓ９７６を実行する点以外は、図２３に例示した判別係数学習処理と同様である。
【０１２２】
予測係数学習装置３００は、指定された生徒画像を生成する（ステップＳ９５１）。予測係数学習装置３００は、教師画像から教師画素を抽出する（ステップＳ９５６）。クラスごとに正規方程式を生成した後（ステップＳ９７０）、統計が終了していなければ（ステップＳ９７６：Ｎｏ）、判別係数学習装置２００は、ステップＳ９５６に戻る。統計が終了したのであれば（ステップＳ９７６：Ｙｅｓ）、判別係数学習装置２００は、クラスごとに正規方程式から判別係数群を演算する（ステップＳ９８０）。
【０１２３】
このように第１の実施の形態によれば、画像情報変換装置１００は、クラスタップを画素値の削減によりクラスに分類するとともに、判別演算により予測タップが属する予測タップ種別を判別する。そして、画像情報変換装置１００は、複数の予測係数群の中から分類されたクラスと判別された予測タップ種別との組合せに対応する予測係数群を選択して予測演算を実行する。クラス分類のみを行う場合よりも多い予測係数群を使用して画像が変換されるため、画像の変換精度が向上する。また、クラスおよび予測タップ種別の組合せの数だけ、予測係数群を設定しておくため、予測係数群の増大が抑制される。
【０１２４】
また、画像情報変換装置１００は、複数の判別係数と予測タップ内の各画素の画素値との積和演算を行い、その演算結果と所定の閾値との比較結果に基づいて予測タップが属する予測タップ種別を判別する。演算が簡易であるため、予測タップ種別を判別する処理が高速となる。
【０１２５】
また、判別係数学習装置２００は、生徒画像群を生成して、そのうちの判別対象の生徒画像に第１の目標値Ｙ１を与え、それ以外の生徒画像に第２の目標値Ｙ２を与え、これらの目標値と予測タップ内の各画素の画素値とに基づいてクラスごとに判別係数群を演算する。これにより、判別対象の生徒画像と類似の画像であるか否かを判別するための判別係数群が、Ｎ枚の生徒画像についてクラスごとに学習される。
【０１２６】
また、判別係数学習装置２００は、教師画像を複数のフィルタに通過させることにより生徒画像群を生成する。このため、特性の異なる複数のフィルタの使用により、特徴の異なる複数の生徒画像が容易に生成される。
【０１２７】
また、判別係数学習装置２００は、最小二乗法を使用した判別係数の演算において、判別対象の生徒画像に目標値Ｙ１を与え、それ以外の生徒画像に目標値Ｙ２を与える。このため、画像情報変換装置１００は、判別演算の結果がＹ１およびＴ２のいずれに近いかを判断することにより、入力された画像が判別対象の生徒画像と類似するか否かを判別することができる。
【０１２８】
また、予測係数学習装置３００は、複数の生徒画像のそれぞれにおいて、その生徒画像内の予測タップ内の予測タップ内の各画素の画素値と教師画素の画素値とに基づいてクラスごとに予測係数群を演算する。これにより、予測係数群が、Ｎ枚の生徒画像についてクラスごとに学習される。
【０１２９】
また、予測係数学習装置３００は、教師画像を複数のフィルタに通過させることにより複数の生徒画像を生成する。このため、特性の異なる複数のフィルタの使用により、特徴の異なる複数の生徒画像が容易に生成される。
【０１３０】
なお、画像情報変換装置１００は、低解像度画像信号を高解像度画像信号にアップコンバートしているが、高解像度画像信号を低解像度画像信号にダウンコンバートすることもできる。ダウンコンバートの場合、１つの予測タップ係数群は、予測タップ内の画素数と同数の予測係数からなるセットを１組のみ含む。
【０１３１】
また、クラスタップ内の画素数を予測タップ内の画素数と異なる値としているが、クラスタップ内の画素数を予測タップ内の画素数と同数としてもよい。
【０１３２】
また、クラスタップおよび予測タップの画素群は、図４に例示した画素群に限定されない。例えば、注目画素を中心とする３×３画素からなる正方形の画素群をクラスタップまたは予測タップとしてもよい。
【０１３３】
また、図４に例示したように低解像度画像をインターレス方式の動画における画像としているが、ノンインターレス方式の動画における画像としてもよい。
【０１３４】
また、クラス分類部１２０は、階調数を減じることによりクラス分類を行っているが、階調数の削減以外の手法を使用してクラス分類を行うこともできる。例えば、クラス分類部１２０は、クラスごとに予め定義しておいた３次元分布の形状パターンと、クラスタップの形状パターンとのマッチングをとった結果に基づいてクラスを分類することもできる。また、クラス分類部１２０は、ＡＤＲＣにより階調数を減じているが、ＡＤＲＣ以外の処理により階調数を減じてもよい。例えば、クラス分類部１２０は、ダイナミックレンジを算出せず、クラスタップ内の各画素値を所定値（例えば、１２８）と比較することにより階調数を減じてもよい。
【０１３５】
また、予測タップ種別の分類において、学習時における予測タップの抽出元の画像の圧縮率に応じて各予測タップを複数の予測タップ種別に分類しているが、圧縮率以外の種類に基づいて、予測タップを分類してもよい。例えば、ぼかしや輪郭強調などの効果の異なる複数の２次元フィルタにより生成された生徒画像で学習することにより、画像に施されたぼかしや、輪郭強調の程度に基づいて予測タップを分類してもよい。
【０１３６】
また、画像情報変換装置１００の判別演算部１４０は、上記式１に例示した線形一次結合式により、判別演算を行っているが、判別演算は上記式１に限定されない。例えば、判別係数と画素値の二乗との積を含む２次式による演算であってもよい。この場合、上記１２式の正規方程式も変更される。
【０１３７】
また、画像情報変換装置１００の予測演算部１６０は、上記式２に例示した線形一次結合式により、予測演算を行っているが、予測演算は、上記式２に限定されない。例えば、予測係数と画素値の二乗との積を含む２次式による演算であってもよい。この場合、上記１３式の正規方程式も変更される。
【０１３８】
また、判別係数記憶部１３１は、Ｎ個の判別係数メモリ１３２を備えているが、判別係数記憶部１３１の構成は、この構成に限定されない。例えば、判別係数記憶部１３１は、Ｎ個の領域を有する１つのメモリを備える構成とすることもできる。
【０１３９】
予測係数記憶部１５１は、Ｎ個の予測係数メモリ１５２を備えているが、予測係数記憶部１５１の構成は、この構成に限定されない。例えば、予測係数記憶部１５１は、Ｎ個の領域を有する１つのメモリを備える構成とすることもできる。
【０１４０】
また、判別係数学習装置２００は、Ｎ枚のフィルタを使用してＮ枚の生徒画像を生成しているが、Ｎ枚の生徒画像を供給できるのであれば、Ｎ枚のフィルタを備える構成に限定されない。例えば、判別係数学習装置２００は、Ｎ枚のフィルタを備えず、予め生成されたＮ枚の生徒画像を外部から受け取る構成としてもよい。
【０１４１】
また、判別係数学習装置２００は、１枚の教師画像を用いて判別係数を学習しているが、２以上の教師画像を使用することもできる。この場合、複数の教師画像から生成した生徒画像群をＮ回供給して判別係数を学習してもよいし、１枚の教師画像から生成した生徒画像群をＮ回供給する学習を複数回行ってもよい。予測係数学習装置３００も、同様に２枚以上の教師画像を使用してもよい。
【０１４２】
＜変形例＞
［判別係数学習装置の動作例］
図２５は、変形例における判別係数の学習方法の一例を示す図である。変形例の判別係数学習装置２００は、２次元フィルタ２１１を１枚のみ備える点において、第１の実施の形態の判別係数学習装置２００と異なる。判別係数学習装置２００には、図２５に示すように、Ｎ個の教師画像＃１乃至＃Ｎが供給される。教師画像＃１は自然画であり、教師画像＃ＮはＣＧ（Computer Graphics）画像である。教師画像＃２乃至Ｎ−１は、自然画に近い順に配列された画像である。教師画像＃１乃至＃Ｎを２次元フィルタ２１１に通過させて解像度を変更することにより、生徒画像＃１乃至＃Ｎが生成される。生徒画像供給部２１３は、生徒画像＃１乃至Ｎの生徒画像群を複数回、タップ抽出部２３０に供給する。各学習において、Ｎ個の生徒画像のうちのいずれかが判別対象の生徒画像として指定される。予測係数の学習においても、同様の学習方法が用いられる。
【０１４３】
このように、変形例によれば、判別係数学習装置２００は、自然画またはＣＧ画像に近い各生徒画像において、判別係数を学習する。このため、画像情報変換装置１００は、その判別係数を使用して入力された画像が、自然画またはＣＧ画像のいずれに近い画像であるかを判別できる。
【０１４４】
＜２．第２の実施の形態＞
［画像情報変換装置の構成例］
図２６は、第２の実施の形態における画像情報変換装置１００の一構成例を示すブロック図である。第２の実施の形態の画像情報変換装置１００は、判別演算部１４０の代わりに判別演算部１４１を備える点において第１の実施の形態の画像情報変換装置１００と異なる。また、操作信号履歴情報記録部１７０、視聴環境検出部１８０、および、画質調整部１９０をさらに備える点において第１の実施の形態の画像情報変換装置１００と異なる。
【０１４５】
画質調整部１９０は、予測演算部１６０により生成された高画質画像の画質を、操作信号に従って調整するものである。操作信号は、高解像度画像の画質に影響を与える画質パラメータの値の変更を指示する信号である。画質パラメータは、例えば、ブライトネス（すなわち、輝度）、ガンマ、コントラストなどである。画質調整部１９０は、調整後の高画質画像を示す高画質画像信号を、表示装置などに出力する。
【０１４６】
操作信号履歴情報記録部１７０は、画質調整部１９０に出力された操作信号により調整された画質パラメータの値を記録するものである。操作信号履歴情報記録部１７０は、調整後の画質パラメータの値の履歴を記録して、その履歴から、高解像度画像に行われる調整の内容を推定する。操作信号履歴情報記録部１７０は、推定した画質調整に基づいて候補判定結果列をシフトするシフト量Ａを判別演算部１４１に信号線１７９を介して出力する。
【０１４７】
ここで、シフト量Ａは、推定した調整に適した予測係数群が属する予測タップ種別を、適さない予測係数群が属する予測タップ種別よりも優先する方向に候補判定結果列をビットシフトする量である。各予測係数群が推定した画質調整に適するか否かは、その予測係数群を選択した場合に、調整後において適切な高解像度画像となるか否かにより判断される。例えば、輝度を高くする調整が推定される場合、入力された低解像度画像の実際の圧縮率よりも低い圧縮率の画像で学習した予測係数群を使用した方がよい。実際の圧縮率より低い圧縮率で学習した予測係数群を使用した予測演算により、より高画質の高解像度画像が生成される。このように高解像度感が強調された画像の方が、高輝度下において見易く、画質もよく見える。この傾向に基づいて、高輝度に調整される場合は、低圧縮の生徒画像で学習した予測係数群が属する予測タップ種別を優先する方向に候補判定結果列がシフトされる。逆に低輝度に調整される場合は、高圧縮の生徒画像に対応する予測タップ種別を優先する方向に候補判定結果列がシフトされる。
【０１４８】
視聴環境検出部１８０は、高解像度画像を視聴する視聴環境を示す視聴環境パラメータを検出するものである。視聴環境パラメータは、例えば、高解像度画像を表示する表示装置が設置された室内の照度や、その表示装置の種別である。表示装置の種別は、具体的には、表示装置の物理的な画面サイズや、液晶かプラズマディスプレイかなどの表示方式に基づいて分類される種類である。室内の照度は、光センサからのセンサ信号などにより取得される。視聴環境検出部は、視聴環境パラメータに基づいて候補判定結果列をシフトするシフト量Ｂを判別演算部１４１に信号線１８９を介して出力する。
【０１４９】
ここで、シフト量Ｂは、視聴環境パラメータの示す視聴環境に適した予測係数群が属する予測タップ種別を優先する方向に候補判定結果列をビットシフトする量である。各予測係数群が、ある視聴環境に適するか否かは、その予測係数群を選択した場合に、その視聴環境における視聴に適した高解像度画像が生成されるか否かによって判断される。例えば、明るい室内では、入力された低解像度画像の実際の圧縮率よりも低い圧縮率の画像で学習した予測係数群を使用した方が、見易い高解像度画像が得られる。この傾向に基づいて、照度が高い場合は、低圧縮の生徒画像で学習した予測係数群が属する予測タップ種別を優先する方向に候補判定結果列がシフトされる。逆に照度が低い場合は、高圧縮の生徒画像に対応する予測タップ種別を優先する方向に候補判定結果列がシフトされる。
【０１５０】
判別演算部１４１は、生成した候補判定結果列をシフト量ＡおよびＢの分だけビットシフトする。シフト演算は、例えば、空いたビットに０を挿入する論理シフトにより実行される。そして、判別演算部１４１は、シフトした候補判定結果列に基づいて予測タップ種別を判別して、種別コードを出力する。
【０１５１】
なお、操作信号履歴情報記録部１７０は、特許請求の範囲に記載の記録部の一例である。
【０１５２】
図２７は、候補判定結果列の構成例を示す図である。候補判定結果列において、圧縮率の高い順に、各候補判定結果が並べられる。より具体的には、先頭に圧縮率の最も高い画像に係る予測タップ種別についての候補判定結果ｂ１が配置され、以降は、圧縮率の高い順に候補判定結果ｂ２乃至ｂＮが並べられる。この候補判定結果列をシフトする方向は、シフト量の符号により設定される。例えば、圧縮率の高い方向へシフトさせる場合、シフト量の符号に−が設定され、圧縮率の低い方向へシフトさせる場合、シフト量の符号に＋が設定される。シフトによって空いたビットには、０が挿入される。
【０１５３】
図２８は、シフト量Ａの設定例を示す図である。シフト量Ａは、画質調整に適した予測係数群が使用されるように設定される。例えば、画質パラメータとしてコントラストの値が１乃至１００の１００段階で調整され、値が大きいほどコントラストが強くなる場合を考える。コントラストの強い画質調整が行われる場合、低圧縮の生徒画像で学習した予測係数群を使用した方が、調整後の画像の画質がよく見える。逆にコントラストが弱いと、高圧縮の生徒画像で学習した予測係数群を使用した方が、画質がよく見える。この傾向に基づいて、コントラストの統計量（例えば、平均値）が１乃至３０の場合、高圧縮の画像に係る予測タップ種別の方へ１ビットシフトさせるシフト量−１が設定される。コントラストの平均値が３１乃至７０の場合、候補判定結果列をビットシフトさせる必要がなく、シフト量０が設定される。コントラストの平均値が７１乃至１００の場合、低圧縮の画像に係る予測タップ種別の方へ１ビットシフトさせるシフト量＋１が設定される。シフト量Ｂについても、シフト量Ａと同様に、視聴環境パラメータの統計量ごとに、予めシフト量が設定される。
【０１５４】
図２９は、第２の実施の形態における操作信号履歴情報記録部１７０の一構成例を示すブロック図である。操作信号履歴情報記録部１７０は、操作信号解析部１７１、統計処理部１７２、および、シフト量出力部１７３を備える。
【０１５５】
操作信号解析部１７１は、検出された操作信号を解析するものである。操作信号の解析においては、調整された画質パラメータの値などが解析される。操作信号解析部１７１は、解析した結果を統計処理部１７２に出力する。
【０１５６】
統計処理部１７２は、操作信号の解析結果に対して統計処理を行うものである。統計処理部１７２は、例えば、所定期間内における画質パラメータの値の平均値や中央値などの統計量を演算する。統計処理部１７２は、統計処理の結果をシフト量出力部１７３に出力する。
【０１５７】
シフト量出力部１７３は、統計結果に基づいてシフト量Ａを決定するものである。シフト量Ａは、統計量ごとに予め設定されている。シフト量出力部１７３は、決定したシフト量を判別演算部１４１に信号線１７９を介して出力する。
【０１５８】
図３０は、第２の実施の形態における視聴環境検出部１８０の一構成例を示すブロック図である。視聴環境検出部１８０は、センサ信号解析部１８１、統計処理部１８２、および、シフト量出力部１８３を備える。
【０１５９】
センサ信号解析部１８１は、センサ信号を解析するものである。センサ信号は、例えば、高解像度画像を視聴する表示装置が設置された室内において光センサが検出した、室内の照度を示す信号である。センサ信号解析部１８１は、解析結果を統計処理部１８２に出力する。
【０１６０】
統計処理部１８２は、センサ信号の解析結果に対して統計処理を行うものである。統計処理部１８２は、例えば、所定期間内における照度の平均値や中央値などの統計量を演算する。統計処理部１８２は、統計処理の結果をシフト量出力部１８３に出力する。
【０１６１】
シフト量出力部１８３は、統計結果に基づいてシフト量Ｂを決定するものである。シフト量Ｂは、統計量ごとに予め設定されている。シフト量出力部１８３は、決定したシフト量を判別演算部１４１に信号線１８９を介して出力する。
【０１６２】
図３１は、第２の実施の形態における判別演算部１４１の一構成例を示すブロック図である。判別演算部１４１の構成は、シフト部１４５をさらに備える点において第１の実施の形態の判別演算部１４０と異なる。判別演算部１４１において候補判定結果列生成部１４４は、候補判定結果列をシフト部１４５に出力する。
【０１６３】
シフト部１４５は、候補判定結果列に対してシフト演算を行うものである。シフト部１４５は、候補判定結果列生成部１４４から候補判定結果列を受け取り、操作信号履歴情報記録部１７０および視聴環境検出部１８０からシフト量ＡおよびＢを受け取る。シフト部１４５は、シフト量ＡおよびＢに基づいて候補判定結果列に対するシフト演算を行う。シフト部１４５は、シフト演算後の候補判定結果列を予測タップ種別決定部１４６に出力する。
【０１６４】
［画像情報変換装置の動作例］
図３２は、第２の実施の形態における予測タップ種別判別処理の一例を示すフローチャートである。第２の実施形態における予測タップ種別判別処理は、ステップＳ９２３をさらに実行する点において第１の実施の形態と異なる。
【０１６５】
判別演算部１４１は、候補判定結果列を生成した後（ステップＳ９２２）、候補判定結果列をシフト量に基づいてシフトする（ステップＳ９２３）。判別演算部１４１は、シフトした候補判定結果列から予測タップ種別を決定する（ステップＳ９２４）。
【０１６６】
このように第２の実施の形態によれば、判別演算部１４１は、画質調整に適した予測係数群が属する予測タップ種別を優先する方向に候補判定結果列をビットシフトする。このため、操作信号により画調整が行われる場合であっても、高い変換精度を維持できる。
【０１６７】
また、判別演算部１４１は、視聴環境に適した予測係数群が属する予測タップ種別を優先する方向に候補判定結果列をビットシフトする。このため、視聴環境に関りなく、高い変換精度を維持できる。
【０１６８】
なお、操作信号履歴情報記録部１７０は、操作信号から、操作したユーザを特定する情報をさらに取得することもできる。例えば、操作信号を発信するリモートコントロール装置において、操作時にユーザを特定するコードを入力することでユーザ認証を行う構成とし、操作信号から、操作信号履歴情報記録部１７０は、そのコードを取得してユーザを特定する。この場合、ユーザごとに統計処理が行われる。
【０１６９】
また、操作信号を発信できるリモートコントロール装置が複数ある場合、操作信号履歴情報記録部１７０は、いずれの装置からの操作信号であるかを解析してもよい。この場合、装置ごとに統計処理が行われる。
【０１７０】
また、視聴環境検出部１８０は、視聴環境を示すパラメータであれば、照度以外のパラメータを検出することもできる。例えば、視聴環境検出部１８０は、高解像度画像を表示する表示装置の物理的な画面サイズを検出してもよい。画面サイズが大きい表示装置での視聴に適した高解像度画像を予測する予測演算においては、低圧縮の生徒画像で学習した予測係数群が適している。この傾向に基づいてシフト量が決定される。
【０１７１】
また、予測タップ種別の分類において、学習時における予測タップの抽出元の画像の圧縮率で、各予測タップを複数の予測タップ種別に分類しているが、圧縮率以外の種類に基づいて、予測タップを分類してもよい。例えば、学習時の抽出元の画像が自然画またはＣＧ画像のいずれに近いかにより予測タップ種別に分類してもよい。自然画またはＣＧ画像のいずれに近いかにより予測タップ種別を分類した場合、コントラストが強いほど、ＣＧ画像に近い画像で学習した予測係数群が適している。この傾向に基づいてシフト量が決定される。
【０１７２】
＜第３の実施の形態＞
［画像情報変換装置の構成例］
図３３は、第３の実施の形態における画像情報変換装置１００の一構成例を示すブロック図である。第３の実施の形態の画像情報変換装置１００は、平均波形演算部１８５をさらに備える点において第１の実施の形態の画像情報変換装置１００と異なる。第２の変形例における予測タップ抽出部１１１は、予測タップ内の各画素値を平均波形演算部１８５にさらに出力する。
【０１７３】
平均波形演算部１８５は、予測タップ内の各画素の画素値の平均値を平均波形として演算するものである。平均波形演算部１８５は、演算した平均波形が学習時における平均波形の範囲外であった場合に、候補判定結果列をシフトするシフト量Ｃを判別演算部１４１に信号線１８９を介して出力する。
【０１７４】
シフト量Ｃは、その平均波形に適した予測係数群が属する予測タップ種別を優先する方向に候補判定結果列をビットシフトする量である。各予測係数群が、平均波形に適するか否かは、その予測係数群を選択した場合に、それ以外の予測係数群を選択する場合よりも、その低解像度画像から変換した高画質画像の画質がよく見えるか否かにより判断される。例えば、画素値を輝度値として、学習時の生徒画像よりも明るい低解像度画像が入力された場合、入力された低解像度画像の実際の圧縮率よりも低い圧縮率の画像で学習した予測係数群を使用した方が、比較的適切な高解像度画像が生成される。
【０１７５】
図３４は、第３の実施の形態における平均波形演算部１８５の一構成例を示すブロック図である。平均波形演算部１８５は、平均波形演算器１８６およびシフト量出力部１８７を備える。
【０１７６】
平均波形演算器１８６は、予測タップ内の各画素値から平均波形を演算するものである。平均波形演算器１８６は、演算した平均波形をシフト量出力部１８７に出力する。
【０１７７】
シフト量出力部１８７は、平均波形に基づいてシフト量Ｃを決定するものである。シフト量出力部１８７は、決定したシフト量Ｃを判別演算部１４１に出力する。シフト量Ｃは、平均波形の値ごとに予め設定される。判別演算部１４１は、そのシフト量Ｃに基づいて候補判定結果列をシフトする。
【０１７８】
このように、第３の実施の形態によれば、画像情報変換装置１００は、平均波形に適した予測係数群が属する予測タップ種別を優先する方向に候補判定結果列をシフトする。このため、学習時の平均波形の範囲外の低解像度画像が入力された場合であっても、適切な予測タップ係数群が選択され、画質が低下しにくい。
【０１７９】
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
【０１８０】
また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disk）、メモリカード、ブルーレイディスク（Blu-ray Disc（登録商標））等を用いることができる。
【０１８１】
なお、本技術は以下のような構成もとることができる。
（１）第１の画像内のいずれかの画素を注目画素として当該注目画素を含む第１の画素群であるクラスタップと前記注目画素を含む第２の画素群である予測タップとを前記第１の画像から抽出するタップ抽出部と、
前記クラスタップ内の各画素の画素値の３次元分布の形状パターンを複数のクラスのうちのいずれかに分類するクラス分類部と、
複数の予測タップ種別のうちのいずれに前記予測タップが属するかを判別する判別演算において使用すべき係数群として前記予測タップ種別ごとに前記複数のクラスに対応付けて設定された複数の判別係数群の中から前記複数の予測タップ種別のそれぞれにおいて前記分類されたクラスに対応する前記判別係数群を選択する判別係数選択部と、
前記選択された判別係数群と前記予測タップ内の各画素の画素値とに基づいて前記判別演算を実行した結果から前記予測タップが属する前記予測タップ種別を判別する判別演算部と、
前記第１の画像の解像度を変更した画像である第２の画像内の画素の画素値を予測する予測演算において使用すべき係数群として前記複数のクラスと前記複数の予測タップ種別との各組合せに対応付けて設定された複数の予測係数群の中から前記分類されたクラスと前記判別された予測タップ種別との組合せに対応する前記予測係数群を選択する予測係数選択部と、
前記選択された予測係数群と前記予測タップ内の各画素の画素値とに基づいて前記予測演算を実行する予測演算部と
を具備する画像情報変換装置。
（２）前記クラス分類部は、前記クラスタップ内の各画素の画素値の階調数を減じて当該階調数を減じた前記画素値に基づいて前記形状パターンを前記複数のクラスのうちのいずれかに分類する前記（１）の画像情報変換装置。
（３）前記判別演算部は、
前記選択された前記判別係数群内の各判別係数と前記予測タップ内の各画素の画素値との積和演算を前記判別演算として実行する判別演算実行部と、
前記複数の予測タップ種別のそれぞれにおける前記積和演算の結果と所定の閾値とを比較して比較した結果の各々を比較結果として出力する比較部と、
前記比較結果に基づいて前記予測タップが属する前記予測タップ種別を判別する予測タップ種別判別部と
を備える前記（１）または（２）記載の画像情報変換装置。
（４）前記第２の画像の画質を調整する操作信号を記録する記録部をさらに具備し、
前記予測タップ種別判別部は、前記記録された操作信号により行われる前記画質の調整に適した前記予測係数群が属する前記予測タップ種別を優先して前記複数の予測タップのうちのいずれかを選択する
前記（３）記載の画像情報変換装置。
（５）前記第２の画像の視聴環境を示す視聴環境パラメータを検出する視聴環境検出部をさらに具備し、
前記予測タップ種別判別部は、前記視聴環境パラメータの示す前記視聴環境に適した前記予測係数群が属する前記予測タップ種別を優先して前記複数の予測タップ種別のうちのいずれかを選択する
前記（３）記載の画像情報変換装置。
（６）前記視聴環境パラメータは、前記第２の画像を表示する表示装置が設置された室内の照明の照度を含む
前記（５）記載の画像情報変換装置。
（７）前記視聴環境パラメータは、前記第２の画像を表示する表示装置の種別を含む
前記（５）または（６）記載の画像情報変換装置。
（８）前記予測タップ内の各画素の画素値の平均値を演算する平均値演算部をさらに具備し、
前記予測タップ種別判別部は、
前記平均値が所定の範囲外である場合に前記平均値に適した前記予測係数群が属する前記予測タップ種別を優先して前記複数の予測タップ種別のうちのいずれかを選択する
前記（３）記載の画像情報変換装置。
（９）第１の画像内のいずれかの画素を注目画素として当該注目画素を含む第１の画素群であるクラスタップと前記注目画素を含む第２の画素群である予測タップとを前記第１の画像から抽出するタップ抽出ステップと、
前記クラスタップ内の各画素の画素値の３次元分布の形状パターンを複数のクラスのうちのいずれかに分類するクラス分類ステップと、
複数の予測タップ種別のうちのいずれに前記予測タップが属するかを判別する判別演算において使用すべき係数群として前記予測タップ種別ごとに前記複数のクラスに対応付けて設定された複数の判別係数群の中から前記複数の予測タップ種別のそれぞれにおいて前記分類されたクラスに対応する前記判別係数群を選択する判別係数選択ステップと、
前記選択された判別係数群と前記予測タップ内の各画素の画素値とに基づいて前記判別演算を実行した結果から前記予測タップが属する前記予測タップ種別を判別する判別演算ステップと、
前記第１の画像の解像度を変更した画像である第２の画像内の画素の画素値を予測する予測演算において使用すべき係数群として前記複数のクラスと前記複数の予測タップ種別との各組合せに対応付けて設定された複数の予測係数群の中から前記分類されたクラスと前記判別された予測タップ種別との組合せに対応する前記予測係数群を選択する予測係数選択ステップと、
前記選択された予測係数群と前記予測タップ内の各画素の画素値とに基づいて前記予測演算を実行する予測演算ステップと
を具備する画像情報変換装置の制御方法。
（１０）第１の画像内のいずれかの画素を注目画素として当該注目画素を含む第１の画素群であるクラスタップと前記注目画素を含む第２の画素群である予測タップとを前記第１の画像から抽出するタップ抽出ステップと、
前記クラスタップ内の各画素の画素値の３次元分布の形状パターンを複数のクラスのうちのいずれかに分類するクラス分類ステップと、
複数の予測タップ種別のうちのいずれに前記予測タップが属するかを判別する判別演算において使用すべき係数群として前記予測タップ種別ごとに前記複数のクラスに対応付けて設定された複数の判別係数群の中から前記複数の予測タップ種別のそれぞれにおいて前記分類されたクラスに対応する前記判別係数群を選択する判別係数選択ステップと、
前記選択された判別係数群と前記予測タップ内の各画素の画素値とに基づいて前記判別演算を実行した結果から前記予測タップが属する前記予測タップ種別を判別する判別演算ステップと、
前記第１の画像の解像度を変更した画像である第２の画像内の画素の画素値を予測する予測演算において使用すべき係数群として前記複数のクラスと前記複数の予測タップ種別との各組合せに対応付けて設定された複数の予測係数群の中から前記分類されたクラスと前記判別された予測タップ種別との組合せに対応する前記予測係数群を選択する予測係数選択ステップと、
前記選択された予測係数群と前記予測タップ内の各画素の画素値とに基づいて前記予測演算を実行する予測演算ステップと
をコンピュータに実行させるためのプログラム。
（１１）複数の異なる画像のそれぞれを生徒画像として複数の前記生徒画像からなる生徒画像群を複数回入力する生徒画像入力部と、
前記入力された生徒画像内のいずれかの画素を注目画素として当該注目画素を含む第１の画素群であるクラスタップと前記注目画素を含む第２の画素群である予測タップとを前記画像から抽出するタップ抽出部と、
前記クラスタップ内の各画素の画素値の３次元分布の形状パターンを複数のクラスのうちのいずれかに分類するクラス分類部と、
前記生徒画像群内のいずれかの前記生徒画像を判別画像として前記判別画像が入力された場合に第１の目標値を生成し、前記判別画像以外の前記生徒画像が入力された場合に第２の目標値を生成する目標値生成部と、
画像の解像度を変更する場合において変更対象の前記画像が前記学習画像に類似するか否かを判別する判別演算において使用すべき判別係数群を前記第１および第２の目標値と前記予測タップ内の各画素の画素値とに基づいて前記クラスごとに演算する判別係数演算部と
を具備する判別係数学習装置。
（１２）前記生徒画像入力部は、前記生徒画像の解像度を変更した画像である教師画像を複数のフィルタに通過させることにより前記生徒画像群を生成するフィルタ部と、
前記生成された複数の生徒画像群を複数回入力する生徒画像供給部とを備える前記（１１）記載の判別係数学習装置。
（１３）前記判別演算は、前記判別係数群内の各判別係数と前記変更対象の画像内の前記予測タップ内の各画素値との積和演算であり、
前記判別係数演算部は、前記学習画像における前記判別演算の結果と前記第１の目標値との間の差分の二乗和に前記学習画像以外の前記生徒画像における前記判別演算の結果と前記第２の目標値との間の差分の二乗和を加算した値を最小にする前記判別係数群を前記複数のクラスの各々について演算する
前記（１１）または（１２）記載の判別係数学習装置。
（１４）複数の異なる画像のそれぞれを生徒画像として複数の前記生徒画像からなる生徒画像群を複数回入力する生徒画像入力ステップと、
前記入力された生徒画像内のいずれかの画素を注目画素として当該注目画素を含む第１の画素群であるクラスタップと前記注目画素を含む第２の画素群である予測タップとを前記画像から抽出するタップ抽出ステップと、
前記クラスタップ内の各画素の画素値の３次元分布の形状パターンを複数のクラスのうちのいずれかに分類するクラス分類ステップと、
前記生徒画像群内のいずれかの前記生徒画像を判別画像として前記判別画像が入力された場合に第１の目標値を生成し、前記判別画像以外の前記生徒画像が入力された場合に第２の目標値を生成する目標値生成ステップと、
画像の解像度を変更する場合において変更対象の前記画像が前記学習画像に類似するか否かを判別する判別演算において使用すべき判別係数群を前記第１および第２の目標値と前記予測タップ内の各画素の画素値とに基づいて前記クラスごとに演算する判別係数演算ステップと
を具備する判別係数学習装置の制御方法。
（１５）複数の異なる画像のそれぞれを生徒画像として複数の前記生徒画像からなる生徒画像群を複数回入力する生徒画像入力ステップと、
前記入力された生徒画像内のいずれかの画素を注目画素として当該注目画素を含む第１の画素群であるクラスタップと前記注目画素を含む第２の画素群である予測タップとを前記画像から抽出するタップ抽出ステップと、
前記クラスタップ内の各画素の画素値の３次元分布の形状パターンを複数のクラスのうちのいずれかに分類するクラス分類ステップと、
前記生徒画像群内のいずれかの前記生徒画像を判別画像として前記判別画像が入力された場合に第１の目標値を生成し、前記判別画像以外の前記生徒画像が入力された場合に第２の目標値を生成する目標値生成ステップと、
画像の解像度を変更する場合において変更対象の前記画像が前記学習画像に類似するか否かを判別する判別演算において使用すべき判別係数群を前記第１および第２の目標値と前記予測タップ内の各画素の画素値とに基づいて前記クラスごとに演算する判別係数演算ステップと
を実行させるためのプログラム。
（１６）複数の異なる画像のそれぞれを生徒画像として入力する生徒画像入力部と、
前記入力された生徒画像内のいずれかの画素を注目画素として当該注目画素を含む第１の画素群であるクラスタップと前記注目画素を含む第２の画素群である予測タップとを前記第１の画像から抽出するタップ抽出部と、
前記クラスタップ内の各画素の画素値の３次元分布の形状パターンを複数のクラスのうちのいずれかに分類するクラス分類部と、
前記入力された生徒画像の解像度を変更した画像である教師画像内の１つ以上の画素を教師画素として抽出する教師画素抽出部と、
前記教師画素の画素値を予測する予測演算において使用すべき予測係数群を前記予測タップ内の各画素の画素値と前記教師画素の画素値とに基づいて前記クラスごとに演算する予測係数演算部と
を具備する予測係数学習装置。
（１７）前記生徒画像入力部は、前記教師画像を複数のフィルタに通過させることにより前記複数の生徒画像を生成して入力する
前記（１６）記載の予測係数学習装置。
（１８）複数の異なる画像のそれぞれを生徒画像として入力する生徒画像入力ステップと、
前記入力された生徒画像内のいずれかの画素を注目画素として当該注目画素を含む第１の画素群であるクラスタップと前記注目画素を含む第２の画素群である予測タップとを前記第１の画像から抽出するタップ抽出ステップと、
前記クラスタップ内の各画素の画素値の３次元分布の形状パターンを複数のクラスのうちのいずれかに分類するクラス分類ステップと、
前記入力された生徒画像の解像度を変更した画像である教師画像内の１つ以上の画素を教師画素として抽出する教師画素抽出ステップと、
前記教師画素の画素値を予測する予測演算において使用すべき予測係数群を前記予測タップ内の各画素の画素値と前記教師画素の画素値とに基づいて前記クラスごとに演算する予測係数演算ステップと
を具備する予測係数学習装置の制御方法。
（１９）複数の異なる画像のそれぞれを生徒画像として入力する生徒画像入力ステップと、
前記入力された生徒画像内のいずれかの画素を注目画素として当該注目画素を含む第１の画素群であるクラスタップと前記注目画素を含む第２の画素群である予測タップとを前記第１の画像から抽出するタップ抽出ステップと、
前記クラスタップ内の各画素の画素値の３次元分布の形状パターンを複数のクラスのうちのいずれかに分類するクラス分類ステップと、
前記入力された生徒画像の解像度を変更した画像である教師画像内の１つ以上の画素を教師画素として抽出する教師画素抽出ステップと、
前記教師画素の画素値を予測する予測演算において使用すべき予測係数群を前記予測タップ内の各画素の画素値と前記教師画素の画素値とに基づいて前記クラスごとに演算する予測係数演算ステップと
をコンピュータに実行させるためのプログラム。
【符号の説明】
【０１８２】
１００ 画像情報変換装置
１１０、２３０、３３０ タップ抽出部
１１１ 予測タップ抽出部
１１２ クラスタップ抽出部
１２０、２４０、３４０ クラス分類部
１２１ 再量子化部
１２２ クラスコード決定部
１３０ 判別係数選択部
１３１、２８０ 判別係数記憶部
１３２ 判別係数メモリ
１３３ 判別係数読出部
１４０、１４１ 判別演算部
１４２ 判別演算器
１４３ 閾値処理部
１４４ 候補判定結果列生成部
１４５ シフト部
１４６ 予測タップ種別決定部
１５０ 予測係数選択部
１５１ 予測係数記憶部
１５２ 予測係数メモリ
１５３ 予測係数読出部
１５４、３１２ セレクタ
１６０ 予測演算部
１７０ 操作信号履歴情報記録部
１７１ 操作信号解析部
１７２、１８２、２７１ 統計処理部
１７３、１８３、１８７ シフト量出力部
１８０ 視聴環境検出部
１８１ センサ信号解析部
１８５ 平均波形演算部
１８６ 平均波形演算器
１９０ 画質調整部
２００ 判別係数学習装置
２１０、３１０ フィルタ部
２１１、３１１ ２次元フィルタ
２１２ 生徒画像記憶部
２１３ 生徒画像供給部
２２０ 目標値供給部
２５０ 判別係数演算部
２６０ 正規方程式生成部
２７０ 判別係数決定部
２７２ 行列成分合計値記憶部
２７３ 判別係数演算器
３００ 予測係数学習装置
３２０ 教師画素抽出部
３５０ 予測係数演算部
【特許請求の範囲】
【請求項１】
第１の画像内のいずれかの画素を注目画素として当該注目画素を含む第１の画素群であるクラスタップと前記注目画素を含む第２の画素群である予測タップとを前記第１の画像から抽出するタップ抽出部と、
前記クラスタップ内の各画素の画素値の３次元分布の形状パターンを複数のクラスのうちのいずれかに分類するクラス分類部と、
複数の予測タップ種別のうちのいずれに前記予測タップが属するかを判別する判別演算において使用すべき係数群として前記予測タップ種別ごとに前記複数のクラスに対応付けて設定された複数の判別係数群の中から前記複数の予測タップ種別のそれぞれにおいて前記分類されたクラスに対応する前記判別係数群を選択する判別係数選択部と、
前記選択された判別係数群と前記予測タップ内の各画素の画素値とに基づいて前記判別演算を実行した結果から前記予測タップが属する前記予測タップ種別を判別する判別演算部と、
前記第１の画像の解像度を変更した画像である第２の画像内の画素の画素値を予測する予測演算において使用すべき係数群として前記複数のクラスと前記複数の予測タップ種別との各組合せに対応付けて設定された複数の予測係数群の中から前記分類されたクラスと前記判別された予測タップ種別との組合せに対応する前記予測係数群を選択する予測係数選択部と、
前記選択された予測係数群と前記予測タップ内の各画素の画素値とに基づいて前記予測演算を実行する予測演算部と
を具備する画像情報変換装置。
【請求項２】
前記クラス分類部は、前記クラスタップ内の各画素の画素値の階調数を減じて当該階調数を減じた前記画素値に基づいて前記形状パターンを前記複数のクラスのうちのいずれかに分類する請求項１記載の画像情報変換装置。
【請求項３】
前記判別演算部は、
前記選択された前記判別係数群内の各判別係数と前記予測タップ内の各画素の画素値との積和演算を前記判別演算として実行する判別演算実行部と、
前記複数の予測タップ種別のそれぞれにおける前記積和演算の結果と所定の閾値とを比較して比較した結果の各々を比較結果として出力する比較部と、
前記比較結果に基づいて前記予測タップが属する前記予測タップ種別を判別する予測タップ種別判別部と
を備える請求項１記載の画像情報変換装置。
【請求項４】
前記第２の画像の画質を調整する操作信号を記録する記録部をさらに具備し、
前記予測タップ種別判別部は、前記記録された操作信号により行われる前記画質の調整に適した前記予測係数群が属する前記予測タップ種別を優先して前記複数の予測タップのうちのいずれかを選択する
請求項３記載の画像情報変換装置。
【請求項５】
前記第２の画像の視聴環境を示す視聴環境パラメータを検出する視聴環境検出部をさらに具備し、
前記予測タップ種別判別部は、前記視聴環境パラメータの示す前記視聴環境に適した前記予測係数群が属する前記予測タップ種別を優先して前記複数の予測タップ種別のうちのいずれかを選択する
請求項３記載の画像情報変換装置。
【請求項６】
前記視聴環境パラメータは、前記第２の画像を表示する表示装置が設置された室内の照明の照度を含む
請求項５記載の画像情報変換装置。
【請求項７】
前記視聴環境パラメータは、前記第２の画像を表示する表示装置の種別を含む
請求項５記載の画像情報変換装置。
【請求項８】
前記予測タップ内の各画素の画素値の平均値を演算する平均値演算部をさらに具備し、
前記予測タップ種別判別部は、
前記平均値が所定の範囲外である場合に前記平均値に適した前記予測係数群が属する前記予測タップ種別を優先して前記複数の予測タップ種別のうちのいずれかを選択する
請求項３記載の画像情報変換装置。
【請求項９】
第１の画像内のいずれかの画素を注目画素として当該注目画素を含む第１の画素群であるクラスタップと前記注目画素を含む第２の画素群である予測タップとを前記第１の画像から抽出するタップ抽出ステップと、
前記クラスタップ内の各画素の画素値の３次元分布の形状パターンを複数のクラスのうちのいずれかに分類するクラス分類ステップと、
複数の予測タップ種別のうちのいずれに前記予測タップが属するかを判別する判別演算において使用すべき係数群として前記予測タップ種別ごとに前記複数のクラスに対応付けて設定された複数の判別係数群の中から前記複数の予測タップ種別のそれぞれにおいて前記分類されたクラスに対応する前記判別係数群を選択する判別係数選択ステップと、
前記選択された判別係数群と前記予測タップ内の各画素の画素値とに基づいて前記判別演算を実行した結果から前記予測タップが属する前記予測タップ種別を判別する判別演算ステップと、
前記第１の画像の解像度を変更した画像である第２の画像内の画素の画素値を予測する予測演算において使用すべき係数群として前記複数のクラスと前記複数の予測タップ種別との各組合せに対応付けて設定された複数の予測係数群の中から前記分類されたクラスと前記判別された予測タップ種別との組合せに対応する前記予測係数群を選択する予測係数選択ステップと、
前記選択された予測係数群と前記予測タップ内の各画素の画素値とに基づいて前記予測演算を実行する予測演算ステップと
を具備する画像情報変換装置の制御方法。
【請求項１０】
第１の画像内のいずれかの画素を注目画素として当該注目画素を含む第１の画素群であるクラスタップと前記注目画素を含む第２の画素群である予測タップとを前記第１の画像から抽出するタップ抽出ステップと、
前記クラスタップ内の各画素の画素値の３次元分布の形状パターンを複数のクラスのうちのいずれかに分類するクラス分類ステップと、
複数の予測タップ種別のうちのいずれに前記予測タップが属するかを判別する判別演算において使用すべき係数群として前記予測タップ種別ごとに前記複数のクラスに対応付けて設定された複数の判別係数群の中から前記複数の予測タップ種別のそれぞれにおいて前記分類されたクラスに対応する前記判別係数群を選択する判別係数選択ステップと、
前記選択された判別係数群と前記予測タップ内の各画素の画素値とに基づいて前記判別演算を実行した結果から前記予測タップが属する前記予測タップ種別を判別する判別演算ステップと、
前記第１の画像の解像度を変更した画像である第２の画像内の画素の画素値を予測する予測演算において使用すべき係数群として前記複数のクラスと前記複数の予測タップ種別との各組合せに対応付けて設定された複数の予測係数群の中から前記分類されたクラスと前記判別された予測タップ種別との組合せに対応する前記予測係数群を選択する予測係数選択ステップと、
前記選択された予測係数群と前記予測タップ内の各画素の画素値とに基づいて前記予測演算を実行する予測演算ステップと
をコンピュータに実行させるためのプログラム。
【請求項１１】
複数の異なる画像のそれぞれを生徒画像として複数の前記生徒画像からなる生徒画像群を複数回入力する生徒画像入力部と、
前記入力された生徒画像内のいずれかの画素を注目画素として当該注目画素を含む第１の画素群であるクラスタップと前記注目画素を含む第２の画素群である予測タップとを前記画像から抽出するタップ抽出部と、
前記クラスタップ内の各画素の画素値の３次元分布の形状パターンを複数のクラスのうちのいずれかに分類するクラス分類部と、
前記生徒画像群内のいずれかの前記生徒画像を判別画像として前記判別画像が入力された場合に第１の目標値を生成し、前記判別画像以外の前記生徒画像が入力された場合に第２の目標値を生成する目標値生成部と、
画像の解像度を変更する場合において変更対象の前記画像が前記学習画像に類似するか否かを判別する判別演算において使用すべき判別係数群を前記第１および第２の目標値と前記予測タップ内の各画素の画素値とに基づいて前記クラスごとに演算する判別係数演算部と
を具備する判別係数学習装置。
【請求項１２】
前記生徒画像入力部は、前記生徒画像の解像度を変更した画像である教師画像を複数のフィルタに通過させることにより前記生徒画像群を生成するフィルタ部と、
前記生成された複数の生徒画像群を複数回入力する生徒画像供給部とを備える請求項１１記載の判別係数学習装置。
【請求項１３】
前記判別演算は、前記判別係数群内の各判別係数と前記変更対象の画像内の前記予測タップ内の各画素値との積和演算であり、
前記判別係数演算部は、前記学習画像における前記判別演算の結果と前記第１の目標値との間の差分の二乗和に前記学習画像以外の前記生徒画像における前記判別演算の結果と前記第２の目標値との間の差分の二乗和を加算した値を最小にする前記判別係数群を前記複数のクラスの各々について演算する
請求項１１記載の判別係数学習装置。
【請求項１４】
複数の異なる画像のそれぞれを生徒画像として複数の前記生徒画像からなる生徒画像群を複数回入力する生徒画像入力ステップと、
前記入力された生徒画像内のいずれかの画素を注目画素として当該注目画素を含む第１の画素群であるクラスタップと前記注目画素を含む第２の画素群である予測タップとを前記画像から抽出するタップ抽出ステップと、
前記クラスタップ内の各画素の画素値の３次元分布の形状パターンを複数のクラスのうちのいずれかに分類するクラス分類ステップと、
前記生徒画像群内のいずれかの前記生徒画像を判別画像として前記判別画像が入力された場合に第１の目標値を生成し、前記判別画像以外の前記生徒画像が入力された場合に第２の目標値を生成する目標値生成ステップと、
画像の解像度を変更する場合において変更対象の前記画像が前記学習画像に類似するか否かを判別する判別演算において使用すべき判別係数群を前記第１および第２の目標値と前記予測タップ内の各画素の画素値とに基づいて前記クラスごとに演算する判別係数演算ステップと
を具備する判別係数学習装置の制御方法。
【請求項１５】
複数の異なる画像のそれぞれを生徒画像として複数の前記生徒画像からなる生徒画像群を複数回入力する生徒画像入力ステップと、
前記入力された生徒画像内のいずれかの画素を注目画素として当該注目画素を含む第１の画素群であるクラスタップと前記注目画素を含む第２の画素群である予測タップとを前記画像から抽出するタップ抽出ステップと、
前記クラスタップ内の各画素の画素値の３次元分布の形状パターンを複数のクラスのうちのいずれかに分類するクラス分類ステップと、
前記生徒画像群内のいずれかの前記生徒画像を判別画像として前記判別画像が入力された場合に第１の目標値を生成し、前記判別画像以外の前記生徒画像が入力された場合に第２の目標値を生成する目標値生成ステップと、
画像の解像度を変更する場合において変更対象の前記画像が前記学習画像に類似するか否かを判別する判別演算において使用すべき判別係数群を前記第１および第２の目標値と前記予測タップ内の各画素の画素値とに基づいて前記クラスごとに演算する判別係数演算ステップと
を実行させるためのプログラム。
【請求項１６】
複数の異なる画像のそれぞれを生徒画像として入力する生徒画像入力部と、
前記入力された生徒画像内のいずれかの画素を注目画素として当該注目画素を含む第１の画素群であるクラスタップと前記注目画素を含む第２の画素群である予測タップとを前記第１の画像から抽出するタップ抽出部と、
前記クラスタップ内の各画素の画素値の３次元分布の形状パターンを複数のクラスのうちのいずれかに分類するクラス分類部と、
前記入力された生徒画像の解像度を変更した画像である教師画像内の１つ以上の画素を教師画素として抽出する教師画素抽出部と、
前記教師画素の画素値を予測する予測演算において使用すべき予測係数群を前記予測タップ内の各画素の画素値と前記教師画素の画素値とに基づいて前記クラスごとに演算する予測係数演算部と
を具備する予測係数学習装置。
【請求項１７】
前記生徒画像入力部は、前記教師画像を複数のフィルタに通過させることにより前記複数の生徒画像を生成して入力する
請求項１６記載の予測係数学習装置。
【請求項１８】
複数の異なる画像のそれぞれを生徒画像として入力する生徒画像入力ステップと、
前記入力された生徒画像内のいずれかの画素を注目画素として当該注目画素を含む第１の画素群であるクラスタップと前記注目画素を含む第２の画素群である予測タップとを前記第１の画像から抽出するタップ抽出ステップと、
前記クラスタップ内の各画素の画素値の３次元分布の形状パターンを複数のクラスのうちのいずれかに分類するクラス分類ステップと、
前記入力された生徒画像の解像度を変更した画像である教師画像内の１つ以上の画素を教師画素として抽出する教師画素抽出ステップと、
前記教師画素の画素値を予測する予測演算において使用すべき予測係数群を前記予測タップ内の各画素の画素値と前記教師画素の画素値とに基づいて前記クラスごとに演算する予測係数演算ステップと
を具備する予測係数学習装置の制御方法。
【請求項１９】
複数の異なる画像のそれぞれを生徒画像として入力する生徒画像入力ステップと、
前記入力された生徒画像内のいずれかの画素を注目画素として当該注目画素を含む第１の画素群であるクラスタップと前記注目画素を含む第２の画素群である予測タップとを前記第１の画像から抽出するタップ抽出ステップと、
前記クラスタップ内の各画素の画素値の３次元分布の形状パターンを複数のクラスのうちのいずれかに分類するクラス分類ステップと、
前記入力された生徒画像の解像度を変更した画像である教師画像内の１つ以上の画素を教師画素として抽出する教師画素抽出ステップと、
前記教師画素の画素値を予測する予測演算において使用すべき予測係数群を前記予測タップ内の各画素の画素値と前記教師画素の画素値とに基づいて前記クラスごとに演算する予測係数演算ステップと
をコンピュータに実行させるためのプログラム。
【請求項１】
第１の画像内のいずれかの画素を注目画素として当該注目画素を含む第１の画素群であるクラスタップと前記注目画素を含む第２の画素群である予測タップとを前記第１の画像から抽出するタップ抽出部と、
前記クラスタップ内の各画素の画素値の３次元分布の形状パターンを複数のクラスのうちのいずれかに分類するクラス分類部と、
複数の予測タップ種別のうちのいずれに前記予測タップが属するかを判別する判別演算において使用すべき係数群として前記予測タップ種別ごとに前記複数のクラスに対応付けて設定された複数の判別係数群の中から前記複数の予測タップ種別のそれぞれにおいて前記分類されたクラスに対応する前記判別係数群を選択する判別係数選択部と、
前記選択された判別係数群と前記予測タップ内の各画素の画素値とに基づいて前記判別演算を実行した結果から前記予測タップが属する前記予測タップ種別を判別する判別演算部と、
前記第１の画像の解像度を変更した画像である第２の画像内の画素の画素値を予測する予測演算において使用すべき係数群として前記複数のクラスと前記複数の予測タップ種別との各組合せに対応付けて設定された複数の予測係数群の中から前記分類されたクラスと前記判別された予測タップ種別との組合せに対応する前記予測係数群を選択する予測係数選択部と、
前記選択された予測係数群と前記予測タップ内の各画素の画素値とに基づいて前記予測演算を実行する予測演算部と
を具備する画像情報変換装置。
【請求項２】
前記クラス分類部は、前記クラスタップ内の各画素の画素値の階調数を減じて当該階調数を減じた前記画素値に基づいて前記形状パターンを前記複数のクラスのうちのいずれかに分類する請求項１記載の画像情報変換装置。
【請求項３】
前記判別演算部は、
前記選択された前記判別係数群内の各判別係数と前記予測タップ内の各画素の画素値との積和演算を前記判別演算として実行する判別演算実行部と、
前記複数の予測タップ種別のそれぞれにおける前記積和演算の結果と所定の閾値とを比較して比較した結果の各々を比較結果として出力する比較部と、
前記比較結果に基づいて前記予測タップが属する前記予測タップ種別を判別する予測タップ種別判別部と
を備える請求項１記載の画像情報変換装置。
【請求項４】
前記第２の画像の画質を調整する操作信号を記録する記録部をさらに具備し、
前記予測タップ種別判別部は、前記記録された操作信号により行われる前記画質の調整に適した前記予測係数群が属する前記予測タップ種別を優先して前記複数の予測タップのうちのいずれかを選択する
請求項３記載の画像情報変換装置。
【請求項５】
前記第２の画像の視聴環境を示す視聴環境パラメータを検出する視聴環境検出部をさらに具備し、
前記予測タップ種別判別部は、前記視聴環境パラメータの示す前記視聴環境に適した前記予測係数群が属する前記予測タップ種別を優先して前記複数の予測タップ種別のうちのいずれかを選択する
請求項３記載の画像情報変換装置。
【請求項６】
前記視聴環境パラメータは、前記第２の画像を表示する表示装置が設置された室内の照明の照度を含む
請求項５記載の画像情報変換装置。
【請求項７】
前記視聴環境パラメータは、前記第２の画像を表示する表示装置の種別を含む
請求項５記載の画像情報変換装置。
【請求項８】
前記予測タップ内の各画素の画素値の平均値を演算する平均値演算部をさらに具備し、
前記予測タップ種別判別部は、
前記平均値が所定の範囲外である場合に前記平均値に適した前記予測係数群が属する前記予測タップ種別を優先して前記複数の予測タップ種別のうちのいずれかを選択する
請求項３記載の画像情報変換装置。
【請求項９】
第１の画像内のいずれかの画素を注目画素として当該注目画素を含む第１の画素群であるクラスタップと前記注目画素を含む第２の画素群である予測タップとを前記第１の画像から抽出するタップ抽出ステップと、
前記クラスタップ内の各画素の画素値の３次元分布の形状パターンを複数のクラスのうちのいずれかに分類するクラス分類ステップと、
複数の予測タップ種別のうちのいずれに前記予測タップが属するかを判別する判別演算において使用すべき係数群として前記予測タップ種別ごとに前記複数のクラスに対応付けて設定された複数の判別係数群の中から前記複数の予測タップ種別のそれぞれにおいて前記分類されたクラスに対応する前記判別係数群を選択する判別係数選択ステップと、
前記選択された判別係数群と前記予測タップ内の各画素の画素値とに基づいて前記判別演算を実行した結果から前記予測タップが属する前記予測タップ種別を判別する判別演算ステップと、
前記第１の画像の解像度を変更した画像である第２の画像内の画素の画素値を予測する予測演算において使用すべき係数群として前記複数のクラスと前記複数の予測タップ種別との各組合せに対応付けて設定された複数の予測係数群の中から前記分類されたクラスと前記判別された予測タップ種別との組合せに対応する前記予測係数群を選択する予測係数選択ステップと、
前記選択された予測係数群と前記予測タップ内の各画素の画素値とに基づいて前記予測演算を実行する予測演算ステップと
を具備する画像情報変換装置の制御方法。
【請求項１０】
第１の画像内のいずれかの画素を注目画素として当該注目画素を含む第１の画素群であるクラスタップと前記注目画素を含む第２の画素群である予測タップとを前記第１の画像から抽出するタップ抽出ステップと、
前記クラスタップ内の各画素の画素値の３次元分布の形状パターンを複数のクラスのうちのいずれかに分類するクラス分類ステップと、
複数の予測タップ種別のうちのいずれに前記予測タップが属するかを判別する判別演算において使用すべき係数群として前記予測タップ種別ごとに前記複数のクラスに対応付けて設定された複数の判別係数群の中から前記複数の予測タップ種別のそれぞれにおいて前記分類されたクラスに対応する前記判別係数群を選択する判別係数選択ステップと、
前記選択された判別係数群と前記予測タップ内の各画素の画素値とに基づいて前記判別演算を実行した結果から前記予測タップが属する前記予測タップ種別を判別する判別演算ステップと、
前記第１の画像の解像度を変更した画像である第２の画像内の画素の画素値を予測する予測演算において使用すべき係数群として前記複数のクラスと前記複数の予測タップ種別との各組合せに対応付けて設定された複数の予測係数群の中から前記分類されたクラスと前記判別された予測タップ種別との組合せに対応する前記予測係数群を選択する予測係数選択ステップと、
前記選択された予測係数群と前記予測タップ内の各画素の画素値とに基づいて前記予測演算を実行する予測演算ステップと
をコンピュータに実行させるためのプログラム。
【請求項１１】
複数の異なる画像のそれぞれを生徒画像として複数の前記生徒画像からなる生徒画像群を複数回入力する生徒画像入力部と、
前記入力された生徒画像内のいずれかの画素を注目画素として当該注目画素を含む第１の画素群であるクラスタップと前記注目画素を含む第２の画素群である予測タップとを前記画像から抽出するタップ抽出部と、
前記クラスタップ内の各画素の画素値の３次元分布の形状パターンを複数のクラスのうちのいずれかに分類するクラス分類部と、
前記生徒画像群内のいずれかの前記生徒画像を判別画像として前記判別画像が入力された場合に第１の目標値を生成し、前記判別画像以外の前記生徒画像が入力された場合に第２の目標値を生成する目標値生成部と、
画像の解像度を変更する場合において変更対象の前記画像が前記学習画像に類似するか否かを判別する判別演算において使用すべき判別係数群を前記第１および第２の目標値と前記予測タップ内の各画素の画素値とに基づいて前記クラスごとに演算する判別係数演算部と
を具備する判別係数学習装置。
【請求項１２】
前記生徒画像入力部は、前記生徒画像の解像度を変更した画像である教師画像を複数のフィルタに通過させることにより前記生徒画像群を生成するフィルタ部と、
前記生成された複数の生徒画像群を複数回入力する生徒画像供給部とを備える請求項１１記載の判別係数学習装置。
【請求項１３】
前記判別演算は、前記判別係数群内の各判別係数と前記変更対象の画像内の前記予測タップ内の各画素値との積和演算であり、
前記判別係数演算部は、前記学習画像における前記判別演算の結果と前記第１の目標値との間の差分の二乗和に前記学習画像以外の前記生徒画像における前記判別演算の結果と前記第２の目標値との間の差分の二乗和を加算した値を最小にする前記判別係数群を前記複数のクラスの各々について演算する
請求項１１記載の判別係数学習装置。
【請求項１４】
複数の異なる画像のそれぞれを生徒画像として複数の前記生徒画像からなる生徒画像群を複数回入力する生徒画像入力ステップと、
前記入力された生徒画像内のいずれかの画素を注目画素として当該注目画素を含む第１の画素群であるクラスタップと前記注目画素を含む第２の画素群である予測タップとを前記画像から抽出するタップ抽出ステップと、
前記クラスタップ内の各画素の画素値の３次元分布の形状パターンを複数のクラスのうちのいずれかに分類するクラス分類ステップと、
前記生徒画像群内のいずれかの前記生徒画像を判別画像として前記判別画像が入力された場合に第１の目標値を生成し、前記判別画像以外の前記生徒画像が入力された場合に第２の目標値を生成する目標値生成ステップと、
画像の解像度を変更する場合において変更対象の前記画像が前記学習画像に類似するか否かを判別する判別演算において使用すべき判別係数群を前記第１および第２の目標値と前記予測タップ内の各画素の画素値とに基づいて前記クラスごとに演算する判別係数演算ステップと
を具備する判別係数学習装置の制御方法。
【請求項１５】
複数の異なる画像のそれぞれを生徒画像として複数の前記生徒画像からなる生徒画像群を複数回入力する生徒画像入力ステップと、
前記入力された生徒画像内のいずれかの画素を注目画素として当該注目画素を含む第１の画素群であるクラスタップと前記注目画素を含む第２の画素群である予測タップとを前記画像から抽出するタップ抽出ステップと、
前記クラスタップ内の各画素の画素値の３次元分布の形状パターンを複数のクラスのうちのいずれかに分類するクラス分類ステップと、
前記生徒画像群内のいずれかの前記生徒画像を判別画像として前記判別画像が入力された場合に第１の目標値を生成し、前記判別画像以外の前記生徒画像が入力された場合に第２の目標値を生成する目標値生成ステップと、
画像の解像度を変更する場合において変更対象の前記画像が前記学習画像に類似するか否かを判別する判別演算において使用すべき判別係数群を前記第１および第２の目標値と前記予測タップ内の各画素の画素値とに基づいて前記クラスごとに演算する判別係数演算ステップと
を実行させるためのプログラム。
【請求項１６】
複数の異なる画像のそれぞれを生徒画像として入力する生徒画像入力部と、
前記入力された生徒画像内のいずれかの画素を注目画素として当該注目画素を含む第１の画素群であるクラスタップと前記注目画素を含む第２の画素群である予測タップとを前記第１の画像から抽出するタップ抽出部と、
前記クラスタップ内の各画素の画素値の３次元分布の形状パターンを複数のクラスのうちのいずれかに分類するクラス分類部と、
前記入力された生徒画像の解像度を変更した画像である教師画像内の１つ以上の画素を教師画素として抽出する教師画素抽出部と、
前記教師画素の画素値を予測する予測演算において使用すべき予測係数群を前記予測タップ内の各画素の画素値と前記教師画素の画素値とに基づいて前記クラスごとに演算する予測係数演算部と
を具備する予測係数学習装置。
【請求項１７】
前記生徒画像入力部は、前記教師画像を複数のフィルタに通過させることにより前記複数の生徒画像を生成して入力する
請求項１６記載の予測係数学習装置。
【請求項１８】
複数の異なる画像のそれぞれを生徒画像として入力する生徒画像入力ステップと、
前記入力された生徒画像内のいずれかの画素を注目画素として当該注目画素を含む第１の画素群であるクラスタップと前記注目画素を含む第２の画素群である予測タップとを前記第１の画像から抽出するタップ抽出ステップと、
前記クラスタップ内の各画素の画素値の３次元分布の形状パターンを複数のクラスのうちのいずれかに分類するクラス分類ステップと、
前記入力された生徒画像の解像度を変更した画像である教師画像内の１つ以上の画素を教師画素として抽出する教師画素抽出ステップと、
前記教師画素の画素値を予測する予測演算において使用すべき予測係数群を前記予測タップ内の各画素の画素値と前記教師画素の画素値とに基づいて前記クラスごとに演算する予測係数演算ステップと
を具備する予測係数学習装置の制御方法。
【請求項１９】
複数の異なる画像のそれぞれを生徒画像として入力する生徒画像入力ステップと、
前記入力された生徒画像内のいずれかの画素を注目画素として当該注目画素を含む第１の画素群であるクラスタップと前記注目画素を含む第２の画素群である予測タップとを前記第１の画像から抽出するタップ抽出ステップと、
前記クラスタップ内の各画素の画素値の３次元分布の形状パターンを複数のクラスのうちのいずれかに分類するクラス分類ステップと、
前記入力された生徒画像の解像度を変更した画像である教師画像内の１つ以上の画素を教師画素として抽出する教師画素抽出ステップと、
前記教師画素の画素値を予測する予測演算において使用すべき予測係数群を前記予測タップ内の各画素の画素値と前記教師画素の画素値とに基づいて前記クラスごとに演算する予測係数演算ステップと
をコンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【公開番号】特開２０１２−２４８９９４（Ｐ２０１２−２４８９９４Ａ）
【公開日】平成２４年１２月１３日（２０１２．１２．１３）
【国際特許分類】
【出願番号】特願２０１１−１１７８７１（Ｐ２０１１−１１７８７１）
【出願日】平成２３年５月２６日（２０１１．５．２６）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年１２月１３日（２０１２．１２．１３）
【国際特許分類】
【出願日】平成２３年５月２６日（２０１１．５．２６）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]