画像処理装置および画像処理方法、学習装置および学習方法、並びにプログラム

【課題】より高画質の画像を生成することができる。
【解決手段】水平予測タップ抽出部６１、垂直予測タップ抽出部６５それぞれは、ノイズ画像から予測タップを抽出する。水平クラスタップ抽出部６２、垂直クラスタップ抽出部６６それぞれは、ノイズ画像からクラスタップを抽出する。また、水平クラス分類部６３、垂直クラス分類部６７それぞれは、水平クラスタップ抽出部６２、垂直クラスタップ抽出部６６それぞれから抽出された予測タップを、クラス分類する。さらに、水平係数記憶部６４、垂直係数記憶部６８それぞれは、水平クラス分類部６３、垂直クラス分類部６７それぞれによるクラス分類の結果に基づいて、係数を出力する。予測演算部６９は、予測タップと、出力された係数とを用いて、ノイズ除去画像の画素を予測する。本発明は、例えば、テレビジョン受像機に適用することができる。

Notice: Undefined index: DEJ in /mnt/www/gzt_disp.php on line 298

【特許請求の範囲】
【請求項１】
第１の画像データを第２の画像データに変換する画像処理装置において、
前記第１の画像データの注目している画素である注目画素に対応する、前記第２の画像データの画素を予測する予測演算に用いる複数の画素である予測タップを、前記第１の画像データから複数抽出する予測タップ抽出手段と、
複数の前記予測タップそれぞれに対して、前記予測タップを複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類に用いる複数の画素であるクラスタップを、前記第１の画像データから抽出するクラスタップ抽出手段と、
複数の前記予測タップそれぞれを、前記予測タップに対応する前記クラスタップに基づいてクラス分けするクラス分類手段と、
前記第１の画像データに相当する画像データである生徒画像を用いた前記予測演算の結果と、前記第２の画像データに相当する画像データである教師画像との誤差を最小にする学習によりあらかじめ求められた、前記複数のクラスに対応する係数の中から、前記予測タップのクラスに対応する係数を、複数の前記予測タップそれぞれに対して出力する係数出力手段と、
複数の前記予測タップそれぞれと、前記予測タップのクラスに対応する係数とを用いた前記予測演算により、前記注目画素に対応する、前記第２の画像データの画素を求める予測演算手段と
を備える画像処理装置。
【請求項２】
複数の前記予測タップのクラスそれぞれに対応する係数を合成し、その結果得られた合成係数を出力する係数合成手段をさらに備え、
前記予測タップ抽出手段は、複数の前記予測タップを合成した合成予測タップを、複数の前記予測タップとして抽出し、
前記予測演算手段は、前記合成予測タップと前記合成係数とを用いた前記予測演算により、前記注目画素に対応する、前記第２の画像データの画素を求める
請求項１に記載の画像処理装置。
【請求項３】
第１の画像データを第２の画像データに変換する画像処理方法において、
前記第１の画像データの注目している画素である注目画素に対応する、前記第２の画像データの画素を予測する予測演算に用いる複数の画素である予測タップを、前記第１の画像データから複数抽出する予測タップ抽出ステップと、
複数の前記予測タップそれぞれに対して、前記予測タップを複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類に用いる複数の画素であるクラスタップを、前記第１の画像データから抽出するクラスタップ抽出ステップと、
複数の前記予測タップそれぞれを、前記予測タップに対応する前記クラスタップに基づいてクラス分けするクラス分類ステップと、
前記第１の画像データに相当する画像データである生徒画像を用いた前記予測演算の結果と、前記第２の画像データに相当する画像データである教師画像との誤差を最小にする学習によりあらかじめ求められた、前記複数のクラスに対応する係数の中から、前記予測タップのクラスに対応する係数を、複数の前記予測タップそれぞれに対して出力する係数出力ステップと、
複数の前記予測タップそれぞれと、前記予測タップのクラスに対応する係数とを用いた前記予測演算により、前記注目画素に対応する、前記第２の画像データの画素を求める予測演算ステップと
を含む画像処理方法。
【請求項４】
第１の画像データを第２の画像データに変換する画像処理をコンピュータに実行させるプログラムにおいて、
前記第１の画像データの注目している画素である注目画素に対応する、前記第２の画像データの画素を予測する予測演算に用いる複数の画素である予測タップを、前記第１の画像データから複数抽出する予測タップ抽出ステップと、
複数の前記予測タップそれぞれに対して、前記予測タップを複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類に用いる複数の画素であるクラスタップを、前記第１の画像データから抽出するクラスタップ抽出ステップと、
複数の前記予測タップそれぞれを、前記予測タップに対応する前記クラスタップに基づいてクラス分けするクラス分類ステップと、
前記第１の画像データに相当する画像データである生徒画像を用いた前記予測演算の結果と、前記第２の画像データに相当する画像データである教師画像との誤差を最小にする学習によりあらかじめ求められた、前記複数のクラスに対応する係数の中から、前記予測タップのクラスに対応する係数を、複数の前記予測タップそれぞれに対して出力する係数出力ステップと、
複数の前記予測タップそれぞれと、前記予測タップのクラスに対応する係数とを用いた前記予測演算により、前記注目画素に対応する、前記第２の画像データの画素を求める予測演算ステップと
を含む画像処理をコンピュータに実行させるプログラム。
【請求項５】
第１の画像データを第２の画像データに変換する予測演算に用いられる第１乃至Ｍ（Ｍは２以上の自然数）の係数を、前記第１の画像データに相当する画像データである生徒画像を用いた前記予測演算の結果と、前記第２の画像データに相当する画像データである教師画像との誤差を最小にする学習により求める学習装置において、
前記第１の画像データに相当する画像データを生徒画像とするとともに、前記第２の画像データに相当する画像データを教師画像とする前記学習により、前記第１の係数を求める第１の学習手段と、
前記第１の画像データに相当する画像データを生徒画像とするとともに、前記第１乃至第Ｍ’―１（Ｍ’は、２以上Ｍ以下の自然数）の係数を用いた前記予測演算による前記第２の画像データに相当する画像データへの近似効果分の画素値を、その画素値に対応する、前記第２の画像データに相当する画像データの画素値から差し引くことで得られる画像データを教師画像とする前記学習により、前記第Ｍ’の係数を求める第２乃至第Ｍの学習手段と
を備え、
前記第１乃至第Ｍの学習手段のうちの第ｍ（ｍは１以上Ｍ以下の自然数）の学習手段は、
前記生徒画像の注目している画素である注目画素に対応する、前記教師画像の画素を予測する前記予測演算に用いる複数の画素である予測タップを、前記生徒画像から抽出する予測タップ抽出手段と、
前記予測タップを複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類に用いる複数の画素であるクラスタップを、前記生徒画像から抽出するクラスタップ抽出手段と、
前記予測タップを、前記クラスタップに基づいて、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類手段と、
前記クラス分類手段によりクラス分けされた前記予測タップのクラスごとに、前記予測タップを用いた前記予測演算の結果と、前記注目画素に対応する、前記教師画像の画素との誤差を最小にする第ｍの前記係数を演算する演算手段と
を有する
学習装置。
【請求項６】
第１の画像データを第２の画像データに変換する予測演算に用いられる第１乃至Ｍ（Ｍは２以上の自然数）の係数を、前記第１の画像データに相当する画像データである生徒画像を用いた前記予測演算の結果と、前記第２の画像データに相当する画像データである教師画像との誤差を最小にする学習により求める学習方法において、
前記第１の画像データに相当する画像データを生徒画像とするとともに、前記第２の画像データに相当する画像データを教師画像とする前記学習により、前記第１の係数を求める第１の学習ステップと、
前記第１の画像データに相当する画像データを生徒画像とするとともに、前記第１乃至第Ｍ’―１（Ｍ’は、２以上Ｍ以下の自然数）の係数を用いた前記予測演算による前記第２の画像データに相当する画像データへの近似効果分の画素値を、その画素値に対応する、前記第２の画像データに相当する画像データの画素値から差し引くことで得られる画像データを教師画像とする前記学習により、前記第Ｍ’の係数を求める第２乃至第Ｍの学習ステップと
を含み、
前記第１乃至第Ｍの学習ステップのうちの第ｍ（ｍは１以上Ｍ以下の自然数）の学習ステップは、
前記生徒画像の注目している画素である注目画素に対応する、前記教師画像の画素を予測する前記予測演算に用いる複数の画素である予測タップを、前記生徒画像から抽出する予測タップ抽出ステップと、
前記予測タップを複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類に用いる複数の画素であるクラスタップを、前記生徒画像から抽出するクラスタップ抽出ステップと、
前記予測タップを、前記クラスタップに基づいて、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類ステップと、
前記クラス分類ステップによりクラス分けされた前記予測タップのクラスごとに、前記予測タップを用いた前記予測演算の結果と、前記注目画素に対応する、前記教師画像の画素との誤差を最小にする第ｍの前記係数を演算する演算ステップと
を含む
学習方法。
【請求項７】
第１の画像データを第２の画像データに変換する予測演算に用いられる第１乃至Ｍ（Ｍは２以上の自然数）の係数を、前記第１の画像データに相当する画像データである生徒画像を用いた前記予測演算の結果と、前記第２の画像データに相当する画像データである教師画像との誤差を最小にする学習により求める学習処理をコンピュータに実行させるプログラムにおいて、
前記第１の画像データに相当する画像データを生徒画像とするとともに、前記第２の画像データに相当する画像データを教師画像とする前記学習により、前記第１の係数を求める第１の学習ステップと、
前記第１の画像データに相当する画像データを生徒画像とするとともに、前記第１乃至第Ｍ’―１（Ｍ’は、２以上Ｍ以下の自然数）の係数を用いた前記予測演算による前記第２の画像データに相当する画像データへの近似効果分の画素値を、その画素値に対応する、前記第２の画像データに相当する画像データの画素値から差し引くことで得られる画像データを教師画像とする前記学習により、前記第Ｍ’の係数を求める第２乃至第Ｍの学習ステップと
を含み、
前記第１乃至第Ｍの学習ステップのうちの第ｍ（ｍは１以上Ｍ以下の自然数）の学習ステップは、
前記生徒画像の注目している画素である注目画素に対応する、前記教師画像の画素を予測する前記予測演算に用いる複数の画素である予測タップを、前記生徒画像から抽出する予測タップ抽出ステップと、
前記予測タップを複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類に用いる複数の画素であるクラスタップを、前記生徒画像から抽出するクラスタップ抽出ステップと、
前記予測タップを、前記クラスタップに基づいて、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類ステップと、
前記クラス分類ステップによりクラス分けされた前記予測タップのクラスごとに、前記予測タップを用いた前記予測演算の結果と、前記注目画素に対応する、前記教師画像の画素との誤差を最小にする第ｍの前記係数を演算する演算ステップと
を含む
学習処理をコンピュータに実行させるプログラム。
【請求項８】
第１の画像データを第２の画像データに変換する予測演算に用いられる第１乃至Ｍ（Ｍは２以上の自然数）の係数を反復して、前記第１の画像データに相当する画像データである生徒画像を用いた前記予測演算の結果と、前記第２の画像データに相当する画像データである教師画像との誤差を最小にする学習により求める学習装置において、
前記生徒画像の注目している画素である注目画素に対応する、前記教師画像の画素を予測する予測演算に用いる複数の画素である予測タップを、前記生徒画像から抽出する予測タップ抽出手段と、
前記予測タップを複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類に用いる複数の画素であるクラスタップを、前記生徒画像から抽出するクラスタップ抽出手段と、
前記予測タップを、前記クラスタップに基づいて、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類手段と、
前記クラス分類手段によりクラス分けされた前記予測タップのクラスごとに、前記予測タップを用いた前記予測演算の結果と、前記注目画素に対応する、前記教師画像の画素との誤差を最小にする第ｍ（ｍは１以上Ｍ以下の自然数）の前記係数を演算する演算手段と
を有する第１乃至第Ｍの学習手段
を備え、
前記第１乃至第Ｍの学習手段のうちの、第ｍの学習手段は、前記第１の画像データに相当する画像データを生徒画像とするとともに、前記第２の画像データに相当する画像データを教師画像とする前記学習により、第ｍの係数を学習し、
さらに、前記第１の画像データに相当する画像データを生徒画像とするとともに、前記第１乃至Ｍの係数のうちの、前記第ｍの係数を除く係数を用いた前記予測演算による前記第２の画像データに相当する画像データへの近似効果分の画素値を、その画素値に対応する、前記第２の画像データに相当する画像データの画素値から差し引くことで得られる画像データを教師画像として、前記第ｍの係数を学習する
学習装置。
【請求項９】
Ｍが３以上である場合、前記第１乃至Ｍの係数のうちの、前記第ｍの係数を除く係数を用いた前記予測演算による前記第２の画像データに相当する画像データへの近似効果分を弱めるように、前記第１乃至Ｍの係数のうちの、前記第ｍの係数を除く係数のゲインを調整する第ｍの係数調整手段をさらに備え、
前記第１乃至第Ｍの学習手段のうちの、前記第ｍの学習手段は、前記第１の画像データに相当する画像データを生徒画像とし、前記第ｍの係数調整手段によりゲインが調整された係数を用いた前記予測演算による前記第２の画像データに相当する画像データへの近似効果分の画素値を、その画素値に対応する、前記第２の画像データに相当する画像データの画素値から差し引くことで得られる画像データを教師画像として、前記第ｍの係数を学習する
請求項８に記載の学習装置。
【請求項１０】
第１の画像データを第２の画像データに変換する予測演算に用いられる第１乃至Ｍ（Ｍは２以上の自然数）の係数を反復して、前記第１の画像データに相当する画像データである生徒画像を用いた前記予測演算の結果と、前記第２の画像データに相当する画像データである教師画像との誤差を最小にする学習により求める学習方法において、
前記生徒画像の注目している画素である注目画素に対応する、前記教師画像の画素を予測する予測演算に用いる複数の画素である予測タップを、前記生徒画像から抽出する予測タップ抽出ステップと、
前記予測タップを複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類に用いる複数の画素であるクラスタップを、前記生徒画像から抽出するクラスタップ抽出ステップと、
前記予測タップを、前記クラスタップに基づいて、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類ステップと、
前記クラス分類ステップによりクラス分けされた前記予測タップのクラスごとに、前記予測タップを用いた前記予測演算の結果と、前記注目画素に対応する、前記教師画像の画素との誤差を最小にする第ｍ（ｍは１以上Ｍ以下の自然数）の前記係数を演算する演算ステップと
を有する第１乃至第Ｍの学習ステップ
を含み、
前記第１乃至第Ｍの学習ステップのうちの、第ｍの学習ステップは、前記第１の画像データに相当する画像データを生徒画像とするとともに、前記第２の画像データに相当する画像データを教師画像とする前記学習により、第ｍの係数を学習し、
さらに、前記第１の画像データに相当する画像データを生徒画像とするとともに、前記第１乃至Ｍの係数のうちの、前記第ｍの係数を除く係数を用いた前記予測演算による前記第２の画像データに相当する画像データへの近似効果分の画素値を、その画素値に対応する、前記第２の画像データに相当する画像データの画素値から差し引くことで得られる画像データを教師画像として、前記第ｍの係数を学習する
学習方法。
【請求項１１】
第１の画像データを第２の画像データに変換する予測演算に用いられる第１乃至Ｍ（Ｍは２以上の自然数）の係数を反復して、前記第１の画像データに相当する画像データである生徒画像を用いた前記予測演算の結果と、前記第２の画像データに相当する画像データである教師画像との誤差を最小にする学習により求める学習処理をコンピュータに実行させるプログラムにおいて、
前記生徒画像の注目している画素である注目画素に対応する、前記教師画像の画素を予測する予測演算に用いる複数の画素である予測タップを、前記生徒画像から抽出する予測タップ抽出ステップと、
前記予測タップを複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類に用いる複数の画素であるクラスタップを、前記生徒画像から抽出するクラスタップ抽出ステップと、
前記予測タップを、前記クラスタップに基づいて、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類ステップと、
前記クラス分類ステップによりクラス分けされた前記予測タップのクラスごとに、前記予測タップを用いた前記予測演算の結果と、前記注目画素に対応する、前記教師画像の画素との誤差を最小にする第ｍ（ｍは１以上Ｍ以下の自然数）の前記係数を演算する演算ステップと
を有する第１乃至第Ｍの学習ステップ
を含み、
前記第１乃至第Ｍの学習ステップのうちの、第ｍの学習ステップは、前記第１の画像データに相当する画像データを生徒画像とするとともに、前記第２の画像データに相当する画像データを教師画像とする前記学習により、第ｍの係数を学習し、
さらに、前記第１の画像データに相当する画像データを生徒画像とするとともに、前記第１乃至Ｍの係数のうちの、前記第ｍの係数を除く係数を用いた前記予測演算による前記第２の画像データに相当する画像データへの近似効果分の画素値を、その画素値に対応する、前記第２の画像データに相当する画像データの画素値から差し引くことで得られる画像データを教師画像として、前記第ｍの係数を学習する
学習処理をコンピュータに実行させるプログラム。

【図１】