係数生成装置および方法、画像生成装置および方法、並びにプログラム
【課題】より簡単に動きぼけによる画像の画質の劣化を改善する。
【解決手段】生徒画像生成部８２は、入力された入力画像から、表示部に入力画像を表示した場合に観察者が知覚すると予測される視覚画像を生成する。クラス分類部８５は、入力画像の画素を注目画素とし、視覚画像から抽出された、いくつかの画素と、視覚画像から検出された動きベクトルとから、注目画素のクラスを特定する。演算部８７は、注目画素の画素値と、視覚画像から抽出された、注目画素の予測に用いる複数の画素である予測タップとを用いて、注目画素のクラスごとに、所定の画像を、動きぼけの除去された画像に変換するための変換係数、注目画素、および予測タップの関係を示す正規方程式を立てる。係数生成部８８は立てられた正規方程式を解くことで、クラスごとの変換係数を求める。本発明は、学習装置に適用することができる。
【解決手段】生徒画像生成部８２は、入力された入力画像から、表示部に入力画像を表示した場合に観察者が知覚すると予測される視覚画像を生成する。クラス分類部８５は、入力画像の画素を注目画素とし、視覚画像から抽出された、いくつかの画素と、視覚画像から検出された動きベクトルとから、注目画素のクラスを特定する。演算部８７は、注目画素の画素値と、視覚画像から抽出された、注目画素の予測に用いる複数の画素である予測タップとを用いて、注目画素のクラスごとに、所定の画像を、動きぼけの除去された画像に変換するための変換係数、注目画素、および予測タップの関係を示す正規方程式を立てる。係数生成部８８は立てられた正規方程式を解くことで、クラスごとの変換係数を求める。本発明は、学習装置に適用することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は係数生成装置および方法、画像生成装置および方法、並びにプログラムに関し、特に、より簡単に画像の画質の劣化を改善できるようにした係数生成装置および方法、画像生成装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
LCD（Liquid Crystal Display）などのホールド型の表示装置においては、人間が表示装置に表示される移動物体を観察すると、いわゆる動きぼけが生じて、人間の目には移動物体がぼけて見えることが知られている。この動きぼけは、人間の目が表示画面上を移動する移動物体を追従しながら観察するために生じる。
【０００３】
従来、このような動きぼけによる画像の画質の劣化を改善したり、抑制したりするための技術として、オーバードライブ、黒挿入、フレーム倍速などの技術が提案されている。
【０００４】
例えば、オーバードライブと称される技術においては、表示するフレームの画像と、そのフレームの直前に表示されるフレームの画像との差分に所定の係数を乗算して得られた値を、表示するフレームの画像に加算することにより、表示装置の応答速度の改善が図られている。
【０００５】
具体的には、例えば、応答速度に起因する表示の切り替えの遅延が生じると、人間の目には、移動物体の進行方向側の境界部分、および進行方向とは反対側の境界部分が、それぞれ本来の輝度値とは異なる輝度値で表示されているように見える。そこで、オーバードライブでは、移動物体の境界部分の輝度値が補正されるように、画像の差分を、表示しようとするフレームの画像に加算することで画像の画質が改善される。
【０００６】
また、黒挿入と称される技術においては、フレームとフレームとの間に黒い画像を表示させることにより、動きぼけによる画質の劣化が改善されている。つまり、各フレームの画像が連続して表示されるのではなく、１フレーム分の画像が表示された後、黒い画像が表示される期間、すなわち何も表示されない期間が設けられ、その期間が経過した後、次のフレームの画像が表示される。
【０００７】
さらに、フレーム倍速と称される技術においては、１フレーム分の表示期間に、そのフレームの画像と、補間により生成された画像とを表示することで、実質的にフレームレートが２倍にされ、動きぼけによる画質の劣化が改善されている。
【０００８】
さらに、また、動きぼけによる画質の劣化の改善と関連する技術として、測定対象の画像を表示する測定対象ディスプレイに対する、その測定対象ディスプレイに表示される画像を撮影するカメラの傾き角度を補正することによって、より正確に動きぼけを再現した画像を生成する測定システムも提案されている（例えば、特許文献１参照）。
【０００９】
【特許文献１】特開２００６−２４３５１８号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
しかしながら、上述した技術では、動きぼけによる画像の画質の劣化を改善することは容易ではなかった。
【００１１】
例えば、オーバードライブは、表示装置の応答速度が表示する画像のフレームレートより大きい場合には、動きぼけによる画質の劣化の抑制に有効であるが、応答速度がフレームレート以下である場合には、画質の劣化の抑制に有効であるとはいえなかった。より具体的には、応答速度がフレームレート以下である場合、表示装置に表示される画像上の移動物体の境界部分、すなわちエッジの部分が強調され過ぎてしまい、かえって画質が劣化してしまうことがあった。特に、移動物体の移動速度が速いほど画質の劣化が顕著になることが知られている。
【００１２】
また、黒挿入により画像を表示しない期間を設けた場合、画像を表示しない期間が長いほど画像の動きぼけが改善されるが、画像を表示しない期間が長くなると、表示装置が画像を表示するために発光する時間が短くなってしまう。すると、表示される画像が暗くなってしまい、観測者にとっては、かえって画像が見えづらくなってしまう。
【００１３】
さらに、フレーム倍速においては、表示させる画像を補間により生成することは困難であり、生成された画像の画質は、他のフレームの画像よりも画質がよいとはいえず、結果として表示される画像の画質が劣化してしまう恐れがあった。
【００１４】
さらに、また、フレーム倍速は、いわゆる動きテロップのような、撮影時に動きぼけのない画像に対しては効果があるものの、シャッタースピード開放で撮影された動きぼけのある画像、すなわちシャッタースピードが１フレーム分の表示時間と同じ時間とされた、動きぼけのある画像に対しては、充分な効果をあげることができないという欠点があった。
【００１５】
本発明は、このような状況に鑑みてなされたものであり、より簡単に画像の画質の劣化を改善することができるようにするものである。
【課題を解決するための手段】
【００１６】
本発明の第１の側面の係数生成装置は、予め定められた表示手段に表示された場合に、入力画像が表示されていると観察者が知覚する表示画像の表示画像信号に、前記入力画像の入力画像信号を変換する変換係数を生成する係数生成装置であって、
前記変換係数を求めるために用いられ、前記表示画像に対応する教師画像の教師画像信号、および前記教師画像から検出された動きベクトルに基づいて、前記教師画像の１フレーム前の教師画像に対応する過去画像の過去画像信号を生成する過去画像生成手段と、
前記教師画像信号および前記過去画像信号に基づいて、前記表示手段に前記過去画像が表示された後、前記教師画像が表示される場合に、前記過去画像から前記教師画像に表示が切り替わるまでの間に前記表示手段に表示される遷移画像の遷移画像信号を生成する遷移画像生成手段と、
前記過去画像信号、前記遷移画像信号、前記教師画像信号、および前記動きベクトルを用いて、前記過去画像、前記遷移画像、および前記教師画像のそれぞれの画素であって、前記過去画像から前記教師画像に表示が切り替わるまでの間に前記観察者が目で追うと予測される画素の画素値の平均値を求め、前記平均値を、前記教師画像が前記表示手段に表示された場合に前記観察者に知覚される視覚画像の画素の画素値とすることで、前記変換係数を求めるために用いられ、前記入力画像に対応する生徒画像としての前記視覚画像の視覚画像信号を生成する視覚画像生成手段と、
前記教師画像の注目している注目画素の画素値と、前記生徒画像から検出された動きベクトルから定まり、前記生徒画像における前記注目画素と同じ位置の空間的または時間的に近傍にある画素の画素値とを用いて、前記変換係数を求める演算手段と
を備える。
【００１７】
前記遷移画像生成手段には、前記表示手段の発光特性を示すモデルと、前記教師画像信号および前記過去画像信号とを用いて、前記遷移画像信号を生成させることができる。
【００１８】
前記演算手段には、
前記生徒画像から検出された動きベクトルから定まり、前記生徒画像における前記注目画素と同じ位置の空間的または時間的に近傍にあるいくつかの画素の画素値を、前記注目画素を複数のクラスのうちの何れかにクラス分けするクラス分類を行うのに用いられるクラスタップとして、前記生徒画像信号から抽出するクラスタップ抽出手段と、
前記生徒画像から検出された動きベクトルの大きさと、前記クラスタップとに基づいて、前記注目画素をクラス分類するクラス分類手段と、
前記生徒画像から検出された動きベクトルから定まり、前記生徒画像における前記注目画素と同じ位置の空間的または時間的に近傍にあるいくつかの画素の画素値を、前記注目画素を予測するのに用いられる予測タップとして、前記生徒画像信号から抽出する予測タップ抽出手段と、
前記注目画素の画素値および前記予測タップに対して、前記注目画素の前記クラスごとに立てられた、前記注目画素の画素値、前記予測タップ、および前記変換係数の関係を示す正規方程式を解くことで、前記クラスごとの前記変換係数を求める係数生成手段と
を設けることができる。
【００１９】
本発明の第１の側面の係数生成方法またはプログラムは、予め定められた表示手段に表示された場合に、入力画像が表示されていると観察者が知覚する表示画像の表示画像信号に、前記入力画像の入力画像信号を変換する変換係数を生成する係数生成装置の係数生成方法またはプログラムであって、
前記変換係数を求めるために用いられ、前記表示画像に対応する教師画像の教師画像信号、および前記教師画像から検出された動きベクトルに基づいて、前記教師画像の１フレーム前の教師画像に対応する過去画像の過去画像信号を生成し、
前記教師画像信号および前記過去画像信号に基づいて、前記表示手段に前記過去画像が表示された後、前記教師画像が表示される場合に、前記過去画像から前記教師画像に表示が切り替わるまでの間に前記表示手段に表示される遷移画像の遷移画像信号を生成し、
前記過去画像信号、前記遷移画像信号、前記教師画像信号、および前記動きベクトルを用いて、前記過去画像、前記遷移画像、および前記教師画像のそれぞれの画素であって、前記過去画像から前記教師画像に表示が切り替わるまでの間に前記観察者が目で追うと予測される画素の画素値の平均値を求め、前記平均値を、前記教師画像が前記表示手段に表示された場合に前記観察者に知覚される視覚画像の画素の画素値とすることで、前記変換係数を求めるために用いられ、前記入力画像に対応する生徒画像としての前記視覚画像の視覚画像信号を生成し、
前記教師画像の注目している注目画素の画素値と、前記生徒画像から検出された動きベクトルから定まり、前記生徒画像における前記注目画素と同じ位置の空間的または時間的に近傍にある画素の画素値とを用いて、前記変換係数を求める
ステップを含む。
【００２０】
本発明の第１の側面においては、予め定められた表示手段に表示された場合に、入力画像が表示されていると観察者が知覚する表示画像の表示画像信号に、前記入力画像の入力画像信号を変換する変換係数を生成する係数生成装置において、
前記変換係数を求めるために用いられ、前記表示画像に対応する教師画像の教師画像信号、および前記教師画像から検出された動きベクトルに基づいて、前記教師画像の１フレーム前の教師画像に対応する過去画像の過去画像信号が生成され、
前記教師画像信号および前記過去画像信号に基づいて、前記表示手段に前記過去画像が表示された後、前記教師画像が表示される場合に、前記過去画像から前記教師画像に表示が切り替わるまでの間に前記表示手段に表示される遷移画像の遷移画像信号が生成され、
前記過去画像信号、前記遷移画像信号、前記教師画像信号、および前記動きベクトルを用いて、前記過去画像、前記遷移画像、および前記教師画像のそれぞれの画素であって、前記過去画像から前記教師画像に表示が切り替わるまでの間に前記観察者が目で追うと予測される画素の画素値の平均値を求め、前記平均値を、前記教師画像が前記表示手段に表示された場合に前記観察者に知覚される視覚画像の画素の画素値とすることで、前記変換係数を求めるために用いられ、前記入力画像に対応する生徒画像としての前記視覚画像の視覚画像信号が生成され、
前記教師画像の注目している注目画素の画素値と、前記生徒画像から検出された動きベクトルから定まり、前記生徒画像における前記注目画素と同じ位置の空間的または時間的に近傍にある画素の画素値とを用いて、前記変換係数が求められる。
【００２１】
本発明の第２の側面の画像生成装置は、予め定められた表示手段に表示された場合に、入力画像が表示されていると観察者が知覚する表示画像の表示画像信号に、前記入力画像の入力画像信号を変換する画像生成装置であって、
これから生成しようとする前記表示画像の注目している画素を第１の注目画素とし、前記入力画像から検出された動きベクトルから定まり、前記入力画像における前記第１の注目画素と同じ位置の空間的または時間的に近傍にあるいくつかの画素の画素値を、前記第１の注目画素を予測するのに用いられる予測タップとして、前記入力画像信号から抽出する予測タップ抽出手段と、
予め求められている変換係数と、前記予測タップとを線形結合することにより、前記第１の注目画素の画素値を予測演算する予測演算手段と
を備え、
前記変換係数は、
前記表示画像に対応する教師画像の注目している第２の注目画素の画素値と、
前記入力画像に対応する生徒画像から検出された動きベクトルから定まり、前記生徒画像における、前記第２の注目画素と同じ位置の空間的または時間的に近傍にある画素の画素値と
が用いられて求められ、
前記生徒画像は、
前記教師画像の教師画像信号と、
前記教師画像信号、および前記教師画像から検出された動きベクトルに基づいて生成された、前記教師画像の１フレーム前の教師画像に対応する過去画像の過去画像信号と、
前記表示手段の発光特性を示すモデルと、前記教師画像信号および前記過去画像信号とに基づいて生成された、前記表示手段に前記過去画像が表示された後、前記教師画像が表示される場合に、前記過去画像から前記教師画像に表示が切り替わるまでの間に前記表示手段に表示される遷移画像の遷移画像信号と、
前記教師画像から検出された動きベクトルと
を用いて、
前記過去画像、前記遷移画像、および前記教師画像のそれぞれの画素であって、前記過去画像から前記教師画像に表示が切り替わるまでの間に前記観察者が目で追うと予測される画素の画素値の平均値を求め、前記平均値を、前記教師画像が前記表示手段に表示された場合に前記観察者に知覚される視覚画像の画素の画素値とすることで生成される、前記視覚画像である。
【００２２】
前記画像生成装置には、
前記入力画像から検出された動きベクトルから定まり、前記入力画像における前記第１の注目画素と同じ位置の空間的または時間的に近傍にあるいくつかの画素の画素値を、前記第１の注目画素を複数のクラスのうちの何れかにクラス分けするクラス分類を行うのに用いられるクラスタップとして、前記入力画像信号から抽出するクラスタップ抽出手段と、
前記入力画像から検出された動きベクトルの大きさと、前記クラスタップとに基づいて、前記第１の注目画素をクラス分類するクラス分類手段と
をさらに設け、
前記予測演算手段には、前記第１の注目画素のクラスに対して予め求められている前記変換係数を用いて、前記第１の注目画素の画素値を予測演算させることができる。
【００２３】
本発明の第２の側面の画像生成方法またはプログラムは、予め定められた表示手段に表示された場合に、入力画像が表示されていると観察者が知覚する表示画像の表示画像信号に、前記入力画像の入力画像信号を変換する画像生成装置の画像生成方法またはプログラムであって、
これから生成しようとする前記表示画像の注目している画素を第１の注目画素とし、前記入力画像から検出された動きベクトルから定まり、前記入力画像における前記第１の注目画素と同じ位置の空間的または時間的に近傍にあるいくつかの画素の画素値を、前記第１の注目画素を予測するのに用いられる予測タップとして、前記入力画像信号から抽出し、
予め求められている変換係数と、前記予測タップとを線形結合することにより、前記第１の注目画素の画素値を予測演算する
ステップを含み、
前記変換係数は、
前記表示画像に対応する教師画像の注目している第２の注目画素の画素値と、
前記入力画像に対応する生徒画像から検出された動きベクトルから定まり、前記生徒画像における、前記第２の注目画素と同じ位置の空間的または時間的に近傍にある画素の画素値と
が用いられて求められ、
前記生徒画像は、
前記教師画像の教師画像信号と、
前記教師画像信号、および前記教師画像から検出された動きベクトルに基づいて生成された、前記教師画像の１フレーム前の教師画像に対応する過去画像の過去画像信号と、
前記表示手段の発光特性を示すモデルと、前記教師画像信号および前記過去画像信号とに基づいて生成された、前記表示手段に前記過去画像が表示された後、前記教師画像が表示される場合に、前記過去画像から前記教師画像に表示が切り替わるまでの間に前記表示手段に表示される遷移画像の遷移画像信号と、
前記教師画像から検出された動きベクトルと
を用いて、
前記過去画像、前記遷移画像、および前記教師画像のそれぞれの画素であって、前記過去画像から前記教師画像に表示が切り替わるまでの間に前記観察者が目で追うと予測される画素の画素値の平均値を求め、前記平均値を、前記教師画像が前記表示手段に表示された場合に前記観察者に知覚される視覚画像の画素の画素値とすることで生成される、前記視覚画像である。
【００２４】
本発明の第２の側面においては、予め定められた表示手段に表示された場合に、入力画像が表示されていると観察者が知覚する表示画像の表示画像信号に、前記入力画像の入力画像信号を変換する画像生成装置において、
これから生成しようとする前記表示画像の注目している画素が第１の注目画素とされ、前記入力画像から検出された動きベクトルから定まり、前記入力画像における前記第１の注目画素と同じ位置の空間的または時間的に近傍にあるいくつかの画素の画素値が、前記第１の注目画素を予測するのに用いられる予測タップとして、前記入力画像信号から抽出され、
予め求められている変換係数と、前記予測タップとを線形結合することにより、前記第１の注目画素の画素値が予測演算される。
【００２５】
本発明の第３の側面の係数生成装置は、予め定められた表示手段に表示された場合に、入力画像が表示されていると観察者が知覚する表示画像の表示画像信号に、前記入力画像の入力画像信号を変換する変換係数を生成する係数生成装置であって、
前記変換係数を求めるために用いられ、前記表示画像に対応する教師画像の教師画像信号に基づいて、前記教師画像と、前記教師画像の１フレーム前の教師画像とを平均して得られる平均画像の平均画像信号を生成する平均画像生成手段と、
前記平均画像信号、および前記平均画像から検出された動きベクトルに基づいて、前記平均画像の１フレーム前の平均画像に対応する過去画像の過去画像信号を生成する過去画像生成手段と、
前記平均画像信号および前記過去画像信号に基づいて、前記表示手段に前記過去画像が表示された後、前記平均画像が表示される場合に、前記過去画像から前記平均画像に表示が切り替わるまでの間に前記表示手段に表示される遷移画像の遷移画像信号を生成する遷移画像生成手段と、
前記過去画像信号、前記遷移画像信号、前記平均画像信号、および前記動きベクトルを用いて、前記過去画像、前記遷移画像、および前記平均画像のそれぞれの画素であって、前記過去画像から前記平均画像に表示が切り替わるまでの間に前記観察者が目で追うと予測される画素の画素値の平均値を求め、前記平均値を、前記平均画像が前記表示手段に表示された場合に前記観察者に知覚される視覚画像の画素の画素値とすることで、前記変換係数を求めるために用いられ、前記入力画像に対応する生徒画像としての前記視覚画像の視覚画像信号を生成する視覚画像生成手段と、
前記教師画像の注目している注目画素の画素値と、前記生徒画像から検出された動きベクトルから定まり、前記生徒画像における前記注目画素と同じ位置の空間的または時間的に近傍にある画素の画素値とを用いて、前記変換係数を求める演算手段と
を備える。
【００２６】
前記遷移画像生成手段には、前記表示手段の発光特性を示すモデルと、前記平均画像信号および前記過去画像信号とを用いて、前記遷移画像信号を生成させることができる。
【００２７】
前記演算手段には、
前記生徒画像から検出された動きベクトルから定まり、前記生徒画像における前記注目画素と同じ位置の空間的または時間的に近傍にあるいくつかの画素の画素値を、前記注目画素を複数のクラスのうちの何れかにクラス分けするクラス分類を行うのに用いられるクラスタップとして、前記生徒画像信号から抽出するクラスタップ抽出手段と、
前記生徒画像から検出された動きベクトルの大きさと、前記クラスタップとに基づいて、前記注目画素をクラス分類するクラス分類手段と、
前記生徒画像から検出された動きベクトルから定まり、前記生徒画像における前記注目画素と同じ位置の空間的または時間的に近傍にあるいくつかの画素の画素値を、前記注目画素を予測するのに用いられる予測タップとして、前記生徒画像信号から抽出する予測タップ抽出手段と、
前記注目画素の画素値および前記予測タップに対して、前記注目画素の前記クラスごとに立てられた、前記注目画素の画素値、前記予測タップ、および前記変換係数の関係を示す正規方程式を解くことで、前記クラスごとの前記変換係数を求める係数生成手段と
を設けることができる。
【００２８】
本発明の第３の側面の係数生成方法またはプログラムは、予め定められた表示手段に表示された場合に、入力画像が表示されていると観察者が知覚する表示画像の表示画像信号に、前記入力画像の入力画像信号を変換する変換係数を生成する係数生成装置の係数生成方法またはプログラムであって、
前記変換係数を求めるために用いられ、前記表示画像に対応する教師画像の教師画像信号に基づいて、前記教師画像と、前記教師画像の１フレーム前の教師画像とを平均して得られる平均画像の平均画像信号を生成し、
前記平均画像の平均画像信号、および前記平均画像から検出された動きベクトルに基づいて、前記平均画像の１フレーム前の平均画像に対応する過去画像の過去画像信号を生成し、
前記平均画像信号および前記過去画像信号に基づいて、前記表示手段に前記過去画像が表示された後、前記平均画像が表示される場合に、前記過去画像から前記平均画像に表示が切り替わるまでの間に前記表示手段に表示される遷移画像の遷移画像信号を生成し、
前記過去画像信号、前記遷移画像信号、前記平均画像信号、および前記動きベクトルを用いて、前記過去画像、前記遷移画像、および前記平均画像のそれぞれの画素であって、前記過去画像から前記平均画像に表示が切り替わるまでの間に前記観察者が目で追うと予測される画素の画素値の平均値を求め、前記平均値を、前記平均画像が前記表示手段に表示された場合に前記観察者に知覚される視覚画像の画素の画素値とすることで、前記変換係数を求めるために用いられ、前記入力画像に対応する生徒画像としての前記視覚画像の視覚画像信号を生成し、
前記教師画像の注目している注目画素の画素値と、前記生徒画像から検出された動きベクトルから定まり、前記生徒画像における前記注目画素と同じ位置の空間的または時間的に近傍にある画素の画素値とを用いて、前記変換係数を求める
ステップを含む。
【００２９】
本発明の第３の側面においては、予め定められた表示手段に表示された場合に、入力画像が表示されていると観察者が知覚する表示画像の表示画像信号に、前記入力画像の入力画像信号を変換する変換係数を生成する係数生成装置において、
前記変換係数を求めるために用いられ、前記表示画像に対応する教師画像の教師画像信号に基づいて、前記教師画像と、前記教師画像の１フレーム前の教師画像とを平均して得られる平均画像の平均画像信号が生成され、
前記平均画像信号、および前記平均画像から検出された動きベクトルに基づいて、前記平均画像の１フレーム前の平均画像に対応する過去画像の過去画像信号が生成され、
前記平均画像信号および前記過去画像信号に基づいて、前記表示手段に前記過去画像が表示された後、前記平均画像が表示される場合に、前記過去画像から前記平均画像に表示が切り替わるまでの間に前記表示手段に表示される遷移画像の遷移画像信号が生成され、
前記過去画像信号、前記遷移画像信号、前記平均画像信号、および前記動きベクトルを用いて、前記過去画像、前記遷移画像、および前記平均画像のそれぞれの画素であって、前記過去画像から前記平均画像に表示が切り替わるまでの間に前記観察者が目で追うと予測される画素の画素値の平均値を求め、前記平均値を、前記平均画像が前記表示手段に表示された場合に前記観察者に知覚される視覚画像の画素の画素値とすることで、前記変換係数を求めるために用いられ、前記入力画像に対応する生徒画像としての前記視覚画像の視覚画像信号が生成され、
前記教師画像の注目している注目画素の画素値と、前記生徒画像から検出された動きベクトルから定まり、前記生徒画像における前記注目画素と同じ位置の空間的または時間的に近傍にある画素の画素値とを用いて、前記変換係数が求められる。
【００３０】
本発明の第４の側面の画像生成装置は、予め定められた表示手段に表示された場合に、入力画像が表示されていると観察者が知覚する表示画像の表示画像信号に、前記入力画像の入力画像信号を変換する画像生成装置であって、
これから生成しようとする前記表示画像の注目している画素を第１の注目画素とし、前記入力画像から検出された動きベクトルから定まり、前記入力画像における前記第１の注目画素と同じ位置の空間的または時間的に近傍にあるいくつかの画素の画素値を、前記第１の注目画素を予測するのに用いられる予測タップとして、前記入力画像信号から抽出する予測タップ抽出手段と、
予め求められている変換係数と、前記予測タップとを線形結合することにより、前記第１の注目画素の画素値を予測演算する予測演算手段と
を備え、
前記変換係数は、
前記表示画像に対応する教師画像の注目している第２の注目画素の画素値と、
前記入力画像に対応する生徒画像から検出された動きベクトルから定まり、前記生徒画像における、前記第２の注目画素と同じ位置の空間的または時間的に近傍にある画素の画素値と
が用いられて求められ、
前記生徒画像は、
前記教師画像の教師画像信号に基づいて生成され、前記教師画像と、前記教師画像の１フレーム前の教師画像とを平均して得られる平均画像の平均画像信号と、
前記平均画像信号、および前記平均画像から検出された動きベクトルに基づいて生成された、前記平均画像の１フレーム前の平均画像に対応する過去画像の過去画像信号と、
前記表示手段の発光特性を示すモデルと、前記平均画像信号および前記過去画像信号とに基づいて生成された、前記表示手段に前記過去画像が表示された後、前記平均画像が表示される場合に、前記過去画像から前記平均画像に表示が切り替わるまでの間に前記表示手段に表示される遷移画像の遷移画像信号と、
前記平均画像から検出された動きベクトルと
を用いて、
前記過去画像、前記遷移画像、および前記平均画像のそれぞれの画素であって、前記過去画像から前記平均画像に表示が切り替わるまでの間に前記観察者が目で追うと予測される画素の画素値の平均値を求め、前記平均値を、前記平均画像が前記表示手段に表示された場合に前記観察者に知覚される視覚画像の画素の画素値とすることで生成される、前記視覚画像である。
【００３１】
前記画像生成装置には、
前記入力画像から検出された動きベクトルから定まり、前記入力画像における前記第１の注目画素と同じ位置の空間的または時間的に近傍にあるいくつかの画素の画素値を、前記第１の注目画素を複数のクラスのうちの何れかにクラス分けするクラス分類を行うのに用いられるクラスタップとして、前記入力画像信号から抽出するクラスタップ抽出手段と、
前記入力画像から検出された動きベクトルの大きさと、前記クラスタップとに基づいて、前記第１の注目画素をクラス分類するクラス分類手段と
をさらに設け、
前記予測演算手段には、前記第１の注目画素のクラスに対して予め求められている前記変換係数を用いて、前記第１の注目画素の画素値を予測演算させることができる。
【００３２】
本発明の第４の側面の画像生成方法またはプログラムは、予め定められた表示手段に表示された場合に、入力画像が表示されていると観察者が知覚する表示画像の表示画像信号に、前記入力画像の入力画像信号を変換する画像生成装置の画像生成方法またはプログラムであって、
これから生成しようとする前記表示画像の注目している画素を第１の注目画素とし、前記入力画像から検出された動きベクトルから定まり、前記入力画像における前記第１の注目画素と同じ位置の空間的または時間的に近傍にあるいくつかの画素の画素値を、前記第１の注目画素を予測するのに用いられる予測タップとして、前記入力画像信号から抽出し、
予め求められている変換係数と、前記予測タップとを線形結合することにより、前記第１の注目画素の画素値を予測演算する
ステップを含み、
前記変換係数は、
前記表示画像に対応する教師画像の注目している第２の注目画素の画素値と、
前記入力画像に対応する生徒画像から検出された動きベクトルから定まり、前記生徒画像における、前記第２の注目画素と同じ位置の空間的または時間的に近傍にある画素の画素値と
が用いられて求められ、
前記生徒画像は、
前記教師画像の教師画像信号に基づいて生成され、前記教師画像と、前記教師画像の１フレーム前の教師画像とを平均して得られる平均画像の平均画像信号と、
前記平均画像信号、および前記平均画像から検出された動きベクトルに基づいて生成された、前記平均画像の１フレーム前の平均画像に対応する過去画像の過去画像信号と、
前記表示手段の発光特性を示すモデルと、前記平均画像信号および前記過去画像信号とに基づいて生成された、前記表示手段に前記過去画像が表示された後、前記平均画像が表示される場合に、前記過去画像から前記平均画像に表示が切り替わるまでの間に前記表示手段に表示される遷移画像の遷移画像信号と、
前記平均画像から検出された動きベクトルと
を用いて、
前記過去画像、前記遷移画像、および前記平均画像のそれぞれの画素であって、前記過去画像から前記平均画像に表示が切り替わるまでの間に前記観察者が目で追うと予測される画素の画素値の平均値を求め、前記平均値を、前記平均画像が前記表示手段に表示された場合に前記観察者に知覚される視覚画像の画素の画素値とすることで生成される、前記視覚画像である。
【００３３】
本発明の第４の側面においては、予め定められた表示手段に表示された場合に、入力画像が表示されていると観察者が知覚する表示画像の表示画像信号に、前記入力画像の入力画像信号を変換する画像生成装置において、
これから生成しようとする前記表示画像の注目している画素を第１の注目画素とし、前記入力画像から検出された動きベクトルから定まり、前記入力画像における前記第１の注目画素と同じ位置の空間的または時間的に近傍にあるいくつかの画素の画素値が、前記第１の注目画素を予測するのに用いられる予測タップとして、前記入力画像信号から抽出され、
予め求められている変換係数と、前記予測タップとを線形結合することにより、前記第１の注目画素の画素値が予測演算される。
【発明の効果】
【００３４】
本発明の第１の側面によれば、より簡単に画像の画質の劣化を改善させることができる。
【００３５】
また、本発明の第２の側面によれば、より簡単に画像の画質の劣化を改善することができる。
【００３６】
本発明の第３の側面によれば、より簡単に画像の画質の劣化を改善させることができる。
【００３７】
また、本発明の第４の側面によれば、より簡単に画像の画質の劣化を改善することができる。
【発明を実施するための最良の形態】
【００３８】
以下、図面を参照して、本発明を適用した実施の形態について説明する。
【００３９】
図１は、本発明を適用した画像生成装置の一実施の形態の構成例を示すブロック図である。
【００４０】
画像生成装置１１は、カメラ等により撮影された入力画像を用いてクラス分類適応処理を行い、入力画像から観察者にとって、より高品質に見える表示画像を生成して表示する。ここでいう高品質に見える画像とは、動きぼけのない、より鮮明に見える画像である。
【００４１】
画像生成装置１１は、動きベクトル検出部２１、クラスタップ抽出部２２、クラス分類部２３、予測タップ抽出部２４、係数保持部２５、積和演算部２６、および表示部２７から構成される。画像生成装置１１に入力される入力画像の入力画像信号は、動きベクトル検出部２１、クラスタップ抽出部２２、および予測タップ抽出部２４に供給される。
【００４２】
動きベクトル検出部２１は、供給された入力画像信号に基づいて、入力画像から動きベクトルを検出し、検出された動きベクトルをクラス分類部２３、クラスタップ抽出部２２、および予測タップ抽出部２４に供給する。
【００４３】
クラスタップ抽出部２２は、表示画像を構成する画素を、順次、注目画素とし、入力された入力画像信号、および動きベクトル検出部２１からの動きベクトルを用いて、入力画像を構成する画素のいくつかを、注目画素を複数のクラスのうちの何れかにクラス分けするためのクラスタップとして抽出する。また、クラスタップ抽出部２２は、入力画像から抽出したクラスタップをクラス分類部２３に供給する。なお、表示画像は、これから求めようとする画像であり、現段階では存在しないため仮想的に想定される。
【００４４】
クラス分類部２３は、動きベクトル検出部２１からの動きベクトルと、クラスタップ抽出部２２からのクラスタップとを用いて、注目画素をクラス分類し、注目画素が分類されたクラスを示すクラスコードを係数保持部２５に供給する。
【００４５】
予測タップ抽出部２４は、入力された入力画像信号、および動きベクトル検出部２１からの動きベクトルを用いて、入力画像を構成する画素のいくつかを、注目画素の画素値を予測するために用いる予測タップとして抽出し、積和演算部２６に供給する。
【００４６】
係数保持部２５は、各クラスについて予め求められた、注目画素の画素値を予測するために用いる変換係数を保持しており、クラス分類部２３から供給されたクラスコードにより特定される変換係数を積和演算部２６に供給する。例えば、係数保持部２５には、変換係数を記録するメモリが設けられており、メモリにおけるクラスコードにより特定されるアドレスの領域から変換係数が読み出され、積和演算部２６に供給される。
【００４７】
積和演算部２６は、予測タップ抽出部２４から供給された予測タップ、つまり予測タップを構成する画素の画素値に、係数保持部２５からの変換係数を乗算して線形結合し、注目画素の画素値を予測演算する。積和演算部２６は、表示画像の各画素を注目画素とし、注目画素を予測演算することで得られた表示画像の表示画像信号を表示部２７に供給する。
【００４８】
表示部２７は、例えば、ＬＣＤディスプレイやＬＣＤプロジェクタなどのホールド型の表示デバイスからなり、積和演算部２６から供給された表示画像信号に基づいて、表示画像を表示する。
【００４９】
ところで、入力画像が動画像である場合、画像生成装置１１には、入力画像の入力画像信号が１フレーム分ずつ順次、供給される。画像生成装置１１に１フレーム分の入力画像信号が供給されると、画像生成装置１１は、供給されたフレームの入力画像信号に基づいて、そのフレームに対応するフレームの表示画像信号を生成し、表示画像を表示する処理である表示処理を開始する。
【００５０】
以下、図２のフローチャートを参照して、画像生成装置１１による表示処理について説明する。
【００５１】
ステップＳ１１において、動きベクトル検出部２１は、入力されたフレームの入力画像（入力画像信号）と、そのフレームの直前のフレームの入力画像とを用いて、表示画像の注目画素と同じ位置にある、入力されたフレームの入力画像上の画素の動きベクトルを検出する。
【００５２】
処理対象のフレーム、つまり新たに入力されたフレームを現フレームと称し、現フレームの時間的に１つ前のフレームを前フレームと称することとすると、動きベクトル検出部２１は、前回、供給された前フレームの入力画像信号を保持している。例えば、動きベクトル検出部２１は、現フレームの入力画像信号、および前フレームの入力画像信号を用いて、ブロックマッチングや勾配法などにより、現フレームの入力画像上における注目画素と同じ位置にある画素の動きベクトルを検出する。そして、動きベクトル検出部２１は、検出された動きベクトルをクラス分類部２３、クラスタップ抽出部２２、および予測タップ抽出部２４に供給する。
【００５３】
ステップＳ１２において、クラス分類部２３は、動きベクトル検出部２１から供給された動きベクトルに基づいて、その動きベクトルの大きさ（絶対値）により定まる動きコードを生成する。この動きコードは、２値データ（ビット値）であり、注目画素をクラス分けするために用いられる。例えば、動きベクトルの大きさの範囲として、０以上８未満、８以上１６未満、１６以上２４未満、および２４以上の範囲と、それらの範囲に対応つけられた動きコード「００」、「０１」、「１０」、および「１１」とが予め定められているとする。この場合、検出された動きベクトルの大きさが「４」であるときには、その動きベクトルの大きさは、０以上８未満の範囲に含まれるので、その範囲に対応付けられた値「００」が動きコードとされる。
【００５４】
なお、動きベクトルの大きさの範囲の数、つまり動きベクトルの大きさの分割数が多いほど、注目画素が分類されるクラス数をより多くすることができる。特に、動画像では、移動物体の動き量が多いほど、動画像に生じる動きぼけ量も多くなるため、動きベクトルの大きさの範囲をより細かく分けるほど、動きぼけ除去の効果を高めることができる。
【００５５】
ステップＳ１３において、クラスタップ抽出部２２は、動きベクトル検出部２１からの動きベクトルと、入力された入力画像信号とに基づいて、入力画像からクラスタップを抽出し、クラス分類部２３に供給する。すなわち、クラスタップ抽出部２２は、前回、供給された前フレームの入力画像信号を保持しており、前フレームおよび現フレームの入力画像信号を用いて、入力画像からクラスタップを抽出する。
【００５６】
例えば、注目画素と同じ位置にある現フレームの入力画像上の画素の時間的または空間的に近傍に位置するいくつかの画素、より詳細にはそれらの画素の画素値がクラスタップとして抽出される。
【００５７】
ステップＳ１４において、クラス分類部２３は、クラスタップ抽出部２２から供給されたクラスタップに、ADRC（Adaptive Dynamic Range Control）処理を施す。このADRC処理は、入力画像の輝度の波形の特徴量を２値データ（ビット値）に変換する処理であり、例えば、クラス分類部２３は、クラスタップに１ビットADRC処理を施す。
【００５８】
すなわち、クラス分類部２３は、クラスタップを構成する画素の画素値の最大値MAXおよび最小値MINを検出し、検出された画素値の最大値MAXと最小値MINとの差ＤＲ（ＤＲ=MAX-MIN）を、クラスタップを構成する画素の集合の局所的なダイナミックレンジとする。クラス分類部２３は、このダイナミックレンジＤＲに基づいて、クラスタップを構成する画素（の画素値）を１ビットに再量子化する。つまり、クラス分類部２３は、クラスタップを構成する各画素の画素値から最小値MINを減算し、その減算値をDR/2で除算（量子化）する。
【００５９】
そして、クラス分類部２３は、以上のようにして得られた、クラスタップを構成する１ビットの各画素の画素値を所定の順番で並べたビット列をADRCコードとする。このADRCコードは、注目画素をクラス分けするために用いられ、入力画像上の注目画素と同じ位置の画素近傍における、輝度の波形の特徴を示している。
【００６０】
ステップＳ１５において、クラス分類部２３は、生成した動きコードと、ADRCコードとに基づいて注目画素のクラス分類を行い、注目画素のクラスを決定する。すなわち、クラス分類部２３は、ADRCコードに動きコードを付加して得られるビット値を、注目画素のクラスを示すクラスコードとし、そのクラスコードを係数保持部２５に供給する。
【００６１】
このように、クラス分類部２３では、入力画像の輝度波形、つまり入力画像における輝度レベルの分布と、動きベクトルの大きさに応じて注目画素のクラス分けが行われる。
【００６２】
クラス分類部２３から係数保持部２５にクラスコードが供給されると、係数保持部２５は、記録している変換係数のうち、供給されたクラスコードにより特定される変換係数を読み出して積和演算部２６に供給する。この変換係数は、入力画像を動きぼけのない表示画像に変換するための係数であり、予め求められて係数保持部２５に記録されている。
【００６３】
例えば、動画像である入力画像を、ホールド型の表示部２７にそのまま表示すると、表示された入力画像を観察する観察者の目には、入力画像上の移動物体がぼけて見える。そこで、画像生成装置１１では、表示部２７に表示された場合に、観察者に、ぼけていない移動物体が表示されているように知覚させる表示画像が生成されるような変換係数が予め用意されて、係数保持部２５に記録されている。
【００６４】
画像生成装置１１では、この変換係数が用いられて、入力画像が、動きぼけのない高品質な表示画像に変換される。この表示画像は、表示画像を表示部２７に表示させたときに、その表示画像を見ている観察者が、表示部２７に入力画像が表示されていると知覚すると予測される画像である。つまり、表示画像が表示部２７に表示されると、観察者には、動きぼけのない入力画像が表示されているように見える。
【００６５】
ステップＳ１６において、予測タップ抽出部２４は、動きベクトル検出部２１からの動きベクトルと、入力された入力画像信号とに基づいて、入力画像から予測タップを抽出し、積和演算部２６に供給する。すなわち、予測タップ抽出部２４は、前回、供給された前フレームの入力画像信号を保持しており、前フレームおよび現フレームの入力画像信号を用いて、入力画像から予測タップを抽出する。例えば、注目画素と同じ位置にある現フレームの入力画像上の画素の時間的または空間的に近傍に位置するいくつかの画素、より詳細にはそれらの画素の画素値が予測タップとして抽出される。
【００６６】
ここで、入力画像から抽出されるクラスタップおよび予測タップは、例えば、図３Ａに示すように、注目画素と同じ位置にある入力画像上の画素の空間的または時間的に近傍に位置する画素とされる。なお、図３Ａにおいて、縦方向は時間を示しており、横方向は各フレームの入力画像における各画素の位置を示している。また、１つの円は、入力画像上の１つの画素を示している。さらに、以下、入力画像上における図中、横方向を水平方向と称し、入力画像上における水平方向と垂直な方向を垂直方向と称するものとする。
【００６７】
図３Ａでは、図中、上側には、横方向に並んだ画素からなる現フレームの入力画像が示されており、図中、下側には、横方向に並んだ画素からなる前フレームの入力画像が示されている。
【００６８】
現フレームの入力画像上の画素のうち、画素Ｇ１１が、表示画像の注目画素と同じ位置の画素であり、画素Ｇ１１の動きベクトルとして、大きさＭＶである動きベクトルｍｖが検出されたとする。この場合、現フレームの入力画像上の画素Ｇ１１、現フレームの入力画像上の動きベクトルｍｖにより定まる画素Ｇ１２、並びに前フレームの入力画像上の動きベクトルｍｖにより定まる画素Ｇ１３および画素Ｇ１４の合計４つの画素がクラスタップとされる。
【００６９】
ここで、画素Ｇ１２は、現フレームの入力画像上において、基準となる画素Ｇ１１から動きベクトルｍｖと反対方向に、動きベクトルｍｖの所定の割合の大きさ、例えば、３／４ＭＶの距離だけ移動した位置にある画素である。
【００７０】
また、画素Ｇ１３は、前フレームの入力画像上において、現フレームの画素Ｇ１１と同じ位置にある画素Ｇ１１’から、動きベクトルｍｖと反対方向に距離ＭＶだけ移動した位置にある画素である。つまり、画素Ｇ１３は、現フレームの入力画像上の画素Ｇ１１に表示される移動物体が、前フレームの入力画像上において表示される画素である。したがって、前フレームの入力画像上において、画素Ｇ１３に表示されていた移動物体が、動きベクトルｍｖに示される方向に、動きベクトルｍｖの大きさＭＶと同じ長さの距離だけ移動し、現フレームの入力画像上では、画素Ｇ１１に表示されていることになる。
【００７１】
さらに、画素Ｇ１４は、前フレームの入力画像上において、画素Ｇ１１と同じ位置にある画素Ｇ１１’から動きベクトルｍｖと反対方向に、動きベクトルｍｖの所定の割合の大きさ、例えば、３／４ＭＶの距離だけ移動した位置にある画素である。
【００７２】
このように、クラスタップ抽出部２２により、現フレームの入力画像上における注目画素と同じ位置にある画素Ｇ１１と、画素Ｇ１１の空間的に近傍にある画素Ｇ１２、並びに画素Ｇ１１と時間的に近傍にある前フレームの入力画像上の画素Ｇ１３および画素Ｇ１４が、クラスタップとして抽出される。
【００７３】
また、予測タップ抽出部２４では、図３Ａ乃至図３Ｃに示すように、クラスタップと同じ画素である画素Ｇ１１乃至画素１４と、それらの画素に隣接する画素とが、予測タップとして抽出される。なお、図３Ｂおよび図３Ｃにおいて、横方向は入力画像上の水平方向を示しており、縦方向は入力画像上の垂直方向を示している。
【００７４】
すなわち、図３Ｂの左側に示すように、現フレームの入力画像上の画素Ｇ１１に上下左右に隣接する画素Ｇ１５−１乃至画素Ｇ１５−４が予測タップとされる。また、図３Ｂの右側に示すように、前フレームの入力画像上の画素Ｇ１３に上下左右に隣接する画素Ｇ１６−１乃至画素Ｇ１６−４が予測タップとされる。
【００７５】
さらに、図３Ｃの左側に示すように、現フレームの入力画像上の画素Ｇ１２に上下左右に隣接する画素Ｇ１７−１乃至画素Ｇ１７−４が予測タップとされ、図３Ｃの右側に示すように、前フレームの入力画像上の画素Ｇ１４に上下左右に隣接する画素Ｇ１８−１乃至画素Ｇ１８−４が予測タップとされる。
【００７６】
このように、予測タップ抽出部２４では、入力画像上における注目画素と同じ位置の空間的または時間的に近傍にある画素Ｇ１１乃至画素Ｇ１８−４の合計２０の画素が予測タップとして抽出される。
【００７７】
図２のフローチャートの説明に戻り、ステップＳ１７において、積和演算部２６は、予測タップ抽出部２４からの予測タップを構成する画素の画素値に、係数保持部２５からの変換係数を乗算して線形結合し、注目画素の画素値を予測演算する。
【００７８】
ステップＳ１８において、画像生成装置１１は、表示画像の全ての画素について予測演算を行ったか否かを判定する。すなわち、表示画像の全ての画素が注目画素とされて、それらの画素の画素値が求められた場合、全ての画素について予測演算を行ったと判定される。
【００７９】
ステップＳ１８において、まだ全ての画素について予測演算を行っていないと判定された場合、処理はステップＳ１１に戻り、上述した処理が繰り返される。すなわち、表示画像のまだ注目画素とされていない画素が新たな注目画素とされ、その注目画素の画素値が求められる。
【００８０】
一方、ステップＳ１８において、全ての画素について予測演算を行ったと判定された場合、積和演算部２６は、求められた表示画像の各画素の画素値から、表示画像の表示画像信号を生成して表示部２７に供給し、処理はステップＳ１９に進む。
【００８１】
ステップＳ１９において、表示部２７は、積和演算部２６から供給された表示画像信号に基づいて、表示画像を表示して表示処理は終了する。これにより、表示部２７には、１フレーム分の表示画像が表示される。その後、繰り返し表示処理が行われて、各フレームの表示画像が、順次、表示される。
【００８２】
このようにして、画像生成装置１１は、入力画像の動きベクトルに応じて入力画像からクラスタップを抽出し、クラスタップおよび動きベクトルから注目画素のクラス分類を行う。そして、画像生成装置１１は、クラス分類の結果により定まる変換係数と、入力画像から動きベクトルに応じて抽出された予測タップとを用いて注目画素の画素値を予測演算し、表示画像を求める。
【００８３】
このように、動きベクトルに応じて入力画像から抽出された予測タップと、動きベクトルを用いて決められたクラスごとの変換係数とを用いて表示画像を生成することで、観察者に動きぼけを知覚させない画像を簡単な処理で生成し、表示することができる。つまり、より簡単に画像の画質の劣化を改善することができる。
【００８４】
次に、図１の積和演算部２６における予測演算と、係数保持部２５に記録された変換係数の学習について説明する。
【００８５】
例えば、クラス分類適応処理として、入力画像信号から予測タップを抽出し、その予測タップと変換係数とを用いて、表示画像の画素（以下、適宜、高画質画素と称する）の画素値を所定の予測演算によって求める（予測する）ことを考える。
【００８６】
所定の予測演算として、例えば、線形１次予測演算を採用することとすると、高画質画素の画素値ｙは、式（１）に示す線形１次式によって求められることになる。
【００８７】
【数１】
【００８８】
但し、式（１）において、ｘiは、高画質画素の画素値ｙについての予測タップを構成する、ｉ番目の入力画像信号の画素（以下、適宜、低画質画素と称する）の画素値を表し、ｗiは、ｉ番目の低画質画素（の画素値）と乗算されるｉ番目の変換係数を表す。なお、式（１）では、予測タップがＮ個の低画質画素ｘ1，ｘ2，・・・，ｘNで構成されるものとしてある。
【００８９】
ここで、高画質画素の画素値ｙは、式（１）に示した線形１次式ではなく、２次以上の高次の線形関数の式によって求めるようにすることも可能である。また、線形関数に限らず、非線形関数によって高画質画素の画素値を求めるようにしてもよい。
【００９０】
いま、第ｊサンプルの高画質画素の画素値の真値をｙjと表すとともに、式（１）によって得られるその真値ｙjの予測値をｙj'と表すと、その予測誤差ｅjは、次式（２）で表される。
【００９１】
【数２】
【００９２】
いま、式（２）の予測値ｙj'は、式（１）にしたがって求められるため、式（２）のｙj'を、式（１）にしたがって置き換えると、次式（３）が得られる。
【００９３】
【数３】
【００９４】
但し、式（３）において、ｘj,iは、第ｊサンプルの高画質画素についての予測タップを構成するi番目の低画質画素を表す。
【００９５】
式（３）（または式（２））の予測誤差ｅjを０とする変換係数ｗiが、高画質画素を予測するのに最適なものとなるが、すべての高画質画素について、そのような変換係数ｗiを求めることは、一般には困難である。
【００９６】
そこで、変換係数ｗiが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適な変換係数ｗiは、次式（４）で表される自乗誤差の総和Ｅを最小にすることで求めることができる。
【００９７】
【数４】
【００９８】
但し、式（４）において、Ｊは、高画質画素ｙjと、その高画質画素ｙjについての予測タップを構成する低画質画素ｘj,1，ｘj,2，・・・，ｘj,Nとのセットのサンプル数（学習用のサンプルの数）を表す。
【００９９】
式（４）の自乗誤差の総和Ｅの最小値（極小値）は、式（５）に示すように、総和Ｅを変換係数ｗiで偏微分したものを０とするｗiによって与えられる。
【０１００】
【数５】
【０１０１】
一方、上述の式（３）を変換係数ｗiで偏微分すると、次式（６）が得られる。
【０１０２】
【数６】
【０１０３】
式（５）および式（６）から、次式（７）が得られる。
【０１０４】
【数７】
【０１０５】
式（７）のｅjに、式（３）を代入することにより、式（７）は、式（８）に示す正規方程式で表すことができる。
【０１０６】
【数８】
【０１０７】
式（８）の正規方程式は、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、変換係数ｗiについて解くことができる。
【０１０８】
式（８）の正規方程式を、クラスごとに立てて解くことにより、最適な変換係数ｗi（ここでは、自乗誤差の総和Ｅを最小にする変換係数ｗi）を、クラスごとに求めることができる。つまり、注目画素のクラスごとに、統計的に最も真値に近い、注目画素の輝度レベル（画素値）を推定することのできる変換係数ｗiが得られる。
【０１０９】
図１の積和演算部２６では、以上のようなクラスごとの変換係数ｗiを用いて、式（１）の演算を行うことにより、入力画像信号から、表示画像信号を得ることができる。
【０１１０】
次に、図４は、式（８）の正規方程式をクラスごとに立てて解くことにより変換係数ｗiを求める学習を行う学習装置の構成例を示している。
【０１１１】
学習装置７１は、注目画素抽出部８１、生徒画像生成部８２、動きベクトル検出部８３、クラスタップ抽出部８４、クラス分類部８５、予測タップ抽出部８６、演算部８７、および係数生成部８８から構成される。
【０１１２】
この学習装置７１の注目画素抽出部８１および生徒画像生成部８２には、変換係数を求めるために用いられる教師画像の教師画像信号として、入力画像信号が供給される。ここで教師画像とは、学習処理において用いられる画像のうち、変換係数を用いて最終的に求められるべき画像のサンプル、つまり高画質画素ｙjからなる画像をいう。また、学習処理において、教師画像を求めるために用いられる画像のサンプル、つまり低画質画素からなる画像を、生徒画像と称する。したがって、教師画像および生徒画像は、画像生成装置１１における表示画像および入力画像に相当する。
【０１１３】
注目画素抽出部８１は、供給された教師画像信号に基づく教師画像上の画素を、順次、注目する画素である注目画素として、教師画像信号から注目画素、より詳細には注目画素の画素値を抽出して演算部８７に供給する。
【０１１４】
生徒画像生成部８２は、供給された教師画像信号を用いて、変換係数を求めるために用いられ、教師画像信号に基づく教師画像よりも低品質な画像である生徒画像の生徒画像信号を生成し、動きベクトル検出部８３、クラスタップ抽出部８４、および予測タップ抽出部８６に供給する。
【０１１５】
例えば、生徒画像として、入力画像に動きぼけが生じた画像である視覚画像が生成される。視覚画像とは、表示部２７に、前フレームの入力画像が表示された後、現フレームの入力画像が表示される場合に、前フレームの入力画像が表示されてから現フレームの入力画像が表示されるまでの間、表示部２７を観察していた観察者の目に見える画像をいう。すなわち、入力画像が表示部２７に、そのまま表示された場合に、表示部２７の特性によって、入力画像を観察する観察者が知覚すると予測される画像が視覚画像である。
【０１１６】
動きベクトル検出部８３は、生徒画像生成部８２からの生徒画像信号に基づいて、生徒画像から動きベクトルを検出し、クラス分類部８５、クラスタップ抽出部８４、および予測タップ抽出部８６に供給する。
【０１１７】
クラスタップ抽出部８４は、教師画像における注目画素との対応をとりながら、動きベクトル検出部８３からの動きベクトルを用いて、生徒画像生成部８２からの生徒画像信号から、生徒画像上の画素のうちのいくつかをクラスタップとして抽出する。そして、クラスタップ抽出部８４は、抽出したクラスタップをクラス分類部８５に供給する。
【０１１８】
クラス分類部８５は、動きベクトル検出部８３からの動きベクトルと、クラスタップ抽出部８４からのクラスタップとを用いて、注目画素をクラス分類し、分類されたクラスを示すクラスコードを演算部８７に供給する。
【０１１９】
予測タップ抽出部８６は、教師画像における注目画素との対応をとりながら、動きベクトル検出部８３からの動きベクトルを用いて、生徒画像生成部８２からの生徒画像信号から、生徒画像上の画素のうちのいくつかを予測タップとして抽出する。予測タップ抽出部８６は、抽出した予測タップを演算部８７に供給する。
【０１２０】
演算部８７は、注目画素抽出部８１から供給された注目画素と、予測タップ抽出部８６から供給された予測タップとの対応をとりながら、注目画素と予測タップを構成する画素とを対象とした足し込みを、クラス分類部８５からのクラスコードにしたがって行う。
【０１２１】
すなわち、演算部８７には、教師画像データの注目画素の画素値ｙj、予測タップ（を構成する生徒画像信号の画素の画素値）ｘj,i、注目画素のクラスを表すクラスコードが供給される。
【０１２２】
そして、演算部８７はクラスコードに対応するクラスごとに、予測タップ（生徒画像信号）ｘj,iを用い、式（８）の左辺の行列における生徒画像信号どうしの乗算（ｘj,iｘj,i）、およびその乗算された値の総和の演算に相当する演算を行う。
【０１２３】
さらに、演算部８７は、クラスコードに対応するクラスごとに、予測タップ（生徒画像信号）ｘj,iおよび教師画像信号ｙjを用い、式（８）の右辺のベクトルにおける生徒画像信号ｘj,iおよび教師画像信号ｙjの乗算（ｘj,iｙj）、並びにその乗算された値の総和の演算に相当する演算を行う。
【０１２４】
すなわち、演算部８７は、前回、注目画素とされた教師画像信号について求められた式（８）における左辺の行列のコンポーネント（Σｘj,iｘj,i）と、右辺のベクトルのコンポーネント（Σｘj,iｙj）を記憶しており、その行列のコンポーネント（Σｘj,iｘj,i）またはベクトルのコンポーネント（Σｘj,iｙj）に対して、新たに注目画素とされた教師画像信号について、その教師画像信号ｙj+1および生徒画像信号ｘj+1,iを用いて計算される、対応するコンポーネントｘj+1,iｘj+1,iまたはｘj+1,iｙj+1を足し込む（式（８）のΣで表される加算を行う）。
【０１２５】
そして、演算部８７は、教師画像信号の全ての画素を注目画素として、上述の足し込みを行うことにより、各クラスについて、式（８）に示した正規方程式を立てる（生成する）と、その正規方程式を係数生成部８８に供給する。
【０１２６】
係数生成部８８は、演算部８７による足し込みによって得られた、各クラスについての正規方程式（のマトリクス係数）を解くことにより、各クラスについて、最適な変換係数ｗiを求めて記録する。
【０１２７】
次に、図５は、図４の生徒画像生成部８２のより詳細な構成例を示すブロック図である。
【０１２８】
生徒画像生成部８２は、動きベクトル検出部１１１、動き補償部１１２、応答モデル保持部１１３、動き補償部１１４、および積分部１１５から構成される。
【０１２９】
動きベクトル検出部１１１は、供給された教師画像から動きベクトルを検出して動き補償部１１２および動き補償部１１４に供給する。
【０１３０】
動き補償部１２２は、供給された教師画像、および動きベクトル検出部１１１から供給された動きベクトルを用いて動き補償を行い、供給された教師画像としての入力画像の時間的に１つ前のフレームの入力画像に相当（対応）する画像である過去画像を生成する。そして、動き補償部１１２は、教師画像および生成した過去画像を応答モデル保持部１１３に供給する。
【０１３１】
ここで、過去画像とは、供給された教師画像としての入力画像上において動きのある移動物体を、その移動物体の動きベクトルにより示される方向と逆方向に移動させることにより生成される、供給された入力画像の１フレーム前の入力画像と等価な画像をいう。
【０１３２】
応答モデル保持部１１３は、画像生成装置１１の表示部２７の発光特性を示すモデル、例えば表示部２７の表示画面を構成する画素の輝度値を、所定の輝度値から異なる輝度値に変化させたときの輝度値の時間的な変化を示す応答モデルを予め保持している。この表示部２７の応答モデルは、例えば表示部２７がLCDにより構成される場合にはLCDの応答モデルとされ、表示部２７に各画素の輝度値が最も低い黒い画像を表示させた後、最も輝度値が高い白い画像を表示させて、そのときの各画素の輝度値の時間的な変化を高速カメラや光プローブを用いて計測することにより生成される。
【０１３３】
また、応答モデル保持部１１３は、保持している応答モデルと、動き補償部１１２から供給された教師画像および過去画像とを用いて、表示部２７に過去画像が表示され、その後、教師画像としての入力画像が表示された場合に、その表示が切り替わるときに表示部２７に表示される過渡的な画像である遷移画像を生成する。そして、応答モデル保持部１１３は、動き補償部１１２から供給された教師画像および過去画像と、生成した遷移画像とを動き補償部１１４に供給する。
【０１３４】
例えば、表示部２７に過去画像が表示された後、入力画像（教師画像）が表示されたとすると、表示部２７に表示される画像、つまり表示部２７の表示画面を構成する各画素の輝度値は、応答モデルにより示される輝度値の変化にしたがって、過去画像を表示するときの輝度値から、徐々に入力画像を表示するときの輝度値に変化する。
【０１３５】
このとき、表示部２７に表示される画像が過去画像から入力画像に切り替わるまでの間の所定の時刻において、表示部２７に表示されている画像が遷移画像とされ、応答モデル保持部１１３は、予め定められたいくつかの時刻の遷移画像、例えば１６枚の遷移画像を生成する。換言すれば、遷移画像は、過去画像のフレームと、入力画像のフレームとの間のフレームにおいて表示される画像ということができる。
【０１３６】
動き補償部１１４は、動きベクトル検出部１１１から供給された動きベクトルと、応答モデル保持部１１３から供給された教師画像、過去画像、および遷移画像とを用いて動き補償を行い、追従画素の画素値を求めて積分部１１５に供給する。
【０１３７】
ここで、追従画素について説明する。表示部２７に過去画像が表示された後、教師画像としての入力画像が表示される場合に、過去画像が表示されてから入力画像が表示されるまでの間、表示部２７を観察していた観察者に知覚される画像である視覚画像は、過去画像、遷移画像、および入力画像を平均した画像とされる。
【０１３８】
すなわち、例えば、表示画面上を移動物体が所定の方向に移動する画像が表示部２７に表示される場合、観察者は移動物体を目で追うので、過去画像、遷移画像、および入力画像のそれぞれの画像上における移動物体の所定の部分が表示される画素の輝度値の平均値、より詳細には、各画像上の観察者が目で追った画素の輝度値の平均値が、その移動物体の所定の部分が表示される視覚画像上の画素の輝度値となる。
【０１３９】
そこで、以下の説明では、視覚画像上の所定の画素の輝度値（画素値）を求めるための平均値の計算の対象となる過去画像、遷移画像、および入力画像の画素、つまり観察者が目で追うと予測される画素のそれぞれを追従画素と呼ぶこととする。したがって、動き補償部１１４は、視覚画像上の各画素について、過去画像、遷移画像、および入力画像の追従画素のそれぞれの輝度値で発光させるための画素値のそれぞれを求めて、求められた画素値を追従画素の画素値として積分部１１５に供給する。
【０１４０】
積分部１１５は、動き補償部１１４から供給された追従画素の画素値を積分することにより視覚画像を生成し、生成した視覚画像を生徒画像として動きベクトル検出部８３、クラスタップ抽出部８４、および予測タップ抽出部８６に供給する。すなわち、積分部１１５は視覚画像の画素ごとに、その画素に対応する追従画素の画素値の平均値を求めて視覚画像の画素の画素値とすることにより、視覚画像、より詳細には視覚画像信号を生成する。
【０１４１】
ところで、学習装置７１には、画像生成装置１１に供給される入力画像信号と同じ入力画像信号、つまり被写体を撮影して得られる、特に処理の施されていない入力画像信号が、教師画像信号として１フレーム分ずつ、少なくとも２フレーム分、供給される。学習装置７１に教師画像信号が供給されると、学習装置７１は、供給された教師画像信号を用いて生徒画像信号を生成し、教師画像信号および生徒画像信号から変換係数を求める学習処理を開始する。
【０１４２】
以下、図６のフローチャートを参照して、学習装置７１による学習処理について説明する。
【０１４３】
ステップＳ４１において、生徒画像生成部８２は、供給された教師画像信号に基づいて、生徒画像生成処理を行い、生徒画像としての視覚画像を生成し、動きベクトル検出部８３、クラスタップ抽出部８４、および予測タップ抽出部８６に供給する。なお、生徒画像生成処理の詳細は後述する。
【０１４４】
ステップＳ４２において、注目画素抽出部８１は、供給された教師画像信号に基づく教師画像上の画素を注目画素とし、教師画像信号から注目画素、より詳細には注目画素の画素値を抽出する。注目画素抽出部８１は、抽出した注目画素を演算部８７に供給する。
【０１４５】
ステップＳ４３において、動きベクトル検出部８３は、生徒画像生成部８２から供給されたフレームの生徒画像（生徒画像信号）と、そのフレームの直前のフレームの生徒画像とを用いて、注目画素と同じ位置にある、生徒画像生成部８２から供給されたフレームの生徒画像上の画素の動きベクトルを検出する。
【０１４６】
今回、処理の対象となるフレームを現フレームと称し、現フレームの時間的に１つ前のフレームを前フレームと称することとすると、動きベクトル検出部８３は、前回、供給された前フレームの生徒画像信号を保持している。例えば、動きベクトル検出部８３は、現フレームの生徒画像像信号、および前フレームの生徒画像信号を用いて、ブロックマッチングや勾配法などにより、現フレームの生徒画像上における注目画素と同じ位置にある画素の動きベクトルを検出する。そして、動きベクトル検出部８３は、検出された動きベクトルをクラス分類部８５、クラスタップ抽出部８４、および予測タップ抽出部８６に供給する。
【０１４７】
ステップＳ４４において、クラス分類部８５は、動きベクトル検出部８３から供給された動きベクトルに基づいて、その動きベクトルの大きさ（絶対値）により定まる動きコードを生成する。この動きコードは、２値データ（ビット値）であり、注目画素をクラス分けするために用いられる。
【０１４８】
ステップＳ４５において、クラスタップ抽出部８４は、教師画像における注目画素との対応をとりながら、動きベクトル検出部８３からの動きベクトルと、生徒画像生成部８２からの生徒画像信号とに基づいて、生徒画像からクラスタップを抽出し、クラス分類部８５に供給する。すなわち、クラスタップ抽出部８４は、前フレームの生徒画像信号を保持しており、前フレームおよび現フレームの生徒画像信号を用いて、注目画素と同じ位置にある現フレームの生徒画像上の画素の時間的または空間的に近傍に位置するいくつかの画素、より詳細にはそれらの画素の画素値をクラスタップとして抽出する。
【０１４９】
例えば、クラスタップ抽出部８４は、生徒画像上において、注目画素に対して、クラスタップ抽出部２２により入力画像から抽出されるクラスタップと同じ位置関係にある画素を、クラスタップとして抽出する。すなわち、図３Ａに示した現フレームおよび前フレームの画像が生徒画像であり、画素Ｇ１１が教師画像の注目画素と同じ位置にある画素であるとすると、画素Ｇ１１乃至画素Ｇ１４がクラスタップとして抽出される。
【０１５０】
ステップＳ４６において、クラス分類部８５は、クラスタップ抽出部８４から供給されたクラスタップに、ADRC処理を施す。
【０１５１】
ステップＳ４７において、クラス分類部８５は、生成した動きコードと、ADRC処理の結果得られたADRCコードとに基づいて、注目画素のクラス分類を行って注目画素のクラスを決定し、決定されたクラスを示すクラスコードを演算部８７に供給する。
【０１５２】
ステップＳ４８において、予測タップ抽出部８６は、動きベクトル検出部８３からの動きベクトルと、生徒画像生成部８２からの生徒画像信号とに基づいて、生徒画像から予測タップを抽出し、演算部８７に供給する。すなわち、予測タップ抽出部８６は、前フレームの生徒画像信号を保持しており、前フレームおよび現フレームの生徒画像信号を用いて、注目画素と同じ位置にある現フレームの生徒画像上の画素の時間的または空間的に近傍に位置するいくつかの画素、より詳細にはそれらの画素の画素値を予測タップとして抽出する。
【０１５３】
例えば、予測タップ抽出部８６は、生徒画像上において、注目画素に対して、予測タップ抽出部２４により入力画像から抽出される予測タップと同じ位置関係にある画素を、予測タップとして抽出する。すなわち、図３Ａに示した現フレームおよび前フレームの画像が生徒画像であり、画素Ｇ１１が教師画像の注目画素と同じ位置にある画素であるとすると、画素Ｇ１１乃至画素Ｇ１８−４が予測タップとして抽出される。
【０１５４】
ステップＳ４９において、演算部８７は、注目画素抽出部８１から供給された注目画素と、予測タップ抽出部８６からの予測タップとの対応をとりながら、注目画素と予測タップを構成する画素とを対象として、クラス分類部８５からのクラスコードに対応するクラスについて立てられた式（８）により示される正規方程式への足し込みを行う。
【０１５５】
ステップＳ５０において、演算部８７は全ての画素について足し込みを行ったか否かを判定する。例えば、現フレームの教師画像上の全ての画素が注目画素とされて足し込みが行われた場合、全ての画素について足し込みを行ったと判定される。
【０１５６】
ステップＳ５０において、全ての画素について足し込みを行っていないと判定された場合、処理はステップＳ４２に戻り、上述した処理が繰り返される。すなわち、教師画像のまだ注目画素とされていない画素が新たな注目画素とされて、足し込みが行われる。
【０１５７】
これに対して、ステップＳ５０において、全ての画素について足し込みを行ったと判定された場合、演算部８７は、各クラスについて立てた正規方程式を係数生成部８８に供給して、処理はステップＳ５１に進む。
【０１５８】
ステップＳ５１において、係数生成部８８は、演算部８７から供給されたクラスごとの正規方程式を、例えば、掃き出し法によって解くことにより各クラスの変換係数ｗｉを求めて記録する。これにより、各クラスの注目画素の画素値を予測するために用いられる変換係数ｗｉが求められる。このようにして求められた変換係数は、画像生成装置１１の係数保持部２５に記録されて、表示画像の生成に用いられる。
【０１５９】
このようにして、学習装置７１は、教師画像としての入力画像から、視覚画像を生徒画像として生成し、教師画像および生徒画像を用いて変換係数を求める。
【０１６０】
このように、入力画像を教師画像とし、視覚画像を生徒画像として学習により変換係数を求めることで、より簡単な処理で、入力画像をより高品質な表示画像に変換するための変換係数を求めることができる。このようにして求められた変換係数を用いれば、入力画像を、より高品質な表示画像に変換して表示することができ、その結果、より簡単に画像の画質の劣化を改善することができるようになる。
【０１６１】
なお、以上においては、１フレーム分の教師画像の画素が注目画素とされて変換係数が求められる例について説明したが、複数フレームの教師画像が用いられて変換係数が求められるようにしてもよい。そのような場合、各フレームの教師画像の画素が注目画素とされて、クラスごとに正規方程式が立てられる。
【０１６２】
次に、図７のフローチャートを参照して、図６のステップＳ４１の処理に対応する処理である生徒画像生成処理について説明する。
【０１６３】
ステップＳ８１において、動きベクトル検出部１１１は供給された教師画像を用いて、例えばブロックマッチングや勾配法などにより動きベクトルを検出し、動き補償部１１２および動き補償部１１４に供給する。例えば、動きベクトル検出部１１１は、前フレームの教師画像と、今回、新たに供給された現フレームの教師画像とを用いて、現フレームの教師画像の各画素の動きベクトルを検出する。
【０１６４】
ステップＳ８２において、動き補償部１１２は、供給された教師画像、および動きベクトル検出部１１１から供給された動きベクトルに基づいて、例えば、バイキュービックフィルタを用いて画素以下の精度で動き補償を行い、過去画像を生成する。そして、動き補償部１１２は、供給された教師画像、および生成した過去画像を応答モデル保持部１１３に供給する。
【０１６５】
例えば、図８Ａに示すように、前回供給された前フレームの教師画像と、今回、新たに供給された現フレームの教師画像との間で、教師画像上の移動物体ＯＢ１の動き、つまり移動物体ＯＢ１の動きベクトルＭＶ１が検出された場合、図８Ｂに示すように、現フレームの教師画像上の移動物体ＯＢ１を、検出された動きと逆方向に移動させて過去画像を生成する。
【０１６６】
なお、図８Ａおよび図８Ｂにおいて、縦方向は時間を示しており、横方向は空間方向、すなわち画像上の位置を示している。また、図中、１つの円は、１つの画素を表している。
【０１６７】
図８Ａでは、図中、上側の画素の列は、前フレームの教師画像（入力画像）を表しており、下側の画素の列は現フレームの教師画像（入力画像）を表している。さらに、前フレームおよび現フレームの教師画像上の黒い画素（黒い円）が横方向に並べられている領域は、教師画像上を移動する移動物体ＯＢ１を表しており、移動物体ＯＢ１は、時間とともに図中、左方向に移動している。
【０１６８】
したがって、動きベクトル検出部１１１により、図中の矢印により表される移動物体ＯＢ１の動きベクトルＭＶ１が検出される。例えば、動きベクトルＭＶ１は、左方向に向かう大きさがＭＶ１のベクトルとされる。
【０１６９】
移動物体ＯＢ１の動きが検出されると、動き補償部１１２は、図８Ｂに示すように、現フレームの教師画像と、検出された動きベクトルＭＶ１とから過去画像を生成する。ここで、図中、上側の画素の列は、生成された過去画像を表しており、下側の画素の列は現フレームの教師画像を表している。
【０１７０】
動き補償部１１２は、図中の矢印により示されるように、現フレームの教師画像上において動きが検出された画素、つまり移動物体ＯＢ１を、検出された動きベクトルＭＶ１と反対方向に、動きベクトルＭＶ１の大きさだけ移動させることにより過去画像を生成する。これにより、前フレームの教師画像（入力画像）とほぼ同じ画像が過去画像として生成される。
【０１７１】
なお、前フレームの教師画像を、そのまま過去画像としてもよいが、動き補償により過去画像を生成すると、移動物体の画素以下の動きやノイズ成分によるフレーム間差分が出ないため、動き補償により過去画像を生成するのが望ましい。また、動きベクトルの検出に、時間的に１つ前のフレームだけでなく、時間的に２つ前のフレームの教師画像も用いるようにしてもよい。
【０１７２】
図７のフローチャートの説明に戻り、ステップＳ８３において、応答モデル保持部１１３は、予め保持している応答モデルと、動き補償部１１２から供給された教師画像および過去画像とを用いて遷移画像を生成する。また、応答モデル保持部１１３は、動き補償部１１２から供給された教師画像および過去画像と、生成した遷移画像とを動き補償部１１４に供給する。
【０１７３】
例えば、応答モデル保持部１１３は、図９に示す応答モデルを保持している。ここで、図９の応答モデルは、表示部２７としてのLCDの応答特性を示している。また、図において縦軸はLCDの１つの画素の輝度値を示し、横軸は時間を示している。
【０１７４】
曲線Ｌ７１は、画素の輝度値を９８から０に変化させたときの輝度値の時間的な変化を示しており、０ms以降、つまり輝度値を変化させた後は、その輝度値がほぼ直線状に減少している。また、曲線Ｌ７２は、曲線Ｌ７１を反転させたもの、つまり曲線Ｌ７２は、輝度値が５０である横方向の直線を軸として、その軸に関して曲線Ｌ７１と対称な曲線となっている。
【０１７５】
さらに、曲線Ｌ７３は、画素の輝度値を０から９８に変化させたときの輝度値の時間的な変化を示しており、０ms以降、つまり輝度値を変化させた後は、その輝度値が徐々に増加している。特に、曲線Ｌ７３においては、０msから５msまでの区間で輝度値が急激に増加している。
【０１７６】
例えば、応答モデル保持部１１３は、各時間にける曲線Ｌ７２上の輝度値と曲線Ｌ７３上の輝度値とを足して２で除算して得られる輝度値を各時間の輝度値とする曲線、つまり曲線Ｌ７２および曲線Ｌ７３を平均して得られる曲線と、曲線Ｌ７１とを表示部２７の応答モデルとして用いる。
【０１７７】
応答モデル保持部１１３は、このような応答モデルを用いて遷移画像を生成する。例えば、現フレームの教師画像から図８の過去画像が生成されたとすると、図１０に示すように、過去画像と現フレームの教師画像との間の遷移画像が生成される。なお、図１０において、縦方向は時間を示しており、横方向は空間方向、すなわち画像上の位置を示している。また、図中、１つの円は、１つの画素を表している。
【０１７８】
図１０では、最も上側の画素の列、つまり横方向に並べられた画素の列は、過去画像を表しており、最も下側の画素の列は現フレームの教師画像を表している。また、過去画像と教師画像との間の横方向の画素の列のそれぞれは、生成された遷移画像を表しており、図１０の例においては、１５枚の遷移画像が生成されている。
【０１７９】
すなわち、前フレームの教師画像に相当する過去画像と、現フレームの教師画像との間のフレーム（位相）の画像として、１５フレーム分の遷移画像が生成されて補間されている。また、図中、より上側に位置する画素の列で表される遷移画像は、時間的により前、つまりより前フレームに近いフレーム（位相）の遷移画像とされている。
【０１８０】
また、図中、縦方向に並べられている画素は、過去画像、遷移画像、および教師画像（入力画像）において、同じ位置にある画素とされる。
【０１８１】
例えば、区間Ａ７１においては、過去画像上の画素は輝度値が高く、教師画像上の画素は輝度値が低くなっている。換言すれば、過去画像上の区間Ａ７１内の画素は白い画素（明るい画素）であり、教師画像上の区間Ａ７１内の画素は黒い画素（暗い画素）であるので、区間Ａ７１内の遷移画像の画素の輝度値は、時間とともに低くなっている。つまり、区間Ａ７１においては、時間的により現フレームに近いフレームの遷移画像（図中、より下側にある遷移画像）上の画素ほど輝度値が低くなっている。
【０１８２】
また、区間Ａ７２においては、過去画像上の画素と、教師画像上の画素とは、同じ輝度値となっているので、区間Ａ７２内の遷移画像の画素の輝度値は、時間によらず一定である。つまり、区間Ａ７２においては、どのフレームの遷移画像上の画素も教師画像の画素と同じ輝度値となっている。
【０１８３】
さらに、区間Ａ７３においては、過去画像上の画素は輝度値が低く、教師画像上の画素は輝度値が高くなっている。つまり、区間Ａ７３においては、時間的により現フレームに近いフレームの遷移画像（図中、より下側にある遷移画像）上の画素ほど輝度値が高くなっている。
【０１８４】
このように、教師画像と過去画像の同じ位置にある画素の輝度値が異なる場合、すなわち教師画像上の画素の輝度値が時間とともに変化する場合、応答モデルにより示される輝度値の時間的な変化したがって、遷移画像上の対応する位置の画素の輝度値が定められる。
【０１８５】
例えば、応答モデル保持部１１３が図９に示した応答モデルを保持しており、前フレームの画像に相当する過去画像の表示時刻から、現フレームの教師画像の表示時刻までの時間が２４msである場合、教師画像上の所定の位置の画素の輝度値が０であり、過去画像上の対応する位置の画素の輝度値が９８であるとき、前フレームと現フレームとの中間のフレーム、つまり前フレームの画像の表示時刻から１２ms後の時刻を表示時刻とするフレームの遷移画像における、教師画像の画素と対応する位置の画素の画素値は、輝度値が３０となるような画素値とされる。
【０１８６】
なお、図１０の例では、１５枚の遷移画像が生成されて、１フレームが１６分割されているが、４分割とされてもよいし、６４分割とされてもよい。ここで、１フレームをより大きい数に分割すると、より精度のよい視覚画像を得ることができる。
【０１８７】
図７のフローチャートの説明に戻り、ステップＳ８４において、動き補償部１１４は、動きベクトル検出部１１１から供給された動きベクトルと、応答モデル保持部１１３から供給された教師画像、過去画像、および遷移画像とを用いて、バイキュービックフィルタなどにより画素以下の精度で動き補償を行い、追従画素の画素値を算出する。
【０１８８】
すなわち、動き補償部１１４は、動きベクトル検出部１１１から供給された動きベクトルを用いて画素以下の精度で動き補償を行い、応答モデル保持部１１３から供給された教師画像、過去画像、および遷移画像のそれぞれに対する追従画素の画素値を算出する。動き補償部１１４は、視覚画像（この視覚画像は、これから求めようとする画像であり、現段階では存在しないため仮想的に想定される）の全ての画素について、追従画素の画素値を算出すると、算出した追従画素の画素値を積分部１１５に供給する。
【０１８９】
一般に、人間の目は、フレームの中間の位相を追っていることが経験的に知られている。換言すれば、１つのフレームの画像と、次のフレームの画像とが順番に表示されたとき、最初のフレームの画像が表示された時刻と、次のフレームの画像が表示された時刻との中間の時刻に表示される仮想的なフレームを中間フレームと呼ぶとすると、人間の目は、その中間フレームの画像を自分自身が見ている画像、すなわち視覚画像であると知覚する。
【０１９０】
また、観察者は、画像上の移動物体を目で追うので、観察者の視線の移動する方向と、画像上の移動物体の動きベクトルの方向とは同じ方向となる。したがって、現フレームの教師画像の動きベクトルを用いれば、過去画像上および遷移画像上の観察者が目で追うと推定される画素を特定することができ、それらの画素を追従画素として視覚画像を生成することができる。
【０１９１】
例えば、図１０に示した遷移画像が生成された場合、図１１に示すように、動きベクトルを用いた動き補償により、視覚画像の画素ごとの追従画素が求められる。なお、図１１において、縦方向は時間を示しており、横方向は空間方向、すなわち画像上の位置を示している。また、図中、１つの円は、１つの画素を表している。さらに、図１１において、図１０における場合と対応する部分には同一の符号を付してあり、その説明は省略する。
【０１９２】
図１１では、最も上側の画素の横方向の列は、過去画像を表しており、最も下側の画素の横方向の列は現フレームの教師画像を表している。また、過去画像と教師画像との間の画素の横方向の列のそれぞれは、生成された遷移画像を表している。
【０１９３】
例えば、遷移画像上の画素Ｇ５１と同じ位置にある視覚画像上の画素の画素値を算出する場合を考える。ここで、画素Ｇ５１が含まれる遷移画像は、過去画像と教師画像との中間の位相の遷移画像である。また、過去画像の画素Ｇ５２により表示されていた移動物体の部分が、教師画像では、画素Ｇ５３により表示されるものとする。また、画素Ｇ５３の動きベクトル上、すなわち観察者の視線の移動の軌跡を示す、画素Ｇ５２と画素Ｇ５３とを結ぶ直線上に位置する画素（観察者が目で追う画素）が、画素Ｇ５１を含む領域Ｒ１１内の画素であるとする。
【０１９４】
図１１の例では、過去画像、各遷移画像、および教師画像のそれぞれにおいて、領域Ｒ１１内に位置する各画像上の画素の数は、１つずつとなっている。
【０１９５】
この場合、領域Ｒ１１内の画素は、観察者が目で追う画素であるので、領域１１内に位置する画素が、画素Ｇ５１と同じ位置にある視覚画像上の画素に対する追従画素とされる。したがって、過去画像、遷移画像、および教師画像における領域Ｒ１１内の画素の画素値のそれぞれの平均値を求めることにより、視覚画像の画素の画素値が求められる。
【０１９６】
なお、各画像において、領域Ｒ１１内に位置する画素の数が必ずしも１つとなるとは限らないため、実際には、各画像についての追従画素の画素値は、画素以下の精度での動き補償により求められる。つまり、領域Ｒ１１近傍のいくつかの画素の画素値から、追従画素の画素値が求められる。
【０１９７】
図７のフローチャートの説明に戻り、視覚画像の各画素について、追従画素の画素値が算出されると、ステップＳ８５において、積分部１１５は、動き補償部１１４から供給された追従画素の画素値を積分することにより、視覚画像を生成する。そして、積分部１１５は、生成した視覚画像（視覚画像信号）を生徒画像として動きベクトル検出部８３、クラスタップ抽出部８４、および予測タップ抽出部８６に供給して生徒画像生成処理は終了し、処理は図６のステップＳ４２に進む。
【０１９８】
例えば、積分部１１５は、視覚画像上の１つの画素について、その画素に対する過去画像、各遷移画像、および入力画像の追従画素の画素値のそれぞれの平均値を算出し、算出された平均値を視覚画像の画素の画素値とする。積分部１１５は、このようにして視覚画像上の各画素の画素値を算出し、視覚画像を生成する。
【０１９９】
このようにして、生徒画像生成部８２は、教師画像としての入力画像を基に、入力画像がそのまま表示部２７に表示されたときに人間の目が知覚すると予測される画像である視覚画像を、生徒画像として生成する。この生徒画像としての視覚画像は、動きぼけのない正しい輝度レベルの入力画像から生成された、表示部２７の特性と、人の視覚特性とに応じた動きぼけが付加された画像である。
【０２００】
以上のようにして生成された視覚画像を生徒画像とし、入力画像を教師画像として学習処理を行えば、観察者が表示部２７に視覚画像が表示されていると知覚させる画像を、観察者が表示部２７に入力画像が表示されていると知覚させる画像、つまり動きぼけのない鮮明な画像に変換する変換係数を得ることができる。
【０２０１】
したがって、この変換係数を用いて、画像生成装置１１により入力画像を変換すれば、観察者に、動きぼけのない鮮明な画像として知覚される表示画像を得ることができる。
【０２０２】
すなわち、例えば、オーバードライブなどの技術においては、表示装置の特性による画質の劣化を補う補正が入力画像に対して行われる。これに対して、画像生成装置１１においては、表示部２７を観察する観察者の視覚特性により観察者が感じる、画像の画質の劣化を補う補正が入力画像に対して行われることになるので、観察者に入力画像により近い画像を知覚させる表示画像を表示させることができる。また、黒挿入のように、黒い画像が表示されることもないので、画面が暗くなるようなこともない。
【０２０３】
また、ホールド型の表示装置における動きぼけによる画質の劣化は、表示装置の応答速度が０となっても生じるが、画像生成装置１１では、入力画像を用いてクラス分類適応処理により表示画像を生成することによって、動きぼけによる画質の劣化を確実に改善することができる。
【０２０４】
ところで、入力画像と、その入力画像から生成された視覚画像とを用いると、入力画像と比べて、より高品質な画像を生成することができる。例えば、視覚画像と入力画像との差分を入力画像に加算して得られる画像を表示部２７に表示すれば、その画像を観察する観察者の目には、入力画像が表示されているように見えるはずである。つまり、この画像は、表示画像そのものである。
【０２０５】
ここで、視覚画像は入力画像から生成されるので、結局、入力画像だけを用いて表示画像を生成することができるはずである。したがって、入力画像を表示画像に変換する変換係数は、入力画像だけを用いて生成することができるはずである。
【０２０６】
学習装置７１では、入力画像から視覚画像が生成され、その視覚画像のいくつかの画素の画素値と、入力画像の注目画素の画素値とから変換係数が求められる。このとき用いられる視覚画像のいくつかの画素、つまり予測タップを構成する画素は、供給されたフレームの視覚画像上における、注目画素と同じ位置の時間的または空間的に近傍に位置する画素とされる。例えば、図３に示したように、予測タップとして、２０個程度の画素が用いられる。
【０２０７】
予測タップとして、２０個程度の画素しか用いなくても、鮮明な画像が表示されていると観察者に知覚させるのに充分な画像が得られる変換係数を求めることができるのは、次のような理由からである。すなわち、生徒画像とされる動きぼけが生じた画像は、複数の画素、つまり移動物体の複数の部位が動き量分だけ混ざり合ってできている。そのため、注目画素の予測に必要とされる要素は、生徒画像における注目画素と同じ位置の画素の周囲に含まれており、本来、注目画素の予測には多くの画素が必要とされないはずである。
【０２０８】
例えば、所定の基準となる基準速度の５分の１のシャッタースピードで、被写体としての移動物体が撮像されたとする。すると、その撮像により得られる撮像画像は、図１２に示すように、シャッタースピードを基準速度として撮像することで得られた、時間的に連続して撮像された５つの部分画像を平均したものと等価である。
【０２０９】
なお、図１２において、１つの四角形は、部分画像の１つの画素を示しており、図中、横方向に並ぶ四角形の列が、１つの部分画像を表している。また、各画素に記された文字「Ａ」乃至「Ｈ」は、被写体としての移動物体の部位を示している。例えば、文字「Ａ」が記された四角形は、部分画像上の移動物体の部位Ａが表示される画素を示しており、部位Ａが表示される画素を画素Ａとも呼ぶこととする。さらに、図中、上側の部分画像から、下側の部分画像まで順番に、フレームＦ１乃至フレームＦ５の部分画像と呼ぶこととし、より上側の部分画像ほど、時間的により前のフレームの部分画像であるとする。
【０２１０】
例えば、フレームＦ３の部分画像上の画素Ｃと同じ位置にある撮像画像の画素を着目画素とすると、その着目画素の画素値は、着目画素と同じ位置にあるフレームＦ１乃至フレームＦ５の部分画像の画素の画素値のそれぞれの平均値とされる。つまり、フレームＦ１の画素Ｅの画素値、フレームＦ２の画素Ｄの画素値、フレームＦ３の画素Ｃの画素値、フレームＦ４の画素Ｂの画素値、およびフレームＦ５の画素Ａの画素値の和を５で除算することで、着目画素の画素値が求まる。このように、撮像画像は、各フレームの部分画像が混ざり合った画像、つまり動きぼけの生じた画像となる。
【０２１１】
ここで、学習処理により、生徒画像としての撮像画像から、動きぼけの除去された教師画像を生成する変換係数を求めることを考える。教師画像は、動きぼけの生じていない画像であるので、例えば、教師画像がフレームＦ３の部分画像と位相が同じ画像であるとすると、フレームＦ３の部分画像が教師画像に相当する。
【０２１２】
例えば、教師画像としてのフレームＦ３の部分画像上における、撮像画像の着目画素と同じ位置にある画素には、移動物体の部位Ｃが表示されている。そのため、教師画像上の着目画素と同じ位置にある画素を注目画素とすると、注目画素を求めるための予測タップとして、部位Ｃの要素を含む画素を撮像画像から抽出すれば、抽出した予測タップを用いて、より精度よく注目画素の画素値を予測する変換係数が得られるはずである。つまり、フレームＦ１乃至フレームＦ５の部分画像の部位Ｃが表示される画素のそれぞれと、同じ位置にある撮像画像上の画素のそれぞれのうちの少なくとも何れかを予測タップとすればよいことになる。
【０２１３】
特に、撮像画像上における、部位Ｃの要素が含まれる領域の一番端の画素を予測タップとすれば、より精度よく注目画素が求まる変換係数が得られることが一般的に知られている。図１２の例では、フレームＦ１の部分画像の画素Ｃ、およびフレームＦ５の部分画像の画素Ｃと同じ位置にある撮像画像上の画素のそれぞれが、部位Ｃの要素を含む領域の一番端の画素となる。
【０２１４】
このような部位Ｃの要素を含む撮像画像上の領域は、着目画素を中心とし、その中心から着目画素の動きベクトルの大きさの距離の範囲内の領域となるはずである。したがって、着目画素から、着目画素の動きベクトルの大きさの距離の範囲内の画素を予測タップとすれば、精度よく注目画素を予測する変換係数が得られるはずである。そこで、学習装置７１（または画像生成装置１１）では、図３に示した画像が生徒画像であるとした場合に、生徒画像（または入力画像）上の注目画素と同じ位置にある画素Ｇ１１および画素Ｇ１１に隣接する画素と、画素Ｇ１１から動きベクトルｍｖの大きさのｋ倍（但し、０＜ｋ≦１）の距離にある画素Ｇ１２、および画素Ｇ１２に隣接する画素とが予測タップとして抽出される。
【０２１５】
特に、学習時には、これらの予測タップが用いられて学習処理が行われるため、注目画素とより関係の深い画素（予測タップ）に乗算される係数が大きくなるような変換係数のセットが求まる。したがって、この変換係数を用いれば、より少ない数の予測タップで、より精度よく注目画素を予測することができるようになり、動きぼけ除去の効果を向上させることができる。さらに、少ない予測タップ数で注目画素の予測演算が可能となるので、より小さい規模のハードウェアで画像生成装置１１を実現することができる。
【０２１６】
また、図１２の例で、撮像画像のフレーム（現フレーム）の時間的に前後のフレームの撮像画像にも、部位Ｃの要素を含む画素が存在するため、現フレームと時間的に異なるフレームの撮像画像における部位Ｃの要素を含む画素を予測タップとしても、精度よく注目画素を予測することができる。各フレームの撮像画像上の、部位Ｃの要素を含む領域は、現フレームの場合と同様に、撮像画像（着目画素）の動きベクトルから求まる。
【０２１７】
そこで、学習装置７１（または画像生成装置１１）では、図３に示した画像が生徒画像であるとした場合に、前フレームの生徒画像（または入力画像）上の画素Ｇ１３および画素Ｇ１３に隣接する画素、並びに画素Ｇ１４および画素Ｇ１４に隣接する画素も、予測タップとして抽出される。ここで、画素Ｇ１３は、生徒画像（または入力画像）上の注目画素と同じ位置にある画素Ｇ１１’から動きベクトルｍｖとは反対方向に、動きベクトルｍｖと同じ大きさの距離だけ移動した位置にある画素であり、画素Ｇ１４は、画素Ｇ１１’から動きベクトルｍｖの大きさのｋ倍（但し、０＜ｋ≦１）の距離にある画素である。
【０２１８】
以上のように、学習処理およびクラス分類適応処理において、注目画素と同じ位置にある生徒画像および入力画像上の画素と空間的または時間的に近傍に位置する画素を予測タップとして用いることで、より精度よく注目画素を予測することができる。
【０２１９】
したがって、学習処理およびクラス分類適応処理において予測タップとされる画素は、図３に示した例に限らず、注目画素と同じ位置にある生徒画像および入力画像上の画素と空間的または時間的に近傍に位置する画素であればよい。
【０２２０】
例えば、クラス分類適応処理時に画像生成装置１１に供給された入力画像から、図１３に示すように、画素Ｇ１１の時間的または空間的に近傍に位置する画素Ｇ８１乃至画素Ｇ８５、およびそれらの画素に隣接する画素が予測タップとして抽出されてもよい。なお、図１３において、図３における場合と対応する部分には、同一の符号を付してあり、その説明は省略する。また、図１３中、一番上側において、横方向に並ぶ画素（円）の列は、現フレームよりも時間的に１つ後のフレーム（以下、後フレームと称する）の入力画像を表している。
【０２２１】
例えば、画素Ｇ１２が、現フレームの入力画像上において、画素Ｇ１１から動きベクトルｍｖと反対方向に、動きベクトルｍｖの大きさＭＶのｋ倍（但し、０＜ｋ≦１）の距離の位置にある画素であるとする。この場合、画素Ｇ８１は、現フレームの入力画像上における、画素Ｇ１１から動きベクトルｍｖの方向に距離ｋＭＶの位置にある画素であり、画素Ｇ８２は、前フレームの入力画像上における、画素Ｇ１３から動きベクトルｍｖと反対方向に、距離ｋＭＶの位置にある画素である。
【０２２２】
また、画素Ｇ８３は、画素Ｇ１１と同じ位置にある後フレームの入力画像上の画素Ｇ１１’’から動きベクトルｍｖの方向に距離ＭＶの位置にある画素である。さらに、画素Ｇ８４は、後フレームの入力画像上における、画素Ｇ８３から動きベクトルｍｖと反対方向に、距離ｋＭＶの位置にある画素であり、画素Ｇ８５は、後フレームの入力画像上における、画素Ｇ８３から動きベクトルｍｖの方向に、距離ｋＭＶの位置にある画素である。
【０２２３】
このように、画素Ｇ１１乃至画素Ｇ１４および画素Ｇ８１乃至画素Ｇ８５と、それらの画素に垂直方向および水平方向に隣接する画素とのうちの、いくつかの画素を予測タップとして用いることで、より精度よく注目画素を予測することができる。また、同様の理由により、画素Ｇ１１乃至画素Ｇ１４および画素Ｇ８１乃至画素Ｇ８５のうちのいくつかの画素がクラスタップとされてもよい。
【０２２４】
なお、以上においては、学習装置７１の生徒画像生成部８２が、教師画像としての入力画像から過去画像および遷移画像を生成し、過去画像、遷移画像、および教師画像から生徒画像としての視覚画像を生成すると説明したが、図１４に示すように、いくつかのフレームの教師画像を平均した画像を生徒画像としてもよい。なお、図１４において、縦方向は時間を示しており、１つの円は、教師画像または生徒画像の１つのフレームを表している。
【０２２５】
例えば、図中、左側のフレームＦ１１乃至フレームＦ１３が、時間的に連続する教師画像のフレームであり、フレームＦ１２が教師画像の現フレームであるとする。この場合、フレームＦ１２の教師画像、フレームＦ１２の時間的に１つ前のフレームＦ１１の教師画像、およびフレームＦ１２の時間的に１つ後のフレームＦ１３の教師画像を平均して得られる画像が、フレームＦ１２と同位相のフレームＦ１４の生徒画像とされる。つまり、それらの教師画像の同じ位置にある画素の画素値の平均値が、それらの画素と同じ位置にある生徒画像の画素の画素値とされる。
【０２２６】
このように、時間的に連続する複数のフレームの教師画像を平均して得られる画像は、現フレームの教師画像に動きぼけが生じた画像である。図１４の例により生成された生徒画像を用いた学習処理で得られた変換係数を用いて、入力画像の画像変換を行えば、入力画像自体に含まれる動きぼけ量を３分の１に低減させることが期待できる。また、この生徒画像を用いた学習処理により得られた変換係数による画像変換は、例えば、カメラでの撮影時におけるシャッタースピードを変換することに相当する。
【０２２７】
また、以上においては、学習処理時において、教師画像から生徒画像が生成されると説明したが、生徒画像から教師画像が生成されるようにしてもよい。そのような場合、学習装置７１は、例えば、図１５に示すように構成される。なお、図１５において、図４における場合と対応する部分には、同じ符号を付してあり、その説明は省略する。
【０２２８】
図１５に示す学習装置７１は、生徒画像生成部８２に代えて教師画像生成部１４１が設けられている点で、図４の学習装置７１とは異なる。図１５の学習装置７１には、生徒画像として入力画像が入力され、この生徒画像は、教師画像生成部１４１、動きベクトル検出部８３、クラスタップ抽出部８４、および予測タップ抽出部８６に供給される。なお、生徒画像として入力される入力画像は、画像生成装置１１に入力される入力画像と同じ画像である。
【０２２９】
教師画像生成部１４１は、供給された生徒画像を用いて教師画像を生成し、注目画素抽出部８１に供給する。具体的には、教師画像生成部１４１は、生徒画像としての入力画像から視覚画像を生成し、入力画像と視覚画像との差分を、入力画像に加算して得られる画像を教師画像とする。この教師画像は、教師画像をそのまま画像生成装置１１の表示部２７に表示させた場合に、入力画像が表示されていると観察者が知覚する画像である。
【０２３０】
教師画像生成部１４１は、より詳細には、図１６に示すように構成される。すなわち、教師画像生成部１４１は、動きベクトル検出部１７１、動き補償部１７２、応答モデル保持部１７３、動き補償部１７４、積分部１７５、および差分補償部１７６から構成される。
【０２３１】
教師画像生成部１４１では、入力された生徒画像は、動きベクトル検出部１７１、動き補償部１７２、および差分補償部１７６に供給される。なお、教師画像生成部１４１における動きベクトル検出部１７１乃至積分部１７５は、図５の動きベクトル検出部１１１乃至積分部１１５と同様であるため、その説明は省略する。すなわち、動きベクトル検出部１７１乃至積分部１７５により、生徒画像としての入力画像に対する視覚画像が生成される。そして、生成された視覚画像は、積分部１７５から差分補償部１７６に供給される。
【０２３２】
差分補償部１７６は、供給された生徒画像としての入力画像、および積分部１７５から供給された視覚画像に基づいて差分補償を行い、教師画像、より詳細には教師画像信号を生成して、注目画素抽出部８１に供給する。
【０２３３】
次に、図１７のフローチャートを参照して、図１５の学習装置７１により行われる学習処理について説明する。
【０２３４】
学習装置７１に生徒画像信号が供給されると、ステップＳ１１１において、教師画像生成部１４１は、教師画像生成処理を行い、供給された生徒画像信号を用いて教師画像信号を生成し、注目画素抽出部８１に供給する。なお、教師画像生成処理の詳細は後述する。
【０２３５】
教師画像生成処理が行われて教師画像が生成されると、その後、ステップＳ１１２乃至ステップＳ１２１の処理が行われて学習処理は終了するが、これらの処理は、図６のステップＳ４２乃至ステップＳ５１の処理と同様であるので、その説明は省略する。
【０２３６】
すなわち、教師画像および生徒画像が用いられて立てられたクラスごとの正規方程式が解かれて、変換係数が求められ、求められた変換係数が係数生成部８８に記録される。このようにして求められた変換係数は、画像生成装置１１の係数保持部２５に記録されて、クラス分類適応処理による表示画像の生成に用いられる。
【０２３７】
このようにして、学習装置７１は、生徒画像から教師画像を生成し、教師画像および生徒画像を用いて変換係数を求める。
【０２３８】
このように、生徒画像から教師画像を生成し、教師画像および生徒画像を用いて変換係数を求めることで、より簡単な処理で、入力画像をより高品質な表示画像に変換するための変換係数を求めることができる。したがって、求めた変換係数を用いて、より簡単に画像の画質の劣化を改善することができるようになる。
【０２３９】
次に、図１８のフローチャートを参照して、図１７のステップＳ１１１の処理に対応する教師画像生成処理について説明する。
【０２４０】
なお、ステップＳ１５１乃至ステップＳ１５５の処理のそれぞれは、図７のステップＳ８１乃至ステップＳ８５の処理のそれぞれと同様であるので、その説明は省略する。すなわち、生徒画像として供給された入力画像から、入力画像の過去画像および遷移画像が生成されて、過去画像、遷移画像、および入力画像から視覚画像が生成される。そして、生成された視覚画像は、積分部１７５から差分補償部１７６に供給される。
【０２４１】
ステップＳ１５６において、差分補償部１７６は、供給された生徒画像、および積分部１７５から供給された視覚画像に基づいて差分補償を行い、教師画像を生成する。そして、差分補償部１７６は、生成した教師画像を注目画素抽出部８１に供給して教師画像生成処理は終了し、処理は図１７のステップＳ１１２に進む。
【０２４２】
例えば、差分補償部１７６は、生徒画像の各画素について、生徒画像の着目する画素の画素値と、その画素と同じ位置にある視覚画像の画素の画素値との差分を求める。さらに、差分補償部１７６は、求められた差分を、生徒画像の着目する画素の画素値に加算して得られる値を、生徒画像の着目する画素と同じ位置にある教師画像の画素の画素値とする。
【０２４３】
このようにして、教師画像生成部１４１は、生徒画像としての入力画像から視覚画像を生成し、生成した視覚画像を用いて、さらに教師画像を生成する。このように、生成した教師画像を用いて学習処理を行えば、入力画像を、表示部２７に入力画像が表示されていると観察者に知覚させる画像、つまり動きぼけのない鮮明な画像に変換する変換係数を得ることができる。
【０２４４】
例えば、所定の画像をｘとし、表示部２７に表示される画像を、その画像を観察する観察者が知覚する画像に変換する関数を視覚フィルタ関数ｆ（ｘ）とする。また、視覚フィルタ関数ｆ（ｘ）の逆関数をｆ-1（ｘ）、表示部２７に表示される画像をｘ’、画像ｘ’が表示部２７に表示されたときに観察者が知覚する画像をｘ’’とする。
【０２４５】
このとき、表示部２７に画像ｘを表示させると、画像ｘ’＝画像ｘであり、画像ｘ’’＝ｆ（ｘ）となる。そこで、画像ｘ、つまり入力画像を生徒画像とし、この画像ｘを逆関数ｆ-1（ｘ）に代入して得られる画像、つまり入力画像と視覚画像との差分を入力画像に加算して得られる画像を、教師画像として学習処理を行うと、逆関数ｆ-1（ｘ）による変換を行うための変換係数が求まる。
【０２４６】
このようにして求められた変換係数を用いて、画像ｘにクラス分類適応処理を施すと画像ｆ-1（ｘ）が得られるので、この画像ｆ-1（ｘ）を表示部２７に表示させると、観察者により知覚される画像ｘ’’は、画像ｘ’’＝ｆ（ｆ-1（ｘ））≒ｘとなる。したがって、観察者には、動きぼけのない画像ｘが表示部２７に表示されているように見える。
【０２４７】
但し、この方法では、教師画像ｆ-1（ｘ）を生成するときに誤差が生じてしまう。つまり、生成された教師画像ｆ-1（ｘ）が、最終的に観察者に知覚させたい画像を表示させる画像とはならない場合がある。そのため、図４の学習装置７１による学習処理のように、動きぼけが生じた画像ｆ（ｘ）を生徒画像とし、最終的に観察者に知覚させたい入力画像である画像ｘを教師画像として、逆関数ｆ-1（ｘ）による変換を行うための変換係数を求めた方が、より少ない誤差で変換係数を求めることができる。つまり、より動きぼけのない画像が表示されているように観察者に知覚させる画像を得るための変換係数を求めることができる。
【０２４８】
さらに、以上においては、変換係数を用いて、入力画像を、入力画像と同じフレームレートの表示画像に変換する例について説明した。しかしながら、このような動きぼけの除去された表示画像を表示すると、いわゆるジャーキネスが生じて、表示画像上の移動物体の動きの滑らかさが損なわれてしまう場合がある。
【０２４９】
そこで、表示画像上において、移動物体がより滑らかに移動しているように観察者に知覚されるように、入力画像のフレームレートより大きいフレームレートの表示画像が生成されるようにしてもよい。そのような場合、例えば、図１９に示すように、フレームレートが入力画像の倍となるように表示画像が生成される。なお、図１９において、１つの円は、１つのフレームの入力画像または表示画像を表しており、縦方向は時間を示している。
【０２５０】
図１９の例では、フレームＦ３１乃至フレームＦ３４が、時間的に連続する入力画像のフレームであり、それらのフレームの入力画像は、時間ｔの間隔で表示されるものとする。ここで、各フレームが表示される順番は、表示時刻の早い順にフレームＦ３１乃至フレームＦ３４であるものとする。
【０２５１】
また、これらのフレームＦ３１乃至フレームＦ３４の入力画像から、クラス分類適応処理により、２倍のフレームレートの表示画像、具体的には、時間的に連続するフレームＦ４１乃至フレームＦ４６の表示画像が生成される。ここで、各フレームが表示される順番は、表示時刻の早い順にフレームＦ４１乃至フレームＦ４６であり、表示画像の表示時間間隔は、ｔ／２である。
【０２５２】
例えば、フレームＦ３２の入力画像を処理の対象となっている現フレームの入力画像とすると、現フレームの直前のフレームであるフレームＦ３１の入力画像と、フレームＦ３２の入力画像とから、フレームＦ４１およびフレームＦ４２の表示画像が生成される。
【０２５３】
また、各フレームの入力画像と、各フレームの表示画像とでは、位相が異なっている。つまり、各フレームの表示時刻が異なっている。例えば、フレームＦ３１の入力画像の表示時刻をｔ０とすると、フレームＦ３２の入力画像の表示時刻は、（ｔ０＋ｔ）である。一方、フレームＦ４１の表示時刻は（ｔ０＋ｔ／４）であり、フレームＦ４２の表示時刻は（ｔ０＋３ｔ／４）である。
【０２５４】
フレームＦ４１の表示画像も、フレームＦ４２の表示画像もフレームＦ３１およびフレームＦ３２の入力画像から生成されるものであるが、それらの表示画像の位相は互いに異なるので、現フレームに対する相対的な位相の位置に応じて、異なる変換係数が必要となる。その理由は、表示画像上の注目画素とされる画像と、入力画像の予測タップおよびクラスタップとされる画素との相対的な位置関係が、現フレームの入力画像に対する、生成しようとする表示画像の相対的な位相の関係によって変化するからである。
【０２５５】
いま、現フレームと、前フレームとの間の位相の２つのフレームの表示画像のうち、現フレームに対してより位相の遠いフレームの表示画像を、前位相のフレームの表示画像と称し、現フレームに対してより位相の近いフレームの表示画像を、後位相のフレームの表示画像と称することとする。例えば、現フレームがフレームＦ３２であるとすると、前位相のフレームはフレームＦ４１であり、後位相のフレームは、フレームＦ４２である。
【０２５６】
このように、入力画像の倍のフレームレートの表示画像が生成される場合、前位相のフレームの表示画像を生成するときに用いられる前位相用の変換係数と、後位相のフレームの表示画像を生成するときに用いられる後位相用の変換係数とが用意される。
【０２５７】
このような前位相用の変換係数、および後位相用の変換係数を生成する学習装置は、例えば、図２０に示すように構成される。
【０２５８】
学習装置２０１は、注目画素抽出部８１、動きベクトル検出部８３、クラスタップ抽出部８４、クラス分類部８５、予測タップ抽出部８６、演算部８７、係数生成部８８、および生徒画像生成部２１１から構成される。なお、図２０において、図４における場合と対応する部分には、同一の符号を付してあり、その説明は省略する。
【０２５９】
学習装置２０１には、教師画像として入力画像が供給される。この入力画像は、学習装置２０１の注目画素抽出部８１および生徒画像生成部２１１に供給される。生徒画像生成部２１１は、供給された現フレームの教師画像と、その現フレームの時間的に１つ前の前フレームの教師画像とを用いて生徒画像を生成し、動きベクトル検出部８３、クラスタップ抽出部８４、および予測タップ抽出部８６に供給する。
【０２６０】
この生徒画像生成部２１１は、より詳細には、図２１に示すように構成される。すなわち、生徒画像生成部２１１は、平均画像生成部２４１、動きベクトル検出部２４２、動き補償部２４３、応答モデル保持部２４４、動き補償部２４５、および積分部２４６から構成される。
【０２６１】
平均画像生成部２４１は、供給された現フレームの教師画像と、その現フレームの時間的に１つ前の前フレームの教師画像とを用いて、それらの教師画像を平均した画像である平均画像を生成して、動きベクトル検出部２４２および動き補償部２４３に供給する。すなわち、平均画像生成部２４１は、前回供給された、前フレームの教師画像を保持しており、保持している前フレームの教師画像と、今回供給された現フレームの教師画像とを用いて、平均画像を生成する。この平均画像の画素の画素値は、その画素と同じ位置にある前フレームおよび現フレームの教師画像の画素の画素値の平均値とされる。
【０２６２】
なお、動きベクトル検出部２４２乃至積分部２４６のそれぞれは、図５の動きベクトル検出部１１１乃至積分部１１５のそれぞれと同様であるため、その説明は省略する。つまり、平均画像生成部２４１により生成された平均画像が動きベクトル検出部２４２および動き補償部２４３に供給されると、動きベクトル検出部２４２乃至積分部２４６により、平均画像が用いられて、平均画像に対する視覚画像が生徒画像として生成される。
【０２６３】
次に、図２２のフローチャートを参照して、学習装置２０１により行われる学習処理について説明する。
【０２６４】
ステップＳ１８１において、生徒画像生成部２１１は、生徒画像生成処理を行って供給された教師画像としての入力画像を用いて生徒画像を生成し、動きベクトル検出部８３、クラスタップ抽出部８４、および予測タップ抽出部８６に供給する。なお、生徒画像生成処理の詳細は後述する。
【０２６５】
ステップＳ１８２において、注目画素抽出部８１は、供給された教師画像上の画素を注目画素とし、教師画像信号から注目画素を抽出して演算部８７に供給する。
【０２６６】
ステップＳ１８３において、動きベクトル検出部８３は、生徒画像生成部２１１から供給されたフレームの生徒画像と、そのフレームの直前のフレームの生徒画像とを用いて、生徒画像生成部２１１から供給されたフレームの生徒画像上の注目画素と対応する画素の動きベクトルを検出する。
【０２６７】
ここで、今回、生徒画像生成部２１１から供給された生徒画像のフレームを現フレームとし、現フレームの直前のフレームを前フレームとすると、注目画素に対応する生徒画像上の画素とは、前フレームの生徒画像上の画素の移動先である現フレームの生徒画像上の画素であって、注目画素が、移動前の画素と移動後の画素とを結ぶ動きベクトル上に位置するような画素をいう。
【０２６８】
すなわち、前フレームの生徒画像上の所定の画素と同じ位置にある、現フレームの生徒画像上の画素を移動元の画素と称し、前フレームの生徒画像上の所定の画素の移動先である現フレームの生徒画像上の画素、つまり所定の画素に表示される移動物体の部位が表示される、現フレームの生徒画像上の画素を移動先の画素と称することとする。この場合、現フレームの生徒画像上の移動元の画素と、移動先の画素とを結ぶベクトルが、移動先の画素の動きベクトルとなる。移動先の画素の動きベクトル上に、注目画素と同じ位置にある現フレームの生徒画像上の画素が位置している場合、この移動先の画素が、注目画素に対応する画素とされる。
【０２６９】
このようにして求められた注目画素に対応する生徒画像の画素の動きベクトルは、動きベクトル検出部８３からクラスタップ抽出部８４、クラス分類部８５、および予測タップ抽出部８６に供給される。
【０２７０】
ステップＳ１８４において、クラス分類部８５は、動きベクトル検出部８３からの動きベクトルに基づいて動きコードを生成する。
【０２７１】
ステップＳ１８５において、クラスタップ抽出部８４は、教師画像における注目画素との対応をとりながら、動きベクトル検出部８３からの動きベクトルと、生徒画像生成部２１１からの生徒画像とに基づいて、生徒画像からクラスタップを抽出する。
【０２７２】
例えば、学習処理により、後位相用の変換係数を生成しようとする場合、図２３Ａに示すように、注目画素Ｇ１１１に対応する現フレームの生徒画像上の画素Ｇ１１２および画素Ｇ１１３と、前フレームの生徒画像上の画素Ｇ１１４および画素Ｇ１１５とがクラスタップとして抽出される。なお、図２３Ａにおいて、縦方向は時間を示しており、横方向は生徒画像または教師画像における各画素の位置を示している。また、１つの円は、１つの画素を示している。
【０２７３】
画素Ｇ１１２は、注目画素Ｇ１１１に対応する現フレームの生徒画像上の画素であり、画素Ｇ１１３は、現フレームの生徒画像上における、画素Ｇ１１２から、画素Ｇ１１２の動きベクトルｍｖ２１と反対の方向に、動きベクトルｍｖ２１の大きさＭＶ２１のｋ倍（但し、０＜ｋ≦１）の距離の位置にある画素である。
【０２７４】
また、画素Ｇ１１４は、画素Ｇ１１２と同じ位置にある前フレームの生徒画像上の画素から、動きベクトルｍｖ２１と反対の方向に距離ｋＭＶ２１の位置にある画素であり、画素Ｇ１１５は、前フレームの生徒画像上の画素Ｇ１１４から、動きベクトルｍｖ２１の方向に、距離ｋＭＶ２１の位置にある画素である。
【０２７５】
このようにして生徒画像から抽出されたクラスタップを構成する画素Ｇ１１２乃至画素Ｇ１１５は、クラスタップ抽出部８４からクラス分類部８５に供給される。
【０２７６】
なお、クラスタップとされる画素Ｇ１１２乃至画素Ｇ１１５に対して、画素Ｇ１１２乃至画素Ｇ１１５と、それらの画素に、水平方向および垂直方向に隣接する画素とが、予測タップとして抽出される。すなわち、図２３Ｂの左側に示すように、現フレームの生徒画像上の画素Ｇ１１２と、画素Ｇ１１２に上下左右に隣接する４つの画素とが予測タップとして抽出される。また、図２３Ｂの右側に示すように、前フレームの生徒画像上の画素Ｇ１１４と、画素Ｇ１１４に上下左右に隣接する４つの画素とが予測タップとして抽出される。
【０２７７】
さらに、図２３Ｃの左側に示すように、現フレームの生徒画像上の画素Ｇ１１３と、画素Ｇ１１３に上下左右に隣接する４つの画素とが予測タップとして抽出され、図２３Ｃの右側に示すように、前フレームの生徒画像上の画素Ｇ１１５と、画素Ｇ１１５に上下左右に隣接する４つの画素とが予測タップとして抽出される。なお、図２３Ｂおよび図２３Ｃでは、予測タップとされる画素には、斜線が施されている。
【０２７８】
このように、学習装置２０１では、生徒画像上における注目画素と同じ位置の空間的または時間的に近傍にある画素がクラスタップまたは予測タップとして抽出される。
【０２７９】
図２２のフローチャートの説明に戻り、クラスタップが抽出されると、その後、ステップＳ１８６乃至ステップＳ１９１の処理が行われ、学習処理は終了するが、これらの処理は、図６のステップＳ４６乃至ステップＳ５１の処理のそれぞれと同様であるため、その説明は省略する。なお、ステップＳ１８８の処理では、例えば、図２３Ｂおよび図２３Ｃに示した画素Ｇ１１２乃至画素Ｇ１１５と、それらの画素に隣接する画素が、予測タップとして抽出される。
【０２８０】
このようにして、学習装置２０１は、教師画像としての入力画像から、生徒画像としての視覚画像を生成し、教師画像および生徒画像を用いて位相ごとの変換係数、つまり前位相用の変換係数または後位相用の変換係数を求める。なお、前位相用の変換係数を求める学習処理と、後位相用の変換係数を求める学習処理は、それぞれ個別に行われる。
【０２８１】
このように、入力画像を教師画像とし、視覚画像を生徒画像として変換係数を求めることで、より簡単な処理で、入力画像をより高品質な表示画像に変換するための変換係数を求めることができる。したがって、求めた変換係数を用いて、より簡単に画像の画質の劣化を改善することができるようになる。しかも、位相ごとの変換係数を用いて入力画像を表示画像に変換すれば、入力画像の倍のフレームレートの表示画像を得ることができ、ジャーキネスの発生を抑制することもできる。
【０２８２】
次に、図２４のフローチャートを参照して、図２２のステップＳ１８１の処理に対応する処理である生徒画像生成処理について説明する。
【０２８３】
ステップＳ２２１において、平均画像生成部２４１は、今回、供給されたフレームの教師画像と、そのフレームの時間的に１つ前のフレームの教師画像とを用いて平均画像を生成し、動きベクトル検出部２４２および動き補償部２４３に供給する。
【０２８４】
例えば、図２５に示すように、時間的に連続する２つのフレームＦ６１およびフレームＦ６２の教師画像を平均して、フレームＦ６１とフレームＦ６２との間にある位相のフレームＦ７１の平均画像を生成する。なお、図２５において、縦方向は時間を示しており、１つの円は、教師画像または平均画像の１つのフレームを表している。
【０２８５】
図２５の例では、教師画像に対して２倍の動きぼけ量の平均画像が得られる。また、フレームＦ６１の教師画像が、生成されたフレームＦ７１の平均画像から得られる生徒画像に対する後位相のフレームとなる。つまり、フレームＦ７１の平均画像から得られた生徒画像と、そのフレームＦ７１の直前のフレームの生徒画像とが学習に用いられる場合、後位相用の変換係数の学習時には、フレームＦ６１の入力画像が教師画像として用いられ、前位相用の変換係数の学習時には、フレームＦ６１の直前のフレームの入力画像が教師画像として用いられる。
【０２８６】
図２４のフローチャートの説明に戻り、平均画像が生成されると、その後、ステップＳ２２２乃至ステップＳ２２６の処理が行われるが、これらの処理は、図７のステップＳ８１乃至ステップＳ８５の処理と同様であるので、その説明は省略する。すなわち、生成された平均画像から、平均画像に対する視覚画像が生徒画像として生成される。
【０２８７】
ステップＳ２２６において生徒画像が生成されて、積分部２４６から動きベクトル検出部８３、クラスタップ抽出部８４、および予測タップ抽出部８６に生徒画像が供給されると生徒画像生成処理は終了して、処理は図２２のステップＳ１８２に進む。
【０２８８】
このようにして、教師画像から、教師画像の半分のフレームレートの平均画像が生成され、平均画像から生徒画像としての視覚画像が生成される。
【０２８９】
以上のようにして学習装置２０１により生成された、前位相用の変換係数および後位相用の変換係数を用いて入力画像を表示画像に変換する画像生成装置は、例えば、図２６に示すように構成される。
【０２９０】
画像生成装置２７１は、クラスタップ抽出部２２、クラス分類部２３、予測タップ抽出部２４、積和演算部２６、表示部２７、動きベクトル検出部２８１、および係数保持部２８２から構成される。なお、図２６において、図１における場合と対応する部分には、同一の符号を付してあり、その説明は省略する。
【０２９１】
画像生成装置２７１の動きベクトル検出部２８１、クラスタップ抽出部２２、および予測タップ抽出部２４には、入力画像が供給される。動きベクトル検出部２８１は、これから生成しようとする表示画像の画素を注目画素として、供給された入力画像に基づいて、注目画素に対応する入力画像の画素の動きベクトルを検出する。
【０２９２】
ここで、注目画素に対応する入力画像の画素とは、入力画像の画素のうち、注目画素に対して、学習処理時の注目画素に対応する生徒画像の画素と同じ位置関係にある画素をいう。例えば、図２３Ａの画素Ｇ１１１が表示画像上の注目画素であり、画素Ｇ１１２が、供給されたフレームの入力画像上の画素であるとすると、注目画素に対応する入力画像の画素は、画素Ｇ１１２となる。
【０２９３】
また、動きベクトル検出部２８１は、検出した動きベクトルをクラスタップ抽出部２２、クラス分類部２３、および予測タップ抽出部２４に供給する。
【０２９４】
係数保持部２８２は、学習装置２０１により生成された、前位相用の変換係数および後位相用の変換係数を保持しており、クラス分類部２３からのクラスコードに応じて、保持している前位相用の変換係数または後位相用の変換係数を積和演算部２６に供給する。
【０２９５】
このように構成される画像生成装置２７１に入力画像が供給されると、画像生成装置２７１により、表示画像を生成して表示する処理である表示処理が開始される。以下、図２７のフローチャートを参照して、画像生成装置２７１による表示処理について説明する。
【０２９６】
ステップＳ２５１において、動きベクトル検出部２８１は、これから生成しようとする表示画像の画素を注目画素とし、供給されたフレームの入力画像と、そのフレームの直前のフレームの入力画像とを用いて、例えばブロックマッチングや勾配法などにより、注目画素に対応する入力画像の画素の動きベクトルを検出する。検出された動きベクトルは、動きベクトル検出部２８１からクラス分類部２３、クラスタップ抽出部２２、および予測タップ抽出部２４に供給される。
【０２９７】
その後、ステップＳ２５２乃至ステップＳ２５９の処理が行われて、表示処理は終了するが、これらの処理は、図２のステップＳ１２乃至ステップＳ１９の処理と同様であるので、その説明は省略する。
【０２９８】
なお、入力画像上における注目画素と同じ位置から、空間的または時間的に近傍に位置する画素のいくつかが、クラスタップまたは予測タップとして抽出される。例えば、図２３Ａの画素Ｇ１１１が表示画像上の注目画素であり、画素Ｇ１１２が、供給されたフレームの入力画像上の注目画素に対応する画素であるとすると、画素Ｇ１１２乃至画素Ｇ１１５がクラスタップとして入力画像から抽出される。また、画素Ｇ１１２乃至画素Ｇ１１５と、それらの画素に隣接する画素とが予測タップとして入力画像から抽出される。
【０２９９】
さらに、係数保持部２８２から積和演算部２６には、前位相のフレームの表示画像が生成されるときには、クラスコードにより特定される、前位相用の変換係数が供給される。同様に、後位相のフレームの表示画像が生成されるときには、係数保持部２８２から積和演算部２６には、クラスコードにより特定される、後位相用の変換係数が供給される。
【０３００】
このようにして、画像生成装置２７１は、供給された入力画像から前位相または後位相の表示画像を生成し、表示部２７に表示させる。なお、前位相または後位相のフレームの表示画像が生成されて表示される表示処理は、フレームごとに個別に行われる。
【０３０１】
また、以上においては、前位相用および後位相用の変換係数の学習処理時に、教師画像としての入力画像から生徒画像を生成すると説明したが、学習処理時に入力画像から生徒画像および教師画像が生成されるようにしてもよい。
【０３０２】
そのような場合、例えば学習装置は、図２８に示す構成とされる。図２８の学習装置３１１は、平均画像生成部２４１、教師画像生成部１４１、注目画素抽出部８１、動きベクトル検出部８３、クラスタップ抽出部８４、クラス分類部８５、予測タップ抽出部８６、演算部８７、および係数生成部８８から構成される。なお、図２８において、図１５、図２０、および図２１における場合と対応する部分には、同一の符号を付してあり、その説明は適宜、省略する。
【０３０３】
学習装置３１１の平均画像生成部２４１および教師画像生成部１４１には、入力画像が供給される。平均画像生成部２４１は、供給された入力画像から平均画像を生成し、生成した平均画像を生徒画像として動きベクトル検出部８３、クラスタップ抽出部８４、および予測タップ抽出部８６に供給する。
【０３０４】
教師画像生成部１４１は、供給された入力画像から視覚画像を生成し、入力画像と視覚画像との差分を、入力画像に加算して得られる画像を教師画像とする。この教師画像は、教師画像をそのまま画像生成装置２７１の表示部２７に表示させた場合に、入力画像が表示されていると観察者が知覚する画像である。教師画像生成部１４１は、生成した教師画像を注目画素抽出部８１に供給する。
【０３０５】
次に、図２９のフローチャートを参照して、学習装置３１１による学習処理について説明する。この学習装置によって、前位相用または後位相用の変換係数が生成される。
【０３０６】
ステップＳ２９１において、教師画像生成部１４１は、供給された入力画像を用いて教師画像生成処理を行って教師画像を生成し、生成した教師画像を注目画素抽出部８１に供給する。この教師画像生成処理は、図１７のステップＳ１１１の処理、つまり図１８のフローチャートを参照して説明した処理と同様であるので、その説明は省略する。
【０３０７】
ステップＳ２９２において、平均画像生成部２４１は、供給された入力画像から生徒画像を生成し、生成した生徒画像を動きベクトル検出部８３、クラスタップ抽出部８４、および予測タップ抽出部８６に供給する。すなわち、平均画像生成部２４１は、今回、供給されたフレームの入力画像と、そのフレームの時間的に１つ前のフレームの入力画像とを用いて平均画像を生成し、その平均画像を生徒画像とする。
【０３０８】
生徒画像が生成されると、その後、ステップＳ２９３乃至ステップＳ３０２の処理が行われて、学習処理は終了するが、これらの処理は、図２２のステップＳ１８２乃至ステップＳ１９１の処理と同様であるため、その説明は省略する。
【０３０９】
このようにして、学習装置３１１は、供給された入力画像から生徒画像および教師画像を生成して位相ごとの変換係数、つまり前位相用の変換係数または後位相用の変換係数を求める。なお、前位相用の変換係数を求める学習処理と、後位相用の変換係数を求める学習処理は、それぞれ個別に行われる。
【０３１０】
このように、供給された入力画像から生徒画像および教師画像を生成して変換係数を求めることで、より簡単な処理で、入力画像をより高品質な表示画像に変換するための変換係数を求めることができる。したがって、求めた変換係数を用いて、より簡単に画像の画質の劣化を改善することができるようになる。
【０３１１】
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０３１２】
図３０は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０３１３】
コンピュータにおいて、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。
【０３１４】
バス５０４には、さらに、入出力インターフェース５０５が接続されている。入出力インターフェース５０５には、キーボード、マウス、マイクロホンなどよりなる入力部５０６、ディスプレイ、スピーカなどよりなる出力部５０７、ハードディスクや不揮発性のメモリなどよりなる記録部５０８、ネットワークインターフェースなどよりなる通信部５０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア５１１を駆動するドライブ５１０が接続されている。
【０３１５】
以上のように構成されるコンピュータでは、CPU５０１が、例えば、記録部５０８に記録されているプログラムを、入出力インターフェース５０５及びバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。
【０３１６】
コンピュータ（CPU５０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア５１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０３１７】
そして、プログラムは、リムーバブルメディア５１１をドライブ５１０に装着することにより、入出力インターフェース５０５を介して、記録部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記録部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記録部５０８に、あらかじめインストールしておくことができる。
【０３１８】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０３１９】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０３２０】
【図１】本発明を適用した画像生成装置の一実施の形態の構成例を示す図である。
【図２】表示処理を説明するフローチャートである。
【図３】クラスタップおよび予測タップの例を示す図である。
【図４】本発明を適用した学習装置の一実施の形態の構成例を示す図である。
【図５】生徒画像生成部の構成例を示す図である。
【図６】学習処理を説明するフローチャートである。
【図７】生徒画像生成処理を説明するフローチャートである。
【図８】過去画像の生成を説明する図である。
【図９】応答モデルについて説明する図である。
【図１０】遷移画像について説明する図である。
【図１１】追従画素について説明する図である。
【図１２】予測タップについて説明する図である。
【図１３】クラスタップおよび予測タップの他の例を示す図である。
【図１４】生徒画像の生成について説明する図である。
【図１５】学習装置の他の構成例を示す図である。
【図１６】教師画像生成部の構成例を示す図である。
【図１７】学習処理を説明するフローチャートである。
【図１８】教師画像生成処理を説明するフローチャートである。
【図１９】フレームレート変換について説明する図である。
【図２０】学習装置の他の構成例を示す図である。
【図２１】生徒画像生成部の構成例を示す図である。
【図２２】学習処理を説明するフローチャートである。
【図２３】クラスタップおよび予測タップの例を示す図である。
【図２４】生徒画像生成処理を説明するフローチャートである。
【図２５】平均画像の生成を説明する図である。
【図２６】画像生成装置の他の構成例を示す図である。
【図２７】表示処理を説明するフローチャートである。
【図２８】学習装置の他の構成例を示す図である。
【図２９】学習処理を説明するフローチャートである。
【図３０】コンピュータの構成例を示す図である。
【符号の説明】
【０３２１】
１１ 画像生成装置， ２１ 動きベクトル検出部， ２２ クラスタップ抽出部， ２３ クラス分類部， ２４ 予測タップ抽出部， ２６ 積和演算部， ２７ 表示部， ７１ 学習装置， ８２ 生徒画像生成部， ８３ 動きベクトル検出部， ８４ クラスタップ抽出部， ８５ クラス分類部， ８６ 予測タップ抽出部， ８７ 演算部， ８８ 係数生成部， １１３ 応答モデル保持部， １１５ 積分部， １４１ 教師画像生成部， １７３ 応答モデル保持部， １７５ 積分部， １７６ 差分補償部， ２１１ 生徒画像生成部， ２４１ 平均画像生成部， ２７１ 画像生成装置， ３１１ 学習装置
【技術分野】
【０００１】
本発明は係数生成装置および方法、画像生成装置および方法、並びにプログラムに関し、特に、より簡単に画像の画質の劣化を改善できるようにした係数生成装置および方法、画像生成装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
LCD（Liquid Crystal Display）などのホールド型の表示装置においては、人間が表示装置に表示される移動物体を観察すると、いわゆる動きぼけが生じて、人間の目には移動物体がぼけて見えることが知られている。この動きぼけは、人間の目が表示画面上を移動する移動物体を追従しながら観察するために生じる。
【０００３】
従来、このような動きぼけによる画像の画質の劣化を改善したり、抑制したりするための技術として、オーバードライブ、黒挿入、フレーム倍速などの技術が提案されている。
【０００４】
例えば、オーバードライブと称される技術においては、表示するフレームの画像と、そのフレームの直前に表示されるフレームの画像との差分に所定の係数を乗算して得られた値を、表示するフレームの画像に加算することにより、表示装置の応答速度の改善が図られている。
【０００５】
具体的には、例えば、応答速度に起因する表示の切り替えの遅延が生じると、人間の目には、移動物体の進行方向側の境界部分、および進行方向とは反対側の境界部分が、それぞれ本来の輝度値とは異なる輝度値で表示されているように見える。そこで、オーバードライブでは、移動物体の境界部分の輝度値が補正されるように、画像の差分を、表示しようとするフレームの画像に加算することで画像の画質が改善される。
【０００６】
また、黒挿入と称される技術においては、フレームとフレームとの間に黒い画像を表示させることにより、動きぼけによる画質の劣化が改善されている。つまり、各フレームの画像が連続して表示されるのではなく、１フレーム分の画像が表示された後、黒い画像が表示される期間、すなわち何も表示されない期間が設けられ、その期間が経過した後、次のフレームの画像が表示される。
【０００７】
さらに、フレーム倍速と称される技術においては、１フレーム分の表示期間に、そのフレームの画像と、補間により生成された画像とを表示することで、実質的にフレームレートが２倍にされ、動きぼけによる画質の劣化が改善されている。
【０００８】
さらに、また、動きぼけによる画質の劣化の改善と関連する技術として、測定対象の画像を表示する測定対象ディスプレイに対する、その測定対象ディスプレイに表示される画像を撮影するカメラの傾き角度を補正することによって、より正確に動きぼけを再現した画像を生成する測定システムも提案されている（例えば、特許文献１参照）。
【０００９】
【特許文献１】特開２００６−２４３５１８号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
しかしながら、上述した技術では、動きぼけによる画像の画質の劣化を改善することは容易ではなかった。
【００１１】
例えば、オーバードライブは、表示装置の応答速度が表示する画像のフレームレートより大きい場合には、動きぼけによる画質の劣化の抑制に有効であるが、応答速度がフレームレート以下である場合には、画質の劣化の抑制に有効であるとはいえなかった。より具体的には、応答速度がフレームレート以下である場合、表示装置に表示される画像上の移動物体の境界部分、すなわちエッジの部分が強調され過ぎてしまい、かえって画質が劣化してしまうことがあった。特に、移動物体の移動速度が速いほど画質の劣化が顕著になることが知られている。
【００１２】
また、黒挿入により画像を表示しない期間を設けた場合、画像を表示しない期間が長いほど画像の動きぼけが改善されるが、画像を表示しない期間が長くなると、表示装置が画像を表示するために発光する時間が短くなってしまう。すると、表示される画像が暗くなってしまい、観測者にとっては、かえって画像が見えづらくなってしまう。
【００１３】
さらに、フレーム倍速においては、表示させる画像を補間により生成することは困難であり、生成された画像の画質は、他のフレームの画像よりも画質がよいとはいえず、結果として表示される画像の画質が劣化してしまう恐れがあった。
【００１４】
さらに、また、フレーム倍速は、いわゆる動きテロップのような、撮影時に動きぼけのない画像に対しては効果があるものの、シャッタースピード開放で撮影された動きぼけのある画像、すなわちシャッタースピードが１フレーム分の表示時間と同じ時間とされた、動きぼけのある画像に対しては、充分な効果をあげることができないという欠点があった。
【００１５】
本発明は、このような状況に鑑みてなされたものであり、より簡単に画像の画質の劣化を改善することができるようにするものである。
【課題を解決するための手段】
【００１６】
本発明の第１の側面の係数生成装置は、予め定められた表示手段に表示された場合に、入力画像が表示されていると観察者が知覚する表示画像の表示画像信号に、前記入力画像の入力画像信号を変換する変換係数を生成する係数生成装置であって、
前記変換係数を求めるために用いられ、前記表示画像に対応する教師画像の教師画像信号、および前記教師画像から検出された動きベクトルに基づいて、前記教師画像の１フレーム前の教師画像に対応する過去画像の過去画像信号を生成する過去画像生成手段と、
前記教師画像信号および前記過去画像信号に基づいて、前記表示手段に前記過去画像が表示された後、前記教師画像が表示される場合に、前記過去画像から前記教師画像に表示が切り替わるまでの間に前記表示手段に表示される遷移画像の遷移画像信号を生成する遷移画像生成手段と、
前記過去画像信号、前記遷移画像信号、前記教師画像信号、および前記動きベクトルを用いて、前記過去画像、前記遷移画像、および前記教師画像のそれぞれの画素であって、前記過去画像から前記教師画像に表示が切り替わるまでの間に前記観察者が目で追うと予測される画素の画素値の平均値を求め、前記平均値を、前記教師画像が前記表示手段に表示された場合に前記観察者に知覚される視覚画像の画素の画素値とすることで、前記変換係数を求めるために用いられ、前記入力画像に対応する生徒画像としての前記視覚画像の視覚画像信号を生成する視覚画像生成手段と、
前記教師画像の注目している注目画素の画素値と、前記生徒画像から検出された動きベクトルから定まり、前記生徒画像における前記注目画素と同じ位置の空間的または時間的に近傍にある画素の画素値とを用いて、前記変換係数を求める演算手段と
を備える。
【００１７】
前記遷移画像生成手段には、前記表示手段の発光特性を示すモデルと、前記教師画像信号および前記過去画像信号とを用いて、前記遷移画像信号を生成させることができる。
【００１８】
前記演算手段には、
前記生徒画像から検出された動きベクトルから定まり、前記生徒画像における前記注目画素と同じ位置の空間的または時間的に近傍にあるいくつかの画素の画素値を、前記注目画素を複数のクラスのうちの何れかにクラス分けするクラス分類を行うのに用いられるクラスタップとして、前記生徒画像信号から抽出するクラスタップ抽出手段と、
前記生徒画像から検出された動きベクトルの大きさと、前記クラスタップとに基づいて、前記注目画素をクラス分類するクラス分類手段と、
前記生徒画像から検出された動きベクトルから定まり、前記生徒画像における前記注目画素と同じ位置の空間的または時間的に近傍にあるいくつかの画素の画素値を、前記注目画素を予測するのに用いられる予測タップとして、前記生徒画像信号から抽出する予測タップ抽出手段と、
前記注目画素の画素値および前記予測タップに対して、前記注目画素の前記クラスごとに立てられた、前記注目画素の画素値、前記予測タップ、および前記変換係数の関係を示す正規方程式を解くことで、前記クラスごとの前記変換係数を求める係数生成手段と
を設けることができる。
【００１９】
本発明の第１の側面の係数生成方法またはプログラムは、予め定められた表示手段に表示された場合に、入力画像が表示されていると観察者が知覚する表示画像の表示画像信号に、前記入力画像の入力画像信号を変換する変換係数を生成する係数生成装置の係数生成方法またはプログラムであって、
前記変換係数を求めるために用いられ、前記表示画像に対応する教師画像の教師画像信号、および前記教師画像から検出された動きベクトルに基づいて、前記教師画像の１フレーム前の教師画像に対応する過去画像の過去画像信号を生成し、
前記教師画像信号および前記過去画像信号に基づいて、前記表示手段に前記過去画像が表示された後、前記教師画像が表示される場合に、前記過去画像から前記教師画像に表示が切り替わるまでの間に前記表示手段に表示される遷移画像の遷移画像信号を生成し、
前記過去画像信号、前記遷移画像信号、前記教師画像信号、および前記動きベクトルを用いて、前記過去画像、前記遷移画像、および前記教師画像のそれぞれの画素であって、前記過去画像から前記教師画像に表示が切り替わるまでの間に前記観察者が目で追うと予測される画素の画素値の平均値を求め、前記平均値を、前記教師画像が前記表示手段に表示された場合に前記観察者に知覚される視覚画像の画素の画素値とすることで、前記変換係数を求めるために用いられ、前記入力画像に対応する生徒画像としての前記視覚画像の視覚画像信号を生成し、
前記教師画像の注目している注目画素の画素値と、前記生徒画像から検出された動きベクトルから定まり、前記生徒画像における前記注目画素と同じ位置の空間的または時間的に近傍にある画素の画素値とを用いて、前記変換係数を求める
ステップを含む。
【００２０】
本発明の第１の側面においては、予め定められた表示手段に表示された場合に、入力画像が表示されていると観察者が知覚する表示画像の表示画像信号に、前記入力画像の入力画像信号を変換する変換係数を生成する係数生成装置において、
前記変換係数を求めるために用いられ、前記表示画像に対応する教師画像の教師画像信号、および前記教師画像から検出された動きベクトルに基づいて、前記教師画像の１フレーム前の教師画像に対応する過去画像の過去画像信号が生成され、
前記教師画像信号および前記過去画像信号に基づいて、前記表示手段に前記過去画像が表示された後、前記教師画像が表示される場合に、前記過去画像から前記教師画像に表示が切り替わるまでの間に前記表示手段に表示される遷移画像の遷移画像信号が生成され、
前記過去画像信号、前記遷移画像信号、前記教師画像信号、および前記動きベクトルを用いて、前記過去画像、前記遷移画像、および前記教師画像のそれぞれの画素であって、前記過去画像から前記教師画像に表示が切り替わるまでの間に前記観察者が目で追うと予測される画素の画素値の平均値を求め、前記平均値を、前記教師画像が前記表示手段に表示された場合に前記観察者に知覚される視覚画像の画素の画素値とすることで、前記変換係数を求めるために用いられ、前記入力画像に対応する生徒画像としての前記視覚画像の視覚画像信号が生成され、
前記教師画像の注目している注目画素の画素値と、前記生徒画像から検出された動きベクトルから定まり、前記生徒画像における前記注目画素と同じ位置の空間的または時間的に近傍にある画素の画素値とを用いて、前記変換係数が求められる。
【００２１】
本発明の第２の側面の画像生成装置は、予め定められた表示手段に表示された場合に、入力画像が表示されていると観察者が知覚する表示画像の表示画像信号に、前記入力画像の入力画像信号を変換する画像生成装置であって、
これから生成しようとする前記表示画像の注目している画素を第１の注目画素とし、前記入力画像から検出された動きベクトルから定まり、前記入力画像における前記第１の注目画素と同じ位置の空間的または時間的に近傍にあるいくつかの画素の画素値を、前記第１の注目画素を予測するのに用いられる予測タップとして、前記入力画像信号から抽出する予測タップ抽出手段と、
予め求められている変換係数と、前記予測タップとを線形結合することにより、前記第１の注目画素の画素値を予測演算する予測演算手段と
を備え、
前記変換係数は、
前記表示画像に対応する教師画像の注目している第２の注目画素の画素値と、
前記入力画像に対応する生徒画像から検出された動きベクトルから定まり、前記生徒画像における、前記第２の注目画素と同じ位置の空間的または時間的に近傍にある画素の画素値と
が用いられて求められ、
前記生徒画像は、
前記教師画像の教師画像信号と、
前記教師画像信号、および前記教師画像から検出された動きベクトルに基づいて生成された、前記教師画像の１フレーム前の教師画像に対応する過去画像の過去画像信号と、
前記表示手段の発光特性を示すモデルと、前記教師画像信号および前記過去画像信号とに基づいて生成された、前記表示手段に前記過去画像が表示された後、前記教師画像が表示される場合に、前記過去画像から前記教師画像に表示が切り替わるまでの間に前記表示手段に表示される遷移画像の遷移画像信号と、
前記教師画像から検出された動きベクトルと
を用いて、
前記過去画像、前記遷移画像、および前記教師画像のそれぞれの画素であって、前記過去画像から前記教師画像に表示が切り替わるまでの間に前記観察者が目で追うと予測される画素の画素値の平均値を求め、前記平均値を、前記教師画像が前記表示手段に表示された場合に前記観察者に知覚される視覚画像の画素の画素値とすることで生成される、前記視覚画像である。
【００２２】
前記画像生成装置には、
前記入力画像から検出された動きベクトルから定まり、前記入力画像における前記第１の注目画素と同じ位置の空間的または時間的に近傍にあるいくつかの画素の画素値を、前記第１の注目画素を複数のクラスのうちの何れかにクラス分けするクラス分類を行うのに用いられるクラスタップとして、前記入力画像信号から抽出するクラスタップ抽出手段と、
前記入力画像から検出された動きベクトルの大きさと、前記クラスタップとに基づいて、前記第１の注目画素をクラス分類するクラス分類手段と
をさらに設け、
前記予測演算手段には、前記第１の注目画素のクラスに対して予め求められている前記変換係数を用いて、前記第１の注目画素の画素値を予測演算させることができる。
【００２３】
本発明の第２の側面の画像生成方法またはプログラムは、予め定められた表示手段に表示された場合に、入力画像が表示されていると観察者が知覚する表示画像の表示画像信号に、前記入力画像の入力画像信号を変換する画像生成装置の画像生成方法またはプログラムであって、
これから生成しようとする前記表示画像の注目している画素を第１の注目画素とし、前記入力画像から検出された動きベクトルから定まり、前記入力画像における前記第１の注目画素と同じ位置の空間的または時間的に近傍にあるいくつかの画素の画素値を、前記第１の注目画素を予測するのに用いられる予測タップとして、前記入力画像信号から抽出し、
予め求められている変換係数と、前記予測タップとを線形結合することにより、前記第１の注目画素の画素値を予測演算する
ステップを含み、
前記変換係数は、
前記表示画像に対応する教師画像の注目している第２の注目画素の画素値と、
前記入力画像に対応する生徒画像から検出された動きベクトルから定まり、前記生徒画像における、前記第２の注目画素と同じ位置の空間的または時間的に近傍にある画素の画素値と
が用いられて求められ、
前記生徒画像は、
前記教師画像の教師画像信号と、
前記教師画像信号、および前記教師画像から検出された動きベクトルに基づいて生成された、前記教師画像の１フレーム前の教師画像に対応する過去画像の過去画像信号と、
前記表示手段の発光特性を示すモデルと、前記教師画像信号および前記過去画像信号とに基づいて生成された、前記表示手段に前記過去画像が表示された後、前記教師画像が表示される場合に、前記過去画像から前記教師画像に表示が切り替わるまでの間に前記表示手段に表示される遷移画像の遷移画像信号と、
前記教師画像から検出された動きベクトルと
を用いて、
前記過去画像、前記遷移画像、および前記教師画像のそれぞれの画素であって、前記過去画像から前記教師画像に表示が切り替わるまでの間に前記観察者が目で追うと予測される画素の画素値の平均値を求め、前記平均値を、前記教師画像が前記表示手段に表示された場合に前記観察者に知覚される視覚画像の画素の画素値とすることで生成される、前記視覚画像である。
【００２４】
本発明の第２の側面においては、予め定められた表示手段に表示された場合に、入力画像が表示されていると観察者が知覚する表示画像の表示画像信号に、前記入力画像の入力画像信号を変換する画像生成装置において、
これから生成しようとする前記表示画像の注目している画素が第１の注目画素とされ、前記入力画像から検出された動きベクトルから定まり、前記入力画像における前記第１の注目画素と同じ位置の空間的または時間的に近傍にあるいくつかの画素の画素値が、前記第１の注目画素を予測するのに用いられる予測タップとして、前記入力画像信号から抽出され、
予め求められている変換係数と、前記予測タップとを線形結合することにより、前記第１の注目画素の画素値が予測演算される。
【００２５】
本発明の第３の側面の係数生成装置は、予め定められた表示手段に表示された場合に、入力画像が表示されていると観察者が知覚する表示画像の表示画像信号に、前記入力画像の入力画像信号を変換する変換係数を生成する係数生成装置であって、
前記変換係数を求めるために用いられ、前記表示画像に対応する教師画像の教師画像信号に基づいて、前記教師画像と、前記教師画像の１フレーム前の教師画像とを平均して得られる平均画像の平均画像信号を生成する平均画像生成手段と、
前記平均画像信号、および前記平均画像から検出された動きベクトルに基づいて、前記平均画像の１フレーム前の平均画像に対応する過去画像の過去画像信号を生成する過去画像生成手段と、
前記平均画像信号および前記過去画像信号に基づいて、前記表示手段に前記過去画像が表示された後、前記平均画像が表示される場合に、前記過去画像から前記平均画像に表示が切り替わるまでの間に前記表示手段に表示される遷移画像の遷移画像信号を生成する遷移画像生成手段と、
前記過去画像信号、前記遷移画像信号、前記平均画像信号、および前記動きベクトルを用いて、前記過去画像、前記遷移画像、および前記平均画像のそれぞれの画素であって、前記過去画像から前記平均画像に表示が切り替わるまでの間に前記観察者が目で追うと予測される画素の画素値の平均値を求め、前記平均値を、前記平均画像が前記表示手段に表示された場合に前記観察者に知覚される視覚画像の画素の画素値とすることで、前記変換係数を求めるために用いられ、前記入力画像に対応する生徒画像としての前記視覚画像の視覚画像信号を生成する視覚画像生成手段と、
前記教師画像の注目している注目画素の画素値と、前記生徒画像から検出された動きベクトルから定まり、前記生徒画像における前記注目画素と同じ位置の空間的または時間的に近傍にある画素の画素値とを用いて、前記変換係数を求める演算手段と
を備える。
【００２６】
前記遷移画像生成手段には、前記表示手段の発光特性を示すモデルと、前記平均画像信号および前記過去画像信号とを用いて、前記遷移画像信号を生成させることができる。
【００２７】
前記演算手段には、
前記生徒画像から検出された動きベクトルから定まり、前記生徒画像における前記注目画素と同じ位置の空間的または時間的に近傍にあるいくつかの画素の画素値を、前記注目画素を複数のクラスのうちの何れかにクラス分けするクラス分類を行うのに用いられるクラスタップとして、前記生徒画像信号から抽出するクラスタップ抽出手段と、
前記生徒画像から検出された動きベクトルの大きさと、前記クラスタップとに基づいて、前記注目画素をクラス分類するクラス分類手段と、
前記生徒画像から検出された動きベクトルから定まり、前記生徒画像における前記注目画素と同じ位置の空間的または時間的に近傍にあるいくつかの画素の画素値を、前記注目画素を予測するのに用いられる予測タップとして、前記生徒画像信号から抽出する予測タップ抽出手段と、
前記注目画素の画素値および前記予測タップに対して、前記注目画素の前記クラスごとに立てられた、前記注目画素の画素値、前記予測タップ、および前記変換係数の関係を示す正規方程式を解くことで、前記クラスごとの前記変換係数を求める係数生成手段と
を設けることができる。
【００２８】
本発明の第３の側面の係数生成方法またはプログラムは、予め定められた表示手段に表示された場合に、入力画像が表示されていると観察者が知覚する表示画像の表示画像信号に、前記入力画像の入力画像信号を変換する変換係数を生成する係数生成装置の係数生成方法またはプログラムであって、
前記変換係数を求めるために用いられ、前記表示画像に対応する教師画像の教師画像信号に基づいて、前記教師画像と、前記教師画像の１フレーム前の教師画像とを平均して得られる平均画像の平均画像信号を生成し、
前記平均画像の平均画像信号、および前記平均画像から検出された動きベクトルに基づいて、前記平均画像の１フレーム前の平均画像に対応する過去画像の過去画像信号を生成し、
前記平均画像信号および前記過去画像信号に基づいて、前記表示手段に前記過去画像が表示された後、前記平均画像が表示される場合に、前記過去画像から前記平均画像に表示が切り替わるまでの間に前記表示手段に表示される遷移画像の遷移画像信号を生成し、
前記過去画像信号、前記遷移画像信号、前記平均画像信号、および前記動きベクトルを用いて、前記過去画像、前記遷移画像、および前記平均画像のそれぞれの画素であって、前記過去画像から前記平均画像に表示が切り替わるまでの間に前記観察者が目で追うと予測される画素の画素値の平均値を求め、前記平均値を、前記平均画像が前記表示手段に表示された場合に前記観察者に知覚される視覚画像の画素の画素値とすることで、前記変換係数を求めるために用いられ、前記入力画像に対応する生徒画像としての前記視覚画像の視覚画像信号を生成し、
前記教師画像の注目している注目画素の画素値と、前記生徒画像から検出された動きベクトルから定まり、前記生徒画像における前記注目画素と同じ位置の空間的または時間的に近傍にある画素の画素値とを用いて、前記変換係数を求める
ステップを含む。
【００２９】
本発明の第３の側面においては、予め定められた表示手段に表示された場合に、入力画像が表示されていると観察者が知覚する表示画像の表示画像信号に、前記入力画像の入力画像信号を変換する変換係数を生成する係数生成装置において、
前記変換係数を求めるために用いられ、前記表示画像に対応する教師画像の教師画像信号に基づいて、前記教師画像と、前記教師画像の１フレーム前の教師画像とを平均して得られる平均画像の平均画像信号が生成され、
前記平均画像信号、および前記平均画像から検出された動きベクトルに基づいて、前記平均画像の１フレーム前の平均画像に対応する過去画像の過去画像信号が生成され、
前記平均画像信号および前記過去画像信号に基づいて、前記表示手段に前記過去画像が表示された後、前記平均画像が表示される場合に、前記過去画像から前記平均画像に表示が切り替わるまでの間に前記表示手段に表示される遷移画像の遷移画像信号が生成され、
前記過去画像信号、前記遷移画像信号、前記平均画像信号、および前記動きベクトルを用いて、前記過去画像、前記遷移画像、および前記平均画像のそれぞれの画素であって、前記過去画像から前記平均画像に表示が切り替わるまでの間に前記観察者が目で追うと予測される画素の画素値の平均値を求め、前記平均値を、前記平均画像が前記表示手段に表示された場合に前記観察者に知覚される視覚画像の画素の画素値とすることで、前記変換係数を求めるために用いられ、前記入力画像に対応する生徒画像としての前記視覚画像の視覚画像信号が生成され、
前記教師画像の注目している注目画素の画素値と、前記生徒画像から検出された動きベクトルから定まり、前記生徒画像における前記注目画素と同じ位置の空間的または時間的に近傍にある画素の画素値とを用いて、前記変換係数が求められる。
【００３０】
本発明の第４の側面の画像生成装置は、予め定められた表示手段に表示された場合に、入力画像が表示されていると観察者が知覚する表示画像の表示画像信号に、前記入力画像の入力画像信号を変換する画像生成装置であって、
これから生成しようとする前記表示画像の注目している画素を第１の注目画素とし、前記入力画像から検出された動きベクトルから定まり、前記入力画像における前記第１の注目画素と同じ位置の空間的または時間的に近傍にあるいくつかの画素の画素値を、前記第１の注目画素を予測するのに用いられる予測タップとして、前記入力画像信号から抽出する予測タップ抽出手段と、
予め求められている変換係数と、前記予測タップとを線形結合することにより、前記第１の注目画素の画素値を予測演算する予測演算手段と
を備え、
前記変換係数は、
前記表示画像に対応する教師画像の注目している第２の注目画素の画素値と、
前記入力画像に対応する生徒画像から検出された動きベクトルから定まり、前記生徒画像における、前記第２の注目画素と同じ位置の空間的または時間的に近傍にある画素の画素値と
が用いられて求められ、
前記生徒画像は、
前記教師画像の教師画像信号に基づいて生成され、前記教師画像と、前記教師画像の１フレーム前の教師画像とを平均して得られる平均画像の平均画像信号と、
前記平均画像信号、および前記平均画像から検出された動きベクトルに基づいて生成された、前記平均画像の１フレーム前の平均画像に対応する過去画像の過去画像信号と、
前記表示手段の発光特性を示すモデルと、前記平均画像信号および前記過去画像信号とに基づいて生成された、前記表示手段に前記過去画像が表示された後、前記平均画像が表示される場合に、前記過去画像から前記平均画像に表示が切り替わるまでの間に前記表示手段に表示される遷移画像の遷移画像信号と、
前記平均画像から検出された動きベクトルと
を用いて、
前記過去画像、前記遷移画像、および前記平均画像のそれぞれの画素であって、前記過去画像から前記平均画像に表示が切り替わるまでの間に前記観察者が目で追うと予測される画素の画素値の平均値を求め、前記平均値を、前記平均画像が前記表示手段に表示された場合に前記観察者に知覚される視覚画像の画素の画素値とすることで生成される、前記視覚画像である。
【００３１】
前記画像生成装置には、
前記入力画像から検出された動きベクトルから定まり、前記入力画像における前記第１の注目画素と同じ位置の空間的または時間的に近傍にあるいくつかの画素の画素値を、前記第１の注目画素を複数のクラスのうちの何れかにクラス分けするクラス分類を行うのに用いられるクラスタップとして、前記入力画像信号から抽出するクラスタップ抽出手段と、
前記入力画像から検出された動きベクトルの大きさと、前記クラスタップとに基づいて、前記第１の注目画素をクラス分類するクラス分類手段と
をさらに設け、
前記予測演算手段には、前記第１の注目画素のクラスに対して予め求められている前記変換係数を用いて、前記第１の注目画素の画素値を予測演算させることができる。
【００３２】
本発明の第４の側面の画像生成方法またはプログラムは、予め定められた表示手段に表示された場合に、入力画像が表示されていると観察者が知覚する表示画像の表示画像信号に、前記入力画像の入力画像信号を変換する画像生成装置の画像生成方法またはプログラムであって、
これから生成しようとする前記表示画像の注目している画素を第１の注目画素とし、前記入力画像から検出された動きベクトルから定まり、前記入力画像における前記第１の注目画素と同じ位置の空間的または時間的に近傍にあるいくつかの画素の画素値を、前記第１の注目画素を予測するのに用いられる予測タップとして、前記入力画像信号から抽出し、
予め求められている変換係数と、前記予測タップとを線形結合することにより、前記第１の注目画素の画素値を予測演算する
ステップを含み、
前記変換係数は、
前記表示画像に対応する教師画像の注目している第２の注目画素の画素値と、
前記入力画像に対応する生徒画像から検出された動きベクトルから定まり、前記生徒画像における、前記第２の注目画素と同じ位置の空間的または時間的に近傍にある画素の画素値と
が用いられて求められ、
前記生徒画像は、
前記教師画像の教師画像信号に基づいて生成され、前記教師画像と、前記教師画像の１フレーム前の教師画像とを平均して得られる平均画像の平均画像信号と、
前記平均画像信号、および前記平均画像から検出された動きベクトルに基づいて生成された、前記平均画像の１フレーム前の平均画像に対応する過去画像の過去画像信号と、
前記表示手段の発光特性を示すモデルと、前記平均画像信号および前記過去画像信号とに基づいて生成された、前記表示手段に前記過去画像が表示された後、前記平均画像が表示される場合に、前記過去画像から前記平均画像に表示が切り替わるまでの間に前記表示手段に表示される遷移画像の遷移画像信号と、
前記平均画像から検出された動きベクトルと
を用いて、
前記過去画像、前記遷移画像、および前記平均画像のそれぞれの画素であって、前記過去画像から前記平均画像に表示が切り替わるまでの間に前記観察者が目で追うと予測される画素の画素値の平均値を求め、前記平均値を、前記平均画像が前記表示手段に表示された場合に前記観察者に知覚される視覚画像の画素の画素値とすることで生成される、前記視覚画像である。
【００３３】
本発明の第４の側面においては、予め定められた表示手段に表示された場合に、入力画像が表示されていると観察者が知覚する表示画像の表示画像信号に、前記入力画像の入力画像信号を変換する画像生成装置において、
これから生成しようとする前記表示画像の注目している画素を第１の注目画素とし、前記入力画像から検出された動きベクトルから定まり、前記入力画像における前記第１の注目画素と同じ位置の空間的または時間的に近傍にあるいくつかの画素の画素値が、前記第１の注目画素を予測するのに用いられる予測タップとして、前記入力画像信号から抽出され、
予め求められている変換係数と、前記予測タップとを線形結合することにより、前記第１の注目画素の画素値が予測演算される。
【発明の効果】
【００３４】
本発明の第１の側面によれば、より簡単に画像の画質の劣化を改善させることができる。
【００３５】
また、本発明の第２の側面によれば、より簡単に画像の画質の劣化を改善することができる。
【００３６】
本発明の第３の側面によれば、より簡単に画像の画質の劣化を改善させることができる。
【００３７】
また、本発明の第４の側面によれば、より簡単に画像の画質の劣化を改善することができる。
【発明を実施するための最良の形態】
【００３８】
以下、図面を参照して、本発明を適用した実施の形態について説明する。
【００３９】
図１は、本発明を適用した画像生成装置の一実施の形態の構成例を示すブロック図である。
【００４０】
画像生成装置１１は、カメラ等により撮影された入力画像を用いてクラス分類適応処理を行い、入力画像から観察者にとって、より高品質に見える表示画像を生成して表示する。ここでいう高品質に見える画像とは、動きぼけのない、より鮮明に見える画像である。
【００４１】
画像生成装置１１は、動きベクトル検出部２１、クラスタップ抽出部２２、クラス分類部２３、予測タップ抽出部２４、係数保持部２５、積和演算部２６、および表示部２７から構成される。画像生成装置１１に入力される入力画像の入力画像信号は、動きベクトル検出部２１、クラスタップ抽出部２２、および予測タップ抽出部２４に供給される。
【００４２】
動きベクトル検出部２１は、供給された入力画像信号に基づいて、入力画像から動きベクトルを検出し、検出された動きベクトルをクラス分類部２３、クラスタップ抽出部２２、および予測タップ抽出部２４に供給する。
【００４３】
クラスタップ抽出部２２は、表示画像を構成する画素を、順次、注目画素とし、入力された入力画像信号、および動きベクトル検出部２１からの動きベクトルを用いて、入力画像を構成する画素のいくつかを、注目画素を複数のクラスのうちの何れかにクラス分けするためのクラスタップとして抽出する。また、クラスタップ抽出部２２は、入力画像から抽出したクラスタップをクラス分類部２３に供給する。なお、表示画像は、これから求めようとする画像であり、現段階では存在しないため仮想的に想定される。
【００４４】
クラス分類部２３は、動きベクトル検出部２１からの動きベクトルと、クラスタップ抽出部２２からのクラスタップとを用いて、注目画素をクラス分類し、注目画素が分類されたクラスを示すクラスコードを係数保持部２５に供給する。
【００４５】
予測タップ抽出部２４は、入力された入力画像信号、および動きベクトル検出部２１からの動きベクトルを用いて、入力画像を構成する画素のいくつかを、注目画素の画素値を予測するために用いる予測タップとして抽出し、積和演算部２６に供給する。
【００４６】
係数保持部２５は、各クラスについて予め求められた、注目画素の画素値を予測するために用いる変換係数を保持しており、クラス分類部２３から供給されたクラスコードにより特定される変換係数を積和演算部２６に供給する。例えば、係数保持部２５には、変換係数を記録するメモリが設けられており、メモリにおけるクラスコードにより特定されるアドレスの領域から変換係数が読み出され、積和演算部２６に供給される。
【００４７】
積和演算部２６は、予測タップ抽出部２４から供給された予測タップ、つまり予測タップを構成する画素の画素値に、係数保持部２５からの変換係数を乗算して線形結合し、注目画素の画素値を予測演算する。積和演算部２６は、表示画像の各画素を注目画素とし、注目画素を予測演算することで得られた表示画像の表示画像信号を表示部２７に供給する。
【００４８】
表示部２７は、例えば、ＬＣＤディスプレイやＬＣＤプロジェクタなどのホールド型の表示デバイスからなり、積和演算部２６から供給された表示画像信号に基づいて、表示画像を表示する。
【００４９】
ところで、入力画像が動画像である場合、画像生成装置１１には、入力画像の入力画像信号が１フレーム分ずつ順次、供給される。画像生成装置１１に１フレーム分の入力画像信号が供給されると、画像生成装置１１は、供給されたフレームの入力画像信号に基づいて、そのフレームに対応するフレームの表示画像信号を生成し、表示画像を表示する処理である表示処理を開始する。
【００５０】
以下、図２のフローチャートを参照して、画像生成装置１１による表示処理について説明する。
【００５１】
ステップＳ１１において、動きベクトル検出部２１は、入力されたフレームの入力画像（入力画像信号）と、そのフレームの直前のフレームの入力画像とを用いて、表示画像の注目画素と同じ位置にある、入力されたフレームの入力画像上の画素の動きベクトルを検出する。
【００５２】
処理対象のフレーム、つまり新たに入力されたフレームを現フレームと称し、現フレームの時間的に１つ前のフレームを前フレームと称することとすると、動きベクトル検出部２１は、前回、供給された前フレームの入力画像信号を保持している。例えば、動きベクトル検出部２１は、現フレームの入力画像信号、および前フレームの入力画像信号を用いて、ブロックマッチングや勾配法などにより、現フレームの入力画像上における注目画素と同じ位置にある画素の動きベクトルを検出する。そして、動きベクトル検出部２１は、検出された動きベクトルをクラス分類部２３、クラスタップ抽出部２２、および予測タップ抽出部２４に供給する。
【００５３】
ステップＳ１２において、クラス分類部２３は、動きベクトル検出部２１から供給された動きベクトルに基づいて、その動きベクトルの大きさ（絶対値）により定まる動きコードを生成する。この動きコードは、２値データ（ビット値）であり、注目画素をクラス分けするために用いられる。例えば、動きベクトルの大きさの範囲として、０以上８未満、８以上１６未満、１６以上２４未満、および２４以上の範囲と、それらの範囲に対応つけられた動きコード「００」、「０１」、「１０」、および「１１」とが予め定められているとする。この場合、検出された動きベクトルの大きさが「４」であるときには、その動きベクトルの大きさは、０以上８未満の範囲に含まれるので、その範囲に対応付けられた値「００」が動きコードとされる。
【００５４】
なお、動きベクトルの大きさの範囲の数、つまり動きベクトルの大きさの分割数が多いほど、注目画素が分類されるクラス数をより多くすることができる。特に、動画像では、移動物体の動き量が多いほど、動画像に生じる動きぼけ量も多くなるため、動きベクトルの大きさの範囲をより細かく分けるほど、動きぼけ除去の効果を高めることができる。
【００５５】
ステップＳ１３において、クラスタップ抽出部２２は、動きベクトル検出部２１からの動きベクトルと、入力された入力画像信号とに基づいて、入力画像からクラスタップを抽出し、クラス分類部２３に供給する。すなわち、クラスタップ抽出部２２は、前回、供給された前フレームの入力画像信号を保持しており、前フレームおよび現フレームの入力画像信号を用いて、入力画像からクラスタップを抽出する。
【００５６】
例えば、注目画素と同じ位置にある現フレームの入力画像上の画素の時間的または空間的に近傍に位置するいくつかの画素、より詳細にはそれらの画素の画素値がクラスタップとして抽出される。
【００５７】
ステップＳ１４において、クラス分類部２３は、クラスタップ抽出部２２から供給されたクラスタップに、ADRC（Adaptive Dynamic Range Control）処理を施す。このADRC処理は、入力画像の輝度の波形の特徴量を２値データ（ビット値）に変換する処理であり、例えば、クラス分類部２３は、クラスタップに１ビットADRC処理を施す。
【００５８】
すなわち、クラス分類部２３は、クラスタップを構成する画素の画素値の最大値MAXおよび最小値MINを検出し、検出された画素値の最大値MAXと最小値MINとの差ＤＲ（ＤＲ=MAX-MIN）を、クラスタップを構成する画素の集合の局所的なダイナミックレンジとする。クラス分類部２３は、このダイナミックレンジＤＲに基づいて、クラスタップを構成する画素（の画素値）を１ビットに再量子化する。つまり、クラス分類部２３は、クラスタップを構成する各画素の画素値から最小値MINを減算し、その減算値をDR/2で除算（量子化）する。
【００５９】
そして、クラス分類部２３は、以上のようにして得られた、クラスタップを構成する１ビットの各画素の画素値を所定の順番で並べたビット列をADRCコードとする。このADRCコードは、注目画素をクラス分けするために用いられ、入力画像上の注目画素と同じ位置の画素近傍における、輝度の波形の特徴を示している。
【００６０】
ステップＳ１５において、クラス分類部２３は、生成した動きコードと、ADRCコードとに基づいて注目画素のクラス分類を行い、注目画素のクラスを決定する。すなわち、クラス分類部２３は、ADRCコードに動きコードを付加して得られるビット値を、注目画素のクラスを示すクラスコードとし、そのクラスコードを係数保持部２５に供給する。
【００６１】
このように、クラス分類部２３では、入力画像の輝度波形、つまり入力画像における輝度レベルの分布と、動きベクトルの大きさに応じて注目画素のクラス分けが行われる。
【００６２】
クラス分類部２３から係数保持部２５にクラスコードが供給されると、係数保持部２５は、記録している変換係数のうち、供給されたクラスコードにより特定される変換係数を読み出して積和演算部２６に供給する。この変換係数は、入力画像を動きぼけのない表示画像に変換するための係数であり、予め求められて係数保持部２５に記録されている。
【００６３】
例えば、動画像である入力画像を、ホールド型の表示部２７にそのまま表示すると、表示された入力画像を観察する観察者の目には、入力画像上の移動物体がぼけて見える。そこで、画像生成装置１１では、表示部２７に表示された場合に、観察者に、ぼけていない移動物体が表示されているように知覚させる表示画像が生成されるような変換係数が予め用意されて、係数保持部２５に記録されている。
【００６４】
画像生成装置１１では、この変換係数が用いられて、入力画像が、動きぼけのない高品質な表示画像に変換される。この表示画像は、表示画像を表示部２７に表示させたときに、その表示画像を見ている観察者が、表示部２７に入力画像が表示されていると知覚すると予測される画像である。つまり、表示画像が表示部２７に表示されると、観察者には、動きぼけのない入力画像が表示されているように見える。
【００６５】
ステップＳ１６において、予測タップ抽出部２４は、動きベクトル検出部２１からの動きベクトルと、入力された入力画像信号とに基づいて、入力画像から予測タップを抽出し、積和演算部２６に供給する。すなわち、予測タップ抽出部２４は、前回、供給された前フレームの入力画像信号を保持しており、前フレームおよび現フレームの入力画像信号を用いて、入力画像から予測タップを抽出する。例えば、注目画素と同じ位置にある現フレームの入力画像上の画素の時間的または空間的に近傍に位置するいくつかの画素、より詳細にはそれらの画素の画素値が予測タップとして抽出される。
【００６６】
ここで、入力画像から抽出されるクラスタップおよび予測タップは、例えば、図３Ａに示すように、注目画素と同じ位置にある入力画像上の画素の空間的または時間的に近傍に位置する画素とされる。なお、図３Ａにおいて、縦方向は時間を示しており、横方向は各フレームの入力画像における各画素の位置を示している。また、１つの円は、入力画像上の１つの画素を示している。さらに、以下、入力画像上における図中、横方向を水平方向と称し、入力画像上における水平方向と垂直な方向を垂直方向と称するものとする。
【００６７】
図３Ａでは、図中、上側には、横方向に並んだ画素からなる現フレームの入力画像が示されており、図中、下側には、横方向に並んだ画素からなる前フレームの入力画像が示されている。
【００６８】
現フレームの入力画像上の画素のうち、画素Ｇ１１が、表示画像の注目画素と同じ位置の画素であり、画素Ｇ１１の動きベクトルとして、大きさＭＶである動きベクトルｍｖが検出されたとする。この場合、現フレームの入力画像上の画素Ｇ１１、現フレームの入力画像上の動きベクトルｍｖにより定まる画素Ｇ１２、並びに前フレームの入力画像上の動きベクトルｍｖにより定まる画素Ｇ１３および画素Ｇ１４の合計４つの画素がクラスタップとされる。
【００６９】
ここで、画素Ｇ１２は、現フレームの入力画像上において、基準となる画素Ｇ１１から動きベクトルｍｖと反対方向に、動きベクトルｍｖの所定の割合の大きさ、例えば、３／４ＭＶの距離だけ移動した位置にある画素である。
【００７０】
また、画素Ｇ１３は、前フレームの入力画像上において、現フレームの画素Ｇ１１と同じ位置にある画素Ｇ１１’から、動きベクトルｍｖと反対方向に距離ＭＶだけ移動した位置にある画素である。つまり、画素Ｇ１３は、現フレームの入力画像上の画素Ｇ１１に表示される移動物体が、前フレームの入力画像上において表示される画素である。したがって、前フレームの入力画像上において、画素Ｇ１３に表示されていた移動物体が、動きベクトルｍｖに示される方向に、動きベクトルｍｖの大きさＭＶと同じ長さの距離だけ移動し、現フレームの入力画像上では、画素Ｇ１１に表示されていることになる。
【００７１】
さらに、画素Ｇ１４は、前フレームの入力画像上において、画素Ｇ１１と同じ位置にある画素Ｇ１１’から動きベクトルｍｖと反対方向に、動きベクトルｍｖの所定の割合の大きさ、例えば、３／４ＭＶの距離だけ移動した位置にある画素である。
【００７２】
このように、クラスタップ抽出部２２により、現フレームの入力画像上における注目画素と同じ位置にある画素Ｇ１１と、画素Ｇ１１の空間的に近傍にある画素Ｇ１２、並びに画素Ｇ１１と時間的に近傍にある前フレームの入力画像上の画素Ｇ１３および画素Ｇ１４が、クラスタップとして抽出される。
【００７３】
また、予測タップ抽出部２４では、図３Ａ乃至図３Ｃに示すように、クラスタップと同じ画素である画素Ｇ１１乃至画素１４と、それらの画素に隣接する画素とが、予測タップとして抽出される。なお、図３Ｂおよび図３Ｃにおいて、横方向は入力画像上の水平方向を示しており、縦方向は入力画像上の垂直方向を示している。
【００７４】
すなわち、図３Ｂの左側に示すように、現フレームの入力画像上の画素Ｇ１１に上下左右に隣接する画素Ｇ１５−１乃至画素Ｇ１５−４が予測タップとされる。また、図３Ｂの右側に示すように、前フレームの入力画像上の画素Ｇ１３に上下左右に隣接する画素Ｇ１６−１乃至画素Ｇ１６−４が予測タップとされる。
【００７５】
さらに、図３Ｃの左側に示すように、現フレームの入力画像上の画素Ｇ１２に上下左右に隣接する画素Ｇ１７−１乃至画素Ｇ１７−４が予測タップとされ、図３Ｃの右側に示すように、前フレームの入力画像上の画素Ｇ１４に上下左右に隣接する画素Ｇ１８−１乃至画素Ｇ１８−４が予測タップとされる。
【００７６】
このように、予測タップ抽出部２４では、入力画像上における注目画素と同じ位置の空間的または時間的に近傍にある画素Ｇ１１乃至画素Ｇ１８−４の合計２０の画素が予測タップとして抽出される。
【００７７】
図２のフローチャートの説明に戻り、ステップＳ１７において、積和演算部２６は、予測タップ抽出部２４からの予測タップを構成する画素の画素値に、係数保持部２５からの変換係数を乗算して線形結合し、注目画素の画素値を予測演算する。
【００７８】
ステップＳ１８において、画像生成装置１１は、表示画像の全ての画素について予測演算を行ったか否かを判定する。すなわち、表示画像の全ての画素が注目画素とされて、それらの画素の画素値が求められた場合、全ての画素について予測演算を行ったと判定される。
【００７９】
ステップＳ１８において、まだ全ての画素について予測演算を行っていないと判定された場合、処理はステップＳ１１に戻り、上述した処理が繰り返される。すなわち、表示画像のまだ注目画素とされていない画素が新たな注目画素とされ、その注目画素の画素値が求められる。
【００８０】
一方、ステップＳ１８において、全ての画素について予測演算を行ったと判定された場合、積和演算部２６は、求められた表示画像の各画素の画素値から、表示画像の表示画像信号を生成して表示部２７に供給し、処理はステップＳ１９に進む。
【００８１】
ステップＳ１９において、表示部２７は、積和演算部２６から供給された表示画像信号に基づいて、表示画像を表示して表示処理は終了する。これにより、表示部２７には、１フレーム分の表示画像が表示される。その後、繰り返し表示処理が行われて、各フレームの表示画像が、順次、表示される。
【００８２】
このようにして、画像生成装置１１は、入力画像の動きベクトルに応じて入力画像からクラスタップを抽出し、クラスタップおよび動きベクトルから注目画素のクラス分類を行う。そして、画像生成装置１１は、クラス分類の結果により定まる変換係数と、入力画像から動きベクトルに応じて抽出された予測タップとを用いて注目画素の画素値を予測演算し、表示画像を求める。
【００８３】
このように、動きベクトルに応じて入力画像から抽出された予測タップと、動きベクトルを用いて決められたクラスごとの変換係数とを用いて表示画像を生成することで、観察者に動きぼけを知覚させない画像を簡単な処理で生成し、表示することができる。つまり、より簡単に画像の画質の劣化を改善することができる。
【００８４】
次に、図１の積和演算部２６における予測演算と、係数保持部２５に記録された変換係数の学習について説明する。
【００８５】
例えば、クラス分類適応処理として、入力画像信号から予測タップを抽出し、その予測タップと変換係数とを用いて、表示画像の画素（以下、適宜、高画質画素と称する）の画素値を所定の予測演算によって求める（予測する）ことを考える。
【００８６】
所定の予測演算として、例えば、線形１次予測演算を採用することとすると、高画質画素の画素値ｙは、式（１）に示す線形１次式によって求められることになる。
【００８７】
【数１】
【００８８】
但し、式（１）において、ｘiは、高画質画素の画素値ｙについての予測タップを構成する、ｉ番目の入力画像信号の画素（以下、適宜、低画質画素と称する）の画素値を表し、ｗiは、ｉ番目の低画質画素（の画素値）と乗算されるｉ番目の変換係数を表す。なお、式（１）では、予測タップがＮ個の低画質画素ｘ1，ｘ2，・・・，ｘNで構成されるものとしてある。
【００８９】
ここで、高画質画素の画素値ｙは、式（１）に示した線形１次式ではなく、２次以上の高次の線形関数の式によって求めるようにすることも可能である。また、線形関数に限らず、非線形関数によって高画質画素の画素値を求めるようにしてもよい。
【００９０】
いま、第ｊサンプルの高画質画素の画素値の真値をｙjと表すとともに、式（１）によって得られるその真値ｙjの予測値をｙj'と表すと、その予測誤差ｅjは、次式（２）で表される。
【００９１】
【数２】
【００９２】
いま、式（２）の予測値ｙj'は、式（１）にしたがって求められるため、式（２）のｙj'を、式（１）にしたがって置き換えると、次式（３）が得られる。
【００９３】
【数３】
【００９４】
但し、式（３）において、ｘj,iは、第ｊサンプルの高画質画素についての予測タップを構成するi番目の低画質画素を表す。
【００９５】
式（３）（または式（２））の予測誤差ｅjを０とする変換係数ｗiが、高画質画素を予測するのに最適なものとなるが、すべての高画質画素について、そのような変換係数ｗiを求めることは、一般には困難である。
【００９６】
そこで、変換係数ｗiが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適な変換係数ｗiは、次式（４）で表される自乗誤差の総和Ｅを最小にすることで求めることができる。
【００９７】
【数４】
【００９８】
但し、式（４）において、Ｊは、高画質画素ｙjと、その高画質画素ｙjについての予測タップを構成する低画質画素ｘj,1，ｘj,2，・・・，ｘj,Nとのセットのサンプル数（学習用のサンプルの数）を表す。
【００９９】
式（４）の自乗誤差の総和Ｅの最小値（極小値）は、式（５）に示すように、総和Ｅを変換係数ｗiで偏微分したものを０とするｗiによって与えられる。
【０１００】
【数５】
【０１０１】
一方、上述の式（３）を変換係数ｗiで偏微分すると、次式（６）が得られる。
【０１０２】
【数６】
【０１０３】
式（５）および式（６）から、次式（７）が得られる。
【０１０４】
【数７】
【０１０５】
式（７）のｅjに、式（３）を代入することにより、式（７）は、式（８）に示す正規方程式で表すことができる。
【０１０６】
【数８】
【０１０７】
式（８）の正規方程式は、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、変換係数ｗiについて解くことができる。
【０１０８】
式（８）の正規方程式を、クラスごとに立てて解くことにより、最適な変換係数ｗi（ここでは、自乗誤差の総和Ｅを最小にする変換係数ｗi）を、クラスごとに求めることができる。つまり、注目画素のクラスごとに、統計的に最も真値に近い、注目画素の輝度レベル（画素値）を推定することのできる変換係数ｗiが得られる。
【０１０９】
図１の積和演算部２６では、以上のようなクラスごとの変換係数ｗiを用いて、式（１）の演算を行うことにより、入力画像信号から、表示画像信号を得ることができる。
【０１１０】
次に、図４は、式（８）の正規方程式をクラスごとに立てて解くことにより変換係数ｗiを求める学習を行う学習装置の構成例を示している。
【０１１１】
学習装置７１は、注目画素抽出部８１、生徒画像生成部８２、動きベクトル検出部８３、クラスタップ抽出部８４、クラス分類部８５、予測タップ抽出部８６、演算部８７、および係数生成部８８から構成される。
【０１１２】
この学習装置７１の注目画素抽出部８１および生徒画像生成部８２には、変換係数を求めるために用いられる教師画像の教師画像信号として、入力画像信号が供給される。ここで教師画像とは、学習処理において用いられる画像のうち、変換係数を用いて最終的に求められるべき画像のサンプル、つまり高画質画素ｙjからなる画像をいう。また、学習処理において、教師画像を求めるために用いられる画像のサンプル、つまり低画質画素からなる画像を、生徒画像と称する。したがって、教師画像および生徒画像は、画像生成装置１１における表示画像および入力画像に相当する。
【０１１３】
注目画素抽出部８１は、供給された教師画像信号に基づく教師画像上の画素を、順次、注目する画素である注目画素として、教師画像信号から注目画素、より詳細には注目画素の画素値を抽出して演算部８７に供給する。
【０１１４】
生徒画像生成部８２は、供給された教師画像信号を用いて、変換係数を求めるために用いられ、教師画像信号に基づく教師画像よりも低品質な画像である生徒画像の生徒画像信号を生成し、動きベクトル検出部８３、クラスタップ抽出部８４、および予測タップ抽出部８６に供給する。
【０１１５】
例えば、生徒画像として、入力画像に動きぼけが生じた画像である視覚画像が生成される。視覚画像とは、表示部２７に、前フレームの入力画像が表示された後、現フレームの入力画像が表示される場合に、前フレームの入力画像が表示されてから現フレームの入力画像が表示されるまでの間、表示部２７を観察していた観察者の目に見える画像をいう。すなわち、入力画像が表示部２７に、そのまま表示された場合に、表示部２７の特性によって、入力画像を観察する観察者が知覚すると予測される画像が視覚画像である。
【０１１６】
動きベクトル検出部８３は、生徒画像生成部８２からの生徒画像信号に基づいて、生徒画像から動きベクトルを検出し、クラス分類部８５、クラスタップ抽出部８４、および予測タップ抽出部８６に供給する。
【０１１７】
クラスタップ抽出部８４は、教師画像における注目画素との対応をとりながら、動きベクトル検出部８３からの動きベクトルを用いて、生徒画像生成部８２からの生徒画像信号から、生徒画像上の画素のうちのいくつかをクラスタップとして抽出する。そして、クラスタップ抽出部８４は、抽出したクラスタップをクラス分類部８５に供給する。
【０１１８】
クラス分類部８５は、動きベクトル検出部８３からの動きベクトルと、クラスタップ抽出部８４からのクラスタップとを用いて、注目画素をクラス分類し、分類されたクラスを示すクラスコードを演算部８７に供給する。
【０１１９】
予測タップ抽出部８６は、教師画像における注目画素との対応をとりながら、動きベクトル検出部８３からの動きベクトルを用いて、生徒画像生成部８２からの生徒画像信号から、生徒画像上の画素のうちのいくつかを予測タップとして抽出する。予測タップ抽出部８６は、抽出した予測タップを演算部８７に供給する。
【０１２０】
演算部８７は、注目画素抽出部８１から供給された注目画素と、予測タップ抽出部８６から供給された予測タップとの対応をとりながら、注目画素と予測タップを構成する画素とを対象とした足し込みを、クラス分類部８５からのクラスコードにしたがって行う。
【０１２１】
すなわち、演算部８７には、教師画像データの注目画素の画素値ｙj、予測タップ（を構成する生徒画像信号の画素の画素値）ｘj,i、注目画素のクラスを表すクラスコードが供給される。
【０１２２】
そして、演算部８７はクラスコードに対応するクラスごとに、予測タップ（生徒画像信号）ｘj,iを用い、式（８）の左辺の行列における生徒画像信号どうしの乗算（ｘj,iｘj,i）、およびその乗算された値の総和の演算に相当する演算を行う。
【０１２３】
さらに、演算部８７は、クラスコードに対応するクラスごとに、予測タップ（生徒画像信号）ｘj,iおよび教師画像信号ｙjを用い、式（８）の右辺のベクトルにおける生徒画像信号ｘj,iおよび教師画像信号ｙjの乗算（ｘj,iｙj）、並びにその乗算された値の総和の演算に相当する演算を行う。
【０１２４】
すなわち、演算部８７は、前回、注目画素とされた教師画像信号について求められた式（８）における左辺の行列のコンポーネント（Σｘj,iｘj,i）と、右辺のベクトルのコンポーネント（Σｘj,iｙj）を記憶しており、その行列のコンポーネント（Σｘj,iｘj,i）またはベクトルのコンポーネント（Σｘj,iｙj）に対して、新たに注目画素とされた教師画像信号について、その教師画像信号ｙj+1および生徒画像信号ｘj+1,iを用いて計算される、対応するコンポーネントｘj+1,iｘj+1,iまたはｘj+1,iｙj+1を足し込む（式（８）のΣで表される加算を行う）。
【０１２５】
そして、演算部８７は、教師画像信号の全ての画素を注目画素として、上述の足し込みを行うことにより、各クラスについて、式（８）に示した正規方程式を立てる（生成する）と、その正規方程式を係数生成部８８に供給する。
【０１２６】
係数生成部８８は、演算部８７による足し込みによって得られた、各クラスについての正規方程式（のマトリクス係数）を解くことにより、各クラスについて、最適な変換係数ｗiを求めて記録する。
【０１２７】
次に、図５は、図４の生徒画像生成部８２のより詳細な構成例を示すブロック図である。
【０１２８】
生徒画像生成部８２は、動きベクトル検出部１１１、動き補償部１１２、応答モデル保持部１１３、動き補償部１１４、および積分部１１５から構成される。
【０１２９】
動きベクトル検出部１１１は、供給された教師画像から動きベクトルを検出して動き補償部１１２および動き補償部１１４に供給する。
【０１３０】
動き補償部１２２は、供給された教師画像、および動きベクトル検出部１１１から供給された動きベクトルを用いて動き補償を行い、供給された教師画像としての入力画像の時間的に１つ前のフレームの入力画像に相当（対応）する画像である過去画像を生成する。そして、動き補償部１１２は、教師画像および生成した過去画像を応答モデル保持部１１３に供給する。
【０１３１】
ここで、過去画像とは、供給された教師画像としての入力画像上において動きのある移動物体を、その移動物体の動きベクトルにより示される方向と逆方向に移動させることにより生成される、供給された入力画像の１フレーム前の入力画像と等価な画像をいう。
【０１３２】
応答モデル保持部１１３は、画像生成装置１１の表示部２７の発光特性を示すモデル、例えば表示部２７の表示画面を構成する画素の輝度値を、所定の輝度値から異なる輝度値に変化させたときの輝度値の時間的な変化を示す応答モデルを予め保持している。この表示部２７の応答モデルは、例えば表示部２７がLCDにより構成される場合にはLCDの応答モデルとされ、表示部２７に各画素の輝度値が最も低い黒い画像を表示させた後、最も輝度値が高い白い画像を表示させて、そのときの各画素の輝度値の時間的な変化を高速カメラや光プローブを用いて計測することにより生成される。
【０１３３】
また、応答モデル保持部１１３は、保持している応答モデルと、動き補償部１１２から供給された教師画像および過去画像とを用いて、表示部２７に過去画像が表示され、その後、教師画像としての入力画像が表示された場合に、その表示が切り替わるときに表示部２７に表示される過渡的な画像である遷移画像を生成する。そして、応答モデル保持部１１３は、動き補償部１１２から供給された教師画像および過去画像と、生成した遷移画像とを動き補償部１１４に供給する。
【０１３４】
例えば、表示部２７に過去画像が表示された後、入力画像（教師画像）が表示されたとすると、表示部２７に表示される画像、つまり表示部２７の表示画面を構成する各画素の輝度値は、応答モデルにより示される輝度値の変化にしたがって、過去画像を表示するときの輝度値から、徐々に入力画像を表示するときの輝度値に変化する。
【０１３５】
このとき、表示部２７に表示される画像が過去画像から入力画像に切り替わるまでの間の所定の時刻において、表示部２７に表示されている画像が遷移画像とされ、応答モデル保持部１１３は、予め定められたいくつかの時刻の遷移画像、例えば１６枚の遷移画像を生成する。換言すれば、遷移画像は、過去画像のフレームと、入力画像のフレームとの間のフレームにおいて表示される画像ということができる。
【０１３６】
動き補償部１１４は、動きベクトル検出部１１１から供給された動きベクトルと、応答モデル保持部１１３から供給された教師画像、過去画像、および遷移画像とを用いて動き補償を行い、追従画素の画素値を求めて積分部１１５に供給する。
【０１３７】
ここで、追従画素について説明する。表示部２７に過去画像が表示された後、教師画像としての入力画像が表示される場合に、過去画像が表示されてから入力画像が表示されるまでの間、表示部２７を観察していた観察者に知覚される画像である視覚画像は、過去画像、遷移画像、および入力画像を平均した画像とされる。
【０１３８】
すなわち、例えば、表示画面上を移動物体が所定の方向に移動する画像が表示部２７に表示される場合、観察者は移動物体を目で追うので、過去画像、遷移画像、および入力画像のそれぞれの画像上における移動物体の所定の部分が表示される画素の輝度値の平均値、より詳細には、各画像上の観察者が目で追った画素の輝度値の平均値が、その移動物体の所定の部分が表示される視覚画像上の画素の輝度値となる。
【０１３９】
そこで、以下の説明では、視覚画像上の所定の画素の輝度値（画素値）を求めるための平均値の計算の対象となる過去画像、遷移画像、および入力画像の画素、つまり観察者が目で追うと予測される画素のそれぞれを追従画素と呼ぶこととする。したがって、動き補償部１１４は、視覚画像上の各画素について、過去画像、遷移画像、および入力画像の追従画素のそれぞれの輝度値で発光させるための画素値のそれぞれを求めて、求められた画素値を追従画素の画素値として積分部１１５に供給する。
【０１４０】
積分部１１５は、動き補償部１１４から供給された追従画素の画素値を積分することにより視覚画像を生成し、生成した視覚画像を生徒画像として動きベクトル検出部８３、クラスタップ抽出部８４、および予測タップ抽出部８６に供給する。すなわち、積分部１１５は視覚画像の画素ごとに、その画素に対応する追従画素の画素値の平均値を求めて視覚画像の画素の画素値とすることにより、視覚画像、より詳細には視覚画像信号を生成する。
【０１４１】
ところで、学習装置７１には、画像生成装置１１に供給される入力画像信号と同じ入力画像信号、つまり被写体を撮影して得られる、特に処理の施されていない入力画像信号が、教師画像信号として１フレーム分ずつ、少なくとも２フレーム分、供給される。学習装置７１に教師画像信号が供給されると、学習装置７１は、供給された教師画像信号を用いて生徒画像信号を生成し、教師画像信号および生徒画像信号から変換係数を求める学習処理を開始する。
【０１４２】
以下、図６のフローチャートを参照して、学習装置７１による学習処理について説明する。
【０１４３】
ステップＳ４１において、生徒画像生成部８２は、供給された教師画像信号に基づいて、生徒画像生成処理を行い、生徒画像としての視覚画像を生成し、動きベクトル検出部８３、クラスタップ抽出部８４、および予測タップ抽出部８６に供給する。なお、生徒画像生成処理の詳細は後述する。
【０１４４】
ステップＳ４２において、注目画素抽出部８１は、供給された教師画像信号に基づく教師画像上の画素を注目画素とし、教師画像信号から注目画素、より詳細には注目画素の画素値を抽出する。注目画素抽出部８１は、抽出した注目画素を演算部８７に供給する。
【０１４５】
ステップＳ４３において、動きベクトル検出部８３は、生徒画像生成部８２から供給されたフレームの生徒画像（生徒画像信号）と、そのフレームの直前のフレームの生徒画像とを用いて、注目画素と同じ位置にある、生徒画像生成部８２から供給されたフレームの生徒画像上の画素の動きベクトルを検出する。
【０１４６】
今回、処理の対象となるフレームを現フレームと称し、現フレームの時間的に１つ前のフレームを前フレームと称することとすると、動きベクトル検出部８３は、前回、供給された前フレームの生徒画像信号を保持している。例えば、動きベクトル検出部８３は、現フレームの生徒画像像信号、および前フレームの生徒画像信号を用いて、ブロックマッチングや勾配法などにより、現フレームの生徒画像上における注目画素と同じ位置にある画素の動きベクトルを検出する。そして、動きベクトル検出部８３は、検出された動きベクトルをクラス分類部８５、クラスタップ抽出部８４、および予測タップ抽出部８６に供給する。
【０１４７】
ステップＳ４４において、クラス分類部８５は、動きベクトル検出部８３から供給された動きベクトルに基づいて、その動きベクトルの大きさ（絶対値）により定まる動きコードを生成する。この動きコードは、２値データ（ビット値）であり、注目画素をクラス分けするために用いられる。
【０１４８】
ステップＳ４５において、クラスタップ抽出部８４は、教師画像における注目画素との対応をとりながら、動きベクトル検出部８３からの動きベクトルと、生徒画像生成部８２からの生徒画像信号とに基づいて、生徒画像からクラスタップを抽出し、クラス分類部８５に供給する。すなわち、クラスタップ抽出部８４は、前フレームの生徒画像信号を保持しており、前フレームおよび現フレームの生徒画像信号を用いて、注目画素と同じ位置にある現フレームの生徒画像上の画素の時間的または空間的に近傍に位置するいくつかの画素、より詳細にはそれらの画素の画素値をクラスタップとして抽出する。
【０１４９】
例えば、クラスタップ抽出部８４は、生徒画像上において、注目画素に対して、クラスタップ抽出部２２により入力画像から抽出されるクラスタップと同じ位置関係にある画素を、クラスタップとして抽出する。すなわち、図３Ａに示した現フレームおよび前フレームの画像が生徒画像であり、画素Ｇ１１が教師画像の注目画素と同じ位置にある画素であるとすると、画素Ｇ１１乃至画素Ｇ１４がクラスタップとして抽出される。
【０１５０】
ステップＳ４６において、クラス分類部８５は、クラスタップ抽出部８４から供給されたクラスタップに、ADRC処理を施す。
【０１５１】
ステップＳ４７において、クラス分類部８５は、生成した動きコードと、ADRC処理の結果得られたADRCコードとに基づいて、注目画素のクラス分類を行って注目画素のクラスを決定し、決定されたクラスを示すクラスコードを演算部８７に供給する。
【０１５２】
ステップＳ４８において、予測タップ抽出部８６は、動きベクトル検出部８３からの動きベクトルと、生徒画像生成部８２からの生徒画像信号とに基づいて、生徒画像から予測タップを抽出し、演算部８７に供給する。すなわち、予測タップ抽出部８６は、前フレームの生徒画像信号を保持しており、前フレームおよび現フレームの生徒画像信号を用いて、注目画素と同じ位置にある現フレームの生徒画像上の画素の時間的または空間的に近傍に位置するいくつかの画素、より詳細にはそれらの画素の画素値を予測タップとして抽出する。
【０１５３】
例えば、予測タップ抽出部８６は、生徒画像上において、注目画素に対して、予測タップ抽出部２４により入力画像から抽出される予測タップと同じ位置関係にある画素を、予測タップとして抽出する。すなわち、図３Ａに示した現フレームおよび前フレームの画像が生徒画像であり、画素Ｇ１１が教師画像の注目画素と同じ位置にある画素であるとすると、画素Ｇ１１乃至画素Ｇ１８−４が予測タップとして抽出される。
【０１５４】
ステップＳ４９において、演算部８７は、注目画素抽出部８１から供給された注目画素と、予測タップ抽出部８６からの予測タップとの対応をとりながら、注目画素と予測タップを構成する画素とを対象として、クラス分類部８５からのクラスコードに対応するクラスについて立てられた式（８）により示される正規方程式への足し込みを行う。
【０１５５】
ステップＳ５０において、演算部８７は全ての画素について足し込みを行ったか否かを判定する。例えば、現フレームの教師画像上の全ての画素が注目画素とされて足し込みが行われた場合、全ての画素について足し込みを行ったと判定される。
【０１５６】
ステップＳ５０において、全ての画素について足し込みを行っていないと判定された場合、処理はステップＳ４２に戻り、上述した処理が繰り返される。すなわち、教師画像のまだ注目画素とされていない画素が新たな注目画素とされて、足し込みが行われる。
【０１５７】
これに対して、ステップＳ５０において、全ての画素について足し込みを行ったと判定された場合、演算部８７は、各クラスについて立てた正規方程式を係数生成部８８に供給して、処理はステップＳ５１に進む。
【０１５８】
ステップＳ５１において、係数生成部８８は、演算部８７から供給されたクラスごとの正規方程式を、例えば、掃き出し法によって解くことにより各クラスの変換係数ｗｉを求めて記録する。これにより、各クラスの注目画素の画素値を予測するために用いられる変換係数ｗｉが求められる。このようにして求められた変換係数は、画像生成装置１１の係数保持部２５に記録されて、表示画像の生成に用いられる。
【０１５９】
このようにして、学習装置７１は、教師画像としての入力画像から、視覚画像を生徒画像として生成し、教師画像および生徒画像を用いて変換係数を求める。
【０１６０】
このように、入力画像を教師画像とし、視覚画像を生徒画像として学習により変換係数を求めることで、より簡単な処理で、入力画像をより高品質な表示画像に変換するための変換係数を求めることができる。このようにして求められた変換係数を用いれば、入力画像を、より高品質な表示画像に変換して表示することができ、その結果、より簡単に画像の画質の劣化を改善することができるようになる。
【０１６１】
なお、以上においては、１フレーム分の教師画像の画素が注目画素とされて変換係数が求められる例について説明したが、複数フレームの教師画像が用いられて変換係数が求められるようにしてもよい。そのような場合、各フレームの教師画像の画素が注目画素とされて、クラスごとに正規方程式が立てられる。
【０１６２】
次に、図７のフローチャートを参照して、図６のステップＳ４１の処理に対応する処理である生徒画像生成処理について説明する。
【０１６３】
ステップＳ８１において、動きベクトル検出部１１１は供給された教師画像を用いて、例えばブロックマッチングや勾配法などにより動きベクトルを検出し、動き補償部１１２および動き補償部１１４に供給する。例えば、動きベクトル検出部１１１は、前フレームの教師画像と、今回、新たに供給された現フレームの教師画像とを用いて、現フレームの教師画像の各画素の動きベクトルを検出する。
【０１６４】
ステップＳ８２において、動き補償部１１２は、供給された教師画像、および動きベクトル検出部１１１から供給された動きベクトルに基づいて、例えば、バイキュービックフィルタを用いて画素以下の精度で動き補償を行い、過去画像を生成する。そして、動き補償部１１２は、供給された教師画像、および生成した過去画像を応答モデル保持部１１３に供給する。
【０１６５】
例えば、図８Ａに示すように、前回供給された前フレームの教師画像と、今回、新たに供給された現フレームの教師画像との間で、教師画像上の移動物体ＯＢ１の動き、つまり移動物体ＯＢ１の動きベクトルＭＶ１が検出された場合、図８Ｂに示すように、現フレームの教師画像上の移動物体ＯＢ１を、検出された動きと逆方向に移動させて過去画像を生成する。
【０１６６】
なお、図８Ａおよび図８Ｂにおいて、縦方向は時間を示しており、横方向は空間方向、すなわち画像上の位置を示している。また、図中、１つの円は、１つの画素を表している。
【０１６７】
図８Ａでは、図中、上側の画素の列は、前フレームの教師画像（入力画像）を表しており、下側の画素の列は現フレームの教師画像（入力画像）を表している。さらに、前フレームおよび現フレームの教師画像上の黒い画素（黒い円）が横方向に並べられている領域は、教師画像上を移動する移動物体ＯＢ１を表しており、移動物体ＯＢ１は、時間とともに図中、左方向に移動している。
【０１６８】
したがって、動きベクトル検出部１１１により、図中の矢印により表される移動物体ＯＢ１の動きベクトルＭＶ１が検出される。例えば、動きベクトルＭＶ１は、左方向に向かう大きさがＭＶ１のベクトルとされる。
【０１６９】
移動物体ＯＢ１の動きが検出されると、動き補償部１１２は、図８Ｂに示すように、現フレームの教師画像と、検出された動きベクトルＭＶ１とから過去画像を生成する。ここで、図中、上側の画素の列は、生成された過去画像を表しており、下側の画素の列は現フレームの教師画像を表している。
【０１７０】
動き補償部１１２は、図中の矢印により示されるように、現フレームの教師画像上において動きが検出された画素、つまり移動物体ＯＢ１を、検出された動きベクトルＭＶ１と反対方向に、動きベクトルＭＶ１の大きさだけ移動させることにより過去画像を生成する。これにより、前フレームの教師画像（入力画像）とほぼ同じ画像が過去画像として生成される。
【０１７１】
なお、前フレームの教師画像を、そのまま過去画像としてもよいが、動き補償により過去画像を生成すると、移動物体の画素以下の動きやノイズ成分によるフレーム間差分が出ないため、動き補償により過去画像を生成するのが望ましい。また、動きベクトルの検出に、時間的に１つ前のフレームだけでなく、時間的に２つ前のフレームの教師画像も用いるようにしてもよい。
【０１７２】
図７のフローチャートの説明に戻り、ステップＳ８３において、応答モデル保持部１１３は、予め保持している応答モデルと、動き補償部１１２から供給された教師画像および過去画像とを用いて遷移画像を生成する。また、応答モデル保持部１１３は、動き補償部１１２から供給された教師画像および過去画像と、生成した遷移画像とを動き補償部１１４に供給する。
【０１７３】
例えば、応答モデル保持部１１３は、図９に示す応答モデルを保持している。ここで、図９の応答モデルは、表示部２７としてのLCDの応答特性を示している。また、図において縦軸はLCDの１つの画素の輝度値を示し、横軸は時間を示している。
【０１７４】
曲線Ｌ７１は、画素の輝度値を９８から０に変化させたときの輝度値の時間的な変化を示しており、０ms以降、つまり輝度値を変化させた後は、その輝度値がほぼ直線状に減少している。また、曲線Ｌ７２は、曲線Ｌ７１を反転させたもの、つまり曲線Ｌ７２は、輝度値が５０である横方向の直線を軸として、その軸に関して曲線Ｌ７１と対称な曲線となっている。
【０１７５】
さらに、曲線Ｌ７３は、画素の輝度値を０から９８に変化させたときの輝度値の時間的な変化を示しており、０ms以降、つまり輝度値を変化させた後は、その輝度値が徐々に増加している。特に、曲線Ｌ７３においては、０msから５msまでの区間で輝度値が急激に増加している。
【０１７６】
例えば、応答モデル保持部１１３は、各時間にける曲線Ｌ７２上の輝度値と曲線Ｌ７３上の輝度値とを足して２で除算して得られる輝度値を各時間の輝度値とする曲線、つまり曲線Ｌ７２および曲線Ｌ７３を平均して得られる曲線と、曲線Ｌ７１とを表示部２７の応答モデルとして用いる。
【０１７７】
応答モデル保持部１１３は、このような応答モデルを用いて遷移画像を生成する。例えば、現フレームの教師画像から図８の過去画像が生成されたとすると、図１０に示すように、過去画像と現フレームの教師画像との間の遷移画像が生成される。なお、図１０において、縦方向は時間を示しており、横方向は空間方向、すなわち画像上の位置を示している。また、図中、１つの円は、１つの画素を表している。
【０１７８】
図１０では、最も上側の画素の列、つまり横方向に並べられた画素の列は、過去画像を表しており、最も下側の画素の列は現フレームの教師画像を表している。また、過去画像と教師画像との間の横方向の画素の列のそれぞれは、生成された遷移画像を表しており、図１０の例においては、１５枚の遷移画像が生成されている。
【０１７９】
すなわち、前フレームの教師画像に相当する過去画像と、現フレームの教師画像との間のフレーム（位相）の画像として、１５フレーム分の遷移画像が生成されて補間されている。また、図中、より上側に位置する画素の列で表される遷移画像は、時間的により前、つまりより前フレームに近いフレーム（位相）の遷移画像とされている。
【０１８０】
また、図中、縦方向に並べられている画素は、過去画像、遷移画像、および教師画像（入力画像）において、同じ位置にある画素とされる。
【０１８１】
例えば、区間Ａ７１においては、過去画像上の画素は輝度値が高く、教師画像上の画素は輝度値が低くなっている。換言すれば、過去画像上の区間Ａ７１内の画素は白い画素（明るい画素）であり、教師画像上の区間Ａ７１内の画素は黒い画素（暗い画素）であるので、区間Ａ７１内の遷移画像の画素の輝度値は、時間とともに低くなっている。つまり、区間Ａ７１においては、時間的により現フレームに近いフレームの遷移画像（図中、より下側にある遷移画像）上の画素ほど輝度値が低くなっている。
【０１８２】
また、区間Ａ７２においては、過去画像上の画素と、教師画像上の画素とは、同じ輝度値となっているので、区間Ａ７２内の遷移画像の画素の輝度値は、時間によらず一定である。つまり、区間Ａ７２においては、どのフレームの遷移画像上の画素も教師画像の画素と同じ輝度値となっている。
【０１８３】
さらに、区間Ａ７３においては、過去画像上の画素は輝度値が低く、教師画像上の画素は輝度値が高くなっている。つまり、区間Ａ７３においては、時間的により現フレームに近いフレームの遷移画像（図中、より下側にある遷移画像）上の画素ほど輝度値が高くなっている。
【０１８４】
このように、教師画像と過去画像の同じ位置にある画素の輝度値が異なる場合、すなわち教師画像上の画素の輝度値が時間とともに変化する場合、応答モデルにより示される輝度値の時間的な変化したがって、遷移画像上の対応する位置の画素の輝度値が定められる。
【０１８５】
例えば、応答モデル保持部１１３が図９に示した応答モデルを保持しており、前フレームの画像に相当する過去画像の表示時刻から、現フレームの教師画像の表示時刻までの時間が２４msである場合、教師画像上の所定の位置の画素の輝度値が０であり、過去画像上の対応する位置の画素の輝度値が９８であるとき、前フレームと現フレームとの中間のフレーム、つまり前フレームの画像の表示時刻から１２ms後の時刻を表示時刻とするフレームの遷移画像における、教師画像の画素と対応する位置の画素の画素値は、輝度値が３０となるような画素値とされる。
【０１８６】
なお、図１０の例では、１５枚の遷移画像が生成されて、１フレームが１６分割されているが、４分割とされてもよいし、６４分割とされてもよい。ここで、１フレームをより大きい数に分割すると、より精度のよい視覚画像を得ることができる。
【０１８７】
図７のフローチャートの説明に戻り、ステップＳ８４において、動き補償部１１４は、動きベクトル検出部１１１から供給された動きベクトルと、応答モデル保持部１１３から供給された教師画像、過去画像、および遷移画像とを用いて、バイキュービックフィルタなどにより画素以下の精度で動き補償を行い、追従画素の画素値を算出する。
【０１８８】
すなわち、動き補償部１１４は、動きベクトル検出部１１１から供給された動きベクトルを用いて画素以下の精度で動き補償を行い、応答モデル保持部１１３から供給された教師画像、過去画像、および遷移画像のそれぞれに対する追従画素の画素値を算出する。動き補償部１１４は、視覚画像（この視覚画像は、これから求めようとする画像であり、現段階では存在しないため仮想的に想定される）の全ての画素について、追従画素の画素値を算出すると、算出した追従画素の画素値を積分部１１５に供給する。
【０１８９】
一般に、人間の目は、フレームの中間の位相を追っていることが経験的に知られている。換言すれば、１つのフレームの画像と、次のフレームの画像とが順番に表示されたとき、最初のフレームの画像が表示された時刻と、次のフレームの画像が表示された時刻との中間の時刻に表示される仮想的なフレームを中間フレームと呼ぶとすると、人間の目は、その中間フレームの画像を自分自身が見ている画像、すなわち視覚画像であると知覚する。
【０１９０】
また、観察者は、画像上の移動物体を目で追うので、観察者の視線の移動する方向と、画像上の移動物体の動きベクトルの方向とは同じ方向となる。したがって、現フレームの教師画像の動きベクトルを用いれば、過去画像上および遷移画像上の観察者が目で追うと推定される画素を特定することができ、それらの画素を追従画素として視覚画像を生成することができる。
【０１９１】
例えば、図１０に示した遷移画像が生成された場合、図１１に示すように、動きベクトルを用いた動き補償により、視覚画像の画素ごとの追従画素が求められる。なお、図１１において、縦方向は時間を示しており、横方向は空間方向、すなわち画像上の位置を示している。また、図中、１つの円は、１つの画素を表している。さらに、図１１において、図１０における場合と対応する部分には同一の符号を付してあり、その説明は省略する。
【０１９２】
図１１では、最も上側の画素の横方向の列は、過去画像を表しており、最も下側の画素の横方向の列は現フレームの教師画像を表している。また、過去画像と教師画像との間の画素の横方向の列のそれぞれは、生成された遷移画像を表している。
【０１９３】
例えば、遷移画像上の画素Ｇ５１と同じ位置にある視覚画像上の画素の画素値を算出する場合を考える。ここで、画素Ｇ５１が含まれる遷移画像は、過去画像と教師画像との中間の位相の遷移画像である。また、過去画像の画素Ｇ５２により表示されていた移動物体の部分が、教師画像では、画素Ｇ５３により表示されるものとする。また、画素Ｇ５３の動きベクトル上、すなわち観察者の視線の移動の軌跡を示す、画素Ｇ５２と画素Ｇ５３とを結ぶ直線上に位置する画素（観察者が目で追う画素）が、画素Ｇ５１を含む領域Ｒ１１内の画素であるとする。
【０１９４】
図１１の例では、過去画像、各遷移画像、および教師画像のそれぞれにおいて、領域Ｒ１１内に位置する各画像上の画素の数は、１つずつとなっている。
【０１９５】
この場合、領域Ｒ１１内の画素は、観察者が目で追う画素であるので、領域１１内に位置する画素が、画素Ｇ５１と同じ位置にある視覚画像上の画素に対する追従画素とされる。したがって、過去画像、遷移画像、および教師画像における領域Ｒ１１内の画素の画素値のそれぞれの平均値を求めることにより、視覚画像の画素の画素値が求められる。
【０１９６】
なお、各画像において、領域Ｒ１１内に位置する画素の数が必ずしも１つとなるとは限らないため、実際には、各画像についての追従画素の画素値は、画素以下の精度での動き補償により求められる。つまり、領域Ｒ１１近傍のいくつかの画素の画素値から、追従画素の画素値が求められる。
【０１９７】
図７のフローチャートの説明に戻り、視覚画像の各画素について、追従画素の画素値が算出されると、ステップＳ８５において、積分部１１５は、動き補償部１１４から供給された追従画素の画素値を積分することにより、視覚画像を生成する。そして、積分部１１５は、生成した視覚画像（視覚画像信号）を生徒画像として動きベクトル検出部８３、クラスタップ抽出部８４、および予測タップ抽出部８６に供給して生徒画像生成処理は終了し、処理は図６のステップＳ４２に進む。
【０１９８】
例えば、積分部１１５は、視覚画像上の１つの画素について、その画素に対する過去画像、各遷移画像、および入力画像の追従画素の画素値のそれぞれの平均値を算出し、算出された平均値を視覚画像の画素の画素値とする。積分部１１５は、このようにして視覚画像上の各画素の画素値を算出し、視覚画像を生成する。
【０１９９】
このようにして、生徒画像生成部８２は、教師画像としての入力画像を基に、入力画像がそのまま表示部２７に表示されたときに人間の目が知覚すると予測される画像である視覚画像を、生徒画像として生成する。この生徒画像としての視覚画像は、動きぼけのない正しい輝度レベルの入力画像から生成された、表示部２７の特性と、人の視覚特性とに応じた動きぼけが付加された画像である。
【０２００】
以上のようにして生成された視覚画像を生徒画像とし、入力画像を教師画像として学習処理を行えば、観察者が表示部２７に視覚画像が表示されていると知覚させる画像を、観察者が表示部２７に入力画像が表示されていると知覚させる画像、つまり動きぼけのない鮮明な画像に変換する変換係数を得ることができる。
【０２０１】
したがって、この変換係数を用いて、画像生成装置１１により入力画像を変換すれば、観察者に、動きぼけのない鮮明な画像として知覚される表示画像を得ることができる。
【０２０２】
すなわち、例えば、オーバードライブなどの技術においては、表示装置の特性による画質の劣化を補う補正が入力画像に対して行われる。これに対して、画像生成装置１１においては、表示部２７を観察する観察者の視覚特性により観察者が感じる、画像の画質の劣化を補う補正が入力画像に対して行われることになるので、観察者に入力画像により近い画像を知覚させる表示画像を表示させることができる。また、黒挿入のように、黒い画像が表示されることもないので、画面が暗くなるようなこともない。
【０２０３】
また、ホールド型の表示装置における動きぼけによる画質の劣化は、表示装置の応答速度が０となっても生じるが、画像生成装置１１では、入力画像を用いてクラス分類適応処理により表示画像を生成することによって、動きぼけによる画質の劣化を確実に改善することができる。
【０２０４】
ところで、入力画像と、その入力画像から生成された視覚画像とを用いると、入力画像と比べて、より高品質な画像を生成することができる。例えば、視覚画像と入力画像との差分を入力画像に加算して得られる画像を表示部２７に表示すれば、その画像を観察する観察者の目には、入力画像が表示されているように見えるはずである。つまり、この画像は、表示画像そのものである。
【０２０５】
ここで、視覚画像は入力画像から生成されるので、結局、入力画像だけを用いて表示画像を生成することができるはずである。したがって、入力画像を表示画像に変換する変換係数は、入力画像だけを用いて生成することができるはずである。
【０２０６】
学習装置７１では、入力画像から視覚画像が生成され、その視覚画像のいくつかの画素の画素値と、入力画像の注目画素の画素値とから変換係数が求められる。このとき用いられる視覚画像のいくつかの画素、つまり予測タップを構成する画素は、供給されたフレームの視覚画像上における、注目画素と同じ位置の時間的または空間的に近傍に位置する画素とされる。例えば、図３に示したように、予測タップとして、２０個程度の画素が用いられる。
【０２０７】
予測タップとして、２０個程度の画素しか用いなくても、鮮明な画像が表示されていると観察者に知覚させるのに充分な画像が得られる変換係数を求めることができるのは、次のような理由からである。すなわち、生徒画像とされる動きぼけが生じた画像は、複数の画素、つまり移動物体の複数の部位が動き量分だけ混ざり合ってできている。そのため、注目画素の予測に必要とされる要素は、生徒画像における注目画素と同じ位置の画素の周囲に含まれており、本来、注目画素の予測には多くの画素が必要とされないはずである。
【０２０８】
例えば、所定の基準となる基準速度の５分の１のシャッタースピードで、被写体としての移動物体が撮像されたとする。すると、その撮像により得られる撮像画像は、図１２に示すように、シャッタースピードを基準速度として撮像することで得られた、時間的に連続して撮像された５つの部分画像を平均したものと等価である。
【０２０９】
なお、図１２において、１つの四角形は、部分画像の１つの画素を示しており、図中、横方向に並ぶ四角形の列が、１つの部分画像を表している。また、各画素に記された文字「Ａ」乃至「Ｈ」は、被写体としての移動物体の部位を示している。例えば、文字「Ａ」が記された四角形は、部分画像上の移動物体の部位Ａが表示される画素を示しており、部位Ａが表示される画素を画素Ａとも呼ぶこととする。さらに、図中、上側の部分画像から、下側の部分画像まで順番に、フレームＦ１乃至フレームＦ５の部分画像と呼ぶこととし、より上側の部分画像ほど、時間的により前のフレームの部分画像であるとする。
【０２１０】
例えば、フレームＦ３の部分画像上の画素Ｃと同じ位置にある撮像画像の画素を着目画素とすると、その着目画素の画素値は、着目画素と同じ位置にあるフレームＦ１乃至フレームＦ５の部分画像の画素の画素値のそれぞれの平均値とされる。つまり、フレームＦ１の画素Ｅの画素値、フレームＦ２の画素Ｄの画素値、フレームＦ３の画素Ｃの画素値、フレームＦ４の画素Ｂの画素値、およびフレームＦ５の画素Ａの画素値の和を５で除算することで、着目画素の画素値が求まる。このように、撮像画像は、各フレームの部分画像が混ざり合った画像、つまり動きぼけの生じた画像となる。
【０２１１】
ここで、学習処理により、生徒画像としての撮像画像から、動きぼけの除去された教師画像を生成する変換係数を求めることを考える。教師画像は、動きぼけの生じていない画像であるので、例えば、教師画像がフレームＦ３の部分画像と位相が同じ画像であるとすると、フレームＦ３の部分画像が教師画像に相当する。
【０２１２】
例えば、教師画像としてのフレームＦ３の部分画像上における、撮像画像の着目画素と同じ位置にある画素には、移動物体の部位Ｃが表示されている。そのため、教師画像上の着目画素と同じ位置にある画素を注目画素とすると、注目画素を求めるための予測タップとして、部位Ｃの要素を含む画素を撮像画像から抽出すれば、抽出した予測タップを用いて、より精度よく注目画素の画素値を予測する変換係数が得られるはずである。つまり、フレームＦ１乃至フレームＦ５の部分画像の部位Ｃが表示される画素のそれぞれと、同じ位置にある撮像画像上の画素のそれぞれのうちの少なくとも何れかを予測タップとすればよいことになる。
【０２１３】
特に、撮像画像上における、部位Ｃの要素が含まれる領域の一番端の画素を予測タップとすれば、より精度よく注目画素が求まる変換係数が得られることが一般的に知られている。図１２の例では、フレームＦ１の部分画像の画素Ｃ、およびフレームＦ５の部分画像の画素Ｃと同じ位置にある撮像画像上の画素のそれぞれが、部位Ｃの要素を含む領域の一番端の画素となる。
【０２１４】
このような部位Ｃの要素を含む撮像画像上の領域は、着目画素を中心とし、その中心から着目画素の動きベクトルの大きさの距離の範囲内の領域となるはずである。したがって、着目画素から、着目画素の動きベクトルの大きさの距離の範囲内の画素を予測タップとすれば、精度よく注目画素を予測する変換係数が得られるはずである。そこで、学習装置７１（または画像生成装置１１）では、図３に示した画像が生徒画像であるとした場合に、生徒画像（または入力画像）上の注目画素と同じ位置にある画素Ｇ１１および画素Ｇ１１に隣接する画素と、画素Ｇ１１から動きベクトルｍｖの大きさのｋ倍（但し、０＜ｋ≦１）の距離にある画素Ｇ１２、および画素Ｇ１２に隣接する画素とが予測タップとして抽出される。
【０２１５】
特に、学習時には、これらの予測タップが用いられて学習処理が行われるため、注目画素とより関係の深い画素（予測タップ）に乗算される係数が大きくなるような変換係数のセットが求まる。したがって、この変換係数を用いれば、より少ない数の予測タップで、より精度よく注目画素を予測することができるようになり、動きぼけ除去の効果を向上させることができる。さらに、少ない予測タップ数で注目画素の予測演算が可能となるので、より小さい規模のハードウェアで画像生成装置１１を実現することができる。
【０２１６】
また、図１２の例で、撮像画像のフレーム（現フレーム）の時間的に前後のフレームの撮像画像にも、部位Ｃの要素を含む画素が存在するため、現フレームと時間的に異なるフレームの撮像画像における部位Ｃの要素を含む画素を予測タップとしても、精度よく注目画素を予測することができる。各フレームの撮像画像上の、部位Ｃの要素を含む領域は、現フレームの場合と同様に、撮像画像（着目画素）の動きベクトルから求まる。
【０２１７】
そこで、学習装置７１（または画像生成装置１１）では、図３に示した画像が生徒画像であるとした場合に、前フレームの生徒画像（または入力画像）上の画素Ｇ１３および画素Ｇ１３に隣接する画素、並びに画素Ｇ１４および画素Ｇ１４に隣接する画素も、予測タップとして抽出される。ここで、画素Ｇ１３は、生徒画像（または入力画像）上の注目画素と同じ位置にある画素Ｇ１１’から動きベクトルｍｖとは反対方向に、動きベクトルｍｖと同じ大きさの距離だけ移動した位置にある画素であり、画素Ｇ１４は、画素Ｇ１１’から動きベクトルｍｖの大きさのｋ倍（但し、０＜ｋ≦１）の距離にある画素である。
【０２１８】
以上のように、学習処理およびクラス分類適応処理において、注目画素と同じ位置にある生徒画像および入力画像上の画素と空間的または時間的に近傍に位置する画素を予測タップとして用いることで、より精度よく注目画素を予測することができる。
【０２１９】
したがって、学習処理およびクラス分類適応処理において予測タップとされる画素は、図３に示した例に限らず、注目画素と同じ位置にある生徒画像および入力画像上の画素と空間的または時間的に近傍に位置する画素であればよい。
【０２２０】
例えば、クラス分類適応処理時に画像生成装置１１に供給された入力画像から、図１３に示すように、画素Ｇ１１の時間的または空間的に近傍に位置する画素Ｇ８１乃至画素Ｇ８５、およびそれらの画素に隣接する画素が予測タップとして抽出されてもよい。なお、図１３において、図３における場合と対応する部分には、同一の符号を付してあり、その説明は省略する。また、図１３中、一番上側において、横方向に並ぶ画素（円）の列は、現フレームよりも時間的に１つ後のフレーム（以下、後フレームと称する）の入力画像を表している。
【０２２１】
例えば、画素Ｇ１２が、現フレームの入力画像上において、画素Ｇ１１から動きベクトルｍｖと反対方向に、動きベクトルｍｖの大きさＭＶのｋ倍（但し、０＜ｋ≦１）の距離の位置にある画素であるとする。この場合、画素Ｇ８１は、現フレームの入力画像上における、画素Ｇ１１から動きベクトルｍｖの方向に距離ｋＭＶの位置にある画素であり、画素Ｇ８２は、前フレームの入力画像上における、画素Ｇ１３から動きベクトルｍｖと反対方向に、距離ｋＭＶの位置にある画素である。
【０２２２】
また、画素Ｇ８３は、画素Ｇ１１と同じ位置にある後フレームの入力画像上の画素Ｇ１１’’から動きベクトルｍｖの方向に距離ＭＶの位置にある画素である。さらに、画素Ｇ８４は、後フレームの入力画像上における、画素Ｇ８３から動きベクトルｍｖと反対方向に、距離ｋＭＶの位置にある画素であり、画素Ｇ８５は、後フレームの入力画像上における、画素Ｇ８３から動きベクトルｍｖの方向に、距離ｋＭＶの位置にある画素である。
【０２２３】
このように、画素Ｇ１１乃至画素Ｇ１４および画素Ｇ８１乃至画素Ｇ８５と、それらの画素に垂直方向および水平方向に隣接する画素とのうちの、いくつかの画素を予測タップとして用いることで、より精度よく注目画素を予測することができる。また、同様の理由により、画素Ｇ１１乃至画素Ｇ１４および画素Ｇ８１乃至画素Ｇ８５のうちのいくつかの画素がクラスタップとされてもよい。
【０２２４】
なお、以上においては、学習装置７１の生徒画像生成部８２が、教師画像としての入力画像から過去画像および遷移画像を生成し、過去画像、遷移画像、および教師画像から生徒画像としての視覚画像を生成すると説明したが、図１４に示すように、いくつかのフレームの教師画像を平均した画像を生徒画像としてもよい。なお、図１４において、縦方向は時間を示しており、１つの円は、教師画像または生徒画像の１つのフレームを表している。
【０２２５】
例えば、図中、左側のフレームＦ１１乃至フレームＦ１３が、時間的に連続する教師画像のフレームであり、フレームＦ１２が教師画像の現フレームであるとする。この場合、フレームＦ１２の教師画像、フレームＦ１２の時間的に１つ前のフレームＦ１１の教師画像、およびフレームＦ１２の時間的に１つ後のフレームＦ１３の教師画像を平均して得られる画像が、フレームＦ１２と同位相のフレームＦ１４の生徒画像とされる。つまり、それらの教師画像の同じ位置にある画素の画素値の平均値が、それらの画素と同じ位置にある生徒画像の画素の画素値とされる。
【０２２６】
このように、時間的に連続する複数のフレームの教師画像を平均して得られる画像は、現フレームの教師画像に動きぼけが生じた画像である。図１４の例により生成された生徒画像を用いた学習処理で得られた変換係数を用いて、入力画像の画像変換を行えば、入力画像自体に含まれる動きぼけ量を３分の１に低減させることが期待できる。また、この生徒画像を用いた学習処理により得られた変換係数による画像変換は、例えば、カメラでの撮影時におけるシャッタースピードを変換することに相当する。
【０２２７】
また、以上においては、学習処理時において、教師画像から生徒画像が生成されると説明したが、生徒画像から教師画像が生成されるようにしてもよい。そのような場合、学習装置７１は、例えば、図１５に示すように構成される。なお、図１５において、図４における場合と対応する部分には、同じ符号を付してあり、その説明は省略する。
【０２２８】
図１５に示す学習装置７１は、生徒画像生成部８２に代えて教師画像生成部１４１が設けられている点で、図４の学習装置７１とは異なる。図１５の学習装置７１には、生徒画像として入力画像が入力され、この生徒画像は、教師画像生成部１４１、動きベクトル検出部８３、クラスタップ抽出部８４、および予測タップ抽出部８６に供給される。なお、生徒画像として入力される入力画像は、画像生成装置１１に入力される入力画像と同じ画像である。
【０２２９】
教師画像生成部１４１は、供給された生徒画像を用いて教師画像を生成し、注目画素抽出部８１に供給する。具体的には、教師画像生成部１４１は、生徒画像としての入力画像から視覚画像を生成し、入力画像と視覚画像との差分を、入力画像に加算して得られる画像を教師画像とする。この教師画像は、教師画像をそのまま画像生成装置１１の表示部２７に表示させた場合に、入力画像が表示されていると観察者が知覚する画像である。
【０２３０】
教師画像生成部１４１は、より詳細には、図１６に示すように構成される。すなわち、教師画像生成部１４１は、動きベクトル検出部１７１、動き補償部１７２、応答モデル保持部１７３、動き補償部１７４、積分部１７５、および差分補償部１７６から構成される。
【０２３１】
教師画像生成部１４１では、入力された生徒画像は、動きベクトル検出部１７１、動き補償部１７２、および差分補償部１７６に供給される。なお、教師画像生成部１４１における動きベクトル検出部１７１乃至積分部１７５は、図５の動きベクトル検出部１１１乃至積分部１１５と同様であるため、その説明は省略する。すなわち、動きベクトル検出部１７１乃至積分部１７５により、生徒画像としての入力画像に対する視覚画像が生成される。そして、生成された視覚画像は、積分部１７５から差分補償部１７６に供給される。
【０２３２】
差分補償部１７６は、供給された生徒画像としての入力画像、および積分部１７５から供給された視覚画像に基づいて差分補償を行い、教師画像、より詳細には教師画像信号を生成して、注目画素抽出部８１に供給する。
【０２３３】
次に、図１７のフローチャートを参照して、図１５の学習装置７１により行われる学習処理について説明する。
【０２３４】
学習装置７１に生徒画像信号が供給されると、ステップＳ１１１において、教師画像生成部１４１は、教師画像生成処理を行い、供給された生徒画像信号を用いて教師画像信号を生成し、注目画素抽出部８１に供給する。なお、教師画像生成処理の詳細は後述する。
【０２３５】
教師画像生成処理が行われて教師画像が生成されると、その後、ステップＳ１１２乃至ステップＳ１２１の処理が行われて学習処理は終了するが、これらの処理は、図６のステップＳ４２乃至ステップＳ５１の処理と同様であるので、その説明は省略する。
【０２３６】
すなわち、教師画像および生徒画像が用いられて立てられたクラスごとの正規方程式が解かれて、変換係数が求められ、求められた変換係数が係数生成部８８に記録される。このようにして求められた変換係数は、画像生成装置１１の係数保持部２５に記録されて、クラス分類適応処理による表示画像の生成に用いられる。
【０２３７】
このようにして、学習装置７１は、生徒画像から教師画像を生成し、教師画像および生徒画像を用いて変換係数を求める。
【０２３８】
このように、生徒画像から教師画像を生成し、教師画像および生徒画像を用いて変換係数を求めることで、より簡単な処理で、入力画像をより高品質な表示画像に変換するための変換係数を求めることができる。したがって、求めた変換係数を用いて、より簡単に画像の画質の劣化を改善することができるようになる。
【０２３９】
次に、図１８のフローチャートを参照して、図１７のステップＳ１１１の処理に対応する教師画像生成処理について説明する。
【０２４０】
なお、ステップＳ１５１乃至ステップＳ１５５の処理のそれぞれは、図７のステップＳ８１乃至ステップＳ８５の処理のそれぞれと同様であるので、その説明は省略する。すなわち、生徒画像として供給された入力画像から、入力画像の過去画像および遷移画像が生成されて、過去画像、遷移画像、および入力画像から視覚画像が生成される。そして、生成された視覚画像は、積分部１７５から差分補償部１７６に供給される。
【０２４１】
ステップＳ１５６において、差分補償部１７６は、供給された生徒画像、および積分部１７５から供給された視覚画像に基づいて差分補償を行い、教師画像を生成する。そして、差分補償部１７６は、生成した教師画像を注目画素抽出部８１に供給して教師画像生成処理は終了し、処理は図１７のステップＳ１１２に進む。
【０２４２】
例えば、差分補償部１７６は、生徒画像の各画素について、生徒画像の着目する画素の画素値と、その画素と同じ位置にある視覚画像の画素の画素値との差分を求める。さらに、差分補償部１７６は、求められた差分を、生徒画像の着目する画素の画素値に加算して得られる値を、生徒画像の着目する画素と同じ位置にある教師画像の画素の画素値とする。
【０２４３】
このようにして、教師画像生成部１４１は、生徒画像としての入力画像から視覚画像を生成し、生成した視覚画像を用いて、さらに教師画像を生成する。このように、生成した教師画像を用いて学習処理を行えば、入力画像を、表示部２７に入力画像が表示されていると観察者に知覚させる画像、つまり動きぼけのない鮮明な画像に変換する変換係数を得ることができる。
【０２４４】
例えば、所定の画像をｘとし、表示部２７に表示される画像を、その画像を観察する観察者が知覚する画像に変換する関数を視覚フィルタ関数ｆ（ｘ）とする。また、視覚フィルタ関数ｆ（ｘ）の逆関数をｆ-1（ｘ）、表示部２７に表示される画像をｘ’、画像ｘ’が表示部２７に表示されたときに観察者が知覚する画像をｘ’’とする。
【０２４５】
このとき、表示部２７に画像ｘを表示させると、画像ｘ’＝画像ｘであり、画像ｘ’’＝ｆ（ｘ）となる。そこで、画像ｘ、つまり入力画像を生徒画像とし、この画像ｘを逆関数ｆ-1（ｘ）に代入して得られる画像、つまり入力画像と視覚画像との差分を入力画像に加算して得られる画像を、教師画像として学習処理を行うと、逆関数ｆ-1（ｘ）による変換を行うための変換係数が求まる。
【０２４６】
このようにして求められた変換係数を用いて、画像ｘにクラス分類適応処理を施すと画像ｆ-1（ｘ）が得られるので、この画像ｆ-1（ｘ）を表示部２７に表示させると、観察者により知覚される画像ｘ’’は、画像ｘ’’＝ｆ（ｆ-1（ｘ））≒ｘとなる。したがって、観察者には、動きぼけのない画像ｘが表示部２７に表示されているように見える。
【０２４７】
但し、この方法では、教師画像ｆ-1（ｘ）を生成するときに誤差が生じてしまう。つまり、生成された教師画像ｆ-1（ｘ）が、最終的に観察者に知覚させたい画像を表示させる画像とはならない場合がある。そのため、図４の学習装置７１による学習処理のように、動きぼけが生じた画像ｆ（ｘ）を生徒画像とし、最終的に観察者に知覚させたい入力画像である画像ｘを教師画像として、逆関数ｆ-1（ｘ）による変換を行うための変換係数を求めた方が、より少ない誤差で変換係数を求めることができる。つまり、より動きぼけのない画像が表示されているように観察者に知覚させる画像を得るための変換係数を求めることができる。
【０２４８】
さらに、以上においては、変換係数を用いて、入力画像を、入力画像と同じフレームレートの表示画像に変換する例について説明した。しかしながら、このような動きぼけの除去された表示画像を表示すると、いわゆるジャーキネスが生じて、表示画像上の移動物体の動きの滑らかさが損なわれてしまう場合がある。
【０２４９】
そこで、表示画像上において、移動物体がより滑らかに移動しているように観察者に知覚されるように、入力画像のフレームレートより大きいフレームレートの表示画像が生成されるようにしてもよい。そのような場合、例えば、図１９に示すように、フレームレートが入力画像の倍となるように表示画像が生成される。なお、図１９において、１つの円は、１つのフレームの入力画像または表示画像を表しており、縦方向は時間を示している。
【０２５０】
図１９の例では、フレームＦ３１乃至フレームＦ３４が、時間的に連続する入力画像のフレームであり、それらのフレームの入力画像は、時間ｔの間隔で表示されるものとする。ここで、各フレームが表示される順番は、表示時刻の早い順にフレームＦ３１乃至フレームＦ３４であるものとする。
【０２５１】
また、これらのフレームＦ３１乃至フレームＦ３４の入力画像から、クラス分類適応処理により、２倍のフレームレートの表示画像、具体的には、時間的に連続するフレームＦ４１乃至フレームＦ４６の表示画像が生成される。ここで、各フレームが表示される順番は、表示時刻の早い順にフレームＦ４１乃至フレームＦ４６であり、表示画像の表示時間間隔は、ｔ／２である。
【０２５２】
例えば、フレームＦ３２の入力画像を処理の対象となっている現フレームの入力画像とすると、現フレームの直前のフレームであるフレームＦ３１の入力画像と、フレームＦ３２の入力画像とから、フレームＦ４１およびフレームＦ４２の表示画像が生成される。
【０２５３】
また、各フレームの入力画像と、各フレームの表示画像とでは、位相が異なっている。つまり、各フレームの表示時刻が異なっている。例えば、フレームＦ３１の入力画像の表示時刻をｔ０とすると、フレームＦ３２の入力画像の表示時刻は、（ｔ０＋ｔ）である。一方、フレームＦ４１の表示時刻は（ｔ０＋ｔ／４）であり、フレームＦ４２の表示時刻は（ｔ０＋３ｔ／４）である。
【０２５４】
フレームＦ４１の表示画像も、フレームＦ４２の表示画像もフレームＦ３１およびフレームＦ３２の入力画像から生成されるものであるが、それらの表示画像の位相は互いに異なるので、現フレームに対する相対的な位相の位置に応じて、異なる変換係数が必要となる。その理由は、表示画像上の注目画素とされる画像と、入力画像の予測タップおよびクラスタップとされる画素との相対的な位置関係が、現フレームの入力画像に対する、生成しようとする表示画像の相対的な位相の関係によって変化するからである。
【０２５５】
いま、現フレームと、前フレームとの間の位相の２つのフレームの表示画像のうち、現フレームに対してより位相の遠いフレームの表示画像を、前位相のフレームの表示画像と称し、現フレームに対してより位相の近いフレームの表示画像を、後位相のフレームの表示画像と称することとする。例えば、現フレームがフレームＦ３２であるとすると、前位相のフレームはフレームＦ４１であり、後位相のフレームは、フレームＦ４２である。
【０２５６】
このように、入力画像の倍のフレームレートの表示画像が生成される場合、前位相のフレームの表示画像を生成するときに用いられる前位相用の変換係数と、後位相のフレームの表示画像を生成するときに用いられる後位相用の変換係数とが用意される。
【０２５７】
このような前位相用の変換係数、および後位相用の変換係数を生成する学習装置は、例えば、図２０に示すように構成される。
【０２５８】
学習装置２０１は、注目画素抽出部８１、動きベクトル検出部８３、クラスタップ抽出部８４、クラス分類部８５、予測タップ抽出部８６、演算部８７、係数生成部８８、および生徒画像生成部２１１から構成される。なお、図２０において、図４における場合と対応する部分には、同一の符号を付してあり、その説明は省略する。
【０２５９】
学習装置２０１には、教師画像として入力画像が供給される。この入力画像は、学習装置２０１の注目画素抽出部８１および生徒画像生成部２１１に供給される。生徒画像生成部２１１は、供給された現フレームの教師画像と、その現フレームの時間的に１つ前の前フレームの教師画像とを用いて生徒画像を生成し、動きベクトル検出部８３、クラスタップ抽出部８４、および予測タップ抽出部８６に供給する。
【０２６０】
この生徒画像生成部２１１は、より詳細には、図２１に示すように構成される。すなわち、生徒画像生成部２１１は、平均画像生成部２４１、動きベクトル検出部２４２、動き補償部２４３、応答モデル保持部２４４、動き補償部２４５、および積分部２４６から構成される。
【０２６１】
平均画像生成部２４１は、供給された現フレームの教師画像と、その現フレームの時間的に１つ前の前フレームの教師画像とを用いて、それらの教師画像を平均した画像である平均画像を生成して、動きベクトル検出部２４２および動き補償部２４３に供給する。すなわち、平均画像生成部２４１は、前回供給された、前フレームの教師画像を保持しており、保持している前フレームの教師画像と、今回供給された現フレームの教師画像とを用いて、平均画像を生成する。この平均画像の画素の画素値は、その画素と同じ位置にある前フレームおよび現フレームの教師画像の画素の画素値の平均値とされる。
【０２６２】
なお、動きベクトル検出部２４２乃至積分部２４６のそれぞれは、図５の動きベクトル検出部１１１乃至積分部１１５のそれぞれと同様であるため、その説明は省略する。つまり、平均画像生成部２４１により生成された平均画像が動きベクトル検出部２４２および動き補償部２４３に供給されると、動きベクトル検出部２４２乃至積分部２４６により、平均画像が用いられて、平均画像に対する視覚画像が生徒画像として生成される。
【０２６３】
次に、図２２のフローチャートを参照して、学習装置２０１により行われる学習処理について説明する。
【０２６４】
ステップＳ１８１において、生徒画像生成部２１１は、生徒画像生成処理を行って供給された教師画像としての入力画像を用いて生徒画像を生成し、動きベクトル検出部８３、クラスタップ抽出部８４、および予測タップ抽出部８６に供給する。なお、生徒画像生成処理の詳細は後述する。
【０２６５】
ステップＳ１８２において、注目画素抽出部８１は、供給された教師画像上の画素を注目画素とし、教師画像信号から注目画素を抽出して演算部８７に供給する。
【０２６６】
ステップＳ１８３において、動きベクトル検出部８３は、生徒画像生成部２１１から供給されたフレームの生徒画像と、そのフレームの直前のフレームの生徒画像とを用いて、生徒画像生成部２１１から供給されたフレームの生徒画像上の注目画素と対応する画素の動きベクトルを検出する。
【０２６７】
ここで、今回、生徒画像生成部２１１から供給された生徒画像のフレームを現フレームとし、現フレームの直前のフレームを前フレームとすると、注目画素に対応する生徒画像上の画素とは、前フレームの生徒画像上の画素の移動先である現フレームの生徒画像上の画素であって、注目画素が、移動前の画素と移動後の画素とを結ぶ動きベクトル上に位置するような画素をいう。
【０２６８】
すなわち、前フレームの生徒画像上の所定の画素と同じ位置にある、現フレームの生徒画像上の画素を移動元の画素と称し、前フレームの生徒画像上の所定の画素の移動先である現フレームの生徒画像上の画素、つまり所定の画素に表示される移動物体の部位が表示される、現フレームの生徒画像上の画素を移動先の画素と称することとする。この場合、現フレームの生徒画像上の移動元の画素と、移動先の画素とを結ぶベクトルが、移動先の画素の動きベクトルとなる。移動先の画素の動きベクトル上に、注目画素と同じ位置にある現フレームの生徒画像上の画素が位置している場合、この移動先の画素が、注目画素に対応する画素とされる。
【０２６９】
このようにして求められた注目画素に対応する生徒画像の画素の動きベクトルは、動きベクトル検出部８３からクラスタップ抽出部８４、クラス分類部８５、および予測タップ抽出部８６に供給される。
【０２７０】
ステップＳ１８４において、クラス分類部８５は、動きベクトル検出部８３からの動きベクトルに基づいて動きコードを生成する。
【０２７１】
ステップＳ１８５において、クラスタップ抽出部８４は、教師画像における注目画素との対応をとりながら、動きベクトル検出部８３からの動きベクトルと、生徒画像生成部２１１からの生徒画像とに基づいて、生徒画像からクラスタップを抽出する。
【０２７２】
例えば、学習処理により、後位相用の変換係数を生成しようとする場合、図２３Ａに示すように、注目画素Ｇ１１１に対応する現フレームの生徒画像上の画素Ｇ１１２および画素Ｇ１１３と、前フレームの生徒画像上の画素Ｇ１１４および画素Ｇ１１５とがクラスタップとして抽出される。なお、図２３Ａにおいて、縦方向は時間を示しており、横方向は生徒画像または教師画像における各画素の位置を示している。また、１つの円は、１つの画素を示している。
【０２７３】
画素Ｇ１１２は、注目画素Ｇ１１１に対応する現フレームの生徒画像上の画素であり、画素Ｇ１１３は、現フレームの生徒画像上における、画素Ｇ１１２から、画素Ｇ１１２の動きベクトルｍｖ２１と反対の方向に、動きベクトルｍｖ２１の大きさＭＶ２１のｋ倍（但し、０＜ｋ≦１）の距離の位置にある画素である。
【０２７４】
また、画素Ｇ１１４は、画素Ｇ１１２と同じ位置にある前フレームの生徒画像上の画素から、動きベクトルｍｖ２１と反対の方向に距離ｋＭＶ２１の位置にある画素であり、画素Ｇ１１５は、前フレームの生徒画像上の画素Ｇ１１４から、動きベクトルｍｖ２１の方向に、距離ｋＭＶ２１の位置にある画素である。
【０２７５】
このようにして生徒画像から抽出されたクラスタップを構成する画素Ｇ１１２乃至画素Ｇ１１５は、クラスタップ抽出部８４からクラス分類部８５に供給される。
【０２７６】
なお、クラスタップとされる画素Ｇ１１２乃至画素Ｇ１１５に対して、画素Ｇ１１２乃至画素Ｇ１１５と、それらの画素に、水平方向および垂直方向に隣接する画素とが、予測タップとして抽出される。すなわち、図２３Ｂの左側に示すように、現フレームの生徒画像上の画素Ｇ１１２と、画素Ｇ１１２に上下左右に隣接する４つの画素とが予測タップとして抽出される。また、図２３Ｂの右側に示すように、前フレームの生徒画像上の画素Ｇ１１４と、画素Ｇ１１４に上下左右に隣接する４つの画素とが予測タップとして抽出される。
【０２７７】
さらに、図２３Ｃの左側に示すように、現フレームの生徒画像上の画素Ｇ１１３と、画素Ｇ１１３に上下左右に隣接する４つの画素とが予測タップとして抽出され、図２３Ｃの右側に示すように、前フレームの生徒画像上の画素Ｇ１１５と、画素Ｇ１１５に上下左右に隣接する４つの画素とが予測タップとして抽出される。なお、図２３Ｂおよび図２３Ｃでは、予測タップとされる画素には、斜線が施されている。
【０２７８】
このように、学習装置２０１では、生徒画像上における注目画素と同じ位置の空間的または時間的に近傍にある画素がクラスタップまたは予測タップとして抽出される。
【０２７９】
図２２のフローチャートの説明に戻り、クラスタップが抽出されると、その後、ステップＳ１８６乃至ステップＳ１９１の処理が行われ、学習処理は終了するが、これらの処理は、図６のステップＳ４６乃至ステップＳ５１の処理のそれぞれと同様であるため、その説明は省略する。なお、ステップＳ１８８の処理では、例えば、図２３Ｂおよび図２３Ｃに示した画素Ｇ１１２乃至画素Ｇ１１５と、それらの画素に隣接する画素が、予測タップとして抽出される。
【０２８０】
このようにして、学習装置２０１は、教師画像としての入力画像から、生徒画像としての視覚画像を生成し、教師画像および生徒画像を用いて位相ごとの変換係数、つまり前位相用の変換係数または後位相用の変換係数を求める。なお、前位相用の変換係数を求める学習処理と、後位相用の変換係数を求める学習処理は、それぞれ個別に行われる。
【０２８１】
このように、入力画像を教師画像とし、視覚画像を生徒画像として変換係数を求めることで、より簡単な処理で、入力画像をより高品質な表示画像に変換するための変換係数を求めることができる。したがって、求めた変換係数を用いて、より簡単に画像の画質の劣化を改善することができるようになる。しかも、位相ごとの変換係数を用いて入力画像を表示画像に変換すれば、入力画像の倍のフレームレートの表示画像を得ることができ、ジャーキネスの発生を抑制することもできる。
【０２８２】
次に、図２４のフローチャートを参照して、図２２のステップＳ１８１の処理に対応する処理である生徒画像生成処理について説明する。
【０２８３】
ステップＳ２２１において、平均画像生成部２４１は、今回、供給されたフレームの教師画像と、そのフレームの時間的に１つ前のフレームの教師画像とを用いて平均画像を生成し、動きベクトル検出部２４２および動き補償部２４３に供給する。
【０２８４】
例えば、図２５に示すように、時間的に連続する２つのフレームＦ６１およびフレームＦ６２の教師画像を平均して、フレームＦ６１とフレームＦ６２との間にある位相のフレームＦ７１の平均画像を生成する。なお、図２５において、縦方向は時間を示しており、１つの円は、教師画像または平均画像の１つのフレームを表している。
【０２８５】
図２５の例では、教師画像に対して２倍の動きぼけ量の平均画像が得られる。また、フレームＦ６１の教師画像が、生成されたフレームＦ７１の平均画像から得られる生徒画像に対する後位相のフレームとなる。つまり、フレームＦ７１の平均画像から得られた生徒画像と、そのフレームＦ７１の直前のフレームの生徒画像とが学習に用いられる場合、後位相用の変換係数の学習時には、フレームＦ６１の入力画像が教師画像として用いられ、前位相用の変換係数の学習時には、フレームＦ６１の直前のフレームの入力画像が教師画像として用いられる。
【０２８６】
図２４のフローチャートの説明に戻り、平均画像が生成されると、その後、ステップＳ２２２乃至ステップＳ２２６の処理が行われるが、これらの処理は、図７のステップＳ８１乃至ステップＳ８５の処理と同様であるので、その説明は省略する。すなわち、生成された平均画像から、平均画像に対する視覚画像が生徒画像として生成される。
【０２８７】
ステップＳ２２６において生徒画像が生成されて、積分部２４６から動きベクトル検出部８３、クラスタップ抽出部８４、および予測タップ抽出部８６に生徒画像が供給されると生徒画像生成処理は終了して、処理は図２２のステップＳ１８２に進む。
【０２８８】
このようにして、教師画像から、教師画像の半分のフレームレートの平均画像が生成され、平均画像から生徒画像としての視覚画像が生成される。
【０２８９】
以上のようにして学習装置２０１により生成された、前位相用の変換係数および後位相用の変換係数を用いて入力画像を表示画像に変換する画像生成装置は、例えば、図２６に示すように構成される。
【０２９０】
画像生成装置２７１は、クラスタップ抽出部２２、クラス分類部２３、予測タップ抽出部２４、積和演算部２６、表示部２７、動きベクトル検出部２８１、および係数保持部２８２から構成される。なお、図２６において、図１における場合と対応する部分には、同一の符号を付してあり、その説明は省略する。
【０２９１】
画像生成装置２７１の動きベクトル検出部２８１、クラスタップ抽出部２２、および予測タップ抽出部２４には、入力画像が供給される。動きベクトル検出部２８１は、これから生成しようとする表示画像の画素を注目画素として、供給された入力画像に基づいて、注目画素に対応する入力画像の画素の動きベクトルを検出する。
【０２９２】
ここで、注目画素に対応する入力画像の画素とは、入力画像の画素のうち、注目画素に対して、学習処理時の注目画素に対応する生徒画像の画素と同じ位置関係にある画素をいう。例えば、図２３Ａの画素Ｇ１１１が表示画像上の注目画素であり、画素Ｇ１１２が、供給されたフレームの入力画像上の画素であるとすると、注目画素に対応する入力画像の画素は、画素Ｇ１１２となる。
【０２９３】
また、動きベクトル検出部２８１は、検出した動きベクトルをクラスタップ抽出部２２、クラス分類部２３、および予測タップ抽出部２４に供給する。
【０２９４】
係数保持部２８２は、学習装置２０１により生成された、前位相用の変換係数および後位相用の変換係数を保持しており、クラス分類部２３からのクラスコードに応じて、保持している前位相用の変換係数または後位相用の変換係数を積和演算部２６に供給する。
【０２９５】
このように構成される画像生成装置２７１に入力画像が供給されると、画像生成装置２７１により、表示画像を生成して表示する処理である表示処理が開始される。以下、図２７のフローチャートを参照して、画像生成装置２７１による表示処理について説明する。
【０２９６】
ステップＳ２５１において、動きベクトル検出部２８１は、これから生成しようとする表示画像の画素を注目画素とし、供給されたフレームの入力画像と、そのフレームの直前のフレームの入力画像とを用いて、例えばブロックマッチングや勾配法などにより、注目画素に対応する入力画像の画素の動きベクトルを検出する。検出された動きベクトルは、動きベクトル検出部２８１からクラス分類部２３、クラスタップ抽出部２２、および予測タップ抽出部２４に供給される。
【０２９７】
その後、ステップＳ２５２乃至ステップＳ２５９の処理が行われて、表示処理は終了するが、これらの処理は、図２のステップＳ１２乃至ステップＳ１９の処理と同様であるので、その説明は省略する。
【０２９８】
なお、入力画像上における注目画素と同じ位置から、空間的または時間的に近傍に位置する画素のいくつかが、クラスタップまたは予測タップとして抽出される。例えば、図２３Ａの画素Ｇ１１１が表示画像上の注目画素であり、画素Ｇ１１２が、供給されたフレームの入力画像上の注目画素に対応する画素であるとすると、画素Ｇ１１２乃至画素Ｇ１１５がクラスタップとして入力画像から抽出される。また、画素Ｇ１１２乃至画素Ｇ１１５と、それらの画素に隣接する画素とが予測タップとして入力画像から抽出される。
【０２９９】
さらに、係数保持部２８２から積和演算部２６には、前位相のフレームの表示画像が生成されるときには、クラスコードにより特定される、前位相用の変換係数が供給される。同様に、後位相のフレームの表示画像が生成されるときには、係数保持部２８２から積和演算部２６には、クラスコードにより特定される、後位相用の変換係数が供給される。
【０３００】
このようにして、画像生成装置２７１は、供給された入力画像から前位相または後位相の表示画像を生成し、表示部２７に表示させる。なお、前位相または後位相のフレームの表示画像が生成されて表示される表示処理は、フレームごとに個別に行われる。
【０３０１】
また、以上においては、前位相用および後位相用の変換係数の学習処理時に、教師画像としての入力画像から生徒画像を生成すると説明したが、学習処理時に入力画像から生徒画像および教師画像が生成されるようにしてもよい。
【０３０２】
そのような場合、例えば学習装置は、図２８に示す構成とされる。図２８の学習装置３１１は、平均画像生成部２４１、教師画像生成部１４１、注目画素抽出部８１、動きベクトル検出部８３、クラスタップ抽出部８４、クラス分類部８５、予測タップ抽出部８６、演算部８７、および係数生成部８８から構成される。なお、図２８において、図１５、図２０、および図２１における場合と対応する部分には、同一の符号を付してあり、その説明は適宜、省略する。
【０３０３】
学習装置３１１の平均画像生成部２４１および教師画像生成部１４１には、入力画像が供給される。平均画像生成部２４１は、供給された入力画像から平均画像を生成し、生成した平均画像を生徒画像として動きベクトル検出部８３、クラスタップ抽出部８４、および予測タップ抽出部８６に供給する。
【０３０４】
教師画像生成部１４１は、供給された入力画像から視覚画像を生成し、入力画像と視覚画像との差分を、入力画像に加算して得られる画像を教師画像とする。この教師画像は、教師画像をそのまま画像生成装置２７１の表示部２７に表示させた場合に、入力画像が表示されていると観察者が知覚する画像である。教師画像生成部１４１は、生成した教師画像を注目画素抽出部８１に供給する。
【０３０５】
次に、図２９のフローチャートを参照して、学習装置３１１による学習処理について説明する。この学習装置によって、前位相用または後位相用の変換係数が生成される。
【０３０６】
ステップＳ２９１において、教師画像生成部１４１は、供給された入力画像を用いて教師画像生成処理を行って教師画像を生成し、生成した教師画像を注目画素抽出部８１に供給する。この教師画像生成処理は、図１７のステップＳ１１１の処理、つまり図１８のフローチャートを参照して説明した処理と同様であるので、その説明は省略する。
【０３０７】
ステップＳ２９２において、平均画像生成部２４１は、供給された入力画像から生徒画像を生成し、生成した生徒画像を動きベクトル検出部８３、クラスタップ抽出部８４、および予測タップ抽出部８６に供給する。すなわち、平均画像生成部２４１は、今回、供給されたフレームの入力画像と、そのフレームの時間的に１つ前のフレームの入力画像とを用いて平均画像を生成し、その平均画像を生徒画像とする。
【０３０８】
生徒画像が生成されると、その後、ステップＳ２９３乃至ステップＳ３０２の処理が行われて、学習処理は終了するが、これらの処理は、図２２のステップＳ１８２乃至ステップＳ１９１の処理と同様であるため、その説明は省略する。
【０３０９】
このようにして、学習装置３１１は、供給された入力画像から生徒画像および教師画像を生成して位相ごとの変換係数、つまり前位相用の変換係数または後位相用の変換係数を求める。なお、前位相用の変換係数を求める学習処理と、後位相用の変換係数を求める学習処理は、それぞれ個別に行われる。
【０３１０】
このように、供給された入力画像から生徒画像および教師画像を生成して変換係数を求めることで、より簡単な処理で、入力画像をより高品質な表示画像に変換するための変換係数を求めることができる。したがって、求めた変換係数を用いて、より簡単に画像の画質の劣化を改善することができるようになる。
【０３１１】
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０３１２】
図３０は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０３１３】
コンピュータにおいて、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。
【０３１４】
バス５０４には、さらに、入出力インターフェース５０５が接続されている。入出力インターフェース５０５には、キーボード、マウス、マイクロホンなどよりなる入力部５０６、ディスプレイ、スピーカなどよりなる出力部５０７、ハードディスクや不揮発性のメモリなどよりなる記録部５０８、ネットワークインターフェースなどよりなる通信部５０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア５１１を駆動するドライブ５１０が接続されている。
【０３１５】
以上のように構成されるコンピュータでは、CPU５０１が、例えば、記録部５０８に記録されているプログラムを、入出力インターフェース５０５及びバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。
【０３１６】
コンピュータ（CPU５０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア５１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０３１７】
そして、プログラムは、リムーバブルメディア５１１をドライブ５１０に装着することにより、入出力インターフェース５０５を介して、記録部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記録部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記録部５０８に、あらかじめインストールしておくことができる。
【０３１８】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０３１９】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０３２０】
【図１】本発明を適用した画像生成装置の一実施の形態の構成例を示す図である。
【図２】表示処理を説明するフローチャートである。
【図３】クラスタップおよび予測タップの例を示す図である。
【図４】本発明を適用した学習装置の一実施の形態の構成例を示す図である。
【図５】生徒画像生成部の構成例を示す図である。
【図６】学習処理を説明するフローチャートである。
【図７】生徒画像生成処理を説明するフローチャートである。
【図８】過去画像の生成を説明する図である。
【図９】応答モデルについて説明する図である。
【図１０】遷移画像について説明する図である。
【図１１】追従画素について説明する図である。
【図１２】予測タップについて説明する図である。
【図１３】クラスタップおよび予測タップの他の例を示す図である。
【図１４】生徒画像の生成について説明する図である。
【図１５】学習装置の他の構成例を示す図である。
【図１６】教師画像生成部の構成例を示す図である。
【図１７】学習処理を説明するフローチャートである。
【図１８】教師画像生成処理を説明するフローチャートである。
【図１９】フレームレート変換について説明する図である。
【図２０】学習装置の他の構成例を示す図である。
【図２１】生徒画像生成部の構成例を示す図である。
【図２２】学習処理を説明するフローチャートである。
【図２３】クラスタップおよび予測タップの例を示す図である。
【図２４】生徒画像生成処理を説明するフローチャートである。
【図２５】平均画像の生成を説明する図である。
【図２６】画像生成装置の他の構成例を示す図である。
【図２７】表示処理を説明するフローチャートである。
【図２８】学習装置の他の構成例を示す図である。
【図２９】学習処理を説明するフローチャートである。
【図３０】コンピュータの構成例を示す図である。
【符号の説明】
【０３２１】
１１ 画像生成装置， ２１ 動きベクトル検出部， ２２ クラスタップ抽出部， ２３ クラス分類部， ２４ 予測タップ抽出部， ２６ 積和演算部， ２７ 表示部， ７１ 学習装置， ８２ 生徒画像生成部， ８３ 動きベクトル検出部， ８４ クラスタップ抽出部， ８５ クラス分類部， ８６ 予測タップ抽出部， ８７ 演算部， ８８ 係数生成部， １１３ 応答モデル保持部， １１５ 積分部， １４１ 教師画像生成部， １７３ 応答モデル保持部， １７５ 積分部， １７６ 差分補償部， ２１１ 生徒画像生成部， ２４１ 平均画像生成部， ２７１ 画像生成装置， ３１１ 学習装置
【特許請求の範囲】
【請求項１】
予め定められた表示手段に表示された場合に、入力画像が表示されていると観察者が知覚する表示画像の表示画像信号に、前記入力画像の入力画像信号を変換する変換係数を生成する係数生成装置であって、
前記変換係数を求めるために用いられ、前記表示画像に対応する教師画像の教師画像信号、および前記教師画像から検出された動きベクトルに基づいて、前記教師画像の１フレーム前の教師画像に対応する過去画像の過去画像信号を生成する過去画像生成手段と、
前記教師画像信号および前記過去画像信号に基づいて、前記表示手段に前記過去画像が表示された後、前記教師画像が表示される場合に、前記過去画像から前記教師画像に表示が切り替わるまでの間に前記表示手段に表示される遷移画像の遷移画像信号を生成する遷移画像生成手段と、
前記過去画像信号、前記遷移画像信号、前記教師画像信号、および前記動きベクトルを用いて、前記過去画像、前記遷移画像、および前記教師画像のそれぞれの画素であって、前記過去画像から前記教師画像に表示が切り替わるまでの間に前記観察者が目で追うと予測される画素の画素値の平均値を求め、前記平均値を、前記教師画像が前記表示手段に表示された場合に前記観察者に知覚される視覚画像の画素の画素値とすることで、前記変換係数を求めるために用いられ、前記入力画像に対応する生徒画像としての前記視覚画像の視覚画像信号を生成する視覚画像生成手段と、
前記教師画像の注目している注目画素の画素値と、前記生徒画像から検出された動きベクトルから定まり、前記生徒画像における前記注目画素と同じ位置の空間的または時間的に近傍にある画素の画素値とを用いて、前記変換係数を求める演算手段と
を備える係数生成装置。
【請求項２】
前記遷移画像生成手段は、前記表示手段の発光特性を示すモデルと、前記教師画像信号および前記過去画像信号とを用いて、前記遷移画像信号を生成する
請求項１に記載の係数生成装置。
【請求項３】
前記演算手段は、
前記生徒画像から検出された動きベクトルから定まり、前記生徒画像における前記注目画素と同じ位置の空間的または時間的に近傍にあるいくつかの画素の画素値を、前記注目画素を複数のクラスのうちの何れかにクラス分けするクラス分類を行うのに用いられるクラスタップとして、前記生徒画像信号から抽出するクラスタップ抽出手段と、
前記生徒画像から検出された動きベクトルの大きさと、前記クラスタップとに基づいて、前記注目画素をクラス分類するクラス分類手段と、
前記生徒画像から検出された動きベクトルから定まり、前記生徒画像における前記注目画素と同じ位置の空間的または時間的に近傍にあるいくつかの画素の画素値を、前記注目画素を予測するのに用いられる予測タップとして、前記生徒画像信号から抽出する予測タップ抽出手段と、
前記注目画素の画素値および前記予測タップに対して、前記注目画素の前記クラスごとに立てられた、前記注目画素の画素値、前記予測タップ、および前記変換係数の関係を示す正規方程式を解くことで、前記クラスごとの前記変換係数を求める係数生成手段と
を備える請求項２に記載の係数生成装置。
【請求項４】
予め定められた表示手段に表示された場合に、入力画像が表示されていると観察者が知覚する表示画像の表示画像信号に、前記入力画像の入力画像信号を変換する変換係数を生成する係数生成装置であり、
前記変換係数を求めるために用いられ、前記表示画像に対応する教師画像の１フレーム前の教師画像に対応する過去画像の過去画像信号を生成する過去画像生成手段と、
前記表示手段に前記過去画像が表示された後、前記教師画像が表示される場合に、前記過去画像から前記教師画像に表示が切り替わるまでの間に前記表示手段に表示される遷移画像の遷移画像信号を生成する遷移画像生成手段と、
前記変換係数を求めるために用いられ、前記入力画像に対応する生徒画像として、前記教師画像が前記表示手段に表示された場合に前記観察者に知覚される視覚画像の視覚画像信号を生成する視覚画像生成手段と、
前記教師画像の注目している注目画素の画素値と、前記生徒画像から検出された動きベクトルから定まり、前記生徒画像における前記注目画素と同じ位置の空間的または時間的に近傍にある画素の画素値とを用いて、前記変換係数を求める演算手段と
を備える係数生成装置の係数生成方法であって、
前記過去画像生成手段が、前記教師画像の教師画像信号、および前記教師画像から検出された動きベクトルに基づいて、前記過去画像の過去画像信号を生成し、
前記遷移画像生成手段が、前記教師画像信号および前記過去画像信号に基づいて、前記遷移画像の遷移画像信号を生成し、
前記視覚画像生成手段が、前記過去画像信号、前記遷移画像信号、前記教師画像信号、および前記教師画像から検出された動きベクトルを用いて、前記過去画像、前記遷移画像、および前記教師画像のそれぞれの画素であって、前記過去画像から前記教師画像に表示が切り替わるまでの間に前記観察者が目で追うと予測される画素の画素値の平均値を求め、前記平均値を、前記視覚画像の画素の画素値とすることで、前記視覚画像の視覚画像信号を生成し、
前記演算手段が、前記注目画素の画素値と、前記生徒画像における前記注目画素と同じ位置の空間的または時間的に近傍にある画素の画素値とを用いて、前記変換係数を求める
ステップを含む係数生成方法。
【請求項５】
予め定められた表示手段に表示された場合に、入力画像が表示されていると観察者が知覚する表示画像の表示画像信号に、前記入力画像の入力画像信号を変換する変換係数を生成する係数生成装置に、
前記変換係数を求めるために用いられ、前記表示画像に対応する教師画像の教師画像信号、および前記教師画像から検出された動きベクトルに基づいて、前記教師画像の１フレーム前の教師画像に対応する過去画像の過去画像信号を生成し、
前記教師画像信号および前記過去画像信号に基づいて、前記表示手段に前記過去画像が表示された後、前記教師画像が表示される場合に、前記過去画像から前記教師画像に表示が切り替わるまでの間に前記表示手段に表示される遷移画像の遷移画像信号を生成し、
前記過去画像信号、前記遷移画像信号、前記教師画像信号、および前記動きベクトルを用いて、前記過去画像、前記遷移画像、および前記教師画像のそれぞれの画素であって、前記過去画像から前記教師画像に表示が切り替わるまでの間に前記観察者が目で追うと予測される画素の画素値の平均値を求め、前記平均値を、前記教師画像が前記表示手段に表示された場合に前記観察者に知覚される視覚画像の画素の画素値とすることで、前記変換係数を求めるために用いられ、前記入力画像に対応する生徒画像としての前記視覚画像の視覚画像信号を生成し、
前記教師画像の注目している注目画素の画素値と、前記生徒画像から検出された動きベクトルから定まり、前記生徒画像における前記注目画素と同じ位置の空間的または時間的に近傍にある画素の画素値とを用いて、前記変換係数を求める
ステップを含む処理を実行させるプログラム。
【請求項６】
予め定められた表示手段に表示された場合に、入力画像が表示されていると観察者が知覚する表示画像の表示画像信号に、前記入力画像の入力画像信号を変換する画像生成装置であって、
これから生成しようとする前記表示画像の注目している画素を第１の注目画素とし、前記入力画像から検出された動きベクトルから定まり、前記入力画像における前記第１の注目画素と同じ位置の空間的または時間的に近傍にあるいくつかの画素の画素値を、前記第１の注目画素を予測するのに用いられる予測タップとして、前記入力画像信号から抽出する予測タップ抽出手段と、
予め求められている変換係数と、前記予測タップとを線形結合することにより、前記第１の注目画素の画素値を予測演算する予測演算手段と
を備え、
前記変換係数は、
前記表示画像に対応する教師画像の注目している第２の注目画素の画素値と、
前記入力画像に対応する生徒画像から検出された動きベクトルから定まり、前記生徒画像における、前記第２の注目画素と同じ位置の空間的または時間的に近傍にある画素の画素値と
が用いられて求められ、
前記生徒画像は、
前記教師画像の教師画像信号と、
前記教師画像信号、および前記教師画像から検出された動きベクトルに基づいて生成された、前記教師画像の１フレーム前の教師画像に対応する過去画像の過去画像信号と、
前記表示手段の発光特性を示すモデルと、前記教師画像信号および前記過去画像信号とに基づいて生成された、前記表示手段に前記過去画像が表示された後、前記教師画像が表示される場合に、前記過去画像から前記教師画像に表示が切り替わるまでの間に前記表示手段に表示される遷移画像の遷移画像信号と、
前記教師画像から検出された動きベクトルと
を用いて、
前記過去画像、前記遷移画像、および前記教師画像のそれぞれの画素であって、前記過去画像から前記教師画像に表示が切り替わるまでの間に前記観察者が目で追うと予測される画素の画素値の平均値を求め、前記平均値を、前記教師画像が前記表示手段に表示された場合に前記観察者に知覚される視覚画像の画素の画素値とすることで生成される、前記視覚画像である
画像生成装置。
【請求項７】
前記入力画像から検出された動きベクトルから定まり、前記入力画像における前記第１の注目画素と同じ位置の空間的または時間的に近傍にあるいくつかの画素の画素値を、前記第１の注目画素を複数のクラスのうちの何れかにクラス分けするクラス分類を行うのに用いられるクラスタップとして、前記入力画像信号から抽出するクラスタップ抽出手段と、
前記入力画像から検出された動きベクトルの大きさと、前記クラスタップとに基づいて、前記第１の注目画素をクラス分類するクラス分類手段と
をさらに備え、
前記予測演算手段は、前記第１の注目画素のクラスに対して予め求められている前記変換係数を用いて、前記第１の注目画素の画素値を予測演算する
請求項６に記載の画像生成装置。
【請求項８】
前記変換係数は、
前記生徒画像から検出された動きベクトルから定まり、前記生徒画像における、前記第２の注目画素と同じ位置の空間的または時間的に近傍にあるいくつかの画素の画素値を、前記クラスタップとして、前記生徒画像信号から抽出し、
前記生徒画像から検出された動きベクトルの大きさと、前記生徒画像信号から抽出された前記クラスタップとに基づいて、前記第２の注目画素をクラス分類し、
前記生徒画像から検出された動きベクトルから定まり、前記生徒画像における、前記第２の注目画素と同じ位置の空間的または時間的に近傍にあるいくつかの画素の画素値を、前記予測タップとして、前記生徒画像信号から抽出し、
前記第２の注目画素の画素値および前記生徒画像信号から抽出された前記予測タップに対して、前記第２の注目画素の前記クラスごとに立てられた、前記第２の注目画素の画素値、前記生徒画像信号から抽出された前記予測タップ、および前記変換係数の関係を示す正規方程式を解くことにより、
前記クラスごとに求められる
請求項７に記載の画像生成装置。
【請求項９】
予め定められた表示手段に表示された場合に、入力画像が表示されていると観察者が知覚する表示画像の表示画像信号に、前記入力画像の入力画像信号を変換する画像生成装置であり、
これから生成しようとする前記表示画像の注目している画素を第１の注目画素とし、前記入力画像から検出された動きベクトルから定まり、前記入力画像における前記第１の注目画素と同じ位置の空間的または時間的に近傍にあるいくつかの画素の画素値を、前記第１の注目画素を予測するのに用いられる予測タップとして、前記入力画像信号から抽出する予測タップ抽出手段と、
予め求められている変換係数と、前記予測タップとを線形結合することにより、前記第１の注目画素の画素値を予測演算する予測演算手段と
を備える画像生成装置の画像生成方法であって、
前記予測タップ抽出手段が、前記入力画像信号から前記予測タップを抽出し、
前記予測演算手段が、前記変換係数と、前記予測タップとを線形結合することにより、前記第１の注目画素の画素値を予測演算する
ステップを含み、
前記変換係数は、
前記表示画像に対応する教師画像の注目している第２の注目画素の画素値と、
前記入力画像に対応する生徒画像から検出された動きベクトルから定まり、前記生徒画像における、前記第２の注目画素と同じ位置の空間的または時間的に近傍にある画素の画素値と
が用いられて求められ、
前記生徒画像は、
前記教師画像の教師画像信号と、
前記教師画像信号、および前記教師画像から検出された動きベクトルに基づいて生成された、前記教師画像の１フレーム前の教師画像に対応する過去画像の過去画像信号と、
前記表示手段の発光特性を示すモデルと、前記教師画像信号および前記過去画像信号とに基づいて生成された、前記表示手段に前記過去画像が表示された後、前記教師画像が表示される場合に、前記過去画像から前記教師画像に表示が切り替わるまでの間に前記表示手段に表示される遷移画像の遷移画像信号と、
前記教師画像から検出された動きベクトルと
を用いて、
前記過去画像、前記遷移画像、および前記教師画像のそれぞれの画素であって、前記過去画像から前記教師画像に表示が切り替わるまでの間に前記観察者が目で追うと予測される画素の画素値の平均値を求め、前記平均値を、前記教師画像が前記表示手段に表示された場合に前記観察者に知覚される視覚画像の画素の画素値とすることで生成される、前記視覚画像である
画像生成方法。
【請求項１０】
予め定められた表示手段に表示された場合に、入力画像が表示されていると観察者が知覚する表示画像の表示画像信号に、前記入力画像の入力画像信号を変換する画像生成装置に、
これから生成しようとする前記表示画像の注目している画素を第１の注目画素とし、前記入力画像から検出された動きベクトルから定まり、前記入力画像における前記第１の注目画素と同じ位置の空間的または時間的に近傍にあるいくつかの画素の画素値を、前記第１の注目画素を予測するのに用いられる予測タップとして、前記入力画像信号から抽出し、
予め求められている変換係数と、前記予測タップとを線形結合することにより、前記第１の注目画素の画素値を予測演算する
ステップを含む処理を実行させ、
前記変換係数は、
前記表示画像に対応する教師画像の注目している第２の注目画素の画素値と、
前記入力画像に対応する生徒画像から検出された動きベクトルから定まり、前記生徒画像における、前記第２の注目画素と同じ位置の空間的または時間的に近傍にある画素の画素値と
が用いられて求められ、
前記生徒画像は、
前記教師画像の教師画像信号と、
前記教師画像信号、および前記教師画像から検出された動きベクトルに基づいて生成された、前記教師画像の１フレーム前の教師画像に対応する過去画像の過去画像信号と、
前記表示手段の発光特性を示すモデルと、前記教師画像信号および前記過去画像信号とに基づいて生成された、前記表示手段に前記過去画像が表示された後、前記教師画像が表示される場合に、前記過去画像から前記教師画像に表示が切り替わるまでの間に前記表示手段に表示される遷移画像の遷移画像信号と、
前記教師画像から検出された動きベクトルと
を用いて、
前記過去画像、前記遷移画像、および前記教師画像のそれぞれの画素であって、前記過去画像から前記教師画像に表示が切り替わるまでの間に前記観察者が目で追うと予測される画素の画素値の平均値を求め、前記平均値を、前記教師画像が前記表示手段に表示された場合に前記観察者に知覚される視覚画像の画素の画素値とすることで生成される、前記視覚画像である
プログラム。
【請求項１１】
予め定められた表示手段に表示された場合に、入力画像が表示されていると観察者が知覚する表示画像の表示画像信号に、前記入力画像の入力画像信号を変換する変換係数を生成する係数生成装置であって、
前記変換係数を求めるために用いられ、前記表示画像に対応する教師画像の教師画像信号に基づいて、前記教師画像と、前記教師画像の１フレーム前の教師画像とを平均して得られる平均画像の平均画像信号を生成する平均画像生成手段と、
前記平均画像信号、および前記平均画像から検出された動きベクトルに基づいて、前記平均画像の１フレーム前の平均画像に対応する過去画像の過去画像信号を生成する過去画像生成手段と、
前記平均画像信号および前記過去画像信号に基づいて、前記表示手段に前記過去画像が表示された後、前記平均画像が表示される場合に、前記過去画像から前記平均画像に表示が切り替わるまでの間に前記表示手段に表示される遷移画像の遷移画像信号を生成する遷移画像生成手段と、
前記過去画像信号、前記遷移画像信号、前記平均画像信号、および前記動きベクトルを用いて、前記過去画像、前記遷移画像、および前記平均画像のそれぞれの画素であって、前記過去画像から前記平均画像に表示が切り替わるまでの間に前記観察者が目で追うと予測される画素の画素値の平均値を求め、前記平均値を、前記平均画像が前記表示手段に表示された場合に前記観察者に知覚される視覚画像の画素の画素値とすることで、前記変換係数を求めるために用いられ、前記入力画像に対応する生徒画像としての前記視覚画像の視覚画像信号を生成する視覚画像生成手段と、
前記教師画像の注目している注目画素の画素値と、前記生徒画像から検出された動きベクトルから定まり、前記生徒画像における前記注目画素と同じ位置の空間的または時間的に近傍にある画素の画素値とを用いて、前記変換係数を求める演算手段と
を備える係数生成装置。
【請求項１２】
前記遷移画像生成手段は、前記表示手段の発光特性を示すモデルと、前記平均画像信号および前記過去画像信号とを用いて、前記遷移画像信号を生成する
請求項１１に記載の係数生成装置。
【請求項１３】
前記演算手段は、
前記生徒画像から検出された動きベクトルから定まり、前記生徒画像における前記注目画素と同じ位置の空間的または時間的に近傍にあるいくつかの画素の画素値を、前記注目画素を複数のクラスのうちの何れかにクラス分けするクラス分類を行うのに用いられるクラスタップとして、前記生徒画像信号から抽出するクラスタップ抽出手段と、
前記生徒画像から検出された動きベクトルの大きさと、前記クラスタップとに基づいて、前記注目画素をクラス分類するクラス分類手段と、
前記生徒画像から検出された動きベクトルから定まり、前記生徒画像における前記注目画素と同じ位置の空間的または時間的に近傍にあるいくつかの画素の画素値を、前記注目画素を予測するのに用いられる予測タップとして、前記生徒画像信号から抽出する予測タップ抽出手段と、
前記注目画素の画素値および前記予測タップに対して、前記注目画素の前記クラスごとに立てられた、前記注目画素の画素値、前記予測タップ、および前記変換係数の関係を示す正規方程式を解くことで、前記クラスごとの前記変換係数を求める係数生成手段と
を備える請求項１２に記載の係数生成装置。
【請求項１４】
予め定められた表示手段に表示された場合に、入力画像が表示されていると観察者が知覚する表示画像の表示画像信号に、前記入力画像の入力画像信号を変換する変換係数を生成する係数生成装置であり、
前記変換係数を求めるために用いられ、前記表示画像に対応する教師画像の教師画像信号に基づいて、前記教師画像と、前記教師画像の１フレーム前の教師画像とを平均して得られる平均画像の平均画像信号を生成する平均画像生成手段と、
前記平均画像の１フレーム前の平均画像に対応する過去画像の過去画像信号を生成する過去画像生成手段と、
前記表示手段に前記過去画像が表示された後、前記平均画像が表示される場合に、前記過去画像から前記平均画像に表示が切り替わるまでの間に前記表示手段に表示される遷移画像の遷移画像信号を生成する遷移画像生成手段と、
前記変換係数を求めるために用いられ、前記入力画像に対応する生徒画像として、前記平均画像が前記表示手段に表示された場合に前記観察者に知覚される視覚画像の視覚画像信号を生成する視覚画像生成手段と、
前記教師画像の注目している注目画素の画素値と、前記生徒画像から検出された動きベクトルから定まり、前記生徒画像における前記注目画素と同じ位置の空間的または時間的に近傍にある画素の画素値とを用いて、前記変換係数を求める演算手段と
を備える係数生成装置の係数生成方法であって、
前記平均画像生成手段が、前記平均画像信号を生成し、
前記過去画像生成手段が、前記平均画像の平均画像信号、および前記平均画像から検出された動きベクトルに基づいて、前記過去画像の過去画像信号を生成し、
前記遷移画像生成手段が、前記平均画像信号および前記過去画像信号に基づいて、前記遷移画像の遷移画像信号を生成し、
前記視覚画像生成手段が、前記過去画像信号、前記遷移画像信号、前記平均画像信号、および前記平均画像から検出された動きベクトルを用いて、前記過去画像、前記遷移画像、および前記平均画像のそれぞれの画素であって、前記過去画像から前記平均画像に表示が切り替わるまでの間に前記観察者が目で追うと予測される画素の画素値の平均値を求め、前記平均値を、前記視覚画像の画素の画素値とすることで、前記視覚画像の視覚画像信号を生成し、
前記演算手段が、前記注目画素の画素値と、前記生徒画像における前記注目画素と同じ位置の空間的または時間的に近傍にある画素の画素値とを用いて、前記変換係数を求める
ステップを含む係数生成方法。
【請求項１５】
予め定められた表示手段に表示された場合に、入力画像が表示されていると観察者が知覚する表示画像の表示画像信号に、前記入力画像の入力画像信号を変換する変換係数を生成する係数生成装置に、
前記変換係数を求めるために用いられ、前記表示画像に対応する教師画像の教師画像信号に基づいて、前記教師画像と、前記教師画像の１フレーム前の教師画像とを平均して得られる平均画像の平均画像信号を生成し、
前記平均画像の平均画像信号、および前記平均画像から検出された動きベクトルに基づいて、前記平均画像の１フレーム前の平均画像に対応する過去画像の過去画像信号を生成し、
前記平均画像信号および前記過去画像信号に基づいて、前記表示手段に前記過去画像が表示された後、前記平均画像が表示される場合に、前記過去画像から前記平均画像に表示が切り替わるまでの間に前記表示手段に表示される遷移画像の遷移画像信号を生成し、
前記過去画像信号、前記遷移画像信号、前記平均画像信号、および前記動きベクトルを用いて、前記過去画像、前記遷移画像、および前記平均画像のそれぞれの画素であって、前記過去画像から前記平均画像に表示が切り替わるまでの間に前記観察者が目で追うと予測される画素の画素値の平均値を求め、前記平均値を、前記平均画像が前記表示手段に表示された場合に前記観察者に知覚される視覚画像の画素の画素値とすることで、前記変換係数を求めるために用いられ、前記入力画像に対応する生徒画像としての前記視覚画像の視覚画像信号を生成し、
前記教師画像の注目している注目画素の画素値と、前記生徒画像から検出された動きベクトルから定まり、前記生徒画像における前記注目画素と同じ位置の空間的または時間的に近傍にある画素の画素値とを用いて、前記変換係数を求める
ステップを含む処理を実行させるプログラム。
【請求項１６】
予め定められた表示手段に表示された場合に、入力画像が表示されていると観察者が知覚する表示画像の表示画像信号に、前記入力画像の入力画像信号を変換する画像生成装置であって、
これから生成しようとする前記表示画像の注目している画素を第１の注目画素とし、前記入力画像から検出された動きベクトルから定まり、前記入力画像における前記第１の注目画素と同じ位置の空間的または時間的に近傍にあるいくつかの画素の画素値を、前記第１の注目画素を予測するのに用いられる予測タップとして、前記入力画像信号から抽出する予測タップ抽出手段と、
予め求められている変換係数と、前記予測タップとを線形結合することにより、前記第１の注目画素の画素値を予測演算する予測演算手段と
を備え、
前記変換係数は、
前記表示画像に対応する教師画像の注目している第２の注目画素の画素値と、
前記入力画像に対応する生徒画像から検出された動きベクトルから定まり、前記生徒画像における、前記第２の注目画素と同じ位置の空間的または時間的に近傍にある画素の画素値と
が用いられて求められ、
前記生徒画像は、
前記教師画像の教師画像信号に基づいて生成され、前記教師画像と、前記教師画像の１フレーム前の教師画像とを平均して得られる平均画像の平均画像信号と、
前記平均画像信号、および前記平均画像から検出された動きベクトルに基づいて生成された、前記平均画像の１フレーム前の平均画像に対応する過去画像の過去画像信号と、
前記表示手段の発光特性を示すモデルと、前記平均画像信号および前記過去画像信号とに基づいて生成された、前記表示手段に前記過去画像が表示された後、前記平均画像が表示される場合に、前記過去画像から前記平均画像に表示が切り替わるまでの間に前記表示手段に表示される遷移画像の遷移画像信号と、
前記平均画像から検出された動きベクトルと
を用いて、
前記過去画像、前記遷移画像、および前記平均画像のそれぞれの画素であって、前記過去画像から前記平均画像に表示が切り替わるまでの間に前記観察者が目で追うと予測される画素の画素値の平均値を求め、前記平均値を、前記平均画像が前記表示手段に表示された場合に前記観察者に知覚される視覚画像の画素の画素値とすることで生成される、前記視覚画像である
画像生成装置。
【請求項１７】
前記入力画像から検出された動きベクトルから定まり、前記入力画像における前記第１の注目画素と同じ位置の空間的または時間的に近傍にあるいくつかの画素の画素値を、前記第１の注目画素を複数のクラスのうちの何れかにクラス分けするクラス分類を行うのに用いられるクラスタップとして、前記入力画像信号から抽出するクラスタップ抽出手段と、
前記入力画像から検出された動きベクトルの大きさと、前記クラスタップとに基づいて、前記第１の注目画素をクラス分類するクラス分類手段と
をさらに備え、
前記予測演算手段は、前記第１の注目画素のクラスに対して予め求められている前記変換係数を用いて、前記第１の注目画素の画素値を予測演算する
請求項１６に記載の画像生成装置。
【請求項１８】
前記変換係数は、
前記生徒画像から検出された動きベクトルから定まり、前記生徒画像における、前記第２の注目画素と同じ位置の空間的または時間的に近傍にあるいくつかの画素の画素値を、前記クラスタップとして、前記生徒画像信号から抽出し、
前記生徒画像から検出された動きベクトルの大きさと、前記生徒画像信号から抽出された前記クラスタップとに基づいて、前記第２の注目画素をクラス分類し、
前記生徒画像から検出された動きベクトルから定まり、前記生徒画像における、前記第２の注目画素と同じ位置の空間的または時間的に近傍にあるいくつかの画素の画素値を、前記予測タップとして、前記生徒画像信号から抽出し、
前記第２の注目画素の画素値および前記生徒画像信号から抽出された前記予測タップに対して、前記第２の注目画素の前記クラスごとに立てられた、前記第２の注目画素の画素値、前記生徒画像信号から抽出された前記予測タップ、および前記変換係数の関係を示す正規方程式を解くことにより、
前記クラスごとに求められる
請求項１７に記載の画像生成装置。
【請求項１９】
予め定められた表示手段に表示された場合に、入力画像が表示されていると観察者が知覚する表示画像の表示画像信号に、前記入力画像の入力画像信号を変換する画像生成装置であり、
これから生成しようとする前記表示画像の注目している画素を第１の注目画素とし、前記入力画像から検出された動きベクトルから定まり、前記入力画像における前記第１の注目画素と同じ位置の空間的または時間的に近傍にあるいくつかの画素の画素値を、前記第１の注目画素を予測するのに用いられる予測タップとして、前記入力画像信号から抽出する予測タップ抽出手段と、
予め求められている変換係数と、前記予測タップとを線形結合することにより、前記第１の注目画素の画素値を予測演算する予測演算手段と
を備える画像生成装置の画像生成方法であって、
前記予測タップ抽出手段が、前記入力画像信号から前記予測タップを抽出し、
前記予測演算手段が、前記変換係数と、前記予測タップとを線形結合することにより、前記第１の注目画素の画素値を予測演算する
ステップを含み、
前記変換係数は、
前記表示画像に対応する教師画像の注目している第２の注目画素の画素値と、
前記入力画像に対応する生徒画像から検出された動きベクトルから定まり、前記生徒画像における、前記第２の注目画素と同じ位置の空間的または時間的に近傍にある画素の画素値と
が用いられて求められ、
前記生徒画像は、
前記教師画像の教師画像信号に基づいて生成され、前記教師画像と、前記教師画像の１フレーム前の教師画像とを平均して得られる平均画像の平均画像信号と、
前記平均画像信号、および前記平均画像から検出された動きベクトルに基づいて生成された、前記平均画像の１フレーム前の平均画像に対応する過去画像の過去画像信号と、
前記表示手段の発光特性を示すモデルと、前記平均画像信号および前記過去画像信号とに基づいて生成された、前記表示手段に前記過去画像が表示された後、前記平均画像が表示される場合に、前記過去画像から前記平均画像に表示が切り替わるまでの間に前記表示手段に表示される遷移画像の遷移画像信号と、
前記平均画像から検出された動きベクトルと
を用いて、
前記過去画像、前記遷移画像、および前記平均画像のそれぞれの画素であって、前記過去画像から前記平均画像に表示が切り替わるまでの間に前記観察者が目で追うと予測される画素の画素値の平均値を求め、前記平均値を、前記平均画像が前記表示手段に表示された場合に前記観察者に知覚される視覚画像の画素の画素値とすることで生成される、前記視覚画像である
画像生成方法。
【請求項２０】
予め定められた表示手段に表示された場合に、入力画像が表示されていると観察者が知覚する表示画像の表示画像信号に、前記入力画像の入力画像信号を変換する画像生成装置に、
これから生成しようとする前記表示画像の注目している画素を第１の注目画素とし、前記入力画像から検出された動きベクトルから定まり、前記入力画像における前記第１の注目画素と同じ位置の空間的または時間的に近傍にあるいくつかの画素の画素値を、前記第１の注目画素を予測するのに用いられる予測タップとして、前記入力画像信号から抽出し、
予め求められている変換係数と、前記予測タップとを線形結合することにより、前記第１の注目画素の画素値を予測演算する
ステップを含む処理を実行させ、
前記変換係数は、
前記表示画像に対応する教師画像の注目している第２の注目画素の画素値と、
前記入力画像に対応する生徒画像から検出された動きベクトルから定まり、前記生徒画像における、前記第２の注目画素と同じ位置の空間的または時間的に近傍にある画素の画素値と
が用いられて求められ、
前記生徒画像は、
前記教師画像の教師画像信号に基づいて生成され、前記教師画像と、前記教師画像の１フレーム前の教師画像とを平均して得られる平均画像の平均画像信号と、
前記平均画像信号、および前記平均画像から検出された動きベクトルに基づいて生成された、前記平均画像の１フレーム前の平均画像に対応する過去画像の過去画像信号と、
前記表示手段の発光特性を示すモデルと、前記平均画像信号および前記過去画像信号とに基づいて生成された、前記表示手段に前記過去画像が表示された後、前記平均画像が表示される場合に、前記過去画像から前記平均画像に表示が切り替わるまでの間に前記表示手段に表示される遷移画像の遷移画像信号と、
前記平均画像から検出された動きベクトルと
を用いて、
前記過去画像、前記遷移画像、および前記平均画像のそれぞれの画素であって、前記過去画像から前記平均画像に表示が切り替わるまでの間に前記観察者が目で追うと予測される画素の画素値の平均値を求め、前記平均値を、前記平均画像が前記表示手段に表示された場合に前記観察者に知覚される視覚画像の画素の画素値とすることで生成される、前記視覚画像である
プログラム。
【請求項１】
予め定められた表示手段に表示された場合に、入力画像が表示されていると観察者が知覚する表示画像の表示画像信号に、前記入力画像の入力画像信号を変換する変換係数を生成する係数生成装置であって、
前記変換係数を求めるために用いられ、前記表示画像に対応する教師画像の教師画像信号、および前記教師画像から検出された動きベクトルに基づいて、前記教師画像の１フレーム前の教師画像に対応する過去画像の過去画像信号を生成する過去画像生成手段と、
前記教師画像信号および前記過去画像信号に基づいて、前記表示手段に前記過去画像が表示された後、前記教師画像が表示される場合に、前記過去画像から前記教師画像に表示が切り替わるまでの間に前記表示手段に表示される遷移画像の遷移画像信号を生成する遷移画像生成手段と、
前記過去画像信号、前記遷移画像信号、前記教師画像信号、および前記動きベクトルを用いて、前記過去画像、前記遷移画像、および前記教師画像のそれぞれの画素であって、前記過去画像から前記教師画像に表示が切り替わるまでの間に前記観察者が目で追うと予測される画素の画素値の平均値を求め、前記平均値を、前記教師画像が前記表示手段に表示された場合に前記観察者に知覚される視覚画像の画素の画素値とすることで、前記変換係数を求めるために用いられ、前記入力画像に対応する生徒画像としての前記視覚画像の視覚画像信号を生成する視覚画像生成手段と、
前記教師画像の注目している注目画素の画素値と、前記生徒画像から検出された動きベクトルから定まり、前記生徒画像における前記注目画素と同じ位置の空間的または時間的に近傍にある画素の画素値とを用いて、前記変換係数を求める演算手段と
を備える係数生成装置。
【請求項２】
前記遷移画像生成手段は、前記表示手段の発光特性を示すモデルと、前記教師画像信号および前記過去画像信号とを用いて、前記遷移画像信号を生成する
請求項１に記載の係数生成装置。
【請求項３】
前記演算手段は、
前記生徒画像から検出された動きベクトルから定まり、前記生徒画像における前記注目画素と同じ位置の空間的または時間的に近傍にあるいくつかの画素の画素値を、前記注目画素を複数のクラスのうちの何れかにクラス分けするクラス分類を行うのに用いられるクラスタップとして、前記生徒画像信号から抽出するクラスタップ抽出手段と、
前記生徒画像から検出された動きベクトルの大きさと、前記クラスタップとに基づいて、前記注目画素をクラス分類するクラス分類手段と、
前記生徒画像から検出された動きベクトルから定まり、前記生徒画像における前記注目画素と同じ位置の空間的または時間的に近傍にあるいくつかの画素の画素値を、前記注目画素を予測するのに用いられる予測タップとして、前記生徒画像信号から抽出する予測タップ抽出手段と、
前記注目画素の画素値および前記予測タップに対して、前記注目画素の前記クラスごとに立てられた、前記注目画素の画素値、前記予測タップ、および前記変換係数の関係を示す正規方程式を解くことで、前記クラスごとの前記変換係数を求める係数生成手段と
を備える請求項２に記載の係数生成装置。
【請求項４】
予め定められた表示手段に表示された場合に、入力画像が表示されていると観察者が知覚する表示画像の表示画像信号に、前記入力画像の入力画像信号を変換する変換係数を生成する係数生成装置であり、
前記変換係数を求めるために用いられ、前記表示画像に対応する教師画像の１フレーム前の教師画像に対応する過去画像の過去画像信号を生成する過去画像生成手段と、
前記表示手段に前記過去画像が表示された後、前記教師画像が表示される場合に、前記過去画像から前記教師画像に表示が切り替わるまでの間に前記表示手段に表示される遷移画像の遷移画像信号を生成する遷移画像生成手段と、
前記変換係数を求めるために用いられ、前記入力画像に対応する生徒画像として、前記教師画像が前記表示手段に表示された場合に前記観察者に知覚される視覚画像の視覚画像信号を生成する視覚画像生成手段と、
前記教師画像の注目している注目画素の画素値と、前記生徒画像から検出された動きベクトルから定まり、前記生徒画像における前記注目画素と同じ位置の空間的または時間的に近傍にある画素の画素値とを用いて、前記変換係数を求める演算手段と
を備える係数生成装置の係数生成方法であって、
前記過去画像生成手段が、前記教師画像の教師画像信号、および前記教師画像から検出された動きベクトルに基づいて、前記過去画像の過去画像信号を生成し、
前記遷移画像生成手段が、前記教師画像信号および前記過去画像信号に基づいて、前記遷移画像の遷移画像信号を生成し、
前記視覚画像生成手段が、前記過去画像信号、前記遷移画像信号、前記教師画像信号、および前記教師画像から検出された動きベクトルを用いて、前記過去画像、前記遷移画像、および前記教師画像のそれぞれの画素であって、前記過去画像から前記教師画像に表示が切り替わるまでの間に前記観察者が目で追うと予測される画素の画素値の平均値を求め、前記平均値を、前記視覚画像の画素の画素値とすることで、前記視覚画像の視覚画像信号を生成し、
前記演算手段が、前記注目画素の画素値と、前記生徒画像における前記注目画素と同じ位置の空間的または時間的に近傍にある画素の画素値とを用いて、前記変換係数を求める
ステップを含む係数生成方法。
【請求項５】
予め定められた表示手段に表示された場合に、入力画像が表示されていると観察者が知覚する表示画像の表示画像信号に、前記入力画像の入力画像信号を変換する変換係数を生成する係数生成装置に、
前記変換係数を求めるために用いられ、前記表示画像に対応する教師画像の教師画像信号、および前記教師画像から検出された動きベクトルに基づいて、前記教師画像の１フレーム前の教師画像に対応する過去画像の過去画像信号を生成し、
前記教師画像信号および前記過去画像信号に基づいて、前記表示手段に前記過去画像が表示された後、前記教師画像が表示される場合に、前記過去画像から前記教師画像に表示が切り替わるまでの間に前記表示手段に表示される遷移画像の遷移画像信号を生成し、
前記過去画像信号、前記遷移画像信号、前記教師画像信号、および前記動きベクトルを用いて、前記過去画像、前記遷移画像、および前記教師画像のそれぞれの画素であって、前記過去画像から前記教師画像に表示が切り替わるまでの間に前記観察者が目で追うと予測される画素の画素値の平均値を求め、前記平均値を、前記教師画像が前記表示手段に表示された場合に前記観察者に知覚される視覚画像の画素の画素値とすることで、前記変換係数を求めるために用いられ、前記入力画像に対応する生徒画像としての前記視覚画像の視覚画像信号を生成し、
前記教師画像の注目している注目画素の画素値と、前記生徒画像から検出された動きベクトルから定まり、前記生徒画像における前記注目画素と同じ位置の空間的または時間的に近傍にある画素の画素値とを用いて、前記変換係数を求める
ステップを含む処理を実行させるプログラム。
【請求項６】
予め定められた表示手段に表示された場合に、入力画像が表示されていると観察者が知覚する表示画像の表示画像信号に、前記入力画像の入力画像信号を変換する画像生成装置であって、
これから生成しようとする前記表示画像の注目している画素を第１の注目画素とし、前記入力画像から検出された動きベクトルから定まり、前記入力画像における前記第１の注目画素と同じ位置の空間的または時間的に近傍にあるいくつかの画素の画素値を、前記第１の注目画素を予測するのに用いられる予測タップとして、前記入力画像信号から抽出する予測タップ抽出手段と、
予め求められている変換係数と、前記予測タップとを線形結合することにより、前記第１の注目画素の画素値を予測演算する予測演算手段と
を備え、
前記変換係数は、
前記表示画像に対応する教師画像の注目している第２の注目画素の画素値と、
前記入力画像に対応する生徒画像から検出された動きベクトルから定まり、前記生徒画像における、前記第２の注目画素と同じ位置の空間的または時間的に近傍にある画素の画素値と
が用いられて求められ、
前記生徒画像は、
前記教師画像の教師画像信号と、
前記教師画像信号、および前記教師画像から検出された動きベクトルに基づいて生成された、前記教師画像の１フレーム前の教師画像に対応する過去画像の過去画像信号と、
前記表示手段の発光特性を示すモデルと、前記教師画像信号および前記過去画像信号とに基づいて生成された、前記表示手段に前記過去画像が表示された後、前記教師画像が表示される場合に、前記過去画像から前記教師画像に表示が切り替わるまでの間に前記表示手段に表示される遷移画像の遷移画像信号と、
前記教師画像から検出された動きベクトルと
を用いて、
前記過去画像、前記遷移画像、および前記教師画像のそれぞれの画素であって、前記過去画像から前記教師画像に表示が切り替わるまでの間に前記観察者が目で追うと予測される画素の画素値の平均値を求め、前記平均値を、前記教師画像が前記表示手段に表示された場合に前記観察者に知覚される視覚画像の画素の画素値とすることで生成される、前記視覚画像である
画像生成装置。
【請求項７】
前記入力画像から検出された動きベクトルから定まり、前記入力画像における前記第１の注目画素と同じ位置の空間的または時間的に近傍にあるいくつかの画素の画素値を、前記第１の注目画素を複数のクラスのうちの何れかにクラス分けするクラス分類を行うのに用いられるクラスタップとして、前記入力画像信号から抽出するクラスタップ抽出手段と、
前記入力画像から検出された動きベクトルの大きさと、前記クラスタップとに基づいて、前記第１の注目画素をクラス分類するクラス分類手段と
をさらに備え、
前記予測演算手段は、前記第１の注目画素のクラスに対して予め求められている前記変換係数を用いて、前記第１の注目画素の画素値を予測演算する
請求項６に記載の画像生成装置。
【請求項８】
前記変換係数は、
前記生徒画像から検出された動きベクトルから定まり、前記生徒画像における、前記第２の注目画素と同じ位置の空間的または時間的に近傍にあるいくつかの画素の画素値を、前記クラスタップとして、前記生徒画像信号から抽出し、
前記生徒画像から検出された動きベクトルの大きさと、前記生徒画像信号から抽出された前記クラスタップとに基づいて、前記第２の注目画素をクラス分類し、
前記生徒画像から検出された動きベクトルから定まり、前記生徒画像における、前記第２の注目画素と同じ位置の空間的または時間的に近傍にあるいくつかの画素の画素値を、前記予測タップとして、前記生徒画像信号から抽出し、
前記第２の注目画素の画素値および前記生徒画像信号から抽出された前記予測タップに対して、前記第２の注目画素の前記クラスごとに立てられた、前記第２の注目画素の画素値、前記生徒画像信号から抽出された前記予測タップ、および前記変換係数の関係を示す正規方程式を解くことにより、
前記クラスごとに求められる
請求項７に記載の画像生成装置。
【請求項９】
予め定められた表示手段に表示された場合に、入力画像が表示されていると観察者が知覚する表示画像の表示画像信号に、前記入力画像の入力画像信号を変換する画像生成装置であり、
これから生成しようとする前記表示画像の注目している画素を第１の注目画素とし、前記入力画像から検出された動きベクトルから定まり、前記入力画像における前記第１の注目画素と同じ位置の空間的または時間的に近傍にあるいくつかの画素の画素値を、前記第１の注目画素を予測するのに用いられる予測タップとして、前記入力画像信号から抽出する予測タップ抽出手段と、
予め求められている変換係数と、前記予測タップとを線形結合することにより、前記第１の注目画素の画素値を予測演算する予測演算手段と
を備える画像生成装置の画像生成方法であって、
前記予測タップ抽出手段が、前記入力画像信号から前記予測タップを抽出し、
前記予測演算手段が、前記変換係数と、前記予測タップとを線形結合することにより、前記第１の注目画素の画素値を予測演算する
ステップを含み、
前記変換係数は、
前記表示画像に対応する教師画像の注目している第２の注目画素の画素値と、
前記入力画像に対応する生徒画像から検出された動きベクトルから定まり、前記生徒画像における、前記第２の注目画素と同じ位置の空間的または時間的に近傍にある画素の画素値と
が用いられて求められ、
前記生徒画像は、
前記教師画像の教師画像信号と、
前記教師画像信号、および前記教師画像から検出された動きベクトルに基づいて生成された、前記教師画像の１フレーム前の教師画像に対応する過去画像の過去画像信号と、
前記表示手段の発光特性を示すモデルと、前記教師画像信号および前記過去画像信号とに基づいて生成された、前記表示手段に前記過去画像が表示された後、前記教師画像が表示される場合に、前記過去画像から前記教師画像に表示が切り替わるまでの間に前記表示手段に表示される遷移画像の遷移画像信号と、
前記教師画像から検出された動きベクトルと
を用いて、
前記過去画像、前記遷移画像、および前記教師画像のそれぞれの画素であって、前記過去画像から前記教師画像に表示が切り替わるまでの間に前記観察者が目で追うと予測される画素の画素値の平均値を求め、前記平均値を、前記教師画像が前記表示手段に表示された場合に前記観察者に知覚される視覚画像の画素の画素値とすることで生成される、前記視覚画像である
画像生成方法。
【請求項１０】
予め定められた表示手段に表示された場合に、入力画像が表示されていると観察者が知覚する表示画像の表示画像信号に、前記入力画像の入力画像信号を変換する画像生成装置に、
これから生成しようとする前記表示画像の注目している画素を第１の注目画素とし、前記入力画像から検出された動きベクトルから定まり、前記入力画像における前記第１の注目画素と同じ位置の空間的または時間的に近傍にあるいくつかの画素の画素値を、前記第１の注目画素を予測するのに用いられる予測タップとして、前記入力画像信号から抽出し、
予め求められている変換係数と、前記予測タップとを線形結合することにより、前記第１の注目画素の画素値を予測演算する
ステップを含む処理を実行させ、
前記変換係数は、
前記表示画像に対応する教師画像の注目している第２の注目画素の画素値と、
前記入力画像に対応する生徒画像から検出された動きベクトルから定まり、前記生徒画像における、前記第２の注目画素と同じ位置の空間的または時間的に近傍にある画素の画素値と
が用いられて求められ、
前記生徒画像は、
前記教師画像の教師画像信号と、
前記教師画像信号、および前記教師画像から検出された動きベクトルに基づいて生成された、前記教師画像の１フレーム前の教師画像に対応する過去画像の過去画像信号と、
前記表示手段の発光特性を示すモデルと、前記教師画像信号および前記過去画像信号とに基づいて生成された、前記表示手段に前記過去画像が表示された後、前記教師画像が表示される場合に、前記過去画像から前記教師画像に表示が切り替わるまでの間に前記表示手段に表示される遷移画像の遷移画像信号と、
前記教師画像から検出された動きベクトルと
を用いて、
前記過去画像、前記遷移画像、および前記教師画像のそれぞれの画素であって、前記過去画像から前記教師画像に表示が切り替わるまでの間に前記観察者が目で追うと予測される画素の画素値の平均値を求め、前記平均値を、前記教師画像が前記表示手段に表示された場合に前記観察者に知覚される視覚画像の画素の画素値とすることで生成される、前記視覚画像である
プログラム。
【請求項１１】
予め定められた表示手段に表示された場合に、入力画像が表示されていると観察者が知覚する表示画像の表示画像信号に、前記入力画像の入力画像信号を変換する変換係数を生成する係数生成装置であって、
前記変換係数を求めるために用いられ、前記表示画像に対応する教師画像の教師画像信号に基づいて、前記教師画像と、前記教師画像の１フレーム前の教師画像とを平均して得られる平均画像の平均画像信号を生成する平均画像生成手段と、
前記平均画像信号、および前記平均画像から検出された動きベクトルに基づいて、前記平均画像の１フレーム前の平均画像に対応する過去画像の過去画像信号を生成する過去画像生成手段と、
前記平均画像信号および前記過去画像信号に基づいて、前記表示手段に前記過去画像が表示された後、前記平均画像が表示される場合に、前記過去画像から前記平均画像に表示が切り替わるまでの間に前記表示手段に表示される遷移画像の遷移画像信号を生成する遷移画像生成手段と、
前記過去画像信号、前記遷移画像信号、前記平均画像信号、および前記動きベクトルを用いて、前記過去画像、前記遷移画像、および前記平均画像のそれぞれの画素であって、前記過去画像から前記平均画像に表示が切り替わるまでの間に前記観察者が目で追うと予測される画素の画素値の平均値を求め、前記平均値を、前記平均画像が前記表示手段に表示された場合に前記観察者に知覚される視覚画像の画素の画素値とすることで、前記変換係数を求めるために用いられ、前記入力画像に対応する生徒画像としての前記視覚画像の視覚画像信号を生成する視覚画像生成手段と、
前記教師画像の注目している注目画素の画素値と、前記生徒画像から検出された動きベクトルから定まり、前記生徒画像における前記注目画素と同じ位置の空間的または時間的に近傍にある画素の画素値とを用いて、前記変換係数を求める演算手段と
を備える係数生成装置。
【請求項１２】
前記遷移画像生成手段は、前記表示手段の発光特性を示すモデルと、前記平均画像信号および前記過去画像信号とを用いて、前記遷移画像信号を生成する
請求項１１に記載の係数生成装置。
【請求項１３】
前記演算手段は、
前記生徒画像から検出された動きベクトルから定まり、前記生徒画像における前記注目画素と同じ位置の空間的または時間的に近傍にあるいくつかの画素の画素値を、前記注目画素を複数のクラスのうちの何れかにクラス分けするクラス分類を行うのに用いられるクラスタップとして、前記生徒画像信号から抽出するクラスタップ抽出手段と、
前記生徒画像から検出された動きベクトルの大きさと、前記クラスタップとに基づいて、前記注目画素をクラス分類するクラス分類手段と、
前記生徒画像から検出された動きベクトルから定まり、前記生徒画像における前記注目画素と同じ位置の空間的または時間的に近傍にあるいくつかの画素の画素値を、前記注目画素を予測するのに用いられる予測タップとして、前記生徒画像信号から抽出する予測タップ抽出手段と、
前記注目画素の画素値および前記予測タップに対して、前記注目画素の前記クラスごとに立てられた、前記注目画素の画素値、前記予測タップ、および前記変換係数の関係を示す正規方程式を解くことで、前記クラスごとの前記変換係数を求める係数生成手段と
を備える請求項１２に記載の係数生成装置。
【請求項１４】
予め定められた表示手段に表示された場合に、入力画像が表示されていると観察者が知覚する表示画像の表示画像信号に、前記入力画像の入力画像信号を変換する変換係数を生成する係数生成装置であり、
前記変換係数を求めるために用いられ、前記表示画像に対応する教師画像の教師画像信号に基づいて、前記教師画像と、前記教師画像の１フレーム前の教師画像とを平均して得られる平均画像の平均画像信号を生成する平均画像生成手段と、
前記平均画像の１フレーム前の平均画像に対応する過去画像の過去画像信号を生成する過去画像生成手段と、
前記表示手段に前記過去画像が表示された後、前記平均画像が表示される場合に、前記過去画像から前記平均画像に表示が切り替わるまでの間に前記表示手段に表示される遷移画像の遷移画像信号を生成する遷移画像生成手段と、
前記変換係数を求めるために用いられ、前記入力画像に対応する生徒画像として、前記平均画像が前記表示手段に表示された場合に前記観察者に知覚される視覚画像の視覚画像信号を生成する視覚画像生成手段と、
前記教師画像の注目している注目画素の画素値と、前記生徒画像から検出された動きベクトルから定まり、前記生徒画像における前記注目画素と同じ位置の空間的または時間的に近傍にある画素の画素値とを用いて、前記変換係数を求める演算手段と
を備える係数生成装置の係数生成方法であって、
前記平均画像生成手段が、前記平均画像信号を生成し、
前記過去画像生成手段が、前記平均画像の平均画像信号、および前記平均画像から検出された動きベクトルに基づいて、前記過去画像の過去画像信号を生成し、
前記遷移画像生成手段が、前記平均画像信号および前記過去画像信号に基づいて、前記遷移画像の遷移画像信号を生成し、
前記視覚画像生成手段が、前記過去画像信号、前記遷移画像信号、前記平均画像信号、および前記平均画像から検出された動きベクトルを用いて、前記過去画像、前記遷移画像、および前記平均画像のそれぞれの画素であって、前記過去画像から前記平均画像に表示が切り替わるまでの間に前記観察者が目で追うと予測される画素の画素値の平均値を求め、前記平均値を、前記視覚画像の画素の画素値とすることで、前記視覚画像の視覚画像信号を生成し、
前記演算手段が、前記注目画素の画素値と、前記生徒画像における前記注目画素と同じ位置の空間的または時間的に近傍にある画素の画素値とを用いて、前記変換係数を求める
ステップを含む係数生成方法。
【請求項１５】
予め定められた表示手段に表示された場合に、入力画像が表示されていると観察者が知覚する表示画像の表示画像信号に、前記入力画像の入力画像信号を変換する変換係数を生成する係数生成装置に、
前記変換係数を求めるために用いられ、前記表示画像に対応する教師画像の教師画像信号に基づいて、前記教師画像と、前記教師画像の１フレーム前の教師画像とを平均して得られる平均画像の平均画像信号を生成し、
前記平均画像の平均画像信号、および前記平均画像から検出された動きベクトルに基づいて、前記平均画像の１フレーム前の平均画像に対応する過去画像の過去画像信号を生成し、
前記平均画像信号および前記過去画像信号に基づいて、前記表示手段に前記過去画像が表示された後、前記平均画像が表示される場合に、前記過去画像から前記平均画像に表示が切り替わるまでの間に前記表示手段に表示される遷移画像の遷移画像信号を生成し、
前記過去画像信号、前記遷移画像信号、前記平均画像信号、および前記動きベクトルを用いて、前記過去画像、前記遷移画像、および前記平均画像のそれぞれの画素であって、前記過去画像から前記平均画像に表示が切り替わるまでの間に前記観察者が目で追うと予測される画素の画素値の平均値を求め、前記平均値を、前記平均画像が前記表示手段に表示された場合に前記観察者に知覚される視覚画像の画素の画素値とすることで、前記変換係数を求めるために用いられ、前記入力画像に対応する生徒画像としての前記視覚画像の視覚画像信号を生成し、
前記教師画像の注目している注目画素の画素値と、前記生徒画像から検出された動きベクトルから定まり、前記生徒画像における前記注目画素と同じ位置の空間的または時間的に近傍にある画素の画素値とを用いて、前記変換係数を求める
ステップを含む処理を実行させるプログラム。
【請求項１６】
予め定められた表示手段に表示された場合に、入力画像が表示されていると観察者が知覚する表示画像の表示画像信号に、前記入力画像の入力画像信号を変換する画像生成装置であって、
これから生成しようとする前記表示画像の注目している画素を第１の注目画素とし、前記入力画像から検出された動きベクトルから定まり、前記入力画像における前記第１の注目画素と同じ位置の空間的または時間的に近傍にあるいくつかの画素の画素値を、前記第１の注目画素を予測するのに用いられる予測タップとして、前記入力画像信号から抽出する予測タップ抽出手段と、
予め求められている変換係数と、前記予測タップとを線形結合することにより、前記第１の注目画素の画素値を予測演算する予測演算手段と
を備え、
前記変換係数は、
前記表示画像に対応する教師画像の注目している第２の注目画素の画素値と、
前記入力画像に対応する生徒画像から検出された動きベクトルから定まり、前記生徒画像における、前記第２の注目画素と同じ位置の空間的または時間的に近傍にある画素の画素値と
が用いられて求められ、
前記生徒画像は、
前記教師画像の教師画像信号に基づいて生成され、前記教師画像と、前記教師画像の１フレーム前の教師画像とを平均して得られる平均画像の平均画像信号と、
前記平均画像信号、および前記平均画像から検出された動きベクトルに基づいて生成された、前記平均画像の１フレーム前の平均画像に対応する過去画像の過去画像信号と、
前記表示手段の発光特性を示すモデルと、前記平均画像信号および前記過去画像信号とに基づいて生成された、前記表示手段に前記過去画像が表示された後、前記平均画像が表示される場合に、前記過去画像から前記平均画像に表示が切り替わるまでの間に前記表示手段に表示される遷移画像の遷移画像信号と、
前記平均画像から検出された動きベクトルと
を用いて、
前記過去画像、前記遷移画像、および前記平均画像のそれぞれの画素であって、前記過去画像から前記平均画像に表示が切り替わるまでの間に前記観察者が目で追うと予測される画素の画素値の平均値を求め、前記平均値を、前記平均画像が前記表示手段に表示された場合に前記観察者に知覚される視覚画像の画素の画素値とすることで生成される、前記視覚画像である
画像生成装置。
【請求項１７】
前記入力画像から検出された動きベクトルから定まり、前記入力画像における前記第１の注目画素と同じ位置の空間的または時間的に近傍にあるいくつかの画素の画素値を、前記第１の注目画素を複数のクラスのうちの何れかにクラス分けするクラス分類を行うのに用いられるクラスタップとして、前記入力画像信号から抽出するクラスタップ抽出手段と、
前記入力画像から検出された動きベクトルの大きさと、前記クラスタップとに基づいて、前記第１の注目画素をクラス分類するクラス分類手段と
をさらに備え、
前記予測演算手段は、前記第１の注目画素のクラスに対して予め求められている前記変換係数を用いて、前記第１の注目画素の画素値を予測演算する
請求項１６に記載の画像生成装置。
【請求項１８】
前記変換係数は、
前記生徒画像から検出された動きベクトルから定まり、前記生徒画像における、前記第２の注目画素と同じ位置の空間的または時間的に近傍にあるいくつかの画素の画素値を、前記クラスタップとして、前記生徒画像信号から抽出し、
前記生徒画像から検出された動きベクトルの大きさと、前記生徒画像信号から抽出された前記クラスタップとに基づいて、前記第２の注目画素をクラス分類し、
前記生徒画像から検出された動きベクトルから定まり、前記生徒画像における、前記第２の注目画素と同じ位置の空間的または時間的に近傍にあるいくつかの画素の画素値を、前記予測タップとして、前記生徒画像信号から抽出し、
前記第２の注目画素の画素値および前記生徒画像信号から抽出された前記予測タップに対して、前記第２の注目画素の前記クラスごとに立てられた、前記第２の注目画素の画素値、前記生徒画像信号から抽出された前記予測タップ、および前記変換係数の関係を示す正規方程式を解くことにより、
前記クラスごとに求められる
請求項１７に記載の画像生成装置。
【請求項１９】
予め定められた表示手段に表示された場合に、入力画像が表示されていると観察者が知覚する表示画像の表示画像信号に、前記入力画像の入力画像信号を変換する画像生成装置であり、
これから生成しようとする前記表示画像の注目している画素を第１の注目画素とし、前記入力画像から検出された動きベクトルから定まり、前記入力画像における前記第１の注目画素と同じ位置の空間的または時間的に近傍にあるいくつかの画素の画素値を、前記第１の注目画素を予測するのに用いられる予測タップとして、前記入力画像信号から抽出する予測タップ抽出手段と、
予め求められている変換係数と、前記予測タップとを線形結合することにより、前記第１の注目画素の画素値を予測演算する予測演算手段と
を備える画像生成装置の画像生成方法であって、
前記予測タップ抽出手段が、前記入力画像信号から前記予測タップを抽出し、
前記予測演算手段が、前記変換係数と、前記予測タップとを線形結合することにより、前記第１の注目画素の画素値を予測演算する
ステップを含み、
前記変換係数は、
前記表示画像に対応する教師画像の注目している第２の注目画素の画素値と、
前記入力画像に対応する生徒画像から検出された動きベクトルから定まり、前記生徒画像における、前記第２の注目画素と同じ位置の空間的または時間的に近傍にある画素の画素値と
が用いられて求められ、
前記生徒画像は、
前記教師画像の教師画像信号に基づいて生成され、前記教師画像と、前記教師画像の１フレーム前の教師画像とを平均して得られる平均画像の平均画像信号と、
前記平均画像信号、および前記平均画像から検出された動きベクトルに基づいて生成された、前記平均画像の１フレーム前の平均画像に対応する過去画像の過去画像信号と、
前記表示手段の発光特性を示すモデルと、前記平均画像信号および前記過去画像信号とに基づいて生成された、前記表示手段に前記過去画像が表示された後、前記平均画像が表示される場合に、前記過去画像から前記平均画像に表示が切り替わるまでの間に前記表示手段に表示される遷移画像の遷移画像信号と、
前記平均画像から検出された動きベクトルと
を用いて、
前記過去画像、前記遷移画像、および前記平均画像のそれぞれの画素であって、前記過去画像から前記平均画像に表示が切り替わるまでの間に前記観察者が目で追うと予測される画素の画素値の平均値を求め、前記平均値を、前記平均画像が前記表示手段に表示された場合に前記観察者に知覚される視覚画像の画素の画素値とすることで生成される、前記視覚画像である
画像生成方法。
【請求項２０】
予め定められた表示手段に表示された場合に、入力画像が表示されていると観察者が知覚する表示画像の表示画像信号に、前記入力画像の入力画像信号を変換する画像生成装置に、
これから生成しようとする前記表示画像の注目している画素を第１の注目画素とし、前記入力画像から検出された動きベクトルから定まり、前記入力画像における前記第１の注目画素と同じ位置の空間的または時間的に近傍にあるいくつかの画素の画素値を、前記第１の注目画素を予測するのに用いられる予測タップとして、前記入力画像信号から抽出し、
予め求められている変換係数と、前記予測タップとを線形結合することにより、前記第１の注目画素の画素値を予測演算する
ステップを含む処理を実行させ、
前記変換係数は、
前記表示画像に対応する教師画像の注目している第２の注目画素の画素値と、
前記入力画像に対応する生徒画像から検出された動きベクトルから定まり、前記生徒画像における、前記第２の注目画素と同じ位置の空間的または時間的に近傍にある画素の画素値と
が用いられて求められ、
前記生徒画像は、
前記教師画像の教師画像信号に基づいて生成され、前記教師画像と、前記教師画像の１フレーム前の教師画像とを平均して得られる平均画像の平均画像信号と、
前記平均画像信号、および前記平均画像から検出された動きベクトルに基づいて生成された、前記平均画像の１フレーム前の平均画像に対応する過去画像の過去画像信号と、
前記表示手段の発光特性を示すモデルと、前記平均画像信号および前記過去画像信号とに基づいて生成された、前記表示手段に前記過去画像が表示された後、前記平均画像が表示される場合に、前記過去画像から前記平均画像に表示が切り替わるまでの間に前記表示手段に表示される遷移画像の遷移画像信号と、
前記平均画像から検出された動きベクトルと
を用いて、
前記過去画像、前記遷移画像、および前記平均画像のそれぞれの画素であって、前記過去画像から前記平均画像に表示が切り替わるまでの間に前記観察者が目で追うと予測される画素の画素値の平均値を求め、前記平均値を、前記平均画像が前記表示手段に表示された場合に前記観察者に知覚される視覚画像の画素の画素値とすることで生成される、前記視覚画像である
プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【公開番号】特開２０１０−１４８７９（Ｐ２０１０−１４８７９Ａ）
【公開日】平成２２年１月２１日（２０１０．１．２１）
【国際特許分類】
【出願番号】特願２００８−１７３４５９（Ｐ２００８−１７３４５９）
【出願日】平成２０年７月２日（２００８．７．２）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２２年１月２１日（２０１０．１．２１）
【国際特許分類】
【出願日】平成２０年７月２日（２００８．７．２）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]