画像処理装置、および画像処理方法、並びにプログラム
【課題】フィルタリング処理を簡略化した超解像処理を実現する装置および方法を提供する。
【解決手段】低解像度の入力画像を、高解像度画像の持つ画素数に合わせたアップサンプル画像を生成し、高解像度の参照画像をアップサンプル画像の被写体位置に合わせた動き補償画像を生成し、アップサンプル画像と動き補償画像を画像領域単位で比較し、領域単位の画素値一致度が高い領域ほど参照画像のブレンド比率を高く設定してアップサンプル画像と参照画像をブレンドしたブレンド画像を生成する。さらに、ブレンド画像と入力画像の差分を生成し、ブレンド画像と差分情報との合成処理により高解像度画像を生成する。差分情報の生成処理に必要とするフィルタリング処理を２回以下として、装置の小型化、処理の効率化を実現した。
【解決手段】低解像度の入力画像を、高解像度画像の持つ画素数に合わせたアップサンプル画像を生成し、高解像度の参照画像をアップサンプル画像の被写体位置に合わせた動き補償画像を生成し、アップサンプル画像と動き補償画像を画像領域単位で比較し、領域単位の画素値一致度が高い領域ほど参照画像のブレンド比率を高く設定してアップサンプル画像と参照画像をブレンドしたブレンド画像を生成する。さらに、ブレンド画像と入力画像の差分を生成し、ブレンド画像と差分情報との合成処理により高解像度画像を生成する。差分情報の生成処理に必要とするフィルタリング処理を２回以下として、装置の小型化、処理の効率化を実現した。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、および画像処理方法、並びにプログラムに関する。特に、画像の解像度を高める超解像処理を実行する画像処理装置、および画像処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
低解像度の画像から高解像度の画像を生成する手法として超解像処理（ＳＲ：Ｓｕｐｅｒ Ｒｅｓｏｌｕｔｉｏｎ）が知られている。超解像処理（ＳＲ）は低解像度の画像から高解像度の画像を生成する処理である。
【０００３】
超解像処理の一手法として、例えば、低解像度の画像の撮影画像に基づいて、「レンズ、大気散乱によるボケ」、「被写体、カメラ全体の動き」、「撮像素子によるサンプリング」等の撮影条件を示すパラメータを導き出して、これらのパラメータを用いて理想的な高解像度の画像を推定する再構成型超解像手法がある。
この超解像処理の手法について開示した従来技術としては、例えば、特許文献１（特開２００８−１４００１２号公報）がある。
【０００４】
この再構成型超解像手法の手順の概要は以下の通りである。
（１）ボケ、動き、サンプリング等を考慮した画像撮影モデルを数式で表現する。
（２）上記の数式モデルで表現した画像撮影モデルから、コスト算出式を求める。この際、ベイズ理論を用いて事前確立等の正則化項を追加する場合もある。
（３）コストを最小とする画像を求める。
これらの処理によって、高解像度画像を求める手法である。この再構成型超解像手法によって得られる高解像度画像は入力画像に依存するものの、超解像効果(解像度復元効果)は高い。
【０００５】
超解像処理を実行する回路構成例を図１に示す。図１は超解像処理装置１０の回路構成例を示している。
超解像処理装置１０には、解像度を高める処理の対象となる低解像度画像ｇｎ３１がアップサンプル部１１に入力され、画素数の変換（画像拡大処理）が実行される。具体的には、アップサンプル部１１では、入力画像の画素数を出力予定の画像（ＳＲ処理画像ｆｎ３２）の画素数に合わせる画像拡大処理、例えば１画素を複数画素に分割設定する処理を行う。
【０００６】
動き推定／動き補償画像生成部１２は、前フレームの処理において生成された高解像度画像ｆｎ−１、アップサンプリングした低解像度画像ｇｎ間の動きの大きさを検出する。具体的には動きベクトルを計算する。さらに、検出した動きベクトルを利用して、高解像度画像ｆｎ−１に対する動き補償処理（ＭＣ）を行う。これにより高解像度画像ｆｎ−１に動き補償処理が施され、アップサンプリングした低解像度画像ｇｎと被写体の位置が同じに設定された動き補償画像が生成される。ただし、画像内部に動被写体等がある場合などには、動き補償画像にアップサンプリングした低解像度画像ｇｎと被写体位置のずれてしまう画像領域、すなわち動き補償失敗領域が発生することがある。
【０００７】
動き判定部１３では、動き補償（ＭＣ）処理により生成された動き補償高解像度画像、及びアップサンプルした低解像度画像を比較して、動き補償（ＭＣ）がうまく適用できていない領域、すなわち、上記の動き補償失敗領域を検出する。例えば上述したように被写体自身が動いている画像部分などに動き補償失敗領域が発生する。
【０００８】
高解像度画像ｆｎ−１の動き補償画像と、アップサンプリングした低解像度画像ｇｎと被写体の位置が同じに設定された領域を動き補償成功領域とし、同じ位置に設定されなかった領域を動き領域失敗領域として区別した動き領域情報（αマップ［０：１］）を生成して出力する。動き領域情報（αマップ［０：１］）は、成功領域〜失敗領域の信頼度に応じて１〜０の範囲の値を設定したマップである。簡易的に例えば動き補償成功領域を１、動き補償失敗領域を０として設定したマップとして設定することも可能である。
【０００９】
ブレンド処理部１４は、動き推定／動き補償画像生成部１２の生成した高解像度画像ｆｎ−１に対する動き補償結果画像、
アップサンプリング部１１で低解像度画像（ｇｎ）３１に対してアップサンプリングされたアップサンプル画像、
動き領域情報（αマップ［０：１］）、
これらを入力する。
【００１０】
ブレンド処理部１４は、これらの入力情報を利用して、以下の式に基づいてブレンド結果としてのブレンド画像を出力する。
ブレンド画像＝（１−α）（アップサンプル画像）+α（動き補償結果画像）
このブレンド処理により、動き補償成功領域については動き補償結果画像のブレント比率が高まり、動き補償失敗領域については動き補償結果画像のブレント比率が低められたブレンド画像が生成される。
【００１１】
ボケ付加部１５は、ブレンド処理部１４の生成したブレンド画像を入力して空間解像度の劣化をシミュレーションする処理を行う。例えば、あらかじめ測定しておいた点広がり関数（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）をフィルタとして画像へ畳み込みを行う。
【００１２】
ダウンサンプル部１６では、高解像度画像を入力画像と同じ解像度までダウンサンプリング処理を実行する。その後、差分器１７では、ダウンサンプル部１６、低解像度画像ｇｎの画素毎の差分値を計算する。差分値は、アップサンプル部１８でアップサンプル処理が実行される。さらに、逆ボケ付加部１９で、ボケの付加処理と逆の処理を行う。動作としては、ボケ付加部１５で用いた点広がり関数（ＰＳＦ：Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）との相関の計算に相当する処理を行う。
【００１３】
逆ボケ付加部１９の出力は、乗算器２０において予め設定した帰還係数γと乗算後、加算器２１に出力され、プレンド処理部１４の出力するブレンド画像と加算され、出力される。
この加算器２１の出力が入力画像ｇｎ３１を高解像度化した画像（ＳＲ処理画像３２）となる。
【００１４】
この図１に示す超解像処理装置１０の実行する処理を式で示すと以下のように表現することが可能である。
【００１５】
【数１】
・・・（式１）
【００１６】
なお、上記式（式１）において、各パラメータは以下のパラメータである。
ｎ：フレーム番号（ｎ−１フレームとｎフレームは例えば動画の連続フレーム）
ｇｎ：入力画像（ｎフレームの低解像度画像）
ｆｎＳＲ：フレームｎの超解像処理結果画像（＝高解像度画像）
ｆｎ−１ＳＲ：フレームｎ−１の超解像処理結果画像（＝高解像度画像）
Ｗｎ：フレームｎのフレームｎ−１に対する動き情報（動きベクトルまたは行列など）
Ｈ：ボケ付加処理（ボケフィルタ行列）
Ｄ：ダウンサンプル処理（ダウンサンプル処理行列）
（Ｗｎｆｎ−１ＳＲ）'：ブレンド処理部の出力するブレンド画像
γＳＲ：帰還係数
ＨＴ：Ｈの転置行列
ＤＴ：Ｄの転置行列
【００１７】
図１に示す超解像処理回路１０を実現するハードウェアを構成する場合の問題点として回路規模の増大や処理効率の低下といつた問題がある。例えば、図１に示すアップサンプル部，ダウンサンプル部、ボケ付加部、逆ボケ付加部の処理にはフィルタ処理が適用されることになり、これら多くのフィルタリング処理を行うためには画素値の記憶のためのＲＡＭが必要となる。フィルタリングのタップ数が大きくなると、必要となるメモリ容量も大きくなり、メモリアクセスを高速に行うためには、高性能のＣＰＵ等が必要となり、ハードウェアの大型化、コストの増大が懸念される。
【先行技術文献】
【特許文献】
【００１８】
【特許文献１】特開２００８−１４００１２号公報
【発明の概要】
【発明が解決しようとする課題】
【００１９】
本発明は、例えば上記問題点に鑑みてなされたものであり、回路規模の縮小や処理の効率化を実現した超解像処理を実現する画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【００２０】
本発明の第１の側面は、
第１の解像度の入力画像を、前記第１の解像度より高い第２の解像度の画像の持つ画素数に合わせるアップサンプル処理を実行するアップサンプル部と、
前記アップサンプル画像と、前記第２の解像度を持つ参照画像との差分情報を利用して、前記参照画像を前記アップサンプル画像の被写体位置に合わせる補正処理により動き補償画像を生成する動き補償画像生成部と、
前記アップサンプル画像と前記動き補償画像を画像領域単位で比較し、領域単位の画素値一致度が高い領域ほど参照画像のブレンド比率を高く設定して、前記アップサンプル画像と前記参照画像とのブレンド処理を実行してブレンド画像を生成するブレンド処理部と、
前記ブレンド画像と前記入力画像の差分情報を生成し、前記ブレンド画像と前記差分情報との合成により第２の解像度を持つ高解像度画像を生成する出力画像生成部を有し、
前記出力画像生成部は、前記差分情報の生成処理に必要とするフィルタリング処理を２回以下とした構成を有する画像処理装置にある。
【００２１】
さらに、本発明の画像処理装置の一実施態様において、前記出力画像生成部は、前記ブレンド画像に対するボケ付加処理を実行するボケ付加部と、前記ボケ付加部の出力画像を前記第１の解像度の構成画素数まで低下させる画素間引き処理を実行するサブサンプル部と、前記入力画像と、前記サブサンプル部の出力画像との対応画素値の差分情報を出力する差分器と、差分器の出力する差分画像を前記第２の解像度の画素数に合わせるための０画素値のパディング処理を実行する０パディング処理部と、前記０パディング処理部の処理結果に対して、前記ボケ付加処理と逆の処理である逆ボケ付加処理を実行する逆ボケ付加部と、前記逆ボケ付加部の出力画像に対して予め設定した帰還係数を乗算する乗算器と、前記ブレンド画像と、前記乗算器の出力との対応画素値の加算処理を実行する加算器を有する。
【００２２】
さらに、本発明の画像処理装置の一実施態様において、前記出力画像生成部は、前記ブレンド画像を前記第１の解像度の構成画素数まで低下させるダウンサンプル処理を実行するダウンサンプル部と、前記入力画像と、前記ダウンサンプル部の出力画像との対応画素値の差分情報を出力する差分器と、差分器の出力する差分画像を前記第２の解像度の画素数に合わせるアップサンプル処理を実行するアップサンプル部と、前記アップサンプル部の出力画像に対して予め設定した帰還係数を乗算する乗算器と、前記ブレンド画像と、前記乗算器の出力との対応画素値の加算処理を実行する加算器を有する。
【００２３】
さらに、本発明の画像処理装置の一実施態様において、前記出力画像生成部は、前記ブレンド画像を前記第１の解像度の構成画素数まで低下させるダウンサンプル処理と、前記第２の解像度の画素数に合わせるアップサンプル処理を実行する統合フィルタと、前記統合フィルタの出力に対して、予め設定した帰還係数を乗算する第１乗算器と、前記ブレンド画像と、前記乗算器の出力との対応画素値の差分を算出する差分器と、前記入力画像に対するアップサンプル処理を実行するアップサンプル部の出力に対して、予め設定した帰還係数を乗算する第２乗算器と、前記差分器の出力と前記第２乗算器の出力との加算処理を実行する加算器を有する。
【００２４】
さらに、本発明の画像処理装置の一実施態様において、前記統合フィルタは、位相ごとに異なる値を畳み込むポリフェーズフィルタによって構成される。
【００２５】
さらに、本発明の第２の側面は、
画像処理装置において解像度変換処理を実行する画像処理方法であり、
アップサンプル部が、第１の解像度の入力画像を、前記第１の解像度より高い第２の解像度の画像の持つ画素数に合わせるアップサンプル処理を実行するアップサンプル処理ステップと、
動き補償画像生成部が、前記アップサンプル画像と、前記第２の解像度を持つ参照画像との差分情報を利用して、前記参照画像を前記アップサンプル画像の被写体位置に合わせる補正処理により動き補償画像を生成する動き補償画像生成ステップと、
ブレンド処理部が、前記アップサンプル画像と前記動き補償画像を画像領域単位で比較し、領域単位の画素値一致度が高い領域ほど参照画像のブレンド比率を高く設定して、前記アップサンプル画像と前記参照画像とのブレンド処理を実行してブレンド画像を生成するブレンド処理ステップと、
出力画像生成部が、前記ブレンド画像と前記入力画像の差分情報を生成し、前記ブレンド画像と前記差分情報との合成により第２解像度を持つ高解像度画像を生成する出力画像生成ステップを有し、
前記出力画像生成ステップは、前記差分情報の生成処理に必要とするフィルタリング処理を２回以下とした処理により高解像度画像を生成するステップである画像処理方法にある。
【００２６】
さらに、本発明の第３の側面は、
画像処理装置において解像度変換処理を実行させるプログラムであり、
アップサンプル部に、第１の解像度の入力画像を、前記第１の解像度より高い第２の解像度の画像の持つ画素数に合わせるアップサンプル処理を実行させるアップサンプル処理ステップと、
動き補償画像生成部に、前記アップサンプル画像と、前記第２の解像度を持つ参照画像との差分情報を利用して、前記参照画像を前記アップサンプル画像の被写体位置に合わせる補正処理により動き補償画像を生成させる動き補償画像生成ステップと、
ブレンド処理部に、前記アップサンプル画像と前記動き補償画像を画像領域単位で比較させ、領域単位の画素値一致度が高い領域ほど参照画像のブレンド比率を高く設定して前記アップサンプル画像と前記参照画像とのブレンド処理を実行してブレンド画像を生成させるブレンド処理ステップと、
出力画像生成部に、前記ブレンド画像と前記入力画像の差分情報を生成させ、前記ブレンド画像と前記差分情報との合成により第２解像度を持つ高解像度画像を生成させる出力画像生成ステップを実行させ、
前記出力画像生成ステップは、前記差分情報の生成処理に必要とするフィルタリング処理を２回以下とした処理により高解像度画像を生成させるステップであるプログラムにある。
【００２７】
なお、本発明のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
【００２８】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００２９】
本発明の一実施例の構成によれば、フィルタリング処理を簡略化した超解像処理を実現する装置および方法が提供される。例えば、以下の処理により高解像度画像を生成する。低解像度の入力画像を高解像度画像の持つ画素数に合わせたアップサンプル画像を生成し、高解像度の参照画像をアップサンプル画像の被写体位置に合わせた動き補償画像を生成する。さらに。アップサンプル画像と動き補償画像を画像領域単位で比較し、領域単位の画素値一致度が高い領域ほど参照画像のブレンド比率を高く設定してアップサンプル画像と参照画像をブレンドしたブレンド画像を生成する。さらに、ブレンド画像と入力画像の差分を生成し、ブレンド画像と差分情報との合成処理により高解像度画像を生成する。本発明の構成では、差分情報の生成処理に必要とするフィルタリング処理を２回以下として、装置の小型化や処理の効率化を実現した。
【図面の簡単な説明】
【００３０】
【図１】超解像処理を実行する従来の回路構成例について説明する図である。
【図２】超解像処理を実行する本発明の第１実施例に係る画像処理装置の構成例について説明する図である。
【図３】超解像処理を実行する本発明の第２実施例に係る画像処理装置の構成例について説明する図である。
【図４】超解像処理を実行する本発明の第３実施例に係る画像処理装置の構成例について説明する図である。
【図５】本発明の画像処理装置のハードウェア構成例について説明する図である。
【発明を実施するための形態】
【００３１】
以下、図面を参照しながら本発明の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行う。
１．フィルタ処理部を統合した構成によって超解像処理を行う画像処理装置について
１−１．実施例１
１−２．実施例２
１−３．実施例３
２．画像処理装置のハードウェア構成例について
【００３２】
［１．フィルタ処理部を統合した構成によって超解像処理を行う画像処理装置について］
フィルタ処理部を統合した構成によって超解像処理を行う画像処理装置について説明する。
【００３３】
先に図１を参照して説明したように、超解像処理を実行する回路には、アップサンプル部，ダウンサンプル部、ボケ付加部、逆ボケ付加部などの処理部が含まれる。これらの処理にはフィルタ処理が適用される。これら多くのフィルタリング処理を行うためには画素値の記憶のためのＲＡＭが必要となり、フィルタリングのタップ数が大きくなると必要となるメモリ容量も大きくなる。またメモリアクセスを高速に行うためには高性能のＣＰＵ等が必要となり、ハードウェアの大型化、コストの増大が懸念される。
以下において説明する画像処理装置は、超解像処理におけるフィルタリング処理の簡略化を実現するものである。
【００３４】
（１−１．実施例１）
図２を参照して本発明の第１実施例に係る画像処理装置１００の構成例について説明する。
図２に示す画像処理装置１００は、先に図１を参照して説明した回路と同様、低解像度画像ｇｎ１３１を入力して、超解像処理を実行して高解像度画像ｆｎ（＝ＳＲ処理画像１３２）を出力する。
【００３５】
図１を参照して説明した構成との差異は、図２に示す出力画像生成部１３０の構成である。具体的には以下のような変更がなされている。
図１におけるダウンサンプル部１６を、図２の構成では、単なる画素の間引き処理を実行するサブサンプル部１１６に変更したこと、
図１におけるアップサンプル部１８を図２の構成では、画素数増加に伴う増加画素部分に画素値０を追加する０パディング処理部に変更したこと、
これらの構成変更である。
その他の構成は、図１に示す構成と同様の構成である。
【００３６】
画像処理装置１００には、解像度を高める処理の対象となる低解像度画像ｇｎがアップサンプル部１１１に入力され、画素数の変換（画像拡大処理）が実行される。具体的には、アップサンプル部１１１では、入力画像の画素数を出力予定の画像の画素数に合わせる画像拡大処理、例えば１画素を複数画素に分割設定する処理を行う。すなわち、第１の解像度（低解像度）の入力画像を、第１の解像度（低解像度）より高い第２の解像度（高解像度）の画像の持つ画素数に合わせるアップサンプル処理を実行する。
【００３７】
動き推定／動き補償画像生成部１１２は、前フレームの処理において生成され、参照画像として利用する高解像度画像ｆｎ−１、アップサンプリングした低解像度画像ｇｎ間の動きの大きさを検出する。具体的には動きベクトルを計算する。さらに、検出した動きベクトルを利用して、参照画像として利用する高解像度画像ｆｎ−１に対する動き補償処理を行う。これにより高解像度画像ｆｎ−１に動き補償処理が施され、アップサンプリングした低解像度画像ｇｎと被写体の位置が同じに設定された動き補償画像が生成される。
【００３８】
動き判定部１１３では、動き補正（ＭＣ）処理により生成された動き補償高解像度画像、及びアップサンプルした低解像度画像を比較して、動き補正（ＭＣ）がうまく適用できていない領域を検出する。例えば被写体自身が動いている場合、動き補償失敗領域が発生する。
【００３９】
参照画像としての高解像度画像ｆｎ−１の動き補償画像と、アップサンプリングした低解像度画像ｇｎと被写体の位置が同じに設定された領域を動き補償成功領域とし、同じ位置に設定されなかった領域を動き領域失敗領域として区別した動き領域情報（αマップ［０：１］）を生成して出力する。
【００４０】
ブレンド処理部１１４は、動き推定／動き補償画像生成部１２の生成した高解像度画像ｆｎ−１に対する動き補償結果画像、
アップサンプリング部１１で低解像度画像ｇｎに対してアップサンプリングされたアップサンプル画像、
動き領域情報（αマップ［０：１］）、
これらを入力する。
【００４１】
ブレンド処理部１１４は、これらの入力情報を利用して、以下の式に基づいてブレンド結果としてのブレンド画像を出力する。
ブレンド画像＝（１−α）（アップサンプル画像）+α（動き補償結果画像）
ブレンド処理部１１４は、アップサンプル画像と動き補償画像を画像領域単位で比較し、領域単位の画素値一致度が高い領域ほど参照画像のブレンド比率を高く設定して、アップサンプル画像と参照画像とのブレンド処理を実行してブレンド画像を生成する。
【００４２】
出力画像生成部１３０は、ブレンド画像と入力画像の差分情報を生成し、ブレンド画像と差分情報との合成により第２の解像度を持つ高解像度画像を生成する。
出力画像生成部１３０内の処理について説明する。
【００４３】
ボケ付加部１１５は、ブレンド処理部１４の生成したブレンド画像を入力してブレンド画像に対するボケ付加処理を実行する。具体的には、空間解像度の劣化のシミュレーションにより、ブレンド画像に対するボケ付加処理を行う。例えば、あらかじめ測定しておいた点広がり関数（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）をフィルタとして画像へ畳み込みを行う。
【００４４】
サブサンプル部１１６では、高解像度画像を入力画像と同じ解像度までダウンサンプリングする処理を実行する。本実施例の構成のサブサンプル部１１６では、画素の単なる間引き処理を実行する。具体的には、ボケ付加部１１５の出力するブレンド画像を、入力画像と同じ第１の解像度（低解像度）の構成画素数まで低下させる画素間引き処理を実行する。
【００４５】
その後、差分器１１７では、サブサンプル部１１６、低解像度画像ｇｎの画素毎の差分値を計算する。差分器１１７は、入力画像と、サブサンプル部の出力画像との対応画素値の差分情報を出力する。
０パディング処理部１１８は、差分器１１７の出力する差分画像を第２の解像度（高解像度）の画像の画素数に合わせるための０画素値のパディング処理を実行する。すなわち、生成予定の高解像度画像に相当する画素数に変換する処理として、増加する画素位置に画素値０を設定する０パディング処理を行なう。
【００４６】
さらに、逆ボケ付加部１１９で、ボケの付加処理と逆の処理を行う。動作としては、ボケ付加部１１５で用いた点広がり関数（ＰＳＦ：Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）との相関の計算に相当する処理を行う。
【００４７】
逆ボケ付加部１１９の出力は、乗算器１２０において予め設定した帰還係数γと乗算後、加算器１２１に出力され、プレンド処理部１１４の出力するブレンド画像と加算され、出力される。
この加算器１２１の出力が入力画像ｇｎを高解像度化した画像（ＳＲ処理画像）となる。
【００４８】
この図２に示す構成において実行する処理を式で示すと以下のように表現することが可能である。
【００４９】
【数２】
・・・（式２）
【００５０】
なお、上記式（式２）において、各パラメータは以下のパラメータである。
ｎ：フレーム番号（ｎ−１フレームとｎフレームは例えば動画の連続フレーム）
ｇｎ：入力画像（ｎフレームの低解像度画像）
ｆｎＳＲ：フレームｎの超解像処理結果画像（＝高解像度画像）
ｆｎ−１ＳＲ：フレームｎ−１の超解像処理結果画像（＝高解像度画像）
Ｗｎ：フレームｎのフレームｎ−１に対する動き情報（動きベクトルまたは行列など）
Ｈ：ボケ付加処理（ボケフィルタ行列）
Ｄ：ダウンサンプル処理（ダウンサンプル処理行列）
（Ｗｎｆｎ−１ＳＲ）'：ブレンド処理部の出力するブレンド画像
γＳＲ：帰還係数
ＨＴ：Ｈの転置行列
ＤＴ：Ｄの転置行列
【００５１】
上記式は、図１を参照して説明した式と同様の式である。
サブサンプル部１１６の実行する間引き処理が［Ｄ＝ダウンサンプル処理］に対応し、０パディング処理部１１８の実行する処理が［ＤＴ＝アップサンプル処理］に対応することになる。
【００５２】
この図２に示す画像処理装置１００では、
図１におけるダウンサンプル部１６を、単なる画素の間引き処理を実行するサブサンプル部１１６に変更し、図１におけるアップサンプル部１８を、画素数増加に伴う増加画素部分に画素値０を追加する０パディング処理部に変更している。
この処理により、これらの処理部では、フィルタリング処理が不要となり、画素値の記憶のためのメモリやメモリアクセス処理が不要となり、装置の小型化、処理の効率化が実現される。
【００５３】
すなわち、出力画像生成部１３０内で実行するブレンド画像と入力画像（低解像度画像ｇｎ１３１）との差分情報の生成処理では、ボケ付加部１１５、逆ボケ付加部１１９においてのみフィルタリング処理が実行され、出力画像生成部１３０内で実行するフィルタリング処理は２回のみとなる。このように、本実施例の構成では、フィルタリング処理が削減され、画素値の記憶のためのメモリやメモリアクセス処理が不要となり、装置の小型化、処理の効率化が実現される。
【００５４】
（１−２．実施例２）
次に、図３を参照して、本発明の第２実施例に係る画像処理装置１５０の構成例について説明する。
図３に示す画像処理装置１５０は、図１、図２を参照して説明した回路と同様、低解像度画像ｇｎ１３１を入力して、超解像処理を実行して高解像度画像ｆｎ（＝ＳＲ処理画像１３２）を出力する。
図３に示す画像処理装置１５０は、図２に示す構成をさらに簡略化した構成を有する。
【００５５】
図２に示す画像処理装置１００との差異を中心として説明する。
図３に示す画像処理装置１５０は、図３に示す出力画像生成部１４０の構成が図２に示す構成と異なっている。具体的には以下のような変更がなされている。
図２に示すボケ処理部１１５と、サブサンプル部１１６を統合して図３に示すダウンサンプル部１５１としている。
図２に示す０パディング処理部１１８と、逆ボケ処理部１１９を統合して図３に示すアップサンプル部１５２としている。
【００５６】
その他の処理部は、図２に示す構成と同様である。
図３に示すダウンサンプル部１５１は、図２に示すボケ処理部１１５と、サブサンプル部１１６の実行する２つの処理を１回のフィルタリング処理として実行する。
ダウンサンプル部１５１は、ブレンド処理部１１４の出力間するブレンド画像を第１の解像度（低解像度）の画像の構成画素数まで低下させるダウンサンプル処理を実行する。
【００５７】
同様に、図３に示すアップサンプル部１５２は、図２に示す０パディング処理部１１８と、逆ボケ処理部１１９の実行する２つの処理を１回のフィルタリング処理として実行する。アップサンプル部１５２は、差分器１１７の出力する差分画像を第２の解像度（高解像度）の画像の画素数に合わせるアップサンプル処理を実行する
【００５８】
図３の構成において実行する処理を式で示すと以下のように表現することが可能である。
【００５９】
【数３】
・・・（式３）
【００６０】
この式（式３）は、図１、図２の構成において実行する処理を示す式と同様の式である。
図３の構成において、ダウンサンプル部１５１は、上述したように、図２に示すボケ処理部１１５と、サブサンプル部１１６の実行する２つの処理を１回のフィルタリング処理として実行し、ダウンサンプル部１５１の出力は、図３中に示すように以下のように示される。
ＤＨ（Ｗｎｆｎ−１ＳＲ）'
【００６１】
また、差分器１１７の出力は、図３中に示すように以下のように示される。
ｇｎ−ＤＨ（Ｗｎｆｎ−１ＳＲ）'
さらに、アップサンプル部１５２の出力は、図３中に示すように以下のように示される。
ＨＴＤＴ（ｇｎ−ＤＨ（Ｗｎｆｎ−１ＳＲ）'）
【００６２】
なお、各パラメータは、実施例１において説明したと同様のパラメータである。
【００６３】
このように、図３に示す画像処理装置１５０では、ダウンサンプル部１５１において、図２に示すボケ処理部１１５と、サブサンプル部１１６の実行する２つの処理を１回のフィルタリング処理として実行し、アップサンプル部１５２において、図２に示す０パディング処理部１１８と、逆ボケ処理部１１９の実行する２つの処理を１回のフィルタリング処理として実行する。
【００６４】
図２に示す構成に比較して、構成が簡略化し、またフィルタリング処理数も減少する。結果としてハードウェア構成の小型化、コストダウン、さらに処理の効率化むが実現される。
【００６５】
（１−３．実施例３）
次に、図４を参照して、本発明の第３実施例に係る画像処理装置１８０の構成例について説明する。
図４に示す画像処理装置１８０は、図１〜図３を参照して説明した回路と同様、低解像度画像ｇｎ１３１を入力して、超解像処理を実行して高解像度画像ｆｎ（＝ＳＲ処理画像１３２）を出力する。
図４に示す画像処理装置１８０は、図３に示す構成をさらに簡略化した構成を有する。
【００６６】
図３に示す画像処理装置１５０との差異を中心として説明する。
図４に示す画像処理装置１８０は、図４に示す出力画像生成部１７０の構成が図３に示す構成と異なっている。具体的には以下のような変更がなされている。
図３に示す２つのアップサンプル部、すなわちアップサンプル部１１１と、アップサンプル部１５２をまとめて、図４に示す構成では、１つのアップサンプル部１８１としている。
さらに、図３に示すダウンサンプル部１５１と差分器１１７を、図４の構成では、統合フィルタ（ポリフェーズフィルタ）１８２に置き換えている。
【００６７】
統合フィルタ（ポリフェーズフィルタ）１８２は、ブレンド処理部１１４の生成するブレンド画像を第１の解像度（低解像度）の画像の構成画素数まで低下させるダウンサンプル処理と、第２の解像度（高解像度）の画像の画素数に合わせるアップサンプル処理を実行する。統合フィルタ（ポリフェーズフィルタ）１８２は、例えばポリフェーズフィルタであり、位相毎に異なる値を畳み込むフィルタリング処理を行う。
【００６８】
なお、この出力画像生成部１７０の構成変更に伴い、統合フィルタ（ポリフェーズフィルタ）１８２の出力に対するＳＲ帰還係数との乗算処理を実行する乗算器１８３、ブレンド処理部の出力するブレンド画像から乗算器１８３の出力を減算させる差分器１８４を設けている。
差分器１８４の出力が、加算器１２１に出力されてＳＲフィードバック値と加算される。
【００６９】
図４に示す画像処理装置１８０の実行する処理を式で示すと以下のように表現することが可能である。
【００７０】
【数４】
・・・（式４）
【００７１】
この式（式４）の第１行は、図１〜図３の構成において実行する処理を示す式と同じ式である。第２行、第３行は、式の変形を行った結果であり、第３行の式が図４に示す構成と対応している。
【００７２】
すなわち、アップサンプル部１８１では、逆ボケ付加処理（ＨＴ）とアップサンプル処理（ＤＴ）に相当する処理を実行し、アップサンプル部１８１の出力は、図４中に示すように、以下の式で示すことができる。
ＨＴＤＴｇｎ、
【００７３】
また、統合フィルタ（ポリフェーズフィルタ）１８２は、ブレンド画像を入力画像に相当する第１の解像度（低解像度）の構成画素数まで低下させるダウンサンプル処理と、第２の解像度（高解像度）の画素数に合わせるアップサンプル処理を実行する。例えば位相毎に異なる値を畳み込むフィルタリング処理を行うポリフェーズフィルタによって構成される。
【００７４】
このフィルタリング処理は、
ＨＴＤＴＤＨ、
として示すことができ、統合フィルタ（ポリフェーズフィルタ）１８２の出力は、
（ＨＴＤＴＤＨ）（Ｗｎｆｎ−１ＳＲ）'
となる。
【００７５】
また、図４中の差分器１８４の出力は、図４の（Ａ）に示すように、上記式（式４）の前半部分に対応し、
（１−γＳＲＨＴＤＴＤＨ）（Ｗｎｆｎ−１ＳＲ）'
上記のように示すことができる。
また、乗算器１２０の出力は、図４の（Ｂ）に示すように、上記式（式４）の後半部分に対応し、
γＳＲＨＴＤＴｇｎ、
上記のように示すことができる。
【００７６】
結果として、加算器１２１の出力は、上記式（式４）によって示される値、すなわち、
ｆｎＳＲ＝（１−γＳＲＨＴＤＴＤＨ）（Ｗｎｆｎ−１ＳＲ）'＋γＳＲＨＴＤＴｇｎ、
となる。
この式は、前記した式４の展開から理解されるように、図１〜図３の構成における処理と等化であり、図４に示す構成を用いることで、超解像処理結果ｆｎＳＲが出力されることになる。
【００７７】
この図４に示す画像処理装置１８０では、フィルタリング処理は、アップサンプル部１８１と、統合フィルタ（ポリフェーズフィルタ）１８２であり、図１に示す構成と比較して、フィルタ処理の必要となる構成が現象し、結果としてハードウェア構成の小型化、コストダウン、さらに処理の効率化が実現されることになる。
【００７８】
［２．画像処理装置のハードウェア構成例について］
最後に、図５を参照して、上述した処理を実行する画像処理装置の１つのハードウェア構成例について説明する。ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０２、または記憶部９０８に記憶されているプログラムに従って各種の処理を実行する。例えば、上述の各実施例において説明した超解像処理等の画像処理を実行する。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０３には、ＣＰＵ９０１が実行するプログラムやデータなどが適宜記憶される。これらのＣＰＵ９０１、ＲＯＭ９０２、およびＲＡＭ９０３は、バス９０４により相互に接続されている。
【００７９】
ＣＰＵ９０１はバス９０４を介して入出力インタフェース９０５に接続され、入出力インタフェース９０５には、キーボード、マウス、マイクロホンなどよりなる入力部９０６、ディスプレイ、スピーカなどよりなる出力部９０７が接続されている。ＣＰＵ９０１は、入力部９０６から入力される指令に対応して各種の処理を実行し、処理結果を例えば出力部９０７に出力する。
【００８０】
入出力インタフェース９０５に接続されている記憶部９０８は、例えばハードディスクからなり、ＣＰＵ９０１が実行するプログラムや各種のデータを記憶する。通信部９０９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。
【００８１】
入出力インタフェース９０５に接続されているドライブ９１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア９１１を駆動し、記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部９０８に転送され記憶される。
【００８２】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【００８３】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【００８４】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【００８５】
以上、説明したように、本発明の一実施例の構成によれば、フィルタリング処理を簡略化した超解像処理を実現する装置および方法が提供される。例えば、以下の処理により高解像度画像を生成する。低解像度の入力画像を高解像度画像の持つ画素数に合わせたアップサンプル画像を生成し、高解像度の参照画像をアップサンプル画像の被写体位置に合わせた動き補償画像を生成する。さらに。アップサンプル画像と動き補償画像を画像領域単位で比較し、領域単位の画素値一致度が高い領域ほど参照画像のブレンド比率を高く設定してアップサンプル画像と参照画像をブレンドしたブレンド画像を生成する。さらに、ブレンド画像と入力画像の差分を生成し、ブレンド画像と差分情報との合成処理により高解像度画像を生成する。本発明の構成では、差分情報の生成処理に必要とするフィルタリング処理を２回以下として、装置の小型化や処理の効率化を実現した。
【符号の説明】
【００８６】
１０ 超解像処理装置
１１ アップサンプル部
１２ 動き推定／動き補償画像生成部
１３ 動き判定部
１４ ブレンド処理部
１５ ボケ付加部
１６ ダウンサンプル部
１７ 加算器
１８ アップサンプル部
１９ 逆ボケ付加部
２０ 乗算器
２１ 差分器
３１ 低解像度画像
３２ ＳＲ処理画像
１１０ 画像処理装置
１１１ アップサンプル部
１１２ 動き推定／動き補償画像生成部
１１３ 動き判定部
１１４ ブレンド処理部
１１５ ボケ付加部
１１６ サブサンプル部
１１７ 加算器
１１８ ０パディング処理部
１１９ 逆ボケ付加部
１２０ 乗算器
１２１ 差分器
１３１ 低解像度画像
１３２ ＳＲ処理画像
１５０ 画像処理装置
１５１ ダウンサンプル部
１５２ アップサンプル部
１８０ 画像処理装置
１８１ アップサンプル部
１８２ 統合フィルタ（ポリフェーズフィルタ）
１８２ 乗算器
１８３ 差分器
９０１ ＣＰＵ
９０２ ＲＯＭ
９０３ ＲＡＭ
９０４ バス
９０５ 入出力インタフェース
９０６ 入力部
９０７ 出力部
９０８ 記憶部
９０９ 通信部
９１０ ドライブ
９１１ リムーバブルメディア
【技術分野】
【０００１】
本発明は、画像処理装置、および画像処理方法、並びにプログラムに関する。特に、画像の解像度を高める超解像処理を実行する画像処理装置、および画像処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
低解像度の画像から高解像度の画像を生成する手法として超解像処理（ＳＲ：Ｓｕｐｅｒ Ｒｅｓｏｌｕｔｉｏｎ）が知られている。超解像処理（ＳＲ）は低解像度の画像から高解像度の画像を生成する処理である。
【０００３】
超解像処理の一手法として、例えば、低解像度の画像の撮影画像に基づいて、「レンズ、大気散乱によるボケ」、「被写体、カメラ全体の動き」、「撮像素子によるサンプリング」等の撮影条件を示すパラメータを導き出して、これらのパラメータを用いて理想的な高解像度の画像を推定する再構成型超解像手法がある。
この超解像処理の手法について開示した従来技術としては、例えば、特許文献１（特開２００８−１４００１２号公報）がある。
【０００４】
この再構成型超解像手法の手順の概要は以下の通りである。
（１）ボケ、動き、サンプリング等を考慮した画像撮影モデルを数式で表現する。
（２）上記の数式モデルで表現した画像撮影モデルから、コスト算出式を求める。この際、ベイズ理論を用いて事前確立等の正則化項を追加する場合もある。
（３）コストを最小とする画像を求める。
これらの処理によって、高解像度画像を求める手法である。この再構成型超解像手法によって得られる高解像度画像は入力画像に依存するものの、超解像効果(解像度復元効果)は高い。
【０００５】
超解像処理を実行する回路構成例を図１に示す。図１は超解像処理装置１０の回路構成例を示している。
超解像処理装置１０には、解像度を高める処理の対象となる低解像度画像ｇｎ３１がアップサンプル部１１に入力され、画素数の変換（画像拡大処理）が実行される。具体的には、アップサンプル部１１では、入力画像の画素数を出力予定の画像（ＳＲ処理画像ｆｎ３２）の画素数に合わせる画像拡大処理、例えば１画素を複数画素に分割設定する処理を行う。
【０００６】
動き推定／動き補償画像生成部１２は、前フレームの処理において生成された高解像度画像ｆｎ−１、アップサンプリングした低解像度画像ｇｎ間の動きの大きさを検出する。具体的には動きベクトルを計算する。さらに、検出した動きベクトルを利用して、高解像度画像ｆｎ−１に対する動き補償処理（ＭＣ）を行う。これにより高解像度画像ｆｎ−１に動き補償処理が施され、アップサンプリングした低解像度画像ｇｎと被写体の位置が同じに設定された動き補償画像が生成される。ただし、画像内部に動被写体等がある場合などには、動き補償画像にアップサンプリングした低解像度画像ｇｎと被写体位置のずれてしまう画像領域、すなわち動き補償失敗領域が発生することがある。
【０００７】
動き判定部１３では、動き補償（ＭＣ）処理により生成された動き補償高解像度画像、及びアップサンプルした低解像度画像を比較して、動き補償（ＭＣ）がうまく適用できていない領域、すなわち、上記の動き補償失敗領域を検出する。例えば上述したように被写体自身が動いている画像部分などに動き補償失敗領域が発生する。
【０００８】
高解像度画像ｆｎ−１の動き補償画像と、アップサンプリングした低解像度画像ｇｎと被写体の位置が同じに設定された領域を動き補償成功領域とし、同じ位置に設定されなかった領域を動き領域失敗領域として区別した動き領域情報（αマップ［０：１］）を生成して出力する。動き領域情報（αマップ［０：１］）は、成功領域〜失敗領域の信頼度に応じて１〜０の範囲の値を設定したマップである。簡易的に例えば動き補償成功領域を１、動き補償失敗領域を０として設定したマップとして設定することも可能である。
【０００９】
ブレンド処理部１４は、動き推定／動き補償画像生成部１２の生成した高解像度画像ｆｎ−１に対する動き補償結果画像、
アップサンプリング部１１で低解像度画像（ｇｎ）３１に対してアップサンプリングされたアップサンプル画像、
動き領域情報（αマップ［０：１］）、
これらを入力する。
【００１０】
ブレンド処理部１４は、これらの入力情報を利用して、以下の式に基づいてブレンド結果としてのブレンド画像を出力する。
ブレンド画像＝（１−α）（アップサンプル画像）+α（動き補償結果画像）
このブレンド処理により、動き補償成功領域については動き補償結果画像のブレント比率が高まり、動き補償失敗領域については動き補償結果画像のブレント比率が低められたブレンド画像が生成される。
【００１１】
ボケ付加部１５は、ブレンド処理部１４の生成したブレンド画像を入力して空間解像度の劣化をシミュレーションする処理を行う。例えば、あらかじめ測定しておいた点広がり関数（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）をフィルタとして画像へ畳み込みを行う。
【００１２】
ダウンサンプル部１６では、高解像度画像を入力画像と同じ解像度までダウンサンプリング処理を実行する。その後、差分器１７では、ダウンサンプル部１６、低解像度画像ｇｎの画素毎の差分値を計算する。差分値は、アップサンプル部１８でアップサンプル処理が実行される。さらに、逆ボケ付加部１９で、ボケの付加処理と逆の処理を行う。動作としては、ボケ付加部１５で用いた点広がり関数（ＰＳＦ：Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）との相関の計算に相当する処理を行う。
【００１３】
逆ボケ付加部１９の出力は、乗算器２０において予め設定した帰還係数γと乗算後、加算器２１に出力され、プレンド処理部１４の出力するブレンド画像と加算され、出力される。
この加算器２１の出力が入力画像ｇｎ３１を高解像度化した画像（ＳＲ処理画像３２）となる。
【００１４】
この図１に示す超解像処理装置１０の実行する処理を式で示すと以下のように表現することが可能である。
【００１５】
【数１】
・・・（式１）
【００１６】
なお、上記式（式１）において、各パラメータは以下のパラメータである。
ｎ：フレーム番号（ｎ−１フレームとｎフレームは例えば動画の連続フレーム）
ｇｎ：入力画像（ｎフレームの低解像度画像）
ｆｎＳＲ：フレームｎの超解像処理結果画像（＝高解像度画像）
ｆｎ−１ＳＲ：フレームｎ−１の超解像処理結果画像（＝高解像度画像）
Ｗｎ：フレームｎのフレームｎ−１に対する動き情報（動きベクトルまたは行列など）
Ｈ：ボケ付加処理（ボケフィルタ行列）
Ｄ：ダウンサンプル処理（ダウンサンプル処理行列）
（Ｗｎｆｎ−１ＳＲ）'：ブレンド処理部の出力するブレンド画像
γＳＲ：帰還係数
ＨＴ：Ｈの転置行列
ＤＴ：Ｄの転置行列
【００１７】
図１に示す超解像処理回路１０を実現するハードウェアを構成する場合の問題点として回路規模の増大や処理効率の低下といつた問題がある。例えば、図１に示すアップサンプル部，ダウンサンプル部、ボケ付加部、逆ボケ付加部の処理にはフィルタ処理が適用されることになり、これら多くのフィルタリング処理を行うためには画素値の記憶のためのＲＡＭが必要となる。フィルタリングのタップ数が大きくなると、必要となるメモリ容量も大きくなり、メモリアクセスを高速に行うためには、高性能のＣＰＵ等が必要となり、ハードウェアの大型化、コストの増大が懸念される。
【先行技術文献】
【特許文献】
【００１８】
【特許文献１】特開２００８−１４００１２号公報
【発明の概要】
【発明が解決しようとする課題】
【００１９】
本発明は、例えば上記問題点に鑑みてなされたものであり、回路規模の縮小や処理の効率化を実現した超解像処理を実現する画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【００２０】
本発明の第１の側面は、
第１の解像度の入力画像を、前記第１の解像度より高い第２の解像度の画像の持つ画素数に合わせるアップサンプル処理を実行するアップサンプル部と、
前記アップサンプル画像と、前記第２の解像度を持つ参照画像との差分情報を利用して、前記参照画像を前記アップサンプル画像の被写体位置に合わせる補正処理により動き補償画像を生成する動き補償画像生成部と、
前記アップサンプル画像と前記動き補償画像を画像領域単位で比較し、領域単位の画素値一致度が高い領域ほど参照画像のブレンド比率を高く設定して、前記アップサンプル画像と前記参照画像とのブレンド処理を実行してブレンド画像を生成するブレンド処理部と、
前記ブレンド画像と前記入力画像の差分情報を生成し、前記ブレンド画像と前記差分情報との合成により第２の解像度を持つ高解像度画像を生成する出力画像生成部を有し、
前記出力画像生成部は、前記差分情報の生成処理に必要とするフィルタリング処理を２回以下とした構成を有する画像処理装置にある。
【００２１】
さらに、本発明の画像処理装置の一実施態様において、前記出力画像生成部は、前記ブレンド画像に対するボケ付加処理を実行するボケ付加部と、前記ボケ付加部の出力画像を前記第１の解像度の構成画素数まで低下させる画素間引き処理を実行するサブサンプル部と、前記入力画像と、前記サブサンプル部の出力画像との対応画素値の差分情報を出力する差分器と、差分器の出力する差分画像を前記第２の解像度の画素数に合わせるための０画素値のパディング処理を実行する０パディング処理部と、前記０パディング処理部の処理結果に対して、前記ボケ付加処理と逆の処理である逆ボケ付加処理を実行する逆ボケ付加部と、前記逆ボケ付加部の出力画像に対して予め設定した帰還係数を乗算する乗算器と、前記ブレンド画像と、前記乗算器の出力との対応画素値の加算処理を実行する加算器を有する。
【００２２】
さらに、本発明の画像処理装置の一実施態様において、前記出力画像生成部は、前記ブレンド画像を前記第１の解像度の構成画素数まで低下させるダウンサンプル処理を実行するダウンサンプル部と、前記入力画像と、前記ダウンサンプル部の出力画像との対応画素値の差分情報を出力する差分器と、差分器の出力する差分画像を前記第２の解像度の画素数に合わせるアップサンプル処理を実行するアップサンプル部と、前記アップサンプル部の出力画像に対して予め設定した帰還係数を乗算する乗算器と、前記ブレンド画像と、前記乗算器の出力との対応画素値の加算処理を実行する加算器を有する。
【００２３】
さらに、本発明の画像処理装置の一実施態様において、前記出力画像生成部は、前記ブレンド画像を前記第１の解像度の構成画素数まで低下させるダウンサンプル処理と、前記第２の解像度の画素数に合わせるアップサンプル処理を実行する統合フィルタと、前記統合フィルタの出力に対して、予め設定した帰還係数を乗算する第１乗算器と、前記ブレンド画像と、前記乗算器の出力との対応画素値の差分を算出する差分器と、前記入力画像に対するアップサンプル処理を実行するアップサンプル部の出力に対して、予め設定した帰還係数を乗算する第２乗算器と、前記差分器の出力と前記第２乗算器の出力との加算処理を実行する加算器を有する。
【００２４】
さらに、本発明の画像処理装置の一実施態様において、前記統合フィルタは、位相ごとに異なる値を畳み込むポリフェーズフィルタによって構成される。
【００２５】
さらに、本発明の第２の側面は、
画像処理装置において解像度変換処理を実行する画像処理方法であり、
アップサンプル部が、第１の解像度の入力画像を、前記第１の解像度より高い第２の解像度の画像の持つ画素数に合わせるアップサンプル処理を実行するアップサンプル処理ステップと、
動き補償画像生成部が、前記アップサンプル画像と、前記第２の解像度を持つ参照画像との差分情報を利用して、前記参照画像を前記アップサンプル画像の被写体位置に合わせる補正処理により動き補償画像を生成する動き補償画像生成ステップと、
ブレンド処理部が、前記アップサンプル画像と前記動き補償画像を画像領域単位で比較し、領域単位の画素値一致度が高い領域ほど参照画像のブレンド比率を高く設定して、前記アップサンプル画像と前記参照画像とのブレンド処理を実行してブレンド画像を生成するブレンド処理ステップと、
出力画像生成部が、前記ブレンド画像と前記入力画像の差分情報を生成し、前記ブレンド画像と前記差分情報との合成により第２解像度を持つ高解像度画像を生成する出力画像生成ステップを有し、
前記出力画像生成ステップは、前記差分情報の生成処理に必要とするフィルタリング処理を２回以下とした処理により高解像度画像を生成するステップである画像処理方法にある。
【００２６】
さらに、本発明の第３の側面は、
画像処理装置において解像度変換処理を実行させるプログラムであり、
アップサンプル部に、第１の解像度の入力画像を、前記第１の解像度より高い第２の解像度の画像の持つ画素数に合わせるアップサンプル処理を実行させるアップサンプル処理ステップと、
動き補償画像生成部に、前記アップサンプル画像と、前記第２の解像度を持つ参照画像との差分情報を利用して、前記参照画像を前記アップサンプル画像の被写体位置に合わせる補正処理により動き補償画像を生成させる動き補償画像生成ステップと、
ブレンド処理部に、前記アップサンプル画像と前記動き補償画像を画像領域単位で比較させ、領域単位の画素値一致度が高い領域ほど参照画像のブレンド比率を高く設定して前記アップサンプル画像と前記参照画像とのブレンド処理を実行してブレンド画像を生成させるブレンド処理ステップと、
出力画像生成部に、前記ブレンド画像と前記入力画像の差分情報を生成させ、前記ブレンド画像と前記差分情報との合成により第２解像度を持つ高解像度画像を生成させる出力画像生成ステップを実行させ、
前記出力画像生成ステップは、前記差分情報の生成処理に必要とするフィルタリング処理を２回以下とした処理により高解像度画像を生成させるステップであるプログラムにある。
【００２７】
なお、本発明のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
【００２８】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００２９】
本発明の一実施例の構成によれば、フィルタリング処理を簡略化した超解像処理を実現する装置および方法が提供される。例えば、以下の処理により高解像度画像を生成する。低解像度の入力画像を高解像度画像の持つ画素数に合わせたアップサンプル画像を生成し、高解像度の参照画像をアップサンプル画像の被写体位置に合わせた動き補償画像を生成する。さらに。アップサンプル画像と動き補償画像を画像領域単位で比較し、領域単位の画素値一致度が高い領域ほど参照画像のブレンド比率を高く設定してアップサンプル画像と参照画像をブレンドしたブレンド画像を生成する。さらに、ブレンド画像と入力画像の差分を生成し、ブレンド画像と差分情報との合成処理により高解像度画像を生成する。本発明の構成では、差分情報の生成処理に必要とするフィルタリング処理を２回以下として、装置の小型化や処理の効率化を実現した。
【図面の簡単な説明】
【００３０】
【図１】超解像処理を実行する従来の回路構成例について説明する図である。
【図２】超解像処理を実行する本発明の第１実施例に係る画像処理装置の構成例について説明する図である。
【図３】超解像処理を実行する本発明の第２実施例に係る画像処理装置の構成例について説明する図である。
【図４】超解像処理を実行する本発明の第３実施例に係る画像処理装置の構成例について説明する図である。
【図５】本発明の画像処理装置のハードウェア構成例について説明する図である。
【発明を実施するための形態】
【００３１】
以下、図面を参照しながら本発明の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行う。
１．フィルタ処理部を統合した構成によって超解像処理を行う画像処理装置について
１−１．実施例１
１−２．実施例２
１−３．実施例３
２．画像処理装置のハードウェア構成例について
【００３２】
［１．フィルタ処理部を統合した構成によって超解像処理を行う画像処理装置について］
フィルタ処理部を統合した構成によって超解像処理を行う画像処理装置について説明する。
【００３３】
先に図１を参照して説明したように、超解像処理を実行する回路には、アップサンプル部，ダウンサンプル部、ボケ付加部、逆ボケ付加部などの処理部が含まれる。これらの処理にはフィルタ処理が適用される。これら多くのフィルタリング処理を行うためには画素値の記憶のためのＲＡＭが必要となり、フィルタリングのタップ数が大きくなると必要となるメモリ容量も大きくなる。またメモリアクセスを高速に行うためには高性能のＣＰＵ等が必要となり、ハードウェアの大型化、コストの増大が懸念される。
以下において説明する画像処理装置は、超解像処理におけるフィルタリング処理の簡略化を実現するものである。
【００３４】
（１−１．実施例１）
図２を参照して本発明の第１実施例に係る画像処理装置１００の構成例について説明する。
図２に示す画像処理装置１００は、先に図１を参照して説明した回路と同様、低解像度画像ｇｎ１３１を入力して、超解像処理を実行して高解像度画像ｆｎ（＝ＳＲ処理画像１３２）を出力する。
【００３５】
図１を参照して説明した構成との差異は、図２に示す出力画像生成部１３０の構成である。具体的には以下のような変更がなされている。
図１におけるダウンサンプル部１６を、図２の構成では、単なる画素の間引き処理を実行するサブサンプル部１１６に変更したこと、
図１におけるアップサンプル部１８を図２の構成では、画素数増加に伴う増加画素部分に画素値０を追加する０パディング処理部に変更したこと、
これらの構成変更である。
その他の構成は、図１に示す構成と同様の構成である。
【００３６】
画像処理装置１００には、解像度を高める処理の対象となる低解像度画像ｇｎがアップサンプル部１１１に入力され、画素数の変換（画像拡大処理）が実行される。具体的には、アップサンプル部１１１では、入力画像の画素数を出力予定の画像の画素数に合わせる画像拡大処理、例えば１画素を複数画素に分割設定する処理を行う。すなわち、第１の解像度（低解像度）の入力画像を、第１の解像度（低解像度）より高い第２の解像度（高解像度）の画像の持つ画素数に合わせるアップサンプル処理を実行する。
【００３７】
動き推定／動き補償画像生成部１１２は、前フレームの処理において生成され、参照画像として利用する高解像度画像ｆｎ−１、アップサンプリングした低解像度画像ｇｎ間の動きの大きさを検出する。具体的には動きベクトルを計算する。さらに、検出した動きベクトルを利用して、参照画像として利用する高解像度画像ｆｎ−１に対する動き補償処理を行う。これにより高解像度画像ｆｎ−１に動き補償処理が施され、アップサンプリングした低解像度画像ｇｎと被写体の位置が同じに設定された動き補償画像が生成される。
【００３８】
動き判定部１１３では、動き補正（ＭＣ）処理により生成された動き補償高解像度画像、及びアップサンプルした低解像度画像を比較して、動き補正（ＭＣ）がうまく適用できていない領域を検出する。例えば被写体自身が動いている場合、動き補償失敗領域が発生する。
【００３９】
参照画像としての高解像度画像ｆｎ−１の動き補償画像と、アップサンプリングした低解像度画像ｇｎと被写体の位置が同じに設定された領域を動き補償成功領域とし、同じ位置に設定されなかった領域を動き領域失敗領域として区別した動き領域情報（αマップ［０：１］）を生成して出力する。
【００４０】
ブレンド処理部１１４は、動き推定／動き補償画像生成部１２の生成した高解像度画像ｆｎ−１に対する動き補償結果画像、
アップサンプリング部１１で低解像度画像ｇｎに対してアップサンプリングされたアップサンプル画像、
動き領域情報（αマップ［０：１］）、
これらを入力する。
【００４１】
ブレンド処理部１１４は、これらの入力情報を利用して、以下の式に基づいてブレンド結果としてのブレンド画像を出力する。
ブレンド画像＝（１−α）（アップサンプル画像）+α（動き補償結果画像）
ブレンド処理部１１４は、アップサンプル画像と動き補償画像を画像領域単位で比較し、領域単位の画素値一致度が高い領域ほど参照画像のブレンド比率を高く設定して、アップサンプル画像と参照画像とのブレンド処理を実行してブレンド画像を生成する。
【００４２】
出力画像生成部１３０は、ブレンド画像と入力画像の差分情報を生成し、ブレンド画像と差分情報との合成により第２の解像度を持つ高解像度画像を生成する。
出力画像生成部１３０内の処理について説明する。
【００４３】
ボケ付加部１１５は、ブレンド処理部１４の生成したブレンド画像を入力してブレンド画像に対するボケ付加処理を実行する。具体的には、空間解像度の劣化のシミュレーションにより、ブレンド画像に対するボケ付加処理を行う。例えば、あらかじめ測定しておいた点広がり関数（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）をフィルタとして画像へ畳み込みを行う。
【００４４】
サブサンプル部１１６では、高解像度画像を入力画像と同じ解像度までダウンサンプリングする処理を実行する。本実施例の構成のサブサンプル部１１６では、画素の単なる間引き処理を実行する。具体的には、ボケ付加部１１５の出力するブレンド画像を、入力画像と同じ第１の解像度（低解像度）の構成画素数まで低下させる画素間引き処理を実行する。
【００４５】
その後、差分器１１７では、サブサンプル部１１６、低解像度画像ｇｎの画素毎の差分値を計算する。差分器１１７は、入力画像と、サブサンプル部の出力画像との対応画素値の差分情報を出力する。
０パディング処理部１１８は、差分器１１７の出力する差分画像を第２の解像度（高解像度）の画像の画素数に合わせるための０画素値のパディング処理を実行する。すなわち、生成予定の高解像度画像に相当する画素数に変換する処理として、増加する画素位置に画素値０を設定する０パディング処理を行なう。
【００４６】
さらに、逆ボケ付加部１１９で、ボケの付加処理と逆の処理を行う。動作としては、ボケ付加部１１５で用いた点広がり関数（ＰＳＦ：Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）との相関の計算に相当する処理を行う。
【００４７】
逆ボケ付加部１１９の出力は、乗算器１２０において予め設定した帰還係数γと乗算後、加算器１２１に出力され、プレンド処理部１１４の出力するブレンド画像と加算され、出力される。
この加算器１２１の出力が入力画像ｇｎを高解像度化した画像（ＳＲ処理画像）となる。
【００４８】
この図２に示す構成において実行する処理を式で示すと以下のように表現することが可能である。
【００４９】
【数２】
・・・（式２）
【００５０】
なお、上記式（式２）において、各パラメータは以下のパラメータである。
ｎ：フレーム番号（ｎ−１フレームとｎフレームは例えば動画の連続フレーム）
ｇｎ：入力画像（ｎフレームの低解像度画像）
ｆｎＳＲ：フレームｎの超解像処理結果画像（＝高解像度画像）
ｆｎ−１ＳＲ：フレームｎ−１の超解像処理結果画像（＝高解像度画像）
Ｗｎ：フレームｎのフレームｎ−１に対する動き情報（動きベクトルまたは行列など）
Ｈ：ボケ付加処理（ボケフィルタ行列）
Ｄ：ダウンサンプル処理（ダウンサンプル処理行列）
（Ｗｎｆｎ−１ＳＲ）'：ブレンド処理部の出力するブレンド画像
γＳＲ：帰還係数
ＨＴ：Ｈの転置行列
ＤＴ：Ｄの転置行列
【００５１】
上記式は、図１を参照して説明した式と同様の式である。
サブサンプル部１１６の実行する間引き処理が［Ｄ＝ダウンサンプル処理］に対応し、０パディング処理部１１８の実行する処理が［ＤＴ＝アップサンプル処理］に対応することになる。
【００５２】
この図２に示す画像処理装置１００では、
図１におけるダウンサンプル部１６を、単なる画素の間引き処理を実行するサブサンプル部１１６に変更し、図１におけるアップサンプル部１８を、画素数増加に伴う増加画素部分に画素値０を追加する０パディング処理部に変更している。
この処理により、これらの処理部では、フィルタリング処理が不要となり、画素値の記憶のためのメモリやメモリアクセス処理が不要となり、装置の小型化、処理の効率化が実現される。
【００５３】
すなわち、出力画像生成部１３０内で実行するブレンド画像と入力画像（低解像度画像ｇｎ１３１）との差分情報の生成処理では、ボケ付加部１１５、逆ボケ付加部１１９においてのみフィルタリング処理が実行され、出力画像生成部１３０内で実行するフィルタリング処理は２回のみとなる。このように、本実施例の構成では、フィルタリング処理が削減され、画素値の記憶のためのメモリやメモリアクセス処理が不要となり、装置の小型化、処理の効率化が実現される。
【００５４】
（１−２．実施例２）
次に、図３を参照して、本発明の第２実施例に係る画像処理装置１５０の構成例について説明する。
図３に示す画像処理装置１５０は、図１、図２を参照して説明した回路と同様、低解像度画像ｇｎ１３１を入力して、超解像処理を実行して高解像度画像ｆｎ（＝ＳＲ処理画像１３２）を出力する。
図３に示す画像処理装置１５０は、図２に示す構成をさらに簡略化した構成を有する。
【００５５】
図２に示す画像処理装置１００との差異を中心として説明する。
図３に示す画像処理装置１５０は、図３に示す出力画像生成部１４０の構成が図２に示す構成と異なっている。具体的には以下のような変更がなされている。
図２に示すボケ処理部１１５と、サブサンプル部１１６を統合して図３に示すダウンサンプル部１５１としている。
図２に示す０パディング処理部１１８と、逆ボケ処理部１１９を統合して図３に示すアップサンプル部１５２としている。
【００５６】
その他の処理部は、図２に示す構成と同様である。
図３に示すダウンサンプル部１５１は、図２に示すボケ処理部１１５と、サブサンプル部１１６の実行する２つの処理を１回のフィルタリング処理として実行する。
ダウンサンプル部１５１は、ブレンド処理部１１４の出力間するブレンド画像を第１の解像度（低解像度）の画像の構成画素数まで低下させるダウンサンプル処理を実行する。
【００５７】
同様に、図３に示すアップサンプル部１５２は、図２に示す０パディング処理部１１８と、逆ボケ処理部１１９の実行する２つの処理を１回のフィルタリング処理として実行する。アップサンプル部１５２は、差分器１１７の出力する差分画像を第２の解像度（高解像度）の画像の画素数に合わせるアップサンプル処理を実行する
【００５８】
図３の構成において実行する処理を式で示すと以下のように表現することが可能である。
【００５９】
【数３】
・・・（式３）
【００６０】
この式（式３）は、図１、図２の構成において実行する処理を示す式と同様の式である。
図３の構成において、ダウンサンプル部１５１は、上述したように、図２に示すボケ処理部１１５と、サブサンプル部１１６の実行する２つの処理を１回のフィルタリング処理として実行し、ダウンサンプル部１５１の出力は、図３中に示すように以下のように示される。
ＤＨ（Ｗｎｆｎ−１ＳＲ）'
【００６１】
また、差分器１１７の出力は、図３中に示すように以下のように示される。
ｇｎ−ＤＨ（Ｗｎｆｎ−１ＳＲ）'
さらに、アップサンプル部１５２の出力は、図３中に示すように以下のように示される。
ＨＴＤＴ（ｇｎ−ＤＨ（Ｗｎｆｎ−１ＳＲ）'）
【００６２】
なお、各パラメータは、実施例１において説明したと同様のパラメータである。
【００６３】
このように、図３に示す画像処理装置１５０では、ダウンサンプル部１５１において、図２に示すボケ処理部１１５と、サブサンプル部１１６の実行する２つの処理を１回のフィルタリング処理として実行し、アップサンプル部１５２において、図２に示す０パディング処理部１１８と、逆ボケ処理部１１９の実行する２つの処理を１回のフィルタリング処理として実行する。
【００６４】
図２に示す構成に比較して、構成が簡略化し、またフィルタリング処理数も減少する。結果としてハードウェア構成の小型化、コストダウン、さらに処理の効率化むが実現される。
【００６５】
（１−３．実施例３）
次に、図４を参照して、本発明の第３実施例に係る画像処理装置１８０の構成例について説明する。
図４に示す画像処理装置１８０は、図１〜図３を参照して説明した回路と同様、低解像度画像ｇｎ１３１を入力して、超解像処理を実行して高解像度画像ｆｎ（＝ＳＲ処理画像１３２）を出力する。
図４に示す画像処理装置１８０は、図３に示す構成をさらに簡略化した構成を有する。
【００６６】
図３に示す画像処理装置１５０との差異を中心として説明する。
図４に示す画像処理装置１８０は、図４に示す出力画像生成部１７０の構成が図３に示す構成と異なっている。具体的には以下のような変更がなされている。
図３に示す２つのアップサンプル部、すなわちアップサンプル部１１１と、アップサンプル部１５２をまとめて、図４に示す構成では、１つのアップサンプル部１８１としている。
さらに、図３に示すダウンサンプル部１５１と差分器１１７を、図４の構成では、統合フィルタ（ポリフェーズフィルタ）１８２に置き換えている。
【００６７】
統合フィルタ（ポリフェーズフィルタ）１８２は、ブレンド処理部１１４の生成するブレンド画像を第１の解像度（低解像度）の画像の構成画素数まで低下させるダウンサンプル処理と、第２の解像度（高解像度）の画像の画素数に合わせるアップサンプル処理を実行する。統合フィルタ（ポリフェーズフィルタ）１８２は、例えばポリフェーズフィルタであり、位相毎に異なる値を畳み込むフィルタリング処理を行う。
【００６８】
なお、この出力画像生成部１７０の構成変更に伴い、統合フィルタ（ポリフェーズフィルタ）１８２の出力に対するＳＲ帰還係数との乗算処理を実行する乗算器１８３、ブレンド処理部の出力するブレンド画像から乗算器１８３の出力を減算させる差分器１８４を設けている。
差分器１８４の出力が、加算器１２１に出力されてＳＲフィードバック値と加算される。
【００６９】
図４に示す画像処理装置１８０の実行する処理を式で示すと以下のように表現することが可能である。
【００７０】
【数４】
・・・（式４）
【００７１】
この式（式４）の第１行は、図１〜図３の構成において実行する処理を示す式と同じ式である。第２行、第３行は、式の変形を行った結果であり、第３行の式が図４に示す構成と対応している。
【００７２】
すなわち、アップサンプル部１８１では、逆ボケ付加処理（ＨＴ）とアップサンプル処理（ＤＴ）に相当する処理を実行し、アップサンプル部１８１の出力は、図４中に示すように、以下の式で示すことができる。
ＨＴＤＴｇｎ、
【００７３】
また、統合フィルタ（ポリフェーズフィルタ）１８２は、ブレンド画像を入力画像に相当する第１の解像度（低解像度）の構成画素数まで低下させるダウンサンプル処理と、第２の解像度（高解像度）の画素数に合わせるアップサンプル処理を実行する。例えば位相毎に異なる値を畳み込むフィルタリング処理を行うポリフェーズフィルタによって構成される。
【００７４】
このフィルタリング処理は、
ＨＴＤＴＤＨ、
として示すことができ、統合フィルタ（ポリフェーズフィルタ）１８２の出力は、
（ＨＴＤＴＤＨ）（Ｗｎｆｎ−１ＳＲ）'
となる。
【００７５】
また、図４中の差分器１８４の出力は、図４の（Ａ）に示すように、上記式（式４）の前半部分に対応し、
（１−γＳＲＨＴＤＴＤＨ）（Ｗｎｆｎ−１ＳＲ）'
上記のように示すことができる。
また、乗算器１２０の出力は、図４の（Ｂ）に示すように、上記式（式４）の後半部分に対応し、
γＳＲＨＴＤＴｇｎ、
上記のように示すことができる。
【００７６】
結果として、加算器１２１の出力は、上記式（式４）によって示される値、すなわち、
ｆｎＳＲ＝（１−γＳＲＨＴＤＴＤＨ）（Ｗｎｆｎ−１ＳＲ）'＋γＳＲＨＴＤＴｇｎ、
となる。
この式は、前記した式４の展開から理解されるように、図１〜図３の構成における処理と等化であり、図４に示す構成を用いることで、超解像処理結果ｆｎＳＲが出力されることになる。
【００７７】
この図４に示す画像処理装置１８０では、フィルタリング処理は、アップサンプル部１８１と、統合フィルタ（ポリフェーズフィルタ）１８２であり、図１に示す構成と比較して、フィルタ処理の必要となる構成が現象し、結果としてハードウェア構成の小型化、コストダウン、さらに処理の効率化が実現されることになる。
【００７８】
［２．画像処理装置のハードウェア構成例について］
最後に、図５を参照して、上述した処理を実行する画像処理装置の１つのハードウェア構成例について説明する。ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０２、または記憶部９０８に記憶されているプログラムに従って各種の処理を実行する。例えば、上述の各実施例において説明した超解像処理等の画像処理を実行する。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０３には、ＣＰＵ９０１が実行するプログラムやデータなどが適宜記憶される。これらのＣＰＵ９０１、ＲＯＭ９０２、およびＲＡＭ９０３は、バス９０４により相互に接続されている。
【００７９】
ＣＰＵ９０１はバス９０４を介して入出力インタフェース９０５に接続され、入出力インタフェース９０５には、キーボード、マウス、マイクロホンなどよりなる入力部９０６、ディスプレイ、スピーカなどよりなる出力部９０７が接続されている。ＣＰＵ９０１は、入力部９０６から入力される指令に対応して各種の処理を実行し、処理結果を例えば出力部９０７に出力する。
【００８０】
入出力インタフェース９０５に接続されている記憶部９０８は、例えばハードディスクからなり、ＣＰＵ９０１が実行するプログラムや各種のデータを記憶する。通信部９０９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。
【００８１】
入出力インタフェース９０５に接続されているドライブ９１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア９１１を駆動し、記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部９０８に転送され記憶される。
【００８２】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【００８３】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【００８４】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【００８５】
以上、説明したように、本発明の一実施例の構成によれば、フィルタリング処理を簡略化した超解像処理を実現する装置および方法が提供される。例えば、以下の処理により高解像度画像を生成する。低解像度の入力画像を高解像度画像の持つ画素数に合わせたアップサンプル画像を生成し、高解像度の参照画像をアップサンプル画像の被写体位置に合わせた動き補償画像を生成する。さらに。アップサンプル画像と動き補償画像を画像領域単位で比較し、領域単位の画素値一致度が高い領域ほど参照画像のブレンド比率を高く設定してアップサンプル画像と参照画像をブレンドしたブレンド画像を生成する。さらに、ブレンド画像と入力画像の差分を生成し、ブレンド画像と差分情報との合成処理により高解像度画像を生成する。本発明の構成では、差分情報の生成処理に必要とするフィルタリング処理を２回以下として、装置の小型化や処理の効率化を実現した。
【符号の説明】
【００８６】
１０ 超解像処理装置
１１ アップサンプル部
１２ 動き推定／動き補償画像生成部
１３ 動き判定部
１４ ブレンド処理部
１５ ボケ付加部
１６ ダウンサンプル部
１７ 加算器
１８ アップサンプル部
１９ 逆ボケ付加部
２０ 乗算器
２１ 差分器
３１ 低解像度画像
３２ ＳＲ処理画像
１１０ 画像処理装置
１１１ アップサンプル部
１１２ 動き推定／動き補償画像生成部
１１３ 動き判定部
１１４ ブレンド処理部
１１５ ボケ付加部
１１６ サブサンプル部
１１７ 加算器
１１８ ０パディング処理部
１１９ 逆ボケ付加部
１２０ 乗算器
１２１ 差分器
１３１ 低解像度画像
１３２ ＳＲ処理画像
１５０ 画像処理装置
１５１ ダウンサンプル部
１５２ アップサンプル部
１８０ 画像処理装置
１８１ アップサンプル部
１８２ 統合フィルタ（ポリフェーズフィルタ）
１８２ 乗算器
１８３ 差分器
９０１ ＣＰＵ
９０２ ＲＯＭ
９０３ ＲＡＭ
９０４ バス
９０５ 入出力インタフェース
９０６ 入力部
９０７ 出力部
９０８ 記憶部
９０９ 通信部
９１０ ドライブ
９１１ リムーバブルメディア
【特許請求の範囲】
【請求項１】
第１の解像度の入力画像を、前記第１の解像度より高い第２の解像度の画像の持つ画素数に合わせるアップサンプル処理を実行するアップサンプル部と、
前記アップサンプル画像と、前記第２の解像度を持つ参照画像との差分情報を利用して、前記参照画像を前記アップサンプル画像の被写体位置に合わせる補正処理により動き補償画像を生成する動き補償画像生成部と、
前記アップサンプル画像と前記動き補償画像を画像領域単位で比較し、領域単位の画素値一致度が高い領域ほど参照画像のブレンド比率を高く設定して、前記アップサンプル画像と前記参照画像とのブレンド処理を実行してブレンド画像を生成するブレンド処理部と、
前記ブレンド画像と前記入力画像の差分情報を生成し、前記ブレンド画像と前記差分情報との合成により第２の解像度を持つ高解像度画像を生成する出力画像生成部を有し、
前記出力画像生成部は、前記差分情報の生成処理に必要とするフィルタリング処理を２回以下とした構成を有する画像処理装置。
【請求項２】
前記出力画像生成部は、
前記ブレンド画像に対するボケ付加処理を実行するボケ付加部と、
前記ボケ付加部の出力画像を前記第１の解像度の構成画素数まで低下させる画素間引き処理を実行するサブサンプル部と、
前記入力画像と、前記サブサンプル部の出力画像との対応画素値の差分情報を出力する差分器と、
差分器の出力する差分画像を前記第２の解像度の画素数に合わせるための０画素値のパディング処理を実行する０パディング処理部と、
前記０パディング処理部の処理結果に対して、前記ボケ付加処理と逆の処理である逆ボケ付加処理を実行する逆ボケ付加部と、
前記逆ボケ付加部の出力画像に対して予め設定した帰還係数を乗算する乗算器と、
前記ブレンド画像と、前記乗算器の出力との対応画素値の加算処理を実行する加算器を有する請求項１に記載の画像処理装置。
【請求項３】
前記出力画像生成部は、
前記ブレンド画像を前記第１の解像度の構成画素数まで低下させるダウンサンプル処理を実行するダウンサンプル部と、
前記入力画像と、前記ダウンサンプル部の出力画像との対応画素値の差分情報を出力する差分器と、
差分器の出力する差分画像を前記第２の解像度の画素数に合わせるアップサンプル処理を実行するアップサンプル部と、
前記アップサンプル部の出力画像に対して予め設定した帰還係数を乗算する乗算器と、
前記ブレンド画像と、前記乗算器の出力との対応画素値の加算処理を実行する加算器を有する請求項１に記載の画像処理装置。
【請求項４】
前記出力画像生成部は、
前記ブレンド画像を前記第１の解像度の構成画素数まで低下させるダウンサンプル処理と、前記第２の解像度の画素数に合わせるアップサンプル処理を実行する統合フィルタと、
前記統合フィルタの出力に対して、予め設定した帰還係数を乗算する第１乗算器と、
前記ブレンド画像と、前記乗算器の出力との対応画素値の差分を算出する差分器と、
前記入力画像に対するアップサンプル処理を実行するアップサンプル部の出力に対して、予め設定した帰還係数を乗算する第２乗算器と、
前記差分器の出力と前記第２乗算器の出力との加算処理を実行する加算器を有する請求項１に記載の画像処理装置。
【請求項５】
前記統合フィルタは、位相ごとに異なる値を畳み込むポリフェーズフィルタによって構成される請求項４に記載の画像処理装置。
【請求項６】
画像処理装置において解像度変換処理を実行する画像処理方法であり、
アップサンプル部が、第１の解像度の入力画像を、前記第１の解像度より高い第２の解像度の画像の持つ画素数に合わせるアップサンプル処理を実行するアップサンプル処理ステップと、
動き補償画像生成部が、前記アップサンプル画像と、前記第２の解像度を持つ参照画像との差分情報を利用して、前記参照画像を前記アップサンプル画像の被写体位置に合わせる補正処理により動き補償画像を生成する動き補償画像生成ステップと、
ブレンド処理部が、前記アップサンプル画像と前記動き補償画像を画像領域単位で比較し、領域単位の画素値一致度が高い領域ほど参照画像のブレンド比率を高く設定して、前記アップサンプル画像と前記参照画像とのブレンド処理を実行してブレンド画像を生成するブレンド処理ステップと、
出力画像生成部が、前記ブレンド画像と前記入力画像の差分情報を生成し、前記ブレンド画像と前記差分情報との合成により第２解像度を持つ高解像度画像を生成する出力画像生成ステップを有し、
前記出力画像生成ステップは、前記差分情報の生成処理に必要とするフィルタリング処理を２回以下とした処理により高解像度画像を生成するステップである画像処理方法。
【請求項７】
画像処理装置において解像度変換処理を実行させるプログラムであり、
アップサンプル部に、第１の解像度の入力画像を、前記第１の解像度より高い第２の解像度の画像の持つ画素数に合わせるアップサンプル処理を実行させるアップサンプル処理ステップと、
動き補償画像生成部に、前記アップサンプル画像と、前記第２の解像度を持つ参照画像との差分情報を利用して、前記参照画像を前記アップサンプル画像の被写体位置に合わせる補正処理により動き補償画像を生成させる動き補償画像生成ステップと、
ブレンド処理部に、前記アップサンプル画像と前記動き補償画像を画像領域単位で比較させ、領域単位の画素値一致度が高い領域ほど参照画像のブレンド比率を高く設定して前記アップサンプル画像と前記参照画像とのブレンド処理を実行してブレンド画像を生成させるブレンド処理ステップと、
出力画像生成部に、前記ブレンド画像と前記入力画像の差分情報を生成させ、前記ブレンド画像と前記差分情報との合成により第２解像度を持つ高解像度画像を生成させる出力画像生成ステップを実行させ、
前記出力画像生成ステップは、前記差分情報の生成処理に必要とするフィルタリング処理を２回以下とした処理により高解像度画像を生成させるステップであるプログラム。
【請求項１】
第１の解像度の入力画像を、前記第１の解像度より高い第２の解像度の画像の持つ画素数に合わせるアップサンプル処理を実行するアップサンプル部と、
前記アップサンプル画像と、前記第２の解像度を持つ参照画像との差分情報を利用して、前記参照画像を前記アップサンプル画像の被写体位置に合わせる補正処理により動き補償画像を生成する動き補償画像生成部と、
前記アップサンプル画像と前記動き補償画像を画像領域単位で比較し、領域単位の画素値一致度が高い領域ほど参照画像のブレンド比率を高く設定して、前記アップサンプル画像と前記参照画像とのブレンド処理を実行してブレンド画像を生成するブレンド処理部と、
前記ブレンド画像と前記入力画像の差分情報を生成し、前記ブレンド画像と前記差分情報との合成により第２の解像度を持つ高解像度画像を生成する出力画像生成部を有し、
前記出力画像生成部は、前記差分情報の生成処理に必要とするフィルタリング処理を２回以下とした構成を有する画像処理装置。
【請求項２】
前記出力画像生成部は、
前記ブレンド画像に対するボケ付加処理を実行するボケ付加部と、
前記ボケ付加部の出力画像を前記第１の解像度の構成画素数まで低下させる画素間引き処理を実行するサブサンプル部と、
前記入力画像と、前記サブサンプル部の出力画像との対応画素値の差分情報を出力する差分器と、
差分器の出力する差分画像を前記第２の解像度の画素数に合わせるための０画素値のパディング処理を実行する０パディング処理部と、
前記０パディング処理部の処理結果に対して、前記ボケ付加処理と逆の処理である逆ボケ付加処理を実行する逆ボケ付加部と、
前記逆ボケ付加部の出力画像に対して予め設定した帰還係数を乗算する乗算器と、
前記ブレンド画像と、前記乗算器の出力との対応画素値の加算処理を実行する加算器を有する請求項１に記載の画像処理装置。
【請求項３】
前記出力画像生成部は、
前記ブレンド画像を前記第１の解像度の構成画素数まで低下させるダウンサンプル処理を実行するダウンサンプル部と、
前記入力画像と、前記ダウンサンプル部の出力画像との対応画素値の差分情報を出力する差分器と、
差分器の出力する差分画像を前記第２の解像度の画素数に合わせるアップサンプル処理を実行するアップサンプル部と、
前記アップサンプル部の出力画像に対して予め設定した帰還係数を乗算する乗算器と、
前記ブレンド画像と、前記乗算器の出力との対応画素値の加算処理を実行する加算器を有する請求項１に記載の画像処理装置。
【請求項４】
前記出力画像生成部は、
前記ブレンド画像を前記第１の解像度の構成画素数まで低下させるダウンサンプル処理と、前記第２の解像度の画素数に合わせるアップサンプル処理を実行する統合フィルタと、
前記統合フィルタの出力に対して、予め設定した帰還係数を乗算する第１乗算器と、
前記ブレンド画像と、前記乗算器の出力との対応画素値の差分を算出する差分器と、
前記入力画像に対するアップサンプル処理を実行するアップサンプル部の出力に対して、予め設定した帰還係数を乗算する第２乗算器と、
前記差分器の出力と前記第２乗算器の出力との加算処理を実行する加算器を有する請求項１に記載の画像処理装置。
【請求項５】
前記統合フィルタは、位相ごとに異なる値を畳み込むポリフェーズフィルタによって構成される請求項４に記載の画像処理装置。
【請求項６】
画像処理装置において解像度変換処理を実行する画像処理方法であり、
アップサンプル部が、第１の解像度の入力画像を、前記第１の解像度より高い第２の解像度の画像の持つ画素数に合わせるアップサンプル処理を実行するアップサンプル処理ステップと、
動き補償画像生成部が、前記アップサンプル画像と、前記第２の解像度を持つ参照画像との差分情報を利用して、前記参照画像を前記アップサンプル画像の被写体位置に合わせる補正処理により動き補償画像を生成する動き補償画像生成ステップと、
ブレンド処理部が、前記アップサンプル画像と前記動き補償画像を画像領域単位で比較し、領域単位の画素値一致度が高い領域ほど参照画像のブレンド比率を高く設定して、前記アップサンプル画像と前記参照画像とのブレンド処理を実行してブレンド画像を生成するブレンド処理ステップと、
出力画像生成部が、前記ブレンド画像と前記入力画像の差分情報を生成し、前記ブレンド画像と前記差分情報との合成により第２解像度を持つ高解像度画像を生成する出力画像生成ステップを有し、
前記出力画像生成ステップは、前記差分情報の生成処理に必要とするフィルタリング処理を２回以下とした処理により高解像度画像を生成するステップである画像処理方法。
【請求項７】
画像処理装置において解像度変換処理を実行させるプログラムであり、
アップサンプル部に、第１の解像度の入力画像を、前記第１の解像度より高い第２の解像度の画像の持つ画素数に合わせるアップサンプル処理を実行させるアップサンプル処理ステップと、
動き補償画像生成部に、前記アップサンプル画像と、前記第２の解像度を持つ参照画像との差分情報を利用して、前記参照画像を前記アップサンプル画像の被写体位置に合わせる補正処理により動き補償画像を生成させる動き補償画像生成ステップと、
ブレンド処理部に、前記アップサンプル画像と前記動き補償画像を画像領域単位で比較させ、領域単位の画素値一致度が高い領域ほど参照画像のブレンド比率を高く設定して前記アップサンプル画像と前記参照画像とのブレンド処理を実行してブレンド画像を生成させるブレンド処理ステップと、
出力画像生成部に、前記ブレンド画像と前記入力画像の差分情報を生成させ、前記ブレンド画像と前記差分情報との合成により第２解像度を持つ高解像度画像を生成させる出力画像生成ステップを実行させ、
前記出力画像生成ステップは、前記差分情報の生成処理に必要とするフィルタリング処理を２回以下とした処理により高解像度画像を生成させるステップであるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１１−２３７９９８（Ｐ２０１１−２３７９９８Ａ）
【公開日】平成２３年１１月２４日（２０１１．１１．２４）
【国際特許分類】
【出願番号】特願２０１０−１０８４０８（Ｐ２０１０−１０８４０８）
【出願日】平成２２年５月１０日（２０１０．５．１０）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２３年１１月２４日（２０１１．１１．２４）
【国際特許分類】
【出願日】平成２２年５月１０日（２０１０．５．１０）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]