高解像度化装置および方法
【課題】鮮鋭な画像を得る。
【解決手段】画面内に複数の画素を配し、各画素の輝度を画素値として表した画像を画像ソースから取得する手段１０１と、画像中の１フレームを基準フレームに設定する手段１０１と、画像中の１以上のフレーム中の画素を注目画素として順次設定する手段１０１と、注目画素ごとに注目画素を含む注目画像領域を設定する設定１０１、１０２と、注目画像領域中の画素値の変化パターンに最も近い複数の注目画像領域に対応する複数の対応点を基準フレームの中から選択する選択手段１０３、１０４、１０７と、対応点での輝度の標本値を対応点に対応している注目画素の画素値に設定する手段１０６と、複数の標本値の大きさと、複数の対応点の配置とに基づいて、基準フレームの画素数よりも多い画素数の高解像度画像であって基準フレームに対応する高解像度画像の画素値を算出する手段１０６と、を具備する。
【解決手段】画面内に複数の画素を配し、各画素の輝度を画素値として表した画像を画像ソースから取得する手段１０１と、画像中の１フレームを基準フレームに設定する手段１０１と、画像中の１以上のフレーム中の画素を注目画素として順次設定する手段１０１と、注目画素ごとに注目画素を含む注目画像領域を設定する設定１０１、１０２と、注目画像領域中の画素値の変化パターンに最も近い複数の注目画像領域に対応する複数の対応点を基準フレームの中から選択する選択手段１０３、１０４、１０７と、対応点での輝度の標本値を対応点に対応している注目画素の画素値に設定する手段１０６と、複数の標本値の大きさと、複数の対応点の配置とに基づいて、基準フレームの画素数よりも多い画素数の高解像度画像であって基準フレームに対応する高解像度画像の画素値を算出する手段１０６と、を具備する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラで撮影された画像データやテレビが受信した画像データをより高い解像度の画像データに変換する高解像度化装置および方法に関する。
【背景技術】
【０００２】
画素数が多い、つまり高解像度のテレビやディスプレイが普及してきている。テレビやディスプレイは、画像を表示する場合、画像データの画素数をパネルの画素数に変換する。特に、画素数を増やす高解像度化の変換において、線形内挿法よりも鮮鋭な画像が得られる方法として、複数フレーム劣化逆変換法が知られている（例えば、特許文献１、非特許文献１参照）。
【０００３】
複数フレーム劣化逆変換法は、基準フレームに写っている被写体が別のフレームにも写っていることに注目し、被写体の動きを画素間隔以下の高い精度で検出することで、被写体の同一の局所部分に対して微小に位置がずれた複数の標本値を求めて高解像度化するものである。
【０００４】
より詳細に、複数フレーム劣化逆変換法を説明する。この方法では、低解像度なフレームが時系列で並んでいる場合に、それらを順次高解像度なフレームに変換する。例えば、移動する自動車を撮影した動画像の時間的に前後する３枚のフレームを低解像度画像として用い、これらの３枚のフレームから１つのフレームを基準フレームとして高解像度化する。例えば、これを縦２倍、横２倍に高解像度化する。未知である高解像度画像の画素に対して、低解像度画像の画素、つまり既知な標本値はまばらである。この状態でも高解像度画像の画素値の推定はできるが、事前に既知な標本値を増やしておけば、より正確な高解像度画像を得ることができる。そのために、複数フレーム劣化逆変換法では、基準フレーム以外の低解像度画像の画素の位置に写っている被写体が、基準フレームの画面内でどの位置に写っているかを検出し、その画素値を基準フレーム内の対応点における標本値として用いる。
【０００５】
具体的には、例えば、ある画素を中心に低解像度画像から数画素四方のブロックを取り出し、このブロックと同じ大きさで、含まれる画素が、取り出したブロックと近い画素値を持つ部分を基準フレームの中で探索する。探索はサブピクセル精度で行う（例えば、非特許文献２参照）。見つかった対応ブロックの中心を対応点とする。これにより、他のフレームに対応する画面の点Ａと、基準フレームに対応する画面の点Ｂとが同じ被写体の同一の位置として対応づけられる。この対応は、点Ａを始点、点Ｂを終点とする動きベクトルで表される。サブピクセル精度で探索を行うので、動きベクトルは一般に、始点は画素の位置、終点は画素がない位置になる。このような動きベクトルを低解像度画像の全ての画素について求め、また、他の低解像度画像についても同様に各画素を始点とする基準フレームへの動きベクトルを検出する。次に、各動きベクトルの終点に始点の画素値を標本値として配置する。最後に、このように非一様に配置された標本値から、格子状に一様に配置された高解像度画像の画素の値を求める。この手法としては、重ね合わせ法（nonuniform interpolation）やＰＯＣＳ法などが知られている（例えば、非特許文献１参照）。
【特許文献１】特開２０００−１８８６８０公報（第３−７頁、図２２）
【非特許文献１】S. Park, et.al. "Super-Resolution Image Reconstruction: A Technical Overview," IEEE Signal Processing Magazine, USA, IEEE, May 2003, p.21-36
【非特許文献２】清水，奥富，「画像のマッチングにおけるサブピクセル推定の意味と性質」電子情報通信学会論文誌D-II，電子情報通信学会，２００２年１２月，第８５巻，第１２号，ｐ．１７９１−１８００
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上記のように複数フレーム劣化逆変換法では、鮮鋭な高解像度画像が得られるが、十分な数の標本値を得るには、多数の低解像度画像が必要であり、メモリ量が多くなるという問題がある。
【０００７】
この発明は、上述した事情を考慮してなされたものであり、少ないメモリ量を使用するだけで鮮鋭な高解像度画像を得る高解像度化装置および方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上述の課題を解決するため、本発明の高解像度化装置は、画面内に複数の画素を配し、その各画素の輝度を画素値として表した画像を画像ソースから取得する取得手段と、前記画像に含まれる１フレームを基準フレームに設定する第１の設定手段と、前記画像に含まれる１以上のフレーム中の複数の画素を１つずつ注目画素として順次設定する第２の設定手段と、前記注目画素ごとに該注目画素を含む注目画像領域を設定する第３の設定手段と、前記注目画像領域に含まれる画素値の変化パターンに最も近い複数の注目画像領域に対応する複数の対応点を前記基準フレームの中から選択する選択手段と、前記対応点での輝度の標本値を、該対応点に対応している注目画素の画素値に設定する第４の設定手段と、複数の前記標本値の大きさと、前記複数の対応点の配置とに基づいて、前記基準フレームに含まれる画素数よりも多い画素数の高解像度画像であって前記基準フレームに対応する高解像度画像に含まれる複数の画素値を算出する算出手段と、を具備することを特徴とする。
【０００９】
また、本発明の高解像度化装置は、画面内に複数の画素を配し、その各画素の輝度を画素値として表した画像を画像ソースから取得する取得手段と、前記画像に含まれる１フレームを縦方向又は横方向の１列の画素ラインに分割する分割手段と、複数の前記画素ラインに含まれる１画素ラインを基準画素ラインに設定する第１の設定手段と、前記画像に含まれる１以上のフレーム中で前記基準画素ライン以外の複数の画素を１つずつ注目画素として順次設定する第２の設定手段と、前記注目画素ごとに該注目画素を含む注目画像領域を設定する第３の設定手段と、前記注目画像領域に含まれる画素値の変化パターンに最も近い複数の注目画像領域に対応する複数の対応点を前記基準画素ラインの中から選択する選択手段と、前記対応点での輝度の標本値を、該対応点に対応している注目画素の画素値に設定する第４の設定手段と、複数の前記標本値の大きさと、前記複数の対応点の配置とに基づいて、前記基準画素ラインに含まれる画素数よりも多い画素数の高解像度画像であって前記基準画素ラインに対応する高解像度画像に含まれる複数の画素値を算出する算出手段と、を具備することを特徴とする。
【発明の効果】
【００１０】
本発明の高解像度化装置および方法によれば、少ないメモリ量を使用するだけで鮮鋭な高解像度画像を得ることができる。
【発明を実施するための最良の形態】
【００１１】
以下、図面を参照しながら本発明の実施形態に係る高解像度化装置および方法について詳細に説明する。
本発明の実施形態に係る高解像度化装置および方法は、被写体の一部をとりだして、その輝度値の変化パターンを見ると、その近くに同じパターンが存在するという点に新たに着目したものである。つまり、本実施形態の高解像度化装置および方法は、同じ輝度値変化パターンに対する標本値が一つのフレームに複数あり、それらの位置を検出するものである。
【００１２】
本発明の実施形態に係る高解像度化装置について図１Ａを参照して説明する。
本実施形態の高解像度化装置は、メモリ１０１、候補指定部１０２、マッチング誤差算出部１０３、誤差比較部１０４、メモリ１０５、高解像度画素値算出部１０６、パラボラフィッティング部１０７、メモリ１０８を備えている。なお、以下、既に説明した装置部分と同様なものは同一の番号を付してその説明を省略する。
【００１３】
メモリ１０１は、低解像度画像データを取得し格納する。低解像度画像は、動画像でも静止画像でも構わない。低解像度データは、画像ソース、すなわち、カメラ、テレビ等の画像データ生成部（図示せず）から取得する。より具体的には、低解像度データは、例えば、カメラが撮影した画像データやテレビが受信した画像データである。また、メモリ１０１は、候補指定部１０２から、誤差を計算する画像部分を示す信号と、注目画素の位置を示す信号とを入力し、注目画素の周辺の画像データ、誤差を計算する部分の画像データをマッチング誤差算出部１０３に出力する。また、メモリ１０１は、高解像度画素値算出部１０６に低解像度画像データを供給する。この際、メモリ１０１は、高解像度画素値算出部１０６に、１画像ずつ供給する（第１の実施形態）、１画像中の１ラインずつ（第２の実施形態）、または、１画像中の１ブロックずつ（第３の実施形態）供給する。１ラインずつ供給する場合には、メモリ１０１はラインメモリ（図示せず）を備えていて、ラインメモリに１画像分のラインの画像を格納する。また、メモリ１０１は、後述する基準フレームを設定する。
【００１４】
候補指定部１０２は、探索範囲を指定するデータを含む制御データを入力し、この探索範囲に基づいて、誤差を計算する部分を示す信号と、注目画素の位置を示す信号とを生成し、これらの信号をメモリ１０１とメモリ１０５に出力する。探索範囲については後に図１９を参照して説明する。
【００１５】
マッチング誤差算出部１０３は、メモリ１０１から注目画素の周辺の画像データ、誤差を計算する部分の画像データを取得し、注目画素の周辺の画像データと、探索範囲にある誤差を計算する画像部分の画像データとの誤差を計算する。誤差は、例えば、差分絶対値和や差分２乗和により計算される。注目画素の周辺の画像データは、例えば、注目ブロックのデータである。マッチング誤差算出部１０３は、探索範囲の中で誤差を計算する画像部分を順次変更して、注目画素の周辺の画像データと誤差を計算する画像部分の画像データとの誤差を順次求める。
【００１６】
誤差比較部１０４は、探索範囲に含まれる複数の画像部分に対応する複数の誤差の大小関係を計算する。誤差比較部１０４は、例えば、誤差が最小近くになる複数の位置を複数の対応画素点として求める。
【００１７】
メモリ１０５は、誤差比較部１０４で計算された対応画素点を候補指定部１０２から取得し格納する。
【００１８】
パラボラフィッティング部１０７は、この対応画素点を基にして、パラボラフィッティング法を用いてサブピクセル推定を行い、対応点を決定する。この対応点を一つの注目画素について２つ以上求める。パラボラフィッティング部１０７の詳細は後に図２５、図３０を参照して説明する。
【００１９】
メモリ１０８は、パラボラフィッティング部１０７で求められた対応点の位置情報を格納する。
【００２０】
高解像度画素値算出部１０６は、低解像度画像の所定の画素について対応点が求まった後、メモリ１０１から低解像度画像の画素データと、メモリ１０８から対応点の位置とを取得し、例えば、低解像度画像の画素データごとに、対応点の位置を用いてその条件式を連立し、解を求めることで高解像度画像の画素値を決定し、その画素値データを出力する。
【００２１】
次に、パラボラフィッティング法を使用せずオーバーサンプリング法を使用する場合の本実施形態の高解像度化装置について図１Ｂを参照して説明する。
図１Ｂの高解像度化装置は、図１Ａで、パラボラフィッティング部１０７を取り去り、新たに、オーバーサンプリング部１０９、メモリ１１０を備えている。
【００２２】
オーバーサンプリング部１０９は、誤差を計算する間隔に依存して低解像度データのデータ量を多くする。オーバーサンプリング法の詳細については後に図２６、図３１を参照して説明する。
【００２３】
メモリ１１０は、オーバーサンプリング部１０９でサンプリングされたデータを一時的に格納し、マッチング誤差算出部１０３にこのデータを供給する。
【００２４】
（第１の実施形態）
次に、本実施形態の高解像度化装置の動作の一例について図２を参照して説明する。なお、以下で画像のことをフレームと呼ぶこともある。
ステップＳ２０１では、候補指定部１０２が、注目画素として、低解像度画像の画素を所定の順序で設定する。順序は、静止画像の場合、例えば、画面の左上の画素から右向き、上の行から下向きといういわゆるラスタ順序とする。動画像の場合の順序は、フレームは時刻の順序、各フレームの画素はラスタ順序とする。動画像の場合の低解像度フレームと高解像度フレームの関係については後に図３、図４、図５、図６、図７、図８を参照して説明する。
【００２５】
ステップＳ２０２では、マッチング誤差算出部１０３、誤差比較部１０４、パラボラフィッティング部１０７が注目画素に対応する点（対応画素点または対応点と呼ぶ）を基準フレームの画面空間内で検出する。
【００２６】
ステップＳ２０３では、マッチング誤差算出部１０３が、注目画素について所定の数の対応点が求まったどうかを判定し、求まっていない場合はステップＳ２０２に戻って別の対応点を検出し、求まった場合はステップＳ２０４に進む。ステップＳ２０２とステップＳ２０３については後に図９から図１７を参照して詳細に説明する。
【００２７】
ステップＳ２０４では、マッチング誤差算出部１０３が、高解像度化に用いる低解像度画像の画素について、それぞれ対応点が求まったかどうかを判定し、ＮｏであればステップＳ２０１に戻って次の画素について処理を行い、ＹｅｓであればステップＳ２０５に進む。
【００２８】
ステップＳ２０５では、高解像度画素値算出部１０６が、低解像度画像の画素値と検出した対応点の位置を用いて、基準フレームの高解像度画像の画素値を算出して処理を終了する。高解像度画像の画素値の算出については後に図４０を参照して説明する。
【００２９】
次に、動画像の場合の低解像度フレームと高解像度フレームの関係について図３、図４、図５、図６、図７、図８を参照して説明する。
本実施形態の高解像度化装置が、入力した低解像度フレームを用いて、時間順序で高解像度フレームを生成する。図３では、高解像度化装置が５枚目の高解像度フレームを生成している。この高解像度化処理をそのときに行っている低解像度フレーム、この例では５枚目のフレームを基準フレームと呼ぶ。基準フレームを高解像度化するために、図３では低解像度フレームのうち、基準フレームとその前の時刻の２枚のフレームを用いて高解像度化を行う。図４では、高解像度化装置が基準フレームの低解像度フレームだけを用いてそれの高解像度化を行っている。静止画像の場合は、入力される低解像度画像は１枚だけなので、それが基準フレームに相当し、その１枚だけを用いて高解像度化する。便宜上、静止画像は１フレームであると表現する。
【００３０】
基準フレームの低解像度画像の画面５０１と画素５０２の位置関係を図５に示す。画像は元来、画面空間において輝度が連続に分布している。しかし、ここで扱うデジタル画像の場合は画面空間に離散的な標本点として画素を配し、その輝度だけでその周囲の輝度を代表させる。図５は、画面を横６個、縦４行の２４個の正方形に分割しその中心を標本点として２４個の画素を配した様子である。この低解像度画像の画素を黒丸で示す。図５の画面を横２倍、縦２倍に高解像度化した様子を図６に示す。高解像度画像での画素６０１を白丸で表す。このように画素の間隔は低解像度画像の１／２になる。元の低解像度画像の画素を高解像度画像と同じ間隔で図示したものを図７に示す。この場合、低解像度画像の大きさは高解像度画像の大きさよりも小さくなる。
このように低解像度画像は、その高解像度画像と画面の大きさを合わせると画素の間隔が広がり、画素の間隔を合わせると画面の大きさが小さくなる。しかし、これらは同じことを表しており、以下、本明細書では説明しやすいように、適宜、低解像度画像を図５のように表したり、図７のように表したりする。図８は、低解像度画像の画素の標本点を黒丸で、高解像度画像の画素の標本点を白丸で示した図である。高解像度化の処理は、この黒丸の標本点に与えられた輝度値を元にして白丸の標本点の輝度値を求めることである。
【００３１】
次に、ステップＳ２０２とステップＳ２０３について具体例を挙げて、図９から図１７を参照して詳細に説明する。なお、画面９０４、９０６は見やすいように、少ない画素で描いているが、実際には例えば縦横とも数百画素の画像である。また、これらは見やすいように２値画像で表しているが、実際は濃淡画像である。また、高解像度画像の画面９０８における高解像度画像の画素９０９の位置を白丸、低解像度画像の画素９１０の位置を黒丸で示す。
図９の具体例では、移動する自動車９０７を撮影した動画像のうち時間的に前後する２枚のフレーム９０１、９０３があるとする。高解像度化装置は、これらのフレームのうち、フレーム９０３を基準フレームとして高解像度化する。図９では、フレーム９０１の画面空間９０４の中の注目画素９１１に対して、フレーム９０３の画面空間９０６に対応点９１４が検出された結果を示している。画面空間については後に図２４を参照して説明する。
【００３２】
フレーム９０１の画面空間９０４の注目画素と基準フレームの画面空間９０６の対応点とは、始点を注目画素９１１、終点を対応点９１４とする対応ベクトル９１５で対応づけられる。この対応点の検出のために、候補指定部１０２が、注目画素９１１を中心にフレーム９０１から数画素四方、例えば、５×５画素や３×３画素の矩形のブロック９１２を注目ブロックとして取り出し、マッチング誤差算出部１０３が、取り出した注目ブロックと画素値の変化パターンが近い部分を基準フレーム９０３の中で探索する。この探索する手法の詳細については後に図１８、図１９を参照して説明する。
【００３３】
次に、基準フレームが撮影されたときの様子を挙げて、ステップＳ２０２、Ｓ２０３の動作について図１０、図１１、図１２、図１３を参照して説明する。図１０は、基準フレームが、撮影されたときの様子を示している。図１０は、低解像度画像の標本点を含むように画面空間の縦軸を固定し、図１０の横軸に画面空間の横軸ｈ、図１０の縦軸に輝度をとった図である。点線が被写体の輝度変化、黒丸が撮影時に画素に標本化された点を表す。標本点の間隔は１である。標本化された輝度値を画素値として得られた基準フレームの画像データを図１１に示す。図１１に示すような画像データは、例えば、左から２番目の標本点と３番目の標本点との間１１０１のように、標本化により元々の輝度変化よりもなだらかになってしまう。したがって、基準フレームの画素だけでは鮮鋭な画像は再生できない。
【００３４】
一方、同じ被写体の同じ部分が他のフレームで撮影された様子を図１２に、画像データとなったときの様子を図１３に示す。このように、一般に異なるフレームでは、同じ輝度変化の部分がずれた位置、この場合、約０．５ずれた位置で標本化される。このような状態を標本化の位相が異なる、位相がずれているなどと言い、同じ位置や、ちょうど１画素ずれて同じ画素値となる状態を位相が同じ、位相が合っているなどという。
【００３５】
ステップＳ２０２、Ｓ２０３の対応画素点を求めるまでの手順は、図１３を注目ブロックとして、図１１の基準フレームに対して位置座標を１画素ずつずらしながら誤差を求めたものである。その様子を図１４と図１５に示す。ここでは簡単のため、ブロックは横５画素×縦１画素、探索はｘ方向だけに行ったものとする。図１５はマッチング誤差が最小となった場合（ｘ＝ｍ）とする。これに対して、例えばｘ＝ｍ−１としたものが図１４である。ｘ＝ｍの位置が対応画素点であるが、注目ブロックと基準フレームのずれを正確に一致させるために、位相が約０．５ずれた、図１６の状態になる位置を検出したい。このサブピクセル推定ための一手法がパラボラフィッティング法（例えば、上記の、清水，奥富，「画像のマッチングにおけるサブピクセル推定の意味と性質」参照）である。パラボラフィッティング法については後に図２５を参照して説明する。なお、図９に示すように、ブロック９１３がサブピクセル推定で求まったブロックであり、その中心が対応点９１４である。この情報により、画面９０６を拡大表示した画面９０８における、対応点９１６の位置の標本値として注目画素の画素値を配置する。
【００３６】
ところで、高解像度化のためには、図１２と図１０の点線のように輝度変化が同じ部分を異なる位相で標本化した画素値が多く必要である。そのため、フレーム間で、同じ被写体の同じ部分（これは当然、輝度変化が同じ部分）を検出して対応づけるのはこれまで説明したように有効である。しかし、被写体の別の部分にも同じ輝度変化をする部分は存在する。解像度が高い、実際の写真のデータを図１７に示す。横軸が画素の横座標、縦軸が輝度である。５行のデータをそれぞれ別の曲線で示した。このように異なる行でも、非常に似た輝度変化をする部分があることが分かる。このような画像の性質をここでは、局所パターンに自己相関があるという。この局所パターンの自己相関を利用した手法は後の第２の実施形態で説明する。
空間的な輝度変化、つまり画像のエッジは長いものなら画面の数百画素分、短いものでも数画素分の長さは連続するのが一般的でありこれらを標本化した画素値は、高解像度化のためにその近くのエッジの標本値として利用できる。同じ理由から、ある点に対応点が求まったとしたら、その近くの輝度変化の再現のためにも、同じ注目画素を使える。そこで、本実施形態では、異なる位置に対応点を複数求める。本実施形態では、例えば、マッチング誤差が最小となる位置だけでなく、２番目、３番目に誤差が小さくなる位置も対応誤差点とし、それらを元にそれぞれサブピクセル推定を行う。より具体的な動作については後に図３２から図３９を参照して説明する。
【００３７】
図９に戻り、前述したようにして求めた別の対応点９１７を対応ベクトル９１８で表し、それに合わせて、標本値９１９を配置する。ブロック９２０は、対応点９１７を検出する際に見つかったブロックである。ブロック９１３と非常に近い画素パターンとなる。
【００３８】
次に、取り出した注目ブロックと画素値の変化パターンが近い部分を基準フレーム９０３の中で探索する手法について図１８、図１９を参照して説明する。
注目ブロックについて具体例を挙げて説明する。フレーム９０１から取り出した３×３画素の注目ブロックを図１８に、基準フレーム９０３の探索範囲を図１９にそれぞれ示す。探索範囲は、例えば注目画素９１１と同じ位置を中心にした所定の大きさの長方形や正方形とする。そして、マッチング誤差算出部１０３は、探索範囲から３×３画素の領域に対して、注目ブロックの３×３画素との誤差を計算する。このマッチング誤差は、例えば、同じ位置にある画素同士の差分の絶対値を９画素分加算した差分絶対値和や、差分の２乗を加算した差分２乗和を用いる。ブロックを左上１９０１にしたときの誤差をまず計算し、次にその右隣り１９０２にしたときの誤差を計算し、以降同様に探索範囲内で画素間隔の幅ずつブロックをラスタ順序でずらしながら右下１９０３まで、それぞれ誤差を計算する。
【００３９】
次に、この探索範囲を示すベクトル探索空間について図２０から図２３を参照して説明する。
この探索空間を図２０に示す。ｘ軸が横方向、ｙ軸が縦方向で、原点は、図１９において中央１９０４にブロックがある状態を表す。探索時には、その状態から右に３画素分、左に３画素分、上下にもそれぞれ２画素分のブロックが設定可能であり、その設定可能なブロックの中心の位置を図２０に黒丸で示す。位置２００１が図１９のブロック１９０１の状態、位置２００２がブロック１９０２の状態を表す。この探索空間において、誤差が最小となる位置を１つの対応画素点とする。この段階ではまだ対応画素点は基準フレーム上のある画素の位置にある。なお、ブロックは正方形や長方形以外にも、図２１に示すような横方向に１列に画素を並べたものや、図２２の縦１列、図２３の斜め１列などでもよい。
【００４０】
次に、画面空間について図２４を参照して説明する。図２４は画面空間で用いる座標系を示す。画面の左上を原点にし、横軸をｈ、縦軸をｖとする。黒丸で表した低解像度画像の画素の標本点は、
（ｈ，ｖ）＝（０．５，０．５）、（１．５，０．５）、（２．５，０．５）．．
（０．５，１．５）．．．
のように、ｈが「＊．５」（＊＝０，１，２，３，．．．）で表される数値で、ｖも同様の数値となる位置である。高解像度画像の画素の標本点は、
（ｈ，ｖ）＝（０．２５，０．２５）、（０．７５，０．２５）．．
（０．２５，０．７５）．．．
のように、ｈやｖが「＊．２５」か「＊．７５」となる位置である。
【００４１】
次に、パラボラフィッティング法について図２５を参照して説明する。
この手法は図２５に示したように、横軸をｘ、縦軸をマッチング誤差とし、誤差最小となったｘ（＝ｍ）と、その前後のｘでの誤差を放物線にあてはめ、放物線が極小となるｘの値を対応点の１つとするものである。なお、仮に位相のずれが０．５の場合は、ｘ＝ｍとｘ＝ｍ−１の誤差は等しくなり、その中点が極小となるはずであるが、この図では、より一般的にパラボラフィッティングを説明するために少しずらして描いている。
【００４２】
なお、パラボラフィッティング法以外でも、上記の、清水，奥富，「画像のマッチングにおけるサブピクセル推定の意味と性質」にあるような、等角フィッティングを用いてもよい。
また、サブピクセル推定の別の手法としてオーバーサンプリング法がある。オーバーサンプリング法では、まず、図１３に示した他フレームのブロックデータを線形内挿して２倍の密度にした図２６に示すデータを作る。一方、図１１の基準フレームのデータも図２７のように２倍の密度にしておく。この状態で探索を行えば、図２８に示した、ｘ＝ｍ−０．５に相当するもののマッチング誤差もフィッティングなどせずに直接計算でき、その誤差は図２９に示したｘ＝ｍよりも小さくなる。その結果、ｘ＝ｍ−０．５を最小の位置として対応点を検出できる。
このように、オーバーサンプリング法では、精度（誤差を計算する間隔）を１／２にするにはデータを２倍に、１／４にするには４倍にする必要があるが、単純なアルゴリズムで対応点を求められる。フィッティング法（例えば、パラボラフィッティング法、等角フィッティング法）、オーバーサンプリング法で対応点を求めるフローチャートをそれぞれ、図３０、図３１に示す。以下、既に説明したステップと同様なものは同一の番号を付してその説明を省略する。
ステップＳ３００１では、注目ブロックに対して、基準フレーム内で１画素ずつブロックの位置をずらしながら誤差を計算し、その誤差が最小となる対応ブロックを検出する。
ステップＳ３００２では、パラボラフィッティング法や等角フィッティング法で対応点を検出して終了する。
【００４３】
ステップＳ３１０１では、注目ブロックと基準フレームの画素内挿を行って２倍の密度にしてステップＳ３００１に進み、ステップＳ３００１の処理後にステップＳ３１０２に進む。
ステップＳ３１０２では、対応ブロックに対応する点を対応点として終了する。
【００４４】
次に、異なる位置に対応点を複数求める具体的な手法について図３２から図３９を参照して説明する。
図２０に示した探索空間において、マッチング誤差が最小となる位置だけでなく、２番目、３番目に誤差が小さくなる位置も対応誤差点とし、それらを元にそれぞれサブピクセル推定を行う。この数は、予め所定の数に決めておいてもいいし、誤差が一定値以下になるもの全てでそれぞれ対応点を求めてもよい。また、探索範囲を図３２の黒丸のように限定してこの中で最小となる位置でまず対応点を求め、次に、図３３、図３４、図３５の探索範囲でそれぞれ対応点を一つずつ決めてもよい。このように縦方向にずらしながらそれぞれ対応点を求めるのは、図１７のように横方向に輝度が変化する場合に特に有効である。
【００４５】
また、制限する探索範囲を図３６のように縦方向にして、横方向にずらしながらそれぞれ対応点を求めるのは縦方向に輝度が変化する場合に特に有効である。したがって、候補指定部１０２が、予めエッジの向きが縦向きであればそれと垂直方向である横向きに探索範囲を設定し、それを縦にずらしながらそれぞれ対応点を求め、エッジの向きが横なら縦向きの範囲を横にずらしながら探索する方法が有効である。また、斜めのエッジ用に図３７のように探索範囲を斜めにして同様に処理してもよい。換言すれば、注目画素の画素値の勾配方向を検出し、勾配方向で対応点を探索するということである。
【００４６】
あるいは、図３８のように矩形の周囲に限定して、矩形の大きさを切り替えてそれぞれ対応点を求めてもよい。いずれにしてもこれらで求まる対応誤差点の周囲でサブピクセル推定をして対応点をそれぞれ求める。
【００４７】
図３９に一つの注目画素に対して、探索範囲を切り替えることで複数の対応点を検出するフローチャートを示す。
ステップＳ３９０１では、縦座標、横座標のうちの一方を固定し、他方を変化させて対応点を検出する。
ステップＳ３９０２では、固定する位置を変え、同様に対応点を検出して終了する。
【００４８】
次に、ステップＳ２０５で行う高解像度画像の画素値の算出について図４０を参照して説明する。
ステップＳ１０４の処理終了時点で、例えば、図４０に×印で表したように対応点が求まる。このように非一様に分布した標本点から格子状に配置された画素の値を求める手法は様々あるが、例えば、重ねあわせ法（例えば、nonuniform interpolationがある。例えば、上記のS. Park, et.al. "Super-Resolution Image Reconstruction: A Technical Overview"のｐ．２５参照）を用いる場合、図９において高解像度画像の画素９２１の値を求めるときに、その近くの標本値９１９、９１６、９２２などを調べ、画素９２１に最も近い位置にある標本値を見つけ、その標本値を画素９２１の画素値とする。あるいは、画素９２１からの距離に応じて、近いものほど重みを増やして、それらの標本値を加重平均した値を画素９２１の画素値とする。あるいは、一定の距離以下にある標本値の平均を画素９２１の値とする。
【００４９】
次に、重ねあわせ法で高解像度画像の画素値を求めるフローチャートを図４１に示す。
ステップＳ４１０１では、高解像度画像の画素ごとに、各標本点までの距離を求める。
ステップＳ４１０２では、標本点の加重平均として、各画素値を求める。その際、各画素から距離が近い標本値ほど重みを増すようにする。
【００５０】
また、重ねあわせ法ではなく、ＰＯＣＳ法（例えば、上記のS. Park, et.al. "Super-Resolution Image Reconstruction: A Technical Overview"のｐ．２９参照）を用いると処理は複雑になるが、さらに鮮鋭な画像が得られる。ＰＯＣＳ法では、まず始めに、高解像度画像９０８の各画素に双一次内挿法や３次畳込み内挿法などで仮に画素値を与えておく。そして、各標本値の位置における、その高解像度画像の仮の画素値を使ったときの標本値（これを仮標本値とよぶ）を計算する。
ここで仮標本値の計算方法について図４２を用いて説明する。図６でも説明したように、画面４２０１を複数の矩形４２０２に分割する。各矩形の輝度の分布を代表するのが、その中央におく画素値４２０３である。矩形の大きさは画素の密度によって決まり、例えば解像度が縦横１／２になるのであれば、矩形は縦横２倍になる。図４２には白丸で高解像度画像の画素を、黒丸で解像度が１／２の低解像度画像に相当する標本点を示す。高解像度画像の画素に仮の画素値が与えられているとき、標本点４２０４における仮標本値の値は、画素４２０５〜４２０８の画素値の平均値として計算する。これは、標本点４２０４がちょうど、その周囲の高解像度画像の画素の中心にある場合である。
標本点４２０９のようにその位置がずれている場合、標本点が代表する矩形４２１０が重なる部分の加重平均をその仮標本値とする。例えば、画素４２１１に対する重みは斜線４２１２の部分の面積を重みにする。矩形４２１０が重なる９個の矩形について、その重なる面積に比例するように重みをつけ、それら９個の画素値から加重平均値を求めて仮標本値とする。このときの高解像度画像が正確なものであれば、低解像度画像として撮影されたものである標本値と仮標本値は一致するはずである。
【００５１】
しかし、通常は一致しない。そこで、これが一致するように、仮画素値を更新する。標本値と仮標本値の差分を求め、その差分をなくすように仮の画素値に加減算する。画素値は複数あるので、差分を標本化で用いた重みで分け、それぞれの画素値に加減算する。これで、そのとき計算した標本点については標本値と仮標本値が一致する。しかし、別の標本点における更新処理で同じ高解像度画像画素が更新されることがある。例えば、図９の画素９２１が、標本値９１６に合うように更新されたあと、標本値９１９に合うように更新されると、標本値９１６には合わなくなる。そこで、この更新処理は、標本点全部に対して数回繰り返す。この反復により次第に、高解像度画像は正確なものに近づくので、予め決めた回数反復して得られた画像を高解像度画像として出力する。
【００５２】
このように、高解像度画像の画素値を未知数とし、それから得られる仮標本値と、実際に撮影された低解像度画像の画素値による標本値が等しいという条件式を解くことで高解像度画像の画素値を求めるひとつの方法がＰＯＣＳ法であり、これらの条件式を解く別の方法として、Iterative Back-Projection法（例えば、S. Park, et.al. "Super-Resolution Image Reconstruction: A Technical Overview"のｐ．３１参照）、ＭＡＰ法（例えば、S. Park, et.al. "Super-Resolution Image Reconstruction: A Technical Overview"のｐ．２８参照）などを用いても良い。
【００５３】
このように条件式を立てて高解像度化するフローチャートを図４３に示す。
ステップＳ４３０１では、前述した条件式を低解像度の画素つまり標本値ごとに立てる。
ステップＳ４３０２では、条件式を連立した方程式として解くことで高解像度画像の画素値を求める。
【００５４】
次に、画像のエッジの近くだけで、この処理を行うことで処理量を削減する場合のフローチャートを図４４に示す。エッジがない部分、つまり平坦な部分では、双一次内挿法や３次畳込み法の処理で十分なことが多く、この部分の処理を省くことで鮮鋭さをそこなうことなく処理量を減らせる。
ステップＳ４４０１では、ステップＳ４３０１を行った後に、低解像度画像のエッジ検出を行い、画素ごとにそこにエッジがあるかないかを判定する。例えば、Ｓｏｂｅｌフィルタのように、その画素に左右あるいは上下に隣接する画素の画素値の差が一定値より大きい場合にエッジがあると判定し、一定値以下の場合にエッジがないと判定する。換言すれば、画素値勾配が所定値よりも大きい場合にエッジがあると判定し、所定値以下の場合にはエッジがないと判定する。
【００５５】
ステップＳ４４０２では、エッジがあると判定された画素に対応する条件式だけを連立して方程式を解く。例えば、ＰＯＣＳ法であれば、エッジがあると判定された画素に対応する条件式に関する更新だけを行う。
【００５６】
次に、エッジ部分だけで処理を行う別の方法を図４５に示す。
ステップＳ４５０１では、ステップＳ４４０１を行った後、エッジがあると判定された画素にだけ対応点を検出して条件式を立てて、ステップＳ４４０２に進む。
なお、ステップＳ４５０１とステップＳ４４０２の代わりに、重ねあわせ法を用い、その際の重みをエッジの強度が強い（すなわち、画素値の勾配が大きい）ものほど重くする方法もある。また、注目画素を含む局所パターン内の画素値勾配が所定値よりも大きい標本値だけを用いて加重平均を行ってもよい。
【００５７】
次に、ステップＳ４５０１の部分を分解した例を図４６に示す。
ステップＳ４４０１では、低解像度画像の画素ごとにエッジ検出を行い、ステップＳ２０１に進む。検出結果は例えば、エッジありを１、エッジなしを０とした、低解像度画像と同じ大きさの２値画像として保持する。
ステップＳ４６０１では、注目画素の部分にエッジがあると判定されていた場合、ステップＳ２０２に進む。エッジがないと判定されていた場合、ステップＳ２０１に戻る。特にエッジ検出結果を２値画像として保持している場合には、注目画素の部分の値が１の場合にはステップＳ２０２に進み、０の場合にはステップＳ２０１に戻る。
【００５８】
次に、低解像度フレームの枚数と１つの注目画素当りに求める対応点の数との関係について図４７を参照して説明する。
１枚の高解像度化に用いる、低解像度フレームの枚数Ｎと、一つの注目画素あたりに求める対応点の数Ｐは、高解像度化の倍率によって予め決めておく。例えば、縦４倍、横４倍の場合には、画素数が１６倍になるので、標本点も１６倍程度必要であり、
ＮＰ＝１６
となるようにＮとＰを決める。例えば、Ｎ＝８の分まで低解像度画像用のメモリを確保できる場合には、Ｐ＝２とし、Ｎ＝２の分しか確保できない場合は、Ｐ＝８とする。なお、Ｐ＝１、Ｎ＝１６に相当するのが従来の複数フレーム劣化逆変換法であり、本発明の実施形態によりメモリ量を、上の例で、８／１６＝１／２や２／１６＝１／８に削減できることが分かる。
【００５９】
図４７にＮ＝１の例を示す。低解像度フレーム４７０１は２枚描いているが同じものである。この画面空間４７０５において、注目画素４７０９が選ばれている場合、その周囲のブロック４７０２に対して、同じフレーム４７０１の中からマッチング誤差最小となるものを複数探索し、サブピクセル推定した結果が、ブロック４７０３、４７０４である。このとき、ブロック４７０２自身がマッチング誤差ゼロで誤差が最小になるが、これは探索範囲からはずすか、２番目、３番目に誤差が小さいものを対応点とする。ブロック４７０４の対応ベクトル４７０８を図示した。この場合、始点も終点も同じフレームである。ブロック４７０３の対応ベクトルの図示は省略した。これらによって画素４７０９の画素値が標本値４７０６、標本値４７０７として、画面４７１０に配置される。
【００６０】
次に、特に動画像の場合の本実施形態でのフローチャートを図４８に示す。
ステップＳ４８０１では、低解像度フレームの番号であるｎを１に設定する。
ステップＳ４８０２では、注目画素として、第ｎフレームの低解像度画像の一画素を設定する。
ステップＳ４８０３では、注目画素に対応する点を基準フレームの画面空間内で検出する。
ステップＳ４８０４では、用いる低解像度画像の枚数Ｎとｎが等しいかどうかを判定し、ＮｏであればステップＳ４８０５に進み、ＹｅｓであればステップＳ４８０６に進む。
ステップＳ４８０５では、ｎの値を１つ増やしてステップＳ４８０２に進む。
ステップＳ４８０６では、低解像度画像の画素値と検出した対応点の位置を用いて、基準フレームの高解像度画像の画素値を算出して終了する。
【００６１】
次に、動画像のフレームを順次基準フレームとして高解像度化を行うフローチャートを図４９に示す。
ステップＳ４９０１では、最初のフレームを基準フレームに設定する。
ステップＳ４９０２では、図４８のＳ４８００の処理で基準フレームを高解像度化する。
ステップＳ４９０３では、全フレームの高解像度化が終わったかどうかを判定し、Ｎｏの場合ステップＳ４９０４に進み、Ｙｅｓの場合終了する。
ステップＳ４９０４では、次のフレームを基準フレームにしてステップＳ４９０２に進む。
【００６２】
（第２の実施形態）
局所パターンの自己相関を利用する場合の第２の実施形態について図５０から図５８を参照して説明する。
図５０は、静止画像の一部、あるいは動画像の１フレームの一部を表し、この低解像度画像５００６を入力として高解像度化する。黒丸が画素である。斜線は輝度の低い部分を表し、ここには左下から右上方向にエッジ５００７がある。エッジは撮影時の標本化前にあった位置を図示している。低解像度画像５００６としてはもちろん画素の位置にしか輝度は与えられていない。これらの画素値から、エッジ５００７の明暗をなるべく正確に再現したい。そのために従来は、同じ被写体の同じ部分の標本値を他のフレームからとってきていた。しかし、例えば図５０に点線で囲んだ５つのライン５００１〜５００５は、先に図１７にも示したように、互いに輝度変化が非常に似ているはずで、それを異なる位相で標本化された画素値は互いの高解像度化の標本値として使える。
【００６３】
そこで本実施形態では画像５００６を複数のラインに分けて考え、ラインを一本ずつ基準ラインとし、近くの低解像度な画素ラインを用いて高解像度化する。そして、一つの画素ラインを複数のラインの高解像度化に用いる。例えば図５１において、画素ライン５１０２は、少なくとも、画素ライン５１０３の高解像度化と画素ライン５１０４の高解像度化に用いる。自己相関の具体的な例として、画像の自己合同性がある画像についての例を図５２Ａに示す。また、図５２Ａの自己合同性のある画像部分を高解像度化する様子について図５２Ｂに示す。
【００６４】
次に、低解像度な画素ラインを用いて高解像度化する動作について図５３にそのフローチャートを示す。図５０も用いて説明する。
【００６５】
ステップＳ５３０１では、画面をラインに分けたときの端のラインを最初に高解像度化を行う基準ラインとする。
ステップＳ４８０１では、その基準ラインの高解像度化に用いる低解像度の画素ラインの番号であるｎを１に設定する。図５０では、ライン５００３が基準ラインで、この高解像度化に画素ライン５００１〜５００５を用いる。そして、例えばまず画素ライン５００１が選ばれる。
【００６６】
ステップＳ５３０２では、注目画素として、第ｎラインの一画素を設定する。図５０では、画素５００８が注目画素に設定されたとする。
ステップＳ５３０３では、注目画素に対応する点を基準ラインの画面空間内で検出し、ステップＳ２０４に進む。図５０では、注目画素５００８の対応点５００９が検出された。この図５０で画面５０１０は、画面５００６と同一であるが図を見やすくするために分けてある。
【００６７】
ステップＳ２０４では、そのラインの全画素について対応点検出が終了したかどうかを判定し、ＮｏであればステップＳ５３０２に戻って、次の画素を注目画素にして処理を進め、ＹｅｓであればステップＳ４８０４に進む。
ステップＳ４８０４では、用いる低解像度ラインの個数Ｎとｎが等しいかどうかを判定し、ＮｏであればステップＳ４８０５に進み、ＹｅｓであればステップＳ５３０４に進む。
ステップＳ４８０５では、ｎの値を１つ増やしてステップＳ５３０２に進む。図５０には、基準ライン５００３に対して画素ライン５００１，５００２，５００４，５００５のエッジの近くの画素から検出された対応点だけを図示している。
ステップＳ５３０４では、低解像度画像の画素値と検出した対応点の位置を用いて、基準ラインの高解像度画像の画素値を算出してステップＳ５３０５に進む。
ステップＳ５３０５では、高解像度化する全てのラインの処理が終了したかどうかを判定し、ＮｏであればステップＳ５３０６に進み、Ｙｅｓであれば終了する。
ステップＳ５３０６では、次のラインを基準ラインにしてステップＳ４８０１に進む。
【００６８】
図５３に示した処理で画像はラインの方向に、例えば、図５０では縦方向に高解像度化される。例えば、入力される低解像度画像が図５４のような横×縦が６×４画素の画像の場合、縦ラインを用いて２倍に高解像度化すると図５５に白丸で表した６×８画素の画像が生成され、さらにこれを横ラインで同様の処理を行えば図５６に白丸で表した１２×８画素の画像が生成され、結果的に図５４の縦２倍、横２倍の画像が得られる。ここで、先に横ラインで処理を行えば図５７のように、まず１２×４画素の画像になり、次に縦ラインで処理することで図５６の１２×８画素の画像になる。このように、ラインの処理でも方向を変えて２回行えば縦横に高解像度化できる。
【００６９】
次に、まず横に高解像度化し、次に縦に高解像度化するフローチャートを図５８に示す。
ステップＳ５８０１では、画面を横ラインに分けたときの端のラインを最初に高解像度化を行う基準ラインとしてステップＳ５８０２に進む。
ステップＳ５８０２では、図５３のステップＳ４８０１〜ステップＳ５３０４に示した手順で、その基準ラインを高解像度化してステップＳ５８０３に進む。
ステップＳ５８０３では、高解像度化する全ての横ラインの処理が終了したかどうかを判定し、ＮｏであればステップＳ５８０４に進み、ＹｅｓであればステップＳ５８０５に進む。
ステップＳ５８０４では、次の横ラインを基準ラインにしてステップＳ５８０２に進む。
ステップＳ５８０５では、画面を縦ラインに分けたときの端のラインを最初に高解像度化を行う基準ラインとしてステップＳ５８０６に進む。
ステップ１５０６では、図５３のステップＳ４８０１〜ステップＳ５３０４に示した手順で、その基準ラインを高解像度化してステップＳ５８０７に進む。
ステップＳ５８０７では、高解像度化する全ての縦ラインの処理が終了したかどうかを判定し、ＮｏであればステップＳ５８０８に進み、Ｙｅｓであれば終了する。
ステップＳ５８０８では、次の縦ラインを基準ラインにしてステップＳ５８０６に進む。
【００７０】
（第３の実施形態）
局所パターンの自己相関を利用する際に、ラインでなく、ブロックを用いる場合の第３の実施形態について図５９と図６０を参照して説明する。
ここでは、図５９に示したように、９×９画素の画像を３×３画素のブロック５９０１に分けて考える。そして基準となるブロック５９０２に対して、その上下左右のブロックから対応点を求める様子を図５９に示している。
【００７１】
次に、本実施形態の動作についてフローチャートについて図６０を参照して説明する。
ステップＳ６００１では、画面をブロックに分けたときの端のブロックを最初に高解像度化を行う基準ブロックとしてステップＳ４８０１に進む。
ステップＳ４８０１では、その基準ブロックの高解像度化に用いる低解像度のブロックの番号であるｎを１にしてステップＳ６００２に進む。図５９では、ブロック５９０２が基準ブロックで、この高解像度化に上下左右に隣接するブロックを用いる。
【００７２】
ステップＳ６００２では、注目画素として、第ｎブロックの一画素を設定してステップＳ６００３に進む。
ステップＳ６００３では、注目画素に対応する点を基準ブロックの画面空間内で検出し、ステップＳ２０４に進む。
ステップＳ２０４では、そのブロックの全画素について対応点検出が終了したかどうかを判定し、ＮｏであればステップＳ６００２に戻って、次の画素を注目画素にして処理を進め、ＹｅｓであればステップＳ４８０４に進む。
ステップＳ４８０４では、用いる低解像度ブロックの個数Ｎとｎが等しいかどうかを判定し、ＮｏであればステップＳ４８０５に進み、ＹｅｓであればステップＳ６００４に進む。
ステップＳ４８０５では、ｎの値を１つ増やしてステップＳ６００２に進む。
ステップＳ６００４では、低解像度画像の画素値と検出した対応点の位置を用いて、基準ブロックの高解像度画像の画素値を算出してステップＳ６００５に進む。
ステップＳ６００５では、高解像度化する全てのラインの処理が終了したかどうかを判定し、ＮｏであればステップＳ６００６に進み、Ｙｅｓであれば終了する。
ステップＳ６００６では、次のブロックを基準ブロックにしてステップＳ４８０１に進む。
【００７３】
最後に、効果を示す例を挙げる。図６１に、ある静止画像に対して、従来から用いられている３次畳込み法で高解像度化した画像を示す。これは大きな濃淡画像の黒い線の部分を拡大表示したもので、小さく正方形にみえるものが１画素である。そして図６２に、本発明により高解像度化した結果を示す。黒い線の部分がくっきりと鮮鋭になっていることが分かる。図６３は、エッジ部分だけに処理を行う実施形態による結果で、図６２の場合より少ない処理量でありながら、やはり図６１より鮮鋭な画像が得られている。
【００７４】
以上に示した実施形態によれば、低解像度画像の一つの画素値を、複数の対応点すなわち標本点として用いることができる。したがって、従来よりも少ない低解像度画像の枚数で鮮鋭な高解像度画像が得られるので、メモリ量を少なくできる。
【００７５】
また特に、フレーム内で処理を行う場合には、対応点の探索範囲を狭くできるので処理量を減らせる。フレーム間の対応点は動きがあるため、通常、十〜数十画素の探索範囲が必要であるが、フレーム内では隣接するラインに対応点を求めればよいので数画素の探索範囲で十分である。また、フレーム間の方法は静止画像には適用できないが、フレーム内の方法は写真などの静止画像にも適用できる。
【００７６】
また、本実施形態の高解像度化装置は、低解像度画像の一つの画素値を、複数の対応点すなわち標本点として用いることができる。したがって、従来よりも少ない低解像度画像の枚数で鮮鋭な高解像度画像が得られるので、メモリ量を少なくできる。
【００７７】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【図面の簡単な説明】
【００７８】
【図１Ａ】本発明の実施形態に係る高解像度化装置のブロック図。
【図１Ｂ】オーバーサンプリング法を使用する場合の実施形態の高解像度化装置のブロック図。
【図２】本発明の第１の実施形態に係る高解像度化装置の動作の一例を示すフローチャート。
【図３】２枚の低解像度フレームから高解像度フレームを生成する様子を示す図。
【図４】１枚の低解像度フレームから高解像度フレームを生成する様子を示す図。
【図５】低解像度画像の画面と画素との位置関係を示す図。
【図６】図５の画像を高解像度化した高解像度画像を示す図。
【図７】図５の画像の画素間隔を図６の画像の画素間隔に合わせた低解像度画像を示す図。
【図８】図５と図６の画素の位置関係を示した図。
【図９】図２のステップＳ２０２とステップＳ２０３を説明するための図。
【図１０】ある基準フレームが撮影された際の、画面の横軸上の位置と輝度との関係を示した図。
【図１１】図１０の輝度を画素値に変換して得られた画像データでの位置座標と画素値との関係を示した図。
【図１２】図１０とは異なるフレームが撮影された際の、画面の横軸上の位置と輝度との関係を示した図。
【図１３】図１２の輝度を画素値に変換して得られた画像データでの位置座標と画素値との関係を示した図。
【図１４】図１１の基準フレームに対して図１３の注目ブロックの位置座標を１画素ずつずらして誤差を求める様子を示した図。
【図１５】図１４の様にずらして最も誤差が小さくなった場合を示す図。
【図１６】図１５の場合よりも誤差が小さくなる場合を示す図。
【図１７】ある写真データの位置座標と輝度との関係を示す図。
【図１８】図９のフレームから取り出した注目ブロックを示す図。
【図１９】図１８の注目ブロックが探索する探索範囲を説明するための図。
【図２０】図１９の探索範囲を示すベクトル探索空間を示す図。
【図２１】図１８の注目ブロックの変形例の一つを示す図。
【図２２】図１８の注目ブロックの変形例の一つを示す図。
【図２３】図１８の注目ブロックの変形例の一つを示す図。
【図２４】画面空間を表現する座標系を示す図。
【図２５】パラボラフィッティング法について説明するための図。
【図２６】オーバーサンプリング法で使用する図１３のフレームを線形内挿した場合の位置座標と画素値との関係を示す図。
【図２７】図２６に対応して、図１１の基準フレームのデータ密度を上げた場合の位置座標と画素値との関係を示す図。
【図２８】図２６と図２７に基づいて計算して得た、図１６に対応する図。
【図２９】図２６と図２７に基づいて計算して得た、図１５に対応する図。
【図３０】フィッティング法で対応点を求めるための動作の一例を示すフローチャート。
【図３１】オーバーサンプリング法で対応点を求めるための動作の一例を示すフローチャート。
【図３２】横方向に輝度が変化する場合に有効な、対応点を求めるための探索範囲の一例を示す図。
【図３３】横方向に輝度が変化する場合に有効な、対応点を求めるための探索範囲の一例を示す図。
【図３４】横方向に輝度が変化する場合に有効な、対応点を求めるための探索範囲の一例を示す図。
【図３５】横方向に輝度が変化する場合に有効な、対応点を求めるための探索範囲の一例を示す図。
【図３６】縦方向に輝度が変化する場合に有効な、対応点を求めるための探索範囲の一例を示す図。
【図３７】斜め方向に輝度が変化する場合に有効な、対応点を求めるための探索範囲の一例を示す図。
【図３８】対応点を求めるための探索範囲が矩形である場合を示す図。
【図３９】複数の対応点を検出するための動作の一例を示すフローチャート。
【図４０】画面空間で検出された複数の対応点を示す図。
【図４１】高解像度画像の画素値を重ね合わせ法で求める場合の動作の一例を示すフローチャート。
【図４２】仮標本値の計算方法を説明するための画面、画素、矩形を示す図。
【図４３】標本値ごとに条件式を立てて高解像度化する動作の一例を示すフローチャート。
【図４４】画像のエッジ近くで図４３の動作を行うための一例を示すフローチャート。
【図４５】エッジ部分だけで高解像度化処理を行う動作の一例を示すフローチャート。
【図４６】図４５のステップＳ４５０１の詳細な動作の一例を示すフローチャート。
【図４７】低解像度フレーム枚数と対応点の数との関係を説明するための図。
【図４８】動画像を高解像度化する場合の動作の一例を示すフローチャート。
【図４９】動画像のフレームを順次基準フレームとして高解像度化を行う動作の一例を示すフローチャート。
【図５０】本発明の第２の実施形態での説明に使用する画像を示す図。
【図５１】画像の高解像度化のための画素ラインを示す図。
【図５２Ａ】画像の自己合同性を説明するための具体例を示す図。
【図５２Ｂ】自己合同性がある画像部分を高解像度化する様子を示す図。
【図５３】低解像度な画素ラインを用いて高解像度化する動作の一例を示すフローチャート。
【図５４】低解像度画像を示す図。
【図５５】図５４の画像に対して縦方向に２倍の高解像度化を行った画像を示す図。
【図５６】図５４の画像に対して縦横方向に２倍の高解像度化を行った画像を示す図。
【図５７】図５４の画像に対して横方向に２倍の高解像度化を行った画像を示す図。
【図５８】図５６の高解像度画像を得るための動作の一例を示すフローチャート。
【図５９】本発明の第３の実施形態での説明に使用する画像を示す図。
【図６０】画像をブロックに分けて高解像度化を行う動作の一例を示すフローチャート。
【図６１】従来の手法で高解像度化した画像を示す図。
【図６２】本発明の実施形態での手法で高解像度化した画像を示す図。
【図６３】本発明の実施形態でのエッジ部分だけを高解像度化した画像を示す図。
【符号の説明】
【００７９】
１０１、１０５、１０８、１１０…メモリ、１０２…候補指定部、１０３…マッチング誤差算出部、１０４…誤差比較部、１０６…高解像度画素値算出部、１０７…パラボラフィッティング部、１０９…オーバーサンプリング部、５０１、９０４、９０６、９０８、４２０１、４７１０、５００６、５０１０…画面、５０２、６０１、９０９、９１０、９２１、４２０５、４２１１、４７０９、５００８…画素、９０１、９０３、４７０１…フレーム、９０３…基準フレーム、９０４、９０６、４７０５…画面空間、９０７…自動車、９０８…高解像度画像、９１１、４７０９、５００８…注目画素、９１２、９１３、９２０、４７０２、４７０３、４７０４、５９０１、５９０２…ブロック、９１４、９１６、９１７、５００９…対応点、９１５、９１８、４７０８…対応ベクトル、９１９、４７０６、４７０７…標本値、４２０２、４２１０…矩形、４２０３…画素値、４２０４、４２０９…標本点、４２１２…斜線、４７０１…低解像度フレーム、５００１，５００２，５００４，５００５…画素ライン、５００３…基準ライン、５００６…低解像度画像、５００７…エッジ、５１０２、５１０３、５１０４…画素ライン
【技術分野】
【０００１】
本発明は、カメラで撮影された画像データやテレビが受信した画像データをより高い解像度の画像データに変換する高解像度化装置および方法に関する。
【背景技術】
【０００２】
画素数が多い、つまり高解像度のテレビやディスプレイが普及してきている。テレビやディスプレイは、画像を表示する場合、画像データの画素数をパネルの画素数に変換する。特に、画素数を増やす高解像度化の変換において、線形内挿法よりも鮮鋭な画像が得られる方法として、複数フレーム劣化逆変換法が知られている（例えば、特許文献１、非特許文献１参照）。
【０００３】
複数フレーム劣化逆変換法は、基準フレームに写っている被写体が別のフレームにも写っていることに注目し、被写体の動きを画素間隔以下の高い精度で検出することで、被写体の同一の局所部分に対して微小に位置がずれた複数の標本値を求めて高解像度化するものである。
【０００４】
より詳細に、複数フレーム劣化逆変換法を説明する。この方法では、低解像度なフレームが時系列で並んでいる場合に、それらを順次高解像度なフレームに変換する。例えば、移動する自動車を撮影した動画像の時間的に前後する３枚のフレームを低解像度画像として用い、これらの３枚のフレームから１つのフレームを基準フレームとして高解像度化する。例えば、これを縦２倍、横２倍に高解像度化する。未知である高解像度画像の画素に対して、低解像度画像の画素、つまり既知な標本値はまばらである。この状態でも高解像度画像の画素値の推定はできるが、事前に既知な標本値を増やしておけば、より正確な高解像度画像を得ることができる。そのために、複数フレーム劣化逆変換法では、基準フレーム以外の低解像度画像の画素の位置に写っている被写体が、基準フレームの画面内でどの位置に写っているかを検出し、その画素値を基準フレーム内の対応点における標本値として用いる。
【０００５】
具体的には、例えば、ある画素を中心に低解像度画像から数画素四方のブロックを取り出し、このブロックと同じ大きさで、含まれる画素が、取り出したブロックと近い画素値を持つ部分を基準フレームの中で探索する。探索はサブピクセル精度で行う（例えば、非特許文献２参照）。見つかった対応ブロックの中心を対応点とする。これにより、他のフレームに対応する画面の点Ａと、基準フレームに対応する画面の点Ｂとが同じ被写体の同一の位置として対応づけられる。この対応は、点Ａを始点、点Ｂを終点とする動きベクトルで表される。サブピクセル精度で探索を行うので、動きベクトルは一般に、始点は画素の位置、終点は画素がない位置になる。このような動きベクトルを低解像度画像の全ての画素について求め、また、他の低解像度画像についても同様に各画素を始点とする基準フレームへの動きベクトルを検出する。次に、各動きベクトルの終点に始点の画素値を標本値として配置する。最後に、このように非一様に配置された標本値から、格子状に一様に配置された高解像度画像の画素の値を求める。この手法としては、重ね合わせ法（nonuniform interpolation）やＰＯＣＳ法などが知られている（例えば、非特許文献１参照）。
【特許文献１】特開２０００−１８８６８０公報（第３−７頁、図２２）
【非特許文献１】S. Park, et.al. "Super-Resolution Image Reconstruction: A Technical Overview," IEEE Signal Processing Magazine, USA, IEEE, May 2003, p.21-36
【非特許文献２】清水，奥富，「画像のマッチングにおけるサブピクセル推定の意味と性質」電子情報通信学会論文誌D-II，電子情報通信学会，２００２年１２月，第８５巻，第１２号，ｐ．１７９１−１８００
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上記のように複数フレーム劣化逆変換法では、鮮鋭な高解像度画像が得られるが、十分な数の標本値を得るには、多数の低解像度画像が必要であり、メモリ量が多くなるという問題がある。
【０００７】
この発明は、上述した事情を考慮してなされたものであり、少ないメモリ量を使用するだけで鮮鋭な高解像度画像を得る高解像度化装置および方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上述の課題を解決するため、本発明の高解像度化装置は、画面内に複数の画素を配し、その各画素の輝度を画素値として表した画像を画像ソースから取得する取得手段と、前記画像に含まれる１フレームを基準フレームに設定する第１の設定手段と、前記画像に含まれる１以上のフレーム中の複数の画素を１つずつ注目画素として順次設定する第２の設定手段と、前記注目画素ごとに該注目画素を含む注目画像領域を設定する第３の設定手段と、前記注目画像領域に含まれる画素値の変化パターンに最も近い複数の注目画像領域に対応する複数の対応点を前記基準フレームの中から選択する選択手段と、前記対応点での輝度の標本値を、該対応点に対応している注目画素の画素値に設定する第４の設定手段と、複数の前記標本値の大きさと、前記複数の対応点の配置とに基づいて、前記基準フレームに含まれる画素数よりも多い画素数の高解像度画像であって前記基準フレームに対応する高解像度画像に含まれる複数の画素値を算出する算出手段と、を具備することを特徴とする。
【０００９】
また、本発明の高解像度化装置は、画面内に複数の画素を配し、その各画素の輝度を画素値として表した画像を画像ソースから取得する取得手段と、前記画像に含まれる１フレームを縦方向又は横方向の１列の画素ラインに分割する分割手段と、複数の前記画素ラインに含まれる１画素ラインを基準画素ラインに設定する第１の設定手段と、前記画像に含まれる１以上のフレーム中で前記基準画素ライン以外の複数の画素を１つずつ注目画素として順次設定する第２の設定手段と、前記注目画素ごとに該注目画素を含む注目画像領域を設定する第３の設定手段と、前記注目画像領域に含まれる画素値の変化パターンに最も近い複数の注目画像領域に対応する複数の対応点を前記基準画素ラインの中から選択する選択手段と、前記対応点での輝度の標本値を、該対応点に対応している注目画素の画素値に設定する第４の設定手段と、複数の前記標本値の大きさと、前記複数の対応点の配置とに基づいて、前記基準画素ラインに含まれる画素数よりも多い画素数の高解像度画像であって前記基準画素ラインに対応する高解像度画像に含まれる複数の画素値を算出する算出手段と、を具備することを特徴とする。
【発明の効果】
【００１０】
本発明の高解像度化装置および方法によれば、少ないメモリ量を使用するだけで鮮鋭な高解像度画像を得ることができる。
【発明を実施するための最良の形態】
【００１１】
以下、図面を参照しながら本発明の実施形態に係る高解像度化装置および方法について詳細に説明する。
本発明の実施形態に係る高解像度化装置および方法は、被写体の一部をとりだして、その輝度値の変化パターンを見ると、その近くに同じパターンが存在するという点に新たに着目したものである。つまり、本実施形態の高解像度化装置および方法は、同じ輝度値変化パターンに対する標本値が一つのフレームに複数あり、それらの位置を検出するものである。
【００１２】
本発明の実施形態に係る高解像度化装置について図１Ａを参照して説明する。
本実施形態の高解像度化装置は、メモリ１０１、候補指定部１０２、マッチング誤差算出部１０３、誤差比較部１０４、メモリ１０５、高解像度画素値算出部１０６、パラボラフィッティング部１０７、メモリ１０８を備えている。なお、以下、既に説明した装置部分と同様なものは同一の番号を付してその説明を省略する。
【００１３】
メモリ１０１は、低解像度画像データを取得し格納する。低解像度画像は、動画像でも静止画像でも構わない。低解像度データは、画像ソース、すなわち、カメラ、テレビ等の画像データ生成部（図示せず）から取得する。より具体的には、低解像度データは、例えば、カメラが撮影した画像データやテレビが受信した画像データである。また、メモリ１０１は、候補指定部１０２から、誤差を計算する画像部分を示す信号と、注目画素の位置を示す信号とを入力し、注目画素の周辺の画像データ、誤差を計算する部分の画像データをマッチング誤差算出部１０３に出力する。また、メモリ１０１は、高解像度画素値算出部１０６に低解像度画像データを供給する。この際、メモリ１０１は、高解像度画素値算出部１０６に、１画像ずつ供給する（第１の実施形態）、１画像中の１ラインずつ（第２の実施形態）、または、１画像中の１ブロックずつ（第３の実施形態）供給する。１ラインずつ供給する場合には、メモリ１０１はラインメモリ（図示せず）を備えていて、ラインメモリに１画像分のラインの画像を格納する。また、メモリ１０１は、後述する基準フレームを設定する。
【００１４】
候補指定部１０２は、探索範囲を指定するデータを含む制御データを入力し、この探索範囲に基づいて、誤差を計算する部分を示す信号と、注目画素の位置を示す信号とを生成し、これらの信号をメモリ１０１とメモリ１０５に出力する。探索範囲については後に図１９を参照して説明する。
【００１５】
マッチング誤差算出部１０３は、メモリ１０１から注目画素の周辺の画像データ、誤差を計算する部分の画像データを取得し、注目画素の周辺の画像データと、探索範囲にある誤差を計算する画像部分の画像データとの誤差を計算する。誤差は、例えば、差分絶対値和や差分２乗和により計算される。注目画素の周辺の画像データは、例えば、注目ブロックのデータである。マッチング誤差算出部１０３は、探索範囲の中で誤差を計算する画像部分を順次変更して、注目画素の周辺の画像データと誤差を計算する画像部分の画像データとの誤差を順次求める。
【００１６】
誤差比較部１０４は、探索範囲に含まれる複数の画像部分に対応する複数の誤差の大小関係を計算する。誤差比較部１０４は、例えば、誤差が最小近くになる複数の位置を複数の対応画素点として求める。
【００１７】
メモリ１０５は、誤差比較部１０４で計算された対応画素点を候補指定部１０２から取得し格納する。
【００１８】
パラボラフィッティング部１０７は、この対応画素点を基にして、パラボラフィッティング法を用いてサブピクセル推定を行い、対応点を決定する。この対応点を一つの注目画素について２つ以上求める。パラボラフィッティング部１０７の詳細は後に図２５、図３０を参照して説明する。
【００１９】
メモリ１０８は、パラボラフィッティング部１０７で求められた対応点の位置情報を格納する。
【００２０】
高解像度画素値算出部１０６は、低解像度画像の所定の画素について対応点が求まった後、メモリ１０１から低解像度画像の画素データと、メモリ１０８から対応点の位置とを取得し、例えば、低解像度画像の画素データごとに、対応点の位置を用いてその条件式を連立し、解を求めることで高解像度画像の画素値を決定し、その画素値データを出力する。
【００２１】
次に、パラボラフィッティング法を使用せずオーバーサンプリング法を使用する場合の本実施形態の高解像度化装置について図１Ｂを参照して説明する。
図１Ｂの高解像度化装置は、図１Ａで、パラボラフィッティング部１０７を取り去り、新たに、オーバーサンプリング部１０９、メモリ１１０を備えている。
【００２２】
オーバーサンプリング部１０９は、誤差を計算する間隔に依存して低解像度データのデータ量を多くする。オーバーサンプリング法の詳細については後に図２６、図３１を参照して説明する。
【００２３】
メモリ１１０は、オーバーサンプリング部１０９でサンプリングされたデータを一時的に格納し、マッチング誤差算出部１０３にこのデータを供給する。
【００２４】
（第１の実施形態）
次に、本実施形態の高解像度化装置の動作の一例について図２を参照して説明する。なお、以下で画像のことをフレームと呼ぶこともある。
ステップＳ２０１では、候補指定部１０２が、注目画素として、低解像度画像の画素を所定の順序で設定する。順序は、静止画像の場合、例えば、画面の左上の画素から右向き、上の行から下向きといういわゆるラスタ順序とする。動画像の場合の順序は、フレームは時刻の順序、各フレームの画素はラスタ順序とする。動画像の場合の低解像度フレームと高解像度フレームの関係については後に図３、図４、図５、図６、図７、図８を参照して説明する。
【００２５】
ステップＳ２０２では、マッチング誤差算出部１０３、誤差比較部１０４、パラボラフィッティング部１０７が注目画素に対応する点（対応画素点または対応点と呼ぶ）を基準フレームの画面空間内で検出する。
【００２６】
ステップＳ２０３では、マッチング誤差算出部１０３が、注目画素について所定の数の対応点が求まったどうかを判定し、求まっていない場合はステップＳ２０２に戻って別の対応点を検出し、求まった場合はステップＳ２０４に進む。ステップＳ２０２とステップＳ２０３については後に図９から図１７を参照して詳細に説明する。
【００２７】
ステップＳ２０４では、マッチング誤差算出部１０３が、高解像度化に用いる低解像度画像の画素について、それぞれ対応点が求まったかどうかを判定し、ＮｏであればステップＳ２０１に戻って次の画素について処理を行い、ＹｅｓであればステップＳ２０５に進む。
【００２８】
ステップＳ２０５では、高解像度画素値算出部１０６が、低解像度画像の画素値と検出した対応点の位置を用いて、基準フレームの高解像度画像の画素値を算出して処理を終了する。高解像度画像の画素値の算出については後に図４０を参照して説明する。
【００２９】
次に、動画像の場合の低解像度フレームと高解像度フレームの関係について図３、図４、図５、図６、図７、図８を参照して説明する。
本実施形態の高解像度化装置が、入力した低解像度フレームを用いて、時間順序で高解像度フレームを生成する。図３では、高解像度化装置が５枚目の高解像度フレームを生成している。この高解像度化処理をそのときに行っている低解像度フレーム、この例では５枚目のフレームを基準フレームと呼ぶ。基準フレームを高解像度化するために、図３では低解像度フレームのうち、基準フレームとその前の時刻の２枚のフレームを用いて高解像度化を行う。図４では、高解像度化装置が基準フレームの低解像度フレームだけを用いてそれの高解像度化を行っている。静止画像の場合は、入力される低解像度画像は１枚だけなので、それが基準フレームに相当し、その１枚だけを用いて高解像度化する。便宜上、静止画像は１フレームであると表現する。
【００３０】
基準フレームの低解像度画像の画面５０１と画素５０２の位置関係を図５に示す。画像は元来、画面空間において輝度が連続に分布している。しかし、ここで扱うデジタル画像の場合は画面空間に離散的な標本点として画素を配し、その輝度だけでその周囲の輝度を代表させる。図５は、画面を横６個、縦４行の２４個の正方形に分割しその中心を標本点として２４個の画素を配した様子である。この低解像度画像の画素を黒丸で示す。図５の画面を横２倍、縦２倍に高解像度化した様子を図６に示す。高解像度画像での画素６０１を白丸で表す。このように画素の間隔は低解像度画像の１／２になる。元の低解像度画像の画素を高解像度画像と同じ間隔で図示したものを図７に示す。この場合、低解像度画像の大きさは高解像度画像の大きさよりも小さくなる。
このように低解像度画像は、その高解像度画像と画面の大きさを合わせると画素の間隔が広がり、画素の間隔を合わせると画面の大きさが小さくなる。しかし、これらは同じことを表しており、以下、本明細書では説明しやすいように、適宜、低解像度画像を図５のように表したり、図７のように表したりする。図８は、低解像度画像の画素の標本点を黒丸で、高解像度画像の画素の標本点を白丸で示した図である。高解像度化の処理は、この黒丸の標本点に与えられた輝度値を元にして白丸の標本点の輝度値を求めることである。
【００３１】
次に、ステップＳ２０２とステップＳ２０３について具体例を挙げて、図９から図１７を参照して詳細に説明する。なお、画面９０４、９０６は見やすいように、少ない画素で描いているが、実際には例えば縦横とも数百画素の画像である。また、これらは見やすいように２値画像で表しているが、実際は濃淡画像である。また、高解像度画像の画面９０８における高解像度画像の画素９０９の位置を白丸、低解像度画像の画素９１０の位置を黒丸で示す。
図９の具体例では、移動する自動車９０７を撮影した動画像のうち時間的に前後する２枚のフレーム９０１、９０３があるとする。高解像度化装置は、これらのフレームのうち、フレーム９０３を基準フレームとして高解像度化する。図９では、フレーム９０１の画面空間９０４の中の注目画素９１１に対して、フレーム９０３の画面空間９０６に対応点９１４が検出された結果を示している。画面空間については後に図２４を参照して説明する。
【００３２】
フレーム９０１の画面空間９０４の注目画素と基準フレームの画面空間９０６の対応点とは、始点を注目画素９１１、終点を対応点９１４とする対応ベクトル９１５で対応づけられる。この対応点の検出のために、候補指定部１０２が、注目画素９１１を中心にフレーム９０１から数画素四方、例えば、５×５画素や３×３画素の矩形のブロック９１２を注目ブロックとして取り出し、マッチング誤差算出部１０３が、取り出した注目ブロックと画素値の変化パターンが近い部分を基準フレーム９０３の中で探索する。この探索する手法の詳細については後に図１８、図１９を参照して説明する。
【００３３】
次に、基準フレームが撮影されたときの様子を挙げて、ステップＳ２０２、Ｓ２０３の動作について図１０、図１１、図１２、図１３を参照して説明する。図１０は、基準フレームが、撮影されたときの様子を示している。図１０は、低解像度画像の標本点を含むように画面空間の縦軸を固定し、図１０の横軸に画面空間の横軸ｈ、図１０の縦軸に輝度をとった図である。点線が被写体の輝度変化、黒丸が撮影時に画素に標本化された点を表す。標本点の間隔は１である。標本化された輝度値を画素値として得られた基準フレームの画像データを図１１に示す。図１１に示すような画像データは、例えば、左から２番目の標本点と３番目の標本点との間１１０１のように、標本化により元々の輝度変化よりもなだらかになってしまう。したがって、基準フレームの画素だけでは鮮鋭な画像は再生できない。
【００３４】
一方、同じ被写体の同じ部分が他のフレームで撮影された様子を図１２に、画像データとなったときの様子を図１３に示す。このように、一般に異なるフレームでは、同じ輝度変化の部分がずれた位置、この場合、約０．５ずれた位置で標本化される。このような状態を標本化の位相が異なる、位相がずれているなどと言い、同じ位置や、ちょうど１画素ずれて同じ画素値となる状態を位相が同じ、位相が合っているなどという。
【００３５】
ステップＳ２０２、Ｓ２０３の対応画素点を求めるまでの手順は、図１３を注目ブロックとして、図１１の基準フレームに対して位置座標を１画素ずつずらしながら誤差を求めたものである。その様子を図１４と図１５に示す。ここでは簡単のため、ブロックは横５画素×縦１画素、探索はｘ方向だけに行ったものとする。図１５はマッチング誤差が最小となった場合（ｘ＝ｍ）とする。これに対して、例えばｘ＝ｍ−１としたものが図１４である。ｘ＝ｍの位置が対応画素点であるが、注目ブロックと基準フレームのずれを正確に一致させるために、位相が約０．５ずれた、図１６の状態になる位置を検出したい。このサブピクセル推定ための一手法がパラボラフィッティング法（例えば、上記の、清水，奥富，「画像のマッチングにおけるサブピクセル推定の意味と性質」参照）である。パラボラフィッティング法については後に図２５を参照して説明する。なお、図９に示すように、ブロック９１３がサブピクセル推定で求まったブロックであり、その中心が対応点９１４である。この情報により、画面９０６を拡大表示した画面９０８における、対応点９１６の位置の標本値として注目画素の画素値を配置する。
【００３６】
ところで、高解像度化のためには、図１２と図１０の点線のように輝度変化が同じ部分を異なる位相で標本化した画素値が多く必要である。そのため、フレーム間で、同じ被写体の同じ部分（これは当然、輝度変化が同じ部分）を検出して対応づけるのはこれまで説明したように有効である。しかし、被写体の別の部分にも同じ輝度変化をする部分は存在する。解像度が高い、実際の写真のデータを図１７に示す。横軸が画素の横座標、縦軸が輝度である。５行のデータをそれぞれ別の曲線で示した。このように異なる行でも、非常に似た輝度変化をする部分があることが分かる。このような画像の性質をここでは、局所パターンに自己相関があるという。この局所パターンの自己相関を利用した手法は後の第２の実施形態で説明する。
空間的な輝度変化、つまり画像のエッジは長いものなら画面の数百画素分、短いものでも数画素分の長さは連続するのが一般的でありこれらを標本化した画素値は、高解像度化のためにその近くのエッジの標本値として利用できる。同じ理由から、ある点に対応点が求まったとしたら、その近くの輝度変化の再現のためにも、同じ注目画素を使える。そこで、本実施形態では、異なる位置に対応点を複数求める。本実施形態では、例えば、マッチング誤差が最小となる位置だけでなく、２番目、３番目に誤差が小さくなる位置も対応誤差点とし、それらを元にそれぞれサブピクセル推定を行う。より具体的な動作については後に図３２から図３９を参照して説明する。
【００３７】
図９に戻り、前述したようにして求めた別の対応点９１７を対応ベクトル９１８で表し、それに合わせて、標本値９１９を配置する。ブロック９２０は、対応点９１７を検出する際に見つかったブロックである。ブロック９１３と非常に近い画素パターンとなる。
【００３８】
次に、取り出した注目ブロックと画素値の変化パターンが近い部分を基準フレーム９０３の中で探索する手法について図１８、図１９を参照して説明する。
注目ブロックについて具体例を挙げて説明する。フレーム９０１から取り出した３×３画素の注目ブロックを図１８に、基準フレーム９０３の探索範囲を図１９にそれぞれ示す。探索範囲は、例えば注目画素９１１と同じ位置を中心にした所定の大きさの長方形や正方形とする。そして、マッチング誤差算出部１０３は、探索範囲から３×３画素の領域に対して、注目ブロックの３×３画素との誤差を計算する。このマッチング誤差は、例えば、同じ位置にある画素同士の差分の絶対値を９画素分加算した差分絶対値和や、差分の２乗を加算した差分２乗和を用いる。ブロックを左上１９０１にしたときの誤差をまず計算し、次にその右隣り１９０２にしたときの誤差を計算し、以降同様に探索範囲内で画素間隔の幅ずつブロックをラスタ順序でずらしながら右下１９０３まで、それぞれ誤差を計算する。
【００３９】
次に、この探索範囲を示すベクトル探索空間について図２０から図２３を参照して説明する。
この探索空間を図２０に示す。ｘ軸が横方向、ｙ軸が縦方向で、原点は、図１９において中央１９０４にブロックがある状態を表す。探索時には、その状態から右に３画素分、左に３画素分、上下にもそれぞれ２画素分のブロックが設定可能であり、その設定可能なブロックの中心の位置を図２０に黒丸で示す。位置２００１が図１９のブロック１９０１の状態、位置２００２がブロック１９０２の状態を表す。この探索空間において、誤差が最小となる位置を１つの対応画素点とする。この段階ではまだ対応画素点は基準フレーム上のある画素の位置にある。なお、ブロックは正方形や長方形以外にも、図２１に示すような横方向に１列に画素を並べたものや、図２２の縦１列、図２３の斜め１列などでもよい。
【００４０】
次に、画面空間について図２４を参照して説明する。図２４は画面空間で用いる座標系を示す。画面の左上を原点にし、横軸をｈ、縦軸をｖとする。黒丸で表した低解像度画像の画素の標本点は、
（ｈ，ｖ）＝（０．５，０．５）、（１．５，０．５）、（２．５，０．５）．．
（０．５，１．５）．．．
のように、ｈが「＊．５」（＊＝０，１，２，３，．．．）で表される数値で、ｖも同様の数値となる位置である。高解像度画像の画素の標本点は、
（ｈ，ｖ）＝（０．２５，０．２５）、（０．７５，０．２５）．．
（０．２５，０．７５）．．．
のように、ｈやｖが「＊．２５」か「＊．７５」となる位置である。
【００４１】
次に、パラボラフィッティング法について図２５を参照して説明する。
この手法は図２５に示したように、横軸をｘ、縦軸をマッチング誤差とし、誤差最小となったｘ（＝ｍ）と、その前後のｘでの誤差を放物線にあてはめ、放物線が極小となるｘの値を対応点の１つとするものである。なお、仮に位相のずれが０．５の場合は、ｘ＝ｍとｘ＝ｍ−１の誤差は等しくなり、その中点が極小となるはずであるが、この図では、より一般的にパラボラフィッティングを説明するために少しずらして描いている。
【００４２】
なお、パラボラフィッティング法以外でも、上記の、清水，奥富，「画像のマッチングにおけるサブピクセル推定の意味と性質」にあるような、等角フィッティングを用いてもよい。
また、サブピクセル推定の別の手法としてオーバーサンプリング法がある。オーバーサンプリング法では、まず、図１３に示した他フレームのブロックデータを線形内挿して２倍の密度にした図２６に示すデータを作る。一方、図１１の基準フレームのデータも図２７のように２倍の密度にしておく。この状態で探索を行えば、図２８に示した、ｘ＝ｍ−０．５に相当するもののマッチング誤差もフィッティングなどせずに直接計算でき、その誤差は図２９に示したｘ＝ｍよりも小さくなる。その結果、ｘ＝ｍ−０．５を最小の位置として対応点を検出できる。
このように、オーバーサンプリング法では、精度（誤差を計算する間隔）を１／２にするにはデータを２倍に、１／４にするには４倍にする必要があるが、単純なアルゴリズムで対応点を求められる。フィッティング法（例えば、パラボラフィッティング法、等角フィッティング法）、オーバーサンプリング法で対応点を求めるフローチャートをそれぞれ、図３０、図３１に示す。以下、既に説明したステップと同様なものは同一の番号を付してその説明を省略する。
ステップＳ３００１では、注目ブロックに対して、基準フレーム内で１画素ずつブロックの位置をずらしながら誤差を計算し、その誤差が最小となる対応ブロックを検出する。
ステップＳ３００２では、パラボラフィッティング法や等角フィッティング法で対応点を検出して終了する。
【００４３】
ステップＳ３１０１では、注目ブロックと基準フレームの画素内挿を行って２倍の密度にしてステップＳ３００１に進み、ステップＳ３００１の処理後にステップＳ３１０２に進む。
ステップＳ３１０２では、対応ブロックに対応する点を対応点として終了する。
【００４４】
次に、異なる位置に対応点を複数求める具体的な手法について図３２から図３９を参照して説明する。
図２０に示した探索空間において、マッチング誤差が最小となる位置だけでなく、２番目、３番目に誤差が小さくなる位置も対応誤差点とし、それらを元にそれぞれサブピクセル推定を行う。この数は、予め所定の数に決めておいてもいいし、誤差が一定値以下になるもの全てでそれぞれ対応点を求めてもよい。また、探索範囲を図３２の黒丸のように限定してこの中で最小となる位置でまず対応点を求め、次に、図３３、図３４、図３５の探索範囲でそれぞれ対応点を一つずつ決めてもよい。このように縦方向にずらしながらそれぞれ対応点を求めるのは、図１７のように横方向に輝度が変化する場合に特に有効である。
【００４５】
また、制限する探索範囲を図３６のように縦方向にして、横方向にずらしながらそれぞれ対応点を求めるのは縦方向に輝度が変化する場合に特に有効である。したがって、候補指定部１０２が、予めエッジの向きが縦向きであればそれと垂直方向である横向きに探索範囲を設定し、それを縦にずらしながらそれぞれ対応点を求め、エッジの向きが横なら縦向きの範囲を横にずらしながら探索する方法が有効である。また、斜めのエッジ用に図３７のように探索範囲を斜めにして同様に処理してもよい。換言すれば、注目画素の画素値の勾配方向を検出し、勾配方向で対応点を探索するということである。
【００４６】
あるいは、図３８のように矩形の周囲に限定して、矩形の大きさを切り替えてそれぞれ対応点を求めてもよい。いずれにしてもこれらで求まる対応誤差点の周囲でサブピクセル推定をして対応点をそれぞれ求める。
【００４７】
図３９に一つの注目画素に対して、探索範囲を切り替えることで複数の対応点を検出するフローチャートを示す。
ステップＳ３９０１では、縦座標、横座標のうちの一方を固定し、他方を変化させて対応点を検出する。
ステップＳ３９０２では、固定する位置を変え、同様に対応点を検出して終了する。
【００４８】
次に、ステップＳ２０５で行う高解像度画像の画素値の算出について図４０を参照して説明する。
ステップＳ１０４の処理終了時点で、例えば、図４０に×印で表したように対応点が求まる。このように非一様に分布した標本点から格子状に配置された画素の値を求める手法は様々あるが、例えば、重ねあわせ法（例えば、nonuniform interpolationがある。例えば、上記のS. Park, et.al. "Super-Resolution Image Reconstruction: A Technical Overview"のｐ．２５参照）を用いる場合、図９において高解像度画像の画素９２１の値を求めるときに、その近くの標本値９１９、９１６、９２２などを調べ、画素９２１に最も近い位置にある標本値を見つけ、その標本値を画素９２１の画素値とする。あるいは、画素９２１からの距離に応じて、近いものほど重みを増やして、それらの標本値を加重平均した値を画素９２１の画素値とする。あるいは、一定の距離以下にある標本値の平均を画素９２１の値とする。
【００４９】
次に、重ねあわせ法で高解像度画像の画素値を求めるフローチャートを図４１に示す。
ステップＳ４１０１では、高解像度画像の画素ごとに、各標本点までの距離を求める。
ステップＳ４１０２では、標本点の加重平均として、各画素値を求める。その際、各画素から距離が近い標本値ほど重みを増すようにする。
【００５０】
また、重ねあわせ法ではなく、ＰＯＣＳ法（例えば、上記のS. Park, et.al. "Super-Resolution Image Reconstruction: A Technical Overview"のｐ．２９参照）を用いると処理は複雑になるが、さらに鮮鋭な画像が得られる。ＰＯＣＳ法では、まず始めに、高解像度画像９０８の各画素に双一次内挿法や３次畳込み内挿法などで仮に画素値を与えておく。そして、各標本値の位置における、その高解像度画像の仮の画素値を使ったときの標本値（これを仮標本値とよぶ）を計算する。
ここで仮標本値の計算方法について図４２を用いて説明する。図６でも説明したように、画面４２０１を複数の矩形４２０２に分割する。各矩形の輝度の分布を代表するのが、その中央におく画素値４２０３である。矩形の大きさは画素の密度によって決まり、例えば解像度が縦横１／２になるのであれば、矩形は縦横２倍になる。図４２には白丸で高解像度画像の画素を、黒丸で解像度が１／２の低解像度画像に相当する標本点を示す。高解像度画像の画素に仮の画素値が与えられているとき、標本点４２０４における仮標本値の値は、画素４２０５〜４２０８の画素値の平均値として計算する。これは、標本点４２０４がちょうど、その周囲の高解像度画像の画素の中心にある場合である。
標本点４２０９のようにその位置がずれている場合、標本点が代表する矩形４２１０が重なる部分の加重平均をその仮標本値とする。例えば、画素４２１１に対する重みは斜線４２１２の部分の面積を重みにする。矩形４２１０が重なる９個の矩形について、その重なる面積に比例するように重みをつけ、それら９個の画素値から加重平均値を求めて仮標本値とする。このときの高解像度画像が正確なものであれば、低解像度画像として撮影されたものである標本値と仮標本値は一致するはずである。
【００５１】
しかし、通常は一致しない。そこで、これが一致するように、仮画素値を更新する。標本値と仮標本値の差分を求め、その差分をなくすように仮の画素値に加減算する。画素値は複数あるので、差分を標本化で用いた重みで分け、それぞれの画素値に加減算する。これで、そのとき計算した標本点については標本値と仮標本値が一致する。しかし、別の標本点における更新処理で同じ高解像度画像画素が更新されることがある。例えば、図９の画素９２１が、標本値９１６に合うように更新されたあと、標本値９１９に合うように更新されると、標本値９１６には合わなくなる。そこで、この更新処理は、標本点全部に対して数回繰り返す。この反復により次第に、高解像度画像は正確なものに近づくので、予め決めた回数反復して得られた画像を高解像度画像として出力する。
【００５２】
このように、高解像度画像の画素値を未知数とし、それから得られる仮標本値と、実際に撮影された低解像度画像の画素値による標本値が等しいという条件式を解くことで高解像度画像の画素値を求めるひとつの方法がＰＯＣＳ法であり、これらの条件式を解く別の方法として、Iterative Back-Projection法（例えば、S. Park, et.al. "Super-Resolution Image Reconstruction: A Technical Overview"のｐ．３１参照）、ＭＡＰ法（例えば、S. Park, et.al. "Super-Resolution Image Reconstruction: A Technical Overview"のｐ．２８参照）などを用いても良い。
【００５３】
このように条件式を立てて高解像度化するフローチャートを図４３に示す。
ステップＳ４３０１では、前述した条件式を低解像度の画素つまり標本値ごとに立てる。
ステップＳ４３０２では、条件式を連立した方程式として解くことで高解像度画像の画素値を求める。
【００５４】
次に、画像のエッジの近くだけで、この処理を行うことで処理量を削減する場合のフローチャートを図４４に示す。エッジがない部分、つまり平坦な部分では、双一次内挿法や３次畳込み法の処理で十分なことが多く、この部分の処理を省くことで鮮鋭さをそこなうことなく処理量を減らせる。
ステップＳ４４０１では、ステップＳ４３０１を行った後に、低解像度画像のエッジ検出を行い、画素ごとにそこにエッジがあるかないかを判定する。例えば、Ｓｏｂｅｌフィルタのように、その画素に左右あるいは上下に隣接する画素の画素値の差が一定値より大きい場合にエッジがあると判定し、一定値以下の場合にエッジがないと判定する。換言すれば、画素値勾配が所定値よりも大きい場合にエッジがあると判定し、所定値以下の場合にはエッジがないと判定する。
【００５５】
ステップＳ４４０２では、エッジがあると判定された画素に対応する条件式だけを連立して方程式を解く。例えば、ＰＯＣＳ法であれば、エッジがあると判定された画素に対応する条件式に関する更新だけを行う。
【００５６】
次に、エッジ部分だけで処理を行う別の方法を図４５に示す。
ステップＳ４５０１では、ステップＳ４４０１を行った後、エッジがあると判定された画素にだけ対応点を検出して条件式を立てて、ステップＳ４４０２に進む。
なお、ステップＳ４５０１とステップＳ４４０２の代わりに、重ねあわせ法を用い、その際の重みをエッジの強度が強い（すなわち、画素値の勾配が大きい）ものほど重くする方法もある。また、注目画素を含む局所パターン内の画素値勾配が所定値よりも大きい標本値だけを用いて加重平均を行ってもよい。
【００５７】
次に、ステップＳ４５０１の部分を分解した例を図４６に示す。
ステップＳ４４０１では、低解像度画像の画素ごとにエッジ検出を行い、ステップＳ２０１に進む。検出結果は例えば、エッジありを１、エッジなしを０とした、低解像度画像と同じ大きさの２値画像として保持する。
ステップＳ４６０１では、注目画素の部分にエッジがあると判定されていた場合、ステップＳ２０２に進む。エッジがないと判定されていた場合、ステップＳ２０１に戻る。特にエッジ検出結果を２値画像として保持している場合には、注目画素の部分の値が１の場合にはステップＳ２０２に進み、０の場合にはステップＳ２０１に戻る。
【００５８】
次に、低解像度フレームの枚数と１つの注目画素当りに求める対応点の数との関係について図４７を参照して説明する。
１枚の高解像度化に用いる、低解像度フレームの枚数Ｎと、一つの注目画素あたりに求める対応点の数Ｐは、高解像度化の倍率によって予め決めておく。例えば、縦４倍、横４倍の場合には、画素数が１６倍になるので、標本点も１６倍程度必要であり、
ＮＰ＝１６
となるようにＮとＰを決める。例えば、Ｎ＝８の分まで低解像度画像用のメモリを確保できる場合には、Ｐ＝２とし、Ｎ＝２の分しか確保できない場合は、Ｐ＝８とする。なお、Ｐ＝１、Ｎ＝１６に相当するのが従来の複数フレーム劣化逆変換法であり、本発明の実施形態によりメモリ量を、上の例で、８／１６＝１／２や２／１６＝１／８に削減できることが分かる。
【００５９】
図４７にＮ＝１の例を示す。低解像度フレーム４７０１は２枚描いているが同じものである。この画面空間４７０５において、注目画素４７０９が選ばれている場合、その周囲のブロック４７０２に対して、同じフレーム４７０１の中からマッチング誤差最小となるものを複数探索し、サブピクセル推定した結果が、ブロック４７０３、４７０４である。このとき、ブロック４７０２自身がマッチング誤差ゼロで誤差が最小になるが、これは探索範囲からはずすか、２番目、３番目に誤差が小さいものを対応点とする。ブロック４７０４の対応ベクトル４７０８を図示した。この場合、始点も終点も同じフレームである。ブロック４７０３の対応ベクトルの図示は省略した。これらによって画素４７０９の画素値が標本値４７０６、標本値４７０７として、画面４７１０に配置される。
【００６０】
次に、特に動画像の場合の本実施形態でのフローチャートを図４８に示す。
ステップＳ４８０１では、低解像度フレームの番号であるｎを１に設定する。
ステップＳ４８０２では、注目画素として、第ｎフレームの低解像度画像の一画素を設定する。
ステップＳ４８０３では、注目画素に対応する点を基準フレームの画面空間内で検出する。
ステップＳ４８０４では、用いる低解像度画像の枚数Ｎとｎが等しいかどうかを判定し、ＮｏであればステップＳ４８０５に進み、ＹｅｓであればステップＳ４８０６に進む。
ステップＳ４８０５では、ｎの値を１つ増やしてステップＳ４８０２に進む。
ステップＳ４８０６では、低解像度画像の画素値と検出した対応点の位置を用いて、基準フレームの高解像度画像の画素値を算出して終了する。
【００６１】
次に、動画像のフレームを順次基準フレームとして高解像度化を行うフローチャートを図４９に示す。
ステップＳ４９０１では、最初のフレームを基準フレームに設定する。
ステップＳ４９０２では、図４８のＳ４８００の処理で基準フレームを高解像度化する。
ステップＳ４９０３では、全フレームの高解像度化が終わったかどうかを判定し、Ｎｏの場合ステップＳ４９０４に進み、Ｙｅｓの場合終了する。
ステップＳ４９０４では、次のフレームを基準フレームにしてステップＳ４９０２に進む。
【００６２】
（第２の実施形態）
局所パターンの自己相関を利用する場合の第２の実施形態について図５０から図５８を参照して説明する。
図５０は、静止画像の一部、あるいは動画像の１フレームの一部を表し、この低解像度画像５００６を入力として高解像度化する。黒丸が画素である。斜線は輝度の低い部分を表し、ここには左下から右上方向にエッジ５００７がある。エッジは撮影時の標本化前にあった位置を図示している。低解像度画像５００６としてはもちろん画素の位置にしか輝度は与えられていない。これらの画素値から、エッジ５００７の明暗をなるべく正確に再現したい。そのために従来は、同じ被写体の同じ部分の標本値を他のフレームからとってきていた。しかし、例えば図５０に点線で囲んだ５つのライン５００１〜５００５は、先に図１７にも示したように、互いに輝度変化が非常に似ているはずで、それを異なる位相で標本化された画素値は互いの高解像度化の標本値として使える。
【００６３】
そこで本実施形態では画像５００６を複数のラインに分けて考え、ラインを一本ずつ基準ラインとし、近くの低解像度な画素ラインを用いて高解像度化する。そして、一つの画素ラインを複数のラインの高解像度化に用いる。例えば図５１において、画素ライン５１０２は、少なくとも、画素ライン５１０３の高解像度化と画素ライン５１０４の高解像度化に用いる。自己相関の具体的な例として、画像の自己合同性がある画像についての例を図５２Ａに示す。また、図５２Ａの自己合同性のある画像部分を高解像度化する様子について図５２Ｂに示す。
【００６４】
次に、低解像度な画素ラインを用いて高解像度化する動作について図５３にそのフローチャートを示す。図５０も用いて説明する。
【００６５】
ステップＳ５３０１では、画面をラインに分けたときの端のラインを最初に高解像度化を行う基準ラインとする。
ステップＳ４８０１では、その基準ラインの高解像度化に用いる低解像度の画素ラインの番号であるｎを１に設定する。図５０では、ライン５００３が基準ラインで、この高解像度化に画素ライン５００１〜５００５を用いる。そして、例えばまず画素ライン５００１が選ばれる。
【００６６】
ステップＳ５３０２では、注目画素として、第ｎラインの一画素を設定する。図５０では、画素５００８が注目画素に設定されたとする。
ステップＳ５３０３では、注目画素に対応する点を基準ラインの画面空間内で検出し、ステップＳ２０４に進む。図５０では、注目画素５００８の対応点５００９が検出された。この図５０で画面５０１０は、画面５００６と同一であるが図を見やすくするために分けてある。
【００６７】
ステップＳ２０４では、そのラインの全画素について対応点検出が終了したかどうかを判定し、ＮｏであればステップＳ５３０２に戻って、次の画素を注目画素にして処理を進め、ＹｅｓであればステップＳ４８０４に進む。
ステップＳ４８０４では、用いる低解像度ラインの個数Ｎとｎが等しいかどうかを判定し、ＮｏであればステップＳ４８０５に進み、ＹｅｓであればステップＳ５３０４に進む。
ステップＳ４８０５では、ｎの値を１つ増やしてステップＳ５３０２に進む。図５０には、基準ライン５００３に対して画素ライン５００１，５００２，５００４，５００５のエッジの近くの画素から検出された対応点だけを図示している。
ステップＳ５３０４では、低解像度画像の画素値と検出した対応点の位置を用いて、基準ラインの高解像度画像の画素値を算出してステップＳ５３０５に進む。
ステップＳ５３０５では、高解像度化する全てのラインの処理が終了したかどうかを判定し、ＮｏであればステップＳ５３０６に進み、Ｙｅｓであれば終了する。
ステップＳ５３０６では、次のラインを基準ラインにしてステップＳ４８０１に進む。
【００６８】
図５３に示した処理で画像はラインの方向に、例えば、図５０では縦方向に高解像度化される。例えば、入力される低解像度画像が図５４のような横×縦が６×４画素の画像の場合、縦ラインを用いて２倍に高解像度化すると図５５に白丸で表した６×８画素の画像が生成され、さらにこれを横ラインで同様の処理を行えば図５６に白丸で表した１２×８画素の画像が生成され、結果的に図５４の縦２倍、横２倍の画像が得られる。ここで、先に横ラインで処理を行えば図５７のように、まず１２×４画素の画像になり、次に縦ラインで処理することで図５６の１２×８画素の画像になる。このように、ラインの処理でも方向を変えて２回行えば縦横に高解像度化できる。
【００６９】
次に、まず横に高解像度化し、次に縦に高解像度化するフローチャートを図５８に示す。
ステップＳ５８０１では、画面を横ラインに分けたときの端のラインを最初に高解像度化を行う基準ラインとしてステップＳ５８０２に進む。
ステップＳ５８０２では、図５３のステップＳ４８０１〜ステップＳ５３０４に示した手順で、その基準ラインを高解像度化してステップＳ５８０３に進む。
ステップＳ５８０３では、高解像度化する全ての横ラインの処理が終了したかどうかを判定し、ＮｏであればステップＳ５８０４に進み、ＹｅｓであればステップＳ５８０５に進む。
ステップＳ５８０４では、次の横ラインを基準ラインにしてステップＳ５８０２に進む。
ステップＳ５８０５では、画面を縦ラインに分けたときの端のラインを最初に高解像度化を行う基準ラインとしてステップＳ５８０６に進む。
ステップ１５０６では、図５３のステップＳ４８０１〜ステップＳ５３０４に示した手順で、その基準ラインを高解像度化してステップＳ５８０７に進む。
ステップＳ５８０７では、高解像度化する全ての縦ラインの処理が終了したかどうかを判定し、ＮｏであればステップＳ５８０８に進み、Ｙｅｓであれば終了する。
ステップＳ５８０８では、次の縦ラインを基準ラインにしてステップＳ５８０６に進む。
【００７０】
（第３の実施形態）
局所パターンの自己相関を利用する際に、ラインでなく、ブロックを用いる場合の第３の実施形態について図５９と図６０を参照して説明する。
ここでは、図５９に示したように、９×９画素の画像を３×３画素のブロック５９０１に分けて考える。そして基準となるブロック５９０２に対して、その上下左右のブロックから対応点を求める様子を図５９に示している。
【００７１】
次に、本実施形態の動作についてフローチャートについて図６０を参照して説明する。
ステップＳ６００１では、画面をブロックに分けたときの端のブロックを最初に高解像度化を行う基準ブロックとしてステップＳ４８０１に進む。
ステップＳ４８０１では、その基準ブロックの高解像度化に用いる低解像度のブロックの番号であるｎを１にしてステップＳ６００２に進む。図５９では、ブロック５９０２が基準ブロックで、この高解像度化に上下左右に隣接するブロックを用いる。
【００７２】
ステップＳ６００２では、注目画素として、第ｎブロックの一画素を設定してステップＳ６００３に進む。
ステップＳ６００３では、注目画素に対応する点を基準ブロックの画面空間内で検出し、ステップＳ２０４に進む。
ステップＳ２０４では、そのブロックの全画素について対応点検出が終了したかどうかを判定し、ＮｏであればステップＳ６００２に戻って、次の画素を注目画素にして処理を進め、ＹｅｓであればステップＳ４８０４に進む。
ステップＳ４８０４では、用いる低解像度ブロックの個数Ｎとｎが等しいかどうかを判定し、ＮｏであればステップＳ４８０５に進み、ＹｅｓであればステップＳ６００４に進む。
ステップＳ４８０５では、ｎの値を１つ増やしてステップＳ６００２に進む。
ステップＳ６００４では、低解像度画像の画素値と検出した対応点の位置を用いて、基準ブロックの高解像度画像の画素値を算出してステップＳ６００５に進む。
ステップＳ６００５では、高解像度化する全てのラインの処理が終了したかどうかを判定し、ＮｏであればステップＳ６００６に進み、Ｙｅｓであれば終了する。
ステップＳ６００６では、次のブロックを基準ブロックにしてステップＳ４８０１に進む。
【００７３】
最後に、効果を示す例を挙げる。図６１に、ある静止画像に対して、従来から用いられている３次畳込み法で高解像度化した画像を示す。これは大きな濃淡画像の黒い線の部分を拡大表示したもので、小さく正方形にみえるものが１画素である。そして図６２に、本発明により高解像度化した結果を示す。黒い線の部分がくっきりと鮮鋭になっていることが分かる。図６３は、エッジ部分だけに処理を行う実施形態による結果で、図６２の場合より少ない処理量でありながら、やはり図６１より鮮鋭な画像が得られている。
【００７４】
以上に示した実施形態によれば、低解像度画像の一つの画素値を、複数の対応点すなわち標本点として用いることができる。したがって、従来よりも少ない低解像度画像の枚数で鮮鋭な高解像度画像が得られるので、メモリ量を少なくできる。
【００７５】
また特に、フレーム内で処理を行う場合には、対応点の探索範囲を狭くできるので処理量を減らせる。フレーム間の対応点は動きがあるため、通常、十〜数十画素の探索範囲が必要であるが、フレーム内では隣接するラインに対応点を求めればよいので数画素の探索範囲で十分である。また、フレーム間の方法は静止画像には適用できないが、フレーム内の方法は写真などの静止画像にも適用できる。
【００７６】
また、本実施形態の高解像度化装置は、低解像度画像の一つの画素値を、複数の対応点すなわち標本点として用いることができる。したがって、従来よりも少ない低解像度画像の枚数で鮮鋭な高解像度画像が得られるので、メモリ量を少なくできる。
【００７７】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【図面の簡単な説明】
【００７８】
【図１Ａ】本発明の実施形態に係る高解像度化装置のブロック図。
【図１Ｂ】オーバーサンプリング法を使用する場合の実施形態の高解像度化装置のブロック図。
【図２】本発明の第１の実施形態に係る高解像度化装置の動作の一例を示すフローチャート。
【図３】２枚の低解像度フレームから高解像度フレームを生成する様子を示す図。
【図４】１枚の低解像度フレームから高解像度フレームを生成する様子を示す図。
【図５】低解像度画像の画面と画素との位置関係を示す図。
【図６】図５の画像を高解像度化した高解像度画像を示す図。
【図７】図５の画像の画素間隔を図６の画像の画素間隔に合わせた低解像度画像を示す図。
【図８】図５と図６の画素の位置関係を示した図。
【図９】図２のステップＳ２０２とステップＳ２０３を説明するための図。
【図１０】ある基準フレームが撮影された際の、画面の横軸上の位置と輝度との関係を示した図。
【図１１】図１０の輝度を画素値に変換して得られた画像データでの位置座標と画素値との関係を示した図。
【図１２】図１０とは異なるフレームが撮影された際の、画面の横軸上の位置と輝度との関係を示した図。
【図１３】図１２の輝度を画素値に変換して得られた画像データでの位置座標と画素値との関係を示した図。
【図１４】図１１の基準フレームに対して図１３の注目ブロックの位置座標を１画素ずつずらして誤差を求める様子を示した図。
【図１５】図１４の様にずらして最も誤差が小さくなった場合を示す図。
【図１６】図１５の場合よりも誤差が小さくなる場合を示す図。
【図１７】ある写真データの位置座標と輝度との関係を示す図。
【図１８】図９のフレームから取り出した注目ブロックを示す図。
【図１９】図１８の注目ブロックが探索する探索範囲を説明するための図。
【図２０】図１９の探索範囲を示すベクトル探索空間を示す図。
【図２１】図１８の注目ブロックの変形例の一つを示す図。
【図２２】図１８の注目ブロックの変形例の一つを示す図。
【図２３】図１８の注目ブロックの変形例の一つを示す図。
【図２４】画面空間を表現する座標系を示す図。
【図２５】パラボラフィッティング法について説明するための図。
【図２６】オーバーサンプリング法で使用する図１３のフレームを線形内挿した場合の位置座標と画素値との関係を示す図。
【図２７】図２６に対応して、図１１の基準フレームのデータ密度を上げた場合の位置座標と画素値との関係を示す図。
【図２８】図２６と図２７に基づいて計算して得た、図１６に対応する図。
【図２９】図２６と図２７に基づいて計算して得た、図１５に対応する図。
【図３０】フィッティング法で対応点を求めるための動作の一例を示すフローチャート。
【図３１】オーバーサンプリング法で対応点を求めるための動作の一例を示すフローチャート。
【図３２】横方向に輝度が変化する場合に有効な、対応点を求めるための探索範囲の一例を示す図。
【図３３】横方向に輝度が変化する場合に有効な、対応点を求めるための探索範囲の一例を示す図。
【図３４】横方向に輝度が変化する場合に有効な、対応点を求めるための探索範囲の一例を示す図。
【図３５】横方向に輝度が変化する場合に有効な、対応点を求めるための探索範囲の一例を示す図。
【図３６】縦方向に輝度が変化する場合に有効な、対応点を求めるための探索範囲の一例を示す図。
【図３７】斜め方向に輝度が変化する場合に有効な、対応点を求めるための探索範囲の一例を示す図。
【図３８】対応点を求めるための探索範囲が矩形である場合を示す図。
【図３９】複数の対応点を検出するための動作の一例を示すフローチャート。
【図４０】画面空間で検出された複数の対応点を示す図。
【図４１】高解像度画像の画素値を重ね合わせ法で求める場合の動作の一例を示すフローチャート。
【図４２】仮標本値の計算方法を説明するための画面、画素、矩形を示す図。
【図４３】標本値ごとに条件式を立てて高解像度化する動作の一例を示すフローチャート。
【図４４】画像のエッジ近くで図４３の動作を行うための一例を示すフローチャート。
【図４５】エッジ部分だけで高解像度化処理を行う動作の一例を示すフローチャート。
【図４６】図４５のステップＳ４５０１の詳細な動作の一例を示すフローチャート。
【図４７】低解像度フレーム枚数と対応点の数との関係を説明するための図。
【図４８】動画像を高解像度化する場合の動作の一例を示すフローチャート。
【図４９】動画像のフレームを順次基準フレームとして高解像度化を行う動作の一例を示すフローチャート。
【図５０】本発明の第２の実施形態での説明に使用する画像を示す図。
【図５１】画像の高解像度化のための画素ラインを示す図。
【図５２Ａ】画像の自己合同性を説明するための具体例を示す図。
【図５２Ｂ】自己合同性がある画像部分を高解像度化する様子を示す図。
【図５３】低解像度な画素ラインを用いて高解像度化する動作の一例を示すフローチャート。
【図５４】低解像度画像を示す図。
【図５５】図５４の画像に対して縦方向に２倍の高解像度化を行った画像を示す図。
【図５６】図５４の画像に対して縦横方向に２倍の高解像度化を行った画像を示す図。
【図５７】図５４の画像に対して横方向に２倍の高解像度化を行った画像を示す図。
【図５８】図５６の高解像度画像を得るための動作の一例を示すフローチャート。
【図５９】本発明の第３の実施形態での説明に使用する画像を示す図。
【図６０】画像をブロックに分けて高解像度化を行う動作の一例を示すフローチャート。
【図６１】従来の手法で高解像度化した画像を示す図。
【図６２】本発明の実施形態での手法で高解像度化した画像を示す図。
【図６３】本発明の実施形態でのエッジ部分だけを高解像度化した画像を示す図。
【符号の説明】
【００７９】
１０１、１０５、１０８、１１０…メモリ、１０２…候補指定部、１０３…マッチング誤差算出部、１０４…誤差比較部、１０６…高解像度画素値算出部、１０７…パラボラフィッティング部、１０９…オーバーサンプリング部、５０１、９０４、９０６、９０８、４２０１、４７１０、５００６、５０１０…画面、５０２、６０１、９０９、９１０、９２１、４２０５、４２１１、４７０９、５００８…画素、９０１、９０３、４７０１…フレーム、９０３…基準フレーム、９０４、９０６、４７０５…画面空間、９０７…自動車、９０８…高解像度画像、９１１、４７０９、５００８…注目画素、９１２、９１３、９２０、４７０２、４７０３、４７０４、５９０１、５９０２…ブロック、９１４、９１６、９１７、５００９…対応点、９１５、９１８、４７０８…対応ベクトル、９１９、４７０６、４７０７…標本値、４２０２、４２１０…矩形、４２０３…画素値、４２０４、４２０９…標本点、４２１２…斜線、４７０１…低解像度フレーム、５００１，５００２，５００４，５００５…画素ライン、５００３…基準ライン、５００６…低解像度画像、５００７…エッジ、５１０２、５１０３、５１０４…画素ライン
【特許請求の範囲】
【請求項１】
画面内に複数の画素を配し、その各画素の輝度を画素値として表した画像を画像ソースから取得する取得手段と、
前記画像に含まれる１フレームを基準フレームに設定する第１の設定手段と、
前記画像に含まれる１以上のフレーム中の複数の画素を１つずつ注目画素として順次設定する第２の設定手段と、
前記注目画素ごとに該注目画素を含む注目画像領域を設定する第３の設定手段と、
前記注目画像領域に含まれる画素値の変化パターンに最も近い複数の注目画像領域に対応する複数の対応点を前記基準フレームの中から選択する選択手段と、
前記対応点での輝度の標本値を、該対応点に対応している注目画素の画素値に設定する第４の設定手段と、
複数の前記標本値の大きさと、前記複数の対応点の配置とに基づいて、前記基準フレームに含まれる画素数よりも多い画素数の高解像度画像であって前記基準フレームに対応する高解像度画像に含まれる複数の画素値を算出する算出手段と、を具備することを特徴とする高解像度化装置。
【請求項２】
前記取得手段は、前記画像として、複数のフレームからなる動画像を取得し、
前記第１の設定手段は、前記複数のフレームのうちの１枚のフレームを基準フレームに設定し、
前記第２の設定手段は、前記基準フレームを除く１以上のフレームに含まれている画素を注目画素に設定することを特徴とする請求項１に記載の高解像度化装置。
【請求項３】
前記取得手段は、前記画像として、複数のフレームからなる動画像を取得し、
前記第１の設定手段は、前記複数のフレームのうちの１枚のフレームを基準フレームに設定し、
前記第２の設定手段は、前記基準フレームに含まれている画素を注目画素に設定することを特徴とする請求項１に記載の高解像度化装置。
【請求項４】
前記取得手段は、前記画像として、１フレームからなる静止画像を取得し、
前記第１の設定手段は、前記静止画像を基準フレームに設定し、
前記第２の設定手段は、前記基準フレームに含まれている画素を注目画素に設定することを特徴とする請求項１に記載の高解像度化装置。
【請求項５】
前記第３の設定手段は、前記注目画素の周囲部分のｍ×ｎ（ｍ、ｎとも１以上の整数）画素を前記注目画像領域として設定し、
前記選択手段は、
前記基準フレームに含まれる複数のｍ×ｎ画素の対応候補画像領域を設定し、
該複数の対応候補画像領域のうちから、前記注目画像領域との画素値の誤差和が最小となる対応画素領域を算出し、
前記誤差和と、前記対応画素領域をある方向にある画素数分ずらした位置での誤差和と、前記対応画素領域を前記方向とは逆方向にある画素数分ずらした位置での誤差和とを、ある曲線にフィッティングし、
前記曲線が最小となる位置を前記複数の対応点の１つとすることを特徴とする請求項１に記載の高解像度化装置。
【請求項６】
前記選択手段は、
前記画像に含まれる複数の画素の間に別の画素を内挿して内挿画像を生成し、
前記内挿画像において前記注目画素の周囲部分のｍ×ｎ（ｍ、ｎとも１以上の整数）画素を前記注目画像領域として設定し、
内挿された前記基準フレームに含まれる複数のｍ×ｎ画素の対応候補画像領域を設定し、
該複数の対応候補画像領域のうちから、前記注目画像領域との画素値の誤差和が最小となる対応画素領域を算出し、
前記対応画素領域の位置を前記複数の対応点の１つとすることを特徴とする請求項１に記載の高解像度化装置。
【請求項７】
前記選択手段は、
縦座標と横座標のうちの、一方の座標を固定し、他方の座標を動かして前記変化パターンの差を逐次求め、予め定められたある範囲においてその差が最小となる座標を前記対応点の一つ目として求め、
固定する前記座標の位置を切替え、該座標の他方の座標を動かして前記対応点の二つ目を求めることを特徴とする請求項１に記載の高解像度化装置。
【請求項８】
前記算出手段は、前記高解像度画像の画素値を未知数とし、該未知数から算出した仮標本値が前記標本値と等しいという条件式を前記標本値ごとに立て、複数の前記条件式を連立して解いて前記高解像度画像の画素値を算出することを特徴とする請求項１に記載の高解像度化装置。
【請求項９】
前記算出手段は、前記条件式として、前記注目画素を含む局所パターン内の画素値勾配が所定値よりも大きい条件式だけを用いることを特徴とする請求項８に記載の高解像度化装置。
【請求項１０】
前記算出手段は、前記高解像度画像の画素ごとに、位置が一定の範囲内にある前記標本値の加重平均値として前記高解像度画像の画素値を算出することを特徴とする請求項１に記載の高解像度化装置。
【請求項１１】
前記算出手段は、前記注目画素を含む局所パターン内の画素値勾配が所定値よりも小さい注目画素については対応点の探索を行わないことを特徴とする請求項８又は請求項１０のいずれか１項に記載の高解像度化装置。
【請求項１２】
前記算出手段は、前記注目画素を含む局所パターン内の画素値勾配が大きい標本値ほど加重平均の重みを増やすことを特徴とする請求項１０に記載の高解像度化装置。
【請求項１３】
前記算出手段は、前記注目画素を含む局所パターン内の画素値勾配がある値よりも大きい標本値だけを用いて加重平均を行うことを特徴とする請求項１２に記載の高解像度化装置。
【請求項１４】
前記選択手段は、前記注目画素の画素値の勾配方向を検出し、前記対応点を前記勾配方向で選択することを特徴とする請求項１に記載の高解像度化装置。
【請求項１５】
画面内に複数の画素を配し、その各画素の輝度を画素値として表した画像を画像ソースから取得する取得手段と、
前記画像に含まれる１フレームを縦方向又は横方向の１列の画素ラインに分割する分割手段と、
複数の前記画素ラインに含まれる１画素ラインを基準画素ラインに設定する第１の設定手段と、
前記画像に含まれる１以上のフレーム中で前記基準画素ライン以外の複数の画素を１つずつ注目画素として順次設定する第２の設定手段と、
前記注目画素ごとに該注目画素を含む注目画像領域を設定する第３の設定手段と、
前記注目画像領域に含まれる画素値の変化パターンに最も近い複数の注目画像領域に対応する複数の対応点を前記基準画素ラインの中から選択する選択手段と、
前記対応点での輝度の標本値を、該対応点に対応している注目画素の画素値に設定する第４の設定手段と、
複数の前記標本値の大きさと、前記複数の対応点の配置とに基づいて、前記基準画素ラインに含まれる画素数よりも多い画素数の高解像度画像であって前記基準画素ラインに対応する高解像度画像に含まれる複数の画素値を算出する算出手段と、を具備することを特徴とする高解像度化装置。
【請求項１６】
前記分割手段が縦方向の１列の画素ラインに分割した場合には、前記算出手段が複数の画素値を算出後に、前記分割手段が横方向の１列の画素ラインに分割して前記算出手段が複数の画素値を算出し、
前記分割手段が横方向の１列の画素ラインに分割した場合には、前記算出手段が複数の画素値を算出後に、前記分割手段が縦方向の１列の画素ラインに分割して前記算出手段が複数の画素値を算出することを特徴とする請求項１５に記載の高解像度化装置。
【請求項１７】
画面内に複数の画素を配し、その各画素の輝度を画素値として表した画像を画像ソースから取得し、
前記画像に含まれる１フレームを基準フレームに設定し、
前記画像に含まれる１以上のフレーム中の複数の画素を１つずつ注目画素として順次設定し、
前記注目画素ごとに該注目画素を含む注目画像領域を設定し、
前記注目画像領域に含まれる画素値の変化パターンに最も近い複数の注目画像領域に対応する複数の対応点を前記基準フレームの中から選択し、
前記対応点での輝度の標本値を、該対応点に対応している注目画素の画素値に設定し、
複数の前記標本値の大きさと、前記複数の対応点の配置とに基づいて、前記基準フレームに含まれる画素数よりも多い画素数の高解像度画像であって前記基準フレームに対応する高解像度画像に含まれる複数の画素値を算出することを特徴とする高解像度化方法。
【請求項１８】
画面内に複数の画素を配し、その各画素の輝度を画素値として表した画像を画像ソースから取得し、
前記画像に含まれる１フレームを縦方向又は横方向の１列の画素ラインに分割し、
複数の前記画素ラインに含まれる１画素ラインを基準画素ラインに設定し、
前記画像に含まれる１以上のフレーム中で前記基準画素ライン以外の複数の画素を１つずつ注目画素として順次設定し、
前記注目画素ごとに該注目画素を含む注目画像領域を設定し、
前記注目画像領域に含まれる画素値の変化パターンに最も近い複数の注目画像領域に対応する複数の対応点を前記基準画素ラインの中から選択し、
前記対応点での輝度の標本値を、該対応点に対応している注目画素の画素値に設定し、
複数の前記標本値の大きさと、前記複数の対応点の配置とに基づいて、前記基準画素ラインに含まれる画素数よりも多い画素数の高解像度画像であって前記基準画素ラインに対応する高解像度画像に含まれる複数の画素値を算出することを特徴とする高解像度化方法。
【請求項１】
画面内に複数の画素を配し、その各画素の輝度を画素値として表した画像を画像ソースから取得する取得手段と、
前記画像に含まれる１フレームを基準フレームに設定する第１の設定手段と、
前記画像に含まれる１以上のフレーム中の複数の画素を１つずつ注目画素として順次設定する第２の設定手段と、
前記注目画素ごとに該注目画素を含む注目画像領域を設定する第３の設定手段と、
前記注目画像領域に含まれる画素値の変化パターンに最も近い複数の注目画像領域に対応する複数の対応点を前記基準フレームの中から選択する選択手段と、
前記対応点での輝度の標本値を、該対応点に対応している注目画素の画素値に設定する第４の設定手段と、
複数の前記標本値の大きさと、前記複数の対応点の配置とに基づいて、前記基準フレームに含まれる画素数よりも多い画素数の高解像度画像であって前記基準フレームに対応する高解像度画像に含まれる複数の画素値を算出する算出手段と、を具備することを特徴とする高解像度化装置。
【請求項２】
前記取得手段は、前記画像として、複数のフレームからなる動画像を取得し、
前記第１の設定手段は、前記複数のフレームのうちの１枚のフレームを基準フレームに設定し、
前記第２の設定手段は、前記基準フレームを除く１以上のフレームに含まれている画素を注目画素に設定することを特徴とする請求項１に記載の高解像度化装置。
【請求項３】
前記取得手段は、前記画像として、複数のフレームからなる動画像を取得し、
前記第１の設定手段は、前記複数のフレームのうちの１枚のフレームを基準フレームに設定し、
前記第２の設定手段は、前記基準フレームに含まれている画素を注目画素に設定することを特徴とする請求項１に記載の高解像度化装置。
【請求項４】
前記取得手段は、前記画像として、１フレームからなる静止画像を取得し、
前記第１の設定手段は、前記静止画像を基準フレームに設定し、
前記第２の設定手段は、前記基準フレームに含まれている画素を注目画素に設定することを特徴とする請求項１に記載の高解像度化装置。
【請求項５】
前記第３の設定手段は、前記注目画素の周囲部分のｍ×ｎ（ｍ、ｎとも１以上の整数）画素を前記注目画像領域として設定し、
前記選択手段は、
前記基準フレームに含まれる複数のｍ×ｎ画素の対応候補画像領域を設定し、
該複数の対応候補画像領域のうちから、前記注目画像領域との画素値の誤差和が最小となる対応画素領域を算出し、
前記誤差和と、前記対応画素領域をある方向にある画素数分ずらした位置での誤差和と、前記対応画素領域を前記方向とは逆方向にある画素数分ずらした位置での誤差和とを、ある曲線にフィッティングし、
前記曲線が最小となる位置を前記複数の対応点の１つとすることを特徴とする請求項１に記載の高解像度化装置。
【請求項６】
前記選択手段は、
前記画像に含まれる複数の画素の間に別の画素を内挿して内挿画像を生成し、
前記内挿画像において前記注目画素の周囲部分のｍ×ｎ（ｍ、ｎとも１以上の整数）画素を前記注目画像領域として設定し、
内挿された前記基準フレームに含まれる複数のｍ×ｎ画素の対応候補画像領域を設定し、
該複数の対応候補画像領域のうちから、前記注目画像領域との画素値の誤差和が最小となる対応画素領域を算出し、
前記対応画素領域の位置を前記複数の対応点の１つとすることを特徴とする請求項１に記載の高解像度化装置。
【請求項７】
前記選択手段は、
縦座標と横座標のうちの、一方の座標を固定し、他方の座標を動かして前記変化パターンの差を逐次求め、予め定められたある範囲においてその差が最小となる座標を前記対応点の一つ目として求め、
固定する前記座標の位置を切替え、該座標の他方の座標を動かして前記対応点の二つ目を求めることを特徴とする請求項１に記載の高解像度化装置。
【請求項８】
前記算出手段は、前記高解像度画像の画素値を未知数とし、該未知数から算出した仮標本値が前記標本値と等しいという条件式を前記標本値ごとに立て、複数の前記条件式を連立して解いて前記高解像度画像の画素値を算出することを特徴とする請求項１に記載の高解像度化装置。
【請求項９】
前記算出手段は、前記条件式として、前記注目画素を含む局所パターン内の画素値勾配が所定値よりも大きい条件式だけを用いることを特徴とする請求項８に記載の高解像度化装置。
【請求項１０】
前記算出手段は、前記高解像度画像の画素ごとに、位置が一定の範囲内にある前記標本値の加重平均値として前記高解像度画像の画素値を算出することを特徴とする請求項１に記載の高解像度化装置。
【請求項１１】
前記算出手段は、前記注目画素を含む局所パターン内の画素値勾配が所定値よりも小さい注目画素については対応点の探索を行わないことを特徴とする請求項８又は請求項１０のいずれか１項に記載の高解像度化装置。
【請求項１２】
前記算出手段は、前記注目画素を含む局所パターン内の画素値勾配が大きい標本値ほど加重平均の重みを増やすことを特徴とする請求項１０に記載の高解像度化装置。
【請求項１３】
前記算出手段は、前記注目画素を含む局所パターン内の画素値勾配がある値よりも大きい標本値だけを用いて加重平均を行うことを特徴とする請求項１２に記載の高解像度化装置。
【請求項１４】
前記選択手段は、前記注目画素の画素値の勾配方向を検出し、前記対応点を前記勾配方向で選択することを特徴とする請求項１に記載の高解像度化装置。
【請求項１５】
画面内に複数の画素を配し、その各画素の輝度を画素値として表した画像を画像ソースから取得する取得手段と、
前記画像に含まれる１フレームを縦方向又は横方向の１列の画素ラインに分割する分割手段と、
複数の前記画素ラインに含まれる１画素ラインを基準画素ラインに設定する第１の設定手段と、
前記画像に含まれる１以上のフレーム中で前記基準画素ライン以外の複数の画素を１つずつ注目画素として順次設定する第２の設定手段と、
前記注目画素ごとに該注目画素を含む注目画像領域を設定する第３の設定手段と、
前記注目画像領域に含まれる画素値の変化パターンに最も近い複数の注目画像領域に対応する複数の対応点を前記基準画素ラインの中から選択する選択手段と、
前記対応点での輝度の標本値を、該対応点に対応している注目画素の画素値に設定する第４の設定手段と、
複数の前記標本値の大きさと、前記複数の対応点の配置とに基づいて、前記基準画素ラインに含まれる画素数よりも多い画素数の高解像度画像であって前記基準画素ラインに対応する高解像度画像に含まれる複数の画素値を算出する算出手段と、を具備することを特徴とする高解像度化装置。
【請求項１６】
前記分割手段が縦方向の１列の画素ラインに分割した場合には、前記算出手段が複数の画素値を算出後に、前記分割手段が横方向の１列の画素ラインに分割して前記算出手段が複数の画素値を算出し、
前記分割手段が横方向の１列の画素ラインに分割した場合には、前記算出手段が複数の画素値を算出後に、前記分割手段が縦方向の１列の画素ラインに分割して前記算出手段が複数の画素値を算出することを特徴とする請求項１５に記載の高解像度化装置。
【請求項１７】
画面内に複数の画素を配し、その各画素の輝度を画素値として表した画像を画像ソースから取得し、
前記画像に含まれる１フレームを基準フレームに設定し、
前記画像に含まれる１以上のフレーム中の複数の画素を１つずつ注目画素として順次設定し、
前記注目画素ごとに該注目画素を含む注目画像領域を設定し、
前記注目画像領域に含まれる画素値の変化パターンに最も近い複数の注目画像領域に対応する複数の対応点を前記基準フレームの中から選択し、
前記対応点での輝度の標本値を、該対応点に対応している注目画素の画素値に設定し、
複数の前記標本値の大きさと、前記複数の対応点の配置とに基づいて、前記基準フレームに含まれる画素数よりも多い画素数の高解像度画像であって前記基準フレームに対応する高解像度画像に含まれる複数の画素値を算出することを特徴とする高解像度化方法。
【請求項１８】
画面内に複数の画素を配し、その各画素の輝度を画素値として表した画像を画像ソースから取得し、
前記画像に含まれる１フレームを縦方向又は横方向の１列の画素ラインに分割し、
複数の前記画素ラインに含まれる１画素ラインを基準画素ラインに設定し、
前記画像に含まれる１以上のフレーム中で前記基準画素ライン以外の複数の画素を１つずつ注目画素として順次設定し、
前記注目画素ごとに該注目画素を含む注目画像領域を設定し、
前記注目画像領域に含まれる画素値の変化パターンに最も近い複数の注目画像領域に対応する複数の対応点を前記基準画素ラインの中から選択し、
前記対応点での輝度の標本値を、該対応点に対応している注目画素の画素値に設定し、
複数の前記標本値の大きさと、前記複数の対応点の配置とに基づいて、前記基準画素ラインに含まれる画素数よりも多い画素数の高解像度画像であって前記基準画素ラインに対応する高解像度画像に含まれる複数の画素値を算出することを特徴とする高解像度化方法。
【図１Ａ】
【図１Ｂ】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図４０】
【図４１】
【図４２】
【図４３】
【図４４】
【図４５】
【図４６】
【図４７】
【図４８】
【図４９】
【図５０】
【図５１】
【図５２Ａ】
【図５２Ｂ】
【図５３】
【図５４】
【図５５】
【図５６】
【図５７】
【図５８】
【図５９】
【図６０】
【図６１】
【図６２】
【図６３】
【図１Ｂ】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図４０】
【図４１】
【図４２】
【図４３】
【図４４】
【図４５】
【図４６】
【図４７】
【図４８】
【図４９】
【図５０】
【図５１】
【図５２Ａ】
【図５２Ｂ】
【図５３】
【図５４】
【図５５】
【図５６】
【図５７】
【図５８】
【図５９】
【図６０】
【図６１】
【図６２】
【図６３】
【公開番号】特開２００７−３１０８３７（Ｐ２００７−３１０８３７Ａ）
【公開日】平成１９年１１月２９日（２００７．１１．２９）
【国際特許分類】
【出願番号】特願２００６−１４２０７４（Ｐ２００６−１４２０７４）
【出願日】平成１８年５月２２日（２００６．５．２２）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成１９年１１月２９日（２００７．１１．２９）
【国際特許分類】
【出願日】平成１８年５月２２日（２００６．５．２２）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]