画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
【課題】超解像処理において品質の高い高解像度画像を生成を可能とする装置および方法を提供する。
【解決手段】入力画像の構成画素の特徴を解析し、解析情報に応じて時間方向ノイズ除去、または空間方向ノイズ除去、または、圧縮ノイズ除去、または、アパコン補正の少なくともいずれかの処理を実行し、これらの処理を施した画像を超解像処理部に入力して超解像処理を実行する。すなわち、超解像処理において画質劣化の原因となる画像の特徴を検出して予め画像補正を実行して超解像処理部に出力して超解像処理を実行する。本構成により、高品質な高解像度画像の生成が実現される。
【解決手段】入力画像の構成画素の特徴を解析し、解析情報に応じて時間方向ノイズ除去、または空間方向ノイズ除去、または、圧縮ノイズ除去、または、アパコン補正の少なくともいずれかの処理を実行し、これらの処理を施した画像を超解像処理部に入力して超解像処理を実行する。すなわち、超解像処理において画質劣化の原因となる画像の特徴を検出して予め画像補正を実行して超解像処理部に出力して超解像処理を実行する。本構成により、高品質な高解像度画像の生成が実現される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、および画像処理方法、並びにコンピュータ・プログラムに関する。特に、画像の解像度を高める超解像処理を実行する画像処理装置、および画像処理方法、並びにコンピュータ・プログラムに関する。
【背景技術】
【０００２】
低解像度の画像から高解像度の画像を生成する手法として超解像処理が知られている。超解像処理は、重なりを持つ複数の低解像度の画像から、１フレームの高解像度の画像におけるそれぞれの画素の画素値を求める処理である。
【０００３】
超解像処理により、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子によって撮影された画像から、これらの撮像素子が有する解像度以上の解像度の画像を再構成することが可能となる。具体的には、高解像度の衛星写真を生成するときなどに超解像が用いられる。なお、超解像処理については例えば非特許文献１に記載されている。
【０００４】
図１および図２を参照して超解像の原理について説明する。図１（１），（２）の上方に示されるａ，ｂ，ｃ，ｄ，ｅ，ｆは、ある被写体を撮像して得られた低解像度の画像（ＬＲ（Ｌｏｗ Ｒｅｓｏｌｕｔｉｏｎ）画像）から求めようとする高解像度の画像（ＳＲ（Ｓｕｐｅｒ Ｒｅｓｏｌｕｔｉｏｎ）画像）の画素値、すなわち、ＳＲ画像の解像度と同じ解像度で被写体を画素化したときのそれぞれの画素の画素値を表す。
【０００５】
例えば、撮像素子の１つの画素の幅が、被写体を構成する画素の２つ分の幅だけあり、被写体を、その解像度のまま取り込むことができない場合、図１（１）に示されるように、撮像素子の３つの画素のうちの左側の画素においてはａとｂの画素値を混合したＡの画素値が取り込まれ、中央の画素においてはｃとｄの画素値を混合したＢの画素値が取り込まれる。また、右側の画素においてはｅとｆの画素値を混合したＣの画素値が取り込まれる。Ａ，Ｂ，Ｃは、撮像して得られたＬＲ画像を構成する画素の画素値を表す。
【０００６】
手ぶれなどにより、図１（１）の被写体とともに、図１（１）の被写体の位置を基準として、被写体を構成する画素の０．５画素分の幅だけシフトさせた位置の被写体が図１（２）に示されるようにして取り込まれた場合（シフトさせながら取り込まれた場合）、撮像素子の３つの画素のうちの左側の画素においてはａの半分とｂの全体とｃの半分の画素値を混合したＤの画素値が取り込まれ、中央の画素においてはｃの半分とｄの全体とｅの半分の画素値を混合したＥの画素値が取り込まれる。また、右側の画素においてはｅの半分とｆの全体の画素値を混合したＦの画素値が取り込まれる。Ｄ，Ｅ，Ｆも、撮像して得られたＬＲ画像を構成する画素の画素値を表す。
【０００７】
このようなＬＲ画像の撮像結果から下式（式１）が求められる。（式１）からａ，ｂ，ｃ，ｄ，ｅ，ｆをそれぞれ求めることによって、撮像素子が有する解像度より高い解像度の画像を得ることが可能になる。
【０００８】
【数１】
・・・（式１）
【０００９】
従来から知られる超解像処理の一方式として、バックプロジェクション（Ｂａｃｋ Ｐｒｏｊｅｃｔｉｏｎ）による超解像処理について図２を参照して説明する。図２に示す画像処理装置１は例えばデジタルカメラに設けられ、撮像して得られた静止画の処理を行う。
【００１０】
図２に示されるように、画像処理装置１は、超解像処理部１１ａ〜１１ｃ、合算処理部１２、加算処理部１３、およびＳＲ画像バッファ１４から構成される。例えば撮像して得られた低解像度のＬＲ画像であるＬＲ０は超解像処理部１１ａに入力され、ＬＲ１は超解像処理部１１ｂに入力される。また、ＬＲ２は超解像処理部１１ｃに入力される。ＬＲ０〜ＬＲ２は連続して撮像された画像であり、それぞれ撮像範囲に重なりを有している。連続して撮像が行われた場合、通常、撮像結果の画像に写る被写体の範囲はそれぞれ手ぶれなどにより若干ずれたものとなり、完全に一致せずに重なりを一部に有するものとなる。
【００１１】
超解像処理部１１ａは、低解像度画像ＬＲ０と、ＳＲ画像バッファ１４に記憶されている高解像度画像ＳＲ画像に基づいて、それらの差分を表す差分画像を生成し、フィードバック値を合算処理部１２に出力する。フィードバック値は、ＳＲ画像と同じ解像度の差分画像を表す値になっている。
【００１２】
なお、ＳＲ画像バッファ１４には、直前に行われた超解像処理によって生成された高解像度画像であるＳＲ画像が記憶されている。処理の開始直後であり、ＳＲ画像がまだ１フレームも生成されていない場合、例えば、ＬＲ０を、ＳＲ画像と同じ解像度の画像にアップサンプリングして得られた画像がＳＲ画像バッファ１４に記憶される。
【００１３】
同様に、超解像処理部１１ｂは、次のフレームの低解像度画像ＬＲ１とＳＲ画像バッファ１４に記憶されている高解像度画像ＳＲ画像に基づいて、それらの差分を表す差分画像を生成し、生成した差分画像を表すフィードバック値を合算処理部１２に出力する。
【００１４】
さらに、超解像処理部１１ｃは、次の低解像度画像ＬＲ２とＳＲ画像バッファ１４に記憶されている高解像度画像ＳＲ画像に基づいて、それらの差分を表す差分画像を生成し、生成した差分画像を表すフィードバック値を合算処理部１２に出力する。
【００１５】
合算処理部１２は、超解像処理部１１ａ〜１１ｃから供給されたフィードバック値を平均化し、平均化して求められた、ＳＲ画像と同じ解像度の画像を加算処理部１３に出力する。加算処理部１３は、ＳＲ画像バッファ１４に記憶されているＳＲ画像と合算処理部１２から供給されたＳＲ画像を加算し、加算して得られたＳＲ画像を出力する。加算処理部１３の出力は、超解像処理の結果として画像処理装置１の外部に供給されるとともに、ＳＲ画像バッファ１４に供給され、記憶される。
【００１６】
図３は、超解像処理部１１（超解像処理器１１ａ〜ｃ）の構成例を示すブロック図である。図３に示されるように、超解像処理部１１は、動きベクトル検出部２１、動き補償処理部２２、ダウンサンプリング処理部２３、加算処理部２４、アップサンプリング処理部２５、逆方向動き補償処理部２６から構成される。
【００１７】
ＳＲ画像バッファ１４から読み出された高解像度画像ＳＲ画像は動きベクトル検出部２１と動き補償処理部２２に入力され、撮像して得られた低解像度画像ＬＲｎは動きベクトル検出部２１と加算処理部２４に入力される。
【００１８】
動きベクトル検出部２１は、入力された高解像度画像であるＳＲ画像と低解像度画像であるＬＲｎに基づいて、ＳＲ画像を基準とした動きベクトルを検出し、検出した動きベクトルを動き補償処理部２２と逆方向動き補償処理部２６に出力する。例えば過去の撮影画像に基づいて生成されたＳＲ画像と、新規入力したＬＲｎ画像のブロックマッチングにより、ＳＲ画像の各ブロックが新規入力したＬＲｎ画像において移動した先を示すベクトルを生成する。
【００１９】
動き補償処理部２２は、動きベクトル検出部２１から供給された動きベクトルに基づいて高解像度画像ＳＲ画像に動き補償を施して動き補償（ＭＣ：Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｉｏｎ）画像を生成し、生成した動き補償画像（ＭＣ画）をダウンサンプリング処理部２３に出力する。動き補償処理は、動きベクトルに応じて、ＳＲ画像の画素位置を動かして、新規入力したＬＲｎ画像に対応する位置を持つ補正したＳＲ画像を生成する処理である。すなわちＳＲ画像の画素位置を動かして、ＳＲ画像に写るオブジェクトの位置をＬＲｎに写るオブジェクトの位置に併せた動き補償画像（ＭＣ画）を生成する。
【００２０】
ダウンサンプリング処理部２３は、動き補償処理部２２から供給された画像をダウンサンプリングすることによってＬＲｎと同じ解像度の画像を生成し、生成した画像を加算処理部２４に出力する。ＳＲ画像とＬＲｎから動きベクトルを求め、求めた動きベクトルによって動き補償して得られた画像をＬＲ画像と同じ解像度の画像にすることは、撮像して得られる画像を、ＳＲ画像バッファ１４に記憶されているＳＲ画像に基づいてシミュレートすることに相当する。
【００２１】
加算処理部２４は、ＬＲｎと、そのようにしてシミュレートされた画像の差分を表す差分画像を生成し、生成した差分画像をアップサンプリング処理部２５に出力する。
【００２２】
アップサンプリング処理部２５は、加算処理部２４から供給された差分画像をアップサンプリングすることによってＳＲ画像と同じ解像度の画像を生成し、生成した画像を逆方向動き補償処理部２６に出力する。逆方向動き補償処理部２６は、動きベクトル検出部２１から供給された動きベクトルに基づいて、アップサンプリングフィルタ２５から供給された画像に逆方向の動き補償を施し、逆方向の動き補償を施して得られた画像を表すフィードバック値を、図２に示す合算処理部１２に出力する。逆方向の動き補償を施して得られた画像に写るオブジェクトの位置は、ＳＲ画像バッファ１４に記憶されているＳＲ画像に写るオブジェクトの位置に近い位置になる。
【００２３】
このような超解像処理を実行する画像処理装置の全体構成例を図４に示す。ＣＣＤやＣＭＯＳなどの撮像部３１において取得された画像は、画質調整部３２において、コントラスト調整やアパコン（エッジ強調）などの画質調整の後、画像圧縮部３３においてＭＰＥＧ圧縮などの予め設定された圧縮アルゴリズムに従って圧縮されてＤＶＤやテープ、フラッシュメモリなどの記録メディア３４に記録される。
【００２４】
記録メディア３４に記録された画像を復号し、再生する際に超解像処理が実行される。記録メディア３４に記録された画像は画像復号部３５において、復号処理が実行され、その後、超解像処理部３６において、図１〜図３を参照して説明した超解像処理が実行され、高解像度の画像が生成されて表示部３７において表示される。
【００２５】
なお、この超解像処理による画像出力は、動画像に限らず静止画でも可能である。動画像の場合は、複数のフレーム画像を用い、静止画の場合は、連続撮影された静止画を用いる。連続撮影された静止画において手振れなどにより、撮影画像の領域は少しずつ、ずれが発生しており上述の図１〜図３を参照して説明した超解像処理により高解像度の画像を生成することが可能となる。
【００２６】
なお、図４に示す例は、例えばビデオカメラやスチルカメラにおける処理構成であるが、例えばデジタル放送などの放送画像データについても、受信器側で受信画像に対して超解像処理を実行して、高解像度の画像を生成して出力することが可能である。例えば、図５に示す例は、低解像度の画像を送信するデータ送信装置４０と、データ送信装置４０からのデータを受信して超解像処理を実行して高解像度画像を生成して表示するデータ受信装置５０の構成を示している。
【００２７】
データ送信装置４０では、ＣＣＤやＣＭＯＳなどの撮像部４１において取得された画像を、画質調整部４２においてコントラスト調整やアパコン（エッジ強調）などの画質調整を実行し、画像圧縮部４３においてＭＰＥＧ圧縮などの予め設定された圧縮アルゴリズムに従って圧縮し、送信部４４から送信する。
【００２８】
送信部４４から送信されたデータは、データ受信装置５０の受信部５１において受信され、画像復号部５２が受信データを復号し、その後、超解像処理部５３において、図１〜図３を参照して説明した超解像処理が実行され、高解像度の画像が生成されて表示部５４において表示される。
【００２９】
このように、超解像処理は、カメラ撮影画像や送受信される画像データに対して適用可能である。しかし、図４、図５を参照して説明したように、超解像処理の施される画像データは、画像調整部において、コントラスト調整やアパコン（エッジ強調）などの画質調整が実行された画像である。すなわち主観的画質が向上するように画質を調整され、さらにその後の画像圧縮処理によりブロックノイズ、リンギングノイズが発生している可能性が大きい。
【００３０】
しかし、超解像処理は、先に図１〜図３を参照して説明したように、複数画像間で画像間の相関等を用いて高解像度の画像を再構成する処理が含まれる。画質調整や、画像圧縮等の処理が施された画像データに対してこのような超解像処理を施すと、広域が過度に強調された画像や、圧縮ノイズが強調されてしまい、画質が劣化する結果となる場合がある。
【００３１】
【非特許文献１】"Ｉｍｐｒｏｖｉｎｇ Ｒｅｓｏｌｕｔｉｏｎ ｂｙ Ｉｍａｇｅ Ｒｅｇｉｓｔｒａｔｉｏｎ"，ＭＩＣＨＡＬ ＩＲＡＮＩ ＡＮＤ ＳＨＭＵＥＬ ＰＥＬＥＧ，Ｄｅｐａｒｔｍｅｎｔ ｏｆ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ， Ｔｈｅ Ｈｅｂｒｅｗ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｊｅｒｕｓａｌｅｍ， ９１９０４ Ｊｅｒｕｓａｌｅｍ， Ｉｓｒａｅｌ， Ｃｏｍｍｕｎｉｃａｔｅｄ ｂｙ Ｒａｍａ Ｃｈｅｌｌａｐａ， Ｒｅｃｅｉｖｅｄ Ｊｕｎｅ １６， １９９； ａｃｃｅｐｔｅｄ Ｍａｙ ２５， １９９０
【発明の開示】
【発明が解決しようとする課題】
【００３２】
本発明は、上記問題点に鑑みてなされたものであり、画質調整や、画像圧縮等の処理が施された画像データに対して超解像処理を施して高解像度画像を生成する構成において、超解像処理を実行する前処理として画像補正を実行し補正画像に対して超解像処理を実行する構成とすることで、高品質な高解像度画像を生成可能とした画像処理装置、および画像処理方法、並びにコンピュータ・プログラムを提供することを目的とする。
【課題を解決するための手段】
【００３３】
本発明の第１の側面は、
画像処理装置であり、
入力画像の補正を実行して補正画像を生成する画像補正処理部と、
前記画像補正処理部において生成した補正画像を入力し、超解像処理により解像度を高めた高解像度画像を生成する超解像処理部を有し、
前記画像補正処理部は、
時間方向ノイズ除去、または空間方向ノイズ除去、または、圧縮ノイズ除去、または、アパコン補正の少なくともいずれかの処理を実行する構成であることを特徴とする画像処理装置にある。
【００３４】
さらに、本発明の画像処理装置の一実施態様において、前記画像補正処理部は、入力画像の構成画素の特徴を解析し、解析情報に応じて適用する画像補正処理態様を決定する構成であることを特徴とする。
【００３５】
さらに、本発明の画像処理装置の一実施態様において、前記画像補正処理部は、入力画像の構成画素の特徴解析処理として、時間方向相関情報、またはエッジ情報、または空間方向画素特徴情報の少なくともいずれかの情報の解析を実行し、該解析情報に応じて適用する画像補正処理態様を決定する構成であることを特徴とする。
【００３６】
さらに、本発明の画像処理装置の一実施態様において、前記画像補正処理部は、前記空間方向画素特徴情報として、処理対象画素の周囲画素を含む画素領域における画素値最大値と、画素値最小値と、分散値、平均値、設定閾値以上の高輝度画素数、設定閾値以下の低輝度画素数の少なくともいずれかの情報を取得する構成であることを特徴とする。
【００３７】
さらに、本発明の画像処理装置の一実施態様において、前記超解像処理部は、前記画像補正処理部から入力する低解像度画像（ＬＲ画）と、予め生成済みの全レーム対応の高解像度画像（ＳＲ画）とに基づいて、入力画像に対応する高解像度画像を生成する構成であり、前記高解像度画像（ＳＲ画）と低解像度画像（ＬＲ画）から算出される動きベクトルに基づいて前記高解像度画像（ＳＲ画）の動き補償を実行し、動き補償高解像度画像（ＳＲ画）と低解像度画像（ＬＲ画）との差分画像を生成して、差分画像のアップサンプリングおよび逆動き補償処理により高解像度差分画像を生成する高解像度差分画像生成部と、前記高解像度差分画像に対する低周波成分除去画像に対して時間方向のノイズ除去処理を実行する時間方向ノイズ除去処理部と、前記時間方向ノイズ除去処理部の処理画像と、前記高解像度差分画像の低周波成分画像を加算する第１の加算処理部と、前記第１の加算処理部の出力と、前記高解像度画像（ＳＲ画）との加算処理を実行して、入力低解像度画像（ＬＲ画）に対応する高解像度画像の生成を実行する第２加算処理部とを有する構成であることを特徴とする。
【００３８】
さらに、本発明の画像処理装置の一実施態様において、前記時間方向ノイズ除去処理部は、ＩＩＲ（Ｉｎｆｉｎｉｔｅ−ｄｕｒａｔｉｏｎ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）フィルタを適用したフィルタリング処理を実行する構成であることを特徴とする。
【００３９】
さらに、本発明の第２の側面は、
画像処理装置において高解像度画像生成処理を実行する画像処理方法であり、
画像補正処理部が、入力画像の補正を実行して補正画像を生成する画像補正ステップと、
超解像処理部が、前記補正画像を入力し、超解像処理により解像度を高めた高解像度画像を生成する超解像処理ステップを有し、
前記画像補正ステップは、
時間方向ノイズ除去、または空間方向ノイズ除去、または、圧縮ノイズ除去、または、アパコン補正の少なくともいずれかの処理を実行するステップであることを特徴とする画像処理方法にある。
【００４０】
さらに、本発明の画像処理方法の一実施態様において、前記画像補正ステップは、入力画像の構成画素の特徴を解析し、解析情報に応じて適用する画像補正処理態様を決定することを特徴とする。
【００４１】
さらに、本発明の画像処理方法の一実施態様において、前記画像補正ステップは、入力画像の構成画素の特徴解析処理として、時間方向相関情報、またはエッジ情報、または空間方向画素特徴情報の少なくともいずれかの情報の解析を実行し、該解析情報に応じて適用する画像補正処理態様を決定することを特徴とする。
【００４２】
さらに、本発明の画像処理方法の一実施態様において、前記画像補正ステップは、前記空間方向画素特徴情報として、処理対象画素の周囲画素を含む画素領域における画素値最大値と、画素値最小値と、分散値、平均値、設定閾値以上の高輝度画素数、設定閾値以下の低輝度画素数の少なくともいずれかの情報を取得することを特徴とする。
【００４３】
さらに、本発明の画像処理方法の一実施態様において、前記超解像処理ステップは、前記画像補正処理部から入力する低解像度画像（ＬＲ画）と、予め生成済みの全レーム対応の高解像度画像（ＳＲ画）とに基づいて、入力画像に対応する高解像度画像を生成するステップであり、前記高解像度画像（ＳＲ画）と低解像度画像（ＬＲ画）から算出される動きベクトルに基づいて前記高解像度画像（ＳＲ画）の動き補償を実行し、動き補償高解像度画像（ＳＲ画）と低解像度画像（ＬＲ画）との差分画像を生成して、差分画像のアップサンプリングおよび逆動き補償処理により高解像度差分画像を生成する高解像度差分画像生成ステップと、前記高解像度差分画像に対する低周波成分除去画像に対して時間方向のノイズ除去処理を実行する時間方向ノイズ除去処理ステップと、前記時間方向ノイズ除去処理部の処理画像と、前記高解像度差分画像の低周波成分画像を加算する第１の加算処理ステップと、前記第１の加算処理ステップにおける出力と、前記高解像度画像（ＳＲ画）との加算処理を実行して、入力低解像度画像（ＬＲ画）に対応する高解像度画像の生成を実行する第２加算処理ステップとを有することを特徴とする。
【００４４】
さらに、本発明の画像処理方法の一実施態様において、前記時間方向ノイズ除去処理ステップは、ＩＩＲ（Ｉｎｆｉｎｉｔｅ−ｄｕｒａｔｉｏｎ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）フィルタを適用したフィルタリング処理を実行するステップであることを特徴とする。
【００４５】
さらに、本発明の第３の側面は、
画像処理装置において高解像度画像生成処理を実行させるコンピュータ・プログラムであり、
画像補正処理部に、入力画像の補正を実行して補正画像を生成させる画像補正ステップと、
超解像処理部に、前記補正画像を入力し、超解像処理により解像度を高めた高解像度画像を生成させる超解像処理ステップを有し、
前記画像補正ステップは、
時間方向ノイズ除去、または空間方向ノイズ除去、または、圧縮ノイズ除去、または、アパコン補正の少なくともいずれかの処理を実行させるステップであることを特徴とするコンピュータ・プログラムにある。
【００４６】
なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。
【００４７】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００４８】
本発明の一実施例の構成によれば、入力画像の解像度を高めた高解像度画像を生成する画像処理装置において、解像度を向上させる処理を実行する超解像処理部に入力する画像に対して、事前に画像補正処理部（ＰｒｅＦｉｌｔｅｒ）において補正を行う構成とした。具体的には、入力画像の構成画素の特徴を解析し、解析情報に応じて時間方向ノイズ除去、または空間方向ノイズ除去、または、圧縮ノイズ除去、または、アパコン補正の少なくともいずれかの処理を実行し、これらの処理を施した画像を超解像処理部に入力して超解像処理を実行する。本構成により、高品質な高解像度画像の生成が実現される。
【００４９】
すなわち、コントラスト調整やアパコン（エッジ強調）などの画質調整や圧縮された画像を伸張して超解像処理を実行した場合、広域が過度に強調された画像や、圧縮ノイズが強調されてしまい、画質が劣化する場合があるが、本発明の構成では、画像補正処理部（ＰｒｅＦｉｌｔｅｒ）において、このような画質劣化の原因となる画像の特徴を検出して予め画像補正を実行して超解像処理部に出力して超解像処理を実行する構成としたので、高品質な高解像度画像の生成が実現される。
【発明を実施するための最良の形態】
【００５０】
以下、図面を参照しながら本発明の画像処理装置、および画像処理方法、並びにコンピュータ・プログラムの詳細について説明する。
【００５１】
本発明の画像処理装置は、例えばコントラスト調整やアパコン（エッジ強調）などの画質調整や、画像圧縮等の処理が施された画像データに対して超解像処理を施して高解像度画像を生成する構成を有する。なお、処理画像は、動画像、静止画いずれでもよい。本発明の画像処理装置は、超解像処理を実行する前処理として画像補正を実行し補正画像に対して超解像処理を実行する構成とすることで、高品質な高解像度画像を生成する。
【００５２】
図６、図７を参照して本発明の画像処理装置の構成例について説明する。図６は、例えばビデオカメラやスチルカメラによって構成される画像処理装置１００である。ＣＣＤやＣＭＯＳなどの撮像部１０１において取得された画像は、画質調整部１０２において、コントラスト調整やアパコン（エッジ強調）などの画質調整の後、画像圧縮部１０３においてＭＰＥＧ圧縮などの予め設定された圧縮アルゴリズムに従って圧縮されてＤＶＤやテープ、フラッシュメモリなどの記録メディア１０４に記録される。
【００５３】
記録メディア１０４に記録された画像を復号し、再生する際に超解像処理が実行される。記録メディア１０４に記録された画像は画像復号部１０５において、復号処理が実行され、その後、画像補正処理部（ＰｒｅＦｉｌｔｅｒ）１０６において、画像補正処理が実行され、補正画像が超解像処理部１０７に入力され、超解像処理部１０７において超解像処理が実行され、高解像度の画像を生成して表示部１０８に表示される。
【００５４】
この図６に示す構成は、先に図４を参照して説明した構成と異なり、画像補正処理部（ＰｒｅＦｉｌｔｅｒ）１０６を有する。すなわち、本発明の画像処理装置は、画像補正処理部（ＰｒｅＦｉｌｔｅｒ）１０６において画像補正処理が実行し、補正画像を超解像処理部１０７に入力して超解像処理を実行する。この画像補正処理部（ＰｒｅＦｉｌｔｅｒ）１０６の処理については後述する。
【００５５】
図６に示す例は、例えばビデオカメラやスチルカメラにおける処理構成であるが、例えばデジタル放送などの放送画像データについても、受信器側で受信画像に対して超解像処理を実行して、高解像度の画像を生成して出力することが可能である。例えば、図７に示す例は、低解像度の画像を送信するデータ送信装置１１０と、データ送信装置１１０からのデータを受信して超解像処理を実行して高解像度画像を生成して表示する画像処理装置１２０の構成を示している。
【００５６】
データ送信装置１１０では、ＣＣＤやＣＭＯＳなどの撮像部１１１において取得された画像を、画質調整部１１２においてコントラスト調整やアパコン（エッジ強調）などの画質調整を実行し、画像圧縮部１１３においてＭＰＥＧ圧縮などの予め設定された圧縮アルゴリズムに従って圧縮し、送信部１１４から送信する。
【００５７】
送信部１１４から送信されたデータは、画像処理装置１２０の受信部１２１において受信され、画像復号部１２２が受信データを復号し、その後、画像補正処理部（ＰｒｅＦｉｌｔｅｒ）１２３において、画像補正処理が実行され、補正画像が超解像処理部１２４に入力され、超解像処理部１２４において、超解像処理が実行され、高解像度の画像が生成されて表示部１２５に表示される。
【００５８】
この図７に示す構成においても画像処理装置１２０は、画像補正処理部（ＰｒｅＦｉｌｔｅｒ）１２３を有する。すなわち、画像補正処理部（ＰｒｅＦｉｌｔｅｒ）１２３において画像補正処理を実行し、補正画像を超解像処理部１２４に入力して超解像処理を実行する。
【００５９】
本発明の画像処理装置における画像補正処理部（ＰｒｅＦｉｌｔｅｒ）の詳細構成および処理について、図８以下を参照して説明する。図８は、本発明の画像処理装置における画像補正処理部（ＰｒｅＦｉｌｔｅｒ）の詳細構成を示すブロック図である。
【００６０】
図８に示すように、画像補正処理部（ＰｒｅＦｉｌｔｅｒ）２５０は、画像復号部２４０から復号された画像を入力し、補正画像を超解像処理部２６０に出力する。画像補正処理部２５０は、時間方向相関算出部２５１、エッジ検出部２５２、空間方向画素特徴算出部２５３、フィルタ選択部２５４、フィルタ処理実行部２５５、画像バッファ２５６を有する。
【００６１】
なお、画像補正処理部２５０は、画像復号部２４０から復号された画像を順次入力して、入力画像に対応する補正画像を順次生成して超解像処理部２６０に出力する。例えば動画像の時間的に連続するフレームであり、静止画の場合は連続撮影された静止画フレームである。画像復号部２４０から入力される新たなフレーム画像を入力画像（Ｃｕｒ画）とし、そのフレーム画像の入力前に入力され、フィルタ処理実行部２５５においてフィルタ処理が実行され画像バッファ２５６に格納される処理済み画像を前処理画像（Ｐｒｅ画）と呼ぶことにする。
【００６２】
まず、画像補正処理部２５０の処理の概要に説明し、その後、各処理部における処理の詳細について個別に説明する。画像復号部２４０から入力された入力画像（Ｃｕｒ画）は、時間方向相関検出部２５１、エッジ検出部２５２、空間方向画素特徴算出部２５３、フィルタ処理実行部２５５に入力される。画像バッファ２５６は、前フレームでの処理画を蓄積し、その画像を時間方向相関検出部２５１、フィルタ処理実行部２５５に入力する。
【００６３】
時間方向相関検出部２５１では、入力画像（Ｃｕｒ画）と、前処理画像（Ｐｒｅ画）を比較し、時間方向の相関値を画素単位で出力する。例えば、ある画素を中心とした区分された画素領域であるブロック単位の共分散を計算し、この共分散値をその画素の時間方向相関として算出し、フィルタ選択部２５４に出力する。
【００６４】
エッジ検出部２５２は、入力画像（Ｃｕｒ画）に対し、例えばｓｏｂｅｌ ｆｉｌｔｅｒ等で、入力画像（Ｃｕｒ画）のエッジ強度を画素単位で算出してフィルタ選択部２５４に出力する。
【００６５】
空間方向画像特徴検出部２５３は、入力画像（Ｃｕｒ画）のある画素を中心とした区分された画素領域であるブロック単位の構成画素の特徴を示すブロック特徴量を算出してフィルタ選択部２５４に出力する。例えば、ブロック内の画素分散値、最大、最小値，閾値以上の画素個数、閾値以下の画素個数等を空間方向画像特徴として出力する。
【００６６】
フィルタ選択部２５４は、時間方向相関検出部２５１と、エッジ検出部２５２と、空間方向画素特徴算出部２５３の出力に基づいて、画素単位で適用するフィルタの選択を実施する。例えば、時間方向相関検出部２５１と、エッジ検出部２５２と、空間方向画素特徴算出部２５３の出力情報と、予め設定した閾値との比較処理などによって、フィルタ処理実行部２５５において適用すべきフィルタを決定し、フィルタ処理実行部２５５に対してフィルタ指定情報としてのフィルタＩＤを出力する。なお、時間方向相関検出部２５１と、エッジ検出部２５２と、空間方向画素特徴算出部２５３の出力情報と、適用フィルタを対応付けたフィルタ選択テーブルを参照して、テーブルに基づいてフィルタ選択を行い、フィルタ処理実行部２５５に対して、適用すべきフィルタ指定情報としてのフィルタＩＤを出力する構成としてもよい。
【００６７】
フィルタ処理実行部２５５は、フィルタ選択部２５４の出力した適用すべきフィルタ指定情報としてのフィルタＩＤに基づいて、適用するフィルタを決定し、さらに、前処理画像（Ｐｒｅ画）を画像バッファ２５６から入力して、入力画像（Ｃｕｒ画）に対する画像補正処理としてのフィルタ処理を実行して補正画像を生成して出力する。出力画像は超解像処理部２６０に入力され、超解像処理部２６０では補正画像を利用した超解像処理を実行する。なお、フィルタ処理実行部２５５の生成した補正画像は、画像バッファ２５６に入力され、次の入力画像（Ｃｕｒ画）に対する前処理画像（Ｐｒｅ画）として画像バッファ２５６に格納される。
【００６８】
以下、各構成部の処理の詳細について説明する。
［時間方向相関検出部］
図９を参照して時間方向相関算出部２５１の処理について説明する。時間方向相関算出部２５１は、入力画像（Ｃｕｒ画）と、前処理画像（Ｐｒｅ画）を比較し、時間方向の相関値を画素単位で出力する。例えば、ある画素を中心とした区分された画素領域であるブロック単位の共分散を計算し、この共分散値をその画素の時間方向相関として算出し、フィルタ選択部２５４に出力する。具体的な処理について、図９を参照して説明する。具体的には以下の処理ステップ１〜４を実行する。
【００６９】
（ステップ１）
入力画像（Ｃｕｒ画）３０１のある注目画素に対し、注目画素及びその周辺画素数画素を取り出す。図９に示す取得画素３０２である。取得画素３０２の画素数をＮ個とする。
（ステップ２）
前処理画像（Ｐｒｅ画）３１１から、ステップ１において入力画像（Ｃｕｒ画）から取り出した画素位置と同位置の画素及び周辺画素を取り出す。図９に示す取得画素３１２である。取得画素３１２の画素数をＮ個とする。
（ステップ３）
ステップ１，２において取り出した画素群３０２，３１２の画素値に基づく共分散値を算出する。この共分散値算出は以下の式（式２）に従って実行する。
【数２】
・・・（式２）
上記式において、
ｃｉは入力画像（Ｃｕｒ画）の注目画素＋周辺画素の画素値、
ｃｉバー（−）は入力画像（Ｃｕｒ画）の注目画素＋周辺画素の画素値の平均値、
ｐｉは前処理画像（Ｐｒｅ画）の注目画素＋周辺画素の画素値、
ｐｉは前処理画像（Ｐｒｅ画）の注目画素＋周辺画素の画素値の平均値、
Ｎは計算に用いた画素数、
を示す
【００７０】
（ステップ４）
算出した共分散値を共分散画像３２１の注目画素位置に設定する。
【００７１】
時間方向相関算出部２５１は、上記のステップ１〜４の処理を入力画像（Ｃｕｒ画）の全画素に対して実行し、各画素対応の共分散値を全て算出して共分散画像３２１を生成してフィルタ選択部２５４に出力する。
【００７２】
［エッジ検出部］
エッジ検出部２５２は、入力画像（Ｃｕｒ画）に対し、例えばｓｏｂｅｌ ｆｉｌｔｅｒ等で、入力画像（Ｃｕｒ画）のエッジ強度を画素単位で算出してフィルタ選択部２５４に出力する。画像のエッジ（Ｅｄｇｅ）強度の検出方法には過去に様々な手法が提案されており、本実施例では、Ｓｏｂｅｌ Ｆｉｌｔｅｒと呼ばれる検出手法を採用した。（なおＳｏｂｅｌ Ｆｉｌｔｅｒ以外の手法も適用可能である）
【００７３】
図１０に示すように、入力画像３３１に対して垂直方向エッジ強度検出部３１２において、垂直方向のエッジ強度を検出し、水平方向エッジ強度検出部３１３において、水平方向のエッジ強度を検出する。
【００７４】
例えば、垂直方向エッジ強度検出部３１２は、図１１（ａ）に示す２次元フィルタを画素毎に適用し、垂直方向エッジ強度を検出し、水平方向エッジ強度検出部３１３は、図１１（ｂ）に示す２次元フィルタを画素毎に適用し、水平方向エッジ強度を検出する。
【００７５】
その後、図１０に示すエッジ強度合算部３３４において、垂直方向エッジと、水平方向エッジに基づいてエッジ強度を計算する。エッジ強度［Ｇ］は、図１１（ｃ）に示すように、以下に示す式（式３）により算出する。
【数３】
・・・（式３）
【００７６】
上記式において、
Ｇ：エッジ強度、
Ｇｈ：水平方向エッジ強度、
Ｇｖ：垂直方向エッジ強度、
である。
上記処理によって、入力画像（Ｃｕｒ画）の画素毎のエッジ強度が算出され、画素毎のエッジ強度情報を持つ出力３３５が、フィルタ選択部２５４に出力される。
【００７７】
［空間方向画像特徴検出部］
空間方向画像特徴検出部２５３は、入力画像（Ｃｕｒ画）のある画素を中心とした区分された画素領域であるブロック単位の構成画素の特徴を示すブロック特徴量を算出してフィルタ選択部２５４に出力する。例えば、ブロック内の画素分散値、最大、最小値，閾値以上の画素個数、閾値以下の画素個数等を空間方向画像特徴として出力する。図１２を参照して空間方向画像特徴検出部２５３の処理について説明する。
【００７８】
空間方向画像特徴検出部２５３は、以下に説明する空間方向の特徴量（ａ）〜（ｆ）を検出する。なお特徴検出処理は画素毎に実施され、各出力値の個数は入力画素数と等しい。
（ａ）入力画像３４１から選択した注目画素３４２を含む画素領域３４３から最大画素値を検出する。
（ｂ）入力画像３４１から選択した注目画素３４２を含む画素領域３４３から最小画素値を検出する。
（ｃ）入力画像３４１から選択した注目画素３４２を含む画素領域３４３から分散値を検出する。
（ｄ）入力画像３４１から選択した注目画素３４２を含む画素領域３４３から平均値を検出する。
（ｅ）入力画像３４１から選択した注目画素３４２を含む画素領域３４４から予め定められた閾値以上の画素値を持つ画素数を高輝度画素数として検出する。
（ｆ）入力画像３４１から選択した注目画素３４２を含む画素領域３４４から予め定められた閾値以下の画素値を持つ画素数を低輝度画素数として検出する。
【００７９】
なお、図１２に示す例において、最大、最小、平均、分散の検出に用いる画素領域は、注目画素３４２を含む５×５の画素領域３４３であり、高輝度画素数、低輝度画素数の検出に用いる画素領域は、注目画素３４２を含む３×３の画素領域３４４としている。この画素領域の設定は、この例に限らず様々な設定が可能である。
【００８０】
このようにして、算出した
（ａ）最大画素値
（ｂ）最小画素値
（ｃ）分散値
（ｄ）平均値
（ｅ）高輝度画素数
（ｆ）低輝度画素数
これらの各値を出力３４５としてフィルタ選択部２５４に出力する。なお、空間方向画像特徴検出部は、必ずしもこれらのデータ（ａ）〜（ｆ）の全てではなく、一部のデータを空間方向画像特徴として検出しフィルタ選択部２５４に出力する構成としてもよい。
【００８１】
［フィルタ選択部］
フィルタ選択部２５４は、時間方向相関検出部２５１と、エッジ検出部２５２と、空間方向画素特徴算出部２５３の出力に基づいて、画素単位で適用するフィルタの選択を実施する。例えば、時間方向相関検出部２５１と、エッジ検出部２５２と、空間方向画素特徴算出部２５３の出力情報と、予め設定した閾値との比較処理などによって、フィルタ処理実行部２５５において適用すべきフィルタを決定し、フィルタ処理実行部２５５に対してフィルタ指定情報としてのフィルタＩＤを出力する。
【００８２】
フィルタ選択部２５４の処理シーケンスについて、図１３に示すフローチャートを参照して説明する。図１３に示すフローチャートは、図８に示す画像処理部（ＰｒｅＦｉｌｔｅｒ）２５０に入力する入力画像（Ｃｕｒ画）の各画素について繰り返し実行し、各画素単位でフィルタ処理実行部２５５において適用すべきフィルタを決定する。
【００８３】
まず、ステップＳ１０１において、エッジ検出部２５２から入力する入力画像（Ｃｕｒ画）の処理対象画素のエッジ強度と、予め設定した閾値Ａを比較する。
エッジ強度＞閾値Ａ
が成立する場合は、ステップＳ１０４に進み、成立しない場合は、ステップＳ１０２に進む。
【００８４】
ステップＳ１０２では、時間方向相関検出部２５１から入力する入力画像（Ｃｕｒ画）の処理対象画素の時間方向相関値と、予め設定した閾値Ｂを比較する。
時間方向相関値＞閾値Ｂ
が成立する場合は、ステップＳ１１１に進み、成立しない場合は、ステップＳ１０３に進む。
【００８５】
ステップＳ１０３では、空間方向画素特徴算出部２５３から入力する入力画像（Ｃｕｒ画）の処理対象画素に対応して算出された分散値と、予め設定した閾値Ｃを比較する。
分散値＞閾値Ｃ
が成立する場合は、ステップＳ１１３に進み、成立しない場合は、ステップＳ１１２に進む。
【００８６】
また、ステップＳ１０４では、空間方向画素特徴算出部２５３から入力する入力画像（Ｃｕｒ画）の処理対象画素に対応して算出された高輝度画素数と低輝度画素数と、予め設定した閾値Ｄおよび閾値Ｅを比較し、
高輝度画素数＞閾値Ｄ、かつ、
低輝度画素数＞閾値Ｅ
これらが成立する場合は、ステップＳ１１５に進み、成立しない場合は、ステップＳ１１４に進む。
【００８７】
なお、フロー中のステップＳ１０４では、空間方向画素特徴算出部２５３から入力する入力画像（Ｃｕｒ画）の処理対象画素に対応して算出された高輝度画素数と低輝度画素数と、予め設定した閾値Ｄおよび閾値Ｅの比較構成としているが、高輝度画素数や低輝度画素数のカウントの代わりに、
画素最大値＞閾値Ｆ、かつ、
画素最小値＜閾値Ｇ、
これらの比較を実行して判定を行う構成としてもよい。すなわち、これらが成立する場合は、ステップＳ１１５に進み、成立しない場合は、ステップＳ１１４に進む。
【００８８】
以上の判定処理によって、入力画像（Ｃｕｒ画）の処理対象画素に対してフィルタ処理実行部２５５において適用すべきフィルタが決定する。すなわち、
（ａ）ステップＳ１１１に至った場合は、時間方向グレインノイズ除去フィルタ、
（ｂ）ステップＳ１１２に至った場合は、フィルタ適用なし、
（ｃ）ステップＳ１１３に至った場合は、空間方向グレインノイズ除去フィルタ、
（ｄ）ステップＳ１１４に至った場合は、圧縮ノイズ除去フィルタ、
（ｅ）ステップＳ１１５に至った場合は、アパコン補正用フィルタ、
これら（ａ）〜（ｅ）のいずれかの適用フィルタが決定される。
【００８９】
なお、これらの判定処理をテーブルとしてまとめると、図１４のように示すことができる。フィルタ選択部２５４は、時間方向相関検出部２５１と、エッジ検出部２５２と、空間方向画素特徴算出部２５３の出力情報と、適用フィルタを対応付けた図１４に示すようなフィルタ選択テーブルを参照して、テーブルに基づいてフィルタ選択を行い、フィルタ処理実行部２５５に対して、適用すべきフィルタ指定情報としてのフィルタＩＤを出力する構成としてもよい。
【００９０】
フィルタ選択部２５４では、このように、入力画像の各画素単位でテキヨウフィルタを決定する。具体的には、まず、エッジ強度が一定値以上か、以下かを判断し、エッジ強度が一定値以上の場合、さらに、高輝度画素数、低輝度画素数が一定数以上存在するかどうかを判別し、高、低輝度画素数が一定数以上存在する場合、アパコンによる強調処理が大きいものと判断し、その補正処理に適したアパコン補正用フィルタ（Ｓ１１５）を適用した処理を行うことを決定する。
【００９１】
一方、高、低輝度画素数が一定数以下の場合、ＭＰＥＧやＪＰＥＧ等の圧縮による圧縮ひずみが顕著であると判断され、その補正処理として圧縮ノイズ除去フィルタ（Ｓ１１４）を適用した処理を行うことを決定する。
【００９２】
また、エッジ強度が閾値以下の場合には、画像のエッジ成分よりも画像撮影時に発生したグレインノイズ等が顕著であると考えその補正処理が施される。図１３に示すフローに示されるように、この処理では、さらに時間方向の相関値が高いかどうかを判断し、時間方向相関値（共分散）が閾値以上の場合、時間方向のフィルタ（Ｓ１１１）を適用した処理を行うことを決定する。
【００９３】
時間方向相関が低い場合には、注目画素の周辺画素との分散値をより、フィルタ適用有無を判断する。すなわち分散が高い場合には、空間方向のフィルタ適用による悪影響が懸念されるため、フィルタ適用を実施しない（Ｓ１１２）と判断する。分散値が一定値以下の場合、空間方向のフィルタ（Ｓ１１３）を適用した処理を行うことを決定する。
【００９４】
このようにして、決定されたフィルタ情報は、フィルタ処理実行部２５５に出力され、フィルタ処理実行部２５５では、指定されたフィルタを適用した画像補正が実行される。
【００９５】
［フィルタ処理実行部］
フィルタ処理実行部２５５は、フィルタ選択部２５４の出力した適用すべきフィルタ指定情報としてのフィルタＩＤに基づいて、適用するフィルタを決定し、さらに、前処理画像（Ｐｒｅ画）を画像バッファ２５６から入力して、入力画像（Ｃｕｒ画）に対する画像補正処理としてのフィルタ処理を実行して補正画像を生成して出力する。出力画像は超解像処理部２６０に入力され、超解像処理部２６０では補正画像を利用した超解像処理を実行する。なお、フィルタ処理実行部２５５の生成した補正画像は、画像バッファ２５６に入力され、次の入力画像（Ｃｕｒ画）に対する前処理画像（Ｐｒｅ画）として画像バッファ２５６に格納される。
【００９６】
以下、フィルタ処理実行部２５５の実行する各種のフィルタ処理について説明する。
【００９７】
（アパコン補正用フィルタ）
エッジ強度が一定値以上であり、さらに、高輝度画素数、低輝度画素数が一定数以上存在する場合、アパコンによる強調処理が大きいものと判断し、フィルタ処理実行部２５５では、その補正処理に適したアパコン補正用フィルタを適用した処理を行う。
【００９８】
アパコン補正用フィルタを適用した処理について図１５を参照して説明する。図１５（Ａ）に示すように、処理対象画素４０１と、処理対象画素の周囲画素を参照画素４０２とする画素領域を入力画像（Ｃｕｒ画）から選択する。この例では、参照画素４０２は５×５の画素領域を設定している。
【００９９】
図１５に示すステップＳ２１１〜Ｓ２１３の処理が、アパコン補正用フィルタを適用した処理である。
まず、ステップＳ２１１において、近傍一定範囲の参照画素領域に存在する画素から、低輝度画素、高輝度画素等を条件に合わない画像を除去する。例えば、（低輝度閾値＜画素値＜高輝度画素閾値）といった条件で判別し、画素を除去する。
【０１００】
次に、ステップＳ２１２において、処理対象画素の近傍画素の参照画素領域に残った画素から画素値の中央値を算出する。なお、中央値の代わりに、最大値、最小値、平均値でも代用可能である。
次に、ステップＳ２１３において、算出した中央値を、処理対象画素の画素値として置き換える。
【０１０１】
このようにアパコン補正用フィルタを適用した処理は、例えば、Ｍｅｄｉａｎ Ｆｉｌｔｅｒ（中央値）等で画素値を選択、画素値の置き換えを実行する処理として実行される。
【０１０２】
（圧縮ノイズ除去フィルタ）
高、低輝度画素数が一定数以下の場合、ＭＰＥＧやＪＰＥＧ等の圧縮による圧縮ひずみが顕著であると判断され、その補正処理としてフィルタ処理実行部２５５では、圧縮ノイズ除去フィルタを適用した処理を行う。
【０１０３】
圧縮ノイズ除去フィルタを適用した処理について図１６を参照して説明する。圧縮ノイズ除去フィルタでは、ＭＰＥＧ−４，Ｈ２６４等の圧縮アルゴリズムにおいて採用されているデブロッキングフィルタに代表されるＤＣＴブロック境界のノイズを低減する処理を実施する。
【０１０４】
デブロッキング処理は、ＤＣＴ処理されたブロック境界上での画素情報よりフィルタ選択を実施し、平滑化処理を施す手法が一般的である。また、ＤＣＴ処理によるブロックノイズは、ＤＣＴ境界面にのみ発生するため、処理はＤＣＴブロック境界を中心に適用される。
【０１０５】
例えば、図１６（Ａ）に示すような２つの画素：ａ０，ｂ０間のブロックノイズを低減する処理を低減する場合を考える。この場合、ブロックノイズを低減するため、図１６（Ａ）に矢印４１１で示すような水平方向の画素特徴量を検出し、平滑化処理を実施する。例えば、ＭＰＥＧ−４の場合、平滑化フィルタによる平滑化処理は、図１６（Ｂ）に示すようにａ０，ｂ０を中心とした１０画素（ａ４〜ａ０，ｂ０〜ｂ４）の画素値を用いて行われる。
【０１０６】
平滑化フィルタによる平滑化アルゴリズムの例を以下に示す。
ｅｑ＿ｃｎｔ＝f（ａ４-ａ３）＋f（ａ３-ａ２）＋f（ａ２-ａ１）＋f（ａ１-ａ０）＋f（ａ０-ｂ０）＋f（ｂ０-ｂ１）＋f（ｂ１-ｂ２）＋f（ｂ２-ｂ３）＋f（ｂ３-ｂ４），
ｗｈｅｒｅf（g）＝１ ｉｆ｜g｜£ＴＨＲ１ａｎｄ０ ｏｔｈｅｒｗｉｓｅ．
Ｉｆ（ｅｑ＿ｃｎｔ3ＴＨＲ２）
ＤＣ ｏｆｆｓｅｔ ｍｏｄｅ ｉｓ ａｐｐｌｉｅｄ，
ｅｌｓｅ
Ｄｅｆａｕｌｔ ｍｏｄｅ ｉｓ ａｐｐｌｉｅｄ．
【０１０７】
このアルゴリズムでは、ＤＣ ｏｆｆｓｅｔ ｍｏｄｅは、図１６（Ｂ）に示す画素［ａ０…ａ４，ｂ０…ｂ４］、これらの画素が平坦な画像で構成されているときに選択されるように設計されている。そのため、ＤＣ ｏｆｆｓｅｔ ｍｏｄｅが選択された場合、強い平滑化フィルタが該当画素に対し適用される。
逆に、ｄｅｆａｕｌｔ ｍｏｄｅの場合、画素が複雑な形状で構成されていると判断され、弱い平滑化処理が施され、平滑化処理による悪影響が発生しないようにしている。
【０１０８】
このように、圧縮ノイズ除去フィルタは、ＭＰＥＧ−４，Ｈ２６４等の圧縮アルゴリズムにおいて採用されているデブロッキングフィルタに代表されるＤＣＴブロック境界のノイズを低減する処理を実施する。
【０１０９】
（時間方向グレイン除去フィルタ）
エッジ強度が閾値以下の場合には、画像のエッジ成分よりも画像撮影時に発生したグレインノイズ等が顕著であると考えその補正処理が施される。図１３に示すフローに示されるように、時間方向相関値（共分散）が閾値以上の場合、フィルタ処理実行部２５５では時間方向のフィルタを適用した処理を行う。
【０１１０】
時間方向グレイン除去フィルタを適用した処理について図１７を参照して説明する。時間方向グレイン除去フィルタを適用した処理は、時間方向にローパス（ｌｏｗ ｐａｓｓ）フィルタを適用してグイレンノイズ等の除去を行う処理である。
【０１１１】
例えば、図１７に示す構成を適用して、時間方向にＩＩＲ（Ｉｎｆｉｎｉｔｅ−ｄｕｒａｔｉｏｎ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）フィルタを適用し、グレインノイズ等の除去を実施する。現在の処理フレームが先頭フレームであった場合、何も処理が行われず、結果が出力される。また出力結果がバッファ４２３に蓄積される。
【０１１２】
入力画像は画素値補正部４２１において各画素値をβ倍し、その結果を後段の加算器４２２に入力する。バッファ４２３に保存された前フレームの処理結果は、その各画素を画素値補正部４２４でα倍し、加算器４２２へ入力される。加算器４２２では、これらの結果を加算した画像を出力する。加算された結果は出力画像とし、外部へ出力されると共に、バッファに蓄積され次フレームの処理に適用される。
【０１１３】
なお、画素値補正部４２１、画素値補正部４２４において適用する係数は、例えば、
α＝１−γ
β＝γ
（０＜＝γ＜＝１）
これらの値が適用される。
【０１１４】
このように、時間方向グレイン除去フィルタを適用した処理は、時間方向にローパス（ｌｏｗ ｐａｓｓ）フィルタを適用してグイレンノイズ等の除去を行う処理として実行される。
【０１１５】
（空間方向グレイン除去フィルタ）
図１３に示すフローによって示されるように、エッジ強度が閾値以下であり、かつ、時間方向相関が低い場合には、注目画素の周辺画素との分散値をより、フィルタ適用有無を判断し、すなわち分散が高い場合には、空間方向のフィルタ適用による悪影響が懸念されるため、フィルタ適用を実施せず、分散値が一定値以下の場合、フィルタ処理実行部２５５では空間方向のフィルタを適用した処理を行う。
【０１１６】
空間方向グレイン除去フィルタを適用した処理では、画像の空間方向の特徴量を参照し、ノイズ除去フィルタを適用する。
【０１１７】
なお、空間方向の画素特徴量を利用したノイズ除去方法に関しては、既に多彩な手法が提案され、これらの手法を適用することが可能である。例えば、
空間方向にローパスフイルタを適用する処理、
空間方向にメディアンフィルタを適用する処理、
平坦性を検出しフィルタ強度を変更する処理、
エッジ領域を検出しフィルタ強度を変更する処理、
画像をウェーブレット（ｗａｖｅｌｅｔ）変換等を用い、周波数成分毎に分解しノイズ除去を実施する処理、
これらの処理が存在し、フィルタ処理実行部２５５では、これらの処理のいずれかを適用した処理を行えばよい。
【０１１８】
フィルタ処理実行部２５５では、フィルタ選択部２５４において、図１３に示すフローに従って決定したフィルタを適用して上述した処理を行い、その処理結果を、図８に示すように超解像処理部２６０に出力する。超解像処理部２６０では、画像補正処理部２５０のフィルタ処理実行部２５５でフィルタ処理が施された補正画像を適用して、超解像処理を実行する。
【０１１９】
［超解像処理部］
本発明の画像処理装置における超解像処理部の詳細構成および処理について図１８を参照して説明する。
【０１２０】
図１８に示すように、超解像処理部は高解像度差分画像生成部５５０、時間方向ノイズ除去処理部５６０を有し、超解像処理部には、画像補正処理部２５０のフィルタ処理実行部２５５でフィルタ処理が施された補正画像である入力画像（ＬＲ画像）と、直前に行われた超解像処理によって生成されたＳＲ画像が、図示しないＳＲ画像バッファから入力される。なお、ＬＲ画像は、低解像度画像であり、ＳＲ画像は、高解像度画像である。また、処理の開始直後であり、ＳＲ画像がまだ１フレームも生成されていない場合には、初期的な入力画像（ＬＲ画像）であるＬＲ０を、ＳＲ画像と同じ解像度の画像にアップサンプリングして得られた画像がＳＲ画像バッファに記憶され、供給される。
【０１２１】
ＳＲ画像は動きベクトル検出部（ＭＥ）５０１と動き補償処理部５０２と、マスキング処理部５１１と、加算回路５１４に入力され、画像補正処理部２５０のフィルタ処理実行部２５５でフィルタ処理が施された補正画像である入力画像（ＬＲ画像）は動きベクトル検出部（ＭＥ）５０１と、加算回路５０４と、マスキング処理部５１１に入力される。
【０１２２】
まず、図１８に示す高解像度差分画像生成部５５０の処理について説明する。動きベクトル検出部５０１は、入力されたＳＲ画像とＬＲ画像に基づいて、ＳＲ画像を基準とした動きベクトルを検出し、検出した動きベクトル（ＭＶ）を動き補償処理部５０２と逆方向動き補償処理部５０６に出力する。
【０１２３】
動き補償処理部５０２は、動きベクトル検出部５０１から供給された動きベクトル（ＭＶ）に基づいてＳＲ画像に動き補償を施し、動き補償を施して得られた画像をダウンサンプリング処理部５０３に出力する。動き補償を施して得られたＳＲ画像に写るオブジェクトの位置は、入力画像（ＬＲ画像）に写るオブジェクトの位置に近い位置に補正される。
【０１２４】
ダウンサンプリング処理部５０３は、動き補償処理部５０２から供給された動き補償されたＳＲ画像をダウンサンプリングすることによってＬＲ画像と同じ低解像度の画像に変換し、変換した画像を加算回路５０４に出力する。なお、ＳＲ画像と入力画像（ＬＲ画像）から動きベクトルを求め、求めた動きベクトルによって動き補償して得られた画像をＬＲ画像と同じ解像度の画像にすることは、撮像して得られる画像をＳＲ画像に基づいてシミュレートすることに相当する。
【０１２５】
加算回路５０４は、入力画像（ＬＲ画像）と、ＳＲ画像をダウンサンプリングした画像の差分を表す差分画像を生成し、生成した差分画像をアップサンプリング処理部５０５に出力する。
【０１２６】
アップサンプリング処理部５０５は、加算回路５０４から供給された差分画像をアップサンプリングすることによってＳＲ画像と同じ解像度の画像を生成し、生成した画像を逆方向動き補償処理部５０６に出力する。
【０１２７】
逆方向動き補償処理部５０６は、動きベクトル検出部５０１から供給された動きベクトル（ＭＶ）に基づいて、アップサンプリング処理部５０５から供給されたアップサンプリングされＳＲ画像と同じ高解像度の差分画像に逆方向の動き補償を施し、フィードバックゲイン制御部５０７に出力する。
【０１２８】
フィードバックゲイン制御部５０７には、逆方向動き補償処理部５０６から、入力画像（ＬＲ画像）とＳＲ画像の差分画像をアップサンプリングした画像に逆方向の動き補償を施すことによって得られた画像がフィードバック値として供給されてくる。フィードバックゲイン制御部５０７は、逆方向動き補償処理部５０６から供給された逆方向の動き補償を施した差分画像のゲインを調整し、ゲイン調整画像をハイパスフィルタ（ＨＰＦ）５０８とローパスフィルタ（ＬＰＦ）５０９に出力する。
【０１２９】
例えば、フィードバックゲイン制御部５０７は、逆方向動き補償処理部５０６から供給されたフィードバック値によって表されるＳＲ画像の画像信号の全体の周波数成分を任意倍のものにすることによってゲインを調整したり、周波数成分毎に異なる値を乗算することによってゲインを調整したりする。
【０１３０】
また、フィードバックゲイン制御部５０７は、ゲインを上げてＳＲ画像に加えたときに画質に悪影響を与えそうな周波数成分の信号については、逆にゲインを下げたりする。画質に悪影響を与えるものであるか否かは、例えば、逆方向動き補償処理部５０６から供給されたフィードバック値に含まれるノイズの量や、動きベクトル検出時に求められるＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）等の動きベクトルの信頼度に基づいて判断される。なお、ゲインを調整する処理が画像全体に均一に施されるようにしてもよいし、領域毎に施されるようにしてもよい。
【０１３１】
時間方向ノイズ除去処理部５６０のハイパスフィルタ（ＨＰＦ）５０８は、フィードバックゲイン制御部５０７からの出力から低周波成分を除去するＨＰＦ処理を行い、加算回路５１２、フレームバッファ５１０、マスキング処理部５１１を適用して、ＩＩＲフィルタリンク（Ｉｎｆｉｎｉｔｅ−ｄｕｒａｔｉｏｎ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ ｆｉｌｔｅｒｉｎｇ）を実行する。なお。本構成例では、加算回路５１２、フレームバッファ５１０、マスキング処理部５１１を適用したＩＩＲフィルタリンク（ＩＩＲ ｆｉｌｔｅｒｉｎｇ）構成としているが、処理としては、画像を時間方向にぼかす、時間方向のローパスフィルタリング処理を実行するものであり、時間方向ノイズ除去フィルタであればよくＩＩＲフィルタに限らず、ＦＩＲ（Ｆｉｎｉｔｅ−ｄｕｒａｔｉｏｎ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）フィルタの適用構成としてもよい。
【０１３２】
マスキング処理部５１１は、ＳＲ画像と、入力画像（ＬＲ画像）を入力して、その差分データから動物体検出を実行し、動物体領域の時間方向ノイズ除去（ＩＩＲフィルタ適用）を停止するためのマスキングを実行する。
【０１３３】
ハイパスフィルタ（ＨＰＦ）５０８からの出力と、マスキング処理部からの出力は、加算回路５１２において、例えば０．２５：０．７５の比率で加算され、次の加算回路５１３に出力される。なお、ハイパスフィルタ（ＨＰＦ）５０８からの出力と、マスキング処理部からの出力は、加算比率は一例であり、この他の比率を適用はてもよい。
【０１３４】
加算回路５１３は、低周波成分除去差分画像に対して、時間方向ノイズ除去（ＩＩＲフィルタ適用）が実行された画像と、フィードバックゲイン制御部５０７からローパスフィルタ（ＬＰＦ）５０９を通過した低周波成分からなる差分画像とが加算され、加算された差分画像が、さらに加算回路５１４に出力される。
【０１３５】
加算回路５１４は、加算回路５１３から入力する差分画像と、１つ前の処理において生成されているＳＲ画像とを加算し、新たな高解像度画像（ＳＲ画像）を生成して出力する。なお、このＳＲ画像は、次の超解像処理に利用するためＳＲ画像バッファにも格納される。
【０１３６】
以上の処理が本発明の画像処理装置における超解像処理部の処理である。なお、本発明の構成では、超解像処理部に入力する入力画像（ＬＲ画像）は、図８〜図１７を参照して説明したように画像補正処理部（ＰｒｅＦｉｌｔｅｒ）において補正された画像である。この補正された画像を適用して超解像処理を実行することで高品質な高解像度画像の生成が可能となる。
【０１３７】
すなわち、コントラスト調整やアパコン（エッジ強調）などの画質調整や圧縮された画像を伸張して超解像処理を実行した場合、広域が過度に強調された画像や、圧縮ノイズが強調されてしまい、画質が劣化する場合があるが、本発明の構成では、画像補正処理部（ＰｒｅＦｉｌｔｅｒ）において、このような画質劣化の原因となる画像の特徴を検出して予め画像補正を実行して超解像処理部に出力して超解像処理を実行する構成としたので、高品質な高解像度画像の生成が実現される。
【０１３８】
最後に、図１９を参照して、上述した処理を実行する装置の１つのハードウェア構成例としてパーソナルコンピュータのハードウェア構成例について説明する。ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）７０１は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）７０２、または記憶部７０８に記憶されているプログラムに従って各種の処理を実行する。例えば、上述の実施例において説明した画像補正処理部（ＰｒｅＦｉｌｔｅｒ）の画像補正処理や、超解像処理部における超解像処理などの処理プログラムを実行する。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）７０３には、ＣＰＵ７０１が実行するプログラムやデータなどが適宜記憶される。これらのＣＰＵ３０１、ＲＯＭ７０２、およびＲＡＭ７０３は、バス７０４により相互に接続されている。
【０１３９】
ＣＰＵ７０１はバス７０４を介して入出力インタフェース７０５に接続され、入出力インタフェース７０５には、キーボード、マウス、マイクロホンなどよりなる入力部７０６、ディスプレイ、スピーカなどよりなる出力部７０７が接続されている。ＣＰＵ７０１は、入力部７０６から入力される指令に対応して各種の処理を実行し、処理結果を例えば出力部７０７に出力する。
【０１４０】
入出力インタフェース７０５に接続されている記憶部７０８は、例えばハードディスクからなり、ＣＰＵ７０１が実行するプログラムや各種のデータを記憶する。通信部７０９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。
【０１４１】
入出力インタフェース７０５に接続されているドライブ７１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７１１を駆動し、記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部７０８に転送され記憶される。
【０１４２】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【０１４３】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１４４】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０１４５】
以上、説明したように、本発明の一実施例の構成によれば、入力画像の解像度を高めた高解像度画像を生成する画像処理装置において、解像度を向上させる処理を実行する超解像処理部に入力する画像に対して、事前に画像補正処理部（ＰｒｅＦｉｌｔｅｒ）において補正を行う構成とした。具体的には、入力画像の構成画素の特徴を解析し、解析情報に応じて時間方向ノイズ除去、または空間方向ノイズ除去、または、圧縮ノイズ除去、または、アパコン補正の少なくともいずれかの処理を実行し、これらの処理を施した画像を超解像処理部に入力して超解像処理を実行する。本構成により、高品質な高解像度画像の生成が実現される。
【０１４６】
すなわち、コントラスト調整やアパコン（エッジ強調）などの画質調整や圧縮された画像を伸張して超解像処理を実行した場合、広域が過度に強調された画像や、圧縮ノイズが強調されてしまい、画質が劣化する場合があるが、本発明の構成では、画像補正処理部（ＰｒｅＦｉｌｔｅｒ）において、このような画質劣化の原因となる画像の特徴を検出して予め画像補正を実行して超解像処理部に出力して超解像処理を実行する構成としたので、高品質な高解像度画像の生成が実現される。
【図面の簡単な説明】
【０１４７】
【図１】低解像度の画像から高解像度画像を生成する超解像処理について説明する図である。
【図２】低解像度の画像から高解像度画像を生成する超解像処理を実行する構成例について説明する図である。
【図３】低解像度の画像から高解像度画像を生成する超解像処理を実行する構成例について説明する図である。
【図４】超解像処理を実行する画像処理装置の構成例について説明する図である。
【図５】超解像処理を実行する画像処理装置の構成例について説明する図である。
【図６】本発明の一実施例に係る超解像処理を実行する画像処理装置の構成例について説明する図である。
【図７】本発明の一実施例に係る超解像処理を実行する画像処理装置の構成例について説明する図である。
【図８】本発明の一実施例に係る超解像処理を実行する画像処理装置における画像補正処理部（ＰｒｅＦｉｌｔｅｒ）の構成例について説明する図である。
【図９】本発明の一実施例に係る画像処理装置の画像補正処理部（ＰｒｅＦｉｌｔｅｒ）における時間方向相関算出部の処理について説明する図である。
【図１０】本発明の一実施例に係る画像処理装置の画像補正処理部（ＰｒｅＦｉｌｔｅｒ）におけるエッジ検出部の処理について説明する図である。
【図１１】本発明の一実施例に係る画像処理装置の画像補正処理部（ＰｒｅＦｉｌｔｅｒ）におけるエッジ検出部の処理について説明する図である。
【図１２】本発明の一実施例に係る画像処理装置の画像補正処理部（ＰｒｅＦｉｌｔｅｒ）における空間方向画素特徴検出部の処理について説明する図である。
【図１３】本発明の一実施例に係る画像処理装置の画像補正処理部（ＰｒｅＦｉｌｔｅｒ）におけるフィルタ選択部の処理シーケンスを説明するフローチャートを示す図である。
【図１４】本発明の一実施例に係る画像処理装置の画像補正処理部（ＰｒｅＦｉｌｔｅｒ）におけるフィルタ選択部の処理について説明する図である。
【図１５】本発明の一実施例に係る画像処理装置の画像補正処理部（ＰｒｅＦｉｌｔｅｒ）におけるフィルタ処理実行部の処理（アパコン補正用フィルタを適用した処理）について説明する図である。
【図１６】本発明の一実施例に係る画像処理装置の画像補正処理部（ＰｒｅＦｉｌｔｅｒ）におけるフィルタ処理実行部の処理（圧縮ノイズ除去フィルタを適用した処理）について説明する図である。
【図１７】本発明の一実施例に係る画像処理装置の画像補正処理部（ＰｒｅＦｉｌｔｅｒ）におけるフィルタ処理実行部の処理（圧縮ノイズ除去フィルタを適用した処理）について説明する図である。
【図１８】本発明の一実施例に係る画像処理装置の超解像処理部の詳細構成例について説明する図である。
【図１９】本発明の一実施例に係る画像処理装置のハードウェア構成例について説明する図である。
【符号の説明】
【０１４８】
１ 画像処理装置
１１ 超解像処理部
１２ 合算処理部
１３ 加算処理部
１４ ＳＲ画像バッファ
２１ 動きベクトル検出部
２２ 動き補償処理部
２３ ダウンサンプリング処理部
２４ 加算処理部
２５ アップサンプリング処理部
２６ 逆方向動き補償処理部
３０ 画像処理装置
３１ 撮像部
３２ 画質調整部
３３ 画像圧縮部
３４ 記録メディア
３５ 画像復号部
３６ 超解像処理部
３７ 表示部
４０ データ送信装置
４１ 撮像部
４２ 画質調整部
４３ 画像圧縮部
４４ 送信部
５０ データ受信装置
５１ 受信部
５２ 画像復号部
５３ 超解像処理部
５４ 表示部
１００ 画像処理装置
１０１ 撮像部
１０２ 画質調整部
１０３ 画像圧縮部
１０４ 記録メディア
１０５ 画像復号部
１０６ 画像補正処理部
１０７ 超解像処理部
１０８ 表示部
１１０ データ送信装置
１１１ 撮像部
１１２ 画質調整部
１１３ 画像圧縮部
１１４ 送信部
１２０ 画像処理装置
１２１ 受信部
１２２ 画像復号部
１２３ 画像補正処理部
１２４ 超解像処理部
１２５ 表示部
２４０ 画像復号部
２５０ 画像補正処理部
２５１ 時間方向相関算出部
２５２ エッジ検出部
２５３ 空間方向画素特徴検出部
２５４ フィルタ選択部
２５５ フィルタ処理実行部
２５６ 画像バッファ
２６０ 超解像処理部
３３２ 垂直方向エッジ強度検出部
３３３ 水平方向エッジ強度検出部
３３４ エッジ強度合算部
５０１ 動きベクトル検出部
５０２ 動き補償処理部
５０３ ダウンサンプリング処理部
５０４ 加算回路
５０５ アップサンプリング処理部
５０６ 逆動き補償処理部
５０７ フィードバックゲイン制御部
５０８ ハイパスフィルタ（ＨＰＦ）
５０９ ローパスフィルタ（ＬＰＦ）
５１０ フレームバッファ
５１１ マスキング処理部
５１２，５１３，５１４ 加算回路
５５０ 高解像度差分画像生成部
５６０ 時間方向ノイズ除去処理部
７０１ ＣＰＵ
７０２ ＲＯＭ
７０３ ＲＡＭ
７０４ バス
７０５ 入出力インタフェース
７０６ 入力部
７０７ 出力部
７０８ 記憶部
７０９ 通信部
７１０ ドライブ
７１１ リムーバブルメディア
【技術分野】
【０００１】
本発明は、画像処理装置、および画像処理方法、並びにコンピュータ・プログラムに関する。特に、画像の解像度を高める超解像処理を実行する画像処理装置、および画像処理方法、並びにコンピュータ・プログラムに関する。
【背景技術】
【０００２】
低解像度の画像から高解像度の画像を生成する手法として超解像処理が知られている。超解像処理は、重なりを持つ複数の低解像度の画像から、１フレームの高解像度の画像におけるそれぞれの画素の画素値を求める処理である。
【０００３】
超解像処理により、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子によって撮影された画像から、これらの撮像素子が有する解像度以上の解像度の画像を再構成することが可能となる。具体的には、高解像度の衛星写真を生成するときなどに超解像が用いられる。なお、超解像処理については例えば非特許文献１に記載されている。
【０００４】
図１および図２を参照して超解像の原理について説明する。図１（１），（２）の上方に示されるａ，ｂ，ｃ，ｄ，ｅ，ｆは、ある被写体を撮像して得られた低解像度の画像（ＬＲ（Ｌｏｗ Ｒｅｓｏｌｕｔｉｏｎ）画像）から求めようとする高解像度の画像（ＳＲ（Ｓｕｐｅｒ Ｒｅｓｏｌｕｔｉｏｎ）画像）の画素値、すなわち、ＳＲ画像の解像度と同じ解像度で被写体を画素化したときのそれぞれの画素の画素値を表す。
【０００５】
例えば、撮像素子の１つの画素の幅が、被写体を構成する画素の２つ分の幅だけあり、被写体を、その解像度のまま取り込むことができない場合、図１（１）に示されるように、撮像素子の３つの画素のうちの左側の画素においてはａとｂの画素値を混合したＡの画素値が取り込まれ、中央の画素においてはｃとｄの画素値を混合したＢの画素値が取り込まれる。また、右側の画素においてはｅとｆの画素値を混合したＣの画素値が取り込まれる。Ａ，Ｂ，Ｃは、撮像して得られたＬＲ画像を構成する画素の画素値を表す。
【０００６】
手ぶれなどにより、図１（１）の被写体とともに、図１（１）の被写体の位置を基準として、被写体を構成する画素の０．５画素分の幅だけシフトさせた位置の被写体が図１（２）に示されるようにして取り込まれた場合（シフトさせながら取り込まれた場合）、撮像素子の３つの画素のうちの左側の画素においてはａの半分とｂの全体とｃの半分の画素値を混合したＤの画素値が取り込まれ、中央の画素においてはｃの半分とｄの全体とｅの半分の画素値を混合したＥの画素値が取り込まれる。また、右側の画素においてはｅの半分とｆの全体の画素値を混合したＦの画素値が取り込まれる。Ｄ，Ｅ，Ｆも、撮像して得られたＬＲ画像を構成する画素の画素値を表す。
【０００７】
このようなＬＲ画像の撮像結果から下式（式１）が求められる。（式１）からａ，ｂ，ｃ，ｄ，ｅ，ｆをそれぞれ求めることによって、撮像素子が有する解像度より高い解像度の画像を得ることが可能になる。
【０００８】
【数１】
・・・（式１）
【０００９】
従来から知られる超解像処理の一方式として、バックプロジェクション（Ｂａｃｋ Ｐｒｏｊｅｃｔｉｏｎ）による超解像処理について図２を参照して説明する。図２に示す画像処理装置１は例えばデジタルカメラに設けられ、撮像して得られた静止画の処理を行う。
【００１０】
図２に示されるように、画像処理装置１は、超解像処理部１１ａ〜１１ｃ、合算処理部１２、加算処理部１３、およびＳＲ画像バッファ１４から構成される。例えば撮像して得られた低解像度のＬＲ画像であるＬＲ０は超解像処理部１１ａに入力され、ＬＲ１は超解像処理部１１ｂに入力される。また、ＬＲ２は超解像処理部１１ｃに入力される。ＬＲ０〜ＬＲ２は連続して撮像された画像であり、それぞれ撮像範囲に重なりを有している。連続して撮像が行われた場合、通常、撮像結果の画像に写る被写体の範囲はそれぞれ手ぶれなどにより若干ずれたものとなり、完全に一致せずに重なりを一部に有するものとなる。
【００１１】
超解像処理部１１ａは、低解像度画像ＬＲ０と、ＳＲ画像バッファ１４に記憶されている高解像度画像ＳＲ画像に基づいて、それらの差分を表す差分画像を生成し、フィードバック値を合算処理部１２に出力する。フィードバック値は、ＳＲ画像と同じ解像度の差分画像を表す値になっている。
【００１２】
なお、ＳＲ画像バッファ１４には、直前に行われた超解像処理によって生成された高解像度画像であるＳＲ画像が記憶されている。処理の開始直後であり、ＳＲ画像がまだ１フレームも生成されていない場合、例えば、ＬＲ０を、ＳＲ画像と同じ解像度の画像にアップサンプリングして得られた画像がＳＲ画像バッファ１４に記憶される。
【００１３】
同様に、超解像処理部１１ｂは、次のフレームの低解像度画像ＬＲ１とＳＲ画像バッファ１４に記憶されている高解像度画像ＳＲ画像に基づいて、それらの差分を表す差分画像を生成し、生成した差分画像を表すフィードバック値を合算処理部１２に出力する。
【００１４】
さらに、超解像処理部１１ｃは、次の低解像度画像ＬＲ２とＳＲ画像バッファ１４に記憶されている高解像度画像ＳＲ画像に基づいて、それらの差分を表す差分画像を生成し、生成した差分画像を表すフィードバック値を合算処理部１２に出力する。
【００１５】
合算処理部１２は、超解像処理部１１ａ〜１１ｃから供給されたフィードバック値を平均化し、平均化して求められた、ＳＲ画像と同じ解像度の画像を加算処理部１３に出力する。加算処理部１３は、ＳＲ画像バッファ１４に記憶されているＳＲ画像と合算処理部１２から供給されたＳＲ画像を加算し、加算して得られたＳＲ画像を出力する。加算処理部１３の出力は、超解像処理の結果として画像処理装置１の外部に供給されるとともに、ＳＲ画像バッファ１４に供給され、記憶される。
【００１６】
図３は、超解像処理部１１（超解像処理器１１ａ〜ｃ）の構成例を示すブロック図である。図３に示されるように、超解像処理部１１は、動きベクトル検出部２１、動き補償処理部２２、ダウンサンプリング処理部２３、加算処理部２４、アップサンプリング処理部２５、逆方向動き補償処理部２６から構成される。
【００１７】
ＳＲ画像バッファ１４から読み出された高解像度画像ＳＲ画像は動きベクトル検出部２１と動き補償処理部２２に入力され、撮像して得られた低解像度画像ＬＲｎは動きベクトル検出部２１と加算処理部２４に入力される。
【００１８】
動きベクトル検出部２１は、入力された高解像度画像であるＳＲ画像と低解像度画像であるＬＲｎに基づいて、ＳＲ画像を基準とした動きベクトルを検出し、検出した動きベクトルを動き補償処理部２２と逆方向動き補償処理部２６に出力する。例えば過去の撮影画像に基づいて生成されたＳＲ画像と、新規入力したＬＲｎ画像のブロックマッチングにより、ＳＲ画像の各ブロックが新規入力したＬＲｎ画像において移動した先を示すベクトルを生成する。
【００１９】
動き補償処理部２２は、動きベクトル検出部２１から供給された動きベクトルに基づいて高解像度画像ＳＲ画像に動き補償を施して動き補償（ＭＣ：Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｉｏｎ）画像を生成し、生成した動き補償画像（ＭＣ画）をダウンサンプリング処理部２３に出力する。動き補償処理は、動きベクトルに応じて、ＳＲ画像の画素位置を動かして、新規入力したＬＲｎ画像に対応する位置を持つ補正したＳＲ画像を生成する処理である。すなわちＳＲ画像の画素位置を動かして、ＳＲ画像に写るオブジェクトの位置をＬＲｎに写るオブジェクトの位置に併せた動き補償画像（ＭＣ画）を生成する。
【００２０】
ダウンサンプリング処理部２３は、動き補償処理部２２から供給された画像をダウンサンプリングすることによってＬＲｎと同じ解像度の画像を生成し、生成した画像を加算処理部２４に出力する。ＳＲ画像とＬＲｎから動きベクトルを求め、求めた動きベクトルによって動き補償して得られた画像をＬＲ画像と同じ解像度の画像にすることは、撮像して得られる画像を、ＳＲ画像バッファ１４に記憶されているＳＲ画像に基づいてシミュレートすることに相当する。
【００２１】
加算処理部２４は、ＬＲｎと、そのようにしてシミュレートされた画像の差分を表す差分画像を生成し、生成した差分画像をアップサンプリング処理部２５に出力する。
【００２２】
アップサンプリング処理部２５は、加算処理部２４から供給された差分画像をアップサンプリングすることによってＳＲ画像と同じ解像度の画像を生成し、生成した画像を逆方向動き補償処理部２６に出力する。逆方向動き補償処理部２６は、動きベクトル検出部２１から供給された動きベクトルに基づいて、アップサンプリングフィルタ２５から供給された画像に逆方向の動き補償を施し、逆方向の動き補償を施して得られた画像を表すフィードバック値を、図２に示す合算処理部１２に出力する。逆方向の動き補償を施して得られた画像に写るオブジェクトの位置は、ＳＲ画像バッファ１４に記憶されているＳＲ画像に写るオブジェクトの位置に近い位置になる。
【００２３】
このような超解像処理を実行する画像処理装置の全体構成例を図４に示す。ＣＣＤやＣＭＯＳなどの撮像部３１において取得された画像は、画質調整部３２において、コントラスト調整やアパコン（エッジ強調）などの画質調整の後、画像圧縮部３３においてＭＰＥＧ圧縮などの予め設定された圧縮アルゴリズムに従って圧縮されてＤＶＤやテープ、フラッシュメモリなどの記録メディア３４に記録される。
【００２４】
記録メディア３４に記録された画像を復号し、再生する際に超解像処理が実行される。記録メディア３４に記録された画像は画像復号部３５において、復号処理が実行され、その後、超解像処理部３６において、図１〜図３を参照して説明した超解像処理が実行され、高解像度の画像が生成されて表示部３７において表示される。
【００２５】
なお、この超解像処理による画像出力は、動画像に限らず静止画でも可能である。動画像の場合は、複数のフレーム画像を用い、静止画の場合は、連続撮影された静止画を用いる。連続撮影された静止画において手振れなどにより、撮影画像の領域は少しずつ、ずれが発生しており上述の図１〜図３を参照して説明した超解像処理により高解像度の画像を生成することが可能となる。
【００２６】
なお、図４に示す例は、例えばビデオカメラやスチルカメラにおける処理構成であるが、例えばデジタル放送などの放送画像データについても、受信器側で受信画像に対して超解像処理を実行して、高解像度の画像を生成して出力することが可能である。例えば、図５に示す例は、低解像度の画像を送信するデータ送信装置４０と、データ送信装置４０からのデータを受信して超解像処理を実行して高解像度画像を生成して表示するデータ受信装置５０の構成を示している。
【００２７】
データ送信装置４０では、ＣＣＤやＣＭＯＳなどの撮像部４１において取得された画像を、画質調整部４２においてコントラスト調整やアパコン（エッジ強調）などの画質調整を実行し、画像圧縮部４３においてＭＰＥＧ圧縮などの予め設定された圧縮アルゴリズムに従って圧縮し、送信部４４から送信する。
【００２８】
送信部４４から送信されたデータは、データ受信装置５０の受信部５１において受信され、画像復号部５２が受信データを復号し、その後、超解像処理部５３において、図１〜図３を参照して説明した超解像処理が実行され、高解像度の画像が生成されて表示部５４において表示される。
【００２９】
このように、超解像処理は、カメラ撮影画像や送受信される画像データに対して適用可能である。しかし、図４、図５を参照して説明したように、超解像処理の施される画像データは、画像調整部において、コントラスト調整やアパコン（エッジ強調）などの画質調整が実行された画像である。すなわち主観的画質が向上するように画質を調整され、さらにその後の画像圧縮処理によりブロックノイズ、リンギングノイズが発生している可能性が大きい。
【００３０】
しかし、超解像処理は、先に図１〜図３を参照して説明したように、複数画像間で画像間の相関等を用いて高解像度の画像を再構成する処理が含まれる。画質調整や、画像圧縮等の処理が施された画像データに対してこのような超解像処理を施すと、広域が過度に強調された画像や、圧縮ノイズが強調されてしまい、画質が劣化する結果となる場合がある。
【００３１】
【非特許文献１】"Ｉｍｐｒｏｖｉｎｇ Ｒｅｓｏｌｕｔｉｏｎ ｂｙ Ｉｍａｇｅ Ｒｅｇｉｓｔｒａｔｉｏｎ"，ＭＩＣＨＡＬ ＩＲＡＮＩ ＡＮＤ ＳＨＭＵＥＬ ＰＥＬＥＧ，Ｄｅｐａｒｔｍｅｎｔ ｏｆ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ， Ｔｈｅ Ｈｅｂｒｅｗ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｊｅｒｕｓａｌｅｍ， ９１９０４ Ｊｅｒｕｓａｌｅｍ， Ｉｓｒａｅｌ， Ｃｏｍｍｕｎｉｃａｔｅｄ ｂｙ Ｒａｍａ Ｃｈｅｌｌａｐａ， Ｒｅｃｅｉｖｅｄ Ｊｕｎｅ １６， １９９； ａｃｃｅｐｔｅｄ Ｍａｙ ２５， １９９０
【発明の開示】
【発明が解決しようとする課題】
【００３２】
本発明は、上記問題点に鑑みてなされたものであり、画質調整や、画像圧縮等の処理が施された画像データに対して超解像処理を施して高解像度画像を生成する構成において、超解像処理を実行する前処理として画像補正を実行し補正画像に対して超解像処理を実行する構成とすることで、高品質な高解像度画像を生成可能とした画像処理装置、および画像処理方法、並びにコンピュータ・プログラムを提供することを目的とする。
【課題を解決するための手段】
【００３３】
本発明の第１の側面は、
画像処理装置であり、
入力画像の補正を実行して補正画像を生成する画像補正処理部と、
前記画像補正処理部において生成した補正画像を入力し、超解像処理により解像度を高めた高解像度画像を生成する超解像処理部を有し、
前記画像補正処理部は、
時間方向ノイズ除去、または空間方向ノイズ除去、または、圧縮ノイズ除去、または、アパコン補正の少なくともいずれかの処理を実行する構成であることを特徴とする画像処理装置にある。
【００３４】
さらに、本発明の画像処理装置の一実施態様において、前記画像補正処理部は、入力画像の構成画素の特徴を解析し、解析情報に応じて適用する画像補正処理態様を決定する構成であることを特徴とする。
【００３５】
さらに、本発明の画像処理装置の一実施態様において、前記画像補正処理部は、入力画像の構成画素の特徴解析処理として、時間方向相関情報、またはエッジ情報、または空間方向画素特徴情報の少なくともいずれかの情報の解析を実行し、該解析情報に応じて適用する画像補正処理態様を決定する構成であることを特徴とする。
【００３６】
さらに、本発明の画像処理装置の一実施態様において、前記画像補正処理部は、前記空間方向画素特徴情報として、処理対象画素の周囲画素を含む画素領域における画素値最大値と、画素値最小値と、分散値、平均値、設定閾値以上の高輝度画素数、設定閾値以下の低輝度画素数の少なくともいずれかの情報を取得する構成であることを特徴とする。
【００３７】
さらに、本発明の画像処理装置の一実施態様において、前記超解像処理部は、前記画像補正処理部から入力する低解像度画像（ＬＲ画）と、予め生成済みの全レーム対応の高解像度画像（ＳＲ画）とに基づいて、入力画像に対応する高解像度画像を生成する構成であり、前記高解像度画像（ＳＲ画）と低解像度画像（ＬＲ画）から算出される動きベクトルに基づいて前記高解像度画像（ＳＲ画）の動き補償を実行し、動き補償高解像度画像（ＳＲ画）と低解像度画像（ＬＲ画）との差分画像を生成して、差分画像のアップサンプリングおよび逆動き補償処理により高解像度差分画像を生成する高解像度差分画像生成部と、前記高解像度差分画像に対する低周波成分除去画像に対して時間方向のノイズ除去処理を実行する時間方向ノイズ除去処理部と、前記時間方向ノイズ除去処理部の処理画像と、前記高解像度差分画像の低周波成分画像を加算する第１の加算処理部と、前記第１の加算処理部の出力と、前記高解像度画像（ＳＲ画）との加算処理を実行して、入力低解像度画像（ＬＲ画）に対応する高解像度画像の生成を実行する第２加算処理部とを有する構成であることを特徴とする。
【００３８】
さらに、本発明の画像処理装置の一実施態様において、前記時間方向ノイズ除去処理部は、ＩＩＲ（Ｉｎｆｉｎｉｔｅ−ｄｕｒａｔｉｏｎ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）フィルタを適用したフィルタリング処理を実行する構成であることを特徴とする。
【００３９】
さらに、本発明の第２の側面は、
画像処理装置において高解像度画像生成処理を実行する画像処理方法であり、
画像補正処理部が、入力画像の補正を実行して補正画像を生成する画像補正ステップと、
超解像処理部が、前記補正画像を入力し、超解像処理により解像度を高めた高解像度画像を生成する超解像処理ステップを有し、
前記画像補正ステップは、
時間方向ノイズ除去、または空間方向ノイズ除去、または、圧縮ノイズ除去、または、アパコン補正の少なくともいずれかの処理を実行するステップであることを特徴とする画像処理方法にある。
【００４０】
さらに、本発明の画像処理方法の一実施態様において、前記画像補正ステップは、入力画像の構成画素の特徴を解析し、解析情報に応じて適用する画像補正処理態様を決定することを特徴とする。
【００４１】
さらに、本発明の画像処理方法の一実施態様において、前記画像補正ステップは、入力画像の構成画素の特徴解析処理として、時間方向相関情報、またはエッジ情報、または空間方向画素特徴情報の少なくともいずれかの情報の解析を実行し、該解析情報に応じて適用する画像補正処理態様を決定することを特徴とする。
【００４２】
さらに、本発明の画像処理方法の一実施態様において、前記画像補正ステップは、前記空間方向画素特徴情報として、処理対象画素の周囲画素を含む画素領域における画素値最大値と、画素値最小値と、分散値、平均値、設定閾値以上の高輝度画素数、設定閾値以下の低輝度画素数の少なくともいずれかの情報を取得することを特徴とする。
【００４３】
さらに、本発明の画像処理方法の一実施態様において、前記超解像処理ステップは、前記画像補正処理部から入力する低解像度画像（ＬＲ画）と、予め生成済みの全レーム対応の高解像度画像（ＳＲ画）とに基づいて、入力画像に対応する高解像度画像を生成するステップであり、前記高解像度画像（ＳＲ画）と低解像度画像（ＬＲ画）から算出される動きベクトルに基づいて前記高解像度画像（ＳＲ画）の動き補償を実行し、動き補償高解像度画像（ＳＲ画）と低解像度画像（ＬＲ画）との差分画像を生成して、差分画像のアップサンプリングおよび逆動き補償処理により高解像度差分画像を生成する高解像度差分画像生成ステップと、前記高解像度差分画像に対する低周波成分除去画像に対して時間方向のノイズ除去処理を実行する時間方向ノイズ除去処理ステップと、前記時間方向ノイズ除去処理部の処理画像と、前記高解像度差分画像の低周波成分画像を加算する第１の加算処理ステップと、前記第１の加算処理ステップにおける出力と、前記高解像度画像（ＳＲ画）との加算処理を実行して、入力低解像度画像（ＬＲ画）に対応する高解像度画像の生成を実行する第２加算処理ステップとを有することを特徴とする。
【００４４】
さらに、本発明の画像処理方法の一実施態様において、前記時間方向ノイズ除去処理ステップは、ＩＩＲ（Ｉｎｆｉｎｉｔｅ−ｄｕｒａｔｉｏｎ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）フィルタを適用したフィルタリング処理を実行するステップであることを特徴とする。
【００４５】
さらに、本発明の第３の側面は、
画像処理装置において高解像度画像生成処理を実行させるコンピュータ・プログラムであり、
画像補正処理部に、入力画像の補正を実行して補正画像を生成させる画像補正ステップと、
超解像処理部に、前記補正画像を入力し、超解像処理により解像度を高めた高解像度画像を生成させる超解像処理ステップを有し、
前記画像補正ステップは、
時間方向ノイズ除去、または空間方向ノイズ除去、または、圧縮ノイズ除去、または、アパコン補正の少なくともいずれかの処理を実行させるステップであることを特徴とするコンピュータ・プログラムにある。
【００４６】
なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。
【００４７】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００４８】
本発明の一実施例の構成によれば、入力画像の解像度を高めた高解像度画像を生成する画像処理装置において、解像度を向上させる処理を実行する超解像処理部に入力する画像に対して、事前に画像補正処理部（ＰｒｅＦｉｌｔｅｒ）において補正を行う構成とした。具体的には、入力画像の構成画素の特徴を解析し、解析情報に応じて時間方向ノイズ除去、または空間方向ノイズ除去、または、圧縮ノイズ除去、または、アパコン補正の少なくともいずれかの処理を実行し、これらの処理を施した画像を超解像処理部に入力して超解像処理を実行する。本構成により、高品質な高解像度画像の生成が実現される。
【００４９】
すなわち、コントラスト調整やアパコン（エッジ強調）などの画質調整や圧縮された画像を伸張して超解像処理を実行した場合、広域が過度に強調された画像や、圧縮ノイズが強調されてしまい、画質が劣化する場合があるが、本発明の構成では、画像補正処理部（ＰｒｅＦｉｌｔｅｒ）において、このような画質劣化の原因となる画像の特徴を検出して予め画像補正を実行して超解像処理部に出力して超解像処理を実行する構成としたので、高品質な高解像度画像の生成が実現される。
【発明を実施するための最良の形態】
【００５０】
以下、図面を参照しながら本発明の画像処理装置、および画像処理方法、並びにコンピュータ・プログラムの詳細について説明する。
【００５１】
本発明の画像処理装置は、例えばコントラスト調整やアパコン（エッジ強調）などの画質調整や、画像圧縮等の処理が施された画像データに対して超解像処理を施して高解像度画像を生成する構成を有する。なお、処理画像は、動画像、静止画いずれでもよい。本発明の画像処理装置は、超解像処理を実行する前処理として画像補正を実行し補正画像に対して超解像処理を実行する構成とすることで、高品質な高解像度画像を生成する。
【００５２】
図６、図７を参照して本発明の画像処理装置の構成例について説明する。図６は、例えばビデオカメラやスチルカメラによって構成される画像処理装置１００である。ＣＣＤやＣＭＯＳなどの撮像部１０１において取得された画像は、画質調整部１０２において、コントラスト調整やアパコン（エッジ強調）などの画質調整の後、画像圧縮部１０３においてＭＰＥＧ圧縮などの予め設定された圧縮アルゴリズムに従って圧縮されてＤＶＤやテープ、フラッシュメモリなどの記録メディア１０４に記録される。
【００５３】
記録メディア１０４に記録された画像を復号し、再生する際に超解像処理が実行される。記録メディア１０４に記録された画像は画像復号部１０５において、復号処理が実行され、その後、画像補正処理部（ＰｒｅＦｉｌｔｅｒ）１０６において、画像補正処理が実行され、補正画像が超解像処理部１０７に入力され、超解像処理部１０７において超解像処理が実行され、高解像度の画像を生成して表示部１０８に表示される。
【００５４】
この図６に示す構成は、先に図４を参照して説明した構成と異なり、画像補正処理部（ＰｒｅＦｉｌｔｅｒ）１０６を有する。すなわち、本発明の画像処理装置は、画像補正処理部（ＰｒｅＦｉｌｔｅｒ）１０６において画像補正処理が実行し、補正画像を超解像処理部１０７に入力して超解像処理を実行する。この画像補正処理部（ＰｒｅＦｉｌｔｅｒ）１０６の処理については後述する。
【００５５】
図６に示す例は、例えばビデオカメラやスチルカメラにおける処理構成であるが、例えばデジタル放送などの放送画像データについても、受信器側で受信画像に対して超解像処理を実行して、高解像度の画像を生成して出力することが可能である。例えば、図７に示す例は、低解像度の画像を送信するデータ送信装置１１０と、データ送信装置１１０からのデータを受信して超解像処理を実行して高解像度画像を生成して表示する画像処理装置１２０の構成を示している。
【００５６】
データ送信装置１１０では、ＣＣＤやＣＭＯＳなどの撮像部１１１において取得された画像を、画質調整部１１２においてコントラスト調整やアパコン（エッジ強調）などの画質調整を実行し、画像圧縮部１１３においてＭＰＥＧ圧縮などの予め設定された圧縮アルゴリズムに従って圧縮し、送信部１１４から送信する。
【００５７】
送信部１１４から送信されたデータは、画像処理装置１２０の受信部１２１において受信され、画像復号部１２２が受信データを復号し、その後、画像補正処理部（ＰｒｅＦｉｌｔｅｒ）１２３において、画像補正処理が実行され、補正画像が超解像処理部１２４に入力され、超解像処理部１２４において、超解像処理が実行され、高解像度の画像が生成されて表示部１２５に表示される。
【００５８】
この図７に示す構成においても画像処理装置１２０は、画像補正処理部（ＰｒｅＦｉｌｔｅｒ）１２３を有する。すなわち、画像補正処理部（ＰｒｅＦｉｌｔｅｒ）１２３において画像補正処理を実行し、補正画像を超解像処理部１２４に入力して超解像処理を実行する。
【００５９】
本発明の画像処理装置における画像補正処理部（ＰｒｅＦｉｌｔｅｒ）の詳細構成および処理について、図８以下を参照して説明する。図８は、本発明の画像処理装置における画像補正処理部（ＰｒｅＦｉｌｔｅｒ）の詳細構成を示すブロック図である。
【００６０】
図８に示すように、画像補正処理部（ＰｒｅＦｉｌｔｅｒ）２５０は、画像復号部２４０から復号された画像を入力し、補正画像を超解像処理部２６０に出力する。画像補正処理部２５０は、時間方向相関算出部２５１、エッジ検出部２５２、空間方向画素特徴算出部２５３、フィルタ選択部２５４、フィルタ処理実行部２５５、画像バッファ２５６を有する。
【００６１】
なお、画像補正処理部２５０は、画像復号部２４０から復号された画像を順次入力して、入力画像に対応する補正画像を順次生成して超解像処理部２６０に出力する。例えば動画像の時間的に連続するフレームであり、静止画の場合は連続撮影された静止画フレームである。画像復号部２４０から入力される新たなフレーム画像を入力画像（Ｃｕｒ画）とし、そのフレーム画像の入力前に入力され、フィルタ処理実行部２５５においてフィルタ処理が実行され画像バッファ２５６に格納される処理済み画像を前処理画像（Ｐｒｅ画）と呼ぶことにする。
【００６２】
まず、画像補正処理部２５０の処理の概要に説明し、その後、各処理部における処理の詳細について個別に説明する。画像復号部２４０から入力された入力画像（Ｃｕｒ画）は、時間方向相関検出部２５１、エッジ検出部２５２、空間方向画素特徴算出部２５３、フィルタ処理実行部２５５に入力される。画像バッファ２５６は、前フレームでの処理画を蓄積し、その画像を時間方向相関検出部２５１、フィルタ処理実行部２５５に入力する。
【００６３】
時間方向相関検出部２５１では、入力画像（Ｃｕｒ画）と、前処理画像（Ｐｒｅ画）を比較し、時間方向の相関値を画素単位で出力する。例えば、ある画素を中心とした区分された画素領域であるブロック単位の共分散を計算し、この共分散値をその画素の時間方向相関として算出し、フィルタ選択部２５４に出力する。
【００６４】
エッジ検出部２５２は、入力画像（Ｃｕｒ画）に対し、例えばｓｏｂｅｌ ｆｉｌｔｅｒ等で、入力画像（Ｃｕｒ画）のエッジ強度を画素単位で算出してフィルタ選択部２５４に出力する。
【００６５】
空間方向画像特徴検出部２５３は、入力画像（Ｃｕｒ画）のある画素を中心とした区分された画素領域であるブロック単位の構成画素の特徴を示すブロック特徴量を算出してフィルタ選択部２５４に出力する。例えば、ブロック内の画素分散値、最大、最小値，閾値以上の画素個数、閾値以下の画素個数等を空間方向画像特徴として出力する。
【００６６】
フィルタ選択部２５４は、時間方向相関検出部２５１と、エッジ検出部２５２と、空間方向画素特徴算出部２５３の出力に基づいて、画素単位で適用するフィルタの選択を実施する。例えば、時間方向相関検出部２５１と、エッジ検出部２５２と、空間方向画素特徴算出部２５３の出力情報と、予め設定した閾値との比較処理などによって、フィルタ処理実行部２５５において適用すべきフィルタを決定し、フィルタ処理実行部２５５に対してフィルタ指定情報としてのフィルタＩＤを出力する。なお、時間方向相関検出部２５１と、エッジ検出部２５２と、空間方向画素特徴算出部２５３の出力情報と、適用フィルタを対応付けたフィルタ選択テーブルを参照して、テーブルに基づいてフィルタ選択を行い、フィルタ処理実行部２５５に対して、適用すべきフィルタ指定情報としてのフィルタＩＤを出力する構成としてもよい。
【００６７】
フィルタ処理実行部２５５は、フィルタ選択部２５４の出力した適用すべきフィルタ指定情報としてのフィルタＩＤに基づいて、適用するフィルタを決定し、さらに、前処理画像（Ｐｒｅ画）を画像バッファ２５６から入力して、入力画像（Ｃｕｒ画）に対する画像補正処理としてのフィルタ処理を実行して補正画像を生成して出力する。出力画像は超解像処理部２６０に入力され、超解像処理部２６０では補正画像を利用した超解像処理を実行する。なお、フィルタ処理実行部２５５の生成した補正画像は、画像バッファ２５６に入力され、次の入力画像（Ｃｕｒ画）に対する前処理画像（Ｐｒｅ画）として画像バッファ２５６に格納される。
【００６８】
以下、各構成部の処理の詳細について説明する。
［時間方向相関検出部］
図９を参照して時間方向相関算出部２５１の処理について説明する。時間方向相関算出部２５１は、入力画像（Ｃｕｒ画）と、前処理画像（Ｐｒｅ画）を比較し、時間方向の相関値を画素単位で出力する。例えば、ある画素を中心とした区分された画素領域であるブロック単位の共分散を計算し、この共分散値をその画素の時間方向相関として算出し、フィルタ選択部２５４に出力する。具体的な処理について、図９を参照して説明する。具体的には以下の処理ステップ１〜４を実行する。
【００６９】
（ステップ１）
入力画像（Ｃｕｒ画）３０１のある注目画素に対し、注目画素及びその周辺画素数画素を取り出す。図９に示す取得画素３０２である。取得画素３０２の画素数をＮ個とする。
（ステップ２）
前処理画像（Ｐｒｅ画）３１１から、ステップ１において入力画像（Ｃｕｒ画）から取り出した画素位置と同位置の画素及び周辺画素を取り出す。図９に示す取得画素３１２である。取得画素３１２の画素数をＮ個とする。
（ステップ３）
ステップ１，２において取り出した画素群３０２，３１２の画素値に基づく共分散値を算出する。この共分散値算出は以下の式（式２）に従って実行する。
【数２】
・・・（式２）
上記式において、
ｃｉは入力画像（Ｃｕｒ画）の注目画素＋周辺画素の画素値、
ｃｉバー（−）は入力画像（Ｃｕｒ画）の注目画素＋周辺画素の画素値の平均値、
ｐｉは前処理画像（Ｐｒｅ画）の注目画素＋周辺画素の画素値、
ｐｉは前処理画像（Ｐｒｅ画）の注目画素＋周辺画素の画素値の平均値、
Ｎは計算に用いた画素数、
を示す
【００７０】
（ステップ４）
算出した共分散値を共分散画像３２１の注目画素位置に設定する。
【００７１】
時間方向相関算出部２５１は、上記のステップ１〜４の処理を入力画像（Ｃｕｒ画）の全画素に対して実行し、各画素対応の共分散値を全て算出して共分散画像３２１を生成してフィルタ選択部２５４に出力する。
【００７２】
［エッジ検出部］
エッジ検出部２５２は、入力画像（Ｃｕｒ画）に対し、例えばｓｏｂｅｌ ｆｉｌｔｅｒ等で、入力画像（Ｃｕｒ画）のエッジ強度を画素単位で算出してフィルタ選択部２５４に出力する。画像のエッジ（Ｅｄｇｅ）強度の検出方法には過去に様々な手法が提案されており、本実施例では、Ｓｏｂｅｌ Ｆｉｌｔｅｒと呼ばれる検出手法を採用した。（なおＳｏｂｅｌ Ｆｉｌｔｅｒ以外の手法も適用可能である）
【００７３】
図１０に示すように、入力画像３３１に対して垂直方向エッジ強度検出部３１２において、垂直方向のエッジ強度を検出し、水平方向エッジ強度検出部３１３において、水平方向のエッジ強度を検出する。
【００７４】
例えば、垂直方向エッジ強度検出部３１２は、図１１（ａ）に示す２次元フィルタを画素毎に適用し、垂直方向エッジ強度を検出し、水平方向エッジ強度検出部３１３は、図１１（ｂ）に示す２次元フィルタを画素毎に適用し、水平方向エッジ強度を検出する。
【００７５】
その後、図１０に示すエッジ強度合算部３３４において、垂直方向エッジと、水平方向エッジに基づいてエッジ強度を計算する。エッジ強度［Ｇ］は、図１１（ｃ）に示すように、以下に示す式（式３）により算出する。
【数３】
・・・（式３）
【００７６】
上記式において、
Ｇ：エッジ強度、
Ｇｈ：水平方向エッジ強度、
Ｇｖ：垂直方向エッジ強度、
である。
上記処理によって、入力画像（Ｃｕｒ画）の画素毎のエッジ強度が算出され、画素毎のエッジ強度情報を持つ出力３３５が、フィルタ選択部２５４に出力される。
【００７７】
［空間方向画像特徴検出部］
空間方向画像特徴検出部２５３は、入力画像（Ｃｕｒ画）のある画素を中心とした区分された画素領域であるブロック単位の構成画素の特徴を示すブロック特徴量を算出してフィルタ選択部２５４に出力する。例えば、ブロック内の画素分散値、最大、最小値，閾値以上の画素個数、閾値以下の画素個数等を空間方向画像特徴として出力する。図１２を参照して空間方向画像特徴検出部２５３の処理について説明する。
【００７８】
空間方向画像特徴検出部２５３は、以下に説明する空間方向の特徴量（ａ）〜（ｆ）を検出する。なお特徴検出処理は画素毎に実施され、各出力値の個数は入力画素数と等しい。
（ａ）入力画像３４１から選択した注目画素３４２を含む画素領域３４３から最大画素値を検出する。
（ｂ）入力画像３４１から選択した注目画素３４２を含む画素領域３４３から最小画素値を検出する。
（ｃ）入力画像３４１から選択した注目画素３４２を含む画素領域３４３から分散値を検出する。
（ｄ）入力画像３４１から選択した注目画素３４２を含む画素領域３４３から平均値を検出する。
（ｅ）入力画像３４１から選択した注目画素３４２を含む画素領域３４４から予め定められた閾値以上の画素値を持つ画素数を高輝度画素数として検出する。
（ｆ）入力画像３４１から選択した注目画素３４２を含む画素領域３４４から予め定められた閾値以下の画素値を持つ画素数を低輝度画素数として検出する。
【００７９】
なお、図１２に示す例において、最大、最小、平均、分散の検出に用いる画素領域は、注目画素３４２を含む５×５の画素領域３４３であり、高輝度画素数、低輝度画素数の検出に用いる画素領域は、注目画素３４２を含む３×３の画素領域３４４としている。この画素領域の設定は、この例に限らず様々な設定が可能である。
【００８０】
このようにして、算出した
（ａ）最大画素値
（ｂ）最小画素値
（ｃ）分散値
（ｄ）平均値
（ｅ）高輝度画素数
（ｆ）低輝度画素数
これらの各値を出力３４５としてフィルタ選択部２５４に出力する。なお、空間方向画像特徴検出部は、必ずしもこれらのデータ（ａ）〜（ｆ）の全てではなく、一部のデータを空間方向画像特徴として検出しフィルタ選択部２５４に出力する構成としてもよい。
【００８１】
［フィルタ選択部］
フィルタ選択部２５４は、時間方向相関検出部２５１と、エッジ検出部２５２と、空間方向画素特徴算出部２５３の出力に基づいて、画素単位で適用するフィルタの選択を実施する。例えば、時間方向相関検出部２５１と、エッジ検出部２５２と、空間方向画素特徴算出部２５３の出力情報と、予め設定した閾値との比較処理などによって、フィルタ処理実行部２５５において適用すべきフィルタを決定し、フィルタ処理実行部２５５に対してフィルタ指定情報としてのフィルタＩＤを出力する。
【００８２】
フィルタ選択部２５４の処理シーケンスについて、図１３に示すフローチャートを参照して説明する。図１３に示すフローチャートは、図８に示す画像処理部（ＰｒｅＦｉｌｔｅｒ）２５０に入力する入力画像（Ｃｕｒ画）の各画素について繰り返し実行し、各画素単位でフィルタ処理実行部２５５において適用すべきフィルタを決定する。
【００８３】
まず、ステップＳ１０１において、エッジ検出部２５２から入力する入力画像（Ｃｕｒ画）の処理対象画素のエッジ強度と、予め設定した閾値Ａを比較する。
エッジ強度＞閾値Ａ
が成立する場合は、ステップＳ１０４に進み、成立しない場合は、ステップＳ１０２に進む。
【００８４】
ステップＳ１０２では、時間方向相関検出部２５１から入力する入力画像（Ｃｕｒ画）の処理対象画素の時間方向相関値と、予め設定した閾値Ｂを比較する。
時間方向相関値＞閾値Ｂ
が成立する場合は、ステップＳ１１１に進み、成立しない場合は、ステップＳ１０３に進む。
【００８５】
ステップＳ１０３では、空間方向画素特徴算出部２５３から入力する入力画像（Ｃｕｒ画）の処理対象画素に対応して算出された分散値と、予め設定した閾値Ｃを比較する。
分散値＞閾値Ｃ
が成立する場合は、ステップＳ１１３に進み、成立しない場合は、ステップＳ１１２に進む。
【００８６】
また、ステップＳ１０４では、空間方向画素特徴算出部２５３から入力する入力画像（Ｃｕｒ画）の処理対象画素に対応して算出された高輝度画素数と低輝度画素数と、予め設定した閾値Ｄおよび閾値Ｅを比較し、
高輝度画素数＞閾値Ｄ、かつ、
低輝度画素数＞閾値Ｅ
これらが成立する場合は、ステップＳ１１５に進み、成立しない場合は、ステップＳ１１４に進む。
【００８７】
なお、フロー中のステップＳ１０４では、空間方向画素特徴算出部２５３から入力する入力画像（Ｃｕｒ画）の処理対象画素に対応して算出された高輝度画素数と低輝度画素数と、予め設定した閾値Ｄおよび閾値Ｅの比較構成としているが、高輝度画素数や低輝度画素数のカウントの代わりに、
画素最大値＞閾値Ｆ、かつ、
画素最小値＜閾値Ｇ、
これらの比較を実行して判定を行う構成としてもよい。すなわち、これらが成立する場合は、ステップＳ１１５に進み、成立しない場合は、ステップＳ１１４に進む。
【００８８】
以上の判定処理によって、入力画像（Ｃｕｒ画）の処理対象画素に対してフィルタ処理実行部２５５において適用すべきフィルタが決定する。すなわち、
（ａ）ステップＳ１１１に至った場合は、時間方向グレインノイズ除去フィルタ、
（ｂ）ステップＳ１１２に至った場合は、フィルタ適用なし、
（ｃ）ステップＳ１１３に至った場合は、空間方向グレインノイズ除去フィルタ、
（ｄ）ステップＳ１１４に至った場合は、圧縮ノイズ除去フィルタ、
（ｅ）ステップＳ１１５に至った場合は、アパコン補正用フィルタ、
これら（ａ）〜（ｅ）のいずれかの適用フィルタが決定される。
【００８９】
なお、これらの判定処理をテーブルとしてまとめると、図１４のように示すことができる。フィルタ選択部２５４は、時間方向相関検出部２５１と、エッジ検出部２５２と、空間方向画素特徴算出部２５３の出力情報と、適用フィルタを対応付けた図１４に示すようなフィルタ選択テーブルを参照して、テーブルに基づいてフィルタ選択を行い、フィルタ処理実行部２５５に対して、適用すべきフィルタ指定情報としてのフィルタＩＤを出力する構成としてもよい。
【００９０】
フィルタ選択部２５４では、このように、入力画像の各画素単位でテキヨウフィルタを決定する。具体的には、まず、エッジ強度が一定値以上か、以下かを判断し、エッジ強度が一定値以上の場合、さらに、高輝度画素数、低輝度画素数が一定数以上存在するかどうかを判別し、高、低輝度画素数が一定数以上存在する場合、アパコンによる強調処理が大きいものと判断し、その補正処理に適したアパコン補正用フィルタ（Ｓ１１５）を適用した処理を行うことを決定する。
【００９１】
一方、高、低輝度画素数が一定数以下の場合、ＭＰＥＧやＪＰＥＧ等の圧縮による圧縮ひずみが顕著であると判断され、その補正処理として圧縮ノイズ除去フィルタ（Ｓ１１４）を適用した処理を行うことを決定する。
【００９２】
また、エッジ強度が閾値以下の場合には、画像のエッジ成分よりも画像撮影時に発生したグレインノイズ等が顕著であると考えその補正処理が施される。図１３に示すフローに示されるように、この処理では、さらに時間方向の相関値が高いかどうかを判断し、時間方向相関値（共分散）が閾値以上の場合、時間方向のフィルタ（Ｓ１１１）を適用した処理を行うことを決定する。
【００９３】
時間方向相関が低い場合には、注目画素の周辺画素との分散値をより、フィルタ適用有無を判断する。すなわち分散が高い場合には、空間方向のフィルタ適用による悪影響が懸念されるため、フィルタ適用を実施しない（Ｓ１１２）と判断する。分散値が一定値以下の場合、空間方向のフィルタ（Ｓ１１３）を適用した処理を行うことを決定する。
【００９４】
このようにして、決定されたフィルタ情報は、フィルタ処理実行部２５５に出力され、フィルタ処理実行部２５５では、指定されたフィルタを適用した画像補正が実行される。
【００９５】
［フィルタ処理実行部］
フィルタ処理実行部２５５は、フィルタ選択部２５４の出力した適用すべきフィルタ指定情報としてのフィルタＩＤに基づいて、適用するフィルタを決定し、さらに、前処理画像（Ｐｒｅ画）を画像バッファ２５６から入力して、入力画像（Ｃｕｒ画）に対する画像補正処理としてのフィルタ処理を実行して補正画像を生成して出力する。出力画像は超解像処理部２６０に入力され、超解像処理部２６０では補正画像を利用した超解像処理を実行する。なお、フィルタ処理実行部２５５の生成した補正画像は、画像バッファ２５６に入力され、次の入力画像（Ｃｕｒ画）に対する前処理画像（Ｐｒｅ画）として画像バッファ２５６に格納される。
【００９６】
以下、フィルタ処理実行部２５５の実行する各種のフィルタ処理について説明する。
【００９７】
（アパコン補正用フィルタ）
エッジ強度が一定値以上であり、さらに、高輝度画素数、低輝度画素数が一定数以上存在する場合、アパコンによる強調処理が大きいものと判断し、フィルタ処理実行部２５５では、その補正処理に適したアパコン補正用フィルタを適用した処理を行う。
【００９８】
アパコン補正用フィルタを適用した処理について図１５を参照して説明する。図１５（Ａ）に示すように、処理対象画素４０１と、処理対象画素の周囲画素を参照画素４０２とする画素領域を入力画像（Ｃｕｒ画）から選択する。この例では、参照画素４０２は５×５の画素領域を設定している。
【００９９】
図１５に示すステップＳ２１１〜Ｓ２１３の処理が、アパコン補正用フィルタを適用した処理である。
まず、ステップＳ２１１において、近傍一定範囲の参照画素領域に存在する画素から、低輝度画素、高輝度画素等を条件に合わない画像を除去する。例えば、（低輝度閾値＜画素値＜高輝度画素閾値）といった条件で判別し、画素を除去する。
【０１００】
次に、ステップＳ２１２において、処理対象画素の近傍画素の参照画素領域に残った画素から画素値の中央値を算出する。なお、中央値の代わりに、最大値、最小値、平均値でも代用可能である。
次に、ステップＳ２１３において、算出した中央値を、処理対象画素の画素値として置き換える。
【０１０１】
このようにアパコン補正用フィルタを適用した処理は、例えば、Ｍｅｄｉａｎ Ｆｉｌｔｅｒ（中央値）等で画素値を選択、画素値の置き換えを実行する処理として実行される。
【０１０２】
（圧縮ノイズ除去フィルタ）
高、低輝度画素数が一定数以下の場合、ＭＰＥＧやＪＰＥＧ等の圧縮による圧縮ひずみが顕著であると判断され、その補正処理としてフィルタ処理実行部２５５では、圧縮ノイズ除去フィルタを適用した処理を行う。
【０１０３】
圧縮ノイズ除去フィルタを適用した処理について図１６を参照して説明する。圧縮ノイズ除去フィルタでは、ＭＰＥＧ−４，Ｈ２６４等の圧縮アルゴリズムにおいて採用されているデブロッキングフィルタに代表されるＤＣＴブロック境界のノイズを低減する処理を実施する。
【０１０４】
デブロッキング処理は、ＤＣＴ処理されたブロック境界上での画素情報よりフィルタ選択を実施し、平滑化処理を施す手法が一般的である。また、ＤＣＴ処理によるブロックノイズは、ＤＣＴ境界面にのみ発生するため、処理はＤＣＴブロック境界を中心に適用される。
【０１０５】
例えば、図１６（Ａ）に示すような２つの画素：ａ０，ｂ０間のブロックノイズを低減する処理を低減する場合を考える。この場合、ブロックノイズを低減するため、図１６（Ａ）に矢印４１１で示すような水平方向の画素特徴量を検出し、平滑化処理を実施する。例えば、ＭＰＥＧ−４の場合、平滑化フィルタによる平滑化処理は、図１６（Ｂ）に示すようにａ０，ｂ０を中心とした１０画素（ａ４〜ａ０，ｂ０〜ｂ４）の画素値を用いて行われる。
【０１０６】
平滑化フィルタによる平滑化アルゴリズムの例を以下に示す。
ｅｑ＿ｃｎｔ＝f（ａ４-ａ３）＋f（ａ３-ａ２）＋f（ａ２-ａ１）＋f（ａ１-ａ０）＋f（ａ０-ｂ０）＋f（ｂ０-ｂ１）＋f（ｂ１-ｂ２）＋f（ｂ２-ｂ３）＋f（ｂ３-ｂ４），
ｗｈｅｒｅf（g）＝１ ｉｆ｜g｜£ＴＨＲ１ａｎｄ０ ｏｔｈｅｒｗｉｓｅ．
Ｉｆ（ｅｑ＿ｃｎｔ3ＴＨＲ２）
ＤＣ ｏｆｆｓｅｔ ｍｏｄｅ ｉｓ ａｐｐｌｉｅｄ，
ｅｌｓｅ
Ｄｅｆａｕｌｔ ｍｏｄｅ ｉｓ ａｐｐｌｉｅｄ．
【０１０７】
このアルゴリズムでは、ＤＣ ｏｆｆｓｅｔ ｍｏｄｅは、図１６（Ｂ）に示す画素［ａ０…ａ４，ｂ０…ｂ４］、これらの画素が平坦な画像で構成されているときに選択されるように設計されている。そのため、ＤＣ ｏｆｆｓｅｔ ｍｏｄｅが選択された場合、強い平滑化フィルタが該当画素に対し適用される。
逆に、ｄｅｆａｕｌｔ ｍｏｄｅの場合、画素が複雑な形状で構成されていると判断され、弱い平滑化処理が施され、平滑化処理による悪影響が発生しないようにしている。
【０１０８】
このように、圧縮ノイズ除去フィルタは、ＭＰＥＧ−４，Ｈ２６４等の圧縮アルゴリズムにおいて採用されているデブロッキングフィルタに代表されるＤＣＴブロック境界のノイズを低減する処理を実施する。
【０１０９】
（時間方向グレイン除去フィルタ）
エッジ強度が閾値以下の場合には、画像のエッジ成分よりも画像撮影時に発生したグレインノイズ等が顕著であると考えその補正処理が施される。図１３に示すフローに示されるように、時間方向相関値（共分散）が閾値以上の場合、フィルタ処理実行部２５５では時間方向のフィルタを適用した処理を行う。
【０１１０】
時間方向グレイン除去フィルタを適用した処理について図１７を参照して説明する。時間方向グレイン除去フィルタを適用した処理は、時間方向にローパス（ｌｏｗ ｐａｓｓ）フィルタを適用してグイレンノイズ等の除去を行う処理である。
【０１１１】
例えば、図１７に示す構成を適用して、時間方向にＩＩＲ（Ｉｎｆｉｎｉｔｅ−ｄｕｒａｔｉｏｎ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）フィルタを適用し、グレインノイズ等の除去を実施する。現在の処理フレームが先頭フレームであった場合、何も処理が行われず、結果が出力される。また出力結果がバッファ４２３に蓄積される。
【０１１２】
入力画像は画素値補正部４２１において各画素値をβ倍し、その結果を後段の加算器４２２に入力する。バッファ４２３に保存された前フレームの処理結果は、その各画素を画素値補正部４２４でα倍し、加算器４２２へ入力される。加算器４２２では、これらの結果を加算した画像を出力する。加算された結果は出力画像とし、外部へ出力されると共に、バッファに蓄積され次フレームの処理に適用される。
【０１１３】
なお、画素値補正部４２１、画素値補正部４２４において適用する係数は、例えば、
α＝１−γ
β＝γ
（０＜＝γ＜＝１）
これらの値が適用される。
【０１１４】
このように、時間方向グレイン除去フィルタを適用した処理は、時間方向にローパス（ｌｏｗ ｐａｓｓ）フィルタを適用してグイレンノイズ等の除去を行う処理として実行される。
【０１１５】
（空間方向グレイン除去フィルタ）
図１３に示すフローによって示されるように、エッジ強度が閾値以下であり、かつ、時間方向相関が低い場合には、注目画素の周辺画素との分散値をより、フィルタ適用有無を判断し、すなわち分散が高い場合には、空間方向のフィルタ適用による悪影響が懸念されるため、フィルタ適用を実施せず、分散値が一定値以下の場合、フィルタ処理実行部２５５では空間方向のフィルタを適用した処理を行う。
【０１１６】
空間方向グレイン除去フィルタを適用した処理では、画像の空間方向の特徴量を参照し、ノイズ除去フィルタを適用する。
【０１１７】
なお、空間方向の画素特徴量を利用したノイズ除去方法に関しては、既に多彩な手法が提案され、これらの手法を適用することが可能である。例えば、
空間方向にローパスフイルタを適用する処理、
空間方向にメディアンフィルタを適用する処理、
平坦性を検出しフィルタ強度を変更する処理、
エッジ領域を検出しフィルタ強度を変更する処理、
画像をウェーブレット（ｗａｖｅｌｅｔ）変換等を用い、周波数成分毎に分解しノイズ除去を実施する処理、
これらの処理が存在し、フィルタ処理実行部２５５では、これらの処理のいずれかを適用した処理を行えばよい。
【０１１８】
フィルタ処理実行部２５５では、フィルタ選択部２５４において、図１３に示すフローに従って決定したフィルタを適用して上述した処理を行い、その処理結果を、図８に示すように超解像処理部２６０に出力する。超解像処理部２６０では、画像補正処理部２５０のフィルタ処理実行部２５５でフィルタ処理が施された補正画像を適用して、超解像処理を実行する。
【０１１９】
［超解像処理部］
本発明の画像処理装置における超解像処理部の詳細構成および処理について図１８を参照して説明する。
【０１２０】
図１８に示すように、超解像処理部は高解像度差分画像生成部５５０、時間方向ノイズ除去処理部５６０を有し、超解像処理部には、画像補正処理部２５０のフィルタ処理実行部２５５でフィルタ処理が施された補正画像である入力画像（ＬＲ画像）と、直前に行われた超解像処理によって生成されたＳＲ画像が、図示しないＳＲ画像バッファから入力される。なお、ＬＲ画像は、低解像度画像であり、ＳＲ画像は、高解像度画像である。また、処理の開始直後であり、ＳＲ画像がまだ１フレームも生成されていない場合には、初期的な入力画像（ＬＲ画像）であるＬＲ０を、ＳＲ画像と同じ解像度の画像にアップサンプリングして得られた画像がＳＲ画像バッファに記憶され、供給される。
【０１２１】
ＳＲ画像は動きベクトル検出部（ＭＥ）５０１と動き補償処理部５０２と、マスキング処理部５１１と、加算回路５１４に入力され、画像補正処理部２５０のフィルタ処理実行部２５５でフィルタ処理が施された補正画像である入力画像（ＬＲ画像）は動きベクトル検出部（ＭＥ）５０１と、加算回路５０４と、マスキング処理部５１１に入力される。
【０１２２】
まず、図１８に示す高解像度差分画像生成部５５０の処理について説明する。動きベクトル検出部５０１は、入力されたＳＲ画像とＬＲ画像に基づいて、ＳＲ画像を基準とした動きベクトルを検出し、検出した動きベクトル（ＭＶ）を動き補償処理部５０２と逆方向動き補償処理部５０６に出力する。
【０１２３】
動き補償処理部５０２は、動きベクトル検出部５０１から供給された動きベクトル（ＭＶ）に基づいてＳＲ画像に動き補償を施し、動き補償を施して得られた画像をダウンサンプリング処理部５０３に出力する。動き補償を施して得られたＳＲ画像に写るオブジェクトの位置は、入力画像（ＬＲ画像）に写るオブジェクトの位置に近い位置に補正される。
【０１２４】
ダウンサンプリング処理部５０３は、動き補償処理部５０２から供給された動き補償されたＳＲ画像をダウンサンプリングすることによってＬＲ画像と同じ低解像度の画像に変換し、変換した画像を加算回路５０４に出力する。なお、ＳＲ画像と入力画像（ＬＲ画像）から動きベクトルを求め、求めた動きベクトルによって動き補償して得られた画像をＬＲ画像と同じ解像度の画像にすることは、撮像して得られる画像をＳＲ画像に基づいてシミュレートすることに相当する。
【０１２５】
加算回路５０４は、入力画像（ＬＲ画像）と、ＳＲ画像をダウンサンプリングした画像の差分を表す差分画像を生成し、生成した差分画像をアップサンプリング処理部５０５に出力する。
【０１２６】
アップサンプリング処理部５０５は、加算回路５０４から供給された差分画像をアップサンプリングすることによってＳＲ画像と同じ解像度の画像を生成し、生成した画像を逆方向動き補償処理部５０６に出力する。
【０１２７】
逆方向動き補償処理部５０６は、動きベクトル検出部５０１から供給された動きベクトル（ＭＶ）に基づいて、アップサンプリング処理部５０５から供給されたアップサンプリングされＳＲ画像と同じ高解像度の差分画像に逆方向の動き補償を施し、フィードバックゲイン制御部５０７に出力する。
【０１２８】
フィードバックゲイン制御部５０７には、逆方向動き補償処理部５０６から、入力画像（ＬＲ画像）とＳＲ画像の差分画像をアップサンプリングした画像に逆方向の動き補償を施すことによって得られた画像がフィードバック値として供給されてくる。フィードバックゲイン制御部５０７は、逆方向動き補償処理部５０６から供給された逆方向の動き補償を施した差分画像のゲインを調整し、ゲイン調整画像をハイパスフィルタ（ＨＰＦ）５０８とローパスフィルタ（ＬＰＦ）５０９に出力する。
【０１２９】
例えば、フィードバックゲイン制御部５０７は、逆方向動き補償処理部５０６から供給されたフィードバック値によって表されるＳＲ画像の画像信号の全体の周波数成分を任意倍のものにすることによってゲインを調整したり、周波数成分毎に異なる値を乗算することによってゲインを調整したりする。
【０１３０】
また、フィードバックゲイン制御部５０７は、ゲインを上げてＳＲ画像に加えたときに画質に悪影響を与えそうな周波数成分の信号については、逆にゲインを下げたりする。画質に悪影響を与えるものであるか否かは、例えば、逆方向動き補償処理部５０６から供給されたフィードバック値に含まれるノイズの量や、動きベクトル検出時に求められるＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）等の動きベクトルの信頼度に基づいて判断される。なお、ゲインを調整する処理が画像全体に均一に施されるようにしてもよいし、領域毎に施されるようにしてもよい。
【０１３１】
時間方向ノイズ除去処理部５６０のハイパスフィルタ（ＨＰＦ）５０８は、フィードバックゲイン制御部５０７からの出力から低周波成分を除去するＨＰＦ処理を行い、加算回路５１２、フレームバッファ５１０、マスキング処理部５１１を適用して、ＩＩＲフィルタリンク（Ｉｎｆｉｎｉｔｅ−ｄｕｒａｔｉｏｎ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ ｆｉｌｔｅｒｉｎｇ）を実行する。なお。本構成例では、加算回路５１２、フレームバッファ５１０、マスキング処理部５１１を適用したＩＩＲフィルタリンク（ＩＩＲ ｆｉｌｔｅｒｉｎｇ）構成としているが、処理としては、画像を時間方向にぼかす、時間方向のローパスフィルタリング処理を実行するものであり、時間方向ノイズ除去フィルタであればよくＩＩＲフィルタに限らず、ＦＩＲ（Ｆｉｎｉｔｅ−ｄｕｒａｔｉｏｎ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）フィルタの適用構成としてもよい。
【０１３２】
マスキング処理部５１１は、ＳＲ画像と、入力画像（ＬＲ画像）を入力して、その差分データから動物体検出を実行し、動物体領域の時間方向ノイズ除去（ＩＩＲフィルタ適用）を停止するためのマスキングを実行する。
【０１３３】
ハイパスフィルタ（ＨＰＦ）５０８からの出力と、マスキング処理部からの出力は、加算回路５１２において、例えば０．２５：０．７５の比率で加算され、次の加算回路５１３に出力される。なお、ハイパスフィルタ（ＨＰＦ）５０８からの出力と、マスキング処理部からの出力は、加算比率は一例であり、この他の比率を適用はてもよい。
【０１３４】
加算回路５１３は、低周波成分除去差分画像に対して、時間方向ノイズ除去（ＩＩＲフィルタ適用）が実行された画像と、フィードバックゲイン制御部５０７からローパスフィルタ（ＬＰＦ）５０９を通過した低周波成分からなる差分画像とが加算され、加算された差分画像が、さらに加算回路５１４に出力される。
【０１３５】
加算回路５１４は、加算回路５１３から入力する差分画像と、１つ前の処理において生成されているＳＲ画像とを加算し、新たな高解像度画像（ＳＲ画像）を生成して出力する。なお、このＳＲ画像は、次の超解像処理に利用するためＳＲ画像バッファにも格納される。
【０１３６】
以上の処理が本発明の画像処理装置における超解像処理部の処理である。なお、本発明の構成では、超解像処理部に入力する入力画像（ＬＲ画像）は、図８〜図１７を参照して説明したように画像補正処理部（ＰｒｅＦｉｌｔｅｒ）において補正された画像である。この補正された画像を適用して超解像処理を実行することで高品質な高解像度画像の生成が可能となる。
【０１３７】
すなわち、コントラスト調整やアパコン（エッジ強調）などの画質調整や圧縮された画像を伸張して超解像処理を実行した場合、広域が過度に強調された画像や、圧縮ノイズが強調されてしまい、画質が劣化する場合があるが、本発明の構成では、画像補正処理部（ＰｒｅＦｉｌｔｅｒ）において、このような画質劣化の原因となる画像の特徴を検出して予め画像補正を実行して超解像処理部に出力して超解像処理を実行する構成としたので、高品質な高解像度画像の生成が実現される。
【０１３８】
最後に、図１９を参照して、上述した処理を実行する装置の１つのハードウェア構成例としてパーソナルコンピュータのハードウェア構成例について説明する。ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）７０１は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）７０２、または記憶部７０８に記憶されているプログラムに従って各種の処理を実行する。例えば、上述の実施例において説明した画像補正処理部（ＰｒｅＦｉｌｔｅｒ）の画像補正処理や、超解像処理部における超解像処理などの処理プログラムを実行する。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）７０３には、ＣＰＵ７０１が実行するプログラムやデータなどが適宜記憶される。これらのＣＰＵ３０１、ＲＯＭ７０２、およびＲＡＭ７０３は、バス７０４により相互に接続されている。
【０１３９】
ＣＰＵ７０１はバス７０４を介して入出力インタフェース７０５に接続され、入出力インタフェース７０５には、キーボード、マウス、マイクロホンなどよりなる入力部７０６、ディスプレイ、スピーカなどよりなる出力部７０７が接続されている。ＣＰＵ７０１は、入力部７０６から入力される指令に対応して各種の処理を実行し、処理結果を例えば出力部７０７に出力する。
【０１４０】
入出力インタフェース７０５に接続されている記憶部７０８は、例えばハードディスクからなり、ＣＰＵ７０１が実行するプログラムや各種のデータを記憶する。通信部７０９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。
【０１４１】
入出力インタフェース７０５に接続されているドライブ７１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７１１を駆動し、記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部７０８に転送され記憶される。
【０１４２】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【０１４３】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１４４】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０１４５】
以上、説明したように、本発明の一実施例の構成によれば、入力画像の解像度を高めた高解像度画像を生成する画像処理装置において、解像度を向上させる処理を実行する超解像処理部に入力する画像に対して、事前に画像補正処理部（ＰｒｅＦｉｌｔｅｒ）において補正を行う構成とした。具体的には、入力画像の構成画素の特徴を解析し、解析情報に応じて時間方向ノイズ除去、または空間方向ノイズ除去、または、圧縮ノイズ除去、または、アパコン補正の少なくともいずれかの処理を実行し、これらの処理を施した画像を超解像処理部に入力して超解像処理を実行する。本構成により、高品質な高解像度画像の生成が実現される。
【０１４６】
すなわち、コントラスト調整やアパコン（エッジ強調）などの画質調整や圧縮された画像を伸張して超解像処理を実行した場合、広域が過度に強調された画像や、圧縮ノイズが強調されてしまい、画質が劣化する場合があるが、本発明の構成では、画像補正処理部（ＰｒｅＦｉｌｔｅｒ）において、このような画質劣化の原因となる画像の特徴を検出して予め画像補正を実行して超解像処理部に出力して超解像処理を実行する構成としたので、高品質な高解像度画像の生成が実現される。
【図面の簡単な説明】
【０１４７】
【図１】低解像度の画像から高解像度画像を生成する超解像処理について説明する図である。
【図２】低解像度の画像から高解像度画像を生成する超解像処理を実行する構成例について説明する図である。
【図３】低解像度の画像から高解像度画像を生成する超解像処理を実行する構成例について説明する図である。
【図４】超解像処理を実行する画像処理装置の構成例について説明する図である。
【図５】超解像処理を実行する画像処理装置の構成例について説明する図である。
【図６】本発明の一実施例に係る超解像処理を実行する画像処理装置の構成例について説明する図である。
【図７】本発明の一実施例に係る超解像処理を実行する画像処理装置の構成例について説明する図である。
【図８】本発明の一実施例に係る超解像処理を実行する画像処理装置における画像補正処理部（ＰｒｅＦｉｌｔｅｒ）の構成例について説明する図である。
【図９】本発明の一実施例に係る画像処理装置の画像補正処理部（ＰｒｅＦｉｌｔｅｒ）における時間方向相関算出部の処理について説明する図である。
【図１０】本発明の一実施例に係る画像処理装置の画像補正処理部（ＰｒｅＦｉｌｔｅｒ）におけるエッジ検出部の処理について説明する図である。
【図１１】本発明の一実施例に係る画像処理装置の画像補正処理部（ＰｒｅＦｉｌｔｅｒ）におけるエッジ検出部の処理について説明する図である。
【図１２】本発明の一実施例に係る画像処理装置の画像補正処理部（ＰｒｅＦｉｌｔｅｒ）における空間方向画素特徴検出部の処理について説明する図である。
【図１３】本発明の一実施例に係る画像処理装置の画像補正処理部（ＰｒｅＦｉｌｔｅｒ）におけるフィルタ選択部の処理シーケンスを説明するフローチャートを示す図である。
【図１４】本発明の一実施例に係る画像処理装置の画像補正処理部（ＰｒｅＦｉｌｔｅｒ）におけるフィルタ選択部の処理について説明する図である。
【図１５】本発明の一実施例に係る画像処理装置の画像補正処理部（ＰｒｅＦｉｌｔｅｒ）におけるフィルタ処理実行部の処理（アパコン補正用フィルタを適用した処理）について説明する図である。
【図１６】本発明の一実施例に係る画像処理装置の画像補正処理部（ＰｒｅＦｉｌｔｅｒ）におけるフィルタ処理実行部の処理（圧縮ノイズ除去フィルタを適用した処理）について説明する図である。
【図１７】本発明の一実施例に係る画像処理装置の画像補正処理部（ＰｒｅＦｉｌｔｅｒ）におけるフィルタ処理実行部の処理（圧縮ノイズ除去フィルタを適用した処理）について説明する図である。
【図１８】本発明の一実施例に係る画像処理装置の超解像処理部の詳細構成例について説明する図である。
【図１９】本発明の一実施例に係る画像処理装置のハードウェア構成例について説明する図である。
【符号の説明】
【０１４８】
１ 画像処理装置
１１ 超解像処理部
１２ 合算処理部
１３ 加算処理部
１４ ＳＲ画像バッファ
２１ 動きベクトル検出部
２２ 動き補償処理部
２３ ダウンサンプリング処理部
２４ 加算処理部
２５ アップサンプリング処理部
２６ 逆方向動き補償処理部
３０ 画像処理装置
３１ 撮像部
３２ 画質調整部
３３ 画像圧縮部
３４ 記録メディア
３５ 画像復号部
３６ 超解像処理部
３７ 表示部
４０ データ送信装置
４１ 撮像部
４２ 画質調整部
４３ 画像圧縮部
４４ 送信部
５０ データ受信装置
５１ 受信部
５２ 画像復号部
５３ 超解像処理部
５４ 表示部
１００ 画像処理装置
１０１ 撮像部
１０２ 画質調整部
１０３ 画像圧縮部
１０４ 記録メディア
１０５ 画像復号部
１０６ 画像補正処理部
１０７ 超解像処理部
１０８ 表示部
１１０ データ送信装置
１１１ 撮像部
１１２ 画質調整部
１１３ 画像圧縮部
１１４ 送信部
１２０ 画像処理装置
１２１ 受信部
１２２ 画像復号部
１２３ 画像補正処理部
１２４ 超解像処理部
１２５ 表示部
２４０ 画像復号部
２５０ 画像補正処理部
２５１ 時間方向相関算出部
２５２ エッジ検出部
２５３ 空間方向画素特徴検出部
２５４ フィルタ選択部
２５５ フィルタ処理実行部
２５６ 画像バッファ
２６０ 超解像処理部
３３２ 垂直方向エッジ強度検出部
３３３ 水平方向エッジ強度検出部
３３４ エッジ強度合算部
５０１ 動きベクトル検出部
５０２ 動き補償処理部
５０３ ダウンサンプリング処理部
５０４ 加算回路
５０５ アップサンプリング処理部
５０６ 逆動き補償処理部
５０７ フィードバックゲイン制御部
５０８ ハイパスフィルタ（ＨＰＦ）
５０９ ローパスフィルタ（ＬＰＦ）
５１０ フレームバッファ
５１１ マスキング処理部
５１２，５１３，５１４ 加算回路
５５０ 高解像度差分画像生成部
５６０ 時間方向ノイズ除去処理部
７０１ ＣＰＵ
７０２ ＲＯＭ
７０３ ＲＡＭ
７０４ バス
７０５ 入出力インタフェース
７０６ 入力部
７０７ 出力部
７０８ 記憶部
７０９ 通信部
７１０ ドライブ
７１１ リムーバブルメディア
【特許請求の範囲】
【請求項１】
画像処理装置であり、
入力画像の補正を実行して補正画像を生成する画像補正処理部と、
前記画像補正処理部において生成した補正画像を入力し、超解像処理により解像度を高めた高解像度画像を生成する超解像処理部を有し、
前記画像補正処理部は、
時間方向ノイズ除去、または空間方向ノイズ除去、または、圧縮ノイズ除去、または、アパコン補正の少なくともいずれかの処理を実行する構成であることを特徴とする画像処理装置。
【請求項２】
前記画像補正処理部は、
入力画像の構成画素の特徴を解析し、解析情報に応じて適用する画像補正処理態様を決定する構成であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像補正処理部は、
入力画像の構成画素の特徴解析処理として、
時間方向相関情報、またはエッジ情報、または空間方向画素特徴情報の少なくともいずれかの情報の解析を実行し、該解析情報に応じて適用する画像補正処理態様を決定する構成であることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記画像補正処理部は、
前記空間方向画素特徴情報として、処理対象画素の周囲画素を含む画素領域における画素値最大値と、画素値最小値と、分散値、平均値、設定閾値以上の高輝度画素数、設定閾値以下の低輝度画素数の少なくともいずれかの情報を取得する構成であることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記超解像処理部は、
前記画像補正処理部から入力する低解像度画像（ＬＲ画）と、予め生成済みの全レーム対応の高解像度画像（ＳＲ画）とに基づいて、入力画像に対応する高解像度画像を生成する構成であり、
前記高解像度画像（ＳＲ画）と低解像度画像（ＬＲ画）から算出される動きベクトルに基づいて前記高解像度画像（ＳＲ画）の動き補償を実行し、動き補償高解像度画像（ＳＲ画）と低解像度画像（ＬＲ画）との差分画像を生成して、差分画像のアップサンプリングおよび逆動き補償処理により高解像度差分画像を生成する高解像度差分画像生成部と、
前記高解像度差分画像に対する低周波成分除去画像に対して時間方向のノイズ除去処理を実行する時間方向ノイズ除去処理部と、
前記時間方向ノイズ除去処理部の処理画像と、前記高解像度差分画像の低周波成分画像を加算する第１の加算処理部と、
前記第１の加算処理部の出力と、前記高解像度画像（ＳＲ画）との加算処理を実行して、入力低解像度画像（ＬＲ画）に対応する高解像度画像の生成を実行する第２加算処理部と、
を有する構成であることを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記時間方向ノイズ除去処理部は、
ＩＩＲ（Ｉｎｆｉｎｉｔｅ−ｄｕｒａｔｉｏｎ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）フィルタを適用したフィルタリング処理を実行する構成であることを特徴とする請求項５に記載の画像処理装置。
【請求項７】
画像処理装置において高解像度画像生成処理を実行する画像処理方法であり、
画像補正処理部が、入力画像の補正を実行して補正画像を生成する画像補正ステップと、
超解像処理部が、前記補正画像を入力し、超解像処理により解像度を高めた高解像度画像を生成する超解像処理ステップを有し、
前記画像補正ステップは、
時間方向ノイズ除去、または空間方向ノイズ除去、または、圧縮ノイズ除去、または、アパコン補正の少なくともいずれかの処理を実行するステップであることを特徴とする画像処理方法。
【請求項８】
前記画像補正ステップは、
入力画像の構成画素の特徴を解析し、解析情報に応じて適用する画像補正処理態様を決定することを特徴とする請求項７に記載の画像処理方法。
【請求項９】
前記画像補正ステップは、
入力画像の構成画素の特徴解析処理として、
時間方向相関情報、またはエッジ情報、または空間方向画素特徴情報の少なくともいずれかの情報の解析を実行し、該解析情報に応じて適用する画像補正処理態様を決定することを特徴とする請求項７に記載の画像処理方法。
【請求項１０】
前記画像補正ステップは、
前記空間方向画素特徴情報として、処理対象画素の周囲画素を含む画素領域における画素値最大値と、画素値最小値と、分散値、平均値、設定閾値以上の高輝度画素数、設定閾値以下の低輝度画素数の少なくともいずれかの情報を取得することを特徴とする請求項９に記載の画像処理方法。
【請求項１１】
前記超解像処理ステップは、
前記画像補正処理部から入力する低解像度画像（ＬＲ画）と、予め生成済みの全レーム対応の高解像度画像（ＳＲ画）とに基づいて、入力画像に対応する高解像度画像を生成するステップであり、
前記高解像度画像（ＳＲ画）と低解像度画像（ＬＲ画）から算出される動きベクトルに基づいて前記高解像度画像（ＳＲ画）の動き補償を実行し、動き補償高解像度画像（ＳＲ画）と低解像度画像（ＬＲ画）との差分画像を生成して、差分画像のアップサンプリングおよび逆動き補償処理により高解像度差分画像を生成する高解像度差分画像生成ステップと、
前記高解像度差分画像に対する低周波成分除去画像に対して時間方向のノイズ除去処理を実行する時間方向ノイズ除去処理ステップと、
前記時間方向ノイズ除去処理部の処理画像と、前記高解像度差分画像の低周波成分画像を加算する第１の加算処理ステップと、
前記第１の加算処理ステップにおける出力と、前記高解像度画像（ＳＲ画）との加算処理を実行して、入力低解像度画像（ＬＲ画）に対応する高解像度画像の生成を実行する第２加算処理ステップと、
を有することを特徴とする請求項７に記載の画像処理方法。
【請求項１２】
前記時間方向ノイズ除去処理ステップは、
ＩＩＲ（Ｉｎｆｉｎｉｔｅ−ｄｕｒａｔｉｏｎ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）フィルタを適用したフィルタリング処理を実行するステップであることを特徴とする請求項１１に記載の画像処理方法。
【請求項１３】
画像処理装置において高解像度画像生成処理を実行させるコンピュータ・プログラムであり、
画像補正処理部に、入力画像の補正を実行して補正画像を生成させる画像補正ステップと、
超解像処理部に、前記補正画像を入力し、超解像処理により解像度を高めた高解像度画像を生成させる超解像処理ステップを有し、
前記画像補正ステップは、
時間方向ノイズ除去、または空間方向ノイズ除去、または、圧縮ノイズ除去、または、アパコン補正の少なくともいずれかの処理を実行させるステップであることを特徴とするコンピュータ・プログラム。
【請求項１】
画像処理装置であり、
入力画像の補正を実行して補正画像を生成する画像補正処理部と、
前記画像補正処理部において生成した補正画像を入力し、超解像処理により解像度を高めた高解像度画像を生成する超解像処理部を有し、
前記画像補正処理部は、
時間方向ノイズ除去、または空間方向ノイズ除去、または、圧縮ノイズ除去、または、アパコン補正の少なくともいずれかの処理を実行する構成であることを特徴とする画像処理装置。
【請求項２】
前記画像補正処理部は、
入力画像の構成画素の特徴を解析し、解析情報に応じて適用する画像補正処理態様を決定する構成であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像補正処理部は、
入力画像の構成画素の特徴解析処理として、
時間方向相関情報、またはエッジ情報、または空間方向画素特徴情報の少なくともいずれかの情報の解析を実行し、該解析情報に応じて適用する画像補正処理態様を決定する構成であることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記画像補正処理部は、
前記空間方向画素特徴情報として、処理対象画素の周囲画素を含む画素領域における画素値最大値と、画素値最小値と、分散値、平均値、設定閾値以上の高輝度画素数、設定閾値以下の低輝度画素数の少なくともいずれかの情報を取得する構成であることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記超解像処理部は、
前記画像補正処理部から入力する低解像度画像（ＬＲ画）と、予め生成済みの全レーム対応の高解像度画像（ＳＲ画）とに基づいて、入力画像に対応する高解像度画像を生成する構成であり、
前記高解像度画像（ＳＲ画）と低解像度画像（ＬＲ画）から算出される動きベクトルに基づいて前記高解像度画像（ＳＲ画）の動き補償を実行し、動き補償高解像度画像（ＳＲ画）と低解像度画像（ＬＲ画）との差分画像を生成して、差分画像のアップサンプリングおよび逆動き補償処理により高解像度差分画像を生成する高解像度差分画像生成部と、
前記高解像度差分画像に対する低周波成分除去画像に対して時間方向のノイズ除去処理を実行する時間方向ノイズ除去処理部と、
前記時間方向ノイズ除去処理部の処理画像と、前記高解像度差分画像の低周波成分画像を加算する第１の加算処理部と、
前記第１の加算処理部の出力と、前記高解像度画像（ＳＲ画）との加算処理を実行して、入力低解像度画像（ＬＲ画）に対応する高解像度画像の生成を実行する第２加算処理部と、
を有する構成であることを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記時間方向ノイズ除去処理部は、
ＩＩＲ（Ｉｎｆｉｎｉｔｅ−ｄｕｒａｔｉｏｎ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）フィルタを適用したフィルタリング処理を実行する構成であることを特徴とする請求項５に記載の画像処理装置。
【請求項７】
画像処理装置において高解像度画像生成処理を実行する画像処理方法であり、
画像補正処理部が、入力画像の補正を実行して補正画像を生成する画像補正ステップと、
超解像処理部が、前記補正画像を入力し、超解像処理により解像度を高めた高解像度画像を生成する超解像処理ステップを有し、
前記画像補正ステップは、
時間方向ノイズ除去、または空間方向ノイズ除去、または、圧縮ノイズ除去、または、アパコン補正の少なくともいずれかの処理を実行するステップであることを特徴とする画像処理方法。
【請求項８】
前記画像補正ステップは、
入力画像の構成画素の特徴を解析し、解析情報に応じて適用する画像補正処理態様を決定することを特徴とする請求項７に記載の画像処理方法。
【請求項９】
前記画像補正ステップは、
入力画像の構成画素の特徴解析処理として、
時間方向相関情報、またはエッジ情報、または空間方向画素特徴情報の少なくともいずれかの情報の解析を実行し、該解析情報に応じて適用する画像補正処理態様を決定することを特徴とする請求項７に記載の画像処理方法。
【請求項１０】
前記画像補正ステップは、
前記空間方向画素特徴情報として、処理対象画素の周囲画素を含む画素領域における画素値最大値と、画素値最小値と、分散値、平均値、設定閾値以上の高輝度画素数、設定閾値以下の低輝度画素数の少なくともいずれかの情報を取得することを特徴とする請求項９に記載の画像処理方法。
【請求項１１】
前記超解像処理ステップは、
前記画像補正処理部から入力する低解像度画像（ＬＲ画）と、予め生成済みの全レーム対応の高解像度画像（ＳＲ画）とに基づいて、入力画像に対応する高解像度画像を生成するステップであり、
前記高解像度画像（ＳＲ画）と低解像度画像（ＬＲ画）から算出される動きベクトルに基づいて前記高解像度画像（ＳＲ画）の動き補償を実行し、動き補償高解像度画像（ＳＲ画）と低解像度画像（ＬＲ画）との差分画像を生成して、差分画像のアップサンプリングおよび逆動き補償処理により高解像度差分画像を生成する高解像度差分画像生成ステップと、
前記高解像度差分画像に対する低周波成分除去画像に対して時間方向のノイズ除去処理を実行する時間方向ノイズ除去処理ステップと、
前記時間方向ノイズ除去処理部の処理画像と、前記高解像度差分画像の低周波成分画像を加算する第１の加算処理ステップと、
前記第１の加算処理ステップにおける出力と、前記高解像度画像（ＳＲ画）との加算処理を実行して、入力低解像度画像（ＬＲ画）に対応する高解像度画像の生成を実行する第２加算処理ステップと、
を有することを特徴とする請求項７に記載の画像処理方法。
【請求項１２】
前記時間方向ノイズ除去処理ステップは、
ＩＩＲ（Ｉｎｆｉｎｉｔｅ−ｄｕｒａｔｉｏｎ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）フィルタを適用したフィルタリング処理を実行するステップであることを特徴とする請求項１１に記載の画像処理方法。
【請求項１３】
画像処理装置において高解像度画像生成処理を実行させるコンピュータ・プログラムであり、
画像補正処理部に、入力画像の補正を実行して補正画像を生成させる画像補正ステップと、
超解像処理部に、前記補正画像を入力し、超解像処理により解像度を高めた高解像度画像を生成させる超解像処理ステップを有し、
前記画像補正ステップは、
時間方向ノイズ除去、または空間方向ノイズ除去、または、圧縮ノイズ除去、または、アパコン補正の少なくともいずれかの処理を実行させるステップであることを特徴とするコンピュータ・プログラム。
【図２】
【図３】
【図８】
【図１３】
【図１４】
【図１６】
【図１７】
【図１８】
【図１９】
【図１】
【図４】
【図５】
【図６】
【図７】
【図９】
【図１０】
【図１１】
【図１２】
【図１５】
【図３】
【図８】
【図１３】
【図１４】
【図１６】
【図１７】
【図１８】
【図１９】
【図１】
【図４】
【図５】
【図６】
【図７】
【図９】
【図１０】
【図１１】
【図１２】
【図１５】
【公開番号】特開２００９−６５５３５（Ｐ２００９−６５５３５Ａ）
【公開日】平成２１年３月２６日（２００９．３．２６）
【国際特許分類】
【出願番号】特願２００７−２３２９３０（Ｐ２００７−２３２９３０）
【出願日】平成１９年９月７日（２００７．９．７）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２１年３月２６日（２００９．３．２６）
【国際特許分類】
【出願日】平成１９年９月７日（２００７．９．７）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]