信号処理装置、信号処理方法、および信号処理プログラム
【課題】処理対象の画像と参照画像との画像品質が異なっていても、本来あるべき画像の特徴に近い画像を生成する。
【解決手段】第１成分抽出部１０５は、処理対象となる信号から抽出成分情報とそれ以外の信号である抽出外成分情報とに分離する。第２成分抽出部１０６は、参照対象となる信号から抽出成分情報を生成する。類似成分特定部１０９は、参照側の抽出成分情報の領域を特定する位置情報を生成する。位置合わせ合成部１１０は、処理対象となる信号においてより高い精度で参照側の信号の貼り付け位置を特定し、参照側の抽出成分情報の領域に含まれる信号成分の貼り付けおよび信号の合成を行うことで合成成分情報を生成する。帯域抑制部１１１は、合成成分情報に対して帯域制限された合成成分情報を生成する。統合制御部１１６は、帯域制限された合成成分情報を新たな処理対象となる信号とし、信号の再構成処理を繰り返すように制御する。
【解決手段】第１成分抽出部１０５は、処理対象となる信号から抽出成分情報とそれ以外の信号である抽出外成分情報とに分離する。第２成分抽出部１０６は、参照対象となる信号から抽出成分情報を生成する。類似成分特定部１０９は、参照側の抽出成分情報の領域を特定する位置情報を生成する。位置合わせ合成部１１０は、処理対象となる信号においてより高い精度で参照側の信号の貼り付け位置を特定し、参照側の抽出成分情報の領域に含まれる信号成分の貼り付けおよび信号の合成を行うことで合成成分情報を生成する。帯域抑制部１１１は、合成成分情報に対して帯域制限された合成成分情報を生成する。統合制御部１１６は、帯域制限された合成成分情報を新たな処理対象となる信号とし、信号の再構成処理を繰り返すように制御する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、信号処理装置、信号処理方法、および信号処理プログラムに関し、特に、超解像処理をすることで信号品質を改善する信号処理装置および信号処理方法に関する。
【背景技術】
【０００２】
一般に、撮像装置によって得られる画像信号には、少なからず意図しないノイズが含まれる。このため、撮像装置によって得られる画像信号は、各種のノイズ除去処理がされた後に表示や蓄積、符号化、伝送がされる。また、符号化された画像信号が記録された記録媒体や記録装置、蓄積装置、もしくは符号化された画像信号が伝送される伝送装置から、符号化された画像信号を取得し、復号することで得られる復号画像信号には、符号化特有の量子化により周波数成分情報が欠落する。この結果、復号画像信号にはブロックノイズやリンギングなどの符号化劣化を伴う。復号画像信号における符号化劣化の影響を低減するために、復号画像に対してブロックノイズを軽減するためのデブロッキング処理や画像の鮮鋭度を高めるためのエッジ強調処理、および各種の画像復元処理が用いられる。また近年では超解像技術を適用することで、劣化した画像をより本来の画像に近い状態に近づける手法が提案されている(例えば、特許文献１)。
【０００３】
また、従来の超解像処理において、ノイズを含む画像に対しては、あらかじめ空間方向や時間方向に存在する各種のノイズを除去した上で超解像処理をすることで、高周波数帯域の信号が過度に強調されることによる画質劣化を低減させるための手法が提案されている（例えば、特許文献２）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−１２７２４１号
【特許文献２】特開２００９−０６５５３５号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記従来技術である各種のノイズ除去処理、デブロッキング処理、エッジ強調処理では、一般にノイズ成分情報を除去すると同時に、周囲の信号成分に対して影響を与えてしまう。このため、処理後の画像が、必ずしも元の画像品質に近づくとは限らない。また、上記従来技術である画像復元処理では、あらかじめどのようなノイズや劣化の特性を事前情報として取得しておく必要がある。このため、事前情報の特性と異なるノイズや劣化を伴う信号に対しては、必ずしも有効に作用するとは限らない。さらに、上記従来技術である超解像技術では、処理対象としている画像と、参照として利用する画像との間で、ノイズ特性や、形状、画質劣化などにおいて、画像品質が異なっている場合には、画像の特徴をとらえきれずに、意図しない位置からの画像信号成分を超解像処理に用いる場合もありうる。この場合、本来あるべき画像の特徴からかけ離れた画像が生成される。
【０００６】
また、一般にノイズを含む画像においてノイズ成分を含む周波数帯域に注目すると、この画像に含まれている本来の画像としての特徴をもつ信号成分は、ノイズの影響を受けている信号成分と、ノイズの影響をあまり受けていない信号成分とが含まれる。画像は、これらの信号成分が混在した状態で構成されている。このため、このような画像を知覚すると、原画像と類似しているがノイズによって劣化していると認識されると考えられる。このようなノイズを含む画像に対して、一般的なノイズ除去処理をすると、ノイズの影響をあまり受けていない信号成分に対しても影響を与えることになる。この結果、画像に含まれる信号成分を有効に利用することが困難になる。これは、一般に、画像に含まれるノイズ成分が未知であることに起因している。従って、ノイズを含む画像に対して超解像処理をする際に、あらかじめ各種のノイズ除去をすると、超解像処理に有効な信号成分まで劣化させてしまうことになる。これは、超解像処理における、繰り返し処理を伴った信号の再構成処理による信号成分を回復させる効果を阻害する。
【０００７】
更に、処理対象としている画像と、参照として利用する画像に対して、それぞれノイズ除去をすると、処理対象側と参照側とで、ノイズ除去の影響が異なることがある。これらの画像を利用して超解像処理をしようとすると、超解像処理で行われる動き探索や位置合わせ処理をする際に、参照側から、本来特定されるべき、より確からしい信号成分を特定できず、本来の位置とは異なった位置の信号成分を利用して超解像処理をすることになる。これにより、画像の特徴をとらえきれずに、意図しない位置からの画像信号成分を超解像処理に利用してしまい、本来あるべき画像の特徴からかけ離れた画像が生成される。
【０００８】
本発明はこうした状況に鑑みなされたものであり、その目的は、処理対象としている画像と参照として利用する画像との間で画像品質が異なっている場合であっても、本来あるべき画像の特徴に近い画像を生成することができる技術を提供することにある。
【課題を解決するための手段】
【０００９】
上記目的を達成するため、本発明のある態様は信号処理装置（１００）である。この装置は、所定の成分抽出処理を用いて処理対象となる信号から、所定の周波数通過帯域に含まれる周波数による信号である抽出成分情報とそれ以外の信号である抽出外成分情報とに分離する第１成分抽出部（１０５）と、所定の成分抽出処理を用いて参照対象となる信号から抽出成分情報を生成する第２成分抽出部（１０６）と、処理対象側の抽出成分情報の領域に対応する参照側の抽出成分情報の領域を特定するための位置情報を生成する類似成分特定部（１０９）と、前記類似成分特定部（１０９）が生成した位置情報に基づいて、処理対象側の抽出成分情報の領域と参照側の抽出成分情報の領域とを特定し、処理対象となる信号において前記類似成分特定部（１０９）が特定した位置情報よりも高い精度で参照側の信号の貼り付け位置を特定し、参照側の抽出成分情報の領域に含まれる信号成分の貼り付けおよび信号の合成を行うことで、合成成分情報を生成する位置合わせ合成部（１１０）と、前記位置合わせ合成部（１１０）が生成した合成成分情報に対して所定の帯域抑制処理およびリサンプリング処理をすることで、帯域制限された合成成分情報を生成する帯域抑制部（１１１）と、前記帯域抑制部（１１１）が生成した帯域制限された合成成分情報を新たな処理対象となる信号とし、信号の再構成処理を繰り返すように制御する統合制御部（１１６）とを少なくとも備える。
【００１０】
本発明の別の態様は信号処理方法である。この方法は、所定の成分抽出処理を用いて処理対象となる信号から、所定の周波数通過帯域に含まれる周波数による信号である抽出成分情報とそれ以外の信号である抽出外成分情報とに分離するステップと、所定の成分抽出処理を用いて参照対象となる信号から抽出成分情報を生成するステップと、処理対象側の抽出成分情報の領域に対応する参照側の抽出成分情報の領域を特定するための位置情報を生成するステップと、生成した位置情報に基づいて、処理対象側の抽出成分情報の領域と参照側の抽出成分情報の領域とを特定し、処理対象となる信号において、前記生成した位置情報より高い精度で参照側の信号の貼り付け位置を特定し、参照側の抽出成分情報の領域に含まれる信号成分の貼り付けおよび信号の合成を行うことで、合成成分情報を生成するステップと、生成した合成成分情報に対して所定の帯域抑制処理およびリサンプリング処理をすることで、帯域制限された合成成分情報を生成するステップと、生成した帯域制限された合成成分情報を新たな処理対象となる信号とし、信号の再構成処理を繰り返すように制御するステップとをプロセッサに実行させる。
【００１１】
なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１２】
本発明によれば、処理対象としている画像と参照として利用する画像との間で画像品質が異なっている場合であっても、本来あるべき画像の特徴に近い画像を生成することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施の形態に係る信号処理装置の実施の形態１〜９を示す概念ブロック図である。
【図２】本発明の実施の形態に係る信号処理装置の実施の形態１の動作を説明するためのフローチャートである。
【図３】本発明の実施の形態に係る成分抽出処理において、抽出される周波数成分情報の例を表した概念図である。
【図４】本発明の実施の形態に係る成分抽出処理において、抽出される周波数成分情報の例を表した概念図である。
【図５】本発明の実施の形態に係る成分抽出処理において、抽出される周波数成分情報の例を表した概念図である。
【図６】本発明の実施の形態に係る成分抽出処理において、抽出される周波数成分情報の例を表した概念図である。
【図７】本発明の実施の形態に係る成分抽出処理において、抽出される周波数成分情報の例を表した概念図である。
【図８】本発明の実施の形態に係る信号処理装置において管理情報として供給される、抽出アルゴリズム判別情報、および抽出補助情報のデータ構造の一例を示した概念図である。
【図９】本発明の実施の形態に係る信号処理装置における、類似成分特定部内の第１の探索部による位置情報を特定する一例を示した概念図である。
【図１０】本発明の実施の形態に係る信号処理装置における、類似成分特定部内の第１の探索部による位置情報を特定する別の一例を示した概念図である。
【図１１】本発明の実施の形態に係る信号処理装置における、類似成分特定部および位置合わせ合成部内の探索部で用いるテンプレートの例を示した概念図である。
【図１２】本発明の実施の形態に係る信号処理装置における、位置合わせ合成部内の第２の探索部による、高精度の位置合わせ合成処理の例を示した概念図である。
【図１３】本発明の実施の形態に係る信号処理装置で扱う、仮想グリッドと、信号の配置の様子の一例を示す概念図である。
【図１４】本発明の実施の形態に係る信号処理装置における、位置合わせ合成処理の様子の一例を示すための概念図である。
【図１５】本発明の実施の形態に係る信号処理装置における、帯域抑制処理を伴ったリサンプリングの様子の一例を示すための概念図である。
【発明を実施するための形態】
【００１４】
本発明の信号処理装置は、例えば、図１で示されるような信号処理装置１００のように構成されると良い。
【００１５】
図１の信号処理装置１００は、撮像装置１３１、伝送装置１３２、記録装置１３３、記録媒体１３４、蓄積装置１３５などから、処理対象となる信号を第１入力１０１として取得する。また、同様に参照される信号を第２入力１０２として取得する。ここで、これらの信号は、画像信号であるものとして話を進めるが、音声信号などの他の信号であっても構わない。以下、画像信号処理として超解像処理を主に説明するが、画像符号化処理であってもよい。
【００１６】
信号処理装置１００は、取得した第１入力１０１の信号に対して、どのような信号成分に対して、どのような順序で実施の形態に係る信号処理装置１００における信号の再構成処理をするかを、所定の管理情報に基づいて動作を制御できるように構成することが望ましい。また、参照側の信号である、第２入力１０２の信号を、どのようなタイミングで切り替えるかを制御できるようにすると更に良い構成となる。
【００１７】
実施の形態に係る信号処理装置１００で利用される管理情報には、少なくとも、信号から処理対象としている信号成分情報を抽出するためのアルゴリズムを特定するための情報（抽出アルゴリズム判別情報）、特定された抽出アルゴリズムが信号から抽出対象となる信号成分を特定するための補助情報（抽出補助情報）、抽出された信号（抽出成分情報）に対して再構成処理によって得られる再構成処理後の抽出成分情報に対して、信号の周波数帯域成分を抑制するためのアルゴリズムを特定するための情報（帯域抑制アルゴリズム判別情報）、特定された帯域抑制アルゴリズムが、どのような信号の周波数帯域成分まで抑制すべきかを特定するための補助情報（帯域抑制補助情報）を含むようにすると良い。
【００１８】
これらの管理情報は、所定の管理情報として、あらかじめ信号処理装置１００に格納されているようにしても構わない。また、図示されていない外部からの入力手段によって供給され、更新できるように構成しても構わない。更に、これらの管理情報の少なくとも１つを、図示されていない外部への出力手段に対して出力し、保存できるように構成すると、更に良い構成となる。
【００１９】
信号処理装置１００は、処理対象の信号である取得した第１入力１０１の信号に対し、管理情報に基づいて、信号成分情報を抽出するためのアルゴリズムと、抽出対象となる信号成分とを特定する。信号処理装置１００は、特定したアルゴリズムを用いて、抽出対象となる信号成分から処理対象となる抽出成分情報を生成するとともに、抽出成分情報以外の成分を、抽出外成分情報として生成する。同様に、信号処理装置１００は、参照となる信号である取得した第２入力１０２の信号に対し、管理情報に基づいて、参照対象となる抽出成分情報を少なくとも生成する。
【００２０】
その後、信号処理装置１００は、抽出成分情報の再構成処理をする。まず、所定の処理単位で、処理対象となっている抽出成分情報に最も類似した信号成分が、参照側の抽出成分情報のどの部分に対応するかを特定する。
【００２１】
次に、信号処理装置１００は、特定された参照側の抽出成分情報を、処理対象となっている抽出成分情報のサンプリング間隔以上の細かさ（サンプリング間隔が等しいが、もしくは短い状態）で信号成分の位置合わせをする。位置合わせの結果、信号処理装置１００は、対応付けられた処理対象側の抽出成分情報と、参照側の抽出成分情報とを合成し、合成された抽出成分情報（以後、「合成抽出成分情報」という。）を生成する。ここで、合成抽出成分情報のサンプリング間隔は、処理対象となっていた抽出成分情報のサンプリング間隔以上の細かさとなるように構成すると良い。
【００２２】
その後、信号処理装置１００は、信号の周波数帯域成分を抑制するためのアルゴリズムを特定し、どのような信号の周波数帯域成分まで抑制すべきかを特定する。さらに信号処理装置１００は、合成抽出成分情報に対して、信号の周波数帯域抑制をすることで、帯域制限された合成抽出成分情報を生成する。以上の処理が、抽出成分情報の再構成処理となる。ここで、管理情報に基づいて特定される周波数帯域制限は、第１入力１０１もしくは第２入力１０２から抽出成分情報を生成する際に抽出し得る周波数成分の帯域に制限するように構成することが望ましいが、必ずしもこのように帯域を制限する必要はない。たとえば、単純に元の第１入力１０１の信号のサンプリング間隔と同等となるように、所定の帯域制限フィルタを用いた上でリサンプリング処理をするようにしても良い。また、この帯域制限フィルタは、エイリアジングを除去するように設計されたものを利用するようにしても良いし、あえてエイリアジングを含むように設計されたものを利用するようにしても構わない。更に、リサンプリング処理において、サンプルのデシメーションをして、第１入力１０１の信号のサンプリング間隔と同等もしくはそれより細かくなるように構成しても良いし、デシメーションは最後の処理で行い、それ以外ではサンプリング間隔が細かい状態のまま、処理を継続するように構成することも可能である。
【００２３】
信号処理装置１００は、このような信号の再構成処理を、管理情報に基づいて所定の繰り返し条件を満たすまで、合成抽出成分情報を、新たな処理対象として順次更新しながら、抽出成分情報の再構成処理を繰り返すことで確定した帯域制限後の合成抽出成分情報を得る。ここで、必要であれば、サンプルのデシメーションをして、第１入力１０１の信号のサンプリング間隔と同等もしくはそれより細かくなるようにする。
【００２４】
その後、信号処理装置１００は、確定した帯域制限後の合成抽出成分情報と、抽出外成分情報とを合成することで、一連の処理対象となる信号の再構成処理を完了させ、再構成信号を得る。ここで信号処理装置１００は、管理情報に基づいて、再構成信号を、新たな処理対象として順次更新しながら、再構成信号の再構成処理を繰り返すかを判定する。処理を繰り返す必要があると判定された場合には、必要であれば、信号処理装置１００は管理情報に基づいて参照される信号である第２入力１０２の信号を更新し、管理情報に基づいて信号成分情報を抽出するためのアルゴリズムと抽出対象となる信号成分を再度特定して、処理を繰り返し、再構成信号を得る。ここで信号処理装置１００は、再構成信号の再構成処理を繰り返す際に行われる抽出成分情報の再構成処理の繰り返しにおいて、新たに生成された再構成信号を新たな処理対象の信号とし、この信号から新たな抽出成分情報を生成する際に、抽出成分情報に含まれる所定の周波数通過帯域を必要に応じて切り替えながら抽出成分情報を生成し、これを抽出成分情報の再構成処理における初期信号として、抽出成分情報の再構成処理を繰り返すように構成するとよい。
【００２５】
管理情報に基づいて、処理を繰り返す必要がないと判定されると、得られた再構成信号は、出力として、伝送装置１４１、記録装置１４２、記録媒体１４３、蓄積装置１４４、表示・再生装置１４５などに対して供給される。これにより、信号処理装置１００は、伝送や蓄積、そして表示・再生されることで、ノイズや劣化を伴った信号を、より本来あるべき画像の特徴をもつ信号に近い、高品質な信号となるように処理し、供給することができる。
【００２６】
以下に、本発明の詳細な実施の形態を示す。
【００２７】
（実施の形態１）
図１は、本発明の実施の形態１に係る信号処理装置１００の構成例を示すための概念ブロック図である。図１は、各部との間の基本的な接続関係を示している。図１は、実施の形態に係る信号処理装置１００を実現するための機能構成を示しており、その他の構成は省略している。図１において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、ＣＰＵ（Central Processing Unit）、メインメモリ、その他のＬＳＩ（Large Scale Integration）で構成することができ、ソフトウェア的には、メインメモリにロードされた信号処理プログラム等によって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
【００２８】
図１において、実施の形態１の信号処理装置１００は、少なくとも、第１成分抽出部１０５、第２成分抽出部１０６、第１制御部１０７、類似成分特定部１０９、位置合わせ合成部１１０、帯域抑制部１１１、合成部１１３、第２制御部１１４、統合制御部１１６を有している。また、各部との接続を制御するためのスイッチ１０３、１０４、１０８、１１２、１１５を更に有すると良い。
【００２９】
第１成分抽出部１０５は、スイッチ１０３を経由して、第１入力１０１である処理対象の信号を取得する。第１成分抽出部１０５はまた、第１制御部１０７から、信号から処理対象としている信号成分情報を抽出するためのアルゴリズムを特定するための情報である抽出アルゴリズム判別情報、および、特定された抽出アルゴリズムが信号から抽出対象となる信号成分を特定するための補助情報である抽出補助情報を取得する。第１成分抽出部１０５はさらに、合成部１１３からスイッチ１１５を経由して再構成信号を取得する。また、第１成分抽出部１０５は、処理対象の信号である取得した第１入力１０１の信号に対し、管理情報である抽出アルゴリズム判別情報および抽出補助情報に基づいて、信号成分情報を抽出するための成分抽出処理と、抽出対象となる信号成分とを特定し、処理対象となる抽出成分情報を生成するとともに、抽出成分情報以外の成分を、抽出外成分情報として生成する。ここで、抽出外成分情報の生成方法は、第１入力１０１である処理対象となる信号から、生成された処理対象となる抽出成分情報を減算して抽出外成分情報を生成する方法であるものとして話を進めるが、この方法に特に限定されない。例えば、抽出成分情報を生成する際に、所定の変換方法に基づいて、信号成分を時間領域（画像であれば、通常の画像表現）から周波数領域に変換し、周波数領域において抽出成分情報を生成し、周波数領域における第１入力１０１である処理対象の信号から減算して、周波数領域における抽出外成分情報を生成する。その後、周波数領域における生成した抽出外成分情報に所定の変換方法と対となる逆変換方法を用いて、周波数領域から時間領域に逆変換することで、時間領域の抽出外成分情報を生成するようにしても構わない。また、同様の処理は、時間領域において、あらかじめ設計された周波数帯域通過フィルタもしくは周波数帯域選択フィルタを用いて畳み込み演算をすることで抽出成分情報を生成し、第１入力１０１である処理対象となる信号から減算して求めるようにしても構わない。第１成分抽出部１０５は、生成された抽出成分情報を、スイッチ１０８を経由して類似成分特定部１０９、位置合わせ合成部１１０に供給するとともに、第２制御部１１４に供給する。第１成分抽出部１０５は、生成された抽出外成分情報を合成部１１３に供給する。
【００３０】
第２成分抽出部１０６は、スイッチ１０４を経由して、第２入力１０２である参照対象となる信号を取得する。第２成分抽出部１０６はまた、第１制御部１０７から、第１成分抽出部１０５と同様に、管理情報である抽出アルゴリズム判別情報および抽出補助情報を取得する。第２成分抽出部１０６は、参照される信号である取得した第２入力１０２の信号に対し、管理情報である抽出アルゴリズム判別情報および抽出補助情報に基づいて、信号成分情報を抽出するためのアルゴリズムと、抽出対象となる信号成分を特定する。第２成分抽出部１０６は、特定したアルゴリズムと信号成分とをもとに、処理対象となる抽出成分情報を生成する。ここで、抽出アルゴリズム判別情報および抽出補助情報は、第１成分抽出部１０５と同じものが供給されるように構成しても良いし、異なる抽出アルゴリズムによって異なる抽出成分情報を生成するために、別の抽出アルゴリズム判別情報および抽出補助情報が供給されるように構成しても構わない。ここでは説明を簡単にするため、同じものが供給されるものとして話を進める。第２成分抽出部１０６は、生成された抽出成分情報を、類似成分特定部１０９、位置合わせ合成部１１０に供給する。また、第２成分抽出部１０６は、第１成分抽出部１０５と同様に、抽出外成分情報を生成しても良い。
【００３１】
第１成分抽出部１０５および第２成分抽出部１０６における成分抽出処理については、後述する。
【００３２】
第１制御部１０７は、統合制御部１１６の制御に応じて、各部の状態を取得するとともに、各部の初期化処理に必要な管理情報を供給し、各部の動作を制御するために各部の接続状態を制御する。第１制御部１０７は、第１入力１０１および第２入力１０２として入来する信号を制御するために、スイッチ１０３、１０４の接続を制御する。また、第１制御部１０７は、信号の再構成処理を継続するか、生成された再構成信号を出力するかを制御するために、スイッチ１１５の接続を制御する。第１制御部１０７は、管理情報として、第１成分抽出部１０５および第２成分抽出部１０６のそれぞれに、抽出アルゴリズム判別情報および抽出補助情報を供給する。また、第１制御部１０７は、管理情報として、帯域抑制部１１１に、信号の周波数帯域成分を抑制するためのアルゴリズムを特定するための情報である帯域抑制アルゴリズム判別情報と、特定された帯域抑制アルゴリズムが、どのような信号の周波数帯域成分まで抑制すべきかを特定するための補助情報である帯域抑制補助情報とを供給する。ここで、本実施の形態に係る信号処理装置１００では、各部の処理を分担させる構成としているが、第１制御部１０７の機能を、統合制御部１１６が代行するように構成しても構わない。
【００３３】
類似成分特定部１０９は、スイッチ１０８を介して、処理対象となる抽出成分情報を取得する。また、類似成分特定部１０９は、第２成分抽出部１０６から、参照対象となる抽出成分情報を取得する。類似成分特定部１０９内の第１の探索部は、取得した処理対象となる抽出成分情報と参照対象となる抽出成分情報とを用いて、所定の処理単位で、所定の類似成分特定処理をすることで、処理対象となっている抽出成分情報に最も類似した信号成分が、参照側の抽出成分情報のどの部分に対応するかを特定し、対応関係を表す位置情報を生成する。類似成分特定部１０９は、生成した位置情報を、位置合わせ合成部１１０に供給する。
【００３４】
類似成分特定部１０９における類似成分特定処理については、後述する。
【００３５】
位置合わせ合成部１１０は、スイッチ１０８を介して、処理対象となる抽出成分情報と、類似成分特定部１０９から生成された位置情報と、第２成分抽出部１０６から参照対象となる抽出成分情報とを取得する。位置合わせ合成部１１０内の第２の探索部は、取得した処理対象および参照対象となる抽出成分情報と、位置情報を利用して、所定の位置合わせをすることで処理対象側の抽出成分情報と参照側の抽出成分情報とを対応づける。位置合わせ合成部１１０は、対応付けられた処理対象側の抽出成分情報と、参照側の抽出成分情報とを合成し、合成された抽出成分情報（以後、「合成抽出成分情報」、または、単に「合成成分情報」という。）を生成する。また、合成抽出成分情報のサンプリング間隔は、処理対象となっていた抽出成分情報のサンプリング間隔以上に細かくできるように構成すると良い。位置合わせ合成部１１０における位置合わせ合成処理については、後述する。更に、位置合わせ合成部１１０は、生成された合成抽出成分情報を、帯域抑制部１１１に供給する。
【００３６】
帯域抑制部１１１は、第１制御部１０７から、管理情報として、帯域抑制アルゴリズム判別情報、帯域抑制補助情報を取得する。また、帯域抑制部１１１は、位置合わせ合成部１１０から、合成成分情報を取得する。帯域抑制部１１１は、取得した帯域抑制アルゴリズム判別情報に基づいて、帯域抑制処理を特定する。帯域抑制部１１１はさらに、帯域抑制補助情報に基づいて特定された帯域抑制処理をすることで、合成抽出成分情報に対して、信号の周波数帯域抑制をし、帯域制限された合成抽出成分情報を生成する。また、帯域抑制部１１１は、生成された帯域制限された合成抽出成分情報を、スイッチ１１２を介して合成部１１３に供給、もしくはスイッチ１１２、１０８を介して類似成分特定部１０９に供給するとともに、第２制御部１１４に供給する。ここで、管理情報に基づいて特定される帯域抑制処理は、第１入力１０１もしくは第２入力１０２から抽出成分情報を生成する際に抽出し得る周波数成分の帯域に制限するように構成することが望ましいが、必ずしもこのように帯域を制限する必要はない。たとえば、単純に元の第１入力１０１の信号のサンプリング間隔と同等となるように、所定の帯域制限フィルタを用いた上でリサンプリング処理をしても良い。また、この帯域制限フィルタは、エイリアジングを除去するように設計されたものを利用するようにしても良いし、あえてエイリアジングを含むように設計されたものを利用するようにしても構わない。更に、リサンプリング処理において、サンプルのデシメーションをして、第１入力１０１の信号のサンプリング間隔と同等もしくはそれ以下の細かさとなるように構成しても良いし、デシメーションは最後の処理のみで行い、それ以外ではサンプリング間隔が細かい状態のまま、処理を継続するように構成することも可能である。ここでは話を簡単にするため、特定された帯域抑制処理では、単純に元の第１入力１０１の信号のサンプリング間隔と同等となるように、所定の帯域制限フィルタを用いた上でリサンプリング処理をするものとする。
【００３７】
合成部１１３は、第１成分抽出部１０５から、処理対象となる抽出成分情報以外の成分である抽出外成分情報と、帯域抑制部１１１からスイッチ１１２を介して合成抽出成分情報とを取得する。合成部１１３は、確定した帯域制限後の合成抽出成分情報と、抽出外成分情報とを所定の合成処理により合成することで再構成信号を生成し、スイッチ１１５を介して第１成分抽出部１０５もしくは出力１１７として例えば外部の伝送装置１４１、記録装置１４２、記録媒体１４３、蓄積装置１４４、表示・再生装置１４５等に供給する。合成部１１３における所定の合成処理は、第１成分抽出部１０５における抽出成分情報および抽出外成分情報の生成方法に対応した合成処理である。例えば、第１成分抽出部１０５における抽出外成分情報の生成方法が、第１入力１０１である処理対象となる信号から、生成された処理対象となる抽出成分情報を減算して抽出外成分情報を生成する方法である場合は、合成部１１３は、確定した帯域制限後の合成抽出成分情報と、抽出外成分情報とを加算することで合成処理をするように構成すると良い。また、第１成分抽出部１０５における抽出外成分情報の生成方法が、所定の変換方法による周波数領域への変換処理を伴っている場合には、合成部１１３は、確定した帯域制限後の合成抽出成分情報を同様の周波数領域への変換処理をした後に抽出外成分情報に加算し、再度所定の逆変換方法により時間領域への逆変換処理をすることで合成処理をするように構成すると良い。更に、管理情報には合成部１１３において合成処理を特定するための合成処理特定情報を含むようにし、第１制御部１０７は合成部１１３に管理情報として合成処理特定情報を供給し、合成部１１３は、この管理情報に基づいて合成処理を特定すると更に良い構成となる。
【００３８】
第２制御部１１４は、統合制御部１１６の制御に基づき、各部の状態を取得するとともに、各部の動作や、必要な管理情報を供給する。第２制御部１１４は、各部の動作の制御に必要な情報として、少なくとも第１成分抽出部１０５から抽出成分情報を取得するとともに、帯域抑制部１１１から合成抽出成分情報を取得する。第２制御部１１４は、少なくとも、取得した抽出成分情報、合成抽出成分情報、および管理情報に基づいて、所定の繰り返し条件を満たすまで、合成抽出成分情報の再構成処理を繰り返すか、結果を各部に供給するかを判定する。第２制御部１１４は、判定結果に基づいて各部の接続を制御するために、スイッチ１０８、１１２を制御する。ここで、本実施の形態に係る信号処理装置１００では各部の処理を分担させるような構成としているが、第２制御部１１４の機能を、統合制御部１１６が代行するように構成しても構わない。
【００３９】
統合制御部１１６は、本実施の形態に係る信号処理装置１００を構成する各部の状態を取得し、各部に対して制御信号に基づいて動作の制御をして、処理対象となる信号、参照対象となる信号を入力信号として取得する。統合制御部１１６はさらに、上述の信号処理をして、処理結果である再構成信号を、出力して供給するように各部を制御する。また、統合制御部１１６は、ユーザによる開始操作や、所定の設定時刻等などの所定の開始条件によって生じる信号処理開始要求信号を検知し、各部に処理開始指令を供給する。本実施の形態においては、話を簡単にするため、第１制御部１０７および第２制御部１１４の動作を制御することで、全体の動作を制御できるように構成しているが、統合制御部１１６が第１制御部１０７および第２制御部１１４の各機能を代行し、本実施の形態に係る信号処理装置１００の各部全体を制御するように構成しても構わない。また、統合制御部１１６が第１制御部１０７および第２制御部１１４の各機能を代行し、実施の形態に係る信号処理装置１００の各部全体を制御しても構わない。また、統合制御部１１６は、各部への各情報の入出力の順序や、各部の動作順序や各情報の生成順序、各部に供給する管理情報の種類や供給順序を制御するために、所定の統合管理情報を持ち、この情報に基づいて、本発明の信号処理装置１００の全体動作を制御すると更に良い構成となる。ここで、統合管理情報には、上述の処理が取りうる全状態が記述された状態遷移情報と、現在の処理が全体の処理のどの過程にあるかを特定するための内部状態情報や、各処理の初期条件および終了判定条件に関する情報である条件情報を含むようにすると良い。例えば、条件情報に、各処理の繰り返し回数もしくは繰り返し終了判定条件に関する情報が含まれるようにしても構わない。また、この所定の統合管理情報は、あらかじめ統合制御部１１６に設定されていても構わないし、外部から統合管理情報を取得する機能を統合制御部１１６に含めることで、取得した統合管理情報に基づいて、異なる処理動作をすることができるように構成しても構わない。ここでは話を簡単にするため、所定の統合管理情報があらかじめ設定されているものとするが、特に限定されるものではない。
【００４０】
この統合制御部１１６において、各制御情報を適切に管理し、各部に対して動作の制御を指示することによって、処理対象となっている領域に含まれる信号成分に対し、参照側から、単に信号成分間の誤差が最も少ないものを特定するのではなく、本来の画像に近づけるための、より確からしい信号成分を含む領域の位置を探索により特定する。統合制御部１１６は、信号を再構成して得られた結果を利用して、再度探索や、信号の再構成をするというように、信号の再構成対象を更新しながら、信号の再構成を繰り返していくことで超解像処理を実現するように動作を制御することが可能となる。例えば、統合制御部１１６は、後述される図３から図７で示されているような周波数帯域を、再構成処理の繰り返しの過程において、必要に応じて切り替えながら適用し、その周波数帯域に含まれる信号成分情報を抽出するように制御する。これにより、統合制御部１１６は、入力される画像信号もしくは再構成信号から抽出成分情報を生成し、抽出成分情報に対する再構成処理の繰り返し制御や、その後生成される再構成信号に対する再構成処理の繰り返し制御することで、最終的な出力となる再構成信号全体の画質を改善させることができる。
【００４１】
次に、第１成分抽出部１０５および第２成分抽出部１０６における成分抽出処理の詳細を以下に説明する。図３から図７は、実施の形態に係る成分抽出処理において、抽出される周波数成分情報の例を表した概念図である。
【００４２】
例えば、第１入力１０１である処理対象の信号が、図３で示されるように、領域３０１内、つまり最大周波数ｆｍａｘ以下の周波数成分情報を含むような信号であるものとする。ここで、管理情報として取得される抽出アルゴリズム判別情報に基づいて特定された成分抽出処理は、図３（ｂ）で示されるように、信号の分離および合成において、信号の完全再構成が可能となるように設計されたＱＭＦ（Quadrature Mirror Filter）フィルタによる帯域分割処理がされるものとして話を進める。抽出アルゴリズム判別情報に基づいて特定される成分抽出処理は、少なくとも１つ以上の、異なる帯域分割処理に基づいた成分抽出処理の中から特定されるものである。例えば、所定の低域通過特性を持つローパスフィルタもしくはその代替となりうるフィルタ、つまり、一般的なガウシアンフィルタ、Ｌａｎｃｚｏｓフィルタ、ウェーヴレットフィルタ等による帯域分割処理であれば、本実施の形態に係る成分抽出処理に利用することができる。また、例えば、抽出成分情報を生成する際に、フーリエ変換、サイン／コサイン変換、アダマール変換、ウェーヴレット変換等の、所定の周波数変換方法に基づいて、信号成分を時間領域（画像であれば、通常の画像表現）から周波数領域に変換し、周波数領域において抽出成分情報を生成する。生成した抽出外成分情報を周波数領域における第１入力１０１である処理対象の信号から減算して、周波数領域における抽出外成分情報を生成した後に、所定の変換方法と対となる逆変換方法に基づいて、周波数領域から時間領域に逆変換することで、時間領域の抽出外成分情報を生成する処理を、本実施の形態に係る成分抽出処理に利用することもできる。更に、図３の例では、管理情報として取得される抽出補助情報から、周波数ｆ０からｆ１までに含まれる周波数成分情報を抽出することを特定したものとして話を進める。
【００４３】
図３（ｂ）は、ｆ１＝ｆｍａｘ／２であるものとして、カットオフ周波数ｆ１ｃとなるように設計されたＱＭＦフィルタを利用して周波数成分の帯域分割処理をした様子を示す。ここで、低域通過帯域特性３２１は、ＱＭＦフィルタにおける低域通過フィルタの周波数帯域特性であり、高域通過帯域特性３２２は、対応する高域通過フィルタの周波数帯域特性である。このようなフィルタに基づいてフィルタリング処理をすることで入力信号を周波数帯域分割し、図３（ｃ）のような低域信号と、図３（ｄ）のような高域信号とに分離する。
【００４４】
ここで、ｆ１＝ｆｍａｘ／２であり、ＱＭＦフィルタによる帯域分割対象となる周波数がｆｍａｘ／２であるものとした。もし、ＱＭＦフィルタによる帯域分割対象となる周波数と、入力信号に対して帯域分割したい周波数とが異なる場合には、入力信号に対してインターポレーション処理やデシメーション処理、もしくはこれらを組み合わせた処理をすることで、分割対象となる周波数と分割したい周波数が等しくなるように、入力信号のサンプル数を変化させ、仮の入力信号を生成する。ここで、このような入力信号に対してサンプル数を変化させることによる周波数シフトをする際に、利用できるインターポレーション処理やデシメーション処理で表現できるサンプル数に制約がある場合には、分割対象となる周波数に最も近くなるように入力信号のサンプル数を変化させるようにすると良い。この仮の入力信号に対して周波数帯域分割し、その後、仮の入力信号を生成した際とは逆のインターポレーション処理やデシメーション処理、もしくはこれらを組み合わせた処理をすることで、元の入力信号に対して帯域分割処理をした後の低域信号、高域信号を得るようにすると良い。このような入力信号に対するインターポレーション処理やデシメーション処理、もしくはこれらを組み合わせた処理をすることで、帯域分割対象となる周波数をシフトさせることは、他の帯域通過フィルタにおいても有用である。
【００４５】
このような処理をすることで、周波数ｆ０からｆ１までに含まれる周波数成分情報３３１を抽出して本実施の形態における抽出成分情報とする。また、ｆ１からｆｍａｘまでに含まれる周波数成分情報３３２を抽出して、本発明における抽出外成分情報とする。
【００４６】
ここで、抽出成分情報と抽出外成分情報を生成する際に、一般には図３（ｂ）の領域３１２の周波数領域のようなエイリアジング成分の影響を考慮するために高域通過帯域特性３２２の高域通過フィルタを利用することが望ましい。しかし、ここでは話を簡単にするため、帯域分割に利用するフィルタの周波数減衰特性は非常に急峻であり、エイリアジング成分の影響がほとんどないものとして話を進める。よって、実施の形態に係る抽出外成分情報は、図３（ｃ）の領域３３１のような周波数領域の成分を含むような抽出成分情報を生成した後に、入力信号から減算することで、抽出外成分情報を生成するものとして話を進める。
【００４７】
図３においては、入力信号に対して周波数帯域分割しようとしている周波数がｆ１＝ｆｍａｘ／２であるものとしていたが、抽出補助情報に基づいて、図４のような周波数帯域に分割し、抽出成分情報を取得するようにしても良い。例えば、図４（ｂ）のように、低域通過フィルタの周波数帯域特性４２１によってｆ０からｆ１までに含まれる周波数成分情報を生成することができるようなフィルタに基づいてフィルタリング処理をすることで入力信号を周波数帯域分割し、図４（ｅ）の領域４３１のような周波数成分情報を含む低域信号と、図４（ｈ）の領域４４１のような周波数成分情報を含む高域信号に分離し、それぞれ抽出成分情報、抽出外成分情報を取得するようにしても良い。同様に、帯域分割する周波数がｆ２であると特定された場合には、ｆ０からｆ２までの低域通過帯域特性４２３を持つフィルタによるフィルタリング処理により、図４（ｆ）および図４（ｉ）のように分離し、帯域分割する周波数がｆ３であると特定された場合には、低域通過帯域特性４２５の特性をもつフィルタにより、図４（ｇ）および図４（ｊ）のように分離することで、それぞれ抽出成分情報、抽出外成分情報を取得するようにしても良い。
【００４８】
また、図５のように、帯域分割を繰り返し、必要な周波数帯域の信号成分情報を抽出するようにしても構わない。例えば、図５（ａ）の領域５１１は、図４（ｆ）を求めた後、図４（ｂ）の帯域分割により図４（ｅ）に含まれる周波数成分情報を除くことで抽出成分情報を取得し、それ以外の周波数成分情報を含むものを抽出外成分情報として取得するようにしても良い。同様に、図５（ｂ）と（ｅ）、図５（ｃ）と（ｆ）、図６（ａ）と（ｄ）、図６（ｂ）と（ｅ）、図６（ｃ）と（ｆ）、等のような周波数成分情報を含む抽出成分情報および抽出外成分情報を取得するようにしても構わない。
【００４９】
更に、図７で示されるように、複数の周波数帯域の周波数成分情報を含むように信号成分情報を抽出するようにしても良い。例えば、図７（ａ）の領域７１１は、図４（ｅ）と同様の方法で抽出し、領域７１２は、図５（ｂ）と同様の方法で抽出し、それぞれを加えた周波数成分情報を含むものを抽出成分情報として取得し、それ以外のものを抽出外成分情報として取得するようにしても良い。同様に、図７（ｂ）と（ｇ）、図７（ｃ）と（ｈ）、図７（ｄ）と（ｉ）、図７（ｅ）と（ｊ）、等のような周波数成分情報を含む抽出成分情報および抽出外成分情報を取得するようにしても構わない。
【００５０】
図３から図７で示されているような信号成分情報を抽出することで、抽出成分情報および抽出外成分情報を生成することで、その後の類似成分特定処理や、位置合わせ合成処理において、参照側の信号から、本来の画像に近づけるための、より確からしい信号成分を含む領域の位置を探索により特定しやすくする効果が得られる。
【００５１】
例えば、処理対象となる入力画像に含まれる信号成分の特徴として、低周波数帯域側に含まれる信号成分には、若干の誤差があるものの、本来の画像に含まれる信号成分に類似したものが多く、高周波数帯域側に含まれる信号成分には、ノイズ等により大きく劣化した信号成分が多く含まれる場合を考える。このような場合、周波数全体の信号成分を含む画像を利用して類似成分を特定するための探索をすると、周波数全体の信号成分を含む画像は、劣化した信号成分の影響から、本来の画像の特徴とは異なった画像となる。このため、探索の結果、参照側から、この特徴の異なった画像に含まれる信号成分に最も近いものを含む、別の位置の領域を特定してしまう。このような探索による異なる領域の特定を回避するために、この例では、図３の領域３３１と領域３３２とのように、それぞれの周波数帯域に含まれる信号に分離し、領域３３１に含まれる信号成分を抽出成分情報とし、参照側も同様に領域３３１に含まれる信号成分として探索することで、探索時に大きな影響を与えていた領域３３２に含まれる信号成分を除外して探索することが可能となる。これにより、参照側から、単に信号成分間の誤差が最も少ないものを特定するのではなく、本来の画像に近づけるための、より確からしい信号成分を含む領域の位置を探索により特定することが可能となる。
【００５２】
また、この例では、低周波数帯域側には若干の誤差が含まれていると仮定したが、抽出成分情報の再構成処理、つまり類似成分特定処理、位置合わせ合成処理、帯域抑制処理を経て帯域制限された合成成分情報を生成し、これを新たな抽出成分情報として、この再構成処理を繰り返すことで、回を重ねるごとに抽出成分情報の品質を向上させることができる。これは、抽出成分情報の品質が向上することで探索結果の精度が高まり、より確からしい信号成分を特定することが可能となり、結果として、さらに抽出成分情報の品質を向上させることができるようになるためである。これを所定の条件を満たすまで繰り返すことで、この処理ループの出力結果である、低周波数成分において画像品質が向上した合成成分情報が得られる。ここで、最終的に収束した位置情報を再利用できるように予測位置情報として格納しておくように構成すると更によい。
【００５３】
更に、例えば、この画像品質が向上した合成成分情報と、処理対象側の領域３３２の周波数帯域に含まれる信号成分からなる抽出外成分情報を合成することで、再構成信号を生成し、この再構成信号を新たな初期の入力信号として、再構成信号の再構成処理を繰り返すことを考える。このような例では、新たな初期の入力信号である再構成信号は、図３の領域３３１の周波数帯域に含まれる信号成分の品質が向上しているため、探索の際に、より確からしい信号成分を特定しやすくなる。さらに、前回の抽出成分情報の再構成処理の繰り返しにより、最終的に収束した位置情報である予測位置情報を利用することが可能になる。
【００５４】
よって、例えば、この予測位置情報を起点として、探索時の探索範囲を狭めに設定することで、仮に、図３の領域３３１の周波数帯域を少し高周波数成分側に広げて、再構成信号から抽出される抽出成分情報に、画質劣化を与える信号成分を取り込んだとしても、比較的確からしい信号成分で収束させた予測位置情報を起点として探索することにより、本来必要とする位置から全く異なる位置を検出することなく、参照側から必要とする領域を特定することができる。そして、この再構成処理を繰り返すことで、取り込んだ画質劣化を与える信号成分を、本来の信号成分に近づけながら、抽出成分情報の品質を向上させることができる。
【００５５】
更に、例えば、再構成信号の再構成処理を繰り返す際に、再構成信号から抽出成分情報を抽出する際に、回を重ねるごとに、図３の領域３３１の周波数帯域を少しずつ高周波数成分側に広げて抽出成分情報を生成するように構成することで、高周波数成分側から少しずつ画質劣化を与える信号成分を取り込みながら、画質を改善させることができる。
【００５６】
つまり、再構成信号の再構成処理を繰り返す際に、例えば、図４で示されるように、初めは図４（ｂ）のように周波数帯域を分割し、図４の領域４３１に含まれる信号成分を抽出成分情報として、必要に応じて予測位置情報を利用しながら、抽出成分情報の再構成処理をして、再構成信号を生成する。次の繰り返しでは、図４の領域４３２に含まれる信号成分を抽出成分情報として、必要に応じて予測位置情報を利用しながら、抽出成分情報の再構成処理をして、再構成信号を生成する。更に、その次の繰り返しでは、図４の領域４３３を利用するといった具合に、所定の周波数帯域を適応的に切り替えながら抽出成分情報を生成し、再構成信号を生成するように構成することで、繰り返し回数を抑制しながら、画質を改善させることができる。
【００５７】
ここでは、領域４３１、領域４３２、領域４３３の順に適用して、周波数帯域に含まれる信号成分を抽出して抽出成分情報を生成しているが、特にこの適用順に限定されるわけではない。例えば、図４において、ｆ１からｆ２の間の周波数帯域に含まれる信号成分が比較的大きく劣化を伴っており、また、ｆ２からｆ３の間の周波数帯域に含まれる信号成分は比較的劣化が少なく、本来の画像としての特徴を表す信号成分を多く含むような場合には、領域４３１を適用後、先に領域４３３を適用し、その後、必要であれば領域４３２を適用するように構成することで、異なる位置からの信号成分の利用を抑制し、より確からしい位置からの再構成処理を維持することが可能となる。この結果、再構成信号全体の画質を改善させることができる。
【００５８】
また、図５に示されるように、例えば、再構成信号の再構成処理を繰り返す際に、画質改善された周波数帯域の信号成分とは異なる信号成分を再構成信号から抽出して抽出成分情報を生成し、必要に応じて予測位置情報を利用しながら、抽出成分情報の再構成処理をして、再構成信号を生成する。これにより、画質劣化を与える信号成分に対する再構成処理を繰り返す際に、既に画質改善された周波数帯域の信号成分に悪影響を与えることを抑制しつつ、再構成信号全体の画像品質を向上させることができる。
【００５９】
つまり、例えば、図５のように、初回の再構成信号が生成された後、領域５１１の周波数帯域に含まれる信号成分を抽出して抽出成分情報を生成し、必要に応じて予測位置情報を利用しながら、抽出成分情報の再構成処理をして、再構成信号を生成する。次の繰り返しにおいて、５１２の周波数帯域に含まれる信号成分を抽出して抽出成分情報を生成し、必要に応じて予測位置情報を利用しながら、抽出成分情報の再構成処理をして、再構成信号を生成する。さらに次の繰り返しにおいて、領域５１３の周波数帯域に含まれる信号成分を抽出して抽出成分情報を生成し、必要に応じて予測位置情報を利用しながら、抽出成分情報の再構成処理をして、再構成信号を生成する。これにより、既に画質改善された信号成分に悪影響を与えることを抑制しながら再構成信号全体の画像品質を向上させることができる。
【００６０】
ここでは、領域５１１、領域５１２、領域５１３の順に適用して、周波数帯域に含まれる信号成分を抽出して抽出成分情報を生成しているが、特にこの適用順に限定されるわけではない。例えば、領域５１１の周波数帯域に含まれる信号成分が比較的大きく劣化を伴っている場合には、領域５１２、領域５１３を適用した後に領域５１１を適用するようにしても構わない。
【００６１】
また、例えば、図６に示されている周波数帯域に含まれる信号成分において、ｆ０からｆ１までが一番元の画像の特徴を示す信号成分を多く含み、次にｆ１からｆ２、ｆ３からｆｍａｘ、最も劣化を伴っている信号成分を多く含むものがｆ２からｆ３であったとする。例えば、まずｆ０からｆ１までの周波数帯域に含まれる信号成分から抽出して抽出成分情報を生成し、抽出成分情報の再構成処理を繰り返した後に、再構成信号を生成する。その後、領域６１１、領域６１２を適用して同様に再構成信号を生成した後に、領域６１３を適用するようにしても構わない。このようにすることで、最も劣化を伴っているｆ２からｆ３の周波数帯域に含まれる信号成分の画質を改善する際に、ｆ１からｆ２までに含まれる信号成分を伴って再構成処理をした場合と、ｆ３からｆｍａｘまでに含まれる信号成分を伴って再構成処理をした場合とは、探索時に特定される位置が異なることから、これらを組み合わせて再構成処理を繰り返すことにより、それぞれ特徴のある異なった画質の改善がみられるようになる。これにより、劣化を伴った信号成分の画質改善において、より良い効果が得られるようになる。
【００６２】
更に、例えば、図７に示されるように、複数の周波数帯域に含まれる信号成分を抽出して抽出成分情報を生成し、再構成処理をするように構成することもできる。このようにすることで、探索時に、より確からしい位置を特定しやすくなるような元の画像の特徴を多く含む信号成分を抽出成分情報に取り込むことで、より早く予測位置情報を収束させることができる。さらに、劣化が比較的少ない信号成分を、より確からしい位置から再構成処理をすることにより、より良く画質を改善することが可能となる。
【００６３】
また、例えば、再構成信号の再構成処理を繰り返す際に、繰り返すごとに選択する複数の周波数帯域を変更し、この複数の周波数帯域に含まれる信号成分を再構成信号から抽出して抽出成分情報を生成し、必要に応じて予測位置情報を利用しながら、抽出成分情報の再構成処理をして、新たな再構成信号を生成する。これにより、劣化の少ない信号成分を確定しつつ、劣化を含む信号成分を抽出成分情報に取り込みながら画質改善することが可能となる。さらに、より確からしい位置の信号成分を利用して、劣化を含む信号成分の再構成処理をすることにより、再構成信号全体に対して、より良く画質を改善することが可能となる。
【００６４】
例えば、図７の領域７１１と領域７１２、領域７１３と領域７１４、領域７１５と領域７１６、領域７１７と領域７１８、領域７１９と領域７２０といった複数の周波数帯域に含まれる信号成分を順に適用して、再構成信号から複数の周波数帯域に含まれる信号成分を抽出して抽出成分情報を生成し、抽出成分情報の再構成処理を行い、再構成信号を生成することを繰り返すように構成しても構わない。また、ここではこの適用順を特に限定するわけではない。
【００６５】
第１成分抽出部１０５および第２成分抽出部１０６に対して管理情報として供給される、抽出アルゴリズム判別情報、抽出補助情報は、例えば、図８に示されるようなデータ構造であっても構わない。例えば、抽出アルゴリズム判別情報には、テーブル８０１のように固有の識別番号が与えられることでデータ構造を識別し、その後のＩｎｄｅｘ情報に基づいて抽出アルゴリズムを特定できるようなデータ構造であると良い。Ｉｎｄｅｘ情報と実際の抽出アルゴリズムとの関連付けは、テーブル８０２のようなテーブルによって定義されていると良い。また、抽出補助情報は、抽出アルゴリズム判別情報で特定されたアルゴリズムのＴｙｐｅに応じて、異なるデータ構造をとることができるようにすると良い構成となる。例えば、テーブル８０１のＩｎｄｅｘが１であるとすると、アルゴリズムのＴｙｐｅはＡ１である。このような場合に対となる抽出補助情報は、テーブル８１１のように固有の識別番号が与えられることでデータ構造を識別し、その後のＩｎｄｅｘ情報に基づいて抽出対象となる周波数帯域を特定できるようなデータ構造であると良い。Ｉｎｄｅｘ情報と実際の周波数帯域に関する情報との関連付けは、テーブル８１２のようにテーブルによって定義されていると良い。また、テーブル８０１のＩｎｄｅｘが３３であるとすると、アルゴリズムのＴｙｐｅはＢ１である。このような場合に対となる抽出補助情報は、テーブル８２１のような構造であると良い。このテーブル８２１の構造は、抽出対象となる周波数帯域に含まれる周波数帯域の数に関する情報と、それぞれの周波数帯域の下限値および上限値に関する情報が、含まれる周波数帯域の数の分だけ含まれるようにすると良い。
【００６６】
抽出補助情報に格納される情報において、図８で示されたデータ構造はあくまで一例であり、抽出アルゴリズム判別情報によって特定されたアルゴリズムが抽出すべき周波数成分情報や周波数帯域を特定することができる情報であれば特に限定されるものではない。例えば、一般的なガウシアンフィルタやＬａｎｃｚｏｓフィルタを利用するようなアルゴリズムであれば、周波数窓を制御するためのパラメータや、フィルタの位相を制御するためのパラメータを更に含むようなデータ構造であると良い。また、ウェーヴレットフィルタを利用するようなアルゴリズムであれば、周波数成分に対するオクターブ分割もしくはサブバンド分割の階数や、処理対象となるサブバンドを特定するための情報を更に含むようなデータ構造であると良い。
【００６７】
また、抽出アルゴリズム判別情報や抽出補助情報の表現形式は、図８のような固定長符号等を利用しているが、これらは特に限定されるものではなく、他の可変長符号で表現するようにしても構わない。また、データ構造の識別方法に関しても、別の異なる識別方法を採用しても構わない。
【００６８】
次に、類似成分特定部１０９における類似成分特定処理の詳細を以下に説明する。図９は、類似成分特定部１０９内の第１の探索部が、現在処理対象となっている信号中の、現在処理対象となっている領域に含まれる信号に最も類似した信号成分が、現在参照対象となっている信号において、どの部分に対応するかを探索によって特定し、対応関係を表す位置情報を生成する様子の一例を示す概念図である。
【００６９】
図９（ａ）において、領域９０１は、現在処理対象となっている信号であり、領域９０２は、その信号中で、現在処理対象となっている領域を表している。ここで、領域９０２は、矩形で表現されているが、所定の形状の領域であれば良い。例えば、あらかじめ矩形領域９０１の信号に対して所定のセグメンテーション手段や分割手段によって領域分割され、それぞれの領域に対して所定の順序で現在処理対象となる領域を特定するようにしても構わない。ここでは、領域９０１の信号を隙間無く所定の矩形形状で分割し、図９（ａ）の矢印のように、左上からラスタ順で現在処理対象となる領域を順番に特定するものとして話を進める。
【００７０】
図９（ｂ）において、領域９０３は、現在参照対象となっている信号であり、領域９０４は、領域９０３の面内空間において、領域９０２と同じ面内空間位置にある領域を表している。この位置を、探索の基準位置とする。また、この基準位置に基づいて領域９０５のような所定の探索領域を設定する。
【００７１】
類似成分特定部１０９における類似成分特定処理は、例えば、図９（ｃ）の概念図で示されるような処理をするようにすると良い。参照対象となっている信号９０３の探索領域９０５内で、領域９０６のように順番に参照領域の位置を変化させながら、領域９０６に含まれる信号成分と、処理対象となっている領域９０２に含まれる信号成分とを順次比較し、最も類似している信号成分を含む位置の領域を特定する。ここでは、９０７の位置の参照領域に含まれる信号成分が最も類似しているものしている。このように特定された領域９０７と、基準位置９０４との間の面内空間位置の距離を求めて、領域９０２と領域９０７との対応関係を表す位置情報とすることで、類似成分を特定すると良い。
【００７２】
ここで、類似成分特定処理における信号成分の類似度の判定には、信号間の距離を測定する方法による結果を利用すれば良く、例えば、信号間の差分の絶対値和（ＳＡＤ）、信号間の差分の二乗和（ＳＳＤ）、周波数変換後の信号間の差分の絶対値和（ＳＡＴＤ）、平均平方誤差（ＭＳＥ）、平均平方二乗誤差（ＲＭＳＥ）、等の方法を利用すると良い。このような方法により、参照側の領域に含まれる信号成分と処理対象側の領域に含まれる信号成分との間の誤差を、参照側の領域の位置を変えながらそれぞれ測定し、誤差が最も小さくなる領域の位置を特定する。
【００７３】
また、類似成分特定処理における、このような探索をする際の位置精度は、ここでは１画素精度での探索として図示しているが、特に限定されるものではなく、１／２、１／４、１／８などの１画素精度以下で探索するように構成しても構わない。また、処理量を軽減するため、大まかな探索をした後に、細かい精度で特定された領域の周辺を再度探索するような、階層的な探索をするように構成しても構わない。
【００７４】
更に、別の一例として、類似成分特定処理における類似領域までの距離および信号成分の類似度の判定には、例えば、オプティカルフロー検出、またその代表的な手法である勾配法によって特定されるように構成することもできる。例えば、勾配法に代表される方法として、Lucas-Kanade Methodを利用して、対象領域周辺の信号成分情報の変化量の状態（勾配分布）を検出し、この勾配分布に最も類似する位置を探索によって特定するように構成しても構わない。
【００７５】
このような勾配法による位置の探索は、一般に、探索対象となる信号が、連続性のある、比較的滑らかな信号である場合に、より有効である。したがって、本実施の形態においてこのような勾配法による位置の探索を採用した構成とすることで、抽出成分情報を生成する際に、連続性のある比較的滑らかな信号成分を含むように、所定の周波数帯域を設定する。これにより、精度の高い位置特定が可能となり、再構成信号全体に対して、より良く画質を改善することが可能となる。
【００７６】
ここでは一例としてLucas-Kanade Methodを挙げたが、この方法に特に限定されるわけではなく、対象領域周辺の信号成分情報の変化量を利用した、他の探索方法を採用した構成としても構わない。
【００７７】
次に、位置合わせ合成部１１０における位置合わせ合成処理の詳細を以下に説明する。図１２は、位置合わせ処理の一例を説明するための概念図である。
【００７８】
図１２において、領域９０２は、現在処理対象となっている信号９０１の、現在処理対象となっている領域であり、領域９０７は、実施の形態に係る類似成分特定処理によって特定された位置情報に基づいて、領域９０２との面内空間位置の位置関係から特定された、領域９０２に含まれる信号成分に最も類似した信号成分を含む領域であるものとする。
【００７９】
このような領域９０７に含まれる信号を、位置合わせ合成部１１０内の第２の探索部によって、貼り付けた位置の周辺の信号成分と最も適合する位置を高精度な貼り付け位置の探索をする。これにより、領域９０２およびその周辺の領域内の最も適した位置を特定し、信号成分を貼り付ける。このように、信号の位置合わせを伴って信号成分を貼り付けると良い。ここで、図１２の領域１２０１のように、高精度な貼り付け位置の探索をする際の探索範囲を設定できるようにすると良い。その後、貼り付けられた信号成分と、領域９０２およびその周辺領域に含まれる信号成分から、信号成分に対する所定の位置合わせ合成処理を行い、元の信号のサンプリング間隔以上の細かさで表現された合成成分情報を生成すると良い。
【００８０】
本実施の形態に係る位置合わせ合成処理における、高精度な貼り付けをする際の位置精度は、例えば、図１３で示されるように、信号のサンプル間隔を、元の信号のサンプリング間隔以上の細かさで表現されたグリッドを仮想的に定義し（以後、仮想的に定義されたグリッドを「仮想グリッド」という。）、この仮想グリッドの間隔をより細かくすることで、より高い位置精度を実現できるようにすると良い。図１３（ａ）は、サンプリング間隔が１の場合の例を示したものである。ここで、サンプリング間隔が１であるとは、サンプリング間隔の基準となる信号のサンプリング間隔を１としたものと等しい間隔であることを意味し、図１３の例では、信号のサンプリング１３０１の間隔と同じ間隔であることを意味する。サンプリング１３０１は、領域９０２に含まれる信号成分の各サンプルであり、この各サンプルの間隔は１であるものとすると、サンプリング１３０１の各サンプルは、サンプル間隔が１である仮想グリッド１３０２上に対して、サンプリング１３０３のように配置される。また、他の例としては、図１３（ｂ）のように、サンプリング間隔が１／４となるように仮想グリッド１３０４を設定すると、サンプリング１３０１の各サンプルは、仮想グリッド１３０４上に対して、サンプリング１３０５のように配置される。ここでは、サンプリング１３０５のような仮想グリッドおよび配置として話を進めるが、サンプリング間隔を１／８、１／１６などのより細かな間隔の仮想グリッドを設定することで、より高精度の位置合わせ処理が可能となる。
【００８１】
図１４は、参照側の信号を処理対象となっている信号の位置合わせをして、合成成分情報を生成する過程を表す概念図である。サンプリング１４０１は、参照側の特定された領域９０７に含まれる信号成分の各サンプルである。また、サンプリング１３０５は、現在処理対象となっている領域９０２に含まれる信号成分の各サンプルを１／４のサンプリング間隔とした仮想グリッド上に配置した、参照側で特定された領域９０７に含まれる信号成分の各サンプルである。
【００８２】
サンプリング１４０１のサンプル間の間隔は、処理対象となっている信号のサンプル間の間隔と等しいため、サンプリング１３０５のようなサンプル間の間隔と同様の間隔をもつ信号であるとし、サンプリング１３０５上の仮想グリッド上で、位置合わせ合成部１１０内の第２の探索部が、高精度な貼り付け位置の探索をすることで、サンプリング１４０２のように参照側の信号のサンプリング１４０１を仮想グリッド上に貼り付ける。
【００８３】
ここで、位置合わせ合成部１１０内の第２の探索部による高精度な貼り付け位置の探索処理は、例えば、以下のようにすると良い。まず、サンプリング１３０５のように、配置されたサンプルとサンプルとの間の信号成分を、所定の補間処理によって補間信号成分をあらかじめ生成しておく。この所定の補間処理は、一般的な低域通過フィルタを利用する信号の補間処理であれば良く、例えば、sinc関数やLanczos関数に基づいたフィルタによる補間処理であっても良い。また、他の補間処理、例えば、周波数応答が全帯域にわたって平坦かつ急峻な遮断周波数特性を持つように設計されたＦＩＲおよびＩＩＲフィルタを用いても良い。また、Nearest-neighbor法、Bilinear法、Bicubic法、Spline法、などに基づいたフィルタを用いて処理を軽減させても構わない。このようにあらかじめ仮想グリッド上に処理対象側の信号から生成された補間信号成分を配置しておき、位置合わせ合成部１１０内の第２の探索部が、参照側の信号成分と最も類似した信号成分のある位置を特定し、サンプリング１４０１を貼り付けるようにすると良い。
【００８４】
その後、サンプリング１４０２のような不等間隔の信号成分に対して、所定の点広がり関数（ＰＳＦ）に基づく、各サンプル間の影響を考慮しながら、所定の信号成分のリサンプリング処理をして、例えば、合成成分情報１４０３のようなサンプリング間隔の信号を合成する。ここでは、サンプリング間隔を１／２として信号を合成しているが、サンプリング間隔は１以下であれば良く、このような信号を、合成成分情報１４０３としている。
【００８５】
ここで、参照側の信号成分の貼り付け位置の特定は、貼り付け位置として本来の信号としてふさわしい位置が特定できればよく、上述の例に特に限定されない。例えば、貼り付け位置の特定をより高精度にするために、領域９０２に含まれる信号成分および領域９０７に含まれる信号成分に対してフーリエ変換などの周波数変換をすることで、周波数スペクトル情報と位相情報を求める。参照側の信号の位相を、処理対象側の信号の位相に合せた後、仮想グリッド上の配置したい位置の信号成分となるように参照側の信号成分の位相を変更して逆フーリエ変換などの逆周波数変換をする。配置したい位置の信号成分のサンプルを所定の信号成分の補間処理、およびリサンプリング処理によって生成し、配置するようにしても構わない。また、必要であれば、これらの処理を選択できる構成として、処理ごとに切り替えられるようにしても良い。
【００８６】
図１５は、より細かいサンプリング間隔で表現された信号に対して、帯域抑制部１１１により、信号の周波数帯域抑制をして、帯域制限された合成抽出成分情報を生成する様子を表す概念図である。
【００８７】
帯域抑制部１１１は、合成成分情報１４０３に対して、所定のローパスフィルタを利用してフィルタリング処理をすることにより、帯域制限された信号１５０１を生成する。ここで、利用するフィルタは、例えば、sinc関数やLanczos関数に基づいたフィルタ、周波数応答が全帯域にわたって平坦かつ急峻な遮断周波数特性を持つように設計されたＦＩＲおよびＩＩＲフィルタを用いると良い。また、Nearest-neighbor法、Bilinear法、Bicubic法、Spline法、などに基づいたフィルタを用いて処理を軽減させても構わない。
【００８８】
このような帯域抑制された合成成分情報１５０１を生成し、この合成成分情報を含む信号を、新たな処理対象となる信号とする。同様の処理を、合成成分情報の信号成分の変動が所定の範囲内となるまで繰り返すことで超解像処理をして、信号を再構成する。
【００８９】
本実施の形態における、このような超解像処理における各処理は、他の超解像処理で行われる同様の処理に置き換えても構わない。他の超解像処理においては、一般に、超解像処理による画像の高解像度化は、単に位置ずれがある等といった、比較的画像間の相関が高い複数の低空間解像度画像から１枚の高空間解像度画像を推定することによって行われる。これらの技術は、近年数多くの研究で報告されている。
【００９０】
例えば、ＭＬ(Maximum-likelihood)法というものが提案されている。このＭＬ法では、高空間解像度画像から推定された低空間解像度画像の画素値と実際に観測された画素値の二乗誤差を評価関数とし、評価関数を最小化するような高空間解像度画像を推定画像としている。この方法は、最尤推定の原理に基づいて超解像処理をする方法である。
【００９１】
また、ＭＡＰ(Maximum A Posterior)法というものが提案されている。ＭＡＰ法では、二乗誤差に高空間解像度画像の確率情報を付加した評価関数を最小化するような高空間解像度画像を推定する。この方法は、高空間解像度画像に対する何らかの先見情報を利用して、事後確率を最大化する最適化問題として高空間解像度画像を推定する超解像処理方法である。
【００９２】
さらに、ＰＯＣＳ(Projection Onto Convex Sets)法というものが提案されている。このＰＯＣＳ法では、高空間解像度画像と低空間解像度画像の画素値に関して連立方程式を作成し、その方程式を逐次的に解くことにより、高空間解像度画像を得る超解像処理方法である。以上のような超解像処理を本発明に適用することで、更に良い構成とすることが可能となる。
【００９３】
次に、図１に示す本実施の形態１の信号処理装置１００の基本動作を、図２のフローチャートを参照しながら説明する。
【００９４】
まず、統合制御部１１６は、ユーザ等から信号処理開始要求信号を受けると、各部に対して信号処理開始指令を送る。
【００９５】
第１制御部１０７は、統合制御部１１６からの指令に従い、スイッチ１０３、１０４を接続し、スイッチ１１５を切断する（ステップＳ１０１）ことで、入力信号および出力信号を制御する。その後、並列処理として第１処理および第２処理に分岐する。ここでは、処理を並列処理によって行うものとして説明しているが、例えば、第１処理の後に第２処理、または第２処理の後に第１処理、もしくは第１処理と第２処理の各ステップを交互に実行するなどといった、順次処理となるように動作させることも可能である。
【００９６】
第１処理は、ステップＳ１０２からステップＳ１０６までの処理をする。まず、第１制御部１０７は、第１成分抽出部１０５に対して周波数成分の抽出を制御するための情報である抽出アルゴリズム判別情報および抽出補助情報を供給し、格納されている情報を更新する（ステップＳ１０２）。
【００９７】
次に、第１成分抽出部１０５は、処理対象となる入力信号の取得もしくは更新をするため、スイッチ１０３が接続されている場合には、スイッチ１０３を介して第１入力１０１である処理対象となる入力信号を取得する。スイッチ１０３が切断され、スイッチ１１５が接続されている場合には、スイッチ１１５を介して合成部１１３から再構成信号を取得し、次の処理対象となる入力信号として更新する（ステップＳ１０３）。
【００９８】
次に、第１成分抽出部１０５は、取得した抽出アルゴリズム判別情報に基づいて成分抽出処理を特定する。第１成分抽出部１０５は、抽出補助情報に基づいて抽出対象となる信号成分を特定した後に、取得した処理対象となる入力信号に対して、特定された成分抽出処理をする（ステップＳ１０４）。この処理によって処理対象となる入力信号の抽出成分情報を生成するとともに、この抽出成分情報以外の成分を、抽出外成分情報として生成することで、信号成分を分離する（ステップＳ１０５）。
【００９９】
処理対象となる入力信号に対する成分抽出処理が完了すると、第１制御部１０７は、スイッチ１０３を切断する（ステップＳ１０６）。その後、第１処理および第２処理が完了するまで待機する。
【０１００】
第２処理は、ステップＳ１０７からステップＳ１１１までを処理する。まず、第１制御部１０７は、第２成分抽出部１０６に対して周波数成分の抽出を制御するための情報である抽出アルゴリズム判別情報および抽出補助情報を供給し、格納されている情報を更新する（ステップＳ１０７）。
【０１０１】
次に、第２成分抽出部１０６は、参照対象となる入力信号の取得もしくは更新をするため、スイッチ１０４が接続されている場合には、スイッチ１０４を介して第２入力１０２である参照対象となる入力信号を取得もしくは更新する（ステップＳ１０８）。
【０１０２】
次に、第２成分抽出部１０６は、取得した抽出アルゴリズム判別情報に基づいて成分抽出処理を特定し、抽出補助情報に基づいて抽出対象となる信号成分を特定する。その後、取得した参照対象となる入力信号に対して、特定された成分抽出処理をする（ステップＳ１０９）。この処理によって、第２成分抽出部１０６は参照対象となる入力信号の抽出成分情報を生成するとともに、この抽出成分情報以外の成分を、抽出外成分情報として生成することで、信号成分を分離する（ステップＳ１１０）。
【０１０３】
参照対象となる入力信号に対する成分抽出処理が完了すると、第１制御部１０７は、スイッチ１０４を切断する（ステップＳ１１１）。その後、第１制御部１０７は第１処理および第２処理が完了するまで待機する。
【０１０４】
第１処理および第２処理が完了すると、第１制御部１０７は、帯域抑制部１１１に対して、帯域抑制アルゴリズム判別情報と帯域抑制補助情報とを供給し、帯域抑制情報を更新する（ステップＳ１１２）。
【０１０５】
その後、統合制御部１１６は、第２制御部１１４に処理開始指令を送る。
【０１０６】
第２制御部１１４は、統合制御部１１６からの指令に応じて、スイッチ１０８を端子ａに接続する（ステップＳ１１３）。
【０１０７】
次に、類似成分特定部１０９は、スイッチ１０８を介して第１成分抽出部１０５から処理対象となる抽出成分情報を取得するとともに、第２成分抽出部１０６から参照対象となる抽出成分情報を取得する（ステップＳ１１４）。
【０１０８】
類似成分特定部１０９に各抽出成分情報が供給されると、第２制御部１１４は、スイッチ１０８を端子ｂ、スイッチ１１２を端子ａに接続する（ステップＳ１１５）。
【０１０９】
次に、類似成分特定部１０９は、処理対象となる抽出成分情報を更新する（ステップＳ１１６）。ここで、帯域抑制部１１１の処理が完了し、新たに帯域制限された合成抽出成分情報が生成されている場合には、類似成分特定部１０９は、端子ａに接続されたスイッチ１１２および端子ｂに接続されたスイッチ１０８を介して取得し、これを処理対象となる抽出成分情報として更新する。新たに帯域制限された合成抽出成分情報が生成されていない場合には、類似成分特定部１０９は、端子ａに接続されたスイッチ１０８から取得した抽出成分情報を処理対象となる抽出成分情報として更新する。
【０１１０】
その後、類似成分特定部１０９は、第２成分抽出部１０６から、参照対象となる抽出成分情報を取得し、所定の処理単位で、所定の類似成分特定処理をする（ステップＳ１１７）ことで、処理対象となっている抽出成分情報に最も類似した信号成分が、参照側の抽出成分情報のどの部分に対応するかを特定し、対応関係を表す位置情報を生成する。
【０１１１】
その後、位置合わせ合成部１１０は、スイッチ１０８を介して処理対象となる抽出成分情報を取得し、第２成分抽出部１０６から参照対象となる抽出成分情報を取得する。また位置合わせ合成部１１０は、類似成分特定部１０９から各抽出成分情報間の対応関係を表す位置情報を取得する。位置合わせ合成部１１０は、取得した処理対象および参照対象となる抽出成分情報と、位置情報とを利用して、所定の位置合わせ合成処理をする（ステップＳ１１８）ことで、対応付けられた処理対象側の抽出成分情報と、参照側の抽出成分情報とを合成し、合成抽出成分情報を生成する。
【０１１２】
次に、帯域抑制部１１１は、位置合わせ合成部１１０から生成された合成抽出成分情報を取得する。そして、取得した帯域抑制アルゴリズム判別情報に基づいて、帯域抑制処理を特定するとともに、帯域抑制補助情報に基づいて特定された帯域抑制処理をする（ステップＳ１１９）ことで、合成抽出成分情報に対して、信号の周波数帯域抑制をして、帯域制限された合成抽出成分情報を生成する。
【０１１３】
その後、第２制御部１１４は、帯域抑制部１１１から帯域制限された合成抽出成分情報を取得するとともに、第１成分抽出部１０５から処理対象となっている抽出成分情報を取得する。そして、少なくとも、取得した抽出成分情報、合成抽出成分情報、および管理情報に基づいて、第２制御部１１４は、繰り返し処理が完了したかを判定する（ステップＳ１２０）ことで、所定の繰り返し条件を満たすまで、合成抽出成分情報の再構成処理を繰り返すか、結果を各部に供給するかを判定する。
【０１１４】
繰り返し処理が完了したと判定された場合（ステップＳ１２０でＹＥＳ）、第２制御部１１４は、スイッチ１１２を端子ｂに接続する（ステップＳ１２１）。繰り返し処理が完了していないと判定された場合（ステップＳ１２０でＮＯ）、ステップＳ１１６に戻る。
【０１１５】
ステップＳ１２０で繰り返し処理が完了したと判定され、ステップＳ１２１でスイッチが切り替えられると、合成部１１３は、端子ｂに接続されたスイッチ１１２を介して帯域抑制部１１１から合成抽出成分情報を取得し、処理後の抽出成分情報とするとともに、第１成分抽出部１０５から、抽出外成分情報を取得する。そして、取得した抽出成分情報と抽出外成分情報とを所定の合成処理により合成する（ステップＳ１２２）ことで、再構成信号を生成する。
【０１１６】
その後、統合制御部１１６は、統合管理情報に基づいて、本実施の形態の再構成処理が完了したかを判定する（ステップＳ１２３）。
【０１１７】
再構成処理が完了したと判定された場合（ステップＳ１２３でＹＥＳ）、ステップＳ１２４に進む。再構成処理が完了していないと判定された場合（ステップＳ１２３でＮＯ）、ステップ１０１の後に行われる並列処理である第１処理および第２処理に戻る。
【０１１８】
再構成処理が完了したと判定された後、統合制御部１１６は、統合管理情報に基づいて、異なる参照信号を利用するかを判定する（ステップＳ１２４）。
【０１１９】
異なる参照信号を利用すると判定された場合（ステップＳ１２４でＹＥＳ）、統合制御部１１６は、第１制御部１０７に指令を送り、第１制御部１０７は、スイッチ１０４を接続し（ステップＳ１２５）、ステップ１０１の後に行われる並列処理である第１処理および第２処理に戻る。異なる参照信号を利用しないと判定された場合（ステップＳ１２４でＮＯ）、統合制御部１１６は、第１制御部１０７に指令を送り、スイッチ１１５を端子ｂに接続し、結果を出力する（ステップＳ１２６）。
【０１２０】
以上のようなステップを経ることで、本実施の形態の一連の基本動作が終了する。
【０１２１】
このように、所定の超解像処理を開始する際の、初期の基準信号を、現在処理対象となっている領域に含まれる信号に対し、所定の周波数通過帯域に含まれる周波数による信号（抽出成分情報）と、それ以外の信号（抽出外成分情報）とに分離する。分離した抽出成分情報を新たな初期の基準信号とし、所定の超解像処理をして信号を再構成することで、含まれる信号成分ごとに、参照側からより有効な貼り付け対象となる信号を所定の探索部が特定する。特定した貼り付け対象となる信号に対して、より高精度な位置合わせ合成処理をすることで、他の信号成分が含まれることによる、意図しない位置からの信号成分の混入を抑制し、信号成分ごとに、本来あるべき画像の特徴に近い画像を生成することができる。
【０１２２】
また、所定の超解像処理をすることで処理対象となった抽出成分情報の再構成後の抽出成分情報を生成し、その後、処理対象側の抽出外成分情報と合成し、これを新たな処理対象となる信号として本実施の形態の処理を繰り返すようにしたことにより、繰り返し回数を重ねるごとに、より確からしい信号成分が増加する。これにより、所定の探索や位置合わせ合成処理において、更に意図しない位置からの信号成分の混入を抑制し、本来あるべき画像の特徴に近い画像を生成することができる。
【０１２３】
（実施の形態２）
本発明の実施の形態１において、第１制御部１０７、第２制御部１１４、および統合制御部１１６の各部の制御方法を変更することで、主に類似成分特定部１０９、位置合わせ合成部１１０の各部の動作を変更するとともに、合成部１１３を機能させないようにすることで、実施の形態２とすることができる。
【０１２４】
第１制御部１０７、第２制御部１１４、および統合制御部１１６の制御に基づいて、類似成分特定部１０９は、処理対象となる信号の抽出成分情報と、参照側の抽出成分情報とから、類似成分特定部１０９内の第１の探索部が、対応関係を表す位置情報を求める。位置合わせ合成部１１０では、あらかじめスイッチ１０３を介して処理対象となる信号を取得するとともに、スイッチ１０４を介して参照対象となる信号を取得しておき、類似成分特定部１０９から生成された位置情報を取得する。この位置情報に基づいて、位置合わせ合成部１１０は、現在処理対象となっている、元の処理対象となる信号の領域と、元の参照対象となる信号の領域との対応関係を特定し、特定された元の参照対象となる信号の領域に含まれる信号成分を、位置合わせ合成部１１０内の第２の探索部が特定した貼り付け位置を利用して、所定の位置合わせ合成処理によって、元の処理対象となる信号成分と合成し、帯域抑制部１１１によって帯域抑制された合成抽出成分情報を生成することで、信号を再構成する。これを新たな処理対象となる信号として本実施の形態に係る処理を繰り返すことで、最終的な出力信号を生成する。
【０１２５】
このように、処理対象および参照対象となる信号に対して、成分抽出処理をして抽出成分情報を生成し、類似成分特定部１０９内の第１の探索部が処理対象側の抽出成分情報に対応する参照側の抽出成分情報の領域を特定し、位置合わせ合成部１１０内の第２の探索部が、処理対象となる信号における、特定された参照側の信号の高精度な貼り付け位置を特定する。特定された貼り付け位置に対して、特定された参照側の領域に含まれる元の信号を利用して信号を再構成するようにしたことで、抽出成分情報によって特定されたより正しい位置情報に基づいて特定された、参照対象となる信号の領域に含まれる信号成分を、より確からしい位置に貼り付けることが可能になり、意図しない位置からの信号成分の混入を抑制し、本来あるべき画像の特徴に近い画像を生成することができるようになる。
【０１２６】
（実施の形態３）
本発明の実施の形態１において、第１制御部１０７、第２制御部１１４、および統合制御部１１６の各部の制御方法を変更することで、主に類似成分特定部１０９、位置合わせ合成部１１０の各部の動作を変更するとともに、合成部１１３を機能させないようにすることで、実施の形態３とすることができる。実施の形態２とは、位置情報を、再構成後の抽出成分情報に基づいて特定する点で異なっている。
【０１２７】
まず、処理対象となっている信号を、抽出成分情報と、抽出外成分情報に分離し、参照対象となっている信号から抽出成分情報を抽出する。次に、類似成分特定部１０９は、処理対象となる信号の抽出成分情報と、参照側の抽出成分情報とから、類似成分特定部１０９内の第１の探索部が、対応関係を表す位置情報を求める。その後、位置合わせ合成部１１０は、位置情報を取得し、この位置情報に基づいて、現在処理対象となっている、処理対象側の抽出成分情報の領域と、参照側の抽出成分情報の領域との対応関係を特定し、特定された参照側の抽出成分情報の領域に含まれる信号成分を、位置合わせ合成部１１０内の第２の探索部が特定した貼り付け位置を利用して、所定の位置合わせ合成処理によって、処理対象側の抽出成分情報の信号成分と合成し、帯域抑制部１１１によって帯域抑制された合成抽出成分情報を生成することで、処理対象側の抽出成分情報を再構成する。ここまでの処理対象側の抽出成分情報の再構成をする処理を所定の条件を満たすまで繰り返すことで、再構成後の処理対象側の抽出成分情報を生成し、再度、参照側の抽出成分情報との間で所定の類似成分特定部１０９内の第１の探索部が、位置情報を特定する。
【０１２８】
位置合わせ合成部１１０では、あらかじめスイッチ１０３を介して処理対象となる信号を取得するとともに、スイッチ１０４を介して参照対象となる信号を取得しておき、類似成分特定部１０９によって、再構成された処理対象側の抽出成分情報に基づいて生成された位置情報を取得する。この位置情報に基づいて、位置合わせ合成部１１０は、現在処理対象となっている、元の処理対象となる信号の領域と、元の参照対象となる信号の領域との対応関係を特定し、特定された元の参照対象となる信号の領域に含まれる信号成分を、所定の位置合わせ合成処理によって、元の処理対象となる信号成分と合成し、帯域抑制部１１１によって帯域抑制された合成抽出成分情報を生成することで、信号を再構成する。これを新たな処理対象となる信号として本発明の処理を繰り返すことで、最終的な出力信号を生成する。
【０１２９】
このように、処理対象および参照対象となる信号に対して、成分抽出処理をして抽出成分情報を生成し、所定の超解像処理をすることで処理対象となった抽出成分情報の再構成後の抽出成分情報を生成する。その後、参照対象となる信号に対して、成分抽出処理をして抽出成分情報を生成し、類似成分特定部１０９内の第１の探索部が処理対象側の再構成後の抽出成分情報に対応する参照側の抽出成分情報の領域を特定し、位置合わせ合成部１１０内の第２の探索部が、処理対象となる信号における、特定された参照側の信号の高精度な貼り付け位置を特定し、特定された貼り付け位置に対して、特定された参照側の領域に含まれる元の信号を利用して信号を再構成する。これにより、再構成された処理対象側の抽出成分情報によって、より正しい位置情報を特定することが可能になるとともに、このより確からしい位置情報に基づいて特定される、参照対象となる信号の領域に含まれる信号成分を、より確からしい位置に貼り付けることが可能になり、意図しない位置からの信号成分の混入を抑制し、本来あるべき画像の特徴に近い画像を生成することができるようになる。
【０１３０】
（実施の形態４）
また、実施の形態４として、所定の第１、第２のいずれか、または全ての探索部は、現在処理対象となっている領域の一部もしくは全てを少なくとも含む領域を、テンプレートとして探索に利用するように構成しても構わない。
【０１３１】
例えば、図９で示されるように、類似成分特定部１０９内の第１の探索部が、探索対象となる領域を９０２とし、この領域をテンプレートとして、参照側の信号から、このテンプレート内に含まれる信号成分にもっとも類似している信号成分を含む領域を特定するようにすると良い。
【０１３２】
このように、現在処理対象となっている領域の一部もしくは全てを少なくとも含む領域を、テンプレートとして探索に利用することで、処理対象となる領域に含まれる信号成分を信頼できる基準として、忠実に探索処理を行い、参照側から最も類似した信号成分を含む領域を特定することができるようになる。
【０１３３】
（実施の形態５）
また、実施の形態５として、実施の形態４とは異なり、所定の第１、第２のいずれか、または全ての探索部は、現在処理対象となっている領域を含まず、現在処理対象となっている領域に隣接、もしくは所定の領域だけ離れた領域を、テンプレートとして探索に利用するように構成しても構わない。
【０１３４】
例えば、図１０に示されるように、現在処理対象となっている領域９０２の周囲の領域１００１をテンプレートとする。テンプレートと対象領域との面内位置の関係は、容易に特定できる関係となっている。この例では、テンプレート１００１の内部に探索対象となる領域９０２が含まれており、テンプレート１００１の位置が決まると、その内部の領域も同時に求まる。このようなテンプレートに含まれる信号成分に最も類似している、参照側のテンプレートに対応する領域を特定する。探索中のテンプレートは領域１００２であり、最も類似した信号成分を含むテンプレート領域は、図１０では、領域１００３であったとすると、テンプレートと探索対象となる領域との面内位置の関係から、実際に特定される処理対象側の領域９０２に対応する領域は、領域９０７となり、領域９０２と領域９０７との面内空間位置の関係から、位置情報９０８を生成することができる。
【０１３５】
テンプレートの領域の形状は、例えば、図１１に示されるような形状、および配置のテンプレート領域であっても構わない。また、図１１において、テンプレート領域を複数持つもの、例えば、図１１（ｅ）のように、探索対象となる領域９０２の上下左右の４つの領域の全てをテンプレートとして利用するようにしても良いし、その一部を利用するようにテンプレートを構成しても良い。また、テンプレートの各領域は、探索対象と隣接するようにしても良いし、所定の領域だけ離れた領域をテンプレートとしても良い。
【０１３６】
このように、探索部がテンプレートを利用し、このテンプレート領域に対応する領域を参照側から特定し、その後、テンプレートとの位置関係から、実際に求めたい処理対象側の領域と、参照側の領域との対応関係を特定するための位置情報を求めることで、探索対象となる領域内の信号成分の品質が十分ではない場合であっても、テンプレート領域内の信号成分によって、テンプレート領域同士の対応関係から、実際に求めたい処理対象側と参照側の領域との対応関係を特定することができるようになる。
【０１３７】
（実施の形態６）
また、実施の形態６として、実施の形態５とは異なり、所定の第１、第２のいずれか、または全ての探索部は、現在処理対象となっている領域の一部もしくは全てを少なくとも含む領域と、周辺領域との間の所定の特徴量を、探索に利用するように構成しても構わない。
【０１３８】
ここで、所定の特徴量は、例えば、図１１（ｊ）において、処理対象となっている領域９０２と、その周辺領域である、上下左右、および左上、右上、右下、左下の８つの領域１１１０において、それぞれの領域に対して所定の周波数変換をすることで、各領域の周波数的な特徴と、現在処理対象となっている領域と、その周辺の領域との間の、周波数的な特徴の分布の関係を求め、この周波数的な分布の位置関係に最も類似している位置を、参照側から特定することで位置情報を生成できるようにすると良い。ここで、探索する際に、同様の所定の周波数変換をしながら、対応する位置関係を特定する機能を、類似成分特定部１０９内の第１の探索部、および位置合わせ合成部１１０内の第２の探索部は備えるように構成すると良い。
【０１３９】
また、各領域に対してそれぞれエッジ検出を行い、エッジ成分の分布を定量化し、このエッジ成分の位置関係に最も類似している位置を、参照側から特定することで位置情報を生成できるようにしても良い。ここで、探索する際に、同様のエッジ検出を行いながら、対応する位置関係を特定する機能を、類似成分特定部１０９内の第１の探索部、および位置合わせ合成部１１０内の第２の探索部で利用できるように、類似成分特定部１０９、および位置合わせ合成部１１０は備えるように構成すると良い。
【０１４０】
更に、各領域に対してそれぞれエッジの方向を特定し、このエッジ方向を定量化し、このエッジ方向の位置関係に最も類似している位置を、参照側から特定することで位置情報を生成できるようにしても良い。ここで、探索する際に、同様のエッジ方向を特定する処理をしながら、対応する位置関係を特定する機能を、類似成分特定部１０９内の第１の探索部、および位置合わせ合成部１１０内の第２の探索部で利用できるように、類似成分特定部１０９、および位置合わせ合成部１１０は備えるように構成すると良い。エッジ方向を特定する処理としては、例えば、各領域に対してハフ変換をすることで、各領域の信号成分に含まれる直線を検出し、代表的な直線の方向を定量化することでエッジ方向を特定できるようにすると良い。ここでは一例としてハフ変換による方向検出による方法を説明したが、他の異なる方法により含まれる直線の方向を定量化するように構成しても構わない。
【０１４１】
また、各領域の信号のヒストグラム、もしくはその代表信号や代表色を求め、この分布の位置関係に最も類似している位置を、参照側から特定することで位置情報を生成できるようにしても良い。ここで、探索する際に、同様のヒストグラム、もしくはその代表信号や代表色を求める処理をしながら、対応する位置関係を特定する機能を、類似成分特定部１０９内の第１の探索部、および位置合わせ合成部１１０内の第２の探索部で利用できるように、類似成分特定部１０９、および位置合わせ合成部１１０は備えるように構成すると良い。
【０１４２】
このように、所定の第１、第２のいずれか、または全ての探索部は、現在処理対象となっている領域の一部もしくは全てを少なくとも含む領域と、周辺領域との間の所定の特徴量を、探索に利用するように構成することで、現在処理対象となっている領域や、その周辺領域のいずれかの領域の信号成分の品質が十分ではない場合であっても、それ以外の領域内の特徴量との間の関係から、実際に求めたい処理対象側と参照側の領域との対応関係を特定することができるようになる。
【０１４３】
（実施の形態７）
また、実施の形態７として、実施の形態６とは異なり、所定の第１、第２のいずれか、または全ての探索部は、現在処理対象となっている領域の一部もしくは全てを少なくとも含む領域と、周辺領域との間の所定の特徴量を求め、処理対象側の領域と、周辺領域との間で、求めた特徴量の変化量を更に求めた上で、探索に利用するように構成しても構わない。
【０１４４】
例えば、図１１（ｊ）のような領域の位置関係において、周波数成分の直流成分を求め、現在処理対象となっている領域の直流成分と周囲の領域の直流成分との変化量を求め、この変化量の位置関係に最も類似している位置を、参照側から特定することで位置情報を生成できるようにしても良い。ここで、探索する際に、同様の変化量を検出しながら、対応する位置関係を特定する機能を、類似成分特定部１０９内第１の探索部、および位置合わせ合成部１１０内の第２の探索部は備えるように構成すると良い。
【０１４５】
また、ここでは一例として、各領域の周波数成分の直流成分同士の変化量を探索に利用する構成を示したが、実施の形態６で述べたような他の特徴量の変化量を定量化し、探索に利用するように構成しても構わない。
【０１４６】
このように、所定の特徴量の変化量を求めて所定の探索するようにすることで、周辺領域との間の大域的な変化を利用して、探索することができるようになる。
【０１４７】
（実施の形態８）
更に、実施の形態８として、上述のような所定の第１、第２のいずれか、または全ての探索部が、所定の管理情報に基づいて、処理対象となる領域ごとに切り替えながら利用するように構成することも可能である。
【０１４８】
このように構成することで、例えば、処理対象となる領域の信号成分の品質がまだ十分ではない、初めの数回の繰り返し動作においては、求めた特徴量の変化量による探索や、テンプレートによる探索を利用し、その後は、他の探索を利用することで、少しずつ正しい信号成分を確定しながら、最終的に処理対象となる領域の信号成分の品質を向上させるとともに、実際に求めたい処理対象側と参照側の領域との対応関係を特定し、更に処理対象となる領域の信号成分の品質を向上させることができるようになる。
【０１４９】
（実施の形態９）
また、実施の形態９として、所定の特徴量の変化量に基づく探索する機能を探索部が利用できるように、類似成分特定部１０９、および位置合わせ合成部１１０は備えるようにし、また、第１成分抽出部１０５および第２成分抽出部１０６に供給する管理情報である、抽出アルゴリズム判別情報、およびその補助情報である抽出補助情報を、信号の再構成処理を繰り返すごとに異なる情報が供給されるようにし、より確からしい信号成分から順番に信号の再構成していくように信号成分を抽出する際の周波数通過帯域を制御するように、管理情報を設定することで、意図しない位置からの画像信号成分を超解像処理に利用することを抑制し、本来あるべき画像の特徴に近い画像を生成することができる。
【０１５０】
例えば、周波数通過帯域が、初めのうちは図３（ｃ）のような低い周波数成分を通過させるような帯域となるような補助情報が供給され、低い周波数成分を含む抽出成分情報が生成されるようにする。その後、探索においては、特徴量として領域に含まれる信号の周波数成分の直流成分を求め、更に処理対象となる領域と、周辺領域との間での変化量を求め、この変化量に基づいて探索処理をすることで、位置情報を生成する。その後、位置合わせ合成処理および帯域抑制処理をすることで信号の再構成処理をし、これらの一連の処理を繰り返すことで、より本来の信号に含まれる信号成分に近づいた、再構成後の低い周波数成分を含む抽出成分情報を確定させる。そして、順次、周波数通過帯域を、より高い周波数成分を通過させるような帯域となるような補助情報が供給されるようにし、同様の処理を繰り返すことで、抽出成分情報を少しずつ確定させていき、最終的に本来あるべき画像の特徴に近い画像に近づけていくように処理を制御していくように構成すると良い。
【０１５１】
ここでは、一例として、低い周波数成分から順番に信号を確定させていくような動作となるように制御できるような構成について述べたが、他の異なる周波数通過帯域で順次、抽出成分情報を確定させていき、最終的に本来あるべき画像の特徴に近い画像に近づけていくように処理を制御していくように構成しても構わない。
【０１５２】
（実施の形態１０）
なお、上記実施の形態１〜９では、信号処理装置１００をブロック図により図示してハードウエアにより構成したものとして説明したが、これらに限らず、コンピュータである情報処理装置を構成するようにしても良い。例えば、ＣＰＵ（Central Processing Unit）に代表される中央処理制御装置と、記録媒体や通信装置を介して、例えばメモリに代表される一時記憶装置や、例えばＨＤＤ（Hard Disc Drive）に代表される外部記憶装置に格納された信号処理プログラムにより、上記実施の形態１〜９の機能をソフトウェア処理により達成するようにしても勿論よい。また、実施の形態に係る信号処理装置１００および信号処理方法の適用される範囲は、信号を取得、および供給する際において、信号を再構成するような装置、方法、プログラム、システム等であれば、特に限定されるものではない。例えば、ＴＶに代表される放送装置のプリ処理およびポスト処理、携帯電話、テレビ会議装置、監視装置における、画像の高画質化処理、ＤＶＤ（Digital Versatile Disc）−Ｒ／ＲＷやＢＤ（Blu-ray Disc；登録商標）−Ｒ／ＲＷ、ＨＤＤ、ＳＤ、ホログラフィックメモリなどの追記および書き換え可能な記録媒体を利用した録画再生装置、およびディジタルカメラやカムコーダといった撮像記録再生装置、オーサリングなどの記録編集装置、動画像の配信装置などにおける記録、再生時の高画質化処理に適用することができる。また、画像や動画像、音楽等の符号化および復号をする際の、プリ処理およびポスト処理や、符号化処理および復号処理における、局部復号後の信号や、参照信号、および予測信号を生成する際の信号の改善処理、復元処理に適用することができる。更に、画像や動画像、音楽等の蓄積装置、配信装置、受信装置および転送装置における、通信時のエラー耐性処理等にも適用することが可能である。
【０１５３】
実施の形態に係る信号処理装置１００、信号処理方法および信号処理プログラムは、例えば、画像や音声を記録・再生・表示・伝送する、ＴＶ等のモニタ、ディジタルカメラ、カムコーダ、レコーダ、監視装置、編集装置、動画像配信サーバ、などに利用することができる。
【０１５４】
以上の画像処理は、ハードウェアを用いた蓄積、受信装置として実現することができるのは勿論のこと、ＲＯＭ（リード・オンリ・メモリ）やフラッシュメモリ等に記憶されているファームウェアや、コンピュータ等のソフトウェアによっても実現することができる。そのファームウェアプログラム、ソフトウェアプログラムをコンピュータ等で読み取り可能な記録媒体に記録して提供することも、有線あるいは無線のネットワークを通してサーバから提供することも、地上波あるいは衛星ディジタル放送のデータ放送として提供することも可能である。
【符号の説明】
【０１５５】
１００ 信号処理装置、 １０３、１０４、１０８、１１２、１１５ スイッチ、 １０５ 第１成分抽出部、 １０６ 第２成分抽出部、 １０７ 第１制御部、 １０９ 類似成分特定部、 １１０ 位置合わせ合成部、 １１１ 帯域抑制部、 １１３ 合成部、 １１４ 第２制御部、 １１６ 統合制御部。
【技術分野】
【０００１】
本発明は、信号処理装置、信号処理方法、および信号処理プログラムに関し、特に、超解像処理をすることで信号品質を改善する信号処理装置および信号処理方法に関する。
【背景技術】
【０００２】
一般に、撮像装置によって得られる画像信号には、少なからず意図しないノイズが含まれる。このため、撮像装置によって得られる画像信号は、各種のノイズ除去処理がされた後に表示や蓄積、符号化、伝送がされる。また、符号化された画像信号が記録された記録媒体や記録装置、蓄積装置、もしくは符号化された画像信号が伝送される伝送装置から、符号化された画像信号を取得し、復号することで得られる復号画像信号には、符号化特有の量子化により周波数成分情報が欠落する。この結果、復号画像信号にはブロックノイズやリンギングなどの符号化劣化を伴う。復号画像信号における符号化劣化の影響を低減するために、復号画像に対してブロックノイズを軽減するためのデブロッキング処理や画像の鮮鋭度を高めるためのエッジ強調処理、および各種の画像復元処理が用いられる。また近年では超解像技術を適用することで、劣化した画像をより本来の画像に近い状態に近づける手法が提案されている(例えば、特許文献１)。
【０００３】
また、従来の超解像処理において、ノイズを含む画像に対しては、あらかじめ空間方向や時間方向に存在する各種のノイズを除去した上で超解像処理をすることで、高周波数帯域の信号が過度に強調されることによる画質劣化を低減させるための手法が提案されている（例えば、特許文献２）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−１２７２４１号
【特許文献２】特開２００９−０６５５３５号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記従来技術である各種のノイズ除去処理、デブロッキング処理、エッジ強調処理では、一般にノイズ成分情報を除去すると同時に、周囲の信号成分に対して影響を与えてしまう。このため、処理後の画像が、必ずしも元の画像品質に近づくとは限らない。また、上記従来技術である画像復元処理では、あらかじめどのようなノイズや劣化の特性を事前情報として取得しておく必要がある。このため、事前情報の特性と異なるノイズや劣化を伴う信号に対しては、必ずしも有効に作用するとは限らない。さらに、上記従来技術である超解像技術では、処理対象としている画像と、参照として利用する画像との間で、ノイズ特性や、形状、画質劣化などにおいて、画像品質が異なっている場合には、画像の特徴をとらえきれずに、意図しない位置からの画像信号成分を超解像処理に用いる場合もありうる。この場合、本来あるべき画像の特徴からかけ離れた画像が生成される。
【０００６】
また、一般にノイズを含む画像においてノイズ成分を含む周波数帯域に注目すると、この画像に含まれている本来の画像としての特徴をもつ信号成分は、ノイズの影響を受けている信号成分と、ノイズの影響をあまり受けていない信号成分とが含まれる。画像は、これらの信号成分が混在した状態で構成されている。このため、このような画像を知覚すると、原画像と類似しているがノイズによって劣化していると認識されると考えられる。このようなノイズを含む画像に対して、一般的なノイズ除去処理をすると、ノイズの影響をあまり受けていない信号成分に対しても影響を与えることになる。この結果、画像に含まれる信号成分を有効に利用することが困難になる。これは、一般に、画像に含まれるノイズ成分が未知であることに起因している。従って、ノイズを含む画像に対して超解像処理をする際に、あらかじめ各種のノイズ除去をすると、超解像処理に有効な信号成分まで劣化させてしまうことになる。これは、超解像処理における、繰り返し処理を伴った信号の再構成処理による信号成分を回復させる効果を阻害する。
【０００７】
更に、処理対象としている画像と、参照として利用する画像に対して、それぞれノイズ除去をすると、処理対象側と参照側とで、ノイズ除去の影響が異なることがある。これらの画像を利用して超解像処理をしようとすると、超解像処理で行われる動き探索や位置合わせ処理をする際に、参照側から、本来特定されるべき、より確からしい信号成分を特定できず、本来の位置とは異なった位置の信号成分を利用して超解像処理をすることになる。これにより、画像の特徴をとらえきれずに、意図しない位置からの画像信号成分を超解像処理に利用してしまい、本来あるべき画像の特徴からかけ離れた画像が生成される。
【０００８】
本発明はこうした状況に鑑みなされたものであり、その目的は、処理対象としている画像と参照として利用する画像との間で画像品質が異なっている場合であっても、本来あるべき画像の特徴に近い画像を生成することができる技術を提供することにある。
【課題を解決するための手段】
【０００９】
上記目的を達成するため、本発明のある態様は信号処理装置（１００）である。この装置は、所定の成分抽出処理を用いて処理対象となる信号から、所定の周波数通過帯域に含まれる周波数による信号である抽出成分情報とそれ以外の信号である抽出外成分情報とに分離する第１成分抽出部（１０５）と、所定の成分抽出処理を用いて参照対象となる信号から抽出成分情報を生成する第２成分抽出部（１０６）と、処理対象側の抽出成分情報の領域に対応する参照側の抽出成分情報の領域を特定するための位置情報を生成する類似成分特定部（１０９）と、前記類似成分特定部（１０９）が生成した位置情報に基づいて、処理対象側の抽出成分情報の領域と参照側の抽出成分情報の領域とを特定し、処理対象となる信号において前記類似成分特定部（１０９）が特定した位置情報よりも高い精度で参照側の信号の貼り付け位置を特定し、参照側の抽出成分情報の領域に含まれる信号成分の貼り付けおよび信号の合成を行うことで、合成成分情報を生成する位置合わせ合成部（１１０）と、前記位置合わせ合成部（１１０）が生成した合成成分情報に対して所定の帯域抑制処理およびリサンプリング処理をすることで、帯域制限された合成成分情報を生成する帯域抑制部（１１１）と、前記帯域抑制部（１１１）が生成した帯域制限された合成成分情報を新たな処理対象となる信号とし、信号の再構成処理を繰り返すように制御する統合制御部（１１６）とを少なくとも備える。
【００１０】
本発明の別の態様は信号処理方法である。この方法は、所定の成分抽出処理を用いて処理対象となる信号から、所定の周波数通過帯域に含まれる周波数による信号である抽出成分情報とそれ以外の信号である抽出外成分情報とに分離するステップと、所定の成分抽出処理を用いて参照対象となる信号から抽出成分情報を生成するステップと、処理対象側の抽出成分情報の領域に対応する参照側の抽出成分情報の領域を特定するための位置情報を生成するステップと、生成した位置情報に基づいて、処理対象側の抽出成分情報の領域と参照側の抽出成分情報の領域とを特定し、処理対象となる信号において、前記生成した位置情報より高い精度で参照側の信号の貼り付け位置を特定し、参照側の抽出成分情報の領域に含まれる信号成分の貼り付けおよび信号の合成を行うことで、合成成分情報を生成するステップと、生成した合成成分情報に対して所定の帯域抑制処理およびリサンプリング処理をすることで、帯域制限された合成成分情報を生成するステップと、生成した帯域制限された合成成分情報を新たな処理対象となる信号とし、信号の再構成処理を繰り返すように制御するステップとをプロセッサに実行させる。
【００１１】
なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１２】
本発明によれば、処理対象としている画像と参照として利用する画像との間で画像品質が異なっている場合であっても、本来あるべき画像の特徴に近い画像を生成することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施の形態に係る信号処理装置の実施の形態１〜９を示す概念ブロック図である。
【図２】本発明の実施の形態に係る信号処理装置の実施の形態１の動作を説明するためのフローチャートである。
【図３】本発明の実施の形態に係る成分抽出処理において、抽出される周波数成分情報の例を表した概念図である。
【図４】本発明の実施の形態に係る成分抽出処理において、抽出される周波数成分情報の例を表した概念図である。
【図５】本発明の実施の形態に係る成分抽出処理において、抽出される周波数成分情報の例を表した概念図である。
【図６】本発明の実施の形態に係る成分抽出処理において、抽出される周波数成分情報の例を表した概念図である。
【図７】本発明の実施の形態に係る成分抽出処理において、抽出される周波数成分情報の例を表した概念図である。
【図８】本発明の実施の形態に係る信号処理装置において管理情報として供給される、抽出アルゴリズム判別情報、および抽出補助情報のデータ構造の一例を示した概念図である。
【図９】本発明の実施の形態に係る信号処理装置における、類似成分特定部内の第１の探索部による位置情報を特定する一例を示した概念図である。
【図１０】本発明の実施の形態に係る信号処理装置における、類似成分特定部内の第１の探索部による位置情報を特定する別の一例を示した概念図である。
【図１１】本発明の実施の形態に係る信号処理装置における、類似成分特定部および位置合わせ合成部内の探索部で用いるテンプレートの例を示した概念図である。
【図１２】本発明の実施の形態に係る信号処理装置における、位置合わせ合成部内の第２の探索部による、高精度の位置合わせ合成処理の例を示した概念図である。
【図１３】本発明の実施の形態に係る信号処理装置で扱う、仮想グリッドと、信号の配置の様子の一例を示す概念図である。
【図１４】本発明の実施の形態に係る信号処理装置における、位置合わせ合成処理の様子の一例を示すための概念図である。
【図１５】本発明の実施の形態に係る信号処理装置における、帯域抑制処理を伴ったリサンプリングの様子の一例を示すための概念図である。
【発明を実施するための形態】
【００１４】
本発明の信号処理装置は、例えば、図１で示されるような信号処理装置１００のように構成されると良い。
【００１５】
図１の信号処理装置１００は、撮像装置１３１、伝送装置１３２、記録装置１３３、記録媒体１３４、蓄積装置１３５などから、処理対象となる信号を第１入力１０１として取得する。また、同様に参照される信号を第２入力１０２として取得する。ここで、これらの信号は、画像信号であるものとして話を進めるが、音声信号などの他の信号であっても構わない。以下、画像信号処理として超解像処理を主に説明するが、画像符号化処理であってもよい。
【００１６】
信号処理装置１００は、取得した第１入力１０１の信号に対して、どのような信号成分に対して、どのような順序で実施の形態に係る信号処理装置１００における信号の再構成処理をするかを、所定の管理情報に基づいて動作を制御できるように構成することが望ましい。また、参照側の信号である、第２入力１０２の信号を、どのようなタイミングで切り替えるかを制御できるようにすると更に良い構成となる。
【００１７】
実施の形態に係る信号処理装置１００で利用される管理情報には、少なくとも、信号から処理対象としている信号成分情報を抽出するためのアルゴリズムを特定するための情報（抽出アルゴリズム判別情報）、特定された抽出アルゴリズムが信号から抽出対象となる信号成分を特定するための補助情報（抽出補助情報）、抽出された信号（抽出成分情報）に対して再構成処理によって得られる再構成処理後の抽出成分情報に対して、信号の周波数帯域成分を抑制するためのアルゴリズムを特定するための情報（帯域抑制アルゴリズム判別情報）、特定された帯域抑制アルゴリズムが、どのような信号の周波数帯域成分まで抑制すべきかを特定するための補助情報（帯域抑制補助情報）を含むようにすると良い。
【００１８】
これらの管理情報は、所定の管理情報として、あらかじめ信号処理装置１００に格納されているようにしても構わない。また、図示されていない外部からの入力手段によって供給され、更新できるように構成しても構わない。更に、これらの管理情報の少なくとも１つを、図示されていない外部への出力手段に対して出力し、保存できるように構成すると、更に良い構成となる。
【００１９】
信号処理装置１００は、処理対象の信号である取得した第１入力１０１の信号に対し、管理情報に基づいて、信号成分情報を抽出するためのアルゴリズムと、抽出対象となる信号成分とを特定する。信号処理装置１００は、特定したアルゴリズムを用いて、抽出対象となる信号成分から処理対象となる抽出成分情報を生成するとともに、抽出成分情報以外の成分を、抽出外成分情報として生成する。同様に、信号処理装置１００は、参照となる信号である取得した第２入力１０２の信号に対し、管理情報に基づいて、参照対象となる抽出成分情報を少なくとも生成する。
【００２０】
その後、信号処理装置１００は、抽出成分情報の再構成処理をする。まず、所定の処理単位で、処理対象となっている抽出成分情報に最も類似した信号成分が、参照側の抽出成分情報のどの部分に対応するかを特定する。
【００２１】
次に、信号処理装置１００は、特定された参照側の抽出成分情報を、処理対象となっている抽出成分情報のサンプリング間隔以上の細かさ（サンプリング間隔が等しいが、もしくは短い状態）で信号成分の位置合わせをする。位置合わせの結果、信号処理装置１００は、対応付けられた処理対象側の抽出成分情報と、参照側の抽出成分情報とを合成し、合成された抽出成分情報（以後、「合成抽出成分情報」という。）を生成する。ここで、合成抽出成分情報のサンプリング間隔は、処理対象となっていた抽出成分情報のサンプリング間隔以上の細かさとなるように構成すると良い。
【００２２】
その後、信号処理装置１００は、信号の周波数帯域成分を抑制するためのアルゴリズムを特定し、どのような信号の周波数帯域成分まで抑制すべきかを特定する。さらに信号処理装置１００は、合成抽出成分情報に対して、信号の周波数帯域抑制をすることで、帯域制限された合成抽出成分情報を生成する。以上の処理が、抽出成分情報の再構成処理となる。ここで、管理情報に基づいて特定される周波数帯域制限は、第１入力１０１もしくは第２入力１０２から抽出成分情報を生成する際に抽出し得る周波数成分の帯域に制限するように構成することが望ましいが、必ずしもこのように帯域を制限する必要はない。たとえば、単純に元の第１入力１０１の信号のサンプリング間隔と同等となるように、所定の帯域制限フィルタを用いた上でリサンプリング処理をするようにしても良い。また、この帯域制限フィルタは、エイリアジングを除去するように設計されたものを利用するようにしても良いし、あえてエイリアジングを含むように設計されたものを利用するようにしても構わない。更に、リサンプリング処理において、サンプルのデシメーションをして、第１入力１０１の信号のサンプリング間隔と同等もしくはそれより細かくなるように構成しても良いし、デシメーションは最後の処理で行い、それ以外ではサンプリング間隔が細かい状態のまま、処理を継続するように構成することも可能である。
【００２３】
信号処理装置１００は、このような信号の再構成処理を、管理情報に基づいて所定の繰り返し条件を満たすまで、合成抽出成分情報を、新たな処理対象として順次更新しながら、抽出成分情報の再構成処理を繰り返すことで確定した帯域制限後の合成抽出成分情報を得る。ここで、必要であれば、サンプルのデシメーションをして、第１入力１０１の信号のサンプリング間隔と同等もしくはそれより細かくなるようにする。
【００２４】
その後、信号処理装置１００は、確定した帯域制限後の合成抽出成分情報と、抽出外成分情報とを合成することで、一連の処理対象となる信号の再構成処理を完了させ、再構成信号を得る。ここで信号処理装置１００は、管理情報に基づいて、再構成信号を、新たな処理対象として順次更新しながら、再構成信号の再構成処理を繰り返すかを判定する。処理を繰り返す必要があると判定された場合には、必要であれば、信号処理装置１００は管理情報に基づいて参照される信号である第２入力１０２の信号を更新し、管理情報に基づいて信号成分情報を抽出するためのアルゴリズムと抽出対象となる信号成分を再度特定して、処理を繰り返し、再構成信号を得る。ここで信号処理装置１００は、再構成信号の再構成処理を繰り返す際に行われる抽出成分情報の再構成処理の繰り返しにおいて、新たに生成された再構成信号を新たな処理対象の信号とし、この信号から新たな抽出成分情報を生成する際に、抽出成分情報に含まれる所定の周波数通過帯域を必要に応じて切り替えながら抽出成分情報を生成し、これを抽出成分情報の再構成処理における初期信号として、抽出成分情報の再構成処理を繰り返すように構成するとよい。
【００２５】
管理情報に基づいて、処理を繰り返す必要がないと判定されると、得られた再構成信号は、出力として、伝送装置１４１、記録装置１４２、記録媒体１４３、蓄積装置１４４、表示・再生装置１４５などに対して供給される。これにより、信号処理装置１００は、伝送や蓄積、そして表示・再生されることで、ノイズや劣化を伴った信号を、より本来あるべき画像の特徴をもつ信号に近い、高品質な信号となるように処理し、供給することができる。
【００２６】
以下に、本発明の詳細な実施の形態を示す。
【００２７】
（実施の形態１）
図１は、本発明の実施の形態１に係る信号処理装置１００の構成例を示すための概念ブロック図である。図１は、各部との間の基本的な接続関係を示している。図１は、実施の形態に係る信号処理装置１００を実現するための機能構成を示しており、その他の構成は省略している。図１において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、ＣＰＵ（Central Processing Unit）、メインメモリ、その他のＬＳＩ（Large Scale Integration）で構成することができ、ソフトウェア的には、メインメモリにロードされた信号処理プログラム等によって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
【００２８】
図１において、実施の形態１の信号処理装置１００は、少なくとも、第１成分抽出部１０５、第２成分抽出部１０６、第１制御部１０７、類似成分特定部１０９、位置合わせ合成部１１０、帯域抑制部１１１、合成部１１３、第２制御部１１４、統合制御部１１６を有している。また、各部との接続を制御するためのスイッチ１０３、１０４、１０８、１１２、１１５を更に有すると良い。
【００２９】
第１成分抽出部１０５は、スイッチ１０３を経由して、第１入力１０１である処理対象の信号を取得する。第１成分抽出部１０５はまた、第１制御部１０７から、信号から処理対象としている信号成分情報を抽出するためのアルゴリズムを特定するための情報である抽出アルゴリズム判別情報、および、特定された抽出アルゴリズムが信号から抽出対象となる信号成分を特定するための補助情報である抽出補助情報を取得する。第１成分抽出部１０５はさらに、合成部１１３からスイッチ１１５を経由して再構成信号を取得する。また、第１成分抽出部１０５は、処理対象の信号である取得した第１入力１０１の信号に対し、管理情報である抽出アルゴリズム判別情報および抽出補助情報に基づいて、信号成分情報を抽出するための成分抽出処理と、抽出対象となる信号成分とを特定し、処理対象となる抽出成分情報を生成するとともに、抽出成分情報以外の成分を、抽出外成分情報として生成する。ここで、抽出外成分情報の生成方法は、第１入力１０１である処理対象となる信号から、生成された処理対象となる抽出成分情報を減算して抽出外成分情報を生成する方法であるものとして話を進めるが、この方法に特に限定されない。例えば、抽出成分情報を生成する際に、所定の変換方法に基づいて、信号成分を時間領域（画像であれば、通常の画像表現）から周波数領域に変換し、周波数領域において抽出成分情報を生成し、周波数領域における第１入力１０１である処理対象の信号から減算して、周波数領域における抽出外成分情報を生成する。その後、周波数領域における生成した抽出外成分情報に所定の変換方法と対となる逆変換方法を用いて、周波数領域から時間領域に逆変換することで、時間領域の抽出外成分情報を生成するようにしても構わない。また、同様の処理は、時間領域において、あらかじめ設計された周波数帯域通過フィルタもしくは周波数帯域選択フィルタを用いて畳み込み演算をすることで抽出成分情報を生成し、第１入力１０１である処理対象となる信号から減算して求めるようにしても構わない。第１成分抽出部１０５は、生成された抽出成分情報を、スイッチ１０８を経由して類似成分特定部１０９、位置合わせ合成部１１０に供給するとともに、第２制御部１１４に供給する。第１成分抽出部１０５は、生成された抽出外成分情報を合成部１１３に供給する。
【００３０】
第２成分抽出部１０６は、スイッチ１０４を経由して、第２入力１０２である参照対象となる信号を取得する。第２成分抽出部１０６はまた、第１制御部１０７から、第１成分抽出部１０５と同様に、管理情報である抽出アルゴリズム判別情報および抽出補助情報を取得する。第２成分抽出部１０６は、参照される信号である取得した第２入力１０２の信号に対し、管理情報である抽出アルゴリズム判別情報および抽出補助情報に基づいて、信号成分情報を抽出するためのアルゴリズムと、抽出対象となる信号成分を特定する。第２成分抽出部１０６は、特定したアルゴリズムと信号成分とをもとに、処理対象となる抽出成分情報を生成する。ここで、抽出アルゴリズム判別情報および抽出補助情報は、第１成分抽出部１０５と同じものが供給されるように構成しても良いし、異なる抽出アルゴリズムによって異なる抽出成分情報を生成するために、別の抽出アルゴリズム判別情報および抽出補助情報が供給されるように構成しても構わない。ここでは説明を簡単にするため、同じものが供給されるものとして話を進める。第２成分抽出部１０６は、生成された抽出成分情報を、類似成分特定部１０９、位置合わせ合成部１１０に供給する。また、第２成分抽出部１０６は、第１成分抽出部１０５と同様に、抽出外成分情報を生成しても良い。
【００３１】
第１成分抽出部１０５および第２成分抽出部１０６における成分抽出処理については、後述する。
【００３２】
第１制御部１０７は、統合制御部１１６の制御に応じて、各部の状態を取得するとともに、各部の初期化処理に必要な管理情報を供給し、各部の動作を制御するために各部の接続状態を制御する。第１制御部１０７は、第１入力１０１および第２入力１０２として入来する信号を制御するために、スイッチ１０３、１０４の接続を制御する。また、第１制御部１０７は、信号の再構成処理を継続するか、生成された再構成信号を出力するかを制御するために、スイッチ１１５の接続を制御する。第１制御部１０７は、管理情報として、第１成分抽出部１０５および第２成分抽出部１０６のそれぞれに、抽出アルゴリズム判別情報および抽出補助情報を供給する。また、第１制御部１０７は、管理情報として、帯域抑制部１１１に、信号の周波数帯域成分を抑制するためのアルゴリズムを特定するための情報である帯域抑制アルゴリズム判別情報と、特定された帯域抑制アルゴリズムが、どのような信号の周波数帯域成分まで抑制すべきかを特定するための補助情報である帯域抑制補助情報とを供給する。ここで、本実施の形態に係る信号処理装置１００では、各部の処理を分担させる構成としているが、第１制御部１０７の機能を、統合制御部１１６が代行するように構成しても構わない。
【００３３】
類似成分特定部１０９は、スイッチ１０８を介して、処理対象となる抽出成分情報を取得する。また、類似成分特定部１０９は、第２成分抽出部１０６から、参照対象となる抽出成分情報を取得する。類似成分特定部１０９内の第１の探索部は、取得した処理対象となる抽出成分情報と参照対象となる抽出成分情報とを用いて、所定の処理単位で、所定の類似成分特定処理をすることで、処理対象となっている抽出成分情報に最も類似した信号成分が、参照側の抽出成分情報のどの部分に対応するかを特定し、対応関係を表す位置情報を生成する。類似成分特定部１０９は、生成した位置情報を、位置合わせ合成部１１０に供給する。
【００３４】
類似成分特定部１０９における類似成分特定処理については、後述する。
【００３５】
位置合わせ合成部１１０は、スイッチ１０８を介して、処理対象となる抽出成分情報と、類似成分特定部１０９から生成された位置情報と、第２成分抽出部１０６から参照対象となる抽出成分情報とを取得する。位置合わせ合成部１１０内の第２の探索部は、取得した処理対象および参照対象となる抽出成分情報と、位置情報を利用して、所定の位置合わせをすることで処理対象側の抽出成分情報と参照側の抽出成分情報とを対応づける。位置合わせ合成部１１０は、対応付けられた処理対象側の抽出成分情報と、参照側の抽出成分情報とを合成し、合成された抽出成分情報（以後、「合成抽出成分情報」、または、単に「合成成分情報」という。）を生成する。また、合成抽出成分情報のサンプリング間隔は、処理対象となっていた抽出成分情報のサンプリング間隔以上に細かくできるように構成すると良い。位置合わせ合成部１１０における位置合わせ合成処理については、後述する。更に、位置合わせ合成部１１０は、生成された合成抽出成分情報を、帯域抑制部１１１に供給する。
【００３６】
帯域抑制部１１１は、第１制御部１０７から、管理情報として、帯域抑制アルゴリズム判別情報、帯域抑制補助情報を取得する。また、帯域抑制部１１１は、位置合わせ合成部１１０から、合成成分情報を取得する。帯域抑制部１１１は、取得した帯域抑制アルゴリズム判別情報に基づいて、帯域抑制処理を特定する。帯域抑制部１１１はさらに、帯域抑制補助情報に基づいて特定された帯域抑制処理をすることで、合成抽出成分情報に対して、信号の周波数帯域抑制をし、帯域制限された合成抽出成分情報を生成する。また、帯域抑制部１１１は、生成された帯域制限された合成抽出成分情報を、スイッチ１１２を介して合成部１１３に供給、もしくはスイッチ１１２、１０８を介して類似成分特定部１０９に供給するとともに、第２制御部１１４に供給する。ここで、管理情報に基づいて特定される帯域抑制処理は、第１入力１０１もしくは第２入力１０２から抽出成分情報を生成する際に抽出し得る周波数成分の帯域に制限するように構成することが望ましいが、必ずしもこのように帯域を制限する必要はない。たとえば、単純に元の第１入力１０１の信号のサンプリング間隔と同等となるように、所定の帯域制限フィルタを用いた上でリサンプリング処理をしても良い。また、この帯域制限フィルタは、エイリアジングを除去するように設計されたものを利用するようにしても良いし、あえてエイリアジングを含むように設計されたものを利用するようにしても構わない。更に、リサンプリング処理において、サンプルのデシメーションをして、第１入力１０１の信号のサンプリング間隔と同等もしくはそれ以下の細かさとなるように構成しても良いし、デシメーションは最後の処理のみで行い、それ以外ではサンプリング間隔が細かい状態のまま、処理を継続するように構成することも可能である。ここでは話を簡単にするため、特定された帯域抑制処理では、単純に元の第１入力１０１の信号のサンプリング間隔と同等となるように、所定の帯域制限フィルタを用いた上でリサンプリング処理をするものとする。
【００３７】
合成部１１３は、第１成分抽出部１０５から、処理対象となる抽出成分情報以外の成分である抽出外成分情報と、帯域抑制部１１１からスイッチ１１２を介して合成抽出成分情報とを取得する。合成部１１３は、確定した帯域制限後の合成抽出成分情報と、抽出外成分情報とを所定の合成処理により合成することで再構成信号を生成し、スイッチ１１５を介して第１成分抽出部１０５もしくは出力１１７として例えば外部の伝送装置１４１、記録装置１４２、記録媒体１４３、蓄積装置１４４、表示・再生装置１４５等に供給する。合成部１１３における所定の合成処理は、第１成分抽出部１０５における抽出成分情報および抽出外成分情報の生成方法に対応した合成処理である。例えば、第１成分抽出部１０５における抽出外成分情報の生成方法が、第１入力１０１である処理対象となる信号から、生成された処理対象となる抽出成分情報を減算して抽出外成分情報を生成する方法である場合は、合成部１１３は、確定した帯域制限後の合成抽出成分情報と、抽出外成分情報とを加算することで合成処理をするように構成すると良い。また、第１成分抽出部１０５における抽出外成分情報の生成方法が、所定の変換方法による周波数領域への変換処理を伴っている場合には、合成部１１３は、確定した帯域制限後の合成抽出成分情報を同様の周波数領域への変換処理をした後に抽出外成分情報に加算し、再度所定の逆変換方法により時間領域への逆変換処理をすることで合成処理をするように構成すると良い。更に、管理情報には合成部１１３において合成処理を特定するための合成処理特定情報を含むようにし、第１制御部１０７は合成部１１３に管理情報として合成処理特定情報を供給し、合成部１１３は、この管理情報に基づいて合成処理を特定すると更に良い構成となる。
【００３８】
第２制御部１１４は、統合制御部１１６の制御に基づき、各部の状態を取得するとともに、各部の動作や、必要な管理情報を供給する。第２制御部１１４は、各部の動作の制御に必要な情報として、少なくとも第１成分抽出部１０５から抽出成分情報を取得するとともに、帯域抑制部１１１から合成抽出成分情報を取得する。第２制御部１１４は、少なくとも、取得した抽出成分情報、合成抽出成分情報、および管理情報に基づいて、所定の繰り返し条件を満たすまで、合成抽出成分情報の再構成処理を繰り返すか、結果を各部に供給するかを判定する。第２制御部１１４は、判定結果に基づいて各部の接続を制御するために、スイッチ１０８、１１２を制御する。ここで、本実施の形態に係る信号処理装置１００では各部の処理を分担させるような構成としているが、第２制御部１１４の機能を、統合制御部１１６が代行するように構成しても構わない。
【００３９】
統合制御部１１６は、本実施の形態に係る信号処理装置１００を構成する各部の状態を取得し、各部に対して制御信号に基づいて動作の制御をして、処理対象となる信号、参照対象となる信号を入力信号として取得する。統合制御部１１６はさらに、上述の信号処理をして、処理結果である再構成信号を、出力して供給するように各部を制御する。また、統合制御部１１６は、ユーザによる開始操作や、所定の設定時刻等などの所定の開始条件によって生じる信号処理開始要求信号を検知し、各部に処理開始指令を供給する。本実施の形態においては、話を簡単にするため、第１制御部１０７および第２制御部１１４の動作を制御することで、全体の動作を制御できるように構成しているが、統合制御部１１６が第１制御部１０７および第２制御部１１４の各機能を代行し、本実施の形態に係る信号処理装置１００の各部全体を制御するように構成しても構わない。また、統合制御部１１６が第１制御部１０７および第２制御部１１４の各機能を代行し、実施の形態に係る信号処理装置１００の各部全体を制御しても構わない。また、統合制御部１１６は、各部への各情報の入出力の順序や、各部の動作順序や各情報の生成順序、各部に供給する管理情報の種類や供給順序を制御するために、所定の統合管理情報を持ち、この情報に基づいて、本発明の信号処理装置１００の全体動作を制御すると更に良い構成となる。ここで、統合管理情報には、上述の処理が取りうる全状態が記述された状態遷移情報と、現在の処理が全体の処理のどの過程にあるかを特定するための内部状態情報や、各処理の初期条件および終了判定条件に関する情報である条件情報を含むようにすると良い。例えば、条件情報に、各処理の繰り返し回数もしくは繰り返し終了判定条件に関する情報が含まれるようにしても構わない。また、この所定の統合管理情報は、あらかじめ統合制御部１１６に設定されていても構わないし、外部から統合管理情報を取得する機能を統合制御部１１６に含めることで、取得した統合管理情報に基づいて、異なる処理動作をすることができるように構成しても構わない。ここでは話を簡単にするため、所定の統合管理情報があらかじめ設定されているものとするが、特に限定されるものではない。
【００４０】
この統合制御部１１６において、各制御情報を適切に管理し、各部に対して動作の制御を指示することによって、処理対象となっている領域に含まれる信号成分に対し、参照側から、単に信号成分間の誤差が最も少ないものを特定するのではなく、本来の画像に近づけるための、より確からしい信号成分を含む領域の位置を探索により特定する。統合制御部１１６は、信号を再構成して得られた結果を利用して、再度探索や、信号の再構成をするというように、信号の再構成対象を更新しながら、信号の再構成を繰り返していくことで超解像処理を実現するように動作を制御することが可能となる。例えば、統合制御部１１６は、後述される図３から図７で示されているような周波数帯域を、再構成処理の繰り返しの過程において、必要に応じて切り替えながら適用し、その周波数帯域に含まれる信号成分情報を抽出するように制御する。これにより、統合制御部１１６は、入力される画像信号もしくは再構成信号から抽出成分情報を生成し、抽出成分情報に対する再構成処理の繰り返し制御や、その後生成される再構成信号に対する再構成処理の繰り返し制御することで、最終的な出力となる再構成信号全体の画質を改善させることができる。
【００４１】
次に、第１成分抽出部１０５および第２成分抽出部１０６における成分抽出処理の詳細を以下に説明する。図３から図７は、実施の形態に係る成分抽出処理において、抽出される周波数成分情報の例を表した概念図である。
【００４２】
例えば、第１入力１０１である処理対象の信号が、図３で示されるように、領域３０１内、つまり最大周波数ｆｍａｘ以下の周波数成分情報を含むような信号であるものとする。ここで、管理情報として取得される抽出アルゴリズム判別情報に基づいて特定された成分抽出処理は、図３（ｂ）で示されるように、信号の分離および合成において、信号の完全再構成が可能となるように設計されたＱＭＦ（Quadrature Mirror Filter）フィルタによる帯域分割処理がされるものとして話を進める。抽出アルゴリズム判別情報に基づいて特定される成分抽出処理は、少なくとも１つ以上の、異なる帯域分割処理に基づいた成分抽出処理の中から特定されるものである。例えば、所定の低域通過特性を持つローパスフィルタもしくはその代替となりうるフィルタ、つまり、一般的なガウシアンフィルタ、Ｌａｎｃｚｏｓフィルタ、ウェーヴレットフィルタ等による帯域分割処理であれば、本実施の形態に係る成分抽出処理に利用することができる。また、例えば、抽出成分情報を生成する際に、フーリエ変換、サイン／コサイン変換、アダマール変換、ウェーヴレット変換等の、所定の周波数変換方法に基づいて、信号成分を時間領域（画像であれば、通常の画像表現）から周波数領域に変換し、周波数領域において抽出成分情報を生成する。生成した抽出外成分情報を周波数領域における第１入力１０１である処理対象の信号から減算して、周波数領域における抽出外成分情報を生成した後に、所定の変換方法と対となる逆変換方法に基づいて、周波数領域から時間領域に逆変換することで、時間領域の抽出外成分情報を生成する処理を、本実施の形態に係る成分抽出処理に利用することもできる。更に、図３の例では、管理情報として取得される抽出補助情報から、周波数ｆ０からｆ１までに含まれる周波数成分情報を抽出することを特定したものとして話を進める。
【００４３】
図３（ｂ）は、ｆ１＝ｆｍａｘ／２であるものとして、カットオフ周波数ｆ１ｃとなるように設計されたＱＭＦフィルタを利用して周波数成分の帯域分割処理をした様子を示す。ここで、低域通過帯域特性３２１は、ＱＭＦフィルタにおける低域通過フィルタの周波数帯域特性であり、高域通過帯域特性３２２は、対応する高域通過フィルタの周波数帯域特性である。このようなフィルタに基づいてフィルタリング処理をすることで入力信号を周波数帯域分割し、図３（ｃ）のような低域信号と、図３（ｄ）のような高域信号とに分離する。
【００４４】
ここで、ｆ１＝ｆｍａｘ／２であり、ＱＭＦフィルタによる帯域分割対象となる周波数がｆｍａｘ／２であるものとした。もし、ＱＭＦフィルタによる帯域分割対象となる周波数と、入力信号に対して帯域分割したい周波数とが異なる場合には、入力信号に対してインターポレーション処理やデシメーション処理、もしくはこれらを組み合わせた処理をすることで、分割対象となる周波数と分割したい周波数が等しくなるように、入力信号のサンプル数を変化させ、仮の入力信号を生成する。ここで、このような入力信号に対してサンプル数を変化させることによる周波数シフトをする際に、利用できるインターポレーション処理やデシメーション処理で表現できるサンプル数に制約がある場合には、分割対象となる周波数に最も近くなるように入力信号のサンプル数を変化させるようにすると良い。この仮の入力信号に対して周波数帯域分割し、その後、仮の入力信号を生成した際とは逆のインターポレーション処理やデシメーション処理、もしくはこれらを組み合わせた処理をすることで、元の入力信号に対して帯域分割処理をした後の低域信号、高域信号を得るようにすると良い。このような入力信号に対するインターポレーション処理やデシメーション処理、もしくはこれらを組み合わせた処理をすることで、帯域分割対象となる周波数をシフトさせることは、他の帯域通過フィルタにおいても有用である。
【００４５】
このような処理をすることで、周波数ｆ０からｆ１までに含まれる周波数成分情報３３１を抽出して本実施の形態における抽出成分情報とする。また、ｆ１からｆｍａｘまでに含まれる周波数成分情報３３２を抽出して、本発明における抽出外成分情報とする。
【００４６】
ここで、抽出成分情報と抽出外成分情報を生成する際に、一般には図３（ｂ）の領域３１２の周波数領域のようなエイリアジング成分の影響を考慮するために高域通過帯域特性３２２の高域通過フィルタを利用することが望ましい。しかし、ここでは話を簡単にするため、帯域分割に利用するフィルタの周波数減衰特性は非常に急峻であり、エイリアジング成分の影響がほとんどないものとして話を進める。よって、実施の形態に係る抽出外成分情報は、図３（ｃ）の領域３３１のような周波数領域の成分を含むような抽出成分情報を生成した後に、入力信号から減算することで、抽出外成分情報を生成するものとして話を進める。
【００４７】
図３においては、入力信号に対して周波数帯域分割しようとしている周波数がｆ１＝ｆｍａｘ／２であるものとしていたが、抽出補助情報に基づいて、図４のような周波数帯域に分割し、抽出成分情報を取得するようにしても良い。例えば、図４（ｂ）のように、低域通過フィルタの周波数帯域特性４２１によってｆ０からｆ１までに含まれる周波数成分情報を生成することができるようなフィルタに基づいてフィルタリング処理をすることで入力信号を周波数帯域分割し、図４（ｅ）の領域４３１のような周波数成分情報を含む低域信号と、図４（ｈ）の領域４４１のような周波数成分情報を含む高域信号に分離し、それぞれ抽出成分情報、抽出外成分情報を取得するようにしても良い。同様に、帯域分割する周波数がｆ２であると特定された場合には、ｆ０からｆ２までの低域通過帯域特性４２３を持つフィルタによるフィルタリング処理により、図４（ｆ）および図４（ｉ）のように分離し、帯域分割する周波数がｆ３であると特定された場合には、低域通過帯域特性４２５の特性をもつフィルタにより、図４（ｇ）および図４（ｊ）のように分離することで、それぞれ抽出成分情報、抽出外成分情報を取得するようにしても良い。
【００４８】
また、図５のように、帯域分割を繰り返し、必要な周波数帯域の信号成分情報を抽出するようにしても構わない。例えば、図５（ａ）の領域５１１は、図４（ｆ）を求めた後、図４（ｂ）の帯域分割により図４（ｅ）に含まれる周波数成分情報を除くことで抽出成分情報を取得し、それ以外の周波数成分情報を含むものを抽出外成分情報として取得するようにしても良い。同様に、図５（ｂ）と（ｅ）、図５（ｃ）と（ｆ）、図６（ａ）と（ｄ）、図６（ｂ）と（ｅ）、図６（ｃ）と（ｆ）、等のような周波数成分情報を含む抽出成分情報および抽出外成分情報を取得するようにしても構わない。
【００４９】
更に、図７で示されるように、複数の周波数帯域の周波数成分情報を含むように信号成分情報を抽出するようにしても良い。例えば、図７（ａ）の領域７１１は、図４（ｅ）と同様の方法で抽出し、領域７１２は、図５（ｂ）と同様の方法で抽出し、それぞれを加えた周波数成分情報を含むものを抽出成分情報として取得し、それ以外のものを抽出外成分情報として取得するようにしても良い。同様に、図７（ｂ）と（ｇ）、図７（ｃ）と（ｈ）、図７（ｄ）と（ｉ）、図７（ｅ）と（ｊ）、等のような周波数成分情報を含む抽出成分情報および抽出外成分情報を取得するようにしても構わない。
【００５０】
図３から図７で示されているような信号成分情報を抽出することで、抽出成分情報および抽出外成分情報を生成することで、その後の類似成分特定処理や、位置合わせ合成処理において、参照側の信号から、本来の画像に近づけるための、より確からしい信号成分を含む領域の位置を探索により特定しやすくする効果が得られる。
【００５１】
例えば、処理対象となる入力画像に含まれる信号成分の特徴として、低周波数帯域側に含まれる信号成分には、若干の誤差があるものの、本来の画像に含まれる信号成分に類似したものが多く、高周波数帯域側に含まれる信号成分には、ノイズ等により大きく劣化した信号成分が多く含まれる場合を考える。このような場合、周波数全体の信号成分を含む画像を利用して類似成分を特定するための探索をすると、周波数全体の信号成分を含む画像は、劣化した信号成分の影響から、本来の画像の特徴とは異なった画像となる。このため、探索の結果、参照側から、この特徴の異なった画像に含まれる信号成分に最も近いものを含む、別の位置の領域を特定してしまう。このような探索による異なる領域の特定を回避するために、この例では、図３の領域３３１と領域３３２とのように、それぞれの周波数帯域に含まれる信号に分離し、領域３３１に含まれる信号成分を抽出成分情報とし、参照側も同様に領域３３１に含まれる信号成分として探索することで、探索時に大きな影響を与えていた領域３３２に含まれる信号成分を除外して探索することが可能となる。これにより、参照側から、単に信号成分間の誤差が最も少ないものを特定するのではなく、本来の画像に近づけるための、より確からしい信号成分を含む領域の位置を探索により特定することが可能となる。
【００５２】
また、この例では、低周波数帯域側には若干の誤差が含まれていると仮定したが、抽出成分情報の再構成処理、つまり類似成分特定処理、位置合わせ合成処理、帯域抑制処理を経て帯域制限された合成成分情報を生成し、これを新たな抽出成分情報として、この再構成処理を繰り返すことで、回を重ねるごとに抽出成分情報の品質を向上させることができる。これは、抽出成分情報の品質が向上することで探索結果の精度が高まり、より確からしい信号成分を特定することが可能となり、結果として、さらに抽出成分情報の品質を向上させることができるようになるためである。これを所定の条件を満たすまで繰り返すことで、この処理ループの出力結果である、低周波数成分において画像品質が向上した合成成分情報が得られる。ここで、最終的に収束した位置情報を再利用できるように予測位置情報として格納しておくように構成すると更によい。
【００５３】
更に、例えば、この画像品質が向上した合成成分情報と、処理対象側の領域３３２の周波数帯域に含まれる信号成分からなる抽出外成分情報を合成することで、再構成信号を生成し、この再構成信号を新たな初期の入力信号として、再構成信号の再構成処理を繰り返すことを考える。このような例では、新たな初期の入力信号である再構成信号は、図３の領域３３１の周波数帯域に含まれる信号成分の品質が向上しているため、探索の際に、より確からしい信号成分を特定しやすくなる。さらに、前回の抽出成分情報の再構成処理の繰り返しにより、最終的に収束した位置情報である予測位置情報を利用することが可能になる。
【００５４】
よって、例えば、この予測位置情報を起点として、探索時の探索範囲を狭めに設定することで、仮に、図３の領域３３１の周波数帯域を少し高周波数成分側に広げて、再構成信号から抽出される抽出成分情報に、画質劣化を与える信号成分を取り込んだとしても、比較的確からしい信号成分で収束させた予測位置情報を起点として探索することにより、本来必要とする位置から全く異なる位置を検出することなく、参照側から必要とする領域を特定することができる。そして、この再構成処理を繰り返すことで、取り込んだ画質劣化を与える信号成分を、本来の信号成分に近づけながら、抽出成分情報の品質を向上させることができる。
【００５５】
更に、例えば、再構成信号の再構成処理を繰り返す際に、再構成信号から抽出成分情報を抽出する際に、回を重ねるごとに、図３の領域３３１の周波数帯域を少しずつ高周波数成分側に広げて抽出成分情報を生成するように構成することで、高周波数成分側から少しずつ画質劣化を与える信号成分を取り込みながら、画質を改善させることができる。
【００５６】
つまり、再構成信号の再構成処理を繰り返す際に、例えば、図４で示されるように、初めは図４（ｂ）のように周波数帯域を分割し、図４の領域４３１に含まれる信号成分を抽出成分情報として、必要に応じて予測位置情報を利用しながら、抽出成分情報の再構成処理をして、再構成信号を生成する。次の繰り返しでは、図４の領域４３２に含まれる信号成分を抽出成分情報として、必要に応じて予測位置情報を利用しながら、抽出成分情報の再構成処理をして、再構成信号を生成する。更に、その次の繰り返しでは、図４の領域４３３を利用するといった具合に、所定の周波数帯域を適応的に切り替えながら抽出成分情報を生成し、再構成信号を生成するように構成することで、繰り返し回数を抑制しながら、画質を改善させることができる。
【００５７】
ここでは、領域４３１、領域４３２、領域４３３の順に適用して、周波数帯域に含まれる信号成分を抽出して抽出成分情報を生成しているが、特にこの適用順に限定されるわけではない。例えば、図４において、ｆ１からｆ２の間の周波数帯域に含まれる信号成分が比較的大きく劣化を伴っており、また、ｆ２からｆ３の間の周波数帯域に含まれる信号成分は比較的劣化が少なく、本来の画像としての特徴を表す信号成分を多く含むような場合には、領域４３１を適用後、先に領域４３３を適用し、その後、必要であれば領域４３２を適用するように構成することで、異なる位置からの信号成分の利用を抑制し、より確からしい位置からの再構成処理を維持することが可能となる。この結果、再構成信号全体の画質を改善させることができる。
【００５８】
また、図５に示されるように、例えば、再構成信号の再構成処理を繰り返す際に、画質改善された周波数帯域の信号成分とは異なる信号成分を再構成信号から抽出して抽出成分情報を生成し、必要に応じて予測位置情報を利用しながら、抽出成分情報の再構成処理をして、再構成信号を生成する。これにより、画質劣化を与える信号成分に対する再構成処理を繰り返す際に、既に画質改善された周波数帯域の信号成分に悪影響を与えることを抑制しつつ、再構成信号全体の画像品質を向上させることができる。
【００５９】
つまり、例えば、図５のように、初回の再構成信号が生成された後、領域５１１の周波数帯域に含まれる信号成分を抽出して抽出成分情報を生成し、必要に応じて予測位置情報を利用しながら、抽出成分情報の再構成処理をして、再構成信号を生成する。次の繰り返しにおいて、５１２の周波数帯域に含まれる信号成分を抽出して抽出成分情報を生成し、必要に応じて予測位置情報を利用しながら、抽出成分情報の再構成処理をして、再構成信号を生成する。さらに次の繰り返しにおいて、領域５１３の周波数帯域に含まれる信号成分を抽出して抽出成分情報を生成し、必要に応じて予測位置情報を利用しながら、抽出成分情報の再構成処理をして、再構成信号を生成する。これにより、既に画質改善された信号成分に悪影響を与えることを抑制しながら再構成信号全体の画像品質を向上させることができる。
【００６０】
ここでは、領域５１１、領域５１２、領域５１３の順に適用して、周波数帯域に含まれる信号成分を抽出して抽出成分情報を生成しているが、特にこの適用順に限定されるわけではない。例えば、領域５１１の周波数帯域に含まれる信号成分が比較的大きく劣化を伴っている場合には、領域５１２、領域５１３を適用した後に領域５１１を適用するようにしても構わない。
【００６１】
また、例えば、図６に示されている周波数帯域に含まれる信号成分において、ｆ０からｆ１までが一番元の画像の特徴を示す信号成分を多く含み、次にｆ１からｆ２、ｆ３からｆｍａｘ、最も劣化を伴っている信号成分を多く含むものがｆ２からｆ３であったとする。例えば、まずｆ０からｆ１までの周波数帯域に含まれる信号成分から抽出して抽出成分情報を生成し、抽出成分情報の再構成処理を繰り返した後に、再構成信号を生成する。その後、領域６１１、領域６１２を適用して同様に再構成信号を生成した後に、領域６１３を適用するようにしても構わない。このようにすることで、最も劣化を伴っているｆ２からｆ３の周波数帯域に含まれる信号成分の画質を改善する際に、ｆ１からｆ２までに含まれる信号成分を伴って再構成処理をした場合と、ｆ３からｆｍａｘまでに含まれる信号成分を伴って再構成処理をした場合とは、探索時に特定される位置が異なることから、これらを組み合わせて再構成処理を繰り返すことにより、それぞれ特徴のある異なった画質の改善がみられるようになる。これにより、劣化を伴った信号成分の画質改善において、より良い効果が得られるようになる。
【００６２】
更に、例えば、図７に示されるように、複数の周波数帯域に含まれる信号成分を抽出して抽出成分情報を生成し、再構成処理をするように構成することもできる。このようにすることで、探索時に、より確からしい位置を特定しやすくなるような元の画像の特徴を多く含む信号成分を抽出成分情報に取り込むことで、より早く予測位置情報を収束させることができる。さらに、劣化が比較的少ない信号成分を、より確からしい位置から再構成処理をすることにより、より良く画質を改善することが可能となる。
【００６３】
また、例えば、再構成信号の再構成処理を繰り返す際に、繰り返すごとに選択する複数の周波数帯域を変更し、この複数の周波数帯域に含まれる信号成分を再構成信号から抽出して抽出成分情報を生成し、必要に応じて予測位置情報を利用しながら、抽出成分情報の再構成処理をして、新たな再構成信号を生成する。これにより、劣化の少ない信号成分を確定しつつ、劣化を含む信号成分を抽出成分情報に取り込みながら画質改善することが可能となる。さらに、より確からしい位置の信号成分を利用して、劣化を含む信号成分の再構成処理をすることにより、再構成信号全体に対して、より良く画質を改善することが可能となる。
【００６４】
例えば、図７の領域７１１と領域７１２、領域７１３と領域７１４、領域７１５と領域７１６、領域７１７と領域７１８、領域７１９と領域７２０といった複数の周波数帯域に含まれる信号成分を順に適用して、再構成信号から複数の周波数帯域に含まれる信号成分を抽出して抽出成分情報を生成し、抽出成分情報の再構成処理を行い、再構成信号を生成することを繰り返すように構成しても構わない。また、ここではこの適用順を特に限定するわけではない。
【００６５】
第１成分抽出部１０５および第２成分抽出部１０６に対して管理情報として供給される、抽出アルゴリズム判別情報、抽出補助情報は、例えば、図８に示されるようなデータ構造であっても構わない。例えば、抽出アルゴリズム判別情報には、テーブル８０１のように固有の識別番号が与えられることでデータ構造を識別し、その後のＩｎｄｅｘ情報に基づいて抽出アルゴリズムを特定できるようなデータ構造であると良い。Ｉｎｄｅｘ情報と実際の抽出アルゴリズムとの関連付けは、テーブル８０２のようなテーブルによって定義されていると良い。また、抽出補助情報は、抽出アルゴリズム判別情報で特定されたアルゴリズムのＴｙｐｅに応じて、異なるデータ構造をとることができるようにすると良い構成となる。例えば、テーブル８０１のＩｎｄｅｘが１であるとすると、アルゴリズムのＴｙｐｅはＡ１である。このような場合に対となる抽出補助情報は、テーブル８１１のように固有の識別番号が与えられることでデータ構造を識別し、その後のＩｎｄｅｘ情報に基づいて抽出対象となる周波数帯域を特定できるようなデータ構造であると良い。Ｉｎｄｅｘ情報と実際の周波数帯域に関する情報との関連付けは、テーブル８１２のようにテーブルによって定義されていると良い。また、テーブル８０１のＩｎｄｅｘが３３であるとすると、アルゴリズムのＴｙｐｅはＢ１である。このような場合に対となる抽出補助情報は、テーブル８２１のような構造であると良い。このテーブル８２１の構造は、抽出対象となる周波数帯域に含まれる周波数帯域の数に関する情報と、それぞれの周波数帯域の下限値および上限値に関する情報が、含まれる周波数帯域の数の分だけ含まれるようにすると良い。
【００６６】
抽出補助情報に格納される情報において、図８で示されたデータ構造はあくまで一例であり、抽出アルゴリズム判別情報によって特定されたアルゴリズムが抽出すべき周波数成分情報や周波数帯域を特定することができる情報であれば特に限定されるものではない。例えば、一般的なガウシアンフィルタやＬａｎｃｚｏｓフィルタを利用するようなアルゴリズムであれば、周波数窓を制御するためのパラメータや、フィルタの位相を制御するためのパラメータを更に含むようなデータ構造であると良い。また、ウェーヴレットフィルタを利用するようなアルゴリズムであれば、周波数成分に対するオクターブ分割もしくはサブバンド分割の階数や、処理対象となるサブバンドを特定するための情報を更に含むようなデータ構造であると良い。
【００６７】
また、抽出アルゴリズム判別情報や抽出補助情報の表現形式は、図８のような固定長符号等を利用しているが、これらは特に限定されるものではなく、他の可変長符号で表現するようにしても構わない。また、データ構造の識別方法に関しても、別の異なる識別方法を採用しても構わない。
【００６８】
次に、類似成分特定部１０９における類似成分特定処理の詳細を以下に説明する。図９は、類似成分特定部１０９内の第１の探索部が、現在処理対象となっている信号中の、現在処理対象となっている領域に含まれる信号に最も類似した信号成分が、現在参照対象となっている信号において、どの部分に対応するかを探索によって特定し、対応関係を表す位置情報を生成する様子の一例を示す概念図である。
【００６９】
図９（ａ）において、領域９０１は、現在処理対象となっている信号であり、領域９０２は、その信号中で、現在処理対象となっている領域を表している。ここで、領域９０２は、矩形で表現されているが、所定の形状の領域であれば良い。例えば、あらかじめ矩形領域９０１の信号に対して所定のセグメンテーション手段や分割手段によって領域分割され、それぞれの領域に対して所定の順序で現在処理対象となる領域を特定するようにしても構わない。ここでは、領域９０１の信号を隙間無く所定の矩形形状で分割し、図９（ａ）の矢印のように、左上からラスタ順で現在処理対象となる領域を順番に特定するものとして話を進める。
【００７０】
図９（ｂ）において、領域９０３は、現在参照対象となっている信号であり、領域９０４は、領域９０３の面内空間において、領域９０２と同じ面内空間位置にある領域を表している。この位置を、探索の基準位置とする。また、この基準位置に基づいて領域９０５のような所定の探索領域を設定する。
【００７１】
類似成分特定部１０９における類似成分特定処理は、例えば、図９（ｃ）の概念図で示されるような処理をするようにすると良い。参照対象となっている信号９０３の探索領域９０５内で、領域９０６のように順番に参照領域の位置を変化させながら、領域９０６に含まれる信号成分と、処理対象となっている領域９０２に含まれる信号成分とを順次比較し、最も類似している信号成分を含む位置の領域を特定する。ここでは、９０７の位置の参照領域に含まれる信号成分が最も類似しているものしている。このように特定された領域９０７と、基準位置９０４との間の面内空間位置の距離を求めて、領域９０２と領域９０７との対応関係を表す位置情報とすることで、類似成分を特定すると良い。
【００７２】
ここで、類似成分特定処理における信号成分の類似度の判定には、信号間の距離を測定する方法による結果を利用すれば良く、例えば、信号間の差分の絶対値和（ＳＡＤ）、信号間の差分の二乗和（ＳＳＤ）、周波数変換後の信号間の差分の絶対値和（ＳＡＴＤ）、平均平方誤差（ＭＳＥ）、平均平方二乗誤差（ＲＭＳＥ）、等の方法を利用すると良い。このような方法により、参照側の領域に含まれる信号成分と処理対象側の領域に含まれる信号成分との間の誤差を、参照側の領域の位置を変えながらそれぞれ測定し、誤差が最も小さくなる領域の位置を特定する。
【００７３】
また、類似成分特定処理における、このような探索をする際の位置精度は、ここでは１画素精度での探索として図示しているが、特に限定されるものではなく、１／２、１／４、１／８などの１画素精度以下で探索するように構成しても構わない。また、処理量を軽減するため、大まかな探索をした後に、細かい精度で特定された領域の周辺を再度探索するような、階層的な探索をするように構成しても構わない。
【００７４】
更に、別の一例として、類似成分特定処理における類似領域までの距離および信号成分の類似度の判定には、例えば、オプティカルフロー検出、またその代表的な手法である勾配法によって特定されるように構成することもできる。例えば、勾配法に代表される方法として、Lucas-Kanade Methodを利用して、対象領域周辺の信号成分情報の変化量の状態（勾配分布）を検出し、この勾配分布に最も類似する位置を探索によって特定するように構成しても構わない。
【００７５】
このような勾配法による位置の探索は、一般に、探索対象となる信号が、連続性のある、比較的滑らかな信号である場合に、より有効である。したがって、本実施の形態においてこのような勾配法による位置の探索を採用した構成とすることで、抽出成分情報を生成する際に、連続性のある比較的滑らかな信号成分を含むように、所定の周波数帯域を設定する。これにより、精度の高い位置特定が可能となり、再構成信号全体に対して、より良く画質を改善することが可能となる。
【００７６】
ここでは一例としてLucas-Kanade Methodを挙げたが、この方法に特に限定されるわけではなく、対象領域周辺の信号成分情報の変化量を利用した、他の探索方法を採用した構成としても構わない。
【００７７】
次に、位置合わせ合成部１１０における位置合わせ合成処理の詳細を以下に説明する。図１２は、位置合わせ処理の一例を説明するための概念図である。
【００７８】
図１２において、領域９０２は、現在処理対象となっている信号９０１の、現在処理対象となっている領域であり、領域９０７は、実施の形態に係る類似成分特定処理によって特定された位置情報に基づいて、領域９０２との面内空間位置の位置関係から特定された、領域９０２に含まれる信号成分に最も類似した信号成分を含む領域であるものとする。
【００７９】
このような領域９０７に含まれる信号を、位置合わせ合成部１１０内の第２の探索部によって、貼り付けた位置の周辺の信号成分と最も適合する位置を高精度な貼り付け位置の探索をする。これにより、領域９０２およびその周辺の領域内の最も適した位置を特定し、信号成分を貼り付ける。このように、信号の位置合わせを伴って信号成分を貼り付けると良い。ここで、図１２の領域１２０１のように、高精度な貼り付け位置の探索をする際の探索範囲を設定できるようにすると良い。その後、貼り付けられた信号成分と、領域９０２およびその周辺領域に含まれる信号成分から、信号成分に対する所定の位置合わせ合成処理を行い、元の信号のサンプリング間隔以上の細かさで表現された合成成分情報を生成すると良い。
【００８０】
本実施の形態に係る位置合わせ合成処理における、高精度な貼り付けをする際の位置精度は、例えば、図１３で示されるように、信号のサンプル間隔を、元の信号のサンプリング間隔以上の細かさで表現されたグリッドを仮想的に定義し（以後、仮想的に定義されたグリッドを「仮想グリッド」という。）、この仮想グリッドの間隔をより細かくすることで、より高い位置精度を実現できるようにすると良い。図１３（ａ）は、サンプリング間隔が１の場合の例を示したものである。ここで、サンプリング間隔が１であるとは、サンプリング間隔の基準となる信号のサンプリング間隔を１としたものと等しい間隔であることを意味し、図１３の例では、信号のサンプリング１３０１の間隔と同じ間隔であることを意味する。サンプリング１３０１は、領域９０２に含まれる信号成分の各サンプルであり、この各サンプルの間隔は１であるものとすると、サンプリング１３０１の各サンプルは、サンプル間隔が１である仮想グリッド１３０２上に対して、サンプリング１３０３のように配置される。また、他の例としては、図１３（ｂ）のように、サンプリング間隔が１／４となるように仮想グリッド１３０４を設定すると、サンプリング１３０１の各サンプルは、仮想グリッド１３０４上に対して、サンプリング１３０５のように配置される。ここでは、サンプリング１３０５のような仮想グリッドおよび配置として話を進めるが、サンプリング間隔を１／８、１／１６などのより細かな間隔の仮想グリッドを設定することで、より高精度の位置合わせ処理が可能となる。
【００８１】
図１４は、参照側の信号を処理対象となっている信号の位置合わせをして、合成成分情報を生成する過程を表す概念図である。サンプリング１４０１は、参照側の特定された領域９０７に含まれる信号成分の各サンプルである。また、サンプリング１３０５は、現在処理対象となっている領域９０２に含まれる信号成分の各サンプルを１／４のサンプリング間隔とした仮想グリッド上に配置した、参照側で特定された領域９０７に含まれる信号成分の各サンプルである。
【００８２】
サンプリング１４０１のサンプル間の間隔は、処理対象となっている信号のサンプル間の間隔と等しいため、サンプリング１３０５のようなサンプル間の間隔と同様の間隔をもつ信号であるとし、サンプリング１３０５上の仮想グリッド上で、位置合わせ合成部１１０内の第２の探索部が、高精度な貼り付け位置の探索をすることで、サンプリング１４０２のように参照側の信号のサンプリング１４０１を仮想グリッド上に貼り付ける。
【００８３】
ここで、位置合わせ合成部１１０内の第２の探索部による高精度な貼り付け位置の探索処理は、例えば、以下のようにすると良い。まず、サンプリング１３０５のように、配置されたサンプルとサンプルとの間の信号成分を、所定の補間処理によって補間信号成分をあらかじめ生成しておく。この所定の補間処理は、一般的な低域通過フィルタを利用する信号の補間処理であれば良く、例えば、sinc関数やLanczos関数に基づいたフィルタによる補間処理であっても良い。また、他の補間処理、例えば、周波数応答が全帯域にわたって平坦かつ急峻な遮断周波数特性を持つように設計されたＦＩＲおよびＩＩＲフィルタを用いても良い。また、Nearest-neighbor法、Bilinear法、Bicubic法、Spline法、などに基づいたフィルタを用いて処理を軽減させても構わない。このようにあらかじめ仮想グリッド上に処理対象側の信号から生成された補間信号成分を配置しておき、位置合わせ合成部１１０内の第２の探索部が、参照側の信号成分と最も類似した信号成分のある位置を特定し、サンプリング１４０１を貼り付けるようにすると良い。
【００８４】
その後、サンプリング１４０２のような不等間隔の信号成分に対して、所定の点広がり関数（ＰＳＦ）に基づく、各サンプル間の影響を考慮しながら、所定の信号成分のリサンプリング処理をして、例えば、合成成分情報１４０３のようなサンプリング間隔の信号を合成する。ここでは、サンプリング間隔を１／２として信号を合成しているが、サンプリング間隔は１以下であれば良く、このような信号を、合成成分情報１４０３としている。
【００８５】
ここで、参照側の信号成分の貼り付け位置の特定は、貼り付け位置として本来の信号としてふさわしい位置が特定できればよく、上述の例に特に限定されない。例えば、貼り付け位置の特定をより高精度にするために、領域９０２に含まれる信号成分および領域９０７に含まれる信号成分に対してフーリエ変換などの周波数変換をすることで、周波数スペクトル情報と位相情報を求める。参照側の信号の位相を、処理対象側の信号の位相に合せた後、仮想グリッド上の配置したい位置の信号成分となるように参照側の信号成分の位相を変更して逆フーリエ変換などの逆周波数変換をする。配置したい位置の信号成分のサンプルを所定の信号成分の補間処理、およびリサンプリング処理によって生成し、配置するようにしても構わない。また、必要であれば、これらの処理を選択できる構成として、処理ごとに切り替えられるようにしても良い。
【００８６】
図１５は、より細かいサンプリング間隔で表現された信号に対して、帯域抑制部１１１により、信号の周波数帯域抑制をして、帯域制限された合成抽出成分情報を生成する様子を表す概念図である。
【００８７】
帯域抑制部１１１は、合成成分情報１４０３に対して、所定のローパスフィルタを利用してフィルタリング処理をすることにより、帯域制限された信号１５０１を生成する。ここで、利用するフィルタは、例えば、sinc関数やLanczos関数に基づいたフィルタ、周波数応答が全帯域にわたって平坦かつ急峻な遮断周波数特性を持つように設計されたＦＩＲおよびＩＩＲフィルタを用いると良い。また、Nearest-neighbor法、Bilinear法、Bicubic法、Spline法、などに基づいたフィルタを用いて処理を軽減させても構わない。
【００８８】
このような帯域抑制された合成成分情報１５０１を生成し、この合成成分情報を含む信号を、新たな処理対象となる信号とする。同様の処理を、合成成分情報の信号成分の変動が所定の範囲内となるまで繰り返すことで超解像処理をして、信号を再構成する。
【００８９】
本実施の形態における、このような超解像処理における各処理は、他の超解像処理で行われる同様の処理に置き換えても構わない。他の超解像処理においては、一般に、超解像処理による画像の高解像度化は、単に位置ずれがある等といった、比較的画像間の相関が高い複数の低空間解像度画像から１枚の高空間解像度画像を推定することによって行われる。これらの技術は、近年数多くの研究で報告されている。
【００９０】
例えば、ＭＬ(Maximum-likelihood)法というものが提案されている。このＭＬ法では、高空間解像度画像から推定された低空間解像度画像の画素値と実際に観測された画素値の二乗誤差を評価関数とし、評価関数を最小化するような高空間解像度画像を推定画像としている。この方法は、最尤推定の原理に基づいて超解像処理をする方法である。
【００９１】
また、ＭＡＰ(Maximum A Posterior)法というものが提案されている。ＭＡＰ法では、二乗誤差に高空間解像度画像の確率情報を付加した評価関数を最小化するような高空間解像度画像を推定する。この方法は、高空間解像度画像に対する何らかの先見情報を利用して、事後確率を最大化する最適化問題として高空間解像度画像を推定する超解像処理方法である。
【００９２】
さらに、ＰＯＣＳ(Projection Onto Convex Sets)法というものが提案されている。このＰＯＣＳ法では、高空間解像度画像と低空間解像度画像の画素値に関して連立方程式を作成し、その方程式を逐次的に解くことにより、高空間解像度画像を得る超解像処理方法である。以上のような超解像処理を本発明に適用することで、更に良い構成とすることが可能となる。
【００９３】
次に、図１に示す本実施の形態１の信号処理装置１００の基本動作を、図２のフローチャートを参照しながら説明する。
【００９４】
まず、統合制御部１１６は、ユーザ等から信号処理開始要求信号を受けると、各部に対して信号処理開始指令を送る。
【００９５】
第１制御部１０７は、統合制御部１１６からの指令に従い、スイッチ１０３、１０４を接続し、スイッチ１１５を切断する（ステップＳ１０１）ことで、入力信号および出力信号を制御する。その後、並列処理として第１処理および第２処理に分岐する。ここでは、処理を並列処理によって行うものとして説明しているが、例えば、第１処理の後に第２処理、または第２処理の後に第１処理、もしくは第１処理と第２処理の各ステップを交互に実行するなどといった、順次処理となるように動作させることも可能である。
【００９６】
第１処理は、ステップＳ１０２からステップＳ１０６までの処理をする。まず、第１制御部１０７は、第１成分抽出部１０５に対して周波数成分の抽出を制御するための情報である抽出アルゴリズム判別情報および抽出補助情報を供給し、格納されている情報を更新する（ステップＳ１０２）。
【００９７】
次に、第１成分抽出部１０５は、処理対象となる入力信号の取得もしくは更新をするため、スイッチ１０３が接続されている場合には、スイッチ１０３を介して第１入力１０１である処理対象となる入力信号を取得する。スイッチ１０３が切断され、スイッチ１１５が接続されている場合には、スイッチ１１５を介して合成部１１３から再構成信号を取得し、次の処理対象となる入力信号として更新する（ステップＳ１０３）。
【００９８】
次に、第１成分抽出部１０５は、取得した抽出アルゴリズム判別情報に基づいて成分抽出処理を特定する。第１成分抽出部１０５は、抽出補助情報に基づいて抽出対象となる信号成分を特定した後に、取得した処理対象となる入力信号に対して、特定された成分抽出処理をする（ステップＳ１０４）。この処理によって処理対象となる入力信号の抽出成分情報を生成するとともに、この抽出成分情報以外の成分を、抽出外成分情報として生成することで、信号成分を分離する（ステップＳ１０５）。
【００９９】
処理対象となる入力信号に対する成分抽出処理が完了すると、第１制御部１０７は、スイッチ１０３を切断する（ステップＳ１０６）。その後、第１処理および第２処理が完了するまで待機する。
【０１００】
第２処理は、ステップＳ１０７からステップＳ１１１までを処理する。まず、第１制御部１０７は、第２成分抽出部１０６に対して周波数成分の抽出を制御するための情報である抽出アルゴリズム判別情報および抽出補助情報を供給し、格納されている情報を更新する（ステップＳ１０７）。
【０１０１】
次に、第２成分抽出部１０６は、参照対象となる入力信号の取得もしくは更新をするため、スイッチ１０４が接続されている場合には、スイッチ１０４を介して第２入力１０２である参照対象となる入力信号を取得もしくは更新する（ステップＳ１０８）。
【０１０２】
次に、第２成分抽出部１０６は、取得した抽出アルゴリズム判別情報に基づいて成分抽出処理を特定し、抽出補助情報に基づいて抽出対象となる信号成分を特定する。その後、取得した参照対象となる入力信号に対して、特定された成分抽出処理をする（ステップＳ１０９）。この処理によって、第２成分抽出部１０６は参照対象となる入力信号の抽出成分情報を生成するとともに、この抽出成分情報以外の成分を、抽出外成分情報として生成することで、信号成分を分離する（ステップＳ１１０）。
【０１０３】
参照対象となる入力信号に対する成分抽出処理が完了すると、第１制御部１０７は、スイッチ１０４を切断する（ステップＳ１１１）。その後、第１制御部１０７は第１処理および第２処理が完了するまで待機する。
【０１０４】
第１処理および第２処理が完了すると、第１制御部１０７は、帯域抑制部１１１に対して、帯域抑制アルゴリズム判別情報と帯域抑制補助情報とを供給し、帯域抑制情報を更新する（ステップＳ１１２）。
【０１０５】
その後、統合制御部１１６は、第２制御部１１４に処理開始指令を送る。
【０１０６】
第２制御部１１４は、統合制御部１１６からの指令に応じて、スイッチ１０８を端子ａに接続する（ステップＳ１１３）。
【０１０７】
次に、類似成分特定部１０９は、スイッチ１０８を介して第１成分抽出部１０５から処理対象となる抽出成分情報を取得するとともに、第２成分抽出部１０６から参照対象となる抽出成分情報を取得する（ステップＳ１１４）。
【０１０８】
類似成分特定部１０９に各抽出成分情報が供給されると、第２制御部１１４は、スイッチ１０８を端子ｂ、スイッチ１１２を端子ａに接続する（ステップＳ１１５）。
【０１０９】
次に、類似成分特定部１０９は、処理対象となる抽出成分情報を更新する（ステップＳ１１６）。ここで、帯域抑制部１１１の処理が完了し、新たに帯域制限された合成抽出成分情報が生成されている場合には、類似成分特定部１０９は、端子ａに接続されたスイッチ１１２および端子ｂに接続されたスイッチ１０８を介して取得し、これを処理対象となる抽出成分情報として更新する。新たに帯域制限された合成抽出成分情報が生成されていない場合には、類似成分特定部１０９は、端子ａに接続されたスイッチ１０８から取得した抽出成分情報を処理対象となる抽出成分情報として更新する。
【０１１０】
その後、類似成分特定部１０９は、第２成分抽出部１０６から、参照対象となる抽出成分情報を取得し、所定の処理単位で、所定の類似成分特定処理をする（ステップＳ１１７）ことで、処理対象となっている抽出成分情報に最も類似した信号成分が、参照側の抽出成分情報のどの部分に対応するかを特定し、対応関係を表す位置情報を生成する。
【０１１１】
その後、位置合わせ合成部１１０は、スイッチ１０８を介して処理対象となる抽出成分情報を取得し、第２成分抽出部１０６から参照対象となる抽出成分情報を取得する。また位置合わせ合成部１１０は、類似成分特定部１０９から各抽出成分情報間の対応関係を表す位置情報を取得する。位置合わせ合成部１１０は、取得した処理対象および参照対象となる抽出成分情報と、位置情報とを利用して、所定の位置合わせ合成処理をする（ステップＳ１１８）ことで、対応付けられた処理対象側の抽出成分情報と、参照側の抽出成分情報とを合成し、合成抽出成分情報を生成する。
【０１１２】
次に、帯域抑制部１１１は、位置合わせ合成部１１０から生成された合成抽出成分情報を取得する。そして、取得した帯域抑制アルゴリズム判別情報に基づいて、帯域抑制処理を特定するとともに、帯域抑制補助情報に基づいて特定された帯域抑制処理をする（ステップＳ１１９）ことで、合成抽出成分情報に対して、信号の周波数帯域抑制をして、帯域制限された合成抽出成分情報を生成する。
【０１１３】
その後、第２制御部１１４は、帯域抑制部１１１から帯域制限された合成抽出成分情報を取得するとともに、第１成分抽出部１０５から処理対象となっている抽出成分情報を取得する。そして、少なくとも、取得した抽出成分情報、合成抽出成分情報、および管理情報に基づいて、第２制御部１１４は、繰り返し処理が完了したかを判定する（ステップＳ１２０）ことで、所定の繰り返し条件を満たすまで、合成抽出成分情報の再構成処理を繰り返すか、結果を各部に供給するかを判定する。
【０１１４】
繰り返し処理が完了したと判定された場合（ステップＳ１２０でＹＥＳ）、第２制御部１１４は、スイッチ１１２を端子ｂに接続する（ステップＳ１２１）。繰り返し処理が完了していないと判定された場合（ステップＳ１２０でＮＯ）、ステップＳ１１６に戻る。
【０１１５】
ステップＳ１２０で繰り返し処理が完了したと判定され、ステップＳ１２１でスイッチが切り替えられると、合成部１１３は、端子ｂに接続されたスイッチ１１２を介して帯域抑制部１１１から合成抽出成分情報を取得し、処理後の抽出成分情報とするとともに、第１成分抽出部１０５から、抽出外成分情報を取得する。そして、取得した抽出成分情報と抽出外成分情報とを所定の合成処理により合成する（ステップＳ１２２）ことで、再構成信号を生成する。
【０１１６】
その後、統合制御部１１６は、統合管理情報に基づいて、本実施の形態の再構成処理が完了したかを判定する（ステップＳ１２３）。
【０１１７】
再構成処理が完了したと判定された場合（ステップＳ１２３でＹＥＳ）、ステップＳ１２４に進む。再構成処理が完了していないと判定された場合（ステップＳ１２３でＮＯ）、ステップ１０１の後に行われる並列処理である第１処理および第２処理に戻る。
【０１１８】
再構成処理が完了したと判定された後、統合制御部１１６は、統合管理情報に基づいて、異なる参照信号を利用するかを判定する（ステップＳ１２４）。
【０１１９】
異なる参照信号を利用すると判定された場合（ステップＳ１２４でＹＥＳ）、統合制御部１１６は、第１制御部１０７に指令を送り、第１制御部１０７は、スイッチ１０４を接続し（ステップＳ１２５）、ステップ１０１の後に行われる並列処理である第１処理および第２処理に戻る。異なる参照信号を利用しないと判定された場合（ステップＳ１２４でＮＯ）、統合制御部１１６は、第１制御部１０７に指令を送り、スイッチ１１５を端子ｂに接続し、結果を出力する（ステップＳ１２６）。
【０１２０】
以上のようなステップを経ることで、本実施の形態の一連の基本動作が終了する。
【０１２１】
このように、所定の超解像処理を開始する際の、初期の基準信号を、現在処理対象となっている領域に含まれる信号に対し、所定の周波数通過帯域に含まれる周波数による信号（抽出成分情報）と、それ以外の信号（抽出外成分情報）とに分離する。分離した抽出成分情報を新たな初期の基準信号とし、所定の超解像処理をして信号を再構成することで、含まれる信号成分ごとに、参照側からより有効な貼り付け対象となる信号を所定の探索部が特定する。特定した貼り付け対象となる信号に対して、より高精度な位置合わせ合成処理をすることで、他の信号成分が含まれることによる、意図しない位置からの信号成分の混入を抑制し、信号成分ごとに、本来あるべき画像の特徴に近い画像を生成することができる。
【０１２２】
また、所定の超解像処理をすることで処理対象となった抽出成分情報の再構成後の抽出成分情報を生成し、その後、処理対象側の抽出外成分情報と合成し、これを新たな処理対象となる信号として本実施の形態の処理を繰り返すようにしたことにより、繰り返し回数を重ねるごとに、より確からしい信号成分が増加する。これにより、所定の探索や位置合わせ合成処理において、更に意図しない位置からの信号成分の混入を抑制し、本来あるべき画像の特徴に近い画像を生成することができる。
【０１２３】
（実施の形態２）
本発明の実施の形態１において、第１制御部１０７、第２制御部１１４、および統合制御部１１６の各部の制御方法を変更することで、主に類似成分特定部１０９、位置合わせ合成部１１０の各部の動作を変更するとともに、合成部１１３を機能させないようにすることで、実施の形態２とすることができる。
【０１２４】
第１制御部１０７、第２制御部１１４、および統合制御部１１６の制御に基づいて、類似成分特定部１０９は、処理対象となる信号の抽出成分情報と、参照側の抽出成分情報とから、類似成分特定部１０９内の第１の探索部が、対応関係を表す位置情報を求める。位置合わせ合成部１１０では、あらかじめスイッチ１０３を介して処理対象となる信号を取得するとともに、スイッチ１０４を介して参照対象となる信号を取得しておき、類似成分特定部１０９から生成された位置情報を取得する。この位置情報に基づいて、位置合わせ合成部１１０は、現在処理対象となっている、元の処理対象となる信号の領域と、元の参照対象となる信号の領域との対応関係を特定し、特定された元の参照対象となる信号の領域に含まれる信号成分を、位置合わせ合成部１１０内の第２の探索部が特定した貼り付け位置を利用して、所定の位置合わせ合成処理によって、元の処理対象となる信号成分と合成し、帯域抑制部１１１によって帯域抑制された合成抽出成分情報を生成することで、信号を再構成する。これを新たな処理対象となる信号として本実施の形態に係る処理を繰り返すことで、最終的な出力信号を生成する。
【０１２５】
このように、処理対象および参照対象となる信号に対して、成分抽出処理をして抽出成分情報を生成し、類似成分特定部１０９内の第１の探索部が処理対象側の抽出成分情報に対応する参照側の抽出成分情報の領域を特定し、位置合わせ合成部１１０内の第２の探索部が、処理対象となる信号における、特定された参照側の信号の高精度な貼り付け位置を特定する。特定された貼り付け位置に対して、特定された参照側の領域に含まれる元の信号を利用して信号を再構成するようにしたことで、抽出成分情報によって特定されたより正しい位置情報に基づいて特定された、参照対象となる信号の領域に含まれる信号成分を、より確からしい位置に貼り付けることが可能になり、意図しない位置からの信号成分の混入を抑制し、本来あるべき画像の特徴に近い画像を生成することができるようになる。
【０１２６】
（実施の形態３）
本発明の実施の形態１において、第１制御部１０７、第２制御部１１４、および統合制御部１１６の各部の制御方法を変更することで、主に類似成分特定部１０９、位置合わせ合成部１１０の各部の動作を変更するとともに、合成部１１３を機能させないようにすることで、実施の形態３とすることができる。実施の形態２とは、位置情報を、再構成後の抽出成分情報に基づいて特定する点で異なっている。
【０１２７】
まず、処理対象となっている信号を、抽出成分情報と、抽出外成分情報に分離し、参照対象となっている信号から抽出成分情報を抽出する。次に、類似成分特定部１０９は、処理対象となる信号の抽出成分情報と、参照側の抽出成分情報とから、類似成分特定部１０９内の第１の探索部が、対応関係を表す位置情報を求める。その後、位置合わせ合成部１１０は、位置情報を取得し、この位置情報に基づいて、現在処理対象となっている、処理対象側の抽出成分情報の領域と、参照側の抽出成分情報の領域との対応関係を特定し、特定された参照側の抽出成分情報の領域に含まれる信号成分を、位置合わせ合成部１１０内の第２の探索部が特定した貼り付け位置を利用して、所定の位置合わせ合成処理によって、処理対象側の抽出成分情報の信号成分と合成し、帯域抑制部１１１によって帯域抑制された合成抽出成分情報を生成することで、処理対象側の抽出成分情報を再構成する。ここまでの処理対象側の抽出成分情報の再構成をする処理を所定の条件を満たすまで繰り返すことで、再構成後の処理対象側の抽出成分情報を生成し、再度、参照側の抽出成分情報との間で所定の類似成分特定部１０９内の第１の探索部が、位置情報を特定する。
【０１２８】
位置合わせ合成部１１０では、あらかじめスイッチ１０３を介して処理対象となる信号を取得するとともに、スイッチ１０４を介して参照対象となる信号を取得しておき、類似成分特定部１０９によって、再構成された処理対象側の抽出成分情報に基づいて生成された位置情報を取得する。この位置情報に基づいて、位置合わせ合成部１１０は、現在処理対象となっている、元の処理対象となる信号の領域と、元の参照対象となる信号の領域との対応関係を特定し、特定された元の参照対象となる信号の領域に含まれる信号成分を、所定の位置合わせ合成処理によって、元の処理対象となる信号成分と合成し、帯域抑制部１１１によって帯域抑制された合成抽出成分情報を生成することで、信号を再構成する。これを新たな処理対象となる信号として本発明の処理を繰り返すことで、最終的な出力信号を生成する。
【０１２９】
このように、処理対象および参照対象となる信号に対して、成分抽出処理をして抽出成分情報を生成し、所定の超解像処理をすることで処理対象となった抽出成分情報の再構成後の抽出成分情報を生成する。その後、参照対象となる信号に対して、成分抽出処理をして抽出成分情報を生成し、類似成分特定部１０９内の第１の探索部が処理対象側の再構成後の抽出成分情報に対応する参照側の抽出成分情報の領域を特定し、位置合わせ合成部１１０内の第２の探索部が、処理対象となる信号における、特定された参照側の信号の高精度な貼り付け位置を特定し、特定された貼り付け位置に対して、特定された参照側の領域に含まれる元の信号を利用して信号を再構成する。これにより、再構成された処理対象側の抽出成分情報によって、より正しい位置情報を特定することが可能になるとともに、このより確からしい位置情報に基づいて特定される、参照対象となる信号の領域に含まれる信号成分を、より確からしい位置に貼り付けることが可能になり、意図しない位置からの信号成分の混入を抑制し、本来あるべき画像の特徴に近い画像を生成することができるようになる。
【０１３０】
（実施の形態４）
また、実施の形態４として、所定の第１、第２のいずれか、または全ての探索部は、現在処理対象となっている領域の一部もしくは全てを少なくとも含む領域を、テンプレートとして探索に利用するように構成しても構わない。
【０１３１】
例えば、図９で示されるように、類似成分特定部１０９内の第１の探索部が、探索対象となる領域を９０２とし、この領域をテンプレートとして、参照側の信号から、このテンプレート内に含まれる信号成分にもっとも類似している信号成分を含む領域を特定するようにすると良い。
【０１３２】
このように、現在処理対象となっている領域の一部もしくは全てを少なくとも含む領域を、テンプレートとして探索に利用することで、処理対象となる領域に含まれる信号成分を信頼できる基準として、忠実に探索処理を行い、参照側から最も類似した信号成分を含む領域を特定することができるようになる。
【０１３３】
（実施の形態５）
また、実施の形態５として、実施の形態４とは異なり、所定の第１、第２のいずれか、または全ての探索部は、現在処理対象となっている領域を含まず、現在処理対象となっている領域に隣接、もしくは所定の領域だけ離れた領域を、テンプレートとして探索に利用するように構成しても構わない。
【０１３４】
例えば、図１０に示されるように、現在処理対象となっている領域９０２の周囲の領域１００１をテンプレートとする。テンプレートと対象領域との面内位置の関係は、容易に特定できる関係となっている。この例では、テンプレート１００１の内部に探索対象となる領域９０２が含まれており、テンプレート１００１の位置が決まると、その内部の領域も同時に求まる。このようなテンプレートに含まれる信号成分に最も類似している、参照側のテンプレートに対応する領域を特定する。探索中のテンプレートは領域１００２であり、最も類似した信号成分を含むテンプレート領域は、図１０では、領域１００３であったとすると、テンプレートと探索対象となる領域との面内位置の関係から、実際に特定される処理対象側の領域９０２に対応する領域は、領域９０７となり、領域９０２と領域９０７との面内空間位置の関係から、位置情報９０８を生成することができる。
【０１３５】
テンプレートの領域の形状は、例えば、図１１に示されるような形状、および配置のテンプレート領域であっても構わない。また、図１１において、テンプレート領域を複数持つもの、例えば、図１１（ｅ）のように、探索対象となる領域９０２の上下左右の４つの領域の全てをテンプレートとして利用するようにしても良いし、その一部を利用するようにテンプレートを構成しても良い。また、テンプレートの各領域は、探索対象と隣接するようにしても良いし、所定の領域だけ離れた領域をテンプレートとしても良い。
【０１３６】
このように、探索部がテンプレートを利用し、このテンプレート領域に対応する領域を参照側から特定し、その後、テンプレートとの位置関係から、実際に求めたい処理対象側の領域と、参照側の領域との対応関係を特定するための位置情報を求めることで、探索対象となる領域内の信号成分の品質が十分ではない場合であっても、テンプレート領域内の信号成分によって、テンプレート領域同士の対応関係から、実際に求めたい処理対象側と参照側の領域との対応関係を特定することができるようになる。
【０１３７】
（実施の形態６）
また、実施の形態６として、実施の形態５とは異なり、所定の第１、第２のいずれか、または全ての探索部は、現在処理対象となっている領域の一部もしくは全てを少なくとも含む領域と、周辺領域との間の所定の特徴量を、探索に利用するように構成しても構わない。
【０１３８】
ここで、所定の特徴量は、例えば、図１１（ｊ）において、処理対象となっている領域９０２と、その周辺領域である、上下左右、および左上、右上、右下、左下の８つの領域１１１０において、それぞれの領域に対して所定の周波数変換をすることで、各領域の周波数的な特徴と、現在処理対象となっている領域と、その周辺の領域との間の、周波数的な特徴の分布の関係を求め、この周波数的な分布の位置関係に最も類似している位置を、参照側から特定することで位置情報を生成できるようにすると良い。ここで、探索する際に、同様の所定の周波数変換をしながら、対応する位置関係を特定する機能を、類似成分特定部１０９内の第１の探索部、および位置合わせ合成部１１０内の第２の探索部は備えるように構成すると良い。
【０１３９】
また、各領域に対してそれぞれエッジ検出を行い、エッジ成分の分布を定量化し、このエッジ成分の位置関係に最も類似している位置を、参照側から特定することで位置情報を生成できるようにしても良い。ここで、探索する際に、同様のエッジ検出を行いながら、対応する位置関係を特定する機能を、類似成分特定部１０９内の第１の探索部、および位置合わせ合成部１１０内の第２の探索部で利用できるように、類似成分特定部１０９、および位置合わせ合成部１１０は備えるように構成すると良い。
【０１４０】
更に、各領域に対してそれぞれエッジの方向を特定し、このエッジ方向を定量化し、このエッジ方向の位置関係に最も類似している位置を、参照側から特定することで位置情報を生成できるようにしても良い。ここで、探索する際に、同様のエッジ方向を特定する処理をしながら、対応する位置関係を特定する機能を、類似成分特定部１０９内の第１の探索部、および位置合わせ合成部１１０内の第２の探索部で利用できるように、類似成分特定部１０９、および位置合わせ合成部１１０は備えるように構成すると良い。エッジ方向を特定する処理としては、例えば、各領域に対してハフ変換をすることで、各領域の信号成分に含まれる直線を検出し、代表的な直線の方向を定量化することでエッジ方向を特定できるようにすると良い。ここでは一例としてハフ変換による方向検出による方法を説明したが、他の異なる方法により含まれる直線の方向を定量化するように構成しても構わない。
【０１４１】
また、各領域の信号のヒストグラム、もしくはその代表信号や代表色を求め、この分布の位置関係に最も類似している位置を、参照側から特定することで位置情報を生成できるようにしても良い。ここで、探索する際に、同様のヒストグラム、もしくはその代表信号や代表色を求める処理をしながら、対応する位置関係を特定する機能を、類似成分特定部１０９内の第１の探索部、および位置合わせ合成部１１０内の第２の探索部で利用できるように、類似成分特定部１０９、および位置合わせ合成部１１０は備えるように構成すると良い。
【０１４２】
このように、所定の第１、第２のいずれか、または全ての探索部は、現在処理対象となっている領域の一部もしくは全てを少なくとも含む領域と、周辺領域との間の所定の特徴量を、探索に利用するように構成することで、現在処理対象となっている領域や、その周辺領域のいずれかの領域の信号成分の品質が十分ではない場合であっても、それ以外の領域内の特徴量との間の関係から、実際に求めたい処理対象側と参照側の領域との対応関係を特定することができるようになる。
【０１４３】
（実施の形態７）
また、実施の形態７として、実施の形態６とは異なり、所定の第１、第２のいずれか、または全ての探索部は、現在処理対象となっている領域の一部もしくは全てを少なくとも含む領域と、周辺領域との間の所定の特徴量を求め、処理対象側の領域と、周辺領域との間で、求めた特徴量の変化量を更に求めた上で、探索に利用するように構成しても構わない。
【０１４４】
例えば、図１１（ｊ）のような領域の位置関係において、周波数成分の直流成分を求め、現在処理対象となっている領域の直流成分と周囲の領域の直流成分との変化量を求め、この変化量の位置関係に最も類似している位置を、参照側から特定することで位置情報を生成できるようにしても良い。ここで、探索する際に、同様の変化量を検出しながら、対応する位置関係を特定する機能を、類似成分特定部１０９内第１の探索部、および位置合わせ合成部１１０内の第２の探索部は備えるように構成すると良い。
【０１４５】
また、ここでは一例として、各領域の周波数成分の直流成分同士の変化量を探索に利用する構成を示したが、実施の形態６で述べたような他の特徴量の変化量を定量化し、探索に利用するように構成しても構わない。
【０１４６】
このように、所定の特徴量の変化量を求めて所定の探索するようにすることで、周辺領域との間の大域的な変化を利用して、探索することができるようになる。
【０１４７】
（実施の形態８）
更に、実施の形態８として、上述のような所定の第１、第２のいずれか、または全ての探索部が、所定の管理情報に基づいて、処理対象となる領域ごとに切り替えながら利用するように構成することも可能である。
【０１４８】
このように構成することで、例えば、処理対象となる領域の信号成分の品質がまだ十分ではない、初めの数回の繰り返し動作においては、求めた特徴量の変化量による探索や、テンプレートによる探索を利用し、その後は、他の探索を利用することで、少しずつ正しい信号成分を確定しながら、最終的に処理対象となる領域の信号成分の品質を向上させるとともに、実際に求めたい処理対象側と参照側の領域との対応関係を特定し、更に処理対象となる領域の信号成分の品質を向上させることができるようになる。
【０１４９】
（実施の形態９）
また、実施の形態９として、所定の特徴量の変化量に基づく探索する機能を探索部が利用できるように、類似成分特定部１０９、および位置合わせ合成部１１０は備えるようにし、また、第１成分抽出部１０５および第２成分抽出部１０６に供給する管理情報である、抽出アルゴリズム判別情報、およびその補助情報である抽出補助情報を、信号の再構成処理を繰り返すごとに異なる情報が供給されるようにし、より確からしい信号成分から順番に信号の再構成していくように信号成分を抽出する際の周波数通過帯域を制御するように、管理情報を設定することで、意図しない位置からの画像信号成分を超解像処理に利用することを抑制し、本来あるべき画像の特徴に近い画像を生成することができる。
【０１５０】
例えば、周波数通過帯域が、初めのうちは図３（ｃ）のような低い周波数成分を通過させるような帯域となるような補助情報が供給され、低い周波数成分を含む抽出成分情報が生成されるようにする。その後、探索においては、特徴量として領域に含まれる信号の周波数成分の直流成分を求め、更に処理対象となる領域と、周辺領域との間での変化量を求め、この変化量に基づいて探索処理をすることで、位置情報を生成する。その後、位置合わせ合成処理および帯域抑制処理をすることで信号の再構成処理をし、これらの一連の処理を繰り返すことで、より本来の信号に含まれる信号成分に近づいた、再構成後の低い周波数成分を含む抽出成分情報を確定させる。そして、順次、周波数通過帯域を、より高い周波数成分を通過させるような帯域となるような補助情報が供給されるようにし、同様の処理を繰り返すことで、抽出成分情報を少しずつ確定させていき、最終的に本来あるべき画像の特徴に近い画像に近づけていくように処理を制御していくように構成すると良い。
【０１５１】
ここでは、一例として、低い周波数成分から順番に信号を確定させていくような動作となるように制御できるような構成について述べたが、他の異なる周波数通過帯域で順次、抽出成分情報を確定させていき、最終的に本来あるべき画像の特徴に近い画像に近づけていくように処理を制御していくように構成しても構わない。
【０１５２】
（実施の形態１０）
なお、上記実施の形態１〜９では、信号処理装置１００をブロック図により図示してハードウエアにより構成したものとして説明したが、これらに限らず、コンピュータである情報処理装置を構成するようにしても良い。例えば、ＣＰＵ（Central Processing Unit）に代表される中央処理制御装置と、記録媒体や通信装置を介して、例えばメモリに代表される一時記憶装置や、例えばＨＤＤ（Hard Disc Drive）に代表される外部記憶装置に格納された信号処理プログラムにより、上記実施の形態１〜９の機能をソフトウェア処理により達成するようにしても勿論よい。また、実施の形態に係る信号処理装置１００および信号処理方法の適用される範囲は、信号を取得、および供給する際において、信号を再構成するような装置、方法、プログラム、システム等であれば、特に限定されるものではない。例えば、ＴＶに代表される放送装置のプリ処理およびポスト処理、携帯電話、テレビ会議装置、監視装置における、画像の高画質化処理、ＤＶＤ（Digital Versatile Disc）−Ｒ／ＲＷやＢＤ（Blu-ray Disc；登録商標）−Ｒ／ＲＷ、ＨＤＤ、ＳＤ、ホログラフィックメモリなどの追記および書き換え可能な記録媒体を利用した録画再生装置、およびディジタルカメラやカムコーダといった撮像記録再生装置、オーサリングなどの記録編集装置、動画像の配信装置などにおける記録、再生時の高画質化処理に適用することができる。また、画像や動画像、音楽等の符号化および復号をする際の、プリ処理およびポスト処理や、符号化処理および復号処理における、局部復号後の信号や、参照信号、および予測信号を生成する際の信号の改善処理、復元処理に適用することができる。更に、画像や動画像、音楽等の蓄積装置、配信装置、受信装置および転送装置における、通信時のエラー耐性処理等にも適用することが可能である。
【０１５３】
実施の形態に係る信号処理装置１００、信号処理方法および信号処理プログラムは、例えば、画像や音声を記録・再生・表示・伝送する、ＴＶ等のモニタ、ディジタルカメラ、カムコーダ、レコーダ、監視装置、編集装置、動画像配信サーバ、などに利用することができる。
【０１５４】
以上の画像処理は、ハードウェアを用いた蓄積、受信装置として実現することができるのは勿論のこと、ＲＯＭ（リード・オンリ・メモリ）やフラッシュメモリ等に記憶されているファームウェアや、コンピュータ等のソフトウェアによっても実現することができる。そのファームウェアプログラム、ソフトウェアプログラムをコンピュータ等で読み取り可能な記録媒体に記録して提供することも、有線あるいは無線のネットワークを通してサーバから提供することも、地上波あるいは衛星ディジタル放送のデータ放送として提供することも可能である。
【符号の説明】
【０１５５】
１００ 信号処理装置、 １０３、１０４、１０８、１１２、１１５ スイッチ、 １０５ 第１成分抽出部、 １０６ 第２成分抽出部、 １０７ 第１制御部、 １０９ 類似成分特定部、 １１０ 位置合わせ合成部、 １１１ 帯域抑制部、 １１３ 合成部、 １１４ 第２制御部、 １１６ 統合制御部。
【特許請求の範囲】
【請求項１】
所定の成分抽出処理を用いて処理対象となる信号から、所定の周波数通過帯域に含まれる周波数による信号である抽出成分情報とそれ以外の信号である抽出外成分情報とに分離する第１成分抽出部と、
所定の成分抽出処理を用いて参照対象となる信号から抽出成分情報を生成する第２成分抽出部と、
処理対象側の抽出成分情報の領域に対応する参照側の抽出成分情報の領域を特定するための位置情報を生成する類似成分特定部と、
前記類似成分特定部が生成した位置情報に基づいて、処理対象側の抽出成分情報の領域と参照側の抽出成分情報の領域とを特定し、処理対象となる信号において前記類似成分特定部が特定した位置情報よりも高い精度で参照側の信号の貼り付け位置を特定し、参照側の抽出成分情報の領域に含まれる信号成分の貼り付けおよび信号の合成を行うことで、合成成分情報を生成する位置合わせ合成部と、
前記位置合わせ合成部が生成した合成成分情報に対して所定の帯域抑制処理およびリサンプリング処理をすることで、帯域制限された合成成分情報を生成する帯域抑制部と、
前記帯域抑制部が生成した帯域制限された合成成分情報を新たな処理対象となる信号とし、信号の再構成処理を繰り返すように制御する統合制御部とを少なくとも備える信号処理装置。
【請求項２】
前記帯域抑制部が生成した帯域制限された合成成分情報と、前記第１成分抽出部が分離した処理対象側の抽出外成分情報とを取得し、所定の合成処理により再構成信号を生成する合成部とを更に備え、
前記第１成分抽出部は、前記合成部が生成した再構成信号を新たな処理対象とするものであり、
前記統合制御部は、前記第１成分抽出部が分離する抽出成分情報に含まれる周波数通過帯域を切り替えながら前記第１成分抽出部に抽出成分情報を生成させ、信号の再構成処理を繰り返すように制御することを特徴とする請求項１に記載の信号処理装置。
【請求項３】
前記位置合わせ合成部は、抽出成分情報の再構成処理を繰り返す際に、探索により特定した位置情報を順次更新しながら予測位置情報として保持し、
前記統合制御部は、再構成信号の再構成処理を繰り返す際に、前記位置合わせ合成部が保持する予測位置情報を基点として利用し、信号の再構成処理を繰り返すように制御することを特徴とする請求項１または２に記載の信号処理装置。
【請求項４】
処理対象側の抽出成分情報の領域に対応する参照側の抽出成分情報の領域を特定する第１の探索部と、
処理対象となる信号において前記類似成分特定部が特定した位置情報よりも高い精度で参照側の信号の貼り付け位置を特定する第２の探索部とを更に有し、
前記位置合わせ合成部は、処理対象となる成分抽出前の元の信号と参照対象となる成分抽出前の元の信号とを取得し、前記類似成分特定部は、前記第１の探索部が生成した位置情報に基づいて、これらの元の信号における、処理対象側の抽出成分情報の領域と参照側の抽出成分情報の領域とを特定し、前記第２の探索部は、処理対象となる信号において前記類似成分特定部が特定した位置情報よりも高い精度で参照側の元の信号の貼り付け位置を更に特定し、
前記位置合わせ合成部は、前記第２の探索部が特定した貼り付け位置に対して、参照側の元の信号の領域に含まれる信号成分の貼り付けおよび信号の合成を行うことで、合成成分情報を生成することを特徴とする請求項１から３のいずれかに記載の信号処理装置。
【請求項５】
前記第２の探索部は、前記位置合わせ合成部が生成した再構成後の抽出成分情報に基づいて、処理対象側の抽出成分情報の領域に対応する参照側の抽出成分情報の領域を特定するための位置情報を特定することを特徴とする請求項４に記載の信号処理装置。
【請求項６】
前記第１の探索部、および前記第２の探索部のうち少なくともひとつは、現在処理対象となっている領域の一部もしくは全てを少なくとも含む領域を、テンプレートとして探索に利用することを特徴とする請求項４または５に記載の信号処理装置。
【請求項７】
前記第１の探索部、および前記第２の探索部のうち少なくともひとつは、現在処理対象となっている領域を含まず、現在処理対象となっている領域に隣接、もしくは所定の領域だけ離れた領域を、テンプレートとして探索に利用することを特徴とする請求項４または５に記載の信号処理装置。
【請求項８】
前記第１の探索部、および前記第２の探索部のうち少なくともひとつは、現在処理対象となっている領域の一部もしくは全てを少なくとも含む領域と、周辺領域との間の所定の特徴量を、探索に利用することを特徴とする請求項４または５に記載の信号処理装置。
【請求項９】
前記第１の探索部、および前記第２の探索部のうち少なくともひとつは、現在処理対象となっている領域の一部もしくは全てを少なくとも含む領域と、周辺領域との間の所定の特徴量を求め、処理対象側の領域と、周辺領域との間で、求めた特徴量の変化量を更に求めた上で、探索に利用することを特徴とする請求項４または５に記載の信号処理装置。
【請求項１０】
前記統合制御部は、前記第１の探索部、および前記第２の探索部のうち少なくともひとつを、請求項６から９のいずれかに記載の探索部と切り替えながら探索に利用するように制御することを特徴とする請求項４または５に記載の信号処理装置。
【請求項１１】
所定の成分抽出処理を用いて処理対象となる信号から、所定の周波数通過帯域に含まれる周波数による信号である抽出成分情報とそれ以外の信号である抽出外成分情報とに分離するステップと、
所定の成分抽出処理を用いて参照対象となる信号から抽出成分情報を生成するステップと、
処理対象側の抽出成分情報の領域に対応する参照側の抽出成分情報の領域を特定するための位置情報を生成するステップと、
生成した位置情報に基づいて、処理対象側の抽出成分情報の領域と参照側の抽出成分情報の領域とを特定し、処理対象となる信号において、前記生成した位置情報より高い精度で参照側の信号の貼り付け位置を特定し、参照側の抽出成分情報の領域に含まれる信号成分の貼り付けおよび信号の合成を行うことで、合成成分情報を生成するステップと、
生成した合成成分情報に対して所定の帯域抑制処理およびリサンプリング処理をすることで、帯域制限された合成成分情報を生成するステップと、
生成した帯域制限された合成成分情報を新たな処理対象となる信号とし、信号の再構成処理を繰り返すように制御するステップとをプロセッサに実行させることを特徴とする信号処理方法。
【請求項１２】
所定の成分抽出処理を用いて処理対象となる信号から、所定の周波数通過帯域に含まれる周波数による信号である抽出成分情報とそれ以外の信号である抽出外成分情報とに分離する機能と、
所定の成分抽出処理を用いて参照対象となる信号から抽出成分情報を生成する機能と、
処理対象側の抽出成分情報の領域に対応する参照側の抽出成分情報の領域を特定するための位置情報を生成する機能と、
生成した位置情報に基づいて、処理対象側の抽出成分情報の領域と参照側の抽出成分情報の領域とを特定し、処理対象となる信号において、前記生成した位置情報より高い精度で参照側の信号の貼り付け位置を特定し、参照側の抽出成分情報の領域に含まれる信号成分の貼り付けおよび信号の合成を行うことで、合成成分情報を生成する機能と、
生成した合成成分情報に対して所定の帯域抑制処理およびリサンプリング処理をすることで、帯域制限された合成成分情報を生成する機能と、
生成した帯域制限された合成成分情報を新たな処理対象となる信号とし、信号の再構成処理を繰り返すように制御する機能とをコンピュータに実現させることを特徴とする信号処理プログラム。
【請求項１】
所定の成分抽出処理を用いて処理対象となる信号から、所定の周波数通過帯域に含まれる周波数による信号である抽出成分情報とそれ以外の信号である抽出外成分情報とに分離する第１成分抽出部と、
所定の成分抽出処理を用いて参照対象となる信号から抽出成分情報を生成する第２成分抽出部と、
処理対象側の抽出成分情報の領域に対応する参照側の抽出成分情報の領域を特定するための位置情報を生成する類似成分特定部と、
前記類似成分特定部が生成した位置情報に基づいて、処理対象側の抽出成分情報の領域と参照側の抽出成分情報の領域とを特定し、処理対象となる信号において前記類似成分特定部が特定した位置情報よりも高い精度で参照側の信号の貼り付け位置を特定し、参照側の抽出成分情報の領域に含まれる信号成分の貼り付けおよび信号の合成を行うことで、合成成分情報を生成する位置合わせ合成部と、
前記位置合わせ合成部が生成した合成成分情報に対して所定の帯域抑制処理およびリサンプリング処理をすることで、帯域制限された合成成分情報を生成する帯域抑制部と、
前記帯域抑制部が生成した帯域制限された合成成分情報を新たな処理対象となる信号とし、信号の再構成処理を繰り返すように制御する統合制御部とを少なくとも備える信号処理装置。
【請求項２】
前記帯域抑制部が生成した帯域制限された合成成分情報と、前記第１成分抽出部が分離した処理対象側の抽出外成分情報とを取得し、所定の合成処理により再構成信号を生成する合成部とを更に備え、
前記第１成分抽出部は、前記合成部が生成した再構成信号を新たな処理対象とするものであり、
前記統合制御部は、前記第１成分抽出部が分離する抽出成分情報に含まれる周波数通過帯域を切り替えながら前記第１成分抽出部に抽出成分情報を生成させ、信号の再構成処理を繰り返すように制御することを特徴とする請求項１に記載の信号処理装置。
【請求項３】
前記位置合わせ合成部は、抽出成分情報の再構成処理を繰り返す際に、探索により特定した位置情報を順次更新しながら予測位置情報として保持し、
前記統合制御部は、再構成信号の再構成処理を繰り返す際に、前記位置合わせ合成部が保持する予測位置情報を基点として利用し、信号の再構成処理を繰り返すように制御することを特徴とする請求項１または２に記載の信号処理装置。
【請求項４】
処理対象側の抽出成分情報の領域に対応する参照側の抽出成分情報の領域を特定する第１の探索部と、
処理対象となる信号において前記類似成分特定部が特定した位置情報よりも高い精度で参照側の信号の貼り付け位置を特定する第２の探索部とを更に有し、
前記位置合わせ合成部は、処理対象となる成分抽出前の元の信号と参照対象となる成分抽出前の元の信号とを取得し、前記類似成分特定部は、前記第１の探索部が生成した位置情報に基づいて、これらの元の信号における、処理対象側の抽出成分情報の領域と参照側の抽出成分情報の領域とを特定し、前記第２の探索部は、処理対象となる信号において前記類似成分特定部が特定した位置情報よりも高い精度で参照側の元の信号の貼り付け位置を更に特定し、
前記位置合わせ合成部は、前記第２の探索部が特定した貼り付け位置に対して、参照側の元の信号の領域に含まれる信号成分の貼り付けおよび信号の合成を行うことで、合成成分情報を生成することを特徴とする請求項１から３のいずれかに記載の信号処理装置。
【請求項５】
前記第２の探索部は、前記位置合わせ合成部が生成した再構成後の抽出成分情報に基づいて、処理対象側の抽出成分情報の領域に対応する参照側の抽出成分情報の領域を特定するための位置情報を特定することを特徴とする請求項４に記載の信号処理装置。
【請求項６】
前記第１の探索部、および前記第２の探索部のうち少なくともひとつは、現在処理対象となっている領域の一部もしくは全てを少なくとも含む領域を、テンプレートとして探索に利用することを特徴とする請求項４または５に記載の信号処理装置。
【請求項７】
前記第１の探索部、および前記第２の探索部のうち少なくともひとつは、現在処理対象となっている領域を含まず、現在処理対象となっている領域に隣接、もしくは所定の領域だけ離れた領域を、テンプレートとして探索に利用することを特徴とする請求項４または５に記載の信号処理装置。
【請求項８】
前記第１の探索部、および前記第２の探索部のうち少なくともひとつは、現在処理対象となっている領域の一部もしくは全てを少なくとも含む領域と、周辺領域との間の所定の特徴量を、探索に利用することを特徴とする請求項４または５に記載の信号処理装置。
【請求項９】
前記第１の探索部、および前記第２の探索部のうち少なくともひとつは、現在処理対象となっている領域の一部もしくは全てを少なくとも含む領域と、周辺領域との間の所定の特徴量を求め、処理対象側の領域と、周辺領域との間で、求めた特徴量の変化量を更に求めた上で、探索に利用することを特徴とする請求項４または５に記載の信号処理装置。
【請求項１０】
前記統合制御部は、前記第１の探索部、および前記第２の探索部のうち少なくともひとつを、請求項６から９のいずれかに記載の探索部と切り替えながら探索に利用するように制御することを特徴とする請求項４または５に記載の信号処理装置。
【請求項１１】
所定の成分抽出処理を用いて処理対象となる信号から、所定の周波数通過帯域に含まれる周波数による信号である抽出成分情報とそれ以外の信号である抽出外成分情報とに分離するステップと、
所定の成分抽出処理を用いて参照対象となる信号から抽出成分情報を生成するステップと、
処理対象側の抽出成分情報の領域に対応する参照側の抽出成分情報の領域を特定するための位置情報を生成するステップと、
生成した位置情報に基づいて、処理対象側の抽出成分情報の領域と参照側の抽出成分情報の領域とを特定し、処理対象となる信号において、前記生成した位置情報より高い精度で参照側の信号の貼り付け位置を特定し、参照側の抽出成分情報の領域に含まれる信号成分の貼り付けおよび信号の合成を行うことで、合成成分情報を生成するステップと、
生成した合成成分情報に対して所定の帯域抑制処理およびリサンプリング処理をすることで、帯域制限された合成成分情報を生成するステップと、
生成した帯域制限された合成成分情報を新たな処理対象となる信号とし、信号の再構成処理を繰り返すように制御するステップとをプロセッサに実行させることを特徴とする信号処理方法。
【請求項１２】
所定の成分抽出処理を用いて処理対象となる信号から、所定の周波数通過帯域に含まれる周波数による信号である抽出成分情報とそれ以外の信号である抽出外成分情報とに分離する機能と、
所定の成分抽出処理を用いて参照対象となる信号から抽出成分情報を生成する機能と、
処理対象側の抽出成分情報の領域に対応する参照側の抽出成分情報の領域を特定するための位置情報を生成する機能と、
生成した位置情報に基づいて、処理対象側の抽出成分情報の領域と参照側の抽出成分情報の領域とを特定し、処理対象となる信号において、前記生成した位置情報より高い精度で参照側の信号の貼り付け位置を特定し、参照側の抽出成分情報の領域に含まれる信号成分の貼り付けおよび信号の合成を行うことで、合成成分情報を生成する機能と、
生成した合成成分情報に対して所定の帯域抑制処理およびリサンプリング処理をすることで、帯域制限された合成成分情報を生成する機能と、
生成した帯域制限された合成成分情報を新たな処理対象となる信号とし、信号の再構成処理を繰り返すように制御する機能とをコンピュータに実現させることを特徴とする信号処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１２−２０３８７２（Ｐ２０１２−２０３８７２Ａ）
【公開日】平成２４年１０月２２日（２０１２．１０．２２）
【国際特許分類】
【出願番号】特願２０１１−７０９６２（Ｐ２０１１−７０９６２）
【出願日】平成２３年３月２８日（２０１１．３．２８）
【出願人】（３０８０３６４０２）株式会社ＪＶＣケンウッド (1,152)
【Ｆターム（参考）】
【公開日】平成２４年１０月２２日（２０１２．１０．２２）
【国際特許分類】
【出願日】平成２３年３月２８日（２０１１．３．２８）
【出願人】（３０８０３６４０２）株式会社ＪＶＣケンウッド (1,152)
【Ｆターム（参考）】
[ Back to top ]