超解像処理装置及び超解像処理方法
【課題】時間的に連続する複数の画像フレーム間において、フリッカーの発生を抑制できる超解像処理装置等を提供する。
【解決手段】学習データベースを用いて高周波成分を付加する方式の超解像処理において、まず、入力画像と、入力画像をフレーム遅延させた遅延入力画像との間の動きを検出し、動きベクトルを求める。次に遅延入力画像と同じ時刻のフレームの、前記動きベクトルにより動き補償された位置の超解像処理に用いた学習高周波パッチと同じ学習高周波パッチを選択されやすいように、入力画像の対象ブロックにおけるパッチ抽出時の評価値を更新する。
【解決手段】学習データベースを用いて高周波成分を付加する方式の超解像処理において、まず、入力画像と、入力画像をフレーム遅延させた遅延入力画像との間の動きを検出し、動きベクトルを求める。次に遅延入力画像と同じ時刻のフレームの、前記動きベクトルにより動き補償された位置の超解像処理に用いた学習高周波パッチと同じ学習高周波パッチを選択されやすいように、入力画像の対象ブロックにおけるパッチ抽出時の評価値を更新する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力画像に学習データベースを用いた超解像処理を行うことにより出力画像を生成する超解像処理装置及び超解像処理方法に関する。
【背景技術】
【０００２】
近年、家庭用テレビ及びＰＣ（パーソナルコンピュータ）用ディスプレイなどの表示デバイスの表示解像度が向上している。例えば、フルハイビジョン（１９２０画素×１０８０画素）又はそれ以上の表示能力（表示解像度）を持つ高解像度の表示デバイスが開発されている。このため既存のＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）などの標準画質（７２０画素×４８０画素など）の映像コンテンツをこのような高解像度の表示デバイスの全画面で表示する場合、映像コンテンツを構成する画像の解像度を、高解像度の表示デバイスの表示解像度まで増やすために高解像度化処理を行う必要がある。
【０００３】
高解像度化処理の手法として、現在の主流として知られているのは線形フィルタを用いた拡大処理である。さらに、近年、高解像度化処理の手法として、入力画像に存在しない高い解像度の情報を生成できる超解像と呼ばれる手法が注目されてきている（例えば非特許文献１）。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Ｆｒｅｅｍａｎ，Ｗ．Ｔ．Ｊｏｎｅｓ，Ｔ．Ｒ．Ｐａｓｚｔｏｒ，Ｅ．Ｃ．，“Ｅｘａｍｐｌｅ−ｂａｓｅｄ ｓｕｐｅｒ−ｒｅｓｏｌｕｔｉｏｎ”，Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ，ＩＥＥＥ，Ｍａｒｃｈ−Ａｐｒｉｌ ２００２
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記従来の構成では、時間的に連続する複数の画像フレーム間において、オブジェクトが時間方向にゆらいでしまうという問題がある。
【０００６】
本発明は、かかる問題に鑑みてなされたものであって、時間的に連続する複数の画像フレーム間において、フリッカーの発生を抑制できる超解像処理装置及び超解像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明の一態様に係る超解像処理装置は、入力画像に学習データベースを用いた超解像処理を行うことにより、前記入力画像より高い解像度を有する出力画像を生成する超解像処理装置であって、前記学習データベースには、学習画像の高周波成分から得られたデータである学習高周波パッチと、前記学習画像の少なくとも低周波成分から得られたデータである学習特徴量とが対応づけられたパッチペアが複数格納されており、前記入力画像から特徴量をブロック単位で抽出する特徴量抽出部と、前記学習データベースに格納されている複数の学習特徴量それぞれと、前記特徴量との類似度を示す評価値をブロック単位で算出し、前記学習データベースから、算出した前記評価値の示す前記特徴量に最も類似する学習特徴量と対応づけられた学習高周波パッチを抽出するパッチ抽出部と、前記入力画像と前記入力画像より時間的に前の入力画像である過去入力画像との間の動きをブロック単位で検出する動き検出部と、前記動き検出部により検出された動きに基づき、前記パッチ抽出部により前記過去入力画像に対して抽出された学習特徴量を特定するための特定情報が前記過去入力画像のブロック毎に対応させてマッピングされた過去データをブロック単位で動き補償する動き補償部と、前記入力画像と前記パッチ抽出部により抽出された学習高周波パッチとをブロック単位で加算することにより、前記出力画像を生成する加算部とを備え、前記パッチ抽出部は、前記入力画像のブロックと対応する前記動き補償部により動き補償された過去データのブロックの特定情報に基づき特定される学習特徴量と、当該入力画像のブロックに対応する前記特徴量との評価値を、当該過去データのブロックの特定情報を用いない場合よりも高い類似度を示す値に修正して算出する。
【０００８】
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたは記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
【０００９】
すなわち、上記のように一態様に係る超解像処理装置として実現できるだけでなく、超解像処理装置に含まれる特徴的な手段をステップとする超解像処理方法として実現したり、そのような特徴的なステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の非一時的なコンピュータ読み取り可能な記録媒体、及びインターネット等の伝送媒体を介して流通させることができるのは言うまでもない。また、本発明は、このような超解像処理装置の機能の一部又は全てを実現する半導体集積回路（ＬＳＩ）として実現してもよい。
【発明の効果】
【００１０】
本発明によれば、時間的に連続する複数の画像フレーム間において、フリッカーの発生を抑制できる超解像処理装置等を実現することができる。
【図面の簡単な説明】
【００１１】
【図１】図１は、実施の形態１に係る超解像処理装置の構成を示すブロック図である。
【図２】図２は、実施の形態１に係る超解像処理装置の動作例を示す図である。
【図３】図３は、実施の形態１に係る遅延入力画像のブロックに対するデータベースインデックスが動き補償されて動き補償データベースインデックスを得ることを説明するための図である。
【図４】図４は、実施の形態１に係る超解像処理装置の超解像処理を説明するためのフローチャートである。
【図５】図５は、実施の形態１に係る学習データベースに格納される画像変換が行われたパッチペアの１例を説明するための図である。
【図６】図６は、実施の形態２に係る超解像処理装置の構成を示すブロック図である。
【図７】図７は、実施の形態２に係る超解像処理装置の動作例を示す図である。
【図８】図８は、実施の形態２に係る超解像処理装置の超解像処理を説明するためのフローチャートである。
【図９Ａ】図９Ａは、実施の形態３に係る記録媒体の物理フォーマットの例を示す図である。
【図９Ｂ】図９Ｂは、実施の形態３に係る記録媒体の構成を示す図である。
【図９Ｃ】図９Ｃは、実施の形態３に係るコンピュータシステムの構成を示す図である。
【図１０】図１０は、実施の形態４におけるテレビジョン受像機のブロック図である。
【図１１】図１１は、従来の超解像処理装置の構成を示すブロック図である。
【図１２】図１２は、学習データベースを生成するための学習データベース生成装置の構成を示すブロック図である。
【図１３】図１３は、従来の超解像処理装置の動作例を示す図である。
【発明を実施するための形態】
【００１２】
（本発明の基礎となった知見）
本発明者は、「背景技術」の欄において記載した非特許文献１に開示される技術に関し、以下のような問題が生じることを見出した。
【００１３】
従来の超解像処理方法としては、非特許文献１に示される学習型超解像がある。この非特許文献１の方法を以下に説明する。
【００１４】
＜超解像処理装置９００の構成と動作１＞
図１１は、超解像処理装置９００の構成を示すブロック図である。図１１に示す超解像処理装置９００は、低解像度の入力画像（Ｄ９１１）から拡大画像（Ｄ９１３）を生成する拡大部９０１と、拡大画像（Ｄ９１３）から入力特徴量（Ｄ９１４）を生成する特徴量抽出部９０２と、入力特徴量（Ｄ９１４）、学習特徴量（Ｄ９１５）及び学習高周波パッチ（Ｄ９１６）から推定高周波パッチ（Ｄ９１７）を生成するパッチ抽出部９０３と、拡大画像（Ｄ９１３）と推定高周波パッチ（Ｄ９１７）とを加算することにより出力画像（Ｄ９１２）を生成する加算部９０４と、学習特徴量（Ｄ９１５）及び学習高周波パッチ（Ｄ９１６）を出力する学習データベース９０５とを備えている。
【００１５】
拡大部９０１は、超解像処理の目標解像度の倍率をＮとして、入力画像（Ｄ９１１）を水平及び垂直方向にそれぞれＮ倍に拡大することにより、拡大画像（Ｄ９１３）を生成する。例えば、拡大部９０１は、バイキュービック法又はスプライン補間法などの画素補間手法を用いて入力画像（Ｄ９１１）を拡大する。
【００１６】
特徴量抽出部９０２は、線形フィルタ操作などを用いて拡大画像（Ｄ９１３）の高周波成分を入力特徴量（Ｄ９１４）として抽出する。
【００１７】
パッチ抽出部９０３は、入力特徴量（Ｄ９１４）に対して、固定の小ブロック単位で次の処理を行う。パッチ抽出部９０３は、学習データベース９０５に格納された多数の学習特徴量（Ｄ９１５）の中から、入力特徴量（Ｄ９１４）の対象画像ブロックに最も類似した学習特徴量（Ｄ９１５）を検索する。ここで、パッチとは、ブロック化されたデータのことを指すものとする。また、パッチ抽出部９０３は、両パッチ間の距離を画素間差分の絶対値和又は自乗和などで定義する。そして、パッチ抽出部９０３は、その距離の小ささに応じて類似度の大きさを判断する。検索処理により、最も類似した学習特徴量（Ｄ９１５）が決定されると、パッチ抽出部９０３は、学習データベース９０５内で、学習特徴量（Ｄ９１５）とペアで格納されている学習高周波パッチ（Ｄ９１６）を取得し、取得した学習高周波パッチ（Ｄ９１６）を推定高周波パッチ（Ｄ９１７）として出力する。
【００１８】
加算部９０４は、拡大画像（Ｄ９１３）の対象ブロック位置のパッチと、推定高周波パッチ（Ｄ９１７）とを画素単位で加算し、加算結果を出力画像（Ｄ９１２）として出力する。
【００１９】
次に、超解像処理装置９００に含まれる学習データベース９０５を生成する方法を以下に説明する。
【００２０】
＜学習データベース生成装置９５０の構成と動作＞
図１２は、学習データベース９０５を生成するための学習データベース生成装置９５０の構成を示すブロック図である。この学習データベース生成装置９５０は、事前にデジタルカメラで撮影した実画像などから収集した学習画像（Ｄ９６１）から学習低周波画像（Ｄ９６２）を生成するローパスフィルタ部９５１と、学習低周波画像（Ｄ９６２）から学習低解像度画像（Ｄ９６３）を生成する縮小部９５２と、学習低解像度画像（Ｄ９６３）から学習低周波画像（Ｄ９６４）を生成する拡大部９５３と、学習低周波画像（Ｄ９６４）から学習特徴量（Ｄ９１５）を生成するハイパスフィルタ部９５４と、学習画像（Ｄ９６１）から学習高周波パッチ（Ｄ９１６）を生成するハイパスフィルタ部９５５と、学習特徴量（Ｄ９１５）および学習高周波パッチ（Ｄ９１６）を格納する学習データベース９０５とを有する。
【００２１】
ローパスフィルタ部９５１は、線形フィルタ操作などを用いて学習画像（Ｄ９６１）の低周波成分を学習低周波画像（Ｄ９６２）として抽出する。
【００２２】
縮小部９５２は、学習低周波画像（Ｄ９６２）を水平及び垂直方向にそれぞれＮ分の１に縮小することにより学習低解像度画像（Ｄ９６３）を生成する。
【００２３】
拡大部９５３は、学習低解像度画像（Ｄ９６３）を水平及び垂直方向にそれぞれＮ倍に拡大することにより学習低周波画像（Ｄ９６４）を生成する。
【００２４】
ハイパスフィルタ部９５４は、線形フィルタ操作などを用いて学習低周波画像（Ｄ９６４）の高周波成分を抽出し、その抽出結果を上記固定ブロック単位で切り出すことにより、複数の学習特徴量（Ｄ９１５）を生成する。
【００２５】
ハイパスフィルタ部９５５は、線形フィルタ操作などを用いて学習画像（Ｄ９６１）の高周波成分を抽出し、その抽出結果を上記固定ブロック単位に切り出すことにより、複数の学習高周波パッチ（Ｄ９１６）を生成する。
【００２６】
学習データベース９０５は、同一のブロック位置から生成された学習特徴量（Ｄ９１５）と学習高周波パッチ（Ｄ９１６）とを１つのパッチペアとして対応付けする。そして、対応関係と両画像パッチのデータとを格納する。
【００２７】
＜超解像処理装置９００の動作２＞
以上のようにして、超解像処理装置９００における学習データベース９０５には、事前にデジタルカメラで撮影した実画像などから収集された、実際の特徴量と高周波画像との関係が数多く記憶される。したがって、超解像処理装置９００は、入力特徴量（Ｄ９１４）と最も関連があると考えられる高周波画像パッチを検索できる。さらに、検索した高周波画像パッチが拡大画像（Ｄ９１３）に付加されることで、入力画像（Ｄ９１１）には含まれない失われた高周波成分が付加されることになる。これにより、超解像処理装置９００は、より高精細な出力画像（Ｄ９１２）を生成できる。
【００２８】
＜超解像処理装置９００の動作例＞
超解像処理装置９００の具体的な動作例を以下、説明する。図１３は、超解像処理装置９００の動作例を示す図である。
【００２９】
図１３には、超解像処理装置９００により入力画像（Ｄ９１１）に超解像処理を施し、高精細な出力画像（Ｄ９１２）を生成する様子の一例が示されている。
【００３０】
入力画像（Ｄ９１１）から拡大画像（Ｄ９１３）を生成する際は、フレーム全体を一度に拡大処理してもよく、対象ブロック（例えば図中の対象ブロック）ごとに拡大処理をしてもよい。ここで、拡大画像（Ｄ９１３）は、拡大処理によりぼけた画像となっている。これに対し、パッチ抽出部９０３によって学習データベース９０５から抽出された推定高周波パッチ（Ｄ９１７）が、加算部９０４によって拡大画像（Ｄ９１３）に加算されることで、より精細度の向上した出力画像（Ｄ９１２）が生成される。
【００３１】
しかしながら、上記の従来技術では、時間的に連続する複数の画像フレーム間において、オブジェクトが時間方向にゆらいでしまうという問題がある。具体的には、時間的に連続する複数の画像フレーム（以下、単にフレームと呼ぶ）間において、同じオブジェクトが、ランダムノイズの混入やオブジェクトの移動および変形などでごくわずかに変化しているに過ぎない場合でも、パッチ抽出部９０３は、前後のフレーム間で異なる学習特徴量（Ｄ９１５）を検索してしまうことがある。このとき、対応する学習高周波パッチ（Ｄ９１６）が異なるために、超解像処理がされた出力画像（Ｄ９１２）は、同じオブジェクトであってもフレームごとに異なる画像となり、オブジェクトが時間方向にゆらいでしまう（換言するとフリッカーが発生してしまう）という問題がある。
【００３２】
そこで、本発明の一態様は、かかる問題に鑑みてなされたものであって、時間的に連続する複数の画像フレーム間において、フリッカーの発生を抑制できる超解像処理装置及び超解像処理方法を提供することを目的とする。
【００３３】
上記目的を達成するために、第１の態様に係る超解像処理装置は、入力画像に学習データベースを用いた超解像処理を行うことにより、前記入力画像より高い解像度を有する出力画像を生成する超解像処理装置であって、前記学習データベースには、学習画像の高周波成分から得られたデータである学習高周波パッチと、前記学習画像の少なくとも低周波成分から得られたデータである学習特徴量とが対応づけられたパッチペアが複数格納されており、前記入力画像から特徴量をブロック単位で抽出する特徴量抽出部と、前記学習データベースに格納されている複数の学習特徴量それぞれと、前記特徴量との類似度を示す評価値をブロック単位で算出し、前記学習データベースから、算出した前記評価値の示す前記特徴量に最も類似する学習特徴量と対応づけられた学習高周波パッチを抽出するパッチ抽出部と、前記入力画像と前記入力画像より時間的に前の入力画像である過去入力画像との間の動きをブロック単位で検出する動き検出部と、前記動き検出部により検出された動きに基づき、前記パッチ抽出部により前記過去入力画像に対して抽出された学習特徴量を特定するための特定情報が前記過去入力画像のブロック毎に対応させてマッピングされた過去データをブロック単位で動き補償する動き補償部と、前記入力画像と前記パッチ抽出部により抽出された学習高周波パッチとをブロック単位で加算することにより、前記出力画像を生成する加算部とを備え、前記パッチ抽出部は、前記入力画像のブロックと対応する前記動き補償部により動き補償された過去データのブロックの特定情報に基づき特定される学習特徴量と、当該入力画像のブロックに対応する前記特徴量との評価値を、当該過去データのブロックの特定情報を用いない場合よりも高い類似度を示す値に修正して算出する。
【００３４】
この構成により、入力画像に対して時間方向にゆらぎにくく安定した高周波成分を付加する超解像処理を行うことができるので、時間的に連続する複数の画像フレーム間において、フリッカーの発生を抑制できる超解像処理装置を実現することができる。
【００３５】
具体的には、本構成により、動き補償された過去データのブロックの特定情報で特定される学習高周波パッチが選択されやすくなるので、時間方向の連続性が高くなり、高周波ゆらぎの少ない安定した高精彩な出力画像を得ることができる。
【００３６】
ここで、第２の態様に係る超解像処理装置は、第１の態様において、例えば、前記特定情報は、前記パッチ抽出部により前記過去入力画像に対して抽出された学習高周波パッチと当該学習高周波パッチに対応づけられた学習特徴量とを特定するデータベースインデックスであり、前記パッチ抽出部は、前記入力画像のブロックと対応する前記動き補償部により動き補償された過去データのブロックのデータベースインデックスにより特定される学習特徴量と、当該入力画像のブロックに対応する前記特徴量との評価値を、当該過去データのブロックの特定情報を用いない場合よりも高い類似度を示す値に修正するとしてもよい。
【００３７】
この構成により、動き補償された過去データのブロックのデータベースインデックスで特定される学習高周波パッチが選択されやすくなるので、時間方向の連続性が高くなり、高周波ゆらぎの少ない安定した高精彩な出力画像を得ることができる。
【００３８】
また、第３の態様に係る超解像処理装置は、第１の態様において、例えば、前記特定情報は、前記パッチ抽出部により前記過去入力画像に対して抽出された学習高周波パッチであり、前記パッチ抽出部は、前記入力画像のブロックと対応する前記動き補償部により動き補償された過去データのブロックの学習高周波パッチと対応づけられた学習特徴量と、当該入力画像のブロックに対応する前記特徴量との評価値を、当該過去データのブロックの特定情報を用いない場合よりも高い類似度を示す値に修正するとしてもよい。
【００３９】
この構成により、動き補償された過去データのブロックの学習高周波パッチが選択されやすくなるので、時間方向の連続性が高くなり、高周波ゆらぎの少ない安定した高精彩な出力画像を得ることができる。
【００４０】
また、第４の態様に係る超解像処理装置は、第１の態様〜第３の態様のいずれかにおいて、例えば、前記評価値は、前記類似度が高いほど小さい値を示し、前記パッチ抽出部は、前記入力画像のブロックと対応する前記動き補償部により動き補償された過去データのブロックの特定情報に基づき特定される学習特徴量と、当該入力画像のブロックに対応する前記特徴量との評価値を、当該過去データのブロックの特定情報を用いない場合よりもｃ１（ｃ１＞０）だけ減ずる値に修正するとしてもよい。
【００４１】
この構成により、動き補償された過去データのブロックの特定情報で特定される学習高周波パッチが選択されやすくなるので、時間方向の連続性が高くなり、高周波ゆらぎの少ない安定した高精彩な出力画像を得ることができる。
【００４２】
また、第５の態様に係る超解像処理装置は、第１の態様〜第３の態様のいずれかにおいて、例えば、前記評価値は、前記類似度が高いほど小さい値を示し、前記パッチ抽出部は、前記入力画像のブロックと対応する前記動き補償部により動き補償された過去データのブロックの特定情報に基づき特定される学習特徴量と、当該入力画像のブロックに対応する前記特徴量との評価値を、当該過去データのブロックの特定情報を用いない場合の評価値にｃ２（０＜ｃ１＜１）を乗ずる値に修正するとしてもよい。
【００４３】
この構成により、動き補償された過去データのブロックの特定情報で特定される学習高周波パッチが選択されやすくなるので、時間方向の連続性が高くなり、高周波ゆらぎの少ない安定した高精彩な出力画像を得ることができる。
【００４４】
また、第６の態様に係る超解像処理装置は、第１の態様〜第５の態様のいずれかにおいて、例えば、前記動き検出部は、さらに、前記動きの検出の確からしさを示す動き確度情報を算出し、前記パッチ抽出部、さらに、前記動き確度情報に基づいて、前記動きの検出が確からしいと判断する場合に、前記入力画像のブロックと対応する前記動き補償部により動き補償された過去データのブロックの特定情報に基づき特定される学習特徴量と、当該入力画像のブロックに対応する前記特徴量との評価値に対する修正量を大きくするとしてもよい。
【００４５】
この構成により、動き補償された過去データのブロックの特定情報で特定される学習高周波パッチが選択されやすくなるので、時間方向の連続性が高くなり、高周波ゆらぎの少ない安定した高精彩な出力画像を得ることができる。
【００４６】
また、第７の態様に係る超解像処理装置は、第１の態様〜第５の態様のいずれかにおいて、例えば、前記動き検出部は、さらに、前記動きの検出の確からしさを示す動き確度情報を算出し、前記パッチ抽出部は、前記動き確度情報に基づいて、前記動きの検出が確からしいと判断する場合にのみ、前記入力画像のブロックと対応する前記動き補償部により動き補償された過去データのブロックの特定情報に基づき特定される学習特徴量と、当該入力画像のブロックに対応する前記特徴量との評価値を、当該過去データのブロックの特定情報を用いない場合よりも高い類似度を示す値に修正するとしてもよい。
【００４７】
この構成により、動き補償された過去データのブロックの特定情報で特定される学習高周波パッチが選択されやすくなるので、時間方向の連続性が高くなり、高周波ゆらぎの少ない安定した高精彩な出力画像を得ることができる。
【００４８】
ここで、第８の態様に係る超解像処理装置は、第７の態様において、例えば、前記動き確度情報は、前記動き補償部により動き補償された過去データのブロックと、対応する前記入力画像のブロックとの類似度が高いほど、前記動きの検出がより確からしい旨を示すとしてもよい。
【００４９】
また、第９の態様に係る超解像処理装置は、第７の態様において、例えば、前記動き確度情報は、前記動き補償部により動き補償された過去データのブロックと、対応する前記入力画像における対象ブロックとの間における各画素同士の差分絶対値和を含むとしてもよい。
【００５０】
また、第１０の態様に係る超解像処理装置は、第９の態様において、例えば、前記動き確度情報は、前記差分絶対値和の値が小さいほど、前記動き補償部により動き補償された過去データのブロックと、対応する前記入力画像のブロックとの類似度が高いとしてもよい。
【００５１】
この構成により、動き補償された過去データのブロックの特定情報で特定される学習高周波パッチと類似した学習高周波成分が選択されやすくなるので、時間方向の連続性が高くなり、高周波ゆらぎの少ない安定した高精彩な出力画像を得ることができる。
【００５２】
また、第１１の態様に係る超解像処理装置は、第１の態様〜第１０の態様のいずれかにおいて、例えば、さらに、前記入力画像を所望の画像サイズに拡大して出力する拡大部を備え、前記特徴量抽出部は、前記拡大部により拡大された前記入力画像から特徴量を抽出し、前記加算部は、前記拡大部により拡大された前記入力画像と前記パッチ抽出部により抽出された学習高周波パッチとをブロック単位で加算することにより、前記出力画像を生成するとしてもよい。
【００５３】
また、第１２の態様に係る超解像処理装置は、第２の態様において、例えば、前記学習データベースには、類似した学習高周波パッチ同士が同じクラスに属するように分類されており、前記パッチ抽出部は、前記入力画像のブロックと対応する前記動き補償部により動き補償された過去データのブロックのデータベースインデックスにより特定される学習特徴量と対応付けられた学習高周波パッチと同じクラスに属する学習高周波パッチにおける学習特徴量と、当該入力画像のブロックに対応する前記特徴量との評価値を、当該過去データのブロックの特定情報を用いない場合よりも高い類似度を示す値に修正するとしてもよい。
【００５４】
また、上記目的を達成するために、第１２の態様に係る超解像処理方法は、例えば、入力画像に学習データベースを用いた超解像処理を行うことにより、前記入力画像より高い解像度を有する出力画像を生成する超解像処理方法であって、前記学習データベースには、学習画像の高周波成分から得られたデータである学習高周波パッチと、前記学習画像の少なくとも低周波成分から得られたデータである学習特徴量とが対応づけられたパッチペアが複数格納されており、前記入力画像から特徴量をブロック単位で抽出する特徴量抽出ステップと、前記学習データベースに格納されている複数の学習特徴量それぞれと、前記特徴量との類似度を示す評価値をブロック単位で算出し、前記学習データベースから、算出した前記評価値の示す前記特徴量に最も類似する学習特徴量と対応づけられた学習高周波パッチを抽出するパッチ抽出ステップと、前記入力画像と前記入力画像より時間的に前の入力画像である過去入力画像との間の動きをブロック単位で検出する動き検出ステップと、前記動き検出ステップにおいて検出された動きに基づき、前記パッチ抽出ステップにおいて前記過去入力画像に対して抽出された学習特徴量を特定するための特定情報が前記過去入力画像のブロック毎に対応されてマッピングされた過去データをブロック単位で動き補償する動き補償ステップと、前記入力画像と前記パッチ抽出ステップにおいて抽出された学習高周波パッチとをブロック単位で加算することにより、前記出力画像を生成する加算ステップとを含み、前記パッチ抽出ステップでは、前記入力画像のブロックと対応する前記動き補償ステップにおいて動き補償された過去データのブロックの特定情報に基づき特定される学習特徴量と、当該入力画像のブロックに対応する前記特徴量との評価値を、当該過去データのブロックの特定情報を用いない場合よりも高い類似度を示す値に修正して算出する。
【００５５】
また、上記目的を達成するために、第１３の態様に係る超解像処理を行うためのプログラムは、入力画像に学習データベースを用いた超解像処理を行うことにより、前記入力画像より高い解像度を有する出力画像を生成するためのプログラムを記録した非一時的なコンピュータ読み取り可能な記録媒体であって、前記学習データベースには、学習画像の高周波成分から得られたデータである学習高周波パッチと、前記学習画像の少なくとも低周波成分から得られたデータである学習特徴量とが対応づけられたパッチペアが複数格納されており、前記入力画像から特徴量をブロック単位で抽出する特徴量抽出ステップと、前記学習データベースに格納されている複数の学習特徴量それぞれと、前記特徴量との類似度を示す評価値をブロック単位で算出し、前記学習データベースから、算出した前記評価値の示す前記特徴量に最も類似する学習特徴量と対応づけられた学習高周波パッチを抽出するパッチ抽出ステップと、前記入力画像と前記入力画像より時間的に前の入力画像である過去入力画像との間の動きをブロック単位で検出する動き検出ステップと、前記動き検出ステップにおいて検出された動きに基づき、前記パッチ抽出ステップにおいて前記過去入力画像に対して抽出された学習特徴量を特定するための特定情報が前記過去入力画像のブロック毎に対応されてマッピングされた過去データをブロック単位で動き補償する動き補償ステップと、前記入力画像と前記パッチ抽出ステップにおいて抽出された学習高周波パッチとをブロック単位で加算することにより、前記出力画像を生成する加算ステップとを含み、前記パッチ抽出ステップでは、前記入力画像のブロックと対応する前記動き補償ステップにおいて動き補償された過去データのブロックの特定情報に基づき特定される学習特徴量と、当該入力画像のブロックに対応する前記特徴量との評価値を、当該過去データのブロックの特定情報を用いない場合よりも高い類似度を示す値に修正して算出する。
【００５６】
また、上記目的を達成するために、第１４の態様に係る集積回路は、例えば、入力画像に学習データベースを用いた超解像処理を行うことにより、前記入力画像より高い解像度を有する出力画像を生成する集積回路であって、前記学習データベースには、学習画像の高周波成分から得られたデータである学習高周波パッチと、前記学習画像の少なくとも低周波成分から得られたデータである学習特徴量とが対応づけられたパッチペアが複数格納されており、前記入力画像から特徴量をブロック単位で抽出する特徴量抽出部と、前記学習データベースに格納されている複数の学習特徴量それぞれと、前記特徴量との類似度を示す評価値をブロック単位で算出し、前記学習データベースから、算出した前記評価値の示す前記特徴量に最も類似する学習特徴量と対応づけられた学習高周波パッチを抽出するパッチ抽出部と、前記入力画像と前記入力画像より時間的に前の入力画像である過去入力画像との間の動きをブロック単位で検出する動き検出部と、前記動き検出部により検出された動きに基づき、前記パッチ抽出部により前記過去入力画像に対して抽出された学習特徴量を特定するための特定情報が前記過去入力画像のブロック毎に対応されてマッピングされた過去データをブロック単位で動き補償する動き補償部と、前記入力画像と前記パッチ抽出部により抽出された学習高周波パッチとをブロック単位で加算することにより、前記出力画像を生成する加算部とを備え、前記パッチ抽出部は、前記入力画像のブロックと対応する前記動き補償部により動き補償された過去データのブロックの特定情報に基づき特定される学習特徴量と、当該入力画像のブロックに対応する前記特徴量との評価値を、当該過去データのブロックの特定情報を用いない場合よりも高い類似度を示す値に修正して算出する。
【００５７】
なお、以下で説明する実施の形態は、いずれも本発明の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
【００５８】
以下、本発明を実施するための形態について、図面を参照しながら説明する。
【００５９】
（実施の形態１）
図１は、本発明の実施の形態１に係る超解像処理装置１００の構成を示すブロック図である。
【００６０】
図１に示す超解像処理装置１００は、入力画像（Ｄ１１１）に学習データベース１０５を用いた超解像処理を行うことにより、入力画像（Ｄ１１１）より解像度が大きい出力画像（Ｄ１１２）を生成する。この超解像処理装置１００は、拡大部１０１と、特徴量抽出部１０２と、パッチ抽出部１０３と、加算部１０４と、学習データベース１０５と、フレーム遅延部１１１と、動き検出部１１２と、フレーム遅延部１１３と、動き補償部１１４とを備える。
【００６１】
拡大部１０１は、入力画像（Ｄ１１１）を所望の画像サイズに拡大して出力する。具体的には、拡大部１０１は、入力画像（Ｄ１１１）を所望の画像サイズに拡大した拡大画像（Ｄ１１３）を生成する。なお、入力画像（Ｄ１１１）があらかじめ拡大されている場合や、入力画像（Ｄ１１１）の時点で画像の周波数分布が低周波に偏っている場合などは、入力画像サイズを増加させなくとも超解像効果が得られることから、拡大部１０１を省略してもよい。この場合、拡大画像（Ｄ１１３）は、入力画像（Ｄ１１１）で代替できる。
【００６２】
特徴量抽出部１０２は、拡大部１０１により拡大された入力画像（Ｄ１１１）から入力特徴量（Ｄ１１４）を抽出する。具体的には、特徴量抽出部１０２は、拡大画像（Ｄ１１３）から、特徴量を抽出して入力特徴量（Ｄ１１４）として出力する。なお、特徴量抽出部１０２は、入力画像（Ｄ１１１）から入力特徴量（Ｄ１１４）をブロック単位で抽出するとしてもよい。
【００６３】
ここで、特徴量とは、例えば、拡大画像（Ｄ１１３）の高周波成分であり、ハイパスフィルタを用いることで抽出される。また、特徴量は例えば、拡大画像（Ｄ１１３）のバンドパス成分であり、バンドパスフィルタを用いることで抽出させるとしてもよい。なお、特徴量は、拡大画像（Ｄ１１３）から抽出される任意の特徴量であってよいし、拡大画像（Ｄ１１３）の代わりに、入力画像（Ｄ１１１）から直接抽出されるとしてもよい。また、特徴量は、１次元のスカラー量であっても、複数次元を有するベクトル量であってもよい。
【００６４】
フレーム遅延部１１１は、内部に第１のフレームメモリ１２１を有しており、これを用いて入力画像（Ｄ１１１）をフレーム単位で遅延させて、遅延入力画像（Ｄ１２３）を出力する。
【００６５】
動き検出部１１２は、入力画像（Ｄ１１１）とその入力画像（Ｄ１１１）より時間的に前の入力画像（Ｄ１１１）である遅延入力画像（Ｄ１２３）との間の動きをブロック単位で検出する。具体的には、動き検出部１１２は、入力画像（Ｄ１１１）と、遅延入力画像（Ｄ１２３）との間の、画像内オブジェクトの動きを検出し、検出した動き（動き量）を示す動きベクトル（Ｄ１２４）を出力する。なお、動きの検出は、所定のブロック単位で行ってもよく、また、画像内のオブジェクトごとに任意に領域を分割して、その領域単位で行ってもよい。
【００６６】
また、動き検出部１１２は、動きの検出の確からしさを示す動き確度情報を算出する。具体的には、動き検出部１１２は、検出した動きの確からしさを示す動き確度情報（Ｄ１２８）を算出して出力する。ここで、動き確度情報は、動き補償部１１４により動き補償された過去のデータの過去データのブロックのデータベースインデックスのブロックと、対応する入力画像のブロックとの類似度が高いほど、動きの検出がより確からしい旨を示す。例えば、動き確度情報（Ｄ１２８）は、入力画像（Ｄ１１１）における対象ブロックと、動き補償した位置の遅延入力画像（Ｄ１２３）との間の各画素同士の差分絶対値和である。また、動き確度情報（Ｄ１２８）は、例えば、入力画像（Ｄ１１１）における対象ブロックと、動き補償した位置の遅延入力画像（Ｄ１２３）との間の各画素同士の差分自乗和である。なお、動き確度情報（Ｄ１２８）は、間引かれた画素における差分絶対値和または差分自乗和などでもよく、それ以外の方法で求めた動き補償した位置の遅延入力画像（Ｄ１２３）との間の類似度を示す指標であってもよい。なお、差分絶対値和の値が小さいほど、動き確度情報（Ｄ１２８）は類似度が高いことを示す。さらには、上記指標に、その他の評価指標を組み合わせたものであってもよい。
【００６７】
フレーム遅延部１１３は、内部に第２のフレームメモリ１２３を有しており、１フレーム分の各ブロック位置のデータベースインデックス（Ｄ１２５）をフレーム単位で遅延させて、遅延データベースインデックス（Ｄ１２６）を出力する。
【００６８】
動き補償部１１４は、動き検出部１１２により検出された動きに基づき、パッチ抽出部１０３により過去の入力画像（Ｄ１１１）に対して抽出された学習特徴量（Ｄ１１５）を特定するための特定情報が過去の入力画像のブロック毎に対応させてマッピングされた過去データをブロック単位で動き補償する。具体的には、動き補償部１１４は、動きベクトル（Ｄ１２４）に示される動き量に従って遅延データベースインデックス（Ｄ１２６）を動き補償し、動き補償データベースインデックス（Ｄ１２７）を出力する。
【００６９】
なお、ここでいう過去の入力画像とは、超解像処理装置１００に入力された入力画像（Ｄ１１１）の時間順序を示している。換言すると、超解像処理装置１００により出力された出力画像（Ｄ１１２）が表示される順序（表示時刻）を示すものではない。同様に、過去データは、この過去の入力画像（Ｄ１１１）に対するデータを示しているに過ぎない。
【００７０】
パッチ抽出部１０３は、学習データベース１０５に格納されている複数の学習特徴量（Ｄ１１５）それぞれと、入力特徴量（Ｄ１１４）との類似度を示す評価値をブロック単位で算出し、学習データベース１０５から、算出した評価値が示す入力特徴量（Ｄ１１４）に最も類似する学習特徴量（Ｄ１１５）と対応づけられた学習高周波パッチ（Ｄ１１６）を抽出する。また、パッチ抽出部１０３は、入力画像（Ｄ１１１）のブロックと対応する動き補償部１１４により動き補償された過去データのブロックの特定情報に基づき特定される学習特徴量（Ｄ１１５）と、当該入力画像（Ｄ１１１）のブロックに対応する入力特徴量（Ｄ１１４）との評価値を、当該過去データのブロックの特定情報を用いない場合よりも高い類似度を示す値に修正して算出する。
【００７１】
ここで、特定情報は、パッチ抽出部１０３により過去の入力画像（Ｄ１１１）に対して抽出された学習高周波パッチ（Ｄ１１６）と当該学習高周波パッチ（Ｄ１１６）に対応づけられた学習特徴量（Ｄ１１５）とを特定するデータベースインデックスである。本実施の形態では、パッチ抽出部１０３は、入力画像（Ｄ１１１）のブロックと対応する動き補償部１１４により動き補償された過去データのブロックのデータベースインデックスにより特定される学習特徴量（Ｄ１１５）と、当該入力画像（Ｄ１１１）のブロックに対応する入力特徴量（Ｄ１１４）との評価値を、当該過去データのブロックの特定情報を用いない場合よりも高い類似度を示す値に修正する。
【００７２】
評価値は、類似度が高いほど小さい値を示す。この場合、例えば、パッチ抽出部１０３は、入力画像（Ｄ１１１）のブロックと対応する動き補償部１１４により動き補償された過去データのブロックの特定情報に基づき特定される学習特徴量（Ｄ１１５）と、当該入力画像（Ｄ１１１）のブロックに対応する入力特徴量（Ｄ１１４）との評価値を、当該過去データのブロックの特定情報を用いない場合よりもｃ１（ｃ１＞０）だけ減ずる値に修正するとしてもよい。また、パッチ抽出部１０３は、入力画像（Ｄ１１１）のブロックと対応する動き補償部１１４により動き補償された過去データのブロックの特定情報に基づき特定される学習特徴量（Ｄ１１５）と、当該入力画像（Ｄ１１１）のブロックに対応する入力特徴量（Ｄ１１４）との評価値を、当該過去データのブロックの特定情報を用いない場合の評価値にｃ２（０＜ｃ１＜１）を乗ずる値に修正するとしてもよい。
【００７３】
なお、パッチ抽出部１０３は、さらに、動き確度情報（Ｄ１２８）に基づいて、動きの検出が確からしいと判断する場合に、入力画像（Ｄ１１１）のブロックと対応する動き補償部１１４により動き補償された過去データのブロックの特定情報に基づき特定される学習特徴量（Ｄ１１５）と、当該入力画像（Ｄ１１１）のブロックに対応する入力特徴量（Ｄ１１４）との評価値に対する修正量を大きくするとしてもよい。また、パッチ抽出部１０３は、動き確度情報（Ｄ１２８）に基づいて、動きの検出が確からしいと判断する場合にのみ、入力画像（Ｄ１１１）のブロックと対応する動き補償部１１４により動き補償された過去データのブロックの特定情報に基づき特定される学習特徴量（Ｄ１１５）と、当該入力画像（Ｄ１１１）のブロックに対応する入力特徴量（Ｄ１１４）との評価値を、当該過去データのブロックの特定情報を用いない場合よりも高い類似度を示す値に修正するとしてもよい。
【００７４】
より具体的には、本実施の形態では、パッチ抽出部１０３は、入力特徴量（Ｄ１１４）と学習特徴量（Ｄ１１５）との類似度が大きいほど値が小さくなる評価値を用いて、評価値が最小の学習特徴量（Ｄ１１５）を検索する。パッチ抽出部１０３は、検索により得た学習特徴量（Ｄ１１５）に対応する学習高周波パッチ（Ｄ１１６）を、推定高周波パッチ（Ｄ１１７）として出力する。
【００７５】
また、パッチ抽出部１０３は、検索より得た学習特徴量（Ｄ１１５）および学習高周波パッチ（Ｄ１１６）のペアに対応するデータベースインデックスを、データベースインデックス（Ｄ１２５）として出力する。
【００７６】
ここで、パッチ抽出部１０３は、動き確度情報（Ｄ１２８）により動き検出が確からしいと判断した場合、上記検索時の評価値を、動き補償データベースインデックス（Ｄ１２７）と等しいデータベースインデックスを持つ学習特徴量（Ｄ１１５）に対して、修正しない場合の評価値と比べて同じかより小さい値に修正した上で検索を行う。一方、動き確度情報（Ｄ１２８）により動き検出が確からしくないと判断した場合、評価値の修正は行わない。なお、パッチ抽出部１０３は、動き確度情報（Ｄ１２８）に関わらず評価値の修正を常に実施するとしても構わない。
【００７７】
加算部１０４は、拡大部１０１により拡大された入力画像（Ｄ１１１）とパッチ抽出部１０３により抽出された学習高周波パッチ（Ｄ１１６）とをブロック単位で加算することにより、出力画像を生成する。具体的には、加算部１０４は、拡大画像（Ｄ１１３）と、推定高周波パッチ（Ｄ１１７）とを加算することにより出力画像（Ｄ１１２）を生成する。なお、加算部１０４は、入力画像（Ｄ１１１）とパッチ抽出部１０３により抽出された学習高周波パッチ（Ｄ１１６）とをブロック単位で加算することにより、出力画像を生成するとしてもよい。
【００７８】
学習データベース１０５は、学習画像の高周波成分から得られたデータである学習高周波パッチ（Ｄ１１６）と、その学習画像の少なくとも低周波成分から得られたデータである学習特徴量（Ｄ１１５）とが対応づけられたパッチペアを複数格納している。なお、学習データベース１０５は、図１２を用いて説明した学習データベース９０５と同様の方法で予め作成されている。本実施の形態では、学習データベース１０５は、同一のブロック位置から生成された学習特徴量（Ｄ１１５）と学習高周波パッチ（Ｄ１１６）とを１つのパッチペアとして対応付けて格納されるとともに、その対応付けを示す対応関係データベースインデックス（Ｄ１２５）も格納している。
【００７９】
これにより、本実施の形態に係る超解像処理装置１００は、パッチ抽出部１０３でデータベースを検索する際に、データベースインデックスが、前後のフレームの動き補償された動き補償データベースインデックスとの一致を考慮することで、出力画像において時間方向の画像ゆらぎを低減することができる。
【００８０】
図２は、実施の形態１に係る超解像処理装置の動作例を示す図である。図３は、実施の形態１に係る遅延入力画像のブロックに対するデータベースインデックスが動き補償されて動き補償データベースインデックスを得ることを説明するための図である。
【００８１】
以下、動き補償データベースインデックス（Ｄ１２７）を得るまでの過程を説明する。
【００８２】
入力画像（Ｄ１１１）をフレーム遅延部１１１により遅延させた遅延入力画像（Ｄ１２３）は、例えば、入力画像の時刻をｔとすると、時刻ｔ−１などとなる。
【００８３】
なお、遅延入力画像（Ｄ１２３）は、入力画像（Ｄ１１１）に対して時間的に直前のフレームでなくても構わず、時間的に２フレーム以上前のフレームであってもよい。また、遅延入力画像（Ｄ１２３）は、例えばＭＰＥＧやＨ．２６４などといった時間的に後のフレームを先に符号化したものを復号した場合などで、入力画像（Ｄ１１１）よりも時間的に後、すなわち未来の時刻のフレームであっても構わない。つまり、遅延入力画像（Ｄ１２３）の時刻はｔ−２であっても、ｔ＋１であっても、それ以外であっても構わない。
【００８４】
図２の（ａ）に示す入力画像（Ｄ１１１）は、飛行機が右上に向かって飛んでいる例である。図２の（ａ）に示すように、入力画像（Ｄ１１１）における飛行機の位置は、遅延入力画像（Ｄ１２３）よりも右上へ移動している。
【００８５】
動き検出部１１２は、入力画像（Ｄ１１１）中の対象ブロックの画像と類似したブロックを、第１のフレームメモリ１２１に格納された遅延入力画像（Ｄ１２３）の中から探索し、その位置を動き補償位置とする。そして動き補償位置から対象ブロック位置までの移動量を動きベクトル（Ｄ１２４）として算出する。
【００８６】
ここで、例えば、動きベクトル（Ｄ１２４）の値を（ｄｘ，ｄｙ）として、対象ブロックの左上位置が（ｘ，ｙ）とすると、動き補償位置（左上）は（ｘ＋ｄｘ，ｙ＋ｄｙ）で求められる。動き検出の方法については、例えば非特許文献２「ディジタル画像圧縮の基礎：安田浩、渡辺裕／日経ＢＰ出版センター／１．３．２節」に説明されている動き検出法を利用してもよい。なお、それ以外の任意の動き検出法を利用してもよい。
【００８７】
さらに、対象ブロックと動き補償位置のブロックとの類似度を、ブロック内の各画素同士のＳＡＤ演算（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅｓ： 差分絶対値和）によって求め、動き確度情報（Ｄ１２８）として出力する。なお、算出方法はこの方法に限られず、例えば差分自乗和など任意の方法で類似度を求めるとしてもよい。これにより、動き確度情報（Ｄ１２８）は、値が小さいほど類似度が高い（動き検出が確からしい）ことを意味する。
【００８８】
図２の（ｂ）は、遅延入力画像（Ｄ１２３）と同じ時刻の、パッチ抽出部１０３によって抽出された学習高周波パッチ（Ｄ１１６）を示すデータベースインデックス（Ｄ１２５）が、フレーム遅延部１１３によって第２のフレームメモリ１２３に格納された状態を示している。
【００８９】
ここで、データベースインデックス（Ｄ１２５）とは、学習データベース１０５中の、学習特徴量（Ｄ１１５）と学習高周波パッチ（Ｄ１１６）とのペアを一意に識別するためのインデックス番号である。例えば、超解像処理の単位ブロックサイズが１０×１０画素、入力画像（Ｄ１１１）のサイズが１９２０×１０８０画素だとすると、フレームあたりの処理ブロック数は１９２×１０８個で、この数の、遅延入力画像（Ｄ１２３）と同じ時刻の遅延データベースインデックス（Ｄ１２６）が、第２のフレームメモリ１２３中に格納される。
【００９０】
遅延データベースインデックス（Ｄ１２６）のうち、対象ブロックに対応する動き補償された位置は、第２のフレームメモリ１２３における２次元位置を（Ｘ，Ｙ）として、例えば、
【数１】
として求められる。ここで、ｂｘおよびｂｙは、それぞれ、超解像処理単位ブロックの水平サイズおよび垂直サイズであり、ｒｏｕｎｄ（）は、小数点以下を四捨五入する関数である。なお、位置の求め方は、ｒｏｕｎｄ（）の代わりに、小数点以下切捨て、小数点以下切り上げ、など、任意の方法で整数化してもよい。
【００９１】
この位置（Ｘ，Ｙ）の遅延データベースインデックス（Ｄ１２６）を、動き補償データベースインデックス（Ｄ１２７）とする。
【００９２】
つまり、図３に示すように、前フレームすなわち遅延入力画像（Ｄ１２３）に対する処理結果を、動き補償して取得する。
【００９３】
換言すると、まず、動き補償部１１４は、動き検出部１１２により検出された動きに基づき、パッチ抽出部１０３により過去の入力画像（Ｄ１１１）に対して抽出された学習特徴量（Ｄ１１５）を特定するためのデータベースインデックス（Ｄ１２５）が過去の入力画像のブロック毎に対応させてマッピングされた過去データをブロック単位で動き補償した動き補償データベースインデックス（Ｄ１２７）を生成する。
【００９４】
次に、パッチ抽出部１０３では、動き確度情報（Ｄ１２８）、入力特徴量（Ｄ１１４）、動き補償データベースインデックス（Ｄ１２７）に基づいて、学習データベース１０５中の各学習特徴量（Ｄ１１５）に対する評価値を算出する。そして、パッチ抽出部１０３は、学習データベース１０５から、算出した評価値が示す入力特徴量（Ｄ１１４）に最も類似する学習特徴量（Ｄ１１５）と対応づけられた学習高周波パッチ（Ｄ１１６）を抽出する。このようにして、時間連続性を考慮して学習特徴量（Ｄ１１５）を検索することができるので、時間連続性を考慮した学習高周波パッチ（Ｄ１１６）を抽出することができる。
【００９５】
以下、パッチ抽出部１０３が、評価値（以下、評価値ｅと記載）を算出する方法について説明する。
【００９６】
例えば、パッチ抽出部１０３は、評価値ｅを以下のように算出する。
【００９７】
【数２】
【００９８】
ここで、入力特徴量をＩｎＦ、学習特徴量をＴｒＦ、特徴量の各要素成分を示す記号を（ｉ，ｊ）、特徴量の各要素成分同士のＳＡＤ演算をｓａｄ（）としている。またｃ１は正の定数である。なお、例えば動き確度情報（Ｄ１２８）の値があらかじめ設定した閾値よりも小さい場合に、動き確度が高い、それ以外を動き確度が低い、と判断する。
【００９９】
また、例えば、パッチ抽出部１０３は、評価値ｅを以下のように算出してもよい。
【０１００】
【数３】
【０１０１】
ここで、ｃ２は０＜ｃ２＜１なる定数である。
【０１０２】
また、例えば、パッチ抽出部１０３は、評価値ｅを以下のように算出してもよい。
【０１０３】
【数４】
【０１０４】
ここで、ｍｃ＿ｓａｄは、動き確度情報（Ｄ１２８）の値であり、動き検出の確度が高いほど小さい値を持ち、ｆｕｎｃ１（）は、広義単調減少関数である。
【０１０５】
また、例えば、パッチ抽出部１０３は、評価値ｅを以下のように算出してもよい。
【０１０６】
【数５】
【０１０７】
ここで、ｆｕｎｃ２（）は、広義単調増加関数であり、値域は０以上１以下である。
【０１０８】
なお、パッチ抽出部１０３は、評価値ｅを算出する際に上記の例以外の算出式を用いてもよい。動き検出の確度が同じ、かつ、入力特徴量（Ｄ１１４）と学習特徴量（Ｄ１１６）との類似度が同じである条件下で、学習データベースインデックス（Ｄ１２５）が動き補償データベースインデックス（Ｄ１２７）と異なる場合に比べて同じ場合の方が、評価値ｅが小さくなるような算出式を用いてもよい。また、入力特徴量（Ｄ１１４）と学習特徴量（Ｄ１１６）との類似度が同じ、かつ、学習データベースインデックスが動き補償データベースインデックス（Ｄ１２７）と同じである条件下で、動き確度がより高い場合、すなわち動き確度情報（Ｄ１２８）の値がより小さい場合に、評価値ｅが同じかより小さくなるような算出式を用いてもよい。
【０１０９】
また、学習データベースインデックスによって示される学習高周波パッチ（Ｄ１１６）が、動き補償データベースインデックス（Ｄ１２７）によって示される学習高周波パッチ（Ｄ１１６）と類似しているかどうかを判断するとしてもよい。この場合、より類似しているほど、評価値ｅを同じか小さくするように制御する。また、類似の度合いは、例えば、学習高周波パッチ（Ｄ１１６）同士のＳＡＤ演算で得られる。なお、あらかじめ類似の度合いが大きいものを、近いデータベースインデックスの値に割り当てておいて、データベースインデックスの値を比較するだけで類似の度合いを判断してもよい。
【０１１０】
以上のように、動き検出が成功している場合には、動き補償データベースインデックス（Ｄ１２７）で特定される学習特徴量（Ｄ１１５）の評価値ｅがより小さくなることでよりパッチ抽出部１０３に検索（選択）されやすくなる。それにより、パッチ抽出部１０３が抽出する推定高周波パッチ（Ｄ１１７）の時間連続性が高まる。また動き検出が失敗している場合は、評価値ｅの修正量が小さくなるため、時間連続性を考慮せずに、入力特徴量により類似した学習特徴量（Ｄ１１５）が検索される。よって、必要に応じて時間連続性が考慮され、高周波ゆらぎの少ない、安定した高精彩な出力画像を得ることができる。
【０１１１】
＜超解像処理方法＞
図４は、実施の形態１に係る超解像処理装置１００の超解像処理を説明するためのフローチャートである。
【０１１２】
まず、フレーム遅延部１１１は、入力画像（Ｄ１１１）を第１のフレームメモリ１２１に格納する（Ｓ１０１）。
【０１１３】
次に、拡大部１０１は、入力画像（Ｄ１１１）を所望の画像サイズに拡大した拡大画像（Ｄ１１３）を生成する（Ｓ１０２）。
【０１１４】
なお、入力画像があらかじめ拡大されている場合や、入力画像の時点で画像の周波数分布が低周波に偏っている場合などは、入力画像サイズを増加させなくとも超解像効果が得られる。その場合、Ｓ１０２を省略、すなわち、拡大部Ｂ１０１を省略し、拡大画像（Ｄ１１３）は、入力画像（Ｄ１１１）となる。
【０１１５】
次に、特徴量抽出部１０２は、拡大画像（Ｄ１１３）から、特徴量を抽出して入力特徴量（Ｄ１１４）として出力する（Ｓ１０３）。
【０１１６】
次に、動き検出部１１２は、入力画像（Ｄ１１１）と、遅延入力画像（Ｄ１２３）との間の、画像内オブジェクトなどの動きを検出する。そして、動き検出部１１２は、検出した動き（動き量）を示す動きベクトル（Ｄ１２４）を出力する。ここで、遅延入力画像（Ｄ１２３）は、Ｓ１０７で第１のフレームメモリ１２１に格納された前フレーム（過去の入力画像）の画像データである。そのため、最初に処理するフレームではまだ生成されておらず、この処理は行わない。なお、動きの検出は、所定のブロック単位で行ってもよく、また、画像内のオブジェクトごとに任意に領域を分割して、その領域単位で行ってもよい。ここで、動き検出部１１２は、さらに、検出した動きの確からしさを示す動き確度情報（Ｄ１２８）を出力する（Ｓ１０４）。
【０１１７】
次に、動き補償部１１４は、Ｓ１０４で求めた動きベクトル（Ｄ１２４）に示される動き量に従って遅延データベースインデックス（Ｄ１２６）を動き補償して生成した動き補償データベースインデックス（Ｄ１２７）を出力する。なお、遅延データベースインデックス（Ｄ１２６）は、前フレームでのＳ１０７で生成されるため、最初に処理するフレームではまだ生成されておらず、この処理は行わない（Ｓ１０５）。
【０１１８】
次に、パッチ抽出部１０３は、入力特徴量（Ｄ１１４）と学習特徴量（Ｄ１１５）との類似度がより大きいほど、小さくなる評価値を用いて、評価値が最小の学習特徴量（Ｄ１１５）を検索する。パッチ抽出部１０３は、検索して得た学習特徴量（Ｄ１１５）に対応する学習高周波パッチ（Ｄ１１６）を抽出し、推定高周波パッチ（Ｄ１１７）として出力する（Ｓ１０６）。
【０１１９】
ここで、パッチ抽出部１０３は、動き確度情報（Ｄ１２８）により動き検出が確からしいと判断した場合、上記検索時の評価値は、動き補償データベースインデックス（Ｄ１２７）と等しいデータベースインデックス（Ｄ１２５）を持つ学習特徴量（Ｄ１１５）に対しては、評価値を同じかより小さい値に修正した上で検索を行う。一方、動き確度情報（Ｄ１２８）により動き検出が確からしくないと判断した場合、評価値の修正は行わない。なお、動き確度情報（Ｄ１２８）に関わらず評価値の修正を常に実施しても構わない。
【０１２０】
次に、パッチ抽出部１０３で検索して得た（選択した）学習特徴量（Ｄ１１５）および学習高周波パッチ（Ｄ１１６）のペアに対応するデータベースインデックス（Ｄ１２５）を、フレーム遅延部１１３においてインデックスメモリ（第２のフレームメモリ１２３）に格納する（Ｓ１０７）。
【０１２１】
ここで、パッチ抽出部１０３は、さらに、動き補償データベースインデックス（Ｄ１２７）と等しいデータベースインデックス（Ｄ１２５）を持つ学習特徴量（Ｄ１１５）に対しては、その評価値をより小さく修正した上で検索を行う。
【０１２２】
次に、加算部１０４は、拡大画像（Ｄ１１３）と、推定高周波パッチ（Ｄ１１７）とを加算することにより出力画像（Ｄ１１２）を生成する（Ｓ１０８）。
【０１２３】
＜効果＞
以上のように、前後の時刻のフレームにおける動き補償された学習データベースインデックスと同じ学習データベースインデックスで示される学習特徴量に対する評価値をより小さい値にする。それにより、動き補償された位置で選択された学習高周波パッチ（Ｄ１１６）と同じものを選択されやすくすることができるので、付加される推定高周波パッチ（Ｄ１１７）の時間連続性を高めることができ、高周波のゆらぎが少ない、高精細な出力画像を生成することができる。
【０１２４】
以上、本実施の形態によれば、入力画像に対して時間方向にゆらぎにくく安定した高周波成分を付加する超解像処理を行うことができるので、時間的に連続する複数の画像フレーム間において、フリッカーの発生を抑制できる超解像処理装置を実現することができる。
【０１２５】
なお、実施の形態１では、学習データベース１０５は、図１２を用いて説明した学習データベース９０５と同様の方法で予め作成されているとしたが、それに限らない。
【０１２６】
例えば、学習データベース１０５は、学習画像の高周波成分から得られたデータである学習高周波パッチ（Ｄ１１６）と、その学習画像の少なくとも低周波成分から得られたデータである学習特徴量（Ｄ１１５）とのパッチペアだけでなく、パッチペアである学習特徴量（Ｄ１１５）と学習高周波パッチ（Ｄ１１６）とを回転、転置などの画像変換を行ったものをパッチペアとして複数格納していてもよい。
【０１２７】
その場合、データベースインデックス（Ｄ１２５）と共に、画像変換の方法を示す画像変換インデックスを保持することが好ましい。そして、パッチ抽出部１０３は、動き補償位置のデータベースインデックス（Ｄ１２５）と画像変換インデックスが一致するパッチに対する評価値を下げるとすればよい。
【０１２８】
ここで、回転、転置などの画像変換を行ったパッチペアの一例を用いて説明する。
【０１２９】
図５は、実施の形態１に係る学習データベースに格納される画像変換が行われたパッチペアの１例を説明するための図である。ここで、図５では、１個の学習特徴量（Ｄ１１５）を示すデータＰ１２からＬ個の学習特徴量（Ｄ１１５）を示すデータＰ１２０が生成されている場合の例を示している。なお、画像変換が行われた学習高周波パッチ（Ｄ１１６）を生成する場合も同様であるため、学習特徴量（Ｄ１１５）の場合のみを説明する。
【０１３０】
図５の例では、学習特徴量（Ｄ１１５）を示すデータＰ１２を２次元配列とみなし、横方向や縦方向に配列を反転させたり、配列の転置を行ったり、配列の要素である数値データの正負符号やビットを反転させることで、Ｌ＝１６個の学習特徴量（Ｄ１１５）を示すデータを生成している。なお、配列の要素である数値データｐが例えば０〜２５５に正規化されている場合、数値データの正負符号の反転は２５５−ｐを意味する。
【０１３１】
一般に、Ｐ１２０の生成は次式で表される。
【０１３２】
Ｐ１２０［ｋ］［ｌ］＝Ｇ（Ｐ１２［ｋ］，ｌ） ・・・（１）
【０１３３】
ただし、Ｇ（Ｘ，ｌ）はＸからパラメータｌを用いて新しいパターンを生成する関数であり、ｋ＝１，・・・，Ｋである。パラメータｌは、例えば図５の例では、ｌ＝１，・・・，Ｌである。
【０１３４】
なお、Ｌ個の学習特徴量（Ｄ１１５）を示すデータを生成する方法は、上記のみによらず、例えば、パッチ抽出部１０３が検索に使用するデータサイズよりも大きなデータを学習データベース１０５で保持している場合は、配列要素を平行移動させたり、アフィン変換などを用いて配列パターンの回転等の変形を行ったりしても良い。このとき、非整数位置の配列データが必要な場合は、例えばバイキュービック法により補間生成すればよい。
【０１３５】
また、学習データベース１０５に格納されるパッチペアの構成は、上記の場合に限られない。例えば、学習データベース１０５は、類似したパッチ同士が同じクラスに属するように分類した情報が格納されているとしてもよい。その場合、パッチ抽出部１０３は、動き補償データベースインデックス（Ｄ１２７）と同じクラスに属するパッチ（例えば学習高周波パッチ（Ｄ１１６））に関して、評価値を下げる処理を行う。
【０１３６】
より具体的には、学習データベース１０５には、類似した学習高周波パッチ（Ｄ１１６）同士が同じクラスに属するようにクラス分類されている。この場合、パッチ抽出部１０３は、入力画像（Ｄ１１１）のブロックと対応する、動き補償部１１４により動き補償された過去データのブロックのデータベースインデックス（Ｄ１２５）により特定される学習特徴量（Ｄ１１５）と対応付けられた学習高周波パッチ（Ｄ１１６）と同じクラスに属する学習高周波パッチ（Ｄ１１６）における学習特徴量（Ｄ１１５）と、当該入力画像（Ｄ１１１）のブロックに対応する前記特徴量との評価値を、当該過去データのブロックの特定情報を用いない場合よりも高い類似度を示す値に修正すればよい。
【０１３７】
なお、上記クラス分類には、Ｋ−ｍｅａｎｓ法を用いても良く、その他のクラス分類手法を用いても良い。また、各パッチが複数のクラスに属するようなクラス分類を行っても良い。また、上記類似の度合いを測る指標としては、画素単位のＳＡＤやＳＳＤが考えられるが、それ以外の指標であってもよい。
【０１３８】
（実施の形態２）
以下、実施の形態２について説明する。なお、以降の実施の形態では、既に説明した実施の形態と同様の要素に関しては説明を省略し、相違点を主に説明する。また、各実施の形態において同様の要素には同一の符号を付している。
【０１３９】
以下、実施の形態２に係る超解像処理装置２００について説明する。図６は、実施の形態２に係る超解像処理装置の構成を示すブロック図である。なお、図１と同様の要素には同一の符号を付しており、詳細な説明は省略する。
【０１４０】
図６に示す超解像処理装置２００は、入力画像（Ｄ１１１）に学習データベース１０５を用いた超解像処理を行うことにより、入力画像（Ｄ１１１）より解像度が大きい出力画像（Ｄ１１２）を生成する。
【０１４１】
図６に示す超解像処理装置２００は、実施の形態１に係る超解像処理装置１００に対して、パッチ抽出部２０３とフレーム遅延部２１３と、動き補償部２１４との構成が異なる。なお、入力画像（Ｄ１１１）があらかじめ拡大されている場合や、入力画像（Ｄ１１１）の時点で画像の周波数分布が低周波に偏っている場合などは、入力画像（Ｄ１１１）のサイズを増加させなくとも超解像効果が得られる。そのことから、実施の形態１と同様拡大部１０１を省略してもよい。この場合、拡大画像（Ｄ１１３）は、入力画像（Ｄ１１１）で代えられる。
【０１４２】
フレーム遅延部２１３は、内部に第２のフレームメモリ１２３を有しており、１フレーム分の各ブロック位置の推定高周波パッチ（Ｄ１１７）をフレーム単位で遅延させて、遅延高周波成分（Ｄ２２６）を出力する。
【０１４３】
動き補償部２１４は、動き検出部１１２により検出された動きに基づき、パッチ抽出部１０３により過去の入力画像（Ｄ１１１）に対して抽出された学習特徴量（Ｄ１１５）を特定するための特定情報が過去の入力画像のブロック毎に対応させてマッピングされた過去データをブロック単位で動き補償する。具体的には、動きベクトル（Ｄ１２４）に示される動き量に従って遅延高周波成分（Ｄ２２６）を動き補償し、動き補償高周波成分（Ｄ２２７）を出力する。
【０１４４】
パッチ抽出部２０３は、学習データベース１０５に格納されている複数の学習特徴量（Ｄ１１５）それぞれと、入力特徴量（Ｄ１１４）との類似度を示す評価値をブロック単位で算出し、学習データベース１０５から、算出した評価値の示す入力特徴量（Ｄ１１４）に最も類似する学習特徴量（Ｄ１１５）と対応づけられた学習高周波パッチ（Ｄ１１６）を抽出する。
【０１４５】
ここで、特定情報は、パッチ抽出部２０３により過去の入力画像（Ｄ１１１）に対して抽出された学習高周波パッチ（Ｄ１１６）である。本実施の形態では、パッチ抽出部２０３は、入力画像（Ｄ１１１）のブロックと対応する動き補償部２１４により動き補償された過去データのブロックの学習高周波パッチ（Ｄ１１６）と対応づけられた学習特徴量（Ｄ１１５）と、当該入力画像（Ｄ１１１）のブロックに対応する入力特徴量（Ｄ１１４）との評価値を、当該過去データのブロックの特定情報を用いない場合よりも高い類似度を示す値に修正する。なお、その他については、上述したパッチ抽出部１０３と同様であるため説明を省略する。
【０１４６】
より具体的には、本実施の形態では、具体的には、パッチ抽出部２０３は、入力特徴量（Ｄ１１４）と学習特徴量（Ｄ１１５）との類似度が大きいほど小さくなる評価値を用いて、評価値が最小の学習特徴量（Ｄ１１５）を検索する。パッチ抽出部２０３は、検索して得た学習特徴量（Ｄ１１５）に対応する学習高周波パッチ（Ｄ１１６）を、推定高周波パッチ（Ｄ１１７）として出力する。
【０１４７】
ここで、パッチ抽出部１０３は、上記検索時の評価値を、動き補償高周波成分（Ｄ２２７）と学習高周波パッチ（Ｄ１１６）との類似度が大きいほど、評価値を同じかより小さい値に修正した上で検索を行う。さらに、パッチ抽出部１０３は、動き確度情報（Ｄ１２８）により示される動き検出の確からしさが高いほど、すなわちより確からしいほど、該評価値の修正量を同じかより大きく修正して算出した上で検索を行う。
【０１４８】
これにより、本実施の形態に係る超解像処理装置２００は、拡大画像（Ｄ１１３）に無い高周波成分を付加する際に、前後のフレームの動き補償された高周波成分との類似度を考慮することで、出力画像において時間方向の画像ゆらぎを低減することができる。
【０１４９】
図７は、実施の形態２に係る超解像処理装置の動作例を示す図である。
【０１５０】
以下、図７を用いて、動き補償高周波成分（Ｄ２２７）を得るまでの過程を説明する。
【０１５１】
なお、図７の（ａ）の説明は、図２の（ａ）と同じとなるので、説明を省略する。動きベクトル（Ｄ１２４）の値を（ｄｘ，ｄｙ）として、対象ブロックの左上位置が（ｘ，ｙ）とすると、動き補償位置（左上）は（ｘ＋ｄｘ，ｙ＋ｄｙ）で求められる。
【０１５２】
図７の（ｂ）は、遅延入力画像（Ｄ１２３）と同じ時刻の、パッチ抽出部２０３によって抽出された推定高周波パッチ（Ｄ１１７）が、フレーム遅延部２１３によって第２のフレームメモリ１２３に格納された状態を示している。
【０１５３】
ここで、拡大部１０１による拡大率を水平ｒｘ、垂直ｒｙとすると、遅延入力画像の１フレームの画像サイズに対する、遅延高周波成分の１フレームの画像サイズは、水平ｒｘ、垂直ｒｙ倍で表せる。なお、拡大部１０１が省略されている場合は、ｒｘ＝１、ｒｙ＝１とする。
【０１５４】
したがって、動き補償高周波成分（Ｄ２２７）の左上位置（Ｘ，Ｙ）は、以下のように求められる。
【０１５５】
【数６】
【０１５６】
そして、この位置（Ｘ，Ｙ）の遅延高周波成分（Ｄ２２６）を、動き補償高周波成分（Ｄ２２７）とする。
【０１５７】
つまり、前フレームすなわち遅延入力画像（Ｄ１２３）に対する処理結果を、動き補償して取得する。
【０１５８】
換言すると、まず、動き補償部２１４は、動き検出部１１２により検出された動きに基づき、パッチ抽出部１０３により過去の入力画像（Ｄ１１１）に対して抽出された推定高周波パッチ（Ｄ１１７）が過去の入力画像のブロック毎に対応させてマッピングされた過去データをブロック単位で動き補償して動き補償高周波成分（Ｄ２２７）を生成する。
【０１５９】
次に、パッチ抽出部２０３では、入力特徴量（Ｄ１１４）、動き補償高周波成分（Ｄ２２７）に基づいて、学習データベース１０５中の各学習特徴量（Ｄ１１５）に対する評価値を算出する。そして、パッチ抽出部２０３は、学習データベース１０５から、算出した評価値が示す入力特徴量（Ｄ１１４）に最も類似する学習特徴量（Ｄ１１５）と対応づけられた学習高周波パッチ（Ｄ１１６）を抽出する。このようにして、時間連続性を考慮して学習特徴量（Ｄ１１５）を検索することができるので、時間連続性を考慮した学習高周波パッチ（Ｄ１１６）を抽出することができる。
【０１６０】
以下、パッチ抽出部２０３が、評価値（以下、評価値ｅと記載）を算出する方法について説明する。
【０１６１】
例えば、パッチ抽出部２０３は、評価値ｅを以下のように算出する。
【０１６２】
【数７】
【０１６３】
ここで、入力特徴量をＩｎＦ、学習特徴量をＴｒＦ、動き補償高周波成分をＭＣＴｒＨ、学習高周波パッチ（Ｄ１１６）をＴｒＨ、特徴量の各要素成分同士のＳＡＤ演算（差分絶対値を累算する演算）をｓａｄ（）とし、ｆｕｎｃ３（）は、広義単調増加関数であり、値域は０以下である。
【０１６４】
また、例えば、パッチ抽出部２０３は、評価値ｅを以下のように算出してもよい。
【０１６５】
【数８】
【０１６６】
ここで、ｆｕｎｃ４（）は、広義単調増加関数であり、値域は０以上１以下である。
【０１６７】
また、例えば、パッチ抽出部２０３は、評価値ｅを以下のように算出してもよい。
【０１６８】
【数９】
【０１６９】
ここで、ｍｃ＿ｓａｄは、動き確度情報（Ｄ１２８）の値であり、動き検出の確度が高いほど小さい値を持ち、ｆｕｎｃ５（）およびｆｕｎｃ６（）は、広義単調増加関数である。
【０１７０】
なお、パッチ抽出部２０３は、評価値ｅを算出する際に上記の例以外の算出式を用いてもよい。動き検出の確度が同じ、かつ入力特徴量（Ｄ１１４）と学習特徴量（Ｄ１１６）との類似度が同じである条件下で、学習高周波パッチ（Ｄ１１６）と動き補償高周波成分（Ｄ２２７）の類似度が大きいほど評価値ｅが同じか小さくなるような算出式を用いてもよい。また、入力特徴量（Ｄ１１４）と学習特徴量（Ｄ１１６）との類似度が同じであり、かつ学習高周波パッチ（Ｄ１１６）と動き補償高周波成分（Ｄ２２７）の類似度が同じである条件下で、動き検出の確度が高いほど評価値ｅが同じか小さくなるような算出式を用いてもよい。
【０１７１】
以上のように、動き検出が成功している場合には、学習特徴量（Ｄ１１６）が動き補償高周波成分（Ｄ２２７）に類似するほど評価値ｅがより小さくなる傾向がある。そのため、パッチ抽出部１０３に検索（選択）されやすくなるので、推定高周波パッチ（Ｄ１１６）の時間連続性が高まる。また動き検出が失敗している場合は、評価値ｅの修正量が小さくなるため、時間連続性を考慮せずに、入力特徴量により類似した学習特徴量（Ｄ１１５）が検索される。よって、必要に応じて時間連続性が考慮され、高周波ゆらぎの少ない、安定した高精彩な出力画像を得ることができる。
【０１７２】
＜超解像処理方法＞
図８は、実施の形態１に係る超解像処理装置２００の超解像処理方法を説明するためのフローチャートである。なお、図４で説明したステップと同様のステップについては、説明を省略する。具体的には、Ｓ２０１〜Ｓ２０４と、Ｓ２０８とは、図４のＳ１０１〜Ｓ２０４およびＳ１０８と同様の処理を行うため説明を省略する。
【０１７３】
Ｓ２０５において、動き補償部２１４は、Ｓ１０４で求めた動きベクトル（Ｄ１２４）に示される動き量に従って遅延高周波成分（Ｄ２２６）を動き補償して生成した動き補償高周波成分（Ｄ２２７）を出力する。なお、遅延高周波成分（Ｄ２２６）は、前フレームでのＳ２０７で生成されるため、最初に処理するフレームではまだ生成されておらず、この処理は行わない（Ｓ２０５）。
【０１７４】
次に、パッチ抽出部２０３は、入力特徴量（Ｄ１１４）と学習特徴量（Ｄ１１５）との類似度が大きいほど小さくなる評価値を用いて、評価値が最小の学習特徴量（Ｄ１１５）を検索する。パッチ抽出部２０３は、検索して得た学習特徴量（Ｄ１１５）に対応する学習高周波パッチ（Ｄ１１６）を抽出し、推定高周波パッチ（Ｄ１１７）として出力する（Ｓ２０６）。
【０１７５】
次に、パッチ抽出部２０３は、抽出した推定高周波パッチ（Ｄ１１７）を、フレーム遅延部２１３におけるインデックスメモリ（第２のフレームメモリ１２３）に格納する（Ｓ２０７）。
【０１７６】
ここで、パッチ抽出部１０３は、さらに、動き補償高周波成分（Ｄ２２７）と学習高周波パッチ（Ｄ１１６）との類似度がより高いほど、その評価値を同じかより小さく修正した上で検索を行う。
【０１７７】
＜効果＞
以上のように、学習高周波パッチ（Ｄ１１６）が、前後の時刻のフレームにおける動き補償高周波成分（Ｄ２２７）と類似している場合に評価値をより小さい値にする。それにより、動き補償された位置で選択された学習高周波パッチ（Ｄ１１６）を選択されやすくすることができるので、付加される推定高周波パッチ（Ｄ１１７）の時間連続性を高めることができ、高周波のゆらぎが少ない、高精細な出力画像を生成することができる。
【０１７８】
以上、本実施の形態によれば、入力画像に対して時間方向にゆらぎにくく安定した高周波成分を付加する超解像処理を行うことができるので、時間的に連続する複数の画像フレーム間において、フリッカーの発生を抑制できる超解像処理装置を実現することができる。
【０１７９】
なお、本実施の形態では、学習データベース１０５は、図１２を用いて説明した学習データベース９０５と同様の方法で予め作成されているとして説明が、それに限らない。
【０１８０】
例えば、学習データベース１０５は、実施の形態１と同様、学習画像の高周波成分から得られたデータである学習高周波パッチ（Ｄ１１６）と、その学習画像の少なくとも低周波成分から得られたデータである学習特徴量（Ｄ１１５）とのパッチペアだけでなく、パッチペアである学習特徴量（Ｄ１１５）と学習高周波パッチ（Ｄ１１６）とを回転、転置などの画像変換を行ったパッチペアを複数格納していてもよい。
【０１８１】
すなわち、パッチ抽出部２０３は、学習データベース１０５に格納されている回転、転置などの画像変換が行われたパッチペアのうちから学習高周波パッチ（Ｄ１１６）を選択し推定高周波パッチ（Ｄ１１７）として利用してもよい。その場合、パッチ抽出部２０３における類似度の評価は、動き補償画像と、学習データベース１０５の学習高周波パッチ（Ｄ１１６）を画像変換した学習高周波パッチ（Ｄ１１６）との類似度の評価とすることが望ましい。
【０１８２】
（実施の形態３）
さらに、上記各実施の形態で示した超解像処理方法の構成を実現するためのプログラムを、フレキシブルディスク等の記憶媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。
【０１８３】
図９Ａ〜図９Ｃは、本発明の実施の形態３として、上記実施の形態１または２の超解像処理方法を格納したフレキシブルディスクを用いて、コンピュータシステムにより当該超解像処理方法を実施する場合の説明図である。
【０１８４】
図９Ｂは、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示す。図９Ａは、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。したがって、上記プログラムを格納したフレキシブルディスクＦＤでは、上記フレキシブルディスクＦＤ上に割り当てられた領域に、上記プログラムとしての超解像処理方法が記録されている。
【０１８５】
また、図９Ｃは、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す。上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムとしての超解像処理方法を、フレキシブルディスクドライブＦＤＤを介して書き込む。また、フレキシブルディスクＦＤ内のプログラムにより上記超解像処理方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブＦＤＤによりプログラムをフレキシブルディスクＦＤから読み出し、コンピュータシステムＣｓに転送する。
【０１８６】
なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ハードディスク、ＣＤ−ＲＯＭ、メモリカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施できる。
【０１８７】
（実施の形態４）
本発明の実施の形態４では、超解像処理装置、超解像処理方法、及び超解像処理プログラムを用いたテレビジョン受像機を、図１０を用いて説明する。
【０１８８】
図１０は、実施の形態４におけるテレビジョン受像機のブロック図である。
【０１８９】
テレビジョン受像機８００は、放送受信装置８０１と、入力選択装置８０２と、画像処理装置８０３と、パネル駆動装置８０４と、ディスプレイパネル８０５とを備える。図１０において、説明の都合上、各装置８０１から８０４はテレビジョン受像機８００の外部に配置しているが、実際はテレビジョン受像機８００の内部に配置されている。
【０１９０】
放送受信装置８０１は、外部アンテナ（図示せず）から出力されるアンテナ出力信号（Ｄ８２１）から放送電波を受信し、当該放送電波を復調した映像信号を放送映像信号（Ｄ８２２）として出力する。
【０１９１】
入力選択装置８０２は、ＤＶＤ或いはＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）レコーダ、又はＤＶＤ或いはＢＤプレイヤなどの外部映像機器から出力された外部映像信号（Ｄ８２０）と、放送映像信号（Ｄ８２２）とのうち、ユーザーによる選択に従っていずれか一方を選択する。そして、入力選択装置８０２は、選択した映像信号を入力映像信号（Ｄ８２３）として出力する。
【０１９２】
画像処理装置８０３は、入力映像信号（Ｄ８２３）がインターレース信号の場合は、当該入力映像信号（Ｄ８２３）をプログレッシブ信号に変換するＩ／Ｐ変換を施したり、入力映像信号（Ｄ８２３）に対してコントラストを改善する画質改善処理を施したりする。また、画像処理装置８０３は、本発明の実施の形態１に係る超解像処理装置１００を備え、上述した超解像処理方法、又は、超解像処理プログラムを用いた超解像処理を入力映像信号（Ｄ８２３）に施す。そして、画像処理装置８０３は、その結果を画質改善映像信号（Ｄ８２４）として出力する。なお、画像処理装置８０３は、実施の形態２に係る超解像処理装置を備えてもよい。
【０１９３】
パネル駆動装置８０４は、画質改善映像信号（Ｄ８２４）を、ディスプレイパネル８０５を駆動するための専用信号に変換し、変換後の信号をパネル駆動用映像信号（Ｄ８２５）として出力する。
【０１９４】
ディスプレイパネル８０５は、パネル駆動用映像信号（Ｄ８２５）に従って電気信号を光信号に変換し、変換した光信号により所望の映像を表示する。
【０１９５】
このように、上記実施の形態の超解像処理装置、超解像処理方法、及び超解像処理プログラムをテレビジョン受像機８００に用いることが可能である。そして、当該テレビジョン受像機８００は、上記実施の形態で説明した効果を得ることができる。なお、上記実施の形態の超解像処理装置、超解像処理方法、及び超解像処理プログラムは、テレビジョン受像機に限らず、同様にして、レコーダ機器、プレイヤ機器及び携帯機器などの様々なデジタル映像機器に用いることが可能であり、いずれの場合も上記実施の形態で説明した効果を得ることができる。ここで、レコーダ機器とは、ＤＶＤレコーダ、ＢＤレコーダ、及びハードディスクレコーダ等である。プレイヤ機器とは、例えば、ＤＶＤプレイヤ、及びＢＤプレイヤ等である。携帯機器とは、携帯電話、及びＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）等である。
【０１９６】
（その他変形例）
なお、本発明を上記実施の形態に基づいて説明してきたが、本発明は、上記の実施の形態に限定されないのはもちろんである。以下のような場合も本発明に含まれる。
【０１９７】
（１）上記の各装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、及びマウスなどから構成されるコンピュータシステムである。前記ＲＡＭ又はハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
【０１９８】
（２）上記の各装置を構成する構成要素の一部又は全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、及びＲＡＭなどを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。
【０１９９】
（３）上記の各装置を構成する構成要素の一部又は全部は、各装置に脱着可能なＩＣカード又は単体のモジュールから構成されているとしてもよい。前記ＩＣカード又は前記モジュールは、マイクロプロセッサ、ＲＯＭ、及びＲＡＭなどから構成されるコンピュータシステムである。前記ＩＣカード又は前記モジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ＩＣカード又は前記モジュールは、その機能を達成する。このＩＣカード又はこのモジュールは、耐タンパ性を有するとしてもよい。
【０２００】
（４）本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。
【０２０１】
また、本発明は、前記コンピュータプログラム、又は、前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ（Ｍａｇｎｅｔｏ Ｏｐｔｉｃａｌ Ｄｉｓｃ）、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ、又は半導体メモリなどに記録したものとしてもよい。また、本発明は、これらの記録媒体に記録されている前記デジタル信号であるとしてもよい。
【０２０２】
また、本発明は、前記コンピュータプログラム又は前記デジタル信号を、電気通信回線、無線或いは有線通信回線、インターネットを代表とするネットワーク、又はデータ放送等を経由して伝送するものとしてもよい。
【０２０３】
また、本発明は、マイクロプロセッサとメモリとを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムに従って動作するとしてもよい。
【０２０４】
また、前記プログラム、或いは、前記デジタル信号を前記記録媒体に記録して移送することにより、又は、前記プログラム、或いは前記デジタル信号を、前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
【０２０５】
（５）上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。
【産業上の利用可能性】
【０２０６】
本発明は超解像処理装置に適用できる。また、本発明は、テレビジョン受像機、ＤＶＤレコーダ、ＢＤレコーダ、ハードディスクレコーダ、ＤＶＤプレイヤ、及びＢＤプレイヤ等のデジタル映像機器に有用である。また、本発明は、超解像処理方法、及び超解像処理プログラムに有用である。
【符号の説明】
【０２０７】
１００、２００、９００ 超解像処理装置
１０１、９０１ 拡大部
１０２、９０２ 徴量抽出部
１０３、２０３、９０３ パッチ抽出部
１０４、９０４ 加算部
１０５、９０５ 学習データベース
１１１、１１３、２１３ フレーム遅延部
１１２ 動き検出部
１１４、２１４ 動き補償部
１２１、１２３ フレームメモリ
９５０ 学習データベース生成装置
９５１ ローパスフィルタ部
９５２ 縮小部
９５３ 拡大部
９５４、９５５ ハイパスフィルタ部
【技術分野】
【０００１】
本発明は、入力画像に学習データベースを用いた超解像処理を行うことにより出力画像を生成する超解像処理装置及び超解像処理方法に関する。
【背景技術】
【０００２】
近年、家庭用テレビ及びＰＣ（パーソナルコンピュータ）用ディスプレイなどの表示デバイスの表示解像度が向上している。例えば、フルハイビジョン（１９２０画素×１０８０画素）又はそれ以上の表示能力（表示解像度）を持つ高解像度の表示デバイスが開発されている。このため既存のＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）などの標準画質（７２０画素×４８０画素など）の映像コンテンツをこのような高解像度の表示デバイスの全画面で表示する場合、映像コンテンツを構成する画像の解像度を、高解像度の表示デバイスの表示解像度まで増やすために高解像度化処理を行う必要がある。
【０００３】
高解像度化処理の手法として、現在の主流として知られているのは線形フィルタを用いた拡大処理である。さらに、近年、高解像度化処理の手法として、入力画像に存在しない高い解像度の情報を生成できる超解像と呼ばれる手法が注目されてきている（例えば非特許文献１）。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Ｆｒｅｅｍａｎ，Ｗ．Ｔ．Ｊｏｎｅｓ，Ｔ．Ｒ．Ｐａｓｚｔｏｒ，Ｅ．Ｃ．，“Ｅｘａｍｐｌｅ−ｂａｓｅｄ ｓｕｐｅｒ−ｒｅｓｏｌｕｔｉｏｎ”，Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ，ＩＥＥＥ，Ｍａｒｃｈ−Ａｐｒｉｌ ２００２
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記従来の構成では、時間的に連続する複数の画像フレーム間において、オブジェクトが時間方向にゆらいでしまうという問題がある。
【０００６】
本発明は、かかる問題に鑑みてなされたものであって、時間的に連続する複数の画像フレーム間において、フリッカーの発生を抑制できる超解像処理装置及び超解像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明の一態様に係る超解像処理装置は、入力画像に学習データベースを用いた超解像処理を行うことにより、前記入力画像より高い解像度を有する出力画像を生成する超解像処理装置であって、前記学習データベースには、学習画像の高周波成分から得られたデータである学習高周波パッチと、前記学習画像の少なくとも低周波成分から得られたデータである学習特徴量とが対応づけられたパッチペアが複数格納されており、前記入力画像から特徴量をブロック単位で抽出する特徴量抽出部と、前記学習データベースに格納されている複数の学習特徴量それぞれと、前記特徴量との類似度を示す評価値をブロック単位で算出し、前記学習データベースから、算出した前記評価値の示す前記特徴量に最も類似する学習特徴量と対応づけられた学習高周波パッチを抽出するパッチ抽出部と、前記入力画像と前記入力画像より時間的に前の入力画像である過去入力画像との間の動きをブロック単位で検出する動き検出部と、前記動き検出部により検出された動きに基づき、前記パッチ抽出部により前記過去入力画像に対して抽出された学習特徴量を特定するための特定情報が前記過去入力画像のブロック毎に対応させてマッピングされた過去データをブロック単位で動き補償する動き補償部と、前記入力画像と前記パッチ抽出部により抽出された学習高周波パッチとをブロック単位で加算することにより、前記出力画像を生成する加算部とを備え、前記パッチ抽出部は、前記入力画像のブロックと対応する前記動き補償部により動き補償された過去データのブロックの特定情報に基づき特定される学習特徴量と、当該入力画像のブロックに対応する前記特徴量との評価値を、当該過去データのブロックの特定情報を用いない場合よりも高い類似度を示す値に修正して算出する。
【０００８】
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたは記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
【０００９】
すなわち、上記のように一態様に係る超解像処理装置として実現できるだけでなく、超解像処理装置に含まれる特徴的な手段をステップとする超解像処理方法として実現したり、そのような特徴的なステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の非一時的なコンピュータ読み取り可能な記録媒体、及びインターネット等の伝送媒体を介して流通させることができるのは言うまでもない。また、本発明は、このような超解像処理装置の機能の一部又は全てを実現する半導体集積回路（ＬＳＩ）として実現してもよい。
【発明の効果】
【００１０】
本発明によれば、時間的に連続する複数の画像フレーム間において、フリッカーの発生を抑制できる超解像処理装置等を実現することができる。
【図面の簡単な説明】
【００１１】
【図１】図１は、実施の形態１に係る超解像処理装置の構成を示すブロック図である。
【図２】図２は、実施の形態１に係る超解像処理装置の動作例を示す図である。
【図３】図３は、実施の形態１に係る遅延入力画像のブロックに対するデータベースインデックスが動き補償されて動き補償データベースインデックスを得ることを説明するための図である。
【図４】図４は、実施の形態１に係る超解像処理装置の超解像処理を説明するためのフローチャートである。
【図５】図５は、実施の形態１に係る学習データベースに格納される画像変換が行われたパッチペアの１例を説明するための図である。
【図６】図６は、実施の形態２に係る超解像処理装置の構成を示すブロック図である。
【図７】図７は、実施の形態２に係る超解像処理装置の動作例を示す図である。
【図８】図８は、実施の形態２に係る超解像処理装置の超解像処理を説明するためのフローチャートである。
【図９Ａ】図９Ａは、実施の形態３に係る記録媒体の物理フォーマットの例を示す図である。
【図９Ｂ】図９Ｂは、実施の形態３に係る記録媒体の構成を示す図である。
【図９Ｃ】図９Ｃは、実施の形態３に係るコンピュータシステムの構成を示す図である。
【図１０】図１０は、実施の形態４におけるテレビジョン受像機のブロック図である。
【図１１】図１１は、従来の超解像処理装置の構成を示すブロック図である。
【図１２】図１２は、学習データベースを生成するための学習データベース生成装置の構成を示すブロック図である。
【図１３】図１３は、従来の超解像処理装置の動作例を示す図である。
【発明を実施するための形態】
【００１２】
（本発明の基礎となった知見）
本発明者は、「背景技術」の欄において記載した非特許文献１に開示される技術に関し、以下のような問題が生じることを見出した。
【００１３】
従来の超解像処理方法としては、非特許文献１に示される学習型超解像がある。この非特許文献１の方法を以下に説明する。
【００１４】
＜超解像処理装置９００の構成と動作１＞
図１１は、超解像処理装置９００の構成を示すブロック図である。図１１に示す超解像処理装置９００は、低解像度の入力画像（Ｄ９１１）から拡大画像（Ｄ９１３）を生成する拡大部９０１と、拡大画像（Ｄ９１３）から入力特徴量（Ｄ９１４）を生成する特徴量抽出部９０２と、入力特徴量（Ｄ９１４）、学習特徴量（Ｄ９１５）及び学習高周波パッチ（Ｄ９１６）から推定高周波パッチ（Ｄ９１７）を生成するパッチ抽出部９０３と、拡大画像（Ｄ９１３）と推定高周波パッチ（Ｄ９１７）とを加算することにより出力画像（Ｄ９１２）を生成する加算部９０４と、学習特徴量（Ｄ９１５）及び学習高周波パッチ（Ｄ９１６）を出力する学習データベース９０５とを備えている。
【００１５】
拡大部９０１は、超解像処理の目標解像度の倍率をＮとして、入力画像（Ｄ９１１）を水平及び垂直方向にそれぞれＮ倍に拡大することにより、拡大画像（Ｄ９１３）を生成する。例えば、拡大部９０１は、バイキュービック法又はスプライン補間法などの画素補間手法を用いて入力画像（Ｄ９１１）を拡大する。
【００１６】
特徴量抽出部９０２は、線形フィルタ操作などを用いて拡大画像（Ｄ９１３）の高周波成分を入力特徴量（Ｄ９１４）として抽出する。
【００１７】
パッチ抽出部９０３は、入力特徴量（Ｄ９１４）に対して、固定の小ブロック単位で次の処理を行う。パッチ抽出部９０３は、学習データベース９０５に格納された多数の学習特徴量（Ｄ９１５）の中から、入力特徴量（Ｄ９１４）の対象画像ブロックに最も類似した学習特徴量（Ｄ９１５）を検索する。ここで、パッチとは、ブロック化されたデータのことを指すものとする。また、パッチ抽出部９０３は、両パッチ間の距離を画素間差分の絶対値和又は自乗和などで定義する。そして、パッチ抽出部９０３は、その距離の小ささに応じて類似度の大きさを判断する。検索処理により、最も類似した学習特徴量（Ｄ９１５）が決定されると、パッチ抽出部９０３は、学習データベース９０５内で、学習特徴量（Ｄ９１５）とペアで格納されている学習高周波パッチ（Ｄ９１６）を取得し、取得した学習高周波パッチ（Ｄ９１６）を推定高周波パッチ（Ｄ９１７）として出力する。
【００１８】
加算部９０４は、拡大画像（Ｄ９１３）の対象ブロック位置のパッチと、推定高周波パッチ（Ｄ９１７）とを画素単位で加算し、加算結果を出力画像（Ｄ９１２）として出力する。
【００１９】
次に、超解像処理装置９００に含まれる学習データベース９０５を生成する方法を以下に説明する。
【００２０】
＜学習データベース生成装置９５０の構成と動作＞
図１２は、学習データベース９０５を生成するための学習データベース生成装置９５０の構成を示すブロック図である。この学習データベース生成装置９５０は、事前にデジタルカメラで撮影した実画像などから収集した学習画像（Ｄ９６１）から学習低周波画像（Ｄ９６２）を生成するローパスフィルタ部９５１と、学習低周波画像（Ｄ９６２）から学習低解像度画像（Ｄ９６３）を生成する縮小部９５２と、学習低解像度画像（Ｄ９６３）から学習低周波画像（Ｄ９６４）を生成する拡大部９５３と、学習低周波画像（Ｄ９６４）から学習特徴量（Ｄ９１５）を生成するハイパスフィルタ部９５４と、学習画像（Ｄ９６１）から学習高周波パッチ（Ｄ９１６）を生成するハイパスフィルタ部９５５と、学習特徴量（Ｄ９１５）および学習高周波パッチ（Ｄ９１６）を格納する学習データベース９０５とを有する。
【００２１】
ローパスフィルタ部９５１は、線形フィルタ操作などを用いて学習画像（Ｄ９６１）の低周波成分を学習低周波画像（Ｄ９６２）として抽出する。
【００２２】
縮小部９５２は、学習低周波画像（Ｄ９６２）を水平及び垂直方向にそれぞれＮ分の１に縮小することにより学習低解像度画像（Ｄ９６３）を生成する。
【００２３】
拡大部９５３は、学習低解像度画像（Ｄ９６３）を水平及び垂直方向にそれぞれＮ倍に拡大することにより学習低周波画像（Ｄ９６４）を生成する。
【００２４】
ハイパスフィルタ部９５４は、線形フィルタ操作などを用いて学習低周波画像（Ｄ９６４）の高周波成分を抽出し、その抽出結果を上記固定ブロック単位で切り出すことにより、複数の学習特徴量（Ｄ９１５）を生成する。
【００２５】
ハイパスフィルタ部９５５は、線形フィルタ操作などを用いて学習画像（Ｄ９６１）の高周波成分を抽出し、その抽出結果を上記固定ブロック単位に切り出すことにより、複数の学習高周波パッチ（Ｄ９１６）を生成する。
【００２６】
学習データベース９０５は、同一のブロック位置から生成された学習特徴量（Ｄ９１５）と学習高周波パッチ（Ｄ９１６）とを１つのパッチペアとして対応付けする。そして、対応関係と両画像パッチのデータとを格納する。
【００２７】
＜超解像処理装置９００の動作２＞
以上のようにして、超解像処理装置９００における学習データベース９０５には、事前にデジタルカメラで撮影した実画像などから収集された、実際の特徴量と高周波画像との関係が数多く記憶される。したがって、超解像処理装置９００は、入力特徴量（Ｄ９１４）と最も関連があると考えられる高周波画像パッチを検索できる。さらに、検索した高周波画像パッチが拡大画像（Ｄ９１３）に付加されることで、入力画像（Ｄ９１１）には含まれない失われた高周波成分が付加されることになる。これにより、超解像処理装置９００は、より高精細な出力画像（Ｄ９１２）を生成できる。
【００２８】
＜超解像処理装置９００の動作例＞
超解像処理装置９００の具体的な動作例を以下、説明する。図１３は、超解像処理装置９００の動作例を示す図である。
【００２９】
図１３には、超解像処理装置９００により入力画像（Ｄ９１１）に超解像処理を施し、高精細な出力画像（Ｄ９１２）を生成する様子の一例が示されている。
【００３０】
入力画像（Ｄ９１１）から拡大画像（Ｄ９１３）を生成する際は、フレーム全体を一度に拡大処理してもよく、対象ブロック（例えば図中の対象ブロック）ごとに拡大処理をしてもよい。ここで、拡大画像（Ｄ９１３）は、拡大処理によりぼけた画像となっている。これに対し、パッチ抽出部９０３によって学習データベース９０５から抽出された推定高周波パッチ（Ｄ９１７）が、加算部９０４によって拡大画像（Ｄ９１３）に加算されることで、より精細度の向上した出力画像（Ｄ９１２）が生成される。
【００３１】
しかしながら、上記の従来技術では、時間的に連続する複数の画像フレーム間において、オブジェクトが時間方向にゆらいでしまうという問題がある。具体的には、時間的に連続する複数の画像フレーム（以下、単にフレームと呼ぶ）間において、同じオブジェクトが、ランダムノイズの混入やオブジェクトの移動および変形などでごくわずかに変化しているに過ぎない場合でも、パッチ抽出部９０３は、前後のフレーム間で異なる学習特徴量（Ｄ９１５）を検索してしまうことがある。このとき、対応する学習高周波パッチ（Ｄ９１６）が異なるために、超解像処理がされた出力画像（Ｄ９１２）は、同じオブジェクトであってもフレームごとに異なる画像となり、オブジェクトが時間方向にゆらいでしまう（換言するとフリッカーが発生してしまう）という問題がある。
【００３２】
そこで、本発明の一態様は、かかる問題に鑑みてなされたものであって、時間的に連続する複数の画像フレーム間において、フリッカーの発生を抑制できる超解像処理装置及び超解像処理方法を提供することを目的とする。
【００３３】
上記目的を達成するために、第１の態様に係る超解像処理装置は、入力画像に学習データベースを用いた超解像処理を行うことにより、前記入力画像より高い解像度を有する出力画像を生成する超解像処理装置であって、前記学習データベースには、学習画像の高周波成分から得られたデータである学習高周波パッチと、前記学習画像の少なくとも低周波成分から得られたデータである学習特徴量とが対応づけられたパッチペアが複数格納されており、前記入力画像から特徴量をブロック単位で抽出する特徴量抽出部と、前記学習データベースに格納されている複数の学習特徴量それぞれと、前記特徴量との類似度を示す評価値をブロック単位で算出し、前記学習データベースから、算出した前記評価値の示す前記特徴量に最も類似する学習特徴量と対応づけられた学習高周波パッチを抽出するパッチ抽出部と、前記入力画像と前記入力画像より時間的に前の入力画像である過去入力画像との間の動きをブロック単位で検出する動き検出部と、前記動き検出部により検出された動きに基づき、前記パッチ抽出部により前記過去入力画像に対して抽出された学習特徴量を特定するための特定情報が前記過去入力画像のブロック毎に対応させてマッピングされた過去データをブロック単位で動き補償する動き補償部と、前記入力画像と前記パッチ抽出部により抽出された学習高周波パッチとをブロック単位で加算することにより、前記出力画像を生成する加算部とを備え、前記パッチ抽出部は、前記入力画像のブロックと対応する前記動き補償部により動き補償された過去データのブロックの特定情報に基づき特定される学習特徴量と、当該入力画像のブロックに対応する前記特徴量との評価値を、当該過去データのブロックの特定情報を用いない場合よりも高い類似度を示す値に修正して算出する。
【００３４】
この構成により、入力画像に対して時間方向にゆらぎにくく安定した高周波成分を付加する超解像処理を行うことができるので、時間的に連続する複数の画像フレーム間において、フリッカーの発生を抑制できる超解像処理装置を実現することができる。
【００３５】
具体的には、本構成により、動き補償された過去データのブロックの特定情報で特定される学習高周波パッチが選択されやすくなるので、時間方向の連続性が高くなり、高周波ゆらぎの少ない安定した高精彩な出力画像を得ることができる。
【００３６】
ここで、第２の態様に係る超解像処理装置は、第１の態様において、例えば、前記特定情報は、前記パッチ抽出部により前記過去入力画像に対して抽出された学習高周波パッチと当該学習高周波パッチに対応づけられた学習特徴量とを特定するデータベースインデックスであり、前記パッチ抽出部は、前記入力画像のブロックと対応する前記動き補償部により動き補償された過去データのブロックのデータベースインデックスにより特定される学習特徴量と、当該入力画像のブロックに対応する前記特徴量との評価値を、当該過去データのブロックの特定情報を用いない場合よりも高い類似度を示す値に修正するとしてもよい。
【００３７】
この構成により、動き補償された過去データのブロックのデータベースインデックスで特定される学習高周波パッチが選択されやすくなるので、時間方向の連続性が高くなり、高周波ゆらぎの少ない安定した高精彩な出力画像を得ることができる。
【００３８】
また、第３の態様に係る超解像処理装置は、第１の態様において、例えば、前記特定情報は、前記パッチ抽出部により前記過去入力画像に対して抽出された学習高周波パッチであり、前記パッチ抽出部は、前記入力画像のブロックと対応する前記動き補償部により動き補償された過去データのブロックの学習高周波パッチと対応づけられた学習特徴量と、当該入力画像のブロックに対応する前記特徴量との評価値を、当該過去データのブロックの特定情報を用いない場合よりも高い類似度を示す値に修正するとしてもよい。
【００３９】
この構成により、動き補償された過去データのブロックの学習高周波パッチが選択されやすくなるので、時間方向の連続性が高くなり、高周波ゆらぎの少ない安定した高精彩な出力画像を得ることができる。
【００４０】
また、第４の態様に係る超解像処理装置は、第１の態様〜第３の態様のいずれかにおいて、例えば、前記評価値は、前記類似度が高いほど小さい値を示し、前記パッチ抽出部は、前記入力画像のブロックと対応する前記動き補償部により動き補償された過去データのブロックの特定情報に基づき特定される学習特徴量と、当該入力画像のブロックに対応する前記特徴量との評価値を、当該過去データのブロックの特定情報を用いない場合よりもｃ１（ｃ１＞０）だけ減ずる値に修正するとしてもよい。
【００４１】
この構成により、動き補償された過去データのブロックの特定情報で特定される学習高周波パッチが選択されやすくなるので、時間方向の連続性が高くなり、高周波ゆらぎの少ない安定した高精彩な出力画像を得ることができる。
【００４２】
また、第５の態様に係る超解像処理装置は、第１の態様〜第３の態様のいずれかにおいて、例えば、前記評価値は、前記類似度が高いほど小さい値を示し、前記パッチ抽出部は、前記入力画像のブロックと対応する前記動き補償部により動き補償された過去データのブロックの特定情報に基づき特定される学習特徴量と、当該入力画像のブロックに対応する前記特徴量との評価値を、当該過去データのブロックの特定情報を用いない場合の評価値にｃ２（０＜ｃ１＜１）を乗ずる値に修正するとしてもよい。
【００４３】
この構成により、動き補償された過去データのブロックの特定情報で特定される学習高周波パッチが選択されやすくなるので、時間方向の連続性が高くなり、高周波ゆらぎの少ない安定した高精彩な出力画像を得ることができる。
【００４４】
また、第６の態様に係る超解像処理装置は、第１の態様〜第５の態様のいずれかにおいて、例えば、前記動き検出部は、さらに、前記動きの検出の確からしさを示す動き確度情報を算出し、前記パッチ抽出部、さらに、前記動き確度情報に基づいて、前記動きの検出が確からしいと判断する場合に、前記入力画像のブロックと対応する前記動き補償部により動き補償された過去データのブロックの特定情報に基づき特定される学習特徴量と、当該入力画像のブロックに対応する前記特徴量との評価値に対する修正量を大きくするとしてもよい。
【００４５】
この構成により、動き補償された過去データのブロックの特定情報で特定される学習高周波パッチが選択されやすくなるので、時間方向の連続性が高くなり、高周波ゆらぎの少ない安定した高精彩な出力画像を得ることができる。
【００４６】
また、第７の態様に係る超解像処理装置は、第１の態様〜第５の態様のいずれかにおいて、例えば、前記動き検出部は、さらに、前記動きの検出の確からしさを示す動き確度情報を算出し、前記パッチ抽出部は、前記動き確度情報に基づいて、前記動きの検出が確からしいと判断する場合にのみ、前記入力画像のブロックと対応する前記動き補償部により動き補償された過去データのブロックの特定情報に基づき特定される学習特徴量と、当該入力画像のブロックに対応する前記特徴量との評価値を、当該過去データのブロックの特定情報を用いない場合よりも高い類似度を示す値に修正するとしてもよい。
【００４７】
この構成により、動き補償された過去データのブロックの特定情報で特定される学習高周波パッチが選択されやすくなるので、時間方向の連続性が高くなり、高周波ゆらぎの少ない安定した高精彩な出力画像を得ることができる。
【００４８】
ここで、第８の態様に係る超解像処理装置は、第７の態様において、例えば、前記動き確度情報は、前記動き補償部により動き補償された過去データのブロックと、対応する前記入力画像のブロックとの類似度が高いほど、前記動きの検出がより確からしい旨を示すとしてもよい。
【００４９】
また、第９の態様に係る超解像処理装置は、第７の態様において、例えば、前記動き確度情報は、前記動き補償部により動き補償された過去データのブロックと、対応する前記入力画像における対象ブロックとの間における各画素同士の差分絶対値和を含むとしてもよい。
【００５０】
また、第１０の態様に係る超解像処理装置は、第９の態様において、例えば、前記動き確度情報は、前記差分絶対値和の値が小さいほど、前記動き補償部により動き補償された過去データのブロックと、対応する前記入力画像のブロックとの類似度が高いとしてもよい。
【００５１】
この構成により、動き補償された過去データのブロックの特定情報で特定される学習高周波パッチと類似した学習高周波成分が選択されやすくなるので、時間方向の連続性が高くなり、高周波ゆらぎの少ない安定した高精彩な出力画像を得ることができる。
【００５２】
また、第１１の態様に係る超解像処理装置は、第１の態様〜第１０の態様のいずれかにおいて、例えば、さらに、前記入力画像を所望の画像サイズに拡大して出力する拡大部を備え、前記特徴量抽出部は、前記拡大部により拡大された前記入力画像から特徴量を抽出し、前記加算部は、前記拡大部により拡大された前記入力画像と前記パッチ抽出部により抽出された学習高周波パッチとをブロック単位で加算することにより、前記出力画像を生成するとしてもよい。
【００５３】
また、第１２の態様に係る超解像処理装置は、第２の態様において、例えば、前記学習データベースには、類似した学習高周波パッチ同士が同じクラスに属するように分類されており、前記パッチ抽出部は、前記入力画像のブロックと対応する前記動き補償部により動き補償された過去データのブロックのデータベースインデックスにより特定される学習特徴量と対応付けられた学習高周波パッチと同じクラスに属する学習高周波パッチにおける学習特徴量と、当該入力画像のブロックに対応する前記特徴量との評価値を、当該過去データのブロックの特定情報を用いない場合よりも高い類似度を示す値に修正するとしてもよい。
【００５４】
また、上記目的を達成するために、第１２の態様に係る超解像処理方法は、例えば、入力画像に学習データベースを用いた超解像処理を行うことにより、前記入力画像より高い解像度を有する出力画像を生成する超解像処理方法であって、前記学習データベースには、学習画像の高周波成分から得られたデータである学習高周波パッチと、前記学習画像の少なくとも低周波成分から得られたデータである学習特徴量とが対応づけられたパッチペアが複数格納されており、前記入力画像から特徴量をブロック単位で抽出する特徴量抽出ステップと、前記学習データベースに格納されている複数の学習特徴量それぞれと、前記特徴量との類似度を示す評価値をブロック単位で算出し、前記学習データベースから、算出した前記評価値の示す前記特徴量に最も類似する学習特徴量と対応づけられた学習高周波パッチを抽出するパッチ抽出ステップと、前記入力画像と前記入力画像より時間的に前の入力画像である過去入力画像との間の動きをブロック単位で検出する動き検出ステップと、前記動き検出ステップにおいて検出された動きに基づき、前記パッチ抽出ステップにおいて前記過去入力画像に対して抽出された学習特徴量を特定するための特定情報が前記過去入力画像のブロック毎に対応されてマッピングされた過去データをブロック単位で動き補償する動き補償ステップと、前記入力画像と前記パッチ抽出ステップにおいて抽出された学習高周波パッチとをブロック単位で加算することにより、前記出力画像を生成する加算ステップとを含み、前記パッチ抽出ステップでは、前記入力画像のブロックと対応する前記動き補償ステップにおいて動き補償された過去データのブロックの特定情報に基づき特定される学習特徴量と、当該入力画像のブロックに対応する前記特徴量との評価値を、当該過去データのブロックの特定情報を用いない場合よりも高い類似度を示す値に修正して算出する。
【００５５】
また、上記目的を達成するために、第１３の態様に係る超解像処理を行うためのプログラムは、入力画像に学習データベースを用いた超解像処理を行うことにより、前記入力画像より高い解像度を有する出力画像を生成するためのプログラムを記録した非一時的なコンピュータ読み取り可能な記録媒体であって、前記学習データベースには、学習画像の高周波成分から得られたデータである学習高周波パッチと、前記学習画像の少なくとも低周波成分から得られたデータである学習特徴量とが対応づけられたパッチペアが複数格納されており、前記入力画像から特徴量をブロック単位で抽出する特徴量抽出ステップと、前記学習データベースに格納されている複数の学習特徴量それぞれと、前記特徴量との類似度を示す評価値をブロック単位で算出し、前記学習データベースから、算出した前記評価値の示す前記特徴量に最も類似する学習特徴量と対応づけられた学習高周波パッチを抽出するパッチ抽出ステップと、前記入力画像と前記入力画像より時間的に前の入力画像である過去入力画像との間の動きをブロック単位で検出する動き検出ステップと、前記動き検出ステップにおいて検出された動きに基づき、前記パッチ抽出ステップにおいて前記過去入力画像に対して抽出された学習特徴量を特定するための特定情報が前記過去入力画像のブロック毎に対応されてマッピングされた過去データをブロック単位で動き補償する動き補償ステップと、前記入力画像と前記パッチ抽出ステップにおいて抽出された学習高周波パッチとをブロック単位で加算することにより、前記出力画像を生成する加算ステップとを含み、前記パッチ抽出ステップでは、前記入力画像のブロックと対応する前記動き補償ステップにおいて動き補償された過去データのブロックの特定情報に基づき特定される学習特徴量と、当該入力画像のブロックに対応する前記特徴量との評価値を、当該過去データのブロックの特定情報を用いない場合よりも高い類似度を示す値に修正して算出する。
【００５６】
また、上記目的を達成するために、第１４の態様に係る集積回路は、例えば、入力画像に学習データベースを用いた超解像処理を行うことにより、前記入力画像より高い解像度を有する出力画像を生成する集積回路であって、前記学習データベースには、学習画像の高周波成分から得られたデータである学習高周波パッチと、前記学習画像の少なくとも低周波成分から得られたデータである学習特徴量とが対応づけられたパッチペアが複数格納されており、前記入力画像から特徴量をブロック単位で抽出する特徴量抽出部と、前記学習データベースに格納されている複数の学習特徴量それぞれと、前記特徴量との類似度を示す評価値をブロック単位で算出し、前記学習データベースから、算出した前記評価値の示す前記特徴量に最も類似する学習特徴量と対応づけられた学習高周波パッチを抽出するパッチ抽出部と、前記入力画像と前記入力画像より時間的に前の入力画像である過去入力画像との間の動きをブロック単位で検出する動き検出部と、前記動き検出部により検出された動きに基づき、前記パッチ抽出部により前記過去入力画像に対して抽出された学習特徴量を特定するための特定情報が前記過去入力画像のブロック毎に対応されてマッピングされた過去データをブロック単位で動き補償する動き補償部と、前記入力画像と前記パッチ抽出部により抽出された学習高周波パッチとをブロック単位で加算することにより、前記出力画像を生成する加算部とを備え、前記パッチ抽出部は、前記入力画像のブロックと対応する前記動き補償部により動き補償された過去データのブロックの特定情報に基づき特定される学習特徴量と、当該入力画像のブロックに対応する前記特徴量との評価値を、当該過去データのブロックの特定情報を用いない場合よりも高い類似度を示す値に修正して算出する。
【００５７】
なお、以下で説明する実施の形態は、いずれも本発明の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
【００５８】
以下、本発明を実施するための形態について、図面を参照しながら説明する。
【００５９】
（実施の形態１）
図１は、本発明の実施の形態１に係る超解像処理装置１００の構成を示すブロック図である。
【００６０】
図１に示す超解像処理装置１００は、入力画像（Ｄ１１１）に学習データベース１０５を用いた超解像処理を行うことにより、入力画像（Ｄ１１１）より解像度が大きい出力画像（Ｄ１１２）を生成する。この超解像処理装置１００は、拡大部１０１と、特徴量抽出部１０２と、パッチ抽出部１０３と、加算部１０４と、学習データベース１０５と、フレーム遅延部１１１と、動き検出部１１２と、フレーム遅延部１１３と、動き補償部１１４とを備える。
【００６１】
拡大部１０１は、入力画像（Ｄ１１１）を所望の画像サイズに拡大して出力する。具体的には、拡大部１０１は、入力画像（Ｄ１１１）を所望の画像サイズに拡大した拡大画像（Ｄ１１３）を生成する。なお、入力画像（Ｄ１１１）があらかじめ拡大されている場合や、入力画像（Ｄ１１１）の時点で画像の周波数分布が低周波に偏っている場合などは、入力画像サイズを増加させなくとも超解像効果が得られることから、拡大部１０１を省略してもよい。この場合、拡大画像（Ｄ１１３）は、入力画像（Ｄ１１１）で代替できる。
【００６２】
特徴量抽出部１０２は、拡大部１０１により拡大された入力画像（Ｄ１１１）から入力特徴量（Ｄ１１４）を抽出する。具体的には、特徴量抽出部１０２は、拡大画像（Ｄ１１３）から、特徴量を抽出して入力特徴量（Ｄ１１４）として出力する。なお、特徴量抽出部１０２は、入力画像（Ｄ１１１）から入力特徴量（Ｄ１１４）をブロック単位で抽出するとしてもよい。
【００６３】
ここで、特徴量とは、例えば、拡大画像（Ｄ１１３）の高周波成分であり、ハイパスフィルタを用いることで抽出される。また、特徴量は例えば、拡大画像（Ｄ１１３）のバンドパス成分であり、バンドパスフィルタを用いることで抽出させるとしてもよい。なお、特徴量は、拡大画像（Ｄ１１３）から抽出される任意の特徴量であってよいし、拡大画像（Ｄ１１３）の代わりに、入力画像（Ｄ１１１）から直接抽出されるとしてもよい。また、特徴量は、１次元のスカラー量であっても、複数次元を有するベクトル量であってもよい。
【００６４】
フレーム遅延部１１１は、内部に第１のフレームメモリ１２１を有しており、これを用いて入力画像（Ｄ１１１）をフレーム単位で遅延させて、遅延入力画像（Ｄ１２３）を出力する。
【００６５】
動き検出部１１２は、入力画像（Ｄ１１１）とその入力画像（Ｄ１１１）より時間的に前の入力画像（Ｄ１１１）である遅延入力画像（Ｄ１２３）との間の動きをブロック単位で検出する。具体的には、動き検出部１１２は、入力画像（Ｄ１１１）と、遅延入力画像（Ｄ１２３）との間の、画像内オブジェクトの動きを検出し、検出した動き（動き量）を示す動きベクトル（Ｄ１２４）を出力する。なお、動きの検出は、所定のブロック単位で行ってもよく、また、画像内のオブジェクトごとに任意に領域を分割して、その領域単位で行ってもよい。
【００６６】
また、動き検出部１１２は、動きの検出の確からしさを示す動き確度情報を算出する。具体的には、動き検出部１１２は、検出した動きの確からしさを示す動き確度情報（Ｄ１２８）を算出して出力する。ここで、動き確度情報は、動き補償部１１４により動き補償された過去のデータの過去データのブロックのデータベースインデックスのブロックと、対応する入力画像のブロックとの類似度が高いほど、動きの検出がより確からしい旨を示す。例えば、動き確度情報（Ｄ１２８）は、入力画像（Ｄ１１１）における対象ブロックと、動き補償した位置の遅延入力画像（Ｄ１２３）との間の各画素同士の差分絶対値和である。また、動き確度情報（Ｄ１２８）は、例えば、入力画像（Ｄ１１１）における対象ブロックと、動き補償した位置の遅延入力画像（Ｄ１２３）との間の各画素同士の差分自乗和である。なお、動き確度情報（Ｄ１２８）は、間引かれた画素における差分絶対値和または差分自乗和などでもよく、それ以外の方法で求めた動き補償した位置の遅延入力画像（Ｄ１２３）との間の類似度を示す指標であってもよい。なお、差分絶対値和の値が小さいほど、動き確度情報（Ｄ１２８）は類似度が高いことを示す。さらには、上記指標に、その他の評価指標を組み合わせたものであってもよい。
【００６７】
フレーム遅延部１１３は、内部に第２のフレームメモリ１２３を有しており、１フレーム分の各ブロック位置のデータベースインデックス（Ｄ１２５）をフレーム単位で遅延させて、遅延データベースインデックス（Ｄ１２６）を出力する。
【００６８】
動き補償部１１４は、動き検出部１１２により検出された動きに基づき、パッチ抽出部１０３により過去の入力画像（Ｄ１１１）に対して抽出された学習特徴量（Ｄ１１５）を特定するための特定情報が過去の入力画像のブロック毎に対応させてマッピングされた過去データをブロック単位で動き補償する。具体的には、動き補償部１１４は、動きベクトル（Ｄ１２４）に示される動き量に従って遅延データベースインデックス（Ｄ１２６）を動き補償し、動き補償データベースインデックス（Ｄ１２７）を出力する。
【００６９】
なお、ここでいう過去の入力画像とは、超解像処理装置１００に入力された入力画像（Ｄ１１１）の時間順序を示している。換言すると、超解像処理装置１００により出力された出力画像（Ｄ１１２）が表示される順序（表示時刻）を示すものではない。同様に、過去データは、この過去の入力画像（Ｄ１１１）に対するデータを示しているに過ぎない。
【００７０】
パッチ抽出部１０３は、学習データベース１０５に格納されている複数の学習特徴量（Ｄ１１５）それぞれと、入力特徴量（Ｄ１１４）との類似度を示す評価値をブロック単位で算出し、学習データベース１０５から、算出した評価値が示す入力特徴量（Ｄ１１４）に最も類似する学習特徴量（Ｄ１１５）と対応づけられた学習高周波パッチ（Ｄ１１６）を抽出する。また、パッチ抽出部１０３は、入力画像（Ｄ１１１）のブロックと対応する動き補償部１１４により動き補償された過去データのブロックの特定情報に基づき特定される学習特徴量（Ｄ１１５）と、当該入力画像（Ｄ１１１）のブロックに対応する入力特徴量（Ｄ１１４）との評価値を、当該過去データのブロックの特定情報を用いない場合よりも高い類似度を示す値に修正して算出する。
【００７１】
ここで、特定情報は、パッチ抽出部１０３により過去の入力画像（Ｄ１１１）に対して抽出された学習高周波パッチ（Ｄ１１６）と当該学習高周波パッチ（Ｄ１１６）に対応づけられた学習特徴量（Ｄ１１５）とを特定するデータベースインデックスである。本実施の形態では、パッチ抽出部１０３は、入力画像（Ｄ１１１）のブロックと対応する動き補償部１１４により動き補償された過去データのブロックのデータベースインデックスにより特定される学習特徴量（Ｄ１１５）と、当該入力画像（Ｄ１１１）のブロックに対応する入力特徴量（Ｄ１１４）との評価値を、当該過去データのブロックの特定情報を用いない場合よりも高い類似度を示す値に修正する。
【００７２】
評価値は、類似度が高いほど小さい値を示す。この場合、例えば、パッチ抽出部１０３は、入力画像（Ｄ１１１）のブロックと対応する動き補償部１１４により動き補償された過去データのブロックの特定情報に基づき特定される学習特徴量（Ｄ１１５）と、当該入力画像（Ｄ１１１）のブロックに対応する入力特徴量（Ｄ１１４）との評価値を、当該過去データのブロックの特定情報を用いない場合よりもｃ１（ｃ１＞０）だけ減ずる値に修正するとしてもよい。また、パッチ抽出部１０３は、入力画像（Ｄ１１１）のブロックと対応する動き補償部１１４により動き補償された過去データのブロックの特定情報に基づき特定される学習特徴量（Ｄ１１５）と、当該入力画像（Ｄ１１１）のブロックに対応する入力特徴量（Ｄ１１４）との評価値を、当該過去データのブロックの特定情報を用いない場合の評価値にｃ２（０＜ｃ１＜１）を乗ずる値に修正するとしてもよい。
【００７３】
なお、パッチ抽出部１０３は、さらに、動き確度情報（Ｄ１２８）に基づいて、動きの検出が確からしいと判断する場合に、入力画像（Ｄ１１１）のブロックと対応する動き補償部１１４により動き補償された過去データのブロックの特定情報に基づき特定される学習特徴量（Ｄ１１５）と、当該入力画像（Ｄ１１１）のブロックに対応する入力特徴量（Ｄ１１４）との評価値に対する修正量を大きくするとしてもよい。また、パッチ抽出部１０３は、動き確度情報（Ｄ１２８）に基づいて、動きの検出が確からしいと判断する場合にのみ、入力画像（Ｄ１１１）のブロックと対応する動き補償部１１４により動き補償された過去データのブロックの特定情報に基づき特定される学習特徴量（Ｄ１１５）と、当該入力画像（Ｄ１１１）のブロックに対応する入力特徴量（Ｄ１１４）との評価値を、当該過去データのブロックの特定情報を用いない場合よりも高い類似度を示す値に修正するとしてもよい。
【００７４】
より具体的には、本実施の形態では、パッチ抽出部１０３は、入力特徴量（Ｄ１１４）と学習特徴量（Ｄ１１５）との類似度が大きいほど値が小さくなる評価値を用いて、評価値が最小の学習特徴量（Ｄ１１５）を検索する。パッチ抽出部１０３は、検索により得た学習特徴量（Ｄ１１５）に対応する学習高周波パッチ（Ｄ１１６）を、推定高周波パッチ（Ｄ１１７）として出力する。
【００７５】
また、パッチ抽出部１０３は、検索より得た学習特徴量（Ｄ１１５）および学習高周波パッチ（Ｄ１１６）のペアに対応するデータベースインデックスを、データベースインデックス（Ｄ１２５）として出力する。
【００７６】
ここで、パッチ抽出部１０３は、動き確度情報（Ｄ１２８）により動き検出が確からしいと判断した場合、上記検索時の評価値を、動き補償データベースインデックス（Ｄ１２７）と等しいデータベースインデックスを持つ学習特徴量（Ｄ１１５）に対して、修正しない場合の評価値と比べて同じかより小さい値に修正した上で検索を行う。一方、動き確度情報（Ｄ１２８）により動き検出が確からしくないと判断した場合、評価値の修正は行わない。なお、パッチ抽出部１０３は、動き確度情報（Ｄ１２８）に関わらず評価値の修正を常に実施するとしても構わない。
【００７７】
加算部１０４は、拡大部１０１により拡大された入力画像（Ｄ１１１）とパッチ抽出部１０３により抽出された学習高周波パッチ（Ｄ１１６）とをブロック単位で加算することにより、出力画像を生成する。具体的には、加算部１０４は、拡大画像（Ｄ１１３）と、推定高周波パッチ（Ｄ１１７）とを加算することにより出力画像（Ｄ１１２）を生成する。なお、加算部１０４は、入力画像（Ｄ１１１）とパッチ抽出部１０３により抽出された学習高周波パッチ（Ｄ１１６）とをブロック単位で加算することにより、出力画像を生成するとしてもよい。
【００７８】
学習データベース１０５は、学習画像の高周波成分から得られたデータである学習高周波パッチ（Ｄ１１６）と、その学習画像の少なくとも低周波成分から得られたデータである学習特徴量（Ｄ１１５）とが対応づけられたパッチペアを複数格納している。なお、学習データベース１０５は、図１２を用いて説明した学習データベース９０５と同様の方法で予め作成されている。本実施の形態では、学習データベース１０５は、同一のブロック位置から生成された学習特徴量（Ｄ１１５）と学習高周波パッチ（Ｄ１１６）とを１つのパッチペアとして対応付けて格納されるとともに、その対応付けを示す対応関係データベースインデックス（Ｄ１２５）も格納している。
【００７９】
これにより、本実施の形態に係る超解像処理装置１００は、パッチ抽出部１０３でデータベースを検索する際に、データベースインデックスが、前後のフレームの動き補償された動き補償データベースインデックスとの一致を考慮することで、出力画像において時間方向の画像ゆらぎを低減することができる。
【００８０】
図２は、実施の形態１に係る超解像処理装置の動作例を示す図である。図３は、実施の形態１に係る遅延入力画像のブロックに対するデータベースインデックスが動き補償されて動き補償データベースインデックスを得ることを説明するための図である。
【００８１】
以下、動き補償データベースインデックス（Ｄ１２７）を得るまでの過程を説明する。
【００８２】
入力画像（Ｄ１１１）をフレーム遅延部１１１により遅延させた遅延入力画像（Ｄ１２３）は、例えば、入力画像の時刻をｔとすると、時刻ｔ−１などとなる。
【００８３】
なお、遅延入力画像（Ｄ１２３）は、入力画像（Ｄ１１１）に対して時間的に直前のフレームでなくても構わず、時間的に２フレーム以上前のフレームであってもよい。また、遅延入力画像（Ｄ１２３）は、例えばＭＰＥＧやＨ．２６４などといった時間的に後のフレームを先に符号化したものを復号した場合などで、入力画像（Ｄ１１１）よりも時間的に後、すなわち未来の時刻のフレームであっても構わない。つまり、遅延入力画像（Ｄ１２３）の時刻はｔ−２であっても、ｔ＋１であっても、それ以外であっても構わない。
【００８４】
図２の（ａ）に示す入力画像（Ｄ１１１）は、飛行機が右上に向かって飛んでいる例である。図２の（ａ）に示すように、入力画像（Ｄ１１１）における飛行機の位置は、遅延入力画像（Ｄ１２３）よりも右上へ移動している。
【００８５】
動き検出部１１２は、入力画像（Ｄ１１１）中の対象ブロックの画像と類似したブロックを、第１のフレームメモリ１２１に格納された遅延入力画像（Ｄ１２３）の中から探索し、その位置を動き補償位置とする。そして動き補償位置から対象ブロック位置までの移動量を動きベクトル（Ｄ１２４）として算出する。
【００８６】
ここで、例えば、動きベクトル（Ｄ１２４）の値を（ｄｘ，ｄｙ）として、対象ブロックの左上位置が（ｘ，ｙ）とすると、動き補償位置（左上）は（ｘ＋ｄｘ，ｙ＋ｄｙ）で求められる。動き検出の方法については、例えば非特許文献２「ディジタル画像圧縮の基礎：安田浩、渡辺裕／日経ＢＰ出版センター／１．３．２節」に説明されている動き検出法を利用してもよい。なお、それ以外の任意の動き検出法を利用してもよい。
【００８７】
さらに、対象ブロックと動き補償位置のブロックとの類似度を、ブロック内の各画素同士のＳＡＤ演算（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅｓ： 差分絶対値和）によって求め、動き確度情報（Ｄ１２８）として出力する。なお、算出方法はこの方法に限られず、例えば差分自乗和など任意の方法で類似度を求めるとしてもよい。これにより、動き確度情報（Ｄ１２８）は、値が小さいほど類似度が高い（動き検出が確からしい）ことを意味する。
【００８８】
図２の（ｂ）は、遅延入力画像（Ｄ１２３）と同じ時刻の、パッチ抽出部１０３によって抽出された学習高周波パッチ（Ｄ１１６）を示すデータベースインデックス（Ｄ１２５）が、フレーム遅延部１１３によって第２のフレームメモリ１２３に格納された状態を示している。
【００８９】
ここで、データベースインデックス（Ｄ１２５）とは、学習データベース１０５中の、学習特徴量（Ｄ１１５）と学習高周波パッチ（Ｄ１１６）とのペアを一意に識別するためのインデックス番号である。例えば、超解像処理の単位ブロックサイズが１０×１０画素、入力画像（Ｄ１１１）のサイズが１９２０×１０８０画素だとすると、フレームあたりの処理ブロック数は１９２×１０８個で、この数の、遅延入力画像（Ｄ１２３）と同じ時刻の遅延データベースインデックス（Ｄ１２６）が、第２のフレームメモリ１２３中に格納される。
【００９０】
遅延データベースインデックス（Ｄ１２６）のうち、対象ブロックに対応する動き補償された位置は、第２のフレームメモリ１２３における２次元位置を（Ｘ，Ｙ）として、例えば、
【数１】
として求められる。ここで、ｂｘおよびｂｙは、それぞれ、超解像処理単位ブロックの水平サイズおよび垂直サイズであり、ｒｏｕｎｄ（）は、小数点以下を四捨五入する関数である。なお、位置の求め方は、ｒｏｕｎｄ（）の代わりに、小数点以下切捨て、小数点以下切り上げ、など、任意の方法で整数化してもよい。
【００９１】
この位置（Ｘ，Ｙ）の遅延データベースインデックス（Ｄ１２６）を、動き補償データベースインデックス（Ｄ１２７）とする。
【００９２】
つまり、図３に示すように、前フレームすなわち遅延入力画像（Ｄ１２３）に対する処理結果を、動き補償して取得する。
【００９３】
換言すると、まず、動き補償部１１４は、動き検出部１１２により検出された動きに基づき、パッチ抽出部１０３により過去の入力画像（Ｄ１１１）に対して抽出された学習特徴量（Ｄ１１５）を特定するためのデータベースインデックス（Ｄ１２５）が過去の入力画像のブロック毎に対応させてマッピングされた過去データをブロック単位で動き補償した動き補償データベースインデックス（Ｄ１２７）を生成する。
【００９４】
次に、パッチ抽出部１０３では、動き確度情報（Ｄ１２８）、入力特徴量（Ｄ１１４）、動き補償データベースインデックス（Ｄ１２７）に基づいて、学習データベース１０５中の各学習特徴量（Ｄ１１５）に対する評価値を算出する。そして、パッチ抽出部１０３は、学習データベース１０５から、算出した評価値が示す入力特徴量（Ｄ１１４）に最も類似する学習特徴量（Ｄ１１５）と対応づけられた学習高周波パッチ（Ｄ１１６）を抽出する。このようにして、時間連続性を考慮して学習特徴量（Ｄ１１５）を検索することができるので、時間連続性を考慮した学習高周波パッチ（Ｄ１１６）を抽出することができる。
【００９５】
以下、パッチ抽出部１０３が、評価値（以下、評価値ｅと記載）を算出する方法について説明する。
【００９６】
例えば、パッチ抽出部１０３は、評価値ｅを以下のように算出する。
【００９７】
【数２】
【００９８】
ここで、入力特徴量をＩｎＦ、学習特徴量をＴｒＦ、特徴量の各要素成分を示す記号を（ｉ，ｊ）、特徴量の各要素成分同士のＳＡＤ演算をｓａｄ（）としている。またｃ１は正の定数である。なお、例えば動き確度情報（Ｄ１２８）の値があらかじめ設定した閾値よりも小さい場合に、動き確度が高い、それ以外を動き確度が低い、と判断する。
【００９９】
また、例えば、パッチ抽出部１０３は、評価値ｅを以下のように算出してもよい。
【０１００】
【数３】
【０１０１】
ここで、ｃ２は０＜ｃ２＜１なる定数である。
【０１０２】
また、例えば、パッチ抽出部１０３は、評価値ｅを以下のように算出してもよい。
【０１０３】
【数４】
【０１０４】
ここで、ｍｃ＿ｓａｄは、動き確度情報（Ｄ１２８）の値であり、動き検出の確度が高いほど小さい値を持ち、ｆｕｎｃ１（）は、広義単調減少関数である。
【０１０５】
また、例えば、パッチ抽出部１０３は、評価値ｅを以下のように算出してもよい。
【０１０６】
【数５】
【０１０７】
ここで、ｆｕｎｃ２（）は、広義単調増加関数であり、値域は０以上１以下である。
【０１０８】
なお、パッチ抽出部１０３は、評価値ｅを算出する際に上記の例以外の算出式を用いてもよい。動き検出の確度が同じ、かつ、入力特徴量（Ｄ１１４）と学習特徴量（Ｄ１１６）との類似度が同じである条件下で、学習データベースインデックス（Ｄ１２５）が動き補償データベースインデックス（Ｄ１２７）と異なる場合に比べて同じ場合の方が、評価値ｅが小さくなるような算出式を用いてもよい。また、入力特徴量（Ｄ１１４）と学習特徴量（Ｄ１１６）との類似度が同じ、かつ、学習データベースインデックスが動き補償データベースインデックス（Ｄ１２７）と同じである条件下で、動き確度がより高い場合、すなわち動き確度情報（Ｄ１２８）の値がより小さい場合に、評価値ｅが同じかより小さくなるような算出式を用いてもよい。
【０１０９】
また、学習データベースインデックスによって示される学習高周波パッチ（Ｄ１１６）が、動き補償データベースインデックス（Ｄ１２７）によって示される学習高周波パッチ（Ｄ１１６）と類似しているかどうかを判断するとしてもよい。この場合、より類似しているほど、評価値ｅを同じか小さくするように制御する。また、類似の度合いは、例えば、学習高周波パッチ（Ｄ１１６）同士のＳＡＤ演算で得られる。なお、あらかじめ類似の度合いが大きいものを、近いデータベースインデックスの値に割り当てておいて、データベースインデックスの値を比較するだけで類似の度合いを判断してもよい。
【０１１０】
以上のように、動き検出が成功している場合には、動き補償データベースインデックス（Ｄ１２７）で特定される学習特徴量（Ｄ１１５）の評価値ｅがより小さくなることでよりパッチ抽出部１０３に検索（選択）されやすくなる。それにより、パッチ抽出部１０３が抽出する推定高周波パッチ（Ｄ１１７）の時間連続性が高まる。また動き検出が失敗している場合は、評価値ｅの修正量が小さくなるため、時間連続性を考慮せずに、入力特徴量により類似した学習特徴量（Ｄ１１５）が検索される。よって、必要に応じて時間連続性が考慮され、高周波ゆらぎの少ない、安定した高精彩な出力画像を得ることができる。
【０１１１】
＜超解像処理方法＞
図４は、実施の形態１に係る超解像処理装置１００の超解像処理を説明するためのフローチャートである。
【０１１２】
まず、フレーム遅延部１１１は、入力画像（Ｄ１１１）を第１のフレームメモリ１２１に格納する（Ｓ１０１）。
【０１１３】
次に、拡大部１０１は、入力画像（Ｄ１１１）を所望の画像サイズに拡大した拡大画像（Ｄ１１３）を生成する（Ｓ１０２）。
【０１１４】
なお、入力画像があらかじめ拡大されている場合や、入力画像の時点で画像の周波数分布が低周波に偏っている場合などは、入力画像サイズを増加させなくとも超解像効果が得られる。その場合、Ｓ１０２を省略、すなわち、拡大部Ｂ１０１を省略し、拡大画像（Ｄ１１３）は、入力画像（Ｄ１１１）となる。
【０１１５】
次に、特徴量抽出部１０２は、拡大画像（Ｄ１１３）から、特徴量を抽出して入力特徴量（Ｄ１１４）として出力する（Ｓ１０３）。
【０１１６】
次に、動き検出部１１２は、入力画像（Ｄ１１１）と、遅延入力画像（Ｄ１２３）との間の、画像内オブジェクトなどの動きを検出する。そして、動き検出部１１２は、検出した動き（動き量）を示す動きベクトル（Ｄ１２４）を出力する。ここで、遅延入力画像（Ｄ１２３）は、Ｓ１０７で第１のフレームメモリ１２１に格納された前フレーム（過去の入力画像）の画像データである。そのため、最初に処理するフレームではまだ生成されておらず、この処理は行わない。なお、動きの検出は、所定のブロック単位で行ってもよく、また、画像内のオブジェクトごとに任意に領域を分割して、その領域単位で行ってもよい。ここで、動き検出部１１２は、さらに、検出した動きの確からしさを示す動き確度情報（Ｄ１２８）を出力する（Ｓ１０４）。
【０１１７】
次に、動き補償部１１４は、Ｓ１０４で求めた動きベクトル（Ｄ１２４）に示される動き量に従って遅延データベースインデックス（Ｄ１２６）を動き補償して生成した動き補償データベースインデックス（Ｄ１２７）を出力する。なお、遅延データベースインデックス（Ｄ１２６）は、前フレームでのＳ１０７で生成されるため、最初に処理するフレームではまだ生成されておらず、この処理は行わない（Ｓ１０５）。
【０１１８】
次に、パッチ抽出部１０３は、入力特徴量（Ｄ１１４）と学習特徴量（Ｄ１１５）との類似度がより大きいほど、小さくなる評価値を用いて、評価値が最小の学習特徴量（Ｄ１１５）を検索する。パッチ抽出部１０３は、検索して得た学習特徴量（Ｄ１１５）に対応する学習高周波パッチ（Ｄ１１６）を抽出し、推定高周波パッチ（Ｄ１１７）として出力する（Ｓ１０６）。
【０１１９】
ここで、パッチ抽出部１０３は、動き確度情報（Ｄ１２８）により動き検出が確からしいと判断した場合、上記検索時の評価値は、動き補償データベースインデックス（Ｄ１２７）と等しいデータベースインデックス（Ｄ１２５）を持つ学習特徴量（Ｄ１１５）に対しては、評価値を同じかより小さい値に修正した上で検索を行う。一方、動き確度情報（Ｄ１２８）により動き検出が確からしくないと判断した場合、評価値の修正は行わない。なお、動き確度情報（Ｄ１２８）に関わらず評価値の修正を常に実施しても構わない。
【０１２０】
次に、パッチ抽出部１０３で検索して得た（選択した）学習特徴量（Ｄ１１５）および学習高周波パッチ（Ｄ１１６）のペアに対応するデータベースインデックス（Ｄ１２５）を、フレーム遅延部１１３においてインデックスメモリ（第２のフレームメモリ１２３）に格納する（Ｓ１０７）。
【０１２１】
ここで、パッチ抽出部１０３は、さらに、動き補償データベースインデックス（Ｄ１２７）と等しいデータベースインデックス（Ｄ１２５）を持つ学習特徴量（Ｄ１１５）に対しては、その評価値をより小さく修正した上で検索を行う。
【０１２２】
次に、加算部１０４は、拡大画像（Ｄ１１３）と、推定高周波パッチ（Ｄ１１７）とを加算することにより出力画像（Ｄ１１２）を生成する（Ｓ１０８）。
【０１２３】
＜効果＞
以上のように、前後の時刻のフレームにおける動き補償された学習データベースインデックスと同じ学習データベースインデックスで示される学習特徴量に対する評価値をより小さい値にする。それにより、動き補償された位置で選択された学習高周波パッチ（Ｄ１１６）と同じものを選択されやすくすることができるので、付加される推定高周波パッチ（Ｄ１１７）の時間連続性を高めることができ、高周波のゆらぎが少ない、高精細な出力画像を生成することができる。
【０１２４】
以上、本実施の形態によれば、入力画像に対して時間方向にゆらぎにくく安定した高周波成分を付加する超解像処理を行うことができるので、時間的に連続する複数の画像フレーム間において、フリッカーの発生を抑制できる超解像処理装置を実現することができる。
【０１２５】
なお、実施の形態１では、学習データベース１０５は、図１２を用いて説明した学習データベース９０５と同様の方法で予め作成されているとしたが、それに限らない。
【０１２６】
例えば、学習データベース１０５は、学習画像の高周波成分から得られたデータである学習高周波パッチ（Ｄ１１６）と、その学習画像の少なくとも低周波成分から得られたデータである学習特徴量（Ｄ１１５）とのパッチペアだけでなく、パッチペアである学習特徴量（Ｄ１１５）と学習高周波パッチ（Ｄ１１６）とを回転、転置などの画像変換を行ったものをパッチペアとして複数格納していてもよい。
【０１２７】
その場合、データベースインデックス（Ｄ１２５）と共に、画像変換の方法を示す画像変換インデックスを保持することが好ましい。そして、パッチ抽出部１０３は、動き補償位置のデータベースインデックス（Ｄ１２５）と画像変換インデックスが一致するパッチに対する評価値を下げるとすればよい。
【０１２８】
ここで、回転、転置などの画像変換を行ったパッチペアの一例を用いて説明する。
【０１２９】
図５は、実施の形態１に係る学習データベースに格納される画像変換が行われたパッチペアの１例を説明するための図である。ここで、図５では、１個の学習特徴量（Ｄ１１５）を示すデータＰ１２からＬ個の学習特徴量（Ｄ１１５）を示すデータＰ１２０が生成されている場合の例を示している。なお、画像変換が行われた学習高周波パッチ（Ｄ１１６）を生成する場合も同様であるため、学習特徴量（Ｄ１１５）の場合のみを説明する。
【０１３０】
図５の例では、学習特徴量（Ｄ１１５）を示すデータＰ１２を２次元配列とみなし、横方向や縦方向に配列を反転させたり、配列の転置を行ったり、配列の要素である数値データの正負符号やビットを反転させることで、Ｌ＝１６個の学習特徴量（Ｄ１１５）を示すデータを生成している。なお、配列の要素である数値データｐが例えば０〜２５５に正規化されている場合、数値データの正負符号の反転は２５５−ｐを意味する。
【０１３１】
一般に、Ｐ１２０の生成は次式で表される。
【０１３２】
Ｐ１２０［ｋ］［ｌ］＝Ｇ（Ｐ１２［ｋ］，ｌ） ・・・（１）
【０１３３】
ただし、Ｇ（Ｘ，ｌ）はＸからパラメータｌを用いて新しいパターンを生成する関数であり、ｋ＝１，・・・，Ｋである。パラメータｌは、例えば図５の例では、ｌ＝１，・・・，Ｌである。
【０１３４】
なお、Ｌ個の学習特徴量（Ｄ１１５）を示すデータを生成する方法は、上記のみによらず、例えば、パッチ抽出部１０３が検索に使用するデータサイズよりも大きなデータを学習データベース１０５で保持している場合は、配列要素を平行移動させたり、アフィン変換などを用いて配列パターンの回転等の変形を行ったりしても良い。このとき、非整数位置の配列データが必要な場合は、例えばバイキュービック法により補間生成すればよい。
【０１３５】
また、学習データベース１０５に格納されるパッチペアの構成は、上記の場合に限られない。例えば、学習データベース１０５は、類似したパッチ同士が同じクラスに属するように分類した情報が格納されているとしてもよい。その場合、パッチ抽出部１０３は、動き補償データベースインデックス（Ｄ１２７）と同じクラスに属するパッチ（例えば学習高周波パッチ（Ｄ１１６））に関して、評価値を下げる処理を行う。
【０１３６】
より具体的には、学習データベース１０５には、類似した学習高周波パッチ（Ｄ１１６）同士が同じクラスに属するようにクラス分類されている。この場合、パッチ抽出部１０３は、入力画像（Ｄ１１１）のブロックと対応する、動き補償部１１４により動き補償された過去データのブロックのデータベースインデックス（Ｄ１２５）により特定される学習特徴量（Ｄ１１５）と対応付けられた学習高周波パッチ（Ｄ１１６）と同じクラスに属する学習高周波パッチ（Ｄ１１６）における学習特徴量（Ｄ１１５）と、当該入力画像（Ｄ１１１）のブロックに対応する前記特徴量との評価値を、当該過去データのブロックの特定情報を用いない場合よりも高い類似度を示す値に修正すればよい。
【０１３７】
なお、上記クラス分類には、Ｋ−ｍｅａｎｓ法を用いても良く、その他のクラス分類手法を用いても良い。また、各パッチが複数のクラスに属するようなクラス分類を行っても良い。また、上記類似の度合いを測る指標としては、画素単位のＳＡＤやＳＳＤが考えられるが、それ以外の指標であってもよい。
【０１３８】
（実施の形態２）
以下、実施の形態２について説明する。なお、以降の実施の形態では、既に説明した実施の形態と同様の要素に関しては説明を省略し、相違点を主に説明する。また、各実施の形態において同様の要素には同一の符号を付している。
【０１３９】
以下、実施の形態２に係る超解像処理装置２００について説明する。図６は、実施の形態２に係る超解像処理装置の構成を示すブロック図である。なお、図１と同様の要素には同一の符号を付しており、詳細な説明は省略する。
【０１４０】
図６に示す超解像処理装置２００は、入力画像（Ｄ１１１）に学習データベース１０５を用いた超解像処理を行うことにより、入力画像（Ｄ１１１）より解像度が大きい出力画像（Ｄ１１２）を生成する。
【０１４１】
図６に示す超解像処理装置２００は、実施の形態１に係る超解像処理装置１００に対して、パッチ抽出部２０３とフレーム遅延部２１３と、動き補償部２１４との構成が異なる。なお、入力画像（Ｄ１１１）があらかじめ拡大されている場合や、入力画像（Ｄ１１１）の時点で画像の周波数分布が低周波に偏っている場合などは、入力画像（Ｄ１１１）のサイズを増加させなくとも超解像効果が得られる。そのことから、実施の形態１と同様拡大部１０１を省略してもよい。この場合、拡大画像（Ｄ１１３）は、入力画像（Ｄ１１１）で代えられる。
【０１４２】
フレーム遅延部２１３は、内部に第２のフレームメモリ１２３を有しており、１フレーム分の各ブロック位置の推定高周波パッチ（Ｄ１１７）をフレーム単位で遅延させて、遅延高周波成分（Ｄ２２６）を出力する。
【０１４３】
動き補償部２１４は、動き検出部１１２により検出された動きに基づき、パッチ抽出部１０３により過去の入力画像（Ｄ１１１）に対して抽出された学習特徴量（Ｄ１１５）を特定するための特定情報が過去の入力画像のブロック毎に対応させてマッピングされた過去データをブロック単位で動き補償する。具体的には、動きベクトル（Ｄ１２４）に示される動き量に従って遅延高周波成分（Ｄ２２６）を動き補償し、動き補償高周波成分（Ｄ２２７）を出力する。
【０１４４】
パッチ抽出部２０３は、学習データベース１０５に格納されている複数の学習特徴量（Ｄ１１５）それぞれと、入力特徴量（Ｄ１１４）との類似度を示す評価値をブロック単位で算出し、学習データベース１０５から、算出した評価値の示す入力特徴量（Ｄ１１４）に最も類似する学習特徴量（Ｄ１１５）と対応づけられた学習高周波パッチ（Ｄ１１６）を抽出する。
【０１４５】
ここで、特定情報は、パッチ抽出部２０３により過去の入力画像（Ｄ１１１）に対して抽出された学習高周波パッチ（Ｄ１１６）である。本実施の形態では、パッチ抽出部２０３は、入力画像（Ｄ１１１）のブロックと対応する動き補償部２１４により動き補償された過去データのブロックの学習高周波パッチ（Ｄ１１６）と対応づけられた学習特徴量（Ｄ１１５）と、当該入力画像（Ｄ１１１）のブロックに対応する入力特徴量（Ｄ１１４）との評価値を、当該過去データのブロックの特定情報を用いない場合よりも高い類似度を示す値に修正する。なお、その他については、上述したパッチ抽出部１０３と同様であるため説明を省略する。
【０１４６】
より具体的には、本実施の形態では、具体的には、パッチ抽出部２０３は、入力特徴量（Ｄ１１４）と学習特徴量（Ｄ１１５）との類似度が大きいほど小さくなる評価値を用いて、評価値が最小の学習特徴量（Ｄ１１５）を検索する。パッチ抽出部２０３は、検索して得た学習特徴量（Ｄ１１５）に対応する学習高周波パッチ（Ｄ１１６）を、推定高周波パッチ（Ｄ１１７）として出力する。
【０１４７】
ここで、パッチ抽出部１０３は、上記検索時の評価値を、動き補償高周波成分（Ｄ２２７）と学習高周波パッチ（Ｄ１１６）との類似度が大きいほど、評価値を同じかより小さい値に修正した上で検索を行う。さらに、パッチ抽出部１０３は、動き確度情報（Ｄ１２８）により示される動き検出の確からしさが高いほど、すなわちより確からしいほど、該評価値の修正量を同じかより大きく修正して算出した上で検索を行う。
【０１４８】
これにより、本実施の形態に係る超解像処理装置２００は、拡大画像（Ｄ１１３）に無い高周波成分を付加する際に、前後のフレームの動き補償された高周波成分との類似度を考慮することで、出力画像において時間方向の画像ゆらぎを低減することができる。
【０１４９】
図７は、実施の形態２に係る超解像処理装置の動作例を示す図である。
【０１５０】
以下、図７を用いて、動き補償高周波成分（Ｄ２２７）を得るまでの過程を説明する。
【０１５１】
なお、図７の（ａ）の説明は、図２の（ａ）と同じとなるので、説明を省略する。動きベクトル（Ｄ１２４）の値を（ｄｘ，ｄｙ）として、対象ブロックの左上位置が（ｘ，ｙ）とすると、動き補償位置（左上）は（ｘ＋ｄｘ，ｙ＋ｄｙ）で求められる。
【０１５２】
図７の（ｂ）は、遅延入力画像（Ｄ１２３）と同じ時刻の、パッチ抽出部２０３によって抽出された推定高周波パッチ（Ｄ１１７）が、フレーム遅延部２１３によって第２のフレームメモリ１２３に格納された状態を示している。
【０１５３】
ここで、拡大部１０１による拡大率を水平ｒｘ、垂直ｒｙとすると、遅延入力画像の１フレームの画像サイズに対する、遅延高周波成分の１フレームの画像サイズは、水平ｒｘ、垂直ｒｙ倍で表せる。なお、拡大部１０１が省略されている場合は、ｒｘ＝１、ｒｙ＝１とする。
【０１５４】
したがって、動き補償高周波成分（Ｄ２２７）の左上位置（Ｘ，Ｙ）は、以下のように求められる。
【０１５５】
【数６】
【０１５６】
そして、この位置（Ｘ，Ｙ）の遅延高周波成分（Ｄ２２６）を、動き補償高周波成分（Ｄ２２７）とする。
【０１５７】
つまり、前フレームすなわち遅延入力画像（Ｄ１２３）に対する処理結果を、動き補償して取得する。
【０１５８】
換言すると、まず、動き補償部２１４は、動き検出部１１２により検出された動きに基づき、パッチ抽出部１０３により過去の入力画像（Ｄ１１１）に対して抽出された推定高周波パッチ（Ｄ１１７）が過去の入力画像のブロック毎に対応させてマッピングされた過去データをブロック単位で動き補償して動き補償高周波成分（Ｄ２２７）を生成する。
【０１５９】
次に、パッチ抽出部２０３では、入力特徴量（Ｄ１１４）、動き補償高周波成分（Ｄ２２７）に基づいて、学習データベース１０５中の各学習特徴量（Ｄ１１５）に対する評価値を算出する。そして、パッチ抽出部２０３は、学習データベース１０５から、算出した評価値が示す入力特徴量（Ｄ１１４）に最も類似する学習特徴量（Ｄ１１５）と対応づけられた学習高周波パッチ（Ｄ１１６）を抽出する。このようにして、時間連続性を考慮して学習特徴量（Ｄ１１５）を検索することができるので、時間連続性を考慮した学習高周波パッチ（Ｄ１１６）を抽出することができる。
【０１６０】
以下、パッチ抽出部２０３が、評価値（以下、評価値ｅと記載）を算出する方法について説明する。
【０１６１】
例えば、パッチ抽出部２０３は、評価値ｅを以下のように算出する。
【０１６２】
【数７】
【０１６３】
ここで、入力特徴量をＩｎＦ、学習特徴量をＴｒＦ、動き補償高周波成分をＭＣＴｒＨ、学習高周波パッチ（Ｄ１１６）をＴｒＨ、特徴量の各要素成分同士のＳＡＤ演算（差分絶対値を累算する演算）をｓａｄ（）とし、ｆｕｎｃ３（）は、広義単調増加関数であり、値域は０以下である。
【０１６４】
また、例えば、パッチ抽出部２０３は、評価値ｅを以下のように算出してもよい。
【０１６５】
【数８】
【０１６６】
ここで、ｆｕｎｃ４（）は、広義単調増加関数であり、値域は０以上１以下である。
【０１６７】
また、例えば、パッチ抽出部２０３は、評価値ｅを以下のように算出してもよい。
【０１６８】
【数９】
【０１６９】
ここで、ｍｃ＿ｓａｄは、動き確度情報（Ｄ１２８）の値であり、動き検出の確度が高いほど小さい値を持ち、ｆｕｎｃ５（）およびｆｕｎｃ６（）は、広義単調増加関数である。
【０１７０】
なお、パッチ抽出部２０３は、評価値ｅを算出する際に上記の例以外の算出式を用いてもよい。動き検出の確度が同じ、かつ入力特徴量（Ｄ１１４）と学習特徴量（Ｄ１１６）との類似度が同じである条件下で、学習高周波パッチ（Ｄ１１６）と動き補償高周波成分（Ｄ２２７）の類似度が大きいほど評価値ｅが同じか小さくなるような算出式を用いてもよい。また、入力特徴量（Ｄ１１４）と学習特徴量（Ｄ１１６）との類似度が同じであり、かつ学習高周波パッチ（Ｄ１１６）と動き補償高周波成分（Ｄ２２７）の類似度が同じである条件下で、動き検出の確度が高いほど評価値ｅが同じか小さくなるような算出式を用いてもよい。
【０１７１】
以上のように、動き検出が成功している場合には、学習特徴量（Ｄ１１６）が動き補償高周波成分（Ｄ２２７）に類似するほど評価値ｅがより小さくなる傾向がある。そのため、パッチ抽出部１０３に検索（選択）されやすくなるので、推定高周波パッチ（Ｄ１１６）の時間連続性が高まる。また動き検出が失敗している場合は、評価値ｅの修正量が小さくなるため、時間連続性を考慮せずに、入力特徴量により類似した学習特徴量（Ｄ１１５）が検索される。よって、必要に応じて時間連続性が考慮され、高周波ゆらぎの少ない、安定した高精彩な出力画像を得ることができる。
【０１７２】
＜超解像処理方法＞
図８は、実施の形態１に係る超解像処理装置２００の超解像処理方法を説明するためのフローチャートである。なお、図４で説明したステップと同様のステップについては、説明を省略する。具体的には、Ｓ２０１〜Ｓ２０４と、Ｓ２０８とは、図４のＳ１０１〜Ｓ２０４およびＳ１０８と同様の処理を行うため説明を省略する。
【０１７３】
Ｓ２０５において、動き補償部２１４は、Ｓ１０４で求めた動きベクトル（Ｄ１２４）に示される動き量に従って遅延高周波成分（Ｄ２２６）を動き補償して生成した動き補償高周波成分（Ｄ２２７）を出力する。なお、遅延高周波成分（Ｄ２２６）は、前フレームでのＳ２０７で生成されるため、最初に処理するフレームではまだ生成されておらず、この処理は行わない（Ｓ２０５）。
【０１７４】
次に、パッチ抽出部２０３は、入力特徴量（Ｄ１１４）と学習特徴量（Ｄ１１５）との類似度が大きいほど小さくなる評価値を用いて、評価値が最小の学習特徴量（Ｄ１１５）を検索する。パッチ抽出部２０３は、検索して得た学習特徴量（Ｄ１１５）に対応する学習高周波パッチ（Ｄ１１６）を抽出し、推定高周波パッチ（Ｄ１１７）として出力する（Ｓ２０６）。
【０１７５】
次に、パッチ抽出部２０３は、抽出した推定高周波パッチ（Ｄ１１７）を、フレーム遅延部２１３におけるインデックスメモリ（第２のフレームメモリ１２３）に格納する（Ｓ２０７）。
【０１７６】
ここで、パッチ抽出部１０３は、さらに、動き補償高周波成分（Ｄ２２７）と学習高周波パッチ（Ｄ１１６）との類似度がより高いほど、その評価値を同じかより小さく修正した上で検索を行う。
【０１７７】
＜効果＞
以上のように、学習高周波パッチ（Ｄ１１６）が、前後の時刻のフレームにおける動き補償高周波成分（Ｄ２２７）と類似している場合に評価値をより小さい値にする。それにより、動き補償された位置で選択された学習高周波パッチ（Ｄ１１６）を選択されやすくすることができるので、付加される推定高周波パッチ（Ｄ１１７）の時間連続性を高めることができ、高周波のゆらぎが少ない、高精細な出力画像を生成することができる。
【０１７８】
以上、本実施の形態によれば、入力画像に対して時間方向にゆらぎにくく安定した高周波成分を付加する超解像処理を行うことができるので、時間的に連続する複数の画像フレーム間において、フリッカーの発生を抑制できる超解像処理装置を実現することができる。
【０１７９】
なお、本実施の形態では、学習データベース１０５は、図１２を用いて説明した学習データベース９０５と同様の方法で予め作成されているとして説明が、それに限らない。
【０１８０】
例えば、学習データベース１０５は、実施の形態１と同様、学習画像の高周波成分から得られたデータである学習高周波パッチ（Ｄ１１６）と、その学習画像の少なくとも低周波成分から得られたデータである学習特徴量（Ｄ１１５）とのパッチペアだけでなく、パッチペアである学習特徴量（Ｄ１１５）と学習高周波パッチ（Ｄ１１６）とを回転、転置などの画像変換を行ったパッチペアを複数格納していてもよい。
【０１８１】
すなわち、パッチ抽出部２０３は、学習データベース１０５に格納されている回転、転置などの画像変換が行われたパッチペアのうちから学習高周波パッチ（Ｄ１１６）を選択し推定高周波パッチ（Ｄ１１７）として利用してもよい。その場合、パッチ抽出部２０３における類似度の評価は、動き補償画像と、学習データベース１０５の学習高周波パッチ（Ｄ１１６）を画像変換した学習高周波パッチ（Ｄ１１６）との類似度の評価とすることが望ましい。
【０１８２】
（実施の形態３）
さらに、上記各実施の形態で示した超解像処理方法の構成を実現するためのプログラムを、フレキシブルディスク等の記憶媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。
【０１８３】
図９Ａ〜図９Ｃは、本発明の実施の形態３として、上記実施の形態１または２の超解像処理方法を格納したフレキシブルディスクを用いて、コンピュータシステムにより当該超解像処理方法を実施する場合の説明図である。
【０１８４】
図９Ｂは、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示す。図９Ａは、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。したがって、上記プログラムを格納したフレキシブルディスクＦＤでは、上記フレキシブルディスクＦＤ上に割り当てられた領域に、上記プログラムとしての超解像処理方法が記録されている。
【０１８５】
また、図９Ｃは、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す。上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムとしての超解像処理方法を、フレキシブルディスクドライブＦＤＤを介して書き込む。また、フレキシブルディスクＦＤ内のプログラムにより上記超解像処理方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブＦＤＤによりプログラムをフレキシブルディスクＦＤから読み出し、コンピュータシステムＣｓに転送する。
【０１８６】
なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ハードディスク、ＣＤ−ＲＯＭ、メモリカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施できる。
【０１８７】
（実施の形態４）
本発明の実施の形態４では、超解像処理装置、超解像処理方法、及び超解像処理プログラムを用いたテレビジョン受像機を、図１０を用いて説明する。
【０１８８】
図１０は、実施の形態４におけるテレビジョン受像機のブロック図である。
【０１８９】
テレビジョン受像機８００は、放送受信装置８０１と、入力選択装置８０２と、画像処理装置８０３と、パネル駆動装置８０４と、ディスプレイパネル８０５とを備える。図１０において、説明の都合上、各装置８０１から８０４はテレビジョン受像機８００の外部に配置しているが、実際はテレビジョン受像機８００の内部に配置されている。
【０１９０】
放送受信装置８０１は、外部アンテナ（図示せず）から出力されるアンテナ出力信号（Ｄ８２１）から放送電波を受信し、当該放送電波を復調した映像信号を放送映像信号（Ｄ８２２）として出力する。
【０１９１】
入力選択装置８０２は、ＤＶＤ或いはＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）レコーダ、又はＤＶＤ或いはＢＤプレイヤなどの外部映像機器から出力された外部映像信号（Ｄ８２０）と、放送映像信号（Ｄ８２２）とのうち、ユーザーによる選択に従っていずれか一方を選択する。そして、入力選択装置８０２は、選択した映像信号を入力映像信号（Ｄ８２３）として出力する。
【０１９２】
画像処理装置８０３は、入力映像信号（Ｄ８２３）がインターレース信号の場合は、当該入力映像信号（Ｄ８２３）をプログレッシブ信号に変換するＩ／Ｐ変換を施したり、入力映像信号（Ｄ８２３）に対してコントラストを改善する画質改善処理を施したりする。また、画像処理装置８０３は、本発明の実施の形態１に係る超解像処理装置１００を備え、上述した超解像処理方法、又は、超解像処理プログラムを用いた超解像処理を入力映像信号（Ｄ８２３）に施す。そして、画像処理装置８０３は、その結果を画質改善映像信号（Ｄ８２４）として出力する。なお、画像処理装置８０３は、実施の形態２に係る超解像処理装置を備えてもよい。
【０１９３】
パネル駆動装置８０４は、画質改善映像信号（Ｄ８２４）を、ディスプレイパネル８０５を駆動するための専用信号に変換し、変換後の信号をパネル駆動用映像信号（Ｄ８２５）として出力する。
【０１９４】
ディスプレイパネル８０５は、パネル駆動用映像信号（Ｄ８２５）に従って電気信号を光信号に変換し、変換した光信号により所望の映像を表示する。
【０１９５】
このように、上記実施の形態の超解像処理装置、超解像処理方法、及び超解像処理プログラムをテレビジョン受像機８００に用いることが可能である。そして、当該テレビジョン受像機８００は、上記実施の形態で説明した効果を得ることができる。なお、上記実施の形態の超解像処理装置、超解像処理方法、及び超解像処理プログラムは、テレビジョン受像機に限らず、同様にして、レコーダ機器、プレイヤ機器及び携帯機器などの様々なデジタル映像機器に用いることが可能であり、いずれの場合も上記実施の形態で説明した効果を得ることができる。ここで、レコーダ機器とは、ＤＶＤレコーダ、ＢＤレコーダ、及びハードディスクレコーダ等である。プレイヤ機器とは、例えば、ＤＶＤプレイヤ、及びＢＤプレイヤ等である。携帯機器とは、携帯電話、及びＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）等である。
【０１９６】
（その他変形例）
なお、本発明を上記実施の形態に基づいて説明してきたが、本発明は、上記の実施の形態に限定されないのはもちろんである。以下のような場合も本発明に含まれる。
【０１９７】
（１）上記の各装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、及びマウスなどから構成されるコンピュータシステムである。前記ＲＡＭ又はハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
【０１９８】
（２）上記の各装置を構成する構成要素の一部又は全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、及びＲＡＭなどを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。
【０１９９】
（３）上記の各装置を構成する構成要素の一部又は全部は、各装置に脱着可能なＩＣカード又は単体のモジュールから構成されているとしてもよい。前記ＩＣカード又は前記モジュールは、マイクロプロセッサ、ＲＯＭ、及びＲＡＭなどから構成されるコンピュータシステムである。前記ＩＣカード又は前記モジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ＩＣカード又は前記モジュールは、その機能を達成する。このＩＣカード又はこのモジュールは、耐タンパ性を有するとしてもよい。
【０２００】
（４）本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。
【０２０１】
また、本発明は、前記コンピュータプログラム、又は、前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ（Ｍａｇｎｅｔｏ Ｏｐｔｉｃａｌ Ｄｉｓｃ）、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ、又は半導体メモリなどに記録したものとしてもよい。また、本発明は、これらの記録媒体に記録されている前記デジタル信号であるとしてもよい。
【０２０２】
また、本発明は、前記コンピュータプログラム又は前記デジタル信号を、電気通信回線、無線或いは有線通信回線、インターネットを代表とするネットワーク、又はデータ放送等を経由して伝送するものとしてもよい。
【０２０３】
また、本発明は、マイクロプロセッサとメモリとを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムに従って動作するとしてもよい。
【０２０４】
また、前記プログラム、或いは、前記デジタル信号を前記記録媒体に記録して移送することにより、又は、前記プログラム、或いは前記デジタル信号を、前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
【０２０５】
（５）上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。
【産業上の利用可能性】
【０２０６】
本発明は超解像処理装置に適用できる。また、本発明は、テレビジョン受像機、ＤＶＤレコーダ、ＢＤレコーダ、ハードディスクレコーダ、ＤＶＤプレイヤ、及びＢＤプレイヤ等のデジタル映像機器に有用である。また、本発明は、超解像処理方法、及び超解像処理プログラムに有用である。
【符号の説明】
【０２０７】
１００、２００、９００ 超解像処理装置
１０１、９０１ 拡大部
１０２、９０２ 徴量抽出部
１０３、２０３、９０３ パッチ抽出部
１０４、９０４ 加算部
１０５、９０５ 学習データベース
１１１、１１３、２１３ フレーム遅延部
１１２ 動き検出部
１１４、２１４ 動き補償部
１２１、１２３ フレームメモリ
９５０ 学習データベース生成装置
９５１ ローパスフィルタ部
９５２ 縮小部
９５３ 拡大部
９５４、９５５ ハイパスフィルタ部
【特許請求の範囲】
【請求項１】
入力画像に学習データベースを用いた超解像処理を行うことにより、前記入力画像より高い解像度を有する出力画像を生成する超解像処理装置であって、
前記学習データベースには、学習画像の高周波成分から得られたデータである学習高周波パッチと、前記学習画像の少なくとも低周波成分から得られたデータである学習特徴量とが対応づけられたパッチペアが複数格納されており、
前記入力画像から特徴量をブロック単位で抽出する特徴量抽出部と、
前記学習データベースに格納されている複数の学習特徴量それぞれと、前記特徴量との類似度を示す評価値をブロック単位で算出し、前記学習データベースから、算出した前記評価値の示す前記特徴量に最も類似する学習特徴量と対応づけられた学習高周波パッチを抽出するパッチ抽出部と、
前記入力画像と前記入力画像より時間的に前の入力画像である過去入力画像との間の動きをブロック単位で検出する動き検出部と、
前記動き検出部により検出された動きに基づき、前記パッチ抽出部により前記過去入力画像に対して抽出された学習特徴量を特定するための特定情報が前記過去入力画像のブロック毎に対応させてマッピングされた過去データをブロック単位で動き補償する動き補償部と、
前記入力画像と前記パッチ抽出部により抽出された学習高周波パッチとをブロック単位で加算することにより、前記出力画像を生成する加算部とを備え、
前記パッチ抽出部は、前記入力画像のブロックと対応する前記動き補償部により動き補償された過去データのブロックの特定情報に基づき特定される学習特徴量と、当該入力画像のブロックに対応する前記特徴量との評価値を、当該過去データのブロックの特定情報を用いない場合よりも高い類似度を示す値に修正して算出する、
超解像処理装置。
【請求項２】
前記特定情報は、前記パッチ抽出部により前記過去入力画像に対して抽出された学習高周波パッチと当該学習高周波パッチに対応づけられた学習特徴量とを特定するデータベースインデックスであり、
前記パッチ抽出部は、前記入力画像のブロックと対応する前記動き補償部により動き補償された過去データのブロックのデータベースインデックスにより特定される学習特徴量と、当該入力画像のブロックに対応する前記特徴量との評価値を、当該過去データのブロックの特定情報を用いない場合よりも高い類似度を示す値に修正する、
請求項１に記載の超解像処理装置。
【請求項３】
前記特定情報は、前記パッチ抽出部により前記過去入力画像に対して抽出された学習高周波パッチであり、
前記パッチ抽出部は、前記入力画像のブロックと対応する前記動き補償部により動き補償された過去データのブロックの学習高周波パッチと対応づけられた学習特徴量と、当該入力画像のブロックに対応する前記特徴量との評価値を、当該過去データのブロックの特定情報を用いない場合よりも高い類似度を示す値に修正する、
請求項１に記載の超解像処理装置。
【請求項４】
前記評価値は、前記類似度が高いほど小さい値を示し、
前記パッチ抽出部は、
前記入力画像のブロックと対応する前記動き補償部により動き補償された過去データのブロックの特定情報に基づき特定される学習特徴量と、当該入力画像のブロックに対応する前記特徴量との評価値を、当該過去データのブロックの特定情報を用いない場合よりもｃ１（ｃ１＞０）だけ減ずる値に修正する、
請求項１〜３のいずれか１項に記載の超解像処理装置。
【請求項５】
前記評価値は、前記類似度が高いほど小さい値を示し、
前記パッチ抽出部は、
前記入力画像のブロックと対応する前記動き補償部により動き補償された過去データのブロックの特定情報に基づき特定される学習特徴量と、当該入力画像のブロックに対応する前記特徴量との評価値を、当該過去データのブロックの特定情報を用いない場合の評価値にｃ２（０＜ｃ１＜１）を乗ずる値に修正する、
請求項１〜３のいずれかに１項に記載の超解像処理装置。
【請求項６】
前記動き検出部は、さらに、前記動きの検出の確からしさを示す動き確度情報を算出し、
前記パッチ抽出部、さらに、
前記動き確度情報に基づいて、前記動きの検出が確からしいと判断する場合に、前記入力画像のブロックと対応する前記動き補償部により動き補償された過去データのブロックの特定情報に基づき特定される学習特徴量と、当該入力画像のブロックに対応する前記特徴量との評価値に対する修正量を大きくする、
請求項１〜５のいずれか１項に記載の超解像処理装置。
【請求項７】
前記動き検出部は、さらに、前記動きの検出の確からしさを示す動き確度情報を算出し、
前記パッチ抽出部は、
前記動き確度情報に基づいて、前記動きの検出が確からしいと判断する場合にのみ、前記入力画像のブロックと対応する前記動き補償部により動き補償された過去データのブロックの特定情報に基づき特定される学習特徴量と、当該入力画像のブロックに対応する前記特徴量との評価値を、当該過去データのブロックの特定情報を用いない場合よりも高い類似度を示す値に修正する、
請求項１〜５のいずれか１項に記載の超解像処理装置。
【請求項８】
前記動き確度情報は、
前記動き補償部により動き補償された過去データのブロックと、対応する前記入力画像のブロックとの類似度が高いほど、前記動きの検出がより確からしい旨を示す、
請求項７に記載の超解像処理装置。
【請求項９】
前記動き確度情報は、
前記動き補償部により動き補償された過去データのブロックと、対応する前記入力画像における対象ブロックとの間における各画素同士の差分絶対値和を含む、
請求項７に記載の超解像処理装置。
【請求項１０】
前記動き確度情報は、前記差分絶対値和の値が小さいほど、前記動き補償部により動き補償された過去データのブロックと、対応する前記入力画像のブロックとの類似度が高い、
請求項９に記載の超解像処理装置。
【請求項１１】
さらに、前記入力画像を所望の画像サイズに拡大して出力する拡大部を備え、
前記特徴量抽出部は、前記拡大部により拡大された前記入力画像から特徴量を抽出し、
前記加算部は、前記拡大部により拡大された前記入力画像と前記パッチ抽出部により抽出された学習高周波パッチとをブロック単位で加算することにより、前記出力画像を生成する、
請求項１〜１０のいずれか１項に記載の超解像処理装置。
【請求項１２】
前記学習データベースには、類似した学習高周波パッチ同士が同じクラスに属するように分類されており、
前記パッチ抽出部は、前記入力画像のブロックと対応する前記動き補償部により動き補償された過去データのブロックのデータベースインデックスにより特定される学習特徴量と対応付けられた学習高周波パッチと同じクラスに属する学習高周波パッチにおける学習特徴量と、当該入力画像のブロックに対応する前記特徴量との評価値を、当該過去データのブロックの特定情報を用いない場合よりも高い類似度を示す値に修正する、
請求項２に記載の超解像処理装置。
【請求項１３】
入力画像に学習データベースを用いた超解像処理を行うことにより、前記入力画像より高い解像度を有する出力画像を生成する超解像処理方法であって、
前記学習データベースには、学習画像の高周波成分から得られたデータである学習高周波パッチと、前記学習画像の少なくとも低周波成分から得られたデータである学習特徴量とが対応づけられたパッチペアが複数格納されており、
前記入力画像から特徴量をブロック単位で抽出する特徴量抽出ステップと、
前記学習データベースに格納されている複数の学習特徴量それぞれと、前記特徴量との類似度を示す評価値をブロック単位で算出し、前記学習データベースから、算出した前記評価値の示す前記特徴量に最も類似する学習特徴量と対応づけられた学習高周波パッチを抽出するパッチ抽出ステップと、
前記入力画像と前記入力画像より時間的に前の入力画像である過去入力画像との間の動きをブロック単位で検出する動き検出ステップと、
前記動き検出ステップにおいて検出された動きに基づき、前記パッチ抽出ステップにおいて前記過去入力画像に対して抽出された学習特徴量を特定するための特定情報が前記過去入力画像のブロック毎に対応されてマッピングされた過去データをブロック単位で動き補償する動き補償ステップと、
前記入力画像と前記パッチ抽出ステップにおいて抽出された学習高周波パッチとをブロック単位で加算することにより、前記出力画像を生成する加算ステップとを含み、
前記パッチ抽出ステップでは、前記入力画像のブロックと対応する前記動き補償ステップにおいて動き補償された過去データのブロックの特定情報に基づき特定される学習特徴量と、当該入力画像のブロックに対応する前記特徴量との評価値を、当該過去データのブロックの特定情報を用いない場合よりも高い類似度を示す値に修正して算出する、
超解像処理方法。
【請求項１４】
入力画像に学習データベースを用いた超解像処理を行うことにより、前記入力画像より高い解像度を有する出力画像を生成するためのプログラムを記録した非一時的なコンピュータ読み取り可能な記録媒体であって、
前記学習データベースには、学習画像の高周波成分から得られたデータである学習高周波パッチと、前記学習画像の少なくとも低周波成分から得られたデータである学習特徴量とが対応づけられたパッチペアが複数格納されており、
前記入力画像から特徴量をブロック単位で抽出する特徴量抽出ステップと、
前記学習データベースに格納されている複数の学習特徴量それぞれと、前記特徴量との類似度を示す評価値をブロック単位で算出し、前記学習データベースから、算出した前記評価値の示す前記特徴量に最も類似する学習特徴量と対応づけられた学習高周波パッチを抽出するパッチ抽出ステップと、
前記入力画像と前記入力画像より時間的に前の入力画像である過去入力画像との間の動きをブロック単位で検出する動き検出ステップと、
前記動き検出ステップにおいて検出された動きに基づき、前記パッチ抽出ステップにおいて前記過去入力画像に対して抽出された学習特徴量を特定するための特定情報が前記過去入力画像のブロック毎に対応されてマッピングされた過去データをブロック単位で動き補償する動き補償ステップと、
前記入力画像と前記パッチ抽出ステップにおいて抽出された学習高周波パッチとをブロック単位で加算することにより、前記出力画像を生成する加算ステップとを含み、
前記パッチ抽出ステップでは、前記入力画像のブロックと対応する前記動き補償ステップにおいて動き補償された過去データのブロックの特定情報に基づき特定される学習特徴量と、当該入力画像のブロックに対応する前記特徴量との評価値を、当該過去データのブロックの特定情報を用いない場合よりも高い類似度を示す値に修正して算出する、
ことをコンピュータに実行させるプログラムを記録した非一時的なコンピュータ読み取り可能な記録媒体。
【請求項１５】
入力画像に学習データベースを用いた超解像処理を行うことにより、前記入力画像より高い解像度を有する出力画像を生成する集積回路であって、
前記学習データベースには、学習画像の高周波成分から得られたデータである学習高周波パッチと、前記学習画像の少なくとも低周波成分から得られたデータである学習特徴量とが対応づけられたパッチペアが複数格納されており、
前記入力画像から特徴量をブロック単位で抽出する特徴量抽出部と、
前記学習データベースに格納されている複数の学習特徴量それぞれと、前記特徴量との類似度を示す評価値をブロック単位で算出し、前記学習データベースから、算出した前記評価値の示す前記特徴量に最も類似する学習特徴量と対応づけられた学習高周波パッチを抽出するパッチ抽出部と、
前記入力画像と前記入力画像より時間的に前の入力画像である過去入力画像との間の動きをブロック単位で検出する動き検出部と、
前記動き検出部により検出された動きに基づき、前記パッチ抽出部により前記過去入力画像に対して抽出された学習特徴量を特定するための特定情報が前記過去入力画像のブロック毎に対応されてマッピングされた過去データをブロック単位で動き補償する動き補償部と、
前記入力画像と前記パッチ抽出部により抽出された学習高周波パッチとをブロック単位で加算することにより、前記出力画像を生成する加算部とを備え、
前記パッチ抽出部は、前記入力画像のブロックと対応する前記動き補償部により動き補償された過去データのブロックの特定情報に基づき特定される学習特徴量と、当該入力画像のブロックに対応する前記特徴量との評価値を、当該過去データのブロックの特定情報を用いない場合よりも高い類似度を示す値に修正して算出する、
集積回路。
【請求項１】
入力画像に学習データベースを用いた超解像処理を行うことにより、前記入力画像より高い解像度を有する出力画像を生成する超解像処理装置であって、
前記学習データベースには、学習画像の高周波成分から得られたデータである学習高周波パッチと、前記学習画像の少なくとも低周波成分から得られたデータである学習特徴量とが対応づけられたパッチペアが複数格納されており、
前記入力画像から特徴量をブロック単位で抽出する特徴量抽出部と、
前記学習データベースに格納されている複数の学習特徴量それぞれと、前記特徴量との類似度を示す評価値をブロック単位で算出し、前記学習データベースから、算出した前記評価値の示す前記特徴量に最も類似する学習特徴量と対応づけられた学習高周波パッチを抽出するパッチ抽出部と、
前記入力画像と前記入力画像より時間的に前の入力画像である過去入力画像との間の動きをブロック単位で検出する動き検出部と、
前記動き検出部により検出された動きに基づき、前記パッチ抽出部により前記過去入力画像に対して抽出された学習特徴量を特定するための特定情報が前記過去入力画像のブロック毎に対応させてマッピングされた過去データをブロック単位で動き補償する動き補償部と、
前記入力画像と前記パッチ抽出部により抽出された学習高周波パッチとをブロック単位で加算することにより、前記出力画像を生成する加算部とを備え、
前記パッチ抽出部は、前記入力画像のブロックと対応する前記動き補償部により動き補償された過去データのブロックの特定情報に基づき特定される学習特徴量と、当該入力画像のブロックに対応する前記特徴量との評価値を、当該過去データのブロックの特定情報を用いない場合よりも高い類似度を示す値に修正して算出する、
超解像処理装置。
【請求項２】
前記特定情報は、前記パッチ抽出部により前記過去入力画像に対して抽出された学習高周波パッチと当該学習高周波パッチに対応づけられた学習特徴量とを特定するデータベースインデックスであり、
前記パッチ抽出部は、前記入力画像のブロックと対応する前記動き補償部により動き補償された過去データのブロックのデータベースインデックスにより特定される学習特徴量と、当該入力画像のブロックに対応する前記特徴量との評価値を、当該過去データのブロックの特定情報を用いない場合よりも高い類似度を示す値に修正する、
請求項１に記載の超解像処理装置。
【請求項３】
前記特定情報は、前記パッチ抽出部により前記過去入力画像に対して抽出された学習高周波パッチであり、
前記パッチ抽出部は、前記入力画像のブロックと対応する前記動き補償部により動き補償された過去データのブロックの学習高周波パッチと対応づけられた学習特徴量と、当該入力画像のブロックに対応する前記特徴量との評価値を、当該過去データのブロックの特定情報を用いない場合よりも高い類似度を示す値に修正する、
請求項１に記載の超解像処理装置。
【請求項４】
前記評価値は、前記類似度が高いほど小さい値を示し、
前記パッチ抽出部は、
前記入力画像のブロックと対応する前記動き補償部により動き補償された過去データのブロックの特定情報に基づき特定される学習特徴量と、当該入力画像のブロックに対応する前記特徴量との評価値を、当該過去データのブロックの特定情報を用いない場合よりもｃ１（ｃ１＞０）だけ減ずる値に修正する、
請求項１〜３のいずれか１項に記載の超解像処理装置。
【請求項５】
前記評価値は、前記類似度が高いほど小さい値を示し、
前記パッチ抽出部は、
前記入力画像のブロックと対応する前記動き補償部により動き補償された過去データのブロックの特定情報に基づき特定される学習特徴量と、当該入力画像のブロックに対応する前記特徴量との評価値を、当該過去データのブロックの特定情報を用いない場合の評価値にｃ２（０＜ｃ１＜１）を乗ずる値に修正する、
請求項１〜３のいずれかに１項に記載の超解像処理装置。
【請求項６】
前記動き検出部は、さらに、前記動きの検出の確からしさを示す動き確度情報を算出し、
前記パッチ抽出部、さらに、
前記動き確度情報に基づいて、前記動きの検出が確からしいと判断する場合に、前記入力画像のブロックと対応する前記動き補償部により動き補償された過去データのブロックの特定情報に基づき特定される学習特徴量と、当該入力画像のブロックに対応する前記特徴量との評価値に対する修正量を大きくする、
請求項１〜５のいずれか１項に記載の超解像処理装置。
【請求項７】
前記動き検出部は、さらに、前記動きの検出の確からしさを示す動き確度情報を算出し、
前記パッチ抽出部は、
前記動き確度情報に基づいて、前記動きの検出が確からしいと判断する場合にのみ、前記入力画像のブロックと対応する前記動き補償部により動き補償された過去データのブロックの特定情報に基づき特定される学習特徴量と、当該入力画像のブロックに対応する前記特徴量との評価値を、当該過去データのブロックの特定情報を用いない場合よりも高い類似度を示す値に修正する、
請求項１〜５のいずれか１項に記載の超解像処理装置。
【請求項８】
前記動き確度情報は、
前記動き補償部により動き補償された過去データのブロックと、対応する前記入力画像のブロックとの類似度が高いほど、前記動きの検出がより確からしい旨を示す、
請求項７に記載の超解像処理装置。
【請求項９】
前記動き確度情報は、
前記動き補償部により動き補償された過去データのブロックと、対応する前記入力画像における対象ブロックとの間における各画素同士の差分絶対値和を含む、
請求項７に記載の超解像処理装置。
【請求項１０】
前記動き確度情報は、前記差分絶対値和の値が小さいほど、前記動き補償部により動き補償された過去データのブロックと、対応する前記入力画像のブロックとの類似度が高い、
請求項９に記載の超解像処理装置。
【請求項１１】
さらに、前記入力画像を所望の画像サイズに拡大して出力する拡大部を備え、
前記特徴量抽出部は、前記拡大部により拡大された前記入力画像から特徴量を抽出し、
前記加算部は、前記拡大部により拡大された前記入力画像と前記パッチ抽出部により抽出された学習高周波パッチとをブロック単位で加算することにより、前記出力画像を生成する、
請求項１〜１０のいずれか１項に記載の超解像処理装置。
【請求項１２】
前記学習データベースには、類似した学習高周波パッチ同士が同じクラスに属するように分類されており、
前記パッチ抽出部は、前記入力画像のブロックと対応する前記動き補償部により動き補償された過去データのブロックのデータベースインデックスにより特定される学習特徴量と対応付けられた学習高周波パッチと同じクラスに属する学習高周波パッチにおける学習特徴量と、当該入力画像のブロックに対応する前記特徴量との評価値を、当該過去データのブロックの特定情報を用いない場合よりも高い類似度を示す値に修正する、
請求項２に記載の超解像処理装置。
【請求項１３】
入力画像に学習データベースを用いた超解像処理を行うことにより、前記入力画像より高い解像度を有する出力画像を生成する超解像処理方法であって、
前記学習データベースには、学習画像の高周波成分から得られたデータである学習高周波パッチと、前記学習画像の少なくとも低周波成分から得られたデータである学習特徴量とが対応づけられたパッチペアが複数格納されており、
前記入力画像から特徴量をブロック単位で抽出する特徴量抽出ステップと、
前記学習データベースに格納されている複数の学習特徴量それぞれと、前記特徴量との類似度を示す評価値をブロック単位で算出し、前記学習データベースから、算出した前記評価値の示す前記特徴量に最も類似する学習特徴量と対応づけられた学習高周波パッチを抽出するパッチ抽出ステップと、
前記入力画像と前記入力画像より時間的に前の入力画像である過去入力画像との間の動きをブロック単位で検出する動き検出ステップと、
前記動き検出ステップにおいて検出された動きに基づき、前記パッチ抽出ステップにおいて前記過去入力画像に対して抽出された学習特徴量を特定するための特定情報が前記過去入力画像のブロック毎に対応されてマッピングされた過去データをブロック単位で動き補償する動き補償ステップと、
前記入力画像と前記パッチ抽出ステップにおいて抽出された学習高周波パッチとをブロック単位で加算することにより、前記出力画像を生成する加算ステップとを含み、
前記パッチ抽出ステップでは、前記入力画像のブロックと対応する前記動き補償ステップにおいて動き補償された過去データのブロックの特定情報に基づき特定される学習特徴量と、当該入力画像のブロックに対応する前記特徴量との評価値を、当該過去データのブロックの特定情報を用いない場合よりも高い類似度を示す値に修正して算出する、
超解像処理方法。
【請求項１４】
入力画像に学習データベースを用いた超解像処理を行うことにより、前記入力画像より高い解像度を有する出力画像を生成するためのプログラムを記録した非一時的なコンピュータ読み取り可能な記録媒体であって、
前記学習データベースには、学習画像の高周波成分から得られたデータである学習高周波パッチと、前記学習画像の少なくとも低周波成分から得られたデータである学習特徴量とが対応づけられたパッチペアが複数格納されており、
前記入力画像から特徴量をブロック単位で抽出する特徴量抽出ステップと、
前記学習データベースに格納されている複数の学習特徴量それぞれと、前記特徴量との類似度を示す評価値をブロック単位で算出し、前記学習データベースから、算出した前記評価値の示す前記特徴量に最も類似する学習特徴量と対応づけられた学習高周波パッチを抽出するパッチ抽出ステップと、
前記入力画像と前記入力画像より時間的に前の入力画像である過去入力画像との間の動きをブロック単位で検出する動き検出ステップと、
前記動き検出ステップにおいて検出された動きに基づき、前記パッチ抽出ステップにおいて前記過去入力画像に対して抽出された学習特徴量を特定するための特定情報が前記過去入力画像のブロック毎に対応されてマッピングされた過去データをブロック単位で動き補償する動き補償ステップと、
前記入力画像と前記パッチ抽出ステップにおいて抽出された学習高周波パッチとをブロック単位で加算することにより、前記出力画像を生成する加算ステップとを含み、
前記パッチ抽出ステップでは、前記入力画像のブロックと対応する前記動き補償ステップにおいて動き補償された過去データのブロックの特定情報に基づき特定される学習特徴量と、当該入力画像のブロックに対応する前記特徴量との評価値を、当該過去データのブロックの特定情報を用いない場合よりも高い類似度を示す値に修正して算出する、
ことをコンピュータに実行させるプログラムを記録した非一時的なコンピュータ読み取り可能な記録媒体。
【請求項１５】
入力画像に学習データベースを用いた超解像処理を行うことにより、前記入力画像より高い解像度を有する出力画像を生成する集積回路であって、
前記学習データベースには、学習画像の高周波成分から得られたデータである学習高周波パッチと、前記学習画像の少なくとも低周波成分から得られたデータである学習特徴量とが対応づけられたパッチペアが複数格納されており、
前記入力画像から特徴量をブロック単位で抽出する特徴量抽出部と、
前記学習データベースに格納されている複数の学習特徴量それぞれと、前記特徴量との類似度を示す評価値をブロック単位で算出し、前記学習データベースから、算出した前記評価値の示す前記特徴量に最も類似する学習特徴量と対応づけられた学習高周波パッチを抽出するパッチ抽出部と、
前記入力画像と前記入力画像より時間的に前の入力画像である過去入力画像との間の動きをブロック単位で検出する動き検出部と、
前記動き検出部により検出された動きに基づき、前記パッチ抽出部により前記過去入力画像に対して抽出された学習特徴量を特定するための特定情報が前記過去入力画像のブロック毎に対応されてマッピングされた過去データをブロック単位で動き補償する動き補償部と、
前記入力画像と前記パッチ抽出部により抽出された学習高周波パッチとをブロック単位で加算することにより、前記出力画像を生成する加算部とを備え、
前記パッチ抽出部は、前記入力画像のブロックと対応する前記動き補償部により動き補償された過去データのブロックの特定情報に基づき特定される学習特徴量と、当該入力画像のブロックに対応する前記特徴量との評価値を、当該過去データのブロックの特定情報を用いない場合よりも高い類似度を示す値に修正して算出する、
集積回路。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９Ａ】
【図９Ｂ】
【図９Ｃ】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９Ａ】
【図９Ｂ】
【図９Ｃ】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１３−３１１６３（Ｐ２０１３−３１１６３Ａ）
【公開日】平成２５年２月７日（２０１３．２．７）
【国際特許分類】
【出願番号】特願２０１２−１３９１１１（Ｐ２０１２−１３９１１１）
【出願日】平成２４年６月２０日（２０１２．６．２０）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＢＬＵ−ＲＡＹ ＤＩＳＣ
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２５年２月７日（２０１３．２．７）
【国際特許分類】
【出願日】平成２４年６月２０日（２０１２．６．２０）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＢＬＵ−ＲＡＹ ＤＩＳＣ
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]