画像処理方法、画像処理装置、集積回路およびプログラム
【課題】入力画像を適切に高解像度化することができる画像処理方法を提供する。
【解決手段】画像処理方法は、入力画像に含まれるエッジに沿った方向であるエッジ方向を特定する方向特定ステップＳ１００２と、そのエッジの少なくとも一部を含む領域である使用領域の形状を、特定されたエッジ方向に応じて決定する領域決定ステップＳ１００３と、決定された形状の使用領域内の画像に類似する類似画像を検索する画像検索ステップＳ１００５と、入力画像に高周波成分が含まれるように、その入力画像に対して類似画像を用いた解像度変換処理を行うことによって、出力画像を生成する画像生成ステップＳ１００５〜Ｓ１００７とを含む。
【解決手段】画像処理方法は、入力画像に含まれるエッジに沿った方向であるエッジ方向を特定する方向特定ステップＳ１００２と、そのエッジの少なくとも一部を含む領域である使用領域の形状を、特定されたエッジ方向に応じて決定する領域決定ステップＳ１００３と、決定された形状の使用領域内の画像に類似する類似画像を検索する画像検索ステップＳ１００５と、入力画像に高周波成分が含まれるように、その入力画像に対して類似画像を用いた解像度変換処理を行うことによって、出力画像を生成する画像生成ステップＳ１００５〜Ｓ１００７とを含む。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、入力画像を用いて、該入力画像より解像度が高い出力画像を生成する画像処理方法、画像処理装置、集積回路およびプログラムに関するものである。
【背景技術】
【０００２】
高解像度ディスプレイにおいて、表示対象の画像の解像度が不足している場合には、ディスプレイの解像度に合うように、表示対象の画像を拡大する必要がある。
【０００３】
画像の高解像度化手法は古くから提案されてきたが、実用化のためには処理量の制限があり、単純な補間拡大と強調処理の組合せにより対応してきた。そのため、ボケたり、エッジのジャギが目立つといった画質劣化が生じる問題があった。
【０００４】
近年、ハードウェアの高性能化により画像拡大に多くの処理量を割くことが可能となった。そこで、複雑な処理による高品位な解像度変換が可能な「超解像技術」に注目が集まっている。
【０００５】
超解像技術を用いた画像処理方法の中で、高解像度画像と低解像度画像の対応関係の事例を学習したデータベースを用いる方式は学習方式と呼ばれる（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００３−０１８３９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記特許文献１の画像処理方法では、入力画像を適切に高解像度化することができないという問題がある。
【０００８】
そこで、本発明の目的は、かかる問題に鑑みてなされたものであって、入力画像を適切に高解像度化する画像処理方法を提供することにある。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明の一態様に係る画像処理方法は、入力画像を用いて、前記入力画像より解像度が高い出力画像を生成する画像処理方法であって、前記入力画像に含まれるエッジに沿った方向であるエッジ方向を特定する方向特定ステップと、前記エッジの少なくとも一部を含む領域である使用領域の形状を、特定された前記エッジ方向に応じて決定する領域決定ステップと、決定された形状の前記使用領域内の画像に類似する類似画像を検索する画像検索ステップと、前記入力画像に高周波成分が含まれるように、前記入力画像に対して前記類似画像を用いた解像度変換処理を行うことによって、前記出力画像を生成する画像生成ステップとを含む。
【００１０】
なお、これらの全般的または具体的な態様は、システム、装置、集積回路、またはコンピュータプログラムまたは記録媒体で実現されてもよく、システム、装置、集積回路、およびコンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
【発明の効果】
【００１１】
本発明の画像処理方法では、入力画像を適切に高解像度化することができる。
【図面の簡単な説明】
【００１２】
【図１】図１は、学習方式の画像処理装置の構成を示すブロック図である。
【図２】図２は、学習方式の画像処理装置によって行われる画像処理のフローチャートである。
【図３】図３は、本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。
【図４】図４は、本発明の実施の形態１に係る学習データベースに格納されているデータを示す図である。
【図５】図５は、本発明の実施の形態１に係る学習画像生成装置の構成を示すブロック図である。
【図６】図６は、本発明の実施の形態１に係る画像処理装置によって行われる画像処理のフローチャートである。
【図７】図７は、本発明の実施の形態１に係る画像処理方法を説明するための説明図である。
【図８】図８は、本発明の実施の形態１に係る、複数のブロックから構成される仮拡大画像を示す図である。
【図９Ａ】図９Ａは、本発明の実施の形態１に係る水平方向Ｓｏｂｅｌフィルタを示す図である。
【図９Ｂ】図９Ｂは、本発明の実施の形態１に係る垂直方向Ｓｏｂｅｌフィルタを示す図である。
【図１０Ａ】図１０Ａは、本発明の実施の形態１に係る、垂直方向エッジの場合の使用領域を示す図である。
【図１０Ｂ】図１０Ｂは、本発明の実施の形態１に係る、水平方向エッジの場合の使用領域を示す図である。
【図１１】図１１は、本発明の実施の形態１に係る学習データ検索部による処理を説明するための説明図である。
【図１２】図１２は、本発明の実施の形態２に係る画像処理装置の構成を示すブロック図である。
【図１３】図１３は、本発明の実施の形態２に係る画像処理装置によって行われる画像処理のフローチャートである。
【図１４】図１４は、本発明の実施の形態２に係る位置合わせ処理を説明するための図である。
【図１５Ａ】図１５Ａは、本発明の実施の形態３に係るフレキシブルディスク本体の物理フォーマットの例を示す図である。
【図１５Ｂ】図１５Ｂは、本発明の実施の形態３に係るフレキシブルディスクの正面の外観、その断面構造、およびフレキシブルディスク本体の正面の外観を示す図である。
【図１５Ｃ】図１５Ｃは、本発明の実施の形態３に係るフレキシブルディスク本体にプログラムを記録してそのプログラムを再生するための構成を示す図である。
【図１６】図１６は、本発明の実施の形態４に係るテレビジョン受像機の構成を示す図である。
【図１７】図１７は、本発明の他の態様に係る画像処理装置の機能構成を示すブロック図である。
【発明を実施するための形態】
【００１３】
（本発明の基礎となった知見）
本発明者は、上記特許文献１の画像処理方法に関して、学習方式の画像処理装置の一例をあげ、その一例に対して問題が生じることを見出した。
【００１４】
図１は、一例としてあげられる上記学習方式の画像処理装置の構成を示すブロック図である。
【００１５】
図１に示すように、画像処理装置６００は、学習データベース６１０と、画像拡大部６０５と、探索ベクトル生成部６２０と、学習データ検索部６３０と、加算部６８０とを備える。
【００１６】
画像処理装置６００は、インデックスベクトルと該インデックスベクトルに対応する高周波成分データ６３１とが対応づけて格納された学習データベース６１０を用いて、低解像度の入力画像６０１を高解像度の出力画像６０２に変換する。インデックスベクトルは、低周波成分の画像である。
【００１７】
学習データベース６１０には、複数のインデックスベクトルと、当該複数のインデックスベクトルにそれぞれ対応する複数の高周波成分データ６３１とが格納されている。インデックスベクトルおよび高周波成分データ６３１は、ブロック形状の画像である。
【００１８】
図２は、画像処理装置６００によって行われる画像処理のフローチャートである。
【００１９】
ステップＳ４００１では、画像拡大部６０５が、入力画像６０１を拡大して仮拡大画像６０６を生成する。
【００２０】
以下の処理は、拡大された入力画像６０１である仮拡大画像６０６内の処理対象ブロック毎に行われる。
【００２１】
ステップＳ４００２では、探索ベクトル生成部６２０が、処理対象ブロックと同一形状の領域であって、その処理対象ブロックを含む領域内の中周波成分データおよび高周波成分データを仮拡大画像６０６から抽出することによって、探索ベクトル６２１を生成する。すなわち、探索ベクトル６２１は、処理対象ブロックにおける中周波成分データと、その処理対象ブロックに隣接する隣接ブロックの一部の領域における高周波成分データとから構成されたブロック形状の画像である。
【００２２】
ステップＳ４００３では、学習データ検索部６３０が、学習データベース６１０に格納されている複数のインデックスベクトルのうち、探索ベクトル６２１と最も類似度の高いインデックスベクトルに対応する高周波成分データ６３１を１つ選択する。
【００２３】
ステップＳ４００４では、加算部６８０が、選択した高周波成分データ６３１を仮拡大画像６０６の処理対象ブロックに加算する。このようなステップＳ４００２〜Ｓ４００４の処理がブロックごとに繰り返されることによって、高解像度の出力画像６０２が生成される。
【００２４】
ここで、上記一例としてあげられた学習方式の画像処理装置および画像処理方法では、処理対象ブロックに対して、その処理対象ブロックと同一形状の領域から探索ベクトル６２１が算出される。つまり、この処理対象ブロックが正方形の場合には、正方形の領域から探索ベクトル６２１が算出される。したがって、このような場合には、正方形の対角線と一辺の長さの比がルート２：１であるため、その領域の水平方向または垂直方向の辺は対角線よりも短く、その領域に含まれる、水平方向または垂直方向のエッジの特徴は、対角線に沿う斜め方向のエッジの特徴に比べて少ない傾向にある。つまり、その領域内における対角線の方向に沿ったエッジの特徴を十分に捉えることができても、水平方向あるいは垂直方向に沿ったエッジの特徴を十分に捉えることができない。
【００２５】
そのため、上記一例としてあげられた学習方式の画像処理装置および画像処理方法では、水平方向あるいは垂直方向のエッジを含む領域の特徴と類似する適切なインデックスベクトルを検索することができず、その領域に含まれるブロックの画像を十分に高解像度化することができない。その結果、ブロックごとの超解像効果（高解像度化の精度）が、そのブロックに対応する上述の領域に含まれるエッジの方向によって不均一となってしまう。
【００２６】
この発明は、上述の課題を解決するためになされたものであって、その目的は、あらゆる方向のエッジに対しても同等な超解像効果を得ることによって、入力画像を適切に高解像度化することができる画像処理方法および画像処理装置等を提供することである。
【００２７】
上記目的を達成するために、本発明の一態様に係る画像処理方法は、入力画像を用いて、前記入力画像より解像度が高い出力画像を生成する画像処理方法であって、前記入力画像に含まれるエッジに沿った方向であるエッジ方向を特定する方向特定ステップと、前記エッジの少なくとも一部を含む領域である使用領域の形状を、特定された前記エッジ方向に応じて決定する領域決定ステップと、決定された形状の前記使用領域内の画像に類似する類似画像を検索する画像検索ステップと、前記入力画像に高周波成分が含まれるように、前記入力画像に対して前記類似画像を用いた解像度変換処理を行うことによって、前記出力画像を生成する画像生成ステップとを含む。
【００２８】
これにより、使用領域の形状が固定されておらず、エッジ方向に応じた使用領域の形状が決定されるため、どのような方向のエッジでも、そのエッジの特徴を十分に含む使用領域内の画像を用いることができる。また、そのように決定された形状の使用領域内の画像を用いて、類似画像の検索および解像度変換処理が行われるため、あらゆる方向のエッジに対しても同等な超解像効果を得ることができる。その結果、ブロックごとの超解像効果が不均一になってしまうことを抑えることができ、入力画像を適切に高解像度化することができる。
【００２９】
例えば、前記領域決定ステップでは、特定された前記エッジ方向に垂直な方向の前記使用領域の幅である第１の幅が、前記エッジ方向の前記使用領域の幅である第２の幅よりも長い形状を、前記使用領域の形状として決定してもよい。
【００３０】
入力画像において、エッジ方向に垂直な方向には、エッジ方向よりも多くの画像の特徴が含まれているため、エッジ方向に垂直な方向の第１の幅が、エッジ方向の第２の幅よりも長い形状が使用領域の形状として決定されることによって、あらゆる方向のエッジに対しても高精度の超解像効果を得ることができる。
【００３１】
また、例えば、前記方向特定ステップでは、前記入力画像を構成するブロックごとに、当該ブロック内のエッジに対するエッジ方向を特定し、前記領域決定ステップでは、前記ブロックごとに、当該ブロックに対して特定され前記エッジ方向に応じて、当該ブロックに対する使用領域の形状を決定し、前記画像検索ステップでは、前記ブロックごとに、当該ブロックに対して決定された形状の前記使用領域内の画像に類似する類似画像を検索し、前記画像生成ステップでは、前記ブロックごとに、当該ブロックに対して検索された前記類似画像を用いた解像度変換処理を当該ブロックに対して行うことによって、前記出力画像を生成してもよい。
【００３２】
これにより、ブロックごとに同等な超解像効果を得ることができる。
【００３３】
また、例えば、前記領域決定ステップでは、前記ブロックごとに、当該ブロックに対して特定された前記エッジ方向に垂直な方向の当該ブロックの幅よりも前記第１の幅が長く、且つ、当該ブロックに対して特定された前記エッジ方向の当該ブロックの幅よりも前記第２の幅が短い形状を、当該ブロックに対する前記使用領域の形状として決定してもよい。具体的には、前記領域決定ステップでは、前記ブロックに対応する前記使用領域に含まれる画素の数が、当該ブロックに含まれる画素の数と等しくなるように、または、当該ブロックに含まれる画素の数よりも少なくなるように、前記使用領域の形状を決定する。
【００３４】
これにより、使用領域は、その使用領域に対応するブロックと同じサイズか、そのブロックよりも小さいため、ブロック内の画像に類似する類似画像を検索する場合よりも、検索処理の負担を軽減することができる。
【００３５】
また、例えば、前記画像検索ステップでは、複数の検索用画像と、前記複数の検索用画像のそれぞれに関連付けられた、検索用画像よりも高周波成分を多く含む適用画像とを保持するデータベースを用い、前記データベースに保持される前記複数の検索用画像から、処理対象のブロックに対して決定された形状の前記使用領域内の画像に類似する画像を有する検索用画像を、前記類似画像として検索し、前記画像生成ステップでは、検索された前記類似画像を用い、前記データベースにおいて当該類似画像に関連付けられた適用画像を選択し、選択された前記適用画像を前記処理対象のブロックに加算することによって、前記処理対象のブロックに対して前記解像度変換処理を行ってもよい。
【００３６】
これにより、使用領域内の画像に類似する検索用画像に関連付けてデータベースに保持されている適用画像（学習高周波画像）が処理対象のブロックに加算されることによって、その処理対象のブロックに対する解像度変換処理が行われるため、そのデータベースにおける関連付けを適切にしておくことによって、処理対象のブロックを簡単に高解像度化することができる。
【００３７】
また、例えば、前記画像検索ステップでは、処理対象のブロックに対して決定された形状の前記使用領域内の画像に類似する画像を有する複数の検索用画像を、前記データベースから、複数の類似画像として検索し、前記画像生成ステップでは、検索された前記複数の類似画像を用い、前記データベースにおいて前記複数の類似画像のそれぞれに関連付けられた適用画像を選択し、選択された複数の適用画像を合成することによって合成画像を生成し、前記合成画像を前記処理対象のブロックに加算することによって、前記処理対象のブロックに対して前記解像度変換処理を行ってもよい。
【００３８】
これにより、複数の適用画像が合成された後に、処理対象のブロックに加算されるため、出力画像に含まれるノイズを低減することができる。
【００３９】
また、例えば、前記データベースには、前記ブロックよりも大きいサイズの適用画像が、前記複数の検索用画像のそれぞれに関連付けられて保持され、前記画像生成ステップでは、前記処理対象のブロックよりも大きいサイズの前記合成画像の中心が、前記処理対象のブロックの中心に一致するように、前記合成画像を、前記処理対象のブロックと、前記処理対象のブロックの周辺にある少なくとも１つのブロックの一部分とに加算してもよい。
【００４０】
これにより、適用画像および合成画像が処理対象のブロックよりも大きく、合成画像の中心と処理対象のブロックの中心とが一致するように加算が行われるため、ブロック間の歪を軽減することができる。
【００４１】
また、例えば、前記画像処理方法は、さらに、前記入力画像を拡大する拡大ステップを含み、前記方向特定ステップ、前記領域決定ステップ、前記画像検索ステップ、および前記画像生成ステップでは、拡大された前記入力画像を構成するブロックごとに、当該ブロックに対する処理を実行してもよい。
【００４２】
これにより、入力画像をより適切に高解像度化することができる。
【００４３】
また、例えば、前記画像処理方法は、さらに、拡大された前記入力画像を構成するブロックごとに、低周波成分を除く周波数成分を中周波成分として当該ブロックから抽出する抽出ステップを含み、前記画像検索ステップでは、前記ブロックごとに、当該ブロックに対して決定された形状の前記使用領域内の中周波成分の画像に類似する画像を有する検索用画像を、前記類似画像として検索してもよい。
【００４４】
これにより、入力画像のブロックに含まれる中周波成分の画像が検索に用いられるため、データベース内の検索用画像を中周波成分のみからなる画像とし、その検索用画像に関連付けられる適用画像を高周波成分からなる画像とすることができ、検索用画像に低周波成分が含まれないため、互いに関連付けられる検索用画像と適用画像との相関を高めることができる。その結果、入力画像を適切に高解像度化することができる。
【００４５】
また、例えば、前記画像検索ステップでは、ピクチャとして構成される前記入力画像を含む動画像のうちの、前記入力画像以外の他のピクチャと、決定された形状の前記使用領域内の画像との位置合わせを行うことによって、処理対象のブロックに対する前記類似画像を検索し、前記画像生成ステップでは、検索された前記類似画像を用い、前記他のピクチャ内において前記類似画像の少なくも一部を含む参照ブロックを取得し、前記処理対象のブロックの画素を、前記参照ブロックの画素を用いて補間することによって、前記処理対象のブロックに対して前記解像度変換処理を行ってもよい。
【００４６】
なお、処理対象のブロックに対する類似画像の検索は、他のピクチャと使用領域内の画像との小数画素精度の位置合わせによって、つまり、小数画素精度の動き検出および動き補償によって行われる。これにより、動画像に対して適切な高解像度化を図ることができる。
【００４７】
以下、本発明の１つまたは複数の態様に係る画像処理方法および画像処理装置について、図面を参照しながら具体的に説明する。
【００４８】
なお、以下で説明する各実施の形態は、いずれも本発明の一具体例を示すものである。以下の各実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置および接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の各実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
【００４９】
（実施の形態１）
図３は、本発明の実施の形態１に係る画像処理装置１００の構成を示すブロック図である。この画像処理装置１００は、入力画像を適切に高解像度化する装置であって、外部から受信する入力画像１０１を用いて、その入力画像１０１より解像度が高い出力画像１０２を生成する。入力画像１０１は、動画像および静止画像のいずれであってもよい。
【００５０】
図３に示すように、画像処理装置１００は、学習データベース１１０と、画像拡大部１２０と、エッジ方向算出部１３０と、領域算出部１４０と、特徴データ抽出部１５０と、学習データ検索部１６０と、合成部１７０と、加算部１８０とを備える。
【００５１】
まず、学習データベース１１０について説明する。
【００５２】
図４は、学習データベース１１０に格納されているデータを示す図である。
【００５３】
図４に示すように、学習データベース１１０は、学習高周波画像Ｐ１１［１］，Ｐ１１［２］，・・・，Ｐ１１［Ｋ］と、学習中周波画像Ｐ１２［１］，Ｐ１２［２］，・・・，Ｐ１２［Ｋ］とを格納する。Ｋは２以上の整数である。
【００５４】
以下においては、学習高周波画像Ｐ１１［１］，Ｐ１１［２］，・・・，Ｐ１１［Ｋ］の各々を、単に、学習高周波画像Ｐ１１ともいう。また、以下においては、学習中周波画像Ｐ１２［１］，Ｐ１２［２］，・・・，Ｐ１２［Ｋ］の各々を、単に、学習中周波画像Ｐ１２ともいう。なお、学習中周波画像Ｐ１２は検索用画像であり、学習高周波画像は適用画像である。
【００５５】
学習データベース１１０は、学習高周波画像Ｐ１１と、学習中周波画像Ｐ１２とが対応づけられた学習画像群を複数組格納する。具体的には、学習データベース１１０は、学習画像群Ｐ１０［１］，Ｐ１０［２］，・・・，Ｐ１０［Ｋ］を格納する。言い換えれば、この学習データベース１１０は、複数の検索用画像（学習中周波画像Ｐ１２）と、その複数の検索用画像のそれぞれに関連付けられた、検索用画像よりも高周波成分を多く含む適用画像（学習高周波画像Ｐ１１）とを保持する。
【００５６】
以下においては、学習画像群Ｐ１０［１］，Ｐ１０［２］，・・・，Ｐ１０［Ｋ］の各々を、単に、学習画像群Ｐ１０ともいう。Ｋ組の学習画像群Ｐ１０の各々は、互いに異なる。各学習画像群Ｐ１０は、同一の画像内の同一のブロックから生成された学習高周波画像Ｐ１１および学習中周波画像Ｐ１２が対応づけられた学習画像群である。
【００５７】
次に、学習高周波画像Ｐ１１および学習中周波画像Ｐ１２の生成方法について説明する。学習高周波画像Ｐ１１および学習中周波画像Ｐ１２は、以下の学習画像生成装置５０により生成される。
【００５８】
図５は、学習画像生成装置５０の構成を示すブロック図である。図５には、説明のために、画像処理装置１００に含まれる学習データベース１１０を示す。学習画像生成装置５０は、事前に、例えば、デジタルカメラによる撮影により得られた複数の学習画像Ｐ１の各々を用いて、複数の学習高周波画像Ｐ１１および学習中周波画像Ｐ１２を生成する。学習画像生成装置５０は、一例として、数百枚の学習画像Ｐ１を処理する。
【００５９】
図５に示すように、学習画像生成装置５０は、ローパスフィルタ部５１と、１／Ｎ縮小部５２と、Ｎ倍拡大部５３と、ハイパスフィルタ部５４と、高周波成分抽出部５５とを備える。
【００６０】
高周波成分抽出部５５は、学習画像Ｐ１と、Ｎ倍拡大部５３から送信される後述の学習低周波画像Ｐ４との差分を、学習画像Ｐ１の高周波成分として抽出し、当該高周波成分の画像を固定サイズのブロック単位で分割する。そして、高周波成分抽出部５５は、分割された各ブロックを、学習高周波画像Ｐ１１として、学習データベース１１０に格納する。
【００６１】
なお、高周波成分抽出部５５は、線形フィルタ操作などを用いて学習画像Ｐ１の高周波成分を抽出してもよい。
【００６２】
また、ローパスフィルタ部５１は、線形フィルタ操作などを用いて学習画像Ｐ１の低周波成分を学習低周波画像Ｐ２として抽出する。
【００６３】
１／Ｎ縮小部５２は、学習低周波画像Ｐ２を水平方向および垂直方向にそれぞれＮ分の１に縮小することにより学習低解像度画像Ｐ３を生成する。
【００６４】
Ｎ倍拡大部５３は、学習低解像度画像Ｐ３を水平方向および垂直方向にそれぞれＮ倍に拡大することにより学習低周波画像Ｐ４を生成する。Ｎ倍拡大部５３は、学習低周波画像Ｐ４を、ハイパスフィルタ部５４および高周波成分抽出部５５へ送信する。
【００６５】
ハイパスフィルタ部５４は、線形フィルタ操作などを用いて学習低周波画像Ｐ４の高周波成分を抽出し、当該高周波成分の画像を固定サイズのブロック単位で分割する。そして、ハイパスフィルタ部５４は、分割された各ブロックを、学習中周波画像Ｐ１２として、学習データベース１１０に格納する。
【００６６】
なお、学習画像生成装置５０は、１／Ｎ縮小部５２およびＮ倍拡大部５３を使用せずに、ローパスフィルタ部５１およびハイパスフィルタ部５４のみの処理により、学習中周波画像Ｐ１２を生成してもよい。
【００６７】
学習高周波画像Ｐ１１のサイズは、学習中周波画像Ｐ１２のサイズと同じである。学習高周波画像Ｐ１１および学習中周波画像Ｐ１２の各々のサイズは、一例として、横１８画素×縦１８画素のサイズである。
【００６８】
なお、ハイパスフィルタ部５４および高周波成分抽出部５５は、同一の学習画像Ｐ１内の同一の座標（位置）のブロックに対応する学習高周波画像Ｐ１１および学習中周波画像Ｐ１２を対応づけた学習画像群Ｐ１０を、図４のように、学習データベース１１０に格納する。
【００６９】
学習画像群Ｐ１０を学習データベース１１０に格納するための上記処理が、処理対象となる複数の学習画像Ｐ１全てに対し行われることにより、Ｋ組の学習画像群Ｐ１０が、学習データベース１１０に格納される。Ｋは、一例として、１０万であるとする。すなわち、学習データベース１１０には、一例として、１０万組の学習画像群Ｐ１０が格納されているとする。
【００７０】
なお、各学習画像群Ｐ１０に対応する学習高周波画像Ｐ１１および学習中周波画像Ｐ１２は、同一の学習画像Ｐ１内の同一の座標（位置）のブロックに対応する画像である。
【００７１】
上記処理により、学習データベース１１０には、非常に多くの種類の学習画像群Ｐ１０が格納される。
【００７２】
学習高周波画像Ｐ１１は、後述の合成画像１７１および高解像度な出力画像を生成するための学習データである。つまり、学習データベース１１０は、学習画像Ｐ１の高周波成分から得られた第１学習データ（学習高周波画像Ｐ１１）と、前記学習画像Ｐ１の少なくとも低周波成分から得られた第２学習データ（学習中周波画像Ｐ１２）とが対応づけられた学習データ群をＫ組格納する。
【００７３】
画像拡大部１２０は、入力画像１０１を拡大することによって仮拡大画像１２１を生成する。入力画像１０１は、解像度変換処理の対象となる画像である。入力画像１０１のサイズは、一例として、横１９２０画素×縦１０８０画素のサイズである。なお、入力画像１０１のサイズは、横１９２０画素×縦１０８０画素のサイズに限定されず、例えば、横１４４０画素×縦１０８０画素のサイズであってもよい。
【００７４】
エッジ方向算出部１３０は、詳細は後述するが、拡大された入力画像１０１（仮拡大画像１２１）から水平特徴データおよび垂直特徴データを抽出し、その水平特徴データおよび垂直特徴データに基づき、エッジ方向１３１を算出する。エッジ方向１３１は、エッジに沿う方向であって、エッジの角度を示す。具体的には、エッジ方向１３１は、仮拡大画像１２１内の処理対象とされるブロック（以下、処理対象ブロックという）に含まれる大きな輝度変化を示す画素の配列方向に対して垂直な角度を表す。つまり、エッジ方向算出部１３０は、拡大された入力画像１０１である仮拡大画像１２１を構成するブロックごとに、そのブロックに含まれるエッジに沿った方向であるエッジ方向を特定する。
【００７５】
領域算出部１４０は、詳細は後述するが、エッジ方向１３１に基づき、学習中周波画像Ｐ１２との類似度を算出するための領域特徴データ１５１を抽出するために使用する仮拡大画像１２１内の使用領域を算出する。つまり、領域算出部１４０は、上述のブロックごとに、そのブロック内のエッジの少なくとも一部を含む領域である使用領域の形状を、そのブロックに対して特定されたエッジ方向に応じて決定する。
【００７６】
特徴データ抽出部１５０は、使用領域から領域特徴データ１５１を抽出する。この領域特徴データ１５１は中周波成分の画像である。つまり、特徴データ抽出部１５０は、拡大された入力画像１０１である仮拡大画像１２１を構成するブロックごとに、低周波成分を除く周波数成分を領域特徴データ１５１としてそのブロックから抽出する。
【００７７】
学習データ検索部１６０は、詳細は後述するが、領域特徴データ１５１と、学習データベース１１０に格納されるＫ個の学習中周波画像Ｐ１２の各々との類似度を算出する。そして、学習データ検索部１６０は、算出した類似度に基づいて、複数の学習中周波画像Ｐ１２にそれぞれ対応する複数の学習高周波画像Ｐ１１を選択する。つまり、学習データ検索部１６０は、学習データベース１１０を用い、その学習データベース１１０に保持されるＫ個の検索用画像（学習中周波画像Ｐ１２）から、処理対象のブロックに対して決定された形状の使用領域内の画像に類似する画像を有する複数の検索用画像をそれぞれ類似画像として検索する。そして、学習データベース１１０は、検索された複数の類似画像を用い、学習データベース１１０においてその複数の類似画像（学習中周波画像Ｐ１２）のそれぞれに関連付けられた適用画像（学習高周波画像Ｐ１１）を選択する。
【００７８】
合成部１７０は、詳細は後述するが、選択された複数の学習高周波画像Ｐ１１を用いて、合成画像１７１を生成する。つまり、合成部１７０は、選択された複数の適用画像（学習高周波画像Ｐ１１）を合成することによって合成画像１７１を生成する。
【００７９】
加算部１８０は、詳細は後述するが、仮拡大画像１２１にブロック単位で合成画像１７１を加算することにより、出力画像１０２を生成する。つまり、加算部１８０は、合成画像１７１を処理対象のブロックに加算することによって、その処理対象のブロックに対して解像度変換処理を行う。加算部１８０は、このような加算をブロックごとに行うことによって、出力画像１０２を生成する。
【００８０】
なお、図１および図２に示される画像処理装置および画像処理方法では、処理対象ブロックと同一形状の領域から抽出した特徴データ（検索ベクトル）を用いて、１つの高周波成分データを選択する。一方、本実施の形態では、エッジの方向に応じて、エッジの特徴を捉えやすい形状の領域から抽出した領域特徴データを用いて、複数の学習高周波画像Ｐ１１を選択する。
【００８１】
次に、画像処理装置１００が行う画像処理の方法について、図６〜図１１を用いて具体的に説明する。
【００８２】
図６は、実施の形態１に係る画像処理装置１００によって行われる画像処理のフローチャートである。ここでは、入力画像１０１は静止画像であるとして説明する。
【００８３】
画像処理装置１００は、学習データベース１１０に格納された画像を用いて、入力画像１０１を高解像度な出力画像１０２に変換する。
【００８４】
ステップＳ１００１では、画像拡大部１２０が、図７に示すように、入力画像１０１を、水平方向および垂直方向にそれぞれＮ（Ｎは１より大きい実数）倍に拡大することにより、仮拡大画像１２１を生成する。なお、入力画像１０１の拡大の処理には、例えばバイキュービック法が用いられる。本実施の形態では、入力画像１０１は、一例として、水平方向および垂直方向にそれぞれ２倍に拡大されるとする。
【００８５】
すなわち、ステップＳ１００１は、前記入力画像１０１を拡大することによって、拡大画像（仮拡大画像１２１）を生成する拡大ステップである。
【００８６】
なお、入力画像１０１の拡大の処理は、バイキュービック法に限定されず、例えば、スプライン補間法などの画素補間手法であってもよい。また、入力画像１０１の水平方向および垂直方向の拡大率は互いに異なってもよい。例えば、７２０×４８０画素のサイズの入力画像を、１９２０×１０８０画素のサイズの画像に拡大する場合、当該入力画像の水平方向の拡大率と、当該入力画像の垂直方向の拡大率とは異なる。
【００８７】
なお、画像の拡大処理は、画像のサイズを入力画像１０１より大きくすることに限定されるものでない。例えば、Ｎが１以下で入力画像１０１が処理されても良い。
【００８８】
図８に示すように、画像拡大部１２０は、仮拡大画像１２１を複数のブロックＮＢに分割する。複数のブロックＮＢはｍ行ｎ列の行列を構成する。以下においては、仮拡大画像１２１内のｍ行ｎ列にあるブロックＮＢを、ブロックＮＢ［ｍｎ］とも表記する。例えば、仮拡大画像１２１内の１行２列にあるブロックＮＢは、ブロックＮＢ［１２］と表記される。
【００８９】
ブロックＮＢのサイズは、学習高周波画像Ｐ１１および学習中周波画像Ｐ１２のサイズより小さい。ブロックＮＢのサイズは、一例として、横１２画素×縦１２画素のサイズである。
【００９０】
なお、ブロックＮＢのサイズは、学習高周波画像Ｐ１１および学習中周波画像Ｐ１２のサイズより小さいことに限定されない。ブロックＮＢのサイズは、学習高周波画像Ｐ１１および学習中周波画像Ｐ１２のサイズと同じであってもよい。
【００９１】
図６に示すステップＳ１００２〜Ｓ１００７の処理は、仮拡大画像１２１内の各ブロックＮＢ毎に行われる。処理対象ブロックは、ステップＳ１００２〜Ｓ１００７の処理が行われる毎に、異なるブロックＮＢに変更される。
【００９２】
ステップＳ１００２は方向特定ステップであって、このステップＳ１００２では、エッジ方向算出部１３０が、処理対象ブロックに含まれるエッジの方向（エッジ方向）を検出する。具体的には、エッジ方向算出部１３０は、処理対象ブロックＮＢに対し、水平方向ハイパスフィルタおよび垂直方向ハイパスフィルタをかけることにより、水平特徴データＦ４および垂直特徴データＦ５をそれぞれ抽出する。次に、エッジ方向算出部１３０は、水平特徴データＦ４と垂直特徴データＦ５を用いてエッジ方向１３１を、以下の式１より算出する。
【００９３】
エッジ方向１３１＝ａｒｃｔａｎ(Ｆ５／Ｆ４) ・・・（式１）
【００９４】
ただし、エッジ方向算出部１３０は、Ｆ５とＦ４の差分絶対値が設定されたしきい値以下になった場合はエッジ方向１３１＝不定値とする。
【００９５】
例えば図９Ａおよび図９Ｂに示すように、上述の水平方向ハイパスフィルタおよび垂直方向ハイパスフィルタにはそれぞれ、（一次微分）水平方向Ｓｏｂｅｌフィルタと（一次微分）垂直方向Ｓｏｂｅｌフィルタとが用いられるが、これに限定されるものではない。
【００９６】
なお、エッジ方向算出部１３０は、水平特徴データＦ４と垂直特徴データＦ５との差分値と、しきい値Ｔｈとの関係により、以下の式２のように、エッジ方向１３１を３値データとして算出しても良い。
【００９７】
（Ｆ４−Ｆ５）＞Ｔｈの時、
エッジ方向１３１＝９０°
（Ｆ４−Ｆ５）＜−Ｔｈの時、
エッジ方向１３１＝０° ・・・（式２）
−Ｔｈ≦（Ｆ４−Ｆ５）≦Ｔｈの時、
エッジ方向１３１＝不定値
【００９８】
なお、上記のエッジ方向１３１の算出方法は実施の典型例であり、これに限定されるものではない。
【００９９】
ステップＳ１００３は領域決定ステップであって、このステップＳ１００３では、領域算出部１４０が、エッジ方向１３１に基づいて、学習データベース１１０の検索を行うために使用する仮拡大画像１２１内の使用領域を算出する。
【０１００】
図１０Ａは、垂直方向のエッジ方向１３１に対して算出される使用領域を示す図である。また、図１０Ｂは、水平方向のエッジ方向１３１に対して算出される使用領域を示す図である。
【０１０１】
具体的には、領域算出部１４０は、図１０Ａおよび図１０Ｂに示すように、エッジ方向１３１に垂直な方向に対して長い辺を取ると同時に、エッジ方向１３１に水平な方向に対して短い辺を取る長方形となる使用領域１２２を算出する。つまり、領域算出部１４０は、ステップＳ１００２で特定されたエッジ方向に垂直な方向の使用領域１２２の幅である第１の幅が、そのエッジ方向の使用領域１２２の幅である第２の幅よりも長い形状を、使用領域１２２の形状として決定する。このように、入力画像１０１において、エッジ方向に垂直な方向には、エッジ方向よりも多くの画像の特徴が含まれているため、第１の幅が第２の幅よりも長い形状が使用領域１２２の形状として決定されることによって、あらゆる方向のエッジに対しても高精度の超解像効果を得ることができる。
【０１０２】
また、領域算出部１４０は、ブロックごとに、そのブロックに対して特定されたエッジ方向に垂直な方向のそのブロックの幅よりも第１の幅が長く、且つ、そのブロックに対して特定されたエッジ方向のそのブロックの幅よりも第２の幅が短い形状を、そのブロックに対する使用領域１２２の形状として決定する。具体的には、領域算出部１４０は、そのブロックに対応する使用領域１２２に含まれる画素の数が、そのブロックに含まれる画素の数と等しくなるように、または、そのブロックに含まれる画素の数よりも少なくなるように、使用領域１２２の形状を決定する。これにより、使用領域１２２は、その使用領域１２２に対応するブロックと同じサイズか、そのブロックよりも小さいため、ブロック内の画像に類似する学習中周波画像Ｐ１２（類似画像）を検索する場合よりも、検索処理の負担を軽減することができる。
【０１０３】
また、エッジ方向１３１が不定値の場合、領域算出部１４０は、処理対象ブロックと同一の領域、または処理対象ブロックと異なる大きさであって処理対象ブロックと同一形状の領域を、使用領域として算出する。
【０１０４】
さらに、領域算出部１４０は、算出または決定された使用領域１２２を特定するための情報である領域座標情報１４１を特徴データ抽出部１５０に出力する。この領域座標情報１４１は、例えば使用領域１２２の座標、形状およびサイズなどを示す。
【０１０５】
なお、上記の使用領域１２２は長方形ブロックに限定されるものではない。例えば、楕円形であってもよい。また、上記の使用領域の算出は実施の典型例であり、これに限定されるものではない。
【０１０６】
ステップＳ１００４は抽出ステップであって、このステップＳ１００４では、特徴データ抽出部１５０が、領域座標情報１４１によって特定される仮拡大画像１２１内の使用領域１２２から領域特徴データを抽出する。具体的には、特徴データ抽出部１５０は、線形フィルタ操作などを用いて、その使用領域１２２に対してハイパスフィルタをかけることによって、その使用領域１２２内の中周波成分の画像を領域特徴データ１５１としてその使用領域１２２から抽出する。すなわち、領域特徴データ１５１は、使用領域１２２の各周波数成分のうち、ハイパスフィルタを通過した中周波成分の画像である。つまり、領域特徴データ１５１は、使用領域１２２の低周波成分が削除された画像であって、使用領域１２２の中周波成分の画像である。この場合、領域特徴データ１５１は複数の画素値を示す。
【０１０７】
なお、領域特徴データ１５１に対応する中周波成分の周波数帯域の少なくとも一部は、学習中周波画像Ｐ１２に対応する周波数成分の周波数帯域と重複する。また、領域特徴データ１５１は、学習データベース１１０に対する検索に使用するデータである。
【０１０８】
なお、ステップＳ１００４で処理される使用領域１２２は、仮拡大画像１２１内の領域に限定されない。例えば、ステップＳ１００４で処理される使用領域は、入力画像１０１の処理対象ブロックであっても良い。
【０１０９】
また、領域特徴データ１５１は、ハイパスフィルタを用いて得られたデータに限定されない。領域特徴データ１５１は、例えば、使用領域１２２における、輝度、色差、またはＲＧＢ値等であってもよい。また、領域特徴データ１５１は、例えば、使用領域１２２から得られるモーメント（平均、分散、尖度、または歪度）であってもよい。
【０１１０】
また、領域特徴データ１５１は、例えば、同時生起行列から得られる特徴量（均質性、異質性、コントラスト、平均、標準偏差、角２次モーメント、またはエントロピー）であってもよい。また、領域特徴データ１５１は、例えば、主成分分析における主要成分、独立成分分析における主要成分等であってもよい。
【０１１１】
なお、上記の領域特徴データ１５１は実施の典型例であり、これに限定されるものではない。
【０１１２】
ステップＳ１００５は画像検索ステップと画像生成ステップの一部の処理を含む。このステップＳ１００５では、学習データ検索部１６０が、領域特徴データ１５１と、学習データベース１１０に格納されるＫ個の学習中周波画像Ｐ１２の各々との類似度を算出する。学習データ検索部１６０は、学習中周波画像Ｐ１２のうち、領域特徴データ１５１（使用領域１２２）と同一形状かつ同一面積となる領域のみを使用して、その領域特徴データ１５１と学習中周波画像Ｐ１２との類似度を算出する。
【０１１３】
図１１は、学習データ検索部１６０による処理を説明するための説明図である。
【０１１４】
図１０Ａに示すように、処理対象ブロックＮＢ［ｎｍ］のエッジ方向１３１が９０°（垂直方向）の場合、使用領域１２２は水平方向に長辺をとる長方形となる。ここで、長方形の使用領域１２２内の画素数は、１８画素×８画素（＝１４４画素）であり、処理対象ブロックＮＢ［ｎｍ］内の画素数である１２画素×１２画素（＝１４４画素）と同じである。この場合、学習データ検索部１６０は、図１１に示すように、学習中周波画像Ｐ１２のうち、使用領域１２２と同一形状かつ同一面積である比較対象領域１６１を、領域特徴データ１５１との類似度の算出に使用する。なお、比較対象領域１６１の重心と学習中周波画像Ｐ１２の重心は一致する。
【０１１５】
学習データ検索部１６０は、例えば、領域特徴データ１５１が示す複数の画素値と、各学習中周波画像Ｐ１２の比較対象領域１６１が示す複数の画素値との差分絶対値和（マンハッタン距離）によって類似度を算出する。当該差分絶対値和が小さい程、領域特徴データ１５１と学習中周波画像Ｐ１２との類似度は高くなる。なお、類似度は、差分二乗和（ユークリッド距離）を用いて算出されてもよい。
【０１１６】
そして、学習データ検索部１６０は、算出した複数の類似度に基づいて、領域特徴データ１５１に対して類似度が高い上位Ｌ（２以上の整数）個の学習中周波画像Ｐ１２を選択する。Ｌは、２≦Ｌ≦Ｋの関係式を満たす整数である。Ｌは、予め定められた定数である。本実施の形態において、Ｌは、一例として“３２”であるとする。
【０１１７】
選択されたＬ個の学習中周波画像Ｐ１２は、領域特徴データ１５１と最も類似度が高い学習中周波画像Ｐ１２を含む。言い換えれば、選択されたＬ個の学習中周波画像Ｐ１２にそれぞれ対応するＬ個の類似度は、ステップＳ１００５において算出された全ての類似度のうち、値が大きい方から数えた場合における上位Ｌ個の類似度である。
【０１１８】
このように、学習データ検索部１６０は、ステップＳ１００５に含まれる画像検索ステップにおいて、処理対象ブロックに対して決定された形状の使用領域１２２内の画像に類似する画像を有する複数の学習中周波画像Ｐ１２（検索用画像）を、学習データベース１１０から、複数の類似画像として検索する。
【０１１９】
そして、学習データ検索部１６０は、学習データベース１１０に格納されるＫ個の学習高周波画像Ｐ１１のうち、選択したＬ個の学習中周波画像Ｐ１２にそれぞれ対応するＬ個の学習高周波画像Ｐ１１を選択する。言い換えれば、学習データ検索部１６０は、学習データベース１１０において、Ｋ個の学習高周波画像Ｐ１１のうち、仮拡大画像１２１内の処理対象ブロックの特徴を示す領域特徴データと類似するＬ個の学習中周波画像Ｐ１２にそれぞれ対応するＬ個の学習高周波画像Ｐ１１を選択する。つまり、学習データ検索部１６０は、ステップＳ１００５に含まれる画像生成ステップの一部の処理として、検索された複数の学習中周波画像Ｐ１２（類似画像）を用い、学習データベース１１０においてその複数の学習中周波画像Ｐ１２（類似画像）のそれぞれに関連付けられた学習高周波画像Ｐ１１（適用画像）を選択する。
【０１２０】
そして、学習データ検索部１６０は、選択したＬ個の学習高周波画像Ｐ１１を、合成部１７０へ送信する。
【０１２１】
すなわち、ステップＳ１００５では、学習データ検索部１６０が、前記領域特徴データ１５１と、前記Ｋ個の学習中周波画像Ｐ１２の各々との類似度を算出し、前記領域特徴データ１５１に対して類似度が高い上位Ｌ個の学習中周波画像Ｐ１２にそれぞれ対応する前記Ｌ個の学習高周波画像Ｐ１１を選択する。
【０１２２】
なお、本発明は、ハイパスフィルタを用いて抽出された高周波成分を示す学習高周波画像Ｐ１１に限定されず、その代わりに、学習画像Ｐ１の輝度、色差、あるいはＲＧＢ値等を用いてもよい。
【０１２３】
なお、本発明は、ローパスフィルタおよびハイパスフィルタを用いて抽出された中周波成分を示す学習中周波画像Ｐ１２に限定されず、その代わりに、例えば、学習画像Ｐ１の輝度、色差、あるいはＲＧＢ値等を用いてもよく、学習画像Ｐ１から得られるモーメント（平均、分散、尖度、または歪度）を用いてもよい。あるいは、学習中周波画像Ｐ１２の代わりに、例えば、同時生起行列から得られる特徴量（均質性、異質性、コントラスト、平均、標準偏差、角２次モーメント、またはエントロピー）を用いてもよく、主成分分析における主要成分、または独立成分分析における主要成分等を用いてもよい。
【０１２４】
ステップＳ１００６は画像生成ステップの一部の処理を含む。このステップＳ１００６では、合成部１７０が、選択された前記Ｌ個の学習高周波画像Ｐ１１（適用画像）を合成することにより合成画像１７１を生成する。
【０１２５】
ステップＳ１００７は画像生成ステップの一部の処理を含む。このステップＳ１００７では、図７に示すように、加算部１８０が、合成画像１７１を、仮拡大画像１２１内における、該合成画像１７１に対応するブロックＮＢ（処理対象ブロック）に加算する。これにより、処理対象ブロックに対して解像度変換処理が行われる。合成画像１７１は、処理対象ブロックよりも高精細な画像である。
【０１２６】
以下に、一例を挙げて、合成画像１７１の加算処理について詳細に説明する。例えば、処理対象ブロックが、図８の仮拡大画像１２１のブロックＮＢ［１１］であるとする。合成部１７０は、合成画像１７１の中心位置が、ブロックＮＢ［１１］の中心位置と一致するように、ブロックＮＢ［１１］を構成する各画素の画素値に対し、合成画像１７１を構成する各画素の画素値を加算する。
【０１２７】
以上のステップＳ１００２〜Ｓ１００７の処理が、仮拡大画像１２１内の全てのブロックＮＢに対して行われる。これにより、出力画像１０２が生成される。すなわち、ステップＳ１００７の処理が繰り返し行われることで、加算部１８０は、該合成画像１７１を仮拡大画像１２１に加算することにより、出力画像１０２を生成する。つまり、加算部１８０は、該合成画像１７１を用いて前記出力画像１０２を生成する。
【０１２８】
また、ステップＳ１００７の処理が繰り返されることにより、図８のように、各合成画像１７１は、仮拡大画像１２１内の各隣り合う複数のブロックＮＢに加算される。このとき、合成画像１７１はブロックＮＢのサイズよりも大きいため、互いに隣り合うブロックＮＢの境界付近にあるブロックＮＢの画素に対しては、２つの合成画像１７１の画素が重複して加算される。ここで、各隣り合う複数のブロックＮＢは、例えば、ブロックＮＢ［１１］，ＮＢ［１２］，ＮＢ［２１］，ＮＢ［２２］である。つまり、本実施の形態では、学習データベース１１０には、ブロックＮＢよりも大きいサイズの学習高周波画像Ｐ１１（適用画像）が、複数の学習中周波画像Ｐ１２（検索用画像）のそれぞれに関連付けられて保持されている。そのため、画像生成ステップでは、加算部１８０は、処理対象ブロックＮＢよりも大きいサイズの合成画像１７１の中心が、処理対象ブロックＮＢの中心に一致するように、合成画像１７１を、処理対象ブロックＮＢと、処理対象ブロックＮＢの周辺にある少なくとも１つのブロックＮＢの一部分とに加算する。これにより、出力画像１０２におけるブロック間の歪を軽減することができる。
【０１２９】
以上説明した画像処理は、処理対象の入力画像１０１が静止画像である場合の処理である。入力画像１０１が動画像である場合は、動画像を構成する１フレーム毎に上記の画像処理が繰り返し行われる。
【０１３０】
これにより、実施の形態１に係る画像処理装置１００は、膨大な処理量の追加を行うことなく、あらゆる方向のエッジにおいても高解像度な出力画像１０２を生成することができる。
【０１３１】
このように、本実施の形態では、使用領域１２２の形状が固定されておらず、エッジ方向に応じた使用領域１２２の形状が決定されるため、どのような方向のエッジでも、そのエッジの特徴を十分に含む使用領域１２２内の画像を用いることができる。また、そのように決定された形状の使用領域１２２内の画像を用いて、類似画像の検索および解像度変換処理が行われるため、あらゆる方向のエッジに対しても同等な超解像効果を得ることができる。その結果、ブロックごとの超解像効果が不均一になってしまうことを抑えることができ、入力画像１０１を適切に高解像度化することができる。
【０１３２】
なお、本実施の形態では、選択された複数の学習高周波画像Ｐ１１を合成することによって合成画像１７１を生成し、その合成画像１７１を処理対象ブロックに加算したが、合成画像１７１を生成することなく、選択された１枚の学習高周波画像Ｐ１１を処理対象ブロックに加算してもよい。つまり、学習データ検索部１６０は、ステップＳ１００５に含まれる画像検索ステップにおいて、学習データベース１１０を用い、その学習データベース１１０に保持される複数の学習中周波画像Ｐ１２（検索用画像）から、処理対象ブロックに対して決定された形状の使用領域１２２内の画像に類似する画像を有する学習中周波画像Ｐ１２を、類似画像として検索する。そして、ステップＳ１００５〜Ｓ１００７の画像生成ステップにおいて、学習データ検索部１６０は、検索された類似画像を用い、学習データベース１１０においてその類似画像に関連付けられた学習高周波画像Ｐ１１（適用画像）を選択する。さらに、その画像生成ステップにおいて、加算部１８０は、選択されたその学習高周波画像Ｐ１１（適用画像）を処理対象ブロックに加算することによって、処理対象ブロックに対して解像度変換処理を行う。
【０１３３】
（実施の形態２）
次に、本発明の実施の形態２に係る画像処理装置について説明する。
【０１３４】
図１２は、本発明の実施の形態２に係る画像処理装置５００の構成を示すブロック図である。本実施の形態に係る画像処理装置５００は、学習データベース１１０を用いることなく、画像の動きを利用した超解像技術によって、つまり、小数画素精度の位置合わせおよび画素補間を行うことによって、入力画像１０１より解像度が高い出力画像１０２を生成する。
【０１３５】
画像処理装置５００は、例えば、図示しない外部デコーダから、復号済みの動画像ＭＶ１０を受信する。動画像ＭＶ１０は、例えば、Ｈ．２６４／ＡＶＣ規格に従った復号により得られた動画像である。なお、動画像ＭＶ１０は、Ｈ．２６４／ＡＶＣ規格に限定されず、例えば、ＭＰＥＧ−２規格に従った復号により得られた動画像であってもよい。
【０１３６】
動画像ＭＶ１０は、一例として、１つのＧＯＰ（Group Of Pictures）に対応する動画像であるとする。動画像ＭＶ１０は複数のピクチャから構成される。画像処理装置５００は、動画像ＭＶ１０を構成するＱ（２以上の整数）枚のピクチャのうち、例えば、表示順で先頭のピクチャを、入力画像１０１として受信する。本実施の形態において、入力画像１０１は、静止画像である。本実施の形態では、Ｑは、一例として、１０であるとする。
【０１３７】
詳細は後述するが、本実施の形態では、低解像度な入力画像１０１のブロックごとに、そのブロックに対する使用領域と、予め定められた定数であるＬ枚の低解像度な参照画像とを位置合わせして、その位置合わせの結果に基づいて補間画素値を推定し、出力画像１０２を生成する。なお、Ｌ枚の低解像度な参照画像のそれぞれは、入力画像１０１とは異なる、上述のＱ枚のピクチャに含まれるピクチャである。
【０１３８】
図１２に示すように、画像処理装置５００は、エッジ方向算出部１３０と、領域算出部１４０と、位置合わせ処理部５２０と、高解像度画像生成部５３０とを備える。
【０１３９】
エッジ方向算出部１３０は、入力画像１０１を構成するブロックごとに、実施の形態１と同様の方法でエッジ方向１３１を算出する。領域算出部１４０は、入力画像１０１を構成するブロックごとに、そのブロックに対して算出されたエッジ方向１３１に応じて、そのブロックに対する使用領域１２２を算出する。そして、領域算出部１４０は、その使用領域１２２を特定するための情報である領域座標情報１４１を出力する。
【０１４０】
位置合わせ処理部５２０は、例えば、図示しない外部デコーダから、Ｑ枚のピクチャから構成される動画像ＭＶ１０を受信する。位置合わせ処理部５２０は、詳細は後述するが、位置合わせ処理を行う。位置合わせ処理部５２０は、処理対象ブロックに対して算出された使用領域１２２と、Ｌ枚の参照画像との位置合わせを行う。つまり、位置合わせ処理部５２０は、ピクチャとして構成される入力画像１０１を含む動画像ＭＶ１０のうちの、入力画像１０１以外の他のピクチャと、決定された形状の使用領域１２２内の画像との位置合わせを行うことによって、処理対象のブロックに対する類似画像を検索する。なお、その位置合わせは、例えば小数画素精度で行われる。
【０１４１】
図１３は、実施の形態２に係る画像処理装置５００によって行われる画像処理のフローチャートである。
【０１４２】
入力画像１０１は、複数のブロックに分割される。以下においては、入力画像１０１を構成する複数のブロックのうち、処理対象となるブロックを、処理対象ブロックＰＢともいう。処理対象ブロックＰＢのサイズは、一例として、横８画素×縦８画素のサイズである。
【０１４３】
ステップＳ１００２では、実施の形態１と同様、エッジ方向算出部１３０が、処理対象ブロックＰＢに含まれるエッジの方向であるエッジ方向１３１を算出する。そして、エッジ方向算出部１３０は、算出したエッジ方向１３１を領域算出部１４０へ送信する。
【０１４４】
ステップＳ１００３では、実施の形態１と同様、領域算出部１４０が、処理対象ブロックＰＢのエッジ方向１３１に基づいて、その処理対象ブロックＰＢに対する入力画像１０１内の使用領域１２２を算出する。そして、領域算出部１４０は、その使用領域１２２を特定するための情報である領域座標情報１４１を位置合わせ処理部５２０へ送信する。
【０１４５】
ステップＳ３００３は本実施の形態における画像検索ステップであって、このステップＳ３００３では、位置合わせ処理が行われる。位置合わせ処理では、位置合わせ処理部５２０が、領域座標情報１４１によって特定される前記入力画像１０１内の使用領域１２２と、Ｌ枚の参照画像のそれぞれとの位置合わせを行う。
【０１４６】
具体的には、まず、位置合わせ処理部５２０が、Ｑ枚のピクチャのうち、例えば、表示順で２〜（Ｌ＋１）番目までのピクチャを参照画像とする。ここで、Ｌ＝４であるとして、説明する。
【０１４７】
図１４は、位置合わせ処理を説明するための図である。
【０１４８】
図１４では、一例として、ピクチャＰＣ［１］，ＰＣ［２］，ＰＣ［３］，ＰＣ［４］，ＰＣ［５］が示される。ピクチャＰＣ［１］〜ＰＣ［５］は、それぞれ、１〜５番目までのピクチャに対応する。
【０１４９】
ピクチャＰＣ［１］は入力画像１０１である。ピクチャＰＣ［１］には、処理対象ブロックＰＢと、処理対象ブロックＰＢに対して算出された使用領域１２２とが示される。ピクチャＰＣ［２］，ＰＣ［３］，ＰＣ［４］，ＰＣ［５］は参照画像である。使用領域１２２の画像に類似する類似画像１２２ａ〜１２２ｄが位置合わせ処理によって各参照画像から検索される。各参照画像内のブロックＲＢ［ｎ（整数）］は、類似画像１２２ａ〜１２２ｄのそれぞれに対応する参照ブロックである。
【０１５０】
位置合わせ処理では、位置合わせ処理部５２０が、処理対象ブロックＰＢとピクチャＰＣ［２］，ＰＣ［３］，ＰＣ［４］，ＰＣ［５］との位置合わせを行う。例えば、位置合わせ処理部５２０は、各参照画像に対して小数画素の画素値を算出することで、各参照画像の画素を補間する。そして、位置合わせ処理部５２０は、使用領域１２２の画像に類似する類似画像１２２ａ〜１２２ｄを小数画素精度で各参照画像から検出（検索）する。例えば、使用領域１２２の各画素値と、類似画像の各画素値との差分絶対値和が最小となるように、その類似画像を検出する。さらに、位置合わせ処理部５２０は、使用領域１２２と、類似画像１２２ａ〜１２２ｂのそれぞれとの間の位置のずれを位置ずれ量（動きベクトル）５２１として小数画素精度で検出する。そして、位置合わせ処理部５２０は、参照画像ごとに、その参照画像に対して検出された位置ずれ量５２１を高解像度画像生成部５３０に出力するとともに、その参照画像も参照データ５２２として高解像度画像生成部５３０に出力する。
【０１５１】
ステップＳ３００４は本実施の形態における画像生成ステップであって、このステップＳ３００４では、画素補間処理が行われる。画素補間処理では、高解像度画像生成部５３０が、参照画像ごとに、その参照画像に対して検出された位置ずれ量５２１だけ処理対象ブロックＰＢからずれた位置にある参照ブロックＲＢを参照データ５２２（参照画像）から抽出または取得する。そして、高解像度画像生成部５３０は、処理対象ブロックＰＢの画素を、それらの参照画像から抽出された参照ブロックＲＢ［２］〜ＲＢ［５］の画素を用いて補間することによって、処理対象ブロックＰＢに対して解像度変換処理を行う。
【０１５２】
以上のステップＳ１００２、Ｓ１００３、Ｓ３００３およびＳ３００４の処理が、入力画像１０１内の全てのブロックに対して行われる。これにより、出力画像１０２が生成される。すなわち、ステップＳ３００４の処理が繰り返し行われることで、高解像度画像生成部５３０は、入力画像１０１よりも解像度が高い出力画像１０２を生成する。
【０１５３】
なお、入力画像１０１内の全てのブロックに限定されず、入力画像１０１内の指定されたブロックに対して、ステップＳ１００２、Ｓ１００３、Ｓ３００３およびＳ３００４の処理が行われてもよい。
【０１５４】
このように、本実施の形態では、実施の形態１と同様に、使用領域１２２の形状が固定されておらず、エッジ方向に応じた使用領域１２２の形状が決定されるため、あらゆる方向のエッジに対しても同等な超解像効果を得ることができる。その結果、ブロックごとの超解像効果が不均一になってしまうことを抑えることができ、入力画像１０１を適切に高解像度化することができる。また、本実施の形態では、処理対象ブロックＰＢに対する類似画像の検索が、他のピクチャと使用領域１２２内の画像との小数画素精度の位置合わせによって、つまり、小数画素精度の動き検出および動き補償によって行われるため、動画像に対して適切な高解像度化を図ることができる。
【０１５５】
（実施の形態３）
さらに、前記各実施の形態で示した画像処理方法を実現するためのプログラムを、フレキシブルディスク等の記録媒体に記録するようにすることにより、前記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。
【０１５６】
図１５Ａ〜図１５Ｃは、前記各実施の形態の画像処理方法を、フレキシブルディスク等の記録媒体に記録されたプログラムを用いて、コンピュータシステムにより実施する場合の説明図である。
【０１５７】
図１５Ｂは、フレキシブルディスクの正面の外観、その断面構造、およびフレキシブルディスク本体の正面の外観を示す図である。図１５Ａは、記録媒体本体であるフレキシブルディスク本体の物理フォーマットの例を示す図である。フレキシブルディスク本体ＦＤはケースＦ内に内蔵され、該フレキシブルディスク本体ＦＤの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、前記プログラムを格納したフレキシブルディスク本体ＦＤでは、前記フレキシブルディスク本体ＦＤ上に割り当てられた領域に、前記プログラムが記録されている。
【０１５８】
また、図１５Ｃは、フレキシブルディスク本体ＦＤに前記プログラムを記録してそのプログラムを再生するための構成を示す図である。画像処理方法を実現する前記プログラムをフレキシブルディスク本体ＦＤに記録する場合は、コンピュータシステムＣｓから前記プログラムをフレキシブルディスクドライブＦＤＤを介して書き込む。また、フレキシブルディスク本体ＦＤ内のプログラムにより画像処理方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブＦＤＤによりプログラムをフレキシブルディスク本体ＦＤから読み出し、コンピュータシステムＣｓに転送する。
【０１５９】
なお、前記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）カードまたはＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）カセット等、プログラムを記録できるものであれば同様に実施することができる。
【０１６０】
（実施の形態４）
図１６は、本発明の実施の形態４における、上記各実施の形態の画像処理装置および画像処理方法を用いたテレビジョン受像機８００の構成を示す図である。
【０１６１】
本実施の形態のテレビジョン受像機８００は、放送受信装置８０１と、入力選択装置８０２と、画像処理装置８０３と、パネル駆動装置８０４と、ディスプレイパネル８０５とを備える。図１６において、各装置８０１から８０４はディスプレイパネル８０５の外部に配置されているが、ディスプレイパネル８０５の内部に配置されていてもよい。
【０１６２】
画像処理装置８０３は、上記実施の形態１または２の画像処理装置１００と同一の機能および構成を有する。
【０１６３】
放送受信装置８０１は、外部アンテナ（図示せず）から出力されるアンテナ出力信号８２１から放送電波を受信し、当該放送電波を復調することによって得られる映像信号を放送映像信号８２２として出力する。
【０１６４】
入力選択装置８０２は、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）或いはＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）レコーダ、またはＤＶＤ或いはＢＤプレイヤなどの外部映像機器から出力された外部映像信号８２０と、放送映像信号８２２とのうちのいずれか一方の映像信号を、ユーザーによる選択に従って選択する。そして、入力選択装置８０２は、選択した映像信号を入力映像信号８２３として出力する。
【０１６５】
画像処理装置８０３は、入力映像信号８２３がインターレース信号の場合は、当該入力映像信号８２３をプログレッシブ信号に変換する。つまり、画像処理装置８０３は、入力映像信号８２３にＩ／Ｐ変換を施す。さらに、画像処理装置８０３は、入力映像信号８２３に対してコントラストを改善する画質改善処理を施してもよい。
【０１６６】
また、画像処理装置８０３は、上述の実施の形態１または２の画像処理方法にしたがった画像処理を入力映像信号８２３に施す。そして、画像処理装置８０３は、その結果を画質改善映像信号８２４として出力する。
【０１６７】
パネル駆動装置８０４は、画質改善映像信号８２４を、ディスプレイパネル８０５を駆動するための専用信号に変換し、専用信号をパネル駆動用映像信号８２５として出力する。
【０１６８】
ディスプレイパネル８０５は、パネル駆動用映像信号８２５に従って電気信号を光信号に変換し、変換した光信号により所望の映像を表示する。
【０１６９】
このように、上記各実施の形態の画像処理装置または画像処理方法をテレビジョン受像機８００に用いることが可能である。そして、当該テレビジョン受像機８００は、上記各実施の形態で説明した効果を得ることができる。なお、上記各実施の形態の画像処理装置または画像処理方法は、テレビジョン受像機に限らず、レコーダ機器、プレイヤ機器および携帯機器などの様々なデジタル映像機器に用いることが可能であり、いずれの場合も上記各実施の形態で説明した効果を得ることができる。
【０１７０】
ここで、レコーダ機器とは、例えば、ＤＶＤレコーダ、ＢＤレコーダ、またはハードディスクレコーダ等である。プレイヤ機器とは、例えば、ＤＶＤプレイヤまたはＢＤプレイヤ等である。携帯機器とは、例えば携帯電話またはＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）等である。
【０１７１】
以上、本発明の１つまたは複数の態様に係る画像処理装置および画像処理方法について、上記各実施の形態に基づいて説明したが、本発明は、これら実施の形態に限定されるものではない。
【０１７２】
例えば、本発明に係る画像処理装置は、図１７に示すように、上記実施の形態１および２の概括的または包括的な構成を他の態様として有していてもよい。
【０１７３】
図１７は、本発明の他の態様に係る画像処理装置９００の機能構成を示すブロック図である。
【０１７４】
画像処理装置９００は、入力画像を用いて、その入力画像より解像度が高い出力画像を生成する装置であって、方向特定部９１０と、領域決定部９２０と、画像検索部９２５と、画像生成部９３０とを備える。
【０１７５】
方向特定部９１０は、上述の入力画像に含まれるエッジに沿った方向であるエッジ方向を特定する。なお、この方向特定部９１０は、実施の形態１または２のエッジ方向算出部１３０に相当する。
【０１７６】
領域決定部９２０は、そのエッジの少なくとも一部を含む領域である使用領域の形状を、方向特定部９１０によって特定されたエッジ方向に応じて決定する。なお、この領域決定部９２０は、実施の形態１または２の領域算出部１４０に相当する。
【０１７７】
画像検索部９２５は、領域決定部９２０によって決定された形状の使用領域内の画像に類似する類似画像を検索する。なお、この画像検索部９２５は、実施の形態１の学習データ検索部１６０に含まれる一部の機能ブロックによって実現される。つまり、使用領域１２２の領域特徴データ１５１と類似する学習中周波画像Ｐ１２を学習データベース１１０から検索する、学習データ検索部１６０の一部の機能ブロックが、その画像検索部９２５に相当する。または、この画像検索部９２５は、実施の形態２の位置合わせ処理部５２０の一部の機能ブロックによって実現される。つまり、使用領域１２２の画像と類似する類似画像を位置合わせ処理によって複数の参照画像から検索する、位置合わせ処理部５２０の一部の機能ブロックが、その画像検索部９２５に相当する。
【０１７８】
画像生成部９３０は、入力画像に高周波成分が含まれるように、その入力画像に対して類似画像を用いた解像度変換処理を行うことによって、上述の出力画像を生成する。なお、この画像生成部９３０は、実施の形態１の学習データベース１１０、学習データ検索部１６０の一部の機能ブロック、合成部１７０および加算部１８０を含む機能ブロックによって実現される。また、この画像生成部９３０は、実施の形態２の高解像度画像生成部５３０によって実現される。
【０１７９】
また、この画像処理装置９００に対応する画像処理方法は、方向特定部９１０、領域決定部９２０、画像検索部９２５および画像生成部９３０のそれぞれによる処理をステップとして含む。
【０１８０】
なお、画像処理装置９００に含まれる、方向特定部９１０、領域決定部９２０、画像検索部９２５および画像生成部９３０の全てまたは一部は、ＬＳＩ（Large Scale Integration：大規模集積回路）等のハードウエアで構成されてもよい。また、方向特定部９１０、領域決定部９２０、画像検索部９２５および画像生成部９３０の全てまたは一部は、ＣＰＵ（Central Processing Unit）等のプロセッサにより実行されるプログラムのモジュールであってもよい。また、画像処理装置９００は集積回路として構成されてもよい。
【０１８１】
また、例えば、学習データベース１１０に格納される、学習高周波画像Ｐ１１のサイズと、その学習高周波画像Ｐ１１に対応する学習中周波画像Ｐ１２のサイズとは異なっていてもよい。また、この場合、例えば、実施の形態１における学習高周波画像Ｐ１１の探索（選択）は、仮拡大画像１２１の代わりに入力画像１０１を用いて行われてもよい。
【０１８２】
また、例えば、上記各実施の形態における画像処理装置を備える光ディスク記録装置、動画像送信装置、デジタルテレビ放送送出装置、Ｗｅｂサーバ、通信装置、または携帯情報端末等は、本発明に含まれるのは言うまでもない。これと同様に、上記各実施の形態における画像処理装置を備える動画像受信装置、動画像記録装置、静止画記録装置、デジタルテレビ放送受信装置、通信装置、または携帯情報端末等も、本発明に含まれるのは言うまでもない。ここで、動画像記録装置とは例えばカムコーダやＷｅｂなどであり、静止画記録装置とは例えばデジタルスチルカメラなどである。
【０１８３】
また、上記各実施の形態で用いた全ての数値は、本発明を具体的に説明するための一例の数値である。すなわち、本発明は、上記実施の形態で用いた各数値に制限されない。
【０１８４】
また、本発明に係る画像処理方法は、図６における全てのステップを必ずしも含む必要はない。すなわち、本発明に係る画像処理方法は、本発明の効果を実現できる最小限のステップのみを含めばよい。
【０１８５】
また、上記各実施の形態において実行される画像処理方法の各ステップの順序は、本発明を具体的に説明するための一例であり、上記以外の順序であってもよい。また、画像処理方法におけるステップの一部と、他のステップとは、互いに独立して並列に実行されてもよい。例えば、図６のステップＳ１００２，Ｓ１００３の処理と、ステップＳ１００４，Ｓ１００５の処理とは、互いに独立して並列に実行されてもよい。
【０１８６】
なお、画像処理装置１００，５００の各機能パッチ（構成要素）の全てまたは一部は典型的には集積回路であるＬＳＩ（Large Scale Integration）として実現される。これらは個別に１チップ化されても良いし、一部または全てを含むように１チップ化されても良い。
【０１８７】
ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ（Integrated Circuit）、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【０１８８】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサーで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。
【０１８９】
さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能パッチの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
【０１９０】
また、各機能パッチ（構成要素）のうち、検索対象となるデータを格納する部だけ１チップ化せずに別構成としても良い。
【０１９１】
なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の画像処理装置などを実現するソフトウェアは、次のようなプログラムである。
【０１９２】
すなわち、このプログラムは、コンピュータに、入力画像に含まれるエッジに沿った方向であるエッジ方向を特定する方向特定ステップと、エッジの少なくとも一部を含む領域である使用領域の形状を、特定された前記エッジ方向に応じて決定する領域決定ステップと、決定された形状の使用領域内の画像に類似する類似画像を検索する画像検索ステップと、入力画像に高周波成分が含まれるように、入力画像に対して類似画像を用いた解像度変換処理を行うことによって、出力画像を生成する画像生成ステップとを実行させる。
【０１９３】
以上、本発明の一つまたは複数の態様に係る画像処理装置および画像処理方法について、各実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を各実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の一つまたは複数の態様の範囲内に含まれてもよい。
【０１９４】
また、今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【産業上の利用可能性】
【０１９５】
本発明に係る画像処理方法および画像処理装置は、より精細感の高い高解像度画像を生成することができ、例えばカムコーダやデジタルスチルカメラなどに有用である。
【符号の説明】
【０１９６】
５０ 学習画像生成装置
１００，６００，５００，９００ 画像処理装置
１０１ 入力画像
１０２，６０２ 出力画像
１１０，６１０ 学習データベース
１２０，６０５ 画像拡大部
１２１，６０６ 仮拡大画像
１２２ 使用領域
１３０ エッジ方向算出部
１３１ エッジ方向
１４０ 領域算出部
１４１ 領域座標情報
１５０ 特徴データ抽出部
１５１ 領域特徴データ
１６０，６３０ 学習データ検索部
１７０ 合成部
１７１ 合成画像
１８０，６８０ 加算部
６２０ 探索ベクトル生成部
６２１ 探索ベクトル
６３１ 高周波成分データ
８００ テレビジョン受像機
【技術分野】
【０００１】
この発明は、入力画像を用いて、該入力画像より解像度が高い出力画像を生成する画像処理方法、画像処理装置、集積回路およびプログラムに関するものである。
【背景技術】
【０００２】
高解像度ディスプレイにおいて、表示対象の画像の解像度が不足している場合には、ディスプレイの解像度に合うように、表示対象の画像を拡大する必要がある。
【０００３】
画像の高解像度化手法は古くから提案されてきたが、実用化のためには処理量の制限があり、単純な補間拡大と強調処理の組合せにより対応してきた。そのため、ボケたり、エッジのジャギが目立つといった画質劣化が生じる問題があった。
【０００４】
近年、ハードウェアの高性能化により画像拡大に多くの処理量を割くことが可能となった。そこで、複雑な処理による高品位な解像度変換が可能な「超解像技術」に注目が集まっている。
【０００５】
超解像技術を用いた画像処理方法の中で、高解像度画像と低解像度画像の対応関係の事例を学習したデータベースを用いる方式は学習方式と呼ばれる（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００３−０１８３９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記特許文献１の画像処理方法では、入力画像を適切に高解像度化することができないという問題がある。
【０００８】
そこで、本発明の目的は、かかる問題に鑑みてなされたものであって、入力画像を適切に高解像度化する画像処理方法を提供することにある。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明の一態様に係る画像処理方法は、入力画像を用いて、前記入力画像より解像度が高い出力画像を生成する画像処理方法であって、前記入力画像に含まれるエッジに沿った方向であるエッジ方向を特定する方向特定ステップと、前記エッジの少なくとも一部を含む領域である使用領域の形状を、特定された前記エッジ方向に応じて決定する領域決定ステップと、決定された形状の前記使用領域内の画像に類似する類似画像を検索する画像検索ステップと、前記入力画像に高周波成分が含まれるように、前記入力画像に対して前記類似画像を用いた解像度変換処理を行うことによって、前記出力画像を生成する画像生成ステップとを含む。
【００１０】
なお、これらの全般的または具体的な態様は、システム、装置、集積回路、またはコンピュータプログラムまたは記録媒体で実現されてもよく、システム、装置、集積回路、およびコンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
【発明の効果】
【００１１】
本発明の画像処理方法では、入力画像を適切に高解像度化することができる。
【図面の簡単な説明】
【００１２】
【図１】図１は、学習方式の画像処理装置の構成を示すブロック図である。
【図２】図２は、学習方式の画像処理装置によって行われる画像処理のフローチャートである。
【図３】図３は、本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。
【図４】図４は、本発明の実施の形態１に係る学習データベースに格納されているデータを示す図である。
【図５】図５は、本発明の実施の形態１に係る学習画像生成装置の構成を示すブロック図である。
【図６】図６は、本発明の実施の形態１に係る画像処理装置によって行われる画像処理のフローチャートである。
【図７】図７は、本発明の実施の形態１に係る画像処理方法を説明するための説明図である。
【図８】図８は、本発明の実施の形態１に係る、複数のブロックから構成される仮拡大画像を示す図である。
【図９Ａ】図９Ａは、本発明の実施の形態１に係る水平方向Ｓｏｂｅｌフィルタを示す図である。
【図９Ｂ】図９Ｂは、本発明の実施の形態１に係る垂直方向Ｓｏｂｅｌフィルタを示す図である。
【図１０Ａ】図１０Ａは、本発明の実施の形態１に係る、垂直方向エッジの場合の使用領域を示す図である。
【図１０Ｂ】図１０Ｂは、本発明の実施の形態１に係る、水平方向エッジの場合の使用領域を示す図である。
【図１１】図１１は、本発明の実施の形態１に係る学習データ検索部による処理を説明するための説明図である。
【図１２】図１２は、本発明の実施の形態２に係る画像処理装置の構成を示すブロック図である。
【図１３】図１３は、本発明の実施の形態２に係る画像処理装置によって行われる画像処理のフローチャートである。
【図１４】図１４は、本発明の実施の形態２に係る位置合わせ処理を説明するための図である。
【図１５Ａ】図１５Ａは、本発明の実施の形態３に係るフレキシブルディスク本体の物理フォーマットの例を示す図である。
【図１５Ｂ】図１５Ｂは、本発明の実施の形態３に係るフレキシブルディスクの正面の外観、その断面構造、およびフレキシブルディスク本体の正面の外観を示す図である。
【図１５Ｃ】図１５Ｃは、本発明の実施の形態３に係るフレキシブルディスク本体にプログラムを記録してそのプログラムを再生するための構成を示す図である。
【図１６】図１６は、本発明の実施の形態４に係るテレビジョン受像機の構成を示す図である。
【図１７】図１７は、本発明の他の態様に係る画像処理装置の機能構成を示すブロック図である。
【発明を実施するための形態】
【００１３】
（本発明の基礎となった知見）
本発明者は、上記特許文献１の画像処理方法に関して、学習方式の画像処理装置の一例をあげ、その一例に対して問題が生じることを見出した。
【００１４】
図１は、一例としてあげられる上記学習方式の画像処理装置の構成を示すブロック図である。
【００１５】
図１に示すように、画像処理装置６００は、学習データベース６１０と、画像拡大部６０５と、探索ベクトル生成部６２０と、学習データ検索部６３０と、加算部６８０とを備える。
【００１６】
画像処理装置６００は、インデックスベクトルと該インデックスベクトルに対応する高周波成分データ６３１とが対応づけて格納された学習データベース６１０を用いて、低解像度の入力画像６０１を高解像度の出力画像６０２に変換する。インデックスベクトルは、低周波成分の画像である。
【００１７】
学習データベース６１０には、複数のインデックスベクトルと、当該複数のインデックスベクトルにそれぞれ対応する複数の高周波成分データ６３１とが格納されている。インデックスベクトルおよび高周波成分データ６３１は、ブロック形状の画像である。
【００１８】
図２は、画像処理装置６００によって行われる画像処理のフローチャートである。
【００１９】
ステップＳ４００１では、画像拡大部６０５が、入力画像６０１を拡大して仮拡大画像６０６を生成する。
【００２０】
以下の処理は、拡大された入力画像６０１である仮拡大画像６０６内の処理対象ブロック毎に行われる。
【００２１】
ステップＳ４００２では、探索ベクトル生成部６２０が、処理対象ブロックと同一形状の領域であって、その処理対象ブロックを含む領域内の中周波成分データおよび高周波成分データを仮拡大画像６０６から抽出することによって、探索ベクトル６２１を生成する。すなわち、探索ベクトル６２１は、処理対象ブロックにおける中周波成分データと、その処理対象ブロックに隣接する隣接ブロックの一部の領域における高周波成分データとから構成されたブロック形状の画像である。
【００２２】
ステップＳ４００３では、学習データ検索部６３０が、学習データベース６１０に格納されている複数のインデックスベクトルのうち、探索ベクトル６２１と最も類似度の高いインデックスベクトルに対応する高周波成分データ６３１を１つ選択する。
【００２３】
ステップＳ４００４では、加算部６８０が、選択した高周波成分データ６３１を仮拡大画像６０６の処理対象ブロックに加算する。このようなステップＳ４００２〜Ｓ４００４の処理がブロックごとに繰り返されることによって、高解像度の出力画像６０２が生成される。
【００２４】
ここで、上記一例としてあげられた学習方式の画像処理装置および画像処理方法では、処理対象ブロックに対して、その処理対象ブロックと同一形状の領域から探索ベクトル６２１が算出される。つまり、この処理対象ブロックが正方形の場合には、正方形の領域から探索ベクトル６２１が算出される。したがって、このような場合には、正方形の対角線と一辺の長さの比がルート２：１であるため、その領域の水平方向または垂直方向の辺は対角線よりも短く、その領域に含まれる、水平方向または垂直方向のエッジの特徴は、対角線に沿う斜め方向のエッジの特徴に比べて少ない傾向にある。つまり、その領域内における対角線の方向に沿ったエッジの特徴を十分に捉えることができても、水平方向あるいは垂直方向に沿ったエッジの特徴を十分に捉えることができない。
【００２５】
そのため、上記一例としてあげられた学習方式の画像処理装置および画像処理方法では、水平方向あるいは垂直方向のエッジを含む領域の特徴と類似する適切なインデックスベクトルを検索することができず、その領域に含まれるブロックの画像を十分に高解像度化することができない。その結果、ブロックごとの超解像効果（高解像度化の精度）が、そのブロックに対応する上述の領域に含まれるエッジの方向によって不均一となってしまう。
【００２６】
この発明は、上述の課題を解決するためになされたものであって、その目的は、あらゆる方向のエッジに対しても同等な超解像効果を得ることによって、入力画像を適切に高解像度化することができる画像処理方法および画像処理装置等を提供することである。
【００２７】
上記目的を達成するために、本発明の一態様に係る画像処理方法は、入力画像を用いて、前記入力画像より解像度が高い出力画像を生成する画像処理方法であって、前記入力画像に含まれるエッジに沿った方向であるエッジ方向を特定する方向特定ステップと、前記エッジの少なくとも一部を含む領域である使用領域の形状を、特定された前記エッジ方向に応じて決定する領域決定ステップと、決定された形状の前記使用領域内の画像に類似する類似画像を検索する画像検索ステップと、前記入力画像に高周波成分が含まれるように、前記入力画像に対して前記類似画像を用いた解像度変換処理を行うことによって、前記出力画像を生成する画像生成ステップとを含む。
【００２８】
これにより、使用領域の形状が固定されておらず、エッジ方向に応じた使用領域の形状が決定されるため、どのような方向のエッジでも、そのエッジの特徴を十分に含む使用領域内の画像を用いることができる。また、そのように決定された形状の使用領域内の画像を用いて、類似画像の検索および解像度変換処理が行われるため、あらゆる方向のエッジに対しても同等な超解像効果を得ることができる。その結果、ブロックごとの超解像効果が不均一になってしまうことを抑えることができ、入力画像を適切に高解像度化することができる。
【００２９】
例えば、前記領域決定ステップでは、特定された前記エッジ方向に垂直な方向の前記使用領域の幅である第１の幅が、前記エッジ方向の前記使用領域の幅である第２の幅よりも長い形状を、前記使用領域の形状として決定してもよい。
【００３０】
入力画像において、エッジ方向に垂直な方向には、エッジ方向よりも多くの画像の特徴が含まれているため、エッジ方向に垂直な方向の第１の幅が、エッジ方向の第２の幅よりも長い形状が使用領域の形状として決定されることによって、あらゆる方向のエッジに対しても高精度の超解像効果を得ることができる。
【００３１】
また、例えば、前記方向特定ステップでは、前記入力画像を構成するブロックごとに、当該ブロック内のエッジに対するエッジ方向を特定し、前記領域決定ステップでは、前記ブロックごとに、当該ブロックに対して特定され前記エッジ方向に応じて、当該ブロックに対する使用領域の形状を決定し、前記画像検索ステップでは、前記ブロックごとに、当該ブロックに対して決定された形状の前記使用領域内の画像に類似する類似画像を検索し、前記画像生成ステップでは、前記ブロックごとに、当該ブロックに対して検索された前記類似画像を用いた解像度変換処理を当該ブロックに対して行うことによって、前記出力画像を生成してもよい。
【００３２】
これにより、ブロックごとに同等な超解像効果を得ることができる。
【００３３】
また、例えば、前記領域決定ステップでは、前記ブロックごとに、当該ブロックに対して特定された前記エッジ方向に垂直な方向の当該ブロックの幅よりも前記第１の幅が長く、且つ、当該ブロックに対して特定された前記エッジ方向の当該ブロックの幅よりも前記第２の幅が短い形状を、当該ブロックに対する前記使用領域の形状として決定してもよい。具体的には、前記領域決定ステップでは、前記ブロックに対応する前記使用領域に含まれる画素の数が、当該ブロックに含まれる画素の数と等しくなるように、または、当該ブロックに含まれる画素の数よりも少なくなるように、前記使用領域の形状を決定する。
【００３４】
これにより、使用領域は、その使用領域に対応するブロックと同じサイズか、そのブロックよりも小さいため、ブロック内の画像に類似する類似画像を検索する場合よりも、検索処理の負担を軽減することができる。
【００３５】
また、例えば、前記画像検索ステップでは、複数の検索用画像と、前記複数の検索用画像のそれぞれに関連付けられた、検索用画像よりも高周波成分を多く含む適用画像とを保持するデータベースを用い、前記データベースに保持される前記複数の検索用画像から、処理対象のブロックに対して決定された形状の前記使用領域内の画像に類似する画像を有する検索用画像を、前記類似画像として検索し、前記画像生成ステップでは、検索された前記類似画像を用い、前記データベースにおいて当該類似画像に関連付けられた適用画像を選択し、選択された前記適用画像を前記処理対象のブロックに加算することによって、前記処理対象のブロックに対して前記解像度変換処理を行ってもよい。
【００３６】
これにより、使用領域内の画像に類似する検索用画像に関連付けてデータベースに保持されている適用画像（学習高周波画像）が処理対象のブロックに加算されることによって、その処理対象のブロックに対する解像度変換処理が行われるため、そのデータベースにおける関連付けを適切にしておくことによって、処理対象のブロックを簡単に高解像度化することができる。
【００３７】
また、例えば、前記画像検索ステップでは、処理対象のブロックに対して決定された形状の前記使用領域内の画像に類似する画像を有する複数の検索用画像を、前記データベースから、複数の類似画像として検索し、前記画像生成ステップでは、検索された前記複数の類似画像を用い、前記データベースにおいて前記複数の類似画像のそれぞれに関連付けられた適用画像を選択し、選択された複数の適用画像を合成することによって合成画像を生成し、前記合成画像を前記処理対象のブロックに加算することによって、前記処理対象のブロックに対して前記解像度変換処理を行ってもよい。
【００３８】
これにより、複数の適用画像が合成された後に、処理対象のブロックに加算されるため、出力画像に含まれるノイズを低減することができる。
【００３９】
また、例えば、前記データベースには、前記ブロックよりも大きいサイズの適用画像が、前記複数の検索用画像のそれぞれに関連付けられて保持され、前記画像生成ステップでは、前記処理対象のブロックよりも大きいサイズの前記合成画像の中心が、前記処理対象のブロックの中心に一致するように、前記合成画像を、前記処理対象のブロックと、前記処理対象のブロックの周辺にある少なくとも１つのブロックの一部分とに加算してもよい。
【００４０】
これにより、適用画像および合成画像が処理対象のブロックよりも大きく、合成画像の中心と処理対象のブロックの中心とが一致するように加算が行われるため、ブロック間の歪を軽減することができる。
【００４１】
また、例えば、前記画像処理方法は、さらに、前記入力画像を拡大する拡大ステップを含み、前記方向特定ステップ、前記領域決定ステップ、前記画像検索ステップ、および前記画像生成ステップでは、拡大された前記入力画像を構成するブロックごとに、当該ブロックに対する処理を実行してもよい。
【００４２】
これにより、入力画像をより適切に高解像度化することができる。
【００４３】
また、例えば、前記画像処理方法は、さらに、拡大された前記入力画像を構成するブロックごとに、低周波成分を除く周波数成分を中周波成分として当該ブロックから抽出する抽出ステップを含み、前記画像検索ステップでは、前記ブロックごとに、当該ブロックに対して決定された形状の前記使用領域内の中周波成分の画像に類似する画像を有する検索用画像を、前記類似画像として検索してもよい。
【００４４】
これにより、入力画像のブロックに含まれる中周波成分の画像が検索に用いられるため、データベース内の検索用画像を中周波成分のみからなる画像とし、その検索用画像に関連付けられる適用画像を高周波成分からなる画像とすることができ、検索用画像に低周波成分が含まれないため、互いに関連付けられる検索用画像と適用画像との相関を高めることができる。その結果、入力画像を適切に高解像度化することができる。
【００４５】
また、例えば、前記画像検索ステップでは、ピクチャとして構成される前記入力画像を含む動画像のうちの、前記入力画像以外の他のピクチャと、決定された形状の前記使用領域内の画像との位置合わせを行うことによって、処理対象のブロックに対する前記類似画像を検索し、前記画像生成ステップでは、検索された前記類似画像を用い、前記他のピクチャ内において前記類似画像の少なくも一部を含む参照ブロックを取得し、前記処理対象のブロックの画素を、前記参照ブロックの画素を用いて補間することによって、前記処理対象のブロックに対して前記解像度変換処理を行ってもよい。
【００４６】
なお、処理対象のブロックに対する類似画像の検索は、他のピクチャと使用領域内の画像との小数画素精度の位置合わせによって、つまり、小数画素精度の動き検出および動き補償によって行われる。これにより、動画像に対して適切な高解像度化を図ることができる。
【００４７】
以下、本発明の１つまたは複数の態様に係る画像処理方法および画像処理装置について、図面を参照しながら具体的に説明する。
【００４８】
なお、以下で説明する各実施の形態は、いずれも本発明の一具体例を示すものである。以下の各実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置および接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の各実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
【００４９】
（実施の形態１）
図３は、本発明の実施の形態１に係る画像処理装置１００の構成を示すブロック図である。この画像処理装置１００は、入力画像を適切に高解像度化する装置であって、外部から受信する入力画像１０１を用いて、その入力画像１０１より解像度が高い出力画像１０２を生成する。入力画像１０１は、動画像および静止画像のいずれであってもよい。
【００５０】
図３に示すように、画像処理装置１００は、学習データベース１１０と、画像拡大部１２０と、エッジ方向算出部１３０と、領域算出部１４０と、特徴データ抽出部１５０と、学習データ検索部１６０と、合成部１７０と、加算部１８０とを備える。
【００５１】
まず、学習データベース１１０について説明する。
【００５２】
図４は、学習データベース１１０に格納されているデータを示す図である。
【００５３】
図４に示すように、学習データベース１１０は、学習高周波画像Ｐ１１［１］，Ｐ１１［２］，・・・，Ｐ１１［Ｋ］と、学習中周波画像Ｐ１２［１］，Ｐ１２［２］，・・・，Ｐ１２［Ｋ］とを格納する。Ｋは２以上の整数である。
【００５４】
以下においては、学習高周波画像Ｐ１１［１］，Ｐ１１［２］，・・・，Ｐ１１［Ｋ］の各々を、単に、学習高周波画像Ｐ１１ともいう。また、以下においては、学習中周波画像Ｐ１２［１］，Ｐ１２［２］，・・・，Ｐ１２［Ｋ］の各々を、単に、学習中周波画像Ｐ１２ともいう。なお、学習中周波画像Ｐ１２は検索用画像であり、学習高周波画像は適用画像である。
【００５５】
学習データベース１１０は、学習高周波画像Ｐ１１と、学習中周波画像Ｐ１２とが対応づけられた学習画像群を複数組格納する。具体的には、学習データベース１１０は、学習画像群Ｐ１０［１］，Ｐ１０［２］，・・・，Ｐ１０［Ｋ］を格納する。言い換えれば、この学習データベース１１０は、複数の検索用画像（学習中周波画像Ｐ１２）と、その複数の検索用画像のそれぞれに関連付けられた、検索用画像よりも高周波成分を多く含む適用画像（学習高周波画像Ｐ１１）とを保持する。
【００５６】
以下においては、学習画像群Ｐ１０［１］，Ｐ１０［２］，・・・，Ｐ１０［Ｋ］の各々を、単に、学習画像群Ｐ１０ともいう。Ｋ組の学習画像群Ｐ１０の各々は、互いに異なる。各学習画像群Ｐ１０は、同一の画像内の同一のブロックから生成された学習高周波画像Ｐ１１および学習中周波画像Ｐ１２が対応づけられた学習画像群である。
【００５７】
次に、学習高周波画像Ｐ１１および学習中周波画像Ｐ１２の生成方法について説明する。学習高周波画像Ｐ１１および学習中周波画像Ｐ１２は、以下の学習画像生成装置５０により生成される。
【００５８】
図５は、学習画像生成装置５０の構成を示すブロック図である。図５には、説明のために、画像処理装置１００に含まれる学習データベース１１０を示す。学習画像生成装置５０は、事前に、例えば、デジタルカメラによる撮影により得られた複数の学習画像Ｐ１の各々を用いて、複数の学習高周波画像Ｐ１１および学習中周波画像Ｐ１２を生成する。学習画像生成装置５０は、一例として、数百枚の学習画像Ｐ１を処理する。
【００５９】
図５に示すように、学習画像生成装置５０は、ローパスフィルタ部５１と、１／Ｎ縮小部５２と、Ｎ倍拡大部５３と、ハイパスフィルタ部５４と、高周波成分抽出部５５とを備える。
【００６０】
高周波成分抽出部５５は、学習画像Ｐ１と、Ｎ倍拡大部５３から送信される後述の学習低周波画像Ｐ４との差分を、学習画像Ｐ１の高周波成分として抽出し、当該高周波成分の画像を固定サイズのブロック単位で分割する。そして、高周波成分抽出部５５は、分割された各ブロックを、学習高周波画像Ｐ１１として、学習データベース１１０に格納する。
【００６１】
なお、高周波成分抽出部５５は、線形フィルタ操作などを用いて学習画像Ｐ１の高周波成分を抽出してもよい。
【００６２】
また、ローパスフィルタ部５１は、線形フィルタ操作などを用いて学習画像Ｐ１の低周波成分を学習低周波画像Ｐ２として抽出する。
【００６３】
１／Ｎ縮小部５２は、学習低周波画像Ｐ２を水平方向および垂直方向にそれぞれＮ分の１に縮小することにより学習低解像度画像Ｐ３を生成する。
【００６４】
Ｎ倍拡大部５３は、学習低解像度画像Ｐ３を水平方向および垂直方向にそれぞれＮ倍に拡大することにより学習低周波画像Ｐ４を生成する。Ｎ倍拡大部５３は、学習低周波画像Ｐ４を、ハイパスフィルタ部５４および高周波成分抽出部５５へ送信する。
【００６５】
ハイパスフィルタ部５４は、線形フィルタ操作などを用いて学習低周波画像Ｐ４の高周波成分を抽出し、当該高周波成分の画像を固定サイズのブロック単位で分割する。そして、ハイパスフィルタ部５４は、分割された各ブロックを、学習中周波画像Ｐ１２として、学習データベース１１０に格納する。
【００６６】
なお、学習画像生成装置５０は、１／Ｎ縮小部５２およびＮ倍拡大部５３を使用せずに、ローパスフィルタ部５１およびハイパスフィルタ部５４のみの処理により、学習中周波画像Ｐ１２を生成してもよい。
【００６７】
学習高周波画像Ｐ１１のサイズは、学習中周波画像Ｐ１２のサイズと同じである。学習高周波画像Ｐ１１および学習中周波画像Ｐ１２の各々のサイズは、一例として、横１８画素×縦１８画素のサイズである。
【００６８】
なお、ハイパスフィルタ部５４および高周波成分抽出部５５は、同一の学習画像Ｐ１内の同一の座標（位置）のブロックに対応する学習高周波画像Ｐ１１および学習中周波画像Ｐ１２を対応づけた学習画像群Ｐ１０を、図４のように、学習データベース１１０に格納する。
【００６９】
学習画像群Ｐ１０を学習データベース１１０に格納するための上記処理が、処理対象となる複数の学習画像Ｐ１全てに対し行われることにより、Ｋ組の学習画像群Ｐ１０が、学習データベース１１０に格納される。Ｋは、一例として、１０万であるとする。すなわち、学習データベース１１０には、一例として、１０万組の学習画像群Ｐ１０が格納されているとする。
【００７０】
なお、各学習画像群Ｐ１０に対応する学習高周波画像Ｐ１１および学習中周波画像Ｐ１２は、同一の学習画像Ｐ１内の同一の座標（位置）のブロックに対応する画像である。
【００７１】
上記処理により、学習データベース１１０には、非常に多くの種類の学習画像群Ｐ１０が格納される。
【００７２】
学習高周波画像Ｐ１１は、後述の合成画像１７１および高解像度な出力画像を生成するための学習データである。つまり、学習データベース１１０は、学習画像Ｐ１の高周波成分から得られた第１学習データ（学習高周波画像Ｐ１１）と、前記学習画像Ｐ１の少なくとも低周波成分から得られた第２学習データ（学習中周波画像Ｐ１２）とが対応づけられた学習データ群をＫ組格納する。
【００７３】
画像拡大部１２０は、入力画像１０１を拡大することによって仮拡大画像１２１を生成する。入力画像１０１は、解像度変換処理の対象となる画像である。入力画像１０１のサイズは、一例として、横１９２０画素×縦１０８０画素のサイズである。なお、入力画像１０１のサイズは、横１９２０画素×縦１０８０画素のサイズに限定されず、例えば、横１４４０画素×縦１０８０画素のサイズであってもよい。
【００７４】
エッジ方向算出部１３０は、詳細は後述するが、拡大された入力画像１０１（仮拡大画像１２１）から水平特徴データおよび垂直特徴データを抽出し、その水平特徴データおよび垂直特徴データに基づき、エッジ方向１３１を算出する。エッジ方向１３１は、エッジに沿う方向であって、エッジの角度を示す。具体的には、エッジ方向１３１は、仮拡大画像１２１内の処理対象とされるブロック（以下、処理対象ブロックという）に含まれる大きな輝度変化を示す画素の配列方向に対して垂直な角度を表す。つまり、エッジ方向算出部１３０は、拡大された入力画像１０１である仮拡大画像１２１を構成するブロックごとに、そのブロックに含まれるエッジに沿った方向であるエッジ方向を特定する。
【００７５】
領域算出部１４０は、詳細は後述するが、エッジ方向１３１に基づき、学習中周波画像Ｐ１２との類似度を算出するための領域特徴データ１５１を抽出するために使用する仮拡大画像１２１内の使用領域を算出する。つまり、領域算出部１４０は、上述のブロックごとに、そのブロック内のエッジの少なくとも一部を含む領域である使用領域の形状を、そのブロックに対して特定されたエッジ方向に応じて決定する。
【００７６】
特徴データ抽出部１５０は、使用領域から領域特徴データ１５１を抽出する。この領域特徴データ１５１は中周波成分の画像である。つまり、特徴データ抽出部１５０は、拡大された入力画像１０１である仮拡大画像１２１を構成するブロックごとに、低周波成分を除く周波数成分を領域特徴データ１５１としてそのブロックから抽出する。
【００７７】
学習データ検索部１６０は、詳細は後述するが、領域特徴データ１５１と、学習データベース１１０に格納されるＫ個の学習中周波画像Ｐ１２の各々との類似度を算出する。そして、学習データ検索部１６０は、算出した類似度に基づいて、複数の学習中周波画像Ｐ１２にそれぞれ対応する複数の学習高周波画像Ｐ１１を選択する。つまり、学習データ検索部１６０は、学習データベース１１０を用い、その学習データベース１１０に保持されるＫ個の検索用画像（学習中周波画像Ｐ１２）から、処理対象のブロックに対して決定された形状の使用領域内の画像に類似する画像を有する複数の検索用画像をそれぞれ類似画像として検索する。そして、学習データベース１１０は、検索された複数の類似画像を用い、学習データベース１１０においてその複数の類似画像（学習中周波画像Ｐ１２）のそれぞれに関連付けられた適用画像（学習高周波画像Ｐ１１）を選択する。
【００７８】
合成部１７０は、詳細は後述するが、選択された複数の学習高周波画像Ｐ１１を用いて、合成画像１７１を生成する。つまり、合成部１７０は、選択された複数の適用画像（学習高周波画像Ｐ１１）を合成することによって合成画像１７１を生成する。
【００７９】
加算部１８０は、詳細は後述するが、仮拡大画像１２１にブロック単位で合成画像１７１を加算することにより、出力画像１０２を生成する。つまり、加算部１８０は、合成画像１７１を処理対象のブロックに加算することによって、その処理対象のブロックに対して解像度変換処理を行う。加算部１８０は、このような加算をブロックごとに行うことによって、出力画像１０２を生成する。
【００８０】
なお、図１および図２に示される画像処理装置および画像処理方法では、処理対象ブロックと同一形状の領域から抽出した特徴データ（検索ベクトル）を用いて、１つの高周波成分データを選択する。一方、本実施の形態では、エッジの方向に応じて、エッジの特徴を捉えやすい形状の領域から抽出した領域特徴データを用いて、複数の学習高周波画像Ｐ１１を選択する。
【００８１】
次に、画像処理装置１００が行う画像処理の方法について、図６〜図１１を用いて具体的に説明する。
【００８２】
図６は、実施の形態１に係る画像処理装置１００によって行われる画像処理のフローチャートである。ここでは、入力画像１０１は静止画像であるとして説明する。
【００８３】
画像処理装置１００は、学習データベース１１０に格納された画像を用いて、入力画像１０１を高解像度な出力画像１０２に変換する。
【００８４】
ステップＳ１００１では、画像拡大部１２０が、図７に示すように、入力画像１０１を、水平方向および垂直方向にそれぞれＮ（Ｎは１より大きい実数）倍に拡大することにより、仮拡大画像１２１を生成する。なお、入力画像１０１の拡大の処理には、例えばバイキュービック法が用いられる。本実施の形態では、入力画像１０１は、一例として、水平方向および垂直方向にそれぞれ２倍に拡大されるとする。
【００８５】
すなわち、ステップＳ１００１は、前記入力画像１０１を拡大することによって、拡大画像（仮拡大画像１２１）を生成する拡大ステップである。
【００８６】
なお、入力画像１０１の拡大の処理は、バイキュービック法に限定されず、例えば、スプライン補間法などの画素補間手法であってもよい。また、入力画像１０１の水平方向および垂直方向の拡大率は互いに異なってもよい。例えば、７２０×４８０画素のサイズの入力画像を、１９２０×１０８０画素のサイズの画像に拡大する場合、当該入力画像の水平方向の拡大率と、当該入力画像の垂直方向の拡大率とは異なる。
【００８７】
なお、画像の拡大処理は、画像のサイズを入力画像１０１より大きくすることに限定されるものでない。例えば、Ｎが１以下で入力画像１０１が処理されても良い。
【００８８】
図８に示すように、画像拡大部１２０は、仮拡大画像１２１を複数のブロックＮＢに分割する。複数のブロックＮＢはｍ行ｎ列の行列を構成する。以下においては、仮拡大画像１２１内のｍ行ｎ列にあるブロックＮＢを、ブロックＮＢ［ｍｎ］とも表記する。例えば、仮拡大画像１２１内の１行２列にあるブロックＮＢは、ブロックＮＢ［１２］と表記される。
【００８９】
ブロックＮＢのサイズは、学習高周波画像Ｐ１１および学習中周波画像Ｐ１２のサイズより小さい。ブロックＮＢのサイズは、一例として、横１２画素×縦１２画素のサイズである。
【００９０】
なお、ブロックＮＢのサイズは、学習高周波画像Ｐ１１および学習中周波画像Ｐ１２のサイズより小さいことに限定されない。ブロックＮＢのサイズは、学習高周波画像Ｐ１１および学習中周波画像Ｐ１２のサイズと同じであってもよい。
【００９１】
図６に示すステップＳ１００２〜Ｓ１００７の処理は、仮拡大画像１２１内の各ブロックＮＢ毎に行われる。処理対象ブロックは、ステップＳ１００２〜Ｓ１００７の処理が行われる毎に、異なるブロックＮＢに変更される。
【００９２】
ステップＳ１００２は方向特定ステップであって、このステップＳ１００２では、エッジ方向算出部１３０が、処理対象ブロックに含まれるエッジの方向（エッジ方向）を検出する。具体的には、エッジ方向算出部１３０は、処理対象ブロックＮＢに対し、水平方向ハイパスフィルタおよび垂直方向ハイパスフィルタをかけることにより、水平特徴データＦ４および垂直特徴データＦ５をそれぞれ抽出する。次に、エッジ方向算出部１３０は、水平特徴データＦ４と垂直特徴データＦ５を用いてエッジ方向１３１を、以下の式１より算出する。
【００９３】
エッジ方向１３１＝ａｒｃｔａｎ(Ｆ５／Ｆ４) ・・・（式１）
【００９４】
ただし、エッジ方向算出部１３０は、Ｆ５とＦ４の差分絶対値が設定されたしきい値以下になった場合はエッジ方向１３１＝不定値とする。
【００９５】
例えば図９Ａおよび図９Ｂに示すように、上述の水平方向ハイパスフィルタおよび垂直方向ハイパスフィルタにはそれぞれ、（一次微分）水平方向Ｓｏｂｅｌフィルタと（一次微分）垂直方向Ｓｏｂｅｌフィルタとが用いられるが、これに限定されるものではない。
【００９６】
なお、エッジ方向算出部１３０は、水平特徴データＦ４と垂直特徴データＦ５との差分値と、しきい値Ｔｈとの関係により、以下の式２のように、エッジ方向１３１を３値データとして算出しても良い。
【００９７】
（Ｆ４−Ｆ５）＞Ｔｈの時、
エッジ方向１３１＝９０°
（Ｆ４−Ｆ５）＜−Ｔｈの時、
エッジ方向１３１＝０° ・・・（式２）
−Ｔｈ≦（Ｆ４−Ｆ５）≦Ｔｈの時、
エッジ方向１３１＝不定値
【００９８】
なお、上記のエッジ方向１３１の算出方法は実施の典型例であり、これに限定されるものではない。
【００９９】
ステップＳ１００３は領域決定ステップであって、このステップＳ１００３では、領域算出部１４０が、エッジ方向１３１に基づいて、学習データベース１１０の検索を行うために使用する仮拡大画像１２１内の使用領域を算出する。
【０１００】
図１０Ａは、垂直方向のエッジ方向１３１に対して算出される使用領域を示す図である。また、図１０Ｂは、水平方向のエッジ方向１３１に対して算出される使用領域を示す図である。
【０１０１】
具体的には、領域算出部１４０は、図１０Ａおよび図１０Ｂに示すように、エッジ方向１３１に垂直な方向に対して長い辺を取ると同時に、エッジ方向１３１に水平な方向に対して短い辺を取る長方形となる使用領域１２２を算出する。つまり、領域算出部１４０は、ステップＳ１００２で特定されたエッジ方向に垂直な方向の使用領域１２２の幅である第１の幅が、そのエッジ方向の使用領域１２２の幅である第２の幅よりも長い形状を、使用領域１２２の形状として決定する。このように、入力画像１０１において、エッジ方向に垂直な方向には、エッジ方向よりも多くの画像の特徴が含まれているため、第１の幅が第２の幅よりも長い形状が使用領域１２２の形状として決定されることによって、あらゆる方向のエッジに対しても高精度の超解像効果を得ることができる。
【０１０２】
また、領域算出部１４０は、ブロックごとに、そのブロックに対して特定されたエッジ方向に垂直な方向のそのブロックの幅よりも第１の幅が長く、且つ、そのブロックに対して特定されたエッジ方向のそのブロックの幅よりも第２の幅が短い形状を、そのブロックに対する使用領域１２２の形状として決定する。具体的には、領域算出部１４０は、そのブロックに対応する使用領域１２２に含まれる画素の数が、そのブロックに含まれる画素の数と等しくなるように、または、そのブロックに含まれる画素の数よりも少なくなるように、使用領域１２２の形状を決定する。これにより、使用領域１２２は、その使用領域１２２に対応するブロックと同じサイズか、そのブロックよりも小さいため、ブロック内の画像に類似する学習中周波画像Ｐ１２（類似画像）を検索する場合よりも、検索処理の負担を軽減することができる。
【０１０３】
また、エッジ方向１３１が不定値の場合、領域算出部１４０は、処理対象ブロックと同一の領域、または処理対象ブロックと異なる大きさであって処理対象ブロックと同一形状の領域を、使用領域として算出する。
【０１０４】
さらに、領域算出部１４０は、算出または決定された使用領域１２２を特定するための情報である領域座標情報１４１を特徴データ抽出部１５０に出力する。この領域座標情報１４１は、例えば使用領域１２２の座標、形状およびサイズなどを示す。
【０１０５】
なお、上記の使用領域１２２は長方形ブロックに限定されるものではない。例えば、楕円形であってもよい。また、上記の使用領域の算出は実施の典型例であり、これに限定されるものではない。
【０１０６】
ステップＳ１００４は抽出ステップであって、このステップＳ１００４では、特徴データ抽出部１５０が、領域座標情報１４１によって特定される仮拡大画像１２１内の使用領域１２２から領域特徴データを抽出する。具体的には、特徴データ抽出部１５０は、線形フィルタ操作などを用いて、その使用領域１２２に対してハイパスフィルタをかけることによって、その使用領域１２２内の中周波成分の画像を領域特徴データ１５１としてその使用領域１２２から抽出する。すなわち、領域特徴データ１５１は、使用領域１２２の各周波数成分のうち、ハイパスフィルタを通過した中周波成分の画像である。つまり、領域特徴データ１５１は、使用領域１２２の低周波成分が削除された画像であって、使用領域１２２の中周波成分の画像である。この場合、領域特徴データ１５１は複数の画素値を示す。
【０１０７】
なお、領域特徴データ１５１に対応する中周波成分の周波数帯域の少なくとも一部は、学習中周波画像Ｐ１２に対応する周波数成分の周波数帯域と重複する。また、領域特徴データ１５１は、学習データベース１１０に対する検索に使用するデータである。
【０１０８】
なお、ステップＳ１００４で処理される使用領域１２２は、仮拡大画像１２１内の領域に限定されない。例えば、ステップＳ１００４で処理される使用領域は、入力画像１０１の処理対象ブロックであっても良い。
【０１０９】
また、領域特徴データ１５１は、ハイパスフィルタを用いて得られたデータに限定されない。領域特徴データ１５１は、例えば、使用領域１２２における、輝度、色差、またはＲＧＢ値等であってもよい。また、領域特徴データ１５１は、例えば、使用領域１２２から得られるモーメント（平均、分散、尖度、または歪度）であってもよい。
【０１１０】
また、領域特徴データ１５１は、例えば、同時生起行列から得られる特徴量（均質性、異質性、コントラスト、平均、標準偏差、角２次モーメント、またはエントロピー）であってもよい。また、領域特徴データ１５１は、例えば、主成分分析における主要成分、独立成分分析における主要成分等であってもよい。
【０１１１】
なお、上記の領域特徴データ１５１は実施の典型例であり、これに限定されるものではない。
【０１１２】
ステップＳ１００５は画像検索ステップと画像生成ステップの一部の処理を含む。このステップＳ１００５では、学習データ検索部１６０が、領域特徴データ１５１と、学習データベース１１０に格納されるＫ個の学習中周波画像Ｐ１２の各々との類似度を算出する。学習データ検索部１６０は、学習中周波画像Ｐ１２のうち、領域特徴データ１５１（使用領域１２２）と同一形状かつ同一面積となる領域のみを使用して、その領域特徴データ１５１と学習中周波画像Ｐ１２との類似度を算出する。
【０１１３】
図１１は、学習データ検索部１６０による処理を説明するための説明図である。
【０１１４】
図１０Ａに示すように、処理対象ブロックＮＢ［ｎｍ］のエッジ方向１３１が９０°（垂直方向）の場合、使用領域１２２は水平方向に長辺をとる長方形となる。ここで、長方形の使用領域１２２内の画素数は、１８画素×８画素（＝１４４画素）であり、処理対象ブロックＮＢ［ｎｍ］内の画素数である１２画素×１２画素（＝１４４画素）と同じである。この場合、学習データ検索部１６０は、図１１に示すように、学習中周波画像Ｐ１２のうち、使用領域１２２と同一形状かつ同一面積である比較対象領域１６１を、領域特徴データ１５１との類似度の算出に使用する。なお、比較対象領域１６１の重心と学習中周波画像Ｐ１２の重心は一致する。
【０１１５】
学習データ検索部１６０は、例えば、領域特徴データ１５１が示す複数の画素値と、各学習中周波画像Ｐ１２の比較対象領域１６１が示す複数の画素値との差分絶対値和（マンハッタン距離）によって類似度を算出する。当該差分絶対値和が小さい程、領域特徴データ１５１と学習中周波画像Ｐ１２との類似度は高くなる。なお、類似度は、差分二乗和（ユークリッド距離）を用いて算出されてもよい。
【０１１６】
そして、学習データ検索部１６０は、算出した複数の類似度に基づいて、領域特徴データ１５１に対して類似度が高い上位Ｌ（２以上の整数）個の学習中周波画像Ｐ１２を選択する。Ｌは、２≦Ｌ≦Ｋの関係式を満たす整数である。Ｌは、予め定められた定数である。本実施の形態において、Ｌは、一例として“３２”であるとする。
【０１１７】
選択されたＬ個の学習中周波画像Ｐ１２は、領域特徴データ１５１と最も類似度が高い学習中周波画像Ｐ１２を含む。言い換えれば、選択されたＬ個の学習中周波画像Ｐ１２にそれぞれ対応するＬ個の類似度は、ステップＳ１００５において算出された全ての類似度のうち、値が大きい方から数えた場合における上位Ｌ個の類似度である。
【０１１８】
このように、学習データ検索部１６０は、ステップＳ１００５に含まれる画像検索ステップにおいて、処理対象ブロックに対して決定された形状の使用領域１２２内の画像に類似する画像を有する複数の学習中周波画像Ｐ１２（検索用画像）を、学習データベース１１０から、複数の類似画像として検索する。
【０１１９】
そして、学習データ検索部１６０は、学習データベース１１０に格納されるＫ個の学習高周波画像Ｐ１１のうち、選択したＬ個の学習中周波画像Ｐ１２にそれぞれ対応するＬ個の学習高周波画像Ｐ１１を選択する。言い換えれば、学習データ検索部１６０は、学習データベース１１０において、Ｋ個の学習高周波画像Ｐ１１のうち、仮拡大画像１２１内の処理対象ブロックの特徴を示す領域特徴データと類似するＬ個の学習中周波画像Ｐ１２にそれぞれ対応するＬ個の学習高周波画像Ｐ１１を選択する。つまり、学習データ検索部１６０は、ステップＳ１００５に含まれる画像生成ステップの一部の処理として、検索された複数の学習中周波画像Ｐ１２（類似画像）を用い、学習データベース１１０においてその複数の学習中周波画像Ｐ１２（類似画像）のそれぞれに関連付けられた学習高周波画像Ｐ１１（適用画像）を選択する。
【０１２０】
そして、学習データ検索部１６０は、選択したＬ個の学習高周波画像Ｐ１１を、合成部１７０へ送信する。
【０１２１】
すなわち、ステップＳ１００５では、学習データ検索部１６０が、前記領域特徴データ１５１と、前記Ｋ個の学習中周波画像Ｐ１２の各々との類似度を算出し、前記領域特徴データ１５１に対して類似度が高い上位Ｌ個の学習中周波画像Ｐ１２にそれぞれ対応する前記Ｌ個の学習高周波画像Ｐ１１を選択する。
【０１２２】
なお、本発明は、ハイパスフィルタを用いて抽出された高周波成分を示す学習高周波画像Ｐ１１に限定されず、その代わりに、学習画像Ｐ１の輝度、色差、あるいはＲＧＢ値等を用いてもよい。
【０１２３】
なお、本発明は、ローパスフィルタおよびハイパスフィルタを用いて抽出された中周波成分を示す学習中周波画像Ｐ１２に限定されず、その代わりに、例えば、学習画像Ｐ１の輝度、色差、あるいはＲＧＢ値等を用いてもよく、学習画像Ｐ１から得られるモーメント（平均、分散、尖度、または歪度）を用いてもよい。あるいは、学習中周波画像Ｐ１２の代わりに、例えば、同時生起行列から得られる特徴量（均質性、異質性、コントラスト、平均、標準偏差、角２次モーメント、またはエントロピー）を用いてもよく、主成分分析における主要成分、または独立成分分析における主要成分等を用いてもよい。
【０１２４】
ステップＳ１００６は画像生成ステップの一部の処理を含む。このステップＳ１００６では、合成部１７０が、選択された前記Ｌ個の学習高周波画像Ｐ１１（適用画像）を合成することにより合成画像１７１を生成する。
【０１２５】
ステップＳ１００７は画像生成ステップの一部の処理を含む。このステップＳ１００７では、図７に示すように、加算部１８０が、合成画像１７１を、仮拡大画像１２１内における、該合成画像１７１に対応するブロックＮＢ（処理対象ブロック）に加算する。これにより、処理対象ブロックに対して解像度変換処理が行われる。合成画像１７１は、処理対象ブロックよりも高精細な画像である。
【０１２６】
以下に、一例を挙げて、合成画像１７１の加算処理について詳細に説明する。例えば、処理対象ブロックが、図８の仮拡大画像１２１のブロックＮＢ［１１］であるとする。合成部１７０は、合成画像１７１の中心位置が、ブロックＮＢ［１１］の中心位置と一致するように、ブロックＮＢ［１１］を構成する各画素の画素値に対し、合成画像１７１を構成する各画素の画素値を加算する。
【０１２７】
以上のステップＳ１００２〜Ｓ１００７の処理が、仮拡大画像１２１内の全てのブロックＮＢに対して行われる。これにより、出力画像１０２が生成される。すなわち、ステップＳ１００７の処理が繰り返し行われることで、加算部１８０は、該合成画像１７１を仮拡大画像１２１に加算することにより、出力画像１０２を生成する。つまり、加算部１８０は、該合成画像１７１を用いて前記出力画像１０２を生成する。
【０１２８】
また、ステップＳ１００７の処理が繰り返されることにより、図８のように、各合成画像１７１は、仮拡大画像１２１内の各隣り合う複数のブロックＮＢに加算される。このとき、合成画像１７１はブロックＮＢのサイズよりも大きいため、互いに隣り合うブロックＮＢの境界付近にあるブロックＮＢの画素に対しては、２つの合成画像１７１の画素が重複して加算される。ここで、各隣り合う複数のブロックＮＢは、例えば、ブロックＮＢ［１１］，ＮＢ［１２］，ＮＢ［２１］，ＮＢ［２２］である。つまり、本実施の形態では、学習データベース１１０には、ブロックＮＢよりも大きいサイズの学習高周波画像Ｐ１１（適用画像）が、複数の学習中周波画像Ｐ１２（検索用画像）のそれぞれに関連付けられて保持されている。そのため、画像生成ステップでは、加算部１８０は、処理対象ブロックＮＢよりも大きいサイズの合成画像１７１の中心が、処理対象ブロックＮＢの中心に一致するように、合成画像１７１を、処理対象ブロックＮＢと、処理対象ブロックＮＢの周辺にある少なくとも１つのブロックＮＢの一部分とに加算する。これにより、出力画像１０２におけるブロック間の歪を軽減することができる。
【０１２９】
以上説明した画像処理は、処理対象の入力画像１０１が静止画像である場合の処理である。入力画像１０１が動画像である場合は、動画像を構成する１フレーム毎に上記の画像処理が繰り返し行われる。
【０１３０】
これにより、実施の形態１に係る画像処理装置１００は、膨大な処理量の追加を行うことなく、あらゆる方向のエッジにおいても高解像度な出力画像１０２を生成することができる。
【０１３１】
このように、本実施の形態では、使用領域１２２の形状が固定されておらず、エッジ方向に応じた使用領域１２２の形状が決定されるため、どのような方向のエッジでも、そのエッジの特徴を十分に含む使用領域１２２内の画像を用いることができる。また、そのように決定された形状の使用領域１２２内の画像を用いて、類似画像の検索および解像度変換処理が行われるため、あらゆる方向のエッジに対しても同等な超解像効果を得ることができる。その結果、ブロックごとの超解像効果が不均一になってしまうことを抑えることができ、入力画像１０１を適切に高解像度化することができる。
【０１３２】
なお、本実施の形態では、選択された複数の学習高周波画像Ｐ１１を合成することによって合成画像１７１を生成し、その合成画像１７１を処理対象ブロックに加算したが、合成画像１７１を生成することなく、選択された１枚の学習高周波画像Ｐ１１を処理対象ブロックに加算してもよい。つまり、学習データ検索部１６０は、ステップＳ１００５に含まれる画像検索ステップにおいて、学習データベース１１０を用い、その学習データベース１１０に保持される複数の学習中周波画像Ｐ１２（検索用画像）から、処理対象ブロックに対して決定された形状の使用領域１２２内の画像に類似する画像を有する学習中周波画像Ｐ１２を、類似画像として検索する。そして、ステップＳ１００５〜Ｓ１００７の画像生成ステップにおいて、学習データ検索部１６０は、検索された類似画像を用い、学習データベース１１０においてその類似画像に関連付けられた学習高周波画像Ｐ１１（適用画像）を選択する。さらに、その画像生成ステップにおいて、加算部１８０は、選択されたその学習高周波画像Ｐ１１（適用画像）を処理対象ブロックに加算することによって、処理対象ブロックに対して解像度変換処理を行う。
【０１３３】
（実施の形態２）
次に、本発明の実施の形態２に係る画像処理装置について説明する。
【０１３４】
図１２は、本発明の実施の形態２に係る画像処理装置５００の構成を示すブロック図である。本実施の形態に係る画像処理装置５００は、学習データベース１１０を用いることなく、画像の動きを利用した超解像技術によって、つまり、小数画素精度の位置合わせおよび画素補間を行うことによって、入力画像１０１より解像度が高い出力画像１０２を生成する。
【０１３５】
画像処理装置５００は、例えば、図示しない外部デコーダから、復号済みの動画像ＭＶ１０を受信する。動画像ＭＶ１０は、例えば、Ｈ．２６４／ＡＶＣ規格に従った復号により得られた動画像である。なお、動画像ＭＶ１０は、Ｈ．２６４／ＡＶＣ規格に限定されず、例えば、ＭＰＥＧ−２規格に従った復号により得られた動画像であってもよい。
【０１３６】
動画像ＭＶ１０は、一例として、１つのＧＯＰ（Group Of Pictures）に対応する動画像であるとする。動画像ＭＶ１０は複数のピクチャから構成される。画像処理装置５００は、動画像ＭＶ１０を構成するＱ（２以上の整数）枚のピクチャのうち、例えば、表示順で先頭のピクチャを、入力画像１０１として受信する。本実施の形態において、入力画像１０１は、静止画像である。本実施の形態では、Ｑは、一例として、１０であるとする。
【０１３７】
詳細は後述するが、本実施の形態では、低解像度な入力画像１０１のブロックごとに、そのブロックに対する使用領域と、予め定められた定数であるＬ枚の低解像度な参照画像とを位置合わせして、その位置合わせの結果に基づいて補間画素値を推定し、出力画像１０２を生成する。なお、Ｌ枚の低解像度な参照画像のそれぞれは、入力画像１０１とは異なる、上述のＱ枚のピクチャに含まれるピクチャである。
【０１３８】
図１２に示すように、画像処理装置５００は、エッジ方向算出部１３０と、領域算出部１４０と、位置合わせ処理部５２０と、高解像度画像生成部５３０とを備える。
【０１３９】
エッジ方向算出部１３０は、入力画像１０１を構成するブロックごとに、実施の形態１と同様の方法でエッジ方向１３１を算出する。領域算出部１４０は、入力画像１０１を構成するブロックごとに、そのブロックに対して算出されたエッジ方向１３１に応じて、そのブロックに対する使用領域１２２を算出する。そして、領域算出部１４０は、その使用領域１２２を特定するための情報である領域座標情報１４１を出力する。
【０１４０】
位置合わせ処理部５２０は、例えば、図示しない外部デコーダから、Ｑ枚のピクチャから構成される動画像ＭＶ１０を受信する。位置合わせ処理部５２０は、詳細は後述するが、位置合わせ処理を行う。位置合わせ処理部５２０は、処理対象ブロックに対して算出された使用領域１２２と、Ｌ枚の参照画像との位置合わせを行う。つまり、位置合わせ処理部５２０は、ピクチャとして構成される入力画像１０１を含む動画像ＭＶ１０のうちの、入力画像１０１以外の他のピクチャと、決定された形状の使用領域１２２内の画像との位置合わせを行うことによって、処理対象のブロックに対する類似画像を検索する。なお、その位置合わせは、例えば小数画素精度で行われる。
【０１４１】
図１３は、実施の形態２に係る画像処理装置５００によって行われる画像処理のフローチャートである。
【０１４２】
入力画像１０１は、複数のブロックに分割される。以下においては、入力画像１０１を構成する複数のブロックのうち、処理対象となるブロックを、処理対象ブロックＰＢともいう。処理対象ブロックＰＢのサイズは、一例として、横８画素×縦８画素のサイズである。
【０１４３】
ステップＳ１００２では、実施の形態１と同様、エッジ方向算出部１３０が、処理対象ブロックＰＢに含まれるエッジの方向であるエッジ方向１３１を算出する。そして、エッジ方向算出部１３０は、算出したエッジ方向１３１を領域算出部１４０へ送信する。
【０１４４】
ステップＳ１００３では、実施の形態１と同様、領域算出部１４０が、処理対象ブロックＰＢのエッジ方向１３１に基づいて、その処理対象ブロックＰＢに対する入力画像１０１内の使用領域１２２を算出する。そして、領域算出部１４０は、その使用領域１２２を特定するための情報である領域座標情報１４１を位置合わせ処理部５２０へ送信する。
【０１４５】
ステップＳ３００３は本実施の形態における画像検索ステップであって、このステップＳ３００３では、位置合わせ処理が行われる。位置合わせ処理では、位置合わせ処理部５２０が、領域座標情報１４１によって特定される前記入力画像１０１内の使用領域１２２と、Ｌ枚の参照画像のそれぞれとの位置合わせを行う。
【０１４６】
具体的には、まず、位置合わせ処理部５２０が、Ｑ枚のピクチャのうち、例えば、表示順で２〜（Ｌ＋１）番目までのピクチャを参照画像とする。ここで、Ｌ＝４であるとして、説明する。
【０１４７】
図１４は、位置合わせ処理を説明するための図である。
【０１４８】
図１４では、一例として、ピクチャＰＣ［１］，ＰＣ［２］，ＰＣ［３］，ＰＣ［４］，ＰＣ［５］が示される。ピクチャＰＣ［１］〜ＰＣ［５］は、それぞれ、１〜５番目までのピクチャに対応する。
【０１４９】
ピクチャＰＣ［１］は入力画像１０１である。ピクチャＰＣ［１］には、処理対象ブロックＰＢと、処理対象ブロックＰＢに対して算出された使用領域１２２とが示される。ピクチャＰＣ［２］，ＰＣ［３］，ＰＣ［４］，ＰＣ［５］は参照画像である。使用領域１２２の画像に類似する類似画像１２２ａ〜１２２ｄが位置合わせ処理によって各参照画像から検索される。各参照画像内のブロックＲＢ［ｎ（整数）］は、類似画像１２２ａ〜１２２ｄのそれぞれに対応する参照ブロックである。
【０１５０】
位置合わせ処理では、位置合わせ処理部５２０が、処理対象ブロックＰＢとピクチャＰＣ［２］，ＰＣ［３］，ＰＣ［４］，ＰＣ［５］との位置合わせを行う。例えば、位置合わせ処理部５２０は、各参照画像に対して小数画素の画素値を算出することで、各参照画像の画素を補間する。そして、位置合わせ処理部５２０は、使用領域１２２の画像に類似する類似画像１２２ａ〜１２２ｄを小数画素精度で各参照画像から検出（検索）する。例えば、使用領域１２２の各画素値と、類似画像の各画素値との差分絶対値和が最小となるように、その類似画像を検出する。さらに、位置合わせ処理部５２０は、使用領域１２２と、類似画像１２２ａ〜１２２ｂのそれぞれとの間の位置のずれを位置ずれ量（動きベクトル）５２１として小数画素精度で検出する。そして、位置合わせ処理部５２０は、参照画像ごとに、その参照画像に対して検出された位置ずれ量５２１を高解像度画像生成部５３０に出力するとともに、その参照画像も参照データ５２２として高解像度画像生成部５３０に出力する。
【０１５１】
ステップＳ３００４は本実施の形態における画像生成ステップであって、このステップＳ３００４では、画素補間処理が行われる。画素補間処理では、高解像度画像生成部５３０が、参照画像ごとに、その参照画像に対して検出された位置ずれ量５２１だけ処理対象ブロックＰＢからずれた位置にある参照ブロックＲＢを参照データ５２２（参照画像）から抽出または取得する。そして、高解像度画像生成部５３０は、処理対象ブロックＰＢの画素を、それらの参照画像から抽出された参照ブロックＲＢ［２］〜ＲＢ［５］の画素を用いて補間することによって、処理対象ブロックＰＢに対して解像度変換処理を行う。
【０１５２】
以上のステップＳ１００２、Ｓ１００３、Ｓ３００３およびＳ３００４の処理が、入力画像１０１内の全てのブロックに対して行われる。これにより、出力画像１０２が生成される。すなわち、ステップＳ３００４の処理が繰り返し行われることで、高解像度画像生成部５３０は、入力画像１０１よりも解像度が高い出力画像１０２を生成する。
【０１５３】
なお、入力画像１０１内の全てのブロックに限定されず、入力画像１０１内の指定されたブロックに対して、ステップＳ１００２、Ｓ１００３、Ｓ３００３およびＳ３００４の処理が行われてもよい。
【０１５４】
このように、本実施の形態では、実施の形態１と同様に、使用領域１２２の形状が固定されておらず、エッジ方向に応じた使用領域１２２の形状が決定されるため、あらゆる方向のエッジに対しても同等な超解像効果を得ることができる。その結果、ブロックごとの超解像効果が不均一になってしまうことを抑えることができ、入力画像１０１を適切に高解像度化することができる。また、本実施の形態では、処理対象ブロックＰＢに対する類似画像の検索が、他のピクチャと使用領域１２２内の画像との小数画素精度の位置合わせによって、つまり、小数画素精度の動き検出および動き補償によって行われるため、動画像に対して適切な高解像度化を図ることができる。
【０１５５】
（実施の形態３）
さらに、前記各実施の形態で示した画像処理方法を実現するためのプログラムを、フレキシブルディスク等の記録媒体に記録するようにすることにより、前記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。
【０１５６】
図１５Ａ〜図１５Ｃは、前記各実施の形態の画像処理方法を、フレキシブルディスク等の記録媒体に記録されたプログラムを用いて、コンピュータシステムにより実施する場合の説明図である。
【０１５７】
図１５Ｂは、フレキシブルディスクの正面の外観、その断面構造、およびフレキシブルディスク本体の正面の外観を示す図である。図１５Ａは、記録媒体本体であるフレキシブルディスク本体の物理フォーマットの例を示す図である。フレキシブルディスク本体ＦＤはケースＦ内に内蔵され、該フレキシブルディスク本体ＦＤの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、前記プログラムを格納したフレキシブルディスク本体ＦＤでは、前記フレキシブルディスク本体ＦＤ上に割り当てられた領域に、前記プログラムが記録されている。
【０１５８】
また、図１５Ｃは、フレキシブルディスク本体ＦＤに前記プログラムを記録してそのプログラムを再生するための構成を示す図である。画像処理方法を実現する前記プログラムをフレキシブルディスク本体ＦＤに記録する場合は、コンピュータシステムＣｓから前記プログラムをフレキシブルディスクドライブＦＤＤを介して書き込む。また、フレキシブルディスク本体ＦＤ内のプログラムにより画像処理方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブＦＤＤによりプログラムをフレキシブルディスク本体ＦＤから読み出し、コンピュータシステムＣｓに転送する。
【０１５９】
なお、前記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）カードまたはＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）カセット等、プログラムを記録できるものであれば同様に実施することができる。
【０１６０】
（実施の形態４）
図１６は、本発明の実施の形態４における、上記各実施の形態の画像処理装置および画像処理方法を用いたテレビジョン受像機８００の構成を示す図である。
【０１６１】
本実施の形態のテレビジョン受像機８００は、放送受信装置８０１と、入力選択装置８０２と、画像処理装置８０３と、パネル駆動装置８０４と、ディスプレイパネル８０５とを備える。図１６において、各装置８０１から８０４はディスプレイパネル８０５の外部に配置されているが、ディスプレイパネル８０５の内部に配置されていてもよい。
【０１６２】
画像処理装置８０３は、上記実施の形態１または２の画像処理装置１００と同一の機能および構成を有する。
【０１６３】
放送受信装置８０１は、外部アンテナ（図示せず）から出力されるアンテナ出力信号８２１から放送電波を受信し、当該放送電波を復調することによって得られる映像信号を放送映像信号８２２として出力する。
【０１６４】
入力選択装置８０２は、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）或いはＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）レコーダ、またはＤＶＤ或いはＢＤプレイヤなどの外部映像機器から出力された外部映像信号８２０と、放送映像信号８２２とのうちのいずれか一方の映像信号を、ユーザーによる選択に従って選択する。そして、入力選択装置８０２は、選択した映像信号を入力映像信号８２３として出力する。
【０１６５】
画像処理装置８０３は、入力映像信号８２３がインターレース信号の場合は、当該入力映像信号８２３をプログレッシブ信号に変換する。つまり、画像処理装置８０３は、入力映像信号８２３にＩ／Ｐ変換を施す。さらに、画像処理装置８０３は、入力映像信号８２３に対してコントラストを改善する画質改善処理を施してもよい。
【０１６６】
また、画像処理装置８０３は、上述の実施の形態１または２の画像処理方法にしたがった画像処理を入力映像信号８２３に施す。そして、画像処理装置８０３は、その結果を画質改善映像信号８２４として出力する。
【０１６７】
パネル駆動装置８０４は、画質改善映像信号８２４を、ディスプレイパネル８０５を駆動するための専用信号に変換し、専用信号をパネル駆動用映像信号８２５として出力する。
【０１６８】
ディスプレイパネル８０５は、パネル駆動用映像信号８２５に従って電気信号を光信号に変換し、変換した光信号により所望の映像を表示する。
【０１６９】
このように、上記各実施の形態の画像処理装置または画像処理方法をテレビジョン受像機８００に用いることが可能である。そして、当該テレビジョン受像機８００は、上記各実施の形態で説明した効果を得ることができる。なお、上記各実施の形態の画像処理装置または画像処理方法は、テレビジョン受像機に限らず、レコーダ機器、プレイヤ機器および携帯機器などの様々なデジタル映像機器に用いることが可能であり、いずれの場合も上記各実施の形態で説明した効果を得ることができる。
【０１７０】
ここで、レコーダ機器とは、例えば、ＤＶＤレコーダ、ＢＤレコーダ、またはハードディスクレコーダ等である。プレイヤ機器とは、例えば、ＤＶＤプレイヤまたはＢＤプレイヤ等である。携帯機器とは、例えば携帯電話またはＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）等である。
【０１７１】
以上、本発明の１つまたは複数の態様に係る画像処理装置および画像処理方法について、上記各実施の形態に基づいて説明したが、本発明は、これら実施の形態に限定されるものではない。
【０１７２】
例えば、本発明に係る画像処理装置は、図１７に示すように、上記実施の形態１および２の概括的または包括的な構成を他の態様として有していてもよい。
【０１７３】
図１７は、本発明の他の態様に係る画像処理装置９００の機能構成を示すブロック図である。
【０１７４】
画像処理装置９００は、入力画像を用いて、その入力画像より解像度が高い出力画像を生成する装置であって、方向特定部９１０と、領域決定部９２０と、画像検索部９２５と、画像生成部９３０とを備える。
【０１７５】
方向特定部９１０は、上述の入力画像に含まれるエッジに沿った方向であるエッジ方向を特定する。なお、この方向特定部９１０は、実施の形態１または２のエッジ方向算出部１３０に相当する。
【０１７６】
領域決定部９２０は、そのエッジの少なくとも一部を含む領域である使用領域の形状を、方向特定部９１０によって特定されたエッジ方向に応じて決定する。なお、この領域決定部９２０は、実施の形態１または２の領域算出部１４０に相当する。
【０１７７】
画像検索部９２５は、領域決定部９２０によって決定された形状の使用領域内の画像に類似する類似画像を検索する。なお、この画像検索部９２５は、実施の形態１の学習データ検索部１６０に含まれる一部の機能ブロックによって実現される。つまり、使用領域１２２の領域特徴データ１５１と類似する学習中周波画像Ｐ１２を学習データベース１１０から検索する、学習データ検索部１６０の一部の機能ブロックが、その画像検索部９２５に相当する。または、この画像検索部９２５は、実施の形態２の位置合わせ処理部５２０の一部の機能ブロックによって実現される。つまり、使用領域１２２の画像と類似する類似画像を位置合わせ処理によって複数の参照画像から検索する、位置合わせ処理部５２０の一部の機能ブロックが、その画像検索部９２５に相当する。
【０１７８】
画像生成部９３０は、入力画像に高周波成分が含まれるように、その入力画像に対して類似画像を用いた解像度変換処理を行うことによって、上述の出力画像を生成する。なお、この画像生成部９３０は、実施の形態１の学習データベース１１０、学習データ検索部１６０の一部の機能ブロック、合成部１７０および加算部１８０を含む機能ブロックによって実現される。また、この画像生成部９３０は、実施の形態２の高解像度画像生成部５３０によって実現される。
【０１７９】
また、この画像処理装置９００に対応する画像処理方法は、方向特定部９１０、領域決定部９２０、画像検索部９２５および画像生成部９３０のそれぞれによる処理をステップとして含む。
【０１８０】
なお、画像処理装置９００に含まれる、方向特定部９１０、領域決定部９２０、画像検索部９２５および画像生成部９３０の全てまたは一部は、ＬＳＩ（Large Scale Integration：大規模集積回路）等のハードウエアで構成されてもよい。また、方向特定部９１０、領域決定部９２０、画像検索部９２５および画像生成部９３０の全てまたは一部は、ＣＰＵ（Central Processing Unit）等のプロセッサにより実行されるプログラムのモジュールであってもよい。また、画像処理装置９００は集積回路として構成されてもよい。
【０１８１】
また、例えば、学習データベース１１０に格納される、学習高周波画像Ｐ１１のサイズと、その学習高周波画像Ｐ１１に対応する学習中周波画像Ｐ１２のサイズとは異なっていてもよい。また、この場合、例えば、実施の形態１における学習高周波画像Ｐ１１の探索（選択）は、仮拡大画像１２１の代わりに入力画像１０１を用いて行われてもよい。
【０１８２】
また、例えば、上記各実施の形態における画像処理装置を備える光ディスク記録装置、動画像送信装置、デジタルテレビ放送送出装置、Ｗｅｂサーバ、通信装置、または携帯情報端末等は、本発明に含まれるのは言うまでもない。これと同様に、上記各実施の形態における画像処理装置を備える動画像受信装置、動画像記録装置、静止画記録装置、デジタルテレビ放送受信装置、通信装置、または携帯情報端末等も、本発明に含まれるのは言うまでもない。ここで、動画像記録装置とは例えばカムコーダやＷｅｂなどであり、静止画記録装置とは例えばデジタルスチルカメラなどである。
【０１８３】
また、上記各実施の形態で用いた全ての数値は、本発明を具体的に説明するための一例の数値である。すなわち、本発明は、上記実施の形態で用いた各数値に制限されない。
【０１８４】
また、本発明に係る画像処理方法は、図６における全てのステップを必ずしも含む必要はない。すなわち、本発明に係る画像処理方法は、本発明の効果を実現できる最小限のステップのみを含めばよい。
【０１８５】
また、上記各実施の形態において実行される画像処理方法の各ステップの順序は、本発明を具体的に説明するための一例であり、上記以外の順序であってもよい。また、画像処理方法におけるステップの一部と、他のステップとは、互いに独立して並列に実行されてもよい。例えば、図６のステップＳ１００２，Ｓ１００３の処理と、ステップＳ１００４，Ｓ１００５の処理とは、互いに独立して並列に実行されてもよい。
【０１８６】
なお、画像処理装置１００，５００の各機能パッチ（構成要素）の全てまたは一部は典型的には集積回路であるＬＳＩ（Large Scale Integration）として実現される。これらは個別に１チップ化されても良いし、一部または全てを含むように１チップ化されても良い。
【０１８７】
ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ（Integrated Circuit）、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【０１８８】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサーで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。
【０１８９】
さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能パッチの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
【０１９０】
また、各機能パッチ（構成要素）のうち、検索対象となるデータを格納する部だけ１チップ化せずに別構成としても良い。
【０１９１】
なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の画像処理装置などを実現するソフトウェアは、次のようなプログラムである。
【０１９２】
すなわち、このプログラムは、コンピュータに、入力画像に含まれるエッジに沿った方向であるエッジ方向を特定する方向特定ステップと、エッジの少なくとも一部を含む領域である使用領域の形状を、特定された前記エッジ方向に応じて決定する領域決定ステップと、決定された形状の使用領域内の画像に類似する類似画像を検索する画像検索ステップと、入力画像に高周波成分が含まれるように、入力画像に対して類似画像を用いた解像度変換処理を行うことによって、出力画像を生成する画像生成ステップとを実行させる。
【０１９３】
以上、本発明の一つまたは複数の態様に係る画像処理装置および画像処理方法について、各実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を各実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の一つまたは複数の態様の範囲内に含まれてもよい。
【０１９４】
また、今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【産業上の利用可能性】
【０１９５】
本発明に係る画像処理方法および画像処理装置は、より精細感の高い高解像度画像を生成することができ、例えばカムコーダやデジタルスチルカメラなどに有用である。
【符号の説明】
【０１９６】
５０ 学習画像生成装置
１００，６００，５００，９００ 画像処理装置
１０１ 入力画像
１０２，６０２ 出力画像
１１０，６１０ 学習データベース
１２０，６０５ 画像拡大部
１２１，６０６ 仮拡大画像
１２２ 使用領域
１３０ エッジ方向算出部
１３１ エッジ方向
１４０ 領域算出部
１４１ 領域座標情報
１５０ 特徴データ抽出部
１５１ 領域特徴データ
１６０，６３０ 学習データ検索部
１７０ 合成部
１７１ 合成画像
１８０，６８０ 加算部
６２０ 探索ベクトル生成部
６２１ 探索ベクトル
６３１ 高周波成分データ
８００ テレビジョン受像機
【特許請求の範囲】
【請求項１】
入力画像を用いて、前記入力画像より解像度が高い出力画像を生成する画像処理方法であって、
前記入力画像に含まれるエッジに沿った方向であるエッジ方向を特定する方向特定ステップと、
前記エッジの少なくとも一部を含む領域である使用領域の形状を、特定された前記エッジ方向に応じて決定する領域決定ステップと、
決定された形状の前記使用領域内の画像に類似する類似画像を検索する画像検索ステップと、
前記入力画像に高周波成分が含まれるように、前記入力画像に対して前記類似画像を用いた解像度変換処理を行うことによって、前記出力画像を生成する画像生成ステップと
を含む画像処理方法。
【請求項２】
前記領域決定ステップでは、
特定された前記エッジ方向に垂直な方向の前記使用領域の幅である第１の幅が、前記エッジ方向の前記使用領域の幅である第２の幅よりも長い形状を、前記使用領域の形状として決定する
請求項１に記載の画像処理方法。
【請求項３】
前記方向特定ステップでは、
前記入力画像を構成するブロックごとに、当該ブロック内のエッジに対するエッジ方向を特定し、
前記領域決定ステップでは、
前記ブロックごとに、当該ブロックに対して特定され前記エッジ方向に応じて、当該ブロックに対する使用領域の形状を決定し、
前記画像検索ステップでは、
前記ブロックごとに、当該ブロックに対して決定された形状の前記使用領域内の画像に類似する類似画像を検索し、
前記画像生成ステップでは、
前記ブロックごとに、当該ブロックに対して検索された前記類似画像を用いた解像度変換処理を当該ブロックに対して行うことによって、前記出力画像を生成する
請求項２に記載の画像処理方法。
【請求項４】
前記領域決定ステップでは、
前記ブロックごとに、当該ブロックに対して特定された前記エッジ方向に垂直な方向の当該ブロックの幅よりも前記第１の幅が長く、且つ、当該ブロックに対して特定された前記エッジ方向の当該ブロックの幅よりも前記第２の幅が短い形状を、当該ブロックに対する前記使用領域の形状として決定する
請求項３に記載の画像処理方法。
【請求項５】
前記領域決定ステップでは、
前記ブロックに対応する前記使用領域に含まれる画素の数が、当該ブロックに含まれる画素の数と等しくなるように、または、当該ブロックに含まれる画素の数よりも少なくなるように、前記使用領域の形状を決定する
請求項４に記載の画像処理方法。
【請求項６】
前記画像検索ステップでは、
複数の検索用画像と、前記複数の検索用画像のそれぞれに関連付けられた、検索用画像よりも高周波成分を多く含む適用画像とを保持するデータベースを用い、
前記データベースに保持される前記複数の検索用画像から、処理対象のブロックに対して決定された形状の前記使用領域内の画像に類似する画像を有する検索用画像を、前記類似画像として検索し、
前記画像生成ステップでは、
検索された前記類似画像を用い、前記データベースにおいて当該類似画像に関連付けられた適用画像を選択し、選択された前記適用画像を前記処理対象のブロックに加算することによって、前記処理対象のブロックに対して前記解像度変換処理を行う
請求項３〜５の何れか１項に記載の画像処理方法。
【請求項７】
前記画像検索ステップでは、
処理対象のブロックに対して決定された形状の前記使用領域内の画像に類似する画像を有する複数の検索用画像を、前記データベースから、複数の類似画像として検索し、
前記画像生成ステップでは、
検索された前記複数の類似画像を用い、前記データベースにおいて前記複数の類似画像のそれぞれに関連付けられた適用画像を選択し、選択された複数の適用画像を合成することによって合成画像を生成し、前記合成画像を前記処理対象のブロックに加算することによって、前記処理対象のブロックに対して前記解像度変換処理を行う
請求項６に記載の画像処理方法。
【請求項８】
前記データベースには、前記ブロックよりも大きいサイズの適用画像が、前記複数の検索用画像のそれぞれに関連付けられて保持され、
前記画像生成ステップでは、
前記処理対象のブロックよりも大きいサイズの前記合成画像の中心が、前記処理対象のブロックの中心に一致するように、前記合成画像を、前記処理対象のブロックと、前記処理対象のブロックの周辺にある少なくとも１つのブロックの一部分とに加算する
請求項７に記載の画像処理方法。
【請求項９】
前記画像処理方法は、さらに、
前記入力画像を拡大する拡大ステップを含み、
前記方向特定ステップ、前記領域決定ステップ、前記画像検索ステップ、および前記画像生成ステップでは、
拡大された前記入力画像を構成するブロックごとに、当該ブロックに対する処理を実行する
請求項６〜８の何れか１項に記載の画像処理方法。
【請求項１０】
前記画像処理方法は、さらに、
拡大された前記入力画像を構成するブロックごとに、低周波成分を除く周波数成分を中周波成分として当該ブロックから抽出する抽出ステップを含み、
前記画像検索ステップでは、
前記ブロックごとに、当該ブロックに対して決定された形状の前記使用領域内の中周波成分の画像に類似する画像を有する検索用画像を、前記類似画像として検索する
請求項９に記載の画像処理方法。
【請求項１１】
前記画像検索ステップでは、
ピクチャとして構成される前記入力画像を含む動画像のうちの、前記入力画像以外の他のピクチャと、決定された形状の前記使用領域内の画像との位置合わせを行うことによって、処理対象のブロックに対する前記類似画像を検索し、
前記画像生成ステップでは、
検索された前記類似画像を用い、前記他のピクチャ内において前記類似画像の少なくも一部を含む参照ブロックを取得し、前記処理対象のブロックの画素を、前記参照ブロックの画素を用いて補間することによって、前記処理対象のブロックに対して前記解像度変換処理を行う
請求項３〜５の何れか１項に記載の画像処理方法。
【請求項１２】
入力画像を用いて、前記入力画像より解像度が高い出力画像を生成する画像処理装置であって、
前記入力画像に含まれるエッジに沿った方向であるエッジ方向を特定する方向特定部と、
前記エッジの少なくとも一部を含む領域である使用領域の形状を、特定された前記エッジ方向に応じて決定する領域決定部と、
決定された形状の前記使用領域内の画像に類似する類似画像を検索する画像検索部と、
前記入力画像に高周波成分が含まれるように、前記入力画像に対して前記類似画像を用いた解像度変換処理を行うことによって、前記出力画像を生成する画像生成部と
を備える画像処理装置。
【請求項１３】
入力画像を用いて、前記入力画像より解像度が高い出力画像を生成する集積回路であって、
前記入力画像に含まれるエッジに沿った方向であるエッジ方向を特定する方向特定部と、
前記エッジの少なくとも一部を含む領域である使用領域の形状を、特定された前記エッジ方向に応じて決定する領域決定部と、
決定された形状の前記使用領域内の画像に類似する類似画像を検索する画像検索部と、
前記入力画像に高周波成分が含まれるように、前記入力画像に対して前記類似画像を用いた解像度変換処理を行うことによって、前記出力画像を生成する画像生成部と
を備える集積回路。
【請求項１４】
入力画像を用いて、前記入力画像より解像度が高い出力画像を生成するためのプログラムであって、
前記入力画像に含まれるエッジに沿った方向であるエッジ方向を特定する方向特定ステップと、
前記エッジの少なくとも一部を含む領域である使用領域の形状を、特定された前記エッジ方向に応じて決定する領域決定ステップと、
決定された形状の前記使用領域内の画像に類似する類似画像を検索する画像検索ステップと、
前記入力画像に高周波成分が含まれるように、前記入力画像に対して前記類似画像を用いた解像度変換処理を行うことによって、前記出力画像を生成する画像生成ステップと
をコンピュータに実行させるプログラム。
【請求項１】
入力画像を用いて、前記入力画像より解像度が高い出力画像を生成する画像処理方法であって、
前記入力画像に含まれるエッジに沿った方向であるエッジ方向を特定する方向特定ステップと、
前記エッジの少なくとも一部を含む領域である使用領域の形状を、特定された前記エッジ方向に応じて決定する領域決定ステップと、
決定された形状の前記使用領域内の画像に類似する類似画像を検索する画像検索ステップと、
前記入力画像に高周波成分が含まれるように、前記入力画像に対して前記類似画像を用いた解像度変換処理を行うことによって、前記出力画像を生成する画像生成ステップと
を含む画像処理方法。
【請求項２】
前記領域決定ステップでは、
特定された前記エッジ方向に垂直な方向の前記使用領域の幅である第１の幅が、前記エッジ方向の前記使用領域の幅である第２の幅よりも長い形状を、前記使用領域の形状として決定する
請求項１に記載の画像処理方法。
【請求項３】
前記方向特定ステップでは、
前記入力画像を構成するブロックごとに、当該ブロック内のエッジに対するエッジ方向を特定し、
前記領域決定ステップでは、
前記ブロックごとに、当該ブロックに対して特定され前記エッジ方向に応じて、当該ブロックに対する使用領域の形状を決定し、
前記画像検索ステップでは、
前記ブロックごとに、当該ブロックに対して決定された形状の前記使用領域内の画像に類似する類似画像を検索し、
前記画像生成ステップでは、
前記ブロックごとに、当該ブロックに対して検索された前記類似画像を用いた解像度変換処理を当該ブロックに対して行うことによって、前記出力画像を生成する
請求項２に記載の画像処理方法。
【請求項４】
前記領域決定ステップでは、
前記ブロックごとに、当該ブロックに対して特定された前記エッジ方向に垂直な方向の当該ブロックの幅よりも前記第１の幅が長く、且つ、当該ブロックに対して特定された前記エッジ方向の当該ブロックの幅よりも前記第２の幅が短い形状を、当該ブロックに対する前記使用領域の形状として決定する
請求項３に記載の画像処理方法。
【請求項５】
前記領域決定ステップでは、
前記ブロックに対応する前記使用領域に含まれる画素の数が、当該ブロックに含まれる画素の数と等しくなるように、または、当該ブロックに含まれる画素の数よりも少なくなるように、前記使用領域の形状を決定する
請求項４に記載の画像処理方法。
【請求項６】
前記画像検索ステップでは、
複数の検索用画像と、前記複数の検索用画像のそれぞれに関連付けられた、検索用画像よりも高周波成分を多く含む適用画像とを保持するデータベースを用い、
前記データベースに保持される前記複数の検索用画像から、処理対象のブロックに対して決定された形状の前記使用領域内の画像に類似する画像を有する検索用画像を、前記類似画像として検索し、
前記画像生成ステップでは、
検索された前記類似画像を用い、前記データベースにおいて当該類似画像に関連付けられた適用画像を選択し、選択された前記適用画像を前記処理対象のブロックに加算することによって、前記処理対象のブロックに対して前記解像度変換処理を行う
請求項３〜５の何れか１項に記載の画像処理方法。
【請求項７】
前記画像検索ステップでは、
処理対象のブロックに対して決定された形状の前記使用領域内の画像に類似する画像を有する複数の検索用画像を、前記データベースから、複数の類似画像として検索し、
前記画像生成ステップでは、
検索された前記複数の類似画像を用い、前記データベースにおいて前記複数の類似画像のそれぞれに関連付けられた適用画像を選択し、選択された複数の適用画像を合成することによって合成画像を生成し、前記合成画像を前記処理対象のブロックに加算することによって、前記処理対象のブロックに対して前記解像度変換処理を行う
請求項６に記載の画像処理方法。
【請求項８】
前記データベースには、前記ブロックよりも大きいサイズの適用画像が、前記複数の検索用画像のそれぞれに関連付けられて保持され、
前記画像生成ステップでは、
前記処理対象のブロックよりも大きいサイズの前記合成画像の中心が、前記処理対象のブロックの中心に一致するように、前記合成画像を、前記処理対象のブロックと、前記処理対象のブロックの周辺にある少なくとも１つのブロックの一部分とに加算する
請求項７に記載の画像処理方法。
【請求項９】
前記画像処理方法は、さらに、
前記入力画像を拡大する拡大ステップを含み、
前記方向特定ステップ、前記領域決定ステップ、前記画像検索ステップ、および前記画像生成ステップでは、
拡大された前記入力画像を構成するブロックごとに、当該ブロックに対する処理を実行する
請求項６〜８の何れか１項に記載の画像処理方法。
【請求項１０】
前記画像処理方法は、さらに、
拡大された前記入力画像を構成するブロックごとに、低周波成分を除く周波数成分を中周波成分として当該ブロックから抽出する抽出ステップを含み、
前記画像検索ステップでは、
前記ブロックごとに、当該ブロックに対して決定された形状の前記使用領域内の中周波成分の画像に類似する画像を有する検索用画像を、前記類似画像として検索する
請求項９に記載の画像処理方法。
【請求項１１】
前記画像検索ステップでは、
ピクチャとして構成される前記入力画像を含む動画像のうちの、前記入力画像以外の他のピクチャと、決定された形状の前記使用領域内の画像との位置合わせを行うことによって、処理対象のブロックに対する前記類似画像を検索し、
前記画像生成ステップでは、
検索された前記類似画像を用い、前記他のピクチャ内において前記類似画像の少なくも一部を含む参照ブロックを取得し、前記処理対象のブロックの画素を、前記参照ブロックの画素を用いて補間することによって、前記処理対象のブロックに対して前記解像度変換処理を行う
請求項３〜５の何れか１項に記載の画像処理方法。
【請求項１２】
入力画像を用いて、前記入力画像より解像度が高い出力画像を生成する画像処理装置であって、
前記入力画像に含まれるエッジに沿った方向であるエッジ方向を特定する方向特定部と、
前記エッジの少なくとも一部を含む領域である使用領域の形状を、特定された前記エッジ方向に応じて決定する領域決定部と、
決定された形状の前記使用領域内の画像に類似する類似画像を検索する画像検索部と、
前記入力画像に高周波成分が含まれるように、前記入力画像に対して前記類似画像を用いた解像度変換処理を行うことによって、前記出力画像を生成する画像生成部と
を備える画像処理装置。
【請求項１３】
入力画像を用いて、前記入力画像より解像度が高い出力画像を生成する集積回路であって、
前記入力画像に含まれるエッジに沿った方向であるエッジ方向を特定する方向特定部と、
前記エッジの少なくとも一部を含む領域である使用領域の形状を、特定された前記エッジ方向に応じて決定する領域決定部と、
決定された形状の前記使用領域内の画像に類似する類似画像を検索する画像検索部と、
前記入力画像に高周波成分が含まれるように、前記入力画像に対して前記類似画像を用いた解像度変換処理を行うことによって、前記出力画像を生成する画像生成部と
を備える集積回路。
【請求項１４】
入力画像を用いて、前記入力画像より解像度が高い出力画像を生成するためのプログラムであって、
前記入力画像に含まれるエッジに沿った方向であるエッジ方向を特定する方向特定ステップと、
前記エッジの少なくとも一部を含む領域である使用領域の形状を、特定された前記エッジ方向に応じて決定する領域決定ステップと、
決定された形状の前記使用領域内の画像に類似する類似画像を検索する画像検索ステップと、
前記入力画像に高周波成分が含まれるように、前記入力画像に対して前記類似画像を用いた解像度変換処理を行うことによって、前記出力画像を生成する画像生成ステップと
をコンピュータに実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９Ａ】
【図９Ｂ】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５Ａ】
【図１５Ｂ】
【図１５Ｃ】
【図１６】
【図１７】
【図１０Ａ】
【図１０Ｂ】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９Ａ】
【図９Ｂ】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５Ａ】
【図１５Ｂ】
【図１５Ｃ】
【図１６】
【図１７】
【図１０Ａ】
【図１０Ｂ】
【公開番号】特開２０１２−２３４５３２（Ｐ２０１２−２３４５３２Ａ）
【公開日】平成２４年１１月２９日（２０１２．１１．２９）
【国際特許分類】
【出願番号】特願２０１２−９５９４８（Ｐ２０１２−９５９４８）
【出願日】平成２４年４月１９日（２０１２．４．１９）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＢＬＵ−ＲＡＹ ＤＩＳＣ
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２４年１１月２９日（２０１２．１１．２９）
【国際特許分類】
【出願日】平成２４年４月１９日（２０１２．４．１９）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＢＬＵ−ＲＡＹ ＤＩＳＣ
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]